网站不被搜索引擎收录怎么办?先查sitemap和robots

从robots和sitemap查起,别瞎等
发布于
2

新站上线一两个月搜不到自己,很多人就慢慢摆烂了。其实不收录大多不是内容不行,而是搜索引擎爬虫没能正常爬到你的页面,或者爬了但不知道有哪些页。先把收录这件事的基本环节搞清楚,再一个个查。

收录到底经过哪几步

搜索引擎把你的页面收进库,大致三步:发现、抓取、建索引。任何一步断了都不会收录。

环节 干什么 卡在这的原因
发现 知道你有这个页 没sitemap、没内链
抓取 爬虫来读内容 robots封了、服务器拒绝
建索引 收进搜索库 内容重复、质量低

先查robots有没有封错

这是最常见也最冤的错。很多人建站时为了不让搜索引擎抓到未完成的站,在robots.txt里写了 Disallow: /,结果上线了忘了改。这一行等于告诉所有爬虫别进。

正确的robots应该允许抓取正常内容,只把后台、搜索结果页、重复参数页封掉。比如允许全部、只 Disallow /wp-admin/。改完用搜索引擎的robots测试工具验一下。

sitemap要生成并提交

sitemap就是一份网站地图,把你所有想被收录的页面列出来,交给搜索引擎。没有它,爬虫只能顺链接慢慢爬,深层页面很久都发现不了。WordPress用Yoast或Rank Math插件能自动生成sitemap。

生成完要主动提交到站长平台,百度搜索资源平台、Google Search Console都行。提交后还能看到抓取状态、收录数量,比干等强很多。

内链也影响发现

孤立页面,没有任何其他页面链到它,爬虫很难发现。新发的文章记得从首页、分类页或相关文章里链过去。内链做好了,爬虫来了能一路爬下去,收录自然快。

内容质量决定能不能建索引

页面被爬了不等于一定收录。如果内容是采集拼凑、大片重复、没什么信息量,爬虫爬了也不一定收。与其发一堆水文,不如认真写能解决用户问题、结构清楚的内容,收录和排名都好得多。

新站多久收录算正常

别一上线就天天查。新站有考察期,从提交sitemap到首页收录,快几天慢几周都常见。先把robots、sitemap、内链这三样基础做对,然后持续更新内容,给搜索引擎时间。

小结

网站不收录,按发现、抓取、建索引三步查。先看robots是不是封错了,再看sitemap提交了没,接着检查内链和内容质量。基础做对了,剩下的就是耐心。

常见问题(FAQ)

新站多久收录算正常?
从提交sitemap到首页收录,快几天慢几周都常见。新站有考察期,先把robots、sitemap、内链这三样基础做对,再给搜索引擎时间。
robots写错了怎么改?
把Disallow: /改成只封后台等不必要页面,例如Disallow: /wp-admin/,改完用搜索引擎的robots测试工具验证,别把整站都屏蔽了。
sitemap提交后多久生效?
提交后搜索引擎会逐步抓取,在站长平台能看到抓取状态和收录数量,不是立刻生效。持续更新内容、做好内链,收录会慢慢上来。

本文由作者原创/授权发布于极跃圈(jiyueip.com)未经许可,禁止转载。题图来自Unsplash,基于CC0协议。

声明:极跃圈(JIYUEIP.com)内网友所发表的所有内容及言论仅代表其本人,并不反映任何极跃圈(JIYUEIP.com)之意见及观点。

0 讨论
热门最新
总结
暂无总结
0 / 600