可可网络
专注效果,用心服务
电话

免费服务热线

19925363846

二维码
虽然在robots文件中屏蔽了搜索引擎,但仍被收录。

来源: 2021-06-08

虽然在robots文件中屏蔽了搜索引擎,但仍被收录。 为什么?
如果网站上的某些页面不想被搜索引擎捕获和收录,请使用设置了搜索引擎捕获规则的robots文件。 当新网站上线并处于测试阶段,或者添加了网页时,经常会出现这种情况。
虽然有些人可能会怀疑,但搜索引擎可能会滚动url页面,并在页面上出现内容,然后反馈给蜘蛛,否则可能不会被收录。 那么,robots屏蔽搜索引擎后,为什么还会被收录呢?

先说一下robots协议是做什么的吧。 既然是协议,那一定是双方同意并批准的规则。 这甲乙双方当然是网站和搜索引擎(或者搜索引擎蜘蛛)之间的协议。 robots文件放在根目录下,蜘蛛进入站点时首先访问该文件,检查是否无法在协议中抓住这些页面。 如果被禁止,就不能再抓了。
个人页面想去搜索引擎索引(收录),但是收录时需要蜘蛛爬和抓,既然不抓,当然会认为这个页面不会被收录。 这样的思考是错误的,即使不被抓住也会被索引(收录)。 淘宝是典型的例子,网站上添加了禁止协议,最后被收录。 为什么这么说呢,因为百度从其他根平台推荐的外部链接知道这个网站,虽然禁止捕捉,但是可以根据标题和推荐链接的数据判断该页面相应的内容信息。
那么,关于robots的知识共享就到此为止。 有些人可能有疑问。 例如,既然robots无法阻止页面被收录,有什么方法禁止索引(收录)吗? 确实有。 关于禁止方法,使用操作方法查看百度关于robots文件的讲义方法: https://Ziyuan.Baidu.com/college/course  info? id=267页=12 # H2 _ article  _ title  28