为什么Robts文件中屏蔽的东西可以被收录？
今天在问答中看到这样的问题，回答了很多，但很多人说错了一个概念。
今天我想向大家详细说明一下。首先，我将理解一些概念
1，罗伯茨只是禁止捕捉，而不是禁止收录
2.另外，no  polo的作用不是不抓住这个链接，而是不在这个链接上传递权重
理解这两个概念后，我们再讨论一下如何处理这些包含问题。
Robots在正确写入的同时，任何收录的网站都不能通过外链、邮政人、主动提交百度，以确保不被搜索引擎收录。为什么会这样呢？
大家百度查了淘宝，像画一样。

按照道理，淘宝写了robots是如何收录的。因为有很多链接指向淘宝网站，这些外部链的权重可能很高。
都被禁止了，仍然包含超过1亿个链接
看到这里，感觉不到感情吗，我们怎么能从百度引到你的淘宝店呢！