关于搜索引擎对robots.txt更改的响应期
问题背景：我们网站新栏目上线，因存在待完善的地方，上线后通过robots.txt屏蔽了该栏目。一天后，该栏目获得改良，我修改了robots.txt关于本栏目的屏蔽条目，至目前已经有一个多星期了，通过日志，发现百度蜘蛛根本就没有访问过该专栏的任何页面，但google等其他蜘蛛都有爬行并开始收录。
疑问：robots.txt修改后，百度蜘蛛为什么不重新访问？有什么办法改善目前的问题？
站长解答：对于你提出的这个问题，我以前做过相关试验：有一个试验站，试验之前收录正常，之后robots.txt设置了Disallow屏蔽搜索引擎。结果一个月之内百度还是照常收录，但google和雅虎一周之内就停止收录了。从这个试验我们就可以判断出对于robots.txt设置更改，百度、谷歌与雅虎的呼应期是完全不同的，百度要明显滞后于其它的搜索引擎。
对于这样的问题，你除了等待没有其它的方法.不过你有必要提交下那个栏目给百度,然后，再很多地方为那个栏目的相关文章做链接。给那个栏目导入更多的链接或许能加快收录。
你还可以阅读：
[搜索引擎对我们的影响] [搜索引擎市场走向趋势] [如何使得网站被快速收录] [请帮忙：新文章很快收录但之后完全消失]
Tags: robots.txt,搜索引擎
