谷歌:不能爬你的Robots.txt然后我们停止爬你的网站

谷歌:不能爬你的Robots.txt然后我们停止爬你的网站| (11) by Barry Schwartz |在谷歌搜索引擎优化Prev故事下一个故事推特分享 Prev故事下一个故事

你知道吗，如果谷歌不能爬你的Robots.txt文件，它将停止爬你的整个网站?这并不意味着你需要一个robots.txt文件，你可以不需要。但如果你有一个，谷歌知道你有，它不能访问它，那么谷歌将停止爬你的网站。

谷歌的Eric Kuan在谷歌网站管理员帮助线程中说了这句话。他写道:

如果谷歌在抓取robots.txt文件时遇到困难，它将停止抓取站点的其他部分，以防止抓取被robots.txt文件阻止的页面。如果这种情况不是经常发生，那么它可能是一个一次性的问题，你不需要担心。如果它经常发生，或者如果您担心，您应该考虑联系您的主机或服务提供商，看看他们在您看到爬行错误的日期是否遇到了任何问题。

这也并不意味着你不能阻止你的robots.txt出现在搜索结果中，你可以。但是要小心。简而言之，如果robots.txt文件不返回200或404响应代码，那么就有问题了。

论坛讨论在谷歌站长帮助。