当站点太慢时，谷歌机器人无法抓取

谷歌Fetch As Googlebot Won’t Crawl When Site Too Slow | (2) by Barry Schwartz |在谷歌搜索引擎优化下存档的Prev Story Next Story Tweet分享 Prev Story Next Story

一个谷歌站长帮助线程有一个站长抱怨他的网站没有被谷歌爬行，没有显示在搜索结果中。原因是，他的网站无法应对谷歌机器人的抓取。该站点是相当静态和基本的，但服务器是一个便宜或免费的主机，不能处理太多的活动。因此，谷歌机器人无法在不关闭网站的情况下爬上它，因此在它能够通过爬上它而不对网站产生负面影响之前保持远离。有趣的是，如果在这种情况下使用Fetch As Googlebot特性，它也会失败。因此，你可以在某种程度上诊断Fetch作为Googlebot的主要网站速度问题。来自谷歌的John Mueller说:“看了你的网站，我确实看到我们想从服务器上抓取更多的数据，但是我们克制着，因为我们认为服务器可能无法处理负载。这就是为什么Fetch as谷歌请求没有通过的原因。特别是，我们看到来自服务器的url的响应时间相当高，这通常表明，即使没有我们的爬行，服务器也非常繁忙。

论坛讨论在谷歌网站管理员帮助。