|
近日有朋友咨询我们：“500错误响应代码会导致什么样的SEO问题？会导致网站抓取减少吗？”今天我们就解释一下500响应错误不会影响抓取以及它们何时可能导致页面从索引中删除的情况。
意外阻止了百度蜘蛛并导致了500错误 这位朋友解释说，他们的内容交付系统旨在阻止恶意机器人，同时允许实际的人类用户和合法的机器人浏览网站。之前一切正常，直到他们更新了他们的“服务器监控套件”，而之前的机器人拦截过滤器和设置没有转移到新系统中。之后他们注意到百度开始列出 500 个错误响应代码以响应百度蜘蛛抓取。
什么是500错误代码？ 服务器将各种状态响应代码传达给浏览器和机器人。例如，这些响应代码会传达对页面的请求是否成功、重定向到另一个页面、被阻止或不成功。 200响应代码表示对网页的请求已成功。 500响应代码表示对网页的请求不成功。
500响应码的正式名称是：“500内部服务器错误” 还有其他版本的500响应代码会传达对网页的请求不成功的具体原因。 500响应代码有点通用，因为它仅表示页面请求不成功。但这通常意味着服务器已关闭，但并非总是如此。
百度站长工具和500错误响应 监控百度站长工具中的500错误响应是一个好主意，因为它们是出现问题的有力指标。有时这可能意味着服务器负载过重，例如来自太多机器人，因此无法提供网页服务。在这种情况下，问题似乎是由于内容分发网络 (CDN) 中的配置错误导致无意中阻止了百度蜘蛛访问网页。
500错误如何影响百度蜘蛛索引编制 百度对此没有任何严格的门槛。但本质上，500错误会发生什么，百度将尝试重新访问它们。如果百度继续看到500错误，那么百度将减慢爬行速度。如果百度持续看到有500错误，那么百度将从索引中删除这些URL。因此，如果个别页面时不时出现500错误，那就没什么大不了的了。百度将重新访问它们，它们将保持索引状态。 百度减慢抓取速度的原因是百度蜘蛛本身导致服务器过载。 如果站点的很大一部分始终存在500错误，百度可能会假设可能是我们造成了问题，百度会减慢整个站点的爬行速度。如果某些时候看起来像这些页面真的不见了，百度将丢弃它们。 所以这基本上就是你会在那里看到的效果，如果你在谈论一个大型网站并想知道500错误的百分比是多少……我们不知道。 我们的感觉是，如果你看到的东西超过百分之一，那么这听起来像是有些东西坏了，可能是百度开始放慢速度的地方。
监控百度站长工具中的500错误 对于某些人来说，每周检查一次百度站长工具就足够了。有些人可能会发现每天检查一次百度站长工具以应对意外情况会让人安心。 无论如何，500错误代码是需要监控百度站长工具的。大规模的500错误可能是一个标志，表明出现问题并需要立即关注。
| 
