专业网络推广公司教你怎么排查网站参数页面抓取失败问题

今天网络推广公司小编要和大家聊的是百度在抓取网站站点页面出现有限抓取的问题，这个问题表现形态为php页面是能够被百度正常索引的，但是带有参数的页面却每次都抓取失败，注意是抓取失败。

抓取失败也就是说首先搜索引擎是能够正常爬取到这些内容的，但是却因为部分原因导致索引失败。这个问题主要出现在以论坛、商城为主的动态网站。

其实出现这个问题后主要的解决手段就是排查、测试，寻找出现错误的原因。下面是网络推广公司小编整理的检查方向。

A：重启网站服务器

首先建议可以尝试重新启动服务器运行，测试是否是因为服务器受压过载导致的抓取失败。如果在服务器重启过后抓取成功就说明问题出现在服务器本身，反则重新查找问题。

B：关闭CDN服务器

CDN服务器翻译过来就是内容分发网络，使用的目的是用于解决用户网络访问时的“排队”问题。在标准网络服务中，用户访问延时是比较常见的事情，这也是使用CDN服务器的目的。而在使用中可能因为操作不当与搜索引擎的规则相对冲突，所以建议可以关闭尝试看看能否解决问题。

C：robots协议检查

最乌龙的事情还真有可能会发生哦，编写robots协议的目的就是告诉搜索引擎有哪些内容是不可抓取的，如果抓取失败的链接是属于robots协议范围的那这属于正常的情况，所以这个也是一个要重点检查的方向。

D：查看网站根目录

做网站也要做好安全防护，以方有黑客在根目录安装后门程序对网站内容、排名、展示等出现恶意行为。