确保它们具有正确的200http头状态。服务器是否经常或长期停机？域名最近过期了吗？
您可以使用免费的HTTP头状态检查工具来确定是否存在正确的状态。对于大型站点，典型的爬行工具（如Xenu、deepcrawl、screeningfrom或body）可以对其进行测试。
正确的报头状态是200。有时可能会有3xx（301除外）、4xx或5xx错误-这些对于正在索引的URL来说不是好消息。
有时，更改CMS、后端编程或服务器设置可能会导致更改域、子域或文件夹，因此可能会更改网站的URL。
搜索引擎可能会记住旧的url，但如果没有正确重定向，许多页面可能会被取消索引。解决方案
您仍然希望能够以某种方式或形式访问旧站点的备份，以记下所有旧URL，以便可以将301重定向映射到相应的URL。
修复重复内容通常涉及实现规范标签、301重定向、Noindex元标签或robots和TXT中不允许的。所有这些都可能导致索引url的减少。这是一个减少索引页数量的例子。
因为这对你的网站有好处，你需要做的就是仔细检查，这尽量是索引页减少的原因，而不是其他任何原因。
由于较高带宽的相关成本，一些服务器有带宽限制。这些服务器可能需要升级。
有时，问题与硬件有关，可以通过升级硬件处理或内存限制来解决。
当访问者以一定速度访问过多页面时，某些站点会阻止IP地址。此设置是避免任何DDoS黑客尝试的严格方法，但它也可能对您的网站产生负面影响。
通常，这是在网页的第二个设置下监视的。如果阈值太低，正常搜索引擎漫游者爬网可能会达到阈值，漫游者无法正确爬网站点。
如果这是服务器带宽限制，则可能是升级服务的适当时间。
如果这是服务器处理/内存问题，除了升级硬件外，请仔细检查是否有任何类型的服务器缓存技术，这将降低服务器的压力。
如果安装了防DDoS软件，请放松设置或将百度BOT放在白名单上，以免随时被屏蔽。但要小心，有一些假百度机器人。确保百度蜘蛛被正确检测。蜘蛛探测也有类似的过程。
