最后这里和大家说一个更高效的解决方案，那就是直接通过百度站长资源平台去主动提交资源，这样搜索引擎可以绕过索引页直接抓取到最新资源，这里需要注意两个点。
Q：资源提交是不是越多越好?
A：收录效果的核心永远是内容质量，如果大量提交低质、泛滥资源会导致惩罚性打击。
Q：为什么提交了普通收录但没有抓?
A：资源提交只能加速资源发现，不能保证短时间内抓取，当然百度方面表示，算法在持续优化，让优质的内容更快得到抓取。
3、访问友好性：
抓取器要和网站进行交互，要保证网站的稳定的，抓取器才能够正常的爬取。那么访问友好性主要包括以下几个方面。
访问速度优化：加载时间建议控制在2S以内，那么无论是用户还是爬虫，对于打开速度更快的网站，都会更加青睐，其次是避免非必要的跳转，这种情况虽然是少部分，但依然有网站出现很多级的跳转，那么对于爬虫来讲，很有可能在多级跳转的同时就断开了。常见的有做了不带www的域名跳转到带WWW的域名上，然后带WWW的域名又要跳转到https上，最后更换新站，这种情况就出现了三四级的跳转。如果出现类似网站改版，建议直接全部跳转到新域名上。
规范http返回码：我们常见的301/302的正确使用，以及404的正确使用，主要是常规的问题，用常规的方式来解决，比如遇到无效资源，那么就使用404来做，不要用一些特殊的返回状态码了。
访问稳定性优化：首先尽可能选择国内大型的DNS服务，以保证站点的稳定性，对于域名的DNS，实际上阿里云还是比较稳定靠谱的，那么其次是谨慎使用技术手段封禁爬虫抓取，如果说有特定资源不希望在百度上展现，那么可以采用robots来屏蔽，比如说网站的后台链接，大多数都是通过robots屏蔽的。如果说抓取频次太高，导致服务器压力过大，影响用户正常访问，那么可以通过资源平台的工具降低抓取频率。其次是避免防火墙误封禁爬虫抓取，那么这里建议大家可以把搜索引擎的UA加入到白名单。最后一点是服务器的稳定性，特别是在短时间内提交大量优质资源，这个时候一定要关注服务器稳定性，因为当你提交大量资源后，爬虫会随之增加，这个时候会不会导致你服务器压力过大而打不开，这个问题是需要站长关注的。
编辑搜图请点击输入图片描述(最多18字)
如上图所示，这三个例子就是第三方防火墙拦截的一个状态，当正常用户打开是这个状态的时候，搜索引擎抓取的时候，也会处于这个状态，所以如果遇到CC或者DDOS的时候，我们开启防火墙的前提，一定要放开搜索引擎的UA。
文章TAG：
