|
百度抓取频次多少才算正常?什幺样的抓取频次才是正常的?如果经常忽高忽低,可以通过网站日志看一下百度蜘蛛是不是爬取了很多无效的链接,如果有,请先用robots.txt屏蔽,再去百度站长平台更新一下robots文件。 百度抓取频次多少才算正常?有过一定SEO优化经验的的站长都知道百度站长平台中有一个【抓取频次】的选项,那么抓取频次是干什么用的?是不是抓取频次越高网站就越受百度青睐?什么样的抓取频次才是正常的?下面,爱用建站小编就针对这几个问题为大家分析一下。 抓取频次可以通过百度站长工具进行查询,抓取频次是搜索引擎在单位时间内(天级)对网站服务器抓取的总次数,如果搜索引擎对站点的抓取频次过高,很有可能造成服务器不稳定,百度蜘蛛(Baiduspider)会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。
通过上图可以发现,这个网站近期Z高的抓取频次达到了200多次,这属于正常现象吗?答案肯定是否定的。通过观察,网站前期的抓取频率还比较稳定,每天都在20-30次左右,但在6月4日突然上升到了200多次,6月5日又回到了平时的状态,那么也就是说,只有前期比较稳定的抓取频次才属于正常。 1、百度在抓取频次Z高的那天做了更新; 2、百度抓取了大量的无效页面,可以用robots屏蔽下; 3、网站结构不合理,导致蜘蛛抓取循环,爬取不畅; 如果只是偶尔出现了抓取频次过高的现象大家不需要担心,这有可能是网站更新了大量的内容,观察一段时间,一般过几天就会恢复正常(正常的概念是与平时抓取的频次差不多)。如果经常忽高忽低,可以通过网站日志看一下百度蜘蛛是不是爬取了很多无效的链接,如果有,请先用robots.txt屏蔽,再去百度站长平台更新一下robots文件。
1、长期不更新网站,内容更新不规律,质量残差不齐; 2、新站点,新站点一般会进入百度沙盒期,这期间网站抓取频次将会很低,持续优化即可; 3、设置了抓取上线,如果设置了请改为自动抓取; 4、没有做好链接提交,新产生的链接记得及时提交给百度; 在保证网站内容质量的前提下,请尽量不要自己设置抓取频次。百度会根据服务器压力、网站内容质量等自动调节抓取频次,这样做对SEO会比较友好。 |