国内各大搜索引擎中，每个搜索引擎蜘蛛对网站抓取量的分配机制都会有区别，基本都会参考网站权重及网站更新频率等因素，而越是稳定的抓取频率越可以体现网站的健康状态。比如百度蜘蛛抓取时间段的分配，正常情况下是比较平均的，0-24点每个时间段都会有相对稳定的蜘蛛来抓取，除非网站异常，如大批量出现404或500等状态码时，蜘蛛会在短时间内加大对网站的抓取，这种情况虽然蜘蛛抓取量大了，但并非好事，因为网站异常容易给有排名的页面造成不良影响甚至降权。

实时关注网站的蜘蛛动态，有利于及时发现异常并及时解决，接下来我以两个日志的蜘蛛时段统计图片来说明！

        上方蜘蛛抓统计图中，百度蜘蛛，搜狗蜘蛛及必应蜘蛛在每个时间段的抓取量都比较稳定，如果结合相近一段时间的蜘蛛统计都比较稳定的话，网站在百度、搜狗及必应搜索引擎的排名至少这段时间应该是比较稳定的，不过这仅能体现排名稳定！

        从日志分析中一般可以得出网站的健康状态，而且还能从细微趋势及蜘蛛抓取状态中提前发现可能存在的异常

        从上图日志分析中统计出的蜘蛛各时段抓取情况，很明显有3-4小时的抓取异常，可以结合日志分析神器的日志详情中查询5点-8点这个时间段，百度蜘蛛抓取了哪些页面，状态码200还是400或500等，及时发现及时解决！