从蜘蛛抓取页面的状态码中获取一些难以发现的问题

  在日常网站维护及SEO过程中,判断网站是否正常最直观的办法就是访问Url是否正常打开,网页显示内容是否完整,这些看似正常的网站,其实可能暗藏不容易被发现的异常,接下来会大家详解最容易忽略的地方。


1、用户访问正常,但蜘蛛访问时301跳转到指定网站(网站被挂跳转代码)。这种情况一般可以通过蜘蛛抓取状态码中的301状态码柱状图辨别。

2、网站莫名出现的404,由于入口隐蔽,用户很难,但蜘蛛可以很轻松获取。这种情况可实时监控404状态码,如果404增多,需特别注……

3、网站被攻击时最容易出现的500类状态码,也许这情况出现在非工作时间,这是很难发现的。这种情况可及时通过状态码统计图查看如果500类增多,再结合总IP段统计,可灵活屏蔽IP操作。

4、当状态码200异常增多,需及时通过日志详情筛选功能查看页面类型是否正常,因为这种情况很有可能是被挂码(被新增页面,而这些页面并非原有网站内容)

5、如果抓取量很多,而且状态码也是200,但收录和排名却很少,这种情况需考虑网站页面质量问题,需从站内优化考虑。

6、状态码统计结合目录结构统计及日志详情筛选功能,可清除了解网站在蜘蛛抓取状态情况下是否正常。


QQ截图20231128161536.jpg


相关推荐
© 2023 日志分析神器软件 保留所有权利。