网站日志看蜘蛛对内容关系的分析要点

作者 Admin 浏览 发布时间 12/12/14

 我看了网站日志,里面有好多类似于 80 200 0 0 47185 286 109

请问这个是什么意思啊,是正确的抓取并返回吗?请老师帮忙解读下上面的意思
得对照着服务器记录字段看才行,你联系空间商问下,或者看日志开头的#Fields
参考一下吧:
服务器端口为80
协议状态为200(表示成功)
协议子状态为0(表示成功)
Win32状态为0(表示成功。有的是64,表示指定的网络名不再可用。)
发送的字节大小为47185(蜘蛛抓取该页面的大小为47185,单位为字节。)
 
而分析日志我们知道 网站的收录与蜘蛛抓取非常相关 抓取量大说明网站页面受到蜘蛛的喜欢 
 
所以:
1.抓取量与平均抓取量的提升与下降 可以看出网站的结构情况 蜘蛛总访问量说明网站的规模
2.结合网站流量趋势 蜘蛛爬取趋势图 大幅度减少流量是不正常的 而在不正常的情况下同时间段的蜘蛛爬行也会出现异常 如返回码是否增加 服务器是否稳定等等。
3.平均停留时间说明蜘蛛爬行一个页面花费,减少这个时间无疑对网站有重要意义
4.网页加载速度的提升会减少蜘蛛平均停留时间 增加平均抓取量
5.唯一抓取量的数据,可以分析出网站是否让蜘蛛不断爬行无效页面 是否浪费很多蜘蛛 从蜘蛛重复率也是同理 重复抓取并不能让收录量提升 而收录量与网站整体权重与排名 和流量有很大关系
6.还有一点 搜索引擎在更新时,蜘蛛会出现异常,比如算法更新时,蜘蛛总访问还是不断增加的
7.蜘蛛抓取间隔时间,这个在日志中可以看到,会从间隔时间的变化分析出网站在服务器端的问题
 
 
 
盐城市高朋网络科技有限公司 公司地址:盐城市亭湖区文港南路悦达新村7幢506室 联系电话:0515-88333351
盐城网络公司 Copyright 2011-2012 www.yccnc.com 版权所有 禁止转载
鄂B2-20030044