网站建设日志文件的功能有：
1、获取网站目录的抓取信息
当蜘蛛到你的网站上爬行收录内容时，你的网站日志会对蜘蛛的行为会进行自动的记录，因此只要你去分析网站的日志，你就会发现蜘蛛到你的网站上爬取了那些目录，另外也可以知道蜘蛛是否到那些不会提升网站权重的目录（例如：图标目录，下载目录，留言目录，广告页面）上进行了爬行。另外对于网站的数据库，后台目录也完全不需要被蜘蛛爬行，如果任由蜘蛛爬行，也是一种安全隐患。另外一方面，搜索引擎对于不同的站点都有着抓取配额，无用目录，更不要占用这样的配额，以免减少有效配额的抓取量。还有就是能够有效的规避百度认为网站是垃圾网站的风险。
2、分析网站内容抓取情况
页面是否被蜘蛛抓取是我们分析网站的一个重要内容，而通过网站日志我们可以非常容易的分析出来很多对我们有帮助的信息。比如我们的网站上是否有垃圾页面被抓取，多重url链接的抓取，哪些页面经常被抓取，哪些是抓取频率更高的高价值的页面，这样我们就可以把我们想要优化但是抓取频率低的页面适当的增加曝光度；要对一些垃圾页面进行屏蔽，防范因为垃圾页面被抓取过多导致网站被降权；还可以分析出高质量的内容页，并且多撰写这样的内容，从而吸引蜘蛛前来抓取，抓取越多权重就会越高。
3、分析网站状态码信息
状态码分为两种，一种是蜘蛛状态码，另一种是用户状态码，通过蜘蛛状态码可以准确的查看到网站是否存在抓取问题。例如：404代表的是错误页，301、302代表的是重定向，还有一些：504、500、等状态码，值得说的是：除去200状态码，出现其他的状态码都是应当值得注意的，当然，如果只是个别几条则无需理会。但是如果数量一旦偏多，网站则出现问题了。
下载本文
