SEO高手：如何分析网站日志（IIS、Apache、Ngnix）

以前在帮朋友的网站做SEO诊断时，发现了几个常见问题：

1、在日志中出现大量的错误，例如404,500,401,403,504。

2、蜘蛛只爬取首页，不爬取内页。

3、蜘蛛爬虫没有爬出页面，或者爬虫页面没有更新快照。

4、其它搜索蜘蛛爬行很勤快，但百度蜘蛛爬得并不多。

5、蜘蛛不爬内页，或只爬robots.txt。

这些问题分别代表什么意思？怎样解决？

1）错误404：未找到该文件。最常见的错误就是出现了这个问题，通常是由于网站更改、程序开发者的疏忽、或程序没有完全遵守SEO基本规范造成的。解决办法：首先设置一个404错误页面，可以引导用户进入首页和主要栏目，并确保返回该页面时页面代码仍然是404，这样可以告诉搜索引擎，该页面已被删除，但我们仍然可以正确地引导用户进入正确的栏目。接着到网站代码中查看是否还有错误的链接地址，纠正这些地址，或者删除所有链接。如果您的站点没有robots.txt文件，则将空文件放入服务器。不能使用favicon.ico(许多浏览器都会在第一次打开你的域名时自动下载根目录下的文件作为站点图标，如果不能，则服务器上会出现404错误)文件可以下载或找人设计。

2）错误500：程序运行不正常。如果服务器不稳定或代码存在问题，则更容易发生此错误。发生此错误请找程序开发，提供URL供程序员处理。

3）错误401,403：这两种错误通常是由于网站文件所在的目录没有权限，或者某个目录下没有缺省文档造成的。适当地设置目录权限，确保每个目录下都一定有一个默认的文件(例如index.html)，当发现新目录时，搜索引擎会自动抓取该默认文件，如果没有，就显示错误。

4）错误504：这是由于服务器或集群出现数据包丢失时，一般请与服务器管理人员联系，查明问题发生的时间，请他们配合处理。

5）蜘蛛只爬过首页，不爬或很少爬取内页：这是因为内页权重太低。也许原因：

(a)内页太过简单。

所有外链仅导入主页页面。

(c)首页SEO过度优化。

(d)内页SEO过度优化。

(e)有严重作弊现象。

对策：

(1)调整网站内页的链接或内容，以增强用户体验，不要太过简单。

(2)适当地为重要的内页导入合理的外链。

(3)、找到优化过度的代码，进行适当调整。

(4)、移除作弊代码。

蜘蛛只爬取内页，不爬取或很少爬取首页。也许的原因

第一页太过简单。

(b)主页SEO优化过度或严重舞弊。

大量的外链只导入首页，或只导入内页。

对策：

调整网站首页的链接或内容，以增强用户体验，不要太过简单。

适当的外链的构建要合理，不要过于偏重首页或内页。

(3)、找到优化过度的代码，进行适当调整。

(4)、移除作弊代码。

其他蜘蛛爬行很勤快，但百度蜘蛛爬得并不多。也许原因：

您的网站尚未被百度蜘蛛发现或珍视。

你的外链或内容不符合百度的权值算法，被置于低质量站点，但其他搜索引擎会将其视为高质量站点。

你的网站欺骗了别人，被百度蜘蛛发现了，受到了应有的惩罚。

对策：

向百度提交您的网站，或为您的网站适当建立一些外部链接。

请合理使用SEO技巧，删除或调整与用户体验不符的手法。

各搜索引擎的反作弊算法和惩罚是不同的，无论做什么网站都要以用户体验为核心。

蜘蛛不爬虫，或只爬虫robots.txt。也许原因：

robots.txt文件不存在。

(b)网站的访问尤其缓慢。

(c)严重作弊并受到严厉处罚。

对策：

增加一个robots.txt文件为空。

请更换一台高质量的空间或服务器，或服务商。

(3)、删除低质量页面，重建新页面。

如果直接打开日志文件，一行一行地查看，日常工作显然效率很低。并且如果可能会遗漏一些重要内容，那么使用日志分析工具就很有必要了。下面就是零零七推荐的一个站长工具，给大家演示一下日常工作中需要注意和分析的一些要点。

从以上的日志数据中，我们可以分析出下列情况：

1、2是网站存在大量的错误，最终所有的蜘蛛都没有爬过这个网站。

按3个区域后，会出现大量403(无权限)错误。造成该网站百度不访问首页，而一些搜索引擎基本上不访问该网站。

4区就是大量的404错误，这样的网站问题严重，一般都是刚刚改版的网站。

5是百度蜘蛛只爬取内页，不爬取首页。

第十行是百度蜘蛛只爬首页不爬内容，这样的网站赶紧去查一下自己有没有严重作弊。

单击相应的数字，可打开详细清单页：

可在文本框中输入域名实现点击以下网址直接打开日志所在页面，方便查看和后续操作。能看到状态问题的原因，点击状态码即可直接查看网站状态码原因。通过点击访问IP，可以追踪到IP，找出是不是假的百度蜘蛛，还是什么客户写的日志。最终日志会被导出，并交给负责人来处理。

亦可下载金花站长工具，模拟40多种搜索引擎算法，为您提供一些常规和基本的SEO建议，帮助您快速发现问题，协助您及时进行调整和修复。