网站日志,日志分析,蜘蛛,爬虫

一篇值得珍藏的Spider抓取，网站日志分析点，日志中常常看到一堆的IP以及状态码感觉特别懵逼，从中分析Spider的爬行规律，并且投其所好摒弃不足之处，与Spider谈恋爱，只有从细节开始~日志分析就是最好的一个突破点，定期观察能节约不少的优化成本。

日志的分析在SEO工作中是一种重要的内容之一，那么在什么情况下我们需要做日志分析。

网站刚搭建，可以使用日志分析Spider私发来爬行;

网站收录了，不过总的收录量并没有提升需要分析日志看Spider的活跃情况;

网站收录减少，需要分析日志看是否服务器出现问题;

网站首页被K，需要了解日志中Spider爬行首页的情况;

网站全部被K，通过日志我们可以分析Spider最近的动态; Continue reading →