23

AWStats日志分析系统

1.什么是AWStats

AWStats是一款功能强大且功能强大的免费工具,可以图形方式生成高级Web,流媒体,ftp或邮件服务器统计信息。此日志分析器用作CGI或命令行, 并在几个图形网页中显示您的日志包含的所有可能信息。
它使用部分信息文件来经常快速地处理大型日志文件。它可以分析来自所有主要服务器工具的日志文件,如Apache日志文件(NCSA组合/ XLF / ELF日志格式或通用/ CLF日志格式),WebStar,IIS(W3C日志格式)以及许多其他Web,代理,wap,流服务器,邮件服务器和一些ftp服务器。
关于AWStats与其他日志分析系统的对比可以查看:https://awstats.sourceforge.io/docs/awstats_compare.html Continue reading

十二 11

Apache Web服务器日志格式

服务器日志,网站日志,日志分析

这里用到的服务器日志格式是 Apache Common Log Format (CLF)。简单数来,你看到的每一行都是如下的样式:
127.0.0.1 - - [01/Aug/1995:00:00:01 -0400] "GET /images/launch-logo.gif HTTP/1.0" 200 1839

一个详细一些的字段说明如下:

  • 127.0.0.1
    第一项 ,发起请求的客户端IP地址。
  • -
    第二项 ,空白,用占位符“-”替代,表示所请求的信息(来自远程机器的用户身份),不可用。
  • -
    第三项,空白,表示所请求的信息(来自本地登录的用户身份),不可用。 Continue reading
十二 11

网站日志分析点,Spider IP段详细介绍“技术篇”

网站日志,日志分析,蜘蛛,爬虫

一篇值得珍藏的Spider抓取,网站日志分析点,日志中常常看到一堆的IP以及状态码感觉特别懵逼,从中分析Spider的爬行规律,并且投其所好摒弃不足之处,与Spider谈恋爱,只有从细节开始~日志分析就是最好的一个突破点,定期观察能节约不少的优化成本。

日志的分析在SEO工作中是一种重要的内容之一,那么在什么情况下我们需要做日志分析。

网站刚搭建,可以使用日志分析Spider私发来爬行;

网站收录了,不过总的收录量并没有提升需要分析日志看Spider的活跃情况;

网站收录减少,需要分析日志看是否服务器出现问题;

网站首页被K,需要了解日志中Spider爬行首页的情况;

网站全部被K,通过日志我们可以分析Spider最近的动态; Continue reading