Collect and Index Data Search and Investigate Correlate and Analyze Visualize and Report Monitor and Alert Access from Anywhere

慕课网Spark SQL 入门到精通到项目实战的世界（全套日志分析）日志文件

日志文件10000_access.log，为了执行方便，先提取出了10000条数据。

前言 在我的上一篇文章《使用Nginx提升网站访问速度》中介绍了Nginx这个HTTP服务器以及如何通过它来加速网站的访问速度。在实际的网站运营中，我们经常需要了解到网站的访问情况，例如每天有多少IP在访问、PV数是多少、哪个URL访问量最大、用户使用最多的浏览器是哪个、都是通过什么方式知道这个网站的以及有多少用户访问出错等等，通过掌握这些信息来提高用户的体验，从而改善网站的质量。一般我们可以通过一些免费的访问统计网站例如 Google Analytics来或者这些信息。但不足之处是这类网站只能对页面进行分析，不包括静态文件；另外可能有很多的站长不愿意使用这类工具来暴露自己的数据，种种的这些因素使站长希望自己来分析访问日志。而awstats就可以满足所有的这些需求。 Awstats 是在 SourceForge 上发展很快的一个基于 Perl 的 WEB 日志分析工具，一个充分的日志分析让 Awstats 显示您下列资料: • 访问次数、独特访客人数, • 访问时间和上次访问, • 使用者认证、最近认证的访问, • 每周的高峰时间(页数,点击率,每小时和一周的千字节), • 域名/国家的主机访客(页数,点击率,字节,269域名/国家检测, geoip 检测), • 主机名单,最近访问和未解析的 IP 地址名单 • 大多数看过的进出页面, • 档案类型, • 网站压缩统计表(mod_gzip 或者 mod_deflate), • 使用的操作系统 (每个操作系统的页数,点击率 ,字节, 35 OS detected), • 使用的浏览器, • 机器人访问(检测319个机器人), • 蠕虫攻击 (5个蠕虫家族), • 搜索引擎，利用关键词检索找到你的地址, • HTTP 协议错误(最近查阅没有找到的页面), • 其他基于 URL 的个性报导,链接参数, 涉及综合行销领域目的. • 贵网站被加入"最喜爱的书签".次数. • 屏幕大小(需要在索引页补充一些 HTML 标签). • 浏览器的支持比例: Java, Flash, RealG2 reader, Quicktime reader, WMA reader, PDF reader. • 负载平衡服务器比率集群报告. Awstats 的运行是需要 PERL 环境的支持，从 awstats 的文档来看，它对 Apache HTTP Server 的支持是非常完美的，而当我们把 Web 服务器换成 Nginx 后，要运行 awstats 变得很麻烦。首先 Nginx 本身对 Perl 的支持是比较弱的，甚至官方也不建议使用；另外在日志格式上有需要修改后才能运行。 本文主要介绍通过让 awstats 对日志统计的结果生成静态页面，然后通过 Nginx 输出以达到统计 Nginx 访问日志的效果，其中还包括如何让 Nginx 自动切割日志文件。 配置Nginx自动切割日志