如何用SARG日志分析器来分析Squid日志

SARG是一款基于网络的工具,它可以分析Squid日志,并以更详细的方式展示分析。系统管理员可以利用SARG来监视哪些网站被访问了,并跟踪访问量最大的网站和用户。本文包含了SARG配置工作。SARG提供了很多有用的特性,但是分析一个原始Squid日志文件并不直接。比如,你如何分析下面Squid日志中的时间戳和数字?

复制代码

代码如下:

1404788984.429 1162 172.17.1.23 TCP_MISS/302 436 GET http://facebook.com/ - DIRECT/173.252.110.27 text/html
1404788985.046 12416 172.17.1.23 TCP_MISS/200 4169 CONNECT stats.pusher.com:443 - DIRECT/173.255.223.127 -
1404788986.124 174 172.17.1.23 TCP_MISS/200 955 POST http://ocsp.digicert.com/ - DIRECT/117.18.237.29 application/ocsp-response
1404788989.738 342 172.17.1.23 TCP_MISS/200 3890 CONNECT www.google.com:443 - DIRECT/74.125.200.106 -
1404788989.757 226 172.17.1.23 TCP_MISS/200 942 POST http://clients1.google.com/ocsp - DIRECT/74.125.200.113 application/ocsp-response
1404788990.839 3939 172.17.1.23 TCP_MISS/200 78944 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 -
1404788990.846 2148 172.17.1.23 TCP_MISS/200 118947 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 -
1404788990.849 2151 172.17.1.23 TCP_MISS/200 76809 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 -
1404788991.140 611 172.17.1.23 TCP_MISS/200 110073 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 –

我们使用yum来安装安装必要的依赖。

复制代码

代码如下:

# yum install gcc make wget httpd crond

在启动时加载必要的服务

复制代码

代码如下:

# service httpd start; service crond start
# chkconfig httpd on; chkconfig crond on

现在我们下载并解压SARG

上一节教程中,我们展示了如何在CentOS上使用Squid配置透明代理。Squid提供了很多有用的特性,但是分析一个原始Squid日志文件并不直接。比如,你如何分析下面Squid日志中的时间戳和数字?

复制代码

代码如下:

1404788984.429 1162 172.17.1.23 TCP_MISS/302 436 GET http://facebook.com/ - DIRECT/173.252.110.27 text/html
1404788985.046 12416 172.17.1.23 TCP_MISS/200 4169 CONNECT stats.pusher.com:443 - DIRECT/173.255.223.127 -
1404788986.124 174 172.17.1.23 TCP_MISS/200 955 POST http://ocsp.digicert.com/ - DIRECT/117.18.237.29 application/ocsp-response
1404788989.738 342 172.17.1.23 TCP_MISS/200 3890 CONNECT www.google.com:443 - DIRECT/74.125.200.106 -
1404788989.757 226 172.17.1.23 TCP_MISS/200 942 POST http://clients1.google.com/ocsp - DIRECT/74.125.200.113 application/ocsp-response
1404788990.839 3939 172.17.1.23 TCP_MISS/200 78944 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 -
1404788990.846 2148 172.17.1.23 TCP_MISS/200 118947 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 -
1404788990.849 2151 172.17.1.23 TCP_MISS/200 76809 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 -
1404788991.140 611 172.17.1.23 TCP_MISS/200 110073 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 –

我们使用yum来安装安装必要的依赖。

复制代码

代码如下:

# yum install gcc make wget httpd crond

在启动时加载必要的服务

复制代码

代码如下:

# service httpd start; service crond start
# chkconfig httpd on; chkconfig crond on

现在我们下载并解压SARG

复制代码

代码如下:

# wget http://downloads.sourceforge.net/project/sarg/sarg/sarg-2.3.8/sarg-2.3.8.tar.gz?
# tar zxvf sarg-2.3.8.tar.gz
# cd sarg-2.3.8

注意: 对于64位的Linux,log.c的源代码需要用下面的文件打补丁。

复制代码

代码如下:

1506c1506
< if (fprintf(ufile->file, "%s/t%s/t%s/t%s/t%"PRIi64"/t%s/t%ld/t%s/n",dia,hora,ip,url,nbytes,code,elap_time,smartfilter)<=0) {
---
> if (fprintf(ufile->file, "%s/t%s/t%s/t%s/t%"PRIi64"/t%s/t%ld/t%s/n",dia,hora,ip,url,(int64_t)nbytes,code,elap_time,smartfilter)<=0) {
1513c1513
< fprintf(fp_log, "%s/t%s/t%s/t%s/t%s/t%"PRIi64"/t%s/t%ld/t%s/n",dia,hora,user,ip,url,nbytes,code,elap_time,smartfilter);
---
> fprintf(fp_log, "%s/t%s/t%s/t%s/t%s/t%"PRIi64"/t%s/t%ld/t%s/n",dia,hora,user,ip,url,(int64_t)nbytes,code,elap_time,smartfilter);
1564c1564
< printf("LEN=/t%"PRIi64"/n",nbytes);---
> printf("LEN=/t%"PRIi64"/n",(int64_t)nbytes);

如下继续并编译/安装SARG

复制代码

代码如下:

# ./configure
# make
# make install

SARG安装之后,配置文件可以按你的要求修改。下面是一个SARG配置的例子。

复制代码

代码如下:

# vim /usr/local/etc/sarg.conf
access_log /var/log/squid/access.log
temporary_dir /tmp
output_dir /var/www/html/squid-reports
date_format e ## We use Europian DD-MM-YYYY format here ##
## we don’t want multiple reports for single day/week/month ##
overwrite_report yes

现在是时候测试运行了,我们用调试模式运行sarg来查看是否存在错误。

复制代码

代码如下:

# sarg -x

如果i一切正常,sarg会根系Squid日志,并在/var/www/html/squid-reports下创建报告。报告也可以在浏览器中通过地址http://<服务器IP>/squid-reports/访问。

SARG可以用于创建日、周、月度报告。时间范围用“-d”参数来指定,值的形式很可能为day-n、 week-n 或者 month-n,n的值为向前推移的天/周/月的数量。比如,使用week-1,SARG会生成之前一星期的报告。使用day-2,SARG会生成之前两天的报告。

作为演示,我们会准备一个计划任务来每天运行SARG。

复制代码

代码如下:

# vim /etc/cron.daily/sarg
#!/bin/sh
/usr/local/bin/sarg -d day-1

文件需要可执行权限。

复制代码

代码如下:

# chmod 755 /usr/local/bin/sarg

现在SARG应该会每天准备关于Squid管理的流量报告。这些报告可以很容易地通过SARG网络接口访问。

以上就是利用SARG工具,来分析分析Squid日志,并以更详细的方式展示分析。系统管理员可以利用SARG来监视哪些网站被访问了,并跟踪访问量最大的网站和用户。

另外脚本之家小编找来的这篇文章还包含了SARG配置工作。你可以进一步自定义配置来满足自己的要求。希望能帮助大家,谢谢有点。

(0)

相关推荐

  • IIS日志分析工具(点格IIS日志分析器)使用图文教程

    最近服务器经常遭受hacker侵扰。入侵者技术比较高明,会删除IIS日志文件以抹去痕迹,这时可以到事件查看器看来自W3SVC的警告信息,往往能找到一些线索。当然,对于访问量特别大的Web服务器,仅靠人 ...

  • weblog expert Lite(IIS访问日志分析器)使用图文方法介绍

    Weblog expert是一个快速和强大的访问日志分析器。这会让你了解你的网站的访客:活动统计,访问的文件的路径,通过该网站,信息指页面,搜索引擎,浏览器,操作系统,和更多。该计划所产生的易于阅读的 ...

  • awk 分析web日志(页面执行时间)(常见应用3)

    前一段时间,我写过一篇文章,shell脚本分析 nginx日志访问次数最多及最耗时的页面(慢查询),其中提到了分析耗时页面重要性。今天主要讲的,是通过awk分析日志,快捷得到执行时间。在性能以及效率方 ...

  • 网站运维工具使用iis日志分析工具分析iis日志(iis日志的配置)

    对于一个需要长期维护的网站来说,如何让网站长久稳定运行是件很有意义的事情。有些在开发阶段没有暴露的问题很有可能就在运维阶段出现了,这也是很正常的。还有些时候,我们希望不断地优化网站,让网站更快速的响应 ...

  • office2007 Excel如何用描述统计对数据进行分析

    Excel在我们日常工作中使用较为广泛,那么office2007Excel中如何用描述统计对数据进行分析呢?请看下文. 操作方法 01 首先,我们打开office2007 Excel,在表格中输入相关 ...

  • vps的iis日志查看及分析教程

    vps是现在很多站长习惯使用的主机之一,它的功能基本上和服务器类似,但是价格要便宜很多,和虚拟主机相比就有更多优势了。网站日志分析是站长每天的必备工作之一,特别是分析网站是否被降权、哪些页面被收录等等 ...

  • squid日志文件太大怎样处理?

    Squid 默认的5天会压缩一次, 在 /etc/logrotate.d/squid中有设置。如果你修改了日志的位置, 请修改 /etc/logrotate.d/squid /home/log/squ ...

  • squid日志文件太大,怎样处理?

    Squid 默认的5天会压缩一次, 在 /etc/logrotate.d/squid中有设置。如果你修改了日志的位置, 请修改 /etc/logrotate.d/squid /home/log/squ ...

  • 如何用SPSS进行交叉列表分析?

    在实际分析中,除了需要对单个变量的数据分布情况进行分析外,还需要掌握 多个变量在不同取值情况下的数据分布情况,从而进一步深入 分析变量之间的相互影响和关系,这种分析就称为交叉列联表分析. 例如:某款服 ...