目的:通过日志文件来统计各个域名访问的流量
日志格式如下:
1288663986.343 0 192.168.0.165 TCP_DENIED/403 1464 GET http://www.abcxyz.com/favicon.ico - NONE/-text/html
1288663989.343 0 192.168.0.165 TCP_DENIED/403 1464 GET http://www.abcxyz.com/favicon.ico - NONE/-text/html
1288664097.906 47 192.168.0.165 TCP_MISS/200 1953 GET http://www.xyz.com/ - DIRECT/192.168.0.165 text/html
我的设想就是,逐行读取日志文件内容,然后分字段导入数据库,再进行统计计算!在此想向个位大哥请教的问题是:
1.怎么进行逐行读取日志文件最优化?
2.当日志文件很大时会不会出问题,也就是这个想法可不可行
3.如果各位能提供其他更好的统计方法更加感谢(不要推荐我用现成的流量统计软件哦)
日志格式如下:
1288663986.343 0 192.168.0.165 TCP_DENIED/403 1464 GET http://www.abcxyz.com/favicon.ico - NONE/-text/html
1288663989.343 0 192.168.0.165 TCP_DENIED/403 1464 GET http://www.abcxyz.com/favicon.ico - NONE/-text/html
1288664097.906 47 192.168.0.165 TCP_MISS/200 1953 GET http://www.xyz.com/ - DIRECT/192.168.0.165 text/html
我的设想就是,逐行读取日志文件内容,然后分字段导入数据库,再进行统计计算!在此想向个位大哥请教的问题是:
1.怎么进行逐行读取日志文件最优化?
2.当日志文件很大时会不会出问题,也就是这个想法可不可行
3.如果各位能提供其他更好的统计方法更加感谢(不要推荐我用现成的流量统计软件哦)
解决方案 »
免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货