目的:通过日志文件来统计各个域名访问的流量
日志格式如下:
1288663986.343      0 192.168.0.165 TCP_DENIED/403 1464 GET http://www.abcxyz.com/favicon.ico - NONE/-text/html
1288663989.343      0 192.168.0.165 TCP_DENIED/403 1464 GET http://www.abcxyz.com/favicon.ico - NONE/-text/html
1288664097.906     47 192.168.0.165 TCP_MISS/200 1953 GET http://www.xyz.com/ - DIRECT/192.168.0.165 text/html
我的设想就是,逐行读取日志文件内容,然后分字段导入数据库,再进行统计计算!在此想向个位大哥请教的问题是:
  1.怎么进行逐行读取日志文件最优化?
  2.当日志文件很大时会不会出问题,也就是这个想法可不可行
  3.如果各位能提供其他更好的统计方法更加感谢(不要推荐我用现成的流量统计软件哦)