寻日志处理方案

Question

本帖最后由 pumanchawulaowu 于 2010-05-02 23:49:14 编辑

Answer 1

去研究一下hadoop，看看人家是怎么作的。其实有时问题不是很难，难的是作事的思路和理念。

Answer 2

1、中间层接受客户端日志，以时间命名日志文件。
2、合并层以ftp方式从中间层下拉日志文件（按照时间顺序进行）
3、合并层用AWK进行日志的处理，将处理结果写入数据库
4、从数据库生成日志报表