现在的系统每天都要产生上百万甚至几百万条记录,目前保存于日志文件中。但我们现在想处理这些日志文件,并对其中的记录进行业务逻辑处理。不能在日志文件中直接处理,那会破坏原始数据。想把里面的记录解析出来保存到数据库中,这样数据要插很长很长的时间,而且读的也比较慢。是存入数据库中呢,还是保存于文件中?好像都不是很好,速度问题。
请大家给我一个好的解决办法,谢谢!