如何优化千万数据量运算？

Question

现在使用mysql 将抓取上千万的log数据 
将这些数据进行汇总求和报表的一些处理 有没有什么更好的办法 在每天拥有上千万数据的情况下 每天执行一次 将他们汇总 请教高人

Answer 1

此回复为自动发出,仅用于显示而已，并无任何其他特殊作用
楼主【sunchao866】截止到2008-07-29 10:26:47的历史汇总数据(不包括此帖)：
发帖的总数量:5                        发帖的总分数:40                       每贴平均分数:8                        
回帖的总数量:7                        得分贴总数量:1                        回帖的得分率:14%                      
结贴的总数量:0                        结贴的总分数:0                        
无满意结贴数:0                        无满意结贴分:0                        
未结的帖子数:5                        未结的总分数:40                       
结贴的百分比:0.00  %               结分的百分比:0.00  %                  
无满意结贴率:---------------------无满意结分率:---------------------
如何结贴请参考这里：http://topic.csdn.net/u/20080501/09/ef7ba1b3-6466-49f6-9d92-36fe6d471dd1.html

Answer 2

这么大的数据量，建议用存储过程来写，写一个job，每天定时执行处理完毕存入数据库的一个表中，程序只是查询这个表的数据而已