一、环境:
1、首先现在有一个采集平台,平均5分钟采集一次数据,并将相关数据放到采集平台下的数据库。这个采集平台估计有5000+个采集点,也就是说采集一次会有5000+个记录入库,一天入库记录就会有150W条数据以上入库。
2、我现在需要做一个应用平台,做数据统计和实时监控。
3、我需要在tomcat启动时启动一个定时器(Timer),在每天凌晨2点对采集平台的数据库前一天的数据进行抽取,并作出各种统计任务。二、问题:
1、我在展现实时监控是,需要去采集数据库拿到每个采集点的最新一次采集数据,我用select t.* from (select * from original_data_plc_em order by id desc) t group by t.station_id 这个语句或者近似的语句,都会产生比较大的延迟,数据库是mysql,这个该怎么优化呢?
2、定时数据抽取和统计我打算就用一个timer启动一个任务组(就是一些列方法了),这样做可行吗?
3、如果上面可行,那当其中一个任务失败时,这里容错机制该如何来做呢。希望做过相关设计的大虾给点宝贵的建议,小弟不胜感激!!
1、首先现在有一个采集平台,平均5分钟采集一次数据,并将相关数据放到采集平台下的数据库。这个采集平台估计有5000+个采集点,也就是说采集一次会有5000+个记录入库,一天入库记录就会有150W条数据以上入库。
2、我现在需要做一个应用平台,做数据统计和实时监控。
3、我需要在tomcat启动时启动一个定时器(Timer),在每天凌晨2点对采集平台的数据库前一天的数据进行抽取,并作出各种统计任务。二、问题:
1、我在展现实时监控是,需要去采集数据库拿到每个采集点的最新一次采集数据,我用select t.* from (select * from original_data_plc_em order by id desc) t group by t.station_id 这个语句或者近似的语句,都会产生比较大的延迟,数据库是mysql,这个该怎么优化呢?
2、定时数据抽取和统计我打算就用一个timer启动一个任务组(就是一些列方法了),这样做可行吗?
3、如果上面可行,那当其中一个任务失败时,这里容错机制该如何来做呢。希望做过相关设计的大虾给点宝贵的建议,小弟不胜感激!!
解决方案 »
免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货