当我用JDBC来从一个数据库读取N条数据(N很大,每条数据也很大,不定长),执行一些操作后,放入另一个库中。该怎么操作才能让效率最高?
存在问题是,每次读取的数据要尽量多,这样效率才会高,但是机器本身的内存是有限的,如果不做限制会超内存。
另外,机器可用的内存不等于,程序可以向JVM申请到的内存。
求高手指教。
存在问题是,每次读取的数据要尽量多,这样效率才会高,但是机器本身的内存是有限的,如果不做限制会超内存。
另外,机器可用的内存不等于,程序可以向JVM申请到的内存。
求高手指教。
仅供参考。
2. 从ResultSet中获取数据只能单线程,老老实实一行一行的取数据吧,每取到一行数据就交给线程池中的一个线程来进行处理
3. 线程池中的线程对数据处理完成后,为了不阻塞后面的请求,可将数据放入队列。然后等待后面的数据处理请求
4. 写入另外一个库的工作也开启一个线程,轮询前面的队列中的数据,可一次从队列中拿一批数据,对这批数据的insert也只能老老实实一条条执行,对这批数据的insert开启事务可提高速度
方案二:采用临时表机制如果数据量巨大,且两个数据库之间能连通(如建立DBLink),可采用这种方式。将对数据的处理转换为SQL来实现,将处理完的结果放入到临时表中,所有数据处理完成后将整个表的数据插入到目标库。
这种方式省去了JDBC与数据库的交互,所有操作都在数据库服务器内部进行,这样效率比用程序来实现要高很多。
如果是查询表 插入到别的表,或者夸数据库,建议考虑用存储过程来做。这一容易提高效率。