是这样的,我要处理的数据不是一次性导入的,而是分次导入到mysql里面,然后要处理的时候选择出来处理。
但是我发现从数据库里取一条数据然后处理这样速度太慢,
然而一次性全部读入内存又显得不太科学,容易爆吧,因为数据量容易很大。问下,有没有什么两全齐美的方法呀?JAVA中list容量最大是多少?
但是我发现从数据库里取一条数据然后处理这样速度太慢,
然而一次性全部读入内存又显得不太科学,容易爆吧,因为数据量容易很大。问下,有没有什么两全齐美的方法呀?JAVA中list容量最大是多少?
解决方案 »
- 覆盖方法时返回类型不一样会出现怎样的情况
- 请教一个编程思路,高手请进。
- 连接sql server 2008
- 关于GenericServlet 源码问题
- 堆和栈的问题
- 有那些 Java技术相关的规范和java框架
- 一台电脑上能否同时装虚拟机的多个版本 例如 1.5 和1.4
- 一个小问题
- JAVA APPLET 如何扑获用户在浏览器中按下文件菜单里的“关闭”和右上角的打叉按钮!!!!
- 急需JAVA写的显示饼状图、柱状图的程序。
- java 中的package与import
- 1.for(int i = 100000; i > 0; i–-) {} 2.for(int i = 1; i < 100001; i++) {} 哪个更快
可以分批取出,分批处理
以上个人观点
不过尽量都是部分读入再处理。也就是每次读入几百兆的文件,然后再处理,这个是可以承受的。
都读入内容,有时候是不可能的。硬件是最终的制约条件。
你看看能不能把大数据,先划分为若干小的数据另外,你的MySQL在Linux下,应该支持内存数据库,BerkeleyDB,可以利用。