对于大数据要批量写文件,大家有没有好的方法? 目前每月需要定期查询大批量的数据,然后写到文件中,有效率要求,希望能越快越好。文件数量没有硬性规定。 现在思考的是多线程取数据写文件,但是多线程用syn,担心会影响效率,因为数据量非常大。兄弟们有没有更好的办法? 解决方案 » 免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货 可以考虑使用脚本语言,perl等,如果使用java多线程,可以尽量避免syn。 也考虑过perl语言,但是Perl的多线程好像支持得不是很好,而且核心代码使用java写的,所以还是想用java来做。但是如果避免syn就可能会因为文件指针混乱的问题。 linux上的话硬盘映射为内存解决IO瓶颈 是在linux上,硬盘映射为内存,这种方式还没试过,先了解下。 http://www.cnblogs.com/OceanChen/archive/2009/02/11/1388185.html java文本区监听器的使用 求书啊,谢谢各位大哥 大姐了 去除 JFrame 垂直滚动条 关于抽象类的问题 关于JAVA一些命名规则,大家补充一下。。。。。 java中的Date怎么转换成YYYYMMDD形式的? 为什么我的javabean调用不了 怎样控制一段JAVA程序不要CPU 100%占用的问题 处理两个ArrayList? 关于web访问日志统计软件 创新报告,java项目 System.gc()不能保证垃圾回收是因为垃圾回收器的线程级别低,还是因为垃圾回收器是每隔一段时间去扫描有没有垃圾并且看内存够不够再决定是否回收的,还是都是?
也考虑过perl语言,但是Perl的多线程好像支持得不是很好,而且核心代码使用java写的,所以还是想用java来做。但是如果避免syn就可能会因为文件指针混乱的问题。
是在linux上,硬盘映射为内存,这种方式还没试过,先了解下。
http://www.cnblogs.com/OceanChen/archive/2009/02/11/1388185.html