小弟刚学java，，但对java的多线程以及其他一些东西不太熟悉，尤其是1.5之后似乎原来的并发机制已被更优的方法代替了，更让人不知用什么才好。现在正在做一个实习项目，要求如下：
1，有10个文本文件，每个220M左右，每个文件记录大约2千万条，每条记录格式相同，包括每条记录的原始时间戳，但每条记录中也有些是无用的信息，处理时去掉。
2，要产生用户指定的记录条数，并对其做相应的处理（细节略）
3，将产生的记录放入一个队列中，生产者在队列满时阻塞，消费者在队列空时等待我的问题是：
1，想用多线程来提高处理的效率，想请问大家的是，有没有办法用多个线程读取一个文件的内容来提高速度，比如线程1读取文件的第一行，线程2同时读取第二行如果这点做不到，那是不是应该把读文件和处理记录放在不同的线程中来提高效率？但是处理记录的方法必须依赖于读到的每一行的内容，如何在不同的线程中实现呢？
2，老师的要求是用一个指定大小的队列来存放这些记录，并根据每条记录的原始时间戳来生成新的时间戳（只是为了保持原有的先后顺序），然后将它们按时间戳排序，等待用户来拿，而用户取得的记录将根据记录的时间戳来决定何时发送给其他人（这点不用我实现）。我本来想用PriorityQueue来实现，但是如果有多个线程在进行生产和获取记录，那么根本保证不了用户拿到所有的记录时是按时间戳排序的，更别说根据时间顺序发送出去了老师说可以让用户自己实现一个sortedSet进行排序，那如果这家伙要生成2亿条记录，估计他得准备个2G内存来存储并排序这些数据了有什么办法可以减少内存开销又获得比较好的性能呢？
3，上面那个queue的问题，好像不但解决不了时间戳的先后顺序，而且多线程在这个queue上根本没用武之地吧？只能一头进一头出，如果空了或者满了，再多的线程都得等着，加上同步的开销，好像还不如单线程来的快。我是否应该改用其他数据结构比如list什么的 加上多线程？
4，最头痛的一点，这个程序到时要部署到多个网络节点上去的，但是老师又说，原始数据太庞大，不想就这样放到每个节点上去那如果不放上去怎么读取到足够的数据呢？？用数据库会不会节省些空间开销？或者需要搞分布式？花了好多时间了，多线程的东西还是一知半解，写程序写到郁闷死，最后发现照我现在的写法多线程还不如单线程快更要命的是结构上还有很多东西没定下来，根本没法往下写了，各位大侠救救我吧！
1，有10个文本文件，每个220M左右，每个文件记录大约2千万条，每条记录格式相同，包括每条记录的原始时间戳，但每条记录中也有些是无用的信息，处理时去掉。
2，要产生用户指定的记录条数，并对其做相应的处理（细节略）
3，将产生的记录放入一个队列中，生产者在队列满时阻塞，消费者在队列空时等待我的问题是：
1，想用多线程来提高处理的效率，想请问大家的是，有没有办法用多个线程读取一个文件的内容来提高速度，比如线程1读取文件的第一行，线程2同时读取第二行如果这点做不到，那是不是应该把读文件和处理记录放在不同的线程中来提高效率？但是处理记录的方法必须依赖于读到的每一行的内容，如何在不同的线程中实现呢？
2，老师的要求是用一个指定大小的队列来存放这些记录，并根据每条记录的原始时间戳来生成新的时间戳（只是为了保持原有的先后顺序），然后将它们按时间戳排序，等待用户来拿，而用户取得的记录将根据记录的时间戳来决定何时发送给其他人（这点不用我实现）。我本来想用PriorityQueue来实现，但是如果有多个线程在进行生产和获取记录，那么根本保证不了用户拿到所有的记录时是按时间戳排序的，更别说根据时间顺序发送出去了老师说可以让用户自己实现一个sortedSet进行排序，那如果这家伙要生成2亿条记录，估计他得准备个2G内存来存储并排序这些数据了有什么办法可以减少内存开销又获得比较好的性能呢？
3，上面那个queue的问题，好像不但解决不了时间戳的先后顺序，而且多线程在这个queue上根本没用武之地吧？只能一头进一头出，如果空了或者满了，再多的线程都得等着，加上同步的开销，好像还不如单线程来的快。我是否应该改用其他数据结构比如list什么的 加上多线程？
4，最头痛的一点，这个程序到时要部署到多个网络节点上去的，但是老师又说，原始数据太庞大，不想就这样放到每个节点上去那如果不放上去怎么读取到足够的数据呢？？用数据库会不会节省些空间开销？或者需要搞分布式？花了好多时间了，多线程的东西还是一知半解，写程序写到郁闷死，最后发现照我现在的写法多线程还不如单线程快更要命的是结构上还有很多东西没定下来，根本没法往下写了，各位大侠救救我吧！
除非你把堆内存开到1G，否则根本就不可能完成！因为集合类比较耗内
存。再有在单CPU环境下，使用多线程读取文件，根本就不会提高多少效率。
首先，做多线程就一定要用jdk1.5以后的。因为新的多线程机制要比之前的版本好用很多，本质的区别。另外你说的，多线程读文本，关键在于，不要一行一行的读数据. 设定一个缓冲区，每次都一次性读进来.我觉得线程操作应该是面向你的缓冲区的，而不是直接面向文本的。至于你说的排序什么的，我是真有点困惑了，没看懂你的描述。另外，使用多线程不等于高效率。我想你还是不要先入为主的就说要用多线程。还是仔细划分一下业务模块。那些原子级的模块，你就可以用独立线程去处理。还有如果你面向的用户是并发访问的，那么也可以用多线程处理。介绍一本书给你---《并发编程实践》 电子工业出版社
关于什么时候堆内存溢出，eclipse的话JVM好像设不到1024M，反正一开始我没改eclipse默认的JVM内存大小，写的程序是边读边处理边放进Queue里面，100万条的时候还OK，后来想改用多个线程读，结果不知道是不是因为我程序写的垃圾，把eclipse的JVM改到768M，还是在50万条的时候溢出了，不用eclipse，把JVM改到1024M，100万条OK，但速度明显比我原来的单线程程序慢了很多我现在在学习用nio读大文件，有个问题，160多M的文件是不是肯定要map文件到内存？这样的话内存就更不够用了，那是不是最好的办法就是把读文件和处理的逻辑分在2个线程里，再加个合适大小的buffer，这样相当于消费者和生产者了。但关键是最后的那个对时间戳排序，这时间戳还不是真实的时间戳，是为了保证原有的时间戳的先后顺序而生成的，太不现实了除非写进数据库再进行排序吧？否则内存里哪来那么多空间把所有的东西存起来进行排序咧？？
static int length = 0x8FFFFFF; // 128 Mb
8FFFFFF怎么会是128Mb呢？就算从0算起，length也应该是7FFFFFF吧？
好像可以用nio进行文件映射，但一次映射整个160M的文件会不会大了点？但如果只映射部分文件，比如mappedbytebuffer大小设16M，因为我处理的时候需要按行来读记录，按换行符读缓存的话，肯定每次会有些剩下的，到时是不是还得把channel的position移回到上一行的结尾，保证能读取完整的一行，然后继续映射啊？？
因为时差关系，还有些问题等上课回来再请教你。。
PS：对nio的内存映射的使用还是不太明白，是不是如果只将文件的一部分映射到内存，比如映射到64M大小的buffer，下次我还想接着上次的地方继续读文件，那就必须在文件当前位置重新开个通道？
_____________________________________________________________嘿嘿，我不是C语言的爱好者，对C语言只知皮毛，之所以用printf，主要是格式
化输出更为方便的啦～～3600多万条，就算一个文件也有36万条，近160多M，全部塞进Map中根本就是不
可能的！就算塞进去内存得开得很大。你可能还没有完全理解我的意思，像上次那个2G文件的那个，人家一上来就把格
式、需求都说得很清楚。像你的这个，我到现在为止都不知道你的文件格式是什
么？具体要做些什么？（细节竟然略掉了）像这种大文件，只能根据格式、需求
来找出算法的。真的很抱歉，根本不能帮你想到什么实质性的办法！
UID QUERYCONTENT DATE
源数据以UID排序，但是老师要求最后按照DATE的先后顺序生成相应的timestamp，并在queue中按timestamp进行排序，然后由client提取queue中的subscription，按timestamp规定的时间间隔发布不知道这样描述是否清楚原描述是英文的，大概就这意思了。。
不明白，DATE和Timestamp有些什么区别？两个都是时间戳之间的东西，能否举个例子？2，并在queue中按timestamp进行排序
不明白，为什么要在Queue中排序呢？3，可能我比较笨不能完全了解老外的想法，我还是没有看懂具体要做些什么，感觉越看越糊涂了……如果不进行数据的转换，采用占用容量更小的数据类型来存储的话，采用集合类，
这个任务近乎是不可能完成的（限于内存）。如果有必要把数据导入到数据库中好像更为合适一些。
1，原始数据格式如下：
142 broadway.vera.org 2006-04-08 08:39:302，这里的时间是未处理前的时间戳，但是老师要求的是在用这些数据生成subscription的时候，客户可以指定所要生成sub的条数和时间间隔。比如说客户指定生成1000条sub，他们的时间跨度是10分钟，而程序从原始文件读到的记录可能时间跨度是1个月，那我就需要在保持原始记录的时间先后顺序的同时做相应的时间间隔压缩，把跨度一个月的记录的时间戳压缩到10分钟内，然后在queue中根据时间戳的先后顺序进行排序，这样用户在提取sub的时候，可以根据sub的时间戳决定何时发布这些sub，比如提取到的第一个sub的时间戳是0，那么就立即发布，第二个时间戳是3000，那么就3秒后发布，反正就是保证在10分钟内把这些sub发布出去就对了是否将原始数据放到数据库比较好点？老师说如果我要用数据库，那就用轻量级的容易打成jar包和程序一起发布的，比如tinySQL之类的，不知道有没有人用这个小玩意儿？