现在有个lucene 索引程序,在长期运行后效率降低.

Question

各位达人好!       现在有个lucene 索引程序,在长期运行后效率降低.       目前需要索引的数据量是1T,文件基本都是小文件,个数超过1700w.       服务器配置 cpu 8个,内存8ge,硬盘>10t      已经做过一些优化,效率仍然不满意.     想请教一下这个情况的分析思路以及需要做哪些基本测试     或者说可以通过哪些手段进行性能盘查.....    请大家敞开思路 多提建议 

Answer 1

lucene 好像可以设置大小 和 优化  看看《Lucene in Action》里面有详细介绍

Answer 2

“把索引文件拆成多个”的理由有两个：1. 好像检索速度跟索引文件的尺寸不是线性关系，索引文件越大，检索效率越低；2. 如果硬盘是分卷的，可以把拆开的文件分散到不同的卷上，提高 IO 效率。“多线程”的理由当然就是发挥 8CPU 的优势。