lucene中文检索

Question

好像研究这个的比较少，我比较关注该问题。gz

Answer 1

这个问题在年初就解决了。
我从大富翁的孙老大那学了不少。^_^下面给你三个类，你看看：
//ChineseTokenizer.javapackage org.apache.lucene.analysis.cn;import java.io.Reader;
import org.apache.lucene.analysis.*;public final class ChineseTokenizer extends Tokenizer {
    public ChineseTokenizer(Reader in) {
        input = in;
    }
    private int offset = 0, bufferIndex=0, dataLen=0;
    private final static int MAX_WORD_LEN = 255;
    private final static int IO_BUFFER_SIZE = 1024;
    private final char[] buffer = new char[MAX_WORD_LEN];
    private final char[] ioBuffer = new char[IO_BUFFER_SIZE];
    private int length;
    private int start;
    private final void push(char c) {
        if (length == 0) start = offset-1;            // start of token
        buffer[length++] = Character.toLowerCase(c);  // buffer it
    }
    private final Token flush() {
        if (length>0) {
            //System.out.println(new String(buffer, 0, length));
            return new Token(new String(buffer, 0, length), start, start+length);
        }
        else
            return null;
    }    public final Token next() throws java.io.IOException {
        length = 0;
        start = offset;
        while (true) {
            final char c;
            offset++;
            if (bufferIndex >= dataLen) {
                dataLen = input.read(ioBuffer);
                bufferIndex = 0;
            };
            if (dataLen == -1) return flush();
            else
                c = (char) ioBuffer[bufferIndex++];
            switch(Character.getType(c)) {
            case Character.DECIMAL_DIGIT_NUMBER:
            case Character.LOWERCASE_LETTER:
            case Character.UPPERCASE_LETTER:
                push(c);
                if (length == MAX_WORD_LEN) return flush();
                break;
            case Character.OTHER_LETTER:
                if (length>0) {
                    bufferIndex--;
                    return flush();
                }
                push(c);
                return flush();
            default:
                if (length>0) return flush();
                break;
            }
        }
    }
}///////////////////////////////////////////////////////
//ChineseFilter.javapackage org.apache.lucene.analysis.cn;import java.io.Reader;
import java.util.Hashtable;
import org.apache.lucene.analysis.*;public final class ChineseFilter extends TokenFilter {
    // Only English now, Chinese to be added later.
    public static final String[] STOP_WORDS = {
    "and", "are", "as", "at", "be", "but", "by",
    "for", "if", "in", "into", "is", "it",
    "no", "not", "of", "on", "or", "such",
    "that", "the", "their", "then", "there", "these",
    "they", "this", "to", "was", "will", "with"
    };
    private Hashtable stopTable;
    public ChineseFilter(TokenStream in) {
        input = in;
        stopTable = new Hashtable(STOP_WORDS.length);
        for (int i = 0; i < STOP_WORDS.length; i++)
            stopTable.put(STOP_WORDS[i], STOP_WORDS[i]);
    }
    public final Token next() throws java.io.IOException {
        for (Token token = input.next(); token != null; token = input.next()) {
            String text = token.termText();
            if (stopTable.get(text) == null) {
                switch (Character.getType(text.charAt(0))) {
                case Character.LOWERCASE_LETTER:
                case Character.UPPERCASE_LETTER:
                    // English word/token should larger than 1 character.
                    if (text.length()>1) {
                        return token;
                    }
                    break;
                case Character.OTHER_LETTER:
                    // One Chinese character as one Chinese word.
                    // Chinese word extraction to be added later here.
                    return token;
                }
            }
        }
        return null;
    }
}

//////////////////////////////////////
//ChineseAnalyzer.javapackage org.apache.lucene.analysis.cn;import java.io.Reader;
import org.apache.lucene.analysis.*;/**
 * Title: ChineseAnalyzer
 * Description:
 *   Subclass of org.apache.lucene.analysis.Analyzer
 *   build from a ChineseTokenizer, filtered with ChineseFilter.
 * Copyright:   Copyright (c) 2001
 * Company:
 * @author Yiyi Sun
 * @version 1.0
 *
 */public class ChineseAnalyzer extends Analyzer {    public ChineseAnalyzer() {
    }    /**
    * Creates a TokenStream which tokenizes all the text in the provided Reader.
    *
    * @return  A TokenStream build from a ChineseTokenizer filtered with ChineseFilter.
    */
    public final TokenStream tokenStream(String fieldName, Reader reader) {
        TokenStream result = new ChineseTokenizer(reader);
        result = new ChineseFilter(result);
        return result;
    }
}我后来做了一些修改，加入了自己的功能。这里就不贴出来了。^_^希望对你有帮助。