如何将unicode格式文本解析出 word 用 streamTokenizer?

比如将 a% #unicode 解析成 a unicode 
ansi的文本成功了
但是unicode的文本解析成单个字母：  a u n i c o u d e\
怎样才能解析成一个一个的word呢？
还需要怎样设置streamTokenizer的syntax table？？//////////////////////////////////
import java.io.*;
//import java.util.*;
public class Test
{
public static void main(String[] args)
{
try
{
 
BufferedReader r = new BufferedReader (new FileReader("ansiIn.dat"));

                        StreamTokenizer st = new StreamTokenizer(r);   
                        st.lowerCaseMode(true);
                        st.whitespaceChars('\u0000', '\u0040');
                        st.whitespaceChars('\u005B', '\u0060');
                        st.whitespaceChars('\u007B', '\u00FF');
            
while(st.nextToken() != StreamTokenizer.TT_EOF)
{

String token = st.toString();

System.out.println(token);

}
         
}
catch(IOException exception)
{
exception.printStackTrace();
}

}

}