怎样写，最简单--实现单词分析功能？

Question

中文的话Ascii码值〉128，英文的话从要判断的第一个英文字母开始，直到出现非英文字母结束

Answer 1

先分析汉字，象上面的判断，一个汉字后加个空格，扫描分号，回车，中文替换成空格
split()
......

Answer 2

问题是所有这些分号，回车等等等等，都要保留，也要把它当成一个字符处理。
另外，SPLIT如果能够写多个分隔符该多好？