如何用StringTokenizer类将一个汉语句子每个词切分？

Question

分词技术主要依赖于数据库支持，靠一个类是不可能的

Answer 1

分词技术主要依赖于数据库支持，靠一个类是不可能的

Answer 2

如果分析一个英文句子是不就简单多了，string类足以？另外数据库支持是指。。？

Answer 3

--摘
计算机分词单位主要依据国家标准《分词规范》来确定，但《分词规范》仅仅提出一套标准的分词规则，并明确了一些原则性问题，为便于操作，仍需根据《分词规范》制订出一个实例化的词表，作为《分词规范》的细化和补充；
《分词规范》较多采用定性和举例方法进行描述，客观上造成相当多的分词单位难以确定，从而影响了《分词规范》的可操作性，造成不同的分词系统的分词结果难以一致，因此需要研制一个与领域无关的通用或常用词词表，使《分词规范》用词表形式具体化；
对于信息界而言，只有《分词词表》才能真正实现汉语词表语料库等主要资源的共享和复用，避免了重复开发所造成的浪费。对于语言学界来说，《分词词表》可以促进汉语研究、汉语教学和词典编辑出版以及大规模真实语料加工处理。