如何写一个高效的分词包

Question

最近想写一个分词包。。那么如果写一个性能良好的分词包（或者说是一个牛b的分词包）
它起码具有什么特点。应该注意什么？ 如何提高他的性能以及速度。有什么比较好的方法

Answer 1

分词可以上网找一下的.
分词技术很成熟了的,呵呵看看他们的库

Answer 2

简单的分词我觉得可以使用编译原理中的基础知识。
例如使用正规式定义词。当然，这是不包括语义的。
可以使用自动机相关的理论提高效率。

Answer 3

网上搜搜吧 全是牛逼的。