[原创] 让 MySQL 4.0.x 或 5.1.x 的全文检索(全文索引)支持中文及简易分词

下载及完全说明正式地址: http://myft.twomice.net在不影响 MySQL 的系统结构及其他功能的前提下，解决了 MySQL 目前对中文全文检索无法正确支持的缺陷并优化 MySQL 对中文检索处理的性能。（目前本软件包支持根据词典进行简易的正向最大匹配分词、支持包括UTF-8、GBK、BIG5 ... 在内的字符集）经测试效果尚可, 140万行约 1.4G 数据(不含索引区空间) 检索大概都在 0.0x ~ 0.x 秒之间. 搭配做一个小型全文检索将变得十分简单.MySQL 从 3.23 的某个小版本开始就已经支持在 MyISAM 表中建立全文索引的字段。由于 CJK(中日韩)字符集及其句法的特殊性(词与词之间没有像英文一样的间隔)，MySQL 一直没有针对多字节的宽字符集作出应有的支持，也没有任何分词能力。而 MySQL 作为 PHP 等 Web Script 的绝佳搭档，已经被广泛应用到各个角落，对于它的检索令绝大多数开发者头痛，用 SELECT ... WHERE ... LIKE %...% 的方式不仅效率差（动则扫描全表岂能不慢？），对于中文这样的特殊语言也存在严重的岐义问题（因为词才是最小的语意单位）。我也在一段时间内受限于 MySQL 的检索限制，而不得不寻求其它解决方案，但都不太尽人意。--
顺便提一下，有一个叫作海量的分词技术公司，很早就做过 mysql-chinese 的 hack，只不过迟迟没有按照 GNU 精神及时发布源码，所以才决定自己来作。