php中文分词源码遇到的小问题

Question

本帖最后由 zhuzhaodan 于 2014-03-20 22:26:08 编辑

Answer 1

你的字典文件是 ucs-2be 编码的chr(0xFF).chr(0xFE) 是 ucs-2be 的 BOM

Answer 2

还是有些不懂，建立_SP_这个常量有什么作用啊？ucs-2be的BOM直接写出来存入一个变量就行了，为什么还要拿chr()函数计算出来？

Answer 3

chr(0xFF).chr(0xFE) 可写作 “\xff\xfe"
不过作者没有你那么聪明，所以就用字符串函数写了

Answer 4

作者是dede的作者，怎么可能？kending bushi zheyangde 

Answer 5

版主，我真没弄懂，人家用_SP_当字符串分割标识的，不是BOM吧，能帮帮忙嘛！

Answer 6

BOM 是编码类型声明，把 _SP_ 解释为 BOM 是为了帮助理解
你不是”在ascii对照表内根本找不到FF,FE这2个对应的编码“
再看define('_SP_', chr(0xFF).chr(0xFE)); 
define('UCS2', 'ucs-2be');
$spstr = _SP_;
$spstr = iconv(UCS2, 'utf-8', $spstr);
echo bin2hex($spstr);得到 efbfbe
这是 utf-8 的 BOM至于他为什么要这样做，你看看字典文件就知道是怎么回事了