来讨论UTF-8编码问题，来者都送分 UTF-8编码里的字符大概是如何分区，例如说大家都是ＵＴＦ８编码，如何通过网站的内容识别这个站是中文简体的还是繁体的还是其它某个国家的像Google就能自动识别 解决方案 » 免费领取超大流量手机卡，每月29元包185G流量+100分钟通话, 中国电信官方发货 关于字符集的介绍希望对你有帮助http://www.fmddlmyy.cn/mytext.html UTF-8编码UCS-2和UCS-4编码很难在许多当前的应用和协议中使用，这些应用和协议假定字符为一个8或7比特的字节。即使新的可以处理16比特字符的系统，却不能处理UCS-4数据。这种情况导致一种称为UCS转换格式（UTF）的发展，它每一种有不同的特征。 UTF-8(RFC 2279)，使用了8比特字节的所有位，保持全部US-ASCII取值范围的性质：US-ASCII字符用一个8比特字节编码，采用通常的US-ASCII值，因此，在此值下的任何一个8比特位字节仅仅代表一个US-ASCII字符，而不会为其他字符。它有如下的特性：1）UTF-8向UCS-4，UCS-2两者中任一个进行相互转换比较容易。2）多8比特字节序列的第一个8比特字节指明了系列中8比特字节的数目。3）8比特字节值FE和FF永远不会出现。4）在8比特字符流中字符边界从哪里开始较容易发现。UTF-8定义:在UTF-8中，字符采用1到6个8比特字节的序列进行编码。仅仅一个8比特字节的一个序列中，字节的高位为0，其他的7位用于字符值编码。n（n>1）个8比特字节的一个序列中，初始的8比特字节中高n位为1，接着一位为0，此字节余下的位包含被编码字符值的位。接着的所有8比特字节的最高位为1，接着下一位为0，余下每个字节6位包含被编码字符的位。下表总结了这些不同的8比特字节类型格式。字母x指出此位来自于进行编码的UCS-4字符值。 UCS-4范围（16进制） UTF-8 系列（二进制） 0000 0000<->0000 007F 0xxxxxxx 0000 0080<->0000 07FF 110xxxxx 10xxxxxx 0000 0800<->0000 FFFF 1110xxxx 10xxxxxx 10xxxxxx 0001 0000<->001F FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 0020 0000<->03FF FFFF 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 0400 0000<->7FFF FFFF 1111110x 10xxxxxx ... 10xxxxxxURL 解码用IE发送GET请求的时候，URL是用UTF-8编码的，当对截包数据分析时候就需要对数据解码，下面的函数是一个简单的实现：CString CTestUrlDlg::UrlToString(CString url){ CString str = ""; int n = url.GetLength(); url.MakeLower(); BYTE a, b1, b2; for (int i=0; i= ''0'') && (c <= ''9'')) d = c - ''0''; else if ((c >= ''a'') && (c <= ''f'')) { d = c - ''a'' + 10; } else if ((c >= ''A'') && (c <= ''F'')) { d = c - ''A'' + 10; } else d = 0; return d; }static void UnicodeToGB2312(const WCHAR unicode, char* buffer){// int size = ::WideCharToMultiByte(CP_ACP, 0, unicode, -1, NULL, 0, NULL, NULL); int ret = ::WideCharToMultiByte(CP_ACP, NULL, &unicode, -1, buffer, 3, NULL, NULL);}CString CTestUrlDlg::Uft8ToGB(CString url){ CString str = ""; char buffer[3]; WCHAR unicode; unsigned char * p = (unsigned char *)(LPCTSTR)url; int n = url.GetLength(); int t = 0; while (t < n) { unicode = UTF8ToUnicode(p, t); UnicodeToGB2312(unicode, buffer); buffer[2] = 0; str += buffer; } return str;}转自：http://www.vckbase.com/document/viewdoc/?id=1770 网页的头部有编码信息：<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml"><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><title>来讨论UTF-8编码问题，来者都送分</title> UNICODE 文件(任何文件都是,包括HTML页面)前两个字节是0xFF 0xFE,(国际通用惯例)验证方法打开记事本写入内容,选择别存为(UNICODE),读出来就可以看到了.UTF-8 文件(任何文件都是,包括HTML页面)前三个字节是0xEF 0xBB 0xBF,(国际通用惯例)验证方法打开记事本写入内容,选择别存为(UTF-8),读出来就可以看到了.原因:是上述编码,在相应的编码库中没有使用. <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> 红色字体,只表示浏览器网面的默认字符集, intWINAPIFuAsciiToUnicode(LPCSTR lpMultiByte,int nMultiByte,LPWSTR lpWideChar,int nWideChar){ int cbDataWide = 0 ; if( lpMultiByte && nMultiByte >0) cbDataWide = MultiByteToWideChar(CP_ACP,0,lpMultiByte,nMultiByte,lpWideChar,nWideChar); return cbDataWide;}intWINAPIFuUnicodeToAscii(LPCWSTR lpWideChar,int nWideChar,LPSTR lpMultiByte,int nMultiByte){ int cbDataChar = 0; if( lpWideChar && nWideChar >0 ) cbDataChar = WideCharToMultiByte(CP_ACP,0,lpWideChar,nWideChar,lpMultiByte,nMultiByte,NULL,NULL); return cbDataChar;}/*UCS-2编码(16进制) UTF-8 字节流(二进制) 0000 - 007F 0xxxxxxx 0080 - 07FF 110xxxxx 10xxxxxx 0800 - FFFF 1110xxxx 10xxxxxx 10xxxxxx 例如“汉”字的Unicode编码是6C49。 6C49在0800-FFFF之间，所以肯定要用3字节模板了： 1110xxxx 10xxxxxx 10xxxxxx。 将6C49写成二进制是：0110 110001 001001， 用这个比特流依次代替模板中的x，得到： 11100110 10110001 10001001，即E6 B1 89。 */ intWINAPIFuUnicodeToUtf8(LPCWSTR lpUnicode, int nUnicodeLen, // len of in_ucs2_str in 16 bit mode LPSTR lpUtf8, int nUtf8Len // len of out_utf8_str in 8 bit mode ){ int nPos = 0; if( lpUnicode && nUnicodeLen >0 ) { for(int i = 0;i < nUnicodeLen /*&& nPos < nUtf8Len*/;i++) { if( (0x7f >= lpUnicode[i]) ) { if( lpUtf8 ) { if( nPos < nUtf8Len ) { lpUtf8[nPos++] = lpUnicode[i]&0x7F; } else { break; } } else { nPos++; } } else if( (0x7FF >=lpUnicode[i] && 0x80<=lpUnicode[i]) ) { if( lpUtf8 ) { if ( (nPos+2) < nUtf8Len) { lpUtf8[nPos++] = 0xC0 | (lpUnicode[i] >> 6); lpUtf8[nPos++] = 0x80 | (lpUnicode[i] & 0x3F); } else { break; } } else { nPos +=2; } } else if( (0xFFFF >= lpUnicode[i] && 0x800 <= lpUnicode[i]) ) { if( lpUtf8 ) { if( (nPos+3) < nUtf8Len ) { lpUtf8[nPos++] = 0xE0 |(lpUnicode[i] >> 12); lpUtf8[nPos++] = 0x80 |((lpUnicode[i] >> 6) & 0x3F); lpUtf8[nPos++] = 0x80 |(lpUnicode[i] & 0x3F); } else { break; } } else { nPos +=3; } } } } return nPos;}intWINAPIFuUtf8ToUnicode(LPCSTR lpUtf8, int nUtf8Len, // len of int_utf8_str in 8 bit mode LPWSTR lpUnicode, int nUnicodeLen // len of out_ucs2_str in 16 bit mode ){ int nPos = 0; if ( lpUtf8 && nUtf8Len >0 ) { for(int i = 0;i < nUtf8Len;nPos++) { if (0 == (lpUtf8[i] & 0x80)) { if( lpUnicode ) { if( nPos < nUnicodeLen ) { lpUnicode[nPos] = lpUtf8[i]; } else { break; } } i++; } else if( ( 0xC0 == (lpUtf8[i] & 0xE0) ) ) { if( lpUnicode ) { if( nPos < nUnicodeLen && ( (i+1) < nUtf8Len ) ) { lpUnicode[nPos] = lpUtf8[i] & 0x1f; lpUnicode[nPos] = lpUnicode[nPos] << 6; lpUnicode[nPos] |= (lpUtf8[i+1] & 0x3f); } else { break; } } i +=2; } else if( ( 0xE0 == (lpUtf8[i] & 0xF0) ) ) { if( lpUnicode ) { if( nPos < nUnicodeLen && ( (i+2) < nUtf8Len ) ) { lpUnicode[nPos] = lpUtf8[i] & 0x0f; lpUnicode[nPos] = lpUnicode[nPos] << 6; lpUnicode[nPos] |= (lpUtf8[i+1] & 0x3f); lpUnicode[nPos] = lpUnicode[nPos] << 6; lpUnicode[nPos] |= (lpUtf8[i+2] & 0x3f); } else { break; } } i +=3; } } } return nPos;}注1:这段代码是几个月前写的,没有注释,(代码只经过简单测试,如果用在工程中,请详细测试一下.)注2:以上代码,当输出"缓中区"为NULL中,返回所需长度. UNICODE编码中已经包含了所有语言，每种语言都有自己的编码范围，所以在同一篇文字中可以同时混合多种语言文字，判断文字的国别已经毫无意义。网页中的字符集编码实际上只有几种，ANSI/UTF-8/UTF-16(UNICODE)/UTF-32，区分国别的编码实际上只是这几种之一的子集而已，例如charset=gb2312就是UTF-16的子集，charset=gb18030就是UTF-32的子集，charset=big5也是UTF-16的子集，所以把charset=gb2312替换成charset=utf-16(unicode)没有任何显示上的问题，唯一的区别就是能方便让人区分出这个网站是哪个国家地区的哪种语言 如果你在<head>标签里没有设置CHARSET，那么会根据服务器的默认设置，在你请求数据包的头部加入对应的信息. 看完后瀑布汗-_-|||要知道GB2312是GBK的子集，GBK是GB18030的子集,他们的字符编码值和936代码页是一致的.这是UNICODE大范围推广之前,字符编码的国家标准,也是中文的全球通用标准.这时候全球各种语言都有自己的一套编码,各自为政不利于全球化.随着UNICODE越来越被重视,WINDOWS操作系统(NT)的内核开始采用UNICODE编码处理.要注意,UNICODE编码值和GBK的编码值是不一样的,例如"我"字,在unicode中的编码是6211,而GBK的编码则是CED2.他们唯一的共同之处,就是都用两个字节长度的编码表示.无论UNICODE,还是GBK,他们只是一个抽象的编码集.而具体在内存/磁盘中如何存储,则分为UTF-8/UTF-16,UTF-7，Punycode等等多种方式.UTF-8是变长字符存储(1-4字节),UTF-16是定长存储(2字节,且和UNICODE的抽象编码值完全相同,但分为大尾序/小尾序(big endian,little endian)).......GBK/BIG5/SHIF-JS/ISO 8859....这些是各个语言专属的编码集,统称ANSI(注意不是ASCII),随着UNICODE的深入人心,他们将逐步退出历史舞台...例如，网站要国际化,面对世界各地不同语言国家的访问者，要让他们的浏览器都能正确的显示中文而不是乱码，<head>标签里指定的charset就应为UTF-8，ASP页面开始也应声明<%@codepage=65001%>。GB2312被认为是过时的。再如,VC++编程者经常忽视字符集的问题。当前看来不管这种烦人的问题,并没有什么异常.但是引入带"T"的宏来处理字符相关功能应当是一种编程习惯，这样可以避免未来软件国际化/UNICODE化的隐患。要对UNICODE,_UNICODE,MBCS等宏的预定义做到心中有数。正规、专业的C/C++/VC++教材都会有专门的一章来讲解字符集编码及转换的问题，在各种良莠不齐的培训机构中是听不到的。所以很显然，“charset=gb2312就是UTF-16的子集，charset=gb18030就是UTF-32的子集，charset=big5也是UTF-16的子集，所以把charset=gb2312替换成charset=utf-16(unicode)没有任何显示上的问题”的言论是十分荒唐的。如果UNICODE编码恰好和GBK编码一致，倒是勉强能说的过去。 UTF8是unicode的另一种形式，二者转换非常简单。unicode是唯一的。 utf-8编码是multibyte方式的编码。以下内容copy自wikipedia：128 个 US-ASCII 字符只需一个字节编码（Unicode 范围由 U+0000 至 U+007F）。 带有附加符号的拉丁文、希腊文、西里尔字母、亚美尼亚语、希伯来文、阿拉伯文、叙利亚文及它拿字母则需要二个字节编码（Unicode 范围由 U+0080 至 U+07FF）。 其他基本多文种平面（BMP）中的字符（这包含了大部分常用字）使用三个字节编码。 其他极少使用的 Unicode 辅助平面的字符使用四字节编码。汉字（中日韩）多使用三字节编码，从码表来看，简化字并没有集中排放，所以简单判断简体和繁体的方法应该是没有的。不过可以自己做个简化字或繁体字的表（好像没几个字）来查询，判断简体还是繁体字。 17楼牛人，我仔细审阅了我的每个文字，好像没有提到GBK的任何内容。如果你扣字眼的话，我是无话可说。至于子集的说法，指的是UNICODE是一个大范围编码方案，每个对应UNICODE编码的语言（再次注意我没有提到GBK）都是UNICODE编码范围中的一部分，用“子集”的说法难道有问题？从包含的汉字数量来说，GB18030 > GBK > GB2312，希望你不是从这个角度来判断GB2312是GBK的子集，也希望你不要用此“子集”否定彼“子集”，就好比你是一个女性，别人不能因为你是程序员而否定你是女性一样的道理。 HTTP头都有charset的指定如果HTTP头没有的话，HTML中的META也可能会有说明这里还没有的话，那就只能看数据流的前几个字符了，这要还没有的话，程序只能猜了 引自：http://baike.baidu.com/view/40801.htmUnicode（统一码、万国码、单一码）是一种在计算机上使用的字符编码。它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。1990年开始研发，1994年正式公布。随着计算机工作能力的增强，Unicode也在面世以来的十多年里得到普及.大概来说，Unicode 编码系统可分为编码方式和实现方式两个层次。 1.编码方式 Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。Unicode 用数字0-0x10FFFF来映射这些字符，最多可以容纳1114112个字符，或者说有1114112个码位。码位就是可以分配给字符的数字。UTF- 8、UTF-16、UTF-32都是将数字转换到程序数据的编码方案。 Unicode字符集可以简写为UCS（Unicode Character Set）。早期的Unicode标准有UCS-2、UCS-4的说法。UCS-2用两个字节编码，UCS-4用4个字节编码。UCS-4根据最高位为0的最高字节分成2^7=128个group。每个group再根据次高字节分为256个平面（plane）。每个平面根据第3个字节分为256行（row），每行有256个码位（cell）。group 0的平面0被称作BMP（Basic Multilingual Plane）。将UCS-4的BMP去掉前面的两个零字节就得到了UCS-2。 每个平面有2^16=65536个码位。Unicode计划使用了17个平面，一共有 17*65536=1114112个码位。在Unicode 5.0.0版本中，已定义的码位只有238605个，分布在平面0、平面1、平面2、平面14、平面15、平面16。其中平面15和平面16上只是定义了两个各占65534个码位的专用区（Private Use Area），分别是0xF0000-0xFFFFD和0x100000-0x10FFFD。所谓专用区，就是保留给大家放自定义字符的区域，可以简写为 PUA。 平面0也有一个专用区：0xE000-0xF8FF，有6400个码位。平面0的 0xD800-0xDFFF，共2048个码位，是一个被称作代理区（Surrogate）的特殊区域。代理区的目的用两个UTF-16字符表示BMP以外的字符。在介绍UTF-16编码时会介绍。 如前所述在Unicode 5.0.0版本中，238605-65534*2-6400-2408=99089。余下的99089个已定义码位分布在平面0、平面1、平面2和平面 14上，它们对应着Unicode目前定义的99089个字符，其中包括71226个汉字。平面0、平面1、平面2和平面14上分别定义了52080、 3419、43253和337个字符。平面2的43253个字符都是汉字。平面0上定义了27973个汉字。 2.实现方式 在Unicode中：汉字“字”对应的数字是23383。在Unicode中，我们有很多方式将数字23383表示成程序中的数据，包括：UTF-8、UTF-16、UTF-32。UTF是“UCS Transformation Format”的缩写，可以翻译成Unicode字符集转换格式，即怎样将Unicode定义的数字转换成程序数据。例如，“汉字”对应的数字是 0x6c49和0x5b57，而编码的程序数据是： BYTE data_utf8[] = {0xE6, 0xB1, 0x89, 0xE5, 0xAD, 0x97}; // UTF-8编码 WORD data_utf16[] = {0x6c49, 0x5b57}; // UTF-16编码 DWORD data_utf32[] = {0x6c49, 0x5b57}; // UTF-32编码 这里用BYTE、WORD、DWORD分别表示无符号8位整数，无符号16位整数和无符号32 位整数。UTF-8、UTF-16、UTF-32分别以BYTE、WORD、DWORD作为编码单位。“汉字”的UTF-8编码需要6个字节。“汉字”的 UTF-16编码需要两个WORD，大小是4个字节。“汉字”的UTF-32编码需要两个DWORD，大小是8个字节。根据字节序的不同，UTF-16可以被实现为UTF-16LE或UTF-16BE，UTF-32可以被实现为UTF-32LE或UTF-32BE。下面介绍UTF-8、UTF-16、 UTF-32、字节序和BOM。 UTF-8 UTF-8以字节为单位对Unicode进行编码。从Unicode到UTF-8的编码方式如下： Unicode编码(16进制) ║ UTF-8 字节流(二进制) 000000 - 00007F ║ 0xxxxxxx 000080 - 0007FF ║ 110xxxxx 10xxxxxx 000800 - 00FFFF ║ 1110xxxx 10xxxxxx 10xxxxxx 010000 - 10FFFF ║ 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符，UTF-8编码与ASCII编码完全相同。UTF-8编码的最大长度是4个字节。从上表可以看出，4字节模板有21个x，即可以容纳21位二进制数字。Unicode的最大码位0x10FFFF也只有21位。 例1：“汉”字的Unicode编码是0x6C49。0x6C49在 0x0800-0xFFFF之间，使用用3字节模板了：1110xxxx 10xxxxxx 10xxxxxx。将0x6C49写成二进制是：0110 1100 0100 1001， 用这个比特流依次代替模板中的x，得到：11100110 10110001 10001001，即E6 B1 89。 例2：Unicode编码0x20C30在0x010000-0x10FFFF之间，使用用4 字节模板了：11110xxx 10xxxxxx 10xxxxxx 10xxxxxx。将0x20C30写成21位二进制数字（不足21位就在前面补0）：0 0010 0000 1100 0011 0000，用这个比特流依次代替模板中的x，得到：11110000 10100000 10110000 10110000，即F0 A0 B0 B0。 UTF-16 UTF-16编码以16位无符号整数为单位。我们把Unicode编码记作U。编码规则如下： 如果U<0x10000，U的UTF-16编码就是U对应的16位无符号整数（为书写简便，下文将16位无符号整数记作WORD）。 如果U≥0x10000，我们先计算U'=U-0x10000，然后将U'写成二进制形式：yyyy yyyy yyxx xxxx xxxx，U的UTF-16编码（二进制）就是：110110yyyyyyyyyy 110111xxxxxxxxxx。 为什么U'可以被写成20个二进制位？Unicode的最大码位是0x10ffff，减去 0x10000后，U'的最大值是0xfffff，所以肯定可以用20个二进制位表示。例如：Unicode编码0x20C30，减去0x10000后，得到0x10C30，写成二进制是：0001 0000 1100 0011 0000。用前10位依次替代模板中的y，用后10位依次替代模板中的x，就得到：1101100001000011 1101110000110000，即0xD843 0xDC30。 按照上述规则，Unicode编码0x10000-0x10FFFF的UTF-16编码有两个 WORD，第一个WORD的高6位是110110，第二个WORD的高6位是110111。可见，第一个WORD的取值范围（二进制）是11011000 00000000到11011011 11111111，即0xD800-0xDBFF。第二个WORD的取值范围（二进制）是11011100 00000000到11011111 11111111，即0xDC00-0xDFFF。 为了将一个WORD的UTF-16编码与两个WORD的UTF-16编码区分开来，Unicode编码的设计者将0xD800-0xDFFF保留下来，并称为代理区（Surrogate）： D800－DB7F ║ High Surrogates ║ 高位替代 DB80－DBFF ║ High Private Use Surrogates ║ 高位专用替代 DC00－DFFF ║ Low Surrogates ║ 低位替代 高位替代就是指这个范围的码位是两个WORD的UTF-16编码的第一个WORD。低位替代就是指这个范围的码位是两个WORD的UTF-16编码的第二个WORD。那么，高位专用替代是什么意思？我们来解答这个问题，顺便看看怎么由UTF-16 编码推导Unicode编码。 如果一个字符的UTF-16编码的第一个WORD在0xDB80到0xDBFF之间，那么它的 Unicode编码在什么范围内？我们知道第二个WORD的取值范围是0xDC00-0xDFFF，所以这个字符的UTF-16编码范围应该是 0xDB80 0xDC00到0xDBFF 0xDFFF。我们将这个范围写成二进制： 1101101110000000 11011100 00000000 - 1101101111111111 1101111111111111 按照编码的相反步骤，取出高低WORD的后10位，并拼在一起，得到 1110 0000 0000 0000 0000 - 1111 1111 1111 1111 1111 即0xe0000-0xfffff，按照编码的相反步骤再加上0x10000，得到 0xf0000-0x10ffff。这就是UTF-16编码的第一个WORD在0xdb80到0xdbff之间的Unicode编码范围，即平面15和平面16。因为Unicode标准将平面15和平面16都作为专用区，所以0xDB80到0xDBFF之间的保留码位被称作高位专用替代。 UTF-32 UTF-32编码以32位无符号整数为单位。Unicode的UTF-32编码就是其对应的32位无符号整数。 字节序 根据字节序的不同，UTF-16可以被实现为UTF-16LE或UTF-16BE，UTF-32可以被实现为UTF-32LE或UTF-32BE。例如： Unicode编码 ║ UTF-16LE ║ UTF-16BE ║ UTF32-LE ║ UTF32-BE 0x006C49 ║ 49 6C ║ 6C 49 ║ 49 6C 00 00 ║ 00 00 6C 49 0x020C30 ║ 43 D8 30 DC ║ D8 43 DC 30 ║ 30 0C 02 00 ║ 00 02 0C 30 那么，怎么判断字节流的字节序呢？Unicode标准建议用BOM（Byte Order Mark）来区分字节序，即在传输字节流前，先传输被作为BOM的字符"零宽无中断空格"。这个字符的编码是FEFF，而反过来的FFFE（UTF- 16）和FFFE0000（UTF-32）在Unicode中都是未定义的码位，不应该出现在实际传输中。下表是各种UTF编码的BOM： UTF编码 ║ Byte Order Mark UTF-8 ║ EF BB BF UTF-16LE ║ FF FE UTF-16BE ║ FE FF UTF-32LE ║ FF FE 00 00 UTF-32BE ║ 00 00 FE FF[编辑本段]非 Unicode 环境 在非 Unicode 环境下，由于不同国家和地区采用的字符集不一致，很可能出现无法正常显示所有字符的情况。微软公司使用了代码页（Codepage）转换表的技术来过渡性的部分解决这一问题，即通过指定的转换表将非 Unicode 的字符编码转换为同一字符对应的系统内部使用的 Unicode 编码。可以在“语言与区域设置”中选择一个代码页作为非 Unicode 编码所采用的默认编码方式，如936为简体中文GBK，950为正体中文Big5（皆指PC上使用的）。在这种情况下，一些非英语的欧洲语言编写的软件和文档很可能出现乱码。而将代码页设置为相应语言中文处理又会出现问题，这一情况无法避免。从根本上说，完全采用统一编码才是解决之道，但目前上无法做到这一点。 代码页技术现在广泛为各种平台所采用。UTF-7 的代码页是65000，UTF-8 的代码页是65001。[编辑本段]XML 和 Unicode XML及其子集HTML采用UTF-8作为标准字集，理论上我们可以在各种支持XML标准的浏览器上显示任何地区文字的网页，只要电脑本身安装有合适的字体即可。可以利用&#nnn;的格式显示特定的字符。nnn代表该字符的十进制 Unicode 代码。如果采用十六进制代码，在编码之前加上x字符即可。但部分旧版本的浏览器可能无法识别十六进制代码。 然而部分由于 Unicode 版本发展原因，很多浏览器只能显示 UCS-2 完整字符集也即现在使用的 Unicode 版本中的一个小子集。下表可以检验您的浏览器怎样显示各种各样的 Unicode 代码： 代码 字符标准名称 (英语) 在浏览器上的显示 A&#大写拉丁字母"A" A &#szlig; 小写拉丁字母"Sharp S" ß &#thorn; 小写拉丁字母"Thorn" þ Δ大写希腊字母"Delta" Δ Й 大写斯拉夫字母"Short I" Й ק希伯来字母"Qof" ק م阿拉伯字母 "Meem" م ๗泰文数字 7 ๗ ቐ埃塞俄比亚音节文字"Qha" ቐ あ日语平假名 "A" あ ア日语片假名 "A" ア 叶简体汉字 "叶" 叶 叶 繁体汉字 "叶" 叶 엽韩国音节文字 " Yeob" 엽[编辑本段]输入Unicode 除了输入法外，操作系统会提供几种方法输入Unicode。像是Windows 2000之后的Windows系统就提供一个可点击的表。例如在Microsoft Word或者金山WPS之下，按下 Alt 键不放，输入 0 和某个字符的 Unicode 编码（十进制），再松开 Alt 键即可得到该字符，如Alt + 033865会得到Unicode字符“叶”（繁体）。另外按Alt + X 组合键，MS Word 也会将光标前面的字符同其十六进制的四位 Unicode 编码进行互相转换。 Unicode 编码表反弹 0000-0FFF 8000-8FFF 10000-10FFF 20000-20FFF 28000-28FFF 1000-1FFF 9000-9FFF 21000-21FFF 29000-29FFF 2000-2FFF A000-AFFF 22000-22FFF 2A000-2AFFF 3000-3FFF B000-BFFF 23000-23FFF 4000-4FFF C000-CFFF 1D000-1DFFF 24000-24FFF 2F000-2FFFF 5000-5FFF D000-DFFF 25000-25FFF 6000-6FFF E000-EFFF 26000-26FFF 7000-7FFF F000-FFFF 27000-27FFF E0000-E0FFF Unicode 目前已经有5.0版本。世界上有一大批计算机、语言学等科学家专门研究Unicode，到了现在Unicode标准已经不单是一个编码标准，还是记录人类语言文字资料的一个巨大的数据库，同时从事人类文化遗产的发掘和保护工作。 对于中文而言，Unicode 16编码里面已经包含了GB18030里面的所有汉字（27484个字），目前Unicode标准准备把康熙字典的所有汉字放入到Unicode 32bit编码中。 简单地说，Unicode扩展自ASCII字元集。在严格的ASCII中，每个字元用7位元表示，或者电脑上普遍使用的每字元有8位元宽；而Unicode使用全16位元字元集。这使得Unicode能够表示世界上所有的书写语言中可能用於电脑通讯的字元、象形文字和其他符号。Unicode最初打算作为ASCII的补充，可能的话，最终将代替它。考虑到ASCII是电脑中最具支配地位的标准，所以这的确是一个很高的目标。 Unicode影响到了电脑工业的每个部分，但也许会对作业系统和程序设计语言的影响最大。从这方面来看，我们已经上路了。Windows NT从底层支持Unicode（不幸的是，Windows 98只是小部分支援Unicode）。先天即被ANSI束缚的C程序设计语言通过对宽字元集的支持来支持Unicode。[编辑本段]为什么使用Unicode？ 基本上，计算机只是处理数字。它们指定一个数字，来储存字母或其他字符。在创造Unicode之前，有数百种指定这些数字的编码系统。没有一个编码可以包含足够的字符：例如，单单欧州共同体就[1][2]需要好几种不同的编码来包括所有的语言。即使是单一种语言，例如英语，也没有哪一个编码可以适用于所有的字母，标点符号，和常用的技术符号。这些编码系统也会互相冲突。也就是说，两种编码可能使用相同的数字代表两个不同的字符，或使用不同的数字代表相同的字符。任何一台特定的计算机（特别是服务器）都需要支持许多不同的编码，但是，不论什么时候数据通过不同的编码或平台之间，那些数据总会有损坏的危险。 非常错误， 所谓的子集概念 前提是必须是兼容的。 GBK 兼容gb2312, 所有gb2312 的文件 用支持gbk 的程序都是可以读的， 但是UTF-16 和gb2312 有什么关系？ 他们根本不相互兼容。所以根本不存在这个问题。至于所谓的文件头0xff 0x00 本质就是个大小端判断。得出cpu 类型，然后进行就知道这个文件该如何解析了 嗯,说的好. 其实最大的区别还是在地区locale的识别上,除此之外就没有什么了 看不过来，不过网站的编码最好采用UTF-8就是最好的 这个问题在MSDN中有详细的说明 楼主问的是 Unicode 怎么分区的问题吧，好像好多都答偏了……我在 Gnome 的字符映射表里看了看，“CJK 统一表意字符”从 U+4E00 到 U+9FC3，还有其他 CJK 扩展也可以查到。不过还真的没有区别简体和繁体，看来只能靠自己做表了…… UNICODE编码中已经包含了所有语言，每种语言都有自己的编码范围，所以在同一篇文字中可以同时混合多种语言文字，判断文字的国别已经毫无意义。 UTF-8是UNICODE的一种存储方式，比较典型的特征是英文只占一个字节，因此比较节省空间。既然是UNICODE，就无需区分是哪个国家的，因为UNICODE只有统一的一套，只要是UNICODE，同一个文件中各个国家的文字都可以混合存在。并不是说每个国家有各自不同的UNICODE。 我们公司的BPM产品就遇到这么一个问题，表单include的jsp文件使用的是UTF-8编码格式，以前都这么使用，没问题。 最近jsp文件中的中文就变成了乱码，导致多个if判断无效，问技术经理，也不明所以。 因为这个BPM的测试机上没有修改过相关的编码样式，改为GBK就可以了！ 上午改完了，中午吃晚饭回来。 又是乱码了 不得已又改回UTF-8，哎！ 呵呵,美工说要用GBK ,但是我们前台数据,到后台数据库都是UTF-8.. 刚刚才发现 Unicode 有个非常变态的数据库，关于 CJK 统一表意字符的，个人觉得应该可以解决简繁区分的问题了：http://www.unicode.org/charts/unihan.html 一般需要有国际化的就用utf8 只在中国用的就用gbk 关于基本的贴图问题 combox box怎么用啊? 菜鸟学vc，再问几个弱问题~~关于创建dll给vb用的。 文件拖动的问题? 菜鸟问题---为什么基类不可一改换？这个错误是什么意思？怎么解决，分不够再加 COM+的安全性? 我有一组combo,ID从0-4,我想用一个函数处理所有combo的SelChange事件，怎样设置事件处理？ 如何取得CEdit中被选择部分的文本，并存入文件。 txt文件 读取如何后退一行！ 高分问题(100) 求一个VC++开发的数据库管理系统 有没有什么链接 可以获取到正确的日期?
希望对你有帮助
http://www.fmddlmyy.cn/mytext.html
2）多8比特字节序列的第一个8比特字节指明了系列中8比特字节的数目。
3）8比特字节值FE和FF永远不会出现。
4）在8比特字符流中字符边界从哪里开始较容易发现。UTF-8定义:
在UTF-8中，字符采用1到6个8比特字节的序列进行编码。仅仅一个8比特字节的一个序列中，字节的高位为0，其他的7位用于字符值编码。n（n>1）个8比特字节的一个序列中，初始的8比特字节中高n位为1，接着一位为0，此字节余下的位包含被编码字符值的位。接着的所有8比特字节的最高位为1，接着下一位为0，余下每个字节6位包含被编码字符的位。下表总结了这些不同的8比特字节类型格式。字母x指出此位来自于进行编码的UCS-4字符值。 UCS-4范围（16进制） UTF-8 系列（二进制）
0000 0000<->0000 007F 0xxxxxxx
0000 0080<->0000 07FF 110xxxxx 10xxxxxx
0000 0800<->0000 FFFF 1110xxxx 10xxxxxx 10xxxxxx 0001 0000<->001F FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
0020 0000<->03FF FFFF 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
0400 0000<->7FFF FFFF 1111110x 10xxxxxx ... 10xxxxxxURL 解码用IE发送GET请求的时候，URL是用UTF-8编码的，当对截包数据分析时候就需要对数据解码，下面的函数是一个简单的实现：CString CTestUrlDlg::UrlToString(CString url)
{
CString str = "";
int n = url.GetLength();
url.MakeLower();
BYTE a, b1, b2;
for (int i=0; i= ''0'') && (c <= ''9''))
d = c - ''0'';
else if ((c >= ''a'') && (c <= ''f''))
{
d = c - ''a'' + 10;
}
else if ((c >= ''A'') && (c <= ''F''))
{
d = c - ''A'' + 10;
}
else
d = 0; return d;
}
static void UnicodeToGB2312(const WCHAR unicode, char* buffer)
{
// int size = ::WideCharToMultiByte(CP_ACP, 0, unicode, -1, NULL, 0, NULL, NULL); int ret = ::WideCharToMultiByte(CP_ACP, NULL, &unicode, -1, buffer, 3, NULL, NULL);
}CString CTestUrlDlg::Uft8ToGB(CString url)
{
CString str = "";
char buffer[3];
WCHAR unicode;
unsigned char * p = (unsigned char *)(LPCTSTR)url;
int n = url.GetLength();
int t = 0;
while (t < n)
{
unicode = UTF8ToUnicode(p, t);
UnicodeToGB2312(unicode, buffer);
buffer[2] = 0;
str += buffer;
} return str;
}
转自：http://www.vckbase.com/document/viewdoc/?id=1770
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>来讨论UTF-8编码问题，来者都送分</title>
UTF-8 文件(任何文件都是,包括HTML页面)前三个字节是0xEF 0xBB 0xBF,(国际通用惯例)验证方法打开记事本写入内容,选择别存为(UTF-8),读出来就可以看到了.原因:是上述编码,在相应的编码库中没有使用.
红色字体,只表示浏览器网面的默认字符集,
int
WINAPI
FuAsciiToUnicode(LPCSTR lpMultiByte,int nMultiByte,LPWSTR lpWideChar,int nWideChar)
{
int cbDataWide = 0 ; if( lpMultiByte && nMultiByte >0)
cbDataWide = MultiByteToWideChar(CP_ACP,0,lpMultiByte,nMultiByte,lpWideChar,nWideChar); return cbDataWide;
}
int
WINAPI
FuUnicodeToAscii(LPCWSTR lpWideChar,int nWideChar,LPSTR lpMultiByte,int nMultiByte)
{
int cbDataChar = 0; if( lpWideChar && nWideChar >0 )
cbDataChar = WideCharToMultiByte(CP_ACP,0,lpWideChar,nWideChar,lpMultiByte,nMultiByte,NULL,NULL); return cbDataChar;
}
/*
UCS-2编码(16进制) UTF-8 字节流(二进制)
0000 - 007F 0xxxxxxx
0080 - 07FF 110xxxxx 10xxxxxx
0800 - FFFF 1110xxxx 10xxxxxx 10xxxxxx 例如“汉”字的Unicode编码是6C49。
6C49在0800-FFFF之间，所以肯定要用3字节模板了：
1110xxxx 10xxxxxx 10xxxxxx。
将6C49写成二进制是：0110 110001 001001，
用这个比特流依次代替模板中的x，得到：
11100110 10110001 10001001，即E6 B1 89。
*/ int
WINAPI
FuUnicodeToUtf8(LPCWSTR lpUnicode,
int nUnicodeLen, // len of in_ucs2_str in 16 bit mode
LPSTR lpUtf8,
int nUtf8Len // len of out_utf8_str in 8 bit mode
)
{
int nPos = 0;
if( lpUnicode && nUnicodeLen >0 )
{
for(int i = 0;i < nUnicodeLen /*&& nPos < nUtf8Len*/;i++)
{
if( (0x7f >= lpUnicode[i]) )
{
if( lpUtf8 )
{
if( nPos < nUtf8Len )
{
lpUtf8[nPos++] = lpUnicode[i]&0x7F;
}
else
{
break;
}
}
else
{
nPos++;
}
}
else if( (0x7FF >=lpUnicode[i] && 0x80<=lpUnicode[i]) )
{
if( lpUtf8 )
{
if ( (nPos+2) < nUtf8Len)
{
lpUtf8[nPos++] = 0xC0 | (lpUnicode[i] >> 6);
lpUtf8[nPos++] = 0x80 | (lpUnicode[i] & 0x3F);
}
else
{
break;
}
}
else
{
nPos +=2;
}
}
else if( (0xFFFF >= lpUnicode[i] && 0x800 <= lpUnicode[i]) )
{
if( lpUtf8 )
{
if( (nPos+3) < nUtf8Len )
{
lpUtf8[nPos++] = 0xE0 |(lpUnicode[i] >> 12);
lpUtf8[nPos++] = 0x80 |((lpUnicode[i] >> 6) & 0x3F);
lpUtf8[nPos++] = 0x80 |(lpUnicode[i] & 0x3F);
}
else
{
break;
}
}
else
{
nPos +=3;
}
}
}
}
return nPos;
}
int
WINAPI
FuUtf8ToUnicode(LPCSTR lpUtf8,
int nUtf8Len, // len of int_utf8_str in 8 bit mode
LPWSTR lpUnicode,
int nUnicodeLen // len of out_ucs2_str in 16 bit mode
)
{
int nPos = 0;
if ( lpUtf8 && nUtf8Len >0 )
{
for(int i = 0;i < nUtf8Len;nPos++)
{
if (0 == (lpUtf8[i] & 0x80))
{
if( lpUnicode )
{
if( nPos < nUnicodeLen )
{
lpUnicode[nPos] = lpUtf8[i];
}
else
{
break;
}
}
i++;
}
else if( ( 0xC0 == (lpUtf8[i] & 0xE0) ) )
{
if( lpUnicode )
{
if( nPos < nUnicodeLen && ( (i+1) < nUtf8Len ) )
{
lpUnicode[nPos] = lpUtf8[i] & 0x1f;
lpUnicode[nPos] = lpUnicode[nPos] << 6;
lpUnicode[nPos] |= (lpUtf8[i+1] & 0x3f);
}
else
{
break;
}
} i +=2;
}
else if( ( 0xE0 == (lpUtf8[i] & 0xF0) ) )
{
if( lpUnicode )
{
if( nPos < nUnicodeLen && ( (i+2) < nUtf8Len ) )
{
lpUnicode[nPos] = lpUtf8[i] & 0x0f;
lpUnicode[nPos] = lpUnicode[nPos] << 6;
lpUnicode[nPos] |= (lpUtf8[i+1] & 0x3f);
lpUnicode[nPos] = lpUnicode[nPos] << 6;
lpUnicode[nPos] |= (lpUtf8[i+2] & 0x3f);
}
else
{
break;
}
}
i +=3;
}
}
}
return nPos;
}
注1:这段代码是几个月前写的,没有注释,(代码只经过简单测试,如果用在工程中,请详细测试一下.)
注2:以上代码,当输出"缓中区"为NULL中,返回所需长度.
看完后瀑布汗-_-|||要知道GB2312是GBK的子集，GBK是GB18030的子集,他们的字符编码值和936代码页是一致的.这是UNICODE大范围推广之前,字符编码的国家标准,也是中文的全球通用标准.这时候全球各种语言都有自己的一套编码,各自为政不利于全球化.随着UNICODE越来越被重视,WINDOWS操作系统(NT)的内核开始采用UNICODE编码处理.要注意,UNICODE编码值和GBK的编码值是不一样的,例如"我"字,在unicode中的编码是6211,而GBK的编码则是CED2.他们唯一的共同之处,就是都用两个字节长度的编码表示.无论UNICODE,还是GBK,他们只是一个抽象的编码集.而具体在内存/磁盘中如何存储,则分为UTF-8/UTF-16,UTF-7，Punycode等等多种方式.UTF-8是变长字符存储(1-4字节),UTF-16是定长存储(2字节,且和UNICODE的抽象编码值完全相同,但分为大尾序/小尾序(big endian,little endian)).......GBK/BIG5/SHIF-JS/ISO 8859....这些是各个语言专属的编码集,统称ANSI(注意不是ASCII),随着UNICODE的深入人心,他们将逐步退出历史舞台...例如，网站要国际化,面对世界各地不同语言国家的访问者，要让他们的浏览器都能正确的显示中文而不是乱码，<head>标签里指定的charset就应为UTF-8，ASP页面开始也应声明<%@codepage=65001%>。GB2312被认为是过时的。再如,VC++编程者经常忽视字符集的问题。当前看来不管这种烦人的问题,并没有什么异常.但是引入带"T"的宏来处理字符相关功能应当是一种编程习惯，这样可以避免未来软件国际化/UNICODE化的隐患。要对UNICODE,_UNICODE,MBCS等宏的预定义做到心中有数。正规、专业的C/C++/VC++教材都会有专门的一章来讲解字符集编码及转换的问题，在各种良莠不齐的培训机构中是听不到的。所以很显然，“charset=gb2312就是UTF-16的子集，charset=gb18030就是UTF-32的子集，charset=big5也是UTF-16的子集，所以把charset=gb2312替换成charset=utf-16(unicode)没有任何显示上的问题”的言论是十分荒唐的。如果UNICODE编码恰好和GBK编码一致，倒是勉强能说的过去。
unicode是唯一的。
128 个 US-ASCII 字符只需一个字节编码（Unicode 范围由 U+0000 至 U+007F）。
带有附加符号的拉丁文、希腊文、西里尔字母、亚美尼亚语、希伯来文、阿拉伯文、叙利亚文及它拿字母则需要二个字节编码（Unicode 范围由 U+0080 至 U+07FF）。
其他基本多文种平面（BMP）中的字符（这包含了大部分常用字）使用三个字节编码。
其他极少使用的 Unicode 辅助平面的字符使用四字节编码。汉字（中日韩）多使用三字节编码，从码表来看，简化字并没有集中排放，所以简单判断简体和繁体的方法应该是没有的。不过可以自己做个简化字或繁体字的表（好像没几个字）来查询，判断简体还是繁体字。
如果你扣字眼的话，我是无话可说。至于子集的说法，指的是UNICODE是一个大范围编码方案，每个对应UNICODE编码的语言（再次注意我没有提到GBK）都是UNICODE编码范围中的一部分，用“子集”的说法难道有问题？从包含的汉字数量来说，GB18030 > GBK > GB2312，希望你不是从这个角度来判断GB2312是GBK的子集，也希望你不要用此“子集”否定彼“子集”，就好比你是一个女性，别人不能因为你是程序员而否定你是女性一样的道理。
如果HTTP头没有的话，HTML中的META也可能会有说明
这里还没有的话，那就只能看数据流的前几个字符了，这要还没有的话，程序只能猜了
1.编码方式
Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。Unicode 用数字0-0x10FFFF来映射这些字符，最多可以容纳1114112个字符，或者说有1114112个码位。码位就是可以分配给字符的数字。UTF- 8、UTF-16、UTF-32都是将数字转换到程序数据的编码方案。
Unicode字符集可以简写为UCS（Unicode Character Set）。早期的Unicode标准有UCS-2、UCS-4的说法。UCS-2用两个字节编码，UCS-4用4个字节编码。UCS-4根据最高位为0的最高字节分成2^7=128个group。每个group再根据次高字节分为256个平面（plane）。每个平面根据第3个字节分为256行（row），每行有256个码位（cell）。group 0的平面0被称作BMP（Basic Multilingual Plane）。将UCS-4的BMP去掉前面的两个零字节就得到了UCS-2。
每个平面有2^16=65536个码位。Unicode计划使用了17个平面，一共有 17*65536=1114112个码位。在Unicode 5.0.0版本中，已定义的码位只有238605个，分布在平面0、平面1、平面2、平面14、平面15、平面16。其中平面15和平面16上只是定义了两个各占65534个码位的专用区（Private Use Area），分别是0xF0000-0xFFFFD和0x100000-0x10FFFD。所谓专用区，就是保留给大家放自定义字符的区域，可以简写为 PUA。
平面0也有一个专用区：0xE000-0xF8FF，有6400个码位。平面0的 0xD800-0xDFFF，共2048个码位，是一个被称作代理区（Surrogate）的特殊区域。代理区的目的用两个UTF-16字符表示BMP以外的字符。在介绍UTF-16编码时会介绍。
如前所述在Unicode 5.0.0版本中，238605-65534*2-6400-2408=99089。余下的99089个已定义码位分布在平面0、平面1、平面2和平面 14上，它们对应着Unicode目前定义的99089个字符，其中包括71226个汉字。平面0、平面1、平面2和平面14上分别定义了52080、 3419、43253和337个字符。平面2的43253个字符都是汉字。平面0上定义了27973个汉字。
2.实现方式
在Unicode中：汉字“字”对应的数字是23383。在Unicode中，我们有很多方式将数字23383表示成程序中的数据，包括：UTF-8、UTF-16、UTF-32。UTF是“UCS Transformation Format”的缩写，可以翻译成Unicode字符集转换格式，即怎样将Unicode定义的数字转换成程序数据。例如，“汉字”对应的数字是 0x6c49和0x5b57，而编码的程序数据是：
BYTE data_utf8[] = {0xE6, 0xB1, 0x89, 0xE5, 0xAD, 0x97}; // UTF-8编码
WORD data_utf16[] = {0x6c49, 0x5b57}; // UTF-16编码
DWORD data_utf32[] = {0x6c49, 0x5b57}; // UTF-32编码
这里用BYTE、WORD、DWORD分别表示无符号8位整数，无符号16位整数和无符号32 位整数。UTF-8、UTF-16、UTF-32分别以BYTE、WORD、DWORD作为编码单位。“汉字”的UTF-8编码需要6个字节。“汉字”的 UTF-16编码需要两个WORD，大小是4个字节。“汉字”的UTF-32编码需要两个DWORD，大小是8个字节。根据字节序的不同，UTF-16可以被实现为UTF-16LE或UTF-16BE，UTF-32可以被实现为UTF-32LE或UTF-32BE。下面介绍UTF-8、UTF-16、 UTF-32、字节序和BOM。
UTF-8
UTF-8以字节为单位对Unicode进行编码。从Unicode到UTF-8的编码方式如下：
Unicode编码(16进制) ║ UTF-8 字节流(二进制)
000000 - 00007F ║ 0xxxxxxx
000080 - 0007FF ║ 110xxxxx 10xxxxxx
000800 - 00FFFF ║ 1110xxxx 10xxxxxx 10xxxxxx
010000 - 10FFFF ║ 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符，UTF-8编码与ASCII编码完全相同。UTF-8编码的最大长度是4个字节。从上表可以看出，4字节模板有21个x，即可以容纳21位二进制数字。Unicode的最大码位0x10FFFF也只有21位。
例1：“汉”字的Unicode编码是0x6C49。0x6C49在 0x0800-0xFFFF之间，使用用3字节模板了：1110xxxx 10xxxxxx 10xxxxxx。将0x6C49写成二进制是：0110 1100 0100 1001， 用这个比特流依次代替模板中的x，得到：11100110 10110001 10001001，即E6 B1 89。
例2：Unicode编码0x20C30在0x010000-0x10FFFF之间，使用用4 字节模板了：11110xxx 10xxxxxx 10xxxxxx 10xxxxxx。将0x20C30写成21位二进制数字（不足21位就在前面补0）：0 0010 0000 1100 0011 0000，用这个比特流依次代替模板中的x，得到：11110000 10100000 10110000 10110000，即F0 A0 B0 B0。
UTF-16
UTF-16编码以16位无符号整数为单位。我们把Unicode编码记作U。编码规则如下：
如果U<0x10000，U的UTF-16编码就是U对应的16位无符号整数（为书写简便，下文将16位无符号整数记作WORD）。
如果U≥0x10000，我们先计算U'=U-0x10000，然后将U'写成二进制形式：yyyy yyyy yyxx xxxx xxxx，U的UTF-16编码（二进制）就是：110110yyyyyyyyyy 110111xxxxxxxxxx。
为什么U'可以被写成20个二进制位？Unicode的最大码位是0x10ffff，减去 0x10000后，U'的最大值是0xfffff，所以肯定可以用20个二进制位表示。例如：Unicode编码0x20C30，减去0x10000后，得到0x10C30，写成二进制是：0001 0000 1100 0011 0000。用前10位依次替代模板中的y，用后10位依次替代模板中的x，就得到：1101100001000011 1101110000110000，即0xD843 0xDC30。
按照上述规则，Unicode编码0x10000-0x10FFFF的UTF-16编码有两个 WORD，第一个WORD的高6位是110110，第二个WORD的高6位是110111。可见，第一个WORD的取值范围（二进制）是11011000 00000000到11011011 11111111，即0xD800-0xDBFF。第二个WORD的取值范围（二进制）是11011100 00000000到11011111 11111111，即0xDC00-0xDFFF。
为了将一个WORD的UTF-16编码与两个WORD的UTF-16编码区分开来，Unicode编码的设计者将0xD800-0xDFFF保留下来，并称为代理区（Surrogate）：
D800－DB7F ║ High Surrogates ║ 高位替代
DB80－DBFF ║ High Private Use Surrogates ║ 高位专用替代
DC00－DFFF ║ Low Surrogates ║ 低位替代
高位替代就是指这个范围的码位是两个WORD的UTF-16编码的第一个WORD。低位替代就是指这个范围的码位是两个WORD的UTF-16编码的第二个WORD。那么，高位专用替代是什么意思？我们来解答这个问题，顺便看看怎么由UTF-16 编码推导Unicode编码。
如果一个字符的UTF-16编码的第一个WORD在0xDB80到0xDBFF之间，那么它的 Unicode编码在什么范围内？我们知道第二个WORD的取值范围是0xDC00-0xDFFF，所以这个字符的UTF-16编码范围应该是 0xDB80 0xDC00到0xDBFF 0xDFFF。我们将这个范围写成二进制：
1101101110000000 11011100 00000000 - 1101101111111111 1101111111111111
按照编码的相反步骤，取出高低WORD的后10位，并拼在一起，得到
1110 0000 0000 0000 0000 - 1111 1111 1111 1111 1111
即0xe0000-0xfffff，按照编码的相反步骤再加上0x10000，得到 0xf0000-0x10ffff。这就是UTF-16编码的第一个WORD在0xdb80到0xdbff之间的Unicode编码范围，即平面15和平面16。因为Unicode标准将平面15和平面16都作为专用区，所以0xDB80到0xDBFF之间的保留码位被称作高位专用替代。
UTF-32
UTF-32编码以32位无符号整数为单位。Unicode的UTF-32编码就是其对应的32位无符号整数。
字节序
根据字节序的不同，UTF-16可以被实现为UTF-16LE或UTF-16BE，UTF-32可以被实现为UTF-32LE或UTF-32BE。例如：
Unicode编码 ║ UTF-16LE ║ UTF-16BE ║ UTF32-LE ║ UTF32-BE
0x006C49 ║ 49 6C ║ 6C 49 ║ 49 6C 00 00 ║ 00 00 6C 49
0x020C30 ║ 43 D8 30 DC ║ D8 43 DC 30 ║ 30 0C 02 00 ║ 00 02 0C 30
那么，怎么判断字节流的字节序呢？Unicode标准建议用BOM（Byte Order Mark）来区分字节序，即在传输字节流前，先传输被作为BOM的字符"零宽无中断空格"。这个字符的编码是FEFF，而反过来的FFFE（UTF- 16）和FFFE0000（UTF-32）在Unicode中都是未定义的码位，不应该出现在实际传输中。下表是各种UTF编码的BOM：
UTF编码 ║ Byte Order Mark
UTF-8 ║ EF BB BF
UTF-16LE ║ FF FE
UTF-16BE ║ FE FF
UTF-32LE ║ FF FE 00 00
UTF-32BE ║ 00 00 FE FF
[编辑本段]
非 Unicode 环境
在非 Unicode 环境下，由于不同国家和地区采用的字符集不一致，很可能出现无法正常显示所有字符的情况。微软公司使用了代码页（Codepage）转换表的技术来过渡性的部分解决这一问题，即通过指定的转换表将非 Unicode 的字符编码转换为同一字符对应的系统内部使用的 Unicode 编码。可以在“语言与区域设置”中选择一个代码页作为非 Unicode 编码所采用的默认编码方式，如936为简体中文GBK，950为正体中文Big5（皆指PC上使用的）。在这种情况下，一些非英语的欧洲语言编写的软件和文档很可能出现乱码。而将代码页设置为相应语言中文处理又会出现问题，这一情况无法避免。从根本上说，完全采用统一编码才是解决之道，但目前上无法做到这一点。
代码页技术现在广泛为各种平台所采用。UTF-7 的代码页是65000，UTF-8 的代码页是65001。
[编辑本段]
XML 和 Unicode
XML及其子集HTML采用UTF-8作为标准字集，理论上我们可以在各种支持XML标准的浏览器上显示任何地区文字的网页，只要电脑本身安装有合适的字体即可。可以利用&#nnn;的格式显示特定的字符。nnn代表该字符的十进制 Unicode 代码。如果采用十六进制代码，在编码之前加上x字符即可。但部分旧版本的浏览器可能无法识别十六进制代码。
然而部分由于 Unicode 版本发展原因，很多浏览器只能显示 UCS-2 完整字符集也即现在使用的 Unicode 版本中的一个小子集。下表可以检验您的浏览器怎样显示各种各样的 Unicode 代码：
代码 字符标准名称 (英语) 在浏览器上的显示
A&#大写拉丁字母"A" A
&#szlig; 小写拉丁字母"Sharp S" ß
&#thorn; 小写拉丁字母"Thorn" þ
Δ大写希腊字母"Delta" Δ
Й 大写斯拉夫字母"Short I" Й
ק希伯来字母"Qof" ק
م阿拉伯字母 "Meem" م
๗泰文数字 7 ๗
ቐ埃塞俄比亚音节文字"Qha" ቐ
あ日语平假名 "A" あ
ア日语片假名 "A" ア
叶简体汉字 "叶" 叶
叶 繁体汉字 "叶" 叶
엽韩国音节文字 " Yeob" 엽
[编辑本段]
输入Unicode
除了输入法外，操作系统会提供几种方法输入Unicode。像是Windows 2000之后的Windows系统就提供一个可点击的表。例如在Microsoft Word或者金山WPS之下，按下 Alt 键不放，输入 0 和某个字符的 Unicode 编码（十进制），再松开 Alt 键即可得到该字符，如Alt + 033865会得到Unicode字符“叶”（繁体）。另外按Alt + X 组合键，MS Word 也会将光标前面的字符同其十六进制的四位 Unicode 编码进行互相转换。
Unicode 编码表反弹
0000-0FFF 8000-8FFF 10000-10FFF 20000-20FFF 28000-28FFF
1000-1FFF 9000-9FFF 21000-21FFF 29000-29FFF
2000-2FFF A000-AFFF 22000-22FFF 2A000-2AFFF
3000-3FFF B000-BFFF 23000-23FFF
4000-4FFF C000-CFFF 1D000-1DFFF 24000-24FFF 2F000-2FFFF
5000-5FFF D000-DFFF 25000-25FFF
6000-6FFF E000-EFFF 26000-26FFF
7000-7FFF F000-FFFF 27000-27FFF E0000-E0FFF
Unicode 目前已经有5.0版本。世界上有一大批计算机、语言学等科学家专门研究Unicode，到了现在Unicode标准已经不单是一个编码标准，还是记录人类语言文字资料的一个巨大的数据库，同时从事人类文化遗产的发掘和保护工作。
对于中文而言，Unicode 16编码里面已经包含了GB18030里面的所有汉字（27484个字），目前Unicode标准准备把康熙字典的所有汉字放入到Unicode 32bit编码中。
简单地说，Unicode扩展自ASCII字元集。在严格的ASCII中，每个字元用7位元表示，或者电脑上普遍使用的每字元有8位元宽；而Unicode使用全16位元字元集。这使得Unicode能够表示世界上所有的书写语言中可能用於电脑通讯的字元、象形文字和其他符号。Unicode最初打算作为ASCII的补充，可能的话，最终将代替它。考虑到ASCII是电脑中最具支配地位的标准，所以这的确是一个很高的目标。
Unicode影响到了电脑工业的每个部分，但也许会对作业系统和程序设计语言的影响最大。从这方面来看，我们已经上路了。Windows NT从底层支持Unicode（不幸的是，Windows 98只是小部分支援Unicode）。先天即被ANSI束缚的C程序设计语言通过对宽字元集的支持来支持Unicode。
[编辑本段]
为什么使用Unicode？
基本上，计算机只是处理数字。它们指定一个数字，来储存字母或其他字符。在创造Unicode之前，有数百种指定这些数字的编码系统。没有一个编码可以包含足够的字符：例如，单单欧州共同体就[1][2]需要好几种不同的编码来包括所有的语言。即使是单一种语言，例如英语，也没有哪一个编码可以适用于所有的字母，标点符号，和常用的技术符号。这些编码系统也会互相冲突。也就是说，两种编码可能使用相同的数字代表两个不同的字符，或使用不同的数字代表相同的字符。任何一台特定的计算机（特别是服务器）都需要支持许多不同的编码，但是，不论什么时候数据通过不同的编码或平台之间，那些数据总会有损坏的危险。
非常错误， 所谓的子集概念 前提是必须是兼容的。 GBK 兼容gb2312, 所有gb2312 的文件 用支持gbk 的程序都是可以读的， 但是UTF-16 和gb2312 有什么关系？ 他们根本不相互兼容。所以根本不存在这个问题。
至于所谓的文件头0xff 0x00 本质就是个大小端判断。得出cpu 类型，然后进行就知道这个文件该如何解析了
我在 Gnome 的字符映射表里看了看，“CJK 统一表意字符”从 U+4E00 到 U+9FC3，还有其他 CJK 扩展也可以查到。不过还真的没有区别简体和繁体，看来只能靠自己做表了……
既然是UNICODE，就无需区分是哪个国家的，因为UNICODE只有统一的一套，只要是UNICODE，同一个文件中各个国家的文字都可以混合存在。并不是说每个国家有各自不同的UNICODE。
上午改完了，中午吃晚饭回来。 又是乱码了 不得已又改回UTF-8，哎！
http://www.unicode.org/charts/unihan.html
只在中国用的就用gbk