大家能否详细介绍UTF-8编码原理，能否给一个解码源程序

Question

大家能否详细介绍UTF-8编码原理，能否给一个解码源程序

Answer 1

什么是UTF8?　　UTF8并不算是一种电脑编码，而是一种储存和传送的格式，如前所述，每个Unicode/UCS字符都以 2或4个bytes来储存，看看以下的比较：　　以"I am Chinese"为例
　　　用ANSI储存：12 Bytes
　　　用Unicode/UCS2储存：24 Bytes + 2 Bytes(header)
　　　用UCS4储存：48 Bytes + 4 Bytes(header)　　以"我是中国人"为例
　　　用ANSI储存：10 Bytes
　　　用Unicode/UCS2储存：10 Bytes + 2 Bytes(header)
　　　用UCS4储存：20 Bytes + 4 Bytes(header)　　由此可见直接以Unicode/UCS的原始形式来储存是一种极大的浪费，而且也不利于互联网的传输(中文稍为合算一点^_^)。　　有见及此，Unicode/UCS的压缩形式－－UTF8出现了，套用官方网站的首句话『UTF-8 stands for Unicode Transformation Format-8. It is an octet (8-bit) lossless encoding of Unicode characters.』，由于UTF也适用于编码UCS，故亦可称为『UCS transformation formats (UTF)』　　UTF8是以8bits即1Bytes为编码的最基本单位，当然也可以有基于16bits和32bits的形式，分别称为UTF16和UTF32，但目前用得不多，而UTF8则被广泛应用在文件储存和网络传输中。
编码原理先看这个模板： UCS-4 range (hex.)      UTF-8 octet sequence (binary)
   0000 0000-0000 007F   0xxxxxxx
   0000 0080-0000 07FF   110xxxxx 10xxxxxx
   0000 0800-0000 FFFF   1110xxxx 10xxxxxx 10xxxxxx   0001 0000-001F FFFF   11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
   0020 0000-03FF FFFF   111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
   0400 0000-7FFF FFFF   1111110x 10xxxxxx ... 10xxxxxx编码步骤：
1) 首先确定需要多少个8bits(octets)
2) 按照上述模板填充每个octets的高位bits
3) 把字符的bits填充至x中，字符顺序：低位→高位，UTF8顺序：最后一个octet的最末位x→第一个octet最高位x
4) 解码的原理一样。实例：(留意每个bit的颜色，粗体字为模板内容)UCS-4                            |UTF-8 
-----------------------------------------------------------------------------
HEX       BIN               Bytes| BIN                        HEX      Bytes 
0000 000A 00001010          4    | 00001010                   0A       1 
0000 0099 10011001          4    | 11000010 10011001          C2 99    2 
0000 8D99 10001101 10011001 4    | 11101000 10110110 10011001 E8 B6 99 3 　　不知大家看懂了没有，其实不懂也无所谓，反正又不用自己算，程式可以完全代劳。　　以UTF8格式储存的文件档首标识为EF BB BF。
效率　　从上述编码原理中得出的结论是：
　　　1.每个英文字母、数字所占的空间为1 Byte；
　　　2.泛欧语系、斯拉夫语字母占2 Bytes；
　　　3.汉字占3 Bytes。　　由此可见UTF8对英文来说是个非常诱人的方案，但对中文来说则不太合算，无论用ANSI还是 Unicode/UCS2来编码都只用2 Bytes，但用UTF8则需要3 Bytes。　　以下是一些统计资料，显示用UTF8来储存文件每个字符所需的平均字节：
　　　1.拉丁语系平均用1.1 Bytes；
　　　2.希腊文、俄文、阿拉伯文和希伯莱文平均用1.7 Bytes；
　　　3.其他大部份文字如中文、日文、韩文、Hindi(北印度语)用约3 Bytes；
　　　4.用超过4 Bytes的都是些非常少用的文字符号。官方网站：http://www.utf8.com/

Answer 2

源代码以下是一段UCS4和UTF8互换的源代码(在Turbo C++ 3.0 及 GCC 3.2编译通过)：//UCS4 <--> UTF8
//=====================
//Written by Chio Chan Fong (http://chiosoft.51.net, [email protected])
//21 March 2003#include<stdio.h>
#include<stdlib.h>//define a UCS-4 type
typedef long wchar_t_ccf;unsigned char* ucs_to_utf8( wchar_t_ccf x )
{
unsigned char *pt = NULL; if( x>=0 && x<=0x7f ) {
pt = malloc( 1+1 );
pt[0] = x;
pt[1] = 0;
} if( x>=0x80 && x<=0x7ff ) {
pt = malloc( 2+1 );
pt[0] = 0xc0 + x/64;
pt[1] = 0x80 + x%64;
pt[2] = 0;
} if( x>=0x800 && x<=0xffff ) {
pt = malloc( 3+1 );
pt[0] = 0xe0 + x/4096;
pt[1] = 0x80 + (x/64)%64;
pt[2] = 0x80 + x%64;
pt[3] = 0;
} return pt;
}wchar_t_ccf utf8_to_ucs( unsigned char *z )
{
wchar_t_ccf w = -1; if( *z <= 0x7f )
w = *z;
else
if( (*z&0xf0) == 0xc0 ) { //two bytes(1100 xxxx)
w = ((*z++)-0xc0)*64L;
w += (*z)-0x80;
}
else
if( (*z&0xf0) == 0xe0 ) { //three bytes(1110 xxxx)
w = ((*z++)-0xe0)*4096L;
w += ((*z++)-0x80)*64L;
w += (*z)-0x80;
} return w;
}int main(void)
{
unsigned char *p, *q;
wchar_t_ccf uni = 0x8d99; p = ucs_to_utf8( uni );
if( p != NULL )
{
q = p; //save the pointer printf( "%lx -> ", uni );
while( *p )
printf( "%x ", *p++ );
printf( "-> %lx\n", utf8_to_ucs( q ) ); free( q );
} return 0;
}

Answer 3

有没有把utf8还原为原来编码前的代码？

Answer 4

我想把utf8还原为编码前的状态