字符集：ASCII，GB2312，Unicode，UTF-8，ANSI

亲爱的编程学习爱好者，如果你点开了这篇文章，说明你对《字符集：ASCII，GB2312，Unicode，UTF-8，ANSI》很感兴趣。本篇文章就来给大家详细解析一下，主要介绍一下MySQL、Java、javascript、程序员、编辑器，希望所有认真读完的童鞋们，都有实质性的提高。

虽然经常遇到打开文档的时候会出现乱码，然后切换一下字符集就正常了，但是一直没搞清楚其背后的原理，我深知，盲目的尝试解决方案就是对程序员的侮辱，于是就到网上搜索了一些文章，深有感悟，记录下来。

一、ASCII，EASCII，ISO/IEC 8859

计算机使用二进制来表示计算机中的所有数据，每个二进制位可以表示0和1两种不同的状态，7位二进制位则可以表示128（2^7）个不同的状态，让这些状态与字符一一对应起来，就诞生了ASCII字符集。

对于英语，128个符号完全足够，但对于其他语言，又显然不够用。比如，在法语中，有些字母上方有注音符号（比如，法语中的é），ASCII码表中就找不到与之对应的字符。于是，想要给欧洲出售电脑的IBM公司，将字节中闲置的最高位编入新的符号，在兼容ASCII码的基础上，新增128个欧洲常用的字符，比如，法语中的é的编码为130（二进制10000010）。这种编码方案位就被称为EASCII字符集（扩展的ASCII字符集）。

虽然EASCII字符集中包含的256个字符满足了东欧国家的语言要求，但无法满足南欧，北欧，斯拉夫语系，阿拉伯语系国家的语言要求，于是，计算机厂商通过修改ESCII码中后128个的字符来满足不同语言的需求，但是由于没有统一标准，针对同一种语言，不同的设备厂商可能定制不同的字符集，给信息传递带来了极大的困扰。

于是，标准化组织提出了ISO/IEC 8859 标准来规范字符集的使用，标准包含15个字符集，分别服务于不同的语言，下面仅仅列出其中5个标准中定义的字符集，详见ISO/IEC 8859

ISO 8859-1字符集，也称为Latin-1，收录了西欧字符（德法）；

ISO 8859-2字符集，也称为Latin-2，收录了东欧字符；

ISO 8859-3字符集，也称为Latin-3，收录了南欧字符；

ISO 8859-4字符集，也称为Latin-4，收录了北欧字符；

ISO 8859-5字符集，也称为Cyrillic，收录了斯拉夫语系字符；

ISO 8859-6字符集，也称为Arabic，收录了阿拉伯语系字符；

二、 GB2312，SHIFT-JIS，EUC-KR，BIG5

本质上，ISO/IEC 8859规范的所有字符集都是单字节可以表示的字符集，换句话说，这些字符集服务的语言的常用字符都控制在256个以内，但是这种情况在遇到中日韩等国家的时候歇菜了，因为这些国家的字符太多了，在汉语中，仅康熙字典就有47035个字。

这些国家参考EASCII扩展的原理，使用更多的二进制位来表示更多的字符。例如，我们最常遇到的GB2312字符集来说，其就采用了两个字节（16位二进制）来表示一个汉字的方案，其相对于一个字节（8位二进制）的字符集，可以表示的字符数量由原来的256个字符扩展到65536个字符，基本满足了汉语语言的要求。以此类推，世界上又出现了下面这些字符集。

汉语：GB2312，GBK，GB18030

日语：SHIFT JIS字符集

韩语：EUC-KR

台湾地区：BIG5

三、Unicode

人类命运共同体是一种不可抗的趋势，互联网的发展尤其需要世界具有统一的编码字符集来促进信息的高速交互。于是，就出现了Unicode字符集，俗称万国码。该字符集使用了四个字节（32位二进制）来表示世界上所有语言的字符。

备注：并不是所有的位置均可以对应字符，还有些位置用空出来以方便字符集扩展。

Unicode 当然是一个很大的集合，现在的规模可以容纳100多万个符号。每个符号的编码都不一样，比如，U+0639表示阿拉伯字母Ain，U+0041表示英语的大写字母A，U+4E25表示汉字严。具体的符号对应表，可以查询unicode.org，或者专门的汉字对应表汉字对应表。

四、UTF-8，UTF-16，UTF-32

Unicode 只是一个符号集，它只规定了符号的二进制代码，却没有规定这个二进制代码应该如何存储。

比如，汉字严的 Unicode 是十六进制数4E25，转换成二进制数足足有15位（100111000100101），也就是说，这个符号的表示至少需要2个字节。表示其他更大的符号，可能需要3个字节或者4个字节，甚至更多。

本章所说的UTF-8，UTF-16，UTF-32都是Unicode的实现方式，UTF-8表示使用使用1~4个8位二进制来表示Unicode字符集中的字符，UTF-16则使用1~2个16位二进制表示Unicode字符集中的字符，UTF-32则使用32位二进制来表示Unicode中的字符。

UTF-8的编码规则可以参考
UTF-8编码规则

五、ANSI

ANSI经常在Windows中见到，ANSI的出现也在于Unicode出现以前，存在许多许多字符集，这些字符集互相冲突，操作系统发行的时候，如果将所有字符集都列出来，显然这个下拉框会非常多，所以，微软采用ANSI协会发明的一种代码页的方案来对字符集自动切换。

六、Little Ending（LE），Big Ending（BE）

UTF-16 LE和UTF-16 BE中的LE和BE分别表示Little Ending和Big Ending。

以汉字严为例，Unicode 码是4E25，需要用两个字节存储，一个字节是4E，另一个字节是25。存储的时候，4E在前，25在后，这就是 Big endian 方式；25在前，4E在后，这是 Little endian 方式。

这两个古怪的名称来自英国作家斯威夫特的《格列佛游记》。在该书中，小人国里爆发了内战，战争起因是人们争论，吃鸡蛋时究竟是从大头(Big-endian)敲开还是从小头(Little-endian)敲开。为了这件事情，前后爆发了六次战争，一个皇帝送了命，另一个皇帝丢了王位。

第一个字节在前，就是"大头方式"（Big endian），第二个字节在前就是"小头方式"（Little endian）。

那么很自然的，就会出现一个问题：计算机怎么知道某一个文件到底采用哪一种方式编码？

Unicode 规范定义，每一个文件的最前面分别加入一个表示编码顺序的字符，这个字符的名字叫做"零宽度非换行空格"（zero width no-break space），用FEFF表示。这正好是两个字节，而且FF比FE大1。

如果一个文本文件的头两个字节是FE FF，就表示该文件采用大头方式；如果头两个字节是FF FE，就表示该文件采用小头方式。

七、BOM

上面提到的"零宽度非换行空格"，就是BOM，UTF-16是必须包含这个字符的，是因为如果没有这个字符，就无法确定字节序，但是UTF-8由于其特定的编码方式，并不需要BOM这个字符，但是有强迫症的微软觉得，UTF-8也可以带有，于是就有最有一个选项，带有BOM的UTF-8。

PS：本文参考了很多地方都参考了阮一峰大神的文章，字符编码笔记：ASCII，Unicode 和 UTF-8，并在此基础上做了一些自己的补充。

好了，本文到此结束，带大家了解了《字符集：ASCII，GB2312，Unicode，UTF-8，ANSI》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多数据库知识！