coding编码定义在计算机硬件中,编码(coding)是在一个主题或单元上为数据存储,管理和分析的目的而转换信息为编码值(典型地如数字)的过程。在软件中,编码意味着逻辑地使用一个特定的语言如c或c++来执行一个程序。在密码学中,编码是指在编码或密码中写的行为。
将数据转换为代码或编码字符,并能译为原数据形式。是计算机书写指令的过程,程序设计中的一部分。在地图自动制图中,按一定规则用数字与字母表示地图内容的过程,通过编码,使计算机能识别地图的各地理要素。
n位二进制数可以组合成2的n次方个不同的信息,给每个信息规定一个具体码组,这种过程也叫编码。
数字系统中常用的编码有两类,一类是二进制编码,另一类是二—十进制编码。汉字的编码体系1.ascii与binary
我们日常接触到的文件分ascii和binary两种。ascii是“美国信息交换标准编码”的英文字头缩写,可称之为“美标”。美标规定了用从0到127的128个数字来代表信息的规范编码,其中包括33个控制码,一个空格码,和94个形象码。形象码中包括了英文大小写字母,阿拉伯数字,标点符号等。我们平时阅读的英文电脑文本,就是以形象码的方式传递和存储的。美标是国际上大部分大小电脑的通用编码。
然而电脑中的一个字符大都是用一个八位数的二进制数字表示。这样每一字符便可能有256个不同的数值。由于美标只规定了128个编码,剩下的另外128个数码没有规范,各家用法不一。另外美标中的33个控制码,各厂家用法也不尽一致。这样我们在不同电脑间交换文件的时候,就有必要区分两类不同的文件。第一类文件中每一个字都是美标形象码或空格码。这类文件称为“美标文本文件”(ascii text files),或略为“文本文件”,通常可在不同电脑系统间直接交换。第二类文件,也就是含有控制码或非美标码的文件,通常不能在不同电脑系统间直接交换。这类文件有一个通称,叫“二进制文件”(binary files)。
2.国标、区位、“准国标”
“国标”是“中华人民共和国国家标准信息交换用汉字编码”的简称。国标表(基本表)把七千余汉字、以及标点符号、外文字母等,排成一个94行、94列的方阵。方阵中每一横行叫一个“区”,每个区有九十四个“位”。一个汉字在方阵中的坐标,称为该字的“区位码”。例如“中”字在方阵中处于第54区第48位,它的区位码就是5448。
其实94这个数字。它是美标中形象码的总数。国标表沿用这个数字,本意大概是要用两个美标形象符代表一个汉字。由于美标形象符的编码是从33到126,汉字区、位码如果各加上32,就会与美标形象码的范围重合。如上例“中”字区、位码加上32后,得86,80。这两个数字的十六进制放在一起得5650,称为该字的“国标码”,而与其相对应的两个美标符号,vp,也就是“中”字的“国标符”了。
这样就产生了一个如何区分国标符与美标符的问题。在一个中英文混用的文件里,“vp”到底代表“中”字呢,还是代表某个英文字头缩写?电子工业部第六研究所开发ccdos的时候,使用了一个简便的解决方案:把国标码的两个数字各加上128,上升到非美标码的位置。(改变后的国标码,习惯上仍叫“国标”。)
这个方案固然解决了原来的问题,可是新的问题随之产生。中文文件成了“二进制文件”,既不能可靠地在不同电脑系统间交换,也不与市场上大部分以美标符号为设计对象的软件兼容。
为了区分以上两种“国标”,我们把原与美标形象码重合的国标码称为“纯国标” ,而把ccdos加上128的国标码称为“准国标”。
3.gbk码:
gbk码是gb码的扩展字符编码,对多达2万多的简繁汉字进行了编码,简体版的win95和win98都是使用gbk作系统内码。
从实际运用来看,微软自win95简体中文版开始,系统就采用gbk代码,它包括了truetype宋体、黑体两种gbk字库(北京中易电子公司提供),可以用于显示和打印,并提供了四种gbk汉字的输入法。此外,浏览器ie4.0简体、繁体中文版内部提供了一个gbk-big5代码双向转换功能。此外,微软公司为ie提供的语言包中,简体中文支持(simplified chinese language support kit)的两种字库宋体、黑体,也是gbk汉字(珠海四通电脑排版系统开发公司提供)。其他一些中文字库生产厂商,也开始提供truetype或postscript gbk字库。
许多外挂式的中文平台,如南极星、四通利方(richwin)等,提供gbk码的支持,包括字库、输入法和gbk与其他中文代码的转化器。
互联网方面,许多网站网页使用gbk代码。
但是多数搜索引擎都不能很好的支持gbk汉字搜索,大陆地区的搜索引擎有些能不完善的支持gbk汉字检索。
其实,gbk是又一个汉字编码标准,全称《汉字内码扩展规范》(chinese internatial code specification),1995年颁布。gb是国标,k是汉字“扩展”的汉语拼音第一个字母。
gbk向下与gb-2312编码兼容,向上支持iso 10646.1国际标准,是前者向后者过渡的一个承启标准。
gbk规范收录了iso 10646.1中的全部cjk汉字和符号,并有所补充。具体包括:gb 2312中的全部汉字、非汉字符号;gb 13000.1中的其他cjk汉字。以上合计20902个gb化汉字;《简化总表中》未收入gb 13000.1的52个汉字;《康熙字典》以及《辞海》中未被收入gb 13000.1的28个部首及重要构件;13个汉字结构符;big-5中未被gb 2312收入、但存在于gb 13000.1的139个图形符号;gb 12345增补的6个拼音符号;gb 12345增补的19个竖排图形符号(gb 12345较gb 2312增补竖排标点符号29个,其中10个未被gb 13000.1收入,故gbk亦不收);从gb 13000.1的cjk兼容区挑选出的21个汉字;gb 13000.1收入的31个ibm os/2专用符号。gbk亦采用双字节表示,总体编码范围为0x8140~0xfefe之间,首字节在0x81~0xfe之间,尾字节在0x40~0xfe之间,剔除0x××7f一条线,总计23940个码位,共收入21886个汉字和图形符号,其中汉字(包括部首和构件)21003个,图形符号883个。
4.big5码:
big5码是针对繁体汉字的汉字编码,目前在台湾、香港的电脑系统中得到普遍应用。big5码的编码范围参考下文。
5.hz码:
hz码是在internet上广泛使用的一种汉字编码。“hz”方案的特点,是以“纯国标”的中文与美标码混用。那么“hz”是怎样区分国标符和美标符的呢?答案其实也很简单:当一串美标码中间插入一段国标码的时候,我们便在国标码的前面加上~,后面加上~。这些附加码分别叫“逃出码”和“逃入码”。 由于这些附加码本身也是美标形象码,整个文件就俨然是一个美标文本文件,可以安然地 在电脑网上传递,也和大部分英文文本处理软件兼容。
6.iso-2022cjk码:
iso-2022是国际标准组织(iso)为各种语言字符制定的编码标准。采用二个字节编码,其中汉语编码称iso-2022 cn,日语、韩语的编码分别称jp、kr。一般将三者合称cjk码。目前cjk码主要在internet网络中使用。
7.ucs 和 iso 10646:
1993年,国际标准iso10646 定义了通用字符集 (universal character set, ucs)。 ucs 是所有其他字符集标准的一个超集。它保证与其他字符集是双向兼容的。就是说, 如果你将任何文本字符串翻译到 ucs格式,然后再翻译回原编码, 你不会丢失任何信息。
ucs 包含了用于表达所有已知语言的字符。不仅包括拉丁语,希腊语,斯拉夫语,希伯来语,阿拉伯语,亚美尼亚语和乔治亚语的描述, 还包括中文,日文和韩文这样的象形文字,以及平假名,片假名,孟加拉语, 旁遮普语果鲁穆奇字符(gurmukhi), 泰米尔语, 印.埃纳德语(kannada),malayalam,泰国语, 老挝语, 汉语拼音(bopomofo), hangul,devangari,gujarati, oriya,telugu 以及其它语种。对于还没有加入的语言, 由于正在研究怎样在计算机中最好地编码它们, 因而最终它们都将被加入。这些语言包括tibetian,高棉语,runic(古代北欧文字),埃塞俄比亚语, 其他象形文字,以及各种各样的印-欧语系的语言,还包括挑选出来的艺术语言比如 tengwar,cirth 和 克林贡语(klingon)。ucs 还包括大量的图形的,印刷用的,数学用的和科学用的符号,包括所有由 tex,postscript, ms-dos,ms-windows, macintosh, ocr 字体, 以及许多其他字处理和出版系统提供的字符。
iso 10646 定义了一个 31 位的字符集。 然而, 在这巨大的编码空间中, 迄今为止只分配了前 65534 个码位 (0x0000 到 0xfffd)。这个ucs的16位子集称为基本多语言面 (basic multilingual plane, bmp)。 将被编码在16位bmp以外的字符都属于非常特殊