python白皮书（11）—字符编码
1、unicode编码
世界上存在着多种编码方式，同一个二进制数字可以被解释成不同的符号。因此，要想打开一个文本文件，不但要知道它的编码方式，还要安装有对应编码表，否则就可能无法读取或出现乱码。为什么电子邮件和网页都经常会出现乱码，就是因为信息的提供者和信息的读取者使用了不同的编码方式。
如果有一种编码，将世界上所有的符号都纳入其中，无论是英文、日文、还是中文等，大家都使用这个编码表，就不会出现编码不匹配现象。每个符号对应一个唯一的编码，乱码问题就不存在了。这就是Unicode编码。
2、 python字符编码
python有str object 和 unicode object 两种字符串, 都可以存放字符的字节编码，但是他们是不同的type，这一点很重要，也是为什么会有encode 和decode。
decode：str -------------------------> Unicode 将str以某种编码转换成unicode
encode：unicode -------------------------> str 将unicode转换成某种编码的str
（1）str_string.decode('codec') 是把str_string转换为unicode_string, codec是源str_string的编码方式；
（2）unicode_string.encode('codec') 是把unicode_string 转换为str_string，codec是目标str_string的编码方式；
（3）str_string.decode('from_codec').encode('to_codec') 可实现不同编码的str_string之间的转换；
>>> t='长城' #<type 'str'>
>>> t
'\xb3\xa4\xb3\xc7'
>>> t.decode('gb2312').encode('utf-8')
'\xe9\x95\xbf\xe5\x9f\x8e'
编码声明
源代码文件中，如果有用到非ASCII字符，则需要在文件头部进行字符编码的声明：
#-*- coding: UTF-8 -*-
读写文件
内置的open()方法打开文件时，read()读取的是str，读取后需要使用正确的编码格式进行decode()。
# coding: UTF-8
f = open('test.txt')
s = f.read()
f.close()
print type(s) # <type 'str'>
# 已知是GBK编码，解码成unicode
u = s.decode('GBK')
# 编码成UTF-8编码的str
f = open('test.txt', 'w')
s = u.encode('UTF-8')
f.write(s)
f.close()
编码方法
# coding:gbk
import sys
import locale
def p(f):
print '%s.%s(): %s' % (f.__module__, f.__name__, f())
# 返回当前系统所使用的默认字符编码
p(sys.getdefaultencoding) # ascii
# 返回用于转换Unicode文件名至系统文件名所使用的编码
p(sys.getfilesystemencoding) # ISO-8859-1
# 获取默认的区域设置并返回元祖(语言, 编码)
p(locale.getdefaultlocale) # ('en_US', 'ISO8859-1')
# 返回用户设定的文本数据编码
p(locale.getpreferredencoding) # ISO-8859-1
一些建议
（1）使用字符编码声明，并且同一工程中的所有源代码文件使用相同的字符编码声明。这点是一定要做到的。
（2）抛弃str，全部使用unicode。按引号前先按一下u最初做起来确实很不习惯而且经常会忘记再跑回去补，但如果这么做可以减少90%的编码问题。如果编码困扰不严重，可以不参考此条。
（3）使用codecs.open()替代内置的open()。如果编码困扰不严重，可以不参考此条。
（4）绝对需要避免使用的字符编码：MBCS/DBCS和UTF-16。