当前位置:编程学习 > 网站相关 >>

浅析Python编码问题

​ 首先这些问题只有在python2.X版本出现,因为3.X版本中python环境就只有unicode类型的字符串了,即所有程序中处理的都会自动转换 成unicode字符串。那么2.X的python程序开发中如何避免和理清编码问题呢?首先要保持一个良好的统一规则,不然一切都是白扯了,统一都用 utf-8是最好的。
1.处理非ASCII编码


Python的默认编码是ascii编码,当python中间处理非ASCII编码时,经常会出现如下错误:
UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)
0x??是超出128的数字
我们常在文件开头加上编码属性:# -*-  coding=utf8  -*-
所以无法处理其他编码时需要设置python的默认编码为所需要的编码,主要有以下2个方法:
01. 首选方法
import sys reload(sys)#重新加载sys
sys.setdefaultencoding('utf-8')#看你的编码需要utf-8还是gb2312
为什么要在调用setdefaultencoding时必须要先reload一次sys模块呢?因为这里的import语句其实并不是sys的第一次导入 语句,也就是说这里其实可能是第二、三次进行sys模块的import,这里只是一个对sys的引用,只能reload才能进行重新加载;那么为什么要重 新加载,而直接引用过来则不能调用该函数呢?因为setdefaultencoding函数在被系统调用后被删除了,所以通过import引用进来时其实 已经没有了,所以必须reload一次sys模块,这样setdefaultencoding才会为可用,才能在代码里修改解释器当前的字符编码。
02.方法2- 全局设置
在Python的Lib\site-packages文件夹下新建一个sitecustomize.py文件(sitecustomize.py是一个特殊文件, Python 在启动时将尝试加载该文件,因此所有代码都将运行该文件),即可自动设置代码。
import sys
sys.setdefaultencoding('gb2312')
3. 检查当前编码
import sys
sys.getdefaultencoding()
浅析Python编码问题 - InSun - Minghacker is Insun


2.字符编码判断
通过chardet可以实现对字符串/文件的编码检测。
01. chardet的安装
通过easy_install工具可以实现chardet的快速安装,命令如下:easy_install.exe chardet
02. chardet的使用
chardet可以直接用detect函数来检测所给字符的编码。函数返回值为字典,有2个元数,一个是检测的可信度,另外一个就是检测到的编码。
import urllib
import chardet
rawdata = urllib.urlopen('http://www.sina.com.cn/').read()
print chardet.detect(rawdata)
#result: {'confidence': 0.99, 'encoding': 'GB2312'}
 



3.文件处理的解码
response = urllib.urlopen(url)
text = response.read().decode("utf-8")#add by insun
按照第一步设置了utf8编码 然后写了个抓取豆瓣mp3的程序 存储下来的mp3名字都是乱码 打印出来缺全是正确的中文
娴佹皳锛堥鎵嶄綔璇嶏級.mp3

这时候显然就需要解码


decode("utf-8")
我们不走远 姑且不谈BOM头问题。

 


4.Python操作Mysql中文乱码问题
Python操作MySQL需要安装Python-MySQL
可以从网上搜索一下,和一般的Python包一样安装

安装好之后,模块名字叫做MySQLdb ,在Window和Linux环境下都可以使用

用下面几个措施,保证MySQL的输出没有乱麻:
    1 Python文件设置编码 utf-8 (文件前面加上 #encoding=utf-8)
    2 MySQL数据库charset=utf-8 
    3 Python连接MySQL是加上参数 charset=utf8 
    4 设置Python的默认编码为 utf-8 (sys.setdefaultencoding(utf-8)
 
#encoding=utf-8
 
import sys
import MySQLdb
 
reload(sys)
sys.setdefaultencoding('utf-8')
 
db=MySQLdb.connect(user='root',charset='utf8')
cur=db.cursor()
cur.execute('use mydb')
cur.execute('select * from mytb limit 100')
 
f=file("/home/user/work/tem.txt",'w')
 
for i in cur.fetchall():
    f.write(str(i))
    f.write(" ")
 
f.close()
cur.close()
补充:Web开发 , Python ,
CopyRight © 2012 站长网 编程知识问答 www.zzzyk.com All Rights Reserved
部份技术文章来自网络,