博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python读写不同编码txt文件
阅读量:4054 次
发布时间:2019-05-25

本文共 2801 字,大约阅读时间需要 9 分钟。

以后整理规范

[python] 
  1. import os  
  2. import codecs  
  3. filenames=os.listdir(os.getcwd())  
  4.   
  5. out=file("name.txt","w")  
  6. for filename in filenames:  
  7.     out.write(filename.decode("gb2312").encode("utf-8"))  
  8. out.close()  

将执行文件的当前目录及文件名写入到name.txt文件中,以utf-8格式保存

如果采用ANSI编码保存,用如下代码写入即可:

[python] 
  1. out.write(filename)  

打开文件并写入

引用codecs模块,对该模块目前不了解。在此记录下方法,有空掌握该模块功能及用法。

[python] 
  1. import codecs  
  2. file=codecs.open("lol.txt","w","utf-8")  
  3. file.write(u"我")  
  4. file.close()  

读取ANSI编码的文本文件和utf-8编码的文件

读取ANSI编码文件

建立一个文件test.txt,文件格式用ANSI,内容为:

abc中文
用python来读取

# coding=gbk

print open("Test.txt").read()

结果:abc中文

读取utf-8编码文件(无BOM)

把文件格式改成UTF-8:

结果:abc涓 枃
显然,这里需要解码:
# -*- coding: utf-8 -*-
import codecs
print open("Test.txt").read().decode("utf-8")
结果:abc中文

读取utf-8编码文件(有BOM)

某些软件在保存一个以UTF-8编码的文件时,默认会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF,即BOM)。在有些软件可以控制是否插入BOM。如果在有BOM的情况下,在读取时需要自己去掉这些字符,python中的codecs module定义了这个常量:

[python] 
  1. # -*- coding: utf-8 -*-  
  2. import codecs  
  3. data = open("Test.txt").read()  
  4. if data[:3] == codecs.BOM_UTF8:  
  5.     data = data[3:]  
  6. print data.decode("utf-8")  

结果:abc中文

在看下面的例子:

[python] 
  1. # -*- coding: utf-8 -*-  
  2. data = open("name_utf8.txt").read()  
  3. u=data.decode("utf-8")  
  4. print u[1:]  

打开utf-8格式的文件并读取utf-8字符串后,解码变成unicode对象。但是会把附加的三个字符同样进行转换,变成一个unicode字符。该字符不能被打印。所以为了正常显示,采用u[1:]的方式,过滤到第一个字符。

注意:在处理unicode中文字符串的时候,必须首先对它调用encode函数,转换成其它编码输出。

更多详细内容:

设置python默认编码

[python] 
  1. import sys  
  2. reload(sys)  
  3. sys.setdefaultencoding("utf-8")  
  4. print sys.getdefaultencoding()  

今天碰到了 python 编码问题, 报错信息如下

Traceback (most recent call last):
  File "ntpath.pyc", line 108, in join
UnicodeDecodeError: 'ascii' codec can't decode byte 0xa1 in position 36: ordinal not in range(128)

显然是当前的编码为ascii, 无法解析0xa1(十进制为161, 超过上限128). 进入python console后, 发现默认编码确实是 ascii, 验证过程为:

在python2.6中无法调用sys.setdefaultencoding()函数来修改默认编码,因为python在启动的时候会调用site.py文件,在这个文件中设置完默认编码后会删除sys的setdefaultencoding方法。不能再被调用了.  在确定sys已经导入的情况下, 可以reload sys这个模块之后, 再 sys.setdefaultencoding('utf8')

[python] 
  1. import sys  
  2. reload(sys)  
  3. sys.setdefaultencoding("utf-8")  
  4. print sys.getdefaultencoding()  

确实有效, 根据 limodou 讲解,  site.py 是 python 解释器启动后, 默认加载的一个脚本. 如果使用 python -S 启动的话, 将不会自动加载 site.py.

上面写的挺啰嗦的.

==================================

如何永久地将默认编码设置为utf-8呢?  有2种方法: 
==================================
第一个方法<不推荐>: 编辑site.py, 修改setencoding()函数, 强制设置为 utf-8 
第二个方法<推荐>: 增加一个名为 sitecustomize.py, 推荐存放的路径为 site-packages 目录下
sitecustomize.py 是在 site.py 被import 执行的, 因为 sys.setdefaultencoding() 是在 site.py 的最后删除的, 所以, 可以在 sitecustomize.py 使用 sys.setdefaultencoding().

import sys   

sys.setdefaultencoding('utf-8')

既然 sitecustomize.py 能被自动加载,  所以除了设置编码外, 也可以设置一些其他的东西

字符串的编码

s1='中文'

像上面那样直接输入的字符串是按照代码文件的编码来处理的,如果是unicode编码,有以下三种方式:

1 s1 = u'中文'

2 s2 = unicode('中文','gbk')
3 s3 = s1.decode('gbk')

unicode是一个内置函数,第二个参数指示源字符串的编码格式。

decode是任何字符串具有的方法,将字符串转换成unicode格式,参数指示源字符串的编码格式。
encode也是任何字符串具有的方法,将字符串转换成参数指定的格式。

详细参考:

转载地址:http://gjxci.baihongyu.com/

你可能感兴趣的文章
Jenkins + Docker + SpringCloud 微服务持续集成(一)
查看>>
Jenkins + Docker + SpringCloud 微服务持续集成 - 单机部署(二)
查看>>
Jenkins + Docker + SpringCloud 微服务持续集成 - 高可用集群部署(三)
查看>>
Golang struct 指针引用用法(声明入门篇)
查看>>
Linux 粘滞位 suid sgid
查看>>
C#控件集DotNetBar安装及破解
查看>>
Winform皮肤控件IrisSkin4.dll使用
查看>>
Winform多线程
查看>>
C# 托管与非托管
查看>>
Node.js中的事件驱动编程详解
查看>>
mongodb 命令
查看>>
MongoDB基本使用
查看>>
mongodb管理与安全认证
查看>>
nodejs内存控制
查看>>
nodejs Stream使用中的陷阱
查看>>
MongoDB 数据文件备份与恢复
查看>>
数据库索引介绍及使用
查看>>
MongoDB数据库插入、更新和删除操作详解
查看>>
MongoDB文档(Document)全局唯一ID的设计思路
查看>>
mongoDB简介
查看>>