StreamReader 和 StreamWriter 问题

• StreamReader 无法转换换行符。
• StreamWriter 不支持“行缓冲”（如果输入文本包含换行符则刷新）。
• CJK 编码（例如 GB18030）的 StreamReader 类仅支持 UNIX 换行符（'\n'）。
• StreamReader 和 StreamWriter 是有状态编解码器，但没有公开用于控制其状态的函数（getstate() 或 setstate()）。每个编解码器都必须处理特殊情况，参见 附录 A。
• StreamReader 和 StreamWriter 与 IncrementalReader 和 IncrementalEncoder 非常相似，某些代码对于有状态编解码器（例如 UTF-16）是重复的。
• 每个编解码器都必须重新实现自己的 StreamReader 和 StreamWriter 类，即使它很简单（只需调用编码器/解码器）。
• codecs.open(filename, “r”) 创建一个 io.TextIOWrapper 对象。
• 没有编解码器在 StreamReader 或 StreamWriter 中基于编解码器的特性实现优化方法。

错误跟踪器中的问题

• 问题 #5445（2009-03-08）：当传递生成器时 codecs.StreamWriter.writelines 问题
• 问题 #7262:（2009-11-04）：codecs.open() + eol（windows）
• 问题 #8260（2010-03-29）：当我使用 codecs.open(…) 并且 f.readline() 后跟 f.read() 返回错误结果时
• 问题 #8630（2010-05-05）：编解码器 readline(s) 中的 Keepends 参数
• 问题 #10344（2010-11-06）：codecs.readline 不关心缓冲
• 问题 #11461（2011-03-10）：使用 codecs.readline() 读取 UTF-16 在代理对上中断
• 问题 #12446（2011-06-30）：StreamReader Readlines 行为异常
• 问题 #12508（2011-07-06）：编解码器异常
• 问题 #12512（2011-07-07）：编解码器：seek 后或在追加模式下使用有状态编解码器的 StreamWriter 问题
• 问题 #12513（2011-07-07）：codec.StreamReaderWriter：交错读写问题

TextIOWrapper 特性

• TextIOWrapper 支持任何类型的换行符，包括转换换行符（到 UNIX 换行符），以进行读取和写入。
• TextIOWrapper 重用编解码器的增量编码器和解码器（没有代码重复）。
• io 模块（TextIOWrapper）比 codecs 模块（StreamReader）更快。它是用 C 实现的，而 codecs 是用 Python 实现的。
• TextIOWrapper 具有一个预读算法，可以加快小型读取的速度：逐字符或逐行读取（在这些操作上，io 比 codecs 快 10 倍到 25 倍）。
• TextIOWrapper 具有写入缓冲区。
• TextIOWrapper.tell() 已优化。
• TextIOWrapper 支持使用单个类进行随机访问（读+写），从而允许优化交错读写（但尚未实现此类优化）。

TextIOWrapper 问题

• 问题 #12215（2011-05-30）：TextIOWrapper：交错读写问题

StreamReader 和 StreamWriter 的可能改进

通过向 StreamReader 和 StreamWriter 类添加编解码器状态读/写函数，将有可能在基类中修复有状态编解码器的问题，而不是在每个有状态 StreamReader 和 StreamWriter 类中修复。

可以更改 StreamReader 和 StreamWriter 以使其使用 IncrementalDecoder 和 IncrementalEncoder。

编解码器可以实现针对特定编码进行优化的变体，或者拦截某些流方法以添加功能或提高编码/解码性能。TextIOWrapper 无法实现此类优化，但 TextIOWrapper 使用增量编码器和解码器并使用读写缓冲区，因此不完整输入的开销很低或为零。

对于其他可变长度编码编解码器（例如 UTF-8），可以做更多的事情，因为这些编解码器在读取结束附近通常会出现由于缺少字节而导致的问题。UTF-32-BE/LE 编解码器可以简单地将字符位置乘以 4 以获取字节位置。

StreamReader 和 StreamWriter 的用法

这些类很少直接使用，而是间接使用 codecs.open()。它们未使用在 Python 3 标准库中（除了 codecs 模块）。

一些项目使用 StreamReader 和 StreamWriter 实现自己的编解码器，但未使用这些类。

保留公共 API，codecs.open

codecs.open() 可以用内置的 open() 函数替换。open() 具有类似的 API，但还具有更多选项。这两个函数都返回类文件对象（相同的 API）。

codecs.open() 是在 Python 2.6 之前以 Unicode 模式打开文本文件的唯一方法。许多 Python 2 程序使用此函数。删除 codecs.open() 意味着需要更多工作才能将程序从 Python 2 移植到 Python 3，尤其是对两个 Python 版本使用相同代码库（不使用 2to3 程序）的项目。

codecs.open() 保留是为了与 Python 2 保持向后兼容。

弃用 StreamReader 和 StreamWriter

在 Python 3.3 中，实例化 StreamReader 或 StreamWriter 必须发出 DeprecationWarning。定义子类不会发出 DeprecationWarning。

codecs.open() 将更改为重用内置的 open() 函数（TextIOWrapper）来读写文本文件。

有状态编解码器

Python 支持以下有状态编解码器

• cp932
• cp949
• cp950
• euc_jis_2004
• euc_jisx2003
• euc_jp
• euc_kr
• gb18030
• gbk
• hz
• iso2022_jp
• iso2022_jp_1
• iso2022_jp_2
• iso2022_jp_2004
• iso2022_jp_3
• iso2022_jp_ext
• iso2022_kr
• shift_jis
• shift_jis_2004
• shift_jisx0213
• utf_8_sig
• utf_16
• utf_32

读取和 seek(0)

with open(filename, 'w', encoding='utf-16') as f:
    f.write('abc')
    f.write('def')
    f.seek(0)
    assert f.read() == 'abcdef'
    f.seek(0)
    assert f.read() == 'abcdef'

io 和 codecs 模块正确支持此用例。

seek(n)

with open(filename, 'w', encoding='utf-16') as f:
    f.write('abc')
    pos = f.tell()
with open(filename, 'w', encoding='utf-16') as f:
    f.seek(pos)
    f.write('def')
    f.seek(0)
    f.write('###')
with open(filename, 'r', encoding='utf-16') as f:
    assert f.read() == '###def'

io 模块支持此用例，而 codecs 失败，因为它在第二次写入时写入了一个新的 BOM (问题 #12512）。

追加模式

with open(filename, 'w', encoding='utf-16') as f:
    f.write('abc')
with open(filename, 'a', encoding='utf-16') as f:
    f.write('def')
with open(filename, 'r', encoding='utf-16') as f:
    assert f.read() == 'abcdef'

io 模块支持此用例，而 codecs 失败，因为它在第二次写入时写入了一个新的 BOM (问题 #12512）。