PEP 686 – 将 UTF-8 模式设为默认

摘要

本 PEP 提案默认启用 UTF-8 模式。

通过此更改，Python 将始终使用 UTF-8 作为文件、标准输入/输出和管道的默认编码。

UTF-8 成为事实上的标准文本编码。

将默认编码更改为 UTF-8 使 Python 更易于与它们互操作。

此外，许多使用 Unix 的 Python 开发人员忘记了默认编码是依赖于平台的。当他们读取使用 UTF-8 编码的文本文件（例如 JSON、TOML、Markdown 和 Python 源文件）时，他们会省略指定 encoding="utf-8"。不一致的默认编码会导致许多错误。

从 Python 3.15 开始，Python 将默认启用 UTF-8 模式。

用户仍然可以通过设置 PYTHONUTF8=0 或 -X utf8=0 来禁用 UTF-8 模式。

由于 UTF-8 模式会影响 locale.getpreferredencoding(False)，因此我们需要一个 API 来获取与 UTF-8 模式无关的区域设置编码。

locale.getencoding() 将为此目的而添加。它也返回区域设置编码，但会忽略 UTF-8 模式。

当指定 warn_default_encoding 选项时，locale.getpreferredencoding() 将发出 EncodingWarning，就像 open() 一样（另请参见 PEP 597）。

此 API 已在 Python 3.11 中添加。

PEP 597 将 encoding="locale" 选项添加到 TextIOWrapper 中。此选项用于显式指定区域设置编码。TextIOWrapper 应在指定此选项时使用区域设置编码，而不管默认文本编码是什么。

但是，即使指定了 encoding="locale"，TextIOWrapper 在 UTF-8 模式下也会使用 "UTF-8"。此行为与 PEP 597 的动机不一致。这是因为我们没有预料到 Python 更改其默认文本编码时会将 UTF-8 模式设为默认。

在将 UTF-8 模式设为默认之前，应修复此不一致性。TextIOWrapper 即使在 UTF-8 模式下，也应在传递 encoding="locale" 时使用区域设置编码。

此问题已在 Python 3.11 中修复。

大多数 Unix 系统使用 UTF-8 区域设置，当其区域设置为 C 或 POSIX 时，Python 会启用 UTF-8 模式。因此，此更改主要影响 Windows 用户。

当 Python 程序依赖于默认编码时，此更改可能会导致 UnicodeError、乱码，甚至静默数据损坏。因此，应大声宣布此更改。

这是解决此向后兼容性问题的指南

禁用 UTF-8 模式。
使用 EncodingWarning（PEP 597）查找 UTF-8 模式影响的每个位置。
- 如果省略了 encoding 选项，请考虑使用 encoding="utf-8" 或 encoding="locale"。
- 如果使用了 locale.getpreferredencoding()，请考虑使用 "utf-8" 或 locale.getencoding()。
在 UTF-8 模式下测试应用程序。