PEP 686 – 默认启用 UTF-8 模式

摘要

此 PEP 提议默认启用 UTF-8 模式。

通过此更改，Python 将始终使用 UTF-8 作为文件、标准输入输出和管道的默认编码。

UTF-8 成为事实上的标准文本编码。

将默认编码更改为 UTF-8 使 Python 更容易与它们进行互操作。

此外，许多使用 Unix 的 Python 开发人员忘记了默认编码是平台相关的。他们在读取 UTF-8 编码的文本文件（例如 JSON、TOML、Markdown 和 Python 源文件）时，省略了指定 encoding="utf-8"。不一致的默认编码会导致许多错误。

Python 将从 Python 3.15 开始默认启用 UTF-8 模式。

用户仍可以通过设置 PYTHONUTF8=0 或 -X utf8=0 来禁用 UTF-8 模式。

由于 UTF-8 模式会影响 locale.getpreferredencoding(False)，因此我们需要一种 API 来获取区域设置编码，而忽略 UTF-8 模式。

为此将添加 locale.getencoding()。它也会返回区域设置编码，但会忽略 UTF-8 模式。

当指定 warn_default_encoding 选项时，locale.getpreferredencoding() 将发出 EncodingWarning，就像 open() 一样（另请参阅 PEP 597）。

此 API 已在 Python 3.11 中添加。

PEP 597 向 TextIOWrapper 添加了 encoding="locale" 选项。此选项用于显式指定区域设置编码。当指定此选项时，TextIOWrapper 应使用区域设置编码，而忽略默认文本编码。

但目前，即使指定了 encoding="locale"，TextIOWrapper 在 UTF-8 模式下仍使用 "UTF-8"。此行为与 PEP 597 的初衷不符。这是因为我们在 Python 更改其默认文本编码时，并未预料到会默认启用 UTF-8 模式。

在默认启用 UTF-8 模式之前，应修复此不一致性。即使在 UTF-8 模式下，当传入 encoding="locale" 时，TextIOWrapper 也应使用区域设置编码。

此问题已在 Python 3.11 中修复。

大多数 Unix 系统使用 UTF-8 区域设置，Python 在其区域设置为 C 或 POSIX 时启用 UTF-8 模式。因此，此更改主要影响 Windows 用户。

当 Python 程序依赖于默认编码时，此更改可能导致 UnicodeError、乱码，甚至静默数据损坏。因此，应大声宣布此更改。

这是修复此向后兼容性问题的指南

禁用 UTF-8 模式。
使用 EncodingWarning（PEP 597）查找 UTF-8 模式影响的所有位置。
- 如果省略了 encoding 选项，请考虑使用 encoding="utf-8" 或 encoding="locale"。
- 如果使用了 locale.getpreferredencoding()，请考虑使用 "utf-8" 或 locale.getencoding()。
测试应用程序在 UTF-8 模式下的运行情况。