摘要

就像 parser 模块公开了 Python 解析器一样，此 PEP 建议将用于创建 Python 解析器的解析器生成器 pgen 作为 Python 中的一个模块公开。

基本原理

在 Python 的发展历程中，关于创建 Python 编译器的讨论屡见不鲜 [1]。这些讨论导致了多个 Python 解析器的实现，最值得注意的是当前 Python 标准库中提供的 parser 模块 [2] 和 Jeremy Hylton 的 compiler 模块 [3]。但是，虽然已经提出了多种语言更改 [4] [5]，但对 Python 语法的实验缺乏对用于构建 Python 的实际解析器生成器的 Python 绑定的益处。

通过提供类似于 Fred Drake Jr. 的解析器包装器的 Python 包装器，但将其目标对准 pgen 库，可以得出以下断言

1. 语法更改的参考实现将更容易开发。目前，语法更改的参考实现需要开发人员使用命令行中的 pgen 工具。然后，生成的解析器数据结构要么必须重新处理以与自定义 CPython 实现交互，要么作为 C 扩展模块进行包装。
2. 语法更改的参考实现将更容易分发。由于解析器生成器将在 Python 中可用，因此生成的解析器也应该可以从 Python 访问。因此，参考实现应该可以作为纯 Python 代码获得，而不是使用现有 CPython 发行版的自定义版本，或作为可编译的扩展模块。
3. 语法更改的参考实现将更容易与更广泛的受众讨论。这在某种程度上源于第二个断言，因为 Python 用户社区很可能大于 CPython 开发人员社区。
4. 在 Python 中开发小型语言将得到进一步增强，因为该附加模块将是一个功能齐全的 LL(1) 解析器生成器。

规范

建议的模块将称为 pgen。 pgen 模块将包含以下函数

实施计划

已经设计了一个巧妙的计划来完成此增强功能

1. 重命名 pgen 函数以符合 CPython 命名标准。此操作可能涉及向 Include 子目录添加一些头文件。
2. 在 Makefile.pre.in 中将 pgen C 模块从唯一的 pgen 元素移动到 Python C 库。
3. 对 parser 模块进行任何必要的更改，以便 AST 扩展类了解它可能不了解的 AST 类型。对 AST 扩展类的粗略检查表明它跟踪树是套件还是表达式。

3. 在 Modules 目录中编写一个额外的 C 模块。C 扩展模块将实现 DFA 扩展类和上一节中概述的函数。
4. 将新模块添加到构建过程中。的确是黑魔法。

限制

根据此提案，Python 3000 的设计者仍然将受限于 Python 的词法约定。添加、减去或修改 Python 词法分析器不在此 PEP 的范围内。

参考实现

目前没有提供参考实现。在某个时候，在 http://sourceforge.net/tracker/index.php?func=detail&aid=599331&group_id=5470&atid=305470 提供了一个补丁，但该补丁不再维护。

参考文献

版权

本文档已进入公有领域。