摘要

逗号分隔值 (CSV) 文件格式是电子表格和数据库最常见的导入和导出格式。尽管许多 CSV 文件都很容易解析，但该格式没有由稳定的规范正式定义，并且足够微妙，以至于使用类似 line.split(",") 的方法来解析 CSV 文件的行最终注定会失败。本 PEP 定义了读取和写入 CSV 文件的 API。它附带了一个实现该 API 的相应模块。

待办事项（感兴趣和有抱负者的说明）

• 对选择将文件对象传递给构造函数的动机进行了更好的阐述。参见 https://mail.python.org/pipermail/csv/2003-January/000179.html
• Unicode。哎。

应用领域

本 PEP 的重点是做好一件事：解析可能使用各种字段分隔符、引用字符、引用转义机制和换行符的表格数据。作者希望提出的模块能够有效地解决此解析问题。作者不打算解决以下任何相关主题

• 数据解释（包含字符串“10”的字段应该是一个字符串、浮点数还是整数？它是 10 进制、16 进制还是 2 进制数？带引号的数字是数字还是字符串？）
• 特定于区域设置的数据表示（数字 1.23 应该写成“1.23”还是“1,23”或“1 23”？）——这可能会在将来得到解决。
• 固定宽度表格数据 - 已经可以可靠地解析。

基本原理

通常，CSV 文件的格式足够简单，您可以逐行读取它们并在分隔字段的逗号处进行分割。如果所有读取的数据都是数字，则尤其如此。这种方法可能在一段时间内有效，然后当有人在数据中放入一些意外的东西（例如逗号）时，就会反过来咬你一口。当您深入研究问题时，您最终可能会得出结论，可以使用正则表达式来解决问题。这将在一段时间内有效，然后有一天会神秘地中断。问题越来越严重，因此您深入研究，最终意识到您需要一个针对该格式的专用解析器。

CSV 格式没有明确定义，并且不同的实现存在许多细微的极端情况。有人建议首字母缩写词中的“V”代表“模糊”（Vague）而不是“值”（Values）。不同的分隔符和引用字符仅仅是开始。某些程序在每个分隔符之后生成空格，该空格不属于后续字段。其他程序通过加倍嵌入的引用字符来引用它们，其他程序则通过在它们前面加上转义字符来引用它们。奇怪做法的列表似乎无穷无尽。

所有这些可变性意味着程序员难以可靠地解析来自许多来源的 CSV 文件或生成旨在馈送到特定外部程序的 CSV 文件，而无需充分了解这些来源和程序。本 PEP 及其附带的软件试图使该过程不那么脆弱。

现有模块

这个问题以前也已被解决过。目前 Python 社区中至少有三个模块使程序员能够读取和写入 CSV 文件

• Object Craft 的 CSV 模块 [2]
• Cliff Wells 的 Python-DSV 模块 [3]
• Laurence Tratt 的 ASV 模块 [4]

每个模块都有不同的 API，这使得程序员在它们之间切换变得有些困难。更大的问题可能是它们对某些 CSV 极端情况的解释方式不同，因此即使克服了不同模块 API 之间的差异，程序员也必须处理软件包之间的语义差异。

模块接口

本 PEP 支持三个基本 API，一个用于读取和解析 CSV 文件，一个用于写入它们，以及一个用于识别读取器和写入器对不同 CSV 方言的 API。

obj = reader(iterable [, dialect='excel']
             [optional keyword args])

csvreader = csv.reader(file("some.csv"))
for row in csvreader:
    process(row)

obj = writer(fileobj [, dialect='excel'],
             [optional keyword args])

csvwriter = csv.writer(file("some.csv", "w"))
for row in someiterable:
    csvwriter.writerow(row)

csvwriter = csv.writer(file("some.csv", "w"), fieldnames=names)
csvwriter.write(names)
for row in someiterable:
    csvwriter.write(row)

class Dialect:
    # placeholders
    delimiter = None
    quotechar = None
    escapechar = None
    doublequote = None
    skipinitialspace = None
    lineterminator = None
    quoting = None

class excel(Dialect):
    delimiter = ','
    quotechar = '"'
    doublequote = True
    skipinitialspace = False
    lineterminator = '\r\n'
    quoting = QUOTE_MINIMAL

class exceltsv(excel):
    delimiter = '\t'

dialect = get_dialect(name)
names = list_dialects()
register_dialect(name, dialect)
unregister_dialect(name)

csvreader = csv.reader(file("some.csv"), dialect="excel",
                       quotechar="'", delimiter=':')

实现

有一个示例实现可用。 [1] 目标是有效地实现 PEP 中描述的 API。它很大程度上基于 Object Craft csv 模块。 [2]

测试

示例实现 [1] 包括一组测试用例。

问题

1. 参数是否应该控制如何解释连续的分隔符？我们的想法是“不”。连续的分隔符应该始终表示一个空字段。
2. Unicode 怎么样？将从 codecs.open() 获取的文件对象传递进去是否足够？例如

   csvreader = csv.reader(codecs.open("some.csv", "r", "cp1252"))
   
   csvwriter = csv.writer(codecs.open("some.csv", "w", "utf-8"))
   

   在第一个示例中，将假设文本的编码为 cp1252。系统是否应该积极地转换为 Unicode，或者是否仅在必要时返回 Unicode 字符串？

   在第二个示例中，文件会在写入磁盘之前自动将 Unicode 字符串编码为 utf-8。

   注意：截至撰写本文时，csv 模块尚不支持 Unicode 数据。

3. 其他转义约定如何处理？如果使用的方言包含一个escapechar参数且该参数不为 None，并且quoting参数设置为 QUOTE_NONE，则字段中出现的定界符在写入时将在其前面加上转义字符，并且在读取时也需要在其前面加上转义字符。
4. 是否应该有一个“完全引用”的写入模式？“除了数值之外完全引用”又如何呢？这两种模式都已实现（分别为 QUOTE_ALL 和 QUOTE_NONNUMERIC）。
5. 换行符如何处理？如果我在 Unix 系统上生成一个 CSV 文件，Excel 是否能够正确识别仅包含 LF 的行终止符？文件必须使用二进制模式以适当的方式打开以进行读取或写入。将lineterminator序列指定为'\r\n'。生成的 文件将被正确写入。
6. 是否可以提供一个选项，以便从 reader 生成字典，并由 writer 接受字典？请参阅 csv.py 中的 DictReader 和 DictWriter 类。
7. 引用字符和定界符是否仅限于单个字符？目前是的。
8. 如何处理不同长度的行？数据的解释是应用程序的工作。在此级别上，不存在“短行”或“长行”的概念。

参考文献

网络上有很多关于其他与 CSV 相关的项目的参考。这里列出了一些。

版权

本文档已置于公有领域。