对比
CSV vs Parquet
CSV 是便于阅读的表格文本交换格式。Parquet 是面向分析系统高效存储和读取的列式二进制格式。应根据数据交付或大规模分析的用途选择。
应该选择哪种格式？
要与电子表格和通用工具交换简单表格时用 CSV。分析数据集需要列式读取和压缩时可考虑 Parquet。
适用于 CSV
表格数据交换
- 在应用间传递一个简单表格
适用于 Parquet
为分析保存结构化表格
- 只需读取部分列的大型数据集
基本信息
| 项目 | CSV | Parquet |
|---|---|---|
| 扩展名 | .csv | .parquet |
| MIME 类型 | text/csv | application/vnd.apache.parquet |
| 常见用途 | 表格数据交换 | 为分析保存结构化表格 |
| 打开方式 | 导入电子表格时请设置字符编码和分隔符。检查前导零、类似日期的值和长数字不会被自动转换。 | 使用支持 Parquet 的工具检查模式、列类型、行数和值。 |
| 导出或转换 | 将XLSX导出为CSV通常只写出一个选定工作表的值。请另行保留公式、格式、其他工作表和图表。 | 从 CSV 等格式转换时，检查类型、空值、时间戳、编码、分区和行数。 |
按用途选择
在应用间传递一个简单表格
表格数据交换
CSV只需读取部分列的大型数据集
为分析保存结构化表格
Parquet关键点 1
CSV 是易检查的文本格式，但不能可靠保留模式和数据类型。
进一步了解差异关键点 2
Parquet 按列组织数据，需要兼容的库或分析工具读取。
进一步了解差异进一步了解差异
通用、简单交换可用 CSV。受支持的分析流程可用 Parquet；转换后要验证模式、类型、空值、时间戳和数据完整性。
- CSV 便于人工查看，也适合常见应用间交换。
- Parquet 支持适用于分析工作负载的列式处理和压缩。
- 若不检查模式和导入规则，转换可能改变推断出的类型或数值。
常见问题
电子表格能像打开 CSV 一样打开 Parquet 吗？
通常需要扩展或其他兼容工具。Parquet 面向库和分析系统，而非直接文本编辑。