Format Atlas

指南

选择数据分析与交换格式

根据平台和数据类型，区分列式分析、带 Schema 的记录交换，以及便于阅读的表格。

应该选择哪种格式？

根据文件在工作流程中的用途选择格式。

  • 列式分析与数据湖 → Parquet
  • 带 Schema 的记录交换 → Avro
  • Hadoop 生态中的列式分析 → ORC
  • 检查和简单传输 → CSV

为分析选择列式格式

Parquet 和 ORC 常用于仅读取指定列的分析任务。请结合查询引擎和现有数据平台选择。

检查 Schema 与转换结果

Avro 用于带 Schema 的记录交换。转换时请核对类型、空值、时间戳、十进制数、字段名称和兼容性。

候选格式

Parquet

适用于: 对大型表格数据进行列式分析

不太适用于: 直接以文本方式阅读内容

Avro

适用于: 交换带 Schema 的记录

不太适用于: 以列聚合为主的工作负载

ORC

适用于: 为使用类型信息和索引的分析平台存储数据

不太适用于: 作为可读文本随意分享

CSV

适用于: 交换便于人工检查的表格数据

不太适用于: 保留复杂类型或优化大规模分析

导出前注意事项

  • 检查数据类型、空值、时间戳和字符编码。
  • 分享个人或机密字段前检查访问权限和范围。
  • 使用有代表性的数据测试读取性能与兼容性。

相关比较

Parquet 与 ORCParquet 和 ORC 都是面向大规模分析数据的列式格式。应根据查询引擎、现有平台和实测工作负载选择。Avro 与 Parquet 对比Avro 序列化受模式约束的记录；Parquet 按列存放数据以支持大规模分析读取。应按写入和查询方式选择。Avro 与 ORC 对比Avro 常用于交换受模式约束的记录。ORC 按列存放带类型的数据，以便分析读取。CSV vs JSONCSV 表示表格记录；JSON 表示对象和数组等结构化值。应根据数据形状和接收系统选择。

指南

选择数据交换格式先看接收系统的规范。结构化 API 数据可用 JSON；需要既有 Schema 的集成用 XML；单一表格可用 CSV。科学数组数据交接前的检查流程交接netCDF、HDF5或Zarr数组时，同时提供含义、依赖和读取要求。这不同于选择表格格式，需要验证维度和缺失值的解释。

参考资料与规范