对比
netCDF 与 Parquet 的区别
netCDF 用命名维度、变量和属性描述科学数据集，可关联坐标与时间。Parquet 是列式文件格式，采用行组和列块，适合分析查询按列读取。
应该选择哪种格式？
包含时间、高度层、坐标及相关变量的科学数组适合用 netCDF。按列查询的表格记录可考虑 Parquet。
适用于 netCDF
存储和交换气候、天气与地球科学的数组型数据
- 用维度、变量和属性描述多维数据
- 通过 netCDF 工具进行可移植的科学数据工作流
适用于 Parquet
为分析保存结构化表格
- 只需读取部分列的大型数据集
基本信息
| 项目 | netCDF | Parquet |
|---|---|---|
| 扩展名 | .nc, .nc4, .cdf | .parquet |
| MIME 类型 | application/vnd.apache.parquet | |
| 常见用途 | 存储和交换气候、天气与地球科学的数组型数据 | 为分析保存结构化表格 |
| 打开方式 | 使用支持 netCDF 的可视化或分析软件或库。检查变量、维度、属性和文件变体，并核对坐标变量、单位、日历、缺失值及读取工具所期待的 CF 约定。 | 使用支持 Parquet 的工具检查模式、列类型、行数和值。 |
| 导出或转换 | 转换为 CSV、HDF5、Zarr 等格式时，确认维度、变量类型、属性、坐标和时间日历是否保留。转换为 classic 模型可能丢失扩展功能；CSV 无法完整表达层级、类型和属性。 | 从 CSV 等格式转换时，检查类型、空值、时间戳、编码、分区和行数。 |
按用途选择
用维度、变量和属性描述多维数据
存储和交换气候、天气与地球科学的数组型数据
netCDF通过 netCDF 工具进行可移植的科学数据工作流
存储和交换气候、天气与地球科学的数组型数据
netCDF只需读取部分列的大型数据集
为分析保存结构化表格
Parquet关键点 1
netCDF变量是关联命名维度的数组，可包含坐标变量和属性；Parquet文件元数据记录行组中列块的位置。
进一步了解差异关键点 2
netCDF有Classic和增强模型，netCDF-4可增加组与类型；Parquet按页和行组编码表格列。
进一步了解差异进一步了解差异
科学含义依赖数组维度、坐标、时间和单位时使用 netCDF；表格分析可用 Parquet。转换时明确映射模型，避免隐式展平关系。
- netCDF将N维变量关联到维度、坐标和属性；Parquet将表格存为行组内的列块。
- netCDF-4可能使用Classic读取器不支持的组或类型；Parquet元数据让读取器跳过不需要的列。
- 转换时核对变量到列的映射、维度、单位、坐标与CRS、时间、缺失值、类型、组和嵌套类型，并按读取模式调整压缩与行组布局。
常见问题
不做映射就能用 Parquet 保留 netCDF 科学数据集吗？
不能。必须定义维度、坐标、单位、时间、缺失值和变量如何映射到行列，然后验证转换结果。