Format Atlas

指南

科学数组数据交接前的检查流程

交接netCDF、HDF5或Zarr数组时,同时提供含义、依赖和读取要求。这不同于选择表格格式,需要验证维度和缺失值的解释。

应该选择哪种格式?

根据文件在工作流程中的用途选择格式。

  • 记录数组含义
  • 准备完整的交付单元
  • 在接收方对照数值

记录数组含义

记录变量名、类型、维度顺序、坐标、单位和时间规则。不要把缺失值或填充值等同于0。使用scale_factor和add_offset时,区分存储值与解码值。

准备完整的交付单元

确认netCDF变体、HDF5外部链接目标及过滤器、Zarr版本和codec。提供必要的Zarr元数据和数据块;区分按fill_value处理的有意未存储数据块与传输遗漏。

在接收方对照数值

交付已完成写入的版本,用接收方库读取代表性切片。对照形状、轴顺序、属性、缺失掩码和解码值,记录舍入或有损变化的允许误差。

候选格式

netCDF

适用于: 向兼容科学工具交换维度、变量和属性

不太适用于: 仅凭扩展名判断内部格式

HDF5

适用于: 分层管理组和数组

不太适用于: 省略外部链接目标或必要过滤器

Zarr

适用于: 在存储中管理数组数据块

不太适用于: 只复制元数据就认为交接完成

导出前注意事项

  • 保留源数据和转换参数。校验和一致用于验证传输,不能证明单位或科学解释正确。
  • 属性和坐标可能包含机密信息。不要把存储凭据写入共享文件,并确认访问权限。

相关比较

指南

参考资料与规范