FORMAT COMPARISON
netCDF vs Zarr
netCDFは次元・変数・属性を持つ科学データモデルと複数のファイル形式を提供し、Zarrはチャンク化した多次元配列をキー・値ストア上に保存する仕様です。どちらが適切かはツール、保管先、アクセス方法で決まります。
netCDFとZarr、どちらを選ぶ？
既存のnetCDF資産や対応する科学ソフトとの互換性を優先するならnetCDF、オブジェクトストレージ上でチャンク単位に読み書きする分散ワークフローならZarrを検討します。両方で座標や単位の規約、実装対応を確認してください。
netCDF向き
気候・気象・地球科学などの配列型科学データの保存と交換
- 次元・変数・属性に沿って多次元データを記述する
- netCDF対応ツール間で移植性のある科学データを扱う
Zarr向き
大規模な多次元配列をチャンク単位で保存・交換する・クラウドストレージ上の科学データを扱う
- 配列の一部だけを効率よく読み込む
- 分割データを複数ツールで共有する
基本情報を比較
netCDFとZarrの主な違いを確認できます。
| 項目 | netCDF | Zarr |
|---|---|---|
| 拡張子 | .nc、.nc4、.cdf | .zarr |
| MIME Type | ||
| 主な用途 | 気候・気象・地球科学などの配列型科学データの保存と交換 | 大規模な多次元配列をチャンク単位で保存・交換する・クラウドストレージ上の科学データを扱う |
| 圧縮 | optional_format_dependent | optional_codecs |
| 開く方法 | netCDF対応の可視化・解析ソフトまたはライブラリを使い、変数、次元、属性、ファイル形式バリアントを確認します。座標変数、単位、カレンダー、欠損値、CF規約の適合性も読み取り側の期待と照合してください。 | Zarr対応ライブラリや解析ソフトで開き、仕様バージョン、配列形状、チャンク、codec、属性を確認します。ローカルではディレクトリ全体、クラウドでは必要なキー群を保持し、作成元のメタデータ規約も確認してください。 |
| 書き出し・変換 | CSV、HDF5、Zarrなどへ変換する際は、次元、変数型、属性、座標、時間軸・カレンダーが維持されるかを確認します。Classicモデルへ変換すると拡張モデルの機能が失われることがあり、CSVでは階層・型・属性を完全に表せません。 | netCDFやHDF5との変換では次元、型、チャンク、属性、座標規約の対応を確認します。変換先で一部構造やcodecを扱えない場合があるため、元データを保存し値を検証してください。 |
用途別の選び方
作りたいものや使う場面から選べます。
次元・変数・属性に沿って多次元データを記述する
気候・気象・地球科学などの配列型科学データの保存と交換
netCDF向きnetCDF対応ツール間で移植性のある科学データを扱う
気候・気象・地球科学などの配列型科学データの保存と交換
netCDF向き配列の一部だけを効率よく読み込む
大規模な多次元配列をチャンク単位で保存・交換する・クラウドストレージ上の科学データを扱う
Zarr向き分割データを複数ツールで共有する
大規模な多次元配列をチャンク単位で保存・交換する・クラウドストレージ上の科学データを扱う
Zarr向き確認ポイント 1
netCDF classic系は通常単一ファイルで、netCDF-4はHDF5を基盤にします。Zarrは配列をチャンクとメタデータに分け、ディレクトリやオブジェクトストアに格納できます。
使い分け確認ポイント 2
netCDFは変数・次元・属性の科学データモデル、Zarrはチャンク配列とストレージ仕様を中心にします。座標・単位・規約の相互運用性は個別に設計・確認が必要です。
使い分け選ぶ理由を詳しく
- 変換ではチャンク形状、圧縮codec、データ型、欠損値、時刻・座標属性を検証します。Zarrの版やcodecの対応は利用ライブラリと保存先で異なるため、実環境で試験してください。