FORMAT COMPARISON
netCDF vs Parquet
netCDFは名前付き次元・変数・属性で科学データセットを記述し、座標や時刻などを関連付けます。Parquetは表の行グループと列チャンクを持つ列指向ファイル形式で、分析クエリによる列選択に向きます。
netCDFとParquet、どちらを選ぶ？
時刻・高度・座標を持つ科学配列と複数の関連変数を扱うならnetCDFを選びます。レコードを表形式で保管し、必要な列を分析処理で読むならParquetを検討します。
netCDF向き
気候・気象・地球科学などの配列型科学データの保存と交換
- 次元・変数・属性に沿って多次元データを記述する
- netCDF対応ツール間で移植性のある科学データを扱う
Parquet向き
分析基盤向けの列指向データ保存
- 必要な列だけを読み込む大規模な表形式データ
基本情報を比較
netCDFとParquetの主な違いを確認できます。
| 項目 | netCDF | Parquet |
|---|---|---|
| 拡張子 | .nc、.nc4、.cdf | .parquet |
| MIME Type | application/vnd.apache.parquet | |
| 主な用途 | 気候・気象・地球科学などの配列型科学データの保存と交換 | 分析基盤向けの列指向データ保存 |
| 圧縮 | optional_format_dependent | columnar_data |
| 開く方法 | netCDF対応の可視化・解析ソフトまたはライブラリを使い、変数、次元、属性、ファイル形式バリアントを確認します。座標変数、単位、カレンダー、欠損値、CF規約の適合性も読み取り側の期待と照合してください。 | Parquet対応の分析ツールやライブラリでスキーマ、列、行数、型を確認します。 |
| 書き出し・変換 | CSV、HDF5、Zarrなどへ変換する際は、次元、変数型、属性、座標、時間軸・カレンダーが維持されるかを確認します。Classicモデルへ変換すると拡張モデルの機能が失われることがあり、CSVでは階層・型・属性を完全に表せません。 | CSVなどから変換する際は、型、null、日時、文字コード、パーティションの扱いを確認します。 |
用途別の選び方
作りたいものや使う場面から選べます。
次元・変数・属性に沿って多次元データを記述する
気候・気象・地球科学などの配列型科学データの保存と交換
netCDF向きnetCDF対応ツール間で移植性のある科学データを扱う
気候・気象・地球科学などの配列型科学データの保存と交換
netCDF向き必要な列だけを読み込む大規模な表形式データ
分析基盤向けの列指向データ保存
Parquet向き確認ポイント 1
netCDFは配列変数を名前付き次元に結び、座標変数や属性を持てます。Parquetは行グループ内に列チャンクを置き、ファイルメタデータで位置を示します。
使い分け確認ポイント 2
netCDFにはClassicと拡張モデルがあり、netCDF-4ではgroupや追加型を使えます。Parquetは列指向の表データをページ・row group単位で符号化します。
使い分け選ぶ理由を詳しく
- 変換では変数と列、次元、単位、座標・CRS、時刻、欠損値、型、groupやネスト型の対応を検証してください。圧縮設定と行グループ/チャンク設計も読み取りパターンに合わせます。