FORMAT COMPARISON
Parquet vs ORC
ParquetとORCはいずれも大規模分析向けの列指向データ形式です。利用するクエリエンジン、既存基盤、スキーマと性能検証で選びます。
ParquetとORC、どちらを選ぶ？
既存の分析基盤と利用ツールが最も適切に扱える形式を選び、実データで読み取り性能と互換性を検証します。
Parquet向き
分析基盤向けの列指向データ保存
- 必要な列だけを読み込む大規模な表形式データ
ORC向き
Hadoop系分析基盤での列指向データ保存
- 型情報・索引を使う大規模な表形式データ分析
基本情報を比較
ParquetとORCの主な違いを確認できます。
| 項目 | Parquet | ORC |
|---|---|---|
| 拡張子 | .parquet | .orc |
| MIME Type | application/vnd.apache.parquet | application/vnd.apache.orc |
| 主な用途 | 分析基盤向けの列指向データ保存 | Hadoop系分析基盤での列指向データ保存 |
| 圧縮 | columnar_data | columnar_data |
| 開く方法 | Parquet対応の分析ツールやライブラリでスキーマ、列、行数、型を確認します。 | ORC対応の分析ツールでスキーマ、列、行数、圧縮、読み取り結果を確認します。 |
| 書き出し・変換 | CSVなどから変換する際は、型、null、日時、文字コード、パーティションの扱いを確認します。 | ParquetやCSVへ変換する際は、型、null、日時、decimal、パーティションの扱いを確認します。 |
用途別の選び方
作りたいものや使う場面から選べます。
必要な列だけを読み込む大規模な表形式データ
分析基盤向けの列指向データ保存
Parquet向き型情報・索引を使う大規模な表形式データ分析
Hadoop系分析基盤での列指向データ保存
ORC向き確認ポイント 1
どちらも列指向で必要な列を中心に読み取れる
使い分け確認ポイント 2
ORCは型情報とファイル内索引を扱う
使い分け選ぶ理由を詳しく
- 対応するエンジンと既存資産が選択に影響する