FORMAT COMPARISON
ORC vs CSV
ORCは型情報を持つ列指向のバイナリ形式で、分析基盤が必要な列を読み取る処理に向きます。CSVは行と区切り文字で表を表すテキスト形式で、人や多くの汎用ツールが扱いやすい形式です。
ORCとCSV、どちらを選ぶ？
大規模データを分析基盤に保存し、列を選んでクエリする用途ではORCを検討します。人が表計算ソフトで確認する、またはシンプルな表を他のツールへ渡す用途にはCSVが便利です。CSVからORCに変換する場合は型、null、日時、文字コード、区切りや引用規則を確認します。
ORC向き
Hadoop系分析基盤での列指向データ保存
- 型情報・索引を使う大規模な表形式データ分析
CSV向き
表データ交換
- 単一シートの表をアプリ間で受け渡す用途
- 書式を必要としない集計前のデータ
基本情報を比較
ORCとCSVの主な違いを確認できます。
| 項目 | ORC | CSV |
|---|---|---|
| 拡張子 | .orc | .csv |
| MIME Type | application/vnd.apache.orc | text/csv |
| 主な用途 | Hadoop系分析基盤での列指向データ保存 | 表データ交換 |
| 圧縮 | columnar_data | 該当なし |
| 開く方法 | ORC対応の分析ツールでスキーマ、列、行数、圧縮、読み取り結果を確認します。 | 表計算ソフトではインポート時に文字コードと区切り文字を指定し、テキストエディタでは実際の値を確認します。先頭ゼロ、日付に見える値、長い数値は自動変換されないか確認し、必要な列を文字列として扱います。 |
| 書き出し・変換 | ParquetやCSVへ変換する際は、型、null、日時、decimal、パーティションの扱いを確認します。 | XLSXからCSVへ書き出すと、通常は選んだ一つのシートの値だけになります。数式、書式、複数シート、グラフは別途保持します。 |
用途別の選び方
作りたいものや使う場面から選べます。
型情報・索引を使う大規模な表形式データ分析
Hadoop系分析基盤での列指向データ保存
ORC向き単一シートの表をアプリ間で受け渡す用途
表データ交換
CSV向き書式を必要としない集計前のデータ
表データ交換
CSV向き確認ポイント 1
ORCは列指向で型やファイル内索引を持てる分析用形式ですが、読み書きに対応エンジンやライブラリが必要です。
使い分け確認ポイント 2
CSVはテキストの行列データで直接確認しやすい一方、XLSXの書式、複数シート、数式を保持しません。
使い分け選ぶ理由を詳しく
- ORCはスキーマと型を明示する用途に向き、CSVは交換しやすい反面、型や引用の解釈を受け手と合わせる必要があります。