FORMAT COMPARISON
CSV vs Parquet
CSVは人が読めるテキストとして表データを交換する形式です。Parquetは分析基盤で効率よく保存・読み取りする列指向バイナリ形式です。データを配るのか、大規模分析に使うのかで選びます。
CSVとParquet、どちらを選ぶ？
表計算ソフトや一般的なツールへ単純な表を渡すならCSVが扱いやすい選択肢です。大量データを分析基盤に保存し、必要な列を効率よく処理するならParquetを検討します。変換時はスキーマ、型、null、日時、文字コードとデータの完全性を確認します。
CSV向き
表データ交換
- 単一シートの表をアプリ間で受け渡す用途
- 書式を必要としない集計前のデータ
Parquet向き
分析基盤向けの列指向データ保存
- 必要な列だけを読み込む大規模な表形式データ
基本情報を比較
CSVとParquetの主な違いを確認できます。
| 項目 | CSV | Parquet |
|---|---|---|
| 拡張子 | .csv | .parquet |
| MIME Type | text/csv | application/vnd.apache.parquet |
| 主な用途 | 表データ交換 | 分析基盤向けの列指向データ保存 |
| 圧縮 | 該当なし | columnar_data |
| 開く方法 | 表計算ソフトではインポート時に文字コードと区切り文字を指定し、テキストエディタでは実際の値を確認します。先頭ゼロ、日付に見える値、長い数値は自動変換されないか確認し、必要な列を文字列として扱います。 | Parquet対応の分析ツールやライブラリでスキーマ、列、行数、型を確認します。 |
| 書き出し・変換 | XLSXからCSVへ書き出すと、通常は選んだ一つのシートの値だけになります。数式、書式、複数シート、グラフは別途保持します。 | CSVなどから変換する際は、型、null、日時、文字コード、パーティションの扱いを確認します。 |
用途別の選び方
作りたいものや使う場面から選べます。
単一シートの表をアプリ間で受け渡す用途
表データ交換
CSV向き書式を必要としない集計前のデータ
表データ交換
CSV向き必要な列だけを読み込む大規模な表形式データ
分析基盤向けの列指向データ保存
Parquet向き確認ポイント 1
CSVは行と区切り文字で値を表すテキスト形式で、目視や汎用的なアプリ間交換に向きます。
使い分け確認ポイント 2
Parquetは列指向で、圧縮・エンコードや列単位の読み取りを活かす分析用途に向きます。
使い分け選ぶ理由を詳しく
- CSVは型やスキーマを十分に保持せず、Parquetは対応ライブラリや分析ツールが必要です。