PRACTICAL GUIDE
データ分析・連携に使うファイル形式
列単位の分析、スキーマ付きレコード連携、人が読める表データを分け、利用する基盤とデータ型に合わせて選びます。
迷ったら、ここで選ぶ
- 列単位の分析・データレイク → Parquet
- スキーマ付きレコード連携 → Avro
- Hadoop系の列指向分析 → ORC
- 目視確認・簡単な受け渡し → CSV
分析向けの列指向形式を選ぶ
ParquetとORCは、必要な列を中心に読み取る分析処理に使われます。利用するクエリエンジンと既存のデータ基盤に合う形式を選びます。
スキーマと変換結果を確認する
Avroはスキーマ付きレコード連携に使われます。形式を変換する際は、型、null、日時、decimal、フィールド名と互換性を確認します。
候補形式
関連する比較
注意点
- データ型、null、日時、文字コードを確認してください。
- 個人情報・機密情報を含む列はアクセス制御と共有範囲を確認してください。
- 実データで読み取り性能と互換性を検証してください。