Comparer
Parquet ou ORC
Parquet et ORC sont des formats en colonnes pour les données analytiques à grande échelle. Le choix dépend du moteur de requête, de la plateforme existante et de la charge mesurée.
Quel format choisir ?
Préférez le format le mieux pris en charge par les moteurs et outils déjà utilisés, puis testez des données et requêtes représentatives.
Adapté pour Parquet
Stocker des tableaux structurés pour l’analyse
- Grands jeux de données lus par colonnes choisies
Adapté pour ORC
Stocker de grands tableaux structurés pour l’analyse
- Requêtes lisant certaines colonnes avec index
Informations générales
| Élément | Parquet | ORC |
|---|---|---|
| Extension | .parquet | .orc |
| Type MIME | application/vnd.apache.parquet | application/vnd.apache.orc |
| Usages courants | Stocker des tableaux structurés pour l’analyse | Stocker de grands tableaux structurés pour l’analyse |
| Comment ouvrir | Utilisez un outil Parquet pour examiner schéma, types, nombre de lignes et valeurs. | Utilisez un outil ORC pour examiner schéma, colonnes, nombre de lignes, compression et exemples. |
| Exporter ou convertir | Depuis CSV ou autre format, vérifiez types, valeurs nulles, dates, encodage, partitions et nombre de lignes. | Vers Parquet ou CSV, vérifiez types, nulls, dates, décimaux, partitions et nombre de lignes. |
Choisir selon l’usage
Grands jeux de données lus par colonnes choisies
Stocker des tableaux structurés pour l’analyse
ParquetRequêtes lisant certaines colonnes avec index
Stocker de grands tableaux structurés pour l’analyse
ORCPoint clé 1
Les deux stockent les valeurs par colonne pour les lectures analytiques.
En savoir plus sur les différencesPoint clé 2
ORC inclut des informations de type et des index dans le fichier.
En savoir plus sur les différencesEn savoir plus sur les différences
Comparez les lectures, la compression, la gestion des schémas et l'interopérabilité sur des jeux réels. Conservez le format adapté au pipeline de production plutôt que de choisir sur la seule extension.
- Parquet est très utilisé dans les moteurs analytiques et les data lakes.
- ORC fournit un stockage en colonnes avec des index utiles aux lectures sélectives.
- Le support du moteur, le format de table et les requêtes influencent le résultat.
Questions fréquentes
Un format est-il toujours plus rapide ?
Non. Les performances dépendent du moteur, des données, de la compression et des requêtes. Mesurez la charge visée.