Comparer
Arrow IPC ou Parquet
Arrow IPC et Parquet traitent tous deux des données en colonnes, mais Arrow IPC sert surtout aux échanges rapides entre programmes, tandis que Parquet est conçu pour stocker et lire des données analytiques.
Quel format choisir ?
Choisissez Arrow IPC pour déplacer des données entre langages et moteurs analytiques compatibles. Envisagez Parquet pour les lacs de données et les traitements qui lisent efficacement des colonnes ou groupes de lignes ciblés.
Adapté pour Apache Arrow IPC
Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow
- Déplacer des données typées entre bibliothèques Arrow et moteurs analytiques
- Accéder de façon aléatoire aux lots d’enregistrements du format fichier IPC
Adapté pour Parquet
Stocker des tableaux structurés pour l’analyse
- Grands jeux de données lus par colonnes choisies
Informations générales
| Élément | Apache Arrow IPC | Parquet |
|---|---|---|
| Extension | .arrow, .feather, .arrows | .parquet |
| Type MIME | application/vnd.apache.arrow.file, application/vnd.apache.arrow.stream | application/vnd.apache.parquet |
| Usages courants | Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow | Stocker des tableaux structurés pour l’analyse |
| Comment ouvrir | Lisez le fichier avec une bibliothèque Apache Arrow ou un outil analytique compatible avec Arrow IPC. L’extension .arrow désigne généralement le format fichier et .arrows le format flux, mais vérifiez le mode IPC attendu par l’outil destinataire et ses codecs pris en charge. Pour Feather, vérifiez aussi la compatibilité avec l’ancien format Feather V1. | Utilisez un outil Parquet pour examiner schéma, types, nombre de lignes et valeurs. |
| Exporter ou convertir | Parquet peut convenir au stockage et à la diffusion de données analytiques ; CSV, à l’échange de tableaux simples. La conversion peut modifier ou supprimer des types propres à Arrow, des structures imbriquées, l’encodage par dictionnaire ou les réglages de compression. Vérifiez les types et la précision nécessaires et conservez les données sources. | Depuis CSV ou autre format, vérifiez types, valeurs nulles, dates, encodage, partitions et nombre de lignes. |
Choisir selon l’usage
Déplacer des données typées entre bibliothèques Arrow et moteurs analytiques
Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow
Apache Arrow IPCAccéder de façon aléatoire aux lots d’enregistrements du format fichier IPC
Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow
Apache Arrow IPCGrands jeux de données lus par colonnes choisies
Stocker des tableaux structurés pour l’analyse
ParquetPoint clé 1
Arrow IPC sérialise les types Arrow et les lots d’enregistrements en fichier ou en flux ; le format fichier permet l’accès aléatoire grâce aux métadonnées du pied.
En savoir plus sur les différencesPoint clé 2
Parquet organise les données stockées en groupes de lignes, blocs de colonnes et pages ; il combine encodage et compression pour l’efficacité du stockage et de la lecture.
En savoir plus sur les différencesEn savoir plus sur les différences
Utilisez Arrow IPC lorsque l’échange entre applications bénéficie du système de types Arrow et de ses bibliothèques. Utilisez Parquet pour des jeux analytiques persistants dont les lecteurs sélectionnent des colonnes et groupes de lignes. Testez les lecteurs et écrivains réellement employés avec les types et la précision nécessaires avant de définir le flux de travail.
- Arrow IPC complète souvent l’échange en mémoire par une sérialisation ; Parquet est un format fichier persistant en colonnes.
- Le pied de fichier Arrow IPC indexe les lots d’enregistrements, tandis que les métadonnées Parquet indexent les groupes de lignes et blocs de colonnes.
- Les deux formats peuvent compresser les données, mais leurs options diffèrent et les lecteurs prennent en charge des fonctions différentes. Vérifiez l’interopérabilité avec les outils du pipeline.
Questions fréquentes
Parquet peut-il remplacer Arrow IPC ?
Parfois, mais ils répondent à des besoins différents. Des bibliothèques compatibles peuvent lire Parquet dans des tables Arrow, tandis qu’Arrow IPC facilite l’échange direct de données Arrow. Choisissez selon le stockage, le transfert et les lecteurs requis.