Comparer
Arrow ou ORC
Apache Arrow est une représentation mémoire en colonnes, indépendante du langage, pour l'analyse et l'échange de données. ORC est un format de fichier en colonnes qui regroupe les lignes en stripes et conserve données, index et statistiques pour les lectures analytiques.
Quel format choisir ?
Choisissez Arrow pour transmettre efficacement des tables en mémoire entre processus ou systèmes. Envisagez ORC pour les data lakes persistants ou flux Hive profitant de compression, projection de colonnes et lecture par stripe. Ne confondez pas mémoire Arrow et fichiers IPC.
Adapté pour Apache Arrow IPC
Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow
- Déplacer des données typées entre bibliothèques Arrow et moteurs analytiques
- Accéder de façon aléatoire aux lots d’enregistrements du format fichier IPC
Adapté pour ORC
Stocker de grands tableaux structurés pour l’analyse
- Requêtes lisant certaines colonnes avec index
Informations générales
| Élément | Apache Arrow IPC | ORC |
|---|---|---|
| Extension | .arrow, .feather, .arrows | .orc |
| Type MIME | application/vnd.apache.arrow.file, application/vnd.apache.arrow.stream | application/vnd.apache.orc |
| Usages courants | Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow | Stocker de grands tableaux structurés pour l’analyse |
| Comment ouvrir | Lisez le fichier avec une bibliothèque Apache Arrow ou un outil analytique compatible avec Arrow IPC. L’extension .arrow désigne généralement le format fichier et .arrows le format flux, mais vérifiez le mode IPC attendu par l’outil destinataire et ses codecs pris en charge. Pour Feather, vérifiez aussi la compatibilité avec l’ancien format Feather V1. | Utilisez un outil ORC pour examiner schéma, colonnes, nombre de lignes, compression et exemples. |
| Exporter ou convertir | Parquet peut convenir au stockage et à la diffusion de données analytiques ; CSV, à l’échange de tableaux simples. La conversion peut modifier ou supprimer des types propres à Arrow, des structures imbriquées, l’encodage par dictionnaire ou les réglages de compression. Vérifiez les types et la précision nécessaires et conservez les données sources. | Vers Parquet ou CSV, vérifiez types, nulls, dates, décimaux, partitions et nombre de lignes. |
Choisir selon l’usage
Déplacer des données typées entre bibliothèques Arrow et moteurs analytiques
Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow
Apache Arrow IPCAccéder de façon aléatoire aux lots d’enregistrements du format fichier IPC
Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow
Apache Arrow IPCRequêtes lisant certaines colonnes avec index
Stocker de grands tableaux structurés pour l’analyse
ORCPoint clé 1
Arrow spécifie tableaux, buffers et types en mémoire, avec partage sans copie dans certains cas. ORC utilise flux de colonnes, stripes, index et statistiques de footer.
En savoir plus sur les différencesPoint clé 2
Arrow privilégie représentation et transport en mémoire ; ORC, stockage persistant compressé et lectures analytiques sélectives.
En savoir plus sur les différencesEn savoir plus sur les différences
Utilisez Arrow pour l'analyse en mémoire et les transferts interopérables. Utilisez ORC si l'écosystème de stockage et de requêtes prend en charge sa structure et profite des index et de la sélection de colonnes. Testez des charges représentatives.
- Arrow définit tableaux et buffers en colonnes en mémoire. Arrow IPC/fichier sérialise cette représentation ; ORC définit une structure disque distincte avec stripes et flux de colonnes.
- ORC peut utiliser compression, projection et index de stripe ou de lignes pour réduire les données lues. Arrow spécifie surtout un format mémoire, pas un remplacement de tout format persistant.
- Vérifiez les outils de lecture et d’écriture ainsi que la correspondance des types, valeurs nulles, horodatages et décimaux. Comparez taille et performances avec vos codecs, moteurs et requêtes.
Questions fréquentes
Un fichier de table Arrow est-il le même format qu'ORC ?
Non. Arrow définit un format mémoire en colonnes et des formats IPC distincts ; ORC est son propre format de fichier.