Comparer
Arrow ou Zarr
Apache Arrow spécifie un format mémoire en colonnes indépendant du langage et sa sérialisation pour l'échange de données. Zarr stocke des tableaux N-dimensionnels en blocs et métadonnées.
Quel format choisir ?
Choisissez Arrow pour transmettre des tables en mémoire entre processus analytiques, y compris sans copie lorsque c'est pris en charge. Envisagez Zarr pour conserver de grands tableaux et ne lire que certains blocs. Arrow IPC et le format mémoire Arrow sont liés, mais distincts.
Adapté pour Apache Arrow IPC
Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow
- Déplacer des données typées entre bibliothèques Arrow et moteurs analytiques
- Accéder de façon aléatoire aux lots d’enregistrements du format fichier IPC
Adapté pour Zarr
Stocker et échanger de grands tableaux multidimensionnels en blocs · Utiliser des données scientifiques dans le stockage objet cloud
- Lire efficacement des régions choisies de grands tableaux
- Partager des données fragmentées entre outils compatibles
Informations générales
| Élément | Apache Arrow IPC | Zarr |
|---|---|---|
| Extension | .arrow, .feather, .arrows | .zarr |
| Type MIME | application/vnd.apache.arrow.file, application/vnd.apache.arrow.stream | |
| Usages courants | Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow | Stocker et échanger de grands tableaux multidimensionnels en blocs · Utiliser des données scientifiques dans le stockage objet cloud |
| Comment ouvrir | Lisez le fichier avec une bibliothèque Apache Arrow ou un outil analytique compatible avec Arrow IPC. L’extension .arrow désigne généralement le format fichier et .arrows le format flux, mais vérifiez le mode IPC attendu par l’outil destinataire et ses codecs pris en charge. Pour Feather, vérifiez aussi la compatibilité avec l’ancien format Feather V1. | Utilisez une bibliothèque ou un outil compatible Zarr. Vérifiez version, forme, grille de blocs, codecs et attributs. Conservez tout le répertoire local ou les clés requises et consultez la documentation du producteur. |
| Exporter ou convertir | Parquet peut convenir au stockage et à la diffusion de données analytiques ; CSV, à l’échange de tableaux simples. La conversion peut modifier ou supprimer des types propres à Arrow, des structures imbriquées, l’encodage par dictionnaire ou les réglages de compression. Vérifiez les types et la précision nécessaires et conservez les données sources. | Depuis netCDF ou HDF5, vérifiez le mappage des dimensions, types, blocs, attributs et coordonnées. Gardez l’original et validez les valeurs après conversion. |
Choisir selon l’usage
Déplacer des données typées entre bibliothèques Arrow et moteurs analytiques
Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow
Apache Arrow IPCAccéder de façon aléatoire aux lots d’enregistrements du format fichier IPC
Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow
Apache Arrow IPCLire efficacement des régions choisies de grands tableaux
Stocker et échanger de grands tableaux multidimensionnels en blocs · Utiliser des données scientifiques dans le stockage objet cloud
ZarrPartager des données fragmentées entre outils compatibles
Stocker et échanger de grands tableaux multidimensionnels en blocs · Utiliser des données scientifiques dans le stockage objet cloud
ZarrPoint clé 1
Arrow définit dispositions mémoire en colonnes et sérialisation ou transport ; Zarr définit nœuds de tableaux, forme, type, grille, codecs, métadonnées et stockage des blocs.
En savoir plus sur les différencesPoint clé 2
Arrow utilise tampons et tableaux enfants adaptés au partage mémoire ; Zarr stocke des blocs encodés indépendamment pour l'accès partiel.
En savoir plus sur les différencesEn savoir plus sur les différences
Utilisez Arrow pour l'échange mémoire en colonnes et les flux IPC compatibles. Utilisez Zarr pour des tableaux persistants découpés en blocs. Choisissez le conteneur persistant explicitement et vérifiez types, horodatages, dimensions et accès.
- Arrow spécifie surtout représentation mémoire et sérialisation ; Zarr décrit métadonnées de tableaux et blocs stockés séparément.
- Les tableaux Arrow utilisent tampons et tableaux enfants imbriqués ; les blocs Zarr peuvent être encodés et lus séparément.
- Pour persister ou convertir, précisez Arrow IPC ou un autre format de fichier, puis vérifiez types, valeurs nulles, unités et fuseaux des horodatages, forme et axes, codecs et accès par blocs.
Questions fréquentes
Un tableau Arrow est-il à lui seul un stockage persistant comme Zarr ?
Non. Arrow vise la mémoire et la sérialisation ; la persistance demande un conteneur IPC ou autre, tandis que Zarr stocke blocs et métadonnées.