Comparer
Arrow ou netCDF
Apache Arrow spécifie un format mémoire en colonnes et sa sérialisation pour l'échange et l'analyse entre langages. netCDF décrit des jeux scientifiques par dimensions, variables et attributs pour coordonnées, temps et unités.
Quel format choisir ?
Choisissez Arrow pour échanger des tables en colonnes en mémoire entre processus compatibles ou avec Arrow IPC. Envisagez netCDF pour conserver et partager des tableaux scientifiques avec coordonnées, temps et unités.
Adapté pour Apache Arrow IPC
Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow
- Déplacer des données typées entre bibliothèques Arrow et moteurs analytiques
- Accéder de façon aléatoire aux lots d’enregistrements du format fichier IPC
Adapté pour netCDF
Stocker et échanger des données matricielles de climat, météo et sciences de la Terre
- Décrire les données multidimensionnelles par dimensions, variables et attributs
- Flux scientifiques portables avec des outils compatibles netCDF
Informations générales
| Élément | Apache Arrow IPC | netCDF |
|---|---|---|
| Extension | .arrow, .feather, .arrows | .nc, .nc4, .cdf |
| Type MIME | application/vnd.apache.arrow.file, application/vnd.apache.arrow.stream | |
| Usages courants | Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow | Stocker et échanger des données matricielles de climat, météo et sciences de la Terre |
| Comment ouvrir | Lisez le fichier avec une bibliothèque Apache Arrow ou un outil analytique compatible avec Arrow IPC. L’extension .arrow désigne généralement le format fichier et .arrows le format flux, mais vérifiez le mode IPC attendu par l’outil destinataire et ses codecs pris en charge. Pour Feather, vérifiez aussi la compatibilité avec l’ancien format Feather V1. | Utilisez un logiciel ou une bibliothèque compatible netCDF. Vérifiez variables, dimensions, attributs et variante, puis coordonnées, unités, calendrier, valeurs manquantes et conventions CF attendues. |
| Exporter ou convertir | Parquet peut convenir au stockage et à la diffusion de données analytiques ; CSV, à l’échange de tableaux simples. La conversion peut modifier ou supprimer des types propres à Arrow, des structures imbriquées, l’encodage par dictionnaire ou les réglages de compression. Vérifiez les types et la précision nécessaires et conservez les données sources. | Lors d’une conversion vers CSV, HDF5 ou Zarr, vérifiez la conservation des dimensions, types, attributs, coordonnées et calendriers. Le modèle classic peut perdre des fonctions étendues ; CSV ne représente pas toute la hiérarchie et les attributs. |
Choisir selon l’usage
Déplacer des données typées entre bibliothèques Arrow et moteurs analytiques
Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow
Apache Arrow IPCAccéder de façon aléatoire aux lots d’enregistrements du format fichier IPC
Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow
Apache Arrow IPCDécrire les données multidimensionnelles par dimensions, variables et attributs
Stocker et échanger des données matricielles de climat, météo et sciences de la Terre
netCDFFlux scientifiques portables avec des outils compatibles netCDF
Stocker et échanger des données matricielles de climat, météo et sciences de la Terre
netCDFPoint clé 1
Arrow définit tampons mémoire et sérialisation ou transport en colonnes ; netCDF relie des variables N-dimensionnelles à des dimensions et attributs nommés.
En savoir plus sur les différencesPoint clé 2
Le format mémoire Arrow n'est pas un conteneur persistant à lui seul ; netCDF propose les formats Classic et netCDF-4.
En savoir plus sur les différencesEn savoir plus sur les différences
Utilisez Arrow pour l'échange en colonnes en mémoire et les analyses compatibles. Utilisez netCDF si axes nommés et métadonnées scientifiques de coordonnées ou de temps sont nécessaires. Pour persister Arrow, précisez IPC et validez le schéma.
- Arrow vise les dispositions mémoire en colonnes et la sérialisation. netCDF organise des variables selon des dimensions et décrit axes et attributs.
- La représentation Arrow demande un conteneur tel qu'Arrow IPC pour persister. Les modèles Classic et enhanced de netCDF ont des capacités différentes.
- Vérifiez types, valeurs nulles ou manquantes, unités et fuseaux horaires des horodatages, forme des tableaux, noms de dimensions, variables de coordonnées, attributs et limites du modèle. Évitez de perdre la structure scientifique en aplatissant les données.
Questions fréquentes
Arrow remplace-t-il directement les fichiers netCDF ?
Pas à lui seul. Arrow vise mémoire et échange ; préserver un jeu scientifique demande une persistance et une correspondance explicites des dimensions, coordonnées et métadonnées.