Comparer
netCDF ou Parquet
netCDF décrit des jeux scientifiques par dimensions, variables et attributs nommés, qui peuvent relier coordonnées et temps. Parquet est un format en colonnes à groupes de lignes et blocs de colonnes, adapté aux requêtes analytiques qui sélectionnent des colonnes.
Quel format choisir ?
Choisissez netCDF pour des tableaux scientifiques avec temps, niveaux, coordonnées et variables liées. Envisagez Parquet pour des enregistrements tabulaires interrogés par colonnes.
Adapté pour netCDF
Stocker et échanger des données matricielles de climat, météo et sciences de la Terre
- Décrire les données multidimensionnelles par dimensions, variables et attributs
- Flux scientifiques portables avec des outils compatibles netCDF
Adapté pour Parquet
Stocker des tableaux structurés pour l’analyse
- Grands jeux de données lus par colonnes choisies
Informations générales
| Élément | netCDF | Parquet |
|---|---|---|
| Extension | .nc, .nc4, .cdf | .parquet |
| Type MIME | application/vnd.apache.parquet | |
| Usages courants | Stocker et échanger des données matricielles de climat, météo et sciences de la Terre | Stocker des tableaux structurés pour l’analyse |
| Comment ouvrir | Utilisez un logiciel ou une bibliothèque compatible netCDF. Vérifiez variables, dimensions, attributs et variante, puis coordonnées, unités, calendrier, valeurs manquantes et conventions CF attendues. | Utilisez un outil Parquet pour examiner schéma, types, nombre de lignes et valeurs. |
| Exporter ou convertir | Lors d’une conversion vers CSV, HDF5 ou Zarr, vérifiez la conservation des dimensions, types, attributs, coordonnées et calendriers. Le modèle classic peut perdre des fonctions étendues ; CSV ne représente pas toute la hiérarchie et les attributs. | Depuis CSV ou autre format, vérifiez types, valeurs nulles, dates, encodage, partitions et nombre de lignes. |
Choisir selon l’usage
Décrire les données multidimensionnelles par dimensions, variables et attributs
Stocker et échanger des données matricielles de climat, météo et sciences de la Terre
netCDFFlux scientifiques portables avec des outils compatibles netCDF
Stocker et échanger des données matricielles de climat, météo et sciences de la Terre
netCDFGrands jeux de données lus par colonnes choisies
Stocker des tableaux structurés pour l’analyse
ParquetPoint clé 1
Les variables netCDF sont des tableaux associés à des dimensions nommées et peuvent avoir variables de coordonnées et attributs ; les métadonnées Parquet localisent les blocs de colonnes dans les groupes de lignes.
En savoir plus sur les différencesPoint clé 2
netCDF a des modèles Classic et enhanced ; netCDF-4 ajoute groupes et types. Parquet encode les colonnes en pages et groupes de lignes.
En savoir plus sur les différencesEn savoir plus sur les différences
Utilisez netCDF si le sens scientifique dépend des dimensions, coordonnées, temps et unités. Utilisez Parquet pour les tables analytiques. Lors de la conversion, mappez explicitement les deux modèles.
- netCDF associe des variables N-dimensionnelles aux dimensions, coordonnées et attributs. Parquet organise les tables en blocs de colonnes dans des groupes de lignes.
- netCDF-4 peut prendre en charge groupes et types absents des lecteurs Classic. Les métadonnées Parquet permettent d'ignorer les colonnes non demandées.
- Vérifiez correspondance variables-colonnes, dimensions, unités, coordonnées/CRS, temps, valeurs manquantes, types, groupes et types imbriqués. Adaptez compression et groupes aux lectures prévues.
Questions fréquentes
Parquet peut-il préserver un jeu netCDF sans correspondance explicite ?
Non. Définissez comment dimensions, coordonnées, unités, temps, valeurs manquantes et variables correspondent aux lignes et colonnes, puis validez les données converties.