Comparer
Parquet ou Zarr
Apache Parquet stocke les tables dans des fichiers divisés en groupes de lignes et blocs de colonnes. Zarr stocke les tableaux multidimensionnels en blocs avec leurs métadonnées dans un espace de stockage.
Quel format choisir ?
Choisissez Parquet pour lire certaines colonnes de tables dans des requêtes analytiques. Envisagez Zarr pour de grands tableaux multidimensionnels accessibles par blocs ou dans un stockage objet.
Adapté pour Parquet
Stocker des tableaux structurés pour l’analyse
- Grands jeux de données lus par colonnes choisies
Adapté pour Zarr
Stocker et échanger de grands tableaux multidimensionnels en blocs · Utiliser des données scientifiques dans le stockage objet cloud
- Lire efficacement des régions choisies de grands tableaux
- Partager des données fragmentées entre outils compatibles
Informations générales
| Élément | Parquet | Zarr |
|---|---|---|
| Extension | .parquet | .zarr |
| Type MIME | application/vnd.apache.parquet | |
| Usages courants | Stocker des tableaux structurés pour l’analyse | Stocker et échanger de grands tableaux multidimensionnels en blocs · Utiliser des données scientifiques dans le stockage objet cloud |
| Comment ouvrir | Utilisez un outil Parquet pour examiner schéma, types, nombre de lignes et valeurs. | Utilisez une bibliothèque ou un outil compatible Zarr. Vérifiez version, forme, grille de blocs, codecs et attributs. Conservez tout le répertoire local ou les clés requises et consultez la documentation du producteur. |
| Exporter ou convertir | Depuis CSV ou autre format, vérifiez types, valeurs nulles, dates, encodage, partitions et nombre de lignes. | Depuis netCDF ou HDF5, vérifiez le mappage des dimensions, types, blocs, attributs et coordonnées. Gardez l’original et validez les valeurs après conversion. |
Choisir selon l’usage
Grands jeux de données lus par colonnes choisies
Stocker des tableaux structurés pour l’analyse
ParquetLire efficacement des régions choisies de grands tableaux
Stocker et échanger de grands tableaux multidimensionnels en blocs · Utiliser des données scientifiques dans le stockage objet cloud
ZarrPartager des données fragmentées entre outils compatibles
Stocker et échanger de grands tableaux multidimensionnels en blocs · Utiliser des données scientifiques dans le stockage objet cloud
ZarrPoint clé 1
Les groupes de lignes Parquet contiennent des blocs de colonnes localisés par les métadonnées du fichier ; Zarr stocke métadonnées de forme, type, grille et codecs avec les blocs encodés.
En savoir plus sur les différencesPoint clé 2
Parquet s'organise autour des lignes et colonnes de tables ; Zarr autour des axes et blocs de tableaux N-dimensionnels.
En savoir plus sur les différencesEn savoir plus sur les différences
Utilisez Parquet pour les analyses tabulaires lisant des colonnes ciblées. Utilisez Zarr pour accéder par blocs à de grands tableaux. Adaptez groupes de lignes ou blocs aux requêtes et au stockage réels.
- Les métadonnées Parquet localisent les blocs de colonnes dans les groupes de lignes. Celles de Zarr décrivent forme, type, grille de blocs et codecs, les données étant stockées sous des clés distinctes.
- Parquet représente lignes et colonnes ; Zarr représente dimensions et blocs. Les performances dépendent de leur adéquation aux requêtes ou découpes.
- À la conversion, associez lignes, colonnes et dimensions ; vérifiez types, valeurs nulles ou manquantes, unités, métadonnées temporelles et coordonnées, codecs et lectures. Transférez ensemble toutes les métadonnées et clés de blocs Zarr.
Questions fréquentes
Parquet et Zarr peuvent-ils se remplacer directement ?
Non. L'un modélise des tables, l'autre des tableaux multidimensionnels ; la conversion exige de mapper dimensions, types, valeurs manquantes et métadonnées.