Données

Qu’est-ce qu’un jeu de données Zarr ?

Zarr spécifie le stockage en blocs de tableaux multidimensionnels et de métadonnées. Un jeu de données peut être un répertoire ou plusieurs clés d’un stockage objet, pas un fichier unique. Les versions v2 et v3 diffèrent ; vérifiez versions et codecs des deux côtés.

.zarrTableaux scientifiques en blocs

Informations de base

Extension: .zarr
Catégorie: Données scientifiques
Organisation: Stockage de tableaux

Quand choisir ce format

Lire efficacement des régions choisies de grands tableaux
Partager des données fragmentées entre outils compatibles

Quand éviter ce format

Systèmes exigeant un fichier conventionnel unique
Ignorer l’organisation en blocs ou la compatibilité des codecs

Usages courants

Stocker et échanger de grands tableaux multidimensionnels en blocs
Utiliser des données scientifiques dans le stockage objet cloud

Caractéristiques

Stocke les tableaux en blocs
Les métadonnées décrivent structure et types
Peut utiliser plusieurs objets dans le cloud

Avantages et inconvénients

Avantages

Accès efficace aux blocs sélectionnés
Organisation adaptée au stockage objet et au calcul parallèle
Prise en charge par des bibliothèques scientifiques

Inconvénients

Tous les objets doivent être conservés
La taille des blocs influe sur les performances
Versions et codecs influent sur la compatibilité

Ouvrir et convertir

Comment ouvrir

Utilisez une bibliothèque ou un outil compatible Zarr. Vérifiez version, forme, grille de blocs, codecs et attributs. Conservez tout le répertoire local ou les clés requises et consultez la documentation du producteur.

Comment convertir

Depuis netCDF ou HDF5, vérifiez le mappage des dimensions, types, blocs, attributs et coordonnées. Gardez l’original et validez les valeurs après conversion.

Précautions

Un jeu Zarr peut comprendre plusieurs fichiers ou objets ; une copie partielle peut perdre des données.
Les blocs influent sur les performances et le nombre de requêtes.
Vérifiez droits d’accès et métadonnées sensibles avant partage.

Questions fréquentes

Zarr est-il un fichier unique ?

Pas nécessairement ; métadonnées et blocs sont souvent répartis entre plusieurs fichiers ou objets.

Zarr v2 et v3 sont-ils identiques ?

Non. Vérifiez les versions et codecs pris en charge aux deux extrémités.

Formats associés

HDF5HDF5 (Hierarchical Data Format version 5) est un modèle hiérarchique et un format de fichier pour stocker des données volumineuses et variées. Les groupes forment une hiérarchie ; les jeux de données stockent des tableaux typés et dimensionnés. Les groupes et jeux de données peuvent avoir des attributs. HDF5 n’impose pas à lui seul les conventions de coordonnées, d’unités ou de sens d’un domaine.netCDFnetCDF (Network Common Data Form) est un ensemble de formats et logiciels pour stocker et échanger des données scientifiques portables et auto-descriptives. Un jeu de données s’organise en dimensions, variables et attributs. Le modèle classic diffère du modèle étendu netCDF-4, qui peut utiliser des groupes hiérarchiques dans des fichiers fondés sur HDF5. L’extension ne révèle pas la variante.ParquetApache Parquet stocke des tableaux par colonnes, organisés en groupes de lignes et blocs de colonnes. Les outils peuvent lire les colonnes nécessaires sans parcourir tous les champs.

Comparer

Usages et vérifications associés

Vérifications avant de transmettre des tableaux scientifiques