Comparer
HDF5 ou Zarr
HDF5 organise des groupes et jeux de données dans un conteneur hiérarchique général. Zarr représente tableaux multidimensionnels découpés et métadonnées par des clés distinctes dans un magasin, pour systèmes de fichiers et stockage objet.
Quel format choisir ?
Préférez HDF5 pour les fichiers existants, données hiérarchiques hétérogènes et outils compatibles. Envisagez Zarr pour accéder séparément aux blocs dans un stockage objet ; testez version et codecs dans votre environnement.
Adapté pour HDF5
Stocker de grands volumes de données scientifiques et techniques de façon hiérarchique · Réunir tableaux multidimensionnels et métadonnées dans un conteneur
- Organiser des données complexes avec groupes, jeux de données et attributs
- Flux scientifiques nécessitant accès partiel ou compression par jeu de données
Adapté pour Zarr
Stocker et échanger de grands tableaux multidimensionnels en blocs · Utiliser des données scientifiques dans le stockage objet cloud
- Lire efficacement des régions choisies de grands tableaux
- Partager des données fragmentées entre outils compatibles
Informations générales
| Élément | HDF5 | Zarr |
|---|---|---|
| Extension | .h5, .hdf5 | .zarr |
| Type MIME | ||
| Usages courants | Stocker de grands volumes de données scientifiques et techniques de façon hiérarchique · Réunir tableaux multidimensionnels et métadonnées dans un conteneur | Stocker et échanger de grands tableaux multidimensionnels en blocs · Utiliser des données scientifiques dans le stockage objet cloud |
| Comment ouvrir | Utilisez un outil de visualisation ou d’analyse compatible HDF5, ou une bibliothèque. Examinez la hiérarchie, les formes et types des jeux de données, les attributs et les filtres. Consultez la documentation du créateur, car une application peut définir ses propres conventions. | Utilisez une bibliothèque ou un outil compatible Zarr. Vérifiez version, forme, grille de blocs, codecs et attributs. Conservez tout le répertoire local ou les clés requises et consultez la documentation du producteur. |
| Exporter ou convertir | Avant une conversion vers CSV, Parquet, FITS ou autre, définissez la correspondance pour la hiérarchie, les dimensions et types, attributs, unités et coordonnées. La cible peut ne pas représenter certaines structures ; gardez l’original et comparez les données. | Depuis netCDF ou HDF5, vérifiez le mappage des dimensions, types, blocs, attributs et coordonnées. Gardez l’original et validez les valeurs après conversion. |
Choisir selon l’usage
Organiser des données complexes avec groupes, jeux de données et attributs
Stocker de grands volumes de données scientifiques et techniques de façon hiérarchique · Réunir tableaux multidimensionnels et métadonnées dans un conteneur
HDF5Flux scientifiques nécessitant accès partiel ou compression par jeu de données
Stocker de grands volumes de données scientifiques et techniques de façon hiérarchique · Réunir tableaux multidimensionnels et métadonnées dans un conteneur
HDF5Lire efficacement des régions choisies de grands tableaux
Stocker et échanger de grands tableaux multidimensionnels en blocs · Utiliser des données scientifiques dans le stockage objet cloud
ZarrPartager des données fragmentées entre outils compatibles
Stocker et échanger de grands tableaux multidimensionnels en blocs · Utiliser des données scientifiques dans le stockage objet cloud
ZarrPoint clé 1
HDF5 stocke groupes, jeux de données et attributs dans un fichier. Zarr associe métadonnées et blocs à des clés du magasin.
En savoir plus sur les différencesPoint clé 2
HDF5 est un modèle hiérarchique général avec découpage et compression facultatifs ; Zarr spécifie tableaux N-dimensionnels, grilles de blocs, codecs et clés.
En savoir plus sur les différencesEn savoir plus sur les différences
Choisissez HDF5 si la hiérarchie en fichier et les applications existantes comptent. Envisagez Zarr si le flux profite des lectures et écritures par blocs. Mesurez avec l'accès et le stockage réels.
- HDF5 stocke groupes, jeux de données et attributs dans un fichier. Zarr stocke documents de métadonnées et blocs encodés sous forme de clés distinctes.
- HDF5 offre un modèle général et des dispositions configurables. Zarr spécifie tableaux en blocs, grilles, codecs et construction des clés.
- Les lectures partielles dépendent des blocs, accès, caches et stockage. Lors d'une migration, vérifiez types, valeurs manquantes, attributs, codecs, découpage et accès parallèle.
Questions fréquentes
Zarr est-il toujours plus rapide que HDF5 pour les lectures partielles ?
Non. Cela dépend des blocs, de la charge, du cache, de l'implémentation et du stockage ; testez des accès représentatifs.