Comparer
NPZ ou HDF5 : regroupement de tableaux et lectures partielles
NPZ regroupe des tableaux NPY nommés dans un ZIP. HDF5 organise groupes, jeux de données et attributs en hiérarchie.
Quel format choisir ?
Utilisez NPZ pour échanger des tableaux avec NumPy ; envisagez HDF5 pour les lectures partielles répétées ou une organisation hiérarchique.
Adapté pour NPZ
Regrouper plusieurs tableaux NumPy dans une archive ZIP · Transmettre des tableaux nommés entre flux scientifiques fondés sur NumPy
- Stocker plusieurs tableaux dans un fichier
- Choisir des membres ZIP non compressés ou compressés selon le besoin
Adapté pour HDF5
Stocker de grands volumes de données scientifiques et techniques de façon hiérarchique · Réunir tableaux multidimensionnels et métadonnées dans un conteneur
- Organiser des données complexes avec groupes, jeux de données et attributs
- Flux scientifiques nécessitant accès partiel ou compression par jeu de données
Informations générales
| Élément | NPZ | HDF5 |
|---|---|---|
| Extension | .npz | .h5, .hdf5 |
| Type MIME | application/zip | |
| Usages courants | Regrouper plusieurs tableaux NumPy dans une archive ZIP · Transmettre des tableaux nommés entre flux scientifiques fondés sur NumPy | Stocker de grands volumes de données scientifiques et techniques de façon hiérarchique · Réunir tableaux multidimensionnels et métadonnées dans un conteneur |
| Comment ouvrir | Ouvrez avec NumPy `load` ou un outil compatible NPZ, vérifiez les noms et chargez les tableaux nécessaires. Fermez le `NpzFile` après usage et contrôlez pickle pour les fichiers inconnus susceptibles de contenir des tableaux object. | Utilisez un outil de visualisation ou d’analyse compatible HDF5, ou une bibliothèque. Examinez la hiérarchie, les formes et types des jeux de données, les attributs et les filtres. Consultez la documentation du créateur, car une application peut définir ses propres conventions. |
| Exporter ou convertir | Enregistrez plusieurs tableaux avec `savez` ou `savez_compressed`. Confirmez si les membres sont stockés ou compressés en DEFLATE et vérifiez noms, dtype et shape avec le destinataire. Comparez les tableaux et valeurs après conversion. | Avant une conversion vers CSV, Parquet, FITS ou autre, définissez la correspondance pour la hiérarchie, les dimensions et types, attributs, unités et coordonnées. La cible peut ne pas représenter certaines structures ; gardez l’original et comparez les données. |
Choisir selon l’usage
Stocker plusieurs tableaux dans un fichier
Regrouper plusieurs tableaux NumPy dans une archive ZIP · Transmettre des tableaux nommés entre flux scientifiques fondés sur NumPy
NPZChoisir des membres ZIP non compressés ou compressés selon le besoin
Regrouper plusieurs tableaux NumPy dans une archive ZIP · Transmettre des tableaux nommés entre flux scientifiques fondés sur NumPy
NPZOrganiser des données complexes avec groupes, jeux de données et attributs
Stocker de grands volumes de données scientifiques et techniques de façon hiérarchique · Réunir tableaux multidimensionnels et métadonnées dans un conteneur
HDF5Flux scientifiques nécessitant accès partiel ou compression par jeu de données
Stocker de grands volumes de données scientifiques et techniques de façon hiérarchique · Réunir tableaux multidimensionnels et métadonnées dans un conteneur
HDF5Point clé 1
NPZ sélectionne des membres nommés de l’archive, chacun représentant un tableau.
En savoir plus sur les différencesPoint clé 2
HDF5 permet de sélectionner une région au sein d’un jeu de données.
En savoir plus sur les différencesEn savoir plus sur les différences
NPZ charge les membres à la demande ; numpy.load ne lit pas directement des tranches arbitraires dans un membre compressé. HDF5 n’est pas toujours plus rapide : mesurez les sélections et les formes de blocs réelles.
- savez ne compresse pas ; savez_compressed utilise DEFLATE. La compression HDF5 est facultative. Avec des données découpées en blocs, un seul élément demandé implique son bloc entier.
- Les attributs HDF5 peuvent enregistrer les unités, mais leur sens doit être convenu. Vérifiez noms, dtype, shape, ordre des axes, valeurs et filtres nécessaires lors d’une migration. N’activez pas pickle pour les tableaux object d’un NPZ non fiable.
Questions fréquentes
La conversion de NPZ en HDF5 préserve-t-elle automatiquement le sens des données ?
Ce n’est pas garanti. Définissez la correspondance tableaux/groupes et les conventions d’unités et de valeurs manquantes, puis vérifiez les valeurs converties.