Format Atlas

Guides

Vérifications avant de transmettre des tableaux scientifiques

Transmettez les tableaux netCDF, HDF5 ou Zarr avec leur sens, leurs dépendances et les exigences de lecture. Au-delà du format tabulaire, vérifiez dimensions et valeurs manquantes.

Quel format choisir ?

Choisissez selon le rôle de chaque fichier dans votre flux de travail.

  • Documenter le sens du tableau
  • Rassembler les éléments à transmettre
  • Comparer chez le destinataire

Documenter le sens du tableau

Consignez variables, types, ordre des dimensions, coordonnées, unités et conventions temporelles. Ne confondez pas valeurs manquantes ou de remplissage avec zéro. Avec scale_factor et add_offset, distinguez valeurs stockées et décodées.

Rassembler les éléments à transmettre

Vérifiez variante netCDF, cibles des liens externes et filtres HDF5, version et codecs Zarr. Incluez métadonnées et blocs nécessaires ; distinguez blocs volontairement non stockés, régis par fill_value, et omissions de transfert.

Comparer chez le destinataire

Transmettez une version dont l'écriture est terminée et lisez des tranches représentatives avec la bibliothèque destinataire. Comparez forme, axes, attributs, masques et valeurs décodées à la source. Documentez tolérances d'arrondi ou pertes.

Formats à envisager

netCDF

Adapté pour: Échanger dimensions, variables et attributs avec des outils compatibles

Moins adapté pour: Déduire le format interne de la seule extension

HDF5

Adapté pour: Organiser groupes et tableaux hiérarchiquement

Moins adapté pour: Omettre cibles externes ou filtres nécessaires

Zarr

Adapté pour: Gérer des blocs de tableaux dans un stockage

Moins adapté pour: Copier seulement les métadonnées et considérer le transfert terminé

Avant l’export

  • Conservez sources et paramètres. Des sommes identiques vérifient le transfert, pas les unités ou l'interprétation scientifique.
  • Attributs et coordonnées peuvent contenir des informations confidentielles. N'intégrez pas d'identifiants de stockage aux fichiers partagés ; vérifiez les droits.

Comparaisons associées

HDF5 ou netCDFHDF5 est un conteneur général de données hiérarchiques ; netCDF fournit un modèle et des API scientifiques. netCDF-4 repose sur HDF5, mais un fichier HDF5 quelconque n'est pas nécessairement lisible comme netCDF-4.HDF5 ou ZarrHDF5 organise des groupes et jeux de données dans un conteneur hiérarchique général. Zarr représente tableaux multidimensionnels découpés et métadonnées par des clés distinctes dans un magasin, pour systèmes de fichiers et stockage objet.netCDF ou ZarrnetCDF propose un modèle scientifique avec dimensions, variables et attributs dans plusieurs formats de fichiers. Zarr spécifie des tableaux multidimensionnels en blocs stockés dans des systèmes clé-valeur. Le choix dépend des outils, du stockage et des accès.NPZ ou HDF5 : regroupement de tableaux et lectures partiellesNPZ regroupe des tableaux NPY nommés dans un ZIP. HDF5 organise groupes, jeux de données et attributs en hiérarchie.

Guides

Choisir un format pour l'analyse et l'échange de donnéesSelon la plateforme et les types de données, distinguez l'analyse en colonnes, l'échange d'enregistrements avec schéma et les tableaux lisibles.Vérifications avant de transmettre des données SIGConvenez des couches, systèmes de référence, attributs et logiciels destinataires. Au-delà du format, vérifiez les positions et les informations conservées après conversion.

Références et spécifications