Format Atlas

Guides

Choisir un format pour l'analyse et l'échange de données

Selon la plateforme et les types de données, distinguez l'analyse en colonnes, l'échange d'enregistrements avec schéma et les tableaux lisibles.

Quel format choisir ?

Choisissez selon le rôle de chaque fichier dans votre flux de travail.

  • Analyse en colonnes et lacs de données → Parquet
  • Échange d'enregistrements avec schéma → Avro
  • Analyse en colonnes dans l'écosystème Hadoop → ORC
  • Inspection et échange simple → CSV

Choisir un format en colonnes pour l'analyse

Parquet et ORC servent aux analyses qui ne lisent que certaines colonnes. Choisissez selon le moteur de requête et la plateforme de données existante.

Vérifier schémas et conversions

Avro sert à l'échange d'enregistrements avec schéma. Lors d'une conversion, vérifiez types, valeurs nulles, dates, décimales, noms de champs et compatibilité.

Formats à envisager

Parquet

Adapté pour: Analyse en colonnes de grands tableaux

Moins adapté pour: Lecture directe du contenu comme texte

Avro

Adapté pour: Échange d'enregistrements avec schéma

Moins adapté pour: Agrégations centrées sur les colonnes

ORC

Adapté pour: Stockage pour plateformes analytiques utilisant types et index

Moins adapté pour: Partage informel en texte lisible

CSV

Adapté pour: Échange de tableaux faciles à inspecter

Moins adapté pour: Préserver des types complexes ou optimiser l'analyse à grande échelle

Avant l’export

  • Vérifiez types, valeurs nulles, dates et encodage des caractères.
  • Contrôlez accès et périmètre avant de partager des colonnes personnelles ou confidentielles.
  • Testez performances et compatibilité avec des données représentatives.

Comparaisons associées

Parquet ou ORCParquet et ORC sont des formats en colonnes pour les données analytiques à grande échelle. Le choix dépend du moteur de requête, de la plateforme existante et de la charge mesurée.Avro ou ParquetAvro sérialise des enregistrements régis par un schéma ; Parquet stocke les données par colonne pour de grandes lectures analytiques. Choisissez selon écriture et requêtes.Avro ou ORCAvro sert souvent à échanger des enregistrements régis par un schéma. ORC stocke les données typées par colonne pour l'analyse.CSV vs JSONCSV représente des enregistrements tabulaires ; JSON représente des valeurs structurées comme des objets et des tableaux. Choisissez selon la forme des données et le système destinataire.

Guides

Choisir un format d'échange de donnéesCommencez par la spécification du système destinataire. Utilisez JSON pour les API structurées, XML si l'intégration exige son schéma et CSV pour un tableau unique.Vérifications avant de transmettre des tableaux scientifiquesTransmettez les tableaux netCDF, HDF5 ou Zarr avec leur sens, leurs dépendances et les exigences de lecture. Au-delà du format tabulaire, vérifiez dimensions et valeurs manquantes.

Références et spécifications