Comparer
Arrow IPC ou CSV
Les deux échangent des données tabulaires, mais Arrow IPC est un format binaire en colonnes avec types, tandis que CSV est du texte brut à champs délimités.
Quel format choisir ?
Choisissez Arrow IPC pour préserver les schémas typés entre outils analytiques compatibles ; CSV pour un texte lisible et une large compatibilité avec les tableurs et applications.
Adapté pour Apache Arrow IPC
Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow
- Déplacer des données typées entre bibliothèques Arrow et moteurs analytiques
- Accéder de façon aléatoire aux lots d’enregistrements du format fichier IPC
Adapté pour CSV
Échange de données tabulaires
- Transférer un tableau simple entre applications
Informations générales
| Élément | Apache Arrow IPC | CSV |
|---|---|---|
| Extension | .arrow, .feather, .arrows | .csv |
| Type MIME | application/vnd.apache.arrow.file, application/vnd.apache.arrow.stream | text/csv |
| Usages courants | Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow | Échange de données tabulaires |
| Comment ouvrir | Lisez le fichier avec une bibliothèque Apache Arrow ou un outil analytique compatible avec Arrow IPC. L’extension .arrow désigne généralement le format fichier et .arrows le format flux, mais vérifiez le mode IPC attendu par l’outil destinataire et ses codecs pris en charge. Pour Feather, vérifiez aussi la compatibilité avec l’ancien format Feather V1. | Lors de l'import dans un tableur, définissez encodage et séparateur. Vérifiez que zéros initiaux, valeurs semblables à des dates et grands nombres ne sont pas convertis automatiquement. |
| Exporter ou convertir | Parquet peut convenir au stockage et à la diffusion de données analytiques ; CSV, à l’échange de tableaux simples. La conversion peut modifier ou supprimer des types propres à Arrow, des structures imbriquées, l’encodage par dictionnaire ou les réglages de compression. Vérifiez les types et la précision nécessaires et conservez les données sources. | Exporter XLSX en CSV écrit normalement seulement les valeurs d'une feuille choisie. Conservez séparément formules, mise en forme, autres feuilles et graphiques. |
Choisir selon l’usage
Déplacer des données typées entre bibliothèques Arrow et moteurs analytiques
Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow
Apache Arrow IPCAccéder de façon aléatoire aux lots d’enregistrements du format fichier IPC
Échanger des tableaux en colonnes entre programmes et langages compatibles · Transférer des jeux de données analytiques entre outils compatibles avec Arrow
Apache Arrow IPCTransférer un tableau simple entre applications
Échange de données tabulaires
CSVPoint clé 1
Arrow définit des tableaux de colonnes typés et sérialise les lots d’enregistrements via IPC ; CSV stocke lignes et champs sous forme de texte.
En savoir plus sur les différencesPoint clé 2
Arrow peut représenter explicitement nombres, horodatages, valeurs nulles et valeurs imbriquées ; les lecteurs CSV infèrent souvent les types ou ont besoin d’un schéma séparé.
En savoir plus sur les différencesEn savoir plus sur les différences
Utilisez Arrow IPC lorsque des outils compatibles doivent échanger des données en colonnes tout en préservant types, valeurs nulles et champs imbriqués. Utilisez CSV pour une lecture humaine ou l’échange de tableaux simples avec de nombreuses applications. Pour CSV, convenez de l’encodage, du séparateur, des guillemets, des en-têtes et des types ; pour Arrow, vérifiez la prise en charge du fichier ou du flux IPC.
- Arrow utilise un schéma en colonnes indépendant du langage et sérialise les lots IPC en fichier ou en flux. CSV est un texte par lignes ; la RFC 4180 documente les conventions courantes des virgules, guillemets et sauts de ligne.
- Arrow représente explicitement types et valeurs nulles, y compris certaines structures imbriquées. Les valeurs CSV sont du texte ; leurs types et la sémantique des valeurs nulles sont souvent inférés ou définis ailleurs.
- CSV est lisible et facile à transmettre, mais l’analyse et l’inférence des types peuvent coûter cher ou être ambiguës à grande échelle. Arrow convient aux échanges analytiques typés, avec des bibliothèques compatibles.
Questions fréquentes
CSV conserve-t-il les types de données des colonnes ?
Le texte CSV ne fournit pas à lui seul un schéma riche et normalisé des colonnes. Les lecteurs infèrent souvent les types ou s’appuient sur un schéma séparé.