Confronta
Arrow vs ORC
Apache Arrow è una rappresentazione colonnare in memoria e indipendente dal linguaggio per analisi e scambio di dati. ORC è un formato file colonnare che organizza le righe in stripe con dati, indici e statistiche per letture analitiche.
Quale formato scegliere?
Scegli Arrow per trasferire tabelle in memoria tra processi o sistemi con efficienza. Valuta ORC per data lake persistenti o flussi Hive che sfruttano compressione, selezione di colonne e letture per stripe. Non confondere la memoria Arrow con file IPC.
Adatto per Apache Arrow IPC
Scambiare dati tabellari colonnari tra programmi e linguaggi compatibili · Trasferire insiemi di dati analitici tra strumenti compatibili con Arrow
- Spostare dati tipizzati tra librerie Arrow e motori analitici
- Accedere in modo casuale ai record batch nel formato file IPC
Adatto per ORC
Conservare grandi tabelle strutturate per analisi
- Query su colonne scelte con indici
Informazioni di base
| Voce | Apache Arrow IPC | ORC |
|---|---|---|
| Estensione | .arrow, .feather, .arrows | .orc |
| Tipo MIME | application/vnd.apache.arrow.file, application/vnd.apache.arrow.stream | application/vnd.apache.orc |
| Usi comuni | Scambiare dati tabellari colonnari tra programmi e linguaggi compatibili · Trasferire insiemi di dati analitici tra strumenti compatibili con Arrow | Conservare grandi tabelle strutturate per analisi |
| Come aprire | Leggi il file con una libreria Apache Arrow o uno strumento analitico compatibile con Arrow IPC. .arrow indica di solito il formato file e .arrows il formato stream, ma verifica la modalità IPC attesa dallo strumento ricevente e i codec supportati. Per i file Feather controlla anche la compatibilità con il precedente Feather V1. | Usa uno strumento ORC per esaminare schema, colonne, numero di righe, compressione e campioni. |
| Esportare o convertire | Parquet può essere adatto all’archiviazione e distribuzione di dati analitici; CSV al semplice scambio di tabelle. La conversione può modificare o eliminare tipi specifici di Arrow, strutture annidate, codifica a dizionario o impostazioni di compressione. Verifica i tipi e la precisione necessari e conserva i dati sorgente. | Verso Parquet o CSV verifica tipi, null, date, decimali, partizioni e numero di righe. |
Scegli in base all'uso
Spostare dati tipizzati tra librerie Arrow e motori analitici
Scambiare dati tabellari colonnari tra programmi e linguaggi compatibili · Trasferire insiemi di dati analitici tra strumenti compatibili con Arrow
Apache Arrow IPCAccedere in modo casuale ai record batch nel formato file IPC
Scambiare dati tabellari colonnari tra programmi e linguaggi compatibili · Trasferire insiemi di dati analitici tra strumenti compatibili con Arrow
Apache Arrow IPCQuery su colonne scelte con indici
Conservare grandi tabelle strutturate per analisi
ORCPunto chiave 1
Arrow specifica array, buffer e tipi in memoria, consentendo anche condivisione senza copia. ORC usa flussi colonnari, stripe, indici e statistiche nel footer.
Approfondisci le differenzePunto chiave 2
Arrow privilegia rappresentazione e trasporto in memoria; ORC archiviazione persistente compressa e letture analitiche selettive.
Approfondisci le differenzeApprofondisci le differenze
Usa Arrow per analisi in memoria e trasferimenti interoperabili. Usa ORC se archiviazione e motori di query supportano il suo layout e sfruttano indici e selezione di colonne. Prova carichi realistici.
- Arrow definisce array e buffer colonnari in memoria. Arrow IPC/file serializza quella rappresentazione; ORC definisce una struttura su disco distinta con stripe e flussi di colonne.
- ORC può usare compressione, proiezione di colonne e indici per ridurre i dati letti. La specifica principale di Arrow è un formato di memoria, non sostituisce tutti i formati persistenti.
- Verifica lettori, scrittori e mappatura di tipi, null, timestamp e decimali. Confronta dimensioni e prestazioni con codec, motori e query effettivi.
Domande frequenti
Un file tabellare Arrow è lo stesso formato di ORC?
No. Arrow definisce un formato colonnare in memoria e formati IPC distinti; ORC è un proprio formato file.