Guide
Scegliere un formato per analisi e scambio dati
In base alla piattaforma e ai tipi di dati, distingui analisi a colonne, scambio di record con schema e tabelle leggibili.
Quale formato scegliere?
Scegli in base al ruolo di ogni file nel flusso di lavoro.
- Analisi a colonne e data lake → Parquet
- Scambio di record con schema → Avro
- Analisi a colonne nell'ecosistema Hadoop → ORC
- Ispezione e scambio semplice → CSV
Scegliere un formato a colonne per l'analisi
Parquet e ORC sono usati da analisi che leggono colonne selezionate. Scegli in base al motore di query e alla piattaforma dati esistente.
Verificare schemi e conversioni
Avro serve allo scambio di record con schema. Durante la conversione controlla tipi, valori nulli, date, decimali, nomi dei campi e compatibilità.
Formati da considerare
Parquet
Adatto per: Analisi a colonne di grandi insiemi tabellari
Meno adatto per: Leggere direttamente il contenuto come testo
Avro
Adatto per: Scambio di record con schema
Meno adatto per: Carichi di lavoro incentrati sulle aggregazioni per colonna
ORC
Adatto per: Archiviazione per piattaforme analitiche che usano tipi e indici
Meno adatto per: Condivisione informale come testo leggibile
CSV
Adatto per: Scambio di tabelle facili da controllare
Meno adatto per: Conservare tipi complessi o ottimizzare analisi su larga scala
Cosa controllare prima dell’esportazione
- Controlla tipi, valori nulli, date e codifica dei caratteri.
- Verifica accessi e ambito di condivisione per colonne personali o riservate.
- Prova prestazioni e compatibilità con dati rappresentativi.