Confronta
netCDF o Parquet
netCDF descrive dataset scientifici tramite dimensioni, variabili e attributi con nome, che possono collegare coordinate e tempo. Parquet è un formato a colonne con row group e column chunk, adatto alle query analitiche che selezionano colonne.
Quale formato scegliere?
Scegli netCDF per array scientifici con tempo, livelli, coordinate e variabili correlate. Valuta Parquet per record tabellari interrogati per colonna.
Adatto per netCDF
Memorizzare e scambiare dati in array di clima, meteo e scienze della Terra
- Descrivere dati multidimensionali con dimensioni, variabili e attributi
- Flussi scientifici portabili con strumenti compatibili con netCDF
Adatto per Parquet
Conservare tabelle strutturate per analisi
- Grandi insiemi letti per colonne selezionate
Informazioni di base
| Voce | netCDF | Parquet |
|---|---|---|
| Estensione | .nc, .nc4, .cdf | .parquet |
| Tipo MIME | application/vnd.apache.parquet | |
| Usi comuni | Memorizzare e scambiare dati in array di clima, meteo e scienze della Terra | Conservare tabelle strutturate per analisi |
| Come aprire | Usa un programma di analisi o una libreria compatibile con netCDF. Controlla variabili, dimensioni, attributi e variante; verifica coordinate, unità, calendario, valori mancanti e convenzioni CF attese. | Usa uno strumento Parquet per controllare schema, tipi, numero di righe e valori. |
| Esportare o convertire | Convertendo in CSV, HDF5 o Zarr, verifica che dimensioni, tipi, attributi, coordinate e calendari siano conservati. Il modello classic può perdere funzioni estese; CSV non rappresenta pienamente gerarchia, tipi e attributi. | Da CSV o altri formati, verifica tipi, null, date, codifica, partizioni e conteggio delle righe. |
Scegli in base all'uso
Descrivere dati multidimensionali con dimensioni, variabili e attributi
Memorizzare e scambiare dati in array di clima, meteo e scienze della Terra
netCDFFlussi scientifici portabili con strumenti compatibili con netCDF
Memorizzare e scambiare dati in array di clima, meteo e scienze della Terra
netCDFGrandi insiemi letti per colonne selezionate
Conservare tabelle strutturate per analisi
ParquetPunto chiave 1
Le variabili netCDF sono array associati a dimensioni con nome e possono avere variabili di coordinate e attributi; i metadati Parquet localizzano i column chunk nei row group.
Approfondisci le differenzePunto chiave 2
netCDF ha modelli Classic ed Enhanced; netCDF-4 aggiunge gruppi e tipi. Parquet codifica colonne in pagine e row group.
Approfondisci le differenzeApprofondisci le differenze
Usa netCDF se il significato scientifico dipende da dimensioni, coordinate, tempo e unità. Usa Parquet per tabelle analitiche. Durante la conversione mappa esplicitamente i due modelli.
- netCDF associa variabili N-dimensionali a dimensioni, coordinate e attributi. Parquet organizza tabelle in column chunk dentro row group.
- netCDF-4 può supportare gruppi e tipi non disponibili nei lettori Classic. I metadati Parquet consentono di saltare le colonne non richieste.
- Verifica la mappatura variabili-colonne, dimensioni, unità, coordinate/CRS, tempo, valori mancanti, tipi, gruppi e tipi annidati. Scegli compressione e row group in base alle letture previste.
Domande frequenti
Parquet può conservare un dataset netCDF senza una mappatura esplicita?
No. Definisci come dimensioni, coordinate, unità, tempo, valori mancanti e variabili corrispondono a righe e colonne, poi convalida i dati convertiti.