Vergleichen
netCDF und Parquet im Vergleich
netCDF beschreibt wissenschaftliche Datensätze mit benannten Dimensionen, Variablen und Attributen, die Koordinaten und Zeiten verknüpfen können. Parquet ist ein Spaltenformat mit Zeilengruppen und Spalten-Chunks für analytische Abfragen ausgewählter Spalten.
Welches Format sollten Sie wählen?
Wählen Sie netCDF für wissenschaftliche Arrays mit Zeiten, Höhenstufen, Koordinaten und zusammengehörigen Variablen. Für tabellarische Datensätze mit Spaltenabfragen kommt Parquet infrage.
Geeignet für netCDF
Arraybasierte Klima-, Wetter- und Erdwissenschaftsdaten speichern und austauschen
- Mehrdimensionale Daten mit Dimensionen, Variablen und Attributen beschreiben
- Portable wissenschaftliche Abläufe mit netCDF-fähigen Werkzeugen
Geeignet für Parquet
Strukturierte Tabellen für Analysen speichern
- Große Datenmengen mit Auswahl einzelner Spalten
Grundlegende Informationen
| Merkmal | netCDF | Parquet |
|---|---|---|
| Dateiendung | .nc, .nc4, .cdf | .parquet |
| MIME-Typ | application/vnd.apache.parquet | |
| Häufige Verwendung | Arraybasierte Klima-, Wetter- und Erdwissenschaftsdaten speichern und austauschen | Strukturierte Tabellen für Analysen speichern |
| Öffnen | Verwenden Sie netCDF-fähige Visualisierungs- oder Analysesoftware oder eine Bibliothek. Prüfen Sie Variablen, Dimensionen, Attribute und Variante sowie Koordinaten, Einheiten, Kalender, Fehlwerte und CF-Konventionen. | Prüfen Sie mit einem Parquet-Werkzeug Schema, Typen, Zeilenzahl und Werte. |
| Exportieren oder konvertieren | Prüfen Sie bei der Umwandlung in CSV, HDF5 oder Zarr, ob Dimensionen, Typen, Attribute, Koordinaten und Kalender erhalten bleiben. Das Classic-Modell kann erweiterte Funktionen verlieren; CSV bildet Hierarchie und Attribute nicht vollständig ab. | Bei Umwandlung aus CSV prüfen Sie Typen, Nullwerte, Zeitstempel, Kodierung, Partitionen und Zeilenzahl. |
Nach Einsatzzweck wählen
Mehrdimensionale Daten mit Dimensionen, Variablen und Attributen beschreiben
Arraybasierte Klima-, Wetter- und Erdwissenschaftsdaten speichern und austauschen
netCDFPortable wissenschaftliche Abläufe mit netCDF-fähigen Werkzeugen
Arraybasierte Klima-, Wetter- und Erdwissenschaftsdaten speichern und austauschen
netCDFGroße Datenmengen mit Auswahl einzelner Spalten
Strukturierte Tabellen für Analysen speichern
ParquetWichtiger Punkt 1
netCDF-Variablen sind Arrays über benannten Dimensionen und können Koordinatenvariablen und Attribute haben; Parquet-Metadaten lokalisieren Spalten-Chunks in Zeilengruppen.
Unterschiede im DetailWichtiger Punkt 2
netCDF kennt Classic- und Enhanced-Modelle; netCDF-4 ergänzt Gruppen und Typen. Parquet kodiert Tabellenspalten in Seiten und Zeilengruppen.
Unterschiede im DetailUnterschiede im Detail
Nutzen Sie netCDF, wenn die wissenschaftliche Bedeutung von Dimensionen, Koordinaten, Zeit und Einheiten abhängt. Für Tabellenanalysen eignet sich Parquet. Ordnen Sie beide Modelle bei der Konvertierung ausdrücklich zu.
- netCDF verknüpft N-dimensionale Variablen mit Dimensionen, Koordinaten und Attributen. Parquet organisiert Tabellendaten als Spalten-Chunks in Zeilengruppen.
- netCDF-4 kann Gruppen und Typen nutzen, die Classic-Leser nicht unterstützen. Parquet-Metadaten erlauben das Überspringen nicht benötigter Spalten.
- Prüfen Sie Variablen-Spalten-Zuordnung, Dimensionen, Einheiten, Koordinaten und CRS, Zeit, Fehlwerte, Typen, Gruppen und verschachtelte Typen. Passen Sie Kompression und Zeilengruppen an die Lesezugriffe an.
Häufige Fragen
Kann Parquet einen netCDF-Datensatz ohne Zuordnung bewahren?
Nein. Legen Sie fest, wie Dimensionen, Koordinaten, Einheiten, Zeit, Fehlwerte und Variablen auf Zeilen und Spalten abgebildet werden, und prüfen Sie danach die Daten.