Vergleichen
Parquet und Zarr im Vergleich
Apache Parquet speichert Tabellen in Dateien, die in Zeilengruppen und Spalten-Chunks aufgeteilt sind. Zarr speichert mehrdimensionale Arrays als Chunks mit Metadaten in einem Speicher.
Welches Format sollten Sie wählen?
Wählen Sie Parquet für analytische Abfragen, die ausgewählte Tabellenspalten lesen. Für große Arrays mit Chunk-Zugriff oder Objektspeicher kommt Zarr infrage.
Geeignet für Parquet
Strukturierte Tabellen für Analysen speichern
- Große Datenmengen mit Auswahl einzelner Spalten
Geeignet für Zarr
Große mehrdimensionale Arrays blockweise speichern und austauschen · Wissenschaftliche Daten in Cloud-Objektspeichern nutzen
- Ausgewählte Bereiche großer Arrays effizient lesen
- Aufgeteilte Datensätze zwischen kompatiblen Werkzeugen teilen
Grundlegende Informationen
| Merkmal | Parquet | Zarr |
|---|---|---|
| Dateiendung | .parquet | .zarr |
| MIME-Typ | application/vnd.apache.parquet | |
| Häufige Verwendung | Strukturierte Tabellen für Analysen speichern | Große mehrdimensionale Arrays blockweise speichern und austauschen · Wissenschaftliche Daten in Cloud-Objektspeichern nutzen |
| Öffnen | Prüfen Sie mit einem Parquet-Werkzeug Schema, Typen, Zeilenzahl und Werte. | Verwenden Sie eine Zarr-fähige Bibliothek oder Analyseanwendung. Prüfen Sie Version, Arrayform, Blockraster, Codecs und Attribute. Bewahren Sie das vollständige lokale Verzeichnis oder nötige Objektschlüssel auf. |
| Exportieren oder konvertieren | Bei Umwandlung aus CSV prüfen Sie Typen, Nullwerte, Zeitstempel, Kodierung, Partitionen und Zeilenzahl. | Prüfen Sie bei netCDF- oder HDF5-Konvertierung Dimensionen, Typen, Blöcke, Attribute und Koordinaten. Bewahren Sie das Original und validieren Sie die Werte. |
Nach Einsatzzweck wählen
Große Datenmengen mit Auswahl einzelner Spalten
Strukturierte Tabellen für Analysen speichern
ParquetAusgewählte Bereiche großer Arrays effizient lesen
Große mehrdimensionale Arrays blockweise speichern und austauschen · Wissenschaftliche Daten in Cloud-Objektspeichern nutzen
ZarrAufgeteilte Datensätze zwischen kompatiblen Werkzeugen teilen
Große mehrdimensionale Arrays blockweise speichern und austauschen · Wissenschaftliche Daten in Cloud-Objektspeichern nutzen
ZarrWichtiger Punkt 1
Parquet-Zeilengruppen enthalten Spalten-Chunks, deren Positionen in Dateimetadaten stehen; Zarr speichert Array-Metadaten wie Form, Typ, Chunk-Raster und Codecs samt kodierten Chunks.
Unterschiede im DetailWichtiger Punkt 2
Parquet organisiert Tabellen nach Zeilen und Spalten; Zarr organisiert N-dimensionale Arrays nach Achsen und Chunks.
Unterschiede im DetailUnterschiede im Detail
Verwenden Sie Parquet für analytische Tabellenabfragen auf ausgewählten Spalten und Zarr für den Chunk-Zugriff auf große Arrays. Passen Sie Zeilengruppen oder Chunks an Abfragen und Speicher an.
- Parquet-Metadaten lokalisieren Spalten-Chunks in Zeilengruppen. Zarr-Metadaten beschreiben Form, Typ, Chunk-Raster und Codecs; Chunk-Daten liegen unter eigenen Schlüsseln.
- Parquet bildet Tabellenzeilen und -spalten ab, Zarr Array-Dimensionen und Chunks. Die Leistung hängt von passenden Layouts für Abfragen oder Ausschnitte ab.
- Prüfen Sie bei der Umwandlung die Zuordnung von Zeilen, Spalten und Dimensionen, Typen, Null- oder Fehlwerten, Einheiten, Zeit- und Koordinatenmetadaten, Codecs und Leseleistung. Übertragen Sie alle Zarr-Metadaten und Chunk-Schlüssel gemeinsam.
Häufige Fragen
Können Parquet und Zarr direkt füreinander eingesetzt werden?
Nein. Das eine modelliert Tabellen, das andere mehrdimensionale Arrays. Die Umwandlung muss Dimensionen, Typen, Fehlwerte und Metadaten ausdrücklich zuordnen.