Bandingkan
Perbedaan netCDF dan Parquet
netCDF menjelaskan dataset ilmiah melalui dimensi, variabel, dan atribut bernama yang dapat mengaitkan koordinat dan waktu. Parquet adalah format kolumnar dengan grup baris dan bongkah kolom untuk kueri analitik yang memilih kolom tertentu.
Format mana yang sebaiknya dipilih?
Pilih netCDF untuk array ilmiah dengan waktu, tingkat, koordinat, dan variabel terkait. Pertimbangkan Parquet untuk rekaman tabel yang ditanya berdasarkan kolom.
Cocok untuk netCDF
Menyimpan dan bertukar data larik untuk iklim, cuaca, dan ilmu kebumian
- Menggambarkan data multidimensi dengan dimensi, variabel, dan atribut
- Alur kerja ilmiah portabel dengan alat netCDF
Cocok untuk Parquet
Menyimpan tabel terstruktur untuk analisis
- Kumpulan besar yang dibaca menurut kolom terpilih
Informasi dasar
| Item | netCDF | Parquet |
|---|---|---|
| Ekstensi | .nc, .nc4, .cdf | .parquet |
| Tipe MIME | application/vnd.apache.parquet | |
| Penggunaan umum | Menyimpan dan bertukar data larik untuk iklim, cuaca, dan ilmu kebumian | Menyimpan tabel terstruktur untuk analisis |
| Cara membuka | Gunakan perangkat lunak analisis atau pustaka yang mendukung netCDF. Periksa variabel, dimensi, atribut, dan varian berkas; cocokkan koordinat, satuan, kalender, nilai hilang, dan konvensi CF. | Gunakan alat Parquet untuk memeriksa skema, tipe kolom, jumlah baris, dan nilai. |
| Ekspor atau konversi | Saat mengonversi ke CSV, HDF5, atau Zarr, pastikan dimensi, tipe variabel, atribut, koordinat, dan kalender waktu tetap terjaga. Model classic dapat kehilangan fitur lanjutan; CSV tidak mewakili hierarki, tipe, dan atribut sepenuhnya. | Dari CSV atau format lain, periksa tipe, null, waktu, pengodean, partisi, dan jumlah baris. |
Pilih menurut penggunaan
Menggambarkan data multidimensi dengan dimensi, variabel, dan atribut
Menyimpan dan bertukar data larik untuk iklim, cuaca, dan ilmu kebumian
netCDFAlur kerja ilmiah portabel dengan alat netCDF
Menyimpan dan bertukar data larik untuk iklim, cuaca, dan ilmu kebumian
netCDFKumpulan besar yang dibaca menurut kolom terpilih
Menyimpan tabel terstruktur untuk analisis
ParquetPoin utama 1
Variabel netCDF adalah array pada dimensi bernama dan dapat memiliki variabel koordinat serta atribut; metadata Parquet menunjukkan letak bongkah kolom di grup baris.
Perbedaan lebih lanjutPoin utama 2
netCDF memiliki model Classic dan enhanced; netCDF-4 menambah grup dan tipe. Parquet mengodekan kolom tabel dalam halaman dan grup baris.
Perbedaan lebih lanjutPerbedaan lebih lanjut
Gunakan netCDF jika makna ilmiah bergantung pada dimensi, koordinat, waktu, dan satuan. Gunakan Parquet untuk analitik tabel. Saat konversi, petakan kedua model secara eksplisit.
- netCDF mengaitkan variabel N-dimensi dengan dimensi, koordinat, dan atribut. Parquet menyusun data tabel sebagai bongkah kolom dalam grup baris.
- netCDF-4 dapat memakai grup dan tipe yang tidak didukung pembaca Classic. Metadata Parquet memungkinkan pembaca melewati kolom yang tidak diperlukan.
- Validasi pemetaan variabel-ke-kolom, dimensi, satuan, koordinat dan CRS, waktu, nilai hilang, tipe, grup, serta tipe bertingkat. Sesuaikan kompresi dan grup baris dengan pola baca.
Pertanyaan umum
Dapatkah Parquet mempertahankan dataset ilmiah netCDF tanpa pemetaan?
Tidak. Tentukan cara dimensi, koordinat, satuan, waktu, nilai hilang, dan variabel dipetakan ke baris dan kolom, lalu validasi hasilnya.