Panduan
Memilih format untuk analitik dan pertukaran data
Sesuaikan platform dan tipe data saat memilih analitik kolom, pertukaran rekaman berbasis skema, atau tabel yang mudah dibaca.
Format mana yang sebaiknya dipilih?
Pilih berdasarkan peran setiap berkas dalam alur kerja.
- Analitik kolom dan data lake → Parquet
- Pertukaran rekaman berbasis skema → Avro
- Analitik kolom di ekosistem Hadoop → ORC
- Pemeriksaan dan pertukaran sederhana → CSV
Pilih format kolom untuk analitik
Parquet dan ORC dipakai oleh analitik yang membaca kolom tertentu. Sesuaikan pilihan dengan mesin kueri dan platform data yang sudah digunakan.
Periksa skema dan hasil konversi
Avro digunakan untuk pertukaran rekaman berbasis skema. Saat konversi, periksa tipe, null, stempel waktu, desimal, nama kolom, dan kompatibilitas.
Format yang disarankan
Parquet
Cocok untuk: Analisis kolom untuk kumpulan data tabular besar
Kurang cocok untuk: Membaca isi langsung sebagai teks
Avro
Cocok untuk: Pertukaran rekaman dengan skema
Kurang cocok untuk: Beban kerja yang berfokus pada agregasi kolom
ORC
Cocok untuk: Penyimpanan data bagi platform analitik yang memakai informasi tipe dan indeks
Kurang cocok untuk: Berbagi santai sebagai teks yang mudah dibaca
CSV
Cocok untuk: Pertukaran tabel yang mudah diperiksa orang
Kurang cocok untuk: Mempertahankan tipe kompleks atau mengoptimalkan analitik berskala besar
Periksa sebelum mengekspor
- Periksa tipe, null, tanggal, dan pengodean karakter.
- Tinjau kontrol akses dan cakupan berbagi untuk kolom pribadi atau rahasia.
- Uji kinerja dan kompatibilitas dengan data yang representatif.