Bandingkan
Arrow vs ORC
Apache Arrow adalah representasi kolumnar dalam memori yang independen dari bahasa untuk analitik dan pertukaran data. ORC adalah format file kolumnar yang mengelompokkan baris ke dalam stripe berisi data kolom, indeks, dan statistik untuk pembacaan analitik.
Format mana yang sebaiknya dipilih?
Pilih Arrow untuk memindahkan tabel secara efisien di antara proses atau sistem dalam memori. Pertimbangkan ORC untuk data lake persisten atau alur Hive yang memanfaatkan kompresi, pemilihan kolom, dan pembacaan stripe. Jangan samakan tata letak memori Arrow dengan berkas IPC.
Cocok untuk Apache Arrow IPC
Bertukar data tabel kolumnar antara program dan bahasa yang kompatibel · Memindahkan kumpulan data analitik antar alat yang mendukung Arrow
- Memindahkan data bertipe antara pustaka Arrow dan mesin analitik
- Mengakses batch record secara acak dalam format file IPC
Cocok untuk ORC
Menyimpan tabel besar terstruktur untuk analisis
- Kueri yang membaca kolom terpilih dan memakai indeks
Informasi dasar
| Item | Apache Arrow IPC | ORC |
|---|---|---|
| Ekstensi | .arrow, .feather, .arrows | .orc |
| Tipe MIME | application/vnd.apache.arrow.file, application/vnd.apache.arrow.stream | application/vnd.apache.orc |
| Penggunaan umum | Bertukar data tabel kolumnar antara program dan bahasa yang kompatibel · Memindahkan kumpulan data analitik antar alat yang mendukung Arrow | Menyimpan tabel besar terstruktur untuk analisis |
| Cara membuka | Baca dengan pustaka Apache Arrow atau alat analitik yang mendukung Arrow IPC. Ekstensi .arrow biasanya menunjukkan format file dan .arrows format stream, tetapi pastikan mode IPC yang diharapkan alat penerima serta codec yang didukung. Untuk file Feather, periksa juga kompatibilitas dengan Feather V1 yang lebih lama. | Gunakan alat ORC untuk memeriksa skema, kolom, jumlah baris, kompresi, dan nilai contoh. |
| Ekspor atau konversi | Parquet dapat digunakan untuk penyimpanan dan distribusi data analitik; CSV untuk pertukaran tabel sederhana. Konversi dapat mengubah atau menghilangkan tipe khusus Arrow, struktur bertingkat, pengodean kamus, atau pengaturan kompresi. Periksa tipe dan presisi yang dibutuhkan, lalu simpan data sumber. | Ke Parquet atau CSV, periksa tipe, null, waktu, desimal, partisi, dan jumlah baris. |
Pilih menurut penggunaan
Memindahkan data bertipe antara pustaka Arrow dan mesin analitik
Bertukar data tabel kolumnar antara program dan bahasa yang kompatibel · Memindahkan kumpulan data analitik antar alat yang mendukung Arrow
Apache Arrow IPCMengakses batch record secara acak dalam format file IPC
Bertukar data tabel kolumnar antara program dan bahasa yang kompatibel · Memindahkan kumpulan data analitik antar alat yang mendukung Arrow
Apache Arrow IPCKueri yang membaca kolom terpilih dan memakai indeks
Menyimpan tabel besar terstruktur untuk analisis
ORCPoin utama 1
Arrow menetapkan array, buffer, dan tipe dalam memori, memungkinkan berbagi tanpa salinan dalam kondisi tertentu. ORC menggunakan aliran kolom, stripe, indeks, dan statistik footer.
Perbedaan lebih lanjutPoin utama 2
Arrow berfokus pada representasi dan transportasi dalam memori; ORC pada penyimpanan persisten terkompresi dan pembacaan analitik selektif.
Perbedaan lebih lanjutPerbedaan lebih lanjut
Gunakan Arrow untuk analitik dan transfer interoperabel dalam memori. Gunakan ORC jika ekosistem penyimpanan dan kueri mendukung tata letaknya serta memanfaatkan pemilihan kolom dan indeks. Uji beban kerja nyata.
- Arrow mendefinisikan array dan buffer kolumnar dalam memori. Arrow IPC/File menyerialisasi representasi itu; ORC mendefinisikan struktur disk tersendiri dengan stripe dan aliran kolom.
- ORC dapat memakai kompresi, proyeksi kolom, serta indeks stripe/baris untuk mengurangi data yang dibaca. Spesifikasi utama Arrow adalah format memori, bukan pengganti semua format tabel persisten.
- Periksa dukungan pembaca/penulis serta pemetaan tipe, null, timestamp, dan desimal. Bandingkan ukuran dan kinerja dengan codec, mesin, dan kueri yang digunakan.
Pertanyaan umum
Apakah berkas tabel Arrow sama dengan format ORC?
Tidak. Arrow menetapkan format kolumnar dalam memori dan format IPC terpisah; ORC adalah format file kolumnar tersendiri.