Bandingkan
GGUF vs Safetensors: distribusi inferensi dan bobot
GGUF mendistribusikan model inferensi ke implementasi berbasis GGML yang kompatibel. Safetensors menyimpan tensor bernama; definisi model dan lingkungan eksekusi disediakan terpisah.
Format mana yang sebaiknya dipilih?
Pertimbangkan GGUF untuk inferensi di lingkungan GGML yang kompatibel, atau Safetensors untuk bobot pada implementasi model yang kompatibel.
Cocok untuk GGUF
Menyimpan dan mendistribusikan model inferensi untuk runtime GGML yang kompatibel · Mengelola informasi model dan tensor dalam satu format
- Inferensi lokal dengan alat kompatibel seperti llama.cpp
- Mendistribusikan model terkuantisasi atau tidak yang didukung runtime
Cocok untuk Safetensors
Menyimpan dan mendistribusikan bobot tensor pembelajaran mesin · Memuat bobot di antara framework yang didukung
- Menukar tensor dan metadata dasar alih-alih objek Python sembarang
- Alur kerja yang memeriksa dan memuat tensor terpilih
Informasi dasar
| Item | GGUF | Safetensors |
|---|---|---|
| Ekstensi | .gguf | .safetensors |
| Tipe MIME | application/octet-stream | application/octet-stream |
| Penggunaan umum | Menyimpan dan mendistribusikan model inferensi untuk runtime GGML yang kompatibel · Mengelola informasi model dan tensor dalam satu format | Menyimpan dan mendistribusikan bobot tensor pembelajaran mesin · Memuat bobot di antara framework yang didukung |
| Cara membuka | Buka dengan loader GGUF tepercaya yang mendukung model dan jenis tensornya. Periksa arsitektur, versi runtime, metode kuantisasi, serta kebutuhan shard atau berkas pendamping. | Gunakan pustaka atau alat model yang kompatibel dengan Safetensors. Alat yang didukung dapat menampilkan nama, dtype, dan shape tensor sebelum seluruh bobot dimuat ke perangkat. Header JSON tidak berarti seluruh file adalah dokumen teks JSON. |
| Ekspor atau konversi | Ikuti petunjuk konversi model sumber dan runtime tujuan. Konversi dan kuantisasi dapat menjadi tahap terpisah. Evaluasi kualitas, kecepatan, dan memori dengan masukan representatif; simpan semua shard dan berkas wajib seperti mmproj untuk model multimodal bersama-sama. | Simpan bobot tensor melalui API yang didukung framework model. Konversi dari masukan berbasis pickle dapat mendeserialisasi masukan itu; jangan memuat sumber yang tidak tepercaya tanpa kewaspadaan. Setelah konversi, bandingkan nama, shape, dtype, jumlah elemen, dan keluaran model. |
Pilih menurut penggunaan
Inferensi lokal dengan alat kompatibel seperti llama.cpp
Menyimpan dan mendistribusikan model inferensi untuk runtime GGML yang kompatibel · Mengelola informasi model dan tensor dalam satu format
GGUFMendistribusikan model terkuantisasi atau tidak yang didukung runtime
Menyimpan dan mendistribusikan model inferensi untuk runtime GGML yang kompatibel · Mengelola informasi model dan tensor dalam satu format
GGUFMenukar tensor dan metadata dasar alih-alih objek Python sembarang
Menyimpan dan mendistribusikan bobot tensor pembelajaran mesin · Memuat bobot di antara framework yang didukung
SafetensorsAlur kerja yang memeriksa dan memuat tensor terpilih
Menyimpan dan mendistribusikan bobot tensor pembelajaran mesin · Memuat bobot di antara framework yang didukung
SafetensorsPoin utama 1
GGUF memuat metadata model berupa pasangan kunci-nilai dan deskriptor tensor.
Perbedaan lebih lanjutPoin utama 2
Safetensors mencatat nama tensor, dtype, shape, dan rentang data, bukan kode inferensi sembarang.
Perbedaan lebih lanjutPerbedaan lebih lanjut
Mengganti ekstensi tidak membuat kedua format saling menggantikan. Simpan sumber dan pilih konverter serta pemuat yang mendukung arsitektur dan tipe tensor.
- GGUF mendukung tipe tensor titik mengambang dan terkuantisasi. Kuantisasi dapat mengubah nilai dan bukan sekadar kompresi tanpa kehilangan; nama format tidak menentukan ukuran atau presisi.
- Periksa konfigurasi, tokenizer, dan indeks pecahan Safetensors, serta berkas terpisah atau tambahan GGUF sesuai distribusi. Bandingkan keluaran, memori, dan kecepatan dengan masukan serta prapemrosesan yang sama.
Pertanyaan umum
Bisakah GGUF memulihkan berkas Safetensors asli sepenuhnya?
Tidak ada jaminan. Jika kuantisasi mengubah nilai, konversi saja tidak mengembalikan presisi asli atau status pelatihan. Simpan bobot dan pengaturan asli.