Panduan
Pemeriksaan sebelum menyerahkan model AI
Bedakan bobot, graf komputasi, dan lingkungan inferensi. Sertakan dependensi dan hasil masukan perwakilan; konversi berhasil tidak membuktikan kompatibilitas atau kualitas.
Format mana yang sebaiknya dipilih?
Pilih berdasarkan peran setiap berkas dalam alur kerja.
- Mencatat persyaratan dan asal
- Melengkapi berkas yang diperlukan
- Memvalidasi inferensi di tujuan
Mencatat persyaratan dan asal
Catat sumber, revisi, syarat penggunaan, arsitektur, tipe dan bentuk masukan/keluaran, praproses dan pascaproses. Cocokkan IR/opset ONNX serta tipe tensor GGUF dengan runtime tujuan.
Melengkapi berkas yang diperlukan
Pertahankan referensi bobot eksternal ONNX. Sertakan shard Safetensors, indeks, definisi model, dan dependensi yang diperlukan. GGUF dapat membutuhkan bagian atau berkas tambahan. Periksa apakah tokenizer dan pengaturan tertanam atau terpisah.
Memvalidasi inferensi di tujuan
Gunakan loader kompatibel yang diperbarui untuk memeriksa struktur, nama, tipe, dan bentuk tensor. Dengan praproses dan masukan sama, bandingkan keluaran dengan sumber dan catat toleransi serta memori. Evaluasi konversi dan kuantisasi secara terpisah.
Format yang disarankan
ONNX
Cocok untuk: Menukar graf dengan runtime yang kompatibel
Kurang cocok untuk: Menganggap semua operator dan opset didukung
Safetensors
Cocok untuk: Menyimpan dan mendistribusikan bobot tensor
Kurang cocok untuk: Menganggap bobot mencakup definisi dan kode eksekusi
GGUF
Cocok untuk: Menyerahkan model ke implementasi GGML yang kompatibel
Kurang cocok untuk: Menebak kuantisasi atau kompatibilitas dari ekstensi
Periksa sebelum mengekspor
- Nama format atau hash sama tidak membuktikan asal atau keamanan. Jangan sembarang menjalankan kode atau sumber konversi tak tepercaya; periksa asal dependensi.
- Simpan model sumber, parameter, dan inventaris. Satu masukan yang cocok tidak menjamin kualitas pada semua masukan atau perangkat.