Guide
Controlli prima di consegnare un modello di IA
Distingui pesi, grafi di calcolo e ambienti di inferenza. Allega dipendenze e risultati di input rappresentativi; una conversione riuscita non dimostra compatibilità o qualità.
Quale formato scegliere?
Scegli in base al ruolo di ogni file nel flusso di lavoro.
- Documentare requisiti e provenienza
- Riunire i file necessari
- Validare l'inferenza a destinazione
Documentare requisiti e provenienza
Registra fonte, revisione, condizioni d'uso, architettura, tipi e forme di input/output, pre e post-elaborazione. Verifica IR/opset ONNX e tipi di tensori GGUF nell'ambiente destinatario.
Riunire i file necessari
Mantieni i riferimenti ai pesi esterni ONNX. Includi frammenti Safetensors, indici, definizioni e dipendenze necessarie. GGUF può richiedere parti o file ausiliari. Verifica se tokenizer e impostazioni sono integrati o separati.
Validare l'inferenza a destinazione
Usa un loader aggiornato e compatibile per verificare struttura, nomi, tipi e forme dei tensori. Con gli stessi input e pre-elaborazione, confronta output con la fonte e registra tolleranze e memoria. Valuta conversione e quantizzazione separatamente.
Formati da considerare
ONNX
Adatto per: Scambiare grafi con runtime compatibili
Meno adatto per: Presumere supporto per tutti gli operatori e opset
Safetensors
Adatto per: Salvare e distribuire pesi di tensori
Meno adatto per: Presumere che i pesi includano definizione e codice eseguibile
GGUF
Adatto per: Consegnare modelli a implementazioni GGML compatibili
Meno adatto per: Deducere quantizzazione o compatibilità dall'estensione
Cosa controllare prima dell’esportazione
- Nome del formato o hash uguali non provano origine o sicurezza. Non eseguire senza cautela codice o fonti di conversione non affidabili; verifica la provenienza.
- Conserva modello originale, parametri e inventario. Un input coincidente non garantisce qualità per tutti gli input o dispositivi.