Confronta
GGUF e Safetensors: distribuzione per inferenza e pesi
GGUF distribuisce modelli di inferenza a implementazioni compatibili basate su GGML. Safetensors memorizza tensori con nome; definizione del modello e ambiente di esecuzione sono forniti separatamente.
Quale formato scegliere?
Valutate GGUF per l’inferenza in un ambiente GGML compatibile, oppure Safetensors per i pesi di un’implementazione del modello compatibile.
Adatto per GGUF
Salvare e distribuire modelli di inferenza per runtime GGML compatibili · Riunire informazioni del modello e tensori in un formato
- Inferenza locale con strumenti compatibili come llama.cpp
- Distribuire modelli quantizzati o meno supportati dal runtime
Adatto per Safetensors
Archiviare e distribuire pesi tensoriali di apprendimento automatico · Caricare pesi tra framework supportati
- Scambiare tensori e metadati di base anziché oggetti Python arbitrari
- Flussi che ispezionano e caricano tensori selezionati
Informazioni di base
| Voce | GGUF | Safetensors |
|---|---|---|
| Estensione | .gguf | .safetensors |
| Tipo MIME | application/octet-stream | application/octet-stream |
| Usi comuni | Salvare e distribuire modelli di inferenza per runtime GGML compatibili · Riunire informazioni del modello e tensori in un formato | Archiviare e distribuire pesi tensoriali di apprendimento automatico · Caricare pesi tra framework supportati |
| Come aprire | Apri il file con un loader GGUF affidabile che supporti modello e tipi di tensore. Verifica architettura, versione del runtime, metodo di quantizzazione e necessità di shard o file ausiliari. | Usa una libreria o uno strumento per modelli compatibile con Safetensors. Gli strumenti supportati possono mostrare nomi, dtype e shape prima di caricare tutti i pesi su un dispositivo. Un header JSON non rende l’intero file un documento di testo JSON. |
| Esportare o convertire | Segui le istruzioni di conversione del modello sorgente e del runtime di destinazione. Conversione e quantizzazione possono essere fasi separate. Valuta qualità, velocità e memoria con input rappresentativi; conserva insieme tutti gli shard e i file necessari, come mmproj per modelli multimodali. | Salva i pesi con un’API supportata dal framework del modello. Convertire un input basato su pickle può deserializzarlo; non caricare alla leggera una fonte non attendibile. Dopo la conversione confronta nomi, shape, dtype, numero di elementi e output del modello. |
Scegli in base all'uso
Inferenza locale con strumenti compatibili come llama.cpp
Salvare e distribuire modelli di inferenza per runtime GGML compatibili · Riunire informazioni del modello e tensori in un formato
GGUFDistribuire modelli quantizzati o meno supportati dal runtime
Salvare e distribuire modelli di inferenza per runtime GGML compatibili · Riunire informazioni del modello e tensori in un formato
GGUFScambiare tensori e metadati di base anziché oggetti Python arbitrari
Archiviare e distribuire pesi tensoriali di apprendimento automatico · Caricare pesi tra framework supportati
SafetensorsFlussi che ispezionano e caricano tensori selezionati
Archiviare e distribuire pesi tensoriali di apprendimento automatico · Caricare pesi tra framework supportati
SafetensorsPunto chiave 1
GGUF include metadati del modello chiave-valore e descrittori dei tensori.
Approfondisci le differenzePunto chiave 2
Safetensors registra nomi, dtype, shape e intervalli dei dati dei tensori, non codice arbitrario di inferenza.
Approfondisci le differenzeApprofondisci le differenze
Cambiare l’estensione non rende intercambiabili i formati. Conservate la sorgente e scegliete convertitori e caricatori compatibili con architettura e tipi di tensore.
- GGUF supporta tipi in virgola mobile e quantizzati. La quantizzazione può cambiare i valori e non è semplice compressione senza perdita; il nome non determina dimensioni o precisione.
- Verificate configurazione, tokenizer e indici dei frammenti di Safetensors, e file suddivisi o ausiliari di GGUF secondo la distribuzione. Confrontate risultati, memoria e velocità con gli stessi input e pre-elaborazione.
Domande frequenti
GGUF può ripristinare completamente il file Safetensors originale?
Non è garantito. Se la quantizzazione ha cambiato i valori, la conversione non ripristina precisione originale o stato di addestramento. Conservate pesi e impostazioni originali.