Comparar
GGUF vs Safetensors: distribuição para inferência e pesos
GGUF distribui modelos de inferência para implementações compatíveis baseadas em GGML. Safetensors armazena tensores nomeados; a definição do modelo e o ambiente são fornecidos separadamente.
Qual formato você deve escolher?
Considere GGUF para inferência em um ambiente GGML compatível, ou Safetensors para pesos usados por uma implementação compatível do modelo.
Indicado para GGUF
Armazenar e distribuir modelos de inferência para runtimes GGML compatíveis · Reunir informações do modelo e tensores em um formato
- Inferência local com ferramentas compatíveis como llama.cpp
- Distribuir modelos quantizados ou não aceitos pelo runtime
Indicado para Safetensors
Armazenar e distribuir pesos tensoriais de aprendizado de máquina · Carregar pesos entre frameworks compatíveis
- Trocar tensores e metadados básicos em vez de objetos Python arbitrários
- Fluxos que inspecionam e carregam tensores selecionados
Informações básicas
| Campo | GGUF | Safetensors |
|---|---|---|
| Extensão | .gguf | .safetensors |
| Tipo MIME | application/octet-stream | application/octet-stream |
| Usos comuns | Armazenar e distribuir modelos de inferência para runtimes GGML compatíveis · Reunir informações do modelo e tensores em um formato | Armazenar e distribuir pesos tensoriais de aprendizado de máquina · Carregar pesos entre frameworks compatíveis |
| Como abrir | Abra com um carregador GGUF confiável que suporte o modelo e seus tipos de tensor. Confira arquitetura, versão do runtime, método de quantização e a necessidade de fragmentos ou arquivos auxiliares. | Use uma biblioteca ou ferramenta de modelos compatível com Safetensors. Ferramentas compatíveis permitem examinar nomes, tipos e formas antes de carregar todos os pesos em um dispositivo. O cabeçalho JSON não transforma o arquivo inteiro em um documento de texto JSON. |
| Exportar ou converter | Siga as instruções de conversão do modelo de origem e do runtime de destino. Conversão e quantização podem ser etapas separadas. Avalie qualidade, velocidade e memória com entradas representativas; mantenha juntos os fragmentos e arquivos necessários, como mmproj para modelos multimodais. | Salve os pesos usando uma API compatível com o framework do modelo. Converter uma entrada baseada em pickle pode desserializá-la; não carregue sem cuidado um arquivo de origem não confiável. Depois da conversão, compare nomes, formas, tipos, quantidade de elementos e saídas do modelo. |
Escolha por finalidade
Inferência local com ferramentas compatíveis como llama.cpp
Armazenar e distribuir modelos de inferência para runtimes GGML compatíveis · Reunir informações do modelo e tensores em um formato
GGUFDistribuir modelos quantizados ou não aceitos pelo runtime
Armazenar e distribuir modelos de inferência para runtimes GGML compatíveis · Reunir informações do modelo e tensores em um formato
GGUFTrocar tensores e metadados básicos em vez de objetos Python arbitrários
Armazenar e distribuir pesos tensoriais de aprendizado de máquina · Carregar pesos entre frameworks compatíveis
SafetensorsFluxos que inspecionam e carregam tensores selecionados
Armazenar e distribuir pesos tensoriais de aprendizado de máquina · Carregar pesos entre frameworks compatíveis
SafetensorsPonto principal 1
GGUF inclui metadados do modelo em pares chave-valor e descritores de tensores.
Mais sobre as diferençasPonto principal 2
Safetensors registra nomes, dtype, shape e intervalos de dados dos tensores, não código arbitrário de inferência.
Mais sobre as diferençasMais sobre as diferenças
Mudar a extensão não torna os formatos intercambiáveis. Preserve a origem e escolha conversores e carregadores compatíveis com a arquitetura e os tipos de tensor.
- GGUF aceita tipos de ponto flutuante e quantizados. A quantização pode mudar valores e não é apenas compressão sem perdas; o nome não determina tamanho nem precisão.
- Confira configurações, tokenizadores e índices de fragmentos de Safetensors, e arquivos divididos ou auxiliares de GGUF conforme a distribuição. Compare saídas, memória e velocidade com entradas e pré-processamento idênticos.
Perguntas frequentes
GGUF pode restaurar integralmente o arquivo Safetensors original?
Não há garantia. Se a quantização mudou valores, converter não recupera a precisão original nem o estado de treinamento. Guarde os pesos e ajustes originais.