Comparar
GGUF frente a Safetensors: distribución para inferencia y pesos
GGUF distribuye modelos de inferencia para implementaciones compatibles basadas en GGML. Safetensors guarda tensores con nombre; la definición del modelo y el entorno se proporcionan aparte.
¿Qué formato deberías elegir?
Considere GGUF para inferencia en un entorno GGML compatible, o Safetensors para usar pesos en una implementación compatible del modelo.
Adecuado para GGUF
Guardar y distribuir modelos de inferencia para runtimes GGML compatibles · Mantener juntos los datos del modelo y sus tensores
- Inferencia local con herramientas compatibles como llama.cpp
- Distribuir modelos cuantizados o no según el runtime
Adecuado para Safetensors
Guardar y distribuir pesos tensoriales de aprendizaje automático · Cargar pesos entre frameworks compatibles
- Intercambiar tensores y metadatos básicos en lugar de objetos Python arbitrarios
- Flujos que inspeccionan y cargan tensores seleccionados
Información básica
| Campo | GGUF | Safetensors |
|---|---|---|
| Extensión | .gguf | .safetensors |
| Tipo MIME | application/octet-stream | application/octet-stream |
| Usos habituales | Guardar y distribuir modelos de inferencia para runtimes GGML compatibles · Mantener juntos los datos del modelo y sus tensores | Guardar y distribuir pesos tensoriales de aprendizaje automático · Cargar pesos entre frameworks compatibles |
| Cómo abrir | Ábrelo con un cargador GGUF fiable compatible con el modelo y sus tipos de tensor. Comprueba arquitectura, versión del runtime, método de cuantización y si hacen falta fragmentos o archivos auxiliares. | Usa una biblioteca o herramienta de modelos compatible con Safetensors. Las herramientas compatibles permiten consultar nombres, tipos y formas antes de cargar todos los pesos en un dispositivo. Que la cabecera sea JSON no convierte todo el archivo en texto JSON. |
| Exportar o convertir | Sigue las instrucciones de conversión del modelo de origen y el runtime de destino. La conversión y la cuantización pueden ser etapas distintas. Evalúa calidad, velocidad y memoria con entradas representativas; conserva juntos los fragmentos y archivos necesarios, como mmproj para modelos multimodales. | Guarda los pesos tensoriales mediante una API compatible con el framework. Convertir desde una entrada basada en pickle puede deserializarla; no cargues a la ligera un archivo de origen no confiable. Tras convertir, compara nombres, formas, tipos, número de elementos y resultados del modelo. |
Elegir según el uso
Inferencia local con herramientas compatibles como llama.cpp
Guardar y distribuir modelos de inferencia para runtimes GGML compatibles · Mantener juntos los datos del modelo y sus tensores
GGUFDistribuir modelos cuantizados o no según el runtime
Guardar y distribuir modelos de inferencia para runtimes GGML compatibles · Mantener juntos los datos del modelo y sus tensores
GGUFIntercambiar tensores y metadatos básicos en lugar de objetos Python arbitrarios
Guardar y distribuir pesos tensoriales de aprendizaje automático · Cargar pesos entre frameworks compatibles
SafetensorsFlujos que inspeccionan y cargan tensores seleccionados
Guardar y distribuir pesos tensoriales de aprendizaje automático · Cargar pesos entre frameworks compatibles
SafetensorsPunto clave 1
GGUF incluye metadatos del modelo de tipo clave-valor y descriptores de tensores.
Más sobre las diferenciasPunto clave 2
Safetensors registra nombres, dtype, shape y rangos de datos de tensores, no código arbitrario de inferencia.
Más sobre las diferenciasMás sobre las diferencias
Cambiar la extensión no permite intercambiar estos formatos. Conserve el origen y elija conversores y cargadores compatibles con la arquitectura y los tipos de tensor.
- GGUF admite tipos de punto flotante y cuantizados. La cuantización puede cambiar valores y no es solo compresión sin pérdida; el nombre no determina tamaño ni precisión.
- Compruebe configuración, tokenizadores e índices de fragmentos de Safetensors, y archivos divididos o auxiliares de GGUF según la distribución. Compare salidas, memoria y velocidad con entradas y preprocesamiento idénticos.
Preguntas frecuentes
¿GGUF puede restaurar por completo el archivo Safetensors original?
No está garantizado. Si la cuantización cambió valores, convertir no recupera la precisión original ni el estado de entrenamiento. Conserve pesos y ajustes originales.