Vergleichen
GGUF oder Safetensors: Inferenzverteilung und Gewichte
GGUF verteilt Inferenzmodelle an kompatible GGML-basierte Implementierungen. Safetensors speichert benannte Tensoren; Modelldefinition und Ausführungsumgebung werden getrennt bereitgestellt.
Welches Format sollten Sie wählen?
Erwägen Sie GGUF für Inferenz in einer kompatiblen GGML-Umgebung oder Safetensors für Gewichte einer kompatiblen Modellimplementierung.
Geeignet für GGUF
Inferenzmodelle für kompatible GGML-Laufzeiten speichern und verteilen · Modellinformationen und Tensoren in einem Format zusammenführen
- Lokale Inferenz mit kompatiblen Werkzeugen wie llama.cpp
- Verteilung quantisierter oder nicht quantisierter unterstützter Modelle
Geeignet für Safetensors
Tensor-Gewichte für maschinelles Lernen speichern und verteilen · Gewichte zwischen unterstützten Frameworks laden
- Tensoren und Basis-Metadaten statt beliebiger Python-Objekte austauschen
- Ausgewählte Tensoren untersuchen und laden
Grundlegende Informationen
| Merkmal | GGUF | Safetensors |
|---|---|---|
| Dateiendung | .gguf | .safetensors |
| MIME-Typ | application/octet-stream | application/octet-stream |
| Häufige Verwendung | Inferenzmodelle für kompatible GGML-Laufzeiten speichern und verteilen · Modellinformationen und Tensoren in einem Format zusammenführen | Tensor-Gewichte für maschinelles Lernen speichern und verteilen · Gewichte zwischen unterstützten Frameworks laden |
| Öffnen | Öffnen Sie die Datei mit einem vertrauenswürdigen GGUF-Loader, der Modell und Tensortypen unterstützt. Prüfen Sie Architektur, Laufzeitversion, Quantisierung und erforderliche Shards oder Zusatzdateien. | Verwenden Sie eine Safetensors-kompatible Bibliothek oder ein Modellwerkzeug. Unterstützte Werkzeuge können Tensor-Namen, dtypes und shapes untersuchen, bevor alle Gewichte auf ein Gerät geladen werden. Ein JSON-Header macht nicht die gesamte Datei zu einem JSON-Textdokument. |
| Exportieren oder konvertieren | Befolgen Sie die Konvertierungshinweise des Quellmodells und der Ziellaufzeit. Konvertierung und Quantisierung können getrennte Schritte sein. Prüfen Sie Qualität, Geschwindigkeit und Speicherbedarf mit repräsentativen Eingaben; bewahren Sie alle Shards und benötigten Dateien wie mmproj für multimodale Modelle zusammen auf. | Speichern Sie Tensor-Gewichte mit einer vom Modellframework unterstützten API. Eine Konvertierung von einer Pickle-basierten Eingabe kann diese deserialisieren; laden Sie eine nicht vertrauenswürdige Quelldatei daher nicht unbedacht. Vergleichen Sie anschließend Tensor-Namen, shapes, dtypes, Elementanzahl und Modellausgaben. |
Nach Einsatzzweck wählen
Lokale Inferenz mit kompatiblen Werkzeugen wie llama.cpp
Inferenzmodelle für kompatible GGML-Laufzeiten speichern und verteilen · Modellinformationen und Tensoren in einem Format zusammenführen
GGUFVerteilung quantisierter oder nicht quantisierter unterstützter Modelle
Inferenzmodelle für kompatible GGML-Laufzeiten speichern und verteilen · Modellinformationen und Tensoren in einem Format zusammenführen
GGUFTensoren und Basis-Metadaten statt beliebiger Python-Objekte austauschen
Tensor-Gewichte für maschinelles Lernen speichern und verteilen · Gewichte zwischen unterstützten Frameworks laden
SafetensorsAusgewählte Tensoren untersuchen und laden
Tensor-Gewichte für maschinelles Lernen speichern und verteilen · Gewichte zwischen unterstützten Frameworks laden
SafetensorsWichtiger Punkt 1
GGUF enthält Schlüssel-Wert-Modellmetadaten und Tensorbeschreibungen.
Unterschiede im DetailWichtiger Punkt 2
Safetensors erfasst Tensornamen, dtype, shape und Datenbereiche, keinen beliebigen Inferenzcode.
Unterschiede im DetailUnterschiede im Detail
Eine geänderte Dateiendung macht die Formate nicht austauschbar. Bewahren Sie die Quelle auf und wählen Sie Konverter und Loader, die Architektur und Tensortypen unterstützen.
- GGUF unterstützt Gleitkomma- und quantisierte Tensortypen. Quantisierung kann Werte verändern und ist nicht bloß verlustfreie Kompression; der Formatname bestimmt weder Größe noch Präzision.
- Prüfen Sie Konfiguration, Tokenizer und Shard-Indizes für Safetensors sowie geteilte oder ergänzende GGUF-Dateien nach den Verteilungsvorgaben. Vergleichen Sie Ausgaben, Speicherbedarf und Geschwindigkeit mit identischen Eingaben und Vorverarbeitung.
Häufige Fragen
Kann GGUF die ursprüngliche Safetensors-Datei vollständig wiederherstellen?
Das ist nicht garantiert. Nach wertverändernder Quantisierung stellt eine Konvertierung weder ursprüngliche Präzision noch Trainingszustand wieder her. Behalten Sie Originalgewichte und Einstellungen.