Ratgeber
Prüfungen vor der Übergabe eines KI-Modells
Trennen Sie Gewichte, Rechengraphen und Inferenzumgebungen. Übergeben Sie Abhängigkeiten und Ergebnisse repräsentativer Eingaben; erfolgreiche Konvertierung belegt weder Kompatibilität noch Qualität.
Welches Format sollten Sie wählen?
Wählen Sie nach der Rolle der Datei in Ihrem Arbeitsablauf.
- Anforderungen und Herkunft erfassen
- Benötigte Dateien zusammenstellen
- Inferenz beim Empfänger validieren
Anforderungen und Herkunft erfassen
Dokumentieren Sie Quelle, Revision, Nutzungsbedingungen, Architektur, Ein-/Ausgabetypen und Formen sowie Vor- und Nachverarbeitung. Prüfen Sie ONNX-IR/opset und GGUF-Tensortypen gegen die Zielumgebung.
Benötigte Dateien zusammenstellen
Erhalten Sie ONNX-Verweise auf externe Gewichte. Legen Sie nötige Safetensors-Shards, Indizes, Modelldefinitionen und Abhängigkeiten bei. GGUF kann Teil- oder Zusatzdateien benötigen. Prüfen Sie, ob Tokenizer und Einstellungen eingebettet oder separat sind.
Inferenz beim Empfänger validieren
Prüfen Sie Struktur, Tensornamen, Typen und Formen mit einem aktuellen kompatiblen Loader. Vergleichen Sie bei gleichen Eingaben und gleicher Vorverarbeitung die Ausgaben mit der Quelle; dokumentieren Sie Toleranzen und Speicherbedarf. Bewerten Sie Konvertierung und Quantisierung getrennt.
Geeignete Formate
ONNX
Geeignet für: Rechengraphen mit kompatiblen Laufzeiten austauschen
Weniger geeignet für: Unterstützung aller Operatoren und opsets voraussetzen
Safetensors
Geeignet für: Tensor-Gewichte speichern und verteilen
Weniger geeignet für: Gewichte als vollständige Definition samt ausführbarem Code ansehen
GGUF
Geeignet für: Inferenzmodelle an kompatible GGML-Implementierungen übergeben
Weniger geeignet für: Quantisierung oder Kompatibilität aus der Endung ableiten
Vor dem Export prüfen
- Formatname oder gleiche Hashes beweisen weder Herkunft noch Sicherheit. Führen Sie unvertrauenswürdigen Code oder Konvertierungsquellen nicht unbedacht aus; prüfen Sie deren Herkunft.
- Bewahren Sie Quellmodell, Parameter und Dateiliste auf. Eine passende Testeingabe garantiert keine Qualität für alle Eingaben oder Geräte.