Format Atlas

Ratgeber

Prüfungen vor der Übergabe eines KI-Modells

Trennen Sie Gewichte, Rechengraphen und Inferenzumgebungen. Übergeben Sie Abhängigkeiten und Ergebnisse repräsentativer Eingaben; erfolgreiche Konvertierung belegt weder Kompatibilität noch Qualität.

Welches Format sollten Sie wählen?

Wählen Sie nach der Rolle der Datei in Ihrem Arbeitsablauf.

  • Anforderungen und Herkunft erfassen
  • Benötigte Dateien zusammenstellen
  • Inferenz beim Empfänger validieren

Anforderungen und Herkunft erfassen

Dokumentieren Sie Quelle, Revision, Nutzungsbedingungen, Architektur, Ein-/Ausgabetypen und Formen sowie Vor- und Nachverarbeitung. Prüfen Sie ONNX-IR/opset und GGUF-Tensortypen gegen die Zielumgebung.

Benötigte Dateien zusammenstellen

Erhalten Sie ONNX-Verweise auf externe Gewichte. Legen Sie nötige Safetensors-Shards, Indizes, Modelldefinitionen und Abhängigkeiten bei. GGUF kann Teil- oder Zusatzdateien benötigen. Prüfen Sie, ob Tokenizer und Einstellungen eingebettet oder separat sind.

Inferenz beim Empfänger validieren

Prüfen Sie Struktur, Tensornamen, Typen und Formen mit einem aktuellen kompatiblen Loader. Vergleichen Sie bei gleichen Eingaben und gleicher Vorverarbeitung die Ausgaben mit der Quelle; dokumentieren Sie Toleranzen und Speicherbedarf. Bewerten Sie Konvertierung und Quantisierung getrennt.

Geeignete Formate

ONNX

Geeignet für: Rechengraphen mit kompatiblen Laufzeiten austauschen

Weniger geeignet für: Unterstützung aller Operatoren und opsets voraussetzen

Safetensors

Geeignet für: Tensor-Gewichte speichern und verteilen

Weniger geeignet für: Gewichte als vollständige Definition samt ausführbarem Code ansehen

GGUF

Geeignet für: Inferenzmodelle an kompatible GGML-Implementierungen übergeben

Weniger geeignet für: Quantisierung oder Kompatibilität aus der Endung ableiten

Vor dem Export prüfen

  • Formatname oder gleiche Hashes beweisen weder Herkunft noch Sicherheit. Führen Sie unvertrauenswürdigen Code oder Konvertierungsquellen nicht unbedacht aus; prüfen Sie deren Herkunft.
  • Bewahren Sie Quellmodell, Parameter und Dateiliste auf. Eine passende Testeingabe garantiert keine Qualität für alle Eingaben oder Geräte.

Ähnliche Vergleiche

Ratgeber

Quellen und Spezifikationen