Guides
Vérifications avant de transmettre un modèle d'IA
Distinguez poids, graphes de calcul et environnements d'inférence. Joignez dépendances et résultats d'entrées représentatives ; réussir la conversion ne prouve ni compatibilité ni qualité.
Quel format choisir ?
Choisissez selon le rôle de chaque fichier dans votre flux de travail.
- Consigner exigences et provenance
- Réunir les fichiers nécessaires
- Valider l'inférence à destination
Consigner exigences et provenance
Notez source, révision, conditions d'utilisation, architecture, types et formes d'entrée/sortie, prétraitement et post-traitement. Vérifiez IR/opset ONNX et types de tenseurs GGUF dans l'environnement cible.
Réunir les fichiers nécessaires
Préservez les références aux poids externes ONNX. Incluez fragments Safetensors, index, définitions et dépendances nécessaires. GGUF peut nécessiter des parties ou fichiers auxiliaires. Vérifiez si tokenizer et réglages sont intégrés ou séparés.
Valider l'inférence à destination
Avec un chargeur compatible à jour, vérifiez structure, noms, types et formes des tenseurs. À prétraitement et entrées identiques, comparez les sorties à la source et notez tolérances et mémoire. Évaluez conversion et quantification séparément.
Formats à envisager
ONNX
Adapté pour: Échanger des graphes avec des environnements compatibles
Moins adapté pour: Présumer tous les opérateurs et opsets pris en charge
Safetensors
Adapté pour: Enregistrer et distribuer des poids de tenseurs
Moins adapté pour: Présumer que les poids incluent définition et code exécutable
GGUF
Adapté pour: Transmettre des modèles aux implémentations GGML compatibles
Moins adapté pour: Déduire quantification ou compatibilité de l'extension
Avant l’export
- Nom du format ou hachages identiques ne prouvent ni origine ni sécurité. N'exécutez pas sans précaution du code ou des sources de conversion non fiables ; vérifiez leur provenance.
- Conservez modèle source, paramètres et inventaire. Une entrée concordante ne garantit pas la qualité pour toutes les entrées ou tous les appareils.