Guias
Verificações antes de entregar um modelo de IA
Diferencie pesos, grafos computacionais e ambientes de inferência. Entregue dependências e resultados de entradas representativas; converter com sucesso não comprova compatibilidade ou qualidade.
Qual formato você deve escolher?
Escolha conforme a função de cada arquivo no fluxo de trabalho.
- Registrar requisitos e origem
- Reunir os arquivos necessários
- Validar a inferência no destino
Registrar requisitos e origem
Registre origem, revisão, condições de uso, arquitetura, tipos e shapes de entrada/saída, pré e pós-processamento. Confira IR/opset ONNX e tipos de tensores GGUF no runtime de destino.
Reunir os arquivos necessários
Preserve referências a pesos externos ONNX. Inclua shards Safetensors, índices, definições do modelo e dependências necessárias. GGUF pode precisar de partes ou arquivos auxiliares. Verifique se tokenizer e configurações estão incorporados ou separados.
Validar a inferência no destino
Use um loader atualizado e compatível para conferir estrutura, nomes, tipos e shapes dos tensores. Com as mesmas entradas e pré-processamento, compare saídas e registre tolerâncias e memória. Avalie conversão e quantização separadamente.
Formatos a considerar
ONNX
Indicado para: Trocar grafos com runtimes compatíveis
Menos indicado para: Pressupor suporte a todos os operadores e opsets
Safetensors
Indicado para: Salvar e distribuir pesos de tensores
Menos indicado para: Pressupor que os pesos incluem definição e código executável
GGUF
Indicado para: Entregar modelos a implementações GGML compatíveis
Menos indicado para: Deduzir quantização ou compatibilidade pela extensão
Antes de exportar
- Nome do formato ou hashes iguais não comprovam origem ou segurança. Não execute sem cuidado código ou entradas de conversão não confiáveis; confira a procedência.
- Mantenha modelo original, parâmetros e inventário. Uma entrada coincidente não garante qualidade para todas as entradas ou dispositivos.