指南
AI模型交接前的检查流程
区分权重、计算图和推理环境。交付依赖及代表性输入的验证结果;转换成功不等于兼容性或质量已获确认。
应该选择哪种格式?
根据文件在工作流程中的用途选择格式。
- 记录运行要求与来源
- 准备完整的必要文件
- 在接收方验证推理
记录运行要求与来源
记录来源、revision、使用条件、架构、输入输出类型与形状、预处理和后处理。对照目标运行时的ONNX IR/opset和GGUF张量类型支持。
准备完整的必要文件
保持ONNX外部权重引用,提供必要的Safetensors分片、索引、模型定义及其他依赖。GGUF也可能需要分片或辅助文件。确认tokenizer和设置是内置还是单独提供。
在接收方验证推理
使用已更新的兼容加载器检查结构及张量名称、类型、形状。用相同预处理和输入对照原模型输出,记录允许误差和内存使用。分别评估转换与量化的变化。
候选格式
导出前注意事项
- 格式名称或哈希一致不能证明来源或安全。不要贸然执行不可信代码或转换源文件,并检查依赖的来源。
- 保留原模型、转换参数和文件清单。单个输入的输出一致不能保证所有输入和设备上的质量。