Format Atlas

指南

AI模型交接前的检查流程

区分权重、计算图和推理环境。交付依赖及代表性输入的验证结果;转换成功不等于兼容性或质量已获确认。

应该选择哪种格式?

根据文件在工作流程中的用途选择格式。

  • 记录运行要求与来源
  • 准备完整的必要文件
  • 在接收方验证推理

记录运行要求与来源

记录来源、revision、使用条件、架构、输入输出类型与形状、预处理和后处理。对照目标运行时的ONNX IR/opset和GGUF张量类型支持。

准备完整的必要文件

保持ONNX外部权重引用,提供必要的Safetensors分片、索引、模型定义及其他依赖。GGUF也可能需要分片或辅助文件。确认tokenizer和设置是内置还是单独提供。

在接收方验证推理

使用已更新的兼容加载器检查结构及张量名称、类型、形状。用相同预处理和输入对照原模型输出,记录允许误差和内存使用。分别评估转换与量化的变化。

候选格式

ONNX

适用于: 向兼容运行时交换计算图

不太适用于: 默认所有算子和opset都受支持

Safetensors

适用于: 保存和分发张量权重

不太适用于: 认为只有权重就包含模型定义和执行代码

GGUF

适用于: 向兼容GGML实现交付推理模型

不太适用于: 仅凭扩展名判断量化或兼容性

导出前注意事项

  • 格式名称或哈希一致不能证明来源或安全。不要贸然执行不可信代码或转换源文件,并检查依赖的来源。
  • 保留原模型、转换参数和文件清单。单个输入的输出一致不能保证所有输入和设备上的质量。

相关比较

指南

参考资料与规范