ONNX Runtime 怎样把优化后的模型另存为文件

ONNX Runtime 不是通过额外的“导出优化模型”函数完成这件事，而是在创建推理会话时读取 SessionOptions。把图优化级别写入 graph_optimization_level，再把目标文件写入 optimized_model_filepath，最后用这组配置创建 InferenceSession，优化后的模型就会被序列化到指定路径。

官方地址：https://onnxruntime.ai/

最小可用组合是“图优化级别 + 优化模型路径 + InferenceSession”。只设置优化级别不会自动把结果另存为文件；路径的父目录也必须提前存在。

先把优化级别和输出路径放进 SessionOptions

ONNX Runtime 的优化级别是逐级包含的：Extended 会包含 Basic，All 则会启用更完整的可用优化。第一次生成文件时，建议先使用 ORT_ENABLE_EXTENDED，确认模型和运行时组合稳定后再按实际场景评估 ORT_ENABLE_ALL。

import onnxruntime as ort

# 这里的目录必须已经存在，库不会替你创建父目录
output_path = "artifacts/optimized_model.onnx"

# SessionOptions 同时承载优化级别和序列化目标
session_options = ort.SessionOptions()
session_options.graph_optimization_level = (
    ort.GraphOptimizationLevel.ORT_ENABLE_EXTENDED
)
session_options.optimized_model_filepath = output_path

# 创建会话时触发图加载、优化，并把优化后的模型写到 output_path
session = ort.InferenceSession("models/model.onnx", session_options)
print(output_path)

关键点是赋值顺序并不代替会话创建：真正触发模型读取和优化的是最后一行 InferenceSession。如果父目录不存在、模型本身无法加载，或者某个算子不被当前安装包支持，保存动作会和会话创建一起失败。

为什么只写 graph_optimization_level 还不够

graph_optimization_level 只决定会话加载时允许哪些图变换；它不是持久化开关。只有设置 optimized_model_filepath，ONNX Runtime 才会在图级变换后把结果写出。

因此下面两种写法的结果不同：

• 只设置优化级别：当前会话可以使用图优化，但不要求生成新的模型文件。
• 同时设置优化级别和输出路径：当前会话使用图优化，并请求把优化后的模型序列化到指定位置。

保存文件是为了复用或分析优化后的图，不等于已经得到固定的线上性能收益。执行提供程序、线程配置、输入形状和硬件仍可能影响最终表现；不要把这个文件当成 CUDA、TensorRT 等执行提供程序的内核缓存。

保存后的文件怎样再次加载

如果目标路径以 .onnx 结尾，Python API 默认按 ONNX 模型保存。再次使用时可以把它直接交给新的 InferenceSession；原始模型的输入输出名称和形状契约仍然是调用方需要关注的接口。

import onnxruntime as ort

# 重新加载已经落盘的优化模型，不再重复指定原始模型路径
optimized_session = ort.InferenceSession(
    "artifacts/optimized_model.onnx"
)

# 读取输入输出元数据，确保调用方仍使用模型公开的名字
input_names = [item.name for item in optimized_session.get_inputs()]
output_names = [item.name for item in optimized_session.get_outputs()]
print(input_names, output_names)

如果希望保存 ORT 格式，可以使用 .ort 后缀，或通过 add_session_config_entry 明确设置 session.save_model_format。这已经不是“另存为优化后的 ONNX 文件”的默认路径，部署脚本应把扩展名、加载方式和运行时版本一起记录。

遇到文件没有生成时怎么排查

1. 先确认 optimized_model_filepath 不是空字符串，并检查父目录是否存在且当前进程可写。
2. 再确认代码确实执行了 InferenceSession，只创建 SessionOptions 不会写文件。
3. 如果会话本身报错，先按原始模型加载失败处理：检查算子、外部数据文件和 ONNX Runtime 安装包是否匹配。
4. 如果输出扩展名是 .ort，按 ORT 格式处理；不要把它误当作普通的 .onnx 文本模型去检查。

这套方法适合在构建阶段生成一个可复用的优化模型，然后在部署阶段加载它。若模型会针对不同硬件、执行提供程序或动态形状分别部署，应为这些组合保留独立的产物和配置说明。

相关问题

为什么输出目录里没有文件？通常是父目录不存在、路径不可写，或者会话创建在序列化前已经因模型加载错误中止。

保存优化模型会不会改变输入输出名字？图优化主要作用于内部计算图；调用方仍应以重新加载后的 get_inputs() 和 get_outputs() 元数据为准，不要靠文件名猜接口。

优化后的文件一定更快吗？不一定。它减少了会话启动时重复做图变换的工作，实际推理速度还取决于执行提供程序、硬件、线程和输入形状。