基础体系
模型生命周期与 LLMOps 边界
训练、评测、部署、推理和反馈闭环分别解决什么问题。
理解 LLMOps 的第一步,不是记住平台组件,而是明确每个阶段交付什么,以及它对下一阶段作出了哪些承诺。
五个阶段,五类交付物
| 阶段 | 核心问题 | 主要交付物 |
|---|---|---|
| 训练与微调 | 模型怎样获得目标能力 | 权重、tokenizer、训练配置、数据版本 |
| 评测 | 能力和风险是否达到门槛 | 数据集、评测代码、分数与失败样本 |
| 制品化 | 结果能否稳定复现 | 镜像、模型制品、依赖锁定、校验值 |
| 部署与推理 | 怎样在资源约束下对外服务 | 服务配置、容量模型、SLO、回滚方案 |
| 线上反馈 | 真实流量暴露了什么 | 业务指标、异常样本、故障记录、改进任务 |
LLMOps 的边界在哪里
LLMOps 会与 MLOps、平台工程和 SRE 重叠,但关注点不同:
- MLOps 更广,覆盖传统机器学习与大模型的全生命周期。
- LLMOps 更关注大模型特有的问题,例如超大制品、GPU 资源、Prompt 与上下文、推理调度和生成质量。
- 平台工程 提供标准化基础设施和自助能力。
- SRE 用 SLO、错误预算和工程手段约束可靠性风险。
实际组织里不必强行划出部门边界。更有价值的是明确责任接口:谁定义评测门槛,谁对部署配置负责,谁在异常发生时拥有止损权限。
一次发布至少要能回答什么
- 运行的是哪一份模型和 tokenizer?
- 它通过了哪一版评测,失败项是什么?
- 使用什么镜像、引擎版本和启动参数?
- 目标流量下的容量、P95 TTFT 和 P95 TPOT 是多少?
- 灰度、回滚与兼容策略是什么?
- 哪些指标能够证明发布成功或发生退化?
如果这些问题无法被同一条发布记录串起来,系统仍然存在不可追踪的断点。
一个实用判断
把 LLMOps 看作“模型供应链加生产反馈闭环”更准确:前半段保证交付物可信,后半段保证服务可控,并把线上事实重新带回模型改进。