LLMOpsGuide

基础体系

模型生命周期与 LLMOps 边界

训练、评测、部署、推理和反馈闭环分别解决什么问题。

理解 LLMOps 的第一步,不是记住平台组件,而是明确每个阶段交付什么,以及它对下一阶段作出了哪些承诺。

五个阶段,五类交付物

阶段 核心问题 主要交付物
训练与微调 模型怎样获得目标能力 权重、tokenizer、训练配置、数据版本
评测 能力和风险是否达到门槛 数据集、评测代码、分数与失败样本
制品化 结果能否稳定复现 镜像、模型制品、依赖锁定、校验值
部署与推理 怎样在资源约束下对外服务 服务配置、容量模型、SLO、回滚方案
线上反馈 真实流量暴露了什么 业务指标、异常样本、故障记录、改进任务

LLMOps 的边界在哪里

LLMOps 会与 MLOps、平台工程和 SRE 重叠,但关注点不同:

  • MLOps 更广,覆盖传统机器学习与大模型的全生命周期。
  • LLMOps 更关注大模型特有的问题,例如超大制品、GPU 资源、Prompt 与上下文、推理调度和生成质量。
  • 平台工程 提供标准化基础设施和自助能力。
  • SRE 用 SLO、错误预算和工程手段约束可靠性风险。

实际组织里不必强行划出部门边界。更有价值的是明确责任接口:谁定义评测门槛,谁对部署配置负责,谁在异常发生时拥有止损权限。

一次发布至少要能回答什么

  1. 运行的是哪一份模型和 tokenizer?
  2. 它通过了哪一版评测,失败项是什么?
  3. 使用什么镜像、引擎版本和启动参数?
  4. 目标流量下的容量、P95 TTFT 和 P95 TPOT 是多少?
  5. 灰度、回滚与兼容策略是什么?
  6. 哪些指标能够证明发布成功或发生退化?

如果这些问题无法被同一条发布记录串起来,系统仍然存在不可追踪的断点。

一个实用判断

把 LLMOps 看作“模型供应链加生产反馈闭环”更准确:前半段保证交付物可信,后半段保证服务可控,并把线上事实重新带回模型改进。

这篇笔记会随着实践继续校正。发现问题,欢迎在 GitHub 交流。

提交反馈

输入关键词,或选择最近更新