第 12 课 从观点抽取到私有化交付:模型前后要接上什么
一条反馈,先拆观点,再匹配标签
在这个车企案例中,一条反馈可能同时包含部件问题、服务评价和语音转写错误。处理流程先拆分观点,抽取车型、场景、情感、意图及反馈文本位置,再从维护中的标签库选候选标签、复核歧义并统一品牌车型编码。
以虚构反馈“车机又卡了,但售后回电话很快”为例,应该保留两条观点及各自反馈文本位置。先看是否拆对,再看标签是否匹配。可以用向量检索与重排辅助选择,把可变的标签表与模型理解分开;是否采用这条链路,要看标签规模、歧义和实际检查结果。
先做能回归的基线,再决定要不要微调
先用少量经授权、脱敏并人工确认的样本,做一个可反复检查的基线,再比较示例提示或微调等改进方案。广告、重复文本、个人信息、转写错字、长文切分和输出格式异常都要有处理记录。不能靠修补格式把猜出来的字段当真。
把调试样本与最终评测样本分开,保留一批较晚时间的数据检查变化。每次更新都对照同一评测集,分别看观点抽取、标签选择、反馈文本定位和人工复核量。只有定位到具体错误与资源约束,再评估微调是否值得;不要把微调当作必经步骤。
对内对齐,结果才接得进产品
模型服务与业务平台即使由不同技术栈实现,也要约定单条与批量输入、输出字段、超时和失败处理。练习时写清:一条记录怎样追踪到反馈文本,缺字段怎么办,重复请求怎样识别,哪些结果进入人工复核,标签版本如何记录。模型分数好看,不能代替接口与业务口径一致。
私有化交付的七项核对
| 核对项 | 需要留下的证据 |
|---|---|
| 环境与离线准备 | 设备、显存、系统、网络限制及授权材料清单 |
| 版本兼容 | 驱动、运行库、推理框架或镜像的匹配记录 |
| 容量 | 模型、运行开销、缓存与其他服务的资源预算 |
| 服务就绪 | 模型、检索与业务入口的检查结果 |
| 压测 | 同一输入分布下的延迟、吞吐、错误与排队记录 |
| 稳定性 | 失败追踪、有限重试、告警、停用及恢复演练 |
| 数据接入 | 重复、漏处理、补跑、标签更新及写回核对 |
消息队列、定时任务、数仓等按客户已有系统选择,先说清处理语义,再选工具。
显存账与版本账,要分开查
资源预算不能只计算模型权重,还要考虑运行开销和 KV 缓存;文本长度与并发会影响容量和吞吐。多卡切分或量化也需要在目标设备上验证。使用 vLLM 时,应核对预编译包与 CUDA、PyTorch 构建的兼容性。版本和参数要按目标环境确定。
今天先做一步
用 10 条虚构反馈手工拆观点,留反馈文本位置和标签版本,再模拟一次标签改名、一次服务超时。无需启动模型或购买显卡。
本章产物与验收
- 一张“输入 → 观点 → 候选标签 → 复核 → 写回”流程表。
- 固定评测样本与两次版本对比;数据问题、口径问题和模型问题分开记录。
- 一张环境核对表:已知、未知、待验证明确区分;未验证的延迟和容量不填估计成绩。
学完后记得保存进度
完成标记保存在当前浏览器;登录后,会记住上次阅读的章节与位置。