JEV / LESSON 08 · 12 分钟
Jev 如何从 Demo 走向上线？样本、阈值与回退的完整流程
用一张可复现的评估表检查业务错误、转人工率与端到端成本。
定义一次完整处置
不要只评模型标签。客服分流的一次处置包括：读取工单、查订单、构造 state、调用 Jev、检查答案、分配队列或转人工、记录结果。把每一步的失败路径也写下。
建样本表
每行至少保存脱敏 state、人工标签、场景类别、候选集、模型版本、预测、置信度或 noul 值、实际动作、是否需要人工，以及错误成本。区分常见样本与高风险长尾样本。
先定错误成本，再调阈值
误把退款需求分给物流与把包裹问题送人工，成本不同。将自动阈值在一组标注样本上调节，再用另一组未用于调参的样本验证。低置信度、缺字段或 API 失败都走明确回退。
量整个流程
报告路由正确率、最严重错误数、人工复核比例、p50/p95 端到端延迟、每千单总成本和用户体验。与 LLM 比较时使用同一批样本、合理的结构化输出方案与相同的运行环境。
上线与回归
先用只读或可撤销动作、小比例流量和人工抽检。记录模型版本、请求 ID 与样本分组；任何模型、候选集或业务阈值更新都触发回归评估。遇到分布变化或错误成本升高则退回人工路径。
可复制的评估表头
case_id, locale, scenario, state_redacted, expected_label, predicted_label, confidence_or_noul, model_version, action, human_review, error_cost, latency_ms。不要在表中存放 API 密钥或无关个人资料。
下载空白评估表
CSV 只含表头，不包含用户资料或模型结果。填入自己的脱敏样本后，用表中的 expected_label 与 predicted_label 检查错误，用 action 与 human_review 看完整流程。
CSV ↓动手练习
动手练习
阈值在一组样本上调好了，下一步是什么？
先看原始任务：客服真正需要什么？
从客户原话、核实订单、设计三道问题，到阅读示意结果、处理边界案例和上线评估，完整走一遍 Jev 工作流。
完整实战：一条“显示送达却没收到”的工单，如何设计 Jev 决策流程学习进度仅保存在当前浏览器