沈佳明

工作经历

• 出行助手 Agent 承接知识问答、履约服务、出行规划、服务推荐等复杂需求，涉及多轮对话、Planning、RAG、MCP 工具调用及个性化推荐等能力。由于 Agent 输出具有非确定性，早期缺少统一 Benchmark、评测指标和归因体系，导致版本效果难以快速验证、线上 badcase 难以系统归因，且离线评测结果容易与线上用户体验存在偏差，因此需要建设一套覆盖评测、归因、优化闭环的 Agent 质量体系。

• Benchmark 体系：主导 0-1 建设可复用、可回归、可归因的 SmartMobiBenchmark 与 Agent 质量闭环体系，负责 Benchmark 架构、评测指标、评测流程、评测集治理、自动化评测、badcase 回流和质量分析，支撑 3+ 轮 Agent 大版本评测和 20+ 轮小版本迭代。
• 端到端评测：建设端到端效果评测体系，覆盖知识问答、履约服务、出行规划、服务推荐 4 大能力域、20+ 子场景，定义相关性、事实性、合规性、完整性、准确性、易读性等核心指标；针对服务推荐专项，建立“应推荐场景不遗漏、非必要场景避免误推/过推、推荐结果精准召回”的业务可解释性判据。
• 模块化评测与链路归因：围绕 Planning、RAG、MCP 工具调用、个性化工具等关键模块，设计 query 改写、工具参数提取、工具分发、RAG 召回/语料准确性、工具结果准确性等模块级指标；基于端到端用例执行后的 trace 上下文评估各模块能力水位，识别链路短板并定位端到端 badcase 根因。
• 评测集质量治理：沉淀 50万+ 候选样本池、14.8 万常规 Benchmark 评测集和 2 万精品评测集；基于能力维度、难度等级、单/多轮对话等进行样本分层治理，并通过线上分布拟合、标签分布校准、过拟合样本汰换、业务迭代更新、线上 badcase 回流和定向扩充提升评测集可信度与线上代表性。
• 评测链路工程化：基于评测平台自建 Agent 业务评测链路，支持评测数据构造、上下文构建、trace 日志采集解析、评测看板与报告输出；建设线上评测自动化链路，实现生产日志与用户负反馈定期回流清洗（HiveSQL + UDF）、Agent 自动推理、LLM-as-Judge 标注、badcase 回流和评测报告输出，经人工复核后进入 badcase 案例库；建设线上可观测看板，支持基础性能指标、Agent效果指标实时监测。
• LLM-as-Judge 自动评测与提效：设计并落地覆盖端到端效果、RAG、Planning、工具调用等核心指标的自动标注能力，采用「角色边界定义 + 单指标评审 + 输入证据约束 + 业务规则判定 + 判定标签 + JSON 结构化输出 + few-shot 示例 + Prompt 版本管理」框架，将复杂业务评价转化为可量化、可复核、可统计的评测指标；通过机评初筛、人工抽检复核和 Prompt 迭代持续校准，其中RAG 语料召回评估准确率达到 84.5%，千级样本标注耗时从人工约 2 天降低至自动标注约 1 小时，单轮评测周期从 3 天缩短至 1 天。
• badcase 治理：建立 Agent badcase 分类与归因体系，覆盖多轮上下文丢失、Planning 约束遗漏、LBS 参数优先级错误、工具调用异常、服务推荐错误、RAG 召回不足、事实幻觉等典型问题，结合 trace、模块结果和线上反馈推动Prompt、知识库、工具链和服务能力优化；推动同一评测口径下 Agent badcase 率从最高 60%+ 降低至 18%，下降 42 个百分点，badcase 完结率达到 73.3%。