沈佳明
15068880233china-sjm@qq.com
离职，随时到岗测试开发专家
个人总结
- 8 年互联网质量保障与测试开发经验，熟悉出行、电商、用户增长、交易计费及 AI 应用等业务场景，具备复杂系统测试方案设计、全链路质量保障和测试工程化经验。
- 曾担任业务线测试负责人，主导自动化测试、资损防控、发布卡点、故障应急和线上问题治理体系建设；具备千万级流量业务、10+ 团队复杂项目协同及小团队交付经验。
- 熟悉 Java / Python / NodeJS / SQL 等技术生态，具备代码理解、链路排查、数据分析和测试工具开发能力，在流量回放、性能压测、监控告警与复杂链路可测性建设方面有实践经验。
工作经历
职业休整
2025年12月 - 2026年08月
- 阶段性职业休整，处理个人事务及既定个人计划，并进行职业方向梳理与能力更新；目前相关安排均已完成。
支付宝（杭州）信息技术有限公司
2024年06月 - 2025年11月
测试开发专家（P7）
项目一：出行金刚位「出去玩」文旅阵地建设 | 质量负责人｜带领 2 人质量小组
项目背景
- 支付宝出行频道千万级 PV 首页新增核心流量入口「出去玩」，整合机酒旅、攻略等文旅服务。项目横跨客户端、小程序、服务端、推荐算法、商品中台与投放平台，涉及 10+ 团队协同，一期投入超 300 人日。
核心职责与成果
- 全链路风险防控：负责文旅阵地 0-1 建设质量保障，针对首页结构变更、老版本兼容及多端发布风险开展影响面分析并制定质量方案，统筹跨团队测试协同，通过发布卡点、运营配置审核卡点和灰度发布策略，保障复杂项目按期高质量上线。
- 运营供给自动化巡检：针对海量商品、跳转及供给状态易出错的问题，建设基于云真机的线上自动巡检体系，模拟真实用户链路校验商品投放、景区服务、页面可达性及供给状态；累计巡检 16 万+ 个商品，沉淀 14+ 个自动巡检脚本，8 个核心脚本准确率 >90%，问题供给有效拦截率 78.8%。
- 性能与容量保障：针对运营投放与推荐 Feeds 大流量场景开展专项压测，支撑首页核心链路在 500 QPS 峰值下稳定运行，并建立应急回滚与异常兜底机制。
项目二：出行助手 Agent 质量保障与评测体系建设 | AI 产品质量负责人｜带领 3 人质量小组
项目背景
- 出行助手 Agent 承接知识问答、履约服务、出行规划、服务推荐等复杂需求，涉及多轮对话、Planning、RAG、MCP 工具调用及个性化推荐等能力。由于 Agent 输出具有非确定性，早期缺少统一 Benchmark、评测指标和归因体系，导致版本效果难以快速验证、线上 badcase 难以系统归因，且离线评测结果容易与线上用户体验存在偏差，因此需要建设一套覆盖评测、归因、优化闭环的 Agent 质量体系。
核心职责与成果
- Benchmark 体系：主导 0-1 建设可复用、可回归、可归因的 SmartMobiBenchmark 与 Agent 质量闭环体系，负责 Benchmark 架构、评测指标、评测流程、评测集治理、自动化评测、badcase 回流和质量分析，支撑 3+ 轮 Agent 大版本评测和 20+ 轮小版本迭代。
- 端到端评测：建设端到端效果评测体系，覆盖知识问答、履约服务、出行规划、服务推荐 4 大能力域、20+ 子场景，定义相关性、事实性、合规性、完整性、准确性、易读性等核心指标；针对服务推荐专项，建立“应推荐场景不遗漏、非必要场景避免误推/过推、推荐结果精准召回”的业务可解释性判据。
- 模块化评测与链路归因：围绕 Planning、RAG、MCP 工具调用、个性化工具等关键模块，设计 query 改写、工具参数提取、工具分发、RAG 召回/语料准确性、工具结果准确性等模块级指标；基于端到端用例执行后的 trace 上下文评估各模块能力水位，识别链路短板并定位端到端 badcase 根因。
- 评测集质量治理：沉淀 50万+ 候选样本池、14.8 万常规 Benchmark 评测集和 2 万精品评测集；基于能力维度、难度等级、单/多轮对话等进行样本分层治理，并通过线上分布拟合、标签分布校准、过拟合样本汰换、业务迭代更新、线上 badcase 回流和定向扩充提升评测集可信度与线上代表性。
- 评测链路工程化：基于评测平台自建 Agent 业务评测链路，支持评测数据构造、上下文构建、trace 日志采集解析、评测看板与报告输出；建设线上评测自动化链路，实现生产日志与用户负反馈定期回流清洗（HiveSQL + UDF）、Agent 自动推理、LLM-as-Judge 标注、badcase 回流和评测报告输出，经人工复核后进入 badcase 案例库；建设线上可观测看板，支持基础性能指标、Agent效果指标实时监测。