关于我
一句话
10 年质量工程经验，近 2 年深耕 AI Agent / LLM 质量保障；独立从 0 到 1 搭建公司 Agent 评测体系（AgentEval）与 LLM 测试平台，能把质量体系「产品化」，可独立承担「测试 + 开发」双角色。
求职意向
测试开发 / 质量保障（AI·LLM）｜ 期望城市：北京 ｜ 邮箱：daxiahy@163.com
核心技能
- LLM / Agent 测试：角色卡多轮对话自动化、L1/L2/L3 断言分级、AI 辅助校验、Judge 校准、回归对比（Regression Delta）、Flaky 检测
- 评测指标体系：Task Success Rate、L1 Pass Rate、Skill Routing Accuracy、Tool Success / Tool Exception Rate
- 质量工程：上线准入四道关卡（结构校验/静态扫描/发布配置校验/发布后质检）、发布门禁、阶梯压测与容量定级、调用链可观测与分级降级、流量回放、接口自动化
- 开发与部署：Python（FastAPI·SQLAlchemy）、Java（Spring Boot）、React·TypeScript·Next.js、MySQL·PostgreSQL·Redis、Langfuse·mem0、Docker·Nginx·GitLab CI·Coolify·Shell
- AI 生态：Hermes Agent·FastGPT·OpenAI 兼容 API·MCP 服务集成·Nacos 配置/Skill 注册中心·Prompt 工程·内容安全防护（Jailbreak / 凭据泄露）
工作经历（摘要）
| 时间 | 公司 | 角色 |
|---|---|---|
| 2021.04 - 至今 | 北京五八到家信息技术集团有限公司（天鹅到家） | 测试开发 → 公司 AI Agent 质量体系负责人 |
| 2020.04 - 2020.07 | 武汉斗鱼鱼乐网络科技有限公司 | 测试工程师 |
| 2016.11 - 2019.08 | 好未来教育集团 | 测试工程师 |
代表项目
- 鹅宝 AI Agent 质量体系与评测平台（AgentEval）：L1/L2/L3 断言流水线、L3 Semantic Judge 自动判分、HITL 人工质检、Hermes Replay 回放、Skill 用例库与覆盖地图、CI 触发；落地核心指标体系与 Smoke 门禁（L1 ≥ 80%）；主持 80 条金标用例实机全量 Replay，定位 78 条 FAIL 根因。
- LLM 测试平台（天鹅AI评估平台）：独立设计 + 前后端 + 容器化部署；「角色卡」驱动的多轮对话自动化测试（用户画像/诉求/提问风格/终止条件）；AI 生成测试用例、AI 辅助校验；测试效率提升 60%、缺陷检出率提升 40%。
- 内部测试工具平台（Java/Spring）：接口管理、数据采集、多业务线测试辅助；开源流量回放平台的全链路搭建、源码改造与业务接入推广。
博客导览
本博客按简历主线组织，建议先看：
- 能力地图 · 简历条目 ↔ 博客文章（面试官动线）
- 置顶 5 篇：Agent 评测平台设计、运行时投毒事件分析、Langfuse 错误分析、高敏感技能掩码、A2A vs HTTP 压测
- 左侧导航分类：AI评测 / AI安全 / AI编程 / AI应用 / 性能测试 / 接口测试 / 测试
联系方式： daxiahy@163.com