作者文章归档：daxiahy
导读：这篇文章演示如何用 Langfuse 对生产 LLM 应用做耗时拆解：按端分层、全池随机抽样 80 条 trace，用"独占耗时"口径（父节点时长减去子节点）把 LLM、工具、Skill、框架规划各段分别量化。核心结论是大模型生成耗时占全链路 67.6%~95.9%，输入长度与耗时强正相关（r≈0.71）、多轮上下文累积让成本加速膨胀，超长尾多来自模型服务端抖动。适合做 LLM 应用性能优化与可观测性建设的工程师，采样与归因方法可复制到任何应用。
分类：AI评测 ｜ 标签：LLM、可观测性、Langfuse、性能分析
数据
导读：这篇文章用两起真实整改案例回答"模型为何调用文档里明确禁止的工具"：对话下单 Skill 健康度仅 38/100、中断率 79.1%，trace 显示未声明乃至被禁用的工具被大量调用（子 agent 占墙钟 62.8%、被明令禁止的检索工具被调 53 次）。核心结论是单一负面禁令不足以约束模型，须改为正向声明"仅允许以下工具"并配合平台侧真移除；案例二补充了"被路由到错误技能时文档还能做什么"。适合治理 Agent Skill 健康度、做 trace 实证归因的工程师阅读。 分类：AI评测 ｜ 标签：Agen
导读：这篇文章复盘一轮 Agent Skill 优化，回答"AI 评审建议要不要照单全收"——结论是约 1/3 建议的例证与文件事实不符，采纳与否的唯一依据是"模型的运行时行为会不会因此出错"。文中给出五条可复用经验：工具边界收紧要全包同步、体例升级要扫旧口径残留、重复要人工复核、逆向内容按运行时价值裁剪、用工程手法兜底。适合做 Skill 质量治理与评估对比的工程师，可当作评审建议的核对清单使用。 分类：AI评测 ｜ 标签：Agent、Skill、优化复盘、LLM
导读：这篇文章讨论 Agent 平台向第三方开放 Skill（技能包）后，如何用一套质量门禁体系拦截"坏包"——覆盖上传结构校验、静态扫描到发布后对话质检三个阶段。核心方法是确定性硬检 + LLM 八维结构化评分（七条硬门禁、红旗清单、红黄绿三档灯色），基础分 ≥90 才放行，且最终裁决由代码而非模型自评决定。适合负责 Agent 平台治理或 Skill 开发规范的工程师阅读，门禁设计与原则可直接迁移落地。 分类：AI评测 ｜ 标签：Agent、Skill、质量门禁、规范
导读：这篇文章讲的是一套自建的大模型对话应用测试框架，解决"用什么数据测、怎么接入被测对象、如何判定结果对错"的问题，核心由持续维护的题库（单轮/多轮/业务金标/安全四类）、即选即用的机器人接入和双通道结果校验三块拼图组成。关键结论是校验优先用"余弦相似度初筛 + 结构化比对的 LLM 评判"：相比初版自由式评审，token 消耗降为约四分之一（每段对话从约 1250 token 降到约 300 token），且结构化判定思路具备跨模型通用性；同时自动校验之外必须保留人工修正兜底。适合负责 LLM 对话应用质量保障、想做自动化评测的工程
导读：这是一份可复现的实测报告：在同一份 React + FastAPI 代码库上，用同样的启动提示词和报错反馈方式，对灵码与 Trae 分别执行简单（前端样式）、中等（数据解析 Bug）、复杂（前后端联动的校验功能）三档任务。结论是两者各有侧重——灵码简单任务响应快但稳定性一般（简单任务一次未实现、复杂任务卡死放弃），Trae 更工程化、自动化自测能力强（复杂任务 14 次迭代完成），但复杂业务理解是共同短板，人工辅助定位仍是收敛的关键。适合正在做 AI 编程助手选型、或想了解 AI 编程工具真实能力边界的开发者和面试官。
分类：
导读：这篇文章讲的是用 Cursor 这类 AI 编程工具时，把 React 前端与 FastAPI 后端放进同一个项目里生成代码的做法，核心方法是一套
backend/+frontend/并列的目录结构，加上把技术栈、目录树、接口约定（如/api/v1/...）写进需求的"约束式需求模板"。核心结论是"全景可见比物理隔离更重要"——约定在需求里写清一次落地，能显著减少接口与页面对不齐的返工。适合用 AI 编程工具做全栈项目、关心 AI 生成代码质量可控性的开发者和面试官。分类：A
导读：文章以"用 Trae/Cursor 从零开发 LLM 测试系统（FastAPI + React）"为案例，核心结论是 AI 编程的关键在"写提示"而非"写代码"：把大需求拆成接口结构→数据模型→前端组件→联调日志的可验证小任务，配以"角色 + 目标 + 要求 + 上下文 + 样例"的提示词模板，再靠 MVC 分层、统一日志、ORM 迁移与 AI code review 兜底质量，走完从架构设计到部署上线的全流程。适合尝试用 AI 辅助开发内部工具、或想评估候选人在 AI 编程实践中真实功底的工程团队。
导读：文章对比"角色化对话测试"与传统人工界面测试两条路线：通过创建多个人设角色的提示词模拟真实用户，自动化执行对话、批量校验结果，并支持全量回归与多模型版本并行对比，测试执行从数小时缩短到分钟级；传统方式在账号准备、过程可追溯、校验一致性、模型对比等方面均有明显局限。适合在构建对话大模型质量保障体系、有大量重复验证与多版本对比诉求的测试团队，面试官可用来考察候选人对 AI 应用测试自动化与量化质量评估的理解。
分类：AI应用 ｜ 标签：对话测试、自动化测试、AI应用
随着对话大模型在业务中的深入应用，如何高效、可靠地验证模
导读：文章面向"会写简单接口的测试同学"，讲清测试工程师为什么要自建 Web 测试工具（重复操作多、业务流程长、经验应沉淀成工具而非文档），以及怎么搭建：技术栈够用就好（后端 Django 或 Spring 全家桶、前端 Bootstrap/Vue、常用关系型数据库即可），并给出从环境搭建、写页面/接口到前后端联调、发布部署的完整落地路径与常见坑。适合想给自己和团队造内部工具的测试工程师，面试官可据此考察候选人的工程化意识与端到端落地能力。
为什么要自己做测试工具、技术栈怎么选、从环境搭建到发布部署的完整路径。适合会写简单接口、想给自己和