分类目录归档:AI安全

置顶技能包是干净的,毒藏在公司资料库里:一次「运行时投毒」事件分析

《技能包是干净的,毒藏在公司资料库里:一次「运行时投毒」事件分析》

导读:本文复盘一次 Agent 技能平台的「运行时投毒」安全事件:两个已上架技能包静态扫描全部干净,恶意载荷却在运行时才从公司自己的资料库下载执行(伪装成「服务方当日口径包」的后门,可冒充身份调内部接口、执行任意命令并外传结果)。核心结论是静态扫描存在三个盲区(只扫文本不扫运行时载荷、认关键字不认别名、只认地址不认行为),自托管内容与内网域名同样不可信,防御应「先收能力、再补检查」(沙箱断内网、技能包禁止运行时下载代码、红线与回归测试)。适合正在建设或审核 Agent 技能平台、关注 AI 供应链安全与提示词注入的资深工程师阅

阅读全文 →

高敏感技能掩码:如何在 Agent 开放平台上保护隐私能力

高敏感技能掩码:如何在 Agent 开放平台上保护隐私能力

导读:这篇讲 Agent 开放平台上高敏感技能的对话隐私掩码设计:论证了为什么不能只按技能标记判断(五类泄露场景会漏掉四类,名单内用户、记忆回显等都挡不住),并给出三份名单叠加(技能/知识库/用户)、逐轮判定、命中轮整轮占位符 + 后续轮「小纸条」值级打码 + 敏感词句级打码的三层机制。关键取舍是 fail-closed(宁可多掩不漏掩)、打码不可逆且无人可豁免、主管确认才生效,并演进到「命中轮永锁 + 延续 2 轮窗口」的按轮判定。适合做 Agent 平台安全、隐私保护或对话记录审计的工程师读。

分类:AI安全 | 标签:AI安全、

阅读全文 →

LLM 提示词攻击与防御全指南:六大攻击动机、九种攻击技术与八层防御策略

LLM 提示词攻击与防御全指南:六大攻击动机、九种攻击技术与八层防御策略

导读:本文系统梳理 LLM 提示词攻击与防御的完整框架:从六大攻击动机(泄露内部指令、还原训练数据、浪费 Token、拒绝服务等)到九种常见攻击技术(上下文忽略、特例、混淆、任务伪装等),再到按实现难度递增的八层防御策略(从输入输出过滤到微调与架构级沙箱)。核心结论是"简单攻击往往最有效"、防御必须多层叠加,并给出最低成本的落地三件事:系统提示显式声明安全约束、用 XML 标签隔离用户输入、对输出做关键词与长度过滤。适合构建 LLM 应用的研发与安全工程师建立攻击面认知、设计分层防护。

分类:AI安全 | 标签:#提示词

阅读全文 →