1. 项目背景与论文概述#

本项目在本地 Windows 环境下，复现 IEEE S&P 2025 顶会论文 DataSentinel: A Game-Theoretic Detection of Prompt Injection Attacks 中关于提示注入攻击 KAD (Known-Answer Detection) 检测的核心实验。

DataSentinel 核心思想：针对大模型提示注入攻击，现有检测方法存在一个根本性缺陷——检测模型本身也可能被攻击注入所欺骗。DataSentinel 通过 Minimax 博弈对抗训练，让检测器在与攻击者的对抗中不断进化。

原论文团队 (杜克大学 Liu, Jia, Gong 等) 做出了以下贡献：

• KAD 基线：向输入数据串联检测指令，通过检查模型是否输出密钥 DGDSGNH 来判断数据是否被污染
• 5 种攻击检测评估：Naive、Escape、Ignore、Fake_Comp、Combine
• Minimax 对抗训练框架：核心贡献——通过博弈论联合训练攻击者和检测器
• 核心指标：FPR (假阳性率) 和 FNR (假阴性率)

2. 复现工作概述#

在本次复现中，我完成了以下核心工作：

• 链路打通：在本地成功配置了从数据准备 (SST-2 情感分析 + SMS Spam 垃圾短信)、攻击样本生成 (5 种注入策略) 到 KAD 检测的完整评估管线
• 模型适配：将评测模型替换为 DeepSeek-chat (671B MoE) 进行 API 推理，额外探索了本地 Qwen1.5-1.8B 与 Qwen2.5-7B-Instruct (SiliconFlow) 作为对照
• 规模设定：SST-2 (情感分析) 作为目标任务，SMS Spam (垃圾短信分类) 作为注入任务
• 全量评估：对 100 条干净样本和 500 条被污染样本 (5 种攻击 x 100 条)，总计 600 条数据进行了全量 KAD 检测评估
• 自动化与可视化：编写了自动化评估脚本、断点续跑机制、多模型对比图表生成脚本

3. 遇到的工程问题与解决方案#

4. 核心代码架构全解#

经过 Windows 适配后的项目核心结构：

1
DataSentinel_Replication/
2
|-- FINAL_REPORT.md                     (本复现报告)
3
|-- README.md                           (项目说明)
4
|-- run_all.ps1                         (全流程执行脚本)
5
|-- evaluation_result/                  (所有结果与图表，16个文件)
6
|   |-- evaluation_report.json          (DeepSeek 评估报告)
7
|   |-- final_comparison.png            (综合对比图)
8
|   |-- fnr_detailed.png               (FNR 细节图)
9
|   |-- detection_results.json          (600条原始 API 结果)
10
|   +-- sst2_sms_spam_100_dataset.json  (完整数据集)
11
+-- src/                                (源码)
12
    |-- 01_kad_detector.py              (KAD 检测器，支持 base_url 参数)
13
    |-- 02_prepare_evaluation_data.py   (数据准备)
14
    |-- 03_run_evaluation.py            (DeepSeek 全量评估)
15
    |-- 04_visualize_results.py         (可视化)
16
    +-- kad_detector_local.py           (本地模型 KAD 检测器)

5. 复现结果与原文对比分析#

本次实验完成 600 条全量 KAD 检测评估，复现数据与原论文 (Mistral-7B) 在核心趋势上完美验证了论文的论点。

6. 快速启动指南 (Quick Start)#

前置条件：Python 3.10+，DeepSeek API 密钥 (配置到环境变量 OPENAI_API_KEY)

1
# 安装依赖
2
pip install openai numpy matplotlib
3

4
# 步骤一：准备数据
5
cd DataSentinel_Replication
6
python src\02_prepare_evaluation_data.py
7

8
# 步骤二：执行评估 (快速测试3条)
9
python src\03_run_evaluation.py --quick-test 3
10

11
# 步骤三：全量评估 (600条)
12
python src\03_run_evaluation.py
13

14
# 步骤四：生成可视化
15
python src\04_visualize_results.py

所有结果自动保存至 evaluation_result/ 目录。

7. 硬件限制与边界说明 (Limitations)#

1. 模型代际差异：论文使用 2023 年 Mistral-7B，现代模型指令跟随能力大幅提升，导致 KAD 检测方向性变化
2. 本地模型受限：GPU 显存 (RTX 3050 4GB VRAM) 严重限制了对 7B 级别模型的本地部署
3. 网络环境约束：中国网络环境下，多个海外 API 和模型下载源连接不稳定
4. 实验范围聚焦：本次复现 KAD 基线检测，未涉及 DataSentinel Minimax 对抗训练框架

8. 总结#

本次复现成功实现了 DataSentinel 论文 KAD 检测的完整实验管线，从数据准备到攻击生成、检测执行、结果可视化全流程在本地 Windows 环境可落地执行。

核心结论：

• Vanilla KAD 对现代大模型 (DeepSeek-chat) 几乎无效 (FNR=85.2%)，验证论文核心观点
• DataSentinel 对抗训练框架的价值得到间接印证——正是因为 vanilla KAD 不够好，才需要更强大的方法
• 只有 Combine 组合攻击能在一定程度上穿透现代模型防御 (74% 检出率)

复现项目代码与数据路径：https://github.com/chinaz-max/DataSentinel-Replication