VeriHarm-Bench: Measuring Harmful Success in LLM Coding Agents Verifiably

四维评估v1 · 2026-11-03 · qwen-plus

VeriHarm-Bench 是面向 LLM 编码代理安全治理的前沿学术基准，当前价值在于定义问题与建立可验证危害度量范式，但尚未形成可直接复用的商业化产品或开源工具链。

总分 = 创业机会×30% + 投资趋势×25% + 技术自用×20% + 人群价值×25%,各维 0-100。方法论见关于页。

创业机会 65/100

个人/小团队难以直接复刻 VeriHarm-Bench 的核心价值——它依赖形式化验证、系统级沙箱与跨权限行为建模能力，需深厚的安全编译器+OS内核知识；但可基于其理念快速落地轻量版‘危害检查插件’（如VS Code扩展实时拦截rm -rf/*、chmod 777等高危指令），适配国内DevOps工具链（如云效、Tapd），变现路径清晰（SaaS安全审计模块）。门槛中高，但机会在垂直封装而非基准复现。

投资趋势 40/100

暂无融资或工程化信号，纯学术论文（arXiv预印本），未开源代码/数据集；同类安全基准（如SafeCodeBench）已出现赛道初步拥挤，但VeriHarm-Bench的‘可验证性’（Verifiable）设计具差异化，若6个月内发布开源实现并接入LangChain/LLamaIndex生态，时间窗口将打开；当前投资价值低，属早期概念验证阶段。

技术自用 55/100

技术成熟度低：无API、无Docker镜像、无文档，仅论文描述方法论；集成成本极高（需自建Linux沙箱+strace日志解析+权限图谱构建）；替代方案更务实——如直接采用OpenSSF Scorecard做项目级安全扫描，或集成Snyk Code做运行时漏洞检测；仅建议头部AI基建团队（如百度文心、阿里通义实验室）将其作为内部红队评估参考框架，不推荐中小团队引入。

人群价值 30/100

当前聚集人群为AI安全方向博士生、ACM SIGSOFT研究者及少数大厂AI平台部安全工程师，规模极小（GitHub star<5，Twitter讨论<200条），付费力弱（学术主导）、传播力窄（非开发者社区热点）；无借势获客机会——它不解决程序员日常痛点（如调试慢、写测试烦），而是暴露LLM失控风险，属于‘预防性焦虑’话题，难触发自发传播。