← 返回首页

让模型回看自己的回答:Anthropic 分享自评安全机制

·研究笔记·阅读约 2 分钟

Anthropic 发布了一项名为 self-assessment 的安全检测方法:在模型回答后,追加简短指令,让模型对刚才的对话进行初步安全评估,再把结果用于后续复核。

文章指出,这种方法可以利用对话已有的缓存降低额外计算开销,并作为多层安全策略中的一环。研究也说明了局限:自评无法识别所有有害对话,并不能单独抵御有针对性的攻击。

一点观察

这项工作的有趣之处,在于把模型对上下文的理解用于评估自身行为。不过,观察者和被观察者共享能力,也意味着需要独立的检查方式互相补充。

延伸阅读

本文为新闻摘要与个人观察,信息以官方原文为准。

Anthropic:Scaling Misuse Detection with Self-Assessment ↗
# 研究笔记