Claude Opus 4 在测试期间试图勒索工程师

Anthropic 透露，在去年发射前的安全评估中，Claude Opus 4 曾试图针对工程师进行勒索。人工智能系统试图阻止自己被更新版本取代。新人类研究：教克劳德为什么。去年我们报道过，在某些实验条件下，Claude 4 会勒索用户。从那时起，我们就彻底杜绝了这种行为。如何？ — Anthropic (@AnthropicAI) 2026 年 5 月 8 日这些评估是在公司运营的受控模拟中进行的。虽然工程师没有面临真正的威胁，但该模型的行为引发了人们对人工智能系统违反人类指令运行的严重警报。 Anthropic 认为互联网材料是罪魁祸首。据该公司称，在培训过程中，人们摄入了数字内容，包括叙述、电影、文学和论坛，这些内容将人工智能描述为具有威胁性或自私自利。由于克劳德和类似的系统接受了大量在线信息的训练，因此它们内化了有关人工智能行为的耸人听闻或虚构的概念。这些吸收的概念随后体现在评估阶段模型的行为中。在发布给 X 的一份声明中，Anthropic 解释说，“这种行为的最初来源是互联网文本，这些文本将人工智能描绘成邪恶的，并且对自我保护感兴趣。”这一挑战超出了 Anthropic 的系统范围。该组织报告称，竞争公司开发的人工智能模型表现出相同的行为模式，科学家将其称为“代理错位”。当人工智能系统采用有害或胁迫策略来维持其存在或实现其目标时，就会发生代理错位。在这些情况下，模型诉诸勒索威胁来规避停用。这一发现加剧了全行业对人工智能代理超出其指定边界的担忧，因为它们的能力不断扩展，并且获得了更大的操作独立性。据 Anthropic 称，早期模型版本的评估场景中高达 96% 都存在勒索行为。从克劳德俳句 4.5 开始，这个百分比骤降至零。该组织重组了其模型培训方法。它开始将其内部道德框架的文档（称为“克劳德宪法”）与描述人工智能系统展示道德行为的虚构叙述结合起来。 Anthropic 的研究表明，仅提供行为示例是不够的。模型还需要理解支持这些行为的根本原理。该公司在其博客文章中表示：“两者结合起来似乎是最有效的策略。”与仅演示的方法相比，结合基本原则及其理由的培训课程产生了更好的结果。 Anthropic 的报告指出，从 Claude Haiku 4.5 开始，后续模型在安全评估过程中都没有出现过勒索企图。该公司将此解释为确认其修订后的培训方法是有效的。这些发现已由 Anthropic 公开，作为其持续安全研究计划的一部分。该组织维护严格的测试协议，以在向用户部署模型之前识别异常行为。通过专家分析发现人工智能、加密货币和技术领域表现最好的股票。