人为因素公司发布新型人工智能模型，该模型初步显示出危险能力

Sonnet 版本最突出的特点是能够与电脑进行交互——它可以截取和读取屏幕截图、移动鼠标​​、点击网页按钮以及输入文本。这项功能目前正处于“公开测试”阶段，Anthropic 公司在公告中承认，该功能“尚处于实验阶段，有时使用起来比较繁琐且容易出错”。

在一篇详细阐述这项新功能背后的原理的博文中，Anthropic解释道：“现代社会的大量工作都是通过计算机完成的。让人工智能像人一样直接与计算机软件交互，将解锁一系列目前人工智能助手无法实现的应用。” 虽然计算机自我控制的概念并不新鲜，但Sonnet的运行方式却独树一帜。与通常需要编写代码的传统计算机自动化控制不同，Sonnet无需任何编程知识。用户只需打开应用程序或网页，向人工智能发出指令，人工智能就会分析屏幕并确定需要交互的元素。

危险能力的早期迹象

Anthropic 承认这项技术存在固有风险，并坦言“出于安全考虑，我们之前不允许模型在训练期间访问互联网”，但目前测试版已允许访问互联网。该公司近期还更新了其“负责任扩展政策”，该政策定义了开发和发布各个阶段的相关风险。根据该政策，Sonnet 的评级为“AI 安全等级 2”，表明其“存在危险能力的早期迹象”。然而，Anthropic 认为，在现阶段，Sonnet 的安全性足以向公众发布。

来源：人类学

Anthropic公司为其在尚未完全了解所有潜在滥用场景的情况下发布该工具的决定辩护道：“我们可以在风险过高之前就开始着手解决任何安全问题，而不是在风险更大的模型中首次引入计算机使用功能。” 本质上，该公司更倾向于在人工智能功能相对有限的情况下进行试探。

当然，像Claude这样的AI工具带来的风险并非仅仅停留在理论层面。OpenAI近期披露了20起国家支持的行动者利用ChatGPT进行不法活动的案例，例如策划网络攻击、探测脆弱的基础设施以及设计影响力活动。距离美国总统大选仅剩两周之际，Anthropic公司高度重视此类滥用的可能性。该公司表示：“鉴于即将到来的美国大选，我们对任何可能被视为破坏公众对选举过程信任的滥用行为都保持高度警惕。”

行业基准

Anthropic公司表示：“更新后的Claude 3.5 Sonnet在行业基准测试中表现出色，尤其是在智能体编码和工具使用任务方面提升显著。在编码方面，其在SWE-bench Verified测试中的得分从33.4%提升至49.0%，高于所有公开可用的模型，包括OpenAI o1-preview等推理模型以及专为智能体编码设计的系统。此外，在智能体工具使用任务TAU-bench测试中，其在零售领域的得分从62.6%提升至69.2%，在更具挑战性的航空领域则从36.0%提升至46.0%。新款Claude 3.5 Sonnet在保持与前代产品相同价格和速度的同时，实现了这些显著的性能提升。”

来源：人类学

公民请放心，保障措施已到位。

Anthropic公司已采取安全措施，防止Sonnet的新功能被用于干预选举。他们已部署系统来监控Claude何时被要求执行此类活动，例如生成社交媒体内容或与政府网站互动。该公司还采取措施，确保工具使用过程中截取的屏幕截图不会用于未来的模型训练。然而，即使是Anthropic的工程师也对该工具的一些行为感到措手不及。例如，Claude曾意外停止屏幕录制，导致所有录像丢失。在一个轻松的时刻，这款人工智能甚至在一次代码演示中开始浏览黄石国家公园的照片，Anthropic在X上分享了这一幕，并带着几分惊讶和好笑。

Anthropic强调在推出这项新功能时安全的重要性。Claude的AI安全等级为2级，这意味着它目前的风险无需采取更高的安全措施，但仍然存在潜在的滥用风险，例如提示注入攻击。该公司已部署相关系统来监控与选举相关的活动，并防止内容生成或社交媒体操纵等滥用行为。

尽管克劳德的电脑使用速度仍然很慢且容易出错，但Anthropic公司对其未来充满信心。该公司计划改进模型，使其速度更快、更可靠且更易于实施。在整个测试阶段，公司鼓励开发人员提供反馈，以帮助提高模型的有效性和安全协议。