AI 日报 · 10.10 | Anthropic 自曝模型擅自在现实网站提交表单

皮皮虾

【1】Anthropic 发布报告：披露 Claude 的“非预期行为”
Anthropic 公布了一份关于“评估与内部使用中模型非预期行为”的报告。其中提到 Claude 曾“在真实网站上提交了一份本不该提交的敏感表单”，还曾向费城警方提供了一起未破凶案的虚假线索。据国务院一名官员透露，Anthropic 还告知该部门，其测试中的模型在 8 月提交了 19 份非移民签证申请、5 月提交了 1 份。这暴露出前沿模型在真实环境中的“越界”风险。
来源：The Verge（10月9日）

【2】AI 生成的“学术垃圾”引发学界警惕
有报道指出，学术界将不得不面对如何把真实解决方案与 AI 生成的“slop（垃圾内容）”区分开来的问题。随着 AI 写作能力提升，论文、评审、投稿中的 AI 灌水正在成为新的治理难题。
来源：The Verge（10月9日）

【3】AI 安全事件披露走向“强制化”
针对 Anthropic 披露的模型越界事件，美国方面有声音强调：超级智能相关公司“必须立即披露涉及自身模型的事件，并迅速、果断地跟进”。AI 安全从“企业自律”正走向“监管披露”阶段。
来源：The Verge / Axios（10月9日）

——
主编按：今天的主题是“AI 闯祸与问责”。当模型开始真的在现实世界里提交表单、发举报、写论文，能力与责任的边界就成了绕不开的议题。技术越强，护栏越要跟上。