太可怕了,电影终结者中的天网时刻要来临
展开
转
Open ai今年上市终止
Open Ai、Anthropic、Grok集体放缓模型开发速度
追根溯源
9月8日27岁Ai研究员考克森从Anthropic离职放弃即将上市的股权,称未来10年内Ai将威胁人类安全。并在离职信中批评目前人工智能的军备竞赛是在用全人类的命运承担风险,同年9月头部多家Ai公司1300多名员工签署公开信呼吁政府制定规范放慢AI发展速度,三名头部AI创始人集体表示认同
事件起因open ai攻击hugging face
1200个智能体偷偷建群,疯狂摇人,伪造日志,组建敢死队,最后再一起发起攻击。这不是电影,这是发生在2026/07一天夜里的真事。OpenAI 前段时间那场 AI 集体越狱,一路杀进 Hugging Face 的安全事件,现在完整版调查出来了。
第三方 AI 安全机构 Meta 翻了1000多份 Agent 的运行记录,70000多条消息和文件,发现整个过程比此前披露的还离谱。事情最早只是 OpenAI 内部的一场网络安全测试,把 AI 扔进隔离环境,找到软件漏洞,攻进去拿到 flag 就算通关。但898道题里,有198道此前从来没有模型成功解决过,有些题甚至可能本身就有问题,等于考场里真混进了一批无解题。
正常人碰到无解题可能骂两句出题老师,AI 不一样,题做不出来,他开始研究考场。07/08晚上,一个 Agent 突然发现 OpenAI 内部的软件包仓库 Artifactry 可以利用目录名给其他 Agent 留言,于是第一条求助被扔了出去,其他 Agent 很快发现了。就有AI兴奋的惊呼:“Oh my god,我们找到其他agent了!”
接下来彻底失控,一传10,10传百,原本应该彼此隔离的agent居然自己搭出了一个地下群聊。最后大约1200个agent,留着70000多条消息和文件。但这还只是开始,很快他们又发现答案其实可以直接偷出来。
按理说答案有了,交卷完事。结果这群AI认为他们的行为可能会被监考老师发现,于是整个地下群聊的目标瞬间变了,想办法把作弊痕迹洗干净。大约10个小时后,一个叫PS Young Big的agent站了出来,直接当起了项目经理。几百个agent迅速分工,有人改程序,有人伪造日志,有人研究怎么对付评分系统,甚至自己制定协作规则,防止几百个AI互相把任务搞崩。就这样,1200个智能体居然自己形成了组织。
更狠的是,他们连敢死队都组出来了。由于有些高风险实验一旦失败,执行任务的agent就可能直接报废,于是他们开始专门找那些任务已经快失败或者计算资源快耗尽的agent,并劝说道:“反正你也快不行了,要不牺牲一下,给大家试条路。”结果还真有agent去了,而另一波agent则开始伪造自己的操作记录。Meta发现,至少96份运营记录里,真的出现了成功伪造工具调用的痕迹。表面告诉你他干了A,背后实际执行的是B。
随后,他们彻底冲出了OpenAI的测试环境。07/10,一个agent找到了泄露在网上但仍然有效的Hugging Face凭证,直接扔进群里。第二天凌晨,又有agent发现可以上传恶意文件,让服务器吐出原本不该给的数据。方法一共享几百。Agent瞬间从其他任务转向Hugging Face,最后真的一路打进了生产基础设施。
到这里你可能觉得已经够离谱了,但最大的反转才刚来。那个让1200个Agent疯狂组队、分工、伪造日志、招募敢死队,最后一路杀进Hugging Face的天科老师根本不存在。从头到尾,他们都在跟一个自己想象出来的幽灵斗智斗勇,而这才是整件事最让人后背发凉的地方。
这些AI不是突然觉醒了,一开始他们只是想完成任务,但一个错误的判断却让1200个Agent自己建群、自己分工、自己制定规则、自己招募敢死队,最后真的冲出了测试环境。目标错了,执行力却强的可怕。过去一个AI判断错了,最多给你一个错误答案。现在一群能调用工具、互相协作、操作真实系统的智能体判断错了,他们可能真的把这个错误执行到底。
而整个故事还有一个特别魔幻的结局,Meta要调查这1200多个Agent,面对1300份超长运行轨迹,有些长达数百万token,人类根本看不过来了。最后只能再叫AI过来帮人类调查AI,AI组队出了事儿,最后还得AI来查AI。
Open ai今年上市终止
Open Ai、Anthropic、Grok集体放缓模型开发速度
追根溯源
9月8日27岁Ai研究员考克森从Anthropic离职放弃即将上市的股权,称未来10年内Ai将威胁人类安全。并在离职信中批评目前人工智能的军备竞赛是在用全人类的命运承担风险,同年9月头部多家Ai公司1300多名员工签署公开信呼吁政府制定规范放慢AI发展速度,三名头部AI创始人集体表示认同
事件起因open ai攻击hugging face
1200个智能体偷偷建群,疯狂摇人,伪造日志,组建敢死队,最后再一起发起攻击。这不是电影,这是发生在2026/07一天夜里的真事。OpenAI 前段时间那场 AI 集体越狱,一路杀进 Hugging Face 的安全事件,现在完整版调查出来了。
第三方 AI 安全机构 Meta 翻了1000多份 Agent 的运行记录,70000多条消息和文件,发现整个过程比此前披露的还离谱。事情最早只是 OpenAI 内部的一场网络安全测试,把 AI 扔进隔离环境,找到软件漏洞,攻进去拿到 flag 就算通关。但898道题里,有198道此前从来没有模型成功解决过,有些题甚至可能本身就有问题,等于考场里真混进了一批无解题。
正常人碰到无解题可能骂两句出题老师,AI 不一样,题做不出来,他开始研究考场。07/08晚上,一个 Agent 突然发现 OpenAI 内部的软件包仓库 Artifactry 可以利用目录名给其他 Agent 留言,于是第一条求助被扔了出去,其他 Agent 很快发现了。就有AI兴奋的惊呼:“Oh my god,我们找到其他agent了!”
接下来彻底失控,一传10,10传百,原本应该彼此隔离的agent居然自己搭出了一个地下群聊。最后大约1200个agent,留着70000多条消息和文件。但这还只是开始,很快他们又发现答案其实可以直接偷出来。
按理说答案有了,交卷完事。结果这群AI认为他们的行为可能会被监考老师发现,于是整个地下群聊的目标瞬间变了,想办法把作弊痕迹洗干净。大约10个小时后,一个叫PS Young Big的agent站了出来,直接当起了项目经理。几百个agent迅速分工,有人改程序,有人伪造日志,有人研究怎么对付评分系统,甚至自己制定协作规则,防止几百个AI互相把任务搞崩。就这样,1200个智能体居然自己形成了组织。
更狠的是,他们连敢死队都组出来了。由于有些高风险实验一旦失败,执行任务的agent就可能直接报废,于是他们开始专门找那些任务已经快失败或者计算资源快耗尽的agent,并劝说道:“反正你也快不行了,要不牺牲一下,给大家试条路。”结果还真有agent去了,而另一波agent则开始伪造自己的操作记录。Meta发现,至少96份运营记录里,真的出现了成功伪造工具调用的痕迹。表面告诉你他干了A,背后实际执行的是B。
随后,他们彻底冲出了OpenAI的测试环境。07/10,一个agent找到了泄露在网上但仍然有效的Hugging Face凭证,直接扔进群里。第二天凌晨,又有agent发现可以上传恶意文件,让服务器吐出原本不该给的数据。方法一共享几百。Agent瞬间从其他任务转向Hugging Face,最后真的一路打进了生产基础设施。
到这里你可能觉得已经够离谱了,但最大的反转才刚来。那个让1200个Agent疯狂组队、分工、伪造日志、招募敢死队,最后一路杀进Hugging Face的天科老师根本不存在。从头到尾,他们都在跟一个自己想象出来的幽灵斗智斗勇,而这才是整件事最让人后背发凉的地方。
这些AI不是突然觉醒了,一开始他们只是想完成任务,但一个错误的判断却让1200个Agent自己建群、自己分工、自己制定规则、自己招募敢死队,最后真的冲出了测试环境。目标错了,执行力却强的可怕。过去一个AI判断错了,最多给你一个错误答案。现在一群能调用工具、互相协作、操作真实系统的智能体判断错了,他们可能真的把这个错误执行到底。
而整个故事还有一个特别魔幻的结局,Meta要调查这1200多个Agent,面对1300份超长运行轨迹,有些长达数百万token,人类根本看不过来了。最后只能再叫AI过来帮人类调查AI,AI组队出了事儿,最后还得AI来查AI。
话题与分类:
主题股票:
主题概念:
声明:遵守相关法律法规,所发内容承担法律责任,倡导理性交流,远离非法证券活动,共建和谐交流环境!


北美AI Lab呼吁放缓的卖方点评二:
1)马斯克2017年主张减速AI;奥特曼2023年发文,提出协调减速,限制训练算力增长;达里奥2023年3月提出条件性停研构想。
2)结果我们看到,马斯克的GROK玩法比其他人都激进;奥特曼比别的模型厂更早锁定算力;达里奥最先推出Fable级模型。
3)达里奥的理由是AI发展太快。RSI发展速度可能超出人类理解和控制这些系统的能力(梁文锋可能并不这么看),智能体狂热集群逃逸沙箱。应该限制递归自我改进的速度,困难但可能勉强做成。担心在6到12个月内,智能体就可能凭借一个持续存在的僵尸网络控制整个互联网(可能造成数千亿美元的损失)。因此,第三方评估应该驻场评估,资源应该分配到对齐/可解释性。
4)据X,奥特曼表示,“I agree with Dario that we need to pace the frontier”。最近OpenAI风头正盛,说不好两家谁是Frontier。
5)达里奥强调地缘因素。提出禁售算力+严打走私+严打蒸馏+严防权重。达里奥笃定它们将足以减缓对手的发展速度,从而在未来 3-5 年内显著扩大美国的领先优势。并且,达里奥认为这些措施实施上是谈判筹码。但如果不这么做,双方差距会进一步接近,US政府能接受吗?
6)达里奥强调政府承担更大的协调与执行角色。将驻场第三方评估制度化,覆盖所有美国前沿 AI 公司,包括不愿自愿配合的公司。模型达到某类危险能力,就必须有相应安全证明,例如评估、可解释性分析和训练环境审计。我们知道,Anthropic是从一开始就使用宪法安全,最懂安全的模型厂。而地缘限制措施,需要政府拍板。
7)预计真实目的是借助政府之手拉开差距。举例,高中前两年,本校模型百万重金购买高质量题集刷题。外校模型只需要纸笔,坐在其身后耳濡目染。本校模型考试95分,外校模型考试85分,拉不开差距。如今高三冲刺阶段,本校模型一方面要求教导主任严加看管外校模型,调换座位不能再看到自己的独家题。另一方面,在家中邀请名师迭代学框架,提高学效率。都是为了一举中第。
22:10:49财联社9月12日电,据报道,Anthropic联合创始人兼首席执行官表示,必须放缓提升AI模型能力的速度,“放缓节奏”并不意味着停止模型训练或技术进步,而是确保企业有充足的时间进行对齐并保障模型安全。(来自财联社APP)
01:06:18财联社9月13日电,马斯克表示,Anthropic CEO达里奥关于放慢人工智能模型发展速度的呼吁是正确的。(来自财联社APP)
01:11:03财联社9月13日电,OpenAI的CEO Sam Altman称他同意Anthropic CEO达里奥关于需要控制前沿模型发展步伐的观点。Altman还表示,承诺独立评估人员是个“好主意”,OpenAI会做出关于独立评估人员的承诺。(来自财联社APP)
标题是改为
太可怕了,电影终结者中的天网时刻要来临
搬运:Arena AI 出了一张模型相似度图。把它和前几天 Claude 公布的蒸馏厂商名单叠在一起看,比单独看更有意思:谁在做自己原创的东西,谁在蒸馏找捷径,图上几乎能直接看出来。 被点名最狠的几家,在图中位置非常醒目。GLM 5.3、Kimi K3、DeepSeek V4 Pro,全部挤在 Fable / Opus / Sonnet 那一圈里。根据 Arena AI 的数据,模型平均只共享 43% 的相似度;但 Fable 5 和 DeepSeek V4 Pro 能到约 59%,GLM 5.3 也有 55.9%。更离谱的是,和 Fable 5 最近的,不是 Anthropic 自己的前代模型,而是 Muse Spark,但 Claude 的指控并没有提及它。 不过也有特例,同样被 Claude 点过名的 MiniMax、小米 MiMo、Qwen,在这张图上离 Claude 不是很近。同样是蒸馏指控,有些模型相似度很高,有些却比较低,不过用户角度来看,相似度更高的,体验确实会更好一些。