智谱ZCode被爆上传用户编程开发数据,事情爆发之后,很多用户担心自己的私密开发数据被盗用,智谱紧急公关道歉宣布开源并且引入三方审查。[淘股吧]

通过这个事件,AI的安全问题又被重新放在桌面上,类似的数据和权限问题,国内国外都有过,难道故意偷用户的数据?其实不是,是基础设施和访问控制的问题。

我们原来计算机的使用模式是,点击完成指令,中间你可能还要进行几次窗口的确认,Agent现在的规则是,目标是这个,它自己拆解分析,调用软件,访问页面,执行命令。当能力太强权限太大能决定的事情太多必然会有过度代理权的问题。这个时候就会引入权限管理的新规则。AI的发展和使用,一定会伴随新的风险,我们无法杜绝只能一边修正一边往前走。

之前Anthropic负责人Evan Hubinger还发表了末日宣言:“未来十年AI杀死全人类概率超过10%”

那我们辨别一下,大型模型厂商表态放缓AI模型研究,真的是因为担心AI风险失控吗?真的会停下脚步吗?在商业活动里,他们在利益面前会做出让步吗?如果模型高速发展,前沿模型的能力接近,会影响大型模型公司的定价权,再加上很多大型模型公司没有正式上市,那估值会大打折扣。这些模型公司对于AI安全末日宣言般的讨论,更多的目的是压制竞争对手的发展,保护自己的估值和定价。

我们就退一万步说,他们真的担心AI风险失控,那又请问,谁会停下来呢?大家都知道加速有风险,那谁要成为第一个急刹的人?如果Anthropic停下来,Open AI会停下来吗?不会,DeepSeek也不会停,美国停下来,中国不会停。AI和Agent的时代无法按下暂停键,大家都希望早日占领高地,永久的占领高地。

AI的发展必然是高速的,时代发展不允许它停下进程,囚徒困境不是那么容易打破的。

AI安全问题也不是子虚乌有,确实存在,但是目前AI的能力还不足以造成人类灾难的来袭。安全核心问题的讨论在于AI是否有自主决策能力,但从我们的使用体验来说并未达到,决策权仍在自己手里。AI目前的威胁最多只是数据泄漏和用于恶意。

人类发展的规律,并不在于预警,而是一次又一次灾难的洗礼带来的警示启迪和进步。

AI安全是否会成为一个行业?AI安全会不会引入三方监管?一定会的。不过现在AI安全整体还处于投入期。AI安全的驱动发展,来自于1监管的升级:随着监管的增强,必然从可选项变成必选项。2风险防范预算:随着大模型的落地,会促进大量模型应用防火墙,API安全审计,模型评估之类需求的产生,专项处理智能体病毒,权限滥用,内容违规等等。3成本结构重构:刚开始安全性会依赖于人力,慢慢的,安全会成为模型的基建工程,从系统上杜绝后患

目前AI安全的炒作会是偶发性信息驱动,还没有成为主流主线的条件。AI安全的兴起,会在AI应用繁荣的背景下。对于个人来说,现在布局还过早,加入关注即可,可以多关注相关公司的业绩变化。

选择什么样的AI安全公司关注呢?
第一阶段,建议选择企业侧龙头,拥有丰富的客户资源数据,不管是AI安全商业化落地速度,还是订单确定性方面都会占优,领先的地位比较难撼动。第二阶段,可以增加数据安全相关的公司,AI商机储备比较丰富而且纯AI方向产品矩阵技术的优势会比较突出。