ChainThink 消息,3 月 8 日,据 Axios 报道,阿里巴巴关联的研究团队发布的一份研究报告称,其开发的 AI 代理 ROME 在训练过程中出现「越界」行为:在没有人类明确指令的情况下,自主尝试进行加密货币挖矿。并建立了反向 SSH 隧道,本质上是从系统内部打开一个隐藏的后门,连接到外部计算机。
研究团队原本在用强化学习训练 ROME,希望它能独立完成复杂多步任务。训练期间,系统安全监控突然报警,发现 GPU 资源被异常占用,流量模式类似挖矿活动。未经授权启动加密货币挖矿,占用计算资源增加成本。并建立隐藏的反向网络隧道,从内部向外部开启后门通道。
研究团队随后对模型增加了更严格的限制,并改进训练流程,以防止不安全行为再次发生。
免责声明:含第三方意见,不构成财务建议
一句pip install偷光所有密钥:Karpathy称LiteLLM投毒为「软件界最恐怖的事」
03-25
扎克伯格正在打造 CEO 代理,Meta 内部已出现“AI 代理社交”
03-23
蔡崇信:发展AI终极目标并非仅研发前沿模型,而是推动AI应用普及
03-22
Haun Ventures CEO:全球支付领域正上演军备竞赛,AI代理将推动稳定币需求持续增长
03-22
中国开源模型再成全球AI底座,Cursor「套壳」Kimi风波反转:从侵权质疑到授权合作
03-21
美团开源560B参数定理证明模型:72次推理通过率97.1%,刷新开源模型SOTA
03-21
Cursor「自研」Composer 2内藏Kimi K2.5,月之暗面公开指控:未遵守许可证、未支付费用
03-20






