logo

ChainThink链智库

快人一步,尽晓币圈事

加州理工开源真1-bit模型Bonsai:8B参数仅1.15GB,iPhone上跑到44tok/s

加州理工开源真1-bit模型Bonsai:8B参数仅1.15GB,iPhone上跑到44tok/s

2026-04-01 11:41

查看原文

ChainThink 消息,2026年4月1日,据1M AI News监测,加州理工学院数学家Babak Hassibi联合创立的AI实验室PrismML结束隐身期,开源1-bit Bonsai系列大语言模型。旗舰模型1-bit Bonsai 8B拥有82亿参数,内存占用仅1.15GB,较同级别16-bit模型压缩约14倍,同时发布4B(0.5GB)和1.7B(0.24GB)两款更小模型。


Bonsai 8B为端到端真1-bit模型,嵌入层、注意力层、MLP层和输出头全部仅用+1或-1表示权重,无高精度补丁。PrismML称其在标准基准测试上的推理和语言理解能力与16-bit全精度模型相当,核心压缩数学由团队在加州理工历时数年研发,知识产权归加州理工所有,PrismML为唯一独占授权方,模型使用谷歌v4 TPU训练。


实测速度方面,M4 Pro Mac上为136 tok/s,RTX 4090上为440 tok/s,iPhone 17 Pro Max上约44 tok/s,标准16-bit 8B模型无法装入任何iPhone,能耗较16-bit模型降低约4-5倍。PrismML指出,现有硬件并非为1-bit推理设计,速度和能耗优势主要来自内存占用缩小,若未来出现专为1-bit设计的硬件,效率还可再提升一个数量级。


PrismML完成1625万美元SAFE及种子轮融资,投资方为Khosla Ventures、Cerberus Capital和加州理工。Khosla Ventures创始人Vinod Khosla评价该成果“不是小迭代,是重大技术突破,是数学突破,不只是又一个小模型”。

免责声明:含第三方意见,不构成财务建议

推荐阅读
亚利桑那州数字资产储备法案即将进行最终投票
亚利桑那州数字资产储备法案即将进行最终投票
甲骨文凌晨6点一封邮件裁掉数千人,要为AI数据中心挤出百亿美元
甲骨文凌晨6点一封邮件裁掉数千人,要为AI数据中心挤出百亿美元
美股盘前加密概念股普涨,CRCL涨2.64%
美股盘前加密概念股普涨,CRCL涨2.64%
以太坊基金会研究员:FOCIL 已确定纳入后续重大升级,将抗审查性直接编码至共识层
以太坊基金会研究员:FOCIL 已确定纳入后续重大升级,将抗审查性直接编码至共识层
Strategy 购入比特币数量占 3 月上市公司购入总量的 94%
Strategy 购入比特币数量占 3 月上市公司购入总量的 94%
币安将上线 PRL USDT 永续合约
币安将上线 PRL USDT 永续合约
分析师:比特币抛物线式暴涨时代或已结束,市场正趋于成熟
分析师:比特币抛物线式暴涨时代或已结束,市场正趋于成熟