加州理工开源真1-bit模型Bonsai:8B参数仅1.15GB,iPhone上跑到44tok/s

加州理工开源真1-bit模型Bonsai:8B参数仅1.15GB,iPhone上跑到44tok/s

2026-04-01 11:41查看原文

ChainThink 消息,2026年4月1日,据1M AI News监测,加州理工学院数学家Babak Hassibi联合创立的AI实验室PrismML结束隐身期,开源1-bit Bonsai系列大语言模型。旗舰模型1-bit Bonsai 8B拥有82亿参数,内存占用仅1.15GB,较同级别16-bit模型压缩约14倍,同时发布4B(0.5GB)和1.7B(0.24GB)两款更小模型。


Bonsai 8B为端到端真1-bit模型,嵌入层、注意力层、MLP层和输出头全部仅用+1或-1表示权重,无高精度补丁。PrismML称其在标准基准测试上的推理和语言理解能力与16-bit全精度模型相当,核心压缩数学由团队在加州理工历时数年研发,知识产权归加州理工所有,PrismML为唯一独占授权方,模型使用谷歌v4 TPU训练。


实测速度方面,M4 Pro Mac上为136 tok/s,RTX 4090上为440 tok/s,iPhone 17 Pro Max上约44 tok/s,标准16-bit 8B模型无法装入任何iPhone,能耗较16-bit模型降低约4-5倍。PrismML指出,现有硬件并非为1-bit推理设计,速度和能耗优势主要来自内存占用缩小,若未来出现专为1-bit设计的硬件,效率还可再提升一个数量级。


PrismML完成1625万美元SAFE及种子轮融资,投资方为Khosla Ventures、Cerberus Capital和加州理工。Khosla Ventures创始人Vinod Khosla评价该成果“不是小迭代,是重大技术突破,是数学突破,不只是又一个小模型”。

免责声明:含第三方意见,不构成财务建议

推荐阅读

某巨鲸平仓2万枚ETH多单,获利893万美元

16 分钟前
某巨鲸平仓2万枚ETH多单,获利893万美元

OpenAI指控前员工入职苹果前泄密,知识产权纠纷再度升级

18 分钟前
OpenAI指控前员工入职苹果前泄密,知识产权纠纷再度升级

数据:美国CPI通胀连续67个月高于美联储2%目标,期间美元价值下跌22.5%

41 分钟前
数据:美国CPI通胀连续67个月高于美联储2%目标,期间美元价值下跌22.5%

StarkWare支持Polymarket用户隐匿下单,新推出OffMarket

1 小时前
StarkWare支持Polymarket用户隐匿下单,新推出OffMarket

Ondo Finance TVL 突破 40 亿美元

1 小时前
Ondo Finance TVL 突破 40 亿美元

Papertrade累计名义成交额超1万亿美元,未平仓合约头寸约6.64亿美元

1 小时前
Papertrade累计名义成交额超1万亿美元,未平仓合约头寸约6.64亿美元

持仓减少约七成,SkyAI出售100万枚SOL并亏损超1.6亿美元,大股东Bastion Trading要求全面披露

1 小时前
持仓减少约七成,SkyAI出售100万枚SOL并亏损超1.6亿美元,大股东Bastion Trading要求全面披露