加州理工开源真1-bit模型Bonsai:8B参数仅1.15GB,iPhone上跑到44tok/s

加州理工开源真1-bit模型Bonsai:8B参数仅1.15GB,iPhone上跑到44tok/s

2026-04-01 11:41查看原文

ChainThink 消息,2026年4月1日,据1M AI News监测,加州理工学院数学家Babak Hassibi联合创立的AI实验室PrismML结束隐身期,开源1-bit Bonsai系列大语言模型。旗舰模型1-bit Bonsai 8B拥有82亿参数,内存占用仅1.15GB,较同级别16-bit模型压缩约14倍,同时发布4B(0.5GB)和1.7B(0.24GB)两款更小模型。


Bonsai 8B为端到端真1-bit模型,嵌入层、注意力层、MLP层和输出头全部仅用+1或-1表示权重,无高精度补丁。PrismML称其在标准基准测试上的推理和语言理解能力与16-bit全精度模型相当,核心压缩数学由团队在加州理工历时数年研发,知识产权归加州理工所有,PrismML为唯一独占授权方,模型使用谷歌v4 TPU训练。


实测速度方面,M4 Pro Mac上为136 tok/s,RTX 4090上为440 tok/s,iPhone 17 Pro Max上约44 tok/s,标准16-bit 8B模型无法装入任何iPhone,能耗较16-bit模型降低约4-5倍。PrismML指出,现有硬件并非为1-bit推理设计,速度和能耗优势主要来自内存占用缩小,若未来出现专为1-bit设计的硬件,效率还可再提升一个数量级。


PrismML完成1625万美元SAFE及种子轮融资,投资方为Khosla Ventures、Cerberus Capital和加州理工。Khosla Ventures创始人Vinod Khosla评价该成果“不是小迭代,是重大技术突破,是数学突破,不只是又一个小模型”。

免责声明:含第三方意见,不构成财务建议

推荐阅读

韩国 KOSPI 指数失守 6900 点,日内跌幅 7.75%

1 分钟前
韩国 KOSPI 指数失守 6900 点,日内跌幅 7.75%

苹果起诉OpenAI:400名前员工与AI硬件之争

11 分钟前
苹果起诉OpenAI:400名前员工与AI硬件之争

美股夜盘存储板块普跌,闪迪跌超5%

31 分钟前
美股夜盘存储板块普跌,闪迪跌超5%

传被字节索赔800万的前实习生创业做世界模型,估值达2亿美元

31 分钟前
传被字节索赔800万的前实习生创业做世界模型,估值达2亿美元

Delphi Ventures 未来十年预判:自动化、多极化与人口变局

47 分钟前
Delphi Ventures 未来十年预判:自动化、多极化与人口变局

中国最高检刊文《体系化破解利用虚拟货币洗钱刑法规制困境》

51 分钟前
中国最高检刊文《体系化破解利用虚拟货币洗钱刑法规制困境》

分析师:SK海力士ADR短期内可能出现估值溢价

58 分钟前
分析师:SK海力士ADR短期内可能出现估值溢价