加州理工初创公司PrismML发布1-bit大模型Bonsai 8B，旨在提升边缘设备AI效率。该模型仅需1.15GB内存，性能媲美同级模型，但体积缩小14倍，速度提升8倍，能效提高5倍。其架构避免了传统低位量化导致的推理能力下降问题，实现了高智能密度与低功耗的平衡。
AI + ML
PrismML 推出低能耗 1-bit LLM，旨在让 AI 摆脱云端束缚
Bonsai 8B 模型与其他 8B 模型性能相当，但体积缩小 14 倍，能效提升 5 倍
Thomas Claburn 2026年4月4日 星期六 // 08:09 UTC
PrismML 是一家源自加州理工学院（Caltech）的 AI 初创公司，该公司发布了一款性能优于更大权重模型的 1-bit 大语言模型（LLM），期望以此提升移动设备及其他应用场景下的 AI 效率与可行性。
这款名为 Bonsai 8B 的模型实现了小巧轻快，不仅功耗需求适中，其基准测试性能更是足以媲美许多更大的模型。
该公司在社交媒体帖子中表示：“我们的首个验证成果是 1-bit Bonsai 8B，这是一款仅需 1.15 GB 内存即可运行的 1-bit 模型，其智能密度是全精度同类模型的 10 倍以上。在边缘硬件上，它的体积缩小了 14 倍，速度提升了 8 倍，能效提高了 5 倍，同时在与同参数量级模型的竞争中依然表现出色。”
基于 Transformer 架构的 AI 模型包含拥有数百万甚至数十亿权重的神经网络，这些权重控制着神经元之间连接的强弱，并影响模型执行任务的方式。它们在训练过程中被设定，并根据表示它们所使用的精度占用相应的内存空间。
一个量化为 GGUF FP16（16 位）的模型所占用的空间，将远大于量化为 GGUF Q8_0（8 位）、GGUF Q4_0（4 位）或 GGUF Q2_K（2 位）的模型。这还未计算可能增加实际存储需求的元数据和开销。但在基本架构相同的情况下，16 位模型的性能通常优于低量化级别的模型。
根据该公司白皮书 [PDF] 的解释，PrismML 的 Bonsai 模型系列基于一种架构，其中“每个权重仅由其符号 {−1, +1} 表示，同时为每组权重存储一个共享的比例因子”，以此取代 16 位或 32 位浮点数。多年来，研究人员一直在探索改进量化的方法，相关论述见于《BitNet: Bit-Regularized Deep Neural Networks》（2017 年）和《The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits》（2024 年）等论文。
PrismML 的方法基于加州理工学院电气工程教授 Babak Hassibi 及其同事的研究成果。该公司声称，其 1-bit 架构避免了历史上伴随低位量化而来的种种权衡取舍，特别是指令遵循能力差、多步推理错误以及工具使用不可靠等问题。
*（侧边栏新闻标题：）* *Claude Code 源代码泄露揭示了 Anthropic 能收集多少关于您和您系统的信息* *若指令过多，Claude Code 会绕过安全规则* *亚马逊安全主管：AI 使渗透测试效率提升 40%* *OpenAI 获 1220 亿美元融资，在世界分崩离析之际“专心搞建设”*
“我们花费数年时间开发了在不损失推理能力的前提下压缩神经网络所需的数学理论，”Ba [
来源：