将600亿参数大模型装进手机的瓶颈,终于被中国AI公司突破了。 一个8

含含谈科技 2026-05-25 19:19:19

将 600 亿参数大模型装进手机的瓶颈,终于被中国 AI 公司突破了。 一个8B参数的大模型通常需要16GB显存,但一家中国AI公司找到了一种方法,把模型压缩到不到3B,性能保留97%,省下6倍显存。如果结合MoE架构,8GB内存的普通手机,就能跑600亿参数的大模型。 为什么这件事很重要?过去两年,端侧AI的瓶颈一直是"装不下",手机内存太小,大模型太重。苹果、高通、联发科都在做芯片侧的优化,但压缩比的天花板一直卡在那里:要么性能损耗太大,要么压缩比不够看。这次的方案直接突破了这道卡口。 背后的技术路径是量化压缩,把模型参数从浮点数降精度,极端情况下每个参数只用1个bit存储。全球有Meta、MIT等多个团队在追这条路,但能在国产算力上跑出完整方案,这是第一次。 这个细节值得注意:不依赖英伟达GPU,用国产算力实现了相同效果。在当前芯片供应链压力之下,这不只是技术成果,更是一个独立可用的路径验证。 反直觉的判断是:这件事的意义不在于"手机能跑大模型",而在于"大模型不再需要数据中心"。当推理成本压到手机本地可以承担的程度,云端大模型的收费逻辑就会被重写谁先把模型装进终端,谁就掌握了下一轮AI应用的分发入口。

0 阅读:0
含含谈科技

含含谈科技

感谢大家的关注