卡住端侧AI的不是内存
模型每百天浓缩一倍，芯片算力跨过100TOPS门槛
2024年底，清华孙茂松、刘知远团队与开源社区OpenBMB提出“能力密度”概念——一个模型每亿个参数里能装多少“聪明”。截至2025年7月，MiniCPM系列全球下载量已达3800万次，GitHub星标超14万。今年5月发布的MiniCPM5-1B，参数量仅1B，效果却比三个月前发布的Qwen3.5-2B更好，体积砍半，智商反超。这种“密度定律”让模型每百天浓缩一倍，端侧可承载的智能持续膨胀。
但模型的聪明最终要跑在硅片上。高通骁龙8 Elite Gen5的AI算力已飙至100 TOPS，联发科天玑9500的NPU峰值同样达到100 TOPS，且功耗比上一代砍半，支持低比特推理技术。2026年，芯片算力将真正跨过这道坎——100 TOPS成为端侧AI的“及格线”。两条线同步交汇：模型每百天浓缩一倍，百TOPS芯片今年铺开，端侧AI的落地才真正成立。
内存带宽才是真瓶颈，系统抢资源比模型更狠
决定手机能跑多大模型的，从来不是芯片算力榜上的峰值数字。内存容量、内存带宽、数据搬运、缓存管理——这些才是制约工程师的硬约束。一个App占内存超限，iOS的Jetsam会直接杀掉它，连弹窗都不给；安卓的LMK同理。手机标称8GB内存，实际需预留三到四成给系统和其他App，模型真正能用到的远不足8GB。
智源研究院《端侧智能2026》报告按INT4量化口径估算了不同设备能装的模型规模：AI眼镜（约40克整机）只能塞进0.8B-1.5B参数；手机夹在中间，3B到4B，还得跟相机、导航、后台服务抢同一块内存；AI盒子插着电，可塞大内存、主动散热，能到70B+。座舱主控芯片从高通8295到8397、8797迭代，本地模型规模从0.9B涨到4B-8B，旗舰平台已能摸到14B。同一个品类，两年时间尺寸区间上抬一个数量级——多模态座舱智能体就是这么成立的。
面壁的MiniCPM-V 4.6，1.3B参数，Q4量化后整体部署体积约1.6GB，能在6GB内存的手机上安全运行。1.3B正好落在“手机3B-4B”格子的下沿，1.6GB对6GB内存完全安全——他们从一开始就按这个约束设计。量化，就是连接“模型能干什么”和“硬件跑得动什么”之间的桥。
合规牌照：持牌、租牌、不碰牌，三层玩家各怀心事
今年7月15日，国家网信办公告7款手机端侧AI服务完成备案。但全国已备案的生成式AI服务近千款，苹果等了两年半，才拿到这一张清单上的名字。备案流程之重：过属地网信办、技术测试、专家评审、中央网信办终审。拿到牌后，才能触碰系统级权限、跨应用调度、开机自启的智能体。
产业形成三层结构：
- 持牌层：华为AI眼镜跑小艺，小米AI眼镜接小爱，夸克G1接千问，理想Livi接理想同学——自带模型，走完整备案。
- 租牌层：调别人备过案的API，走登记流程，约四到五个月拿到上线编号。但只能租、不能改——模型做微调或喂自建语料，就不满足登记条件，得回去排备案。端侧AI最值钱的本地个性化、私有数据适配，全踩在“改没改模型”这条线上。
- 不碰牌层：瑞芯微、恒玄科技、星宸科技等芯片厂商，卖的是硅片，一张证不用办。但牌照决定终端能不能上架，终端卖多少，决定它们出多少货，隔了一层。
2025年底至2026年6月底，登记数量从435款增至598款，增幅163款，远超备案增速。AI陪伴、AI绘画、AI写作等品类，安全评估没有、备案没有，就不给上架。今年4月网信办专项行动，第一阶段处置了1.4万多款违规AI产品。
工程三角：精度、省电、便宜，只能选两样，密度定律推边界
端侧做AI，精度、省电、便宜三件事互相打架。模型要聪明就得做大，做大吃内存、吃电、手机发烫；要省电就得压小、砍精度，砍狠了变傻；要便宜就用低端芯片，内存小、NPU慢，大模型根本塞不进去。这三件事的边界在物理手里——制程前进、内存带宽提升，边界才勉强外挪一丝。
密度定律干的活，就是把三角的边界往外推。面壁开源周发布的BitCPM-CANN，用1.58-bit三值化（每个权重只保留-1、0、+1三种状态），推理阶段显存仅需同尺寸全精度模型的1/6，同时保留90%到97.2%的模型能力。这相当于把“内存密度”推高了一个量级。但三角还在，任何一个时间点上，依然只能选两样。
芯片适配更是雪上加霜：手机里跑AI的芯片，高通、联发科各有一套工具链；加上PC、汽车、机器人、IoT模组，每家都自搞一套。N个模型乘M种芯片乘K种终端，根本适配不完。FlagOS 2.0统一算子库497个，覆盖18家厂商、32款芯片，实测将Qwen的CUDA依赖全换后，推理性能从35%提到接近95%——但这样的工程，每一步都在物理边界上跳舞。
端侧AI真正的难度，不在于单个维度的突破，而在于要在功耗、内存、算力、芯片、系统和应用之间做一整套协同设计。这种能力买不到，也快不起来，只能一年一年长出来。时间本身，就是护城河。