鑫赢智投面壁智能曾国洋：重新定义端侧 AI，大模型开源与端侧推理框架如何改变游戏规则

火种：当所有人仰望云端，他决定去做端侧大模型

那是一个简陋，但是中国大模型行业不该忘记的晚间聚会。

时年 22 岁的曾国洋简单支了张桌子，放了个电脑，展示了一个打字机一样的网页——打几个字，按 Tab 键，它就能自动往后补内容，不断吐出略显奇怪的内容情节。这个“打字机”背后，是中国第一个大语言模型 CPM-1。

那是 2020 年，大模型的前传时代。GPT-3 出现了，但只引起了曾国洋这样一小撮 AI 研究者的注意。曾国洋发现，和之前 AI 训练主流路线 BERT 不一样，GPT-3 “不是理解，而是生成。生成模型让我们看到了一个无法想象的上限。”曾国洋第一时间就想在国内也做一个。于是，在智源研究院的支持下，曾国洋作为核心工程负责人，负责训练框架、算力调度、模型落地，最终有了这个能展示“打字机”的夜晚；再之后，才又有了更大尺寸的盘古、悟道模型项目。

曾国洋那晚支的桌子不大，里里外外围了两三圈人，这就是中国最早了解大模型、注意到 Transformer 架构能量的一小撮“革命火种”，其中就包括曾国洋所在、以清华 NLP 实验室成员为创始班底的面壁智能。

当云端大模型激战正酣，曾国洋所在的面壁智能作为在中国很早看到大模型威力、也是很早一批成立的 AI 模型公司，却选了一条少有人走的冷清道路：做端侧大模型，浓缩到能跑进手机、汽车甚至一个毛绒玩具里。

“未来的智能不可能只存在于云端。历史上，计算本身就一直同时存在超级计算、云计算、端侧计算，人工智能也一定会是这样。”面壁智能创始人刘知远曾说，“既然已经有人在做云端模型，我们为什么还要重复做同样的事情？而端侧，既有非常清晰的技术支撑，也有非常清晰的历史类比。”

突围：用大模型开源和端侧推理框架，推开端侧 AI 的大门

做端侧大模型，在技术上并不比做大模型更简单。恰恰相反，如何在压缩模型尺寸的同时，却不显著减损智能，是技术难题，也是工程难题。还要配合端侧推理框架的极致优化，应对芯片功耗与电池电量的双重约束。面壁智能在端侧大模型上的底气在于，提出了一套原创方法论——“模型风洞”，即在小规模实验中快速验证和预测模型效果。面壁智能相信，“知识密度”是衡量模型的真正标尺，并喊出一条“密度定律”：智能密度每 3.5 个月翻一番，同等智能所需的参数规模呈指数级下降。

最初，市场也快速给出了正反馈。面壁智能发布的一款2B参数的端侧大模型 MiniCPM，表现碾压了同期 8B 的同行竞品。他们坚持大模型开源策略，将MiniCPM 的模型权重和配套的端侧推理框架悉数开源，迅速引发社区关注。开源发布后，模型还适配了安卓手机，跑了速度、挂了榜单。手机厂商一下就卷起来了，纷纷来问“为什么我的（速度）没他的快”。

但是，走通端侧 AI 这条路，意味着大量的约束条件。云端模型跟最终用户的距离，可以短到只有一个聊天窗口；但走端侧大模型这条路，要在真实世界里闯过重重关卡，任何一关卡住，终端用户的感知就为零。

所以，过去三年，热闹都是云端模型的，面壁智能却在一片喧嚣中坚持走上端侧大模型这条旁路。当云端大模型领域追逐一个又一个“天才少年”、技术偶像时，大二就在清华NLP实验室实习、22 岁做出中国第一个大语言模型、24 岁担任面壁智能 CTO 的曾国洋，却鲜少在媒体露面。

那么，这家中国较早做大模型的公司，和“年纪很小、资格很老”的曾国洋在做什么？

在做芯片和内存适配，把端侧推理框架做到极致。面壁智能已完成对高通、联发科、英特尔、瑞芯微、英伟达、AMD等主流芯片平台的全面适配，让端侧大模型在不同硬件上都能获得流畅的推理体验。在内存价格飞涨的当下，面壁智能新发布的 BitCPM-CANN 模型系列，能跑在华为昇腾芯片上，通过端侧推理框架的深层优化，让同一块内存多装约6倍大的模型，或者让本来带不动的设备带得动，大幅降低了端侧 AI 的部署门槛。

在做“更懂你”的端侧大模型。端侧的操作更智能更简洁，才能战胜上一代人机操作的体验。现在的记忆框架一般只是把你的对话记录存进数据库，但面壁智能引入了行为模式库，一句“去接孩子”即可自动补全目的地、规划路径并结构化为待办提醒——这才是真正融入生活的端侧 AI 助理。

在做端侧所需、更自然的人机交互。面壁智能的全双工全模态端侧大模型 MiniCPM-o4.5 像一个时刻在线的真人，能边看、边听、边说。你可以随时打断它，它也能根据你的实时反应调整语速和情绪，让交互从“触发指令”变成了“自然对话”，代表着端侧AI交互体验的质变。

“做模型就是做数据”：一个CTO的偏执，和端侧AI量产落地的最后一公里

这背后，依然渗透着曾国洋和面壁智能对 AI 模型的理解。

“做模型就是做数据。”曾国洋反复强调。端侧大模型要追上云端大模型，光靠架构不够，真正卡上限的是训练数据的知识密度。面壁智能把数据治理拆成L0到L4五级，像芯片制程一样分层精炼：原始数据、过滤、精筛、合成增强，再到可直接编排，每一级都对应明确的处理标准和训练阶段。

他要求每个算法工程师必须亲自看数据，一百多个训练数据集要挨个检查到“没有任何问题”才会开始训练。他举了一个令人印象深刻的反例：上万条微调数据中，仅两条因为处理不当截断了半句话，训练完的模型就开始在和人的对话中“说到一半戛然而止”。“两万条里两条有问题，模型就学坏了。”这种近乎偏执的数据洁癖，正是端侧大模型在极有限参数下保持高智能的关键。

曾国洋相信，用 AI 来训练 AI，是模型进化的必然之路。据其介绍，面壁智能开发了全球第一个完全由 AI 编写的生产级大模型训练框架 ForgeTrain。这意味着更高的工程效率，和能在更紧的算力预算下保持前沿端侧大模型的研发节奏；面壁智能配套提出的 Forge Engineering 是一种新的软件工程范式：把代码从“一份需要长期维护的实现”解绑成“按需锻造的一次性快照”。同一套评测标准，可以为不同硬件、不同场景各自算出最优实现，通用性和效率不再二选一，这又反向加速了大模型开源生态的繁荣，让开发者可以基于开源的端侧推理框架快速定制自己的端侧模型。

简单来说，过去两年，走上端侧之路的面壁试图变得越来越懂工程、懂落地——在电池和芯片约束最小的智能汽车上，面壁已经在吉利、上汽大众、广汽、马自达等的车型上完成定点、走向量产，让端侧大模型驱动的智能座舱走进真实驾驶舱——但面壁和曾国洋依然很懂模型。

当端侧AI的数据、推理框架、芯片适配、交互体验等一道道坎被陆续跨越，电影《Her》中那个无处不在却又无声无息的智能伴侣，正从科幻走向现实。而在这条少有人走的路上，面壁智能正凭借端侧大模型核心实力、坚定的大模型开源路线和极致的端侧推理框架优化，悄然定义着端侧 AI 的未来形态。

下载“北京日报”客户端阅读体验更佳哦

扫描二维码下载手机客户端

-->

分享到

发布评论文明上网理性发言，请遵守评论服务协议

未登录

0/200发布发布全部评论

0条

点击加载更多

欢迎下载“北京日报”客户端发表评论

相关阅读热门报道换一批推荐阅读换一批精彩视频换一批猜你喜欢滚动企业北京国内国际北晚社会文娱体坛旅游文史阅读深度产经调查互联网美食北晚健康消费北晚行业北晚网摘网站地图新闻评论深度理论视频图库悦读互联网财经文化体坛科教消费矩阵网摘东城区政府网站西城区政府网站朝阳区政府网站海淀区政府网站丰台区政府网站石景山区政府网站门头沟区政府网站房山区政府网站通州区政府网站顺义区政府网站大兴区政府网站昌平区政府网站平谷区政府网站怀柔区政府网站密云区政府网站延庆区政府网站市人大市政协市监察委市高级人民法院市人民检察院市政府办公厅市发展改革委市教委市科委市经济信息化局市民族宗教委市公安局市民政局市司法局市财政局市人力社保局市规划自然资源委市生态资源局市住房城乡建设委市城市管理委市交通委市水务局市农业农村局市商务局市文化和旅游局市卫生健康委市退役军人事务局市应急管理局市市场监督管理局市审计局市政府外办市国资委市广播电视局市文物局市体育局市统计局市园林绿化局市地方金融监管局市人防办市信访办市知识产权局市医保局京报媒体矩阵北京日报北京晚报北京青年报北京商报音乐周报新闻与写作北京日报客户端长安街知事艺绽北晚在线北京深读空间