腾讯推出混元大模型，已接入腾讯会议、微信搜一搜等 50 多个腾讯业务和产品

腾讯补上了大模型布局中最重要的一块拼图。

9 月 7 日，在 2023 腾讯全球数字生态大会上，腾讯混元大模型正式亮相，并宣布通过腾讯云对外开放。腾讯介绍，混元大模型是由腾讯全链路自研的通用大语言模型，具备强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力。

马化腾此前曾经表示腾讯不急于推出大模型半成品。但很显然，首次亮相的混元大模型不可能是通俗意义上的「完美版」。对此，腾讯集团副总裁蒋杰将当下推出的混元大模型，定义成一个「可用」「可实践」的版本。

「我们一直在演进我们的能力，从大语言模型到文生图，到今天演讲最后非常科技感的视频，也是混元生成的视频。」蒋杰说，「我们今天的发布只是一个开始，还不值得大家对我们有很高的要求，我希望我们每个月都会给大家惊喜。」

此前在今年 6 月和 7 月，腾讯先后发布了面向 B 端客户的腾讯云 MaaS 解决方案和 AI 原生向量数据库 Tencent Cloud VectorDB，加上此次发布的自研通用大模型，腾讯已经搭建起一套包含通用大模型、云服务平台、向量数据库的完整大模型产品服务体系。

大模型时代，所有的软件服务都将被重塑。腾讯旗下的社交、游戏、娱乐、金融等产品拥有广泛的 C 端和 B 端用户，腾讯也在加快用大模型升级这些产品的进程。

目前，腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ 浏览器等超过 50 个腾讯业务和产品，已经接入腾讯混元大模型测试，并取得初步效果。此外，混元大模型也将作为腾讯云 MaaS 服务的底座，客户不仅可以直接通过 API 调用混元，也可以将混元作为基底模型，为不同产业场景构建专属应用。

会上，腾讯集团高级执行副总裁、云与智慧产业事业群 CEO 汤道生表示，腾讯将迈入「全面拥抱大模型」时代。腾讯集团副总裁蒋杰进一步表示：「我们研发大模型的目标不是在评测上获得高分，而是将技术应用到实际场景中。」

混元大模型

今年 6 月，腾讯发布了行业大模型及大模型的工具链 TI 平台。但对其通用大模型，一直被传在公司内部应用测试。

在今日举办的 2023 腾讯全球数字生态大会上，腾讯自己的通用大模型——混元大模型，终于亮相。

腾讯云 MaaS 服务全景图丨拍摄：极客公园

在现场演示中，混元大模型揭开了「自己」的神秘面纱。现场，工作人员向混元大模型进行了一系列提问：

• 混元是谁？
• 混元的核心技术架构是什么？
• 混元模型参数量多大？
• 混元训练数据截止什么时候？（今年 7 月，每个月不断迭代）
• 混元大模型，你有什么特点、优点？

据混元大模型自述，它拥有超千亿参数规模，预训练语料超 2 万亿 tokens，是腾讯自研的通用大模型。就其能力而言，腾讯方面表示，混元大模型的中文能力超过 GPT3.5，英文能力目前比 GPT3.5 差。此外，腾讯还自研了机器学习框架 Angel，使训练速度相比业界主流框架提升 1 倍，推理速度比业界主流框架提升 1.3 倍。

现场，腾讯集团副总裁蒋杰介绍道，训练烧钱、百模大战，在投入大模型时腾讯在期待什么？他认为是更成熟，更可靠的大模型。

但在技术手段上，他称，搜索增强、知识图谱，通过这些通过外挂、开卷考试，来解决大模型的「幻觉」等不可靠问题，存在局限性。在接受采访时，蒋杰进一步解释道：「尽管这些技术我们也会用，但是比例不是很高，混元大模型是在大模型的预训练阶段，来控制这个问题」。据悉，腾讯在预训练阶段通过「探真」算法进行事实修正，让混元大模型出现幻觉的概率降到最低。

他补充说，更成熟、更可靠的大模型，是一个拼细节的过程。「大家都知道什么叫强化学习，都知道大语言模型是通过 Transformer 来做、通过 decode 来做，但每个公司做的效果都不一样。这需要在算法、工程、数据标注的完整性等一系列综合能力上，抠细节。」

腾讯方面称，针对大模型容易「胡言乱语」的问题，腾讯优化了预训练算法及策略，让混元大模型的幻觉相比主流开源大模型降低了 30% 至 50%；通过强化学习的方法，让模型学会识别陷阱问题；通过位置编码优化，提高了超长文的处理效果和性能；提出思维链的新策略，让大模型能够像人一样结合实际的应用场景进行推理和决策。

对于混元大模型何时开始研发，蒋杰称，从 2020 年开始，腾讯一直在跟进和投入这样的技术能力，最早起于 400 GB、用于支撑广告业务的稀疏大模型，并不是现在看到的稠密大模型。当时，这一模型使得 GMV 提升了大约 13%，在这之后，腾讯对大模型的投入和积累逐渐增加。

在中国信通院《大规模预训练模型技术和应用的评估方法》的标准符合性测试中，混元大模型共测评 66 个能力项，在「模型开发」和「模型能力」两个重要领域的综合评价均获得了当前的最高分。在主流的评测集 MMLU、CEval 和 AGI-eval 上，混元大模型均有优异的表现，特别是在中文的理科、高考题和数学等子项上表现突出。

腾讯大模型的决战，还是在产品

腾讯自研通用大模型的首次亮相在主要大厂中并不算早。从今天披露的进展来看，技术上也很难说明显的差异或者突破性的变革，就像腾讯高管自己说的那样，混元大模型才刚刚起步，今天还不能对其有太多不切实际的要求。

但这不意味着腾讯就是这场竞争中的陪跑。虽然大模型的基础能力和积累上腾讯没有太多优势，但推动大模型落地，腾讯强大的产品和其背后广阔的用户体量，就是其最大的优势所在。

就在发布会的前一天，微信向一部分受邀用户开放了「腾讯混元助手」小程序，这是一款腾讯混元大模型多模态对话 Bot 产品，可以回答各类问题，也能处理多种任务，如：获取知识、解决数学问题、翻译、提供旅游攻略、工作建议等，也能进行 AI 绘画。

大模型本身只是一项技术，落地到真正的场景需要解决产品、用户、运营等一系列具体的问题，这也是为什么大模型厂商需要找第三方合作。但当下构建大模型的门槛越来越低，有场景的更愿意开发自己的大模型，这就让云服务商的定位越来越像一个提供开发平台和算力的供应商，巨大投入自研的通用大模型，却不容易找到场景。

而腾讯是中国最大的软件服务商，社交有微信、QQ 两个 10 亿用户级的产品，游戏能占到中国市场四成甚至更多的市场份额，旗下还有着中国前两大的支付工具，前三大的视频平台，前三大的短视频平台，以及中国最大的音乐 App、网文 App，此外在办公领域，腾讯会议、腾讯文档、企业微信等产品也有着领先的市场份额。

混元大模型就像是一个生在金矿上的「孩子」，别人都是拿着锤子找钉子，腾讯最不缺的就是钉子。会上公布 50 多个腾讯产品已经接入混元大模型，其中数亿级用户的产品比比皆是，比如有 4 亿用户的腾讯会议，覆盖 6 亿用户的腾讯广告、也有几亿用户的腾讯文档。

会上，蒋杰展示了腾讯会议、腾讯文档、腾讯广告等多个业务在接入腾讯混元大模型后的实际应用情况。

• 比如腾讯会议基于混元大模型打造了AI小助手，只需要简单的自然语言指令，就能完成会议信息提取、内容分析等复杂任务，会后还能生成智能总结纪要。据实测，在指令理解、会中问答、会议摘要、会议待办项等多个方面，混元大模型均获得较高的用户采纳率。

腾讯会议 AI 助手丨来自：腾讯

• 在文档处理方面，腾讯混元大模型支持数十种文本创作场景，在腾讯文档推出的智能助手功能中已有应用。同时，混元还能够一键生成标准格式文本，精通数百种 Excel 公式，支持自然语言生成函数，并基于表格内容生成图表，目前这些功能正在内测阶段，将在成熟后面向用户开放。- 在广告业务场景，腾讯混元大模型支持智能化的广告素材创作，能够适应行业与地域特色，满足千人千面的需求，实现文字、图片、视频的自然融合。此外，基于混元大模型的能力，广告智能导购能够帮助商家在企业微信等场景，提升服务质量和服务效率。

腾讯广告 AI 创意工具丨来自：腾讯

蒋杰在接受采访时表示，其实今天腾讯大模型的应用就是跟腾讯业务的深度结合，今天是跟会议的结合，跟文档的结合，那未来可以是跟微信的结合，QQ 的结合，是跟腾讯视频的结合，腾讯音乐的结合。

大模型的发展不能也不会只靠烧钱推动，一定需要落地到具体的场景产生价值，落的场景越多，使用的用户越多，产生的商业价值、数据越多，通用大模型的训练成本就会被摊的越薄、推理成本也就降的越低，而模型能力却会更强，形成互联网老生常谈的「飞轮效应」。

在这场大模型竞争中，腾讯是最不需要「抢」的那个。做好自己的事情，持续提升模型能力，做好为现有的产品的赋能和升级，给用户创造价值，腾讯就足以赢下一张大模型时代的船票。