MiniMax自研国内首个千亿级MoE大语言模型「Abab6」全量上线

近日，MiniMax 全量发布大语言模型 Abab6，该模型为国内首个 MoE（Mixture-of-Experts）千亿级参数大语言模型。在 MoE 结构下，Abab6 拥有大参数带来的处理复杂任务的能力，同时模型在单位时间内能够训练足够多的数据，计算效率也可以得到大幅提升。改进了 Abab5.5 在处理更复杂、对模型输出有更精细要求场景中出现的问题。

云启长期关注AI发展，在2021年底投资了MiniMax天使轮。我们认为，模型的算力成本，是当前应用端的重要挑战，而MoE结构是目前最优的解决方法之一，通过几个专家模型合并起来做成一个大的模型，模型参数量相对比较小，可以降低推理成本。

以下是对MoE结构下「Abab6」的测评详解及应用示例。

> > > 过去半年多，MiniMax已服务近千家客户，包括金山办公、小红书、腾讯、小米和阅文在内的多家头部互联网公司，MiniMax 开放平台平均单日的 token 处理量达到了数百亿。

Abab6的参数比上一个版本大一个量级，更大的模型意味着 abab6 可以更好的从训练语料中学到更精细的规律，完成更复杂的任务。

为了保证 Abab6 的运算速度，MiniMax使用了MoE结构。在该结构下，模型参数被划分为多组“专家”，每次推理时只有一部分专家参与计算。基于 MoE 结构，Abab6 可以具备大参数带来的处理复杂任务的能力；计算效率也会得到提升，模型在单位时间内能够训练足够多的数据。

目前大部分大语言模型开源和学术工作都没有使用 MoE 架构。为了训练 Abab6，MiniMax自研了高效的 MoE 训练和推理框架，也发明了一些 MoE 模型的训练技巧。目前为止，Abab6 是国内第一个千亿参数量以上的基于 MoE 架构的大语言模型。

｜Abab6 测评结果

对abab6、abab5.5、GPT-3.5、GPT-4、Claude 2.1和 Mistral-Medium 商用进行了自动评测。在简单的任务上，abab5.5 已经做得比较好，因此我们选择了三种涵盖了较复杂的问题的评测方法：

IFEval：这个评测主要测试模型遵守用户指令的能力。我们会问模型一些带有约束条件的问题，例如“以XX为标题，列出三个具体对方法，每个方法的描述不超过两句话”，然后统计有多少回答严格满足了约束条件。

MT-Bench：这个评测衡量模型的英文综合能力。我们会问模型多个类别的问题，包括角色扮演、写作、信息提取、推理、数学、代码、知识问答。我们会用另一个大模型（GPT-4）对模型的回答打分，并统计平均分。

AlignBench：该评测反映了模型的中文综合能力测试，测试形式与 MT-Bench 类似。

可以看出，abab6 在三个测试集中均明显好于我们前一代模型 abab5.5。在指令遵从、中文综合能力和英文综合能力上，abab6 大幅超过了 GPT-3.5。和 Claude 2.1 相比，abab6 也在指令遵从、中文综合能力和英文综合能力上略胜一筹。相较于 Mistral 的商用版本 Mistral-Medium，abab6 在指令遵从和中文综合能力上都优于 Mistral-Medium，在英文综合能力上与 Mistral- Medium 旗鼓相当。

Abab6大模型在持续训练中，想要接入 abab6 大模型的朋友，欢迎访问 MiniMax 开放平台官网 api.minimax.chat 登记。

以下是几个 abab6 实现的具体案例。

｜应用实例

1. 乐趣辅导

prompt：用一个简单易懂且有趣的方式来教 7 岁左右儿童以下的数学题目：一个篮子里有 5 个苹果，小明吃掉了 2 个苹果，然后妈妈又放了 3 个苹果进去，请问篮子里现在有多少个苹果？同时，为保持孩子们的学习兴趣，需要模拟海绵宝宝的口吻来表达。

Abab：嘿，小伙伴们，我是你们的好朋友海绵宝宝！今天我们来玩一个数学游戏，看看篮子里的苹果发生了什么变化。

一开始，我们的篮子里有 5 个苹果，就像海底世界里的宝藏一样。然后，我们的好朋友小明来了，他吃掉了 2 个苹果，就像吃掉了海底的2颗珍珠。这时候，篮子里就剩下了 5-2=3 个苹果。

但是，不要担心，因为小明的妈妈很善良，她又放了3个苹果进去，就像又找到了 3 颗珍珠一样。所以，篮子里现在又有了3+3=6个苹果。

所以，现在篮子里有 6 个苹果，就像海底世界里又多了 6 颗闪亮的珍珠。你们都明白了吗？记得，数学就像海底探险一样，总是充满了惊喜哦！

2. 游戏构建

Prompt：为我创造一款虚构的桌游，这款游戏的主题围绕着上海展开，游戏中需包括上海市的主要旅游景点、历史文化以及独特美食。请将回答格式化为一个清晰的游戏规则说明书，其中每个游戏组件的描述必须用有序列表来组织。

Abab：游戏名称：《魔都探秘》

游戏类型：城市建设与文化探索

游戏目标：

玩家需要成为上海的城市规划者，通过投资旅游景点、历史文化地标和美食街区，发展自己的城市，吸引游客，最终成为上海最成功的城市规划者。

游戏人数：2-4 人

游戏时间：约 60 分钟

游戏组件：

1.游戏板：展示上海市地图，包含主要旅游景点、历史文化区域和美食街区。地图上有不同颜色的区域，分别代表不同类型的地块。

2. 地标卡：描述上海著名的旅游景点，如外滩、豫园、东方明珠等。每张卡片上有投资成本和游客吸引力分数。

3. 历史文化卡：介绍上海的历史文化，如上海博物馆、中共一大会址等。每张卡片上有投资成本和历史文化分数。

4. 美食街区卡：列出上海的特色美食，如小笼包、生煎、南翔小笼等。每张卡片上有投资成本和美食分数。

5. 发展骰子：六面骰子，用于决定玩家行动顺序和发展阶段。

6. 货币：代表玩家拥有的资金，用于购买地块和投资。

7. 计分板：跟踪玩家的游客吸引力分数、历史文化分数和美食分数。

8. 玩家棋子：代表玩家在游戏板上的位置。

游戏规则：

游戏开始时，玩家各自选择一个颜色的棋子放置在游戏板的起点。

玩家轮流掷骰子，按照骰子点数移动棋子，并根据所处位置抽取相应类型的卡片。

玩家可以选择购买抽取到的地标卡、历史文化卡或美食街区卡，并放置在自己的城市规划区域内。

每张卡片都有相应的投资成本，玩家需要支付相应的货币。

玩家在自己的回合可以选择投资已有的建筑来提高其吸引力或历史文化分数，或者购买新的地块和卡片。

游戏进行预定的回合数后结束。

游戏结束时，玩家根据游客吸引力分数、历史文化分数和美食分数的总和来计算总分。

总分最高的玩家成为上海最成功的城市规划者，赢得游戏。

游戏策略提示：

平衡投资，不要只专注于某一种类型的建筑。

观察对手的布局，尝试通过竞争热门旅游景点或美食街区来干扰对手。

合理规划资金流，确保有足够的现金进行投资和应对突发事件。

利用历史文化卡来增加城市的文化底蕴，吸引对历史文化感兴趣的游客。

《魔都探秘》将带领玩家深入了解上海的文化与魅力，通过有趣的城市建设和经济竞争，让玩家在享受游戏的同时，更加喜爱和了解上海。

3. 指令遵从

Prompt：《秦时明月》讲了个什么故事？

分两段回答；第一段第一句以“海螺”开头，第一段第二句以“极”开头，第一段第三句以“智”开头；第二段以“星野”开头，并在合适的位置添加“明日”“梦”两个关键词。

Abab：海螺壳中藏着历史的秘密，《秦时明月》便是以这样的神秘物品作为引子，展开了一段跨越时空的冒险故事。极尽想象与创意，这部作品将秦朝末年的历史背景与武侠、奇幻元素相结合，讲述了一群英雄儿女在动荡的时代背景下，为了理想和信念而战斗的故事。智勇双全的主角们，不仅要面对强大的敌人，还要解开一个个历史谜团，他们的冒险充满了挑战与成长。

星野之下，明日的梦想在《秦时明月》中显得尤为珍贵。主角们在历史的洪流中，不断追寻着属于自己的明天，他们的故事激励着观众去思考个人与历史的关系，以及如何在逆境中坚持自己的梦想。明日的曙光，似乎总在最黑暗的时刻闪现，而《秦时明月》正是通过这样的故事，传达了对未来的美好憧憬和对梦想的执着追求。

4. 会议总结

Prompt：我们要求 abab 6 根据总时长为 10 分钟的，共 7 人参与的会议内容，总结出【会议记录内容】中的全部议题，如果有【Action】要在会议内容中明确。议题的数量不多于 5 个，请按以下格式输出：

议题 1: xxxxx

议题内容：xxxxx

时间：xxxxx

议题 2: xxxx

议题内容：xxxx

时间：xxxx

Abab：

议题1：加快项目进度并保证质量

议题内容：发言人5强调在加快进度的同时要保证工作质量，张华表示稳妥是前提。