文案库 · 抖音

大模型训练配方｜微软MAI 2.8万亿的模型怎么训💡

宾大出逃AI_PhD · 2026-10-17 · 赞 1,809 · 收藏 1,061 · 评论 69 · 读取于 2026-10-21

看原帖 ↗

要点（每条带原文引文）

  • 微软公开了MAI-Base-2模型的预训练细节，该模型拥有2.8万亿参数。 — ✓ “微软把一个2.8万亿参数大模型的配方摊开了” (0:04)
  • 大模型训练分为预训练、中训练和后训练三个阶段。 — ✓ “一个大模型要经过三个阶段” (0:24)
  • MAI-Base-2采用混合专家（MoE）结构，每层512个专家加一个共享专家，每个Token仅调用7个专家。 — ✓ “每一层都有512个专家” (1:04)
  • 数据配比共50万亿Token，其中代码占45%，网页12%，PDF和理工科各9%左右，书5%，数学4%，纯图片14%。 — ✓ “代码占了45%” (1:31)
  • 通过小模型拟合Loss与算力的关系公式，预测大模型Loss为0.8034，实际训练结果为0.8058，误差仅0.3%。 — ✓ “误差只有0.3%” (3:02)
  • 为防止过拟合，小模型使用与大模型相同的数据重复遍数，而非按比例缩放数据量。 — ✓ “每份数据读的遍数，大小模型都是8遍” (3:21)
  • 使用Muon优化器理顺权重更新方向，使训练过程平滑稳定。 — ✓ “Muon优化器” (3:57)
  • 采用激活梯度裁剪技术，仅在网络特定位置截断异常梯度，并借此发现了一条有Bug的坏数据。 — ✓ “意外收获：它还揪出了一条坏数据” (4:16)
  • 采用不丢Token的MoE策略，将分配过多的Token分轮计算，确保有效训练时间达到38天。 — ✓ “不丢token的MoE” (4:25)
  • 新模型在代码、问答、理工科和数学测试中表现优于开源模型，且算力需求更低。 — ✓ “新模型都比几款万亿参数的开源模型低” (4:59)
  • 强化学习阶段分为理科编程、写代码用工具、有用和安全三个专科，最后合成模型再进行一次强化学习。 — ✓ “先分三个专科来练” (5:29)

要点由 LinkDigest 的模型写出，引文逐字核对过：✓ 在原文里找到了，✗ 没找到。

画面文字（前 10 行）

  • 0:00 顶级大模型的训练配方
  • 0:09 这次，微软摊开了 / Microsoft AI · Frontier Pre-training at Microsoft AI / 2026 年 10 月 15 日 · MAI-Base-2 / 训练配方 / 2.8 万亿 / 参数 / 这次，微软把一个 2.8 万亿参数大模型的配方摊开了，连 50 万亿个 token 的数据配比都画了出来。
  • 0:18 现代大模型是怎么训练出来的 / 怎么提前算出结果 / 怎么撑过 38 天 / 今天就借这份报告，带你看现代大模型到底是怎么训出来的： ，怎么提前算出结果，又怎么撑过 38 天。
  • 0:27 1 · 三个阶段 / 三个阶段 模型 先训小的 撑过 38 天 效果 之后 / 第 1 步 预训练 / 第 2 步 中训练 / 第 3 步 后训练 / 第一步是预训练：读几十万亿个 token，每次只猜下一个 token。模型的知识，大部分是这一步学来的。
  • 0:36 1 · 三个阶段 / 三个阶段 模型 先训小的 撑过 38 天 效果 之后 / 第 1 步 预训练 / 几十万亿个 token / 长方形 的 周长 ? / 只猜下一个 / 第 2 步 中训练 / 第 3 步 后训练 / 第二步是中训练，把模型能读的长度拉长。微软的上一代模型，先拉到 6.5 万个 token，再拉到 26 万个。
  • 0:45 1 · 三个阶段 / 三个阶段 模型 先训小的 撑过 38 天 效果 之后 / 第 1 步 预训练 / 几十万亿个 token / 长方形 的 周长 ? / 只猜下一个 / 今天讲这一步 / 第 2 步 中训练 / 把能读的长度拉长 / 6.5 万 / 26 万 token (MAI-Base-1 的做法) / 第 3 步 后训练 / 强化学习 / 推理 写代码 守规矩 / 今天这份报告，讲的就是第一步。MAI-Base-2 现在正在做后训练。
  • 0:54 2 · 模型：2.8 万亿参数的混合专家 / 三个阶段 模型 先训小的 撑过 38 天 效果 之后 / 2.8 万亿 / 个参数 / MAI-Base-2 有 2.8 万亿个参数，可每读一个 token，只用到其中 800 亿个。
  • 1:04 2 · 模型：2.8 万亿参数的混合专家 / 三个阶段 模型 先训小的 撑过 38 天 效果 之后 / 2.8 万亿 / 个参数 / 800 亿 / 每个 token 用到的 / 一层里的 512 个专家 / 靠的是混合专家，也就是 MoE：每一层都有 512 个专家，外加一个所有 token 都要经过的共享专家。
  • 1:13 2 · 模型：2.8 万亿参数的混合专家 / 三个阶段 模型 先训小的 撑过 38 天 效果 之后 / MAI-Base-1 / MAI-Base-2 / MoE / 普通层 / 一半的层是 MoE / 每一层都是 MoE / 上一代模型，只有一半的层用 MoE。这次每一层都用，是因为他们把 MoE 层的利用率，从 24% 提到了 35%。
  • 1:22 3 · ：50 万亿个 token / 三个阶段 模型 先训小的 撑过 38 天 效果 之后 / MAI-Base-1 · 30 万亿 / MAI-Base-2 · 50 万亿 / 再看它读了什么。这是报告里的数据配比图，一共 50 万亿个 token。

逐字稿

顶级大模型的训练配方就像可乐的秘方,一直锁在少数人手里。 这次微软把一个2.8万亿参数大模型的配方摊开了,连50万亿个Token的数据配比都画了出来。 大家好,我是冰大出逃AIPhD,今天就借这份报告,带你看现代大模型到底是怎么训出来的,读什么,怎么提前算出结果,又怎么撑过38天。 先看全景,一个大模型要经过三个阶段,第一步是预训练,读几十万亿个Token,每次只猜下一个Token,模型的知识,大部分是这一步学来的。 第二步是中训练,把模型能读的长度拉长,微软的上一代模型先拉到6.5万个Token,再拉到26万个,第三步是后训练,用强化学习,让它学会推理,写代码,守规矩。 今天这份报告讲的就是…

这里只显示前 300 字。 登录后免费看完整逐字稿（已读过的链接不扣积分）

读了什么

  • 图上文字 170 行
  • 逐字稿 47 段 (366 / 366 s)
  • 画面文字 40 行，带出现时间
  • 抽帧间隔不超过 9.2 秒
  • 没读到：comments not read

只有计数和一句样例；全文留在原帖。

LinkDigest

读你自己的链接

贴一条小红书、抖音、B站、微博、公众号、YouTube 或 TikTok 链接，几十秒后拿到文案、逐字稿、图上文字和要点。

digest console
resolvefetchreaddigest

Try an example below, or paste your own link.

try

相关内容

本页由 LinkDigest 读取公开内容后生成的要点与引文；原文版权归作者，引用请注明原文链接。如需下架，请通过 /app/feedback 告知。 原文链接 · support@linkdigest.dev