文案库 · 小红书

LLM面试官笔记(5下):熵不能当调参依据

LLMCat · 2026-09-05 · 赞 77 · 收藏 143 · 评论 1 · 读取于 2026-11-20

要点(每条带原文引文)

  • GRPO调试中,仅观察总clip比例不足以判断训练状态,需按优势正负拆开监控upper/lower clip fraction。 — ✓ “upper/lower clip fraction,并按 advantage 正负拆开”
  • 调整clip上下界时,若追求对数空间几何对称,固定一个边界(如0.8)可计算另一个为倒数(1.25)。 — ✓ “log r_high = - log r_low”
  • 默认配置下,上界裁剪降低熵,下界裁剪提高熵,单纯看熵下降无法区分是奖励信号还是机制偏置导致。 — ✓ “clip-high and clip-low affect entropy differently”
  • 必须引入随机reward对照实验,通过打乱分数与回答的对应关系来剥离训练机制自身对熵的影响。 — ✓ “随机 reward run:保留这些分数,但随机打乱”
  • 若真实reward运行下的熵下降速度显著快于随机reward基线,才说明存在有效的策略收敛或坍塌风险。 — ✓ “真实 run 更快下降:才值得报警”
  • 处理超长截断样本需结合overlong filtering和soft overlong punishment,前者排除残缺答案,后者提供连续长度信号。 — ✗ “overlong filtering... soft overlong punishment”
  • Mask操作本身不鼓励长回答,而是移除了截断样本的直接负反馈,可能让其他推长因素更难被抑制。 — ✓ “mask 不会自动鼓励长回答”
  • 被mask的截断样本是否参与advantage统计会改变组内均值和方差,进而影响所有回答的优势值计算。 — ✓ “被 mask 的样本是否参与 advantage 统计”
  • 日志必须记录每个group的被截断数量、有效group size以及截断样本是否参与reward mean/std计算。 — ✗ “至少应该记录... effective group size”
  • Entropy只能作为报警指标,不能独立作为调参依据,需结合pass@k、held-out表现和KL散变综合判断。 — ✓ “entropy 只能报警,不能独立给出调参方向”

要点由 LinkDigest 的模型写出,引文逐字核对过:✓ 在原文里找到了,✗ 没找到。

热评

  • 引入log距离对称为什么对熵有影响?

读了什么

  • 读了 14 张图,每张都有描述
  • 图上文字 93 行
  • 没读到:comments: the top 1 of 1 read from the share page; the rest of the thread not read

样例,第 1 张图 — A light blue graphic with a large quotation mark icon in the top left. The central text reads '面试官:GRPO 为什么不能根据 熵调整CLIP?' with a pink highlight under the characters '为什么'. A rednote watermark is visible in the bottom right corner. 图上文字开头: “面试官:GRPO 为什么不能根据 熵调整CLIP? rednote”

只有计数和一句样例;全文留在原帖。

LinkDigest

读你自己的链接

贴一条小红书、抖音、B站、微博、公众号、YouTube 或 TikTok 链接,几十秒后拿到文案、逐字稿、图上文字和要点。

试读一条链接
解析获取读取整理

点下面的示例,或粘贴你自己的链接。

示例

小红书相关工具:小红书笔记提取 · 小红书视频转文字 · 小红书图片文字提取 API

相关内容

本页由 LinkDigest 读取公开内容后生成的要点与引文;原文版权归作者,引用请注明原文链接。如需下架,请通过 /app/feedback 告知。 原文链接 · support@linkdigest.dev