跳转至

ForwardBackwardOutput

class mint.types.ForwardBackwardOutput ()

字段:

  • loss_fn_output_type ( str ) – loss 函数输出的记录类名(例如 'TorchLossReturn'、'ArrayRecord')。
  • loss_fn_outputs ( List [LossFnOutput ] ) – 每条数据的字典列表,将字段名映射到 TensorData。
  • metrics ( Dict[str, float] ) – 以键值对形式给出的训练指标。

以下指标仅在 MoE(混合专家)训练时记录。

  • e_frac_with_tokens:mean:各层至少接收到一个 token 的专家占比的平均值。1.0 表示每个专家都有活干,0.5 表示一半空闲。随训练下降值得警惕(路由坍缩)。
  • e_frac_oversubscribed:mean:各层接收 token 数超过完美均衡的专家占比的平均值。随训练上升值得警惕。
  • e_max_violation:mean:最过载的专家超出完美均衡的程度,以完美均衡的占比表示,各层取平均。计算式为 (max_tokens - perfect_balance) / perfect_balance。值为 2.0 表示最忙的专家拿到了 3 倍的公平份额。随训练上升值得警惕。
  • e_max_violation:max:与 e_max_violation:mean 相同,但取各层的最大值而非平均值。
  • e_min_violation:mean:最空闲的专家低于完美均衡的程度,以完美均衡的占比表示,各层取平均。通常为负;越小(更负)越值得警惕。