ForwardBackwardOutput
class mint.types.ForwardBackwardOutput ()¶
字段:
- loss_fn_output_type ( str ) – loss 函数输出的记录类名(例如 'TorchLossReturn'、'ArrayRecord')。
- loss_fn_outputs ( List [LossFnOutput ] ) – 每条数据的字典列表,将字段名映射到
TensorData。 - metrics ( Dict[str, float] ) – 以键值对形式给出的训练指标。
以下指标仅在 MoE(混合专家)训练时记录。
e_frac_with_tokens:mean:各层至少接收到一个 token 的专家占比的平均值。1.0 表示每个专家都有活干,0.5 表示一半空闲。随训练下降值得警惕(路由坍缩)。e_frac_oversubscribed:mean:各层接收 token 数超过完美均衡的专家占比的平均值。随训练上升值得警惕。e_max_violation:mean:最过载的专家超出完美均衡的程度,以完美均衡的占比表示,各层取平均。计算式为(max_tokens - perfect_balance) / perfect_balance。值为 2.0 表示最忙的专家拿到了 3 倍的公平份额。随训练上升值得警惕。e_max_violation:max:与e_max_violation:mean相同,但取各层的最大值而非平均值。e_min_violation:mean:最空闲的专家低于完美均衡的程度,以完美均衡的占比表示,各层取平均。通常为负;越小(更负)越值得警惕。