LoRAConfig
class mint.types.LoraConfig ( StrictBase )¶
字段:
- rank ( int ) – LoRA 秩(低秩矩阵的维度)
- seed ( Optional[int] ) – LoRA 权重初始化所用的种子。
需要确定性或可复现的权重初始化时有用。 * train_unembed ( bool ) – 是否在 unembedding 层添加 lora * train_mlp ( bool ) – 是否在 MLP 层(含 MoE 层)添加 lora * train_attn ( bool ) – 是否在注意力层添加 lora