PEFT LoRA 的 lora_alpha 与 rank 比例配置方法

配置 PEFT LoRA 时，rank 和 lora_alpha 不是同一个旋钮：rank 主要决定低秩适配器的容量和可训练参数量，lora_alpha 决定适配器更新在前向计算中的缩放。默认 LoRA 的缩放因子是 lora_alpha / r；启用 use_rslora=True 后则是 lora_alpha / sqrt(r)。先算清这两个值，再调整训练参数，通常比直接把 alpha 和 rank 一起放大更容易排查。

官方资料：https://huggingface.co/docs/peft/main/package_reference/lora

先把 rank 和 lora_alpha 分成两件事

LoRA 不直接更新基础权重矩阵 W，而是用两个低秩矩阵近似增量，常写成 ΔW = sBA。其中 A 和 B 的中间维度就是 r，因此 rank 变大，适配器表达能力和参数量都会增加；s 则由 alpha 和 rank 算出，负责控制这次增量在前向计算中的强弱。

这也是常见误判的来源：把 r 从 8 改成 16，既改变了容量，也可能改变缩放；把 lora_alpha 从 16 改成 32，则主要改变缩放。它们可以同时影响效果，但诊断时应该先分别记录。

用同一套公式计算两种缩放

默认配置下，缩放是 alpha / r。例如 r=16、alpha=16 时缩放为 1；若 alpha 设成 32，缩放就变成 2。rsLoRA 改用 alpha / sqrt(r)，同样的 r=16、alpha=16 会得到 4，所以不能只切换开关而忽略 alpha 的含义。

表格中的数值是关系演示，不是跨模型、跨数据集的固定答案。尤其是第三行，切换 rsLoRA 后想保持缩放为 1，可以让 alpha 接近 sqrt(r)；但最终仍要看任务是否需要更强的适配器更新。

把关系写进 LoraConfig，避免只改一个数字

先把两种方案写成可读配置，再比较结果。下面示例只负责表达参数关系，target_modules 需要按目标模型的模块命名另行确认，不把模块选择和缩放问题混在一起。

from peft import LoraConfig

# 默认 LoRA：alpha / r = 1，适合先建立可解释的基线
default_config = LoraConfig(
    r=16,
    lora_alpha=16,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    bias="none",
    use_rslora=False,
)

# rsLoRA：alpha / sqrt(r) = 1，alpha 需按 rank 重新计算
rs_config = LoraConfig(
    r=16,
    lora_alpha=4,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    bias="none",
    use_rslora=True,
)

两个配置保持 r、目标层、dropout 和 bias 一致，只有缩放规则与 alpha 组合不同。这样比较时，训练曲线的变化更容易归因；如果同时更换目标层或数据配方，结论就不再只属于 alpha 与 rank。

用参数量和验证结果检查配置

创建模型后先记录可训练参数量，再做小规模训练。rank 变大时，参数量通常随目标层形状增加；这与缩放因子不是同一指标。可以把计算结果打印出来，避免日志里只有一串无法解释的超参数。

import math

def report_lora_scale(rank: int, alpha: int) -> None:
    # 同时打印两种规则，方便检查是否误把 rsLoRA 当成默认 LoRA
    default_scale = alpha / rank
    rs_scale = alpha / math.sqrt(rank)
    print(f"rank={rank}, alpha={alpha}")
    print(f"default scale={default_scale:.3f}")
    print(f"rsLoRA scale={rs_scale:.3f}")

report_lora_scale(16, 16)

复查时至少保留三类信息：print_trainable_parameters() 给出的参数比例、训练集与验证集 loss 的变化、显存和吞吐是否仍可接受。如果 loss 快速下降但验证集变差，先回到 alpha 或学习率做单变量调整；如果显存先成为瓶颈，优先评估 rank 和目标层范围，而不是只压低 alpha。

常见问题

把 rank 从 8 改成 16，alpha 要不要自动翻倍？

如果想保持默认 LoRA 的缩放不变，可以让 alpha 与 rank 同比例；但这只是保持缩放，不代表模型一定更好。参数量和过拟合风险仍需用验证集判断。

启用 rsLoRA 后效果变强，是 rank 变大了吗？

不是。rsLoRA 改变的是缩放公式，rank 仍然是原来的容量参数。要比较公平，应同时记录 rank、alpha、实际 scale 和可训练参数量。

只调 alpha 不调学习率可以吗？

可以作为单变量实验，但 alpha 放大会增强适配器更新，学习率仍会影响优化步长。建议先固定数据和 rank，比较一小组 alpha，再决定是否调学习率。

实际项目中，可以先选一个能解释的 baseline，例如默认 LoRA 使用 r=16、lora_alpha=16，随后一次只改 rank、alpha 或 rsLoRA 开关中的一个。把公式、参数量和验证结果放在同一份实验记录里，定位问题会比凭感觉改配置可靠。