导入
低秩适应（LoRA）
了解低秩适应（Low-Rank Adaptation）技术，它在模型微调过程中的工作原理，以及实现该技术所需的不同参数。
...
LoRA的工作原理
...
预训练模型的权重矩阵
...
预训练模型权重矩阵W的低秩变换矩阵
| 原始权重矩阵W的维度 | 原始权重矩阵W的总参数量 | 低秩矩阵中的总参数量 | 可训练参数占比 |
|---|---|---|---|
| 5 × 5 | 25 | 10 | 40% |
| 10 × 10 | 100 | 20 | 20% |
| 100 × 100 | 10k | 200 | 2% |
| 1000 × 1000 | 1M | 2000 | 0.2% |
...
微调后A和B矩阵更新后的权重
△W = W + A₀B₀
...
微调后模型的新权重
缩放因子 (γᵣ) = α / r
△W = W + γᵣ(A₀B₀)