练习：使用 LoRA 微调大语言模型

上下文学习

上下文学习适用于小样本任务，但模型的上下文窗口有限。对于大量查询和商品描述的数据集，上下文学习无法提升模型性能。

RAG

RAG 在数据量较小时有效，但在处理大规模数据集时效率较低，响应用户查询所需时间更长。

微调

微调是一种在如此大规模数据集上训练模型的有效方法。

你能思考一下，在计算资源有限的情况下，哪种微调方式最适合处理大规模数据集吗？

从头训练模型

从头开始训练模型需要大量的资源和时间，对于仅拥有一块GPU的公司来说是不现实的。

全量微调

全量微调计算开销大，需要大量内存和时间，在GPU资源有限的情况下可能不可行。

部分微调

部分微调仍需调整模型的部分层，可能消耗超过现有资源的计算能力。此外，它可能无法充分捕捉商品数据集的全部复杂性。

基于适配器的微调

基于适配器的微调虽然高效，但会向模型中添加新的层，从而增加模型体积。

重参数化微调

你答对了。重参数化微调适合在计算资源有限的情况下处理大规模数据集。

你能解释一下为什么重参数化微调会有帮助吗？

下一步

考虑到团队已决定使用 QLoRA 进行微调，你能写出我们需要配置的 LoRA 参数吗？