内容
0 课时 • 0 测验 • 0 挑战
课程暂未关联课时
当前课程存在，但没有可学习的课时内容。请稍后再试。
☆☆☆☆☆
0.0高级
2h
使用 LoRA 和 QLoRA 微调大语言模型
本实践课程将教授你大型语言模型（LLM）微调的技术。你还将学习诸如低秩适应（LoRA）和量化低秩适应（QLoRA）等高级技术，以针对特定任务定制Llama 3等模型。课程从基础开始，涵盖微调的概念、微调的类型、与预训练的对比、检索增强生成（RAG）与微调的比较，以及量化在减小模型体积的同时保持性能的重要性。 通过使用int8和bitsandbytes等量化方法进行动手练习，获得实际经验。深入学习参数高效微调（PEFT）技术，重点实现LoRA和QLoRA，从而在有限计算资源下高效完成微调。 完成本课程后，你将掌握LLM微调、PEFT微调以及高级量化参数的技能，具备针对不同应用场景调整和优化大型语言模型的专业能力。
4 课时
使用 LoRA 和 QLoRA 微调大语言模型
本实践课程将教授你大型语言模型（LLM）微调的技术。你还将学习诸如低秩适应（LoRA）和量化低秩适应（QLoRA）等高级技术，以针对特定任务定制Llama 3等模型。课程从基础开始，涵盖微调的概念、微调的类型、与预训练的对比、检索增强生成（RAG）与微调的比较，以及量化在减小模型体积的同时保持性能的重要性。
通过使用int8和bitsandbytes等量化方法进行动手练习，获得实际经验。深入学习参数高效微调（PEFT）技术，重点实现LoRA和QLoRA，从而在有限计算资源下高效完成微调。
完成本课程后，你将掌握LLM微调、PEFT微调以及高级量化参数的技能，具备针对不同应用场景调整和优化大型语言模型的专业能力。
本实践课程将教授你大型语言模型（LLM）微调的技术。你还将学习诸如低秩适应（LoRA）和量化低秩适应（QLoRA）等高级技术，以针对特定任务定制Llama 3等模型。课程从基础开始，涵盖微调的概念、微调的类型、与预训练的对比、检索增强生成（RAG）与微调的比较，以及量化在减小模型体积的同时保持性能的...
你将学到什么
扎实掌握大语言模型微调的基础知识，包括Llama 3微调的实用技术以及更广泛的LLM微调工作流程。
熟悉大语言模型的量化方法，例如 int8 量化和 bitsandbytes 量化，以减小模型体积并提升部署效率
通过实践掌握量化技术的实现，并优化模型以提升性能和效率
了解低秩适应（LoRA）和量化低秩适应（QLoRA）作为参数高效微调（PEFT）的关键方法。
通过自定义数据集对Llama 3模型进行微调的实践操作，结合PEFT微调技术应用于实际场景。
扎实掌握大语言模型微调的基础知识，包括Llama 3微调的实用技术以及更广泛的LLM微调工作流程。
评价
阅读参加过此课程的学生的评价，并分享您的学习体验。