导入
大语言模型（LLMs）概述
了解基础模型、其下游任务、扩展方式以及产生幻觉的原因。
大型语言模型中的Transformer架构
...
仅含解码器组件的Transformer架构
扩展大型语言模型（Scaling LLMs）
主流大模型及其规格参数
| 模型名称 | 发布时间 | 开发方 | 参数量 | 训练数据规模 |
|---|---|---|---|---|
| Phi-2 | 2023年12月 | 微软 | 27亿 | 1.4万亿Token |
| Mixtral 8x7B | 2023年12月 | Mistral AI | 467亿 | 超过1000亿Token |
| Mistral 7B | 2023年9月 | Mistral AI | 73亿 | 超过1000亿Token |
| Llama 2 | 2023年7月 | Meta | 700亿 | 2万亿Token |
| GPT-3 | 2020年5月 | OpenAI | 1750亿 | 3000亿Token |
| Falcon 180B | 2023年9月 | TII | 1800亿 | 3.5万亿Token |
| Eagle 7B | 2024年1月 | RWKV | 75.2亿 | 1.1万亿Token |
大型语言模型是“黑箱”系统
幻觉问题（Hallucinations）
...
混淆矩阵
...
检索增强生成（RAG）