导入
初步机器学习概念
了解神经网络架构、其类型以及Transformer的关键概念，掌握这些概念在生成式人工智能（GenAI）系统中的应用。
输出 = σ(偏置 + ∑ᵢ₌₁ᵐ xᵢwᵢ) = σ(偏置 + x₁w₁ + x₂w₂ + … + xₘwₘ)
简单神经网络的结构示意图
神经网络架构，展示神经元、层与连接关系
卷积神经网络（CNN）的各个阶段：从输入数据经过卷积层和池化层，最终通过全连接层进行预测
循环神经网络在隐藏层中包含循环结构
思考点
来自论文《Attention is All You Need》的Transformer模型结构
将每个词编码（嵌入）为维度512的向量
每个词元的位置编码被加到其对应的词嵌入中
Attention(Q, K, V) = softmax( (QKᵀ) / √d_model ) × V
softmax函数的输出结果
Headᵢ(Qᴿ, Kᴿ, Vᴿ) = softmax( (Qᵢᴿ (Kᵢᴿ)ᵀ) / √dₖ ) × Vᵢᴿ
Q、K、V矩阵通过输入与各自的权重矩阵相乘得到
计算得到的结果矩阵
由于有八个注意力头，结果矩阵被分为八个子矩阵
每个子矩阵分别传入对应的注意力头
每个注意力头生成一个子矩阵，捕捉各词元的上下文嵌入信息
各注意力头的输出被拼接成一个矩阵
拼接后的矩阵与其对应的权重矩阵相乘
拼接后的矩阵与其对应的权重矩阵相乘
使用两个注意力头时多头注意力输出的可视化图示
自注意力作用于单个序列，而交叉注意力作用于两个不同序列