Logo
Section 1 / 5

Transformer 概述

了解Transformer如何彻底改变了深度学习领域。

导入

Transformer 概述

了解Transformer如何彻底改变了深度学习领域。

Transformer 模型在对话式人工智能中的应用

...
自然语言处理随时间的演进
...
设备键盘
...
神经网络

理解 Transformer 架构

...
变压器架构

编码器

Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V

...
图1：多头注意力模型
...
图2：缩放点积注意力模型
...
图3：前馈网络

解码器

logits=Wo⋅output+b\text{logits} = W_o \cdot \text{output} + b

softmax(xi)=exi∑jexj\text{softmax}(x_i) = \frac{e^{x_i}}{\sum_{j} e^{x_j}}

...
图4：线性与softmax变换

在聊天机器人开发中利用 Transformer 模型

在真实场景中部署聊天机器人

聊天机器人构建入门

对文本进行分词处理