导入
探索预训练的BERT模型
了解不同类型的预训练 BERT 模型、它们的使用场景，以及如何使用它们提取嵌入向量。
预训练 BERT 的不同配置
| H=128 | H=256 | H=512 | H=768 | |
|---|---|---|---|---|
| L=2 | 2/128 (BERT-tiny) | 2/256 | 2/512 | 2/768 |
| L=4 | 4/128 | 4/256 (BERT-mini) | 4/512 (BERT-small) | 4/768 |
| L=6 | 6/128 | 6/256 | 6/512 | 6/768 |
| L=8 | 8/128 | 8/256 | 8/512 (BERT-medium) | 8/768 |
| L=10 | 10/128 | 10/256 | 10/512 | 10/768 |
| L=12 | 12/128 | 12/256 | 12/512 | 12/768 (BERT-base) |
\text{I love Paris}
示例数据集
| 句子 | 标签 |
|---|---|
| I love Paris | 1 |
| Sam hated the movie | 0 |
| It was a great day | 1 |
| The song is not good | 0 |
| .. | .. |
| We loved the game | 1 |
\text{tokens = [I, love, Paris]}
\text{tokens = [[CLS], I, love, Paris, [SEP]]}
\text{tokens = [[CLS], I, love, Paris, [SEP], [PAD], [PAD]]}
\text{attention_mask = [1, 1, 1, 1, 1, 0, 0]}
\text{token_ids = [101, 1045, 2293, 3000, 102, 0, 0]}
...
Pre-trained BERT
> **注意：** 使用 [CLS] 标记的表示作为整个句子的表示并不总是理想的做法。更有效的方法是通过对所有标记的表示进行平均或池化来获得句子表示。
...