0


pytorch复习笔记--nn.Embedding()的用法

1--nn.Embedding()的用法

import torch.nn as nn

embedding = nn.Embedding(num_embeddings = 10, embedding_dim = 256)

nn.Embedding()产生一个权重矩阵weight,其shape为(num_embeddings, embedding_dim),表示生成num_embeddings个具有embedding_dim大小的嵌入向量;

输入input的形状shape为(batch_size, Seq_len),batch_size表示样本数(NLP句子数),Seq_len表示序列的长度(每个句子单词个数);

nn.Embedding(input)的输出output具有(batch_size,Seq_len,embedding_dim)的形状大小;

2--实例展示:

① 代码:

import torch
import torch.nn as nn

if __name__ == "__main__":
    input = torch.randint(low = 0, high = 5, size = (2, 9))
    input = torch.LongTensor(input)
    embedding = nn.Embedding(num_embeddings=6, embedding_dim = 3)
    output = embedding(input)
    print("input.shape:", input.shape) # (2, 9) 2个句子,9个单词
    print("embedding.shape:", embedding.weight.shape) # (6, 3) 
    print("output.shape", output.shape) # (2, 9, 3) 2个句子,9个单词,每个单词用一个3维的向量表示

    print("input:", input) 
    print("embedding:", embedding.weight) 
    print("output:", output)

    print("All Done !")

② 分析:

output = embedding(input) 的作用是将每个单词用一个 embedding_dim 大小的向量进行表示,所以对于一个(batch_size,Seq_len)的输入input来说,其输出 output 是一个(batch_size,Seq_len,embedding_dim)大小的 tensor。

在选择 embedding_dim 大小的向量进行表示时,是根据每个单词的数据进行选择;例如在下图中,第一个句子中两个单词的数据表示均为 3(红框表示),则对应的index均为 4,都要选择embedding.weight 中 index 为 4(绿框表示)的嵌入向量进行表示,所以在最终的 output 中两个单词的嵌入向量是相同的(黄框表示)。

3--注意的问题

① nn.Embedding() 的输入必须是 LongTensor 类型的张量;

② 在input输入中,数据大小(极差)不能超过 nn.Embedding() 初始化中 num_embeddings 的大小,即数据对应的 index 不能大于 num_embeddings;


本文转载自: https://blog.csdn.net/weixin_43863869/article/details/128200988
版权归原作者 憨豆的小泰迪 所有, 如有侵权,请联系我们删除。

“pytorch复习笔记--nn.Embedding()的用法”的评论:

还没有评论