pytorch中使用LSTM详解

目录

LSMT层

1、__init__方法

2、forward方法的输入

3、forward方法的输出

LSTMCell

LSMT层

可以在troch.nn模块中找到LSTM类

lstm = torch.nn.LSTM(*paramsters) 1、__init__方法

首先对nn.LSTM类进行实例化,需要传入的参数如下图所示:

一般我们关注这4个:

input_size表示输入的每个token的维度,也可以理解为一个word的embedding的维度。

hidden_size表示隐藏层也就是记忆单元C的维度,也可以理解为要将一个word的embedding维度转变成另一个大小的维度。除了C,在LSTM中输出的H的维度与C的维度是一致的。

num_layers表示有多少层LSTM,加深网络的深度,这个参数对LSTM的输出的维度是有影响的(后文会提到)。

bidirectional表示是否需要双向LSTM,这个参数也会对后面的输出有影响。

2、forward方法的输入

将数据input传入forward方法进行前向传播时有3个参数可以输入,见下图:

这里要注意的是input参数各个维度的意义,一般来说如果不在实例化时制定batch_first=True,那么input的第一个维度是输入句子的长度seq_len,第二个维度是批量的大小,第三个维度是输入句子的embedding维度也就是input_size,这个参数要与__init__方法中的第一个参数对应。

另外记忆细胞中的两个参数h_0c_0可以选择自己初始化传入也可以不传,系统默认是都初始化为0。传入的话注意维度[bidirectional * num_layers, batch_size, hidden_size]。

3、forward方法的输出

forward方法的输出如下图所示:

一般采用如下形式:

out,(h_n, c_n) = lstm(x)

out表示在最后一层上,每一个时间步的输出,也就是句子有多长,这个out的输出就有多长;其维度为[seq_len, batch_size, hidden_size * bidirectional]。因为如果的双向LSTM,最后一层的输出会把正向的和反向的进行拼接,故需要hidden_size * bidirectional。h_n表示的是每一层(双向算两层)在最后一个时间步上的输出;其维度为[bidirectional * num_layers, batch_size, hidden_size]
假设是双向的LSTM,且是3层LSTM,双向每个方向算一层,两个方向的组合起来叫一层LSTM,故共会有6层(3个正向,3个反向)。所以h_n是每层的输出,bidirectional * num_layers = 6。c_n表示的是每一层(双向算两层)在最后一个时间步上的记忆单元,意义不同,但是其余均与 h_n一样。

LSTMCell

可以在troch.nn模块中找到LSTMCell类

lstm = torch.nn.LSTMCell(*paramsters)

它的__init__方法的参数设置与LSTM类似,但是没有num_layers参数,因为这就是一个细胞单元,谈不上多少层和是否双向。
forward输入和输出与LSTM均有所不同:

其相比LSTM,输入没有了时间步的概念,因为只有一个Cell单元;输出 也没有out参数,因为就一个Cell,out就是h_1h_1c_1也因为只有一个Cell单元,其没有层数上的意义,故只是一个Cell的输出的维度[batch_size, hidden_size].

代码演示如下:

rnn = nn.LSTMCell(10, 20) # (input_size, hidden_size) input = torch.randn(2, 3, 10) # (time_steps, batch, input_size) hx = torch.randn(3, 20) # (batch, hidden_size) cx = torch.randn(3, 20) output = [] # 从输入的第一个维度也就是seq_len上遍历,每循环一次,输入一个单词 for i in range(input.size()[0]): # 更新细胞记忆单元 hx, cx = rnn(input[i], (hx, cx)) # 将每个word作为输入的输出存起来,相当于LSTM中的out output.append(hx) output = torch.stack(output, dim=0)

到此这篇关于pytorch中使用LSTM详细解说的文章就介绍到这了,更多相关pytorch使用LSTM内容请搜索易知道(ezd.cc)以前的文章或继续浏览下面的相关文章希望大家以后多多支持易知道(ezd.cc)!

推荐阅读

    [深度学习]PyTorch的文档阅读笔记

    [深度学习]PyTorch的文档阅读笔记,数据,加载,torchis_tensoras_tensor,从arraylike创建tensor,共享内存,默认开启梯度计算from_numpy,从ndarra

    pytorch是什么?

    PyTorch是一个开源的Python机器学习库,基于Torch,用于自然语言处理等应用程序。2017年1月,由Facebook人工智能研究院(FAIR)基于Torch推出了Py

    PyTorch中torch.nn.Linear实例详解

    PyTorch中torch.nn.Linear实例详解目录前言1. nn.Linear的原理:2. nn.Linear的使用:3. nn.Linear的源码定义:补充:许多细节需要声明总结

    浅谈tensorflow与pytorch的相互转换

    浅谈tensorflow与pytorch的相互转换目录1.变量预定义2.创建变量并初始化3.语句执行4.tensor5.其他函数本文以一段代码为例,简单介绍一下t

    在 pytorch 中实现计算图和自动求导

    在 pytorch 中实现计算图和自动求导前言:
    今天聊一聊 pytorch 的计算图和自动求导,我们先从一个简单例子来看,下面是一个简单函数建立了&

    Pytorch中使用TensorBoard详情

    Pytorch中使用TensorBoard详情目录前言一、 Introduction to TensorBoard二、TensoBoard Pipeline三、后端数据记录1. SummaryWriter类2

    Python使用LSTM实现销售额预测详解

    Python使用LSTM实现销售额预测详解大家经常会遇到一些需要预测的场景,比如预测品牌销售额,预测产品销量。
    今天给大家分享一波使用 LSTM

    PyTorch中apex安装方式和避免踩坑

    PyTorch中apex安装方式和避免踩坑目录1、apex2、安装步骤3、虽然就简单三行命令,但是仍有很多“坑”存在背景:这个库的安装不是