最近在学习苏神法研杯摘要赛道的时候学习到一个DGCNN( Dilate Gated Convolutional Neural Network )网络。

这个网络可以有效的抽取出词向量中的信息,也就是一个信息抽取模型。

模型采用了卷积结构,,使用两个Conv1D(权值不共享),其中一个使用sigmoid激活,另一个不加激活函数,然后将他们诸位相乘。

因为sigmoid的输出是0 1输出,因此直觉上就是给Cov1D又加了一个“门”来控制流量,这就是GCNN( Gated Convolutional Neural Network )结构。

并且由于有一个卷积是不加激活函数的,因此GCNN梯度消失的风险更低。

然后将输入也加到GCNN的输出来,类似于残差结构。

但是这里使用残差结构并不只是为了解决梯度消失,而是让信息可以在多通道传播。

代码部分:


0 条评论

发表回复

Avatar placeholder

您的电子邮箱地址不会被公开。 必填项已用*标注