深度学习基础 深度学习笔记 【深度学习笔记】熵 KL散度与交叉熵首先用一句话进行总结：KL散度可以被用于计算代价，而在特定情况下最小化KL散度等价于最小化交叉熵。而 阅读更多… 由admin，4 年 前
深度学习基础 深度学习笔记 【深度学习笔记】batch size与learning rate的选择学习率的选择 首先是学习率，不要太高，不要太低，高了学不到东西，低了学习的慢。 到这里仿佛什么都没有 阅读更多… 由admin，4 年 前
深度学习笔记 【深度学习笔记】self-attention（Synthesizer）既然已经有了【深度学习笔记】Attention和self Attention的联系和区别，为什么这里 阅读更多… 由admin，4 年 前
深度学习基础 深度学习笔记 【深度学习笔记】ReLU以及其他激活函数的思考最近在研究激活函数，有一些问题与思考在这里写下来，如果有不对的欢迎各位大佬指正。 在研究激活函数的时 阅读更多… 由admin，4 年 前
深度学习基础 深度学习笔记 【深度学习笔记】BLEU与ROUGE本章用来说明一些深度学习翻译（文本生成）任务中的几个指标。 BLEU和ROUGE可以说是基本上一摸一 阅读更多… 由admin，4 年 前
深度学习笔记 【深度学习笔记】门控线性单元（Gated Linear Unit）本文思路来自论文 GLU Variants Improve Transformer ，而这篇论文又借 阅读更多… 由admin，4 年 前