笔记

首先用一句话进行总结：KL散度可以被用于计算代价，而在特定情况下最小化KL散度等价于最小化交叉熵。而 阅读更多…

学习率的选择 首先是学习率，不要太高，不要太低，高了学不到东西，低了学习的慢。 到这里仿佛什么都没有 阅读更多…

今天面试被虐了，回来补一下知识。 1.（随机）梯度下降 /（ random ）gradient de 阅读更多…

本篇写一些对激活函数的一些理解。如果有错误欢迎各位大佬指出。 首先是损失函数的一般要求： 非线性。非 阅读更多…

最近在研究激活函数，有一些问题与思考在这里写下来，如果有不对的欢迎各位大佬指正。 在研究激活函数的时 阅读更多…