Sniper
  • 首页
  • github
  • 我的简历

深度学习基础

深度学习基础 深度学习笔记

【深度学习笔记】为什么$attention$中要除以$\sqrt{k}$

首先查看一下注意力的计算方式: 主要是有两个方面可以进行解释。一点是训练时梯度传播的问题,另一个是训 阅读更多…

由admin,8月 前
对话系统 深度学习基础

【深度学习基础】基本名词解释

本文整理一些自然语言处理学习中可能遇到的一些名词缩写与解释,尽可能涵盖我涉及到的方方面面。 基础部分 阅读更多…

由admin,9月 前
深度学习基础 深度学习笔记

【深度学习笔记】熵 KL散度与交叉熵

首先用一句话进行总结:KL散度可以被用于计算代价,而在特定情况下最小化KL散度等价于最小化交叉熵。而 阅读更多…

由admin,2年 前
深度学习基础 深度学习笔记

【深度学习笔记】batch size与learning rate的选择

学习率的选择 首先是学习率,不要太高,不要太低,高了学不到东西,低了学习的慢。 到这里仿佛什么都没有 阅读更多…

由admin,2年 前
深度学习基础 深度学习笔记

【深度学习笔记】优化器集合

今天面试被虐了,回来补一下知识。 1.(随机)梯度下降 /( random )gradient de 阅读更多…

由admin,2年 前
深度学习基础 深度学习笔记

【深度学习笔记】激活函数集合

本篇写一些对激活函数的一些理解。如果有错误欢迎各位大佬指出。 首先是损失函数的一般要求: 非线性。非 阅读更多…

由admin,2年 前
深度学习基础 深度学习笔记

【深度学习笔记】ReLU以及其他激活函数的思考

最近在研究激活函数,有一些问题与思考在这里写下来,如果有不对的欢迎各位大佬指正。 在研究激活函数的时 阅读更多…

由admin,2年 前
深度学习基础 深度学习笔记

【深度学习笔记】BLEU与ROUGE

本章用来说明一些深度学习翻译(文本生成)任务中的几个指标。 BLEU和ROUGE可以说是基本上一摸一 阅读更多…

由admin,2年 前
Bert 深度学习基础 深度学习笔记

【深度学习笔记】Bert的参数分析

本篇文章我们将拆分Bert,细究Bert的结构以及每一层的参数个数 我们以bert-base为例(7 阅读更多…

由admin,2年 前
深度学习基础 深度学习笔记

【深度学习笔记】Attention和self Attention的联系和区别

什么是注意力? 当人类观察一张图片或者一段文字时,可以将重点放到某一部分,从而可以更好的处理图中或文 阅读更多…

由admin,2年 前

文章导航

1 2 下一页
分类
  • QQ红包的呓语 (2)
  • 其他资料 (7)
    • idea快捷键整理 (1)
    • others (6)
  • 学习笔记 (276)
    • JAVA SE (1)
    • Java虚拟机 (4)
    • JSP (8)
    • Python (27)
    • Ubuntu (2)
    • 云计算:概念,技术与架构 (9)
    • 机器学习实战 (11)
    • 深度学习 (72)
      • Bert (9)
      • transformers (7)
      • 动手学深度学习 (4)
      • 对话系统 (8)
      • 深度学习基础 (12)
      • 深度学习笔记 (28)
      • 翻译搬运 (5)
      • 自然语言处理基础 (3)
      • 论文 (9)
    • 算法 (91)
    • 算法分析与设计 (20)
    • 网络爬虫实战 (24)
    • 设计模式 (16)
近期文章
  • 【ICLR 2022】MULTITASK PROMPTED TRAINING ENABLES ZERO-SHOT TASK GENERALIZATION
  • 【深度学习笔记】keras中Layer、Node与Tensor之间的关系
  • 【深度学习笔记】Seq2Seq中的曝光偏差(exposure bias)现象
  • 【Python】python内置函数与装饰器汇总
  • 【ACL 2022】SalesBot: Transitioning from Chit-Chat to Task-Oriented Dialogues

attention bert transformer 基础 比赛 汇总 深度学习 爬虫 笔记 翻译搬运 论文 面试


如果哪里有不同见解或者有不懂的可以在文章下评论或email我,我会第一时间联系。

  • 首页
  • github
  • 我的简历
Sniper | 辽ICP备18006775号