深度学习 - Sniper

【论文】General Language Model Pretraining with Autoregressive Blank Infilling

https://arxiv.org/pdf/2103.10360.pdf 1.动机 – 阅读更多…

传统的Bert采用了Post-Norm的方法，而例如最近的Bloom、LLama都使用了Pre-No 阅读更多…

1.动机 – 2.数据集 BLOOM使用ROOTS数据集进行训练，BLOOMZ在BLOO 阅读更多…

最近在阅读复旦的moss的源码时，发现了一个没见过的操作，他们在学习率衰减时，认为的跳过了一些参数。阅读更多…

论文解读仅代表个人观点，才疏学浅，如有错误欢迎指正，未经授权禁止转载。论文地址：http://ar 阅读更多…

之前介绍了【深度学习笔记】为什么$attention$中要除以$\sqrt{k}$（scaling）阅读更多…

<prompt>、<T5> 论文解读仅代表个人观点，才疏学浅，如有错误欢迎指正，未经授权阅读更多…

本文主要讲述在Keras中，Layer、Node与Tensor在网络构建中的关系。一些关于kera 阅读更多…

在Seq2Seq模型的训练与验证过程中，经常会出现输出句和输入句子有一些gap或者明显不符合常识的情阅读更多…

<端到端对话>、 <框架>、 <数据集> 论文解读仅代表个人观点阅读更多…