论文
【论文】General Language Model Pretraining with Autoregressive Blank Infilling
https://arxiv.org/pdf/2103.10360.pdf 1.动机 – 阅读更多…
论文
【论文】DeepNet: Scaling Transformers to 1,000 Layers
http://arxiv.org/abs/2203.00555 1.动机 我们知道transform 阅读更多…
论文
【论文】BLOOM: A 176B-Parameter Open-Access Multilingual Language Model
1.动机 – 2.数据集 BLOOM使用ROOTS数据集进行训练，BLOOMZ在BLOO 阅读更多…
论文
【论文】Self-Instruct: Aligning Language Model with Self Generated Instructions
论文解读仅代表个人观点，才疏学浅，如有错误欢迎指正，未经授权禁止转载。 论文地址：http://ar 阅读更多…
论文
【ICLR 2022】MULTITASK PROMPTED TRAINING ENABLES ZERO-SHOT TASK GENERALIZATION
<prompt>、<T5> 论文解读仅代表个人观点，才疏学浅，如有错误欢迎指正，未经授权 阅读更多…
深度学习笔记
【深度学习笔记】Seq2Seq中的曝光偏差(exposure bias)现象
在Seq2Seq模型的训练与验证过程中，经常会出现输出句和输入句子有一些gap或者明显不符合常识的情 阅读更多…