学习笔记 – 第 2 页

【深度学习笔记】BTLM-3B-8K

跟随slimpajama一起出现的一个模型，主要是验证slimpajama的有效性，效果比一些7B的阅读更多…

数据使用了3T token 数据采用了和slimpajama类似的做法，去重：标准化、miniha 阅读更多…

模型细节词表从140~2000左右，留了超过2000个保留token，其中195、196分别被用来阅读更多…

https://arxiv.org/pdf/2103.10360.pdf 1.动机 – 阅读更多…

传统的Bert采用了Post-Norm的方法，而例如最近的Bloom、LLama都使用了Pre-No 阅读更多…

http://arxiv.org/abs/2203.00555 1.动机我们知道transform 阅读更多…

1.动机 – 2.数据集 BLOOM使用ROOTS数据集进行训练，BLOOMZ在BLOO 阅读更多…

最近在阅读复旦的moss的源码时，发现了一个没见过的操作，他们在学习率衰减时，认为的跳过了一些参数。阅读更多…

论文解读仅代表个人观点，才疏学浅，如有错误欢迎指正，未经授权禁止转载。论文地址：http://ar 阅读更多…

之前介绍了【深度学习笔记】为什么$attention$中要除以$\sqrt{k}$（scaling）阅读更多…