拿大蒙特利尔的两所大学的工作,主要是验证继续预训练中,如何warmup你的模型。

写在notion上了,懒得搬运。链接如下(可能需要翻墙)

https://daffodil-square-501.notion.site/Continual-Pre-Training-of-Large-Language-Models-How-to-re-warm-up-your-model-69877d14c7884c3a903205da90b0695a?pvs=4

分类: 论文

0 条评论

发表回复

Avatar placeholder

您的电子邮箱地址不会被公开。 必填项已用 * 标注