【导读】布朗大学的计算机科学研究毕业生 Vanya Cohen 近日在 Medium 分享了他复现 GPT-2 大模型的全过程。作者复刻了Open-AI 15亿参数模型，允许其他人在其预训练模型上进行构建并进一步改进。BERT，XLNet，GPT-2和Grover等大型语言模型在生成文本和多个NLP任务方面取得了令人瞩目的成果。 本文试图去复刻GPT-2的15亿模型以供研究人员使用。Google