9月17日,DeepSeek团队的研究论文《DeepSeek-R1》登上了国际权威期刊《自然》的封面。梁文锋担任通讯作者。
该论文首次公开了仅靠强化学习就能激发大模型推理能力的重要成果,这一模型成为全球最受欢迎的开源推理模型,在Hugging Face平台上的下载量超过1090万次。清华大学新闻学院和人工智能学院双聘教授沈阳指出,R1获得《自然》认证是大模型研究领域的一次“制度破局”。
《自然》在社论中高度评价道,几乎所有主流的大模型都未经过独立同行评审,而DeepSeek打破了这一空白。《自然》认为,AI行业中未经证实的说法和炒作已经司空见惯,而DeepSeek所做的工作是迈向透明度和可重复性的一步。
DeepSeek-R1的研究出发点在于解决当时困扰AI行业的一个重大问题:提升大语言模型的推理能力需要依赖人工标注,限制了可扩展性。DeepSeek尝试通过强化学习让模型自我演化发展出推理能力。基于DeepSeek-V3 base,使用GRPO作为强化学习框架,仅以最终预测结果与真实答案的正确性为奖励信号,构建出DeepSeek-R1-Zero。在此基础上,采用多阶段训练结合RL、拒绝采样和监督微调,开发出DeepSeek-R1,使模型既具备强推理能力,又能更好贴合人类偏好。
DeepSeek于2月14日将论文提交至《自然》,直至7月17日被接收,9月17日正式发布。期间有8位外部专家参与了同行评审,审稿报告与作者回复一并披露。