deepseek 正式發布 DeepSeek-R1，并(bing)同(tong)步開(kai)源(yuan)模(mo)型權重(zhong)。 開(kai)源(yuan) DeepSeek-R1 推理大模(mo)型，與 o1 性能(neng)相近。‍‍

開源 DeepSeek-R1-Zero，預訓練模型直接 RL，不走 SFT。

開(kai)源用 R1 數據(ju)蒸餾(liu)的(de) Qwen、Llama 系列小模型，蒸餾(liu)模型超過 o1-mini 和 QWQ。

 模型開源的同時，技術報告(gao)也同步放出：//github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

1.引言

近年來，大(da)型語(yu)言模型（LLMs）通過(guo)后訓(xun)練技術(shu)不(bu)斷優化，逐漸(jian)接近人工通用(yong)智能（AGI）。后訓(xun)練在提升推理(li)(li)任務準(zhun)確性(xing)、符(fu)合社會價值觀(guan)和用(yong)戶(hu)偏(pian)好方面表現出色，且計算資源(yuan)消耗較(jiao)少。OpenAI 的 o1 系列模型通過(guo)增加推理(li)(li)“思考鏈條”長度，顯(xian)著(zhu)提升了數學(xue)、編程和科學(xue)推理(li)(li)能力(li)，但(dan)更有效的推理(li)(li)擴展方法仍(reng)是研(yan)究熱(re)點。

本(ben)文首次(ci)嘗試通(tong)過純強(qiang)化學習（RL）提升(sheng)語(yu)言(yan)(yan)模(mo)型的(de)推理(li)能力，以 DeepSeek-V3-Base 為基(ji)礎，采(cai)用 GRPO 框架訓練。經過數千步訓練后(hou)(hou)，DeepSeek-R1-Zero 在(zai)推理(li)基(ji)準測(ce)試中表現出(chu)色，例(li)如在(zai) AIME 2024 上的(de) Pass@1 分數從 15.6% 提升(sheng)至 86.7%（多(duo)數投票(piao)后(hou)(hou)），接近(jin) OpenAI-o1-0912 的(de)水平(ping)。但該模(mo)型存在(zai)可讀性(xing)差和語(yu)言(yan)(yan)混用的(de)問(wen)題。

為解決(jue)這些問題(ti)，研究團(tuan)隊推(tui)(tui)出(chu) DeepSeek-R1，引入冷啟(qi)動(dong)數據和多(duo)階段訓練流程，最終(zhong)使(shi)(shi)其性能達(da)到與 OpenAI-o1-1217 相當的水平。此(ci)外，研究團(tuan)隊還通過知識(shi)蒸(zheng)餾(liu)將 DeepSeek-R1 的能力傳遞到較小模型，如 Qwen2.532B，發現其效果優于單獨使(shi)(shi)用(yong) RL。開源的蒸(zheng)餾(liu)模型在推(tui)(tui)理基(ji)準測(ce)試中創(chuang)下新(xin)紀錄(lu)，表明(ming)大型基(ji)礎模型的推(tui)(tui)理模式對提升推(tui)(tui)理能力至關重(zhong)要(yao)。

2.相關研究

SFT：之前的(de)(de)(de)研(yan)究(jiu)通常(chang)(chang)依(yi)賴(lai) SFT 來增(zeng)強(qiang)模(mo)(mo)型性(xing)能(neng)。然而，SFT 需要(yao)大量標(biao)注數據，成本高(gao)且耗(hao)時(shi)(shi)。 推(tui)(tui)理(li)時(shi)(shi)擴(kuo)展(zhan)(zhan)：OpenAI 的(de)(de)(de) o1 系列模(mo)(mo)型通過增(zeng)加 CoT 推(tui)(tui)理(li)長度來實(shi)現(xian)推(tui)(tui)理(li)能(neng)力(li)(li)擴(kuo)展(zhan)(zhan)，但測(ce)試時(shi)(shi)擴(kuo)展(zhan)(zhan)的(de)(de)(de)挑戰仍然存(cun)在。 基于過程(cheng)的(de)(de)(de)獎勵模(mo)(mo)型（PRM）：一些研(yan)究(jiu)采(cai)用過程(cheng)獎勵模(mo)(mo)型引導模(mo)(mo)型進(jin)行推(tui)(tui)理(li)。然而，這些模(mo)(mo)型在實(shi)際應用中存(cun)在局限性(xing)。 強(qiang)化學習：強(qiang)化學習已被用于提升推(tui)(tui)理(li)能(neng)力(li)(li)，但通常(chang)(chang)與 SFT 數據結合使用，難以探索純 RL 的(de)(de)(de)潛力(li)(li)。 搜索算(suan)法：如蒙(meng)特卡(ka)洛樹搜索（MCTS）等算(suan)法也被用于增(zeng)強(qiang)推(tui)(tui)理(li)，但效果有限。

3.主要貢獻

首次驗證了純強化(hua)學習在 LLM 中顯著增強推理能(neng)力的可(ke)行性（DeepSeek-R1-Zero），即無需(xu)預先的 SFT 數據(ju)，僅通過 RL 即可(ke)激(ji)勵模(mo)型學會長鏈推理和反思等能(neng)力。

提(ti)出(chu)了多階(jie)段訓(xun)練策(ce)略（冷(leng)啟(qi)動->RL->SFT->全場景 RL），有效(xiao)兼顧準確率與可(ke)讀性，產(chan)出(chu) DeepSeek-R1，性能比肩 OpenAI-o1-1217。

展示了知識蒸餾(liu)在提升小(xiao)模(mo)(mo)型(xing)推理能力(li)(li)(li)方(fang)面的(de)潛力(li)(li)(li)，并開(kai)源多個(ge)大(da)小(xiao)不(bu)一的(de)蒸餾(liu)模(mo)(mo)型(xing)（1.5B~70B），為社區提供了可在低資源環境(jing)中也能獲得高推理能力(li)(li)(li)的(de)模(mo)(mo)型(xing)選擇。

附件：DeepSeek-R1技術報告-冷啟動數據和多階段訓練流程,大型基礎模型的推理模式對提升推理能力至關重要