本次Dwarkesh Podcast邀請到三位目前任職於「半開放式」AI公司的頂尖研究員，共同探討AI前沿的真實進展與未來走向。與談人包括Zyphra（專注開源模型開發）技術長Beren Millidge、Thinking Machines首席科學家暨OpenAI共同創辦人John Schulman（曾領導RLHF研究催生ChatGPT），以及Baseten模型訓練負責人Charlie O'Neill。
RSI的最大技術障礙
主持人Dwarkesh Patel首先拋出核心問題：若到了2036年我們仍未見到數十億個超級智能在世界上運作、從而徹底改變世界，除去政治衝擊或戰爭等外部因素，最可能的技術原因是什麼？
Millidge認為，可能存在類似「莫拉維克悖論」（Moravec's paradox）的情況：AI在基準測試或受控環境中表現優異，但始終存在一道「模擬到現實」（sim-to-real）的鴻溝阻擋真正的泛化能力降臨。若元學習（meta-learning）極度困難，加上「持續學習」（continual learning）遲遲無法突破，將是最可能的技術瓶頸。
Schulman則指出，模型相較於人類仍存在多項劣勢：判斷力較弱、自我審查能力不足。每次新模型問世時，業界都會經歷「這就是AGI」的興奮週期，但使用一個月後又會感到「它其實沒那麼聰明」。這種週期可能會一再重複，且即便模型產出程式碼的速度遠超人類，也不必然帶來100倍的研發產能提升。
O'Neill則強調，當前「自注意力機制＋RL」的訓練典範，與晶片上「最優學習者」的全局最優解之間存在多大距離，將是關鍵。若現行路徑需要某個未知典範轉移才能繼續突破，那麼無論運行多少個LLM，都無法靠自己發現這個新典範，最終將撞上漸近線。
Schulman補充，無論是為ChatGPT編寫程式碼的工程師，還是頂尖AI研究員，都仍需要人類來「定義目標」與「決定我們真正想要什麼」。他認為，人類在AI研發中「最後一道工序」將是對齊（alignment）工作——更具體地說，是「目標的定義」，而非目標的優化執行。
中國實驗室進步的驅動力
Schulman指出，反對AI產業走向高度集中的最大力量是「蒸餾」（distillation）。任何可透過RL學習的東西，因為僅涉及少量資訊位元，都能輕易被蒸餾。最近曝光的是，部分中國AI公司正使用路由器服務（讓中國用戶得以存取美國前沿模型），這些服務會蒐集並轉售部分用戶資料，構成極具價值的蒸餾數據集。
O'Neill甚至直言，Anthropic的Sonnet 5與Opus 5在客觀上反而劣於中國的GLM-5.3與Kimi K3，這個現象的關鍵在於「提示詞分布」的重要性——蒸餾需要真實的用戶互動分布才能複製模型的真實行為。
Schulman進一步提出，環境建構有兩個維度：難度與真實性。前沿實驗室若想創造新行為，必須同時在兩端推進，但若僅做「基準最大化」（benchmaxxing）式的蒸餾，學生模型將無法繼承「真實性」維度上的能力，這或許能解釋為何部分Anthropic較小型模型的表現不如預期。
自動化AI研究員的訓練方式
Schulman預測，未來將結合「從人類反饋中學習以吸收研究員的品味」與「創建大量多步驟研究專案實踐環境」兩種方式。研究員會在使用AI的過程中發現其一致弱點，再透過收集人類反饋或創建環境來補強。
O'Neill則認為，最終模型很可能仍停留在「持續追逐前沿三個月進度」的漸近線上。模型透過環境蒸餾過去三個月的AI研究進展，雖看似漸進，但確實「持續逼近」人類研究員的水準。Millidge補充，雖然僅靠軌跡蒸餾無法超越人類，但環境本身可以設計得遠超人類能力（例如設定一個當前無人類可達成的損失值目標）。
長視野RL能否催生AGI
O'Neill總結產業的下注方向：透過在數百萬個跨領域環境中擴展RLVR（可驗證獎勵RL）訓練，讓智能體學會持久性、資訊分類、長上下文內的樣本效率，最終產出能「像人類遠端工作者一樣運作一個月」的模型。
Anthropic的環境系譜是典型範例：先聚焦編程（最低垂果實），再延伸到財務（Excel數據）、PowerPoint等長尾白領工作。Schulman解釋，即便模型理論上能在部署時現學，預先將這些直覺「烘焙」進模型權重中，仍能大幅提升運行效率。
Millidge進一步指出，當前約50%的推論（inference）算力並未直接讓模型變得更好——但這終將改變。一旦模型能從所有部署實例中學習，將產生類似「廣泛部署的智能爆炸」。中國100%在這麼做，他們從部署數據中蒸餾下一代模型，這正是其競爭優勢所在。
模擬到現實的鴻溝
O'Neill提出關鍵分類：「累積型任務」（如RSI）vs「非平穩分布任務」（如法律事務所助理）。RSI的特點是每次發現都能累積（如發現注意力機制、MoE、GRPO後直接加入訓練堆疊），而現實世界充滿非平穩的關係與流程，需不斷重新學習與整合。
Schulman認為，人類在「中等長度」範圍的樣本效率可能優於模型，但在長視野判斷、品味（taste）、思維多樣性等方面，模型仍有顯著弱點。Millidge則表示，人類在短短5年的博士生涯中就能發展出研究品味，理論上AI可透過大量經驗元學習此能力，但如何泛化到極長視野任務仍是未解問題。
資料進步的貢獻度
Patel分享他與普林斯頓學生Jerry Han的研究：將2019年至今的所有訓練配方與資料集進行配對實驗。結果顯示，資料進步約帶來12倍的算力效率增益，架構改進則約3.7倍（但這是在極小規模下測量）。
O'Neill指出，預訓練的「低垂果實」大致已被摘完。Millidge則認為，資料相較於架構，在大規模下其實更為重要——架構是「一次性」的質變，而資料是在新典範內決定表現的關鍵因素。
關於參數規模，O'Neill預測未來幾年因RL rollout對推論效率的高度要求，模型規模可能趨於平穩。Mythos與GPT模型的實際規模可能遠低於外界猜測的10兆參數等級。
為何RL效果超乎預期
Millidge發文解釋，RL成功的關鍵在於「中間訓練」（mid-training）：大量採用合成推理數據進行類似預訓練的訓練，使模型已達成最終RL檢查點約80%的表現。RL僅需在上面「微調策略」，這也是為何它不需要海量資料位元。
更關鍵的是，RL的目標函數忽略了所有其他位元，僅關注「答對或答錯」這一個位元，使信噪比遠高於SFT（監督微調）。即便只有少量位元，也可能在函數空間中產生巨大影響——一個位元就能排除半數假設空間。
O'Neill補充，RL確實帶來了「視野泛化」（horizon generalization）——模型學會「使用更多token並持續推進任務」的能力。EdgeBench的數據顯示，模型持續工作的時間長度正以每三個月翻倍的速度成長。
熵崩塌與「Move 37」式創造力
Schulman指出，RL後模型的輸出多樣性大幅降低，發展出各種「怪癖」，所有開源模型因蒸餾Claude而寫作風格趨於一致，形成令人擔憂的「單一文化」。
但Millidge反駁，這並非RL方法本身的問題，而是數據與評審者的問題。當評審者帶有特定偏好，模型就會「獎勵駭客」（reward hack）該評審者，導致熵崩塌。AlphaGo的Move 37雖屬特例（使用了MCTS），但LLM在長視野任務上仍展現出「Move 37式」的零日攻擊創造力，證明RL並未完全摧毀創造力。
快問快答：時間表預測
針對「AI作為通用遠端白領工作者」的時程：O'Neill預估若透過瀏覽器操作需一兩年；Millidge預估完全通用性需三年。
針對「AI研究員產能提升10倍」的時程：Charlie預估5-10年，Schulman預估約2年。
針對「AI在所有可透過電腦完成的認知工作上超越頂尖人類」的時程：Schulman預估3-4年，O'Neill預估5-10年，認為自動化AI研究本身就是「ASI完備」（ASI-complete）的難題。Millidge同意約5年，但認為仍存在「長尾領域」需更長時間。
Schulman最後補充，這場對談揭示了AI前沿的真實面貌：技術進展快速但仍有諸多瓶頸，從持續學習到真實性蒸餾，從環境設計到長視野泛化，每一個環節都將決定AGI何時真正降臨。