陶哲軒提前實測滿血版o1：能當(dāng)研究生使喚

白交 2024-09-15 12:25:26 來源：量子位

白小交 衡宇 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

好羨慕！原來早在8月份，陶哲軒就已經(jīng)用上了OpenAI o1。

還是現(xiàn)在大家都用不上的滿血版本（眼淚不爭氣地從嘴角流出來）。

提前批大佬是怎么玩最新天花板的呢？

他向o1模型提出一個措辭模糊的數(shù)學(xué)問題，發(fā)現(xiàn)它竟然能成功識別出克萊姆定理。

而且答案是“完全令人滿意的”那種。

當(dāng)然，陶哲軒還做了一些其它測試，肉測下來總體體驗就是：

比以前的模型更牛，多堆點提示詞表現(xiàn)還不錯，但仍然會犯不小的錯誤，也沒有產(chǎn)生啥自己的思想。

陶哲軒是這樣形容的：

這種感覺，就像給一個平庸無奇但又有點小能力的研究生提供建議。

不過，這已經(jīng)比以前的模型有所改進，因為以前的模型的能力更接近于實際上不稱職的研究生。

但如果給以前的模型加點助力，比如計算機代數(shù)包和證明輔助工具啥的，改進一兩次，就能實現(xiàn)進一步迭代，搖身一變，成為“有能力的研究生”。

陶哲軒對使用體驗的這個神奇比喻在HackerNews等多個平臺引起了激烈討論。

有網(wǎng)友憤憤：GPT是什么**！我承認LLMs對寫代碼有很大幫助，但事實上有一些非常好的工具可以幫助解決這一問題，例如代碼片段、模板和代碼生成器。

有人就用陶哲軒的話回應(yīng)了他：

“任何聰明到足以以編程為生的人，智商都足以成為一個平平無奇但又小有能力的數(shù)學(xué)研究生?！?/p>

陶哲軒實測ChatGPT vs o1

陶哲軒展示了他自己的三輪測試。

第一輪，用去年3月份測試ChatGPT的題目，要求大模型回答一個措辭含糊的數(shù)學(xué)問題，只要從文獻中找出一個合適的定理（克萊姆法則）就能解決。

Say I have a positive measure whose closure(support) = some compact convex subset S. I convolve n times to get a measure on nS. Scale down by n, take log, divide by n, take the limit to get some rounded thing on S. Does it depend on the original measure?

當(dāng)時，ChatGPT倒是有模有樣地回答了，期間還提到了一個高度相關(guān)的術(shù)語：對數(shù)矩生成函數(shù)，甚至在給出的答案中還討論了一個具體的例子。不過不能注意細節(jié)，全是幻覺，而且答案也是錯的。

這一次，同樣有模有樣，但相較之下更有條理（更長還有大小標(biāo)題區(qū)分度）。

最重要的是，o1成功找到了克萊姆定理，并給出了完全令人滿意的答案。

ps，看記錄，早在8月份陶哲軒就用上了o1。

第二輪，上一點難度，挑戰(zhàn)復(fù)雜分析研究生課程的一個問題。

（之前他用來測試GPT-4的，要求他來協(xié)助編寫一個證明）

結(jié)果這次陶哲軒的結(jié)論是，是要比之前GPT-4好些，但仍有點失望。

如果提供大量的提示和鼓勵，新模型可以通過自己的努力得到一個正確的（而且寫得很好的）解決方案，但它自己并沒有產(chǎn)生關(guān)鍵的概念想法，而且確實犯了一些非同小可的錯誤。

光看到這幾輪提示交互，確實是有點不滿意的。

也難怪陶哲軒代入自己，把調(diào)教o1像是在教一個平庸、但又不是完全不稱職的研究生。

緊接著來第三輪測試，這一次是要求將質(zhì)數(shù)定理的一種形式轉(zhuǎn)化為Lean中的定理形式，方法是將其分解為若干個子問題分別描述，但不給出證明。

結(jié)果模型很好地理解了這個任務(wù)，并進行了合理的初步分解，不過代碼中出現(xiàn)了幾個小錯誤。

陶哲軒解釋道，這是由于訓(xùn)練時缺乏有關(guān)Lean及其數(shù)學(xué)庫的最新信息。

并表示，如果能專門針對Lean和Mathlib進行微調(diào)，并集成到一個IDE中，那應(yīng)該會對公式化項目很有用。

在研究數(shù)學(xué)層面的實用性在增加

用大模型來搞研究，其實已經(jīng)飛入尋常百姓家了。

一位賬號名為wenc的網(wǎng)友分享了ta使用大模型來做研究的經(jīng)歷。

wenc從事著運籌學(xué)相關(guān)的工作，而OpenAI的模型們，從GPT 4o開始，就吸收了足夠多的運籌學(xué)數(shù)據(jù)，能夠輸出很多非常有用的混合整數(shù)規(guī)劃（MIP）?公式。

舉個栗子：

給4o一個邏輯問題，如“我需要根據(jù)分數(shù)將i個項目放入n個桶中，但我想按順序填充每個桶”，4o會輸出一個非常有用的數(shù)學(xué)公式。

通常情況下，只需要把公式微調(diào)一下就能完全搞定問題了。

此外，一些prompt太弱了的時候，4o還會預(yù)警：這可能導(dǎo)致輸出不盡如人意——可以說對避免無效回答非常有用了。

回過頭看咱還用不上大模型的時候，傳統(tǒng)方法是需要大家在周末絞盡腦汁，試圖找出有關(guān)MIP優(yōu)化問題的無懈可擊的公式。

對于非直觀問題來說，這一點通常都令人頭禿。

wenc很堅定地表示，每月從ChatGPT上獲得的價值，遠遠超出了20美元（每月訂閱費用）。

一旦GPT在Lean上得到更多調(diào)整——就像在 Python 上一樣——我預(yù)計它在研究數(shù)學(xué)層面的實用性會有提升。

wenc還對那些抱怨Claude和GPT最新模型不好用的網(wǎng)友進行了分析：

• 不知道如何最大化自己的優(yōu)勢來使用大模型們；
• 把大模型想得無所不能，抱著“這玩意兒是解決一切的靈丹妙藥”的期待；
• 大模型確實在他們的領(lǐng)域不適用。

wenc在最后弱弱補了一句，很多抱怨的人，其實都是屬于前兩種啦～～～

陶哲軒回應(yīng)爭議

盡管大多數(shù)網(wǎng)友都覺得大模型能幫助自己省下許多功夫，還是有人對陶哲軒“調(diào)教大模型如同調(diào)教不咋靠譜的研究生”的言論，充滿了疑惑和不解。

有網(wǎng)友在陶哲軒的mathstodon底下留言：

親，也許你可以展開說說“研究生”這塊不？
我理解一下子，你的意思是o1之前大模型放在Lean微調(diào)，再結(jié)合計算機代數(shù)包，那輸出效果就可以媲美研究生水平？
簡單點來說，這種情況下的大模型能夠解決一些新發(fā)現(xiàn)的重要課題？

陶哲軒倒是很及時地回復(fù)了這條評論。

他表示，他正在考慮一個具體的指標(biāo)，即“助手能夠在專家數(shù)學(xué)家的指導(dǎo)下，協(xié)助完成復(fù)雜數(shù)學(xué)研究項目中的一個或多個具體任務(wù)”的程度。

一個有能力的研究生可以為這樣的項目作出貢獻，且這種貢獻比“讓學(xué)生加快項目進度并監(jiān)督他們出了幾成力”更有價值。

不過，即使使用最新的工具，讓大模型輸出正確且有用的回答，其實比輸入精準(zhǔn)prompt和驗證結(jié)果都要難多了——當(dāng)然，這之間的差距并不是特別巨大，前者大概要難個2-5倍的樣子。

陶哲軒表示自己有理由相信，未來幾年內(nèi)，這個差距會降低到1倍以內(nèi)（其實有些特定子任務(wù)，比如語義搜索、數(shù)據(jù)格式化或生成數(shù)字代碼以協(xié)助數(shù)學(xué)研究探索，這個比率已經(jīng)低于1了）。

他視“差距降到1倍以內(nèi)”為數(shù)學(xué)領(lǐng)域?qū)⒏鼜V泛采用這些的轉(zhuǎn)折點。

至于“研究生水平”嘛——

陶哲軒表示，自己這么說，只是為了方便大家感知啦！

雖然大模型可以協(xié)助研究人員完成當(dāng)前的項目，但培養(yǎng)研究生的目的，是為了以后有更多的下一代獨立研究者。

“我無意暗示研究生學(xué)習(xí)的各個方面，與數(shù)學(xué)中AI輔助的各個方面之間存在一一對應(yīng)的關(guān)系?！?/p>

One More Thing

最后，分享一則陶哲軒這個話題下，我們發(fā)現(xiàn)網(wǎng)友討論出的、呼聲挺高的一個結(jié)論——

雖然很難量化學(xué)會用大模型到底省了多少時間，但隨著一個人提示詞工程能力的提升，大伙兒能用更少的時間得到更好的效果。

但是！

顯而易見，大模型的價值是因人而異的，它幾乎取決于每個人的提示詞水平。

呃，羞愧中……

不說了，過什么中秋節(jié)假期，咱這就去精進自己的prompt技巧去！

參考鏈接：
[1]https://mathstodon.xyz/@tao/113132502735585408
[2]https://news.ycombinator.com/item?id=41540902
[3]https://mathstodon.xyz/@tao/109948249160170335