楊植麟發(fā)布Kimi新模型：數(shù)學對標o1，中考高考考研成績全第一

西風 2024-11-16 19:57:08 來源：量子位

西風 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

kimi全面開放一周年之際，創(chuàng)始人楊植麟親自發(fā)布新模型——

數(shù)學模型k0-math，對標OpenAI o1系列，主打深入思考。

在MATH、中考、高考、考研4個數(shù)學基準測試中，k0-math成績超過o1-mini和o1-preview。

在demo展示中，k0-math思考過程全面展示，解題過程可能會非常長。

它會一邊自言自語“我卡殼了”，一邊不斷嘗試用各種思路。

以下面這道AIME競賽題目為例，k0-math通過不斷探索和試錯，嘗試了八九次做法后，最終得出了正確結果。

楊植麟現(xiàn)場直言，很簡單的問題有時它也會反復思考。

比如遇到簡單的“1+1等于幾”，它要“先可視化一下”，“再檢查一遍”、“用數(shù)學方式來確認”、“再用另一種方法來驗證”，最終才能“信心滿滿”得出最終答案1+1=2：

再比如4046/476等于多少，它其實一開始就得到了答案，但又進行反思經(jīng)過一系列驗證推出等于8.5:

在楊植麟看來，這是一個機遇，也是一個局限。預計在下一階段的模型迭代中，會逐步改善這個問題，讓模型能夠自己知道何時需要深入思考。

發(fā)布k0-math也反映出月之暗面現(xiàn)在的著重點——提升模型的深入思考能力、基于強化學習的Scaling Law。

楊植麟表示最近Kimi探索版還運用強化學習技術創(chuàng)新搜索體驗，提升了意圖增強、信源分析和鏈式思考三大推理能力。

k0-math模型和更強的Kimi探索版，未來幾周就將分批陸續(xù)上線Kimi網(wǎng)頁版和Kimi智能助手APP。

除新產(chǎn)品外，楊植麟現(xiàn)場還一并回答了大伙兒感興趣的諸多問題，包括接下來的研發(fā)重點、對多模態(tài)的看法、預訓練情況等。

Kimi探索版推理能力提升

Kimi探索版意圖增強能力提升，指的是它可以將抽象的問題和模糊的概念具體化，拓展用戶的真實搜索意圖。

例如，當互聯(lián)網(wǎng)產(chǎn)品經(jīng)理調研某產(chǎn)品的用戶忠誠度，Kimi探索版會思考當用戶搜索“忠誠度”時，本質上是想做數(shù)據(jù)的分析，然后找到可以體現(xiàn)忠誠度的維度，將這個比較模糊和抽象的概念，轉化為更加具體的“活躍度、留存率、使用頻率、使用時長”等關鍵詞。

然后通過機器更擅長的海量并行搜索，查找更全面和準確的答案。

Kimi 探索版信源分析能力也有提升，會從大量的搜索來源結果中，分析篩選出更具權威性和可靠性的信源。

現(xiàn)在在答案中還提供溯源鏈接了，可一鍵定位信源具體出處，精確到段落級別，讓條信息都有據(jù)可查。

最后鏈式思考能力提升，指的是Kimi探索版可以更好地基于思維鏈推理能力處理產(chǎn)品、公司、行業(yè)等研究問題。

例如，當程序員做技術選型，想要了解“react中有哪些狀態(tài)管理庫，最好用的是什么”。

Kimi首先會拆解問題，找到react的狀態(tài)管理庫有哪些，然后分別搜索每個狀態(tài)管理庫的優(yōu)缺點、使用場景和推薦理由，最后分析總結找到的所有高質量信息，推薦一個最適合大多數(shù)情況的狀態(tài)管理庫和理由。

“思考決定模型上限”

Q：強化學習過程中，如何解決數(shù)據(jù)、算力、算法平衡問題？

A：我覺得AI的發(fā)展就是一個蕩秋千的過程，你會在兩種狀態(tài)之間來回切換。

一種狀態(tài)是算法、數(shù)據(jù)非常ready，但是算力不夠。所以你要做的事情就是做更多的工程，把infra做得更好，它就能夠持續(xù)的提升。

我覺得其實從transformer誕生到GPT-4，更多的矛盾就是怎么能夠Scale，但是可能在算法和數(shù)據(jù)上沒有本質的問題。

今天當Scale差不多的時候，你會發(fā)現(xiàn)我再加更多的算力，并不一定能直接解決這個問題，核心是因為你沒有高質量的數(shù)據(jù)，小幾十G的token是人類互聯(lián)網(wǎng)積累了20多年的上限。

這個時候要做的事情，就是通過算法的改變，讓這個東西不會成為瓶頸?，F(xiàn)在可以理解成我們遇到的問題或者整個行業(yè)遇到的問題，也許你直接加更多的卡它不一定能看到直接的提升，所以你要通過這個方式的改變讓它把這個東西釋放出來。

所有的好算法就是跟Scaling做朋友，如果你的算法能夠釋放Scaling的潛力，它就會持續(xù)變得更好。

我們從很早就開始做強化學習相關的東西，我覺得這個也是接下來很重要的一個趨勢，通過這種方式去改變你的目標函數(shù)，改變你的學習的方式，讓它能持續(xù)的Scale。

Q：非transformer會不會解決這種問題？

A：不會，因為它本身是一個學習算法或者是沒有學習目標的問題。

Q：你們這個產(chǎn)品如果一兩周之后放到Kimi探索版里，用戶可以選擇使用，還是你們會根據(jù)用戶的提問來分配是否用這個模型？在不同的模式下，每個用戶一段時間內可以用多少次？以及目前Kimi主要的收入是在打賞，不是付費訂閱，你們怎么平衡成本問題？

A：我們接下來的版本大概率會讓用戶自己去選擇。

早期通過這種方式可以更好地分配或者更好滿足用戶的預期，我們也不想讓它1+1等于多少，想半天。

所以我覺得早期可能會用這樣的方案。

但是我覺得這里面最終可能還是一個技術問題。兩個點，一個點是能夠動態(tài)的給它分配最優(yōu)的算力。如果模型足夠聰明，它應該知道什么樣的問題需要想多久，就跟人一樣，不會1+1也想半天。

我們現(xiàn)在已經(jīng)一定程觀察到度簡單的問題它的思考時間也會更短，但是可能還不是最優(yōu)，這是我們通過算法迭代去再提升的。

長期來講我覺得第二個點是成本也在不斷下降。比如說今年如果達到去年GPT-4模型的水平，可能只需要十幾B的參數(shù)就能做到，去年可能需要一百多B。

Q：你們預訓練的情況現(xiàn)在是怎么樣的？你著重講了Scaling Law，比較好奇像你這么聰明的人會不會被Scaling Law這個事情給限制??？

A：我先說第一個問題，我覺得預訓練還有空間，半代到一代的模型。這個空間會在明年釋放出來，明年我覺得領先的模型會把預訓練做到一個比較極致的階段，今天比如說我們去看最好的模型它大概有這樣的空間可以去壓榨。

但是我們判斷接下來最重點的東西會在強化學習上，就是范式上會產(chǎn)生一些變化。但是它還是Scaling，并不是它不用Scale，只是說你會通過不同的方式去Scale，這是我們的判斷。

你說Scaling law會不會是一個天花板或者是上限，這個相對來說我比較樂觀一點。

核心就在于原來你用靜態(tài)數(shù)據(jù)集，靜態(tài)數(shù)據(jù)集其實是比較簡單粗暴的使用方式，現(xiàn)在用強化學習的方式很多情況下是有人在參與這個過程的，但是人沒有辦法給你標注那么多數(shù)據(jù)，不可能把每道題具體的思路都標出來，所以你其實用AI本身把人的東西加上一個杠桿。

比如說你標100條數(shù)據(jù)，就能產(chǎn)生非常大的作用，因為剩下的都是它在自己思考，我覺得更多的會用這種方式去解決。

具體從做法上來看，我覺得確定性是比較高的，很多時候是真正把它調出來的過程，所以我現(xiàn)在覺得這個大概率可以通過這種方式去做出來，所以我覺得它上限是很高的。

Q：想問一下多模態(tài)的問題，Sora大概馬上要發(fā)了。

A：我們也做，幾個多模態(tài)的能力在內測。

我是這樣看的，我覺得AI接下來最重要的是思考和交互這兩個能力。思考的重要性遠大于交互，不是說交互不重要，我覺得思考會決定上限，交互我覺得是一個必要條件，比如說vision的能力，如果沒有vision的能力沒法做交互。

所以我覺得它兩個不太一樣，就看要做這個任務標注任務的難度有很大，到底需要一個博士去標，還是每個人都可以標，哪個東西更難找到這樣的人，那個東西就是AI的上限。

所以我覺得多模態(tài)肯定是必要的，但是我覺得是思考決定它的上限。