Scaling Law
Ilya宣判后GPT-5被曝屢訓(xùn)屢敗，一次訓(xùn)數(shù)月，數(shù)據(jù)要人工從頭構(gòu)建
OpenAI已經(jīng)在調(diào)整戰(zhàn)略了
開(kāi)源Llama版o1來(lái)了，3B小模型反超80B，逆向工程復(fù)現(xiàn)OpenAI新Scaling Law
1B小模型數(shù)學(xué)超過(guò)CS博士生平均分
Scaling Law不總是適用！尤其在文本分類(lèi)任務(wù)中，vivo AI Lab提出數(shù)據(jù)質(zhì)量提升解決方法
用近一半數(shù)據(jù)，有效提升訓(xùn)練集的訓(xùn)練效率
Scaling Law不是唯一視角！清華劉知遠(yuǎn)團(tuán)隊(duì)提出大模型“密度定律”：模型能力密度100天翻番
結(jié)合摩爾定律，可揭示端側(cè)智能巨大潛力
o1突發(fā)內(nèi)幕曝光？谷歌更早揭示原理，大模型光有軟件不存在護(hù)城河
比OpenAI更早揭示推理算力Scaling Law
