Scaling Law
Ilya宣判后GPT-5被曝屢訓屢敗，一次訓數(shù)月，數(shù)據(jù)要人工從頭構建
OpenAI已經(jīng)在調(diào)整戰(zhàn)略了
開源Llama版o1來了，3B小模型反超80B，逆向工程復現(xiàn)OpenAI新Scaling Law
1B小模型數(shù)學超過CS博士生平均分
Scaling Law不總是適用！尤其在文本分類任務中，vivo AI Lab提出數(shù)據(jù)質(zhì)量提升解決方法
用近一半數(shù)據(jù)，有效提升訓練集的訓練效率
Scaling Law不是唯一視角！清華劉知遠團隊提出大模型“密度定律”：模型能力密度100天翻番
結(jié)合摩爾定律，可揭示端側(cè)智能巨大潛力
o1突發(fā)內(nèi)幕曝光？谷歌更早揭示原理，大模型光有軟件不存在護城河
比OpenAI更早揭示推理算力Scaling Law
