token
突破單token預(yù)測(cè)局限！南洋理工首次將多token預(yù)測(cè)引入微調(diào)
推理和生成能力增強(qiáng)的同時(shí)，也不會(huì)額外增加多余成本
打破思維鏈推理瓶頸！“軟推理”讓大模型學(xué)會(huì)人類抽象能力，token使用量還更少了
概念token代替離散token，無(wú)需額外訓(xùn)練
四個(gè)00后的瘋狂開(kāi)源計(jì)劃：整個(gè)互聯(lián)網(wǎng)轉(zhuǎn)成大模型語(yǔ)料，1億token嵌入成本只需1美元
Arxiv上所有論文轉(zhuǎn)成Token，加起來(lái)不過(guò)14.1GB而已。
