注意力
姚期智團(tuán)隊(duì)開源新型注意力,節(jié)省90%內(nèi)存不降性能,一個(gè)框架統(tǒng)一MHA/MQA/GQA
張量積注意力TPA,兼容RoPE位置編碼
揭秘注意力機(jī)制真正起源!10年前3項(xiàng)研究幾乎同時(shí)獨(dú)立提出,背后故事細(xì)節(jié)被Karpathy曬郵件公開了
并非Transformer論文首創(chuàng)
張量積注意力TPA,兼容RoPE位置編碼
并非Transformer論文首創(chuàng)