報(bào)名 | 如何突破Decoder性能瓶頸？英偉達(dá)專家揭秘FasterTransformer2.0的原理與應(yīng)用 –NLP公開課
位來 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
自從 “Attention is All You Need” 在2017年提出以來，Transformer已成為 NLP 領(lǐng)域中非常熱門的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)。但是在推理部署階段，其計(jì)算性能往往難以滿足在線業(yè)務(wù)對于低延遲和高吞吐的要求。
在英偉達(dá)開源的FasterTransformer 1.0版本中，針對BERT中的 Transformer Encoder進(jìn)行了優(yōu)化和加速，經(jīng)過高度優(yōu)化之后，降低了用戶使用transformer編碼的時(shí)延。
在解決了Encoder性能問題之后，英偉達(dá)將重點(diǎn)放到了同樣重要的Transformer Decoder推理上。
因此，英偉達(dá)推出了FasterTransformer 2.0版本，提供針對解碼器進(jìn)行高度優(yōu)化的transformer layer。同時(shí)，還提供了優(yōu)化過后的整個(gè)翻譯流程，滿足想要在翻譯場景中大幅降低時(shí)延的用戶們。
那么，F(xiàn)asterTransformer 2.0背后的優(yōu)化原理是什么？如何針對decoder和decoding進(jìn)行優(yōu)化？
4月9日，英偉達(dá)x量子位將舉辦一場線上公開課，英偉達(dá)GPU計(jì)算專家、FasterTransformer 2.0 開發(fā)者之一的薛博陽老師將為大家詳細(xì)講解，歡迎大家報(bào)名，與薛老師一起探討和交流。
課程安排
主題：FasterTransformer 2.0 的原理與應(yīng)用
時(shí)間：2020年4月9日（周四），20:00-21:30
環(huán)節(jié)：講解+問答
課程內(nèi)容：
- FasterTransformer 2.0 新增加功能介紹
- 如何針對decoder和decoding進(jìn)行優(yōu)化
- 如何使用decoder和decoding
- Decoder和decoding能夠帶來什么樣的加速效果
嘉賓介紹
薛博陽，NVIDIA GPU 計(jì)算專家，擁有多年GPU開發(fā)經(jīng)驗(yàn)和深度學(xué)習(xí)開發(fā)經(jīng)驗(yàn)。曾參與計(jì)算機(jī)視覺、游戲人工智能等項(xiàng)目開發(fā)。FasterTransformer 2.0 開發(fā)者之一，目前主要負(fù)責(zé) FasterTransformer 2.0 的進(jìn)一步的優(yōu)化。
報(bào)名方式
點(diǎn)擊鏈接注冊（https://info.nvidia.com/312648-reg.html），直播前將給您注冊使用的郵箱發(fā)送直播鏈接，后續(xù)將發(fā)送直播回放、PPT資料。
也歡迎大家加入直播交流群，添加量子位小助手（qbitbot12），并備注“英偉達(dá)”即可。
— 完 —
量子位 QbitAI · 頭條號(hào)簽約作者
關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)
- 天云數(shù)據(jù)CEO雷濤：從軟件到數(shù)件，AI生態(tài)如何建立自己的“Android”？| 量子位·視點(diǎn)分享回顧2022-03-23
- 火熱報(bào)名中丨2022實(shí)景三維創(chuàng)新峰會(huì)成都站將于4月13日召開！2022-03-21
- 從軟件到數(shù)件，AI生態(tài)如何建立自己的“Android”？天云數(shù)據(jù)CEO直播詳解，可預(yù)約 | 量子位·視點(diǎn)2022-03-11
- 什么樣的AI制藥創(chuàng)企才能走得更遠(yuǎn)？來聽聽業(yè)內(nèi)怎么說｜直播報(bào)名2022-03-03
相關(guān)閱讀
英偉達(dá)讓機(jī)器人「做夢學(xué)習(xí)」，靠夢境實(shí)現(xiàn)真·從0泛化
利用AI視頻世界模型生成神經(jīng)軌跡，學(xué)會(huì)執(zhí)行22種新任務(wù)
搜狗發(fā)布新研究：語音+唇語讓語音識(shí)別更準(zhǔn)確
5月12日至17日，在英國布萊頓舉辦的學(xué)術(shù)會(huì)議上，搜狗的研究人員匯報(bào)了他們的研究成果。
