火山引擎項(xiàng)亮揭秘字節(jié)跳動(dòng)基于 HPC 大規(guī)模機(jī)器學(xué)習(xí)技術(shù)｜直播報(bào)名

量子位的朋友們 2022-04-13 11:56:52 來(lái)源：量子位

機(jī)器學(xué)習(xí)是當(dāng)前領(lǐng)先的 AI 范式，到目前為止取得了非?？捎^的成就，當(dāng)前機(jī)器學(xué)習(xí)也是一個(gè)非常時(shí)髦的話題。

2021 年 12 月火山引擎云產(chǎn)品發(fā)布會(huì)上正式發(fā)布了?AI 全系產(chǎn)品，其中的 AI 開(kāi)發(fā)平臺(tái)就是全流程、高效率、高性能的機(jī)器學(xué)習(xí)平臺(tái)。該平臺(tái)提供從數(shù)據(jù)準(zhǔn)備到模型訓(xùn)練、再到推理整個(gè)服務(wù)；通過(guò) RDMA 網(wǎng)絡(luò)直連上萬(wàn)張 GPU 和自研的分布式訓(xùn)練框架，可以將 GPU 的資源利用率加速到 90% 以上，極大提升性能的同時(shí)降低了使用成本；提供完善的工具鏈、全功能在線的 IDE，包括端云協(xié)同的開(kāi)發(fā)環(huán)境，以及本地 AI 代碼一鍵上云，實(shí)現(xiàn)極致的開(kāi)發(fā)體驗(yàn)。

在這次發(fā)布會(huì)上，?火山引擎機(jī)器學(xué)習(xí)系統(tǒng)負(fù)責(zé)人項(xiàng)亮也首次向外界分享了火山引擎推薦系統(tǒng)的技術(shù)演進(jìn)和應(yīng)用實(shí)踐。項(xiàng)亮在分享中提到，搭建整個(gè)推薦系統(tǒng)是非常消耗資源的事情。而火山引擎的智能推薦平臺(tái)，可以做到直接提升你想提升的業(yè)務(wù)目標(biāo)，模型可以直接預(yù)估這個(gè)目標(biāo)，最終結(jié)果按照預(yù)估的結(jié)果排。先把目標(biāo)定下來(lái)，剩下的都是機(jī)器學(xué)習(xí)的事情?；鹕揭鏅C(jī)器學(xué)習(xí)平臺(tái)的核心目標(biāo)就是降低算法開(kāi)發(fā)門檻，實(shí)現(xiàn)規(guī)?；瘧?yīng)用。

源于字節(jié)跳動(dòng)業(yè)務(wù)打磨的機(jī)器學(xué)習(xí)技術(shù)，火山引擎機(jī)器學(xué)習(xí)平臺(tái)是如何設(shè)計(jì)的？在實(shí)現(xiàn)過(guò)程中又有哪些挑戰(zhàn)？

4 月 14 日晚間 19:30-21:00，火山引擎開(kāi)發(fā)者社區(qū)技術(shù)大講堂第一期將為大家揭秘字節(jié)跳動(dòng)基于 HPC 的大規(guī)模機(jī)器學(xué)習(xí)技術(shù)，技術(shù)負(fù)責(zé)人項(xiàng)亮開(kāi)深度分享機(jī)器學(xué)習(xí)平臺(tái)架構(gòu)與實(shí)踐，與廣大開(kāi)發(fā)者互動(dòng)。同時(shí)，承載機(jī)器學(xué)習(xí)平臺(tái)的超大規(guī)模 HPC 基礎(chǔ)設(shè)施也將首度在社區(qū)分享。

《火山引擎大規(guī)模機(jī)器學(xué)習(xí)平臺(tái)架構(gòu)設(shè)計(jì)與應(yīng)用實(shí)踐》

項(xiàng)亮｜ 火山引擎機(jī)器學(xué)習(xí)系統(tǒng)負(fù)責(zé)人

本次分享將圍繞數(shù)據(jù)加速、模型分布式訓(xùn)練框架建設(shè)、大規(guī)模異構(gòu)集群調(diào)度、模型開(kāi)發(fā)過(guò)程標(biāo)準(zhǔn)化等 AI 工程化實(shí)踐，全面介紹如何以開(kāi)發(fā)者的極致體驗(yàn)為核心，進(jìn)行機(jī)器學(xué)習(xí)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)，帶大家了解當(dāng)前機(jī)器學(xué)習(xí)應(yīng)用落地過(guò)程中的挑戰(zhàn)以及火山引擎如何應(yīng)對(duì)這些挑戰(zhàn)。

分享主要內(nèi)容：

1. 機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)過(guò)程中的挑戰(zhàn)
2. 火山引擎機(jī)器學(xué)習(xí)平臺(tái)的架構(gòu)
3. 字節(jié)跳動(dòng)內(nèi)部及行業(yè)頭部客戶的機(jī)器學(xué)習(xí)應(yīng)用實(shí)踐案例

《大規(guī)模高性能計(jì)算集群架構(gòu)及優(yōu)化實(shí)踐》

葉璐｜火山引擎云計(jì)算研發(fā)工程師

馮瑞青｜火山引擎云計(jì)算研發(fā)工程師

隨著機(jī)器學(xué)習(xí)的發(fā)展，數(shù)據(jù)量和訓(xùn)練模型都有越來(lái)越大的趨勢(shì)，這對(duì)基礎(chǔ)設(shè)施有了更高的要求，包括硬件、網(wǎng)絡(luò)架構(gòu)等。本次分享將主要介紹火山引擎支撐大規(guī)模高性能計(jì)算集群的架構(gòu)和優(yōu)化實(shí)踐，帶大家了解火山引擎支撐大規(guī)模高性能計(jì)算集群的架構(gòu)和優(yōu)化實(shí)踐。

分享主要內(nèi)容：

1. 模型訓(xùn)練的趨勢(shì)及對(duì)基礎(chǔ)設(shè)施的要求
2. 火山引擎高性能計(jì)算實(shí)例相關(guān)產(chǎn)品介紹及平臺(tái)架構(gòu)
3. 支撐超大規(guī)模訓(xùn)練的 RDMA 網(wǎng)絡(luò)架構(gòu)和優(yōu)化
4. 字節(jié)跳動(dòng)內(nèi)部及合作伙伴的業(yè)務(wù)實(shí)踐