字節(jié)大模型團(tuán)隊(duì)Depth Anything V2模型入選蘋果最新CoreML模型
蘋果開發(fā)者可以利用這些模型更容易地構(gòu)建智能、安全的AI應(yīng)用。
近日，蘋果公司在HuggingFace上發(fā)布了20個(gè)新的Core ML模型和4個(gè)數(shù)據(jù)集，字節(jié)大模型團(tuán)隊(duì)的單目深度估計(jì)模型 Depth Anything V2入選其中。
CoreML是蘋果公司的機(jī)器學(xué)習(xí)框架，將機(jī)器學(xué)習(xí)模型集成到iOS，MacOS等設(shè)備上高效運(yùn)行，可在無需互聯(lián)網(wǎng)連接的情況下執(zhí)行復(fù)雜的AI任務(wù)，從而增強(qiáng)用戶隱私并減少延遲。蘋果開發(fā)者可以利用這些模型更容易地構(gòu)建智能、安全的AI應(yīng)用。
Depth Anything V2為字節(jié)大模型團(tuán)隊(duì)開發(fā)的單目深度估計(jì)模型。相比上一代版本，V2版在細(xì)節(jié)處理上更精細(xì)，魯棒性更強(qiáng)，并且和基于diffusion的SOTA模型相比，速度上有顯著提升。此外，V2版包括從25M到1.3B參數(shù)的不同大小的模型，本次蘋果收錄的CoreML版本經(jīng)過HuggingFace官方的工程優(yōu)化，采用最小的25M模型，在iPhone 12 Pro Max上的推理速度達(dá)到了31.1毫秒。該模型可以應(yīng)用在自動(dòng)駕駛、3D建模、增強(qiáng)現(xiàn)實(shí)、安全監(jiān)控以及空間計(jì)算等領(lǐng)域。值得一提的是，Depth Anything 兩個(gè)版本，論文一作均為該團(tuán)隊(duì)一位實(shí)習(xí)同學(xué)。
本次蘋果公司新發(fā)布的CoreML模型涵蓋了從自然語言處理到圖像識(shí)別的多個(gè)領(lǐng)域，開發(fā)者可使用coremltools 軟件包將TensorFlow等框架訓(xùn)練的模型轉(zhuǎn)換為Core ML格式。 通過利用 CPU、GPU 和神經(jīng)引擎優(yōu)化設(shè)備上的性能，Core ML可最大限度地減少內(nèi)存占用和功耗。
相關(guān)閱讀
字節(jié)發(fā)布視覺基礎(chǔ)模型ViTamin，多項(xiàng)任務(wù)實(shí)現(xiàn)SOTA，入選CVPR2024
視覺語言時(shí)代新基準(zhǔn)
字節(jié)跳動(dòng)清華AIR成立聯(lián)合研究中心，推動(dòng)大模型產(chǎn)學(xué)研合作
助力相關(guān)技術(shù)的持續(xù)進(jìn)步。
字節(jié)視頻生成模型 PixelDance上線即夢(mèng)AI，用戶可免費(fèi)體驗(yàn)
目前網(wǎng)頁版和手機(jī)端APP均已支持。
