字節(jié)大模型團(tuán)隊(duì)Depth Anything V2模型入選蘋果最新CoreML模型

量子位的朋友們 2024-06-28 17:58:00 來源：量子位

蘋果開發(fā)者可以利用這些模型更容易地構(gòu)建智能、安全的AI應(yīng)用。

近日，蘋果公司在HuggingFace上發(fā)布了20個(gè)新的Core ML模型和4個(gè)數(shù)據(jù)集，字節(jié)大模型團(tuán)隊(duì)的單目深度估計(jì)模型 Depth Anything V2入選其中。

字節(jié)大模型團(tuán)隊(duì)Depth Anything V2模型入選蘋果最新CoreML模型

CoreML是蘋果公司的機(jī)器學(xué)習(xí)框架，將機(jī)器學(xué)習(xí)模型集成到iOS，MacOS等設(shè)備上高效運(yùn)行，可在無需互聯(lián)網(wǎng)連接的情況下執(zhí)行復(fù)雜的AI任務(wù)，從而增強(qiáng)用戶隱私并減少延遲。蘋果開發(fā)者可以利用這些模型更容易地構(gòu)建智能、安全的AI應(yīng)用。

Depth Anything V2為字節(jié)大模型團(tuán)隊(duì)開發(fā)的單目深度估計(jì)模型。相比上一代版本，V2版在細(xì)節(jié)處理上更精細(xì)，魯棒性更強(qiáng)，并且和基于diffusion的SOTA模型相比，速度上有顯著提升。此外，V2版包括從25M到1.3B參數(shù)的不同大小的模型，本次蘋果收錄的CoreML版本經(jīng)過HuggingFace官方的工程優(yōu)化，采用最小的25M模型，在iPhone 12 Pro Max上的推理速度達(dá)到了31.1毫秒。該模型可以應(yīng)用在自動(dòng)駕駛、3D建模、增強(qiáng)現(xiàn)實(shí)、安全監(jiān)控以及空間計(jì)算等領(lǐng)域。值得一提的是，Depth Anything 兩個(gè)版本，論文一作均為該團(tuán)隊(duì)一位實(shí)習(xí)同學(xué)。

本次蘋果公司新發(fā)布的CoreML模型涵蓋了從自然語言處理到圖像識(shí)別的多個(gè)領(lǐng)域，開發(fā)者可使用coremltools 軟件包將TensorFlow等框架訓(xùn)練的模型轉(zhuǎn)換為Core ML格式。通過利用 CPU、GPU 和神經(jīng)引擎優(yōu)化設(shè)備上的性能，Core ML可最大限度地減少內(nèi)存占用和功耗。