從小樣本學(xué)習(xí)到AIGC，創(chuàng)新奇智持續(xù)探索AI工業(yè)視覺落地實踐

量子位的朋友們 2023-03-24 18:05:21 來源：量子位

“AI 已經(jīng)來到從 1.0 邁入 2.0 的拐點。ChatGPT快速普及將進(jìn)一步引爆 AI 2.0 商業(yè)化。 AI 2.0 將是提升 21 世紀(jì)整體社會生產(chǎn)力最為重要的賦能技術(shù)，是絕對不能錯過的一次革命?！?/p>

數(shù)天前，創(chuàng)新工場董事長兼CEO、創(chuàng)新奇智董事長李開復(fù)發(fā)表主題為“AI 1.0 到 AI 2.0 的新機(jī)遇”演講。他認(rèn)為 AI 1.0 是以卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型為核心的計算機(jī)視覺技術(shù)，拉開 AI 感知智能時代的序幕，但AI 1.0 也遇到了瓶頸，大多數(shù)行業(yè)想利用 AI，需要花費巨大的成本來收集和標(biāo)注數(shù)據(jù)。AI 2.0 的巨大躍遷在于克服了 AI 1.0 單領(lǐng)域、多模型的限制，可以用無需人工標(biāo)注的超級海量數(shù)據(jù)去訓(xùn)練一個具有跨領(lǐng)域知識的基礎(chǔ)大模型，通過微調(diào)等方式適配和執(zhí)行五花八門的任務(wù)，應(yīng)用于 AIGC 各類場景。

創(chuàng)新奇智是誕生于AI1.0時代專注“AI+制造”的企業(yè)級AI產(chǎn)品及解決方案供應(yīng)商，在工業(yè)視覺領(lǐng)域研發(fā)了很多突破性技術(shù)，尤其在小樣本學(xué)習(xí)領(lǐng)域形成自己的技術(shù)特色。進(jìn)入AI2.0時代，創(chuàng)新奇智基于小樣本學(xué)習(xí)技術(shù)和 AI數(shù)據(jù)生成技術(shù)，通過對已有樣本的學(xué)習(xí)，源源不斷地產(chǎn)生新樣本，從而大幅提升了工業(yè)領(lǐng)域樣本信息不足情況下模型的精度。

在工業(yè)視覺領(lǐng)域，訓(xùn)練樣本不足一直是制約人工智能算法應(yīng)用的瓶頸之一。一方面，工業(yè)生產(chǎn)是一個多因素耦和的復(fù)雜過程，生產(chǎn)中的任何異常都會影響產(chǎn)品質(zhì)量，而且生產(chǎn)過程的復(fù)雜性也將導(dǎo)致產(chǎn)品缺陷種類繁多，缺陷的表現(xiàn)形態(tài)也千差萬別。另一方面，隨著產(chǎn)線自動化的提升，生產(chǎn)中出現(xiàn)缺陷品的概率大幅降低，從而導(dǎo)致在工業(yè)視覺領(lǐng)域，要收集到充足的缺陷樣品非常耗時。

據(jù)創(chuàng)新奇智CTO張發(fā)恩介紹，針對樣本不足問題，業(yè)界常用的解決方法有兩類，一類是研究小樣本學(xué)習(xí)算法，通過從大量可用數(shù)據(jù)中學(xué)習(xí)到的普遍規(guī)律，再利用學(xué)習(xí)到的數(shù)據(jù)，使用少量目標(biāo)場景的數(shù)據(jù)進(jìn)行學(xué)習(xí)，完成到新場景的遷移。另一類方法是數(shù)據(jù)生成，利用算法產(chǎn)生數(shù)據(jù)來擴(kuò)充訓(xùn)練樣本。創(chuàng)新奇智將基礎(chǔ)算法與行業(yè)場景相結(jié)合，進(jìn)行技術(shù)突破和創(chuàng)新，從多個維度解決工業(yè)視覺中樣本不足的問題。

小樣本學(xué)習(xí)，AI工業(yè)視覺落地的必由之路

海通國際分析師曾指出，小樣本學(xué)習(xí)相當(dāng)符合人類的思維推理模式，是實現(xiàn)類人人工智能的必由之路。小樣本學(xué)習(xí)算法的性價比最優(yōu)，不需要大量數(shù)據(jù)的標(biāo)注準(zhǔn)備，極大降低了數(shù)據(jù)標(biāo)注、算力以及AI 交付的工程化成本，對AI 應(yīng)用普惠化起到了至關(guān)重要的作用。工業(yè)視覺檢測是小樣本學(xué)習(xí)的典型應(yīng)用場景。

創(chuàng)新奇智深入小樣本學(xué)習(xí)算法的研究，打造涵蓋數(shù)據(jù)標(biāo)注、算法應(yīng)用到跨領(lǐng)域遷移的全系列小樣本學(xué)習(xí)算法，建立AI工業(yè)視覺領(lǐng)域的技術(shù)領(lǐng)先優(yōu)勢。

工業(yè)視覺領(lǐng)域的數(shù)據(jù)標(biāo)注，一般需要比較強(qiáng)的領(lǐng)域知識，標(biāo)注成本高，周期長。標(biāo)注數(shù)據(jù)的不足，增加了人工智能模型的訓(xùn)練難度，延長了訓(xùn)練周期。針對這一問題，創(chuàng)新奇智提出基于反標(biāo)簽學(xué)習(xí)的半監(jiān)督圖像分類算法[1]，設(shè)計反標(biāo)簽學(xué)習(xí)模塊，通過給無標(biāo)簽圖像數(shù)據(jù)標(biāo)注反標(biāo)簽并進(jìn)行學(xué)習(xí)的方式，可以高質(zhì)量地利用無標(biāo)簽圖像進(jìn)行學(xué)習(xí)，降低了工業(yè)領(lǐng)域人工智能算法應(yīng)用對標(biāo)注數(shù)據(jù)的依賴，縮短算法研發(fā)周期，節(jié)約了算法開發(fā)成本。

反標(biāo)簽學(xué)習(xí)流程示意圖

工業(yè)視覺領(lǐng)域的算法應(yīng)用，不光訓(xùn)練樣本少，識別的粒度往往還要求比較細(xì)，可謂是巧婦難為無米之炊。如何在有限的訓(xùn)練數(shù)據(jù)中實現(xiàn)細(xì)小且有辨識度的部件級模式，一直是困擾算法工程師的一個難題。創(chuàng)新奇智提出基于雙注意力機(jī)制的少樣本學(xué)習(xí)[2]，使用兩個注意力流分別得到部件級別的關(guān)鍵信息和全局聚合信息，不僅對細(xì)粒度圖像識別提供了新的部件級信息，也補(bǔ)充了對細(xì)粒度圖像識別有用的微妙全局信息。

基于雙注意力機(jī)制的少樣本細(xì)粒度圖像識別框架

工業(yè)視覺面臨的另外一個問題是產(chǎn)品批次更換頻繁。例如汽車零部件制造、消費電子設(shè)備等行業(yè)，產(chǎn)品會周期性更換批次，更換批次后，都會導(dǎo)致測試樣本與訓(xùn)練樣本存在較大的差異，因此如何基于少樣本快速進(jìn)行跨領(lǐng)域遷移也是影響工業(yè)視覺實際應(yīng)用的重要難題。針對這一問題，創(chuàng)新奇智提出基于原型的分類器學(xué)習(xí)方法[3]，通過從單品示例中獲取每個物品集合類別的原型表示，彌合訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)間的領(lǐng)域差異。該算法可以應(yīng)用有批量產(chǎn)品檢測需求的場景，加快檢測算法的適配，提升檢測準(zhǔn)確率。

基于原型的分類器學(xué)習(xí)方法

從小樣本學(xué)習(xí)到AIGC，創(chuàng)新奇智打造AInnoGC布局AI2.0時代

如果說小樣本學(xué)習(xí)是“刪繁就簡”，對模型和學(xué)習(xí)方式進(jìn)行改進(jìn)，使其適應(yīng)小樣本訓(xùn)練；那么樣本生成就是“推陳出新”，通過已有樣本，學(xué)習(xí)生成模型，從而可以源源不斷產(chǎn)生新樣本。

2022年底，OpenAI推出的ChatGPT證明了內(nèi)容生成（AIGC）的巨大潛力，創(chuàng)新奇智在小樣本學(xué)習(xí)的基礎(chǔ)上，進(jìn)一步聚合以往在內(nèi)容生成領(lǐng)域的研發(fā)成果，將圖像生成與工業(yè)場景的獨特需求相結(jié)合，打造面向工業(yè)視覺的AICG算法。

與一般性的圖像生成主要表現(xiàn)為圖像上較為宏觀的語義改變不同，工業(yè)視覺缺陷主要體現(xiàn)為樣本圖像上細(xì)微的局部缺陷紋理變化，語義信息低。此外，生成的缺陷紋理不僅要有自然的主觀視覺感受，還需要是物理上真實的，缺陷的形態(tài)要符合樣本本身的物理和光學(xué)特性。傳統(tǒng)的圖像生成算法一般只能做到視覺真實，無法兼顧物理真實。針對這一問題，創(chuàng)新奇智結(jié)合將物理模型融入AIGC模型的構(gòu)建，提出基于光學(xué)成像模擬的光照生成模型和基于雙階段引導(dǎo)的缺陷生成模型，從而可以模擬樣本在不同光照狀態(tài)下的缺陷圖像。

創(chuàng)新奇智的光照生成模型分為兩個部分：第一部分為分解網(wǎng)絡(luò)，將圖像中的光照信息與表示內(nèi)容的語義信息相分離，通過在自研的材質(zhì)光影數(shù)據(jù)庫上進(jìn)行訓(xùn)練，我們會獲得不同材質(zhì)的樣本在不同光照條件下的光照原型。第二部分是重光照網(wǎng)絡(luò)，通過將對應(yīng)的光照原型與樣本的語義信息相融合，可以獲得樣本在不同光照條件下的圖像。

基于雙階段引導(dǎo)的缺陷生層模型，分別使用基于專家知識的文本引導(dǎo)生成局部缺陷，而后再以第一階段生成的局部缺陷圖作為引導(dǎo)，將缺陷融合到樣本的指定區(qū)域。兩階段缺陷樣本生成模型逐步聚焦局部缺陷樣例和全局圖像融合，可以有效地兼顧工業(yè)視覺領(lǐng)域缺陷樣本生成的物理真實和視覺真實的要求。

基于AInnoGC的缺陷樣本生成框架

結(jié)合上述兩個模型，創(chuàng)新奇智可以生成樣本在不同光照條件下的缺陷圖像，從而可以有效地擴(kuò)充訓(xùn)練樣本庫，解決工業(yè)視覺領(lǐng)域缺陷樣本不足的問題，提升工業(yè)預(yù)訓(xùn)練大模型的訓(xùn)練效果。

基于上述研發(fā)成果，創(chuàng)新奇智研發(fā)面向行業(yè)的AIGC解決方案-AInnoGC。AInnoGC使用模塊化設(shè)計，服務(wù)于制造領(lǐng)域的多個場景，實現(xiàn)先進(jìn)人工智能基礎(chǔ)設(shè)施和多元化業(yè)務(wù)場景的融合拓展，讓AI更好地賦能制造行業(yè)。

附錄： 創(chuàng)新奇智已有算法成果對應(yīng)論文。

[1] X. S. Wei, H. Y. Xu, F. Zhang, et al., An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning, NeuralIPS, 2022)

[2] S.L. Xu, F. Zhang, X.S. Wei et al. Dual Attention Networks for few-shot fine-grained recognition, AAAI Conference on Artificial Intelligence(AAAI‘22)

[3] Automatic Check-Out via Prototype-based Classifier Learning from Single-Product Exemplars

— 完 —