從小樣本學習到AIGC，創新奇智持續探索AI工業視覺落地實踐

量子位的朋友們 2023-03-24 18:05:21 來源：量子位

“AI 已經來到從 1.0 邁入 2.0 的拐點。ChatGPT快速普及將進一步引爆 AI 2.0 商業化。 AI 2.0 將是提升 21 世紀整體社會生產力最為重要的賦能技術，是絕對不能錯過的一次革命。”

數天前，創新工場董事長兼CEO、創新奇智董事長李開復發表主題為“AI 1.0 到 AI 2.0 的新機遇”演講。他認為 AI 1.0 是以卷積神經網絡（CNN）模型為核心的計算機視覺技術，拉開 AI 感知智能時代的序幕，但AI 1.0 也遇到了瓶頸，大多數行業想利用 AI，需要花費巨大的成本來收集和標注數據。AI 2.0 的巨大躍遷在于克服了 AI 1.0 單領域、多模型的限制，可以用無需人工標注的超級海量數據去訓練一個具有跨領域知識的基礎大模型，通過微調等方式適配和執行五花八門的任務，應用于 AIGC 各類場景。

創新奇智是誕生于AI1.0時代專注“AI+制造”的企業級AI產品及解決方案供應商，在工業視覺領域研發了很多突破性技術，尤其在小樣本學習領域形成自己的技術特色。進入AI2.0時代，創新奇智基于小樣本學習技術和 AI數據生成技術，通過對已有樣本的學習，源源不斷地產生新樣本，從而大幅提升了工業領域樣本信息不足情況下模型的精度。

在工業視覺領域，訓練樣本不足一直是制約人工智能算法應用的瓶頸之一。一方面，工業生產是一個多因素耦和的復雜過程，生產中的任何異常都會影響產品質量，而且生產過程的復雜性也將導致產品缺陷種類繁多，缺陷的表現形態也千差萬別。另一方面，隨著產線自動化的提升，生產中出現缺陷品的概率大幅降低，從而導致在工業視覺領域，要收集到充足的缺陷樣品非常耗時。

據創新奇智CTO張發恩介紹，針對樣本不足問題，業界常用的解決方法有兩類，一類是研究小樣本學習算法，通過從大量可用數據中學習到的普遍規律，再利用學習到的數據，使用少量目標場景的數據進行學習，完成到新場景的遷移。另一類方法是數據生成，利用算法產生數據來擴充訓練樣本。創新奇智將基礎算法與行業場景相結合，進行技術突破和創新，從多個維度解決工業視覺中樣本不足的問題。

小樣本學習，AI工業視覺落地的必由之路

海通國際分析師曾指出，小樣本學習相當符合人類的思維推理模式，是實現類人人工智能的必由之路。小樣本學習算法的性價比最優，不需要大量數據的標注準備，極大降低了數據標注、算力以及AI 交付的工程化成本，對AI 應用普惠化起到了至關重要的作用。工業視覺檢測是小樣本學習的典型應用場景。

創新奇智深入小樣本學習算法的研究，打造涵蓋數據標注、算法應用到跨領域遷移的全系列小樣本學習算法，建立AI工業視覺領域的技術領先優勢。

工業視覺領域的數據標注，一般需要比較強的領域知識，標注成本高，周期長。標注數據的不足，增加了人工智能模型的訓練難度，延長了訓練周期。針對這一問題，創新奇智提出基于反標簽學習的半監督圖像分類算法[1]，設計反標簽學習模塊，通過給無標簽圖像數據標注反標簽并進行學習的方式，可以高質量地利用無標簽圖像進行學習，降低了工業領域人工智能算法應用對標注數據的依賴，縮短算法研發周期，節約了算法開發成本。

反標簽學習流程示意圖

工業視覺領域的算法應用，不光訓練樣本少，識別的粒度往往還要求比較細，可謂是巧婦難為無米之炊。如何在有限的訓練數據中實現細小且有辨識度的部件級模式，一直是困擾算法工程師的一個難題。創新奇智提出基于雙注意力機制的少樣本學習[2]，使用兩個注意力流分別得到部件級別的關鍵信息和全局聚合信息，不僅對細粒度圖像識別提供了新的部件級信息，也補充了對細粒度圖像識別有用的微妙全局信息。

基于雙注意力機制的少樣本細粒度圖像識別框架

工業視覺面臨的另外一個問題是產品批次更換頻繁。例如汽車零部件制造、消費電子設備等行業，產品會周期性更換批次，更換批次后，都會導致測試樣本與訓練樣本存在較大的差異，因此如何基于少樣本快速進行跨領域遷移也是影響工業視覺實際應用的重要難題。針對這一問題，創新奇智提出基于原型的分類器學習方法[3]，通過從單品示例中獲取每個物品集合類別的原型表示，彌合訓練數據與測試數據間的領域差異。該算法可以應用有批量產品檢測需求的場景，加快檢測算法的適配，提升檢測準確率。

基于原型的分類器學習方法

從小樣本學習到AIGC，創新奇智打造AInnoGC布局AI2.0時代

如果說小樣本學習是“刪繁就簡”，對模型和學習方式進行改進，使其適應小樣本訓練；那么樣本生成就是“推陳出新”，通過已有樣本，學習生成模型，從而可以源源不斷產生新樣本。

2022年底，OpenAI推出的ChatGPT證明了內容生成（AIGC）的巨大潛力，創新奇智在小樣本學習的基礎上，進一步聚合以往在內容生成領域的研發成果，將圖像生成與工業場景的獨特需求相結合，打造面向工業視覺的AICG算法。

與一般性的圖像生成主要表現為圖像上較為宏觀的語義改變不同，工業視覺缺陷主要體現為樣本圖像上細微的局部缺陷紋理變化，語義信息低。此外，生成的缺陷紋理不僅要有自然的主觀視覺感受，還需要是物理上真實的，缺陷的形態要符合樣本本身的物理和光學特性。傳統的圖像生成算法一般只能做到視覺真實，無法兼顧物理真實。針對這一問題，創新奇智結合將物理模型融入AIGC模型的構建，提出基于光學成像模擬的光照生成模型和基于雙階段引導的缺陷生成模型，從而可以模擬樣本在不同光照狀態下的缺陷圖像。

創新奇智的光照生成模型分為兩個部分：第一部分為分解網絡，將圖像中的光照信息與表示內容的語義信息相分離，通過在自研的材質光影數據庫上進行訓練，我們會獲得不同材質的樣本在不同光照條件下的光照原型。第二部分是重光照網絡，通過將對應的光照原型與樣本的語義信息相融合，可以獲得樣本在不同光照條件下的圖像。

基于雙階段引導的缺陷生層模型，分別使用基于專家知識的文本引導生成局部缺陷，而后再以第一階段生成的局部缺陷圖作為引導，將缺陷融合到樣本的指定區域。兩階段缺陷樣本生成模型逐步聚焦局部缺陷樣例和全局圖像融合，可以有效地兼顧工業視覺領域缺陷樣本生成的物理真實和視覺真實的要求。

基于AInnoGC的缺陷樣本生成框架

結合上述兩個模型，創新奇智可以生成樣本在不同光照條件下的缺陷圖像，從而可以有效地擴充訓練樣本庫，解決工業視覺領域缺陷樣本不足的問題，提升工業預訓練大模型的訓練效果。

基于上述研發成果，創新奇智研發面向行業的AIGC解決方案-AInnoGC。AInnoGC使用模塊化設計，服務于制造領域的多個場景，實現先進人工智能基礎設施和多元化業務場景的融合拓展，讓AI更好地賦能制造行業。

附錄： 創新奇智已有算法成果對應論文。

[1] X. S. Wei, H. Y. Xu, F. Zhang, et al., An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning, NeuralIPS, 2022)

[2] S.L. Xu, F. Zhang, X.S. Wei et al. Dual Attention Networks for few-shot fine-grained recognition, AAAI Conference on Artificial Intelligence(AAAI‘22)

[3] Automatic Check-Out via Prototype-based Classifier Learning from Single-Product Exemplars

— 完 —