99.99%準確率！AI數據訓練工具No.1來自中國

蕭簫 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

這年頭，真是什么樣的數據集都有了。

IBM的5億行代碼（bug）數據集、清華&阿里的460萬少樣本NER數據集、還有假貨數據集、“黑話”數據集、小黃圖數據集……咳咳。

沒錯，相比遭遇瓶頸的算法，數據現在成了AI行業的“香餑餑”——

他們發現，當年一個ImageNet走天下，微調AI模型參數就能取得SOTA的時代已經過去。

來自谷歌AI的最新研究表明，要想在細分領域取得更好的模型效果，精準優質的數據十分重要，它在極大程度上決定了AI模型的性能。

例如，谷歌曾經做過一款流感趨勢預測模型，但由于數據質量太差，預測結果甚至偏離了流感峰值的140%。

連斯坦福大學副教授、Coursera聯合創始人吳恩達，也強調數據質量對于AI的重要性：

80%的數據+20%的模型=更好的AI。

真正“有用”的AI模型，離不開數據

一直以來，數據質量對于AI模型的影響程度都在被低估。

隨著大模型如BERT、Alphafold2、GPT-3、DALL·E逐漸成為人工智能產業的潮流，更多的數據也在被“投喂”進各種AI模型中。

數據質量的問題，也因此更加突出。

來自谷歌、蘋果、斯坦福、哈佛等七家頂級機構的一項研究表明，越大的語言模型，隱私泄露風險就越高。

他們用OpenAI的GPT-3模型做了實驗，發現只需要一串“暗號”，就能讓它報出某個人的姓名、電話、住址等隱私信息。

由于AI模型不能完全“消化”數據，只會把訓練數據中的一部分原樣展示出來，導致模型越大，對數據的記憶能力就越強，泄露隱私、輸出虛假信息片段的可能性就越高。

不少大型AI公司，已經開始從根本上解決數據質量問題。

谷歌就已經開始研發數據處理算法，其中的TEKGEN模型，能將數據質量靠譜的知識圖譜轉換成文本數據庫，再用于AI模型的訓練。

而IBM、清華大學、阿里達摩院等國內外研究機構，也開始建立類似代碼bug、假貨、少樣本NER一樣的細分領域數據集。

但這些做法都需要足夠的人力和精力，相比之下，外包/眾包可能是更多AI企業的選擇。然而在這種情況下，又可能獲得不合要求、甚至良莠不齊的數據，質量難以保障。

現在，AI訓練數據處理行業中迸現出一匹黑馬——

一家對AI算法落地有所研究的AI訓練數據服務商，自主研發了一個名為「云測數據標注平臺4.0」的數據處理平臺，直接將數據標注的最高準確率提升到了99.99%。

據云測數據表示，這一平臺使得企業服務成本平均降低了60%以上，至于研發AI項目的效率，則提升了2倍不止。

這樣的標注效率，并非有口無據。在4.0正式版上線前，「云測數據標注平臺」一直是云測數據內部自用的AI訓練數據處理平臺。

正是憑借著這一平臺，結合其高精準數據標注能力和場景化訓練數據方案等實力，云測數據連續兩年在數據標注公司排行榜上奪得TOP 1的位置。

他們的平臺，憑什么拿下行業TOP 1？

憑的是三大技術特點：穩、全、快。

首先，對于目前成熟的標注場景，保證AI輔助標注穩定不出錯。

對于智能數據標注技術來說，目前比較成熟的場景包括OCR（光學字符識別）、語音切割等任務。

以OCR為例，識別準確率是基本要求，更重要的是文字識別的效率：

至于ASR（語音識別）也是基本操作：

當然，如果需要的是TTS（智能轉寫）方面的數據，將一段話迅速轉成拼音也非常easy：

其次，平臺的效率不僅體現在識別速度和準確率上。

「云測數據標注平臺4.0」另一個重要的特性，體現在它的場景全面性上——既能做2D邊界框這種最簡單的標注，也能做業內公認非常難的多端數據融合。

從圖像、文本、語音、音視頻……只有你想不到，沒有平臺做不到的數據類型。

先以進階一點的NLP實體抽取為例。

這項技術的難點在于，必須迅速找出一段長文本中最有用的關鍵信息，過程中不僅涉及大量學術名詞，而且分類的合理性也必須考慮。

在這種情況下，「云測數據標注平臺4.0」對于醫療專業的學術名詞也能輕松處理，且能準確地按照數據要求進行分類：

更重要的是，這一平臺也能做行業公認較難的一項技術——多端數據融合。

這項技術包括多模態融合和多傳感器融合兩種類型，每種類型對于融合算法的要求都非常高。

以這項技術目前應用最廣泛的自動駕駛領域來看，多傳感器融合不僅要將多個傳感器如激光雷達的數據進行融合，使得系統獲取比單一傳感器數據更多的信息，還得確保這一過程的準確率。

例如，一個簡單的框就能將車輛的3D激光點云數據自動識別出來，更重要的是還能做智能貼合：

除此之外，在這些數據中，還涉及語音、圖像、文本等多種模態信息的融合，即使只是圖像信息，也涉及2D和3D數據的融合。

而在實現了傳感器和多模態融合后，也還需要面臨由于傳感器硬件更迭，導致數據類型更新的問題，因此在工程實現時，可擴展性也是考慮因素之一。

最后，也是最重要的，就是對數據標注效率的提升了。

不同的AI模型，所用的數據類型并不一樣，因此在獲取AI訓練數據時，也必須相應地調整標注方式，然而有些方法由于標注效率很低，從而導致成本的提升。

以圖像分割為例，這項技術目前主流的標注方法有兩種：多邊形分割、像素級標注。

其中，多邊形分割是一個成本巨大的標注方式，操作者必須像用PS里的“鋼筆”一樣，一點點地描出目標物體的邊緣形狀，將它與背景分割開來。

如果采用智能多邊形分割的話，往往會出現細節卻需要反復調整的情況，甚至比人工描邊還慢（以某開源平臺的智能標注效果為例）：

相比之下，目前比較先進的標注方法像素級標注，以2D邊界框的簡單操作就能迅速標注出物體的形狀，準確率比多邊形分割要高得多：

然而，并非所有AI圖像分割模型都采用像素級標注的數據訓練。

這就導致在AI模型要求多邊形分割數據時，會出現標注成本極高的情況。

為此，「云測數據標注平臺4.0」背后的程序員們，對多邊形分割進行了優化：以像素級標注的簡單操作，也能標注出多邊形分割的效果，極大地加快了不同類型數據標注的效率。

或許有的人還對數據標注行業有所誤讀。但「云測數據標注平臺」已經用實力證明，做出精準高質量的數據，同樣是一個技術活。

現在，這一平臺的4.0正式版，已經對外商業化使用。

云測數據，行業中的“數據科學家”

自人工智能爆發以來，「云測數據標注平臺」已有近5年的沉淀。

2017年，正值AI技術爆發一年有余，各行業對于數據處理的需求只增不減，隨著AI模型變得越來越多樣化，更多元的數據需求也在被提出。

云測數據能走到如今行業數據質量TOP 1的位置，客戶涉及智能駕駛、智慧金融、智慧城市到智能家居等多個行業，涵蓋計算機視覺、語音識別、自然語言處理、知識圖譜等AI主流技術領域，所做的遠不止把控AI訓練數據的準確率。

數據標注，只是控制AI訓練數據質量中的一環。

事實上，從AI企業提出對應需求的那一刻起，云測數據就開始對質量進行把控了。

接到需求后，云測數據采集團隊需要根據客戶所用的AI算法模型，對所采集的數據進行評估梳理，確定貼合模型訓練的數據采集需求，通過行業首創的數據場景實驗室進行相應的采集。

同時，在數據采集階段，云測數據團隊就會先對采集的數據進行審核清洗。

這一步非常關鍵，許多未經審核清洗就用作標注的數據，可能包含有不適合用作模型訓練的隱私數據、或低質量數據。

對于隱私數據，需要適當對數據進行脫敏化處理；至于低質量數據，則需要對數據進行清洗，確保這批數據適合標注。

至于數據標注和質檢的過程也堪稱嚴苛，云測數據設計了從創建任務、分配任務、標注流轉、到質檢/抽檢環節和最后的驗收等更完善的管理流程，每個環節有相應專業人員來把控數據標注的質量和時間節點，得以在保證質量的前提現下可以真正提高效率。

這意味著，即使AI企業只提供一個模糊需求，云測數據也能通過從采集到標注的一整套流程，將能夠直接使用的AI訓練數據呈現給企業。

因此，要想從根本上控制數據質量，即使是數據行業也得掌握AI算法工程師的技術：

只有理解AI算法的原理，才能明確最適合模型的數據條件和類型，最終交付合適的AI訓練數據。

這幾年時間里，云測數據其實遇見過不少以“一篇AI論文”為需求的數據處理客戶。

尤其是在AI技術爆發初期，許多企業對AI算法有一定了解，但并不清楚應該怎么處理數據，也沒有任何可以用于AI模型訓練的數據資源。

而且隨著自動駕駛、金融、醫療等專業領域開始用上更復雜的AI算法，數據質量開始成為“重點關注對象”，任何一個錯誤的數據，都可能降低模型的準確率。

日新月異的AI算法、和更加復雜的場景，讓一路走過來的云測數據，磨煉出了如今的「云測數據標注平臺4.0」，不僅數據類型全面，而且數據質量高。

接下來，他們還希望能將這個平臺進一步智能化，以迎接接下來的行業挑戰。

云測數據總經理賈宇航表示，這或許最終會演變成一場“質量與效率上的博弈”：

最近，自動駕駛行業很火，我們需要處理的數據也呈現出一個數量級的增長。例如，去年一家企業只需要采集10輛RoboTaxi的數據，今年就增加到了百千輛RoboTaxi。

但我們希望，在保證數據質量不變的情況下，數據處理成本不會呈線性增長，而是利用智能化平臺，讓數據處理的成本更合理、效率更高。

云測數據的真實身份，其實是AI訓練數據行業中的“數據科學家”：

他們的目標，是讓AI行業能真正實現數據驅動。