480萬美國學生被AI監控，每月審查百萬社交媒體和郵件信息，敏感信息當即通知學校

郭一璞 2019-11-02 13:49:16 來源：量子位

郭一璞 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

前不久，幾家國內企業用計算機視覺，或者腦機接口監控學生上課是否認真的消息刷了屏。

不過，把技術用在監控學生身上，可不是中國企業獨一份的。

在美國，有一家名叫Gaggle的公司，正在用計算機視覺+人工雙重審查的方法，監控學校里的學生們。

或許是盯著學生認真上課這件事在美國沒什么市場，Gaggle的路線和中國公司們不一樣，監控的是潛在的學生安全問題和不良行為，因為美國的校園槍擊案很嚴重。

在美國，因為有了Gaggle公司這個系統，1400所學校的480萬學生被監控，這家公司聲稱他們的系統已經挽救了數百人的生命。

Gaggle的監控方案

Gaggle的監控列表里，潛在的安全隱患包括自殺、校園槍擊案、強奸猥褻、吸毒等。

在美國，自殺是少年兒童死亡的主要原因之一。Gaggle說，在2018~19學年度，他們的系統阻止了722名學生自殺。而這一數字背后，則是系統監控出來的52000次學生提及自殺，其中有6000次相當嚴重，系統立即通知了學校。

此外，校園槍擊案也是一大監控重點。這個系統已經用在了去年發生校園槍擊案的圣達菲（Santa Fe）高中，當時的事件導致8名學生和2名老師死亡。

而具體的監控方式，則是AI+人工。監控內容的入口并非國內常見的攝像頭，而是網絡郵件和社交媒體信息。

Gaggle的系統接入了接入Google G Suite（谷歌全家桶）和Microsoft 365（微軟全家桶），郵件也會被監控，如果學生用學校的郵箱地址注冊了Twitter，Facebook和Instagram，那么這些社交媒體賬戶也會被Gaggle看到。

而Gaggle看到之后，會用先AI后人工的方式來審查。

對于學生們發送內容的文字部分，會和關鍵詞進行對比，而圖片則重點判斷它是否涉黃。

文字關鍵詞分為三個類別，第一列主要是自殺自殘行為的相關詞匯，第二列則是傷害他人的詞匯，第三列是其他詞匯，包含涉黃涉毒等關鍵詞。

△?來自BuzzFeed News

你會看到其中有包含Lesbian、Gay、Queer等LGBTQ類詞匯，Gaggle給出的解釋是監控歧視行為。

而機器檢查是不一定準確的，因此后面還有第二道人工檢查。Gaggle一共有150名人工審查人員，其中125人是“一級安全代表”，24人是“受過培訓的專業安全人員”，材料會先給一級安全代表審查，之后交給受過培訓的專業安全人員，這些人負責將監控到的危險行為通知學校。

一級安全代表的門檻很低，時薪10美元，是遠程外包，不需要什么專業背景。不過工作很輕松，每周只要工作38個小時，這群人每月審核的信息數量超過100萬條。

而受過培訓的專業安全人員們，Gaggle稱這些人擁有法律、心理、通信、衛生管理、教育等專業的學位。

根據監控結果，判斷學生可能進行某種危險行為，根據以下規則來判斷應該采取怎樣的行動，是刪帖，還是聯系學校、學區或者學生。

審查出的結果中，最輕的是“違規”，就是觸犯了上面的關鍵詞，也能是誤報；

再嚴重一級的是“可疑內容”，比如發色情圖片，或者網絡欺凌，這時學校管理員會收到警報；

最嚴重的則被稱作“可能的學生狀況（Possible Student Situation）”，Gaggle說這是對學生安全的直接威脅，比如學生“原創”的色情、暴力、自殺、強奸等內容，出現這種情況，Gaggle會直接把它傳送到美國的國家失蹤與被剝削兒童中心（National Center for Missing and Exploited Children），這是一個美國國會成立的組織，也是相關兒童失蹤等信息的中心數據庫。

不過，如果沒有這么嚴重，Gaggle也會采取行動的。他們遵循美國法律中的“三振出局法”，也就是再一再二不再三，如果一個學生連說三遍“Fuck”，學校管理員就會收到警報，說臟話的學生賬戶權限就會被限制，學生只能去找老師承認錯誤，請求重新開放權限。

1400所學校在用

目前，Gaggle已經用在了1400所學校，共有480萬學生被監控。

Gaggle是直接和美國的學區合作的，目前有17個學區直接合作，這些學區分布在加州、德州、田納西州、印第安納州、俄亥俄州、新澤西州、北卡羅來納州等多個地方。

也就是說，如果學生不想被監控，但是自己所在的整個學區都在監控中，那很難找到一所不受監控的學校了。

不過，雖然是跟學區合作，費用卻是要學校掏，Gaggle在一所學校收費超過6萬美元。

引來非議

雖然是從學生安全出發的產品，但Gaggle還是受到了很多批評。

一名Gaggle監控之下的學生說，他現在對別人看自己的信息已經習以為常了。

也有人認為這種監控不合法，學生應該享有隱私權。

也有人質疑，擔心Gaggle這家公司不會好好處理這些收集上來的信息，萬一賣到別處去就麻煩了。

甚至，一位加州議會候選人還公開表示反對，說如果自己當選就終結掉這種“專橫的政府行為”。

最后，你怎么看待這種用在學校的技術+人工監控方式？