480萬(wàn)美國(guó)學(xué)生被AI監(jiān)控，每月審查百萬(wàn)社交媒體和郵件信息，敏感信息當(dāng)即通知學(xué)校
郭一璞 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
前不久，幾家國(guó)內(nèi)企業(yè)用計(jì)算機(jī)視覺(jué)，或者腦機(jī)接口監(jiān)控學(xué)生上課是否認(rèn)真的消息刷了屏。
不過(guò)，把技術(shù)用在監(jiān)控學(xué)生身上，可不是中國(guó)企業(yè)獨(dú)一份的。
在美國(guó)，有一家名叫Gaggle的公司，正在用計(jì)算機(jī)視覺(jué)+人工雙重審查的方法，監(jiān)控學(xué)校里的學(xué)生們。
或許是盯著學(xué)生認(rèn)真上課這件事在美國(guó)沒(méi)什么市場(chǎng)，Gaggle的路線和中國(guó)公司們不一樣，監(jiān)控的是潛在的學(xué)生安全問(wèn)題和不良行為，因?yàn)槊绹?guó)的校園槍擊案很?chē)?yán)重。
在美國(guó)，因?yàn)橛辛薌aggle公司這個(gè)系統(tǒng)，1400所學(xué)校的480萬(wàn)學(xué)生被監(jiān)控，這家公司聲稱(chēng)他們的系統(tǒng)已經(jīng)挽救了數(shù)百人的生命。
Gaggle的監(jiān)控方案
Gaggle的監(jiān)控列表里，潛在的安全隱患包括自殺、校園槍擊案、強(qiáng)奸猥褻、吸毒等。
在美國(guó)，自殺是少年兒童死亡的主要原因之一。Gaggle說(shuō)，在2018~19學(xué)年度，他們的系統(tǒng)阻止了722名學(xué)生自殺。而這一數(shù)字背后，則是系統(tǒng)監(jiān)控出來(lái)的52000次學(xué)生提及自殺，其中有6000次相當(dāng)嚴(yán)重，系統(tǒng)立即通知了學(xué)校。
此外，校園槍擊案也是一大監(jiān)控重點(diǎn)。這個(gè)系統(tǒng)已經(jīng)用在了去年發(fā)生校園槍擊案的圣達(dá)菲（Santa Fe）高中，當(dāng)時(shí)的事件導(dǎo)致8名學(xué)生和2名老師死亡。
而具體的監(jiān)控方式，則是AI+人工。監(jiān)控內(nèi)容的入口并非國(guó)內(nèi)常見(jiàn)的攝像頭，而是網(wǎng)絡(luò)郵件和社交媒體信息。
Gaggle的系統(tǒng)接入了接入Google G Suite（谷歌全家桶）和Microsoft 365（微軟全家桶），郵件也會(huì)被監(jiān)控，如果學(xué)生用學(xué)校的郵箱地址注冊(cè)了Twitter，F(xiàn)acebook和Instagram，那么這些社交媒體賬戶也會(huì)被Gaggle看到。
而Gaggle看到之后，會(huì)用先AI后人工的方式來(lái)審查。
對(duì)于學(xué)生們發(fā)送內(nèi)容的文字部分，會(huì)和關(guān)鍵詞進(jìn)行對(duì)比，而圖片則重點(diǎn)判斷它是否涉黃。
文字關(guān)鍵詞分為三個(gè)類(lèi)別，第一列主要是自殺自殘行為的相關(guān)詞匯，第二列則是傷害他人的詞匯，第三列是其他詞匯，包含涉黃涉毒等關(guān)鍵詞。
△?來(lái)自BuzzFeed News
你會(huì)看到其中有包含Lesbian、Gay、Queer等LGBTQ類(lèi)詞匯，Gaggle給出的解釋是監(jiān)控歧視行為。
而機(jī)器檢查是不一定準(zhǔn)確的，因此后面還有第二道人工檢查。Gaggle一共有150名人工審查人員，其中125人是“一級(jí)安全代表”，24人是“受過(guò)培訓(xùn)的專(zhuān)業(yè)安全人員”，材料會(huì)先給一級(jí)安全代表審查，之后交給受過(guò)培訓(xùn)的專(zhuān)業(yè)安全人員，這些人負(fù)責(zé)將監(jiān)控到的危險(xiǎn)行為通知學(xué)校。
一級(jí)安全代表的門(mén)檻很低，時(shí)薪10美元，是遠(yuǎn)程外包，不需要什么專(zhuān)業(yè)背景。不過(guò)工作很輕松，每周只要工作38個(gè)小時(shí)，這群人每月審核的信息數(shù)量超過(guò)100萬(wàn)條。
而受過(guò)培訓(xùn)的專(zhuān)業(yè)安全人員們，Gaggle稱(chēng)這些人擁有法律、心理、通信、衛(wèi)生管理、教育等專(zhuān)業(yè)的學(xué)位。
根據(jù)監(jiān)控結(jié)果，判斷學(xué)生可能進(jìn)行某種危險(xiǎn)行為，根據(jù)以下規(guī)則來(lái)判斷應(yīng)該采取怎樣的行動(dòng)，是刪帖，還是聯(lián)系學(xué)校、學(xué)區(qū)或者學(xué)生。
審查出的結(jié)果中，最輕的是“違規(guī)”，就是觸犯了上面的關(guān)鍵詞，也能是誤報(bào)；
再?lài)?yán)重一級(jí)的是“可疑內(nèi)容”，比如發(fā)色情圖片，或者網(wǎng)絡(luò)欺凌，這時(shí)學(xué)校管理員會(huì)收到警報(bào)；
最嚴(yán)重的則被稱(chēng)作“可能的學(xué)生狀況（Possible Student Situation）”，Gaggle說(shuō)這是對(duì)學(xué)生安全的直接威脅，比如學(xué)生“原創(chuàng)”的色情、暴力、自殺、強(qiáng)奸等內(nèi)容，出現(xiàn)這種情況，Gaggle會(huì)直接把它傳送到美國(guó)的國(guó)家失蹤與被剝削兒童中心（National Center for Missing and Exploited Children），這是一個(gè)美國(guó)國(guó)會(huì)成立的組織，也是相關(guān)兒童失蹤等信息的中心數(shù)據(jù)庫(kù)。
不過(guò)，如果沒(méi)有這么嚴(yán)重，Gaggle也會(huì)采取行動(dòng)的。他們遵循美國(guó)法律中的“三振出局法”，也就是再一再二不再三，如果一個(gè)學(xué)生連說(shuō)三遍“Fuck”，學(xué)校管理員就會(huì)收到警報(bào)，說(shuō)臟話的學(xué)生賬戶權(quán)限就會(huì)被限制，學(xué)生只能去找老師承認(rèn)錯(cuò)誤，請(qǐng)求重新開(kāi)放權(quán)限。
1400所學(xué)校在用
目前，Gaggle已經(jīng)用在了1400所學(xué)校，共有480萬(wàn)學(xué)生被監(jiān)控。
Gaggle是直接和美國(guó)的學(xué)區(qū)合作的，目前有17個(gè)學(xué)區(qū)直接合作，這些學(xué)區(qū)分布在加州、德州、田納西州、印第安納州、俄亥俄州、新澤西州、北卡羅來(lái)納州等多個(gè)地方。
也就是說(shuō)，如果學(xué)生不想被監(jiān)控，但是自己所在的整個(gè)學(xué)區(qū)都在監(jiān)控中，那很難找到一所不受監(jiān)控的學(xué)校了。
不過(guò)，雖然是跟學(xué)區(qū)合作，費(fèi)用卻是要學(xué)校掏，Gaggle在一所學(xué)校收費(fèi)超過(guò)6萬(wàn)美元。
引來(lái)非議
雖然是從學(xué)生安全出發(fā)的產(chǎn)品，但Gaggle還是受到了很多批評(píng)。
一名Gaggle監(jiān)控之下的學(xué)生說(shuō)，他現(xiàn)在對(duì)別人看自己的信息已經(jīng)習(xí)以為常了。
也有人認(rèn)為這種監(jiān)控不合法，學(xué)生應(yīng)該享有隱私權(quán)。
也有人質(zhì)疑，擔(dān)心Gaggle這家公司不會(huì)好好處理這些收集上來(lái)的信息，萬(wàn)一賣(mài)到別處去就麻煩了。
甚至，一位加州議會(huì)候選人還公開(kāi)表示反對(duì)，說(shuō)如果自己當(dāng)選就終結(jié)掉這種“專(zhuān)橫的政府行為”。
最后，你怎么看待這種用在學(xué)校的技術(shù)+人工監(jiān)控方式？
