480萬美國學生被AI監控,每月審查百萬社交媒體和郵件信息,敏感信息當即通知學校
郭一璞 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
前不久,幾家國內企業用計算機視覺,或者腦機接口監控學生上課是否認真的消息刷了屏。
不過,把技術用在監控學生身上,可不是中國企業獨一份的。
在美國,有一家名叫Gaggle的公司,正在用計算機視覺+人工雙重審查的方法,監控學校里的學生們。
或許是盯著學生認真上課這件事在美國沒什么市場,Gaggle的路線和中國公司們不一樣,監控的是潛在的學生安全問題和不良行為,因為美國的校園槍擊案很嚴重。
在美國,因為有了Gaggle公司這個系統,1400所學校的480萬學生被監控,這家公司聲稱他們的系統已經挽救了數百人的生命。
Gaggle的監控方案
Gaggle的監控列表里,潛在的安全隱患包括自殺、校園槍擊案、強奸猥褻、吸毒等。
在美國,自殺是少年兒童死亡的主要原因之一。Gaggle說,在2018~19學年度,他們的系統阻止了722名學生自殺。而這一數字背后,則是系統監控出來的52000次學生提及自殺,其中有6000次相當嚴重,系統立即通知了學校。
此外,校園槍擊案也是一大監控重點。這個系統已經用在了去年發生校園槍擊案的圣達菲(Santa Fe)高中,當時的事件導致8名學生和2名老師死亡。
而具體的監控方式,則是AI+人工。監控內容的入口并非國內常見的攝像頭,而是網絡郵件和社交媒體信息。
Gaggle的系統接入了接入Google G Suite(谷歌全家桶)和Microsoft 365(微軟全家桶),郵件也會被監控,如果學生用學校的郵箱地址注冊了Twitter,Facebook和Instagram,那么這些社交媒體賬戶也會被Gaggle看到。
而Gaggle看到之后,會用先AI后人工的方式來審查。
對于學生們發送內容的文字部分,會和關鍵詞進行對比,而圖片則重點判斷它是否涉黃。
文字關鍵詞分為三個類別,第一列主要是自殺自殘行為的相關詞匯,第二列則是傷害他人的詞匯,第三列是其他詞匯,包含涉黃涉毒等關鍵詞。
△?來自BuzzFeed News
你會看到其中有包含Lesbian、Gay、Queer等LGBTQ類詞匯,Gaggle給出的解釋是監控歧視行為。
而機器檢查是不一定準確的,因此后面還有第二道人工檢查。Gaggle一共有150名人工審查人員,其中125人是“一級安全代表”,24人是“受過培訓的專業安全人員”,材料會先給一級安全代表審查,之后交給受過培訓的專業安全人員,這些人負責將監控到的危險行為通知學校。
一級安全代表的門檻很低,時薪10美元,是遠程外包,不需要什么專業背景。不過工作很輕松,每周只要工作38個小時,這群人每月審核的信息數量超過100萬條。
而受過培訓的專業安全人員們,Gaggle稱這些人擁有法律、心理、通信、衛生管理、教育等專業的學位。
根據監控結果,判斷學生可能進行某種危險行為,根據以下規則來判斷應該采取怎樣的行動,是刪帖,還是聯系學校、學區或者學生。
審查出的結果中,最輕的是“違規”,就是觸犯了上面的關鍵詞,也能是誤報;
再嚴重一級的是“可疑內容”,比如發色情圖片,或者網絡欺凌,這時學校管理員會收到警報;
最嚴重的則被稱作“可能的學生狀況(Possible Student Situation)”,Gaggle說這是對學生安全的直接威脅,比如學生“原創”的色情、暴力、自殺、強奸等內容,出現這種情況,Gaggle會直接把它傳送到美國的國家失蹤與被剝削兒童中心(National Center for Missing and Exploited Children),這是一個美國國會成立的組織,也是相關兒童失蹤等信息的中心數據庫。
不過,如果沒有這么嚴重,Gaggle也會采取行動的。他們遵循美國法律中的“三振出局法”,也就是再一再二不再三,如果一個學生連說三遍“Fuck”,學校管理員就會收到警報,說臟話的學生賬戶權限就會被限制,學生只能去找老師承認錯誤,請求重新開放權限。
1400所學校在用
目前,Gaggle已經用在了1400所學校,共有480萬學生被監控。
Gaggle是直接和美國的學區合作的,目前有17個學區直接合作,這些學區分布在加州、德州、田納西州、印第安納州、俄亥俄州、新澤西州、北卡羅來納州等多個地方。
也就是說,如果學生不想被監控,但是自己所在的整個學區都在監控中,那很難找到一所不受監控的學校了。
不過,雖然是跟學區合作,費用卻是要學校掏,Gaggle在一所學校收費超過6萬美元。
引來非議
雖然是從學生安全出發的產品,但Gaggle還是受到了很多批評。
一名Gaggle監控之下的學生說,他現在對別人看自己的信息已經習以為常了。
也有人認為這種監控不合法,學生應該享有隱私權。
也有人質疑,擔心Gaggle這家公司不會好好處理這些收集上來的信息,萬一賣到別處去就麻煩了。
甚至,一位加州議會候選人還公開表示反對,說如果自己當選就終結掉這種“專橫的政府行為”。
最后,你怎么看待這種用在學校的技術+人工監控方式?
- MEET2020 | 百度景鯤:AI交互正在吃掉舊產品邊界,觸達移動互聯網盲區用戶2019-12-10
- MEET2020 | 王硯峰揭秘搜狗AI技術體系:自然交互在左,知識計算在右,核心是語言2019-12-16
- MEET2020 | 曠視唐文斌:你到底給誰創造了什么樣的價值?這是AI產品的靈魂拷問2019-12-17
- MEET2020 | 快手劉霽:AI基礎能力決定每個公司AI的迭代和落地效率2019-12-20




