刪過幾十億個(gè)賬號(hào)，facebook的人工智能是怎么培養(yǎng)出來的？

2020-03-14 21:00來源:

原標(biāo)題：刪過幾十億個(gè)賬號(hào)，facebook的人工智能是怎么培養(yǎng)出來的？

對(duì)于facebook而言，如何監(jiān)督管理這個(gè)龐大的社交網(wǎng)絡(luò)已日益成為一個(gè)關(guān)乎生死存亡的問題。

facebook揭開了一項(xiàng)關(guān)鍵性技術(shù)的面紗，這項(xiàng)技術(shù)可以幫助facebook應(yīng)對(duì)最艱巨的挑戰(zhàn)：清除用于垃圾廣告宣傳、虛假信息傳播等各種活動(dòng)的虛假賬戶。

周三，這家互聯(lián)網(wǎng)媒體巨頭透露了一些細(xì)節(jié)，解釋它如何設(shè)計(jì)出一個(gè)人工智能系統(tǒng)，加以訓(xùn)練，讓它能自動(dòng)準(zhǔn)確檢測(cè)違反網(wǎng)站政策的賬戶。

隨著在世界各地面臨的監(jiān)管壓力不斷增大，對(duì)于facebook而言，如何監(jiān)督管理這個(gè)龐大的社交網(wǎng)絡(luò)已日益成為一個(gè)關(guān)乎生死存亡的問題。社交網(wǎng)絡(luò)在方方面面起到的作用越來越重要，這讓公眾和立法者都感到措手不及，尤其對(duì)平臺(tái)上的仇恨言論、網(wǎng)絡(luò)霸凌、網(wǎng)絡(luò)釣魚和金融欺詐行為擔(dān)憂。

五年前，facebook主要依靠用戶向人工審核員舉報(bào)來處理違規(guī)賬戶。但facebook需要處理的問題賬戶數(shù)目巨大：根據(jù)該公司最近一次公布的數(shù)據(jù)，2019年第三季度，facebook屏蔽了約17億個(gè)違規(guī)賬戶。facebook社區(qū)誠信團(tuán)隊(duì)的數(shù)據(jù)科學(xué)經(jīng)理博克拉·加爾鮑伊說，這還不包括一開始申請(qǐng)時(shí)就被facebook禁止創(chuàng)建的賬戶。facebook估計(jì)，任何時(shí)段的活躍賬戶中都有5%是假的。

依靠人工審查也會(huì)產(chǎn)生其他問題。facebook雇傭合同工來審查可疑內(nèi)容和行為，但這些合同工通常收入微薄，而且由于經(jīng)常接觸令人不安的帖子、圖片和視頻，他們的精神健康很容易出現(xiàn)問題。

2018年，facebook的創(chuàng)始人兼首席執(zhí)行官馬克·扎克伯格告訴美國國會(huì)議員，該公司可以利用人工智能處理大量有問題的內(nèi)容。但直到最近，公司的研究人員和工程師才開始取得進(jìn)展。

該公司表示，得益于人工智能的幫助，2019年第三季度，facebook屏蔽的虛假賬戶中，有99.7%的賬戶在其他用戶向人工審查小組舉報(bào)之前，就已經(jīng)得到了處理。

在此過程中，facebook遇到了一個(gè)棘手的問題：它希望能夠抓住并阻止所有違反網(wǎng)站政策的行為，處理每一個(gè)虛假賬戶，同時(shí)保證不會(huì)在無意中屏蔽合法用戶。但是，如果它檢測(cè)違規(guī)行為、采取行動(dòng)的標(biāo)準(zhǔn)過于寬松，會(huì)導(dǎo)致合法用戶成為受害者，而公司可能會(huì)置身于另外一場公關(guān)災(zāi)難的中心。

加爾鮑伊說，誤傷和漏網(wǎng)都要盡量減少?！斑@個(gè)權(quán)衡非常難?！彼f。

facebook社區(qū)誠信團(tuán)隊(duì)的產(chǎn)品經(jīng)理布拉德·沙特爾沃思解釋說，另外一個(gè)原因是，騙子們總是在嘗試找辦法繞過facebook的防御。

facebook研發(fā)的這項(xiàng)機(jī)器學(xué)習(xí)技術(shù)被稱為“深度實(shí)體分類”，或簡稱為dec，其他有需要的公司也可以拿來使用，比如社交網(wǎng)絡(luò)同行、即時(shí)通訊應(yīng)用程序公司或游戲公司，丹尼爾·伯恩哈特說。他是facebook倫敦社區(qū)誠信團(tuán)隊(duì)的工程經(jīng)理，參與了開發(fā)該系統(tǒng)。該公司正在公開dec的總體架構(gòu)和它的訓(xùn)練細(xì)節(jié)，但沒有把訓(xùn)練過的模型提供給其他公司。

dec依賴于一些聰明的想法和工程技術(shù)。首先，facebook意識(shí)到，通過讓算法審查標(biāo)準(zhǔn)賬號(hào)的特點(diǎn)（如創(chuàng)建賬號(hào)的ip地址、賬戶的年齡、頁面上收獲點(diǎn)贊的數(shù)量、有多少關(guān)聯(lián)賬戶等）來達(dá)到訓(xùn)練效果，會(huì)導(dǎo)致篩查模型對(duì)于圖謀不軌的人太過簡單，或者造成過多誤傷。

facebook的解決方案是，不孤立地審查每一個(gè)賬戶，而是把它置于所鏈接到的所有賬戶和頁面中組成的環(huán)境中，延伸到二度分離。然后向系統(tǒng)提供聚合指標(biāo)，比如全部一級(jí)和二級(jí)連接好友數(shù)量的中位數(shù)，而非單個(gè)賬戶的“點(diǎn)贊”或“好友”等表面特征。（這些指標(biāo)本身并不能說明一個(gè)賬戶是否合法。它們只是一種方法，可以大大增加模型分析的指標(biāo)數(shù)量，從而構(gòu)建一個(gè)更詳細(xì)的賬戶統(tǒng)計(jì)圖。）facebook稱這些數(shù)據(jù)為“深度特征”，對(duì)于惡意行為者來說，調(diào)整這些數(shù)據(jù)更加困難，從而大大降低了誤傷或漏網(wǎng)的數(shù)量。

盡管facebook規(guī)模龐大，又雇了成千上萬名人工審查員，但facebook仍然表示，要想創(chuàng)建高質(zhì)量、經(jīng)人工標(biāo)注的大規(guī)模數(shù)據(jù)庫來訓(xùn)練人工智能算法，確保它能夠按照facebook要求的99%以上的準(zhǔn)確率檢測(cè)每種違規(guī)類型（如假賬戶、垃圾郵件發(fā)送者、金融詐騙犯或被盜賬戶），仍然極其昂貴耗時(shí)。

所以facebook第二個(gè)聰明的地方是使用一個(gè)高質(zhì)量的、人工標(biāo)注的小型數(shù)據(jù)集（通常小到不適合用于訓(xùn)練高準(zhǔn)確度深度學(xué)習(xí)算法），再加上一個(gè)更大的、電腦標(biāo)注、準(zhǔn)確性略低的數(shù)據(jù)集對(duì)前者進(jìn)行優(yōu)化。這一點(diǎn)通過將系統(tǒng)劃分為兩個(gè)單獨(dú)的模塊來實(shí)現(xiàn)。

在第一個(gè)模塊中，facebook先將擁有單個(gè)賬號(hào)深度特征的數(shù)據(jù)集在多層神經(jīng)網(wǎng)絡(luò)上運(yùn)行，多層神經(jīng)網(wǎng)絡(luò)是一種基于人腦的機(jī)器學(xué)習(xí)軟件。在這種情況下，算法必須了解哪種深度特征的范式與哪種類型的賬戶相關(guān)：是普通賬戶、垃圾郵件賬戶還是釣魚賬戶？為了做到這一點(diǎn)，它還需要參照內(nèi)含500萬個(gè)虛假賬戶的海量培訓(xùn)樣本，這些賬戶已經(jīng)被現(xiàn)有各類不同軟件進(jìn)行了粗略標(biāo)注。

facebook從中提取每種賬戶類型的統(tǒng)計(jì)范式，然后將其輸入第二個(gè)模塊，利用另一種稱為梯度提升決策樹的機(jī)器學(xué)習(xí)算法，按類別——垃圾郵件、假賬戶、釣魚、霸凌等——給賬戶打分，但使用的是一組規(guī)模較小、高質(zhì)量、人工標(biāo)注的訓(xùn)練數(shù)據(jù)。（以虛假賬戶為例，約有10萬個(gè)人工標(biāo)注的樣本。）評(píng)分結(jié)果將決定facebook是否以及將對(duì)該賬戶采取什么行動(dòng)。

最終，該系統(tǒng)在賬戶分類上的準(zhǔn)確率達(dá)到97%以上，遠(yuǎn)遠(yuǎn)優(yōu)于其他方法。

編輯 ∑gemini

來源：財(cái)富