2020年3月13—14日,以“促進(jìn)工業(yè)界和學(xué)術(shù)界的對(duì)話”為主題的benchcouncil國(guó)際大數(shù)據(jù)與人工智能線上峰會(huì)正式拉開帷幕。星云clustar 作為代表之一,與來(lái)自、facebook、、、等教育、金融、醫(yī)學(xué)等領(lǐng)域的百余名大數(shù)據(jù)和ai專家共同探討學(xué)術(shù)前沿。

星云clustar 打造聯(lián)邦學(xué)習(xí)的新算力

星云clustar 首席科學(xué)家胡水海博士受邀于會(huì)上發(fā)表了《gpu在聯(lián)邦機(jī)器學(xué)習(xí)中的探索》的主題演講,全面展示了星云clustar 在聯(lián)邦學(xué)習(xí)領(lǐng)域的布局與全新研究成果。

應(yīng)對(duì)聯(lián)邦學(xué)習(xí)難題,星云clustar 的破局之道

在人工智能領(lǐng)域,目前存在比較嚴(yán)重的數(shù)據(jù)孤島問題。雖然每個(gè)公司和機(jī)構(gòu)都有數(shù)據(jù),但大部分是小數(shù)據(jù),難以成勢(shì);加之行業(yè)競(jìng)爭(zhēng)、安全問題等因素,企業(yè)之間不愿意分享數(shù)據(jù);另外,隨著多國(guó)著手出臺(tái)一系列數(shù)據(jù)隱私與安全的法律法規(guī),縱使行業(yè)間愿意交換數(shù)據(jù)也變得難以合規(guī)。這都造成了數(shù)據(jù)以一個(gè)個(gè)孤島的形式存在,相互之間不能連接,數(shù)據(jù)失去流通性。

“聯(lián)邦學(xué)習(xí)”就是同時(shí)可以滿足隱私保護(hù)和數(shù)據(jù)安全的解決方案。聯(lián)邦學(xué)習(xí)采用同態(tài)加密技術(shù),對(duì)數(shù)據(jù)進(jìn)行加密,保證數(shù)據(jù)不泄漏。然而同態(tài)加密的代價(jià)是加密后的數(shù)據(jù)量龐大導(dǎo)致計(jì)算耗時(shí)和通信傳輸延時(shí)。聯(lián)邦學(xué)習(xí)中的部分同態(tài)計(jì)算量是明文計(jì)算量上千倍,且數(shù)據(jù)傳輸總量也比傳統(tǒng)機(jī)器學(xué)習(xí)大100到1000倍。

面對(duì)這些挑戰(zhàn),星云clustar 在聯(lián)邦學(xué)習(xí)中做了革命性的算力突破:

1.優(yōu)化單點(diǎn)計(jì)算:

gpu的并行計(jì)算為深度學(xué)習(xí)開拓了前進(jìn)的道路。然而聯(lián)邦學(xué)習(xí)計(jì)算需進(jìn)一步處理2048-bit的大整數(shù)運(yùn)算、大量的模冪運(yùn)算以及緩存大量中間計(jì)算結(jié)果,此時(shí)gpu表現(xiàn)就不盡人意。

針對(duì)這些技術(shù)挑戰(zhàn),胡水海表示:星云clustar 首先使用分治思想做元素級(jí)并行,通過將大整數(shù)乘法分解成可并行計(jì)算的小整數(shù)乘法,優(yōu)化了運(yùn)算本身;其次,利用平方乘算法和蒙哥馬利算法降低復(fù)雜度并避免取模運(yùn)算;最后,使用中國(guó)剩余定理,減小中間值計(jì)算結(jié)果,避免了更大的顯存緩存中間結(jié)果。

胡水海同時(shí)展示了星云clustar 基于gpu初步優(yōu)化方案,測(cè)試結(jié)果顯示:相對(duì)于傳統(tǒng)服務(wù)器,星云clustar 在聯(lián)邦學(xué)習(xí)復(fù)雜的同態(tài)加密和解密計(jì)算上帶來(lái)了約6倍的加速比;密態(tài)乘法和加法效率上分別提高了30倍和400倍以上。

2.突破通信傳輸瓶頸

聯(lián)邦學(xué)習(xí)通信的兩大場(chǎng)景:一是數(shù)據(jù)中心內(nèi)部不同機(jī)構(gòu)間通信,二是不同機(jī)構(gòu)的數(shù)據(jù)中心跨區(qū)域通信。在這兩大場(chǎng)景下,都需要加速聯(lián)邦學(xué)習(xí)通信,以帶來(lái)模型訓(xùn)練效率的提升。胡水海表示:星云clustar 利用gdr(gpu direct rdma)技術(shù),gpu的數(shù)據(jù)不再經(jīng)過內(nèi)存的多次拷貝,而是直接從gpu移動(dòng)到rdma網(wǎng)卡,然后通過rdma網(wǎng)卡直接發(fā)送到網(wǎng)絡(luò),接受側(cè)也同樣,從而實(shí)現(xiàn)零拷貝的數(shù)據(jù)流目標(biāo)。同時(shí)gdr還可以控制內(nèi)存分配機(jī)制,直接把數(shù)據(jù)分配在允許rdma操作的內(nèi)存上,就能減少數(shù)據(jù)拷貝,進(jìn)一步提升性能。相對(duì)于tcp模式,gdr能提高75%整體訓(xùn)練效率。

星云clustar :助力聯(lián)邦學(xué)習(xí),打造“新”算力礦機(jī)

聯(lián)邦學(xué)習(xí)作為同時(shí)保障安全和隱私的新一代人工智能算法框架,對(duì)于同態(tài)加密后的龐大數(shù)據(jù)量的處理上則需要更強(qiáng)勁的算力作為支撐。星云clustar 推出pai密態(tài)計(jì)算硬件加速卡,能讓數(shù)據(jù)在加密狀態(tài)下進(jìn)行ai模型訓(xùn)練與推理,解決數(shù)據(jù)安全和用戶隱私的合規(guī)挑戰(zhàn)。星云clustar 以領(lǐng)先的聯(lián)邦學(xué)習(xí)、同態(tài)加密等創(chuàng)新性技術(shù),加速有密態(tài)需求的ai場(chǎng)景,致力于打造“ai+隱私”新算力,提供更加高效、更加安全的ai解決方案,為企業(yè)之間數(shù)據(jù)快速流通、互惠共贏的合作方式保駕護(hù)航。未來(lái),星云clustar 將打造新算力時(shí)代領(lǐng)航者,助力聯(lián)邦學(xué)習(xí)在多行業(yè)多應(yīng)用場(chǎng)景下發(fā)揮無(wú)限潛能。

關(guān)于星云clustar

星云clustar 成立于2018年1月,是全球領(lǐng)先的ai算力解決方案提供商,支持通用、密態(tài)ai計(jì)算,致力于將高性能網(wǎng)絡(luò)、聯(lián)邦學(xué)習(xí)等創(chuàng)新性技術(shù)應(yīng)用到人工智能及大數(shù)據(jù)領(lǐng)域。星云clustar 核心團(tuán)隊(duì)來(lái)自香港科技大學(xué)sing lab,其世界領(lǐng)先的學(xué)術(shù)成果為星云clustar 研發(fā)提供支撐,獲得紅杉資本等頂級(jí)機(jī)構(gòu)投資,在北京、深圳和香港都設(shè)有產(chǎn)品和研發(fā)中心,目前團(tuán)隊(duì)規(guī)模100余人,80%以上為產(chǎn)品研發(fā)團(tuán)隊(duì)。

星云clustar 從通用ai市場(chǎng)著手,首先完成aios高性能算力平臺(tái),加速分布式ai訓(xùn)練;于2019年進(jìn)一步打造全新產(chǎn)品線 pai (privacy preserving ai),這是軟硬件一體的高性能ai算力解決方案,包括星云clustar aios高性能通用算力平臺(tái)以及星云clustar 深度安全ai處理器,支持密態(tài)ai場(chǎng)景下從數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練到模型推理的完整解決方案。

（文章為作者獨(dú)立觀點(diǎn)，不代表艾瑞網(wǎng)立場(chǎng)）