關閉

當前位置:首頁?>?手機賺錢 ? 正文

「開什么網店最賺錢」數據不出本地,還能享受大數據訓練模型,聯邦學習提供一種學習新范式

聯邦學習之所以能夠在如此短的時間里迅速由一個構想變為一門學科,主要原因在于聯邦學習技術作為一種學習范式,能夠在確保用戶數據隱私的同時解決“數據孤島”問題。

不過不同于國內主要關注企業之間針對“數據孤島”的聯邦學習,Blaise 等人(或許也在某種程度上代表谷歌)關注更多的則是設備上的聯邦學習,這也是聯邦學習概念被提出之初的應用場景。

「開什么網店最賺錢」數據不出本地,還能享受大數據訓練模型,聯邦學習提供一種學習新范式

1. 提出聯邦學習的初始動力

Blaise五年前加入谷歌后不久,便開始了聯邦學習的研究。直到2017年,當他們取得了一定的成果,才在博文中進行公布。

一開始,聯邦學習只是一個概念,但很快它便被開發成人工智能領域中的一個學科。現在已經有數千篇的文章在討論聯邦學習。在今年12月份在溫哥華舉行的機器學習頂會 NeurIPS上也將會有一個專題專門討論聯邦學習。另一方面,現在也有很多公司也在以此為基礎構建他們的模型。這說明整個人工智能社區已經開始重視這種技術了。

那么為什么聯邦學習能夠如此快速地被整個社區重視呢?

大家應該知道,目前人工智能已經發展到了這樣一個節點:我們希望能夠用少量的數據做更多的工作。這也是當前人工智能的核心話題之一。

神經網絡可以做很多的認知,語言處理、語音合成、圖像識別,甚至還可以下圍棋,這些都能達到人類甚至超越人類的水平,這是過去幾年我們取得的成就。但是目前的神經網絡相比人類還欠缺一點,就是學習的效率,它需要大量的數據進行訓練。所以一些大公司,如谷歌、微軟、亞馬遜等開始提供人工智能服務時需要收集大量的數據,才能去訓練大型神經網絡。這也是一直以來,整個社區所做的事情。

對于設備端(例如手機)的智能應用,通常情況下的模式是,用戶在設備上產生的數據會被上傳到服務器中,然后由部署在服務器上的神經網絡模型根據收集到的大量數據進行訓練得到一個模型,服務商根據這個模型來為用戶提供服務。隨著用戶設備端數據的不斷更新并上傳到服務器,服務器將根據這些更新數據來更新模型。很明顯這是一種集中式的模型訓練方法。

然而這種方式存在幾個問題:1)無法保證用戶的數據隱私,用戶使用設備過程中產生的所有數據都將被服務商所收集;2)難以克服網絡延遲所造成的卡頓,這在需要實時性的服務(例如輸入法)中尤其明顯。

Blaise等人便想,是否可以通過做一個大型的分布式的神經網絡模型訓練框架,讓用戶數據不出本地(在自己的設備中進行訓練)的同時也能獲得相同的服務體驗。

「開什么網店最賺錢」數據不出本地,還能享受大數據訓練模型,聯邦學習提供一種學習新范式

2. 設備上的聯邦學習

解決之道便是:上傳權重,而非數據。

我們知道神經網絡模型是由不同層的神經元之間連接構成的,層與層之間的連接則是通過權重實現的,這些權重決定了神經網絡能夠做什么:一些權重是用來區分貓和狗的;另一組則可以區分桌子和椅子。從視覺識別到音頻處理都是由權重來決定的。神經網絡模型的訓練本質上就是在訓練這些權重。

那么Blaise提出的設備端聯邦學習,不再是讓用戶把數據發送到服務器,然后在服務器上進行模型訓練,而是用戶本地訓練,加密上傳訓練模型(權重),服務器端會綜合成千上萬的用戶模型后再反饋給用戶模型改進方案。

「開什么網店最賺錢」數據不出本地,還能享受大數據訓練模型,聯邦學習提供一種學習新范式

舉例來說,輸入法是典型的智能推薦應用。當人們使用Google鍵盤Gboard給家人朋友發信息的時候,傳統來說你敲擊鍵盤的數據會被上傳到谷歌的服務器,他們通過收集大量數據來訓練一個更加符合用戶習慣的智能推薦。但在應用聯邦學習后,用戶敲擊鍵盤的數據將永遠保留在本地。用戶的手機中有一個不斷更新的模型會根據這些數據進行學習和更新,并將更新的權重加密上傳到服務器。服務器收到大量用戶的模型后,會根據這些模型進行綜合訓練,并反饋給用戶進行模型更新和迭代。

這里或許值得強調,這種在設備端上的模型是經壓縮過的,而非像服務器中那種大型神經網絡模型。因此模型訓練的耗能是非常小的,幾乎檢測不到。此外,Blaise講了一個非常形象的比喻,即人會在睡覺的時候通過做夢來更新自己的大腦認知系統;同樣設備終端的系統也可以通過閑置時進行模型訓練和更新。所以整體上,這并不會對用戶的使用體驗造成任何影響。

上一篇:「兼職在家可做」錢多,賺錢效應點燃入市熱情!罕見,基金主動
下一篇:「怎樣利用網絡賺錢」IIWeekly| 天貓超市成為茅臺電商渠道服務商;知乎打通京東內測「好物推薦」
說點什么吧
  • 全部評論(0
    還沒有評論,快來搶沙發吧!

猜你喜歡


二維碼
jdb龙王捕鱼攻略 五分赛车大小单双图解 股票融资配资 pk10最牛杀号在线计划 半波中特免费公开网站 黑金团队快乐8下载地址 黑马计划软件破解版 pc蛋蛋怎么算 上海天天彩选4最新开奖结果查询 内蒙古11选五遗漏查询 浙江20选5最新开奖结果走势图 江苏快三开奖结果直播 线上配资 广西快三开奖结果每天 深圳福彩什么时候开 股票融资杠杆利息 全天秒速快三计划