谷歌宣布，它在多任務(wù)學(xué)習(xí)方面取得了巨大進(jìn)展:他們創(chuàng)造了一個(gè)可以玩41場(chǎng)雅達(dá)利游戲的AI，采用的新訓(xùn)練方法與其他算法相比，大大提高了訓(xùn)練效率！
之前玩星際的CherryPi和火了的AlphaGo都屬于單場(chǎng)代理也就是說(shuō)，一個(gè)AI只能玩一局在多智能體方面，現(xiàn)有的訓(xùn)練算法屈指可數(shù):主要包括時(shí)間差異學(xué)習(xí)和行為克隆
但是要讓一個(gè)代理學(xué)會(huì)同時(shí)玩多個(gè)游戲，這些方法之前的訓(xùn)練過(guò)程是很漫長(zhǎng)的。
現(xiàn)在，谷歌采用了新的決策變壓器架構(gòu)來(lái)訓(xùn)練代理，可以在少量的新游戲數(shù)據(jù)上進(jìn)行快速微調(diào)，使得訓(xùn)練速度更快而且訓(xùn)練效果也是杠杠的——這種多局代理打41場(chǎng)的綜合得分是DQN等其他多局代理的兩倍左右，甚至比得上只進(jìn)行單局訓(xùn)練的代理
100%代表每個(gè)游戲的平均人類水平，灰條代表單游戲代理，藍(lán)條代表多游戲代理。
讓我們來(lái)看看這款性能出色的多游戲代理。
新決策轉(zhuǎn)換器的三大亮點(diǎn)
這種處理多種游戲?qū)W習(xí)的轉(zhuǎn)換器采用了一種將強(qiáng)化學(xué)習(xí)問(wèn)題視為條件序列建模的框架它根據(jù)agent與環(huán)境過(guò)去的交互以及預(yù)期的收益來(lái)指導(dǎo)agent接下來(lái)的活動(dòng)
說(shuō)到強(qiáng)化學(xué)習(xí)，討論的主要問(wèn)題是:在訓(xùn)練的過(guò)程中，面對(duì)復(fù)雜環(huán)境的agent如何在每個(gè)時(shí)間步感知當(dāng)前的狀態(tài)和獎(jiǎng)勵(lì)來(lái)指導(dǎo)下一步的行動(dòng)，從而最終實(shí)現(xiàn)累積收益的最大化。
傳統(tǒng)的深度RL智能學(xué)習(xí)一個(gè)策略梯度，增加高回報(bào)軌跡的概率，降低低回報(bào)軌跡的概率。
這就導(dǎo)致了一些問(wèn)題:需要手動(dòng)定義一個(gè)標(biāo)量值范圍，信息量很大，包括每個(gè)具體游戲的適當(dāng)信息這是一個(gè)相當(dāng)龐大的項(xiàng)目，擴(kuò)展性很差
為了解決這個(gè)問(wèn)題，谷歌團(tuán)隊(duì)提出了一種新方法。
培訓(xùn)包容性數(shù)據(jù)更加多樣化。
谷歌的新決策Transformer將初級(jí)玩家到高級(jí)玩家的體驗(yàn)數(shù)據(jù)映射到相應(yīng)的收入水平開發(fā)者認(rèn)為，這將使AI模型更全面地理解游戲，從而使其更加穩(wěn)定，提高其游戲水平
根據(jù)培訓(xùn)期間代理人與環(huán)境之間的相互作用，他們建立了一個(gè)利潤(rùn)分配模型這個(gè)代理玩游戲的時(shí)候，只需要加一個(gè)優(yōu)化偏差，就可以增加高獎(jiǎng)勵(lì)的概率
此外，為了更全面地捕捉訓(xùn)練期間智能體與環(huán)境交互的時(shí)空模式，開發(fā)者還將輸入的全局圖像改為像素塊，使模型能夠關(guān)注局部動(dòng)態(tài)，掌握與游戲相關(guān)的更詳細(xì)信息。
決策轉(zhuǎn)換器基本架構(gòu)示意圖
可視化代理培訓(xùn)流程
此外，開發(fā)人員還別出心裁地將代理的行為可視化然后他們發(fā)現(xiàn)，這種多博弈決策智能體總是關(guān)注包含關(guān)鍵環(huán)境特征等重要信息的區(qū)域，它還可以多任務(wù)處理:即同時(shí)關(guān)注多個(gè)關(guān)鍵點(diǎn)
紅色越亮，代理越關(guān)注該像素。
這種多樣化的注意力分配也提高了模型的性能。
更好的擴(kuò)展性。
如今，規(guī)模已經(jīng)成為許多機(jī)器學(xué)習(xí)相關(guān)突破的重要驅(qū)動(dòng)力之一，規(guī)模擴(kuò)張一般是通過(guò)增加變壓器模型中的參數(shù)數(shù)量來(lái)實(shí)現(xiàn)的研究人員發(fā)現(xiàn)，這種多博弈決策變壓器是相似的:伴隨著規(guī)模的擴(kuò)大，其性能較其他模型有顯著提高
臉書也在研究決策轉(zhuǎn)換器。
Google通過(guò)AI使用Decision Transformer，不僅提高了AI玩多游戲的水平，還提高了多游戲代理的可擴(kuò)展性。
此外，根據(jù)谷歌大腦，加州大學(xué)伯克利分校和臉書人工智能研究中心的一篇論文，決策變壓器架構(gòu)在加強(qiáng)學(xué)習(xí)研究平臺(tái)OpenAI Gym和Key—to—Door的任務(wù)方面也表現(xiàn)良好。
也許決策轉(zhuǎn)換器是通用人工智能發(fā)展的關(guān)鍵因素之一。
對(duì)了，Google AI說(shuō)相關(guān)代碼和Checkpoint會(huì)陸續(xù)在GitHub上開源，有興趣的朋友可以去看看~
門戶網(wǎng)站:
參考鏈接:
鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場(chǎng)無(wú)關(guān)。僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。
|
