事實證明，大腦中的神經(jīng)系統(tǒng)有能力改變其結(jié)構(gòu)，以適應外部環(huán)境的變化大腦中突觸和神經(jīng)元之間的聯(lián)系，在學習和經(jīng)驗的影響下，可以建立新的聯(lián)系
因此，感官替代的天賦也存在于人類技能樹中例如，一些天生失明的人可以通過將圖像轉(zhuǎn)換成聲音來學習感知人體輪廓形狀的能力
如果人工智能有這種能力，它也可以像蝙蝠和海豚一樣用耳朵通過聲音和回聲進行交流參見我們周圍的世界
最近，一篇來自谷歌大腦的題為作為變壓器的感覺神經(jīng)元:用于強化學習的排列不變神經(jīng)網(wǎng)絡:本文證明了強化學習具有這一特點，感官替代能力
此外，即使輸入序列在一個事件中隨機排列了幾次，系統(tǒng)仍然可以執(zhí)行其任務。
1.認證過程
現(xiàn)代深度學習系統(tǒng)通常不能適應感覺輸入的隨機重新排序，除非模型被重新訓練或者用戶為模型校正輸入順序可是，元學習技術(shù)可以幫助模型適應這種變化例如自適應權(quán)重，Hebbian學習和基于模型的方法
在本地接收信息的同時，這些獨立的感覺神經(jīng)網(wǎng)絡模塊也在不斷地廣播和輸出信息參照Set Transformer架構(gòu)，一種注意力機制將這些信息組合成一個全局潛在代碼，然后將其轉(zhuǎn)換成代理的動作空間注意機制可以看作是神經(jīng)網(wǎng)絡自適應加權(quán)的一種形式在這種情況下，它允許以任何隨機順序處理任何數(shù)量的感官輸入
如上所示，即使以重新排列的順序給了pong agent一小部分屏幕，它也可以繼續(xù)工作。
另一方面，鼓勵系統(tǒng)學習的被替換的觀察空間的一致表示將使政策更加穩(wěn)健和更加一般化研究表明，即使添加了含有噪聲或冗余信息的其他輸入通道，系統(tǒng)也可以繼續(xù)運行，而無需額外的訓練在視覺環(huán)境中，即使只給它從屏幕中隨機選擇的少量塊，當它被測試時，如果給它更多的塊，系統(tǒng)可以使用額外的信息來更好地執(zhí)行
注釋:方法概述。
上圖中的AttentionNeuron是一個獨立的層，其中每個感覺神經(jīng)元只能訪問亂觀察一部分結(jié)合智能體之前的動作，每個神經(jīng)元使用一個共享函數(shù)，然后獨立生成信息
注釋:符號列表。
注: carpoleswangupharder中的替換不變量代理。
在上面的演示中，用戶可以隨時重新排列五個輸入的順序，并觀察代理如何適應新的輸入順序。
注釋:汽車操縱桿測試。
注:替換不變輸出。
注:處理數(shù)量不明的額外噪聲通道。
在沒有額外訓練的情況下，代理接收15個輸入信號，按照重排后的順序排列，其中10個是純高斯噪聲，另外5個是來自環(huán)境的實際觀察結(jié)果像前面的演示一樣，用戶可以重新排列15個輸入的順序，并觀察代理如何適應新的輸入順序
注:測試場景中注意神經(jīng)元層輸出的二維嵌入。
卡拉辛的基本任務，修改后的洗屏任務。
左邊的是人類的視覺觀察到的人類會發(fā)現(xiàn)用重新排列觀察的方式駕駛是非常困難的，因為人類沒有經(jīng)常接觸到這樣的任務，就像前面提到的 "倒騎自行車 "的例子
2. 討論以及未來
在展開的工作中重新梳理觀測結(jié)果
通過打亂agent排序，甚至是不完整的觀測信息，可以驅(qū)動它解釋每個局部感覺輸入的意義以及它們與全局的關(guān)系，這在目前的許多應用中都有實際用途例如，當被應用于機器人時，可以避免由于交叉布線或復雜的動態(tài)輸入—輸出映射而產(chǎn)生的錯誤類似于CartPole實驗的設置，加上額外的噪聲通道，可以使一個收到成千上萬的噪聲輸入通道的系統(tǒng)識別出具有相關(guān)信息的小的通道子集
另一個限制是，排列組合不變的特性只適用于輸入，而不適用于輸出雖然觀測結(jié)果的排序可以以再次打亂，但行動的排序卻不能為了使置換不變的輸出發(fā)揮作用，每個環(huán)節(jié)都需要來自環(huán)境的反饋以便學習自身和環(huán)境之間的關(guān)系，包括獎勵信息
鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場無關(guān)。僅供讀者參考，并請自行核實相關(guān)內(nèi)容。
|
