AI已經(jīng)可以教你畫油畫了。
隨便給個(gè)圖，筆畫順序幾秒鐘就呈現(xiàn)出來(lái)了。
就像世界名畫中的蒙娜麗莎。
或者現(xiàn)實(shí)中的鳥。
還有很大氣的河燈。
簡(jiǎn)而言之，任何風(fēng)格都可以控制。
這項(xiàng)技術(shù)在Reddit上21小時(shí)內(nèi)獲得了600個(gè)贊。
它是如何建造的。
用前饋網(wǎng)絡(luò)預(yù)測(cè)沖程
神經(jīng)繪畫是為給定的圖像生成一系列筆畫，并利用神經(jīng)網(wǎng)絡(luò)進(jìn)行繪畫般的真實(shí)再現(xiàn)的過(guò)程。
研究團(tuán)隊(duì)提出了一種基于變壓器的框架，稱為Paint Transformer，它使用前饋網(wǎng)絡(luò)來(lái)預(yù)測(cè)沖程參數(shù)。
由于沒(méi)有可用的數(shù)據(jù)集來(lái)訓(xùn)練Paint Transformer，受對(duì)象檢測(cè)的啟發(fā)，研究人員設(shè)計(jì)了一個(gè)自我訓(xùn)練的Pipeline。
整個(gè)模型由兩個(gè)模塊組成:筆畫預(yù)測(cè)器和筆畫渲染器。
給定目標(biāo)圖像和中間畫布圖像，筆畫預(yù)測(cè)器生成一組參數(shù)來(lái)確定當(dāng)前筆畫集。
預(yù)測(cè)器包括兩個(gè)用于特征嵌入的CNN網(wǎng)絡(luò)和一個(gè)用于參數(shù)預(yù)測(cè)的Transformer。
然后，筆畫渲染器為筆畫集中匯總的每個(gè)筆畫生成筆畫圖像，并將它們繪制到繪畫中，以生成大小為512*512的結(jié)果圖像。
基于DETR，添加二進(jìn)制神經(jīng)元來(lái)預(yù)測(cè)是否應(yīng)該保留筆畫。
這樣，它可以在沒(méi)有任何現(xiàn)成數(shù)據(jù)集的情況下進(jìn)行訓(xùn)練，同時(shí)可以實(shí)現(xiàn)出色的泛化能力。
實(shí)驗(yàn)表明，與以往的方法相比，該方法具有更好的繪圖性能和更低的訓(xùn)練和推理成本。
這項(xiàng)技術(shù)由百度，南京大學(xué)和羅格斯大學(xué)聯(lián)合創(chuàng)造。
目前，該代碼已開源并應(yīng)用于Moment相冊(cè)App。
鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場(chǎng)無(wú)關(guān)。僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。
|
