瞄一瞄你的下巴，就知道你有沒有在難過。
這個溫馨的場景對應的不是窩在懷里的小貓咪，而是……
Neck Face，一款用于監(jiān)控情緒的智能工具。
它被設計成項鏈及頸帶樣式，AI 只需要看到使用者的下巴，就可以獲取面部表情數(shù)據(jù)。
這款設備的面部識別原理，不僅打破了必須在正面放置攝像頭的局限，而且還能做到在運動過程中持續(xù)捕捉表情信息。
智能項鏈 Neck Face
項鏈式儀器包含一組 Neck Face，由紅外攝像頭 OV5647、近紅外 LED 和紅外帶通濾波器組成，佩戴時位于下巴正下方；頸帶式儀器包含兩組，佩戴時分別位于兩側(cè)鎖骨位置。
攝像頭位置這么靠下，能看到我們的表情嗎？
如此低的機位，自然看不到完整的面部表情，只能獲得包含下巴部分下半張臉的輪廓圖像。
AI 通過對這部分圖像的信息提取，以算法推測出完整面部表情。
當我們做面部表情時，面部肌肉會拉伸和收縮，推拉皮膚影響附近面部肌肉的張力，這種效果會導致臉頰輪廓發(fā)生變化。
Neck Face 從頸部和下巴下方角度，用紅外相機記錄面部肌肉運動，以及所引起的面部輪廓變化。
獲得臉部輪廓紅外圖像后，通過卷積神經(jīng)網(wǎng)絡幫助將二維圖像輪廓重構(gòu)為完整信息，并利用計算機視覺和深度學習模型，找到頸部和下巴紅外圖像與完整面部的聯(lián)系。
結(jié)合 ARKit，從深度相機中提取了 52 個混合形狀參數(shù) (blend-shape)，以及頭部偏轉(zhuǎn)角度數(shù)據(jù)，重構(gòu)出完整的表情。
經(jīng)過這樣的處理過程，能夠從下巴角度圖像獲得完整面部表情。并且可以在佩戴過程中，連續(xù)記錄表情變化。
為驗證這款設備監(jiān)測結(jié)果準不準確，研究人員使用了蘋果手機深度相機作對比分析。
測試者被要求在靜坐和行走過程做出八種不同的表情，并且包含了上下左右四個方向轉(zhuǎn)動頭部的過程。
對比各種情況下手機和可穿戴儀器表情識別的差異，計算所得出的混合形狀參數(shù)(分值 0-1000)平均絕對誤差。
通過對測試結(jié)果總結(jié)分析，可穿戴表情監(jiān)測儀器誤差在 20-35 之間。且可識別頭部轉(zhuǎn)動角度，角度誤差在 2-4.5 度。
左側(cè)為手機攝像頭識別處理的結(jié)果，右側(cè)為 NeckFace 面部重建的結(jié)果。
兩種設計相比，頸帶式設備性能優(yōu)于項鏈式，原因可能在于兩側(cè)攝像頭能夠捕獲更多信息。
應用優(yōu)勢
現(xiàn)代人對自身健康越來越重視，不僅是身體機能的健康，心理健康也逐漸得到了更多關(guān)注。
以科學的方法對情緒進行監(jiān)控，可以更好地掌握自身狀況，及時做出調(diào)整或治療，避免影響到身體機能。
記錄情緒及心理狀態(tài)建立起數(shù)據(jù)庫，還可以方便個體追蹤自身行為，有利于就醫(yī)等社會活動。
提到大數(shù)據(jù)，一定會有人擔心隱私泄漏的問題，由于 Neck Face 都是從頭部下方對面部表情進行檢測，而僅僅通過下半張臉無法識別到用戶全部面部信息。
另外，Neck Face 是紅外成像，對環(huán)境不作識別，可以很好地隱藏環(huán)境信息。
對 Neck Face 的測試過程中也提到了，設備可以在行走中保持工作，這就大大解放了遠程辦公或視頻會議時對使用者的局限，可以更自由地參與線上討論。
研究團隊
本研究主要由北京大學學生陳拓潮，麥吉爾大學學生 Yaxuan Li 完成，參與單位還有康奈爾大學 SciFi 實驗室，康奈爾信息科學學院研究人員等。
康奈爾大學計算機與信息科學學院 Cheng Zhang 教授研發(fā)出可穿戴傳感器 C-Face。在此基礎上，陳拓潮等人做出改進，開發(fā)出這款更方便穿戴，性能更好的 Neck Face。
左側(cè)為使用者佩戴 C-Face，右側(cè)為 3D 模型反饋的面部表情。
鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場無關(guān)。僅供讀者參考，并請自行核實相關(guān)內(nèi)容。
|
