機(jī)器人的情緒識(shí)別與類(lèi)人情緒的產(chǎn)生過(guò)程受到計(jì)算機(jī)與心理學(xué)研究領(lǐng)域的廣泛關(guān)注,同時(shí)得到了科學(xué)界的高度重視與大規(guī)模支持,并逐漸形成認(rèn)知情感計(jì)算這一交叉研究領(lǐng)域。本文圍繞人機(jī)交互的過(guò)程中服務(wù)機(jī)器人之認(rèn)知情緒調(diào)節(jié)過(guò)程展開(kāi)研究。首先,根據(jù)信息加工理論以及視覺(jué)感知與選擇性關(guān)注特征建立起關(guān)注度分析模型,并基于交互者表情及微表情特征的提取與分析,構(gòu)建起表情-情緒映射模型,將外界表情刺激映射到喚醒度-效價(jià)-開(kāi)放度三維情緒空間中,為后續(xù)情緒調(diào)節(jié)過(guò)程提供可靠的認(rèn)知依據(jù)；其次,針對(duì)Gross認(rèn)知情緒調(diào)節(jié)策略中的情境選擇、情境修正、注意分配環(huán)節(jié),提出具備心理意義學(xué)的情緒調(diào)節(jié)與表達(dá)算法,并將其應(yīng)用于仿人服務(wù)機(jī)器人中進(jìn)行交互效果論證；而后,以動(dòng)機(jī)心理學(xué)為原型,引入物理學(xué)中有源場(chǎng)理論,針對(duì)Gross策略的認(rèn)知重評(píng)及表達(dá)抑制環(huán)節(jié),建立起具有動(dòng)力性能的情緒狀態(tài)空間,在空間中模仿人類(lèi)的認(rèn)知能力及自身情緒狀態(tài)間的相互作用過(guò)程,并融入HMM模型與Glauber動(dòng)力系統(tǒng),實(shí)現(xiàn)基于概率的刺激與情緒狀態(tài)調(diào)節(jié)過(guò)程；zui后,將上述理論、算法融入服務(wù)機(jī)器人平臺(tái)中,分析、驗(yàn)證模型的有效性,并將其應(yīng)用于孤獨(dú)癥社交輔助治療中。

本文的主要研究?jī)?nèi)容與創(chuàng)新點(diǎn)如下：

(1)根據(jù)信息加工理論以及視覺(jué)感知與選擇性關(guān)注特征,采用馬爾可夫鏈-熵的方法來(lái)描述視覺(jué)注意在圖像不同顯著區(qū)域間的非對(duì)稱性旋回轉(zhuǎn)移過(guò)程；根據(jù)FACS中面部運(yùn)動(dòng)單元的劃分方法,提取zui能表現(xiàn)情緒狀態(tài)的13個(gè)AU單元,將其劃分為9個(gè)面部特征區(qū)域,采用PCA方法對(duì)5尺度8方向的Gabor小波變換得到的小波系數(shù)進(jìn)行訓(xùn)練降低表情空問(wèn)維度,在此基礎(chǔ)上,通過(guò)表情的分析,對(duì)非典型表情進(jìn)行情緒映射,實(shí)現(xiàn)針對(duì)面部特征區(qū)域的表情情緒認(rèn)知方法；在此研究基礎(chǔ)上,采用Gabor濾波器分解由3D梯度投影描述法得到的微表情關(guān)鍵幀之特征區(qū)域圖像,并通過(guò)多區(qū)域的局部Gabor二值模式算法,在盡可能保留圖像特征信息的基礎(chǔ)上進(jìn)行特征降維,zui終,構(gòu)建起基于梯度量級(jí)加權(quán)的zui近鄰分類(lèi)器對(duì)微表情特征進(jìn)行分類(lèi),從而實(shí)現(xiàn)微表情捕捉與情緒識(shí)別過(guò)程,用于發(fā)現(xiàn)交互者的潛在情緒。以上關(guān)注度分析、表情及微表情情緒研究,為后續(xù)情感計(jì)算研究提供了較為有效的認(rèn)知基礎(chǔ)。

(2)從Gross認(rèn)知情緒調(diào)節(jié)過(guò)程中的情景選擇、情景修正、注意分配環(huán)節(jié)中,抽象出交互關(guān)系參數(shù)與情緒抑制參數(shù),實(shí)現(xiàn)對(duì)于情緒狀態(tài)轉(zhuǎn)移概率的影響,并通過(guò)遺傳算法對(duì)相應(yīng)交互關(guān)系影響因子與情緒抑制影響因子進(jìn)行優(yōu)化處理,進(jìn)一步提高參數(shù)的控制精度,從而提出一種融合概率有限狀態(tài)機(jī)算法的情緒調(diào)節(jié)與表達(dá)模型,并將外界環(huán)境因素融入仿人服務(wù)機(jī)器人的情緒表達(dá)過(guò)程中。本模型應(yīng)用于14自由度的仿人表情機(jī)器人中進(jìn)行交互實(shí)驗(yàn),通過(guò)對(duì)500位交互者的Likert調(diào)查量表進(jìn)行分析,對(duì)映射反應(yīng)模型與認(rèn)知情緒模調(diào)節(jié)型的交互效果進(jìn)行對(duì)比,結(jié)果表明具備認(rèn)知情緒調(diào)節(jié)能力的仿人服務(wù)機(jī)器人其表情擬人度與智能性更加良好,可以在人機(jī)交互過(guò)程中發(fā)揮多樣化的情緒表達(dá)作用。

(3)根據(jù)交互過(guò)程中的場(chǎng)力與沖突理論,在有源場(chǎng)情緒狀態(tài)空間中建立起服務(wù)機(jī)器人的連續(xù)可控的情感調(diào)節(jié)過(guò)程。在費(fèi)希納-韋伯定律的基礎(chǔ)上,定量分析Gross策略中情緒的自發(fā)性認(rèn)知重評(píng)與指導(dǎo)性認(rèn)知重評(píng)過(guò)程；根據(jù)情感強(qiáng)度第三定律提出一種與情緒效價(jià)相關(guān)聯(lián)的情緒強(qiáng)度衰減模型；依據(jù)動(dòng)力心理學(xué)理論,建立起基于有源場(chǎng)的情緒能量空間,用于模擬外界刺激情緒與機(jī)器人自身情緒的相互作用過(guò)程；并建立起基于情緒喚醒度的機(jī)器人行為表達(dá)抑制模型；在此研究基礎(chǔ)上,提出基于HMM的情緒狀態(tài)刺激轉(zhuǎn)移算法與基于Glauber動(dòng)力系統(tǒng)的情緒狀態(tài)自發(fā)轉(zhuǎn)移算法；并將以上模型算法用于13自由度的服務(wù)機(jī)器人平臺(tái)中,實(shí)現(xiàn)非典型表情交互環(huán)境中機(jī)器人不確定情緒過(guò)程的動(dòng)態(tài)、可控調(diào)節(jié)。

(4)基于以上視覺(jué)注意、表情／微表情-情緒映射、及認(rèn)知情緒調(diào)節(jié)過(guò)程的研究成果,構(gòu)建起以情感機(jī)器人為核心的面向孤獨(dú)癥兒童的社交輔助*,針對(duì)患兒的認(rèn)知情感缺失問(wèn)題,實(shí)現(xiàn)患兒與機(jī)器人的情感互動(dòng)治療。在視覺(jué)注意模型的基礎(chǔ)上,建立共同注意子系統(tǒng),實(shí)現(xiàn)對(duì)于患兒聯(lián)合注意能力的訓(xùn)練；在表情／微表情-情緒映射模型的基礎(chǔ)上,實(shí)現(xiàn)在表情學(xué)習(xí)、表情模仿訓(xùn)練模式中對(duì)于患兒面部表情的實(shí)時(shí)識(shí)別,輔助該訓(xùn)練模式的完成,此外,還可以實(shí)時(shí)追蹤訓(xùn)練過(guò)程中患兒的情緒變化,并依據(jù)認(rèn)知情緒調(diào)節(jié)模型給予相應(yīng)情緒互動(dòng)；在情境認(rèn)知訓(xùn)練中,融入基于MFCCs分析的情緒調(diào)節(jié)模型,使機(jī)器人產(chǎn)生與場(chǎng)景相匹配的情緒狀態(tài)及行為表現(xiàn)。本文所研究的模型與算法貫穿于患兒與情感機(jī)器人的交互過(guò)程,在臨床試驗(yàn)中實(shí)現(xiàn)了具備仿人情感能力的心理及行為互動(dòng)。SRS社交反應(yīng)量表分析結(jié)果表明,通過(guò)六種模式下的認(rèn)知情緒訓(xùn)練,患兒的聯(lián)合注意及社會(huì)交往能力得到一定提高且其效果優(yōu)于傳統(tǒng)康復(fù)模式。