數(shù)字人與機(jī)器人，更加“通情達(dá)理”（瞰前沿）

王耀南 高躍

編者的話

科技興則民族興，科技強(qiáng)則國(guó)家強(qiáng)。習(xí)近平總書記指出：“必須充分認(rèn)識(shí)科技的戰(zhàn)略先導(dǎo)地位和根本支撐作用，錨定2035年建成科技強(qiáng)國(guó)的戰(zhàn)略目標(biāo)，加強(qiáng)頂層設(shè)計(jì)和統(tǒng)籌謀劃，加快實(shí)現(xiàn)高水平科技自立自強(qiáng)。”

當(dāng)前，新一輪科技革命和產(chǎn)業(yè)變革深入發(fā)展，以人工智能、量子科技、生命科學(xué)、物質(zhì)科學(xué)、空間科學(xué)、綠色低碳技術(shù)等為代表的前沿研究，不斷取得新進(jìn)展、新突破。

即日起，每周六見報(bào)的“科技·新知”版就和讀者見面了。這塊版聚焦國(guó)內(nèi)外前沿科技，以有趣視角解讀科學(xué)新知，讓我們一同在日新月異的科技里邂逅新知、遇見未來。

近年來，人工智能發(fā)展迅猛，大模型、強(qiáng)化學(xué)習(xí)、超圖計(jì)算和情感計(jì)算等新技術(shù)不斷取得突破，引領(lǐng)了從工具化到智能化再到情智化的躍遷。這一趨勢(shì)不僅驅(qū)動(dòng)著產(chǎn)業(yè)升級(jí)，更催生了新一代具有情智兼?zhèn)涮卣鞯闹悄荏w。

黨的二十大報(bào)告提出，“以國(guó)家戰(zhàn)略需求為導(dǎo)向，集聚力量進(jìn)行原創(chuàng)性引領(lǐng)性科技攻關(guān)，堅(jiān)決打贏關(guān)鍵核心技術(shù)攻堅(jiān)戰(zhàn)。”具有情智兼?zhèn)涮卣鞯闹悄荏w，即能夠感知環(huán)境，進(jìn)行學(xué)習(xí)和推理，并能通情達(dá)理地采取行動(dòng)、實(shí)現(xiàn)特定目標(biāo)的自主系統(tǒng)。情智兼?zhèn)涞臄?shù)字人和機(jī)器人作為人工智能的重要發(fā)展方向，正逐步成為科技創(chuàng)新的前沿。它們不僅代表了人工智能向更加人性化、智能化的方向發(fā)展，也為智能體與人類的深度互動(dòng)提供了新機(jī)遇。基于此，中國(guó)圖象圖形學(xué)學(xué)會(huì)推薦的“情智兼?zhèn)鋽?shù)字人與機(jī)器人的研究”問題入選中國(guó)科學(xué)技術(shù)協(xié)會(huì)2024十大前沿科學(xué)問題。

情智兼?zhèn)洌赫J(rèn)知與情感的完美融合

情智兼?zhèn)淙诤狭苏J(rèn)知智能和情感智能，代表了全新的智能演進(jìn)方向。這樣的智能體不再是冰冷的計(jì)算機(jī)程序，而是具有情感、理解和關(guān)懷的存在，能夠與人類建立更加親密和深入的聯(lián)系。認(rèn)知智能讓機(jī)器人具備如人一般思考和解決問題的本領(lǐng)，而情感智能則賦予了機(jī)器人進(jìn)行情緒識(shí)別、情感表達(dá)和情感共鳴的能力。例如，在心理健康輔導(dǎo)中，情智兼?zhèn)涞闹悄荏w可以通過語音語調(diào)分析和表情識(shí)別來感知用戶的情緒波動(dòng)和心理狀態(tài)。

從數(shù)字人與機(jī)器人的科研進(jìn)展來看，國(guó)際上的頭部科技企業(yè)和知名高校在多模態(tài)情感識(shí)別、情感生成與交互、情感計(jì)算專用芯片與硬件方面已經(jīng)有了一定的突破。例如，谷歌和微軟研究團(tuán)隊(duì)開發(fā)了多模態(tài)情感識(shí)別系統(tǒng)，表現(xiàn)出色；麻省理工學(xué)院和斯坦福大學(xué)正在積極開展跨學(xué)科合作，結(jié)合心理學(xué)、神經(jīng)科學(xué)和計(jì)算機(jī)科學(xué)，深入研究情感計(jì)算的理論和應(yīng)用；谷歌的Gemini模型等已經(jīng)在情感生成方面取得了顯著進(jìn)展。

國(guó)內(nèi)在情感計(jì)算算法方面也取得了顯著進(jìn)展，特別是在多媒體信息處理、語音和文字情感識(shí)別等領(lǐng)域。許多研究機(jī)構(gòu)和高校，如清華大學(xué)、哈爾濱工業(yè)大學(xué)及廈門大學(xué)等，正在構(gòu)建大規(guī)模的情感數(shù)據(jù)集，支持情感計(jì)算模型的訓(xùn)練和優(yōu)化，研發(fā)面向多類開放場(chǎng)景的情感計(jì)算方法及工具。國(guó)內(nèi)的科技公司，如科大訊飛和小米，相繼推出了具有情感交互功能的智能客服機(jī)器人；百度和阿里巴巴等公司開發(fā)了多模態(tài)情感識(shí)別系統(tǒng)，在實(shí)際應(yīng)用中提供高效的情感識(shí)別和生成服務(wù)。此外，還有一些初創(chuàng)公司和研究團(tuán)隊(duì)也正在探索情智兼?zhèn)浼夹g(shù)在教育和醫(yī)療領(lǐng)域的應(yīng)用，開發(fā)出情感教育助手和陪伴機(jī)器人，提升用戶的滿意度和服務(wù)質(zhì)量。

三大挑戰(zhàn)：情緒感知、個(gè)性化分析與仿生化交互

盡管我國(guó)在情感智能領(lǐng)域取得了眾多進(jìn)展，但在實(shí)現(xiàn)“情智兼?zhèn)鋽?shù)字人與機(jī)器人”的過程中，仍有三大難題亟待解決。

一是多模態(tài)情緒感知能力。人類情感的感知是通過多個(gè)感官的交織與互動(dòng)實(shí)現(xiàn)的，然而目前的數(shù)字人或機(jī)器人往往只能依賴單一感官（如語音或面部表情）進(jìn)行情感識(shí)別，在多模態(tài)數(shù)據(jù)的高效融合、多源異構(gòu)數(shù)據(jù)一致性和時(shí)間同步方面還存在挑戰(zhàn)。如何實(shí)現(xiàn)跨模態(tài)情感表達(dá)的整合，如何在有限的資源下平衡模型復(fù)雜度和準(zhǔn)確性仍是一個(gè)難點(diǎn)。

二是個(gè)性化情智分析能力。人的情感表達(dá)具有個(gè)體差異，同樣的表情或語句在不同個(gè)體、不同語境下的解讀可能存在本質(zhì)區(qū)別。因此，人工智能需要具備個(gè)性化情智分析能力，能夠根據(jù)個(gè)體差異進(jìn)行精準(zhǔn)識(shí)別，避免情感誤讀。隨著大模型、強(qiáng)化學(xué)習(xí)和超圖計(jì)算等新技術(shù)的涌現(xiàn)與進(jìn)步，人工智能顯著提升了復(fù)雜數(shù)據(jù)分析能力，能夠提供更加個(gè)性化的情感溝通功能。

三是仿生化情感交互能力。要讓數(shù)字人、機(jī)器人像人類一樣與他人進(jìn)行情感互動(dòng)，人工智能不僅需要識(shí)別情感，還要以自然、流暢的方式表達(dá)情感。目前，盡管語音識(shí)別和生成技術(shù)已有突破，但機(jī)器人與人類的情感交流仍顯生硬，缺乏深度情感的表達(dá)。為突破這一瓶頸，人工智能需要在情感數(shù)據(jù)處理的基礎(chǔ)上，結(jié)合肢體動(dòng)作、面部表情等多維度的表達(dá)，形成更加自然的情感交互。

突破之路：多技術(shù)協(xié)同發(fā)展是關(guān)鍵

在通往情智兼?zhèn)涞臄?shù)字人和機(jī)器人研究中，多學(xué)科的融合研究和跨領(lǐng)域的技術(shù)研發(fā)起著至關(guān)重要的作用。情智兼?zhèn)洳粌H要求機(jī)器人具備情感感知能力，還需通過多種技術(shù)手段實(shí)現(xiàn)情感的生成與表達(dá)，形成情感識(shí)別與反饋的閉環(huán)。要實(shí)現(xiàn)這一目標(biāo)，多個(gè)技術(shù)領(lǐng)域必須協(xié)同發(fā)展，其中情感生成與表達(dá)、情感識(shí)別與反饋、多模態(tài)情感感知技術(shù)是關(guān)鍵。

情感生成與表達(dá)，讓智能體更具人情味。情感生成與表達(dá)是指數(shù)字人和機(jī)器人通過特定方式表現(xiàn)出情感反應(yīng)的能力。這一過程不僅僅是模擬人類的語音語調(diào)，還包括通過面部表情、肢體動(dòng)作等多種方式進(jìn)行情感的外化。在這方面，情感合成技術(shù)尤為重要。通過調(diào)節(jié)語調(diào)、語速、音量等參數(shù)，語音合成器能夠生成帶有情感色彩的聲音。例如，當(dāng)機(jī)器人要表達(dá)高興的情緒時(shí)，其語調(diào)和語速會(huì)明顯提高，而在表達(dá)悲傷時(shí)，語調(diào)和語速則會(huì)相應(yīng)降低。這種情感化的語音生成技術(shù)，使機(jī)器人能夠在與人類的互動(dòng)中表現(xiàn)出更加自然和富有情感的反應(yīng)。

情感識(shí)別與反饋，能精準(zhǔn)捕捉并回應(yīng)人類情感。情感識(shí)別技術(shù)使得機(jī)器人能夠準(zhǔn)確地捕捉人類的情感信號(hào)，并基于這些信號(hào)做出合適的情感反饋。自然語言處理技術(shù)的應(yīng)用，讓數(shù)字人、機(jī)器人能夠理解和生成自然語言，從對(duì)話內(nèi)容的分析中找出情感的線索。通過對(duì)用戶的語言結(jié)構(gòu)、語氣以及關(guān)鍵詞的分析，機(jī)器人不僅能夠判斷出用戶的情緒，還能夠適時(shí)地提供情感支持。例如，當(dāng)用戶遇到問題時(shí)，機(jī)器人能夠通過語言和語氣的變化，表達(dá)出關(guān)切與安慰。

多模態(tài)情感感知，讓情感識(shí)別更加全面準(zhǔn)確。通過結(jié)合語音、圖像等多種感知數(shù)據(jù)，人工智能可以獲得更加精準(zhǔn)的情感信息。例如，通過同步分析用戶的語音語調(diào)與面部表情，機(jī)器人能夠從多個(gè)維度捕捉到情感的細(xì)節(jié)。這樣的信息融合極大地提高了情感識(shí)別的準(zhǔn)確性和可靠性，為情感反饋提供了更為全面的數(shù)據(jù)支持。結(jié)合多模態(tài)感知數(shù)據(jù)，構(gòu)建更為復(fù)雜的情感模型是當(dāng)前的研究重點(diǎn)。例如，當(dāng)用戶的面部表情和語音語調(diào)一致時(shí)，系統(tǒng)可以識(shí)別出用戶的愉悅情緒；而當(dāng)面部表情和語音語調(diào)呈現(xiàn)憤怒時(shí)，系統(tǒng)能夠迅速判斷用戶的情緒變化并應(yīng)對(duì)。

應(yīng)用前景：醫(yī)療護(hù)理、教育與企業(yè)服務(wù)

情感智能技術(shù)的廣泛應(yīng)用前景令人期待，特別是在醫(yī)療護(hù)理、教育和企業(yè)服務(wù)等領(lǐng)域，已展現(xiàn)出巨大的潛力。

在醫(yī)療護(hù)理領(lǐng)域，情智兼?zhèn)涞臋C(jī)器人在照護(hù)老年人、孤獨(dú)癥患者等方面具有極大的優(yōu)勢(shì)。通過面部表情識(shí)別與語音分析技術(shù)，機(jī)器人有望實(shí)時(shí)感知患者的情感變化，為其提供情感支持，幫助緩解孤獨(dú)感和焦慮感。在孤獨(dú)癥患者的干預(yù)中，情智兼?zhèn)涞臋C(jī)器人可以通過互動(dòng)游戲等方式幫助患者提高社交能力，促進(jìn)情感認(rèn)知。一個(gè)典型案例是日本軟銀公司的Pepper機(jī)器人在養(yǎng)老院中的應(yīng)用。Pepper不僅能夠進(jìn)行基礎(chǔ)的護(hù)理工作，還可以與老人進(jìn)行情感互動(dòng)，通過講故事、聊天和做游戲等方式，提高老人的情感體驗(yàn)，實(shí)現(xiàn)更人性化的養(yǎng)老陪伴。

在教育領(lǐng)域，虛擬教師通過情感智能技術(shù)，能夠識(shí)別學(xué)生的情感狀態(tài)，動(dòng)態(tài)調(diào)整教學(xué)內(nèi)容和方式。例如，當(dāng)學(xué)生表現(xiàn)出困惑或疲倦時(shí)，虛擬教師可以通過增加互動(dòng)環(huán)節(jié)或安排休息時(shí)間來激發(fā)學(xué)生的學(xué)習(xí)興趣。通過情感分析，虛擬教師可以保持學(xué)生的高參與度。美國(guó)的一些學(xué)校已經(jīng)開始使用情感智能虛擬教師進(jìn)行在線教學(xué)。這些虛擬教師能夠通過面部表情和語音分析，實(shí)時(shí)了解學(xué)生的情緒狀態(tài)，調(diào)整教學(xué)策略，提高學(xué)習(xí)效率。

在企業(yè)服務(wù)領(lǐng)域，情感智能技術(shù)的應(yīng)用能夠顯著提升客戶體驗(yàn)和滿意度。通過分析客戶的情感狀態(tài)，企業(yè)能夠精準(zhǔn)調(diào)整服務(wù)策略。例如，在客戶咨詢中，機(jī)器人可以根據(jù)客戶的情感反饋，來調(diào)整語氣和服務(wù)態(tài)度。

未來，隨著技術(shù)的不斷發(fā)展與突破，情智兼?zhèn)涞臄?shù)字人和機(jī)器人將不再是科幻小說中的存在，而將成為現(xiàn)實(shí)生活中的重要伙伴。隨著跨學(xué)科合作的深入，情智兼?zhèn)錂C(jī)器人將進(jìn)一步縮短智能體與人之間的情感距離，推動(dòng)社會(huì)各領(lǐng)域的智能化進(jìn)程，為人類生活帶來更溫暖、更智能的服務(wù)。

（作者分別為中國(guó)工程院院士、中國(guó)圖象圖形學(xué)學(xué)會(huì)理事長(zhǎng)，中國(guó)圖象圖形學(xué)學(xué)會(huì)情感計(jì)算與理解專業(yè)委員會(huì)常委、清華大學(xué)長(zhǎng)聘副教授。趙思成對(duì)本文亦有貢獻(xiàn)）