文/傅耀威 孟憲佳 王涌天
（科技部高技術(shù)研究發(fā)展中心 西北大學(xué) 北京理工大學(xué)）
       人機(jī)交互技術(shù)是可穿戴移動(dòng)終端系統(tǒng)及相關(guān)應(yīng)用的核心技術(shù)，也是近年來國內(nèi)外的研究熱點(diǎn)?？纱┐饕苿?dòng)終端在軍事、工業(yè)、醫(yī)療、航天航空、體育教育等領(lǐng)域有著廣泛的應(yīng)用前景，近年來涌現(xiàn)了大量可穿戴移動(dòng)計(jì)算中的人機(jī)交互理論、技術(shù)、應(yīng)用研究，為推進(jìn)計(jì)算系統(tǒng)小型化、普適化、智能化起到了巨大的作用。本文主要對(duì)可穿戴移動(dòng)終端的多感官人機(jī)交互技術(shù)發(fā)展現(xiàn)狀和趨勢進(jìn)行了梳理分析，并提出了有關(guān)對(duì)策建議。
一、關(guān)于可穿戴移動(dòng)終端的多感官人機(jī)交互技術(shù)
       人機(jī)交互是一門對(duì)人類使用的交互式計(jì)算系統(tǒng)進(jìn)行設(shè)計(jì)、評(píng)估和實(shí)現(xiàn)，并對(duì)其所涉及的主要現(xiàn)象進(jìn)行研究的學(xué)科。自然人機(jī)交互利用先進(jìn)的傳感器技術(shù)捕捉和感知人類豐富的動(dòng)作、行為以及生理變化，利用先進(jìn)的計(jì)算技術(shù)理解人的交互意圖,并提供符合認(rèn)知的反饋呈現(xiàn)，從而使人們能更方便地利用信息。其中受到最多關(guān)注的技術(shù)有：
       1. 增強(qiáng)現(xiàn)實(shí)技術(shù)
       借助光電顯示技術(shù)、交互技術(shù)和計(jì)算機(jī)圖形與多媒體技術(shù)，將計(jì)算機(jī)生成的虛擬環(huán)境與用戶周圍的現(xiàn)實(shí)環(huán)境融為一體，因此要求其跟蹤定位算法具有實(shí)時(shí)、魯棒和精確的特點(diǎn)。近年來，以視覺為基礎(chǔ)的同時(shí)定位與地圖構(gòu)建技術(shù)成為國內(nèi)外學(xué)者的研究熱點(diǎn)。
       2. 力覺與觸覺反饋
       力覺反饋強(qiáng)調(diào)虛擬模型之間交互而產(chǎn)生的力，如：碰撞力、重力等；觸覺反饋則強(qiáng)調(diào)人對(duì)虛擬模型各種表面屬性，如：硬度、粗糙度、接觸、滑動(dòng)和擠壓等的感知。力覺和觸覺反饋同時(shí)存在于人的日常交互行為中，二者均是由力反饋設(shè)備輸出反饋力，通過人的表皮神經(jīng)末梢將反饋力傳輸?shù)酱竽X后被人感知的。
       3. 頭盔顯示器
       頭盔顯示器是一種佩戴在用戶頭部，通過光學(xué)系統(tǒng)為用戶提供可視文本、圖像或視頻的顯示裝置。隨著設(shè)計(jì)和加工工藝的不斷改進(jìn)，光學(xué)系統(tǒng)的尺寸、重量不斷下降，頭盔顯示器已不再需要像頭盔一樣戴在頭上，逐步向著類似眼鏡的佩戴方式發(fā)展。
       4. 手勢識(shí)別
       指利用特定的設(shè)備，通過傳感器獲得手部姿態(tài)、位置以及動(dòng)作信息，借由手勢識(shí)別算法對(duì)手勢進(jìn)行識(shí)別,并完成對(duì)應(yīng)的指令。根據(jù)不同的設(shè)備類型，手勢識(shí)別可分為基于視覺的手勢識(shí)別與基于數(shù)據(jù)手套的手勢識(shí)別；根據(jù)用戶手勢的不同，可分為動(dòng)態(tài)手勢識(shí)別與靜態(tài)手勢識(shí)別。
       5. 自然語音識(shí)別與生成技術(shù)
       通過采集、識(shí)別用戶的語音，進(jìn)行語音特征的分析、自然語言的識(shí)別，以及用戶情感和意圖的理解，同時(shí)進(jìn)行擬人化的語音生成和情感再現(xiàn)。
       6. 生理計(jì)算
       作為一種新型人機(jī)交互技術(shù)，生理計(jì)算已逐漸成為產(chǎn)業(yè)界關(guān)注的熱點(diǎn)。在這種計(jì)算模式下，用戶無需主動(dòng)地執(zhí)行交互任務(wù)，通過穿戴式生理傳感設(shè)備,實(shí)時(shí)分析用戶的生理信號(hào)，并對(duì)用戶做出反饋。腦機(jī)接口做為生理計(jì)算技術(shù)中的一個(gè)關(guān)鍵點(diǎn)，通過外接或植入式的方式,來采集和分析人或動(dòng)物的大腦信號(hào)進(jìn)行交互。
二、世界發(fā)展現(xiàn)狀與趨勢
       1. 發(fā)展現(xiàn)狀
       國際上，美國麻省理工學(xué)院媒體實(shí)驗(yàn)室，在可穿戴計(jì)算技術(shù)和人機(jī)交互技術(shù)研究方面一直站在最前沿。谷歌、微軟等公司也在手勢交互、交互設(shè)計(jì)開發(fā)工具、交互意圖理解、智能眼鏡方面處于世界領(lǐng)先地位。其它高校、機(jī)構(gòu)及企業(yè)，包括斯坦福大學(xué)、多倫多大學(xué)、IBM公司在面向可穿戴終端的人機(jī)交互技術(shù)中的部分成果，處于國際領(lǐng)先地位。
       在過去的近20年中，研究者們已提出多個(gè)解決增強(qiáng)現(xiàn)實(shí)技術(shù)中的同時(shí)定位與地圖構(gòu)建問題的經(jīng)典系統(tǒng)。隨著GPU處理器和深度相機(jī)的出現(xiàn)和普及，同時(shí)定位與地圖構(gòu)建系統(tǒng)呈現(xiàn)出由稀疏地圖構(gòu)建，向稠密或半稠密地圖構(gòu)建的發(fā)展方向。此外，同時(shí)定位與地圖構(gòu)建問題的研究，逐漸向移動(dòng)端進(jìn)行移植和應(yīng)用?；谕瑫r(shí)定位與地圖構(gòu)建技術(shù)開發(fā)的代表性產(chǎn)品有微軟的Hololens和谷歌的Project Tango。
       2001年法國學(xué)者Robles-De-La-Torre等在Nature上發(fā)表的論文，為可穿戴移動(dòng)終端實(shí)現(xiàn)裸指觸覺再現(xiàn)，提供了重要的理論依據(jù)。近年來，美國、芬蘭、日本等國家都驗(yàn)證了多媒體終端裸指觸覺再現(xiàn)的可行性。目前，觸覺再現(xiàn)渲染方法研究主要集中在機(jī)械力觸覺再現(xiàn)設(shè)備上，觸覺交互界面研究剛剛起步，觸覺交互裝置的能力還未得到充分發(fā)揮，多媒體觸覺交互界面范式與開發(fā)工具尚未形成，人類的觸覺感知特性仍然沒有完全被獲知，尚未形成定量化、可標(biāo)準(zhǔn)化的度量方法。
       頭盔顯示器自1966年問世以來，首先在軍事上發(fā)揮著重要角色，如美國Honeywell公司IHADSS頭盔顯示器。近幾年，面向消費(fèi)市場的民用頭盔顯示技術(shù)逐步發(fā)展起來，出現(xiàn)了很多商業(yè)化的產(chǎn)品，如2013年Oculus VR公司推出的Oculus Rift，具有高分辨率、大視場角、輕質(zhì)量的特點(diǎn)。在透視式顯示方面，微軟公司在2015年發(fā)布了Hololens，具有良好的顯示性能，可以準(zhǔn)確地實(shí)時(shí)跟蹤用戶的頭部運(yùn)動(dòng)，提供即時(shí)的交互體驗(yàn)。
近年來使用機(jī)器學(xué)習(xí)進(jìn)行手勢識(shí)別和分類的方法，成為主流解決方案，如2014年微軟研究院Krupka等提出了判別式蕨類分類器，在深度圖像和紅外圖像上實(shí)現(xiàn)了手勢的快速準(zhǔn)確分類。但是目前的算法大多僅能應(yīng)用于室內(nèi)的桌面型應(yīng)用，同時(shí)訓(xùn)練速度較慢，目前尚未出現(xiàn)針對(duì)可穿戴增強(qiáng)現(xiàn)實(shí)應(yīng)用的實(shí)時(shí)手勢識(shí)別方法。
       在自然語言識(shí)別方面，目前國際上也啟動(dòng)了多個(gè)研究項(xiàng)目，如美國IBM公司長期經(jīng)營的“Watson”計(jì)算機(jī)系統(tǒng)項(xiàng)目，日本的“Todai機(jī)器人”項(xiàng)目，DARPA的“大機(jī)制（Big Mechanism）”研究項(xiàng)目。
近年來，生理計(jì)算已逐漸引起學(xué)術(shù)界和產(chǎn)業(yè)界的共同關(guān)注。ACM SIGCHI年會(huì)在2010和2011年，分別舉辦了關(guān)于生理計(jì)算的研討會(huì)。國際上許多著名的大學(xué)和研究機(jī)構(gòu)，目前也逐步在開展生理計(jì)算方面的研究。生理信號(hào)的采集已逐漸從傳統(tǒng)傳感器采集向納米織物采集過渡，即通過設(shè)計(jì)新型納米材料，在長期舒適的穿戴中智能化地采集心電、肌電等生理信號(hào)。
       2. 發(fā)展趨勢與重點(diǎn)
       作為今后的計(jì)算平臺(tái)接口和終端技術(shù)，多感官可穿戴移動(dòng)終端有望取代手機(jī)，成為人們與信息世界交流的主要通道，提供前所未有的虛擬存在感和接近真實(shí)的虛擬社交，能夠更直接地影響使用者的文化接納、觀念接納和意識(shí)形態(tài)接納，并可很快成為思想理念賴以傳播的主要途徑，這將造就巨大的消費(fèi)品市場、推動(dòng)人類生存方式演化的進(jìn)程，并有力推動(dòng)經(jīng)濟(jì)發(fā)展。
       經(jīng)過多年的發(fā)展，雖然面向可穿戴移動(dòng)終端的多感官人機(jī)交互的基本概念和基本實(shí)現(xiàn)方法已經(jīng)初步形成，并取得了很多較好的應(yīng)用成果，但仍面臨很多基本的理論與技術(shù)挑戰(zhàn)，具體包括：
       一是如何提高計(jì)算單元的運(yùn)算性能問題。計(jì)算單元的運(yùn)算性能，決定了多感官可穿戴設(shè)備的參數(shù)是否能“達(dá)標(biāo)”，是否可以提供所需要的計(jì)算量。為了流暢地運(yùn)行一個(gè)多感官交互應(yīng)用，需要一臺(tái)配置比較高的電腦才能滿足要求，這就會(huì)限制了用戶的行動(dòng)。因此提高計(jì)算單元的運(yùn)算性能，并且能夠保持一定的移動(dòng)性和較低的價(jià)格是行業(yè)面臨的一個(gè)重要的問題。
       二是如何進(jìn)一步提高信息傳輸速度。借助無線局域網(wǎng)絡(luò)有望解決高運(yùn)算性能和移動(dòng)性之間的矛盾，然而目前的無線局域網(wǎng)絡(luò)的數(shù)據(jù)傳輸速率尚難以滿足連接頭盔顯示器和計(jì)算單元的要求。為了避免延遲、卡頓等問題，傳輸過程需要較大的網(wǎng)絡(luò)帶寬，這也為未來的5G網(wǎng)絡(luò)提供了一個(gè)巨大的應(yīng)用市場。
三、我國發(fā)展現(xiàn)狀與水平
       在自然人機(jī)交互技術(shù)方面，國內(nèi)中科院軟件所、北京理工大學(xué)、清華大學(xué)、北京航空航天大學(xué)等學(xué)術(shù)單位，聯(lián)想、華為、中興、鴻合等著名公司也在開展這方面的研究工作。雖然自然人機(jī)交互的研究已經(jīng)具備了一定的基礎(chǔ)，但在多源信息獲取、感知、認(rèn)知等方面的核心技術(shù)還有待突破，亟需突破關(guān)鍵技術(shù)，形成交互設(shè)備和軟件工具，并面向教育、辦公、醫(yī)療等領(lǐng)域構(gòu)建主流應(yīng)用，推動(dòng)我國在人機(jī)交互領(lǐng)域的研究和應(yīng)用達(dá)到國際先進(jìn)水平。
       在面向可穿戴終端的人機(jī)交互技術(shù)方面，中科院軟件研究所、北京理工大學(xué)在手勢交互、頭戴式混合現(xiàn)實(shí)交互研究中非常突出，同時(shí)也針對(duì)腦機(jī)接口做了突出工作。清華大學(xué)在手表、基于皮膚的交互感知、眼鏡、腦機(jī)接口、基于呼吸的交互通道等方面取得了較好的科研成果。此外，國內(nèi)的其他高校、機(jī)構(gòu)，包括北京航空航天大學(xué)、中國科技大學(xué)、中國科學(xué)院計(jì)算技術(shù)研究所等，在面向可穿戴終端的人機(jī)交互技術(shù)中，也產(chǎn)生了非常出色的成果。
       在基于視覺的同時(shí)定位與地圖構(gòu)建方面，我國代表性的研究工作包括浙江大學(xué)于2013年提出的針對(duì)動(dòng)態(tài)場景的跟蹤和地圖重建。但總體來看，我國相關(guān)的研究成果較少，大多數(shù)是在國外的技術(shù)研究上面加以改進(jìn)，缺少理論上的突破與創(chuàng)新。相比于國外，我國的同時(shí)定位與地圖構(gòu)建研究發(fā)展較為落后，需進(jìn)一步加強(qiáng)科技投入，提升基礎(chǔ)研究能力。
       在力觸覺交互領(lǐng)域的研究單位包括吉林大學(xué)、北京理工大學(xué)、北京航空航天大學(xué)、東南大學(xué)等。其中，吉林大學(xué)專注于多媒體終端觸覺再現(xiàn)機(jī)理與裝置，北京理工大學(xué)主要研究三維視覺對(duì)象的觸覺交互與可信評(píng)測，北京航空航天大學(xué)主要研究力觸覺生成方法和力觸覺反饋度量等。從整體上講，仍不夠系統(tǒng)深入，國際學(xué)術(shù)影響力還比較弱，無法滿足多媒體終端產(chǎn)業(yè)對(duì)基礎(chǔ)科學(xué)研究成果的需求。
       在頭盔顯示器的研究方面，國內(nèi)院校如北京理工大學(xué)、浙江大學(xué)、中科院長春光機(jī)所等，都對(duì)頭盔顯示器進(jìn)行了研究，取得了較好的成績。中科院長春光機(jī)所設(shè)計(jì)完成了離軸雙自由曲面頭盔顯示系統(tǒng)；北京理工大學(xué)設(shè)計(jì)研制了基于自由曲面棱鏡的光學(xué)透射式頭戴顯示設(shè)備，達(dá)到了國際領(lǐng)先水平。
       基于視覺的手勢識(shí)別技術(shù)仍處于實(shí)驗(yàn)室開發(fā)階段，實(shí)際產(chǎn)品較少，且功能較為單一，無法滿足使用者的需求。國內(nèi)院校如清華大學(xué)、中國科學(xué)技術(shù)大學(xué)、哈爾濱工業(yè)大學(xué)等都提出了自己的算法。在基于視覺的手勢識(shí)別中，靜態(tài)手勢識(shí)別的研究較為成熟，而動(dòng)態(tài)手勢的識(shí)別還面臨著許多困難，尤其是對(duì)復(fù)雜背景的適應(yīng)方面，以及快速運(yùn)動(dòng)物體檢測方面，識(shí)別率無法達(dá)到滿意的要求。
       從海量信息中理解語音及交互意圖是人機(jī)交互的重要環(huán)節(jié)。國內(nèi)浙大、中科院自動(dòng)化所、百度、科大訊飛等在該領(lǐng)域取得了很大進(jìn)展。
       在生理計(jì)算和腦機(jī)接口方面，國內(nèi)浙江大學(xué)、華南理工大學(xué)、清華大學(xué)、北京理工大學(xué)、中國科學(xué)院等單位也在進(jìn)行許多有益的探索工作。研究如何將心理生理學(xué)理論應(yīng)用到實(shí)際系統(tǒng)中；設(shè)計(jì)生理信號(hào)處理算法，包括噪聲處理、信號(hào)提取、識(shí)別分類等。
四、我國進(jìn)一步發(fā)展對(duì)策與建議
       軍事、安全、航天、航空、工業(yè)、交通、醫(yī)療、科研、文化、教育等國家重點(diǎn)領(lǐng)域，都對(duì)面向可穿戴移動(dòng)終端的多感官人機(jī)交互技術(shù)有著重大戰(zhàn)略需求，我國政府需要從戰(zhàn)略布局上著力推動(dòng)相關(guān)研究和應(yīng)用，具體對(duì)策如下：
       1. 加強(qiáng)前沿研究。在國內(nèi)已有的技術(shù)儲(chǔ)備基礎(chǔ)上，加強(qiáng)對(duì)相關(guān)前沿技術(shù)的支持，在現(xiàn)有框架下，加大對(duì)面向可穿戴移動(dòng)終端的多感官人機(jī)交互研究的支持，研究新型交互技術(shù)、媒體資源管理技術(shù)，開發(fā)低成本、高性能的普適型設(shè)備，培養(yǎng)一批專業(yè)人才，制訂相關(guān)技術(shù)標(biāo)準(zhǔn)，提高核心設(shè)備與技術(shù)的本土化水平。
       2. 促進(jìn)產(chǎn)學(xué)研協(xié)作。建議探討產(chǎn)學(xué)研用一體化發(fā)展的創(chuàng)新機(jī)制，打造產(chǎn)學(xué)研用鏈條，消除科技創(chuàng)新中的“孤島現(xiàn)象”，探索新興創(chuàng)新模式，通過產(chǎn)學(xué)研用相結(jié)合的模式，實(shí)現(xiàn)優(yōu)勢資源互補(bǔ)，形成互惠互利的產(chǎn)業(yè)生態(tài)體系，將核心技術(shù)真正轉(zhuǎn)化為可用的服務(wù)平臺(tái)和系統(tǒng)，有效推進(jìn)產(chǎn)業(yè)的發(fā)展。
       3. 發(fā)揮跨領(lǐng)域研究的優(yōu)勢。通過跨行業(yè)的協(xié)會(huì)組織形式，圍繞醫(yī)學(xué)、工業(yè)、國防、文化、教育等領(lǐng)域的重大問題，如人體及人腦計(jì)劃、單兵信息系統(tǒng)、智慧博物館、交互式媒體等為切入點(diǎn)，組織應(yīng)用領(lǐng)域、技術(shù)研究、藝術(shù)設(shè)計(jì)等多個(gè)方面的跨學(xué)科研究隊(duì)伍，推動(dòng)交叉研究，利用普適型交互所提供的新方法和新手段，為應(yīng)用行業(yè)的技術(shù)發(fā)展注入活力。
       4. 促進(jìn)應(yīng)用。積極預(yù)測多感官交互技術(shù)在未來大眾日常生活中的應(yīng)用模式，探討其與信息技術(shù)領(lǐng)域中互聯(lián)網(wǎng)、移動(dòng)通訊、大數(shù)據(jù)、云計(jì)算、智慧城市等方向深度融合的方式，與國內(nèi)優(yōu)勢企業(yè)合作建立新一代網(wǎng)絡(luò)平臺(tái)，實(shí)現(xiàn)技術(shù)應(yīng)用，促進(jìn)相關(guān)產(chǎn)業(yè)的快速發(fā)展，在國際信息領(lǐng)域的變革中搶占先機(jī)。

【注】本報(bào)告為科技創(chuàng)新戰(zhàn)略研究專項(xiàng)項(xiàng)目“重點(diǎn)科技領(lǐng)域發(fā)展熱點(diǎn)跟蹤研究”(編號(hào)：ZLY2015072）成果之一。

    本文特約編輯：姜念云