文/傅耀威 孟憲佳 王涌天
（科技部高技術(shù)研究發(fā)展中心 西北大學(xué) 北京理工大學(xué)）
       人機交互技術(shù)是可穿戴移動終端系統(tǒng)及相關(guān)應(yīng)用的核心技術(shù)，也是近年來國內(nèi)外的研究熱點?？纱┐饕苿咏K端在軍事、工業(yè)、醫(yī)療、航天航空、體育教育等領(lǐng)域有著廣泛的應(yīng)用前景，近年來涌現(xiàn)了大量可穿戴移動計算中的人機交互理論、技術(shù)、應(yīng)用研究，為推進計算系統(tǒng)小型化、普適化、智能化起到了巨大的作用。本文主要對可穿戴移動終端的多感官人機交互技術(shù)發(fā)展現(xiàn)狀和趨勢進行了梳理分析，并提出了有關(guān)對策建議。
一、關(guān)于可穿戴移動終端的多感官人機交互技術(shù)
       人機交互是一門對人類使用的交互式計算系統(tǒng)進行設(shè)計、評估和實現(xiàn)，并對其所涉及的主要現(xiàn)象進行研究的學(xué)科。自然人機交互利用先進的傳感器技術(shù)捕捉和感知人類豐富的動作、行為以及生理變化，利用先進的計算技術(shù)理解人的交互意圖,并提供符合認知的反饋呈現(xiàn)，從而使人們能更方便地利用信息。其中受到最多關(guān)注的技術(shù)有：
       1. 增強現(xiàn)實技術(shù)
       借助光電顯示技術(shù)、交互技術(shù)和計算機圖形與多媒體技術(shù)，將計算機生成的虛擬環(huán)境與用戶周圍的現(xiàn)實環(huán)境融為一體，因此要求其跟蹤定位算法具有實時、魯棒和精確的特點。近年來，以視覺為基礎(chǔ)的同時定位與地圖構(gòu)建技術(shù)成為國內(nèi)外學(xué)者的研究熱點。
       2. 力覺與觸覺反饋
       力覺反饋強調(diào)虛擬模型之間交互而產(chǎn)生的力，如：碰撞力、重力等；觸覺反饋則強調(diào)人對虛擬模型各種表面屬性，如：硬度、粗糙度、接觸、滑動和擠壓等的感知。力覺和觸覺反饋同時存在于人的日常交互行為中，二者均是由力反饋設(shè)備輸出反饋力，通過人的表皮神經(jīng)末梢將反饋力傳輸?shù)酱竽X后被人感知的。
       3. 頭盔顯示器
       頭盔顯示器是一種佩戴在用戶頭部，通過光學(xué)系統(tǒng)為用戶提供可視文本、圖像或視頻的顯示裝置。隨著設(shè)計和加工工藝的不斷改進，光學(xué)系統(tǒng)的尺寸、重量不斷下降，頭盔顯示器已不再需要像頭盔一樣戴在頭上，逐步向著類似眼鏡的佩戴方式發(fā)展。
       4. 手勢識別
       指利用特定的設(shè)備，通過傳感器獲得手部姿態(tài)、位置以及動作信息，借由手勢識別算法對手勢進行識別,并完成對應(yīng)的指令。根據(jù)不同的設(shè)備類型，手勢識別可分為基于視覺的手勢識別與基于數(shù)據(jù)手套的手勢識別；根據(jù)用戶手勢的不同，可分為動態(tài)手勢識別與靜態(tài)手勢識別。
       5. 自然語音識別與生成技術(shù)
       通過采集、識別用戶的語音，進行語音特征的分析、自然語言的識別，以及用戶情感和意圖的理解，同時進行擬人化的語音生成和情感再現(xiàn)。
       6. 生理計算
       作為一種新型人機交互技術(shù)，生理計算已逐漸成為產(chǎn)業(yè)界關(guān)注的熱點。在這種計算模式下，用戶無需主動地執(zhí)行交互任務(wù)，通過穿戴式生理傳感設(shè)備,實時分析用戶的生理信號，并對用戶做出反饋。腦機接口做為生理計算技術(shù)中的一個關(guān)鍵點，通過外接或植入式的方式,來采集和分析人或動物的大腦信號進行交互。
二、世界發(fā)展現(xiàn)狀與趨勢
       1. 發(fā)展現(xiàn)狀
       國際上，美國麻省理工學(xué)院媒體實驗室，在可穿戴計算技術(shù)和人機交互技術(shù)研究方面一直站在最前沿。谷歌、微軟等公司也在手勢交互、交互設(shè)計開發(fā)工具、交互意圖理解、智能眼鏡方面處于世界領(lǐng)先地位。其它高校、機構(gòu)及企業(yè)，包括斯坦福大學(xué)、多倫多大學(xué)、IBM公司在面向可穿戴終端的人機交互技術(shù)中的部分成果，處于國際領(lǐng)先地位。
       在過去的近20年中，研究者們已提出多個解決增強現(xiàn)實技術(shù)中的同時定位與地圖構(gòu)建問題的經(jīng)典系統(tǒng)。隨著GPU處理器和深度相機的出現(xiàn)和普及，同時定位與地圖構(gòu)建系統(tǒng)呈現(xiàn)出由稀疏地圖構(gòu)建，向稠密或半稠密地圖構(gòu)建的發(fā)展方向。此外，同時定位與地圖構(gòu)建問題的研究，逐漸向移動端進行移植和應(yīng)用?；谕瑫r定位與地圖構(gòu)建技術(shù)開發(fā)的代表性產(chǎn)品有微軟的Hololens和谷歌的Project Tango。
       2001年法國學(xué)者Robles-De-La-Torre等在Nature上發(fā)表的論文，為可穿戴移動終端實現(xiàn)裸指觸覺再現(xiàn)，提供了重要的理論依據(jù)。近年來，美國、芬蘭、日本等國家都驗證了多媒體終端裸指觸覺再現(xiàn)的可行性。目前，觸覺再現(xiàn)渲染方法研究主要集中在機械力觸覺再現(xiàn)設(shè)備上，觸覺交互界面研究剛剛起步，觸覺交互裝置的能力還未得到充分發(fā)揮，多媒體觸覺交互界面范式與開發(fā)工具尚未形成，人類的觸覺感知特性仍然沒有完全被獲知，尚未形成定量化、可標準化的度量方法。
       頭盔顯示器自1966年問世以來，首先在軍事上發(fā)揮著重要角色，如美國Honeywell公司IHADSS頭盔顯示器。近幾年，面向消費市場的民用頭盔顯示技術(shù)逐步發(fā)展起來，出現(xiàn)了很多商業(yè)化的產(chǎn)品，如2013年Oculus VR公司推出的Oculus Rift，具有高分辨率、大視場角、輕質(zhì)量的特點。在透視式顯示方面，微軟公司在2015年發(fā)布了Hololens，具有良好的顯示性能，可以準確地實時跟蹤用戶的頭部運動，提供即時的交互體驗。
近年來使用機器學(xué)習進行手勢識別和分類的方法，成為主流解決方案，如2014年微軟研究院Krupka等提出了判別式蕨類分類器，在深度圖像和紅外圖像上實現(xiàn)了手勢的快速準確分類。但是目前的算法大多僅能應(yīng)用于室內(nèi)的桌面型應(yīng)用，同時訓(xùn)練速度較慢，目前尚未出現(xiàn)針對可穿戴增強現(xiàn)實應(yīng)用的實時手勢識別方法。
       在自然語言識別方面，目前國際上也啟動了多個研究項目，如美國IBM公司長期經(jīng)營的“Watson”計算機系統(tǒng)項目，日本的“Todai機器人”項目，DARPA的“大機制（Big Mechanism）”研究項目。
近年來，生理計算已逐漸引起學(xué)術(shù)界和產(chǎn)業(yè)界的共同關(guān)注。ACM SIGCHI年會在2010和2011年，分別舉辦了關(guān)于生理計算的研討會。國際上許多著名的大學(xué)和研究機構(gòu)，目前也逐步在開展生理計算方面的研究。生理信號的采集已逐漸從傳統(tǒng)傳感器采集向納米織物采集過渡，即通過設(shè)計新型納米材料，在長期舒適的穿戴中智能化地采集心電、肌電等生理信號。
       2. 發(fā)展趨勢與重點
       作為今后的計算平臺接口和終端技術(shù)，多感官可穿戴移動終端有望取代手機，成為人們與信息世界交流的主要通道，提供前所未有的虛擬存在感和接近真實的虛擬社交，能夠更直接地影響使用者的文化接納、觀念接納和意識形態(tài)接納，并可很快成為思想理念賴以傳播的主要途徑，這將造就巨大的消費品市場、推動人類生存方式演化的進程，并有力推動經(jīng)濟發(fā)展。
       經(jīng)過多年的發(fā)展，雖然面向可穿戴移動終端的多感官人機交互的基本概念和基本實現(xiàn)方法已經(jīng)初步形成，并取得了很多較好的應(yīng)用成果，但仍面臨很多基本的理論與技術(shù)挑戰(zhàn)，具體包括：
       一是如何提高計算單元的運算性能問題。計算單元的運算性能，決定了多感官可穿戴設(shè)備的參數(shù)是否能“達標”，是否可以提供所需要的計算量。為了流暢地運行一個多感官交互應(yīng)用，需要一臺配置比較高的電腦才能滿足要求，這就會限制了用戶的行動。因此提高計算單元的運算性能，并且能夠保持一定的移動性和較低的價格是行業(yè)面臨的一個重要的問題。
       二是如何進一步提高信息傳輸速度。借助無線局域網(wǎng)絡(luò)有望解決高運算性能和移動性之間的矛盾，然而目前的無線局域網(wǎng)絡(luò)的數(shù)據(jù)傳輸速率尚難以滿足連接頭盔顯示器和計算單元的要求。為了避免延遲、卡頓等問題，傳輸過程需要較大的網(wǎng)絡(luò)帶寬，這也為未來的5G網(wǎng)絡(luò)提供了一個巨大的應(yīng)用市場。
三、我國發(fā)展現(xiàn)狀與水平
       在自然人機交互技術(shù)方面，國內(nèi)中科院軟件所、北京理工大學(xué)、清華大學(xué)、北京航空航天大學(xué)等學(xué)術(shù)單位，聯(lián)想、華為、中興、鴻合等著名公司也在開展這方面的研究工作。雖然自然人機交互的研究已經(jīng)具備了一定的基礎(chǔ)，但在多源信息獲取、感知、認知等方面的核心技術(shù)還有待突破，亟需突破關(guān)鍵技術(shù)，形成交互設(shè)備和軟件工具，并面向教育、辦公、醫(yī)療等領(lǐng)域構(gòu)建主流應(yīng)用，推動我國在人機交互領(lǐng)域的研究和應(yīng)用達到國際先進水平。
       在面向可穿戴終端的人機交互技術(shù)方面，中科院軟件研究所、北京理工大學(xué)在手勢交互、頭戴式混合現(xiàn)實交互研究中非常突出，同時也針對腦機接口做了突出工作。清華大學(xué)在手表、基于皮膚的交互感知、眼鏡、腦機接口、基于呼吸的交互通道等方面取得了較好的科研成果。此外，國內(nèi)的其他高校、機構(gòu)，包括北京航空航天大學(xué)、中國科技大學(xué)、中國科學(xué)院計算技術(shù)研究所等，在面向可穿戴終端的人機交互技術(shù)中，也產(chǎn)生了非常出色的成果。
       在基于視覺的同時定位與地圖構(gòu)建方面，我國代表性的研究工作包括浙江大學(xué)于2013年提出的針對動態(tài)場景的跟蹤和地圖重建。但總體來看，我國相關(guān)的研究成果較少，大多數(shù)是在國外的技術(shù)研究上面加以改進，缺少理論上的突破與創(chuàng)新。相比于國外，我國的同時定位與地圖構(gòu)建研究發(fā)展較為落后，需進一步加強科技投入，提升基礎(chǔ)研究能力。
       在力觸覺交互領(lǐng)域的研究單位包括吉林大學(xué)、北京理工大學(xué)、北京航空航天大學(xué)、東南大學(xué)等。其中，吉林大學(xué)專注于多媒體終端觸覺再現(xiàn)機理與裝置，北京理工大學(xué)主要研究三維視覺對象的觸覺交互與可信評測，北京航空航天大學(xué)主要研究力觸覺生成方法和力觸覺反饋度量等。從整體上講，仍不夠系統(tǒng)深入，國際學(xué)術(shù)影響力還比較弱，無法滿足多媒體終端產(chǎn)業(yè)對基礎(chǔ)科學(xué)研究成果的需求。
       在頭盔顯示器的研究方面，國內(nèi)院校如北京理工大學(xué)、浙江大學(xué)、中科院長春光機所等，都對頭盔顯示器進行了研究，取得了較好的成績。中科院長春光機所設(shè)計完成了離軸雙自由曲面頭盔顯示系統(tǒng)；北京理工大學(xué)設(shè)計研制了基于自由曲面棱鏡的光學(xué)透射式頭戴顯示設(shè)備，達到了國際領(lǐng)先水平。
       基于視覺的手勢識別技術(shù)仍處于實驗室開發(fā)階段，實際產(chǎn)品較少，且功能較為單一，無法滿足使用者的需求。國內(nèi)院校如清華大學(xué)、中國科學(xué)技術(shù)大學(xué)、哈爾濱工業(yè)大學(xué)等都提出了自己的算法。在基于視覺的手勢識別中，靜態(tài)手勢識別的研究較為成熟，而動態(tài)手勢的識別還面臨著許多困難，尤其是對復(fù)雜背景的適應(yīng)方面，以及快速運動物體檢測方面，識別率無法達到滿意的要求。
       從海量信息中理解語音及交互意圖是人機交互的重要環(huán)節(jié)。國內(nèi)浙大、中科院自動化所、百度、科大訊飛等在該領(lǐng)域取得了很大進展。
       在生理計算和腦機接口方面，國內(nèi)浙江大學(xué)、華南理工大學(xué)、清華大學(xué)、北京理工大學(xué)、中國科學(xué)院等單位也在進行許多有益的探索工作。研究如何將心理生理學(xué)理論應(yīng)用到實際系統(tǒng)中；設(shè)計生理信號處理算法，包括噪聲處理、信號提取、識別分類等。
四、我國進一步發(fā)展對策與建議
       軍事、安全、航天、航空、工業(yè)、交通、醫(yī)療、科研、文化、教育等國家重點領(lǐng)域，都對面向可穿戴移動終端的多感官人機交互技術(shù)有著重大戰(zhàn)略需求，我國政府需要從戰(zhàn)略布局上著力推動相關(guān)研究和應(yīng)用，具體對策如下：
       1. 加強前沿研究。在國內(nèi)已有的技術(shù)儲備基礎(chǔ)上，加強對相關(guān)前沿技術(shù)的支持，在現(xiàn)有框架下，加大對面向可穿戴移動終端的多感官人機交互研究的支持，研究新型交互技術(shù)、媒體資源管理技術(shù)，開發(fā)低成本、高性能的普適型設(shè)備，培養(yǎng)一批專業(yè)人才，制訂相關(guān)技術(shù)標準，提高核心設(shè)備與技術(shù)的本土化水平。
       2. 促進產(chǎn)學(xué)研協(xié)作。建議探討產(chǎn)學(xué)研用一體化發(fā)展的創(chuàng)新機制，打造產(chǎn)學(xué)研用鏈條，消除科技創(chuàng)新中的“孤島現(xiàn)象”，探索新興創(chuàng)新模式，通過產(chǎn)學(xué)研用相結(jié)合的模式，實現(xiàn)優(yōu)勢資源互補，形成互惠互利的產(chǎn)業(yè)生態(tài)體系，將核心技術(shù)真正轉(zhuǎn)化為可用的服務(wù)平臺和系統(tǒng)，有效推進產(chǎn)業(yè)的發(fā)展。
       3. 發(fā)揮跨領(lǐng)域研究的優(yōu)勢。通過跨行業(yè)的協(xié)會組織形式，圍繞醫(yī)學(xué)、工業(yè)、國防、文化、教育等領(lǐng)域的重大問題，如人體及人腦計劃、單兵信息系統(tǒng)、智慧博物館、交互式媒體等為切入點，組織應(yīng)用領(lǐng)域、技術(shù)研究、藝術(shù)設(shè)計等多個方面的跨學(xué)科研究隊伍，推動交叉研究，利用普適型交互所提供的新方法和新手段，為應(yīng)用行業(yè)的技術(shù)發(fā)展注入活力。
       4. 促進應(yīng)用。積極預(yù)測多感官交互技術(shù)在未來大眾日常生活中的應(yīng)用模式，探討其與信息技術(shù)領(lǐng)域中互聯(lián)網(wǎng)、移動通訊、大數(shù)據(jù)、云計算、智慧城市等方向深度融合的方式，與國內(nèi)優(yōu)勢企業(yè)合作建立新一代網(wǎng)絡(luò)平臺，實現(xiàn)技術(shù)應(yīng)用，促進相關(guān)產(chǎn)業(yè)的快速發(fā)展，在國際信息領(lǐng)域的變革中搶占先機。

【注】本報告為科技創(chuàng)新戰(zhàn)略研究專項項目“重點科技領(lǐng)域發(fā)展熱點跟蹤研究”(編號：ZLY2015072）成果之一。

    本文特約編輯：姜念云