下一個革命性的人機互動方式會是什麼？
知乎使用者2018-11-14 19:01:12我只分析分析，不做任何預測~
1。首先我們來下個定義
這個題目吼大，我覺得一開始需要對“革命性”有個相對清晰的定義。
什麼是革命性的人機互動方式？我覺得是新場景下人與資訊世界交流時使用的與現在完全不同的行為模式。
從微觀上，也就是從互動方式上看，這幾十年來有兩個明顯的革命性人機互動方式：（1）操控計算機從DOS指令到用滑鼠進行圖形介面的操作 （2）操控手機從物理按鍵到多點觸控（這裡需要強調“多點”，多點觸控和單點觸控革命性意義完全不同，正如幾十年前PDA早已是觸控屏但流行不起來，但iPhone一出來便風靡全世界）。儘管我們還有各種語音互動手勢互動的發展，但目前為止這兩個革命性的互動塑造了我們今天資訊時代的生活：我們用移動和點選滑鼠+敲打鍵盤操作電腦，我們用手指操作手機/平板——來與資訊世界溝通。
兩個顯著的革命性互動
我們簡單分析這兩個互動革命的異同，會發現一個重要的點：人操作資訊物體的方式越來越直觀和自然：打命令列刪除檔案不如直接把檔案拖進回收站，點選放大鏡放大照片不如兩個指頭向外一拉。
從宏觀上看，也就是從人的生活上看，所謂革命性，應該是滲透到日常，滲透到每種行業和群體、每個年齡層、每個人。現在幾乎每個腦力勞動從業者或學習者都需要使用電腦，幾乎每個有社交需求的人都需要使用手機。就討論人機介面/介面而言，產生革命性互動的裝置和人機介面一定是人人都能有並且隨處能使用——人數量+空間與時間維度的貫穿才有革命的資本，這意味著它可能會更加輕便、易攜、甚至看不見。
而場景也可以從宏觀考慮：二十年前我們會下樓和小夥伴玩，但現在很多孩子會選擇坐在電腦前上網、玩遊戲；二十年前我們在公車通勤時睡覺想事情發呆，但現在大家在地鐵上刷手機——都是這兩個革命性互動帶來的新社會場景。而下一個革命性的人機互動方式，必然也會出現一個和現在完全不同的人人都有的新場景。
人與資訊世界互動場景（圖片未找到出處， 侵刪）
那經過簡單的分析彷彿可以對“革命性的人機互動方式”下個定義了：
【Human維度】人使用更加符合現實世界的直覺且自然的行為
【Computer維度】計算載體可以隨處使用，私有化更強，更小輕便、易攜（但必須提供有效的output，例如視覺介面，聽覺介面，觸覺介面。。。）
【Scene維度】幾乎人人都會用，人人都在用，日常生活必不可少，社會的新場景
2。 我們拿這個定義分析一下現有的答案
那麼，如果大體能夠認同這個定義的方向，我們可以來分析一下現有的大家的一些觀點：
“基於手指操作的”/“和手有關”：
。。。我理解這只是說了某種用作輸入的身體部位，不算是互動。其實用手指操作的互動有無數種。
“我希望手持裝置擁有視覺”：
描述的是一個概念，也不是互動，怎麼和這個有視覺的手持裝置溝通，才是人機互動方式。。。
“
場互動”：
雖然有互動兩個字，但描述的還是一個概念。所謂場互動，其實我理解就是Situated Interaction ［1］，或者更廣義一點，Ubiquitous computing 普適計算，雖然我也很好看它的革命性，但它依然不算是某種互動方式。在普適計算的語境下，人怎麼和裝置們交流，才是人機互動方式。
“大尺寸螢幕的互動”：
從互動方式角度來說，它也很泛。前面回答只定義了輸入部位，這個回答只說了人機介面是什麼。但從我們的定義中也能發現這個答案想表達的互動可能成為革命的可能性不大，首先不會每個人隨時隨地都搬出一個大螢幕，使用場景很有限；就算螢幕是投影的而不是物理的，那麼每個人都需要很大的空間來操作或者放置螢幕；地鐵上大家想要看個新聞咋辦“誒 哥們，你操作到我的螢幕了”。但換句話說，拋開我們所下的定義，如果是在同位協同工作場景中，它很可能會成為主流。
“語音互動”：
算是一個互動方式了，並且很自然很直覺，人人都會，成本也很低，並且攜帶的設裝置可以很小（例如電影《Her》描繪的）。儘管我們會考慮很多技術問題，比如複雜語義和情感的處理，但先拋開不談的話，語音真是個很不錯的互動方式。有人會說，公眾場合下用語音是件奇怪的事情，所以語音互動物理場景只能是在私人空間中。其實這是一個很社會心理學的問題，如果未來社會出現的新場景是，每個人都在對著自己裝置言語，那麼在公眾場合你使用語音互動也會很自然了。當然，在安靜的環境下，確實得有輔助的互動方式存在。
“腦互動”：
算是比較未來感的互動方式，我認為它一定是“革命性”的，但不會是“下一個”。人腦和計算機其實早就可以傳遞、接受、控制一些簡單的資訊了，但還十分不穩定，無法進行復雜的互動，在人腦還沒研究透徹的今天，它離尋常百姓都能無障礙使用的場景可能還很久很久。。。［2］
。。。。。
3。 現有答案不滿意，那我們從定義出發再思考一圈
感謝大夥兒提供了很多有趣的思路。現在讓我們從定義出發重新思考這個問題。我們拿剛剛定義的維度，與目前主流的也就是上一波革命帶來的互動方式——螢幕多點觸控相比較。
滿足“人操作比現在更自然和符合直覺”的條件，在未來五年有技術成熟的可能性：
我們用目光來表達聚焦和感興趣甚至溝通（Gaze-based Interaction）
我們用語言來和人交流：語音互動 （Voice Interaction）
我們在現實世界中操作物體的方式很三維，會拿前拿後放上放下還會旋轉，而不像手機介面一樣只能在平面上拉動拖拽 （3D Interaction / Tangible Interaction）
滿足“計算載體隨處使用，輕便且私有化”的條件，在未來五年有技術成熟的可能性：
一個類似藍芽耳機的智慧裝置可以只讓你聽到聲音（周圍人聽不到）
一個類似於眼睛或者投射在視野前的智慧裝置可以只看你看到畫面（周圍人看不到）
一個貼上在手臂、手背或者是手指上的柔性介面裝置
說到這裡問題又來了，我們曾經用手指可以很簡單的進行資訊物體的選擇+操作，而剛剛提到的這些可能性好像並不像手指操作這麼簡單。比如用計算機說“C4單元格”遠沒有直接手指一點它來的方便（心疼TNT一秒），用眼睛去刪除一條資訊也遠沒有手指操作方便。到這裡，很多答友就下了結論“手指精確度最高！成本最低，未來還是用手指來操作！”。前半句我同意，至於後面嘛，我覺得需要補充一下一個我們可以討論這個話題的基礎——多模態互動（Multi-Modal Interaction）。
4。 多模態互動可能是基礎
模態是什麼？通俗來說人身體和世界交流的基本渠道都可以稱為模態：視覺、聽覺、觸覺、味覺，甚至從某種程度說手勢和肢體語言都可以。。。
每個模態有它本身的優勢和缺點，例如選擇一個物體，看一下它遠比手指點選它高效得多；執行一個複雜操作，用白話表達你的意圖遠比自己拆解成步步的手或者滑鼠的操作高效得多。（所以例如類似TNT的使用場景，可能更多的是“把這些資料的平方差算出來”，而不是“選擇C4到C8，然後。。。”）。
我們回到現實生活，你會發現人和外界交流時一定是多模態互動的，和人交流你要看要聽要說，挑選衣服你要看要摸要聞。多模態互動帶來的不僅是資訊更加精確和全面，還有自然和符合習慣的感覺。
多模態人機互動流程環 ［3］
5。 來，繼續開腦洞
說完多模態互動，再回到我們剛剛說的互動可能性。既然我們要與微小的計算機裝置上進行，在視覺模態受限的情況下（因為小螢幕，或者沒有螢幕，或者是非物理螢幕），我們可以利用其它模態來補充，並且發揮各個模態的優勢。如果我們把和資訊體的互動簡化成
“選擇-簡單處理-複雜操作”
的流程，
那麼眼動互動可以用於選擇，手指可以使用者簡單處理，語音可以用於複雜操作
。這麼一組典型的多模態互動的流行，可能會出現在不遠的將來。
那麼我們可以想想可能的場景了：
地鐵早高峰期間每個人都在忙著自己的事情：他們站著坐著，眼睛都在動。它們透過眼睛的位移和凝視時間等操控只有他們能看到的裝置介面（裝置：也許是眼鏡，也許是某種更輕便的AR裝置）。查公交、查路線、看天氣、看日程一氣呵成，不用再低頭。聽音樂的人想要切到下一首歌，用右手食指在左手手背上向右一搓（裝置：左手手背上貼上著柔性觸控介面），向上一搓調大音量。業務繁忙的人嘴裡小聲說“幫我check一下昨天Steve的郵件”，隨即郵件內容呈現在戴著的眼鏡上。
感覺說不清楚 畫一下好惹
（左）用眼動進進行選擇和瀏覽，語音進行復雜互動 （右）用手指進行簡單互動
發揮各個模態的優勢去模擬人的自然互動行為，並且支援複雜的操作，是我覺得成為下一個革命性的人機互動方式的基礎。
當然我多模態互動的組合無窮多，根據場景的不同能發揮不同的潛力，因為思考廣度有限，我就只提供了一種可能性啊哈。
最後還是想再說明一下很多人的觀點和疑問 “未來人不需要主動互動，因為計算機會根據場景的變化和人的需求自然而然的提供人需要的服務。” 是的沒錯，不論是普適計算還是場景智慧，不論是物聯網生活空間還是智慧城市，這個趨勢一定是在的並且一定會達到（我的答案其實也是建立在穩定的場景智慧、增強現實技術、語音識別技術、柔性材料普及下）。但這種場景下，人需要去做什麼？人怎麼和資訊世界交流？是這個問題需要的解答。當我們不在描述下一個革命性的場景，而是在分析在下一個革命性的場景下，人會有哪些完全不同的行為的時候，也許我的這個答案會有幫助~
參考資料
［1］ Schmidt， Albrecht， Walter Van de Velde， and Gerd Kortuem。 “Situated interaction in ubiquitous computing。”CHI‘00 extended abstracts on Human factors in computing systems。 ACM， 2000。
［2］ Millán， José del R。， et al。 “Combining brain–computer interfaces and assistive technologies： state-of-the-art and challenges。” Frontiers in neuroscience 4 （2010）： 161。
［3］ Dumas， Bruno， Denis Lalanne， and Sharon Oviatt。 “Multimodal interfaces： A survey of principles， models and frameworks。” Human machine interaction。 Springer， Berlin， Heidelberg， 2009。 3-26。
Chris Lex2019-09-07 16:29:40答：實體/物理介面與數字化相結合是一個值得探索的方向，終極形式則是寧靜技術（Calm technology）所倡導的“隱匿”的介面。
首先，實體介面的優點是數字化介面不具備的：傳統紙張等實體介面能帶給我們的觸控感，而這種這種觸覺刺激，能夠給人的大腦以更強烈的意識感和體驗感。螢幕的未來應該是融合物理和數字體驗。這裡舉一個案例：日本富士通實驗室的一個探索。透過在紙張等實體介面上增強觸控介面，實現真實世界和虛擬世界之間的無縫資料傳輸：
https：//www。zhihu。com/video/1153704373824634880
這個系統透過提取手指的顏色和輪廓特徵來識別使用者手指的形狀。其他控制相機影象的顏色和照明，具體取決於周圍的環境光。糾正單個手指之間差異的技術可以穩定地提取使用者的手指，這樣手指受環境和個體變化的影響最小：
透過增強使用者指尖的影象，該系統能夠獲得足以進行觸控檢測的精度級別，該技的指尖跟蹤速度為每秒300毫米/秒，從而能夠遵循自然手指運動。
而隨著普適計算（Ubiquitous computing）的發展，我認為人機互動介面的終極形式還是寧靜技術（Calm technology）所倡導的“隱匿”的理念。“技術應無縫地融入我們的生活，而不是讓我們時時感到技術的戰慄與恐懼；我們不會消失在電腦空間中，而是電腦將消失在我們的生活當中。在平靜互動（calm interaction）中，人們不會一直遭受資訊“轟炸”，而會因為互動而感到“安心”。出色的互動設計讓人們可以用最少的精力實現目標。
無印良配 mui：嵌入到自然木材質內的感測器與顯示
寧靜技術（Calm technology）這一理念認為：影響最深遠的技術應該是隱匿不見的，它們如纖維般融入日常生活，絲絲入扣，直至不可分辨。舉例來說，一雙舒適的鞋子、一支好用的鋼筆，乃至星期天早晨給訂報的家庭送《紐約時報》這樣的活動，它們在技術含量上絲毫不遜於個人計算機。為什麼前者常常令人平靜，而後者卻常常令人暴怒呢？我們認為其中的差異就在於它們佔用注意力的方式不同。
寧靜技術的實現有賴於普適計算的普及，普適計算又稱普存計算、普及計算（英文中叫做pervasive computing或者Ubiquitous computing）這一概念強調和環境融為一體的計算，而計算機本身則從人們的視線裡消失。在普適計算的模式下，人們能夠在任何時間、任何地點、以任何方式進行資訊的獲取與處理。
舉個例子，雖然我們還沒有意識到，我們已經生活在聯網裝置時代，比如，我們很少閱讀關於洗衣機的文章，也不太會去參加洗衣機技術大會。但是，這樣的裝置就在我們身邊。為它們提供動力的是第一種普適技術：電。電已經融入我們的環境，所以我們只能看到它對其他技術的影響。如果計算機和其他裝置能像電一樣隱於無形，不需要任何維護，那麼世界會是什麼樣子呢？韋澤和布朗所設想的技術會讓我們迴歸生活而不是脫離生活，會給我們帶來歡樂而不是焦慮，會培養人際關係，會讓我們更有人性。在他們所預見的世界裡，我們把技術當作工具，而不是被技術奴役；我們用技術進行創造，而不是消費；技術不再是我們前進路上的障礙，而是我們與生活中最重要的事情之間的紐帶；技術讓我們迴歸自我，並重新與他人聯絡在一起。同理，對於手機、電腦等智慧產品的介面而言，未來硬生生的UI介面越來越少，反而介面會融入到我們的生活當中。
寧靜技術（Calm technology）對未來介面的描述：普適計算更加智慧，介面已經融入到我們生活當中去。我們需要做的可能僅僅是一個手勢，一句語音回覆。沒有必要像現在這樣每天花大把時間面對著幾寸的手機螢幕
參考：
https：//www。
fujitsu。com/us/products
/computing/peripheral/scanners/fcpasolutions/capturepro/
王亞輝2019-09-08 21:25:18人機互動的本質，仍然是透過智慧化及數字化互動技術，進一步加強和延伸人與周圍事物的自然互動能力。所有人機互動方式都是在擴充套件人的感覺和知覺能力，從而實現自然流暢的互動。
目前的互動技術很多，以觸屏為主的
實體介面互動
［1］
佔據目前的主流地位，
語音互動逆勢而上
，正在智慧家居、車機等應用領域大展拳腳，眼動互動、手勢互動、腦電波互動、VR、AR和MR等技術也在某些特定領域發揮著重要的作用。
先引入一個概念：
從“被動互動”到“主動互動”
人工智慧時代到來，人與機器的關係、人與資料的關係、人與資訊的關係在發生著本質的變化，在這個數字化的智慧時代，傳統的
基於從命令到反饋的人機互動方式
正在被打破。被動互動的邏輯很簡單，由人給機器發號施令，機器執行並輸出結果反饋給人。
整個過程直接高效，但是並不智慧。
GUI
基於大資料並融合多感測器資訊的
“主動互動”，與被動互動相反，由機器為起點，主動輸出執行結果或使用建議給使用者，使用者根據結果或提供的建議完成具體的互動任務，在這個過程中，機器透過分析感測器獲得的大資料資訊，主動的從外界的資訊中做出判斷，
計算出使用者在當前情境下使用者需要的資訊，不再需要人來輸入或下達命令，而這個過程的輸入和輸出完全由機器來完成。
下面影片是對我理解AI與HCI比較有啟發性的影片，分享給大家！
Explainable AI and HCI
https：//www。zhihu。com/video/1154133658330808320
BMW Intelligent Personal Assistant communications system
但下一個革命性的人機互動方式會是什麼？
我說一下我的看法，我認為下一個革命性人機互動方式會是下面兩個中的其中一個，而且第一個離我們很近了。
1 主動式多模態互動
所謂“模態”，英文是modality，用通俗的話說，就是“感官”，多模態即將多種感官融合，即透過文字、語音、視覺、動作、環境等多種方式進行人機互動，充分模擬人與人之間的互動方式。這一互動方式複合機器人類產品的形態特點和使用者期待，打破了傳統PC式的鍵盤輸入和智慧手機的點觸式互動模式
［2］
。主動式多模態互動方式是智慧時代AI落地更加高效的形態，隨著不同的生態、內容服務融合到以人為中心的物聯網系統中時，多模態的互動會是未來人工智慧互動的主流互動形態。
Define Multimodal Interaction
https：//www。zhihu。com/video/1154133379229437952
2 腦機互動（腦機介面）
腦科學正在以想象不到的速度在發展著，包括中國在內的很多國家將腦科學作為重點研發領域。
不用手，不用鍵盤，直接憑藉意念，每分鐘在電腦螢幕輸出691。55位元，相當於每分鐘輸出69個漢字。8月20日至25日，2019世界機器人大會在北京舉行
［3］
，“BCI腦控機器人大賽暨第三屆中國腦機介面比賽”是大會期間舉辦的最受關注的賽事之一，每分鐘輸出691。55位元，腦控打字紀錄挑戰賽最高分。我本人一直關注腦機介面的前沿文章和新聞，首次看到這個資料還是很震驚的，無論腦機互動需要的環境和對實驗的要求多麼複雜，這個技術本身多麼不成熟，也絲毫掩蓋不了其在未來人機互動的影響和意義。
前幾天的人工智慧大會的“雙馬對話”上，馬斯克反覆提及他的腦機介面專案Neuralink
［4］
，也就是大家熟知的腦後插管。
Neuralink 是2017年馬斯克為了將人工智慧直接植入人類大腦皮層以提高人類智慧水平（即腦機介面技術）而創立的一家公司，目前已經募資超過1。58億美元，其中至少1億美元來自馬斯克本人。
Introducing Neuralink
https：//www。zhihu。com/video/1154139975468576768
馬斯克在“雙馬對話”上表示，Neuralink提供了一個人機互動的快速通道，使得資訊能隨時被上載
［5］
。“我們必須在這一技術上加快腳步跟上，留給我們的時間已經不多了。
［6］
”馬斯克說道。我相信馬斯克對未來人機互動趨勢的判斷是對的。
馬斯克的腦機介面專案介紹
https：//www。zhihu。com/video/1154140045572304896
做個小的總結
人工智慧時代以來，下一個革命性人機互動方式可能更多的是融合多種常用互動方式，主動幫助使用者完成各種任務，場景驅動的主動式人機互動將會成為主要的趨勢；腦機介面作為一種極具大膽的互動方式，所想及所行，將意識與其他智慧體和其他互動方式融合，最快的響應使用者需求，將會是未來最具突破的互動方式，不過道阻且長，腦機介面除了攻克技術難題以外，後面涉及的各種倫理問題也會成為新的阻礙，不過未來很精彩，拭目以待吧！
吳升知2020-04-18 15:13:32認同“寧靜技術”（Calm technology）的思考方向，那個回答有些地方沒講透，所以再做更深入的補充。
簡單的說，就是人機互動逐漸變得隱匿和不可見（invisible），透過對使用者的情景感知（contextual awareness）能力，最小化使用者的注意力，讓計算裝置在背景中執行。
展開之前，先回到這個問題的題幹，“下一個革命性的人機互動“。什麼是革命性的？或者再追問為什麼要革命？如果我們前提假設未來會有一個“革命性的互動方式”，那就是假設現有的互動模式有問題、有侷限、需要被顛覆。那麼現有的互動模式有什麼問題？我們不能沒有問題來硬要發明問題。我賣個關子，稍後講這個問題。
先回看一下歷史，看看最重要的人機互動革命是在什麼情況下誕生的，都解決了什麼問題。
圖形介面（Graphic User Interface）
圖形介面（GUI）應該是人機互動歷史上最重要的一次革命。計算機最早是屬於實驗室的，多人共用一臺計算機，而且使用計算機需要是經過專業訓練的專家，這個時期被Mark Weiser稱為主框架時代（Main Frame）。在這個時期的最早期，人機互動主要是靠命令列（command line），學習門檻很高、效率也低。隨著計算機的價值凸顯，成本降低，這個時候的最大問題是怎麼能讓更多沒有技術背景的人也能理解並高效的使用計算機。
The original 1984 Mac OS desktop popularized the new graphical user interface。
於是， 1973年，第一個圖形介面（GUI）在當時最前衛的施樂研究中心（Xerox Palo Alto Research Center）誕生了。幾乎同時，施樂研究中心的Alan Kay提出了“桌面比喻“（Desktop metaphor）和“紙本正規化”（paper paradigm），用比喻的方式把電腦的空間想象成一個桌面，而一個個應用就彷彿是我們桌面上的工具，把文件想象成一張張存在在電子螢幕裡的紙，而一個虛擬的檔案也第一次以一個資料夾的形式存在。
透過運用比喻（metaphors），GUI極大的幫助了非技術背景使用者理解計算機中的抽象概念，讓計算機的操作符合人們在物理世界中的心智模型（mental model），比如，把一個檔案刪除，可以把這個資料夾的圖示拖到垃圾桶圖示裡，就跟我們扔一個廢紙一樣。1984年，在施樂的GUI研究的啟發下，蘋果設計出他們第一代的Macintosh圖形介面。當然，後來被微軟Bill Gates複製去了，成功推出當時世界最流行Windows作業系統。
早期的Desktop metaphor和Paper paradigm的設計理念，在今天依然深刻影響了我們的互動介面設計。從iPhone最初的擬物化設計（Skeuomorphism），微軟的Fluent design設計語言，到Google如今沿用的Material Design，無不延續這其中的革命性思想。
其實真正對人機互動產生革命性影響的絕不僅僅是一種具體的互動形式，而是這背後所蘊藏的設計理念和思考，這種思考無論人機互動如何衍化，都能對下一代設計師和設計產生深遠的影響。
所以，這裡我想強調，我們談論下一代革命性的互動方式，如果簡單地從一個“手勢互動”，“語音互動”，“多模互動”，“腦機互動“，“AR互動”這個互動技術層面去思考其實流於表面了。首先要提問的是，我們為什麼需要下一代的互動介面，現有的互動方式有什麼問題亟待解決。
先談談非常流行的AR和手勢互動
我自己對AR/VR和手勢互動有一定研究，做的AR/VR專案在IEEE VR，人機互動最頂級的會議CHI‘（Computer Human Interaction）上也有發表過，參與過HoloKit的AR創業專案，目前在Google AR團隊做設計師，也參與了Google AR設計指南的制定，應該對這個領域有一定發言權。
我在CMU的研究生畢業論文專案
https：//www。zhihu。com/video/1234838311028015104
放一段我在CMU研究生畢業論文的多裝置間的AR手勢互動設計Demo影片，裡面都是Unity出來的working demo。我研究生的論文“多裝置間手勢互動的可供性”出版在下面的連結裡
https：//www。
blurb。com/b/9502756-aff
ordances-for-multi-device-gestural-interactions
說觀點，AR和手勢互動很酷，但從人機互動的角度講，我個人認為很難成為一種主流的人機互動方式。問題如下：
有限的效率提升
我不否認在某些場景下，AR配合手勢互動具備巨大的使用者價值，大幅提升效率。但從普通使用者日常的生活、娛樂、工作來講，AR對效率的提升沒有明顯的提升。相反，還有所下降。不少人誇大了3D和沉浸計算（immersive computing）的價值，從人的認知負荷上講，實際上2D介面讓複雜的3D資訊簡單化了，反而更容易讓大腦處理和吸收。
舉例，經常看到AR眼睛的宣傳片有3D的資料視覺化，但實際上，2D的資料更能讓人吸收和做出判斷，因為需要認知的緯度少了一維。再有，會畫畫的人都知道（我是從小學畫），對著真實模特寫生的難度要遠遠高於對著照片畫，因為照片把3維的資訊簡化提煉到2維了。
不符合人體工學 （Ergonomic）
《少數派報告》和《復聯》等科幻電影中的互動畫面很酷炫。但從人體工學角度上講，人的手是很難沒有支撐的在空中停留很長時間的，所以長時間操作手勢介面是不現實也不實用的。具體可以參考Leap Motion的文章Ergonomics in VR Design。
觸感缺失
觸感反饋是互動中極為重要的一個體驗因素，在iPhone APP Store中下載一個APP時，有多少人對“叮噹”一聲所伴隨的即時震動反饋心滿意足？有多少人體驗到MacBook觸控板在Keynote中對齊一個參考線時“嗝鐺”一下的觸覺反饋，告知使用者你的圖形Snap到參考線上了？這些細節對體驗的提升是至關重要的。
且不說這些細膩不易察覺的微互動，你使用手機觸屏的時候，清楚的知道手指碰到了螢幕，這也是一種強有力的觸覺反饋。但很遺憾，在AR手勢互動中，你甚至無法透過觸覺判斷你手指是不是觸碰到一個虛擬按鍵。
有人可能說，你可以透過視覺聽覺模擬觸覺，那麼我們來看看iPad的發展，為什麼過了這麼多年的產品迭代，蘋果花了大力氣重新給最新的iPad設計了鍵盤和觸控板，因為相比於iPad上打字，按壓物理鍵盤的觸感反饋的體驗和效率都是無可替代的。
社會習俗的接納
語音交互發展到今天，識別準確率和語義理解技術都非常不錯了，為什麼依然沒有成為大流行的趨勢，其中一個原因就是社會習俗（social norm）。人們非常不願意在公共場合和機器對話，因為不符合人的社交習俗，即便語音搜尋更快，你願意在地鐵裡用語音讓Siri給你播放你喜歡的歌曲嗎？所以語音互動更多還是應用在家庭智慧音響的領域。同樣地，手舞足蹈的手勢互動即便在辦公室，依然會影響你同事的注意力，甚至遭來異樣的目光。當然，社會習俗也是有可能會隨著科技發展而發生變化。
那麼，今天互動設計存在的真正問題是什麼？
從更宏觀的角度看，今天的互動設計的問題不是缺少一個新的AR介面，手勢互動，多模態互動或者科幻電影裡的腦機互動，新技術可能性帶確實可以帶來新的可能性和想象，但那些是以科技為中心的設計（這是科技公司非常常見的設計思路，沒有貶義，也是科技創新的內在驅動力）。然而，如果所有對未來的vision都是以炫酷技術為中心來思考，我們很可能再一次跌入Google Glass類似的矽谷技術控的思維陷阱，一不小心就讓炫酷科技的狂熱凌駕於尊重人性常識之上。
今天互動設計中最大的問題：
無數的智慧裝置，無數的螢幕，無數的提醒通知，導致大量的
資訊過載
，完全超過使用者能消化的範圍，使用者獲取越多的資訊，就越焦慮
科技公司KPI導向的商業競爭導致每個裝置和軟體都在
爭奪使用者有限的時間和注意力
。
產品和遊戲設計挖空心思地
讓使用者上癮
，於是刷個新聞、抖音就彷彿掉進時間陷阱，無窮盡的消耗使用者精力和時間。而每個人放下手機的一瞬間，感覺被掏空
在手機剛普及的階段，有心理學家發現很多人出現幻聽自己手機響了的現象，後來把這個現象叫“Phantom vibration syndrome“，也叫ringxiety（鈴聲焦慮）。近些年，手機鈴聲被震動和人們頻繁的檢查手機的習慣取代了，於是出現了一個新的焦慮“低電量恐懼”，不少人每當手機電量低於10%又無法立即充電就產生巨大焦慮感。
這中趨勢真的是我們希望科技引領的未來嗎？
那麼如何解決這些問題，下一代人機互動的方向是什麼？
我非常認同Mark Weiser的“寧靜技術”Calm technology的理念，其中最重要的一篇文章叫《面向21世紀的計算機》（The Computer for the 21st Century）。這個理念的核心建立在普適計算（Ubiquitous computing）的前提下，其實就是今天講的萬物互聯。在十幾年前，萬物互聯的互動幾乎是個偽命題，因為大家只有1-2個計算裝置（主要是手機和電腦），但今天隨著計算裝置的增加，這個問題講會逐漸凸顯。我們曾經一直再給裝置做加法（加晶片，加螢幕），未來我們需要給智慧裝置做減法。讓人機互動雖然無處不在，但又隱匿不見。
那麼怎麼做？我基於“寧靜技術“的理念基礎上拋磚引玉：
非常喜歡白色的這款Nest的設計，透過磨砂屏的處理，去除了科技感，反而讓電子螢幕有點像是個有溫度的水彩畫
1. 去螢幕/超螢幕，最小化使用者注意力
好的互動應該像水一樣，潤物細無聲。我們曾經解決問題的方式總是“砸一個螢幕上去”，彷彿一個沒有螢幕的產品就不是網際網路智慧時代的好產品。比較認同Golden Krishna的觀點“最好的使用者介面就是無介面”（和他書的名字一樣《The best interface is no interface》）
智慧燈泡都配有一個APP，但為什麼不能我回到家、走到房間裡就自動開燈？而回到屋子裡睡覺時就自動關閉？（當然也又公司在做了，比如Nanoleaf）
家裡的恆溫器為什麼不能感知我生活習慣，自動根據我的習慣調節溫度？（Nest做到了，也成為歐美地區最暢銷的恆溫器之一）
當你手裡拎滿購物袋走到車裡的時候，為什麼後備箱不能自動開啟？（不少車已經支援車主揣著鑰匙了踢一腳就能開後備箱，但未來隨著計算機視覺的進步，這一步也可以省略，要知道現在大部分車都有後置攝像頭）
為什麼藍芽耳機要開啟手機藍芽設定才能連線和斷開，為什麼不能戴上即連線，摘下即斷開？（AirPod做到了，然後成為全世界最賺錢的耳機，也定義了整個行業標準）
去螢幕、最小化使用者注意力的設計思維已經在逐漸發生，並且也證明了其商業價值。超越螢幕思維，擁抱人們最基本的行為習慣說起來再簡單不過，但也卻是App時代留給我們的病根。
2
。
感知使用者情境（contextual awareness），主動適應（Proactive adapt）使用者需求
情境感知是利用裝置各種感測器來識別和推測使用者意圖，從而做出最合理的互動決策和推薦。
舉個現有的例子，每天早上開車上班，我坐進駕駛室，把手機放到支架上，蘋果地圖會自動告知我交通堵塞情況，需要幾分鐘到公司，也會一鍵找到最優路線導航到公司。
這個貼心的智慧推薦怎麼做到的，他透過GPS資料，知道我位於家附近，然後根據時間推斷是我常規上班時間段，然後檢測到我的手機透過藍芽自動連結到了車載系統，於是推測我要去公司。並不是個非常複雜的邏輯，任何瞭解你生活習慣的人在你坐上車的同時，都能做出同樣的判斷。
透過簡單的情境感知和預測使用者意圖，來用最小的使用者輸入，用簡單的技術來幫助使用者完成任務
。這裡就是Calm tech設計原則中講的
能解決問題所需的最少的技術就是正合適的技術（The right amount of technology is the minimum needed to solve the problem）
Google Home Hub作為一個家庭的公共裝置，能透過攝像頭識別使用者是誰，從而顯示關於這個使用者的推送資訊也是情景感知的第一步。這種技術能力會隨著計算機視覺和各種物聯網感測器的豐富而更強大和智慧，也更加能讓裝置更主動適應於每個個體的需求。
3. 讓多個裝置像一個一樣工作
我們在設計每個智慧裝置時，總是希望能在這個裝置中新增更多的功能，而很少去考慮一個裝置如何在一個整體網路中扮演自己的角色。於是每個裝置都成為一座孤島，相互獨立運作，缺乏溝通協作，甚至是重複幹同樣的事情。
舉一個我幾乎每天都用的一個實踐案例，當同一個Apple ID登陸多個蘋果裝置時，你可以在一臺裝置上覆制，在另一臺裝置上直接貼上。沒有任何多餘的UI，甚至連一個從另一個裝置上跳出來的UI提醒都不需要，互動方式讓科技隱形在背後，毫無冗餘，實用且易懂。Just works！
再舉個日常的糟糕體驗的例子，一個使用者擁有智慧手錶，手機，耳機，可能還在看著膝上型電腦，他把一個IM軟體（比如微信）同時登陸到多個終端上，這時候，來了一條資訊或語音通話。於是，突然間，手錶震動了，耳機響了，手機亮了，電腦也彈出了提醒。
每當類似的情景發生時，我總是感覺像被冒犯了，就好像一個人來你家敲門，他不僅使勁敲門，給你打電話，還外加同時在門外喊你。唯一的解釋就是他有個急迫不得了的事要（比如家裡著火了），要不然相信大部分人都能認同這個人非常沒有禮貌。而今天，我們的智慧裝置就是在重複這種“沒有禮貌”的行為。
再舉個多端聯動的例子，你如果和你愛人用手機打影片通話，當你走到廚房開始做飯時，影片能不能自動切換到廚房的有屏音響，這樣就不需要用溼漉漉的手去拿手機？
隨著各個科技公司致力於打造一個智慧裝置的生態系統，讓多個智慧硬體和軟體多端聯動，這個問題會越來越被重視，也是Google提出Ambient Computing的概念的初衷。而這部分的能力，需要從底層OS系統的搭建，硬體生態的佈局、以及每個具體軟體產品的設計做系統性的思考和戰略規劃，目前有這種實力的公司也確實屈指可數。
Keiichi Matsuda用Critical Design的方法營造了一個反烏托邦的增強現實世界，來自影片“Hyper reality”
總結：
我不認為下一個革命性的人機互動方式是由某一種具體的媒介來代表（比如手勢，AR，語音，多模態）等，因為這些思維模式依然停留在把“人機互動模式”作為問題本身了，互動模式是解決問題的媒介，而不是問題本身。當然，新的互動模式會隨著新媒介更廣泛的應用而興起，但我很難把這種改變定義成革命性的改變。圖形介面讓計算機成為每個人都能使用的工具，手機觸屏互動讓計算裝置和我們形影不離，這都是革命性的。
下一代革命，將會是要解決如何讓無數的螢幕，無數的智慧裝置與環境、與人更好的共生，讓人成為更好的人，而不是成為被計算計物化的“使用者“。Mark Weiser的“寧靜技術”（Calm technology）在上世紀末就指出可一個可行的道路，這是一條看似與搶奪使用者注意力的現代商業邏輯背道而馳的道路，但也許過了很多年我們會發現，大智若愚，或許讓科技“消失”在背景，最小化人的注意力，讓每個人成為更好的人，才是最智慧的商業邏輯。
我想這場革命可能不會是像iPhone出現一樣的轟轟烈烈，而會更加潤物無聲。希望等到10年，20年後，我們的世界不是像Keiichi Matsuda影片描繪的一樣，變成充斥著AR資訊和螢幕的反烏托邦（Dystopia）世界，而是秉承寧靜技術的理念，讓科技隱匿不可見，消失在背景，無聲無息地輔助人和人，人和物，人和自然的互動。
最後用Calm Technology的倡導者Amber Case的一個設計原則結尾：
Technology should amplify the best of technology and the best of humanity
設計應該強化科技和人性最好的一面。
———————————————————
對這個話題感興趣的童鞋，歡迎關注我的知乎專欄：
隱形的介面：萬物互聯時代的互動設計
https：//
zhuanlan。zhihu。com/c_12
36335814964682752
夏冰瑩2020-04-19 14:28:37拋磚引玉了。
我期待看到的下一個人機互動大動作是
multimodal interaction
，
多模態互動
。一些別的回答已經提到，但我想要深入討論一下。
這個詞在人機互動領域其實已經存在幾十年了，指的是一件事可以透過多種互動方式做到。很多小範圍的互動實際上也已經達到了多模態，比如打字輸入這件事，你可以在實體鍵盤上打字、可以在觸屏鍵盤上打、可以用觸控筆或手寫輸入，也可以用語音輸入。
但是，我們離真正的、全面並且無縫銜接的多模態互動，還差那麼一點。
首先丟擲利益相關，我是做
無障礙互動設計
的，就是針對有視覺/聽覺/肢體/言語/認知障礙的使用者做設計。
無障礙領域的一大基石是，
所有人都在某些時候是殘障人士
。
視覺障礙，可以是眼盲，也可以是開車的時候眼睛放在路上沒法看手機。
聽覺障礙，可以是耳聾，也可以是在嘈雜的餐館裡聽不清朋友說話。
肢體障礙，可以是截癱，也可以是做飯的時候騰不出來手操作手機。
言語障礙，可以是失語症，也可以是出國旅遊無法和當地人溝通。
認知障礙，可以是阿茲海默症，也可以是忙了一天累得腦袋轉不動。
使用者（人）與裝置（機）之間的互動，是由
輸入 (input)
和
輸出 (output)
兩部分組成的。任何輸入或者輸出方式都要透過使用者的某個感知能力才能成立。
目前主流裝置中，普遍的輸入和輸出模態有以下幾種：
裝置輸出：視覺、聽覺、觸覺；使用者輸入：觸控、語音
任何障礙，無論是永久性的障礙（如眼盲/耳聾），還是情境性或臨時性的障礙（如開車/做飯），都會影響到使用者某些模態的感知或操作能力。
視覺障礙會影響視覺輸出和觸碰輸入（僅限於無法觸碰精準的位置），肢體障礙會影響觸覺輸出和觸碰輸入，聽覺障礙會影響聽覺輸出，言語障礙會影響語音輸入，認知障礙可能會影響任意一種輸出或輸入。
換句話說，
任何人，在任何場景下，任意一個輸出或輸入模態都可能受到限制。
但是，反觀我們現在主流的產品互動，絕大多數都是基於「視覺輸出」+「觸碰輸入」。即便是已經達到多模態互動的操作（比如打字），仍然是視覺+觸碰為主、其他模態為輔（仍然要先按下語音輸入按鈕，然後才能開始透過語音打字）。
視覺輸出、觸碰輸入為主，其他互動模態都是次要的
這顯然無法滿足現代人更加多樣、更加動態的裝置互動需求。要不然每年也不會有那麼多車禍是一邊開車一邊用手機導致的了。
真正的多模態互動，是任意一種輸出/輸入方式，都可以被任意另一種所取代。
視覺/聽覺/觸覺互相替代、觸碰/語音互相替代
再加上
ambient computing
帶來的情景感知和智慧輔助（見 @吳升知 的回答），這就可以非常厲害了。
這個概念實際應用起來會是怎樣？
床頭的鬧鐘剛響，我迷迷糊糊地睜不開眼睛（
視覺障礙）
，就跟鬧鐘說“關掉鬧鐘”來停止它。系統檢測到我起床了但睡眼惺忪，開始用語音播報現在的時間、今天的天氣、新聞、日程。
考慮到我剛起床有點迷糊（
認知障礙
），它特意採用簡短、語言簡單的版本來報新聞。
走進洗手間，系統也跟著從床頭切換到洗手間裡。用電動牙刷刷牙的時候，我聽不清聲音（
聽覺障礙
），系統就從語音朗讀切換到隱藏在鏡子裡的顯示，讓我用眼睛接著讀新聞。
刷牙的時候只有非慣用手能操作裝置，用起來不靈活（
肢體障礙
），但因為在刷牙我也沒法用語音操控（
言語障礙
），所以系統把鏡子上的UI調整為適合我的模式，顯示出超大顆的“上一篇”、“下一篇”按鈕，方便我點選。
看，起床不到10分鐘，已經遇到了所有型別的障礙。你確定你真的是個所謂的“健全人”嗎？
洗完澡，開始吹頭髮，系統也跟著我從洗手間切換到了梳妝檯的鏡子上。吹頭髮的時候我打算刷刷抖音，但是吹風機太吵（
聽覺+言語障礙
），系統就自動給我加上字幕。同時，我的慣用手握著吹風機，只能單手操作（
肢體障礙
），所以系統繼續採用超大顆按鈕的UI模式。
準備出門，拎著包走進車庫（
肢體障礙
），汽車看到我走來，自動辨別出我的身份、給我開門。
這時系統已經切換到車內音響。我一邊手握方向盤專心開車（
肢體障礙+視覺障礙
），一邊聽著車內音響播報當前的路況和今天的會議日程，並且它還推薦了沿途最便宜的加油站，提醒我該去加油了。
（請不要吐槽為什麼都有賈維斯了還沒有無人駕駛，咳）
上面這些只是一些最簡單的例子，故事不再往下講了，但是你可以想象一下所有情景障礙情況下的應用 —— 做飯、遛狗、跑步、騎腳踏車、去嘈雜的餐廳、手指受傷、等等。
即便不考慮情景感知的部分，多模態互動本身也是成立的 —— 笨辦法就是，可以讓使用者主動以當前能夠使用的操作方式切換到另一種模態（比如“OK Google，把新聞讀給我聽”、點選按鈕切換到顯示模式繼續看新聞）。
語音互動雖然已經進入主流，但是使用場景仍然非常有限，無法全盤代替視覺+觸碰互動（所以視障使用者才需要用讀屏軟體這麼笨重的解決方法）。我認為完全可以替代視覺+觸碰的的語音互動會是多模態互動的下一個突破點。
不對使用者的感知/操作能力做出任何假設、並且可以在不同輸入/輸出方式間切換自如，這才是真正友善包容、以人為本的互動方式。
如果對無障礙設計或“所有人都在某些時候是殘障人士”這個概念感興趣，我在這篇文章裡有深入討論：
夏冰瑩：從無障礙設計中學習如何成為一個更好的設計師
也歡迎關注專欄「無障礙，是每個人都被世界善待」，以及公眾號「無障礙設計研究小組」
