IBM為教師打造機器人助手,全面優化遠程課堂體驗


“今天這節課是關於認知運算及其影響的……”
老師開始碎碎唸了。更糟糕的是,學生們和老師甚至不在同一間教室。這就是眼下流行的所謂遠程視頻會議風格的高等教育模式。

沒有了老師來掌控全局以及附和迴應,我們很難確定哪些信息在學生中能引發共鳴、哪些信息會讓他們覺得無聊透頂。大多數時候,學生們都在大課室裏,盯着屏幕上的老師做演示。並且,老師不能放大縮小屏幕,也無法控制自己要看哪個學生。同樣的情況也發生在參與遠程教學的學生們身上。

為了解決這個難題,IBM的研究者Akihiro Kosugi提出了一個認知性用户界面的概念,它可以裝進一個連接學生和老師的電腦中,用作一個觀察窗口。老師可以通過這個界面在教室內自如地移動一架攝像機,這樣就能與學生們更好地互動。

後來,Akihiro和IBM的實習生Shogo Nishiguchi 想到了在學生之間設立一個自動的虛擬助手,他們可以通過流體交互作用進行交流;而老師那邊,可以配置一個遠程監控特工,它可以和老師、學生們一起上課。這個機器人叫做Mocoro,它可以通過簡單的面部表情,包括疑惑,無聊和其他肢體語言來表達情緒。為了讓課堂秩序更好,Mocoro一般不會打斷別人的對話。相反,老師要注意到Mocoro的表情(比如面色突然黯淡、變得很低落),然後發問:“怎麼了?”然後,Mocoro可能會答道:“不好意思,我不太明白你剛剛説了什麼。可以麻煩您重複一遍嗎?”這樣的互動就比較像正常的課堂討論了。

Shogo一開始給這個機器人起名為“能調節談話的機器人”。但是為了方便廣大師生記憶,他用每個單詞的前兩個字母來命名,這就是Mocoro的由來。Mocoro是一個被安置在小型顯示器上的虛擬化身,它被放進一個手工製作的木鐘裏——很適合放在桌上。

作為機器人中的一代天驕,Mocoro用“從語音到文字”、“從文字到語音”、形態分析、理解對話等功能去理解人們之間的對話。

Q: 是什麼促使你開始了遠程監控特工的研究?

Shogo Nishiguchi (SN): 在IBM的東京分公司有個可行性研究團隊,它和東京大學有一項叫高級雲計劃的合作項目,其中包括讓老年人共享知識和技能的遠程課堂計劃,他們在自己家裏教課,學生們在課堂上學習。然後我想打造一個直觀的能提高遠程交流度、能打破純演示模式的界面。人們需要一個能夠傳遞非口頭信息的更好的界面。這就是促使我打造Mocoro的原因。

Q: 為什麼Mocoro是一個放在桌上的機器人,而不是一個像其它智能穿戴設備那樣的嵌入式裝備?

Akihiro Kosugi (AK): 可以帶來更多交互體驗的虛擬現實裝備正呈現井噴式增長,但它需要人們一直戴着。我們不能強求我們的研究對象——老年教師們,在教學過程中一直佩戴虛擬設備。你可以想象戴着那些設備整整一小時甚至更長時間嗎?我們想把Mocoro做成一個實體,人們不需要佩戴它,這樣反而更實用。

Q: Mocoro怎麼知道應該在什麼時候提供視覺輔助?

SN: Mocoro能利用IBM Bluemix研發的從語音到文字的應用程序編程接口抓住對話中的主要內容。它能計算出在特定時段內有關聯的關鍵詞的數量,比如名詞和補白等等。這樣的話,它就能估算出這段語音的語速和流暢程度。如果這個數字超過了閥值——比如有個人説話太快,它就會漸漸地看起來很低落,然後給教授擺一個大寫的憂傷臉。

我們把Mocoro打造得彬彬有禮。它不會打斷別人的對話,除非是有人問問題,不然它是不會説話的。比如,Mocoro的臉色變得黯淡並露出憂傷的神情,在學生或是老師詢問之前,它們是不會回答。

Q: 師生們如何與Mocoro互動?

SN: 我們馬上就要開始一項交互的新實驗。我希望Mocoro可以變成師生之間互動的一個自然而然的環節。把Mocoro放在他們視線所及的地方,Mocoro不但不會擾亂課堂秩序,反而能安撫老師,讓他感到自己似乎和學生們處在一個房間。

比如,我希望老師們能自覺地意識到,學生們很可能聽不懂他們授課的某部分內容。Mocoro在課堂上露出的困惑表情識別度很高。我還希望Mocoro能夠讓學生明白他們並不是課堂上唯一一個聽不懂的人,從而讓他們更安心地提問。

Q: Mocoro的攝像機可以做什麼?

SN: Mocoro是個全自動的機器人,它不需要人為操控,也能自如行動、完成對話。另外,它還轉換成手動電控模式。當Mocoro處於全自動模式的時候,它頭上的攝影機會自動捕捉到人們在觀察什麼,然後Mocoro還會把臉移向那個位置。當Mocoro轉換成手動模式後,攝影機可以記錄遠程地點,並把視頻影像實時傳輸到老師的屏幕上。

Q: 你之前提到了“Waston語音到文字”功能,除了這個,Mocoro還用了什麼技術呢?

SN: 除了Akihiro的木工技能,我還運用了形態分析去捕捉對話中的話題轉換,並在雲端把它們標註出來。另外,我還用了“Waston語音到文字”功能,Web實時傳播,以及一個為了實現Mocoro交談功能的對話腳本。

Q: 這個研究的一部分功勞屬於創新研究和戰略發展項目下的日本科學技術機構。在資助終止之前,你想要取得什麼成就?

AK: 這個項目一部分是與東京大學的高級雲計劃合作的結果。它的目的在於提高老年人的社會活動參與度,包括通過課程和其他媒體平台幫助他們分享經驗、知識和技能。

在一系列實驗研究中,我參與的一項遙控和遠程監控的研究可以降低電池消耗,優化來自不同背景的人們的遠程交流體驗。我們的目的是不管存在任何時間、地點或是其他實踐上的難點,這個研究成果都能讓每個人在這個平台上開展高效的合作。

Q: 這項研究以及Mocoro的下一步計劃是什麼?

AK: 我想讓人們體驗遠程和實時交流,比如認知性輔助和高效具象化功能。我想走得更遠,因為我想繼續研究人機交互。

via IBM


資料來源:雷鋒網
作者/編輯:楊波

如果喜歡我們的文章,請即分享到︰