微软演示Kinect手语翻译器

我听不见 · 发表于 2013-11-6 21:30

全世界估计有3.6亿人失聪或存在听力障碍。微软亚洲研究院、中科院和北京联合大学的研究人员利用Kinect体感控制器创造出Kinect手语翻译器（Kinect Sign Language Translator），能将手语实时翻译成书面文字，帮助聋人和非聋人进行交流。这项研究早在今年7月就有报导，刚刚在微软园区的活动上进行了技术演示。中科院计算机技术研究院副主任陈熙霖教授称，他花了近十年时间研究口语识别，希望能找到方法让听力障碍者能与邻居交流。这套系统组合了 Kinect和gesture API、机器翻译、文本转语音。有微软雇员认为，十年前这套系统即使存在也不可能推向市场，因为用户基数太小。但今天技术的进步让我们可以提供一种低成本的服务于少数人群的解决方法。

http://www.jobbole.com/news/1031
http://research.microsoft.com/en-us/collaboration/stories/kinect-sign-language-translator.aspx

老工人 · 发表于 2013-11-6 21:59

希望能是真正实用的东西，售价也要手语聋人能够承受。

air · 发表于 2013-11-6 23:06

大致翻譯了一下樓主所發視頻裡的內容。
翻譯也是人工，轉載請慎重。

================================================

世界上有百萬計的人使用手語，其中很大一部分在中國。

現在我們都知道，資訊技術尤其是計算器技術成長迅速。所以在我看來，我認為這正是開發某種可以幫助他們的技術的時機。

這個項目是一個手語翻譯機。它講一種手語翻譯成另一種手語，也可以幫助健聽人士和聽障人士溝通。你可以在美國手語和中國手語，或者任何可能的其他手語與自然語言之間溝通。

Kinect會捕捉手語，識別其意義，包括姿勢和移動路徑，然後，自動將其翻譯為口語。

其基本模式為翻譯模式和溝通模式。翻譯模式顯示一個單詞如何從手勢被翻譯為書面形式，或者如何從書面形式被翻譯為手勢。在溝通模式中，我們實際上可以使用整句翻譯。一個虛擬人被應用於該系統中，代表健聽人使用手語。它是健聽人的代理服務者。

因為我是影像處理人，我的主要責任是幫助創造一個高效、高品質的虛擬人，以供人們使用它來進行手語溝通。

通過對從一動作到另一動作，以及組合與路徑的解析，我們可以利用機器學習技術與模式識別技術來確定手語的意思。
想像一位聽障人士走入醫生的辦公室。這位醫生是一位普通醫生，並不懂得手語，但患者想要與醫生溝通。現在，他們須使用書寫等方式，使得溝通不自然。但是有了這項技術，他們可以使用手語，醫生也能夠理解其意。
另一個場景是在資訊亭，比如在機場。與其設想詢問方是聽障人士，不如假設資訊亭的那個人是聽障人士。現在有一位元健聽人來到信息亭向聽障人進行詢問，這個系統（Kinect）就可以幫助他們溝通，相反亦可行。

如果要從這個專案中挑選一個關鍵字，我會選擇“協作”。因為若沒有手語專家、系統融合專家以及微軟研究方的關鍵技術，這個項目不可能會實現。

與亞洲微軟研究合作的好處是，他們可以提供對Kinect本身的支持，因為Kinect本身來自微軟。另外，他們有一些機器翻譯方面的專家。

我認為關於這次合作的一件很好的事情是，人們是來自完全不同的背景和組織的。我確實從中學到了許多。

專案中我們所做的一件事情是直接與聽障社群一同工作。我們與中國的一間聽障學校一起工作。他們幫助我們更好地瞭解了即使是在現在，作為聽障人士仍有一種隔離（孤立）感。當你看到它（Kinect）在工作地時候，所不能抑制地會感覺到的是一種魔法，但你也知道還有更多的工作要做，不過也可以看到有很大的潛力——有一天它會成為改變人們生活的東西。