TW201711010A - 運用肌電與慣性感測裝置識別手勢之手語翻譯系統 - Google Patents

Abstract

聽語障礙人士在許多日常的場合都面臨溝通的障礙，例如：問路、購物、尋求幫助等。由於聽語障礙人士大多以手語作為溝通之管道，不同於一般人以口語作為溝通之管道，因此如何為聽語障礙人士建立一能夠與他人溝通之手語翻譯系統，且所使用之手語翻譯系統亦能夠精準地判別手語手勢並即時地將該手語翻譯為語音便顯得相當地重要。 基於這樣的理由，我們期望發展出一套具備準確判別手語手勢與即時語詞發音之手語翻譯系統。同時配合線上語詞資料庫之建立，我們也期待藉由嵌入式單晶片系統及肌電感測裝置的設計與手機應用程式的開發來實現即時手語偵測與翻譯的目的。此外本專利採用被聽語障礙人士廣為使用之自然型手語架構，使其毋需重新學習新的溝通模式即可透過此研究裝置暢所欲言，也較能貼近聽語障礙人士的需求。

Description

運用肌電與慣性感測裝置識別手勢之手語翻譯系統

本發明係有關於一手語翻譯系統，特別係關於一肌電感測之穿戴式裝置用以識別手部姿勢。

手語翻譯系統之先前技術有許多種，大都著重在手勢偵測的部分。其中一種偵測方式為：使用惠氏電橋，如台灣專利號M273908。其實施方式為在手指上安裝滑動電阻片，藉以偵測手指彎曲程度。

另一種先前技術為，在手套上安置數個壓力應變計，如台灣專利號I375526；由於手指彎曲時，手掌皺摺處之壓力會增加，因此可以由此感測出手指彎曲程度。

另一種先前技術為，將光纖安裝在手套的手指部分，如台灣專利公開號200818731，由於光纖彎曲時，電阻阻值會產生改變，藉以測得手指彎曲程度。

本專利為使用肌電感測臂環，偵測手臂上肌肉表面電流訊號，藉以得知手指運動及手腕運動，並安裝有重力感側儀與陀螺儀，可以得知手臂移動方向。與先前技術相比，不僅穿戴無負擔，且可得知更多手部姿態資訊。

本發明為一套手語翻譯系統，由手勢偵測裝置和行動裝置組合而成，其主要目的有以下二者：其一是增加人機交互的自然性，為了使使用者攜帶方便，我們的中央控制是結合攜帶方便的行動裝置，在使用上並無空間限制，且設計使用上較為輕巧自然，並不需要面對機器做手勢，而是可以直接與人面對面，透過行動裝置直接翻譯手勢因而發聲，使用上較自然。其二是增加人與人互動的即時性，當面對面作溝通時，手勢偵測裝置除了沒有固定地點的限制外也不會受其他人動作的干擾，具有絕對的準確性，並透過具有語音發聲裝置的行動裝置，讓人在使用手語與他人溝通時，大大增加了互動的即時性。

1‧‧‧肌電感測單元

2‧‧‧手臂運動感測單元

3‧‧‧資料傳輸單元

4‧‧‧資料處理單元

5‧‧‧資料庫

6‧‧‧輸出單元

7‧‧‧可伸縮臂環

8‧‧‧行動裝置

9‧‧‧資料庫暨語音輸出裝置

第一圖：係為本發明之架構圖。

第三圖：係為本發明之可伸縮臂環，其中輸出單元為語音裝置之組成示意圖。

第二圖：係為本發明之可伸縮臂環，其中輸出單元為行動裝置之組成示意圖。

第四圖：係為本發明在可伸縮臂環中嵌入輸出單元之組成示意圖。

本創作的實施方式，其基本架構如圖一所示。肌電感測單元1包含數個肌電圖感測計(EMG Sensor)，該感測計為市面上可購得、可偵測手臂皮膚表面電流而得知手臂肌肉運動狀態之微小電子裝置。手臂運動單 元2包含數個重力感測計與數個陀螺儀，重力感測計與陀螺儀為市面上常見、用於偵測運動、旋轉、方向狀態之微小電子裝置。資料處理單元4包含一邏輯電路模組，其包含一微控制晶片與其附屬電路，用以針對肌電感測單元1與手臂運動感測單元2進行取樣以及邏輯判斷。資料庫5為一針對手語手勢動作及其所對應之手語意義所建立之資料庫，資料庫中手勢動作部分可參考重力感測計與陀螺儀偵測到之實驗數據進行編碼，並將手勢動作在手語中之意義編入對應之欄位，如此編制多量詞彙之後，即得本創作所述之資料庫。輸出單元6為一語音發聲裝置或一文字顯示屏幕，可將手語詞彙之意義以語音或文字方式呈現出來。資料傳輸單元3在上述五個單元沒有整合在同一硬體元件而分散為數個硬體原件時，為一無線傳輸模組，可以Wifi、藍牙、Zigbee、miracast等等目前所知悉的無線傳輸方式進行傳輸，負責在分散之各硬體元件之間傳遞訊息，其中每一個需要接收訊息之元件皆必須安裝該無線傳輸模組之從機，該無線傳輸模組之主機通常安裝在包含資料處理單元4之硬體原件中；資料傳輸單元3在上述五個單元整合在同一硬體元件時，為一般有線金屬線路，關於資料傳輸單元之更詳細說明將寫在下列個實施例中。

在實施例一中，其架構如第二圖所示。肌電感測單元1可以將數個肌電圖感測器安裝在一可伸縮之臂環7之內壁，使佩戴臂環時肌電圖感測計能貼於手臂表面皮膚，用以偵測手臂上之表面肌肉電流；可伸縮臂環7上另可安裝數個重力感測器以及數個陀螺儀，方可偵測手臂之手掌方向與運動資訊，作為手臂運動感測單元2。可伸縮臂環7上亦安裝有一資料處理單元4，方能對肌電感測單元與手臂運動感測單元進行取樣，並進行取樣 值之邏輯判斷，以達到手勢編碼之目的。該臂環上亦應安裝一無線傳輸單元3之主機，使可伸縮臂環7上之肌電圖感測計、重力感測計以及陀螺儀所偵測之資訊，可以藉由無線傳輸單元3之主機輸出至另一硬體原件，該原件為自行設計之資料庫暨語音輸出裝置9，該資料庫暨語音輸出裝置9包含一手語資料庫與語音輸出模組，亦包含一無線傳輸單元之從機，該從機接收無線傳輸單元主機傳送之資訊後，將該資訊輸入資料庫進行比對，資料庫將回傳一語音檔，使語音輸出模組可根據該檔案進行聲音之輸出。

如第三圖所示，在實施例二中，亦有一臂環，該臂環包含如實施例一所示之肌電圖感測單元、手臂運動感測單元、資料處理單元以及資料傳輸單元之主機。與實施例一不同的是，資料傳輸單元主機所送出之資訊將被傳送至一行動裝置之中，該行動裝置可以為手機、平板電腦、或任何具有無線傳輸功能之可攜式裝置。架構圖中所示之資料庫被安裝在行動裝置中，語音輸出裝置亦使用行動裝置內建之裝置進行聲音輸出。在此一實施例中，輸出裝置亦可為一屏幕，輸出手語意義之文字畫面。

如第四圖所示，在實施例三中，資料庫5與輸出單元6(語音裝置)亦可以嵌入於可伸縮臂環7之中，使得此手語翻譯系統完全可以包含於一可伸縮臂環7之中，以提高方便性。此時該手語翻譯系統不需要無線傳輸模組，意即資料傳輸單元為一般金屬線路。資料處理單元針對肌電圖感測單元及手臂運動感測單元進行取樣與邏輯判斷後，將判斷出來的手勢以實體金屬線路傳給資料庫，資料庫將回傳一聲音檔，使臂環中之輸出裝置可以進行聲音輸出。

輸出單元6可以為一語音模組，或是手機、平板、筆記型電 腦等等之可攜式行動語音裝置；亦可以為一字幕顯示螢幕、手機、平板、筆記型電腦等可攜式螢幕顯示裝置。

綜上所述，本案之技術內容完全符合發明專利之取得要件。本案在產業上確實得以利用，於申請前未曾見於公開使用，且非為公眾所知悉之技術。再者，本案有效解決先前技術中長期存在的問題，得佐證本發明並非能輕易完成。本案富具專利法規定之「產業利用性」、「新穎性」與「進步性」等要件，爰依法提請專利，懇請 鈞局詳查，並儘早為准予專利之審定，以保護申請人之智慧財產權，俾勵創新。

1‧‧‧肌電感測單元

2‧‧‧手臂運動感測單元

3‧‧‧資料傳輸單元

4‧‧‧資料處理單元

5‧‧‧資料庫

6‧‧‧輸出單元

Claims (8)

1. 一種手語翻譯系統，特別是偵測肌電訊號藉以判別手部姿態之手語翻譯系統，其包含：一肌電感測單元，其至少包含一肌電感測器，用以量測流經手臂皮膚表面之肌肉電流；一手臂運動感測單元，其至少包含一重力感測器或陀螺儀，用以蒐集手臂或手部的面相與運動資訊；一資料傳輸單元，以有線或無線之方式在各單元間進行資料傳輸；一資料處理單元，其至少包含一邏輯電路模組，用以將肌電感測單元與手臂運動單元所偵測之資訊進行取樣與判斷；一資料庫，其包含手語手勢對應文字或語音之資料；及一輸出單元，輸出手勢資訊，或手勢所對應之語音或文字資訊。
2. 依據申請專利範圍第1項所述之手語翻譯系統，其中該肌電感測單元包含至少一個肌電圖感測計(EMG Sensor)，並使肌電圖感測計固定於一可伸縮臂環內壁，使佩戴臂環時肌電圖感測計能貼於手臂表面皮膚上。
3. 依據申請專利範圍第2項所述之手語翻譯系統，其臂環進一步包含手臂運動感測單元，該手臂運動感測單元包含至少三維度之重力感測計以及至少三維度之陀螺儀。
4. 依據申請專利範圍第3項所述之手語翻譯系統，其臂環進一步包含一資料處理單元，該單元可持續對肌電感測單元及運動感測單元進行取樣與判斷，並持續將手勢資訊與手部運動資訊進行編碼。
5. 依據申請專利範圍第4項所述之手語翻譯系統，其臂環進一步包含一資料傳輸單元、一資料庫與一輸出單元，該資料傳輸單元持續將資料處理單元完成之編碼以有線方式傳送至資料庫，該資料庫根據編碼回傳一手勢對應之語音資訊，該語音資訊再經由資料傳輸單元以有線傳輸之方式傳送至輸出單元，該輸出單元為一揚聲器，將語音資訊以聲音方式進行輸出。
6. 依據申請專利範圍第4項所述之手語翻譯系統，其中該資料庫可被建置在一行動裝置上，該行動裝置可為智慧型手機、平板電腦或包含無線傳輸模組與揚聲器之可攜式裝置。
7. 依據申請專利範圍第6項所述之手語翻譯系統，其臂環進一步包含一資料傳輸單元，該資料傳輸單元包含一無線傳輸模組，該無線傳輸模組用以持續將資料處理單元完成之編碼以無線方式傳送至該行動裝置，該資料庫取得資料傳輸單元以無線傳輸方式傳送至行動裝置之編碼後，傳回一對應之文字或語音資訊，利用行動裝置之螢幕與揚聲器作為輸出單元進行文字與語音之輸出。
8. 依據專利申請範圍第7項所述之手語翻譯系統，其中該資料庫亦可為線上資料庫，利用行動裝置以無線網路進行資料庫存取。