TWI484450B - 手語翻譯系統、手語翻譯裝置及手語翻譯方法 - Google Patents
手語翻譯系統、手語翻譯裝置及手語翻譯方法 Download PDFInfo
- Publication number
- TWI484450B TWI484450B TW100130060A TW100130060A TWI484450B TW I484450 B TWI484450 B TW I484450B TW 100130060 A TW100130060 A TW 100130060A TW 100130060 A TW100130060 A TW 100130060A TW I484450 B TWI484450 B TW I484450B
- Authority
- TW
- Taiwan
- Prior art keywords
- sign language
- language translation
- dimensional model
- module
- standard
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Description
本發明涉及一種手語翻譯系統、手語翻譯裝置及手語翻譯方法。
通常正常人與聾啞人士溝通時需要學習一套手語，手語的學習需要花費相當大的精力及相當長的時間。另，大多數手語的表達方式因國籍或地區的不同而不同，故不同國籍或地區的聾啞人士相互進行交流也存在溝通的問題。
鑒於以上內容，有必要提供一種可對手語進行識別並將手語所表達的意思轉換為文字或語音資訊的手語翻譯系統、手語翻譯裝置及手語翻譯方法。
一種手語翻譯系統，包括：一存儲單元，用於存儲標準手語的三維模型及與標準手語的三維模型對應的文字資訊；一三維模型建立模塊，用於根據由一深度攝像機對手勢進行拍攝得到的圖像及拍攝場景內各點與深度攝像機之間的距離資訊建立該手勢的三維模型；一轉換模塊，用於根據該存儲單元中的標準手語的三維模型將得
到的手勢的三維模型轉換為對應的標準手語的三維模型；及一手語翻譯模塊，用於根據該轉換模塊得到的標準手語的三維模型及該存儲單元中的文字資訊將由該轉換模塊得到的標準手語的三維模型轉換為對應的文字資訊，該對應的文字資訊透過一第一輸出單元進行顯示。
一種手語翻譯裝置，包括：一深度攝像機，用於拍攝交流者進行手語表達時所作出的手勢並得到手勢的圖像及被攝場景內各點與深度攝像機之間的距離資訊；一手語翻譯系統，該手語翻譯系統記憶體儲有標準手語的三維模型及與標準手語的三維模型對應的文字資訊，該手語翻譯系統用於根據由深度攝像機所得到的圖像及距離資訊得到手勢的三維模型，並將得到的手勢的三維模型根據存儲的標準手語的三維模型轉換為對應的標準手語的三維模型，還根據存儲的標準手語的三維模型及其對應的文字資訊將標準手語的三維模型轉換為對應的文字資訊；及至少一輸出單元，用於輸出該手語翻譯系統的文字資訊。
一種手語翻譯方法，包括以下步驟：根據由一深度攝像機對手勢進行拍攝得到的圖像及拍攝場景內各點與深度攝像機之間的距離資訊建立該手勢的三維模型；將得到的手勢的三維模型轉換為對應的標準手語的三維模型；將標準手語的三維模型轉換為對應的文字資訊；以及
輸出該文字資訊。
上述手語翻譯系統、手語翻譯裝置及手語翻譯方法透過對深度攝像機得到的手勢的圖像及距離資訊建立手勢的三維模型，之後透過轉換模塊將得到的手勢的三維模型轉換為對應的標準手語的三維模型，該手語翻譯模塊將標準手語的三維模型轉換為對應的文字資訊，該輸出單元輸出文字資訊，從而對手語進行識別並將手語所表達的意思轉換為對應的文字或語音資訊，方便與聾啞人士進行交流。
10‧‧‧深度攝像機
20‧‧‧手語翻譯系統
230‧‧‧三維模型建立模塊
21‧‧‧轉換模塊
22‧‧‧手語體系設定模塊
23‧‧‧手語體系識別模塊
24‧‧‧手語翻譯模塊
25‧‧‧文字轉語音模塊
26‧‧‧按鍵
27‧‧‧存儲單元
42‧‧‧第一輸出單元
44‧‧‧第二輸出單元
100‧‧‧掌上型裝置
200‧‧‧眼鏡
46‧‧‧顯示幕
48‧‧‧耳機
210‧‧‧鏡框
220‧‧‧鏡架
圖1是本發明手語翻譯裝置的較佳實施方式的方框圖。
圖2是本發明手語翻譯裝置的立體圖。
圖3是圖2中手語翻譯裝置的反面示意圖。
圖4是本發明手語翻譯裝置的另一較佳實施方式的立體圖。
圖5是本發明手語翻譯方法的較佳實施方式的流程圖。
請參考圖1，本發明手語翻譯裝置的較佳實施方式包括一深度攝像機(Depth-sensing Camera)10、一手語翻譯系統20、複數按鍵26、一第一輸出單元42及一第二輸出單元44。該手語翻譯裝置可對手語進行識別並將手語所表達的意思轉換為文字或語音資訊。
該深度攝像機10用於拍攝交流者進行手語表達時所作出的手勢以及得到場景內每一點與該深度攝像機10之間的距離資訊。本實施方式中，該深度攝像機10可為一TOF(Time-of-flight)攝像機
。該TOF攝像機在拍攝手勢時將發射一定波長的訊號，當訊號遇到拍攝場景內的物體時即會反射至TOF攝像機，訊號發射與接收之間的時間差即表示了物體與TOF攝像機之間的距離資訊，因此該TOF攝像機即可得到場景內每一點與TOF攝像機之間的距離資訊。
請參考圖2及圖3，本發明手語翻譯裝置可以為一掌上型裝置100。此時該第一輸出單元42為一顯示幕46，該第二輸出單元44為一耳機48或一喇叭，該顯示幕46及複數按鍵26均設置於該掌上型裝置100的正面，該耳機48從該掌上型裝置100的側面接出，該手語翻譯系統20為設置於該掌上型裝置100的內部的一記憶體中的軟體系統，該深度攝像機10設置於該掌上型裝置100的反面。
請參考圖4，本發明手語翻譯裝置也可以為一頭戴式裝置，如一眼鏡200。此時該第一輸出單元42為兩顯示幕46，該第二輸出單元44為一耳機48。該兩顯示幕46設置於該眼鏡200的兩鏡框210中，該耳機48從該眼鏡的鏡架220中接出，該手語翻譯系統20為設置於該眼鏡的鏡架220的內部的一記憶體中的軟體系統，該深度攝像機10設置於該眼鏡200的兩鏡框210之間的鏡架上。
請再次參考圖1，該手語翻譯系統20包括一三維模型建立模塊230、一轉換模塊21、一手語體系設定模塊22、一手語體系識別模塊23、一手語翻譯模塊24、一文字轉語音模塊25及一存儲單元27。
該三維模型建立模塊230用於根據得到的場景內各點與深度攝像機10之間的距離資訊建立場景的立體模型。本實施方式中，利用得到的場景內各點到深度攝像機10之間的距離資訊即可得到一曲面，該曲面即可被當作是場景的立體模型。之後，該三維模型建
立模塊230還可對得到的立體模型進行處理，以抹除背景等區域，從而得到手勢的三維模型。
該存儲單元27存儲有不同體系的標準手語的三維模型、每一三維模型所代表的文字資訊及與文字資訊對應的語音資訊。該標準手語的體系可以為“辭彙型手語”或“拼字型手語”，而“辭彙型手語”或“拼字型手語”又因國籍或地區的不同而分為不同的體系，如該存儲單元27中存儲有中國的“辭彙型手語”體系所對應的標準手語的三維模型及其所代表的文字資訊及與文字資訊對應的語音資訊、中國的“拼字型手語”體系所對應的標準手語的三維模型及其所代表的文字資訊及與文字資訊對應的語音資訊、美國的“辭彙型手語”體系所對應的標準手語的三維模型及其所代表的文字資訊及與文字資訊對應的語音資訊、美國的“拼字型手語”體系所對應的標準手語的三維模型及其所代表的文字資訊及與文字資訊對應的語音資訊等。
該手語體系設定模塊22及按鍵26用於設定該手語翻譯裝置的手語體系。當使用者按壓一按鍵26時，該手語體系設定模塊22即對應設定該手語翻譯裝置的手語體系。如使用者需要翻譯的手語體系為中國的“辭彙型手語”時，使用者按壓一對應的按鍵26，該手語體系設定模塊22即設定該手語翻譯裝置的手語體系為中國的“辭彙型手語”；當使用者需要翻譯的手勢為美國的“拼字型手語”時，則按壓另一按鍵26，該手語體系設定模塊22即設定該手語翻譯裝置的手語體系為美國的“拼字型手語”。
當使用者未設定該手語翻譯系統的手語體系時，該手語體系識別模塊23可根據交流者已做出的手勢判斷交流者使用的手語體系，
從而對應設定該手語翻譯裝置的手語體系。如交流者已作出的手勢與存儲於存儲單元27中的中國的“辭彙型手語”體系所對應的標準手語的三維模型相同時，則該手語體系識別模塊23判斷交流者使用的手語體系為中國的“辭彙型手語”並設定該手語翻譯裝置的手語體系為中國的“辭彙型手語”。
該手語翻譯系統20的轉換模塊21根據該三維模型建立模塊230所得到的手勢的三維模型與存儲於該存儲單元27中對應手語體系內的標準手語的三維模型將該三維模型建立模塊230所得到的手勢的三維模型轉換為對應的標準手語的三維模型。
該手語翻譯模塊24根據該轉換模塊21轉換得到的標準手語的三維模型得到存儲於該存儲單元27內與該標準手語的三維模型對應的文字資訊，從而將三維模型建立模塊230所得到的手語的三維模型轉換為對應的文字資訊。
該文字轉語音模塊25根據該手語翻譯模塊24轉換得到的文字資訊得到存儲於該存儲單元27內部的與該文字資訊對應的語音資訊，從而將該深度攝像機10所拍攝得到的手勢轉換為對應的語音資訊。
該第一輸出單元42用於顯示該手語翻譯模塊24輸出的文字資訊，該第二輸出單元44用於發出該文字轉語音模塊25輸出的語音資訊。
可以理解的是，在手語體系識別模塊23根據交流者已做出的手勢判斷交流者使用的手語體系，從而對應設定該手語翻譯裝置的手語體系的過程中，當交流者作出第一個手勢時，該第一個手勢可
能與存儲於存儲單元27內的多個手語體系的標準手語的三維模型相同，此時，該手語翻譯模塊24及文字轉語音模塊25則會得到多個對應的文字資訊及語音資訊，該文字資訊及語音資訊將分別從第一輸出單元42及第二輸出單元44輸出。直到交流者所做出的手勢僅與某一手語體系的標準手語相同時，該手語體系識別模塊23方設定該手語翻譯裝置的手語體系。
請再次參考圖2，當使用者使用一外觀為掌上型裝置100的手語翻譯裝置進行美國的“拼字型手語”翻譯時，該手語翻譯裝置首先透過人工設定或自動設定的方式將手語體系定為美國的“拼字型手語”。此時該掌上型裝置100的顯示幕46上顯示“US”，表示國家或地區為美國。
該手語翻譯裝置的深度攝像機10拍攝一交流者做出的手勢，該手語翻譯系統20的三維模型建立模塊230即根據深度攝像機10所得到的資訊建立一三維模型，該轉換模塊21根據得到的手勢的三維模型與存儲於該存儲單元27中的美國“拼字型手語”體系中的標準手語的三維模型，從而將該手勢的三維模型轉換為對應的標準手語的三維模型。該手語翻譯模塊24將該轉換模塊21轉換的標準手語的三維模型轉換為與該標準手語的三維模型對應的文字資訊“L”，並在該掌上型裝置100的顯示幕46上顯示字母“L”。該文字轉語音模塊25將該文字資訊“L”轉換為字母“L”的英文發音並透過該掌上型裝置100的耳機48發聲。
請參考圖5，本發明手語翻譯方法的較佳實施方式包括以下步驟。
步驟S1：使用者判斷是否需要人工設定手語翻譯裝置的手語體系
。若需要人工設定手語體系則進入S2，否則進入S3。
步驟S2：使用者按壓一按鍵26以設定該手語翻譯裝置的手語體系，之後執行步驟S3。
步驟S3：該深度攝像機10拍攝交流者做出的手勢。
步驟S4：該三維模型建立模塊230根據深度攝像機10所得到的資訊建立場景的三維模型，並對得到的三維模型進行處理以得到手勢的三維模型。
步驟S5：判斷是否已進行人工設定手語體系。若已進行人工設定手語體系則進入S7，否則進入S6。
步驟S6：該手語翻譯系統20的手語體系識別模塊23根據交流者已做出的手勢判斷交流者使用的手語體系自動設定該手語翻譯裝置的手語體系，之後執行步驟S7。本實施方式中，若交流者已作出的手勢與存儲於存儲單元27中的一手語體系所對應的標準手語的三維模型相同時，則該手語體系識別模塊23判斷交流者使用的手語體為該手語體系並自動設定該手語翻譯裝置的手語體系為該手語體系。
步驟S7：該手語翻譯系統20的轉換模塊21將該三維模型建立模塊230所得到的手勢的三維模型轉換為對應的標準手語的三維模型。
步驟S8：該手語翻譯系統20的手語翻譯模塊24將得到的標準手語的三維模型轉換為對應的文字資訊。
步驟S9：該第一輸出單元42顯示文字資訊，同時該手語翻譯系統
20的文字轉語音模塊25將文字資訊轉換為對應的語音資訊，該第二輸出單元44發出語音資訊。
上述手語翻譯系統20、手語翻譯裝置及手語翻譯方法透過該深度攝像機10拍攝交流者作出的手勢，並由三維模型建立模塊230建立手勢的三維模型。之後，該手語翻譯系統20的轉換模塊21將得到的手勢的三維模型轉換為對應的標準手語的三維模型，該手語體系識別模塊23及手語體系設定模塊22設定手語體系，該手語翻譯模塊24將該標準手語的三維模型轉換為對應的文字資訊，該文字轉語音模塊25將該文字資訊轉換為對應的語音資訊，該第一輸出單元42顯示該文字資訊或該第二輸出單元44發出語音資訊，從而對手語進行識別並將手語所表達的意思轉換為對應的文字或語音資訊，使得方便與聾啞人士進行交流。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述者僅為本發明之較佳實施例，舉凡熟悉本案技藝之人士，在爰依本發明精神所作之等效修飾或變化，皆應涵蓋於以下之申請專利範圍內。
100‧‧‧掌上型裝置
26‧‧‧按鍵
46‧‧‧顯示幕
48‧‧‧耳機
Claims (16)
- 一種手語翻譯系統，包括：一存儲單元，用於存儲標準手語的三維模型及與標準手語的三維模型對應的文字資訊；一三維模型建立模塊，用於根據由一深度攝像機對手勢進行拍攝得到的圖像及拍攝場景內各點與深度攝像機之間的距離資訊建立該手勢的三維模型；一轉換模塊，用於根據該存儲單元中的標準手語的三維模型將得到的手勢的三維模型轉換為對應的標準手語的三維模型；及一手語翻譯模塊，用於根據該轉換模塊得到的標準手語的三維模型及該存儲單元中的文字資訊將由該轉換模塊得到的標準手語的三維模型轉換為對應的文字資訊，該對應的文字資訊透過一第一輸出單元進行顯示。
- 如申請專利範圍第1項所述之手語翻譯系統，還包括一手語體系設定模塊，該手語體系設定模塊用於設定手語翻譯系統的手語體系。
- 如申請專利範圍第1項所述之手語翻譯系統，還包括一手語體系識別模塊，當使用者未設定該手語翻譯系統的手語體系時，該手語體系識別模塊根據交流者已做出的手勢判斷交流者使用的手語體系，從而對應設定該手語翻譯系統的手語體系。
- 如申請專利範圍第1項所述之手語翻譯系統，其中該存儲單元還存儲有與文字資訊對應的語音資訊，該手語翻譯系統還包括一文字轉語音模塊，該文字轉語音模塊根據手語翻譯模塊輸出的文字資訊及存儲單元中的語音資訊將該手語翻譯模塊輸出的文字資訊轉換為對應的語音資訊，該對應的文字資訊透過一第二輸出單元進行顯示。
- 一種手語翻譯裝置，包括：一深度攝像機，用於拍攝交流者進行手語表達時所作出的手勢並得到手勢的圖像及被攝場景內各點與深度攝像機之間的距離資訊；一手語翻譯系統，該手語翻譯系統存儲有標準手語的三維模型及與標準手語的三維模型對應的文字資訊，該手語翻譯系統用於根據由深度攝像機所得到的圖像及距離資訊得到手勢的三維模型，並將得到的手勢的三維模型根據存儲的標準手語的三維模型轉換為對應的標準手語的三維模型，還根據存儲的標準手語的三維模型及其對應的文字資訊將標準手語的三維模型轉換為對應的文字資訊；及至少一輸出單元，用於輸出該手語翻譯系統的文字資訊。
- 如申請專利範圍第5項所述之手語翻譯裝置，還包括一按鍵，該手語翻譯系統還用於透過該按鍵設定手語翻譯裝置的手語體系。
- 如申請專利範圍第6項所述之手語翻譯裝置，其中該手語翻譯系統包括一存儲單元、一三維模型建立模塊、一轉換模塊及一手語翻譯模塊，該存儲單元用於存儲標準手語的三維模型及與標準手語的三維模型對應的文字資訊，該三維模型建立模塊用於根據該深度攝像機得到的圖像及距離資訊建立該手勢的三維模型，該轉換模塊用於根據存儲單元中的標準手語的三維模型將得到的手勢的三維模型轉換為對應的標準手語的三維模型，該手語翻譯模塊根據轉換模塊的標準手語的三維模型及存儲單元中的文字資訊將該轉換模塊得到的標準手語的三維模型轉換為對應的文字資訊。
- 如申請專利範圍第7項所述之手語翻譯裝置，其中該手語翻譯系統還包括一手語體系設定模塊，當使用者按壓該按鍵時，該手語體系設定模塊即對應設定該手語翻譯裝置的手語體系。
- 如申請專利範圍第8項所述之手語翻譯裝置，其中該手語翻譯系統還包括 一手語體系識別模塊，當使用者未設定該手語翻譯裝置的手語體系時，該手語體系識別模塊根據交流者已做出的手勢判斷交流者使用的手語體系，從而對應設定該手語翻譯裝置的手語體系。
- 如申請專利範圍第7項所述之手語翻譯裝置，其中該手語翻譯系統的存儲單元還存儲有與文字資訊對應的語音資訊，該手語翻譯系統還用於根據該手語翻譯模塊輸出的文字資訊及該存儲單元中的語音資訊將該文字資訊轉換為對應的語音資訊。
- 如申請專利範圍第10項所述之手語翻譯裝置，其中該手語翻譯系統還包括一文字轉語音模塊，該手語翻譯系統透過該文字轉語音模塊將該文字資訊轉換為對應的語音資訊。
- 如申請專利範圍第11項所述之手語翻譯裝置，其中該輸出單元為一耳機，用於發出該文字轉語音模塊輸出的語音資訊。
- 如申請專利範圍第7項所述之手語翻譯裝置，其中該輸出單元為一顯示幕，用於顯示該手語翻譯模塊輸出的文字資訊。
- 一種手語翻譯方法，包括以下步驟：根據由一深度攝像機對手勢進行拍攝得到的圖像及拍攝場景內各點與深度攝像機之間的距離資訊建立該手勢的三維模型；將得到的手勢的三維模型轉換為對應的標準手語的三維模型；將標準手語的三維模型轉換為對應的文字資訊；以及輸出該文字資訊。
- 如申請專利範圍第14項所述之手語翻譯方法，還包括：判斷是否需要人工設定一手語翻譯系統的手語體系；若需要人工設定手語體系，則進行人工設定手語體系；若不需要人工設定手語體系，該手語翻譯系統則自動設定其手語體系。
- 如申請專利範圍第14項所述之手語翻譯方法，還包括： 將轉換得到的文字資訊轉換為對應的語音資訊；發出該語音資訊。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100130060A TWI484450B (zh) | 2011-08-23 | 2011-08-23 | 手語翻譯系統、手語翻譯裝置及手語翻譯方法 |
| US13/285,024 US8503731B2 (en) | 2011-08-23 | 2011-10-31 | Sign language recognition system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100130060A TWI484450B (zh) | 2011-08-23 | 2011-08-23 | 手語翻譯系統、手語翻譯裝置及手語翻譯方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201310404A TW201310404A (zh) | 2013-03-01 |
| TWI484450B true TWI484450B (zh) | 2015-05-11 |
Family
ID=47743788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW100130060A TWI484450B (zh) | 2011-08-23 | 2011-08-23 | 手語翻譯系統、手語翻譯裝置及手語翻譯方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8503731B2 (zh) |
| TW (1) | TWI484450B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9001036B2 (en) * | 2007-12-20 | 2015-04-07 | University Of Central Florida Research Foundation, Inc. | Systems and methods of camera-based fingertip tracking |
| US9405366B2 (en) * | 2013-10-02 | 2016-08-02 | David Lee SEGAL | Systems and methods for using imagined directions to define an action, function or execution for non-tactile devices |
| CN103810922B (zh) * | 2014-01-29 | 2016-03-23 | 上海天昊信息技术有限公司 | 手语翻译系统 |
| WO2015143114A1 (en) * | 2014-03-21 | 2015-09-24 | Thomson Licensing | Sign language translation apparatus with smart glasses as display featuring a camera and optionally a microphone |
| US20160042228A1 (en) * | 2014-04-14 | 2016-02-11 | Motionsavvy, Inc. | Systems and methods for recognition and translation of gestures |
| US10146318B2 (en) | 2014-06-13 | 2018-12-04 | Thomas Malzbender | Techniques for using gesture recognition to effectuate character selection |
| TWI501205B (zh) * | 2014-07-04 | 2015-09-21 | Sabuz Tech Co Ltd | 手語圖像輸入方法及裝置 |
| USD788223S1 (en) * | 2015-08-11 | 2017-05-30 | Barbara J. Grady | Sign language displaying communicator |
| TWI570676B (zh) * | 2015-12-28 | 2017-02-11 | 國立高雄應用科技大學 | 手語翻譯系統 |
| US10628664B2 (en) | 2016-06-04 | 2020-04-21 | KinTrans, Inc. | Automatic body movement recognition and association system |
| CN113467089A (zh) | 2016-09-13 | 2021-10-01 | 奇跃公司 | 感测眼镜 |
| US10489639B2 (en) * | 2018-02-12 | 2019-11-26 | Avodah Labs, Inc. | Automated sign language translation and communication using multiple input and output modalities |
| CN108960126A (zh) * | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 手语翻译的方法、装置、设备及系统 |
| EP4264401A1 (en) * | 2020-12-16 | 2023-10-25 | Snap, Inc. | Eyewear including sign language to speech translation |
| US12159412B2 (en) | 2022-02-14 | 2024-12-03 | Snap Inc. | Interactively defining an object segmentation |
| US12265663B2 (en) | 2022-04-04 | 2025-04-01 | Snap Inc. | Gesture-based application invocation |
| US12282607B2 (en) * | 2022-04-27 | 2025-04-22 | Snap Inc. | Fingerspelling text entry |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1542465A1 (en) * | 2002-09-17 | 2005-06-15 | Ginganet Corporation | Sign language interpretation system and sign language interpretation method |
| EP1542466A1 (en) * | 2002-09-17 | 2005-06-15 | Ginganet Corporation | Sign language video presentation device, sign language video i/o device, and sign language interpretation system |
| TW201009766A (en) * | 2008-08-27 | 2010-03-01 | Inventec Appliances Corp | Sign language recognition system and method |
| TW201123106A (en) * | 2009-12-23 | 2011-07-01 | Chi Mei Comm Systems Inc | Sign language recognition system and method |
| TW201128589A (en) * | 2010-02-12 | 2011-08-16 | Univ Central Taiwan Sci & Tech | Sign language generating device and method |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5887069A (en) * | 1992-03-10 | 1999-03-23 | Hitachi, Ltd. | Sign recognition apparatus and method and sign translation system using same |
| US5659764A (en) * | 1993-02-25 | 1997-08-19 | Hitachi, Ltd. | Sign language generation apparatus and sign language translation apparatus |
| US6477239B1 (en) * | 1995-08-30 | 2002-11-05 | Hitachi, Ltd. | Sign language telephone device |
| US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
| US9904845B2 (en) * | 2009-02-25 | 2018-02-27 | Honda Motor Co., Ltd. | Body feature detection and human pose estimation using inner distance shape contexts |
| US8751215B2 (en) * | 2010-06-04 | 2014-06-10 | Microsoft Corporation | Machine based sign language interpreter |
-
2011
- 2011-08-23 TW TW100130060A patent/TWI484450B/zh not_active IP Right Cessation
- 2011-10-31 US US13/285,024 patent/US8503731B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1542465A1 (en) * | 2002-09-17 | 2005-06-15 | Ginganet Corporation | Sign language interpretation system and sign language interpretation method |
| EP1542466A1 (en) * | 2002-09-17 | 2005-06-15 | Ginganet Corporation | Sign language video presentation device, sign language video i/o device, and sign language interpretation system |
| TW201009766A (en) * | 2008-08-27 | 2010-03-01 | Inventec Appliances Corp | Sign language recognition system and method |
| TW201123106A (en) * | 2009-12-23 | 2011-07-01 | Chi Mei Comm Systems Inc | Sign language recognition system and method |
| TW201128589A (en) * | 2010-02-12 | 2011-08-16 | Univ Central Taiwan Sci & Tech | Sign language generating device and method |
Also Published As
| Publication number | Publication date |
|---|---|
| US8503731B2 (en) | 2013-08-06 |
| TW201310404A (zh) | 2013-03-01 |
| US20130051614A1 (en) | 2013-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI484450B (zh) | 手語翻譯系統、手語翻譯裝置及手語翻譯方法 | |
| CN102956132B (zh) | 手语翻译系统、手语翻译装置及手语翻译方法 | |
| CN102236986A (zh) | 手语翻译系统、手语翻译装置及手语翻译方法 | |
| TW201140340A (en) | Sign language translation system, sign language translation apparatus and method thereof | |
| US10621968B2 (en) | Method and apparatus to synthesize voice based on facial structures | |
| US10971188B2 (en) | Apparatus and method for editing content | |
| CN104683723B (zh) | 显示装置、摄影装置及显示方法 | |
| CN104303177B (zh) | 执行即时语音翻译的方法及耳机计算装置 | |
| CN106446861A (zh) | 一种手语识别系统、装置及方法 | |
| EP2925005A1 (en) | Display apparatus and user interaction method thereof | |
| JP7100824B2 (ja) | データ処理装置、データ処理方法及びプログラム | |
| WO2018107489A1 (zh) | 一种聋哑人辅助方法、装置以及电子设备 | |
| WO2019206186A1 (zh) | 唇语识别方法及其装置、增强现实设备以及存储介质 | |
| TW201316328A (zh) | 聲音反饋裝置及其工作方法 | |
| KR101835235B1 (ko) | 시각 장애인 보조장치 및 그 제어방법 | |
| CN105205457A (zh) | 一种基于人脸识别的信息获取系统及方法 | |
| CN113822187A (zh) | 手语翻译、客服、通信方法、设备和可读介质 | |
| KR20220089513A (ko) | 컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법 | |
| WO2015143114A1 (en) | Sign language translation apparatus with smart glasses as display featuring a camera and optionally a microphone | |
| CN108903521A (zh) | 一种应用于智能画框的人机交互方法、智能画框 | |
| CN115066907A (zh) | 用户终端、广播装置、包括该装置的广播系统及其控制方法 | |
| CN111128180A (zh) | 一种听力障碍者的辅助对话系统 | |
| US20240289976A1 (en) | Face image displaying method, readable storage medium, program product, and electronic device | |
| EP4004707B1 (en) | Electronic apparatus and control method thereof | |
| CN102142154A (zh) | 生成脸部虚拟图像的方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |