TW201543900A - 虛擬會議系統 - Google Patents
虛擬會議系統 Download PDFInfo
- Publication number
- TW201543900A TW201543900A TW103116048A TW103116048A TW201543900A TW 201543900 A TW201543900 A TW 201543900A TW 103116048 A TW103116048 A TW 103116048A TW 103116048 A TW103116048 A TW 103116048A TW 201543900 A TW201543900 A TW 201543900A
- Authority
- TW
- Taiwan
- Prior art keywords
- simulated
- user
- information
- wearable
- conference system
- Prior art date
Links
- 230000007613 environmental effect Effects 0.000 claims abstract description 35
- 238000004088 simulation Methods 0.000 claims abstract 4
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000003238 somatosensory effect Effects 0.000 claims description 3
- 238000013481 data capture Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 230000037237 body shape Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/101—Collaborative creation, e.g. joint development of products or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一種虛擬會議系統,係包括用以供使用者隨身穿戴之穿戴式資訊裝置、用以擷取環境資訊之環境資訊擷取裝置、以及模擬實境裝置。該模擬實境裝置係用以接收該環境資訊擷取裝置所擷取之環境資訊,以利用智能演算法運算出模擬會議場景,進而將該模擬會議場景傳送至該穿戴式資訊裝置,俾供該穿戴式資訊裝置將接收之模擬會議場景回饋予該使用者。
Description
本發明係關於一種虛擬會議系統,尤指一種包括穿戴式資訊裝置以顯示模擬會議場景之虛擬會議系統。
隨著商業世界的全球化,各個公司行號在不同的國家或區域,設置不同的營業單位或生產單位,早已成為商業世界的常態,同時,會議方式亦由多方電話會議逐漸轉變為多方視訊會議。
現行的多方視訊會議,多藉由投影機、影像擷取鏡頭、音源擷取設備、音源播放設備、及網際網路設備所構成。例如,身處在一方之第一使用者,可藉由設置於身邊該些設備,看到身處在另一方之第二使用者之局部身形,並且聽到第二使用者之言談;同時,身處在另一方之第二使用者,亦可藉由設置於身邊該些設備,看到身處在另一方之第一使用者之局部身形,並且聽到第一使用者之言談,依此類推。
然而,此種多方視訊會議,仍然無法避免視角狹窄之缺憾,且尚需要切換畫面方能顯示使用者所欲展示之相關文書資料,而此類缺失往往延宕了會議流程。在具有為數更多之身處不同方之使用者時,投影機所投影出之畫面更
需要進一步被分割,從而更無法達到理想的會議進度。
鑑於習知技術之種種缺失,本案之主要目的,係在於提供一種能提供使用者更佳之體驗之虛擬會議系統。
為了達到上述目的及其他目的,本案係提供一種虛擬會議系統,係包括:穿戴式資訊裝置,係用以供使用者隨身穿戴;環境資訊擷取裝置,係用以擷取環境資訊;模擬實境裝置,係用以接收該環境資訊擷取裝置所擷取之環境資訊,以利用智能演算法運算出模擬會議場景,進而將該模擬會議場景傳送至該穿戴式資訊裝置,俾供該穿戴式資訊裝置將接收之模擬會議場景回饋予該使用者。
於一實施例中,該穿戴式資訊裝置復具備光學顯示設備,且該光學顯示設備係能以全視角或部份視角之顯示方式予以顯示。而該環境資訊擷取裝置復具備影像擷取設備、音源擷取設備、姿態擷取設備、指令擷取設備、或文書資料擷取設備。
該影像擷取設備為實物投影設備,用於擷取實物的影像以將該實物影像提供至該模擬實境裝置,供該模擬實境裝置將該實物影像再傳輸至該穿戴式資訊裝置。
該姿態擷取設備為體感設備,用於偵測該使用者的姿態以將所產生之姿態資訊傳輸至該模擬實境裝置,進而令該模擬實境裝置依據該使用者的姿態提供相對應的模擬會議場景予該穿戴式資訊裝置。
該文書資料擷取設備復用以連結個人電腦、筆記型電
腦、平板電腦或智慧型手機,以擷取該使用者輸入之文書資料。
相較於習知技術,由於本案之虛擬會議系統,係能藉由環境資訊擷取裝置及模擬實境裝置之協同運作得到模擬會議場景,俾供穿戴式資訊裝置將得到之模擬會議場景提供予使用者知悉,故使用者不但能獲得接近真實會議場景之感官體驗,亦能避免習知技術之缺失造成會議延宕之困擾。
1‧‧‧虛擬會議系統
10a、10b‧‧‧穿戴式資訊裝置
11a、11b‧‧‧環境資訊擷取裝置
111a、111b‧‧‧影像擷取設備
112a、112b‧‧‧音源擷取設備
113a、113b‧‧‧姿態擷取設備
114a、114b‧‧‧指令擷取設備
115a、115b‧‧‧文書資料擷取設備
12‧‧‧模擬實境裝置
A、B‧‧‧使用者
第1圖係為本案之虛擬會議系統之實施架構示意圖。
第2圖係為本案之虛擬會議系統之另一實施架構示意圖。
為了有利於了解本案之技術特徵、內容與優點及其所能達成之功效,茲將本案之創作配合附圖,並以實施例之表達形式說明如下,而其中所使用之圖式,其主旨僅為示意以及輔助說明之用,未必為本案實施後之真實比例與精準配置,故不應就所附之圖式比例與配置關係解讀、侷限本案於實際實施上的權利範圍,合先敘明。
請連同下述說明一併參閱第1和2圖所繪示之圖式,以瞭解本案提供之虛擬會議系統。如圖所示,虛擬會議系統1係具備穿戴式資訊裝置10a、10b,環境資訊擷取裝置11a、11b,以及模擬實境裝置12。
需先說明的是,實際實施時,穿戴式資訊裝置10a、
10b之數量,環境資訊擷取裝置11a、11b之數量,以及模擬實境裝置12之數量,皆可彈性地予以調整。例如,單一個模擬實境裝置係能依據處理效能之設定,搭配數量更多,且分別設置於不同場所之穿戴式資訊裝置及環境資訊擷取裝置。
穿戴式資訊裝置10a及穿戴式資訊裝置10b,係分別用以供使用者A及使用者B隨身穿戴。環境資訊擷取裝置11a及環境資訊擷取裝置11b,係用以擷取各種環境資訊。而模擬實境裝置12係用以接收環境資訊擷取裝置11a及環境資訊擷取裝置11b所擷取之環境資訊,以利用智能演算法運算出模擬會議場景,進而將該模擬會議場景傳送至穿戴式資訊裝置10a及穿戴式資訊裝置10b,俾供穿戴式資訊裝置10a及穿戴式資訊裝置10b分別將接收之模擬會議場景回饋予使用者A及使用者B。
於本實施例中,穿戴式資訊裝置10a及穿戴式資訊裝置10b係可具備光學顯示設備或音源播送設備,且所具備之光學顯示設備係可透過全視角或部份視角之顯示方式,顯示穿戴式資訊裝置10a及穿戴式資訊裝置10b所接收之模擬會議場景。又,穿戴式資訊裝置10a及穿戴式資訊裝置10b係可供使用者A及使用者B直接配戴在頭部位置。
再者,環境資訊擷取裝置11a及環境資訊擷取裝置11b,可分別內建有影像擷取設備111a、111b、音源擷取設備112a、112b、姿態擷取設備113a、113b、指令擷取設備114a、114b、或文書資料擷取設備115a、115b。舉例言之,
環境資訊擷取裝置11a及環境資訊擷取裝置11b,係可分別針對使用者A及使用者B所處之場所,擷取包括使用者影像之影像資訊、擷取包括使用者言談之音源資訊、擷取包括使用者肢體位置之姿態資訊、及擷取包括使用者藉由言談或姿態所表達之各類指令資訊,其中,姿態擷取設備113a、113b為一種體感設備,分別用於偵測使用者A、B的姿態以將所產生之姿態資訊傳輸至該虛擬實境裝置12,進而令該虛擬實境裝置12分別依據使用者A、B的姿態提供相對應的模擬會議場景予該穿戴式資訊裝置10a、10b,亦即,穿戴式資訊裝置10a、10b中之虛擬會議場景能隨著使用者A、B移動而變化,另外,影像擷取設備111a、111b為一種實物投影設備,用於擷取一實物的影像並提供該實物影像至虛擬實境裝置12,以供虛擬實境裝置12將該實物影像再傳輸至該穿戴式資訊裝置10a、10b;同時,文書資料擷取設備115a、115b,復可用以連結個人電腦、筆記型電腦、平板電腦或智慧型手機,以擷取使用者A或使用者B所輸入之各類文書資料。
其次,模擬實境裝置12係可為雲端伺服器。模擬實境裝置12在接收環境資訊擷取裝置11a及環境資訊擷取裝置11b所擷取之諸多資訊後,遂可根據預定之智能演算法運算出一模擬會議場景,進而將該模擬會議場景分別傳送至穿戴式資訊裝置10a及穿戴式資訊裝置10b,藉此,讓使用者A及使用者B身處在同一模擬會議場景中,共享一虛擬螢幕畫面。
另外,模擬實境裝置12亦可根據預定之智能演算法運算出包括使用者A及使用者B所處場所之模擬會議場景,舉例來說,穿戴式資訊裝置10a、穿戴式資訊裝置10b、環境資訊擷取裝置11a及環境資訊擷取裝置11b、及模擬實境裝置12,係可透過網路連結技術予以連結。模擬實境裝置12在運算出模擬會議場景後,能將視覺角度及聽覺角度不同之模擬會議場景,分別傳送予穿戴式資訊裝置10a及穿戴式資訊裝置10b。換言之,對使用穿戴式資訊裝置10a之使用者A而言,所看到的畫面及所聽到的音源,即如同面對著使用者B,且與使用者B身處於同一個場所中;對使用穿戴式資訊裝置10b之使用者B而言,所看到的畫面及所聽到的音源,即如同面對著使用者A,且與使用者A身處於同一個場所中。
同時,由於環境資訊擷取裝置11a及環境資訊擷取裝置11b復能分別擷取使用者A及使用者B所輸入之文書資料,故使用者A也能即時地將相關的文書資料,以電子郵件之形式或其他形式,即時地顯示在使用者B所感受到之模擬會議場景中;反之,使用者B也能即時將相關的文書資料,以電子郵件之形式或其他形式,即時地顯示在使用者A所感受之模擬會議場景中。
另外,圖式中雖以單一個環境資訊擷取裝置對應單一個穿戴式資訊裝置,但實際應用時,單一個環境資訊擷取裝置也能對應複數個穿戴式資訊裝置。例如,環境資訊擷取裝置11a所對應之環境中,還可供另一個使用者(未圖式)
配置另一個穿戴式資訊裝置(未圖式)。於該另一個使用者欲加入使用者A及使用者B進行中之模擬會議場景時,模擬實境裝置12可分別顯示相關之核准選項予穿戴式資訊裝置10a或穿戴式資訊裝置10b,以於使用者A或使用者B藉由輸入指令之方式核准後,方允許該另一個使用者加入模擬會議場景。而於該另一個使用者加入模擬會議場景後,使用者A藉由穿戴式資訊裝置10a所感受到的模擬會議場景,即包括使用者B及該另一個使用者;反之,使用者B藉由穿戴式資訊裝置10b所感受到的模擬會議場景,即包括使用者A及該另一個使用者。
綜上所述,由於本案之虛擬會議系統,係能藉由複數個環境資訊擷取裝置及複數個模擬實境裝置之協同運作,令設置於雲端之模擬實境裝置進行智能運算,以得到逼真的模擬會議場景,俾分別供複數個穿戴式資訊裝置將對應之模擬會議場景分別提供予不同之使用者。是以,使用者不但能獲得極為接近真實會議場景之感官體驗,亦能避免習知技術之種種缺失所造成之困擾。
上述實施例係用以例示性說明本案之原理及其功效,而非用於限制本案之權利範圍。任何熟習此項技藝之人士均可在不違背本案之精神及範疇下,對上述實施例進行修改。因此本案之權利保護範圍,應如後述之申請專利範圍所列。
1‧‧‧虛擬會議系統
10a、10b‧‧‧穿戴式資訊裝置
11a、11b‧‧‧環境資訊擷取裝置
12‧‧‧模擬實境裝置
A、B‧‧‧使用者
Claims (9)
- 一種虛擬會議系統,係包括:穿戴式資訊裝置,係用以供使用者隨身穿戴;環境資訊擷取裝置,係用以擷取環境資訊;以及模擬實境裝置,係用以接收該環境資訊擷取裝置所擷取之環境資訊,以利用智能演算法運算出模擬會議場景,進而將該模擬會議場景傳送至該穿戴式資訊裝置,俾供該穿戴式資訊裝置將接收之模擬會議場景回饋予該使用者。
- 如申請專利範圍第1項所述之虛擬會議系統,其中,該穿戴式資訊裝置係具備光學顯示設備或音源播送設備。
- 如申請專利範圍第2項所述之虛擬會議系統,其中,該光學顯示設備係以全視角或部份視角之顯示方式顯示該穿戴式資訊裝置接收之模擬會議場景。
- 如申請專利範圍第1項所述之虛擬會議系統,其中,該環境資訊擷取裝置係具備影像擷取設備、音源擷取設備、姿態擷取設備、指令擷取設備、或文書資料擷取設備。
- 如申請專利範圍第4項所述之虛擬會議系統,其中,該影像擷取設備為實物投影設備,用於擷取實物的影像以將該實物影像提供至該模擬實境裝置,供該模擬實境裝置將該實物影像再傳輸至該穿戴式資訊裝置。
- 如申請專利範圍第4項所述之虛擬會議系統,其中, 該姿態擷取設備為體感設備,用於偵測該使用者的姿態以將所產生之姿態資訊傳輸至該模擬實境裝置,進而令該模擬實境裝置依據該使用者的姿態提供相對應的模擬會議場景予該穿戴式資訊裝置。
- 如申請專利範圍第4項所述之虛擬會議系統,其中,該文書資料擷取設備復用以連結個人電腦、筆記型電腦、平板電腦或智慧型手機,以擷取該使用者輸入之文書資料。
- 如申請專利範圍第1項所述之虛擬會議系統,其中,該模擬實境裝置係為雲端伺服器。
- 如申請專利範圍第1項所述之虛擬會議系統,其中,該穿戴式資訊裝置、該環境資訊擷取裝置、及該模擬實境裝置,係透過網路連結技術予以連結。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103116048A TWI602436B (zh) | 2014-05-06 | 2014-05-06 | 虛擬會議系統 |
US14/531,652 US9424555B2 (en) | 2014-05-06 | 2014-11-03 | Virtual conferencing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103116048A TWI602436B (zh) | 2014-05-06 | 2014-05-06 | 虛擬會議系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201543900A true TW201543900A (zh) | 2015-11-16 |
TWI602436B TWI602436B (zh) | 2017-10-11 |
Family
ID=54368953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103116048A TWI602436B (zh) | 2014-05-06 | 2014-05-06 | 虛擬會議系統 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9424555B2 (zh) |
TW (1) | TWI602436B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI639102B (zh) | 2016-08-10 | 2018-10-21 | 張雅如 | 一種指標顯示裝置、指標控制裝置、指標控制系統及其相關方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106534069A (zh) * | 2016-09-29 | 2017-03-22 | 宇龙计算机通信科技(深圳)有限公司 | 虚拟现实设备控制方法及系统 |
CN106899830A (zh) * | 2017-02-09 | 2017-06-27 | 惠州Tcl移动通信有限公司 | 一种现实设备与虚拟现实设备的实时通信方法及系统 |
CN109375764B (zh) * | 2018-08-28 | 2023-07-18 | 北京凌宇智控科技有限公司 | 一种头戴显示器、云端服务器、vr系统及数据处理方法 |
CN112363658B (zh) * | 2020-10-27 | 2022-08-12 | 维沃移动通信有限公司 | 视频通话的互动方法和装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5999208A (en) * | 1998-07-15 | 1999-12-07 | Lucent Technologies Inc. | System for implementing multiple simultaneous meetings in a virtual reality mixed media meeting room |
US6760026B2 (en) * | 2001-01-02 | 2004-07-06 | Microsoft Corporation | Image-based virtual reality player with integrated 3D graphics objects |
US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
US7404001B2 (en) * | 2002-03-27 | 2008-07-22 | Ericsson Ab | Videophone and method for a video call |
KR100594117B1 (ko) * | 2004-09-20 | 2006-06-28 | 삼성전자주식회사 | Hmd 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법 |
JP4013989B2 (ja) * | 2006-02-20 | 2007-11-28 | 松下電工株式会社 | 映像信号処理装置、仮想現実感生成システム |
US7648236B1 (en) * | 2006-09-18 | 2010-01-19 | Motion Research Technologies, Inc. | Multi-use eyeglasses with human I/O interface embedded |
US7907974B2 (en) * | 2007-01-04 | 2011-03-15 | Microsoft Corporation | Scrollable computing device display |
US20090141023A1 (en) * | 2007-11-29 | 2009-06-04 | Brian Mark Shuster | Selective filtering of user input data in a multi-user virtual environment |
US20100149073A1 (en) * | 2008-11-02 | 2010-06-17 | David Chaum | Near to Eye Display System and Appliance |
US8199186B2 (en) * | 2009-03-05 | 2012-06-12 | Microsoft Corporation | Three-dimensional (3D) imaging based on motionparallax |
US8531355B2 (en) * | 2010-07-23 | 2013-09-10 | Gregory A. Maltz | Unitized, vision-controlled, wireless eyeglass transceiver |
JP5784818B2 (ja) * | 2011-03-29 | 2015-09-24 | クアルコム,インコーポレイテッド | 拡張現実システムにおける実世界表面への仮想画像のアンカリング |
TWM491308U (zh) * | 2014-05-06 | 2014-12-01 | Shandong Goerxon Prec Industry Co Ltd | 虛擬會議系統 |
-
2014
- 2014-05-06 TW TW103116048A patent/TWI602436B/zh not_active IP Right Cessation
- 2014-11-03 US US14/531,652 patent/US9424555B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI639102B (zh) | 2016-08-10 | 2018-10-21 | 張雅如 | 一種指標顯示裝置、指標控制裝置、指標控制系統及其相關方法 |
Also Published As
Publication number | Publication date |
---|---|
TWI602436B (zh) | 2017-10-11 |
US9424555B2 (en) | 2016-08-23 |
US20150326827A1 (en) | 2015-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11803055B2 (en) | Sedentary virtual reality method and systems | |
US9883144B2 (en) | System and method for replacing user media streams with animated avatars in live videoconferences | |
US9998508B2 (en) | Multi-site screen interactions | |
CN106134186B (zh) | 遥现体验 | |
US20190180509A1 (en) | Apparatus and associated methods for presentation of first and second virtual-or-augmented reality content | |
US8902280B2 (en) | Communicating visual representations in virtual collaboration systems | |
WO2018098720A1 (zh) | 一种基于虚拟现实的数据处理方法及系统 | |
US10359988B2 (en) | Shared experience of virtual environments | |
TWI602436B (zh) | 虛擬會議系統 | |
CN112243583A (zh) | 多端点混合现实会议 | |
US11288871B2 (en) | Web-based remote assistance system with context and content-aware 3D hand gesture visualization | |
US10788888B2 (en) | Capturing and rendering information involving a virtual environment | |
Makhsadov et al. | Vrysmart: a framework for embedding smart devices in virtual reality | |
US9445052B2 (en) | Defining a layout for displaying images | |
US9131109B2 (en) | Information processing device, display control system, and computer program product | |
TWM491308U (zh) | 虛擬會議系統 | |
US20220398785A1 (en) | Augmented image overlay on external panel | |
WO2018149266A1 (zh) | 一种基于增强现实的信息处理方法及设备 | |
US20220417449A1 (en) | Multimedia system and multimedia operation method | |
Kurillo et al. | 3D Telepresence for reducing transportation costs | |
TW202329675A (zh) | 直播錄設備、直播錄系統及直播錄方法 | |
CN103220458A (zh) | 一种立体摄像装置和立体摄像方法 | |
TWM552222U (zh) | 全景音效系統 | |
Gowdham et al. | A Review on the Google Glass Technology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |