TWI501759B - 盲人行動記錄分析與導航系統 - Google Patents
盲人行動記錄分析與導航系統 Download PDFInfo
- Publication number
- TWI501759B TWI501759B TW102108089A TW102108089A TWI501759B TW I501759 B TWI501759 B TW I501759B TW 102108089 A TW102108089 A TW 102108089A TW 102108089 A TW102108089 A TW 102108089A TW I501759 B TWI501759 B TW I501759B
- Authority
- TW
- Taiwan
- Prior art keywords
- route
- analysis
- road condition
- image
- blind
- Prior art date
Links
Landscapes
- Traffic Control Systems (AREA)
- Navigation (AREA)
Description
本發明係為一種盲人行動記錄分析與導航系統,係以手持行動通訊裝置透過藍牙結合網路與行動記錄器,而取得路線及衞星定位位址與路況影像,並分析比較而以語音或震動提示使用者。
有關於視障導引的先前技術,如中華民國發明專利權第I305146(公開200800130)號『盲人引導裝置』,其係一種盲人導引裝置,包含有複數偵測器與一訊號處理器,各該偵測器配載於人體的不同部位,使各該偵測器之間具有一垂直高度差;各該偵測器具有一發送器與一接收器,藉由不同偵測器的偵測結果可讓使用者了解該障礙物的高度,藉以通知使用者那些身體部位該閃避。惟,該習知技術必須於使用者身上多處裝置偵測器,於穿脫上易產生不便,且較為笨重;且僅具有偵測以通知迴避前方障礙物之功能,而無法導引視障者其行進方向;即僅能”告知”使用者前方有什麼,至於使用者要往那裏走,並沒有辦法加以”導航”,換言之,使用者必須強記”路線”,而”憑感覺走路”,因此,使用者仍然受困於每日固定的路線、”熟悉”的小環境裏,仍然過在”障礙空間”裏_被”路線”圍困的空間裏。
又,中華民國發明專利公告第518965號『電子導盲裝置』之專利案,其係以盲人常常戴的眼鏡來設計的眼鏡式檢測告知裝置,係在眼鏡的正中央裝設具有色彩感知器的檢測裝置,以感測紅綠燈
之間的號誌變化,同時在眼鏡的兩眼位置安裝主動式紅外線收發檢測裝置,以連續主動式紅外光源,將被照射物體所產生的反射光源,與發射光源之間的時間差,而可以測出物體相隔距離,再以語音通知盲人物體離身體某部位的距離,及該採取什麼閃避行為。至於判斷紅綠燈的顏色,則係以紅外線CCD影像檢測電路來加以輔助,並由CPU中的信號處理單元處理。另外,其語音處理合成電路則告知盲人如何閃避,如:前進、轉彎、停止、抬腳。
但是第518965號在使用上卻還有一些缺失:即使用者必須一直左搖右晃,至少要讓頭上的鏡頭掃瞄到前方路面以察覺坑洞,其實對盲人而言,非常不方便,尤其在過馬路時,為了爭取時間,往往都會加速快步走,這時候反而更危險;此外,該前案亦僅在判別當下使用者所在之環境有什麼狀況,但該前案並不能告訴使用者現在走到那裏,換言之,盲人使用者也只能靠一己的記憶行走在他/她們熟悉的路線上,當使用者行走在陌生環境裏,難保不被其他具有紅綠光的廣告燈具耍得團團轉。
前述的盲人導引裝置都用來偵測他/她們熟悉的路線上的即時周遭環境,並以語音通知盲人注意,對於避開定點障礙物基本上已可解決。但是,對於導引盲人安全的走向路況連續變化的陌生的環境,基本上並沒有提供解決的方案。
我們期待提供盲人使用者一個真正的”無障礙導盲系統”,讓他/她們可以不被既已熟悉的路線圍困,而能被導航一走向一般人可出入的公共空間,達到真正的無障礙。
另外,在導航方面,明眼的常人已使用衛星定位系統(GPS)於車輛道路駕駛,現在則亦已應用於手機的定位,且手機結合網路
成為所謂智慧型手機,更可在智慧型手機上以蒐尋引擎提供的軟體先蒐尋地圖,進而規劃起點到終點行進路線,只是這些都限制在常人使用,盲人因視障並無法直接以智慧型手機手寫輸入查衛星定位位址,且即使查出來,也無法供導引盲人走路。
而手機雖也提供藍牙供常人使用者掛於耳朵通話,不用手持著手機講話,但仍無法直接提供盲人使用者以語音操控手機,及讓手機為盲人使用者導航。同理,現有的衛星導航系統,一樣只適於明眼人使用,實仍有進一步整合之必要。
爰此,針對現有智慧型手機及衛星導航系統只適合明眼人使用、不能讓盲人同時被導航及迴避路況障礙、無法真正滿足盲人基本行路安全之需求之問題,本發明乃提供一種盲人智慧型手機行動記錄分析與導航系統,藉以一手持行動通訊裝置透過網際網路及藍牙,通訊一連結導航模組、一分析模組及一行動記錄器,以取得手持行動通訊裝置之衞星定位位址,及由一資料庫群組取得一路線資料,與由行動記錄器取得一路況影像,進而加以分析路況及導航,並以語音或震動提示使用者前方之路況變化以及盲人是否仍位於路線,藉以滿足同時為盲人導引新舊路線及監視路況之需求者。
前述本發明所提供之盲人智慧型手機行動記錄分析與導航系統,係包括一手持行動通訊裝置、一行動記錄器、一提示模組、一藍牙、一資料庫群組、一導航模組及一分析模組,其中該手持行動通訊裝置,係用以與一網際網路通訊連通,該行動記錄器係至少包括一攝影單元,該攝影單元係用以錄製一路況影像,該提示模
組係至少包括一語音單元或一震動單元之一,並根據一路線警示或一路況警示而發出語音提示或震動提示,藍牙係通訊連結該手持行動通訊裝置與該行動記錄器,以及通訊連結該手持行動通訊裝置與該提示模組,資料庫群組至少包括一路線資料庫及一路況影像資料庫,該路線資料庫包括一新路線及至少一舊路線之資料,該路況影像資料庫包括至少一路況分類影像,該導航模組係存載於該手持行動通訊裝置,而自該網際網路取得該手持行動通訊裝置之一衛星定位位址,並比較該衛星定位位址是否位於該新路線或所述的舊路線之一上,且當該衛星定位位址不在該新路線或所述的舊路線之一上時,發出一路線警示給該提示模組,該分析模組係存載於該手持行動通訊裝置,且係包括一路線分析與一路況分析,該路線分析係供選擇該新路線或所述的舊路線之一,並當選擇該新路線時,自該網際網路取得該新路線且回存該路線資料庫,該路況分析係比對該路況影像與所述的路況分類影像是否相符,並於相符時發出一路況警示給該提示模組。藉由所提供的系統,盲人可同時被導引走向特定的目的地及接收到即時的路況提示,不僅知道該如何走,也知道前方是否有險境或路面不平或有障礙物等。
前述本發明所提供之盲人智慧型手機行動記錄分析與導航系統,其中,該路況分類影像係包括一紅綠燈影像。眾多路況中,紅綠燈算是比較危險之一,包括行人秒數的監測,會使它的分類影像增多,也就是它的對應提示分類增多。
前述本發明所提供之盲人智慧型手機行動記錄分析與導航系統,其中,該路況警示係對應該相符之路況分類影像。每個路況分類影像當然有不同的提示,以確保盲人採取不同且正確的行動。
前述本發明所提供之盲人智慧型手機行動記錄分析與導航系統,其中,該行動記錄器及該提示模組係設置於一盲人眼鏡。其實只要是依附在頭戴或身戴物品均可,但盲人眼鏡幾乎是每位盲人必備,附加於此,盲人不必改變任何既有行為,只需要在戴上眼鏡時同時增加開關的動作即可,接著就只要語音操作,不必額外學習。
前述本發明所提供之盲人智慧型手機行動記錄分析與導航系統,其中,該路線分析進一步分析比對該新路線與所述的舊路線,當所述的舊路線可組合出起點亦與新路線起點相同,且終點與新路線起點相同的組合舊路線,以該組合舊路線為新路線。這樣做只是提供盲人多一個選擇:當舊路線組合與新路線長度或時間差別不大時,盲人可以選舊路線組合而減少學習的壓力;因為盲人畢竟視覺已失能,即使有任何輔助裝置或導盲犬,盲人在行動時還是會根據經驗或記憶去迴避一些路障或路況,所以減少學習對盲人而言會是需要的。
前述本發明所提供之盲人智慧型手機行動記錄分析與導航系統,其中,該手持行動通訊裝置係智慧型手機或平板電腦之一。主要是用來通訊,且處理器運算能力夠,可以處理影像辨識演算的裝置,都可以使用。
前述本發明所提供之盲人智慧型手機行動記錄分析與導航系統,其中,該資料庫群組係存載於該手持行動通訊裝置,藉以使資料存取更快速。較適用於高階的手持行動通訊裝置。
前述本發明所提供之盲人智慧型手機行動記錄分析與導航系統,其中,該資料庫群組係存載於一遠端,而透過雲端來存取,以節省記憶體,可用於較低階的手持行動通訊裝置。
前述本發明所提供之盲人智慧型手機行動記錄分析與導航系統,除滿足同時為盲人導航及監視路況之需求外,並達到即時、精確、簡化硬體元件、使用自由度高之功效。
而本發明相對於先前技藝,不但整合成盲人可以使用,且不增加過多的硬體,甚至結合於現今已使用之盲人手機及盲人眼鏡,不會增加盲人體力與財力的負擔,實為方便與實惠。
(100)‧‧‧盲人行動記錄分析與導航系統
(1)‧‧‧手持行動通訊裝置
(2)‧‧‧網際網路
(3)‧‧‧行動記錄器
(31)‧‧‧攝影單元
(4)‧‧‧提示模組
(41)‧‧‧語音單元
(42)‧‧‧震動單元
(43)‧‧‧開關
(5)‧‧‧藍牙
(6)‧‧‧資料庫群組
(61)‧‧‧路線資料庫
(611)‧‧‧新路線
(612)‧‧‧舊路線
(62)‧‧‧路況影像資料庫
(621)‧‧‧路況分類影像
(622)‧‧‧紅綠燈影像
(7)‧‧‧導航模組
(8)‧‧‧分析模組
(81)‧‧‧路線分析
(82)‧‧‧路況分析
(9)‧‧‧盲人眼鏡
[第一圖]係本發明實施例之系統架構示意圖。
[第二圖]係本發明實施例之提示模組與行動記錄器之構造示意圖。
[第三圖]係本發明實施例之路線分析流程圖。
[第四圖]係本發明實施例之路況分析流程圖。
本發明實施例之系統架構,如第一圖所示,盲人行動記錄分析與導航系統(100)係包括:
一手持行動通訊裝置(1),係用以與一網際網路(2)通訊連通;其中,該手持行動通訊裝置(1)係智慧型手機或平板電腦之一。
一行動記錄器(3),係至少包括一攝影單元(31),該攝影單元(31)係用以錄製一路況影像。
一提示模組(4),係至少包括一語音單元(41)或一震動單元(42)之一,並根據一路線警示或一路況警示而發出語音或震動提示。
一藍牙(5),係通訊連結該手持行動通訊裝置(1)與該行動記錄器(3),以及通訊連結該手持行動通訊裝置(1)與該提示模組(4)。
一資料庫群組(6),至少包括一路線資料庫(61)及一路況影像資料庫(62),該路線資料庫(61)包括一新路線(611)及至少一舊路線(612)之資料,該路況影像資料庫(62)包括至少一路況分類影像(621);其中,該路況分類影像(621)係包括一紅綠燈影像(622)。其中,該資料庫群組(6)係存載於該手持行動通訊裝置(1)。其中,該資料庫群組(6)係存載於一遠端,亦即利用雲端。
一導航模組(7),係存載於該手持行動通訊裝置(1),而自該網際網路(2)取得該手持行動通訊裝置(1)之一衛星定位位址,並比較該衛星定位位址是否位於該新路線(611)或所述的舊路線(612)之一上,且當該衛星定位位址不在該新路線(611)或所述的舊路線(612)之一上時,發出一路線警示給該提示模組(4)。
一分析模組(8),係存載於該手持行動通訊裝置(1),且係包括一路線分析(81)與一路況分析(82),該路線分析(81)係供選擇該新路線(611)或所述的舊路線(612)之
一,並當選擇該新路線(611)時,自該網際網路(2)取得該新路線(611)且回存該路線資料庫(61),該路況分析(82)係比對該路況影像與所述的路況分類影像(621)是否相符,並於相符時發出一路況警示給該提示模組(4)。其中,該路況警示係對應該相符之路況分類影像(621)。其中,該路線分析(81)進一步分析比對該新路線(611)與所述的舊路線(612),當所述的舊路線(612)可組合出起點亦與新路線(611)起點相同,且終點與新路線(611)終點相同的組合舊路線,以該組合舊路線為新路線(611)。
其中,該行動記錄器(3)及該提示模組(4)係如第二圖所示,乃設置於一盲人眼鏡(9)。而該藍牙(5)也設置於該盲人眼鏡(9)。提示模組(4)另設有開關(43)供操作。故,實際上盲人使用者所攜帶的器材,只增加了”盲人眼鏡(9)”的一點重量:即一攝影單元(31)、一提示模組(4)及一藍牙(5),但攜帶的”器材件數”卻不會增加,因為以目前生活形態而言,手機及盲人眼鏡(9),應該都是必備的。
而,如第三圖所示,係本發明實施例之系統操作時,關於盲人行動路線分析(81)之流程圖,首先,盲人使用者透過藍牙以語音呼叫出導航模組,並選取已存在的常用路線代碼(如市場路線1或中央市場、公園路線3或中山公園)或新增路線記錄,隨即進入導航模式及啟動將於下述及的路況分析,亦即導航的同時,也會做路況分析。而,路線導航,係透過GPS定位使用者的位置,並由導航模組查核該位置是否仍在預選的路線上,再以語音通知使用者,而,如果是新增路線,導航模組除事先由蒐尋引擎(如google
map)取得預設路線外,亦可由使用者已熟悉或走過的已存路線去組合出新的預設路線的路線,畢竟使用者為盲人,有走過的經驗,會相對比較安全,然後,由GPS各次取點的座標組合成新的路線,行進間,由攝影單元錄下的影像圖存為路線辨識記錄,以供下次選擇此路線時使用。路線分析(81)的流程分述如下:語音輸入選擇路線分析;新舊路線選擇;選擇舊路線時:導航模組經雲端自路線資料庫取得該路線資料;導航模組自雲端GPS取得手機位址;導航模組比對路線資料與手機位址;比對是否已到達終點;如未到達終點則導航模組發出導航指令;經藍牙由提示模組以語音告知;回導航模組自雲端GPS取得手機位址;如已到達終點則導航模組發出導航完成通知;經藍牙由提示模組以語音告知使用者即導航完成。
選擇新路線時:路線分析可否為舊路線組合;如可,自路線資料庫取得各舊路線組合成路線資料;將該路線資料回存路線資料庫;如否,亦將該路線資料回存路線資料庫;返回選擇舊路線之流程,續行至導航完成。
另外,如第四圖所示,係本發明實施例之系統操作時,關於盲人行動路況分析之流程圖。這部份和前案揭露的技術不一樣的是本發明實施例採用的是一般攝像,而不使用紅外線,因為會對使用者產生威脅的不是只有有溫度的,而,正常影像因為來源比較多,也比較容易取得來供分析,再加上影像壓縮與分析演算法已相當進步,且雲端傳輸愈來愈快與雲端記憶容量幾乎無限大,因此,直接取一般影像而與雲端原存影像資料比對,可以很快取得判讀結果,而由手持行動通訊裝置(1)透過藍牙(5)告訴使用者。
如第四圖所示,路況分析(82)的流程係如下:攝影單元錄製路況影像;藍牙回傳影像給路況分析;路況分析自路況影像資料庫取得分析比較基準影像;比對出某一狀況;路況分析發出路況指令經藍牙給提示模組;提示模組以語音或震動通知使用者。
綜合上述實施例之說明,當可充分瞭解本發明之操作、使用及本發明產生之功效,惟以上所述實施例僅係為本發明之較佳實施例,當不能以此限定本發明實施之範圍,即依本發明申請專利範圍及發明說明內容所作簡單的等效變化與修飾,皆屬本發明涵蓋之範圍內。
(100)‧‧‧盲人行動記錄分析與導航系統
(1)‧‧‧手持行動通訊裝置
(2)‧‧‧網際網路
(3)‧‧‧行動記錄器
(31)‧‧‧攝影單元
(4)‧‧‧提示模組
(41)‧‧‧語音單元
(42)‧‧‧震動單元
(5)‧‧‧藍牙
(6)‧‧‧資料庫群組
(61)‧‧‧路線資料庫
(611)‧‧‧新路線
(612)‧‧‧舊路線
(62)‧‧‧路況影像資料庫
(621)‧‧‧路況分類影像
(622)‧‧‧紅綠燈影像
(7)‧‧‧導航模組
(8)‧‧‧分析模組
(81)‧‧‧路線分析
(82)‧‧‧路況分析
Claims (6)
- 一種盲人行動記錄分析與導航系統,係包括:一手持行動通訊裝置,係用以與一網際網路通訊連通;一行動記錄器,係至少包括一攝影單元,該攝影單元係用以錄製一路況影像;一提示模組,係至少包括一語音單元或一震動單元之一,並根據一路線警示或一路況警示而發出語音或震動提示;一藍牙,係通訊連結該手持行動通訊裝置與該行動記錄器,以及通訊連結該手持行動通訊裝置與該提示模組;一資料庫群組,至少包括一路線資料庫及一路況影像資料庫,該路線資料庫包括一新路線及至少一舊路線之資料,該路況影像資料庫包括至少一路況分類影像;一導航模組,係存載於該手持行動通訊裝置,而自該網際網路取得該手持行動通訊裝置之一衛星定位位址,並比較該衛星定位位址是否位於該新路線或所述的舊路線之一上,且當該衛星定位位址不在該新路線或所述的舊路線之一上時,發出一路線警示給該提示模組;一分析模組,係存載於該手持行動通訊裝置,且係包括一路線分析與一路況分析,該路線分析係供選擇該新路線或所述的舊路線之一,並當選擇該新路線時,自該網際網路取得該新路線且回存該路線資料庫,該路況分析係比對該路況影像與所述的路況分類影像是否相符,並於相符時發出一路況警示給該提示模組,該路況警示係對應該相符之路況分類影像;該路況分析的流程如下:攝影單元錄製路況影像;藍牙回傳影像給路況分析;路況分析自路況影像資料庫取得分析比較基準影像; 比對出某一狀況;路況分析發出路況指令經藍牙給提示模組;提示模組以語音或震動通知使用者。
- 如申請專利範圍第1項所述之盲人行動記錄分析與導航系統,其中該行動記錄器及該提示模組係設置於一盲人眼鏡。
- 如申請專利範圍第1項所述之盲人行動記錄分析與導航系統,其中該路線分析進一步分析比對該新路線與所述的舊路線,當所述的舊路線可組合出起點亦與新路線起點相同,且終點與新路線終點相同的組合舊路線,以該組合舊路線為新路線。
- 如申請專利範圍第1項所述之盲人行動記錄分析與導航系統,其中該手持行動通訊裝置係智慧型手機或平板電腦之一。
- 如申請專利範圍第1項所述之盲人行動記錄分析與導航系統,其中該資料庫群組係存載於該手持行動通訊裝置。
- 如申請專利範圍第1項所述之盲人行動記錄分析與導航系統,其中該資料庫群組係存載於一遠端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102108089A TWI501759B (zh) | 2013-03-07 | 2013-03-07 | 盲人行動記錄分析與導航系統 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102108089A TWI501759B (zh) | 2013-03-07 | 2013-03-07 | 盲人行動記錄分析與導航系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201434458A TW201434458A (zh) | 2014-09-16 |
TWI501759B true TWI501759B (zh) | 2015-10-01 |
Family
ID=51943105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102108089A TWI501759B (zh) | 2013-03-07 | 2013-03-07 | 盲人行動記錄分析與導航系統 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI501759B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI736955B (zh) * | 2019-08-20 | 2021-08-21 | 新煒科技有限公司 | 盲人導航方法及盲人導航裝置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI770779B (zh) * | 2021-01-20 | 2022-07-11 | 鴻海精密工業股份有限公司 | 行人導航方法、電子裝置及存儲介質 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1504724A (zh) * | 2002-12-04 | 2004-06-16 | 三菱电机株式会社 | 导航装置 |
TWM346877U (en) * | 2008-07-17 | 2008-12-11 | Inventec Appliances Corp | Handheld communication device capable of recognizing traffic sign |
US20100125409A1 (en) * | 2008-11-18 | 2010-05-20 | Nokia Corporation | User generated pedestrian and indoor shortcut routes for navigation systems |
CN202179671U (zh) * | 2011-07-22 | 2012-04-04 | 张殿礼 | 智能导盲眼镜 |
-
2013
- 2013-03-07 TW TW102108089A patent/TWI501759B/zh not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1504724A (zh) * | 2002-12-04 | 2004-06-16 | 三菱电机株式会社 | 导航装置 |
TWM346877U (en) * | 2008-07-17 | 2008-12-11 | Inventec Appliances Corp | Handheld communication device capable of recognizing traffic sign |
US20100125409A1 (en) * | 2008-11-18 | 2010-05-20 | Nokia Corporation | User generated pedestrian and indoor shortcut routes for navigation systems |
CN202179671U (zh) * | 2011-07-22 | 2012-04-04 | 张殿礼 | 智能导盲眼镜 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI736955B (zh) * | 2019-08-20 | 2021-08-21 | 新煒科技有限公司 | 盲人導航方法及盲人導航裝置 |
Also Published As
Publication number | Publication date |
---|---|
TW201434458A (zh) | 2014-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10024678B2 (en) | Wearable clip for providing social and environmental awareness | |
US20160033280A1 (en) | Wearable earpiece for providing social and environmental awareness | |
US10024679B2 (en) | Smart necklace with stereo vision and onboard processing | |
US20030026461A1 (en) | Recognition and identification apparatus | |
WO2012101720A1 (en) | Information processing device, alarm method, and program | |
JP7549588B2 (ja) | 盲人及び視覚障害者用の立体音響装置 | |
CN112020411A (zh) | 用于向用户提供服务的移动机器人装置和方法 | |
CN109664889B (zh) | 一种车辆控制方法、装置和系统以及存储介质 | |
US12253863B2 (en) | Method for controlling robot, robot, and recording medium | |
CN115427910B (zh) | 机器人的控制方法、机器人以及程序 | |
CN106953977A (zh) | 一种基于移动终端的监测方法及系统 | |
US9996730B2 (en) | Vision-assist systems adapted for inter-device communication session | |
US11210948B2 (en) | Vehicle and notification method | |
TWI501759B (zh) | 盲人行動記錄分析與導航系統 | |
JP2020086726A (ja) | 運転支援装置、ウェアラブル装置、運転支援方法およびプログラム | |
US20250060746A1 (en) | Robot control method, robot, and recording medium | |
KR20150061668A (ko) | 졸음운전 경보 장치 및 그 방법 | |
US20230128104A1 (en) | Accessibility system for assisting a user in interacting with a vehicle | |
Pham et al. | Intelligent helmet supporting visually impaired people using obstacle detection and communication techniques | |
JP7611054B2 (ja) | 情報処理装置、移動体、それらの制御方法、及びプログラム | |
KR20240054525A (ko) | 시각장애인을 위한 도보 환경 알림 시스템 | |
JP2024057142A (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |