TWI661722B

TWI661722B - 影像處理方法及影像處理系統

Info

Publication number: TWI661722B
Application number: TW104104964A
Authority: TW
Inventors: 許竣棠; 戴守國
Original assignee: 圓剛科技股份有限公司
Priority date: 2015-02-13
Filing date: 2015-02-13
Publication date: 2019-06-01
Also published as: TW201630401A

Abstract

一種影像處理方法包括一影像輸入程序、一影像畫面區分程序、一影像辨識程序以及一影像配置程序。影像輸入程序係輸入一主影像畫面及一第一附加影像畫面。影像畫面區分程序係將主影像畫面至少定義出一第一區域及一第二區域。影像辨識程序係賦予一第一影像權重對應於主影像畫面之第一區域，及賦予一第二影像權重對應於主影像畫面之第二區域。影像配置程序係依據第一影像權重及第二影像權重，而將第一附加影像畫面覆蓋至少部分之主影像畫面的第一區域或第二區域。

Description

影像處理方法及影像處理系統

本發明係關於一種影像處理方法及系統，特別關於一種能夠自動調整影像畫面配置的影像處理方法及影像處理系統。

隨著電腦科技、顯示技術以及網路技術的長足發展，人們可以藉由網路即時分享許多資訊，由單純的文字訊息或影像資訊，甚至是複合式資訊。在顯示技術方面，大尺寸、高解析度的顯示螢幕可以在一個顯示畫面中同時顯示一影像資訊、一文字資訊及一圖表資訊。在網路技術方面，隨著頻寬以及連網速度的增加，即時的資訊傳遞也衍生出網路直播的分享或營運模式。

為此，線上實況直播軟體，例如Open Broadcaster Software(OBS)，則被開發出以整合各種資訊，並以串流的方式傳播至線上(online)，以提供收視戶連結觀賞。

目前的線上實況直播軟體可以讓使用者自行設定所需的畫面配置，請參照第1圖所示，本例係以線上遊戲玩家直播分享遊戲過程為例，第1圖係顯示在玩家(使用者)的一顯示器之一顯示面上欲以串流方式傳播至線上的一影像畫面20。影像畫面20包括有主影像畫面21以及一即時影像22。其中，主影像畫面21為主要的遊戲畫面，其包括一功能列表211以及一對話方塊212。

使用者可以依據其個人喜好，而設定即時影像22於主影像畫面21上的位置，於此，即時影像22係配置於主影像畫面21的右下角。

當遊戲開始後，隨著遊戲場景的轉換，其中的功能列表211或對話方塊212的配置位置可能會有所調整，也因此可能會被即時影像22所覆蓋，如第1圖所示，其中部分的功能列表211即被即時影像22覆蓋。如此一來，玩家將無法清楚獲得該些遊戲資訊，而必須再移動即時影像22的位置，導致操作不便而降低了遊戲順暢度。

為了改善上述情況，能夠設定多組配置位置的線上實況直播軟體也因應而生。雖然有多組配置設定可供遊戲玩家使用，然而在遊戲過程中如遇到時常變化場景配置的狀況，玩家則必須時常的切換配置，也是相當不便利的使用方式。

因此，如何在線上實況直播的狀況下，令顯示畫面的內容能夠依據需求而自動調整配置位置，實屬當前重要課題之一，亦仍係業界所要努力達成之目標。

有鑒於此，本發明之一目的在於提供一種能夠自動調整影像畫面(frame)於一顯示器之一顯示面上的配置位置的影像處理方法。

為達上述目的，本發明提供一種影像處理方法，其係可自動調整複數個影像畫面(frame)於一顯示器之一顯示面上的配置位置。影像處理方法包括一影像輸入程序、一影像畫面區分程序、一影像辨識程序以及一影像配置程序。影像輸入程序係輸入一主影像畫面及一第一附加影像畫面，其中主影像畫面及第一附加影像畫面係用於顯示於顯示器之顯示面上。影像畫面區分程序係將主影像畫面至少定義出一第一區域及一第二區域。影像辨識程序係賦予一第一影像權重對應於主影像畫面之第一區域，及賦予一第二影像權重對應於主影像畫面之第二區域。影像配置程序係依據第一影像權重及第二影像權重，而將第一附加影像畫面覆蓋至少部分之主影像畫面的第一區域或第二區域。

依據本發明之一實施例，當第一影像權重大於第二影像權重時，可代表第一區域的主影像畫面所呈現的內容相較於第二區域的主影像畫面所呈現的內容是重要的，因此第一附加影像畫面係覆蓋至少部分之主影像畫面的第二區域。

依據本發明之一實施例，影像處理方法更包括一影像畫面調整程序，其係依據主影像畫面之第二區域之尺寸，而調整第一附加影像畫面之尺寸，以使其符合第二區域之尺寸。

依據本發明之一實施例，影像處理方法更包括一影像比對程序以及一訊息提示程序。影像比對程序係將主影像畫面與一預設影像畫面進行比對，並產生一比對值。訊息提示程序係依據比對值產生一提示訊號。其中，提示訊號例如為一文字或一語音。

依據本發明之一實施例，影像處理方法更包括一影像暫存程序、一影像比對程序以及一訊息提示程序。影像暫存程序係次序儲存主畫面影像。影像比對程序係比對該等主影像畫面的內容，並產生一比對值。訊息提示程序係依據比對值而產生一提示訊號。

承上所述，依據本發明之一種自動調整影像畫面於顯示器之顯示面上的配置位置的影像處理方法，其係將主影像畫面分區後進行影像辨識，並依據每個區域中影像畫面的重要程度或複雜程度，而賦予每個區域一個影像權重，最後再將附加影像畫面配置於影像權重較低的區域(例如為較不重要的區域)。如此一來，當主影像畫面在變動時，附加影像畫面可以隨著需求而自動變換配置位置，而不致於影響使用者觀察主影像畫面。

20‧‧‧影像畫面

21‧‧‧主影像畫面

211‧‧‧功能列表

212‧‧‧對話方塊

22‧‧‧即時影像

30、50‧‧‧影像處理系統

31、51‧‧‧影像擷取模組

32、52‧‧‧影像區域劃分模組

33、53‧‧‧影像辨識模組

34、54‧‧‧影像整合模組

35、55‧‧‧影像輸出模組

36、56‧‧‧影像暫存模組

37、57‧‧‧影像比對模組

38、58‧‧‧訊息提示模組

A1~A9‧‧‧區域

P01~P08‧‧‧影像處理方法流程

P11~P18‧‧‧影像處理方法流程

V01、V11‧‧‧主影像畫面

V02、V12‧‧‧第一附加影像畫面

V03、V13‧‧‧第二附加影像畫面

V04、V14‧‧‧整合影像畫面

V05、V15‧‧‧提示訊息

W01~W09‧‧‧影像權重

第1圖係顯示習知一種線上實況直播軟體傳播至線上之一影像畫面。

第2圖係顯示依據本發明第一實施例之一種影像處理方法之一流程圖。

第3圖係顯示依據與本發明第一實施例之影像處理方法配合應用之一種影像處理系統之一方塊圖。

第4圖係顯示影像區域劃分模組對一主影像畫面區分之一示意圖。

第5圖係顯示第一實施例之影像處理方法之另一流程圖。

第6圖係顯示第一實施例之影像處理系統之另一方塊圖。

第7圖係顯示第一實施例之影像處理方法之又一流程圖。

第8圖係顯示依據本發明第二實施例之一種影像處理系統之一方塊圖。

第9圖係顯示依據本發明第二實施例之一種影像處理方法之一流程圖。

以下將透過實施例來解釋本發明內容，本發明的實施例並非用以限制本發明須在如實施例所述之任何特定的環境、應用或特殊方式方能實施。因此，關於實施例之說明僅為闡釋本發明之目的，而非用以限制本發明。須說明者，以下實施例及圖式中，與本發明非直接相關之元件已省略而未繪示；且圖式中各元件間之尺寸關係僅為求容易瞭解，非用以限制實際比例。

請參照第2圖所示，依據本發明第一實施例之一種影像處理方法，其係包括一影像輸入程序P01、一影像畫面區分程序P02、一影像辨識程序P03以及一影像配置程序P04。請再參照第3圖所示，其係與本發明第一實施例搭配應用之一影像處理系統30。影像處理系統30包括一影像擷取模組31、一影像區域劃分模組32、一影像辨識模組33、一影像整合模組34以及一影像輸出模組35。以下，請同時參照第2圖及第3圖以說明依據本發明第一實施例之影像處理方法。

影像輸入程序P01係輸入一主影像畫面V01、一第一附加影像畫面V02以及一第二附加影像畫面V03至影像擷取模組31。於本實施例中，主影像畫面V01係為一遊戲畫面，其係可為一線上遊戲而由網路傳輸而得，或係為一本機遊戲而由電腦或遊戲機傳輸而得；第一附加影像畫面V02係由一攝影鏡頭擷取並輸出之一即時影像；第二附加影像畫面V03係為一圖片，例如為一識別圖騰(logo)，其可預先設計儲存於本機電腦中。

影像畫面區分程序P02係由影像區域劃分模組32接收由影像擷取模組31輸出之主影像畫面V01，並對其定義出九個區域A1~A9(如第4圖所示)。在本實施例中，主影像畫面V01係以均等的九宮格方式定義出區域A1~A9，在其他實施例中，區域劃分的數量多寡及大小係可依據需求而有不同。

影像辨識程序P03係由影像辨識模組33接收由影像區域劃分模組32定義過區域的主影像畫面V01，並針對主影像畫面V01的九個區域進行影像辨識，且依據辨識結果賦予各個區域一影像權重W01~W09。換言之，影像辨識模組33將賦予第一區域A1對應一第一影像權重W01、第二區域A2對應一第二影像權重W02、第三區域A3對應一第三影像權重W03、第四區域A4對應一第四影像權重W04、第五區域A5對應一第五影像權重W05、第六區域A6對應一第六影像權重W06、第七區域A7對應一第七影像權重W07、第八區域A8對應一第八影像權重W08、第九區域A9對應一第九影像權重W09。

於此，影像權重的定義係代表影像畫面的重要程度，例如有文字、數字出現的區域則代表可能有對話框或即時訊息，因此將會被賦予較高的影像權重。而單一色調的區域則代表可能較無重要資訊出現的區域，因此將會被賦予較低的影像權重。另外，各分區的區域位置也將影響影像權重，例如影像畫面的中央一般係為主要的或重要的遊戲場景，因此中央區域的影像權重也將高於周圍區域及角落區域的影像權重。

影像配置程序P04係由影像整合模組34依據第一影像權重W01至第九影像權重W09，而將第一附加影像畫面V02以及第二附加影像畫面V03分別配置到九個區域A1~A9的其中之一區域，並覆蓋該區域所對應的主影像畫面V01，以產生一整合影像畫面V04。在本實施例中，係以第三區域A3以及第九區域A9之影像權重最低為例，因此，第一附加影像畫面V02係被配置於第三區域A3，而第二附加影像畫面V03係被配置於第九區域A9。換言之，附加影像畫面將優先被配置於影像權重較低的區域。另外，第一附加影像畫面V02以及第二附加影像畫面V03亦可有重要程度的區分，本實施例係以第一附加影像畫面V02的重要程度高於第二附加影像畫面為例說明。最後，影像整合模組34係將整合影像畫面V04輸出至影像輸出模組35，而影像輸出模組35則將其輸出至一顯示器之一顯示面(圖中未顯示)以供遊戲玩家操作，並將其以串流方式輸出至網路，以供連結收視者觀賞。

在上述實施例中，當第一附加影像畫面V02以及第二附加影像畫面V03的尺寸(scale)係分別小於第三區域A3及第九區域A9的尺寸時，則可不需調整其尺寸。而當第一附加影像畫面V02以及第二附加影像畫面V03的尺寸(scale)係分別大於第三區域A3及第九區域A9的尺寸時，請再參照第5圖，則可在影像辨識程序P03以及影像配置程序P04之間增加一影像畫面調整程序P05，其可經由影像整合模組34適當地調整第一附加影像畫面V02以及第二附加影像畫面V03的尺寸，以使其符合第三區域A3及第九區域A9的尺寸。

承上所述，為了因應場景的隨時變化，因此上述的影像處理方法可在一預設時間後自動執行，以達到即時自動更換影像畫面的配置之目的。預設時間可由使用者自行設定，或由軟體開發商於軟體內設定，其最短的執行時間可以是一影像畫面時間(frame time)。

以下，請參照第6圖以及第7圖所示，以更進一步說明依據本發明第一實施例之影像處理方法。其中，影像處理方法更包括一影像暫存程序P06、一影像比對程序P07以及一訊息提示程序P08。在實況直播的過程中，有時會因為網路斷線或是玩家暫停，而導致畫面中斷的情形，此時若無任何提示，將導致收視的用戶無法獲得當前狀態而產生疑惑。因此，在本實施例中，影像擷取模組31除了將主影像畫面V01輸出至影像區域劃分模組32之外，更在影像暫存程序P06中，將主影像畫面V01輸出至一影像暫存模組36(如第6圖所示)，以在影像暫存模組36的能力範圍(暫存記憶體的容量)內次序儲存主影像畫面V01。

影像比對程序P07係由一影像比對模組37依據影像暫存模組36所儲存之主影像畫面V01與一預設影像畫面進行比對，並據以產生一比對值。一般而言，當訊號中斷時，電腦螢幕會顯示黑畫面，因此預設影像畫面可以為一黑畫面。然而，訊號中斷時可能產生的畫面狀態亦可以有其他態樣，例如雪花畫面，因此，影像處理系統30可以包括複數個預設影像畫面以供比對。

訊息提示程序P08係由一訊息提示模組38依據影像比對模組37產生之比對值而輸出一提示訊息V05。其中，比對值係代表主影像畫面V01與預設影像畫面的相似程度，而該提示訊息V05(例如響聲、文字或特定影像)係在比對值落入一定範圍內即被啟動。在本實施例中，提示訊息V05係由訊息提示模組38輸出至影像輸出模組35之一文字訊息，以告知收視者當前發生訊號中斷。

請再參照第8圖及第9圖所示，其係分別顯示依據本發明第二實施例之一影像處理系統50之一方塊圖及一影像處理方法之一流程圖。如第8圖所示，影像處理系統50係包括一影像擷取模組51、一影像區域劃分模組52、一影像辨識模組53、一影像整合模組54、一影像輸出模組55、一影像暫存模組56、一影像比對模組57以及一訊息提示模組58。

影像處理方法係包括一影像輸入程序P11、一影像畫面區分程序P12、一影像辨識程序P13、一影像畫面調整程序P15、一影像配置程序P14、一影像暫存程序P16、一影像比對程序P17以及一訊息提示程序P18。

影像擷取模組51係接收一主影像畫面V11、一第一附加影像畫面V12以及一第二附加影像畫面V13，其係與第一實施例之主影像畫面V01、第一附加影像畫面V02以及第二附加影像畫面V03相同，於此不再加以贅述。

與第一實施例不同的是影像暫存程序P16係由影像暫存模組56係依序接收並儲存由影像整合模組54輸出之一整合影像畫面V14。影像比對程序P17係由影像比對模組57係依據影像暫存模組56儲存之複數整合影像畫面V14進行比對，以產生一比對值。訊息提示程序P18係由訊息提示模組58依據影像比對模組57產生之比對值而輸出一提示訊息V15。其中，提示訊息V15係與第一實施例相同可為響聲、文字或影像。於本實施例中，訊息提示模組58係輸出文字訊息之提示訊息V15至影像輸出模組55。

綜上所述，依據本發明之一種自動調整影像畫面於顯示器之顯示面上的配置位置的影像處理方法及影像處理系統，其係依據一預設時間而將主影像畫面分區後進行影像辨識，並依據每個區域中影像畫面的重要程度或複雜程度，而賦予每個區域一個影像權重，最後再將附加影像畫面配置於影像權重較低的區域(例如為較不重要的區域)。如此一來，當主影像畫面在變動時，附加影像畫面可以隨著畫面的變動而自動變換配置位置以避免附加影像畫面遮蔽重要的主影像畫面資訊，而不致於影響使用者(遊戲玩家)進行操作，也提高收視者對於收視的意願。另外，對於影像畫面停滯或無影像訊號時，適時地顯示告知訊息，也能使得收視者不會感到疑惑。

本發明符合發明專利之要件，爰依法提出專利申請。惟，以上所述者僅為本發明之較佳實施例，自不能以此限制本案之申請專利範圍。舉凡熟悉本案技藝之人士，爰依本案發明精神所作之等效修飾或變化，皆應包括於以下之申請專利範圍內。

Claims

一種影像處理方法，係自動調整影像畫面(frame)於一顯示器之一顯示面上的配置位置，包含：一影像輸入程序，係輸入一主影像畫面及一第一附加影像畫面，該主影像畫面及該第一附加影像畫面係用於顯示於該顯示面；一影像畫面區分程序，係於該主影像畫面至少定義一第一區域及一第二區域；一影像辨識程序，係賦予一第一影像權重對應於該主影像畫面之該第一區域，及賦予一第二影像權重對應於該主影像畫面之該第二區域；一影像配置程序，係依據該第一影像權重及該第二影像權重，而將該第一附加影像畫面覆蓋至少部分之該主影像畫面的第一區域或該第二區域，以產生一整合影像畫面；一影像比對程序，係將該主影像畫面與一預設影像畫面進行比對，並產生一比對值；以及一訊息提示程序，依據該比對值產生一提示訊息。
一種影像處理方法，係自動調整影像畫面於一顯示器之一顯示面上的配置位置，包含：一影像輸入程序，係輸入一主影像畫面及一第一附加影像畫面，該主影像畫面及該第一附加影像畫面係用於顯示於該顯示面；一影像畫面區分程序，係於該主影像畫面至少定義一第一區域及一第二區域；一影像辨識程序，係賦予一第一影像權重對應於該主影像畫面之該第一區域，及賦予一第二影像權重對應於該主影像畫面之該第二區域；一影像配置程序，係依據該第一影像權重及該第二影像權重，而將該第一附加影像畫面覆蓋至少部分之該主影像畫面的第一區域或該第二區域，以產生一整合影像畫面；一影像暫存程序，係儲存該整合影像畫面；一影像比對程序，係比對該等整合影像畫面，並產生一比對值；以及一訊息提示程序，依據該比對值產生一提示訊息。
一種影像處理方法，係自動調整影像畫面於一顯示器之一顯示面上的配置位置，包含：一影像輸入程序，係輸入一主影像畫面及一第一附加影像畫面，該主影像畫面及該第一附加影像畫面係用於顯示於該顯示面；一影像畫面區分程序，係於該主影像畫面至少定義一第一區域及一第二區域；一影像辨識程序，係賦予一第一影像權重對應於該主影像畫面之該第一區域，及賦予一第二影像權重對應於該主影像畫面之該第二區域；一影像配置程序，係依據該第一影像權重及該第二影像權重，而將該第一附加影像畫面覆蓋至少部分之該主影像畫面的第一區域或該第二區域，以產生一整合影像畫面；輸入一第二附加影像畫面；於該主影像畫面定義一第三區域；賦予一第三影像權重對應於該主影像畫面之該第三區域；以及依據該第一影像權重、該第二影像權重及該第三影像權重，而將該第二附加影像畫面覆蓋部分之該主影像畫面的第三區域。
如請求項1、2或3任一項所述之影像處理方法，其中，該第一影像權重係大於該第二影像權重，而該第一附加影像畫面係覆蓋至少部分之該主影像畫面的第二區域。
如請求項4所述之影像處理方法，更包含：一影像畫面調整程序，依據該主影像畫面之該第二區域之尺寸，而調整該第一附加影像畫面之尺寸，使其符合該第二區域之尺寸。
如請求項3所述之影像處理方法，其中，該第一影像權重及該第二影像權重係大於該第三影像權重。
一種影像處理系統，係自動調整影像畫面於一顯示器之一顯示面上的配置位置，包含：一影像擷取模組，係擷取一主影像畫面及一第一附加影像畫面；一影像暫存模組，係儲存該主影像畫面；一影像區域劃分模組，係於該主影像畫面至少定義一第一區域及一第二區域；一影像辨識模組，係賦予一第一影像權重對應於該主影像畫面之該第一區域，及賦予一第二影像權重對應於該主影像畫面之該第二區域；一影像整合模組，係依據該第一影像權重及該第二影像權重，而將該第一附加影像畫面覆蓋至少部分之該主影像畫面的第一區域或該第二區域，並據以產生一整合影像畫面；一影像比對模組，係比對該主影像畫面與一預設影像畫面，以產生一比對值；以及一訊息提示模組，係依據該比對值而產生一提示訊息。
一種影像處理系統，係自動調整影像畫面於一顯示器之一顯示面上的配置位置，包含：一影像擷取模組，係擷取一主影像畫面及一第一附加影像畫面；一影像區域劃分模組，係於該主影像畫面至少定義一第一區域及一第二區域；一影像辨識模組，係賦予一第一影像權重對應於該主影像畫面之該第一區域，及賦予一第二影像權重對應於該主影像畫面之該第二區域；一影像整合模組，係依據該第一影像權重及該第二影像權重，而將該第一附加影像畫面覆蓋至少部分之該主影像畫面的第一區域或該第二區域，並據以產生一整合影像畫面；一影像暫存模組，係儲存該整合影像畫面；一影像比對模組，係比對該等整合影像畫面，以產生一比對值；以及一訊息提示模組，係依據該比對值而產生一提示訊息。