TWI601423B - 攝影系統及其同步方法 - Google Patents

Description

攝影系統及其同步方法

本發明係關於一種影像控制系統，特別係關於一種攝影系統及其同步方法。

為了監控廣域的應用場景(wide area surveillance)，目前採用的方法多為於應用場景中設置多台攝影裝置，從而完整地對應用場景中的不同區域進行攝影。由於不同的攝影裝置於同一時間所擷取的影像之間可能存在時間戳記(timestamp)的差異，因此，不同的攝影裝置之間會需要進行時間同步以修正時間戳記的差異。

一般而言，每一攝影裝置內部均具有時鐘單元，而時鐘單元係用以決定擷取影像的時間戳記。目前而言，具網路功能的各攝影裝置均可透過網際網路(Internet)連接網路時間協定(Network Time Protocol，簡稱NTP)伺服器以進行時鐘單元的同步，從而對不同的攝影裝置於同一時間所擷取的影像的時間戳記進行同步以消除或減少時間誤差。然而，當對攝影裝置進行時間同步時，卻可能導致影像之間的時間戳記不連續，造成時間跳躍(time jump)現象。

因此，如何在兼顧消減時間誤差與降低時間戳記不連續的發生的前提下而進行攝影系統的設計，可說是一大挑戰。

本發明揭示的一態樣係關於一種攝影系統包含第一攝影裝置、第二攝影裝置以及處理裝置，且處理裝置電性連接第一攝影裝置與第二攝影裝置。第一攝影裝置用以擷取第一影像，第二攝影裝置用以擷取一第二影像。處理裝置用以接收第一攝影裝置傳來的第一資訊與第二攝影裝置傳來的第二資訊，並依據第一資訊與第二資訊判斷第一影像與第二影像中是否具有相同的物件。若處理裝置判定第一影像與第二影像中具有相同的物件，則依據物件之事件以同步第一影像與第二影像之時間戳記。

本發明揭示的另一態樣係關於一種影像同步方法包含以下步驟：透過第一攝影裝置與第二攝影裝置分別擷取第一影像與第二影像；依據第一資訊與第二資訊判斷第一影像與第二影像中是否具有相同的物件；當第一影像與第二影像中具有相同的物件時，追蹤物件之事件；以及依據物件之事件以同步第一影像與第二影像之時間戳記。

綜上所述，本案之技術方案與現有技術相比具有明顯的優點和有益效果。藉由上述技術方案，可達到相當的技術進步，並具有產業上的廣泛利用價值。本案所揭示之處理裝置於接收到不同的攝影裝置所擷取的影像資訊後，便對擷取影 像之間是否具有相同的物件進行判斷。若判定擷取影像之間具有相同的物件，則處理裝置對此物件進行追蹤，並依據後續發生於此物件的事件來修正擷取影像的時間戳記。因此，相較於透過網際網路連接所有攝影裝置以同步時間戳記的方法，本案所揭示之攝影系統不僅可以有效地修正擷取影像之間的時間誤差，更可以大幅地降低或消除時間戳記不連續的發生，從而維持擷取影像之間的高度時間同步性。

100‧‧‧攝影系統

110‧‧‧第一攝影裝置

120‧‧‧第二攝影裝置

130‧‧‧處理裝置

112‧‧‧第一影像

114‧‧‧第一重疊區

122‧‧‧第二影像

124‧‧‧第二重疊區

300‧‧‧攝影同步方法

500、600‧‧‧物件

700‧‧‧距離

S301、S302、S303、S304‧‧‧步驟

T1、T2‧‧‧時間戳記

第1圖為依據本發明揭示的實施例所繪製的攝影系統的方塊圖；第2A圖為依據本發明實施例繪製的一種攝影系統所擷取到的影像示意圖；第2B圖為為依據本發明揭示的實施例所繪製的物件移動關係示意圖；第3圖為依據本發明揭示的實施例所繪製的攝影同步方法的流程圖；以及第4圖依據本發明揭示的實施例所繪製的利用物體加速度事件來同步時間戳記的示意圖。

下文是舉實施例配合所附圖式作詳細說明，以更好地理解本發明的態樣，但所提供的實施例並非用以限制本揭 示所涵蓋的範圍，而結構操作的描述非用以限制其執行的順序，任何由元件重新組合的結構，所產生具有均等功效的裝置，皆為本揭示所涵蓋的範圍。此外，根據業界的標準及慣常做法，圖式僅以輔助說明為目的，並未依照原尺寸作圖，實際上各種特徵的尺寸可任意地增加或減少以便於說明。下述說明中相同元件將以相同的符號標示來進行說明以便於理解。

在全篇說明書與申請專利範圍所使用的用詞(terms)，除有特別註明外，通常具有每個用詞使用在此領域中、在此揭示的內容中與特殊內容中的平常意義。某些用以描述本發明揭示的用詞將於下或在此說明書的別處討論，以提供本領域技術人員在有關本發明揭示的描述上額外的引導。

此外，在本發明中所使用的用詞『包含』、『包括』、『具有』、『含有』等等，均為開放性的用語，即意指『包含但不限於』。此外，本發明中所使用的『及/或』，包含相關列舉項目中一或多個項目的任意一個以及其所有組合。

於本發明中，當一元件被稱為『連接』或『耦接』時，可指『電性連接』或『電性耦接』。『連接』或『耦接』亦可用以表示二或多個元件間相互搭配操作或互動。此外，雖然本發明中使用『第一』、『第二』、...等用語描述不同元件，該用語僅是用以區別以相同技術用語描述的元件或操作。除非上下文清楚指明，否則該用語並非特別指稱或暗示次序或順位，亦非用以限定本發明。

第1圖為依據本發明揭示的實施例所繪製的攝影系統100的方塊圖。如第1圖所示，攝影系統100包含第一攝影 裝置110、第二攝影裝置120以及處理裝置130。處理裝置130電性連接至第一攝影裝置110與第二攝影裝置120。

為利於理解第一攝影裝置110與第二攝影裝置120所擷取到的影像之間的相對關係，以便於說明攝影系統100的整體操作原理，請一併參閱第2A圖，其係依據本發明實施例繪製的一種攝影系統所擷取到的影像示意圖。第一攝影裝置110與第二攝影裝置120分別用以擷取第一影像112與第二影像122。處理裝置130用以接收第一影像112與第二影像122，並判斷第一影像112與第二影像122中是否具有相同的物件(如，物件500)。舉例而言，當第一攝影裝置110與第二攝影裝置120分別用以擷取同一區域中不同範圍或角度的影像時，第一影像112與第二影像122之間可能具有重疊區，例如第一影像112中的區域114與第二影像122中的區域124，而重疊區中可能具有同時出現於第一影像112與第二影像122的物件500。當處理裝置130判定第一影像112與第二影像122中具有相同的物件500時，處理裝置130用以對物件500之事件進行追蹤。隨後，處理裝置130依據物件500之事件而同步第一影像112與第二影像122之時間戳記。舉例而言，物件之事件可為物件本身之位移(如，水平移動或高度變化)或與其他不同物件之間的互動關係(如，相對距離)。需注意的是，雖然為了便於理解，第2A圖中所繪示的第一重疊區114的範圍於上緣下緣及右緣有部分超出了第一影像112的邊界，但重疊區事實上是不會超出所屬影像的邊界的。於第2A圖中，第一重疊區114事實上是占據了第一影像112的整個右半部。第二重疊區124 也是類似的道理，因此不再贅述。

如此一來，本發明所揭示之攝影系統即可藉由相同物件所產生之事件而同步影像之時間戳記。因此，相較於透過網際網路連接所有攝影裝置以同步攝影裝置時鐘時間的方法，本案所揭示之攝影系統不僅可以有效地修正擷取影像之間的時間誤差，更可以大幅地降低或消除時間戳記不連續的發生，從而維持擷取影像之間的高度時間同步性。

於一實施例中，當處理裝置130判定第一影像112與第二影像122之重疊區中具有相同的物件500後，處理裝置130於重疊區中追蹤物件500之事件。隨後，處理裝置130依據物件500之事件以同步第一影像112與第二影像122之時間戳記。舉例而言，當第一影像112之第一重疊區114與第二影像122之第二重疊區124中具有相同的物件500時，處理裝置130於重疊區中追蹤物件500之事件。

於一實施例中，處理裝置130依據物件500之事件而計算第一影像112與第二影像122之間的時間戳記差異，並依據此時間戳記差異以同步第一影像112與第二影像122之時間戳記。舉例而言，當物件500之事件發生時，處理裝置130依據第一影像112與第二影像122中對應物件500之事件的時間戳記，而計算第一影像112與第二影像122之間的時間戳記差異，從而同步第一影像112與第二影像122之間的時間戳記。應瞭解到，於上述實施例中，僅以第一影像112與第二影像122示範時間戳記之同步操作方式，其係為了讓本發明之技術手段易於理解，但本發明並不以此為限。舉例而言，攝影系 統100可依據上述第一影像112與第二影像122間之同步操作方式為基本概念，而進一步延伸至同步複數個攝影裝置所擷取的複數影像之間的時間戳記。

於一實施例中，處理裝置130透過線上(online)的方式以即時地同步第一影像112與第二影像122之間的時間戳記。舉例而言，當處理裝置130透過有線或無線連線持續地接收第一影像112與第二影像122時，處理裝置130即時地為接收到的第一影像112與第二影像122進行時間戳記的同步。於另一實施例中，處理裝置130透過離線(offline)的方式以同步第一影像112與第二影像122之間的時間戳記。舉例而言，當處理裝置130透過有線或無線連線完整地接收第一影像112與第二影像122後，處理裝置130再為第一影像112與第二影像122進行時間戳記的同步。更進一步來說，處理裝置130接收到的第一影像112與第二影像122可被儲存於儲存裝置(圖中未繪示)中，待日後需調閱先前之影像時，可由儲存裝置中取得第一影像112與第二影像122，並由處理裝置130再為第一影像112與第二影像122進行時間戳記的同步，同步後的第一影像112與第二影像122幾近或完全無時間差，因此，十分便於使用者於多個攝影機所拍攝的影像中搜尋所欲尋找之目標。

請繼續參閱第2A圖，如前所述第一影像112具有第一重疊區114，第二影像122具有第二重疊區124，且第一重疊區114與第二重疊區124中具有相同的物件500。當處理裝置130判定第一影像112與第二影像122中具有相同的物件500時，處理裝置130用以對物件500之事件進行追蹤。於一實施 例中，處理裝置130依據物件500之瞬間加速度變化或瞬間高度變化而於重疊區中追蹤物件500之事件。亦即，物件500之事件可為物件500之瞬間加速度變化或瞬間高度變化。舉例而言，物件500之瞬間加速度變化可為物件移動的起始與停止、移動方向的改變，若物件500為人類，可例如人由站立不動變為行走、行走中轉向、由行走變為站立不動等，物件500之瞬間高度變化可為高度的上升或下降，若物件500為人類，可例如人由站立變為蹲下、由蹲下變為站立、舉手、彎腰等。

請參閱第4圖，其係為依據本發明揭示的實施例所繪製的利用物體加速度事件來同步時間戳記的示意圖。如第4圖所示，橫軸為時間戳記，攝影裝置會依據其內部的時鐘時間為所擷取的每張影像用時間戳記記錄該影像的擷取時間。上半部顯示第一攝影裝置110所拍攝到的物件500之影像時間戳記與加速度間的關係，可看到在時間戳記T1時物件500之加速度有瞬間變化，急升到20m/s²後再急降，可令此加速度的瞬間變化為第一事件，而下半部顯示第二攝影裝置120所拍攝到的相同物件500之影像時間戳記與加速度間的關係，可看到在時間戳記T2時物件500之加速度有瞬間變化，急升到20m/s²後再急降，處理裝置130比對後可發現此加速度的瞬間變化與第一事件為同一事件，處理裝置130即可計算第一影像112於發生第一事件時的時間戳記T1與第二影像122於發生第一事件時的時間戳記T2之間的時間戳記差異值，從而同步第一影像112與第二影像122之間的時間戳記。

第2B圖為依據本發明揭示的實施例所繪製的物 件移動關係示意圖。如第2B圖所示，處理裝置130依據物件500與相對物件600之間的相對距離700而於重疊區中追蹤物件500之事件。舉例而言，當物件500與相對物件600之間的相對距離700等於或小於預設門檻值時，處理裝置130判定物件500之事件發生，從而依據物件500之事件而同步第一影像112與第二影像122之時間戳記。又舉例而言，在以離線方式同步第一影像112與第二影像122之間的時間戳記時，當物件500與相對物件600之間的相對距離700發生區域最小值(local minimum)時，亦即兩物件最靠近的時候，處理裝置130判定物件500之事件發生，從而依據物件500之事件而同步第一影像112與第二影像122之時間戳記。應瞭解到，相對距離700與物件500之事件發生之判定僅用以示範，並非用以限制本發明之實施。

第3圖為依據本發明揭示的實施例所繪製的攝影同步方法300的流程圖。於一實施例中，攝影同步方法300可由上述攝影系統100執行，但本發明並不以此為限。為了易於理解攝影同步方法300，下述將以攝影系統100作為實施攝影同步方法300的示範標的。如第3圖所示，首先，於步驟S301中，透過第一攝影裝置110與第二攝影裝置120分別擷取第一影像112與第二影像122。於步驟S302中，藉由處理裝置130判斷第一影像112與第二影像122中是否具有相同的物件500。於步驟S303中，當第一影像112與第二影像122中具有相同的物件500時，藉由處理裝置130追蹤物件500之事件。最後，於步驟S304中，藉由處理裝置130依據物件500之事件以 同步第一影像112與第二影像122之時間戳記。

於一實施例中，請參閱步驟S303，當第一影像112與第二影像122中具有相同的物件500時，藉由處理裝置130於第一影像112與第二影像122的重疊區中追蹤物件500之事件。舉例而言，當第一影像112與第二影像122中具有相同的物件500時，物件500會分別出現於第一影像112中的第一重疊區114與第二影像122中的第二重疊區124。

於另一實施例中，請再參閱步驟S303，處理裝置130更依據物件500之瞬間加速度變化或瞬間高度變化而於重疊區中追蹤物件500之事件。亦即，物件500之事件可為物件500之瞬間加速度變化或瞬間高度變化。舉例而言，物件500之瞬間加速度變化可為物件移動的起始與停止、移動方向的改變，若物件500為人類，可例如人由站立不動變為行走、行走中轉向、由行走變為站立不動等，物件500之瞬間高度變化可為高度的上升或下降，若物件500為人類，可例如人由站立變為蹲下、由蹲下變為站立、舉手、彎腰等。於另一實施例中，更藉由處理裝置130依據物件500與相對物件600之間的相對距離700而於重疊區中追蹤物件之事件。舉例而言，當物件500與相對物件600之間的相對距離在交會過程距離最近的瞬間，藉由處理裝置130判定物件500之事件發生，從而依據物件500之事件而同步第一影像112與第二影像122之時間戳記。又舉例而言，在以離線方式同步第一影像112與第二影像122之間的時間戳記時，當物件500與相對物件600之間的相對距離700發生區域最小值(local minimum)時，亦即兩物件最 靠近的時候，處理裝置130判定物件500之事件發生，從而依據物件500之事件而同步第一影像112與第二影像122之時間戳記。應瞭解到，相對距離700與物件500之事件發生之判定僅用以示範，並非用以限制本發明之實施。

於一實施例中，請參閱步驟S304，處理裝置130更依據物件500之事件而計算第一影像112與第二影像122之間的時間戳記差異，並依據時間戳記差異以同步第一影像112與第二影像122之時間戳記。舉例而言，當物件500之事件發生時，藉由處理裝置130依據第一影像112與第二影像122中對應物件500之事件的時間戳記，而計算第一影像112與第二影像122之間的時間戳記差異，從而同步第一影像112與第二影像122之間的時間戳記。應瞭解到，於上述實施例中，僅以第一影像112與第二影像122示範時間戳記之同步操作方式，其係為了讓本發明之技術手段易於理解，但本發明並不以此為限。舉例而言，攝影同步方法300可依據上述第一影像112與第二影像122間之同步操作方式為基本概念，而進一步延伸至同步複數個攝影裝置所擷取的複數影像之間的時間戳記。

於另一實施例中，請再參閱步驟S304，第一影像112與第二影像122之間的時間戳記可透過線上(online)的方式以即時地同步。舉例而言，當藉由處理裝置130透過有線或無線連線持續地接收第一影像112與第二影像122後，更藉由處理裝置130即時地為接收到的第一影像112與第二影像122進行時間戳記的同步。於另一實施例中，第一影像112與第二影像122之間的時間戳記可以透過離線(offline)的方式以同 步。舉例而言，當藉由處理裝置130透過有線或無線連線完整地接收第一影像112與第二影像122後，更藉由處理裝置130再為第一影像112與第二影像122進行時間戳記的同步。更進一步來說，藉由處理裝置130接收到的第一影像112與第二影像122可被儲存於儲存裝置(圖中未繪示)中，待日後需調閱先前之影像時，可由儲存裝置中取得第一影像112與第二影像122，並由處理裝置130再為第一影像112與第二影像122進行時間戳記的同步，同步後的第一影像112與第二影像122幾近或完全無時間差，因此，十分便於使用者於多個攝影機所拍攝的影像中搜尋所欲尋找之目標。

要說明的是，於上述實施例中，處理裝置130係接收由第一攝影裝置110所擷取的第一影像112並接收由第二攝影裝置120所擷取的第二影像122，依上述說明進行第一影像112與第二影像122之時間戳記同步。但於另一實施例中，處理裝置130亦可接收由第一攝影裝置110對其所擷取的第一影像112先進行分析後得到的第一元數據(metadata，例如第一影像112中物體的座標位置、高度、顏色或其他特徵值)並接收由第二攝影裝置120對其所擷取的第二影像122先進行分析後得到的第二元數據(例如第二影像122中物體的座標位置、高度、顏色或其他特徵值)，再依據該些元數據，判定第一影像112與第二影像122中具有相同的物件時，處理裝置130再依上述說明對該相同物件之事件進行追蹤並依事件追蹤結果進行第一影像112與第二影像122之時間戳記同步。

需注意的是，本案時間戳記的同步是在處理裝置 130端修改第一影像112或第二影像122的影像時間戳記，並不是修改第一攝影裝置110內的時鐘時間也不是修改第二攝影裝置120內的時鐘時間。

另外需要說明的是，處理裝置130亦可整合於第一攝影裝置110內或整合於第二攝影裝置120內。

於上述實施例中，本發明所揭示之處理裝置於接收到不同的攝影裝置所擷取的影像或元數據後，便對擷取影像之間是否具有相同的物件進行判斷。若判定擷取影像之間具有相同的物件，則處理裝置對此物件進行追蹤，並依據後續發生於此物件的事件而為擷取影像同步時間戳記。因此，相較於透過網際網路連接所有攝影裝置以同步時間戳記的方法，本案所揭示之攝影系統不僅可以有效地修正擷取影像之間的時間誤差，更可以大幅地降低或消除時間戳記不連續的發生，從而維持擷取影像之間的高度時間戳記同步。

技術領域通常知識者可以容易理解到揭示的實施例實現一或多個前述舉例的優點。閱讀前述說明書之後，技術領域通常知識者將有能力對如同此處揭示內容作多種類的更動、置換、等效物以及多種其他實施例。因此本發明之保護範圍當視申請專利範圍所界定者與其均等範圍為主。

100‧‧‧攝影系統

110‧‧‧第一攝影裝置

120‧‧‧第二攝影裝置

130‧‧‧處理裝置

Claims (5)

1. 一種攝影系統，包含：一第一攝影裝置，用以擷取一第一影像；一第二攝影裝置，用以擷取一第二影像；以及一處理裝置，電性連接該第一攝影裝置與該第二攝影裝置，用以接收該第一攝影裝置傳來的一第一資訊與該第二攝影裝置傳來的一第二資訊，並依據該第一資訊與該第二資訊判斷該第一影像與該第二影像中是否具有一相同的物件，若該處理裝置判定該第一影像與該第二影像中具有一相同的物件，則依據該物件之一事件而計算該第一影像與該第二影像之間的一時間戳記差異，並依據該時間戳記差異以同步該第一影像與該第二影像之時間戳記；其中該物件之該事件包含該物件之瞬間加速度變化、該物件之瞬間高度變化、該物件移動的起始與停止、該物件移動方向的改變、該物件與一相對物件之間的相對距離等於或小於一預設門檻值、或該物件與該相對物件之間的相對距離發生區域最小值。
2. 如請求項1所述之攝影系統，其中該第一資訊係為該第一影像，該第二資訊係為該第二影像，且其中該第一影像與該第二影像之間具有一重疊區，且其中當該處理裝置判定該第一影像與該第二影像中具有一相同的物件後，該處理裝置於該重疊區中追蹤該物件之該事件，再依據該物件之該事件以同步該第一影像與該第二影像之時間戳記。
3. 如請求項1所述之攝影系統，其中該第一資訊係為該第一攝影裝置對該第一影像進行分析後得到的一第一元數據，該第二資訊係為該第二攝影裝置對該第二影像進行分析後得到的一第二元數據。
4. 一種影像同步方法，包含：透過一第一攝影裝置擷取一第一影像與透過一第二攝影裝置擷取一第二影像；依據一第一資訊與一第二資訊判斷該第一影像與該第二影像中是否具有一相同的物件；當該第一影像與該第二影像中具有一相同的物件時，追蹤該物件之一事件；依據該物件之該事件而計算該第一影像與該第二影像之間的一時間戳記差異；以及依據該時間戳記差異以同步該第一影像與該第二影像之時間戳記其中該物件之該事件包含該物件之瞬間加速度變化、該物件之瞬間高度變化、該物件移動的起始與停止、該物件移動方向的改變、該物件與一相對物件之間的相對距離等於或小於一預設門檻值、或該物件與該相對物件之間的相對距離發生區域最小值。
5. 如請求項4所述之影像同步方法，其中該第 一資訊係為該第一影像，該第二資訊係為該第二影像，且其中該第一影像與該第二影像之間具有一重疊區，且其中當該第一影像與該第二影像中具有相同的物件時，追蹤該物件之該事件包含：於該重疊區中追蹤該物件之該事件。