JP2011061438A - Image processor - Google Patents
Image processor Download PDFInfo
- Publication number
- JP2011061438A JP2011061438A JP2009208264A JP2009208264A JP2011061438A JP 2011061438 A JP2011061438 A JP 2011061438A JP 2009208264 A JP2009208264 A JP 2009208264A JP 2009208264 A JP2009208264 A JP 2009208264A JP 2011061438 A JP2011061438 A JP 2011061438A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- output
- image
- image data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 105
- 239000013078 crystal Substances 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000013016 damping Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 239000000470 constituent Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
この発明は、例えば複数の撮像装置を用いたセキュリティシステムに用いられ、複数の撮像装置から画像データを取得し、その画像データに対して画像処理を施す画像処理装置に関する。 The present invention relates to an image processing apparatus that is used in, for example, a security system using a plurality of imaging devices, acquires image data from the plurality of imaging devices, and performs image processing on the image data.
近年、カメラ等の撮像装置で取得された画像データを用いたセキュリティシステムは、プラント、駅、空港及び店舗等で用いられている。この種のセキュリティシステムは、複数の撮像装置により総合的に監視エリアを監視する。このとき、セキュリティシステムは、複数の撮像装置からの画像データを自動的に画像処理することで、中央監視室の監視員の負担を軽減するようにしている。 In recent years, security systems using image data acquired by an imaging device such as a camera have been used in plants, stations, airports, stores, and the like. This type of security system comprehensively monitors a monitoring area with a plurality of imaging devices. At this time, the security system automatically reduces the burden on the monitoring personnel in the central monitoring room by automatically processing image data from a plurality of imaging devices.
ところで、従来のセキュリティシステムでは、複数の撮像装置で撮像された各画像データを画像処理装置で受信する。画像処理装置は、デコーダ等による複数の画像取得部及び画像処理部を有する。複数の撮像装置で撮像された各画像データは、複数の画像取得部でそれぞれ受信される。そして、各画像データは、画像処理部で自動的に画像処理が施される。このとき、画像処理部に用いられるCPU(Central Processing Unit)及びFPGA(Field Programmable Gate Array)等のLSI(Large Scale Integration)は、接続可能な物理配線数の上限が決まっている。そのため、画像処理部へ伝送可能な画像データの数は制限されている。 By the way, in the conventional security system, each image data picked up by a plurality of image pickup devices is received by the image processing device. The image processing apparatus includes a plurality of image acquisition units and image processing units using a decoder or the like. Each piece of image data captured by a plurality of imaging devices is received by a plurality of image acquisition units. Each image data is automatically subjected to image processing by an image processing unit. At this time, the upper limit of the number of physical wires that can be connected is determined for LSI (Large Scale Integration) such as CPU (Central Processing Unit) and FPGA (Field Programmable Gate Array) used in the image processing unit. Therefore, the number of image data that can be transmitted to the image processing unit is limited.
この問題を解決するため、セキュリティシステムに、画像取得部から画像処理部へ出力されたデータを一時的に保持するメモリを設置し、画像処理部のCPUの制御により、メモリに保持されたデータを画像処理部へ順次出力させる方法が提案されている(例えば、特許文献1参照)。しかしながら、この方法では、複数の撮像装置が接続された場合、メモリへのアクセス時間が撮像装置の台数に比してかかってしまう。このため、画像処理部で期待される時間内に全撮像装置から画像処理部への画像データの出力が完了しないおそれがある。 In order to solve this problem, a memory that temporarily stores data output from the image acquisition unit to the image processing unit is installed in the security system, and the data stored in the memory is controlled by the CPU of the image processing unit. A method of sequentially outputting images to an image processing unit has been proposed (for example, see Patent Document 1). However, in this method, when a plurality of imaging devices are connected, the access time to the memory is longer than the number of imaging devices. For this reason, there is a possibility that the output of image data from all the imaging devices to the image processing unit is not completed within the time expected by the image processing unit.
なお、上述のプラント、駅、空港及び店舗等の施設では、監視エリアが広大であり、かつ、監視エリアにおけるセキュリティレベルが時流と共に変化する。また、年度予算の関係上、段階的に撮像装置を増設する場合がある。このように、セキュリティシステムにおいては、撮像点数をスケーラブルに変更することへの要望がある。 Note that, in the facilities such as the plant, the station, the airport, and the store described above, the monitoring area is vast, and the security level in the monitoring area changes with time. In addition, there are cases where the number of image pickup devices is increased step by step due to the annual budget. Thus, in the security system, there is a demand for changing the number of imaging points to be scalable.
以上のように、従来のセキュリティシステムでは、接続される撮像装置の台数によっては、動作に制限が生じる場合がある。そのため、セキュリティレベルの向上等のために撮像点数をスケーラブルに変更することは困難であった。 As described above, in the conventional security system, the operation may be limited depending on the number of connected imaging devices. For this reason, it has been difficult to change the number of imaging points in a scalable manner in order to improve the security level.
この発明は上記事情によりなされたもので、その目的は、撮像点数をスケーラブルに変更することが可能な画像処理装置を提供することにある。 This invention is made | formed by the said situation, The objective is to provide the image processing apparatus which can change the number of imaging points scalable.
上記目的を達成するため、本発明に係る画像処理装置は、複数の撮像装置で撮像された複数の画像データの処理を行う画像処理装置において、それぞれが前記複数の画像データのいずれかを一時的に保持し、出力指示に応じて前記画像データを出力する複数の保持部と、前記複数の撮像装置が撮像を開始した際に生成する複数の同期信号を受信し、前記複数の同期信号のうち最後の同期信号を受信した場合、出力開始信号を生成するレジスタ部と、前記出力開始信号に応じて前記複数の保持部に対して、予め設定された出力順序で前記出力指示を与える制御部とをFPGA(Field Programmable Gate Array)上に備える画像取得手段と、前記複数の保持部から前記出力指示に応じて出力された画像データに対して画像処理を施す画像処理部とを具備する。 To achieve the above object, an image processing apparatus according to the present invention is an image processing apparatus that processes a plurality of image data captured by a plurality of image capturing apparatuses, each of which temporarily stores one of the plurality of image data. A plurality of holding units that output the image data in response to an output instruction, and a plurality of synchronization signals generated when the plurality of imaging devices start imaging, out of the plurality of synchronization signals A register unit that generates an output start signal when receiving the last synchronization signal, and a control unit that gives the output instruction in a preset output order to the plurality of holding units in response to the output start signal; Is provided on an FPGA (Field Programmable Gate Array), and an image processing unit that performs image processing on the image data output from the plurality of holding units according to the output instruction. .
上記構成による画像処理装置では、複数の撮像装置からの画像データをFPGA上に構築された複数のFIFOで一時的に保持する。そして、撮像装置からの同期信号の到達タイミングに基づき、FIFOから所定の順序で画像データを出力させるようにしている。これにより、画像処理装置は、複数台の撮像装置を仮想的に一台の撮像装置としてみなすことが可能となる。 In the image processing apparatus having the above configuration, image data from a plurality of imaging apparatuses is temporarily held by a plurality of FIFOs constructed on an FPGA. Then, based on the arrival timing of the synchronization signal from the imaging device, the image data is output from the FIFO in a predetermined order. As a result, the image processing apparatus can virtually consider a plurality of imaging devices as a single imaging device.
この発明によれば、撮像点数をスケーラブルに増設することが可能な画像処理装置を提供することができる。 According to the present invention, it is possible to provide an image processing apparatus that can increase the number of imaging points in a scalable manner.
以下、図面を参照しながら本発明に係る画像処理装置の実施の形態について詳細に説明する。 Embodiments of an image processing apparatus according to the present invention will be described below in detail with reference to the drawings.
[第1の実施形態]
図1は、本発明の第1の実施形態に係るセキュリティシステムの機能構成を示すブロック図である。図1におけるセキュリティシステムは、画像処理装置10と撮像装置20−1〜20−nとを具備する。
[First Embodiment]
FIG. 1 is a block diagram showing a functional configuration of a security system according to the first embodiment of the present invention. The security system in FIG. 1 includes an
撮像装置20−1〜20−nは、カメラ等であり、動画像を画像データとして所定時間ごと(例えば1/30秒ごと、1/60秒ごと等)に取得する。そして、撮像装置20−1〜20−nは、取得した画像データを画像処理装置10へ順次出力する。また、撮像装置20−1〜20−nは、撮像を開始する際に同期信号を生成する。撮像装置20−1〜20−nは、この同期信号を画像処理装置10へ出力する。なお、撮像装置20からの出力データ量は、1フレーム当り、1920×1440画素から320×240画素までと幅広い。また、色情報の有無などを含めると多様な画像出力情報が存在する。さらに、近年、超解像度などの画素間の欠損データを補完することで精細な情報を出力することも可能である。このため、撮像装置から出力される画像データは、撮像対象物の状態によって出力データ数が伸縮するという特性がある。ここで、出力データ数とは、画素数及びフレームレート等のことをいう。
The imaging devices 20-1 to 20-n are cameras or the like, and acquire moving images as image data every predetermined time (for example, every 1/30 seconds, every 1/60 seconds, etc.). Then, the imaging devices 20-1 to 20-n sequentially output the acquired image data to the
図1における画像処理装置10は、画像取得部11、水晶発振器12、画像処理部13及びコネクタ14−1〜14−n(nは自然数)を具備する。水晶発振器12は、画像取得部11に設けられたPLL(Phase Locked Loop)によって画像取得部11と接続している。
An
画像取得部11は、FPGA(Field Programmable Gate Array)から成る。画像取得部11は、FPGA上に論理回路が組み込まれることにより、入力インタフェース(IF)部111−1〜111−n、FIFO(First-In First-Out)112−1〜112−n、出力IF部113、レジスタ部114及び制御部115の機能を有する。
The
入力IF部111−1〜111−nは、コネクタ14−1〜14−nを介して入力された画像データを、FIFO112−1〜112−nへ出力する。また、入力IF部111−1〜111−nは、コネクタ14−1〜14−nを介して入力された同期信号を、レジスタ部114へ出力する。
The input IF units 111-1 to 111-n output the image data input via the connectors 14-1 to 14-n to the FIFOs 112-1 to 112-n. Further, the input IF units 111-1 to 111-n output the synchronization signal input via the connectors 14-1 to 14-n to the
FIFO112−1〜112−nは、入力IF部111−1〜111−nからの画像データを一時的に保持する。そして、FIFO112−1〜112−nは、制御部115からの出力指示に応じて、保持した画像データを入力された順に出力IF部113を介して画像処理部13へ出力する。このとき出力する画像データの伝送ビットレートは、水晶発振器12で生成されるクロック信号に基づいている。
The FIFOs 112-1 to 112-n temporarily hold the image data from the input IF units 111-1 to 111-n. Then, the FIFOs 112-1 to 112-n output the held image data to the
レジスタ部114は、入力IF部111−1〜111−nからの同期信号を受信する。レジスタ部114は、同期信号を受信した場合、受信した同期信号が撮像装置20−1〜20−nのうちいずれから出力されたのかがわかるようにビットを立てる。そして、レジスタ部114は、最後に撮像を開始した撮像装置から、同期信号を受信した場合、出力開始信号を制御部115へ出力する。
The
制御部115は、レジスタ部114からの出力開始信号に応じて、FIFO112−1〜112−nに対して出力指示を与える。このとき、制御部115が出力指示を与える順序は予め設定されている。
The
また、制御部115は、FIFO112−1〜112−nごとに画像データの出力容量も指定して出力指示を与える。出力容量は、FIFO112−1〜112−nに接続された撮像装置20−1〜20−nの台数及び出力データ数により決定される。
The
画像処理部13は、CPU又はFPGA等のLSIである。画像処理部13は、画像取得部11からの画像データを、予め設定された周波数で検出する。そして、画像処理部13は、検出した画像データに対して画像処理を施す。本実施形態では、予め設定された周波数とは、水晶発振器12のクロック周波数に応じた周波数である。なお、画像処理部13は、画像取得部11から伝送ビットレートを受け取り、この伝送ビットレートに従って映像データを検出するようにしても良い。
The
次に、上記構成における動作を説明する。 Next, the operation in the above configuration will be described.
図2は、本発明の第1の実施形態に係る画像処理装置10の画像取得部11における処理を示す模式図である。図2では、ラスタスキャン方式により画像データが転送される例を説明する。なお、本実施形態のデータ転送の方式は、ラスタスキャン方式に限定される訳ではない。
FIG. 2 is a schematic diagram showing processing in the
図2では、撮像装置20−1乃至撮像装置20−nが、画像処理装置10に接続され、撮像装置20−2が最後に撮像処理を開始する場合を例に説明する。
In FIG. 2, an example in which the imaging devices 20-1 to 20-n are connected to the
撮像装置20−1での撮像が開始されると、画像データ1が取得されると共に、同期信号1が生成される。画像データ1と同期信号1とは、画像取得部11へ出力される。FIFO112−1は、画像データ1を保持する。また、レジスタ部114は、同期信号1を受信し、撮像装置20−1からの同期信号1を受信したことを示すビットを立てる。
When imaging with the imaging device 20-1 is started,
また、撮像装置20−nでの撮像が開始されると、画像データNが取得されると共に、同期信号Nが生成される。画像データNと同期信号Nとは、画像取得部11へ出力される。FIFO112−nは、画像データNを保持する。また、レジスタ部114は、同期信号Nを受信し、撮像装置20−nからの同期信号Nを受信したことを示すビットを立てる。
When imaging with the imaging device 20-n is started, image data N is acquired and a synchronization signal N is generated. The image data N and the synchronization signal N are output to the
そして、最後の撮像装置20−2での撮像が開始されると、画像データ2が取得されると共に、同期信号2が生成される。画像データ2と同期信号2とは、画像取得部11へ出力される。FIFO112−2は、画像データ2を保持する。また、レジスタ部114は、同期信号2を受信し、最後の撮像装置20−2からの同期信号2を受信したことを示すビットを立てる。レジスタ部114は、最後の同期信号2を受信すると、出力開始信号を生成し、制御部115へ出力する。
Then, when imaging with the last imaging device 20-2 is started, image data 2 is acquired and a synchronization signal 2 is generated. The image data 2 and the synchronization signal 2 are output to the
制御部115は、出力開始信号を受け取った場合、画像データ1の1段目の走査線上の画像データ11を出力するようにFIFO112−1に対して出力指示を出す。続いて、制御部115は、画像データ2,3,4…の1段目の走査線上の映像データを出力するようにFIFO112−2,112−3,112−4…に対して順次出力指示を出す。そして、制御部115は、画像データNの1段目の走査線上の画像データN1を出力するようにFIFO112−nに対して出力指示を与え、FIFO112−nから画像データN1が出力されると、画像データ1の2段目の走査線上の映像データ12を出力するようにFIFO112−1に対して出力指示を与える。なお、本実施形態では、最初にFIFO112−1に対して出力指示を与え、その後にFIFO112−2,112−3,…,112−nの順序で出力指示を与える例について説明したが、最初に出力指示を与えるFIFO及び出力指示を与える順序は、これに限定される訳ではない。
When receiving the output start signal, the
このように、画像取得部11は、画像データ1〜Nを走査線単位で画像処理部13へ出力する。これにより、画像処理部13は、撮像装置20−1〜20−nで撮像された映像データを走査線の1段目から順に受け取ることとなる。このとき、画像処理部13は、図2に示すような、撮像装置20−1〜20−nで撮像された映像が横に配列された映像を受け取る。
As described above, the
以上のように、上記第1の実施形態では、画像取得部11は、FIFO112−1〜112−nにより撮像装置20−1〜20−nからの画像データを一時的に保持する。そして、画像取得部11は、同期信号の到達タイミングを利用して、FIFO112−1〜112−nから画像データを所定の順序で順次出力するようにしている。これにより、画像処理装置10では、複数台の撮像装置を仮想的に一台の撮像装置としてみなすことが可能となる。
As described above, in the first embodiment, the
また、上記第1の実施形態では、画像取得部11をFPGAで構築するようにしている。これにより、画像処理装置10の作成後であっても、FPGAを再構成することで様々な状況に容易に対応することが可能となる。すなわち、最初に出力指示を与えるFIFO及び出力指示を与えるFIFOの順序を再設定することが可能となる。また、接続される撮像装置の出力データ数に合わせて、FIFOから出力される画像データの出力容量等を再設定することが可能となる。また、接続される撮像装置の台数に合わせて、画像取得部11に入力IF部、出力IF部、FIFO等の機能を新たに持たせることが可能となる。
In the first embodiment, the
また、上記第1の実施形態では、撮像を最後に開始した撮像装置からの同期信号を受信した場合、FIFOからの画像データの出力を開始するようにしている。これにより、接続される複数の撮像装置のフレーム数及び同期信号の生成がそれぞれ異なる場合であっても、これらの撮像装置を仮想的に一台の撮像装置とみなすことが可能となる。 In the first embodiment, output of image data from the FIFO is started when a synchronization signal is received from the imaging device that started imaging last. As a result, even when the number of frames and the generation of the synchronization signal of the plurality of connected imaging devices are different, these imaging devices can be virtually regarded as one imaging device.
また、上記第1の実施形態では、画像取得部11は、接続される撮像装置の数に応じた数のFIFOを有している。これにより、FIFOへのアクセス時間が最小化されることとなる。
In the first embodiment, the
また、上記第1の実施形態では、画像処理部13への物理配線数が単線化されている。このため、画像処理部小パッケージサイズの演算処理LSI(CPU、FPGA、ASIC、DSP)を実装可能となる。これにより、画像処理装置10の製造コストを抑えることが可能となる。
In the first embodiment, the number of physical wires to the
したがって、本発明に係る画像処理装置は拡張性を有することとなる。すなわち、セキュリティシステムのユーザは、撮像点数をスケーラブルに増設することができる。 Therefore, the image processing apparatus according to the present invention has expandability. That is, the user of the security system can increase the number of imaging points in a scalable manner.
なお、本実施形態の画像処理装置10は、図1に示される構成に限定される訳ではない。例えば、図3〜図5に示す構成をしていても構わない。
Note that the
図3は、画像取得部11に複数の水晶発振器12−1〜12−3が接続された場合のセキュリティシステムを示すブロック図である。セキュリティシステムのユーザは、撮像装置20の接続台数、出力データ数及び出力データ形式に応じて水晶発振器12−1〜12−3の中から適当なクロック周波数の水晶発振器を選択する。このとき、水晶発振器12−1〜12−3のクロック周波数は、それぞれ異なる周波数であり、例えば、水晶発振器12−1のクロック周波数は27MHz、水晶発振器12−2のクロック周波数は54MHz、水晶発振器12−3のクロック周波数は108MHzである。ユーザは、選択した水晶発振器のクロック周波数に応じて、画像取得部11のFPGAを再構成する。画像取得部11は、再構成されたことにより変更したビットレートを画像処理部13へ通知する。
FIG. 3 is a block diagram showing a security system when a plurality of crystal oscillators 12-1 to 12-3 are connected to the
これにより、画像処理装置10は、接続される撮像装置20の台数、出力データ数及び出力データ形式に応じて、画像取得部11から画像処理部13へ出力する画像データのデータ伝達のタイミングをスケーラブルに変動することが可能となる。これに伴い、低消費電力化及び不要な電磁波ノイズの発生を抑えることが可能である。
As a result, the
図4は、画像取得部11にコンフィグレーションROM(Read Only Memory)15が接続され、画像処理部13にコンフィグレーションROM16が接続された場合のセキュリティシステムを示すブロック図である。コンフィグレーションROM15には、画像取得部11の論理回路を再構成するためのデータ変換フォーマットが予め記録されている。例えば、コンフィグレーションROM15には、接続される撮像装置20がn個から(n+1)個になった場合、画像取得部11が自身の論理回路を、入力IF部111−(n+1)及びFIFO112−(n+1)を有するように自動的に再構成するためのフォーマットが記録されている。
FIG. 4 is a block diagram showing a security system when a configuration ROM (Read Only Memory) 15 is connected to the
また、コンフィグレーションROM16には、画像処理部13の論理回路を再構成するためのデータ変換フォーマットが予め記録されている。例えば、コンフィグレーションROM16には、画像データの検出タイミングを切り替えるためのフォーマットが記録されている。画像処理部13における画像データの検出タイミングは、このフォーマットにより、例えば、データにおける矩形波の立ち上がり時にのみデータを検出する状態から、矩形波の立ち上がり時及び立ち下がり時の両方でデータを検出する状態へと切り替わる。
In addition, a data conversion format for reconfiguring the logic circuit of the
図4に係る画像処理装置10によれば、接続される撮像装置の台数が変更になった場合等であっても、自動的にFPGAの再構成をすることが可能となる。
According to the
図5は、画像取得部11にコンフィグレーションROM(Read Only Memory)15及びダンピング抵抗17が接続され、画像処理部13にコンフィグレーションROM16が接続された場合のセキュリティシステムを示すブロック図である。画像取得部11にダンピング抵抗17を接続させることにより、伝送ビットレート及びクロック周波数を変更した際に生じるパターン配線抵抗に対応することが可能となる。
FIG. 5 is a block diagram showing a security system when a configuration ROM (Read Only Memory) 15 and a damping
[第2の実施形態]
図6は、本発明の第2の実施形態に係るセキュリティシステムの機能構成を示すブロック図である。図6におけるセキュリティシステムは、画像処理装置30と撮像装置20−1〜20−nとを具備する。
[Second Embodiment]
FIG. 6 is a block diagram showing a functional configuration of the security system according to the second embodiment of the present invention. The security system in FIG. 6 includes an
撮像装置20−1〜20−nは、取得した画像データを画像処理装置30へ順次出力する。また、撮像装置20−1〜20−nは、撮像を開始する際に生成した同期信号を画像処理装置30へ出力する。
The imaging devices 20-1 to 20-n sequentially output the acquired image data to the
図6における画像処理装置30は、画像取得部31−1〜31−n(nは自然数)、水晶発振器32、画像処理部33及びコネクタ34−1〜34−nを具備する。水晶発振器32は、画像取得部31−1〜31−nにそれぞれ設けられたPLL(Phase Locked Loop)によって画像取得部31−1〜31−nと接続している。
The
画像取得部31−1〜31−nは、FPGAから成る。画像取得部31−1〜31−nは、FPGA上に論理回路が組み込まれることにより、入力IF部311−1〜311−n、FIFO312−1〜312−n、出力IF部313−1〜313−n、レジスタ部314−1〜314−n及び制御部315−1〜315−nの機能を有する。ここで、画像取得部31−1〜31−nの構成はそれぞれ同様であるため、以下では画像取得部31−1を代表して説明する。 The image acquisition units 31-1 to 31-n are made of FPGA. The image acquisition units 31-1 to 31-n include input IF units 311-1 to 311-n, FIFOs 312-1 to 312-n, and output IF units 313-1 to 313 by incorporating a logic circuit on the FPGA. -N, functions of register units 314-1 to 314-n and control units 315-1 to 315-n. Here, since the image acquisition units 31-1 to 31-n have the same configuration, the image acquisition unit 31-1 will be described below as a representative.
入力IF部311−1は、コネクタ34−1を介して入力された画像データを、FIFO312−1へ出力する。また、入力IF部311−1は、コネクタ34−1〜34−nを介して入力された撮像装置20−1〜20−nからの同期信号を、レジスタ部314−1へ出力する。これらの同期信号は、撮像装置20−1〜20−nのいずれで生成されたものであるか識別可能な識別子を有している。 The input IF unit 311-1 outputs the image data input via the connector 34-1 to the FIFO 312-1. The input IF unit 311-1 outputs the synchronization signal from the imaging devices 20-1 to 20-n input via the connectors 34-1 to 34-n to the register unit 314-1. These synchronization signals have identifiers that can identify which one of the imaging devices 20-1 to 20-n is generated.
FIFO312−1は、入力IF部311−1からの画像データを一時的に保持する。そして、FIFO312−1は、制御部315−1からの出力指示に応じて、画像データを保持した順に出力IF部313−1を介して画像処理部33へ出力する。このとき出力する画像データの伝送ビットレートは、水晶発振器32で生成されるクロック信号による。
The FIFO 312-1 temporarily holds the image data from the input IF unit 311-1. Then, the FIFO 312-1 outputs the image data to the
レジスタ部314−1は、入力IF部311−1からの同期信号を受信する。レジスタ部314−1は、同期信号を受信した場合、受信した同期信号が撮像装置20−1〜20−nのうちいずれで生成されたのかがわかるようにビットを立てる。そして、レジスタ部314−1は、最後に撮像を開始した撮像装置からの同期信号を受信した場合、出力開始信号を制御部315−1へ出力する。 The register unit 314-1 receives the synchronization signal from the input IF unit 311-1. When the register unit 314-1 receives the synchronization signal, the register unit 314-1 sets a bit so that it can be understood which of the imaging devices 20-1 to 20-n has generated the received synchronization signal. The register unit 314-1 outputs an output start signal to the control unit 315-1 when receiving a synchronization signal from the imaging device that has started imaging last.
制御部315−1は、レジスタ部314−1からの出力開始信号を受信した場合、この出力開始信号に基づいてFIFO312−1に対して出力指示を与える。このとき、FIFO312−1〜312−nから出力される画像データの順序は予め設定されている。制御部315−1〜315−nは、画像データの出力順序に従った順序でFIFO312−1〜312−nに対して出力指示を与える。 When receiving the output start signal from the register unit 314-1, the control unit 315-1 gives an output instruction to the FIFO 312-1 based on the output start signal. At this time, the order of image data output from the FIFOs 312-1 to 312-n is set in advance. The control units 315-1 to 315-n give output instructions to the FIFOs 312-1 to 312-n in the order according to the output order of the image data.
また、制御部315−1は、FIFO312−1から出力される画像データの出力容量も指定して出力指示を与える。出力容量は、FIFO312−1に接続された撮像装置20−1の出力データ数により決定されるものである。 The control unit 315-1 also designates the output capacity of the image data output from the FIFO 312-1 and gives an output instruction. The output capacity is determined by the number of output data of the imaging device 20-1 connected to the FIFO 312-1.
画像処理部33は、CPU又はFPGA等のLSIである。画像処理部33は、画像取得部31−1〜31−nからの映像データを、予め設定された周波数で検出する。そして、画像処理部33は、取得した画像データに対して画像処理を施す。本実施形態では、予め設定された周波数とは、水晶発振器32のクロック周波数に応じた周波数である。
The
次に、上記構成における動作を説明する。 Next, the operation in the above configuration will be described.
図7は、本発明の第2の実施形態に係る画像処理装置30の画像取得部31−1〜31−nにおける処理を示す模式図である。図7では、ラスタスキャン方式により画像データが転送される例を説明する。なお、本実施形態のデータ転送の方式は、ラスタスキャン方式に限定される訳ではない。
FIG. 7 is a schematic diagram illustrating processing in the image acquisition units 31-1 to 31-n of the
図7では、撮像装置20−1乃至撮像装置20−nが、画像処理装置30に接続され、撮像装置20−2が最後に撮像処理を開始する場合を例に説明する。
In FIG. 7, the case where the imaging devices 20-1 to 20-n are connected to the
撮像装置20−1での撮像が開始されると、画像データ1が取得されると共に、同期信号1が生成される。画像データ1は画像取得部31−1へ出力され、同期信号1は画像取得部31−1〜31−nへ出力される。FIFO312−1は、画像データ1を保持する。また、レジスタ部314−1〜314−nは、同期信号1を受信し、撮像装置20−1からの同期信号1を受信したことを示すビットを立てる。
When imaging with the imaging device 20-1 is started,
また、撮像装置20−nでの撮像が開始されると、画像データNが取得されると共に、同期信号Nが生成される。画像データNは画像取得部31−nへ出力され、同期信号Nは画像取得部31−1〜31−nへ出力される。FIFO312−nは、画像データNを保持する。また、レジスタ部314−1〜314−nは、同期信号Nを受信し、撮像装置20−nからの同期信号Nを受信したことを示すビットを立てる。 When imaging with the imaging device 20-n is started, image data N is acquired and a synchronization signal N is generated. The image data N is output to the image acquisition unit 31-n, and the synchronization signal N is output to the image acquisition units 31-1 to 31-n. The FIFO 312-n holds the image data N. Also, the register units 314-1 to 314-n receive the synchronization signal N and set a bit indicating that the synchronization signal N from the imaging device 20-n has been received.
そして、最後の撮像装置20−2での撮像が開始されると、画像データ2が取得されると共に、同期信号2が生成される。画像データ2は画像取得部31−2へ出力され、同期信号2は画像取得部31−1〜31−nへ出力される。FIFO312−2は、画像データ2を保持する。また、レジスタ部314−1〜314−nは、同期信号2を受信し、最後の撮像装置20−2からの同期信号2を受信したことを示すビットを立てる。レジスタ部314−1〜314−nは、最後の同期信号2を受信すると、出力開始信号を生成し、それぞれの画像取得部に配置された制御部315−1〜315−nへ出力する。 Then, when imaging with the last imaging device 20-2 is started, image data 2 is acquired and a synchronization signal 2 is generated. The image data 2 is output to the image acquisition unit 31-2, and the synchronization signal 2 is output to the image acquisition units 31-1 to 31-n. The FIFO 312-2 holds the image data 2. The register units 314-1 to 314-n receive the synchronization signal 2 and set a bit indicating that the synchronization signal 2 from the last imaging device 20-2 has been received. Upon receipt of the last synchronization signal 2, the register units 314-1 to 314-n generate output start signals and output them to the control units 315-1 to 315-n arranged in the respective image acquisition units.
制御部315−1は、出力開始信号を受け取った場合、画像データ1の1段目の走査線上の画像データ11を出力するようにFIFO312−1に対して出力指示を出す。続いて、制御部315−2は、画像データ2の1段目の走査線上の画像データ12を出力するようにFIFO312−2に対して出力指示を出す。続いて、制御部315−3,315−4…315−nは、画像データ3,4…Nの1段目の走査線上の映像データを出力するようにFIFO312−3,312−4…312−nに対して順次出力指示を与える。
When receiving the output start signal, the control unit 315-1 issues an output instruction to the FIFO 312-1 so that the
そして、制御部315−1は、FIFO312−nから画像データN1が出力されると、画像データ1の1段目の走査線上の画像データ12を出力するようにFIFO312−1に対して出力指示を与える。なお、本実施形態では、最初に制御部315−1がFIFO312−1に対して出力指示を与え、その後に制御部315−2,315−3…315−nがFIFO312−2,312−3,…,312−nの順序で出力指示を与える例について説明したが、最初に出力指示を与えるFIFO及び出力指示を与える順序は、これに限定される訳ではない。
Then, when the image data N1 is output from the FIFO 312-n, the control unit 315-1 instructs the FIFO 312-1 to output the
制御部315−1〜315−nは、以上のようにFIFO312−1〜312−nから映像データを出力させることで、走査線上の映像データを1段目から順に出力させる。 The control units 315-1 to 315-n output the video data on the scanning lines in order from the first stage by outputting the video data from the FIFOs 312-1 to 312-n as described above.
これにより画像処理部33は、撮像装置20−1〜20−nで撮像された映像データを走査線の1段目から順に受け取ることとなる。このとき、画像処理部33は、図6に示すような、撮像装置20−1〜20−nで撮像された映像が横に配列された映像を受け取る。
Accordingly, the
以上のように、上記第2の実施形態では、画像取得部31−1〜31−nがそれぞれFPGAで構成される。このため、大型のFPGAを用意する必要がなくなり、画像処理装置30の製造コストをさらに抑えることが可能となる。
As described above, in the second embodiment, the image acquisition units 31-1 to 31-n are each configured with an FPGA. For this reason, it is not necessary to prepare a large FPGA, and the manufacturing cost of the
なお、本実施形態の画像処理装置30は、図6に示される構成に限定される訳ではない。例えば、図8に示す構成をしていても構わない。
Note that the
図8は、画像取得部31−1〜31−nがFIFO312−1〜312−nを有さず、外部メモリ316−1〜316−nを有する場合のセキュリティシステムを示すブロック図である。外部メモリ316−1〜316−nでFIFOの代用を図ることで、FPGA上にFIFOを構築する必要がなくなるため、製造コストをさらに抑えることが可能となる。 FIG. 8 is a block diagram showing a security system when the image acquisition units 31-1 to 31-n do not have the FIFOs 312-1 to 312-n but have the external memories 316-1 to 316-n. By substituting the FIFO with the external memories 316-1 to 316-n, it becomes unnecessary to construct the FIFO on the FPGA, so that the manufacturing cost can be further reduced.
[その他の実施形態]
なお、この発明は上記各実施形態に限定されるものではない。例えば、上記各実施形態では、撮像を最後に開始した撮像装置からの同期信号を受信した場合、FIFOから画像データを順次出力する例について説明したが、本発明は上記実施形態に限定される訳ではない。例えば、画像取得部にタイマが接続され、一定の時間が経過した場合、FIFOから画像データを順次出力するようにしても良い。このとき、同期信号を生成していない撮像装置は、無いものとして扱われ、画像取得部から画像処理部へ出力される画像データには、その撮像装置からの画像は含まれない。
[Other Embodiments]
The present invention is not limited to the above embodiments. For example, in each of the above-described embodiments, an example in which image data is sequentially output from the FIFO when a synchronization signal is received from an imaging device that has started imaging has been described. However, the present invention is not limited to the above-described embodiment. is not. For example, a timer may be connected to the image acquisition unit, and image data may be sequentially output from the FIFO when a certain time has elapsed. At this time, the imaging device that has not generated the synchronization signal is treated as being absent, and the image data output from the image acquisition unit to the image processing unit does not include an image from the imaging device.
さらに、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Furthermore, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
10…画像処理装置
11…画像取得部
111−1〜111−n…入力IF部
112−1〜112−n…FIFO
113…出力IF部
114…レジスタ部
115…制御部
12,12−1,12−2,12−3…水晶発振器
13…画像処理部
14−1〜14−n…コネクタ
15,16…コンフィグレーションROM
17…ダンピング抵抗
20−1〜20−n…撮像装置
30…画像処理装置
31−1〜31−n…画像取得部
311−1〜311−n…入力IF部
312−1〜312−n…FIFO
313−1〜313−n…出力IF部
314−1〜314−n…レジスタ部
315−1〜315−n…制御部
316−1〜316−n…外部メモリ
32…水晶発振器
33…画像処理部
34−1〜34−n…コネクタ
DESCRIPTION OF
113 ... Output IF
17 ... Damping resistors 20-1 to 20-n ...
313-1 to 313-n. Output IF units 314-1 to 314-n. Register units 315-1 to 315-n. Control units 316-1 to 316-n. External memory 32.
Claims (9)
それぞれが前記複数の画像データのいずれかを一時的に保持し、出力指示に応じて前記画像データを出力する複数の保持部と、
前記複数の撮像装置が撮像を開始した際に生成する複数の同期信号を受信し、前記複数の同期信号のうち最後の同期信号を受信した場合、出力開始信号を生成するレジスタ部と、
前記出力開始信号に応じて前記複数の保持部に対して、予め設定された出力順序で前記出力指示を与える制御部と
をFPGA(Field Programmable Gate Array)上に備える画像取得手段と、
前記複数の保持部から前記出力指示に応じて出力された画像データに対して画像処理を施す画像処理部と
を具備することを特徴とする画像処理装置。 In an image processing device that processes a plurality of image data captured by a plurality of imaging devices,
A plurality of holding units each temporarily holding one of the plurality of image data and outputting the image data in response to an output instruction;
A plurality of synchronization signals generated when the plurality of imaging devices start imaging, and a register unit that generates an output start signal when receiving the last synchronization signal among the plurality of synchronization signals;
An image acquisition means comprising, on an FPGA (Field Programmable Gate Array), a control unit that gives the output instructions in a preset output order to the plurality of holding units in response to the output start signal;
An image processing apparatus comprising: an image processing unit that performs image processing on image data output from the plurality of holding units according to the output instruction.
それぞれが前記複数の画像データのいずれかを取得し、前記複数の画像データが予め設定された出力順序で出力されるように、取得した画像データを順次出力する複数の画像取得部と、
前記複数の画像取得部からの画像データに対して画像処理を施す画像処理部と
を具備し、
前記画像取得部は、
前記複数の画像データのいずれかを一時的に保持し、出力指示に応じて前記画像データを前記画像処理部へ出力する保持部と、
FPGA(Field Programmable Gate Array)上に構成され、前記複数の撮像装置が撮像を開始した際に生成する複数の同期信号を受信し、前記複数の同期信号のうち最後の同期信号を受信した場合、出力開始信号を生成するレジスタ部と、
FPGA上に構成され、前記出力開始信号に応じて、前記出力順序に従って前記画像データが出力されるように、前記保持部に対して前記出力指示を与える制御部と
を備えることを特徴とする画像処理装置。 In an image processing device that processes a plurality of image data captured by a plurality of imaging devices,
A plurality of image acquisition units that sequentially output the acquired image data so that each of the plurality of image data is acquired and the plurality of image data is output in a preset output order;
An image processing unit that performs image processing on image data from the plurality of image acquisition units,
The image acquisition unit
A holding unit that temporarily holds one of the plurality of image data and outputs the image data to the image processing unit in response to an output instruction;
When configured on an FPGA (Field Programmable Gate Array) and receiving a plurality of synchronization signals generated when the plurality of imaging devices start imaging, and receiving the last synchronization signal among the plurality of synchronization signals, A register unit for generating an output start signal;
An image is provided on the FPGA, and includes a control unit that gives the output instruction to the holding unit so that the image data is output according to the output order in accordance with the output start signal. Processing equipment.
前記制御部は、前記出力開始信号が生成されなくても、前記タイマのカウント値が予め設定されたカウント値に達した場合、前記出力指示を与えることを特徴とする請求項1及び2のいずれかに記載の画像処理装置。 A timer that starts counting when receiving the first synchronization signal among the plurality of synchronization signals;
3. The control unit according to claim 1, wherein, even if the output start signal is not generated, the control unit gives the output instruction when the count value of the timer reaches a preset count value. 4. An image processing apparatus according to claim 1.
前記画像取得手段は、前記複数の水晶発振器のうち選択された第1の水晶発振器のクロック周波数に基づいたビットレートで、前記画像データを前記画像処理部へ出力することを特徴とする請求項1記載の画像処理装置。 A plurality of crystal oscillators each having a unique clock frequency;
The image acquisition means outputs the image data to the image processing unit at a bit rate based on a clock frequency of a first crystal oscillator selected from the plurality of crystal oscillators. The image processing apparatus described.
前記画像取得手段の構成を再設定するための第1の変換フォーマットが予め記録された第1のコンフィグレーションROMと、
前記画像処理部の構成を再設定するための第2の変換フォーマットが予め設定された第2のコンフィグレーションROMと
をさらに具備し、
前記画像取得手段は、前記複数の撮像装置のうち少なくともいずれかの設定が変更になった場合、前記第1の変換フォーマットに基づいて構成の再設定を行い、
前記画像処理部は、前記画像取得手段の構成が再設定された場合、前記第2の変換フォーマットに基づいて構成の再設定を行うことを特徴とする請求項1のいずれかに記載の画像処理装置。 When the image processing unit is made of FPGA,
A first configuration ROM prerecorded with a first conversion format for resetting the configuration of the image acquisition means;
A second configuration ROM in which a second conversion format for resetting the configuration of the image processing unit is preset, and
The image acquisition means, when the setting of at least one of the plurality of imaging devices is changed, reset the configuration based on the first conversion format,
2. The image processing according to claim 1, wherein when the configuration of the image acquisition unit is reset, the image processing unit resets the configuration based on the second conversion format. 3. apparatus.
それぞれが固有のクロック周波数を有する複数の水晶発振器と、
前記画像取得手段の構成を再設定するための第1の変換フォーマットが予め記録された第1のコンフィグレーションROMと、
前記画像処理部の構成を再設定するための第2の変換フォーマットが予め設定された第2のコンフィグレーションROMと
をさらに具備し、
前記画像取得手段は、前記複数の水晶発振器のうちいずれかの水晶発振器が選択された場合、前記第1の変換フォーマットに基づいて構成の再設定を行い、
前記画像処理部は、前記画像取得手段の構成が再設定された場合、前記第2の変換フォーマットに基づいて構成の再設定を行うことを特徴とする請求項1に記載の画像処理装置。 When the image processing unit is made of FPGA,
A plurality of crystal oscillators each having a unique clock frequency;
A first configuration ROM prerecorded with a first conversion format for resetting the configuration of the image acquisition means;
A second configuration ROM in which a second conversion format for resetting the configuration of the image processing unit is preset, and
The image acquisition means, when any one of the plurality of crystal oscillators is selected, reset the configuration based on the first conversion format,
The image processing apparatus according to claim 1, wherein when the configuration of the image acquisition unit is reset, the image processing unit resets the configuration based on the second conversion format.
前記画像取得手段は、前記ダンピング抵抗により、ビットレート及びクロック周波数の変更に伴うパターン配線抵抗に対応することを特徴とする請求項5、6及び7のいずれかに記載の画像処理装置。 Further comprising a damping resistor,
The image processing apparatus according to claim 5, wherein the image acquisition unit corresponds to a pattern wiring resistance accompanying a change in a bit rate and a clock frequency by the damping resistance.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009208264A JP5214567B2 (en) | 2009-09-09 | 2009-09-09 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009208264A JP5214567B2 (en) | 2009-09-09 | 2009-09-09 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011061438A true JP2011061438A (en) | 2011-03-24 |
JP5214567B2 JP5214567B2 (en) | 2013-06-19 |
Family
ID=43948584
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009208264A Expired - Fee Related JP5214567B2 (en) | 2009-09-09 | 2009-09-09 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5214567B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105573197A (en) * | 2015-12-14 | 2016-05-11 | 武汉精测电子技术股份有限公司 | DP signal generating device and method for customizing speed |
US9742954B2 (en) | 2015-12-24 | 2017-08-22 | Fuji Xerox Co., Ltd. | Data processing apparatus, data processing method, and non-transitory computer readable medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61114682A (en) * | 1984-11-09 | 1986-06-02 | Matsushita Electric Ind Co Ltd | Image processing circuit |
JPH06121316A (en) * | 1992-10-06 | 1994-04-28 | Pfu Ltd | Video input switching system |
JP2007528620A (en) * | 2003-06-27 | 2007-10-11 | サンラェ パク | Portable surveillance camera and personal security system using the same |
JP2008301146A (en) * | 2007-05-31 | 2008-12-11 | Fujitsu Ltd | Frame synchronization method and apparatus in imaging apparatus |
JP2009044475A (en) * | 2007-08-09 | 2009-02-26 | Victor Co Of Japan Ltd | Monitor camera system |
-
2009
- 2009-09-09 JP JP2009208264A patent/JP5214567B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61114682A (en) * | 1984-11-09 | 1986-06-02 | Matsushita Electric Ind Co Ltd | Image processing circuit |
JPH06121316A (en) * | 1992-10-06 | 1994-04-28 | Pfu Ltd | Video input switching system |
JP2007528620A (en) * | 2003-06-27 | 2007-10-11 | サンラェ パク | Portable surveillance camera and personal security system using the same |
JP2008301146A (en) * | 2007-05-31 | 2008-12-11 | Fujitsu Ltd | Frame synchronization method and apparatus in imaging apparatus |
JP2009044475A (en) * | 2007-08-09 | 2009-02-26 | Victor Co Of Japan Ltd | Monitor camera system |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105573197A (en) * | 2015-12-14 | 2016-05-11 | 武汉精测电子技术股份有限公司 | DP signal generating device and method for customizing speed |
CN105573197B (en) * | 2015-12-14 | 2018-01-05 | 武汉精测电子技术股份有限公司 | The DP signal generation apparatus and method of a kind of self-defined speed |
US9742954B2 (en) | 2015-12-24 | 2017-08-22 | Fuji Xerox Co., Ltd. | Data processing apparatus, data processing method, and non-transitory computer readable medium |
Also Published As
Publication number | Publication date |
---|---|
JP5214567B2 (en) | 2013-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6079031B2 (en) | Imaging device | |
JP5811106B2 (en) | Video processing device, display device, and video processing method | |
JP2013214952A (en) | Imaging device | |
US20140111530A1 (en) | Apparatus and method for buffering signal delay between display device in multi-display environment | |
JP2014216833A (en) | Photoelectric conversion device and imaging system | |
KR102038181B1 (en) | Synchronization of imaging | |
JP5214567B2 (en) | Image processing device | |
US20090278951A1 (en) | Apparatus and methods for multi-sensor synchronization | |
JP2017103752A5 (en) | ||
US20150334319A1 (en) | Image processing apparatus, imaging apparatus, and method for processing image | |
US20170374275A1 (en) | Image pickup apparatus of which display start timing and display quality are selectable, method of controlling the same | |
CN109218631A (en) | Image sensing device and image sensing method | |
JP2012089920A (en) | Image pick-up device | |
US20120120285A1 (en) | Method and apparatus for reconfiguring time of flight shot mode | |
JP2014096655A (en) | Information processor, imaging apparatus and information processing method | |
US9723212B2 (en) | Image capture | |
JP2011061439A (en) | Monitoring system, image processing apparatus, interface circuit and imaging apparatus | |
US8482438B2 (en) | Data processing device and data processing method | |
JP2013055541A (en) | Imaging device | |
US8786778B2 (en) | Timing control apparatus and video processing system | |
TWI689204B (en) | Image pickup apparatus and image pickup method for image upscaling | |
US10389962B2 (en) | Image pickup apparatus and method utilizing the same line rate for upscaling and outputting image | |
JPH04192780A (en) | Monitoring device | |
JP6817793B2 (en) | Super-resolution device and program | |
JP2016038514A (en) | Display control device, display device, control method of display control device and display device and program thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130227 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160308 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |