[go: up one dir, main page]

JP2011061438A - Image processor - Google Patents

Image processor Download PDF

Info

Publication number
JP2011061438A
JP2011061438A JP2009208264A JP2009208264A JP2011061438A JP 2011061438 A JP2011061438 A JP 2011061438A JP 2009208264 A JP2009208264 A JP 2009208264A JP 2009208264 A JP2009208264 A JP 2009208264A JP 2011061438 A JP2011061438 A JP 2011061438A
Authority
JP
Japan
Prior art keywords
image processing
output
image
image data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009208264A
Other languages
Japanese (ja)
Other versions
JP5214567B2 (en
Inventor
Eigo Fukai
英五 深井
Yoshitomi Sameda
芳富 鮫田
Masaomi Yoshikawa
正臣 吉川
Hiroyuki Nishikawa
浩行 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009208264A priority Critical patent/JP5214567B2/en
Publication of JP2011061438A publication Critical patent/JP2011061438A/en
Application granted granted Critical
Publication of JP5214567B2 publication Critical patent/JP5214567B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor which scalably changes imaging points. <P>SOLUTION: Image data obtained from a plurality of imaging apparatuses 20-1 to 20-n are temporarily held in a plurality of FIFOs 112-1 to 112-n constructed on an FPGA. A register part 114 receives synchronizing signals from the imaging apparatuses 20-1 to 20-n. On receipt of the synchronizing signal from the imaging apparatus that has started imaging last, the register part 114 outputs an output start signal to a control part 115. The control part 115 outputs the image data in a predetermined order from the FIFOs 112-1 to 112-n when the output start signal is received. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

この発明は、例えば複数の撮像装置を用いたセキュリティシステムに用いられ、複数の撮像装置から画像データを取得し、その画像データに対して画像処理を施す画像処理装置に関する。   The present invention relates to an image processing apparatus that is used in, for example, a security system using a plurality of imaging devices, acquires image data from the plurality of imaging devices, and performs image processing on the image data.

近年、カメラ等の撮像装置で取得された画像データを用いたセキュリティシステムは、プラント、駅、空港及び店舗等で用いられている。この種のセキュリティシステムは、複数の撮像装置により総合的に監視エリアを監視する。このとき、セキュリティシステムは、複数の撮像装置からの画像データを自動的に画像処理することで、中央監視室の監視員の負担を軽減するようにしている。   In recent years, security systems using image data acquired by an imaging device such as a camera have been used in plants, stations, airports, stores, and the like. This type of security system comprehensively monitors a monitoring area with a plurality of imaging devices. At this time, the security system automatically reduces the burden on the monitoring personnel in the central monitoring room by automatically processing image data from a plurality of imaging devices.

ところで、従来のセキュリティシステムでは、複数の撮像装置で撮像された各画像データを画像処理装置で受信する。画像処理装置は、デコーダ等による複数の画像取得部及び画像処理部を有する。複数の撮像装置で撮像された各画像データは、複数の画像取得部でそれぞれ受信される。そして、各画像データは、画像処理部で自動的に画像処理が施される。このとき、画像処理部に用いられるCPU(Central Processing Unit)及びFPGA(Field Programmable Gate Array)等のLSI(Large Scale Integration)は、接続可能な物理配線数の上限が決まっている。そのため、画像処理部へ伝送可能な画像データの数は制限されている。   By the way, in the conventional security system, each image data picked up by a plurality of image pickup devices is received by the image processing device. The image processing apparatus includes a plurality of image acquisition units and image processing units using a decoder or the like. Each piece of image data captured by a plurality of imaging devices is received by a plurality of image acquisition units. Each image data is automatically subjected to image processing by an image processing unit. At this time, the upper limit of the number of physical wires that can be connected is determined for LSI (Large Scale Integration) such as CPU (Central Processing Unit) and FPGA (Field Programmable Gate Array) used in the image processing unit. Therefore, the number of image data that can be transmitted to the image processing unit is limited.

この問題を解決するため、セキュリティシステムに、画像取得部から画像処理部へ出力されたデータを一時的に保持するメモリを設置し、画像処理部のCPUの制御により、メモリに保持されたデータを画像処理部へ順次出力させる方法が提案されている(例えば、特許文献1参照)。しかしながら、この方法では、複数の撮像装置が接続された場合、メモリへのアクセス時間が撮像装置の台数に比してかかってしまう。このため、画像処理部で期待される時間内に全撮像装置から画像処理部への画像データの出力が完了しないおそれがある。   In order to solve this problem, a memory that temporarily stores data output from the image acquisition unit to the image processing unit is installed in the security system, and the data stored in the memory is controlled by the CPU of the image processing unit. A method of sequentially outputting images to an image processing unit has been proposed (for example, see Patent Document 1). However, in this method, when a plurality of imaging devices are connected, the access time to the memory is longer than the number of imaging devices. For this reason, there is a possibility that the output of image data from all the imaging devices to the image processing unit is not completed within the time expected by the image processing unit.

なお、上述のプラント、駅、空港及び店舗等の施設では、監視エリアが広大であり、かつ、監視エリアにおけるセキュリティレベルが時流と共に変化する。また、年度予算の関係上、段階的に撮像装置を増設する場合がある。このように、セキュリティシステムにおいては、撮像点数をスケーラブルに変更することへの要望がある。   Note that, in the facilities such as the plant, the station, the airport, and the store described above, the monitoring area is vast, and the security level in the monitoring area changes with time. In addition, there are cases where the number of image pickup devices is increased step by step due to the annual budget. Thus, in the security system, there is a demand for changing the number of imaging points to be scalable.

特開平11−65722号公報Japanese Patent Laid-Open No. 11-65722

以上のように、従来のセキュリティシステムでは、接続される撮像装置の台数によっては、動作に制限が生じる場合がある。そのため、セキュリティレベルの向上等のために撮像点数をスケーラブルに変更することは困難であった。   As described above, in the conventional security system, the operation may be limited depending on the number of connected imaging devices. For this reason, it has been difficult to change the number of imaging points in a scalable manner in order to improve the security level.

この発明は上記事情によりなされたもので、その目的は、撮像点数をスケーラブルに変更することが可能な画像処理装置を提供することにある。   This invention is made | formed by the said situation, The objective is to provide the image processing apparatus which can change the number of imaging points scalable.

上記目的を達成するため、本発明に係る画像処理装置は、複数の撮像装置で撮像された複数の画像データの処理を行う画像処理装置において、それぞれが前記複数の画像データのいずれかを一時的に保持し、出力指示に応じて前記画像データを出力する複数の保持部と、前記複数の撮像装置が撮像を開始した際に生成する複数の同期信号を受信し、前記複数の同期信号のうち最後の同期信号を受信した場合、出力開始信号を生成するレジスタ部と、前記出力開始信号に応じて前記複数の保持部に対して、予め設定された出力順序で前記出力指示を与える制御部とをFPGA(Field Programmable Gate Array)上に備える画像取得手段と、前記複数の保持部から前記出力指示に応じて出力された画像データに対して画像処理を施す画像処理部とを具備する。   To achieve the above object, an image processing apparatus according to the present invention is an image processing apparatus that processes a plurality of image data captured by a plurality of image capturing apparatuses, each of which temporarily stores one of the plurality of image data. A plurality of holding units that output the image data in response to an output instruction, and a plurality of synchronization signals generated when the plurality of imaging devices start imaging, out of the plurality of synchronization signals A register unit that generates an output start signal when receiving the last synchronization signal, and a control unit that gives the output instruction in a preset output order to the plurality of holding units in response to the output start signal; Is provided on an FPGA (Field Programmable Gate Array), and an image processing unit that performs image processing on the image data output from the plurality of holding units according to the output instruction. .

上記構成による画像処理装置では、複数の撮像装置からの画像データをFPGA上に構築された複数のFIFOで一時的に保持する。そして、撮像装置からの同期信号の到達タイミングに基づき、FIFOから所定の順序で画像データを出力させるようにしている。これにより、画像処理装置は、複数台の撮像装置を仮想的に一台の撮像装置としてみなすことが可能となる。   In the image processing apparatus having the above configuration, image data from a plurality of imaging apparatuses is temporarily held by a plurality of FIFOs constructed on an FPGA. Then, based on the arrival timing of the synchronization signal from the imaging device, the image data is output from the FIFO in a predetermined order. As a result, the image processing apparatus can virtually consider a plurality of imaging devices as a single imaging device.

この発明によれば、撮像点数をスケーラブルに増設することが可能な画像処理装置を提供することができる。   According to the present invention, it is possible to provide an image processing apparatus that can increase the number of imaging points in a scalable manner.

本発明の第1の実施形態に係るセキュリティシステムの機能構成を示すブロック図である。It is a block diagram which shows the function structure of the security system which concerns on the 1st Embodiment of this invention. 図1の画像取得部における処理を示す図である。It is a figure which shows the process in the image acquisition part of FIG. 図1の画像取得部に複数の水晶発振器が接続された場合のセキュリティシステムを示すブロック図である。FIG. 2 is a block diagram illustrating a security system when a plurality of crystal oscillators are connected to the image acquisition unit of FIG. 1. 図1の画像取得部及び画像処理部にコンフィグレーションROMがそれぞれ接続された場合のセキュリティシステムを示すブロック図である。FIG. 2 is a block diagram showing a security system when a configuration ROM is connected to each of the image acquisition unit and the image processing unit in FIG. 1. 図1の画像取得部にコンフィグレーションROM及びダンピング抵抗が接続され、画像処理部にコンフィグレーションROMが接続された場合のセキュリティシステムを示すブロック図である。FIG. 2 is a block diagram showing a security system when a configuration ROM and a damping resistor are connected to the image acquisition unit of FIG. 1 and a configuration ROM is connected to the image processing unit. 本発明の第2の実施形態に係るセキュリティシステムの機能構成を示すブロック図である。It is a block diagram which shows the function structure of the security system which concerns on the 2nd Embodiment of this invention. 図6の画像取得部における処理を示す図である。It is a figure which shows the process in the image acquisition part of FIG. 図6の画像取得部が、FIFOを有さず、外部メモリを有する場合のセキュリティシステムを示すブロック図である。FIG. 7 is a block diagram illustrating a security system in a case where the image acquisition unit in FIG. 6 does not have a FIFO and has an external memory.

以下、図面を参照しながら本発明に係る画像処理装置の実施の形態について詳細に説明する。   Embodiments of an image processing apparatus according to the present invention will be described below in detail with reference to the drawings.

[第1の実施形態]
図1は、本発明の第1の実施形態に係るセキュリティシステムの機能構成を示すブロック図である。図1におけるセキュリティシステムは、画像処理装置10と撮像装置20−1〜20−nとを具備する。
[First Embodiment]
FIG. 1 is a block diagram showing a functional configuration of a security system according to the first embodiment of the present invention. The security system in FIG. 1 includes an image processing device 10 and imaging devices 20-1 to 20-n.

撮像装置20−1〜20−nは、カメラ等であり、動画像を画像データとして所定時間ごと(例えば1/30秒ごと、1/60秒ごと等)に取得する。そして、撮像装置20−1〜20−nは、取得した画像データを画像処理装置10へ順次出力する。また、撮像装置20−1〜20−nは、撮像を開始する際に同期信号を生成する。撮像装置20−1〜20−nは、この同期信号を画像処理装置10へ出力する。なお、撮像装置20からの出力データ量は、1フレーム当り、1920×1440画素から320×240画素までと幅広い。また、色情報の有無などを含めると多様な画像出力情報が存在する。さらに、近年、超解像度などの画素間の欠損データを補完することで精細な情報を出力することも可能である。このため、撮像装置から出力される画像データは、撮像対象物の状態によって出力データ数が伸縮するという特性がある。ここで、出力データ数とは、画素数及びフレームレート等のことをいう。   The imaging devices 20-1 to 20-n are cameras or the like, and acquire moving images as image data every predetermined time (for example, every 1/30 seconds, every 1/60 seconds, etc.). Then, the imaging devices 20-1 to 20-n sequentially output the acquired image data to the image processing device 10. The imaging devices 20-1 to 20-n generate a synchronization signal when imaging is started. The imaging devices 20-1 to 20-n output this synchronization signal to the image processing device 10. Note that the amount of output data from the imaging device 20 is wide from 1920 × 1440 pixels to 320 × 240 pixels per frame. Various image output information exists including the presence or absence of color information. Furthermore, in recent years, it is also possible to output fine information by complementing missing data between pixels such as super resolution. For this reason, the image data output from the imaging device has a characteristic that the number of output data expands and contracts depending on the state of the imaging target. Here, the number of output data refers to the number of pixels, the frame rate, and the like.

図1における画像処理装置10は、画像取得部11、水晶発振器12、画像処理部13及びコネクタ14−1〜14−n(nは自然数)を具備する。水晶発振器12は、画像取得部11に設けられたPLL(Phase Locked Loop)によって画像取得部11と接続している。   An image processing apparatus 10 in FIG. 1 includes an image acquisition unit 11, a crystal oscillator 12, an image processing unit 13, and connectors 14-1 to 14-n (n is a natural number). The crystal oscillator 12 is connected to the image acquisition unit 11 by a PLL (Phase Locked Loop) provided in the image acquisition unit 11.

画像取得部11は、FPGA(Field Programmable Gate Array)から成る。画像取得部11は、FPGA上に論理回路が組み込まれることにより、入力インタフェース(IF)部111−1〜111−n、FIFO(First-In First-Out)112−1〜112−n、出力IF部113、レジスタ部114及び制御部115の機能を有する。   The image acquisition unit 11 includes an FPGA (Field Programmable Gate Array). The image acquisition unit 11 includes input interface (IF) units 111-1 to 111-n, first-in first-out (FIFO) 112-1 to 112-n, and output IF by incorporating a logic circuit on the FPGA. The function of the unit 113, the register unit 114, and the control unit 115 is provided.

入力IF部111−1〜111−nは、コネクタ14−1〜14−nを介して入力された画像データを、FIFO112−1〜112−nへ出力する。また、入力IF部111−1〜111−nは、コネクタ14−1〜14−nを介して入力された同期信号を、レジスタ部114へ出力する。   The input IF units 111-1 to 111-n output the image data input via the connectors 14-1 to 14-n to the FIFOs 112-1 to 112-n. Further, the input IF units 111-1 to 111-n output the synchronization signal input via the connectors 14-1 to 14-n to the register unit 114.

FIFO112−1〜112−nは、入力IF部111−1〜111−nからの画像データを一時的に保持する。そして、FIFO112−1〜112−nは、制御部115からの出力指示に応じて、保持した画像データを入力された順に出力IF部113を介して画像処理部13へ出力する。このとき出力する画像データの伝送ビットレートは、水晶発振器12で生成されるクロック信号に基づいている。   The FIFOs 112-1 to 112-n temporarily hold the image data from the input IF units 111-1 to 111-n. Then, the FIFOs 112-1 to 112-n output the held image data to the image processing unit 13 via the output IF unit 113 in the order of input in accordance with an output instruction from the control unit 115. The transmission bit rate of the image data output at this time is based on the clock signal generated by the crystal oscillator 12.

レジスタ部114は、入力IF部111−1〜111−nからの同期信号を受信する。レジスタ部114は、同期信号を受信した場合、受信した同期信号が撮像装置20−1〜20−nのうちいずれから出力されたのかがわかるようにビットを立てる。そして、レジスタ部114は、最後に撮像を開始した撮像装置から、同期信号を受信した場合、出力開始信号を制御部115へ出力する。   The register unit 114 receives the synchronization signal from the input IF units 111-1 to 111-n. When receiving the synchronization signal, the register unit 114 sets a bit so that it can be understood from which of the imaging devices 20-1 to 20-n the received synchronization signal is output. Then, the register unit 114 outputs an output start signal to the control unit 115 when receiving a synchronization signal from the imaging device that has started imaging.

制御部115は、レジスタ部114からの出力開始信号に応じて、FIFO112−1〜112−nに対して出力指示を与える。このとき、制御部115が出力指示を与える順序は予め設定されている。   The control unit 115 gives an output instruction to the FIFOs 112-1 to 112-n according to the output start signal from the register unit 114. At this time, the order in which the control unit 115 gives the output instruction is set in advance.

また、制御部115は、FIFO112−1〜112−nごとに画像データの出力容量も指定して出力指示を与える。出力容量は、FIFO112−1〜112−nに接続された撮像装置20−1〜20−nの台数及び出力データ数により決定される。   The control unit 115 also designates the output capacity of the image data for each of the FIFOs 112-1 to 112-n and gives an output instruction. The output capacity is determined by the number of the imaging devices 20-1 to 20-n connected to the FIFOs 112-1 to 112-n and the number of output data.

画像処理部13は、CPU又はFPGA等のLSIである。画像処理部13は、画像取得部11からの画像データを、予め設定された周波数で検出する。そして、画像処理部13は、検出した画像データに対して画像処理を施す。本実施形態では、予め設定された周波数とは、水晶発振器12のクロック周波数に応じた周波数である。なお、画像処理部13は、画像取得部11から伝送ビットレートを受け取り、この伝送ビットレートに従って映像データを検出するようにしても良い。   The image processing unit 13 is an LSI such as a CPU or FPGA. The image processing unit 13 detects the image data from the image acquisition unit 11 at a preset frequency. Then, the image processing unit 13 performs image processing on the detected image data. In the present embodiment, the preset frequency is a frequency corresponding to the clock frequency of the crystal oscillator 12. Note that the image processing unit 13 may receive the transmission bit rate from the image acquisition unit 11 and detect video data according to the transmission bit rate.

次に、上記構成における動作を説明する。   Next, the operation in the above configuration will be described.

図2は、本発明の第1の実施形態に係る画像処理装置10の画像取得部11における処理を示す模式図である。図2では、ラスタスキャン方式により画像データが転送される例を説明する。なお、本実施形態のデータ転送の方式は、ラスタスキャン方式に限定される訳ではない。   FIG. 2 is a schematic diagram showing processing in the image acquisition unit 11 of the image processing apparatus 10 according to the first embodiment of the present invention. FIG. 2 illustrates an example in which image data is transferred by the raster scan method. Note that the data transfer method of the present embodiment is not limited to the raster scan method.

図2では、撮像装置20−1乃至撮像装置20−nが、画像処理装置10に接続され、撮像装置20−2が最後に撮像処理を開始する場合を例に説明する。   In FIG. 2, an example in which the imaging devices 20-1 to 20-n are connected to the image processing device 10 and the imaging device 20-2 starts imaging processing last will be described.

撮像装置20−1での撮像が開始されると、画像データ1が取得されると共に、同期信号1が生成される。画像データ1と同期信号1とは、画像取得部11へ出力される。FIFO112−1は、画像データ1を保持する。また、レジスタ部114は、同期信号1を受信し、撮像装置20−1からの同期信号1を受信したことを示すビットを立てる。   When imaging with the imaging device 20-1 is started, image data 1 is acquired and a synchronization signal 1 is generated. The image data 1 and the synchronization signal 1 are output to the image acquisition unit 11. The FIFO 112-1 holds the image data 1. The register unit 114 receives the synchronization signal 1 and sets a bit indicating that the synchronization signal 1 from the imaging device 20-1 has been received.

また、撮像装置20−nでの撮像が開始されると、画像データNが取得されると共に、同期信号Nが生成される。画像データNと同期信号Nとは、画像取得部11へ出力される。FIFO112−nは、画像データNを保持する。また、レジスタ部114は、同期信号Nを受信し、撮像装置20−nからの同期信号Nを受信したことを示すビットを立てる。   When imaging with the imaging device 20-n is started, image data N is acquired and a synchronization signal N is generated. The image data N and the synchronization signal N are output to the image acquisition unit 11. The FIFO 112-n holds image data N. The register unit 114 receives the synchronization signal N and sets a bit indicating that the synchronization signal N from the imaging device 20-n has been received.

そして、最後の撮像装置20−2での撮像が開始されると、画像データ2が取得されると共に、同期信号2が生成される。画像データ2と同期信号2とは、画像取得部11へ出力される。FIFO112−2は、画像データ2を保持する。また、レジスタ部114は、同期信号2を受信し、最後の撮像装置20−2からの同期信号2を受信したことを示すビットを立てる。レジスタ部114は、最後の同期信号2を受信すると、出力開始信号を生成し、制御部115へ出力する。   Then, when imaging with the last imaging device 20-2 is started, image data 2 is acquired and a synchronization signal 2 is generated. The image data 2 and the synchronization signal 2 are output to the image acquisition unit 11. The FIFO 112-2 holds the image data 2. Further, the register unit 114 receives the synchronization signal 2 and sets a bit indicating that the synchronization signal 2 from the last imaging device 20-2 has been received. When receiving the last synchronization signal 2, the register unit 114 generates an output start signal and outputs the output start signal to the control unit 115.

制御部115は、出力開始信号を受け取った場合、画像データ1の1段目の走査線上の画像データ11を出力するようにFIFO112−1に対して出力指示を出す。続いて、制御部115は、画像データ2,3,4…の1段目の走査線上の映像データを出力するようにFIFO112−2,112−3,112−4…に対して順次出力指示を出す。そして、制御部115は、画像データNの1段目の走査線上の画像データN1を出力するようにFIFO112−nに対して出力指示を与え、FIFO112−nから画像データN1が出力されると、画像データ1の2段目の走査線上の映像データ12を出力するようにFIFO112−1に対して出力指示を与える。なお、本実施形態では、最初にFIFO112−1に対して出力指示を与え、その後にFIFO112−2,112−3,…,112−nの順序で出力指示を与える例について説明したが、最初に出力指示を与えるFIFO及び出力指示を与える順序は、これに限定される訳ではない。   When receiving the output start signal, the control unit 115 issues an output instruction to the FIFO 112-1 to output the image data 11 on the first scanning line of the image data 1. Subsequently, the control unit 115 sequentially instructs the FIFOs 112-2, 112-3, 112-4... To output the video data on the first scanning line of the image data 2, 3, 4. put out. Then, the control unit 115 gives an output instruction to the FIFO 112-n so as to output the image data N1 on the first scanning line of the image data N, and when the image data N1 is output from the FIFO 112-n, An output instruction is given to the FIFO 112-1 to output the video data 12 on the second scanning line of the image data 1. In this embodiment, an example has been described in which an output instruction is first given to the FIFO 112-1, and then the output instructions are given in the order of FIFOs 112-2, 112-3,..., 112-n. The order of giving the output instruction and the order of giving the output instruction are not limited to this.

このように、画像取得部11は、画像データ1〜Nを走査線単位で画像処理部13へ出力する。これにより、画像処理部13は、撮像装置20−1〜20−nで撮像された映像データを走査線の1段目から順に受け取ることとなる。このとき、画像処理部13は、図2に示すような、撮像装置20−1〜20−nで撮像された映像が横に配列された映像を受け取る。   As described above, the image acquisition unit 11 outputs the image data 1 to N to the image processing unit 13 in units of scanning lines. Thereby, the image processing unit 13 receives the video data captured by the imaging devices 20-1 to 20-n in order from the first stage of the scanning line. At this time, the image processing unit 13 receives a video in which videos captured by the imaging devices 20-1 to 20-n are horizontally arranged as shown in FIG.

以上のように、上記第1の実施形態では、画像取得部11は、FIFO112−1〜112−nにより撮像装置20−1〜20−nからの画像データを一時的に保持する。そして、画像取得部11は、同期信号の到達タイミングを利用して、FIFO112−1〜112−nから画像データを所定の順序で順次出力するようにしている。これにより、画像処理装置10では、複数台の撮像装置を仮想的に一台の撮像装置としてみなすことが可能となる。   As described above, in the first embodiment, the image acquisition unit 11 temporarily holds the image data from the imaging devices 20-1 to 20-n using the FIFOs 112-1 to 112-n. Then, the image acquisition unit 11 sequentially outputs image data from the FIFOs 112-1 to 112-n in a predetermined order using the arrival timing of the synchronization signal. Thereby, in the image processing apparatus 10, it becomes possible to regard a plurality of imaging devices virtually as one imaging device.

また、上記第1の実施形態では、画像取得部11をFPGAで構築するようにしている。これにより、画像処理装置10の作成後であっても、FPGAを再構成することで様々な状況に容易に対応することが可能となる。すなわち、最初に出力指示を与えるFIFO及び出力指示を与えるFIFOの順序を再設定することが可能となる。また、接続される撮像装置の出力データ数に合わせて、FIFOから出力される画像データの出力容量等を再設定することが可能となる。また、接続される撮像装置の台数に合わせて、画像取得部11に入力IF部、出力IF部、FIFO等の機能を新たに持たせることが可能となる。   In the first embodiment, the image acquisition unit 11 is constructed with an FPGA. Thereby, even after the image processing apparatus 10 is created, it is possible to easily cope with various situations by reconfiguring the FPGA. That is, it is possible to reset the order of the FIFO that gives the output instruction first and the FIFO that gives the output instruction. In addition, the output capacity of image data output from the FIFO can be reset according to the number of output data of the connected imaging device. Further, according to the number of connected imaging devices, the image acquisition unit 11 can be newly provided with functions such as an input IF unit, an output IF unit, and a FIFO.

また、上記第1の実施形態では、撮像を最後に開始した撮像装置からの同期信号を受信した場合、FIFOからの画像データの出力を開始するようにしている。これにより、接続される複数の撮像装置のフレーム数及び同期信号の生成がそれぞれ異なる場合であっても、これらの撮像装置を仮想的に一台の撮像装置とみなすことが可能となる。   In the first embodiment, output of image data from the FIFO is started when a synchronization signal is received from the imaging device that started imaging last. As a result, even when the number of frames and the generation of the synchronization signal of the plurality of connected imaging devices are different, these imaging devices can be virtually regarded as one imaging device.

また、上記第1の実施形態では、画像取得部11は、接続される撮像装置の数に応じた数のFIFOを有している。これにより、FIFOへのアクセス時間が最小化されることとなる。   In the first embodiment, the image acquisition unit 11 has a number of FIFOs corresponding to the number of connected imaging devices. As a result, the access time to the FIFO is minimized.

また、上記第1の実施形態では、画像処理部13への物理配線数が単線化されている。このため、画像処理部小パッケージサイズの演算処理LSI(CPU、FPGA、ASIC、DSP)を実装可能となる。これにより、画像処理装置10の製造コストを抑えることが可能となる。   In the first embodiment, the number of physical wires to the image processing unit 13 is single. Therefore, it is possible to mount an arithmetic processing LSI (CPU, FPGA, ASIC, DSP) having a small image processing unit package size. Thereby, the manufacturing cost of the image processing apparatus 10 can be suppressed.

したがって、本発明に係る画像処理装置は拡張性を有することとなる。すなわち、セキュリティシステムのユーザは、撮像点数をスケーラブルに増設することができる。   Therefore, the image processing apparatus according to the present invention has expandability. That is, the user of the security system can increase the number of imaging points in a scalable manner.

なお、本実施形態の画像処理装置10は、図1に示される構成に限定される訳ではない。例えば、図3〜図5に示す構成をしていても構わない。   Note that the image processing apparatus 10 of the present embodiment is not limited to the configuration shown in FIG. For example, you may have the structure shown in FIGS.

図3は、画像取得部11に複数の水晶発振器12−1〜12−3が接続された場合のセキュリティシステムを示すブロック図である。セキュリティシステムのユーザは、撮像装置20の接続台数、出力データ数及び出力データ形式に応じて水晶発振器12−1〜12−3の中から適当なクロック周波数の水晶発振器を選択する。このとき、水晶発振器12−1〜12−3のクロック周波数は、それぞれ異なる周波数であり、例えば、水晶発振器12−1のクロック周波数は27MHz、水晶発振器12−2のクロック周波数は54MHz、水晶発振器12−3のクロック周波数は108MHzである。ユーザは、選択した水晶発振器のクロック周波数に応じて、画像取得部11のFPGAを再構成する。画像取得部11は、再構成されたことにより変更したビットレートを画像処理部13へ通知する。   FIG. 3 is a block diagram showing a security system when a plurality of crystal oscillators 12-1 to 12-3 are connected to the image acquisition unit 11. The user of the security system selects a crystal oscillator having an appropriate clock frequency from among the crystal oscillators 12-1 to 12-3 according to the number of connected imaging apparatuses 20, the number of output data, and the output data format. At this time, the clock frequencies of the crystal oscillators 12-1 to 12-3 are different from each other. For example, the clock frequency of the crystal oscillator 12-1 is 27 MHz, the clock frequency of the crystal oscillator 12-2 is 54 MHz, and the crystal oscillator 12 -3 clock frequency is 108 MHz. The user reconfigures the FPGA of the image acquisition unit 11 according to the selected clock frequency of the crystal oscillator. The image acquisition unit 11 notifies the image processing unit 13 of the bit rate changed by the reconfiguration.

これにより、画像処理装置10は、接続される撮像装置20の台数、出力データ数及び出力データ形式に応じて、画像取得部11から画像処理部13へ出力する画像データのデータ伝達のタイミングをスケーラブルに変動することが可能となる。これに伴い、低消費電力化及び不要な電磁波ノイズの発生を抑えることが可能である。   As a result, the image processing apparatus 10 can scale the data transmission timing of the image data output from the image acquisition unit 11 to the image processing unit 13 according to the number of connected imaging devices 20, the number of output data, and the output data format. It becomes possible to fluctuate. Along with this, it is possible to reduce the power consumption and suppress the generation of unnecessary electromagnetic noise.

図4は、画像取得部11にコンフィグレーションROM(Read Only Memory)15が接続され、画像処理部13にコンフィグレーションROM16が接続された場合のセキュリティシステムを示すブロック図である。コンフィグレーションROM15には、画像取得部11の論理回路を再構成するためのデータ変換フォーマットが予め記録されている。例えば、コンフィグレーションROM15には、接続される撮像装置20がn個から(n+1)個になった場合、画像取得部11が自身の論理回路を、入力IF部111−(n+1)及びFIFO112−(n+1)を有するように自動的に再構成するためのフォーマットが記録されている。   FIG. 4 is a block diagram showing a security system when a configuration ROM (Read Only Memory) 15 is connected to the image acquisition unit 11 and a configuration ROM 16 is connected to the image processing unit 13. In the configuration ROM 15, a data conversion format for reconfiguring the logic circuit of the image acquisition unit 11 is recorded in advance. For example, in the configuration ROM 15, when the number of imaging devices 20 to be connected is changed from n to (n + 1), the image acquisition unit 11 assigns its own logic circuit to the input IF unit 111-(n + 1) and the FIFO 112-( A format for automatically reconfiguring to have n + 1) is recorded.

また、コンフィグレーションROM16には、画像処理部13の論理回路を再構成するためのデータ変換フォーマットが予め記録されている。例えば、コンフィグレーションROM16には、画像データの検出タイミングを切り替えるためのフォーマットが記録されている。画像処理部13における画像データの検出タイミングは、このフォーマットにより、例えば、データにおける矩形波の立ち上がり時にのみデータを検出する状態から、矩形波の立ち上がり時及び立ち下がり時の両方でデータを検出する状態へと切り替わる。   In addition, a data conversion format for reconfiguring the logic circuit of the image processing unit 13 is recorded in the configuration ROM 16 in advance. For example, the configuration ROM 16 records a format for switching the detection timing of image data. The detection timing of the image data in the image processing unit 13 is, for example, a state in which data is detected both when the rectangular wave rises and falls from a state where the data is detected only when the rectangular wave rises in the data. Switch to.

図4に係る画像処理装置10によれば、接続される撮像装置の台数が変更になった場合等であっても、自動的にFPGAの再構成をすることが可能となる。   According to the image processing apparatus 10 according to FIG. 4, it is possible to automatically reconfigure the FPGA even when the number of connected imaging apparatuses is changed.

図5は、画像取得部11にコンフィグレーションROM(Read Only Memory)15及びダンピング抵抗17が接続され、画像処理部13にコンフィグレーションROM16が接続された場合のセキュリティシステムを示すブロック図である。画像取得部11にダンピング抵抗17を接続させることにより、伝送ビットレート及びクロック周波数を変更した際に生じるパターン配線抵抗に対応することが可能となる。   FIG. 5 is a block diagram showing a security system when a configuration ROM (Read Only Memory) 15 and a damping resistor 17 are connected to the image acquisition unit 11 and a configuration ROM 16 is connected to the image processing unit 13. By connecting the damping resistor 17 to the image acquisition unit 11, it is possible to cope with the pattern wiring resistance generated when the transmission bit rate and the clock frequency are changed.

[第2の実施形態]
図6は、本発明の第2の実施形態に係るセキュリティシステムの機能構成を示すブロック図である。図6におけるセキュリティシステムは、画像処理装置30と撮像装置20−1〜20−nとを具備する。
[Second Embodiment]
FIG. 6 is a block diagram showing a functional configuration of the security system according to the second embodiment of the present invention. The security system in FIG. 6 includes an image processing device 30 and imaging devices 20-1 to 20-n.

撮像装置20−1〜20−nは、取得した画像データを画像処理装置30へ順次出力する。また、撮像装置20−1〜20−nは、撮像を開始する際に生成した同期信号を画像処理装置30へ出力する。   The imaging devices 20-1 to 20-n sequentially output the acquired image data to the image processing device 30. In addition, the imaging devices 20-1 to 20-n output the synchronization signal generated when imaging is started to the image processing device 30.

図6における画像処理装置30は、画像取得部31−1〜31−n(nは自然数)、水晶発振器32、画像処理部33及びコネクタ34−1〜34−nを具備する。水晶発振器32は、画像取得部31−1〜31−nにそれぞれ設けられたPLL(Phase Locked Loop)によって画像取得部31−1〜31−nと接続している。   The image processing apparatus 30 in FIG. 6 includes image acquisition units 31-1 to 31-n (n is a natural number), a crystal oscillator 32, an image processing unit 33, and connectors 34-1 to 34-n. The crystal oscillator 32 is connected to the image acquisition units 31-1 to 31-n by PLL (Phase Locked Loop) provided in the image acquisition units 31-1 to 31-n, respectively.

画像取得部31−1〜31−nは、FPGAから成る。画像取得部31−1〜31−nは、FPGA上に論理回路が組み込まれることにより、入力IF部311−1〜311−n、FIFO312−1〜312−n、出力IF部313−1〜313−n、レジスタ部314−1〜314−n及び制御部315−1〜315−nの機能を有する。ここで、画像取得部31−1〜31−nの構成はそれぞれ同様であるため、以下では画像取得部31−1を代表して説明する。   The image acquisition units 31-1 to 31-n are made of FPGA. The image acquisition units 31-1 to 31-n include input IF units 311-1 to 311-n, FIFOs 312-1 to 312-n, and output IF units 313-1 to 313 by incorporating a logic circuit on the FPGA. -N, functions of register units 314-1 to 314-n and control units 315-1 to 315-n. Here, since the image acquisition units 31-1 to 31-n have the same configuration, the image acquisition unit 31-1 will be described below as a representative.

入力IF部311−1は、コネクタ34−1を介して入力された画像データを、FIFO312−1へ出力する。また、入力IF部311−1は、コネクタ34−1〜34−nを介して入力された撮像装置20−1〜20−nからの同期信号を、レジスタ部314−1へ出力する。これらの同期信号は、撮像装置20−1〜20−nのいずれで生成されたものであるか識別可能な識別子を有している。   The input IF unit 311-1 outputs the image data input via the connector 34-1 to the FIFO 312-1. The input IF unit 311-1 outputs the synchronization signal from the imaging devices 20-1 to 20-n input via the connectors 34-1 to 34-n to the register unit 314-1. These synchronization signals have identifiers that can identify which one of the imaging devices 20-1 to 20-n is generated.

FIFO312−1は、入力IF部311−1からの画像データを一時的に保持する。そして、FIFO312−1は、制御部315−1からの出力指示に応じて、画像データを保持した順に出力IF部313−1を介して画像処理部33へ出力する。このとき出力する画像データの伝送ビットレートは、水晶発振器32で生成されるクロック信号による。   The FIFO 312-1 temporarily holds the image data from the input IF unit 311-1. Then, the FIFO 312-1 outputs the image data to the image processing unit 33 via the output IF unit 313-1 in the order in which the image data is held in response to an output instruction from the control unit 315-1. The transmission bit rate of the image data output at this time depends on the clock signal generated by the crystal oscillator 32.

レジスタ部314−1は、入力IF部311−1からの同期信号を受信する。レジスタ部314−1は、同期信号を受信した場合、受信した同期信号が撮像装置20−1〜20−nのうちいずれで生成されたのかがわかるようにビットを立てる。そして、レジスタ部314−1は、最後に撮像を開始した撮像装置からの同期信号を受信した場合、出力開始信号を制御部315−1へ出力する。   The register unit 314-1 receives the synchronization signal from the input IF unit 311-1. When the register unit 314-1 receives the synchronization signal, the register unit 314-1 sets a bit so that it can be understood which of the imaging devices 20-1 to 20-n has generated the received synchronization signal. The register unit 314-1 outputs an output start signal to the control unit 315-1 when receiving a synchronization signal from the imaging device that has started imaging last.

制御部315−1は、レジスタ部314−1からの出力開始信号を受信した場合、この出力開始信号に基づいてFIFO312−1に対して出力指示を与える。このとき、FIFO312−1〜312−nから出力される画像データの順序は予め設定されている。制御部315−1〜315−nは、画像データの出力順序に従った順序でFIFO312−1〜312−nに対して出力指示を与える。   When receiving the output start signal from the register unit 314-1, the control unit 315-1 gives an output instruction to the FIFO 312-1 based on the output start signal. At this time, the order of image data output from the FIFOs 312-1 to 312-n is set in advance. The control units 315-1 to 315-n give output instructions to the FIFOs 312-1 to 312-n in the order according to the output order of the image data.

また、制御部315−1は、FIFO312−1から出力される画像データの出力容量も指定して出力指示を与える。出力容量は、FIFO312−1に接続された撮像装置20−1の出力データ数により決定されるものである。   The control unit 315-1 also designates the output capacity of the image data output from the FIFO 312-1 and gives an output instruction. The output capacity is determined by the number of output data of the imaging device 20-1 connected to the FIFO 312-1.

画像処理部33は、CPU又はFPGA等のLSIである。画像処理部33は、画像取得部31−1〜31−nからの映像データを、予め設定された周波数で検出する。そして、画像処理部33は、取得した画像データに対して画像処理を施す。本実施形態では、予め設定された周波数とは、水晶発振器32のクロック周波数に応じた周波数である。   The image processing unit 33 is an LSI such as a CPU or FPGA. The image processing unit 33 detects the video data from the image acquisition units 31-1 to 31-n at a preset frequency. Then, the image processing unit 33 performs image processing on the acquired image data. In the present embodiment, the preset frequency is a frequency corresponding to the clock frequency of the crystal oscillator 32.

次に、上記構成における動作を説明する。   Next, the operation in the above configuration will be described.

図7は、本発明の第2の実施形態に係る画像処理装置30の画像取得部31−1〜31−nにおける処理を示す模式図である。図7では、ラスタスキャン方式により画像データが転送される例を説明する。なお、本実施形態のデータ転送の方式は、ラスタスキャン方式に限定される訳ではない。   FIG. 7 is a schematic diagram illustrating processing in the image acquisition units 31-1 to 31-n of the image processing device 30 according to the second embodiment of the present invention. FIG. 7 illustrates an example in which image data is transferred by the raster scan method. Note that the data transfer method of the present embodiment is not limited to the raster scan method.

図7では、撮像装置20−1乃至撮像装置20−nが、画像処理装置30に接続され、撮像装置20−2が最後に撮像処理を開始する場合を例に説明する。   In FIG. 7, the case where the imaging devices 20-1 to 20-n are connected to the image processing device 30 and the imaging device 20-2 starts the imaging process last is described as an example.

撮像装置20−1での撮像が開始されると、画像データ1が取得されると共に、同期信号1が生成される。画像データ1は画像取得部31−1へ出力され、同期信号1は画像取得部31−1〜31−nへ出力される。FIFO312−1は、画像データ1を保持する。また、レジスタ部314−1〜314−nは、同期信号1を受信し、撮像装置20−1からの同期信号1を受信したことを示すビットを立てる。   When imaging with the imaging device 20-1 is started, image data 1 is acquired and a synchronization signal 1 is generated. The image data 1 is output to the image acquisition unit 31-1, and the synchronization signal 1 is output to the image acquisition units 31-1 to 31-n. The FIFO 312-1 holds the image data 1. The register units 314-1 to 314-n receive the synchronization signal 1 and set a bit indicating that the synchronization signal 1 from the imaging device 20-1 has been received.

また、撮像装置20−nでの撮像が開始されると、画像データNが取得されると共に、同期信号Nが生成される。画像データNは画像取得部31−nへ出力され、同期信号Nは画像取得部31−1〜31−nへ出力される。FIFO312−nは、画像データNを保持する。また、レジスタ部314−1〜314−nは、同期信号Nを受信し、撮像装置20−nからの同期信号Nを受信したことを示すビットを立てる。   When imaging with the imaging device 20-n is started, image data N is acquired and a synchronization signal N is generated. The image data N is output to the image acquisition unit 31-n, and the synchronization signal N is output to the image acquisition units 31-1 to 31-n. The FIFO 312-n holds the image data N. Also, the register units 314-1 to 314-n receive the synchronization signal N and set a bit indicating that the synchronization signal N from the imaging device 20-n has been received.

そして、最後の撮像装置20−2での撮像が開始されると、画像データ2が取得されると共に、同期信号2が生成される。画像データ2は画像取得部31−2へ出力され、同期信号2は画像取得部31−1〜31−nへ出力される。FIFO312−2は、画像データ2を保持する。また、レジスタ部314−1〜314−nは、同期信号2を受信し、最後の撮像装置20−2からの同期信号2を受信したことを示すビットを立てる。レジスタ部314−1〜314−nは、最後の同期信号2を受信すると、出力開始信号を生成し、それぞれの画像取得部に配置された制御部315−1〜315−nへ出力する。   Then, when imaging with the last imaging device 20-2 is started, image data 2 is acquired and a synchronization signal 2 is generated. The image data 2 is output to the image acquisition unit 31-2, and the synchronization signal 2 is output to the image acquisition units 31-1 to 31-n. The FIFO 312-2 holds the image data 2. The register units 314-1 to 314-n receive the synchronization signal 2 and set a bit indicating that the synchronization signal 2 from the last imaging device 20-2 has been received. Upon receipt of the last synchronization signal 2, the register units 314-1 to 314-n generate output start signals and output them to the control units 315-1 to 315-n arranged in the respective image acquisition units.

制御部315−1は、出力開始信号を受け取った場合、画像データ1の1段目の走査線上の画像データ11を出力するようにFIFO312−1に対して出力指示を出す。続いて、制御部315−2は、画像データ2の1段目の走査線上の画像データ12を出力するようにFIFO312−2に対して出力指示を出す。続いて、制御部315−3,315−4…315−nは、画像データ3,4…Nの1段目の走査線上の映像データを出力するようにFIFO312−3,312−4…312−nに対して順次出力指示を与える。   When receiving the output start signal, the control unit 315-1 issues an output instruction to the FIFO 312-1 so that the image data 11 on the first scanning line of the image data 1 is output. Subsequently, the control unit 315-2 issues an output instruction to the FIFO 312-2 so that the image data 12 on the first scanning line of the image data 2 is output. Subsequently, the control units 315-3, 315-4,... 315-n output the FIFO 312-3, 312-4,... 312- so that the video data on the first scanning line of the image data 3, 4,. Output instructions are sequentially given to n.

そして、制御部315−1は、FIFO312−nから画像データN1が出力されると、画像データ1の1段目の走査線上の画像データ12を出力するようにFIFO312−1に対して出力指示を与える。なお、本実施形態では、最初に制御部315−1がFIFO312−1に対して出力指示を与え、その後に制御部315−2,315−3…315−nがFIFO312−2,312−3,…,312−nの順序で出力指示を与える例について説明したが、最初に出力指示を与えるFIFO及び出力指示を与える順序は、これに限定される訳ではない。   Then, when the image data N1 is output from the FIFO 312-n, the control unit 315-1 instructs the FIFO 312-1 to output the image data 12 on the first scanning line of the image data 1. give. In the present embodiment, first, the control unit 315-1 gives an output instruction to the FIFO 312-1, and then the control units 315-2, 315-3,... 315-n receive the FIFOs 312-2, 312-3, .., 312 -n, an example in which output instructions are given has been described. However, the order in which FIFOs are first given and output instructions are not limited to this.

制御部315−1〜315−nは、以上のようにFIFO312−1〜312−nから映像データを出力させることで、走査線上の映像データを1段目から順に出力させる。   The control units 315-1 to 315-n output the video data on the scanning lines in order from the first stage by outputting the video data from the FIFOs 312-1 to 312-n as described above.

これにより画像処理部33は、撮像装置20−1〜20−nで撮像された映像データを走査線の1段目から順に受け取ることとなる。このとき、画像処理部33は、図6に示すような、撮像装置20−1〜20−nで撮像された映像が横に配列された映像を受け取る。   Accordingly, the image processing unit 33 sequentially receives the video data captured by the imaging devices 20-1 to 20-n from the first stage of the scanning line. At this time, the image processing unit 33 receives a video in which video images captured by the imaging devices 20-1 to 20-n are horizontally arranged as illustrated in FIG.

以上のように、上記第2の実施形態では、画像取得部31−1〜31−nがそれぞれFPGAで構成される。このため、大型のFPGAを用意する必要がなくなり、画像処理装置30の製造コストをさらに抑えることが可能となる。   As described above, in the second embodiment, the image acquisition units 31-1 to 31-n are each configured with an FPGA. For this reason, it is not necessary to prepare a large FPGA, and the manufacturing cost of the image processing apparatus 30 can be further suppressed.

なお、本実施形態の画像処理装置30は、図6に示される構成に限定される訳ではない。例えば、図8に示す構成をしていても構わない。   Note that the image processing apparatus 30 of the present embodiment is not limited to the configuration shown in FIG. For example, the configuration shown in FIG. 8 may be used.

図8は、画像取得部31−1〜31−nがFIFO312−1〜312−nを有さず、外部メモリ316−1〜316−nを有する場合のセキュリティシステムを示すブロック図である。外部メモリ316−1〜316−nでFIFOの代用を図ることで、FPGA上にFIFOを構築する必要がなくなるため、製造コストをさらに抑えることが可能となる。   FIG. 8 is a block diagram showing a security system when the image acquisition units 31-1 to 31-n do not have the FIFOs 312-1 to 312-n but have the external memories 316-1 to 316-n. By substituting the FIFO with the external memories 316-1 to 316-n, it becomes unnecessary to construct the FIFO on the FPGA, so that the manufacturing cost can be further reduced.

[その他の実施形態]
なお、この発明は上記各実施形態に限定されるものではない。例えば、上記各実施形態では、撮像を最後に開始した撮像装置からの同期信号を受信した場合、FIFOから画像データを順次出力する例について説明したが、本発明は上記実施形態に限定される訳ではない。例えば、画像取得部にタイマが接続され、一定の時間が経過した場合、FIFOから画像データを順次出力するようにしても良い。このとき、同期信号を生成していない撮像装置は、無いものとして扱われ、画像取得部から画像処理部へ出力される画像データには、その撮像装置からの画像は含まれない。
[Other Embodiments]
The present invention is not limited to the above embodiments. For example, in each of the above-described embodiments, an example in which image data is sequentially output from the FIFO when a synchronization signal is received from an imaging device that has started imaging has been described. However, the present invention is not limited to the above-described embodiment. is not. For example, a timer may be connected to the image acquisition unit, and image data may be sequentially output from the FIFO when a certain time has elapsed. At this time, the imaging device that has not generated the synchronization signal is treated as being absent, and the image data output from the image acquisition unit to the image processing unit does not include an image from the imaging device.

さらに、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。   Furthermore, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

10…画像処理装置
11…画像取得部
111−1〜111−n…入力IF部
112−1〜112−n…FIFO
113…出力IF部
114…レジスタ部
115…制御部
12,12−1,12−2,12−3…水晶発振器
13…画像処理部
14−1〜14−n…コネクタ
15,16…コンフィグレーションROM
17…ダンピング抵抗
20−1〜20−n…撮像装置
30…画像処理装置
31−1〜31−n…画像取得部
311−1〜311−n…入力IF部
312−1〜312−n…FIFO
313−1〜313−n…出力IF部
314−1〜314−n…レジスタ部
315−1〜315−n…制御部
316−1〜316−n…外部メモリ
32…水晶発振器
33…画像処理部
34−1〜34−n…コネクタ
DESCRIPTION OF SYMBOLS 10 ... Image processing apparatus 11 ... Image acquisition part 111-1 to 111-n ... Input IF part 112-1 to 112-n ... FIFO
113 ... Output IF unit 114 ... Register unit 115 ... Control units 12, 12-1, 12-2, 12-3 ... Crystal oscillator 13 ... Image processing units 14-1 to 14-n ... Connectors 15, 16 ... Configuration ROM
17 ... Damping resistors 20-1 to 20-n ... Imaging device 30 ... Image processing devices 31-1 to 31-n ... Image acquisition units 311-1 to 311-n ... Input IF units 312-1 to 312-n ... FIFO
313-1 to 313-n. Output IF units 314-1 to 314-n. Register units 315-1 to 315-n. Control units 316-1 to 316-n. External memory 32. Crystal oscillator 33. Image processing unit. 34-1 to 34-n connector

Claims (9)

複数の撮像装置で撮像された複数の画像データの処理を行う画像処理装置において、
それぞれが前記複数の画像データのいずれかを一時的に保持し、出力指示に応じて前記画像データを出力する複数の保持部と、
前記複数の撮像装置が撮像を開始した際に生成する複数の同期信号を受信し、前記複数の同期信号のうち最後の同期信号を受信した場合、出力開始信号を生成するレジスタ部と、
前記出力開始信号に応じて前記複数の保持部に対して、予め設定された出力順序で前記出力指示を与える制御部と
をFPGA(Field Programmable Gate Array)上に備える画像取得手段と、
前記複数の保持部から前記出力指示に応じて出力された画像データに対して画像処理を施す画像処理部と
を具備することを特徴とする画像処理装置。
In an image processing device that processes a plurality of image data captured by a plurality of imaging devices,
A plurality of holding units each temporarily holding one of the plurality of image data and outputting the image data in response to an output instruction;
A plurality of synchronization signals generated when the plurality of imaging devices start imaging, and a register unit that generates an output start signal when receiving the last synchronization signal among the plurality of synchronization signals;
An image acquisition means comprising, on an FPGA (Field Programmable Gate Array), a control unit that gives the output instructions in a preset output order to the plurality of holding units in response to the output start signal;
An image processing apparatus comprising: an image processing unit that performs image processing on image data output from the plurality of holding units according to the output instruction.
複数の撮像装置で撮像された複数の画像データの処理を行う画像処理装置において、
それぞれが前記複数の画像データのいずれかを取得し、前記複数の画像データが予め設定された出力順序で出力されるように、取得した画像データを順次出力する複数の画像取得部と、
前記複数の画像取得部からの画像データに対して画像処理を施す画像処理部と
を具備し、
前記画像取得部は、
前記複数の画像データのいずれかを一時的に保持し、出力指示に応じて前記画像データを前記画像処理部へ出力する保持部と、
FPGA(Field Programmable Gate Array)上に構成され、前記複数の撮像装置が撮像を開始した際に生成する複数の同期信号を受信し、前記複数の同期信号のうち最後の同期信号を受信した場合、出力開始信号を生成するレジスタ部と、
FPGA上に構成され、前記出力開始信号に応じて、前記出力順序に従って前記画像データが出力されるように、前記保持部に対して前記出力指示を与える制御部と
を備えることを特徴とする画像処理装置。
In an image processing device that processes a plurality of image data captured by a plurality of imaging devices,
A plurality of image acquisition units that sequentially output the acquired image data so that each of the plurality of image data is acquired and the plurality of image data is output in a preset output order;
An image processing unit that performs image processing on image data from the plurality of image acquisition units,
The image acquisition unit
A holding unit that temporarily holds one of the plurality of image data and outputs the image data to the image processing unit in response to an output instruction;
When configured on an FPGA (Field Programmable Gate Array) and receiving a plurality of synchronization signals generated when the plurality of imaging devices start imaging, and receiving the last synchronization signal among the plurality of synchronization signals, A register unit for generating an output start signal;
An image is provided on the FPGA, and includes a control unit that gives the output instruction to the holding unit so that the image data is output according to the output order in accordance with the output start signal. Processing equipment.
前記制御部は、接続された撮像装置の特性に応じた容量の画像データが出力されるように、前記保持部に対して出力指示を与えることを特徴とする請求項1及び2のいずれかに記載の画像処理装置。 3. The control unit according to claim 1, wherein the control unit gives an output instruction to the holding unit so that image data having a capacity corresponding to a characteristic of the connected imaging device is output. The image processing apparatus described. 前記複数の同期信号のうち、最初の同期信号を受信するとカウントを開始するタイマをさらに具備し、
前記制御部は、前記出力開始信号が生成されなくても、前記タイマのカウント値が予め設定されたカウント値に達した場合、前記出力指示を与えることを特徴とする請求項1及び2のいずれかに記載の画像処理装置。
A timer that starts counting when receiving the first synchronization signal among the plurality of synchronization signals;
3. The control unit according to claim 1, wherein, even if the output start signal is not generated, the control unit gives the output instruction when the count value of the timer reaches a preset count value. 4. An image processing apparatus according to claim 1.
それぞれが固有のクロック周波数を有する複数の水晶発振器をさらに具備し、
前記画像取得手段は、前記複数の水晶発振器のうち選択された第1の水晶発振器のクロック周波数に基づいたビットレートで、前記画像データを前記画像処理部へ出力することを特徴とする請求項1記載の画像処理装置。
A plurality of crystal oscillators each having a unique clock frequency;
The image acquisition means outputs the image data to the image processing unit at a bit rate based on a clock frequency of a first crystal oscillator selected from the plurality of crystal oscillators. The image processing apparatus described.
前記画像処理部がFPGAにより成る場合、
前記画像取得手段の構成を再設定するための第1の変換フォーマットが予め記録された第1のコンフィグレーションROMと、
前記画像処理部の構成を再設定するための第2の変換フォーマットが予め設定された第2のコンフィグレーションROMと
をさらに具備し、
前記画像取得手段は、前記複数の撮像装置のうち少なくともいずれかの設定が変更になった場合、前記第1の変換フォーマットに基づいて構成の再設定を行い、
前記画像処理部は、前記画像取得手段の構成が再設定された場合、前記第2の変換フォーマットに基づいて構成の再設定を行うことを特徴とする請求項1のいずれかに記載の画像処理装置。
When the image processing unit is made of FPGA,
A first configuration ROM prerecorded with a first conversion format for resetting the configuration of the image acquisition means;
A second configuration ROM in which a second conversion format for resetting the configuration of the image processing unit is preset, and
The image acquisition means, when the setting of at least one of the plurality of imaging devices is changed, reset the configuration based on the first conversion format,
2. The image processing according to claim 1, wherein when the configuration of the image acquisition unit is reset, the image processing unit resets the configuration based on the second conversion format. 3. apparatus.
前記画像処理部がFPGAにより成る場合、
それぞれが固有のクロック周波数を有する複数の水晶発振器と、
前記画像取得手段の構成を再設定するための第1の変換フォーマットが予め記録された第1のコンフィグレーションROMと、
前記画像処理部の構成を再設定するための第2の変換フォーマットが予め設定された第2のコンフィグレーションROMと
をさらに具備し、
前記画像取得手段は、前記複数の水晶発振器のうちいずれかの水晶発振器が選択された場合、前記第1の変換フォーマットに基づいて構成の再設定を行い、
前記画像処理部は、前記画像取得手段の構成が再設定された場合、前記第2の変換フォーマットに基づいて構成の再設定を行うことを特徴とする請求項1に記載の画像処理装置。
When the image processing unit is made of FPGA,
A plurality of crystal oscillators each having a unique clock frequency;
A first configuration ROM prerecorded with a first conversion format for resetting the configuration of the image acquisition means;
A second configuration ROM in which a second conversion format for resetting the configuration of the image processing unit is preset, and
The image acquisition means, when any one of the plurality of crystal oscillators is selected, reset the configuration based on the first conversion format,
The image processing apparatus according to claim 1, wherein when the configuration of the image acquisition unit is reset, the image processing unit resets the configuration based on the second conversion format.
ダンピング抵抗をさらに具備し、
前記画像取得手段は、前記ダンピング抵抗により、ビットレート及びクロック周波数の変更に伴うパターン配線抵抗に対応することを特徴とする請求項5、6及び7のいずれかに記載の画像処理装置。
Further comprising a damping resistor,
The image processing apparatus according to claim 5, wherein the image acquisition unit corresponds to a pattern wiring resistance accompanying a change in a bit rate and a clock frequency by the damping resistance.
前記保持部は、FPGA上に構成されることを特徴とする請求項2記載の画像処理装置。 The image processing apparatus according to claim 2, wherein the holding unit is configured on an FPGA.
JP2009208264A 2009-09-09 2009-09-09 Image processing device Expired - Fee Related JP5214567B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009208264A JP5214567B2 (en) 2009-09-09 2009-09-09 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009208264A JP5214567B2 (en) 2009-09-09 2009-09-09 Image processing device

Publications (2)

Publication Number Publication Date
JP2011061438A true JP2011061438A (en) 2011-03-24
JP5214567B2 JP5214567B2 (en) 2013-06-19

Family

ID=43948584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009208264A Expired - Fee Related JP5214567B2 (en) 2009-09-09 2009-09-09 Image processing device

Country Status (1)

Country Link
JP (1) JP5214567B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573197A (en) * 2015-12-14 2016-05-11 武汉精测电子技术股份有限公司 DP signal generating device and method for customizing speed
US9742954B2 (en) 2015-12-24 2017-08-22 Fuji Xerox Co., Ltd. Data processing apparatus, data processing method, and non-transitory computer readable medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61114682A (en) * 1984-11-09 1986-06-02 Matsushita Electric Ind Co Ltd Image processing circuit
JPH06121316A (en) * 1992-10-06 1994-04-28 Pfu Ltd Video input switching system
JP2007528620A (en) * 2003-06-27 2007-10-11 サンラェ パク Portable surveillance camera and personal security system using the same
JP2008301146A (en) * 2007-05-31 2008-12-11 Fujitsu Ltd Frame synchronization method and apparatus in imaging apparatus
JP2009044475A (en) * 2007-08-09 2009-02-26 Victor Co Of Japan Ltd Monitor camera system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61114682A (en) * 1984-11-09 1986-06-02 Matsushita Electric Ind Co Ltd Image processing circuit
JPH06121316A (en) * 1992-10-06 1994-04-28 Pfu Ltd Video input switching system
JP2007528620A (en) * 2003-06-27 2007-10-11 サンラェ パク Portable surveillance camera and personal security system using the same
JP2008301146A (en) * 2007-05-31 2008-12-11 Fujitsu Ltd Frame synchronization method and apparatus in imaging apparatus
JP2009044475A (en) * 2007-08-09 2009-02-26 Victor Co Of Japan Ltd Monitor camera system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573197A (en) * 2015-12-14 2016-05-11 武汉精测电子技术股份有限公司 DP signal generating device and method for customizing speed
CN105573197B (en) * 2015-12-14 2018-01-05 武汉精测电子技术股份有限公司 The DP signal generation apparatus and method of a kind of self-defined speed
US9742954B2 (en) 2015-12-24 2017-08-22 Fuji Xerox Co., Ltd. Data processing apparatus, data processing method, and non-transitory computer readable medium

Also Published As

Publication number Publication date
JP5214567B2 (en) 2013-06-19

Similar Documents

Publication Publication Date Title
JP6079031B2 (en) Imaging device
JP5811106B2 (en) Video processing device, display device, and video processing method
JP2013214952A (en) Imaging device
US20140111530A1 (en) Apparatus and method for buffering signal delay between display device in multi-display environment
JP2014216833A (en) Photoelectric conversion device and imaging system
KR102038181B1 (en) Synchronization of imaging
JP5214567B2 (en) Image processing device
US20090278951A1 (en) Apparatus and methods for multi-sensor synchronization
JP2017103752A5 (en)
US20150334319A1 (en) Image processing apparatus, imaging apparatus, and method for processing image
US20170374275A1 (en) Image pickup apparatus of which display start timing and display quality are selectable, method of controlling the same
CN109218631A (en) Image sensing device and image sensing method
JP2012089920A (en) Image pick-up device
US20120120285A1 (en) Method and apparatus for reconfiguring time of flight shot mode
JP2014096655A (en) Information processor, imaging apparatus and information processing method
US9723212B2 (en) Image capture
JP2011061439A (en) Monitoring system, image processing apparatus, interface circuit and imaging apparatus
US8482438B2 (en) Data processing device and data processing method
JP2013055541A (en) Imaging device
US8786778B2 (en) Timing control apparatus and video processing system
TWI689204B (en) Image pickup apparatus and image pickup method for image upscaling
US10389962B2 (en) Image pickup apparatus and method utilizing the same line rate for upscaling and outputting image
JPH04192780A (en) Monitoring device
JP6817793B2 (en) Super-resolution device and program
JP2016038514A (en) Display control device, display device, control method of display control device and display device and program thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees