JP4913356B2 - Visual information processing apparatus and visual information processing method thereof - Google Patents
Visual information processing apparatus and visual information processing method thereof Download PDFInfo
- Publication number
- JP4913356B2 JP4913356B2 JP2005109201A JP2005109201A JP4913356B2 JP 4913356 B2 JP4913356 B2 JP 4913356B2 JP 2005109201 A JP2005109201 A JP 2005109201A JP 2005109201 A JP2005109201 A JP 2005109201A JP 4913356 B2 JP4913356 B2 JP 4913356B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- spatial
- imager
- modulation element
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Studio Devices (AREA)
- Liquid Crystal (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Description
本発明は視覚情報処理装置及びその視覚情報処理方法に係り、特に、光空間変調素子及び高速撮像素子を用いた視覚情報処理装置及びその視覚情報処理方法に関する。 The present invention relates to a visual information processing apparatus and a visual information processing method thereof, and more particularly to a visual information processing apparatus using a spatial light modulation element and a high-speed imaging element and a visual information processing method thereof.
今日、CMOS画像センサ等のイメージャ(固体撮像素子)を用いた撮像装置やカメラは、民生用、産業用を問わず多種多様な形態でその応用分野を広めつつある。 Today, imaging devices and cameras using imagers (solid-state imaging devices) such as CMOS image sensors are spreading their application fields in various forms regardless of consumer use or industrial use.
特に、産業用の撮像装置の分野においては、例えば毎秒1000フレームの超高速性と高解像度とを同時に達成できる撮像装置も実現されてきており、各種の画像解析や制御システムのセンサとして用いられている。 In particular, in the field of industrial imaging devices, for example, imaging devices capable of simultaneously achieving ultra-high speed of 1000 frames per second and high resolution have been realized and used as sensors for various image analysis and control systems. Yes.
他方、近時、光空間変調素子と呼ばれるデバイスが開発、実用化されプロジェクタ装置等に多く用いられるようになってきている(例えば、特許文献1)。光空間変調素子には、液晶ライトバルブ等の透過型のものと、DMD(Digital Micro-mirror Device)と呼ばれる反射型のものがある。 On the other hand, recently, a device called a light spatial modulation element has been developed and put into practical use and is widely used in a projector apparatus or the like (for example, Patent Document 1). There are two types of spatial light modulators: a transmissive type such as a liquid crystal light valve, and a reflective type called DMD (Digital Micro-mirror Device).
透過型の光空間変調素子を用いたプロジェクタ装置では、画像信号を液晶ライトバルブに印加し、光源からの光を液晶ライトバルブに透過させて前方のスクリーン等に画像を投影する。 In a projector apparatus using a transmissive light spatial modulation element, an image signal is applied to a liquid crystal light valve, and light from a light source is transmitted through the liquid crystal light valve to project an image on a front screen or the like.
これに対して、反射型の空間変調素子を用いたプロジェクタ装置は、光源からの光をDMDに反射させた後、前方のスクリーン等に画像を投影するものである。DMDには多数の微小なミラーが画素数に対応する数だけ配置されており、ミラーの角度を画素毎に変えることによりスクリーンに投影する光の量を画素毎にオン・オフさせ2次元画像を形成するものである。ミラーの角度の変化はオン・オフ信号によって2値的に変化するが、パルス幅変調によってオン・オフの周期を設定することにより人間の眼に対しては連続的な光の強度を表現することができる。また、画素毎、フレーム毎にパルス幅変調のデューティ比を変化させることにより、空間的にも時間的にも連続な動画像を形成することができる。
従来、液晶ライトバルブやDMD等の光空間変調素子は、専らプロジェクタ装置に用いられることが多かった。高輝度化、高速化のシステム技術の進展に伴って、プレゼンテーション用のプロジェクタに留まらず、大型テレビとして、或いは劇場映画用のプロジェクタとして多方面に活用されるようになってきているものの、基本的にはプロジェクタ装置の画像形成素子として用いられている。 Conventionally, light spatial modulation elements such as liquid crystal light valves and DMDs are often used exclusively for projector apparatuses. With the development of high-brightness and high-speed system technology, it is not only used as a projector for presentations, but is also widely used as a projector for large-sized TVs or theater movies. Is used as an image forming element of a projector apparatus.
本発明に係る視覚情報処理装置は、これらの光空間変調素子を従来の画像形成素子として用いるものではない。 The visual information processing apparatus according to the present invention does not use these light spatial modulation elements as conventional image forming elements.
画像形成(撮像)そのものは、CMOS画像センサ等のイメージャ(固体撮像素子)で行なう。同時に、液晶ライトバルブやDMD等の光空間変調素子を用いて、イメージャに入射する対象物からの光に対して空間的、時間的な変調を施すものである。 Image formation (imaging) itself is performed by an imager (solid-state imaging device) such as a CMOS image sensor. At the same time, spatial and temporal modulation is performed on the light from the object incident on the imager using a spatial light modulator such as a liquid crystal light valve or DMD.
本発明に係る視覚情報処理装置は、光空間変調素子とイメージャとを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現することを目的とする。 An object of the visual information processing apparatus according to the present invention is to realize new visual information processing that has not been obtained conventionally by combining a spatial light modulator and an imager.
具体的には、本発明のひとつの目的は、光空間変調素子とイメージャとを組み合わせることによって、特定の固定或いは移動対象物については高解像度を実現することができる視覚情報処理装置及びその視覚情報処理方法を提供することにある。 Specifically, an object of the present invention is to provide a visual information processing apparatus capable of realizing high resolution for a specific fixed or moving object by combining a spatial light modulator and an imager, and the visual information thereof It is to provide a processing method.
また、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、所定の輝度変動を画素毎に抽出し、輝度変動スペクトラム画像を生成することができる視覚情報処理装置及びその視覚情報処理方法を提供することにある。 Another object of the present invention is to provide a visual information processing apparatus capable of extracting a predetermined luminance variation for each pixel and generating a luminance variation spectrum image by combining an optical spatial modulation element and an imager, and the visual information thereof. It is to provide an information processing method.
さらに、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、画像全体、又は特定の固定若しくは移動対象物に対してエッジ強調等の空間フィルタ処理を施すことができる視覚情報処理装置及びその視覚情報処理方法を提供することにある。 Furthermore, another object of the present invention is to provide visual information that can perform spatial filter processing such as edge enhancement on an entire image or a specific fixed or moving object by combining a spatial light modulator and an imager. It is to provide a processing device and a visual information processing method thereof.
また、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、明暗の差が非常に大きな対象物に対しても適正な明度のダイナミックレンジを確保することができる視覚情報処理装置及びその視覚情報処理方法を提供することにある。 Another object of the present invention is to provide a visual information processing that can secure an appropriate brightness dynamic range even for an object having a very large difference in brightness by combining a spatial light modulator and an imager. An apparatus and a visual information processing method thereof are provided.
本発明に係る視覚情報処理装置は、全画素領域が複数にグループ化され、前記各グループ内の複数の画素信号のうち1画素のみを順次切り換えてオンとして撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度で撮像するイメージャと、前記1画素の切り換え毎に前記光空間変調素子の各グループから前記イメージャに順次入力される、前記グループの数に対応した数の画素信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高める高解像度処理部と、を備えたことを特徴とする。 In the visual information processing device according to the present invention, all the pixel regions are grouped into a plurality, and only one pixel among the plurality of pixel signals in each group is sequentially switched on to reflect incident light from the imaging target or Light spatial modulation element that transmits and outputs, Imager that picks up incident light from the imaging object output from the light spatial modulation element with a resolution of the same number of pixels as the number of groups, and switching of the one pixel The pixel signals corresponding to the number of groups, which are sequentially input from each group of the spatial light modulators to the imager, are combined to increase the resolution of the imager to the same resolution as the spatial light modulators. And a resolution processing unit.
本発明に係る視覚情報処理装置及びその視覚情報処理方法によれば、光空間変調素子とイメージャとを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現することができる。 According to the visual information processing apparatus and the visual information processing method thereof according to the present invention, new visual information processing that has not been obtained in the past can be realized by combining a spatial light modulator and an imager.
本発明に係る視覚情報処理装置及びその視覚情報処理方法の実施形態について、添付図面を参照して説明する。 An embodiment of a visual information processing apparatus and visual information processing method according to the present invention will be described with reference to the accompanying drawings.
図1は、本発明の実施形態に係る視覚情報処理装置において共通して用いられる光空間変調素子とイメージャの関係を示した図である。本発明の実施形態において、光空間変調素子10は、図1に示したように、撮像対象物100からの入射光を空間的に変調する形態として用いる。この場合、光空間変調素子10としては反射型と透過型の2つの形態をとり得る。図1(a)は、反射型の光空間変調素子10a、例えば、DMDを用いた形態である。また、図1(b)は、透過型の光空間変調素子10b、例えば、透過型液晶ライトバルブを用いた形態である。いずれの形態も、撮像対象物100からの入射光を光空間変調素子10a、10bで画素毎に変調(空間変調)した後、イメージャ20に出力する形態である。
FIG. 1 is a diagram showing the relationship between an optical spatial modulation element and an imager that are commonly used in a visual information processing apparatus according to an embodiment of the present invention. In the embodiment of the present invention, the
以下の説明では、図面上は透過型の光空間変調素子を用いているが、説明の重複を避けるためであり、反射型の光空間変調素子を除外するものではない。 In the following description, a transmissive spatial light modulator is used in the drawings, but this is for avoiding duplication of description, and does not exclude a reflective spatial light modulator.
(1)第1の実施形態
図2は、第1の実施形態に係る視覚情報処理装置1の構成例を示した図である。
(1) 1st Embodiment FIG. 2: is the figure which showed the structural example of the visual information processing apparatus 1 which concerns on 1st Embodiment.
第1の実施形態に係る視覚情報処理装置1は、イメージャ20と光空間変調素子10とを組み合わせることにより、イメージャ20の解像度の向上させる処理を行なうように構成されたものである。
The visual information processing apparatus 1 according to the first embodiment is configured to perform processing for improving the resolution of the
視覚情報処理装置1は、光空間変調素子10と、画像特徴抽出部2bと、高解像度処理部30(画像データ処理部)とを備えて構成されている。
The visual information processing apparatus 1 includes a light
本実施形態に係る光空間変調素子10は、高解像度処理部30からの制御信号に基づいて、入射光を反射或いは透過させる画素を所定のグループ内で順次切り替えてイメージャ20へ出力するものである。
The
図3は、視覚情報処理装置1による高解像度処理の動作概念を示した図である。 FIG. 3 is a diagram illustrating an operation concept of high-resolution processing by the visual information processing apparatus 1.
第1の実施形態に係る視覚情報処理装置1では、光空間変調素子10の解像度の方がイメージャ20の解像度よりも高く構成されている。図3の例では、光空間変調素子10は16×16(256)画素、イメージャ20は4×4(16)画素であり、光空間変調素子10はイメージャ20に対して16倍の解像度を有している。
In the visual information processing apparatus 1 according to the first embodiment, the resolution of the
光源等の無い暗い場所にある対象物を撮像する場合等では、より感度の高いイメージャ20が求められる。一般にイメージャ20の感度を向上させるには、画素面積の増大が最も有効であり、高感度イメージャは通常のイメージャに比べて画素面積を大きくとったものが多い。このため、一般に高感度イメージャは所定エリア内の画素数が制約され、解像度は通常のイメージャに比べて低いものが多い。
For example, when imaging an object in a dark place without a light source or the like, a more
第1の実施形態に係る視覚情報処理装置1では、このような高感度かつ低解像度のイメージャであっても、光空間変調素子10と組み合わせることにより、高解像度を実現するものである。
In the visual information processing apparatus 1 according to the first embodiment, even such a high-sensitivity and low-resolution imager is realized by combining with the light
図3に例示したイメージャ20の解像度は、光空間変調素子10の解像度に比べて1/16となっている。即ち、光空間変調素子10の16画素がイメージャ20の1画素に対応する例である。
The resolution of the
まず、光空間変調素子10の画素を16(4×4)素子毎にグループ化する。そして、グループ内の1画素のみを順次オンしていく。図10の例では、(4×4)素子のグループ内の左上の画素から順次切り替えて(スキャンして)オンとしていく。他のグループについても同様の切り替えシーケンスで画素をオンにしていく。
First, the pixels of the spatial
このような画素に切り替え方法によって、1画素の切り替え毎に各グループからグループの数に対応した数の画素が出力されることになる。図3の例では、光空間変調素子10の16グループから各1画素がオンとなり、合計16画素がイメージャ20に出力される。イメージャ20ではこの16画素によってまず低解像度の画像データが1枚生成される。光空間変調素子10では、グループ内の画素が順次切り替えられてオンとされていき、イメージャ20では低解像度の画像データを順次生成する。グループ内の全画素の切り替えが終了した時点で、イメージャ20では16枚の低解像度画像を生成されることになる。
With such a pixel switching method, the number of pixels corresponding to the number of groups is output from each group every time one pixel is switched. In the example of FIG. 3, one pixel from each of the 16 groups of the
次にこれらの16枚の低解像度画像データを合成することにより、1枚の高解像度画像データを生成する。16枚の各低解像度画像データとグループ内の画素位置とは1対1に対応しているため、16枚の低解像度画像データの合成により、1枚の高解像度画像データの生成が可能である。本例では、イメージャ20の解像度の16倍の高解像度化が可能となる。
Next, by combining these 16 pieces of low resolution image data, one piece of high resolution image data is generated. Since each of the 16 pieces of low-resolution image data and the pixel positions in the group have a one-to-one correspondence, it is possible to generate one piece of high-resolution image data by combining the 16 pieces of low-resolution image data. . In this example, the resolution can be increased to 16 times the resolution of the
図3の例では、グループ内の16画素を1画素ずつオンする形態を示している。これに対して、例えば、16画素のうち、4(2×2)画素ずつオンとする形態でも良い。この場合、イメージャ20では4枚の低解像度画像データが生成されることになり、これらの4枚を合成することにより、4倍の解像度の画像データを生成することができる。前の例に比べると合成後の画像データの解像度は1/4となっているものの、合成する画像データの枚数も1/4となっており、処理時間は短縮される。
In the example of FIG. 3, a mode is shown in which 16 pixels in the group are turned on one by one. On the other hand, for example, 4 (2 × 2) pixels of 16 pixels may be turned on. In this case, the
このように、本実施形態に係る視覚情報処理装置1では、イメージャ20の解像度の向上が可能であり、また向上させる解像度も上記のように容易に変更することができる。
Thus, in the visual information processing apparatus 1 according to this embodiment, the resolution of the
(2)第2の実施形態
図4は、第2の実施形態に係る視覚情報処理装置1aの構成例を示す図である。
(2) Second Embodiment FIG. 4 is a diagram illustrating a configuration example of a visual information processing device 1a according to a second embodiment.
第2の実施形態に係る視覚情報処理装置1aは、イメージャ20と光空間変調素子10とを組み合わせることにより、撮像対象物の輝度変動等の周波数成分を画素毎に抽出し画像化したスペクトラム画像を生成することができるように構成されたものである。
The visual information processing device 1a according to the second embodiment combines the
視覚情報処理装置1aは、光空間変調素子10と、イメージャ20と、スペクトラム画像生成部40(画像データ処理部)とを備えて構成されている。
The visual information processing device 1a includes a light
本実施形態に係る光空間変調素子10は、スペクトラム画像生成部40からの制御信号に基づいて画素毎に所定の周期信号によってオン・オフし、撮像対象物100からの入射光を反射或いは透過させてイメージャ20へ出力するものである。
The spatial
図5は、視覚情報処理装置1aによるスペクトラム画像生成処理の動作概念を示した図である。 FIG. 5 is a diagram showing an operation concept of spectrum image generation processing by the visual information processing apparatus 1a.
第2の実施形態では、光空間変調素子10とイメージャ20とは基本的には同じ画素数で構成される。
In the second embodiment, the spatial
光空間変調素子10は複数の画素を有する複数のグループに分割される。図5の例では、4(2×2)画素毎にグループ化される。
The spatial
グループ内の4画素に対して、それぞれ異なる周波数のオン・オフ制御信号を印加する。例えば、画素1ないし画素4に対してそれぞれ周波数1ないし周波数4でオン・オフが切り替わる制御信号を印加する。 An on / off control signal having a different frequency is applied to each of the four pixels in the group. For example, a control signal for switching on / off at frequencies 1 to 4 is applied to the pixels 1 to 4, respectively.
撮像対象物の輝度が所定の周波数で変動している場合、この変動周波数と光空間変調素子10に印加するオン・オフ制御信号の周波数が一致した場合、イメージャ20では該当する画素の輝度が保持される。他方、撮像対象物の輝度変動の周波数と光空間変調素子10に印加するオン・オフ制御信号の周波数が不一致の場合、イメージャ20では該当する画素の輝度は抑制される。即ち、光空間変調素子10を相関器として機能させ、イメージャ20が備える容量成分により積分器が構成されるため、画素毎に撮像対象物の変動周波数を抽出することが可能となる。
When the luminance of the imaging object fluctuates at a predetermined frequency, if this fluctuation frequency matches the frequency of the on / off control signal applied to the spatial
例えば、複雑な背景の中に50Hzの商用電源で蛍光灯が点灯されている場合、本実施形態に係る視覚情報処理装置1aでは、オン・オフ制御周波数の1つを50Hzと一致させることにより、蛍光灯の部分のみが強調されたスペクトラム画像を生成することができる。 For example, when a fluorescent lamp is lit with a commercial power supply of 50 Hz in a complicated background, in the visual information processing apparatus 1a according to the present embodiment, by matching one of the on / off control frequencies with 50 Hz, A spectrum image in which only the fluorescent lamp portion is emphasized can be generated.
各グループ内のオン・オフ制御周波数は任意に設定することが可能であり、撮像対象物の物理的条件や測定対象周波数に応じて適宜設定することができる。 The on / off control frequency within each group can be arbitrarily set, and can be set as appropriate according to the physical condition of the imaging object and the frequency to be measured.
例えば、構造物のクラック等を検出する場合、このクラック等が特定の共振周波数で変動することが予めわかっているときには、オン・オフ制御周波数の1つをこの共振周波数に一致させることによりクラック等の位置に対応したスペクトラム画像を生成することが可能となる。この結果、視認が困難な微細なクラック等に対してもその共振周波数を抽出し画像化することによってクラック等の可視化が可能となる。 For example, when detecting a crack or the like of a structure, if it is known in advance that the crack or the like fluctuates at a specific resonance frequency, the crack or the like can be obtained by matching one of the on / off control frequencies with the resonance frequency. It is possible to generate a spectrum image corresponding to the position. As a result, even a minute crack or the like that is difficult to visually recognize can be visualized by extracting the resonance frequency and imaging it.
また、逆に、観測対象物の共振周波数が未知の場合であっても、画像中の特定の部位の周波数とその周囲の範囲の周波数が異なる場合には、その特定の部位を抽出した画像(スペクトラム画像)を生成することもできる。 Conversely, even when the resonance frequency of the observation object is unknown, if the frequency of a specific part in the image is different from the frequency in the surrounding range, an image (extracted from the specific part) (Spectrum image) can also be generated.
例えば、プリント配線基板を既知の周波数で振動させ、この振動周波数と異なった周波数成分を有する部分を画像として抽出することにより、実装部品の半田付け不良部位を画像情報として検出することが可能となる。 For example, a printed wiring board is vibrated at a known frequency, and a part having a frequency component different from the vibration frequency is extracted as an image, so that it is possible to detect a soldering failure portion of a mounted component as image information. .
(3)第3の実施形態
図6は、第3の実施形態に係る視覚情報処理装置1bの構成例を示した図である。第3の実施形態に係る視覚情報処理装置1bは、イメージャ20と光空間変調素子10とを組み合わせることにより、エッジ強調等の空間フィルタリング処理を簡素な演算処理によって実現可能に構成されたものである。
(3) Third Embodiment FIG. 6 is a diagram illustrating a configuration example of a visual information processing device 1b according to a third embodiment. The visual information processing device 1b according to the third embodiment is configured such that spatial filtering processing such as edge enhancement can be realized by simple arithmetic processing by combining the
視覚情報処理装置1bは、光空間変調素子10と、イメージャ20と、空間フィルタリング処理部50(画像データ処理部)とを備えて構成されている。
The visual information processing apparatus 1b includes a light
本実施形態に係る光空間変調素子10は、空間フィルタリング処理部50からの制御信号に基づいて画素毎にオン・オフし、撮像対象物100からの入射光を反射或いは透過させてイメージャ20へ出力するものである。
The spatial
図7は、視覚情報処理装置1bによる空間フィルタリング処理の動作概念を示した図である。 FIG. 7 is a diagram showing an operation concept of the spatial filtering process by the visual information processing apparatus 1b.
第3の実施形態では、光空間変調素子10の画素数はイメージャ20の画素数よりも多い画素数で構成される。図7の例では、光空間変調素子10の画素数はイメージャ20の画素数の4倍として構成されている。
In the third embodiment, the number of pixels of the spatial
光空間変調素子10は複数の画素を有する複数のグループに分割される。図7の例では、4(2×2)画素毎にグループ化される。
The spatial
グループ内の4画素に対しては、所定の空間パターンに基づいて対応する画素にオン・オフ制御信号を印加する。例えば、図7に例示したように、空間パターン1では、グループ内の4画素総てをオンとする。空間パターン2では、右半分の2画素をオンとし左半分の2画素はオフとする。逆に、空間パターン3では、左半分の2画素をオンとし右半分の2画素はオフとする。
For the four pixels in the group, an on / off control signal is applied to the corresponding pixel based on a predetermined spatial pattern. For example, as illustrated in FIG. 7, in the spatial pattern 1, all four pixels in the group are turned on. In the
本実施形態に係る視覚情報処理装置1bでは、光空間変調素子10を空間パターン1、2および3に設定したときに得られるイメージャ20の画像データから、減算処理のみよってX方向、Y方向のエッジ強調処理をする空間フィルタリング処理を実現することができる。
In the visual information processing device 1b according to the present embodiment, edges in the X direction and the Y direction are obtained only by subtraction from the image data of the
具体的には、図7の式(1)に示したように、空間パターン2のときに得られるイメージャ20の画像、I(x,y,t+Δt)から、空間パターン1のときに得られるイメージャ20の画像のI(x,y,t)の1/2を減算することによってX方向のエッジが強調された画像データを生成することができる。空間パターン1から得られる画像データと空間パターン2から得られる画像データとは厳密には時刻が異なっているものの、光空間変調素子10の画素を高速に切り替えることにより、図7の式(1)右辺の演算式を左辺で近似することができる。
Specifically, as shown in the equation (1) of FIG. 7, the image of the
同様にして、図7の式(2)に示したように、空間パターン3のときに得られるイメージャ20の画像、I(x,y,t+2Δt)から、空間パターン1のときに得られるイメージャ20の画像のI(x,y,t)の1/2を減算することによってY方向のエッジが強調された画像データを生成することができる。
Similarly, as shown in the equation (2) of FIG. 7, the image of the
第3の実施形態に係る視覚情報処理装置1bによれば、複数の空間パターンを光空間変調素子10を用いて形成し、各空間パターンに応じて得られるイメージャ20の画像データに対して、減算等の簡素な演算によって空間フィルタリング処理を行なうことができる。
According to the visual information processing device 1b according to the third embodiment, a plurality of spatial patterns are formed using the light
この他、より広い領域に対してテンプレート画像などマッチングする画像を光空間変調素子10で空間パターンとして生成することにより、空間的なマッチング処理等も可能となる。また、あらかじめ用意した画像だけではなく、前フレームの画像情報に基づいた変調パターンを用意することで、ブロックマッチング等の処理も可能となる。
In addition, a spatial matching process or the like can be performed by generating an image that matches a wider area, such as a template image, as a spatial pattern by the light
(4)第4の実施形態
図8は、第4の実施形態に係る視覚情報処理装置1cの構成例を示した図である。第4の実施形態に係る視覚情報処理装置1cは、反射対象物100からの入射光の露光時間を画素毎に制御可能に構成されたものである。
(4) Fourth Embodiment FIG. 8 is a diagram illustrating a configuration example of a visual information processing device 1c according to a fourth embodiment. The visual information processing apparatus 1c according to the fourth embodiment is configured to be able to control the exposure time of incident light from the reflecting
視覚情報処理装置1cは、光空間変調素子10と、イメージャ20と、制御部60(画像データ処理部)とを備えて構成されている。
The visual information processing apparatus 1c includes a light
光空間変調素子10は制御部60からの制御信号に基づいて、画素毎に露光時間を制御し、反射光或いは透過光をイメージャ20に出力するものである。反射型の光空間変調素子10a、例えば、DMDの場合にはオン時間、即ちマイクロミラーの反射面がイメージャ20を向いている時間を画素毎に制御することにより露光時間を画素毎に制御することができる。また、透過型の光空間変調素子10bの場合には画素に印加する電圧を制御することにより透過量を画素毎に制御することにより露光時間を等価的に画素毎に制御することができる。
The spatial
図9は、視覚情報処理装置1cによる露光時間制御の動作概念を示した図である。イメージャ20単体では、素子精度等の問題から明るさに対するダイナミックレンジに限界があり、輝度が極めて高い対象物と輝度が非常に低い対象物とを同時に鮮明な画像で撮像することは一般に困難である。イメージャ20の画素毎に感度制御回路等を設けてダイナミックレンジを拡大する形態も原理的には可能であるが、感度制御回路等の実装上の制約から画素数の低減や画素面積の低減となり、分解能や感度といった本来のイメージャの性能を犠牲にすることとなる。
FIG. 9 is a diagram showing an operation concept of exposure time control by the visual information processing apparatus 1c. The
これに対して、本実施形態に係る視覚情報処理装置1cにおいては、光空間変調素子10によって露光時間を制御し、露光時間が制御された反射光或いは透過光を従来のイメージャ20へ出力する形態である。イメージャ20で撮像された画像データの輝度情報を画素毎に制御部60で抽出し、光空間変調素子10にフィードバックする。イメージャ20で撮像された画像データの特定領域の輝度が高すぎる場合にはその領域の画素の露光時間を減少させ、逆に他の特定領域の輝度が低すぎる場合にはその領域の画像の露光時間を増加させる。このようにイメージャ20で観測された画像の輝度を画素単位で制御することにより、実質的に極めて広いダイナミックレンジを実現することが可能となる。
On the other hand, in the visual information processing apparatus 1c according to the present embodiment, the exposure time is controlled by the light
また、本実施形態では、イメージャ20自体は従来の形態のものがそのまま使用できるため、イメージャ20が本来備える解像度や感度を犠牲にすることもない。
In this embodiment, since the
第4の実施形態に係る視覚情報処理装置1cの変形例として、空間感度の自動補正機能を備えた視覚情報処理装置1cとすることができる。 As a modified example of the visual information processing apparatus 1c according to the fourth embodiment, a visual information processing apparatus 1c having an automatic spatial sensitivity correction function can be provided.
一般に、イメージャ20は画素領域の全範囲において完全に均一な感度を有するとは限らず、空間的に感度に差がある。また、カラー撮像の場合に用いられるRGBやCMY等のカラーフィルタアレイも同様に空間的な感度(透過率)の不均一性を有している。
In general, the
本実施形態に係る視覚情報処理装置1cでは、光空間変調素子10によって画素毎の露光時間を制御することが可能であるため、イメージャ20やカラーフィルタアレイの空間的な不均一性を容易に補正することができる。
In the visual information processing apparatus 1c according to the present embodiment, since the exposure time for each pixel can be controlled by the light
また、第4の実施形態に係る視覚情報処理装置1cの他の変形例として、室内での撮像等の場合に生じる、照明光の位置の偏りによる輝度の不均一性を補正する形態とすることもできる。照明光に近い領域から遠い領域に向かって輝度が徐々に下がるような場合、特に2値化画像を生成する際には輝度が均一になるように補正する必要がある。本実施形態に係る視覚情報処理装置1cでは、イメージャ20の輝度情報をモニタし、光空間変調素子10の露光時間を制御することにより、照明光の位置に寄らず画素全体で均一な輝度の画像データを生成することができる。
Further, as another modified example of the visual information processing apparatus 1c according to the fourth embodiment, it is assumed that the luminance non-uniformity due to the deviation of the position of the illumination light that occurs in the case of indoor imaging or the like is corrected. You can also. When the luminance gradually decreases from a region close to the illumination light toward a region far from the illumination light, it is necessary to correct the luminance to be uniform especially when generating a binary image. In the visual information processing apparatus 1c according to the present embodiment, the luminance information of the
上述した各実施形態に係る視覚情報処理装置および視覚情報処理によれば、光空間変調素子とイメージャ(固体撮像素子)とを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現することができる。 According to the visual information processing apparatus and the visual information processing according to each of the above-described embodiments, a new visual information processing that has not been obtained in the past can be performed by combining an optical spatial modulation element and an imager (solid-state imaging element). Can be realized.
なお、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。 Note that the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, the constituent elements over different embodiments may be appropriately combined.
1、1a、1b、1c 視覚情報処理装置
10 光空間変調素子
10a 光空間変調素子(反射型)
10b 光空間変調素子(透過型)
20 イメージャ
30 高解像度処理部
40 スペクトラム画像生成部
50 空間フィルタリング処理部
60 制御部
1, 1a, 1b, 1c Visual
10b Light spatial modulation element (transmission type)
20
Claims (8)
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度で撮像するイメージャと、
前記1画素の切り換え毎に前記光空間変調素子の各グループから前記イメージャに順次入力される、前記グループの数に対応した数の画素信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高める高解像度処理部と、
を備えたことを特徴とする視覚情報処理装置。 An optical spatial modulation element in which all pixel regions are grouped into a plurality, and only one pixel among a plurality of pixel signals in each group is sequentially switched on to reflect or transmit incident light from an imaging object; ,
An imager for imaging incident light from the imaging object output from the spatial light modulator with a resolution of the same number of pixels as the number of groups;
The number of pixel signals corresponding to the number of groups, which are sequentially input from each group of the spatial light modulators to the imager every time the one pixel is switched, is combined, and the resolution of the imager is set to the spatial light modulator. A high-resolution processor that increases the same resolution,
A visual information processing apparatus comprising:
前記光空間変調素子が前記各グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフするときは、前記イメージャは、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度で撮像し画像データを生成し、
前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成するスペクトラム画像生成部、
をさらに備えたことを特徴とする請求項1に記載の視覚情報処理装置。 The light spatial modulation element further turns on and off the plurality of pixel signals in each group at different frequencies to reflect or transmit incident light from the imaging object, and outputs the reflected light.
When the light spatial modulation element turns on and off a plurality of pixel signals in each group at different frequencies, the imager outputs incident light from the imaging object output from the light spatial modulation element, Capture image with the same resolution as that of the spatial light modulation element to generate image data,
A spectrum image generation unit that generates a spectrum image corresponding to the different frequency by frequency-resolving the luminance variation of the imaging object corresponding to the different frequency,
The visual information processing apparatus according to claim 1, further comprising:
前記光空間変調素子が前記各グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて出力するときは、前記イメージャは、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数で撮像し画像データを生成し、
前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理単位とする空間フィルタリングを行なう空間フィルタ部、
をさらに備えたことを特徴とする請求項1に記載の視覚情報処理装置。 The light spatial modulation element further sequentially switches a plurality of pixel signals in each group based on a predetermined plurality of spatial patterns and reflects or transmits incident light from the imaging target,
When the light spatial modulation element sequentially switches and outputs a plurality of pixel signals in each group based on a predetermined plurality of spatial patterns, the imager outputs the imaging object output from the light spatial modulation element The incident light from is imaged with the same number of pixels as the number of groups to generate image data,
A spatial filter unit that calculates a plurality of signals sequentially output from an imager based on the plurality of spatial patterns, and performs spatial filtering using a plurality of pixels in the group as processing units;
The visual information processing apparatus according to claim 1, further comprising:
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度のイメージャで撮像するステップと、
前記1画素の切り換え毎に前記光空間変調素子の各グループから前記イメージャに順次入力される、前記グループの数に対応した数の画素信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高めるステップと、
を備えたことを特徴とする視覚情報処理方法。 A spatial light modulation element in which all pixel areas are grouped into a plurality of groups, and sequentially switching only one pixel among a plurality of pixel signals in each group to turn on and reflect or transmit incident light from the imaging object. And steps to
Imaging incident light from the imaging object output from the spatial light modulator with an imager having a resolution equal to the number of pixels as the number of groups;
The number of pixel signals corresponding to the number of groups, which are sequentially input from each group of the spatial light modulators to the imager every time the one pixel is switched, is combined, and the resolution of the imager is set to the spatial light modulator. Step to the same resolution,
A visual information processing method characterized by comprising:
前記光空間変調素子が前記各グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフするときは、前記イメージャは、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度のイメージャで撮像し画像データを生成し、
前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成する、
ステップをさらに備えたことを特徴とする請求項5に記載の視覚情報処理方法。 The light spatial modulation element further turns on and off the plurality of pixel signals in each group at different frequencies to reflect or transmit incident light from the imaging object, and outputs the reflected light.
When the light spatial modulation element turns on and off a plurality of pixel signals in each group at different frequencies, the imager outputs incident light from the imaging object output from the light spatial modulation element, Imaging with an imager having the same resolution as that of the light spatial modulation element to generate image data,
The frequency variation of the luminance variation of the imaging object corresponding to the different frequency is generated, and a spectrum image corresponding to the different frequency is generated.
The visual information processing method according to claim 5, further comprising a step.
前記光空間変調素子が前記各グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて出力するときは、前記イメージャは、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数のイメージャで撮像し画像データを生成し、
前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理単位とする空間フィルタリングを行う、
ステップをさらに備えたことを特徴とする請求項5に記載の視覚情報処理方法。 The light spatial modulation element further sequentially switches a plurality of pixel signals in each group based on a predetermined plurality of spatial patterns and reflects or transmits incident light from the imaging target,
When the light spatial modulation element sequentially switches and outputs a plurality of pixel signals in each group based on a predetermined plurality of spatial patterns, the imager outputs the imaging object output from the light spatial modulation element The incident light from is captured by an imager having the same number of pixels as the number of groups to generate image data,
Calculating a plurality of signals sequentially output from the imager based on the plurality of spatial patterns, and performing spatial filtering using a plurality of pixels in the group as processing units;
The visual information processing method according to claim 5, further comprising a step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005109201A JP4913356B2 (en) | 2005-04-05 | 2005-04-05 | Visual information processing apparatus and visual information processing method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005109201A JP4913356B2 (en) | 2005-04-05 | 2005-04-05 | Visual information processing apparatus and visual information processing method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006295253A JP2006295253A (en) | 2006-10-26 |
JP4913356B2 true JP4913356B2 (en) | 2012-04-11 |
Family
ID=37415386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005109201A Expired - Lifetime JP4913356B2 (en) | 2005-04-05 | 2005-04-05 | Visual information processing apparatus and visual information processing method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4913356B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5116700B2 (en) * | 2009-01-13 | 2013-01-09 | 日本放送協会 | Imaging device |
CN113406663B (en) * | 2021-06-17 | 2024-03-12 | 王高 | Visual imaging system and method based on P300 and associated imaging |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3285169B2 (en) * | 1993-07-22 | 2002-05-27 | ソニー株式会社 | Optical device |
JPH08205024A (en) * | 1995-01-24 | 1996-08-09 | Matsushita Electric Ind Co Ltd | Image pickup method using spatial modulation element |
JP2003262920A (en) * | 2002-03-07 | 2003-09-19 | Seiko Epson Corp | Rear projection display |
JP3973525B2 (en) * | 2002-09-24 | 2007-09-12 | シャープ株式会社 | Electronic device having 2D (2D) and 3D (3D) display functions |
JP2005005975A (en) * | 2003-06-11 | 2005-01-06 | Shimadzu Corp | Photographing device |
-
2005
- 2005-04-05 JP JP2005109201A patent/JP4913356B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2006295253A (en) | 2006-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6238572B2 (en) | Zone illumination system and zone illumination method for high dynamic range projection | |
US9767738B2 (en) | Projection system with additional series connected light valve for enhanced contrast | |
JP2001265275A (en) | Picture display device | |
JP4709571B2 (en) | Visual information processing system and visual information processing method thereof | |
KR101767853B1 (en) | Information processing device, image projecting system, and computer program | |
JP2015037250A (en) | Image projection device and presentation system | |
JP2023002656A (en) | Image processing device, projection system, image processing method, and image processing program | |
JP6913173B2 (en) | Projection device and projection method | |
CN116668655A (en) | Projection picture brightness adjusting method, device, medium and projection equipment | |
WO2020250739A1 (en) | Projection control device, projection apparatus, projection control method, and projection control program | |
JP2012018214A (en) | Projection type video display device | |
CN112335234A (en) | Closed loop drive for highlighting projector | |
JP4913356B2 (en) | Visual information processing apparatus and visual information processing method thereof | |
WO2019044537A1 (en) | Image projection control device, image projection control method, program, and image projection device | |
JP6182739B2 (en) | Projection apparatus and projection method | |
JP7125561B2 (en) | Control device, projection system, control method, control program | |
JP2005148131A (en) | Projector | |
JP5845565B2 (en) | Projector and projector control method | |
JP2007065542A (en) | Image projection device | |
CN114257796B (en) | Projection device | |
JP2006025244A (en) | Test pattern image for projector adjustment, method for projector adjustment, and projector | |
JP2007256830A (en) | Projection display apparatus | |
JP7267713B2 (en) | PROJECTION DEVICE, CONTROL METHOD THEREOF, AND PROGRAM | |
WO2021019898A1 (en) | Control device, projection device, control method, and control program | |
JP2010156744A (en) | Display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080404 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4913356 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150127 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |