JPH07120406B2 - カラ−撮像式のセンサ - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、例えば、果菜類用の作業ハンドを作業対象果
菜類に向けて誘導するために、撮像した画像情報から果
菜類に対応する色範囲に対応する領域の画素を抽出した
り、果実等の熟度をその色に基づいて判別したりするた
めに利用されるカラー撮像式のセンサに関する。

〔従来の技術〕

ところで、色の特定は、三原色の比として定量的に定義
することができるが、撮像手段から出力される三原色情
報は、撮像時の明るさ等の撮像条件の変動の影響を受け
た状態となる。

従って、撮像条件に拘らず色を正確に判別するために
は、三原色情報の夫々の明るさ情報つまり輝度情報で除
算して正規化する必要があり、又、例えば、果実とその
周囲の枝や葉との夫々を識別するために、抽出する画素
の色範囲を複数色設定する必要が生じる場合もある。

そして、従来では、上記三原色情報の正規化を行うため
の除算処理や、設定した色範囲の画素を抽出する処理
を、マイクロコンピュータを利用して、そのプログラム
にて実行させるようにすると、演算量やデータ量が多く
なると、その処理に時間が掛かるようになり、いわゆる
実時間処理とみなせるような高速処理を行わせることは
困難であり、例えば、作業ハンドを誘導するための誘導
用のセンサ等として用いる場合には不利である点を回避
すべく、上記正規化のための除算処理を実時間で行う手
段として、三原色情報を順次切り換えて選択した１つの
色情報と、三原色情報を加算して得た輝度情報とを、色
情報の被除数と輝度情報の除数の間の除算結果を記憶す
る記憶手段（演算テーブル）に入力して正規値を求めた
り（例えば、特開昭61−272875号公報参照）、又、ポテ
ンショメータ等にて設定した色範囲の画素抽出用の設定
電圧を変更して、上記色範囲を変更設定するようにして
いた（例えば、特開昭62−102155号公報参照）。

〔発明が解決しようとする問題点〕

しかしながら、上記従来技術では、各色範囲設定電圧を
調整して各色範囲を設定する毎に撮像処理を繰り返して
画像情報を得る必要があるために、例えば撮像対象をス
トロボ発光装置等によって照光しながら撮像するような
場合には、照光装置等の作動時間のために全体の処理時
間が長くなる欠点があり、又、照光条件等が変動して各
色範囲での画像が異なり、適正な画素抽出ができないお
それがあった。

本発明は、上記実情に鑑みてなされたものであって、そ
の目的は、各色範囲についての画素抽出の処理時間が長
くなることを回避しつつ、各色範囲について適正な画素
抽出を行うようにすることにある。

〔問題点が解決するための手段〕

本発明によるカラー撮像式のセンサの特徴構成は、カラ
ー式の撮像手段からの三原色情報及び輝度情報に基づい
て、各画素の三原色情報の夫々を前記輝度情報で除算し
た正規値を求める正規化手段と、前記正規値に基づい
て、設定された色範囲となる画素を抽出する画素抽出手
段と、抽出された画素をそのアドレス情報に対応させて
記憶する記憶手段と、前記正規化手段にて求められた前
記正規値を記憶する正規値記憶手段とからなり、前記画
素抽出手段は、色範囲を設定変更自在に、且つ、複数個
の色範囲を設定自在に構成されるとともに、前記正規化
手段の出力情報又は前記正規値記憶手段の記憶情報に基
づいて、前記設定された複数個の色範囲の夫々となる画
素を、各色範囲ごとに順次抽出するように構成され、前
記記憶手段は、設定された複数個の色範囲に夫々に対応
して抽出された画素のアドレス情報を各色範囲毎に区別
できる状態で記憶するように構成されている点にあり、
その作用並びに効果は以下の通りである。

〔作 用〕

正規化手段にて、各画素毎に、三原色情報を明るさつま
り輝度情報で除算した正規値を求めるとともに、その正
規値を正規値記憶手段に記憶する。そして、正規化手段
から出力される正規値又は正規値記憶手段に記憶された
正規値に基づいて、複数個の色範囲の夫々となる画素を
各色範囲ごとに順次抽出する。つまり、例えば、最初に
設定した色範囲についての画素抽出を正規化手段から出
力される正規値に基づいて行い、これ以降に設定した色
範囲についての画素抽出を正規化記憶手段に記憶された
正規値に基づいて行うのである。但し、抽出する画素の
色範囲を設定変更自在な状態で、且つ、複数個の色範囲
を設定できるようにしながら、それら各色範囲毎の抽出
される画素のアドレス情報を区別できるように記憶させ
ておくことにより、抽出した色範囲同士の位置関係や、
各色範囲となる画素の位置等の検出を高速化している。

〔発明の効果〕

従って、従来技術のように各色範囲を設定する毎に撮像
処理を繰り返すのではなく、１回の撮像処理にて得た画
像情報に基づいて複数個の色範囲についての画素抽出を
行うので、全体の処理時間を短縮することができ、又、
複数回の撮像処理による画像では、照光条件の変動等の
ために異なった画像となって各色範囲について適正な画
素抽出ができないという不具合も発生せず、１回の撮像
処理による同一の画像に基づいて各色範囲についての画
素抽出を適正に行うことができる。

併せて、抽出する色範囲の設定、並びに、その抽出する
色範囲の個数等を、装置構成を変えることなく、任意に
設定変更できると共に、自動的に明るさに対して正規化
された画像情報から設定された色範囲となる画素のアド
レス情報が区別できる状態で得られるので、センサとし
ての汎用性を維持しながらも、画像処理の高速化を図る
ことができる。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明する。

図面に示すように、液晶等を利用した電子シャッタ
（１）、及び、撮像対象を照光するストロボ発光装置等
を利用した照光装置（２）を備えたカラー式の撮像手段
として、固体撮像素子等を利用した二次元イメージセン
サ（３）が設けられ、そのイメージセンサ（３）から、
三原色情報としての三原色色信号（Ｒ），（Ｇ），
（Ｂ）、及び、輝度情報としての輝度信号（Ｙ）の夫々
が出力されるように構成されている。

但し、前記三原色信号（Ｒ），（Ｇ），（Ｂ）は、同じ
増幅率で出力され、前記輝度信号（Ｙ）は、前記三原色
信号（Ｒ），（Ｇ），（Ｂ）の和の値で出力される。

前記三原色信号（Ｒ），（Ｇ），（Ｂ）、及び、前記輝
度信号（Ｙ）の夫々は、バッファアンプ（４）を介し
て、A/D変換器（５）に入力されて、各画素毎に対応し
て量子化され、その出力をレジスタ（６）に一時記憶さ
れることになる。

前記A/D変換器（５）にてデジタ値に変換された前記輝
度信号（Ｙ）は、その逆数（1/Y）を記憶する記憶手段
としての逆数テーブル（７）に入力されて、その値に応
じた逆数（1/Y）に変換されることになる。

前記逆数テーブル（７）について説明すれば、例えば、
予め、前記輝度信号（Ｙ）の値に対応してその逆数（1/
Y）を演算すると共に、得られた逆数（1/Y）の値を、例
えば、前記輝度信号（Ｙ）の値をアドレス値としてその
逆数（1/Y）を直接読み出し可能な状態で、記憶させて
おくことになる。

前記各A/D変換器（５）にてデジタル値に変換された前
記三原色信号（Ｒ），（Ｇ），（Ｂ）は、各画素毎に、
対応する乗算器（８）にて、前記輝度信号（Ｙ）の値に
応じて前記逆数テーブル（７）から出力される逆数（1/
Y）と乗算されて、前記三原色信号（Ｒ），（Ｇ），
（Ｂ）の夫々を前記輝度信号（Ｙ）にて除算した正規値
（R/Y），（G/Y），（B/Y）の夫々に変換され、各画素
のアドレスに対応して記憶するように構成された第１画
像メモリ（９）に入力されることになる。

つまり、前記逆数テーブル（７）と前記乗算器（８）と
で、前記三原色信号（Ｒ），（Ｇ），（Ｂ）の夫々を前
記輝度信号（Ｙ）にて除算して前記正規値（R/Y），（G
/Y），（B/Y）を求める正規化手段（100）が構成され、
前記第１画像メモリ（９）で、前記正規化手段（100）
にて求められた前記正規値（R/Y），（G/Y），（B/Y）
を記憶する正規値記憶手段が構成されることになる。

図中、（10）は、前記イメージセンサ（３）の撮像画像
情報から、設定された色範囲に対応する画素のみを抽出
するために、その色範囲に対応する前記正規値（R/
Y），（G/Y），（B/Y）夫々の値の範囲を記憶する色範
囲設定用のレジスタであって、前記三原色信号（Ｒ），
（Ｇ），（Ｂ）の夫々に対応して３個が設けられてい
る。（11）は、前記色範囲設定用のレジスタ（10）の出
力と、前記各正規値（R/Y），（G/Y），（B/Y）とを比
較して、前記各正規値（R/Y），（G/Y），（B/Y）が前
記レジスタ（10）に設定された範囲内にある場合に、
“1"の値を出力するウインドコンパレータ、（12）は、
前記ウインドコンパレータの全出力が“1"の値である場
合に、“1"の値を出力するANDゲートである。

つまり、前記ANDゲート（12）は、前記イメージセンサ
（３）にて撮像された画像情報の画素の色が、前記レジ
スタ（10）にて設定される色範囲にある場合に“1"の値
を出力し、設定された色範囲外である場合には“0"の値
を出力して、設定色範囲にある画素を抽出することにな
る。

前記ANDゲート（12）から出力される画素の情報は、色
カウンター（13）にて設定される設定色範囲を示すラベ
ル値を付与された状態で、その画素のアドレスに対応し
て、抽出された画素の情報を記憶する記憶手段としての
色メモリ（14）に記憶されることになる。

つまり、前記色範囲設定用のレジスタ（10）、ウインド
コンパレータ（11）、及び、ANDゲート（13）にて、前
記正規値（R/Y），（G/Y），（B/Y）に基づいて、設定
された色範囲となる画素を抽出する画素抽出手段（10
1）が構成されていることになる。

又、前記輝度信号（Ｙ）を各画素のアドレスに対応させ
た状態で記憶する第２画像メモリ（15）、前記色メモリ
（14）及び第２画像メモリ（15）に対する記憶情報やア
ドレス情報を入出力するためのバッファ（16）、前記イ
メージセンサ（３）の撮像処理並びにそれから出力され
る水平同期信号や垂直同期信号に同期して、各部が連続
して作動するように制御するための入出力コントローラ
（17）、前記入出力コントローラ（17）に対して作動指
令を与えると共に、抽出する画素の色範囲の設定や各メ
モリ（９），（14），（15）に記憶される画像情報の入
出力、並びに、それら記憶情報に基づいて各種演算処理
を行うためのCPU（18）の夫々が設けられている。

ところで、前記逆数テーブル（７）は、その記憶内容を
書き換え自在ないわゆるRAMにて構成され、前記輝度信
号（Ｙ）の逆数（1/Y）に代えて“1"の値を記憶させる
ように切り換えることにより、各部の構成並びにその動
作を変更することなく、前記第１画像メモリ（９）に記
憶される正規値（R/Y），（G/Y），（B/Y）の値を、元
の三原色信号（Ｒ），（Ｇ），（Ｂ）の値と等しいもの
に切り換えることができる。

従って、処理画像の表示用のモニタ（図示せず）を、前
記第１画像メモリ（９）に記憶された情報を常時表示す
る状態に接続しておくだけで、撮像原画像と、正規化さ
れた画像とを簡単に切り換えて表示させることができ
る。

各部の動作について説明を加えれば、前記CPU（18）の
指令に基づいて、前記入出力コントローラ（17）から前
記電子シャッタ（１）、照光装置（２）、及び、イメー
ジセンサ（３）の夫々に、作動指令が与えられて、撮像
処理が開始されることになる。

撮像処理が終了するに伴って、前記三原色信号（Ｒ），
（Ｇ），（Ｂ）及び輝度信号（Ｙ）が入力されて、各画
素毎に、前記A/D変換器（５）にてデジタル値に変換さ
せると共に、前記正規化手段（100）にて正規値（R/
Y），（G/Y），（B/Y）に変換されて、前記第１画像メ
モリ（９）に１画面分の画像情報が記憶されることにな
る。また、同時に、前記輝度信号（Ｙ）が前記第２画像
メモリ（15）に記憶され、且つ、前記正規化手段（10
0）にて求められた正規値（R/Y），（G/Y），（B/Y）
が、前記色範囲レジスタ（10）にて設定された色範囲と
なる画素が抽出され、その色範囲を示すラベル値を付与
されて、前記色メモリ（14）に記憶されることになる。

そして、これら一連の処理が、１画面分の画像情報につ
いて連続的に行われて、１画面分の画像情報の入力完了
に伴って、正規化の処理並びに設定色範囲の画素の抽出
の夫々が同時に完了するのである。

但し、前記各メモリ（９），（14），（15）の各画素に
対応するアドレス値は、全て同じ値となるように設定し
ており、一つの画素の正規値（R/Y），（G/Y），（B/
Y）、輝度信号（Ｙ）の値、及び、その画素の色が設定
色範囲内の色であるか否かを、同じアドレス情報を用い
て同時に読み出すことができるように構成されている。

従って、注目する画素の明るさや色を簡単に知ることが
できるのである。

但し、複数個の異なる色範囲が同時に設定される場合に
は、前記CPU（18）に対して予め設定する色範囲を指令
しておくことにより、前記入出力コントローラ（17）
が、前記色範囲設定用のレジスタ（10）の設定値を抽出
する画素の色範囲に対応して変更しながら、同一対象を
繰り返し撮像させるように各部の作動を制御することに
なる。そして、各色範囲毎に異なるラベル値を付与しな
がら、前記色メモリ（14）に繰り返し書き込むことにな
るが、前記第１画像メモリ（９）に記憶されている画像
情報を繰り返し利用してもよい。

つまり、前記CPU（18）及び前記入出力コントローラ（1
7）を利用して、前記色範囲設定用のレジスタ（10）の
記憶内容を書き換えて、画素抽出の処理を繰り返させる
ことにより、前記画素抽出手段（101）が、色範囲を設
定変更自在に、且つ、複数個の色範囲を設定自在に構成
されるとともに、前記正規化手段（100）の出力情報又
は前記第１画像メモリ（９）の記憶情報に基づいて、前
記設定された複数個の色範囲の夫々となる画素を、各色
範囲ごとに順次抽出するように構成されることになり、
各色範囲毎に異なるラベル値を付与しながら、抽出され
た画素のアドレス情報に対応して前記色メモリ（14）に
書き込ませることにより、抽出された画素を記憶する記
憶手段としての前記色メモリ（14）が、設定された複数
個の色範囲の夫々に対応して抽出された画素のアドレス
情報を各色範囲毎に区別できる状態で記憶するように構
成されていることになる。

〔別実施例〕

上記実施例では、正規化手段（100）を、輝度信号
（Ｙ）の逆数（1/Y）を記憶するテーブル（７）と、そ
の出力値と三原色信号（Ｒ），（Ｇ），（Ｂ）とを乗算
する乗算器（８）とで構成した場合を例示したが、例え
ば、前記三原色信号（Ｒ），（Ｇ），（Ｂ）及び輝度信
号（Ｙ）の夫々を、対数変換して、除算処理を対数の減
算処理に置き換えて実行させた後、その結果を逆対数変
換するように構成してもよく、正規化手段（100）の具
体構成は各種変更できる。

又、上記実施例では、設定された色範囲の画素を記憶さ
せる記憶手段としての色メモリ（14）を、抽出された画
素のアドレス情報に対応して、その画素の色範囲を示す
ラベル値を記憶させるようにした場合を例示したが、例
えば、抽出された画素のアドレス値のリスト等を、設定
された色範囲に対応して記憶させるようにしてもよく、
各色範囲毎の画素の情報を、複数の色範囲毎に区別でき
る状態で記憶させるための具体構成は、各種変更でき
る。

又、本発明を実施するに、センサを構成する各部の具体
構成は、並びに、得られる画像情報の利用形態は、各種
変更できる。

尚、特許請求の範囲の項に図面との対照を便利にするた
めに符号を記すが、該記入により本発明は添付図面の構
造に限定されるものではない。

【図面の簡単な説明】

図面は本発明に係るカラー撮像式のセンサの実施例を示
すブロック図である。 （Ｒ），（Ｇ），（Ｂ）……三原色情報、（Ｙ）……輝
度情報、（1/Y）……逆数、（R/Y），（G/Y），（B/Y）
……正規値、（３）……撮像手段、（９）……正規値記
憶手段、（14）……記憶手段、（100）……正規化手
段、（101）……画素抽出手段。

Claims (1)

【特許請求の範囲】
1. 【請求項１】カラー式の撮像手段（３）からの三原色情
   報（Ｒ），（Ｇ），（Ｂ）及び輝度情報（Ｙ）に基づい
   て、各画素の三原色情報（Ｒ），（Ｇ），（Ｂ）の夫々
   を前記輝度情報（Ｙ）で除算した正規値（R/Y），（G/
   Y），（B/Y）を求める正規化手段（100）と、前記正規
   値（R/Y），（G/Y），（B/Y）に基づいて、設定された
   色範囲となる画素を抽出する画素抽出手段（101）と、
   抽出された画素をそのアドレス情報に対応させて記録す
   る記憶手段（14）と、前記正規化手段（100）にて求め
   られた前記正規値（R/Y），（G/Y），（B/Y）を記憶す
   る正規値記憶手段（９）とからなり、前記画素抽出手段
   （101）は、色範囲を設定変更自在に、且つ、複数個の
   色範囲を設定自在に構成されるとともに、前記正規化手
   段（100）の出力情報又は前記正規値記憶手段（９）の
   記憶情報に基づいて、前記設定された複数個の色範囲の
   夫々となる画素を、各色範囲ごとに順次抽出するように
   構成され、前記記憶手段（14）は、設定された複数個の
   色範囲の夫々に対応して抽出された画素のアドレス情報
   を各色範囲毎に区別できる状態で記憶するように構成さ
   れているカラー撮像式のセンサ。