JP7442697B2

JP7442697B2 - 物体認識装置および物体処理装置

Info

Publication number: JP7442697B2
Application number: JP2022579325A
Authority: JP
Inventors: 雅信本江; 健李
Original assignee: PFU Ltd
Current assignee: PFU Ltd
Priority date: 2021-02-03
Filing date: 2021-08-03
Publication date: 2024-03-04
Anticipated expiration: 2041-08-03
Also published as: US20240020871A1; JP2024059755A; WO2022168350A1; JPWO2022168350A1

Description

本開示の技術は、物体認識装置および物体処理装置に関する。

ビン、ペットボトルに例示される資源ゴミを素材毎に分別する資源ごみ自動分別装置が知られている。資源ごみ自動分別装置は、資源ごみを撮像した画像に基づいてその資源ごみの材質と位置とを判定する物体認識装置と、所定の素材の資源ゴミを所定の位置に移動させるロボットとを備えている。

特表２００８－５１４９１５号公報特開昭５９－１６１７７６号公報

資源ごみを写す像には、光を透過する材料から資源ごみが形成されているときに、資源ごみを透過した光により資源ごみの奥の背景が映り込むことがある。資源ごみを写す像には、資源ごみが光沢を有するときに、資源ごみを鏡反射した光により、白飛びが発生することがある。物体認識装置は、このような邪魔な像が資源ごみの像に映り込むことにより、画像から資源ごみの像を適切に抽出することができず、資源ごみの位置を適切に算出しないことがある。資源ごみ自動分別装置は、資源ごみの位置が適切に算出されないときに、資源ごみを適切に分別しないという問題がある。

開示の技術は、かかる点に鑑みてなされたものであって、物体が写る画像から物体の位置を適切に算出する物体認識装置および物体処理装置を提供することを目的とする。

本開示の一態様による物体認識装置は、物体を照明する照明機器と、第１照明条件で前記物体が前記照明機器により照明されているときに前記物体の第１画像を撮像し、前記第１照明条件と異なる第２照明条件で前記物体が前記照明機器により照明されているときに前記物体の第２画像を撮像する撮像部と、前記第１画像と前記第２画像とを画像処理することにより、前記物体が配置される位置を算出する位置算出部とを備えている。前記照明機器は、前記撮像部を取り囲む反射部材と、前記反射部材に光を投光する複数の光源とを有し、前記反射部材は、前記光が前記反射部材の表面で乱反射するように、かつ、前記反射部材を乱反射した光が前記物体に投光されるように、形成される。

開示の物体認識装置および物体処理装置は、物体が写る画像から物体の位置を適切に算出することができる。

図１は、実施例の物体処理装置が設けられた資源ごみ自動分別装置を示す斜視図である。図２は、オプトユニットを示す断面図である。図３は、制御装置を示すブロック図である。図４は、制御装置がロボユニットとオプトユニットとを制御する動作を示すフローチャートである。図５は、高光量部分画像を示す図である。図６は、低光量部分画像を示す図である。

以下に、本願が開示する実施形態にかかる物体認識装置および物体処理装置について、図面を参照して説明する。なお、以下の記載により本開示の技術が限定されるものではない。また、以下の記載においては、同一の構成要素に同一の符号を付与し、重複する説明を省略する。

実施例の物体処理装置１は、図１に示されているように、資源ごみ自動分別装置２に設けられている。図１は、実施例の物体処理装置１が設けられた資源ごみ自動分別装置２を示す斜視図である。資源ごみ自動分別装置２は、物体処理装置１と搬送装置３とを備えている。搬送装置３は、いわゆるベルトコンベアから形成され、ベルトコンベアフレーム５とベルト６と複数の定滑車７とを備え、図示されていないベルト駆動装置を備えている。ベルトコンベアフレーム５は、資源ごみ自動分別装置２が設置される設置面に載置されている。ベルト６は、可撓性を有する材料から形成され、ループ状の帯に形成されている。

複数の定滑車７は、それぞれ、円柱状に形成されている。複数の定滑車７は、複数の回転軸にそれぞれ沿うように配置されている。複数の回転軸は、それぞれ、設置面が沿う平面に平行であるＸ軸に平行であり、設置面が沿う平面に平行である１つの平面に重なっている。複数の定滑車７は、複数の回転軸を中心に回転可能にベルトコンベアフレーム５にそれぞれ支持されている。ベルト６は、複数の定滑車７に架け渡され、移動可能にベルトコンベアフレーム５に支持されている。ベルト６は、複数の定滑車７の上側に配置される上側部分と、複数の定滑車７の下側に配置される下側部分とを備えている。上側部分は、設置面が沿う平面に平行である他の平面に沿うように配置されている。ベルト駆動装置は、ベルト６の上側部分がＹ軸に平行に移動するように、複数の定滑車７を回転させる。Ｙ軸は、設置面が沿う平面に平行であり、かつ、Ｘ軸に垂直である。

物体処理装置１は、実施例の物体認識装置１０とロボユニット１１とを備えている。物体認識装置１０は、オプトユニット１２を備えている。オプトユニット１２は、ベルト６の上側部分の一部の上に配置されている。ロボユニット１１は、ベルト６の上側部分の他の一部の上部に配置され、物体認識装置１０より搬送方向１４の下流側に配置されている。搬送方向１４は、Ｙ軸に平行である。

ロボユニット１１は、複数のピッキングロボット１５を備え、図示されていない吸引ポンプを備えている。複数のピッキングロボット１５のうちの１つのピッキングロボットは、吸引パッド１６とＸ軸アクチュエータ１７とＺ軸アクチュエータ１８と把持センサ１９とを備え、図示されていない投棄ケースと電磁弁とを備えている。投棄ケースは、設置面のうちの搬送装置３の脇に載置されている。吸引パッド１６は、Ｘ軸またはＺ軸に平行に並進可能に、Ｘ軸アクチュエータ１７とＺ軸アクチュエータ１８とを介してベルトコンベアフレーム５に支持されている。Ｚ軸は、設置面が沿う平面に垂直であり、すなわち、Ｘ軸に垂直であり、かつ、Ｙ軸に垂直である。吸引パッド１６の可動域は、イニシャル位置を含んでいる。吸引パッド１６は、イニシャル位置に配置されるときに、投棄ケースの上側に配置される。吸引パッド１６のうちの設置面に対向する下側面には、吸気口が形成されている。

吸引ポンプは、図示されていない管を介して吸引パッド１６に接続され、吸引パッド１６の吸気口から空気を吸引する。電磁弁は、吸引パッド１６と吸引ポンプとを接続する管の途中に設けられている。電磁弁は、開放されることにより、吸引パッド１６の吸気口から空気が吸引されるように吸引パッド１６を吸引ポンプに接続する。電磁弁は、閉鎖されることにより、吸引パッド１６の吸気口から空気が吸引されないように吸引パッド１６と吸引ポンプとの接続を遮断する。

Ｘ軸アクチュエータ１７は、吸引パッド１６をＸ軸に平行に移動させる。Ｚ軸アクチュエータ１８は、吸引パッド１６をＺ軸に平行に移動させる。把持センサ１９は、吸引パッド１６に物体が把持されているか否かを検出する。複数のピッキングロボット１５のうちの他のピッキングロボットも、そのピッキングロボットと同様に形成され、すなわち、吸引パッドとＸ軸アクチュエータとＺ軸アクチュエータと把持センサと投棄ケースと電磁弁とを備えている。

図２は、オプトユニット１２を示す断面図である。オプトユニット１２は、筐体２１とカメラ２２と照明機器２３とを備えている。筐体２１は、光が透過しない材料から形成され、箱形に形成されている。筐体２１の内部には、内部空間２４が形成されている。筐体２１は、ベルト６の上側部分の一部が筐体２１の内部空間２４に配置されるようにベルト６の上側に配置され、搬送装置３のベルトコンベアフレーム５に固定されている。筐体２１は、筐体２１の外部の光が内部空間２４に入らないように、外部の光を遮光している。筐体２１には、入口と出口とが形成されている。入口は、筐体２１のうちの搬送方向１４の上流側の部分に形成され、内部空間２４は、入口を介して筐体２１の外部に接続されている。出口は、筐体２１のうちの搬送方向１４の下流側の部分に形成され、内部空間２４は、出口を介して筐体２１の外部に接続されている。

カメラ２２は、筐体２１の上部に配置されている。カメラ２２は、筐体２１に固定され、すなわち、筐体２１を介してベルトコンベアフレーム５に固定されている。カメラ２２は、いわゆるデジタルカメラであり、可視光線を用いて、ベルト６の上側部分のうちの内部空間２４に配置される一部に載置される被写体２９が写る画像を撮像する。画像は、画像に敷き詰められる複数の画素から形成されている。複数の画素は、複数の色情報に対応付けられている。複数の色情報の各々は、たとえば、赤の階調値と緑の階調値と青の階調値とを示している。なお、画像は、モノクロ画像でもよく、このとき、色情報は、１つの階調値を示している。

照明機器２３は、反射部材２５と複数の光源２６と紫外線光源２７とを備えている。反射部材２５は、筐体２１のうちの内部空間２４に面する内側表面の概ね全部を覆い、カメラ２２を取り囲むように配置され、すなわち、カメラ２２が撮像する画像の視点を取り囲むように配置されている。反射部材２５は、反射部材２５に投光される光を乱反射させる。複数の光源２６は、筐体２１の内部のうちのベルト６に近い下側に配置され、発光することにより反射部材２５に低光量または高光量の可視光線を投光する。紫外線光源２７は、筐体２１の内部のうちのベルト６から遠い上側に配置され、発光することによりベルト６の上側部分に向かって紫外線を投光する。

物体認識装置１０は、図３に示されているように、制御装置３１をさらに備えている。図３は、制御装置３１を示すブロック図である。制御装置３１は、コンピュータであり、記憶装置３２とＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３３とを備えている。記憶装置は、制御装置３１にインストールされるコンピュータプログラムを記録し、ＣＰＵ３３により利用される情報を記録する。記憶装置３２としては、ＲＡＭ・ＲＯＭ等のメモリ、ハードディスクのような固定ディスク装置、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）が例示される。

ＣＰＵ３３は、制御装置３１にインストールされるコンピュータプログラムを実行することにより、情報処理し、記憶装置３２を制御し、カメラ２２と複数の光源２６とＸ軸アクチュエータ１７とＺ軸アクチュエータ１８と把持センサ１９と電磁弁とを制御する。制御装置３１にインストールされるコンピュータプログラムは、制御装置３１に複数の機能をそれぞれ実現させるための複数のコンピュータプログラムを含んでいる。その複数の機能は、照明制御部３４とカメラ制御部３５と位置算出部３６と判別部３７と把持位置把持タイミング算出部３８と把持制御部３９とを備えている。

照明制御部３４は、複数の照明条件で内部空間２４に配置されている被写体２９が照明されるように、照明機器２３を制御する。すなわち、照明制御部３４は、複数の光源２６が低光量または高光量で点灯するように、または、複数の光源２６が消灯するように、複数の光源２６を制御する。照明制御部３４は、さらに、紫外線光源２７が点灯または消灯されるように、紫外線光源２７を制御する。カメラ制御部３５は、可視光線を用いて、筐体２１の内部空間２４に配置される被写体が写る画像が撮像されるように、カメラ２２を制御する。カメラ制御部３５は、さらに、カメラ２２により撮像された画像のデータが、その画像が撮像された撮像時刻に対応付けて記憶装置３２に記録されるように、記憶装置３２を制御する。

位置算出部３６は、カメラ制御部３５により撮像された画像を画像処理することにより、画像から部分画像を切り出す。位置算出部３６は、切り出された複数の部分画像を画像処理することにより、複数の部分画像に物体が写っているか否かを判定する。位置算出部３６は、複数の部分画像に物体が写っていると判定されたときに、複数の部分画像をさらに画像処理することにより、物体の重心が配置された位置を算出する。判別部３７は、複数の部分画像に物体が写っていると判定されたときに、複数の部分画像をさらに画像処理することにより、その物体を形成する材料を判定し、その判定された材料に基づいて、その物体が把持対象であるか否かを判定する。

把持位置把持タイミング算出部３８は、複数の部分画像に把持対象が写っていると判定されたときに、カメラ制御部３５により画像が撮像された撮像時刻と、位置算出部３６により算出された位置と、搬送速度とに基づいて、把持位置と把持タイミングとを算出する。把持制御部３９は、把持位置把持タイミング算出部３８により算出された把持タイミングより前に、把持位置把持タイミング算出部３８により算出された把持位置の上側の把持準備位置に吸引パッド１６が配置されるように、Ｘ軸アクチュエータ１７を制御する。把持制御部３９は、把持位置把持タイミング算出部３８により算出された把持タイミングに、把持位置把持タイミング算出部３８により算出された把持位置に吸引パッド１６が配置されるように、Ｚ軸アクチュエータ１８を制御する。把持制御部３９は、さらに、把持位置把持タイミング算出部３８により算出された把持タイミングに、吸引パッド１６の開口部から空気が吸引されるように、電磁弁を制御する。

資源ごみ自動分別装置２の動作は、搬送装置３が資源ごみを搬送する動作と、制御装置３１がロボユニット１１とオプトユニット１２とを制御する動作とを備えている。搬送装置３が資源ごみを搬送する動作では、まず、ユーザは、搬送装置３を操作することにより、搬送装置３を起動させる。搬送装置３のベルト駆動部は、搬送装置３が起動することにより、予め定められた回転速度で複数の定滑車７を回転させる。ベルト６の上側部分は、予め定められた回転速度で複数の定滑車７が回転することにより、予め定められた搬送速度で搬送方向１４に並進する。ユーザは、さらに、ベルト６の上側部分のうちのオプトユニット１２の搬送方向１４の上流側に複数の資源ごみを載置する。資源ごみとしては、ペットボトル、ガラスびんが例示される。ベルト６の上側部分に載置された複数の資源ごみは、ベルト６の上側部分が搬送速度で搬送方向１４に並進することにより、搬送速度で搬送方向１４に搬送される。複数の資源ごみは、搬送方向１４に並進することにより、入口を介して筐体２１の内部空間２４に進入し、出口を介して筐体２１の内部空間２４から退去する。

図４は、制御装置３１がロボユニット１１とオプトユニット１２とを制御する動作を示すフローチャートである。制御装置３１がロボユニット１１とオプトユニット１２とを制御する動作は、搬送装置３が資源ごみを搬送する動作と並行して実行される。制御装置３１は、複数の光源２６を制御することにより、複数の光源２６を点灯し、複数の光源２６に高光量の可視光線を発光させる（ステップＳ１）。複数の光源２６から発光された高光量の可視光線は、反射部材２５の表面を乱反射することにより、搬送装置３により搬送される複数の資源ごみに投光される。すなわち、照明機器２３は、カメラ２２を取り囲む面光源から発光された高光量の可視光線で複数の資源ごみを照明する。

制御装置３１は、照明機器２３により複数の資源ごみが高光量の可視光線で照明されているときに、カメラ２２を制御することにより、可視光線を用いて複数の資源ごみが写る高光量画像を撮像する（ステップＳ２）。制御装置３１は、高光量画像が撮像された後に、複数の光源２６を制御することにより、複数の光源２６を消灯する（ステップＳ３）。制御装置３１は、高光量画像が撮像された時刻に対応付けて、高光量画像を記憶装置３２に記録する。制御装置３１は、高光量画像を画像処理することにより、高光量画像のうちの予め定められた領域に映し出される高光量部分画像を高光量画像から切り出す（ステップＳ４）。

制御装置３１は、複数の光源２６が消灯された後に、紫外線光源２７を制御することにより、紫外線光源２７を点灯し、紫外線光源２７に紫外線を発光させる（ステップＳ５）。紫外線光源２７から発光された紫外線は、搬送装置３により搬送される複数の資源ごみに投光される。すなわち、照明機器２３は、内部空間２４に進入した複数の資源ごみに紫外線を投光し、紫外線で複数の資源ごみを照明する。

制御装置３１は、照明機器２３により複数の資源ごみが紫外線で照明されているときに、カメラ２２を制御することにより、可視光線を用いて複数の資源ごみが写る蛍光画像を撮像する（ステップＳ６）。蛍光画像が撮像されるタイミングは、高光量画像が撮像されたタイミングから予め定められた第１経過時間（たとえば、数十ｍ秒）が経過した後のタイミングに等しい。制御装置３１は、蛍光画像が撮像された後に、紫外線光源２７を制御することにより、紫外線光源２７を消灯する（ステップＳ７）。制御装置３１は、蛍光画像が撮像された時刻に対応付けて、蛍光画像を記憶装置３２に記録する。

制御装置３１は、蛍光画像を画像処理することにより、蛍光画像のうちの第１経過時間に基づいて算出された領域に映し出される蛍光部分画像を蛍光画像から切り出す（ステップＳ８）。ベルト６の上側部分のうちの蛍光画像に写される領域は、ベルト６の上側部分が搬送速度で搬送方向１４に並進していることにより、ベルト６の上側部分のうちの高光量画像に写される領域と異なっている。蛍光部分画像は、ベルト６の上側部分のうちの蛍光部分画像に写される領域が、ベルト６の上側部分のうちの高光量部分画像に写される領域と一致するように、蛍光画像から抽出される。すなわち、蛍光画像のうちの蛍光部分画像が映し出される領域は、ベルト６の上側部分のうちの蛍光部分画像に写される領域が、ベルト６の上側部分のうちの高光量部分画像に写される領域と一致するように、第１経過時間に基づいて算出される。

制御装置３１は、紫外線光源２７が消灯された後に、複数の光源２６を制御することにより、複数の光源２６を点灯し、複数の光源２６に低光量の可視光線を発光させる（ステップＳ９）。複数の光源２６から発光された低光量の可視光線は、反射部材２５の表面を乱反射することにより、搬送装置３により搬送される複数の資源ごみに投光される。すなわち、照明機器２３は、カメラ２２を取り囲む面光源から発光された低光量の可視光線で複数の資源ごみを照明する。

制御装置３１は、照明機器２３により複数の資源ごみが低光量の可視光線で照明されているときに、カメラ２２を制御することにより、可視光線を用いて複数の資源ごみが写る低光量画像を撮像する（ステップＳ１０）。低光量画像が撮像されるタイミングは、蛍光画像が撮像されたタイミングから予め定められた第２経過時間（たとえば、数十ｍ秒）が経過した後のタイミングに等しい。制御装置３１は、低光量画像が撮像された後に、複数の光源２６を制御することにより、複数の光源２６を消灯する（ステップＳ１１）。制御装置３１は、低光量画像が撮像された時刻に対応付けて、低光量画像を記憶装置３２に記録する。

制御装置３１は、低光量画像を画像処理することにより、低光量画像のうちの第２経過時間に基づいて算出された領域に映し出される低光量部分画像を低光量画像から切り出す（ステップＳ１２）。ベルト６の上側部分のうちの低光量画像に写される領域は、ベルト６の上側部分が並進していることにより、ベルト６の上側部分のうちの高光量画像に写される領域と異なり、ベルト６の上側部分のうちの蛍光画像に写される領域と異なっている。低光量部分画像は、ベルト６の上側部分のうちの低光量部分画像に写される領域が、ベルト６の上側部分のうちの高光量部分画像に写される領域と一致し、ベルト６の上側部分のうちの蛍光部分画像に写される領域と一致するように、低光量画像から抽出される。すなわち、低光量画像のうちの低光量部分画像が映し出される領域は、低光量部分画像に写される領域が、高光量部分画像と蛍光部分画像とに写される領域と一致するように、第１経過時間と第２経過時間とに基づいて算出される。

制御装置３１は、高光量部分画像と低光量部分画像と蛍光部分画像とを含む複数の部分画像を画像処理することにより、複数の部分画像に物体が写っているか否かを判定する（ステップＳ１３）。制御装置３１は、複数の部分画像に物体が写っていると判定されたときに、複数の部分画像を画像処理することにより、その物体の重心が配置される位置を算出する（ステップＳ１４）。制御装置３１は、複数の部分画像に物体が写っていると判定されたときに、さらに、複数の部分画像を画像処理することにより、その物体が形成される材料を判別する（ステップＳ１５）。

制御装置３１は、ステップＳ１５で判別された材料に基づいて、その物体が分別対象であるか否かを判定する（ステップＳ１６）。制御装置３１は、その物体が分別対象であると判定されたときに、分別対象が複数のピッキングロボット１５のどのピッキングロボットの把持対象であるかを判定する。制御装置３１は、分別対象が対象ピッキングロボットの把持対象であると判定されたときに、把持タイミングと把持位置とを算出する（ステップＳ１７）。把持タイミングは、把持対象が写る画像が撮像された撮像時刻と、その撮像時刻に把持対象の重心が配置される位置と、搬送速度と、対象ピッキングロボットのＹ軸方向における位置とに基づいて算出される。把持タイミングは、対象ピッキングロボットの吸引パッド１６の可動域を把持対象が通過するタイミングを示している。把持位置は、把持タイミングに把持対象の重心が配置される位置を示し、すなわち、対象ピッキングロボットの吸引パッド１６の可動部のうちの把持対象が通過する位置を示している。

制御装置３１は、対象ピッキングロボットのＸ軸アクチュエータ１７を制御することにより、対象ピッキングロボットの吸引パッド１６を把持準備位置に配置する（ステップＳ１８）。把持準備位置は、把持位置の上側であり、把持準備位置のＸ軸方向におけるＸ軸位置は、把持位置のＸ軸方向におけるＸ軸位置に等しい。すなわち、把持準備位置に配置された吸引パッド１６がＸ軸に正射影された図形は、把持位置に配置された把持対象がＸ軸に正射影された図形に重なっている。制御装置３１は、吸引パッド１６が把持準備位置に配置された後に、電磁弁を制御することにより、吸引パッド１６を吸引ポンプに接続し、吸引パッド１６の開口部から空気を吸引する（ステップＳ１９）。

制御装置３１は、対象ピッキングロボットのＺ軸アクチュエータ１８を制御することにより、対象ピッキングロボットの吸引パッド１６の開口部を把持位置に把持タイミングに配置する（ステップＳ２０）。吸引パッド１６は、吸引パッド１６の開口部が把持タイミングに把持位置に配置されることにより、把持対象に接触する。把持対象は、吸引パッド１６の開口部に接触するときに、吸引パッド１６の開口部から空気が吸引されていることにより、吸引パッド１６に把持される。制御装置３１は、吸引パッド１６が把持位置に配置された後に、Ｚ軸アクチュエータ１８を制御することにより、吸引パッド１６を把持準備位置に配置する（ステップＳ２１）。把持対象は、吸引パッド１６が把持準備位置に配置されることにより、ベルト６から持ち上げられる。

制御装置３１は、吸引パッド１６が把持準備位置に配置されているときに、対象ピッキングロボットの把持センサ１９を制御することにより、把持対象が吸引パッド１６に適切に把持されているか否かを判定する（ステップＳ２２）。制御装置３１は、把持対象が吸引パッド１６に適切に把持されているときに（ステップＳ２２、成功）、Ｘ軸アクチュエータ１７を制御することにより、対象ピッキングロボットをイニシャル位置に吸引パッド１６を配置する（ステップＳ２３）。

制御装置３１は、吸引パッド１６がイニシャル位置に配置された後に、電磁弁を制御することにより、吸引パッド１６と吸引ポンプとの接続を遮断し、吸引パッド１６の開口部から空気が吸引されないようにする（ステップＳ２４）。吸引パッド１６に把持されていた把持対象は、吸引パッド１６の開口部から空気が吸引されなくなることにより、吸引パッド１６から解放され、落下し、対象ピッキングロボットの投棄ケースに入れられる。制御装置３１は、把持対象が吸引パッド１６に適切に把持されていないときに（ステップＳ２２、失敗）、電磁弁を制御することにより、電磁弁を閉鎖し、吸引パッド１６の開口部から空気が吸引されないようにする（ステップＳ２４）。制御装置３１は、撮像された画像に複数の把持対象が写っているときに、ステップＳ１８～Ｓ２４の処理を繰り返して実行する。

高光量の可視光線で複数の資源ごみが照明されたときに撮像された高光量画像から切り出された高光量部分画像４１は、図５に示されているように、たとえば、被写体２９を写す像４２を映し出している。図５は、高光量部分画像４１を示す図である。像４２は、白飛び領域４３を含んでいる。白飛び領域４３は、像４２のうちの白飛びが発生している領域であり、白一色に塗りつぶされた領域である。すなわち、白飛び領域４３に含まれる画素の各々が示す赤の階調値と緑の階調値と青の階調値とは、それぞれ上限値を示している。このような白飛びは、被写体２９の表面が光沢を有するときに、照明機器２３から被写体２９に投光された光が被写体２９の表面を鏡反射することにより発生する。

像４２の面積に対する白飛び領域４３の面積の割合は、照明機器２３が面光源から発光された光が被写体２９に投光されることにより、予め定められた値より大きくなっている。すなわち、照明機器２３の反射部材２５は、像４２の面積に対する白飛び領域４３の面積の割合が、予め定められた値より大きくなるように、形成されている。さらに、照明機器２３の複数の光源２６は、高光量の可視光線が発光されるときに、像４２に白飛び領域４３が含まれるように、複数の光源２６から発光される可視光線の光量が予め定められた値より大きくなるように、設定されている。

像４２には、高光量部分画像４１から像４２を抽出することを阻害する邪魔な像が映し出されていることがある。たとえば、像４２には、被写体２９の表面にフィルムが貼付されたり被写体２９の表面に文字や絵、写真などの画像がプリントされたりしているときに、そのフィルムまたは画像を写す像が映し出されることがある。さらに、像４２には、光を透過する材料から被写体２９が形成されているときに、被写体２９を透過する光により、被写体２９の奥の背景が映し出されることがある。光を透過する材料としては、ポリエチレンテレフタラートＰＥＴ（ｐｏｌｙｅｔｈｙｌｅｎｅｔｅｒｅｐｈｔｈａｌａｔｅ）、ガラスが例示される。制御装置３１は、像４２に邪魔な像が映し出されるときに、背景の像により被写体２９を写す像４２を誤って抽出することがある。制御装置３１は、高光量部分画像４１から被写体２９の像が誤って抽出されたときに、被写体２９の重心の位置を適切に算出しないことがある。物体処理装置１は、被写体２９の重心の位置が適切に算出されないときに、被写体２９を適切に把持しないことがある。

制御装置３１は、像４２の面積に対する白飛び領域４３の面積の割合が大きいことにより、像４２の面積に対する邪魔な像の面積の割合を相対的に小さくすることができる。制御装置３１は、邪魔な像の面積が小さいことにより、高光量部分画像４１から像４２を適切に抽出する確率を向上させることができ、被写体２９の位置の誤認識を防止することができる。物体処理装置１は、被写体２９の位置が適切に算出されることにより、被写体２９を適切に把持することができ、被写体２９を適切に分別することができる。

低光量の可視光線で複数の資源ごみが照明されたときに撮像された低光量画像から切り出された低光量部分画像５１は、図６に示されているように、たとえば、被写体２９を写す像５２を映し出している。図６は、低光量部分画像５１を示す図である。低光量部分画像５１は、低光量部分画像５１に対して像５２が映し出される位置が、高光量部分画像４１に対して像４２が映し出される位置に等しくなるように、撮像タイミングの差を示す第１経過時間と第２経過時間とに基づいて低光量画像から切り出されている。制御装置３１は、像５２の位置が像４２の位置に等しいことにより、被写体２９の位置を高光量部分画像４１に基づいて算出する計算と同様の計算を用いて、高光量部分画像４１に基づいて被写体２９の位置を容易に算出することができる。

像５２は、白飛びが発生している白飛び領域を含んでいない。すなわち、低光量の可視光線の光量は、像５２に白飛びが発生しないように、高光量の可視光線の光量より小さく設定されている。

高光量部分画像４１に複数の物体が写し出されている場合で、複数の物体をそれぞれ写す複数の像の各々に白飛び領域が含まれるときに、その複数の像の境界が高光量部分画像４１に映し出されないことがある。このとき、制御装置３１は、高光量部分画像４１に映し出される複数の像を適切に区別することができずに、高光量部分画像４１だけでは、複数の物体に含まれる被写体２９の重心の位置を適切に算出することができないことがある。物体処理装置１は、被写体２９の重心の位置が適切に算出されないときに、被写体２９を適切に把持することができずに、被写体２９を適切に分別することができないことがある。

制御装置３１は、低光量の可視光線で複数の資源ごみが照明されるときに撮像された低光量画像に白飛び領域が含まれないことにより、低光量画像のうちの複数の物体をそれぞれ写す複数の像を適切に区別することができる。このため、制御装置３１は、低光量部分画像５１に複数の物体が写し出されている場合でも、低光量部分画像５１から被写体２９の像５２を適切に抽出することができる。制御装置３１は、低光量部分画像５１から被写体２９の像５２が適切に抽出されることにより、被写体２９の位置の誤認識を防止することができる。物体処理装置１は、被写体２９の位置が適切に算出されることにより、被写体２９を適切に把持することができ、被写体２９を適切に分別することができる。

ポリエチレンテレフタラートＰＥＴから形成される蛍光物質物体は、紫外線が投光されるときに、可視光線である蛍光を発光する。紫外線で複数の資源ごみが照明されたときに撮像された蛍光画像は、複数の資源ごみに蛍光物質物体が含まれているときに、蛍光物質物体から発光された蛍光を用いて撮像される。蛍光画像から切り出された蛍光部分画像も、高光量部分画像４１と低光量部分画像５１と同様に、被写体２９を写す像を映し出している。蛍光部分画像は、被写体２９を写す像の位置が、像４２の位置に等しくかつ、像５２の位置に等しくなるように、撮像タイミングの差を示す第１経過時間に基づいて蛍光画像から切り出されている。すなわち、制御装置３１は、第１経過時間に基づいて蛍光画像を画像処理することにより、被写体２９を写す像の位置が、像４２の位置に等しくなるように、蛍光画像から蛍光部分画像を適切に切り出すことができる。

高光量部分画像４１または低光量部分画像５１には、ガラスから形成される物体を写す像と、ポリエチレンテレフタラートＰＥＴから形成される物体を写す像とが同様に映し出されることがある。このため、制御装置３１は、高光量部分画像４１または低光量部分画像５１に基づいて、ガラスから形成される物体を写す像と、ポリエチレンテレフタラートＰＥＴから形成される物体を写す像とを区別することができないことがある。蛍光画像には、蛍光により形成される像が映し出され、たとえば、ポリエチレンテレフタラートＰＥＴから形成された物体の像が適切に映し出される。

このため、制御装置３１は、紫外線で複数の資源ごみが照明されるときに撮像された蛍光画像に基づいて、蛍光物質以外の物体を写す像と蛍光物質物体を写す像とを容易に区別することができる。制御装置３１は、蛍光物質物体の像とそれ以外の像とが区別されることにより、被写体２９が形成される材料がポリエチレンテレフタラートＰＥＴであるか否かを判定することができる。制御装置３１は、被写体２９が形成される材料がポリエチレンテレフタラートＰＥＴであるか否かが判定されることにより、被写体２９が形成される材料を適切に判定することができる。このため、物体処理装置１は、複数のピッキングロボット１５のうちのポリエチレンテレフタラートＰＥＴに対応付けられたピッキングロボットにポリエチレンテレフタラートＰＥＴの物体を適切に把持させることができ、被写体２９を適切に分別することができる。

以上のことから、制御装置３１は、高光量部分画像４１と低光量部分画像５１と蛍光部分画像とを用いることにより、様々な材料から被写体２９が形成されている場合でも、被写体２９を写す像を適切に抽出することができる。制御装置３１は、被写体２９を写す像が適切に抽出されることにより、被写体２９が配置される位置を適切に算出することができ、被写体２９の重心の位置を適切に算出することができる。制御装置３１は、被写体２９の重心の位置が適切に算出されることにより、被写体２９を適切に把持することができ、被写体２９を適切に分別することができる。

なお、物体認識装置１０は、３つの照明条件で照明されたときにそれぞれ撮像された３つの画像に基づいて物体の位置を算出しているが、２つの照明条件で照明されたときにそれぞれ撮像された２つの画像に基づいて物体の位置を算出してもよい。２つの画像の組としては、高光量部分画像４１と低光量部分画像５１との組、高光量部分画像４１と蛍光画像との組、低光量部分画像５１と蛍光画像との組が例示される。物体認識装置１０は、２つの照明条件で照明されたときにそれぞれ撮像された２つの画像に基づいて物体の位置を算出した場合でも、物体を写す像を適切に画像から抽出することができ、物体の位置を適切に算出することができる。

［実施例の物体認識装置１０の効果］
実施例の物体認識装置１０は、照明機器２３とカメラ２２と位置算出部３６とを備えている。照明機器２３は、被写体２９を照明する。カメラ２２は、照明機器２３により複数の照明条件で被写体２９が照明されているときに、被写体２９が写る複数の画像をそれぞれ撮像する。位置算出部３６は、複数の画像を画像処理することにより、被写体２９が配置される位置を算出する。実施例の物体認識装置１０は、複数の照明条件で被写体２９が照明されるときにカメラ２２を用いて複数の画像をそれぞれ撮像することにより、１つのカメラ２２を設定変更することなく、被写体２９が様々な写り方で写る複数の画像を容易に撮像することができる。被写体２９の画像には、撮影時の照明条件により、被写体２９の像が適切に写し出されたり、被写体２９の像がうまく写し出されなかったりする。実施例の物体認識装置１０は、複数の照明条件でそれぞれ撮像された複数の画像のうちの被写体２９が適切に写し出されている画像を画像処理することにより、画像から被写体２９を写す像を適切に抽出することができる。実施例の物体認識装置１０は、被写体２９の像が適切に抽出されることにより、被写体２９の重心が配置される位置を適切に算出することができる。

実施例の物体処理装置１は、物体認識装置１０と吸引パッド１６とＸ軸アクチュエータ１７とＺ軸アクチュエータ１８と把持制御部３９とを備えている。Ｘ軸アクチュエータ１７とＺ軸アクチュエータ１８とは、吸引パッド１６を移動させる。把持制御部３９は、吸引パッド１６が被写体２９を把持するように、位置算出部３６により算出された位置に基づいてＸ軸アクチュエータ１７とＺ軸アクチュエータ１８とを制御する。実施例の物体処理装置１は、物体認識装置１０が被写体２９の位置を適切に算出することにより、被写体２９を適切に把持することができ、複数の資源ごみを適切に分別することができる。

ところで、既述の実施例の物体認識装置１０は、光量が異なる２種の可視光線を複数の光源２６が発光しているが、波長が異なる複数種の可視光線を複数の光源２６が発光してもよい。複数種の可視光線としては、赤色の可視光線と緑色の可視光線と青色の可視光線とが例示される。この場合、制御装置３１は、複数種の可視光線により複数の資源ごみが照明されているときに、複数の資源ごみが写る複数の画像をそれぞれカメラ２２で撮像する。赤色の可視光線で複数の資源ごみが照明されるときに撮像された赤色光画像には、複数の資源ごみのうちの赤色の部位が適切に写し出されないで、複数の資源ごみのうちの赤色以外の部位が適切に写し出される。緑色の可視光線で複数の資源ごみが照明されるときに撮像された緑色光画像には、複数の資源ごみのうちの緑色の部位が適切に写し出されないで、複数の資源ごみのうちの緑色以外の部位が適切に写し出される。青色の可視光線で複数の資源ごみが照明されるときに撮像された青色光画像には、複数の資源ごみのうちの青色の部位が適切に写し出されないで、複数の資源ごみのうちの青色以外の部位が適切に写し出される。このとき、制御装置３１は、複数の資源ごみの表面に赤緑青に着色されている部位がある場合でも、複数の画像から複数の資源ごみの像を適切に抽出する確率を向上させることができる。

以上、実施例を説明したが、前述した内容により実施例が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、実施例の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも１つを行うことができる。

２：資源ごみ自動分別装置
３：搬送装置
１：物体処理装置
１０：物体認識装置
１６：吸引パッド
１７：Ｘ軸アクチュエータ
１８：Ｚ軸アクチュエータ
２２：カメラ
２３：照明機器
３１：制御装置
３４：照明制御部
３５：カメラ制御部
３６：位置算出部
３７：判別部
３８：把持位置把持タイミング算出部
３９：把持制御部
４１：高光量部分画像
４２：像
４３：白飛び領域
５１：低光量部分画像
５２：像

Claims

物体を照明する照明機器と、
第１照明条件で前記物体が前記照明機器により照明されているときに前記物体の第１画像を撮像し、前記第１照明条件と異なる第２照明条件で前記物体が前記照明機器により照明されているときに前記物体の第２画像を撮像する撮像部と、
前記第１画像と前記第２画像とを画像処理することにより、前記物体が配置される位置を算出する位置算出部とを備え、
前記照明機器は、
前記撮像部を取り囲む反射部材と、
前記反射部材に光を投光する複数の光源とを有し、
前記反射部材は、前記光が前記反射部材の表面で乱反射するように、かつ、前記反射部材を乱反射した光が前記物体に投光されるように、形成される
物体認識装置。
物体を照明する照明機器と、
第１照明条件で前記物体が前記照明機器により照明されているときに前記物体の第１画像を撮像し、前記第１照明条件と異なる第２照明条件で前記物体が前記照明機器により照明されているときに前記物体の第２画像を撮像する撮像部と、
前記第１画像と前記第２画像とを画像処理することにより、前記物体が配置される位置を算出する位置算出部とを備え、
前記第１照明条件で前記照明機器から前記物体に投光される第１光の光量は、前記第１画像に白飛びが発生しないように、設定され、
前記第２照明条件で前記照明機器から前記物体に投光される第２光の光量は、前記第２画像に白飛びが発生するように、前記第１光の光量より大きく設定されている
物体認識装置。
前記撮像部は、前記第１照明条件と前記第２照明条件とに異なる第３照明条件で前記物体が前記照明機器により照明されているときに、前記物体の第３画像を撮像し、
前記位置算出部は、前記第１画像と前記第２画像と前記第３画像とを画像処理することにより、前記位置を算出する
請求項１または請求項２に記載の物体認識装置。
前記第３照明条件では、前記照明機器から前記物体に第３光が投光され、
前記第３画像は、前記物体に前記第３光が投光されることにより前記物体から発光する蛍光に基づいて撮像される
請求項３に記載の物体認識装置。
前記物体は、前記第１画像が撮像される第１タイミングで前記物体が配置される第１位置が、前記第２画像が撮像される第２タイミングで前記物体が配置される第２位置と異なるように、搬送され、
前記位置算出部は、
前記第１画像から第１画像部分を切り出し、
前記第１画像部分のうちの前記物体が写る位置が、第２画像部分のうちの前記物体が写る位置と等しくなるように、前記第２画像から前記第２画像部分を切り出し、
前記第１画像部分と前記第２画像部分とを画像処理することにより、前記位置を算出する
請求項１または請求項２に記載の物体認識装置。
前記第１画像と前記第２画像とを画像処理することにより前記物体の材料を判別する判別部
をさらに備える請求項１または請求項２に記載の物体認識装置。
物体を照明する照明機器と、
第１照明条件で前記物体が前記照明機器により照明されているときに前記物体の第１画像を撮像し、前記第１照明条件と異なる第２照明条件で前記物体が前記照明機器により照明されているときに前記物体の第２画像を撮像する撮像部と、
前記第１画像と前記第２画像とを画像処理することにより、前記物体が配置される位置を算出する位置算出部と、
把持部と、
前記把持部を移動させる駆動部と、
前記把持部が前記物体を把持するように、前記位置に基づいて前記駆動部を制御する把持制御部とを備え、
前記照明機器は、
前記撮像部を取り囲む反射部材と、
前記反射部材に光を投光する複数の光源とを有し、
前記反射部材は、前記光が前記反射部材の表面で乱反射するように、かつ、前記反射部材を乱反射した光が前記物体に投光されるように、形成される
物体処理装置。
物体を照明する照明機器と、
第１照明条件で前記物体が前記照明機器により照明されているときに前記物体の第１画像を撮像し、前記第１照明条件と異なる第２照明条件で前記物体が前記照明機器により照明されているときに前記物体の第２画像を撮像する撮像部と、
前記第１画像と前記第２画像とを画像処理することにより、前記物体が配置される位置を算出する位置算出部と、
把持部と、
前記把持部を移動させる駆動部と、
前記把持部が前記物体を把持するように、前記位置に基づいて前記駆動部を制御する把持制御部とを備え、
前記第１照明条件で前記照明機器から前記物体に投光される第１光の光量は、前記第１画像に白飛びが発生しないように、設定され、
前記第２照明条件で前記照明機器から前記物体に投光される第２光の光量は、前記第２画像に白飛びが発生するように、前記第１光の光量より大きく設定されている
物体処理装置。