[go: up one dir, main page]

JP6730379B2 - 読取システム、読取方法、プログラム、及び記憶媒体 - Google Patents

読取システム、読取方法、プログラム、及び記憶媒体 Download PDF

Info

Publication number
JP6730379B2
JP6730379B2 JP2018130053A JP2018130053A JP6730379B2 JP 6730379 B2 JP6730379 B2 JP 6730379B2 JP 2018130053 A JP2018130053 A JP 2018130053A JP 2018130053 A JP2018130053 A JP 2018130053A JP 6730379 B2 JP6730379 B2 JP 6730379B2
Authority
JP
Japan
Prior art keywords
candidate
candidate area
area
region
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018130053A
Other languages
English (en)
Other versions
JP2019169116A (ja
Inventor
家佑 林
家佑 林
翼 日下
翼 日下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Energy Systems and Solutions Corp filed Critical Toshiba Corp
Priority to CN201980019593.7A priority Critical patent/CN111868740B/zh
Priority to PCT/JP2019/006228 priority patent/WO2019181337A1/ja
Publication of JP2019169116A publication Critical patent/JP2019169116A/ja
Application granted granted Critical
Publication of JP6730379B2 publication Critical patent/JP6730379B2/ja
Priority to US17/020,282 priority patent/US11386640B2/en
Priority to US17/749,771 priority patent/US12080037B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/543—Depth or shape recovery from line drawings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Character Discrimination (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Character Input (AREA)

Description

本発明の実施形態は、読取システム、読取方法、プログラム、及び記憶媒体に関する。
計器において指示された数値を読み取るシステムがある。このシステムにおいて、数値の読み取りの精度は、高いことが望ましい。
特開２００８-２４３１０３号公報 特開２００６-１２０１３３号公報 特開２０１７-１２６１８７号公報 特許第５７１２８０１号公報
本発明が解決しようとする課題は、計器において指示された数値の読み取り精度を向上できる、読取システム、読取方法、プログラム、及び記憶媒体を提供することである。
実施形態に係る読取システムは、抽出部と、生成部と、補正部と、読取部と、を備える。前記抽出部は、入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出する。前記生成部は、前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成する。前記補正部は、生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成する。前記読取部は、前記第２候補領域から計器で指示された数値を読み取る。前記補正部は、前記第２候補領域の外縁を円で近似し、近似された前記円と前記第２候補領域の外縁との間の誤差量を算出し、前記誤差量が予め設定された第１閾値未満の場合、前記第２候補領域を前記読取部へ出力し、前記誤差量が前記第１閾値以上の場合、前記生成部は、前記第１候補領域の周りに別の前記四角形を生成する。前記補正部は、別の前記四角形を用いて前記第１候補領域を補正することで、別の前記第２候補領域を生成し、別の前記第２候補領域に基づく前記誤差量が前記第１閾値未満の場合、別の前記第２候補領域を前記読取部へ出力する。
実施形態に係る読取システムの構成を表すブロック図である。 実施形態に係る読取システムの生成部及び補正部における処理を説明するための模式図である。 実施形態に係る読取システムの読取部における処理を説明するための模式図である。 実施形態に係る読取システムの生成部及び補正部における処理を説明するための模式図である。 実施形態に係る読取システムの動作を表すフローチャートである。 実施形態に係る読取システムの動作を表すフローチャートである。 実施形態に係る読取システムの動作を表すフローチャートである。 実施形態に係る読取システムを実現するためのハードウェア構成を表すブロック図である。
以下に、本発明の各実施形態について図面を参照しつつ説明する。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
図１は、実施形態に係る読取システムの構成を表すブロック図である。
図２は、実施形態に係る読取システムの生成部及び補正部における処理を説明するための模式図である。
図３は、実施形態に係る読取システムの読取部における処理を説明するための模式図である。
実施形態に係る読取システム１は、計器を含む画像から、計器内の指針で指示された数値を読み取るために用いられる。実施形態に係る読取システム１は、回転軸を中心に回転する指針と、回転軸の周りに周方向に沿って配された複数の目盛りと、を有する計器に対して好適に用いられる。読み取り対象の計器において、複数の目盛りは、円状に配列されていても良いし、円弧状に配列されていても良い。また、計器は、複数の目盛りが記された表示盤と、複数の目盛りの少なくとも一部に対応して記された数値と、をさらに含む。このような計器において、表示盤の外縁、外枠などは、典型的には円又は円状（例えば楕円やオーバルなど）である。以降の実施形態の説明では、このような計器を丸型計器と呼ぶ。
図１に表したように、実施形態に係る読取システム１は、撮像部１１、抽出部１２、生成部１３、補正部１４、及び読取部１５を備える。
撮像部１１は、丸型計器を撮影し、静止した画像を取得する。撮像部１１は、取得した画像を抽出部１２に出力する。撮像部１１により動画が撮影される場合は、その動画から静止画像を切り出して抽出部１２に出力する。撮影される画像には、丸型計器以外のものが写っていても良い。
抽出部１２は、入力された画像から、丸型計器が撮影されている領域の候補を抽出する。ここでは、撮像部１１によって撮影され、抽出部１２に入力される画像を、入力画像と呼ぶ。入力画像の一部であって、丸型計器の候補となる領域を、第１候補領域と呼ぶ。第１候補領域は、丸型計器が撮影されていると抽出部１２によって判定された、入力画像の一部である。抽出部１２から出力される第１候補領域は複数であっても良い。
具体的な一例として、抽出部１２は、輪郭抽出部１２ａ及び選定部１２ｂを有する。
輪郭抽出部１２ａは、例えば、入力画像における明度差に基づき、入力画像に含まれる輪郭を抽出する。輪郭を抽出する際に、輪郭抽出部１２ａは、入力画像に適宜処理を加えても良い。例えば、輪郭抽出部１２ａは、入力画像をグレイスケールに変換した後に二値化し、この二値画像から白色で表されている領域の輪郭を抽出する。
選定部１２ｂは、輪郭で囲まれた領域の面積を算出する。複数の輪郭が抽出された場合は、それぞれの領域の面積を算出する。選定部１２ｂは、算出された各面積と所定の閾値とを比較し、面積が閾値以上の領域のみを選定する。これにより、面積が小さすぎる領域が候補から除外される。
また、選定部１２ｂは、輪郭の形状を検出する。選定部１２ｂは、輪郭の形状が円状又は四角形では無い場合、候補から除外する。
これにより、円状又は四角形の輪郭を有し、所定の面積以上の領域が、第１候補領域として選定され、生成部１３へ出力される。
生成部１３は、まず、第１候補領域の外形が円状か四角形であるか判定する。第１候補領域の外形が四角形である場合、その外形を利用して第１候補領域を補正（射影変換）することができる。そのため、生成部１３は、例えば、第１候補領域をそのまま補正部１４へ出力する。なお、円状とは、楕円、卵形、長円形など、巨視的に見て丸みを帯びた形状であることを意味する。
例えば、丸形計器が撮像部１１から離れた位置に配置され、撮像部１１のレンズ面に対して傾いている場合、画像中の丸形計器の外縁は略楕円となる。丸形計器が撮像部１１の近くに配置され、撮像部１１のレンズ面に対して傾いている場合、撮像部１１のレンズ特性等に応じて、画像中の丸形計器の外縁は卵形となる。
第１候補領域の外形が円状である場合、生成部１３は、第１候補領域に外接する長方形を検出する。例えば図２（ａ）に表したように、生成部１３は、第１候補領域Ａ１の点ａ、ｂ、ｃ、及びｄに外接する、長方形Ｒを検出する。次に、生成部１３は、点ａ、ｂ、ｃ、及びｄについて、長方形Ｒの互いに対向する辺上にある点同士を結ぶ。図２（ａ）の例では、点ａと点ｂが結ばれ、点ｃと点ｄが結ばれる。そして、生成部１３は、これらの線分同士の交点を、第１候補領域Ａ１の中心点Ｏ１として検出する。
次に、生成部１３は、例えば第１候補領域Ａ１における輝度差に基づいて、丸型計器の目盛りＳ１を抽出する。続いて、生成部１３は、以下の第１の方法及び第２の方法の少なくともいずれかにより、丸型計器の中心を含む中心領域を検出する。
第１の方法では、生成部１３は、第１候補領域Ａ１内の各領域における目盛りＳ１の密度を検出する。もし第１候補領域Ａ１が歪んでいる場合、目盛りＳ１の密度には、ばらつきが生じる。具体的には、図２（ｂ）に表した領域Ｂ１及び領域Ｂ２のように、撮像部１１に対して、奥に位置している目盛りＳ１ほど、目盛りＳ１同士の間隔が短くなり、密度が高くなる。計器の中心は、密度が低い領域よりも密度が高い領域の近くに存在する。また、領域同士の密度の差が大きいほど、計器の中心は、密度が高い領域のより近くに存在する。生成部１３は、領域同士の密度の差に基づき、丸型計器の中心が存在する可能性が高い中心領域Ｃを検出する。
第２の方法では、生成部１３は、検出された目盛りＳ１に沿う延長線Ｅ１を生成する。そして、図２（ｃ）に表したように、延長線Ｅ１同士の交点が集まった領域を、中心領域Ｃとして検出する。
生成部１３は、第１の方法と第２の方法とを組み合わせて、中心領域Ｃを絞っても良い。
次に、生成部１３は、中心点Ｏ１から距離ｘの所に在る、中心領域Ｃ中の点Ｏ２を、丸型計器の中心点と仮定する。距離ｘの方向は、長方形Ｒの短辺方向（第１候補領域Ａ１の短軸方向）である。生成部１３は、図２（ｄ）に表したように、設定した丸形計器の中心点Ｏ２から第１候補領域Ａ１の外縁までの複数の距離ｒ１、ｒ２、及びｒ３を算出する。
距離ｒ１は、第１候補領域Ａ１の外縁上の点ｅと、点Ｏ２と、の間の距離である。点ｅは、点Ｏ２を通り、長方形Ｒの短辺に平行な線と、第１候補領域Ａ１の外縁と、の交点である。距離ｒ２は、第１候補領域Ａ１の外縁上の点ｆと、点Ｏ２と、の間の距離である。距離ｒ３は、第１候補領域Ａ１の外縁上の点ｇと、点Ｏ２と、の間の距離である。点ｆ及びｇは、点Ｏ２を通り、長方形Ｒの長辺に平行な線と、第１候補領域Ａ１の外縁と、の交点である。
生成部１３は、距離ｒ１〜ｒ３及び撮像部１１の特性に基づいて、第１候補領域Ａ１の外形に応じた四角形Ｑを、第１候補領域Ａ１の周りに生成する。好ましくは、四角形Ｑは、第１候補領域Ａ１の外縁に接している。外接する四角形Ｑを、後述する射影変換に用いることで、第１候補領域Ａ１をより正確に（より真円に近づくように）補正できる。
外接する四角形Ｑの生成方法の一例を説明する。撮像部１１のレンズの焦点距離をｆとする。撮像部１１と点Ｏ２との間の距離をＳＯとする。距離ＳＯは、例えば、撮像部１１の焦点位置に基づいて算出される。撮像部１１の光軸に対する丸形計器の傾きをθとする。丸形計器の実際の半径をＲとする。
距離ｒ１〜ｒ３、焦点距離ｆ、距離ＳＯ、傾きθ、半径Ｒの間には、以下の式（１）〜式（３）が成立する。

ｒ１＝Ｒ・ｆ／ＳＯ （１）
ｒ３＝ｆ・ｃｏｓθ・（ｌｎ（Ｒｓｉｎθ＋ＳＯ）−ｌｎ（ＳＯ）） （２）
ｒ２＝ｆ・ｃｏｓθ・（−ｌｎ（−Ｒｓｉｎθ＋ＳＯ）＋ｌｎ（ＳＯ）） （３）
生成部１３は、距離ｒ１と、事前に取得された焦点距離ｆ及び距離ＳＯと、を式（１）に代入し、半径Ｒを算出する。生成部１３は、半径Ｒ及び距離ｒ２を式（２）に代入し、半径Ｒ及び距離ｒ３を式（３）に代入する。生成部１３は、これらの式を解いて、傾きθを算出する。四角形Ｑの頂点Ｖ１と頂点Ｖ２との間の辺の長さＬｅ１は、以下の式（４）で表される。頂点Ｖ３と頂点Ｖ４との間の辺の長さＬｅ２は、以下の式（５）で表される。

Ｌｅ１＝ｆ・Ｒ／（ＳＯ＋Ｒｓｉｎθ） （４）
Ｌｅ２＝ｆ・Ｒ／（ＳＯ−Ｒｓｉｎθ） （５）
生成部１３は、焦点距離ｆ、距離ＳＯ、半径Ｒ、及び傾きθを式（４）及び式（５）に代入し、長さＬｅ１及びＬｅ２を算出する。生成部１３は、算出された長さＬｅ１及びＬｅ２を有する四角形のうち、面積が最も小さいものを、四角形Ｑとする。生成部１３は、四角形Ｑを補正部１４へ出力する。
補正部１４は、四角形Ｑが正方形となるように射影変換する。これにより、第１候補領域Ａ１の外形が真円に近づくように補正され、例えば図２（ｅ）に表したような第２候補領域Ａ２が生成される。このとき、補正部１４は、第１候補領域Ａ１を規定の大きさに近づけるように、第１候補領域Ａ１の大きさをさらに補正しても良い。なお、生成された第２候補領域Ａ２の外形は、真円でなくても良い。第２候補領域Ａ２の外形が、第１候補領域Ａ１の外形よりも、真円に近ければ良い。
補正部１４は、例えば、生成された第２候補領域Ａ２を読取部１５へ出力する。または、補正部１４は、第２候補領域Ａ２に対して以下の判定を行っても良い。
例えば、補正部１４は、第２候補領域Ａ２の外縁の一部を反転させ、第２候補領域Ａ２の外縁の別の一部と重ね合わせる。補正部１４は、重ね合わせた第２候補領域Ａ２の外縁の一部と第２候補領域Ａ２の外縁の別の一部との間の誤差量を算出し、この誤差量を予め設定された第１閾値と比較する。
例えば図２（ｅ）に表したように、補正部１４は、第２候補領域Ａ２の中心Ｏ３を通り、長方形Ｒの短辺に平行な線分ｉｊを引く。次に、補正部１４は、線分ｉｊの左側の円弧ｉｋｊと、線分ｉｊの右側の円弧ｉｌｊと、の一方を、線分ｉｊを中心として反転させ、他方に重ね合わせる。補正部１４は、重ね合わせた円弧ｈｊｉと円弧ｈｋｉとの間の誤差量を算出し、この誤差量を第１閾値と比較する。
または、補正部１４は、第２候補領域Ａ２の外縁を円で近似する。補正部１４は、近似された円と第２候補領域Ａ２の外縁との誤差量を算出し、この誤差量を第１閾値と比較する。
誤差量が第１閾値未満である場合、補正部１４は、第２候補領域Ａ２を読取部１５へ出力する。この判定を行うことで、より真円に近い（より歪みが小さい）第２候補領域Ａ２のみを読取部１５へ出力することができる。
誤差量が第１閾値以上である場合、例えば、読取システム１は、生成された第２候補領域Ａ２、及びその基となった第１候補領域Ａ１に対する読み取りの処理を終了する。または、より望ましくは、読取システム１は以下の処理を行う。
誤差量が第１閾値以上である場合、補正部１４は、その判定結果を生成部１３へ出力する。生成部１３は、補正部１４から判定結果が入力されると、距離ｘを変化させ、中心領域Ｃの範囲内において、別の点Ｏ２を設定する。生成部１３は、別の点Ｏ２に基づき、別の四角形Ｑを生成する。補正部１４は、別の四角形Ｑを用いて第１候補領域Ａ１を補正して、別の第２候補領域Ａ２を生成する。補正部１４は、この別の第２候補領域Ａ２について、誤差量を算出する。
例えば、補正部１４で誤差量が第１閾値未満と判定されるまで、上述した、四角形Ｑの生成と第２候補領域Ａ２の生成が繰り返される。誤差量が第１閾値未満と判定されると、補正部１４は、その別の第２候補領域Ａ２を、読取部１５へ出力する。
または、入力画像が不鮮明な場合などは、別の複数の第２候補領域Ａ２が生成されても、いずれの誤差量も第１閾値未満とならない可能性がある。この場合、補正部１４は、例えば、極小の誤差量が得られた第２候補領域Ａ２を、読取部１５へ出力する。
読取部１５は、第２候補領域Ａ２から、丸型計器で指示された数値を読み取る。
具体的には、読取部１５は、分割部１５ａ、目盛り認識部１５ｂ、数字認識部１５ｃ、指針認識部１５ｄ、目盛り接合部１５ｅ、及び算出部１５ｆを有する。
分割部１５ａは、図３（ａ）に表したように、第２候補領域Ａ２から、丸型計器の表示盤領域Ｆを抽出する。次に、分割部１５ａは、図３（ｂ）に表したように、表示盤領域Ｆを、目盛りが存在する目盛り領域Ｆ１と、表示盤の数値が存在する数字領域Ｆ２と、表示盤の指針が存在する指針領域Ｆ３と、に分割する。また、分割部１５ａは、表示盤領域Ｆにおける基準線Ｇを決定する。基準線Ｇは、例えば、表示盤領域Ｆの中心から真下に引いた直線である。
例えば、分割部１５ａは、第２候補領域Ａ２から線成分を抽出し、その中からＨｏｕｇｈ変換により最も円らしいものを抽出する。この抽出された円の外周部の領域を目盛り領域Ｆ１とする。また、典型的には、表示盤の背景は、相対的に明るい色（例えば白色）であり、指針及び数字は、相対的に暗い色（例えば黒色）である。さらに、指針は、目盛り及び数字よりも表示盤の中心側に設けられる。これらの点を利用し、分割部１５ａは、目盛り領域Ｆ１以外の領域から、数字領域Ｆ２及び指針領域Ｆ３を抽出する。
目盛り認識部１５ｂは、例えば、目盛り領域Ｆ１における輝度差から、図３（ｂ）に表したように、表示盤の目盛りＳ２を認識する。目盛り認識部１５ｂは、さらに、認識した目盛りＳ２に基づき、第２候補領域Ａ２が適切に補正されているか判定しても良い。例えば、目盛り認識部１５ｂは、周方向に配列された目盛りＳ２を、極座標変換することで一方向に沿って配列させる。次に、目盛り認識部１５ｂは、目盛りＳ２同士の間隔の偏差量、目盛りＳ２の幅の偏差量、及び目盛りＳ２の形状の偏差量の少なくともいずれかを算出する。目盛り認識部１５ｂは、算出した偏差量を予め設定された第２閾値と比較する。
偏差量が第２閾値未満の場合は、丸型計器を読み取るための処理が続けて行われる。上記判定を行うことで、より歪みが小さい表示盤領域Ｆに対してのみ読み取り処理を行うことができ、丸型計器で指示された値の読み取り精度を向上させることができる。
偏差量が第２閾値以上である場合、例えば、読取システム１は、その表示盤領域Ｆに対する読み取りの処理を終了する。または、より望ましくは、読取システム１は以下の処理を行う。
目盛り認識部１５ｂは、偏差量が第２閾値以上である場合、例えば、その判定結果とともに、上記偏差量の少なくともいずれかを生成部１３に出力する。生成部１３は、上記判定結果が入力されると、偏差量に応じて距離ｘを変化させ、中心領域Ｃの範囲内において、別の点Ｏ２を設定する。生成部１３は、別の点Ｏ２に基づき、別の四角形Ｑを生成する。補正部１４は、別の四角形Ｑを用いて第１候補領域Ａ１を補正して、別の第２候補領域Ａ２を生成する。目盛り認識部１５ｂは、この別の第２候補領域Ａ２に基づいて目盛りＳ２を認識し、偏差量を再び算出する。
例えば、読取部１５で偏差量が第２閾値未満と判定されるまで、上述した、四角形Ｑの生成、第２候補領域Ａ２の生成、及び目盛りＳ２の認識が繰り返される。偏差量が第２閾値未満と判定されると、読取部１５は、その表示盤領域Ｆに基づく目盛り領域Ｆ１、数字領域Ｆ２、及び指針領域Ｆ３を用いて、読み取り処理を行う。
または、別の複数の第２候補領域Ａ２が生成されても、いずれの偏差量も第２閾値未満とならない場合がある。この場合、読取部１５は、例えば、極小の偏差量が得られた表示盤領域Ｆに基づく目盛り領域Ｆ１、数字領域Ｆ２、及び指針領域Ｆ３を用いて、読み取り処理を行う。
目盛り認識部１５ｂにおいて、偏差量が第２閾値未満と判定されると、数字認識部１５ｃは、数字領域Ｆ２から数字を切り出す。例えば、図３（ｃ）に表したように、数字認識部１５ｃは、数字領域Ｆ２から数字を含む長方形Ｈを切り出す。数字認識部１５ｃは、その長方形Ｈに含まれる数字を認識する。また、指針認識部１５ｄは、指針領域Ｆ３に含まれる指針Ｉと基準線Ｇとの角度θを検出する。
目盛り接合部１５ｅは、図３（ｄ）に表したように、それぞれの目盛りＳ２を延長した直線Ｅ２と、基準線Ｇと、の間の角度を、それぞれの目盛りの位置情報として抽出する。また、目盛り接合部１５ｅは、認識された各目盛りＳ２に対応する数字を決定する。
算出部１５ｆは、目盛りＳ２の位置情報、目盛りＳ２と数字の対応情報、及び指針の角度に基づき、指針が示す数値を算出する。読取部１５は、例えば、算出された数値を外部へ出力する。
図４は、実施形態に係る読取システムの生成部及び補正部における処理を説明するための模式図である。
生成部１３は、以下の第３方法により、丸形計器の中心を検出しても良い。まず、生成部１３は、図４（ａ）に表したように、第１候補領域Ａ１に外接する長方形Ｒを検出する。第１候補領域Ａ１と長方形Ｒの各接点を点ａ〜ｄとする。点ａと点ｂを結ぶ線分を長軸ａｂとし、点ｃと点ｄを結ぶ線分を短軸ｃｄとする。線分ａｂと線分ｃｄの交点をＯ１とする。生成部１３は、第１候補領域Ａ１における輝度差及びＨｏｕｇｈ変換の結果から、丸形計器の指針Ｉに沿う直線Ｌｍを生成する。生成部１３は、図４（ｂ）に表したように、直線Ｌｍと、第１候補領域Ａ１の短軸（線分ｃｄ）と、の交点を、丸形計器の中心Ｏ２とする。
生成部１３は、例えば以下の方法により直線Ｌｍを生成する。まず、生成部１３は、Ｈｏｕｇｈ変換の結果から、第１候補領域Ａ１のサイズに基づく所定の長さ以上の線分を１つ以上抽出する。次に、生成部１３は、抽出されたそれぞれの線分を延伸させ、円形メータの中心と推定される領域を通過する直線を、直線Ｌｍとして抽出する。なお、円形メータの中心と推定される領域は、例えば、図４（ａ）に表した外接長方形Ｒの長軸ａｂと短軸ｃｄの交点Ｏ１近傍に設定される。
なお、上述した方法により指針Ｉに沿う直線を生成した場合、図４（ｃ）に表したように、指針Ｉの両端にそれぞれ沿う２本の直線Ｌｍ１及びＬｍ２が生成される場合がある。この場合、生成部１３は、直線Ｌｍ１及びＬｍ２の間の中心を通る直線を生成し、この直線を直線Ｌｍとする。
生成部１３は、この第３の方法により設定された中心を基に、図２（ｄ）に表した距離ｒ１〜ｒ３を算出し、四角形Ｑを生成する。この場合、丸形計器の中心をより正確に求めることができる。従って、補正部１４による誤差量の算出、目盛り認識部１５ｂによる偏差量の算出等を省略しても良い。
図５〜図７は、実施形態に係る読取システムの動作を表すフローチャートである。
なお、図６は、図５におけるステップＳ１３の詳細な動作を表すフローチャートである。図７は、図５におけるステップＳ１４及びＳ１５の詳細な動作を表すフローチャートである。
図５に表したように、読取システム１は、まず、撮像部１１により丸型計器を含む画像を取得する（ステップＳ１１）。輪郭抽出部１２ａは、入力画像に含まれる輪郭を抽出する（ステップＳ１２ａ）。選定部１２ｂは、輪郭で囲まれた領域の面積を算出する。選定部１２ｂは、輪郭の形状を検出する。選定部１２ｂは、面積が閾値以上であり、輪郭が円状又は四角形の領域のみを選定する（ステップＳ１２ｂ）。選定部１２ｂは、選定された領域を、第１候補領域として生成部１３へ出力する。
次に、第１候補領域に外接する四角形の生成（ステップＳ１３）、第２候補領域の生成（ステップＳ１４）、及び指示値の読み取り（ステップＳ１５）が行われる。その後、第１候補領域が他にあるか判定される（ステップＳ１６）。別の第１候補領域が在る場合、その第１候補領域について、ステップＳ１３が行われる。
ステップＳ１３では、図６に表したように、生成部１３が、第１候補領域の外形が円状か判定する（ステップＳ１３ａ）。第１候補領域の外形が円状である場合、生成部１３は、第１候補領域に外接する長方形を生成する（ステップＳ１３ｂ）。生成部１３は、第１候補領域及び外接する長方形から、第１候補領域の中心点を検出する（ステップＳ１３ｃ）。生成部１３は、丸型計器の中心を含む中心領域を検出する（ステップＳ１３ｄ）。生成部１３は、中心領域中のある点を丸型計器の中心点と仮定する（ステップＳ１３ｅ）。生成部１３は、この仮想の中心点を用いて、第１候補領域の周りに四角形を生成する（ステップＳ１３ｆ）。
ステップＳ１４では、図７に表したように、補正部１４が、四角形を用いて第１候補領域を補正し、第２候補領域を生成する（ステップＳ１４ａ）。補正部１４は、第２候補領域について誤差量を算出し、その誤差量と第１閾値を比較する（ステップＳ１４ｂ）。誤差量が第１閾値以上である場合、ステップＳ１３ｅに戻り、別の仮想の中心点を設定する。
分割部１５ａは、第２候補領域から丸型計器の表示盤領域を抽出し、目盛り領域と、数字領域と、指針領域と、に分割する（ステップＳ１５ａ）。目盛り認識部１５ｂは、表示盤の目盛りを認識する（ステップＳ１５ｂ１）。目盛り認識部１５ｂは、認識した目盛りについて偏差量を算出し、この偏差量を第２閾値と比較する（ステップＳ１５ｂ２）。偏差量が第２閾値以上である場合、ステップＳ１３ｅに戻り、別の仮想の中心点を設定する。
数字認識部１５ｃは、数字領域から数字を認識する（ステップＳ１５ｃ）。指針認識部１５ｄは、指針領域に含まれる指針の角度を検出する（ステップＳ１５ｄ）。目盛り接合部１５ｅは、目盛りの位置情報、及び目盛りと数字の対応情報を抽出する（ステップＳ１５ｅ）。算出部１５ｆは、目盛りの位置情報、目盛りと数字の対応情報、及び指針の角度から、丸型計器で指示された値を算出する（ステップＳ１５ｆ）。その後、第１候補領域が他にあるか判定される（ステップＳ１６）。別の第１候補領域が在る場合、その第１候補領域について、ステップＳ１３ａが行われる。
実施形態の効果を説明する。
丸型計器の数値を読み取るための読取システムでは、入力画像における丸型計器が歪んでいる場合、例えば、丸型計器に附帯する長方形の外枠を利用して、画像を補正する。画像の歪みや大きさが適切に補正されることで、丸型計器において指示された数値をより高精度に読み取ることが可能となる。しかし、丸型計器には、長方形の外枠が設けられていないものも存在する。その場合、従来の手法では、画像を適切に補正出来ず、丸型計器の指示値の読み取り精度が低下する。
この課題について、本実施形態では、読取システム１が生成部１３を備える。生成部１３は、第１候補領域の外形が円状である場合、その周りに四角形を生成する。生成部１３により四角形が生成されることで、この外接四角形を用いて第１候補領域を補正することが可能となる。
従って、本実施形態によれば、丸型計器が長方形の外枠を備えていない場合でも、第１候補領域を適切に補正し、丸型計器で指示された数値をより高精度に読み取ることが可能となる。
また、読取システム１では、補正部１４により、第１候補領域が適切に補正されているか、第２候補領域の誤差量に基づいて判定される。この判定が行われることで、より歪みの小さい画像に対して指示値の読み取りを行うことができ、読み取り精度が向上する。
さらに、読取システム１では、読取部１５により、第１候補領域が適切に補正されているか、第２候補領域から抽出される目盛りの偏差量に基づいて判定される。この判定が行われることで、上記と同様に、より歪みの小さい画像に対して指示値の読み取りを行うことができ、読み取り精度が向上する。
図８は、実施形態に係る読取システムを実現するためのハードウェア構成を表すブロック図である。
例えば、実施形態に係る読取システムは、図８に表した読取装置５及び撮像装置６から構成される。読取装置５は、例えばコンピュータであり、ＲＯＭ(Read Only Memory)５１、ＲＡＭ(Random Access Memory)５２、ＣＰＵ(Central Processing Unit)５３、およびＨＤＤ(Hard Disk Drive)５４を有する。
ＲＯＭ５１は、コンピュータの動作を制御するプログラムを格納している。ＲＯＭ５１には、コンピュータを、上述した実施形態における、抽出部、変換部、補正部、読取部などとして機能させるために必要なプログラムが格納されている。
ＲＡＭ５２は、ＲＯＭ５１に格納されたプログラムが展開される記憶領域として機能する。ＣＰＵ５３は、ＲＯＭ５１に格納された制御プログラムを読み込み、当該制御プログラムに従ってコンピュータの動作を制御する。また、ＣＰＵ５３は、コンピュータの動作によって得られた様々なデータをＲＡＭ５２に展開する。ＨＤＤ５４は、読み取りに必要な情報や、読み取りの過程で得られた情報を記憶する。
また、読取装置５は、ＨＤＤ５４に代えて、ｅＭＭＣ（embedded Multi Media Card）、ＳＳＤ（Solid State Drive）、ＳＳＨＤ（Solid State Hybrid Drive）などを有していても良い。
撮像装置６は、被写体（丸型計器）を撮影し、取得した画像を読取装置５へ送信する。撮像装置６は、例えば、カメラである。
出力装置７は、読取装置５から出力されたデータ（読み取られた丸型計器の指示値）を、ユーザが認識できるように出力する。出力装置７は、例えば、モニタ、プリンタ、またはスピーカなどである。
読取装置５、撮像装置６、及び出力装置７は、例えば、有線又は無線で相互に接続される。または、これらはネットワークを介して相互に接続されていても良い。あるいは、読取装置５、撮像装置６、及び出力装置７の少なくとも２つが、１つの装置に組み込まれていても良い。例えば、読取装置５が、撮像装置６の画像処理部などと一体に組み込まれていても良い。
以上で説明した実施形態に係る読取システム及び読取方法を用いることで、計器において指示された数値を、より高精度に読み取ることが可能となる。同様に、コンピュータを、読取システムとして動作させるためのプログラムを用いることで、計器で指示された数値を、より高精度にコンピュータに読み取らせることが可能となる。
以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。
１ 読取システム、 ５ 読取装置、 ６ 撮像装置、 ７ 出力装置、 １１ 撮像部、 １２ 抽出部、 １２ａ 輪郭抽出部、 １２ｂ 選定部、 １３ 生成部、 １４ 補正部、 １５ 読取部、 １５ａ 分割部、 １５ｂ 目盛り認識部、 １５ｃ 数字認識部、 １５ｄ 指針認識部、 １５ｅ 目盛り接合部、 １５ｆ 算出部、 Ａ１ 第１候補領域、 Ａ２ 第２候補領域、 Ｂ１、Ｂ２ 領域、 Ｃ 中心領域、 Ｅ１ 延長線、 Ｅ２ 直線、 Ｆ 表示盤領域、 Ｆ１ 目盛り領域、 Ｆ２ 数字領域、 Ｆ３ 指針領域、 Ｇ 基準線、 Ｈ 長方形、 Ｉ 指針、 Ｌｍ、Ｌｍ１、Ｌｍ２ 直線、 Ｏ１ 中心点、 Ｏ２ 点、 Ｏ３ 中心、 Ｑ 四角形、 Ｒ 長方形、 Ｓ１、Ｓ２ 目盛り

Claims (35)

  1. 入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出する抽出部と、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成する生成部と、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成する補正部と、
    前記第２候補領域から計器で指示された数値を読み取る読取部と、
    を備え、
    前記補正部は、
    前記第２候補領域の外縁を円で近似し、
    近似された前記円と前記第２候補領域の外縁との間の誤差量を算出し、
    前記誤差量が予め設定された第１閾値未満の場合、前記第２候補領域を前記読取部へ出力し、
    前記誤差量が前記第１閾値以上の場合、前記生成部は、前記第１候補領域の周りに別の前記四角形を生成し、
    前記補正部は、
    別の前記四角形を用いて前記第１候補領域を補正することで、別の前記第２候補領域を生成し、
    別の前記第２候補領域に基づく前記誤差量が前記第１閾値未満の場合、別の前記第２候補領域を前記読取部へ出力する、
    読取システム。
  2. 入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出する抽出部と、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成する生成部と、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成する補正部と、
    前記第２候補領域から計器で指示された数値を読み取る読取部と、
    を備え、
    前記補正部は、
    反転させた前記第２候補領域の外縁の一部を、前記第２候補領域の外縁の別の一部と重ね合わせて誤差量を算出し、
    前記誤差量が予め設定された第１閾値未満の場合、前記第２候補領域を前記読取部へ出力し、
    前記誤差量が前記第１閾値以上の場合、前記生成部は、前記第１候補領域の周りに別の前記四角形を生成し、
    前記補正部は、
    別の前記四角形を用いて前記第１候補領域を補正することで、別の前記第２候補領域を生成し、
    別の前記第２候補領域に基づく前記誤差量が前記第１閾値未満の場合、別の前記第２候補領域を前記読取部へ出力する、
    読取システム。
  3. 入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出する抽出部と、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成する生成部と、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成する補正部と、
    前記第２候補領域から計器で指示された数値を読み取る読取部と、
    を備え、
    前記補正部は、
    前記第２候補領域の外縁を円で近似し、
    近似された前記円と前記第２候補領域の外縁との間の誤差量を算出し、
    前記誤差量が予め設定された第１閾値未満の場合、前記第２候補領域を前記読取部へ出力し、
    前記誤差量が前記第１閾値以上の場合、前記生成部は、前記第１候補領域の周りに別の複数の前記四角形を生成し、
    前記補正部は、
    別の複数の前記四角形を用いて前記第１候補領域を補正することで、別の複数の前記第２候補領域を生成し、
    別の複数の前記第２候補領域に基づいて複数の前記誤差量を算出し、極小の前記誤差量が得られた別の前記第２候補領域を前記読取部へ出力する、
    読取システム。
  4. 入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出する抽出部と、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成する生成部と、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成する補正部と、
    前記第２候補領域から計器で指示された数値を読み取る読取部と、
    を備え、
    前記補正部は、
    反転させた前記第２候補領域の外縁の一部を、前記第２候補領域の外縁の別の一部と重ね合わせて誤差量を算出し、
    前記誤差量が予め設定された第１閾値未満の場合、前記第２候補領域を前記読取部へ出力し、
    前記誤差量が前記第１閾値以上の場合、前記生成部は、前記第１候補領域の周りに別の複数の前記四角形を生成し、
    前記補正部は、
    別の複数の前記四角形を用いて前記第１候補領域を補正することで、別の複数の前記第２候補領域を生成し、
    別の複数の前記第２候補領域に基づいて複数の前記誤差量を算出し、極小の前記誤差量が得られた別の前記第２候補領域を前記読取部へ出力する、
    読取システム。
  5. 入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出する抽出部と、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成する生成部と、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成する補正部と、
    前記第２候補領域から計器で指示された数値を読み取る読取部と、
    を備え、
    前記読取部は、
    前記第２候補領域から複数の目盛りを認識し、
    前記目盛り同士の間隔、それぞれの前記目盛りの幅、及び前記目盛り同士の間の角度の少なくともいずれかの偏差量を算出し、
    前記偏差量が予め設定された閾値未満の場合、前記第２候補領域から計器の数値を読み取り、
    前記偏差量が前記閾値以上の場合、前記生成部は、前記第１候補領域の周りに別の前記四角形を生成し、
    前記補正部は、別の前記四角形を用いて前記第１候補領域を補正することで、別の前記第２候補領域を生成し、
    前記読取部は、別の前記第２候補領域に基づく前記偏差量が前記閾値未満の場合、別の前記第２候補領域から計器の数値を読み取る読取システム。
  6. 入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出する抽出部と、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成する生成部と、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成する補正部と、
    前記第２候補領域から計器で指示された数値を読み取る読取部と、
    を備え、
    前記読取部は、
    前記第２候補領域から複数の目盛りを認識し、
    前記目盛り同士の間隔、それぞれの前記目盛りの幅、及び前記目盛り同士の間の角度の少なくともいずれかの偏差量を算出し、
    前記偏差量が予め設定された閾値未満の場合、前記第２候補領域から計器の数値を読み取り、
    前記偏差量が前記閾値以上の場合、前記生成部は、前記第１候補領域の周りに別の複数の前記四角形を生成し、
    前記補正部は、別の複数の前記四角形を用いて前記第１候補領域を補正することで、別の複数の前記第２候補領域を生成し、
    前記読取部は、別の複数の前記第２候補領域に基づいて複数の前記偏差量を算出し、極小の前記偏差量が得られた別の前記第２候補領域から計器の数値を読み取る読取システム。
  7. 前記生成部は、内角が互いに異なる前記四角形を生成し、
    前記補正部は、生成された前記四角形を正方形にすることで、前記第１候補領域の外形を真円に近づけるように補正する請求項１〜６のいずれか１つに記載の読取システム。
  8. 前記補正部は、生成された前記四角形を射影変換することで、前記第１候補領域の前記外形を真円に近づけるように補正する請求項１〜７のいずれか１つに記載の読取システム。
  9. 前記生成部は、前記第１候補領域の外形が円状である場合に、
    前記第１候補領域における目盛りの密度、目盛りの延長線同士の交点、及び前記第１候補領域における指針と短軸との交点、の少なくともいずれかを用いて、計器の中心点を設定し、
    前記中心点から前記第１候補領域の外縁までの複数の距離を用いて前記四角形を生成する、
    請求項１〜８のいずれか１つに記載の読取システム。
  10. 前記生成部は、前記第１候補領域に外接する前記四角形を生成する請求項１〜９のいずれか１つに記載の読取システム。
  11. 計器を撮影して取得された前記入力画像を、前記抽出部へ送信する撮像部をさらに備えた請求項１〜１０のいずれか１つに記載の読取システム。
  12. 前記撮像部は、計器が写った動画を撮影し、前記動画から前記入力画像を切り出す請求項１１記載の読取システム。
  13. 入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出し、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成し、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成し、
    前記第２候補領域から計器で指示された数値を読み取る読取方法であって、
    前記補正の後に、
    前記第２候補領域の外縁を円で近似し、
    近似された前記円と前記第２候補領域の外縁との間の誤差量を算出し、
    前記誤差量が予め設定された第１閾値未満の場合、前記第２候補領域から計器で指示された数値を読み取り、
    前記誤差量が前記第１閾値以上の場合、
    前記第１候補領域の周りに別の前記四角形を生成し、
    別の前記四角形を用いて前記第１候補領域を補正することで、別の前記第２候補領域を生成し、
    別の前記第２候補領域に基づく前記誤差量が前記第１閾値未満の場合、別の前記第２候補領域から計器で指示された数値を読み取る、
    読取方法。
  14. 入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出し、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成し、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成し、
    前記第２候補領域から計器で指示された数値を読み取る読取方法であって、
    前記補正の後に、
    反転させた前記第２候補領域の外縁の一部を、前記第２候補領域の外縁の別の一部と重ね合わせて誤差量を算出し、
    前記誤差量が予め設定された第１閾値未満の場合、前記第２候補領域から計器で指示された数値を読み取り、
    前記誤差量が前記第１閾値以上の場合、
    前記第１候補領域の周りに別の前記四角形を生成し、
    別の前記四角形を用いて前記第１候補領域を補正することで、別の前記第２候補領域を生成し、
    別の前記第２候補領域に基づく前記誤差量が前記第１閾値未満の場合、別の前記第２候補領域から計器で指示された数値を読み取る、
    読取方法。
  15. 入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出し、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成し、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成し、
    前記第２候補領域から計器で指示された数値を読み取る読取方法であって、
    前記補正の後に、
    前記第２候補領域の外縁を円で近似し、
    近似された前記円と前記第２候補領域の外縁との間の誤差量を算出し、
    前記誤差量が予め設定された第１閾値未満の場合、前記第２候補領域から計器で指示された数値を読み取り、
    前記誤差量が前記第１閾値以上の場合、
    前記第１候補領域の周りに別の複数の前記四角形を生成し、
    別の複数の前記四角形を用いて前記第１候補領域を補正することで、別の複数の前記第２候補領域を生成し、
    別の複数の前記第２候補領域に基づいて複数の前記誤差量を算出し、極小の前記誤差量が得られた別の前記第２候補領域から計器で指示された数値を読み取る、
    読取方法。
  16. 入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出し、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成し、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成し、
    前記第２候補領域から計器で指示された数値を読み取る読取方法であって、
    前記補正の後に、
    反転させた前記第２候補領域の外縁の一部を、前記第２候補領域の外縁の別の一部と重ね合わせて誤差量を算出し、
    前記誤差量が予め設定された第１閾値未満の場合、前記第２候補領域から計器で指示された数値を読み取り、
    前記誤差量が前記第１閾値以上の場合、
    前記第１候補領域の周りに別の複数の前記四角形を生成し、
    別の複数の前記四角形を用いて前記第１候補領域を補正することで、別の複数の前記第２候補領域を生成し、
    別の複数の前記第２候補領域に基づいて複数の前記誤差量を算出し、極小の前記誤差量が得られた別の前記第２候補領域から計器で指示された数値を読み取る、
    読取方法。
  17. 入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出し、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成し、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成し、
    前記第２候補領域から計器で指示された数値を読み取る読取方法であって、
    前記数値を読み取る際に、
    前記第２候補領域から複数の目盛りを認識し、
    前記目盛り同士の間隔、それぞれの前記目盛りの幅、及び前記目盛り同士の間の角度の少なくともいずれかの偏差量を算出し、
    前記偏差量が予め設定された閾値未満の場合、前記第２候補領域から計器の数値を読み取り、
    前記偏差量が前記閾値以上の場合、
    前記第１候補領域の周りに別の前記四角形を生成し、
    別の前記四角形を用いて前記第１候補領域を補正することで、別の前記第２候補領域を生成し、
    別の前記第２候補領域に基づく前記偏差量が前記閾値未満の場合、別の前記第２候補領域から計器の数値を読み取る、
    読取方法。
  18. 入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出し、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成し、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成し、
    前記第２候補領域から計器で指示された数値を読み取る読取方法であって、
    前記数値を読み取る際に、
    前記第２候補領域から複数の目盛りを認識し、
    前記目盛り同士の間隔、それぞれの前記目盛りの幅、及び前記目盛り同士の間の角度の少なくともいずれかの偏差量を算出し、
    前記偏差量が予め設定された閾値未満の場合、前記第２候補領域から計器の数値を読み取り、
    前記偏差量が前記閾値以上の場合、
    前記第１候補領域の周りに別の複数の前記四角形を生成し、
    別の複数の前記四角形を用いて前記第１候補領域を補正することで、別の複数の前記第２候補領域を生成し、
    別の複数の前記第２候補領域に基づいて複数の前記偏差量を算出し、極小の前記偏差量が得られた別の前記第２候補領域から計器の数値を読み取る、
    読取方法。
  19. 内角が互いに異なる前記四角形を生成し、
    生成された前記四角形を正方形にすることで、前記第１候補領域の外形を真円に近づけるように補正する請求項１３〜１８のいずれか１つに記載の読取方法。
  20. 生成された前記四角形を射影変換することで、前記第１候補領域の前記外形を真円に近づけるように補正する請求項１３〜１９のいずれか１つに記載の読取方法。
  21. 前記第１候補領域に外接する前記四角形を生成する請求項１３〜２０のいずれか１つに記載の読取方法。
  22. 前記第１候補領域の外形が円状である場合に、
    前記第１候補領域における目盛りの密度、目盛りの延長線同士の交点、及び前記第１候補領域における指針と短軸との交点、の少なくともいずれかを用いて、計器の中心点を設定し、
    前記中心点から前記第１候補領域の外縁までの複数の距離を用いて前記四角形を生成する、
    請求項１３〜２１のいずれか１つに記載の読取方法。
  23. 計器を撮影して前記入力画像を取得し、
    取得した前記入力画像から前記第１候補領域を抽出する請求項１３〜２２のいずれか１つに記載の読取方法。
  24. 計器が写った動画を撮影し、前記動画から前記入力画像を切り出す請求項２３記載の読取方法。
  25. コンピュータに、
    入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出させ、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成させ、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成させ、
    前記第２候補領域から計器で指示された数値を読み取らせる、
    プログラムであって、
    前記補正の後に、
    前記第２候補領域の外縁を円で近似させ、
    近似された前記円と前記第２候補領域の外縁との間の誤差量を算出させ、
    前記誤差量が予め設定された第１閾値未満の場合、前記第２候補領域から計器で指示された数値を読み取らせ、
    前記誤差量が前記第１閾値以上の場合、
    前記第１候補領域の周りに別の前記四角形を生成させ、
    別の前記四角形を用いて前記第１候補領域を補正することで、別の前記第２候補領域を生成させ、
    別の前記第２候補領域に基づく前記誤差量が前記第１閾値未満の場合、別の前記第２候補領域から計器で指示された数値を読み取らせる、
    プログラム。
  26. コンピュータに、
    入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出させ、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成させ、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成させ、
    前記第２候補領域から計器で指示された数値を読み取らせる、
    プログラムであって、
    前記補正の後に、
    反転させた前記第２候補領域の外縁の一部を、前記第２候補領域の外縁の別の一部と重ね合わせて誤差量を算出させ、
    前記誤差量が予め設定された第１閾値未満の場合、前記第２候補領域から計器で指示された数値を読み取らせ、
    前記誤差量が前記第１閾値以上の場合、
    前記第１候補領域の周りに別の前記四角形を生成させ、
    別の前記四角形を用いて前記第１候補領域を補正することで、別の前記第２候補領域を生成させ、
    別の前記第２候補領域に基づく前記誤差量が前記第１閾値未満の場合、別の前記第２候補領域から計器で指示された数値を読み取らせる、
    プログラム。
  27. コンピュータに、
    入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出させ、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成させ、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成させ、
    前記第２候補領域から計器で指示された数値を読み取らせる、
    プログラムであって、
    前記補正の後に、
    前記第２候補領域の外縁を円で近似させ、
    近似された前記円と前記第２候補領域の外縁との間の誤差量を算出させ、
    前記誤差量が予め設定された第１閾値未満の場合、前記第２候補領域から計器で指示された数値を読み取らせ、
    前記誤差量が前記第１閾値以上の場合、
    前記第１候補領域の周りに別の複数の前記四角形を生成させ、
    別の複数の前記四角形を用いて前記第１候補領域を補正することで、別の複数の前記第２候補領域を生成させ、
    別の複数の前記第２候補領域に基づいて複数の前記誤差量を算出し、極小の前記誤差量が得られた別の前記第２候補領域から計器で指示された数値を読み取らせる、
    プログラム。
  28. コンピュータに、
    入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出させ、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成させ、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成させ、
    前記第２候補領域から計器で指示された数値を読み取らせる、
    プログラムであって、
    前記補正の後に、
    反転させた前記第２候補領域の外縁の一部を、前記第２候補領域の外縁の別の一部と重ね合わせて誤差量を算出させ、
    前記誤差量が予め設定された第１閾値未満の場合、前記第２候補領域から計器で指示された数値を読み取らせ、
    前記誤差量が前記第１閾値以上の場合、
    前記第１候補領域の周りに別の複数の前記四角形を生成させ、
    別の複数の前記四角形を用いて前記第１候補領域を補正することで、別の複数の前記第２候補領域を生成させ、
    別の複数の前記第２候補領域に基づいて複数の前記誤差量を算出し、極小の前記誤差量が得られた別の前記第２候補領域から計器で指示された数値を読み取らせる、
    プログラム。
  29. コンピュータに、
    入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出させ、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成させ、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成させ、
    前記第２候補領域から計器で指示された数値を読み取らせる、
    プログラムであって、
    前記数値を読み取る際に、
    前記第２候補領域から複数の目盛りを認識させ、
    前記目盛り同士の間隔、それぞれの前記目盛りの幅、及び前記目盛り同士の間の角度の少なくともいずれかの偏差量を算出させ、
    前記偏差量が予め設定された閾値未満の場合、前記第２候補領域から計器の数値を読み取らせ、
    前記偏差量が前記閾値以上の場合、
    前記第１候補領域の周りに別の前記四角形を生成させ、
    別の前記四角形を用いて前記第１候補領域を補正することで、別の前記第２候補領域を生成させ、
    別の前記第２候補領域に基づく前記偏差量が前記閾値未満の場合、別の前記第２候補領域から計器の数値を読み取らせる、
    プログラム。
  30. コンピュータに、
    入力画像から、計器が撮影された領域の候補となる第１候補領域を抽出させ、
    前記第１候補領域の外形が円状である場合に、前記第１候補領域の外形に応じた四角形を、前記第１候補領域の周りに生成させ、
    生成された前記四角形を用いて、前記第１候補領域の外形を真円に近づけるように補正することで、第２候補領域を生成させ、
    前記第２候補領域から計器で指示された数値を読み取らせる、
    プログラムであって、
    前記数値を読み取る際に、
    前記第２候補領域から複数の目盛りを認識させ、
    前記目盛り同士の間隔、それぞれの前記目盛りの幅、及び前記目盛り同士の間の角度の少なくともいずれかの偏差量を算出させ、
    前記偏差量が予め設定された閾値未満の場合、前記第２候補領域から計器の数値を読み取らせ、
    前記偏差量が前記閾値以上の場合、
    前記第１候補領域の周りに別の複数の前記四角形を生成させ、
    別の複数の前記四角形を用いて前記第１候補領域を補正することで、別の複数の前記第２候補領域を生成させ、
    別の複数の前記第２候補領域に基づいて複数の前記偏差量を算出し、極小の前記偏差量が得られた別の前記第２候補領域から計器の数値を読み取らせる、
    プログラム。
  31. 前記コンピュータに、
    内角が互いに異なる前記四角形を生成させ、
    生成された前記四角形を正方形にすることで、前記第１候補領域の外形を真円に近づけるように補正させる、
    請求項２５〜３０のいずれか１つに記載のプログラム。
  32. 前記コンピュータに、生成された前記四角形を射影変換させることで、前記第１候補領域の前記外形を真円に近づけるように補正させる請求項２５〜３１のいずれか１つに記載のプログラム。
  33. 前記コンピュータに、前記第１候補領域の外形が円状である場合に、
    前記第１候補領域における目盛りの密度、目盛りの延長線同士の交点、及び前記第１候補領域における指針と短軸との交点、の少なくともいずれかを用いて、計器の中心点を設定させ、
    前記中心点から前記第１候補領域の外縁までの複数の距離を用いて前記四角形を生成させる、
    請求項２５〜３２のいずれか１つに記載のプログラム。
  34. 前記コンピュータに、前記第１候補領域に外接する前記四角形を生成させる請求項２５〜３３のいずれか１つに記載のプログラム。
  35. 請求項２５〜３４のいずれか１つに記載のプログラムを記憶した記憶媒体。
JP2018130053A 2018-03-23 2018-07-09 読取システム、読取方法、プログラム、及び記憶媒体 Active JP6730379B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980019593.7A CN111868740B (zh) 2018-03-23 2019-02-20 读取系统、读取方法及存储介质
PCT/JP2019/006228 WO2019181337A1 (ja) 2018-03-23 2019-02-20 読取システム、読取方法、及び記憶媒体
US17/020,282 US11386640B2 (en) 2018-03-23 2020-09-14 Reading system, reading method, and storage medium
US17/749,771 US12080037B2 (en) 2018-03-23 2022-05-20 Reading system, reading method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018056702 2018-03-23
JP2018056702 2018-03-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020113694A Division JP2020161188A (ja) 2018-03-23 2020-07-01 読取システム、読取方法、プログラム、及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2019169116A JP2019169116A (ja) 2019-10-03
JP6730379B2 true JP6730379B2 (ja) 2020-07-29

Family

ID=68108393

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018130053A Active JP6730379B2 (ja) 2018-03-23 2018-07-09 読取システム、読取方法、プログラム、及び記憶媒体
JP2020113694A Pending JP2020161188A (ja) 2018-03-23 2020-07-01 読取システム、読取方法、プログラム、及び記憶媒体
JP2022064916A Pending JP2022092004A (ja) 2018-03-23 2022-04-11 計算装置、処理方法、プログラム、及び記憶媒体

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020113694A Pending JP2020161188A (ja) 2018-03-23 2020-07-01 読取システム、読取方法、プログラム、及び記憶媒体
JP2022064916A Pending JP2022092004A (ja) 2018-03-23 2022-04-11 計算装置、処理方法、プログラム、及び記憶媒体

Country Status (3)

Country Link
US (1) US11386640B2 (ja)
JP (3) JP6730379B2 (ja)
CN (1) CN111868740B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181337A1 (ja) 2018-03-23 2019-09-26 株式会社 東芝 読取システム、読取方法、及び記憶媒体
JP6730379B2 (ja) * 2018-03-23 2020-07-29 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体
JP6609345B2 (ja) 2018-04-27 2019-11-20 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体
JP6818002B2 (ja) 2018-12-12 2021-01-20 株式会社東芝 読取支援システム、移動体、読取支援方法、プログラム、及び記憶媒体
JP6763060B1 (ja) 2019-05-27 2020-09-30 株式会社東芝 読取システム、移動体、読取方法、プログラム、及び記憶媒体
CN111126371B (zh) * 2019-11-22 2022-08-30 重庆大学 一种基于图像处理的粗指针表盘示数读取方法
JP7552048B2 (ja) 2020-03-25 2024-09-18 日本電気株式会社 画像処理装置、画像処理方法、プログラム
JP2023010338A (ja) * 2021-07-09 2023-01-20 株式会社東芝 情報処理装置およびコンピュータプログラム
JP7231877B1 (ja) 2022-08-31 2023-03-02 岩崎通信機株式会社 角度計測装置、角度計測方法、角度計測プログラム
JP7219413B1 (ja) 2022-08-31 2023-02-08 岩崎通信機株式会社 角度計測装置、角度計測方法、角度計測プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3035916U (ja) * 1996-09-19 1997-04-08 原子力システム株式会社 プラント監視装置
JP4196883B2 (ja) * 2004-05-31 2008-12-17 セイコーエプソン株式会社 画像処理方法、及び装置
US20050219632A1 (en) 2003-09-26 2005-10-06 Seiko Epson Corporation Image processing system and image processing method
US7349588B2 (en) * 2004-08-25 2008-03-25 Avago Technologies Ecbu Ip Pte Ltd Automatic meter reading
JP4787584B2 (ja) * 2004-09-27 2011-10-05 財団法人電力中央研究所 アナログメータの自動読取方法および装置およびプログラム
US7400350B2 (en) * 2005-01-07 2008-07-15 Micron Technology, Inc. System and method for collecting images of a monitored device
JP3799408B1 (ja) 2005-10-18 2006-07-19 国立大学法人山口大学 画像処理装置および画像処理方法
JP3998215B1 (ja) * 2007-03-29 2007-10-24 国立大学法人山口大学 画像処理装置、画像処理方法及び画像処理プログラム
CN100559131C (zh) * 2008-07-22 2009-11-11 中国计量学院 一种指针式仪表自动检定方法
JP5075182B2 (ja) * 2009-10-20 2012-11-14 楽天株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP5712801B2 (ja) 2011-06-06 2015-05-07 株式会社明電舎 画像特徴量抽出装置及びこれを用いた画像処理によるマーカ検出装置
US10430656B2 (en) * 2011-08-31 2019-10-01 Utility Meter Reader, Llc Analog utility meter reading
KR102255831B1 (ko) * 2014-03-26 2021-05-25 삼성전자주식회사 초음파 장치 및 초음파 장치의 영상 인식 방법
US9927257B2 (en) * 2014-10-16 2018-03-27 Sensus Spectrum, Llc Method, apparatus, and system for initializing a meter reading device
JP2017126187A (ja) * 2016-01-14 2017-07-20 株式会社明電舎 メータ読取装置
JP6505767B2 (ja) 2016-11-09 2019-04-24 株式会社東芝 データ収集システム、処理システム、プログラム、および記憶媒体
CN112198850A (zh) 2016-11-09 2021-01-08 株式会社东芝 数据收集系统、处理系统以及存储介质
CN106529559A (zh) * 2016-12-30 2017-03-22 山东鲁能软件技术有限公司 一种指针式圆形多仪表盘实时读数识别方法
CN107066998A (zh) * 2016-12-30 2017-08-18 山东鲁能软件技术有限公司 一种利用移动设备的指针式圆形单仪表盘实时识别方法
CN107092863A (zh) * 2017-03-24 2017-08-25 重庆邮电大学 一种变电站巡检机器人的指针式仪表读数识别方法
CN106951900B (zh) * 2017-04-13 2019-10-22 杭州申昊科技股份有限公司 一种避雷器仪表读数的自动识别方法
CN107590498B (zh) * 2017-09-27 2020-09-01 哈尔滨工业大学 一种基于字符分割级联二分类器的自适应汽车仪表检测方法
JP6730379B2 (ja) * 2018-03-23 2020-07-29 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体

Also Published As

Publication number Publication date
JP2020161188A (ja) 2020-10-01
JP2019169116A (ja) 2019-10-03
JP2022092004A (ja) 2022-06-21
CN111868740B (zh) 2024-07-26
US20210012140A1 (en) 2021-01-14
US11386640B2 (en) 2022-07-12
CN111868740A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
JP6730379B2 (ja) 読取システム、読取方法、プログラム、及び記憶媒体
JP6394005B2 (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
JP6609345B2 (ja) 読取システム、読取方法、プログラム、及び記憶媒体
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
CN111314689B (zh) 识别影像中前景物件的方法与电子装置
WO2019159414A1 (ja) 読取システム、読取方法、及び記憶媒体
JP2023525535A (ja) ３次元画像内の表面特徴を識別する方法及び装置
JP5882929B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5857712B2 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP7355601B2 (ja) 計算装置、処理方法、プログラム、及び記憶媒体
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
WO2019159415A1 (ja) 読取システム
WO2019181337A1 (ja) 読取システム、読取方法、及び記憶媒体
JP7183020B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2019145182A (ja) 読取システム、読取方法、プログラム、及び記憶媒体
JP6684947B2 (ja) 読取システム、読取装置、プログラム、及び記憶媒体
JP5760827B2 (ja) 物体認識装置、物体認識方法、プログラム
US20230169687A1 (en) Calibration-less structured light measurement
EP4456006A1 (en) Image processing apparatus, control method therefor, and program
JP2008134940A (ja) 対象物検出装置、対象物検出方法および対象物検出プログラム並びにそのプログラムを記録した記録媒体
WO2021075314A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
CN118339584A (zh) 训练方法、训练系统以及训练程序
JP5191772B2 (ja) 撮像装置および３次元形状計測装置
JP2023047066A (ja) 学習モデル生成方法、検査システム及び学習モデル生成プログラム
JP2015133630A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190920

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190920

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200702

R150 Certificate of patent or registration of utility model

Ref document number: 6730379

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150