JP6323279B2 - 保冷保温庫、及び、その管理システム - Google Patents

Description

この発明は、保冷保温庫、特に、その庫内の食品等の管理システムに関するものである。

一般に、保冷保温庫、以下、保冷保温庫の中でも冷蔵庫を具体例にとり説明するが、冷蔵庫内に食料品等を保管する場合、冷蔵庫は密閉性を要し、庫内に光が入ることによる庫内温度の変化及び食料品の劣化を防止する目的から冷蔵庫外から内部が確認できないのが通常である。

また、最近の冷蔵庫は大容量化が進み、高さ及び奥行きが大きくなり、庫内の確認がますます困難となっている。

そこで、庫内にカメラを設置し、カメラにより撮影した画像をもとに、庫内の食料品等を特定する情報及びその位置情報を認識し、庫外に設置された表示部に表示し、食料品等を管理する技術が記載されている。（例えば、特許文献１参照）。

また、庫内にカメラを移動可能に設置し、その移動カメラが撮影した画像をもとに、庫内の食料品等の収納状況を把握して、冷蔵用ファン、及び、圧縮機の運転を制御することで、食料品等を管理する技術が記載されている。（例えば、特許文献２参照）。

特開２０１２−１９３８７３号公報 特開２０１２−２５１７２４号公報

しかしながら、特許文献１に係る冷蔵庫では、カメラが撮影する位置が固定であることから、庫内の食料品等の空間的な位置関係が把握し難い。
また、庫内の食料品等が多くなると、それぞれの食料品等の影になり撮影できない空間が多く発生し、本当に必要な情報、つまり、かなり以前から庫内の奥に置かれ、庫外から確認し難い食料品等に関する情報が得られないという課題がある。

また、特許文献２に係る冷蔵庫では、カメラを左右方向に移動（首振り）させることで、広範囲の撮影を可能にし、かつ、食料品等の前後関係をある程度把握可能であるが、その時々におけるカメラの撮影範囲は常に一定であるために、庫内全体に対する食料品等の位置関係、奥行き感、及び、三次元的な情報が十分ではない。

さらに、左右方向に移動させるための構造が必要となり、複雑な機構を要する他、動力を要するため、省エネ及び保温に影響を与える。
また、扉が閉められた状態でカメラを移動させながら撮影するため、そのタイミング等の制御も必要となり動作制御が複雑化するとともに、暗い場面での撮影が必要であることから、かなり感度の高いカメラを用いる必要があるという課題がある。

この発明は、上記のような課題を解決するためになされたものであり、庫内の食料品等の保管状況に変化が生じるのは、冷蔵庫の扉を開けたことがトリガーとなっていることに着目し、扉を開けた動作に連動する形で、特に動力を用いなくても、角度及び距離を変えながら撮影することにより、庫内の食料品等の空間的な位置情報容易に得られる手段を提供するものである。

本発明における保冷保温庫は、扉と、前記扉の内面側に前記扉の開閉動作に連動して撮影範囲が可動可能に設けられ、前記扉の開閉時に画像を撮影する撮像部と、前記撮像部で撮影された画像のデータを取得する画像取得部と、前記画像取得部が取得した前記画像のデータのうち、前記扉の開閉角度に基づいた異なる角度から前記撮像部で撮影された複数の前記画像のデータを用いて新たな画像を作成する画像合成部と、前記撮像部で撮影された前記画像又は前記画像合成部で作成された前記新たな画像を表示する画像表示部とを備え、前記撮像部は、前記扉の開閉動作に連動して、前記扉の内面に沿って移動可能に設けられたものである。

この発明によれば、扉を開ける動作に連動する形で、カメラにより庫内の食料品等を撮影するため、複数の角度及び距離を有する複数の視点からの撮影が可能となり、これらの撮像を合成処理等することにより、食料品等の空間的な位置関係が把握しやすい。

さらに、扉を開けた状態で撮影することから、高感度のカメラも必要ない。

また、手動で開ける扉に連動して動く構造となっているため、モータなど駆動装置は特に必要なく、焦点等を合わせるために仮に必要な場合でも、小型のもので済むため、省電力が実現できるとともに、発熱もほとんどなく、扉開閉による温度変化に比べれば、庫内の保温性能を損なうものではない。

この発明の実施の形態１における冷蔵庫を上から見た外観図である。 この発明の実施の形態１における冷蔵庫の扉を開けた状態で正面から見た外観図である。 この発明の実施の形態１における冷蔵庫のカメラで撮影した画像を処理する画像処理部を示すブロック図である。 この発明の実施の形態１における冷蔵庫の扉の開閉状態を示す状態遷移図である。 この発明の実施の形態１における冷蔵庫のドア開状態の処理の流れを示すフローチャートである。 この発明の実施の形態１における画像のぶれに対する処理の流れを示すフローチャートである。 この発明の実施の形態１における冷蔵庫のドア開状態の処理の流れを示すフローチャートである。 この発明の実施の形態１における冷蔵庫の画像合成部が生成する合成画像のイメージを示す図である。 この発明の実施の形態１における冷蔵庫の画像表示部での合成画像群の表示イメージを表す概念図である。 この発明の実施の形態２における冷蔵庫を上から見た外観図である。 この発明の実施の形態２における冷蔵庫の駆動装置を示した概略図である。 この発明の実施の形態３における冷蔵庫の扉を開けた状態で正面から見た外観図である。 この発明の実施の形態３における冷蔵庫のカメラで撮影した画像を処理する画像処理部を示すブロック図である。 この発明の実施の形態４における冷蔵庫のカメラで撮影した画像を処理する画像処理部を示すブロック図である。

実施の形態１．
次に、図面を用いて、この発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。但し、図面は模式的なものであり、各寸法の比率等は現実のものとは異なることに留意すべきである。したがって、具体的な寸法等は以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

図１は、この発明の実施の形態１における冷蔵庫を上から見た外観図である。また、図２は、この発明の実施の形態１における冷蔵庫の扉を開けた状態で正面から見た外観図である。図２において、（ａ)は扉（以下、ドア部と記載する場合もある）が閉じている状態、（ｂ）は扉が開いている状態を表す。また、図３において、冷蔵室の扉（ここでは、片開きの扉を示している）が開かれ、庫内に食料品等が置かれている状態を表している。

図において、冷蔵庫１の冷蔵室１０１にヒンジ部１０２を介して設けられたドア部１０３のヒンジ部１０２側と反対の側、つまり、ドア部１０３が開閉する側に、画像を撮影するためのカメラ１０４が備え付けられている。ここで、ドア部１０３は、左開きのものが示されているが、右開きのものでも本発明の目的を達成できることは明らかである。さらに、片開きに限られず、両開き、又は、野菜室１０５のような引き戸であっても本発明の目的を達成できることはいうまでもない。

カメラ１０４は、ドア部１０３を挟んでヒンジ部１０２と水平方向に反対の側、垂直方向にドア部１０３のほぼ中央に設けられている。ここで、カメラ１０４は、ドア部１０３が開かれ、カメラ１０４が冷蔵室１０１の水平方向のほぼ中央に位置した状態で冷蔵室１０１の庫内を正面から撮影できるように、ドア部１０３の内面に対し所定の角度で設けられている。このように設置することにより、ドア部１０３を開き始めてから開き終わるまでに、庫内を広角で撮影することが可能となる。なお、カメラ１０４の取りつけ角度は、必ずしも、ドア部１０３が開かれ、カメラ１０４が冷蔵室１０１の水平方向のほぼ中央に位置した状態で冷蔵室１０１の庫内を正面から撮影できる所定の角度である必要はなく、設計上の制約条件、及び、食料品等の置かれた状況等を考慮して決まられるものである。

なお、カメラはより広い範囲を撮影できるように広角レンズを備える方が望ましい。
また、庫内の食料品等の距離が変動することから、広い範囲で焦点が合うように被写界深度の広いカメラであることが望ましい。
また、ここでは、カメラを一つ、垂直方向にドア部１０３のほぼ中央に設けた場合について説明したが、カメラは一つに限られず、上部にもう一つ設けた構成、更に下部にもう一つ設けた構成、その他それ以上の数を設けた構成であってもかまわない。ただし、カメラの数が多ければ多いほど、それぞれのカメラで撮影した画像の処理は複雑となる。

図３は、この発明の実施の形態１における冷蔵庫のカメラで撮影した画像を処理する画像処理部を示すブロック図である。図において、カメラ１０４に設けられた撮像部１１０で撮影された画像は、画像取得部１１１により画像データとして取得され、取得された画像は、画像ぶれ検出部１１２により画像のぶれが検出され、画像のぶれが閾値以下の場合には、画像記録部１１３に記録される。画像のぶれが閾値以上の場合には、画像のぶれが補正され、画像記録部１１３に記録されるか、撮影画像が破棄される。
なお、カメラ１０４の移動速度が予め決まられている場合には、シャッター速度を予め調整可能であり、画像ぶれ検出部１１２は必要ないが、本実施の形態における冷蔵庫１に設けられたカメラ１０４は、ユーザーのドア部１０３の開閉動作に連動して動くために、ドア部１０３の開閉速度、すなわち、カメラ１０４の移動速度が予め設定できない。そのため、画像が必要以上にぼけている場合には、その画像は、庫内の食料品等を識別する上での有用な情報とはなり得ないので、修正、又は、破棄する必要がある。

画像記録部１１３に記録された各画像は、画像合成部１１４で差分等が求められ、合成処理される。合成処理された画像は、画像制御部１１５により、どのように表示するかが決められた後で、画像表示部１１６に表示される。

撮像部１１０の画像の撮影は、開閉状態判定部１１７によるドア部１０３の開閉状態に基づき行われる。
また、画像表示部１１６に表示される画像は、画像操作入力部１１８からの入力に基づいて、ユーザーが必要な情報が得られる画像を表示する。
また、画像の処理は、例えば、画像処理専用のＬＳＩ等で行われ、各部の制御は、マイコン（ＣＰＵ）を用いることで処理することができる。
また、画像表示部１１６には、例えば、液晶パネル等を用い、画像入力部１１８には、キーボードスイッチ、又は、タッチパネル等を用いることができる。
これらの画像処理部１０は、デジタルカメラ、又は、ムービーといった撮像機器で用いられる画像処理と同様な、より単純な構成で実現可能であり、当業者であれば容易に構成可能である。

図４は、この発明の実施の形態１における冷蔵庫の扉の開閉状態を示す状態遷移図である。図において、ＳＴ１０１は、ドア部１０３が閉じられた状態であり、ＳＴ１０２は、ドア部１０３が開いた状態である。冷蔵庫１の扉の開閉状態としては、閉状態と開状態との間で遷移することとなる。

ドアが開いたか否かの判断は、通常、冷蔵庫１に備えられている開閉センサーからの情報に基づいて判断すればよい。通常、冷蔵庫には、ドアの開閉に合わせて庫内照明を点灯させる等の目的から、例えば、ヒンジ部付近に設けられたプッシュスイッチを利用したような、ドアの開閉センサーを設けている。このように、すでに冷蔵庫１に備え付けの開閉センサー及びマイコンを利用することで、コストアップを抑えることが可能であり、ドアの開閉センサーからの情報をもとに、カメラの撮影動作の入り切りを行うことで、カメラの待機電力の低減が可能となり、省エネ性能を損なわないという効果が得られる。

また、カメラを常時動作状態としている場合には、カメラで撮影された画像の輝度、又は、動きベクトルの変化に基づいて、ドアの開閉を判断してもかまわない。
また、冷蔵庫本体とドアの開閉部分に微弱な電流を流し、電流が遮断されたか否かにより、ドアの開閉を判断してもかまわない。
また、フォトカプラ等の赤外線送受信による赤外線センサーを用いて、ドアの開閉を判断してもかまわない。

以下に、画像処理の流れについて詳しく説明する。冷蔵庫の場合、庫内の食料品等の配置の変更等は、地震等外的な要因、又は、内部に稼働機構を有さない限り、ドアの開閉を起点とし、その前後で行われる。つまり、ドアを開く場合に得られた画像に対し、ドアを閉じる場合に得られた画像が最新の画像となる。

ドアを開けて、食料品等を取ったり、入れたりした後のドアを閉める最中に庫内の状態を様々な角度から撮影し、庫内の状態を示す３次元的な合成画像を得ることを目的とする。
合成に使用可能な画像を、撮像中のドアの移動により発生する画像のぶれが少ない画像、と定義する。ここで得られる画像を、開状態画像と呼ぶこととする。

なお、ここでは、ドアを開けた状態からドアを閉める最中に庫内の状態を様々な角度から撮影した画像で合成画像を作成する手順について述べるが、ドアが閉まっている状態からドアを開け、再び閉めるまでの一連の動作の最中に庫内の状態を様々な角度から撮影した画像で合成画像を作成してもかまわない。この場合には、庫内の食料品等の増減が開ける過程で撮影した画像と閉める過程で撮影した画像との差分で認識することが可能であり、日時等と関連付けることで、食料品等の使用履歴を記録として残すことも可能である。また、ドアが閉まっている状態からドアを開けている最中の画像から合成画像を作成してもよい。この場合、何を出したか度忘れした場合には、記憶された合成画像を確認することで、取りだしたものを容易に思い出すことが可能である。

図５は、この発明の実施の形態１における冷蔵庫のドア開状態の処理の流れを示すフローチャートである。ドア開状態では、以下の処理を一定時間ごとに繰り返す。以下、図を用いて説明する。

ステップＳ１０１は、カメラ１０４が撮影した画像を画像取得部１１１が取得するステップである。カメラ１０４が画像を撮影するタイミングは、ドア部１０３が開け放たれた状態からドア部１０３を閉めるまでの最中に、庫内の最新の状態の画像を取得するのが通常であるが、一例として上記説明したように、その目的に対応する形で、様々なタイミングで撮影した画像を用いることができる。

ステップＳ１０２は、カメラ１０４が撮影し、画像取得部１１１が取得した画像のぶれを計測するステップである。カメラ１０４は、ドア部１０３に設けられており、ドア部１０３の開閉時に画像を撮影するものであるから、ドア部１０３の開閉の状態、カメラ１０４のシャッター速度及び撮影タイミング、ユーザーの動作如何によっては、撮影時にぶれが生じ、デフォーカス画像となる可能性は否めない。

ステップＳ１０３は、ステップＳ１０２で計測した画像のぶれと、予め設定した閾値とを比較するステップである。ここで、閾値をどのように設定するかについては、設計事項であるが、庫内の食料品等の配置、状態等を正確に把握したい場合には、カメラ１０４の性能を高くするとともに、閾値を高くし、ぼやけた画像を排除する必要がある。一方で、庫内に食料品等がどの程度入っているかを確認する程度であれば、閾値を低く設定すればよい。

次に、ステップＳ１０２及びステップＳ１０３で述べた画像のぶれに対する処理について述べる。図６は、この発明の実施の形態１における画像のぶれに対する処理の流れを示すフローチャートである。以下、図を用いて説明する。

まず、ステップＳ２０１は、取得した画像中から、画像の中央を含む画素の一行を抜き出すステップである。ここで、画像の中央を含む画素の一行を選択している理由は、カメラ１０４が移動するにあたり、冷蔵室１０１の庫内の中心がカメラ１０４の撮像画像の中央となるよう設置してあるため、画像の中央に近い方が、画像のぶれが画像の水平方向中心に現れやすく処理しやすいからである。

次に、ステップＳ２０２は、抜き出した画像をグレースケール化するステップである。ここで、グレースケールとして処理するのは、画像のぶれを輪郭の立ち上がり特性を利用して判断しているため、色信号で見るより、輝度信号としてとらえた方がわかりやすいからに他ならない。もちろん各色ＲＧＢの信号特性を見て判断してもかまわないが、処理が複雑となる。

次に、ステップＳ２０３は、水平方向での二次微分の値を計算するステップである。ここで、二次微分を用いるのは、輝度信号に対し、時間軸方向、すなわち、水平方向で二次微分を行うことで、輝度信号の立ち上がり、又は、立ち下がりが急峻な部分はより値が大きくなり、急峻でない部分はより値が小さくなり、輝度差を直接見るよりも、輪郭の特性が表れやすいからである。つまり、二次微分の値を用いるということは、画像のぶれを輝度変化で判断していることに他ならない。もちろん、輝度変化で判断することができるのであれば、輝度信号の単位時間当たりの変化量、又は、隣接画素との差分、更には、１次微分値を用いることもできることはいうまでもない。輝度信号に限らず、色信号で判断することができるのは、上述のとおりである。

次に、ステップＳ２０４は、ステップＳ２０３で求めた二次微分の絶対値が、予め設定した閾値を超えた値の数を数えるステップである。この数を画像のぶれの判断材料とする。この数が大きければ大きいほど、物体の境界のはっきりした点が多い、すなわち、画像のぶれが少ないといえる。なお、上述した通り、ステップＳ２０３で求めた二次微分の絶対値は、輝度変化量を示したに過ぎない。そこで、画像のぶれによる輝度変化であるか、例えば、白い庫内に置かれた白い牛乳パックのように、冷蔵室１０１の庫内の背景色と庫内に置かれた食品等の輝度との差があまりない場合等であるかについては判断し難い。また、冷蔵室１０１の庫内にある食料品等の数が多い場合には、数が大きくなる。

このような場合には、ただ単純に数の大小で判断するのではなく、水平方向に現れる同一物の輪郭数に着目することで、画像のぶれとの違いを明確にすることが可能である。輪郭の識別方法は、すでに公知でもあるが、例えば、水平方向に立ち上がりから立ち下がりまでの画素数がほぼ同じ画像が、輝度差が大きい画像を中心に複数存在する場合には、画像のぶれである可能性が高いと判断できる。

以下で、この発明の実施の形態１における冷蔵庫のドア閉状態における画像の取得、合成及び表示の処理ついて説明する。図７は、この発明の実施の形態１における冷蔵庫のドア閉状態における画像の取得、合成及び表示の処理の流れを示すフローチャートである。以下、図を用いて説明する。

まず、ユーザーがドア部１０３の開動作に入ると同時に冷蔵室１０１の庫内に設けられた照明装置、例えばＬＥＤランプ等を点灯し、ドア部１０３が閉じられた状態でのカメラ１０４で撮影された画像を取得する。この画像を閉状態画像と呼ぶ。閉状態画像は、ユーザーがドア部１０３の開動作に入る以前であっても、定期的に照明装置を点灯し、カメラ１０４で撮影することによって得てもよい。また、必ずしも閉状態に限られず、ドアが開いた瞬間に撮影した画像をもって閉状態画像としてもかまわない。すなわち、閉状態画像とは、冷蔵室１０１の庫内から食料品等が移動させられる前の状態を示す画像である。

ステップＳ３０１は、冷蔵室１０１の庫内に設けられた照明装置を点灯する工程である。カメラ１０４の性能、又は、ドア部１０３の開閉状態等によっては、冷蔵室１０１の庫内に設けられた照明装置を点灯する工程は必ずしも必要な工程ではないが、通常用いられるような安価なカメラで撮影することを想定すれば、従来、冷蔵室の庫内に設けられている照明装置を点灯してから撮影する方がよりきれいな画像が得られる。

次に、ステップＳ３０２は、カメラ１０４が撮影した閉状態画像を取得する工程である。

次に、ステップＳ３０３は、閉状態画像の撮影時における扉の角度をほぼ０度として、ドアを開けて、食料品等を取ったり、入れたりした後のドアを閉める最中に庫内の状態を様々な角度から撮影した開状態画像から、開状態画像取得時の扉の角度を算出するステップである。カメラ１０４の撮像結果として得られる画像は、その長さやヒンジからの相対位置が既知である、冷蔵室１０１の庫内の壁や棚などが含まれている。また、カメラ１０４の位置、及び、ドア部１０３に対する角度は、ドア部１０３の開いた角度から一意に決まる。よって、これらの制約情報を用いれば、幾何計算により、開状態画像取得時の扉の角度を算出できる。

一方、閉状態画像取得時のカメラ１０４の位置、及び、ドア部１０３に対する角度は、カメラ１０４が固定されているため、既知である。

次に、ステップＳ３０４で、画像合成部１１４が、開状態画像と閉状態画像とから、モーフィング法を用いて、開状態画像と閉状態画像との間を補間できるよう一定角間隔毎に合成する。

次に、ステップＳ３０５で、画像制御部１１５が、画像表示部１１６にて合成画像の表示を行う。

画像合成部１１４により生成される合成画像数は、開状態画像取得時のドア部１０３の開き角（回転中心を原点に取り、ドア部１０３が閉じられた状態を０度とし、ドア部１０３が開いた状態と閉じた状態とがなす角度）、撮影間隔、及び、画像のぶれ等から決まる。

図８は、この発明の実施の形態１における冷蔵庫の画像合成部が生成する合成画像のイメージを示す図である。図において、（ａ）は開状態画像の一つ、（ｂ）は閉状態画像、（ｃ）は図中の黒丸にあたる位置の合成画像のイメージを示す。ここでは、開状態画像と閉状態画像から合成された場合について示しているが、複数の開状態画像が存在する場合には、複数の開状態画像内少なくとも２つの画像を用いることにより合成画像は生成可能である。これら、合成された画像群を合成画像群とも呼ぶ。

なお、本実態の形態及び以下の実施の形態で用いる一定角ごとの画像合成には、モーフィング法を用いるとするが、一定角ごとの画像の合成が達成される方法であればどんな方法でもよい。

なお、開状態画像取得時の扉の角度を算出することで、冷蔵庫１のユークリッド座標系を用いた画像合成を行っているが、カメラ間の射影幾何学的関係を用いた画像合成などを用いてもよい。

図９は、この発明の実施の形態１における冷蔵庫の画像表示部での合成画像群の表示イメージを表す概念図である。なお、本実施の形態では、画像表示部１１６は冷蔵庫１のドア部１０３の外面側に設けられているものとし、画像操作入力部１１８は、画像表示部１１６上に設置されたタッチパネルであるとする。図において、（ａ）は最初に表示される開状態画像を表示したもの、（ｂ）はタッチパネル入力で左方向に入力があった場合に、開状態画像と閉状態画像とから合成された合成画像である。なお、画像操作入力部１１８は、方向情報が入力できるなら、どんな形式でもよいとする。例えば、画像表示部１１６の近くに用意されたプッシュボタンの形式でもよい。

合成画像群は、画像制御部１１５により、画像表示部１１６に表示される。また、図９（ｂ）に示すように、使用者が画像操作入力部１１８に左右方向の操作を加えることで、開状態画像、閉状態画像、又は、合成画像を表示できる。合成画像群は、開状態画像から角度順にアニメーション表示することも可能である。

以上説明したように、開状態画像、閉状態画像、及び、合成画像を角度順に連続して、冷蔵庫１の庫外に設置された画像表示部１１６に表示することにより、冷蔵室１０１の庫内の食料品等に対し、物品の死角になる部分を低減し、かつ、庫内の奥行き情報をユーザーに提供することができる。

以上のように、本実施の形態ではモータなどの発熱体を使用することなく、複数の角度からカメラ撮影が可能となり、このような機能を実現するための簡単な構造の提供、余分な電力消費の防止、及び、余分な熱の発生の防止等に効果がある。

なお、本実施の形態では、特に、日々の食料品管理の煩わしさを解消する目的から、保冷保温庫の中でも冷蔵庫を具体例にとり説明したが、冷蔵庫に限られず、保温庫、又は、その他の観音開きの扉、引き戸、または、その他の開閉扉をもつ収納装置であっても実施可能であることはいうまでもない。

また、本実施の形態では、観音開きのドアにカメラを設けた場合について記載したが、スライド式のドアにカメラを設けた場合であっても、ドアの開閉動作に応じてカメラで画像を撮影することにより、同一対象物に対しては様々な距離及び角度から撮影することが可能となり、同様な効果が得られることはいうまでもない。

実施の形態２．
以下、この発明の実施の形態２における冷蔵庫について説明する。上記実施の形態１では、カメラは、ドアに対し所定の位置に所定の角度で備え付けられていたが、歯車、滑車、又は、ベルトなどを用いた簡単な構成により、ドアの開閉に合わせてカメラの角度及び位置を変更することも可能である。

図１０は、この発明の実施の形態２における冷蔵庫を上から見た外観図である。図において、（ａ）は冷蔵庫１のドアが閉じている状態を、（ｂ）は冷蔵庫１のドアが開いている状態を示す。なお、以下において、実施の形態１と同様の部分については説明を省略又は簡略化し、実施の形態１と同一又は対応する要素については同一の符号を付すものとする。

駆動装置１０５は、ドア部１０３の内部（内面と外面をそれぞれ構成する板状体に挟まれた部分）に設置されており、カメラ１０４と機械的に接続されている。

なお、駆動装置１０５の設置場所は、ドア部１０３の内面であってもかまわない。カメラ１０４を庫内で移動及び回転可能な位置であれば、特に設置場所にはとらわれない。ただし、庫内の様子を呼応率良く撮影できる場所、及び、庫内の棚等に接触しない場所など条件は限られる。

駆動装置１０５は、ドア部１０３を回転させるためのヒンジ部１０２の動作と連動する形でカメラ１０４を水平移動させたり、カメラ１０４の角度を変えたりする。図１１は、この発明の実施の形態２における冷蔵庫の駆動装置の一例を示した概略図である。カメラ１０４の台座をベルト上に固定し、ドア部１０３の先端（ヒンジ部１０２と逆側の単部）及びヒンジ部１０２のそれぞれに設けられた滑車との間をベルトで接続することにより、滑車の回転、すなわち、ヒンジ部１０２の回転に伴いカメラ１０４が移動する。また、カメラ１０４の台座とカメラ１０４は一本の軸で接続されており、その軸には歯車が取り付けられている。歯車はベルトと並行に並んだラックレールとかみ合った状態で移動するよう取りつけられているため、カメラ１０４が移動するに従って、歯車が回転し、カメラ１０４の角度を変えることができる。なお、ベルトを用いて、カメラの移動のみを行っても構わないし、歯車を用いて、カメラの回転（ドア内面に対する角度の変更）のみを行っても構わないし、ベルトと歯車を組み合わせたり、歯車とスライドレールを組み合わせたりすることにより、カメラの移動と回転の両方を行うことも可能である。なお、移動量と回転量は、歯車の歯数等により調整可能であることはいうまでもない。

本実施の形態における冷蔵庫１は、カメラ１０４をドア部１０３の内面に沿って移動させたり、回転させたりしながら撮影することが可能であるため、ドア部１０３の開閉動作に伴う移動及び回転のみならず、カメラ１０４をドア部１０３の内面に沿って移動させたり、回転させたりすることができるため、さらに広い範囲の撮像をすることが可能となる。

カメラ１０４の移動及び回転制御の一例を示す。カメラ１０４は、ドア部１０３が閉じているときは、ドア部１０３のヒンジ部１０２側にある。ドア部１０３が開くと、ヒンジ部１０２の回転動作に連動して駆動装置１０５が動作し、カメラ１０４がヒンジ部１０２から離れる方向に移動する。カメラ１０４は、ドア部１０３が９０度開いた段階で、ドア部１０３のヒンジ部１０２と反対側の端に到達し、移動を停止する。カメラ１０４は、ドア部１０３が９０度以上開いている場合は、ドア部１０３のヒンジ部１０２と反対側の端に静止したままで、ドア部１０３が閉じ始め、ドア部１０３の開き角が９０度未満となると、ヒンジ部１０２側に向かって移動し始める。

なお、上記一例では、カメラ１０４は、ドア部１０３が閉じているときに、ドア部１０３のヒンジ部１０２側にあるが、ドア部１０３が９０度開いた段階で、ドア部１０３のヒンジ部１０２側に移動するような構成であってもよい。また、カメラ１０４の移動方向が、鉛直方向、その他斜め方向であっても構わない。カメラ１０４の初期の位置は、特に決まっているわけではなく、冷蔵庫の形状等の設計要因により様々な場合が想定されることはいうまでもない。

なお、カメラ１０４で撮影した画像の合成において、開状態画像取得時のドア部１０３の角度の算出が、上記実施の形態１よりも複雑になるが、カメラ１０４の初期の位置、移動距離、及び回転角等は、予め設計段階で求めることができる値であり、容易に算出可能である。よって、幾何計算により、開状態画像取得時のドア部１０３の角度は、容易に算出可能である。

以上説明したように、本実施の形態に係る冷蔵庫によれば、冷蔵室１０１の庫内の食料品等が他の物品の陰に隠れてカメラ１０４で撮影できない範囲が軽減されるので、ユーザーは、庫内の画像から、より詳細な情報を取得することができる。

実施の形態３．
以下、この発明の実施の形態３における冷蔵庫について説明する。上記実施の形態２では、カメラ又は駆動装置は、ドアに対し各１つ備え付けられていたが、それぞれ又はカメラを複数設けることも可能である。

図１２は、この発明の実施の形態３における冷蔵庫の扉を開けた状態で正面から見た外観図である。また、図１３は、この発明の実施の形態３における冷蔵庫のカメラで撮影した画像を処理する画像処理部を示すブロック図である。以下、図を用いて説明する。なお、上記実施の形態と同様の部分については説明を省略又は簡略化し、上記実施の形態と同一又は対応する要素については同一の符号を付すものとする。

この発明の実施の形態３における冷蔵庫では、冷蔵室１０１の庫内で、ドア部１０３の内面側に、第一のカメラ１０４１及び第二のカメラ１０４２、並びに、第一の駆動装置１０５１及び第二の駆動装置１０５２を設けている。ここでは、第一のカメラ１０４１及び第一の駆動装置１０５１は、ドア部１０３の内面上部に、第二のカメラ１０４２及び第二の駆動装置１０５２は、ドア部１０３の内面中央部に設けた例を示している。

このように構成することにより、複数のカメラで撮影された画像を用いて合成画像群を生成することが可能となり、水平方向の移動に伴い撮影された画像からでは、取得が難しかった異なる棚においてある食料品等の近距離画像情報を得ることが可能となり、冷蔵室１０１の庫内全体における食料品等の配置情報がより明確に把握できる利点がある。つまり、２つのカメラの開状態画像と閉状態画像の生成位置の４点で構成される平面内を、格子状に切り分けた各点における合成画像を生成することができる。

さらに、画像表示部１１６で表示する場合は、水平方向の移動に伴い撮影された画像のみからではなく、上下２台のカメラを用いて撮影した画像の合成画像も得ることができるので、垂直方向の情報を付け加えた画像アニメーションを用いて表示することが可能である。

以上のように、本実施の形態によれば、合成画像を縦横両方向に操作、閲覧することができるため、使用者は、冷蔵庫の庫内のより詳細な情報を取得することができる。

実施の形態４．
以下、この発明の実施の形態４における冷蔵庫について説明する。上記実施の形態１では、画像表示部は冷蔵庫のドアの外面側に設けられているものとし、画像操作入力部は、画像表示部上に設置されたタッチパネルであるとしたが、画像表示部及び画像操作入力部は、冷蔵庫と一体として設けられなくともよい。たとえば、画像表示部をパーソナルコンピュータのモニタ画面とし、画像操作入力部をキーボードとしてもよいし、画像表示部をスマートフォン又は携帯電話などの携帯情報端末装置（以下、携帯情報端末とのみ記載する場合がある）の表示画面とし、画像操作入力部をその上に表示されたタッチパネルまたはキーボードスイッチであってもかまわない。

図１４は、この発明の実施の形態４における冷蔵庫のカメラで撮影した画像を処理する画像処理部を示すブロック図である。以下において、実施の形態１と同様の部分については説明を省略又は簡略化し、実施の形態１と同一又は対応する要素については同一の符号を付すものとする。以下、図を用いて説明する。

冷蔵庫管理システム３は、冷蔵庫１及び携帯情報端末装置２を含む。冷蔵庫１は、携帯情報端末２に合成画像群を送信するための収納側通信部１１９をさらに備え、携帯情報端末装置２は、収納側通信部１１９から送信される合成画像群に係る情報を受信する端末側通信部２０１と、受信した情報を記憶する画像記憶部２０２と、受信した画像を表示する画像表示部２０３と、ユーザーがする操作情報を入力する画像操作入力部２０５と、画像操作入力部２０５からの情報に基づいて、画像表示部２０３に表示する画像の状態を制御する画像制御部２０４とを備える。収納側通信部１１９と端末側通信部２０１との通信、図中の破線で示した部分は、無線ＬＡＮ、例えば、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、又は、Ｗｉ−Ｆｉ（（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）などを用いることが想定される。また、冷蔵庫１と携帯情報端末装置２との距離が近距離の場合には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、又は、ＮＦＣ（Ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）などが想定される。

本実施の形態における冷蔵庫管理システム３は、上記実施の形態同様、合成画像群を生成した後、それらの情報を携帯情報端末装置２に送信する。携帯情報端末装置２は、これらを受信後、画像表示部２０３にこれらの画像を表示し、また、使用者が画像操作入力部２０５に左右方向の操作を加えることで、開状態画像、閉状態画像および合成画像を表示できる。なお、これらの画像の操作は、携帯情報端末装置に対応した専用のアプリケーションを提供することで、携帯情報端末装置の操作をそのまま利用できることは自明である。

以上説明したように、この発明の実施の形態４に係る冷蔵庫の管理システムは、冷蔵庫から離れた位置にある携帯情報端末に画像を送信する機能を持つため、使用者は離れた位置、特に外出先から、冷蔵庫内の状況を確認することができ、例えば、外出先で食料品等の買い物を行っている場合などは、冷蔵庫内にある食材を確認することができ、買い忘れ、若しくは、食料品の重複を防止することができる。また、外出先から冷蔵庫内の食材を確認することで、献立のメニューを検討することが可能となる。

１ 冷蔵庫、１０ 画像処理部、１０１ 冷蔵室、１０２ ヒンジ部、１０３ ドア部、１０４ カメラ、１０４１ 第一のカメラ、１０４２、第二のカメラ、１０５ 駆動装置、１０５１ 第一の駆動装置、１０５２ 第二の駆動装置、１１０ 撮像部、１１１ 画像取得部、１１２ 画像ぶれ検出部、１１３ 画像記録部、１１４ 画像合成部、１１５ 画像制御部、１１６ 画像表示部、１１７ 開閉状態判定部、１１８ 画像操作入力部、１１９ 収納側通信部、２０１ 端末側通信部、２０２ 画像記憶部、２０３ 画像表示部、２０４ 画像制御部、２０５ 画像操作入力部、３ 冷蔵庫管理システム。

Claims (5)

1. 扉と、
   前記扉の内面側に前記扉の開閉動作に連動して撮影範囲が可動可能に設けられ、前記扉の開閉時に画像を撮影する撮像部と、
   前記撮像部で撮影された画像のデータを取得する画像取得部と、
   前記画像取得部が取得した前記画像のデータのうち、前記扉の開閉角度に基づいた異なる角度から前記撮像部で撮影された複数の前記画像のデータを用いて新たな画像を作成する画像合成部と、
   前記撮像部で撮影された前記画像又は前記画像合成部で作成された前記新たな画像を表示する画像表示部とを備え、
   前記撮像部は、前記扉の開閉動作に連動して、前記扉の内面に沿って移動可能に設けられる
   ことを特徴とする保冷保温庫。
2. 扉と、
   前記扉の内面側に前記扉の開閉動作に連動して撮影範囲が可動可能に設けられ、前記扉の開閉時に画像を撮影する撮像部と、
   前記撮像部で撮影された画像のデータを取得する画像取得部と、
   前記画像取得部が取得した前記画像のデータのうち、前記扉の開閉角度に基づいた異なる角度から前記撮像部で撮影された複数の前記画像のデータを用いて新たな画像を作成する画像合成部と、
   前記画像取得部が取得した前記画像のデータ又は前記画像合成部で作成された前記新たな画像のデータを送信する画像データ送信部とを備え、
   前記撮像部は、前記扉の開閉動作に連動して、前記扉の内面に沿って移動可能に設けられる
   ことを特徴とする保冷保温庫。
3. 前記撮像部は、前記扉の開閉動作に連動して、前記扉の内面に対する仰角を変動可能に設けられる
   ことを特徴とする請求項１又は請求項２に記載の保冷保温庫。
4. 扉と、
   前記扉の内面側に前記扉の開閉動作に連動して撮影範囲が可動可能に設けられ、前記扉の開閉時に画像を撮影する撮像部と、
   前記撮像部で撮影された画像のデータを取得する画像取得部と、
   前記画像取得部が取得した前記画像のデータのうち、前記扉の開閉角度に基づいた異なる角度から前記撮像部で撮影された複数の前記画像のデータを用いて新たな画像を作成する画像合成部と、
   前記画像取得部が取得した前記画像のデータ又は前記画像合成部で作成された前記新たな画像のデータを送信する画像データ送信部と、
   を含んで構成された保冷保温庫と、
   前記画像データ送信部から送信されたデータを受信し、操作により受信したデータに係る画像を表示する携帯情報端末とを備え、
   前記画像合成部は、前記複数の画像のデータが撮像された角度と異なる角度の補間画像を前記新たな画像のデータとして生成し、
   前記携帯情報端末は、前記操作により前記角度順に並べた前記画像のデータまたは前記新たな画像のデータを受信する
   ことを特徴とする保冷保温庫の管理システム。
5. 前記撮像部は、前記扉の開閉動作に連動して、前記扉の内面に対する仰角を変動可能に設けられる
   ことを特徴とする請求項４に記載の保冷保温庫の管理システム。

Images