IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日立アプライアンス株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024040654
(43)【公開日】2024-03-26
(54)【発明の名称】貯蔵庫
(51)【国際特許分類】
   F25D 23/00 20060101AFI20240318BHJP
   G03B 15/00 20210101ALI20240318BHJP
   G03B 17/12 20210101ALI20240318BHJP
【FI】
F25D23/00 301K
G03B15/00 S
G03B17/12
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022145128
(22)【出願日】2022-09-13
(71)【出願人】
【識別番号】399048917
【氏名又は名称】日立グローバルライフソリューションズ株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】鈴木 隆介
(72)【発明者】
【氏名】大谷 匠
【テーマコード(参考)】
2H101
3L345
【Fターム(参考)】
2H101BB21
2H101DD05
2H101DD11
3L345AA02
3L345AA12
3L345AA14
3L345AA21
3L345BB01
3L345DD51
3L345EE03
3L345EE53
3L345EE55
3L345HH13
3L345HH34
3L345HH42
3L345JJ14
3L345KK01
3L345KK02
3L345KK04
(57)【要約】
【課題】貯蔵庫に収納された物品の画像を適切に取得する。
【解決手段】ドアポケットを備える回動扉と、容器を前後に移動させる引出扉と、前記ドアポケットおよび/または前記容器を撮像する撮像部と、を貯蔵庫に備え、前記撮像部は、イメージセンサ314と、前記ドアポケットを含む範囲を撮像する場合に使用される第1レンズ318と、前記容器を含む範囲を撮像する場合に使用される第2レンズ362と、前記第1レンズ318および/または前記第2レンズ362を前記イメージセンサ314に入射する光軸LAから離脱させるレンズ着脱部350と、を備える。
【選択図】図7
【特許請求の範囲】
【請求項1】
ドアポケットを備える回動扉と、
容器を前後に移動させる引出扉と、
前記ドアポケットおよび/または前記容器を撮像する撮像部と、を備え、
前記撮像部は、
イメージセンサと、
前記ドアポケットを含む範囲を撮像する場合に使用される第1レンズと、
前記容器を含む範囲を撮像する場合に使用される第2レンズと、
前記第1レンズおよび/または前記第2レンズを前記イメージセンサに入射する光軸から離脱させるレンズ着脱部と、を備える
ことを特徴とする貯蔵庫。
【請求項2】
前記第1レンズは、前記第2レンズよりも広角であり、
前記レンズ着脱部は、前記ドアポケットを含む範囲を撮像する場合に前記第2レンズを前記光軸から離脱させる
ことを特徴とする請求項1に記載の貯蔵庫。
【請求項3】
前記第2レンズは、凸レンズと凹レンズとを含む
ことを特徴とする請求項2に記載の貯蔵庫。
【請求項4】
前記第1レンズは前記光軸に沿って移動可能になっており、これによってピント調整が可能になっている
ことを特徴とする請求項3に記載の貯蔵庫。
【請求項5】
前記撮像部が前記ドアポケットを含む範囲を撮像する場合には、少なくとも前記ドアポケットの一部が含まれる範囲の輝度に基づいて露光調整を行う機能と、
前記撮像部が前記容器を含む範囲を撮像する場合には、少なくとも前記容器の一部が含まれる範囲の輝度に基づいて露光調整を行う機能と、
を有する露光調整部をさらに備える
ことを特徴とする請求項1に記載の貯蔵庫。
【請求項6】
前記回動扉および前記引出扉に対して優先度を定める撮影設定部をさらに備え、
前記撮影設定部は、前記ドアポケットおよび前記容器の双方を撮影可能な状態まで前記回動扉および前記引出扉が開いた場合に、前記優先度に基づいて、前記第2レンズを前記光軸から離脱させるか否かを決定する
ことを特徴とする請求項1に記載の貯蔵庫。
【請求項7】
ドアポケットを備える回動扉と、
容器を前後に移動させる引出扉と、
前記ドアポケットおよび/または前記容器を撮像する撮像部と、
前記回動扉が開状態であって前記引出扉が閉状態である場合の倍率よりも、前記回動扉が閉状態であって前記引出扉が開状態である場合の倍率が高くなるように、前記撮像部の倍率を設定する倍率設定部と、を備える
ことを特徴とする貯蔵庫。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、貯蔵庫に関する。
【背景技術】
【0002】
本技術分野の背景技術として、下記特許文献1の要約には、「[課題]物品の収納がなされたのか、または、物品の取り出しがなされたのかを適切に判定すること。[解決手段]物品を水平方向から収納する第1の収納部および物品を垂直方向から収納する第2の収納部を少なくとも有する収納装置における物品の収納または取り出しを判定する判定装置12において、第1の収納部の扉、および、第2の収納部の扉のうち、開状態となった扉を判定する扉判定部12aと、第1の収納部の扉が開状態となったと判定された場合、物品の水平方向における位置の変化を検出し、第2の収納部の扉が開状態となったと判定された場合、物品の垂直方向の位置の変化を検出し、検出された変化に基づいて物品の収納がなされたか否かを判定する入出庫判定部12cと、を備える。」と記載されている。
また、下記特許文献2の要約には、「[課題]撮像状態を切換えることができる撮像装置を提供する。[解決手段]プリズム光学系21の射出面63と撮像素子22との間に、光学部材80が出入り可能に配置されている。光学部材80は、駆動機構81によって、撮像素子22に対向する挿入位置と、撮像素子22と対向しない退避位置とにわたって移動させることができる。光学部材80の一例は、屈折率が1よりも大きい光学板ガラスである。光学部材80を撮像素子22と射出面63との間に挿入すると、プリズム光学系21の焦点が第1の撮影状態に適した位置に形成される。光学部材80を撮像素子22と射出面63との間から退避させると、プリズム光学系21の焦点が第2の撮影状態に適した位置に移動する。」と記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2016-23854号公報
【特許文献2】特開2006-119298号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上述した技術において、貯蔵庫に収納された物品の画像を一層適切に取得したいという要望がある。
【課題を解決するための手段】
【0005】
上記課題を解決するため本発明の貯蔵庫は、ドアポケットを備える回動扉と、容器を前後に移動させる引出扉と、前記ドアポケットおよび/または前記容器を撮像する撮像部と、を備え、前記撮像部は、イメージセンサと、前記ドアポケットを含む範囲を撮像する場合に使用される第1レンズと、前記容器を含む範囲を撮像する場合に使用される第2レンズと、前記第1レンズおよび/または前記第2レンズを前記イメージセンサに入射する光軸から離脱させるレンズ着脱部と、を備えることを特徴とする。
【図面の簡単な説明】
【0006】
図1】第1実施形態による冷蔵庫の正面図である。
図2】冷蔵庫の側面図である。
図3】冷蔵庫の左右の冷蔵室ドアが開かれた状態の正面図である。
図4】冷蔵庫の左右の冷蔵室ドアが開かれた状態の平面図である。
図5】カメラユニットを斜め下から見上げた場合の斜視図である。
図6図5のVI-VI線矢視断面図である。
図7】光学ユニットおよびレンズ切替部の構成を示す模式図である。
図8】冷蔵庫のカメラユニットを含むシステム構成図である。
図9】撮影画像データおよび加工画像データの例を示す図である。
図10】撮影画像データおよび加工画像データの他の例を示す図である。
図11】露光調整部が行う露光調整の説明図である。
図12】比較例における露光調整の説明図である。
図13】露光調整部が行う他の露光調整の説明図である。
図14】携帯端末に表示される撮影設定画面を示す図である。
図15】レンズ切替制御信号等のタイムチャートの一例である。
図16】レンズ切替制御信号等のタイムチャートの他の例である。
図17】レンズ切替制御信号等のタイムチャートの他の例である。
図18】レンズ切替制御信号等のタイムチャートの他の例である。
図19】レンズ切替制御信号等のタイムチャートの他の例である。
図20】レンズ切替制御信号等のタイムチャートの他の例である。
図21】撮影制御状態等のタイムチャートの一例である。
図22】撮影制御状態等のタイムチャートの他の例である。
図23】携帯端末に表示される画像閲覧画面の一例を示す図である。
図24】第2実施形態に適用されるレンズ切替部の模式的な平面図である。
図25】第3実施形態に適用されるカメラユニットの模式的な断面図である。
図26】第3実施形態における光学ユニットおよびレンズ切替部の構成を示す模式図である。
図27】第4実施形態におけるレンズ切替部の構成を示す模式図である。
図28】第5実施形態におけるレンズ切替部の構成を示す模式図である。
図29】第6実施形態に適用されるレンズ切替部の模式的な平面図である。
図30】第7実施形態における光学ユニットの模式図である。
図31】第8実施形態における光学ユニットの模式図である。
【発明を実施するための形態】
【0007】
[第1実施形態]
〈冷蔵庫の全体構成〉
図1は、第1実施形態による冷蔵庫100(貯蔵庫)の正面図である。
冷蔵庫100は、食品等を冷やす機器であり、筐体101の他、冷蔵室ドア211,212(回動扉)等の各ドアと、カメラユニット3(撮像部)と、を備えている。筐体101は、その内部に複数の貯蔵室を有している。図1の例では、冷蔵庫100の貯蔵室として、上から順に、冷蔵室121と、左右に並ぶ製氷室122および上段冷凍室123と、野菜室124と、下段冷凍室125と、が設けられている。
【0008】
筐体101は、鋼板製の外箱111と、樹脂製の内箱(図示せず)と、の間に発泡ウレタン等の断熱材(図示せず)が充填された構成になっている。筐体101の前側(正面側)には、各室に対応する複数の開口部110(図2図4参照)が設けられている。例えば、冷蔵室121の開口部110を介して食品等が入れられる際には、冷蔵室ドア211,212が開けられる。また、冷蔵室ドア211,212が閉じられると、冷蔵室121の開口部110が閉塞された状態になる。このように、冷蔵室ドア211,212は、筐体101の開口部110を塞ぐ機能等を有している。なお、後述する引出扉についても同様である。
【0009】
冷蔵庫100は、筐体101とともに冷蔵室121を形成するフレンチ式ドアとして、左右の冷蔵室ドア211,212を備えている。左側の冷蔵室ドア211(左ドア)は、左端のヒンジ211a(図4参照)の軸を中心として、回動可能になっている。なお、右側の冷蔵室ドア212(右ドア)についても同様である。また、冷蔵庫100は、製氷室122、上段冷凍室123、野菜室124および下段冷凍室125の開口部110を塞ぐために、製氷室引出扉221(引出扉)、上段冷凍室引出扉231(引出扉)、野菜室引出扉241(引出扉)、および下段冷凍室引出扉251(引出扉)を備えている。以下、これらを「引出扉221,231,241,251」と呼ぶことがある。
【0010】
冷蔵室121には、この冷蔵室121を所定に仕切る複数の棚板213(図3参照)が設けられている。左側の冷蔵室ドア211の庫内側には、食品等を収容するための複数のドアポケット211c(図3参照)が設けられている(右側の冷蔵室ドア212も同様)。製氷室122には、製氷室引出扉221と一体に引き出される製氷室容器223(容器)が設けられている。同様に、上段冷凍室123には上段冷凍室容器233(容器)が設けられ、また、野菜室124には野菜室容器243(容器)が設けられ、下段冷凍室125には下段冷凍室容器253(容器)が設けられている。なお、これらの容器を「容器223,233,243,253」のように総称することがある。
【0011】
また、冷蔵庫100は、図示はしないが、圧縮機と、放熱器(凝縮器)と、キャピラリチューブ(絞り機構)と、蒸発器と、を備えている。そして、圧縮機、放熱器、キャピラリチューブ、および蒸発器を順次に介して冷媒が循環し、蒸発器を通流する冷媒との間の熱交換で、貯蔵室の空気が冷やされるようになっている。図1に示すカメラユニット3は、冷蔵庫100の貯蔵室等を撮像するものであり、筐体101の上面に設置されている。
【0012】
図2は、冷蔵庫100の側面図である。
図2に示すように、カメラユニット3は、本体部31と、支持部32と、を備えている。本体部31は、貯蔵室等を撮像する機能を有している。支持部32は、本体部31を支持するものであり、筐体101の上面に設置されている。
【0013】
本体部31の前端付近には、光学ユニット300が設けられている。光学ユニット300は、光を屈折させて集束させるレンズ等の光学素子を備えている。このような光学ユニット300には、例えば、魚眼レンズが含まれる。そして、冷蔵室ドア211,212(図1参照)が開かれた場合に、カメラユニット3で冷蔵室121(図1参照)を撮像できるように、光学ユニット300が下側に臨んだ状態になっている。
【0014】
図2に示すように、光学ユニット300は、筐体101の前端(筐体101の開口部110)よりも前側に位置している。より好ましくは、光学ユニット300は、閉状態の冷蔵室ドア211,212(図1参照)の前面よりもさらに前側に位置している。これによって、例えば、冷蔵室ドア211,212が開けられた際、光学ユニット300の視野に冷蔵室121が入りやすくなる。なお、野菜室引出扉241等の引出扉が開かれた状態で、カメラユニット3によって野菜室124等(図1参照)を撮像することも可能である。このように、それぞれの貯蔵室を上から見下ろせる位置に光学ユニット300が設けられている。
【0015】
図3は、冷蔵庫100の左右の冷蔵室ドア211,212が開かれた状態の正面図である。
上述したように、左右の冷蔵室ドア211,212の内板211b,212bには、食品等を収容するための複数のドアポケット211c,212cが設けられているそして、左右の冷蔵室ドア211,212が開けられると、冷蔵室121やドアポケット211c,212cの食品等が、カメラユニット3の光学ユニット300の視野に俯瞰的に入るようになっている。
【0016】
図3に示す回転仕切211dは、冷蔵室ドア211,212の間の隙間からの冷気漏れを抑制するための仕切体である。図3の例では、左側の冷蔵室ドア211において、ヒンジ211a(図4参照)の軸とは反対側の端部に回転仕切211dが設けられ、冷蔵室ドア211の開閉に伴って所定に回転するようになっている。
【0017】
また、カメラユニット3を用いて冷蔵室121を手動で撮影する際、ユーザによって押される撮影ボタン7が、左右の冷蔵室ドア211,212にひとつずつ設けられている。図3の例では、左側の冷蔵室ドア211(扉)において、この冷蔵室ドア211のヒンジ211a(図4参照)とは反対側の面の下部に、撮影ボタン7が設けられている(右側の冷蔵室ドア212も同様)。別の観点から説明すると、左右の冷蔵室ドア211,212が閉まっている状態(図1参照)において、冷蔵室ドア211,212の一方が他方と対向している面(図3の回転仕切211dの付近)に撮影ボタン7が設けられている。また、引出扉221,231,241,251にも、上端部付近に撮影ボタン7が設けられている。
【0018】
これら複数の撮影ボタン7のうち少なくとも一方がユーザによって押された場合に行う撮影を「手動撮影」という。また、冷蔵室ドア211,212および引出扉221,231,241,251等の開閉状態に応じて制御部80(図8参照)が行う撮影を「自動撮影」という。「自動撮影」は、前回の撮影(自動撮影または手動撮影)が行われた後に、所定時間以上経過した際に行うと好ましい。
【0019】
図4は、冷蔵庫100の左右の冷蔵室ドア211,212が開かれた状態の平面図である。
図4の例では、左右方向において、冷蔵庫100の筐体101の中央よりも若干左側にカメラユニット3の本体部31が配置されている。より詳しく説明すると、閉状態の冷蔵室ドア211,212の合わせ目の真上にカメラユニット3の本体部31が配置されている(図1も参照)。このように本体部31を配置することで、例えば、冷蔵室ドア211,212が開けられた場合に、ドアポケット211c,212cの食品等がカメラユニット3の視野に入りやすくなる。
【0020】
また、冷蔵庫100を使用する際、ユーザは、冷蔵室ドア211,212の合わせ目(境界部)を意識することが多い。従って、冷蔵室ドア211,212の合わせ目の真上に本体部31を配置することで、本体部31の左右方向の位置が合わせ目から外れている場合に比べて、ユーザが違和感を覚えることを抑制できる。
【0021】
図5は、カメラユニット3を斜め下から見上げた場合の斜視図である。
図5に示すカメラユニット3の本体部31は、前記した光学ユニット300(図2も参照)の他に、レンズ切替部350と、ケース31bと、カメラLED31c(Light Emitting Diode)と、を備えている。図5の例では、本体部31のケース31bは、概ね、前後方向に細長い直方体状を呈している。ケース31bの前端付近の下面には、円形状の孔(符号は図示せず)が設けられ、この孔を介して光学ユニット300が露出している。また、光学ユニット300の後側(奥側)にレンズ切替部350が設けられ、さらにその後側(奥側)にカメラLED31cが設けられている。なお、レンズ切替部350は、光学ユニット300の倍率等を切り替えるものである。
【0022】
カメラLED31cは、カメラユニット3が冷蔵室121(図3参照)やドアポケット211c,212c(図3参照)を適度な明るさのもとで撮影できるように、冷蔵室121等に光を照射する光源である。また、カメラLED31c(照明部)は、冷蔵庫100の筐体101(図2参照)の外側に設けられている。本実施形態では、冷蔵庫100の庫内灯4(図8参照)を消灯しつつ、カメラLED31cを点灯させた状態で、カメラユニット3が冷蔵室121等(図3参照)を撮影するようにしている。
【0023】
図5に示すように、カメラLED31cの前側に光学ユニット300を設けることで、冷蔵室ドア211,212等が開けられた状態で、冷蔵室121等(図3参照)からの反射光が光学ユニット300に入射しやすくなる。従って、冷蔵室121等に収容されている食品を適切に撮影できる。なお、冷蔵庫100の筐体101(図2参照)の前端(筐体101の開口部110)よりも前側にカメラLED31cが位置していることが好ましい。これによって、カメラLED31cから照射された光が冷蔵室121等に入射しやすくなり、ひいては、鮮明な撮影結果が得られやすくなる。
【0024】
図6は、図5のVI-VI線矢視断面図である。
図6に示すように、カメラユニット3は、ケース31bと、カメラLED31cと、光学ユニット300と、レンズ切替部350と、を備える他、回路基板31dを備えている。回路基板31dは、後述するカメラ/通信制御SoC31f(System-on-a-Chip)等が実装されたプリント基板である。このように、光学ユニット300やカメラLED31c、回路基板31dを一つのケース31bに収容することで、これらを別体で設ける場合と比べて、カメラユニット3を小型化できるとともに、配線の長さを短縮できる。また、無線LANユニット31g(図8参照)は、カメラユニット3内の支持部32、筐体101の上部、冷蔵室121等に配置するものとし、カメラ/通信制御SoC31f(図8参照)と接続されている。
【0025】
図7は、光学ユニット300およびレンズ切替部350の構成を示す模式図である。
図7において、光学ユニット300は、支持基板312と、イメージセンサ314と、レンズ土台316と、ベースレンズ318(第1レンズ)と、を備えている。イメージセンサ314は、支持基板312に装着されている。レンズ土台316は略円筒状に形成され、支持基板312に装着されている。ベースレンズ318はレンズ土台316に装着されている。これにより、光軸LAに沿ってベースレンズ318に入射した光は、レンズ土台316を介してイメージセンサ314上で結像する。なお、光軸LAは、カメラユニット3による撮影範囲の中心軸である。
【0026】
イメージセンサ314は、ベースレンズ318を介して入射する光を光電変換し、撮影画像データを生成する素子である。このようなイメージセンサ314として、例えば、CCDセンサ(Charge Coupled Device)やCMOSセンサ(Complementary Metal Oxide Semiconductor)が用いられる。また、ベースレンズ318には、例えば拡大レンズまたは魚眼レンズなどの広角レンズを適用できる。
【0027】
また、レンズ切替部350(レンズ着脱部)は、追加レンズ362(第2レンズ)と、レンズフレーム364と、アクチュエータ366と、ドライバ368と、を備えている。追加レンズ362は、例えば魚眼レンズなどの広角レンズまたは拡大レンズであり、レンズフレーム364に装着されている。
【0028】
ベースレンズ318として魚眼レンズを適用した場合には、追加レンズ362は、ベースレンズ318よりも歪が小さいものになる。ドライバ368がアクチュエータ366に電流を供給すると、アクチュエータ366はレンズフレーム364を前後方向に駆動する。拡大レンズの倍率としては、例えば2~3倍のものを使用できる。
【0029】
これにより、ドライバ368は、必要に応じて追加レンズ362を光軸LAに挿入し、また、光軸LAから追加レンズ362を離すことができる。以下、追加レンズ362が光軸LAに挿入されている状態をレンズ切替部350の「拡大ON状態」と呼び、光軸LAから離れている状態を「拡大OFF状態」と呼ぶ。
【0030】
図8は、冷蔵庫100のカメラユニット3を含むシステム構成図である。
図8に示すように、冷蔵庫100は、カメラユニット3の他に、庫内灯4と、ブザー5と、撮影ボタン7と、ドアセンサ10と、引出扉センサ12と、制御部80と、を備えている。庫内灯4は、冷蔵庫100の庫内に光を照射する光源であり、筐体101の内側に設けられている。ブザー5は、例えば、カメラユニット3による撮影において、庫内灯4を消灯する際に鳴らされるものであり、筐体101の所定箇所に設置されている。撮影ボタン7(図3も参照)は、前記したように、カメラユニット3を用いて手動で撮影する際、ユーザによって押されるボタンである。
【0031】
ドアセンサ10は、冷蔵室ドア211,212の開閉状態を検出し、各々の開閉状態を示す開閉信号S211,S212を制御部80に供給する。一般的に、冷蔵庫のドアセンサは、ユーザに閉め忘れ等を警告するために、冷蔵室ドア211,212が僅かでも開いていれば、それを「開状態」として検出する。本実施形態においても、冷蔵庫100はそのような一般的なドアセンサを備えているが、特に図示していない。図8に示したドアセンサ10は、冷蔵室ドア211,212の開き角度がそれぞれ撮影に適した所定角度以上であれば開閉信号S211,S212を“1”(開状態)に設定する。一方、冷蔵室ドア211,212の開き角度がそれぞれ該所定角度未満であれば、“0”(閉状態)の開閉信号S211,S212を出力する。
【0032】
また、引出扉センサ12は、引出扉221,231,241,251の開閉状態を検出し、各々の開閉状態を示す開閉信号S221,S231,S241,S251を制御部80に供給する。これら開閉信号S221,S231,S241,S251は、対応する引出扉の引出距離が、容器223,233,243,253の撮影に適した所定長以上であれば“1”(開状態)になり、引出距離が該所定長未満であれば“0”(閉状態)になる信号である。制御部80は、これら開閉信号S211,S212,S221,S231,S241,S251に基づいて各種自動撮影を行う。
【0033】
制御部80は、例えば、マイコンであり、図示はしないが、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、各種インタフェース等の電子回路を含んで構成されている。そして、ROMに記憶されたプログラムを読み出してRAMに展開し、CPUが各種処理を実行するようになっている。制御部80は、前記した「自動撮影」を行う他、撮影ボタン7が押された場合には、「手動撮影」を行う。制御部80は、レンズ切替制御部81(倍率設定部)と、露光調整部82と、開閉判定部83と、撮影設定部84と、撮影制御部85と、を備えている。
【0034】
レンズ切替制御部81は、レンズ切替制御信号SADを出力する。レンズ切替制御信号SADは、ON/OFFの二値信号であり、レンズ切替部350の拡大ON/OFF状態を制御する。露光調整部82は、カメラユニット3の露光調整を行う。開閉判定部83は、開閉信号S211,S212,S221,S231,S241,S251に基づいて、冷蔵室ドア211,212および引出扉221,231,241,251の開閉状態を判定する。
【0035】
撮影設定部84は、冷蔵室ドア211,212および引出扉221,231,241,251の優先度(詳細は後述する)や、自動撮影、手動撮影のON/OFF状態(自動撮影、手動撮影を許可するか否か)等を設定する。撮影制御部85は、各種撮影制御を行う。
【0036】
上述したように、カメラユニット3は、カメラ/通信制御SoC31fを備えている。これは、マイコンの機能や他の応用的な機能を有する回路を1チップ上に集積し、連携して機能するよう設計された集積回路である。カメラ/通信制御SoC31fは、制御部80との間で所定の通信を行い、イメージセンサ314(図7参照)に撮影指令を出力する。これによって、イメージセンサ314からカメラ/通信制御SoC31fに撮影画像データGSが入力される。なお、カメラ/通信制御SoC31fは集積回路の一例であり、他の種類のものを用いるようにしてもよい。
【0037】
無線LANユニット31gは、カメラ/通信制御SoC31fから出力される撮影画像データGSをルータ51に送信する。ルータ51は、通信の中継機器であり、無線LANユニット31gから受信した撮影画像データGSを、ネットワーク52を介してサーバ53に送信する。サーバ53は、撮影画像データGSについて所定の加工処理を行い、その結果である加工画像データGMを冷蔵庫100の識別情報に対応付けて保存する。また、サーバ53は、ユーザの携帯端末54から冷蔵庫100の庫内画像の要求信号を受信した場合、加工画像データGMを携帯端末54に送信する。このような携帯端末54として、携帯電話やスマートフォンの他、タブレットやウェアラブル端末等が用いられる。
【0038】
〈レンズ切替制御部81の動作の概要〉
ここではベースレンズ318として魚眼レンズ、追加レンズ362として拡大レンズを使用するとする。魚眼レンズは視野を広角化するためドアポケット211c,212cの撮像に適し、拡大レンズは遠方の領域の撮像に適するため引出扉221,231,241,251とともに出し入れされる容器223,233,243,253の撮像に適する。ベースレンズを拡大レンズ、追加レンズを広角レンズとする場合は、下記の拡大ON/OFF設定は、それぞれ逆に読み替えるものとする。なお、発明者らの検討による知見としては、ドアポケット211c、212cと容器223,233,243,253をともに好適に撮像するには、ベースレンズが拡大レンズであり追加レンズが広角レンズであることが好ましい。
【0039】
制御部80のレンズ切替制御部81は、全ての引出扉221,231,241,251が閉状態の場合に冷蔵室ドア211,212の何れかが開状態になると、レンズ切替部350(図7参照)を拡大OFF状態に設定する。また、レンズ切替制御部81は、冷蔵室ドア211,212が共に閉状態の場合に引出扉221,231,241,251のうち何れかが開状態になると、レンズ切替部350を拡大ON状態に設定する。また、レンズ切替制御部81は、冷蔵室ドア211,212の何れかと、引出扉221,231,241,251のうち何れとが同時に開状態になった場合には、「優先度」の高いものを優先して、拡大ON/OFF状態を設定する。なお、「優先度」に関して詳細は後述する。
【0040】
図9は、撮影画像データGSおよび加工画像データGMの例(GS1,GM1)を示す図である。
なお、図9の撮影画像データGS1では、紙面上側を前方とし、紙面下側を後方としている関係上、図3に対して、左右が反転している。撮影画像データGS1は、全ての引出扉221,231,241,251(図1参照)が閉状態の場合に左右の冷蔵室ドア211,212の両方を開状態として撮影されたものである。
【0041】
これにより、図示の撮影画像データGS1は、レンズ切替部350(図7参照)を拡大OFF状態として撮影されたものである。図示の撮影画像データGS1においては、冷蔵室21の他、左側の冷蔵室ドア211のドアポケット211cや、右側の冷蔵室ドア212のドアポケット212cも撮影されている。
【0042】
光学ユニット300(図7参照)のベースレンズ318として、魚眼レンズが適用されていることで、広範囲の画角で冷蔵庫100を撮像できる。但し、画像処理が行われていない撮影画像データGS1では、図9に示すように、実際には直線状の稜線が湾曲して写る他、同じ長さの稜線であっても、カメラユニット3から遠くなるにつれて、撮影画像における画素数が少なくなる。
【0043】
また、加工画像データGM1は、撮影画像データGS1に対して、サーバ53(図8参照)が画像処理を行った結果の一例である。加工画像データGM1は、あたかも冷蔵室21や左右の冷蔵室ドア211,212のそれぞれを正面から見たような画像になっている。このような加工画像データGM1が携帯端末54(図8参照)に表示されることで、ユーザは、冷蔵室21等にどのような食品が収容されているかを一目で把握できる。
【0044】
撮影画像データGS1には容器223,233,243,253(図1参照)の画像は含まれていないが、仮に何れかの引出扉を開状態にして撮影したとすると、対応する容器の画像は撮影画像データGS1内に破線で示す領域AR1の範囲に含まれることになる。領域AR1は、撮影画像データGS1の全領域と比較すると狭い範囲にであり、画素数も少なくなる。従って、領域AR1を拡大して加工画像データを得たとしても、解像度が低くなり、食品等の内容が解りづらくなる。
【0045】
図10は、撮影画像データGSおよび加工画像データGMの他の例(GS2,GM2)を示す図である。撮影画像データGS2は、左右の冷蔵室ドア211,212の両方が閉状態、かつ、他の引出扉221,231,251(図1参照)が閉状態の場合に、野菜室引出扉241を開状態として撮影されたものである。これにより、図示の撮影画像データGS2はレンズ切替部350を拡大ON状態として、主として野菜室容器243の内部を撮影したものである。図示の撮影画像データGS2においては、冷蔵室ドア211,212の一部と、製氷室引出扉221および上段冷凍室引出扉231も撮影されている。
【0046】
また、加工画像データGM2は、撮影画像データGS2に対して、サーバ53(図8参照)画像処理を行った結果の一例である。加工画像データGM2は、野菜室容器243を正面から見たような画像になっている。このような加工画像データGM2が携帯端末54(図8参照)に表示されることで、ユーザは、野菜室容器243にどのような食品が収容されているかを一目で把握できる。
【0047】
上述のように、撮影画像データGS2を撮影する際に拡大レンズである追加レンズ362(図7参照)が光軸LAに挿入されたため、撮影画像データGS2における野菜室容器243の領域は、撮影画像データGS1(図9参照)における領域AR1よりも広くなっている。このため、加工画像データGM2においては、野菜室容器243の部分に対して高い解像度を確保することができ、ユーザが食品等の内容を容易に把握できるようになる。
拡大ON状態は、この例では野菜室引出扉241を開状態としたものを挙げたが、これに代えて何れかの他の引出扉221,231,251を開状態としても、同じく拡大ON状態として撮影される。拡大レンズである追加レンズ362(図7参照)の倍率として好適なものを選定しておくことで、高さの異なる容器223,233,243,253の全てに対して、共通の拡大レンズを適用することができる。もちろん、機構の複雑化を許容すれば、各容器223,233,243,253それぞれに異なる倍率の拡大レンズをセットするように準備してもよい。
【0048】
〈露光調整部82の動作〉
図11は、露光調整部82(図8参照)が行う露光調整の説明図である。
露光調整部82は、イメージセンサ314(図7参照)から出力される電気信号を増幅する際のゲインを調整する。レンズ切替部350(図7参照)が拡大OFF状態である場合、本実施形態では、露光調整における画像の明るさの度合いを示す基準として、図11に示す3つの矩形状の領域61,62,63のうち少なくとも一つを用いるようにしている。つまり、左側の冷蔵室ドア211の領域61と、右側の冷蔵室ドア212の領域62と、これらの領域61,62の間の所定の領域63と、のうち少なくとも一つが用いられる。なお、冷蔵室ドア211,212の開角度に基づいて、領域61,62,63の位置や大きさが適宜に変更されるようにしてもよい。
【0049】
ここで、最もユーザが興味ある食材が撮影される領域について、視認しやすいようにゲイン調整ができれば好ましい。そこで、例えば食材の特徴量を認識して食材位置を判別し、イメージセンサ314の視野内の食材が包含されるように、1つまたは複数の領域を設定してもよい。また、食材の特徴量に代えて、冷蔵室ドア211,212の開閉をセンシングして、開であれば当該ドアの開放側の領域を使用するようにしてもよい。
【0050】
図11の例では、左側の冷蔵室ドア211が開かれているが、右側の冷蔵室ドア212は閉じた状態になっている。このような場合、露光調整部82は、左側の冷蔵室ドア211に対応する領域61の輝度の平均値を基準として、露光調整を行う。つまり、露光調整部82は、領域61の輝度の平均値が所定範囲に含まれるように、イメージセンサ314(図7参照)から出力される電気信号を増幅する際のゲインを調整する。これによって、閉状態である右側の冷蔵室ドア212の領域62や、その一部が左側の冷蔵室ドア211から外れている領域63が、ゲインを調整する際の基準から外される。従って、冷蔵室の周囲が暗い場合であっても、露光調整部82がゲインを上げすぎることなく、露光調整を適切に行うことができる。
【0051】
露光調整に使用する領域の決定には、食材が存在する位置を使用して行うことができる。食材が存在する位置は、画像認識における特徴量を利用してもよいし、ドア開情報やドア開角度情報を検知することで間接的に行ってもよい。ドア開情報やドア開角度情報の取得は、公知のドアセンサや画像認識技術等を使用して行うことができる。有益な情報である食材が存在しない領域について、露光調整の対象領域から極力外すようにすることで、食材が存在しない領域の輝度が明るすぎたり暗すぎたりする場合に、食材がある領域の白飛びや黒つぶれが生じてしまう虞を低減できる。
このように、イメージセンサ314の視野のうち、食材が存在する位置を含む上記の「一部の領域」のみを露光調整に使用するようにしてもよい。また、露光調整に際して、当該「一部の領域」の重みを、その余の残部の領域より大きくしてもよい。
【0052】
このように、露光調整部82は、右側の冷蔵室ドア212、または左側の冷蔵室ドア211のうち一方が開けられた場合、カメラユニット3の視野内で、前記した一方に対応する領域を基準として、撮影時の露光のゲインを調整する。また、3つの領域61~63のうち、画像の輝度の平均値が最も高いものを基準として、露光調整が行われるようにしてもよい。すなわち、露光調整部82は、イメージセンサ314の視野に含まれる複数の領域61~63のうち、画像の輝度の平均値が最も高い領域を基準として、撮影時の露光のゲインを調整する。これによって、ゲインが高くなりすぎることを抑制し、ひいては、撮影画像データGSの白飛び(ハレーション)を抑制できる。
【0053】
また、左右の冷蔵室ドア211,212のうち、ドアセンサ6から開信号が入力されている扉の少なくとも一部を含む領域であって、画像の輝度の平均値が最も高いものを基準に露光調整が行われるようにしてもよい。これによって、例えば、冷蔵庫100の外部から照射された光が閉状態の冷蔵室ドア212の表面で反射するような状況でも、露光調整におけるゲインを露光調整部82が適切に設定できる。これによって、撮影画像データGSにおいて、白飛びや黒つぶれが生じることを抑制できる。
【0054】
図12は、比較例における露光調整の説明図である。
図12の比較例では、露光調整を行う際の基準として、1つの矩形状の領域60が設定されている。例えば、左右の冷蔵室ドア211,212が開かれた場合に、これらの冷蔵室ドア211,212の両方を含むように矩形状の領域60が設定されている。このように大きな1つの領域60を用いた場合、冷蔵庫100の周囲が暗い状況では、撮影によって右側の冷蔵室ドア212が暗く写るため、光に対する感度を上げるためにゲインが高めに設定される。その結果、撮影画像において、開状態の左側の冷蔵室ドア211や、冷蔵室21の左半分の部分で白飛びが生じやすくなる。
【0055】
これに対して本実施形態(図11参照)によれば、レンズ切替部350(図7参照)が拡大OFF状態である場合には、例えば冷蔵室ドア211,212の開閉状態に基づいて、露光調整を行う際の基準となる領域を露光調整部82が選択するようにしている。これによって、撮影画像データGSにおける白飛びを抑制し、ユーザが視認しやすい鮮明な加工画像データGMを携帯端末54(図8参照)に表示させることができる。
【0056】
図13は、露光調整部82(図8参照)が行う他の露光調整の説明図である。
レンズ切替部350(図7参照)が拡大ON状態である場合、本実施形態では、露光調整における画像の明るさの度合いを示す基準として、図13に示す領域66,67,68のうち何れか一つを用いるようにしている。図13の例では、野菜室引出扉241が開状態になっているが、この場合は、露光調整部82は、領域66を選択する。この領域66は、野菜室容器243のほぼ全域に等しい領域である。同様に、下段冷凍室引出扉251(図1参照)が開状態である場合も、露光調整部82は領域66を選択する。
【0057】
一方、製氷室引出扉221のみが開状態である場合には、露光調整部82は領域67を選択する。また、上段冷凍室引出扉231のみが開状態である場合には、露光調整部82は領域68を選択する。このように、露光調整部82は、開状態にされた引出扉に応じて、領域66,67,68の何れかを選択するため、撮影画像データGSにおいて、白飛びや黒つぶれが生じることを抑制できる。なお、引出扉221,231,241,251の引出距離に基づいて、領域66,67,68の位置や大きさが適宜に変更されるようにしてもよい。
【0058】
なお、冷蔵室21の壁面、及び、冷蔵室ドア211,212(扉)の内板211b,212b(図3参照)は、それぞれ、白色であってもよい。ここで、「白色」とは、可視光のスペクトルの略全域に亘って、50%以上の反射率で反射するような色である。別の観点では、「白色」とは、RGB表色系において、R(Red),G(Green),B(Blue)の各要素の明度が略同一であり、かつ、50%以上の反射率で反射するような色である。同様に、引出扉221,231,241,251の内部の色彩も白色であってもよい。
【0059】
冷蔵室21の壁面等が白色である場合、撮影結果が白飛びしやすい傾向があるが、露光調整部82が、露光調整を行う際の基準となる領域を適宜に選択することで、白飛びを抑制できる。このように、本実施形態によれば、カメラユニット3を用いて、冷蔵室21等を適切に撮影できる。従って、ユーザが携帯端末54を見て、冷蔵室21等の状態を視認しやすくなる。
【0060】
〈撮影設定部84の動作〉
図14は、携帯端末54に表示される撮影設定画面70を示す図である。
撮影設定部84(図8参照)は、ルータ51、サーバ53等を介して、携帯端末54と通信する。これにより、撮影設定部84は、図14に示す撮影設定画面70を携帯端末54に表示させる。図14に示すように、撮影設定画面70は、複数のボタン71,72,73,76,77,78を含んでいる。
【0061】
ユーザは、ボタン71を操作することにより、冷蔵室121(図3参照)の自動撮影のON/OFF状態およびドア優先度PDR(優先度)を設定することができる。ドア優先度PDRは、冷蔵室121の自動撮影の優先度である。自動撮影のON状態とは、自動撮影を許容する状態である。自動撮影のOFF状態とは、自動撮影を許容しない状態である。また、ドア優先度PDRとして設定できる優先度は、H(高)、M(中)、L(低)の3種類のうち何れかであり、H(高)の優先度が最も高く、次にM(中)の優先度が高く、L(低)の優先度は最も低い。
【0062】
レンズ切替制御部81(図8参照)は、冷蔵室ドア211,212および引出扉221,231,241,251(図3参照)のうち複数のものの開状態が検出された場合に、優先度が最も高いものに応じて、レンズ切替部350の拡大ON/OFF状態を設定する。また、3個の引出扉221,231,241(図3参照)を総称して「中段引出扉」と呼ぶ。ユーザは、ボタン72を操作することにより、これら中段引出扉に係る容器の自動撮影のON/OFF状態、および中段引出優先度PDM(優先度)を設定できる。ここで、中段引出優先度PDMは、中段引出の優先度(H(高)、M(中)またはL(低))である。
【0063】
また、ユーザは、ボタン73を操作することにより、下段冷凍室引出扉251(図3参照)の自動撮影のON/OFF状態、および下段引出優先度PDL(優先度)を設定することができる。ここで、下段引出優先度PDLは、下段冷凍室引出扉251の優先度(H(高)、M(中)またはL(低))である。
【0064】
また、ユーザは、ボタン76を操作することにより、冷蔵室121の手動撮影のON/OFF状態を設定することができる。手動撮影のON状態とは、手動撮影を許容する状態であり、手動撮影のOFF状態とは、手動撮影を許容しない状態である。同様に、ユーザは、ボタン77を操作することにより、中段引出扉に係る容器(すなわち容器223,233,243)の手動撮影のON/OFF状態を設定することができる。同様に、ユーザは、ボタン78を操作することにより、下段冷凍室容器253の手動撮影のON/OFF状態を設定することができる。手動撮影において拡大ON/OFFの何れの状態で撮影を実行するかは、本実施形態で説明している冷蔵室ドア211,212および引出扉221,231,241,251の開閉状態の関係を使って判断することができる。
【0065】
〈レンズ切替制御部81の動作〉
図15は、レンズ切替制御信号SAD等のタイムチャートの一例である。
図中のドア開閉信号SDRは、冷蔵室ドア211,212の開閉信号S211,S212(図8参照)の論理和であり、冷蔵室ドア211,212の何れかが開状態であれば“1”、冷蔵室ドア211,212の双方が閉状態であれば“0”になる信号である。また、レンズ切替制御信号SADは、上述のようにON/OFFの二値信号であり、レンズ切替部350(図7参照)の拡大ON/OFF状態制御する信号である。
図15の時刻t11以前において、ドア開閉信号SDRは“0”(閉状態)であり、レンズ切替制御信号SADも拡大OFF状態である。時刻t11にドア開閉信号SDRは“1”(開状態)になっている。これは、冷蔵室ドア211,212のうち少なくとも一方が開状態になったことを意味する。また、時刻t12にドア開閉信号SDRは“0”(閉状態)になっている。これは、冷蔵室ドア211,212が共に閉状態になったことを意味する。そして、図示の期間において、レンズ切替制御部81(図8参照)は、レンズ切替制御信号SADを常に拡大OFF状態に設定している。すなわち、レンズ切替制御部81は、レンズ切替制御信号SADを切り替える必要が無い場合には、拡大ON/OFF状態を現状のまま維持する。
【0066】
図16は、レンズ切替制御信号SAD等のタイムチャートの他の例である。
図16の時刻t15以前において、ドア開閉信号SDRは“0”(閉状態)であり、レンズ切替制御信号SADは拡大ON状態になっている。そして、時刻t15にドア開閉信号SDRが“1”(開状態)になると、レンズ切替部350(図7参照)において、追加レンズ362を光軸LAから離す必要が生じたことになる。そこで、レンズ切替制御部81(図8参照)は、時刻t15において、レンズ切替制御信号SADを拡大OFF状態に設定する。その後、時刻t16においてドア開閉信号SDRが“0”(閉状態)になったとする。この場合、カメラユニット3が特に何も撮影しない状態であり、レンズ切替部350を駆動する必要が無いため、レンズ切替制御部81は、レンズ切替制御信号SADを拡大OFF状態のまま維持する。
【0067】
図17は、レンズ切替制御信号SAD等のタイムチャートの他の例である。
図中の引出開閉信号SDWは、引出扉221,231,241,251(図3参照)の開閉信号S221,S231,S241,S251(図8参照)の論理和であり、引出扉221,231,241,251のうち何れかが開状態であれば“1”、引出扉221,231,241,251の全てが閉状態であれば“0”になる信号である。
【0068】
図17の時刻t21以前において、引出開閉信号SDWは“0”(閉状態)であり、レンズ切替制御信号SADは拡大OFF状態になっている。時刻t21に引出開閉信号SDWは“1”(開状態)になっている。これは、引出扉221,231,241,251のうち少なくとも一方が開状態になったことを意味する。また、時刻t22に引出開閉信号SDWは“0”(閉状態)になっている。これは、全ての引出扉221,231,241,251が閉状態になったことを意味する。そして、図示の期間において、レンズ切替制御部81(図8参照)は、レンズ切替制御信号SADを常に拡大ON状態に設定している。
【0069】
図18は、レンズ切替制御信号SAD等のタイムチャートの他の例である。
図18の時刻t25以前において、引出開閉信号SDWは“0”(閉状態)であり、レンズ切替制御信号SADは拡大OFF状態になっている。そして、時刻t25に引出開閉信号SDWが“1”(開状態)になると、レンズ切替部350(図7参照)において、追加レンズ362を光軸LAに挿入する必要が生じたことになる。そこで、レンズ切替制御部81(図8参照)は、時刻t25において、レンズ切替制御信号SADを拡大ON状態に設定する。その後、時刻t25において引出開閉信号SDWが“0”(閉状態)になったとする。この場合、カメラユニット3が特に何も撮影しない状態であり、レンズ切替部350を駆動する必要が無いため、レンズ切替制御部81は、レンズ切替制御信号SADを拡大ON状態のまま維持する。
【0070】
図19は、レンズ切替制御信号SAD等のタイムチャートの他の例である。
ここで、撮影設定画面70(図14参照)において、ドア優先度PDRはH(高)に、中段引出優先度PDMはM(中)に、下段引出優先度PDLはL(低)に、予め設定されていることとする。説明の簡便のため、引出扉221,231内の撮影はしないものとする。
図19の時刻t31以前において、ドア開閉信号SDR、および引出開閉信号SDWは何れも“0”(閉状態)であり、レンズ切替制御信号SADはOFF状態であったとする。
【0071】
時刻t31においてドア開閉信号SDRが“1”(開状態)になったとする。そこで、レンズ切替制御部81(図8参照)は、冷蔵室ドア211,212(図3参照)を撮影するために、レンズ切替制御信号SADを拡大OFF状態のまま維持する。次に、時刻t32において、ドア開閉信号SDRが“1”(開状態)に保たれたまま、引出開閉信号SDWが“1”(開状態)になったとする。上述のように、図19の例では、ドア優先度PDRはH(高)であり、中段引出優先度PDMおよび下段引出優先度PDLよりも高い。
【0072】
そのため、レンズ切替制御部81は、時刻t32以降も、冷蔵室ドア211,212(図3参照)を撮影するために、レンズ切替制御信号SADを拡大OFF状態のまま維持する。その後、時刻t33において引出開閉信号SDWが“0”(閉状態)になり、時刻t34においてドア開閉信号SDRが“0”(閉状態)になったとする。これらのタイミングにおいて、レンズ切替部350(図7参照)を駆動する必要が無いため、レンズ切替制御部81は、レンズ切替制御信号SADを拡大OFF状態のまま維持する。
【0073】
次に、時刻t35において引出開閉信号SDWが“1”(開状態)になると、レンズ切替制御部81は、何れかの引出扉221,231,241,251(図3参照)を撮影するために、レンズ切替制御信号SADを拡大ON状態に切り換える。その後、時刻t36においてドア開閉信号SDRが開状態になったとする。上述のように、ドア優先度PDRはH(高)であり、中段引出優先度PDMおよび下段引出優先度PDLよりも高い。そこで、レンズ切替制御部81は、冷蔵室ドア211,212(図3参照)を再び撮影するために、時刻t36においてレンズ切替制御信号SADを拡大OFF状態に設定する。
【0074】
その後、時刻t37においてドア開閉信号SDRが“0”(閉状態)になると、レンズ切替制御部81は、何れかの引出扉221,231,241,251(図3参照)を撮影するために、レンズ切替制御信号SADを再び拡大ON状態に切り換える。その後、時刻t38において引出開閉信号SDWは“0”(閉状態)になるが、レンズ切替部350(図7参照)を駆動する必要が無いため、レンズ切替制御部81は、レンズ切替制御信号SADを拡大ON状態のまま維持する。
【0075】
図20は、レンズ切替制御信号SAD等のタイムチャートの他の例である。
ここで、撮影設定画面70(図14参照)において、ドア優先度PDRはL(低)に、中段引出優先度PDMはH(高)に、下段引出優先度PDLはM(中)に、予め設定されていることとする。
図20の時刻t41~t48におけるドア開閉信号SDRおよび引出開閉信号SDWの値は、図19の時刻t31~t48における値と同一である。但し、レンズ切替制御信号SADは時刻t41以前から拡大ON状態になっている。
【0076】
時刻t41~t42の期間においては、“1”(開状態)であるドア開閉信号SDRに応じて、レンズ切替制御部81はレンズ切替制御信号SADを拡大OFF状態に設定する。時刻t42~t43の期間に引出開閉信号SDWが“1”(開状態)になると、中段引出優先度PDMおよび下段引出優先度PDLはドア優先度PDRよりも高いため、レンズ切替制御部81は、レンズ切替制御信号SADを拡大ON状態に設定する。
【0077】
そして、時刻t43~t44の期間においては、引出開閉信号SDWが“0”(閉状態)になったため、レンズ切替制御部81は、レンズ切替制御信号SADを拡大OFF状態に設定する。その後、時刻t45~t48の期間において、引出開閉信号SDWが“1”(開状態)であるため、レンズ切替制御部81は、当該機関においてレンズ切替制御信号SADを拡大ON状態に設定する。なお、その期間の途中で、時刻t46~t47においてドア開閉信号SDRは“1”(開状態)になっているが、ドア優先度PDRは中段引出優先度PDMおよび下段引出優先度PDLよりも低いため、レンズ切替制御信号SADに対して影響を及ぼさない。
【0078】
図21は、撮影制御状態SST等のタイムチャートの一例を示す図である。
ここで、撮影設定画面70(図14参照)において、ドア優先度PDRはH(高)に、中段引出優先度PDMはM(中)に、下段引出優先度PDLはL(低)に、予め設定されていることとする。
制御部80の撮影制御部85がカメラユニット3に冷蔵庫100の撮影を開始させた後、カメラユニット3による撮影が終了するまで、若干の時間を要する。そこで、カメラユニット3が撮影を行っているか否かの状態を撮影制御状態SSTと呼ぶ。すなわち、撮影制御状態SSTがON状態であれば撮影途中であり、撮影制御状態SSTがOFF状態であれば撮影を行っていない状態である。
【0079】
図21の時刻t51において、引出開閉信号SDWが“0”(閉状態)から“1”(開状態)に切り替わったとする。すると、同時刻において、レンズ切替制御部81は、レンズ切替制御信号SADを拡大ON状態に設定する。また、時刻t51から若干遅れた時刻t52において、撮影制御部85は、撮影制御状態SSTをON状態に設定し、カメラユニット3に対して、該当する引出扉に係る何れかの容器223,233,243,253の撮影制御を開始する。
【0080】
しかし、容器の撮影制御を行っている途中の時刻t53において、何れかの冷蔵室ドア211,212が開けられドア開閉信号SDRが“1”(開状態)になったとする。これに伴い、同時刻にレンズ切替制御部81がレンズ切替制御信号SADを拡大OFF状態に変更する。これにより、容器の撮影制御が続行できなくなるため、撮影制御部85は撮影制御状態SSTをOFF状態に設定し、容器の撮影をキャンセルする。また、時刻t53から若干遅れた時刻t54において、撮影制御部85は、冷蔵室ドアの撮影を開始し、時刻t55において冷蔵室ドアの撮影が終了している。なお、撮影制御部85は、撮影をキャンセルした場合には、ブザー5(図8参照)を発音させることにより、撮影をキャンセルした旨をユーザに報知する。
【0081】
図22は、撮影制御状態SST等のタイムチャートの他の例を示す図である。
ここで、撮影設定画面70(図14参照)において、ドア優先度PDRはL(低)に、中段引出優先度PDMはH(高)に、下段引出優先度PDLはM(中)に、予め設定されていることとする。
図22の時刻t61において、ドア開閉信号SDRが“0”(閉状態)から“1”(開状態)に切り替わったとする。また、時刻t61から若干遅れた時刻t62において、撮影制御部85は、撮影制御状態SSTをON状態に設定し、カメラユニット3に対して、該当する冷蔵室ドアの撮影制御を開始する。
【0082】
しかし、冷蔵室ドアの撮影制御を行っている途中の時刻t63において、何れかの引出扉221,231,241,251(図3参照)が開けられ引出開閉信号SDWが“1”(開状態)になったとする。これに伴い、同時刻にレンズ切替制御部81がレンズ切替制御信号SADを拡大ON状態に変更する。これにより、冷蔵室ドアの撮影制御が続行できなくなるため、撮影制御部85は撮影制御状態SSTをOFF状態に設定し、冷蔵室ドアの撮影をキャンセルする。また、時刻t63から若干遅れた時刻t64において、撮影制御部85は、引出の容器の撮影を開始し、時刻t65において引出の容器撮影が終了している。なお、他の例として、それぞれのドア優先度を定義せず、単に、最後に開状態にされた扉に適したレンズをセットして撮影してもよい。
【0083】
〈画像閲覧〉
図23は、携帯端末54に表示される画像閲覧画面400の一例を示す図である。
図23において、画像閲覧画面400は、画像表示部450と、画像選択部420と、を含んでいる。画像表示部450は、サーバ53(図8参照)に記憶された何れかの加工画像データGMを表示する。画像選択部420は、画像表示部450に表示すべき加工画像データGMを選択する部分であり、左扉指定ボタン422と、冷蔵室指定ボタン424と、右扉指定ボタン426と、製氷室・上段冷凍室ボタン428と、野菜室ボタン430と、下段冷凍室ボタン432と、を含んでいる。
【0084】
ユーザが画像選択部420における何れかのボタンをタップすると、携帯端末54は、サーバ53(図8参照)と通信し、タップされたボタンに対応する加工画像データGMをダウンロードし、画像表示部450に表示させる。図示の例では、右扉指定ボタン426がタップされたことにより、画像表示部450には、右扉のドアポケット211cの加工画像データGMが表示されている。
【0085】
なお、図示の例では、画像選択部420は画像表示部450とは別領域に確保されているが、画像選択部420を半透明として、画像表示部450に対してスーパーインポーズさせてもよい。また、画像選択部420を設けることに代えて、画像表示部450を上下左右にスワイプすることによって、各部に対応する加工画像データGMを切替表示できるようにしてもよい。これにより、画像表示部450を広くすることができ、加工画像データGMを大きく表示することができるため、その視認性を高めることができる。
【0086】
[第2実施形態]
次に、第2実施形態による冷蔵庫について説明する。なお、以下の説明において、上述した第1実施形態の各部に対応する部分には同一の符号を付し、その説明を省略する場合がある。
第2実施形態においては、第1実施形態におけるレンズ切替部350(図7参照)に代えて、図24に示すレンズ切替部351が適用される。その他の点において、本実施形態の構成は第1実施形態のもの(図1~23参照)と同様である。
【0087】
図24は、第2実施形態に適用されるレンズ切替部351の模式的な平面図である。
図24において、レンズ切替部351(レンズ着脱部)は、ドライバ368と、追加レンズ362と、レンズフレーム364と、を備えている。これらの構成は、第1実施形態のもの(図7参照)と同様である。さらに、本実施形態のレンズ切替部351は、ドライバ368から供給された電力により、レンズフレーム364を回転させる回転部370を備えている。
【0088】
回転部370が、レンズフレーム364を実線に示す位置に回動させると、追加レンズ362が光軸LAに挿入されるため、拡大ON状態になる。一方、回転部370がレンズフレーム364を破線で示す位置に回動させると、追加レンズ362が光軸LAから外れるため、拡大OFF状態になる。本実施形態によれば、回転部370がレンズフレーム364を前後方向に移動させず左右方向に回動させるため、第1実施形態のレンズ切替部350(図7参照)と比較して、前後方向の寸法を小さくできる。
【0089】
[第3実施形態]
次に、第3実施形態による冷蔵庫について説明する。なお、以下の説明において、上述した他の実施形態の各部に対応する部分には同一の符号を付し、その説明を省略する場合がある。
第3実施形態においては、第1実施形態におけるカメラユニット3(図6参照)に代えて、図25に示すカメラユニット3が適用される。その他の点において、本実施形態の構成は第1実施形態のもの(図1~23参照)と同様である。
【0090】
図25は、第3実施形態に適用されるカメラユニット3の模式的な断面図である。
本実施形態のカメラユニット3においては、第1実施形態の光学ユニット300およびレンズ切替部350(図6参照)に代えて、図25に示す光学ユニット302およびレンズ切替部352(レンズ着脱部)が適用される。
【0091】
図26は、第3実施形態における光学ユニット302およびレンズ切替部352の構成を示す模式図である。
図26において、光学ユニット302は、支持基板312と、イメージセンサ314と、レンズ土台316と、ベースレンズ318と、を備えている。これらの個々の要素の構成は第1実施形態のもの(図7参照)と同様であるが、イメージセンサ314とレンズ土台316との間には、追加レンズ362を挿抜できるスペース(符号なし)が確保されている。
【0092】
また、レンズ切替部352は、追加レンズ362と、レンズフレーム364と、アクチュエータ366と、ドライバ368と、を備えている。これらの個々の構成は第1実施形態のもの(図7参照)と同様であるが、アクチュエータ366は、レンズ土台316とイメージセンサ314との間で追加レンズ362を挿抜する点が異なる。本実施形態によれば、図25に示すように、レンズ切替部352がケース31bの内部に収納され、外部には露出しない。これにより、本実施形態のものは、第1実施形態のものと比較して、より高い堅牢度を実現できる。
【0093】
[第4実施形態]
次に、第4実施形態による冷蔵庫について説明する。なお、以下の説明において、上述した他の実施形態の各部に対応する部分には同一の符号を付し、その説明を省略する場合がある。
第4実施形態においては、第1実施形態におけるレンズ切替部350(図7参照)に代えて、図27に示すレンズ切替部353(レンズ着脱部)が適用される。その他の点において、本実施形態の構成は第1実施形態のもの(図1~23参照)と同様である。
【0094】
図27は、第4実施形態におけるレンズ切替部353の構成を示す模式図である。なお、同図には、レンズ切替部353の3つの状態ST11,ST12,ST13を示している。
図27において、レンズ切替部353は、レンズ374(第2レンズ)と、レンズ376(第1レンズ)と、レンズフレーム372と、回転部370と、ドライバ368と、を備えている。レンズフレーム372にはレンズ374,376が装着されている。ここで、レンズ374は、例えば拡大レンズであり、レンズ376は例えば魚眼レンズである。
【0095】
ドライバ368および回転部370は、レンズフレーム372を回転駆動させることにより、レンズフレーム372の姿勢を状態ST11,ST13の何れかに設定する。なお、状態ST12は、その回動途中における状態である。状態ST11においては、例えば魚眼レンズであるレンズ376が光軸LAに挿入されるため、レンズ切替部353は拡大OFF状態になる。また、状態ST13においては、例えば拡大レンズであるレンズ374が光軸LAに挿入されるため、レンズ切替部353は拡大ON状態になる。
【0096】
本実施形態によれば、拡大ON/OFF状態に対して最適なレンズ374,376を適用できるという利点がある。例えば、拡大ON状態で冷蔵庫を撮影する場合には、魚眼レンズが光軸LAに挿入されないようにできるため、拡大ON状態における撮影画像データGS2(図10参照)の歪を小さくすることができる。
【0097】
[第5実施形態]
次に、第5実施形態による冷蔵庫について説明する。なお、以下の説明において、上述した他の実施形態の各部に対応する部分には同一の符号を付し、その説明を省略する場合がある。
第4実施形態においては、第1実施形態におけるレンズ切替部350(図7参照)に代えて、図28に示すレンズ切替部354(レンズ着脱部)が適用される。その他の点において、本実施形態の構成は第1実施形態のもの(図1~23参照)と同様である。
【0098】
図28は、第5実施形態におけるレンズ切替部354の構成を示す模式図である。
図28において、レンズ切替部354は、追加レンズ362と、レンズフレーム380と、軸支部382と、を備えている。軸支部382は、レンズフレーム380を、その中央付近において、回動自在に支持している。レンズフレーム380は長尺棒状に形成されており、その一端に追加レンズ362が装着されている。そして、ユーザは、レンズフレーム380の他端を指で動かすことにより、レンズフレーム380を回動させることができる。
【0099】
ユーザがレンズフレーム380を実線に示す位置に回動させると、追加レンズ362が光軸LAに挿入されるため、拡大ON状態になる。一方、ユーザがレンズフレーム380を破線で示す位置に回動させると、追加レンズ362が光軸LAから外れるため、拡大OFF状態になる。本実施形態によれば、レンズフレーム380をユーザが動かすため、レンズフレーム380を駆動する回路を省略することができ、駆動に必要な電力消費も削減することができる。
【0100】
[第6実施形態]
次に、第6実施形態による冷蔵庫について説明する。なお、以下の説明において、上述した他の実施形態の各部に対応する部分には同一の符号を付し、その説明を省略する場合がある。
第6実施形態においては、第1実施形態におけるレンズ切替部350(図7参照)に代えて、図29に示すレンズ切替部355が適用される。その他の点において、本実施形態の構成は第1実施形態のもの(図1~23参照)と同様である。
【0101】
図29は、第6実施形態に適用されるレンズ切替部355の模式的な平面図である。
図29において、レンズ切替部355(レンズ着脱部)は、追加レンズ362と、レンズフレーム364と、ドライバ368と、を備えている。これらの構成は、第1実施形態のもの(図7参照)と同様である。さらに、本実施形態のレンズ切替部355は、レンズフレーム364を左右方向に駆動するアクチュエータ386を備えている。
【0102】
アクチュエータ386が、レンズフレーム364を実線に示す位置に回動させると、追加レンズ362が光軸LAに挿入されるため、拡大ON状態になる。一方、アクチュエータ386がレンズフレーム364を破線で示す位置に回動させると、追加レンズ362が光軸LAから外れるため、拡大OFF状態になる。本実施形態によれば、アクチュエータ386がレンズフレーム364を前後方向に移動させず左右方向に回動させるため、第1実施形態のレンズ切替部350(図7参照)と比較して、前後方向の寸法を小さくできる。
【0103】
[第7実施形態]
次に、第7実施形態による冷蔵庫について説明する。なお、以下の説明において、上述した他の実施形態の各部に対応する部分には同一の符号を付し、その説明を省略する場合がある。
図30は、第7実施形態における光学ユニット300の模式図である。
本実施形態においては、光軸LAの途中にIRカットフィルタ(赤外線カットフィルタ)320が挿入されている。図30には、2つの配置例P10,P12を示す。配置例P10のように、IRカットフィルタ320はイメージセンサ314とベースレンズ318との間に挿入してもよく、配置例P12のように追加レンズ362とベースレンズ318との間に挿入してもよい。
【0104】
上述した以外の本実施形態の構成は、第1~第6実施形態(図1図29参照)の何れかと同様である。本実施形態においては、IRカットフィルタ320を光軸LAに挿入したため、撮影画像データGS(図8参照)に赤外線による像が現れる現象を抑制できる。
【0105】
[第8実施形態]
次に、第8実施形態による冷蔵庫について説明する。なお、以下の説明において、上述した他の実施形態の各部に対応する部分には同一の符号を付し、その説明を省略する場合がある。
図31は、第8実施形態における光学ユニット300の模式図である。
本実施形態においては、第3実施形態(図25図26参照)における追加レンズ362に代えて、追加凸レンズ390(第2レンズ、凸レンズ)および追加凹レンズ392(第2レンズ、凹レンズ)のセットが光軸LAに挿入される。
【0106】
この構成においては、ベースレンズ318を光軸LAに沿って移動させた場合であっても、光軸LA,LBを平行に保つことができる。上述した以外の本実施形態の構成は、第3実施形態(図25図26参照)と同様である。本実施形態においては、必要に応じてベースレンズ318を光軸LAに沿って移動させることにより、焦点FPを撮像対象に合わせることができ、これによって画像のピント調節が可能になる。
【0107】
[第9実施形態]
次に、第9実施形態による冷蔵庫について説明する。なお、以下の説明において、上述した他の実施形態の各部に対応する部分には同一の符号を付し、その説明を省略する場合がある。
第9実施形態の構成は、第1~第8実施形態(図1図31参照)の何れかと同様である。
【0108】
但し、本実施形態において、開閉判定部83(図8参照)は、冷蔵室ドア211,212および引出扉221,231,241,251の開閉状態を、撮影画像データGSに基づいて判定する。これにより、図8に示したドアセンサ10および引出扉センサ12を省略することができる。
【0109】
[実施形態の効果]
以上のように上述の実施形態によれば、貯蔵庫(100)は、ドアポケット211c,212cを備える回動扉(211,212)と、容器(223,233,243,253)を前後に移動させる引出扉(221,231,241,251)と、ドアポケット211c,212cおよび/または容器(223,233,243,253)を撮像する撮像部(3)と、を備え、撮像部(3)は、イメージセンサ314と、ドアポケット211c,212cを含む範囲を撮像する場合に使用される第1レンズ(318,376)と、容器(223,233,243,253)を含む範囲を撮像する場合に使用される第2レンズ(362,374,390,392)と、第1レンズ(318,376)および/または第2レンズ(362,374,390,392)をイメージセンサ314に入射する光軸LAから離脱させるレンズ着脱部(350~355)と、を備えるこれにより、レンズ着脱部(350~355)は、第1レンズ(318,376)および/または第2レンズ(362,374,390,392)をイメージセンサ314に入射する光軸LAから必要に応じて離脱させるため、物品の画像を適切に取得しできる。
【0110】
また、第1レンズ(318,376)は、第2レンズ(362,374)よりも広角であり、レンズ着脱部(350~355)は、ドアポケット211c,212cを含む範囲を撮像する場合に第2レンズ(362,374,390,392)を光軸LAから離脱させると一層好ましい。このように、第2レンズ(362,374,390,392)を光軸LAから離脱させることにより、ドアポケット211c,212cの広い範囲を撮影することができる。
【0111】
また、第8実施形態のように、第2レンズ(390,392)は、凸レンズ(390)と凹レンズ(392)とを含むと一層好ましい。これにより、凹レンズ(392)を経た光軸LA,LB(図38参照)を平行にすることができる。
【0112】
さらに、第8実施形態のように、第1レンズ(318)は光軸LAに沿って移動可能になっており、これによってピント調整が可能になっていると一層好ましい。これにより、撮影対象に応じた位置に第1レンズ(318)を移動させることができ、物品の画像を一層適切に取得しできる。
【0113】
また、撮像部(3)がドアポケット211c,212cを含む範囲を撮像する場合には、少なくともドアポケット211c,212cの一部が含まれる範囲の輝度に基づいて露光調整を行う機能と、撮像部(3)が容器(223,233,243,253)を含む範囲を撮像する場合には、少なくとも容器(223,233,243,253)の一部が含まれる範囲の輝度に基づいて露光調整を行う機能と、を有する露光調整部82をさらに備えると一層好ましい。これにより、画像における白飛びや黒つぶれを抑制することができ、物品の画像を一層適切に取得できる。
【0114】
また、回動扉(211,212)および引出扉(221,231,241,251)に対して優先度(PDR,PDM,PDL)を定める撮影設定部84をさらに備え、撮影設定部84は、ドアポケット211c,212cおよび容器(223,233,243,253)の双方を撮影可能な状態まで回動扉(211,212)および引出扉(221,231,241,251)が開いた場合に、優先度(PDR,PDM,PDL)に基づいて、第2レンズ(362,374,390,392)を光軸LAから離脱させるか否かを決定すると一層好ましい。これにより、回動扉(211,212)または引出扉(221,231,241,251)のうち、優先したい側に収納された物品の画像を一層適切に取得できる。
【0115】
また、上述の実施形態は、他の見地によれば、貯蔵庫(100)が、回動扉(211,212)が開状態であって引出扉(221,231,241,251)が閉状態である場合の倍率よりも、回動扉(211,212)が閉状態であって引出扉(221,231,241,251)が開状態である場合の倍率が高くなるように、撮像部(3)の倍率を設定する倍率設定部(81)を備えるものである。これにより、貯蔵庫(100)の状態に応じて、撮像部(3)の適切な倍率を設定できるため、物品の画像を適切に取得しできる。
【0116】
[変形例]
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について削除し、もしくは他の構成の追加・置換をすることが可能である。また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。
【0117】
(1)上記実施形態における制御部80のハードウエアは一般的なコンピュータによって実現できるため、上述した各種処理を実行するプログラム等を記憶媒体(プログラムを記録したコンピュータ読み取り可能な記録媒体)に格納し、または伝送路を介して頒布してもよい。
【0118】
(2)上述した各処理は、上記実施形態ではプログラムを用いたソフトウエア的な処理として説明したが、その一部または全部をASIC(Application Specific Integrated Circuit;特定用途向けIC)、あるいはFPGA(Field Programmable Gate Array)等を用いたハードウエア的な処理に置き換えてもよい。
【0119】
(3)上記実施形態において実行される各種処理は、サーバ53が実行してもよく、上記実施形態において記憶される各種データもサーバ53に記憶させるようにしてもよい。
【符号の説明】
【0120】
3 カメラユニット(撮像部)
81 レンズ切替制御部(倍率設定部)
82 露光調整部
84 撮影設定部
100 冷蔵庫(貯蔵庫)
211,212 冷蔵室ドア(回動扉)
211c,212c ドアポケット
221 製氷室引出扉(引出扉)
223 製氷室容器(容器)
231 上段冷凍室引出扉(引出扉)
233 上段冷凍室容器(容器)
241 野菜室引出扉(引出扉)
243 野菜室容器(容器)
251 下段冷凍室引出扉(引出扉)
253 下段冷凍室容器(容器)
314 イメージセンサ
318 ベースレンズ(第1レンズ)
350~355 レンズ切替部(レンズ着脱部)
362 追加レンズ(第2レンズ)
374 レンズ(第2レンズ)
376 レンズ(第1レンズ)
390 追加凸レンズ(第2レンズ、凸レンズ)
392 追加凹レンズ(第2レンズ、凹レンズ)
LA 光軸
PDR ドア優先度(優先度)
PDM 中段引出優先度(優先度)
PDL 下段引出優先度(優先度)
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31