(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-14
(45)【発行日】2024-08-22
(54)【発明の名称】冷蔵庫並びに貯蔵庫及び撮影装置が行う撮影方法
(51)【国際特許分類】
F25D 23/00 20060101AFI20240815BHJP
F25D 11/00 20060101ALI20240815BHJP
F25D 29/00 20060101ALI20240815BHJP
【ＦＩ】
F25D23/00 301K
F25D11/00 101B
F25D29/00 Z
【請求項の数】
8
(21)【出願番号】P 2021170614
(22)【出願日】2021-10-19
(65)【公開番号】P2023060929
(43)【公開日】2023-05-01
【審査請求日】2023-09-26
(73)【特許権者】
【識別番号】399048917
【氏名又は名称】日立グローバルライフソリューションズ株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】青山 勝
(72)【発明者】
【氏名】関口 禎多
(72)【発明者】
【氏名】草野 慎太郎
(72)【発明者】
【氏名】山▲崎▼ 貴史
【審査官】庭月野 恭
(56)【参考文献】
【文献】国際公開第２０１７／０７２９５４（ＷＯ，Ａ１）
【文献】特開２０１８－０３５９８３（ＪＰ，Ａ）
【文献】特開２０１７－０１５２９８（ＪＰ，Ａ）
【文献】特開２０１５－０８７０４１（ＪＰ，Ａ）
【文献】特開２００１－３１７８５８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｆ２５Ｄ ２３／００
Ｆ２５Ｄ １１／００
(57)【特許請求の範囲】
【請求項1】
貯蔵室を有する筐体と、前記貯蔵室の開口を塞ぐ扉と、
少なくとも前記貯蔵室を撮影する撮影部と、
制御部の処理に応じて、
前記撮影部の視野の全部または一部を複数の領域に分けて認識し、
前記撮影部の視野のうち、食材が存在する位置を含む一部の領域の重みづけを、残部の領域の重みづけよりも高くして、前記撮影部の露光調整を実行する冷蔵庫。
【請求項2】
請求項１において、該複数の領域のうち、輝度の平均値が最も高い領域を基準として、前記露光調整を実行する冷蔵庫。
【請求項3】
請求項１において、前記扉の開閉及び／又は開角度を検知するドアセンサを備え、
食材が存在する位置を含む前記一部の領域の認識は、前記ドアセンサの情報に応じて行われる冷蔵庫。
【請求項4】
請求項３において、前記扉として、前記撮影部の視野に収まる複数枚の扉を備え、
前記扉の一部のみが開である場合、当該扉の開き方向に応じて前記一部の領域を作成する冷蔵庫。
【請求項5】
請求項１において、前記撮影部の視野のうち、食材が存在する位置を含む一部の領域の輝度に応じて、前記撮影部の露光調整を実行する冷蔵庫。
【請求項6】
請求項１において、前記撮影部の視野には、前記貯蔵室の壁面が含まれ、
該壁面は、白色である冷蔵庫。
【請求項7】
請求項１において、前記撮影部の視野には、前記扉の内板が含まれ、
該内板は、白色である冷蔵庫。
【請求項8】
貯蔵室を有する筐体と、前記貯蔵室の開口を塞ぐ扉と、を備える貯蔵庫と、
少なくとも前記貯蔵室を撮影する撮影装置と、によって実行される撮影方法であって、
制御部の処理に応じて、
前記撮影装置の視野の全部または一部を複数の領域に分けて認識し、
前記撮影装置の視野のうち、食材が存在する位置を含む一部の領域の重みづけを、残部の領域の重みづけよりも高くして、前記撮影装置の露光調整を実行する撮影方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、冷蔵庫に関する。
【背景技術】
【0002】
冷蔵庫の貯蔵室等をカメラで撮影する技術として、例えば、特許文献１には、「カメラは、冷蔵庫本体の上部で、かつ扉と干渉しない位置に配置」すると記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００３－４２６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１には、例えば、冷蔵庫の貯蔵室等を撮影する際の明るさについては記載されておらず、カメラによる撮影をさらに適切に行う余地がある。
【課題を解決するための手段】
【0005】
本開示に係る冷蔵庫は、
貯蔵室を有する筐体と、
前記貯蔵室の開口を塞ぐ扉と、
少なくとも前記貯蔵室を撮影する撮影部と、
制御部の処理に応じて、
前記撮影部の視野の全部または一部を複数の領域に分けて認識し、
前記撮影部の視野のうち、食材が存在する位置を含む一部の領域の重みづけを、残部の領域の重みづけよりも高くして、前記撮影部の露光調整を実行する冷蔵庫。
貯蔵室を有する筐体と、
前記貯蔵室の開口を塞ぐ扉と、
少なくとも前記貯蔵室を撮影する撮影部と、
制御部の処理に応じて、
前記撮影部の視野の全部または一部を複数の領域に分けて認識し、
前記撮影部の視野のうち、食材が存在する位置を含む一部の領域の重みづけを、残部の領域の重みづけよりも高くして、前記撮影部の露光調整を実行する冷蔵庫。
【図面の簡単な説明】
【0006】
【図1】第１実施形態に係る冷蔵庫の正面図である。
【図2】第１実施形態に係る冷蔵庫の側面図である。
【図3】第１実施形態に係る冷蔵庫の左右の冷蔵室ドアが開かれた状態の正面図である。
【図4】第１実施形態に係る冷蔵庫の左右の冷蔵室ドアが開かれた状態の平面図である。
【図5】第１実施形態に係る冷蔵庫のカメラユニットを斜め下から見上げた場合の斜視図である。
【図6A】第１実施形態に係る冷蔵庫のカメラユニットの正面図である。
【図7】第１実施形態に係る冷蔵庫のカメラユニットを含むシステム構成図である。
【図8A】第１実施形態に係る冷蔵庫の制御部が実行する自動撮影の処理のフローチャートである。
【図8B】第１実施形態に係る冷蔵庫の制御部が実行する自動撮影の処理のフローチャートである。
【図9】第１実施形態に係る冷蔵庫の冷蔵室ドアが開閉される過程を時系列的に示す説明図である。
【図10】第１実施形態に係る冷蔵庫のカメラユニットの撮影結果であって、画像処理が行われていない状態の例である。
【図11】第１実施形態に係る冷蔵庫のカメラユニットの撮影結果であって、画像処理が行われた状態の例である。
【図12A】第１実施形態に係る冷蔵庫において、露光調整を行う際の基準となる領域の候補を示す説明図である。
【図12B】比較例に係る冷蔵庫において、露光調整を行う際の基準となる領域を示す説明図である。
【図13】第２実施形態に係る冷蔵庫が備える左右の冷蔵室ドアの正面図及び下面図である。
【図14A】第２実施形態に係る冷蔵庫が備える右側の冷蔵室ドアの下部の断面斜視図である。
【図14B】第２実施形態に係る冷蔵庫が備える右側の冷蔵室ドアの下部の断面図である。
【発明を実施するための形態】
【0007】
≪第１実施形態≫
図１は、第１実施形態に係る冷蔵庫１００の正面図である。
冷蔵庫１００は、食品等を冷やす機器であり、筐体１の他、冷蔵室ドア２１１，２１２等の各ドア（扉）と、カメラユニット３と、を備えている。筐体１は、その内部に複数の貯蔵室を有している。図１の例では、冷蔵庫１００の貯蔵室として、上から順に、冷蔵室２１と、左右に並ぶ製氷室２２・上段冷凍室２３の他、野菜室２４と、下段冷凍室２５と、が設けられている。
図１は、第１実施形態に係る冷蔵庫１００の正面図である。
冷蔵庫１００は、食品等を冷やす機器であり、筐体１の他、冷蔵室ドア２１１，２１２等の各ドア（扉）と、カメラユニット３と、を備えている。筐体１は、その内部に複数の貯蔵室を有している。図１の例では、冷蔵庫１００の貯蔵室として、上から順に、冷蔵室２１と、左右に並ぶ製氷室２２・上段冷凍室２３の他、野菜室２４と、下段冷凍室２５と、が設けられている。
【0008】
筐体１は、鋼板製の外箱１１と、樹脂製の内箱（図示せず）と、の間に発泡ウレタン等の断熱材（図示せず）が充填された構成になっている。筐体１の前側（正面側）には、各室に対応する複数の開口１０（図２、図４参照）が設けられている。例えば、冷蔵室２１の開口１０を介して食品等が入れられる際には、冷蔵室ドア２１１，２１２が開けられる。また、冷蔵室ドア２１１，２１２が閉じられると、冷蔵室２１の開口１０が閉塞された状態になる。このように、冷蔵室ドア２１１，２１２（扉）は、筐体１の開口１０を塞ぐ機能等を有している。なお、他の各ドアについても同様である。
【0009】
冷蔵庫１００は、筐体１とともに冷蔵室２１を形成するフレンチ式ドアとして、左右の冷蔵室ドア２１１，２１２を備えている。左側の冷蔵室ドア２１１（左ドア）は、左端のヒンジ２１１ａ（図４参照）の軸を中心として、回動可能になっている。なお、右側の冷蔵室ドア２１２（右ドア）についても同様である。また、冷蔵庫１００は、引出し式のドアとして、製氷室ドア２２１や上段冷凍室ドア２３１の他、野菜室ドア２４１や下段冷凍室ドア２５１を備えている。
【0010】
冷蔵室２１には、この冷蔵室２１を所定に仕切る複数の棚板２１３（図３参照）が設けられている。左側の冷蔵室ドア２１１の庫内側には、食品等を収容するための複数のドアポケット２１１ｃ（図３参照）が設けられている（右側の冷蔵室ドア２１２も同様）。製氷室２２には、製氷室ドア２２１と一体に引き出される製氷室容器（図示せず）が設けられている。同様に、上段冷凍室２３には上段冷凍室容器（図示せず）が設けられ、また、野菜室２４には野菜室容器（図示せず）が設けられている他、下段冷凍室２５には下段冷凍室容器（図示せず）が設けられている。
【0011】
また、冷蔵庫１００は、図示はしないが、圧縮機と、放熱器（凝縮器）と、キャピラリチューブ（絞り機構）と、蒸発器と、を備えている。そして、圧縮機、放熱器、キャピラリチューブ、及び蒸発器を順次に介して冷媒が循環し、蒸発器を通流する冷媒との間の熱交換で、貯蔵室の空気が冷やされるようになっている。図１に示すカメラユニット３は、冷蔵庫１００の貯蔵室等を撮像するものであり、筐体１の上面に設置されている。
【0012】
図２は、冷蔵庫１００の側面図である。
図２に示すように、カメラユニット３は、本体部３１と、支持部３２と、を備えている。本体部３１は、貯蔵室等を撮像する機能を有している。支持部３２は、本体部３１を支持するものであり、筐体１の上面に設置されている。
図２に示すように、カメラユニット３は、本体部３１と、支持部３２と、を備えている。本体部３１は、貯蔵室等を撮像する機能を有している。支持部３２は、本体部３１を支持するものであり、筐体１の上面に設置されている。
【0013】
本体部３１の前端付近には、レンズ３１ａ（図５も参照）が設けられている。レンズ３１ａは、光を屈折させて集束させる光学素子である。このようなレンズ３１ａとして、例えば、魚眼レンズが用いられる。そして、冷蔵室ドア２１１，２１２（図１参照）が開かれた場合に、カメラユニット３で冷蔵室２１（図１参照）を撮像できるように、レンズ３１ａが下側に臨んだ状態になっている。
【0014】
図２に示すように、レンズ３１ａは、筐体１の前端（筐体１の開口１０）よりも前側に位置している。より好ましくは、レンズ３１ａは、閉状態の冷蔵室ドア２１１，２１２（図１参照）の前面よりもさらに前側に位置している。これによって、例えば、冷蔵室ドア２１１，２１２が開けられた際、レンズ３１ａの視野に冷蔵室２１が入りやすくなる。なお、野菜室ドア２４１等の引出し式のドアが開かれた状態で、カメラユニット３によって野菜室２４等（図１参照）を撮像することも可能である。このように、それぞれの貯蔵室を上から見下ろせる位置にレンズ３１ａが設けられている。
【0015】
図３は、冷蔵庫１００の左右の冷蔵室ドア２１１，２１２が開かれた状態の正面図である。
前記したように、左側の冷蔵室ドア２１１の内板２１１ｂには、食品等を収容するための複数のドアポケット２１１ｃが設けられている（右側の冷蔵室ドア２１２も同様）。そして、左右の冷蔵室ドア２１１，２１２が開けられると、冷蔵室２１やドアポケット２１１ｃ，２１２ｃの食品等が、カメラユニット３のレンズ３１ａの視野に俯瞰的に入るようになっている（図１０も参照）。
前記したように、左側の冷蔵室ドア２１１の内板２１１ｂには、食品等を収容するための複数のドアポケット２１１ｃが設けられている（右側の冷蔵室ドア２１２も同様）。そして、左右の冷蔵室ドア２１１，２１２が開けられると、冷蔵室２１やドアポケット２１１ｃ，２１２ｃの食品等が、カメラユニット３のレンズ３１ａの視野に俯瞰的に入るようになっている（図１０も参照）。
【0016】
図３に示す回転仕切２１１ｄは、冷蔵室ドア２１１，２１２の間の隙間からの冷気漏れを抑制するための仕切体である。図３の例では、左側の冷蔵室ドア２１１において、ヒンジ２１１ａ（図４参照）の軸とは反対側の端部に回転仕切２１１ｄが設けられ、冷蔵室ドア２１１の開閉に伴って所定に回転するようになっている。
【0017】
また、カメラユニット３を用いて冷蔵室２１を手動で撮影する際、ユーザによって押される撮影ボタン７が、左右の冷蔵室ドア２１１，２１２にひとつずつ設けられている。図３の例では、左側の冷蔵室ドア２１１（扉）において、この冷蔵室ドア２１１のヒンジ２１１ａ（図４参照）とは反対側の面の下部に、撮影ボタン７が設けられている（右側の冷蔵室ドア２１２も同様）。別の観点から説明すると、左右の冷蔵室ドア２１１，２１２が閉まっている状態（図１参照）において、冷蔵室ドア２１１，２１２の一方が他方と対向している面（図３の回転仕切２１１ｄの付近）に撮影ボタン７が設けられている。
【0018】
これら２つの撮影ボタン７のうち少なくとも一方がユーザによって押された場合に行う撮影を「手動撮影」という。また、冷蔵室ドア２１１，２１２の開き始めのタイミングからの経過時間に基づいて、制御部８（図７参照）が行う撮影を「自動撮影」という。
【0019】
図４は、冷蔵庫１００の左右の冷蔵室ドア２１１，２１２が開かれた状態の平面図である。
図４の例では、左右方向において、冷蔵庫１００の筐体１の中央よりも若干左側にカメラユニット３の本体部３１が配置されている。より詳しく説明すると、閉状態の冷蔵室ドア２１１，２１２の合わせ目の真上にカメラユニット３の本体部３１が配置されている（図１も参照）。このように本体部３１を配置することで、例えば、冷蔵室ドア２１１，２１２が開けられた場合に、ドアポケット２１１ｃ，２１２ｃの食品等がカメラユニット３の視野に入りやすくなる。
図４の例では、左右方向において、冷蔵庫１００の筐体１の中央よりも若干左側にカメラユニット３の本体部３１が配置されている。より詳しく説明すると、閉状態の冷蔵室ドア２１１，２１２の合わせ目の真上にカメラユニット３の本体部３１が配置されている（図１も参照）。このように本体部３１を配置することで、例えば、冷蔵室ドア２１１，２１２が開けられた場合に、ドアポケット２１１ｃ，２１２ｃの食品等がカメラユニット３の視野に入りやすくなる。
【0020】
また、冷蔵庫１００を使用する際、ユーザは、冷蔵室ドア２１１，２１２の合わせ目（境界部）を意識することが多い。したがって、冷蔵室ドア２１１，２１２の合わせ目の真上に本体部３１を配置することで、本体部３１の左右方向の位置が合わせ目から外れている場合に比べて、ユーザが違和感を感じることを抑制できる。
【0021】
図５は、カメラユニット３を斜め下から見上げた場合の斜視図である。
図５に示すカメラユニット３の本体部３１は、前記したレンズ３１ａ（図２も参照）の他に、ケース３１ｂと、カメラＬＥＤ３１ｃ（Light Emitting Diode：照明部）と、を備えている。図５の例では、本体部３１のケース３１ｂは、概ね、前後方向に細長い直方体状を呈している。ケース３１ｂの前端付近の下面には、円形状の孔（符号は図示せず）が設けられ、この孔を介してレンズ３１ａが露出している。また、レンズ３１ａの後側（奥側）にカメラＬＥＤ３１ｃが設けられている。
図５に示すカメラユニット３の本体部３１は、前記したレンズ３１ａ（図２も参照）の他に、ケース３１ｂと、カメラＬＥＤ３１ｃ（Light Emitting Diode：照明部）と、を備えている。図５の例では、本体部３１のケース３１ｂは、概ね、前後方向に細長い直方体状を呈している。ケース３１ｂの前端付近の下面には、円形状の孔（符号は図示せず）が設けられ、この孔を介してレンズ３１ａが露出している。また、レンズ３１ａの後側（奥側）にカメラＬＥＤ３１ｃが設けられている。
【0022】
カメラＬＥＤ３１ｃは、カメラユニット３が冷蔵室２１（図３参照）やドアポケット２１１ｃ，２１２ｃ（図３参照）を適度な明るさのもとで撮影できるように、冷蔵室２１等に光を照射する光源である。また、カメラＬＥＤ３１ｃ（照明部）は、冷蔵庫１００の筐体１（図２参照）の外側に設けられている。詳細については後記するが、第１実施形態では、冷蔵庫１００の庫内灯４（図７参照）を消灯しつつ、カメラＬＥＤ３１ｃを点灯させた状態で、カメラユニット３が冷蔵室２１等（図３参照）を撮影するようにしている。
【0023】
図５に示すように、カメラＬＥＤ３１ｃの前側にレンズ３１ａを設けることで、冷蔵室ドア２１１，２１２が開けられた状態で、冷蔵室２１等（図３参照）からの反射光がレンズ３１ａに入射しやすくなる。したがって、冷蔵室２１等に収容されている食品を適切に撮影できる。なお、冷蔵庫１００の筐体１（図２参照）の前端（筐体１の開口１０）よりも前側にカメラＬＥＤ３１ｃが位置していることが好ましい。これによって、カメラＬＥＤ３１ｃから照射された光が冷蔵室２１等に入射しやすくなり、ひいては、鮮明な撮影結果が得られやすくなる。
【0024】
図６Ａは、カメラユニット３の正面図である。
図６Ａに示すように、カメラユニット３の本体部３１が支持部３２の上側に設置されている。また、左右方向において、支持部３２の中央付近に本体部３１が設置されている。
図６Ａに示すように、カメラユニット３の本体部３１が支持部３２の上側に設置されている。また、左右方向において、支持部３２の中央付近に本体部３１が設置されている。
【0025】
図６Ｂは、図６ＡのII-II線矢視断面図である。
図６Ｂに示すように、カメラユニット３は、レンズ３１ａ（図５も参照）やカメラＬＥＤ３１ｃ（図５も参照）、ケース３１ｂを備える他、回路基板３１ｄを備えている。回路基板３１ｄは、後記する撮像素子３１ｅ（図７参照）やカメラ／通信制御ＳｏＣ３１ｆ（System-on-a-Chip：図７参照）が実装されたプリント基板である。このように、レンズ３１ａやカメラＬＥＤ３１ｃ、回路基板３１ｄを一つのケース３１ｂに収容することで、これらを別体で設ける場合と比べて、カメラユニット３を小型化できるとともに、配線の長さを短縮できる。
図６Ｂに示すように、カメラユニット３は、レンズ３１ａ（図５も参照）やカメラＬＥＤ３１ｃ（図５も参照）、ケース３１ｂを備える他、回路基板３１ｄを備えている。回路基板３１ｄは、後記する撮像素子３１ｅ（図７参照）やカメラ／通信制御ＳｏＣ３１ｆ（System-on-a-Chip：図７参照）が実装されたプリント基板である。このように、レンズ３１ａやカメラＬＥＤ３１ｃ、回路基板３１ｄを一つのケース３１ｂに収容することで、これらを別体で設ける場合と比べて、カメラユニット３を小型化できるとともに、配線の長さを短縮できる。
【0026】
図７は、冷蔵庫１００のカメラユニット３を含むシステム構成図である。
図７に示すように、冷蔵庫１００は、カメラユニット３の他に、庫内灯４と、ブザー５と、ドアセンサ６と、撮影ボタン７と、制御部８と、を備えている。庫内灯４は、冷蔵庫１００の庫内に光を照射する光源であり、筐体１の内側に設けられている。ブザー５は、例えば、カメラユニット３による撮影において、庫内灯４を消灯する際に鳴らされるものであり、筐体１の所定箇所に設置されている。
図７に示すように、冷蔵庫１００は、カメラユニット３の他に、庫内灯４と、ブザー５と、ドアセンサ６と、撮影ボタン７と、制御部８と、を備えている。庫内灯４は、冷蔵庫１００の庫内に光を照射する光源であり、筐体１の内側に設けられている。ブザー５は、例えば、カメラユニット３による撮影において、庫内灯４を消灯する際に鳴らされるものであり、筐体１の所定箇所に設置されている。
【0027】
ドアセンサ６は、冷蔵室ドア２１１，２１２の開閉状態を示す所定の信号を制御部８に出力する。なお、図７ではひとつのドアセンサ６を示しているが、実際には、左側の冷蔵室ドア２１１（図１参照）に対応するドアセンサ６と、右側の冷蔵室ドア２１２（図１参照）に対応する別のドアセンサ６と、が設けられている。例えば、左側の冷蔵室ドア２１１が開かれた場合には、この冷蔵室ドア２１１に対応するドアセンサ６から制御部８に開信号が出力される。撮影ボタン７（図３も参照）は、前記したように、カメラユニット３を用いて手動で撮影する際、ユーザによって押されるボタンである。
【0028】
制御部８は、例えば、マイコンであり、図示はしないが、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、各種インタフェース等の電子回路を含んで構成されている。そして、ＲＯＭに記憶されたプログラムを読み出してＲＡＭに展開し、ＣＰＵが各種処理を実行するようになっている。制御部８は、前記した「自動撮影」を行う他、撮影ボタン７が押された場合には、「手動撮影」を行う。なお、制御部８が行う処理の詳細については後記する。
【0029】
カメラユニット３は、レンズ３１ａ（図５も参照）やカメラＬＥＤ３１ｃ（図５も参照）の他、撮像素子３１ｅと、カメラ／通信制御ＳｏＣ３１ｆと、無線ＬＡＮユニット３１ｇと、を備えている。撮像素子３１ｅは、レンズ３１ａを介して入射する光を光電変換し、撮影画像データを生成する素子である。このような撮像素子３１ｅとして、例えば、ＣＣＤセンサ（Charge Coupled Device）やＣＭＯＳセンサ（Complementary Metal Oxide Semiconductor）が用いられる。
【0030】
カメラ／通信制御ＳｏＣ３１ｆは、マイコンの機能や他の応用的な機能を有する回路を１チップ上に集積し、連携して機能するよう設計された集積回路である。カメラ／通信制御ＳｏＣ３１ｆは、制御部８との間で所定に通信を行い、撮像素子３１ｅに撮影指令を出力する。これによって、撮像素子３１ｅからカメラ／通信制御ＳｏＣ３１ｆに撮影画像データが入力される。なお、カメラ／通信制御ＳｏＣ３１ｆは集積回路の一例であり、他の種類のものを用いるようにしてもよい。
【0031】
図７に示す撮影部３０は、少なくとも冷蔵室２１等（貯蔵室）を撮影する機能を有し、冷蔵庫１００の筐体１（図１参照）の外側に設けられている。図７に示すように、撮影部３０は、レンズ３１ａと、撮像素子３１ｅと、カメラ／通信制御ＳｏＣ３１ｆと、を含んで構成されている。
【0032】
無線ＬＡＮユニット３１ｇは、カメラ／通信制御ＳｏＣ３１ｆから出力される撮影画像データをルータ５１に送信する。ルータ５１は、通信の中継機器であり、無線ＬＡＮユニット３１ｇから受信した撮影画像データをネットワーク５２を介して、サーバ５３に送信する。サーバ５３は、撮影画像データについて所定の処理を行い、冷蔵庫１００の識別情報に対応付けて保存する。また、サーバ５３は、ユーザの携帯端末５４から冷蔵庫１００の庫内画像の要求信号を受信した場合、撮影画像データを携帯端末５４に送信する。このような携帯端末５４として、携帯電話やスマートフォンの他、タブレットやウェアラブル端末等が用いられる。
【0033】
＜制御部の処理＞
図８Ａ、図８Ｂは、冷蔵庫の制御部が実行する自動撮影の処理のフローチャートである（適宜、図７を参照）。
以下では、一例として、冷蔵室ドア２１１，２１２（図３参照）のうちの少なくとも一方が開かれた場合に、カメラユニット３が冷蔵室２１を撮影する処理について説明する。なお、図８Ａの「ＳＴＡＲＴ」時には、左右の冷蔵室ドア２１１，２１２（図３参照）が閉状態であるものとする。また、ユーザによる携帯端末５４（図７参照）の操作で、自動撮影の設定のオン／オフや、手動撮影の設定のオン／オフを切り替えることができるようになっている。図８Ａ、図８Ｂの例では、自動撮影の設定がオン（自動撮影可能）であり、さらに、手動撮影の設定もオン（手動撮影可能）になっているものとする。
図８Ａ、図８Ｂは、冷蔵庫の制御部が実行する自動撮影の処理のフローチャートである（適宜、図７を参照）。
以下では、一例として、冷蔵室ドア２１１，２１２（図３参照）のうちの少なくとも一方が開かれた場合に、カメラユニット３が冷蔵室２１を撮影する処理について説明する。なお、図８Ａの「ＳＴＡＲＴ」時には、左右の冷蔵室ドア２１１，２１２（図３参照）が閉状態であるものとする。また、ユーザによる携帯端末５４（図７参照）の操作で、自動撮影の設定のオン／オフや、手動撮影の設定のオン／オフを切り替えることができるようになっている。図８Ａ、図８Ｂの例では、自動撮影の設定がオン（自動撮影可能）であり、さらに、手動撮影の設定もオン（手動撮影可能）になっているものとする。
【0034】
ステップＳ１０１において制御部８は、ドアセンサ６から開信号の入力があったか否かを判定する。つまり、制御部８は、左右の冷蔵室ドア２１１，２１２（図３参照）のうちの少なくとも一方が開かれたか否かを判定する。ステップＳ１０１において、ドアセンサ６から開信号の入力がない場合（Ｓ１０１：Ｎｏ）、制御部８は、ステップＳ１０１の処理を繰り返す。一方、ステップＳ１０１において、ドアセンサ６から開信号の入力があった場合（Ｓ１０１：Ｙｅｓ）、制御部８の処理はステップＳ１０２に進む。
【0035】
ステップＳ１０２において制御部８は、冷蔵庫１００の庫内灯４を点灯させるとともに、カメラＬＥＤ３１ｃを点灯させる。つまり、制御部８は、冷蔵室ドア２１１，２１２（扉）の少なくとも一方が開かれた直後には庫内灯４を点灯させるとともに、カメラＬＥＤ３１ｃ（照明部）も点灯させる。後記するように、ドアセンサ６から開信号が入力されてから所定時間が経過した後、制御部８が庫内灯４を消灯させるが（Ｓ１０３：Ｙｅｓ、Ｓ１０４）、それまでは庫内灯４を点灯させる。これによって、冷蔵室２１に光が照射されるため、ユーザが冷蔵室２１を視認しやすくなる。また、ユーザが冷蔵室ドア２１１，２１２のうち少なくとも一方を開けたときに庫内灯４が消灯している場合に比べて、ユーザが違和感を感じることを抑制できる。
【0036】
さらに、制御部８が庫内灯４とともにカメラＬＥＤ３１ｃも点灯させることで（Ｓ１０２）、その後の撮影（Ｓ１０６）に備えることができる。また、庫内灯４とカメラＬＥＤ３１ｃとをタイミングをずらして点灯させる場合に比べて、撮影時の露光調整に要する時間を短縮できる。なお、カメラＬＥＤ３１ｃは、左右の冷蔵室ドア２１１，２１２の両方が閉められるまで点灯され続ける。
【0037】
次に、ステップＳ１０３において制御部８は、ドアセンサ６から開信号の入力があった時点から所定時間が経過したか否かを判定する。この所定時間（例えば、数秒間）は、庫内灯４が消灯（Ｓ１０４）されるまでの時間であり、予め設定されている。例えば、その後の露光調整（Ｓ１０５）の時間も考慮して、撮影時（Ｓ１０６）に冷蔵室ドア２１１，２１２が所定の開角度以上に開かれている可能性が高くなるように、ステップＳ１０３の所定時間が予め設定されている。
【0038】
ステップＳ１０３において、ドアセンサ６から開信号の入力があった時点から所定時間が経過していない場合（Ｓ１０３：Ｎｏ）、制御部８は、ステップＳ１０３の処理を繰り返す。一方、ドアセンサ６から開信号の入力があった時点から所定時間が経過した場合（Ｓ１０３：Ｙｅｓ）、制御部８の処理はステップＳ１０４に進む。
【0039】
ステップＳ１０４において制御部８は、庫内灯４を消灯するとともに、ブザー５を鳴らす。すなわち、制御部８は、冷蔵室ドア２１１，２１２（扉）の少なくとも一方が開かれた後、庫内灯４を消灯する際、ブザー５を鳴らす。このようにブザー５を鳴らすことで、庫内灯４が消灯した際にユーザが感じる違和感を低減できる他、撮影のための消灯であることをユーザが把握しやすくなる。
【0040】
次に、ステップＳ１０５において制御部８は、露光調整を行う。つまり、制御部８は、撮像素子３１ｅから出力される電気信号を増幅する際のゲイン（明るさに対する感度）を調整する他、カメラユニット３のシャッタスピード等を調整する。例えば、制御部８は、撮影画像データの輝度の平均値が所定範囲内に含まれるように、前記したゲインを調整する。このように露光調整を行うことで、撮影画像における白飛び（ハレーション）や黒つぶれを抑制できる。なお、冷蔵室ドア２１１，２１２のうち少なくとも一方が開かれてから、冷蔵室ドア２１１，２１２の両方が閉じられるまで、画像入力や露光調整が所定に繰り返されるようにしてもよい。
【0041】
次に、ステップＳ１０６において制御部８は、撮影指令を出力する。すなわち、制御部８は、光電変換によって撮像素子３１ｅから出力され、さらに、所定のゲインで増幅された電気信号を撮影画像データとして取り込む。このように、制御部８は、冷蔵室ドア２１１，２１２（扉）の少なくとも一方が開かれた後（Ｓ１０１：Ｙｅｓ）、庫内灯４を消灯し、さらに、カメラＬＥＤ３１ｃ（照明部）を点灯させた状態で撮影部３０に撮影を行わせる（Ｓ１０２、Ｓ１０４、Ｓ１０６）。
【0042】
なお、図８Ａ、図８Ｂには特に示していないが、庫内灯４を消灯してから所定時間（例えば、数秒間）が経過した後、制御部８が撮影部３０に撮影を行わせることが好ましい。このように庫内灯４の消灯から撮影までの間に所定時間を設けることで、露光調整（Ｓ１０５）を適切に行うことができる。
【0043】
また、図８Ａ、図８Ｂには特に示していないが、１回目の撮影時から所定時間が経過するたびに、制御部８が撮影を行うようにしてもよい。この所定時間の長さは、ステップＳ１０３における所定時間と同一であってもよいし、また、異なっていてもよい。
【0044】
ステップＳ１０７において制御部８は、冷蔵室ドア２１１，２１２の開角度を認識する。例えば、制御部８は、エッジ検出といった画像処理を行うことで、冷蔵室ドア２１１，２１２のうち開かれているものの開角度を認識する。なお、「開角度」とは、冷蔵室ドア２１１，２１２が開いている角度であり、例えば、冷蔵庫１００を平面視した場合の筐体１（図４参照）の前端を基準として認識される。
【0045】
次に、図８ＢのステップＳ１０８において制御部８は、冷蔵室ドア２１１，２１２の開角度が所定値以上であるか否かを判定する。この所定値は、撮影結果を保存するか（Ｓ１０９）、それとも破棄するか（Ｓ１１０）を選択する際の判定基準となる開角度の閾値であり、予め設定されている。
【0046】
ステップＳ１０８において、冷蔵室ドア２１１，２１２のうち少なくとも一方の開角度が所定値以上である場合（Ｓ１０８：Ｙｅｓ）、制御部８の処理はステップＳ１０９に進む。ステップＳ１０９において制御部８は、撮影結果を保存して、ステップＳ１１２の処理に進む。冷蔵室ドア２１１，２１２の開角度が所定値以上である場合には、冷蔵室２１等が適切に撮影されている可能性が高いからである。
【0047】
なお、左側の冷蔵室ドア２１１のみが開かれているときの撮影結果と、右側の冷蔵室ドア２１２のみが開かれているときの撮影結果と、左右の冷蔵室ドア２１１，２１２の両方が開かれているときの撮影結果と、が異なる記憶領域に保存されるようにしてもよい。
【0048】
また、ステップＳ１０８において、冷蔵室ドア２１１，２１２の開角度がいずれも所定値未満である場合（Ｓ１０８：Ｎｏ）、制御部８の処理はステップＳ１１０に進む。ステップＳ１１０において制御部８は、撮影結果を破棄する。冷蔵室ドア２１１，２１２の開角度が所定値未満である場合には、冷蔵室２１等が適切に撮像されていない可能性が高いからである。
【0049】
そして、ステップＳ１１１において制御部８は、ブザー５を鳴らす。すなわち、冷蔵室ドア２１１，２１２（扉）の開角度が所定値未満の状態で撮影を行った場合（Ｓ１０８：Ｎｏ）、制御部８は、ブザー５を鳴らす（Ｓ１１１）。これによって、今回の撮影結果が破棄されたことをユーザに知らせることができる。なお、ステップＳ１１１におけるブザー５の音と、ステップＳ１０４（庫内灯４の消灯時）のブザー５の音と、を異なるものにして、ユーザが両者を区別できるようにしてもよい。ステップＳ１１１の処理を行った後、制御部８の処理はステップＳ１１２に進む。ブザー５の鳴動に代えて、光、振動などユーザが知覚可能な出力を冷蔵庫又はユーザが使用する携帯端末５４に行わせてもよい。
【0050】
ステップＳ１１２において制御部８は、庫内灯４を点灯させる。つまり、制御部８は、カメラＬＥＤ３１ｃを点灯させたまま、庫内灯４も点灯させる。このように、制御部８が、撮影部３０に撮影を行わせた後（図８ＡのＳ１０６）、庫内灯４を点灯させる（図８ＢのＳ１１２）。これによって、冷蔵室２１が明るく照らされるため、ユーザが冷蔵室２１を視認しやすくなる。
【0051】
次に、ステップＳ１１３において制御部８は、ドアセンサ６から閉信号の入力があったか否かを判定する。ドアセンサ６から閉信号の入力がない場合（Ｓ１１３：Ｎｏ）、制御部８は、ステップＳ１０２へ戻る。一方、ドアセンサ６から閉信号の入力があった場合（Ｓ１１３：Ｙｅｓ）、制御部８の処理はステップＳ１１４に進む。
【0052】
ステップＳ１１４において制御部８は、庫内灯４を消灯するとともに、カメラＬＥＤ３１ｃを消灯する。
ステップＳ１１５において制御部８は、撮影結果を選定する。例えば、制御部８は、保存されている複数の撮影結果のうち、最も新しいものをサーバ５３への送信用の撮影結果として選定する。このように、撮影ごとに撮影結果の保存または破棄を完了させることで、制御部８の必要な記憶量の低減、サーバ５３への送信が必要なデータ量の低減、又は、破棄の場合に適宜ユーザにその旨の報知をすることができる。もちろん、保存の場合にその旨を報知するようにしてもよい。撮影結果が保存または破棄いずれにて処理されたかをユーザが認識可能であればよい。
各撮影結果をユーザが認識しやすいように、撮影の時間間隔は、例えば３秒以上開けることができる。こうすると、或る撮影結果を認識させる出力を行った場合に、ユーザが当該撮影結果に対する出力であることを理解しやすい。例えば３秒未満とすると、出力を行った場合、或る撮影結果に対する出力であるか、又はその１つ以上前若しくは後の撮影結果に対する出力であるか、ユーザが区別しにくくなる虞がある。
一方、時間間隔を開けすぎると冷蔵室ドア２１１，２１２の開時間が長くなり、冷蔵室からの冷気の流出が多量になってしまうため、時間間隔は８秒以下、好ましくは５秒以下である。
なお、ステップＳ１１１を実行しない場合、ステップＳ１０６は、連続して複数回の撮影を実行してもよい。この場合、ステップＳ１０８～Ｓ１１０では、複数枚の画像データのすべてについてそれぞれ処理を実行することができる。
ステップＳ１１５において制御部８は、撮影結果を選定する。例えば、制御部８は、保存されている複数の撮影結果のうち、最も新しいものをサーバ５３への送信用の撮影結果として選定する。このように、撮影ごとに撮影結果の保存または破棄を完了させることで、制御部８の必要な記憶量の低減、サーバ５３への送信が必要なデータ量の低減、又は、破棄の場合に適宜ユーザにその旨の報知をすることができる。もちろん、保存の場合にその旨を報知するようにしてもよい。撮影結果が保存または破棄いずれにて処理されたかをユーザが認識可能であればよい。
各撮影結果をユーザが認識しやすいように、撮影の時間間隔は、例えば３秒以上開けることができる。こうすると、或る撮影結果を認識させる出力を行った場合に、ユーザが当該撮影結果に対する出力であることを理解しやすい。例えば３秒未満とすると、出力を行った場合、或る撮影結果に対する出力であるか、又はその１つ以上前若しくは後の撮影結果に対する出力であるか、ユーザが区別しにくくなる虞がある。
一方、時間間隔を開けすぎると冷蔵室ドア２１１，２１２の開時間が長くなり、冷蔵室からの冷気の流出が多量になってしまうため、時間間隔は８秒以下、好ましくは５秒以下である。
なお、ステップＳ１１１を実行しない場合、ステップＳ１０６は、連続して複数回の撮影を実行してもよい。この場合、ステップＳ１０８～Ｓ１１０では、複数枚の画像データのすべてについてそれぞれ処理を実行することができる。
【0053】
ステップＳ１１６において制御部８は、撮影結果をサーバ５３に送信する。すなわち、制御部８は、図７に示す無線ＬＡＮユニット３１ｇ、ルータ５１、及びネットワーク５２を順次に介して、撮影画像データをサーバ５３に送信する。ステップＳ１１６の処理を行った後、制御部８は、一連の処理を終了する（ＥＮＤ）。
【0054】
なお、サーバ５３では、例えば、撮影結果において、冷蔵室２１（図３参照）の右側・左側の各領域の他、左側の冷蔵室ドア２１１（図３参照）の領域や、右側の冷蔵室ドア２１２（図３参照）の領域が抽出される。そして、サーバ５３において、それぞれの領域の画像が個別的に最新のものに更新される。さらに、携帯端末５４からの要求信号に応じて、サーバ５３から携帯端末５４に撮影画像データが送信され、携帯端末５４のディスプレイ（図示せず）に所定に表示される。
【0055】
図９は、冷蔵室ドア２１１，２１２が開閉される過程を時系列的に示す説明図である。
なお、図９では、冷蔵室ドア２１１，２１２の状態の他、庫内灯４やカメラＬＥＤ３１ｃの状態を、アルファベットのＡ，Ｂ，Ｃ，・・・，Ｊ，Ｋ，Ｌの順で時系列的に示している。また、図９では、冷蔵庫１００の庫内灯４が点灯している場合には庫内灯４を図示し（例えば、状態Ｂ）、また、庫内灯４が消灯している場合には庫内灯４を図示しないようにしている（例えば、状態Ａ）。同様に、図９では、カメラＬＥＤ３１ｃが点灯している場合にはカメラＬＥＤ３１ｃを図示し（例えば、状態Ｂ）、また、カメラＬＥＤ３１ｃが消灯している場合にはカメラＬＥＤ３１ｃを図示しないようにしている（例えば、状態Ａ）。
なお、図９では、冷蔵室ドア２１１，２１２の状態の他、庫内灯４やカメラＬＥＤ３１ｃの状態を、アルファベットのＡ，Ｂ，Ｃ，・・・，Ｊ，Ｋ，Ｌの順で時系列的に示している。また、図９では、冷蔵庫１００の庫内灯４が点灯している場合には庫内灯４を図示し（例えば、状態Ｂ）、また、庫内灯４が消灯している場合には庫内灯４を図示しないようにしている（例えば、状態Ａ）。同様に、図９では、カメラＬＥＤ３１ｃが点灯している場合にはカメラＬＥＤ３１ｃを図示し（例えば、状態Ｂ）、また、カメラＬＥＤ３１ｃが消灯している場合にはカメラＬＥＤ３１ｃを図示しないようにしている（例えば、状態Ａ）。
【0056】
図９の例では、左右の冷蔵室ドア２１１，２１２の両方が閉まっている状態Ａから、ユーザが左側の冷蔵室ドア２１１を開けている（状態Ｂ，Ｃ，Ｄ）。この後、左右の冷蔵室ドア２１１，２１２の両方が閉められるまで、カメラＬＥＤ３１ｃは点灯した状態で維持される（図８ＡのＳ１０２）。また、左側の冷蔵室ドア２１１が開けられ始めた時点から所定時間が経過するまでは（Ｓ１０３：Ｎｏ）、状態Ｂ，Ｃに示すように、庫内灯４及びカメラＬＥＤ３１ｃの両方が点灯している（Ｓ１０２）。そして、左側の冷蔵室ドア２１１が開けられ始めた時点から所定時間が経過した場合（図８ＡのＳ１０３：Ｙｅｓ）、状態Ｄに示すように、庫内灯４が消灯し、カメラＬＥＤ３１ｃが点灯した状態で自動撮影が行われる（Ｓ１０４～Ｓ１０６）。その後、状態Ｅにおいて庫内灯４が再び点灯される（図８ＢのＳ１１２）。
【0057】
また、状態Ｅ，Ｆでは、左側の冷蔵室ドア２１１が閉められつつ、右側の冷蔵室ドア２１２が開けられている。この場合、状態Ｆに示すように、庫内灯４が消灯し、カメラＬＥＤ３１ｃが点灯した状態で自動撮影が再び行われる（図８ＡのＳ１０４～Ｓ１０６）。その後、図９の例では、状態Ｇ，Ｈ，Ｉに示すように、ユーザが左側の冷蔵室ドア２１１をいったん閉めた後に再び開けている。
【0058】
このような場合でも、状態Ｉに示すように、庫内灯４が消灯し、カメラＬＥＤ３１ｃが点灯した状態で自動撮影が再び行われる（図８ＡのＳ１０４～Ｓ１０６）。これによって、左右の冷蔵室ドア２１１，２１２の両方が開けられた状態で撮影できる。その後、状態Ｊで示すように、庫内灯４が再び点灯される（図８ＢのＳ１１２）。このように、左右の冷蔵室ドア２１１，２１２のうち少なくとも一方が開かれるたびに、制御部８は、カメラユニット３で冷蔵室２１等の撮影を行う。
【0059】
さらに、状態Ｋに示すように、ユーザによって撮影ボタン７（図３参照）が押された場合、制御部８は、手動撮影を行う。この場合については、図８Ａ、図８Ｂのフローチャートでは特に示していないが、制御部８は、次の処理を行う。すなわち、冷蔵室ドア２１１，２１２（扉）の少なくとも一方が開かれた後、撮影ボタン７が押された場合、制御部８は、庫内灯４を消灯し、さらに、カメラＬＥＤ３１ｃ（照明部）を点灯させた状態で撮影部３０に撮影を行わせる（状態Ｋ）。なお、庫内灯４を消灯する際、ユーザの違和感を低減するために、制御部８がブザー５を鳴らすようにしてもよい。制御部８は、手動撮影を行った後、状態Ｌに示すように、庫内灯４を再び点灯させる。
【0060】
なお、撮影ボタン７の操作に基づく撮影（手動撮影）を行った場合、この撮影の結果を他の撮影結果（自動撮影の結果）よりも優先して、制御部８が携帯端末５４（図７参照）への表示に用いることが好ましい。これによって、ユーザは、撮影ボタン７を押すことで撮影された結果を、自身の携帯端末５４（図７参照）で確認できる。
【0061】
また、制御部８は、撮影ボタン７の操作に基づく撮影後（手動撮影の後）であって、冷蔵室ドア２１１，２１２（扉）の少なくとも一方が開かれている間は、再び撮影（自動撮影）を行わないことが好ましい。手動撮影の結果が優先的に送信される場合、その後に自動撮影を行う必要が特にないからである。
【0062】
また、ユーザが、冷蔵室ドア２１１，２１２のうち少なくとも一方をしっかりと閉めずに、いわゆる半ドアの状態になっている場合には、所定時間ごとに自動撮影が行われるが、その撮影結果はサーバ５３（図７参照）には送信されない。いわゆる半ドアの場合には、通常、冷蔵室ドア２１１，２１２の開角度が所定値未満になり（図８ＢのＳ１０８：Ｎｏ）、その撮影結果が破棄されるからである（Ｓ１１０）。
【0063】
図１０は、カメラユニットの撮影結果であって、画像処理が行われていない状態の例である。
なお、図１０では、紙面上側を前方とし、紙面下側を後方としている関係上、図３に対して、左右が反転している（図１１、図１２Ａ、図１２Ｂも同様）。図１０の例では、左右の冷蔵室ドア２１１，２１２の両方が開かれており、冷蔵室２１の他、左側の冷蔵室ドア２１１のドアポケット２１１ｃや、右側の冷蔵室ドア２１２のドアポケット２１２ｃも撮影されている。
なお、図１０では、紙面上側を前方とし、紙面下側を後方としている関係上、図３に対して、左右が反転している（図１１、図１２Ａ、図１２Ｂも同様）。図１０の例では、左右の冷蔵室ドア２１１，２１２の両方が開かれており、冷蔵室２１の他、左側の冷蔵室ドア２１１のドアポケット２１１ｃや、右側の冷蔵室ドア２１２のドアポケット２１２ｃも撮影されている。
【0064】
特に、カメラユニット３（図５参照）のレンズ３１ａとして、魚眼レンズが用いられることで、広範囲の画角で撮像できる。ただし、画像処理が行われていない状態では、図１０に示すように、実際には直線状の稜線が湾曲して写る他、同じ長さの稜線であっても、カメラユニット３から遠くなるにつれて、撮影画像における画素数が少なくなる。
【0065】
図１１は、カメラユニット３の撮影結果であって、画像処理が行われた状態の例である。
例えば、図１０の撮影結果に基づいて、サーバ５３（図７参照）で所定の画像処理が行われることで、あたかも冷蔵室２１や左右の冷蔵室ドア２１１，２１２のそれぞれを正面から見たような画像に変換される。このような画像が携帯端末５４（図７参照）に表示されることで、ユーザは、冷蔵室２１等にどのような食品が収容されているかを一目で把握できる。
次に、制御部８による露光調整（図８ＡのＳ１０５）の処理の詳細について、図１２Ａ（第１実施形態）、及び図１２Ｂ（比較例）を用いて詳細に説明する。
例えば、図１０の撮影結果に基づいて、サーバ５３（図７参照）で所定の画像処理が行われることで、あたかも冷蔵室２１や左右の冷蔵室ドア２１１，２１２のそれぞれを正面から見たような画像に変換される。このような画像が携帯端末５４（図７参照）に表示されることで、ユーザは、冷蔵室２１等にどのような食品が収容されているかを一目で把握できる。
次に、制御部８による露光調整（図８ＡのＳ１０５）の処理の詳細について、図１２Ａ（第１実施形態）、及び図１２Ｂ（比較例）を用いて詳細に説明する。
【0066】
図１２Ａは、第１実施形態に係る冷蔵庫において、露光調整を行う際の基準となる領域の候補を示す説明図である。
前記したように、露光調整の処理（図８ＡのＳ１０５）では、撮像素子３１ｅ（図７参照）から出力される電気信号を増幅する際のゲインが調整される。第１実施形態では、露光調整における画像の明るさの度合いを示す基準として、図１２Ａに示す３つの矩形状の領域６１～６３のうち少なくとも一つを用いるようにしている。つまり、左側の冷蔵室ドア２１１の領域６１と、右側の冷蔵室ドア２１２の領域６２と、これらの領域６１，６２の間の所定の領域６３と、のうち少なくとも一つが用いられる。なお、冷蔵室ドア２１１，２１２の開角度に基づいて、領域６１～６３の位置や大きさが適宜に変更されるようにしてもよい。最もユーザが興味ある食材が撮影される領域について、視認しやすいようにゲイン調整をしたいため、例えば食材の特徴量を認識して食材位置を判別し、撮像素子３１ｅの視野内の食材が包含されるように、１つまたは複数の領域を設定することができる。食材の特徴量に代えて、ドア２１１，２１２の開閉をセンシングして、開であれば当該ドアの開放側の領域を使用するようにしてもよい。
前記したように、露光調整の処理（図８ＡのＳ１０５）では、撮像素子３１ｅ（図７参照）から出力される電気信号を増幅する際のゲインが調整される。第１実施形態では、露光調整における画像の明るさの度合いを示す基準として、図１２Ａに示す３つの矩形状の領域６１～６３のうち少なくとも一つを用いるようにしている。つまり、左側の冷蔵室ドア２１１の領域６１と、右側の冷蔵室ドア２１２の領域６２と、これらの領域６１，６２の間の所定の領域６３と、のうち少なくとも一つが用いられる。なお、冷蔵室ドア２１１，２１２の開角度に基づいて、領域６１～６３の位置や大きさが適宜に変更されるようにしてもよい。最もユーザが興味ある食材が撮影される領域について、視認しやすいようにゲイン調整をしたいため、例えば食材の特徴量を認識して食材位置を判別し、撮像素子３１ｅの視野内の食材が包含されるように、１つまたは複数の領域を設定することができる。食材の特徴量に代えて、ドア２１１，２１２の開閉をセンシングして、開であれば当該ドアの開放側の領域を使用するようにしてもよい。
【0067】
図１２Ａの例では、左側の冷蔵室ドア２１１が開かれているが、右側の冷蔵室ドア２１２は閉じた状態になっている。このような場合、制御部８は、左側の冷蔵室ドア２１１に対応する領域６１の輝度の平均値を基準として、露光調整を行う。つまり、制御部８は、領域６１の輝度の平均値が所定範囲に含まれるように、撮像素子３１ｅ（図７参照）から出力される電気信号を増幅する際のゲインを調整する。これによって、閉状態である右側の冷蔵室ドア２１２の領域６２や、その一部が左側の冷蔵室ドア２１１から外れている領域６３が、ゲインを調整する際の基準から外される。したがって、冷蔵室の周囲が暗い場合でも、制御部８がゲインを上げすぎることなく、露光調整を適切に行うことができる。
上記のように、撮像素子３１ｅの視野の略全域ではなく一部を露光調整に使用する領域にする。露光調整に使用する領域の決定には、食材が存在する位置を使用して行うことができる。食材が存在する位置は、画像認識における特徴量を利用してもよいし、ドア開情報やドア開角度情報を検知することで間接的に行ってもよい。ドア開情報やドア開角度情報の取得は、公知のドアセンサや画像認識技術等を使用して行うことができる。有益な情報である食材が存在しない領域について、露光調整の対象領域から極力外すようにすることで、食材が存在しない領域の輝度が明るすぎたり暗すぎたりする場合に、食材がある領域の白飛びや黒つぶれが生じてしまう虞を低減できる。
このように、撮像素子３１ｅの視野のうち、食材が存在する位置を含む上記の「一部の領域」のみを露光調整に使用するようにしてもよい。また、露光調整に際して、当該「一部の領域」の重みを、その余の残部の領域より大きくしてもよい。
上記のように、撮像素子３１ｅの視野の略全域ではなく一部を露光調整に使用する領域にする。露光調整に使用する領域の決定には、食材が存在する位置を使用して行うことができる。食材が存在する位置は、画像認識における特徴量を利用してもよいし、ドア開情報やドア開角度情報を検知することで間接的に行ってもよい。ドア開情報やドア開角度情報の取得は、公知のドアセンサや画像認識技術等を使用して行うことができる。有益な情報である食材が存在しない領域について、露光調整の対象領域から極力外すようにすることで、食材が存在しない領域の輝度が明るすぎたり暗すぎたりする場合に、食材がある領域の白飛びや黒つぶれが生じてしまう虞を低減できる。
このように、撮像素子３１ｅの視野のうち、食材が存在する位置を含む上記の「一部の領域」のみを露光調整に使用するようにしてもよい。また、露光調整に際して、当該「一部の領域」の重みを、その余の残部の領域より大きくしてもよい。
【0068】
このように、制御部８は、右側の冷蔵室ドア２１２（右ドア）、及び左側の冷蔵室ドア２１１（左ドア）のうち一方が開けられた場合、撮影部３０の視野内で、前記した一方に対応する領域を基準として、撮影時の露光のゲインを調整する。なお、左右の冷蔵室ドア２１１，２１２の開閉状態を示す信号が、左右のそれぞれのドアセンサ６（図７参照）から制御部８に出力される。
【0069】
また、３つの領域６１～６３のうち、画像の輝度の平均値が最も高いものを基準として、露光調整が行われるようにしてもよい。すなわち、制御部８は、撮影部３０の視野に含まれる複数の領域６１～６３のうち、画像の輝度の平均値が最も高い領域を基準として、撮影時の露光のゲインを調整する。これによって、ゲインが高くなりすぎることを抑制し、ひいては、撮影画像の白飛び（ハレーション）を抑制できる。
【0070】
また、左右の冷蔵室ドア２１１，２１２のうち、ドアセンサ６から開信号が入力されている扉の少なくとも一部を含む領域であって、画像の輝度の平均値が最も高いものを基準に露光調整が行われるようにしてもよい。これによって、例えば、冷蔵庫１００の外部から照射された光が閉状態の冷蔵室ドア２１２の表面で反射するような状況でも、露光調整におけるゲインを制御部８が適切に設定できる。これによって、撮影画像において、白飛びや黒つぶれが生じることを抑制できる。
【0071】
図１２Ｂは、比較例に係る冷蔵庫において、露光調整を行う際の輝度の基準となる領域を示す説明図である。
図１２Ｂの比較例では、露光調整を行う際の基準として、１つの矩形状の領域６０が設定されている。例えば、左右の冷蔵室ドア２１１，２１２が開かれた場合に、これらの冷蔵室ドア２１１，２１２の両方を含むように矩形状の領域６０が設定されている。このように大きな１つの領域６０を用いた場合、冷蔵庫１００の周囲が暗い状況では、撮影によって右側の冷蔵室ドア２１２が暗く写るため、光に対する感度を上げるためにゲインが高めに設定される。その結果、撮影画像において、開状態の左側の冷蔵室ドア２１１や、冷蔵室２１の左半分の部分で白飛びが生じやすくなる。
図１２Ｂの比較例では、露光調整を行う際の基準として、１つの矩形状の領域６０が設定されている。例えば、左右の冷蔵室ドア２１１，２１２が開かれた場合に、これらの冷蔵室ドア２１１，２１２の両方を含むように矩形状の領域６０が設定されている。このように大きな１つの領域６０を用いた場合、冷蔵庫１００の周囲が暗い状況では、撮影によって右側の冷蔵室ドア２１２が暗く写るため、光に対する感度を上げるためにゲインが高めに設定される。その結果、撮影画像において、開状態の左側の冷蔵室ドア２１１や、冷蔵室２１の左半分の部分で白飛びが生じやすくなる。
【0072】
これに対して第１実施形態（図１２Ａ参照）では、例えば、冷蔵室ドア２１１，２１２の開閉状態に基づいて、露光調整を行う際の基準となる領域を制御部８が選択するようにしている。これによって、撮影画像の白飛びを抑制し、ユーザが視認しやすい鮮明な画像を携帯端末５４（図７参照）に表示させることができる。
【0073】
なお、冷蔵室２１（貯蔵室）の壁面、及び、冷蔵室ドア２１１，２１２（扉）の内板２１１ｂ，２１２ｂ（図３参照）が、それぞれ、白色であってもよい。ここで、「白色」とは、可視光のスペクトルの略全域に亘って、５０％以上の反射率で反射するような色である。別の観点では、「白色」とは、ＲＧＢ表色系において、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の各要素の明度が略同一であり、かつ、５０％以上の反射率で反射するような色である。
【0074】
冷蔵室２１の壁面等が白色である場合、撮影結果が白飛びしやすい傾向があるが、制御部８が、露光調整を行う際の基準となる領域を適宜に選択することで、白飛びを抑制できる。このように、第１実施形態によれば、カメラユニット３を用いて、冷蔵室２１等を適切に撮影できる。したがって、ユーザが携帯端末５４を見て、冷蔵室２１等の状態を視認しやすくなる。
【0075】
≪第２実施形態≫
第２実施形態は、左右の冷蔵室ドア２１１，２１２（図１３参照）の下面に設けられた取手部２１１ｅ，２１２ｅ（図１３参照）の付近に撮影ボタン７Ａ（図１３参照）が設けられる点が、第１実施形態とは異なっている。なお、その他については、第１実施形態と同様である。したがって、第１実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
第２実施形態は、左右の冷蔵室ドア２１１，２１２（図１３参照）の下面に設けられた取手部２１１ｅ，２１２ｅ（図１３参照）の付近に撮影ボタン７Ａ（図１３参照）が設けられる点が、第１実施形態とは異なっている。なお、その他については、第１実施形態と同様である。したがって、第１実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
【0076】
図１３は、第２実施形態に係る冷蔵庫１００Ａが備える左右の冷蔵室ドア２１１，２１２の正面図及び下面図である。
なお、図１３では、冷蔵室ドア２１１，２１２の正面図の紙面下側に、その下面図を図示している。図１３に示すように、左側の冷蔵室ドア２１１の下面には、上側に凹んでなる取手部２１１ｅが、横方向の所定長さに亘って設けられている。
なお、図１３では、冷蔵室ドア２１１，２１２の正面図の紙面下側に、その下面図を図示している。図１３に示すように、左側の冷蔵室ドア２１１の下面には、上側に凹んでなる取手部２１１ｅが、横方向の所定長さに亘って設けられている。
【0077】
また、左側の冷蔵室ドア２１１の下面において、取手部２１１ｅよりも内側（ヒンジの軸２１１ｆとは反対側）には、手動撮影を行う際にユーザによって押される撮影ボタン７Ａが設けられている。つまり、冷蔵室ドア２１１（扉）の取手部２１１ｅの外側であって、この取手部２１１ｅの付近に撮影ボタン７Ａが設けられている。同様に、右側の冷蔵室ドア２１２の下面にも、取手部２１２ｅや撮影ボタン７Ａが設けられている。
【0078】
このように撮影ボタン７Ａを配置することで、例えば、ユーザが右側の冷蔵室ドア２１２を開ける際に取手部２１２ｅに手をかけたとき、意図せずに誤って撮影ボタン７Ａを押してしまうことを防止できる。なお、ユーザが右側の取手部２１１ｅに右手をかけると、手のひらが上側に向き、さらに、右手の親指が外側（右側）に位置する状態になる。図１３の例では、取手部２１２ｅよりも内側（左側）に撮影ボタン７Ａが設けられている。したがって、ユーザが取手部２１２ｅに右手をかけた際、右手の親指が誤って撮影ボタン７Ａに触れることを防止できる。なお、左側の冷蔵室ドア２１１の撮影ボタン７Ａについても同様のことがいえる。
【0079】
また、取手部２１２ｅの付近に撮影ボタン７Ａが設けられているため、ユーザは、冷蔵室ドア２１２に手をかけたまま、その手を移動させ、指先の感触で撮影ボタン７Ａを押すことができる。したがって、ユーザが撮影ボタン７Ａを押す際、冷蔵室ドア２１２にかけた手をいったん放す必要が特にないため、操作性を高めることができる。また、ユーザが、冷蔵室ドア２１２を所定に開いて、冷蔵室ドア２１２の回動を止めた状態で撮影を行えるため、撮影画像のブレを抑制できる。さらに、冷蔵室ドア２１２の庫内側や冷蔵室２１の壁面に撮影ボタン７Ａを設ける場合に比べて、撮影画像上でユーザの手が写り込むことを抑制できる。また、取手部２１２ｅの付近に撮影ボタン７Ａを設けることで、回転仕切２１１ｄ（図３参照）や操作パネル（図示せず）の配線と、撮影ボタン７Ａの配線と、の共用も可能になる。
なお、撮影ボタン７Ａの操作に基づく制御部８（図７参照）の処理については、第１実施形態（図８Ａ、図８Ｂ参照）と同様であるから、説明を省略する。
なお、撮影ボタン７Ａの操作に基づく制御部８（図７参照）の処理については、第１実施形態（図８Ａ、図８Ｂ参照）と同様であるから、説明を省略する。
【0080】
図１４Ａは、冷蔵庫が備える右側の冷蔵室ドア２１２の下部の断面斜視図である。
なお、図１４Ａの構成は、図１３に対応している。図１４Ａに示すように、右側の冷蔵室ドア２１２の撮影ボタン７Ａは、ユーザによって押される樹脂製のスイッチ部７１Ａと、スイッチ部７１Ａの外側に貼られるラミネートフィルム７２Ａと、スイッチ部７１Ａの押圧に伴って所定の電気信号を発生させるスイッチ基板７３Ａと、を備えている。また、スイッチ基板７３Ａには、複数の配線８０が接続されている。これらの配線８０には、電力線や信号線が含まれている。なお、左側の冷蔵室ドア２１１（図１３参照）も同様の構成になっている。
なお、図１４Ａの構成は、図１３に対応している。図１４Ａに示すように、右側の冷蔵室ドア２１２の撮影ボタン７Ａは、ユーザによって押される樹脂製のスイッチ部７１Ａと、スイッチ部７１Ａの外側に貼られるラミネートフィルム７２Ａと、スイッチ部７１Ａの押圧に伴って所定の電気信号を発生させるスイッチ基板７３Ａと、を備えている。また、スイッチ基板７３Ａには、複数の配線８０が接続されている。これらの配線８０には、電力線や信号線が含まれている。なお、左側の冷蔵室ドア２１１（図１３参照）も同様の構成になっている。
【0081】
図１４Ｂは、冷蔵庫が備える右側の冷蔵室ドア２１２の下部の断面図である。
なお、図１４Ｂの構成は、図１３や図１４Ａに対応している。図１４Ｂに示すように、冷蔵室ドア２１２（扉）の内部において、撮影ボタン７Ａの周囲の領域９１ａを他から仕切る隔壁９２が設けられている。隔壁９２には、撮影ボタン７Ａに接続される配線８０の挿通孔９３が設けられている。挿通孔９３には、この挿通孔９３を塞ぐシール部材９４が設置されている。このようなシール部材９４として、例えば、ウレタンフォームが用いられる。そして、シール部材９４に配線８０が挿通されている。つまり、挿通孔９３を介して配線８０が挿通された状態で、シール部材９４によって挿通孔９３が塞がれている。
なお、図１４Ｂの構成は、図１３や図１４Ａに対応している。図１４Ｂに示すように、冷蔵室ドア２１２（扉）の内部において、撮影ボタン７Ａの周囲の領域９１ａを他から仕切る隔壁９２が設けられている。隔壁９２には、撮影ボタン７Ａに接続される配線８０の挿通孔９３が設けられている。挿通孔９３には、この挿通孔９３を塞ぐシール部材９４が設置されている。このようなシール部材９４として、例えば、ウレタンフォームが用いられる。そして、シール部材９４に配線８０が挿通されている。つまり、挿通孔９３を介して配線８０が挿通された状態で、シール部材９４によって挿通孔９３が塞がれている。
【0082】
このようなシール部材９４を設けることで、製造時に冷蔵室ドア２１２の内部空間にウレタン等の断熱材が注入（充填）された際、挿通孔９３を介して、断熱材が撮影ボタン７Ａ側に漏れ出ることを防止できる。また、撮影ボタン７Ａに接続されている配線８０を隔壁９２の上側の領域９１ｂに引き出すことが可能になる。
【0083】
≪変形例≫
以上、本開示に係る冷蔵庫１００等について各実施形態により説明したが、これらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、各実施形態では、冷蔵庫１００（図２参照）の筐体１の上面にカメラユニット３が設けられる構成について説明したが、これに限らない。すなわち、筐体１の外側における別の所定位置にカメラユニット３が設けられるようにしてもよい。
以上、本開示に係る冷蔵庫１００等について各実施形態により説明したが、これらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、各実施形態では、冷蔵庫１００（図２参照）の筐体１の上面にカメラユニット３が設けられる構成について説明したが、これに限らない。すなわち、筐体１の外側における別の所定位置にカメラユニット３が設けられるようにしてもよい。
【0084】
また、各実施形態では、カメラＬＥＤ３１ｃ（図５参照）が、レンズ３１ａ（図５参照）の後側に配置される構成について説明したが、これに限らない。例えば、レンズ３１ａの前側にカメラＬＥＤが配置されるようにしてもよい。また、複数のカメラＬＥＤが所定に配置されるようにしてもよい。
【0085】
また、各実施形態では、一例として、冷蔵室２１の他、冷蔵室ドア２１１，２１２の庫内側をカメラユニット３で撮影する場合について説明したが、これに限らない。例えば、引出し式の製氷室ドア２２１（扉：図１参照）や、上段冷凍室ドア２３１（扉）の他、野菜室ドア２４１（扉）や下段冷凍室ドア２５１（扉）のうち、少なくとも一つをカメラユニット３で撮影するようにしてもよい。
【0086】
また、各実施形態では、左右の冷蔵室ドア２１１，２１２に撮影ボタン７（図３参照）が設けられる構成について説明したが、これに限らない。例えば、引出し式の製氷室ドア２２１（図１参照）や、上段冷凍室ドア２３１の他、野菜室ドア２４１や下段冷凍室ドア２５１のうち、少なくとも一つに撮影ボタン（図示せず）を設けるようにしてもよい。
【0087】
また、各実施形態では、冷蔵室ドア２１１，２１２のうち少なくとも一方が開かれた場合（図８ＡのＳ１０１：Ｙｅｓ）、制御部８が、庫内灯４を点灯させるとともに、カメラＬＥＤ３１ｃを点灯させる処理（Ｓ１０２）について説明したが、これに限らない。すなわち、冷蔵室ドア２１１，２１２のうち少なくとも一方が開かれた場合、制御部８が、庫内灯４とカメラＬＥＤ３１ｃとをタイミングを所定にずらして点灯させるようにしてもよい。
【0088】
また、各実施形態では、左右の冷蔵室ドア２１１，２１２のうち少なくとも一方が開かれてから、冷蔵室ドア２１１，２１２の両方が閉じられるまで、制御部８がカメラＬＥＤ３１ｃを点灯させ続ける場合について説明したが、これに限らない。例えば、露光調整（図８ＡのＳ１０５）を行っていないとき、制御部８が所定のタイミグでカメラＬＥＤ３１ｃを消灯するようにしてもよい。
【0089】
また、第２実施形態では、冷蔵室ドア２１１，２１２（図１３参照）の下面に凹状の取手部２１１ｅ，２１２ｅが設けられる構成について説明したが、これに限らない。例えば、冷蔵室ドア２１１，２１２に所定のドアハンドル（図示せず）が設けられた構成であってもよい。この場合において、ドアハンドルの外側に撮影ボタン（図示せず）が設けられてもよいし、また、ドアハンドル自体の所定箇所に撮影ボタン（図示せず）が設けられてもよい。
【0090】
また、各実施形態で説明した冷蔵庫１００等は一例であり、他の形態の冷蔵庫又は貯蔵庫にも適用できる。例えば、片開き式の冷蔵室ドア（図示せず）を備える冷蔵庫や、ポータブル冷蔵庫（図示せず）にも各実施形態を適用できる。貯蔵庫に備えられた演算装置やセンサから情報を優先又は無線通信によって受信して撮影を実行可能で、貯蔵庫とは別体の撮影装置であってもよい。
【0091】
また、各実施形態は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、前記した機構や構成は説明上必要と考えられるものを示しており、製品上必ずしも全ての機構や構成を示しているとは限らない。
また、前記した機構や構成は説明上必要と考えられるものを示しており、製品上必ずしも全ての機構や構成を示しているとは限らない。
【符号の説明】
【0092】
１００，１００Ａ 冷蔵庫
１ 筐体
１０ 開口
２１ 冷蔵室（貯蔵室）
２１１ 冷蔵室ドア（扉、左ドア）
２１２ 冷蔵室ドア（扉、右ドア）
２１１ａ，２１２ａ ヒンジ
２１１ｂ，２１２ｂ 内板
２１１ｅ，２１２ｅ 取手部
２２ 製氷室（貯蔵室）
２２１ 製氷室ドア（扉）
２３ 上段冷凍室（貯蔵室）
２３１ 上段冷凍室ドア（扉）
２４ 野菜室（貯蔵室）
２４１ 野菜室ドア（扉）
２５ 下段冷凍室（貯蔵室）
２５１ 下段冷凍室ドア（扉）
３ カメラユニット
４ 庫内灯
５ ブザー
６ ドアセンサ
７，７Ａ 撮影ボタン
８ 制御部
３１ｃ カメラＬＥＤ（照明部）
３０ 撮影部
５４ 携帯端末
６１，６２，６３ 領域
８０ 配線
９１ａ 領域（撮影ボタンの周囲の領域）
９２ 隔壁
９３ 挿通孔
９４ シール部材
１ 筐体
１０ 開口
２１ 冷蔵室（貯蔵室）
２１１ 冷蔵室ドア（扉、左ドア）
２１２ 冷蔵室ドア（扉、右ドア）
２１１ａ，２１２ａ ヒンジ
２１１ｂ，２１２ｂ 内板
２１１ｅ，２１２ｅ 取手部
２２ 製氷室（貯蔵室）
２２１ 製氷室ドア（扉）
２３ 上段冷凍室（貯蔵室）
２３１ 上段冷凍室ドア（扉）
２４ 野菜室（貯蔵室）
２４１ 野菜室ドア（扉）
２５ 下段冷凍室（貯蔵室）
２５１ 下段冷凍室ドア（扉）
３ カメラユニット
４ 庫内灯
５ ブザー
６ ドアセンサ
７，７Ａ 撮影ボタン
８ 制御部
３１ｃ カメラＬＥＤ（照明部）
３０ 撮影部
５４ 携帯端末
６１，６２，６３ 領域
８０ 配線
９１ａ 領域（撮影ボタンの周囲の領域）
９２ 隔壁
９３ 挿通孔
９４ シール部材
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13】
【図14A】
【図14B】