IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日立アプライアンス株式会社の特許一覧

<>
  • 特開-貯蔵庫及びカメラユニット 図1
  • 特開-貯蔵庫及びカメラユニット 図2
  • 特開-貯蔵庫及びカメラユニット 図3
  • 特開-貯蔵庫及びカメラユニット 図4
  • 特開-貯蔵庫及びカメラユニット 図5A
  • 特開-貯蔵庫及びカメラユニット 図5B
  • 特開-貯蔵庫及びカメラユニット 図6A
  • 特開-貯蔵庫及びカメラユニット 図6B
  • 特開-貯蔵庫及びカメラユニット 図7
  • 特開-貯蔵庫及びカメラユニット 図8
  • 特開-貯蔵庫及びカメラユニット 図9
  • 特開-貯蔵庫及びカメラユニット 図10
  • 特開-貯蔵庫及びカメラユニット 図11A
  • 特開-貯蔵庫及びカメラユニット 図11B
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024038577
(43)【公開日】2024-03-21
(54)【発明の名称】貯蔵庫及びカメラユニット
(51)【国際特許分類】
   F25D 23/00 20060101AFI20240313BHJP
   F25D 27/00 20060101ALI20240313BHJP
   F25D 11/00 20060101ALI20240313BHJP
【FI】
F25D23/00 301P
F25D27/00
F25D11/00 101B
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022142680
(22)【出願日】2022-09-08
(71)【出願人】
【識別番号】399048917
【氏名又は名称】日立グローバルライフソリューションズ株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】青山 勝
(72)【発明者】
【氏名】山▲崎▼ 貴史
(72)【発明者】
【氏名】大谷 匠
【テーマコード(参考)】
3L045
3L345
【Fターム(参考)】
3L045AA02
3L045AA07
3L045BA01
3L045CA02
3L045LA18
3L045MA10
3L045PA02
3L045PA03
3L045PA04
3L345AA02
3L345AA26
3L345EE01
3L345EE55
3L345HH12
3L345HH32
3L345HH38
3L345HH42
3L345JJ07
3L345KK02
3L345KK03
3L345KK04
(57)【要約】
【課題】レンズカバーの有無を適切に判別する貯蔵庫等を提供する。
【解決手段】冷蔵庫100は、冷蔵室を有する筐体と、筐体の開口を塞ぐ冷蔵室ドアと、筐体の外側に設置され、少なくとも冷蔵室を撮影するカメラユニット3と、を備えるともに、カメラユニット3の撮影画像における第1領域の輝度に基づいて、カメラユニット3のレンズ31aにレンズカバーが取り付けられているか否かを判別する制御部8を備え、レンズカバーが取り外された状態での撮影画像において、第1領域に冷蔵室の少なくとも一部が写るように第1領域が設定されている。
【選択図】図7
【特許請求の範囲】
【請求項1】
貯蔵室を有する筐体と、
前記筐体の開口を塞ぐドアと、
前記筐体の外側に設置され、少なくとも前記貯蔵室を撮影するカメラユニットと、を備えるともに、
前記カメラユニットの撮影画像における第1領域の輝度に基づいて、前記カメラユニットのレンズにレンズカバーが取り付けられているか否かを判別する制御部を備え、
前記レンズカバーが取り外された状態での前記撮影画像において、前記第1領域に前記貯蔵室の少なくとも一部が写るように前記第1領域が設定されている、貯蔵庫。
【請求項2】
前記筐体の外側に設置され、前記貯蔵室を照らす照明部を備えること
を特徴とする請求項1に記載の貯蔵庫。
【請求項3】
前記照明部は、前記筐体の上側に設置され、平面視において前記筐体の前記開口よりも外側に位置していること
を特徴とする請求項2に記載の貯蔵庫。
【請求項4】
前記ドアの庫内側に設置されるドアポケットを備え、
前記レンズカバーが取り外された状態での前記撮影画像において、前記ドアが開かれたときの前記ドアポケットの少なくとも一部が前記第1領域に写るように、当該第1領域が設定されていること
を特徴とする請求項1に記載の貯蔵庫。
【請求項5】
複数の前記第1領域が設定され、
前記制御部は、複数の前記第1領域のうち、平均輝度が最も高いものの当該平均輝度が第1所定値以下である場合、前記レンズに前記レンズカバーが取り付けられていると判定すること
を特徴とする請求項1に記載の貯蔵庫。
【請求項6】
前記撮影画像におけるケラレ領域の内部に第2領域が設定され、
前記制御部は、前記撮影画像の輝度のゲインを調整する露光調整を行った後、前記第2領域の平均輝度が第2所定値以上である場合、前記レンズに前記レンズカバーが取り付けられていると判定すること
を特徴とする請求項1に記載の貯蔵庫。
【請求項7】
前記制御部は、前記レンズに前記レンズカバーが取り付けられていると判定した場合、前記カメラユニットの撮影結果をサーバに送信しないこと
を特徴とする請求項1に記載の貯蔵庫。
【請求項8】
所定の音を発するブザーを備え、
前記制御部は、前記レンズに前記レンズカバーが取り付けられていると判定した場合、前記ブザーを鳴らすこと
を特徴とする請求項1に記載の貯蔵庫。
【請求項9】
貯蔵室を有する筐体と、前記筐体の開口を塞ぐドアと、を備える貯蔵庫の前記筐体の外側に設置され、少なくとも前記貯蔵室を撮影するカメラユニットであって、
前記カメラユニットの撮影画像における第1領域の輝度に基づいて、当該カメラユニットのレンズにレンズカバーが取り付けられているか否かを判別する制御部を備え、
前記レンズカバーが取り外された状態での前記撮影画像において、前記第1領域に前記貯蔵室の少なくとも一部が写るように前記第1領域が設定されている、カメラユニット。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、貯蔵庫等に関する。
【背景技術】
【0002】
カメラのレンズカバー(レンズキャップ)が取り付けられたままの状態であるか否かを撮影画像に基づいて判別する技術として、例えば、特許文献1に記載の技術が知られている。すなわち、特許文献1には、「前記ゲイン比較部と前記輝度信号比較部の出力結果を用いてレンズキャップが装着されているか否かを判断する警告表示判断部」を備える映像記録装置について記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009-027310号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
貯蔵庫のカメラユニットにおいても、レンズカバーが取り付けられたままの状態で撮影が行われる可能性があるが、このような場合を想定した処理については特許文献1には記載されていない。
【課題を解決するための手段】
【0005】
本開示に係る貯蔵庫は、貯蔵室を有する筐体と、前記筐体の開口を塞ぐドアと、前記筐体の外側に設置され、少なくとも前記貯蔵室を撮影するカメラユニットと、を備えるともに、前記カメラユニットの撮影画像における第1領域の輝度に基づいて、前記カメラユニットのレンズにレンズカバーが取り付けられているか否かを判別する制御部を備え、前記レンズカバーが取り外された状態での前記撮影画像において、前記第1領域に前記貯蔵室の少なくとも一部が写るように前記第1領域が設定されていることとした。
【図面の簡単な説明】
【0006】
図1】実施形態に係る冷蔵庫の正面図である。
図2】実施形態に係る冷蔵庫の側面図である。
図3】実施形態に係る冷蔵庫の左右の冷蔵室ドアが開かれた状態の正面図である。
図4】実施形態に係る冷蔵庫の左右の冷蔵室ドアが開かれた状態の平面図である。
図5A】実施形態に係る冷蔵庫において、レンズが露出している状態のカメラユニットを斜め下から見上げた場合の斜視図である。
図5B】実施形態に係る冷蔵庫において、レンズカバーが取り付けられている状態のカメラユニットを斜め下から見上げた場合の斜視図である。
図6A】実施形態に係る冷蔵庫のカメラユニットの正面図である。
図6B】実施形態に係る冷蔵庫における図6AのII-II線矢視断面図である。
図7】実施形態に係る冷蔵庫のカメラユニットを含むシステム構成図である。
図8】実施形態に係る冷蔵庫のカメラユニットによる撮影結果であって、画像処理が行われていない状態の例である。
図9】実施形態に係る冷蔵庫のカメラユニットによる撮影結果であって、所定の画像処理が行われた状態の例である。
図10】実施形態に係る冷蔵庫の撮影画像における第1領域及び第2領域の説明図である。
図11A】実施形態に係る冷蔵庫の制御部が実行する処理のフローチャートである。
図11B】実施形態に係る冷蔵庫の制御部が実行する処理のフローチャートである。
【発明を実施するための形態】
【0007】
≪実施形態≫
図1は、実施形態に係る冷蔵庫100の正面図である。
冷蔵庫100(貯蔵庫)は、食品等を冷やす機器であり、筐体1の他、冷蔵室ドア211,212等の各ドアと、カメラユニット3と、を備えている。筐体1は、その内部に複数の貯蔵室を有している。図1の例では、冷蔵庫100の貯蔵室として、上から順に、冷蔵室21と、左右に並ぶ製氷室22・上段冷凍室23と、野菜室24と、下段冷凍室25と、が設けられている。
【0008】
筐体1は、貯蔵室を形成している樹脂製の内箱12(図3参照)と、鋼板製の外箱11と、の間に発泡ウレタン等の断熱材(図示せず)が充填された構成になっている。筐体1の前側(正面側)には、各室に対応する複数の開口10a(図2参照)が設けられている。例えば、冷蔵室21の開口10aを介して食品等が入れられる際には、冷蔵室ドア211,212が開けられる。また、冷蔵室ドア211,212が閉じられると、冷蔵室21の開口10aが閉塞された状態になる。このように、冷蔵室ドア211,212(ドア)は、筐体1の開口10aを塞ぐ機能等を有している。
【0009】
図1に示すように、冷蔵庫100は、筐体1とともに冷蔵室21(貯蔵室)を形成するヒンジ式のドアとして、左右の冷蔵室ドア211,212を備えている。左側の冷蔵室ドア211は、ヒンジ211a(図4参照)の軸を中心として回動可能になっている。なお、右側の冷蔵室ドア212についても同様である。また、冷蔵庫100は、引出し式のドアとして、製氷室ドア221や上段冷凍室ドア231の他、野菜室ドア241や下段冷凍室ドア251を備えている。
【0010】
冷蔵室21には、この冷蔵室21を所定に仕切る複数の棚板213(図3参照)が設けられている。左側の冷蔵室ドア211(ドア)の庫内側には、食品等を収容するための複数のドアポケット211c(図3参照)が設置されている(右側の冷蔵室ドア212も同様)。図1に示す製氷室22には、製氷室ドア221と一体に引き出される製氷室容器(図示せず)が設けられている。同様に、上段冷凍室23には上段冷凍室容器(図示せず)が設けられ、また、野菜室24には野菜室容器(図示せず)が設けられている他、下段冷凍室25には下段冷凍室容器(図示せず)が設けられている。
【0011】
冷蔵庫100は、図示はしないが、圧縮機と、放熱器(凝縮器)と、キャピラリチューブ(絞り機構)と、蒸発器と、を備えている。そして、圧縮機、放熱器、キャピラリチューブ、及び蒸発器を順次に介して冷媒が循環し、蒸発器を通流する冷媒との間の熱交換で、貯蔵室の空気が冷やされるようになっている。図1に示すカメラユニット3は、冷蔵庫100の少なくとも貯蔵室(例えば、冷蔵室21)を撮影するものであり、筐体1の外側(図1では、筐体1の上側)に設置されている。
【0012】
図2は、冷蔵庫100の側面図である。
図2に示すように、カメラユニット3は、本体部31と、支持部32と、を備えている。本体部31は、冷蔵庫100の貯蔵室等を撮影するものである。支持部32は、本体部31を支持するものであり、筐体1の上面に設置されている。
【0013】
本体部31の前端付近には、レンズ31a(図5Aも参照)が設置されている。レンズ31aは、光を屈折させて集束させる光学素子である。このようなレンズ31aとして、例えば、魚眼レンズが用いられるが、これに限定されるものではない。そして、冷蔵室ドア211,212(図3参照)が開かれた場合、カメラユニット3によって冷蔵室21(図3参照)が撮影されるように、レンズ31aが下方に臨んだ状態になっている。
【0014】
図2に示すように、レンズ31aは、筐体1の前端(つまり、開口10a)よりも前側に位置している。より好ましくは、レンズ31aは、閉状態の冷蔵室ドア211,212(図1参照)の前面よりもさらに前側に位置している。これによって、例えば、冷蔵室ドア211,212が開けられた際、レンズ31aの視野に冷蔵室21が入りやすくなる。なお、野菜室ドア241等の引出し式のドアが開かれた状態で、カメラユニット3によって野菜室24等(図1参照)を撮影することも可能である。
【0015】
図3は、冷蔵庫100の左右の冷蔵室ドア211,212が開かれた状態の正面図である。
図3に示すように、左側の冷蔵室ドア211の内板211bには、食品等を収容するための複数のドアポケット211cが設置されている(右側の冷蔵室ドア212も同様)。そして、左右の冷蔵室ドア211,212が開けられると、冷蔵室21やドアポケット211c,212cの食品等が、カメラユニット3のレンズ31aの視野に俯瞰的に入るようになっている(図8も参照)。
【0016】
左側の冷蔵室ドア211において、内板211bの縁付近には、四角枠状のパッキン211dが設置されている。パッキン211dは、冷蔵室21の気密性を高めるための樹脂製部材である。そして、冷蔵室ドア211が閉じられた場合、筐体1の開口10a(図4参照)の周囲にパッキン211dが接触(密着)するようになっている。
【0017】
図3に示すサイドピース211eは、冷蔵室ドア211の側面を形成している板状部材であり、上下方向に細長く延びている。なお、冷蔵室ドア211は、ヒンジ211a(図4参照)の軸とは反対側に設けられるサイドピース211eの他、ヒンジ211aの軸の付近に設けられる別のサイドピース211f(図4参照)も備えている。これらのサイドピース211e,211f(図4参照)は、いずれも上下方向に延びており、ヒンジ211a(図4参照)の軸に対して平行に設けられている。なお、右側の冷蔵室ドア212についても同様である。
【0018】
また、カメラユニット3を用いて冷蔵室21を手動で撮影する際、ユーザによって押される撮影ボタン5が、左右の冷蔵室ドア211,212にひとつずつ設置されている。図3の例では、左右のサイドピース211e,212eの下部に撮影ボタン5がひとつずつ設置されている。
【0019】
図4は、冷蔵庫100の左右の冷蔵室ドア211,212が開かれた状態の平面図である。
図4に示すように、筐体1の上面には、ヒンジ211a,212aが設置されている。左側のヒンジ211aは、冷蔵室ドア211を回動自在に軸支するものである(右側のヒンジ212aも同様)。また、図4の例では、左右方向において、冷蔵庫100の筐体1の中央よりも若干左側にカメラユニット3が配置されている。より詳しく説明すると、閉状態の冷蔵室ドア211,212の合わせ目の真上にカメラユニット3が配置されている(図1も参照)。これによって、冷蔵室ドア211,212が開けられた際、ドアポケット211c,212cの食品等がカメラユニット3の視野に入りやすくなる。
【0020】
図5Aは、レンズ31aが露出している状態のカメラユニット3を斜め下から見上げた場合の斜視図である。
図5Aに示すように、カメラユニット3の本体部31は、前記したレンズ31a(図2も参照)の他、ケース31bと、LEDカバー31cと、を備えている。本体部31のケース31bは、概ね、前後方向に細長い直方体状を呈している。ケース31bの前端付近の下面には、円形状の孔(符号は図示せず)が設けられ、この孔を介してレンズ31aが露出している。ケース31bにおいてレンズ31aの後側(奥側)には、左右方向に細長い孔(符号は図示せず)が設けられ、この孔にLEDカバー31cが嵌め込まれている。LEDカバー31cは、カメラLED31d(照明部:図6B参照)を保護するための透光性の樹脂製部材である。
【0021】
図5Bは、レンズカバー33が取り付けられている状態のカメラユニット3を斜め下から見上げた場合の斜視図である。
図5Bに示すレンズカバー33は、カメラユニット3のレンズ31a(図5A参照)を保護するためのカバーである。レンズカバー33は、レンズ31aを下側から塞ぐように取り付けられ、着脱自在になっている。
【0022】
なお、冷蔵庫100(図1参照)の販売時には、レンズ31a(図5A参照)にレンズカバー33が取り付けられている他、レンズカバー33が外れないように保護フィルム(図示せず)が貼り付けられていることもある。ユーザが冷蔵庫100を使用する際、保護フィルムをはがすと、通常は、保護フィルムとともにレンズカバー33も外れるが、レンズカバー33が外れないこともある。また、何らかの理由でユーザがカメラユニット3にレンズカバー33を再び取り付ける場合もある。そして、ユーザがレンズカバー33を取り外すのを忘れたまま(レンズカバー33が付いたまま)、カメラユニット3で撮影が行われる可能性がある。そこで、本実施形態では、後記する制御部8(図7参照)が、撮影画像の輝度に基づいて、レンズカバー33の有無を判別するようにしている。
【0023】
図6Aは、カメラユニット3の正面図である。
図6Aに示すように、カメラユニット3の本体部31が支持部32の上側に設置されている。また、左右方向において、支持部32の中央付近に本体部31が設置されている。
【0024】
図6Bは、図6AのII-II線矢視断面図である。
図6Bに示すように、カメラユニット3は、前記したレンズ31a(図5Aも参照)やLEDカバー31c(図5Aも参照)、ケース31bを備える他、カメラLED31dと、回路基板31eと、を備えている。
【0025】
カメラLED31d(照明部)は、冷蔵室21等の貯蔵室を照らす光源である。すなわち、カメラLED31dは、カメラユニット3が冷蔵室21(図3参照)やドアポケット211c,212c(図3参照)を適度な明るさのもとで撮影できるように、冷蔵室21等に光を照射するものであり、筐体1の外側(本実施形態では、筐体1の上側)に設置されている。本実施形態では、冷蔵庫100の筐体1(図2参照)の前端(筐体1の開口10a)よりも前側にカメラLED31dが位置している。つまり、カメラLED31d(照明部)は、平面視において筐体1の開口10a(図2参照)よりも前側(外側)に位置している。これによって、カメラLED31dから照射された光が冷蔵室21等に入射しやすくなり、ひいては、鮮明な撮影結果が得られやすくなる。また、レンズカバー33(図5B参照)が取り外された状態では、カメラLED31dから光が照射された状態の冷蔵室21(平均輝度が比較的高い撮影画像)がカメラユニット3で撮影される。これによって、制御部8が、撮影画像に基づいてレンズカバー33の有無を判別する際の精度が高められる。例えば、冷蔵室ドア211,212(図3参照)の少なくとも一方が開かれた場合、カメラLED31dが点灯される。カメラLED31dの下側には、透光性のLEDカバー31c(図5Aも参照)が設置されている。
【0026】
回路基板31eは、後記するイメージセンサ31f(図7参照)やカメラ/通信制御SoC31g(System-on-a-Chip:図7参照)が実装されたプリント基板である。このように、レンズ31aやカメラLED31d、回路基板31eを一つのケース31bに収容することで、これらを別体で設ける場合に比べて、カメラユニット3を小型化できる。
【0027】
図7は、冷蔵庫100のカメラユニット3を含むシステム構成図である。
図7に示すように、冷蔵庫100は、カメラユニット3の他に、ドアセンサ4と、撮影ボタン5と、操作パネル6と、庫内灯7と、制御部8と、無線LANユニット9と、を備えている。
ドアセンサ4は、冷蔵室ドア211,212(図1参照)の開閉状態を示す所定の信号を制御部8に出力する。なお、図7ではひとつのドアセンサ4を示しているが、実際には、冷蔵庫100(図1参照)の各ドアに対応するようにドアセンサ4が設けられている。例えば、左側の冷蔵室ドア211(図1参照)が開かれた場合には、この冷蔵室ドア211に対応するドアセンサ4から制御部8に所定の開信号が出力される。例えば、冷蔵室ドア211,212(図3参照)の少なくとも一方が開かれた場合、カメラLED31dが点灯する。
【0028】
撮影ボタン5(図3も参照)は、前記したように、カメラユニット3を用いて手動で撮影する際、ユーザによって押されるボタンである。操作パネル6は、ユーザの操作に基づいて、所定の設定情報を入力するためのパネルである。庫内灯7は、冷蔵室21(貯蔵室)を照らす光源であり、冷蔵室21の壁に設置されている。
【0029】
制御部8は、例えば、マイコンであり、図示はしないが、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、各種インタフェース等の電子回路を含んで構成されている。そして、ROMに記憶されたプログラムを読み出してRAMに展開し、CPUが各種処理を実行するようになっている。なお、制御部8が行う処理については後記する。
【0030】
カメラユニット3は、レンズ31a(図6Bも参照)やカメラLED31d(図6Bも参照)の他、イメージセンサ31fと、カメラ/通信制御SoC31gと、ブザー31hと、を備えている。イメージセンサ31fは、レンズ31aを介して入射する光を光電変換し、撮影画像データを生成する素子である。このようなイメージセンサ31fとして、例えば、CCDセンサ(Charge Coupled Device)やCMOSセンサ(Complementary Metal Oxide Semiconductor)が用いられる。
【0031】
カメラ/通信制御SoC31gは、マイコンの機能や他の応用的な機能を有する回路を1チップ上に集積し、連携して機能するよう設計された集積回路である。カメラ/通信制御SoC31gは、制御部8との間で所定に通信を行い、イメージセンサ31fに撮影指令を出力する。これによって、イメージセンサ31fからカメラ/通信制御SoC31gに撮影画像のデータが入力される。なお、カメラ/通信制御SoC31gは一例であり、他の種類のものが用いられてもよい。
【0032】
ブザー31hは、例えば、カメラユニット3による撮影時にエラーが生じた場合に所定の音を発するものである。なお、カメラユニット3で撮影が開始される際、ブザー31hから所定の音が発せられるようにしてもよい。
【0033】
無線LANユニット9は、カメラ/通信制御SoC31gから出力される撮影画像のデータをルータ51に送信する。ルータ51は、通信の中継機器であり、無線LANユニット9から受信した撮影画像のデータをネットワーク52を介して、サーバ53に送信する。サーバ53は、撮影画像のデータについて所定の処理を行い、冷蔵庫100の識別情報に対応付けて保存する。また、サーバ53は、ユーザの携帯端末54から冷蔵庫100の庫内画像の要求信号を受信した場合、撮影画像のデータを携帯端末54に送信する。このような携帯端末54として、携帯電話やスマートフォンの他、タブレットやウェアラブル端末が用いられる。
【0034】
図8は、カメラユニットによる撮影結果であって、画像処理が行われていない状態の例である。
なお、図8では、紙面上側を前方とし、紙面下側を後方としている関係上、図3等に対して左右が反転している(図9図10も同様)。図8の例では、左右の冷蔵室ドア211,212の両方が開かれており、冷蔵室21の他、左側の冷蔵室ドア211のドアポケット211cや、右側の冷蔵室ドア212のドアポケット212cも撮影されている。
【0035】
特に、カメラユニット3(図5参照)のレンズ31aとして魚眼レンズが用いられた場合、広範囲の画角で撮像できる。ただし、画像処理が行われていない状態では、図8に示すように、直線状の稜線が湾曲して写る他、同じ長さの稜線であっても、カメラユニット3から遠くなるにつれて撮影画像における画素数が少なくなる。
【0036】
図9は、カメラユニット3による撮影結果であって、所定の画像処理が行われた状態の例である。
例えば、図8の撮影結果に基づいて、サーバ53(図7参照)で所定の画像処理が行われることで、あたかも冷蔵室21や左右の冷蔵室ドア211,212を正面から見たような画像に変換される。このような画像が携帯端末54(図7参照)に表示されることで、冷蔵室21等にどのような食品が収容されているかをユーザが一目で把握できる。
【0037】
図10は、冷蔵庫の撮影画像における第1領域A1,A2,A3及び第2領域B1,B2の説明図である。
なお、図10に示す矩形状の領域60は、縦・横にマトリクス状に配列された多数のイメージセンサ31f(図7参照)の電気信号に基づく撮影画像の領域である。矩形状の領域60における一つの角部(例えば、紙面左下の角部)を原点Oとし、原点Oから横方向をx軸とし、また、縦方向をy軸とする。x軸・y軸の座標の値に基づいて、撮影画像における各画素が特定される。
【0038】
撮影画像の領域60には、イメージサークル61が含まれている。イメージサークル61は、レンズ31a(図7参照)を介して入射する光が画像として反映される円形状の領域である。矩形状の領域60において、イメージサークル61の外側の黒色の部分は、いわゆるケラレ領域62,63である。ケラレ領域62,63は、光がほとんど入射しない位置のイメージセンサ31f(図7参照)に対応している。
【0039】
図10において、矩形状の破線枠で示す3つの第1領域A1,A2,A3は、カメラユニット3にレンズカバー33(図5B参照)が取り付けられた状態のままであるか否かの判定に用いられる領域である。まず、左右方向の中央に位置する第1領域A1について説明すると、レンズカバー33(図5B参照)が取り外された状態での撮影画像において、第1領域A1に冷蔵室21(貯蔵室)の少なくとも一部が写るように第1領域A1が設定されている。図10の例では、左右の冷蔵室ドア211,212(図3参照)が開かれた状態で、冷蔵室21の一部が第1領域A1に入るように、矩形状の第1領域A1がイメージサークル61の内部に予め設定されている。
【0040】
図10に示す左側(紙面の左右方向では右側)の第1領域A2は、レンズカバー33(図5B参照)が取り外された状態での撮影画像において、左側の冷蔵室ドア211が開かれたときのドアポケット211cの少なくとも一部が第1領域A2に写るように設定されている。図10の例では、左側の冷蔵室ドア211が開かれた状態で、ドアポケット211cの一部が第1領域A2に入るように、矩形状の第1領域A2がイメージサークル61の内部に予め設定されている。なお、右側の第1領域A3についても同様である。
【0041】
食品等を貯蔵する冷蔵室21やドアポケット211cには、カメラLED31d(図7参照)から光が照射される。したがって、レンズカバー33(図5B参照)が取り外された状態で、左右の冷蔵室ドア211,212が開かれたときに撮影が行われると、第1領域A1,A2,A3のそれぞれの平均輝度が比較的高い値になる。一方、レンズカバー33(図5B参照)が取り付けられた状態で撮影が行われると、レンズカバー33で光が反射するため、イメージセンサ31f(図7参照)には光がほとんど入射しない。その結果、図示はしないが、イメージサークル61の全域が、ケラレ領域62,63と同様の黒色に近い画像になる。
【0042】
図10に示すように、撮影画像におけるケラレ領域62の内部には、矩形状の第2領域B1が予め設定されている。同様に、撮影画像における他方のケラレ領域63の内部には、矩形状の第2領域B2が予め設定されている。例えば、レンズカバー33(図5B参照)が取り付けられたままの状態で撮影が行われ、撮影画像の輝度が全体的に低い場合、制御部8が露光調整で輝度のゲインを上げる可能性もある。このような場合、ケラレ領域62,63が薄明るい黒色になり、レンズカバー33(図5B参照)が取り外された状態よりもケラレ領域62,63の平均輝度が高くなる。
【0043】
そこで、本実施形態では、カメラユニット3の撮影画像における第1領域A1,A2,A3や第2領域B1,B2の輝度に基づいて、カメラユニット3のレンズ31a(図7参照)にレンズカバー33(図5B参照)が取り付けられているか否かを制御部8(図7参照)が判別するようにしている。
【0044】
図11A図11Bは、冷蔵庫の制御部が実行する処理のフローチャートである(適宜、図7も参照)。
なお、図11A,11Bでは主に、レンズカバー33(図5B参照)の有無の判別に関する処理を示している。また、図11Aの「START」時に冷蔵室ドア211,212(図3参照)の少なくとも一方が開かれ、カメラユニット3で撮影が行われるものとする。例えば、冷蔵室ドア211,212が開かれた場合に、カメラユニット3で自動的に撮影が行われるようにしてもよい(自動撮影)。また、ユーザの操作で撮影ボタン5(図3参照)が押された場合に、カメラユニット3で撮影が行われるようにしてもよい(手動撮影)。これらの事項も、本実施形態に含まれる。
【0045】
図11AのステップS101において制御部8は、撮影画像を取り込む。すなわち、制御部8は、カメラユニット3のイメージセンサ31f(図7参照)から撮影画像のデータを取り込む。なお、図11Aでは省略しているが、制御部8が撮影画像(カラーの画像)をグレースケールの画像に変換するようにしてもよいし、また、撮影画像の各画素の輝度値を‘1’(白色)か‘0’(黒色)のいずれかに2値化するようにしてもよい。
【0046】
次に、ステップS102において制御部8は、3つの第1領域A1,A2,A3(図10参照)のそれぞれの平均輝度を算出する。
ステップS103において制御部8は、3つの第1領域A1,A2,A3(図10参照)のうち、平均輝度が最も高いものを特定する。例えば、冷蔵室ドア211,212(図3参照)の両方が開かれた状態では、冷蔵室21やドアポケット211c,212c(図3参照)にカメラLED31d(図7参照)の光が照射されるため、通常、第1領域A1,A2,A3のそれぞれの平均輝度が比較的高い値になる。ただし、レンズカバー33(図5B参照)が取り付けられたままの状態では、イメージセンサ31f(図7参照)に光がほとんど入射しないため、3つの第1領域A1,A2,A3のいずれも暗くなり、それぞれの平均輝度もかなり低くなる。
【0047】
次に、ステップS104において制御部8は、特定した第1領域(平均輝度が最も高い第1領域)の平均輝度が目標値以上であるか否かを判定する。ここで、「目標値」とは、制御部8が露光調整を終了するか否かの判定基準となる輝度閾値であり、予め設定されている。ステップS104において、平均輝度が最も高い第1領域の平均輝度が目標値以上でない場合(S104:No)、制御部8の処理はステップS105に進む。
【0048】
ステップS105において制御部8は、撮影開始時から所定の露光制限時間が経過したか否かを判定する。なお、「露光制限時間」とは、制御部8が露光調整(次のS106の処理)を行うか否かの判定基準となる閾値であり、予め設定されている。ステップS105において露光制限時間が経過していない場合(S105:No)、制御部8の処理はステップS106に進む。
【0049】
ステップS106において制御部8は、ゲイン及びシャッタスピードを調整する(つまり、露光調整を行う)。より詳しく説明すると、制御部8は、イメージセンサ31f(図7参照)からの電気信号を増幅する際のゲイン(明るさに対する感度)を調整する他、カメラユニット3のシャッタスピードを調整する。このような露光調整を行うことで、撮影画像における白飛び(ハレーション)や黒つぶれを抑制できる。ステップS106の処理を行った後、制御部8の処理はステップS101に戻る。そして、制御部8は、第1領域A1,A2,A3(図10参照)のそれぞれの平均輝度のうち、その値が最も高いものが所定の目標値以上となるように、撮影画像の取込み(S101)及び露光調整(S106)を順次に繰り返す。
【0050】
また、ステップS105において露光制限時間が経過した場合(S105:Yes)、制御部8の処理は、図11BのステップS107に進む。なお、ステップS104において、複数の第1領域A1,A2,A3のうち平均輝度が最も高いものの平均輝度が目標値以上である場合にも(S104:Yes)、制御部8の処理は、図11BのステップS107に進む。
【0051】
ステップS107において制御部8は、特定した第1領域(平均輝度が最も高い第1領域)の平均輝度が第1所定値以下であるか否かを判定する。ここで、「第1所定値」とは、カメラユニット3のレンズ31a(図5A参照)にレンズカバー33(図5B参照)が取り付けられているか否かの判定基準となる輝度閾値であり、予め設定されている。
【0052】
ステップS107において、平均輝度が最も高い第1領域(例えば、第1領域A1)の平均輝度が第1所定値以下である場合、制御部8の処理はステップS109に進む。つまり、3つの第1領域A1,A2,A3のいずれの平均輝度も第1所定値以下である場合、制御部8の処理はステップS109に進む。
【0053】
ステップS109において制御部8は、レンズ31a(図5A参照)にレンズカバー33(図5B参照)が取り付けられたままの状態であると判定する。つまり、制御部8は、複数の第1領域A1,A2,A3のうち、平均輝度が最も高いものの当該平均輝度が第1所定値以下である場合(S107:Yes)、カメラユニット3のレンズ31a(図5A参照)にレンズカバー33(図5B参照)が取り付けられていると判定する。レンズカバー33が取り付けられたままの状態では、カメラLED31dからの光がレンズカバー33で反射し、イメージセンサ31f(図7参照)に光がほとんど入射しなくなるからである。
【0054】
なお、図11Bでは省略しているが、カメラユニット3のレンズ31a(図5A参照)にレンズカバー33(図5B参照)が取り付けられていると判定した場合(S109)、制御部8がカメラユニット3の撮影結果をサーバ53(図7参照)に送信しないようにすることが好ましい。これによって、略全域が黒色の撮影画像が携帯端末54(図7参照)に表示されることを防止できる。
【0055】
また、図11Bでは省略しているが、カメラユニット3のレンズ31a(図5A参照)にレンズカバー33(図5B参照)が取り付けられていると判定した場合、制御部8がブザー31h(図7参照)を鳴らすようにするとよい。これによって、レンズカバー33を取り外すのを忘れたことをユーザが気づきやすくなる。その他、「認識失敗」といったメッセージや、「レンズカバーの有無を確認してください」といったメッセージが、ユーザの携帯端末54(図7参照)に表示されるようにしてもよい。これらの事項も、本実施形態に含まれる。
【0056】
また、ステップS107において、平均輝度が最も高い第1領域(例えば、第1領域A1)の平均輝度が第1所定値よりも高い場合(S107:No)、制御部8の処理はステップS108に進む。
ステップS108において制御部8は、第2領域B1,B2(図10参照)のうち、平均輝度が第2所定値以上のものが存在するか否かを判定する。ここで、「第2所定値」とは、カメラユニット3のレンズ31a(図5A参照)にレンズカバー33(図5B参照)が取り付けられているか否かの判定基準となる輝度閾値であり、予め設定されている。例えば、前記した「第1所定値」(S107)よりも低い輝度閾値として、「第2所定値」が設定されている。ステップS109において、平均輝度が第2所定値以上の第2領域が存在する場合(S108:Yes)、制御部8の処理はステップS109に進む。
【0057】
ステップS109において制御部8は、カメラユニット3のレンズ31a(図5A参照)にレンズカバー33(図5B参照)が取り付けられている(レンズカバーあり)と判定する。つまり、制御部8は、撮影画像の輝度のゲインを調整する露光調整(図11AのS106)を行った後、第2領域の平均輝度が第2所定値以上である場合(S108:Yes)、カメラユニット3のレンズ31a(図5A参照参照)にレンズカバー33(図5B参照)が取り付けられていると判定する。前記したように、撮影画像が全体的に暗い場合において、制御部8が露光調整で輝度のゲインを上げたときには、ケラレ領域62,63(図10参照)が薄明るい黒色になるからである。
【0058】
また、ステップS108において、平均輝度が第2所定値以上の第2領域が存在しない場合(S108:No)、制御部8の処理はステップS110に進む。
ステップS110において制御部8は、レンズ31a(図5A参照)にレンズカバー33(図5B参照)は取り付けられていない(レンズカバーなし)と判定する。このような場合、図11Bでは省略しているが、制御部8は、カメラユニット3の撮影画像に基づく冷蔵室ドア211,212(図3参照)の開角度が所定値以上であるとき、撮影画像のデータをサーバ53(図7参照)にアップロードする。そして、サーバ53で所定の画像処理が行われることで、あたかも冷蔵室21や左右の冷蔵室ドア211,212を正面から見たような画像(図9参照)がユーザの携帯端末54(図7参照)に表示される。
【0059】
本実施形態によれば、撮影画像のイメージサークル61(図10参照)に含まれる第1領域A1,A2,A3の他、ケラレ領域62(図10参照)に含まれる第2領域B1,B2の各平均輝度に基づいて、レンズカバー33(図5B参照)の有無を適切に判別できる。また、レンズカバー33の有無を判別するための構成を別途追加する必要が特にないため、冷蔵庫100の製造コストを抑制できる。
【0060】
また、本実施形態によれば、制御部8がレンズカバー33の有無を判別する際、第1領域A1,A2,A3の他、ケラレ領域62(図10参照)に含まれる第2領域B1,B2の平均輝度も用いるようにしている。これによって、カメラユニット3にレンズカバー33が取り付けられたままの状態で、露光調整によって撮影画像が全体的に薄明るい画像になった場合でも、制御部8がレンズカバー33の有無を高精度で判別できる。
【0061】
また、本実施形態によれば、レンズカバー33が取り付けられていると判定した場合、制御部8が、撮影画像のデータをサーバ53(図7参照)に送信しないようにする。これによって、略全域が黒色の撮影画像がユーザの携帯端末54(図7参照)に表示されることを防止できるため、カメラユニット3が故障したとユーザが勘違いしたり、違和感を覚えたりすることを防止できる。
【0062】
≪変形例≫
以上、本開示に係る冷蔵庫100等について実施形態で説明したが、これらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、実施形態では、撮影画像の領域の中に3つの第1領域A1,A2,A3の他、2つの第2領域B1,B2が設定される場合について説明したが、第1領域や第2領域の数は適宜に変更可能である。例えば、イメージサークル61(図10参照)における第1領域の数は、1つや2つであってもよいし、また、4つ以上であってもよい。なお、冷蔵室21又はドアポケット211c,212cの領域の一部が写るように第1領域が設定されるものとする。また、ケラレ領域62(図10参照)における第2領域の数は1つであってもよいし、3つ以上であってもよい。また、実施形態では、第1領域A1,A2,A3や第2領域B1,B2の形状が、それぞれ、矩形状である場合について説明したが、各領域の形状は適宜に変更可能である。
【0063】
また、実施形態では、撮影画像の第1領域A1,A2,A3(図10参照)及び第2領域B1,B2(図10参照)のそれぞれの平均輝度に基づいて、制御部8がレンズカバー33(図5B参照)の有無を判別する処理について説明したが、これに限らない。すなわち、第2領域B1,B2に関する処理を省略し、第1領域A1,A2,A3のうち、平均輝度が最も高いものの当該平均輝度が第1所定値以下である場合、レンズカバー33が取り付けられていると制御部8が判定するようにしてもよい。また、第1領域A1,A2,A3に関する処理を省略し、第2領域B1,B2のうち、その平均輝度が第2所定値以上のものが存在する場合、レンズカバー33が取り付けられていると制御部8が判定するようにしてもよい。
【0064】
また、実施形態では、第1領域A1,A2,A3のうち、平均輝度が最も高いものの当該平均輝度が第1所定値以下である場合、レンズカバー33が取り付けられていると制御部8が判定する処理について説明したが、これに限らない。例えば、第1領域A1,A2,A3に含まれる全画素の平均輝度が第1所定値以下である場合、レンズカバー33が取り付けられていると制御部8が判定するようにしてもよい。また、第2領域B1,B2に含まれる全画素の平均輝度が第2所定値以上である場合、レンズカバー33が取り付けられていると制御部8が判定するようにしてもよい。
【0065】
また、実施形態では、カメラユニット3のレンズカバー33(図5B参照)の有無を制御部8が判別する場合について説明したが、これに限らない。すなわち、カメラユニット3のレンズ31a(図7参照)を覆うように貼り付けられる透光性の保護フィルム(図示せず)の有無を、制御部8が撮影画像に基づいて判別するようにしてもよい。この場合において、レンズ31aと保護フィルム(図示せず)との間に透光性のレンズカバーが取り付けられていてもよいし、また、レンズカバーが販売当初から取り付けられていなくてもよい。例えば、透光性の保護フィルム(及び/又は透光性のレンズカバー)において、レンズ31aに対応する領域の内部に所定のマーク(図示せず)が印刷され、制御部8が撮影画像中に当該マークを認識した場合、保護フィルムありと判定するようにしてもよい。なお、保護フィルムの有無を判別する方法は、透光性のレンズカバーの有無の判定にも適用できる。
【0066】
また、実施形態では、冷蔵庫100にカメラユニット3が一体的に設置されている場合について説明したが、これに限らない。例えば、カメラユニット3が単体で販売されているオプション品であり、冷蔵庫100の筐体1(図1参照)に対して着脱自在となるように構成されていてもよい。
また、各実施形態では、冷蔵庫100の制御部8(図7参照)が、撮影画像に基づいてレンズカバー33(図5B参照)の有無を判別する処理について説明したが、これに限らない。例えば、カメラユニット3の撮影画像における第1領域A1,A2,A3(図10参照)の輝度に基づいて、カメラユニット3のレンズ31aにレンズカバー33が取り付けられているか否かを判別する「制御部」をカメラユニット3が備えるようにしてもよい。このような構成でも、実施形態と同様の効果が奏される。
【0067】
また、実施形態では、カメラユニット3のレンズ31a(図7参照)として魚眼レンズが用いられる場合について説明したが、これに限らない。例えば、カメラユニット3のレンズ31aとして、魚眼レンズ以外の一般的なレンズが用いられるようにしてもよい。
また、実施形態では、カメラユニット3がカメラLED31d(照明部)を備え、このカメラLED31dが筐体1の上側に設置される場合について説明したが、これに限らない。例えば、冷蔵室21に光を照射する「照明部」が、カメラユニット3とは別に設けられてもよい。また、「照明部」の位置は、適宜に変更可能である。
【0068】
また、実施形態では、カメラユニット3がブザー31h(図7参照)を備える構成について説明したが、これに限らない。すなわち、冷蔵庫100におけるカメラユニット3の外側の所定箇所にブザーが設置されるようにしてもよい。
【0069】
また、実施形態では、撮影画像を生成するカメラユニット3(図2参照)が筐体1の上面に設けられる構成について説明したが、これに限らない。すなわち、筐体1の外側における別の所定位置にカメラユニット3が設けられるようにしてもよい。
【0070】
また、実施形態では、フレンチ式の冷蔵室ドア211,212(図3参照)を備える冷蔵庫100について説明したが、これに限らない。例えば、片開き式の冷蔵室ドア(図示せず)を備える冷蔵庫や、ポータブル冷蔵庫(図示せず)にも実施形態を適用できる。
また、実施形態を適用可能な「貯蔵庫」は、冷蔵庫に限定されるものではない。すなわち、さまざまな種類のヒンジ式の「貯蔵庫」にも実施形態を適用できる。この場合において、「貯蔵庫」の筐体は、外箱・内箱といった区別が特にないような構成であってもよい。また、例えば、チェスト式の冷凍庫や収納庫にも実施形態を適用できる。また、上開き扉(跳ね上げ扉)や下開き扉や折れ戸等を備える貯蔵庫にも実施形態を適用できる。また、例えば、折れ戸を備えるクローゼット等にも実施形態を適用できる。
【0071】
また、実施形態で説明したレンズカバー33の有無の判別方法を実現するプログラムの全部又は一部を、一つ又は複数のコンピュータが実行するようにしてもよい。前記したプログラムは、通信回線を介して提供することもできるし、CD-ROM等の記録媒体に書き込んで配布することも可能である。
【0072】
また、実施形態は、本開示を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、前記した機構や構成は説明上必要と考えられるものを示しており、製品上必ずしも全ての機構や構成を示しているとは限らない。
【符号の説明】
【0073】
1 筐体
3 カメラユニット
4 ドアセンサ
5 撮影ボタン
6 操作パネル
7 庫内灯
8 制御部
9 無線LANユニット
10a 開口
21 冷蔵室(貯蔵室)
31a レンズ
31d カメラLED(照明部)
31f イメージセンサ
31h ブザー
33 レンズカバー
53 サーバ
61 イメージサークル
62,63 ケラレ領域
100 冷蔵庫(貯蔵庫)
211,212 冷蔵室ドア(ドア)
211c,212c ドアポケット
A1,A2,A3 第1領域
B1,B2 第2領域
図1
図2
図3
図4
図5A
図5B
図6A
図6B
図7
図8
図9
図10
図11A
図11B