▶ 日立アプライアンス株式会社の特許一覧 ▶ 株式会社日立パワーソリューションズの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023108265
(43)【公開日】2023-08-04
(54)【発明の名称】ドア開角度算出方法及び収納庫
(51)【国際特許分類】
G06T 7/60 20170101AFI20230728BHJP
F25D 29/00 20060101ALI20230728BHJP
F25D 23/00 20060101ALI20230728BHJP
【ＦＩ】
G06T7/60 150Z
F25D29/00 Z
F25D23/00 307
F25D23/00 301G
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022009288
(22)【出願日】2022-01-25
(71)【出願人】
【識別番号】399048917
【氏名又は名称】日立グローバルライフソリューションズ株式会社
(71)【出願人】
【識別番号】000233044
【氏名又は名称】株式会社日立パワーソリューションズ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】青山 勝
(72)【発明者】
【氏名】三浦 孝典
(72)【発明者】
【氏名】草野 慎太郎
【テーマコード（参考）】
3L045
3L345
5L096
【Ｆターム（参考）】
3L045AA02
3L045AA05
3L045BA01
3L045CA02
3L045NA15
3L045PA01
3L045PA02
3L045PA03
3L045PA04
3L345AA02
3L345DD42
3L345EE13
3L345EE45
3L345EE46
3L345FF45
3L345FF46
3L345HH06
3L345JJ26
3L345JJ27
3L345KK01
3L345KK02
3L345KK03
3L345KK04
5L096AA06
5L096BA02
5L096CA04
5L096DA02
5L096FA54
5L096FA59
5L096FA67
(57)【要約】
【課題】ドアの開角度を適切に算出するドア開角度算出方法等を提供する。
【解決手段】ドア開角度算出方法は、筐体に設けられるヒンジ式のドアが開かれた場合、撮影手段による撮影画像上の筐体のエッジである第１エッジと、撮影画像上のドアのエッジである第２エッジと、の間の画素数に基づいて、ドアの開角度を算出する開角度算出ステップと、撮影画像における所定の基準線又は基準位置と、第１エッジと、の位置関係に基づいて、開角度を補正する開角度補正ステップと、を含む。
【選択図】図１１
【解決手段】ドア開角度算出方法は、筐体に設けられるヒンジ式のドアが開かれた場合、撮影手段による撮影画像上の筐体のエッジである第１エッジと、撮影画像上のドアのエッジである第２エッジと、の間の画素数に基づいて、ドアの開角度を算出する開角度算出ステップと、撮影画像における所定の基準線又は基準位置と、第１エッジと、の位置関係に基づいて、開角度を補正する開角度補正ステップと、を含む。
【選択図】図１１
【特許請求の範囲】
【請求項1】
筐体に設けられるヒンジ式のドアが開かれた場合、撮影手段による撮影画像上の前記筐体のエッジである第１エッジと、前記撮影画像上の前記ドアのエッジである第２エッジと、の間の画素数に基づいて、前記ドアの開角度を算出する開角度算出ステップと、
前記撮影画像における所定の基準線又は基準位置と、前記第１エッジと、の位置関係に基づいて、前記開角度を補正する開角度補正ステップと、を含むドア開角度算出方法。
前記撮影画像における所定の基準線又は基準位置と、前記第１エッジと、の位置関係に基づいて、前記開角度を補正する開角度補正ステップと、を含むドア開角度算出方法。
【請求項2】
前記ドアは、右ドア及び左ドアを有するフレンチ式ドアであり、
前記撮影画像を横方向の中央付近で分割するように前記基準線が設定され、
前記開角度補正ステップでは、前記筐体の右側及び左側のそれぞれの前記第１エッジの端点を結んだ線分の中点と、前記基準線と、の間の横方向の画素数に基づいて、前記開角度を補正すること
を特徴とする請求項１に記載のドア開角度算出方法。
前記撮影画像を横方向の中央付近で分割するように前記基準線が設定され、
前記開角度補正ステップでは、前記筐体の右側及び左側のそれぞれの前記第１エッジの端点を結んだ線分の中点と、前記基準線と、の間の横方向の画素数に基づいて、前記開角度を補正すること
を特徴とする請求項１に記載のドア開角度算出方法。
【請求項3】
前記開角度補正ステップにおいて、前記基準線を境とする一方側に前記中点が位置している場合、前記右ドア及び前記左ドアのうち、前記一方側に対応するものの前記開角度を補正前よりも大きくし、他方側に対応するものの前記開角度を補正前よりも小さくするように補正すること
を特徴とする請求項２に記載のドア開角度算出方法。
を特徴とする請求項２に記載のドア開角度算出方法。
【請求項4】
前記撮影手段が正しく設置された状態での前記第１エッジの端点の位置が、前記基準位置として設定され、
前記開角度補正ステップでは、前記基準位置と、前記第１エッジの端点の実際の位置と、の間の画素数に基づいて、前記開角度を補正すること
を特徴とする請求項１に記載のドア開角度算出方法。
前記開角度補正ステップでは、前記基準位置と、前記第１エッジの端点の実際の位置と、の間の画素数に基づいて、前記開角度を補正すること
を特徴とする請求項１に記載のドア開角度算出方法。
【請求項5】
前記撮影画像上で前記第１エッジ及び前記第２エッジが通るように所定の領域が設定され、
前記開角度算出ステップでは、前記第１エッジにおいて前記領域に含まれる線分と、前記第２エッジにおいて前記領域に含まれる別の線分と、の間で、前記領域に含まれている部分の前記撮影画像上の画素数に基づいて、前記開角度を算出し、
前記開角度補正ステップでは、前記第１エッジにおいて、当該第１エッジの端点から前記領域の境界線までの線分の長さに基づいて、前記開角度を補正すること
を特徴とする請求項１に記載のドア開角度算出方法。
前記開角度算出ステップでは、前記第１エッジにおいて前記領域に含まれる線分と、前記第２エッジにおいて前記領域に含まれる別の線分と、の間で、前記領域に含まれている部分の前記撮影画像上の画素数に基づいて、前記開角度を算出し、
前記開角度補正ステップでは、前記第１エッジにおいて、当該第１エッジの端点から前記領域の境界線までの線分の長さに基づいて、前記開角度を補正すること
を特徴とする請求項１に記載のドア開角度算出方法。
【請求項6】
前記開角度補正ステップでは、前記第１エッジにおいて前記撮影手段に近い側の端点から前記領域の境界線までの線分の長さを算出し、当該線分の長さから所定値を減算した値が負である場合には、前記開角度を補正前よりも小さくし、当該線分の長さから前記所定値を減算した値が正である場合には、前記開角度を補正前よりも大きくすること
を特徴とする請求項５に記載のドア開角度算出方法。
を特徴とする請求項５に記載のドア開角度算出方法。
【請求項7】
前記開角度補正ステップでは、前記第１エッジにおいて前記撮影手段から遠い側の端点から前記領域の境界線までの線分の長さを算出し、当該線分の長さから所定値を減算した値が負である場合には、前記開角度を補正前よりも大きくし、当該線分の長さから前記所定値を減算した値が正である場合には、前記開角度を補正前よりも小さくすること
を特徴とする請求項５に記載のドア開角度算出方法。
を特徴とする請求項５に記載のドア開角度算出方法。
【請求項8】
前記第１エッジが第１許容範囲に含まれているか否かを判定する判定ステップをさらに含み、
前記開角度算出ステップを行った後に前記判定ステップを行い、
前記判定ステップにおいて、前記第１エッジが前記第１許容範囲から外れている場合には、前記撮影画像を携帯端末への表示には用いないこと
を特徴とする請求項１から請求項７のいずれか一項に記載のドア開角度算出方法。
前記開角度算出ステップを行った後に前記判定ステップを行い、
前記判定ステップにおいて、前記第１エッジが前記第１許容範囲から外れている場合には、前記撮影画像を携帯端末への表示には用いないこと
を特徴とする請求項１から請求項７のいずれか一項に記載のドア開角度算出方法。
【請求項9】
前記第２エッジが第２許容範囲に含まれているか否かを判定する判定ステップをさらに含み、
前記開角度算出ステップを行った後に前記判定ステップを行い、
前記判定ステップにおいて、前記第２エッジが前記第２許容範囲から外れている場合には、前記撮影画像を携帯端末への表示には用いないこと
を特徴とする請求項１から請求項７のいずれか一項に記載のドア開角度算出方法。
前記開角度算出ステップを行った後に前記判定ステップを行い、
前記判定ステップにおいて、前記第２エッジが前記第２許容範囲から外れている場合には、前記撮影画像を携帯端末への表示には用いないこと
を特徴とする請求項１から請求項７のいずれか一項に記載のドア開角度算出方法。
【請求項10】
請求項１から請求項９のいずれか一項に記載のドア開角度算出方法を実行する制御部を備えること
を特徴とする収納庫。
を特徴とする収納庫。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ドア開角度算出方法等に関する。
【背景技術】
【0002】
冷蔵庫のドアの開角度を算出する方法として、例えば、特許文献１には、「冷蔵室のヒンジに装着されたボリューム抵抗とを備えた冷蔵庫において、・・・上記ボリューム抵抗によって冷蔵室の扉の開閉角度を検知」することが記載されている。
また、特許文献２には、「扉の開閉角度に基づいた異なる角度から前記撮像部で撮影された複数の前記画像のデータを用いて新たな画像を作成する」ことが記載されている。
また、特許文献２には、「扉の開閉角度に基づいた異なる角度から前記撮像部で撮影された複数の前記画像のデータを用いて新たな画像を作成する」ことが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００５－１６４１９６号公報
【特許文献2】特許第６３２３２７９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載の技術は、冷蔵庫のドアのヒンジにボリューム抵抗を設ける必要があるため、製造コストの増加を招く。また、特許文献２に記載の技術は、冷蔵庫の庫内をさまざまな角度から撮影して、３次元的な合成画像を作成するようにしているが、処理の簡素化を図る余地がある。
【課題を解決するための手段】
【0005】
本開示に係るドア開角度算出方法は、筐体に設けられるヒンジ式のドアが開かれた場合、撮影手段による撮影画像上の前記筐体のエッジである第１エッジと、前記撮影画像上の前記ドアのエッジである第２エッジと、の間の画素数に基づいて、前記ドアの開角度を算出する開角度算出ステップと、前記撮影画像における所定の基準線又は基準位置と、前記第１エッジと、の位置関係に基づいて、前記開角度を補正する開角度補正ステップと、を含むこととした。
【図面の簡単な説明】
【0006】
【図1】第１実施形態に係る冷蔵庫の正面図である。
【図2】第１実施形態に係る冷蔵庫の側面図である。
【図3】第１実施形態に係る冷蔵庫の左右の冷蔵室ドアが開かれた状態の正面図である。
【図4】第１実施形態に係る冷蔵庫から各ドアや棚等が取り外された状態の正面図である。
【図5】第１実施形態に係る冷蔵庫の左右の冷蔵室ドアが開かれた状態の平面図である。
【図6】第１実施形態に係る冷蔵庫のカメラユニットを斜め下から見上げた場合の斜視図である。
【図7A】第１実施形態に係る冷蔵庫のカメラユニットの正面図である。
【図8】第１実施形態に係る冷蔵庫のカメラユニットを含むシステム構成図である。
【図9】第１実施形態に係る冷蔵庫のカメラユニットによる撮影結果であって、画像処理が行われていない状態の例である。
【図10】第１実施形態に係る冷蔵庫のカメラユニットによる撮影結果であって、所定の画像処理が行われた状態の例である。
【図11】第１実施形態に係る冷蔵庫の制御部が実行する処理のフローチャートである。
【図12A】第１実施形態に係る冷蔵庫における撮影画像上の特徴点の抽出に関する説明図である。
【図12B】第１実施形態に係る冷蔵庫における撮影画像上の特徴点の連なりを示す説明図である。
【図12C】第１実施形態に係る冷蔵庫における撮影画像上の領域に含まれる台形状の部分を示す説明図である。
【図13】第１実施形態に係る冷蔵庫における第１エッジと第２エッジとの間の台形状の部分に関する説明図である。
【図14】第１実施形態に係る冷蔵庫における台形状の部分の面積と、冷蔵室ドアの開角度と、の間の関係を示す説明図である。
【図15A】第１実施形態に係る冷蔵庫において、カメラユニットが傾いていない場合の撮影画像に関する説明図である。
【図15B】第１実施形態に係る冷蔵庫において、カメラユニットが左側に傾いた場合の撮影画像に関する説明図である。
【図15C】第１実施形態に係る冷蔵庫において、カメラユニットが右側に傾いた場合の撮影画像に関する説明図である。
【図16】第２実施形態に係る冷蔵庫の制御部が実行する処理のフローチャートである。
【図17】第２実施形態に係る冷蔵庫において、カメラユニットが傾いていない場合の撮影画像を示す説明図である。
【図18】第３実施形態に係る冷蔵庫において、カメラユニットが傾いていない場合の撮影画像を示す説明図である。
【図19】第４実施形態に係る冷蔵庫において、カメラユニットが傾いていない場合の撮影画像を示す説明図である。
【図20A】第５実施形態に係る冷蔵庫において、撮影画像における第１エッジの許容範囲を示す説明図である。
【図20B】第５実施形態に係る冷蔵庫において、撮影画像における第２エッジの許容範囲を示す説明図である。
【図21A】第５実施形態に係る冷蔵庫の制御部が実行する処理のフローチャートである。
【図21B】第５実施形態に係る冷蔵庫の制御部が実行する処理のフローチャートである。
【発明を実施するための形態】
【0007】
≪第１実施形態≫
図１は、第１実施形態に係る冷蔵庫１００の正面図である。
冷蔵庫１００（収納庫）は、食品等を冷やす機器であり、筐体１の他、冷蔵室ドア２１１，２１２等の各ドアと、カメラユニット３（撮影手段）と、を備えている。筐体１は、その内部に複数の貯蔵室を有している。図１の例では、冷蔵庫１００の貯蔵室として、上から順に、冷蔵室２１と、左右に並ぶ製氷室２２・上段冷凍室２３と、野菜室２４と、下段冷凍室２５と、が設けられている。
図１は、第１実施形態に係る冷蔵庫１００の正面図である。
冷蔵庫１００（収納庫）は、食品等を冷やす機器であり、筐体１の他、冷蔵室ドア２１１，２１２等の各ドアと、カメラユニット３（撮影手段）と、を備えている。筐体１は、その内部に複数の貯蔵室を有している。図１の例では、冷蔵庫１００の貯蔵室として、上から順に、冷蔵室２１と、左右に並ぶ製氷室２２・上段冷凍室２３と、野菜室２４と、下段冷凍室２５と、が設けられている。
【0008】
筐体１は、貯蔵室を形成している樹脂製の内箱１２（図４参照）と、鋼板製の外箱１１と、の間に発泡ウレタン等の断熱材（図示せず）が充填された構成になっている。図１に示すように、冷蔵庫１００は、筐体１とともに冷蔵室２１を形成するヒンジ式のドアとして、左右の冷蔵室ドア２１１，２１２を備えている。左側の冷蔵室ドア２１１（ドア、左ドア）は、ヒンジ２１１ａ（図５参照）の軸を中心として回動可能になっている。なお、右側の冷蔵室ドア２１２（ドア、右ドア）についても同様である。このように、左右の冷蔵室ドア２１１，２１２は、フレンチ式ドアになっている。また、冷蔵庫１００は、引出し式のドアとして、製氷室ドア２２１や上段冷凍室ドア２３１の他、野菜室ドア２４１や下段冷凍室ドア２５１を備えている。
【0009】
冷蔵庫１００は、図示はしないが、圧縮機と、放熱器（凝縮器）と、キャピラリチューブ（絞り機構）と、冷却器（蒸発器）と、を備えている。そして、圧縮機、放熱器、キャピラリチューブ、及び冷却器を順次に介して冷媒が循環し、冷却器を流れる冷媒との熱交換で貯蔵室の空気が冷やされるようになっている。図１に示すカメラユニット３は、冷蔵庫１００の貯蔵室や冷蔵室ドア２１１，２１２を撮像するものであり、筐体１の上面に設置されている。なお、図１に示す白抜き矢印７１，７２については後記する。
【0010】
図２は、冷蔵庫１００の側面図である。
図２に示すように、カメラユニット３は、本体部３１と、支持部３２と、を備えている。本体部３１は、冷蔵庫１００の貯蔵室や冷蔵室ドア２１１，２１２を撮像するものである。支持部３２は、本体部３１を支持するものであり、筐体１の上面に設置されている。
図２に示すように、カメラユニット３は、本体部３１と、支持部３２と、を備えている。本体部３１は、冷蔵庫１００の貯蔵室や冷蔵室ドア２１１，２１２を撮像するものである。支持部３２は、本体部３１を支持するものであり、筐体１の上面に設置されている。
【0011】
本体部３１の前端付近には、レンズ３１ａ（図６も参照）が設けられている。レンズ３１ａは、光を屈折させて集束させる光学素子である。このようなレンズ３１ａとして、例えば、魚眼レンズが用いられる。そして、冷蔵室ドア２１１，２１２（図３も参照）が開かれた場合、カメラユニット３によって冷蔵室２１（図３参照）や冷蔵室ドア２１１，２１２が撮像されるように、レンズ３１ａが下側に臨んだ状態になっている。
【0012】
図２に示すように、レンズ３１ａは、筐体１の前端（つまり、開口１０ａ）よりも前側に位置している。より好ましくは、レンズ３１ａは、閉状態の冷蔵室ドア２１１，２１２（図１参照）の前面よりもさらに前側に位置している。これによって、例えば、冷蔵室ドア２１１，２１２が開けられた際、レンズ３１ａの視野に冷蔵室２１が入りやすくなる。なお、野菜室ドア２４１等の引出し式のドアが開かれた状態で、カメラユニット３によって野菜室２４等（図１参照）を撮像することも可能である。このように、それぞれの貯蔵室を上から見下ろせる位置にレンズ３１ａが設けられている。
【0013】
図３は、冷蔵庫１００の左右の冷蔵室ドア２１１，２１２が開かれた状態の正面図である。
図３に示すように、冷蔵室２１には、この冷蔵室２１を所定に仕切る複数の棚板２１３が設けられている。左側の冷蔵室ドア２１１の内板２１１ｂには、食品等を収容するための複数のドアポケット２１１ｃが設けられている（右側の冷蔵室ドア２１２も同様）。そして、左右の冷蔵室ドア２１１，２１２が開けられると、冷蔵室２１やドアポケット２１１ｃ，２１２ｃの食品等が、カメラユニット３のレンズ３１ａの視野に俯瞰的に入るようになっている（図９も参照）。
図３に示すように、冷蔵室２１には、この冷蔵室２１を所定に仕切る複数の棚板２１３が設けられている。左側の冷蔵室ドア２１１の内板２１１ｂには、食品等を収容するための複数のドアポケット２１１ｃが設けられている（右側の冷蔵室ドア２１２も同様）。そして、左右の冷蔵室ドア２１１，２１２が開けられると、冷蔵室２１やドアポケット２１１ｃ，２１２ｃの食品等が、カメラユニット３のレンズ３１ａの視野に俯瞰的に入るようになっている（図９も参照）。
【0014】
左側の冷蔵室ドア２１１において、内板２１１ｂの縁付近には、四角枠状のパッキン２１１ｄが設けられている。パッキン２１１ｄは、冷蔵室２１の気密性を高めるための樹脂製部材である。そして、冷蔵室ドア２１１が閉じられた場合、筐体１の開口１０ａ（図４参照）の周囲にパッキン２１１ｄが接触（密着）するようになっている。
【0015】
図３に示すサイドピース２１１ｅは、冷蔵室ドア２１１の側面を形成している板状部材であり、上下方向に細長く延びている。なお、冷蔵室ドア２１１は、ヒンジ２１１ａ（図５参照）の軸に対して反対側に設けられるサイドピース２１１ｅの他、ヒンジ２１１ａの軸の付近に設けられる別のサイドピース２１１ｆ（図５参照）も備えている。これらのサイドピース２１１ｅ，２１１ｆ（図５参照）は、いずれも上下方向に延びており、ヒンジ２１１ａ（図５参照）の軸に対して平行になっている。サイドピース２１１ｅ，２１１ｆは、前記した四角枠状のパッキン２１１ｄ（図３参照）に隣接していてもよいし、また、パッキン２１１ｄと部分的に重なっていてもよい。なお、右側の冷蔵室ドア２１２についても同様である。
【0016】
また、カメラユニット３を用いて冷蔵室２１を手動で撮影する際、ユーザによって押される撮影ボタン５が、左右の冷蔵室ドア２１１，２１２にひとつずつ設けられている。図３の例では、左右のサイドピース２１１ｅ，２１２ｅの下部に撮影ボタン５がひとつずつ設けられている。
【0017】
図４は、冷蔵庫１００から各ドアや棚等が取り外された状態の正面図である。
図４に示すように、筐体１の前側（正面側）には、冷蔵室２１に対応する開口１０ａや、他の各室に対応する開口１０ｂ，１０ｃ，１０ｄ，１０ｅが設けられている。冷蔵室２１の開口１０ａは、左側の横板１ａと、右側の横板１ｂと、天板１ｃと、断熱仕切壁１ｄと、で囲まれている。断熱仕切壁１ｄは、冷蔵室２１と製氷室２２とを仕切るとともに、冷蔵室２１と上段冷凍室２３とを仕切る断熱性の壁である。
図４に示すように、筐体１の前側（正面側）には、冷蔵室２１に対応する開口１０ａや、他の各室に対応する開口１０ｂ，１０ｃ，１０ｄ，１０ｅが設けられている。冷蔵室２１の開口１０ａは、左側の横板１ａと、右側の横板１ｂと、天板１ｃと、断熱仕切壁１ｄと、で囲まれている。断熱仕切壁１ｄは、冷蔵室２１と製氷室２２とを仕切るとともに、冷蔵室２１と上段冷凍室２３とを仕切る断熱性の壁である。
【0018】
横板１ａ，１ｂ及び天板１ｃは、筐体１の正面の一部を形成している薄板状の部材であり、内箱１２の開口１０ａの付近に設けられている。左側の横板１ａは、冷蔵室２１の開口１０ａの左側に設けられ、ヒンジ２１１ａ（図５参照）の軸に対して平行に（つまり、上下方向に）延びている。右側の横板１ｂは、冷蔵室２１の開口１０ａの右側に設けられ、ヒンジ２１２ａ（図５参照）の軸に対して平行に延びている。これらの横板１ａ，１ｂは、冷蔵室２１の開口１０ａの他、製氷室２２の開口１０ｂや、野菜室２４の開口１０ｄ、下段冷凍室２５の開口１０ｅの横側においても、上下方向に細長く延びている。
【0019】
天板１ｃは、左側の横板１ａの上端付近と、右側の横板１ｂの上端付近と、を接続するように横方向に細長く延びている。そして、例えば、左側の冷蔵室ドア２１１（図３参照）が閉められると、この冷蔵室ドア２１１の四角枠状のパッキン２１１ｄ（図３参照）が、左側の横板１ａや天板１ｃ（左半分）の他、断熱仕切壁１ｄの正面に密着するようになっている。
【0020】
図５は、冷蔵庫１００の左右の冷蔵室ドア２１１，２１２が開かれた状態の平面図である。
図５に示すように、筐体１の上面には、ヒンジ２１１ａ，２１２ａが設けられている。左側のヒンジ２１１ａは、冷蔵室ドア２１１を回動自在に軸支する部材である（右側のヒンジ２１２ａも同様）。カメラユニット３は、冷蔵室２１（図３参照）や冷蔵室ドア２１１，２１２を撮影する機能を有し、筐体１の外側に設けられている。カメラユニット３は、冷蔵室ドア２１１，２１２が開けられた場合、冷蔵室ドア２１１，２１２と筐体１との間の隙間が視野に入るように配置されている。
図５に示すように、筐体１の上面には、ヒンジ２１１ａ，２１２ａが設けられている。左側のヒンジ２１１ａは、冷蔵室ドア２１１を回動自在に軸支する部材である（右側のヒンジ２１２ａも同様）。カメラユニット３は、冷蔵室２１（図３参照）や冷蔵室ドア２１１，２１２を撮影する機能を有し、筐体１の外側に設けられている。カメラユニット３は、冷蔵室ドア２１１，２１２が開けられた場合、冷蔵室ドア２１１，２１２と筐体１との間の隙間が視野に入るように配置されている。
【0021】
カメラユニット３は、筐体１の上側において、左右方向の中央付近に設置されている。図５の例では、左右方向において、冷蔵庫１００の筐体１の中央よりも若干左側にカメラユニット３が配置されている。より詳しく説明すると、閉状態の冷蔵室ドア２１１，２１２の合わせ目の真上にカメラユニット３が配置されている（図１も参照）。これによって、冷蔵室ドア２１１，２１２が開けられた場合に、ドアポケット２１１ｃ，２１２ｃの食品等がカメラユニット３の視野に入りやすくなる。
【0022】
図６は、カメラユニット３を斜め下から見上げた場合の斜視図である。
図６に示すカメラユニット３の本体部３１は、前記したレンズ３１ａ（図２も参照）の他、ケース３１ｂと、カバー３１ｃと、を備えている。本体部３１のケース３１ｂは、概ね、前後方向に細長い直方体状を呈している。ケース３１ｂの前端付近の下面には、円形状の孔（符号は図示せず）が設けられ、この孔を介してレンズ３１ａが露出している。
図６に示すカメラユニット３の本体部３１は、前記したレンズ３１ａ（図２も参照）の他、ケース３１ｂと、カバー３１ｃと、を備えている。本体部３１のケース３１ｂは、概ね、前後方向に細長い直方体状を呈している。ケース３１ｂの前端付近の下面には、円形状の孔（符号は図示せず）が設けられ、この孔を介してレンズ３１ａが露出している。
【0023】
ケース３１ｂにおいて、レンズ３１ａの後側（奥側）には、左右方向に細長い孔（符号は図示せず）が設けられ、この孔にカバー３１ｃが嵌め込まれている。カバー３１ｃは、カメラＬＥＤ３１ｄ（図７Ｂ参照）を保護する透光性の樹脂製部材である。
【0024】
図７Ａは、カメラユニット３の正面図である。
図７Ａに示すように、カメラユニット３の本体部３１が支持部３２の上側に設置されている。また、左右方向において、支持部３２の中央付近に本体部３１が設置されている。
図７Ａに示すように、カメラユニット３の本体部３１が支持部３２の上側に設置されている。また、左右方向において、支持部３２の中央付近に本体部３１が設置されている。
【0025】
図７Ｂは、図７ＡのII-II線矢視断面図である。
図７Ｂに示すように、カメラユニット３は、前記したレンズ３１ａ（図６も参照）やカバー３１ｃ（図６も参照）、ケース３１ｂを備えている他、カメラＬＥＤ３１ｄと、回路基板３１ｅと、を備えている。
図７Ｂに示すように、カメラユニット３は、前記したレンズ３１ａ（図６も参照）やカバー３１ｃ（図６も参照）、ケース３１ｂを備えている他、カメラＬＥＤ３１ｄと、回路基板３１ｅと、を備えている。
【0026】
カメラＬＥＤ３１ｄは、カメラユニット３が冷蔵室２１（図３参照）やドアポケット２１１ｃ，２１２ｃ（図３参照）を適度な明るさのもとで撮影できるように、冷蔵室２１等に光を照射する光源である。カメラＬＥＤ３１ｄの下側には、透光性のカバー３１ｃ（図６も参照）が設けられている。
【0027】
回路基板３１ｅは、後記する撮像素子３１ｆ（図８参照）やカメラ／通信制御ＳｏＣ３１ｇ（System-on-a-Chip：図８参照）が実装されたプリント基板である。このように、レンズ３１ａやカメラＬＥＤ３１ｄ、回路基板３１ｅを一つのケース３１ｂに収容することで、これらを別体で設ける場合と比べて、カメラユニット３を小型化できるとともに、配線の長さを短縮できる。
【0028】
図８は、冷蔵庫１００のカメラユニット３を含むシステム構成図である。
図８に示すように、冷蔵庫１００は、カメラユニット３の他に、ドアセンサ４と、撮影ボタン５と、制御部６と、を備えている。
ドアセンサ４は、冷蔵室ドア２１１，２１２の開閉状態を示す所定の信号を制御部６に出力する。なお、図８ではひとつのドアセンサ４を示しているが、実際には、左側の冷蔵室ドア２１１（図１参照）に対応するドアセンサ４と、右側の冷蔵室ドア２１２（図１参照）に対応する別のドアセンサ４と、が設けられている。例えば、左側の冷蔵室ドア２１１が開かれた場合には、この冷蔵室ドア２１１に対応するドアセンサ４から制御部６に所定の開信号が出力される。
図８に示すように、冷蔵庫１００は、カメラユニット３の他に、ドアセンサ４と、撮影ボタン５と、制御部６と、を備えている。
ドアセンサ４は、冷蔵室ドア２１１，２１２の開閉状態を示す所定の信号を制御部６に出力する。なお、図８ではひとつのドアセンサ４を示しているが、実際には、左側の冷蔵室ドア２１１（図１参照）に対応するドアセンサ４と、右側の冷蔵室ドア２１２（図１参照）に対応する別のドアセンサ４と、が設けられている。例えば、左側の冷蔵室ドア２１１が開かれた場合には、この冷蔵室ドア２１１に対応するドアセンサ４から制御部６に所定の開信号が出力される。
【0029】
撮影ボタン５（図３も参照）は、前記したように、カメラユニット３を用いて手動で撮影する際、ユーザによって押されるボタンである。
制御部６は、例えば、マイコンであり、図示はしないが、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、各種インタフェース等の電子回路を含んで構成されている。そして、ＲＯＭに記憶されたプログラムを読み出してＲＡＭに展開し、ＣＰＵが各種処理を実行するようになっている。なお、制御部６が行う処理については後記する。
制御部６は、例えば、マイコンであり、図示はしないが、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、各種インタフェース等の電子回路を含んで構成されている。そして、ＲＯＭに記憶されたプログラムを読み出してＲＡＭに展開し、ＣＰＵが各種処理を実行するようになっている。なお、制御部６が行う処理については後記する。
【0030】
カメラユニット３は、レンズ３１ａ（図７Ｂも参照）やカメラＬＥＤ３１ｄ（図７Ｂも参照）の他、撮像素子３１ｆと、カメラ／通信制御ＳｏＣ３１ｇと、無線ＬＡＮユニット３１ｈと、を備えている。撮像素子３１ｆは、レンズ３１ａを介して入射する光を光電変換し、撮影画像データを生成する素子である。このような撮像素子３１ｆとして、例えば、ＣＣＤセンサ（Charge Coupled Device）やＣＭＯＳセンサ（Complementary Metal Oxide Semiconductor）が用いられる。
【0031】
カメラ／通信制御ＳｏＣ３１ｇは、マイコンの機能や他の応用的な機能を有する回路を１チップ上に集積し、連携して機能するよう設計された集積回路である。カメラ／通信制御ＳｏＣ３１ｇは、制御部６との間で所定に通信を行い、撮像素子３１ｆに撮影指令を出力する。これによって、撮像素子３１ｆからカメラ／通信制御ＳｏＣ３１ｇに撮影画像データが入力される。なお、カメラ／通信制御ＳｏＣ３１ｇは集積回路の一例であり、他の種類のものを用いるようにしてもよい。
【0032】
無線ＬＡＮユニット３１ｈは、カメラ／通信制御ＳｏＣ３１ｇから出力される撮影画像データをルータ５１に送信する。ルータ５１は、通信の中継機器であり、無線ＬＡＮユニット３１ｈから受信した撮影画像データをネットワーク５２を介して、サーバ５３に送信する。サーバ５３は、撮影画像データについて所定の処理を行い、冷蔵庫１００の識別情報に対応付けて保存する。また、サーバ５３は、ユーザの携帯端末５４から冷蔵庫１００の庫内画像の要求信号を受信した場合、撮影画像データを携帯端末５４に送信する。このような携帯端末５４として、携帯電話やスマートフォンの他、タブレットやウェアラブル端末等が用いられる。
【0033】
図９は、カメラユニットによる撮影結果であって、画像処理が行われていない状態の例である。
なお、図９では、紙面上側を前方とし、紙面下側を後方としている関係上、図３等に対して、左右が反転している。図９の例では、左右の冷蔵室ドア２１１，２１２の両方が開かれており、冷蔵室２１の他、左右のドアポケット２１１ｃ，２１２ｃも撮影されている。特に、カメラユニット３（図６参照）のレンズ３１ａとして魚眼レンズが用いられることで、広範囲の画角で撮像できる。ただし、画像処理が行われていない状態では、図９に示すように、実際には直線状の稜線が湾曲して写る他、同じ長さの稜線であっても、カメラユニット３から遠くなるにつれて、撮影画像における画素数が少なくなる。
なお、図９では、紙面上側を前方とし、紙面下側を後方としている関係上、図３等に対して、左右が反転している。図９の例では、左右の冷蔵室ドア２１１，２１２の両方が開かれており、冷蔵室２１の他、左右のドアポケット２１１ｃ，２１２ｃも撮影されている。特に、カメラユニット３（図６参照）のレンズ３１ａとして魚眼レンズが用いられることで、広範囲の画角で撮像できる。ただし、画像処理が行われていない状態では、図９に示すように、実際には直線状の稜線が湾曲して写る他、同じ長さの稜線であっても、カメラユニット３から遠くなるにつれて、撮影画像における画素数が少なくなる。
【0034】
図１０は、カメラユニット３による撮影結果であって、所定の画像処理が行われた状態の例である。
例えば、図９の撮影結果に基づいて、サーバ５３（図８参照）で所定の画像処理が行われることで、あたかも冷蔵室２１や左右の冷蔵室ドア２１１，２１２のそれぞれを正面から見たような画像に変換される。このような画像が携帯端末５４（図８参照）に表示されることで、ユーザは、冷蔵室２１等にどのような食品が収容されているかを一目で把握できる。
例えば、図９の撮影結果に基づいて、サーバ５３（図８参照）で所定の画像処理が行われることで、あたかも冷蔵室２１や左右の冷蔵室ドア２１１，２１２のそれぞれを正面から見たような画像に変換される。このような画像が携帯端末５４（図８参照）に表示されることで、ユーザは、冷蔵室２１等にどのような食品が収容されているかを一目で把握できる。
【0035】
＜制御部の処理＞
例えば、冷蔵室ドア２１１，２１２（図１参照）のうち少なくとも一方が開かれて、ドアセンサ４（図８参照）から開信号が入力された場合、制御部６（図８参照）は、カメラＬＥＤ３１ｄを点灯させ、カメラユニット３による撮影を所定に繰り返す。このような撮影が行われるたびに撮影画像データが生成されるが、カメラユニット３からサーバ５３（図８参照）に送信される撮影画像データは、冷蔵室ドア２１１，２１２のうち少なくとも一方が十分に開かれたときに撮影されたものであることが望ましい。
例えば、冷蔵室ドア２１１，２１２（図１参照）のうち少なくとも一方が開かれて、ドアセンサ４（図８参照）から開信号が入力された場合、制御部６（図８参照）は、カメラＬＥＤ３１ｄを点灯させ、カメラユニット３による撮影を所定に繰り返す。このような撮影が行われるたびに撮影画像データが生成されるが、カメラユニット３からサーバ５３（図８参照）に送信される撮影画像データは、冷蔵室ドア２１１，２１２のうち少なくとも一方が十分に開かれたときに撮影されたものであることが望ましい。
【0036】
そこで、第１実施形態では、制御部６が、撮影画像データを用いて、冷蔵室ドア２１１，２１２の開角度を検出するようにしている。なお、「開角度」とは、冷蔵室ドア２１１，２１２が開いている角度である。カメラユニット３から所定の撮影画像データが入力された場合、制御部６は、例えば、撮影画像データ（カラーの画像）をグレースケールに変換した上で、図１１に示す一連の処理を行う。
【0037】
図１１は、冷蔵庫の制御部が実行する処理のフローチャートである（適宜、図８を参照）。
なお、図１１では主に、冷蔵室ドア２１１，２１２の開角度の算出に関する処理を示している。ステップＳ１０１において制御部６は、二値化処理を行う。例えば、制御部６は、撮影画像において、輝度が所定値以上の画素の値を‘１’（白色）とし、輝度が所定値未満の画素の値を‘０’（黒色）にすることで、２値化処理を行う。
なお、図１１では主に、冷蔵室ドア２１１，２１２の開角度の算出に関する処理を示している。ステップＳ１０１において制御部６は、二値化処理を行う。例えば、制御部６は、撮影画像において、輝度が所定値以上の画素の値を‘１’（白色）とし、輝度が所定値未満の画素の値を‘０’（黒色）にすることで、２値化処理を行う。
【0038】
次に、ステップＳ１０２において制御部６は、撮影画像上のエッジを抽出する。制御部６は、例えば、Sobelフィルタを用いることで、撮影画像上のエッジを抽出する。なお、エッジの抽出する手法は、Sobelフィルタに限定されず、LaplacianフィルタやCanny法といった他の周知の手法が用いられてもよい。
ステップＳ１０３において制御部６は、撮影画像上の特徴点を抽出する。
ステップＳ１０３において制御部６は、撮影画像上の特徴点を抽出する。
【0039】
図１２Ａは、撮影画像上の特徴点の抽出に関する説明図である。
なお、図１２Ａでは、左右の冷蔵室ドア２１１，２１２が開かれた状態の撮影画像に２値化処理が施されたものを示している。また、図１２Ａでは、紙面上側を前方とし、紙面下側を後方としている関係上、図３等に対して、左右が反転している（図１２Ｂ、図１２Ｃも同様）。
なお、図１２Ａでは、左右の冷蔵室ドア２１１，２１２が開かれた状態の撮影画像に２値化処理が施されたものを示している。また、図１２Ａでは、紙面上側を前方とし、紙面下側を後方としている関係上、図３等に対して、左右が反転している（図１２Ｂ、図１２Ｃも同様）。
【0040】
図１２Ａでは、内箱１２（図４も参照）や左側の冷蔵室ドア２１１のパッキン２１１ｄ（図３も参照）の他、右側の冷蔵室ドア２１２のパッキン２１２ｄ（図３も参照）が撮影画像に含まれている。また、図１２Ａでは符号を示していないが、左右の横板１ａ，１ｂ（図４参照）の他、左右のサイドピース２１１ｆ，２１２ｆ（図５参照）も撮影画像に含まれている。これらの符号を図１２Ａに示していないのは、２値化処理で画素の値が‘０’（黒色）になっているためである。
【0041】
図１２Ａに示す矩形状の領域７ａは、右側の冷蔵室ドア２１２の開角度の算出に用いられる領域であり、撮影画像上の位置・大きさが予め設定されている。具体的には、右側の冷蔵室ドア２１２が開かれた状態で、内箱１２（図４参照）と右側の横板１ｂ（図４参照）との間の境目が撮影画像上で領域７ａを通るように、この領域７ａが予め設定されている。また、右側の冷蔵室ドア２１２が開かれた状態で、この冷蔵室ドア２１２のパッキン２１２ｄ（図３参照）とサイドピース２１２ｆ（図５参照）との間の境目が撮影画像上で領域７ａを通るように、この領域７ａが予め設定されている。なお、他方の矩形状の領域７ｂについても同様である。
【0042】
図１２Ａに示す特徴点８ｍは、撮影画像において、右側の冷蔵室ドア２１２のパッキン２１２ｄ（図３参照）とサイドピース２１２ｆ（図５参照）との間の境目に含まれる点の候補である。例えば、図１２Ａの下向き矢印に示すように、制御部６（図８参照）は、撮影画像の領域７ａに含まれる所定の縦一列の画素の値を上から順に読み込んでいく。この場合、画素の値が‘１’（白色）から‘０’（黒色）に変わる点は、パッキン２１２ｄ（図３参照）とサイドピース２１２ｆ（図５参照）との間の境目に含まれる可能性が高い特徴点８ｍである。
【0043】
なお、撮影画像上でパッキン２１２ｄ（図３参照）とサイドピース２１２ｆ（図５参照）との間に輝度差が生じるように、パッキン２１２ｄ及びサイドピース２１２ｆのそれぞれが所定の色で塗装されていてもよい。これによって、パッキン２１２ｄとサイドピース２１２ｆとの間の境目が、後記する第２エッジ９２ａ（図１３参照）として抽出されやすくなる。
【0044】
図１２Ａに示す特徴点８ｎは、撮影画像において、筐体１の内箱１２（図４参照）と横板１ｂ（図４参照）との間の境目に含まれる点の候補である。例えば、図１２Ａの下向き矢印に示すように、制御部６（図８参照）は、撮影画像の領域７ａに含まれる所定の縦一列の画素の値を上から順に読み込んでいく。この場合に、画素の値が‘０’（黒色）から‘１’（白色）に変わる点は、内箱１２（図４参照）と横板１ｂ（図４参照）との間の境目に含まれる可能性が高い特徴点８ｎである。
【0045】
なお、撮影画像上で内箱１２と横板１ｂ（図４参照）との間に輝度差が生じるように、内箱１２及び横板１ｂのそれぞれが所定の色で塗装されていてもよい。これによって、内箱１２と横板１ｂとの間の境目が、後記する第１エッジ９１ａ（図１３参照）として抽出されやすくなる。
【0046】
制御部６は、例えば、領域７ａにおける所定の縦一列について特徴点を抽出した後、隣の縦一列の特徴点を抽出するといったように、特徴点の抽出対象の列をひとつずつ横方向にずらしていく（図１２Ａの右向き矢印を参照）。そして、制御部６は、領域７ａに含まれる縦の全ての列について、特徴点を抽出する（図１１のＳ１０３）。なお、他方の領域７ｂにおいても同様の処理が行われる。
【0047】
次に、図１１のステップＳ１０４において制御部６は、近似線を算出する。すなわち、制御部６は、ステップＳ１０３で抽出した複数の特徴点に基づいて、撮影画像上のエッジを示す２本の近似線（直線）を特定する。なお、これらの近似線の算出において、最小二乗法等の周知の手法が用いられてもよい。
【0048】
図１２Ｂは、撮影画像上の特徴点の連なりを示す説明図である。
図１２Ｂの例では、矩形状の領域７ａにおいて、内箱１２と横板１ｂ（図４参照）との間の境目に複数の特徴点８ｎが連なるように分布している。これらの特徴点８ｎに基づいて、撮影画像上の筐体１（図４参照）のエッジである第１エッジ９１ａ（図１３参照）が、所定の近似線として算出される。この第１エッジ９１ａは、内箱１２と横板１ｂ（図４参照）との間の境目に対応する撮影画像上のエッジである。
図１２Ｂの例では、矩形状の領域７ａにおいて、内箱１２と横板１ｂ（図４参照）との間の境目に複数の特徴点８ｎが連なるように分布している。これらの特徴点８ｎに基づいて、撮影画像上の筐体１（図４参照）のエッジである第１エッジ９１ａ（図１３参照）が、所定の近似線として算出される。この第１エッジ９１ａは、内箱１２と横板１ｂ（図４参照）との間の境目に対応する撮影画像上のエッジである。
【0049】
また、図１２Ｂの例では、矩形状の領域７ａにおいて、冷蔵室ドア２１２のパッキン２１２ｄとサイドピース２１２ｆ（図５参照）との間の境目に複数の特徴点８ｍが連なるように分布している。これらの特徴点８ｍに基づいて、撮影画像上の冷蔵室ドア２１２（ドア）のエッジである第２エッジ９２ａ（図１３参照）が、所定の近似線として算出される。この第２エッジ９２ａは、冷蔵室ドア２１２のパッキン２１２ｄとサイドピース２１２ｆ（図５参照）との間の境目に対応する撮影画像上のエッジである。
【0050】
第１エッジ９１ａ（図１３参照）及び第２エッジ９２ａ（図１３参照）は、実空間上では、冷蔵室ドア２１２のヒンジ２１２ａ（図５参照）の軸に対して平行になっている。例えば、右側の冷蔵室ドア２１２が開けられたとき、内箱１２の右側の縁付近に照射される光の大部分は、冷蔵庫１００の庫内灯（図示せず）やカメラＬＥＤ３１ｄ（図７Ｂ参照）の光であることが多い。したがって、冷蔵庫１００の周囲の光や物体等が、第１エッジ９１ａや第２エッジ９２ａの抽出に悪影響を及ぼすことはほとんどない。その結果、制御部６が、第１エッジ９１ａや第２エッジ９２ａを高精度に抽出できる。
次に、図１１のステップＳ１０５において制御部６は、台形状の部分の面積を算出する。
次に、図１１のステップＳ１０５において制御部６は、台形状の部分の面積を算出する。
【0051】
図１２Ｃは、撮影画像上の領域７ａに含まれる台形状の部分９ａを示す説明図である。
図１２Ｃに示す台形状の部分９ａは、第１エッジ９１ａ（図１３参照）において領域７ａに含まれる線分Ｌ１（図１３参照）と、第２エッジ９２ａ（図１３参照）において領域７ａに含まれる別の線分Ｌ２（図１３参照）との間で、領域７ａに含まれている部分である。
図１２Ｃに示す台形状の部分９ａは、第１エッジ９１ａ（図１３参照）において領域７ａに含まれる線分Ｌ１（図１３参照）と、第２エッジ９２ａ（図１３参照）において領域７ａに含まれる別の線分Ｌ２（図１３参照）との間で、領域７ａに含まれている部分である。
【0052】
第１エッジ９１ａ（図１３参照）は、内箱１２と横板１ｂ（図４参照）との間の境目であるため、冷蔵室ドア２１２が開かれても、撮影画像上の第１エッジ９１ａの位置が変わることはほとんどない。これに対して、第２エッジ９２ａ（図１３参照）は、冷蔵室ドア２１２のパッキン２１２ｄとサイドピース２１２ｆ（図５参照）との間の境目であるため、冷蔵室ドア２１２の開角度が大きくなるにつれて、領域７ａの上側の境界線に第２エッジ９２ａが近づいていく。その結果、冷蔵室ドア２１２の開角度が大きくなるほど、台形状の部分９ａの面積（画素数）も大きくなる。そこで、第１実施形態では、制御部６が、台形状の部分９ａの撮影画像上の面積（画素数）に基づいて、冷蔵室ドア２１２（ドア）の開角度を算出するようにしている。
【0053】
図１３は、第１エッジ９１ａと第２エッジ９２ａとの間の台形状の部分９ａに関する説明図である。
なお、図１３では、図１２Ｃの領域７ａを取り出して示している。図１３に示すように、直線状の第１エッジ９１ａ及び第２エッジ９２ａは、矩形状の領域７ａにおける縦方向の一対の対辺（境界線）に交わっている。言い換えると、撮影画像上で第１エッジ９１ａ及び第２エッジ９２ａが通るように、矩形状の領域７ａが予め設定されている。
なお、図１３では、図１２Ｃの領域７ａを取り出して示している。図１３に示すように、直線状の第１エッジ９１ａ及び第２エッジ９２ａは、矩形状の領域７ａにおける縦方向の一対の対辺（境界線）に交わっている。言い換えると、撮影画像上で第１エッジ９１ａ及び第２エッジ９２ａが通るように、矩形状の領域７ａが予め設定されている。
【0054】
図１３に示す点６１，６２は、矩形状の領域７ａの一対の対辺と、第１エッジ９１ａと、の交点である。点６３，６４は、矩形状の領域７ａの一対の対辺と、第２エッジ９２ａと、の交点である。図１３に示すように、点６１，６３を結ぶ線分Ｌ３の長さ（画素数）よりも、点６２，６４を結ぶ線分Ｌ４の長さ（画素数）の方が短くなっている。これは、線分Ｌ３よりも線分Ｌ４の方が、実空間上での高さ位置が低く、撮影画像上での画素数が少ないからである。
【0055】
前記したステップＳ１０５（図１１参照）において制御部６は、第１エッジ９１ａと第２エッジ９２ａとの間であって、領域７ａに含まれている台形状の部分９ａの面積を算出する。次に、ステップＳ１０６（図１１参照）において制御部６は、冷蔵室ドア２１２の開角度を算出する。すなわち、制御部６は、ステップＳ１０５で算出した台形状の部分９ａの面積に対応する開角度を算出する（開角度算出ステップ）。
【0056】
図１４は、台形状の部分の面積と、冷蔵室ドアの開角度と、の間の関係を示す説明図である。
なお、図１４の横軸は、領域７ａに含まれる台形状の部分９ａ（図１２Ｃ、図１３参照）の面積（画素数）である。また、図１４の縦軸は、冷蔵室ドア２１２の開角度である。図１４に曲線Ｃ１は、台形状の部分９ａの面積から、冷蔵室ドア２１２の開角度を導くためのデータであり、予め設定されている。なお、曲線Ｃ１のデータとして、例えば、所定のデータテーブルが用いられてもよいし、また、単調増加の所定の関数が用いられてもよい。
なお、図１４の横軸は、領域７ａに含まれる台形状の部分９ａ（図１２Ｃ、図１３参照）の面積（画素数）である。また、図１４の縦軸は、冷蔵室ドア２１２の開角度である。図１４に曲線Ｃ１は、台形状の部分９ａの面積から、冷蔵室ドア２１２の開角度を導くためのデータであり、予め設定されている。なお、曲線Ｃ１のデータとして、例えば、所定のデータテーブルが用いられてもよいし、また、単調増加の所定の関数が用いられてもよい。
【0057】
制御部６は、例えば、台形状の部分９ａ（図１３参照）の面積Ｓ１と、図１４に示す曲線Ｃ１のデータと、に基づいて、冷蔵室ドア２１２の開角度θ１を算出する（Ｓ１０６：図１１参照）。このように、制御部６は、筐体１（図３参照）に設けられるヒンジ式の冷蔵室ドア２１２（ドア）が開かれた場合、カメラユニット３（撮影手段：図８参照）による撮影画像上の筐体１のエッジである第１エッジ９１ａ（図１３参照）と、撮影画像上の冷蔵室ドア２１２のエッジである第２エッジ９２ａ（図１３参照）と、の間の画素数に基づいて、冷蔵室ドア２１２の開角度を算出する（開角度算出ステップ）。また、制御部６は、左側の冷蔵室ドア２１１（図３参照）の開角度も同様にして算出する。
【0058】
なお、冷蔵庫１００の筐体１（図１参照）に対してカメラユニット３（図１参照）が傾いていなければ、冷蔵室ドア２１２の開角度の算出値の誤差は、無視できる程度に小さい。しかしながら、場合によっては、外箱１１と内箱１２との間に充填されている断熱材（発泡ウレタン等：図示せず）が変形したり、冷蔵庫１００の製造時に組付け誤差が生じたりして、外箱１１の上面の一部が水平面に対して若干傾く可能性がある。
【0059】
具体的には、カメラユニット３の左側が右側よりも若干下がったり（図１の白抜き矢印７１）、また、カメラユニット３の右側が左側よりも若干下がったりする可能性がある（図１の白抜き矢印７２）。このようにカメラユニット３が傾いた状態になると、図１３の領域７ａに含まれる台形状の部分９ａの面積が、冷蔵室ドア２１１等の実際の開角度に対応する面積よりも大きくなったり、小さくなったりするため、開角度の算出値に誤差が生じる。そこで、第１実施形態では、撮影画像における所定の基準線７３（図１５Ａ参照）と、第１エッジ９１ａ，９１ｂ（図１５Ａ参照）と、の位置関係に基づいて、制御部６が、冷蔵室ドア２１１，２１２の開角度を補正するようにしている。
【0060】
図１５Ａは、カメラユニットが傾いていない場合の撮影画像に関する説明図である。
なお、図１５Ａでは、紙面上側を前方とし、紙面下側を後方としている関係上、図３等に対して、左右が反転している（図１５Ｂ、図１５Ｃも同様）。
図１５Ａに示す矩形状の領域７４は、縦・横にマトリクス状に配列された多数の撮像素子３１ｆ（図８参照）の電気信号に基づく撮影画像の領域を示している。矩形状の領域７４において、レンズ３１ａ（図８参照）を介して入射する光が反映された円形状の領域７５の外側は、実際は黒色の画像になっている（例えば、図１２Ａを参照）。
なお、図１５Ａでは、紙面上側を前方とし、紙面下側を後方としている関係上、図３等に対して、左右が反転している（図１５Ｂ、図１５Ｃも同様）。
図１５Ａに示す矩形状の領域７４は、縦・横にマトリクス状に配列された多数の撮像素子３１ｆ（図８参照）の電気信号に基づく撮影画像の領域を示している。矩形状の領域７４において、レンズ３１ａ（図８参照）を介して入射する光が反映された円形状の領域７５の外側は、実際は黒色の画像になっている（例えば、図１２Ａを参照）。
【0061】
矩形状の領域７４における一つの角部（図１５Ａの例では、紙面左上の角部）を原点として、横方向をｘ軸とし、縦方向をｙ軸とする。ｘ軸・ｙ軸の座標の値に基づいて、撮影画像における各画素が特定される。図１５Ａに示す基準線７３は、カメラユニット３（図１参照）が傾いているか否かを制御部６が判定する際の基準となる線であり、予め設定されている。図１５Ａの例では、矩形状の領域７４をｘ軸方向の中央で左右均等に分割するように、ｙ軸方向の基準線７３が予め設定されている。ちなみに、カメラユニット３（図１参照）が傾いた場合でも、矩形状の領域７４に対する基準線７３の位置関係は一定に保たれている。
【0062】
図１１のステップＳ１０６において冷蔵室ドア２１２の開角度を算出した後、ステップＳ１０７において制御部６は、第１エッジ９１ａ，９１ｂの端点を特定する。すなわち、制御部６は、内箱１２と右側の横板１ｂ（図４参照）との間の境目である第１エッジ９１ａの上側（図１５Ａでは、紙面の左下側）の端点８１ａを特定する。同様に、制御部６は、内箱１２と左側の横板１ａ（図４参照）との間の境目である別の第１エッジ９１ｂの上側（図１５Ａでは、紙面の右下側）の端点８１ｂを特定する。
【0063】
ちなみに、第２エッジ９２ａ（冷蔵室ドア２１２のエッジ）は、冷蔵室ドア２１２の開閉に伴って撮影画像上で動くが、第１エッジ９１ａ（筐体１のエッジ）が動くことはほとんどない。したがって、第１実施形態では、第１エッジ９１ａをカメラユニット３（図１参照）の傾きの検出に用いるようにしている。
【0064】
なお、左右の冷蔵室ドア２１１，２１２の両方が開かれた場合に、制御部６がステップＳ１０７（図１１参照）の処理を行うようにしてもよい。その他にも、例えば、左右の冷蔵室ドア２１１，２１２の一方が開かれ、他方が閉じた状態になっている場合、閉じた状態の冷蔵室ドアについては、過去に取得された直近の撮影画像の第１エッジを用いて、制御部６がステップＳ１０７の処理を行うようにしてもよい。
【0065】
次に、図１１のステップＳ１０８において制御部６は、端点８１ａ，８１ｂの間の中点８２を特定する。すなわち、制御部６は、図１５Ａに示す右側の端点８１ａと、左側の端点８１ｂと、を結ぶ線分の中点８２の位置（座標の値）を特定する。カメラユニット３（図１参照）が傾いていない場合には、図１５Ａに示すように、中点８２のｘ軸方向の位置が、基準線７３のｘ軸方向の位置に略一致する。
【0066】
図１１のステップＳ１０９において制御部６は、中点８２が基準線７３からずれているか否かを判定する。図１５Ａの例では、前記したように、カメラユニット３（図１参照）が傾いていないため、中点８２のｘ軸方向の位置が基準線７３のｘ軸方向の位置に略一致している。このように、中点８２が基準線７３からずれていない場合（Ｓ１０９：Ｎｏ）、制御部６は、図１１に示す一連の処理を終了する（ＥＮＤ）。この場合には、ステップＳ１０６で算出した開角度が、冷蔵室ドア２１１，２１２の開角度の算出値として用いられる。図１１に示す一連の処理は、新たな撮影画像データが入力されるたびに行われる。
【0067】
図１５Ｂは、カメラユニットが左側に傾いた場合の撮影画像に関する説明図である。
図１の白抜き矢印７１で示すように、カメラユニット３が左側（図１５Ｂの紙面右側）に傾くと、カメラユニット３が傾いていない場合（図１５Ａ参照）に比べて、撮影される範囲が右寄り（図１５Ｂの紙面の左寄り）になる。一方、撮影画像の領域７４に対して、矩形状の領域７ａ，７ｂの位置関係は一定に保たれている。その結果、撮影画像の紙面右側の矩形状の領域７ｂには、図１５Ａの場合よりも高さ位置が高い部分（カメラユニット３に近い部分）が写るため、台形状の部分９ｂの面積が本来の値よりも大きくなる。一方、撮影画像の紙面左側の矩形状の領域７ａには、図１５Ａの場合よりも高さ位置が低い部分（カメラユニット３から遠い部分）が写るため、台形状の部分９ａの面積が本来の値よりも小さくなる。
図１の白抜き矢印７１で示すように、カメラユニット３が左側（図１５Ｂの紙面右側）に傾くと、カメラユニット３が傾いていない場合（図１５Ａ参照）に比べて、撮影される範囲が右寄り（図１５Ｂの紙面の左寄り）になる。一方、撮影画像の領域７４に対して、矩形状の領域７ａ，７ｂの位置関係は一定に保たれている。その結果、撮影画像の紙面右側の矩形状の領域７ｂには、図１５Ａの場合よりも高さ位置が高い部分（カメラユニット３に近い部分）が写るため、台形状の部分９ｂの面積が本来の値よりも大きくなる。一方、撮影画像の紙面左側の矩形状の領域７ａには、図１５Ａの場合よりも高さ位置が低い部分（カメラユニット３から遠い部分）が写るため、台形状の部分９ａの面積が本来の値よりも小さくなる。
【0068】
また、カメラユニット３（図１参照）が左側（図１５Ｂの紙面右側）に傾くと、第１エッジ９１ａ，９１ｂの上側の端点８１ａ，８１ｂのｘ軸方向の位置が、それぞれ、右側（図１５Ｂの紙面では左側）にずれる。その結果、端点８１ａ，８１ｂの中点８２の位置が基準線７３よりも右側にずれる。このような場合には、図１１のステップＳ１０９において制御部６は、中点８２が基準線７３からずれていると判定する（Ｓ１０９：Ｙｅｓ）。
【0069】
そして、ステップＳ１１０において制御部６は、冷蔵室ドア２１１，２１２の開角度を補正する（開角度補正ステップ）。すなわち、制御部６は、撮影画像における所定の基準線７３と、第１エッジ９１ａ，９１ｂと、の位置関係に基づいて、冷蔵室ドア２１１，２１２の開角度を補正する。具体例を挙げると、右側の冷蔵室ドア２１２の開角度の算出値が１００°であり、基準線７３からｘ軸方向に－５ピクセルだけ中点８２がずれていたとする。このような場合、制御部６は、冷蔵室ドア２１２の開角度の算出値（例えば、１００°）と、基準線７３からの中点８２のずれを示す画素数（例えば、－５ピクセル）と、に基づいて、冷蔵室ドア２１２の開角度を補正する。また、制御部６は、左側の冷蔵室ドア２１１の開角度についても同様に補正する。
【0070】
なお、開角度の算出値と、基準線７３から中点８２がずれている程度を示す画素数と、に対応付けて、左右の冷蔵室ドア２１１，２１２のそれぞれの開角度の補正値が、予め記憶されているものとする。このように、制御部６は、筐体１（図１参照）の右側及び左側のそれぞれの第１エッジ９１ａ，９１ｂの端点８１ａ，８１ｂを結んだ線分の中点８２と、基準線７３と、の間のｘ軸方向（横方向）の画素数に基づいて、開角度を補正する。具体的には、制御部６は、基準線７３を境とする一方側（図１５Ｂの例では紙面左側）に中点８２が位置している場合、右側の冷蔵室ドア２１２（右ドア）及び左側の冷蔵室ドア２１１（左ドア）のうち、一方側（例えば、図１５Ｂの紙面左側）に対応するものの開角度を補正前よりも大きくし、他方側（例えば、図１５Ｂの紙面右側）に対応するものの開角度を補正前よりも小さくするように補正する。このように、制御部６が冷蔵室ドア２１１，２１２の開角度を補正することで、カメラユニット３（図１参照）が傾いている状態でも、冷蔵室ドア２１１，２１２の開角度を高精度に算出できる。
【0071】
図１５Ｃは、カメラユニットが右側に傾いた場合の撮影画像に関する説明図である。
図１の白抜き矢印７２で示すように、カメラユニット３が右側（図１５Ｃの紙面左側）に傾くと、カメラユニット３が傾いていない場合（図１５Ａ参照）に比べて、撮影される範囲が左寄り（図１５Ｃの紙面の右寄り）になる。したがって、第１エッジ９１ａの上側の端点８１ａ，８１ｂにおけるｘ軸方向の位置が左側（図１５Ｃの紙面では右側）にずれる。その結果、端点８１ａ，８１ｂの間の中点８２の位置が、基準線７３よりも左側にずれる。このような場合、図１１のステップＳ１０９において制御部６は、中点８２が基準線７３からずれていると判定する（Ｓ１０９：Ｙｅｓ）。そして、ステップＳ１１０において制御部６は、冷蔵室ドア２１１，２１２の開角度を補正する。具体的には、制御部６は、左側の冷蔵室ドア２１１の開角度を補正前よりも大きくし、右側の冷蔵室ドア２１２の開角度を補正前よりも小さくする。
図１の白抜き矢印７２で示すように、カメラユニット３が右側（図１５Ｃの紙面左側）に傾くと、カメラユニット３が傾いていない場合（図１５Ａ参照）に比べて、撮影される範囲が左寄り（図１５Ｃの紙面の右寄り）になる。したがって、第１エッジ９１ａの上側の端点８１ａ，８１ｂにおけるｘ軸方向の位置が左側（図１５Ｃの紙面では右側）にずれる。その結果、端点８１ａ，８１ｂの間の中点８２の位置が、基準線７３よりも左側にずれる。このような場合、図１１のステップＳ１０９において制御部６は、中点８２が基準線７３からずれていると判定する（Ｓ１０９：Ｙｅｓ）。そして、ステップＳ１１０において制御部６は、冷蔵室ドア２１１，２１２の開角度を補正する。具体的には、制御部６は、左側の冷蔵室ドア２１１の開角度を補正前よりも大きくし、右側の冷蔵室ドア２１２の開角度を補正前よりも小さくする。
【0072】
第１実施形態によれば、撮影画像における第１エッジ９１ａと第２エッジ９２ａとの間の画素数（台形状の部分９ａの面積：図１３参照）に基づいて、制御部６が、冷蔵室ドア２１１，２１２の開角度を算出する。これによって、冷蔵室ドア２１１，２１２の開角度を容易かつ高精度に算出できる。また、冷蔵室ドア２１１，２１２の開角度の算出のための専用の部材を追加で設ける必要が特にないため、冷蔵庫１００の製造コストを削減できる。
【0073】
また、第１実施形態によれば、カメラユニット３（図１参照）が傾いている場合でも、制御部６が冷蔵室ドア２１１，２１２の開角度の算出値を補正することで、開角度を高精度に算出できる。これによって、冷蔵室ドア２１１，２１２が開けられた状態の画像をユーザの携帯端末５４（図８参照）に適切に表示させることができる。
【0074】
≪第２実施形態≫
第２実施形態は、第１エッジ９１ａ（図１７参照）の上側の端点８１ａ（図１７参照）から領域７ａ（図１７参照）の境界線までの線分８３ａ（図１７参照）の長さに基づいて、制御部６が冷蔵室ドア２１２の開角度を補正する点が、第１実施形態とは異なっている。なお、その他の点（冷蔵庫１００の構成等）については、第１実施形態と同様である。したがって、第１実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
第２実施形態は、第１エッジ９１ａ（図１７参照）の上側の端点８１ａ（図１７参照）から領域７ａ（図１７参照）の境界線までの線分８３ａ（図１７参照）の長さに基づいて、制御部６が冷蔵室ドア２１２の開角度を補正する点が、第１実施形態とは異なっている。なお、その他の点（冷蔵庫１００の構成等）については、第１実施形態と同様である。したがって、第１実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
【0075】
図１６は、第２実施形態に係る冷蔵庫の制御部が実行する処理のフローチャートである（適宜、図８を参照）。
なお、図１６のステップＳ１０１～Ｓ１０７の処理は、第１実施形態（図１１参照）で説明したステップＳ１０１～Ｓ１０７の処理と同様であるから、説明を省略する。
ステップＳ１０７において第１エッジ９１ａ，９１ｂ（図１７参照）の端点８１ａ，８１ｂを特定した後、制御部６の処理はステップＳ１２１に進む。
ステップＳ１２１において制御部６は、例えば、右側の第１エッジ９１ａ（図１７参照）については、その端点８１ａ（図１７参照）から領域７ａ（図１７参照）の境界線までの線分８３ａ（図１７参照）の長さを算出する。同様にして、制御部６は、左側の第１エッジ９１ｂ（図１７参照）に含まれる線分８３ｂ（図１７参照）の長さを算出する。
なお、図１６のステップＳ１０１～Ｓ１０７の処理は、第１実施形態（図１１参照）で説明したステップＳ１０１～Ｓ１０７の処理と同様であるから、説明を省略する。
ステップＳ１０７において第１エッジ９１ａ，９１ｂ（図１７参照）の端点８１ａ，８１ｂを特定した後、制御部６の処理はステップＳ１２１に進む。
ステップＳ１２１において制御部６は、例えば、右側の第１エッジ９１ａ（図１７参照）については、その端点８１ａ（図１７参照）から領域７ａ（図１７参照）の境界線までの線分８３ａ（図１７参照）の長さを算出する。同様にして、制御部６は、左側の第１エッジ９１ｂ（図１７参照）に含まれる線分８３ｂ（図１７参照）の長さを算出する。
【0076】
図１７は、第２実施形態に係る冷蔵庫において、カメラユニットが傾いていない場合の撮影画像を示す説明図である。
なお、図１７では、右側の第１エッジ９１ａの端点８１ａから矩形状の領域７ａの境界線までの線分８３ａを太い実線で示している（左側の線分８３ｂも同様）。
図１６のステップＳ１２１において線分８３ａ，８３ｂの長さを算出した後、ステップＳ１２２において制御部６は、線分８３ａ，８３ｂのそれぞれの長さが既定値とは異なっているか否かを判定する。ここで、右側の線分８３ａの長さの「既定値」とは、カメラユニット３（図１参照）が傾いていない場合での線分８３ａの長さの値（画素数）であり、予め設定されている（左側の線分８３ｂも同様）。なお、右側の線分８３ａと、左側の線分８３ｂとは、その長さの既定値が等しい値に設定されてもよいし、また、異なる値に設定されていてもよい。
なお、図１７では、右側の第１エッジ９１ａの端点８１ａから矩形状の領域７ａの境界線までの線分８３ａを太い実線で示している（左側の線分８３ｂも同様）。
図１６のステップＳ１２１において線分８３ａ，８３ｂの長さを算出した後、ステップＳ１２２において制御部６は、線分８３ａ，８３ｂのそれぞれの長さが既定値とは異なっているか否かを判定する。ここで、右側の線分８３ａの長さの「既定値」とは、カメラユニット３（図１参照）が傾いていない場合での線分８３ａの長さの値（画素数）であり、予め設定されている（左側の線分８３ｂも同様）。なお、右側の線分８３ａと、左側の線分８３ｂとは、その長さの既定値が等しい値に設定されてもよいし、また、異なる値に設定されていてもよい。
【0077】
ステップＳ１２２において、線分８３ａ，８３ｂのそれぞれの長さが既定値に等しい場合（Ｓ１２２：Ｎｏ）、制御部６は、一連の処理を終了する（ＥＮＤ）。この場合には、ステップＳ１０６における開角度の算出値が、冷蔵室ドア２１１，２１２の開角度として用いられる。また、ステップＳ１２２において、線分８３ａ，８３ｂの少なくとも一方の長さが既定値とは異なる場合（Ｓ１２２：Ｙｅｓ）、制御部６の処理はステップＳ１２３に進む。
【0078】
ステップＳ１２３において制御部６は、冷蔵室ドア２１１，２１２の開角度を補正する（開角度補正ステップ）。すなわち、制御部６は、第１エッジ９１ａ（図１７参照）において、この第１エッジ９１ａの端点８１ａから領域７ａの境界線までの線分８３ａの長さに基づいて、冷蔵室ドア２１２の開角度を補正する（左側の冷蔵室ドア２１１も同様）。
【0079】
例えば、カメラユニット３が右側（図１７の紙面左側）に傾いていた場合（図１の白抜き矢印７２を参照）、図１７の右側の線分８３ａは本来の長さよりも短くなり、左側の線分８３ｂは本来の長さよりも長くなる。つまり、冷蔵庫１００の右側では、線分８３ａの実際の長さから既定値を減算した値が負になり、冷蔵庫１００の左側では、線分８３ｂの実際の長さから既定値を減算した値が正になる。このような場合、制御部６は、右側の冷蔵室ドア２１２の開角度を補正前よりも小さくし、左側の冷蔵室ドア２１１の開角度を補正前よりも大きくするように補正する。
【0080】
すなわち、制御部６は、開角度補正ステップ（Ｓ１２３）では、第１エッジ９１ａにおいてカメラユニット３（撮影手段：図１参照）に近い側（上側）の端点８１ａから領域７ａの境界線までの線分８３ａの長さを算出し、この線分８３ａの長さから既定値（所定値）を減算した値が負である場合には、冷蔵室ドア２１２の開角度を補正前よりも小さくする。また、制御部６は、線分８３ａの長さから既定値（所定値）を減算した値が正である場合には、冷蔵室ドア２１２の開角度を補正前よりも大きくする。なお、冷蔵室ドア２１２の開角度の算出値と、線分８３ａに関する差分の値と、に対応付けて、補正後の開角度が予め記憶されているものとする。また、左側の冷蔵室ドア２１１の開角度の補正についても同様のことがいえる。
【0081】
第２実施形態によれば、第１エッジ９１ａの端点８１ａから矩形状の領域７ａの境界線までの線分８３ａの長さに基づいて、制御部６が冷蔵室ドア２１２の開角度を補正する。撮影画像上では、第１エッジ９１ａの下側よりも上側の方が庫内灯の光が照射されやすいため、端点８１ａを高精度で抽出できる。また、第１実施形態のように、冷蔵室ドア２１１，２１２の開角度を補正する際、左右の端点８１ａ，８１ｂの間の中点を用いる必要が特にないため、例えば、片開きの冷蔵室ドアを備える冷蔵庫にも第２実施形態を適用できる。
【0082】
≪第３実施形態≫
第３実施形態は、第１エッジ９１ａ，９１ｂ（図１８参照）の下側の端点８４ａ，８４ｂ（図１８参照）の間の中点８５（図１８参照）に基づいて、制御部６が冷蔵室ドア２１１，２１２の開角度を補正する点が、第１実施形態とは異なっている。なお、その他の点（冷蔵庫１００の構成等）については、第１実施形態と同様である。したがって、第１実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
第３実施形態は、第１エッジ９１ａ，９１ｂ（図１８参照）の下側の端点８４ａ，８４ｂ（図１８参照）の間の中点８５（図１８参照）に基づいて、制御部６が冷蔵室ドア２１１，２１２の開角度を補正する点が、第１実施形態とは異なっている。なお、その他の点（冷蔵庫１００の構成等）については、第１実施形態と同様である。したがって、第１実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
【0083】
図１８は、第３実施形態に係る冷蔵庫において、カメラユニットが傾いていない場合の撮影画像を示す説明図である。
なお、制御部６（図８参照）の処理については、第１エッジ９１ａ，９１ｂの下側の端点８４ａ，８４ｂを用いること以外は第１実施形態と同様であるから、図１１を用いて説明する。
制御部６は、図１１のステップＳ１０１～Ｓ１０６と同様の処理を行い、左右の冷蔵室ドア２１１，２１２の開角度を算出する。そして、制御部６は、第１エッジ９１ａ，９１ｂの下側の端点８４ａ，８４ｂを特定する。すなわち、制御部６は、内箱１２（図４参照）と右側の横板１ｂ（図４参照）との間の境目である第１エッジ９１ａの下側（図１８の紙面では右上側）の端点８４ａを特定する。なお、左側の第１エッジ９１ｂの端点８４ｂも同様に特定される。
なお、制御部６（図８参照）の処理については、第１エッジ９１ａ，９１ｂの下側の端点８４ａ，８４ｂを用いること以外は第１実施形態と同様であるから、図１１を用いて説明する。
制御部６は、図１１のステップＳ１０１～Ｓ１０６と同様の処理を行い、左右の冷蔵室ドア２１１，２１２の開角度を算出する。そして、制御部６は、第１エッジ９１ａ，９１ｂの下側の端点８４ａ，８４ｂを特定する。すなわち、制御部６は、内箱１２（図４参照）と右側の横板１ｂ（図４参照）との間の境目である第１エッジ９１ａの下側（図１８の紙面では右上側）の端点８４ａを特定する。なお、左側の第１エッジ９１ｂの端点８４ｂも同様に特定される。
【0084】
これらの端点８４ａ，８４ｂを抽出する際、制御部６が、矩形状の領域７ｃでの処理に基づいて、内箱１２の底１２ａの縁を示す第３エッジ８７を抽出するようにしてもよい。そして、制御部６が、第３エッジ８７と右側の第１エッジ９１ａとの交点を端点８４ａとして特定するとともに、第３エッジ８７と左側の第１エッジ９１ｂとの交点を別の端点８４ｂとして特定するようにしてもよい。これによって、内箱１２の底１２ａの付近に光がそれほど照射していない場合でも、下側の端点８４ａ，８４ｂを高精度で特定できる。
【0085】
このように第１エッジ９１ａ，９１ｂの下側の端点８４ａ，８４ｂを特定した後、図１１のステップＳ１０８において制御部６は、端点８４ａ，８４ｂの間の中点８５を特定する。カメラユニット３（図１参照）が傾いていない場合には、図１８に示すように、中点８５のｘ軸方向の位置が、基準線７３のｘ軸方向の位置に略一致する。
【0086】
一方、中点８５のｘ軸方向の位置が基準線７３からずれている場合、制御部６は、冷蔵室ドア２１２の開角度と、基準線７３からの中点８５のずれを示す画素数と、に基づいて、冷蔵室ドア２１２の開角度を補正する（左側の冷蔵室ドア２１１についても同様）。なお、開角度の補正方法については第１実施形態と同様であるから、説明を省略する。
【0087】
本実施形態によれば、例えば、ユーザの影が撮影画像に入り込んで、制御部６が第１エッジ９１ａ，９１ｂの上側の端点を特定しにくい場合でも、下側の端点８４ａに基づいて、冷蔵室ドア２１１，２１２の開角度を適切に補正できる。
【0088】
≪第４実施形態≫
第４実施形態は、第１エッジ９１ａ（図１９参照）において、下側の端点８４ａ（図１９参照）から領域７ａ（図１９参照）の境界線までの線分８６ａ（図１９参照）の長さに基づいて、制御部６が冷蔵室ドア２１２の開角度を補正する点が、第２実施形態とは異なっている。なお、その他の点については、第２実施形態と同様である。したがって、第２実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
第４実施形態は、第１エッジ９１ａ（図１９参照）において、下側の端点８４ａ（図１９参照）から領域７ａ（図１９参照）の境界線までの線分８６ａ（図１９参照）の長さに基づいて、制御部６が冷蔵室ドア２１２の開角度を補正する点が、第２実施形態とは異なっている。なお、その他の点については、第２実施形態と同様である。したがって、第２実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
【0089】
図１９は、第４実施形態に係る冷蔵庫において、カメラユニットが傾いていない場合の撮影画像を示す説明図である。
なお、制御部６（図８参照）の処理については、第１エッジ９１ａ，９１ｂの下側の端点８４ａ，８４ｂを用いること以外は第２実施形態と同様であるから、図１６を用いて説明する。
なお、制御部６（図８参照）の処理については、第１エッジ９１ａ，９１ｂの下側の端点８４ａ，８４ｂを用いること以外は第２実施形態と同様であるから、図１６を用いて説明する。
【0090】
制御部６は、図１６のステップＳ１０１～Ｓ１０６と同様の処理を行い、冷蔵室ドア２１１，２１２の開角度を算出する。次にステップＳ１０７において制御部６は、第１エッジ９１ａ（図１９参照）の下側の端点８４ａ（図１９参照）を特定する。
次に、ステップＳ１２１において制御部６は、第１エッジ９１ａの下側の端点８４ａ（図１９参照）から領域７ａの境界線までの線分８６ａ（図１９参照）の長さを算出する。
次に、ステップＳ１２１において制御部６は、第１エッジ９１ａの下側の端点８４ａ（図１９参照）から領域７ａの境界線までの線分８６ａ（図１９参照）の長さを算出する。
【0091】
ステップＳ１２２において制御部６は、線分８６ａの長さが既定値とは異なっているか否かを判定する。線分８６ａの長さが既定値に等しい場合（Ｓ１２２：Ｎｏ）、制御部６は処理を終了する（ＥＮＤ）。この場合には、カメラユニット３（図１参照）が傾いておらず、冷蔵室ドア２１２の開角度を補正する必要が特にないからである。
【0092】
また、ステップＳ１２２において、線分８６ａの長さが既定値とは異なっている場合（Ｓ１２２：Ｙｅｓ）、ステップＳ１２３において制御部６は、冷蔵室ドア２１２の開角度を補正する（開角度補正ステップ）。例えば、カメラユニット３が右側（図１９の紙面左側）に傾いていた場合（図１の白抜き矢印７２を参照）、右側の線分８６ａは本来の長さよりも長くなり、左側の線分８６ｂは本来の長さよりも短くなる。このような場合、制御部６は、右側の冷蔵室ドア２１２の開角度を補正前よりも小さくし、左側の冷蔵室ドア２１１の開角度を補正前よりも大きくするように補正する。
【0093】
すなわち、制御部６は、開角度補正ステップ（Ｓ１２３）では、第１エッジ９１ａにおいてカメラユニット３（撮影手段：図１参照）から遠い側の端点８４ａから領域７ａの境界線までの線分８６ａの長さを算出し、この線分８６ａの長さから既定値（所定値）を減算した値が負である場合には、冷蔵室ドア２１２の開角度を補正前よりも大きくする。また、制御部６は、線分８６ａの長さから既定値（所定値）を減算した値が正である場合には、冷蔵室ドア２１２の開角度を補正前よりも小さくする。
なお、冷蔵室ドア２１２の開角度の算出値と、線分８６ａに関する差分の値と、に対応付けて、補正後の開角度が予め記憶されているものとする。また、左側の冷蔵室ドア２１１の開角度の補正についても同様のことがいえる。
なお、冷蔵室ドア２１２の開角度の算出値と、線分８６ａに関する差分の値と、に対応付けて、補正後の開角度が予め記憶されているものとする。また、左側の冷蔵室ドア２１１の開角度の補正についても同様のことがいえる。
【0094】
第４実施形態によれば、下側の線分８６ａ，８６ｂの長さに基づいて、冷蔵室ドア２１１，２１２の開角度を適切に補正できる。また、冷蔵室ドア２１１，２１２の開角度を補正する際、左右の端点８１ａ，８１ｂの間の中点を用いる必要が特にないため、例えば、片開きの冷蔵室ドアを備える冷蔵庫にも第４実施形態を適用できる。
【0095】
≪第５実施形態≫
第５実施形態は、第１エッジ９１ａ（図２０Ａ参照）や第２エッジ９２ａ（図２０Ａ参照）が所定の許容範囲から外れていた場合、そのときの撮影画像を携帯端末５４（図８参照）の表示には用いない点が、第１実施形態とは異なっている。なお、その他の点（冷蔵庫１００の構成等）については、第１実施形態同様である。したがって、第１実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
第５実施形態は、第１エッジ９１ａ（図２０Ａ参照）や第２エッジ９２ａ（図２０Ａ参照）が所定の許容範囲から外れていた場合、そのときの撮影画像を携帯端末５４（図８参照）の表示には用いない点が、第１実施形態とは異なっている。なお、その他の点（冷蔵庫１００の構成等）については、第１実施形態同様である。したがって、第１実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
【0096】
図２０Ａは、第５実施形態に係る冷蔵庫において、撮影画像における第１エッジ９１ａの許容範囲９３ａを示す説明図である。
図２０Ａに破線で示す許容範囲９３ａ（第１許容範囲）は、その内側に第１エッジ９１ａが存在することが想定される範囲であり、予め設定されている。図２０Ａの例では、点Ｐ１から延びる２本の半直線Ｌ５，Ｌ６の間の範囲として、許容範囲９３ａが設定されている。前記したように、第１エッジ９１ａは、内箱１２の縁付近のエッジであり、冷蔵室ドア２１２の開角度に関わらず、ほとんど動かない。したがって、第１エッジ９１ａの許容範囲９３ａは、次に説明する第２エッジ９２ａの許容範囲９４ａ（図２１Ａ参照）よりも狭い範囲に設定されている。
図２０Ａに破線で示す許容範囲９３ａ（第１許容範囲）は、その内側に第１エッジ９１ａが存在することが想定される範囲であり、予め設定されている。図２０Ａの例では、点Ｐ１から延びる２本の半直線Ｌ５，Ｌ６の間の範囲として、許容範囲９３ａが設定されている。前記したように、第１エッジ９１ａは、内箱１２の縁付近のエッジであり、冷蔵室ドア２１２の開角度に関わらず、ほとんど動かない。したがって、第１エッジ９１ａの許容範囲９３ａは、次に説明する第２エッジ９２ａの許容範囲９４ａ（図２１Ａ参照）よりも狭い範囲に設定されている。
【0097】
なお、カメラユニット３（図１参照）が若干傾いている場合でも、第１エッジ９１ａが許容範囲９３ａに含まれるように、この許容範囲９３ａが適宜に設定されていてもよい。また、図２０Ａでは、左側の第１エッジ９１ｂの許容範囲の図示を省略しているが、この許容範囲も右側と同様に設定されている。
【0098】
図２０Ｂは、撮影画像における第２エッジ９２ａの許容範囲９４ａを示す説明図である。
図２０Ｂに破線で示す許容範囲９４ａ（第２許容範囲）は、冷蔵室ドア２１２の開角度が所定範囲内（例えば、８０°以上１４０°以下）の場合、その内側に第２エッジ９２ａが存在することが想定される範囲であり、予め設定されている。図２０Ｂの例では、点Ｐ２から延びる２本の半直線Ｌ７，Ｌ８の間の範囲として、許容範囲９４ａが設定されている。
図２０Ｂに破線で示す許容範囲９４ａ（第２許容範囲）は、冷蔵室ドア２１２の開角度が所定範囲内（例えば、８０°以上１４０°以下）の場合、その内側に第２エッジ９２ａが存在することが想定される範囲であり、予め設定されている。図２０Ｂの例では、点Ｐ２から延びる２本の半直線Ｌ７，Ｌ８の間の範囲として、許容範囲９４ａが設定されている。
【0099】
なお、カメラユニット３（図１参照）が若干傾いている場合でも、第２エッジ９２ａが許容範囲９４ａに含まれるように、この許容範囲９４ａが適宜に設定されていてもよい。また、図２０Ｂでは、左側の第２エッジ９２ｂの許容範囲の図示を省略しているが、この許容範囲も右側と同様に設定されている。
【0100】
例えば、非常に稀なケースではあるが、光の当たり具合等によっては、特徴点８ｍ，８ｎ（図１２Ｂ参照）が誤って抽出され、第１エッジ９１ａや第２エッジ９２ａが撮影画像上の本来の位置からずれた箇所で抽出される可能性がある。そこで、第５実施形態では、第１エッジ９１ａが所定の許容範囲９３ａ（図２０Ａ参照）から外れていたり、また、第２エッジ９２ａが所定の許容範囲９４ａ（図２０Ｂ参照）から外れていたりした場合には、そのときの撮影画像を携帯端末５４（図８参照）への表示に用いないようにしている。
【0101】
図２１Ａ、図２１Ｂは、冷蔵庫の制御部が実行する処理のフローチャートである。
なお、図２１ＡのステップＳ１０１～Ｓ１０６の処理は、第１実施形態で説明したもの（図１１のＳ１０１～Ｓ１０６）と同様であるから、説明を省略する。
ステップＳ１０６において冷蔵室ドア２１２の開角度を算出した後、ステップＳ１３１において制御部６は、冷蔵室ドア２１２の開角度が所定範囲内（例えば、８０°以上１４０°以下）であるか否かを判定する。この所定範囲は、第１エッジ９１ａや第２エッジ９２ａ等の近似線の適否の判定（Ｓ１３４）を行うか否かの基準となる範囲であり、予め設定されている。
なお、図２１ＡのステップＳ１０１～Ｓ１０６の処理は、第１実施形態で説明したもの（図１１のＳ１０１～Ｓ１０６）と同様であるから、説明を省略する。
ステップＳ１０６において冷蔵室ドア２１２の開角度を算出した後、ステップＳ１３１において制御部６は、冷蔵室ドア２１２の開角度が所定範囲内（例えば、８０°以上１４０°以下）であるか否かを判定する。この所定範囲は、第１エッジ９１ａや第２エッジ９２ａ等の近似線の適否の判定（Ｓ１３４）を行うか否かの基準となる範囲であり、予め設定されている。
【0102】
ステップＳ１３１において冷蔵室ドア２１２の開角度が所定範囲外である場合（Ｓ１３１：Ｙｅｓ）、制御部６は、ステップＳ１３１の処理を繰り返す。一方、ステップＳ１３１において冷蔵室ドア２１２の開角度が所定範囲内である場合（Ｓ１３１：Ｙｅｓ）、制御部６の処理はステップＳ１３２に進む。
【0103】
ステップＳ１３２において制御部６は、第１エッジ９１ａが許容範囲９３ａ（図２０Ａ参照）に含まれているか否かを判定する（判定ステップ）。第１エッジ９１ａが許容範囲９３ａに含まれている場合（Ｓ１３２：Ｙｅｓ）、制御部６の処理はステップＳ１３３に進む。なお、ステップＳ１３２の処理において、第１エッジ９１ａを含む直線の傾き及び切片のそれぞれが、所定の範囲に含まれているか否かを制御部６が判定するようにしてもよい。
【0104】
ステップＳ１３３において制御部６は、第２エッジ９２ａが許容範囲９４ａ（図２０Ｂ参照）に含まれているか否かを判定する。第２エッジ９２ａが許容範囲９４ａに含まれている場合（Ｓ１３３：Ｙｅｓ）、制御部６の処理は、図２１ＢのステップＳ１０７に進む。なお、ステップＳ１３３の処理において、第２エッジ９２ａを含む直線の傾き及び切片のそれぞれが、所定の範囲に含まれているか否かを制御部６が判定するようにしてもよい。また、ステップＳ１０７～Ｓ１１０の処理（開角度の補正に関する処理）については、第１実施形態（図１１参照）と同様であるから、説明を省略する。
【0105】
図２１ＡのステップＳ１３２（判定ステップ）において第１エッジ９１ａが許容範囲９３ａ（第１許容範囲）から外れている場合（Ｓ１３２：Ｎｏ）、制御部６の処理はステップＳ１３４に進む。
ステップＳ１３４において制御部６は、第１エッジ９１ａ等の近似線が不適切と判定する。次に、ステップＳ１３５において制御部６は、今回の撮影画像を携帯端末５４（図８）への表示には用いないようにする。これによって、不適切な近似線に基づいて所定の処理が行われた画像が携帯端末５４（図８参照）に表示されること防止できる。
ステップＳ１３４において制御部６は、第１エッジ９１ａ等の近似線が不適切と判定する。次に、ステップＳ１３５において制御部６は、今回の撮影画像を携帯端末５４（図８）への表示には用いないようにする。これによって、不適切な近似線に基づいて所定の処理が行われた画像が携帯端末５４（図８参照）に表示されること防止できる。
【0106】
同様に、ステップＳ１３３（判定ステップ）において第２エッジ９２ａが許容範囲９４ａ（第２許容範囲）から外れている場合（Ｓ１３３：Ｎｏ）、制御部６の処理はステップＳ１３４に進む。この場合にも、制御部６は、第２エッジ９２ａ等の近似線が不適切と判定し（Ｓ１３４）、今回の撮影画像を携帯端末５４（図８）への表示には用いないようにする（Ｓ１３５）。そして、制御部６は、図２１ＢのステップＳ１０７～Ｓ１１０の処理（開角度の補正に関する処理）は特に行わずに、一連の処理を終了する（ＥＮＤ）。なお、左側の第１エッジ９１ｂ（図２０Ａ参照）や第２エッジ９２ｂ（図２０Ｂ参照）についても同様の処理が行われる。
【0107】
ちなみに、カメラユニット３（図１参照）による撮影は所定に繰り返されるが、次回の撮影画像では第１エッジ９１ａ（図２０Ａ参照）や、第２エッジ９２ａ（図２０Ｂ参照）が正しく抽出されることもある。制御部６は、カメラユニット３による撮影のたびに、図２１Ａ、図２１Ｂの処理を実行する。
【0108】
第５実施形態によれば、第１エッジ９１ａ（図２０Ａ参照）が許容範囲９３ａから外れている場合や、第２エッジ９２ａ（図２０Ｂ参照）が許容範囲９４ａから外れている場合、制御部６は、そのときの撮影画像を携帯端末５４（図８参照）への表示には用いないようにする。これによって、不適切な近似線に基づく所定の画像が携帯端末５４に表示されることを防止できる。
【0109】
≪変形例≫
以上、本開示に係る冷蔵庫１００等について各実施形態により説明したが、これらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、冷蔵室ドア２１１，２１２の開角度の補正方法は、各実施形態で説明したものに限定されない。例えば、カメラユニット３（撮影手段）が正しく設置された状態での第１エッジ９１ａ（図１５Ａ参照）の端点８１ａの位置が、所定の「基準位置」として設定され、開角度補正ステップでは、前記した「基準位置」と、第１エッジ９１ａの端点８１ａの実際の位置と、の間の画素数（横方向の画素数）に基づいて、制御部６が冷蔵室ドア２１２（ドア）の開角度を補正するようにしてもよい。このような処理も、撮影画像における所定の「基準位置」（又は基準線）と、第１エッジ９１ａと、の位置関係に基づいて、冷蔵室ドア２１２の開角度を補正する、という事項に含まれる。
なお、第１エッジ９１ａにおける上側の端点８１ａ（図１５Ａ参照）に代えて、下側の端点８４ａ（図１８参照）が用いられてもよい。このような構成によれば、片開きの冷蔵室ドアの開角度を補正することが可能になる。
以上、本開示に係る冷蔵庫１００等について各実施形態により説明したが、これらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、冷蔵室ドア２１１，２１２の開角度の補正方法は、各実施形態で説明したものに限定されない。例えば、カメラユニット３（撮影手段）が正しく設置された状態での第１エッジ９１ａ（図１５Ａ参照）の端点８１ａの位置が、所定の「基準位置」として設定され、開角度補正ステップでは、前記した「基準位置」と、第１エッジ９１ａの端点８１ａの実際の位置と、の間の画素数（横方向の画素数）に基づいて、制御部６が冷蔵室ドア２１２（ドア）の開角度を補正するようにしてもよい。このような処理も、撮影画像における所定の「基準位置」（又は基準線）と、第１エッジ９１ａと、の位置関係に基づいて、冷蔵室ドア２１２の開角度を補正する、という事項に含まれる。
なお、第１エッジ９１ａにおける上側の端点８１ａ（図１５Ａ参照）に代えて、下側の端点８４ａ（図１８参照）が用いられてもよい。このような構成によれば、片開きの冷蔵室ドアの開角度を補正することが可能になる。
【0110】
また、各実施形態では、撮影画像を横方向で均等に分割するように、縦方向の基準線７３（図１５Ａ参照）が撮影画像の中央に設けられる場合について説明したが、基準線７３の位置は、冷蔵庫１００の構成に伴って適宜に変更可能である。例えば、撮影画像を横方向の中央付近で分割するように基準線７３が設定されていてもよい。
【0111】
また、第１実施形態では、冷蔵室ドア２１１，２１２の開角度の算出値と、中点の位置に関する差分（基準線とのｘ軸方向の差分）と、に対応して、補正後の開角度が読み出される場合について説明したが、これに限らない。例えば、前記した差分に対応する所定の係数が、予め記憶されているようにしてもよい。そして、冷蔵室ドア２１１，２１２の開角度の算出値に、前記した差分に対応する係数を乗算することで、補正後の開角度が算出されるようにしてもよい。なお、第２～第４実施形態についても同様のことがいえる。
【0112】
また、第２実施形態では、第１エッジ９１ａ（図１７参照）に含まれる線分８３ａの長さと既定値との差に基づいて、制御部６が冷蔵室ドア２１２の開角度を補正する場合について説明したが、これに限らない。例えば、右側の第１エッジ９１ａ（図１７参照）に含まれる線分８３ａの長さと、左側の第１エッジ９１ｂ（図１７参照）に含まれる線分８３ｂの長さと、の比に基づいて、制御部６が冷蔵室ドア２１２の開角度を補正するようにしてもよい。なお、第４実施形態についても同様のことがいえる。
【0113】
また、第５実施形態では、第１エッジ９１ａ（図２０Ａ参照）が許容範囲９３ａに含まれているか否かの判定（図２１ＡのＳ１３２）と、第２エッジ９２ａ（図２０Ａ参照）が許容範囲９４ａに含まれているか否かの判定（図２１ＡのＳ１３３）と、の両方が行われる場合について説明したが、これに限らない。すなわち、図２１ＡのステップＳ１３２，Ｓ１２３のうち一方を適宜に省略するようにしてもよい。
また、第５実施形態では、冷蔵室ドア２１１，２１２の開角度が所定範囲内である場合（Ｓ１３１）、制御部６がステップＳ１３２，Ｓ１３３の処理を順次に行うことを説明したが、これに限らない。例えば、ステップＳ１３１の処理が適宜に省略されてもよい。
また、第５実施形態では、冷蔵室ドア２１１，２１２の開角度が所定範囲内である場合（Ｓ１３１）、制御部６がステップＳ１３２，Ｓ１３３の処理を順次に行うことを説明したが、これに限らない。例えば、ステップＳ１３１の処理が適宜に省略されてもよい。
【0114】
また、各実施形態は、適宜に組み合わせることができる。例えば、第１実施形態と第２実施形態とを組み合わせ、第１実施形態の方法に基づく補正後の開角度と、第２実施形態の方法に基づく補正後の開角度と、の平均値を冷蔵室ドア２１１，２１２の開角度として用いるようにしてもよい。同様にして、第１～第４実施形態のうちの複数を適宜に組み合わせることも可能である。
その他にも、例えば、第２実施形態と第５実施形態とを組み合わせ、第１エッジ９１ａ及び第２エッジ９２ａが許容範囲内である場合に（第５実施形態）、第２実施形態の方法に基づいて、制御部６が冷蔵室ドア２１２の開角度を補正するようにしてもよい。
その他にも、例えば、第２実施形態と第５実施形態とを組み合わせ、第１エッジ９１ａ及び第２エッジ９２ａが許容範囲内である場合に（第５実施形態）、第２実施形態の方法に基づいて、制御部６が冷蔵室ドア２１２の開角度を補正するようにしてもよい。
【0115】
また、各実施形態では、撮影画像を生成するカメラユニット３（図２参照）が筐体１の上面に設けられる構成について説明したが、これに限らない。すなわち、筐体１の外側における別の所定位置にカメラユニット３が設けられるようにしてもよい。
【0116】
また、各実施形態では、冷蔵室ドア２１１，２１２の開角度の算出において、矩形状の領域７ａ（図１３参照）が用いられる場合について説明したが、これに限らない。例えば、制御部６が、矩形状の領域７ａを特に用いることなく、第１エッジ９１ａと第２エッジ９２ａとの間の画素数に基づいて、冷蔵室ドア２１１，２１２の開角度を算出するようにしてもよい。
【0117】
また、各実施形態では、第１エッジ９１ａとして、内箱１２（図４参照）と横板１ｂ（図４参照）との間の境目に対応する撮影画像上のエッジが用いられる場合について説明したが、これに限らない。すなわち、第１エッジ９１ａとして、筐体１における他の所定の境目が用いられてもよい。
また、各実施形態では、第２エッジ９２ａとして、冷蔵室ドア２１２のパッキン２１２ｄ（図３参照）とサイドピース２１２ｆ（図５参照）との間の境目に対応する撮影画像上のエッジが用いられる場合について説明したが、これに限らない。すなわち、第２エッジ９２ａとして、冷蔵室ドア２１２における他の所定の境目が用いられてもよい。
また、各実施形態では、第２エッジ９２ａとして、冷蔵室ドア２１２のパッキン２１２ｄ（図３参照）とサイドピース２１２ｆ（図５参照）との間の境目に対応する撮影画像上のエッジが用いられる場合について説明したが、これに限らない。すなわち、第２エッジ９２ａとして、冷蔵室ドア２１２における他の所定の境目が用いられてもよい。
【0118】
また、各実施形態では、フレンチ式の冷蔵室ドア２１１，２１２（図３参照）を備える冷蔵庫１００について説明したが、これに限らない。例えば、片開き式の冷蔵室ドア（図示せず）を備える冷蔵庫や、ポータブル冷蔵庫（図示せず）にも各実施形態を適用できる。また、各実施形態を適用可能な「収納庫」は、冷蔵庫に限定されるものではない。すなわち、さまざまな種類のヒンジ式の「収納庫」にも各実施形態を適用できる。この場合において、「収納庫」の筐体は、外箱・内箱といった区別が特にないような構成であってもよい。また、例えば、チェスト式の冷凍庫や収納庫にも各実施形態を適用できる。また、上開き式のドア（跳ね上げ式のドア）や下開き式のドアや折れ戸等を備える収納庫にも各実施形態を適用できる。また、例えば、折れ戸を備えるクローゼット等にも各実施形態を適用できる。
【0119】
また、各実施形態で説明した冷蔵室ドア２１１，２１２の開角度の算出方法（ドア開角度算出方法）を実現するプログラムの全部又は一部を、一つ又は複数のコンピュータが実行するようにしてもよい。前記したプログラムは、通信回線を介して提供することもできるし、ＣＤ－ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【0120】
また、各実施形態は、本開示を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、前記した機構や構成は説明上必要と考えられるものを示しており、製品上必ずしも全ての機構や構成を示しているとは限らない。
また、前記した機構や構成は説明上必要と考えられるものを示しており、製品上必ずしも全ての機構や構成を示しているとは限らない。
【符号の説明】
【0121】
１ 筐体
３ カメラユニット（撮影手段）
６ 制御部
７ａ，７ｂ 領域
５４ 携帯端末
７３ 基準線
８１ａ，８１ｂ 端点（撮影手段に近い側の端点）
８２ 中点
８３ａ，８３ｂ 線分（撮影手段に近い側の端点から領域の境界線までの線分）
８４ａ，８４ｂ 端点（撮影手段から遠い側の端点）
８５ 中点
８６ａ，８６ｂ 線分（撮影手段から遠い側の端点から領域の境界線までの線分）
９１ａ，９１ｂ 第１エッジ
９２ａ，９２ｂ 第２エッジ
９３ａ 許容範囲（第１許容範囲）
９４ａ 許容範囲（第２許容範囲）
１００ 冷蔵庫（収納庫）
２１１ 冷蔵室ドア（ドア、左ドア）
２１２ 冷蔵室ドア（ドア、右ドア）
Ｌ１ 線分（第１エッジの線分）
Ｌ２ 線分（第２エッジの線分）
Ｓ１０６ 開角度算出ステップ
Ｓ１１０，Ｓ１２３ 開角度補正ステップ
Ｓ１３２，Ｓ１３３ 判定ステップ
３ カメラユニット（撮影手段）
６ 制御部
７ａ，７ｂ 領域
５４ 携帯端末
７３ 基準線
８１ａ，８１ｂ 端点（撮影手段に近い側の端点）
８２ 中点
８３ａ，８３ｂ 線分（撮影手段に近い側の端点から領域の境界線までの線分）
８４ａ，８４ｂ 端点（撮影手段から遠い側の端点）
８５ 中点
８６ａ，８６ｂ 線分（撮影手段から遠い側の端点から領域の境界線までの線分）
９１ａ，９１ｂ 第１エッジ
９２ａ，９２ｂ 第２エッジ
９３ａ 許容範囲（第１許容範囲）
９４ａ 許容範囲（第２許容範囲）
１００ 冷蔵庫（収納庫）
２１１ 冷蔵室ドア（ドア、左ドア）
２１２ 冷蔵室ドア（ドア、右ドア）
Ｌ１ 線分（第１エッジの線分）
Ｌ２ 線分（第２エッジの線分）
Ｓ１０６ 開角度算出ステップ
Ｓ１１０，Ｓ１２３ 開角度補正ステップ
Ｓ１３２，Ｓ１３３ 判定ステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図16】
【図17】
【図18】
【図19】
【図20A】
【図20B】
【図21A】
【図21B】