特表-18225666IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧
再表2018-225666加熱調理器および加熱調理器の制御方法
<>
  • 再表WO2018225666-加熱調理器および加熱調理器の制御方法 図000003
  • 再表WO2018225666-加熱調理器および加熱調理器の制御方法 図000004
  • 再表WO2018225666-加熱調理器および加熱調理器の制御方法 図000005
  • 再表WO2018225666-加熱調理器および加熱調理器の制御方法 図000006
  • 再表WO2018225666-加熱調理器および加熱調理器の制御方法 図000007
  • 再表WO2018225666-加熱調理器および加熱調理器の制御方法 図000008
  • 再表WO2018225666-加熱調理器および加熱調理器の制御方法 図000009
  • 再表WO2018225666-加熱調理器および加熱調理器の制御方法 図000010
  • 再表WO2018225666-加熱調理器および加熱調理器の制御方法 図000011
  • 再表WO2018225666-加熱調理器および加熱調理器の制御方法 図000012
  • 再表WO2018225666-加熱調理器および加熱調理器の制御方法 図000013
  • 再表WO2018225666-加熱調理器および加熱調理器の制御方法 図000014
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2018年12月13日
【発行日】2020年4月9日
(54)【発明の名称】加熱調理器および加熱調理器の制御方法
(51)【国際特許分類】
   F24C 7/02 20060101AFI20200313BHJP
   G06T 7/00 20170101ALI20200313BHJP
【FI】
   F24C7/02 310
   F24C7/02 340Z
   G06T7/00 Z
【審査請求】未請求
【予備審査請求】未請求
【全頁数】23
【出願番号】特願2019-523514(P2019-523514)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2018年6月4日
(31)【優先権主張番号】特願2017-112218(P2017-112218)
(32)【優先日】2017年6月7日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100106116
【弁理士】
【氏名又は名称】鎌田 健司
(74)【代理人】
【識別番号】100115554
【弁理士】
【氏名又は名称】野村 幸一
(72)【発明者】
【氏名】谷口 直哉
(72)【発明者】
【氏名】今井 博久
(72)【発明者】
【氏名】松井 巌徹
【テーマコード(参考)】
3L086
5L096
【Fターム(参考)】
3L086AA01
3L086CB01
3L086CC12
3L086DA24
3L086DA25
5L096AA06
5L096BA08
5L096CA04
5L096CA17
5L096DA02
5L096FA69
5L096FA70
5L096GA08
(57)【要約】
加熱調理器(100)であって、加熱対象物(203)を収納する加熱庫(201)と、加熱庫(201)内を照らす、第1の照明(205a)および第2の照明(205b)と、加熱庫(201)に設けられた撮影部(204)と、撮影部(204)を用いて加熱庫(201)内を撮影し、画像を生成する撮影制御部(303)と、加熱庫(201)内を加熱する加熱制御部(301)と、を備えている。そして、撮影制御部(303)は、撮影部(204)と、第1の照明(205a)および第2の照明(205b)のうち、少なくともいずれかとを動作させて第1の画像を撮影し、撮影部(204)と、第1の照明(205a)および第2の照明(205b)のうち、少なくともいずれかとを動作させて第2の画像を撮影する。また、加熱制御部(301)は、第1の画像と第2の画像との関係に基づいて、加熱庫(201)内の加熱を行う。
【特許請求の範囲】
【請求項1】
加熱対象物を収納する加熱庫と、
前記加熱庫内を照らす、第1の照明および第2の照明と、
前記加熱庫に設けられた撮影部と、
前記撮影部を用いて前記加熱庫内を撮影し、画像を生成する撮影制御部と、
前記加熱庫内を加熱する加熱制御部と、を備え、
前記撮影制御部は、前記撮影部と、前記第1の照明および前記第2の照明のうち、少なくともいずれかとを動作させて、第1の照明条件で、第1の画像を撮影し、前記撮影部と、前記第1の照明および前記第2の照明のうち、少なくともいずれかとを動作させて、第1の照明条件とは異なる第2の照明条件で、第2の画像を撮影し、
前記加熱制御部は、前記第1の画像と前記第2の画像との関係に基づいて、前記加熱庫内の加熱を行う、
加熱調理器。
【請求項2】
前記第1の画像および前記第2の画像それぞれに表れる影領域の関係に基づいて、前記加熱庫内に、前記加熱対象物が存在するか否かを判定し、前記判定の結果に応じて、前記加熱制御部に加熱条件を通知する比較判定部を備える、
請求項1に記載の加熱調理器。
【請求項3】
前記比較判定部は、前記第1の画像と前記第1の照明を用いて撮影された空画像との差分比較値と、前記第1の画像と前記第2の画像との差分比較値との関係に基づいて、前記加熱庫内に、非加熱対象物が存在すると判定する、
請求項2に記載の加熱調理器。
【請求項4】
前記比較判定部は、前記影領域のサイズに基づき、前記加熱対象物の体積を推定する、請求項2に記載の加熱調理器。
【請求項5】
前記比較判定部は、前記影領域の長さに基づき、前記加熱対象物の高さを推定する、
請求項2に記載の加熱調理器。
【請求項6】
前記比較判定部は、推定された前記体積に基づき、加熱設定時間と所定の判定基準とを比較する、
請求項4に記載の加熱調理器。
【請求項7】
前記加熱制御部は、前記第1の画像と前記第1の照明条件を用いて撮影された空状態の画像との演算結果と、前記第2の画像と前記第2の照明条件を用いて撮影された空状態の画像との演算結果と、の関係に基づいて、前記加熱庫内の加熱を行う、
請求項1に記載の加熱調理器。
【請求項8】
加熱対象物を収納する加熱庫と、前記加熱庫内を照らす、第1の照明および第2の照明と、撮影部を用いて前記加熱庫内を撮影し、画像を生成する撮影制御部と、前記加熱庫内を加熱する加熱制御部と、を備える加熱調理器の制御方法であって、
前記撮影制御部は、前記第1の照明および前記第2の照明のうち、少なくともいずれかを用いて、第1の照明条件で、前記加熱庫内の第1の画像を撮影し、
前記撮影制御部は、前記第1の照明および前記第2の照明のうち、少なくともいずれかを用いて、前記第1の照明条件とは異なる第2の照明条件で、前記加熱庫内の第2の画像を撮影し、
前記加熱制御部は、前記第1の画像と前記第2の画像との関係に基づいて、前記加熱庫内の加熱を行う、
加熱調理器の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、食品を加熱する加熱調理器、および、加熱調理器の制御方法に関する。
【背景技術】
【0002】
加熱調理器の一例として、電子レンジがある。この電子レンジでは、使用者が、加熱を行う時間等を入力した後に、加熱を開始するためのボタンを押下する。これにより、加熱調理が行われる。特に、コンビニエンスストアおよびスーパーマーケット等の販売店では、弁当および惣菜等を容器に入れて販売し、購入された食品を、電子レンジを使って加熱調理して提供するサービスが行われることがある。
【0003】
しかしながら、このような電子レンジでは、使用者が、一々加熱時間等を入力するのが面倒であるという問題がある。そのため、店が混雑してくると、加熱庫内に加熱対象となる加熱物が正しく入っていなくても、使用者が操作開始ボタンを押下してしまうケースが発生し得る。この場合、庫内が空焚きの状態で、加熱制御がなされてしまう。
【0004】
これに対して、空焚き等を防止するための技術が提案されている。
【0005】
例えば、特許文献1には、加熱調理器にカメラを搭載し、調理前に、このカメラで庫内を撮影し、撮影された画像と、事前に登録してある庫内空画像との類似度を算出して、所定の類似度であれば、庫内が空状態であると判別を行う技術が記載されている。
【0006】
しかしながら、特許文献1に記載の技術では、煮汁およびソース等による庫内底面の汚れ等、利用状況によって状態が変化する庫内において、差分画像の類似度だけでは、庫内の状態を正確に判定することが難しい。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2015−137812号公報
【発明の概要】
【0008】
本開示は、上述した従来の課題を解決するもので、庫内が空状態であることだけなく、庫面の汚れの、有無および大小に影響を受けることなく、正確に庫内の状態を検知することの可能な、加熱調理器および加熱調理器の制御方法を提供する。
【0009】
加熱調理器は、加熱対象物を収納する加熱庫と、加熱庫内を照らす、第1の照明および第2の照明と、加熱庫に設けられた撮影部と、撮影部を用いて加熱庫内を撮影し、画像を生成する撮影制御部と、加熱庫内を加熱する加熱制御部と、を備えている。撮影制御部は、撮影部と、第1の照明および第2の照明のうち、少なくともいずれかとを動作させて、第1の照明条件で、第1の画像を撮影し、撮影部と、第1の照明および前記第2の照明のうち、少なくともいずれかとを動作させて、第1の照明条件とは異なる第2の照明条件で、第2の画像を撮影する。加熱制御部は、第1の画像と第2の画像との関係に基づいて、加熱庫内の加熱を行う。
【0010】
加熱調理器の制御方法は、加熱対象物を収納する加熱庫と、加熱庫内を照らす、第1の照明および第2の照明と、撮影部を用いて加熱庫内を撮影し画像を生成する撮影制御部と、加熱庫内を加熱する加熱制御部と、を備える加熱調理器の制御方法である。そして、撮影制御部は、第1の照明および第2の照明のうち、少なくともいずれかを用いて、第1の照明条件で、加熱庫内の第1の画像を撮影する。撮影制御部は、第1の照明および第2の照明のうち、少なくともいずれかを用いて、第1の照明条件とは異なる第2の照明条件で、加熱庫内の第2の画像を撮影する。加熱制御部は、第1の画像と第2の画像との関係に基づいて、加熱庫内の加熱を行う。
【0011】
本開示によれば、庫内が空状態であることだけなく、庫面の汚れの、有無および大小に影響を受けることなく、正確に庫内の状態を検知することの可能な、加熱調理器および加熱調理器の制御方法を提供する。
【図面の簡単な説明】
【0012】
図1図1は、本開示の第1の実施の形態における加熱調理器の外観を示す斜視図である。
図2図2は、本開示の第1の実施の形態における加熱調理器の概略構成を示す図である。
図3図3は、本開示の第1の実施の形態における、加熱調理器の照明の配置の一例を示す、加熱庫内の上方から見た断面図である。
図4図4は、本開示の第1の実施の形態における、加熱調理器の記憶部に登録されている、庫内画像(庫内空画像)を示す図である。
図5図5は、本開示の第1の実施の形態における、加熱調理器の庫内に非加熱対象物(汚れ等)が存在する状態の庫内画像の一例を示す図である。
図6図6は、本開示の第1の実施の形態における、加熱調理器の庫内に加熱対象物(食品等)が載置されている状態の庫内画像の一例を示す図である。
図7図7は、本開示の第1の実施の形態における、加熱調理器の庫内に、物体が存在する場合の撮影画像、および、処理過程における差分画像の一例を示す図である。
図8図8は、本開示の第1の実施の形態における、加熱調理器の庫内に、汚れが存在する場合の撮影画像、および、処理過程における差分画像の一例を示す図である。
図9図9は、本開示の第1の実施の形態における、画像の差分比較値による判定基準のテーブルの一例を示す図である。
図10図10は、本開示の第1の実施の形態における、加熱調理器の加熱庫の状態検知の動作を示すフローチャートである。
図11図11は、本開示の第2の実施の形態における、加熱庫内に物体が存在する場合の、撮影画像、および、処理過程における差分画像の一例を示す図である。
図12図12は、本開示の第2の実施の形態における、加熱調理器の加熱庫の状態検知の動作を示すフローチャートである。
【発明を実施するための形態】
【0013】
本開示の第1の態様の加熱調理器は、加熱対象物を収納する加熱庫と、加熱庫内を照らす、第1の照明および第2の照明と、加熱庫に設けられた撮影部と、撮影部を用いて加熱庫内を撮影し、画像を生成する撮影制御部と、加熱庫内を加熱する加熱制御部と、を備えている。そして、撮影制御部は、撮影部と、第1の照明および第2の照明のうち、少なくともいずれかとを動作させて、第1の照明条件で、第1の画像を撮影し、撮影部と、第1の照明および第2の照明のうち、少なくともいずれかとを動作させて、第1の照明条件とは異なる第2の照明条件で、第2の画像を撮影し、加熱制御部は、第1の画像と第2の画像との関係に基づいて、加熱庫内の加熱を行う。
【0014】
この構成によれば、経年変化および利用状況等で、庫内状態が常に変化する加熱庫内において、加熱庫内に搭載された撮影部による撮影を、照明制御による複数の照明条件の切り替えと同期して行い、照明条件の変化による影の差を解析する。これにより、庫内が空状態であることだけなく、庫面の汚れの、有無および大小に影響を受けることなく、より正確に庫内の状態を検知し、適切に加熱制御できる。
【0015】
第2の態様は、第1の態様において、第1の画像および第2の画像それぞれに表れる影領域の関係に基づいて、加熱庫内に、加熱対象物が存在するか否かを判定し、判定の結果に応じて、加熱制御部に加熱条件を通知する比較判定部を備えてもよい。
【0016】
これにより、さらに、経年変化および利用状況等で、庫内状態が常に変化する加熱庫内において、庫面の汚れの、有無および大小に影響を受けることなく、正確に空状態であることを検知できる。
【0017】
第3の態様は、第2の態様において、比較判定部は、第1の画像と第1の照明を用いて撮影された空画像との差分比較値と、第1の画像と第2の画像との差分比較値との関係に基づいて、加熱庫内に、非加熱対象物が存在すると判定してもよい。
【0018】
これにより、さらに、使用者へ加熱庫内の清掃を促す通知を行い、庫内を清潔に保つことができる。
【0019】
第4の態様は、第2の態様において、比較判定部が、影領域のサイズに基づき、加熱対象物の体積を推定してもよい。
【0020】
これにより、さらに、加熱庫が空と判定された場合に、加熱を禁止するだけでなく、対象物の体積に応じて加熱を制限する等の方法により、安全性を、さらに高めることができる。
【0021】
第5の態様は、第2の態様において、比較判定部は、影領域の長さに基づき、加熱対象物の高さを推定してもよい。
【0022】
これにより、さらに、対象物の高さに応じて加熱方法を変更する等の方法により、安全性および使い勝手を高めることができる。
【0023】
第6の態様は、第4の態様において、比較判定部は、推定した体積に基づき、加熱設定時間と所定の判断基準とを比較してもよい。
【0024】
これにより、さらに、加熱対象物の体積に対して、誤って過加熱となるような加熱時間が設定された場合にも、これを防止することができる。
【0025】
第7の態様は、第1の態様において、加熱制御部が、第1の画像と第1の照明条件を用いて撮影された空状態の画像との演算結果と、第2の画像と第2の照明条件を用いて撮影された空状態の画像との演算結果との関係に基づいて、加熱庫内の加熱を行ってもよい。
【0026】
これにより、庫面の汚れの、有無および大小に影響を受けることなく、より正確に庫内の状態を検知し、適切に加熱制御できる。
【0027】
第8の態様は、加熱対象物を収納する加熱庫と、加熱庫内を照らす、第1の照明および第2の照明と、撮影部を用いて加熱庫内を撮影し、画像を生成する撮影制御部と、加熱庫内を加熱する加熱制御部と、を備える加熱調理器の制御方法である。そして、撮影制御部は、第1の照明および第2の照明のうち、すくなくともいずれかを用いて、第1の照明条件で、第1の画像を撮影する。撮影制御部は、第1の照明および第2の照明うち、少なくともいずれかを用いて、第1の照明条件とは異なる第2の照明条件で、第2の画像を撮影する。加熱制御部は、第1の画像と第2の画像との関係に基づいて、加熱庫内の加熱を行う。
【0028】
これにより、経年変化および利用状況等で、庫内状態が常に変化する加熱庫内において、庫面の汚れの、有無および大小に影響を受けることなく、より正確に庫内の状態を検知し、加熱庫内を適切に加熱制御できる。
【0029】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略される場合がある。例えば、既によく知られた事項の詳細説明、および、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0030】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより、請求の範囲に記載の主題を限定することは意図されていない。
【0031】
(第1の実施の形態)
以下、図面を参照して、本開示の第1の実施形態による加熱調理器を説明する。
【0032】
実施の形態においては、加熱調理器の一例として、電子レンジ100を用いて説明する。
【0033】
図1は、本開示の第1の実施の形態における電子レンジ100の外観を示す図である。
【0034】
図1に示される電子レンジ100は、筐体101と、筐体101に開閉可能に軸支されたドア102と、を備えている。筐体101の内部には、加熱対象の弁当および惣菜等の食品を収納する、加熱庫201を有している。
【0035】
ドア102は、使用者が筐体101の内部を見ることができるように、透明のガラス窓103を有している。さらに、使用者がドア102を掴みやすいように、ドア102は、取っ手104を有している。
【0036】
なお、本実施の形態においては、筐体101における、ドア102を有する側を前方とし、この前方から見て右側を右方とし、左側を左方として、以下の説明を行う。
【0037】
ドア102の隣には、操作表示部105が配置されている。操作表示部105は、液晶表示器106、時間設定ボタン群107、加熱開始ボタン108、取消ボタン109および一時停止ボタン110を有している。使用者は、数字ボタン、ならびに、分のボタン、および、秒のボタンを使用することにより、加熱時間を設定することができる。また、液晶表示器106は、設定された加熱時間等を表示する。
【0038】
加熱開始ボタン108は、使用者が、液晶表示器106によって、加熱時間およびワット数等を確認した後、加熱を開始するためのボタンである。
【0039】
取消ボタン109は、使用者が、加熱開始ボタン108を押下して加熱を開始した後に、加熱を停止するためのボタンである。また、取消ボタン109は、液晶表示器106に表示されている加熱時間の設定を取り消すためのボタンであってもよい。
【0040】
一時停止ボタン110は、使用者が、加熱途中で加熱を一時的に停止するためのボタンである。加熱が一時停止された後に、使用者が加熱開始ボタン108を再度押下することで、途中から残りの加熱を行うことが可能である。
【0041】
電子レンジ100は、加熱庫201内に、マイクロ波を出力する2つのマグネトロン202a,202bを、加熱部(ヒータ)として備えている。
【0042】
マグネトロン202aは、加熱庫201の天井側に配置されており、上部から加熱庫201内にマイクロ波を出力する。一方、マグネトロン202bは、加熱庫201の底面側に配置されており、下部から加熱庫201内に、マイクロ波を出力する。加熱庫201内に収納された、弁当および惣菜等の食品、すなわち、加熱対象物203(図2を参照)は、放射されたマイクロ波により加熱される。
【0043】
なお、本開示では、加熱部として、マグネトロンによるマイクロ波を例示したが、ヒータ、温風および蒸気のうち、少なくともいずれかにより加熱してもよい。
【0044】
加熱庫201の天井側には、カメラ204(撮影部の一例)が配置されている。カメラ204は、例えばCCD(Charge Coupled Device)のような撮像素子と、レンズ等の光学素子とを含み、加熱庫201内部を撮影して画像を生成する。生成された画像は、例えば、画素ごとに、輝度を0(暗)から255(明)の範囲の値で表されている。
【0045】
なお、それぞれの画素を、赤、青、および緑のそれぞれの色ごとに、0から255の値で表される画像として生成してもよい。また、0から255以外の範囲、および、表現方法により、それぞれの画素に対応する値が表されてもよい。
【0046】
なお、本実施の形態では、カメラ204は、加熱庫201の天井側面に設けられている。しかしながら、カメラ204は、加熱庫201の側面等、他の面に設けてもよい。
【0047】
なお、本開示では、後述するように、照明条件を工夫することにより、撮影部204を1個のカメラ部材により構成しても、画像の認識精度を高めることができる。そのため、製造時のコスト削減、および、筐体101の小型化を実現できる。しかしながら、撮影部204は、複数のカメラ部材で構成されてもよい。
【0048】
加熱庫201の側面には、LEDを光源とする照明205a(第1の照明)および照明205b(第2の照明)が配置されている。照明205a(第1の照明)および照明205b(第2の照明)は、加熱庫201内部を照らす。
【0049】
本実施の形態においては、加熱庫201の左側面から加熱庫201内を臨むように照明205aが配置され、加熱庫201の右側面から加熱庫201内を臨むように照明205bが配置されている。しかしながら、照明205aおよび照明205bは、四方の側面、天井、および底面等のいずれに配置されてもよい。
【0050】
また、照明205aおよび照明205bは、それぞれ、加熱庫201内を照らす照明条件が、2種類以上に切り替えられる構成であればよい。例えば、物理的に1つの光源を用い、光ファイバおよびミラーのうち、少なくともいずれか等により、光路を2つの経路に分岐させ、異なる方向から加熱庫201を照らしてもよい。また、1つの発光素子を用い、照明のONとOFF、および、輝度の強弱の制御のうち少なくともいずれかにより、照明条件を切りかえてもよい。また、モーター制御等により、照明の、位置および角度を変化させてもよい。また、照明の色合い、および、照射フォーカスのうち少なくともいずれかにより、照明条件を切りかえてもよい。また、3個以上の光源により、複数の照明条件を切りかえてもよい。
【0051】
本実施の形態においては、照明205aおよび照明205bの光源として、LEDを用いた構成を開示しているが、光源として、電、蛍光灯および自然光等の他の光源を用いてもよい。なお、照明205a,205bは、赤外線を発生する光源を用いてもよい。光源として赤外線を用いることにより、底面が可視光を吸収するような面、例えば黒い面であるような場合にも、対応可能である。
【0052】
制御部300は、操作表示部105の下方に配置されている。制御部300は、電子レンジ100の各構成要素を制御する。
【0053】
図2は、第1の実施の形態における電子レンジ100の概略構成図である。
【0054】
制御部300は、加熱制御部301、比較判定部302、撮影制御部303および記憶部304を有している。
【0055】
なお、本実施の形態では、制御部300は、加熱制御部301、比較判定部302、撮影制御部303および記憶部304を一体の構成とした。しかしながら、これらの構成が別々の半導体素子等で実現されてもよい。また、制御部300は、CPU(Central Processing Unit)のようなマイクロコンピュータにより構成されてもよい。
【0056】
加熱制御部301は、マグネトロン202aおよびマグネトロン202bの制御を行う。マグネトロン202aおよびマグネトロン202bにより放射されたマイクロ波により、加熱庫201内に収納された加熱対象物203が加熱される。
【0057】
撮影制御部303は、照明205aおよび照明205bの、ON、OFF制御、強弱の制御、および、照明の制御に同期したカメラ204の撮影制御を行う。
【0058】
記憶部304は、カメラ204を用いて撮影制御部303により撮影された、加熱庫201内の画像を保存する。
【0059】
比較判定部302は、カメラ204を用いて撮影制御部303が加熱庫201内を撮影し、記憶部304に保管された画像を比較解析する。これによって、比較判定部302は、加熱庫201内の状態を認識し、食品等の物体の状態、物体の有無、および、汚れの有無の検知、ならびに、体積および高さの推定等を行う。
【0060】
図3は、照明205aおよび照明205bと、加熱庫201内との構成を、平面視で示す一例である。
【0061】
図3は、加熱庫201の天井側から底面側を臨む図である。図3における下側は、ドア102を有する前方側である。図3では、一例として、加熱対象物203を加熱庫201の庫内底面に収納している。
【0062】
本実施の形態においては、照明205aが、加熱庫201の左側の側壁の庫外側に配置され、側壁に設けられた孔を通して、その光軸Laが、加熱庫201の略中央(中央を含む)方向を向いている。また、照明205bが、加熱庫201の右側の側壁の戸外側に配置され、側壁に設けられた孔を通して、その光軸Lbが加熱庫201の略中央(中央を含む)方向を向いている。
【0063】
照明205aまたは照明205bが加熱庫201内を照らすことにより、加熱対象物203についての影領域Sを生じさせることができる。
【0064】
照明205aが、加熱庫201を左側から照らすことにより、加熱対象物203の右側底面に、影領域Saが表れる。また、照明205bが加熱庫201を右側から照らすことにより、加熱対象物203の左側底面に、影領域Sbが表れる。
【0065】
このように、光軸Laと光軸Lbとのなす角(図3におけるθ)が大きくなるように、照明205aおよび照明205bを配置することにより、それぞれの照明条件における、影領域Saおよび影領域Sbの重なりを少なくすることができる。これにより、後述する画像の差分による認識精度を向上できる。そのために好ましくは、光軸Laと光軸Lbとのなす角は、90度以上であることが望ましい。
【0066】
なお、本実施の形態においては、照明205aおよび照明205bは、加熱庫201内を、後方から前方へ向けて照らしている。これにより、電子レンジ100が設置されている環境の照明がドア102から入り込むことによる、不要な影成分が、影領域Sに影響を与えることを低減できる。
【0067】
すなわち、加熱庫201の前方側に、後方側に影領域を生じさせる場合と比較して、より明確な影領域Sを生じさせることができる。しかしながら、照明205aおよび照明205bの配置構成は、この光軸方向に限らなくともよい。
【0068】
本開示では、照明205aを主に用いる、第1の照明条件を照明条件C1とする。また、照明205bを主に用いる、第2の照明条件を照明条件C2とする。すなわち、照明条件C1は、照明205aを優先的に点灯させる照明条件であり、照明条件C2は、照明205bを優先的に点灯させる照明条件である。
【0069】
ここで、優先的に点灯させる、とは、例えば、照明条件C1において、照明205aを照明205bよりも高い輝度で点灯させ、あわせて、照明205bを照明205aよりも低い輝度で点灯させることであってもよい。
【0070】
このように、照明条件C1と照明条件C2のそれぞれは、2つの照明条件の間で、影領域Saと影領域Sbとの区別が容易になる照明条件であればよい。
【0071】
図4は、記憶部304に登録されている、加熱庫201内を撮影した庫内画像の一例を示す図である。
【0072】
この例では、庫内が「空状態」、すなわち、食品等の加熱対象物203が加熱庫201に収容されていない状態での画像の一例を示している。なお、工場出荷時において、図4の例で示されるような「空状態」の基準画像(以下、空画像と呼ぶ)が、記憶部304のメモリ内に保存されていてもよい。また、工場出荷後の使用環境において、上述した空画像が生成され、記憶部304に保存されてもよい。使用環境下で空画像を生成することにより、電子レンジ100が設置されている環境の照明状況、および、加熱庫201内の経年劣化等の影響を、より適切に反映し、画像の認識精度を改善することができる。
【0073】
図5および図6は、加熱庫201内を撮影した、別の画像の一例を示す図である。
【0074】
この例では、図5は、加熱庫201内に非加熱対象物(平面的な汚れ、および、異物等)が存在する場合、図6は、加熱庫201内に、加熱対象物203(弁当等)が存在する場合の、それぞれにおける加熱庫201内を撮影した画像の一例を示している。
【0075】
図7は、加熱庫201内に、物体(加熱対象物203)が存在する場合の撮影画像と、その処理過程における差分画像の一例を示す図である。
【0076】
図7において、(a)は、照明条件C1における撮影画像を示す図である。図7の(a)では、加熱庫201内が、照明205aにより、左奥側から照らされていることにより、加熱対象物203の右手前側に、影領域Saが表れている。
【0077】
図7の(b)は、照明条件C2における撮影画像を示す。図7の(b)では、加熱庫201内が、照明205bにより右奥側から照らされていることにより、加熱対象物203の左手前側に、影領域Sbが表れている。
【0078】
図7の(c)は、記憶部304に保存されている空画像と、図7の(a)の画像との差分を2値化した画像を示す。すなわち、空画像と図7の(a)の画像とについて、画素ごとに差分演算を行い、さらに、2値化のため、演算された差分と所定の閾値との比較を行い、それぞれの画素を「0」または「1」で表現したものが、図7の(c)に示された差分2値化画像である。
【0079】
一例として、画像の各画素が、0から255の範囲の値で表現されている場合における、2値化のための所定の閾値を20とする。この場合、空画像と図7の(a)の画像との差分値が20階調以上である画素が、それぞれ、1の値で表現され、差分値が20階調未満の画素が、それぞれ、0の値で表現される。なお、各画素の表現方法、および、2値化のための所定の閾値は、適時決定してよい。このように、図7の(a)の画像と空画像とを比較することにより、加熱庫201による影響を除外した画像を生成することができる。
【0080】
図7の(d)は、空画像と図7の(b)の画像との差分2値化画像を示す。差分計算および2値化の方法については、図7の(c)の場合と同様である。
【0081】
図7の(e)は、図7の(c)と図7の(d)との画像の差分画像を示す。すなわち、図7(c)と図7(d)との画像について、画素ごとに、差分の絶対値が算出され、表示されたものである。
【0082】
図7(e)では、加熱対象物203による、影領域Saおよび影領域Sbのみが抽出されている。このように、2つの照明条件を用いた2つの画像間の差分を用いることにより、加熱庫201および加熱対象物203を除外し、影領域Sの部分を、より的確に抽出することができる。
【0083】
照明条件C1において加熱庫201内を撮影された図7の(a)の画像、および、照明条件C2において加熱庫201内を撮影された図7の(b)の画像においては、それぞれ、照明205aおよび照明205bによる差が生じ得る。例えば、図7の(a)においては照明205aに近い領域が、図7の(b)においては照明205bに近い領域が、それぞれ、より明るく、照明205a,205bと遠い領域は、より暗い、といった濃淡等が生じ得る。これらの画像間で差分を算出すると、加熱対象物203および影領域S以外の、不要な差分が表れてしまい、加熱対象物203および影領域Sの領域の抽出に悪影響を及ぼす場合がある。
【0084】
これに対して、本開示では、図7の(c)および図7の(d)の画像の生成において、空画像との比較を行うことにより、2つの照明条件の差による加熱庫201内の画像差の影響を低減することができる。
【0085】
図8は、加熱庫201内に、汚れDが存在する場合の撮影画像、および、処理過程における差分画像の一例を示す。
【0086】
図8において、図8の(a)は、照明条件C1における撮影画像を示す。図8においては、左奥側から照明が照らされているが、汚れDは平面状であるため、影領域Sが表れない。
【0087】
図8の(b)は、照明条件C2における撮影画像を示す。図8においては、右奥側から照明が照らされているが、汚れDは平面状であるため、影領域Sが表れない。
【0088】
図8の(c)は、空画像と図8の(a)の画像との差分2値化画像を示す。図8の(d)は、空画像と図8の(b)の画像との差分2値化画像を示す。
【0089】
図8の(e)は、図8の(c)と図8の(d)との画像の差分画像を示す。ここでは、汚れDが平面状であるため、影領域Sは抽出されない。
【0090】
図9は、比較判定部302の、庫内状態判定、および、加熱可否判定の基準を定義したテーブルの一例を示す図である。
【0091】
ここで、2つの画像間における差分の程度を表す特徴量を、差分比較値と定義する。本実施の形態では、2つの画像間で画素ごとに差分を計算し、それぞれの差分値を、2値化のための所定の閾値と比較して、2値化を行った画像において、値が1である画素の合計数を、差分比較値とする。
【0092】
また、照明条件C1における、空画像と判定対象画像との差分2値化画像を差分画像P1と定義し、差分比較値を差分比較値A1と定義する。同様に、照明条件C2における、空画像と判定対象画像との差分2値化画像を差分画像P2と定義し、差分比較値を差分比較値A2と定義する。さらに、差分画像P1と差分画像P2との差分比較値を、差分比較値Bと定義する。
【0093】
比較判定部302は、それぞれの差分比較値を、所定の画像差分閾値と比較することにより、加熱庫201内の、状態の判定および加熱可否の判定を行う。
【0094】
図9のテーブルは、差分比較値A1と差分比較値Bとの関係により、加熱庫201内が、空、物体(加熱すべき物体)、および汚れ、のいずれの状態であるかを判定するための基準例を示している。
【0095】
図9の例では、比較判定部302は、差分比較値A1を、第1の画像差分閾値(ここでは値が200)と比較することで、加熱庫201内が空であるかを判定する。比較判定部302は、差分比較値A1が第1の画像差分閾値よりも小さい場合は、差分値は画像のノイズ成分等によるものとして、加熱庫201内は空であると判定する。この場合、比較判定部302は、加熱庫201を加熱不可と判定する。
【0096】
また、比較判定部302は、さらに差分比較値Bを、第2の画像差分閾値(ここでは500)と比較することで、加熱庫201内に物体が存在するか否かを判定する。比較判定部302は、差分比較値Bが第2の画像差分閾値よりも大きい場合は、物体の影による成分が存在する、すなわち、加熱庫201内に加熱対象物203が存在すると判定する。この場合、比較判定部302は、加熱庫201を加熱可能と判定する。他方、差分比較値Bが小さい場合は、比較判定部302は、加熱対象となる物体ではない成分が存在する、すなわち、汚れD等が存在すると判定する。この場合、比較判定部302は、加熱庫201を加熱不可と判定する。さらに、必要に応じて、制御部300は、汚れおよび異物等の、非加熱対象物の存在を、使用者に通知する。
【0097】
本実施の形態では、第1の画像差分閾値を200とし、第2の画像差分閾値を500とした。しかしながら、それぞれの値は適宜選定してよい。
【0098】
なお、本実施の形態では、画像比較して2値化画像を生成する場合に、各画素における輝度差分が、所定の数値を超えた場合にカウントする方式としているが、画像差分が抽出できる方式であれば、どの方式を利用してもよく、画像類似度、および、各画素の色による差分等を用いてもよい。
【0099】
また、本実施の形態では、照明条件C1における差分比較値を、差分比較値A1と定義したが、差分比較値A1は、照明条件C2における差分比較値であってもよいし、照明条件C1,C2とは異なる、第3の照明条件における差分比較値であってもよい。
【0100】
図10は、第1の実施の形態における、電子レンジ100の加熱庫201の状態検知の動作を示すフローチャートである。
【0101】
以下、図10のフローチャートを用いて詳細に説明する。
【0102】
ステップS1では、撮影制御部303が、照明205aおよび照明205bを制御して、照明条件C1(例えば左側の照明205aのみON)に切り替え、ステップS2へ処理を進める。
【0103】
ステップS2では、撮影制御部303が、カメラ204を制御して、加熱庫201の庫内の撮影を行い、撮影された画像が記憶部304に保管され、ステップS3ステップに処理を進める。撮影画像は、庫内に物体(加熱対象物203)がある場合には、図7の(a)のように、物体に影領域Sのついた画像となる。撮影画像は、庫内に物体が存在せず、汚れDがある場合には、図8の(a)のように、影領域Sのない画像となる。
【0104】
ステップS3では、比較判定部302が、記憶部304に予め保管されている、照明条件C1における空画像と、ステップS2で撮影された画像との差分計算を行い、ステップS4へと処理を進める。
【0105】
図7の(c)、および、図8の(c)は、ステップS3において、差分が計算され、2値化された画像の一例である。なお、ステップS3で計算される差分値は、図9における、差分比較値A1に相当する。
【0106】
ステップS4では、比較判定部302が、ステップS3で計算された差分値から、図9のテーブルの判定基準に従って、加熱庫201内が空状態か否かを判定する。図9の判定基準に当てはめると、差分値が200以下の場合(S4,YES)に、比較判定部302は、庫内が空状態であると判定する。この判定に基づき、加熱を行わず処理を終了する。差分値が201以上の場合(S4,NO)は、庫内に物体、または汚れがあると判定して、ステップS5へと処理を進める。
【0107】
ステップS5では、撮影制御部303が、照明205aおよび照明205bを制御して、照明条件C2(例えば右側の照明205bのみON)に切り替え、ステップS6へ処理を進める。
【0108】
ステップS6では、撮影制御部303が、カメラ204を制御して、加熱庫201内の撮影を行い、撮影した画像が記憶部304に保管され、ステップS7へ処理を進める。撮影画像は、庫内に物体がある場合には、図6の(b)のように、物体に影のついた画像となる。撮影画像は、庫内に物体が存在せず、汚れがある場合には、図8の(b)のように、影領域Sのない画像となる。
【0109】
ステップS7では、比較判定部302が、記憶部304に予め保管されている、照明条件C2における空画像と、ステップS6で撮影された画像の差分計算を行い、ステップS8へと処理を進める。図7の(d)および、図8の(d)は、ステップS7において、差分が計算され、2値化された画像の一例である。
【0110】
ステップS8では、比較判定部302が、ステップS3で計算された差分画像と、ステップS7で計算された差分画像との差分計算を行い、ステップS9へと処理を進める。図6の(e)、および図8の(e)は、ステップS8で計算された差分画像の一例である。
【0111】
加熱庫201内に物体、つまり立体物がある場合には、照明条件C1および照明条件C2による影領域Sの差が、図7の(e)のように、差分として表れる。他方、庫内に汚れがある、つまり非立体物がある場合には、照明条件C1および照明条件C2による影の差はないため、図8の(e)のように、差分はほぼ表れない。庫内に汚れのない、完全に空状態の場合にも、汚れがある場合同様、図8の(e)のような差分結果となる。
【0112】
ステップS9では、比較判定部302が、ステップS3で計算された差分値と、ステップS8で計算された差分値とから、図9のテーブルの判定基準に従って、加熱庫201内の状態を判定する。例えば、差分比較値A1が201以上、かつ、差分比較値Bが501以上の場合には、「物体を検出」したと判定する。そして、ステップS10へと処理が進められ、加熱が実施される。他方、差分比較値A1が201以上、かつ、差分比較値Bが500以下の場合には、「庫内汚れ(空)を検出」したとの判定がなされ、ステップS11へと処理が進む。
【0113】
ステップS11では、庫内汚れの状況を使用者に通知し、加熱を行わず処理を終了する。
【0114】
なお、本実施の形態において、図9に示された、判定基準および閾値は、あくまで一例であり、値については限定されず、製造時または使用時に自由に設定してもよい。テーブルの分割数についても、図9より多くして、物体および汚れの大小を判定してもよい。加熱庫201内の状態の各判定結果に対する、加熱可否の判定基準についても、同様に図9の基準に限定されるものではなく、また、これを、製造時または使用時に自由に設定してもよい。
【0115】
また本実施の形態では、照明条件C1を「左照明のみON」、照明条件C2を「右照明のみON」、とする例を挙げたが、照明条件C1と照明条件C2とで物体にできる影に差を生じえるなら、他の組み合わせでもかまわない。例えば、照明条件C1を「左右照明どちらもOFF(ガラス窓103からの外光入射のみ)」、照明条件C2を「右照明のみON」としてもよい。また照明条件C1を「左照明ONで照明の向きを第1の角度」、照明条件C2を「左照明ONで照明の向きを第2の角度」、としてもよい。
【0116】
以上のように、本実施の形態によれば、経年変化および利用状況等で、加熱庫201内の状態が常に変化する加熱調理器において、庫面の汚れの有無および大小に影響を受けることなく、正確に空状態であることを検知することが可能である。また、差分比較を行う際に、基準となる空画像を更新するが必要ないため、シンプルな運用が可能であり、かつ、安定した庫内状態判定を実現することができる。
【0117】
(第2の実施の形態)
図11は、本開示の第2の実施の形態における、加熱庫201内に物体が存在する場合の、撮影画像、および、処理過程における差分画像の例を示す図である。図11の(a)〜(e)については、第1の実施の形態における図7(a)〜(e)それぞれの説明と同様である。
【0118】
図12は、本開示の第2の実施の形態における、加熱調理器の加熱庫の状態検知の動作を示すフローチャートである。
【0119】
以下、第2の実施の形態について、図12のフローチャートを用いて説明する。
【0120】
第1の実施の形態と第2の実施の形態とで主に異なるところは、第2の実施の形態では、ステップS9で加熱庫201内に物体有りと判定された場合、加熱対象物203の体積が推定され、推定された体積に対して、設定された加熱時間の妥当性の判定が行われる点にある。
【0121】
以下、主に、第1の実施の形態と異なる点について説明を行い、同じ制御を行う点については、詳細な説明を省略する。
【0122】
本実施の形態における、照明条件C1および照明条件C2は、撮影画像の差分を計算した際に影領域Sのみが抽出されるような組み合わせとする。例えば、照明条件C1は、加熱庫201の左右側面に取り付けられた照明205a,205bをどちらもON、照明条件C2は、同照明のうち左の照明205aのみをONとする。照明条件C1では、左右の照明205a,205bにより、加熱庫201内の物体にできた影が互いに打ち消されるため、図11の(a)のように、撮影画像に影が写らない、または薄くなる。一方、照明条件C2では、図11の(b)のように、撮影画像に物体の影がはっきりと写る。このため、これらの照明条件C1,C2の撮影画像の差分を計算することで、影領域Sのみが抽出され、影のサイズを測定することができる。なお、照明条件C1,C2については、影領域Sの抽出が可能であれば、他の組み合わせでもよい。
【0123】
ステップS9で、比較判定部302が、物体有りと判定した場合に、ステップS12へと処理が進む。
【0124】
ステップS12では、比較判定部302が、ステップS3の差分画像(図11の(c))とステップS7の差分画像(図11の(d))との差分を計算することにより、図11の(e)のような影領域Sを抽出する。次に、影領域Sの長さに、適宜、加熱庫201内の位置に応じた補正係数を乗じて、対象物体の高さとする。ステップS3において計算された差分領域(図11の(c))は、対象物体の平面視における物体の面積に相当し、これに高さを乗じて体積が算出され、ステップS13に処理が進む。
【0125】
ステップS13では、比較判定部302が、ステップS12で推定された体積と、使用者により設定された加熱時間とを比較して、妥当性を判定する。例えば、コンビニエンスストアで販売されている、通常のおにぎり程度の体積に対して、1500W、10分という、後述する判定基準に対して、比較的長い加熱時間が設定されている場合には、妥当な加熱時間設定ではないと判定される。
【0126】
この判定基準については、体積に対する加熱設定時間の、妥当な範囲の上限および下限を表す関数で定義してもよいし、体積をいくつかの範囲に区切って、それに対応する、妥当な加熱時間範囲がテーブルで定義される形でもよい。比較判定部302が、設定された加熱時間が妥当であると判断した場合には、ステップS10へと処理が進み、加熱が開始される。比較判定部302が、設定された加熱時間が妥当でないと判断した場合には、ステップS14へと処理が進む。
【0127】
ステップS14では、設定された加熱時間が、加熱対象物203の体積に対して適切でないことが通知され、加熱を行わずに処理を終了する。
【0128】
なお、本実施の形態では、比較判定部302が、加熱時間が妥当でないと判断した場合に、加熱を禁止することとしたが、これはあくまで一例であり、妥当性判定後の動作内容についてはこれに限定されるものではない。例えば、妥当でない旨の通知を行うだけで、加熱自体は実施されてもよいし、加熱対象物203の体積に応じた加熱上限時間で、加熱が停止されてもよい。
【0129】
このようにして、本実施の形態によれば、複数の照明条件で撮影された画像を組み合わせることで抽出された影領域Sのサイズから、加熱対象物203の体積を推定することが可能である。また、加熱対象物203の体積に対して、誤って、過加熱となるような加熱時間が設定された場合にも、この加熱を禁止、または制限する等の方法で、安全性を高めることができる。
【0130】
また、本実施の形態では、影領域Sから体積を推定している。しかしながら、影領域Sの長さから加熱対象物203の高さを推定してもよい。具体的には、例えば、影領域Sについて、加熱対象物203の中心から、照明の軸方向への長さを、影領域Sの長さとして算出する。そして、この長さ、および、照明205a,205bの軸方向と加熱庫201の底面との角度により、加熱対象物203の高さを推定できる。この推定された加熱対象物203の高さに基づき、撮影制御および加熱制御を行うことにより、より適切に、加熱庫201内の状態認識および加熱を行うことができる。
【0131】
以上述べたように、本開示の加熱調理器および加熱調理器の制御方法によれば、庫内の状態を、より正確に検知することで、適切な加熱条件での加熱を行い、空焚き等の過加熱による危険を防ぐことができる。また、汚れがある場合においても、使用者へ簡単に除去を促すことができ、使用者が、清潔かつ安全に、食品を加熱調理することができる。
【0132】
(その他の実施の形態)
上述した実施の形態の他の実施の形態について説明する。
【0133】
電子レンジ等の加熱調理器をネットワークと接続可能に構成し、ネットワーク上のサーバで、加熱調理器を制御する加熱調理システムとして実施することも可能である。このような加熱調理システムでは、第1の実施の形態の電子レンジ100における、比較判定部302および記憶部304が行う処理の、両方またはいずれかを、サーバ側で実行する。これにより、加熱調理器における認識処理等による処理負荷を軽減することができる。
【0134】
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、および、省略等を行うことができる。
【産業上の利用可能性】
【0135】
本開示によれば、庫内が空状態であることだけなく、庫面の汚れの、有無および大小に影響を受けることなく、正確に庫内の状態を検知することが可能となる。これにより、販売店で使われる電子レンジの他、家庭用の電子レンジ、炊飯器およびIHクッキングヒータ等、加熱調理器に広く適用可能であり、有用である。
【符号の説明】
【0136】
100 電子レンジ(加熱調理器)
101 筐体
102 ドア
103 ガラス窓
104 取っ手
105 操作表示部
106 液晶表示器
107 時間設定ボタン群
108 加熱開始ボタン
109 取消ボタン
110 一時停止ボタン
201 加熱庫
202a,202b マグネトロン
203 加熱対象物
204 カメラ(撮影部)
205a,205b 照明
300 制御部
301 加熱制御部
302 比較判定部
303 撮影制御部
304 記憶部
A1,A2,B 差分比較値
D 汚れ
La,Lb 光軸
S,Sa,Sb 影領域
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
【国際調査報告】