特許 7482690 加熱調理システム、加熱調理方法、学習装置および学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-02

(45)【発行日】2024-05-14

(54)【発明の名称】加熱調理システム、加熱調理方法、学習装置および学習方法

(51)【国際特許分類】

   F24C 3/12 20060101AFI20240507BHJP

   F24C 7/04 20210101ALI20240507BHJP

   H05B 6/12 20060101ALI20240507BHJP

   F24C 15/00 20060101ALI20240507BHJP

【ＦＩ】

F24C3/12 L

F24C3/12 E

F24C3/12 X

F24C7/04 301A

F24C3/12 Z

H05B6/12 313

H05B6/12 312

F24C15/00 M

【請求項の数】 22

(21)【出願番号】P 2020097819

(22)【出願日】2020-06-04

(65)【公開番号】P2021188883

(43)【公開日】2021-12-13

【審査請求日】2023-05-25

(73)【特許権者】

【識別番号】000115854

【氏名又は名称】リンナイ株式会社

(74)【代理人】

【識別番号】110000110

【氏名又は名称】弁理士法人 快友国際特許事務所

(72)【発明者】

【氏名】杉本 喜輝

【審査官】土屋 正志

(56)【参考文献】

【文献】特開２０１９－１９２３５７（ＪＰ，Ａ）

【文献】特開２０１７－２２４１７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｆ２４Ｃ ３／１２

Ｆ２４Ｃ ７／０４

Ｈ０５Ｂ ６／１２

Ｆ２４Ｃ １５／００

(57)【特許請求の範囲】

【請求項1】

加熱対象物を加熱する加熱部と、
前記加熱対象物を加熱している前記加熱部の近傍の状態を含む画像である加熱部近傍画像を撮像可能に構成されている撮像装置から、前記加熱部近傍画像を取得する画像取得部と、
前記加熱部の近傍の温度である近傍温度を、前記加熱部近傍画像に基づいて推定するための機械学習を行った学習済みの学習器に、前記画像取得部が取得した前記加熱部近傍画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記近傍温度を前記学習器から取得する近傍温度推定部と、
前記近傍温度推定部が推定した前記近傍温度に基づいて、前記近傍温度に関する情報である近傍温度情報をユーザに報知する近傍温度情報報知部と、を備えている、加熱調理システム。

【請求項2】

前記加熱部が前記加熱対象物に対して行った加熱に関する情報である加熱情報を取得する加熱情報取得部をさらに備えており、
前記学習器は、前記加熱情報にも基づいて前記近傍温度を推定するための機械学習を行っており、
前記近傍温度推定部は、前記加熱情報取得部が取得した前記加熱情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記近傍温度を前記学習器から取得する、請求項１に記載の加熱調理システム。

【請求項3】

前記加熱情報は、前記加熱部が前記加熱対象物に対する加熱を終了してから経過した時間である加熱後経過時間を含んでいる、請求項２に記載の加熱調理システム。

【請求項4】

前記撮像装置は、前記ユーザの状態を含む画像であるユーザ状態画像も撮像可能に構成されており、
前記画像取得部は、前記撮像装置から前記ユーザ状態画像も取得し、
前記近傍温度推定部によって推定された前記近傍温度に基づいて、前記加熱対象物近傍における高温領域を特定するとともに、前記画像取得部が取得した前記ユーザ状態画像に基づいて、前記ユーザが前記高温領域に侵入したか否かを検知するユーザ侵入検知部をさらに備えており、
前記近傍温度情報報知部は、前記ユーザ侵入検知部が前記高温領域に前記ユーザが侵入したことを検知した場合に、前記ユーザに対して警告する、請求項１から３のいずれか一項に記載の加熱調理システム。

【請求項5】

前記加熱対象物に関する情報である加熱対象物情報を取得する加熱対象物情報取得部をさらに備えており、
前記学習器は、前記加熱対象物情報にも基づいて前記近傍温度を推定するための機械学習を行っており、
前記近傍温度推定部は、前記加熱対象物情報取得部が取得した前記加熱対象物情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記近傍温度を前記学習器から取得する、請求項１から４のいずれか一項に記載の加熱調理システム。

【請求項6】

前記加熱対象物情報は、前記加熱部の上方に載置される調理容器に関する情報である調理容器情報と、前記加熱部によって調理される調理メニューに関する情報である調理メニュー情報と、前記加熱対象物の温度である加熱対象物温度と、のうちの少なくとも一つを含んでいる、請求項５に記載の加熱調理システム。

【請求項7】

コンピュータが、
加熱対象物を加熱している加熱部の近傍の状態を含む画像である加熱部近傍画像を撮像可能に構成されている撮像装置から、前記加熱部近傍画像を取得する画像取得ステップと、
前記加熱部の近傍の温度である近傍温度を、前記加熱部近傍画像に基づいて推定するための機械学習を行った学習済みの学習器に、前記画像取得ステップで取得した前記加熱部近傍画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記近傍温度を前記学習器から取得する近傍温度推定ステップと、
前記近傍温度推定ステップで取得した前記近傍温度に基づいて、前記近傍温度に関する情報である近傍温度情報をユーザに報知する近傍温度情報報知ステップと、を実行する、加熱調理方法。

【請求項8】

前記コンピュータが、前記加熱部が前記加熱対象物に対して行った加熱に関する情報である加熱情報を取得する加熱情報取得ステップをさらに実行し、
前記学習器は、前記加熱情報にも基づいて前記近傍温度を推定するための機械学習を行っており、
前記コンピュータは、前記近傍温度推定ステップにおいて、前記加熱情報取得ステップで取得した前記加熱情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記近傍温度を前記学習器から取得する、請求項７に記載の加熱調理方法。

【請求項9】

前記加熱情報は、前記加熱部が前記加熱対象物に対する加熱を終了してから経過した時間である加熱後経過時間を含んでいる、請求項８に記載の加熱調理方法。

【請求項10】

前記撮像装置は、前記ユーザの状態を含む画像であるユーザ状態画像も撮像可能に構成されており、
前記コンピュータは、
前記画像取得ステップにおいて、前記撮像装置から前記ユーザ状態画像も取得し、
前記近傍温度推定ステップで推定された前記近傍温度に基づいて、前記加熱対象物近傍における高温領域を特定するとともに、前記画像取得ステップで取得した前記ユーザ状態画像に基づいて、前記ユーザが前記高温領域に侵入したか否かを検知するユーザ侵入検知ステップをさらに実行し、
前記近傍温度情報報知ステップにおいて、前記ユーザ侵入検知ステップで前記高温領域に前記ユーザが侵入したことを検知した場合に、前記ユーザに対して警告する、請求項７から９のいずれか一項に記載の加熱調理方法。

【請求項11】

前記コンピュータは、
前記加熱対象物に関する情報である加熱対象物情報を取得する加熱対象物情報取得ステップをさらに実行し、
前記学習器は、前記加熱対象物情報にも基づいて前記近傍温度を推定するための機械学習を行っており、
前記コンピュータは、前記近傍温度推定ステップにおいて、前記加熱対象物情報取得ステップで取得した前記加熱対象物情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記近傍温度を前記学習器から取得する、請求項７から１０のいずれか一項に記載の加熱調理方法。

【請求項12】

前記加熱対象物情報は、前記加熱部の上方に載置される調理容器に関する情報である調理容器情報と、前記加熱部によって調理される調理メニューに関する情報である調理メニュー情報と、前記加熱対象物の温度である加熱対象物温度と、のうちの少なくとも一つを含んでいる、請求項１１に記載の加熱調理方法。

【請求項13】

加熱対象物を加熱する加熱部の近傍の温度である近傍温度と、前記近傍温度に対応付けられており、前記加熱対象物を加熱している前記加熱部の近傍の状態を含む画像である加熱部近傍画像を撮像可能に構成されている撮像装置から取得する前記加熱部近傍画像と、を含む学習データを取得する学習データ取得部と、
前記加熱部近傍画像を含む入力に対して、前記近傍温度に対応する出力を得るように学習器の機械学習を行う学習処理部と、を備えている、学習装置。

【請求項14】

前記学習データは、前記近傍温度に対応付けられており、前記加熱部が前記加熱対象物に対して行った加熱に関する情報である加熱情報をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記加熱情報も含む、請求項１３に記載の学習装置。

【請求項15】

前記加熱情報は、前記加熱部が前記加熱対象物に対する加熱を終了してから経過した時間である加熱後経過時間を含んでいる、請求項１４に記載の学習装置。

【請求項16】

前記学習データは、前記近傍温度に対応付けられており、前記加熱対象物に関する情報である加熱対象物情報をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記加熱対象物情報も含む、請求項１３から１５のいずれか一項に記載の学習装置。

【請求項17】

前記加熱対象物情報は、前記加熱部の上方に載置される調理容器に関する情報である調理容器情報と、前記加熱部によって調理される調理メニューに関する情報である調理メニュー情報と、前記加熱対象物の温度である加熱対象物温度と、のうちの少なくとも一つを含んでいる、請求項１６に記載の学習装置。

【請求項18】

コンピュータが、
加熱対象物を加熱する加熱部の近傍の温度である近傍温度と、前記近傍温度に対応付けられており、前記加熱対象物を加熱している前記加熱部の近傍の状態を含む画像である加熱部近傍画像を撮像可能に構成されている撮像装置から取得する前記加熱部近傍画像と、を含む学習データを取得する学習データ取得ステップと、
前記加熱部近傍画像を含む入力に対して、前記近傍温度に対応する出力を得るように学習器の機械学習を行う学習処理ステップと、を実行する、学習方法。

【請求項19】

前記学習データは、前記近傍温度に対応付けられており、前記加熱部が前記加熱対象物に対して行った加熱に関する情報である加熱情報をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記加熱情報も含む、請求項１８に記載の学習方法。

【請求項20】

前記加熱情報は、前記加熱部が前記加熱対象物に対する加熱を終了してから経過した時間である加熱後経過時間を含んでいる、請求項１９に記載の学習方法。

【請求項21】

前記学習データは、前記近傍温度に対応付けられており、前記加熱対象物に関する情報である加熱対象物情報をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記加熱対象物情報も含む、請求項１８から２０のいずれか一項に記載の学習方法。

【請求項22】

前記加熱対象物情報は、前記加熱部の上方に載置される調理容器に関する情報である調理容器情報と、前記加熱部によって調理される調理メニューに関する情報である調理メニュー情報と、前記加熱対象物の温度である加熱対象物温度と、のうちの少なくとも一つを含んでいる、請求項２１に記載の学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書が開示する技術は、加熱調理システム、加熱調理方法、学習装置および学習方法に関する。

【背景技術】

【0002】

特許文献１に、加熱部（例えば、バーナ）の加熱量の影響を受ける加熱部の近傍（特許文献１では、加熱調理器上領域と称している）の画像を撮像し、撮像した画像から加熱量が過多の状態になっていると判定される場合に、加熱部の加熱量を減少させる加熱制御装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－２３０１４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の加熱制御装置は、調理容器を加熱する火炎が調理容器の外周縁から所定の大きさ以上の大きさではみ出した場合に、加熱量が過多の状態になっていると判定する。その場合、特許文献１の加熱制御装置は、加熱部の加熱量を減少させるので、加熱部が加熱を行っている時のユーザの安全を確保することができる。しかしながら、加熱部の近傍は、加熱停止後であっても、加熱時の余熱により一定時間高温状態となる。このため、特に加熱停止後において、ユーザは、加熱部の近傍が高温状態だと認識できずに加熱部の近傍に接触するおそれがある。本明細書では、加熱停止後であっても、ユーザに加熱部の近傍の温度を報知することができる加熱調理システムを提供する。

【課題を解決するための手段】

【0005】

本明細書が開示する加熱調理システムは、加熱部と、画像取得部と、近傍温度推定部と、近傍温度情報報知部と、を備えている。前記加熱部は、加熱対象物を加熱する。前記画像取得部は、前記加熱対象物を加熱している前記加熱部の近傍の状態を含む画像である加熱部近傍画像を撮像可能に構成されている撮像装置から、前記加熱部近傍画像を取得する。前記近傍温度推定部は、前記加熱部の近傍の温度である近傍温度を、前記加熱部近傍画像に基づいて推定するための機械学習を行った学習済みの学習器に、前記画像取得部が取得した前記加熱部近傍画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記近傍温度を前記学習器から取得する。前記近傍温度情報報知部は、前記近傍温度推定部が推定した前記近傍温度に基づいて、前記近傍温度に関する情報である近傍温度情報をユーザに報知する。

【0006】

上記した加熱調理システムによれば、加熱部の近傍の状態を含む画像である加熱部近傍画像に基づいて近傍温度を推定する。このため、上記した加熱量値システムは、加熱停止後であっても、ユーザに加熱部の近傍温度を報知することができる。

【0007】

上記一側面に係る加熱調理システムは、前記加熱部が前記加熱対象物に対して行った加熱に関する情報である加熱情報を取得する加熱情報取得部をさらに備えていてもよい。その場合、前記学習器は、前記加熱情報にも基づいて前記近傍温度を推定するための機械学習を行ってもよい。前記近傍温度推定部は、前記加熱情報取得部が取得した前記加熱情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記近傍温度を前記学習器から取得してもよい。

【0008】

例えば、加熱部が加熱対象物を加熱した加熱量が大きい場合には、近傍温度は高くなる。一方、加熱部が加熱対象物を加熱した加熱量が小さい場合には、近傍温度は低くなる。また、加熱部が加熱対象物を加熱した加熱時間が長い場合には、近傍温度は高くなる。一方、加熱部が加熱対象物を加熱した加熱時間が短い場合は、近傍温度は低くなる。このように、加熱部が加熱対象物に対して行った加熱に関する情報である加熱情報は、近傍温度に影響を与える。上記の加熱調理システムによれば、近傍温度に影響を与える加熱情報にも基づいて近傍温度を推定することで、近傍温度の推定精度を向上させることができる。

【0009】

上記一側面に係る加熱調理システムでは、前記加熱情報は、前記加熱部が前記加熱対象物に対する加熱を終了してから経過した時間である加熱後経過時間を含んでもよい。

【0010】

例えば、加熱後経過時間が短い場合には、加熱部が加熱対象物を加熱した余熱がまだ加熱部の近傍に残存しているため、近傍温度は高くなる。一方、加熱後経過時間が長い場合には、余熱が放熱されるため、近傍温度は低くなる。このように、加熱後経過時間は、近傍温度に影響を与える。上記の加熱調理システムによれば、近傍温度に影響を与える加熱後経過時間にも基づいて近傍温度を推定することで、近傍温度の推定精度を向上させることができる。

【0011】

上記一側面に係る加熱調理システムでは、前記撮像装置は、前記ユーザの状態を含む画像であるユーザ状態画像も撮像可能に構成されていてもよい。その場合、前記画像取得部は、前記撮像装置から前記ユーザ状態画像も取得してもよい。さらに、上記一側面に係る加熱調理システムは、前記近傍温度推定部によって推定された前記近傍温度に基づいて、前記加熱対象物近傍における高温領域を特定するとともに、前記画像取得部が取得した前記ユーザ状態画像に基づいて、前記ユーザが前記高温領域に侵入したか否かを検知するユーザ侵入検知部をさらに備えていてもよい。その場合、前記近傍温度情報報知部は、前記ユーザ侵入検知部が前記高温領域に前記ユーザが侵入したことを検知した場合に、前記ユーザに対して警告してもよい。

【0012】

上記の加熱調理システムによれば、高温領域にユーザが侵入した場合にユーザに対して警告することで、ユーザに高温領域に侵入したことを報知することができる。

【0013】

上記一側面に係る加熱調理システムは、前記加熱対象物に関する情報である加熱対象物情報を取得する加熱対象物情報取得部をさらに備えていてもよい。その場合、前記学習器は、前記加熱対象物情報にも基づいて前記近傍温度を推定するための機械学習を行ってもよい。前記近傍温度推定部は、前記加熱対象物情報取得部が取得した前記加熱対象物情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記近傍温度を前記学習器から取得してもよい。

【0014】

上記の加熱調理システムによれば、加熱対象物情報にも基づいて近傍温度を推定することで、近傍温度の推定精度を向上させることができる。

【0015】

上記一側面に係る加熱調理システムでは、前記加熱対象物情報は、前記加熱部の上方に載置される調理容器に関する情報である調理容器情報と、前記加熱部によって調理される調理メニューに関する情報である調理メニュー情報と、前記加熱対象物の温度である加熱対象物温度と、のうちの少なくとも一つを含んでもよい。

【0016】

例えば、加熱部が加熱する調理容器のサイズが大きい場合には、調理容器の輻射熱の影響を受ける範囲が広くなるため、近傍温度が高温になる範囲が広くなる。一方、調理容器のサイズが小さい場合には、輻射熱の影響を受ける範囲が狭くなるため、近傍温度が高温になる範囲が狭くなる。このように、調理容器情報は、近傍温度の高温になる範囲の大きさに影響を与える。上記の加熱調理システムによれば、近傍温度に影響を与える調理容器情報にも基づいて近傍温度を推定することで、近傍温度の推定精度を向上させることができる。

【0017】

また、例えば、加熱部が調理する調理メニューが異なれば、加熱部の加熱量も異なる。加熱部の加熱量が大きくなれば、近傍温度は高くなり、加熱部の加熱量が小さくなれば、近傍温度は低くなる。すなわち、調理メニュー情報は、近傍温度に影響を与える。上記の加熱調理システムによれば、近傍温度に影響を与える調理メニュー情報にも基づいて近傍温度を推定することで、近傍温度の推定精度を向上させることができる。

【0018】

さらに、加熱対象物温度が高ければ、近傍温度も高くなる。一方、加熱対象物温度が低ければ、近傍温度も低くなる。すなわち、加熱対象物温度と近傍温度は相関関係を有する。上記の加熱調理システムによれば、近傍温度と相関関係を有する加熱対象物温度にも基づいて近傍温度を推定することで、近傍温度の推定精度を向上させることができる。

【0019】

本明細書が開示する加熱調理方法では、コンピュータが、画像取得ステップと、近傍温度推定ステップと、近傍温度情報報知ステップと、を実行してもよい。画像取得ステップでは、コンピュータが、加熱対象物を加熱している加熱部の近傍の状態を含む画像である加熱部近傍画像を撮像可能に構成されている撮像装置から、前記加熱部近傍画像を取得する。近傍温度推定ステップでは、コンピュータが、前記加熱部の近傍の温度である近傍温度を、前記加熱部近傍画像に基づいて推定するための機械学習を行った学習済みの学習器に、前記画像取得ステップで取得した前記加熱部近傍画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記近傍温度を前記学習器から取得する。近傍温度情報報知ステップでは、前記近傍温度推定ステップで取得した前記近傍温度に基づいて、前記近傍温度に関する情報である近傍温度情報をユーザに報知する。

【0020】

上記一側面に係る加熱調理方法では、前記コンピュータが、前記加熱部が前記加熱対象物に対して行った加熱に関する情報である加熱情報を取得する加熱情報取得ステップをさらに実行してもよい。その場合、前記学習器は、前記加熱情報にも基づいて前記近傍温度を推定するための機械学習を行ってもよい。前記コンピュータは、前記近傍温度推定ステップにおいて、前記加熱情報取得ステップで取得した前記加熱情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記近傍温度を前記学習器から取得してもよい。

【0021】

上記一側面に係る加熱調理方法では、前記加熱情報は、前記加熱部が前記加熱対象物に対する加熱を終了してから経過した時間である加熱後経過時間を含んでもよい。

【0022】

上記一側面に係る加熱調理方法では、前記撮像装置は、前記ユーザの状態を含む画像であるユーザ状態画像も撮像可能に構成されていてもよい。その場合、前記コンピュータは、前記画像取得ステップにおいて、前記撮像装置から前記ユーザ状態画像も取得し、前記近傍温度推定ステップで推定された前記近傍温度に基づいて、前記加熱対象物近傍における高温領域を特定するとともに、前記画像取得ステップで取得した前記ユーザ状態画像に基づいて、前記ユーザが前記高温領域に侵入したか否かを検知するユーザ侵入検知ステップをさらに実行してもよい。さらに、コンピュータは、前記近傍温度情報報知ステップにおいて、前記ユーザ侵入検知ステップで前記高温領域に前記ユーザが侵入したことを検知した場合に、前記ユーザに対して警告してもよい。

【0023】

上記一側面に係る加熱調理方法では、前記コンピュータは、前記加熱対象物に関する情報である加熱対象物情報を取得する加熱対象物情報取得ステップをさらに実行してもよい。その場合、前記学習器は、前記加熱対象物情報にも基づいて前記近傍温度を推定するための機械学習を行ってもよい。前記コンピュータは、前記近傍温度推定ステップにおいて、前記加熱対象物情報取得ステップで取得した前記加熱対象物情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記近傍温度を前記学習器から取得してもよい。

【0024】

上記一側面に係る加熱調理方法では、前記加熱対象物情報は、前記加熱部の上方に載置される調理容器に関する情報である調理容器情報と、前記加熱部によって調理される調理メニューに関する情報である調理メニュー情報と、前記加熱対象物の温度である加熱対象物温度と、のうちの少なくとも一つを含んでもよい。

【0025】

本明細書が開示する学習装置は、学習データ取得部と、学習処理部と、を備えてもよい。学習データ取得部は、加熱対象物を加熱する加熱部の近傍の温度である近傍温度と、前記近傍温度に対応付けられており、前記加熱対象物を加熱している前記加熱部の近傍の状態を含む画像である加熱部近傍画像を撮像可能に構成されている撮像装置から取得する前記加熱部近傍画像と、を含む学習データを取得する。学習処理部は、前記加熱部近傍画像を含む入力に対して、前記近傍温度に対応する出力を得るように学習器の機械学習を行う。

【0026】

上記の学習装置によれば、加熱部近傍画像に基づいて近傍温度を推定するための学習済みの学習器を構築することができる。

【0027】

上記一側面に係る学習装置では、前記学習データは、前記近傍温度に対応付けられており、前記加熱部が前記加熱対象物に対して行った加熱に関する情報である加熱情報をさらに含んでもよい。その場合、前記学習器の前記機械学習における前記入力が、前記加熱情報も含んでいてもよい。

【0028】

上記の学習装置によれば、加熱情報にも基づいて近傍温度を推定するための学習済みの学習器を構築することができる。

【0029】

上記一側面に係る学習装置では、前記加熱情報は、前記加熱部が前記加熱対象物に対する加熱を終了してから経過した時間である加熱後経過時間を含んでもよい。

【0030】

上記の学習装置によれば、加熱後経過時間を含む加熱情報にも基づいて近傍温度を推定するための学習済みの学習器を構築することができる。

【0031】

上記一側面に係る学習装置では、前記学習データは、前記近傍温度に対応付けられており、前記加熱対象物に関する情報である加熱対象物情報をさらに含んでもよい。その場合、前記学習器の前記機械学習における前記入力が、前記加熱対象物情報も含んでいてもよい。

【0032】

上記の学習装置によれば、加熱対象物情報にも基づいて近傍温度を推定するための学習済みの学習器を構築することができる。

【0033】

上記一側面に係る学習装置では、前記加熱対象物情報は、前記加熱部の上方に載置される調理容器に関する情報である調理容器情報と、前記加熱部によって調理される調理メニューに関する情報である調理メニュー情報と、前記加熱対象物の温度である加熱対象物温度と、のうちの少なくとも一つを含んでもよい。

【0034】

上記の学習装置によれば、調理容器情報と、調理メニュー情報と、加熱対象物温度と、のうちの少なくとも一つを含む加熱対象物情報にも基づいて近傍温度を推定するための学習済みの学習器を構築することができる。

【0035】

本明細書が開示する学習方法は、コンピュータが、学習データ取得ステップと、学習処理ステップと、を実行してもよい。学習データ取得ステップでは、コンピュータが、加熱対象物を加熱する加熱部の近傍の温度である近傍温度と、前記近傍温度に対応付けられており、前記加熱対象物を加熱している前記加熱部の近傍の状態を含む画像である加熱部近傍画像を撮像可能に構成されている撮像装置から取得する前記加熱部近傍画像と、を含む学習データを取得する。学習処理ステップでは、コンピュータが、前記加熱部近傍画像を含む入力に対して、前記近傍温度に対応する出力を得るように学習器の機械学習を行う。

【0036】

上記一側面に係る学習方法では、前記学習データは、前記近傍温度に対応付けられており、前記加熱部が前記加熱対象物に対して行った加熱に関する情報である加熱情報をさらに含んでもよい。その場合、前記学習器の前記機械学習における前記入力が、前記加熱情報も含んでいてもよい。

【0037】

上記一側面に係る学習方法では、前記加熱情報は、前記加熱部が前記加熱対象物に対する加熱を終了してから経過した時間である加熱後経過時間を含んでもよい。

【0038】

上記一側面に係る学習方法では、前記学習データは、前記近傍温度に対応付けられており、前記加熱対象物に関する情報である加熱対象物情報をさらに含んでもよい。その場合、前記学習器の前記機械学習における前記入力が、前記加熱対象物情報も含んでいてもよい。

【0039】

上記一側面に係る学習方法では、前記加熱対象物情報は、前記加熱部の上方に載置される調理容器に関する情報である調理容器情報と、前記加熱部によって調理される調理メニューに関する情報である調理メニュー情報と、前記加熱対象物の温度である加熱対象物温度と、のうちの少なくとも一つを含んでもよい。

【0040】

本明細書が開示する技術の詳細とさらなる改良は以下の「発明を実施するための形態」にて説明する。

【図面の簡単な説明】

【0041】

【図1】一側面に係る実施形態の加熱調理システムの斜視図を示す。

【図2】加熱調理システムのハードウェアの構成を示す。

【図3】学習装置のハードウェアの構成を示す。

【図4】制御装置のソフトウェアの構成を示す。

【図5】学習装置のソフトウェアの構成を示す。

【図6】加熱中の加熱調理器の平面図を示す。

【図7】加熱後の加熱調理器の平面図を示す。

【図8】制御装置が実行する処理のフロー図を示す。

【図9】学習装置が実行する処理のフロー図を示す。

【発明を実施するための形態】

【0042】

（実施形態）
図１は、一側面に係る実施形態の加熱調理システム２を模式的に示した斜視図である。図１に示されるように、加熱調理システム２は、レンジフード４と、加熱調理器１０を備えている。加熱調理器１０は、システムキッチンに組み込んで使用されるガス燃焼式のビルトインコンロである。レンジフード４は、加熱調理器１０の上方に配置された換気装置である。

【0043】

加熱調理器１０の天板１０ｕには、第１コンロ１１ａと、第２コンロ１１ｂと、第３コンロ１１ｃと、グリル２８に連通する排気口１７が配置されている。また、加熱調理器１０の前側（すなわち、図１の右側）の面である前面１０ｆには、コンロ操作部２０と、グリル２８が設けられている。本明細書では、理解を助けるため、加熱調理器１０の前面１０ｆが設けられている側を単に「前側」と表現し、その反対側を単に「後側」と表現することがある。また、前側と後側を結ぶ方向を前後方向とする。前後方向と直交する水平方向の左右については、加熱調理器１０の前側に位置し、前面１０ｆと対向するユーザの右側および左側と同様とする。また、加熱調理器１０の前面１０ｆの左側には、グリル２８内のグリルバーナ２９ａ（図２参照）を操作するグリル操作部が設けられているが、本明細書では説明を省略する。

【0044】

第１コンロ１１ａと、第２コンロ１１ｂと、第３コンロ１１ｃは、天板１０ｕの上面に前後方向に２列に配置されている。第１コンロ１１ａは、第１コンロバーナ１２ａと、第１センサ１４ａと、五徳１６ａを備えている。第１コンロバーナ１２ａには、ガス供給路（図示省略）が接続されている。ガス供給路には、第１コンロバーナ１２ａへのガス供給量を調整するための流量調整弁（図示省略）が設けられている。第１コンロバーナ１２ａは、第１コンロバーナ１２ａにガスが供給されている状態でイグナイタ（図示省略）を動作させることによって点火する。第１コンロ１１ａは、点火した第１コンロバーナ１２ａによって、上方に載置される鍋やフライパン等の調理容器を加熱する。第１コンロバーナ１２ａへのガス供給量を調整することにより、第１コンロバーナ１２ａの加熱量を調整することができる。また、第１コンロバーナ１２ａへのガスの供給が停止されることにより、第１コンロバーナ１２ａは消火される。なお、第２コンロ１１ｂが備えている第２コンロバーナ１２ｂと、第３コンロ１１ｃが備えている第３コンロバーナ１２ｃも、第１コンロバーナ１２ａと同様の構造を有している。

【0045】

第１センサ１４ａは、第１コンロ１１ａの上方に載置される調理容器の存在を検出するとともに、第１コンロ１１ａの第１コンロバーナ１２ａによって加熱される調理容器の温度を検出する。すなわち、第１センサ１４ａは、第１コンロバーナ１２ａの加熱対象物（例えば、調理容器）の温度を測定する。第１コンロ１１ａの上に調理容器が載置されると、第１センサ１４ａが調理容器によって押圧される。第１センサ１４ａは、調理容器によって押圧されると、第１コンロ１１ａの上方に調理容器が載置されたことを検知する。第１コンロ１１ａの上に調理容器が載置されていない場合は、第１センサ１４ａが押圧されない。第１センサ１４ａ内には熱電対が配置されており、第１センサ１４ａに接触している調理容器の温度を測定することができる。なお、第２コンロ１１ｂが備えている第２センサ１４ｂと、第３コンロ１１ｃが備えている第３センサ１４ｃも、第１センサ１４ａと同様の構造を有する。また、五徳１６ａ～１６ｃは、それぞれのコンロの上方に載置される調理容器を、それぞれのコンロバーナから一定の距離離間させた状態で支持する。

【0046】

コンロ操作部２０は、加熱調理器１０の電源スイッチ２４と、第１加熱量操作部２０ａと、第２加熱量操作部２０ｂと、第３加熱量操作部２０ｃと、パネル操作部２２を備えている。電源スイッチ２４は、加熱調理器１０を起動させるスイッチであり、電源スイッチ２４をオンすることで各コンロバーナへの点火が可能になる。第１加熱量操作部２０ａは、第１コンロ１１ａに対応する。同様に、第２加熱量操作部２０ｂは第２コンロ１１ｂに対応し、第３加熱量操作部２０ｃは第３コンロ１１ｃに対応する。第１加熱量操作部２０ａは、第１コンロバーナ１２ａの点火および消火を行うとともに、第１コンロバーナ１２ａの加熱量の調整を行うためのオルタネイト型のスイッチである。第２加熱量操作部２０ｂと第３加熱量操作部２０ｃも、第１加熱量操作部２０ａと同様の構造を有している。

【0047】

パネル操作部２２には、各コンロバーナ（すなわち、第１コンロバーナ１２ａ、第２コンロバーナ１２ｂ、第３コンロバーナ１２ｃ）、およびグリルバーナ２９ａ（図２参照）の動作状態などが表示される。ユーザは、パネル操作部２２によって各コンロバーナおよびグリルバーナ２９ａを所定の時間経過後に消火する、消火タイマーの設定等をすることができる。

【0048】

加熱調理器１０は、制御装置４０を内部に収容している。制御装置４０は、第１コンロ１１ａと、第２コンロ１１ｂと、第３コンロ１１ｃと、グリル２８内のグリルバーナ２９ａ（図２参照）の火力（すなわち、加熱量）を自動制御するためのコンピュータである。制御装置４０は、インターネットを介して、学習装置３０に接続されている。制御装置４０および学習装置３０の詳細については後述する。

【0049】

レンジフード４は、内部に不図示のファンを収容している。レンジフード４は、ファンを下方から覆うレンジカバー６と、カメラ８と、スピーカ９ｃと、を備えている。カメラ８は、レンジカバー６の後側中央部に配置されている。カメラ８の中央部には、レンズが配置されている。詳細は後述するが、カメラ８は、加熱調理器１０の天板１０ｕとその近傍の状態を含む画像を、上方から撮像可能に構成されている。カメラ８が画像を撮像する技術については、既知であるためここでは説明を省略する。レンジフード４の前面の左側端部には、スピーカ９ｃが配置されている。詳細は後述するが、スピーカ９ｃは、加熱調理器１０のユーザに音声を伝える。

【0050】

図２を参照して、加熱調理システム２が備えている制御構成について説明する。なお、図２では、第１コンロ１１ａの第１コンロバーナ１２ａのみを記載して、第２コンロバーナ１２ｂと第３コンロバーナ１２ｃの記載を省略している。同様に、図２では、第１コンロ１１ａの第１センサ１４ａのみを記載して、第２センサ１４ｂと第３センサ１４ｃの記載を省略している。電源スイッチ２４がオンされると、コンロ操作部２０、パネル操作部２２、制御装置４０等が起動する。

【0051】

制御装置４０は、ハードウェアプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を備えている。コンロ操作部２０が操作されると、その操作に基づいて、制御装置４０は、第１コンロバーナ１２ａの火力を調整する。制御装置４０は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により構成される。

【0052】

制御装置４０は、例えばＲＡＭ，ＲＯＭ等で構成されている学習記憶部４６と、報知パターン記憶部４８と、外部インターフェース（図２では外部Ｉ／Ｆと記載されている）４２と、を備えている。学習記憶部４６は、プログラム４６ｐと、学習結果データ３２ｒを記憶している。プログラム４６ｐは、制御装置４０に、カメラ８が撮像した画像に対する近傍温度を推定する処理を実行させるための命令を含んでいる。ここで、近傍温度とは、各コンロバーナおよびグリルバーナ２９ａの近傍における温度分布に関する情報を意味する。近傍温度は、所定の温度以上となる領域およびその最大温度に関する情報を含んでいる。学習結果データ３２ｒは、学習済みの学習器の設定を行うためのデータであり、図１に示す学習装置３０で生成され、インターネットを介して制御装置４０に送信される。なお、近傍温度は、各コンロバーナおよびグリルバーナ２９ａの近傍における所定範囲内の最大温度に関する情報を含んでもよい。

【0053】

図２に示す制御装置４０が備える報知パターン記憶部４８には、近傍温度と、近傍温度に対応する報知パターンによって構成された報知パターンテーブル４８ｔが格納されている。報知パターン記憶部４８は、近傍温度を「常温」、「中温」、「高温」の３段階に分類して報知パターンテーブル４８ｔに記憶している。報知パターン記憶部４８は、近傍温度の３段階のそれぞれに対応する報知パターン「パターンＡ」、「パターンＢ」、「パターンＣ」を、報知パターンテーブル４８ｔに記憶している。制御装置４０は、推定された近傍温度が「常温」の場合には、例えば、「第１コンロバーナ１２ａの近傍は、常温です」（パターンＡ）という音声を、スピーカ９ｃを介してユーザに報知する。これにより、制御装置４０は、ユーザに対して、加熱していた第１コンロバーナ１２ａが常温に冷めたことを報知することができる。また、推定された近傍温度が「中温」の場合には、例えば、「第１コンロバーナ１２ａの近傍は、少し熱くなっています」（パターンＢ）という音声を、スピーカ９ｃを介してユーザに報知する。これにより、制御装置４０は、ユーザに対して、加熱していた第１コンロバーナ１２ａがまだ完全に冷めていないことを報知することができる。さらに、推定された近傍温度が「高温（侵入無）」の場合には、例えば、「第１コンロバーナ１２ａの近傍は、とても熱くなっています」（パターンＣ）という音声を、スピーカ９ｃを介してユーザに報知する。これにより、制御装置４０は、ユーザに対して、加熱していた第１コンロバーナ１２ａがまだ熱いことを報知することができる。なお、近傍温度が「高温（侵入有）」に該当する場合については、図７を参照して後述する。近傍温度の分類は、上記の３段階に限定されず、少なくとも２段階（すなわち、高温か否か）に分類されていればよい。近傍温度は、近傍の範囲の広さや温度の分類の仕方等によって、さらに多段階に分類されてもよい。また、報知パターンテーブル４８ｔは、加熱調理器１０の製造時に報知パターン記憶部４８に予め記憶されていてもよいし、外部サーバ（図示省略）との通信が可能な外部インターフェース４２を介して、外部サーバからダウンロードして報知パターン記憶部４８に記憶されていてもよい。

【0054】

外部インターフェース４２は、制御装置４０と外部の装置を接続するインターフェースである。図２に示されるように、外部インターフェース４２は、制御装置４０と、カメラ８およびスピーカ９ｃを接続する。外部インターフェース４２は、例えば、Ｗｉ－Ｆｉ（登録商標）方式によって、カメラ８およびスピーカ９ｃに接続される。

【0055】

図３を参照して、学習装置３０について説明する。学習装置３０は、記憶部３２と、入力装置３４ｉと、出力装置３４оと、制御部３６と、通信インターフェース（図３では、通信Ｉ／Ｆと記載している）３８と、ドライブ３９を備えている。図３に示されるように、学習装置３０は、各デバイスが電気的に接続されているコンピュータである。

【0056】

制御部３６は、ハードウェアプロセッサであるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラムおよびデータに基づいて各種情報処理を実行するように構成される。記憶部３２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部３２は、制御部３６で実行される学習プログラム３２ｐ、学習器の機械学習に利用する学習データ３２ｄ、学習プログラム３２ｐを実行して作成した学習結果データ３２ｒを記憶する。

【0057】

学習プログラム３２ｐは、後述する機械学習の処理（図９）を学習装置３０に実行させ、当該機械学習の結果として学習結果データ３２ｒを生成させるためのプログラムである。学習データ３２ｄは、入力された情報から近傍温度を推定するように学習器の機械学習を行うためのデータである。詳細は後述する。

【0058】

通信インターフェース３８は、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインターフェースである。学習装置３０は、当該通信インターフェース３８を介して、作成した学習結果データ３２ｒを外部の装置に配信してもよい。

【0059】

入力装置３４ｉは、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置３４оは、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。学習装置３０のオペレータは、入力装置３４ｉおよび出力装置３４оを介して、学習装置３０を操作することができる。

【0060】

ドライブ３９は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体３０ｍに記憶されたプログラムを読み込むためのドライブ装置である。ドライブ３９の種類は、記憶媒体３０ｍの種類に応じて適宜選択されてよい。上記学習プログラム３２ｐおよび学習結果データ３２ｒは、この記憶媒体３０ｍに記憶されていてもよい。

【0061】

記憶媒体３０ｍは、コンピュータその他の装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。学習装置３０は、この記憶媒体３０ｍから、学習プログラム３２ｐ、学習データ３２ｄを取得してもよい。

【0062】

図３では、記憶媒体３０ｍの一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体３０ｍは、ディスク型に限定されない。記憶媒体３０ｍは、例えば、フラッシュメモリ等の半導体メモリであってもよい。

【0063】

なお、学習装置３０の具体的なハードウェア構成に関しては、実施形態に応じて、適宜、構成要素の省略、置換および追加が可能である。例えば、制御部３６は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）等で構成されてよい。学習装置３０は、複数台の情報処理装置で構成されてもよい。また、学習装置３０は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等であってもよい。

【0064】

図４を参照して、制御装置４０の制御構成について説明する。図４は、制御装置４０の制御構成を模式的に示している。

【0065】

制御装置４０は、学習記憶部４６に記憶されたプログラム４６ｐをＲＡＭに展開する。制御装置４０は、ＲＡＭに展開されたプログラム４６ｐをＣＰＵにより解釈および実行して、各構成要素を制御する。これによって、図４に示されるとおり、制御装置４０は、ソフトウェアモジュールとして、画像取得部５１、画像解析部５２、解像度変換部５３、加熱情報取得部５４、近傍温度推定部５５、報知部５６、ユーザ侵入検知部５７、および加熱対象物温度取得部５９を備えるコンピュータとして構成される。

【0066】

画像取得部５１は、カメラ８から撮像画像９ｉを取得する。詳細は図６を参照して説明するが、撮像画像９ｉには、各コンロバーナの火炎の状態、各コンロの上方に載置されている調理容器の状態、調理容器内の被調理物の状態等が含まれる。すなわち、撮像画像９ｉには、加熱調理器１０の各コンロバーナおよびグリルバーナ２９ａの近傍の状態が含まれている。さらに、撮像画像９ｉには、各コンロバーナおよびグリルバーナ２９ａの近傍に接近しているユーザの手の状態も含まれる。

【0067】

画像解析部５２は、画像取得部５１が取得した撮像画像９ｉを解析して、撮像画像９ｉから加熱対象物に関する情報である解析加熱対象物情報５２ｂを抽出する。また、加熱情報取得部５４は、加熱調理器１０の各コンロバーナから、加熱量の総量として、加熱量と、加熱が開始されてからの経過時間である加熱時間と、を加熱情報５４ｉとして取得する。加熱対象物温度取得部５９は、加熱調理器１０の各コンロのセンサ（図１参照）から、各コンロバーナによって加熱される加熱対象物の温度である加熱対象物温度５９ｔを取得する。なお、加熱情報取得部５４は、各コンロバーナの加熱が終了している場合には、加熱を終了してから経過した時間である加熱後経過時間も加熱情報５４ｉとして取得する。取得された解析加熱対象物情報５２ｂ、加熱情報５４ｉおよび加熱対象物温度５９ｔは、補足情報６０としてニューラルネットワーク７０に入力される。

【0068】

詳細は図６を参照して説明するが、解析加熱対象物情報５２ｂには、加熱部で加熱される調理容器（図６の鍋８６ａ、フライパン８７ａ）、加熱部に載置される食材（図６の被調理物８７ｍ、２８ｍ）が含まれる。このような情報を含む解析加熱対象物情報５２ｂを補足情報６０としてニューラルネットワーク７０に入力することで、解析加熱対象物情報５２ｂを近傍温度の推定の条件に加えることができる。なお、制御装置４０が、調理メニューに応じて火力を自動で調整する自動加熱制御が可能な場合には、ユーザが設定した調理メニューも加熱対象物情報として補足情報６０に含んでもよい。これにより、調理メニューに対応する加熱量からも近傍温度を推定することができる。さらに、制御装置４０が、調理容器の種類、大きさ等の情報をユーザによって設定可能に構成されている場合には、ユーザが設定した調理容器に関する情報も、加熱対象物情報として補足情報６０に含んでもよい。これにより、ユーザが設定した調理容器に関する情報からも近傍温度を推定することができる。

【0069】

加熱情報５４ｉに含まれる加熱量が大きい場合には、近傍温度は高くなる。一方、加熱量が小さい場合には、近傍温度は低くなる。同様に、加熱情報５４ｉに含まれる加熱時間が長ければ近傍温度は高くなり、短ければ近傍温度は低くなる。すなわち、加熱量の総量が大きい場合には、近傍温度は高くなり、加熱量の総量が小さい場合には、近傍温度は低くなる。加熱が終了している場合には、加熱情報５４ｉに含まれる加熱後経過時間が長ければ近傍温度が低くなり、短ければ近傍温度は高くなる。このような情報を含んでいる加熱情報５４ｉを補足情報６０としてニューラルネットワーク７０に入力することで、加熱情報５４ｉを近傍温度の推定の条件に加えることができる。その結果、近傍温度の推定精度が向上する。

【0070】

さらに、加熱対象物温度取得部５９が取得した加熱対象物温度５９ｔが高ければ近傍温度が高くなり、低ければ近傍温度は低くなる。上記の加熱情報５４ｉに加えて、加熱対象物温度５９ｔを補足情報６０としてニューラルネットワーク７０に入力することで、加熱対象物温度５９ｔを近傍温度の推定の条件に加えることができる。その結果、近傍温度の推定精度がさらに向上する。

【0071】

解像度変換部５３は、画像取得部５１により取得した撮像画像９ｉの解像度を低下させる。これにより、解像度変換部５３は、低解像度撮像画像６２を生成する。

【0072】

近傍温度推定部５５は、近傍温度を推定するための機械学習を行った学習済みの学習器（ニューラルネットワーク７０）に、撮像画像９ｉを低解像度化することで得られた低解像度撮像画像６２を入力する。また、上記した補足情報６０も、ニューラルネットワーク７０に入力される。これにより、近傍温度推定部５５は、近傍温度情報６４を学習器から取得する。低解像度化することで得られた低解像度撮像画像６２をニューラルネットワーク７０に入力することで、ニューラルネットワーク７０の演算処理の計算量を低減することができ、プロセッサの負荷を低減することができる。なお、低解像度化の処理は省略されてもよい。この場合、近傍温度推定部５５は、撮像画像９ｉを学習器（ニューラルネットワーク７０）に入力してもよい。

【0073】

近傍温度情報６４は、各コンロバーナおよびグリルバーナ２９ａ（図２参照）の近傍の温度分布と近傍における最大温度を含んでいる。近傍温度情報６４に含まれる最大温度は、図２の報知パターン記憶部４８が記憶している報知パターンテーブル４８ｔの３段階（すなわち、「常温」、「中温」、「高温」）に分類される。報知部５６は、近傍温度推定部５５が学習器から取得した近傍温度情報６４の３段階に対応する報知パターンで、スピーカ９ｃを介して音声を発生する。これにより、制御装置４０は、撮像画像９ｉおよび補足情報６０から推定された近傍温度に基づいて、近傍温度に関する情報（すなわち、上記したパターンＡ～Ｃ）をユーザに報知することができる。

【0074】

ユーザ侵入検知部５７は、撮像画像９ｉを解析したユーザ情報５２ｕを取得する。ユーザ情報５２ｕには、例えば図７に示されるように、第１コンロ１１ａの上方に載置された鍋８６ａに接近しているユーザの手９０の位置が含まれる。また、ユーザ侵入検知部５７は、近傍温度情報６４から、各コンロ近傍の温度分布および最大温度を取得する。ユーザ侵入検知部５７は、近傍温度情報６４に含まれる最大温度が上記した報知パターンテーブル４８ｔの「高温」に分類される場合、近傍温度情報６４に含まれる温度分布とユーザ情報５２ｕを照合する。ユーザ侵入検知部５７は、図７に示されるように、最大温度が「高温」に分類される温度分布の範囲（例えば、図７の第１高温領域１５ａ）にユーザの手９０の位置が含まれる場合に、ユーザの手９０が高温領域に侵入したと判定する。このように、制御装置４０のユーザ侵入検知部５７は、ユーザ情報５２ｕと推定された近傍温度に基づいて、ユーザが高温領域に侵入したか否かを検知する。なお、ユーザ侵入検知部５７は、報知パターンテーブル４８ｔの３段階とは関係なく、近傍温度情報６４に含まれる最大温度が所定のしきい値を超えた場合に、しきい値温度を超えている領域を特定し、ユーザ情報５２ｕと照合してもよい。

【0075】

また、報知部５６は、ユーザ侵入検知部５７がユーザの高温領域への侵入を検知した場合に、「危険です」（図２の報知パターンテーブル４８ｔの「パターンＤ」）という音声を、スピーカ９ｃを介してユーザに報知する。これにより、報知部５６は、ユーザに対して高温領域に侵入したことを伝える。なお、ユーザ侵入検知部５７がユーザの高温領域への侵入を検知した場合には、ユーザの接近が危険であるため、例えば警告音等、特に大きな音でスピーカ９ｃを介してユーザに報知してもよい。また、スピーカ９ｃは、レンジフード４ではなく、加熱調理器１０に配置されていてもよい。さらに、報知部５６は、離れた場所に位置する別のユーザに伝えるために、別のユーザの携帯端末（図示省略）にメッセージを表示してもよい。

【0076】

図４に示されるとおり、制御装置４０は、近傍温度情報６４を推定するための機械学習を行った学習済みの学習器として、ニューラルネットワーク７０を利用する。ニューラルネットワーク７０は、複数種類のニューラルネットワークを組み合わせることで構成されている。

【0077】

ニューラルネットワーク７０は、全結合ニューラルネットワーク７２、畳み込みニューラルネットワーク７４、結合層７６、およびＬＳＴＭネットワーク７８の４つの部分に分かれている。全結合ニューラルネットワーク７２および畳み込みニューラルネットワーク７４は入力側に並列に配置されており、全結合ニューラルネットワーク７２には補足情報６０が入力され、畳み込みニューラルネットワーク７４には低解像度撮像画像６２が入力される。結合層７６は、全結合ニューラルネットワーク７２および畳み込みニューラルネットワーク７４の出力を結合する。ＬＳＴＭネットワーク７８は、結合層７６からの出力を受けて、近傍温度情報６４を出力する。

【0078】

全結合ニューラルネットワーク７２は、いわゆる多層構造のニューラルネットワークであり、入力側から順に、入力層７２ｉ、中間層（隠れ層）７２ｍ、および出力層７２оを備えている。ただし、全結合ニューラルネットワーク７２の層の数は、このような例に限定されなくてもよく、実施形態に応じて適宜選択されてよい。

【0079】

全結合ニューラルネットワーク７２の各層７２ｉ、７２ｍ、７２оは、１又は複数のニューロン（ノード）を備えている。各層に含まれるニューロンの個数は、実施形態に応じて適宜設定されてよい。各層に含まれる各ニューロンが、隣接する層に含まれる全てのニューロンに結合されていることで、全結合ニューラルネットワーク７２は構成される。各結合には、重み（結合荷重）が適宜設定されている。

【0080】

畳み込みニューラルネットワーク７４は、畳み込み層７４ａおよびプーリング層７４ｂを交互に接続した構造を有する順伝播型ニューラルネットワークである。本実施形態に係る畳み込みニューラルネットワーク７４では、複数の畳み込み層７４ａおよびプーリング層７４ｂが入力側に交互に配置されている。そして、最も出力側に配置されたプーリング層７４ｂの出力が全結合層７４ｃに入力され、全結合層７４ｃの出力が出力層７４оに入力される。

【0081】

畳み込み層７４ａは、画像の畳み込みの演算を行う層である。画像の畳み込みとは、画像と所定のフィルタとの相関を算出する処理に相当する。そのため、画像の畳み込みを行うことで、例えば、フィルタの濃淡パターンと類似する濃淡パターンを入力される画像から検出することができる。

【0082】

プーリング層７４ｂは、プーリング処理を行う層である。プーリング処理は、画像のフィルタに対する応答の強かった位置の情報を一部捨て、画像内に現れる特徴の微小な位置変化に対する応答の不変性を実現する。

【0083】

全結合層７４ｃは、隣接する層の間のニューロン全てを結合した層である。すなわち、全結合層７４ｃに含まれる各ニューロンは、隣接する層に含まれる全てのニューロンに結合される。全結合層７４ｃは、２層以上で構成されてもよい。また、全結合層７４ｃに含まれるニューロンの個数は、実施形態に応じて適宜設定されてもよい。

【0084】

出力層７４оは、畳み込みニューラルネットワーク７４の最も出力側に配置される層である。出力層７４оに含まれるニューロンの個数は、実施形態に応じて適宜設定されてよい。なお、畳み込みニューラルネットワーク７４の構成は、このような例に限定されなくてもよく、実施形態に応じて適宜設定されてもよい。

【0085】

結合層７６は、全結合ニューラルネットワーク７２および畳み込みニューラルネットワーク７４とＬＳＴＭネットワーク７８との間に配置される。結合層７６は、全結合ニューラルネットワーク７２の出力層７２оからの出力および畳み込みニューラルネットワーク７４の出力層７４оからの出力を結合する。結合層７６の出力は、ＬＳＴＭネットワーク７８に入力される。結合層７６に含まれるニューロンの個数は、全結合ニューラルネットワーク７２および畳み込みニューラルネットワーク７４の出力の数に応じて適宜設定されてもよい。

【0086】

ＬＳＴＭネットワーク７８は、ＬＳＴＭブロック７８ｂを備える再帰型ニューラルネットワークである。再帰型ニューラルネットワークは、例えば、中間層から入力層への経路のように、内部にループを有するニューラルネットワークのことである。ＬＳＴＭネットワーク７８は、一般的な再帰型ニューラルネットワークの中間層をＬＳＴＭブロック７８ｂに置き換えた構造を有する。

【0087】

ＬＳＴＭネットワーク７８は、入力側から順に、入力層７８ｉ、ＬＳＴＭブロック７８ｂ、および出力層７８оを備えており、順伝播の経路の他、ＬＳＴＭブロック７８ｂから入力層７８ｉに戻る経路を有している。入力層７８ｉおよび出力層７８оに含まれるニューロンの個数は、実施形態に応じて適宜設定されてもよい。

【0088】

ＬＳＴＭブロック７８ｂは、入力ゲートおよび出力ゲートを備え、情報の記憶および出力のタイミングを学習可能に構成されたブロックである。また、ＬＳＴＭブロック７８ｂは、情報の忘却のタイミングを調節する忘却ゲートを備えてもよい。ＬＳＴＭネットワーク７８の構成は、実施形態に応じて適宜設定可能である。

【0089】

各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。制御装置４０は、全結合ニューラルネットワーク７２に補足情報６０を入力し、畳み込みニューラルネットワーク７４に低解像度撮像画像６２を入力する。そして、制御装置４０は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。このように、ニューラルネットワーク７０は、入力に対する演算処理を実行する。制御装置４０は、近傍温度情報６４に対応する出力値をニューラルネットワーク７０の出力層７８оから取得する。

【0090】

なお、このようなニューラルネットワーク７０の構成（例えば、各ネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数）、各ニューロン間の結合の重み、および各ニューロンの閾値を示す情報は、学習結果データ３２ｒに含まれている。制御装置４０は、学習結果データ３２ｒを参照して、近傍温度を推定する処理に用いる学習済みニューラルネットワーク７０の設定を行う。

【0091】

図５を用いて、学習装置３０について説明する。学習装置３０の制御部３６（図３参照）は、記憶部３２（図３参照）に記憶された学習プログラム３２ｐをＲＡＭに展開する。そして、制御部３６は、ＲＡＭに展開された学習プログラム３２ｐをＣＰＵにより解釈および実行して、各構成要素を制御する。これによって、図５に示されるとおり、学習装置３０は、ソフトウェアモジュールとして、学習データ取得部３１および学習処理部３３を備えるコンピュータとして構成される。

【0092】

学習データ取得部３１は、撮像画像９ｉを低解像度化することで得られた低解像度撮像画像６２ｔと、解析加熱対象物情報５２ｂ、加熱情報５４ｉおよび加熱対象物温度５９ｔからなる補足情報６０ｔと、低解像度撮像画像６２ｔおよび補足情報６０ｔに対応する近傍温度情報６４ｔの組を学習データ６６として取得する。低解像度撮像画像６２ｔおよび補足情報６０ｔはそれぞれ、図４を参照して説明した低解像度撮像画像６２および補足情報６０に対応し、入力データとして利用される。近傍温度情報６４ｔは、図４の近傍温度情報６４に対応し、教師データ（正解データ）として利用される。学習処理部３３は、低解像度撮像画像６２ｔおよび補足情報６０ｔを入力すると、近傍温度情報６４ｔに対応する出力値を出力するように学習器の機械学習を行う。

【0093】

図５に示されるとおり、学習装置３０は、制御装置４０（図４参照）と同様に、ニューラルネットワーク７０ｔを備えている。学習装置３０のニューラルネットワーク７０ｔは、全結合ニューラルネットワーク７２ｔ、畳み込みニューラルネットワーク７４ｔ、結合層７６ｔ、およびＬＳＴＭネットワーク７８ｔを備えている。学習装置３０のニューラルネットワーク７０ｔは、制御装置４０のニューラルネットワーク７０と同様に構成される。そのため、学習装置３０の全結合ニューラルネットワーク７２ｔ、畳み込みニューラルネットワーク７４ｔ、結合層７６ｔ、およびＬＳＴＭネットワーク７８ｔはそれぞれ、制御装置４０の全結合ニューラルネットワーク７２、畳み込みニューラルネットワーク７４、結合層７６、およびＬＳＴＭネットワーク７８と同様である。すなわち、学習装置３０のニューラルネットワーク７０ｔは、制御装置４０のニューラルネットワーク７０と同様に演算処理を実行する。

【0094】

学習処理部３３は、全結合ニューラルネットワーク７２ｔに補足情報６０ｔを入力し、畳み込みニューラルネットワーク７４ｔに低解像度撮像画像６２ｔを入力すると、近傍温度情報６４ｔに対応する出力値をＬＳＴＭネットワーク７８ｔから出力するニューラルネットワーク７０ｔを構築する。そして、学習処理部３３は、構築したニューラルネットワーク７０の構成、各ニューロン間の結合の重みおよび各ニューロンの閾値を示す情報を、学習結果データ３２ｒとして記憶部３２に格納する。学習処理部３３は、記憶部３２に格納した学習結果データ３２ｒを、インターネットを介して定期的に制御装置４０に送信する。これにより、制御装置４０の学習結果データ３２ｒが定期的に更新される。

【0095】

図６を参照して、加熱調理システム２が、制御装置４０に入力する撮像画像９ｉについて説明する。図６は、カメラ８が撮像した画像の一例である。第１コンロ１１ａの上方（すなわち、図６の紙面手前側）には、鍋８６ａが載置されている。鍋８６ａは、第１コンロ１１ａの第１コンロバーナ１２ａ（図１参照）の火炎１３ａによって加熱されている。第３コンロ１１ｃの上方には、フライパン８７ａが載置されている。フライパン８７ａの上には、被調理物８７ｍが載置されている。フライパン８７ａは、第３コンロ１１ｃの第３コンロバーナ１２ｃ（図１参照）の火炎１３ｃによって、加熱されている。図６に示されるように、グリル２８は、前方（すなわち、図６の紙面下側）に引き出され、被調理物２８ｍを収容している。このように、カメラ８は、各コンロおよびグリルバーナ２９ａ（図２参照）の近傍の状態を含む画像である加熱部近傍画像を撮像可能に構成されている。

【0096】

図４を参照して説明したように、制御装置４０は、カメラ８が撮像した撮像画像９ｉ（すなわち、加熱部近傍画像）をニューラルネットワーク７０に入力することで、加熱部の近傍温度を推定する。加熱部近傍画像は、鍋８６ａの外周縁からはみ出す火炎１３ａの画像を含んでいる。火炎１３ａの大きさや色によって、第１コンロ１１ａの近傍温度は変化する。制御装置４０は、火炎１３ａの情報を含む加熱部近傍画像をニューラルネットワーク７０に入力することで、加熱部の近傍温度を推定する。

【0097】

また、加熱部近傍画像は、フライパン８７ａの外周縁からはみ出す火炎１３ｃに加えて、被調理物８７ｍの画像も含んでいる。すなわち、加熱部近傍画像を解析することで、第３コンロバーナ１２ｃによって調理される被調理物８７ｍに関する情報を抽出することができる。これにより、被調理物８７ｍを用いてユーザが調理する調理メニューに関する情報である調理メニュー情報を抽出することができる。例えば、被調理物８７ｍが第３コンロバーナ１２ｃによって加熱されると、その表面の色が変化する。被調理物８７ｍの表面の色の変化によって、ユーザの調理の進捗度を推定することができる。調理メニュー情報のメニューを完成させるための加熱量から、第３コンロバーナ１２ｃの加熱量を推定することができる。第３コンロバーナ１２ｃの加熱量と第３コンロ１１ｃの近傍の温度は相関関係を有する。すなわち、被調理物８７ｍの画像から抽出される調理メニュー情報と第３コンロ１１ｃの近傍温度は相関関係を有する。制御装置４０は、加熱部近傍画像に加えて、近傍温度と相関関係を有する調理メニュー情報をニューラルネットワーク７０に入力することで、近傍温度の推定精度を向上させることができる。

【0098】

さらに、グリル２８に被調理物２８ｍが収容されていれば、グリル２８で被調理物２８ｍを加熱することが推定される。一方、グリル２８に被調理物２８ｍが載置されていなければ、グリル２８で加熱する可能性は低い。すなわち、グリル２８内の画像は、グリル２８の近傍温度およびグリル２８の排気を行う排気口１７の近傍温度の推定に影響を与える。制御装置４０は、加熱部近傍画像に加えて、近傍温度の推定に影響を与える被調理物２８ｍの情報をニューラルネットワーク７０に入力することで、近傍温度の推定精度を向上させることができる。

【0099】

図７は、図６に示した加熱部近傍画像の状態を経過した後の加熱部近傍画像を示す。図７では、第１コンロ１１ａと、第３コンロ１１ｃと、グリル２８の加熱は停止している。そのため、図７の加熱部近傍画像は、鍋８６ａの外周縁からはみ出す火炎１３ａの画像を含んでいない。同様に、図７の加熱部近傍画像は、加熱部近傍画像は、フライパン８７ａの外周縁からはみ出す火炎１３ｃの画像を含んでいない。しかしながら、図７で示される鍋８６ａ、フライパン８７ａ、グリル２８は、図６の加熱部近傍画像において加熱されている。制御装置４０は、図７に示す状態に至る前の図６の加熱部近傍画像によって、図７で示される鍋８６ａ、フライパン８７ａ、グリル２８、排気口１７の近傍温度を推定する。制御装置４０は、第１コンロバーナ１２ａ、第３コンロバーナ１２ｃ、およびグリルバーナ２９ａの加熱停止後であっても、第１コンロバーナ１２ａの第１高温領域１５ａと、第３コンロバーナ１２ｃの第３高温領域１５ｃと、グリル２８のグリル高温領域２８ｂと、排気口１７の排気口高温領域１７ａと、を推定することができる。

【0100】

また、図７に示される加熱部近傍画像には、加熱部で加熱される鍋８６ａ、フライパン８７ａの大きさ、色、形等の情報が含まれる。鍋８６ａは、平面視で円形形状を有している。鍋８６ａに残存する余熱は、鍋８６ａの周りに放熱される。そのため、鍋８６ａを加熱する第１コンロ１１ａ（すなわち、第１コンロバーナ１２ａ）の第１高温領域１５ａは、円形形状となる。それに対し、フライパン８７ａは、平面視で矩形形状を有している。そのため、フライパン８７ａを加熱する第３コンロ１１ｃ（すなわち、第３コンロバーナ１２ｃ）の第３高温領域１５ｃは、矩形形状となる。

【0101】

さらに、フライパン８７ａは、加熱調理器１０の前方（すなわち、図７の紙面下方）に延びている取手８７ｂを備えている。取手８７ｂは、フライパン８７ａの本体と同じ金属で構成されている。このため、フライパン８７ａが加熱されると、取手８７ｂにも熱が伝わり、図７に示されるように、取手８７ｂの周辺も第３高温領域１５ｃに含まれる。一方、仮に取手８７ｂが金属で構成されていない場合には、フライパン８７ａの本体の熱は取手８７ｂに伝わりにくい。そのため、取手８７ｂが金属でない場合には、取手８７ｂの周辺は第３高温領域１５ｃに含まれない。このように、鍋８６ａ、フライパン８７ａの形状や大きさに加えて、材質によっても、近傍温度には差異が生じる。取手８７ｂが金属であるか否かは、取手８７ｂの画像から抽出される色により推定可能である。制御装置４０は、加熱部近傍画像から抽出した調理容器情報（すなわち、鍋８６ａ、フライパン８７ａに関する情報）もニューラルネットワーク７０に入力することで、近傍温度の推定精度を向上させることができる。

【0102】

また、図４を参照して説明したように、制御装置４０は、加熱情報５４ｉも、ニューラルネットワーク７０に入力する。加熱情報５４ｉには、加熱後経過時間も含まれている。加熱後経過時間が増加すると、図７に示す各高温領域が縮小する。

【0103】

さらに、例えば図７の鍋８６ａ、フライパン８７ａがユーザによって別の場所に移された後であっても、制御装置４０は、上記の加熱部近傍画像、加熱情報５４ｉによって、第１コンロ１１ａ、第３コンロ１１ｃ、グリル２８の近傍温度を推定することができる。

【0104】

図８を参照して、制御装置４０（図２参照）が実行する処理について説明する。なお、図８で説明する制御装置４０が実行する処理が、「加熱調理方法」の一例である。

【0105】

ユーザが電源スイッチ２４をオンにして加熱調理器１０を起動させると、制御装置４０は、カメラ８をオンする（ステップＳ２）。オンされたカメラ８は、予め定められた所定の期間毎に加熱部近傍画像を撮像する。その後、ユーザは、任意のコンロバーナ（例えば、第１コンロバーナ１２ａ）をオンして加熱を開始する（ステップＳ４）。第１コンロバーナ１２ａの加熱が開始されると、制御装置４０は、加熱情報５４ｉおよび加熱対象物温度５９ｔの取得を開始する（ステップＳ６）。先に述べたように、加熱情報５４ｉには、第１コンロバーナ１２ａの加熱量、加熱時間、加熱後経過時間が含まれる。さらに、加熱対象物温度５９ｔは、第１コンロ１１ａの上に載置されている調理容器の温度である。このため、制御装置４０は、第１コンロバーナ１２ａがオフされても、加熱情報５４ｉおよび加熱対象物温度５９ｔの取得を継続する。制御装置４０は、電源スイッチ２４がオフされる（ステップＳ２６：ＹＥＳ）まで、加熱情報５４ｉおよび加熱対象物温度５９ｔの取得を継続する。

【0106】

次いで、制御装置４０は、カメラ８が撮像した加熱部近傍画像を取得するとともに、図４を参照して説明したように、画像解析部５２によって、加熱部近傍画像を解析して解析加熱対象物情報５２ｂを取得する（ステップＳ８）。次いで、制御装置４０は、図４を参照して説明したように、解像度変換部５３によって、加熱部近傍画像の解像度を低くする（ステップＳ１０）。なお、先に述べたように、加熱部近傍画像の解像度を低くするステップＳ１０は、省略可能である。

【0107】

その後、制御装置４０は、図４を参照して説明したように、近傍温度推定部５５によって、低解像度撮像画像６２と補足情報６０をニューラルネットワーク７０に入力して、ニューラルネットワーク７０の演算処理を実行する（ステップＳ１２）。先に述べたように、ニューラルネットワーク７０は、学習装置３０から学習結果データ３２ｒを、インターネットを介して受信済みである。すなわち、ニューラルネットワーク７０は、加熱部近傍画像に基づいて近傍温度を推定するための機械学習を行った学習済みの学習器である。低解像度撮像画像６２を入力されたニューラルネットワーク７０は、先に述べたように、近傍温度情報６４（図４参照）に対応する出力値を出力する。これにより、制御装置４０は、近傍温度推定部５５によって、近傍温度情報６４を取得する（ステップＳ１４）。その後、制御装置４０は、報知パターン記憶部４８に記憶されている報知パターンテーブル４８ｔ（ともに図２参照）の３段階に取得した近傍温度を分類する。制御装置４０は、報知部５６によって、推定された近傍温度を分類した段階に対応するパターンの音声をスピーカ９ｃから発生させる（ステップＳ１６）。これにより、制御装置４０は、推定した近傍温度の情報を、ユーザに報知することができる。なお、制御装置４０は、予め定められた所定の期間毎にユーザに近傍温度の情報を報知してもよいし、近傍温度の分類が変化した場合にのみ報知してもよい。

【0108】

取得した近傍温度情報６４に含まれる最大温度が「高温」に分類される温度であった場合には（ステップＳ１８：ＹＥＳ）、図４および図７を参照して説明したように、制御装置４０は、画像解析部５２によって、加熱部近傍画像を解析して、ユーザ情報５２ｕを抽出する。すなわち、制御装置４０は、ユーザ情報５２ｕを取得する（ステップＳ２０）。制御装置４０は、ユーザ侵入検知部５７によって、取得したユーザ情報５２ｕと近傍温度情報６４に含まれている温度分布を照合する。すなわち、制御装置４０は、ユーザ侵入検知部５７によって、ユーザが高温領域に侵入しているか否かを判定する（ステップＳ２２）。ユーザ情報５２ｕに含まれているユーザの侵入位置が、近傍温度情報６４の温度分布と重なっている場合には、制御装置４０は、ユーザが高温領域に侵入したと判定する。その場合（ステップＳ２２：ＹＥＳ）、制御装置４０は、報知部５６によって、スピーカ９ｃを介して警告音を発生させる（ステップＳ２４）。その後、制御装置４０は、ステップＳ６に戻り、再度新たな加熱情報５４ｉおよび加熱対象物温度５９ｔを取得する。

【0109】

また。取得した近傍温度情報６４に含まれる最大温度が「高温」に分類されない場合には（ステップＳ１８：ＮＯ）、制御装置４０は、ステップＳ６に戻り、再度新たな加熱情報５４ｉおよび加熱対象物温度５９ｔを取得して上記の処理を繰り返す。さらに、ユーザが高温領域に侵入していない場合（ステップＳ２２：ＮＯ）、制御装置４０は、電源スイッチ２４がオフされていなければ（ステップＳ２６：ＮＯ）、ステップＳ６に戻り、再度新たな加熱情報５４ｉおよび加熱対象物温度５９ｔを取得して上記の処理を繰り返す。すなわち、制御装置４０は、電源スイッチ２４がオフされるまで、近傍温度の推定を継続する。なお、実施例は、電源スイッチがオフされるまで、近傍温度の推定を継続しているが、電源スイッチがオフされるまでではなく、（電源がオフされても）近傍温度が所定温度以下になるまで、近傍温度の推定を継続するようにしてもよい。

【0110】

図９を参照して、学習装置３０（図５参照）が実行する処理について説明する。図１２を参照して説明する学習装置３０が実行する処理が「学習方法」の一例である。

【0111】

学習装置３０は、図５に示すように、学習データ取得部３１によって、低解像度撮像画像６２ｔ、補足情報６０ｔ、および近傍温度情報６４ｔの組を学習データ６６として取得する（ステップＳ３０）。

【0112】

学習データ６６は、ニューラルネットワーク７０ｔに対して、近傍温度を推定可能にするための機械学習に利用するデータである。このような学習データ６６は、図６、図７に示されるような、各コンロバーナおよびグリルバーナ２９ａの近傍の状態を含む画像（すなわち、上記した加熱部近傍画像）と、推定される近傍温度を紐づけることで作成することができる。その際、加熱部近傍画像は、図４の低解像度撮像画像６２と同等の解像度で保存される。加熱部近傍画像は、各コンロバーナの火炎の状態、調理容器の状態、被調理物の状態、ユーザの手等を判別可能な解像度であればよい。

【0113】

補足情報６０に含まれる解析加熱対象物情報５２ｂは、加熱部近傍画像を解析して、加熱される調理容器および被調理物の色、大きさ、形に関する情報を抽出することで取得される。補足情報６０に含まれる加熱情報５４ｉは、加熱情報取得部５４によって取得される。補足情報６０に含まれる加熱対象物温度５９ｔは、加熱対象物温度取得部５９によって取得される。学習データ６６は、これらの取得された情報と近傍温度を紐づけることでも作成することができる。

【0114】

この学習データ６６の作成は、オペレータ等が入力装置３４ｉ（図３参照）を用いて手動で行ってもよいし、プログラムの処理により自動的に行われてもよい。この学習データ６６は、制御装置４０から随時収集されてもよい。また、学習データ６６の作成は、学習装置３０以外の他の情報処理装置により行われてもよい。学習装置３０が学習データ６６を作成する場合には、制御部３６は、本ステップＳ３０において、学習データ６６の作成処理を実行することで、学習データ６６を取得することができる。一方、学習装置３０以外の他の情報処理装置が学習データ６６を作成する場合には、学習装置３０は、ネットワーク、記憶媒体３０ｍ（図３参照）等を介して、他の情報処理装置により作成された学習データ６６を取得することができる。なお、本ステップＳ３０で取得する学習データ６６の件数は、ニューラルネットワーク７０ｔの機械学習を行うことができるように、実施形態に応じて適宜決定されてよい。

【0115】

次いで、学習装置３０は、学習処理部３３によって、ステップＳ３０で取得した学習データ６６を用いて、低解像度撮像画像６２ｔおよび補足情報６０ｔを入力すると近傍温度情報６４ｔに対応する出力値を出力するようにニューラルネットワーク７０ｔの機械学習処理を実行する（ステップＳ３２）。

【0116】

学習装置３０の制御部３６（図３参照）は、学習処理を行う対象となるニューラルネットワーク７０ｔを用意する。用意するニューラルネットワーク７０ｔの構成、各ニューロン間の結合の重みの初期値、および各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部３６は、再学習を行う対象となる学習結果データ３２ｒに基づいて、ニューラルネットワーク７０ｔを用意してもよい。

【0117】

次に、制御部３６は、ステップＳ３０で取得した学習データ６６に含まれる低解像度撮像画像６２ｔおよび補足情報６０ｔを入力データとして用い、近傍温度情報６４ｔを教師データ（正解データ）として用いて、ニューラルネットワーク７０の学習処理を行う。このニューラルネットワーク７０の学習処理には、確率的勾配降下法等が用いられてよい。

【0118】

例えば、制御部３６は、全結合ニューラルネットワーク７２ｔの入力層に補足情報６０ｔを入力し、畳み込みニューラルネットワーク７４ｔの最も入力側に配置された畳み込み層に低解像度撮像画像６２ｔを入力する。そして、制御部３６は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部３６は、ＬＳＴＭネットワーク７８ｔの出力層から出力値を得る。次に、制御部３６は、ＬＳＴＭネットワーク７８ｔの出力層から取得した出力値と近傍温度情報６４ｔに対応する値との誤差を算出する。続いて、制御部３６は、通時的誤差逆伝搬（Ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ ｔｈｒｏｕｇｈ ｔｉｍｅ）法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重みおよび各ニューロンの閾値それぞれの誤差を算出する。そして、制御部３６は、算出した各誤差に基づいて、各ニューロン間の結合の重みおよび各ニューロンの閾値それぞれの値の更新を行う。

【0119】

制御部３６は、各件の学習データ６６について、ニューラルネットワーク７０ｔから出力される出力値が近傍温度情報６４ｔに対応する値と一致するまでこの一連の処理を繰り返す。これにより、制御部３６は、低解像度撮像画像６２ｔおよび補足情報６０ｔを入力すると近傍温度情報６４ｔに対応する出力値を出力するニューラルネットワーク７０ｔを構築することができる。

【0120】

制御部３６は、学習処理部３３によって、構築したニューラルネットワーク７０の構成、各ニューロン間の結合の重み、および各ニューロンの閾値を示す情報を学習結果データ３２ｒとして記憶部３２に記憶する（ステップＳ３４）。これにより、制御部３６は、本動作例に係るニューラルネットワーク７０の学習処理を終了する。

【0121】

なお、制御部３６は、上記のステップＳ３６の処理が完了した後に、作成した学習結果データ３２ｒを制御装置４０に転送してもよい。また、制御部３６は、上記ステップＳ３０～Ｓ３６の学習処理を定期的に実行することで、学習結果データ３２ｒを定期的に更新してもよい。そして、制御部３６は、作成した学習結果データ３２ｒを当該学習処理の実行毎に制御装置４０に転送することで、制御装置４０の保持する学習結果データ３２ｒを定期的に更新してもよい。また、例えば、制御部３６は、作成した学習結果データ３２ｒを別のデータサーバ（図示省略）に保管してもよい。この場合、制御装置４０は、このデータサーバから学習結果データ３２ｒを取得してもよい。

【0122】

（対応関係）鍋８６ａ、フライパン８７ａが、それぞれ、「加熱対象物」の一例である。加熱調理器１０の各コンロバーナおよびグリルバーナ２９ａが「加熱部」の一例である。カメラ８が「撮像装置」の一例である。加熱量の総量と、加熱が開始されてからの経過時間である加熱時間と、加熱後経過時間が、それぞれ、「加熱情報」の一例である。画像取得部５１、加熱対象物温度取得部５９が、それぞれ、「加熱対象物情報取得部」の一例である。鍋８６ａ、フライパン８７ａの大きさ、色、形が、それぞれ、「調理容器情報」の一例である。被調理物２８ｍ、８７ｍの大きさ、色、形が、それぞれ、「調理メニュー情報」の一例である。

【0123】

以上、実施形態について詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。上記の実施形態の変形例を以下に列挙する。

【0124】

（変形例１）上記の加熱調理システム２では、加熱部近傍画像に加えて、補足情報６０（すなわち、加熱情報５４ｉ、解析加熱対象物情報５２ｂおよび加熱対象物温度５９ｔ）を学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、補足情報６０を入力しない構成としてもよい。その場合、制御装置４０は、画像解析部５２と、加熱情報取得部５４と、加熱対象物温度取得部５９と、を備えなくてもよい。

【0125】

（変形例２）上記の加熱調理システム２では、加熱情報取得部５４によって加熱情報５４ｉとして加熱後経過時間を取得し、学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、加熱後経過時間を入力しない構成としてもよい。

【0126】

（変形例３）上記の加熱調理システム２では、ユーザ侵入検知部５７によってユーザの高温領域への侵入を検知し、ユーザの高温領域への侵入を検知した場合には報知部５６によってユーザに警告する。これに代えて、変形例では、ユーザが高温領域に侵入してもユーザに警告しなくてもよい。その場合、制御装置４０は、ユーザ侵入検知部５７を備えなくてもよい。

【0127】

（変形例４）上記の加熱調理システム２では、画像解析部５２によって加熱部近傍画像を解析し、解析加熱対象物情報５２ｂとして鍋８６ａ、フライパン８７ａに関する情報である調理容器情報を取得し、学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、調理容器情報を入力しない構成としてもよい。

【0128】

（変形例５）上記の加熱調理システム２では、画像解析部５２によって加熱部近傍画像を解析し、解析加熱対象物情報５２ｂとして被調理物８７ｍに関する情報である調理メニュー情報を取得し、学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、調理メニュー情報を入力しない構成としてもよい。

【0129】

（変形例６）上記の加熱調理システム２は、システムキッチンに組み込んで使用されるガス燃焼式のビルトインコンロである。これに代えて、変形例では、電磁誘導加熱調理器（ＩＨ調理器）であってもよい。

【0130】

以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

【符号の説明】

【0131】

２ ：加熱調理システム
４ ：レンジフード
８ ：カメラ
９ｃ ：スピーカ
９ｉ ：撮像画像
１０ ：加熱調理器
１１ａ ：第１コンロ
１２ａ ：第１コンロバーナ
１３ａ、１３ｃ ：火炎
１４ａ ：第１センサ
１５ａ ：第１高温領域
１５ｃ ：第３高温領域
１７ ：排気口
２０ ：コンロ操作部
２０ａ ：第１加熱量操作部
２２ ：パネル操作部
２４ ：電源スイッチ
２８ ：グリル
２８ｍ、８７ｍ ：被調理物
２９ａ ：グリルバーナ
３０ ：学習装置
３１ ：学習データ取得部
３３ ：学習処理部
３４ｉ ：入力装置
３４о ：出力装置
３６ ：制御部
３８ ：通信インターフェース
３９ ：ドライブ
４０ ：制御装置
４２ ：外部インターフェース
４６ ：学習記憶部
４８ ：報知パターン記憶部
５１ ：画像取得部
５２ ：画像解析部
５３ ：解像度変換部
５４ ：加熱情報取得部
５５ ：近傍温度推定部
５６ ：報知部
５７ ：ユーザ侵入検知部
５９ ：加熱対象物温度取得部
７０、７０ｔ ：ニューラルネットワーク
８６ａ ：鍋
８７ａ ：フライパン
８７ｂ ：取手
９０ ：手

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】