特許 7407075 加熱調理システム、加熱調理方法、学習装置、学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-20

(45)【発行日】2023-12-28

(54)【発明の名称】加熱調理システム、加熱調理方法、学習装置、学習方法

(51)【国際特許分類】

   F24C 3/12 20060101AFI20231221BHJP

【ＦＩ】

F24C3/12 E

【請求項の数】 20

(21)【出願番号】P 2020101284

(22)【出願日】2020-06-10

(65)【公開番号】P2021196088

(43)【公開日】2021-12-27

【審査請求日】2023-05-25

(73)【特許権者】

【識別番号】000115854

【氏名又は名称】リンナイ株式会社

(74)【代理人】

【識別番号】110000110

【氏名又は名称】弁理士法人 快友国際特許事務所

(72)【発明者】

【氏名】杉本 喜輝

【審査官】吉澤 伸幸

(56)【参考文献】

【文献】特開２０１８－２０４８８８（ＪＰ，Ａ）

【文献】特開２０１５－２３０１４８（ＪＰ，Ａ）

【文献】特開２０１７－２２４１７１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３６７１５１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｆ２４Ｃ ３／１２

Ｈ０５Ｂ ６／１２

(57)【特許請求の範囲】

【請求項1】

加熱対象物を加熱する加熱部と、
前記加熱対象物に接近しているユーザの状態を含む画像であるユーザ接近画像を撮像可能に構成されている撮像装置から、前記ユーザ接近画像を取得する画像取得部と、
前記ユーザが、前記加熱対象物に対して意図して接近しているか否かの度合いとして、前記加熱対象物に接近している前記ユーザの状態に対する接近安全度を、前記ユーザ接近画像に基づいて推定するための機械学習を行った学習済みの学習器に、前記画像取得部が取得した前記ユーザ接近画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記接近安全度を前記学習器から取得する接近安全度推定部と、
前記接近安全度推定部が推定した前記接近安全度に基づいて、前記加熱部の加熱量を制御する加熱量制御部と、を備えている、加熱調理システム。

【請求項2】

前記ユーザに関する情報であるユーザ情報を取得するユーザ情報取得部をさらに備えており、
前記学習器は、前記ユーザ情報にも基づいて前記接近安全度を推定するための機械学習を行っており、
前記接近安全度推定部は、前記ユーザ情報取得部が取得した前記ユーザ情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記接近安全度を前記学習器から取得する、請求項１に記載の加熱調理システム。

【請求項3】

前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記ユーザが所持している所持物に関する情報であるユーザ所持物情報と、前記ユーザの服装に関する情報であるユーザ服装情報と、前記ユーザの体勢に関する情報であるユーザ体勢情報と、前記ユーザの体型に関する情報であるユーザ体型情報と、のうちの少なくとも一つを含む、請求項２に記載の加熱調理システム。

【請求項4】

前記ユーザの生体に関する情報であるユーザ生体情報を測定可能に構成されている測定装置から、前記ユーザ生体情報を取得するユーザ生体情報取得部をさらに備えており、
前記ユーザ情報は、前記ユーザ生体情報取得部が取得した前記ユーザ生体情報を含む、請求項２または３に記載の加熱調理システム。

【請求項5】

前記加熱部は、複数の加熱装置を備えており、
前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記複数の加熱装置のうち、前記ユーザが意図して接近している前記加熱対象物を加熱している加熱装置を特定する情報であるユーザ接近加熱装置情報を含んでおり、
前記接近安全度推定部は、前記複数の加熱装置のそれぞれに対する前記接近安全度を前記学習器から取得し、
前記加熱量制御部は、前記接近安全度推定部が推定した前記複数の加熱装置のそれぞれに対する前記接近安全度に基づいて、前記複数の加熱装置の加熱量を、それぞれに制御する、請求項２から４のいずれか一項に記載の加熱調理システム。

【請求項6】

コンピュータが、
加熱部により加熱されている加熱対象物に接近しているユーザの状態を含む画像であるユーザ接近画像を撮像可能に構成されている撮像装置から、前記ユーザ接近画像を取得する画像取得ステップと、
前記ユーザが、前記加熱対象物に対して意図して接近しているか否かの度合いとして、前記加熱対象物に接近している前記ユーザの状態に対する接近安全度を、前記ユーザ接近画像に基づいて推定するための機械学習を行った学習済みの学習器に、前記画像取得ステップにおいて取得した前記ユーザ接近画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記接近安全度を前記学習器から取得する接近安全度推定ステップと、
前記接近安全度推定ステップにおいて推定した前記接近安全度に基づいて、前記加熱部の加熱量を制御する加熱量制御ステップと、を実行する、加熱調理方法。

【請求項7】

前記コンピュータが、前記ユーザに関する情報であるユーザ情報を取得するユーザ情報取得ステップをさらに実行し、
前記学習器は、前記ユーザ情報にも基づいて前記接近安全度を推定するための機械学習を行っており、
前記コンピュータは、前記接近安全度推定ステップにおいて、前記ユーザ情報取得ステップで取得した前記ユーザ情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記接近安全度を前記学習器から取得する、請求項６に記載の加熱調理方法。

【請求項8】

前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記ユーザが所持している所持物に関する情報であるユーザ所持物情報と、前記ユーザの服装に関する情報であるユーザ服装情報と、前記ユーザの体勢に関する情報であるユーザ体勢情報と、前記ユーザの体型に関する情報であるユーザ体型情報と、のうちの少なくとも一つを含む、請求項７に記載の加熱調理方法。

【請求項9】

前記コンピュータが、前記ユーザの生体に関する情報であるユーザ生体情報を測定可能に構成されている測定装置から前記ユーザ生体情報を取得するユーザ生体情報取得ステップをさらに実行し、
前記ユーザ情報は、前記ユーザ生体情報取得ステップで取得される前記ユーザ生体情報を含む、請求項７または８に記載の加熱調理方法。

【請求項10】

前記加熱部は、複数の加熱装置を備えており、
前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記複数の加熱装置のうち、前記ユーザが意図して接近している前記加熱対象物を加熱している加熱装置を特定する情報であるユーザ接近加熱装置情報を含んでおり、
前記コンピュータは、
前記接近安全度推定ステップにおいて、前記複数の加熱装置のそれぞれに対する前記接近安全度を前記学習器から取得し、
前記加熱量制御ステップにおいて、前記接近安全度推定ステップで推定した前記複数の加熱装置のそれぞれに対する前記接近安全度に基づいて、前記複数の加熱装置の加熱量を、それぞれに制御する、請求項７から９のいずれか一項に記載の加熱調理方法。

【請求項11】

加熱部により加熱されている加熱対象物に接近しているユーザの状態に対する接近安全度であって、前記ユーザが、前記加熱対象物に対して意図して接近しているか否かの度合いである前記接近安全度と、前記接近安全度に対応付けられており、前記ユーザの状態を含む画像であるユーザ接近画像を撮像可能に構成されている撮像装置から取得する前記ユーザ接近画像と、を含む学習データを取得する学習データ取得部と、
前記ユーザ接近画像を含む入力に対して、前記接近安全度に対応する出力値を含む出力を得るように学習器の機械学習を行う学習処理部と、を備えている、学習装置。

【請求項12】

前記学習データは、前記接近安全度に対応付けられており、前記ユーザに関する情報であるユーザ情報をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記ユーザ情報も含む、請求項１１に記載の学習装置。

【請求項13】

前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記ユーザが所持している所持物に関する情報であるユーザ所持物情報と、前記ユーザの服装に関する情報であるユーザ服装情報と、前記ユーザの体勢に関する情報であるユーザ体勢情報と、前記ユーザの体型に関する情報であるユーザ体型情報と、のうちの少なくとも一つを含む、請求項１２に記載の学習装置。

【請求項14】

前記ユーザ情報は、前記ユーザの生体に関する情報であるユーザ生体情報を測定可能に構成されている測定装置から取得する前記ユーザ生体情報を含む、請求項１２または１３に記載の学習装置。

【請求項15】

前記加熱部は、複数の加熱装置を備えており、
前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記複数の加熱装置のうち、前記ユーザが意図して接近している前記加熱対象物を加熱している加熱装置を特定する情報であるユーザ接近加熱装置情報を含んでおり、
前記学習処理部は、前記複数の加熱装置のそれぞれに対する前記接近安全度に対応する出力値を含む出力を得るように学習器の機械学習を行う、請求項１２から１４のいずれか一項に記載の学習装置。

【請求項16】

コンピュータが、
加熱部により加熱されている加熱対象物に接近しているユーザの状態に対する接近安全度であって、前記ユーザが、前記加熱対象物に対して意図して接近しているか否かの度合いである前記接近安全度と、前記接近安全度に対応付けられており、前記ユーザの状態を含む画像であるユーザ接近画像を撮像可能に構成されている撮像装置から取得する前記ユーザ接近画像と、を含む学習データを取得する学習データ取得ステップと、
前記ユーザ接近画像を含む入力に対して、前記接近安全度に対応する出力値を含む出力を得るように学習器の機械学習を行う学習処理ステップと、を実行する、学習方法。

【請求項17】

前記学習データは、前記接近安全度に対応付けられており、前記ユーザに関する情報であるユーザ情報をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記ユーザ情報も含む、請求項１６に記載の学習方法。

【請求項18】

前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記ユーザが所持している所持物に関する情報であるユーザ所持物情報と、前記ユーザの服装に関する情報であるユーザ服装情報と、前記ユーザの体勢に関する情報であるユーザ体勢情報と、前記ユーザの体型に関する情報であるユーザ体型情報と、のうちの少なくとも一つを含む、請求項１７に記載の学習方法。

【請求項19】

前記ユーザ情報は、前記ユーザの生体に関する情報であるユーザ生体情報を測定可能に構成されている測定装置から取得する前記ユーザ生体情報を含む、請求項１７または１８に記載の学習方法。

【請求項20】

前記加熱部は、複数の加熱装置を備えており、
前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記複数の加熱装置のうち、前記ユーザが意図して接近している前記加熱対象物を加熱している加熱装置を特定する情報であるユーザ接近加熱装置情報を含んでおり、
前記コンピュータは、前記学習処理ステップにおいて、前記複数の加熱装置のそれぞれに対する前記接近安全度に対応する出力値を含む出力を得るように学習器の機械学習を行う、請求項１７から１９のいずれか一項に記載の学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書が開示する技術は、加熱調理システム、加熱調理方法、学習装置、学習方法に関する。

【背景技術】

【0002】

特許文献１に、加熱部（例えば、ガスバーナ）で加熱対象物(例えば、調理器具)を加熱している画像を撮像し、撮像した画像に異物（例えば、ユーザの手）が含まれる場合に、加熱部の加熱量を抑制する加熱調理器が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－７４２４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の加熱調理器では、調理中のユーザが不注意で加熱対象物に接近した場合に限らず、ユーザが意図して加熱対象物に接近した場合であっても、加熱部の加熱量が抑制される。このため、意図して加熱対象物に接近したユーザは、抑制された加熱量を再び増加させる必要がある。本明細書では、加熱対象物に接近するユーザの状態に対応して、加熱部の加熱量を制御することができる技術を提供する。

【課題を解決するための手段】

【0005】

本明細書が開示する加熱調理システムは、加熱部と、画像取得部と、接近安全度推定部と、加熱量制御部と、を備えている。加熱部は、加熱対象物を加熱する。画像取得部は、前記加熱対象物に接近しているユーザの状態を含む画像であるユーザ接近画像を撮像可能に構成されている撮像装置から、前記ユーザ接近画像を取得する。接近安全度推定部は、前記ユーザが、前記加熱対象物に対して意図して接近しているか否かの度合いとして、前記加熱対象物に接近している前記ユーザの状態に対する接近安全度を、前記ユーザ接近画像に基づいて推定するための機械学習を行った学習済みの学習器に、前記画像取得部が取得した前記ユーザ接近画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記接近安全度を前記学習器から取得する。加熱量制御部は、前記接近安全度推定部が推定した前記接近安全度に基づいて、前記加熱部の加熱量を制御する。

【0006】

ユーザの加熱対象物への接近は、ユーザが意図している接近と、意図していない（不注意な）接近と、に分けられる。不注意な接近に対しては、加熱量を低減させることで、ユーザへの安全性が向上する。しかしながら、ユーザの利便性を考慮すると、ユーザが意図して加熱対象物に接近している場合には、加熱量を保持することが求められる。上記した加熱調理システムは、加熱対象物に対する意図している接近と不注意な接近を区別するために、加熱対象物に接近しているユーザの状態の画像に基づいて接近安全度を推定する。これにより、上記した加熱調理システムは、推定された接近安全度に基づいて、意図している接近に対しては加熱部の加熱量を保持し、不注意な接近に対しては加熱部の加熱量を低減させることができる。

【0007】

上記一側面に係る加熱調理システムは、前記ユーザに関する情報であるユーザ情報を取得するユーザ情報取得部をさらに備えていてもよい。その場合、前記学習器は、前記ユーザ情報にも基づいて前記接近安全度を推定するための機械学習を行ってもよい。前記接近安全度推定部は、前記ユーザ情報取得部が取得した前記ユーザ情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記接近安全度を前記学習器から取得してもよい。

【0008】

上記の加熱調理システムによれば、ユーザ情報取得部が取得したユーザ情報にも基づいて接近安全度を推定することで、接近安全度の推定精度を向上させることができる。

【0009】

上記一側面に係る加熱調理システムでは、前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記ユーザが所持している所持物に関する情報であるユーザ所持物情報と、前記ユーザの服装に関する情報であるユーザ服装情報と、前記ユーザの体勢に関する情報であるユーザ体勢情報と、前記ユーザの体型に関する情報であるユーザ体型情報と、のうちの少なくとも一つを含んでもよい。

【0010】

ユーザが調理器具（例えば、菜箸、おたま等）を所持している場合には、ユーザは、意図して加熱対象物に接近していることが推定される。すなわち、その場合には、高い接近安全度が推定される。一方、ユーザが何も所持していない場合には、ユーザは不注意で加熱対象物に接近しているおそれがある。すなわち、その場合には、低い推定安全度が推定される。このように、上記の加熱調理システムによれば、接近安全度に影響があるユーザ所持物情報にも基づいて接近安全度を推定することで、接近安全度の推定精度を向上させることができる。

【0011】

また、例えば加熱対象物に接近しているユーザが、エプロンを着用している場合には、そのユーザは、加熱対象物に対して意図して接近している可能性が高い。すなわち、ユーザがエプロンを着用している場合には、高い接近安全度が推定される。一方で、ユーザがエプロンを着用していない場合には、低い接近安全度が推定される。上記の加熱調理システムによれば、接近安全度に影響するユーザ服装情報にも基づいて接近安全度を推定することで、接近安全度の推定精度を向上させることができる。

【0012】

さらに、例えばユーザの視線が加熱対象物に向けられている場合には、接近している加熱対象物を、ユーザが意識していると推定される。すなわち、その場合、高い接近安全度が推定される。一方、ユーザの視線が別の場所に向けられている場合には、接近している加熱対象物をユーザが意識していないおそれがある。すなわち、その場合には、低い接近安全度が推定される。上記の加熱調理システムによれば、接近安全度に影響するユーザ体勢情報にも基づいて接近安全度を推定することで、接近安全度の推定精度を向上させることができる。

【0013】

また、例えばユーザの手が短い場合には、ユーザの手は加熱対象物に届きにくい。すなわち、そのような場合には、高い接近安全度が推定される。一方で、ユーザの手が長い場合には、ユーザの手は加熱対象物に届きやすい。すなわち、そのような場合には、低い接近安全度が推定される。上記の加熱調理システムによれば、接近安全度に影響するユーザ体型情報にも基づいて接近安全度を推定することで、接近安全度の推定精度を向上させることができる。

【0014】

上記一側面に係る加熱調理システムは、前記ユーザの生体に関する情報であるユーザ生体情報を測定可能に構成されている測定装置から、前記ユーザ生体情報を取得するユーザ生体情報取得部をさらに備えていてもよい。その場合、前記ユーザ情報は、前記ユーザ生体情報取得部が取得した前記ユーザ生体情報を含んでもよい。

【0015】

例えば、ユーザの体調が悪い場合には、めまい、立ち眩み等によって、ユーザが意図せず加熱対象物に接近してしまうことも起こりえる。すなわち、ユーザの体調が悪い場合には、低い接近安全度が推定される。例えばユーザの体温や脈拍等、ユーザの生体情報は、ユーザの体調を示す一つの指標となり得る。上記の加熱調理システムによれば、ユーザの体調を示すユーザ生体情報にも基づいて接近安全度を推定することで、接近安全度の推定精度を向上させることができる。

【0016】

上記一側面に係る加熱調理システムでは、前記加熱部は、複数の加熱装置を備えていてもよい。その場合、前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記複数の加熱装置のうち、前記ユーザが意図して接近している前記加熱対象物を加熱している加熱装置を特定する情報であるユーザ接近加熱装置情報を含んでもよい。前記安全推定部は、前記複数の加熱装置のそれぞれに対する前記接近安全度を前記学習器から取得してもよい。前記加熱量制御部は、前記接近安全度推定部が推定した前記複数の加熱装置のそれぞれに対する前記接近安全度に基づいて、前記複数の加熱装置の加熱量を、それぞれに制御してもよい。

【0017】

複数の加熱装置を備える場合、ユーザは、ユーザが意図して接近している加熱対象物を加熱している加熱装置に対して注意深くなる。すなわち、ユーザが意図して接近している加熱対象物を加熱している加熱装置に対しては、高い接近安全度が推定される。一方、ユーザは、ユーザが接近を意図していない加熱対象物を加熱している加熱装置に対しては不注意となるおそれがある。すなわち、ユーザが接近を意図していない加熱対象物を加熱している加熱装置に対しては、低い接近安全度が推定される。上記の加熱調理システムによれば、高い接近安全度が推定される、ユーザが意図して接近している加熱対象物を加熱している加熱装置の加熱量を保持することができ、低い接近安全度が推定される、その他の加熱装置の加熱量を、低減させることができる。

【0018】

本明細書が開示する加熱調理方法では、コンピュータが、画像取得ステップと、接近安全度推定ステップと、加熱量制御ステップと、を実行してもよい。画像取得ステップでは、コンピュータが、加熱部により加熱されている加熱対象物に接近しているユーザの状態を含む画像であるユーザ接近画像を撮像可能に構成されている撮像装置から、前記ユーザ接近画像を取得する。接近安全度推定ステップでは、前記ユーザが、前記加熱対象物に対して意図して接近しているか否かの度合いとして、前記加熱対象物に接近している前記ユーザの状態に対する接近安全度を、前記ユーザ接近画像に基づいて推定するための機械学習を行った学習済みの学習器に、前記画像取得部が取得した前記ユーザ接近画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記接近安全度を前記学習器から取得する。加熱量制御ステップでは、コンピュータが、前記接近安全度推定ステップにおいて推定した前記接近安全度に基づいて、前記加熱部の加熱量を制御する。

【0019】

上記一側面に係る加熱調理方法では、前記コンピュータが、前記ユーザに関する情報であるユーザ情報を取得するユーザ情報取得ステップをさらに実行してもよい。その場合、前記学習器は、前記ユーザ情報にも基づいて前記接近安全度を推定するための機械学習を行ってもよい。前記コンピュータは、前記接近安全度推定ステップにおいて、前記ユーザ情報取得ステップで取得した前記ユーザ情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記接近安全度を前記学習器から取得してもよい。

【0020】

上記一側面に係る加熱調理方法では、前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記ユーザが所持している所持物に関する情報であるユーザ所持物情報と、前記ユーザの服装に関する情報であるユーザ服装情報と、前記ユーザの体勢に関する情報であるユーザ体勢情報と、前記ユーザの体型に関する情報であるユーザ体型情報と、のうちの少なくとも一つを含んでもよい。

【0021】

上記一側面に係る加熱調理方法では、前記コンピュータが、前記ユーザの生体に関する情報であるユーザ生体情報を測定可能に構成されている測定装置から前記ユーザ生体情報を取得するユーザ生体情報取得ステップをさらに実行してもよい。その場合、前記ユーザ情報は、前記ユーザ生体情報取得ステップで取得される前記ユーザ生体情報を含んでもよい。

【0022】

上記一側面に係る加熱調理方法では、前記加熱部は、複数の加熱装置を備えていてもよい。その場合、前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記複数の加熱装置のうち、前記ユーザが意図して接近している前記加熱対象物を加熱している加熱装置を特定する情報であるユーザ接近加熱装置情報を含んでもよい。前記コンピュータは、前記接近安全度推定ステップにおいて、前記複数の加熱装置のそれぞれに対する前記接近安全度を前記学習器から取得てもよい。コンピュータは、前記加熱量制御ステップにおいて、前記接近安全度推定ステップで推定した前記複数の加熱装置のそれぞれに対する前記接近安全度に基づいて、前記複数の加熱装置の加熱量を、それぞれに制御してもよい。

【0023】

本明細書が開示する学習装置は、学習データ取得部と、学習処理部と、を備えてもよい。学習データ取得部は、加熱部により加熱されている加熱対象物に接近しているユーザの状態に対する接近安全度であって、前記ユーザが、前記加熱対象物に対して意図して接近しているか否かの度合いである前記接近安全度と、前記接近安全度に対応付けられており、前記ユーザの状態を含む画像であるユーザ接近画像を撮像可能に構成されている撮像装置から取得する前記ユーザ接近画像と、を含む学習データを取得する。学習処理部は、前記ユーザ接近画像を含む入力に対して、前記接近安全度に対応する出力値を含む出力を得るように学習器の機械学習を行う。

【0024】

上記の学習装置によれば、ユーザ接近画像に基づいて接近安全度を推定するための学習済みの学習器を構築することができる。

【0025】

上記一側面に係る学習装置では、前記学習データは、前記接近安全度に対応付けられており、前記ユーザに関する情報であるユーザ情報をさらに含んでもよい。その場合、前記学習器の前記機械学習における前記入力が、前記ユーザ情報も含んでもよい。

【0026】

上記の学習装置によれば、ユーザ情報にも基づいて、接近安全度を推定するための学習済みの学習器を構築することができる。

【0027】

上記一側面に係る学習装置では、前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記ユーザが所持している所持物に関する情報であるユーザ所持物情報と、前記ユーザの服装に関する情報であるユーザ服装情報と、前記ユーザの体勢に関する情報であるユーザ体勢情報と、前記ユーザの体型に関する情報であるユーザ体型情報と、のうちの少なくとも一つを含んでもよい。

【0028】

上記の学習装置によれば、ユーザ所持物情報と、ユーザ服装情報と、ユーザ体勢情報と、ユーザ体型情報と、のうちの少なくとも一つを含むユーザ情報にも基づいて、接近安全度を推定するための学習済みの学習器を構築することができる。

【0029】

上記一側面に係る学習装置では、前記ユーザ情報は、前記ユーザの生体に関する情報であるユーザ生体情報を測定可能に構成されている測定装置から取得する前記ユーザ生体情報を含んでもよい。

【0030】

上記の学習装置によれば、ユーザ生体情報を含むユーザ情報にも基づいて、接近安全度を推定するための学習済みの学習器を構築することができる。

【0031】

上記一側面に係る学習装置では、前記加熱部は、複数の加熱装置を備えていてもよい。その場合、前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記複数の加熱装置のうち、前記ユーザが意図して接近している前記加熱対象物を加熱している加熱装置を特定する情報であるユーザ接近加熱装置情報を含んでもよい。前記学習処理部は、前記複数の加熱装置のそれぞれに対する前記接近安全度に対応する出力値を含む出力を得るように学習器の機械学習を行ってもよい。

【0032】

上記の学習装置によれば、複数の加熱装置を備える場合に、ユーザ接近加熱装置情報に基づいて、複数の加熱装置のそれぞれに対する接近安全度を推定するための学習済みの学習器を構築することができる。

【0033】

本明細書が開示する学習方法では、コンピュータが、学習データ取得ステップと、学習処理ステップと、を実行してもよい。学習データ取得ステップでは、コンピュータが、加熱部により加熱されている加熱対象物に接近しているユーザの状態に対する接近安全度であって、前記ユーザが、前記加熱対象物に対して意図して接近しているか否かの度合いである前記接近安全度と、前記接近安全度に対応付けられており、前記ユーザの状態を含む画像であるユーザ接近画像を撮像可能に構成されている撮像装置から取得する前記ユーザ接近画像と、を含む学習データを取得する。学習処理ステップでは、コンピュータが、前記ユーザ接近画像を含む入力に対して、前記接近安全度に対応する出力値を含む出力を得るように学習器の機械学習を行う。

【0034】

上記一側面に係る学習方法では、前記学習データは、前記接近安全度に対応付けられており、前記ユーザに関する情報であるユーザ情報をさらに含んでもよい。その場合、前記学習器の前記機械学習における前記入力が、前記ユーザ情報も含んでもよい。

【0035】

上記一側面に係る学習方法では、前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記ユーザが所持している所持物に関する情報であるユーザ所持物情報と、前記ユーザの服装に関する情報であるユーザ服装情報と、前記ユーザの体勢に関する情報であるユーザ体勢情報と、前記ユーザの体型に関する情報であるユーザ体型情報と、のうちの少なくとも一つを含んでもよい。

【0036】

上記一側面に係る学習方法では、前記ユーザ情報は、前記ユーザの生体に関する情報であるユーザ生体情報を測定可能に構成されている測定装置から取得する前記ユーザ生体情報を含んでもよい。

【0037】

上記一側面に係る学習方法では、前記加熱部は、複数の加熱装置を備えていてもよい。その場合、前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記複数の加熱装置のうち、前記ユーザが意図して接近している前記加熱対象物を加熱している加熱装置を特定する情報であるユーザ接近加熱装置情報を含んでもよい。前記コンピュータは、前記学習処理ステップにおいて、前記複数の加熱装置のそれぞれに対する前記接近安全度に対応する出力値を含む出力を得るように学習器の機械学習を行ってもよい。

【0038】

本明細書が開示する技術の詳細とさらなる改良は以下の「発明を実施するための形態」にて説明する。

【図面の簡単な説明】

【0039】

【図1】一側面に係る実施形態の加熱調理システムの斜視図を示す。

【図2】レンジフードを下方から見た斜視図を示す。

【図3】加熱調理システムのハードウェアの構成を示す。

【図4】学習装置のハードウェアの構成を示す。

【図5】制御装置のソフトウェアの構成を示す。

【図6】学習装置のソフトウェアの構成を示す。

【図7】加熱調理器の平面図を示す。

【図8】ユーザの手の状態を撮像した画像の例を示す。

【図9】複数のコンロを使用している場合の加熱料理器の平面図を示す。

【図10】ユーザ情報の一例を示す。

【図11】制御装置が実行する処理のフロー図を示す。

【図12】学習装置が実行する処理のフロー図を示す。

【発明を実施するための形態】

【0040】

（実施形態）
図１は、一側面に係る実施形態の加熱調理システム２を模式的に示した斜視図である。図１に示されるように、加熱調理システム２は、レンジフード４と、加熱調理器１０を備えている。加熱調理器１０は、システムキッチンに組み込んで使用されるガス燃焼式のビルトインコンロである。レンジフード４は、加熱調理器１０の上方に配置された換気装置である。

【0041】

加熱調理器１０の天板１０ｕには、第１コンロ１１ａと、第２コンロ１１ｂと、第３コンロ１１ｃと、グリル２８に連通する排気口１７が配置されている。また、加熱調理器１０の前側（すなわち、図１の右側）の面である前面１０ｆには、コンロ操作部２０と、グリル２８が設けられている。本明細書では、理解を助けるため、加熱調理器１０の前面１０ｆが設けられている側を単に「前側」と表現し、その反対側を単に「後側」と表現することがある。また、前側と後側を結ぶ方向を前後方向とする。前後方向と直交する水平方向の左右については、加熱調理器１０の前側に位置し、前面１０ｆと対向するユーザの右側および左側と同様とする。また、加熱調理器１０の前面１０ｆの左側には、グリル２８内のグリルバーナ２９ａ（図３参照）を操作するグリル操作部が設けられているが、本明細書では説明を省略する。

【0042】

第１コンロ１１ａと、第２コンロ１１ｂと、第３コンロ１１ｃは、天板１０ｕの上面に前後方向に２列に配置されている。第１コンロ１１ａは、第１コンロバーナ１２ａと、第１センサ１４ａと、五徳１６ａを備えている。第１コンロバーナ１２ａには、ガス供給路（図示省略）が接続されている。ガス供給路には、第１コンロバーナ１２ａへのガス供給量を調整するための流量調整弁（図示省略）が設けられている。第１コンロバーナ１２ａは、第１コンロバーナ１２ａにガスが供給されている状態でイグナイタ（図示省略）を動作させることによって点火する。第１コンロ１１ａは、点火した第１コンロバーナ１２ａによって、上方に載置される鍋やフライパン等の調理容器を加熱する。第１コンロバーナ１２ａへのガス供給量を調整することにより、第１コンロバーナ１２ａの加熱量を調整することができる。また、第１コンロバーナ１２ａへのガスの供給が停止されることにより、第１コンロバーナ１２ａは消火される。なお、第２コンロ１１ｂが備えている第２コンロバーナ１２ｂと、第３コンロ１１ｃが備えている第３コンロバーナ１２ｃも、第１コンロバーナ１２ａと同様の構造を有している。

【0043】

第１センサ１４ａは、第１コンロ１１ａの調理容器の存在を検出するとともに、調理容器の温度を検出する。第１コンロ１１ａの上に調理容器が載置されると、第１センサ１４ａが調理容器によって押圧される。第１センサ１４ａは、調理容器によって押圧されると、第１コンロ１１ａの上に調理容器が載置されたことを検知する。第１コンロ１１ａの上に調理容器が載置されていない場合は、第１センサ１４ａが押圧されない。第１センサ１４ａ内には熱電対が配置されており、第１センサ１４ａに接触している対象物の温度を検出することができる。なお、第２コンロ１１ｂが備えている第２センサ１４ｂと、第３コンロ１１ｃが備えている第３センサ１４ｃも、第１センサ１４ａと同様の構造を有する。また、五徳１６ａ～１６ｃは、それぞれのコンロの上方に載置される調理容器を、それぞれのコンロバーナから一定の距離離間させた状態で支持する。

【0044】

コンロ操作部２０は、加熱調理器１０の電源スイッチ２４と、第１加熱量操作部２０ａと、第２加熱量操作部２０ｂと、第３加熱量操作部２０ｃと、パネル操作部２２を備えている。電源スイッチ２４は、加熱調理器１０を起動させるスイッチであり、電源スイッチ２４をオンすることで各コンロバーナへの点火が可能になる。第１加熱量操作部２０ａは、第１コンロ１１ａに対応する。同様に、第２加熱量操作部２０ｂは第２コンロ１１ｂに対応し、第３加熱量操作部２０ｃは第３コンロ１１ｃに対応する。第１加熱量操作部２０ａは、第１コンロバーナ１２ａの点火および消火を行うとともに、第１コンロバーナ１２ａの加熱量の調整を行うためのオルタネイト型のスイッチである。第２加熱量操作部２０ｂと第３加熱量操作部２０ｃも、第１加熱量操作部２０ａと同様の構造を有している。

【0045】

パネル操作部２２には、各コンロバーナ（すなわち、第１コンロバーナ１２ａ、第２コンロバーナ１２ｂ、第３コンロバーナ１２ｃ）、およびグリルバーナ２９ａ（図３参照）の動作状態などが表示される。ユーザは、パネル操作部２２によって、各コンロバーナおよびグリルバーナ２９ａを所定の時間経過後に消火する、消火タイマーの設定等をすることができる。

【0046】

加熱調理器１０は、制御装置４０を内部に収容している。制御装置４０は、第１コンロ１１ａと、第２コンロ１１ｂと、第３コンロ１１ｃと、グリル２８内のグリルバーナ２９ａ（図３参照）の火力（すなわち、加熱量）を自動制御するためのコンピュータである。制御装置４０は、インターネットを介して、学習装置３０に接続されている。制御装置４０および学習装置３０の詳細については後述する。

【0047】

次に、レンジフード４について説明する。レンジフード４は、内部に不図示のファンを収容している。レンジフード４は、ファンを下方から覆うレンジカバー６と、カメラカバー８と、スピーカ９ｃと、体温計９ｄと、を備えている。

【0048】

図２に示されるように、カメラカバー８は、レンジカバー６の後側中央部に配置されている。カメラカバー８の左右両側の端部には、下方に延びているフランジが設けられている。カメラカバー８の中央部には、加熱対象物カメラ９ａと、ユーザカメラ９ｂと、が配置されている。加熱対象物カメラ９ａとユーザカメラ９ｂは、ともに半球形状を有している。加熱対象物カメラ９ａとユーザカメラ９ｂは、同様の構造を備えており、それぞれの撮像可能な範囲が異なるだけである。詳細は後述するが、加熱対象物カメラ９ａは、図１を参照して説明した加熱調理器１０の天板１０ｕとその周辺の画像を、上方から撮像可能に構成されている。ユーザカメラ９ｂは、加熱調理器１０の前方に位置するユーザの画像を、後方から（すなわち、ユーザの前方から）撮像可能に構成されている。加熱対象物カメラ９ａとユーザカメラ９ｂが画像を撮像する技術については、既知であるためここでは説明を省略する。

【0049】

また、レンジフード４の前面の左側端部には、スピーカ９ｃが配置されている。スピーカ９ｃは、加熱調理器１０のユーザに音声を伝える。さらに、レンジフード４の前面の中央部には、体温計９ｄが配置されている。体温計９ｄは、加熱調理器１０の前面に位置するユーザの体温を非接触で測定することができる。すなわち、体温計９ｄは、ユーザの体温（生体情報）を測定可能に構成されている。体温計９ｄがユーザの体温を非接触で測定する技術については、既知であるためここでは説明を省略する。また、体温計９ｄは、加熱調理器１０に配置されていてもよい。

【0050】

図３を参照して、加熱調理システム２が備えている制御構成について説明する。なお、図３では、第１コンロ１１ａの第１コンロバーナ１２ａのみを記載して、第２コンロバーナ１２ｂと第３コンロバーナ１２ｃの記載を省略している。同様に、図３では、第１コンロ１１ａの第１センサ１４ａのみを記載して、第２センサ１４ｂと第３センサ１４ｃの記載を省略している。電源スイッチ２４がオンされると、コンロ操作部２０、パネル操作部２２、制御装置４０等が起動する。

【0051】

制御装置４０は、ハードウェアプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を備えている。コンロ操作部２０が操作されると、その操作に基づいて、制御装置４０は、第１コンロバーナ１２ａの火力を調整する。制御装置４０は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により構成される。

【0052】

制御装置４０は、例えばＲＡＭ，ＲＯＭ等で構成されている学習記憶部４６と、加熱量記憶部４８と、外部インターフェース（図３では外部Ｉ／Ｆと記載されている）４２と、を備えている。学習記憶部４６は、プログラム４６ｐと、学習結果データ３２ｒを記憶している。プログラム４６ｐは、制御装置４０に、各コンロ上の調理容器に接近しているユーザの状態に対する接近安全度を推定する処理を実行させるための命令を含んでいる。ここで、接近安全度とは、各コンロ上の調理容器に接近しているユーザが、各コンロに対して意図して接近しているか否かの度合いを示す値である。学習結果データ３２ｒは、学習済みの学習器の設定を行うためのデータであり、図１に示す学習装置３０で生成され、インターネットを介して制御装置４０に送信される。

【0053】

加熱量記憶部４８は、接近安全度と、接近安全度のそれぞれに対応する加熱量のパターンによって構成された加熱量テーブル４８ｔを記憶している。接近安全度は、４段階に分類される。接近安全度の数字が小さい場合は、ユーザがコンロに対して意図せず（すなわち、不注意で）接近している可能性が高い。接近安全度が「１」と推定された場合は、危険であるため、制御装置４０は、コンロバーナの加熱量をゼロにする（すなわち、加熱を停止する）（パターンＡの例）。一方、接近安全度が「４」と推定された場合は、安全であるため、制御装置４０は、コンロバーナの加熱量を維持する（パターンＤの例）。さらに、接近安全度が「２」と推定された場合は、制御装置４０は、加熱量を所定の時間弱火に設定する（パターンＢの例）。接近安全度が「３」と推定された場合は、制御装置４０は、加熱量を所定の時間中火に設定する（パターンＣの例）。また、制御装置４０は、接近安全度が「３」と推定された場合であっても、加熱量が弱火である場合には、その加熱量を維持する。このような制御構成とすることで、接近安全度に対してコンロバーナの加熱量が大きい場合にのみ、加熱量を変更することができる。すなわち、このような制御構成とすることで、必要以上に加熱量が変更されることを抑制することができる。このような制御構成とすることで、加熱対象物に対して接近しているユーザが、その加熱対象物を加熱しているコンロバーナによって、意図せず加熱されるおそれがある場合にのみ、加熱量を変更することができる。なお、接近安全度は、上記の４段階に限定されず、少なくとも２段階（すなわち、危険か否か）に分類されていればよい。さらに、接近安全度は、加熱量を変化させる時間の長さや量によって、より多段階に分類されてもよい。また、加熱量テーブル４８ｔは、加熱調理器１０の製造時に加熱量記憶部４８に予め記憶されていてもよいし、外部サーバとの通信が可能な外部インターフェース４２を介して、外部サーバからダウンロードして加熱量記憶部４８に記憶されていてもよい。

【0054】

外部インターフェース４２は、制御装置４０と外部の装置を接続するインターフェースである。外部インターフェース４２は、制御装置４０と加熱対象物カメラ９ａ、ユーザカメラ９ｂ、スピーカ９ｃ、体温計９ｄを接続する。外部インターフェース４２は、例えば、Ｗｉ－Ｆｉ（登録商標）方式によって、加熱対象物カメラ９ａ、ユーザカメラ９ｂ、スピーカ９ｃ、体温計９ｄに接続される。

【0055】

図４を参照して、学習装置３０について説明する。学習装置３０は、記憶部３２と、入力装置３４ｉと、出力装置３４оと、制御部３６と、通信インターフェース（図４では、通信Ｉ／Ｆと記載している）３８と、ドライブ３９を備えている。学習装置３０は、各デバイスが電気的に接続されているコンピュータである。

【0056】

制御部３６は、ハードウェアプロセッサであるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラムおよびデータに基づいて各種情報処理を実行するように構成される。記憶部３２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部３２は、制御部３６で実行される学習プログラム３２ｐ、学習器の機械学習に利用する学習データ３２ｄ、学習プログラム３２ｐを実行して作成した学習結果データ３２ｒを記憶する。

【0057】

学習プログラム３２ｐは、後述する機械学習の処理（図１２）を学習装置３０に実行させ、当該機械学習の結果として学習結果データ３２ｒを生成させるためのプログラムである。学習データ３２ｄは、入力された情報から接近安全度を推定するように学習器の機械学習を行うためのデータである。詳細は後述する。

【0058】

通信インターフェース３８は、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインターフェースである。学習装置３０は、当該通信インターフェース３８を介して、作成した学習結果データ３２ｒを外部の装置に配信してもよい。

【0059】

入力装置３４ｉは、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置３４оは、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。学習装置３０のオペレータは、入力装置３４ｉおよび出力装置３４оを介して、学習装置３０を操作することができる。

【0060】

ドライブ３９は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体３０ｍに記憶されたプログラムを読み込むためのドライブ装置である。ドライブ３９の種類は、記憶媒体３０ｍの種類に応じて適宜選択されてよい。上記学習プログラム３２ｐおよび学習結果データ３２ｒは、この記憶媒体３０ｍに記憶されていてもよい。

【0061】

記憶媒体３０ｍは、コンピュータその他の装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。学習装置３０は、この記憶媒体３０ｍから、学習プログラム３２ｐ、学習データ３２ｄを取得してもよい。

【0062】

図４では、記憶媒体３０ｍの一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体３０ｍは、ディスク型に限定されない。記憶媒体３０ｍは、例えば、フラッシュメモリ等の半導体メモリであってもよい。

【0063】

なお、学習装置３０の具体的なハードウェア構成に関しては、実施形態に応じて、適宜、構成要素の省略、置換および追加が可能である。例えば、制御部３６は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）等で構成されてよい。学習装置３０は、複数台の情報処理装置で構成されてもよい。また、学習装置３０は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等であってもよい。

【0064】

図５を参照して、制御装置４０の制御構成について説明する。図５では、制御装置４０の制御構成を模式的に示している。

【0065】

制御装置４０は、学習記憶部４６に記憶されたプログラム４６ｐをＲＡＭに展開する。制御装置４０は、ＲＡＭに展開されたプログラム４６ｐをＣＰＵにより解釈および実行して、各構成要素を制御する。これによって、図５に示されるとおり、制御装置４０は、ソフトウェアモジュールとして、画像取得部５１、画像解析部５２、解像度変換部５３、加熱量情報取得部５４、生体情報取得部５５、警報部５６、加熱量制御部５７、および接近安全度推定部５９を備えるコンピュータとして構成される。

【0066】

画像取得部５１は、加熱対象物カメラ９ａ、ユーザカメラ９ｂから撮像画像９ｉを取得する。詳細は図７～図１０を参照して説明するが、撮像画像９ｉには、加熱調理器１０の各コンロの上方に載置されている調理容器に接近しているユーザの手や、加熱中のユーザ、被調理物、調理容器等の状態が含まれている。

【0067】

画像解析部５２は、画像取得部５１が取得した撮像画像９ｉを解析して、撮像画像９ｉからユーザに関する情報である解析ユーザ情報５２ｕを抽出する。また、加熱量情報取得部５４は、加熱調理器１０の各コンロバーナから、ユーザが設定した各コンロバーナの加熱量に関する情報である加熱量情報を取得する。さらに、生体情報取得部５５は、体温計９ｄ（図２参照）が測定したユーザの体温を取得する。取得された加熱量情報とユーザの体温は、取得ユーザ情報５５ｕとしてユーザ情報６０に入力される。加熱量情報をユーザ情報６０に含めることで、各コンロバーナの加熱量を接近安全度の推定の条件に加えることができる。同様に、ユーザの体温をユーザ情報６０に含めることで、ユーザの体調に関する情報を接近安全度の推定の条件に加えることができる。

【0068】

解像度変換部５３は、画像取得部５１により取得した撮像画像９ｉの解像度を低下させる。これにより、解像度変換部５３は、低解像度撮像画像６２を生成する。

【0069】

接近安全度推定部５９は、接近安全度を推定するための機械学習を行った学習済みの学習器（ニューラルネットワーク７０）に、撮像画像９ｉを低解像度化することで得られた低解像度撮像画像６２を入力する。また、解析ユーザ情報５２ｕ、取得ユーザ情報５５ｕも、ユーザ情報６０として同様に入力される。これにより、接近安全度推定部５９は、接近安全度情報６４を学習器から取得する。低解像度化することで得られた低解像度撮像画像６２をニューラルネットワーク７０に入力することで、ニューラルネットワーク７０の演算処理の計算量を低減することができ、プロセッサの負荷を低減することができる。なお、低解像度化の処理は省略されてもよい。この場合、接近安全度推定部５９は、撮像画像９ｉを学習器（ニューラルネットワーク７０）に入力してもよい。

【0070】

接近安全度情報６４は、図３の加熱量記憶部４８が記憶している加熱量テーブル４８ｔに対応する接近安全度（すなわち、「１」～「４」）を含んでいる。加熱量制御部５７は、接近安全度推定部５９が学習器から取得した接近安全度情報６４に対応する加熱量パターンで、加熱調理器１０の各コンロバーナおよびグリル２８内のグリルバーナ２９ａの加熱量（すなわち、火力）を制御する。

【0071】

また、警報部５６は、接近安全度推定部５９が接近安全度を「１」～「３」（図３の加熱量テーブル４８ｔ参照）と推定した場合に、スピーカ９ｃ（図３参照）を介してユーザの接近により対象コンロバーナの加熱量が変更されたことをユーザに報知する。なお、警報部５６は、接近安全度推定部５９が接近安全度を「１」と推定した場合には、ユーザの接近が危険であるため、特に大きな音でスピーカ９ｃを介してユーザに報知してもよい。さらに、スピーカ９ｃは、加熱調理器１０に配置されていてもよい。

【0072】

制御装置４０は、接近安全度情報６４を推定するための機械学習を行った学習済みの学習器として、ニューラルネットワーク７０を利用する。ニューラルネットワーク７０は、複数種類のニューラルネットワークを組み合わせることで構成されている。

【0073】

ニューラルネットワーク７０は、全結合ニューラルネットワーク７２、畳み込みニューラルネットワーク７４、結合層７６、およびＬＳＴＭネットワーク７８の４つの部分に分かれている。全結合ニューラルネットワーク７２および畳み込みニューラルネットワーク７４は入力側に並列に配置されており、全結合ニューラルネットワーク７２にはユーザ情報６０が入力され、畳み込みニューラルネットワーク７４には低解像度撮像画像６２が入力される。結合層７６は、全結合ニューラルネットワーク７２および畳み込みニューラルネットワーク７４の出力を結合する。ＬＳＴＭネットワーク７８は、結合層７６からの出力を受けて、接近安全度情報６４を出力する。

【0074】

全結合ニューラルネットワーク７２は、いわゆる多層構造のニューラルネットワークであり、入力側から順に、入力層７２ｉ、中間層（隠れ層）７２ｍ、および出力層７２оを備えている。ただし、全結合ニューラルネットワーク７２の層の数は、このような例に限定されなくてもよく、実施形態に応じて適宜選択されてよい。

【0075】

全結合ニューラルネットワーク７２の各層７２ｉ、７２ｍ、７２оは、１又は複数のニューロン（ノード）を備えている。各層に含まれるニューロンの個数は、実施形態に応じて適宜設定されてよい。各層に含まれる各ニューロンが、隣接する層に含まれる全てのニューロンに結合されていることで、全結合ニューラルネットワーク７２は構成される。各結合には、重み（結合荷重）が適宜設定されている。

【0076】

畳み込みニューラルネットワーク７４は、畳み込み層７４ａおよびプーリング層７４ｂを交互に接続した構造を有する順伝播型ニューラルネットワークである。本実施形態に係る畳み込みニューラルネットワーク７４では、複数の畳み込み層７４ａおよびプーリング層７４ｂが入力側に交互に配置されている。そして、最も出力側に配置されたプーリング層７４ｂの出力が全結合層７４ｃに入力され、全結合層７４ｃの出力が出力層７４оに入力される。

【0077】

畳み込み層７４ａは、画像の畳み込みの演算を行う層である。画像の畳み込みとは、画像と所定のフィルタとの相関を算出する処理に相当する。そのため、画像の畳み込みを行うことで、例えば、フィルタの濃淡パターンと類似する濃淡パターンを入力される画像から検出することができる。

【0078】

プーリング層７４ｂは、プーリング処理を行う層である。プーリング処理は、画像のフィルタに対する応答の強かった位置の情報を一部捨て、画像内に現れる特徴の微小な位置変化に対する応答の不変性を実現する。

【0079】

全結合層７４ｃは、隣接する層の間のニューロン全てを結合した層である。すなわち、全結合層７４ｃに含まれる各ニューロンは、隣接する層に含まれる全てのニューロンに結合される。全結合層７４ｃは、２層以上で構成されてもよい。また、全結合層７４ｃに含まれるニューロンの個数は、実施形態に応じて適宜設定されてもよい。

【0080】

出力層７４оは、畳み込みニューラルネットワーク７４の最も出力側に配置される層である。出力層７４оに含まれるニューロンの個数は、実施形態に応じて適宜設定されてよい。なお、畳み込みニューラルネットワーク７４の構成は、このような例に限定されなくてもよく、実施形態に応じて適宜設定されてもよい。

【0081】

結合層７６は、全結合ニューラルネットワーク７２および畳み込みニューラルネットワーク７４とＬＳＴＭネットワーク７８との間に配置される。結合層７６は、全結合ニューラルネットワーク７２の出力層７２оからの出力および畳み込みニューラルネットワーク７４の出力層７４оからの出力を結合する。結合層７６の出力は、ＬＳＴＭネットワーク７８に入力される。結合層７６に含まれるニューロンの個数は、全結合ニューラルネットワーク７２および畳み込みニューラルネットワーク７４の出力の数に応じて適宜設定されてもよい。

【0082】

ＬＳＴＭネットワーク７８は、ＬＳＴＭブロック７８ｂを備える再帰型ニューラルネットワークである。再帰型ニューラルネットワークは、例えば、中間層から入力層への経路のように、内部にループを有するニューラルネットワークのことである。ＬＳＴＭネットワーク７８は、一般的な再帰型ニューラルネットワークの中間層をＬＳＴＭブロック７８ｂに置き換えた構造を有する。

【0083】

ＬＳＴＭネットワーク７８は、入力側から順に、入力層７８ｉ、ＬＳＴＭブロック７８ｂ、および出力層７８оを備えており、順伝播の経路の他、ＬＳＴＭブロック７８ｂから入力層７８ｉに戻る経路を有している。入力層７８ｉおよび出力層７８оに含まれるニューロンの個数は、実施形態に応じて適宜設定されてもよい。

【0084】

ＬＳＴＭブロック７８ｂは、入力ゲートおよび出力ゲートを備え、情報の記憶および出力のタイミングを学習可能に構成されたブロックである。また、ＬＳＴＭブロック７８ｂは、情報の忘却のタイミングを調節する忘却ゲートを備えてもよい。ＬＳＴＭネットワーク７８の構成は、実施形態に応じて適宜設定可能である。

【0085】

各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。制御装置４０は、全結合ニューラルネットワーク７２にユーザ情報６０を入力し、畳み込みニューラルネットワーク７４に低解像度撮像画像６２を入力する。そして、制御装置４０は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。このように、ニューラルネットワーク７０は、入力に対する演算処理を実行する。制御装置４０は、接近安全度情報６４に対応する出力値をニューラルネットワーク７０の出力層７８оから取得する。

【0086】

なお、このようなニューラルネットワーク７０の構成（例えば、各ネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数）、各ニューロン間の結合の重み、および各ニューロンの閾値を示す情報は、学習結果データ３２ｒに含まれている。制御装置４０は、学習結果データ３２ｒを参照して、ユーザが加熱調理器１０の各コンロバーナで加熱する接近安全度を推定する処理に用いる学習済みニューラルネットワーク７０の設定を行う。

【0087】

図６を用いて、学習装置３０について説明する。学習装置３０の制御部３６（図４参照）は、記憶部３２（図４参照）に記憶された学習プログラム３２ｐをＲＡＭに展開する。そして、制御部３６は、ＲＡＭに展開された学習プログラム３２ｐをＣＰＵにより解釈および実行して、各構成要素を制御する。これによって、図６に示されるとおり、学習装置３０は、ソフトウェアモジュールとして、学習データ取得部３１および学習処理部３３を備えるコンピュータとして構成される。

【0088】

学習データ取得部３１は、加熱対象物カメラ９ａおよびユーザカメラ９ｂが撮像した撮像画像９ｉを低解像度化することで得られた低解像度撮像画像６２ｔと、取得ユーザ情報５５ｕと解析ユーザ情報５２ｕからなるユーザ情報６０ｔと、低解像度撮像画像６２ｔおよびユーザ情報６０ｔに対応する接近安全度情報６４ｔの組を学習データ６６として取得する。低解像度撮像画像６２ｔおよびユーザ情報６０ｔはそれぞれ、図５を参照して説明した低解像度撮像画像６２およびユーザ情報６０に対応し、入力データとして利用される。接近安全度情報６４ｔは、図５の接近安全度情報６４に対応し、教師データ（正解データ）として利用される。学習処理部３３は、低解像度撮像画像６２ｔおよびユーザ情報６０ｔを入力すると、接近安全度情報６４ｔに対応する出力値を出力するように学習器の機械学習を行う。

【0089】

図６に示されるとおり、制御装置４０（図５参照）と同様に、学習装置３０は、ニューラルネットワーク７０ｔを備えている。学習装置３０のニューラルネットワーク７０ｔは、全結合ニューラルネットワーク７２ｔ、畳み込みニューラルネットワーク７４ｔ、結合層７６ｔ、およびＬＳＴＭネットワーク７８ｔを備えている。学習装置３０のニューラルネットワーク７０ｔは、制御装置４０のニューラルネットワーク７０と同様に構成される。そのため、学習装置３０の全結合ニューラルネットワーク７２ｔ、畳み込みニューラルネットワーク７４ｔ、結合層７６ｔ、およびＬＳＴＭネットワーク７８ｔはそれぞれ、制御装置４０の全結合ニューラルネットワーク７２、畳み込みニューラルネットワーク７４、結合層７６、およびＬＳＴＭネットワーク７８と同様である。すなわち、学習装置３０のニューラルネットワーク７０ｔは、制御装置４０のニューラルネットワーク７０と同様に演算処理を実行する。

【0090】

学習処理部３３は、全結合ニューラルネットワーク７２ｔにユーザ情報６０ｔを入力し、畳み込みニューラルネットワーク７４ｔに低解像度撮像画像６２ｔを入力すると、接近安全度情報６４ｔに対応する出力値をＬＳＴＭネットワーク７８ｔから出力するニューラルネットワーク７０ｔを構築する。そして、学習処理部３３は、構築したニューラルネットワーク７０の構成、各ニューロン間の結合の重みおよび各ニューロンの閾値を示す情報を、学習結果データ３２ｒとして記憶部３２に格納する。学習処理部３３は、記憶部３２に格納した学習結果データ３２ｒを、インターネットを介して定期的に制御装置４０に送信する。これにより、制御装置４０の学習結果データ３２ｒが定期的に更新される。

【0091】

図７～図１０を参照して、加熱調理システム２が、制御装置４０に入力する撮像画像９ｉについて説明する。まず、図７～図９を参照して加熱対象物カメラ９ａが撮像する撮像画像９ｉについて説明する。

【0092】

加熱対象物カメラ９ａは、加熱調理器１０の上方からの図７に示される画像を撮像する。図７に示されるように、第１コンロ１１ａの上方（すなわち、図７の紙面手前側）には、鍋８６ａが載置されている。鍋８６ａの内部には、被調理物８４ａが収容されており、鍋８６ａと被調理物８４ａは、第１コンロ１１ａによって加熱されている。鍋８６ａには、加熱調理器１０の前方（すなわち、図７の紙面下側）からユーザの手９０が接近している。すなわち、加熱対象物カメラ９ａは、鍋８６ａに接近しているユーザの手９０の状態を含む画像である加熱対象物画像を撮像可能に構成されている。

【0093】

図５を参照して説明したように、制御装置４０は、加熱対象物画像とユーザ情報６０をニューラルネットワーク７０に入力することで、ユーザの状態に対する接近安全度を推定する。すなわち、制御装置４０は、図７のユーザの手９０に対する接近安全度を推定する。図示は省略したが、加熱対象物画像は、他にも、第１コンロ１１ａの第１コンロバーナ１２ａで鍋８６ａを加熱した状態で、鍋８６ａの上方を通過させて第２コンロ１１ｂの上方に別の鍋を移動させるユーザの手９０の画像も含む。さらに、加熱対象物画像は、第１コンロ１１ａの第１コンロバーナ１２ａで鍋８６ａを加熱した状態で、第２コンロ１１ｂの近傍に載置された調味料を鍋８６ａの上方を通過させて移動させるユーザの手９０の画像も含む。これらの画像に含まれる鍋８６ａの上方を通過して第２コンロ１１ｂに向かって伸びている手９０と、図７に示される手９０では、鍋８６ａに対する向きが異なる。鍋８６ａの上方を通過して第２コンロ１１ｂに向かって手９０を伸ばしているユーザは、鍋８６ａに対して意図せずに接近している。一方、図７に示される手９０のユーザは、意図して鍋８６ａに接近している。すなわち、図７に示される鍋８６ａに接近しているユーザの手９０と、鍋８６ａの上方を通過して第２コンロ１１ｂに向かって伸びている手９０では、鍋８６ａに対して異なる接近安全度が推定される。鍋８６ａの上方を通過して第２コンロ１１ｂに向かって伸びる手９０に対して推定される鍋８６ａに対する接近安全度は、図７に示される手９０に対して推定される鍋８６ａに対する接近安全度に比して低くなる。制御装置４０は、このように推定された接近安全度に基づいて、加熱量制御部５７によって、鍋８６ａを加熱する第１コンロ１１ａの第１コンロバーナ１２ａの加熱量を制御する。すなわち、制御装置４０は、鍋８６ａに接近するユーザの手９０の状態に対応して、第１コンロバーナ１２ａの加熱量を制御することができる。

【0094】

加熱対象物画像には、図８（Ａ）～（Ｃ）に示されるように、ユーザの手９０の状態が含まれている。図８（Ａ）のユーザの手９０は、何も所持していない。図８（Ｂ）のユーザの手９０は、ミトン９２を装着している。図８（Ｃ）のユーザの手９０は、菜箸９４を所持している。すなわち、加熱対象物画像は、ユーザの手９０が所持している所持物に関する情報であるユーザ所持物情報を含んでいる。例えば、図８（Ａ）に示されるように、鍋８６ａ（図７参照）に接近しているユーザの手９０が何も所持しておらず、素手である場合には、ユーザの手９０は、意図せず（すなわち、不注意）に、鍋８６ａを加熱する第１コンロバーナ１２ａに接近しているおそれがある。図８（Ｂ）に示されるように、ユーザの手９０にミトン９２が装着されている場合には、ユーザの手９０は、第１コンロバーナ１２ａに意図して鍋８６ａに接近していると考えられる。同様に、図８（Ｃ）に示されるように、ユーザの手９０が菜箸９４を所持している場合、ユーザの手９０は、意図して鍋８６ａ（図７参照）に接近していると考えられる。このように、ユーザの所持物によって、接近安全度が異なるため、図５を参照して説明したように、制御装置４０は、画像解析部５２が加熱対象物画像を解析して、ユーザ所持物情報をユーザ情報６０としてニューラルネットワーク７０に入力する。これにより、接近安全度推定部５９の推定精度を向上させることができる。

【0095】

図９を参照して、複数の鍋８６ａ、８６ｂを同時に加熱している場合の接近安全度について説明する。図９に示す加熱調理器１０は、第１コンロ１１ａの第１コンロバーナ１２ａ（図１参照）で鍋８６ａ内の被調理物８４ａを加熱し、同時に第２コンロ１１ｂの第２コンロバーナ１２ｂ（図１参照）で鍋８６ｂの被調理物８４ｂを加熱している。ユーザの手９０は、鍋８６ａと鍋８６ｂの双方に接近している。先に述べたように、ユーザが鍋８６ａと鍋８６ｂのどちらに対して意図して手９０を接近させているかによって、手９０の向き等は変化する。ユーザが、意図して奥側の鍋８６ｂに手９０を接近させている場合、手９０は、手前側の鍋８６ａに意図せずに接近することとなる。このように、複数の鍋を同時に加熱している場合には、ユーザが接近を意図している鍋８６ｂに対する接近安全度と、ユーザが接近を意図していない鍋８６ａに対する接近安全度には差異が生じる。すなわち、複数のコンロバーナのうち、ユーザが意図して接近している鍋８６ｂを加熱している第２コンロバーナ１２ｂと、他のコンロバーナとでは、接近安全度が異なる。図５を参照して説明したように、制御装置４０は、画像解析部５２が加熱対象物画像を解析して、ユーザ接近コンロバーナ情報をユーザ情報６０としてニューラルネットワーク７０に入力する。これにより、接近安全度推定部５９の推定精度を向上させることができる。制御装置４０は、第１コンロバーナ１２ａと第２コンロバーナ１２ｂのそれぞれに対して推定された接近安全度によって、第１コンロバーナ１２ａと第２コンロバーナ１２ｂの加熱量をそれぞれに制御する。

【0096】

図１０を参照して、ユーザカメラ９ｂが撮像する撮像画像９ｉについて説明する。図１０では、ユーザカメラ９ｂの撮像範囲をｂ１で示している。ユーザカメラ９ｂは、加熱調理器１０の前面に位置するユーザ１００の画像であるユーザ画像を撮像する。すなわち、ユーザカメラ９ｂは、鍋８６ａに接近するユーザ１００の状態を含む画像であるユーザ画像を撮像可能に構成されている。以下では、加熱対象物カメラ９ａで撮像する加熱対象物画像と、ユーザカメラ９ｂで撮像するユーザ画像の双方をまとめて「ユーザ接近画像」と称することがある。なお、実施形態の加熱調理システム２では、加熱対象物カメラ９ａとユーザカメラ９ｂの２個のカメラによってユーザ接近画像を撮像しているが、撮像範囲を変更可能に構成されている１個のカメラでユーザ接近画像を撮像してもよい。

【0097】

ユーザ画像には、ユーザ１００が所持するおたま９６も含まれる。すなわち、制御装置４０（図５参照）は、ユーザカメラ９ｂによって撮像したユーザ画像を解析して、図８（Ａ）～（Ｃ）を参照して説明したユーザ所持物情報を取得してもよい。

【0098】

ユーザ画像には、ユーザ１００の服装に関する情報であるユーザ服装情報も含まれる。ユーザ服装情報には、例えば、ユーザの手９０から袖９７の下端までの距離も含まれる。ユーザの手９０から袖９７の下端までの距離が長い場合には、ユーザが意図せずとも、袖９７の下端が各コンロによって加熱されるおそれがある。このような、調理に適さない衣類を着用しているユーザは、鍋８６ａに対して意図せず接近しているおそれがある。一方、ユーザの手９０から袖９７の下端までの距離が短い場合には、袖９７の下端が加熱されにくい。さらに、例えばエプロンのような、調理に適した衣類をユーザが着用しているユーザは、鍋８６ａに対して意図して接近していると推定される。すなわち、ユーザ服装情報によって、接近安全度に差異が生じる。図５を参照して説明したように、制御装置４０は、画像解析部５２がユーザ画像を解析することでユーザ服装情報をユーザ情報６０としてニューラルネットワーク７０に入力する。これにより、接近安全度推定部５９の推定精度を向上させることができる。なお、ユーザ１００が、手９０から袖９７の下端までの距離が長い衣類を着用している場合であっても、例えば、鍋８６ａに接近している一方の袖９７の下端が垂れ下がらないように他方の手を添えているユーザ１００の状態が、接近安全度の推定に加味されてもよい。すなわち、ユーザ服装情報は、鍋８６ａに接近しているユーザの１００が着用している衣類に関する情報に加えて、その衣類に対するユーザ１００の状態を含んでもよい。

【0099】

また、図１０に示されるように、ユーザ画像には、ユーザ１００の体勢に関する情報であるユーザ体勢情報も含まれる。ユーザ体勢情報には、例えば、ユーザ１００と加熱調理器１０の前後方向（すなわち、図１０の左右方向）の距離、身体の向き、顔の向き、視線９９が含まれる。ユーザ１００と加熱調理器１０の前後方向の距離が短い場合には、ユーザ１００が意図して加熱調理器１０で調理していると考えられる。一方、ユーザ１００と加熱調理器１０の前後方向の距離が長い場合には、ユーザ１００が意図して加熱調理器１０で調理しているとは考えにくい。すなわち、ユーザ１００と加熱調理器１０の前後方向の距離によって、接近安全度が変わる。また、身体の向き、顔の向き、視線９９が第１コンロ１１ａで調理されている鍋８６ａに向いているか否かによっても、接近安全度は異なる。図５を参照して説明したように、制御装置４０は、画像解析部５２がユーザ画像を解析することでユーザ体勢情報をユーザ情報６０としてニューラルネットワーク７０に入力する。これにより、接近安全度推定部５９の推定精度を向上させることができる。なお、例えばユーザカメラ９ｂが０．５秒ごとに連続して撮像可能な場合には、その画像から推定されるユーザ１００の動きもユーザ体勢情報に含まれる。

【0100】

さらに、図１０に示されるように、ユーザ画像には、ユーザ１００の体型に関する情報であるユーザ体型情報も含まれる。ユーザ体型情報には、例えば、ユーザ１００の肩９８と加熱調理器１０の上下方向の距離Ｈ、肩９８から手９０までの長さ（すなわち、ユーザ１００の腕の長さ）、身長等が含まれる。距離Ｈに対して肩９８から手９０までの長さが長ければ、第１コンロ１１ａにユーザ１００の手９０が到達する可能性が上がる。一方、距離Ｈに対して肩９８から手９０までの長さが短ければ、第１コンロ１１ａにユーザ１００の手９０が到達しにくい。すなわち、距離Ｈに対する肩９８から手９０までの長さによって、接近安全度が異なる。図５を参照して説明したように、制御装置４０は、画像解析部５２がユーザ画像を解析することでユーザ体型情報をユーザ情報６０としてニューラルネットワーク７０に入力する。これにより、接近安全度推定部５９の推定精度を向上させることができる。

【0101】

図１１を参照して、制御装置４０（図３参照）が実行する処理について説明する。なお、図１１で説明する制御装置４０が実行する処理が、「加熱調理方法」の一例である。

【0102】

ユーザは、電源スイッチ２４をオンにして加熱調理器１０を起動させる。その後、ユーザは、任意のコンロバーナ（例えば、第１コンロバーナ１２ａ）の加熱を開始する（ステップＳ２）。第１コンロバーナ１２ａの加熱が開始されると、制御装置４０は、加熱対象物カメラ９ａとユーザカメラ９ｂをオンする（ステップＳ４およびＳ６）。オンされた加熱対象物カメラ９ａとユーザカメラ９ｂは、それぞれ、所定時間ごとに、上記したユーザ接近画像とユーザ画像を撮像する。また、その際、制御装置４０は、体温計９ｄをオンする（ステップＳ８）。オンされた体温計９ｄは、加熱調理器１０の前に位置するユーザの体温を測定する。

【0103】

制御装置４０は、加熱対象物カメラ９ａから加熱対象物画像を、ユーザカメラ９ｂからユーザ画像を取得する。すなわち、制御装置４０は、ユーザ接近画像を取得する（ステップＳ１０）。また、制御装置４０は、図５に示した画像解析部５２によって、ユーザ接近画像を解析して解析ユーザ情報５２ｕを取得する（ステップＳ１０）。同様に、制御装置４０は、図５に示した生体情報取得部５５によって、体温計９ｄが検出したユーザの体温を取得ユーザ情報５５ｕとして取得する（ステップＳ１０）。なお、図示は省略したが、制御装置４０は、図５に示した加熱量情報取得部５４によって、ユーザが加熱を開始した第１コンロバーナ１２ａの加熱量（すなわち、火力）に関する情報である加熱量情報も取得する。次いで、制御装置４０は、図５に示した解像度変換部５３によって、ユーザ接近画像の解像度を低くする（ステップＳ１２）。なお、先に述べたように、ユーザ接近画像の解像度を低くするステップＳ１２は、省略可能である。

【0104】

その後、制御装置４０は、図５を参照して説明したように、接近安全度推定部５９によって、低解像度撮像画像６２とユーザ情報６０をニューラルネットワーク７０に入力して、ニューラルネットワーク７０の演算処理を実行する（ステップＳ１４）。先に述べたように、ニューラルネットワーク７０は、学習装置３０から学習結果データ３２ｒを、インターネットを介して受信済みである。すなわち、ニューラルネットワーク７０は、ユーザ接近画像に基づいて接近安全度を推定するための機械学習を行った学習済みの学習器である。低解像度撮像画像６２を入力されたニューラルネットワーク７０は、先に述べたように、接近安全度情報６４（図５参照）に対応する出力値を出力する。これにより、制御装置４０は、接近安全度推定部５９によって、接近安全度情報６４を取得する（ステップＳ１６）。その後、制御装置４０は、加熱量制御部５７によって、取得した接近安全度に対応するように、火力のパターン制御を開始する（ステップＳ１８）。

【0105】

取得した接近安全度情報６４に含まれる接近安全度が「１」～「３」であった場合には（ステップＳ２０：ＹＥＳ）、図３を参照して説明したように、制御装置４０は、第１コンロバーナ１２ａの加熱量を変更する。その場合、制御装置４０は、警報部５６（図５参照）によってスピーカ９ｃ（図３参照）を介してユーザの接近により第１コンロバーナ１２ａの加熱量が変更されたことを報知する（ステップＳ２２）。その後、制御装置４０は、再びステップＳ１０に戻り、新たなユーザ接近画像とユーザ情報を取得し、上記の処理を繰り返す。

【0106】

ステップＳ１６で取得した接近安全度が「４」である場合（ステップＳ２０：ＮＯ）には、制御装置４０は、第１コンロバーナ１２ａの加熱が継続されているかを確認する（ステップＳ２４）。第１コンロバーナ１２ａの加熱が継続されている場合（ステップＳ２４：ＹＥＳ）、制御装置４０は、再びステップＳ１０に戻り、新たなユーザ接近画像とユーザ情報を取得する。一方、第１コンロバーナ１２ａの加熱が終了している場合（ステップＳ２４：ＮＯ）、制御装置４０は、処理を終了する。すなわち、制御装置４０は、第１コンロバーナ１２ａによる加熱が継続されている間、新たなユーザ接近画像とユーザ情報を取得し、接近安全度を推定し続ける。

【0107】

図１２を参照して、学習装置３０（図６参照）が実行する処理について説明する。図１２を参照して説明する学習装置３０が実行する処理が「学習方法」の一例である。

【0108】

学習装置３０は、図６に示すように、学習データ取得部３１によって、低解像度撮像画像６２ｔ、ユーザ情報６０ｔ、および接近安全度情報６４ｔの組を学習データ６６として取得する（ステップＳ３０）。

【0109】

学習データ６６は、ニューラルネットワーク７０ｔに対して、接近安全度を推定可能にするための機械学習に利用するデータである。このような学習データ６６は、加熱中の加熱対象物（例えば、鍋、フライパン等）に接近している様々なユーザの状態が写された画像と、推定される接近安全度を紐づけることで作成することができる。その際、加熱対象物に接近している様々なユーザの状態の画像は、図５の低解像度撮像画像６２と同等の解像度で保存される。加熱対象物に接近している様々なユーザの画像は、少なくともユーザの手の向きや、色、所持物、等を判別可能であればよい。

【0110】

解析ユーザ情報５２ｕに含まれるユーザ所持物情報は、ユーザ接近画像を解析して、ユーザが所持している物の色、大きさ、形に関する情報を抽出することで取得される。同様に、解析ユーザ情報５２ｕに含まれるユーザ接近コンロバーナ情報も、ユーザ接近画像を解析して、ユーザの手の向き、ユーザの姿勢等、ユーザが接近しているコンロバーナを特定する情報を抽出することで取得される。

【0111】

また、解析ユーザ情報５２ｕに含まれるユーザ服装情報は、ユーザ接近画像を解析して、ユーザの外観の色や、形等、服装に関する情報を抽出することで取得される。さらに、解析ユーザ情報５２ｕに含まれるユーザ体勢情報も、ユーザ接近画像を解析して、ユーザの目の向き、顔の向き等、ユーザの体勢に関する情報を抽出することで取得される。また、解析ユーザ情報５２ｕに含まれるユーザ体型情報も、ユーザ接近画像を解析して、ユーザの大きさ等、ユーザの体型に関する情報を抽出することで取得される。学習データ６６は、これらの取得された情報と接近安全度を紐づけることでも作成することができる。

【0112】

取得ユーザ情報５５ｕに含まれる加熱量情報は、加熱量情報取得部５４によって取得される。取得ユーザ情報５５ｕに含まれるユーザの体温は、生体情報取得部５５によって取得される。学習データ６６は、これらの取得された情報と接近安全度を紐づけることでも作成することができる。

【0113】

この学習データ６６の作成は、オペレータ等が入力装置３４ｉ（図４参照）を用いて手動で行ってもよいし、プログラムの処理により自動的に行われてもよい。この学習データ６６は、制御装置４０から随時収集されてもよい。また、学習データ６６の作成は、学習装置３０以外の他の情報処理装置により行われてもよい。学習装置３０が学習データ６６を作成する場合には、制御部３６は、本ステップＳ３０において、学習データ６６の作成処理を実行することで、学習データ６６を取得することができる。一方、学習装置３０以外の他の情報処理装置が学習データ６６を作成する場合には、学習装置３０は、ネットワーク、記憶媒体３０ｍ（図４参照）等を介して、他の情報処理装置により作成された学習データ６６を取得することができる。なお、本ステップＳ３０で取得する学習データ６６の件数は、ニューラルネットワーク７０ｔの機械学習を行うことができるように、実施形態に応じて適宜決定されてよい。

【0114】

次いで、学習装置３０は、学習処理部３３によって、ステップＳ３０で取得した学習データ６６を用いて、低解像度撮像画像６２ｔおよびユーザ情報６０ｔを入力すると接近安全度情報６４ｔに対応する出力値を出力するようにニューラルネットワーク７０ｔの機械学習処理を実行する（ステップＳ３２）。

【0115】

学習装置３０の制御部３６（図４参照）は、学習処理を行う対象となるニューラルネットワーク７０ｔを用意する。用意するニューラルネットワーク７０ｔの構成、各ニューロン間の結合の重みの初期値、および各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部３６は、再学習を行う対象となる学習結果データ３２ｒに基づいて、ニューラルネットワーク７０ｔを用意してもよい。

【0116】

次に、制御部３６は、ステップＳ３０で取得した学習データ６６に含まれる低解像度撮像画像６２ｔおよびユーザ情報６０ｔを入力データとして用い、接近安全度情報６４ｔを教師データ（正解データ）として用いて、ニューラルネットワーク７０の学習処理を行う。このニューラルネットワーク７０の学習処理には、確率的勾配降下法等が用いられてよい。

【0117】

例えば、制御部３６は、全結合ニューラルネットワーク７２ｔの入力層にユーザ情報６０ｔを入力し、畳み込みニューラルネットワーク７４ｔの最も入力側に配置された畳み込み層に低解像度撮像画像６２ｔを入力する。そして、制御部３６は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部３６は、ＬＳＴＭネットワーク７８ｔの出力層から出力値を得る。次に、制御部３６は、ＬＳＴＭネットワーク７８ｔの出力層から取得した出力値と接近安全度情報６４ｔに対応する値との誤差を算出する。続いて、制御部３６は、通時的誤差逆伝搬（Ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ ｔｈｒｏｕｇｈ ｔｉｍｅ）法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重みおよび各ニューロンの閾値それぞれの誤差を算出する。そして、制御部３６は、算出した各誤差に基づいて、各ニューロン間の結合の重みおよび各ニューロンの閾値それぞれの値の更新を行う。

【0118】

制御部３６は、各件の学習データ６６について、ニューラルネットワーク７０ｔから出力される出力値が接近安全度情報６４ｔに対応する値と一致するまでこの一連の処理を繰り返す。これにより、制御部３６は、低解像度撮像画像６２ｔおよびユーザ情報６０ｔを入力すると接近安全度情報６４ｔに対応する出力値を出力するニューラルネットワーク７０ｔを構築することができる。

【0119】

制御部３６は、学習処理部３３によって、構築したニューラルネットワーク７０の構成、各ニューロン間の結合の重み、および各ニューロンの閾値を示す情報を学習データ６６として記憶部３２に記憶する（ステップＳ３４）。これにより、制御部３６は、本動作例に係るニューラルネットワーク７０の学習処理を終了する。

【0120】

なお、制御部３６は、上記のステップＳ３６の処理が完了した後に、作成した学習結果データ３２ｒを制御装置４０に転送してもよい。また、制御部３６は、上記ステップＳ３０～Ｓ３６の学習処理を定期的に実行することで、学習結果データ３２ｒを定期的に更新してもよい。そして、制御部３６は、作成した学習結果データ３２ｒを当該学習処理の実行毎に制御装置４０に転送することで、制御装置４０の保持する学習結果データ３２ｒを定期的に更新してもよい。また、例えば、制御部３６は、作成した学習結果データ３２ｒを別のデータサーバに保管してもよい。この場合、制御装置４０は、このデータサーバから学習結果データ３２ｒを取得してもよい。

【0121】

（対応関係）鍋８６ａ、８６ｂが、それぞれ、「加熱対象物」の一例である。加熱調理器１０の各コンロバーナおよびグリルバーナ２９ａが「加熱部」の一例である。加熱対象物カメラ９ａおよびユーザカメラ９ｂが「撮像装置」の一例である。加熱対象物画像、ユーザ画像が、それぞれ「ユーザ接近画像」の一例である。ミトン９２、菜箸９４、おたま９６が、それぞれ、「所持物」の一例である。体温計９ｄが、「測定装置」の一例である。

【0122】

以上、実施形態について詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。上記の実施形態の変形例を以下に列挙する。

【0123】

（変形例１）上記の加熱調理システム２では、ユーザ接近画像から、画像解析部５２によってユーザの所持物等に関する情報である解析ユーザ情報５２ｕを抽出し、ユーザ情報６０として学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、ユーザ情報６０を入力しない構成としてもよい。その場合、制御装置４０は、画像解析部５２を備えなくてもよい。

【0124】

（変形例２）上記の加熱調理システム２では、加熱対象物カメラ９ａによって加熱対象物画像を撮像し、ユーザカメラ９ｂによってユーザ画像を撮像する。これに代えて、変形例では、どちらか一方のカメラによって画像を撮像してもよい。

【0125】

（変形例３）上記の加熱調理システム２では、ユーザ接近画像から、画像解析部５２によって、ユーザの所持物に関する情報であるユーザ所持物情報を解析ユーザ情報５２ｕとして抽出し、学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、画像解析部５２は、ユーザ所持物情報を抽出しなくてもよい。

【0126】

（変形例４）上記の加熱調理システム２では、体温計９ｄによって、ユーザの体温を検出し、取得ユーザ情報５５ｕとして学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、ユーザの体温を入力しなくてもよい。その場合、レンジフード４には体温計９ｄが配置されなくてもよい。さらに、別の変形例では、生体情報取得部５５は、ユーザの別の生体情報（例えば、脈拍数、脳波等）を取得してもよい。その場合、生体情報取得部５５は、例えばユーザが装着しているウェアラブル端末から、生体情報を取得してもよい。

【0127】

（変形例５）上記の加熱調理システム２では、複数のコンロバーナで同時に加熱している場合に、ユーザ接近画像から、画像解析部５２によって、ユーザが意図して接近している鍋８６ｂを特定する情報であるユーザ接近コンロバーナ情報を解析ユーザ情報５２ｕとして抽出し、学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、画像解析部５２は、ユーザ接近コンロバーナ情報を抽出しなくてもよい。

【0128】

（変形例６）上記の加熱調理システム２の加熱調理器１０は、３個のコンロバーナを備えている。これに代えて、変形例では、１個のコンロバーナを備える加熱調理器を採用してもよいし、例えば、４個のコンロバーナを備えている加熱調理器を採用してもよい。

【0129】

（変形例７）上記の加熱調理システム２では、ユーザ接近画像から、画像解析部５２によって、ユーザの服装に関する情報であるユーザ服装情報を解析ユーザ情報５２ｕとして抽出し、学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、画像解析部５２は、ユーザ服装情報を抽出しなくてもよい。

【0130】

（変形例８）上記の加熱調理システム２では、ユーザ接近画像から、画像解析部５２によって、ユーザの体勢に関する情報であるユーザ体勢情報を解析ユーザ情報５２ｕとして抽出し、学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、画像解析部５２は、ユーザ体勢情報を抽出しなくてもよい。

【0131】

（変形例９）上記の加熱調理システム２では、ユーザ接近画像から、画像解析部５２によって、ユーザの体型に関する情報であるユーザ体型情報を解析ユーザ情報５２ｕとして抽出し、学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、画像解析部５２は、ユーザ体型情報を抽出しなくてもよい。

【0132】

（変形例１０）上記の加熱調理システム２では、ユーザ情報６０として、ユーザ所持物情報、ユーザの体温（生体情報）、ユーザ接近コンロバーナ情報、ユーザ服装情報、ユーザ体勢情報、ユーザ体型情報、加熱量情報、を学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、ユーザが加熱前に選択した調理メニューに関する情報を、ユーザ情報として入力してもよい。

【0133】

（変形例１１）上記の加熱調理システム２は、システムキッチンに組み込んで使用されるガス燃焼式のビルトインコンロである。これに代えて、変形例では、電磁誘導加熱調理器（ＩＨ調理器）であってもよい。その場合、制御装置４０の加熱量制御部５７は、火力に代えて各調理器の電力を制御してもよい。

【0134】

以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

【符号の説明】

【0135】

２ ：加熱調理システム
４ ：レンジフード
６ ：レンジカバー
８ ：カメラカバー
９ａ ：加熱対象物カメラ
９ｂ ：ユーザカメラ
９ｃ ：スピーカ
９ｄ ：体温計
１０ ：加熱調理器
１１ａ ：第１コンロ
１２ａ ：第１コンロバーナ
１４ａ ：第１センサ
１６ａ ：五徳
２４ ：電源スイッチ
２８ ：グリル
２９ａ ：グリルバーナ
３０ ：学習装置
３０ｍ ：記憶媒体
３１ ：学習データ取得部
３２ ：記憶部
３２ｒ ：学習結果データ
３３ ：学習処理部
３４ｉ ：入力装置
３４о ：出力装置
３６ ：制御部
３８ ：通信インターフェース
３９ ：ドライブ
４０ ：制御装置
４２ ：外部インターフェース
４６ ：学習記憶部
４８ ：加熱量記憶部
５１ ：画像取得部
５２ ：画像解析部
５４ ：加熱量情報取得部
５５ ：生体情報取得部
５７ ：加熱量制御部
５９ ：接近安全度推定部
７０、７０ｔ ：ニューラルネットワーク
８４ａ、８４ｂ ：被調理物
８６ａ、８６ｂ ：鍋
９０ ：手
９２ ：ミトン
９４ ：菜箸
９６ ：おたま
９７ ：袖
９８ ：肩
９９ ：視線
１００ ：ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】