特許 7482683 加熱調理システムおよび加熱調理方法、学習装置および学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-02

(45)【発行日】2024-05-14

(54)【発明の名称】加熱調理システムおよび加熱調理方法、学習装置および学習方法

(51)【国際特許分類】

   F24C 3/12 20060101AFI20240507BHJP

   F24C 7/04 20210101ALI20240507BHJP

   H05B 6/12 20060101ALI20240507BHJP

   G06T 7/00 20170101ALI20240507BHJP

【ＦＩ】

F24C3/12 E

F24C7/04 301A

H05B6/12 302

G06T7/00 350B

G06T7/00 660B

【請求項の数】 20

(21)【出願番号】P 2020088290

(22)【出願日】2020-05-20

(65)【公開番号】P2021181871

(43)【公開日】2021-11-25

【審査請求日】2022-12-21

(73)【特許権者】

【識別番号】000115854

【氏名又は名称】リンナイ株式会社

(74)【代理人】

【識別番号】110000110

【氏名又は名称】弁理士法人 快友国際特許事務所

(72)【発明者】

【氏名】杉本 喜輝

【審査官】土屋 正志

(56)【参考文献】

【文献】特開２０１４－２０２４１４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１１０６３８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０２００７９７（ＵＳ，Ａ１）

【文献】特開２０１５－０６８５４２（ＪＰ，Ａ）

【文献】特開２０１１－０３３３１２（ＪＰ，Ａ）

【文献】登録実用新案第３０３６６７１（ＪＰ，Ｕ）

【文献】国際公開第２００５／０８８５４２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｆ２４Ｃ ３／１２

Ｆ２４Ｃ ７／０４

Ｈ０５Ｂ ６／１２

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

加熱対象物を加熱する加熱部と、
前記加熱部と隣接するとともに、前記加熱対象物に対して前記加熱部で加熱するための準備を施すための加熱前準備スペースにおける前記準備中の前記加熱対象物の状態を含む画像である加熱前対象物画像を撮像可能に構成されている撮像装置から、前記加熱前対象物画像を取得する画像取得部と、
ユーザが前記加熱対象物を前記加熱部で加熱して調理する調理メニューを、前記加熱前対象物画像に基づいて推定するための機械学習を行った学習済みの学習器に、前記画像取得部が取得した前記加熱前対象物画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記調理メニューを前記学習器から取得する調理メニュー推定部と、
前記調理メニュー推定部が推定した前記調理メニューに基づいて、前記加熱部の加熱量を制御する加熱量制御部と、を備えている、加熱調理システム。

【請求項2】

前記加熱前対象物画像に基づいて前記加熱対象物が含んでいる食材に関する情報である食材情報を解析する食材情報解析部をさらに備えており、
前記学習器は、前記食材情報にも基づいて前記調理メニューを推定するための機械学習を行っており、
前記調理メニュー推定部は、前記食材情報解析部が解析した前記食材情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記調理メニューを前記学習器から取得する、請求項１に記載の加熱調理システム。

【請求項3】

前記撮像装置は、前記加熱部により加熱されている前記加熱対象物の状態を含む画像である加熱中対象物画像も撮像可能に構成されており、
前記画像取得部は、前記撮像装置から前記加熱中対象物画像も取得し、
前記学習器は、前記加熱中対象物画像にも基づいて前記調理メニューを推定するための機械学習を行っており、
前記調理メニュー推定部は、前記画像取得部が取得した前記加熱中対象物画像も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで前記調理メニューを前記学習器から取得する、請求項１または２に記載の加熱調理システム。

【請求項4】

前記撮像装置は、前記加熱部により前記加熱対象物を加熱している前記ユーザの状態を含む画像である加熱中ユーザ画像も撮像可能に構成されており、
前記画像取得部は、前記撮像装置から前記加熱中ユーザ画像も取得し、
前記学習器は、前記加熱中ユーザ画像にも基づいて前記調理メニューを推定するための機械学習を行っており、
前記調理メニュー推定部は、前記画像取得部が取得した前記加熱中ユーザ画像も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記調理メニューを前記学習器から取得する、請求項１から３のいずれか一項に記載の加熱調理システム。

【請求項5】

前記加熱中ユーザ画像に基づいて前記ユーザに関する情報であるユーザ情報を解析するユーザ情報解析部をさらに備えており、
前記学習器は、前記ユーザ情報にも基づいて前記調理メニューを推定するための機械学習を行っており、
前記調理メニュー推定部は、前記ユーザ情報解析部が解析した前記ユーザ情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記調理メニューを前記学習器から取得する、請求項４に記載の加熱調理システム。

【請求項6】

コンピュータが、
加熱部と隣接するとともに、加熱対象物に対して前記加熱部で加熱するための準備を施すための加熱前準備スペースにおける前記準備中の前記加熱対象物の状態を含む画像である加熱前対象物画像を撮像可能に構成されている撮像装置から、前記加熱前対象物画像を取得する加熱前画像取得ステップと、
ユーザが前記加熱対象物を前記加熱部で加熱して調理する調理メニューを、前記加熱前対象物画像に基づいて推定するための機械学習を行った学習済みの学習器に、取得した前記加熱前対象物画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記調理メニューを前記学習器から取得する調理メニュー推定ステップと、
前記調理メニュー推定ステップで取得した前記調理メニューに基づいて、前記加熱部の加熱量を制御する加熱量制御ステップと、を実行する、加熱調理方法。

【請求項7】

前記コンピュータが、前記加熱前対象物画像に基づいて前記加熱対象物が含んでいる食材に関する情報である食材情報を解析する食材情報解析ステップをさらに実行し、
前記学習器は、前記食材情報にも基づいて前記調理メニューを推定するための機械学習を行っており、
前記コンピュータは、前記調理メニュー推定ステップにおいて、前記食材情報解析ステップで解析した前記食材情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで前記調理メニューを前記学習器から取得する、請求項６に記載の加熱調理方法。

【請求項8】

前記撮像装置は、前記加熱部により加熱されている前記加熱対象物の状態を含む画像である加熱中対象物画像も撮像可能に構成されており、
前記学習器は、前記加熱中対象物画像にも基づいて前記調理メニューを推定するための機械学習を行っており、
前記コンピュータは、
前記撮像装置から前記加熱中対象物画像を取得する加熱中対象物画像取得ステップをさらに実行し、
前記調理メニュー推定ステップにおいて、前記加熱中対象物画像取得ステップで取得した前記加熱中対象物画像も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで前記調理メニューを前記学習器から取得する、請求項６または７に記載の加熱調理方法。

【請求項9】

前記撮像装置は、前記加熱部により前記加熱対象物を加熱している前記ユーザの状態を含む画像である加熱中ユーザ画像も撮像可能に構成されており、
前記学習器は、前記加熱中ユーザ画像にも基づいて前記調理メニューを推定するための機械学習を行っており、
前記コンピュータは、
前記撮像装置から前記加熱中ユーザ画像を取得する加熱中ユーザ画像取得ステップをさらに実行し、
前記調理メニュー推定ステップにおいて、前記加熱中ユーザ画像取得ステップで取得した前記加熱中ユーザ画像も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記調理メニューを前記学習器から取得する、請求項６から８のいずれか一項に記載の加熱調理方法。

【請求項10】

前記コンピュータが、前記加熱中ユーザ画像に基づいて前記ユーザに関する情報であるユーザ情報を解析するユーザ情報解析ステップをさらに実行し、
前記学習器は、前記ユーザ情報にも基づいて前記調理メニューを推定するための機械学習を行っており、
前記コンピュータは、前記調理メニュー推定ステップにおいて、前記ユーザ情報解析ステップで解析した前記ユーザ情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで前記調理メニューを前記学習器から取得する、請求項９に記載の加熱調理方法。

【請求項11】

ユーザが加熱対象物を加熱部で加熱して調理する調理メニューと、前記調理メニューに対応付けられており、前記加熱部と隣接するとともに、前記加熱対象物に対して前記加熱部で加熱するための準備を施すための加熱前準備スペースにおける前記準備中の前記加熱対象物の状態を含む画像である加熱前対象物画像を撮像可能に構成されている撮像装置から取得される前記加熱前対象物画像と、を含む学習データを取得する学習データ取得部と、
前記加熱前対象物画像を含む入力に対して、前記調理メニューに対応する出力値を含む出力を得るように学習器の機械学習を行う学習処理部と、を備えている、学習装置。

【請求項12】

前記学習データは、前記調理メニューに対応付けられており、前記加熱前対象物画像に基づいて解析される情報であるとともに前記加熱対象物が含んでいる食材に関する情報である食材情報をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記食材情報も含む、請求項１１に記載の学習装置。

【請求項13】

前記撮像装置は、前記加熱部により加熱されている前記加熱対象物の状態を含む画像である加熱中対象物画像も撮像可能に構成されており、
前記学習データは、前記調理メニューに対応付けられた前記加熱中対象物画像をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記加熱中対象物画像も含む、請求項１１または１２に記載の学習装置。

【請求項14】

前記撮像装置は、前記加熱部により前記加熱対象物を加熱している前記ユーザの状態を含む画像である加熱中ユーザ画像も撮像可能に構成されており、
前記学習データは、前記調理メニューに対応付けられた前記加熱中ユーザ画像をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記加熱中ユーザ画像も含む、請求項１１から１３のいずれか一項に記載の学習装置。

【請求項15】

前記学習データは、前記調理メニューに対応付けられており、前記加熱中ユーザ画像に基づいて解析される情報であるとともに前記ユーザに関する情報であるユーザ情報をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記ユーザ情報も含む、請求項１４に記載の学習装置。

【請求項16】

コンピュータが、
ユーザが加熱対象物を加熱部で加熱して調理する調理メニューと、前記調理メニューに対応付けられており、前記加熱部と隣接するとともに、前記加熱対象物に対して前記加熱部で加熱するための準備を施すための加熱前準備スペースにおける前記準備中の前記加熱対象物の状態を含む画像である加熱前対象物画像を撮像可能に構成されている撮像装置から取得される前記加熱前対象物画像と、を含む学習データを取得する学習データ取得ステップと、
前記加熱前対象物画像を含む入力に対して、前記調理メニューに対応する出力値を含む出力を得るように学習器の機械学習を行う学習処理ステップと、実行する、学習方法。

【請求項17】

前記学習データは、前記調理メニューに対応付けられており、前記加熱前対象物画像に基づいて解析される情報であるとともに前記加熱対象物が含んでいる食材に関する情報である食材情報をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記食材情報も含む、請求項１６に記載の学習方法。

【請求項18】

前記撮像装置は、前記加熱部により加熱されている前記加熱対象物の状態を含む画像である加熱中対象物画像も撮像可能に構成されており、
前記学習データは、前記調理メニューに対応付けられた前記加熱中対象物画像をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記加熱中対象物画像も含む、請求項１６または１７に記載の学習方法。

【請求項19】

前記撮像装置は、前記加熱部により前記加熱対象物を加熱している前記ユーザの状態を含む画像である加熱中ユーザ画像も撮像可能に構成されており、
前記学習データは、前記調理メニューに対応付けられた前記加熱中ユーザ画像をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記加熱中ユーザ画像も含む、請求項１６から１８のいずれか一項に記載の学習方法。

【請求項20】

前記学習データは、前記調理メニューに対応付けられており、前記加熱中ユーザ画像に基づいて解析される情報であるとともに前記ユーザに関する情報であるユーザ情報をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記ユーザ情報も含む、請求項１９に記載の学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書が開示する技術は、加熱調理システムおよび加熱調理方法、学習装置および学習方法に関する。

【背景技術】

【0002】

特許文献１に、撮像装置（例えば、カメラ）で加熱対象物（特許文献１では被写体画像と称している）の画像を撮像し、その画像に基づいて加熱部の加熱量を制御する加熱調理器が開示されている。特許文献１の加熱調理器は、撮像装置が撮像した加熱対象物の画像から加熱対象物を収容している調理容器の種類を識別する。特許文献１の加熱調理器は、識別した調理容器の種類に基づいて、加熱部の加熱量を制御する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－６８５４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の加熱調理器では、調理メニューが異なる場合であっても、同じ種類の調理容器で調理する場合には、同じ加熱量で加熱部が制御される。このため、調理メニューによっては、加熱部の加熱量が過大になったり過少になったりするおそれがある。本明細書では、ユーザが調理する調理メニューに対応して、加熱部の加熱量を制御することができる技術を提供する。

【課題を解決するための手段】

【0005】

上記一側面に係る加熱調理システムは、加熱部と、画像取得部と、調理メニュー推定部と、加熱量制御部と、を備えている。加熱部は、加熱対象物を加熱する。画像取得部は、前記加熱部と隣接するとともに、前記加熱対象物に対して前記加熱部で加熱するための準備を施すための加熱前準備スペースにおける前記準備中の前記加熱対象物の状態を含む画像である加熱前対象物画像を撮像可能に構成されている撮像装置から、前記加熱前対象物画像を取得する。調理メニュー推定部は、ユーザが前記加熱対象物を前記加熱部で加熱して調理する調理メニューを、前記加熱前対象物画像に基づいて推定するための機械学習を行った学習済みの学習器に、前記画像取得部が取得した前記加熱前対象物画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記調理メニューを前記学習器から取得する。加熱量制御部は、前記調理メニュー推定部が推定した前記調理メニューに基づいて、前記加熱部の加熱量を制御する。

【0006】

上記の加熱調理システムによれば、調理する際にユーザが実行する加熱前準備の画像に基づいて、調理メニューを推定し、推定された調理メニューに対応して加熱部の加熱量を制御することができる。

【0007】

また、上記一側面に係る加熱調理システムは、前記加熱前対象物画像に基づいて前記加熱対象物が含んでいる食材に関する情報である食材情報を解析する食材情報解析部をさらに備えていてもよい。その場合、前記学習器は、前記食材情報にも基づいて前記調理メニューを推定するための機械学習を行ってもよい。前記調理メニュー推定部は、前記食材情報解析部が解析した前記食材情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記調理メニューを前記学習器から取得してもよい。

【0008】

上記の加熱調理システムによれば、食材情報解析部が解析した食材情報にも基づいて調理メニューを推定することで、調理メニューの推定精度を向上させることができる。

【0009】

さらに、上記一側面に係る加熱調理システムでは、前記撮像装置は、前記加熱部により加熱されている前記加熱対象物の状態を含む画像である加熱中対象物画像も撮像可能に構成されてもよい。その場合、前記画像取得部は、前記撮像装置から前記加熱中対象物画像も取得してもよい。前記学習器は、前記加熱中対象物画像にも基づいて前記調理メニューを推定するための機械学習を行ってもよい。前記調理メニュー推定部は、前記画像取得部が取得した前記加熱中対象物画像も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで前記調理メニューを前記学習器から取得してもよい。

【0010】

上記の加熱調理システムによれば、加熱中対象物画像にも基づいて調理メニューを推定することで、調理メニューの推定精度を向上させることができる。

【0011】

また、上記一側面に係る加熱調理システムでは、前記撮像装置は、前記加熱部により前記加熱対象物を加熱している前記ユーザの状態を含む画像である加熱中ユーザ画像も撮像可能に構成されてもよい。その場合、前記画像取得部は、前記撮像装置から前記加熱中ユーザ画像も取得してもよい。前記学習器は、前記加熱中ユーザ画像にも基づいて前記調理メニューを推定するための機械学習を行ってもよい。前記調理メニュー推定部は、前記画像取得部が取得した前記加熱中ユーザ画像も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記調理メニューを前記学習器から取得してもよい。

【0012】

上記の加熱調理システムによれば、加熱中ユーザ画像にも基づいて調理メニューを推定することで、調理メニューの推定精度を向上させることができる。

【0013】

また、上記一側面に係る加熱調理システムは、前記加熱中ユーザ画像に基づいて前記ユーザに関する情報であるユーザ情報を解析するユーザ情報解析部をさらに備えてもよい。その場合、前記学習器は、前記ユーザ情報にも基づいて前記調理メニューを推定するための機械学習を行ってもよい。前記調理メニュー推定部は、前記ユーザ情報解析部が解析した前記ユーザ情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記調理メニューを前記学習器から取得してもよい。

【0014】

上記の加熱調理システムによれば、ユーザ情報にも基づいて調理メニューを推定することで、調理メニューの推定精度を向上させることができる。

【0015】

上記一側面に係る加熱調理方法では、コンピュータが、加熱前画像取得ステップと、調理メニュー推定ステップと、加熱量制御ステップと、を実行してもよい。加熱前画像取得ステップでは、コンピュータが、加熱部と隣接するとともに、加熱対象物に対して前記加熱部で加熱するための準備を施すための加熱前準備スペースにおける前記準備中の前記加熱対象物の状態を含む画像である加熱前対象物画像を撮像可能に構成されている撮像装置から、前記加熱前対象物画像を取得する。調理メニュー推定ステップでは、コンピュータが、ユーザが前記加熱対象物を前記加熱部で加熱して調理する調理メニューを、前記加熱前対象物画像に基づいて推定するための機械学習を行った学習済みの学習器に、取得した前記加熱前対象物画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記調理メニューを前記学習器から取得する。加熱量制御ステップでは、コンピュータが、前記調理メニュー推定ステップで取得した前記調理メニューに基づいて、前記加熱部の加熱量を制御する。

【0016】

上記一側面に係る加熱調理方法では、前記コンピュータが、前記加熱前対象物画像に基づいて前記加熱対象物が含んでいる食材に関する情報である食材情報を解析する食材情報解析ステップをさらに実行してもよい。その場合、前記学習器は、前記食材情報にも基づいて前記調理メニューを推定するための機械学習を行ってもよい。前記コンピュータは、前記調理メニュー推定ステップにおいて、前記食材情報解析ステップで解析した前記食材情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで前記調理メニューを前記学習器から取得してもよい。

【0017】

上記一側面に係る加熱調理方法では、前記撮像装置は、前記加熱部により加熱されている前記加熱対象物の状態を含む画像である加熱中対象物画像も撮像可能に構成されていてもよい。その場合、前記学習器は、前記加熱中対象物画像にも基づいて前記調理メニューを推定するための機械学習を行ってもよい。前記コンピュータは、前記撮像装置から前記加熱中対象物画像を取得する加熱中対象物画像取得ステップをさらに実行してもよい。コンピュータは、前記調理メニュー推定ステップにおいて、前記加熱中対象物画像取得ステップで取得した前記加熱中対象物画像も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで前記調理メニューを前記学習器から取得してもよい。

【0018】

上記一側面に係る加熱調理方法では、前記撮像装置は、前記加熱部により前記加熱対象物を加熱している前記ユーザの状態を含む画像である加熱中ユーザ画像も撮像可能に構成されてもよい。その場合、前記学習器は、前記加熱中ユーザ画像にも基づいて前記調理メニューを推定するための機械学習を行ってもよい。前記コンピュータは、前記撮像装置から前記加熱中ユーザ画像を取得する加熱中ユーザ画像取得ステップをさらに実行してもよい。コンピュータは、前記調理メニュー推定ステップにおいて、前記加熱中ユーザ画像取得ステップで取得した前記加熱中ユーザ画像も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記調理メニューを前記学習器から取得してもよい。

【0019】

上記一側面に係る加熱調理方法では、前記コンピュータが、前記加熱中ユーザ画像に基づいて前記ユーザに関する情報であるユーザ情報を解析するユーザ情報解析ステップをさらに実行してもよい。その場合、前記学習器は、前記ユーザ情報にも基づいて前記調理メニューを推定するための機械学習を行ってもよい。前記コンピュータは、前記調理メニュー推定ステップにおいて、前記ユーザ情報解析ステップで解析した前記ユーザ情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで前記調理メニューを前記学習器から取得してもよい。

【0020】

上記一側面に係る学習装置は、学習データ取得部と、学習処理部と、を備えてもよい。学習データ取得部は、ユーザが加熱対象物を加熱部で加熱して調理する調理メニューと、前記調理メニューに対応付けられており、前記加熱部と隣接するとともに、前記加熱対象物に対して前記加熱部で加熱するための準備を施すための加熱前準備スペースにおける前記準備中の前記加熱対象物の状態を含む画像である加熱前対象物画像を撮像可能に構成されている撮像装置から取得される前記加熱前対象物画像と、を含む学習データを取得する。学習処理部は、前記加熱前対象物画像を含む入力に対して、前記調理メニューに対応する出力値を含む出力を得るように学習器の機械学習を行う。

【0021】

上記の学習装置によれば、調理する際にユーザが実行する加熱前準備の画像に基づいて、ユーザが調理する調理メニューを推定するための学習済みの学習器を構築することができる。

【0022】

上記一側面に係る学習装置では、前記学習データは、前記調理メニューに対応付けられており、前記加熱前対象物画像に基づいて解析される情報であるとともに前記加熱対象物が含んでいる食材に関する情報である食材情報をさらに含んでもよい。その場合、前記学習器の前記機械学習における前記入力が、前記食材情報も含んでもよい。

【0023】

上記の学習装置によれば、食材情報にも基づいて、ユーザが調理する調理メニューを推定するための学習済みの学習器を構築することができる。

【0024】

上記一側面に係る学習装置では、前記撮像装置は、前記加熱部により加熱されている前記加熱対象物の状態を含む画像である加熱中対象物画像も撮像可能に構成されてもよい。その場合、前記学習データは、前記調理メニューに対応付けられた前記加熱中対象物画像をさらに含んでもよく、前記学習器の前記機械学習における前記入力が、前記加熱中対象物画像も含んでもよい。

【0025】

上記の学習装置によれば、加熱中対象物画像にも基づいて、ユーザが調理する調理メニューを推定するための学習済みの学習器を構築することができる。

【0026】

上記一側面に係る学習装置では、前記撮像装置は、前記加熱部により前記加熱対象物を加熱している前記ユーザの状態を含む画像である加熱中ユーザ画像も撮像可能に構成されてもよい。その場合、前記学習データは、前記調理メニューに対応付けられた前記加熱中ユーザ画像をさらに含んでもよく、前記学習器の前記機械学習における前記入力が、前記加熱中ユーザ画像も含んでもよい。

【0027】

上記の学習装置によれば、加熱中ユーザ画像にも基づいて、ユーザが調理する調理メニューを推定するための学習済みの学習器を構築することができる。

【0028】

上記一側面に係る学習装置では、前記学習データは、前記調理メニューに対応付けられており、前記加熱中ユーザ画像に基づいて解析される情報であるとともに前記ユーザに関する情報であるユーザ情報をさらに含んでもよい。その場合、前記学習器の前記機械学習における前記入力が、前記ユーザ情報も含んでもよい。

【0029】

上記の学習装置によれば、ユーザ情報にも基づいて、ユーザが調理する調理メニューを推定するための学習済みの学習器を構築することができる。

【0030】

上記一側面に係る学習方法では、コンピュータが、学習データ取得ステップと、学習処理ステップと、を備えてもよい。学習データ取得ステップでは、コンピュータが、ユーザが加熱対象物を加熱部で加熱して調理する調理メニューと、前記調理メニューに対応付けられており、前記加熱部と隣接するとともに、前記加熱対象物に対して前記加熱部で加熱するための準備を施すための加熱前準備スペースにおける前記準備中の前記加熱対象物の状態を含む画像である加熱前対象物画像を撮像可能に構成されている撮像装置から取得される前記加熱前対象物画像と、を含む学習データを取得する。学習処理ステップでは、コンピュータが、前記加熱前対象物画像を含む入力に対して、前記調理メニューに対応する出力値を含む出力を得るように学習器の機械学習を行う。

【0031】

上記一側面に係る学習方法では、前記学習データは、前記調理メニューに対応付けられており、前記加熱前対象物画像に基づいて解析される情報であるとともに前記加熱対象物が含んでいる食材に関する情報である食材情報をさらに含んでもよい。その場合、前記学習器の前記機械学習における前記入力が、前記食材情報も含んでもよい。

【0032】

上記一側面に係る学習方法では、前記撮像装置は、前記加熱部により加熱されている前記加熱対象物の状態を含む画像である加熱中対象物画像も撮像可能に構成されてもよい。その場合、前記学習データは、前記調理メニューに対応付けられた前記加熱中対象物画像をさらに含んでもよく、前記学習器の前記機械学習における前記入力が、前記加熱中対象物画像も含んでもよい。

【0033】

上記一側面に係る学習方法では、前記撮像装置は、前記加熱部により前記加熱対象物を加熱している前記ユーザの状態を含む画像である加熱中ユーザ画像も撮像可能に構成されてもよい。その場合、前記学習データは、前記調理メニューに対応付けられた前記加熱中ユーザ画像をさらに含んでもよく、前記学習器の前記機械学習における前記入力が、前記加熱中ユーザ画像も含んでもよい。

【0034】

上記一側面に係る学習方法では、前記学習データは、前記調理メニューに対応付けられており、前記加熱中ユーザ画像に基づいて解析される情報であるとともに前記ユーザに関する情報であるユーザ情報をさらに含んでもよい。その場合、前記学習器の前記機械学習における前記入力が、前記ユーザ情報も含んでもよい。

【0035】

本明細書が開示する技術の詳細とさらなる改良は以下の「発明を実施するための形態」にて説明する。

【図面の簡単な説明】

【0036】

【図1】一側面に係る実施形態の加熱調理システムの斜視図を示す。

【図2】レンジフードを下方から見た斜視図を示す。

【図3】加熱調理システムのハードウェアの構成を示す。

【図4】学習装置のハードウェアの構成を示す。

【図5】制御装置のソフトウェアの構成を示す。

【図6】学習装置のソフトウェアの構成を示す。

【図7】加熱調理システムの正面図を示す。

【図8】加熱調理システムの使用状況の一例を示す。

【図9】加熱調理システムの使用状況の別の一例を示す。

【図10】制御装置が実行する処理のフロー図（１）を示す。

【図11】制御装置が実行する処理のフロー図（２）を示す。

【図12】学習装置が実行する処理のフロー図を示す。

【発明を実施するための形態】

【0037】

（実施形態）
図１は、一側面に係る実施形態の加熱調理システム２を模式的に示した斜視図である。図１に示されるように、加熱調理システム２は、レンジフード４と、加熱調理器１０を備えている。加熱調理器１０は、システムキッチンに組み込んで使用されるガス燃焼式のビルトインコンロである。レンジフード４は、加熱調理器１０の上方に配置された換気装置である。

【0038】

加熱調理器１０の天板１０ｕには、第１コンロ１１ａと、第２コンロ１１ｂと、第３コンロ１１ｃと、グリル２８に連通する排気口１７が配置されている。また、加熱調理器１０の前側（すなわち、図１の右側）の面である前面１０ｆには、コンロ操作部２０と、グリル２８が設けられている。本明細書では、理解を助けるため、加熱調理器１０の前面１０ｆが設けられている側を単に「前側」と表現し、その反対側を単に「後側」と表現することがある。また、前側と後側を結ぶ方向を前後方向とする。前後方向と直交する水平方向の左右については、加熱調理器１０の前側に位置し、前面１０ｆと対向するユーザの右側および左側と同様とする。また、加熱調理器１０の前面１０ｆの左側には、グリル２８内のグリルバーナ２９ａ（図３参照）を操作するグリル操作部が設けられているが、本明細書では説明を省略する。

【0039】

第１コンロ１１ａと、第２コンロ１１ｂと、第３コンロ１１ｃは、天板１０ｕの上面に前後方向に２列に配置されている。第１コンロ１１ａは、第１コンロバーナ１２ａと、第１センサ１４ａと、五徳１６ａを備えている。第１コンロバーナ１２ａには、ガス供給路（図示省略）が接続されている。ガス供給路には、第１コンロバーナ１２ａへのガス供給量を調整するための流量調整弁（図示省略）が設けられている。第１コンロバーナ１２ａは、第１コンロバーナ１２ａにガスが供給されている状態でイグナイタ（図示省略）を動作させることによって点火する。第１コンロ１１ａは、点火した第１コンロバーナ１２ａによって、上方に載置される鍋やフライパン等の調理容器を加熱する。第１コンロバーナ１２ａへのガス供給量を調整することにより、第１コンロバーナ１２ａの加熱量を調整することができる。また、第１コンロバーナ１２ａへのガスの供給が停止されることにより、第１コンロバーナ１２ａは消火される。なお、第２コンロ１１ｂが備えている第２コンロバーナ１２ｂと、第３コンロ１１ｃが備えている第３コンロバーナ１２ｃは、第１コンロバーナ１２ａと同様の構造を有している。

【0040】

第１センサ１４ａは、第１コンロ１１ａの調理容器の存在を検出するとともに、調理容器の温度を検出する。第１コンロ１１ａの上に調理容器が配置されると、第１センサ１４ａが調理容器によって押圧される。第１センサ１４ａは、調理容器によって押圧されると、第１コンロ１１ａの上に調理容器が載置されたことを検知する。第１コンロ１１ａの上に調理容器が載置されていない場合は、第１センサ１４ａが押圧されない。第１センサ１４ａ内には熱電対が配置されており、第１センサ１４ａに接触している対象物の温度を検出することができる。なお、第２コンロ１１ｂが備えている第２センサ１４ｂと、第３コンロ１１ｃが備えている第３センサ１４ｃは、第１センサ１４ａと同様の構造を有する。また、五徳１６ａ～１６ｃは、それぞれのコンロの上方に載置される調理容器を、それぞれのコンロバーナから一定の距離を維持して支持する。

【0041】

コンロ操作部２０は、加熱調理器１０の電源スイッチ２４と、第１加熱量操作部２０ａと、第２加熱量操作部２０ｂと第３加熱量操作部２０ｃと、パネル操作部２２を備えている。電源スイッチ２４は、加熱調理器１０を起動させるスイッチであり、電源スイッチ２４をオンすることで各コンロバーナへの点火が可能になる。第１加熱量操作部２０ａは、第１コンロ１１ａに対応する。同様に、第２加熱量操作部２０ｂは第２コンロ１１ｂに対応し、第３加熱量操作部２０ｃは第３コンロ１１ｃに対応する。第１加熱量操作部２０ａは、第１コンロバーナ１２ａの点火および消火を行うとともに、第１コンロバーナ１２ａの加熱量の調整を行うためのオルタネイト型のスイッチである。第２加熱量操作部２０ｂと第３加熱量操作部２０ｃも、第１加熱量操作部２０ａと同様の構造を有している。

【0042】

パネル操作部２２には、第１コンロバーナ１２ａ、第２コンロバーナ１２ｂ、第３コンロバーナ１２ｃ、グリルバーナ２９ａ（図３参照）の動作状態などが表示される。ユーザは、パネル操作部２２によって各コンロバーナおよびグリルバーナ２９ａを所定の時間経過後に消火する、消火タイマーの設定等をすることができる。また、パネル操作部２２は、後述する自動加熱モードを設定可能である。

【0043】

加熱調理器１０は、制御装置４０を内部に収容している。制御装置４０は、第１コンロ１１ａと、第２コンロ１１ｂと、第３コンロ１１ｃと、グリル２８内のグリルバーナ２９ａ（図３参照）の火力（すなわち、加熱量）を自動制御するためのコンピュータである。制御装置４０は、インターネットを介して、学習装置３０に接続されている。制御装置４０および学習装置３０の詳細については後述する。

【0044】

次に、レンジフード４について説明する。レンジフード４は、内部に不図示のファンを収容している。レンジフード４は、ファンを下方から覆うレンジカバー６と、カメラカバー８と、スピーカ９ｃと、を備えている。

【0045】

図２に示されるように、カメラカバー８は、レンジカバー６の後側中央部に配置されている。カメラカバー８の左右両側の端部には、下方に延びているフランジが設けられている。カメラカバー８の中央部には、加熱中カメラ９ｂと、加熱前カメラ９ａが配置されている。加熱中カメラ９ｂと、加熱前カメラ９ａは、ともに半球形状を有している。加熱前カメラ９ａと加熱中カメラ９ｂは、同様の構造を備えており、それぞれの撮像可能な範囲が異なるだけである。加熱前カメラ９ａと加熱中カメラ９ｂが画像を撮像する技術については、既知であるためここでは説明を省略する。

【0046】

また、図１に示されるように、レンジフード４の前面の左側端部には、スピーカ９ｃが配置されている。スピーカ９ｃは、加熱調理器１０のユーザに音声を伝える。

【0047】

図３を参照して、加熱調理システム２が備えている制御構成について説明する。なお、図３では、第１コンロ１１ａの第１コンロバーナ１２ａのみを記載して、第２コンロバーナ１２ｂと第３コンロバーナ１２ｃの記載を省略している。同様に、図３では、第１コンロ１１ａの第１センサ１４ａのみを記載して、第２センサ１４ｂと第３センサ１４ｃの記載を省略している。電源スイッチ２４がオンされると、コンロ操作部２０、パネル操作部２２、制御装置４０等が起動する。

【0048】

制御装置４０は、ハードウェアプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を備えている。コンロ操作部２０が操作されると、その操作に基づいて、制御装置４０は、第１コンロバーナ１２ａの火力を調整する。制御装置４０は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により構成される。

【0049】

制御装置４０は、例えばＲＡＭ，ＲＯＭ等で構成されている学習記憶部４６と、メニュー記憶部４８と、外部インターフェース（図３では外部Ｉ／Ｆと記載されている）４２と、を備えている。学習記憶部４６は、プログラム４６ｐと、学習結果データ３２ｒを記憶している。プログラム４６ｐは、制御装置４０に加熱調理器１０でユーザが調理する調理メニューを推定する処理を実行させるための命令を含んでいる。学習結果データ３２ｒは、学習済みの学習器の設定を行うためのデータであり、図１に示す学習装置３０で生成され、インターネットを介して制御装置４０に送信される。

【0050】

メニュー記憶部４８は、複数のメニュー名称と、各メニュー名称のそれぞれに対応する加熱量のパターンによって構成された加熱量テーブル４８ｔを記憶している。メニュー名称は、例えばカレー、煮物のようなユーザが加熱調理器１０を利用して調理するメニューの名称である。加熱量のパターンは、例えば第１コンロバーナ１２ａの火力を、１５分間強火で設定し、その後火力を弱めて２０分間弱火に設定するといった経時的な制御パターンである。なお、加熱量テーブル４８ｔは、加熱調理器１０の製造時にメニュー記憶部４８に予め記憶されていてもよいし、外部サーバとの通信が可能な外部インターフェース４２を介して、外部サーバからダウンロードしてメニュー記憶部４８に記憶されていてもよい。

【0051】

外部インターフェース４２は、制御装置４０と外部の装置を接続するインターフェースである。図３に示されるように、外部インターフェース４２は、制御装置４０と加熱前カメラ９ａ、加熱中カメラ９ｂ、スピーカ９ｃを接続する。外部インターフェース４２は、例えば、Ｗｉ－Ｆｉ（登録商標）方式によって、加熱前カメラ９ａ、加熱中カメラ９ｂ、スピーカ９ｃに接続される。

【0052】

図４を参照して、学習装置３０について説明する。学習装置３０は、記憶部３２と、入力装置３４ｉと、出力装置３４оと、制御部３６と、通信インターフェース（図４では、通信Ｉ／Ｆと記載している）３８と、ドライブ３９を備えている。図３に示されるように、学習装置３０は、各デバイスが電気的に接続されているコンピュータである。

【0053】

制御部３６は、ハードウェアプロセッサであるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラムおよびデータに基づいて各種情報処理を実行するように構成される。記憶部３２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部３２は、制御部３６で実行される学習プログラム３２ｐ、学習器の機械学習に利用する学習データ３２ｄ、学習プログラム３２ｐを実行して作成した学習結果データ３２ｒを記憶する。

【0054】

学習プログラム３２ｐは、後述する機械学習の処理（図１２）を学習装置３０に実行させ、当該機械学習の結果として学習結果データ３２ｒを生成させるためのプログラムである。学習データ３２ｄは、入力された情報から調理メニューを推定するように学習器の機械学習を行うためのデータである。詳細は後述する。

【0055】

通信インターフェース３８は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインターフェースである。学習装置３０は、当該通信インターフェース３８を介して、作成した学習結果データ３２ｒを外部の装置に配信してもよい。

【0056】

入力装置３４ｉは、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置３４оは、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。学習装置３０のオペレータは、入力装置３４ｉおよび出力装置３４оを介して、学習装置３０を操作することができる。

【0057】

ドライブ３９は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体３０ｍに記憶されたプログラムを読み込むためのドライブ装置である。ドライブ３９の種類は、記憶媒体３０ｍの種類に応じて適宜選択されてよい。上記学習プログラム３２ｐおよび学習結果データ３２ｒは、この記憶媒体３０ｍに記憶されていてもよい。

【0058】

記憶媒体３０ｍは、コンピュータその他の装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。学習装置３０は、この記憶媒体３０ｍから、学習プログラム３２ｐ、学習データ３２ｄを取得してもよい。

【0059】

図４では、記憶媒体３０ｍの一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体３０ｍは、ディスク型に限定されない。記憶媒体３０ｍは、例えば、フラッシュメモリ等の半導体メモリであってもよい。

【0060】

なお、学習装置３０の具体的なハードウェア構成に関しては、実施形態に応じて、適宜、構成要素の省略、置換および追加が可能である。例えば、制御部３６は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）等で構成されてよい。学習装置３０は、複数台の情報処理装置で構成されてもよい。また、学習装置３０は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等であってもよい。

【0061】

図５を参照して、制御装置４０の制御構成について説明する。図５では、制御装置４０の制御構成を模式的に示している。

【0062】

制御装置４０は、学習記憶部４６に記憶されたプログラム４６ｐをＲＡＭに展開する。制御装置４０は、ＲＡＭに展開されたプログラム４６ｐをＣＰＵにより解釈および実行して、各構成要素を制御する。これによって、図５に示されるとおり、制御装置４０は、ソフトウェアモジュールとして、画像取得部５１、画像解析部５２、解像度変換部５３、加熱量情報取得部５４、調理メニュー推定部５５、警報部５６、および加熱量制御部５７を備えるコンピュータとして構成される。

【0063】

画像取得部５１は、加熱前カメラ９ａ、加熱中カメラ９ｂから撮像画像９ｉを取得する。詳細は図７から図９を参照して説明するが、撮像画像９ｉには、加熱調理器１０の各コンロバーナで加熱する前の準備が施されている食材の状態や、加熱中のユーザ、食材、調理容器等の状態が含まれている。なお、画像取得部５１は、例えばユーザが携帯端末で撮像した画像を受信してもよい。

【0064】

画像解析部５２は、画像取得部５１が取得した撮像画像９ｉを解析して、撮像画像９ｉから食材に関する情報である食材情報５２ｆとユーザに関する情報であるユーザ情報５２ｕを抽出する。また、加熱量情報取得部５４は、加熱調理器１０の各コンロバーナから、各コンロバーナの加熱量に関する情報である加熱量情報５７ｑを取得する。

【0065】

解像度変換部５３は、画像取得部５１により取得した撮像画像９ｉの解像度を低下させる。これにより、解像度変換部５３は、低解像度撮像画像６２を生成する。

【0066】

調理メニュー推定部５５は、ユーザが加熱調理器１０の各コンロバーナで加熱して調理する調理メニューを推定するための機械学習を行った学習済みの学習器（ニューラルネットワーク７０）に、撮像画像９ｉを低解像度化することで得られた低解像度撮像画像６２を入力する。また、食材情報５２ｆ、ユーザ情報５２ｕ、加熱量情報５７ｑも、補足情報６０として同様に入力される。これにより、調理メニュー推定部５５は、調理メニュー情報６４を学習器から取得する。低解像度化することで得られた低解像度撮像画像６２をニューラルネットワーク７０に入力することで、ニューラルネットワーク７０の演算処理の計算量を低減することができ、プロセッサの負荷を低減することができる。なお、低解像度化の処理は省略されてもよい。この場合、調理メニュー推定部５５は、撮像画像９ｉを学習器（ニューラルネットワーク７０）に入力してもよい。

【0067】

調理メニュー情報６４は、図３のメニュー記憶部４８が記憶している加熱量テーブル４８ｔのメニュー名称を含んでいる。加熱量制御部５７は、調理メニュー推定部５５が学習器から取得した調理メニュー情報６４に含まれるメニュー名称に対応する加熱量パターンで、加熱調理器１０の各コンロバーナおよびグリル２８内のグリルバーナ２９ａの加熱量（すなわち、火力）を制御する。

【0068】

また、警報部５６は、調理メニュー情報６４に含まれるメニュー名称に対応する加熱量のパターンが終了したときに、スピーカ９ｃ（図３参照）を介してユーザに加熱が終了したことを報知する。また、警報部５６は、例えば撮像画像９ｉが正常に取得されなかった場合等に、ユーザにそのことを報知してもよい。また、警報部５６は、スピーカ９ｃを介してユーザに報知せずに、例えば、ユーザの携帯端末にメッセージを送ることで加熱が終了したことを報知してもよい。さらに、スピーカ９ｃは、加熱調理器１０に配置されていてもよい。

【0069】

図５に示されるとおり、制御装置４０は、ユーザが加熱調理器１０の各コンロバーナで加熱する調理メニューを推定するための機械学習を行った学習済みの学習器として、ニューラルネットワーク７０を利用する。ニューラルネットワーク７０は、複数種類のニューラルネットワークを組み合わせることで構成されている。

【0070】

ニューラルネットワーク７０は、全結合ニューラルネットワーク７２、畳み込みニューラルネットワーク７４、結合層７６、およびＬＳＴＭネットワーク７８の４つの部分に分かれている。全結合ニューラルネットワーク７２および畳み込みニューラルネットワーク７４は入力側に並列に配置されており、全結合ニューラルネットワーク７２には補足情報６０が入力され、畳み込みニューラルネットワーク７４には低解像度撮像画像６２が入力される。結合層７６は、全結合ニューラルネットワーク７２および畳み込みニューラルネットワーク７４の出力を結合する。ＬＳＴＭネットワーク７８は、結合層７６からの出力を受けて、調理メニュー情報６４を出力する。

【0071】

全結合ニューラルネットワーク７２は、いわゆる多層構造のニューラルネットワークであり、入力側から順に、入力層７２ｉ、中間層（隠れ層）７２ｍ、および出力層７２оを備えている。ただし、全結合ニューラルネットワーク７２の層の数は、このような例に限定されなくてもよく、実施形態に応じて適宜選択されてよい。

【0072】

全結合ニューラルネットワーク７２の各層７２ｉ、７２ｍ、７２оは、１又は複数のニューロン（ノード）を備えている。各層に含まれるニューロンの個数は、実施形態に応じて適宜設定されてよい。各層に含まれる各ニューロンが、隣接する層に含まれる全てのニューロンに結合されていることで、全結合ニューラルネットワーク７２は構成される。各結合には、重み（結合荷重）が適宜設定されている。

【0073】

畳み込みニューラルネットワーク７４は、畳み込み層７４ａおよびプーリング層７４ｂを交互に接続した構造を有する順伝播型ニューラルネットワークである。本実施形態に係る畳み込みニューラルネットワーク７４では、複数の畳み込み層７４ａおよびプーリング層７４ｂが入力側に交互に配置されている。そして、最も出力側に配置されたプーリング層７４ｂの出力が全結合層７４ｃに入力され、全結合層７４ｃの出力が出力層７４оに入力される。

【0074】

畳み込み層７４ａは、画像の畳み込みの演算を行う層である。画像の畳み込みとは、画像と所定のフィルタとの相関を算出する処理に相当する。そのため、画像の畳み込みを行うことで、例えば、フィルタの濃淡パターンと類似する濃淡パターンを入力される画像から検出することができる。

【0075】

プーリング層７４ｂは、プーリング処理を行う層である。プーリング処理は、画像のフィルタに対する応答の強かった位置の情報を一部捨て、画像内に現れる特徴の微小な位置変化に対する応答の不変性を実現する。

【0076】

全結合層７４ｃは、隣接する層の間のニューロン全てを結合した層である。すなわち、全結合層７４ｃに含まれる各ニューロンは、隣接する層に含まれる全てのニューロンに結合される。全結合層７４ｃは、２層以上で構成されてもよい。また、全結合層７４ｃに含まれるニューロンの個数は、実施形態に応じて適宜設定されてもよい。

【0077】

出力層７４оは、畳み込みニューラルネットワーク７４の最も出力側に配置される層である。出力層７４оに含まれるニューロンの個数は、実施形態に応じて適宜設定されてよい。なお、畳み込みニューラルネットワーク７４の構成は、このような例に限定されなくてもよく、実施形態に応じて適宜設定されてもよい。

【0078】

結合層７６は、全結合ニューラルネットワーク７２および畳み込みニューラルネットワーク７４とＬＳＴＭネットワーク７８との間に配置される。結合層７６は、全結合ニューラルネットワーク７２の出力層７２оからの出力および畳み込みニューラルネットワーク７４の出力層７４оからの出力を結合する。結合層７６の出力は、ＬＳＴＭネットワーク７８に入力される。結合層７６に含まれるニューロンの個数は、全結合ニューラルネットワーク７２および畳み込みニューラルネットワーク７４の出力の数に応じて適宜設定されてもよい。

【0079】

ＬＳＴＭネットワーク７８は、ＬＳＴＭブロック７８ｂを備える再帰型ニューラルネットワークである。再帰型ニューラルネットワークは、例えば、中間層から入力層への経路のように、内部にループを有するニューラルネットワークのことである。ＬＳＴＭネットワーク７８は、一般的な再帰型ニューラルネットワークの中間層をＬＳＴＭブロック７８ｂに置き換えた構造を有する。

【0080】

ＬＳＴＭネットワーク７８は、入力側から順に、入力層７８ｉ、ＬＳＴＭブロック７８ｂ、および出力層７８оを備えており、順伝播の経路の他、ＬＳＴＭブロック７８ｂから入力層７８ｉに戻る経路を有している。入力層７８ｉおよび出力層７８оに含まれるニューロンの個数は、実施形態に応じて適宜設定されてもよい。

【0081】

ＬＳＴＭブロック７８ｂは、入力ゲートおよび出力ゲートを備え、情報の記憶および出力のタイミングを学習可能に構成されたブロックである。また、ＬＳＴＭブロック７８ｂは、情報の忘却のタイミングを調節する忘却ゲートを備えてもよい。ＬＳＴＭネットワーク７８の構成は、実施形態に応じて適宜設定可能である。

【0082】

各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。制御装置４０は、全結合ニューラルネットワーク７２に補足情報６０を入力し、畳み込みニューラルネットワーク７４に低解像度撮像画像６２を入力する。そして、制御装置４０は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。このように、ニューラルネットワーク７０は、入力に対する演算処理を実行する。制御装置４０は、調理メニュー情報６４に対応する出力値をニューラルネットワーク７０の出力層７８оから取得する。

【0083】

なお、このようなニューラルネットワーク７０の構成（例えば、各ネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数）、各ニューロン間の結合の重み、および各ニューロンの閾値を示す情報は、学習結果データ３２ｒに含まれている。制御装置４０は、学習結果データ３２ｒを参照して、ユーザが加熱調理器１０の各コンロバーナで加熱する調理メニューを推定する処理に用いる学習済みニューラルネットワーク７０の設定を行う。

【0084】

図６を用いて、学習装置３０について説明する。学習装置３０の制御部３６は、記憶部３２に記憶された学習プログラム３２ｐをＲＡＭに展開する。そして、制御部３６は、ＲＡＭに展開された学習プログラム３２ｐをＣＰＵにより解釈および実行して、各構成要素を制御する。これによって、図６に示されるとおり、学習装置３０は、ソフトウェアモジュールとして、学習データ取得部３１および学習処理部３３を備えるコンピュータとして構成される。

【0085】

学習データ取得部３１は、加熱前カメラ９ａおよび加熱中カメラ９ｂが撮像した撮像画像９ｉを低解像度化することで得られた低解像度撮像画像６２ｔと、加熱量情報５７ｑと食材情報５２ｆとユーザ情報５２ｕからなる補足情報６０ｔと、低解像度撮像画像６２ｔおよび補足情報６０ｔに対応する調理メニュー情報６４ｔの組を学習データ６６として取得する。低解像度撮像画像６２ｔおよび補足情報６０ｔはそれぞれ、図５を参照して説明した低解像度撮像画像６２および補足情報６０に対応し、入力データとして利用される。調理メニュー情報６４ｔは、図５の調理メニュー情報６４に対応し、教師データ（正解データ）として利用される。学習処理部３３は、低解像度撮像画像６２ｔおよび補足情報６０ｔを入力すると、調理メニュー情報６４ｔに対応する出力値を出力するように学習器の機械学習を行う。

【0086】

図６に示されるとおり、制御装置４０（図５参照）と同様に、学習装置３０は、ニューラルネットワーク７０ｔを備えている。学習装置３０のニューラルネットワーク７０ｔは、全結合ニューラルネットワーク７２ｔ、畳み込みニューラルネットワーク７４ｔ、結合層７６ｔ、およびＬＳＴＭネットワーク７８ｔを備えている。学習装置３０のニューラルネットワーク７０ｔは、制御装置４０のニューラルネットワーク７０と同様に構成される。そのため、学習装置３０の全結合ニューラルネットワーク７２ｔ、畳み込みニューラルネットワーク７４ｔ、結合層７６ｔ、およびＬＳＴＭネットワーク７８ｔはそれぞれ、制御装置４０の全結合ニューラルネットワーク７２、畳み込みニューラルネットワーク７４、結合層７６、およびＬＳＴＭネットワーク７８と同様である。すなわち、学習装置３０のニューラルネットワーク７０ｔは、制御装置４０のニューラルネットワーク７０と同様に演算処理を実行する。

【0087】

学習処理部３３は、全結合ニューラルネットワーク７２ｔに補足情報６０ｔを入力し、畳み込みニューラルネットワーク７４ｔに低解像度撮像画像６２ｔを入力すると、調理メニュー情報６４ｔに対応する出力値をＬＳＴＭネットワーク７８ｔから出力するニューラルネットワーク７０ｔを構築する。そして、学習処理部３３は、構築したニューラルネットワーク７０の構成、各ニューロン間の結合の重みおよび各ニューロンの閾値を示す情報を、学習結果データ３２ｒとして記憶部３２に格納する。学習処理部３３は、記憶部３２に格納した学習結果データ３２ｒを、インターネットを介して定期的に制御装置４０に送信する。これにより、制御装置４０の学習結果データ３２ｒが定期的に更新される。

【0088】

図７～図９を参照して、加熱調理システム２が、制御装置４０に入力する撮像画像９ｉを撮像する構造について説明する。なお、以下では、主に加熱調理器１０の第１コンロ１１ａおよびグリル２８で食材を加熱する場合について説明するが、第２コンロ１１ｂ、第３コンロ１１ｃを用いて加熱する場合も同様である。

【0089】

加熱前カメラ９ａと加熱中カメラ９ｂは、左右方向に並べて配置されている。加熱前カメラ９ａは右側に配置されている。加熱前カメラ９ａは、右方に延びる撮像エリアａ２０を有している。加熱調理器１０の右側には、加熱前準備スペース８０が設けられている。すなわち、加熱前カメラ９ａは、カメラカバー８の加熱前準備スペース８０側に設けられている。

【0090】

加熱前準備スペース８０には、まな板８２が配置されており、まな板８２の上面には、加熱前食材８４ａが載置されている。図７に示されるように、加熱前食材８４ａの一部は、切断されている。加熱前食材８４ａは、加熱調理器１０の第１コンロ１１ａで加熱する前の準備が施されている。図７に示されるように、加熱前食材８４ａは、加熱前カメラ９ａの撮像エリアａ２０内に載置されている。すなわち、加熱前カメラ９ａは、加熱前食材８４ａを第１コンロ１１ａで加熱する前の準備が施されている加熱前食材８４ａの状態を含む加熱前食材画像を撮像可能に構成されている。

【0091】

加熱前食材画像には、加熱前食材８４ａの食材の種類、切り方、加熱前準備において加熱前食材８４ａに加えられた調味料の種類、量などの情報が含まれる。このため、図５を参照して説明したように、画像解析部５２が加熱前食材画像を解析して、調理メニュー推定部５５がこれらの情報を補足情報６０としてニューラルネットワーク７０に入力することができる。これにより、調理メニュー推定部５５の推定精度を向上させることができる。

【0092】

加熱中カメラ９ｂは、下方に延びる撮像エリアａ１０を有している。図７に示されるように、加熱中カメラ９ｂの撮像エリアａ１０は、第１コンロ１１ａ、第２コンロ１１ｂ、第３コンロ１１ｃを収めている。加熱中カメラ９ｂは、第１コンロ１１ａの上に載置されている鍋８６の内部に収容されている加熱中食材８４ｂが、第１コンロ１１ａによって加熱されている状態を撮像することができる。すなわち、加熱中カメラ９ｂは、第１コンロ１１ａにより加熱されている加熱中食材８４ｂの状態を含む加熱中食材画像を撮像可能に構成されている。なお、加熱前カメラ９ａと加熱中カメラ９ｂは一体で形成されていてもよく、その場合、撮像エリアが左右方向に変更可能に構成されてもよい。

【0093】

加熱中食材画像には、調理容器（図７では、鍋８６）の大きさ、調理容器の種類（例えば、フライパンなど）、加熱中食材８４ｂの加熱状況（色、沸騰状況など）、調理容器内の水分量、油分量、調理容器内に加えられた調味料の種類、量などの情報が含まれる。このため、図５を参照して説明したように、画像解析部５２が加熱中食材画像を解析して、調理メニュー推定部５５がこれらの情報を補足情報６０としてニューラルネットワーク７０に入力することができる。これにより、調理メニュー推定部５５の推定精度を向上させることができる。

【0094】

図８に示されるように、加熱中カメラ９ｂは、撮像エリアａ１１も撮像可能に構成されている。これにより、加熱中カメラ９ｂは、加熱調理器１０によって調理を実行するユーザ１００の加熱中ユーザ画像も撮像することができる。

【0095】

加熱中ユーザ画像には、ユーザ１００の姿勢（頭や体の向き、手の位置など）、ユーザ１００が所持している調理具（図８では、おたま９０）の大きさ、調理具の種類（例えば、菜箸など）の情報も含まれる。また、加熱中カメラ９ｂがユーザ１００の状態を連続して撮像することで、ユーザ１００の動き（例えば、調味料を入れる動き、調理容器内をかき混ぜる動きなど）の情報も加熱中ユーザ画像に含めることができる。このため、図５を参照して説明したように、画像解析部５２が加熱中ユーザ画像を解析して、調理メニュー推定部５５がこれらの情報を補足情報６０としてニューラルネットワーク７０に入力することができる。これにより、調理メニュー推定部５５の推定精度を向上させることができる。

【0096】

図９に示されるように、加熱中カメラ９ｂは、撮像エリアａ１３も撮像可能に構成されている。これにより、加熱中カメラ９ｂは、グリル２８内で加熱されている加熱中食材８８の状態を含むグリル内食材画像も撮像することができる。

【0097】

グリル内食材画像にも、加熱中食材画像と同様に、加熱中食材８８の加熱状況、グリル２８内の水分量、油分量、グリル２８内に加えられた調味料の種類、量などの情報が含まれる。このため、図５を参照して説明したように、画像解析部５２が加熱中食材画像を解析して、調理メニュー推定部５５がこれらの情報を補足情報６０としてニューラルネットワーク７０に入力することができる。これにより、調理メニュー推定部５５の推定精度を向上させることができる。

【0098】

また、図５で説明したように、制御装置４０は、加熱量情報取得部５４によって、各コンロおよびグリル２８の加熱量に関する情報である加熱量情報５７ｑも取得可能である。このため、図５を参照して説明したように、調理メニュー推定部５５が加熱量情報５７ｑも補足情報としてニューラルネットワーク７０に入力することができる。これにより、調理メニュー推定部５５の推定精度を向上させることができる。

【0099】

図１０および図１１を参照して、制御装置４０（図３参照）が実行する処理について説明する。なお、図１０および図１１で説明する制御装置４０が実行する処理が、「加熱調理方法」の一例である。

【0100】

ユーザは、電源スイッチ２４をオンにして加熱調理器１０を起動させる。その後、ユーザは、パネル操作部２２で設定することよって自動加熱モードを開始する（ステップＳ２）。ユーザは、自動加熱モードを設定する際、自動加熱モードで加熱するコンロバーナまたはグリルバーナを選択する。以下では、第１コンロ１１ａの第１コンロバーナ１２ａが選択された場合について説明する。

【0101】

自動加熱モードが開始されると、図７を参照して説明したように、制御装置４０は、加熱前カメラ９ａに加熱前食材画像を撮像させ、加熱前カメラ９ａから加熱前食材画像を取得する（ステップＳ４）。また、制御装置４０は、図５に示した画像解析部５２によって、食材情報５２ｆを補足情報６０として取得する（ステップＳ６）。次いで、制御装置４０は、図５に示した解像度変換部５３によって、加熱前食材画像の解像度を低くする（ステップＳ８）。なお、先に述べたように、加熱前食材画像の解像度を低くするステップＳ８は、省略可能である。

【0102】

その後、制御装置４０は、図５を参照して説明したように、調理メニュー推定部５５によって、低解像度撮像画像６２と補足情報６０（すなわち、食材情報５２ｆ）をニューラルネットワーク７０に入力する。先に述べたように、ニューラルネットワーク７０は、学習装置３０から学習結果データ３２ｒを、インターネットを介して受信済みである。すなわち、ニューラルネットワーク７０は、加熱前食材画像に基づいて調理メニューを推定するための機械学習器を行った学習済みの学習器である。低解像度撮像画像６２を入力されたニューラルネットワーク７０は、先に述べたように、調理メニュー情報６４（図５参照）に対応する出力値を出力する。これにより、制御装置４０は、調理メニュー推定部５５によって、調理メニュー情報６４を取得する（ステップＳ１２）。

【0103】

その後、ユーザがステップＳ２で選択した第１コンロバーナ１２ａに点火する（ステップＳ１４）。制御装置４０は、加熱量制御部５７によってステップＳ２で選択された第１コンロバーナ１２ａに点火したことを検知する。制御装置４０は、加熱量制御部５７によって、メニュー記憶部４８（図３参照）に記憶している加熱量テーブル４８ｔ内の、ステップＳ１２にて取得した調理メニュー情報６４に対応している加熱量（火力）のパターンを用いて第１コンロバーナ１２ａの加熱量の制御を開始する（ステップＳ１６）。これにより、加熱量制御部５７は、調理メニュー推定部５５が推定した調理メニューに基づいて、第１コンロバーナ１２ａの加熱量を制御する。

【0104】

調理メニュー情報６４に対応している加熱量のパターンが終了すると、制御装置４０は、加熱量制御部５７によって加熱量（火力）のパターン制御を終了する（ステップＳ１８）。その後、制御装置４０は、警報部５６（図５参照）によってスピーカ９ｃ（図３参照）を介してユーザに加熱が完了したことを報知する（ステップＳ２０）。これにより、制御装置４０、ユーザに対して、ユーザが行った加熱前処理によって推定された調理メニューの加熱が完了したことを知らせることができる。

【0105】

先に述べたように、実施例の加熱調理システム２（図１参照）は、加熱中の画像も取得することができる。図１１に示されるように、制御装置４０は、図１０のステップ１６の後に加熱中食材（またはユーザ）画像を取得する（ステップＳ４ｂ）。図７および図８を参照して説明したように、加熱中カメラ９ｂによって、加熱中食材（またはユーザ）画像を取得する。ステップ４ｂで加熱中ユーザ画像を取得した場合には、制御装置４０は、図５に示した画像解析部５２によって、ユーザ情報５２ｕを補足情報６０として取得する（ステップＳ６ｂ）。また、制御装置４０は、図５に示した加熱量情報取得部５４によって、加熱量情報５７ｑを補足情報６０としても取得してもよい。

【0106】

次いで、制御装置４０は、図５に示した解像度変換部５３によって、加熱中食材（またはユーザ）画像の解像度を低くする（ステップＳ８ｂ）。その後、制御装置４０は、調理メニュー推定部５５によって、低解像度撮像画像６２と補足情報６０（すなわち、ユーザ情報５２ｕと加熱量情報５７ｑ）をニューラルネットワーク７０に入力する。先に述べたように、調理メニュー推定部５５は、ニューラルネットワーク７０によって調理メニューを推定する。以下、図１１のステップＳ１０ｂからステップＳ１６ｂの処理については、上記の図１０のステップと同様であるため説明は省略する。このように、加熱前食材画像および食材情報５２ｆによって調理メニューを推定した後に、加熱中食材画像および加熱中ユーザ画像によって再度推定することで、調理メニュー推定部５５（図５参照）の推定精度を向上させることができる。また、加熱中の画像に加え、画像を解析したユーザ情報５２ｕや、加熱中の加熱量に関する情報である加熱量情報５７ｑを補足情報６０として取得することで、さらに調理メニュー推定部５５（図５参照）の推定精度を向上させることができる。なお、画像取得部５１は、加熱中食材画像と加熱中ユーザ画像の双方を同時に取得してもよいし、どちらか一方を先に取得し、その後に他方を取得してもよい。

【0107】

図１２を参照して、学習装置３０（図６参照）が実行する処理について説明する。図１２を参照して説明する学習装置３０が実行する処理が「学習方法」の一例である。

【0108】

学習装置３０は、図６に示すように、学習データ取得部３１によって、低解像度撮像画像６２ｔ、補足情報６０ｔ、および調理メニュー情報６４ｔの組を学習データ６６として取得する（ステップＳ３０）。

【0109】

学習データ６６は、ニューラルネットワーク７０ｔに対して、調理メニューを推定可能にするための機械学習に利用するデータである。このような学習データ６６は、加熱前の準備が施された様々な食材の画像と、推定される調理メニューを紐づけることで作成することができる。その際、加熱前の準備が施された様々な食材の画像は、図５の低解像度撮像画像６２と同等の解像度で保存される。加熱前の準備が施された様々な食材の画像は、少なくとも食材の切り方や大きさ、色、等を判別可能であればよい。

【0110】

また、学習データ６６は、加熱中の様々な食材や調理容器の画像と、調理メニューを紐づけても作成することができる。その際、加熱中の様々な食材や調理容器の画像は、図５の低解像度撮像画像６２と同等の解像度で保存される。加熱中の様々な食材や調理容器の画像は、少なくとも食材の色、大きさ、色、調理容器の色、大きさ、調理容器内の色等を判別可能であればよい。

【0111】

さらに、学習データ６６は、加熱中のユーザの画像と、調理メニューを紐づけても作成することができる。その際、加熱中のユーザの画像は、図５の低解像度撮像画像６２と同等の解像度で保存される。加熱中のユーザの画像は、少なくともユーザの姿勢、顔の向き、所持している調理器具の種類、大きさ、色、を判別可能であればよい。

【0112】

補足情報６０に含まれる食材情報５２ｆは、加熱前の準備が施された様々な食材の画像を解析して、食材の種類、切り方などに関する情報を抽出することで取得することができる。同様に、補足情報６０に含まれるユーザ情報５２ｕは、加熱中のユーザの画像を解析して、ユーザの姿勢、所持している調理器具などに関する情報を抽出することで取得することができる。学習データ６６は、これらの抽出した情報と調理メニューを紐づけることでも作成することができる。

【0113】

この学習データ６６の作成は、オペレータ等が入力装置３４ｉ（図４参照）を用いて手動で行ってもよいし、プログラムの処理により自動的に行われてもよい。この学習データ６６は、制御装置４０から随時収集されてもよい。また、学習データ６６の作成は、学習装置３０以外の他の情報処理装置により行われてもよい。学習装置３０が学習データ６６を作成する場合には、制御部３６は、本ステップＳ３０において、学習データ６６の作成処理を実行することで、学習データ６６を取得することができる。一方、学習装置３０以外の他の情報処理装置が学習データ６６を作成する場合には、学習装置３０は、ネットワーク、記憶媒体３０ｍ（図４参照）等を介して、他の情報処理装置により作成された学習データ６６を取得することができる。なお、本ステップＳ３０で取得する学習データ６６の件数は、ニューラルネットワーク７０ｔの機械学習を行うことができるように、実施形態に応じて適宜決定されてよい。

【0114】

次いで、学習装置３０は、学習処理部３３によって、ステップＳ３０で取得した学習データ６６を用いて、低解像度撮像画像６２ｔおよび補足情報６０ｔを入力すると調理メニュー情報６４ｔに対応する出力値を出力するようにニューラルネットワーク７０ｔの機械学習処理を実行する（ステップＳ３２）。

【0115】

学習装置３０の制御部３６（図４参照）は、学習処理を行う対象となるニューラルネットワーク７０ｔを用意する。用意するニューラルネットワーク７０ｔの構成、各ニューロン間の結合の重みの初期値、および各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部３６は、再学習を行う対象となる学習結果データ３２ｒに基づいて、ニューラルネットワーク７０ｔを用意してもよい。

【0116】

次に、制御部３６は、ステップＳ３０で取得した学習データ６６に含まれる低解像度撮像画像６２ｔおよび補足情報６０ｔを入力データとして用い、調理メニュー情報６４ｔを教師データ（正解データ）として用いて、ニューラルネットワーク７０の学習処理を行う。このニューラルネットワーク７０の学習処理には、確率的勾配降下法等が用いられてよい。

【0117】

例えば、制御部３６は、全結合ニューラルネットワーク７２ｔの入力層に補足情報６０ｔを入力し、畳み込みニューラルネットワーク７４ｔの最も入力側に配置された畳み込み層に低解像度撮像画像６２ｔを入力する。そして、制御部３６は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部３６は、ＬＳＴＭネットワーク７８ｔの出力層から出力値を得る。次に、制御部３６は、ＬＳＴＭネットワーク７８ｔの出力層から取得した出力値と調理メニュー情報６４ｔに対応する値との誤差を算出する。続いて、制御部３６は、通時的誤差逆伝搬（Ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ ｔｈｒｏｕｇｈ ｔｉｍｅ）法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重みおよび各ニューロンの閾値それぞれの誤差を算出する。そして、制御部３６は、算出した各誤差に基づいて、各ニューロン間の結合の重みおよび各ニューロンの閾値それぞれの値の更新を行う。

【0118】

制御部３６は、各件の学習データ６６について、ニューラルネットワーク７０ｔから出力される出力値が調理メニュー情報６４ｔに対応する値と一致するまでこの一連の処理を繰り返す。これにより、制御部３６は、低解像度撮像画像６２ｔおよび補足情報６０ｔを入力すると調理メニュー情報６４ｔに対応する出力値を出力するニューラルネットワーク７０ｔを構築することができる。

【0119】

制御部３６は、学習処理部３３によって、構築したニューラルネットワーク７０の構成、各ニューロン間の結合の重み、および各ニューロンの閾値を示す情報を学習結果データ３２ｒとして記憶部３２に記憶する（ステップＳ３４）。これにより、制御部３６は、本動作例に係るニューラルネットワーク７０の学習処理を終了する。

【0120】

なお、制御部３６は、上記のステップＳ３６の処理が完了した後に、作成した学習結果データ３２ｒを制御装置４０に転送してもよい。また、制御部３６は、上記ステップＳ３０～Ｓ３６の学習処理を定期的に実行することで、学習結果データ３２ｒを定期的に更新してもよい。そして、制御部３６は、作成した学習結果データ３２ｒを当該学習処理の実行毎に制御装置４０に転送することで、制御装置４０の保持する学習結果データ３２ｒを定期的に更新してもよい。また、例えば、制御部３６は、作成した学習結果データ３２ｒを別のデータサーバに保管してもよい。この場合、制御装置４０は、このデータサーバから学習結果データ３２ｒを取得してもよい。

【0121】

（対応関係）食材８４ａ、８４ｂ、８８が、それぞれ、「加熱対象物」の一例である。加熱調理器１０の各コンロバーナおよびグリルバーナ２９ａが「加熱部」の一例である。加熱前カメラ９ａおよび加熱中カメラ９ｂが「撮像装置」の一例である。画像解析部５２が、「食材情報解析部」、「ユーザ情報解析部」の一例である。

【0122】

以上、実施例について詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。上記の実施例の変形例を以下に列挙する。

【0123】

（変形例１）上記の加熱調理システム２では、加熱前食材画像から、画像解析部５２によって食材情報５２ｆを抽出し、補足情報６０として学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、食材情報５２ｆを入力しない構成としてもよい。その場合、制御装置４０は、画像解析部５２を備えなくてもよい。

【0124】

（変形例２）上記の加熱調理システム２では、加熱中カメラ９ｂが撮像した加熱中食材画像も画像取得部５１によって取得し、学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、加熱中食材画像は取得しなくてもよい。

【0125】

（変形例３）上記の加熱調理システム２では、加熱中カメラ９ｂが撮像した加熱中ユーザ画像も画像取得部５１によって取得し、学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、加熱中ユーザ画像は取得しなくてもよい。

【0126】

（変形例４）上記の加熱調理システム２では、加熱中ユーザ画像から、画像解析部５２によってユーザ情報５２ｕを抽出し、補足情報６０として学習済みの学習器（ニューラルネットワーク７０）に入力している。これに代えて、変形例では、ユーザ情報５２ｕを入力しない構成としてもよい。その場合、制御装置４０は、画像解析部５２を備えなくてもよい。

【0127】

（変形例５）上記の加熱調理システム２では、制御装置４０は、ユーザが選択したコンロまたはグリルが、ユーザによって点火されたことを検知して、選択したコンロまたはグリルの加熱量のパターン制御を開始する。これに代えて、変形例では、選択されたコンロまたはグリルのセンサによって選択されたコンロまたはグリルに調理容器や食材が載置されたことを検知した場合に、制御装置が選択されたコンロまたはグリルに点火してもよい。

【0128】

（変形例６）上記の加熱調理システム２は、システムキッチンに組み込んで使用されるガス燃焼式のビルトインコンロである。これに代えて、変形例では、電磁誘導加熱調理器（ＩＨ調理器）であってもよい。その場合、制御装置４０の加熱量制御部５７は、火力に代えて各調理器の電力を制御してもよい。

【0129】

以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

【符号の説明】

【0130】

２ ：加熱調理システム
４ ：レンジフード
６ ：レンジカバー
８ ：カメラカバー
９ａ ：加熱前カメラ
９ｂ ：加熱中カメラ
９ｃ ：スピーカ
１０ ：加熱調理器
１１ａ ：第１コンロ
１２ａ ：第１コンロバーナ
１４ａ ：第１センサ
１６ａ ：五徳
１７ ：排気口
２０ ：コンロ操作部
２０ａ ：第１加熱量操作部
２２ ：パネル操作部
２４ ：電源スイッチ
２８ ：グリル
２９ａ ：グリルバーナ
３０ ：学習装置
３０ｍ ：記憶媒体
３１ ：学習データ取得部
３２ ：記憶部
３３ ：学習処理部
３４ｉ ：入力装置
３４о ：出力装置
３６ ：制御部
３８ ：通信インターフェース
３９ ：ドライブ
４０ ：制御装置
４２ ：外部インターフェース
４６ ：学習記憶部
４８ ：メニュー記憶部
４８ｔ ：加熱量テーブル
５１ ：画像取得部
５２ ：画像解析部
５３ ：解像度変換部
５４ ：加熱量情報取得部
５５ ：調理メニュー推定部
５６ ：警報部
５７ ：加熱量制御部
７０、７０ｔ ：ニューラルネットワーク
８０ ：加熱前準備スペース
８４ａ ：加熱前食材
８４ｂ、８８ ：加熱中食材
８６ ：鍋

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】