特許 7577597 加熱調理器システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-25

(45)【発行日】2024-11-05

(54)【発明の名称】加熱調理器システム

(51)【国際特許分類】

   F24C 7/04 20210101AFI20241028BHJP

   A47J 37/06 20060101ALI20241028BHJP

   A47J 37/08 20060101ALI20241028BHJP

【ＦＩ】

F24C7/04 301Z

A47J37/06 371

A47J37/08

【請求項の数】 11

(21)【出願番号】P 2021064993

(22)【出願日】2021-04-06

(65)【公開番号】P2022160322

(43)【公開日】2022-10-19

【審査請求日】2023-12-11

(73)【特許権者】

【識別番号】503376518

【氏名又は名称】東芝ライフスタイル株式会社

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100205785

【弁理士】

【氏名又は名称】▲高▼橋 史生

(74)【代理人】

【識別番号】100203297

【弁理士】

【氏名又は名称】橋口 明子

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100135301

【弁理士】

【氏名又は名称】梶井 良訓

(72)【発明者】

【氏名】磯貝 俊紀

【審査官】礒部 賢

(56)【参考文献】

【文献】特表２０２１－５０８８１１（ＪＰ，Ａ）

【文献】特開２０２０－１３９６９７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２４２５８４（ＵＳ，Ａ１）

【文献】特開２０２０－１５３９４５（ＪＰ，Ａ）

【文献】特開平０５－１７２３３７（ＪＰ，Ａ）

【文献】特開平０４－２６９４８９（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１９－０１０５５３１（ＫＲ，Ａ）

【文献】特開２００５－１７２２６７（ＪＰ，Ａ）

【文献】特開昭５９－０３８５２９（ＪＰ，Ａ）

【文献】特開２００８－２８６４６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｆ２４Ｃ １／００ － １５／３６

Ａ４７Ｊ ３７／００ － ３７／１２

(57)【特許請求の範囲】

【請求項1】

調理対象が載せられる載置部を含む筐体と、
前記筐体内に設けられ、前記調理対象を加熱する加熱部と、
前記調理対象を撮影し、前記加熱部の温度によって撮影される画像に含まれる前記調理対象の色が異なる撮像部と、
前記撮像部により撮影された画像をモノクロ画像に変換し、変換したモノクロ画像と、学習により内部変数が調整された学習済みモデルとに基づき、前記調理対象の調理具合を判定する判定部と、
前記判定部の判定結果に基づき前記加熱部を制御する制御部と、
を備え、
前記筐体は、開口を有した筐体本体と、前記開口を閉じる扉とを有し、
前記撮像部は、前記筐体本体の天井または前記扉の内面に設けられ、
前記判定部は、前記撮像部のレンズに付着した汚れの量を直接的または間接的に示す情報と、前記モノクロ画像と、前記学習済みモデルとに基づき、前記調理具合を判定し、
前記撮像部のレンズに付着した汚れの量を直接的または間接的に示す情報は、前記調理対象として過去に調理された食材の種類を示す使用履歴を含む、
加熱調理器システム。

【請求項2】

調理対象が載せられる載置部を含む筐体と、
前記筐体内に設けられ、前記調理対象を加熱する加熱部と、
前記調理対象を撮影し、前記加熱部の温度によって撮影される画像に含まれる前記調理対象の色が異なる撮像部と、
前記撮像部により撮影された画像をモノクロ画像に変換し、変換したモノクロ画像と、学習により内部変数が調整された学習済みモデルとに基づき、前記調理対象の調理具合を判定する判定部と、
前記判定部の判定結果に基づき前記加熱部を制御する制御部と、
を備え、
前記筐体は、開口を有した筐体本体と、前記開口を閉じるとともに前記筐体本体の内部を外部から視認可能な窓部と取手とを含む扉とを有し、
前記撮像部は、前記取手に設けられ、前記窓部を通じて前記筐体本体の内部に収容された前記調理対象を撮影し、
前記判定部は、前記窓部に付着した汚れの量を直接的または間接的に示す情報と、前記モノクロ画像と、前記学習済みモデルとに基づき、前記調理具合を判定し、
前記窓部に付着した汚れの量を直接的または間接的に示す情報は、前記調理対象として過去に調理された食材の種類を示す使用履歴を含む、
加熱調理器システム。

【請求項3】

前記調理対象の種類を示すユーザの入力を受け付ける種類受付部をさらに備え、
前記学習済みモデルは、前記調理対象の種類に対応する複数の学習済みモデルを含み、 前記判定部は、前記種類受付部により受け付けられた前記調理対象の種類に基づき前記複数の学習済みモデルのなかから１つの学習済みモデルを選択し、選択した学習済みモデルに基づき前記調理対象の調理具合を判定する、
請求項１または請求項２に記載の加熱調理器システム。

【請求項4】

前記学習済みモデルは、前記調理具合の判定に用いられる第１学習済みモデルと、前記調理対象の種類の判定に用いられる第２学習済みモデルとを含み、
前記判定部は、前記モノクロ画像と前記第１学習済みモデルとに基づき前記調理具合を判定する第１判定部と、前記撮像部により撮影された画像または前記モノクロ画像と、前記第２学習済みモデルとに基づき前記調理対象の種類を判定する第２判定部と、を含む、 請求項１または請求項２に記載の加熱調理器システム。

【請求項5】

前記第２判定部により判定された前記調理対象の種類を表示部に出力する情報出力部と、
前記表示部に表示された前記調理対象の種類が誤っている場合に、前記調理対象の種類を訂正するユーザの入力を受け付け可能である訂正受付部と、
をさらに備えた、
請求項４に記載の加熱調理器システム。

【請求項6】

前記筐体、前記加熱部、前記撮像部、および前記制御部を含む加熱調理器と、
前記加熱調理器とネットワークを介して接続可能であるサーバと、
を備え、
前記第１判定部は、前記加熱調理器に設けられ、
前記第２判定部は、前記サーバに設けられている、
請求項４または請求項５に記載の加熱調理器システム。

【請求項7】

前記第１判定部は、前記モノクロ画像と前記第１学習済みモデルとに基づき前記調理具合を判定し、
前記第２判定部は、前記撮像部により撮影されたカラー画像と前記第２学習済みモデルとに基づき前記調理対象の種類を判定する、
請求項４から請求項６のうちいずれか１項に記載の加熱調理器システム。

【請求項8】

前記撮像部により撮影される画像は、前記調理対象の焼き具合を示す内容を含む、
請求項１から請求項７のうちいずれか１項に記載の加熱調理器システム。

【請求項9】

運転終了後に前記調理具合に関するユーザの評価を受け付ける評価受付部と、
前記評価受付部により受け付けられた前記ユーザの評価に基づき前記学習済みモデルの追加学習を行う学習部と、
をさらに備える、
請求項１から請求項８のうちいずれか１項に記載の加熱調理器システム。

【請求項10】

前記調理具合に関するユーザの好みを受け付ける嗜好受付部をさらに備え、
前記判定部は、前記嗜好受付部により受け付けられた前記ユーザの好みに基づき、前記調理対象の調理具合に関する判定結果を異ならせる、
請求項１から請求項９のうちいずれか１項に記載の加熱調理器システム。

【請求項11】

前記筐体、前記加熱部、前記撮像部、および前記制御部を含む加熱調理器を備え、
前記加熱調理器は、トースターまたはオーブントースターである、
請求項１から請求項１０のうちいずれか１項に記載の加熱調理器システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、加熱調理器システムに関する。

【背景技術】

【0002】

庫内に配置された被調理体を監視するモニタカメラを備え、モニタカメラが捉えた被調理体の画像情報に基づき料理素材を特定する電子レンジが提案されている。ところで、加熱調理器は、利便性のさらなる向上が期待されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平６－２５７７５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、利便性の向上を図ることができる加熱調理器システムを提供することである。

【課題を解決するための手段】

【0005】

実施形態の加熱調理器システムは、筐体と、加熱部と、撮像部と、判定部と、制御部とを持つ。前記筐体は、調理対象が載せられる載置部を含む。前記加熱部は、前記筐体内に設けられ、前記調理対象を加熱する。前記撮像部は、前記調理対象を撮影し、前記加熱部の温度によって撮影される画像に含まれる前記調理対象の色が異なる。前記判定部は、前記撮像部により撮影された画像をモノクロ画像に変換し、変換したモノクロ画像と、学習により内部変数が調整された学習済みモデルとに基づき、前記調理対象の調理具合を判定する。前記制御部は、前記判定部の判定結果に基づき前記加熱部を制御する。前記筐体は、開口を有した筐体本体と、前記開口を閉じる扉とを有する。前記撮像部は、前記筐体本体の天井または前記扉の内面に設けられている。前記判定部は、前記撮像部のレンズに付着した汚れの量を直接的または間接的に示す情報と、前記モノクロ画像と、前記学習済みモデルとに基づき、前記調理具合を判定する。前記撮像部のレンズに付着した汚れの量を直接的または間接的に示す情報は、前記調理対象として過去に調理された食材の種類を示す使用履歴を含む。

【図面の簡単な説明】

【0006】

【図1】第１実施形態の加熱調理器システムの全体構成を示す図。

【図2】第１実施形態の加熱調理器を示す正面図。

【図3】図２中に示された加熱調理器のＦ３－Ｆ３線に沿う断面図。

【図4】第１実施形態の加熱調理器のシステム構成を示すブロック図。

【図5】第１実施形態の画像処理部の処理を示す図。

【図6】第１実施形態の学習済みモデルの一例を示す図。

【図7】第１実施形態の評価受付部によって表示される内容の一例を示す図。

【図8】第１実施形態の制御ユニットによる処理の流れを示すフローチャート。

【図9】第２実施形態の加熱調理器のシステム構成を示すブロック図。

【図10】第３実施形態の加熱調理器のシステム構成を示すブロック図。

【図11】第３実施形態のカメラのレンズの汚れ情報の一例を示す図。

【図12】第４実施形態のサーバのシステム構成を示すブロック図。

【図13】第４実施形態の訂正受付部により訂正を受け付ける画面の一例を示す図。

【図14】第４実施形態のサーバによる処理の流れを示すフローチャート。

【発明を実施するための形態】

【0007】

以下、実施形態の加熱調理器システムを、図面を参照して説明する。以下の説明では、同一または類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は省略する場合がある。「ＸＸに基づく」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含み得る。「ＸＸに基づく」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含み得る。「ＸＸまたはＹＹ」とは、ＸＸとＹＹのうちいずれか一方の場合に限定されず、ＸＸとＹＹの両方の場合も含み得る。これは選択的要素が３つ以上の場合も同様である。「ＸＸ」および「ＹＹ」は、任意の要素（例えば任意の情報）である。

【0008】

（第１実施形態）
＜１．全体構成＞
図１は、第１実施形態の加熱調理器システム１の全体構成を示す図である。加熱調理器システム１は、例えば、加熱調理器１００と、サーバ２００とを備える。加越調理器システム１は、ネットワークＮＷを介してまたは直接に、ユーザＵの端末装置３００と通信可能である。ネットワークＮＷは、例えば、インターネット、セルラー網、Ｗｉ－Ｆｉ（登録商標）網、ＬＰＷＡ（Low Power Wide Area）、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、またはその他の公衆回線や専用回線などを状況に応じて利用すればよい。

【0009】

加熱調理器１００は、調理対象を加熱して調理する調理家電機器である。加熱調理器１００は、ユーザＵの住居内に配置されている。加熱調理器１００は、例えば、トースター、オーブントースター、またはオーブンレンジなどであるが、オーブン機能を有しない電子レンジや他の調理家電機器などでもよい。以下では、加熱調理器１００がオーブントースターである例を取り上げて説明する。

【0010】

加熱調理器１００は、例えば、ユーザＵの住居内に設置された無線ルータＲを介してネットワークＮＷと接続可能である。加熱調理器１００は、ネットワークＮＷを介して、サーバ２００と通信可能である。加熱調理器１００は、直接またはネットワークＮＷを介して、ユーザＵの端末装置３００と通信可能でもよい。ただし本実施形態において、加熱調理器１００は、通信機能を有さず、サーバ２００と通信可能でなくてもよい。すなわち、サーバ２００は存在しなくてもよい。この場合は、加熱調理器１００単独によって「加熱調理器システム」の一例が構成される。

【0011】

サーバ２００は、加熱調理器１００の動作を管理するサーバである。サーバ２００は、ネットワークＮＷに接続された１台以上のサーバ装置（例えばクラウドサーバ）で構成される。サーバ２００は、ネットワークＮＷ中のルータに含まれる情報処理部など、エッジコンピューティングやフォグコンピューティングを行う情報処理部を含んでもよい。サーバ２００は、ネットワークＮＷを介して、ユーザＵの端末装置３００と通信可能である。

【0012】

ユーザＵの端末装置３００は、例えば、スマートフォンまたはタブレット端末装置のような携帯端末装置である。端末装置３００は、種々の情報を表示可能な表示画面を含む表示装置３０１と、ユーザＵの操作を受け付け可能な操作部３０２とを含む。表示装置３０１は、「表示部」の一例である。操作部３０２は、例えば、表示装置３０１の表示画面に重ねて設けられたタッチセンサである。端末装置３００には、加熱調理器システム１を利用するためのアプリケーションプログラムがインストールされ、以下に説明する機能がサポートされる。なお、端末装置３００は、携帯端末装置に限定されず、パーソナルコンピュータでもよい。

【0013】

＜２．加熱調理器＞
＜２．１ 加熱調理器の全体構成＞
次に、加熱調理器１００について説明する。
図２は、加熱調理器１００を示す正面図である。図３は、図２中に示された加熱調理器１００のＦ３－Ｆ３線に沿う断面図である。図２および図３に示すように、加熱調理器１００は、例えば、機器本体（加熱調理器本体）１０１と、通信部１０２と、制御ユニット１０３とを有する。

【0014】

機器本体１０１は、例えば、筐体１１１、載置部１１２、加熱部１１３、表示装置１１４、操作部１１５、カメラ１１６、温度センサ１１７、および湿度センサ１１８を有する。

【0015】

筐体１１１は、例えば、筐体本体１２１と、扉１２２とを有する。筐体本体１２１は、前面の一部が開放された箱型に形成されている。すなわち、筐体本体１２１の前面は、筐体本体１２１の内部を外部に露出させる開口１２１ａを有する。扉１２２は、筐体本体１２１の前方に設けられている。扉１２２は、筐体本体１２１に回動可能に連結され、開口１２１ａを開閉可能に閉じる。

【0016】

扉１２２は、扉本体１３１と、窓部１３２と、取手１３３とを有する。扉本体１３１は、筐体本体１２１の開口１２１ａを覆う板状に形成されている。窓部１３２は、扉本体１３１を貫通して設けられている。窓部１３２は、透明なガラス素材またはプラスチック素材により形成されている。ユーザＵは、窓部１３２を通じて筐体本体１２１の内部を外部から視認可能である。取手１３３は、扉１２２の前面に設けられ、窓部１３２の前面と比べて前方に突出している。取手１３３は、筐体本体１２１に対して扉１２２を開閉する際にユーザＵが把持する部分である。取手１３３は、扉本体１３１から離れて設けられた取手本体１３３ａと、取手本体１３３ａの両端部に設けられ、扉本体１３１に接続された接続部１３３ｂとを有する。

【0017】

載置部１１２は、筐体１１１の内部に設けられている。載置部１１２は、例えば皿状または網状に形成され、調理対象Ｏが載せられる。

【0018】

加熱部１１３は、筐体１１１の内部に設けられ、載置部１１２に載せられた調理対象Ｏを加熱する。加熱部１１３は、例えば、第１ヒータ１１３ａおよび第２ヒータ１１３ｂを含む。第１ヒータ１１３ａは、調理対象Ｏの上方に位置し、調理対象Ｏの上面を加熱する。第２ヒータ１１３ｂは、調理対象Ｏの下方に位置し、調理対象の下面を加熱する。ここで、加熱部１１３は、当該加熱部１１３の発熱状態に応じて異なる色を発する。例えば、加熱部１１３は、第１温度状態にある場合に黄色またはオレンジ色に発光し、第１温度状態よりも高い第２温度状態にある場合に、より強いオレンジ色（より濃いオレンジ色）に発光する。このため、加熱部１１３によって照らされる調理対象Ｏの表面の色は、加熱部１１３の温度の状態に応じて異なる。

【0019】

表示装置１１４は、例えば、筐体本体１２１の前面に設けられている。表示装置１１４は、種々の情報を表示可能な表示画面を有する。表示装置１１４は、例えば、液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイであるが、これらに限定されない。表示装置１１４は、「表示部」の一例である。

【0020】

操作部１１５は、例えば、筐体本体１２１の表面に設けられている。操作部１１５は、ユーザＵの操作を受け付け可能である。操作部１１５は、例えば、表示装置１１４の表示画面に重ねて設けられたタッチセンサである。ただし、操作部１１５は、筐体本体１２１の表面に設けられた物理的なボタンなどでもよい。ユーザＵは、操作部１１５に対する操作を通じて、調理対象Ｏの種類を入力することができる。「調理対象の種類」とは、食材の種類（例えば、食パン、マフィン、小麦パンなどパンの種類）、調理対象の数（食パンが１枚／２枚／３枚…など）、調理対象の大きさまたは厚さ（６枚切りの食パン／８枚切りの食パン…など）などのうち１つ以上を含む。

【0021】

カメラ１１６は、筐体１１１に設けられ、載置部１１２に載置された調理対象Ｏを撮影する。カメラ１１６は、調理対象Ｏの表面（例えば上面）の画像を撮影する。本出願で「画像」とは静止画に限定されず、動画（映像）も含む。カメラ１１６により撮影される画像は、調理対象Ｏの焼き具合を示す内容を含む。例えば、カメラ１１６は、調理対象Ｏの表面のカラー画像を撮影する。本実施形態では、カメラ１１６によって撮影される画像に含まれる調理対象Ｏの色は、加熱部１１３の温度の状態に応じて異なる。すなわち、加熱部１１３が上記第１温度状態にある場合、調理対象Ｏの表面は加熱部１１３によって黄色またはオレンジ色に照らされている。一方で、加熱部１１３が上記第２温度状態にある場合、調理対象Ｏの表面は加熱部１１３によって、より強いオレンジ色に照らされている。カメラ１１６は、撮像素子を含むカメラ本体１１６ａと、カメラ本体１１６ａと被写体（調理対象Ｏ）との間に位置するレンズ１１６ｂとを含む。カメラ１１６は、「撮像部」の一例である。

【0022】

カメラ１１６は、例えば、筐体本体１２１の天井面１２１ｂに設けられ、調理対象Ｏの上方に位置する。カメラ１１６は、例えば、調理対象Ｏの大きさ（例えば上方から見た大きさ）に加え、調理対象Ｏの厚さが分かる角度で調理対象Ｏを撮影可能な場所に配置される。なお、カメラ１１６は、筐体本体１２１の天井面１２１ｂに代えて、扉本体１３１の内面に設けられてもよい。また、カメラ１１６は、筐体本体１２１の外部において、扉１２２の取手本体１３３ａの後面に設けられてもよい。この場合、カメラ１１６は、扉１２２の窓部１３２を通じて、筐体本体１２１の内部に収容された調理対象Ｏの表面の画像を撮影する。

【0023】

温度センサ１１７は、筐体１１１内に設けられ、筐体１１１内の温度を検出する。
湿度センサ（水蒸気センサ）１１７は、筐体１１１内に設けられ、筐体１１１内の湿度を検出する。加熱調理器１００は、例えば、給水部に給水された水を加熱することで水蒸気を発生させ、調理中の調理対象Ｏに対して水分を供給する水蒸気発生部（不図示）を有する。湿度センサ１１８は、例えば、水蒸気発生部を有する加熱調理器１００に設けられ、調理対象Ｏに供給される水分を検出する。

【0024】

本実施形態では、カメラ１１６、温度センサ１１７、および湿度センサ１１８によりセンサ部ＳＵの一例が構成されている。以下の説明では、カメラ１１６により撮影された画像、温度センサ１１７の検出結果、および湿度センサ１１８による検出結果を纏めて、「センサ部ＳＵの検出結果」と称する場合がある。なお、センサ部ＳＵは、上述した以外のセンサを含んでもよい。また、温度センサ１１７および湿度センサ１１８のうち一方または両方は、省略されてもよい。

【0025】

＜２．２ 加熱調理器のシステム構成＞
図４は、加熱調理器１００のシステム構成を示すブロック図である。
通信部１０２は、例えば、アンテナと高周波回路とを含む無線通信モジュールである。通信部１０２は、ネットワークＮＷを介してサーバ２００と通信可能である。通信部１０２は、ネットワークＮＷを介して、または短距離無線通信（例えばBluetooth（登録商標））を用いて直接に、端末装置３００と通信可能である。

【0026】

制御ユニット１０３は、情報処理部ＰＵ１と、記憶部１５７とを含む。情報処理部ＰＵ１は、種類受付部１５１、画像処理部１５２、調理具合判定部１５３、制御部１５４、評価受付部１５５、および学習部１５６を含む。情報処理部ＰＵ１に含まれる各機能部は、制御ユニット１０３に搭載されたＣＰＵ（Central Processing Unit）のようなハードウェアプロセッサがプログラムを実行することにより実現される。ただし、これら機能部の一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、またはＦＰＧＡ（Field Programmable Gate Array）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。記憶部１５７は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、またはこれらのうち複数の組み合わせにより実現される。記憶部１５７には、複数の学習済みモデルＭＡおよび閾値情報ＴＩが記憶されている。

【0027】

種類受付部１５１は、加熱調理器１００の操作部１１５または端末装置３００の操作部３０２に対して行われたユーザＵの操作に基づき、調理対象Ｏの種類を示すユーザＵの入力を受け付ける。例えば、種類受付部１５１は、加熱調理器１００の表示装置１１４または端末装置３００の表示装置３０１に調理対象Ｏの種類の複数の候補を表示させ、複数の候補のなかから１つを選択するユーザＵの入力を受け付ける。上述したように、「調理対象の種類」は、食材の種類、調理対象の数、調理対象の大きさまたは厚さなどのうち１つ以上を含む。本実施形態では、種類受付部１５１により、入力受付部ＩＵの一例が構成されている。

【0028】

画像処理部１５２は、カメラ１１６により撮影された画像に対して画像処理を行う。例えば、画像処理部１５２は、カメラ１１６により撮影されたカラー画像をモノクロ画像に変換する画像処理を行う。本出願で言う「モノクロ画像」とは、白黒画像（１画素を白と黒の２階調(１ビット)で表現した画像）でもよく、グレースケール画像（中間階調を含む画像）でもよい。本実施形態では、画像処理部１５２は、カメラ１１６により撮影されたカラー画像を白黒画像に変換する。ただし、画像処理部１５２は、カメラ１１６により撮影されたカラー画像をグレースケール画像に変換してもよい。

【0029】

図５は、画像処理部１５２の処理を示す図である。図５中の（ａ）および（ｂ）は、加熱部１１３の温度の状態が異なる場合を示す。図５中の（ａ）および（ｂ）に示される「変換前」の画像ＩＭは、カメラ１１６により撮影されたカラー画像であり、画像処理部１５２により処理が行われる前の画像である。上述したように、２つの画像ＩＭに含まれる調理対象Ｏの色は、加熱部１１３の温度の状態に応じて異なる。

【0030】

一方で、図５中の（ａ）および（ｂ）に示される「変換後」の画像ＩＭＡは、画像処理部１５２により処理が行われた後の画像であり、モノクロ画像である。２つの画像ＩＭに含まれる調理対象Ｏの色は、ほぼ同じ色となる。すなわち、画像ＩＭをモノクロ画像に変換することで、画像ＩＭに含まれる調理対象Ｏの色の影響を小さくすることができる。

【0031】

調理具合判定部１５３は、画像処理部１５２により変換されたモノクロ画像と、学習により内部変数が調整された学習済みモデルＭＡとに基づき、調理対象Ｏの調理具合を判定する。学習済みモデルＭＡは、ニューラルネットワークを含むモデルであり、例えばディープラーニングにより学習が行われている。

【0032】

図６は、学習済みモデルＭＡの一例を示す図である。学習済みモデルＭＡは、入力層、隠れ層（中間層）、および出力層を含むニューラルネットワークによって構成される。例えば、学習済みモデルＭＡは、予め行われた実験により得られた教師データを用いたディープラーニングによって入力層、隠れ層、および出力層に含まれるノードｎの間の重み付け係数ｗ（内部変数）などが調整されることで学習が行われている。

【0033】

学習済みモデルＭＡは、センサ部ＳＵの検出結果（例えば、カメラ１１６の画像、温度センサ１１７の検出結果、湿度センサ１１８の検出結果）が入力情報として入力された場合に、調理対象Ｏの調理具合を示す判定結果を出力情報として出力するように学習が行われている。「調理具合を示す判定結果」とは、例えば、調理開始時の状態を「０」とし、焼き過ぎの状態（焦げた状態）を「１」とした場合における０～１の間の数値で表される。

【0034】

ここで、記憶部１５７に記憶された閾値情報ＴＩには、丁度良い調理具合（例えば丁度良い焼き具合）に対応する閾値（例えば、「０．７」）が含まれる。本実施形態では、調理具合判定部１５３は、所定の周期（例えば５秒毎）にセンサ部ＳＵの最新の検出結果を入力情報として学習済みモデルＭＡに入力する。そして、調理具合判定部１５３は、学習済みモデルＭＡから出力される判定結果としての数値が所定回数に亘り上記閾値を上回る場合（例えば５回連続で上記閾値を上回る場合）に、調理対象Ｏの調理具合が丁度良いと判定する。本実施形態では、画像処理部１５２と調理具合判定部１５３とにより判定部ＤＵの一例が構成されている。調理具合判定部１５３は、「第１判定部」の一例である。

【0035】

本実施形態では、記憶部１５７には、調理対象Ｏの複数の種類に対応する複数の学習済みモデルＭＡが記憶されている。調理具合判定部１５３は、ユーザＵにより入力されて種類受付部１５１により受け付けられた調理対象Ｏの種類に基づき複数の学習済みモデルＭＡのなかから１つの学習済みモデルＭＡを選択する。そして、調理具合判定部１５３は、選択した学習済みモデルＭＡに基づき調理対象Ｏの調理具合を判定する。

【0036】

制御部１５４は、調理具合判定部１５３の判定結果に基づき加熱部１１３を制御する。例えば、制御部１５４は、加熱調理器１００の操作部１１５または端末装置３００の操作部３０２に対するユーザＵの操作に基づき、加熱調理器１００の運転を開始し、加熱部１１３を加熱させる。制御部１５４は、例えば、加熱部１１３に電力を供給するスイッチング素子をＯＮ／ＯＦＦ制御することで、加熱部１１３の加熱状態を制御する。そして、制御部１５４は、調理具合判定部１５３により調理対象Ｏの調理具合が丁度良いと判定された場合に、加熱部１１３の加熱を終了し、加熱調理器１００の運転を終了する。なお、制御部１５４は、加熱調理器１００の運転の終了に代えて／加えて、調理具合判定部１５３の判定結果に基づき加熱部１１３の温度調整などを行ってもよい。

【0037】

評価受付部１５５は、加熱調理器１００の運転終了後に、調理対象Ｏの調理具合に関するユーザＵの評価を受け付ける。例えば、評価受付部１５５は、加熱調理器１００の表示装置１１４または端末装置３００の表示装置３０１に調理具合に関する質問をアンケート形式で表示させ、質問に対する回答を調理具合に関するユーザＵの評価として受け付ける。

【0038】

図７は、評価受付部１５５により表示される内容の一例を示す図である。評価受付部１５５は、例えば、焼き具合に関する５段階評価や、しっとり具合に関する５段階評価をユーザＵに質問し、質問に対する５段階評価の選択をユーザＵの評価として受け付ける。

【0039】

学習部１５６は、評価受付部１５５により受け付けられたユーザＵの評価に基づき、学習済みモデルＭＡの追加学習を行う。例えば、学習部１５６は、ユーザＵによって調理具合が良いと評価されたときの運転内容（センサ部ＳＵの検出結果と調理具合判定部１５３の判定内容の組み合わせ）を新しい教師データとして、ユーザＵの評価を最大化するように強化学習を行う。これにより、ユーザＵの好みに合うように学習済みモデルＭＡの内部変数が調整される。

【0040】

＜３．処理の流れ＞
図８は、制御ユニット１０３による処理の流れを示すフローチャートである。まず、種類受付部１５１は、加熱調理器１００の操作部１１５（または端末装置３００の操作部３０２）に対するユーザＵの操作に基づき、調理対象Ｏの種類を受け付ける（Ｓ１０１）。そして、調理具合判定部１５３は、種類受付部１５１により受け付けられた調理対象Ｏの種類に基づき、複数の学習済みモデルＭＡのなかから使用する学習済みモデルＭＡを選択する（Ｓ１０２）。

【0041】

次に、制御部１５４は、加熱調理器１００の運転を開始する（Ｓ１０３）。すなわち、制御部１５４は、加熱部１１３を加熱させることで、調理対象Ｏの調理を開始する。そして、判定部ＤＵは、所定の周期でセンサ部ＳＵの検出結果を取得する（Ｓ１０４）。

【0042】

画像処理部１５２は、センサ部ＳＵの検出結果が入力される場合、センサ部ＳＵの検出結果に含まれるカメラ１１６により撮影されたカラー画像をモノクロ画像に変換する（Ｓ１０５）。そして、調理具合判定部１５３は、画像処理部１５２により変換されたモノクロ画像と、選択された学習済みモデルＭＡとを用いて調理対象Ｏの調理具合の判定を行い、その判定結果を出力する（Ｓ１０６）。

【0043】

次に、制御部１５４は、調理具合判定部１５３により出力される判定結果が所定の終了条件を満たすか否かを判定する（Ｓ１０７）。例えば、制御部１５４は、調理具合判定部１５３により出力される判定結果に含まれる数値が所定回数に亘り所定の閾値を上回る場合に、所定の終了条件が満たされると判定する。

【0044】

制御部１５４は、所定の終了条件が満たされない場合（Ｓ１０７：ＮＯ）、Ｓ１０４に戻り、Ｓ１０４からＳ１０６の処理を繰り返す。一方で、制御部１５４は、所定の終了条件が満たされる場合（Ｓ１０７：ＹＥＳ）、加熱調理器１００の運転を終了する（Ｓ１０８）。すなわち、制御部１５４は、加熱部１１３の加熱を終了させる。これにより、調理対象Ｏの調理が完了する。

【0045】

＜４．利点＞
比較例として、タイマにより調理具合が調整される加熱調理器について考える。このような加熱調理器では、調理具合をユーザが都度確認する必要がある場合がある、または毎回の調理具合に差が生じる場合がある。また、カメラにより撮影された画像をそのまま利用して調理具合を判定する場合において、調理対象の表面の色が加熱部の温度の状態に応じて異なる場合、調理具合を精度良く判定することが難しい場合がある。

【0046】

一方で、本実施形態の加熱調理器システム１は、カメラ１１６により撮影された画像をモノクロ画像に変換し、変換したモノクロ画像と、学習済みモデルＭＡとに基づき、調理対象Ｏの調理具合を判定する判定部ＤＵと、判定部ＤＵの判定結果に基づき加熱部１１３を制御する制御部１５４とを備える。このような構成によれば、まず、判定部ＤＵにより調理具合が判定され、その判定結果に基づき加熱部１１３の制御が行われるため、調理具合をユーザＵが都度確認する必要が無くなるか少なくなり、また毎回の調理具合の差が小さくなる。さらに、調理対象Ｏの表面の色が加熱部１１３の温度の状態に応じて異なる場合においてモノクロ画像に基づいて調理具合を判定することで、調理具合の判定精度を高めることができる。これにより、ユーザＵの利便性の向上を図ることができる。

【0047】

本実施形態では、加熱調理器システム１は、調理対象Ｏの種類を示すユーザの入力を受け付ける種類受付部１５１をさらに備える。判定部ＤＵは、種類受付部１５１により受け付けられた調理対象Ｏの種類に基づき複数の学習済みモデルＭＡのなかから１つの学習済みモデルＭＡを選択し、選択した学習済みモデルＭＡに基づき調理対象Ｏの調理具合を判定する。このような構成によれば、調理対象毎に準備された学習済みモデルＭＡによって、調理具合の判定精度をさらに高めることができる。これにより、ユーザＵの利便性を向上させることができる。

【0048】

本実施形態では、加熱調理器システム１は、運転終了後に調理具合に関するユーザＵの評価を受け付ける評価受付部１５５と、評価受付部１５５により受け付けられたユーザＵの評価に基づき学習済みモデルＭＡの追加学習を行う学習部１５６とをさらに備える。このような構成によれば、ユーザＵによる評価が高くなるように学習済みモデルＭＡを更新することができる。これにより、ユーザＵの利便性を向上させることができる。

【0049】

（変形例）
上述した第１実施形態では、種類受付部１５１、画像処理部１５２、調理具合判定部１５３、制御部１５４、評価受付部１５５、学習部１５６、および記憶部１５７は、加熱調理器１００に設けられている。これに代えて、種類受付部１５１、画像処理部１５２、調理具合判定部１５３、制御部１５４、評価受付部１５５、学習部１５６、および記憶部１５７のうち１つ以上、サーバ２００に設けられてもよい。また、評価受付部１５５および学習部１５６は、省略されてもよい。

【0050】

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態は、加熱調理器システム１が調理具合に関するユーザＵの好みを受け付ける嗜好受付部１６１を有する点で、第１実施形態とは異なる。なお以下に説明する以外の構成は、第１実施形態の構成と同じである。

【0051】

図９は、第２実施形態の加熱調理器１００Ａのシステム構成を示すブロック図である。本実施形態では、入力受付部ＩＵは、嗜好受付部１６１を含む。嗜好受付部１６１は、加熱調理器１００の操作部１１５または端末装置３００の操作部３０２に対して行われたユーザＵの操作に基づき、調理対象Ｏの調理具合に関するユーザＵの好みを受け付ける。例えば、嗜好受付部１６１は、加熱調理器１００の表示装置１１４または端末装置３００の表示装置３０１に、調理具合の複数の候補を表示させ、複数の候補から１つを選択するユーザＵの入力を受け付ける。調理具合に関するユーザＵの好みは、例えば、「カリっとした食感」、「しっとりとした食感」、「よく焼けているのが好き」、「焼き過ぎは苦手」などである。

【0052】

本実施形態では、記憶部１５７には、調理具合の複数の好みに対応する複数の閾値情報ＴＩが記憶されている。複数の閾値情報ＴＩは、丁度良い調理具合と判定するための閾値（加熱調理器１００Ａの運転を終了させるための閾値）が互いに異なる。調理具合判定部１５３は、嗜好受付部１６１により受け付けられたユーザＵの好みに応じて複数の閾値情報ＴＩのなかから１つの閾値情報ＴＩを選択し、選択した閾値情報ＴＩを用いて加熱調理器１００Ａの運転の終了タイミングを決定する。言い換えると、調理具合判定部１５３は、嗜好受付部１６１により受け付けられたユーザＵの好みに基づき、調理対象の調理具合に関する判定結果（例えば運転の終了タイミングを示す判定結果）を異ならせる。

【0053】

このような構成によれば、ユーザＵの好みに対してより適した調理具合で調理対象Ｏを調理することができる。これにより、ユーザＵの利便性を向上させることができる。例えば、本実施形態の構成によれば、評価受付部１５５および学習部１５６が省略された場合でも、ユーザＵの好みに対してより適した調理具合で調理対象Ｏを調理することができる。

【0054】

（第３実施形態）
次に、第３実施形態について説明する。第３実施形態は、カメラ１１６のレンズ１１６ｂに関する汚れの量も反映させて調理具合に関する判定が行われる点で、第１実施形態とは異なる。なお以下に説明する以外の構成は、第１実施形態の構成と同じである。

【0055】

図１０は、第３実施形態の加熱調理器１００Ｂのシステム構成を示すブロック図である。ここで、加熱調理器１００Ｂは、冷蔵庫など他の家電機器と比べて清掃される頻度が少ない家電機器であり、カメラ１１６のレンズ１１６ｂに付着した汚れ（例えば油汚れ）が溜まることがある。レンズ１１６ｂに付着した汚れが溜まると、カメラ１１６により撮影される画像が変色する（例えば茶色くなる）場合がある。カメラ１１６により撮影される画像が変色すると、調理具合の判定精度が低下する可能性がある。

【0056】

本実施形態では、情報処理部ＰＵ１は、状態管理部１７１を含む。状態管理部１７１は、カメラ１１６のレンズ１１６ｂに付着した汚れの量を直接的または間接的に示す情報（以下「汚れ情報」と称する）を管理する。例えば、状態管理部１７１は、カメラ１１６のレンズ１１６ｂの汚れ情報を所定の周期（例えば１週間に１度）収集し、記憶部１５７に記憶される履歴情報ＨＩの一部として保存する。

【0057】

図１１は、カメラ１１６のレンズ１１６ｂの汚れ情報の一例を示す図である。カメラ１１６のレンズ１１６ｂの汚れ情報は、例えば、カメラ１１６のレンズ１１６ｂに付着した汚れの量を直接的に示す汚れ情報ＨＩＡと、カメラ１１６のレンズ１１６ｂに付着した汚れの量を間接的に示す汚れ情報ＨＩＢとのうち少なくとも一方を含む。汚れ情報ＨＩＡは、例えば、カメラ１１６により撮影された画像の履歴を含む。例えば、汚れ情報ＨＩＡは、加熱調理器１００Ｂの使用初期時に撮影された画像１と、直近に撮影された画像Ｎとを含む。汚れ情報ＨＩＢは、加熱調理器１００Ｂの使用履歴を含む。使用履歴は、例えば、調理した食材の種類、加熱部１１３の加熱温度、加熱部１１３の加熱時間などのうち１つ以上の情報を含む。

【0058】

本実施形態では、学習済みモデルＭＡは、入力情報としてセンサ部ＳＵの検出結果およびカメラ１１６のレンズ１１６ｂの汚れ情報が入力された場合に、調理対象Ｏの調理具合を示す判定結果を出力するように学習されている。入力情報として入力されるカメラ１１６のレンズ１１６ｂの汚れ情報は、例えば、直近に撮影した画像Ｎ（例えばカラー画像の画像Ｎ）でもよく、画像１と画像Ｎの組でもよく、画像１と画像Ｎの差分を示す情報でもよい。これに代えて／加えて、カメラ１１６のレンズ１１６ｂの汚れ情報は、調理した食材の履歴、加熱部１１３の加熱温度の積算値、または加熱部１１３の加熱時間の累積値などでもよい。本実施形態では、調理具合判定部１５３は、センサ部ＳＵの検出結果およびカメラ１１６のレンズ１１６ｂの汚れ情報に基づき、調理具合を判定する。

【0059】

このような構成によれば、カメラ１１６のレンズ１１６ｂに付着した汚れも考慮して調理対象Ｏの調理具合を判定することができる。これにより、調理具合に関する判定精度を高めることができる。

【0060】

（変形例）
カメラ１１６が筐体１１１の内部ではなく、扉１２２の取手１３３に設けられた場合、汚れが問題になるのはカメラ１１６のレンズ１１６ｂの汚れではなく、扉１２２の窓部１３２の汚れになる。このため、カメラ１１６が扉１２２の取手１３３に設けられた場合は、状態管理部１７１は、窓部１３２に付着した汚れの量を直接的または間接的に示す汚れ情報を管理する。本変形例における汚れ情報の内容の詳細は、第３実施形態で説明した汚れ情報の内容において、「カメラのレンズ」を「窓部」と読み替えればよい。例えば、本変形例の状態管理部１７１は、窓部１３２に付着した汚れの量を直接的または間接的に示す情報（汚れ情報ＨＩＡ，ＨＩＢ）を管理する。

【0061】

汚れ情報ＨＩＡは、例えば、カメラ１１６または別のカメラにより撮影された窓部１３２の画像の履歴を含む。例えば、汚れ情報ＨＩＡは、加熱調理器１００Ｂの使用初期時に撮影された窓部１３２の画像１と、直近に撮影された窓部１３２の画像Ｎとを含む。汚れ情報ＨＩＢは、加熱調理器１００Ｂの使用履歴を含む。使用履歴は、例えば、調理した食材の種類、加熱部１１３の加熱温度、加熱部１１３の加熱時間などのうち１つ以上の情報を含む。このような構成によっても、調理具合に関する判定精度を高めることができる。

【0062】

（第４実施形態）
次に、第４実施形態について説明する。第４実施形態は、調理対象Ｏの種類の判定が加熱調理器システム１によって行われる点で、第１実施形態とは異なる。なお以下に説明する以外の構成は、第１実施形態の構成と同じである。本実施形態では区別のため、上述した学習済みモデルＭＡを「第１学習済みモデルＭＡ」と称する。

【0063】

図１２は、第４実施形態のサーバ２００Ｃのシステム構成を示すブロック図である。サーバ２００Ｃは、例えば、情報処理部ＰＵ２と、記憶部２０６とを有する。情報処理部ＰＵ２は、例えば、情報取得部２０１、種類判定部２０２、情報出力部２０３、訂正受付部２０４、および学習部２０５を含む。情報処理部ＰＵ２に含まれる各機能部は、サーバ２００Ｃに搭載されたＣＰＵのようなハードウェアプロセッサがプログラムを実行することにより実現される。ただし、これら機能部の一部または全部は、ＡＳＩＣ、ＰＬＤ、またはＦＰＧＡなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。記憶部２０６は、ＲＡＭ、ＲＯＭ、ＨＤＤ、フラッシュメモリ、またはこれらのうち複数の組み合わせにより実現される。記憶部２０６には、第２学習済みモデルＭＢが記憶されている。

【0064】

情報取得部２０１は、加熱調理器１００のカメラ１１６によって撮影されたカラー画像（または画像処理部１５２により変換されたモノクロ画像）を、加熱調理器１００から取得する。以下では、カメラ１１６によって撮影されたカラー画像と、画像処理部１５２により変換されたモノクロ画像とを総称して「情報取得部により取得された画像」と称する。

【0065】

種類判定部２０２は、情報取得部２０１により取得された画像（例えばカラー画像）と、第２学習済みモデルＭＢとに基づき、調理対象Ｏの種類を判定する。第２学習済みモデルＭＢは、ニューラルネットワークを含むモデルであり、例えばディープラーニングにより学習が行われている。種類判定部２０２は、「第２判定部」の一例である。本実施形態では、加熱調理器１００に設けられた画像処理部１５２および調理具合判定部１５３と、サーバ２００Ｃに設けられた種類判定部２０２とにより、判定部ＤＵの一例が構成されている。

【0066】

例えば、第２学習済みモデルＭＢは、図６に示された第１学習済みモデルＭＡと同様に、入力層、隠れ層（中間層）、および出力層を含むニューラルネットワークによって構成される。例えば、学習済みモデルＭＢは、予め行われた実験により得られた教師データを用いたディープラーニングによって入力層、隠れ層、および出力層に含まれるノードｎの間の重み付け係数ｗ（内部変数）などが調整されることで学習が行われている。

【0067】

第２学習済みモデルＭＢは、情報取得部２０１により取得された画像が入力情報として入力された場合に、調理対象Ｏの種類を示す判定結果を出力情報として出力するように学習が行われている。調理対象Ｏの種類は、上述したように、食材の種類、調理対象の数、調理対象の大きさまたは厚さなどのうち１つ以上を含む。第２学習済みモデルＭＢから出力される出力情報は、調理対象Ｏの種類の判定結果の尤度を示す情報（例えば、判定結果が正しい確率を示す情報を含む）を含む。

【0068】

情報出力部２０３は、種類判定部２０２により判定された調理対象Ｏの種類を示す情報を加熱調理器１００または端末装置３００に出力させ、調理対象Ｏの種類を示す情報を加熱調理器１００の表示装置１１４または端末装置３００の表示装置３０１に表示させる。

【0069】

訂正受付部２０４は、種類判定部２０２により判定されて情報出力部２０３により出力された調理対象Ｏの種類の判定結果に対する訂正を受け付ける。例えば、訂正受付部２０４は、加熱調理器１００の操作部１１５または端末装置３００の操作部３０２に対するユーザＵの操作に基づき、調理対象Ｏの種類の判定結果に対する訂正を受け付ける。

【0070】

図１３は、訂正受付部２０４により訂正を受け付ける画面の一例を示す図である。本実施形態では、種類判定部２０２による調理対象Ｏの種類の判定結果が加熱調理器１００の表示装置１１４または端末装置３００の表示装置３０１に表示される。そして、訂正受付部２０４は、まず、調理対象Ｏの種類の判定結果に対する訂正の有無を受け付ける。そして、訂正がある場合は、訂正受付部２０４は、訂正の具体的な内容を受け付ける。

【0071】

学習部２０５は、訂正受付部２０４により受け付けられたユーザＵの訂正内容に基づき、第２学習済みモデルＭＢの追加学習を行う。例えば、学習部２０５は、情報取得部２０１により取得された画像と、ユーザＵによって訂正された調理対象Ｏの正しい種類との組み合わせを新しい教師データとして、第２学習済みモデルＭＢの追加学習を行う。これにより、種類判定部２０２の判定精度の向上を図ることができる。

【0072】

本実施形態では、加熱調理器１００の制御部１５４は、加熱調理器１００の運転の終了に代えて／加えて、種類判定部２０２の判定結果に基づき加熱部１１３の温度調整などを行ってもよい。

【0073】

図１４は、サーバ２００Ｃによる処理の流れを示すフローチャートである。まず、種類判定部２０２は、情報取得部２０１により取得された画像と、第２学習済みモデルＭＢとに基づき、調理対象Ｏの種類を判定する（Ｓ２０１）。次に、種類判定部２０２は、判定結果に間違いがないか（判定結果が正しい確率が閾値以上であるか）を判定する（Ｓ２０２）。

【0074】

情報出力部２０３は、判定結果が間違っていない場合（判定結果が正しい確率が閾値以上である場合、Ｓ２０２：ＹＥＳ）、調理対象Ｏの種類の判定結果を加熱調理器１００に出力する。この場合、加熱調理器１００は、調理対象Ｏの種類の判定結果に基づき、加熱調理器１００の運転条件（加熱部１１３の加熱温度および加熱時間など）を自動で選択（自動で設定）し、加熱調理器１００の運転を開始する（Ｓ２０６）。なお、情報出力部２０３は、判定結果が間違っていない場合（判定結果が正しい確率が閾値以上である場合）であっても、調理対象Ｏの種類を示す判定結果を加熱調理器１００の表示装置１１４または端末装置３００の表示装置３０１に表示させてもよい。

【0075】

一方で、情報出力部２０３は、判定結果が間違っている可能性がある場合（判定結果が正しい確率が閾値未満である場合、Ｓ２０２：ＮＯ）、調理対象Ｏの種類の判定結果を加熱調理器１００の表示装置１１４または端末装置３００の表示装置３０１に表示させる（Ｓ２０３）。次に、訂正受付部２０４は、調理対象Ｏの種類の判定結果に対する訂正を受け付ける（Ｓ２０４）。

【0076】

情報出力部２０３は、訂正がないことを示すユーザＵの入力を受け付けた場合（Ｓ２０４：ＮＯ）、調理対象Ｏの種類の判定結果を加熱調理器１００に出力する。そして、Ｓ２０６の処理に進む。一方で、訂正受付部２０４は、調理対象Ｏの種類を訂正するユーザＵの入力を受け付けた場合（Ｓ２０４：ＹＥＳ）は、調理対象Ｏの種類を訂正する（Ｓ２０５）。そして、情報出力部２０３は、訂正された調理対象Ｏの種類を加熱調理器１００に出力する。そして、Ｓ２０６の処理に進む。以降の処理は、第１実施形態の処理と同様である。

【0077】

このような構成によれば、第１実施形態と同様に、ユーザＵの利便性の向上を図ることができる。さらに本実施形態では、種類判定部２０２により調理対象Ｏの種類が自動で判別される。これにより、ユーザＵの利便性のさらなる向上を図ることができる。

【0078】

本実施形態では、種類判定部２０２により判定された調理対象Ｏの種類を表示装置１１４，３０１に出力する情報出力部２０３と、調理対象Ｏの種類を訂正するユーザＵの入力を受け付け可能である訂正受付部２０４とをさらに備える。このような構成によれば、調理対象Ｏの種類の判定が誤っている場合にユーザＵによって訂正された正しい内容に基づいて調理を行うことができる。これにより、ユーザＵの利便性のさらなる向上を図ることができる。

【0079】

本実施形態では、調理具合判定部１５３は、加熱調理器１００に設けられている。種類判定部２０２は、サーバ２００Ｃに設けられている。これにより、速やかな判定が必要な調理具合については加熱調理器１００で判定を行い、調理具合と比べて時間に余裕がある調理対象Ｏの種類はサーバ２００Ｃで判定を行うことができる。これにより、加熱調理器１００の記憶部１５７の必要容量を少なくすることができ、処理の安定性と加熱調理器１００のコストダウンを図ることができる。

【0080】

本実施形態では、調理具合判定部１５３は、モノクロ画像に基づき調理具合を判定する。種類判定部２０２は、カラー画像に基づき調理対象Ｏの種類を判定する。このような構成によれば、加熱部１１３の温度に応じて異なる色になる場合において、加熱部１１３に照らされる調理対象Ｏの色の差の影響を小さくするとともに、調理対象Ｏの種類を判定ではカラー画像に基づいて高い精度の判定を行うことができる。

【0081】

（変形例）
上述した第４実施形態では、情報取得部２０１、種類判定部２０２、情報出力部２０３、訂正受付部２０４、学習部２０５、および記憶部２０６は、サーバ２００Ｃに設けられている。これに代えて、情報取得部２０１、種類判定部２０２、情報出力部２０３、訂正受付部２０４、学習部２０５、および記憶部２０６のうち１つ以上は、加熱調理器１００に設けられてもよい。

【0082】

以上、いくつかの実施形態および変形例について説明した。ただし、実施形態および変形例は上記例に限定されない。例えば、上述した実施形態および変形例は、互いに組み合わされて実現されてもよい。本出願でいう「サーバ」は、クラウドサーバに限定されず、ユーザＵの自宅に設けられたコンピュータなどでもよい。

【0083】

以上説明した少なくともひとつの実施形態によれば、加熱調理器システムは、撮像部により撮影された画像をモノクロ画像に変換し、変換したモノクロ画像と、学習により内部変数が調整された学習済みモデルとに基づき、調理対象の調理具合を判定する判定部を備える。このような構成によれば、利便性の向上を図ることができる。

【0084】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0085】

１…加熱調理器システム、１００，１００Ａ，１００Ｂ…加熱調理器、１１１…筐体、１１２…載置部、１１３…加熱部、１１４…表示装置（表示部）、１１６…カメラ（撮像部）、１５１…種類受付部、１５２…画像処理部、１５３…調理具合判定部（第１判定部）、１５４…制御部、１５５…評価受付部、１５６…学習部、１６１…嗜好受付部、２００，２００Ｃ…サーバ、２０２…種類判定部（第２判定部）、２０４…訂正受付部、２０５…学習部、３００…端末装置、３０１…表示装置（表示部）、ＤＵ…判定部、ＭＡ…第１学習済みモデル、ＭＢ…第２学習済みモデル、Ｏ…調理対象。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】