特許 7571970 調理支援システム、調理支援方法および、調理支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-15

(45)【発行日】2024-10-23

(54)【発明の名称】調理支援システム、調理支援方法および、調理支援プログラム

(51)【国際特許分類】

   A47J 37/12 20060101AFI20241016BHJP

【ＦＩ】

A47J37/12 321

【請求項の数】 12

(21)【出願番号】P 2020212344

(22)【出願日】2020-12-22

(65)【公開番号】P2022098762

(43)【公開日】2022-07-04

【審査請求日】2023-12-22

(73)【特許権者】

【識別番号】520287356

【氏名又は名称】株式会社ＧＩＡＮＴ

(74)【代理人】

【識別番号】100137338

【弁理士】

【氏名又は名称】辻田 朋子

(72)【発明者】

【氏名】リー ジュンソク

(72)【発明者】

【氏名】伊藤 隆彦

(72)【発明者】

【氏名】磯部 孝

【審査官】根本 徳子

(56)【参考文献】

【文献】米国特許出願公開第２０１７／００２７３８５（ＵＳ，Ａ１）

【文献】特表２０１６－５０２０６１（ＪＰ，Ａ）

【文献】特表２０１８－５１７５３２（ＪＰ，Ａ）

【文献】特開２０１９－０００２８８（ＪＰ，Ａ）

【文献】特開２０１６－１３６０８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ４７Ｊ ３７／１２

(57)【特許請求の範囲】

【請求項1】

フライヤーによる揚げ調理を支援する調理支援システムであって、
前記フライヤーによる調理の様子をカメラにより撮影した画像データを取得する画像データ処理手段と、
前記画像データに含まれる調理物の種類を特定する特定手段と、
前記種類が特定された調理物の画像データを入力とし、機械学習された学習済みモデルを用いて、前記調理物の調理進行状況を推定する推定手段と、
推定された前記調理進行状況に基づいて前記フライヤーに対して調理支援指示を出力する支援手段と、を備える調理支援システム。

【請求項2】

前記特定手段は、前記画像データに含まれる前記調理物の種類別の要素値であって、衣の色、調理油における位置、泡の形状の中から選択される１以上の要素値を特定し、
前記推定手段は、前記種類が特定された調理物の前記要素値のそれぞれを入力とし、機械学習された学習済みモデルを用いて、前記調理物の調理進行状況を推定する請求項１に記載の調理支援システム。

【請求項3】

前記画像データは、温度画像データを含み、
前記特定手段は、前記温度画像データに含まれる前記調理物の温度と、前記調理油の温度と、を要素値として特定し、
前記推定手段は、前記種類が特定された前記調理物の温度および前記調理油の温度を入力し、機械学習された学習済みモデルを用いて、前記調理物の調理進行状況を推定する請求項２に記載の調理支援システム。

【請求項4】

前記フライヤーによる調理の様子をマイクロフォンにより録音した音データを取得する音データ処理手段と、を備え、
前記特定手段は、前記音データに含まれる調理油に生じる泡の破裂音を少なくとも要素値として特定し、
前記推定手段は、前記種類が特定された調理物の前記破裂音を入力とし、機械学習された学習済みモデルを用いて、前記調理物の調理進行状況を推定する請求項１～請求項３の何れかに記載の調理支援システム。

【請求項5】

前記支援手段は、前記調理進行状況が一定以上と判定される場合、前記調理進行状況の推定に用いられた前記要素値を特定し、前記フライヤーに対して前記要素値を通知するための調理支援指示を出力する請求項２～請求項４の何れかに記載の調理支援システム。

【請求項6】

前記調理物の調理進行状況は、入力される要素値のそれぞれに応じた重みが付与され、
前記推定手段は、それぞれの調理進行状況および重みに基づいて、総合的な調理進行状況を算出する請求項２～請求項５の何れかに記載の調理支援システム。

【請求項7】

前記調理進行状況は、調理が完了する推定時間を含む請求項１～請求項６の何れかに記載の調理支援システム。

【請求項8】

前記支援手段は、前記推定時間を判定し、前記フライヤーに対して調理物を取り出すための調理支援指示を出力する請求項７に記載の調理支援システム。

【請求項9】

前記支援手段は、前記推定時間となる前の第１時間を判定し、前記フライヤーに対して調理物を取り出すように促すよう通知するための調理支援指示を出力する請求項７又は請求項８に記載の調理支援システム。

【請求項10】

前記特定手段は、前記画像データに含まれる調理人の有無を特定し、
前記支援手段は、前記調理人がいないと特定される場合、前記第１時間となる更に前の第２時間を判定し、前記フライヤーに対して調理物を取り出すように促すよう通知するための調理支援指示を出力する請求項９に記載の調理支援システム。

【請求項11】

フライヤーによる揚げ調理を支援する調理支援方法であって、
前記フライヤーによる調理の様子をカメラにより撮影した画像データを取得する画像データ処理ステップと、
前記画像データに含まれる調理物の種類を特定する特定ステップと、
前記種類が特定された調理物の画像データを入力とし機械学習された学習済みモデルを用いて、前記調理物の調理進行状況を推定する推定ステップと、
推定された前記調理進行状況に基づいて前記フライヤーに対して調理支援指示を出力する支援ステップと、コンピュータが実行する調理支援方法。

【請求項12】

フライヤーによる揚げ調理を支援する調理支援プログラムであって、
コンピュータを、前記フライヤーによる調理の様子をカメラにより撮影した画像データを取得する画像データ処理手段と、
前記画像データに含まれる調理物の種類を特定する特定手段と、
前記種類が特定された調理物の画像データを入力とし機械学習された学習済みモデルを用いて、前記調理物の調理進行状況を推定する推定手段と、
推定された前記調理進行状況に基づいて前記フライヤーに対して調理支援指示を出力する支援手段と、として機能させる調理支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フライヤーによる揚げ調理を支援する調理支援システム、調理支援方法および、調理支援プログラムに関する。

【背景技術】

【0002】

飲食業界において人手不足が深刻な課題となっている。飲食店やコンビニエンスストアのような店舗における調理を自動化することで、人手不足の状況下において調理物の品質を維持して提供する技術が知られている。

【0003】

特許文献１では、調理中に食材の投入または取出しが行われる調理機器を用いた調理において、カメラを用いて食材の投入・取出しを検出し、更に投入された食材の種類や投入・取出し数に応じて加熱時間を自動調整することで、調理の利便性を高める技術が開示されている。

【0004】

また、特許文献２では、紫外線光、紫色、青色の可視光を照射して撮影された画像を画像処理することで、食材や調理物に混入する異物や揚げ物の衣剥がれ、または凍結部位を判別する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開第２０２０－１０３２８４号公報

【文献】特開第２０２０－１５９５８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載の技術は、投入および取出しを検出できるものの実際に調理されている調理物の状態を把握することはできず、より適した調理により調理物の品質を向上させる観点において改善の余地があった。

【0007】

また、特許文献２に記載の技術は、調理に失敗した揚げ物等を検出できるものの、実際の調理プロセスにおいて調理の失敗を防ぐ観点において改善の余地があった。

【0008】

本発明は上述したような実状に鑑みてなされたものであり、実際の調理物の状態を推定し、フライヤーによる揚げ調理を支援することを解決すべき課題とする。

【課題を解決するための手段】

【0009】

上述した課題を解決するために、本発明は、フライヤーによる揚げ調理を支援する調理支援システムであって、前記フライヤーによる調理の様子をカメラにより撮影した画像データを取得する画像データ処理手段と、前記画像データに含まれる調理物の種類を特定する特定手段と、前記種類が特定された調理物の画像データを入力とし機械学習された学習済みモデルを用いて、前記調理物の調理進行状況を推定する推定手段と、推定された前記調理進行状況に基づいて前記フライヤーに対して調理支援指示を出力する支援手段と、を備える。

【0010】

このような構成とすることで、実際の調理物の画像データに応じて調理の進行状況を推定し、適切な調理支援を行うことができる。

【0011】

本発明の好ましい形態では、前記特定手段は、特定した調理物の種類別の要素値であって、衣の色、調理油における位置、泡の形状の中から選択される１以上の要素値を特定し、前記推定手段は、前記種類が特定された調理物の前記要素値のそれぞれを入力とし機械学習された学習済みモデルを用いて前記調理物の調理進行状況を推定する。
このような構成とすることで、調理の進行状況をより精度よく推定することができる。

【0012】

本発明の好ましい形態では、前記画像データは、温度画像データを含み、前記特定手段は、前記調理物の温度、前記調理油の温度を要素値として特定し、前記推定手段は、前記種類が特定された調理物の温度および調理油の温度を入力し、機械学習された学習済みモデルを用いて、前記調理物の調理進行状況を推定する。
このような構成とすることで、実際の調理物の温度に基づいて調理の進行状況をより精度よく推定することができる。

【0013】

本発明の好ましい形態では、前記フライヤーによる調理の様子をマイクロフォンにより録音した音データを取得する音データ処理手段と、を備え、前記特定手段は、前記調理油に生じる泡の破裂音を少なくとも要素値として特定し、前記推定手段は、前記種類が特定された調理物の前記破裂音を入力とし機械学習された学習済みモデルを用いて、前記調理物の調理進行状況を推定する。
このような構成とすることで、実際の調理中の音に基づいて調理の進行状況をより精度よく推定することができる。また、音データを用いることで学習済みモデルが一定水準の精度を得るまでに必要な機械学習に用いられるデータ量を削減することができる。

【0014】

本発明の好ましい形態では、前記支援手段は、前記調理進行状況が一定以上と判定される場合、前記調理進行状況の推定に用いられた前記要素値を特定し、前記フライヤーに対して前記要素値を通知するための調理支援指示を出力する。
このような構成とすることで、調理の進行状況が実際の調理物の何れの要素により推定されたかを調理人にフィードバックすることができる。

【0015】

本発明の好ましい形態では、前記調理物の調理進行状況は、入力される要素値のそれぞれに応じた重みが付与され、前記推定手段は、それぞれの調理進行状況および重みに基づいて、総合的な調理進行状況を算出する。
このような構成とすることで、実際の調理物から取得されるデータから総合的に調理の進行状況を推定することができる。

【0016】

本発明の好ましい形態では、前記調理進行状況は、調理が完了する推定時間を含む。
このような構成とすることで、調理が完了する時間を調理人に通知することができる。

【0017】

本発明の好ましい形態では、前記支援手段は、前記推定時間を判定し、前記フライヤーに対して調理物を取り出すための調理支援指示を出力する。
このような構成とすることで、調理が完了する時間に自動的に調理物を取り出すための指示を出力し、調理を完了することができる。

【0018】

本発明の好ましい形態では、前記支援手段は、前記推定時間となる前の第１時間を判定し、前記フライヤーに対して調理物を取り出すように促すよう通知するための調理支援指示を出力する。
このような構成とすることで、調理が完了することを事前に調理人に通知することができる。

【0019】

本発明の好ましい形態では、前記特定手段は、前記画像データに含まれる調理人の有無を特定し、前記支援手段は、前記調理人がいないと特定される場合、前記第１時間となる更に前の第２時間を判定し、前記フライヤーに対して調理物を取り出すように促すよう通知するための調理支援指示を出力する。
このような構成とすることで、調理人がフライヤーの周辺にいない場合、より早い時間に調理が完了することを調理人に通知することができる。

【0020】

本発明は、フライヤーによる揚げ調理を支援する調理支援方法であって、前記フライヤーによる調理の様子をカメラにより撮影した画像データを取得する画像データ処理ステップと、前記画像データに含まれる調理物の種類を特定する特定ステップと、前記種類が特定された調理物の画像データを入力とし機械学習された学習済みモデルを用いて、前記調理物の調理進行状況を推定する推定ステップと、推定された前記調理進行状況に基づいて前記フライヤーに対して調理支援指示を出力する支援ステップと、コンピュータが実行する。

【0021】

本発明は、フライヤーによる揚げ調理を支援する調理支援プログラムであって、コンピュータを、前記フライヤーによる調理の様子をカメラにより撮影した画像データを取得する画像データ処理手段と、前記画像データに含まれる調理物の種類を特定する特定手段と、前記種類が特定された調理物の画像データを入力とし機械学習された学習済みモデルを用いて、前記調理物の調理進行状況を推定する推定手段と、推定された前記調理進行状況に基づいて前記フライヤーに対して調理支援指示を出力する支援手段と、として機能させる。

【発明の効果】

【0022】

本発明によれば、フライヤーによる揚げ調理を支援し、調理工程の自動化、調理時間の短縮、調理物の均質化などに寄与する調理支援システム、調理支援方法および、調理支援プログラムを提供することができる。

【図面の簡単な説明】

【0023】

【図1】本発明の実施形態における、調理支援システムのシステム構成図を示す。

【図2】本発明の実施形態における、フライヤーの構成図を示す。

【図3】本発明の実施形態における、調理支援サーバのハードウェア構成図を示す。

【図4】本発明の実施形態における、教師データのデータ構造例を示す。

【図5】本発明の実施形態における、結果データのデータ構造例を示す。

【図6】本発明の実施形態における、学習の処理フローチャートを示す。

【図7】本発明の実施形態における、学習済みモデルを用いた推定処理のフローチャートを示す。

【発明を実施するための形態】

【0024】

以下、図面を用いて、本発明の実施形態に関する調理支援システムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。

【0025】

本実施形態では、フライヤーおよび調理支援サーバを含む調理支援システムの構成、動作等について説明するが、同様の構成の方法、コンピュータのプログラムおよび当該プログラムを記録したプログラム記録媒体等も、同様の作用効果を奏する。プログラム記録媒体を用いれば、例えば、コンピュータに当該プログラムをインストールすることができる。以下で説明する本実施形態にかかる一連の処理は、コンピュータで実行可能なプログラムとして提供され、ＣＤ－ＲＯＭやフレキシブルディスクなどの非一過性コンピュータ可読記録媒体、更には通信回線を経て提供可能である。

【0026】

調理支援システムの各手段と、調理支援方法の各ステップと、は同様の作用効果を実現する。調理支援システム、調理支援プログラムおよび調理支援プログラム記録媒体のそれぞれにおける各手段は、ＣＰＵ等の演算装置により実現される。また、調理支援方法の各ステップも同様に演算装置により実現される。

【0027】

図１は、本実施形態にかかる調理支援システムの機能ブロック図を示す。図１において、調理支援システムは調理支援システム１として具体化されている。調理支援システム１は、調理物の揚げ調理に用いられるフライヤー２と、フライヤー２から調理状況に関するデータを取得し、調理支援に関する情報処理を行う調理支援サーバ３と、を備える。フライヤー２および調理支援サーバ３は、通信ネットワークＮＷを介して通信可能に構成される。通信ネットワークＮＷは、インターネットなどのＩＰ（Internet Protocol）網や専用回線などとから構成される。なお、以下の説明では、不明確にならない限り通信ネットワークＮＷの介在を省略する。

【0028】

本実施形態において、調理支援システム１は、飲食店やコンビニエンスストアなど調理作業が行われる各店舗に設置される。なお、調理支援サーバ３は、調理支援システム１の事業者において設置され、各店舗に設置されるフライヤー２とデータ通信する構成であってもよい。また、フライヤー２は、１店舗において複数設置されてもよい。

【0029】

調理支援サーバ３は、フライヤー２において取得される各種データを記憶する記憶部４を内部または外部に備え、通信可能に構成される。記憶部４、教師データを記憶する教師データ記憶部４１、教師データにより機械学習され生成された学習済みモデルを記憶するモデル記憶部４２、フライヤー２より取得した画像データおよび音データを記憶する判定対象データ記憶部４３および、判定対象データの判定結果を記憶する結果データ記憶部４４を備える。

【0030】

図２は、フライヤー２の構成図を示す。フライヤー２は、調理油を貯める油槽２１と、油槽２１における調理油を加熱する温度制御部２２と、揚げ調理される調理物の様子を撮影するための撮像モジュール２３と、揚げ調理における調理音を収音するマイクロフォン２４と、調理物Ｆを投入する揚げかご２５と、揚げかご２５の昇降動作を制御するリフト制御部２６と、調理支援に関する情報の表示やフライヤー２の操作パネルとして機能するディスプレイ２７と、各構成要素に対する動作制御を実行するＣＰＵなどの制御部２８と、調理支援サーバ３と通信するための通信部２９と、各構成要素に対する動作制御、取得した情報全般および調理支援に関する情報の決定の結果などに応じて視覚的な報知を行う液晶ディスプレイなどを備える表示部と、各構成要素に対する動作制御、取得した情報全般および調理支援に関する情報の決定の結果などに応じて視覚的な報知を行うスピーカーなどを備える音声アラート部と、を備える。ここで、制御部２８および通信部２９は、推定手段３０４などにより実現されるＡＩ機能と適宜、連携する。なお、ここでの「ＡＩ機能」とは、エッジＡＩの態様をとってよく、クラウドＡＩの態様をとってもよい。

【0031】

撮像モジュール２３は、可視光スペクトルに受光感度を有するイメージセンサを有し、対象となる調理物およびその調理状況に関する可視光イメージを示す可視光画像データを撮影する可視光カメラ２３１と、撮像対象となる調理物や調理油が放射する赤外線エネルギーを検出するボロメータを有し、検出された赤外線エネルギー量を温度に変換することで得られる温度分布を示す温度画像データを撮影するサーマルカメラ２３２と、を備える。本実施形態において、撮像モジュール２３に搭載される可視光カメラ２３１およびサーマルカメラ２３２のそれぞれの光軸は略平行となるように構成される。これによって、それぞれのカメラにより撮影される画像データは、共通の画像領域が含まれるため画像データの重ね合わせが簡便になる。

【0032】

撮像モジュール２３の配置は、油槽２１の全体を撮影範囲に含められる位置であれば特に制限はない。なお、フライヤー２により調理を行う調理人が撮影範囲に含まれる配置とすることが好ましい。また、複数のフライヤー２を撮影範囲に含める配置としてもよい。

【0033】

撮像モジュール２３は、調理の様子を撮影した画像データを取得する。それぞれのカメラは、動画データを取得するビデオカメラとして構成され、所定時間ごとの場面を画像データとして取得してもよい。取得された画像データは、通信部２９を介して調理支援サーバ３に送信される。撮像モジュール２３は、それぞれ固有のＩＤ情報を有し、送信される画像データにはＩＤ情報が対応付けられている。

【0034】

マイクロフォン２４は、調理中の調理油における泡の破裂音を含む音データを取得する。マイクロフォン２４は、撮像モジュール２３と一体となって提供されてもよい。取得された音データは、マイクロフォン２４に固有のＩＤ情報が対応付けられ、通信部２９を介して調理支援サーバ３に送信される。

【0035】

図３は、調理支援サーバ３におけるハードウェア構成図を示す。調理支援サーバ３は、ハードウェア構成要素として、演算装置（ＣＰＵ）３１と、作業用メモリとしての主記憶装置（ＲＡＭ）３２と、ＨＤＤやＳＳＤ、フラッシュメモリ等の補助記憶装置３３と、外部の装置と通信するための通信装置３４と、各構成部をそれぞれ接続するバス３５などとを備える。また、補助記憶装置３３は、オペレーティングシステム（ＯＳ）３６と、ＯＳ３６と協働してその機能を発揮する調理支援プログラム３７と、各種情報（データを含む）などとを記憶している。

【0036】

調理支援サーバ３は、機能構成要素として、撮像モジュール２３により撮影された画像データを取得・処理する画像データ処理手段３０１、マイクロフォン２４により収音された音データを取得・処理する音データ処理手段３０２、評価対象となる調理物の種類や調理進行状況の判定のための要素値を特定する特定手段３０３、判定対象データを学習済みモデルに入力し、調理進行状況を推定する推定手段３０４、調理支援指示を出力する支援手段３０５および、教師データを用いた機械学習により学習済みモデルを生成する学習手段３０６、を備える。

【0037】

本実施形態において、調理支援サーバ３が記憶するデータについて説明する。調理支援サーバ３は、画像認識処理および音認識処理を実行するための教師データを格納する教師データ記憶部４１を備える。

【0038】

図４は、教師データ記憶部４１に格納される教師データの構造例を示す。教師データの構造は、例えば、画像データ・音データに付与されるラベルをキーとし、データが取得された撮像モジュール２３またはマイクロフォン２４のＩＤ情報、データ種別、画像データ・音データにおける特徴量、ファイル名などを有する。共通のフライヤー２における撮像モジュール２３とマイクロフォン２４のＩＤ情報は、それぞれの記憶部４において対応関係が記憶されている。なお、ＩＤ情報は、例えば、フライヤー２を設置する店舗別に適した教師データに修正するため用いられるが、店舗別の画像認識処理の精度を統一するため教師データの構造に含めなくてもよい。教師データとする画像データ・音データは、個別の調理物を対象に取得されたものとすることが好ましい。

【0039】

特徴量は、学習手段３０６により画像認識処理された画像データより取得される画素ごとの輝度や色などのデータ群として格納される。学習手段３０６は、例えば、ディープラーニングによる機械学習の手法により、画像データに含まれる特徴量を自動で取得するが、機械学習の手法はこれに限定されず従来技術を採用できる。ディープラーニングでは、ユーザによる特徴量の設定を必要とせず、コンピュータが画像データや音データにおける対象物の特徴量を自動で抽出し、対象物を分類・特定することができる。

【0040】

本実施形態において、ラベルは、データ種別に応じて複数の要素値を有する。可視光画像データにおけるラベルの要素値は、調理物の種類、衣の色、調理物が油面・油中の何れに位置するか、調理物周辺の泡の大きさ・形状、調理人の有無、調理油への調理物の投入タイミングなどを含む。温度画像データにおけるラベルの要素値は、調理物の種類、調理物の温度、調理油の温度などを含む。音データにおけるラベルの要素値は、調理物の種類、揚げ上がり時の泡の破裂音などを含む。破裂音は、音の高低や大小などの要素値に分けて付与されてもよい。破裂音は、一般的に揚げ始めにおいて高音かつ大きな音を発する。また、教師データのラベルにおいて、全ての要素値が入力されている必要はなく、一部の要素値が欠けていてもよい。

【0041】

本実施形態において、学習手段３０６は、画像データおよび音データを教師データとして機械学習することで、対象となる調理物の要素値を特定する特定モデルを生成し、モデル記憶部４２に格納する。

【0042】

また、学習手段３０６は、教師データとなる画像データおよび音データにおいて特定される要素値を用いて機械学習することで、対象となる調理物の調理進行状況を推定する推定モデルを生成し、モデル記憶部４２に格納する。本実施形態において調理進行状況とは、例えば、調理が完了するまでにかかる時間または調理が完了する時間を示す推定時間や、完成を１０の値としたときの現在の値などを含む。

【0043】

画像データ処理手段３０１は、撮像モジュール２３より画像データ（可視光画像、温度画像）を取得し、判定対象データとして判定対象データ記憶部４３に格納する。音データ処理手段３０２は、マイクロフォン２４より音データを取得し、判定対象データとして判定対象データ記憶部４３に格納する。判定対象データ記憶部４３は、データが取得された撮像モジュール２３またはマイクロフォン２４のＩＤ情報をキーとし、対象となるデータ種別、ファイル名、データの取得日時などを含む判定対象データを格納する。

【0044】

図５は、結果データ記憶部４４に格納されるデータ構造の例を示す。結果データ記憶部４４は、判定対象データ記憶部４３に格納されるデータを、モデル記憶部４２に格納される特定モデルおよび推定モデルに入力することで判定される結果データを格納する。

【0045】

結果データ記憶部４４は、ＩＤ情報をキーとして、判定に用いられたデータ種別、ファイル名、特定モデルを用いて判定される判定結果、判定結果を推定モデルに入力することで更に判定される調理状況・推定時間を、結果データとして格納する。ここで判定結果は、教師データにおけるラベルの各要素値に対応する。特定手段３０３は、判定対象データを入力とし、機械学習された特定モデルを用いて、それぞれの要素値を特定し、判定結果として格納する。

【0046】

本実施形態において、ラベルの各要素値は、それぞれ重みが付与されている。推定手段３０４は、判定結果に格納される要素値とその重みに基づいて、調理進行状況の推定値を出力する。また、調理進行状況は、データ種別ごとに更に重みが付与され、推定手段３０４は、各データ種別における調理進行状況とその重みに基づいて、総合的な調理進行状況の推定値を出力する。また、推定手段３０４は、調理進行状況に基づいて好ましい調理進行状況となる推定時間を出力する。

【0047】

なお、上述した各種記憶部および各種手段は、フライヤー２が備える構成とすることで、調理支援サーバ３との通信を不要となる。

【0048】

図６は、本実施形態における機械学習の処理フローチャートを示す。本実施形態において、調理支援サーバ３において機械学習に関する処理が行われる実施例を説明するが、フライヤー２において機械学習に関する処理が行われてもよい。また、機械学習に関する処理は、調理支援システム１の外部におけるサーバや端末装置により行われ、調理支援システム１に対して学習済みモデルが提供されてもよい。

【0049】

はじめに、調理支援サーバ３は、教師データとなる可視光画像データ、温度画像データおよび、音データをフライヤー２より取得し、ラベルを付与して教師データ記憶部４１に格納する（ステップＳ６１）。学習手段３０６は、ラベルを付与された教師データにより機械学習させることで、画像データや音データに含まれる特徴量を抽出する（ステップＳ６２）。学習手段３０６は、Ｓ６１、Ｓ６２の機械学習に関する処理を繰り返すことで、特徴量を更新していく（ステップＳ６３）。これによって、特定モデルおよび推定モデルが生成され、モデル記憶部４２にそれぞれ格納される（ステップＳ６４）。

【0050】

続いて、判定対象データの処理手順について説明する。図７は、本実施形態における判定対象データの処理フローチャートを示す。なお、図７中のステップＳ８２～Ｓ８４、ステップＳ８５～Ｓ８６、および、ステップＳ８７は、並行して行われてよく、その順序に制限はない。

【0051】

はじめに、画像データ処理手段３０１は、撮像モジュール２３よりフライヤー２による調理の様子を撮影した画像データを判定対象データとして取得する。また、音データ処理手段３０２は、マイクロフォン２４より音データを判定対象データとして取得する。取得した判定対象データは、判定対象データ記憶部４３に格納される（ステップＳ８１）。

【0052】

特定手段３０３は、判定対象データ記憶部４３に格納された可視光画像データを特定モデルに入力することで調理物の種類を特定する（ステップＳ８２）。また、特定手段３０３は、種類が特定された個別の調理物が含まれる所定の画像領域を特定する（ステップＳ８３）。画像領域は、座標およびサイズに関するデータを有する。特定手段３０３は、特定モデルを用いて画像領域に含まれる調理物の種類別の各要素値（衣の色、調理油における位置、泡の形状など）を特定する（ステップＳ８４）。

【0053】

特定手段３０３は、可視光画像データの画像領域に基づいて、温度画像データの画像領域を特定する（ステップＳ８５）。特定手段３０３は、特定モデルを用いて温度画像データの画像領域に含まれる調理物の温度および調理油の温度を要素値として特定する（ステップＳ８６）。このとき、特定手段３０３は、可視光画像データに基づいて特定された調理物の種類に応じて、温度画像データを入力する特定モデルを決定する構成としてもよい。

【0054】

特定手段３０３は、判定対象データ記憶部４３に格納される音データを特定モデルに入力することで、調理油に生じる泡の破裂音を要素値として少なくとも特定する（ステップＳ８７）。このとき、特定手段３０３は、予め可視光画像データに基づいて特定された調理物の種類に応じて、音データを入力する特定モデルを決定する構成としてもよい。

【0055】

推定手段３０４は、特定手段３０３により特定された要素値のそれぞれを入力とし、機械学習された推定モデルを用いて、調理物の調理進行状況・推定時間を含む結果データを推定し、結果データ記憶部４４に格納する（ステップＳ８８）。なお、本実施形態において、結果データは、データ種別に応じてそれぞれ格納される。推定手段３０４は、データ種別（可視光画像データ、温度画像データ、音データ）に応じてそれぞれ推定された調理進行状況・推定時間を、それぞれの重みに基づいて計算処理することで、総合的な調理進行状況・推定時間を推定することができる。

【0056】

支援手段３０５は、結果データに含まれる調理進行状況に基づいてステップＳ８１において判定対象データを取得したフライヤー２に対して調理支援指示を出力し（ステップＳ８９）、処理を完了する。ここで、支援手段３０５は、表示部３８および音声アラート部３９の少なくとも１つの報知を用いて、調理支援指示の出力を行ってよい。

【0057】

調理支援指示は、通知指示とリフト制御指示が含まれる。通知指示は、調理進行状況を調理人に通知するための指示である。ここで、調理支援指示は、表示部３８および音声アラート部３９の少なくとも１つを介して出力されてよく、調理支援システムとネットワークを介して相互通信可能な端末を介して出力されてよい。フライヤー２は、通知指示として受け取った結果データに基づいてディスプレイ２７に調理進行状況や推定時間を表示することができる。具体的に、支援手段３０５は、推定時間となる前の第１時間を判定し、調理が完成する旨を通知する通知指示を出力する。フライヤー２は、例えば、通知指示を受け取ることで、アラート音や推定時間を出力することで調理が完成することを調理人に知らせることができる。また、支援手段３０５は、特定手段３０３により画像データに調理人がいないと特定される場合、第１時間となる更に前の第２時間を判定し、調理が完成する旨を通知する通知指示を出力する。なお、表示部３８を介するなどして視覚的に調理支援指示を出力する場合、例として、可視光画像データに重畳させる形で、１以上の調理物のそれぞれに関して調理支援指示が表示処理されてよい。

【0058】

また、通知指示は、調理進行状況の推定に用いられた要素値を特定し、特定された要素値を通知するための指示を含む。支援手段３０５は、調理進行状況が一定以上と判定される場合、要素値を特定し、特定した要素値を通知するための通知指示をフライヤー２に出力する。これによって、何れの要素値によって調理が進行したか判断できるかについて、ディスプレイ２７を介して通知でき、調理作業に不慣れな従業員・調理人に対して、適切なトレーニングを施すことができる。

【0059】

リフト制御指示は、調理進行状況に応じてフライヤー２に対して調理物を取り出すための支持である。フライヤー２は、リフト制御指示を受け取ると、リフト制御部２６を上昇させるよう駆動させ、揚げかご２５を油槽２１から引き上げる。支援手段３０５は、例えば推定時間が０になる場合、リフト制御指示を出力する。ここで、リフト制御指示とは、調理人に対する指示ではなく、リフトの引き上げを制御可能な装置に対する制御指令である構成をとってよい。このような構成とすることで、本発明は揚げ物の調理に関する無人オペレーションの実現にも寄与することができる。

【0060】

本発明の一実施形態における調理物が鶏肉の唐揚げである場合、調理支援指示は、例として、次のものを含む。
（Ａ）：揚げ調理の完了が間近であり、早急に調理物を引き上げることを推奨する状態
（Ｂ）：揚げ調理が進んでおり、調理油中の調理物を反転させひっくり返すことを推奨する状態
（Ｃ）：揚げ調理が開始直後であり、調理油中の調理物について静観し揚げ調理をそのまま継続することを推奨する状態
ここで、上記（Ａ）（Ｂ）（Ｃ）のそれぞれにおいて、その視覚的な出力は、該当する調理物に対し、対応する所定の表示オブジェクトを重畳させる態様であってよい。また、ここで、所定の調理支援指示（例として上記（Ａ））の場合において、上記表示オブジェクトを点滅させるなどして、外観上、他の表示オブジェクトと区別してよい。

【符号の説明】

【0061】

１ 調理支援システム
２ フライヤー
２１ 油槽
２２ 温度制御部
２３ 撮像モジュール
２３１ 可視カメラ
２３２ サーマルカメラ
２４ マイクロフォン
２５ 揚げかご
２６ リフト制御部
２７ ディスプレイ
２８ 制御部
２９ 通信部
３ 調理支援サーバ
３１ 演算装置（ＣＰＵ）
３２ 主記憶装置（ＲＡＭ）
３３ 補助記憶装置
３４ 通信装置
３５ 通信バス
３６ オペレーティングシステム（ＯＳ）
３７ 調理支援プログラム
３０１ 画像データ処理手段
３０２ 音データ処理手段
３０３ 特定手段
３０４ 推定手段
３０５ 支援手段
３０６ 学習手段
４ 記憶部
４１ 教師データ記憶部
４２ モデル記憶部
４３ 判定対象データ記憶部
４４ 結果データ記憶部
ＮＷ 通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】