(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-11-07
(45)【発行日】2022-11-15
(54)【発明の名称】判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム
(51)【国際特許分類】
G01N 33/03 20060101AFI20221108BHJP
A23D 9/06 20060101ALI20221108BHJP
G01N 21/27 20060101ALI20221108BHJP
A47J 37/12 20060101ALI20221108BHJP
【FI】
G01N33/03
A23D9/06
G01N21/27 A
A47J37/12 321
(21)【出願番号】P 2022526817
(86)(22)【出願日】2022-03-11
(86)【国際出願番号】 JP2022010963
【審査請求日】2022-05-10
(31)【優先権主張番号】P 2021051744
(32)【優先日】2021-03-25
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2021084010
(32)【優先日】2021-05-18
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】302042678
【氏名又は名称】株式会社J-オイルミルズ
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】伊藤 賢也
(72)【発明者】
【氏名】鈴木 豪
(72)【発明者】
【氏名】井上 賀美
(72)【発明者】
【氏名】渡邊 涼平
(72)【発明者】
【氏名】▲高▼嵜 郁人
(72)【発明者】
【氏名】柿本 健一
【審査官】西浦 昌哉
(56)【参考文献】
【文献】特表2010-519981(JP,A)
【文献】特開平07-333039(JP,A)
【文献】特開2002-081634(JP,A)
【文献】特開2000-005080(JP,A)
【文献】特開2002-188094(JP,A)
【文献】大鹿 淳子,揚油の温度変化(第二報)-ポテトチップについて-,家政学雑誌,日本,1958年,Vol.9/No.5,p.224-231
【文献】太田 静行,揚油の”減り”について,調理科学,日本,1969年,Vol.2/No.3,p.147-155
(58)【調査した分野】(Int.Cl.,DB名)
G01N 33/03
G01N 35/00-35/10
G01F 23/30-23/76
A23D 7/00- 9/06
A47J 37/12
(57)【特許請求の範囲】
【請求項1】
食用油の調理環境を判定する判定装置であって、
前記食用油を撮像した画像を取得する撮像部と、
前記食用油へ投入して調理する揚げ物の情報である第1情報を入力する第1入力部と、
前記画像を解析して、前記食用油の状態を特定する第1特定部と、
前記第1情報と、前記状態とに基づき、前記揚げ物が調理される前記調理環境を特定する第2特定部とを備える判定装置。
【請求項2】
前記食用油に追加する追加油の追加量、前記食用油のうち廃棄する廃油の廃油量、又は、これらの組み合わせを示
し、前記揚げ物の美味しさを高くする調整に用いる調整量である第2情報を入力する第2入力部を更に備える請求項1に記載の判定装置。
【請求項3】
前記調理環境は、
前記揚げ物を調理できる温度、前記揚げ物を投入すると低下する温度の低下量、前記食用油の劣化度、又は、これらの組み合わせである請求項1又は2に記載の判定装置。
【請求項4】
前記食用油の劣化度は、
前記食用油の酸価、前記食用油の粘度、前記食用油の粘度上昇率、前記食用油の色調、前記食用油のアニシジン価、前記食用油の極性化合物量、前記食用油のカルボニル価、前記食用油の発煙点、又は、前記食用油の揮発性成分量である請求項3に記載の判定装置。
【請求項5】
前記状態は、
前記食用油の量、前記食用油の最適量に対する差分、前記食用油の温度、又は、これらの組み合わせである請求項1乃至4のいずれか1項に記載の判定装置。
【請求項6】
前記第2特定部は、
前記第1情報、及び、前記状態の組み合わせを含む入力データと、前記調理環境との関係を示すテーブル、又は、
前記入力データ、及び、前記調理環境の関係を機械学習した学習済みモデルを用いて前記調理環境を特定する請求項1乃至5のいずれか1項に記載の判定装置。
【請求項7】
前記第1情報は、
前記揚げ物の種類、前記揚げ物の投入量、又は、これらの組み合わせを示す情報である請求項1乃至6のいずれか1項に記載の判定装置。
【請求項8】
前記第2特定部は、
前記調理環境で調理した場合の前記揚げ物の美味しさを更に特定し、
前記調理環境、又は、前記美味しさの特定結果に基づき、前記調理環境、前記美味しさが最適となる前記食用油に追加する追加油の追加量、前記食用油のうち廃棄する廃油の廃油量、前記追加油を追加する第1タイミング、前記廃油を廃棄する第2タイミング、又は、これらの組み合わせを出力する出力部を更に備える請求項1乃至7のいずれか1項に記載の判定装置。
【請求項9】
前記出力部による出力結果に基づき、
前記食用油の追加、廃棄、又は、両方を行う調整部を更に備える請求項8に記載の判定装置。
【請求項10】
前記状態は、
前記食用油の量を示す第1油量であって、
前記第1特定部は、
前記食用油の膨張率を特定し、
前記膨張率に基づいて、前記第1油量を補正して第2油量を特定し、
前記第2特定部は、
前記第1情報と、前記第2油量とに基づき、前記調理環境を特定する請求項1乃至9のいずれか1項に記載の判定装置。
【請求項11】
前記第2特定部は、
前記第1情報、及び、前記状態、並びに、前記調理環境の相関関係に基づき、前記調理環境を特定する請求項1乃至10のいずれか1項に記載の判定装置。
【請求項12】
学習モデルを学習させて、食用油の調理環境を判定する学習済みモデルを生成する学習装置であって、
前記食用油を撮像した画像を取得する撮像部と、
前記食用油へ投入して調理する揚げ物の情報である第1情報を入力する第1入力部と、
前記画像を解析して、前記食用油の状態を特定する第1特定部と、
前記揚げ物が調理される前記調理環境を入力する調理環境入力部と、
前記第1情報、前記状態、及び、前記調理環境を入力して、前記学習モデルを学習させて前記学習済みモデルを生成する生成部とを備える学習装置。
【請求項13】
請求項1乃至11のいずれか1項に記載の判定装置と、
請求項12に記載の学習装置とを有する判定システム。
【請求項14】
食用油の調理環境を判定する判定方法であって、
前記食用油を撮像した画像を取得する撮像手順と、
前記食用油へ投入して調理する揚げ物の情報である第1情報を入力する第1入力手順と、
前記画像を解析して、前記食用油の状態を特定する第1特定手順と、
前記第1情報と、前記状態とに基づき、前記揚げ物が調理される前記調理環境を特定する第2特定手順とを備える判定方法。
【請求項15】
請求項14に記載の判定方法をコンピュータに実行させるためのプログラム。
【請求項16】
学習モデルを学習させて、食用油の調理環境を判定する学習済みモデルを生成する学習方法であって、
前記食用油を撮像した画像を取得する撮像手順と、
前記食用油へ投入して調理する揚げ物の情報である第1情報を入力する第1入力手順と、
前記画像を解析して、前記食用油の状態を特定する第1特定手順と、
前記揚げ物が調理される前記調理環境を入力する調理環境入力手順と、
前記第1情報、前記状態、及び、前記調理環境を入力して、前記学習モデルを学習させて前記学習済みモデルを生成する生成手順とを備える学習方法。
【請求項17】
請求項16に記載の学習方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラムに関する。
【背景技術】
【0002】
揚げ物の品質を保つためには、揚げ物の調理(以下、単に「調理」という。)において、食用油の品質を適切に管理することが望ましい。
【0003】
具体的には、例えば、食用油、又は、脂肪の状態を計測する装置が知られている。食品等を揚げる場合には、食用油は、長期にわたって使用される場合がある。また、調理は、130℃乃至180℃程度の温度で食用油を使用する。そして、大気中の酸素等により酸化等が起こると、食用油は劣化する。このように、劣化が起きると、例えば、アルデヒド、ケトン、及び、高分子化合物等が生じる。このような成分は、味わい等に悪影響を及ぼす。そこで、センサにより、食用油の電気特性が測定される。このような特性をセンサで測定し、かつ、センサをコーティングにより保護する技術が知られている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の技術は、揚げ物を投入する場合において、調理を行う環境(以下「調理環境」という。)がどのようになるかを事前に判定できない場合が多い。そのため、投入する揚げ物に対し、調理環境が整っていないことで、揚げ物の美味しさを損なう場合がある。そのためには、最適な調理環境との乖離があるか否か、又は、どの程度の使用によって揚げ油が最適な調理環境ではなくなるか等といった揚げ物の投入後の調理環境を事前に判定するのが望ましい。しかし、従来の技術では、調理環境の判定、及び、調理環境を整えるための情報取得を効率的に行うには課題がある。
【0006】
本発明は、食用油の状態に基づき、調理環境を事前に判定し、美味しい揚げ物を提供するのに調理環境を整えるための情報取得を効率的に行うことを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、食用油の調理環境を判定する判定装置は、
食用油を撮像した画像を取得する撮像部と、
前記食用油へ投入して調理する揚げ物の情報である第1情報を入力する第1入力部と、
前記画像を解析して、前記食用油の状態を特定する第1特定部と、
前記第1情報と、前記状態とに基づき、前記揚げ物が調理される調理環境を特定する第2特定部とを備える。
【発明の効果】
【0008】
本発明によれば、食用油の状態に基づき、調理環境を事前に判定し、美味しい揚げ物を提供するのに調理環境を整えるための情報取得を効率的に行うことができる。
【図面の簡単な説明】
【0009】
【
図2】情報処理装置のハードウェア構成例を示す図である。
【
図5】AIを用いる構成の全体処理例を示す図である。
【
図6】テーブルを用いる構成の全体処理例を示す図である。
【
図9】第2実施形態における入出力関係の例を示す図である。
【
図13】サーモグラフィデータの例を示す図である。
【
図15】フライバスケット3が有る場合の例を示す図である。
【
図16】フライバスケット3が無い第2例を示す図である。
【
図17】フライバスケット3が有る第2例を示す図である。
【
図18】食用油の表面の高さを推定する処理の例を示す図である。
【発明を実施するための形態】
【0010】
以下、食用油を用いて調理する対象を「揚げ物」という。例えば、揚げ物は、フライドチキン、コロッケ、フライドポテト、唐揚げ、天ぷら、又は、トンカツ等である。
【0011】
[第1実施形態]
【0012】
(調理場1の構成例)
まず、調理が行われる環境として想定される調理場1の一構成例について、
図1を参照して説明する。
【0013】
図1は、調理場1の構成例を示す図である。以下、食用油の例を「揚げ油Y」とする。
【0014】
調理場1は、例えば、コンビニエンスストア、又は、スーパーマーケット等の店舗内である。そして、調理場1には、揚げ物Xを調理する設備が設けられる。例えば、設備は、電気式のフライヤー(Fryer、以下単に「フライヤー2」とする。)等である。
【0015】
フライヤー2は、例えば、油槽21、及び、ハウジング22等を有する設備である。
【0016】
油槽21は、揚げ油Yを貯留する。また、油槽21は、例えば、取っ手30、及び、フライバスケット3等で構成する。
【0017】
ハウジング22は、油槽21を収容する。また、ハウジング22は、揚げ物Xの種類別に、揚げ油Yの温度、又は、調理の内容等を設定する設定操作部となる、スイッチ22A等を側面に有する。
【0018】
調理を行う際には、まず、調理者は、揚げ物Xをフライバスケット3内に投入する。次に、調理者は、揚げ物Xを揚げ油Yに漬け、かつ、取っ手30をハウジング22の上端部に引っ掛ける。そして、同時、又は、前後して、調理者は、揚げ物Xの種類に応じて、スイッチ22Aを押下する。
【0019】
続いて、フライヤー2は、スイッチ22Aに応じて所定の揚げ時間が経過すると、調理者に揚げ上がりを報知する。また、同時に、フライヤー2は、フライバスケット3を油槽21から上昇させる。このようにして、揚げ物Xは、揚げ油に漬かった状態から上げられる。
【0020】
なお、報知の方法は、例えば、スピーカでブザー音を出力する、又は、壁10Aに設置するモニタ41に表示する方法等である。このように、揚げ時間の経過は、光、音、又は、これらの組み合わせで報知される。
【0021】
調理者は、揚げ物Xが揚げ上がると、フライバスケット3を引き上げ、揚げ物Xを取り出す。なお、フライバスケット3の引き上げは、駆動機構等で行う構成でもよい。
【0022】
また、調理場1は、図示するような器具を用いる構成に限られない。例えば、フライヤー2は、調理が可能な調理器具であれば、種類、及び、配置等は図示する以外であってもよい。
【0023】
調理場1は、揚げ油Yを撮像する撮像装置が設置される。例えば、撮像装置は、ビデオカメラ42である。具体的には、ビデオカメラ42は、天井10B等に取り付ける。
【0024】
ビデオカメラ42は、揚げ油Yの表面等を連続的に撮像し、画像を生成する。なお、画像は、動画が望ましい。さらに、ビデオカメラ42は、画角、及び、焦点等の条件が調整される。
【0025】
なお、ビデオカメラ42は、天井10B以外の位置でもよい。すなわち、ビデオカメラ42は、揚げ油Yが撮影できれば、壁10A等に取り付けられてもよい。
【0026】
また、撮像装置は、必ずしも動画の形式で撮像しなくともよい。すなわち、例えば、撮像装置は、静止画を撮影するスチルカメラ又はタブレット等であってもよい。そして、スチルカメラ等を用いる場合には、撮像装置は、画像を時系列に沿って断続的に撮像できるものを用いればよい。
【0027】
さらに、撮像装置は、複数でもよい。また、撮像装置は、タブレット又はスマートフォンといったモバイル機器等が有するカメラ等でもよい。
【0028】
例えば、判定装置5は、モニタ41、ビデオカメラ42、及び、フライヤー2等に接続する構成である。なお、判定装置5は、常時、ビデオカメラ42等に接続していなくともよく、ビデオカメラ42が撮影した画像を記憶媒体に一旦格納したものから別途取得し、特定等を実行できるように構成してもよい。
【0029】
また、ビデオカメラ42は、図示する位置以外に設置されてもよい。具体的には、ビデオカメラ42の設置位置は、目盛24が撮像できる位置等である。
【0030】
(情報処理装置のハードウェア構成例)
図2は、情報処理装置のハードウェア構成例を示す図である。例えば、判定装置5は、以下のようなハードウェア資源を有する情報処理装置である。
【0031】
判定装置5は、Central Processing Unit(以下、「CPU500A」とする。)、及び、Random Access Memory(以下、「RAM500B」とする。)等を有する。さらに、判定装置5は、Read Only Memory(以下、「ROM500C」とする。)、ハードディスクドライブ(以下、「HDD500D」とする。)、及び、インタフェース(以下、「I/F500E」とする。)等を有する。
【0032】
CPU500Aは、演算装置、及び、制御装置の例である。
【0033】
RAM500Bは、主記憶装置の例である。
【0034】
ROM500C、及び、HDD500Dは、補助記憶装置の例である。
【0035】
I/F500Eは、入力装置、又は、出力装置等を接続する。具体的には、I/F500Eは、モニタ41、又は、ビデオカメラ42等の外部装置を有線、又は、無線で接続し、データを入出力する。
【0036】
なお、判定装置5は、上記に示すハードウェア構成に限られない。例えば、判定装置5は、演算装置、制御装置、記憶装置、入力装置、出力装置、又は、補助装置を更に有してもよい。具体的には、情報処理装置は、外部、又は、内部にGraphics Processing Unit(GPU)等の補助装置があってもよい。
【0037】
さらに、判定装置5は、複数の装置であってもよい。
【0038】
(状態の特定例)
例えば、判定装置5は、目盛24で食用油の状態(以下単に「状態」という場合がある。)を特定する。具体的には、まず、ビデオカメラ42は、目盛24が映り込むように画像を撮像する。そして、判定装置5は、目盛24が写る画像をビデオカメラ42から取得する。
【0039】
目盛24は、油槽21の壁面に記載される。そして、目盛24は、揚げ油Yの表面が高さ方向においてどこに位置するかを示す。したがって、目盛24が揚げ油Yと一緒に撮像されると、揚げ油Yは、表面の高さが判明する。次に、単位高さあたりの油量が一定であれば、高さが判明すると、判定装置5は、高さに基づき油量に換算できる。したがって、目盛24は、高さ等が判明できるような位置であれば、どの位置にあってもよい。
【0040】
また、目盛24は、以下のような構成でもよい。
【0041】
図3は、目盛24の例を示す図である。例えば、目盛24は、図示するように、適正な量を示す線であってもよい。このような目盛24を用いる場合には、画像において、フライヤー2の下面となる網が目盛24に対してどの距離にいるかが解析される。
【0042】
より具体的には、目盛24は、例えば、「https://www.tanico.co.jp/category/maint/vol003/」に記載される「適正油量ライン」等でもよい。
【0043】
なお、状態は、油量以外があってもよい。すなわち、画像に基づいて、油量以外の状態が解析されてもよい。例えば、状態は、油量、食用油の最適量(例えば、実験等で定まる最も美味しい揚げ物が提供できる油量等である。)に対する差分、食用油の温度、又は、これらの組み合わせ等でもよい。
【0044】
状態は、画像以外を用いて特定されてもよい。例えば、状態を特定するため、ビデオカメラ42以外のセンサが用いられてもよい。具体的には、センサは、流量計、重量計、ステレオカメラ、及び、ライトフィールドカメラ等があってもよい。このように、センサは、測距、重量の計測、又は、流体物の量の計測等ができる装置等である。
【0045】
他にも、センサは、マイク、温度計、又は、臭いセンサ等があってもよい。
【0046】
判定装置5は、これらのセンサによる計測結果を取得してもよい。このように、画像の解析結果、及び、画像以外の計測結果を組み合わせると、判定装置5は、油量等の状態を精度良く特定できる。
【0047】
(全体処理例)
図4は、全体処理例を示す図である。例えば、判定装置5は、図示するように、「事前処理」、及び、「実行処理」の順に各処理を実行する。
【0048】
事前処理は、実行処理より、実行処理の準備を行うため、事前に実行される処理である。具体的には、事前処理は、人工知能(Artificial Intelligence(AI)、以下「AI」という。)を用いる構成では、学習モデルを学習させる等の準備を行う処理である。そして、実行処理は、事前処理で準備する学習済みモデルを用いる処理である。
【0049】
一方で、実行処理は、テーブル等を用いる処理でもよい。このように、テーブルを用いる構成では、事前処理は、テーブル(ルックアップテーブル(Look Up Table、LUT)等ともいう。)等を入力する準備を行う処理である。そして、実行処理は、事前処理で入力されたテーブルを用いる処理である。
【0050】
なお、判定装置5は、事前処理、及び、実行処理を図に例示するような連続する順序で実行しなくともよい。したがって、事前処理によって準備を行う期間と、その後、実行処理を行う期間を連続させることは必須ではない。
【0051】
したがって、AIを用いる場合には、学習済みモデルを一旦作成した後に、別の機会として学習済みモデルを用いる実行処理を行うようにしてもよい。
【0052】
また、学習済みモデルが一度生成された後であれば、学習済みモデルを転用し、判定装置5は、事前処理を省略して、実行処理から開始してもよい。
【0053】
また、学習モデル、及び、学習済みモデルは、転移学習(Transfer Learning)、又は、ファインチューニング(Fine tuning)等を行う構成でもよい。すなわち、判定装置5は、装置ごとに異なる実行環境となる場合が多い。そこで、AIの基本構成は、別の情報処理装置で学習する。その後、各々の判定装置5は、更に各々の実行環境に最適化するため、更に学習、又は、設定等がされてもよい。
【0054】
(事前処理例)
ステップS0401では、判定装置5は、準備を行う。また、事前処理は、AIを用いる構成であるか、又は、テーブルを用いる構成であるかにより処理の内容が異なる。
【0055】
AIを用いる構成では、判定装置5は、学習モデルを学習する等の準備を行う。一方で、テーブルを用いる構成では、判定装置5は、テーブルを入力する等の準備を行う。なお、準備の詳細は後述する。
【0056】
(実行処理例)
事前処理が実行された後、すなわち、AI又はテーブルが準備された後、判定装置5は、例えば、以下のような手順で実行処理を行う。
【0057】
ステップS0402では、判定装置5は、食用油を撮像した画像を取得する。なお、画像は、複数のフレーム、又は、複数の装置で撮像した画像を用いてもよい。以下、複数の画像、又は、動画等も単に「画像」という。
【0058】
また、画像は、カラーが望ましい。すなわち、画像は、RGB、又は、YCrCb等のデータ形式であるのが望ましい。カラーを用いると、色等を用いて精度良く分析、又は、認識等ができる。
【0059】
ステップS0403では、判定装置5は、第1情報を入力する。
【0060】
第1情報は、食用油へ投入して調理する揚げ物に関する情報である。具体的には、第1情報は、揚げ物の種類、揚げ物の投入量、又は、これらの組み合わせを示す情報である。したがって、第1情報は、揚げ物の種類を区別するための名称、又は、調理で油槽21に入れる揚げ物の個数等を指定する形式等で入力される。
【0061】
ステップS0404では、判定装置5は、画像を解析して状態を特定する。すなわち、判定装置5は、ステップS0402で取得する画像を解析する。
【0062】
ステップS0405では、判定装置5は、調理環境を判定する。
【0063】
ステップS0406では、判定装置5は、調理環境等に基づく出力を行う。
【0064】
以上のような全体処理におけるステップS0405までの処理は、AIを用いる構成であるか、又は、テーブルを用いる構成かによって処理内容が異なる。以下、構成ごとに分けて説明する。
【0065】
(AIを用いる構成の全体処理例)
図5は、AIを用いる構成の全体処理例を示す図である。図示するように、AIを用いる構成では、事前処理は、学習モデルA1を学習する処理である。そして、実行処理は、事前処理等によって、ある程度の学習が完了した学習モデルである、学習済みモデルA2を用いて調理環境等を判定する処理である。
【0066】
事前処理は、例えば、学習データD11を用いて、学習モデルを学習させる処理である。すなわち、事前処理は、学習データD11を用いる「教師あり」の学習により、学習モデルA1を学習させて、学習済みモデルA2を生成する処理である。
【0067】
学習データD11は、例えば、油量D111、第1情報D112、及び、調理温度D113等のデータを組み合わせたデータである。
【0068】
油量D111は、食用油の量等である。また、油量D111は、ステップS0402で取得する画像を解析して得られる解析結果等である。
【0069】
なお、油量D111は、画像を解析して得られるのが望ましい。すなわち、油量D111は、目盛24等に基づいて画像を解析して得られる形式で入力されるのが望ましい。
【0070】
画像は、油量D111以外の情報も取得できる場合が多い。したがって、判定装置5は、画像を解析すると、油量D111以外の情報も取得できる。ゆえに、画像を入力すると、判定装置5は、調理環境に影響がある状態を特定、及び、学習できる場合がある。
【0071】
また、画像で入力する形式であると、撮像装置を設置して食用油を撮像し続ける体制で学習データが確保できるため、テキストデータ等で入力する形式等と比較して、学習データの用意が簡略化できる。
【0072】
第1情報D112は、油量D111が示す状態の条件下で調理の対象となる揚げ物の種類、投入量、又は、これらの組み合わせ等を示す情報である。例えば、第1情報D112は、テキストデータ等で入力する、又は、画像を解析して揚げ物の種類等を画像認識で特定して入力する。
【0073】
調理温度D113は、調理環境の例である。すなわち、油量D111、及び、第1情報D112が示す条件下で調理を行うと、どのような調理温度D113となったかの結果を示す情報である。したがって、調理温度D113は、揚げ物をどのような調理環境で調理することになるかを示す情報であって、「教師あり」の学習を行う構成において、「正解データ」となる情報である。
【0074】
なお、調理環境は、調理温度D113に限られない。例えば、調理環境は、揚げ物を調理できる温度、揚げ物を投入すると低下する温度の低下量、食用油の劣化度、又は、これらの組み合わせ等でもよい。このように、調理環境は、現状の食用油を用いると、どのような環境で揚げ物が調理されるかを示す情報である。また、調理環境は、例えば、最適な調理温度に対して、どの程度乖離してしまうかといった形式で判定されてもよい。又は、調理環境は、例えば、最適とする調理温度が保てなくなる、すなわち、現状の食用油の使用の仕方では、どの程度の使用によって揚げ油が最適な調理環境ではなくなるかといった形式で判定されてもよい。
【0075】
以上のような学習データD11を用いて、学習モデルA1を学習させると、判定装置5は、状態、及び、第1情報の組み合わせと、調理環境との関係を学習できる。そして、このような学習によって生成する学習済みモデルA2を用いると、判定装置5は、以下のような実行処理ができる。
【0076】
実行処理は、入力データD12を入力して、調理温度等の推定結果(以下単に「推定結果D13」という。)を出力する。
【0077】
例えば、実行処理では、判定装置5は、事前処理と同様の形式で、油量等の状態、及び、第1情報を含む入力データD12を入力する。なお、事前処理と比較すると、実行処理では、油量等の状態、及び、第1情報に対して、結果となる調理環境が未知である点が異なる。
【0078】
以下、実行処理で入力する油量を「未知油量D121」という。同様に、実行処理で入力する第1情報を「未知第1情報D122」という。
【0079】
入力データD12は、未知油量D121、及び、未知第1情報D122の組み合わせ等である。そして、判定装置5は、入力データD12を学習済みモデルA2に入力する(
図4におけるステップS0403、及び、ステップS0404)。このような入力に対し、判定装置5は、推定結果D13を出力する。すなわち、入力データD12が示す条件下で調理を行うと、どのような調理環境で調理がされるかを推定する(
図4におけるステップS0405)。
【0080】
このように、AIを用いる構成であると、学習データD11で入力される条件と異なる条件が入力されても、判定装置5は、学習に基づき、調理環境等を推定できる。
【0081】
(テーブルを用いる構成の全体処理例)
図6は、テーブルを用いる構成の全体処理例を示す図である。図示するように、テーブルを用いる構成では、事前処理は、テーブルD22を生成する処理である。そして、実行処理は、事前処理で生成したテーブルD22を用いて調理環境等を判定する処理である。
【0082】
事前処理は、例えば、実験データD21をまとめてテーブル形式にする処理である。なお、テーブルD22は、図示するように2次元の表でなくともよい。すなわち、テーブルD22は、油量D111、及び、第1情報D112に対して、対応する調理温度D113が一義的に特定できれば、データ形式等を問わない。以下、図示するようなテーブルD22の形式を例に説明する。
【0083】
実験データD21は、例えば、油量D111、第1情報D112、及び、調理温度D113等のデータを組み合わせたデータである。なお、油量D111、第1情報D112、及び、調理温度D113は、例えば、
図5と同様である。
【0084】
テーブルD22は、油量D111、及び、第1情報D112と、調理温度D113とを対応付けするデータである。なお、テーブルD22には、図示する以外の情報が含まれてもよい。
【0085】
以上のようなテーブルD22を用いると、判定装置5は、状態、及び、第1情報の組み合わせと、調理環境とを対応付けできる。そして、このようなテーブルD22を用いると、判定装置5は、以下のような実行処理ができる。
【0086】
例えば、実行処理では、判定装置5は、AIを用いる構成と同様に、油量等の状態、及び、第1情報を含む入力データD12を入力する(
図4におけるステップS0403、及び、ステップS0404)。
【0087】
AIを用いる構成と同様に、テーブルを用いる構成でも、事前処理と比較すると、実行処理では、油量等の状態、及び、第1情報が未知である点が異なる。
【0088】
以下、AIを用いる構成と同様に、入力データD12は、未知油量D121、及び、未知第1情報D122の組み合わせ等である例で説明する。
【0089】
AIを用いる構成と同様に、判定装置5は、入力データD12により、状態、及び、第1情報の組み合わせを入力すると、テーブルD22において、対応する調理温度を抽出する。このように、入力に対し、判定装置5は、抽出結果D23を出力する。すなわち、AIを用いる構成と同様に、入力データD12が示す条件下で調理を行うと、判定装置5は、どのような調理環境で調理がされるかをテーブルD22から抽出する(
図4におけるステップS0405)。
【0090】
このように、テーブルを用いる構成であると、テーブルD22上で入力される条件と対応する調理温度を検索するため、判定装置5は、高速に処理できる。
【0091】
なお、判定装置5は、線形補間等により、調理環境等を推定してもよい。すなわち、テーブルD22に入力されていない条件等の場合には、判定装置5は、テーブルD22において類似する条件を平均する等によって調理環境を計算してもよい。
【0092】
例えば、図示するように、「油量が200g」、及び、「油量が250g」がテーブルD22に入力され、かつ、「油量が225g」(すなわち、未知の場合である。)を実行処理の対象とする場合には、判定装置5は、「油量が200g」、及び、「油量が250g」の中間となる値等を計算してもよい。
【0093】
このような補間を行うと、テーブルD22に入力されていない条件であっても、判定装置5は、対応できる。
【0094】
(膨張量の特定、及び、膨張量に基づく補正の例)
判定装置5は、膨張量の特定、及び、膨張量に基づく補正を行うのが望ましい。以下、補正を行う前、すなわち、画像の解析結果で得られる食用油の量を「第1油量」という。一方で、第1油量を膨張率で補正した後の食用油の量を「第2油量」という。
【0095】
膨張率は、例えば、食用油の種類、及び、温度に基づいて特定できる。すなわち、判定装置5は、判定の対象とする食用油について、食用油の種類、及び、温度等を特定すると膨張率を特定できる。
【0096】
食用油は、温度により、体積が変化する。また、膨張率は、食用油の種類ごとに異なる。したがって、膨張率を考慮し、油量を補正すると、判定装置5は、精度良く油量を特定できる。
【0097】
例えば、判定装置5は、食用油の種類を画像の解析、又は、食用油の名称を入力する等により特定する。次に、判定装置5は、食用油の温度を計測等により特定する。
【0098】
また、判定装置5は、食用油の種類、及び、温度のセットと、膨張率とを対応付けしたデータ等を事前に入力する。又は、判定装置5は、膨張率を計算する計算式等を事前に入力する。
【0099】
以上のようにして、判定装置5は、画像を解析する等によって第1油量を特定し、かつ、膨張率を特定する。次に、判定装置5は、第1油量を補正して第2油量を特定する。具体的には、第2油量は、下記(1)式の計算で求まる。
【0100】
第2油量 = 第1油量 × 温度差 × 膨張率 (1)
上記(1)式において、「温度差」は、現在の食用油が基準とする温度に対して、何℃差があるかを示す値である。また、上記(1)式において、「膨張率」は、食用油の種類、及び、温度のセットで事前に定まる値である。このように、判定装置5は、第1油量に、温度差、及び、膨張率を乗じる計算を行って、膨張率に基づく補正を行う。
【0101】
なお、補正は、上記(1)式による計算に限られず、温度による膨張の影響を排除して膨張する前の油量を特定できるのであれば、計算方法等を問わない。例えば、膨張率は、比重等で計算されてもよい。
【0102】
上記(1)式等で定まる第2油量を含む状態、及び、第1情報を用いると、判定装置5は、調理環境等を精度良く特定できる。
【0103】
(美味しさを特定する例)
図4におけるステップS0406では、判定装置は、美味しさの特定結果を更に出力してもよい。すなわち、判定装置は、ステップS0405で判定する調理環境で調理した場合の美味しさを特定する。
【0104】
美味しさは、揚げ物の油っぽさ、におい、食感、及び、風味の総合的に評価した結果等である。例えば、美味しさは、官能評価等で評価される。
【0105】
調理環境は、美味しさと相関関係が強い。したがって、調理環境を想定できると、判定装置は、想定する調理環境で揚げ物がどの程度の美味しさとなるかが特定できる。すなわち、揚げ物は、最適な調理温度で調理されると、美味しさを高くできる場合が多い。以下、調理環境を調理温度とする例で説明する。
【0106】
図7は、美味しさを特定する例を示す図である。例えば、
図4に示す全体処理を行う場合を例に説明する。
【0107】
ステップS0401によって、事前処理が行われると、判定装置は、学習済みモデルA2、又は、テーブルD22を準備できる。このような準備ができた後、判定装置は、実行処理を行う。
【0108】
ステップS0402によって、判定装置は、画像IMGを取得する。
【0109】
ステップS0403によって、判定装置は、未知第1情報D122を入力する。
【0110】
ステップS0404によって、判定装置は、画像IMGの解析結果に基づき、未知油量D121を入力する。
【0111】
このように入力データD12が入力されると、ステップS0405によって、判定装置は、調理環境を判定する。
【0112】
調理環境は、調理温度、揚げ物Xを調理できる温度、揚げ物Xを投入すると低下する温度の低下量、食用油の劣化度、又は、これらの組み合わせ等である。例えば、調理温度が判定すると、判定装置は、どのような温度で揚げ物Xが調理されるかが把握できる。そして、調理温度は、揚げ物Xの種類等でどのような美味しさとなるかと相関関係が強い。具体的には、最適な温度で調理がされないと、揚げ物は美味しくできない場合が多い。
【0113】
一方で、調理温度等の調理環境は、油量、及び、調理の対象によって、調理が可能な温度等に制限ができる場合が多い。したがって、油量、及び、揚げ物の種類等と、調理環境とは、相関関係が強くなる。ゆえに、判定装置は、調理温度等に基づいて、美味しさを推定できる。
【0114】
なお、判定装置は、図示するように、好みを考慮してもよい。すなわち、判定装置は、入力する好みに合う美味しさとなるか等を推定してもよい。
【0115】
美味しさは、各人の好みによって異なる場合がある。例えば、美味しさに油っぽさを含む場合において、油っぽさが高いのを好む人もいれば、油っぽさが高いのを嫌う人もいる。好みは、このような美味しさを構成する属性の最適値を示す。
【0116】
なお、好みを入力する場合には、事前処理では、好みに対応するため、正解データ、又は、テーブルには、好みの対象となる属性が入力されるのが望ましい。具体的には、実行処理において好みで油っぽさを入力する場合には、正解データ、又は、テーブルには、油っぽさの結果が入力されるのが望ましい。
【0117】
ただし、属性は、種類によって、調理環境と相関が強い項目がある。すなわち、判定装置は、調理環境が判定できれば、好みに合う調理となるか否か等が判断できる場合もある。このような場合には、判定装置は、調理環境と好みの対象となる属性との関係を把握すれば、正解データに好みの対象となる属性を入力しなくともよい。
【0118】
このように、好みを考慮できると、判定装置は、各人に合わせて美味しさを推定できる。また、ステップS0406によって、判定装置は、入力された条件では、どのような美味しさとなる揚げ物になるかを数値、又は、定性的な表現等で出力してもよい。
【0119】
[第2実施形態]
第2実施形態は、差し油、及び、廃油等を考慮する点が第1実施形態と異なる。
【0120】
図8は、第2実施形態の例を示す図である。
図7と比較すると、第2実施形態は、ステップS0801によって、油量を調整する点が異なる。
【0121】
第2実施形態は、ステップS0404で特定する油量に対して、食用油の追加、廃棄、又は、両方を行う。このように調整が行われると、油量の増減により、未知油量D121が変化する。このような変化を考慮して、判定装置は、調理環境、及び、美味しさ等を判定する。例えば、第2実施形態は、入出力関係が以下のようになる。
【0122】
図9は、第2実施形態における入出力関係の例を示す図である。例えば、未知油量D121は、複数のパターンが調整によって生成されてもよい。
【0123】
以下、油量を増減させない、すなわち、調整がなく、現状の状態を維持するパターンを「現状」という。一方で、「パターン1」及び「パターン2」は、差し油、すなわち、食用油を追加する調整を行う例である。
【0124】
具体的には、「パターン1」は、「現状」に対して「+200g」の食用油を追加する調整を行うパターンである。さらに、「パターン2」は、「現状」に対して「+250g」の食用油を追加する調整を行うパターンである。
【0125】
なお、パターンは、上記の3つ以外であってもよい。すなわち、油量以外のパラメータが異なるパターンがあってもよい。具体的には、パターンは、第1情報が異なるように設定されてもよい。以下、油量のみをパターンごとに変える場合を例に説明する。
【0126】
「現状」、「パターン1」、及び、「パターン2」・・・のように複数のパターンを入力すると、判定装置は、パターンごとに調理環境を判定する。したがって、判定装置は、調理環境ごと、すなわち、パターンごとに美味しさを出力できる。
【0127】
以下、美味しさの評価を評価が高い順に「〇」、「△」、「×」と示す。なお、美味しさは、数値又は言葉で表現されてもよい。また、美味しさは、属性があってもよく、属性ごとの評価結果、及び、複数の属性を総合した評価結果を示す形式でもよい。
【0128】
美味しさは、最も美味しさが高くなるパターン等を出力するのが望ましい。例えば、判定装置は、最適なパターン(この例では、「〇」の美味しさである「パターン2」である。)を示すメッセージ50等を出力する。例えば、メッセージ50は、モニタ等へ出力する。なお、メッセージ50の形式等は、どのような形式でもよい。
【0129】
このように、最も美味しさが最適となるパターンが出力されると、ユーザは、美味しい揚げ物を提供するのにどのような操作をしたらよいかが把握できる。
【0130】
また、判定装置は、最適なパターンを実現するように調整器51等を制御してもよい。例えば、調整器51は、ポンプ等である。したがって、判定装置は、調整器51等に対して、ポンプを稼働させる等を命令する信号を出力して制御すると、ポンプ等の稼働により油量を調整することができる。
【0131】
このように、判定装置は、最適なパターンを実現するように、接続する調整器51等の関連機器を制御する構成でもよい。このような構成であると、判定装置は、調理環境を事前に判定した結果に基づいて、調理環境を整えることができる。
【0132】
他にも、判定装置は、最適なパターンを生成してもよい。すなわち、判定装置は、現状に対して、現状より美味しさが高くできるような調整量等を抽出してもよい。
【0133】
このように、判定装置は、調理環境、又は、美味しさの特定結果に基づき、調理環境、又は、美味しさが最適となる追加油の追加量、及び、廃油の廃油量等を出力する。
【0134】
以下、食用油の追加量、廃油量、又は、これらの組み合わせを示す情報を「第2情報」という。
【0135】
このような出力があると、ユーザは、美味しい揚げ物を提供するのにどのような操作をしたらよいかが把握できる。
【0136】
また、判定装置は、第2情報以外、すなわち、油量以外の調整を考慮してもよい。例えば、判定装置は、追加油を追加するタイミング(以下「第1タイミング」という。)、又は、廃油を廃棄するタイミング(以下「第2タイミング」という。)等も調整してもよい。
【0137】
調理において、調理環境を整えるのには、食用油を追加、又は、廃油するタイミングが影響する場合がある。したがって、第1タイミング、及び、第2タイミングがどのタイミングであると、判定装置は、より美味しい揚げ物を提供できる調理環境になるかを推定してもよい。
【0138】
このように、第1タイミング、及び、第2タイミング等も最適化する出力があると、ユーザは、美味しい揚げ物を提供するのにどのような操作をしたらよいかが把握できる。
【0139】
又は、判定装置は、調整器51等を制御して、最適な第1タイミング、及び、第2タイミングで食用油を調整してもよい。
【0140】
また、以下のように、判定装置は、情報システムにおいて、調整等に関する情報を提供してもよい。
【0141】
図10は、情報システム200の例を示す図である。例えば、情報システム200は、店舗S1乃至店舗S3ごとに設置する判定装置5を通信回線等で接続して構築する。
【0142】
例えば、店舗S2(この例では、店舗S2は、居酒屋とする。)は、統括本部Hに報知情報を通知する。この場合には、統括本部Hは、報知情報を受信した回数、又は、頻度等を分析する。同様に、統括本部Hは、店舗S1(店舗S1は、天ぷら屋とする。)、及び、店舗S3(店舗S3は、とんかつ屋とする。)も分析する。
【0143】
このように分析した結果に基づき、統括本部Hは、食用油の使用方法が適切か、適宜交換しているか、及び、無駄がないか等を提案、又は、指導する。
【0144】
なお、統括本部Hは、フライヤー2が設置された工場等も管理してよい。また、統括本部Hは、店舗、又は、工場内に存在し、施設内のフライヤー2等を管理してもよい。
【0145】
報知情報は、例えば、食用油の製造業者P、及び、販売業者Q等に通知される。そして、製造業者Pは、報知情報に基づき、製造計画、又は、販売計画を立案する。また、販売業者Qは、報知情報に基づき、食用油を発注、及び、製造業者Pから食用油を仕入れる等を行う。そして、販売業者Qは、店舗S1乃至店舗S3等へ食用油等を配送する。
【0146】
さらに、報知情報は、回収業者Z(なお、回収業者Z、及び、製造業者Pは同一の業者等でもよい。)に通知される。そして、報知情報を受けると、回収業者Zは、廃油Wを回収する。具体的には、回収業者Zは、所定回数の報知情報を受信すると、店舗S2を訪問してフライヤー2の油槽21から廃油Wを回収する。
【0147】
さらに、報知情報は、清掃作業業者等にも通知されてよい。そして、報知情報を受けると、清掃作業業者は、店舗S2を訪問して、フライヤー2の油槽21の内部、又は、その付近等を清掃する。
【0148】
例えば、以上のように報知情報を用いると、店舗S1乃至店舗S3において、供給から廃油、清掃までが迅速にできる。また、食用油の交換等を自動化すると、ユーザ(例えば、店員等である)の負担がより軽減できる。具体的には、劣化度が閾値を超えた等の報知情報が出力されると、使用中の食用油は、新しい食用油等に交換される。
【0149】
このようなサプライチェーンにおいて、判定装置5は、調整において、追加油、又は、廃油が発生する場合には、統括本部H、回収業者Z、及び、製造業者P等へ食用油の量、及び、追加油、又は、廃油が発生する時期等を報知してもよい。このように、追加油、又は、廃油等についての発注、回収、納品、及び、手続等が情報システム200によって自動化できると、ユーザは、作業負荷が軽減できる。
【0150】
(ネットワーク構成例)
AIは、例えば、以下のようなネットワークで実現する。
【0151】
図11は、ネットワーク構造例を示す図である。例えば、学習モデル、及び、学習済みモデルは、以下のようなネットワーク300の構造である。
【0152】
ネットワーク300は、例えば、入力層L1、中間層L2(「隠れ層」等ともいう。)、及び、出力層L3等を有する構成である。
【0153】
入力層L1は、データを入力する層である。
【0154】
中間層L2は、入力層L1で入力するデータを重み、及び、バイアス等に基づいて変換する。このように中間層L2で処理された結果が出力層L3へ伝えられる。
【0155】
出力層L3は、推測結果等を出力する層である。
【0156】
そして、学習により、重みの係数、及び、等が最適化される。なお、ネットワーク300は、図示するネットワーク構造に限られない。つまり、AIは、他の機械学習によって実現されてもよい。
【0157】
(劣化度について)
劣化度は、例えば、食用油の酸価、食用油の粘度、食用油の粘度上昇率、食用油の色調、食用油のアニシジン価、食用油の極性化合物量、食用油のカルボニル価、食用油の発煙点、食用油のトコフェロール含量、食用油のヨウ素価、食用油の屈折率、食用油の揮発性成分量、食用油の揮発性成分組成、食用油の風味、食用油で揚げた揚げ物の揮発性成分量、揚げ物の揮発性成分組成、揚げ物の風味、又は、これらの組み合わせ等でもよい。
【0158】
食用油の酸価(Acid Value、「AV」という場合もある。)は、例えば、基準油脂分析試験法2.3.1-2013に準じる方法で測定する値である。
【0159】
食用油の粘度上昇率は、例えば、食用油を交換し、新しい揚げ油で揚げ物を初めて揚げる前の粘度(すなわち、使用開始時の粘度である。)等を基準とし、基準に対する粘度上昇量の比率で算出される値である。なお、粘度は、粘度計等で計測される。例えば、粘度計は、E型粘度計(TVE-25H・東機産業社製)等である。
【0160】
食用油の色調(「色」又は「色相」等という場合もある。)は、例えば、基準油脂分析試験法2.2.1.1-2013に準じる方法で測定する値(例えば、黄色成分値と赤色成分値を用いて、黄色成分値+10×赤色成分値で計算する値等である。)である。
【0161】
食用油のアニシジン価は、基準油脂分析試験法2.5.3-2013に準じる方法で測定する値である。
【0162】
食用油の極性化合物量は、基準油脂分析試験法2.5.5-2013に準じる方法で測定する値である。例えば、食用油の極性化合物量は、極性化合物測定装置(株式会社テストー製等の装置等をいう。)で測定する値である。
【0163】
食用油のカルボニル価は、例えば、基準油脂分析試験法2.5.4.2-2013等に準じる方法で測定する値である。
【0164】
食用油の発煙点は、基準油脂分析試験法2.2.11.1-2013等に準じる方法で測定する値である。煙は、食用油に含まれる脂質、又は、その分解物等の燃焼により生じる。
【0165】
食用油のトコフェロール(Tocopherol)(「ビタミンE」等という場合もある。)含量は、食用油に含まれるトコフェロールの成分量等である。例えば、トコフェロールは、高速液体クロマトグラフ(HPLC)法等に準じる方法で測定する値である。
【0166】
食用油のヨウ素価は、例えば、油脂100グラムに付加できるヨウ素のグラム数を示す。そして、食用油のヨウ素価は、例えば、基準油脂分析試験法2.3.41-2013等に準じる方法で測定する値である。
【0167】
食用油の屈折率は、例えば、基準油脂分析試験法2.2.3-2013等に準じる方法で測定する値である。
【0168】
食用油の揮発性成分量、食用油の揮発性成分組成、食用油で揚げた揚げ物の揮発性成分量、及び、揚げ物の揮発性成分組成等の揮発性成分は、揚げ物、又は、食用油から揮発する成分(主に、臭い成分である。)等で定まる。また、揮発性成分は、食用油が劣化すると、成分量、又は、組成等が変化する。例えば、揮発性成分は、ガスクロマトグラフ-質量分析計(GC-MS)、又は、においセンサ等で測定される。
【0169】
食用油の風味、及び、揚げ物の風味等の風味は、官能評価(例えば、実際に人が食べて評価する方法等である。)、又は、味覚センサ等で測定する値である。
【0170】
(機能構成例)
図12は、機能構成例を示す図である。例えば、判定装置5は、撮像部5F1、第1入力部5F2、第1特定部5F3、及び、第2特定部5F4等を備える機能構成である。なお、図示するように、判定装置5は、第2入力部5F5、出力部5F6、及び、調整部5F7等を更に備える機能構成であるのが望ましい。以下、図示する機能構成を例に説明する。
【0171】
撮像部5F1は、食用油を撮像した画像を取得する撮像手順を行う。例えば、撮像部5F1は、ビデオカメラ42、及び、I/F500E等で実現する。
【0172】
第1入力部5F2は、第1情報を入力する第1入力手順を行う。例えば、第1入力部5F2は、I/F500E等で実現する。
【0173】
第1特定部5F3は、画像を解析して、状態を特定する第1特定手順を行う。例えば、第1特定部5F3は、CPU500A等で実現する。
【0174】
第2特定部5F4は、第1情報と、状態とに基づき、揚げ物が調理される調理環境を特定する第2特定手順を行う。例えば、第2特定部5F4は、CPU500A等で実現する。
【0175】
第2入力部5F5は、追加油の追加量、廃油の廃油量、又は、これらの組み合わせを示す第2情報を入力する第2入力手順を行う。例えば、第2入力部5F5は、I/F500E等で実現する。
【0176】
出力部5F6は、調理環境、又は、美味しさの特定結果に基づき、調理環境、美味しさが最適となる追加油の追加量、廃油の廃油量、第1タイミング、第2タイミング、又は、これらの組み合わせを出力する出力手順を行う。例えば、出力部5F6は、I/F500E等で実現する。
【0177】
調整部5F7は、出力部5F6による出力結果に基づき、食用油の追加、廃棄、又は、両方を行う調整手順を行う。例えば、調整部5F7は、調整器51等で実現する。
【0178】
また、判定装置5、及び、学習装置6を有する判定システム7は、例えば、以下のような機能構成である。以下、学習装置6が判定装置5と同様のハードウェア構成である場合を例にする。ただし、判定装置5、及び、学習装置6は異なるハードウェア構成でもよい。
【0179】
学習装置6は、例えば、判定装置5と同様に、撮像部5F1、第1入力部5F2、及び、第1特定部5F3等を備える機能構成である。ただし、学習装置6は、状態、及び、第1情報が入力できるのであれば、入力の構成、及び、データの形式は問わない。以下、判定装置5と同様の機能構成は、同一の符号を付して説明を省略する。
【0180】
調理環境入力部5F8は、揚げ物が調理される調理環境を入力する調理環境入力手順を行う。例えば、調理環境入力部5F8は、I/F500E等で実現する。
【0181】
生成部5F9は、学習モデルA1を学習させて学習済みモデルA2を生成する生成手順を行う。又は、生成部5F9は、テーブルD22を生成する生成手順を行う。例えば、生成部5F9は、CPU500A等で実現する。
【0182】
判定システム7では、学習装置6が生成する学習済みモデルA2、又は、テーブルD22が、学習装置6からネットワーク等を介して、判定装置5等へ配信される。
【0183】
事前処理により、学習装置6が学習済みモデルA2、又は、テーブルD22を生成する。このような学習済みモデルA2、又は、テーブルD22があると、判定装置5は、実行処理により、食用油の状態に基づき、調理環境を事前に判定できる。このような判定、すなわち、どのような調理環境となるか、又は、最適な調理環境との乖離部分等の情報が調理を行う前に分かると、美味しい揚げ物を提供するのに調理環境を整えるのが容易になる。
【0184】
また、油量の調整等を試行錯誤する場合等と比較して、ユーザは、どのように調理環境を整えればよいか等の情報取得を効率的に行うことができる。
【0185】
このような判定結果に基づいて、最適な調理環境との乖離を少なくする等のように、調理環境を整えることで、美味しい揚げ物を提供することができる。
【0186】
[第3実施形態]
判定装置5は、サーモグラフィ(thermography)データを生成して利用してもよい。
【0187】
図13は、サーモグラフィデータの例を示す図である。図示するサーモグラフィデータは、「FLIR(登録商標) Systems社製 FLIR E4」を計測装置として使用し、食用油を180℃に加熱する設定において、食用油の温度を計測して生成したデータの例である。
【0188】
サーモグラフィデータは、食用油の温度分布を色で示すデータである。例えば、サーモグラフィデータは、食用油が発する赤外線を計測して、計測点ごとの温度を色の画素をプロットして生成される。図示する例は、温度を20℃乃至190℃の範囲で色分けして示すサーモグラフィデータの例である。
【0189】
このように、食用油を加熱している状態において、温度の分布が分かると、膨張率を精度良く特定できる。膨張率は、温度によって異なる値である。一方で、温度は、食用油において分布が均一とは限らない。すなわち、食用油は、位置によって温度が異なる場合がある。このように温度に偏りがある場合等であっても、サーモグラフィデータがあると、判定装置5は、位置ごとに温度を把握でき、温度の偏り等があっても、膨張率を精度良く特定できる。
【0190】
なお、温度は、例えば、以下のように事前に設定する領域(以下「エリア」という。)ごとに計測されてもよい。
【0191】
図14は、エリアの例を示す図である。図は、
図13において温度を計測する全領域を6つのエリアに区切るように設定する例を示す。なお、区切り方は、図示する例に限られない。つまり、エリアは、均等でなくともよいし、6つ以外に区切られてもよい。
【0192】
エリアは、全領域でなくともよい。例えば、エリアは、全領域のうち、電熱線がなく、かつ、食用油がある領域を抽出して設定するのが望ましい。すなわち、エリアは、電熱線がある所を避けるように設定されるのが望ましい。電熱線があると、電熱線の温度により、高く計測される場合がある。したがって、エリアは、電熱線等の高温部を除外して設定されると、温度が精度良く計測できる。
【0193】
また、目盛24が画像で判断できる場合には、エリアは、目盛24を含む領域を抽出して設定するのが望ましい。すなわち、エリアは、目盛24が見える領域に対して設定されるのが望ましい。
【0194】
また、温度の計測は、食用油がある領域だけを抽出して行うが望ましい。すなわち、温度計測を行う範囲に、食用油以外の物体がある場合には、食用油以外の物体を計測した計測結果を除外して、計測を行うのが望ましい。
【0195】
この例では、6つのエリアが別々に計測される。したがって、判定装置5は、膨張率の特定等もエリアごとに行う。例えば、判定装置5は、サーモグラフィデータが示す複数の計測結果をエリアごとに統計処理(例えば、エリアに属する計測結果を平均する等である。)して、エリアごとの温度を特定する。
【0196】
なお、このようにエリアごとに温度を計測する場合には、エリアごとに温度計を設置する等の構成で温度が計測されてもよい。
【0197】
このように、判定装置5は、温度計測部を更に備えるのが望ましい。そして、判定装置5は、食用油の温度の分布を示す計測結果ごとに、膨張率を特定する。
【0198】
以上のように、判定装置5は、温度の分布を考慮できると、精度良く膨張率を特定できる。
【0199】
[第4実施形態]
判定装置5は、以下のように、フライバスケット3等を考慮するのが望ましい。例えば、フライバスケット3が無い場合には、サーモグラフィデータは、
図13のようになる。一方で、フライバスケット3が有る場合には、サーモグラフィデータは、以下のようになる。
【0200】
図15は、フライバスケット3が有る場合の例を示す図である。
図13と比較すると、フライバスケット3が有る点が異なる。一方で、
図13と
図15は、どちらも食用油を177℃に加熱する設定である。
【0201】
図15に示すように、フライバスケット3が有ると、
図13のようにフライバスケット3が無い場合と同じ加熱条件であっても、温度の計測結果が低くなりやすい。具体的には、フライバスケット3が有ると、フライバスケット3の温度によって、温度分布中に温度の低い部分が多くなる。その結果、
図13に示す例と同様に、サーモグラフィデータを利用して、食用油の位置による温度を特定しようとしても、その温度が低い値で特定されることになる。このような傾向は、フライヤー等の条件が変わっても同様である。
【0202】
図16は、フライバスケット3が無い第2例を示す図である。
【0203】
図17は、フライバスケット3が有る第2例を示す図である。
【0204】
【0205】
一方で、
図16、及び、
図17は、フライバスケット3の有無が異なる。
【0206】
図16、及び、
図17の場合でも、フライバスケット3の有無により温度差が生じる。
【0207】
例えば、フライバスケット3は、画像、又は、サーモグラフィデータに基づいて形状等を認識する等の処理により、判定装置5は、有無を把握する。なお、フライバスケット3の有無は、重さ、又は、ユーザによる操作等で把握されてもよい。
【0208】
判定装置5は、フライバスケット3が有ると判断する場合には、温度の計測結果を補正してもよい。すなわち、判定装置5は、フライバスケット3によって低下する温度を事前に把握し、フライバスケット3が有ると判断する場合には低下した分の温度を補正して、膨張率等を特定してもよい。
【0209】
ただし、フライバスケット3が有ると判断する場合であっても、例えば、食用油の表面が見える場合等には、温度が精度良く計測できる場合がある。
【0210】
例えば、食用油の表面が見えない場合、又は、フライヤー側で温度を計測する計測装置による計測結果と乖離がある場合等に、判定装置5は、サーモグラフィデータに基づいて、温度の計測結果の補正を行うとしてもよい。
【0211】
また、判定装置5は、フライバスケット3による温度差を利用して、食用油の表面の高さを推定してもよい。
【0212】
まず、判定装置5は、サーモグラフィデータを生成するための計測装置とは別にフライヤー側に温度を計測する計測装置を備える。以下、フライヤー側で温度を計測する計測装置を「第1計測装置」とし、サーモグラフィデータ用に温度を計測する計測装置を「第2計測装置」という。
【0213】
第1計測装置による計測結果(以下「第1計測結果」という。)と、第2計測装置による計測結果(以下「第2計測結果」という。)とは、フライバスケット3等により、温度差が生じる場合がある。
【0214】
また、フライバスケット3があると、
図3に示す目盛24は、フライバスケット3により、
図1に示すようなビデオカメラ42からは見にくい場合がある。
【0215】
そこで、判定装置5は、第1計測結果、及び、第2計測結果の温度差に基づいて、食用油の表面の高さを推定する。
【0216】
サーモグラフィデータは、食用油が少量であると、低い温度を計測する場合が多い。そのため、食用油が少量であると、第1計測結果、及び、第2計測結果の温度差は、大きくなりやすい。ゆえに、第1計測結果、及び、第2計測結果の温度差により、食用油の表面の高さが推定できる。
【0217】
このように、判定装置5は、食用油を貯留する油槽において食用油の温度を計測する第1温度計測部と、食用油の表面から食用油の温度を計測する第2温度計測部とを更に備える。そして、判定装置5は、第1温度計測部による計測結果である第1計測結果と、第2計測結果による計測結果である第2計測結果との温度差を特定する。
【0218】
さらに、判定装置5は、フライバスケット3等といった調理器具の有無を判断する判断部を更に備える。
【0219】
次に、判定装置5は、調理器具が有ると判断すると、第1計測結果、及び、第2計測結果の温度差に基づいて、食用油の表面の高さを推定する。このように食用油の表面の高さを推定すると、判定装置5は、食用油の表面の高さを精度良く推定できる。
【0220】
なお、1度の温度差があると、食用油の表面の高さがどの程度であるかの情報は、例えば、事前に実験して、判定装置5に入力される。
【0221】
[第5実施形態]
サーモグラフィデータは、食用油の表面の高さを推定するのに用いてもよい。
【0222】
図18は、食用油の表面の高さを推定する処理の例を示す図である。例えば、図示するような処理は、食用油の表面の高さを特定する、すなわち、油量を特定する処理の前等に実行される。
【0223】
ステップS1801では、判定装置5は、目盛が見えるか否かを判断する。
【0224】
目盛が見えるか否かは、例えば、フライバスケット3の有無等で判断する。具体的には、例えば、
図17に示すように、フライバスケット3が有ると判断できる場合には、目盛が見えないと判断する(ステップS1801でNO)。
【0225】
一方で、
図16に示すように、フライバスケット3が無いと判断できる場合には、目盛が見えると判断する(ステップS1801でYES)。
【0226】
なお、判定装置5は、目盛が見えるか否かをフライバスケット3の有無以外で判断してもよい。例えば、カメラ42の不調、重合物、又は、揚げカス等により、目盛24が分かりにくい場合がある。したがって、判定装置5は、画像に対して、目盛24を画像認識した結果、目盛24が認識できなかった場合等を目盛が見えないと判断してもよい(ステップS1801でNO)。
【0227】
また、目盛が見えるか否かの判断は、推定結果に基づいて判断されてもよい。具体的には、判定装置5は、以下のように、温度が急激に変化するラインがあるか否かを推定し、目盛が見えるか否かを判断してもよい。
【0228】
例えば、以下のように、温度が急激に変化するラインがあると判断できる場合には、判定装置5は、目盛が見えると判断してもよい(ステップS1801でYES)。すなわち、温度が急激に変化するラインがあると判断できる場合には、判定装置5は、直接油面の位置を特定してもよい。
【0229】
図19は、境目の例を示す図である。例えば、境目55は、温度が急激に変化するラインである。
【0230】
図20は、境目の検出例を示す図である。図は、境目55付近の温度を1ピクセルごとに計測した結果の例である。この例では、判定装置5は、比較的高温が計測された画素(以下「高温画素551」という。)と、高温画素551と比較して低温が計測された画素(以下「低温画素552」という。)を分けるラインがあると判断する。
【0231】
また、この例では、高温画素551は、「160℃」以上である。一方で、低温画素552は、「160℃」未満である。
【0232】
高温画素551、及び、低温画素552が隣接する箇所では、判定装置5は、閾値以上に温度が急激に変化していると判断する。このような箇所を判定装置5は、境目55と認識する。なお、境目55を判断するための閾値は、事前に設定される値である。
【0233】
以上のように境目55があると判断すると、判定装置5は、目盛が見えると判断する(ステップS1801でYES)。
【0234】
次に、目盛が見えると判断すると(ステップS1801でYES)、判定装置5は、ステップS1802に進む。一方で、目盛が見えないと判断すると(ステップS1801でNO)、判定装置5は、ステップS1803に進む。
【0235】
ステップS1802では、判定装置5は、目盛を用いて食用油の表面の高さを特定する。
【0236】
ステップS1803では、判定装置5は、サーモグラフィデータを用いて食用油の表面の高さを特定する。すなわち、判定装置5は、第1計測結果、及び、第2計測結果の温度差に基づいて、食用油の表面の高さを推定する。
【0237】
このように、目盛が見えるか否かに基づき、食用油の表面の高さを特定する処理を切り替えると、判定装置5は、精度良く食用油の表面の高さを特定できる。
【0238】
以上のように、判定装置5は、画像から目盛を認識できる、又は、温度が急激に変化するラインがある場合等といった目盛が見えると判断できる場合には、目盛を用いて食用油の表面の高さを特定する(ステップS1802)。なお、目盛を用いて食用油の表面の高さを特定するのに、判定装置5は、サーモグラフィデータを用いてもよい。
【0239】
一方で、判定装置5は、目盛が見えにくいと判断できる場合には、サーモグラフィデータを用いて食用油の表面の高さを特定する(ステップS1803)。
【0240】
ただし、食用油の量は、複数の処理で特定されてもよい。例えば、判定装置5は、目盛が見える場合等であっても、サーモグラフィデータを用いて食用油の表面の高さを特定してもよい。そして、複数の処理を行う場合には、判定装置5は、複数の処理結果を平均等の統計処理をして、最終的に食用油の量を特定してもよい。
【0241】
(変形例)
パラメータの一部、又は、全部は、画像以外のデータ、又は、ユーザによる入力等で取得されてもよい。
【0242】
なお、判定等は、例えば、揚げ物について、賞味期限、揚げ物の重量、温度、湿度、大きさ、調理における揚げ物の配置、厚み、衣の率、又は、これらの組み合わせ等が考慮されてもよい。
【0243】
また、判定装置は、食用油の劣化度を推定してもよい。
【0244】
例えば、推測結果は、劣化度の傾向、又は、食用油の交換時期であるか否か、食用油の交換時期をした推測した結果等の形式でもよい。
【0245】
例えば、推測結果は、モニタに、「現在の劣化度は〇〇%です。」等のような形式で表示される。すなわち、モニタは、交換時期を劣化度が「100%」となる将来の時期に対し、現在の時期を百分率形式で示す。一方で、劣化度が交換時期に既に達している場合には、モニタには、例えば「揚げ油を交換して下さい。」等と判定結果が表示されてもよい。
【0246】
次に、揚げ物の種類、及び、種類別の個数が入力、又は、推定された場合には、モニタは、例えば「残りの揚げ個数は〇個です。」、「次回、調理が可能なのは、〇〇が〇個、又は、●●が●個です。」、又は、「今、差し油すると、あと〇日使用できます。」等を表示する。すなわち、モニタは、判定装置による判定結果に基づき、交換時期に達するまでに調理可能な内容を揚げ物の種類、及び、個数等の形式で表示してもよい。
【0247】
画像を解析して、「気泡の数」、「気泡の大きさ」、「特定の大きさの気泡が存在する領域の面積が全体面積に占める割合に相当する面積率」、「特定の気泡が生じてから消滅するまでの時間(消滅速度)」、又は、これらの組み合わせ等が算出されてもよい。
【0248】
また、これらの算出結果、画像、又は、これらを総合して、「酸価」、「色調」、「粘度上昇率」、「気泡の流れ度合い」、「調理対象物の画像内における輪郭の見えやすさ」、揚げ油の種類、揚げ物の種類、揚げ物の数量又は、これらの組み合わせ等が特定されてもよい。
【0249】
(その他の実施形態)
上記の例では、判定装置は、学習モデルに対する事前処理、及び、学習済みモデルを用いて実行処理の両方を行う。ただし、事前処理、及び、実行処理は、同じの情報処理装置が行わなくともよい。また、事前処理、及び、実行処理も、1つの情報処理装置で一貫して実行しなくともよい。すなわち、各処理、及び、データの記憶等は、複数の情報処理装置で構成する情報システム等で行ってもよい。
【0250】
なお、判定装置等は、実行処理の後、又は、実行処理の前に追加して学習を更に行ってもよい。
【0251】
実施形態は、上記の実施形態を組み合わせたものでもよい。
【0252】
実施形態では、ドロップアウト等といった過学習(「過剰適合」又は「過適合」等ともいう。)(overfitting)を軽減化させる処理が行われてもよい。ほかにも、次元削減、及び、正規化等の前処理が行われてもよい。
【0253】
学習モデル、及び、学習済みモデルは、CNNのネットワーク構造等があってもよい。他にも、例えば、ネットワーク構造は、RNN(再帰型ニューラルネットワーク、Recurrent Neural Network)又はLSTM(Long Short-Term Memory)等の構成を有してもよい。すなわち、AIは、ディープラーニング以外のネットワーク構造等であってもよい。
【0254】
また、学習モデル、及び、学習済みモデルは、ハイパーパラメータを有する構成であってもよい。すなわち、学習モデル、及び、学習済みモデルは、一部の設定をユーザが行う構成でもよい。さらに、AIは、学習対象とする特徴量を特定してもよいし、ユーザが学習対象とする一部又は全部の特徴量を設定してもよい。
【0255】
また、学習モデル、及び、学習済みモデルは、他の機械学習を利用してもよい。例えば、学習モデル、及び、学習済みモデルは、教師なしのモデルにより、正規化等を前処理で行ってもよい。さらに、学習は、強化学習等であってもよい。
【0256】
学習では、データの拡張等が行われてもよい。すなわち、学習モデルの学習に用いる学習データを増やすため、1つの実験データ等を拡張させて、複数の学習データにする前処理が行われてもよい。このようにして、学習データを増やせると、より学習モデルの学習を進めることができる。
【0257】
本発明は、上記に例示する判定方法、学習方法、又は、上記に示す処理と等価な処理を実行するプログラム(ファームウェア、及び、プログラムに準ずるものを含む。以下単に「プログラム」という。)で実現されてもよい。
【0258】
すなわち、本発明は、コンピュータに対して指令を行って所定の結果が得られるように、プログラミング言語等で記載されたプログラム等で実現されてもよい。なお、プログラムは、処理の一部をIntegrated Circuit(集積回路、IC)等のハードウェア又はGPU等の演算装置等で実行する構成であってもよい。
【0259】
プログラムは、コンピュータが有する演算装置、制御装置、及び、記憶装置等を協働させて上記に示す処理等をコンピュータに実行させる。すなわち、プログラムは、主記憶装置等にロードされて、演算装置に命令を発して演算を行わせてコンピュータを動作させる。
【0260】
また、プログラムは、コンピュータが読み込み可能な記録媒体、又は、ネットワーク等の電気通信回線を介して提供されてもよい。
【0261】
本発明は、複数の装置で構成されるシステムで実現されてもよい。すなわち、複数のコンピュータによる情報処理システムは、上記に示す処理を冗長、並列、分散、又は、これらの組み合わせとなるように実行してもよい。したがって、本発明は、上記に示すハードウェア構成以外の装置、及び、上記に示す装置以外のシステムで実現されてもよい。
【0262】
以上、本発明の実施形態について説明した。なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、本実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、本実施形態の構成に他の実施形態の構成を加えることも可能である。またさらに、本実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0263】
5 :判定装置
5F1 :撮像部
5F2 :第1入力部
5F3 :第1特定部
5F4 :第2特定部
5F5 :第2入力部
5F6 :出力部
5F7 :調整部
5F8 :調理環境入力部
5F9 :生成部
6 :学習装置
7 :判定システム
24 :目盛
41 :モニタ
42 :ビデオカメラ
51 :調整器
200 :情報システム
300 :ネットワーク
A1 :学習モデル
A2 :学習済みモデル
D11 :学習データ
D111 :油量
D112 :第1情報
D113 :調理温度
D12 :入力データ
D121 :未知油量
D122 :未知第1情報
D13 :推定結果
D22 :テーブル
IMG :画像
L1 :入力層
L2 :中間層
L3 :出力層
W :廃油
X :揚げ物
Y :揚げ油
Z :回収業者
【要約】
食用油の状態に基づき、調理環境を事前に判定し、美味しい揚げ物を提供するのに調理環境を整えるための情報取得を効率的に行う。
食用油の調理環境を判定する判定装置は、食用油を撮像した画像を取得する撮像部と、前記食用油へ投入して調理する揚げ物の情報である第1情報を入力する第1入力部と、前記画像を解析して、前記食用油の状態を特定する第1特定部と、前記第1情報と、前記状態とに基づき、前記揚げ物が調理される調理環境を特定する第2特定部とを備える。