特許 7077506 食材識別に基づく食品の調理方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-23

(45)【発行日】2022-05-31

(54)【発明の名称】食材識別に基づく食品の調理方法及びシステム

(51)【国際特許分類】

   F24C 7/04 20210101AFI20220524BHJP

   G06T 7/00 20170101ALI20220524BHJP

【ＦＩ】

F24C7/04 301A

G06T7/00 300F

F24C7/04 301Z

【請求項の数】 15

(21)【出願番号】P 2020535973

(86)(22)【出願日】2018-11-20

(65)【公表番号】

(43)【公表日】2021-03-11

(86)【国際出願番号】 CN2018116511

(87)【国際公開番号】W WO2019128543

(87)【国際公開日】2019-07-04

【審査請求日】2020-06-26

(31)【優先権主張番号】62/612,426

(32)【優先日】2017-12-30

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】512237419

【氏名又は名称】美的集団股▲フン▼有限公司

【氏名又は名称原語表記】ＭＩＤＥＡ ＧＲＯＵＰ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｂ２６－２８Ｆ， Ｍｉｄｅａ Ｈｅａｄｑｕａｒｔｅｒ Ｂｕｉｌｄｉｎｇ， Ｎｏ．６ Ｍｉｄｅａ Ａｖｅｎｕｅ， Ｂｅｉｊｉａｏ， Ｓｈｕｎｄｅ， Ｆｏｓｈａｎ， Ｇｕａｎｇｄｏｎｇ ５２８３１１ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100205785

【弁理士】

【氏名又は名称】▲高▼橋 史生

(74)【代理人】

【識別番号】100203297

【弁理士】

【氏名又は名称】橋口 明子

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100135301

【弁理士】

【氏名又は名称】梶井 良訓

(72)【発明者】

【氏名】リアン・ディアオ

(72)【発明者】

【氏名】ハイソン・グ

【審査官】杉浦 貴之

(56)【参考文献】

【文献】特表２０１６－５０２０６１（ＪＰ，Ａ）

【文献】国際公開第２０１７／０３３４０６（ＷＯ，Ａ１）

【文献】特開２００４－２０７８４３（ＪＰ，Ａ）

【文献】特開２０１５－１５８３５１（ＪＰ，Ａ）

【文献】特開２０１５－０６８５４２（ＪＰ，Ａ）

【文献】特開２０１１－０３３３１２（ＪＰ，Ａ）

【文献】特開２０１０－０９６６２６（ＪＰ，Ａ）

【文献】特開２０１５－０２６１２２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｆ２４Ｃ ７／０４

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

食品調理システムであって、
食品を載置するように構成される食品載置台と、
前記食品載置台に向かう視野を有するカメラと、
前記食品載置台に載置される食品を加熱するように構成される１つ又は複数の加熱ユニットと、
前記カメラ及び前記１つ又は複数の加熱ユニットを制御するように構成される食品調理制御ユニットと、を備え、
前記食品調理制御ユニットが１つ又は複数のプロセッサ及び命令を記憶するメモリを含み、前記命令は、前記１つ又は複数のプロセッサにより実行される場合、前記プロセッサに操作を実行させ、
前記操作は、
前記食品載置台に第１食品を載置している間、前記カメラでの画像採集をトリガし、前記食品載置台の１つ又は複数の画像を取得することと、
前記食品載置台の前記１つ又は複数の画像に基づいて、前記第１食品に対して食材識別を実行することと、
実行された食材識別に基づいて、前記１つ又は複数の加熱ユニットを調整して前記第１食品を加熱することと、を含み、
前記食品載置台の前記１つ又は複数の画像に基づいて、前記第１食品に対して食材識別を実行することは、
分類器において、前記１つ又は複数の画像内の対応する画像の特徴テンソルに対して分類を行い、前記第１食品に対応する１つ又は複数の食材カテゴリを識別することと、を含み、
前記操作は、
前記第１食品の第１食品レシピを識別することであって、前記第１食品レシピに、前記第１食品に対応する１つ又は複数の前記食材カテゴリが含まれることと、
前記第１食品レシピに基づいて、前記第１食品の付加食材を決定することであって、前記付加食材が、前記第１食品に対応する１つ又は複数の前記食材カテゴリに含まれていないことと、を更に含む、食品調理システム。

【請求項2】

前記操作は、
前記カメラの視野内の内容を監視することと、
前記監視の過程において前記カメラの視野の変化を検知することと、を含み、
前記カメラでの画像採集をトリガし、前記食品載置台の前記１つ又は複数の画像を取得することは、検知された前記カメラの視野の変化に応じて、所定期間内で一連の画像を採集することを含むことを特徴とする、
請求項１に記載の食品調理システム。

【請求項3】

前記操作は、
前記食品載置台の前記１つ又は複数の画像に基づいて、前記第１食品に対して食材識別を実行する前に、前記第１食品を前記食品載置台に載置する前に採集された基層画像を利用して、前記食品載置台の前記１つ又は複数の画像内の各対応する画像に対してフィルタリングすることを含むことを特徴とする、
請求項２に記載の食品調理システム。

【請求項4】

前記分類器において前記１つ又は複数の画像内の対応する画像の特徴テンソルに対して分類を行い、前記第１食品に対応する１つ又は複数の食材カテゴリを識別することは、
各々の食品量に基づいて前記１つ又は複数の食材カテゴリを順序付けることであって、前記各々の食品量は、前記第１食品から識別された前記１つ又は複数の食材カテゴリのうちの各食材カテゴリに対応すること、
を含むことを特徴とする、
請求項１に記載の食品調理システム。

【請求項5】

前記操作は、
前記食材カテゴリと、前記第１食品レシピに基づいて識別された前記付加食材とに基づいて、前記第１食品の栄養情報を決定することを更に含むことを特徴とする、
請求項１に記載の食品調理システム。

【請求項6】

食品調理制御方法であって、
食品調理システムで操作を実行することを含み、前記食品調理システムは、食品を載置するように構成される食品載置台と、前記食品載置台に向かう視野を有するカメラと、前記食品載置台に載置される食品を加熱するように構成される１つ又は複数の加熱ユニットと、前記カメラ及び前記１つ又は複数の加熱ユニットを制御するように構成される食品調理制御ユニットとを備え、前記食品調理制御ユニットが、メモリ及び１つ又は複数のプロセッサを含む、前記操作は、
前記食品載置台に第１食品を載置している間、前記カメラでの画像採集をトリガし、前記食品載置台の１つ又は複数の画像を取得することと、
前記食品載置台の前記１つ又は複数の画像に基づいて、前記第１食品に対して食材識別を実行することと、
実行された食材識別に基づいて、前記１つ又は複数の加熱ユニットを調整して前記第１食品を加熱することと、を含み、
前記食品載置台の前記１つ又は複数の画像に基づいて、前記第１食品に対して食材識別を実行することは、
分類器において、前記１つ又は複数の画像内の対応する画像の特徴テンソルに対して分類を行い、前記第１食品に対応する１つ又は複数の食材カテゴリを識別すること、を含み、
前記方法は、
前記第１食品の第１食品レシピを識別することであって、前記第１食品レシピに、前記第１食品に対応する１つ又は複数の前記食材カテゴリが含まれることと、
前記第１食品レシピに基づいて、前記第１食品の付加食材を決定することであって、前記付加食材が、前記第１食品に対応する１つ又は複数の前記食材カテゴリに含まれていないことと、を更に含む、方法。

【請求項7】

前記方法は、
前記カメラの視野内の内容を監視することと、
前記監視の過程において前記カメラの視野の変化を検知することと、を含み、
前記カメラでの画像採集をトリガし、前記食品載置台の１つ又は複数の画像を取得することは、検知された前記カメラの視野の変化に応じて、所定期間内で一連の画像を採集することを含むことを特徴とする、
請求項６に記載の方法。

【請求項8】

前記方法は、
前記食品載置台の前記１つ又は複数の画像に基づいて、前記第１食品に対して食材識別を実行する前に、前記第１食品を前記食品載置台に載置する前に採集された基層画像を利用して、前記食品載置台の前記１つ又は複数の画像内の各対応する画像に対してフィルタリングすることを含むことを特徴とする、
請求項７に記載の方法。

【請求項9】

前記分類器において前記１つ又は複数の画像内の対応する画像の特徴テンソルに対して分類を行い、前記第１食品に対応する１つ又は複数の食材カテゴリを識別することは、
各々の食品量に基づいて前記１つ又は複数の食材カテゴリを順序付けることであって、前記各々の食品量は、前記第１食品から識別された前記１つ又は複数の食材カテゴリのうちの各食材カテゴリに対応すること、
を含むことを特徴とする、
請求項６に記載の方法。

【請求項10】

前記方法は、
前記食材カテゴリと、前記第１食品レシピに基づいて識別された前記付加食材とに基づいて、前記第１食品の栄養情報を決定することを含むことを特徴とする、
請求項６に記載の方法。

【請求項11】

非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ可読記憶媒体には命令が記憶されており、前記命令は、食品調理システムにおける１つ又は複数のプロセッサにより実行される場合、前記プロセッサに操作を実行させ、
前記食品調理システムは、
食品を載置するように構成される食品載置台と、
前記食品載置台に向かう視野を有するカメラと、
前記食品載置台に載置される食品を加熱するように構成される１つ又は複数の加熱ユニットと、
前記カメラ及び前記１つ又は複数の加熱ユニットを制御するように構成される食品調理制御ユニットと、を備え、
前記食品調理制御ユニットが、メモリ及び１つ又は複数のプロセッサを含み、
前記操作は、
前記食品載置台に第１食品を載置している間、前記カメラでの画像採集をトリガし、前記食品載置台の１つ又は複数の画像を取得することと、
前記食品載置台の前記１つ又は複数の画像に基づいて、前記第１食品に対して食材識別を実行することと、
実行された食材識別に基づいて、前記１つ又は複数の加熱ユニットを調整して前記第１食品を加熱することと、を含み、
前記食品載置台の前記１つ又は複数の画像に基づいて、前記第１食品に対して食材識別を実行することは、
分類器において、前記１つ又は複数の画像内の対応する画像の特徴テンソルに対して分類を行い、前記第１食品に対応する１つ又は複数の食材カテゴリを識別すること、を含み、
前記操作は、
前記第１食品の第１食品レシピを識別することであって、前記第１食品レシピに、前記第１食品に対応する１つ又は複数の前記食材カテゴリが含まれることと、
前記第１食品レシピに基づいて、前記第１食品の付加食材を決定することであって、前記付加食材が、前記第１食品に対応する１つ又は複数の前記食材カテゴリに含まれていないことと、を更に含む、前記コンピュータ可読記憶媒体。

【請求項12】

前記操作は、
前記カメラの視野内の内容を監視することと、
前記監視の過程において前記カメラの視野の変化を検知することと、を含み、
カメラでの画像採集をトリガし、前記食品載置台の１つ又は複数の画像を取得することは、検知された前記カメラの視野の変化に応じて、所定期間内で一連の画像を採集することを含むことを特徴とする、
請求項１１に記載のコンピュータ可読記憶媒体。

【請求項13】

前記操作は、
前記食品載置台の前記１つ又は複数の画像に基づいて、前記第１食品に対して食材識別を実行する前に、前記第１食品を前記食品載置台に載置する前に採集された基層画像を利用して、前記食品載置台の前記１つ又は複数の画像内の各対応する画像に対してフィルタリングすることを含むことを特徴とする、
請求項１２に記載のコンピュータ可読記憶媒体。

【請求項14】

前記分類器において前記１つ又は複数の画像内の対応する画像の特徴テンソルに対して分類を行い、前記第１食品に対応する１つ又は複数の食材カテゴリを識別することは、
各々の食品量に基づいて前記１つ又は複数の食材カテゴリを順序付けることであって、前記各々の食品量は、前記第１食品から識別された前記１つ又は複数の食材カテゴリのうちの各食材カテゴリに対応すること
、を含むことを特徴とする、
請求項１１に記載のコンピュータ可読記憶媒体。

【請求項15】

前記操作は、
前記食材カテゴリと、前記第１食品レシピに基づいて識別された前記付加食材とに基づいて、前記第１食品の栄養情報を決定することを更に含むことを特徴とする、
請求項１１に記載のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１７年１２月３０日に提出された、米国特許出願番号が第６２／６１２，４２６である優先権を主張し、その全ての内容は引用によって本出願に援用される。

【0002】

本出願は、家電分野に関し、特に食材識別に基づく食品の調理方法及びシステムに関する。

【背景技術】

【0003】

電子レンジ、コンロ、トースターオーブン、炊飯器、オーブン及び蒸し器等のような従来の電気食品調理システムは、いずれも調理温度及び調理時間を手動で入力する必要がある。これらの従来のシステムは、食品の安全性を損なうことなく、料理の各食材を正しい完成度に加熱、調理するためのかなりの知識及び経験をユーザに求めている。幾つかの新しい電気食品調理システムにおいて、ユーザがプリセット食品オプションを選択し、ユーザの選択に基づいて調理時間及びパワーを調整することができる。しかしながら、ユーザの調理しようとする様々な食品にとって、このようなプリセット選択メニューは、制限が多く、又はおおざっぱで特定するのが困難である。

【0004】

人々の健康及び生活スタイルの改善への関心がますます高まっているにつれて、食べられる食品の品質及び栄養価は、人々にとってますます重要になっている。スマート機器の幾つかのアプリケーションは、食材及び栄養情報に関するデータベースを提供している。しかしながら、このようなアプリケーションにおいて、ユーザは、対応する栄養価を提供するために、通常、食材の名称及び各食材の数の入力が求められている。前記プロセスが複雑であり、且つ効率が低く、このようなアプリケーションの実用性は酷く制限されている。

【0005】

一部の研究者は、人工知能及びディープラーニング技術で、料理画像に基づいて食材を自動的に識別することを提案している。しかしながら、料理によって食材の形が大きく異なっており、しかも画像採集の採集条件も異なるため、識別効果が非常に低い。なお、食品の食材が数百から数千であり、１つの料理には、数十種の食材が含まれることがあるため、自動識別モデルが膨大であり、演算量が大きく、純粋な学術研究以外の環境で配置することが困難である。また、モデルに新たな食材を加えるたびに、パラメータの数を変更してモデルに対する訓練を改めて実施する必要があるため、これらのシステムの拡張は非常に困難である。

【0006】

これらの理由の故に、適度なリソースで一貫した食材識別を実現させ、拡張可能な、食品調理制御の調整及び／又は栄養推奨の提供を実現させることができる好適な食品調理システムが必要である。

【発明の概要】

【発明が解決しようとする課題】

【0007】

背景技術において記載されているように、従来の食品調理システムは、食品の自動識別に基づいて食品調理を自動的に制御する点で、能力が限られており、食材識別が不正であり、大量の演算リソースを必要としており、且つ拡張が困難である。本明細書で開示されている方法及びシステムは、複数の形態で従来の方法及びシステムにおける欠点を解消する。

【0008】

例えば、食品が食品調理システムに載置される時に、現場での撮影は、食材識別するための撮影である。食品調理システムの基層画像は、背景を効果的に除去し、食品に関する画像情報のみを残すのに寄与する。また、食品を載置されている食品調理システムの既知の寸法が指定されると、画像内の食材の寸法及び比例も既知になる。画像の取得が様々な条件で実施されているため、画像処理が難しくなり、識別結果の誤りが発生しやすいという従来技術における課題は、現場画像の取得によって、解消される。他の現場画像取得技術も、画像の一貫性及び画像の忠実度を更に向上させるためにも用いられる。

【0009】

また、食材識別のための画像処理は、概括分類段階及び詳細分類段階という２つの段階で行われる。概括分類段階では、料理の食材を肉類、野菜、穀物などのような概略カテゴリに分類する。それに対して、詳細分類段階では、カテゴリの識別後の食材を、さらに肉類に属する魚、鶏肉、牛肉などのようなより具体的な食材タグに分類する。食材の概略カテゴリは、食品調理システムの特定使用の設定に基づいて決定される。例えば、調理モードで電子レンジ使用する時、肉、野菜、穀物等のような未加工食材カテゴリを使用する。再加熱モードで電子レンジを使用する場合、炒めもの、焼き野菜、焼き肉、ピザ、スープなどのような調理方式カテゴリを使用する。概略カテゴリをまず選択することによって、分類プロセスがより集中しているため、演算モデルの大きさを低減させ、演算量を低下させ識別の正確度を向上させることができる。また、食材を加える時、影響される概略カテゴリの詳細分類モデルしか更新する必要がないため、識別システムは、より高い拡張性を有する。幾つかの実施例において、画像処理により上位レベルのｎ個（例えば３個）の食材のみを識別し、それによって演算の複雑さ、処理にかかる時間及びメモリ使用量を更に低減させる。

【課題を解決するための手段】

【0010】

本明細書で開示されているように、食品調理システムは、食品を載置するように構成される食品載置台と、食品載置台に向かう視野を有するカメラと、食品載置台に載置される食品を加熱するように構成される１つ又は複数の加熱ユニットと、カメラ及び１つ又は複数の加熱ユニットを制御するように構成される食品調理制御ユニットとを備え、食品調理制御ユニットが、命令を記憶するメモリ及び１つ又は複数のプロセッサを含み、前記命令は、１つ又は複数のプロセッサにより実行される場合、プロセッサに操作を実行させ、前記操作は、食品載置台に第１食品を載置している間、カメラでの画像採集をトリガし、食品載置台の１つ又は複数の画像を取得することと、食品載置台の１つ又は複数の画像に基づいて、第１食品に対して食材識別を実行することと、実行された食材識別に基づいて、１つ又は複数の加熱ユニットを調整して第１食品を加熱することとを含み、食品載置台の１つ又は複数の画像に基づいて、第１食品に対して食材識別を実行することは、概括分類器において、１つ又は複数の画像内の対応する画像の特徴テンソルに対して分類を行い、第１食品に対応する１つ又は複数の第１レベル食材カテゴリを識別することと、１つ又は複数の第１レベル食材カテゴリのうちの各第１レベル食材カテゴリに対応する各々の詳細分類器において、対応する画像の特徴テンソルに対して分類を行い、第１食品に対応する第２レベル食材カテゴリを識別することであって、前記第２レベル食材カテゴリが前記各第１レベル食材カテゴリのサブカテゴリであることと、を含む。

【0011】

本明細書に開示されているように、幾つかの実施例において、食品調理制御方法は、食品調理システムで操作を実行することを含み、前記食品調理システムは、食品を載置するように構成される食品載置台と、食品載置台に向かう視野を有するカメラと、食品載置台に載置される食品を加熱するように構成される１つ又は複数の加熱ユニットと、カメラ及び１つ又は複数の加熱ユニットを制御するように構成される食品調理制御ユニットとを備え、前記食品調理制御ユニットが１つ又は複数のプロセッサ及び命令を記憶するメモリを含み、前記操作は、食品載置台に第１食品を載置している間、カメラでの画像採集をトリガし、食品載置台の１つ又は複数の画像を取得することと、食品載置台の１つ又は複数の画像に基づいて、第１食品に対して食材識別を実行することと、実行された食材識別に基づいて、１つ又は複数の加熱ユニットを調整して第１食品を加熱することとを含み、食品載置台の１つ又は複数の画像に基づいて、第１食品に対して食材識別を実行することは、概括分類器において、１つ又は複数の画像内の対応する画像の特徴テンソルに対して分類を行い、第１食品に対応する１つ又は複数の第１レベル食材カテゴリを識別することと、１つ又は複数の第１レベル食材カテゴリのうちの各第１レベル食材カテゴリに対応する各々の詳細分類器において、対応する画像の特徴テンソルに対して分類を行い、第１食品に対応する第２レベル食材カテゴリを識別することであって、前記第２レベル食材カテゴリが前記各第１レベル食材カテゴリのサブカテゴリであることと、を含む。

【0012】

幾つかの実施例において、システムは、本明細書に記載されているいずれか１つの方法を実行するプロセッサと、メモリとを備える。幾つかの実施例によれば、電子機器は、１つ又は複数のプロセッサと、１つ又は複数のプログラムを記憶するメモリとを備え、１つ又は複数のプログラムは、１つ又は複数のプロセッサにより実行されるように構成され、１つ又は複数のプログラムは、本明細書に記載されているいずれか１つの方法の操作を実行するための命令を含む。幾つかの実施例によれば、非一時的コンピュータ可読記憶媒体には命令が記憶されており、これらの命令は、電子機器により実行される時、前記機器に、本明細書に記載されているいずれか１つの方法の操作を実行させる。幾つかの実施例によれば、電子機器は、画像を採集するための装置と、食品を加熱するための装置と、本明細書に記載されているいずれか１つの方法の操作を実行するための装置とを備える。

【図面の簡単な説明】

【0013】

下記の説明によれば、本出願の各利点は明らかである。

【図1】幾つかの実施例ににおける食品調理システムを示すブロック図である。

【図2】幾つかの実施例ににおける例示的な複数の食品調理システムを示す図である。

【図3】幾つかの実施例ににおける食品調理システムによる画像取得及び画像前処理を示す図である。

【図4A】幾つかの実施例における食材識別を示すブロック図である。

【図4B】幾つかの実施例における食材識別を示すブロック図である。

【図4C】幾つかの実施例における食材識別を示すブロック図である。

【図5】幾つかの実施例ににおける食材識別を用いた食品の調理方法を示すフローチャートである。

【図6】幾つかの実施例ににおける食品調理システムを示すブロック図である。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら、好適な実施例に関する詳細な説明により、開示される技術の上述した特徴及び利点並びにそのさらなる特徴及び利点をより明確に理解する。

【0015】

本開示技術の実施例又は従来技術における考案をより明確に説明するために、上記において、実施例又は従来技術の説明に必要な図面を簡単に説明している。勿論、上記に記載されている図面は、本開示技術の一部の実施例のみを示し、且つ当業者は創造的な労力を払うことなく、これらの図面から他の図面を得ることができる。

【0016】

図面のうちのいくつかの図にわたって、類似の参照符号を使用して、対応する部分を示している。

【0017】

ここで詳細な実施例を参照し、その例が図面に示される。以下の詳細説明で、本考案を理解させるために、具体的な細部を記載する。これらの具体的な細部が記載されなくても本考案を実施することが可能であることが、当業者には自明であろう。その他の場合は、実施例に関する不明瞭を余計に招くことを避けるために、公知の方法、プロセス、アセンブリ及び回路を詳しく記載していない。

【0018】

以下、図面を参照して本出願の実施例における考案を明確、完全に説明する。説明される実施例が、本出願の実施例の一部に過ぎず、全ての実施例ではないことが自明である。本出願の実施例に基づき、当業者が創造的な労力を払わない前提で得られる他の実施例は全て本出願の保護範囲に含まれる。

【0019】

図１は、幾つかの実施例ににおける食品調理システム１０２を示すブロック図である。食品調理システムは、食品を加熱するためのシステムを備える。前記食品を加熱することは、未加工の食品を調理すること、又は、以前に調理した食品を再加熱することを含む。食品調理システムの例として、電子レンジ、ストーブ、トースターオーブン、対流式オーブン、電熱調理器、グリル皿などを含む。食品調理システム１０２は、様々な方式で食品を加熱する加熱システムを備える。様々な方式は、例えば、伝導式、対流式、放射式などを含む。食品調理システムに取り付けられている、加熱装置に結合される様々な制御装置（例えば、ノブ、ボタン又はアプリケーション）により、食品に放散する熱又は電力、食品への熱の放散速度、食品に放散する熱の分布及び／又は熱放散の持続時間を制御することができる。幾つかの実施例において、制御装置は、ユーザにより手動で調整されてもよい。

【0020】

図１に示すように、幾つかの実施例において、食品調理システムは、現場画像（ｉｎ ｓｉｔｕ Ｉｍａｇ）取得システム１０４を備える。現場画像取得システムは、１つ又は複数の静止画像カメラ又はビデオカメラを含み、前記１つ又は複数の静止画像カメラ又はビデオカメラが食品調理システムの内部又はその付近に取り付けられるため、カメラの視野は、食品を収容して調理する仕切り室の内部をカバーすることができる。例えば、カメラをスマートオーブンの内部の頂壁に選択的に取り付けることができ、前記カメラは、オーブンラックの頂部を観察することができる視野を有する。任意選択的に、別のカメラをオーブンの内部の頂部の側縁に取り付け、前記カメラは、オーブンラックの上方の側面からオーブンラックを観察することができる視野を有する。幾つかの実施例において、カメラを、調理される食品を収容するための仕切り室の外部に取り付け、透明な窓（例えば、断熱窓）を通して食品の位置を指す。幾つかの実施例において、カメラを仕切り室の外部又は食品載置台の上方に載置する。現場画像取得システムは、データ記憶システムを含み、前記データ記憶システムは、食品調理仕切り室の寸法、食品調理仕切り室内の基準マークの寸法、カメラと食品調理仕切り室内の様々な基準マークとの距離を記憶し、カメラで撮影された画像によって画像中の食品の大きさ及び形状を正確に決定することができる。従って、前記現場画像取得システム１０４によって、ユーザが画像内に基準マークを配置すること、又は画像を使用するのに特別な注意事項を要することがあっても、画像内のアイテムの寸法、位置及び方向情報に役に立たないという従来の画像取得システムにおける課題を解消する。

【0021】

幾つかの実施例において、現場画像取得システム１０４は、画像採集トリガシステムを含む。例えば、幾つかの実施例において、画像採集トリガシステムは、カメラの視野内で変化を検知すると、画像採集をトリガする。例えば、オーブンの扉が開けられた時、オーブン内の照明条件が変化し、オーブンの扉の開放に応じて画像採集をトリガする。幾つかの実施例において、食品がカメラの視野に現れると、画像採集をトリガする。幾つかの実施例において、食品が完全に入れられてオーブンの扉が閉じられた時、画像採集をトリガする。例えば、画像採集システムは、オーブンの扉の開放を検知したことに応じて操作を起動し、且つ実際に、オーブンの扉の閉鎖を検知したことに応じて画像採集をトリガする。幾つかの実施例において、一連の画像を採集することで、最終載置位置までの経路の各所定の位置における食品の画像を採集する。食品の寸法及び視角の異なる画像を利用して、画像解析の正確性の向上に役立つことができる。例えば、オーブンの扉が開けられて食品の一部が入れられる時、第１画像を採集する。従って、前記画像は、食品の一部のみを含む。食品がオーブンに更に入れられるにつれて、他の画像が採集され、食品がオーブンラックに載置されてオーブンの扉が閉じられて最終画像を撮影されるまで、これらの画像に含まれる食品の部分が徐々大きくなってくる。幾つかの実施例において、画像採集トリガシステムは更に、オーブンの扉が開けられる前に、オーブンラックの画像をオーブン内部の基層画像として採集して記憶するようにカメラに指示する。幾つかの実施例において、ユーザによる入力に応じて、例えば、ユーザが食品を食品調理仕切り室内に入れた後、画像採集を手動でトリガする。手動トリガの実現がより容易であり、操作が複雑ではなく、食材識別のために、ユーザが、食品の特性を最も反映できる画像を意図的に採集することが可能である。

【0022】

幾つかの実施例において、食品調理システム１０２は、画像処理システム１０６を備える。画像処理システム１０６は、現場画像取得システムにより採集された画像を取得し、食品が入れられる前に採集された基層画像に基づいて前処理を行い、画像から背景を消す。基層画像により、食品調理システムの食品調理仕切り室における食品載置台の正確な状態を取得することができ、食品を含む画像に優れたフィルターを提供する。

【0023】

幾つかの実施例において、任意選択的に、現場画像取得システムは、複数のランプの制御をしており、前記複数のランプは、食品載置台の周囲の異なる位置（例えば、調理器の底部、オーブンラックの頂部、電子レンジ内部の板等）に位置する。また、様々なランプをオン／オフして様々な照射条件で画像を採集して、画像内の食品の形状及び質感を強化することができる。例えば、マフィンの形状は、ピザの形状と異なり、ミートソースの質感は、マッシュポテトの質感と異なる。画像内の付加情報は、食品及びその食材の区分に更に役立つ。

【0024】

幾つかの実施例において、食品調理システムは、食材識別システム１０８を備える。背景を除去した後、食材識別システム１０８は、食品の画像を処理して食品特徴テンソルを生成する。食材識別システムの要件に基づいて特徴テンソルを選択的に生成する。規則に基づく食材識別システムにおいて、特徴テンソルは、規則に基づく食材識別システムの様々なパラメータの値を含む。パラメータは、任意選択的に、色内容、彩度、画像特徴のサイズ、画像特徴の形状、食品の全体的な形状などを含む。幾つかの実施例において、食材識別システムは、大量のラベル付き画像又はラベル付いていない画像により学習された機械学習モデルを利用して、入力画像から取得された食品の食材を識別する。このようなシステムは、機械学習モデルの要件に基づいて特徴テンソルを用意する。画像を機械学習モデルに入力することで特徴抽出を行い、機械学習モデルにより分類を行う。幾つかの実施例において、機械学習モデルは、ディープニューラルネットワークモデルである。前記ディープニューラルネットワークモデルは、大量の隠れ層により画像を処理する。幾つかの実施例において、複合ハイブリッドシステムを利用して食材識別を行う。

【0025】

幾つかの実施例において、食品調理システム１０２は、食材データ統合システム１１０を備える。食材データ統合システム１１０は、識別される食材の栄養データを検索し、画像から採集した食品に対して栄養評価を生成する。幾つかの実施例において、食材データ統合システム１１０は、識別された食材に関するレシピを検索し、任意選択的に、レシピの要求に応じて調理命令をユーザに提供するか、又は調理時間及び加熱電力を自動的に調整する。幾つかの実施例において、食材データ統合システム１１０は、識別された食材に関する複数のレシピを検索し、異なるレシピの栄養情報を比較することによって、ユーザに推奨情報を提供する。

【0026】

幾つかの実施例において、食材識別システム１０８は、画像から採集した食品内の最初のｎ個の主食材のみを識別し、また、食材データ統合システム１１０は、識別された主食材に関するレシピを検索し、レシピ内の付加食材を食品の他の食材として識別する。幾つかの実施例において、レシピの付加食材を使用して食材識別システムの結果を検証する。例えば、食材識別システムは、食品のあり得る食材として、食材の４種の概略カテゴリを得るとした場合、最初の３種の食材のみを更なる処理を実施し、食品に含まれる前記最初の３つの食材カテゴリで食材の具体的なサブカテゴリを識別する。４番目のカテゴリが残され、他の３つのカテゴリに匹敵する具体的なレベルまで特定されていない。レシピの情報に基づいて、レシピ内の付加食材が、第４カテゴリからの食材を含むとした場合、食材識別モデルを使用せずに第４カテゴリを更に特定することができ、そのため、データ処理時間を節約し、識別の正確度を向上させる。幾つかの実施例において、更にレシピに基づいて各種の食材の数量情報を決定する。例えば、画像から識別した主食材の数をベースとして、画像から直接識別できない他の食材（例えば、油、クリーム、香料、粉末、破砕形態又は識別不可形態の食材など）を決定し、画像解析により識別された食材及び検索したレシピで識別された付加食材に基づいて、全体的な栄養情報を提供する。

【0027】

幾つかの実施例において、食品調理システム１０２は、制御調整／推奨システム１１２を備える。制御調整／推奨システム１１２は、識別された食材及び／又は検索されたレシピに対する調理命令を検索し、食品を調理又は再加熱するための最適な温度及び加熱電力を決定する。幾つかの実施例において、食品調理システム１０２は、食品調理システム１０２の加熱パラメータを自動的に調整する。幾つかの実施例において、食品調理システム１０２は、ユーザに調理制御調整アドバイスを提供し、ユーザに食品調理システム１０２における物理的ノブ及びボタンで調理パラメータを手動で調整させる。幾つかの実施例において、制御調整／推奨システム１１２は、任意選択的に、ユーザの栄養及び風味の嗜好に基づいて、あるレシピと別のレシピに基づいて食品を如何に調理するかに関するアドバイスを提供する。

【0028】

幾つかの実施例において、食品調理システムは、食品の調理又は再加熱中において、食品の画像を継続的に採集し、食材の完成度及び外観を分級処理し、食品の現在の外観に基づいて、調理温度及び調理時間を自動的に調整する。幾つかの実施例において、食品の画像が、食品が適切な完成度まで調理され、調理仕切り室から移り出しても良いことを示す場合、制御調整／推奨システム１１２は、アラートを生成する。

【0029】

幾つかの実施例において、食品調理システム１０２は、ユーザの入力／出力（Ｉ／Ｏ）インタフェース１１４を備える。前記ユーザへのＩ／Ｏインタフェース１１４は任意選択的に、ディスプレイ、スピーカー、キーボード、タッチパネル、音声入力出力インタフェースなどを含む。ユーザへのＩ／Ｏインタフェース１１４によって、ユーザに推奨、アラート及び栄養情報を提供し、ユーザからの制御命令を受け取る。

【0030】

幾つかの実施例において、食品調理システム１０２は、外部サービスへのＩ／Ｏインタフェース１１８を備える。外部サービスは、レシピ、食材識別モデルに用いられるデータベースサービス、及びサーバーで食材識別を行うためのトレーニングコーパスなどを含む。

【0031】

幾つかの実施例において、食品調理システム１０２は、食品調理コントローラを含む。前記食品調理コントローラは、加熱ユニットの電力出力、調理方法、調理温度、熱分布、調理時間などを調整する。食品調理コントローラ１１８は、手動調整及び制御調整／推奨システム１１２からの制御に応答するボタン、ノブ、タッチパネルなどを含む。

【0032】

幾つかの実施例において、食品調理システム１２０は食品調理構造を備え、例えば、底部に加熱コイルを有する調理容器、誘導調理表面、食品載置表面（例えばオーブンラック）を有する調理ボックスが挙げられる。幾つかの実施例において、食品調理構造１２０には、食品を回動又は回転させて、食品の周囲で、熱又は加熱ユニットを再配分するための、撹拌機、回転撹拌機、ファンなどのような回転撹拌機構も含まれる。

【0033】

幾つかの実施例において、食品調理システム１０２は、前に採集された食品画像又は他の類似の食品調理システムからの画像の画像データベース１２２を更に備える。幾つかの実施例において、食品調理システム１０２は、食材データベースを備える。前記食材データベースは、カテゴリ、サブカテゴリ、特徴、栄養データ、調理方法、各種の食材の画像及び完成した料理を含む。幾つかの実施例において、食品調理システム１０２は、食材で検索することが可能であるレシピデータベースを更に備え、且つ、異なるレシピに関する様々な食材の数量情報を含む。幾つかの実施例において、食品調理システム１０２は栄養データベースを更に備える。前記栄養データベースは、異なるレシピ及び食材の栄養情報、及び異なるレシピ及び食材とユーザとの相関性（例えば、アレルギー、医薬用途など）を含む。食品調理システム１０２の他の構成要素は、食品調理システム１０２の実際の使用及びユーザからのフィードバックに基づいて、データベースから情報を検索し、更に付加情報においてデータベースを更新する。

【0034】

上記例は単に例示を目的として提供される。以下、他の図面及び説明図に対して各構成要素の機能に関する更なる詳細を説明する。本明細書で説明される１つ又は複数の構成要素は他の構成要素から独立して用いられ得る。例えば、幾つかの実施例において、食材識別システム及び食材データ統合システムは、現場画像取得システム及び画像処理システムとは別個に実現し、前に別の食品調理システムから採集した画像に基づいて食材識別を行うために用いられてもよい。

【0035】

図２は、幾つかの実施例ににおける例示的な複数の食品調理システムを示す。

【0036】

図２に示すように、トースターオーブン２０２、電子レンジ２０４、ロティセリー式オーブン２０６及び電気コンロ２０８の各々は、対応するカメラ（例えば、カメラ２１０、２１２、２３０及び２３２）を含む。前記カメラは、考案した食品調理システムの食品載置表面（例えば、トースターオーブン２０２におけるオーブンラック、電子レンジ２０４におけるマイクロ波回転パネル、ロティセリー式オーブン２０６における回転ロッド、電気コンロ２０８における調理表面）に向かう。カメラが食品調理システム（例えば、トースターオーブン２０２、電子レンジ２０４、ロティセリー式オーブン２０６）の調理仕切り室の内部、又は（例えば、電気コンロ２０８のコンロ表面２３４における）食品載置表面の直上に位置する。ディスプレイ（例えば、ディスプレイ２１８及び２２４）を出力インタフェースとして含むことができ、食品調理システム内部で調理又は加熱する食品に関する情報及び推奨をユーザに提供する。コントローラ２２０、２２２、２２６、２２８及び２３６を利用して食品調理システムの調理パラメータを調整する。

【0037】

図３は、幾つかの実施例ににおける食品調理システムにおける画像取得及び画像前処理を示す。図３（ａ）に示すように、オーブンの食品載置表面の基層画像３０２は、食品をオーブンに入れる前にオーブンの扉を開ける前に採集されたもの又はオーブンの扉の開放に応じて直ちに採集されたものである。前記画像は、オーブン壁を示す部分３０８及びオーブンラックを示す部分３１０を含む。前記画像は、ピザストーンを示す部分３１２を更に含む。食品（例えば、ビザ）をピザストーンに水平に放置してから、食品載置表面から採集した画像３０４は、画像３０２内の全ての構成要素及びビザを示す画像部３２０を含む。基層画像３０２をフィルターとして利用して画像３０４の背景をフィルタリングした後に、食品（例えば、ビザ）の本来の画像３０６を得る。前記本来の画像３０６は、清潔の白色背景及び食品を示す部分３２２を含む。これらの清潔の画像（図３（ｃ）に示す）に基づいた食材識別は、ランダムな条件で採集した画像に比べて、より高い識別忠実度を有する。ほぼ同様な条件で適切な基層画像を採集しなければ、背景の除去効果が芳しくなく、識別結果の誤差を招くアーチファクトが発生しやすい。現場画像の採集及び背景のフィルタリングによれば、画像に基づく食材識別効果はより高い。

【0038】

図３（ｔ－１～ｔ－３）は、食品（例えば、ピザ２３８）を食品調理システム（例えばオーブン２０２）に入れて食品載置表面（例えば、オーブンラック２４２のピザストーン２４０）に載置すると同時に、カメラ２１０により、異なる時点で採集した一連の画像を示す。異なる画像は、異なる距離及び視角から見える食品を示し、食材識別を行うために、食品の質感、形状及び色に関する付加情報を提供する。幾つかの実施例において、同一の基層画像を利用して画像に対してフィルタリングし、食品自体の一部画像を得る。幾つかの実施例において、一部の画像も食材識別に用いられる。幾つかの実施例において、一部の画像から、サイズ、形状データを抽出し、サイズ、形状データを完全な食品の画像情報と組み合わせて利用し、食材及び食材の数を決定する。

【0039】

図４Ａから図４Ｃは、幾つかの実施例ににおける食材識別を示すブロック図である。

【0040】

図４Ａにおいて、食材識別システム１０８の全体的なアーキテクチャを示す。食材識別システム１０８の入力は、食品を食品載置表面に載置する時に（また、選択的に食品を食品調理仕切り室に入れて食品載置表面に到着する前に）食品調理システムの食品載置表面で採集した画像である。幾つかの実施例において、入力される画像は、背景が除去されたフィルタリング済みの画像である。幾つかの実施例において、入力は、他のセンサ及び入力インタフェースにより取得した、スペクトル情報、形状、大きさ、重量情報などのような付加情報である。幾つかの実施例において、ユーザにより選択された調理方法も食材識別の入力として利用される。幾つかの実施例において、食品調理システムの操作モードを食材識別の入力として利用される。例えば、食品調理システムは、再加熱モードではなく生食調理モードで操作する時、異なる概略分類及び識別方法を用いる。入力感知段階４０２は、画像採集、画像前処理、外部データベース又は内部データベースから検索した補助情報、ユーザへのＩ／Ｏインタフェースから受け取った入力などを含む。特徴抽出段階４０４において、特徴テンソル（例えば、特徴ベクトルｖ１、ｖ２、．．．．．．、ｖｎの順序付けられた集合）を生成する。特徴テンソルは、異なるタイプの入力の特徴ベクトルを含む。例えば、色ヒストグラム、形状特徴、画像分割データ、重み付けデータ、画像特徴ベクトルなどを含む。特徴テンソルは、分類方法によるものである。前記分類方法は、その後に入力データを分類して、食材に対する確率分布を生成するために用いられる。次に、概括分類段階４０６において、特徴テンソルを概括分類器の入力として利用し、食品内の食材の概括食材カテゴリを決定する。食品内の食材の概括食材カテゴリを決定してから、詳細分類段階４０８を実行する。詳細分類段階において、識別の順序の高い概括食材カテゴリに対応する詳細分類器を利用して、食品を構成する詳細食材カテゴリ又は食材を更に決定する。

【0041】

図４Ｂは、食品の異なる食材に対する分類器を示す。前記分類器は、複数レベルの分類器からなり、食材を複数の第１レベル食材カテゴリに分類し、例えば、果物、肉、野菜などのようなルートレベル分類器４１２が挙げられる。幾つかの実施例において、使用の調理方法に応じて（例えば、食品調理システムの再加熱モードで）、元の食材の実際の食材カテゴリではなく、一組の異なる第１レベルカテゴリを第１レベル食材カテゴリとして使用することができ、例えば、ベーキング食品、スープ、炒めもの、サラダ、揚げ物、バーベキューなどが挙げられる。各第１レベル食材カテゴリは、１つの詳細な第１レベル食材分類器に対応する。例えば、第１レベル分類器において、果物分類器４１４は、特徴テンソル又は入力の特徴テンソルのサブ部分を利用して、食品内の識別された果物食材を更に分類することができる。肉分類器４１６は、特徴テンソル又は入力の特徴テンソルのサブ部分を利用して、食品内の識別された肉食材を更に分類することができる。野菜分類器４１８は、特徴テンソル又は特徴テンソルのサブ部分を利用して、食品内の識別された野菜食材を更に分類することができる。換言すれば、分類器をツリー構造となるように構成し、小さな分類器が、全てのカテゴリの食材ではなく、１つのみのカテゴリの食材の分類に専用される。従って、演算の複雑さがより小さくなり、食品の分類において全ての分類器を使用する必要がなく、関連性や可能性が最も高い分類器のみをトリガする。また、特徴テンソルの次元数を低減させることもでき、理由は、食品に存在しない食材に関する特徴が、選択されたサブレベルの分類器の入力として、特徴テンソルに含まれる必要がないためである。図４Ｂに示すように、ルートレベル分類器４１２を利用して、食品を、肉類アイテムを含むものに分類すると、特徴テンソルを肉カテゴリ４１６に対応する第１レベル分類器４２０に入力する。肉カテゴリに対応する第１レベル分類器４２０を利用して、食材識別システムは、食品に２つの第２レベル食材カテゴリの食材が含まれることを識別することができ、即ち、魚肉カテゴリ４２２及び畜肉カテゴリ４２４である。

【0042】

図４Ｃに示すように、第２レベル食材カテゴリ内の各カテゴリは、各自に属する第２レベル分類器を更に有する。前記第２レベル分類器は、入力の特徴テンソル又は入力の特徴テンソルの一部を使用して、食品に存在する１つ又は複数の第３レベル食材カテゴリ又は食材を決定することができる。図４Ｃに示すように、特徴テンソル又は特徴テンソルの一部入力４２６を詳細分類器に入力する時に、例えば、詳細分類段階４２８における魚肉分類器４３０及び畜肉分類器４３２に入力する時に、魚肉分類器４３０は、サケ４３６、スズキ４３８等の様々な種類の魚肉を含む食品の確率を生成し、畜肉分類器４３２は、豚肉４４０、牛ひれ肉４４２、鶏肉４４４等の様々な畜肉を含む食品の確率を生成する。これにより、主食材カテゴリの食材識別を完了する。

【0043】

規則に基づく方法又は学習に基づく方法で食品識別システム及びシステムを実現させることができる。学習に基づく方法について、本明細書において、標識及び記憶方法を考案する。標識方法以外に、図４Ａから図４Ｃに示すように、分岐構成によりツリー構造の識別システムを更に実現させる。

【0044】

標識方法において、データを標識するために、幾つかの実施例において、食材カテゴリテーブルを生成する。また、各カテゴリは、食材カテゴリテーブルにおいて一意的なインデックス番号を有する。最初のｎ個の主食材カテゴリのみを入力特徴ベクトルと標識する。ユーザの入力に応じて、数ｎを決定することができ、それによって１つの入力ベクトルにｎ個のパラメータが存在する。各パラメータは、サイズ上限値を有し、前記サイズ上限値は、食材カテゴリテーブルによって決まる。例えば、予め定義された食材カテゴリテーブルには、２５５種の食材カテゴリが存在すれば、各パラメータが８ビットである。最初の３つの主食材のみが標識されるとした場合、各標識が３つのパラメータを有し、そのため、ベクトル全体のサイズは、２４ビットである。サイズとして全ての食材カテゴリの数と同様なベクトルを利用して食品を標識する形態と比べて、このような標識を記憶するためのコンピュータリソースを省ける。

【0045】

幾つかの実施例において、識別システムは、まずモデルを構築し、前記モデルには図４Ａに示した３つの部分が含まれる。第１部分は、特徴抽出モデル４０４であり、前記特徴抽出モデル４０４は、画像から基本的な視覚特徴を抽出することができる。第２部分は、概括分類器４０６であり、前記概括分類器４０６は、特徴テンソルを幾つかの概括カテゴリに分類することができる。もう１つの部分は、食材識別分岐線又は詳細分類器であり、前記食材識別分岐線又は詳細分類器は、食品に含まれる食材の種類を識別する。詳細分類器の識別プロセスは、概括分類器の結果によるものである。

【0046】

幾つかの実施例において、入力をハイブリッド情報タイプのテンソルと見なすことができ、カラーカメラ、深度センサ、質量分析計等を使用して、又は手動入力して、ハイブリッド情報タイプを得ることができる。

【0047】

幾つかの実施例において、規則に基づく方法又は学習に基づく方法によって、特徴抽出コンポーネントを実現させることができる。これは、様々な特徴が利用可能であることを意味する。入力がＲＧＢカメラにより採集された時、抽出コンポーネントは、ＬＢＰ、ＳＩＦＴ、色ヒストグラム、又は深層学習ネットワーク特徴図を、後続の分類器の入力として使用される出力テンソルとして抽出する。

【0048】

概括分類器について、概括分類器は、特徴抽出コンポーネントにより抽出されたテンソルをロードして概括識別結果を出力する。概括識別は、入力テンソルを１つ又は複数の概括カテゴリと分類することを意味する。例えば、リンゴ食材は果物と分類され、豚肉食材は、肉と分類される。混合食材を含む料理は、肉料理と分類される。幾つかの複雑な場合において、概括分類器に、ツリーモデルを構築するための１つ以上の分類器が含まれることができ、各分類器には異なる概括レバーを有する。ツリーモデルは、特徴テンソルのツリーモデルのルートから分岐への流れに伴い、画像をレベルの高い概括カテゴリからレベルの低い具体的カテゴリに識別する目的をしている。例えば、図４Ｂに示すように、フライドサーモンを有する画像はまず、肉と分類される。続いて、画像は、肉カテゴリに対応する分岐に伝送され、次の段階の分類器により魚肉と分類される。前記方法によれば、正確性及び速度の点でシステムの特性を向上させる。概括カテゴリは、異なる分岐チェーンを有し、各分岐チェーンは、他の分岐チェーンと独立した分類器である。概括分類器の主な目的は、次の段階で識別するための概括的な情報を取得することである。

【0049】

詳細分類段階において、食品に含まれる具体的な食材を識別する。詳細分類器も複数の分類器からなる構造である。各分類器はいずれも独立したユニットであり、１つのタイプの食材のみを識別できる。換言すれば、詳細分類器は、画像に食材が含まれるかどうかを識別することができる。画像に食材が含まれる場合、ユニットは、高い確率を表す高い点数を出力する。ユニットの数は、対応するカテゴリ内の食材の種類にによって決定される。

【0050】

ＳＶＭ、深層学習ネットワークなどの従来のアルゴリズムを含む様々な方法で、概括分類器及び詳細分類器における全ての分類ユニットを実現させることができる。

【0051】

識別システム全体について、画像を特定の概括カテゴリと分類する概括分類器が存在しない場合、特徴テンソルは、各詳細分類器ユニットに伝送される。これは、かなり時間がかかる。システム全体の速度を高めるために、ツリーモデルを導入し、概括分類器を用いていずれかの入力を概括カテゴリと識別し、そしてから、概括カテゴリに基づいた幾つかの選択ユニットに特徴テンソルを伝送する。例えば、第２コンポーネントの出力が、料理画像に野菜のみが含まれる可能性が高いことを示すため、特徴テンソルは、肉類を分類するユニットに伝送されず、料理に含まれる野菜に対して正しく分類を行うための詳細分類器ユニットのみに伝送される。

【0052】

従来の「調理レシピ検索のための深度ベースの食材識別」方法において、料理標識方法として、各食品に一つのゼロのベクトルを与える。ベクトルの長さは、食材リストの数に等しい。つまり、識別可能な食材の数が、ベクトルのパラメータの数と同じである。食品に１種の食材が含まれるとした場合、対応する位置のベクトルパラメータを１ に設定し、他のパラメータをゼロに設定する。しかしながら、このような標識方法は、本明細書で考案される方法に比べて、より多くの記憶空間を必要とする。世界中、数千種の食材があるため、従来の方法は、現実世界において扱いにくいものである。本明細書で考案される方法において、標識に必要な記憶空間は、食品に含まれる最初のｎ種の主食材のカテゴリによって決定されるものであり、しかも管理がより容易である。

【0053】

従来、マルチタスクネットワークは、食品のカテゴリ及び食材を識別するための単独のモデルを有する。しかしながら、本明細書で考案される方法において、各種の食材は、前記食材が食品に含まれるかどうかを予測するための独立した分岐線を有する。従って、現在開示されているシステムによれば、システム全体の再構築やネットワーク全体の再訓練を必要とすることなく、システムに新規種類の食材をより柔軟に追加することができる。

【0054】

図５は、幾つかの実施例ににおける食材識別を用いた食品の調理方法５００を示すフローチャートである。前記方法は、食品調理システム（例えば１０２）で実行され、前記食品調理システムは、食品（例えば、ピザ、炒めものなど）を載置するように構成される食品載置台（例えば、オーブンラック、電子レンジ回転ボード、ロティセリー式オーブンの回転フォーク、コンロの表面など）と、食品載置台に向かう視野を有するカメラ（例えば、カメラ２１０、２１２等）と、食品載置台に載置される食品を加熱するように構成される１つ又は複数の加熱ユニット（例えば、食品調理構造１２０）と、カメラ及び１つ又は複数の加熱ユニットを制御するように構成される食品調理制御ユニット（例えば、制御調整推奨システム１１２及び食品調理コントローラ１１８）とを備え、前記食品調理制御ユニットが、１つ又は複数のプロセッサ及びメモリを含む。前記方法は、食品載置台に第１食品を載置している間、カメラでの画像採集をトリガし、食品載置台の１つ又は複数の画像を取得すること（５０２）と、食品載置台の１つ又は複数の画像に基づいて、第１食品に対して食材識別を実行すること（５０４）と、実行された食材識別に基づいて、前記１つ又は複数の加熱ユニットを調整して前記第１食品を加熱すること（５０６）とを含み、食品載置台の１つ又は複数の画像に基づいて、第１食品に対して食材識別を実行することは、概括分類器において、１つ又は複数の画像内の対応する画像の特徴テンソルに対して分類を行い、第１食品に対応する１つ又は複数の第１レベル食材カテゴリを識別することと、１つ又は複数の第１レベル食材カテゴリのうちの各第１レベル食材カテゴリに対応する各々の詳細分類器において、対応する画像の特徴テンソルに対して分類を行い、第１食品に対応する第２レベル食材カテゴリを識別することであって、前記第２レベル食材カテゴリが前記各第１レベル食材カテゴリのサブカテゴリであることと、を含む。

【0055】

幾つかの実施例において、食品調理システムは、カメラの視野内の内容を監視し、監視の過程においてカメラの視野の変化を検知し、カメラでの画像採集をトリガし、食品載置台の１つ又は複数の画像を取得することは、検知されたカメラの視野の変化に応じて、所定期間内で一連の画像を採集することを含む。

【0056】

幾つかの実施例において、食品載置台の１つ又は複数の画像に基づいて第１食品に対して食材識別を実行する前に、食品調理システムは、第１食品を食品載置台に載置する前に採集された基層画像を利用して、食品載置台の１つ又は複数の画像内の各対応する画像に対してフィルタリングする。

【0057】

幾つかの実施例において、食品調理システムは、概括分類器において１つ又は複数の画像に対応する画像の特徴テンソルに対して分類を行い、下記方法で第１食品に対応する１つ又は複数の第１レベル食材カテゴリを識別する。前記方法は、第１食品から識別された１つ又は複数の第１レベル食材カテゴリ内の各カテゴリに対応する各食品の量に基づいて、１つ又は複数の第１レベル食材カテゴリを順序付け、１つ又は複数の第１レベル食材カテゴリから所定の数の第１レベル食材カテゴリを選択し、所定の数の第１レベル食材カテゴリのうちの各第１レベル食材カテゴリに対応する各詳細分類器を利用して分類を行うことである。

【0058】

幾つかの実施例において、食品調理システムは、第１食品レシピを識別する。前記第１食品レシピは、所定の数の第１レベル食材カテゴリに対して識別された各第２レベル食材カテゴリを含む。また、食品調理システムは、第１食品レシピに基づいて、第１食品の付加食材を決定する。ここで付加食材は、所定の数の第１レベル食材カテゴリに対して識別された各第２レベル食材カテゴリに含まれていない。

【0059】

幾つかの実施例において、食品調理システムは、所定の数の第１レベル食材カテゴリに対して識別された各第２レベル食材カテゴリと、第１食品レシピに基づいて識別された付加食材とに基づいて、第１食品の栄養情報を決定する。

【0060】

幾つかの実施例において、食品調理システムは、第２食品レシピを識別する。前記第２食品レシピは、所定の数の第１レベル食材カテゴリに対して識別された各第２レベル食材カテゴリを含む。食品調理システムは、第１食品レシピと第２食品レシピとの栄養情報を比較する。食品調理システムは、第１食品レシピと第２食品レシピとの栄養情報の比較に基づいて、調理方法を調整するための推奨を提供する。

【0061】

前記方法及び食品調理システムの他の詳細は、本出願の他の部分で説明され、簡潔にするために、詳細な説明をここで省略する。図５に示した操作の特定の順番は例示的なものに過ぎず、説明された順番は、操作を実行できる唯一の順番を示すものではないことが理解されるべきである。当業者であれば、本明細書で説明される操作を再度順序付ける様々な形態を認める。なお、本明細書で説明される他の方法及び／又は過程に関わる他の過程の細部も類似の形態で上記方法５００に適用されてもよい。

【0062】

図６は、幾つかの食品調理システム１０２を示すブロック図である。食品調理システム１０２は１つ又は複数の処理ユニット（ＣＰＵ）６０２と、１つ又は複数のネットワークインタフェース６０４と、メモリ６０６と、これらの構成要素（チップセットとも呼ばれる）を接続するための１つ又は複数の通信バス６０８とを備える。食品調理システム１０２は、ユーザインタフェース６１０を更に備える。ユーザインタフェース６１０は、メディアコンテンツを表示できる１つ又は複数の出力装置６１２を含み、前記１つ又は複数の出力装置６１２は、１つ又は複数のスピーカ及び／又は１つ又は複数のビジュアルディスプレイを含む。ユーザインタフェース６１０は、ユーザによる入力を容易にするユーザインタフェースユニットを有する、キーボード、マウス、音声命令入力ユニット又はマイクロホン、タッチパネルディスプレイ、タッチ検知入力パネル、ジェスチャー採集カメラ又は他の入力ボタンやコントローラのような１つ又は複数の入力装置６１４を更に含む。幾つかの実施例において、食品調理システム１０２はセンサを更に備える、前記センサは、食品調理システム１０２の操作環境情報をセンシングする。センサは、１つ又は複数の熱センサ、光センサ、１つ又は複数のカメラ、湿度センサ、１つ又は複数の運動センサ、１つ又は複数のバイオセンサ（例えば、電気皮膚抵抗センサ、パルスオキシメータなど）、重量センサ、スペクトロメータ及び他のセンサを含むが、これらに限定されない。また、食品調理システム１０２は、食品調理操作ユニット６２６（例えば、電気、感知、ガス、放射などに基づいた加熱装置）を備える。メモリ６０６は、１つ又は複数の磁気ディスク記憶装置、１つ又は複数の光ディスク記憶装置、１つ又は複数のフラッシュ装置、又は１つ又は複数の他の不揮発性ソリッドステート記憶装置のような不揮発性メモリを含む。任意選択に、メモリ６０６は、１つ又は複数の処理ユニット６０２から離れる１つ又は複数の記憶装置を含む。メモリ６０６、又は代替的にメモリ６０６内の不揮発性メモリ装置は、非一時的なコンピュータ可読記憶媒体を含む。幾つかの実現形態において、メモリ６０６又はメモリ６０６の非一時的なコンピュータ可読記憶媒体には、

【0063】

様々な基本的なシステムサービスを処理してハードウェア関連タスクを実行するためのプロセスを含むオペレーティングシステム６１６と、
１つ又は複数のネットワークインタフェース６０４（有線又は無線）により外部サービス接続されるネットワーク通信モジュール６１８と、
情報を表示するための表示モジュール６２０と、
１つ又は複数の入力装置６１４のうちの１つの入力装置からの１つ又は複数のユーザによる入力又は対話を検出し、検出した入力又は対話を解釈するための入力処理モジュール６２２と、
１つ又は複数のカメラ及び他のセンサを制御するための結像制御ユニット、画像処理システム、食材識別システム、食材データ統合システム、制御調整及び推奨システム、及び本明細書で説明される他の機能を実行するための他のモジュールを含むがこれらに限定されない食品調理システム１０２を制御する食品調理制御ユニット６２４とのようなプログラム、モジュール及びデータ構造、又はこれらの部分集合又は上位集合が記憶される。

【0064】

上記識別エレメントにおける各エレメントは、１つ又は複数の提出された記憶装置に記憶され、上記機能を実行するための一組の命令に対応する。上記識別モジュール又はプログラム（即ち、命令セット）は、独立したソフトウェアプログラム、プロセス、モジュール又はデータ構造として実現する必要がないため、これらのモジュールの様々な部分集合は、様々な実現形態で組み合わせられてもよいし、他の方式で再配置されてもよい。幾つかの実現形態において、任意選択的には、メモリ６０６には、上記識別されたモジュール及びデータ構造の部分集合が記憶される。なお、任意選択的に、メモリ６０６には、以上に説明されていない付加モジュール及びデータ構造が記憶される。

【0065】

以上、特定の実施例を説明したが、本出願をこれらの実施例で限定するように意図されていないということに留意すべきである。むしろ、本出願は、特許請求の範囲内に含まれるすべての代替案、修正、および等価物を包含する。多くの特定の詳細が本明細書の主旨の完全な理解を提供するために記載されている。しかしながら、本主旨をこれらの具体的な細部を用いることなく実施してもよいことは当業者には明らかであろう。その他の場合には、よく知られた方法、手順、構成要素及び回路は、本発明の実施例の態様を不必要に不明瞭にしないように詳細に説明されていない。

【符号の説明】

【0066】

１０２ 食品調理システム
１０８ 材識別システム
１１２ 制御調整／推奨システム
１１４ 入力／出力（Ｉ／Ｏ）インタフェース
１１８ 外部サービスへのＩ／Ｏインタフェース
２０２ トースターオーブン
２０４ 電子レンジ
２０６ ロティセリー式オーブン
２０８ 電気コンロ
２１０ カメラ
２１２ カメラ
２１８ ディスプレイ
２２４ ディスプレイ
２３０ カメラ
２３２ カメラ
３０２ 画像
３０４ 画像
３０６ 画像
３０８ オーブン壁を示す部分
３１０ オーブンラックを示す部分
３１２ ピザストーンを示す部分
３２２ 食品を示す部分
４１２ ルートレベル分類器
４１４ 果物分類器
４１６ 肉分類器
４１８ 野菜分類器
４２０ 第１レベル分類器
４２２ 魚肉カテゴリ
４２４ 畜肉カテゴリ

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】