(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-30
(45)【発行日】2023-11-08
(54)【発明の名称】食品を分類する方法及びシステム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231031BHJP
【ＦＩ】
G06T7/00 350C
【請求項の数】
14
(21)【出願番号】P 2020543110
(86)(22)【出願日】2019-02-07
(65)【公表番号】
(43)【公表日】2021-05-27
(86)【国際出願番号】 GB2019050338
(87)【国際公開番号】W WO2019155220
(87)【国際公開日】2019-08-15
【審査請求日】2022-02-02
(31)【優先権主張番号】1802022.2
(32)【優先日】2018-02-07
(33)【優先権主張国・地域又は機関】GB
(73)【特許権者】
【識別番号】520294701
【氏名又は名称】ウィノー ソリューションズ リミテッド
【氏名又は名称原語表記】ＷＩＮＮＯＷ ＳＯＬＵＴＩＯＮＳ ＬＩＭＩＴＥＤ
(74)【代理人】
【識別番号】110001302
【氏名又は名称】弁理士法人北青山インターナショナル
(72)【発明者】
【氏名】ゾーンズ，マーク
(72)【発明者】
【氏名】ダフィー，ケビン
(72)【発明者】
【氏名】ウースナム，デビット
(72)【発明者】
【氏名】クレビス，ピーター レオナード
(72)【発明者】
【氏名】ファム，ミン－トリ
(72)【発明者】
【氏名】ヴォー，フォン
(72)【発明者】
【氏名】ヘインズ，マーク
【審査官】小池 正彦
(56)【参考文献】
【文献】米国特許出願公開第２０１６／００７８４１４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０１７６０１９（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１６／０３０７０７２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００６／００１５２８９（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／０１７０００１（ＵＳ，Ａ１）
【文献】LU Jie et al，Transfer learning using computational intelligence: A survey，Knowledge-Based systems，Vol.80，ELSEVIER，2015年01月22日，p14-23
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
食品を分類する方法において、廃棄事象に関する１つ以上のセンサデータを取得するステップと、
画像データを処理して、以前に取得された画像データと比較して画像データ内の新しいオブジェクトを分離するステップと、
少なくとも部分的にセンサデータにトレーニングされたモデルを自動的に使用して、少なくとも処理された画像データを使用して、前記食品を分類するステップと、
を含み、
前記廃棄事象は、ユーザによって廃棄物容器に入れられる食品を含み、前記廃棄事象は、複数の事象からの食品が前記廃棄物容器を空にすることなく前記廃棄物容器内に連続して廃棄されるように、前記廃棄物容器に関連する複数の廃棄事象のうちの１つであり、
前記１つ以上のセンサデータは、前記廃棄物容器の上方のイメージセンサから取得された画像データを含み、
前記画像データには、以前の廃棄事象中に前記食品が前記廃棄物容器内の食品の上に置かれた後に取得された画像データが含まれることを特徴とする方法。
【請求項2】
請求項１に記載の方法において、
前記画像データは、前記食品が以前の廃棄時の食品から分離されるように、セグメンタを使用して、以前の廃棄事象の画像と現在の廃棄事象の画像との間の新しい画像データを特定するステップを含む方法によって処理されることを特徴とする方法。
【請求項3】
請求項２に記載の方法において、
前記画像データは、特定された前記新しい画像データを前記現在の廃棄事象の画像と結合して結合データを生成するステップを含む方法によって処理され、
前記食品は少なくとも前記結合データを使用して分類されることを特徴とする方法。
【請求項4】
請求項１～３の何れか１項に記載の方法において、
前記１つ以上のセンサデータは重量センサから取得した重量データを含み、前記食品は前記画像データと前記重量データの双方を使用して分類されることを特徴とする方法。
【請求項5】
請求項１～４の何れか１項に記載の方法において、
前記画像データは、食品事象中に長期間にわたって取得された前記食品の同時に取得された複数の画像を含み、前記食品は、良好画像選択モジュールを使用して前記複数の画像から選択された画像を使用して分類されることを特徴とする方法。
【請求項6】
請求項１～５の何れか１項に記載の方法において、前記食品が、少なくとも部分的に、前記モデルを使用する推論エンジンによって分類されることを特徴とする方法。
【請求項7】
請求項６に記載の方法において、前記推論エンジンが、前記食品を分類するためにヒストリカルパターンデータをも使用することを特徴とする方法。
【請求項8】
請求項６又は７に記載の方法において、前記推論エンジンが、前記食品を分類するために時間、場所、及び即時ヒストリカルデータの組から選択された１つ以上をも用いることを特徴とする方法。
【請求項9】
請求項６～８の何れか１項に記載の方法において、前記推論エンジンが前記食品について複数の可能性のある分類を決定し、
複数の可能性のある分類がユーザインターフェース上でユーザによる選択のために表示されることを特徴とする方法。
【請求項10】
請求項１～９の何れか１項に記載の方法において、ヒストリカル食品事象に関するセンサデータを取得し、ユーザが前記ヒストリカル食品事象の間に前記食品を分類することにより、前記モデルがトレーニングされることを特徴とする方法。
【請求項11】
請求項１０に記載の方法において、ヒストリカル食品事象に関する前記センサデータが取得され、前記ユーザが複数のローカル食品廃棄デバイスにおいて前記ヒストリカル食品事象の間に前記食品を分類することを特徴とする方法。
【請求項12】
請求項１～１１の何れか１項に記載の方法において、前記センサデータがローカルデバイスにおいて取得され、
前記ローカルデバイス又は遠隔サーバにおいて前記食品を分類するために動的決定がなされることを特徴とする方法。
【請求項13】
請求項１～１２の何れか１項に記載の方法において、前記食品が、少なくとも部分的に、センサデータにトレーニングされた複数のモデルを自動的に使用して分類され、
前記複数のモデルのうち第１のモデルが、グローバルな食品事象からのセンサデータにトレーニングされ、
前記複数のモデルのうち第２のモデルが、ローカルな食品事象からのセンサデータにトレーニングされていることを特徴とする方法。
【請求項14】
食品を分類するシステムにおいて、廃棄事象に関するセンサデータを取得するように構成された１つ以上のセンサと、
画像データを処理して、前に取得された画像データと比較して前記画像データ内の新しいオブジェクトを分離し、少なくとも部分的にセンサデータにトレーニングされたモデルを使用して、少なくとも処理された画像データを使用して、前記食品を分類するように構成されたプロセッサと、
を含み、
前記廃棄事象は、ユーザによって廃棄物容器に入れられる食品を含み、前記廃棄事象は、複数の事象からの食品が前記廃棄物容器を空にすることなく前記廃棄物容器内に連続して廃棄されるように、前記廃棄物容器に関連する複数の廃棄事象のうちの１つであり、
前記１つ以上のセンサデータは、前記廃棄物容器の上方のイメージセンサから取得された画像データを含み、
前記画像データには、以前の廃棄事象中に前記食品が前記廃棄物容器内の食品の上に置かれた後に取得された画像データが含まれる
ことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動分類の分野におけるものである。特に、限定しないが、本発明は食品の自動分類に関する。
【背景技術】
【0002】
業務用調理場内の食品の分類は、効率の改善、廃棄物の識別、及びコスト削減において重要になってきている。
【0003】
業務用調理場は、種々の食品の貯蔵庫からの取り出し、種々の食品の準備、種々の食品の給仕、及び種々の食品の廃棄を含めて起こり得る多数の食品事象を有する。
【0004】
現在、業務用調理場内のこのような事象の間に食品を識別し分類する方法がいくつかある。典型では、業務用調理場が、食品を識別し分類する食品コンサルタントを利用し得る。明らかに、この解決策は拡張可能でも持続可能でもなく、仮にそうであったとしても、業務用調理場には低頻度に利用されるだけである。
【0005】
購入と、販売時点情報管理データと、定期的な手作業による在庫チェックとを三角形化することにより、システムによっていかに良好に展開しているかを推測できるシステムがいくつか存在する。購入したものについて品目レベルで顧客に請求するために販売時点情報管理が使用されるレストランでは、これは効果的であり得るが、受け取り側又は販売時点情報管理側における、廃棄物、多い／少ない分量、及びデータ誤入力を含めた業務非効率性が掴めず、欠陥がある。品目別レベルで販売時点情報管理を使用しないレストラン、例えば、ビュッフェ形式のレストラン、一部の学校及び病院では、この方法は機能せず、調理場内の管理が非常に不十分になる。
【0006】
大量生産設備（例えば、航空機内のケータリング業者）では、各段階で何の食品を処理するかを検討し手作業により確認することを含め、各段階でより多くの管理が存在し得る。しかし、各段階の手作業の性質により、これはあまり採用されない。
【0007】
廃棄事象の間の食品分類に対する一解決策が、Ｗｉｎｎｏｗ Ｓｏｌｕｔｉｏｎｓ Ｌｉｍｉｔｅｄによって開発され、展開されてきた。この解決策は、国際公開第ＷＯ２０１５１６２４１７号パンフレット内に説明されている。この解決策では、廃棄される食品が廃棄物容器（以前に廃棄された食品廃棄物を含む容器など）内に配置され、廃棄物の相違度合いが検討され、ユーザがタッチスクリーン上の階層メニューを用いて食品の種類を分類する。
【0008】
分類速度を上げるため、ＷＯ２０１５１６２４１７号パンフレットに説明された解決策が少なくとも部分的に自動化可能であることが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の目的は、従来技術のデメリットを克服するか、又は少なくとも有益な代替手段を提供する方法及びシステムを提供することである。
【課題を解決するための手段】
【0010】
ここにおける本発明の第１の態様により、廃棄事象に関する１つ以上のセンサデータを取得するステップと、画像データを処理して、以前に取得された画像データと比較して画像データ内の新しいオブジェクトを分離するステップと、少なくとも部分的にセンサデータにトレーニングされたモデルを自動的に使用して、少なくとも処理された画像データを使用して、前記食品を分類するステップと、を含む食品を分類する方法を提供し、前記廃棄事象は、ユーザによって廃棄物容器に入れられる食品を含み、前記廃棄事象は、複数の事象からの食品が前記廃棄物容器を空にすることなく前記廃棄物容器内に連続して廃棄されるように、前記廃棄物容器に関連する複数の廃棄事象のうちの１つであり、前記１つ以上のセンサデータは、前記廃棄物容器の上方のイメージセンサから取得された画像データを含み、前記画像データには、以前の廃棄事象中に前記食品が前記廃棄物容器内の食品の上に置かれた後に取得された画像データが含まれる。
【0011】
ここにおける本発明のさらなる態様により、廃棄事象に関するセンサデータを取得するように構成された１つ以上のセンサと、画像データを処理して、前に取得された画像データと比較して前記画像データ内の新しいオブジェクトを分離し、少なくとも部分的にセンサデータにトレーニングされたモデルを使用して、少なくとも処理された画像データを使用して、前記食品を分類するように構成されたプロセッサと、を含む食品を分類するシステムを提供し、前記廃棄事象は、ユーザによって廃棄物容器に入れられる食品を含み、前記廃棄事象は、複数の事象からの食品が前記廃棄物容器を空にすることなく前記廃棄物容器内に連続して廃棄されるように、前記廃棄物容器に関連する複数の廃棄事象のうちの１つであり、前記１つ以上のセンサデータは、前記廃棄物容器の上方のイメージセンサから取得された画像データを含み、前記画像データには、以前の廃棄事象中に前記食品が前記廃棄物容器内の食品の上に置かれた後に取得された画像データが含まれる。
【0012】
本発明の他の態様は、請求項に説明されている。
【0013】
本発明の実施形態を、単に例として添付の図面を参照してここで説明する。図面において、
【図面の簡単な説明】
【0014】
【発明を実施するための形態】
【0015】
本発明は、食品事象の間に食品を分類する方法及びシステムを提供する。
【0016】
発明者は、食品事象に関するセンサデータが取得可能であり、取得されたセンサデータを使用して食品を分類するためにセンサデータにトレーニングされたモデルが使用可能であることを発見した。
【0017】
図１に、本発明の一実施形態によるシステム１００を示す。
【0018】
システム１００は、食品事象に関するセンサデータを受け取る１つ以上のセンサ（例えば、１０１ａ、１０１ｂ）を含み得る。センサ１０１ａ／ｂは、以下のセンサの種類のリストからのセンサを含み得る。２Ｄカメラ（例えば、１０１ａ）、３Ｄカメラ、ライトフィールドカメラ、ステレオカメラ、事象カメラ、赤外線カメラ、重量センサ（例えば、１０１ｂ）、ハイパースペクトルセンサ、食品から発せられる化学物質を検出する「電子」鼻、及び温度センサである。センサ１０１ａ／ｂは、異なる種類のセンサを含み得る。
【0019】
食品事象は、例えば、廃棄事象であり得る。食品１０２が廃棄物容器１０３内に置かれ得るか、又は食品１０２を含む廃棄物容器１０３が、食品事象の間にセンサ１０１ａ／ｂが食品１０２からセンサデータを取得できるようなセンサ１０１ａ／ｂに対する配置で置かれ得る。別の実施形態において、食品事象は、貯蔵庫（例えば、冷蔵庫、冷暗所、又は食糧庫）から食品１０２を取り出すこと、食品１０２の準備（例えば、洗浄、刻み、又は切り取り）、食品１０２の料理、又は業務用調理場内のある場所から別の場所への食品１０２の移動であり得ることが理解される。
【0020】
システム１００は、センサによるセンサデータの取得を強化するための１つ以上の強化装置を含み得る。例えば、１つ以上の強化装置は、イメージセンサ１０１ａによる撮像のために食品事象の間に食品１０２を照らすために配置された光源、及び／又はイメージセンサ１０１ａによる撮像のために一貫した照明環境を提供するアンビエントライトバッフルを含み得る。
【0021】
１つ以上の強化装置は、さらに、カメラの固有パラメータを推定するためのカメラキャリブレーションボードを含み得る。
【0022】
システム１００は、センサ１０１ａ／ｂからセンサデータを取得するための１つ以上のプロセッサ１０４を含み得る。センサ１０１ａ／ｂ及びプロセッサ１０４は、有線通信システム及び／又は無線通信システム１０５ａ、１０５ｂ（例えば、ＵＳＢ、Ｅｔｈｅｒｎｅｔ、Ｂｌｕｅｔｏｏｔｈ、Ｚｉｇｂｅｅ、ＷｉＦｉ又は他のいかなる有線プロトコル又は無線プロトコル）を介して接続され得る。
【0023】
プロセッサ１０４は、少なくとも部分的に、センサデータにトレーニングされたモデルを使用して、食品事象から食品１０２を分類するように構成され得る。モデルは、メモリ１０６から取り出し得る。実施形態において、モデルは少なくとも部分的にサーバから取り出し得る。モデルは、食品事象の間に、周期的に、又はトリガー事象を受けて、サーバから取り出し得る。例えば、モデルは、ローカルデバイスに対してアップデートが指定された際にサーバから取り出し得る。
【0024】
モデルは、ヒストリカル食品事象からのセンサデータ及びヒストリカル食品事象からの分類を使用してトレーニングされ得る。ヒストリカル食品事象は、ローカルデバイスにおいて、同一の業務用調理場において、関連する業務用調理場の組において、又はグローバルに、発生する食品事象であり得る。
【0025】
プロセッサ１０４は、少なくとも部分的に食品１０２を分類するために推論エンジンを利用するように構成され得る。食品１０２を分類するため、推論エンジンは、モデルと、食品事象の継続期間、時間、日付、曜日、場所、以前の食品分類、ヒストリカル食品分類、ヒストリカル食品分類のパターン、及び天候の組から選択された１つ以上のデータとを利用し得る。
【0026】
システム１００は、さらに、ユーザインターフェース１０７を含み得る。インターフェース１０７は、画像表示及びユーザ入力を含み得る。インターフェース１０７は、タッチスクリーン又はタッチスクリーンに似たインターフェースであり得る。システムが全自動モードで動作するなどの一部の実施形態においては、ユーザインターフェース１０７は必要とされないことが理解される。
【0027】
分類の間、プロセッサ１０４は、推論エンジン及び／又はモデルを使用して、食品１０２が複数の可能性のある分類のうちの１つであり得ることを決定するように構成され得る。可能性のある分類の数は、所定の数だけ決定され（例えば、最もあり得る上位１０位の分類）、確率の基準値（例えば、９０％）を上回る可能性のある分類によって決定され、又は両方の組み合わせによって（例えば、少なくとも上位１０位又は９０％を上回るもの）決定され得る。プロセッサ１０４はその後、インターフェース１０７において食品１０２についての可能性のある分類をユーザに表示し得る。インターフェース１０７は、食品１０２を分類するために可能性のある分類のうちの１つを選択するユーザ入力を受け取るように構成され得る。実施形態において、プロセッサ１０４は、ユーザが指定された制限時間内に選択を提供しない場合、最も可能性の高い可能性のある分類を選択し得る。
【0028】
実施形態において、プロセッサ１０４は、ユーザ入力なく食品１０２を分類するように構成され得る。しかし、インターフェース１０７は、ユーザから入力を受け取り、プロセッサ１０４によってなされた分類を無効にするように構成され得る。
【0029】
プロセッサ１０４、メモリ１０６、インターフェース１０７、及び／又はセンサ１０１ａ／ｂは近接して位置し、ローカルデバイスを形成し得る。ローカルデバイスは、業務用調理場内に位置し得る。
【0030】
図２を参照して、食品を分類する方法２００を説明する。
【0031】
ステップ２０１において、食品事象に関する１つ以上のセンサデータが取得される。
【0032】
センサデータは、食品事象の間に経時的に取得されたセンサデータを含み得る。
【0033】
センサデータは、イメージセンサ（例えば、１０１ａ）によって生成されるような画像データを含み得る。例えば、画像データは、カメラによって撮像された２Ｄ写真又は複数の２Ｄ写真であり得る。カメラは、少なくとも可視光スペクトル内の光を取り込み得る。多眼カメラ又は３Ｄカメラによって３Ｄ画像データなどの他の画像データが撮像され、及び／又は赤外線又は紫外線などの不可視光線についても適切なセンサによって取り込まれ得ることが理解されるものである。画像データは、食品事象の間に経時的に撮像された画像データであり得る（例えば、一連の静止画像又は動画）。イメージセンサは、食品（例えば、１０２）の画像又は複数の画像を撮像し得る。
【0034】
センサデータは、重量計の内部の重量センサ（例えば、１０１ｂ）から取得した重量データを含み得る。重量センサは、少なくとも、重量計に直接又は間接的に置かれた食品（例えば、１０２）の重量を検出し得る。重量データは、食品事象の前から食品事象の後までの重量差によって決定され得るため、食品の重量自体が決定可能である。
【0035】
重量データは、経時的な暫定重量及び最終重量などの食品事象中の重量変化を含み得る。
【0036】
実施形態において、１つ以上のセンサデータは継続的に取得されるか、又は食品事象についてトリガーがあった場合のみ取得し得る（例えば、重量計において重量変化があった場合に、イメージセンサが取得を開始し得る）。
【0037】
食品事象は、廃棄事象であり得る。廃棄事象は、廃棄物容器（例えば、１０３）内にユーザによって置かれた食品（例えば、１０２）を含み得る。廃棄事象は、複数の事象からの食品が廃棄物容器内に空にすることなく連続的に廃棄されるような同一の廃棄物容器についての複数の廃棄事象のうちの１つであり得る。
【0038】
実施形態において、食品事象は業務用調理場事象であり得る。
【0039】
実施形態において、例えば、データを削除するため、又はセンサデータ内の食品信号を分離するために、センサデータは分類前に処理され得る。センサデータが画像データを含む一実施形態において、画像データは、以前に取得した画像と比較してその画像内の新しいオブジェクトを分離するように処理され得る（例えば、他の方法が利用し得ることが理解されるものであるが、新しい画像フレームを先行フレームと比較し、異なる画素を抽出することにより）。センサデータが画像データを含む一実施形態において、画像データは廃棄物容器（例えば、１０３）を検出するように処理され、廃棄物容器（例えば、１０３）の内容物はさらなる処理又は分類のために分離され得る。一実施形態において、例えば、ユーザが指令したトリミング又はオブジェクト選択により画像データ内の食品を分離するように、ユーザ入力が求められ得る。
【0040】
センサデータは、ローカルデバイスのセンサ（例えば、１０１ａ／ｂ）から取得され得る。ローカルデバイスは業務用調理場内にあり得る。ローカルデバイスは、廃棄事象を受け取るためのローカル廃棄デバイスであり得る。
【0041】
ステップ２０２において、事象の食品（例えば、１０２）は、少なくとも部分的に、センサデータにトレーニングされたモデルを自動的に使用して（例えば、プロセッサ１０４を介して）分類される。
【0042】
モデルは、ニューラルネットワークであり得る。使用し得る他のモデルは、サポートベクターマシンモデル、ランダムフォレストモデル、及び勾配ブースティングモデルを含む。モデルは、コンテキストデータ、ヒストリカル食品事象に関する取得したセンサデータ及び／又はこれらの事象からの食品のユーザ分類を使用することによりトレーニングされ得る。コンテキストデータは、数値変数、カテゴリー変数、及び文字列変数に分類され得る。すべての変数は、数値スカラー又は数値ベクトルに変換され、その後、追加の入力データとしてモデルに提供され得る。数値変数はそのまま使用され得る。カテゴリー変数は、ワンホットベクトルとして表されるか、又は整数に変換され得る。文字列変数はカテゴリー変数としてみなされ、カテゴリー変数と同一の方法で処理され得る。コンテキストデータは、クライアント個別データ、季節的データ、地域的データ、及び公開データを含み得る。クライアント個別データは、クライアントの会場の場所、クライアントの会場毎のメニュー、各会場の過去の１日当たりの食品消費データ、新しい食品の重量及び廃棄物容器の重量を含み得る。季節的データは、気温、湿度、風速及び降水量のような天候に関するデータ、時間、日付、曜日、月、季節、及び年のような時間に関するデータを含み得る。地域的データは、会場の地理位置、その会場が位置する都市及び国に関する情報を含み得る。公開データは、モデルの性質及び性能を高めるのに使用可能な、公開されている食品データセットを含み得る。ヒストリカル食品事象は、複数のローカルデバイス（複数の業務用調理場内に配置されたローカル廃棄デバイスなど）から取得し得る。ユーザ分類は、これらのローカルデバイスのそれぞれで起こり得る。実施形態において、ユーザ分類は、ヒストリカル食品事象の後に、例えば、ユーザが、食品事象について以前に取得した画像データ（又は他のセンサデータ）を見ることにより食品を評価し再分類することにより、実行され得る。実施形態において、モデルは、ヒストリカル食品事象についての分類データと併せてセンサデータのバリエーションを使用することによりトレーニングされ得る。例えば、センサデータが画像データを含む場合、モデルは、画像データのバリエーションがアルゴリズムで生成されて変換、回転、反射、及び／又は拡張などの変換を生じさせるような画像データの摂動によってトレーニングされ得るものであり、モデルはこれらの画像データのバリエーションを使用してトレーニングされる。
【0043】
実施形態において、事象の食品は、少なくとも部分的に、センサをも備えるローカルデバイスにおいてモデルによって分類される。実施形態において、食品は、少なくとも部分的にサーバにおいて分類される。即ち、少なくとも一部のセンサデータは、処理のために、通信ネットワークを渡って遠隔設置されたサーバに送信され得る。実施形態において、ローカルデバイス又は遠隔サーバにおいて分類するための決定がなされ得る（例えば、待ち時間、伝送帯域幅、及び処理所要電力に基づいて）。食品の分類を分布させる代替の方法についても可能であることが理解される。例えば、近接したローカルデバイスの組（業務用調理場又は業務用会場、又は関連する調理場／会場／レストランの組の何れかにおいて）が局所的に又は共通のサーバにおいて処理され得る。
【0044】
一実施形態において、食品は、少なくとも部分的に複数のモデルによって分類される。例えば、第１のモデルが、大きなトレーニングセットから得られたセンサデータ及び分類データを使用してトレーニングされ（例えば、ローカルデバイスから「グローバルに」得られた、即ち、システム内の幅広い種類の異質な場所で得られたセンサデータ及び／又は分類データから）、第２のモデルが、より小さいトレーニングセットからのセンサデータ及び分類データを使用してトレーニングされ得る（例えば、「ローカル」デバイス、又は同一の場所、類似の様式／型のレストラン／調理場、又は共通ブランドの支店などの共通性のあるデバイスから）。食品の分類は、モデルに重み付けをして可能性のある食品分類の確率を決定し（例えば、第２の「ローカル」モデルに第１の「グローバル」モデルを上回るより高い重み付けをする）、第１のモデルを介した分類に第１のモデルの決定よりも優位に立つ第２のモデルを用いたもの、又は第１のモデルによる分類に確率の基準値を満たさなかった場合に第２のモデルを用いたものの何れかを含み得る。モデルは、入力データ及び出力予測のそれぞれにおける信頼スコアをさらに返送し得る。
【0045】
食品は、少なくとも部分的に、モデル又は複数のモデルを使用した干渉エンジンによって分類され得る。推論エンジンは、分類プロセスにおいて補助するためのさらなる情報を取得し得る。推論エンジンは、食品の分類における（例えば、ローカルデバイスにおける）ヒストリカルパターンデータ（例えば、頻度、人気度又は他のパターン）、時間、場所、即時ヒストリカルデータ（例えば、以前の食品事象）、天候、曜日、及び／又は季節を使用し得る。推論エンジンはまた、センサデータ、例えば、ある食品についての重量の情報を、直接使用し得る。
【0046】
実施形態において、モデル（例えば、推論エンジン）を使用して、食品についての可能性のある分類の選択が自動的に決定され得る。可能性のある分類はユーザインターフェース上でユーザに表示され、可能性のある分類のうちの１つを選択するための入力がユーザから受け取られる。一実施形態において、ユーザが所定の制限時間内にオプションを選択しない場合、最も高い確率の可能性のある分類がその食品に対して自動的に選択される。
【0047】
食品の分類は、食品の種類（例えば、米、パン、野菜、ロール、チーズケーキ、肉、果物、ハーブ、付け合わせ等）、食品の状態（例えば、調理済みである、未調理である、部分的に食されている、生である、茹でてある、揚げてある、炒めてある、焼いてある、皮をむいてある等）、及び／又は食品事象内の食品についての理由（例えば、付け合わせ、お皿の廃棄）を含み得る。食品の種類、食品の状態、及び／又は食品事象内の食品についての理由は、それぞれ複数の特徴が関連し、及び／又はその特徴が階層的に構成され得る（即ち、料理された一部分として茹でてある）複数の特徴を含み得る。
【0048】
【0049】
図３では、管理サーバが、容器内の食品事象を検出するセンサからのデータを分類するのに局所的に推論エンジンを使用するローカルプロセッサに、使用するメニュー又はモデルなどの情報を送信し得る。
【0050】
図４では、遠隔サーバのプロセッサが、推論エンジンを使用して、複数の場所における容器内の食品事象を検出するセンサから送信されたデータを分類する。
【0051】
図５では、管理サーバが、推論エンジンを使用してクライアントの会場内の複数の場所における容器内の食品事象を検出するセンサからのデータを分類するクライアントの会場のプロセッサに、使用するメニュー又はモデルなどの情報を送信し得る。
【0052】
図６は、食品事象から経時的に取得した画像を前処理し分析エンジンに配信する方法を説明するものである。
【0053】
複数の画像がイメージセンサから受け取られる。容器検出モジュールを使用した画像において容器が検出された画像は、その後、最良の画像を選択する良好画像選択モジュールに送信される。最良の画像とは、食品が容器にあり、ユーザの手、皿又は用具など無関係のものが見えないものであり、及び／又は画像が鮮明であり、及び／又は完全に照らされているものであり得る。
【0054】
図７は、事象内の新しい食品を、以前の事象内の食品からこれを分離することにより、識別するか又は特定する方法を説明するものである。
【0055】
新しい画像データが、セグメンタを用いて、以前の事象の画像と現在の事象の画像との間で特定される。画像データは、結果として得られるデータが分類可能となるように（例えば、コンテキストデータをも使用して）セグメンタの出力との組み合わせにより現在の画像から抽出される。
【0056】
図８は、食品を識別するために、マスターモデルとローカルモデルとを組み合わせる方法を説明するものである。
【0057】
例えば、図８において、マスターモデルは、複数の顧客より複数の場所から（特定のレストランチェーンなど）得られたデータにトレーニングされたモデル（ニューラルネットワークなど）であり得るものであり、ローカルモデルは、１つの特定の顧客から（例えば、１つのみのレストラン又はレストランチェーン）複数の場所から得られたデータにトレーニングされたモデル（ニューラルネットワークなど）であり得る。このようにして、全データから決定されたより幅広い情報及びこのシステムが配備される特定の顧客から決定された特定の情報を使用することにより、識別が改善できる。マスターモデル及びローカルモデルから出力された信頼スコアは、重み付け方法及び／又はカスケード方法によるなどの異なる方法を使用して組み合わされ得る。
【0058】
本発明の一部の実施形態の潜在的利点は、分類が全自動化可能であり、効率を増大させ、食品が追跡可能な業務用調理場の様々な領域を増加させることであり、又はユーザ分類プロセスが拡張可能であり、ユーザのエラーが低減され、及び／又は分類速度が上がることである。
【0059】
本発明をその実施形態の説明によって解説し、実施形態を非常に詳細に説明したが、添付の請求項の範囲をこのような詳細に制限し、又は決して限定することが出願人の意図することではない。当業者にとって、さらなる利点及び変更が容易である。このため、その幅広い態様の本発明は、特定の詳細、典型となる装置及び方法、及び図示し説明した具体例に限定されない。したがって、出願人の全体の発明概念の趣旨及び範囲から逸脱することなく、このような詳細からの逸脱はなされ得るものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】