特許 7580693 食品廃棄物の検出方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-01

(45)【発行日】2024-11-12

(54)【発明の名称】食品廃棄物の検出方法およびシステム

(51)【国際特許分類】

   G06Q 10/00 20230101AFI20241105BHJP

【ＦＩ】

G06Q10/00

【請求項の数】 24

(21)【出願番号】P 2021534291

(86)(22)【出願日】2019-12-13

(65)【公表番号】

(43)【公表日】2022-02-09

(86)【国際出願番号】 EP2019085143

(87)【国際公開番号】W WO2020120757

(87)【国際公開日】2020-06-18

【審査請求日】2022-10-17

(31)【優先権主張番号】2022213

(32)【優先日】2018-12-14

(33)【優先権主張国・地域又は機関】NL

(73)【特許権者】

【識別番号】521258234

【氏名又は名称】ヴァスティック ビー．ブイ．

(74)【代理人】

【識別番号】100129229

【弁理士】

【氏名又は名称】村澤 彰

(72)【発明者】

【氏名】ファン アルンヘム，バート

(72)【発明者】

【氏名】ファン デル ヴィーン，オラフ エグベルト

【審査官】松田 岳士

(56)【参考文献】

【文献】特表２０１７－５２０７５３（ＪＰ，Ａ）

【文献】特開２０１８－１４７４１５（ＪＰ，Ａ）

【文献】特開２００５－２９３３９５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／００７８４１４（ＵＳ，Ａ１）

【文献】特開２０１２－０９３９６２（ＪＰ，Ａ）

【文献】特開２００４－１３９２７８（ＪＰ，Ａ）

【文献】特表２０２１－５１３７０８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

捨てられる前に食品関連産物（２）を検出するためのシステム（１）であって、
１つ以上のカメラ（１１）と、
表示ユニット（１２）と、
前記１つ以上のカメラおよび前記表示ユニットに通信可能に接続された計算装置（１３）と、
前記計算装置に通信可能に接続されたスケール（３）と、を備え、前記スケールは、ごみ箱（３１）を保持するように構成されており、
前記１つ以上のカメラは、前記食品関連産物が前記１つ以上のカメラの視野内にあるとき、前記食品関連産物が前記ごみ箱に捨てられる前に、前記食品関連産物の画像または映像を取得するように構成されており、
前記スケールは、前記食品関連産物が前記ごみ箱にあるときに、前記食品関連産物の重量情報を取得するように構成されており、
前記計算装置は、
画像認識アルゴリズムを適用することによって、前記取得された画像または映像から前記食品関連産物に関する情報を取得し、
前記スケールから前記重量情報を受信し、
前記表示ユニット上でデータを生成および出力するように構成されており、前記データは、前記食品関連産物に関する前記情報および前記重量情報に基づく、システム。

【請求項2】

前記計算装置は、リモートサーバ（４）に通信可能に接続され、前記計算装置は、
前記画像認識アルゴリズムを適用するために、前記取得された画像または映像を前記リモートサーバに送信し、
前記リモートサーバから前記食品関連産物に関する情報を受信するように構成されている、請求項１に記載のシステム。

【請求項3】

前記計算装置は、前記食品関連産物に関する情報、前記重量情報、前記データ、およびタイムスタンプのうちの１つ以上を、前記リモートサーバのデータストレージ（４１）に格納するようにさらに構成されている、請求項２に記載のシステム。

【請求項4】

前記計算装置は、前記画像認識アルゴリズムが前記取得された画像または映像から前記食品関連産物の１つ以上を識別できない場合に、前記画像または前記映像内の１つ以上の物体について１つ以上の質問を前記表示ユニット上に提示するように構成されており、前記表示ユニットは、前記１つ以上の質問に応答してユーザ入力を受信するためのユーザインターフェースを備え、前記応答は、前記画像認識アルゴリズムによって使用されて、前記１つ以上の物体の検出を向上させる、請求項１～３のいずれか１項に記載のシステム。

【請求項5】

前記１つ以上のカメラは、前記食品関連産物が視野内で検出を成功させるために必要な動的最小時間において実質的に固定された位置にあるときに、前記画像または前記映像を自動的に取得するように構成されている、請求項１～４のいずれか１項に記載のシステム。

【請求項6】

前記データは、さまざまな食品関連産物の比率を含み、前記さまざまな食品関連産物は、前記画像認識アルゴリズムによって検出され、前記比率は、前記重量情報および前記検出されたさまざまな食品関連産物に基づく、請求項１～５のいずれか１項に記載のシステム。

【請求項7】

前記１つ以上のカメラは、前記画像または前記映像から前記食品関連産物に関する３Ｄ情報を取得するための立体画像カメラを備える、請求項１～６のいずれか１項に記載のシステム。

【請求項8】

前記画像認識アルゴリズムは、前記３Ｄ情報から体積情報を取得するように構成されており、前記計算装置は、前記体積情報に基づいて前記食品関連産物の重量推定値を取得するように構成されており、前記立体画像カメラは、前記スケールと置き換わり、前記重量情報の代わりに、前記重量推定値が使用されている、請求項７に記載のシステム。

【請求項9】

前記１つ以上のカメラは、前記画像または前記映像から前記食品関連産物に関する物質情報を取得するためのハイパースペクトル画像カメラを備える、請求項１～８のいずれか１項に記載のシステム。

【請求項10】

前記システムは、前記食品関連産物が前記１つ以上のカメラの視野内にあるときに検出するための深度センサをさらに備える、請求項１～９のいずれか１項に記載のシステム。

【請求項11】

前記視野は、前記１つ以上のカメラから実質的に下向きの視線の周辺の領域に位置する、請求項１～１０のいずれか１項に記載のシステム。

【請求項12】

ハウジング（１００）をさらに備え、前記ハウジングは前記表示ユニットを備え、前記ハウジングは前記１つ以上のカメラを収容し、前記ハウジングは水平面（１０３）からある角度（α）で設置された外面側（１０２）を備え、前記カメラは前記ハウジング内の前記外面側に位置し、その結果、視線（１０１）は前記角度（α）で垂直方向に傾くことになり、前記視線は前記外面側に対して垂直であり、前記角度（α）は、１５～４５度の範囲内、好ましくは１５～３０度の範囲内、より好ましくは１５～２５度の範囲内である、請求項１１に記載のシステム。

【請求項13】

前記ハウジングは、前記計算装置をさらに備える、請求項１２に記載のシステム。

【請求項14】

前記ハウジングは、前記食品関連産物が前記１つ以上のカメラに提示される場所を示す視覚的インジケータ（１６）をさらに備える、請求項１２または１３に記載のシステム。

【請求項15】

前記食品関連産物が前記１つ以上のカメラによって登録されたとき、前記視覚的インジケータは、その色を変える、請求項１４に記載のシステム。

【請求項16】

前記ハウジングは、可聴フィードバックを提供する可聴インジケータ（１７）をさらに備える、請求項１２～１５のいずれか１項に記載のシステム。

【請求項17】

前記食品関連産物が前記１つ以上のカメラによって登録されたとき、前記可聴インジケータは、音を発する、請求項１６に記載のシステム。

【請求項18】

前記スケール（３）は、前記ごみ箱を前記スケール上およびスケール外に転がすことを可能にする少なくとも１つの傾斜側壁（３３）を備える、請求項１～１７のいずれか１項に記載のシステム。

【請求項19】

前記傾斜側壁は、前記スケールの上部と一体部分を形成する、請求項１８に記載のシステム。

【請求項20】

前記ハウジング（１００）および前記スケール（３）は、前記スケールから垂直距離で前記ハウジングを固定するために、垂直に位置合わせされた支持構造によって接続されている、請求項１２～１７のいずれか１項に記載のシステム。

【請求項21】

表示ユニットを備えるハウジングであって、前記ハウジングは、１つ以上のカメラと、計算装置と、をさらに備え、前記ハウジングは請求項１２または１３に記載のシステムで使用するように構成されている、ハウジング。

【請求項22】

捨てられる前に食品関連産物を検出するための方法であって、前記方法は、
前記食品関連産物が１つ以上のカメラの視野内にあるときであって、前記食品関連産物がごみ箱に捨てられる前に、前記１つ以上のカメラを使用して前記食品関連産物の画像または映像を取得することと、
前記食品関連産物が前記ごみ箱にあるときにスケールを使用して前記食品関連産物の重量情報を取得することであって、前記スケールは前記ごみ箱を保持するように構成されている、取得することと、
画像認識アルゴリズムを適用することによって、前記取得された画像または映像から前記食品関連産物に関する情報を計算装置において取得することと、
前記計算装置によって表示ユニット上でデータを生成および出力することであって、前記データは、前記食品関連産物に関する前記情報および前記重量情報に基づく、方法。

【請求項23】

前記画像認識アルゴリズムを適用するために、前記取得された画像または映像を前記計算装置からリモートサーバに送信することと、
前記計算装置内の前記リモートサーバから前記食品関連産物に関する前記情報を受信することと、をさらに含む、請求項２２に記載の方法。

【請求項24】

前記画像認識アルゴリズムが前記取得された画像または映像から前記食品関連産物の１つ以上を識別できない場合に、前記画像または前記映像内の１つ以上の物体について１つ以上の質問を前記表示ユニット上に提示することと、前記１つ以上の質問に応答して、前記表示ユニットのユーザインターフェースからユーザ入力を受信することと、をさらに含み、前記応答は、前記１つ以上の物体の検出を改善するために前記画像認識アルゴリズムによって使用される、請求項２２または２３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

[0001]本発明は、食品関連産物を検出するためのシステムおよび方法、ならびにシステムで使用するための表示ユニットに関する。

【背景技術】

【0002】

[0002]食品を扱う場所では、賞味期限を過ぎた食品や、消費や調理後に残った食品を捨てなければならないため、食品廃棄物に直面することがよくある。そのような場所の例はレストランであり、顧客が皿に料理を残したり、厨房で食事を調理した後に余り物が出たり、または在庫の食品が賞味期限を過ぎたりすることによって食品廃棄物が発生し得る。

【0003】

[0003]食品廃棄物は減らす必要がある。食品廃棄物への洞察は、たとえば、計画、配分、在庫管理を最適化するためにレストランで用いられる場合があり、その結果、食品をより効率的に購入し、より環境に優しい方法で行動することになる。食品廃棄物への洞察から恩恵を受け得る場所の他の例は、ケータリング業者、ケータリング業界、病院、医療機関、および一般的に食品の調理に関与するすべての場所である。

【発明の概要】

【0004】

[0004]本発明の一態様によれば、廃棄される前に食品関連産物を検出するためのシステムが提案される。本システムは、１つ以上のカメラを備え得る。本システムは、表示ユニットをさらに備え得る。本システムは、１つ以上のカメラおよび表示ユニットに通信可能に接続された計算装置をさらに備え得る。本システムは、計算装置に通信可能に接続されたスケールをさらに備え得る。スケールは、ごみ箱を保持するように構成され得る。例えば、ごみ箱はスケール上に置かれているだけで、スケールはごみ箱から分離可能である。スケールは、ごみ箱と一体化することができる。ごみ箱は、リサイクル容器であってもよい。食品関連産物が１つ以上のカメラの視野内にあるとき、食品関連産物がごみ箱に入る前に、食品関連産物の画像または映像を取得するように、１つ以上のカメラを構成することができる。有利なことに、これにより、ごみ箱内の他の食品廃棄物と混ざる前に、食品の残り物を検出することができる。スケールは、食品関連産物がごみ箱内にあるときに、食品関連産物の重量情報を取得するように構成され得る。計算装置は、画像認識アルゴリズムを適用することによって、取得された画像または映像から食品関連産物に関する情報を取得するように構成され得る。この画像認識アルゴリズムは、計算装置上でローカルに実行することができ、または計算装置が通信可能に接続され得るリモートサーバ上でリモートで実行することができる。計算装置は、スケールから重量情報を受信するように構成され得る。計算装置は、表示ユニット上でデータを生成および出力するように構成され得、データは、食品関連産物に関する情報および重量情報に基づく。

【0005】

[0005]食品関連産物は、典型的には食品の残り物であるが、プラスチック、紙、ナプキン、段ボール、（使い捨て）カトラリーなど、廃棄される他の物体も含まれる場合がある。食品関連産物は、使い捨て用品が置かれた容器、プレート、または他のトレイ品目を含み得、これらは、使い捨て用品と共に検出され、食品の残り物または他の使い捨て用品の検出を改善するために画像認識アルゴリズムに入力され得る。

【0006】

[0006]一実施形態では、計算装置は、リモートサーバに通信可能に接続され得る。計算装置は、画像認識アルゴリズムを適用するために、取得された画像または映像をリモートサーバに送信するように構成され得る。計算装置は、リモートサーバから食品関連産物に関する情報を受信するように構成され得る。リモートサーバは、クラウドコンピューティングサーバまたはクラウドコンピューティングサービスとして実装され得る。

【0007】

[0007]一実施形態では、計算装置は、食品関連産物に関する情報、重量情報、出力データ、およびタイムスタンプのうちの１つ以上を、リモートサーバのデータストレージに格納するようにさらに構成され得る。これにより、食品廃棄物を経時的に分析またはマッピングすることが可能になる。またこれにより、経時的に検出される食品廃棄物の最小化に関して勧告を生成することも可能になる。

【0008】

[0008]一実施形態では、計算装置は、画像認識アルゴリズムが取得された画像または映像から食品関連産物の１つ以上を識別できない場合に、画像または映像内の１つ以上の物体について１つ以上の質問を表示ユニット上に提示するように構成され得る。表示ユニットは、１つ以上の質問に応答してユーザ入力を受信するための、好ましくはタッチスクリーンインターフェースの形態である、ユーザインターフェースを備え得る。応答は、画像認識アルゴリズムによって使用されて、１つ以上の物体の検出を向上させることができる。

【0009】

[0009]一実施形態では、１つ以上のカメラは、食品関連産物が１つ以上のカメラまたは深度センサの視野内にあり、かつ検出を成功させるために必要な動的最小時間において実質的に固定された位置にあるときに、画像または映像を自動的に取得するように構成され得る。成分の検出が成功すると、ユーザに視聴覚フィードバックを提供できる。固定された位置は、視野内の任意の位置であり得、典型的には、ユーザが食品関連産物をごみ箱に捨てる前に１つ以上のカメラの下に保持する場所によって定義される。

【0010】

[0010]一実施形態では、出力データは、さまざまな食品関連産物の比率を含み得る。さまざまな食品関連産物は、画像認識アルゴリズムによって検出され得る。比率は、重量情報に基づき得る。よって、重量情報と画像検出アルゴリズムとを組み合わせることにより、カメラおよびスケールに提示されたさまざまな食品関連産物の比率を取得することができる。

【0011】

[0011]一実施形態では、１つ以上のカメラは、画像または映像から食品関連産物に関する３Ｄ情報を取得するための立体画像カメラを備え得る。

【0012】

[0012]一実施形態では、画像認識アルゴリズムは、３Ｄ情報から体積情報を取得するように構成され得る。計算装置は、体積情報に基づいて食品関連産物の重量推定値を取得するように構成され得る。立体カメラは、スケールと置き換わってもよい。重量情報の代わりに、重量推定値を使用してもよい。よって、ステレオカメラを使用すると、スケールなしでシステムを実装することができる。

【0013】

[0013]一実施形態では、１つ以上のカメラは、画像または映像から食品関連産物に関する物質情報を取得するためのハイパースペクトル画像カメラを備え得る。物質情報の非限定的な例は、食品の残り物中の脂肪、タンパク質、及び糖のレベルである。

【0014】

[0014]一実施形態では、システムは、食品関連産物が１つ以上のカメラの視野内にあるときに検出するための深度センサ、例えば超音波深度センサまたはレーザーベースの深度センサをさらに含み得る。深度センサは、１つ以上のカメラと組み合わせて使用してもよく、または単独で使用してもよく、食品関連産物が１つ以上のカメラの視野内にあるときに検出し、それによって１つ以上のカメラをトリガして食品関連産物の画像または映像を取得することができる。深度センサは、典型的には１つ以上のカメラの隣に配置される。

【0015】

[0015]一実施形態では、視野は、１つ以上のカメラから実質的に下向きの視線の周辺の領域に位置し得る。

【0016】

[0016]一実施形態では、表示ユニットは、１つ以上のカメラを収容するためのハウジングを備え得る。ハウジングは、水平面からある角度で設置された外面側を備え得る。カメラはハウジング内の外面側に位置し得、その結果、視線は当該角度で垂直方向に傾くことになる。視線は、外面側に対して垂直である。角度は、１５～４５度、好ましくは１５～３０度、より好ましくは１５～２５度であり得る。

【0017】

[0017]一実施形態では、表示ユニットのハウジングは、計算装置をさらに備え得る。

【0018】

[0018]一実施形態では、ハウジングは、食品関連産物が１つ以上のカメラに提示される場所を示す視覚的インジケータをさらに備え得る。

【0019】

[0019]一実施形態では、食品関連産物が１つ以上のカメラによって登録されたとき、視覚的インジケータは、その色を変えることができる。

【0020】

[0020]一実施形態では、ハウジングは、可聴フィードバックを提供する可聴インジケータをさらに備え得る。

【0021】

[0021]一実施形態では、食品関連産物が１つ以上のカメラによって登録されたとき、可聴インジケータは、音を発することができる。

【0022】

[0022]一実施形態では、スケールは、ごみ箱をスケール上およびスケール外に転がすことを可能にする少なくとも１つの傾斜側壁を備え得る。

【0023】

[0023]一実施形態では、前記傾斜側壁は、前記スケールの上部と一体部分を形成する。

【0024】

[0024] 一実施形態では、ハウジング（１００）およびスケール（３）は、スケールから垂直距離でハウジングを固定するために、垂直に位置合わせされた支持構造によって接続されている、 [0025]本発明の一態様によれば、ハウジング内の表示ユニットが提案され、ハウジングは、上記の特徴の１つ以上を有するシステムで使用するために、１つ以上のカメラと、計算装置と、をさらに備える。

【0025】

[0026]本発明の一態様によれば、廃棄される前に食品関連産物を検出するための方法が提案される。本方法は、食品関連産物が１つ以上のカメラの視野内にあるときであって、食品関連産物がごみ箱に捨てられる前に、１つ以上のカメラを使用して食品関連産物の画像または映像を取得することを含み得る。本方法は、食品関連産物がごみ箱にあるときにスケールを使用して食品関連産物の重量情報を取得することをさらに含み得、スケールは、ごみ箱を保持するように構成されている。本方法は、画像認識アルゴリズムを適用することによって、取得された画像または映像から食品関連産物に関する情報を計算装置において取得することをさらに含み得る。本方法は、計算装置によって表示ユニット上でデータを生成および出力することをさらに含み得、データは、食品関連産物に関する情報および重量情報に基づくことができる。

【0026】

[0027]一実施形態では、本方法は、画像認識アルゴリズムを適用するために、取得した画像または映像を計算装置からリモートサーバに送信することをさらに含み得る。本方法は、計算装置内のリモートサーバから食品関連産物に関する情報を受信することをさらに含み得る。

【0027】

[0028]一実施形態では、方法は、画像認識アルゴリズムが取得された画像または映像から食品関連産物の１つ以上を識別できない場合に、画像または映像内の１つ以上の物体について１つ以上の質問を表示ユニット上に提示することをさらに含み得る。本方法は、１つ以上の質問に応答して、表示ユニットのユーザインターフェースからユーザ入力を受信することをさらに含み得、応答は、１つ以上の物体の検出を改善するために画像認識アルゴリズムによって使用される。

【0028】

[0029]以下、実施形態をさらに詳細に説明する。しかしながら、これらの実施形態は、本開示の保護の範囲を限定するものとして解釈されるものではないことを理解されたい。

【図面の簡単な説明】

【0029】

[0030]ここで、実施形態は、例としてのみ、対応する参照記号が対応する部品を示し、以下を含む添付の概略図を参照して説明する。

【0030】

【図1】[0031]本発明の例示的な実施形態のシステムを示す。

【図2】[0032]本発明の例示的な実施形態のハウジングおよびカメラの概略側面図を示す。

【図3】[0033]本発明の例示的な実施形態のハウジング内の表示ユニットおよびカメラの立面図を示す。

【図4】[0034]本発明の例示的な実施形態の方法のステップのブロック図を示す。

【図5】[0035]ハウジング内の表示ユニットの別の例示的な実施形態を示す。

【図6A】[0036]例示的なスケールの立面図を示す。

【図6B】[0037]例示的なスケールの側面図を示す。

【0031】

[0038]これらの図は、説明のみを目的としたものであり、請求項に規定されている範囲または保護の制限として機能するものではない。

【発明を実施するための形態】

【0032】

[0039]図１は、ごみ箱３１に捨てられる前に食品関連産物２を検出するための例示的なシステム１を示す。システム１は、好ましくは、ハウジング１００を含み、ハウジング１００は、１つ以上のカメラ１１と、表示ユニット１２と、コンピューティングユニット１３と、通信モジュール１４と、を含む。あまり好ましくはないが、１つ以上のカメラ１１をハウジング１００から分離させ、および／または計算装置１３をハウジング１００から分離させることが可能である。システム１は、ごみ箱３１を保持し、食品関連産物２がごみ箱３１内に置かれたときに食品関連産物２を計量するように構成されたスケール３を含み得る。スケール３は、ごみ箱３１と一体化することができる。好ましくは、ごみ箱３１は、食品関連産物２が捨てられた後にリサイクルされることを可能にするリサイクル容器である。スケール３は、典型的には通信モジュール１４を介して計算装置１３と通信するための通信モジュール３２を含み得る。

【0033】

[0040]表示ユニット１２は、典型的には、食品関連産物２の中で検出された食品を表すフルカラービットマップ画像を提示することができる。表示ユニット１２は、例えば、任意の選択可能なボタンオブジェクトまたは表示ユニット１２のタッチスクリーンインターフェースを通して選択可能な任意の他のユーザインターフェース要素の形態で、グラフィカルユーザインターフェースを表示するように構成され得る。計算装置１３は、例えば、Ｒａｓｐｂｅｒｒｙ Ｐｉ（商標）コンピュータの形態の、任意の適切なＣＰＵ、ＧＰＵ、および／またはＮＰＵベースのコンピュータであり得る。好ましくは、計算装置１３は、計算装置１３のサイズ要件を最小化するためのスモールフォームファクタまたはシングルボードコンピュータである。通信モジュール１４は、計算装置１３と統合されていてもよい。通信モジュール１４は、任意の適切な無線または有線通信モジュールであり得る。通信モジュール１４は、複数の異なる通信インターフェース、例えば、スケール３の通信モジュール３２との短距離通信のためのＢｌｕｅｔｏｏｔｈ（商標）インターフェース、およびリモートサーバ４と通信するためのＷｉ－ＦｉまたはＬＡＮインターフェースを含み得る。Ｗｉ－ＦｉまたはＬＡＮインターフェースの例において、通信には、典型的に、インターネット５、ローカルエリアネットワーク、またはその他の適切なネットワークに接続するためのルータ（図示せず）がさらに含まれる。

【0034】

[0041]例示的な実施形態では、ハウジング１００およびスケール３は、スケール３から垂直距離でハウジング１００を固定するために、ポールまたは他の垂直に位置合わせされた支持構造によって接続され得る。これにより、ハウジング１００およびスケール３を単一ユニットとして移動させたり、所望の位置に配置したりすることができる。垂直に位置合わせされた支持構造は、スケール３とハウジング１００内の構成要素との間の電気またはデータ／信号接続のための電気ケーブルおよび／またはデータケーブルを誘導または収容するために使用され得る。

【0035】

[0042]リモートサーバ４は、典型的には、データストレージ４１と、通信モジュール４２と、を含む。リモートサーバ４は、スタンドアロンサーバであってもよく、クラウドコンピューティングサーバとして実装されてもよく、クラウドコンピューティングサービスとして実装されてもよく、または任意の他のコンピュータシステムであってもよい。データネットワーク５は、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネット、または任意の他の適切なネットワークであり得る。

【0036】

[0043]図２は、ハウジング１００内のカメラ設定の例示的な実施形態を示す。図２には、カメラ１１を含むハウジング１００の側面図が示されている。ハウジング１００は、壁６に取り付けることができる。図２では、ハウジング１００は、ハウジング１００の下側に外面側１０２を有する。外面側１０２は、水平面１０３から角度αで配置することができ、したがって、ハウジング１００の下側は、角度αで配置することができる。カメラ１１は、面側１０２に設置することができる。カメラからの視線１０１は、典型的には、面側１０２に垂直な方向にあるので、視線１０１は、よって、角度αで垂直に傾斜させることができる。特に、ハウジング１００が壁６に取り付けられているとき、傾斜させた視線１０１は、カメラ１１の下に食品関連産物２を提示できない壁６の大部分を覆うことを排除することによって視野を改善し得る。さらに、傾斜させた視線１０１により、産物を側面からわずかに見ることができ、それにより、食品関連産物２の検出可能性が向上する。

【0037】

[0044]図３は、ハウジング１００内に設置され得る例示的な表示ユニット１２を示す。図３はさらに、ハウジング１００内に設置され得るカメラ１１を示す。図３の例では、カメラ１１が設置されているハウジングの下側は、図２で説明しているように、カメラ１１の視線を垂直に傾斜させ得る角度で配置されている。

【0038】

[0045]一実施形態では、ごみ箱３１に最終的に入る食品関連産物（好ましくはすべて）は、最初にごみ箱３１の上方のスマートカメラ１１によって捕捉され得、次にごみ箱３１の下に配置されたデジタルスケール３によって捕捉され得る。カメラの視野内で何かが動くと、カメラは、その物体が完全に視野内にあり、かつ視野内の固定位置で安定している（移動が停止している）ことを検出するとすぐに、自動的に写真を撮るか、または映像を撮影することができる。物体は、食品関連産物２が位置するプレートまたは容器を含み得る。物体は、食品関連産物２を保持する人間の手であり得る。成分の検出が成功すると、ユーザに視聴覚フィードバックを提供できる。捕捉された画像は、クラウド４に送信され得、そこで、成分検出は、画像認識アルゴリズムによって実行され得る。あるいは、画像認識アルゴリズムは、例えば、計算装置１３内において、ローカルに実行され得る。画像認識アルゴリズムによって使用されるモデルは、画像上の１つ以上の食品関連産物２を検出／認識し、表示ユニット１２上のローカルフィードバックのために結果を計算装置１３に送り返すことができる。廃棄物２がごみ箱３１に捨てられると、デジタルスケール３は、重量を捕捉し、この情報を計算装置１３および／またはクラウド４に送信することができる。重量および画像処理の結果は、成分が認識された比率で相互にリンクさせることができ、こうして得られた結果は、結果が表示ユニット１２上に表示され得る計算装置に送り返すことができる。結果は、クラウドデータベースなどのデータストレージ４１に格納することもできる。好ましくは、結果は、タイムスタンプまたは日付および／もしくは時間の他の任意の表示と共に格納される。このデータを任意の時点で使用して、実用的な結果を示すダッシュボードを生成することができる。

【0039】

[0046]カメラの視点で捕捉され得るアイテムは限られているため、廃棄物の流れによって比較的簡単に検出することができる。発明者らは、現在、食品廃棄物に焦点を当てており、レストランにおける４種類の食品廃棄物の流れを特定した。ただし、実際には、すべてのレストランが廃棄物を分別しているわけではないため、ツールは、他の種類の廃棄物、例えば、プラスチック、紙、段ボール、カトラリーも検出する。これは、発明者らの検出モデルに、食品廃棄物だけではない機会を与える。

【0040】

[0047]システム１によって、さまざまな種類の食品廃棄物の流れが捕捉され得る。その例は次のとおりである：（ｉ）在庫からの賞味期限切れの製品、（ｉｉ）金属製の容器上、ごみ箱またはフライパンまたは大きなプラスチック容器内でカメラ１１に検出可能に提示され得る、加工済みの調理場廃棄物、（ｉｉｉ）カッティングプレート上またはより大きなプラスチックもしくは金属製のごみ箱上でカメラ１１に検出可能に提示され得る、カッティング廃棄物、（ｉｖ）より小さなプレートまたはボウル（例えば、磁器）上でカメラ１１に検出可能に提示され得る、レストランでの廃棄物。

【0041】

[0048]食品関連産物２の状態またはコンディションは、画像でも検出することができ、廃棄物の流れの分析に使用することができる。たとえば、レストラン環境では、次の検出基準を使用することができる：（ｉ）在庫からの期限切れの製品の場合、製品は手つかずであるため、検出がより簡単である、（ｉｉ）調理場からの加工済み食品は、細かく刻まれていたり、すりつぶされていたりする場合があり、または液体の副菜を含み得る、（ｉｉｉ）調理場からのカッティング廃棄物の場合、食べられない皮や骨が含まれている可能性がある、（ｉｖ）レストランからの料理廃棄物には、料理の食べ残しまたは産物の一部が含まれる場合があり、部分的に食べられて混合されているため、検出がより困難になる可能性がある。システム１は、コンディションの状態を検出して、食品関連産物２の検出をさらに改善し、および／または食品廃棄物を最小化することについての勧告を生成することができる。

【0042】

[0049]例示的な実施形態では、カメラ１１は、ごみ箱３１または別のベースプラットフォームの約５０ｃｍ上方に設置することができる。別の例示的な実施形態では、カメラ１１は、ごみ箱３１または別のベースプラットフォームの約７０ｃｍ上方に設置することができる。食品関連産物２の登録は、このプラットフォームとカメラ１１との間、例えば、カメラ１１の４０ｃｍ下方で行われ得、これは、深度センサによって検出され得る。したがって、深度センサを使用して、カメラ１１をトリガし、食品関連産物２の登録を開始することができる。図３に示すように、カメラ１１は、カメラ１１が装着され得る面１０２に対してわずかな角度αで設置され得る。例えば、図２を参照すると、角度αは、水平面１０３から１５度～４５度の間の任意の角度であり得、カメラ１１が、機械が装着された平面によって遮られない画像を撮影する際、および側面から産物をわずかに見るための両方で、より良い遠近感を有することを可能にする。

【0043】

[0050]一実施形態では、カメラ１１は、スペースに制限があるときにシステムをより適したものにするために、表示ユニット１２から完全に取り外すことができる。これはまた、登録される食品廃棄物の最適な遠近感を提供するようにカメラ１１を設置することを可能にし得る。

【0044】

[0051]食品関連産物２の成分の検出には、料理の分類と廃棄物の流れの発生源（例えば、調理場、レストラン）のコンピュータビジョン技術を使用することができる。このようなコンピュータビジョン技術の中核となるのは、ニューラルネットワークおよびディープラーニングである。これは、いわゆる半監視機械学習アプローチである。「監視（ｓｕｐｅｒｖｉｓｅｄ）」という用語は、典型的には、画像認識アルゴリズムが、実行する必要のあるタスク（検出）で段階的に向上するようにトレーニングされることを意味する。トレーニングは、典型的には、グラフィカルユーザインターフェースなどのユーザインターフェースを通して、人間が、材料、料理の種類、廃棄物の流れの種類に手動でラベル付けした多くの例をコンピュータに与えることによって行われる。

【0045】

[0052]適用可能な画像認識手法には、さまざまな種類がある。最もよく使用される戦略は次のとおりである：（ｉ）画像全体を分類してラベルを割り当てるための分類、（ｉｉ）画像内のおそらく複数の物体を検出してラベルを付けるための検出、および／または（ｉｉｉ）細分化、これは、画像の個々の画素にラベルを割り当てることができる、きめ細かいアプローチである。

【0046】

[0053]料理および廃棄物の流れの分類には、最初の２種類の画像認識手法、つまり分類および検出が最適である。成分の検出には、３番目の戦略、つまりより強力な細分化手法が最適である。細分化手法では、画素ごとのラベリングを使用して、画像内に生じる成分に関する比率を計算することができる。この比率は、個々の成分ごとに割り当てられ得る重量推定値を改善するために使用することができる。成分検出をトレーニングするために使用され得る入力画像は、数多くの細部を必要とする場合がある。これは、各画素または画素のグループに成分の名前を割り当てられ得ることを意味する。

【0047】

[0054]トレーニングされると、モデルを使用して、画像認識アルゴリズムに供給されるカメラ１１によって捕捉された新しい画像内の成分を独立して認識することができる。したがって、「半」監視という用語が適用可能である。モデルがトレーニングされるとすぐに、それを使用して、いかなる手動の操作も必要とせずに、画像内の成分を自動的に認識することができる。

【0048】

[0055]追加のドメイン知識（レストランなどの会場内のカメラ１１、ハウジング１００および／もしくはスケール３の物理的位置、ならびに／または当該レストランのメニューなど）を使用して、検出アルゴリズムが動作する必要がある範囲を制限することにより、精度を向上させることができる。例えば、物理的位置を使用して、特定の廃棄物の流れのみが特定のシステム１によって記録されることを判定することができ、メニューを使用して、システム１が遭遇し得る成分の多様性を制限することができる。

【0049】

[0056]検出アルゴリズムの品質および精度を改善するために、１つ以上のカメラ１１は、立体カメラを含み得る。立体カメラは、捨てられる食品の体積に関するより多くの情報を提供し、重量推定値を改善するのに役立ち得る３Ｄ深度画像を取得することができる。単一のトップダウンカメラと比較すると、トップダウンカメラは、他の素材で覆われていると特定の成分がカメラに見えないというオクルージョンの問題が発生する可能性があるが、立体カメラは、２つのわずかに異なる角度のカメラを使用してより良いビューを提供する。Ｓｉａｍｅｓｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓなどのコンピュータビジョン技術は、入力として立体画像を使用することができ、立体カメラに提示されたときに食品関連産物２をより適切に検出するために使用され得る。

【0050】

[0057]立体カメラを使用して、食品関連産物２の体積情報を取得することができる。食品自体の識別と共に、体積情報は、検出された食品の重量の表示を提供し得る。次に、スケール３の代わりに立体カメラを使用することができ、その場合、システム１はスケール３を含む必要はない。

【0051】

[0058]検出アルゴリズムの品質および精度を改善するために、１つ以上のカメラ１１は、ハイパースペクトルカメラを含み得る。ハイパースペクトルカメラは、画素ごとのスペクトルを取得することができるため、標準のＲＧＢカメラよりもはるかに多くの情報がもたらされる。この情報を使用して、例えば、脂肪、タンパク質、および糖のレベルを検出することができ、成分の検出の品質を単純化および改善することができる。

【0052】

[0059]ごみ箱３１に最終的に入るものの重量は、おそらく画像内で成分が検出される比率に応じて、それぞれの食品廃棄物の写真に登録され得る。この処理は、写真が撮影され、画像および重量データが合わせてリモートサーバ４に送信され得た後、例えば数秒以内の短い時間枠で実行され得る。

【0053】

[0060]画像認識アルゴリズムが画像から食品関連産物２を判定／検出できない場合、画像は、最新の検出モデル内で再検出するために、リモートサーバ４または別のリモートサーバもしくはクラウドに送信され得、その結果、フィードバック画面として表示装置１２に送信される画像の複数の選択肢をもたらし得る。ついで、エンドユーザは、フィードバック画面で１つ以上の画像を選択して、産物（複数可）を識別することができる。画像（の一部）が複数の選択肢にない場合、ユーザは、たとえば、検出されなかった産物（複数可）を書き留めるための選択可能な「説明（ｅｘｐｌａｉｎ）」ボタンの形態で、さらにフィードバックを提供するように提案される場合がある。ユーザからのこのフィードバックは、画像認識アルゴリズムの検出モデルに直接追加することができる。

【0054】

[0061]エンドユーザからのフィードバックは、さまざまな方法で提供することができる。例えば、ディスプレイデバイス１２は、フィードバックを提供するためのタッチスクリーンインターフェースを含み得る。代替的または追加的に、音声認識インターフェースをハウジング１００にインストールして、エンドユーザがシステムと対話できるようにすることができる。代替的または追加的に、ハウジング１００上の１つ以上のボタンは、エンドユーザがシステムにフィードバックを提供することを可能にし得る。

【0055】

[0062]システム１は、さまざまなユースケースで使用することができる。ユースケースの非限定的な例は次のとおりである：（ｉ）調理場またはレストランのスタッフによる清掃中の廃棄、（ｉｉ）調理場またはレストラン内の客による清掃中の処分（ｉｉｉ）例えばセルフサービスのレストランにおいて、食品関連産物２が、人間の関与なしに１つ以上のカメラ１１に提示される組立ラインの検出、（ｉｖ）セルフサービスのレストランおよび医療機関において、残り物やゴミを捨て、トレイやカトラリーを洗浄する前に、複数のトレイが収集されるトレイカート内の食品関連産物の検出。

【0056】

[0063]通常、スケール３およびごみ箱３１はカメラ１１の下に位置するが、スケール３およびごみ箱３１を別の場所に設置することも可能である。好ましくは、スケール３およびごみ箱３１は、カメラの下に保持されることからごみ箱に廃棄物を捨てることまでの廃棄物の取り扱いを容易にするために、カメラ１１の近傍に位置する。

【0057】

[0064]システム１は、比較のために近隣および／または同等のレストラン間で、おそらく匿名で、パフォーマンスデータを提供することによって廃棄物削減を奨励するために使用され得る。

【0058】

[0065]システムは、代替的または追加的に、食品関連産物２に加えて、他のタイプの廃棄物を検出することができる。その例としては、プラスチック、紙、段ボール、およびカトラリーがある。

【0059】

[0066]システム１は、例えば、在庫管理ソリューションまたは販売時点ソリューションを提供する第三者ベンダーと統合され得る。

【0060】

[0067]図４は、図１に示すようなシステム１の部分によって実行され得るステップの例示的なブロック図を示す。図４を図１と比較すると、スマートカメラは１つ以上のカメラ１１と同様であり得、スマートスケールはスケール３と同様であり得、タッチスクリーン端末は表示ユニット１２と同様であり得、クラウドストレージはデータストレージ４１と同様であり得る。スマートカメラから始めて、図４では、カメラは、カメラまたは深度センサの視野にある容器またはプレートの写真を自動的に撮影することができる。直接中間画像フィードバックをタッチスクリーン端末に送信することができ、そこでは得られた画像をフルカラービットマップ画像として提示することができる。撮影された写真は、ローカルコンピュータデバイス１３上および／またはクラウドなどのリモートサーバ４内で実行され得るコンピュータビジョンプログラムに入力され得る。コンピュータビジョンプログラムは、画像認識アルゴリズムを画像に適用して、検出結果を取得することができる。写真が撮影された後、廃棄物はごみ箱に捨てられ得る。スマートスケールから始めて、スケールは、次にごみ箱に捨てられた廃棄物の廃棄物変化を検出することができる。廃棄物変化は、ごみ箱に最後に捨てられた廃棄物の重量を示している可能性がある。直接中間重量フィードバックをタッチスクリーン端末に送信することができ、そこでは得られた重量情報を提示することができる。検出結果と重量情報とを照合し、捨てられた廃棄物を示す最終的な登録フィードバックをタッチスクリーン端末上に提示することができる。検出結果および重量情報は、追加的または代替的に、クラウドストレージに格納され得、そこから統計情報が生成され得、実用的洞察が、例えば、ウェブサイト上のダッシュボード出力またはダッシュボードアプリケーション内に提示され得る。タッチスクリーン端末は、ユーザによって提供された補強学習フィードバックを取得するために使用され得、それは、廃棄物の検出可能性を改善するためにコンピュータビジョンプログラムに供給され得る。

【0061】

[0068]図５は、ハウジング１００内の例示的な表示ユニット１２を示し、これは、図３に示す表示ユニットおよびハウジングの非限定的な代替物である。この例では、カメラ１１は、ディスプレイ１２よりも高い位置に位置し得る。ハウジング１００は、食品関連産物２を照らすための１つ以上の光源１５をさらに含み得、カメラ１１によるより良い検出を可能にする。ハウジングの上部に示す他の２つの円は、さらなるセンサ、カメラおよび／またはさらなる光源を有する可能性を示す。これらのさらなるセンサ、カメラ、および／または光源は、カメラ１１および光源１５、例えば深度センサまたは赤外線光源とは機能が異なる場合がある。

【0062】

[0069]ハウジング１００は、ごみ箱３１に捨てられる前に食品関連産物がカメラに提示される高さを示す視覚的インジケータ１６を含み得る。これにより、システムは、ユーザがカメラに対して最適な位置に産物を置き、ごみ箱に捨てられるものを検出できるようにする。視覚的インジケータ１６は、例えば、点灯されたＬＥＤ帯状板として、さまざまなやり方で実装され得る。発光式の視覚的インジケータを使用する場合、ステータスを示すためにライトの色が変更される場合がある。例えば、産物がカメラによって登録されると、視覚的インジケータ１６の色が緑色に変わり、よって、産物がごみ箱に捨てられる可能性があることを示し得る。

【0063】

[0070]ハウジング１００は、例えば、産物がカメラによって登録されたことを示し、よって製品がごみ箱に捨てられ得ることを示すために、ユーザにフィードバックを提供するための可聴インジケータ１７を含み得る。

【0064】

[0071]図６Ａおよび６Ｂは、図１のシステムで使用され得る例示的なスケール３を示す。図６Ａおよび６Ｂの重量スケール３は、ごみ箱３１のためのより多くのスペース、およびごみ箱３１とカメラ１１との間のより多くのスペースを可能にするために、物理的に可能な限り低くなるように設計されている。さらに、図６Ａおよび６Ｂのスケール３は、ごみ箱がスケール３上およびスケール３から転がり落ちることを可能にするために、少なくとも１つ（例えば２つ）の傾斜面３３、すなわち傾斜側壁を含む。傾斜面３３は、スケールの上部をともなう単一の材料片を形成し得、すなわち、重量を測定するとき、スケール３の可動部分の一部となり得る。

【0065】

[0072]１つ以上の実施形態は、コンピュータシステムで使用するためのコンピュータプログラム製品として実装され得る。プログラム製品のプログラム（複数可）は、実施形態の機能（本明細書に記載の方法を含む）を定義することができ、さまざまなコンピュータ可読記憶媒体に収容することができる。コンピュータ可読記憶媒体は、非一時的記憶媒体であり得る。例示的なコンピュータ可読記憶媒体は、（ｉ）情報を永続的に格納し得る書き込み不可記憶媒体（例えば、ＣＤ－ＲＯＭドライブによって読み取り可能なＣＤ－ＲＯＭディスク、ＲＯＭチップ、または任意のタイプの固体不揮発性半導体メモリ）、および（ｉｉ）変更可能な情報を格納し得る書き込み可能な記憶媒体、例えば、ハードディスクドライブまたは任意のタイプの固体ランダムアクセス半導体メモリ、フラッシュメモリを含むが、これらに限定されない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】