IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アピール テクノロジー インコーポレイテッドの特許一覧

特表2024-515406機械学習モデルを用いて食料品成熟度を決定するシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-10
(54)【発明の名称】機械学習モデルを用いて食料品成熟度を決定するシステム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240403BHJP
   G06N 20/00 20190101ALI20240403BHJP
   G06V 10/58 20220101ALI20240403BHJP
   G06V 20/68 20220101ALI20240403BHJP
   B65G 61/00 20060101ALI20240403BHJP
【FI】
G06T7/00 350B
G06N20/00
G06V10/58
G06V20/68
B65G61/00 414
B65G61/00 422
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023539938
(86)(22)【出願日】2022-03-16
(85)【翻訳文提出日】2023-09-11
(86)【国際出願番号】 US2022020522
(87)【国際公開番号】W WO2022197785
(87)【国際公開日】2022-09-22
(31)【優先権主張番号】63/161,507
(32)【優先日】2021-03-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ブルートゥース
2.WCDMA
(71)【出願人】
【識別番号】516027797
【氏名又は名称】アピール テクノロジー,インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】パティソン,リチャード
(72)【発明者】
【氏名】カールシューアー,マシュー
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA03
5L096CA02
5L096DA02
5L096EA05
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
農産物及び果物などの、食料品のための成熟度、硬度、又は消費好適性を決定するためのシステム及び方法が開示される。本開示は、食料品成熟度を検出するための機械学習モデルを生成することを提供することができる。モデルは、1つ以上の食料品の破壊的及び非破壊的測定を用いて生成することができる。その後、モデルは、食料品のスペクトル撮像データにリアルタイムに適用することができる。スペクトル撮像データは点分光計によって獲得することができる。モデル及びスペクトル撮像データを用いて、食料品の成熟度を非破壊的な仕方で決定することができる。食料品の決定された成熟度は、その後、1つ以上のサプライチェーン変更を決定するために用いることができる。
【特許請求の範囲】
【請求項1】
食料品の非接触評価を用いて前記食料品のための成熟レベルを決定するための方法であって、前記方法が、
コンピューティングシステムによって、及びスペクトル撮像デバイスから、食料品のスペクトルデータを受信することと、
前記コンピューティングシステムによって、前記スペクトルデータをフィルタリングすることと、
前記コンピューティングシステムによって、及び訓練済みモデルを、前記フィルタリングされたスペクトルデータに適用することに基づいて、前記食料品の成熟レベルを決定することであって、前記訓練済みモデルが、(i)他の食料品の1つ以上の破壊的測定、及び(ii)前記他の食料品のスペクトルデータを用いて訓練されており、前記他の食料品が前記食料品と同じ食品種のものであり、前記食料品の前記成熟レベルが、前記食料品の破壊的測定を行うことなく決定される、ことと、
前記コンピューティングシステムによってユーザコンピューティングデバイスへ、前記食料品の前記成熟レベルを前記ユーザコンピューティングデバイスにおける表示のために伝送することと、
を含む、方法。
【請求項2】
前記スペクトルデータが前記食料品の1つ以上の非破壊的測定を含む、請求項1に記載の方法。
【請求項3】
前記訓練済みモデルが1つ以上の層を含み、前記層の各々が、(i)前記他の食料品の訓練画像、及び(ii)前記訓練画像によって描写された前記他の食料品の各々のための食料品分類を示すラベルを含む、請求項1に記載の方法。
【請求項4】
前記スペクトルデータをフィルタリングすることが、
前記スペクトルデータをトリミングすること、
前記スペクトルデータをスケーリングすること、及び
Savitzky-Golay2次微分フィルタを前記スペクトルデータに適用し、ノイズを低減すること、
を含む、請求項1に記載の方法。
【請求項5】
前記食料品の前記成熟レベルが閾値を超えることに基づいて前記食料品は消費に適していると決定することをさらに含む、請求項1に記載の方法。
【請求項6】
前記食料品の前記成熟レベルが閾値未満であることに基づいて前記食料品は消費に適していないと決定することをさらに含む、請求項1に記載の方法。
【請求項7】
前記食料品が、アボカド、リンゴ、及びベリーのうちの少なくとも1つである、請求項1に記載の方法。
【請求項8】
前記スペクトル撮像デバイスが、534nm~942nmの波長を有する光を用いて前記スペクトルデータを獲得する、請求項1に記載の方法。
【請求項9】
前記スペクトル撮像デバイスが、690nm~912nmの波長を有する光を用いて前記スペクトルデータを獲得する、請求項1に記載の方法。
【請求項10】
前記スペクトル撮像デバイスが、672nm~948nmの波長を有する光を用いて前記スペクトルデータを獲得する、請求項1に記載の方法。
【請求項11】
前記スペクトル撮像デバイスが、530nm~950nmの範囲内の波長を有する光を用いて前記スペクトルデータを獲得する、請求項1に記載の方法。
【請求項12】
前記食料品の前記成熟レベルが、(i)前記食料品の原産地、(ii)前記食料品の貯蔵温度、及び(iii)前記食料品に関連付けられた履歴の成熟情報のうちの少なくとも1つを含む入力データにさらに基づく、請求項1に記載の方法。
【請求項13】
前記スペクトル撮像デバイスが点分光計である、請求項1に記載の方法。
【請求項14】
前記モデルが、
前記コンピューティングシステムによって、針入度計データ曲線から導出された値を受信することであって、前記針入度計データ曲線が、前記他の食料品のための1つ以上の針入度計からの針入度計データを用いて生成される、ことと、
前記コンピューティングシステムによって、直交回帰及び射影を用いて、前記値、及び前記他の食料品のための1つ以上のデュロメータからのデュロメータデータを硬度曲線に対応付けることと、
前記コンピューティングシステムによって、前記対応付けに基づいて設計硬度メトリックを生成することと、
前記コンピューティングシステムによって、前記他の食料品のための前記スペクトルデータを用いて前記設計硬度メトリックを予測するために前記モデルを訓練することと、
を含むプロセスを用いて訓練されている、請求項1に記載の方法。
【請求項15】
前記針入度計データが深さデータ及び力データを含み、
前記針入度計データ曲線が前記深さデータと前記力データとの間の関係を表す、請求項14に記載の方法。
【請求項16】
前記針入度計データ曲線から導出された前記値が前記曲線の傾きであり、前記傾きは、前記深さデータの所定の範囲にわたる前記力データの2つの点の間の差である、請求項15に記載の方法。
【請求項17】
前記深さデータの前記所定の範囲が1.5mm~2mmである、請求項16に記載の方法。
【請求項18】
前記針入度計データ曲線から導出された前記値が最大力である、請求項14に記載の方法。
【請求項19】
前記針入度計データ曲線から導出された前記値が前記針入度計データ曲線の下の面積である、請求項14に記載の方法。
【請求項20】
前記針入度計データ曲線から導出された前記値が最大力の後の前記針入度計データ曲線の下の面積である、請求項14に記載の方法。
【請求項21】
前記針入度計データ曲線から導出された前記値が前記曲線の傾き及び前記曲線の最大力であり、
前記方法が、前記コンピューティングシステムによって、直交回帰及び射影を用いて、前記傾き、前記最大力、及び前記デュロメータデータを前記硬度曲線に対応付けることをさらに含む、請求項14に記載の方法。
【請求項22】
前記針入度計データ曲線から導出された前記値が前記曲線の傾き及び前記曲線の下の面積であり、
前記方法が、前記コンピューティングシステムによって、直交回帰及び射影を用いて、前記傾き、前記曲線の下の前記面積、及び前記デュロメータデータを前記硬度曲線に対応付けることをさらに含む、請求項14に記載の方法。
【請求項23】
前記針入度計データ曲線から導出された前記値が前記曲線の最大力及び前記曲線の下の面積であり、
前記方法が、前記コンピューティングシステムによって、直交回帰及び射影を用いて、前記最大力、前記曲線の下の前記面積、及び前記デュロメータデータを前記硬度曲線に対応付けることをさらに含む、請求項14に記載の方法。
【請求項24】
前記針入度計データ曲線から導出された前記値が、前記曲線の傾き、前記曲線の最大力、及び前記曲線の下の面積であり、
前記方法が、前記コンピューティングシステムによって、直交回帰及び射影を用いて、前記傾き、前記最大力、前記曲線の下の前記面積、及び前記デュロメータデータを前記硬度曲線に対応付けることをさらに含む、請求項14に記載の方法。
【請求項25】
食料品の成熟度メトリックを決定するための訓練済みモデルを生成するための方法であって、前記方法が、
コンピューティングシステムによって、同じ食品種の複数の試験食料品のための(i)1つ以上の針入度計からの針入度計データ、及び(ii)1つ以上のデュロメータからのデュロメータデータを受信することと、
前記コンピューティングシステムによって、前記針入度計データ及び前記デュロメータデータの部分を選択することと、
前記コンピューティングシステムによって、前記針入度計データ及び前記デュロメータデータの前記選択部分に基づいて前記同じ食品種の食料品のための成熟度メトリックを決定することと、
前記コンピューティングシステムによって、前記成熟度メトリックに基づいて機械学習訓練済みモデルを生成することであって、前記機械学習訓練済みモデルが、前記針入度計データの前記選択部分及び前記デュロメータデータの前記選択部分によって提供された破壊的測定を、スペクトルデータによって提供された非破壊的測定と相関させ、前記同じ食品種の前記食料品のための前記成熟度メトリックをモデル化する、ことと、
を含む、方法。
【請求項26】
前記針入度計データ及び前記デュロメータデータの部分を選択することが、
前記針入度計データ及び前記デュロメータデータをプロットすること、
前記プロットされた針入度計データ及び前記プロットされたデュロメータデータ内の変曲点を識別すること、
前記変曲点に基づいて前記針入度計データ及び前記デュロメータデータの部分を選択すること、並びに
前記針入度計データ及び前記デュロメータデータの非選択部分を破棄すること、
を含む、請求項25に記載の方法。
【請求項27】
前記変曲点に基づいて前記針入度計及びデュロメータデータの部分を選択することが、前記変曲点の前の前記針入度計データの部分を選択し、前記変曲点の後の前記デュロメータデータの部分を選択することを含む、請求項26に記載の方法。
【請求項28】
前記変曲点の前の前記デュロメータデータの部分を破棄し、前記変曲点の後の前記針入度計データの部分を破棄することをさらに含む、請求項27に記載の方法。
【請求項29】
前記機械学習訓練済みモデルを生成することが、(i)前記変曲点の前の前記針入度計データの前記選択部分を、硬い前記複数の試験食料品に対応するスペクトルデータの1つ以上の波長と相関させること、及び(ii)前記変曲点の後の前記デュロメータデータの前記選択部分を、柔らかい前記試験食料品に対応するスペクトルデータの1つ以上の波長と相関させることを含む、請求項26に記載の方法。
【請求項30】
前記機械学習訓練済みモデルが、前記針入度計データの前記選択部分及び前記デュロメータデータの前記選択部分によって提供された破壊的測定を、前記同じ食品種の前記食料品に関連付けられた(i)原産地、(ii)貯蔵温度、及び(iii)履歴の成熟情報のうちの少なくとも1つとさらに相関させる、請求項25に記載の方法。
【請求項31】
食料品の成熟レベルに基づいてサプライチェーンを変更するための方法であって、前記方法が、
コンピューティングシステムによって、食料品種の食料品の成熟レベルを受信することであって、前記成熟レベルが、前記食料品の非破壊的測定及び前記食料品種のための訓練済みモデルを用いて決定され、前記訓練済みモデルが、前記食料品種の他の食料品の1つ以上の破壊的測定を用いて訓練されている、ことと、
前記コンピューティングシステムによって、前記食料品のための既存のサプライチェーンスケジュール及び仕向け先を含む前記食料品のためのサプライチェーン情報を識別することと、
前記コンピューティングシステムによって、前記受信された成熟レベルに基づいて前記食料品のための前記サプライチェーン情報を変更するべきかどうかを決定することと、
前記サプライチェーン情報を変更するとの決定に応じて、前記コンピューティングシステムによって、前記受信された成熟レベルに基づいて、変更されたサプライチェーン情報を生成することであって、前記変更されたサプライチェーン情報が、前記食料品のための変更されたサプライチェーンスケジュール及び変更された仕向け先のうちの1つ以上を含む、ことと、
前記コンピューティングシステムによって、前記変更されたサプライチェーン情報を1つ以上のサプライチェーンアクターへ伝送し、前記変更されたサプライチェーン情報を実施することと、
を含む、方法。
【請求項32】
前記コンピューティングシステムによって、及び前記受信された成熟レベルが閾値を超えることに基づいて、前記食料品は最終消費者による消費に適していると決定することと、
前記コンピューティングシステムによって、及び前記受信された成熟レベルが前記閾値未満であることに基づいて、前記食料品は前記最終消費者による消費に適していないと決定することと、
をさらに含む、請求項31に記載の方法。
【請求項33】
前記変更されたサプライチェーン情報が、前記1つ以上のサプライチェーンアクターによって実行されたとき、前記食料品を、前記食料品の場所に地理的に最も近い最終消費者への発送輸送のために移動させる命令を含む、請求項31に記載の方法。
【請求項34】
前記変更されたサプライチェーン情報が、前記1つ以上のサプライチェーンアクターによって実行されたとき、前記食料品を食品加工工場への発送輸送のために移動させる命令を含む、請求項31に記載の方法。
【請求項35】
食料品の非接触評価を用いて前記食料品のための成熟レベルを決定するためのシステムであって、前記システムが、
同じ食品種の複数の試験食料品のための針入度計データを測定するように構成された1つ以上の針入度計と、
前記同じ食品種の前記複数の試験食料品のためのデュロメータデータを測定するように構成された1つ以上のデュロメータと、
前記同じ食品種の食料品のためのスペクトルデータを測定するように構成された1つ以上のスペクトル撮像デバイスと、
少なくとも1つのコンピューティングシステムと、
を備え、前記少なくとも1つのコンピューティングシステムが、
前記針入度計データ及び前記デュロメータデータを受信することと、
前記針入度計データ及び前記デュロメータデータの部分を選択することと、
前記針入度計データ及び前記デュロメータデータの前記選択部分に基づいて前記同じ食品種の前記食料品のための成熟度メトリックを決定することと、
前記成熟度メトリックに基づいて機械学習訓練済みモデルを生成することであって、前記機械学習訓練済みモデルが、前記針入度計データの前記選択部分及び前記デュロメータデータの前記選択部分によって提供された破壊的測定を、スペクトルデータによって提供された非破壊的測定と相関させ、前記同じ食品種の前記食料品のための前記成熟度メトリックをモデル化する、ことと、
前記1つ以上のスペクトル撮像デバイスから、前記同じ食品種の食料品のスペクトルデータを受信することと、
前記同じ食品種の前記食料品の前記スペクトルデータをフィルタリングすることと、
前記機械学習訓練済みモデルを、前記同じ食品種の前記食料品の前記フィルタリングされたスペクトルデータに適用することに基づいて、前記食料品の成熟レベルを決定することであって、前記食料品の前記成熟レベルが、前記食料品の破壊的測定を行なうことなく決定される、ことと、
前記食料品のための既存のサプライチェーンスケジュール及び仕向け先を含む前記食料品のためのサプライチェーン情報を識別することと、
前記食料品の前記成熟レベルに基づいて前記食料品のための前記サプライチェーン情報を変更するべきかどうかを決定することと、
前記サプライチェーン情報を変更するべきとの決定に応じて、前記食料品の前記成熟レベルに基づいて、変更されたサプライチェーン情報を生成することであって、前記変更されたサプライチェーン情報が、前記食料品のための変更されたサプライチェーンスケジュール及び変更された仕向け先のうちの1つ以上を含む、ことと、
ユーザコンピューティングデバイスへ、(i)前記食料品の前記成熟レベル、及び(ii)前記変更されたサプライチェーン情報を前記ユーザコンピューティングデバイスにおける表示のために伝送することと、
を行うように構成されている、システム。
【請求項36】
前記モデルが、
前記少なくとも1つのコンピューティングシステムによって、針入度計データ曲線から導出された値を受信することであって、前記針入度計データ曲線が、前記同じ食品種の前記食料品のための前記針入度計データを用いて生成される、ことと、
前記少なくとも1つのコンピューティングシステムによって、直交回帰及び射影を用いて前記値及び前記デュロメータデータを硬度曲線に対応付けることと、
前記少なくとも1つのコンピューティングシステムによって、前記対応付けに基づいて前記成熟度メトリックを生成することと、
前記少なくとも1つのコンピューティングシステムによって、前記同じ食品種の前記食料品の前記スペクトルデータを用いて前記成熟度メトリックを予測するために前記モデルを訓練することと、
を含むプロセスを用いて訓練されている、請求項35に記載のシステム。
【請求項37】
前記針入度計データ曲線から導出された前記値が前記曲線の傾きである、請求項36に記載のシステム。
【請求項38】
前記1つ以上のスペクトル撮像デバイスが点分光計を含む、請求項35に記載のシステム。
【請求項39】
前記機械学習訓練済みモデルが1つ以上の層を含み、前記層の各々が、(i)前記同じ食品種の前記複数の試験食料品の訓練画像、及び(ii)前記訓練画像によって描写された前記複数の試験食料品の各々のための食料品分類を示すラベルを含む、請求項35に記載のシステム。
【請求項40】
前記少なくとも1つのコンピューティングシステムが、前記食料品の前記成熟レベルが閾値を超えることに基づいて前記食料品は消費に適していると決定するようにさらに構成されている、請求項35に記載のシステム。
【請求項41】
前記少なくとも1つのコンピューティングシステムが、前記食料品の前記成熟レベルが閾値未満であることに基づいて前記食料品は消費に適していないと決定するようにさらに構成されている、請求項35に記載のシステム。
【請求項42】
前記少なくとも1つのコンピューティングシステムが、(i)前記針入度計データの前記選択部分を、硬い複数の試験食料品に対応するスペクトルデータの1つ以上の波長と相関させること、及び(ii)前記デュロメータデータの前記選択部分を、柔らかい前記複数の試験食料品に対応するスペクトルデータの1つ以上の波長と相関させることに基づいて前記機械学習訓練済みモデルを生成するようにさらに構成されている、請求項35に記載のシステム。
【請求項43】
前記変更されたサプライチェーン情報が、前記ユーザコンピューティングデバイスにおいて1つ以上のサプライチェーンアクターによって実行されたとき、前記食料品を、前記食料品の場所に地理的に最も近い最終消費者への発送輸送のために移動させる命令を含む、請求項35に記載のシステム。
【請求項44】
前記変更されたサプライチェーン情報が、前記ユーザコンピューティングデバイスにおいて前記1つ以上のサプライチェーンアクターによって実行されたとき、前記食料品を食品加工工場への発送輸送のために移動させる命令を含む、請求項35に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001] 本出願は、2021年3月16日に出願された、米国仮特許出願第63/161,507号に対する優先権を主張する。同出願の開示はその全体が参照により組み込まれる。
【0002】
技術分野
[0002] 本文書は、破壊的又は侵襲的測定を含む測定の組み合わせから食料品成熟度メトリックを決定し、食料品の成熟度を非破壊的に予測するためのモデルを構築することに関連するデバイス、システム、及び方法を記載する。
【背景技術】
【0003】
背景
[0003] 果物及び農産物などの、食料品の硬度は、消費のための食料品の好適性の有用な指標になり得る。食料品の硬度は成熟度に相関し得る。食料品が成熟しているかどうかは、それが消費される準備ができたかどうかを示すことができる。食料品が成熟しているときには、それらを食品雑貨店及び同様の施設において消費者に販売することができる。時には、食料品の価格も食料品の成熟度に応じて変化し得る。
【0004】
[0004] 時として、食料品が熟し過ぎているときには、これらの食料品は食品雑貨店及び農家売店などの店内で客に販売されなくてもよい。代わりに、食料品は、加工食品において使用されるために食品加工工場へ届けられてもよい。また、食料品は、消費者に、ただし、より低価格で販売することもできる。食料品がまだ成熟していないときには、食料品は、このような食料品を消費者に販売するか、又は他の仕方で届けることができるようになるまで、より長い期間にわたって貯蔵されるか、又は(例えば、エチレン暴露によって)能動的に成熟させられてもよい。
【0005】
[0005] 消費者は、彼らが買い物をしている間に食料品の成熟度を試験することができる。例えば、消費者は、食料品を圧迫又は圧搾し、食料品がどれほど柔らかいか、又は硬いかを決定することができる。サプライチェーン内の他の人間が食料品を同様に圧迫又は圧搾し、その硬度を決定することもできる。食料雑貨商は食料品を圧搾し、食料品が、消費者による購入のために棚に置く準備ができているかどうかを決定することができる。倉庫の作業員もまた、食料品を圧搾し、食料品が消費者又は食品加工工場への発送輸送のために移動させられるべきかどうかを決定することができる。食料品を圧迫又は圧搾することは、必ずしも、食料品がどれほど硬いか、又は成熟しているかを正確に示すとは限らない。
【0006】
[0006] さらに、食料品を圧迫又は圧搾することは、食料品の硬度又は成熟度を試験するための破壊的な手法になり得る。時として、食料品の硬度又は成熟度は特殊なデバイスを用いて試験することもできる。このようなデバイスは、食料品の皮を穿孔することによって硬度を測定することができる。デバイスはまた、食料品の皮の部分を除去することによって硬度を測定することもできる。これらのデバイスは、食料品の硬度及び/又は成熟度を試験する破壊的技法を提供することができる。破壊的技法は、測定の信頼性と、大きな要求サンプルサイズから生じる損失との間のトレードオフをもたらし得る。破壊的技法はまた、時間がかかり、自動データ収集のための選択肢が限られ得る。破壊的技法は、自動化されるか、又は他の品質ツールと統合され得ない、ユーザに依存した測定になり得る。食料品硬度はまた、食料品の品質及び老化挙動を測定する手法として、異なる顧客の現場において設定された留保のためにそれらの成熟期間全体を通じて追跡され得る。これは、食料品品質を測定するための、時間のかかる資本集約的な手法になり得る。
【発明の概要】
【0007】
概要
[0007] 本文書は、概して、食料品の成熟度を(例えば、分光計を用いて)非破壊的に予測するためのシステム、方法、及び技法を記載する。具体的には、本開示の技術は、非破壊的計測を、データを使って訓練された機械学習モデルと連携して用いて、食料品を穿孔するか、又は他の仕方で破壊することを必要とすることなく食料品成熟度をより正確に決定することができる。針入度計及びデュロメータなどの、複数の異なる侵襲的、破壊的ツールから取得されたデータを用いて、成熟度メトリックを設計することができる。それゆえ、食料品の成熟の間に複数の異なる測定を相関させることができる。この成熟度メトリックは、本明細書において説明される技法の所望の出力になることができる。したがって、非破壊的データを入力として用いて成熟度メトリックを識別するために機械学習モデルを訓練することができる。データは、スペクトルなどの、非破壊的データを入力として取り込み、その後、食料品のための成熟度メトリックをリアルタイムに予測するべくモデルを訓練するために収集することができる。モデルは、スペクトルデータを設計成熟度メトリック(engineered ripeness metric)に対応付けるために訓練することができる。モデルが訓練されると、モデルは、食料品の非破壊的なスペクトルデータを用いて食料品の成熟度を予測するためにリアルタイムに適用することができる。
【0008】
[0008] モデルを用いることは、食料品の成熟度(例えば、硬度、消費好適性)の非破壊的な、高速の、信頼性のある決定をもたらすために有利になり得、これは、供給業者及び小売り業者が、例えば、これらの商品を、サプライチェーン内をどのように移動させるのかを決定するために重要になり得る。例えば、このような成熟度の決定は、直接的な消費者購入のための高品質の食料品(例えば、望ましい成熟度及び食味品質)の第1のグループ、並びに工業食品加工及び製造などの、他の使用のためのより低品質の食料品(例えば、あまり望ましくない成熟度及び食味品質)の第2のグループを選択し、流通させるなど、どの食料品を異なる食料品販売業者及び消費者への流通のために選択するべきかに関するサプライチェーン決定の因子となることができる。
【0009】
[0009] 本開示の技術は、種々の入力データを用いて食料品成熟度を測定することを提供することができる。例えば、成熟度メトリックは、破壊的又は侵襲的測定を用いて設計することができる。破壊的又は侵襲的測定は、針入度計、デュロメータ、及び/又は同様のものから受信することができる。次に、非破壊的測定を用いて設計成熟度メトリックを予測するための1つ以上の機械学習モデルを生成することができる。非破壊的測定は食料品に関する分光計データ及び/又は履歴情報を含むことができる。リアルタイムに、食料品、又は食料品のバッチに関する分光計データを収集し、食料品、又は食料品のバッチの成熟度を予測するための1つ以上のモデルのための入力として用いることができる。
【0010】
[0010] 可視及び近赤外(NIR(Near-Infrared))分光法などの、分光技法が、食料品特性を測定するために有利になり得る。本明細書において説明されるとおりの分光技法は、標本(例えば、果物、農産物、他の食料品)の果肉内に貫入する能力を有する光源、並びに高度に、及び精密に離散化されたスペクトル帯域セットの吸光度を測定する能力を有する検出器を用いることができる。化学構造が(例えば、セルロース物質の、単量体の可溶性糖への分解のゆえに)標本内で変化するため、分光吸光度プロファイルのわずかな変化が存在し得る。この情報を収集し、対応する標本の成熟度を非破壊的に測定するためのモデルと共に用いることができる。さらに、多変量回帰技法を用いて、吸光度プロファイルの間の差を検出することができる。したがって、スペクトル測定を用いて、異なる種類の食料品のNIRベースの硬度/成熟レベルを決定することができる。
【0011】
[0011] 本明細書において説明されるNIRベースの硬度/成熟レベル技法を用いて、異なる品質メトリックを決定することができる。例えば、アボカドの乾物は果物の熟成のインジケータになり、栽培者によって、自分たちの木が収穫の準備ができた時にそれを決定するために用いられ得る。加えて、リンゴの硬度は、リンゴのためのシェルフライフ延長を決定するために利用される品質メトリックになり得る。本開示の技術は、アボカド及びリンゴだけでなく、他の種類の食料品、果物、及び農産物に関連付けられた品質メトリックを非破壊的に、正確に、及び迅速に決定するために用いることもできる。
【0012】
[0012] さらに、本開示の技術は、成熟予測を改善するためにハイパースペクトル撮像技法と共に用いることができる。ハイパースペクトルカメラは、単一の点と対照的に、NIR分光測定を収集する能力を空間領域にわたって拡張することができる。スペクトルプロファイルのこの空間分解能は、単一の食料品のためにスペクトルの多くのピクセルが収集されることを可能にすることができる。加えて、ハイパースペクトル撮像カメラはインラインで実施することができ、これにより、カメラは、コンベヤベルトに沿って同時に移動していくことができる多数の食料品を使ってデータを収集する。本明細書において説明される技法を用いることで、食料品をそれらの成熟度に基づいて類別することができる。例えば、モデルは、速く成熟する食料品を、よりゆっくりと成熟する食料品と区別するために訓練することができる。
【0013】
[0013] 添付の請求項の実施形態及び上述された実施形態に加えて、以下の番号が付された実施形態もまた、革新性を有する。
【0014】
[0014] 実施形態1は、食料品の非接触評価を用いて食料品のための成熟レベルを決定するための方法であって、本方法が、コンピューティングシステムによって、及びスペクトル撮像デバイスから、食料品のスペクトルデータを受信することと、コンピューティングシステムによって、スペクトルデータをフィルタリングすることと、コンピューティングシステムによって、及び訓練済みモデルを、フィルタリングされたスペクトルデータに適用することに基づいて、食料品の成熟レベルを決定することであって、訓練済みモデルが、(i)他の食料品の1つ以上の破壊的測定、及び(ii)他の食料品のスペクトルデータを用いて訓練されており、他の食料品が食料品と同じ食品種のものであり、食料品の成熟レベルが、食料品の破壊的測定を行うことなく決定される、決定することと、コンピューティングシステムによってユーザコンピューティングデバイスへ、食料品の成熟レベルをユーザコンピューティングデバイスにおける表示のために伝送することと、を含む、方法である。
【0015】
[0015] 実施形態2は、スペクトルデータが食料品の1つ以上の非破壊的測定を含む、実施形態1に記載の方法である。
【0016】
[0016] 実施形態3は、訓練済みモデルが1つ以上の層を含み、層の各々が、(i)他の食料品の訓練画像、及び(ii)訓練画像によって描写された他の食料品の各々のための食料品分類を示すラベルを含む、実施形態1~2のいずれか1つに記載の方法である。
【0017】
[0017] 実施形態4は、スペクトルデータをフィルタリングすることが、スペクトルデータをトリミングすること、スペクトルデータをスケーリングすること、及びSavitzky-Golay2次微分フィルタをスペクトルデータに適用し、ノイズを低減すること、を含む、実施形態1~3のいずれか1つに記載の方法である。
【0018】
[0018] 実施形態5は、食料品の成熟レベルが閾値を超えることに基づいて食料品は消費に適していると決定することをさらに含む、実施形態1~4のいずれか1つに記載の方法である。
【0019】
[0019] 実施形態6は、食料品の成熟レベルが閾値未満であることに基づいて食料品は消費に適していないと決定することをさらに含む、実施形態1~5のいずれか1つに記載の方法である。
【0020】
[0020] 実施形態7は、食料品が、アボカド、リンゴ、及びベリーのうちの少なくとも1つである、実施形態1~6のいずれか1つに記載の方法である。
【0021】
[0021] 実施形態8は、スペクトル撮像デバイスが、534nm~942nmの波長を有する光を用いてスペクトルデータを獲得する、実施形態1~7のいずれか1つに記載の方法である。
【0022】
[0022] 実施形態9は、スペクトル撮像デバイスが、690nm~912nmの波長を有する光を用いてスペクトルデータを獲得する、実施形態1~8のいずれか1つに記載の方法である。
【0023】
[0023] 実施形態10は、スペクトル撮像デバイスが、672nm~948nmの波長を有する光を用いてスペクトルデータを獲得する、実施形態1~9のいずれか1つに記載の方法である。
【0024】
[0024] 実施形態11は、スペクトル撮像デバイスが、530nm~950nmの範囲内の波長を有する光を用いてスペクトルデータを獲得する、実施形態1~10のいずれか1つに記載の方法である。
【0025】
[0025] 実施形態12は、食料品の成熟レベルが、(i)食料品の原産地、(ii)食料品の貯蔵温度、及び(iii)食料品に関連付けられた履歴の成熟情報のうちの少なくとも1つを含む入力データにさらに基づく、実施形態1~11のいずれか1つに記載の方法である。
【0026】
[0026] 実施形態13は、スペクトル撮像デバイスが点分光計である、実施形態1~12のいずれか1つに記載の方法である。
【0027】
[0027] 実施形態14は、モデルが、コンピューティングシステムによって、針入度計データ曲線から導出された値を受信することであって、針入度計データ曲線が、他の食料品のための1つ以上の針入度計からの針入度計データを用いて生成される、受信することと、コンピューティングシステムによって、直交回帰及び射影を用いて、値、及び他の食料品のための1つ以上のデュロメータからのデュロメータデータを硬度曲線に対応付けることと、コンピューティングシステムによって、対応付けに基づいて、設計硬度メトリックを生成することと、コンピューティングシステムによって、他の食料品のためのスペクトルデータを用いて設計硬度メトリックを予測するためにモデルを訓練することと、を含むプロセスを用いて訓練されている、実施形態1~13のいずれか1つに記載の方法である。
【0028】
[0028] 実施形態15は、針入度計データが深さデータ及び力データを含み、針入度計データ曲線が深さデータと力データとの間の関係を表す、実施形態1~14のいずれか1つに記載の方法である。
【0029】
[0029] 実施形態16は、針入度計データ曲線から導出された値が曲線の傾きであり、傾きは、深さデータの所定の範囲にわたる力データの2つの点の間の差である、実施形態1~15のいずれか1つに記載の方法である。
【0030】
[0030] 実施形態17は、深さデータの所定の範囲が1.5mm~2mmである、実施形態1~16のいずれか1つに記載の方法である。
【0031】
[0031] 実施形態18は、針入度計データ曲線から導出された値が最大力である、実施形態1~17のいずれか1つに記載の方法である。
【0032】
[0032] 実施形態19は、針入度計データ曲線から導出された値が針入度計データ曲線の下の面積である、実施形態1~18のいずれか1つに記載の方法である。
【0033】
[0033] 実施形態20は、針入度計データ曲線から導出された値が最大力の後の針入度計データ曲線の下の面積である、実施形態1~19のいずれか1つに記載の方法である。
【0034】
[0034] 実施形態21は、針入度計データ曲線から導出された値が曲線の傾き及び曲線の最大力であり、本方法が、コンピューティングシステムによって、直交回帰及び射影を用いて、傾き、最大力、及びデュロメータデータを硬度曲線に対応付けることをさらに含む、実施形態1~20のいずれか1つに記載の方法である。
【0035】
[0035] 実施形態22は、針入度計データ曲線から導出された値が曲線の傾き及び曲線の下の面積であり、本方法が、コンピューティングシステムによって、直交回帰及び射影を用いて、傾き、曲線の下の面積、及びデュロメータデータを硬度曲線に対応付けることをさらに含む、実施形態1~21のいずれか1つに記載の方法である。
【0036】
[0036] 実施形態23は、針入度計データ曲線から導出された値が曲線の最大力及び曲線の下の面積であり、本方法が、コンピューティングシステムによって、直交回帰及び射影を用いて、最大力、曲線の下の面積、及びデュロメータデータを硬度曲線に対応付けることをさらに含む、実施形態1~22のいずれか1つに記載の方法である。
【0037】
[0037] 実施形態24は、針入度計データ曲線から導出された値が、曲線の傾き、曲線の最大力、及び曲線の下の面積であり、本方法が、コンピューティングシステムによって、直交回帰及び射影を用いて、傾き、最大力、曲線の下の面積、及びデュロメータデータを硬度曲線に対応付けることをさらに含む、実施形態1~23のいずれか1つに記載の方法である。
【0038】
[0038] 実施形態25は、食料品の成熟度メトリックを決定するための訓練済みモデルを生成するための方法であって、本方法が、コンピューティングシステムによって、同じ食品種の複数の試験食料品のための(i)1つ以上の針入度計からの針入度計データ、及び(ii)1つ以上のデュロメータからのデュロメータデータを受信することと、コンピューティングシステムによって、針入度計データ及びデュロメータデータの部分を選択することと、コンピューティングシステムによって、針入度計データ及びデュロメータデータの選択部分に基づいて同じ食品種の食料品のための成熟度メトリックを決定することと、コンピューティングシステムによって、成熟度メトリックに基づいて機械学習訓練済みモデルを生成することであって、機械学習訓練済みモデルが、針入度計データの選択部分及びデュロメータデータの選択部分によって提供された破壊的測定を、スペクトルデータによって提供された非破壊的測定と相関させ、同じ食品種の食料品のための成熟度メトリックをモデル化する、生成することと、を含む、方法である。
【0039】
[0039] 実施形態26は、針入度計データ及びデュロメータデータの部分を選択することが、針入度計データ及びデュロメータデータをプロットすること、プロットされた針入度計データ及びプロットされたデュロメータデータ内の変曲点を識別すること、変曲点に基づいて針入度計データ及びデュロメータデータの部分を選択すること、並びに針入度計データ及びデュロメータデータの非選択部分を破棄すること、を含む、実施形態25に記載の方法である。
【0040】
[0040] 実施形態27は、変曲点に基づいて針入度計及びデュロメータデータの部分を選択することが、変曲点の前の針入度計データの部分を選択し、変曲点の後のデュロメータデータの部分を選択することを含む、実施形態25~26のいずれか1つに記載の方法である。
【0041】
[0041] 実施形態28は、変曲点の前のデュロメータデータの部分を破棄し、変曲点の後の針入度計データの部分を破棄することをさらに含む、実施形態25~27のいずれか1つに記載の方法である。
【0042】
[0042] 実施形態29は、機械学習訓練済みモデルを生成することが、(i)変曲点の前の針入度計データの選択部分を、硬い複数の試験食料品に対応するスペクトルデータの1つ以上の波長と相関させること、及び(ii)変曲点の後のデュロメータデータの選択部分を、柔らかい試験食料品に対応するスペクトルデータの1つ以上の波長と相関させることを含む、実施形態25~28のいずれか1つに記載の方法である。
【0043】
[0043] 実施形態30は、機械学習訓練済みモデルが、針入度計データの選択部分及びデュロメータデータの選択部分によって提供された破壊的測定を、同じ食品種の食料品に関連付けられた(i)原産地、(ii)貯蔵温度、及び(iii)履歴の成熟情報のうちの少なくとも1つとさらに相関させる、実施形態25~29のいずれか1つに記載の方法である。
【0044】
[0044] 実施形態31は、食料品の成熟レベルに基づいてサプライチェーンを変更するための方法であって、本方法が、コンピューティングシステムによって、食料品種の食料品の成熟レベルを受信することであって、成熟レベルが、食料品の非破壊的測定及び食料品種のための訓練済みモデルを用いて決定され、訓練済みモデルが、食料品種の他の食料品の1つ以上の破壊的測定を用いて訓練されている、受信することと、コンピューティングシステムによって、食料品のための既存のサプライチェーンスケジュール及び仕向け先を含む食料品のためのサプライチェーン情報を識別することと、コンピューティングシステムによって、受信された成熟レベルに基づいて食料品のためのサプライチェーン情報を変更するべきかどうかを決定することと、サプライチェーン情報を変更するとの決定に応じて、コンピューティングシステムによって、受信された成熟レベルに基づいて、変更されたサプライチェーン情報を生成することであって、変更されたサプライチェーン情報が、食料品のための変更されたサプライチェーンスケジュール及び変更された仕向け先のうちの1つ以上を含む、生成することと、コンピューティングシステムによって、変更されたサプライチェーン情報を1つ以上のサプライチェーンアクターへ伝送し、変更されたサプライチェーン情報を実施することと、を含む、方法である。
【0045】
[0045] 実施形態32は、コンピューティングシステムによって、及び受信された成熟レベルが閾値を超えることに基づいて、食料品は最終消費者による消費に適していると決定することと、コンピューティングシステムによって、及び受信された成熟レベルが閾値未満であることに基づいて、食料品は最終消費者による消費に適していないと決定することと、をさらに含む、実施形態31に記載の方法である。
【0046】
[0046] 実施形態33は、変更されたサプライチェーン情報が、1つ以上のサプライチェーンアクターによって実行されたとき、食料品を、食料品の場所に地理的に最も近い最終消費者への発送輸送のために移動させる命令を含む、実施形態31~32のいずれか1つに記載の方法である。
【0047】
[0047] 実施形態34は、変更されたサプライチェーン情報が、1つ以上のサプライチェーンアクターによって実行されたとき、食料品を食品加工工場への発送輸送のために移動させる命令を含む、実施形態31~33のいずれか1つに記載の方法である。
【0048】
[0048] 実施形態35は、食料品の非接触評価を用いて食料品のための成熟レベルを決定するためのシステムであって、システムが、同じ食品種の複数の試験食料品のための針入度計データを測定するように構成された1つ以上の針入度計と、同じ食品種の複数の試験食料品のためのデュロメータデータを測定するように構成された1つ以上のデュロメータと、同じ食品種の食料品のためのスペクトルデータを測定するように構成された1つ以上のスペクトル撮像デバイスと、少なくとも1つのコンピューティングシステムと、を備え、少なくとも1つのコンピューティングシステムが、針入度計データ及びデュロメータデータを受信することと、針入度計データ及びデュロメータデータの部分を選択することと、針入度計データ及びデュロメータデータの選択部分に基づいて同じ食品種の食料品のための成熟度メトリックを決定することと、成熟度メトリックに基づいて機械学習訓練済みモデルを生成することであって、機械学習訓練済みモデルが、針入度計データの選択部分及びデュロメータデータの選択部分によって提供された破壊的測定を、スペクトルデータによって提供された非破壊的測定と相関させ、同じ食品種の食料品のための成熟度メトリックをモデル化する、生成することと、1つ以上のスペクトル撮像デバイスから、同じ食品種の食料品のスペクトルデータを受信することと、同じ食品種の食料品のスペクトルデータをフィルタリングすることと、機械学習訓練済みモデルを、同じ食品種の食料品のフィルタリングされたスペクトルデータに適用することに基づいて、食料品の成熟レベルを決定することであって、食料品の成熟レベルが、食料品の破壊的測定を行なうことなく決定される、決定することと、食料品のための既存のサプライチェーンスケジュール及び仕向け先を含む食料品のためのサプライチェーン情報を識別することと、食料品の成熟レベルに基づいて食料品のためのサプライチェーン情報を変更するべきかどうかを決定することと、サプライチェーン情報を変更するべきとの決定に応じて、食料品の成熟レベルに基づいて、変更されたサプライチェーン情報を生成することであって、変更されたサプライチェーン情報が、食料品のための変更されたサプライチェーンスケジュール及び変更された仕向け先のうちの1つ以上を含む、生成することと、ユーザコンピューティングデバイスへ、(i)食料品の成熟レベル、及び(ii)変更されたサプライチェーン情報をユーザコンピューティングデバイスにおける表示のために伝送することと、を行うように構成されている、システムである。
【0049】
[0049] 実施形態36は、モデルが、少なくとも1つのコンピューティングシステムによって、針入度計データ曲線から導出された値を受信することであって、針入度計データ曲線が、同じ食品種の食料品のための針入度計データを用いて生成される、受信することと、少なくとも1つのコンピューティングシステムによって、直交回帰及び射影を用いて値及びデュロメータデータを硬度曲線に対応付けることと、少なくとも1つのコンピューティングシステムによって、対応付けに基づいて成熟度メトリックを生成することと、少なくとも1つのコンピューティングシステムによって、同じ食品種の食料品のスペクトルデータを用いて成熟度メトリックを予測するためにモデルを訓練することと、を含むプロセスを用いて訓練されている、実施形態35に記載のシステムである。
【0050】
[0050] 実施形態37は、針入度計データ曲線から導出された値が曲線の傾きである、実施形態35~36のいずれか1つに記載のシステムである。
【0051】
[0051] 実施形態38は、1つ以上のスペクトル撮像デバイスが点分光計を含む、実施形態35~37のいずれか1つに記載のシステムである。
【0052】
[0052] 実施形態39は、機械学習訓練済みモデルが1つ以上の層を含み、層の各々が、(i)同じ食品種の複数の試験食料品の訓練画像、及び(ii)訓練画像によって描写された複数の試験食料品の各々のための食料品分類を示すラベルを含む、実施形態35~38のいずれか1つに記載のシステムである。
【0053】
[0053] 実施形態40は、少なくとも1つのコンピューティングシステムが、食料品の成熟レベルが閾値を超えることに基づいて食料品は消費に適していると決定するようにさらに構成されている、実施形態35~39のいずれか1つに記載のシステムである。
【0054】
[0054] 実施形態41は、少なくとも1つのコンピューティングシステムが、食料品の成熟レベルが閾値未満であることに基づいて食料品は消費に適していないと決定するようにさらに構成されている、実施形態35~40のいずれか1つに記載のシステムである。
【0055】
[0055] 実施形態42は、少なくとも1つのコンピューティングシステムが、(i)針入度計データの選択部分を、硬い複数の試験食料品に対応するスペクトルデータの1つ以上の波長と相関させること、及び(ii)デュロメータデータの選択部分を、柔らかい複数の試験食料品に対応するスペクトルデータの1つ以上の波長と相関させることに基づいて機械学習訓練済みモデルを生成するようにさらに構成されている、実施形態35~41のいずれか1つに記載のシステムである。
【0056】
[0056] 実施形態43は、変更されたサプライチェーン情報が、ユーザコンピューティングデバイスにおいて1つ以上のサプライチェーンアクターによって実行されたとき、食料品を、食料品の場所に地理的に最も近い最終消費者への発送輸送のために移動させる命令を含む、実施形態35~42のいずれか1つに記載のシステムである。
【0057】
[0057] 実施形態44は、変更されたサプライチェーン情報が、ユーザコンピューティングデバイスにおいて1つ以上のサプライチェーンアクターによって実行されたとき、食料品を食品加工工場への発送輸送のために移動させる命令を含む、実施形態35~43のいずれか1つに記載のシステムである。
【0058】
[0058] 本明細書において説明される好ましい実施形態は、食料品の非接触評価を用いて食料品のための成熟レベルを決定するためのシステム及び方法を含むことができる。本方法は、コンピューティングシステムによって、及びスペクトル撮像デバイスから、食料品のスペクトルデータを受信することと、コンピューティングシステムによって、スペクトルデータをフィルタリングすることと、コンピューティングシステムによって、及び訓練済みモデルを、フィルタリングされたスペクトルデータに適用することに基づいて、食料品の成熟レベルを決定することと、を含むことができる。訓練済みモデルは、(i)他の食料品の1つ以上の破壊的測定、及び(ii)他の食料品のためのスペクトルデータを用いて訓練することができる。他の食料品は食料品と同じ食品種のものであることができる。食料品の成熟レベルは、食料品の破壊的測定を行うことなく決定することができる。本方法はまた、ユーザコンピューティングデバイスへ、食料品の成熟レベルをユーザコンピューティングデバイスにおける表示のために伝送することを含むことができる。
【0059】
[0059] 好ましい実施形態は1つ以上の以下の特徴を含むことができる。スペクトルデータは食料品の1つ以上の非破壊的測定を含むことができる。訓練済みモデルは1つ以上の層を含むことができる。層の各々は、(i)他の食料品の訓練画像、及び(ii)訓練画像によって描写された他の食料品の各々のための食料品分類を示すラベルを含むことができる。スペクトルデータをフィルタリングすることは、スペクトルデータをトリミングすること、スペクトルデータをスケーリングすること、及びSavitzky-Golay2次微分フィルタをスペクトルデータに適用し、ノイズを低減すること、を含むことができる。
【0060】
[0060] さらに、本方法は、食料品の成熟レベルが閾値を超えることに基づいて食料品は消費に適していると決定することを含むことができる。本方法はまた、食料品の成熟レベルが閾値未満であることに基づいて食料品は消費に適していないと決定することを含むことができる。食料品は、アボカド、リンゴ、及びベリーのうちの少なくとも1つであることができる。
【0061】
[0061] 実装形態によっては、スペクトル撮像デバイスは、534nm~942nmの波長を有する光を用いてスペクトルデータを獲得する能力を有する点分光計であることができる。実装形態によっては、スペクトル撮像デバイスは、530nm~950nmの波長を有する光を用いてスペクトルデータを獲得する能力を有する点分光計であることができる。点分光計はまた、690nm~912nmの波長を有する光を用いてスペクトルデータを獲得することができる。点分光計は、672nm~948nmの波長を有する光を用いてスペクトルデータを獲得することができる。
【0062】
[0062] 食料品の成熟レベルは、食料品の原産地、食料品の貯蔵温度、及び食料品に関連付けられた履歴の成熟情報を含む入力データにさらに基づくことができる。
【0063】
[0063] 本明細書において説明される好ましい実施形態はまた、食料品の成熟度メトリックを決定するための訓練済みモデルを生成するためのシステム及び方法を含むことができる。本方法は、コンピューティングシステムによって、同じ食品種の複数の試験食料品のための(i)1つ以上の針入度計からの針入度計データ、及び(ii)1つ以上のデュロメータからのデュロメータデータを受信することと、針入度計データ及びデュロメータデータの部分を選択することと、針入度計データ及びデュロメータデータの選択部分に基づいて同じ食品種の食料品のための成熟度メトリックを決定することと、成熟度メトリックに基づいて機械学習訓練済みモデルを生成することと、を含むことができる。機械学習訓練済みモデルは、針入度計データの選択部分及びデュロメータデータの選択部分によって提供された破壊的測定を、スペクトルデータによって提供された非破壊的測定と相関させ、同じ食品種の食料品のための成熟度メトリックをモデル化することができる。
【0064】
[0064] 好ましい実施形態は以下の特徴のうちの1つ以上を含むことができる。例えば、針入度計データ及びデュロメータデータの部分を選択することは、針入度計データ及びデュロメータデータをプロットすること、プロットされた針入度計データ及びプロットされたデュロメータデータ内の変曲点を識別すること、変曲点に基づいて針入度計データ及びデュロメータデータの部分を選択すること、並びに針入度計データ及びデュロメータデータの非選択部分を破棄すること、を含むことができる。変曲点に基づいて針入度計及びデュロメータデータの部分を選択することは、変曲点の前の針入度計データの部分を選択し、変曲点の後のデュロメータデータの部分を選択することを含むことができる。変曲点の前のデュロメータデータの部分を破棄し、変曲点の後の針入度計データの部分を破棄すること。
【0065】
[0065] さらに、機械学習訓練済みモデルを生成することは、(i)変曲点の前の針入度計データの選択部分を、硬い複数の試験食料品に対応するスペクトルデータの1つ以上の波長と相関させること、及び(ii)変曲点の後のデュロメータデータの選択部分を、柔らかい試験食料品に対応するスペクトルデータの1つ以上の波長と相関させることを含むことができる。
【0066】
[0066] 別の例として、機械学習訓練済みモデルは、針入度計データの選択部分及びデュロメータデータの選択部分によって提供された破壊的測定を、同じ食品種の食料品に関連付けられた(i)原産地、(ii)貯蔵温度、及び(iii)履歴の成熟情報のうちの少なくとも1つとさらに相関させることができる。
【0067】
[0067] 本明細書において説明される好ましい実施形態はまた、食料品の成熟レベルに基づいてサプライチェーンを変更するためのシステム及び方法を含むことができる。本方法は、コンピューティングシステムによって、食料品種の食料品の成熟レベルを受信することを含むことができる。成熟レベルは、食料品の非破壊的測定及び食料品種のための訓練済みモデルを用いて決定することができる。訓練済みモデルは、食料品種の他の食料品の1つ以上の破壊的測定を用いて訓練することができる。本方法はまた、食料品のための既存のサプライチェーンスケジュール及び仕向け先を含む食料品のためのサプライチェーン情報を識別することと、受信された成熟レベルに基づいて食料品のためのサプライチェーン情報を変更するべきかどうかを決定することと、サプライチェーン情報を変更するべきとの決定に応じて、受信された成熟レベルに基づいて、変更されたサプライチェーン情報を生成することと、を含むことができる。変更されたサプライチェーン情報は、食料品のための変更されたサプライチェーンスケジュール及び変更された仕向け先のうちの1つ以上を含むことができる。本方法はまた、変更されたサプライチェーン情報を1つ以上のサプライチェーンアクターへ伝送し、変更されたサプライチェーン情報を実施することを含むことができる。
【0068】
[0068] 好ましい実施形態は以下の特徴のうちの1つ以上を含むことができる。本方法は、受信された成熟レベルが閾値を超えることに基づいて食料品は最終消費者による消費に適していると決定することと、受信された成熟レベルが閾値未満であることに基づいて食料品は最終消費者による消費に適していないと決定することと、をさらに含むことができる。
【0069】
[0069] 別の例として、変更されたサプライチェーン情報は、1つ以上のサプライチェーンアクターによって実行されたとき、食料品を、食料品の場所に地理的に最も近い最終消費者への発送輸送のために移動させる命令を含むことができる。変更されたサプライチェーン情報はまた、1つ以上のサプライチェーンアクターによって実行されたとき、食料品を食品加工工場への発送輸送のために移動させる命令を含むことができる。
【0070】
[0070] 本明細書において説明される好ましい実施形態は、食料品の非接触評価を用いて食料品のための成熟レベルを決定するためのシステム及び方法をさらに含むことができる。システムは、同じ食品種の複数の試験食料品のための針入度計データを測定することができる1つ以上の針入度計と、同じ食品種の複数の試験食料品のためのデュロメータデータを測定することができる1つ以上のデュロメータと、同じ食品種の食料品のためのスペクトルデータを測定することができる1つ以上のスペクトル撮像デバイスと、少なくとも1つのコンピューティングシステムと、を含むことができる。コンピューティングシステムは、針入度計データ及びデュロメータデータを受信し、針入度計データ及びデュロメータデータの部分を選択し、針入度計データ及びデュロメータデータの選択部分に基づいて同じ食品種の食料品のための成熟度メトリックを決定し、成熟度メトリックに基づいて機械学習訓練済みモデルを生成することができる。機械学習訓練済みモデルは、針入度計データの選択部分及びデュロメータデータの選択部分によって提供された破壊的測定を、スペクトルデータによって提供された非破壊的測定と相関させ、同じ食品種の食料品のための成熟度メトリックをモデル化することができる。コンピューティングシステムはまた、1つ以上のスペクトル撮像デバイスから、同じ食品種の食料品のスペクトルデータを受信し、同じ食品種の食料品のスペクトルデータをフィルタリングし、機械学習訓練済みモデルを、同じ食品種の食料品のフィルタリングされたスペクトルデータに適用することに基づいて、食料品の成熟レベルを決定することができる。食料品の成熟レベルは、食料品の破壊的測定を行うことなく決定することができる。さらに、コンピューティングシステムは、食料品のための既存のサプライチェーンスケジュール及び仕向け先を含む食料品のためのサプライチェーン情報を識別し、食料品の成熟レベルに基づいて食料品のためのサプライチェーン情報を変更するべきかどうかを決定し、サプライチェーン情報を変更するべきとの決定に応じて、食料品の成熟レベルに基づいて、変更されたサプライチェーン情報を生成することができる。変更されたサプライチェーン情報は、食料品のための変更されたサプライチェーンスケジュール及び変更された仕向け先のうちの1つ以上を含むことができる。コンピューティングシステムはまた、ユーザコンピューティングデバイスへ、(i)食料品の成熟レベル、及び(ii)変更されたサプライチェーン情報をユーザコンピューティングデバイスにおける表示のために伝送することができる。
【0071】
[0071] 本明細書において説明される好ましい実施形態は以下の特徴のうちの1つ以上を含むことができる。例えば、1つ以上のスペクトル撮像デバイスは点分光計を含むことができる。機械学習訓練済みモデルは1つ以上の層を含むことができる。層の各々は、(i)同じ食品種の複数の試験食料品の訓練画像、及び(ii)訓練画像によって描写された複数の試験食料品の各々のための食料品分類を示すラベルを含むことができる。
【0072】
[0072] 別の例として、コンピューティングシステムはまた、食料品の成熟レベルが閾値を超えることに基づいて食料品は消費に適していると決定することができる。コンピューティングシステムは、食料品の成熟レベルが閾値未満であることに基づいて食料品は消費に適していないと決定することができる。コンピューティングシステムは、さらに、(i)針入度計データの選択部分を、硬い複数の試験食料品に対応するスペクトルデータの1つ以上の波長と相関させること、及び(ii)デュロメータデータの選択部分を、柔らかい複数の試験食料品に対応するスペクトルデータの1つ以上の波長と相関させることに基づいて機械学習訓練済みモデルを生成することができる。
【0073】
[0073] さらに別の例として、変更されたサプライチェーン情報は、ユーザコンピューティングデバイスにおいて1つ以上のサプライチェーンアクターによって実行されたとき、食料品を、食料品の場所に地理的に最も近い最終消費者への発送輸送のために移動させる命令を含むことができる。変更されたサプライチェーン情報はまた、ユーザコンピューティングデバイスにおいて1つ以上のサプライチェーンアクターによって実行されたとき、食料品を食品加工工場への発送輸送のために移動させる命令を含むことができる。
【0074】
[0074] 本開示の技術は1つ以上の利点をもたらすことができる。例えば、本開示の技術は、果物及び農産物などの、食料品の成熟度を識別するための非破壊的な手法を提供することができる。食料品がリアルタイムに非破壊的に試験され得るため、これは事業損失を低減し、利益を増大させることができる。いずれにせよ、もとのままの食料品をより多く消費者に販売することができ、このような食料品を、それらが好ましい成熟度である時に消費者に販売することができる。
【0075】
[0075] 破壊的測定を用いて、消費者に販売される予定である食料品を傷つけること、又は侵襲することなく、成熟度メトリック及びモデルを生成することができる。データは、例えば、食料品の皮又は果肉を穿孔することによって、種々のツールを用いて収集することができる。この破壊的データを用いて成熟度メトリックを決定することができる。本明細書において説明されるモデルは、スペクトルデータなどの、非破壊的データを用いて成熟度メトリックを予測するために訓練することができる。破壊的技法は、食料品成熟度を決定するためにリアルタイムに用いられ得ない。その代わりとして、分光計データをリアルタイムに収集し、食料品成熟レベルをより正確に決定するためにモデルと共に用いることができる。実装形態によっては、履歴の食料品の非破壊的測定及び破壊的測定の両方によって取得された訓練データを用いてモデルを訓練することによって成熟度検出精度の増大を達成することができる。したがって、消費者に販売される食料品を破壊することなく成熟度予測の精度を改善することができる。
【0076】
[0076] 本開示の技術はまた、食料品成熟度のより正確な決定をもたらすことができる。成熟度を非破壊的に決定するために用いられるモデルは、種々の異なるデータ点、データセット、及び入力を使って訓練することができる。モデル内に送り込まれるデータが多いほど、モデルは堅牢になることができる。より堅牢なモデルは、成熟レベルを、より正確に、及び食料品を侵襲することなくリアルタイムに検出するために有利になり得る。
【0077】
[0077] 本開示の技術はまた、サプライチェーン管理を改善するためにも有利になり得る。食料品成熟度を、より正確に、及び非破壊的に決定することができるため、サプライチェーンの変更を適切に行うことができる。本開示の技術は、さもなければ検出されずにいることになり得る(又はさもなければ破壊的技法を用いて検出され得る)成熟度又は硬度の変化に基づく食料品のための消費の好適性の微妙な変化を検出することができる。このような場合には、消費のための食料品好適性における検出された変化は1つ以上の食料品のための流通スケジュールの変更をもたらすことができる。一例として、特定の農産物が熟し過ぎていると決定された場合には、農産物を食品雑貨店において消費者に販売することは不利になり得る。この農産物はより低価格で販売される可能性があり、及び/又は消費者は農産物を購入しない可能性がある。したがって、農産物の成熟度が決定されるとすぐに、農産物を加工のために食品加工工場へ移動させることができるようサプライチェーンを変更することができる。別の例として、一部の農産物が成熟していると決定された場合には、この農産物を消費者による購入のために食品雑貨店へ移動させることが有利になり得る。この農産物は、農産物が好ましい成熟度であるかどうかに基づいて、より高価格で販売される可能性さえある。これらのサプライチェーン変更は、決定された食料品成熟レベルに基づいてリアルタイムに決定することができる。その結果、サプライチェーンはより効率的になることができ、変更は、事前に、及び食料品を破壊することなく、より正確に行うことができる。
【0078】
[0078] 本開示の技術はまた、デュロメータの感知範囲を超えて食料品(例えば、果物、農産物)成熟度を推測するために、可視-NIR技術などの、分光技法を用いることもできる。分光技法は、デュロメータによって生じ得る、ユーザに依存した測定の誤差を除去するために有利になり得る。いずれにせよ、分光技法は非侵襲的、非破壊的である。分光技法はより容易にスケーリングし、自動化することができる。それゆえ、これは、サプライチェーン内の科学者及び他の利害関係者のために、彼らの時間を他のプロジェクトのために解放すること、及びより信頼性のある一貫したデータを提供することによって、プロセスの改善をもたらすことができる。NIR測定は、他の果物品質メトリックを推測するための異なるモデルを開発するために用いることができる、より多量のデータを提供することができる。その後、NIR測定は、食料品成熟度を非破壊的に決定するためにリアルタイムに用いることができる。
【0079】
[0079] 別の例として、本開示の技術は、より高速の成熟度決定又は予測技法を提供することができる。本開示の技術は、撮像及び計算/処理能力を含むことができるNIR分光計デバイスを含むことができる。したがって、分光計データは、NIR分光計デバイス自体において獲得し、本明細書において説明されるモデルを用いて処理することができる。食料品成熟度は、NIR分光計デバイスにおけるエッジコンピューティングを用いてより迅速に決定し、出力することができる。
【0080】
[0080] 本開示のこれら及び他の革新的態様は、本明細書において、図面、詳細な説明において、及び請求項において説明される。
【図面の簡単な説明】
【0081】
図面の簡単な説明
図1A】[0081]図1Aは、食料品成熟度を決定するためのモデルを生成することの概念図である。
図1B】[0082]図1Bは、食料品成熟度をリアルタイムに決定することの概念図である。
図1C】[0083]図1Cは、モデルによって生成された出力データに基づいて食料品が消費に適しているかどうかを非破壊的に決定するための例示的なシステムの概念図である。
図2】[0084]図2は、農産物の硬度レベルを決定するためのプロセスのフローチャートである。
図3A】[0085]図3Aは、食料品成熟度を決定するためのモデルを生成するためのプロセスのフローチャートである。
図3B】[0086]図3Bは、食料品成熟度を決定するためのモデルを生成するための別のプロセスのフローチャートである。
図3C】[0087]図3Cは、食料品成熟度を決定するべくモデルを訓練するために収集されたデータを用いて決定することができる硬度メトリックを示す。
図3D】[0088]図3Dは、食料品成熟度を決定するために訓練されたモデルによって予測され得る硬度メトリックを示す。
図4A】[0089]図4Aは、モデルを用いて食料品成熟度をリアルタイムに決定するためのプロセスのフローチャートである。
図4B】[0089]図4Bは、モデルを用いて食料品成熟度をリアルタイムに決定するためのプロセスのフローチャートである。
図5】[0090]図5は、モデルを用いて食料品が消費の準備ができたかどうかを非破壊的に決定するためのプロセスの別のフローチャートである。
図6A】[0091]図6Aは、モデルを用いて食料品のバッチが消費の準備ができているかどうかを非破壊的に決定するためのプロセスのフローチャートである。
図6B】[0091]図6Bは、モデルを用いて食料品のバッチが消費の準備ができているかどうかを非破壊的に決定するためのプロセスのフローチャートである。
図7】[0092]図7は、本明細書において説明されるモデルを用いて食料品成熟度を決定するグラフ描写である。
図8】[0093]図8は、本明細書において説明されるシステム、方法、及び技法を実施するために用いることができるシステム構成要素のブロック図である。
【発明を実施するための形態】
【0082】
詳細な説明
[0094] 本開示は、食料品を破壊することなく食料品が消費に適しているかどうかを決定するためのシステム、方法、及び技法に関する。試験食料品の破壊的測定を取得することに基づいて成熟度メトリックを設計することができる。次に、機械学習モデルを開発し、分光計からのスペクトルデータなどの、非破壊的測定を用いて成熟度メトリックを決定するために訓練することができる。リアルタイムに、食料品についての非破壊的測定を収集することができる。収集された測定をモデル内に入力し、食料品を侵襲すること、又は他の仕方で破壊することなく、特定の食料品のための設計成熟度メトリック(例えば、硬度、消費好適性レベル)を決定又は予測することができる。
【0083】
[0095] 図を参照すると、図1Aは、食料品成熟度を決定するためのモデルを生成することの概念図である。本明細書において説明されるように、モデルを生成することは、破壊的、侵襲的測定を用いて成熟度メトリックを設計することを含むことができる。コンピュータシステム190は、ネットワーク198を介して本開示全体を通じて説明される1つ以上の構成要素、システム、及び/又はデバイスと通信することができる。コンピュータシステム190は針入度計データ114及びデュロメータデータ116を受信することができる(A)。データ114及び116は1つ以上のデバイスから受信することができる。
【0084】
[0096] 例えば、針入度計データ114は、試験食料品に用いられる針入度計から受信することができる。針入度計は、食料品が硬いときの食料品の硬度を決定するために用いることができる。針入度計は、食料品から皮の層をスライスし、及び/又は食料品の皮を貫いて穿孔するために用いることができる。針入度計は、針入度計プローブを食料品の皮に押し通すために用いることができる力を測定することができる。それゆえ、針入度計データ114は、成熟度メトリックの決定において用いられる破壊的測定になることができる。
【0085】
[0097] デュロメータデータ116は、試験食料品又は他の試験食料品に用いられるデュロメータから受信することができる。デュロメータは、食料品内に押し込むことができるシンブルを含むことができる。デュロメータは、食料品が柔らかいときの食料品の硬度を決定するために用いることができる。デュロメータは、ユーザがシンブルを食料品内に押し込んだときの抵抗力を測定することができる。デュロメータデータ116は、成熟度メトリックを設計するために用いられる別の破壊的測定になることができる。
【0086】
[0098] 受信されたデータを用いて、コンピュータシステム190は、成熟度メトリックの設計に用いるための針入度計データ114及びデュロメータデータ116の部分を選択することができる(B)。本明細書において説明されるように、データ114及び116をグラフに描くことができる。グラフは線形回帰法を用いて平坦化することができる。ある時点では、グラフ(例えば、図7参照)によって示されるように、デュロメータデータ116のみを用いて食料品硬度を正確に予測することができる。さらに、他の時点では、針入度計データ114のみを用いて硬度を正確に予測することができる。それゆえ、特定の針入度計及びデュロメータ値114及び116をグラフ内の変曲点の周りで選択することができる。次に、選択された値を波長又は他のスペクトル情報と共にモデル化することができる。
【0087】
[0099] 次に、コンピュータシステム190は成熟度メトリックを設計することができる(C)。本明細書において説明されるように、モデルは、選択された針入度計データ値114及び選択されたデュロメータデータ値116を用いて生成することができる。
【0088】
[0100] 次に、コンピュータシステム190は機械学習モデルを生成することができる(D)。モデルは、同じ種類の食料品のための成熟度メトリックをリアルタイムに予測又は決定するように生成することができる。本明細書において説明されるように、モデルは、成熟度メトリックを非破壊的に予測するためにリアルタイムに用いることができる。さらに、実装形態によっては、コンピュータシステム190は1つを超える機械学習モデルを生成することができる。1つ以上のモデルは、食料品のスペクトルを設計成熟度メトリックにどのように対応付けるのかを学習するために訓練することができる。それゆえ、モデルは、異なる波長を硬度の変化(例えば、経時的にあまり硬くなくなっていく)と相関させ、食料品の成熟度をリアルタイムに非破壊的に予測することができる。
【0089】
[0101] 実装形態によっては、針入度計値114の傾きが食料品の硬度、又は成熟度を示すことができる。したがって、コンピュータシステム190は、スペクトルデータから傾きを予測し、食料品のための設計成熟度メトリックを決定するモデルを生成することができる。訓練の間、コンピュータシステム190は針入度計値114を収集することができ、針入度計値114は、力(ポンド、lb、又はグラム単位で測定)及び深さ(ミリメートル、mm単位で測定)を説明する全硬度曲線にグラフ化され得る。モデルを、硬度曲線の傾きを決定するために訓練することができる。針入度計値114の傾きは、より硬い果物などの、特定の種類の果物のための硬度メトリック、又は設計成熟度メトリックを正確に示すことができる。実装形態によっては、種々の異なる種類の果物(例えば、硬い、及び柔らかい果物)を説明するために、針入度計値114及びデュロメータ値116の両方を用いてモデルを訓練することができる。値114及び116は正規化することができる。直交回帰及び射影を用いて、正規化されたデュロメータ値116を、正規化された針入度計値114の傾きに対応付け、完全な代表硬度曲線を生成することができる。次に、実行時間中に受信されたスペクトルデータを用いて、正規化された針入度計値114の傾きを予測するために、モデルを訓練することができる。さらなる説明については図3B~Dを参照されたい。
【0090】
[0102] モデルが生成されると、モデルを出力することができる(E)。モデルを出力することは、それを後続及び/又は将来の使用のためにデータベース又は同様のデータストア(例えば、クラウドストレージ)内に記憶することを含むことができる。モデルを出力することはまた、モデルをリアルタイムの使用のために別のコンピューティングデバイスに提示又は提供することを含むことができる。したがって、出力されたモデルは、食料品の成熟レベルをリアルタイムに非破壊的に決定するために用いることができる。
【0091】
[0103] 図1Bは、食料品成熟度をリアルタイムに決定することの概念図である。本明細書において説明されるように、成熟度は、図1Aにおいて説明されるモデルを用いて決定することができる。成熟度は、非破壊的測定(例えば、分光計データ)及び技法を用いてリアルタイムに決定することができる。コンピュータシステム190はネットワーク198を介してユーザデバイス192及び分光計デバイス194と(例えば、有線及び/又は無線で)通信することができる。図1Cにおいて、画像センサ106及び光源106aを有する、分光計デバイス194がさらに詳細に説明される。ユーザデバイス192は、携帯電話、セルフォン、ラップトップ、コンピュータ、及び/又はタブレットなどのコンピューティングデバイスであることができる。ユーザデバイス192はサプライチェーン作業員又は他の関連利害関係者によって用いられ得る。
【0092】
[0104] 実装形態によっては、分光計デバイス194、コンピュータシステム190、及びユーザデバイス192は1つのコンピューティングシステムであることができる。他の実装形態では、本明細書において説明されるデバイスのうちの1つ以上は1つのコンピューティングシステムであることができる。
【0093】
[0105] 図1Bに示されるように、農産物102A~Nをコンベヤベルト104上に載せることができる。実装形態によっては、農産物102A~Nは、パレット上、箱内、又は運搬用の他のコンテナ内にあることができる。コンベヤベルト104は、低温貯蔵施設などの、倉庫内にあることができる。分光計デバイス194は、農産物102A~Nを、それがコンベヤベルト104に沿って移動するのに従って走査するように構成され得る(A)。
【0094】
[0106] 実装形態によっては、農産物102A~Nは、それが倉庫に入るとすぐに走査することができる。この時点における走査は、農産物102A~Nの決定された成熟レベルに基づいてサプライチェンジ(supply change)のより即時の変更を行うために有利になり得る。実装形態によっては、農産物102A~Nは、コンベヤベルト104上で倉庫内を移動させられている間に異なる時点で走査することができる。例えば、農産物102A~Nはまた、農産物102A~Nが倉庫から外へ移動させられる前に走査することもできる。換言すれば、この段階において農産物102A~Nの成熟度を決定することは、農産物102A~Nは店及び最終消費者へ仕向けられるべきかどうか、又は農産物102A~Nは食品加工工場へ仕向けられるべきかどうかを決定するために有利になり得る。
【0095】
[0107] 次に、分光計デバイス194は分光計データをコンピュータシステム190へ伝送することができる(B)。コンピュータシステム190は、任意選択的に、走査された農産物102A~Nに関する他の入力データを受信することができる(C)。例えば、コンピュータシステム190は、データベースから、農産物102A~Nに関する履歴情報を取り出すことができる。履歴情報は、農産物102A~Nの原産地、農産物102A~Nのための典型的な成熟条件、及び/又は農産物102A~Nのための好ましい気象条件を含むことができる。他の入力データはまた、本開示全体を通じて説明されるとおりの農産物102A~Nに関連付けられた任意の他の履歴又は関連情報を含むことができる。
【0096】
[0108] 次に、コンピュータシステム190は、受信されたデータをフィルタリングすることができる(D)(例えば、図7参照)。モデルを、フィルタリングされたデータに適用することができる(E)。モデルを用いて、コンピュータシステム190は食料品硬度を決定することができる(F)。次に、コンピュータシステム190は硬度情報をユーザデバイス192へ伝送することができる(G)。ユーザデバイス192において硬度情報を出力することができる(H)。任意選択的に、ユーザデバイス192においてサプライチェーン変更を決定することができる(I)。これらの変更は、ユーザデバイス192、及び/又はユーザデバイス192と通信する1つ以上の他のコンピューティングシステムによって自動的に決定され得る。変更はまた、ユーザデバイス192においてユーザによって決定され得る。本開示全体を通じて説明されるように、変更は、農産物102A~Nがそれほど硬くない、又は成熟していないときには、加工工場への発送のために農産物102A~Nの経路を設定し、農産物102A~Nが特定の好ましい硬度及び/又は成熟度であるときには、店及び客への発送のために農産物102A~Nの経路を設定することを含むことができる。
【0097】
[0109] 図1Cは、モデルによって生成された出力データに基づいて食料品が消費に適しているかどうかを非破壊的に決定するための例示的なシステム100の概念図である。システム100は、画像センサ106、食料品検出エンジン110、入力生成エンジン120、機械学習モデル130、メモリ140、第1のプログラム論理エンジン150、第2のプログラム論理エンジン160、鮮度評定エンジン170、及び出力エンジン180を含むことができる。「エンジン」は、1つ以上のソフトウェアモジュール、1つ以上のハードウェアモジュール、又はそれらの任意の組み合わせを含むことができる。
【0098】
[0110] 画像センサ106は、食料品102A~Nの属性を表現するデータ108を生成するために用いることができる。ここで、Nは、0よりも大きい正の整数であることができ、コンベヤベルト104上の食料品102の数を表す。図1の例では、画像センサ106は、食料品102A~Nがコンベヤベルト104に沿って移動するのに従って、画像センサ106が、食料品102A~Nの1つ以上の画像を表現する画像データを獲得することを可能にする仕方で配置することができる。実装形態によっては、センサ106は、食料品102A~Nの特徴を表現するハイパースペクトルデータを獲得するように構成された1つ以上のハイパースペクトルセンサを含むことができる。このような実装形態では、ハイパースペクトル画像の各ピクセルは、ハイパースペクトルセンサによって撮像された対応する食料品に関連付けられた赤外又は紫外光のスペクトルに対応することができる。実装形態によっては、点分光計が画像センサ106として用いられ得る。点分光計は、コンベヤ104の撮像領域に関連付けられた赤外又は電磁光のスペクトルを表現する単一の出力を生成することができる。実装形態によっては、センサ106はまた、低分解能デジタルカメラ(例えば、5M以下)、高分解能デジタルカメラ(例えば、5MP以上)、又は同様のものであることもできる。
【0099】
[0111] 実装形態によっては、センサ106は、1つ以上の食料品102A~Nに対して複数の角度をなして位置付けられた複数のセンサを含むことができる。例えば、センサ106は、異なる視点角度から食料品102A~Nの画像を各々獲得する第1のカメラ及び少なくとも1つの追加のカメラを含むことができる。このような構成では、1つ以上の追加のカメラは、第1のカメラによって獲得され、第1のカメラによって、食料品102A~Nを表現する画像データを生成するために用いられる光の波長とは異なる光の波長、又は追加の光の波長に基づいて画像データを生成するために用いることができる。概して、光の波長の任意のセットをセンサ106によって取得することができる。
【0100】
[0112] 1つ以上のカメラの各特定のカメラは、多数の異なる仕方で、異なる、又は追加の光の波長を検出するように構成され得る。例えば、実装形態によっては、異なる、又は追加の光の波長を検出するために、異なるセンサを異なるカメラ内で用いることができる。代替的に、又は加えて、1つ以上のカメラの各々は、異なる光の波長を獲得するために、互いに対して異なる高さ、異なる角度、又は同様のものに位置付けることができる。実装形態によっては、1つ以上のカメラは、少なくとも部分的に、第1のカメラの視野から遮られ得る1つ以上の食料品102A~Nの部分を獲得するように位置付けることができる。
【0101】
[0113] 実装形態によっては、食料品102A~Nを照明するために1つ以上の光源106aを用いることができる。図1Bを参照して説明されるように、光源106a及びセンサ106は分光計デバイスを含むことができる。光源106aは食料品102A~Nを照明することができ、これにより、ハイパースペクトル画像センサ又は他の分光計センサなどの画像センサ102は、食料品102A~Nから反射した光を獲得した画像を生成することができる。光源106aは、同じ、又は異なる電磁放射を各々発生する1つ以上の光源を含むことができる。本例では、光源106aは、画像センサ106に取り付けられているように示されている。実装形態によっては、光源106aは、画像データ108を生成するための画像センサ106による反射光の獲得の前、又は最中に食料品102A~Nを照明するために画像センサ106の近位の1つ以上の場所内に位置付けることができる。実装形態によっては、1つ以上の光源は、1つ以上の光源によって出力される電磁放射の周波数に基づいて選択することができる。例えば、実装形態によっては、光源106aはハロゲン光源であることができる。代替的に、又は加えて、1つ以上の光源106aは、可視波長スペクトル、近赤外波長スペクトル、電磁スペクトル、又は光の任意の他のスペクトルにわたる光を提供するために用いることができる広帯域発光ダイオード(LED(light-emitting diode))のダイオード又は一連のダイオードであることができる。概して、任意の種類の光を画像センサ106に提供するために任意の光源を用いることができる。
【0102】
[0114] 実装形態によっては、1つ以上の光源106a、又は1つ以上の光源106aの制御ユニットは、画像センサ106、又は画像センサ106の制御ユニットに通信可能に接続され得る。例えば、画像センサ106、又は画像センサ106の制御ユニットは、1つ以上の光源106aに、所定のパワーで、及び所定の時間で1つ以上の光の波長をもって食料品102A~Nのうちの1つ以上を照明させる信号を、1つ以上の光源106a、又は1つ以上の光源106aの制御ユニットへ送信することができる。実装形態によっては、所定の時間は、食料品102A~Nが照明されたときに画像センサ106が食料品102A~Nの画像データ108を獲得することができるよう、画像センサ106による画像データ108の獲得の前、又は最中の所定の時間量とすることができる。
【0103】
[0115] 実装形態によっては、画像センサ106の制御ユニットは、画像センサ106に画像データ108を獲得させる1つ以上の信号を画像センサ106へ送信することができる1つ以上のコンピュータ又はコンピューティングシステムを含むことができる。画像データ108は1つ以上の画像を含むことができる。画像センサ106がハイパースペクトル画像センサを含むときには、このような画像は1つ以上のハイパースペクトル画像を含むことができる。画像はまた、分光計によって生成されたデータ、5MP未満のデジタル画像、5MPのデジタル画像、又は5MP超のデジタル画像であることもできる。実装形態によっては、1つ以上の光源106aの制御ユニットは、1つ以上の光源106aに光を出力させる1つ以上の信号を1つ以上の光源106aへ送信する1つ以上のコンピュータを含むことができる。
【0104】
[0116] 実装形態によっては、光源106aは、消費のための食料品の好適性を決定するためにシステム100によって評定される食料品の種類に基づいて光の特定の波長を出力するように構成され得る。例えば、食料品102A~Nがアボカドを含み、機械学習モデル130が、アボカドの硬度の消費好適性属性を決定するために訓練されている場合には(例えば、モデルを生成するための図1Aを参照)、光源106aの制御ユニットは、光源106aに、534nm~942nmの波長範囲を有する光を出力するよう命令するように構成され得る。なぜなら、このような光の波長は、画像センサ106によって、機械学習モデル130がアボカドの硬度レベルを検出するために最適な特徴を有する画像データ108を生成するために有用になり得るからである。
【0105】
[0117] 別の例として、食料品102A~Nがアボカドを含み、機械学習モデル130が、アボカドの乾物の消費好適性属性を決定するために訓練されている場合には、光源106aの制御ユニットは、光源106aに、690nm~912nmの波長範囲を有する光を出力するよう命令するように構成され得る。なぜなら、このような光の波長は、画像センサ106によって、機械学習モデル130がアボカドの乾物レベルを検出するために最適な特徴を有する画像データ108を獲得するために有用になり得るからである。
【0106】
[0118] 別の例として、食料品102A~Nがリンゴを含み、機械学習モデル130が、リンゴの硬度の消費好適性属性を決定するために訓練可能である場合には、光源106aの制御ユニットは、光源106aに、672nm~948nmの波長範囲を有する光を出力するよう命令するように構成され得る。なぜなら、このような光の波長は、機械学習モデル130がリンゴの硬度レベルを検出するために最適な特徴を有する画像データ108を生成するために有用になり得るからである。
【0107】
[0119] 本明細書における例によって示されるように、光源106aによって出力される光は、画像センサ106が、消費のための好適性(例えば、成熟度)を検出するために、機械学習モデル130を介して、正確な推測をもたらす最適な特徴を有する画像データ108を生成することを可能にするよう、食料品102A~Nの種類に基づいてカスタマイズすることができる。1つ以上の異なる食品種のために光の任意の波長を選択することもできる。
【0108】
[0120] 実装形態によっては、画像センサ106又は光源106aの制御ユニットは、光源106aを、新たに検出された食料品に基づいて光の特定の波長を出力するように動的に構成することができる。実装形態によっては、光源106aの動的構成は、ユーザデバイスから受信された命令に応じて行われ得る。例えば、ユーザは、光源106aを特定の種類の食料品102A~Nのために構成することができる。このような実装形態では、ユーザデバイスのユーザは、ユーザデバイスに、光源106aに光の特定の波長を出力させる命令を生成させ、画像センサ106又は光源106aのコントローラへ伝送させるコマンドを入力することができる。
【0109】
[0121] 実装形態によっては、システム100は、ユーザ対話を行うことなく、特定の種類の食料品がシステム100によって評定されるべきであると自動的に決定し、かくして、光源106aを自動的に構成することができる。例えば、システム100は、コンベヤベルト104に沿ったより早い段階において、又はサプライチェーンに沿った1つ以上の他の場所内において別の1つ以上のカメラを含むことができる。これらの1つ以上の他のカメラは、コンベヤベルト104上に載せられた食料品102A~Nの1つ以上の画像を獲得し、食料品102A~Nの1つ以上の画像を分析し、分析された画像に基づいて、システム100によって評定されるべき特定の種類の食料品を決定することができる。このような実装形態では、1つ以上の他のカメラは、画像センサ106又は光源106aの制御ユニットへ、システム100によって評定されるべき食料品の種類を通信することができる通信ユニットに通信可能に結合され得る。次に、受信された通信に基づいて、画像センサ106又は光源106aの制御ユニットは、光源106aに、検出された種類の食料品のための最適な光波長範囲内に含まれる光の波長を出力させる仕方で光源106aを動的に構成することができる。
【0110】
[0122] 画像センサ106によって生成された画像データ108は食料品検出エンジン110に入力として提供することができる。実装形態によっては、画像センサ106は、画像データ108を、画像データ108を処理するように構成されたソフトウェア又はハードウェアエンジンに直接提供することができる。他の実装形態では、画像センサ106は画像データ108をメモリデバイスなどのメモリ140内に記憶することができ、その後、食料品検出エンジン110はメモリデバイス140にアクセスし、画像データ108を取得して処理することができる。
【0111】
[0123] 食料品検出エンジン110は画像データ108を取得することができる。取得された画像データ108は少なくとも第1の画像データ108-1~108-n及び第2の画像108aを含むことができる。ここで、nは、0よりも大きい任意の正の整数であり、画像データ108内に示される食料品の数に対応する。第1の画像データ108-1~108-nはn個の食料品の描写を含むことができ、第2の画像データ108aは、コンベヤベルト104などの環境の部分、又は食料品が加工されている加工施設の部分に対応することができる。加工施設の部分は、コンベヤベルト104上の食料品102A~Nの部分の画像獲得の最中に画像データ108内に描写され得る。食料品検出エンジン110は、取得された画像データ108を処理し、第1の食料品108-1に対応する第1の画像データ108-1~108-nの部分112を抽出することができる。
【0112】
[0124] 実装形態によっては、食料品検出エンジン110は、1つ以上の物体認識アルゴリズム、方法、又は技法を用いて、画像108内に描写された食料品108-1~108-nの特徴に対応する画像データ108の部分を認識することができる。例えば、図1Cに示されるように、食料品102A~Nはアボカドであることができる。本例では、食料品検出エンジン110はアボカドの複数の画像を使って訓練することができ、これにより、食料品検出エンジン110は、入力画像に基づいて、入力画像がアボカドの表現を含むか否か、及びアボカドの表現が入力画像108内のどこに出現しているかを決定することができる。食料品検出エンジン110はまた、柑橘類果実、マンゴー、リンゴ、ベリー、核果、トマト、肉、及び/又は野菜などの他の食料品を検出するために用いることもできる。このリストは、本開示の範囲に含まれる食料品の一例を提供するが、本開示はこれらの食料品に限定されない。
【0113】
[0125] 実装形態によっては、画像データ108内の食料品、例えば、108-1の表現の場所を決定するために座標系を用いることができる。例えば、画像データ108内の食料品108-1の場所を表すために、x及びy座標系内のx及びy値などの、1つ以上の数値を用いることができる。後続の処理ステップは、食料品108-1の場所を表す数値を用い、数値に基づいて、所与の画像内において、食料品108-1がどこに位置するのかを決定することができる。
【0114】
[0126] 実装形態によっては、食料品検出エンジン110は1つ以上の機械学習モデルのネットワークを含むことができる。このような実装形態では、食料品検出エンジン110の1つ以上の機械学習モデルのネットワークは、検出するべき特定の種類の食料品の訓練データセットに基づいて訓練することができる。図1Cの例では、食料品検出エンジン110はアボカドの画像を使って訓練することができ、これにより、食料品検出エンジン110は所与の入力画像内のアボカドの場所及び出現を検出することができる。
【0115】
[0127] 食料品検出エンジン110は、画像データ108から抽出された画像データ112を出力することができる。画像データ112は、第1の食料品108-1に対応する画像データ110の部分を含むことができる。画像データ112は入力生成エンジン120に入力として提供することができる。実装形態によっては、食料品検出エンジン110は、画像データ112を、入力生成エンジン120などの画像データ112を処理するように構成されたソフトウェア又はハードウェアエンジンに直接提供することができる。他の実装形態では、食料品検出エンジン110は画像データ112をメモリ140などのメモリデバイス内に記憶することができ、その後、食料品検出エンジン110はメモリデバイス140にアクセスし、画像データ112を取得して処理することができる。
【0116】
[0128] 入力生成エンジン120は機械学習モデル130への入力のためのデータ122を生成することができる。生成された入力データ122は、抽出された画像データ112の特徴を数値的に表現するベクトル122aを含むことができる。例えば、ベクトル122aは、画像データ112のピクセルに各々対応する複数のフィールドを含むことができる。入力生成エンジン120は、画像データ112の対応するピクセルを記述するフィールドの各々のための数値を決定することができる。フィールドの各々のために決定された数値を用いて、画像データ112の特徴を、生成されたベクトル122aに符号化することができる。画像データ112を数値的に表現する、生成されたベクトル122aは機械学習モデル130に入力として提供することができる。
【0117】
[0129] 機械学習モデル130は、入力データを受信するための入力層132、入力層132を介して受信された入力データを処理するための1つ以上の隠れ層134a、134b、134c、及び出力データを提供するための出力層136を有するディープニューラルネットワークを含むことができる。各隠れ層134a、134b、134cは1つ以上の重み又は他のパラメータを含むことができる。各それぞれの隠れ層134a、134b、134cの重み又は他のパラメータは、訓練された深層機械学習モデル130が、訓練データの各セットに対応する所望の目標ベクトルを作り出すことができるように調整することができる。各隠れ層134a、134b、134cの出力は活性化ベクトルを含むことができる。各それぞれの隠れ層によって出力された活性化ベクトルはディープニューラルネットワークの後続の層を通して伝搬させられ、出力データを作り出すために出力層によって用いられ得る。例えば、出力層136は、ニューラルネットワーク出力データ138を生成するために、最後の隠れ層134cから受信された活性化ベクトルの追加の計算を遂行することができる。
【0118】
[0130] 本開示全体を通じて説明されるように、機械学習モデル130は、入力データ122によって表現された食料品の消費好適性レベルを示す出力データ138を生成するために訓練することができる。機械学習モデル130は複数の訓練データ項目を用いて訓練することができる。例えば、図1Aを参照して説明されるように、モデル130は、破壊的測定(例えば、針入度計データ)を、デュロメータデータ、分光計データ、及び食料品に関する履歴情報などの、他のメトリックと組み合わせて用いて訓練することができる。複数の訓練データ項目の各訓練データ項目はまた、(i)食料品の訓練画像、及び(ii)訓練画像によって描写された食料品のための食料品分類を記述するラベルを含むこともできる。訓練データ項目ごとの食料品分類は、特定の訓練データ項目が対応する現実世界の食料品から収集された履歴データに基づいて決定された分類であることができる。食料品のために収集されたこの履歴データは、デュロメータの示度などの、食料品の非破壊的測定を用いて取得された第1の食料品好適性データ、針入度計の示度などの、食料品の破壊的測定を用いて取得された第2の食料品好適性データ、又はその両方を含むことができる。
【0119】
[0131] 破壊的なもの及び非破壊的なものの両方の、種々の入力メトリックを用いてモデルを生成することは、成熟度又は他の消費好適性レベルを非破壊的な仕方で予測するために有利になり得る。いずれにせよ、機械学習モデル130は、リアルタイムに、及び食料品を破壊することなく、しかし、破壊的プロセスを用いて取得された特定の測定を有する食料品の訓練画像と同様の特徴を有する食料品の後続の画像データを認識するために訓練された重み付きパラメータを有する機械学習モデル130の層134a、134b、134cを用いながら、食料品のための消費好適性レベルを予測するために訓練することができる。それゆえ、機械学習モデル130は、食料品を実際に破壊することなく、硬度又は成熟度などの、食料品の消費好適性属性を評定するために、食料品の破壊的測定を用いることができる。
【0120】
[0132] 図1Cをなおも参照すると、訓練システムは、機械学習モデル130、及び複数のラベル付けされた訓練データ項目を有するデータベースを含むことができる。各訓練データ項目は食料品の画像であり、(a)実際の食料品から測定されたデュロメータ示度、(b)実際の食料品から取得された針入度計示度、及び/又は(c)実際の食料品から取得された分光計示度でラベル付けされ得る。機械学習モデル130の訓練中、訓練画像を訓練画像データベースから取得し、機械学習モデル130に入力として提供することができる。機械学習モデル130は訓練画像を処理し、(a)訓練画像内の食料品のための予測デュロメータ示度、(b)訓練画像内の食料品のための予測針入度計示度、及び/又は(c)訓練画像内の食料品のための予測分光計示度に対応する出力データを生成することができる。次に、機械学習モデル130によって生成された出力を、ラベル付けされた示度と比較することができる。生成された出力データとラベル付けされた示度との差に基づいて機械学習モデル130のパラメータを調整することができる。このプロセスは、回帰損失関数などの損失関数が最適化されるまで訓練項目のデータベース内の複数の訓練項目の各々のために反復的に継続することができる。
【0121】
[0133] 機械学習モデル130が、非破壊的構成要素、破壊的構成要素、又はその両方を作り出すために訓練された出力データ。この出力は、消費好適性、成熟、及び/又は硬度レベルと称され得る。実装形態によっては、この出力は別個の値であることができ、例えば、訓練済み機械学習モデル130が、訓練済み機械学習モデル130の各層を通じて、入力データ122などの入力データを、入力データ122を非破壊的測定及び破壊的測定分類に分類するために処理することによって生成され得る。
【0122】
[0134] 実装形態によっては、出力データ138は、予測された非破壊的測定及び予測的な破壊的測定を示すことができる。実装形態によっては、機械学習モデル130は、非破壊的測定と破壊的測定との間の関係を示す単一の消費好適性値を予測するために訓練することができる。例えば、このような実装形態では、機械学習モデル130は、破壊的測定(例えば、針入度計測定値)の傾き・割る・非破壊的測定(例えば、デュロメータ測定値)の傾きを表す値を予測するために訓練することができる。
【0123】
[0135] 図1Cにおける例をなおも参照すると、機械学習モデル130は訓練済み機械学習モデル130の層132、134a、134b、134c、136の各々を通じて入力データ122を処理し、出力データ138を生成することができる。出力データ138は、画像データ112によって描写され、入力データ122によって表現された食料品のための消費好適性レベルを表すことができる。訓練済み機械学習モデル130は出力データ138をメモリ140内に記憶することができ、システム100は、システム100の実行をどのように進めることができるかについて決定を行うことができる。
【0124】
[0136] 150において、システム100は、訓練済み機械学習モデル130を通じて処理されるべき追加のデータが存在するかどうかを決定することができる。この決定は、撮像センサ106によって生成された画像データ108の種類に基づくことができる。実装形態によっては、例えば、画像データ108を生成するために点分光計を用いることができ、機械学習モデル130によって処理するべき追加のデータが存在し得る。
【0125】
[0137] 実装形態によっては、画像データ108はハイパースペクトル画像データを含むことができる。このような実装形態では、入力生成エンジン120は、ハイパースペクトル画像データ108のピクセルごとに、入力データ122を生成し、訓練済み機械学習モデル130を通じて、生成された入力データ122を処理するように構成され得る。このような実装形態では、システム100は、150において、訓練済み機械学習モデル130を通じて画像データ112の別のピクセルを処理することができるかどうかを決定することができる。システム100が、画像データ112の別のピクセルを処理することができると決定した場合には、システム100は、入力生成エンジン122に、画像データ112の別のピクセルに基づいて後続の入力データ122を生成するよう命令することができる(152)。後続の入力データ122もまた、機械学習モデル130を通じて処理し、後続の出力データ138を生成することができる。後続の出力データ138はメモリ140内に貯蔵することができる。システム100は、150において、画像112の別のピクセルなどの、追加のデータを処理することができるかどうかを再び決定することができる。システム100が、追加のデータを処理することができると決定した場合には、画像データ112のピクセルをこれ以上処理することができないことを示す終了条件が160においてトリガされるまで、上述のプロセスを反復的に継続することができる。点分光計が用いられる例によっては、この条件は150の最初の発生時に終了することができる。
【0126】
[0138] システム100は、終了条件が150においてトリガされた後に、160において食料品102A~Nの評定を続けることができる。160において、システム100は、別の食料品が画像データ108内に描写されているかどうかを決定することができる。別の食料品が画像108内に描写されている場合には、このとき、システム100は、食料品検出エンジン110に、画像データ108を処理し、食料品108-2に対応する画像データ108の部分などの、別の食料品の別の画像を抽出するよう命令することができる(162)。次に、システム100は、食料品108-1を描写する画像データ112に関して上述されたようにシステム100を通じて食料品108-2に対応する後続の画像データ112を処理することができる。システム100は、画像データ108内の食料品のn個の画像の各々が処理されるまで、このプロセスの実行を継続することができる。
【0127】
[0139] n番目の食料品の画像の各ピクセルの処理後の160の後続の実行が済むと、システム100は、160にける食料品を評定するための本明細書において説明されるプロセスの実行を終了することができる。この時点において、システム100は、鮮度評定エンジン170に、画像データ108内の各食料品の各画像のピクセルごとに生成され、メモリ140内に記憶された出力データ138を分析するよう命令することができる。例えば、鮮度評定エンジン170は、メモリ140内に記憶されたデータ142の集約表現にアクセスし、画像の各々のピクセルの各々にわたる出力データ138の集約表現を分析することができる。
【0128】
[0140] 実装形態によっては、鮮度評定エンジン170は、生成され、メモリ140内に記憶された出力データ138の全て、又は部分セットにわたる消費好適性の平均レベルを決定することができる。このような実装形態では、閾値を用いて消費好適性の平均レベルを評定することができる。消費好適性の平均レベルが所定の閾値を満足する場合には、このとき、システム100は、画像データ108によって描写された食料品は消費に適していることを示す出力エンジン180への命令172を生成することができる。別の例として、消費好適性の平均レベルが所定の閾値を満足しない場合には、このとき、システム100は、画像データ108によって描写された食料品は消費に適していないことを示す出力エンジン180への命令172を生成することができる。
【0129】
[0141] 実装形態によっては、所定の閾値を満足することは、閾値よりも大きい値を含むことができる。実装形態によっては、値は、その値が閾値よりも小さい場合に、所定の閾値を満足すると見なされ得る。例えば、実装形態によっては、値及び比較演算子の両方が否定され得る。このような実装形態では、さもなければ閾値よりも大きいもので得る同じ値がまた、閾値よりも小さいものであるように表され得る。同様の演算を、出力データ138の平均値のため、出力データ138の中央値、又は同様のもののために遂行することができる。
【0130】
[0142] 別の例として、鮮度評定エンジン170は、消費好適性値の完全セットにわたる消費好適性値の分布を分析することによって、メモリ140内に記憶された出力データ138の集約セットを評定することができる。このような実装形態では、鮮度評定エンジン180は、消費好適性値の分布が、消費に適していることが知られた食料品のための消費好適性値の期待分布に忠実である、又はそれから逸脱した様態に基づいて、食料品108-1~108-nが消費に適しているかどうかを決定することができる。鮮度評定エンジン170は、出力エンジン180に、このような流通分析に基づいて出力データを生成し、提供するよう命令することができる(172)。
【0131】
[0143] 出力エンジン180は、消費のための好適性のレベルを示す命令172を鮮度評定エンジン170から受信することができる。実装形態によっては、鮮度評定エンジン170は、食料品108-1~108-nは消費に適していると決定することができ、命令172は、システム100に、食料品108-1~108-nのための流通計画を継続するよう命令することができる。実装形態によっては、鮮度評定エンジン170は、食料品108-1~108-nは消費に適していない可能性があると決定することができ、命令172は、システム100に、画像データ108によって表現された食料品108-1~108-nを破棄するよう命令することができる。さらに他の実装形態では、鮮度評定エンジン170は、食料品108-1~108-nは特定の日数以内に消費に適さなくなるであろうと決定することができる。このような実装形態では、鮮度評定エンジン170は、出力エンジン180に、食料品108-1~108-nのための流通計画の変更を生成するよう命令することができる(172)。このような変更は、限定するものではないが、食料品108-1~108-nを消費者により早く提供することができるよう、食料品108-1~108-nを、以前にスケジュールされた市場よりも地理的に近い市場へ輸送することを含むことができる。食料品108-1~108-nのための流通計画の変更はまた、食料品108-1~108-nを冷凍ユニットへより高速に/より早く届けるために運搬車両の経路を変更させる運送の変更を含むこともできる。
【0132】
[0144] 図2は、農産物の硬度レベルを決定するためのプロセス200のフローチャートである。プロセス200は、本明細書において説明されるコンピューティングシステムのうちの1つ以上によって遂行され得る。例えば、プロセス200は、コンピュータシステム190、ユーザデバイス192、及び/又はシステム100(例えば、図1A~C参照)によって遂行され得る。簡潔性及び例示の目的のために、プロセス200はコンピュータシステム190の観点から説明される。
【0133】
[0145] プロセス200を参照すると、コンピュータシステム190は実行時の使用前に試験データを受信することができる(202)。本明細書において説明されるように(例えば、図1A参照)、試験データは同じ食品種の農産物のための破壊的測定を含むことができる。例えば、破壊的測定はバッチ内の1つ以上の試験農産物に関する針入度計及び/又はデュロメータデータを含むことができる。針入度計及び/又はデュロメータデータは、試験農産物を侵襲的にスライス又は穿孔することによって獲得することができる。データはコンピュータシステム190内へ収集及び入力することができる。
【0134】
[0146] 203において、コンピュータシステム190は硬度メトリック(例えば、成熟度メトリック)を生成することができる。本明細書において説明されるように、硬度メトリックは、202において受信された破壊的測定に基づくことができる。上述された試験データは、非破壊的スペクトルモデルを訓練するためのグラウンドトゥルースとして用いることができる、成熟度曲線を構築するために用いることができる。異なる種類の農産物及び/又は異なる成熟度特性のための1つ以上の異なる硬度メトリックを生成することができる。例えば、ベリーの成熟度を検出するための硬度メトリックを生成することができる。ベリー成熟度曲線のための試験データは、色、ブリックス、糖、及びpHを含むことができる。この試験データのうちの1つ以上は破壊的に測定することができる。この試験データを用いて、成熟度曲線を生成し、ベリーの成熟度を予測するべくスペクトルモデルを訓練するためのグラウンドトゥルース測定として用いることができる。次に、非破壊的測定を用いてベリー成熟度メトリックをリアルタイムに測定するための機械学習モデルを生成することができる。それゆえ、リアルタイムに、ベリーのスペクトルデータを非破壊的に獲得することができる。スペクトルデータをモデルに通し、このようなベリーの成熟度を非破壊的に予測することができる。
【0135】
[0147] 次に、コンピュータシステム190はモデルを生成することができる(204)(例えば、図1A参照)。このモデルは、農産物のための硬度、成熟度、及び/又は消費好適性レベルをリアルタイムに非破壊的に決定するために用いることができる。モデルは硬度メトリックを用いて生成することができる。
【0136】
[0148] 実行時間中に、コンピュータシステム190は、206において、農産物データを受信することができる。農産物データは非破壊的に獲得することができる。例えば、農産物データは、上述されたとおりのスペクトル撮像データであることができる(例えば、図1B~C参照)。スペクトル撮像データは、本開示全体を通じて説明されるように、分光計及び/又はハイパースペクトル撮像デバイスによって獲得することができる。農産物データは、農産物がコンベヤベルトに沿って、又は貯蔵施設の1つ以上の場所内で移動させられるのに従って、リアルタイムに獲得することができる。さらに、農産物データは、任意選択的に、フィルタリングし、及び/又は処理することができる(例えば、画像データを改良する、画像データからノイズを除去する、等)。
【0137】
[0149] コンピュータシステム190は208においてモデルを適用することができる。上述されたように、異なる種類の農産物のための1つ以上のモデルを生成することができる。コンピュータシステム190は、どのような種類の農産物が農産物データ内に獲得されているかを識別し、次に、適切なモデルを適用することができる。モデルを用いて、農産物データを分析し、その農産物のための成熟度メトリックを決定することができる。
【0138】
[0150] 210において、コンピュータシステム190によって農産物の硬度レベルを決定することができる。それゆえ、コンピュータシステム190は、適切なモデルの適用に基づいて、農産物が成熟しており、及び/又は人間の消費のために準備ができているかどうかを決定することができる。図1Cを参照して説明されるように、モデルの適用からの出力が所定の閾値を超える場合には、農産物は、成熟していると決定することができる。モデルの適用からの出力が所定の閾値未満である場合には、農産物は、まだ成熟していないと決定することができる。実装形態によっては、コンピュータシステム190はバッチ内の1つ以上の個々の農産物のための硬度レベルを決定することができる。実装形態によっては、コンピュータシステム190は農産物のバッチのための集約硬度レベルを決定することができる。
【0139】
[0151] 212において、農産物の硬度レベルを出力することができる。出力は、本明細書において説明されるユーザデバイス192において、或いは携帯電話、セルフォン、タブレット、ラップトップ、及び/又はコンピュータなどの、1つ以上の他のコンピューティングデバイスにおいて提示することができる。出力は、農産物がどのぐらい成熟しているかを示すことができる。出力はまた、農産物がどのぐらい未成熟であるか、どのぐらい硬いか、及び/又はどのぐらい熟し過ぎているかを示すこともできる。出力はグラフ描写として提示することができる。出力はまた、数値として提示することもできる。実装形態によっては、出力は、関連サプライチェーンのための好ましいフォーマットで提示することができる。
【0140】
[0152] 任意選択的に、及び加えて、コンピュータシステム190は1つ以上のサプライチェーン変更を決定することができる(214)。例えば、コンピュータシステム190は、農産物を、消費者による即時の消費のために食品雑貨店への発送のために移動させることができると決定することができる。農産物が、硬いというよりは柔らかい(例えば、熟し過ぎている)と決定された場合には、コンピュータシステム190は、農産物は食品加工工場への発送のために移動させられるべきであると決定することができる。その後、農産物は加工食品の生産において用いることができる。別の例として、農産物が、最適な硬度及び/又は成熟度にあると決定された場合には、コンピュータシステム190は、農産物は、農産物の現在の場所(例えば、貯蔵施設)に地理的に最も近い食品雑貨店への発送のために移動させられるべきであると決定することができる。したがって、農産物は、消費者によって購入され、消費されるよう、直ちに棚に置くことができる。他方で、農産物が、最適な硬度にあり、長期間にわたって最適な硬度にとどまるであろうと決定された場合には、コンピュータシステム190は、農産物は、農産物の現在の場所から地理的により遠く離れた食品雑貨店への発送のために移動させることができると決定することができる。いずれにせよ、農産物は、それが食品雑貨店に到着した時に依然として硬いであろうから、より長い運搬時間が農産物の硬度に悪影響を及ぼすことはないであろう。214において、1つ以上の他のサプライチェーン変更を決定することができる。さらに、実装形態によっては、コンピュータシステム190、及び/又はコンピュータシステム190及び/又はユーザデバイス192におけるユーザによって、1つ以上のサプライチェーン変更が提案され得る。
【0141】
[0153] 図3は、食料品成熟度を決定するためのモデルを生成するためのプロセス300のフローチャートである。プロセス300は、本明細書において説明されるコンピューティングシステムのうちの1つ以上によって遂行され得る。例えば、プロセス300は、コンピュータシステム190、ユーザデバイス192、及び/又はシステム100(例えば、図1A~C参照)によって遂行され得る。簡潔性及び例示の目的のために、プロセス300はコンピューティングシステム190の観点から説明される。
【0142】
[0154] プロセス300を参照すると、コンピュータシステムは、302において、データを受信することができる。本開示全体を通じて説明されるように、コンピュータシステムは針入度計データ304及びデュロメータデータ306を受信することができる。302におけるデータ収集は、アボカドなどの、1つ以上の試験食料品を使って遂行することができる。例えば、アボカドは、NIRデバイスを用いて2回走査され、3回のデュロメータ測定を受け、2回の針入度計測定を受けることができる。任意の他のデータ収集セットが行われ得る。1日につき、18~35個のアボカド、又は他のグループサイズのグループを、各グループが、食される準備ができた段階(例えば、<60ショア)になるまで、処理することができる。その結果、2つの共通に用いられた硬度測定(針入度計及びデュロメータ)に関連付けられた硬度の変化を獲得し、スペクトル情報に関連付け、アボカドの成熟サイクル全体にわたる硬度の変化を獲得することができる。
【0143】
[0155] 次に、コンピュータシステムは、308において、針入度計データ及びデュロメータデータの各々の部分を選択することができる。非線形射影を、デュロメータ及び針入度計測定を単一の変数に変換するよう適合させることができ、これは拡張ショア射影と呼ばれ得る。
【0144】
[0156] コンピュータシステムは、310において、針入度計及びデュロメータデータをプロットすることができる。拡張ショア射影線は、パラメータ化された線から各針入度計及び/又はデュロメータデータ点までのユークリッド距離を最小化するために、直交回帰を用いて適合させることができる。デュロメータデータは85~90ショア前後の最大値を有することができるが、この非線形射影は、初期には針入度計データを用いてのみ検出され得る、初期の成熟挙動を最大約120の拡張ショアのショア測定の拡張に直すことができる。このメトリックは、アボカド又は他の農産物の初期硬度におけるより広い範囲を獲得することを可能にし、未成熟の果物の異なるセットの間で成熟ライフサイクルにおける実際の段階を見分けることができる。
【0145】
[0157] 次に、コンピュータシステムは、312において、変曲点を識別することができる(例えば、図7参照)。ある時点では、デュロメータ値のみ又は針入度計値のみが、成熟度メトリックを開発するために用いられ得る。これは、変曲点においては、食料品が硬すぎるのか、それとも柔らかすぎるのかはっきりしなくなり得るためである。それゆえ、一例として、変曲点の前においては、針入度計値を、波長又はスペクトル撮像情報と共にモデル化するために用いることができる。変曲点の後においては、デュロメータ値を用い、波長又はスペクトル撮像情報と共にモデル化することができる。
【0146】
[0158] 変曲点が識別されると、コンピュータシステムは、314において、変曲点に基づいてデータの部分を選択することができる。上述されたように、変曲点の前に出現する針入度計データを選択することができ、変曲点の後に出現するデュロメータデータを選択することができる。316において、任意の非選択データを破棄することができる。
【0147】
[0159] コンピュータシステムは、318において、成熟度メトリックを生成することができる。本明細書において説明されるように、成熟度メトリックは、どちらも破壊的測定である、針入度計データ304及びデュロメータデータ306を用いて設計することができる。より具体的には、成熟度メトリックは、針入度計データ304及びデュロメータデータ306の各々の選択部分を用いて設計することができる。成熟度メトリックは、複数の異なる測定が特定の食料品の成熟プロセスの間にどのように相関させられるのかを示すことができる。
【0148】
[0160] 次に、コンピュータシステムは、320において、モデルを生成することができる。モデルは、設計成熟度メトリックを分光計データ及び他の任意選択的な非破壊的入力データと相関させるために訓練することができる。換言すれば、モデルは、設計成熟度メトリックへのスペクトルの対応付けを学習するために訓練することができる。それゆえ、318において生成された成熟度メトリックは訓練済み機械学習モデルのための所望の出力になることができる。モデルは、非破壊的測定を入力として受信し、食料品を破壊すること、又は他の仕方で侵襲することなく、設計成熟度メトリックを直接予測するために生成し、訓練することができる。
【0149】
[0161] 次に、322において、モデルを出力することができる。モデルが出力されると、モデルは、食料品の硬度又は他の成熟レベルを非破壊的に識別するために用いることができる。
【0150】
[0162] 本開示全体を通じて説明されるように、モデルは食料品の種類ごとに生成することができる。例えば、アボカド、リンゴ、ベリー等のために1つ以上のモデルを生成することができる。また、同じ種類の食料品の特定の特性に基づいて、モデルの異なる変形物を生成することもできる。例えば、メキシコ産のアボカドは、カリフォルニア産のアボカドに対して、モデル内で考慮される異なる成熟特性を有し得る。
【0151】
[0163] 図3Bは、食料品成熟度を決定するためのモデルを生成するための別のプロセス350のフローチャートである。プロセス350は、本明細書において説明されるコンピューティングシステムのうちの1つ以上によって遂行され得る。例えば、プロセス350は、コンピュータシステム190、ユーザデバイス192、及び/又はシステム100(例えば、図1A~Cを参照)によって遂行され得る。簡潔性及び例示の目的のために、プロセス350はコンピューティングシステム190の観点から説明される。
【0152】
[0164] 図3Bにおけるプロセス350を参照すると、コンピュータシステムは、352において、訓練データを受信することができる。訓練データは、食料品の硬度を各々測定することができる、針入度計及び/又はデュロメータを用いて食料品に対して物理試験を遂行することによって取得された針入度計データ(354)及びデュロメータデータ(356)を含むことができる。実装形態によっては、食料品の皮を除去することができ、その後、皮のない食料品に対して物理試験を遂行することによって訓練データを取得することができる。したがって、食料品の果肉に対して直接物理試験を遂行し、食料品の正確な硬度測定を生成することができる。
【0153】
[0165] 針入度計データ354は力データ(358)及び深さデータ(360)をさらに含むことができる。力データは、針入度計が食料品の皮又は外層を穿孔するのに従って、(例えば、グラム力、ポンド力で測定された)どのぐらいの力が針入度計に印加されたのかを示すことができる。深さデータは、力が針入度計に印加されるのに従って、針入度計が(例えば、mmで測定して)どのぐらい食料品に通ったのか、又は入ったのかを示すことができる。力及び深さデータは、針入度計が食料品に入り、その内部へ動く際に感じられる抵抗の大きさを示すことができ、これが食料品の硬度のための推論になることができる。コンピュータシステムは訓練中に種々のデータを収集していくため、コンピュータシステムは、本明細書において説明されるモデルによって予測することができる様々な設計メトリックを決定することができる。
【0154】
[0166] 任意選択的に、コンピュータシステムは、362において、データを正規化することができる。例えば、コンピュータシステムは針入度計データ(354)及びデュロメータデータ(356)を正規化することができる。実装形態によっては、コンピュータシステムは、デュロメータデータ(356)のみ、又は針入度計データ(354)のみなどの、データの一部のみを正規化し得る。コンピュータシステムは、針入度計及びデュロメータデータの両方を用いてモデルを訓練する目的のために、362において、データを正規化し得る。さらなる説明については372を参照されたい。
【0155】
[0167] コンピュータシステムは、364において、深さデータを力データに対応付けることができる。例えば、図3Cに示されるように、コンピュータシステムはグラフを生成するか、或いはさもなければ、x軸上に深さデータ(360)、及びグラフのy軸上に力データ(358)をプロットすることができる。
【0156】
[0168] 対応付けられたデータを用いて、コンピュータシステムは傾きを決定することができる(366)。図3Cを参照されたい。傾きは食料品の硬度に相関することができる。硬度は成熟度のための代理になることができる。傾きは、以下においてさらに説明されるように、設計硬度メトリックになることができる。スペクトルデータなどの、非破壊的に測定されたデータを用いて実行時間中に傾きを予測するためにモデルを訓練することができる。傾きは、最大力値の前の正の傾きを有する、対応付けられた針入度計データの部分などの、対応付けられた針入度計データの部分のために決定することができる。例えば、このような傾きは、例えば、最大力値に達する前の針入度計データの部分内のスパンのための平均傾き、最大傾き、中央傾き値、及び/又は他の傾き値として決定することができる。
【0157】
[0169] 任意選択的に、コンピュータシステムは、対応付けられたデータの最大力を決定することができる(368)。最大力は降伏応力を示し、食料品硬度の推論になることができる。最大力は、針入度計がいつ食料品の果肉を穿孔し、針入度計に印加された力の下で少し曲がり、次に、食料品の果肉を突き破ったのかを表すことができる。次に、スペクトルデータから最大力を食料品のための設計硬度メトリックとして予測するためにモデルを訓練することができる。モデルの訓練に関する追加の情報に関しては372~376を参照されたい。実装形態によっては、設計硬度メトリックを生成し、設計硬度メトリックを予測するべくモデルを訓練するために、最大力を傾き及び/又は曲線下面積と組み合わせることができる。
【0158】
[0170] 任意選択的に、コンピュータシステムは、対応付けられたデータの曲線下面積(AUC(area under curve))を決定することができる(370)。AUCは食料品硬度の推論になることができる。コンピュータシステムは、図3Cを参照してさらに説明されるように、受信された深さデータ360の任意の範囲のためのAUCを決定することができる。コンピュータシステムはまた、最大力の後のAUCを決定することもできる。実装形態によっては、コンピュータシステムは、対応付けられたデータ内の最大力又はピークの下の面積を表すことができる、内部AUCを決定することができる。次に、スペクトルデータからAUCを食料品のための設計硬度メトリックとして予測するためにモデルを訓練することができる。訓練に関するさらなる説明については372~376を参照されたい。実装形態によっては、設計硬度メトリックを生成し、そのメトリックを予測するべくモデルを訓練するために、AUCを最大力及び/又は傾きと組み合わせることができる。さらなる説明については図3Cを参照されたい。
【0159】
[0171] 372において、コンピュータシステムは、直交回帰及び射影を用いて、デュロメータデータ及び決定された傾きを単一の包括的な硬度メトリックに対応付けることができる(366)。この対応付けは、硬い、及び柔らかい食料品などの、異なる種類の食料品を説明する包括的な硬度曲線を生成するために遂行することができる。例えば、針入度計データ354の傾きは、硬い食料品の硬度を正確に決定するために用いることができるが、柔らかい食料品の硬度を決定するにはそれほど感度がよくない可能性がある。したがって、コンピュータシステムは直交回帰及び射影を用いて対応付けを遂行し、様々な食料品種(例えば、硬い、及び柔らかい食料品)の硬度の変化を説明する包括的な硬度曲線を生成することができる。
【0160】
[0172] 直交回帰及び射影法は、2つの連続変数の間の線形関係を調べるために用いることができる。ここでは、直交回帰は、図3Dに示されるように、正規化された針入度計の傾きと正規化されたデュロメータ値との間の関係を決定するために用いられる。直交射影は、正規化された針入度計の傾き及び正規化されたデュロメータ値を単一の曲線/線上に射影するための線形変換の一形態である。したがって、単一の曲線/線はデータを2次元から単一の軸上に圧縮する。実装形態によっては、コンピュータシステムは1つ以上の他のメトリックを対応付け、データを複数の次元から単一の軸上に圧縮する単一の曲線を構築することができる。例えば、コンピュータシステムは最大力及びデュロメータ値を、硬度メトリックを表す単一の曲線上に対応付けることができる。コンピュータシステムはまた、最大力、傾き、及びデュロメータ値を単一の曲線上に対応付けることもできる。時として、コンピュータシステムはAUC及びデュロメータ値を単一の曲線上に対応付けることができる。コンピュータシステムはまた、AUC、傾き、及びデュロメータ値を単一の曲線上に対応付けることもできる。実装形態によっては、コンピュータシステムは、AUC、最大力、及びデュロメータ値を単一の曲線上に対応付けることができる。時として、コンピュータシステムは、AUC、最大力、傾き、及びデュロメータ値を単一の曲線上に対応付けることができる。それゆえ、コンピュータシステムは、2次元、3次元、及び4次元の対応付けを射影し、包括的な設計硬度メトリックを生成することができる。
【0161】
[0173] コンピュータシステムは、374において、対応付けに基づいて設計硬度メトリックを生成することができる。本明細書において説明されるように、硬度メトリックは成熟度メトリックのための代理になることができ、354~360における破壊的測定を用いて設計することができる。より具体的には、硬度メトリックは、366において決定されたとおりの、針入度計データ354の傾きを用いて設計することができる。針入度計データ354の傾きは、硬い食料品などの、1つ以上の種類の食料品の硬度と相関させることができる。硬度メトリックはまた、柔らかい食料品、及び/又は硬い、及び柔らかい食料品などの、1つ以上の他の種類の食料品の硬度と相関させることができる、針入度計データ354の傾きへのデュロメータデータ356の対応付けを用いて設計することもできる。
【0162】
[0174] コンピュータシステムは、376において、訓練モデルを生成することができる。モデルは、設計硬度メトリックを分光計データ及び他の任意選択的な非破壊的入力データと相関させるために訓練することができる。換言すれば、モデルは、設計硬度メトリックへのスペクトルの対応付けを学習するために訓練することができる。それゆえ、374において生成された硬度メトリックは訓練済み機械学習モデルのための所望の出力になることができる。モデルは、非破壊的測定を入力として受信し、実行時間中に食料品を破壊すること、又は他の仕方で侵襲することなく、設計硬度メトリックを直接予測するために生成し、訓練することができる。
【0163】
[0175] 次に、コンピュータシステムは、378において、訓練モデルを出力することができる。モデルが出力されると、モデルは、食料品の硬度又は他の成熟レベルを非破壊的に識別するために用いることができる。
【0164】
[0176] 図3Cは、食料品成熟度を決定するべくモデルを訓練するために収集されたデータを用いて決定することができる硬度メトリック380を示す。以上において図3Bにおけるプロセス350を参照して説明されたように、コンピュータシステムは、本開示全体を通じて説明される食料品成熟度(例えば、設計成熟度メトリック)のための代理になることができる、設計硬度メトリックを予測するためにモデルを訓練することができる。図3Bにおけるプロセス350の352において述べられたように、コンピュータシステムはモデル訓練の間に力及び深さデータを針入度計データとして受信することができる。力及び深さデータを対応付けることは、最大力、曲線下面積、及び傾きを含むことができる、硬度メトリック380をもたらすことができる。コンピュータシステムは、実行時間中にスペクトルデータ又は他の非破壊的測定を用いてこれらの硬度メトリック380のうちの任意のものを予測するためにモデルを訓練することができる。
【0165】
[0177] 傾きは、深さ範囲内の2つの力の端点の間の差を見出すことによって決定することができる。深さ範囲は、例えば、0.5~2mmであることができる。深さ範囲はまた、1.5~2mmであることができる。深さ範囲は、限定するものではないが、1~3mm、2.5~4.5mm、又は0.5~1.5mmを含む、1つ以上の他の範囲であることができる。実装形態によっては、深さ範囲は、より長い、又はより短い範囲であることができる。
【0166】
[0178] 力データが標準化され、及び/又は同じ深さ範囲内、及び/又は同じ深さ端点において取られている限り、AUCは任意の深さ範囲のために決定することができる。例えば、AUCは0~8mmの深さ範囲のために決定することができる。AUCはまた、より長い、又はより短い深さ範囲のために決定することもできる。例えば、深さ範囲は、0~4mm、0.5~2mm、1.5~2.5mm、1.5~4.5mm、4~6mm、5~6mm、又は任意の他の深さ範囲であることができる。
【0167】
[0179] 図3Bにおけるプロセス350において説明されるように、針入度計データの傾きは、異なる種類の食料品の硬度を正確に決定するために用いることができる。グラフ382は、なぜ、傾きが、食料品の硬度を決定するために用いられるのかの理解を与える。傾き386は、穿孔されている物質の剛性を示す、ヤング率(弾性率)に対応する。したがって、物質の剛性は食料品の硬度に対応することができる。傾き386が大きいほど、物質は剛性が高い。これは、食料品は、より小さい傾きよりも硬いこと(例えば、食料品は、より剛性の高い、又はより硬い果肉を有すること)を意味する。他方で、最大力384は、物質を突き破るために必要とされる力を表す、降伏強さのインジケータである。食料品の硬度を決定するために最大力384を依然として用いることもできるが、傾き386は食料品の硬度のより正確な定量化をもたらすことができる。
【0168】
[0180] 図3Dは、食料品成熟度を決定するために訓練されたモデルによって予測され得る硬度メトリック390を示す。図3B~Cにおいて説明されるように、本明細書において示される硬度メトリック390は、本開示全体を通じて説明される設計成熟度メトリックのための代理になることができる。グラウンドトゥルースグラフ392は、直交回帰及び射影を用いた、正規化されたデュロメータデータ及び正規化された針入度計データの傾き(又は傾き)の対応付けを示す。グラフ392は、食料品が成熟するのに伴う、アボカドなどの、特定の種類の食料品の2次元空間内の一貫した硬度挙動を実際に示している。
【0169】
[0181] デュロメータデータ及び傾きは2次元空間から対応付けられ、単一の1次元の線394に射影される。これは、針入度計データ単独では、柔らかい食料品のための最も正確な硬度インジケータにならない可能性があり、その一方で、デュロメータデータ単独では、硬い食料品のための最も正確な硬度インジケータにならない可能性があるから有益である。例えば、グラフ392のx軸上の0~0.5にある食料品は非常に柔らかく、どろどろしている可能性がある。値のこの範囲内では、針入度計は、針入度計データのみから硬度を決定するために十分な感度を有しない可能性がある。同様に、グラフ392のy軸上の0.25~1にある食料品は非常に硬い可能性がある。値のこの範囲内では、デュロメータは、デュロメータデータのみから硬度を正確に決定するために十分な感度を有しない可能性がある。したがって、異なる種類の食料品(例えば、硬い、及び柔らかい食料品)を説明するために本明細書において説明される技法を用いてデュロメータ及び針入度計データを対応付け、単一の線394に射影することができる。
【0170】
[0182] 線394は、線394の端点396及び398の間の値の単一の有界範囲に沿った硬度を表すことができる。端点396及び398の値は変化することができる。例えば、端点396は0の値であることができ、端点398は100の値であることができる。ここで、100は最高硬度レベルを表し、0は最低硬度レベルを表す。別の例として、端点396は0の値を有することができ、端点398は5の値を有することができる。別の例として、端点396は-1の値を有することができ、端点398は1の値を有することができる。値の1つ以上の他の範囲が端点396及び398によって定義され得る。
【0171】
[0183] グラフ392のY軸によって表現される傾きは、スペクトルデータ又は他の非破壊的測定を用いて実行時間中に予測するためにモデルが訓練される、設計硬度メトリック390になることができる。上述されたように、硬度メトリック390はまた、最大力、AUC、又はこれらの任意の組み合わせであることもできる。硬度メトリック390は、限定するものではないが、硬い、及び柔らかい果物を含む、様々な種類の食料品の硬度を予測するために用いることができる。
【0172】
[0184] 図4A~Bは、モデルを用いて食料品成熟度をリアルタイムに決定するためのプロセス400のフローチャートである。プロセス400は、本明細書において説明されるコンピューティングシステムのうちの1つ以上によって遂行され得る。例えば、プロセス400は、コンピュータシステム190、ユーザデバイス192、及び/又はシステム100(例えば、図1A~Cを参照)によって遂行され得る。簡潔性及び例示の目的のために、プロセス400はコンピューティングシステム190の観点から説明される。
【0173】
[0185] 図4A~Bの両方におけるプロセス400を参照すると、コンピュータシステムは、402において、農産物の分光計撮像データを受信することができる。本明細書において説明されるように、施設(例えば、貯蔵施設、倉庫)内では、農産物をコンベヤベルトに沿って異なる場所へ移動させることができる。スペクトル撮像デバイスをコンベヤベルトに沿って位置付け、農産物の撮像データを獲得するように構成することができる。撮像データは、その農産物のための成熟度、硬度、及び/又は消費レベルのための好適性を識別するためにモデルと共に用いることができる波長情報を含むことができる。実装形態によっては、プロセス400は、農産物のバッチのための成熟レベルを識別するために遂行することができる。実装形態によっては、プロセス400は、バッチ内の特定の農産物のための成熟レベルを識別するために遂行することができる。さらに他の実装形態では、バッチ内の特定の農産物の成熟レベル及び/又は他の個々の農産物の成熟レベルからグループ成熟レベルを外挿することができる。
【0174】
[0186] コンピュータシステムは、404において、分光計撮像データをフィルタリングすることができる。受信された分光計データは生の入力であることができる。モデルが適用された際の成熟度の識別を改善するよう、この生の入力データを最適化するために、データ処理技法を用いることができる。データをフィルタリングすることは、406において、データをトリミングすること、408において、データをスケーリングすること、及び/又は410において、データからノイズを除去することを含むことができる(例えば、図7参照)。モデルと共に用いるための好ましい入力は周波数帯域内の光の振幅であることができる。光の振幅は、404においてデータをフィルタリングすることによって、受信されたデータ内でより明確に定めることができる。
【0175】
[0187] 412において、モデルを適用することができる。換言すれば、モデルを、フィルタリングされた分光計データに適用することができる。モデルを適用することによって、コンピュータシステムは、414において、農産物の成熟レベルを決定することができる。本明細書において説明されるように、モデルは、フィルタリングされた分光計データを受信し、それを、コンピュータシステムによって設計された成熟度メトリックに対応付けるために訓練することができる(例えば、図1A図3参照)。それゆえ、コンピュータシステムは非破壊的分光計データを用いて農産物の成熟レベルを予測することができる。
【0176】
[0188] 次に、コンピュータシステムは、416において、農産物の成熟レベルを出力することができる。本明細書において説明されるように、成熟レベルはユーザデバイス192において出力することができる。出力は、成熟レベルを示す数値であることができる。出力はまた、成熟レベルのグラフ描写であることもできる。出力は、農産物の成熟レベルを表示するための1つ以上の他の好ましい形式の出力であることができる。
【0177】
[0189] コンピュータシステムは、418において、任意選択的にサプライチェーン変更を決定することができる。例示的な変更は、420において、農産物を客への発送のために移動させること、422において、農産物を食品加工工場への発送のために移動させること、及び/又は424において、農産物を構内貯蔵のために移動させることを含む。実装形態によっては、農産物が好ましい成熟レベルにあるときには、農産物を客への発送のために移動させること(420)が好ましくなり得る。したがって、農産物は即時の消費の準備ができている。農産物が熟し過ぎている場合には、農産物を食品加工工場への発送のために移動させること(422)が好ましくなり得る。農産物は、消費者によって購入される可能性が低くなり得、そのため、その農産物を加工食品において用いることがより効率的で費用効果が高くなり得る。農産物がまだ好ましい成熟レベルに達していないときには、農産物を構内貯蔵のために移動させること(424)が好ましくなり得る。418において、1つ以上の他のサプライチェーン変更を決定し、及び/又は実施することができる。
【0178】
[0190] 図5は、本明細書において説明されるモデルを用いて食料品が消費の準備ができたかどうかを非破壊的に決定するためのプロセス500の別のフローチャートである。プロセス500は、本明細書において説明されるコンピューティングシステムのうちの1つ以上によって遂行され得る。例えば、プロセス500は、コンピュータシステム190、ユーザデバイス192、及び/又はシステム100(例えば、図1A~Cを参照)によって遂行され得る。簡潔性及び例示の目的のために、プロセス500は、システム100などのシステムによって遂行されるように説明される。
【0179】
[0191] プロセス500を参照すると、システムは、502において、農産物の画像データを受信することができる。実装形態によっては、これは、食料品のハイパースペクトル画像を取得することを含むことができる。画像は1つ以上のハイパースペクトル画像センサによって生成され得る。本明細書において説明されるように、画像データはまた、1つ以上のスペクトル撮像デバイス(例えば、NIRデバイス)によって生成され得る。実装形態によっては、取得された画像データは、534nm~942nmの波長を有する光を用いたスペクトル撮像デバイスを用いて生成することができる。他の実装形態では、スペクトル撮像デバイスは、690nm~912nm及び/又は672nm~948nmの波長を有する光を用いることができる。
【0180】
[0192] システムは、504において、機械学習モデルのための入力を生成することができる。実装形態によっては、504は、502において取得されたデータを、502からの画像データの数値表現を編成する1つ以上のフィールドを有するベクトルに符号化することを含むことができる。入力を生成することは、506において、訓練画像を生成し、508において、分類ラベルを生成することを含むことができる。訓練画像は、農産物の消費好適性を測定するために用いることができる、波長振幅などの、農産物に関連するデータを含むことができる。分類ラベルは、訓練画像に基づく農産物分類を記述することができる。分類ラベルは、農産物の非破壊的測定を用いて決定された第1の農産物好適性データ(例えば、分光計データ)、及び破壊的測定を用いて決定された第2の農産物好適性データ(例えば、デュロメータ、針入度計データ)に基づくことができる(例えば、図1A図3におけるモデル生成を参照)。実装形態によっては、訓練画像によって描写された農産物のための農産物分類を記述するラベルは、(a)農産物の非破壊的測定を用いて取得された第1の農産物好適性データ、及び(b)農産物の破壊的測定を用いて取得された第2の農産物好適性データを単一の値に変換することによって決定することができる農産物得点を含むことができる。
【0181】
[0193] 510において、コンピュータシステムは機械学習モデルを適用し、農産物消費好適性レベルを決定することができる。機械学習モデルは、複数の訓練データ項目を用いて食料品の消費好適性レベルを示す出力を生成するために訓練することができる。訓練データ項目は、(i)農産物の訓練画像、及び(ii)訓練画像によって描写された農産物のための農産物分類を記述するラベルを含むことができる。機械学習モデルを適用することによって、システムは、リアルタイムの適用及び使用中に非破壊的な仕方で農産物消費好適性レベルを決定することができる。システムは、機械学習モデルを用いて、農産物の消費好適性レベルを示す出力データを生成するために、生成された入力を処理することができる。例えば、機械学習モデルは、出力データを生成するために、訓練済み機械学習モデルの各層を通じて、生成された入力データを処理することができる。機械学習モデルは複数の層及び/又は1つ以上のニューラルネットワークを含むことができる。さらに、実装形態によっては、農産物消費好適性レベルは、取得された画像によって表現された農産物が、農産物を消費に適したものにする1つ以上の特性を有する確率を含むことができる。
【0182】
[0194] システムは、512において、農産物消費好適性レベルを出力することができる。この出力データは、取得された画像データ内で描写された農産物のための消費好適性レベルを示すことができる。出力データは、訓練済み機械学習モデルが、取得された画像を処理することに基づいて、訓練済み機械学習モデルによって生成され得る。
【0183】
[0195] 514において、システムは、農産物を閾値期間以内に消費することができるかどうかを決定することができる。取得された出力データは、この決定を行うために用いることができる。図5には示されていないが、514における決定は、1つ以上のサプライチェーン変更を行うために用いることができる。例えば、農産物を閾値期間以内に消費することができる場合には、このとき、農産物を即時の購入及び消費のために最終消費者(例えば、食品雑貨店)への発送移動のために仕向けることができる。別の例として、農産物を閾値期間以内に消費することができない場合には、このとき、農産物を食品加工工場への発送移動のために仕向けることができる。さらに別の例として、農産物を閾値期間以内に消費することができる場合には、このとき、システムは、農産物は実際に消費に適している(例えば、好ましい成熟度及び/又は硬度である)と決定することができる。農産物を閾値期間以内に消費することができない場合には、このとき、システムは、農産物は消費に適していない(例えば、熟し過ぎており、及び/又は柔らかすぎる)と決定することができる。
【0184】
[0196] 図6A~Bは、モデルを用いて食料品のバッチが消費の準備ができているかどうかを非破壊的に決定するためのプロセス600のフローチャートである。プロセス600は、本明細書において説明されるコンピューティングシステムのうちの1つ以上によって遂行され得る。例えば、プロセス600は、コンピュータシステム190、ユーザデバイス192、及び/又はシステム100(例えば、図1A~Cを参照)によって遂行され得る。簡潔性及び例示の目的のために、プロセス600は、システム100などのシステムによって遂行されるように説明される。
【0185】
[0197] 図6A~Bの両方におけるプロセス600を参照すると、システムは、602において、大量の食料品の画像データを受信することができる。実装形態によっては、例えば、システムはハイパースペクトル画像センサを用いて、アボカドなどの、複数の食料品のハイパースペクトル画像を生成することができる。生成された画像はメモリデバイス内に記憶することができる。1つ以上の他の処理エンジンが、画像センサ、カメラから、及び/又はメモリから、生成された画像を取得することができる。それゆえ、602において画像データを取得することは、1つ以上の画像センサ(例えば、スペクトル撮像デバイス、NIRデバイス、ハイパースペクトル撮像デバイス)によって画像を生成すること、1つ以上の画像センサから、生成された画像を受信すること、及び/又はメモリデバイスから画像を取得することを含むことができる。
【0186】
[0198] システムは、604において、大量の食料品のうちの1つの食料品を識別することができる。例えば、システムは、取得された画像の第1の部分に対応する第1のデータを取得することができる。取得された画像の第1の部分は大量の食料品内のうちの1つ以上の食料品の特定の食料品を表現することができる。実装形態によっては、例えば、システムは、複数のアボカドを描写する取得された画像から、単一のアボカドに対応する取得された画像の部分を取得することができる。取得された画像の部分は、本明細書において説明されるとおりの物体認識技法を用いて識別し、取得することができる。
【0187】
[0199] さらに、606において、システムは、識別された食料品に基づいて機械学習モデルのための入力データを生成することができる。例えば、システムは、第1のデータの部分に対応する第2のデータを取得することができる。入力データは、特定の食料品に対応する第1の画像の取得された部分のピクセルごとに生成することができる。実装形態によっては、例えば、システムは、アボカドなどの、単一の食料品の画像の特定のピクセルに関連付けられた光波スペクトルを記述するデータを取得することができる。実装形態によっては、例えば、この生成された入力データは、識別された食料品のための取得されたデータに対応するベクトルを含むことができる。このような実装形態では、入力データの生成は、単一の食料品の画像の特定のピクセルに関連付けられた光波のスペクトルを記述する取得されたデータをベクトルに符号化することを含むことができる。符号化されたベクトルは、本明細書において説明される第2のデータの数値表現を含むことができる。
【0188】
[0200] 本開示全体を通じて説明されるように、コンピュータシステムは、608において、食料品のための機械学習モデルを生成することができる。実装形態によっては、機械学習モデルは、本明細書において説明されるようにあらかじめ生成することができる(例えば、図1A図3参照)。実装形態によっては、機械学習モデルは、機械学習モデルが、食料品の消費好適性を非破壊的に決定するために用いられるのと同様の時点でリアルタイムに生成することができる。
【0189】
[0201] 610において、システムは機械学習モデルを適用し、食料品消費好適性レベルを決定することができる。機械学習モデルを適用する際に訓練画像データ612及び分類ラベル614を用いることができる。それゆえ、システムは、機械学習モデルを用いて、複数の訓練データ項目を用いて食料品の消費好適性レベルを示す出力データを生成するために、生成された入力を処理することができる。以上において図5を参照して説明されたように、複数の訓練データ項目の各訓練データ項目は、(i)食料品の訓練画像、及び(ii)訓練画像によって描写された食料品のための食料品分類を記述するラベルを含むことができる。食料品分類は、(a)食料品の非破壊的測定を用いて取得された第1の食料品好適性データ、及び(b)食料品の破壊的測定を用いて取得された第2の食料品好適性データに基づくことができる。例えば、機械学習モデルは、訓練済み機械学習モデルの各層を通じて、生成された入力データを処理し、出力データを生成することができる。
【0190】
[0202] 616において、システムは食料品消費好適性レベル(例えば、出力データ)を記憶することができる。これは、例えば、機械学習モデルによって生成された出力データを取得すること、及び取得された出力データを1つ以上のメモリデバイス内に記憶することを含むことができる。機械学習モデルによって生成された出力データは、606において取得された第2のデータによって表現された、取得された第1のデータの特定の部分のための消費のための好適性を示すデータを含むことができる。実装形態によっては、出力データは、機械学習モデルによって非破壊的に推測された食料品の予測された破壊的測定を表現する1つ以上の値を含むことができる。実装形態によっては、1つ以上の値は、予測された非破壊的測定及び予測された破壊的測定であることができる。代替的に、1つ以上の値は、予測された非破壊的測定及び予測された破壊的測定の傾きなどの単一の値であることができる。
【0191】
[0203] 次に、システムは、618において、さらなるデータが食料品に関連付けられているかどうかを決定することができる。換言すれば、システムは、分析することができる取得された第1のデータの別の部分が存在するかどうかを決定することができる。例えば、実装形態によっては、システムは、分析することができる取得された画像の第1の部分の別のピクセルが存在するかどうかを決定することができる。別のピクセルが存在する場合には、このとき、システムは606へ戻り、取得された画像の第1の部分の残りのピクセルごとに606~618を繰り返すことができる。
【0192】
[0204] 他方で、食料品に関連付けられたさらなるデータが存在しない場合には(例えば、分析することができる取得された画像の第1の部分の追加のピクセルが存在しない)、このとき、システムは、620において、さらなる食料品が大量の食料品内に存在するかどうかを決定することができる。システムは、別の食料品が、602において取得された画像内に描写されているかどうかを決定することができる。別の食料品が存在する場合には、このとき、システムは604へ戻り、大量の食料品内の残りの食料品ごとに604~618を繰り返すことができる。
【0193】
[0205] 代替的に、大量の食料品内のさらなる食料品が存在しない場合には、システムは、622において、集約された大量の食料品のための消費好適性レベルを決定することができる。この決定は、メモリ内に記憶された出力データに基づくことができる。メモリデバイス内に記憶された出力データを分析することは、602からの画像データによって描写された各食料品の各画像のピクセルごとにメモリデバイス内に記憶された出力データの集約表現にアクセスし、本明細書において説明されるように、出力データの集約表現を分析することを含むことができる。それゆえ、システムは、大量の食料品内の食料品の各々のための消費好適性レベル、及び大量の食料品のための集約消費好適性レベルを決定することができる。
【0194】
[0206] 実装形態によっては、図5図6を参照して説明されるように、システムはピクセルごとに食料品のための消費好適性を決定することができる。例えば、システムは食料品の画像を取得することができ、食料品の画像のピクセルごとに、システムは、ピクセルのための入力データを生成し、生成された入力データを、複数の訓練データ項目を用いて食料品の消費好適性レベルを示す出力データを生成するために訓練された機械学習モデルに入力として提供し、訓練済み機械学習モデルが、取得された画像を処理することに基づいて訓練済み機械学習モデルによって生成された出力データを取得し、取得された出力データをメモリデバイス内に記憶し、画像のピクセルごとに生成された記憶された出力データに基づいて、取得された画像によって描写された食料品が消費に適しているかどうかを決定することができる。さらに、システムは、画像のピクセルごとの記憶された出力データに基づいて集約値を生成することに基づいて食料品が消費に適しているかどうかを決定することができる。実装形態によっては、システムは、集約値は所定の閾値を満足すると決定することができ、これは、食料品は消費に適していることを示すことができる。実装形態によっては、システムは、集約値は所定の閾値を満足しないと決定することができ、これは、食料品は消費に適していないことを示すことができる。
【0195】
[0207] 図7は、本明細書において説明されるモデルを用いて食料品成熟度を決定するグラフ描写である。図7は、アボカドのために硬度が決定される例示的な実験である。生のスペクトルデータ702を受信することができる。本明細書において説明されるように、このデータはNIRデータであることができる。データを処理することができる(704)。データを処理することは、スペクトルデータをトリミングし、スケーリングすることを含むことができる。Savitzky-Golay2次微分フィルタを適用し、スペクトルデータをフィルタリングすることもできる。例示的な実験では、約2000個のアボカドの各々のための生のNIRスペクトルデータをトリミングし、スケーリングし、フィルタリングしてデータからノイズを消去し、スペクトルの差をより明白にすることができる。それゆえ、フィルタリングされたスペクトルデータグラフ706を出力することができる。
【0196】
[0208] モデルを、フィルタリングされたスペクトルデータに適用することができる(708)。例示的な実験では、拡張ショア射影線(例えば、図3参照)における最大分散を実際に示すために、部分最小2乗法(PLS(Partial Least Squares))モデルを用いることができる。拡張ショア射影線は、NIRデータからのモデル開発のために用いることができる単一の基準値を提供することができる。モデルを用いて、硬度レベル(例えば、成熟レベル、消費好適性レベル)を予測することができる(712)。
【0197】
[0209] 予測された硬度レベルは硬度出力グラフ714内に出力することができる。グラフ714は、農産物の硬度、成熟度、又は消費好適性を示すことができる。例示的なグラフ714内に示されるように、異なる成熟度段階にあるほぼ4,000個のアボカドのために、3つのデュロメータ測定の中央値がx軸上にプロットされており、2つの針入度計測定の平均値がy軸上にプロットされている。これらのアボカドはまた、メキシコ、ペルー、及びカリフォルニアを含む、異なる原産地から来たものである。図示のように、針入度計は、未成熟の(硬い)アボカドにおける硬度の変化に対して感受性を有するが、特に、1lb(70ショア)未満の、柔らかいアボカドの硬度変化に対しては感受性を有しない。代替的に、デュロメータは、柔らかいアボカド(<70ショア)における硬度の変化に対して感受性を有するが、硬い(未成熟の)アボカドの硬度の変化に対しては感受性を有しない。針入度計が柔らかいアボカドに対して感受性を有せず、デュロメータが硬いアボカドに対して感受性を有しない点は、本明細書において説明されるように、変曲点によって表され得る(例えば、図3参照)。
【0198】
[0210] 図8は、訓練済み機械学習モデルによって生成された出力データに基づいて食料品が消費に適しているかどうかを非破壊的に決定するためのシステムを実施するために用いることができるシステム構成要素のブロック図である。コンピューティングデバイス800は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータなどの、様々な形態のデジタルコンピュータを代表することを意図されている。モバイルコンピューティングデバイスは、パーソナルデジタルアシスタント、セルラー電話、スマートフォン、及び他の同様のコンピューティングデバイスなどの、様々な形態のモバイルデバイスを代表することを意図されている。ここで示される構成要素、それらの接続及び関係、並びにそれらの機能は単に例示を意図されているにすぎず、本文書において説明され、及び/又はクレームされる本発明の実装形態を限定することを意図されていない。
【0199】
[0211] コンピューティングデバイス800は、プロセッサ802、メモリ804、記憶デバイス806、メモリ804及び複数の高速拡張ポート810に接続する高速インターフェース808、並びに低速拡張ポート814及び記憶デバイス806に接続する低速インターフェース812を含む。プロセッサ802、メモリ804、記憶デバイス806、高速インターフェース808、高速拡張ポート810、及び低速インターフェース812の各々は、様々なバスを用いて相互接続されており、共通マザーボード上に、又は必要に応じて他の仕方で実装され得る。プロセッサ802は、メモリ804内又は記憶デバイス806上に記憶された命令を含む命令をコンピューティングデバイス800内での実行のために処理し、高速インターフェース808に結合されたディスプレイ816などの、外部入力/出力デバイス上にGUIのためのグラフィカル情報を表示することができる。他の実装形態では、複数のプロセッサ及び/又は複数のバスを、必要に応じて、複数のメモリ及び各種のメモリと共に用いることができる。また、(例えば、サーババンク、ブレードサーバのグループ、又はマルチプロセッサシステムとして)各デバイスが必要な動作の部分を提供する、複数のコンピューティングデバイスが接続され得る。
【0200】
[0212] メモリ804はコンピューティングデバイス800内の情報を記憶する。実装形態によっては、メモリ804は揮発性メモリユニット又はユニット群である。実装形態によっては、メモリ804は不揮発性メモリユニット又はユニット群である。メモリ804はまた、磁気又は光ディスクなどの、別の形態のコンピュータ可読媒体であることもできる。
【0201】
[0213] 記憶デバイス806は、コンピューティングデバイス800のための大容量記憶を提供する能力を有する。実装形態によっては、記憶デバイス806は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、又はテープデバイス、フラッシュメモリ若しくは同様のソリッドステートメモリデバイス、或いは、ストレージエリアネットワーク又は他の構成内のデバイスを含む、デバイスのアレイなどの、コンピュータ可読媒体であるか、又はそれを包含することができる。コンピュータプログラム製品が情報担体内に有形に組み込まれ得る。コンピュータプログラム製品はまた、実行されたときに、上述されたものなどの、1つ以上の方法を遂行する命令を包含することができる。コンピュータプログラム製品はまた、メモリ804、記憶デバイス806、又はプロセッサ802上のメモリなどの、コンピュータ又は機械可読媒体内に有形に組み込まれ得る。
【0202】
[0214] 高速インターフェース808は、コンピューティングデバイス800のための、帯域幅を大量使用する動作を管理し、その一方で、低速インターフェース812は、帯域幅をそれほど使用しない動作を管理する。機能のこのような割り当ては単なる例示にすぎない。実装形態によっては、高速インターフェース808は、メモリ804、ディスプレイ816に(例えば、グラフィックプロセッサ若しくはアクセラレータを通じて)、及び様々な拡張カード(図示せず)を受け入れることができる、高速拡張ポート810に結合されている。本実装形態では、低速インターフェース812は記憶デバイス806及び低速拡張ポート814に結合されている。様々な通信ポート(例えば、USB、ブルートゥース、イーサネット、無線イーサネット)を含むことができる、低速拡張ポート814は、キーボード、ポインティングデバイス、スキャナなどの、1つ以上の入力/出力デバイス、或いは例えば、ネットワークアダプタを通じて、スイッチ又はルータなどのネットワーキングデバイスに結合され得る。
【0203】
[0215] コンピューティングデバイス800は、図に示されるように、多数の異なる形態で実施され得る。例えば、それは、標準サーバ820として実施されるか、又はこのようなサーバのグループの形で複数倍実施され得る。加えて、それは、ラップトップコンピュータ822などのパーソナルコンピュータの形で実施され得る。それはまた、ラックサーバシステム824の部分として実施され得る。代替的に、コンピューティングデバイス800からの構成要素は、モバイルコンピューティングデバイス850などの、モバイルデバイス内の他の構成要素(図示せず)と組み合わせられ得る。このようなデバイスの各々はコンピューティングデバイス800及びモバイルコンピューティングデバイス850のうちの1つ以上を包含することができ、全システムは、互いに通信する複数のコンピューティングデバイスで構成され得る。
【0204】
[0216] モバイルコンピューティングデバイス850は、構成要素の中でもとりわけ、プロセッサ852、メモリ864、ディスプレイ954などの入力/出力デバイス、通信インターフェース866、及びトランシーバ868を含む。モバイルコンピューティングデバイス850はまた、追加の記憶を提供するために、マイクロドライブ又は他のデバイスなどの、記憶デバイスを提供され得る。プロセッサ852、メモリ864、ディスプレイ854、通信インターフェース866、及びトランシーバ868の各々は様々なバスを用いて相互接続されており、構成要素のうちのいくつかは、共通マザーボード上に、又は必要に応じて他の仕方で実装され得る。
【0205】
[0217] プロセッサ852は、メモリ864内に記憶された命令を含む、モバイルコンピューティングデバイス850内の命令を実行することができる。プロセッサ852は、別個の、及び複数のアナログ及びデジタルプロセッサを含むチップのチップセットとして実施され得る。プロセッサ852は、例えば、ユーザインターフェース、モバイルコンピューティングデバイス850によって実行されるアプリケーション、及びモバイルコンピューティングデバイス850による無線通信の制御などの、モバイルコンピューティングデバイス850の他の構成要素の協調を提供することができる。
【0206】
[0218] プロセッサ852は、ディスプレイ854に結合された制御インターフェース858及びディスプレイインターフェース856を通じてユーザと通信することができる。ディスプレイ854は、例えば、TFT(Thin-Film-Transistor Liquid Crystal Display(薄膜トランジスタ液晶ディスプレイ))ディスプレイ又はOLED(Organic Light Emitting Diode(有機発光ダイオード))ディスプレイ、或いは他の適切なディスプレイ技術であることができる。ディスプレイインターフェース856は、グラフィカル及び他の情報をユーザに提示するようディスプレイ854を駆動するための適切な回路機構を含むことができる。制御インターフェース858はユーザからのコマンドを受け取り、それらをプロセッサ852への送信のために変換することができる。加えて、他のデバイスとのモバイルコンピューティングデバイス850の近エリア通信を可能にするために、外部インターフェース862がプロセッサ852との通信を提供することができる。外部インターフェース862は、例えば、実装形態によっては、有線通信を、又は他の実装形態では、無線通信を提供することができ、また、複数のインターフェースも用いられ得る。
【0207】
[0219] メモリ864はモバイルコンピューティングデバイス850内の情報を記憶する。メモリ864は、コンピュータ可読媒体若しくは媒体群、揮発性メモリユニット若しくはユニット群、又は不揮発性メモリユニット若しくはユニット群のうちの1つ以上として実施され得る。また、拡張メモリ874が提供され、例えば、SIMM(Single In Line Memory Module(シングルインラインメモリモジュール))カードインターフェースを含むことができる、拡張インターフェース872を通じてモバイルコンピューティングデバイス850に接続され得る。拡張メモリ874はモバイルコンピューティングデバイス850のための余分の記憶空間を提供することができるか、或いはモバイルコンピューティングデバイス850のためのアプリケーション又は他の情報を記憶することもできる。具体的には、拡張メモリ874は、上述されたプロセスを実施する、又は補うための命令を含むことができ、セキュア情報も含むことができる。それゆえ、例えば、拡張メモリ874は、モバイルコンピューティングデバイス850のためのセキュリティモジュールとして提供することであることができ、モバイルコンピューティングデバイス850の安全な使用を可能にする命令を用いてプログラムされ得る。加えて、識別情報をハッキング不可能な仕方でSIMMカード上に配置するなど、SIMMカードを介して、安全なアプリケーションを追加の情報と共に提供することができる。
【0208】
[0220] メモリは、後述されるように、例えば、フラッシュメモリ及び/又はNVRAMメモリ(non-volatile random access memory(不揮発性ランダムアクセスメモリ))を含むことができる。実装形態によっては、コンピュータプログラム製品が情報担体内に有形に組み込まれる。コンピュータプログラム製品は、実行されたときに、上述されたものなどの、1つ以上の方法を遂行する命令を包含する。コンピュータプログラム製品は、メモリ864、拡張メモリ874、又はプロセッサ852上のメモリなどの、コンピュータ又は機械可読媒体であることができる。実装形態によっては、コンピュータプログラム製品は、例えば、トランシーバ868又は外部インターフェース862を通じて、伝搬信号に含めて受信され得る。
【0209】
[0221] モバイルコンピューティングデバイス850は、必要な場合にはデジタル信号処理回路機構を含むことができる、通信インターフェース866を通じて無線で通信することができる。通信インターフェース866は、中でも、GSM音声通話(Global System for Mobile communications(移動通信用のグローバルシステム))、SMS(Short Message Service(ショートメッセージサービス))、EMS(Enhanced Messaging Service(拡張メッセージングサービス))、又はMMSメッセージング(Multimedia Messaging Service(マルチメディアメッセージングサービス))、CDMA(code division multiple access(符号分割多元接続))、TDMA(time division multiple access(時間分割多元接続))、PDC(Personal Digital Cellular(パーソナルジタルセルラー))、WCDMA(Wideband Code Division Multiple Access(広帯域符号分割多元接続))、CDMA2000、又はGPRS(General Packet Radio Service(汎用パケット無線サービス))などの、様々なモード又はプロトコル下での通信を提供することができる。このような通信は、例えば、無線周波数を用いてトランシーバ868を通じて行われ得る。加えて、ブルートゥース、WiFi、又は他のこのようなトランシーバ(図示せず)を用いるなどして、短距離通信が行われ得る。加えて、GPS(Global Positioning System(全地球測位システム))受信器モジュール870が、モバイルコンピューティングデバイス850上で実行するアプリケーションによって必要に応じて用いられ得る追加のナビゲーション及び場所関連無線データをモバイルコンピューティングデバイス850に提供することができる。
【0210】
[0222] モバイルコンピューティングデバイス850はまた、ユーザからの発話情報を受け取り、それを、使用可能なデジタル情報に変換することができる、音声コーデック860を用いて音声で通信することもできる。音声コーデック860は、同様に、例えば、モバイルコンピューティングデバイス850の送受話器内の、スピーカなどを通じて、ユーザのための可聴音声を生成することができる。このような音声は、音声通話からの音声を含むことができ、録音音声(例えば、音声メッセージ、音楽ファイル等)を含むことができ、また、モバイルコンピューティングデバイス850上で動作するアプリケーションによって生成された音声を含むこともできる。
【0211】
[0223] モバイルコンピューティングデバイス850は、図に示されるように、多数の異なる形態で実施され得る。例えば、それはセルラー電話880として実施され得る。それはまた、スマートフォン882、パーソナルデジタルアシスタント、又は他の同様のモバイルデバイスの部分としても実施され得る。
【0212】
[0224] ここで説明されるシステム及び技法の様々な実装形態は、デジタル電子回路機構、集積回路機構、特別に設計されたASIC(application specific integrated circuit(特定用途向け集積回路))、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はこれらの組み合わせの形で実現され得る。これらの様々な実装形態は、データ及び命令を記憶システム、少なくとも1つの入力デバイス、及び少なくとも1つの出力デバイスから受信し、データ及び命令をそれに伝送するために結合された、専用又は汎用のものであることができる、少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能及び/又は解釈実行可能である1つ以上のコンピュータプログラムの形での実装形態を含むことができる。
【0213】
[0225] これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション又はコードとしても知られる)はプログラマブルプロセッサのための機械命令を含み、高レベル手続き型及び/又はオブジェクト指向プログラミング言語で、及び/又はアセンブリ/機械言語で実施され得る。本明細書で使用する時、用語、機械可読媒体及びコンピュータ可読媒体は、機械命令を機械可読信号として受信する機械可読媒体を含む、機械命令及び/又はデータをプログラマブルプロセッサに提供するために用いられる任意のコンピュータプログラム製品、装置及び/又はデバイス(例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス(PLD(Programmable Logic Device)))を指す。用語、機械可読信号は、機械命令及び/又はデータをプログラマブルプロセッサに提供するために用いられる任意の信号を指す。
【0214】
[0226] ユーザとの対話を提供するために、ここで説明されるシステム及び技法は、情報をユーザに表示するための表示デバイス(例えば、CRT(cathode ray tube(陰極線管))又はLCD(liquid crystal display(液晶ディスプレイ))モニタ)、並びにユーザが入力をコンピュータに与えることができるキーボード及びポインティングデバイス(例えば、マウス若しくはトラックボール)を有するコンピュータ上で実施され得る。他の種類のデバイスを、ユーザとの対話を提供するために用いることもでき、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触知フィードバック)であることができ、ユーザからの入力は、音響、音声、又は触知入力を含む、任意の形態で受け取ることができる。
【0215】
[0227] ここで説明されるシステム及び技法は、バックエンド構成要素を(例えば、データサーバとして)含むか、或いはミドルウェア構成要素(例えば、アプリケーションサーバ)を含むか、或いはフロントエンド構成要素(例えば、ユーザが、ここで説明されるシステム及び技法の一実装形態と対話することができるグラフィカルユーザインターフェース若しくはウェブブラウザを有するクライアントコンピュータ)、又はこのようなバックエンド、ミドルウェア、若しくはフロントエンド構成要素の任意の組み合わせを含むコンピューティングシステムにおいて実施することができる。システムの構成要素は、デジタルデータ通信の任意の形態又は媒体(例えば、通信ネットワーク)によって相互接続され得る。通信ネットワークの例としては、ローカルエリアネットワーク(LAN(local area network))、ワイドエリアネットワーク(WAN(wide area network))、及びインターネットが挙げられる。
【0216】
[0228] コンピューティングシステムはクライアント及びサーバを含むことができる。クライアント及びサーバは、概して、互いに遠隔にあり、典型的には、通信ネットワークを通じて対話する。クライアント及びサーバの関係は、それぞれのコンピュータ上で実行し、互いにクライアント-サーバ関係を有するコンピュータプログラムにより生じる。
【0217】
[0229] 本明細書は多くの特定の実装形態の詳細を包含するが、これらは、本開示の技術、又はクレームされ得るものの範囲の限定としてではなく、特定の開示技術の特定の実施形態に特定的であり得る特徴の説明として解釈されるべきである。本明細書において別個の実施形態の文脈で記載されている一部の特徴はまた、部分的に、又は全体的に単一の実施形態において組み合わせて実施することもできる。逆に、単一の実施形態の文脈で記載されている様々な特徴はまた、複数の実施形態において、別個に、又は任意の好適な部分的組み合わせで実施することもできる。さらに、特徴は、特定の組み合わせで機能するように本明細書において説明され、及び/又はそのように最初にクレームされ得るが、クレームされている組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから削除することができ、クレームされている組み合わせは、部分的組み合わせ、又は部分的組み合わせの変形に関し得る。同様に、動作は特定の順序で説明されていることがあるが、これは、望ましい結果を達成するために、このような動作が、特定の順序で、又は順番に行われること、或いは全ての動作が遂行されることを必要とするものと理解されるべきではない。主題の特定の実施形態が説明された。他の実施形態も添付の請求項の範囲内に含まれる。
図1A
図1B
図1C
図2
図3A
図3B
図3C
図3D
図4A
図4B
図5
図6A
図6B
図7
図8
【国際調査報告】