知財求人 - 知財ポータルサイト「IP Force」
特開2024-105189ブドウの品質を予測するために画像を自律的に取得し処理するモバイルカメラシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024105189
(43)【公開日】2024-08-06
(54)【発明の名称】ブドウの品質を予測するために画像を自律的に取得し処理するモバイルカメラシステム
(51)【国際特許分類】
G01N 21/27 20060101AFI20240730BHJP
G01J 3/36 20060101ALI20240730BHJP
【ＦＩ】
G01N21/27 A
G01J3/36
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024000560
(22)【出願日】2024-01-05
(31)【優先権主張番号】18/093,528
(32)【優先日】2023-01-05
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】000001052
【氏名又は名称】株式会社クボタ
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100139930
【弁理士】
【氏名又は名称】山下 亮司
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(74)【代理人】
【識別番号】100202142
【弁理士】
【氏名又は名称】北 倫子
(72)【発明者】
【氏名】スリカン カディヤラ
(72)【発明者】
【氏名】シャン ワン
(72)【発明者】
【氏名】サイ バーラスワージ
(72)【発明者】
【氏名】ミタニ ムネヒサ
(72)【発明者】
【氏名】ナーガールジュン ポガクラ スーリヤ
(72)【発明者】
【氏名】フック ホー ピウス ン
(57)【要約】 （修正有）
【課題】ブドウの品質を予測するために画像を自律的に取得して処理する方法に関する。
【解決手段】その方法は、第１の画像データを取得することと、前記第１の画像データに基づいて対象物を検出することと、前記第１の画像データに基づいて前記対象物の位置を決定することと、前記対象物の位置に基づいて第２の画像データを取得することと、前記対象物の特性を決定するために、前記第２の画像データを分析することと、を含む。前記第２の画像データはハイパースペクトル画像データを含む。
【選択図】なし
【解決手段】その方法は、第１の画像データを取得することと、前記第１の画像データに基づいて対象物を検出することと、前記第１の画像データに基づいて前記対象物の位置を決定することと、前記対象物の位置に基づいて第２の画像データを取得することと、前記対象物の特性を決定するために、前記第２の画像データを分析することと、を含む。前記第２の画像データはハイパースペクトル画像データを含む。
【選択図】なし
【特許請求の範囲】
【請求項1】
第１の画像データを取得することと、
前記第１の画像データに基づいて対象物を検出することと、
前記第１の画像データに基づいて前記対象物の位置を決定することと、
前記対象物の位置に基づいて第２の画像データを取得することと、
前記対象物の特性を決定するために、前記第２の画像データを分析することと、
を含む方法であって、
前記第２の画像データはハイパースペクトル画像データを含む、
方法。
前記第１の画像データに基づいて対象物を検出することと、
前記第１の画像データに基づいて前記対象物の位置を決定することと、
前記対象物の位置に基づいて第２の画像データを取得することと、
前記対象物の特性を決定するために、前記第２の画像データを分析することと、
を含む方法であって、
前記第２の画像データはハイパースペクトル画像データを含む、
方法。
【請求項2】
前記対象物は農産物である、請求項１に記載の方法。
【請求項3】
前記第１の画像データは、色データおよび深度データを含む、請求項１に記載の方法。
【請求項4】
前記第１の画像データは、色データおよび深度データを含み、
前記色データのみに基づいて前記対象物を検出し、
前記対象物の位置は、前記色データと前記深度データとの組み合わせに基づいて決定される、
請求項１に記載の方法。
前記色データのみに基づいて前記対象物を検出し、
前記対象物の位置は、前記色データと前記深度データとの組み合わせに基づいて決定される、
請求項１に記載の方法。
【請求項5】
前記第１の画像データを取得する間に、前記対象物を照明する光源をオンにすることをさらに含む、請求項１に記載の方法。
【請求項6】
前記光源はＬＥＤ光源である、請求項５に記載の方法。
【請求項7】
前記光源は、前記第２の画像データを取得する前にオフにされる、請求項５に記載の方法。
【請求項8】
前記対象物の位置を決定した後、前記第２の画像データを取得する前に、ハイパースペクトルカメラを移動させることをさらに含み、
前記第２の画像データは前記ハイパースペクトルカメラによって取得される、請求項１に記載の方法。
前記第２の画像データは前記ハイパースペクトルカメラによって取得される、請求項１に記載の方法。
【請求項9】
前記ハイパースペクトルカメラは、前記対象物の決定された位置に基づいて動かされる、請求項８に記載の方法。
【請求項10】
前記ハイパースペクトルカメラは直交アームによって動かされる、請求項８に記載の方法。
【請求項11】
前記第２の画像データは、前記対象物を横切るようにハイパースペクトルカメラを移動させることによって取得される、請求項１に記載の方法。
【請求項12】
前記ハイパースペクトルカメラは単一の直線的な軸に沿ってのみ動かされる、請求項１１に記載の方法。
【請求項13】
前記第２の画像データを取得する間、前記対象物を照明するために光源をオンにすることをさらに含み、
前記光源は所定のスペクトルの光を発する、
請求項１に記載の方法。
前記光源は所定のスペクトルの光を発する、
請求項１に記載の方法。
【請求項14】
前記光の前記所定のスペクトルは約４００ｎｍから約１０００ｎｍの範囲である、請求項１３に記載の方法。
【請求項15】
前記第２の画像データは、ハイパースペクトルカメラによって取得され、
ハロゲン光源が前記ハイパースペクトルカメラを取り囲んでいる、
請求項１３に記載の方法。
ハロゲン光源が前記ハイパースペクトルカメラを取り囲んでいる、
請求項１３に記載の方法。
【請求項16】
前記第２の画像データは、ハイパースペクトルカメラによって取得され、
ハロゲン光源が前記ハイパースペクトルカメラの片側にのみ配置されている、
請求項１３に記載の方法。
ハロゲン光源が前記ハイパースペクトルカメラの片側にのみ配置されている、
請求項１３に記載の方法。
【請求項17】
前記第２の画像データは、ハイパースペクトルカメラによって取得され、
前記ハイパースペクトルカメラは固定焦点距離を有する、
請求項１に記載の方法。
前記ハイパースペクトルカメラは固定焦点距離を有する、
請求項１に記載の方法。
【請求項18】
前記対象物の位置は３次元的に決定される、請求項１に記載の方法。
【請求項19】
撮像するべき対象物の所定の数の閾値を設定または読み取ることと、
第１の画像データを取得することと、
前記対象物の所定の数の閾値に達するまで、前記第１の画像データに基づいて対象物を検出することと、
前記第１の画像データに基づいて各対象物の位置を決定することと、
各対象物の位置に基づいて第２の画像データを取得することと、
を含む方法。
第１の画像データを取得することと、
前記対象物の所定の数の閾値に達するまで、前記第１の画像データに基づいて対象物を検出することと、
前記第１の画像データに基づいて各対象物の位置を決定することと、
各対象物の位置に基づいて第２の画像データを取得することと、
を含む方法。
【請求項20】
第１の画像データを取得することと、
前記第１の画像データに基づいて対象物を検出することと、
少なくとも１つの所定のパラメータにしたがって、前記対象物のうち１つまたは複数を選択することと、
前記第１の画像データに基づいて、前記選択された１つまたは複数の対象物のそれぞれの位置を決定することと、
前記選択された１つまたは複数の対象物のそれぞれの位置に基づいて、第２の画像データを取得することと、
を含む方法であって、
前記少なくとも１つの所定のパラメータは、各対象物の可視割合、各対象物の表面積、および各対象物の色のうちの１つ以上を含む、方法。
前記第１の画像データに基づいて対象物を検出することと、
少なくとも１つの所定のパラメータにしたがって、前記対象物のうち１つまたは複数を選択することと、
前記第１の画像データに基づいて、前記選択された１つまたは複数の対象物のそれぞれの位置を決定することと、
前記選択された１つまたは複数の対象物のそれぞれの位置に基づいて、第２の画像データを取得することと、
を含む方法であって、
前記少なくとも１つの所定のパラメータは、各対象物の可視割合、各対象物の表面積、および各対象物の色のうちの１つ以上を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラシステムおよび画像処理に関する。より具体的には、本発明は、ブドウの品質を予測するために画像を取得し処理することが可能なモバイルカメラシステムに関する。
【背景技術】
【0002】
直交座標ロボットを含む直交座標システムは、フライス加工、印刷などの産業用途に使用されてきた。直交座標システムは、直線状で互いに直交して配置された３つの制御主軸を含み、各主軸は別々の駆動機構を有することができる。直交座標システムの剛性構造および直線運動により、高負荷下でも荷重を正確かつ確実に移動させることができる。しかし、直交座標システムは、一般に、カメラや光源のような装置の移動や位置決めには適用されていない。
【0003】
野菜、果物、その他の生産物のような食品の特性を決定するための公知のシステムは、カメラを使用して食品の画像を撮影し、その画像を分析して食品の所望の特性を決定することを含む。米国特許第１０，４０８，７４８号、米国特許第８，０１４，５６９号、米国特許出願公開第２０２１／０３１１０１１号、米国特許第１０，８８５，６７５号、および米国特許第９，９２２，２６１号には、そのような公知のシステムが開示されている。しかし、食品のハイパースペクトル画像の分析は行われていない。
【0004】
スペイン特許第２７９５４９９号は、果実のなる植物の少なくとも一部分のハイパースペクトル画像を撮像することを含む、一群の果実特性を決定する方法を開示している。しかし、スペイン特許第２７９５４９９号は、自然光を使用してハイパースペクトル画像を撮像するだけであるため、自然光のスペクトルが変動し得ることや、撮像中の果実のなる植物には関係しない光スペクトルをハイパースペクトル画像が含むことのために、画像を処理および分析する際にエラーが発生する可能性がある。さらに、スペイン特許第２７９５４９９号は、果実のなる植物の他の画像を得ることを開示しておらず、ユーザがハイパースペクトル画像から決定されたデータを検証し、人工知能（ＡＩ）モデルに基づいて追加的な処理を実行することを可能にするために、果実のなる植物の所望の部分を分離することが困難な場合がある。
【0005】
Fernandez-Novalesら（"Non-Invasive Monitoring of Berry Ripening Using On-the-Go Hyperspectral Imaging in the Vineyard", Agronomy 2021, no. 12:2534）は、車両に設けられたハイパースペクトルカメラによるハイパースペクトル画像の撮像を含む、ブドウの成分を測定するためのハイパースペクトル撮像のプロセスを開示している。しかし、Fernandez-Novalesらは、環境光による日中のハイパースペクトル画像の撮像を示しているだけであり、日光のスペクトルが変動し得ることや、撮像中の果実のなる植物には関係しない光スペクトルをハイパースペクトル画像が含むことのために、画像を処理および分析する際にエラーが発生する可能性がある。さらに、Fernandez-Novalesらは、果実のなる植物のその他の画像が得られることを開示しておらず、ユーザがハイパースペクトル画像から決定されたデータを検証し、ＡＩモデルに基づいて追加的な処理を実行するために、果実のなる植物の所望の部分を分離することが困難な場合がある。
【発明の概要】
【0006】
本発明の好適な実施形態は、ブドウの品質を予測するために画像を自律的に取得して処理することができるモバイルカメラシステムを提供する。
【0007】
本発明の好適な実施形態による方法は、第１の画像データを取得することと、前記第１の画像データに基づいて対象物を検出することと、前記第１の画像データに基づいて前記対象物の位置を決定することと、前記対象物の位置に基づいて第２の画像データを取得することと、前記対象物の特性を決定するために、前記第２の画像データを分析することと、を含む。前記第２の画像データはハイパースペクトル画像データを含む。
【0008】
前記対象物は農産物であってもよい。前記第１の画像データは、色データおよび深度データを含んでもよい。前記第１の画像データは、色データおよび深度データを含んでもよい。前記色データのみに基づいて前記対象物が検出されてもよい。前記対象物の位置は、前記色データと前記深度データとの組み合わせに基づいて決定されてもよい。
【0009】
前記方法は、前記第１の画像データを取得する間に、前記対象物を照明する光源をオンにすることをさらに含んでもよい。前記光源はＬＥＤ光源であってもよい。前記光源は、前記第２の画像データを取得する前にオフにされてもよい。
【0010】
前記方法は、前記対象物の位置を決定した後、前記第２の画像データを取得する前に、ハイパースペクトルカメラを移動させることをさらに含んでもよい。前記第２の画像データは前記ハイパースペクトルカメラによって取得されてもよい。前記ハイパースペクトルカメラは、前記対象物の決定された位置に基づいて動かされてもよい。前記ハイパースペクトルカメラは直交アームによって動かされてもよい。
【0011】
前記第２の画像データは、前記対象物を横切るようにハイパースペクトルカメラを移動させることによって取得されてもよい。前記ハイパースペクトルカメラは単一の直線的な軸に沿ってのみ動かされてもよい。
【0012】
前記方法は、前記第２の画像データを取得する間、前記対象物を照明するために光源をオンにすることをさらに含んでもよい。前記光源は所定のスペクトルの光を発してもよい。前記光の前記所定のスペクトルは約４００ｎｍから約１０００ｎｍの範囲であってもよい。
【0013】
前記第２の画像データは、ハイパースペクトルカメラによって取得されてもよい。ハロゲン光源が前記ハイパースペクトルカメラを取り囲んでいてもよいし、前記ハイパースペクトルカメラの片側にのみ配置されていてもよい。前記ハイパースペクトルカメラは固定焦点距離を有していてもよい。
【0014】
前記対象物の位置は３次元的に決定されてもよい。
【0015】
本発明の好適な実施形態による方法は、撮像するべき対象物の所定の数の閾値を設定または読み取ることと、第１の画像データを取得することと、前記対象物の所定の数の閾値に達するまで、前記第１の画像データに基づいて対象物を検出することと、前記第１の画像データに基づいて各対象物の位置を決定することと、各対象物の位置に基づいて第２の画像データを取得することと、を含む。
【0016】
本発明の好適な実施形態による方法は、第１の画像データを取得することと、前記第１の画像データに基づいて対象物を検出することと、少なくとも１つの所定のパラメータにしたがって、前記対象物のうち１つまたは複数を選択することと、前記第１の画像データに基づいて、前記選択された１つまたは複数の対象物のそれぞれの位置を決定することと、前記選択された１つまたは複数の対象物のそれぞれの位置に基づいて、第２の画像データを取得することと、を含む。前記少なくとも１つの所定のパラメータは、各対象物の可視割合、各対象物の表面積、および各対象物の色のうちの１つ以上を含む。
【0017】
本発明の上記および他の特徴、要素、ステップ、構成、特性、および利点は、添付図面を参照した本発明の好適な実施形態の以下の詳細な説明からより明らかになるであろう。
【図面の簡単な説明】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【発明を実施するための形態】
【0026】
図１は、本発明の好適な実施形態による直交アームシステム１００の正面透視図である。図１に示すように、直交アームシステム１００は、車両などを含み得る。しかしながら、直交アームシステム１００は、車両または人によって牽引可能なカートに設けられ得る。図２は、図１の直交アームシステム１００の背面透視図である。
【0027】
図１および図２に示すように、直交アームシステム１００は、ベースフレーム１１０、サイドフレーム１２０および１３０、水平フレーム１４０、および垂直フレーム１５０を含む。サイドフレーム１２０および１３０はベースフレーム１１０に設けられ、サイドフレーム１２０および１３０は水平フレーム１４０を直接支持する。垂直フレーム１５０は水平フレーム１４０に設けられている。１つ以上のカメラおよび／または光源などの１つ以上のデバイス１６０を垂直フレーム１５０に設けることができる。直交アームシステム１００は、好ましくは、例えば、約５ｋｇの荷重を支持することができる。
【0028】
ベースフレーム１１０は、ベースフレーム１１０に沿ってサイドフレーム１２０および１３０を移動させることができるベースフレームモータ１１５を含んでおり、１つ以上のデバイス１６０を第１の方向（図１に示すｘ軸）に移動させることができる。水平フレーム１４０は、垂直フレーム１５０を水平フレーム１４０に沿って移動させることができる水平フレームモータ１４５を含んでおり、１つ以上のデバイス１６０を第２の方向（図１に示すｙ軸）に移動させることができる。垂直フレーム１５０は、垂直フレーム１５０に沿って１つ以上のデバイス１６０を第３の方向（図１に示すｚ軸）に移動させることができる垂直フレームモータ１５５を含む。ベースフレームモータ１１５、水平フレームモータ１４５、および垂直フレームモータ１５５の各々は、例えば、スクリューモータであり得る。スクリューモータは、１つ以上のデバイス１６０を正確に移動および位置決めするために、比較的高いレベルの精度を提供することができる。しかしながら、ベースフレームモータ１１５、水平フレームモータ１４５、および垂直フレームモータ１５５の各々は、約０．２Ｎｍ以上の連続トルクを提供する任意のモータであり得、好ましくは、約０．３Ｎｍ以上の連続トルクを提供する任意のモータであり得る。
【0029】
ベースフレームモータ１１５、水平フレームモータ１４５、および垂直フレームモータ１５５の各々は、１つ以上のデバイス１６０の総重量に応じて設計され、かつ／またはサイズ設定され得る。また、ベースフレームモータ１１５、水平フレームモータ１４５、および垂直フレームモータ１５５の各々のための連結器は、モータシャフトの直径および／または対応する設置穴パターンに応じて変更することができる。
【0030】
ベースフレーム１１０はベースプレート１９０に設けることができ、ベース電子回路１９４もまたベースプレート１９０に設けることができる。複数の車輪１９５をベースプレート１９０またはベース電子回路１９４に設けることができる。複数の車輪１９５は、ベース電子回路１９４によって制御されることができ、ベース電子回路１９４は、電気モータなどを駆動するための電源を含み得る。一例として、複数の車輪１９５は、約６５ｋＷから約７５ｋＷの目標出力を有する電気モータによって駆動されることができ、電気モータ用の電源は、約１００ｋＷｈの容量を有するバッテリであり得る。
【0031】
ベース電子回路１９４はまた、直交アームシステム１００の自律的ナビゲーションを実行するようにプログラミングまたは構成されたプロセッサおよびメモリ要素を含み得る。さらに、ＬｉＤＡＲ（光検出および測距）システム１９１および全地球航法衛星システム（Global Navigation Satellite System：ＧＮＳＳ）１９２も、ベースフレーム１１０またはベースプレート１９０に設けることができ、これにより、直交アームシステム１００の位置データを決定することができる。ＬｉＤＡＲシステム１９１およびＧＮＳＳ１９２は、直交アームシステム１００が自律的に移動する際に障害物回避およびナビゲーションに用いられ得る。好ましくは、例えば、直交アームシステム１００は、遠隔制御インターフェースによって実装することができ、イーサネット、ＵＳＢ、無線通信、およびＧＰＳ ＲＴＫ（real time kinematics）のうちの１つまたは複数を介して通信することができる。遠隔制御インターフェースおよび通信デバイスは、ベース電子回路１９４および撮像電子回路１６７（後述）の一方または両方に含まれ得る。直交アームシステム１００はまた、１つ以上のデバイス１６０によって得られたデータおよび／または画像を表示し、ベース電子回路１９４によって提供される情報（例えば、直交アームシステム１００の位置、速度、バッテリ寿命など）を表示するためのディスプレイデバイスを含むか、またはこれと通信可能に接続され得る。
【0032】
図３は、１つ以上のデバイス１６０を含む直交アームシステム１００の一部の拡大図である。図３に示すように、１つ以上のデバイス１６０は、垂直フレーム１５０に取り付けられたブラケット１６１に設けられた第１のカメラ１６２、第２のカメラ１６３、およびカメラ光源１６４を含み得る。好ましくは、例えば、第１のカメラ１６２および第２のカメラ１６３は、垂直フレーム１５０上の設置点に対するブラケット１６１上の重量のバランスをとるために、図３に示すｙ軸に沿ってブラケット１６１の異なる側に設けられる。あるいは、第１のカメラ１６２は、例えば、サイドフレーム１２０および１３０の一方の固定位置に配置することができる。別の代替案として、第１のカメラ１６２は、水平フレーム１４０、または垂直フレーム１５０とは別の第２の垂直フレームに設けられてもよい。すなわち、第１のカメラ１６２は、第２のカメラ１６３を動かす直交アームとは別の直交アームに設けられてもよい。
【0033】
第１のカメラ１６２は、ＲＧＢカメラ、深度カメラ、ＲＧＢカメラと深度カメラとの組み合わせ、またはステレオカメラなどであり得る。好ましくは、第１のカメラ１６２は、例えば、比較的高解像度のＲＧＢ画像と比較的正確な深度情報の両方を提供できるカメラであり得る。第２のカメラ１６３は、ＨＳＩ（ハイパースペクトル撮像）カメラであり得る。ＨＳＩカメラは、固定焦点距離を有し得る。カメラ光源１６４は、第２のカメラ１６３を取り囲むリング光であってもよい。カメラ光源１６４の発生する熱により第２のカメラ１６３が過度に温まることを防止するため、カメラ光源１６４は第２のカメラ１６３に直接設けられないことが好ましい。あるいは、カメラ光源１６４は、第２のカメラ１６３の側方に設けられてもよい。カメラ光源１６４は、光源供給部１６５に接続され得る。カメラ光源１６４は、例えば約４００ｎｍ～約１０００ｎｍの範囲のＨＳＩ画像を撮像するための光スペクトルを提供するハロゲン光源を含み得る。光源供給部１６５は、サイドフレーム１３０に設けられ得る。光源供給部１６５は、ケーブル１６６によってカメラ光源１６４に接続され得る。ケーブル１６６は、光ファイバケーブルを含み得る。好ましくは、ケーブル１６６は、例えば約３フィートの長さを有し、１つ以上のデバイス１６０の移動に十分な長さを提供する一方で、カメラ光源１６４によって出力される光のスペクトルの損失を大幅に低減または防止する。
【0034】
好ましくは、ケーブル１６６は、例えば光ファイバケーブルであり、約３フィート以下の長さを有し、カメラ光源１６４によって出力される光のスペクトルの損失を大幅に低減または防止する一方で、ケーブル１６６に十分なゆとりを与える。これにより、１つ以上のデバイス１６０が、ベースフレーム１１０、水平フレーム１４０、および垂直フレーム１５０の各々に沿って全範囲で移動できるようにする。好ましくは、例えば、ケーブル１６６は過度に曲げられたりねじれたりしないように設けられる。過度に曲げられたりねじれたりすることは、カメラ光源１６４によって出力される光のスペクトルの損失につながる可能性がある。
【0035】
直交アームシステム１００は、サイドフレーム１２０に設けられた撮像電子回路１６７を含む。撮像電子回路１６７は、ベースフレームモータ１１５、水平フレームモータ１４５、および垂直フレームモータ１５５の各々に電力を供給し、制御することができる。すなわち、撮像電子回路１６７は、ベースフレームモータ１１５、水平フレームモータ１４５、および垂直フレームモータ１５５の各々に電力を供給するための電源を含み得る。さらに、撮像電子回路１６７は、ベースフレームモータ１１５、水平フレームモータ１４５、および垂直フレームモータ１５５の各々を制御するようにプログラミングまたは構成されたプロセッサおよびメモリ要素を含み得る。撮像電子回路１６７のプロセッサおよびメモリ要素はまた、第１のカメラ１６２、第２のカメラ１６３、カメラ光源１６４、およびサイドフレーム１２０および１３０の一方または両方に設けられた任意の光源を含む１つ以上のデバイス１６０を制御するように構成またはプログラミングされ得る。さらに、撮像電子回路１６７のプロセッサおよびメモリ要素は、第１のカメラ１６２および第２のカメラ１６３によって得られた画像データを処理するように構成またはプログラミングされ得る。
【0036】
上述したように、撮像電子回路１６７およびベース電子回路１９４は、プロセッサおよびメモリ要素を含み得る。プロセッサは、ハードウェアプロセッサ、多目的プロセッサ、マイクロプロセッサ、専用プロセッサ、デジタルシグナルプロセッサ（ＤＰＳ）、および／またはデータを処理するように構成またはプログラミングされた他のタイプの処理コンポーネントであってよい。メモリ要素は、揮発性、不揮発性、および／または交換可能なデータストレージコンポーネントのうちの１つまたは複数を含み得る。例えば、メモリ要素は、プロセッサと全体的または部分的に集積され得る磁気、光学、および／またはフラッシュストレージコンポーネントを含み得る。メモリ要素は、プロセッサによって読み取りおよび／または実行可能な命令および／または命令セットまたはプログラムを格納することができる。
【0037】
好ましくは、例えば、撮像電子回路１６７はサイドアーム１２０に設けられ、光源供給部１６５はサイドアーム１３０に設けられることにより、図１に示すY軸に沿って直交アームシステム１００の総重量のバランスをとる。すなわち、撮像電子回路１６７と光源供給部１６５とは、ベースプレート１９０の中央部に直交アームシステム１００のバランスの中心を設定するように位置決めされている。
【0038】
本発明の別の好適な実施形態によれば、撮像電子回路１６７は、ベース電子回路１９４によって部分的にまたは完全に実装され得る。例えば、ベースフレームモータ１１５、水平フレームモータ１４５、および垂直フレームモータ１５５の各々は、撮像電子回路１６７の代わりに、ベース電子回路１９４から電力を受け取り、および／またはベース電子回路１９４によって制御され得る。
【0039】
本発明のさらに好適な実施形態によれば、撮像電子回路１６７および光源供給部１６５は、ベース電子回路１９４とは別の１つ以上の電源に接続され得る。例えば、電源は、撮像電子回路１６７および光源供給部１６５の一方または両方に含まれ得る。さらに、ベースフレーム１１０は、ベースプレート１９０に着脱可能に取り付けられる。これにより、ベースフレーム１１０、サイドフレーム１２０および１３０、水平フレーム１４０、垂直フレーム１５０、およびこれらに設けられた構成要素を他の車両などに搭載することが可能である。
【0040】
ベースフレームモータ１１５、水平フレームモータ１４５、および垂直フレームモータ１５５は、１つ以上のデバイス１６０を３つの別々の方向に、すなわち３つの別々の軸に沿って移動させることができる。しかし、本発明の別の好適な実施形態によれば、ベースフレームモータ１１５、水平フレームモータ１４５、および垂直フレームモータ１５５によって、１つ以上のデバイス１６０の一部のみ、例えば、第２のカメラ１６３のみ、または第２のカメラ１６３とカメラ光源１６４のみを動かすことができる。さらに、直交アームシステム１００は、第２のカメラ１６３が画像を撮像している間、第２のカメラ１６３を単一の軸に沿ってのみ直線的に移動させるように構成することができる。例えば、水平フレームモータ１４５は、第２のカメラ１６３がブドウ房のＨＳＩ画像を撮像する間、ブドウ房を横切って第２のカメラ１６３を直線的に移動させるように構成することができる。
【0041】
サイドフレーム１２０および１３０の一方または両方に光源を設けることができる。例えば、光源１２５をサイドフレーム１２０の上部に設けることができ、光源１３５をサイドフレーム１３０の上部に設けることができる。光源１２５および１３５は、例えば図１に示すｘ軸に沿って、１つ以上のデバイス１６０と同じ方向を向くＬＥＤ光源を含み得る。光源１２５および１３５は、第１のカメラ１６２によって撮像される１つ以上の対象物に照明を提供することができる。例えば、光源１２５および１３５は日中の動作中において、第１のカメラ１６２で画像を撮像する際に周囲の光を補うためのフラッシュとして動作することができる。夜間の動作中には、光源１２５および１３５が第１のカメラのフラッシュとして動作したり、光源１２５および１３５が第１のカメラに常時照明を提供したりすることができる。
【0042】
直交アームシステム１００の撮像電子回路１６７およびベース電子回路１９４はそれぞれ、エッジコンピューティングによって（例えばNVIDIA(R) JETSONTM AGXコンピュータによって）部分的にまたは完全に実装されて車両プラットフォームを提供することができる。本発明の好適な実施形態では、エッジコンピューティングは、直交アームシステムの演算および通信のニーズのすべてを提供する。図７Ａおよび図７Ｂは、車両プラットフォームと、クラウドプラットフォームおよびユーザプラットフォームとのインタラクションを含むクラウドシステムのブロック図の一例を示している。図７Ａおよび図７Ｂに示すように、車両プラットフォームのエッジコンピューティングは、車両プラットフォームとクラウドプラットフォームとの間の通信を容易にするサービスベースのコンポーネントであるクラウドエージェントを含む。例えば、クラウドエージェントは、クラウドプラットフォーム（例えば、クラウドプラットフォーム上のウェブアプリケーション）からコマンドおよび命令データを受信し、コマンドおよび命令データを車両プラットフォームの対応するコンポーネントに転送することができる。別の例として、クラウドエージェントは、動作データおよび生産データをクラウドプラットフォームに送信することができる。好ましくは、クラウドプラットフォームは、クラウドシステムの全体的な動作を維持するためのソフトウェアコンポーネントおよびデータストレージを含み得る。クラウドプラットフォームは、好ましくは、オンデマンド能力、耐障害性（fault tolerance）、および高可用性を有するエンタープライズレベルのサービスを提供する（例えば、AMAZON WEB SERVICESTM）。クラウドプラットフォームは、車両プラットフォームおよびユーザプラットフォームと通信するための１つ以上のアプリケーションプログラミングインターフェース（ＡＰＩ）を含む。好ましくは、ＡＰＩは高レベルのセキュリティで保護され、各ＡＰＩの能力は演算負荷に応じて自動的に調整され得る。ユーザプラットフォームは、クラウドシステムを制御し、車両プラットフォームおよびクラウドプラットフォームによって取得されたデータを受信するためのダッシュボードを提供する。ダッシュボードは、ウェブベース（例えば、インターネットブラウザ）のアプリケーション、モバイルアプリケーション、デスクトップアプリケーションなどによって実装することができる。
【0043】
一例として、図７Ａに示す車両プラットフォームのエッジコンピューティングは、ＨＷ（Hardware）ＧＰＳ（Global Positioning System）（例えば、ＧＮＳＳ１９２）からのデータ、および（例えば、ＬｉＤＡＲシステム１９１からの）ＬｉＤＡＲデータを取得することができる。さらに、車両プラットフォームは、カラー／深度カメラ（例えば、第１のカメラ１６２）およびＨＳＩカメラ（例えば、第２のカメラ１６３）からデータを得ることができる。車両プラットフォームのエッジコンピューティングは、例えば、ＨＳＩカメラによって取得された生データを格納するための一時ストレージを含み得る。車両プラットフォームのエッジコンピューティングは、例えば、処理されたデータを格納するための永続ストレージを含んでもよい。具体例として、一時ストレージに格納された生のＨＳＩデータは、人工知能（ＡＩ）モデルによって処理され、処理されたＨＳＩデータが永続ストレージに格納され、クラウドエージェントは処理されたＨＳＩデータを永続ストレージから取り出して送信することができる。
【0044】
図４Ａは、本発明の好適な実施形態にしたがって実行されるプロセス１０００を示すフローチャートである。さらに後述する図４Ｂおよび図４Ｃは、本発明のさらなる好適な実施形態による変形プロセス１０００Ａおよび１０００Ｂを示すフローチャートである。
【0045】
図４Ａに示すように、車両（例えば、直交アームシステム１００）は、動作１０１０において、あるウェイポイントに移動する。ウェイポイントは、車両の車載メモリにあらかじめ設定またはプログラミングされていてもよく、リモートストレージから取り出されてもよく、前のウェイポイントからの距離または時間に応じて決定されていてもよく、またはその他であってもよい。
【0046】
当該ウェイポイントに到達すると、車両は停止し、動作１０２０において、車両はＬＥＤをオンにする。ＬＥＤをオンにした状態で、動作１０３０において、車両はＲＧＢカメラでカラー画像（２次元カラー画像）を撮影する。車両は、ＲＧＢカメラで撮影したカラー画像を車両のローカルストレージに格納し得る。
【0047】
ＲＧＢカメラでカラーピクチャを撮影した後、車両は動作１０４０において深度カメラで深度ピクチャを撮影する。深度カメラは、ＬｉＤＡＲ（light detection and ranging）カメラまたはステレオカメラによって実装することができる。ＲＧＢカメラおよび深度カメラは、単一のカメラ（例えば、第１のカメラ１６２）によって実装することができる。ＲＧＢカメラおよび深度カメラが単一のカメラによって実装される本発明の好適な実施形態において、カラーピクチャを撮影するステップ１０３０および深度ピクチャを撮影するステップ１０４０を同時に実行することができる。
【0048】
深度カメラで深度ピクチャを撮影した後、車両は動作１０５０においてＬＥＤをオフにする。車両は、動作１０６０において、動作１０３０において撮影された２次元カラー画像内の１つ以上のブドウ房の位置を決定するための処理を実行する。言い換えれば、カラー画像は、２次元平面内の１つ以上のブドウ房の位置を決定するために使用される。ブドウ房の位置が決定されない場合（１０６１：ＮＯ）、プロセス１０００は動作１０１０に戻り、車両は次のウェイポイントに移動する。２次元的なブドウ房の位置が決定された場合（１０６２：ＹＥＳ）、動作１０６５において、車両は、動作１０３０で撮影された２次元カラー画像に動作１０４０で撮影された深度ピクチャからの深度情報を加えることにより、ブドウ房の３次元位置を決定する。ブドウ房の位置を特定するために、動作１０６０および１０６５において人工知能（ＡＩ）モデルを使用することができる。
【0049】
次に、車両は、動作１０７０において、車両の直交アームを操作することによってＨＳＩカメラ（例えば、第２のカメラ１６３）を、ブドウ房の決定された３次元位置から所定の距離（例えば、約１フィート）まで移動させることができるか否かを判定する。本発明の好適な実施形態では、ブドウ房の決定された３次元位置は、ブドウ房内の複数のブドウの平均深度に基づいて計算することができる。所定の距離は、本発明の好適な実施形態においては固定であるＨＳＩカメラの焦点距離（例えば、約１フィート）に基づいて決定することができる。直交アームは、例えば、ベースフレームモータ１１５、水平フレームモータ１４５、および垂直フレームモータ１５５によって操作され得る。車両の直交アームを操作することによってＨＳＩカメラをブドウ房の決定された位置から所定の距離まで移動させることができない場合（１０７１：ＮＯ）、プロセス１０００は動作１０１０に戻り、車両は次のウェイポイントに移動する。
【0050】
車両の直交アームを操作することによってＨＳＩカメラをブドウ房の決定された位置から所定の距離まで移動させることができる場合（１０７２：ＹＥＳ）、車両は、動作１０８０において、直交アームをブドウ房の決定された位置から所定の距離まで移動させ、動作１０９０において、ハロゲンライト（例えば、カメラ光源１６４）をオンにする。ハロゲンライトは所定のスペクトルの光を発する。ハロゲンライトがオンにされた後、車両は、動作１１００においてブドウ房の決定された位置を横切ってＨＳＩカメラをパンするように直交アームを操作しながら、ＨＳＩカメラでＨＳＩピクチャを撮影する。例えば、水平フレームモータ１４５は、ＨＳＩ画像が撮影されている間、ブドウ房を横切る第２の方向（ｙ軸に沿って）にＨＳＩカメラをパンするために使用される。本発明の好適な実施形態では、ＨＳＩ画像を撮影する前に、ＨＳＩカメラを所定の温度まで、または所定の時間温めてもよく、これにより安定したデータ取得を向上させることができる。車両は、ＨＳＩカメラによって撮影されたＨＳＩピクチャを車両のローカルストレージに格納することができる。ハロゲンライトは、ＨＳＩカメラがＨＳＩデータを得る際に、ブドウ房を照明するために所定のスペクトルの光を発するので、ＨＳＩデータは、この所定のスペクトルの光に関して処理され得る。ＨＳＩカメラがブドウ房を撮像した後、車両は動作１１１０においてハロゲンライトをオフにする。
【0051】
動作１１２０において、車両は、ＨＳＩカメラによって撮影されたＨＳＩピクチャを処理して、ブドウ房の予測データを決定する。車両は、ＨＳＩカメラによって撮影されたＨＳＩピクチャおよび予測データを車両の１つ以上のローカルストレージに格納することができる。例えば、ＨＳＩカメラによって撮影されたＨＳＩピクチャは、最初は一時ストレージ（例えば、揮発性メモリ）に格納することができ、ＨＳＩピクチャを処理することによって得られたデータは、後に永続ストレージ（例えば、不揮発性メモリ）に格納することができる。動作１１２０で実行される処理は、図５および図６を参照して以下にさらに詳細に説明される。
【0052】
動作１１３０において、車両は、予測データと、例えばＲＧＢカメラによって撮影されたカラーピクチャとをリモートストレージに送信する。さらに、予測データによって識別されたブドウ房の位置および適切性をユーザが視覚的に検証できるように、カラーピクチャが予測データとともに提供される。しかしながら、ＨＳＩピクチャおよび対応する予測データは比較的大きなファイルサイズを有し得るため、予測データの一部のみ、または選択されたＨＳＩピクチャのみが、例えばリモートストレージに送信されてもよい。さらに、車両は、例えば、ＲＧＢカメラによって撮影されたカラーピクチャの一部のみをリモートストレージに送信してもよい。同様に、車両は、例えば、ＲＧＢカメラによって撮影されたカラーピクチャのうち選択されたもののみをリモートストレージに送信してもよい。本発明の別の好適な実施形態によれば、車両は、予測データの送信とは別々に、ＲＧＢカメラによって撮影された一部または全てのカラーピクチャを送信することができる。すなわち、車両は、動作１０４０と１１３０との間の任意の時点で、ＲＧＢカメラによって撮影された一部または全てのカラーピクチャを送信することができる。上記の特徴に加えて、予測データをカラーピクチャの一部または全てに適用して、１つ以上のブドウ房の予測位置を示すバウンディングボックスなどを１つ以上のカラーピクチャに含めることができる。
【0053】
動作１１４０において、車両は、現在のウェイポイントにおいてＨＳＩカメラによって追加のブドウ房を撮像するべきか否かを決定する。現在のウェイポイントにおいて撮像するべき追加のブドウ房が無い場合（１１４１：ＮＯ）、プロセス１０００は動作１１５０に進む。しかし、現在のウェイポイントにおいてＨＳＩカメラによって追加のブドウ房を撮像するべき場合（１１４２：ＹＥＳ）は、プロセス１０００は動作１０８０に戻る。一例として、プロセス１０００は、１つのつる（vine）または１つのブドウ園のブドウ房の一部（例えば、ブドウの木（grapevine））１本につき３つのブドウ房）のみのサンプリングを実行してもよい。
【0054】
動作１１５０において、車両は、追加のウェイポイントを車両が通るべきかどうかを決定する。さらなるウェイポイントが車両に格納されておらず車両によって取得可能でない場合などには（１１５１：ＮＯ）、プロセス１０００は動作１１６０で終了する。しかし、さらなるウェイポイントが車両に格納され、車両によって取得可能である場合などには（１１５２：ＹＥＳ）、プロセス１０００は動作１０１０に戻り、車両は次のウェイポイントに移動する。例として、ＡＩモデルを使用して次のウェイポイントを決定してもよく、ＧＰＳデータにしたがってウェイポイントをあらかじめプログラミングしておいてもよい。
【0055】
【0056】
図４Ｂに示すように、変形プロセス１０００Ａは、ウェイポイントごとにスキャンされるブドウ房の数の所定の閾値を設定または読み取る動作１００５Ａを含む。例えば、所定の閾値はユーザによって予め設定されることができ、車両は変形プロセス１０００Ａを実行する際にその所定の閾値を読み取ることができる。続いて、動作１１４０Ａにおいて、車両は、現在のウェイポイントでスキャンされたブドウ房の数が所定の閾値に達したか否かを判定する。現在のウェイポイントでスキャンされたブドウ房の数が所定の閾値未満である場合（１１４２Ａ：ＹＥＳ）、プロセス１０００Ａは、動作１０８０に戻る。しかし、現在のウェイポイントでスキャンされたブドウ房の数が所定の閾値に達している（下回っていない）場合（１１４１Ａ：ＮＯ）、プロセス１０００Ａは動作１０５０に進む。
【0057】
図４Ｃは、ブドウ房をＲＧＢカメラによるカラーピクチャにしたがってスキャンのために選択することができる、別の変形プロセス１０００Ｂを示す。図４Ｃに示す動作のうち、図４Ａに示す動作と同じものについては、簡潔にするために詳細な説明を省略する。
【0058】
図４Ｃに示すように、変形プロセス１０００Ｂは、現在のウェイポイントにおけるブドウ房の２次元位置を決定する動作１０６０Ｂを含む。しかし、ブドウ房の位置が決定されない場合（１０６１：ＮＯ）、プロセス１０００Ｂは動作１０１０に戻り、車両は次のウェイポイントに移動する。動作１０６０Ｂにおいて、現在のウェイポイントにおけるブドウ房の２次元位置を決定した後、変形プロセス１０００Ｂは動作１０６２Ｂに進み、決定された２次元位置に対応するブドウ房の中から、スキャンされるべきブドウ房を選択する。スキャンされるブドウ房は、障害物（例えば、棒、葉など）によって最も妨げられることのないブドウ房、ＨＳＩカメラに面する表面積が最大であるブドウ房、および／またはカラーピクチャにおける色に応じたブドウ房（例えば、カラー画像において最も熟して見えるブドウ房）を含むがこれらに限定されない、様々な所定のパラメータにしたがって選択することができる。
【0059】
動作１０６２Ｂにおいて、スキャンされるブドウ房が選択されると、動作１０６５Ｂにおいて、図４Ａを参照して上述した動作１０６５と同様に、各ブドウ房の３次元位置が決定される。その後、動作１０６６Ｂにおいて、選択されたブドウ房から１つのブドウ房が、ＨＳＩカメラによるスキャンのために選択される。動作１０７０Ｂにおいて、車両は、車両の直交アームを操作することによって、選択されたブドウ房の決定された３次元位置から所定の距離（例えば、約１フィート）までＨＳＩカメラを移動させることができるか否かを判定する。車両の直交アームを操作することによってＨＳＩカメラをブドウ房の決定された位置から所定の距離まで移動させることができない場合（１０７１Ｂ：ＮＯ）、プロセス１０００Ｂは１０６６Ｂに戻り、選択されたブドウ房の中から別のブドウ房がＨＳＩカメラによるスキャンのために選択される。車両の直交アームを操作することによってＨＳＩカメラを選択されたブドウ房のうちいずれの決定された位置からも所定の距離まで移動させることができない場合、変形プロセス１０００Ｂは、動作１０１０に戻り得る。
【0060】
変形プロセス１０００Ｂは、図４Ａを参照して上述した操作と同様に、動作１０８０から１１３０において、決定されたブドウ房の各々に関するデータをスキャンし、送信する。しかしながら、動作１１４０Ｂにおいて、変形プロセス１１４０Ｂは、選択されたブドウ房の各々がＨＳＩカメラによってスキャンされたか否かを判定する。選択されたブドウ房の各々がスキャンされていない場合（１１４２Ｂ：ＮＯ）、変形プロセス１１４０Ｂは、動作１０６６Ｂに戻り、選択されたブドウ房から別のブドウ房が、ＨＳＩカメラによるスキャンのために選択される。しかし、選択されたブドウ房の各々がＨＳＩカメラによってスキャンされている場合（１１４１Ａ：ＹＥＳ）、変形プロセス１０００Ｂは、図４Ａを参照して上述した動作１１５０に進む。
【0061】
図５は、本発明の好適な実施形態にしたがって実行される画像処理プロセス２０００を示すフローチャートである。
【0062】
画像処理プロセス２０００では、動作２０１０においてＨＳＩデータが入力される。図５の動作２０１０は、図４Ａ～４Ｃを参照して上述した動作１１００からのデータを含み得る。ＨＳＩカメラによって撮像されたデータは、すべての反射および全波長スペクトルを含む生画像データであり、この生画像データは、例えば、ブドウ房ごとに撮像される。生画像データには、例えば葉やつるなどの背景データが含まれ、この背景データは、ブドウ房のブドウのスペクトルとは異なるスペクトルを有する。動作２０２０では、生画像データに対して前処理が行われる。
【0063】
さらなる処理を実行する前に、動作２０２１において、生画像データがまず反射率データに変換される。反射率データは、画像データの意味のある測定を提供する。動作２０２１は、白基準および暗基準にしたがって反射率データに対して実行される照明補償を含む。白基準は、図４Ａ～４Ｃに示す処理を実行する前に、反射率値が既知である白色物体のピクチャをＨＳＩカメラで撮影することによって得られる所定の基準であり得る。あるいは、白基準は、ＨＳＩカメラによって生成された各画像中に、反射率値が既知である白色物体を含めることによって、各ブドウ房について決定され得る。例えば、ＨＳＩカメラによって生成された画像の一部または全部の底部に、長方形状の白色物体を含めることによって決定され得る。白基準の平均スペクトルが用いられ得る。暗基準の変動は一般に無視できる量のノイズをもたらすだけであるため、一定の暗基準値を適用することができる。動作２０２１における反射率処理によって生成された補正されたデータは、例えば、ＡＩモデルをさらに訓練するために使用することができる。
【0064】
図４Ａ～４Ｃを参照して上述したように、ブドウ房ごとに撮像されるＨＳＩデータは、背景データを含む。従って、動作２０２２では、背景データを排除し、ブドウ房のスペクトルデータのみを保持するために、ブドウフィルタリングが実行される。図６は、ブドウフィルタリング動作２０２２において実行される詳細動作を示す。まず、動作２０２３において、ＲＧＢ画像がＨＳＩデータから導出され、ＡＩベースのネットワークに送信される。一例として、ブドウフィルタリングを実行するＡＩベースのネットワークは、ブドウ画像で訓練されたロバストなディープラーニングモデルであるインスタンスセグメンテーションネットワークを含み得る。本発明の好適な実施形態では、インスタンスセグメンテーションネットワークのインスタンス分割モデルは、動作２０２４に示されるＭａｓｋＲＣＮＮ（Region Based Convolutional Neural Network）を含み得る。このＡＩベースのネットワークは、動作２０２５において、ＨＳＩデータから導出されるＲＧＢ画像に対して、（背景を含まない）ブドウ房のみのマスクを出力する。このマスクは、動作２０２６に示すように、ブドウ房から背景をフィルタリング除去するために、ＨＳＩデータに対応するＨＳＩ画像に適用され得る。例えば、マスクをＨＳＩデータに対応するＨＳＩ画像に適用して、検出されたブドウ房に対応しないデータを除去することができる。具体例として、マスクを適用して、葉、茎などの非ブドウ果実領域をフィルタリング除去するブドウ果実マスクを生成することができる。
【0065】
ブドウに高い反射性の表面を与える回転楕円体形状および一般に光沢のある質感のため、ブドウ房のＨＳＩ画像は、画像中に白斑として現れる高反射率領域を含むことがある。これらの高反射率領域は、比較的高いスペクトル値を有し、ＨＳＩ画像において白斑として現れ得る。従って、動作２０２７において、ＨＳＩデータに対応するＨＳＩ画像に対して高反射率スペクトル除去（白斑除去）が実行される。ＨＳＩ画像から白斑を検出して除去するために、動作２０２７において適応的閾値処理として知られるロバストなアルゴリズムが適用される。適応的閾値処理アルゴリズムは、より小さい複数の領域について、その周囲の領域を考慮して閾値を計算する。次に、適応的閾値処理アルゴリズムは、計算した閾値を適用して高い反射率の値を検出して除去する。これにより、ＨＳＩデータに対応するＨＳＩ画像から、ブドウ検出の範囲外のスペクトルを除去することができる。
【0066】
動作２０３０に示すように、上記のプロセスは、処理されたＨＳＩデータを提供する。処理されたＨＳＩデータは、動作２０４０において、ブドウの品質属性を予測するためのＡＩモデルに適用することができる。ブドウの品質属性を予測するために、部分最小二乗（ＰＬＳ）回帰モデルを実装することができる。ＰＬＳ回帰モデルは、予測変数（predictor）を非相関成分のより小さな集合にまで削減し、元のデータの代わりに、これらの成分に対して最小二乗回帰を実行する回帰技法である。ＰＬＳ回帰モデルは，予測変数と目的変数の同時分解を実行でき，両者の間の共分散が最大になるようにする。ＡＩモデルは、動作２０５０に示すように、１つ以上の出力を提供する。ＰＬＳ回帰モデルは、全可溶性固形分（Total Soluble Solids：ＴＳＳ）２０５１、滴定酸性（Titratable Acidity：ＴＡ）２０５２、およびｐＨ属性２０５３を含む、ブドウの１つ以上の属性を予測することができる。動作２０５０で提供される出力は、ブドウの品質および／または熟度に関する予測を提供することができる。図４Ａ～４Ｃの動作１１３０では、これらの予測（予測データ）をカラーピクチャとともに送信することができる。
【0067】
図８は、本発明の好適な実施形態による、ＡＩモデルを訓練するための較正曲線を構築するプロセス３０００を示すフローチャートである。以下に説明するように、プロセス３０００は、ＨＳＩデータと経験的測定値だけを使用して、ＡＩモデル（例えばＰＬＳ回帰モデル）を訓練することができる。
【0068】
図８に示すように、動作３０１０においてブドウ房が選択される。動作３０２０において、ブドウ房の値が測定される。例えば、ブドウ房の値を測定するために、屈折計やその他の分析ツールを使用することができる。具体例として、屈折計は、液体試料の溶存糖度を測定できるデジタルＢｒｉｘ屈折計であり得る。他の分析ツールは、亜硫酸塩（ＳＯ２）、ｐＨ、およびＴＡレベルのうち１つ以上を測定できる単一のデジタル計器またはメーターを含み得る。屈折計および他の分析ツールはそれぞれ、測定される試料を受けるレセプタクルおよび／または測定される試料に挿入可能な電極を含み得る。使用される特定の屈折計その他の分析ツールに応じて、測定前に試料が滴定され得る。ＴＡレベルは、ｇ／Ｌ酒石酸の単位で測定され得る。
【0069】
動作３０２０で測定された値にしたがって、動作３０２５に示すように、ブドウ房の全体的なＢｒｉｘ（゜Ｂｘ）、ｐＨ、およびＴＡを決定することができる。
【0070】
さらに、動作３０３０では、ブドウ房のＨＳＩ画像がＨＳＩカメラで撮像される。動作３０３５では、ブドウ房のスペクトルがＨＳＩ画像から決定される。好ましくは、例えば、図５の動作２０２０で実行される前処理とは対照的に、ブドウ房のスペクトルは、ＨＳＩ画像の前処理なしで決定される。しかし、動作３０３５でブドウ房のスペクトルを決定するプロセスは、平滑化やデータの２次導関数を決定するなどの他の処理を含んでもよい。
【0071】
動作３０４０では、動作３０２５で決定された゜Ｂｘ、ｐＨ、およびＴＡが、動作３０４０で決定されたスペクトルと組み合わされて、データセットが提供される。動作３０４０によって提供されたデータセットにしたがって、動作３０５０で較正曲線を決定することができる。次に、動作３０６０に示すように、較正曲線をＡＩモデル（例えば、ＰＬＳ回帰モデル）に統合することにより、ＡＩモデルを訓練することができる。
【0072】
ＰＬＳ回帰モデルは、異なる変数および条件に基づいて変化するように適応させることができる。例えば、ＰＬＳ回帰モデルは、ブドウが栽培される地域および気候、ブドウが撮像される時間帯および温度、ブドウの特定のタイプ（例えば、ブドウの色、サイズ、および／または品種）などに応じて変化させることができる。さらに、視覚ベースの深層学習アルゴリズムを適用して、ＡＩモデルを訓練および改良することができる。例えば、ＭａｓｋＲＣＮＮを使用してＨＳＩデータを前処理してから、ＨＳＩデータを使用してＰＬＳ回帰モデルを訓練することができる。テストされたデータのＡＩ処理を用いて、ＨＳＩ画像から予測データを決定する際のＡＩモデルの有効性を判断してもよい。例えば、上述したように、学習済みＰＬＳ回帰モデルをテストするためにＨＳＩデータを使用する前に、ＭａｓｋＲＣＮＮを使用してＨＳＩデータを前処理することができる。
【0073】
上述したプロセス１０００および２０００は、撮像されたブドウ房に関する最も重要なデータを提供する波長を識別するデータを提供することができる。
【0074】
本発明の好適な実施形態による直交アームは、例えばカメラなどのデバイスを３つの軸に沿って移動させることができる。３つの軸は、ｘ軸、ｙ軸、およびｚ軸に対応し得る。しかしながら、本発明は３軸に限定されるものではなく、任意の数の軸に沿ってデバイスを移動させるように直交アームを実装することができる。さらに、直交アームは、例えば光源やカメラなど、複数のデバイスをまとめて移動させるように実装することができる。具体例として、直交アームは、ＨＳＩ（ハイパースペクトル撮像）カメラ、ＲＧＢカメラ、深度カメラ、ハロゲンライト、および／またはＬＥＤライトを動かすことができる。深度カメラは、ＬｉＤＡＲ（光検出および測距）カメラまたはステレオカメラによって実装することができる。一例として、ＲＧＢカメラと深度カメラはともにINTEL(R) REALSENSETM LiDAR Camera L515によって実装することができる。一例として、ＨＳＩカメラはRESONON社製のPika Lを使用することができる。好適な実施形態において、ＨＳＩカメラは、SCHNEIDER-KREUZNACH XENOPLAN 1.4/17-0903によって実装されたレンズを含み得る。さらなる例として、ハロゲンライトは、THORLABS OSL2IRまたはTHORLABS FRI61F50によって実装することができる。さらに、Ｂｒｉｘ（゜Ｂｘ）を測定する屈折計は、MILWAUKEE MA871 DIGITAL BRIX REFRACTOMETERであり得る。他の分析ツールとしては、VINMETRICA SC-300 SO2 & pH/TA WINE ANALYZERが含まれ得る。
【0075】
本明細書で説明するプロセスおよび動作は、天候条件などによって変化し得る太陽からの様々なスペクトルの光が、ハロゲンライトが発する所定のスペクトルの光に影響を与えないように、好ましくは夜間に実行される。
【0076】
本明細書で説明するプロセスおよび動作は、ウェイポイント間を自動的に移動することができる自律車両に関して説明されている。しかしながら、ユーザによって手動操作される車両および／またはカメラもまた、本発明の好適な実施形態の範囲内で実施することができる。
【0077】
本明細書に記載のプロセスおよび動作は、ブドウの品質パラメータの予測に関して説明されている。しかしながら、本明細書で説明するプロセスおよび動作は、他の農産物を含む任意の所定の対象物に適用することができる。
【0078】
前述の説明は、本発明の例示に過ぎないことを理解されたい。本発明から逸脱することなく、当業者によって様々な代替案および変形が考案され得る。従って、本発明は、添付の特許請求の範囲の内に入る全てのそのような代替案、修正、および変形を含むことが意図される。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【外国語明細書】