特表 2023-553443 植物検出及び表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-21

(54)【発明の名称】植物検出及び表示システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231214BHJP

   A01G 7/00 20060101ALI20231214BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 600

A01G7/00 603

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023535537

(86)(22)【出願日】2021-12-06

(85)【翻訳文提出日】2023-08-07

(86)【国際出願番号】 US2021062033

(87)【国際公開番号】W WO2022125453

(87)【国際公開日】2022-06-16

(31)【優先権主張番号】63/123,786

(32)【優先日】2020-12-10

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520449345

【氏名又は名称】キヤノンバージニア， インコーポレイテッド

【氏名又は名称原語表記】Ｃａｎｏｎ Ｖｉｒｇｉｎｉａ， Ｉｎｃ．

【住所又は居所原語表記】１２０００ Ｃａｎｏｎ Ｂｌｖｄ．， Ｎｅｗｐｏｒｔ Ｎｅｗｓ， Ｖｉｒｇｉｎｉａ， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】オレル， ハンター

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096CA02

5L096DA02

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

植物検出及び表示システムは、画像取得装置から複数の植物の画像を取得し、前記複数の植物の各々を、品質スコアがあらかじめ定められた品質閾値を下回る欠陥のある植物を示す第１のカテゴリーまたは正常な植物を示す第２のカテゴリーに分類するために、学習済みモデルを用いて、前記取得した画像に対して検出処理を実行し、前記取得した画像から、前記第１のカテゴリーに分類された前記複数の植物のそれぞれについて位置情報を決定し、前記位置情報を用いて、前記複数の植物のそれぞれの周囲にある識別子を含む前記第１のカテゴリーに分類された前記複数の植物のマップを生成し、前記第１のカテゴリーに欠陥のある植物として分類された各植物の場所を視覚的に表示する表示装置上に出力するために端末装置へ前記生成されたマップを提供する。
【選択図】図１

【特許請求の範囲】

【請求項1】

命令を格納する少なくとも１つのメモリと、少なくとも１つのプロセッサと、を備えるサーバであって、
前記プロセッサは、格納された前記命令を実行すると、
画像取得装置から複数の植物の画像を取得し、
前記複数の植物のそれぞれを、品質スコアがあらかじめ定められた品質閾値を下回る欠陥のある植物を示す第１のカテゴリー、または正常な植物を示す第２のカテゴリーに分類するための学習済みモデルを使用して、前記取得した画像に対して検出処理を実行し、前記学習済みモデルは、前記欠陥のある植物を示す前記複数の植物に関連付けられた１つまたは複数の視覚特性を使用して訓練された機械学習モデルであり、
前記取得した画像から、前記第１のカテゴリーに分類された前記複数の植物のそれぞれのための位置情報を決定し、
前記位置情報を利用して、それぞれの前記複数の植物の周囲にある識別子を含む前記第１のカテゴリーに分類された前記複数の植物のマップを生成し、
欠陥のある植物として前記第１のカテゴリーに分類された各植物の場所の視覚表現を提供する表示装置上に出力するための端末装置に前記生成されたマップを提供する
ように構成される、サーバ。

【請求項2】

前記命令の実行が、
前記第１のカテゴリーに分類された前記複数の植物のそれぞれに関して前記決定された位置情報を前記取得した画像と関連付けて、前記少なくとも１つのメモリに格納する
ように前記少なくとも１つのプロセッサをさらに構成する、請求項１に記載のサーバ。

【請求項3】

前記命令の実行が、
クライアント装置から、前記第１のカテゴリーに分類されたそれぞれの植物を前記第２のカテゴリーに分類するように変更するよう要求を受信し、
前記受信した変更要求に基づいて前記生成されたマップを更新し、
前記更新されたマップを使用して前記第１のカテゴリーから前記第２のカテゴリーに変更された前記それぞれの植物が前記画像内で識別されないようにする
ように前記少なくとも１つのプロセッサをさらに構成する、請求項１に記載のサーバ。

【請求項4】

前記命令の実行が、
修正済み画像データとして取得された画像に関連付けて前記更新されたマップを、前記少なくとも１つのメモリに格納し、前記更新されたマップには、前記学習済みモデルを使用して前記第１のカテゴリーに分類された植物とユーザによって修正された植物とが含まれ、
前記修正済み画像データを前記学習済みモデルの生成に使用される訓練モジュールに提供して、更新された学習済みモデルを生成する
ように前記少なくとも１つのプロセッサをさらに構成する、請求項３に記載のサーバ。

【請求項5】

前記命令の実行が、
前記端末装置が前記画像取得装置に近接していることを検出することに応答して、前記生成されたマップを前記端末装置で実行されているアプリケーションに通信し、その前記アプリケーションに前記複数の植物の前記取得されたライブビューにオーバーレイされた前記マップから１つまたは複数のインジケータを有する前記複数の植物のライブビューを含む拡張現実ビューを生成させる
ように前記少なくとも１つのプロセッサをさらに構成する、請求項１に記載のサーバ。

【請求項6】

前記命令の実行が、
前記生成されたマップを使用して摘み取り機を制御して、前記摘み取り機に前記マップ内の前記位置情報を使用して前記第１のカテゴリーに分類された前記各植物を取り除かせるようにする
ように前記少なくとも１つのプロセッサをさらに構成する、請求項１に記載のサーバ。

【請求項7】

前記命令の実行が、
画像取得装置から複数の植物の画像を一定期間にわたって継続的に取得し、
前記継続的に取得される画像の各々について、学習済みモデルを使用して検出処理を実行し、前記複数の植物の各々を品質スコアがあらかじめ定められた品質閾値を下回る欠陥のある植物を示す第１のカテゴリーまたは正常な植物を示す第２のカテゴリーに分類し、前記学習済みモデルは、欠陥のある植物を示す前記複数の植物に関連付けられた１つまたは複数の視覚的特徴を使用して訓練された機械学習モデルであり、
前記第１のカテゴリーに分類された前記複数の植物のそれぞれの数に基づいて前記複数の植物を表す品質スコアを生成し、
前記複数の植物を栽培するために使用する１つまたは複数のパラメータを制御するために前記品質スコアを使用する
ように前記少なくとも１つのプロセッサをさらに構成する、請求項１に記載のサーバ。

【請求項8】

植物を分類する方法であって、
画像取得装置から複数の植物の画像を取得することと、
少なくとも１つのプロセッサによって、学習済みモデルを用いて、前記複数の植物のそれぞれを、品質スコアがあらかじめ定められた品質閾値を下回る欠陥のある植物を示す第１のカテゴリーまたは正常な植物を示す第２のカテゴリーに分類するために、前記取得した画像に対する検出処理を実行することであって、前記学習済みモデルは、欠陥のある植物を示す前記複数の植物に関連する１つまたは複数の視覚的特徴を用いて訓練された機械学習モデルである、前記実行することと、
前記取得した画像から、前記少なくとも１つのプロセッサによって、前記第１のカテゴリーに分類される前記複数の植物のそれぞれの位置情報を決定することと、
前記少なくとも１つのプロセッサによる前記位置情報を使用して前記複数の植物のそれぞれの周囲にある識別子を含む前記第１のカテゴリーに分類される前記複数の植物のマップを生成することと、
前記第１のカテゴリーに欠陥のある植物として分類された各植物の場所を視覚的に表現する表示装置上に出力するために、前記生成されたマップを端末装置へ提供することと、
を含む、方法。

【請求項9】

少なくとも１つのメモリに、前記第１のカテゴリーに分類される前記複数の植物のそれぞれについて前記決定した位置情報を前記取得した画像に関連付けて格納すること
をさらに含む、請求項８に記載の方法。

【請求項10】

クライアント装置から、前記第１のカテゴリーに分類されたそれぞれの植物を前記第２のカテゴリーに分類するように変更する要求を受信することと、
前記受信した変更要求に基づいて前記生成されたマップを更新することと、
前記更新されたマップを使用して、前記第１のカテゴリーから前記第２のカテゴリーに変更された前記それぞれの植物が前記画像内で識別されないようにすることと、
をさらに含む、請求項８に記載の方法。

【請求項11】

少なくとも１つのメモリに、前記取得された画像に関連付けて前記更新されたマップを修正された画像データとして格納することであって、前記更新されたマップは、前記学習済みモデルを使用して前記第１のカテゴリーに分類された植物と、ユーザによって修正された植物とを含む、前記格納することと、
前記修正された画像データを、前記学習済みモデルを生成する際に使用される訓練モジュールに提供して更新された学習済みモデルを生成することと、
をさらに含む、請求項１０に記載の方法。

【請求項12】

前記端末装置が前記画像取得装置に近接していることを検出することに応答して、前記生成されたマップを前記端末装置で実行されているアプリケーションに通信し、前記アプリケーションに前記複数の植物の前記取得されたライブビューにオーバーレイされた前記マップから１つまたは複数のインジケータを有する前記複数の植物のライブビューを含む拡張現実ビューを生成させること
をさらに含む、請求項８に記載の方法。

【請求項13】

前記生成されたマップを使用して摘み取り機を制御して、前記摘み取り機に前記マップ内の前記位置情報を使用して前記第１のカテゴリーに分類された前記各植物を取り除かせること
をさらに含む、請求項８に記載の方法。

【請求項14】

複数の植物の画像を一定期間にわたって画像取得装置から継続的に取得することと、
前記継続的に取得される画像の各々について、学習済みモデルを使用して検出処理を実行し、前記複数の植物の各々を、品質スコアがあらかじめ定められた品質閾値を下回る欠陥のある植物を示す第１のカテゴリーまたは正常な植物を示す第２のカテゴリーに分類することであって、前記学習済みモデルは、欠陥のある植物を示す前記複数の植物に関連付けられた１つまたは複数の視覚的特徴を使用して訓練された機械学習モデルである、前記分類することと、
前記第１のカテゴリーに分類された前記複数の植物のそれぞれの数に基づいて前記複数の植物を表す品質スコアを生成することと、
前記複数の植物を栽培するために使用する１つまたは複数のパラメータを制御するために前記品質スコアを使用することと、
をさらに含む、請求項８に記載の方法。

【請求項15】

垂直農業システムであって
１つまたは複数の栽培構造であって、各栽培構造はそれぞれ、その中に複数の植物が成長する１つまたは複数の栽培トレイを含み、前記１つまたは複数の栽培トレイの各々は、それらの画像を取得するために、それぞれの前記栽培トレイの上に移動可能である画像取得装置を含む、前記１つまたは複数の栽培構造と、
命令を格納する少なくとも１つのメモリと、少なくとも１つのプロセッサを含むサーバと、
を含み、
前記少なくとも１つのプロセッサが、前記格納された命令を実行すると、
前記栽培構造の各々の画像取得装置から、前記１つまたは複数の栽培トレイのそれぞれにある前記複数の植物の画像を取得し、
前記１つまたは複数の栽培トレイについて、
前記取得された画像に対して、学習済みモデルを使用して検出処理を実行し、前記複数の植物のそれぞれを、品質スコアがあらかじめ定められた品質閾値を下回る欠陥のある植物を示す第１のカテゴリーまたは正常な植物を示す第２のカテゴリーに分類し、前記学習済みモデルは、欠陥のある植物を示す前記複数の植物に関連付けられた１つまたは複数の視覚的特徴を使用して訓練された機械学習モデルであり、
前記取得された画像から、前記第１のカテゴリーに分類された前記複数の植物のそれぞれについての位置情報を決定し、
前記位置情報を使用して、前記複数の植物のそれぞれの周囲にある識別子を含む前記第１のカテゴリーに分類された前記複数の植物のマップを生成し、
前記第１のカテゴリーに欠陥のある植物として分類された各植物の場所を視覚的に表示する表示装置上に出力するために端末装置へ前記生成されたマップを提供する、
ように構成された、垂直農業システム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、２０２０年１２月１０日に出願された米国仮特許出願第６３／１２３７８６号による優先権の利益を主張するものであり、その全体が参照により本出願に組み込まれている。

【0002】

［分野］
本開示は、一般的に画像処理、より具体的には、垂直農法環境における植物の検出及び識別に関する。

【背景技術】

【0003】

垂直農法とは、垂直に積み重ねられた複数のトレイの中で植物を育て、スペースを最大化し、一定の面積で栽培できる植物の量を増やす方法である。一般的には、収穫量を最大にするために、慎重に管理された環境条件で栽培される。しかし、従来の農業と同様に、植物が健康で病気がないことを確認するために植物の検査が必要である。この手作業による目視検査は、各トレイの植物を人間が分析する必要があるため、時間及び労力がかかる。より具体的には、人間のオペレーターが栽培トレイを物理的に分析して、病気や「不良」の植物（または植物の葉）を特定し、トレイ内の植物の変化する健康状態を監視する必要がある。このワークフローは、より多くの植物を育てるにつれて、植物の健康状態及び状況を検査して追跡するために、より多くのオペレーターを雇うことも必要となるため、スケールするのが困難である。

【0004】

垂直農法環境では、トレイを保持する構造物が人間による直接の検査を困難にする高さで上方に伸びる傾向があるため、人間による検査は独特の困難を伴う。垂直農業の植物の健康を監視し維持する上でのこれらの欠点を解決する試みの１つに、画像取得装置の取り付け及び配置がある。この解決策では、動画を取得してさまざまなトレイ内の植物のライブフィードを表示することができ、検査がリモートで行われるようになり、すべてのトレイでより簡単に実行できるようになったため、手作業による検査よりも若干改善されている。しかし、この解決策では、植物の健康状態を監視して判断するために、人間による広範囲の検査が依然として必要である。さらに、植物の健康状態の監視は、リモートで行われる場合、人間のユーザが欠陥の可能性がある葉がどこに、且つ、正確にどの葉が表示されたかを見つけに行く必要がある。これは、垂直に配置された栽培トレイの配列の中で特定の栽培トレイがどこにあるのか、及び、特定の栽培トレイのどこに正確に示された葉があるのかを見つけるのが困難な場合があるため、問題となる。

【0005】

これらの欠点を解決するためのさらなる試みが、オブジェクト検出を実行し、機械学習を使用して病気である植物を特定する画像処理技術を利用している。これらの解決策は検査プロセスを自動化するが、機械学習を使用して実行されるオブジェクト検出では依然として誤った判断（例えば、偽陰性と偽陽性の結果）の結果になるから、オブジェクト検出が正しいかどうかを判断するために、その結果を人間が依然として検証する必要がある。より具体的には、機械学習には限界があり、その結果、偽陽性や偽陰性がないか機械学習の結果をレビューし、監視する人間のオペレーターまたはレビュアーを必要とする間違いが発生する。

【発明の概要】

【0006】

上記の欠点は、開示された植物検出及び表示システムによって改善される。植物検出及び表示システムには、命令を格納する少なくとも１つのメモリを備えるサーバと、少なくとも１つのプロセッサとが含まれ、前記少なくとも１つのプロセッサが、格納された命令を実行すると、画像取得装置から複数の植物の画像を取得し、複数の植物のそれぞれを、品質スコアがあらかじめ定められた品質閾値を下回る欠陥のある植物を示す第１のカテゴリー、または正常な植物を示す第２のカテゴリーに分類するための学習済みモデルを使用して、取得した画像に対して検出処理を実行するように構成され、ここで、学習済みモデルは、欠陥のある植物を示す複数の植物に関連付けられた１つまたは複数の視覚特性を使用して訓練された機械学習モデルであり、前記取得した画像から、第１のカテゴリーに分類された複数の植物のそれぞれについて位置情報を決定し、この位置情報を利用して、それぞれの複数の植物の周囲にある識別子を含む第１のカテゴリーに分類された複数の植物のマップを生成し、かつ、欠陥のある植物として第１のカテゴリーに分類された各植物の場所の視覚表現を提供する表示装置上に出力するために生成されたマップを端末装置へ提供するように構成されている。

【0007】

別の実施形態によれば、植物検出及び表示システムは、１つまたは複数の栽培構造を含む垂直農業で具体化され、各栽培構造は、その中に複数の植物が成長する１つまたは複数のトレイを含み、１つまたは複数の栽培トレイのそれぞれは、各栽培トレイの上を移動してその画像を取得する画像取得装置、及びサーバを含む。サーバには、命令を格納する少なくとも１つのメモリと、少なくとも１つのプロセッサとが含まれ、前記少なくとも１つのプロセッサが格納された命令を実行すると、栽培構造の各画像取得装置から１つまたは複数の栽培トレイのそれぞれの中にある複数の植物の画像を取得し、それぞれの１つまたは複数の栽培トレイについて、複数の植物のそれぞれを、品質スコアがあらかじめ定められた品質閾値を下回る欠陥のある植物を示す第１のカテゴリーに、または正常な植物を示す第２のカテゴリーに分類するために、学習済みモデルを使用して、取得して画像に対して検出処理を実行するように構成され、ここで、学習済みモデルは、欠陥のある植物を示す複数の植物に関連付けられた１つまたは複数の視覚特性を使用して訓練された機械学習モデルであり、取得した画像から、第１のカテゴリーに分類された複数の植物のそれぞれに関して位置情報を決定し、この位置情報を利用して、それぞれの複数の植物の周囲にある識別子を含む第１のカテゴリーに分類された複数の植物のマップを生成し、及び、第１のカテゴリーに欠陥のある植物として分類された各植物の場所を視覚表現を提供する表示装置上に出力するために端末装置へ生成されたマップを提供するように構成されている。

【0008】

本開示のこれら及びその他の対象、特徴、及び利点は、本開示の例示的な実施形態に関する以下の詳細な説明を、添付図面及び提供された請求項と併せて読むことによって明らかになる。

【図面の簡単な説明】

【0009】

【図1】植物検出及び表示システムを示す。

【0010】

【図2A】栽培場所での栽培構造の側面を示す。

【図2B】栽培場所での栽培構造の側面を示す。

【図2C】栽培場所での栽培構造の側面を示す。

【0011】

【図3】サーバのハードウェアコンポーネントを詳述したブロック図である。

【0012】

【図4】サーバによって実行されるコンピュータ実行可能命令を表すモジュールを詳述したブロック図である。

【0013】

【図5】機械学習モデルの構造を表すブロック図である。

【0014】

【図6】検出及び表示システムによって出力されるグラフィカルユーザインタフェースである。

【0015】

【図7】検出結果に基づいてフィードバックを提供するために使用される検出及び表示システムによって出力されるグラフィカルユーザインタフェースである。

【0016】

【図8】検出結果に基づいてフィードバックを提供するために使用される検出及び表示システムによって出力されるグラフィカルユーザインタフェースである。

【0017】

【図9】モバイルコンピューティングデバイス上のグラフィカルユーザインタフェースの制御表示のためのアルゴリズムを詳述した流れ図である。

【0018】

【図10A】栽培場所で画像を取得し検出するためのプロセスを示す。

【図10B】栽培場所で画像を取得し検出するためのプロセスを示す。

【0019】

【図11A】栽培場所で画像を取得し検出するためのプロセス、及びその表示を示す。

【図11B】栽培場所で画像を取得し検出するためのプロセス、及びその表示を示す。

【0020】

【図12A】栽培場所で画像を取得し検出するためのプロセス、及びその表示を示す。

【図12B】栽培場所で画像を取得し検出するためのプロセス、及びその表示を示す。

【0021】

【図13】モバイルコンピューティングデバイス上に表示するために検出結果を持つ取得した画像を換算するための実施形態を示す。

【図14】モバイルコンピューティングデバイス上に表示するために検出結果を持つ取得した画像を換算するための実施形態を示す。

【図15】モバイルコンピューティングデバイス上に表示するために検出結果を持つ取得した画像を換算するための実施形態を示す。

【図16】モバイルコンピューティングデバイス上に表示するために検出結果を持つ取得した画像を換算するための実施形態を示す。

【0022】

【図17】検出システムの結果に基づいて制御可能なロボット装置を示す。

【0023】

【図18】検出システムの結果を使用する分析アルゴリズムを示す流れ図である。

【0024】

【図19】図１８の分析アルゴリズムの出力例を表すグラフである。

【0025】

図面全体を通して、別段の記載がない限り、同一の参照番号及び符号は、図示する実施形態の同様の特徴、要素、構成要素、または部分を示すために用いられる。さらに、本開示は、図面を参照して詳細に説明されるが、これは説明のための例示的な実施形態に関連して行われる。添付の特許請求の範囲によって定義される本開示の真の範囲及び趣旨を逸脱することなく、説明される例示的な実施形態に対して変更及び修正を加えることができることを意図する。

【発明を実施するための形態】

【0026】

本開示の例示的な実施形態について、添付図面を参照して以下に詳細に説明する。なお、以下の例示的な実施形態は、本開示を実施するための一例に過ぎず、本開示が適用される装置の個々の構成や様々な条件に応じて適切に改造または変更することができる。したがって、本開示は、以下の例示的な実施形態に限定されるものではなく、以下に説明する図及び実施形態によれば、以下に例として説明する状況以外の状況において、以下に説明する実施形態を適用／実施することができる。

【0027】

ここで説明するのは、栽培プロセス中における欠陥のある植物を分析し検出するシステムである。１つの実施形態では、ここで説明するシステムは、複数の垂直に積み重ねられた栽培トレイにおいて一連の植物が栽培されている垂直農業環境が展開されている。植物は生きていて、常に変化しているオブジェクトであり、収穫して売るためには、一定の品質チェックを満たさなければならない。現在、この品質チェックは、カビや病気等の問題が発生している場所を特定するために、葉を一枚一枚見なければならない人間の作業員によって行われている。これは、栽培施設が、規模を拡大する際に、植物の健康状態を分析し監視するために、追加の費用を費やさなければならないことを意味する。本開示によるシステムは、複数の葉を持つ複数の植物のトレイ内から、これらの葉のうちどれが欠陥であるかを識別する能力を向上させた機械学習モデルを使用することにより、損傷した葉や欠陥のある葉の両方を識別する能力を向上させる。このようにすることで、システムは、栽培施設に存在する環境要因を考慮しながら、一定期間にわたる植物の健康追跡を有利に行うことができる。この一定期間にわたって栽培トレイの画像を継続的に取得し、訓練された機械学習モデルによって分析することで、特定の栽培トレイ内の病気や欠陥のある葉を迅速且つ正確に特定することができ、その中に成長中の健康な植物のロットからより迅速にその葉を切り出すことができるようになる。このシステムは、病気の葉や欠陥のある葉を迅速且つ正確に識別することに加えて、特定のトレイ内で、取り除く必要がある葉の正確な位置を利点的に識別する。システムは、端末装置（例えば、携帯電話、タブレット等）上に特定のトレイの拡張現実ビューを生成し、その中に葉のどれを取り除くべきかを示す識別子を表示する。学習済みモデルの感度のため、欠陥のある葉は欠陥があるように見えない場合があり、特定のトレイ内のすべての葉を分析してどの葉を取り除く必要があるかを特定するためにかなりの時間が必要になる場合がある。端末装置上に提供される拡張現実表示は、取り除くことができるように、トレイ内の欠陥のある葉の位置を即座に表示する。別の実施形態では、欠陥のある葉の位置を示す注釈付き画像を、個体が栽培ラックに行って識別された欠陥のある葉を手動で取り除く必要なく、欠陥のある葉を取り除くために使用できるロボット装置へのマップとして提供することができる。このように、本開示は、栽培トレイの取得した画像を分析し、個体または他のシステムが欠陥のある葉の正確な場所を通知される方法を改善する、改良されたより高感度の訓練された機械学習モデルを提供することによって、垂直農法の技術分野を改善し、人間または機械的な手段によって栽培環境から葉が取り除かれることができるようにする。

【0028】

図１は、例示的な植物検出及び表示システム１０を示す。システム１０は、植物または他の植生が栽培される複数の栽培トレイ１２を含む少なくとも１つの栽培場所１１を含む。１つの実施形態では、下の図２Ａ～図２Ｃに示すように、栽培領域を最大化するために、栽培トレイは１つまたは複数の栽培トレイの支持ラックに垂直に積み重ねられる。それぞれの栽培トレイは、個別にも集合的にも、画像取得装置１４によって監視される。１つの実施形態では、個々の栽培トレイ毎には、栽培トレイ内の植物の一連の画像を取得するそれぞれの画像取得装置が含まれ、これらの画像は、栽培されている植物の中の欠陥を検出するために訓練された機械学習モデルに入力し、且つ機械学習モデルによって分析することができる。また、栽培場所１１には、栽培場所全体に配置された１つまたは複数のセンサー１６も含まれ、栽培場所１１の所定の時間における１つまたは複数の栽培特性を感知し、監視する。１つの実施形態では、１つまたは複数のセンサー１６は、栽培場所１１全体の温度を測定する温度センサー（ａ）と、栽培場所１１の水分量を測定する水分センサー（ｂ）と、栽培場所での土壌の１つまたは複数の特性を測定する土壌センサー（ｃ）と、栽培場所でのｐＨを測定するｐＨセンサー（ｄ）のいずれか１つまたは複数とを含む。他の実施形態では、この１つまたは複数のセンサーには、さらに、レーザーまたは超音波センサーまたは赤外線センサーを介して実現できる植物の高さを測定する植物の高さセンサーと、空気の湿度を測定する湿度センサーと、フートキャンドル及び／またはルクスを測定する光センサーと、水のための温度センサーと、水のための電気伝導率センサーと、さまざまな場所のパイプを通る水の流れを測定する水流センサーと、さまざまな場所での空気の流れを測定する気流センサーと、栽培場所でのスペクトル信号を測定する分光計とが含まれてもよい。上記の１つまたは複数のセンサー１６は、栽培場所１１の全体を監視するために配置されてもよく、及び／または、植物の成長に影響を与える特性をより正確に監視するために、栽培場所１１で植物の特定のトレイに関連付けられてもよい。

【0029】

１つまたは複数のサーバ２０が提供され、栽培環境を制御するために、その上に格納された１つまたは複数のプログラムを実行する１つまたは複数のプロセッサを含む。これには、例えば、植物が栽培トレイの中に成長できるように提供される光、熱及び水を含むが、これらに限定されない、栽培場所で任意の特性を制御するコンピュータ実行可能命令を備えるプログラムが含まれてもよい。さらに、サーバは、任意のセンサー１６及び画像取得装置１４によって取得された画像からの入力を受け取ることができ、これらの入力を使用して、特定の栽培トレイの葉の品質に関する決定を行い、感知された環境特性と、特定の栽培トレイ１２内の欠陥のある葉との間の相関関係を導き出すことができる。取得した画像の検出及び分析に関する詳細は、以下でさらに詳しく説明する。図はサーバ２０の図であることを理解しておく必要がある。

【0030】

１つまたは複数のサーバ２０から受信したデータを表すことができる様々なタイプのグラフィカルユーザインタフェースを生成するために、ネットワーク５０を介して１つまたは複数のサーバ２０によって通信されるデータを端末装置が受信することができるように、ネットワーク５０は、栽培場所１１にある１つまたは複数のサーバ２０と１つまたは複数の端末装置との接続を容易にする。ネットワーク５０は、任意の適切なネットワークであってもよい。例えば、ネットワーク５０の１つ以上の部分には、アドホックネットワーク、イントラネット、エクストラネット、仮想プライベートネットワーク（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線ＷＡＮ（ＷＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネットの一部、公衆交換電話網（ＰＳＴＮ）の一部、携帯電話ネットワーク、またはこれらの２つ以上の組み合わせが含まれてもよい。ネットワーク５０には、相互接続された１つまたは複数のネットワークが含まれてもよい。運用上、ネットワーク５０は、１つまたは複数のコンピューティングデバイス間の双方向通信を可能にする任意のネットワークであってもよい。

【0031】

ここに示すように、ネットワーク５０は、第１の端末装置６０と第２の端末装置７０とを１つまたは複数のサーバ２０に接続する。１つの実施形態では、第１の端末装置６０と第２の端末装置７０とは異なるタイプのコンピューティングデバイスである。例えば、第１の端末装置６０はラップトップ等のコンピューティングデバイスであるのに対し、第２の端末装置７０はスマートフォン等のモバイルコンピューティングデバイスである。これらの実例では、後述するように、第１の端末装置６０は、サーバ２０上で実行される訓練モジュールによってモデル訓練フェーズ中に使用されることがあり、それによって、１つまたは複数の画像取得装置１４によって取得された画像が表示され、取得された画像内のどの葉が損傷していると識別されるかを示すラベルが付けられた画像の学習セットを生成するための注釈が付けられる。

【0032】

モデルの訓練が完了すると、１つまたは複数の画像取得装置１４によって取得された栽培トレイの将来の画像が学習済みモデルに入力され、分析及び分類される。学習済みモデルは、植物の個々の葉を「欠陥がある」または「欠陥がない」と分類し、「欠陥がある」と分類された各葉の位置を示すために分析されている栽培トレイ１２のマップを生成する。１つの実施形態では、第２の端末装置７０を栽培トレイ１２の近くに選択的に配置してもよく、第２の端末装置によって取得された栽培トレイ１２の画像をその上に表示させ、欠陥のある葉を示すために取得された画像の上にオーバーレイされた１つ以上の識別子で補強してもよい。このオーバーレイは、欠陥のある葉を取り除くことができるように、分類操作中に生成されたマップに基づいて生成される。

【0033】

図２Ａ～図２Ｃは、栽培場所１１での例示的な構造を示す。図２Ａでは、複数の栽培トレイ１２ａ～１２ｃのための支持構造２００が設けられている。望ましくは、各栽培場所には、垂直に積み重ねられた栽培トレイ１２から得られるより大きな栽培面積を提供することによって収穫量を最大化するために、それぞれ複数の栽培トレイ１２を支持する複数の支持構造２００が含まれる。支持構造２００には、少なくとも１つの栽培領域２１０が含まれる。図２Ａに示すように、支持構造２００には、参照番号２１０ａ～参照番号２１０ｃで示される３つの栽培領域が含まれる。なお、支持構造２００には、個々の栽培トレイ１２を支持する３つ以上の栽培領域２１０が含まれてもよく、好ましくはそうしている、ことに注意する必要がある。ここに提供する図は、例示のみを目的とし、説明されている操作を理解しやすくするためである。各栽培領域２１０ａ～参照番号２１０ｃには、下部支持部２１２ａ～下部支持部２１２ｃ、分離部２１４ａ～分離部２１４ｃ、上部支持部２１６ａ～上部支持部２１６ｃが含まれる。ここに示すように、図２Ａには上部支持部２１６ａのみが見える。ただし、栽培領域２１０ｂ及び２１０ｃには部支持部２１６ｂ及び２１６ｃはそれぞれ含まれていることを理解しておく必要がある。特定の実施形態では、下部支持部２１２は、地表に向かう方向に位置する栽培領域のための上部支持部２１６としても機能する場合がある。下部支持部２１２ａ～下部支持部２１２ｃは、栽培トレイ１２ａ～栽培トレイ１２ｃをそれぞれ支持するように構成されている。分離部２１４ａ～分離部２１４ｃは、下部支持部２１２ａ～下部支持部２１２ｃ及び上部支持部２１６ａ～上部支持部２１６ｃを分離するように構成されており、栽培トレイ１２ａ～栽培トレイ１２ｃで栽培されている植物の要件に従って、給水装置、ライト等のような栽培装置を構成することができるように、栽培トレイ間のスペースを可能にするために構成されており、これは同じ種類の植物品種である場合とそうでない場合がある。上部支持部２１６ａ～上部支持部２１６ｃには、クロス支持２１８が含まれる。図２Ａに示すように、クロス支持２１８ａのみが見えるが、栽培領域２１０ｂ及び２１０ｃそれぞれにもそれぞれのクロス支持２１８ｂ及び２１８ｃが含まれていることを理解しておく必要がある。クロス支持２１８には、図２Ｂに示す少なくとも１つの画像取得装置２２２を支持するキャリッジ２２０が含まれる。

【0034】

図２Ｂを参照すると、栽培領域２１０ａの断面が示されている。特定の場所での各栽培領域は、以下に説明するように、特定の栽培領域内の植物に関する委任のデータが図１のサーバ２０に通信されるときに、その値がサーバ２０に通信される一意の栽培領域識別子を持っている。ここで見られるように、下部支持部２１２ａの一部が描かれており、これは、中に、複数の植物が成長している栽培トレイ１２ａを支持する。各栽培トレイ１２には、特定の栽培領域２１０内の特定の栽培トレイ１２を一意に識別するトレイ識別子が含まれる。トレイ識別子は、後述するように、特定の栽培トレイ１２内の植物に関するデータがサーバ２０に通信されるときに取得され、サーバ２０にも通信される。

【0035】

上部支持部２１６ａの一部は、下部支持部２１２ａ及び栽培トレイ１２ａの上に配置され、分離部２１４ａ（図２Ａに示すがここでは省略）によって支持されている。上部支持部２１６は、図２Ｃにさまざまな種類のハッチングを持つ円で示されているように、栽培トレイ１２内のあらかじめ定められた位置にある複数のトレイマーカ２２４ａ～トレイマーカ２２４ｄを視覚化する。さまざまなトレイマーカ２２４ａ～トレイマーカ２２４ｄは、互いに既知の距離に配置され、栽培トレイ１２ａの端から既知の距離に配置される。１つの実施形態では、トレイマーカ２２４ａ～トレイマーカ２２４ｄのそれぞれのセットは、栽培トレイ１２ａを横切る同じ線に沿って配置される。ここに示すように、各セット２２４ａ～各セット２２４ｄには２つのトレイマーカが含まれているが、これは例としてのみの目的であり、トレイマーカ２２４ａ～トレイマーカ２２４ｄのそれぞれのセットには任意の数のトレイマーカを含むことができる。さらに、トレイマーカのセットを４つのみが示されているが、栽培領域及び／または栽培トレイのサイズに応じて、任意の数のトレイマーカ２２４ａ～トレイマーカ２２４ｄのセットを配置できることを理解しておく必要がある。特定の実施形態では、トレイマーカのそれぞれのセットを持つ個々の各トレイマーカは、栽培トレイ１２ａの特定の領域を正確に識別する二次インジケータを含む。他の実施形態では、トレイマーカはセットで提供されず、各トレイマーカは取得されたときに一意に識別可能であり、栽培トレイ内の特定の領域を示す。

【0036】

キャリッジ２２０は、図２Ａに示すように、クロス支持２１８上に配置され、その上の１つまたは複数の画像取得装置２２２を支持する。キャリッジ２２０によって支持される１つまたは複数の画像取得装置２２２は、画像取得装置１４と同じであり、システムの一部として一般的に説明され、図１に示されている。クロス支持２１８は、キャリッジ２２０によって支持される１つまたは複数の画像取得装置２２２が栽培トレイ１２ａの全表面に沿って画像を取得する位置になるように、上部支持部２１６ａの長さにわたってｘ方向に移動可能である。１つの実施形態では、栽培トレイ１２ａ内の植物の１つまたは複数の画像（例えば、静止画や動画）が取得されるように、キャリッジはあらかじめ定められた時間に移動し、あらかじめ定められた期間の間上部支持の長さに沿って様々な位置に留まるように制御される。また、画像データには、視野内に存在するいずれのトレイマーカ２２４も取得される。画像が分析されるときに、トレイインジケータは、個々の植物の葉の距離は、１つまたは複数の特定のトレイマーカ及び栽培トレイ１２ａの外縁からの距離に基づいて決定できるため、栽培トレイ１２内の画像の正確な位置を有利に提供する。１つまたは複数の画像取得装置２２２によって取得された画像から得られたデータは、図１のサーバ２０に送信される。

【0037】

図３は、図１に示すサーバ２０のハードウェアコンポーネントを示す。サーバ２０は、栽培場所１１に配置されているように、図１に示す。ただし、サーバ２０が物理的に栽培場所１１に設置されなくてもよいことを理解しておく必要がある。むしろ、サーバ２０は、図１の通信ネットワーク５０を介して、栽培場所にある画像取得装置及びセンサーに接続されていてもよく、サーバ２０は、例えば、本開示に記載されている操作を実行するように構成されたクラウドサーバまたはその他のリモートでアクセス可能なサーバであってもよい。

【0038】

サーバ２０は、ＲＡＭ３０４またはＲＯＭ３０６に格納されたデータと合わせて、格納された命令のセット及び／または１つまたは複数のコンピュータプログラムを使用することによって、サーバ２０の操作全体を制御するように構成された１つまたは複数のＣＰＵ３０２を含む。１つまたは複数のＣＰＵは、ＣＰＵ３０２とは違って、１つまたは複数の専用ハードウェアやグラフィックスプロセッシングユニット（ＧＰＵ）を含んでもよく、ＧＰＵや専用ハードウェアがＣＰＵ３０２によりの工程の一部を行ってもよい。専用ハードウェアの例としては、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）等がある。ＲＡＭ３０４は、ＲＯＭ３０６から読み込んだコンピュータプログラムやデータ、通信インタフェース３１０を介して外部から供給されたデータ及び／またはストレージ３１２から読み込んだデータ等を一時的に格納する。ＲＯＭ３０６は、修正する必要がないプログラムやデータを格納する。ＲＯＭには、サーバ２０の操作を制御する１つまたは複数の制御プログラムが含まれる。

【0039】

入出力ユニット３０８は、ジョイスティック、ジョグダイヤル、タッチパネル、キーボード、マウス等を含むがこれらに限定されない１つまたは複数の入力コンポーネントを含み、ユーザの操作を受け、ＣＰＵ３０２に各種命令を入力する。入出力ユニット３０８は、その上にグラフィカルユーザインタフェースを表示することができるように、外部表示装置への接続を可能にするための表示及び／または出力ポートを含む出力コンポーネントを含む。さらに、出力コンポーネントには、スピーカー等のオーディオ出力装置が含まれてもよい。通信インタフェース３１０は、ＰＣ、スマートフォン、カメラ、センサー等の外部装置と通信する。外部装置との通信は、ローカルエリアネットワーク（ＬＡＮ）ケーブル、シリアルデジタルインターフェイス（ＳＤＩ）ケーブル、無線接続等を使用した有線で行われてもよく、アンテナを介して無線で行われてもよい。通信インタフェース３１０は、ＷＩＦＩ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ等の標準的な通信プロトコルを使用して通信するように構成される。

【0040】

サーバ２０には、ハードディスクドライブ、ソリッドステートストレージ装置等のいずれかであってもよいストレージ３１２も含まれる。サーバ２０の内部にある場合もあれば、或いは、取り外し可能なストレージ装置である場合もある。ストレージ３１２は、特定の種類の操作を実行するために、１つまたは複数のＣＰＵ３０２によって実行されてもよいアプリケーションである複数の制御プログラムを含む。ストレージ３１２に格納されている制御プログラムには、メモリにロードされ、且つ、特定の操作を実行するように１つまたは複数のＣＰＵを構成するコンピュータ実行可能命令が含まれる。ストレージ３１２はまた、図４に示すように、プログラムデータやその中で操作が実行されるその他のデータを可能にする。

【0041】

図４は、ストレージ３１２に格納されている各プログラム及びデータオブジェクトを示すブロック図である。説明の目的のために、ストレージ３１２には、サーバ２０の１つまたは複数のＣＰＵ３０２が様々な操作を実行するように構成するコンピュータ実行可能命令で構成されるアプリケーションプログラムを格納するアプリケーション領域４２０が含まれる。ストレージ３１２には、実行されると、アプリケーション領域４２０に格納された１つまたは複数のアプリケーションによって使用される可能性のあるオブジェクトデータを格納するデータ領域１３０も含まれる。

【0042】

アプリケーション領域４２０は、訓練モジュール４２２、検出モジュール４２４、表示制御モジュール４２６を含む。訓練モジュール４２２は、命令のセットであり、実行されると、機械学習モデルを訓練するために使用される学習データを生成するように１つまたは複数のプロセッサを構成する。これには、さまざまな栽培トレイに成長している植物の一連の画像を取得し、取得した画像の一部に、形状、色、サイズ、表面特性等の１つまたは複数の植物特性によって決定される欠陥である植物または欠陥である植物の葉を示すラベルを付けることが含まれる。訓練モジュールを使用してユーザが注釈を付けた取得した画像は、ストレージ３１２のデータ領域４３０内の画像リポジトリ４３６に格納することができる。訓練モジュール４２２は、葉の取得された画像からどの葉が欠陥であるかを識別するように、学習データを使用して訓練された機械学習モデルである訓練モデルに、ラベル付き学習データを提供する。訓練モジュール４２２は、人間によりラベル付けされたデータセットと比較した場合に、欠陥としての葉の分類が少なくとも８０％の精度スコアを持つように訓練を検証する。訓練が完了していると、学習済みモデル４３４はデータ領域４３０に格納され、検出モジュール４２４によって使用される。

【0043】

訓練モジュール４２２を介して訓練された機械学習モデルは、畳み込みニューラルネットワーク（ＣＮＮ）である。本開示によるシステムのためのＣＮＮを使用する利点は、葉（または植物）に欠陥があることを示すラベル付き画像に基づいてモデルを訓練するために使用される画像の重要な特徴を自動的に検出できることにある。さらに、ＣＮＮによって提供される計算効率は、植物の葉の画像を欠陥として、または、欠陥ではないとして分類するためのデータを処理するには特に理想的にする。これは、取得した画像内のオブジェクト（例えば、葉）間の共通性のため、特に重要である。欠陥があるとしてラベル付けされた画像のパターン及び特定の特徴を識別する能力は、一度訓練されると、モデルの機能性を向上させ、これは最終的にラベル付けされていない画像データに対して実行される検出を向上させる。

【0044】

ＣＮＮモデル５００の例示的な構造を図５に示す。図５に示すＣＮＮモデル５００は、精度を損なうことなく画像を処理する速度に重点を置いて設計された。より具体的には、ＣＮＮモデル５００は、色、表面パターン、エッジ、サイズ、葉の形状を含むがそれに限定されない複数のオブジェクト特性を識別するように設計された。大きい方の畳み込み層の特徴マップは、色、エッジ、形状、及びサイズに焦点を当て、深い方の層は葉の表面の詳細により集中的に焦点を当てる。より深い層の焦点は表面の詳細にあると示されているが、これらのより深い層は画像をすべての特徴に関しても分析している上、グローバルで以前に配置された層よりも洗練されたサイズで分析している。畳み込み層の数は、重点を主に、且つ、より重く葉のサイズに置くために、最小化されており、これがより速い訓練時間を可能にするためであろう、及びより高い精度を提供するためである。活性化層は、より計算効率が高いため、且つ、シグモイド曲線の活性化層に似ていないため、標準的な整流線形単位である。さらに、ハイパーパラメータは、和集合で割った共通部分（ＩＯＵ：インターセクション・オーバー・ユニオン）、偽陰性／偽陽性許容値、及びバッチサイジングに関連する特性に特に焦点を当てて調整された。ＩＯＵは、葉がすべて互いに非常に近接しており、多くが重複していることのため、葉の検出に特に関連している。これにより、訓練場所は重複しているグランドトゥルースを有する結果になる可能性があるが、重複している葉の１枚だけが検出されるであろう。その結果、境界位置が非常にオーバーラップしるように、ＩＯＵオーバーラップパラメータを増やすことで、ＩＯＵに関連するハイパーパラメータが調整された。

【0045】

モデル５００は、画像が入力される最初の畳み込み層５０２を含み、画像の全層（例えば、ＲＧＢ）を分析して層を横断して１ｘ８Ｋニューロンの次元を有するテンソルを出力する。そこから、画像を処理するために必要な全体的のノードの数を減らし、また連続する各層でのデータの劣化を減らしたショートカット畳み込み層である複数のボトルネック層５０４ａ～ボトルネック層５０４ｅを介してテンソルが流れる。各層では、それへのテンソル入力は、後続の層に出る前に、非圧縮され、フィルタされ、再圧縮される。

【0046】

ボトルネック層は、計算ニーズを減らし、ネットワーク内のデータのサイズを減らすために使用される。各ボトルネックには、拡張係数、層の繰り返し回数を設定する繰り返し係数、出力チャネル、及びストライドに対して手動で定義される異なる係数がある。例えば、その最初のボトルネック層での入力チャネルの数は、後続のボトルネック層での入力チャネルよりも少ない。各ボトルネックでの拡張係数は、テンソルをどのように拡張され、再圧縮されることを含む、データ計算がいつ実行されるかを決定する。分析中、各層でのストライドを定義するパラメータは、分析を実行するために、層に入力された画像を横断するフィルタのサイズ及び動きを示す。

【0047】

現在のＣＮＮモデル５００は、マクロレベルで、取得した画像に含まれている葉の形状を分析する。その他の特徴については、マクロスケールでの分析だけでなく、マイクロスケールでも分析を行い、グランドトゥルースとしてラベル付けされた画像から特徴を特定することが、後続のラベル付けされていない画像データに存在する欠陥葉をよりよく検出するために重要である。したがって、マクロ及びミクロレベルで情報を取得するためには、モデルが柔軟である必要がある。これを達成するために、分析は大きなフィルタを使用して始まるが、すぐにより小さな詳細を抽出するためのより小さいサイズのフィルタに移行して、１枚の葉が終わるところ及び他の葉が始まるところを決定して識別する。小さい方のフィルタは、色、エッジ、表面特性等の葉の他の特徴を識別することも可能にする。

【0048】

ボトルネック層５０４ａ～ボトルネック層５０４ｅを介して流れた後、テンソルは、画像内の各点を分析するために、点別の畳み込み層５０６に出力され、その結果はプーリング層５０８に流れて特徴マップの解像度を下げる。最終的な圧縮を適用し、二項分類を欠陥のある葉または欠陥のない葉として出力するために、最終的な点別の畳み込みネットワークがプーリング層５０８の下流に配置される。

【0049】

例示的な運用では、訓練モジュール４２２はサーバの１つまたは複数のＣＰＵ３０２によって実行され、栽培場所にある栽培トレイの画像を受信する。受信した画像は、画像リポジトリ４３６に転送される場合がある。訓練モジュール４２２は、取得された栽培トレイの画像を含むグラフィカルユーザインターフェイス（ＧＵＩ）を生成する。ＧＵＩには、ラベリング機能が含まれており、人間のユーザが栽培トレイの受信した画像に、欠陥があると視覚的に識別される葉の上方に位置されたグランドトゥルース識別子を手動で注釈することができる。グランドトゥルーストインジケータの位置は、画像内の特定のｘ座標及びｙ座標において定義され、グランドトゥルーストインジケータの高さ及び幅を識別する情報も含む。各グランドトゥルースボックスのそれぞれの位置及びサイズを識別するラベリング情報は、データファイル（例えば、拡張マークアップ言語（ＸＭＬ）ファイル）に出力され、元の画像と併せて、「ラベル付きデータセット」として互いに関連付けられる。

【0050】

訓練モジュールにより生成され、表示デバイスに出力された例示的なＧＵＩを図６に示す。そこに、ＧＵＩ内に栽培トレイ内の植物の画像が表示され、ユーザはマウスやタッチスクリーン等の入力デバイスを使用することにより、画像を確認し、欠陥のある個々の葉を手動で特定することができる。ＧＵＩをもってユーザ入力を受信すると、訓練モジュール４２２は、ユーザが入力した各グランドトゥルースインジケータに関連する位置情報を識別する（図６に示す複数のボックスで視覚的に表される）。訓練モジュール４２２は、さらに、ユーザが入力したグランドトゥルース識別子のサイズを表すグランドトゥルース識別子サイズ情報を出力する。位置情報及びグラウンドトゥルースサイズ情報は、あらかじめ定められた形式（例えば、ＸＭＬ）を有するデータファイルに出力される。訓練モジュール４２２は、データファイルと元の画像とを、ラベル付きデータセットとして、関連付ける。このプロセスは、十分な数の画像及び関連するデータファイルが完了するまで繰り返される。

【0051】

十分な数の画像及び関連するデータファイルを生成した後、訓練モジュール４２２は、図５で前述したような機械学習モデルを訓練する。一定期間の間の訓練後、訓練を停止し、モデル５００を凍結して、学習済みモデル４３４としてストレージ３１２に保存することができ、後で、欠陥のある葉を特定するために、ラベル付けされていない画像データを分析するために使用できる。

【0052】

検出モジュール４２４は、ストレージ３１２に格納されている完成した学習済みモデル４３４があることを必要とする。検出操作を行う必要がある場合、検出モジュール４２４は、それぞれの栽培トレイの画像を取得する１つまたは複数の画像取得装置から生の画像データを取得する。ここで使われるよう、生の画像データという用語は、少なくとも２つのカテゴリーに分類されるべきである複数のオブジェクトを含み、且つ、取得された画像内のオブジェクトが少なくとも２つのカテゴリーのいずれかに属するかどうかの指示がないようにラベル付けされていない画像を指す。取得した画像は、学習済みモデル４３４に提供され、取得した画像内の各オブジェクトが属するカテゴリーを決定する。取得した画像内の各オブジェクトが属するカテゴリーを決定するために、取得した画像が学習済みモデル４３４に提供される。運用では、取得した画像内のオブジェクトは植物の葉であり、学習済みモデルはそこに入力された各生の画像を分析して、植物の葉を欠陥があるものまたは欠陥がないものとして分類する。この分類が行われている間、検出モジュール４２４は、モデルが「欠陥である」と判断した画像内のオブジェクトを含むＧＵＩを生成する。検出モジュールにより出力された例示的なＧＵＩを図７に示す。ＧＵＩは、どの植物の葉に欠陥があるかを、ユーザのために、視覚化するため、生の画像をオーバーレイするボックス形式の分類子を含む注釈付きの画像を生成する。図７に示すように、識別子は境界ボックスであり、決定された分類が正確であるという信頼度スコアを示すラベルを含む。

【0053】

検出モジュール４２４の実行が、サーバ２０が、画像をストレージ３１２内の画像リポジトリ４３６に転送して生の画像データとして保存した画像取得装置から、画像を取得させる。また、生の画像データと関連付けて保存されるのは、画像が取得された場所である。検出モジュール４２４は、保存された画像データを学習済みモデル４３４に提供し、これを使用して生の画像に対してオブジェクト検出を実行して、検出されたオブジェクトが属するカテゴリー（例えば、欠陥があるまたは欠陥がない）に関する推論を産する。結果として得られたオブジェクト検出及び推論は、ＧＵＩ（例えば、図７）内に表示される画像上に、植物または葉の検出された結果を示す、それぞれに位置及びサイズが関連付けられたボックスの形状に出力される。これらの検出はまた信頼パーセンテージがあり、１００％は画像内のオブジェクトが欠陥として正しく分類されていることを示す最高の信頼度である。ユーザは、確信的な検出にはどんなパーセンテージが有効であるかの閾値を設定でき、ユーザが８０％の閾値を選択した場合、８０％未満のすべての検出は欠陥として分類されないことになる。１つの信頼度閾値は、検出が陽性検出であると宣言する必要がある割合を定義し、訓練中に使用される。この信頼度閾値は、訓練中または訓練後に変更することはできず、静的なプリセット値である。訓練後には、信頼度閾値の設定もあり、これは変更可能で、学習済みモデルの推論のために同じことを行う。本実施形態では、この信頼度閾値は変更可能である。検出モジュールによって行われる分類は、各ボックスの高さ及び幅をピクセル単位で示す各ボックスのサイズ情報とともに、ｘ座標及びｙ座標に基づく各ボックスの位置を含む検出データファイルとして出力される。図７に示すように、上に示したような信頼度スコアの画像に静的ボックスを描画して分析した元の画像であるテキストファイルの生成と並行して、新しい画像ファイルが生成される。

【0054】

１つの実施形態では、検出モジュール４２４は、生の画像データに対して検出を実行した後、図７及び図８に示すように分類された画像に対してフィードバック機能性を実行する。フィードバック機能性中に、検出モジュールは、画像リポジトリから、元の生の画像データと、分類子の場所及び分類子のサイズを含む検出データファイルとを取得できる。ＧＵＩは、分類子の場所及びサイズのデータを使用して、生の画像データに分類子をオーバーレイする。図７に示す画像とは異なり、本実施形態では、分類子はユーザが選択できるように生成される。フィードバック機能性を実行するための例示的なＧＵＩを図８に示す。ＧＵＩは、オブジェクト検出操作中に決定された分類子の位置を示すｘ、ｙ座標及びボックスの幅及び高さを含む検出データファイルに基づいて生成される。ＧＵＩは、次に、元の画像の上に、それぞれの場所及びサイズで分類子を表すこれらのボックスを生成する。ボックスは、元の画像の上に埋め込まれたり、永続的に描画されたりすることはない。ボックスは、ユーザが不適切な分類であると判断したボックスを削除するために、ユーザにより選択可能である。ユーザは、１つまたは複数のボックスを削除のために選択できる。ユーザはまた、欠陥として分類されていないが、ユーザが欠陥として分類するべきであったと信じる１つまたは複数のオブジェクト（例えば、葉）の周りに場所を選択し境界ボックスを描画することによって、ボックスを「追加する」ことができる。ユーザが画像を確定すると、フィードバック機能は終了する。１つまたは複数の分類子ボックスを削除すると、元の検出データファイルをコピーして、削除された分類子ボックスの場所及びサイズの情報を削除し、新しく追加された分類子ボックスの場所及びサイズの情報を追加することによって、更新された検出データファイルが生成される。更新された検出データファイルは、元の画像と関連して保存され、学習済みモデル４３４を初期に訓練するために使用されたラベル付きデータセットに追加できる。これにより、モデルの後続の再訓練のために更新された学習データを提供できる。１つの実施形態では、更新された検出データファイルはＸＭＬ形式であり、フィードバック操作が行われたその対応する元の画像ファイルと共に画像リポジトリ４３６に格納される。これらは、もともとオブジェクト検出モデルの訓練に使用されていた元の「ラベル付きデータセット」に追加できる。この「更新されたラベル付きデータセット」は、再訓練される前に追加された複数の生成されたＸＭＬ検出ファイル及び元の画像を有することができる。１つの実施形態では、ユーザは、訓練モジュール４２２の再訓練機能を実行することによって行えるモデルの再訓練をいつ開始するかを選択することができる。別の実施形態では、新しい画像及び／または更新された検出データファイルのための閾値を設定してもよく、この閾値に達すると、訓練モジュール４２２は更新されたラベル付きデータセットを使用してモデルを自動的に再訓練する。これにより、オブジェクト検出モデルの出力を人間によりレビューさせ、調整させ、人間が検出してほしいもの及び検出してほしくないものにモデルの精度を調整させる最新されたラベル付きデータセットとしてモデルに再入力させることができる。再訓練操作中に、初期訓練後に学習済みモデル４３４と同じ状態になっている訓練モデル４３２は、訓練モジュール４２２によってアクセスされ、更新されたラベル付きデータセットが後続の訓練のために訓練モデルに入力される。これを終えてから、更新された学習済みモデル４３４がストレージ内に保存され、後続のオブジェクト検出操作に使用されるようになる。

【0055】

別の実施形態では、検出結果を得た後、表示制御モジュール４２６を実行して、図１に示す携帯電話７０等の端末装置上に拡張現実表示を行うことができる。本実施形態では、携帯電話７０は、図３に示すサーバ２０のハードウェアと同様のハードウェアに、モバイルコンピューティングデバイスに固有の特定の追加要素を加えたものを含む。より具体的には、既知のように、モバイルコンピューティングデバイスは、画像を取得するために操作できる前面及び背面カメラ等の１つまたは複数のモバイルキャプチャデバイスの入出力コンポーネントを含むスマートフォンである場合がある。さらに、モバイルコンピューティングデバイスは、表示情報を選択的に表示し、モバイルコンピューティングデバイスを制御するために制御操作を実行するためにユーザから入力を受け取ることができる１つまたは複数のタッチスクリーンディスプレイを含む。この例示的な検出後処理を図９～図１６を参照して説明する。

【0056】

拡張表示を生成するための例示的なアルゴリズムを詳述するフロー図を図９に示す。例示的な操作では、モバイルコンピューティングデバイスは、そのストレージに格納された対応する表示制御モジュールを含み、このモジュールは、ここで説明する操作を実行するために、モバイルコンピューティングデバイスの１つまたは複数のプロセッサによって別に実行される。別の実施形態では、モバイルコンピューティングデバイスは、実行されると、図１に示すネットワーク５０のような通信ネットワークを介して、モバイルコンピューティングデバイスとサーバ２０との間に通信を確立する端末アプリケーションを含む。モバイルコンピューティングデバイス上で実行されるアプリケーションが端末アプリケーションである実施形態では、サーバの表示制御モジュール４２６は、モバイルコンピューティングデバイスによって取得されたデータを受信し、記述された処理を実行し、モバイルコンピューティングデバイスのタッチスクリーン上に表示するために、処理済み情報をモバイルコンピューティングデバイスに送り返す。

【0057】

図９に示すように、ブロック９０２では、図４にあるトレイデータベース４３８からの植物の位置情報とともに、検出モジュール４２４によって決定された検出情報がモバイルコンピューティングデバイスに提供される。この情報から、モバイルコンピューティングデバイスは、モバイルコンピューティングデバイスの画像取得装置によって現在取得中の栽培トレイの画像を拡張するために使用できる。この拡張表示は、現在取得中の栽培トレイの画像のうち、欠陥があると分類される１つまたは複数の植物の葉の正確な位置を見やすく表示する。

【0058】

ブロック９０４では、拡張表示アプリケーションがモバイルコンピューティングデバイス上で実行され、特定の栽培トレイに関連付けられた検出結果が動的に表示される。ブロック９０２及びブロック９０４の結果として、モバイルコンピューティングデバイスは、オブジェクト検出結果を取得し、既知のオブジェクト（トレイ）の場所は欠陥として分類された葉を識別する。ブロック９０６では、モバイルコンピューティングデバイスは、モバイルコンピューティングデバイスの１つまたは複数の画像取得装置を使用して画像取得を開始する。画像取得操作は、オブジェクト検出を受け終わった複数の植物を含む特定の栽培トレイの１つまたは複数の画像を取得し、ブロック９０８に示すように、モバイルコンピューティングデバイスによって取得中のライブ画像がその表示に表示される。画像を表示すると、２つの処理操作が実質的に並行して発生する。最初の処理操作は、ブロック９１０～ブロック９１４に示されているように分類される、表示されている画像内の特定のオブジェクトを識別し、モバイルコンピューティングデバイスの位置及び向きはブロック９１６～ブロック９１８に決定される。これらの処理操作の両方の結果は、ブロック９２０で説明するように、拡張表示を生成するために使用される。

【0059】

まず位置及び向きの決定に目を向けると、カメラ付きのモバイルコンピューティングデバイスの位置が収集または決定される。ブロック９１６では、モバイルコンピューティングデバイスの位置は、グローバルポジショニングシステム（ＧＰＳ）、コンパス、慣性測定装置（ＩＭＵ）、カメラまたは基準点マーカを使うクイックレスポンス（ＱＲ）コードの向き、拡張現実（ＡＲ）の位置リンク、または周囲の環境に対するユーザの位置を定義するその他の任意の方法等、多くの異なる方法で収集できる。モバイルコンピューティングデバイスの位置を決定すると、ブロック９１８で、栽培トレイに対するモバイルコンピューティングデバイスの向きが決定される。位置及び向きの情報は、表示制御モジュールに提供され、後述するように、モバイルコンピューティングデバイスに表示するための拡張画像を生成するための検出情報と共に使用される。

【0060】

ブロック９０８に戻って、モバイルコンピューティングデバイスによって取得されている画像は、ブロック９１０に、現在の時刻に取得されている栽培トレイまたはその一部を識別するために使用できるトレイマーカまたはその他のインジケータについても分析される。ブロック９１１に示すようにマーカが見つからない場合、モバイルコンピューティングデバイス上の表示を介して、モバイルコンピューティングデバイスを移動して栽培トレイの他の領域を取得し、取得されている画像内から栽培トレイ情報を識別することを提案するプロンプトがユーザに提供されることがある。現時点で取得中の画像が、ブロック９１２で決定されたような特定の栽培トレイを識別する１つまたは複数のトレイマーカまたはインジケータを含む場合において、モバイルコンピューティングデバイスの場所はブロック９１４で決定され、モバイルコンピューティングデバイスによって取得された画像には、ブロック９０２で得られた検出結果に従って欠陥として分類された植物の場所の指示がオーバーレイされる。

【0061】

取得中の画像がライブビュー画像であり、モバイルコンピューティングデバイスの場所もまた常に変化しているため、この画像オーバーレイ及びユーザ位置の決定は継続的に繰り返される。検出されたオブジェクトのオブジェクト検出位置や大きさ、ユーザの位置が分かっているため、表示制御モジュール４２６は、モバイルコンピューティングデバイスの画像取得装置によって取得中のライブビュー画像に、オブジェクト検出結果の位置をオーバーレイすることで、拡張現実ビューを生成することができる。

【0062】

検出モジュール処理４２４の完了時に生成されたオブジェクト検出結果に基づいて、栽培トレイの位置が分かっているし、欠陥として分類された葉の位置が分かって検出結果データファイルに取得されている。取得した画像のＸ、Ｙ位置及び検出結果を使用することで、特定のトレイに対して欠陥として分類されたすべての葉の位置が正確に定義される。さらに、Ｘ、Ｙの２次元領域を含むＺ領域を決定することができる。これにより、表示制御モジュール４２６は、Ｘ、Ｙ座標及びＺ領域を使用して分類された葉が見つかる場所を表示することにより、平面（例えば、図１０～図１２に示すＸ，Ｚ平面）から分類された葉のビューを可能にするグラフィカルユーザインターフェイス（ＧＵＩ）を生成しないことができる。図６～図８で前述したように、欠陥として分類されたライブビュー画像内の葉の位置を識別する識別子をオーバーレイすることに加えて、分類された各葉に関連付けられた信頼度検出値が、モバイルデバイス上に欠陥のある葉の位置を示すオブジェクトの近くに表示されることがある。

【0063】

別の実施形態では、欠陥であるとして検出され分類されたかどうかというオブジェクトを示す閾値は、拡張ライブビュー画像が表示されている間に、モバイルコンピューティングデバイスで受信された入力を介して設定されてもよい。閾値がモバイルデバイスの画面を介して変更される場合、青白い葉の位置を指示するオブジェクトの表示が更新される。ユーザがモバイルコンピューティングデバイスの画面を介して閾値を第１の閾値から第２の閾値に変更する場合、第２の閾値はモバイルコンピューティングデバイスからサーバ２０に送信され、モバイルコンピューティングデバイスは、第２の閾値以上の信頼値を持つ分類されたオブジェクトの位置情報をサーバ２０から受信し、拡張表示は、第２の閾値以上の信頼値を持つ欠陥として分類されたオブジェクト（例えば、葉）のみを表示するように更新される。

【0064】

図１０～図１６は、図９内のブロック９０８～ブロック９２０が行われる方法をさらに示す。図１０Ａ及び図１０Ｂは、図９において説明したように、モバイルデバイスにブロック９０２内に提供される検出結果を得るために実行される画像取得及びオブジェクト検出処理を示している。図１０Ａ及び図１０Ｂは、図２に説明したものと同様の構造を含み、それ以上定義する必要はない。どちらかと言えどちらかと言えば、以下の記述は、特定の栽培トレイ及びその中に成長している植物の画像を取得するための操作に焦点をおく。図１０Ａ及び図１０Ｂは、栽培場所にて設けられた特定の栽培トレイ１００２のＸ－Ｚ方向の側面図を示す。栽培トレイ１００２内には、植物を含む領域内の１つまたは複数の参照マーク１００４ａ～参照マーク１００４ｂが含まれており、キャリブレーション及び栽培トレイ１００２内の領域または位置を一意に識別するために使用される。

【0065】

栽培トレイ１２の上空にＺ方向に画像取得構造１０１０が設けられている。画像取得構造１０１０は、カメラ（図示せず）を備えたキャリッジ１０１４を含む。１つの実施形態では、画像取得構造は、栽培トレイ１２内の植物のトップビューを取得するために栽培トレイの上空に配置されたレールシステムである。キャリッジ１０１４は、示すように、Ｘ方向に移動可能である。画像取得構造１０１０は、画像取得中にキャリッジ１０１上のカメラの位置を追跡するために使用される、１つまたは複数のカメラ位置識別子１０１２ａ及びカメラ位置識別子１０１２ｂを含む。１つの実施形態では、１つまたは複数のカメラ位置識別子は、レール上のあらかじめ定められた位置に提供されているＲＦＩＤタグであり、画像取得操作中にキャリッジがレールに沿って移動すると、キャリッジ上に配置されているリーダーによって読み取られる。図１０Ｂでは、カメラ位置識別子１０１２ｂが提供されている位置でキャリッジ１０１４が停止し、画像取得動作が開始される。ここに示すように、カメラ位置識別子１０１２ｂの位置は、１０１６とラベル付けられた矢印で示される画像取得分野を定義し、トレイマーカ１００４ｃ及びトレイマーカ１００４ｄを含む栽培トレイ１００２の領域を含む。カメラ位置指示子１０１２ｂとトレイマーカ１００４ｃ及びトレイマーカ１００４ｄとの両方からの位置情報が、検出モジュール４２４による実行される検出処理を受けるために、取得された画像と共にサーバ２０に提供される。したがって、検出モジュール４２４はどの葉は欠陥があるかを特定できるだけでなく、検出モジュール４２４は、この位置が既知であるので、カメラ位置識別子１０１２を使用して、キャリッジ１０１４上の各画像がカメラによって取得された場所を特定することもできる。最後に、ＡＩモデルは青白い葉がどこにあるかを決定できる。

【0066】

図１１Ａ及び図１１Ｂは青白い葉の位置を示しており、これは検出モジュール４２４が栽培トレイ１００２内の葉１１００が欠陥であり、キャリッジ１０１４の画像取得装置によって取得された領域１１０２であると決定する１つの方法である。図１１ＡはＺ方向の図であり、図１１ＢはＹ方向の図である。この例では、欠陥のある葉１１００は、両方ともトレイ内の参照マークを表すトレイマーカ１００４ｃ及びトレイマーカ１００４ｄの間に位置している。検出モジュール４２４によって欠陥のある葉１１００の位置を決定した後、ユーザは、図１２Ａ及び図１２Ｂに示すように、モバイルコンピューティングデバイスを使用して欠陥のある葉１１００の正確な位置を突き止めることができる。モバイルコンピューティングデバイス上の画像取得装置が開始される。欠陥のある葉を特定する検出操作４２４中に決定された位置情報は、モバイルコンピューティングデバイス１２０２に送信される。モバイルコンピューティングデバイス１２０２の画像取得装置が栽培トレイ１００２の側面に面して配置されているため、画像取得操作はトレイマーカ１００４ｃ及びトレイマーカ１００４ｄを取得する。このことから、モバイルコンピューティングデバイス上で実行されているアプリケーションは、図１２Ａに示す欠陥のある葉１１００の場所を決定する。ユーザが栽培トレイ１００２内の欠陥のある葉１１００の場所を見やすくするために、ガイド付きのＧＵＩが表示される。これは可能になったのは、トレイマーカの位置が既知であり、取得された画像内のトレイマーカからのピクセル単位のＸ－Ｙ距離を取得して、欠陥のある葉１１００の位置を特定するために使用できるため、欠陥として分類された各葉の位置を特定できる。

【0067】

別の実施形態では、モバイルデバイスの姿勢を水平姿勢から垂直姿勢に変更した場合に、モバイルデバイス上に表示されるＧＵＩを、栽培トレイ１００２の上から取得した画像（図１２Ａ）から栽培トレイ１００２の横から取得した画像（図１２Ｂ）に変更されることがある。また、モバイルデバイスの姿勢を垂直姿勢から水平姿勢に変更した場合に、モバイルデバイス上に表示される画像を栽培トレイ１００２の横から取得した画像（図１２Ｂ）から栽培トレイ１００２の上から取得した画像（図１２Ａ）に変更されることがある。モバイルデバイスの姿勢は、モバイルデバイスに搭載されている傾斜センサーで検出することができる。

【0068】

図１３～図１６では、キャリッジ１０１４上の画像取得装置によって取得され、オブジェクト検出を受けた画像を、モバイルコンピューティングデバイスの表示に、欠陥であると決定された１つまたは複数の葉を識別するインジケータ付きの栽培トレイの画像を表示する拡張表示を含むＧＵＩに変換するためのさまざまな方法が示されている。

【0069】

図１３では、植物トレイの取得された画像が示されており、取得された画像が、栽培トレイのライブビューを取得している画像取得装置を備えたモバイルコンピューティングデバイス上に表示するためにどのように変換されるかを示す矢印が含まれている。元の取得された画像は、学習済みモデルを使用して検出を受けさせられ、各分類に関連付けられたｘ－ｙの位置値及びｈ－ｗのサイズ値を有する検出データファイルに含まれているように、欠陥として分類された各葉の位置及びサイズが含まれている。この実施形態では、取得されているライブビュー画像は、栽培トレイの領域のものである。実際の植物トレイ上の参照ポイントは、互いから既知の位置及び距離を持ち、その領域に含まれている検出を正しくオーバーレイするために、モバイルデバイスが見ている領域に取得された画像が変換されることを可能にする。

【0070】

図１４は、モバイルコンピューティングデバイスによって取得されているライブビュー画像が、その画像上にｘ、ｙピクセル位置にあることが知られている欠陥として分類され、ピクセル単位で定義された幅及び高さを持つオブジェクトを持つ、ピクセル単位の知られている幅及び高さを含む別の実施形態を示している。この実施形態では、参照ポイントが取得された画像のビューにないところ、その取得された画像のためのセットまたは決定された位置を参照ポイントから設定できるため、カメラ付きのモバイルデバイスは、欠陥として分類されるオブジェクトを持つ画像内の位置を識別する生成されたオーバーレイを正確に表示できる。

【0071】

図１５は、幅及び高さがピクセル単位で既知のライブビュー画像が、欠陥として分類されたオブジェクトがその画像上のｘ、ｙピクセル位置にあることが既知であり、分類されたオブジェクトがピクセル単位で定義された幅及び高さを持つ別の実施形態を示す。この実施形態では、参照マーカは取得された画像の領域内にあるので、検出領域を生成ことは、取得された領域をモバイルコンピューティングデバイスのライブビュー領域にマッピングすることで行うことができる。これはさらに図１６に示されており、検出処理が行われた取得された画像と、その画像が取得された栽培トレイと、栽培トレイのライブビューを持つ画像取得装置を持つモバイルコンピューティングデバイスとを示している。前述のように、元の取得された画像は検出モジュール４２４による検出処理を受けており、欠陥として分類された画像内の各オブジェクトの位置及びサイズを特定する検出データが含まれている。取得された画像は、植物トレイの領域のものである。実際の栽培トレイ上の参照ポイントは、既知の位置及び互いからの距離を持ち、元の取得された画像のビュー内にある。これにより、欠陥として分類されたオブジェクトのピクセル位置を実際の植物トレイの位置にマッピングすることを可能にし、欠陥として分類された葉の栽培トレイ内の位置を識別するインジケータをライブビュー画像にオーバーレイすることで、栽培トレイのライブビュー画像を含むＧＵＩを拡張することを可能にさせる。

【0072】

別の実施形態では、検出モジュール処理の結果を欠陥として分類された葉を自動的に摘んだり取り除いたりするロボット装置を制御するための入力として使用することができる。例示的なロボット装置１７００を図１７に示す。ロボット装置１７００は、移動装置１７０４の上に配置されている支持構造体１７０２を含む。移動装置１７０４は、栽培トレイ１７０１が、ロボット装置が栽培トレイ１７０１内から欠陥のある葉を切除することができるあらかじめ定められた位置に配置されるように、支持構造体１７０２の下に栽培トレイ１７０１を移動させるように構成されている。これを行うために、支持構造体は、切除装置１７１２を支持するクロスバー１７１０を含む。クロスバー１７１０は、１７１１とラベル付けされた矢印が示す方向に移動するように構成されている。切除装置１７１２は、１７１３とラベル付けされた矢印が示す方向と、支持構造体の下に配置された栽培トレイ１７０１に向かったり遠ざかったりする方向に移動するように構成されている。運用では、検出モジュール４２４の完了の際に生成された検出データファイルに基づいて、クロスバー１７１０及び切除装置１７１２の動き及び位置が決定される。検出が実行された特定の栽培トレイが既知であるため、ロボット装置は、検出結果データファイルに含まれる１つまたは複数のトレイ識別子に基づいて、支持装置の下に現在配置されている栽培トレイを識別できる。さらに、ロボット装置の動作は、注目点に移動するために、画像が、クロスバー１７１０及び切除装置１７１２の動きを制御するロボットコントローラに支持構造体の下にある栽培トレイ内の注目点を示すことを可能にさせる検出位置に基づいて制御することができる。注目点に到達すると、ロボットコントローラは、欠陥として分類された葉を掴むか、または別な方法で切除するために、栽培トレイ１７０１に向かっての方向に移動するよう切除装置に信号を送る。移動制御は、前述のようにロボット装置が移動するための入力として機能する現実世界の座標に画像をマッピングするロボットコントローラによって行われる。運用では、切除装置１７１２が、検出データファイルに定義されたように画像内のピクセル位置に移動する予定であった場合、現実世界の対応する位置に移動することになる。この方法を使用すると、検出位置は、検出中心点座標（ｘ＋幅／２、ｙ＋高さ／２）を、ピクセル位置、Ｇコード、またはロボット装置が動作できる別の形式のいずれかとしてロボットに渡すことによって動作させることができる。結果として、検出モジュール４２４によって実行される処理の結果、特定の栽培トレイからの欠陥であるオブジェクトをより迅速且つ正確に取り除くことができる。

【0073】

１つまたは複数の栽培トレイ内の欠陥のある植物の数及び場所に関する情報と、栽培場所にある環境センサーから得られた情報とを組み合わせて、栽培場所にある１つまたは複数のトレイ内の植物の状態を追跡、定量化、及び定性化することを含む。この処理は、図４内の分析モジュール４２８がメモリにロードされることによって実行され、これはサーバ２０の１つまたは複数のプロセッサが分析処理を実行するように構成する。図１８は、実行した時に分析モジュール４２８によって実行される操作を示している。

【0074】

ブロック１８０２～ブロック１８０８では、検出モジュール４２４によって実行される検出処理中に学習済みモデルを使用して、１つまたは複数の栽培トレイ内の葉の画像が取得され、分析され、図４のトレイデータベース４３８に保存される検出結果及び画像データが生み出されれ、及び図１８にブロック１８２０に示す。これらについては前述したとおり、再度議論する必要はなく、ここに参考により組み込まれている。さらに、ブロック１８１２～ブロック１８１６は、検出モジュール４２４によって実行されるフィードバック処理を表し、前述のように図６～図８に関して議論した。さらなるモデル訓練の目的のために検出結果を更新したり、及び／または、検出結果のより正確なセットを提供したりするためのこのフィードバックの詳細についても、さらに議論する必要はなく、参照によりここに組み込まれている。ブロック１８２０に格納された検出結果は、栽培場所１８３０での環境に関する情報を感知する１つまたは複数のセンサー１８４０から得られた環境情報とともに、分析モジュール４２８に提供される。ブロック１８４０で得られる情報には、以下のセンサーのいずれか１つ以上を表す１つまたは複数のセンサー１６によって取得された情報が含まれる：（ａ）栽培場所全体１１の温度を測定する温度センサー、（ｂ）栽培場所１１での水分量を測定する水分センサー、（ｃ）栽培場所での土壌の１つまたは複数の特性を測定する土壌センサー、及び（ｄ）栽培場所でのｐＨを測定するｐＨセンサー。ブロック１８４０で得られた環境情報は、特定のトレイの環境条件を識別するトレイ固有の基準、特定の支持構造体内のすべてのトレイにわたっての環境条件を識別するラック固有の基準、栽培場所内の特定の地域にわたっての環境条件を示す地域固有の基準、及び栽培場所での環境条件をグローバルに示す場所固有の基準で、トレイデータベース４３８に格納される。

【0075】

環境条件データベース１８３０からの情報及びトレイデータベース１８２０での検出結果は、サーバ上で実行されている分析モジュール４２８への入力として提供される。分析モジュール４２８は、栽培場所での予測、監視、履歴追跡、アラート、及び栽培傾向を実行できる。オブジェクト検出モデルから結果として得られたテキストファイルを、さまざまなトレイの場所での植物の生長に関する結果のデータベースを作成しトレイの場所全体でオブジェクト検出結果を追跡することで、状態または健康状態且つ状態及び健康がどのように変化していることを定量化及び定性化するために、使用できる。栽培中のトレイ上の欠陥のある葉を識別する能力により、そのトレイ上の不良葉の数をカウント／追跡する能力が可能になり、不良葉の数を歴史的な栽培条件（温度、湿度、ｐＨ等．．．）と比較する能力や、日ごとの不良葉の数の変化を追跡する能力も可能にする。この分析処理の結果は、図１９に示す、各栽培日に欠陥として分類された葉の数に基づいて決定された、一連の栽培日にわたって特定の場所で栽培する植物の品質が特定するグラフを生成することができる。１つの実施形態では、これは、トレイ上の葉の合計数からそのトレイ上で検出された変状的／不良の葉の数を引いたものを、そのトレイ上の葉の合計で割ることによって計算され、パーセンテージの品質スコアが得られる。これは、（（総葉数－不良葉数）／総葉数）＝％品質スコアで表される。

【0076】

本開示による検出及び表示システムは、複数の植物の葉を含む画像上で動作し非常に高速に多数の葉をカバーし個々の葉をうまくお互いから区別することができる訓練された機械学習オブジェクト検出モデルを使用して、有利的に植物の葉の状態を自動的に識別する。さらに、葉の欠陥としての検出及び分類に基づいて、システムは栽培トレイ上のすべての植物の品質を追跡し、品質スコアを与え、歴史的な品質データを生成するために使用できる。検出の結果は、ロボット装置により摘み取りや選別が行われることを今可能にする自動化ソリューションを制御するための直接入力として使用される可能性がある。さらに、検出及び表示システムは、欠陥として分類されたすべての葉のボックス／座標／位置等の識別子付きの特定の栽培トレイのライブビュー画像を変換及び拡張できる。

【0077】

本開示の側面もまた、上記の実施形態の機能を実行するためにメモリデバイスに記録されたプログラムを読み取って実行するシステムまたは装置（またはＣＰＵ、マイクロプロセッシングユニット（ＭＰＵ）等のデバイス）のコンピュータによって実現することができ、且つ、ステップが、例えば、上記の実施形態の機能を実行するためにメモリデバイスに記録されたプログラムを読み取って実行するシステムまたは装置のコンピュータによって実行される方法によって実現することができる。この目的のために、プログラムは、例えばネットワークを介して、或いは、記憶装置として機能する各種記録媒体（例えば、非一時的なコンピュータ可読媒体）からコンピュータに提供される。

【0078】

本開示は、例示的な実施形態を参照して説明されているが、本開示は、開示された例示的な実施形態に限定されないことを理解すべきである。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11A】

【図11B】

【図12A】

【図12B】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【手続補正書】

【提出日】2023-08-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

命令を格納する少なくとも１つのメモリと、少なくとも１つのプロセッサと、を備えるサーバであって、
前記少なくとも１つのプロセッサは、格納された前記命令を実行すると、
画像取得装置から複数の植物の画像を取得し、
前記複数の植物のそれぞれを、欠陥のある植物を示す第１のカテゴリー、または正常な植物を示す第２のカテゴリーに分類するための学習済みモデルを使用して、前記取得した画像に対して検出処理を実行し、前記学習済みモデルは、前記欠陥のある植物を示す前記複数の植物に関連付けられた１つまたは複数の視覚特性を使用して訓練された機械学習モデルであり、
前記取得した画像から、前記第１のカテゴリーに分類された前記複数の植物のそれぞれのための位置情報を決定し、
前記位置情報を利用して、それぞれの前記複数の植物の周囲にある識別子を含む前記第１のカテゴリーに分類された前記複数の植物のマップを生成し、
欠陥のある植物として前記第１のカテゴリーに分類された各植物の場所の視覚表現を提供する表示装置上に出力するための端末装置に前記生成されたマップを提供する
ように構成される、サーバ。

【請求項2】

前記検出処理は、第１の解析と第２の解析とを含み、前記第１の解析は、前記複数の植物の前記画像における葉の形状を識別し、前記第２の解析は、不良葉を識別する
請求項１に記載のサーバ。

【請求項3】

前記命令の実行が、
前記端末装置から、前記第１のカテゴリーに分類されたそれぞれの植物を前記第２のカテゴリーに分類するように変更するよう要求を受信し、
前記受信した変更要求に基づいて前記生成されたマップを更新し、
前記更新されたマップを使用して前記第１のカテゴリーから前記第２のカテゴリーに変更された前記それぞれの植物が前記画像内で識別されないようにする
ように前記少なくとも１つのプロセッサをさらに構成する、請求項１に記載のサーバ。

【請求項4】

前記命令の実行が、
修正済み画像データとして取得された画像に関連付けて前記更新されたマップを、前記少なくとも１つのメモリに格納し、前記更新されたマップには、前記学習済みモデルを使用して前記第１のカテゴリーに分類された植物とユーザによって修正された植物とが含まれ、
前記修正済み画像データを前記学習済みモデルの生成に使用される訓練モジュールに提供して、更新された学習済みモデルを生成する
ように前記少なくとも１つのプロセッサをさらに構成する、請求項３に記載のサーバ。

【請求項5】

前記命令の実行が、
前記端末装置が前記画像取得装置に近接していることを検出することに応答して、前記生成されたマップを前記端末装置で実行されているアプリケーションに通信し、その前記アプリケーションに前記複数の植物の前記取得されたライブビューにオーバーレイされた前記マップから１つまたは複数のインジケータを有する前記複数の植物のライブビューを含む拡張現実ビューを生成させる
ように前記少なくとも１つのプロセッサをさらに構成する、請求項１に記載のサーバ。

【請求項6】

前記命令の実行が、
前記生成されたマップを使用して摘み取り機を制御して、前記摘み取り機に前記マップ内の前記位置情報を使用して前記第１のカテゴリーに分類された前記各植物を取り除かせるようにする
ように前記少なくとも１つのプロセッサをさらに構成する、請求項１に記載のサーバ。

【請求項7】

前記命令の実行が、
前記画像取得装置から複数の植物の画像を一定期間にわたって継続的に取得し、
前記継続的に取得される画像の各々について、前記学習済みモデルを使用して検出処理を実行し、前記複数の植物の各々を信頼度スコアがあらかじめ定められた信頼度閾値を下回る欠陥のある植物を示す前記第１のカテゴリーまたは正常な植物を示す第２のカテゴリーに分類し、前記学習済みモデルは、欠陥のある植物を示す前記複数の植物に関連付けられた１つまたは複数の視覚的特徴を使用して訓練された機械学習モデルであり、
前記第１のカテゴリーに分類された前記複数の植物のそれぞれの数に基づいて前記複数の植物を表す品質スコアを生成し、
前記複数の植物を栽培するために使用する１つまたは複数のパラメータを制御するために前記品質スコアを使用する
ように前記少なくとも１つのプロセッサをさらに構成する、請求項１に記載のサーバ。

【請求項8】

植物を分類する方法であって、
画像取得装置から複数の植物の画像を取得することと、
少なくとも１つのプロセッサによって、学習済みモデルを用いて、前記複数の植物のそれぞれを、欠陥のある植物を示す第１のカテゴリーまたは正常な植物を示す第２のカテゴリーに分類するために、前記取得した画像に対する検出処理を実行することであって、前記学習済みモデルは、欠陥のある植物を示す前記複数の植物に関連する１つまたは複数の視覚的特徴を用いて訓練された機械学習モデルである、前記実行することと、
前記取得した画像から、前記少なくとも１つのプロセッサによって、前記第１のカテゴリーに分類される前記複数の植物のそれぞれの位置情報を決定することと、
前記少なくとも１つのプロセッサによる前記位置情報を使用して前記複数の植物のそれぞれの周囲にある識別子を含む前記第１のカテゴリーに分類される前記複数の植物のマップを生成することと、
前記第１のカテゴリーに欠陥のある植物として分類された各植物の場所を視覚的に表現する表示装置上に出力するために、前記生成されたマップを端末装置へ提供することと、
を含む、方法。

【請求項9】

前記検出処理は、第１の解析と第２の解析とを含み、前記第１の解析は、前記複数の植物の前記画像における葉の形状を識別し、前記第２の解析は、不良葉を識別する
請求項８に記載の方法。

【請求項10】

前記端末装置から、前記第１のカテゴリーに分類されたそれぞれの植物を前記第２のカテゴリーに分類するように変更する要求を受信することと、
前記受信した変更要求に基づいて前記生成されたマップを更新することと、
前記更新されたマップを使用して、前記第１のカテゴリーから前記第２のカテゴリーに変更された前記それぞれの植物が前記画像内で識別されないようにすることと、
をさらに含む、請求項８に記載の方法。

【請求項11】

少なくとも１つのメモリに、前記取得された画像に関連付けて前記更新されたマップを修正された画像データとして格納することであって、前記更新されたマップは、前記学習済みモデルを使用して前記第１のカテゴリーに分類された植物と、ユーザによって修正された植物とを含む、前記格納することと、
前記修正された画像データを、前記学習済みモデルを生成する際に使用される訓練モジュールに提供して更新された学習済みモデルを生成することと、
をさらに含む、請求項１０に記載の方法。

【請求項12】

前記端末装置が前記画像取得装置に近接していることを検出することに応答して、前記生成されたマップを前記端末装置で実行されているアプリケーションに通信し、前記アプリケーションに前記複数の植物の前記取得されたライブビューにオーバーレイされた前記マップから１つまたは複数のインジケータを有する前記複数の植物のライブビューを含む拡張現実ビューを生成させること
をさらに含む、請求項８に記載の方法。

【請求項13】

前記生成されたマップを使用して摘み取り機を制御して、前記摘み取り機に前記マップ内の前記位置情報を使用して前記第１のカテゴリーに分類された前記各植物を取り除かせること
をさらに含む、請求項８に記載の方法。

【請求項14】

複数の植物の画像を一定期間にわたって前記画像取得装置から継続的に取得することと、
前記継続的に取得される画像の各々について、前記学習済みモデルを使用して検出処理を実行し、前記複数の植物の各々を、信頼度スコアがあらかじめ定められた信頼度閾値を下回る欠陥のある植物を示す前記第１のカテゴリーまたは正常な植物を示す第２のカテゴリーに分類することであって、前記学習済みモデルは、欠陥のある植物を示す前記複数の植物に関連付けられた１つまたは複数の視覚的特徴を使用して訓練された機械学習モデルである、前記分類することと、
前記第１のカテゴリーに分類された前記複数の植物のそれぞれの数に基づいて前記複数の植物を表す品質スコアを生成することと、
前記複数の植物を栽培するために使用する１つまたは複数のパラメータを制御するために前記品質スコアを使用することと、
をさらに含む、請求項８に記載の方法。

【請求項15】

命令を格納する記録媒体であって、
少なくとも１つのプロセッサにより前記命令が実行されると、前記少なくとも１つのプロセッサに、
画像取得装置から複数の植物の画像を取得することと、
前記複数の植物のそれぞれを、欠陥のある植物を示す第１のカテゴリー、または正常な植物を示す第２のカテゴリーに分類するための学習済みモデルを使用して、前記取得した画像に対して検出処理を実行することであって、前記学習済みモデルは、前記欠陥のある植物を示す前記複数の植物に関連付けられた１つまたは複数の視覚特性を使用して訓練された機械学習モデルである、前記実行することと、
前記取得した画像から、前記第１のカテゴリーに分類された前記複数の植物のそれぞれのための位置情報を決定することと、
前記位置情報を利用して、それぞれの前記複数の植物の周囲にある識別子を含む前記第１のカテゴリーに分類された前記複数の植物のマップを生成することと、
欠陥のある植物として前記第１のカテゴリーに分類された各植物の場所の視覚表現を提供する表示装置上に出力するための端末装置に前記生成されたマップを提供することと、
を実行させる、記録媒体。

【請求項16】

命令を格納する少なくとも１つのメモリと、少なくとも１つのプロセッサと、を備えるサーバであって、
前記少なくとも１つのプロセッサは、格納された前記命令を実行すると、
画像取得装置から複数の植物の画像を取得し、
前記複数の植物のそれぞれを、欠陥のある植物を示す第１のカテゴリー、または正常な植物を示す第２のカテゴリーに分類するための学習済みモデルを使用して、前記取得した画像に対して検出処理を実行し、前記検出処理は、第１の解析と第２の解析とを含み、前記第１の解析は、前記複数の植物の前記画像における葉の形状を識別し、前記第２の解析は、不良葉を識別し、前記学習済みモデルは、前記欠陥のある植物を示す前記複数の植物に関連付けられた１つまたは複数の視覚特性を使用して訓練された機械学習モデルであり、
前記取得した画像から、前記第１のカテゴリーに分類された前記複数の植物のそれぞれのための位置情報を決定し、
前記位置情報を利用して、それぞれの前記複数の植物の周囲にある識別子を含む前記第１のカテゴリーに分類された前記複数の植物のマップを生成し、
欠陥のある植物として前記第１のカテゴリーに分類された各植物の場所の視覚表現を提供する表示装置上に出力するための端末装置に前記生成されたマップを提供する
ように構成される、サーバ。

【国際調査報告】