特許 7591049 植物を分類するための分類器を訓練するための装置、植物選択で使用するための装置、植物を分類するための分類器を訓練する方法、および植物を事前選択する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-19

(45)【発行日】2024-11-27

(54)【発明の名称】植物を分類するための分類器を訓練するための装置、植物選択で使用するための装置、植物を分類するための分類器を訓練する方法、および植物を事前選択する方法

(51)【国際特許分類】

   G06V 10/764 20220101AFI20241120BHJP

   A01H 1/00 20060101ALN20241120BHJP

   A01H 3/00 20060101ALN20241120BHJP

【ＦＩ】

G06V10/764

A01H1/00 A

A01H3/00

【請求項の数】 19

(21)【出願番号】P 2022525055

(86)(22)【出願日】2020-10-29

(65)【公表番号】

(43)【公表日】2023-01-18

(86)【国際出願番号】 EP2020080422

(87)【国際公開番号】W WO2021084019

(87)【国際公開日】2021-05-06

【審査請求日】2023-10-23

(31)【優先権主張番号】19206566.2

(32)【優先日】2019-10-31

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】508186875

【氏名又は名称】キージーン ナムローゼ フェンノートシャップ

(74)【代理人】

【識別番号】100107456

【弁理士】

【氏名又は名称】池田 成人

(74)【代理人】

【識別番号】100162352

【弁理士】

【氏名又は名称】酒巻 順一郎

(74)【代理人】

【識別番号】100123995

【弁理士】

【氏名又は名称】野田 雅一

(72)【発明者】

【氏名】ヴァン スチュリーク， マルコ ゲラルダス マリア

(72)【発明者】

【氏名】ヴァン バーベル， ルドルフ ラウレンティウス

(72)【発明者】

【氏名】ボーマン， ニーク

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】国際公開第２０１９／１０６６３９（ＷＯ，Ａ１）

【文献】特開２０１９－１７５４６３（ＪＰ，Ａ）

【文献】特開２０１９－１６０２４６（ＪＰ，Ａ）

【文献】国際公開第２０１８／１３０６０６（ＷＯ，Ａ１）

【文献】吉岡 洋輔，圃場作物の生育モニタリングのためのセンシングデバイス，計測と制御，日本，公益社団法人計測自動制御学会，2013年08月，第52巻 第8号，p.724-729

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ａ０１Ｈ １／００

Ａ０１Ｈ ３／００

(57)【特許請求の範囲】

【請求項1】

植物を分類するための分類器を訓練するための装置であって、
複数の植物（６）を表す複数の画像データセット（２１２）と、前記複数の植物（６）の遺伝子型情報、前記複数の植物（６）の表現型情報、及び、前記複数の植物（６）の系統情報のうちの少なくとも１つを含む関連する植物情報（１２２）とを記憶するための記憶手段（１２５）と、
前記複数の植物（６）のうちの１つ以上の植物のサブセットを事前選択するための事前選択ユニット（１２６）と、
前記画像データセット（２１２）を使用して植物（６）の前記事前選択されたサブセットを表示するための表示デバイス（１４）と、
植物の前記事前選択されたサブセットのうちどれがユーザによって観察されるかに関する情報を含む観察情報を生成するための追跡ユニット（１２７）であって、前記記憶手段（１２５）が前記観察情報を記憶するように構成されている、追跡ユニット（１２７）と、
植物の前記事前選択されたサブセットの中からの少なくとも１つの植物のユーザ選択を示す入力を受信するための入力デバイス（１６）であって、前記記憶手段（１２５）が、前記少なくとも１つの植物の前記ユーザ選択に関連する情報を記憶するように構成されている、入力デバイス（１６）と、
植物を分類するための分類器（１２９）と、
前記観察情報と、前記ユーザ選択に関連する情報と、前記遺伝子型情報、前記表現型情報、及び、前記系統情報のうちの前記少なくとも１つを含む前記植物情報とに基づいて前記ユーザ選択を予測するために前記分類器（１２９）を訓練するための訓練ユニット（１２８）と、
を備える装置。

【請求項2】

前記観察情報が、
観察される植物のうちどの特定の部分が観察されるか、
植物を表すどの画像データセットが観察されるか、
植物を表すどの画像データセットのどの部分が観察されるか、及び、
前記植物、前記植物の一部、前記植物を表す前記画像データセット、又は、前記植物を表す画像データセットの一部が観察される時間、
のうちの少なくとも１つに関する情報を含む、請求項１に記載の装置。

【請求項3】

前記特定の部分が、根、茎、葉、花、及び、果実のうちの少なくとも１つを含む、請求項２に記載の装置。

【請求項4】

観察者の視野を示す信号を生成するように構成されている追跡デバイス（１５）であり、前記追跡デバイスが、たとえば、視線追跡器、動きセンサ、又は、位置センサを備える、追跡デバイス（１５）をさらに備えており
前記追跡ユニット（１２７）が、前記追跡デバイス（１５）からの前記信号に基づいて前記観察情報を生成するように構成されている、
請求項１～３のいずれか一項に記載の装置。

【請求項5】

前記事前選択された複数の植物の前記画像データセットを３次元シーンにおいて示すように構成されている、仮想現実（ＶＲ）又は拡張現実（ＡＲ）システムをさらに備え、前記ＶＲ又はＡＲシステムが前記表示デバイス（１４）及び前記追跡デバイス（１５）を備える、請求項４に記載の装置。

【請求項6】

前記事前選択ユニット（１２６）が、前記分類器（１２９）によって生成される前記植物の分類にさらに基づいて前記複数の植物を事前選択するように構成されている、請求項１～５のいずれか一項に記載の装置。

【請求項7】

植物選択で使用するための装置であって、
複数の第１の植物を表す複数の画像データセット（１２１）と、前記複数の第１の植物の遺伝子型情報、前記複数の第１の植物の表現型情報、及び、前記複数の第１の植物の系統情報のうちの少なくとも１つを含む関連する植物情報（１２２）とを記憶するための記憶手段（１２）と、
前記関連する植物情報（１２２）に基づいて前記第１の植物を分類するための分類器（１２９）であって、前記分類器（１２９）が、前記複数の第１の植物とは異なる複数の第２の植物に関連するデータセットに基づいて訓練され、前記データセットが、
前記第２の植物のうちどれがユーザによって観察されるかに関する観察情報と、
前記ユーザが入力した前記第２の植物の中からの少なくとも１つの植物のユーザ選択に関するユーザ選択情報と、
前記データセット内の前記第２の植物の遺伝子型情報、前記データセット内の前記第２の植物の表現型情報、及び、前記データセット内の前記第２の植物の系統情報のうちの少なくとも１つを含む植物情報と
を含む、分類器（１２９）と、
前記分類器（１２９）によって生成される前記第１の植物の分類に基づいて、前記複数の第１の植物のうちの１つ以上の植物のサブセットを事前選択するための事前選択ユニット（１２６）と、
前記画像データセット（１２１）を使用して第１の植物の前記事前選択されたサブセットを表示するための表示デバイス（１４）と、
を備える装置。

【請求項8】

第１の植物の前記事前選択されたサブセットの中からの少なくとも１つの植物のユーザ選択を示す入力を受信するための入力デバイス（１６）をさらに備える、請求項７に記載の装置。

【請求項9】

植物の前記事前選択されたサブセットのうちどれがユーザによって観察されるかに関する情報を含む観察情報を生成するための追跡ユニット（１２７）であって、前記記憶手段（１２５）が前記観察情報を記憶するように構成されている、追跡ユニット（１２７）をさらに備え、
前記記憶手段（１２）が前記少なくとも１つの植物の前記ユーザ選択に関連する情報を記憶するように構成されている、請求項８に記載の装置。

【請求項10】

前記ユーザ選択に対応する実際の前記少なくとも１つの植物を特定するとともに、前記少なくとも１つの植物を指定された位置に輸送することによって複数の保管された植物から前記少なくとも１つの植物を分離するための植物コンベアシステム
をさらに備える、請求項１－６、８－９のいずれか一項に記載の装置。

【請求項11】

画像センサに対して植物を、たとえばカメラの前で、自動的に配置し、前記画像センサを使用して前記植物の画像データセットを撮像した後、前記植物をその指定された位置に自動的に移動するとともに、前記画像センサを使用して次の植物の画像データセットを撮像するために前記画像センサに対して前記次の植物を自動的に配置するための自動植物撮像装置であり、前記記憶手段（１２）が、前記撮像された画像データセットをそれぞれの対応する植物に関連して記憶するように構成されている、自動植物撮像装置をさらに備える、請求項７～１０のいずれか一項に記載の装置。

【請求項12】

植物の少なくとも１つの画像データセットの画像分析を実行して前記画像データセットに基づいて前記植物の表現型特性を検出することによって前記表現型情報を生成するように構成されている表現型検出ユニットを備える、請求項７～１１のいずれか一項に記載の装置。

【請求項13】

植物を分類するための分類器を訓練する方法であって、
複数の植物を表す複数の画像データセットと、前記複数の植物の遺伝子型情報、前記複数の植物の表現型情報、及び、前記複数の植物の系統情報のうちの少なくとも１つを含む関連する植物情報とを収集するステップ（３０２）及び記憶するステップと、
植物の事前選択されたサブセットを取得するために前記複数の植物のうちの１つ以上の植物のサブセットを事前選択するステップ（３０３）と、
前記画像データセットを使用して植物の前記事前選択されたサブセットを表示するステップ（３０４）と、
植物の前記事前選択されたサブセットのうちどれがユーザによって観察されるかに関する情報を含む観察情報を生成するステップ（３０５）、及び前記観察情報を記憶するステップと、
植物の前記事前選択されたサブセットの中からの少なくとも１つの植物のユーザ選択を示す入力を受信するステップ（３０６）、及び前記少なくとも１つの植物の前記ユーザ選択に関連する情報を記憶するステップと、
植物を分類するための分類器を訓練するステップ（３０８）であって、該訓練するステップが、前記観察情報と、前記ユーザ選択に関連する情報と、前記遺伝子型情報、前記表現型情報、及び、前記系統情報のうちの前記少なくとも１つを含む前記植物情報とに基づいている、訓練するステップ（３０８）と、
を含む方法。

【請求項14】

前記植物を用意するステップ（３０１）をさらに含み、前記複数の画像データセットを収集する前記ステップ（３０２）が、画像センサを使用して各植物の少なくとも１つの画像データセットを撮像することを含む、請求項１３に記載の方法。

【請求項15】

複数のさらなる植物を表すさらなる複数の画像データセットと、前記複数のさらなる植物の遺伝子型情報、前記複数のさらなる植物の表現型情報、及び、前記複数のさらなる植物の系統情報のうちの少なくとも１つを含む関連するさらなる植物情報とを収集するステップ（３１２）及び記憶するステップと、
前記さらなる植物の分類を生成するために、前記訓練された分類器を使用して、前記関連するさらなる植物情報に基づいて前記複数のさらなる植物を分類するステップ（３１３）と、
さらなる植物の事前選択されたサブセットを取得するために、前記分類器によって生成される前記さらなる植物の前記分類に基づいて前記複数のさらなる植物の１つ以上のさらなる植物のサブセットを事前選択するステップ（３１４）と、
前記さらなる植物を表す前記画像データセットを使用してさらなる植物の前記事前選択されたサブセットを表示するステップ（３１５）と、
をさらに含む、請求項１３又は１４に記載の方法。

【請求項16】

植物を事前選択する方法であって、
複数の第１の植物を表す複数の画像データセットと、前記複数の第１の植物の遺伝子型情報、前記複数の第１の植物の表現型情報、及び、前記複数の第１の植物の系統情報のうちの少なくとも１つを含む関連する植物情報とを収集するステップ（３１２）及び記憶するステップと、
前記複数の第１の植物とは異なる複数の第２の植物に関連するデータセットに基づいて訓練される分類器を使用して、前記関連する植物情報に基づき前記複数の第１の植物を分類するステップ（３１３）であって、前記データセットが、
ユーザによる前記複数の第２の植物の観察に関する観察情報と、
前記ユーザが入力した前記複数の第２の植物の中からのユーザ選択に関するユーザ選択情報と、
前記複数の第２の植物の遺伝子型情報、前記複数の第２の植物の表現型情報、及び、前記複数の第２の植物の系統情報のうち少なくとも１つを含む植物情報と
を含む、分類するステップ（３１３）と、
前記分類器によって生成される前記第１の植物の分類に基づいて、前記複数の第１の植物のうちの１つ以上の第１の植物のサブセットを事前選択するステップ（３１４）と、
前記画像データセット（１２１）を使用して前記第１の植物の前記事前選択されたサブセットを表示するステップ（３１５）と、
を含む方法。

【請求項17】

前記第１の植物を用意するステップ（３１０）をさらに含み、前記複数の画像データセットを収集する前記ステップ（３１２）が、画像センサを使用して第１の植物のそれぞれの少なくとも１つの画像データセットを撮像するとともに、ユーザによって、前記表示された事前選択された植物のサブセットの中から少なくとも１つの植物を選択することを含む、請求項１６に記載の方法。

【請求項18】

第１の植物の前記事前選択されたサブセットのうちどれがユーザによって観察されるかに関する情報を含む観察情報を生成するステップ（３１６）、及び前記観察情報を記憶するステップと、
第１の植物の前記事前選択されたサブセットの中からの少なくとも１つの第１の植物のユーザ選択を示す入力を受けるステップ（３１７）、及び前記少なくとも１つの第１の植物の前記ユーザ選択に関連する情報を記憶するステップと、
をさらに含む、請求項１６又は１７に記載の方法。

【請求項19】

プロセッサシステムによって実行されるときに請求項１３、１５、１６、又は、１８のいずれか一項に記載の方法を前記プロセッサシステムに実行させる命令を含むコンピュータプログラム製品。

【発明の詳細な説明】

【発明の分野】

【0001】

[0001]本発明は、植物選択装置に関する。本発明は植物選択方法にさらに関する。

【発明の背景】

【0002】

[0002]植物育種を目的とした植物の特性に基づいた植物の選択は、非常に困難で時間のかかる作業である。たとえば、屋内環境での温室トマト植物のデジタル化及び視覚化は、Ｄａｗｅｉ Ｌｉ ｅｔ ａｌ、「屋内環境での温室トマト植物のデジタル化及び視覚化」、Ｓｅｎｓｏｒｓ ２０１５、１５、４０１９－４０５１から知られている。

【0003】

[0003]植物を監視するためのシステムは、国際公開第２０１８／１３０６０６号から知られている。そのシステムは、入力ユニット、出力ユニット、及び、複数の植物に関する画像データを提供するプロセッサを備え、各画像データは個々の植物に関連付けられている。システムは、各植物の画像データを対応する植物特性データに関連付ける。システムは、植物特性データに基づいて植物のサブセットを選択する。コンピュータグラフィックスオブジェクトは、本明細書では、たとえば、写真、点群、及び、オブジェクトファイルとして理解される。システムは、選択した植物に対応する複数のコンピュータグラフィックスオブジェクトを生成する。システムは、選択した各植物の画像データを、コンピュータグラフィックステクスチャの形式で、対応するコンピュータグラフィックスオブジェクトに適用する。システムは、コンピュータグラフィックスシーンの３次元空間における各コンピュータグラフィックスオブジェクトの位置を決定する。システムは、シーンのコンピュータグラフィックスレンダリングを作成する。システムは、コンピュータグラフィックスのレンダリングを表示する。

【0004】

[0004]そのようなシステムを使用して多数の植物を視覚化できる能力は、実際の植物の直接検査と比較して、植物の評価及び選択を大いに容易にする。しかしながら、システムをさらに改善できれば有利である。

【発明の概要】

【0005】

[0005]植物選択のための補助を行うことが本発明の目的である。この懸念により良く対処するために、植物を分類するための分類器を訓練するための装置であって、
複数の植物を表す複数の画像データセットと、複数の植物の遺伝子型情報、複数の植物の表現型情報、及び、複数の植物の系統情報のうちの少なくとも１つを含む関連する植物情報とを記憶するための記憶手段と、
複数の植物のうちの１つ以上の植物のサブセットを事前選択するための事前選択ユニットと、
画像データセットを使用して植物の事前選択されたサブセットを表示するための表示デバイスと、
植物の事前選択されたサブセットのうちどれがユーザによって観察されるかに関する情報を含む観察情報を生成するための追跡ユニットであって、記憶手段が観察情報を記憶するように構成されている、追跡ユニットと、
植物の事前選択されたサブセットの中からの少なくとも１つの植物のユーザ選択を示す入力を受信するための入力デバイスであって、記憶手段が、少なくとも１つの植物のユーザ選択に関連する情報を記憶するように構成されている、入力デバイスと、
植物を分類するための分類器と、
観察情報と、ユーザ選択に関連する情報と、遺伝子型情報、表現型情報、及び、系統情報のうちの前記少なくとも１つを含む植物情報とに基づいて分類器を訓練するための訓練ユニットと、
を備える装置が提供される。

【0006】

[0006]どの植物がユーザによって観察されており、どの植物がその後にユーザによって選択されるかを追跡することにより、訓練ユニットは、そのような選択を予測するために植物の分類を行うように分類器を訓練することができる。具体的には、訓練された分類器によって出力される分類を使用して、選択プロセスに関連する植物の事前選択を行うことができる。このように、植物の手動選択は、事前選択された植物に焦点を合わせることができる。このようにすると、たとえば手動で評価する必要のある植物が少なくなるため、植物の選択をはるかに効率的に実行できる。言い換えれば、以前の植物の選択について行われた観察は、まだ観察されていない材料を事前選択するために使用することができる。たとえば、訓練ユニットは、さらなる育種のための植物の予期される適合性を示す分類を出力するべく分類器を訓練するように構成され得る。たとえば、分類は、育種に対するそれらの予期される適合性に従った植物のランキングを含み得る。そのようなランキングは、スコア又は数値を含み得る。或いは、分類器によって出力される分類は、たとえば、植物が潜在的に適切な植物の事前選択の一部であるべきかどうかを示すバイナリ値であってもよい。事前選択ユニットは、植物情報及び（部分的に訓練された）分類器の出力に対する特定の制約の少なくとも１つに基づいて事前選択を行うように構成され得る。

【0007】

[0007]事前選択された複数の植物のうちどれが観察されるかに関する情報とは別に、観察情報は、以下、すなわち、観察される植物のうちどの特定の部分が観察されるか、植物のどの画像データセットが観察されるか、植物のどの画像データセットのどの部分が観察されるか、及び、植物、植物の一部、植物の画像データセット、又は、植物の画像データセットの一部が観察される時間のうちの少なくとも１つに関する情報をさらに含んでもよい。この情報は、分類器をより正確に訓練するために使用できる。訓練によって、分類器は、たとえば、観察された植物の部分を植物の特定の表現型又は遺伝子型情報に関連付け、その関連情報を使用して、類似の表現型又は遺伝子型を有する他の植物を分類することができる。

【0008】

[0008]観察される特定の部分は、根、茎、葉、花、及び、果実のうちの少なくとも１つを含んでもよい。たとえば、根、茎、葉、花、又は、果実のうちどれが最も又は最も長く観察されるかを検出することができ、この情報は分類器への入力であってもよい。或いは、観察される特定の根、茎、葉、花又は果実を検出して入力として使用することができる。たとえば、最も低い根／茎／葉／花／果実は、植物の最も高い根／茎／葉／花／果実と区別され得る。

【0009】

[0009]追跡ユニットは、観察者の頭部に取り付けられるための頭部装着可能デバイスの視線追跡器又は移動センサ又は位置センサなどの追跡デバイスに通信可能に接続されてもよい。追跡ユニットは、追跡デバイスからの信号に基づいて観察情報を生成するように構成してもよい。これにより、観察された植物（の一部）を正確かつ効率的に検出できる。

【0010】

[0010]表示デバイスは、選択された複数の植物の画像データセットを３次元シーンにおいて示すように構成されている、仮想現実（ＶＲ）又は拡張現実（ＡＲ）システムを備えてもよい。これにより、実際の植物をユーザの前に置いているように見せつつ、選択された植物の画像データセットをユーザに提示することができる。さらに、ＶＲ又はＡＲシステムは、観察情報を生成するために追跡ユニットに通信可能に接続され得る追跡デバイスを備えることができる。

【0011】

[0011]事前選択ユニットは、分類器によって生成された植物の分類に応じて、複数の植物を事前選択するように構成されてもよい。これにより、分類器を使用しながら分類器を改善できる。最初の訓練の後、分類器を使用して複数の植物を事前選択することができる。しかしながら、これらの植物を視覚化しつつ収集された観察情報及び選択情報は、このさらなる情報に基づいて分類器を訓練することにより分類器をさらに改善するために使用できる。

【0012】

[0012]本発明の他の態様によれば、植物選択で使用するための装置は、
複数の第１の植物を表す複数の画像データセットと、複数の第１の植物の遺伝子型情報、複数の第１の植物の表現型情報、及び、複数の第１の植物の系統情報のうちの少なくとも１つを含む関連する植物情報とを記憶するための記憶手段と、
関連する植物情報に基づいて第１の植物を分類するための分類器であって、分類器が、複数の第１の植物とは異なる複数の第２の植物に関連するデータセットに基づいて訓練され、データセットが、ユーザによる第２の植物の観察に関する観察情報と、ユーザが入力した第２の植物の中からの少なくとも１つの植物のユーザ選択に関するユーザ選択情報と、データセット内の第２の植物の遺伝子型情報、データセット内の第２の植物の表現型情報、及び、データセット内の第２の植物の系統情報のうちの少なくとも１つを含む植物情報とを含む、分類器と、
分類器によって生成される第１の植物の分類に基づいて、複数の第１の植物のうちの１つ以上の植物のサブセットを事前選択するための事前選択ユニットと、
画像データセットを使用して第１の植物の事前選択されたサブセットを表示するための表示デバイスと、
を備える。

【0013】

[0013]植物の選択を行うために評価すべき植物の数が減少するため、植物選択プロセスがより効率的になる。実際に、事前選択ユニットは、分類器によって実行される（自動）分類に基づいて、第１の植物のサブセットを事前選択することによって事前選択を行うことができる。このようにすると、想定される目的に適した候補となる可能性が低い植物を手動で評価する必要がない。

【0014】

[0014]植物選択に使用するための装置は、植物の事前選択されたサブセットのうちどれがユーザによって観察されるかに関する情報を含む観察情報を生成するための追跡ユニットであって、記憶手段が観察情報を記憶するように構成されている、追跡ユニットと、第１の植物の事前選択されたサブセットの中からの少なくとも１つの植物のユーザ選択を示す入力を受信するための入力デバイスであって、記憶手段が少なくとも１つの植物のユーザ選択に関連する情報を記憶するように構成されている、入力デバイスとをさらに備えてもよい。このように記憶された情報は、分類器をさらに訓練するために使用することができ、それにより、分類器は、適切な植物をより良く特定することができる。

【0015】

[0015]前述の装置のいずれも、第１の植物の事前選択されたサブセットの中からの少なくとも１つの植物のユーザ選択を示す入力を受信するための入力デバイスと、ユーザ選択に対応する実際の少なくとも１つの植物を特定するとともに、少なくとも１つの植物を指定された位置に輸送することによって複数の保管された植物から少なくとも１つの植物を分離するための植物コンベアシステムとを備えてもよい。これにより、効率的に、選択した植物を物理的に利用できるようになる。

【0016】

[0016]前述した装置のいずれも、画像センサに対して植物を、たとえばカメラの前で、自動的に配置し、画像センサを使用して植物の画像データセットを撮像した後、植物をその指定された位置に自動的に移動するとともに、画像センサを使用して次の植物の画像データセットを撮像するために画像センサに対して次の植物を自動的に配置するための自動植物撮像装置であり、記憶手段は、撮像された画像データセットをそれぞれの対応する植物に関連して記憶するように構成されている、自動植物撮像装置をさらに備えてもよい。これにより、植物の画像データセットを効率的に収集できるとともに、植物の他の表現型情報を自動的に評価するのに役立ち得る。

【0017】

[0017]前述した装置のいずれも、植物の少なくとも１つの画像データセットの画像分析を実行して画像データセットに基づいて植物の表現型特性を検出することによって表現型情報を生成するように構成されている表現型検出ユニットをさらに備えてもよい。

【0018】

[0018]本発明の他の態様によれば、植物を分類するための分類器を訓練する方法は、
複数の植物を表す複数の画像データセットと、複数の植物の遺伝子型情報、複数の植物の表現型情報、及び、複数の植物の系統情報のうちの少なくとも１つを含む関連する植物情報とを収集するステップ及び記憶するステップと、
植物の事前選択されたサブセットを取得するために複数の植物のうちの１つ以上の植物のサブセットを事前選択するステップと、
画像データセットを使用して植物の事前選択されたサブセットを表示するステップと、
植物の事前選択されたサブセットのうちどれがユーザによって観察されるかに関する情報を含む観察情報を生成するステップ、及び観察情報を記憶するステップと、
植物の事前選択されたサブセットの中からの少なくとも１つの植物のユーザ選択を示す入力を受信するステップ、及び少なくとも１つの植物のユーザ選択に関連する情報を記憶するステップと、
植物を分類するための分類器を訓練するステップであって、訓練するステップが、観察情報と、ユーザ選択に関連する情報と、遺伝子型情報、表現型情報、及び、系統情報のうちの前記少なくとも１つを含む植物情報とに基づいている、訓練するステップと、
を含む。

【0019】

[0019]方法は、植物を事前選択するための分類器を訓練できるようにする。

【0020】

[0020]方法は、植物を用意するステップをさらに含み、複数の画像データセットを収集するステップは、画像センサを使用して各植物の少なくとも１つの画像データセットを撮像することを含んでもよい。これにより、たとえばユーザが作成した遺伝資源に基づいて、分類器の訓練が可能になる。

【0021】

[0021]方法は、
複数のさらなる植物を表すさらなる複数の画像データセットと、さらなる植物の遺伝子型情報、さらなる植物の表現型情報、及び、さらなる植物の系統情報のうちの少なくとも１つを含む関連するさらなる植物情報とを収集するステップ及び記憶するステップと、
さらなる植物の分類を生成するために、訓練された分類器を使用して、関連するさらなる植物情報に基づいてさらなる植物を分類するステップと、
さらなる植物の事前選択されたサブセットを取得するために、分類器によって生成されるさらなる植物の分類に基づいて複数のさらなる植物の１つ以上のさらなる植物のサブセットを事前選択するステップと、
さらなる植物を表す画像データセットを使用してさらなる植物の事前選択されたサブセットを表示するステップと
をさらに含んでもよい。これにより、訓練された分類器を使用して植物の事前選択を行うことができ、それにより、植物の事前選択されたサブセットのみが視覚化される。

【0022】

[0022]方法は、任意選択で、さらなる植物の事前選択されたサブセットの中からの少なくとも１つのさらなる植物のユーザ選択を示す入力を受けるとともに、少なくとも１つのさらなる植物のユーザ選択に関する情報を記憶するステップをさらに含むことができる。これにより、選択に基づいた植物の任意選択的な自動処理が可能である、及び／又は、さらなる植物に関連して収集された情報を使用して分類器をさらに訓練することができる。

【0023】

[0023]本発明の他の態様によれば、植物を事前選択する方法は、
複数の第１の植物を表す複数の画像データセットと、複数の第１の植物の遺伝子型情報、複数の第１の植物の表現型情報、及び、複数の第１の植物の系統情報のうちの少なくとも１つを含む関連する植物情報とを収集するステップ及び記憶するステップと、
複数の第１の植物とは異なる複数の第２の植物に関連するデータセットに基づいて訓練される分類器を使用して、関連する植物情報に基づき第１の植物を分類するステップであって、データセットが、ユーザによる複数の第２の植物の観察に関する観察情報と、ユーザが入力した複数の第２の植物の中からのユーザ選択に関するユーザ選択情報と、複数の第２の植物の遺伝子型情報、複数の第２の植物の表現型情報、及び、複数の第２の植物の系統情報のうち少なくとも１つを含む植物情報とを含む、分類するステップと、
分類器によって生成される第１の植物の分類に基づいて、複数の第１の植物のうちの１つ以上の第１の植物のサブセットを事前選択するステップと、
画像データセットを使用して第１の植物の事前選択されたサブセットを表示するステップと、
を含む。

【0024】

[0024]これは、植物の適切なサブセットがユーザによる検査のために視覚化され、その後、ユーザが植物の事前選択されたサブセットに注意を集中することができるため、植物の選択を容易にする。

【0025】

[0025]方法は、複数の第１の植物を用意するステップ及び／又は事前選択されたサブセットの中から少なくとも１つの植物をユーザによって選択するステップをさらに含んでもよい。これは選択プロセスを完了させる。

【0026】

[0026]方法は、第１の植物の事前選択されたサブセットの中からの少なくとも１つの植物のユーザ選択を示す入力を受け、少なくとも１つの植物のユーザ選択に関連する情報を記憶するステップをさらに含むことができる。これにより、選択した少なくとも１つの植物を指定された位置に輸送するなど、ユーザ選択に基づいて特定の自動化されたアクションを実行できる。

【0027】

[0027]任意選択で、方法は、第１の植物の事前選択されたサブセットのうちどれがユーザによって観察されるかに関する情報を含む観察情報を生成するステップ、及び該観察情報を記憶するステップと、
第１の植物の事前選択されたサブセットの中からの少なくとも１つの第１の植物のユーザ選択を示す入力を受けるステップ、及び少なくとも１つの第１の植物のユーザ選択に関連する情報を記憶するステップと、
をさらに含む。その後、植物を分類するための分類器は、第１の植物に関する観察情報、少なくとも１つの第１の植物のユーザ選択に関する情報、及び、少なくとも１つの第１の植物の植物情報に基づいてさらに訓練され得る。これは、後続の選択方法で使用する分類器を改善するのに役立つ。

【0028】

[0028]方法は、第１の植物を用意するステップをさらに含むことができ、複数の画像データセットを収集するステップは、画像センサを使用して第１の植物のそれぞれの少なくとも１つの画像データセットを撮像することを含み得る。これにより、たとえば、ユーザが作成した遺伝資源の中から選択することができる。

【0029】

[0029]本発明の他の態様によれば、プロセッサシステムによって実行されるときに記載された方法の少なくとも１つをプロセッサシステムに実行させる命令を含むコンピュータプログラム製品が提供される。

【0030】

[0030]本発明の他の態様によれば、訓練された分類器は、植物を評価するブリーダーを支援するために植物を分類するべく設けられ、分類器は、植物を分類するための分類器を訓練するための装置又は本明細書中に記載される植物を分類するための分類器を訓練する方法によって訓練されてしまっている。

【0031】

[0031]当業者であれば分かるように、上記の特徴を有用であると考えられる任意の方法で組み合わせることができる。さらに、記載された装置に関して説明された改変及び変形は、同様に方法に適用されてもよく、また、方法に関して記載された改変及び変形は、同様に装置に適用されてもよい。

【図面の簡単な説明】

【0032】

[0032]以下、図面を参照して、本発明の態様を一例として説明する。図面は、概略的であり、原寸に比例して描かれていない場合がある。

【図1】図１は、植物の選択を支援する及び／又は分類器を訓練するための装置の図である。

【図2】図２は、複数の選択された植物を観察するために使用される仮想現実機器を示す図である。

【図3A】図３Ａは、分類器を訓練する方法を示す図である。

【図3B】図３Ｂは、訓練された分類器を使用して植物選択を支援する方法を示す図である。

【図4】図４は、複数のコンピュータグラフィックスオブジェクトを示す図である。

【図5】図５は、複数のコンピュータグラフィックスオブジェクトを異なる視点から示す図である。

【図6】図６は、複数のコンピュータグラフィックスオブジェクトを示す図であり、そのうちのいくつかが部分的に非表示になっている図である。

【発明の詳細な説明】

【0033】

[0033]添付の図面を参照して、特定の例示的な実施形態をより詳細に説明する。

【0034】

[0034]詳細な構成及び要素などの説明に開示された事項は、例示的な実施形態の包括的な理解を支援するために提供される。したがって、例示的な実施形態は、それらの具体的に定義された事項なしで実施できることは明らかである。また、よく知られている動作や構造は、不必要な詳細で説明を曖昧にするため、詳細には説明されない。さらに、当業者には明らかなように、本明細書に開示される技術の多くの変形及び修正が可能であり、それらは、特許請求の範囲、及びそれらの均等物によって定義される本発明の思想及び範囲内にある。

【0035】

[0035]ユーザによって行われる植物の選択は、明示的にモデル化することが困難である可能性がある多くの要因に依存する可能性がある。結果として、そのような選択は自動化するのが複雑である。本開示は、特定の選択を行うときにユーザを積極的に支援するために使用することができる特定の技術を記載している。このようにして、ユーザの作業をより効率的に実行できる。

【0036】

[0036]特定の実施形態において、ユーザは、仮想現実温室で働く機会を提供され得る。仮想現実温室内では、ユーザが行った選択をリアルタイムで監視できる。これらの選択は、ユーザがまだ観察していない資料の並べ替えに使用できる。学習アルゴリズムの入力には、１）植物の画像データセット、２）それらの画像データセットから撮像された或いはさもなければ自動的に（又は手動で）検出されたデジタル表現型、３）ユーザが選択を行う前に費やした時間、４）選択を行う前又は選択を行うときにユーザが見た正確な画像データセット、及び／又は、５）選択が行われる前又はその時点でユーザが見ていた特定の画像部分のいずれか１つ以上が含まれる。ユーザはブリーダーであるかもしれないが、本技術の適用はそれに限定されない。この方法及び装置は、一般に植物の選択を行うために利用することができる。たとえば、農業従事者は、本明細書に開示される技術を使用して植物の選択を行うことができる。たとえば、植物は、本明細書に開示される技術を使用して、収穫、リサイクル、又は特定の処理を受けるために選択され得る。したがって、本明細書に開示される技術は、アクティブなデジタルブリーダー又は農業従事者のアシスタントを提供するために使用され得る。したがって、ユーザの作業負荷が大幅に軽減される。分類器を訓練するための十分に大きなデータセットを取得するための最初のハードルは難しいかもしれないが、段階的な手法により、訓練データセットを経時的に収集できる場合がある。

【0037】

[0037]特定の実施形態において、仮想現実を能動学習に使用することができる。さらに、ユーザが行う選択をリアルタイムで監視することもできる。これらの選択について収集された情報は、ユーザがまだ観察していない資料の並べ替えに使用できる。

【0038】

[0038]特定の実施形態において、学習アルゴリズムの入力は、植物の画像データセット、それらの画像データセットから撮像されたデジタル表現型、ユーザが選択を行うために画像を見るのに費やした時間、選択が行われる前にユーザが見ていた正確な画像データセット（さらには画像部分）の少なくとも１つ以上を含み得る。

【0039】

[0039]ユーザが見ている画像又は画像部分を記録するために、いくつかの技術的解決策が採用され得る。通常のコンピュータモニタの場合、ユーザは、一度に大きなサイズで表示するために、選択した画像データセットの１つを選択できる場合がある。拡大された画像は、ユーザが見ている画像と考えることができる。ユーザが植物の特定の部分に合わせてディスプレイを拡大すると、拡大された視覚化における植物のこの部分は、ユーザが見ている植物の一部であると考えられる場合がある。ユーザが見ているものを追跡するより直接的な方法も想定し得る。たとえば、既知の視線追跡器は、ユーザが実際に見ているものの焦点やユーザの視線の方向を検出できる。この情報をディスプレイの場所とディスプレイに表示されているものにマッピングすることにより、ユーザが表示されている画像データセットのどの部分を見ているかを検出することが可能になる。さらに、仮想現実の頭部装着可能デバイスは、頭の動きに応じてユーザの眼に提供される画像を適応させて、空間を通る自然な動きをシミュレートすることが知られている。このようなシステムは、ユーザの視野にある画像を出力する頭部装着可能デバイス内の表示デバイスを制御するため、ユーザが何を見ているかも認識する。さらに、視線追跡器を追加して、ユーザが見ている画像の部分をさらに詳細に検出することができる。

【0040】

[0040]特定の実施形態において、学習アルゴリズムへのさらなる入力は、植物のＤＮＡ、ＲＮＡ、ｃＤＮＡ、低分子ＲＮＡなどのうちの少なくとも１つ以上を含み得る。一般に、植物の任意の染色体情報又は遺伝子データを使用することができる。

【0041】

[0041]これに加えて又は代えて、系統情報を学習アルゴリズムへの入力として使用することができる。系統情報には、植物の系統図（family tree、ファミリーツリー）の情報が含まれ得るが、これに限定されない。たとえば、植物の１つ以上のファミリーメンバの遺伝子型データ又は表現型データを系統情報に含めることができる。また、この植物又は遺伝子型のファミリーメンバのスコアが組み込まれる場合がある。また、現在の植物とは異なる場所又は環境状況にあるファミリー又は遺伝子型の植物のスコアを入力として使用することができる。

【0042】

[0042]特定の実施形態において、学習アルゴリズムへのさらなる入力は、表現型情報、たとえば、植物のデジタル表現型を含み得る。このようなデジタル表現型には、色、構造、アーキテクチャ、成長速度、病斑、強度、サイズ、果実の風味など、植物の検出可能な特性が含まれるが、これらに限定されない。表現型情報は、植物に存在する代謝物及び／又はタンパク質に関する情報、たとえば、植物のトランスクリプトミクス、メタボロミクス、及び／又はプロテオミクス情報であってもよい。「植物」は、本明細書では、植物全体、植物の一部、及び／又は植物製品、たとえば、葉、果実、花、幹、根、及び種子を指すが、これらに限定されない。

【0043】

[0043]特定の実施形態において、観察情報がヒートマップを含み得る。ヒートマップは、植物の特定の部分又は植物を示す特定の画像データセットを見るのに費やされた時間を示してもよい。たとえば、観察情報又はヒートマップは、植物を示す画像データセットへの注釈を含んでもよく、この場合、注釈は、植物画像データセットの各部分について、ユーザが植物画像データセットのその部分を見た時間を示す。たとえば、植物画像データセットが複数のピクセル又はボクセルで構成されている場合、注釈は、各ピクセル又はボクセルについて、そのピクセル又はボクセルが観察された時間を示すことができる。植物画像データセットが点群で構成されている場合、注釈は点群の各点について、その点が観察された時間を示すことができる。また、いずれの場合でも、観察情報は、たとえば、各観察にタイムスタンプを追加することによって、部分が観察される時系列の順序を示すことができる。ヒートマップは、観察情報を表現する方法の１つの例示的な実施態様にすぎないことが理解される。代替表現が可能である。たとえば、ヒートマップの代わりに、観察情報は、ユーザによって行われた観察のリストを含み得る。各観察には、何が、いつ、及び／又はどのくらいの期間観察されたかの表示を含めることができる。たとえば、観察は、特定の画像データセットへの参照、及び任意選択で、ユーザが観察したピクセル、ボクセル、又は点のセットなどの画像データセット内の部分の表示を含み得る。

【0044】

[0044]追跡ユニット１２７は、たとえば追跡デバイス１５を使用して、観察されている植物又は植物画像データセットの部分を検出し、次いで、検出された部分に基づいて、本明細書に記載の観察情報１２３を生成するように構成され得る。

【0045】

[0045]本明細書に開示される技術は、ユーザが植物に取り組んでいる間にユーザから学ぶことを可能にする。その結果、収集されたデータを使用してアクティブなデジタルアシスタントを訓練できる。最終的に、これによりユーザの作業負荷が軽減され得る。

【0046】

[0046]ユーザは、たとえば、特定の選択基準に基づいて植物を選択することができる。このような基準には、表現型情報が含まれ得るが、これに限定されない。たとえば、ユーザは、色、構造、アーキテクチャ、成長速度、病斑、強度、サイズ、果実の風味など、植物の検出可能な特性に関する選択基準を使用できる。「植物」とは、本明細書では植物全体、植物及び／又は植物製品の一部、たとえば葉、果実、花、幹、根、種子などを指す。

【0047】

[0047]図１は、植物を選択するための補助を提供することができる装置の図を示す。説明のために、図は、複数の植物６を育てることができる温室１を示している。また、図は、植物の画像を撮像するための設備を示す。その設備は、温室からの植物７がロボット（図示せず）によって自動的に配置され得るコンベアベルト３を備える。植物は、制御された照明を伴うチャンバ４に持ち込むことができる。１つの植物５は、コンベアベルトによってチャンバ４に持ち込まれ、カメラ２によって写真撮影され得る。その後、植物は、以前に撮影された植物８によって示されるように、コンベアベルト３によって、チャンバ４から温室１に戻され得る。これは、植物の画像データセットを収集するための設備の非常に単純化された表現であることが理解される。さらに、異なる方向からの異なるカメラ及び／又は可視光、赤外線、近赤外線、紫外線などの異なる波長範囲に敏感な異なるカメラを使用して、各植物の複数の画像データセットを撮像することができる。また、同じ植物は、その寿命の間に複数回撮像することができる。

【0048】

[0048]たとえば、カメラ２によって撮像される画像データセットは、植物選択装置１０の通信ユニット１３によって送受信され得る。植物選択装置１０は、プロセッサ１１及びストレージ１２、たとえば、メモリをさらに備えることができる。通信ユニット１３は、たとえば、有線又は無線ネットワーク接続及び／又はユニバーサルシリアルバス（ＵＳＢ）を備えることができ、それによって、通信ユニット１３は、カメラ２、表示デバイス１４、追跡デバイス１５、及び入力デバイス１６などの周辺機器と通信することができる。プロセッサは、ストレージ１２に記憶されたコンピュータコード１２５を実行するように動作可能であり得る。ストレージ１２は、プロセッサ１１の制御下で、とりわけ、植物画像データセット１２１、植物情報１２２、観察情報１２３、ユーザ選択情報１２４、及び、分類器１２９をさらに記憶するように構成され得る。コード１２５は、とりわけ、事前選択ユニット１２６、追跡ユニット１２７、及び訓練ユニット１２８を備え得る。これらのユニットの他の実施態様も、たとえば、専用の電子回路を使用して可能である。

【0049】

[0049]たとえば、カメラ２によって撮像される画像データセットは、植物選択装置１０の通信ユニット１３によって送受信され得る。これらの植物画像データセット１２１は、プロセッサ１１の制御下でストレージ１２に記憶することができる。さらに、植物の画像データセットが撮像された日付及び／又は時刻、及び植物自体に関する情報、たとえばその遺伝子型及び／又は表現型に関する情報、並びにその系統に関する情報などを含むメタデータを植物画像データセットに関連して記憶することができる。それぞれの植物６ごとに、植物情報１２２を含む記録がストレージ１２に記憶されてもよい。各植物画像データセットは、対応する植物６の植物情報に関連付けられ得る。

【0050】

[0050]事前選択ユニット１２６は、複数の植物６を事前選択するように構成され得る。事前選択は、たとえば、特定の表現型又は遺伝子型の制約などであるがこれらに限定されない異なる基準に基づいて自動的に実行され得る。たとえば、植物事前選択装置１０は、特定の育種目標のために構成されてもよく、特定の遺伝病の欠如又は特定の望ましくない表現型の特徴の欠如などの特定の最小の制約が設定され得る。

【0051】

[0051]任意選択で、事前選択ユニット１２６は、分類器１２９に基づいて複数の植物を事前選択するように構成され得る。分類器１２９は、ソフトウェア及び／又はパラメータ値の形態で、ストレージ１２又は遠隔サーバに部分的に又は全体的に記憶されてもよい。或いは、分類器１２９は、専用の電子回路を使用して実装され得る。分類器１２９は、ある形態の人工知能に基づくことができる。分類器１２９は、たとえば、人工ニューラルネットワーク、たとえば、畳み込みニューラルネットワークを備えてもよい。或いは、分類器１２９は、たとえば、統計モデルを備えてもよい。分類器１２９は、植物画像データセット１２１、植物情報１２２、及び／又は観察情報１２３（利用可能な場合）などの植物に関連する情報を受信し、植物を分類するように構成され得る。事前選択ユニット１２６は、分類器１２９によって出力された分類に基づいて事前選択を実行するように構成され得る。たとえば、分類器１２９は、「選択に関連する」、「選択に関連しない」などの分類を出力するように構成され得る。或いは、分類器１２９は、分類としてのスコア（たとえば、植物に関連する数値）、たとえば、植物がさらなる育種に適した候補である可能性を表すスコアを出力するように構成され得る。

【0052】

[0052]植物選択装置１０は、事前選択ユニット１２６によって事前選択された、複数の植物６の画像データセットを表示するための表示デバイス１４をさらに備え得る。たとえば、植物選択装置１０は、選択した各植物の特定の画像データセット、又は事前選択された各植物の最新の画像データセットの最新のセットを表示するように構成され得る。特定の実施形態において、表示デバイス１４は、事前選択された各植物の３次元再構成を表示するように構成されてもよく、この再構成は、複数の撮像された画像データセットを組み合わせることによって構成されてもよい。たとえば、植物選択装置１０は、複数の事前選択された画像データセット、又はすべての事前選択された画像データセットを含む３次元のグラフィカルシーンを同時にレンダリングするように構成され得る。植物選択装置１０は、３次元のグラフィカルオブジェクトを生成することができ、各グラフィカルオブジェクトは、いくつかの異なる側面から同じ植物を示す。これらの複数のグラフィカルオブジェクトは、温室に似た３次元シーンで視覚化できる。或いは、各植物は、既知の技術を使用して視覚化することができる点群又はベクトルグラフィックスオブジェクトによって表すことができる。これらの視覚化により、ユーザは慣れ親しんだ状況で植物を評価可能となり得る。表示デバイス１４は、たとえば、仮想現実頭部装着可能デバイス又は拡張現実頭部装着可能デバイスの構成要素であってもよい。或いは、表示デバイス１４は、シャッター眼鏡又は偏光眼鏡を備えたユーザが見ることができる３次元表示画面を備えてもよい。或いは、表示デバイス１４は、２次元ディスプレイ（モニタ、テレビ）を備えてもよく、任意の３次元効果は、透視レンダリングを使用することによって示唆され得る。

【0053】

[0053]植物選択装置１０は、入力デバイス１６を介して受信されたユーザ入力に基づいて、事前選択された植物の異なるサブセットを順次表示することによって、複数の選択された植物を閲覧できるようにするべく構成されてもよく、或いは、たとえばＶＲ環境内で、たとえば加速度計を有する頭部装着可能デバイスによるユーザの頭部の検出された動きによって、事前選択された植物で満たされたシーン全体にわたってユーザが仮想的に移動できるようにするべく構成されてもよい。

【0054】

[0054]追跡ユニット１２７は、観察情報１２３を生成するように構成され得る。この観察情報１２３は、どの植物、又は植物のどの部分、又は植物のどの画像データセットが表示及び／又は見られるかの任意の情報を含み得る。そのような情報を収集する様々な方法が、たとえば、表示デバイス１４によって表示されるもののログを生成することによって想定される。或いは、追跡デバイス１５を使用して、表示された植物に対してユーザの視線の方向を追跡することができる。このようにして、視野方向と表示された植物との交点を検出することにより、検査されている植物を決定することができる。植物のどの部分が検査されているか、そしてどのくらいの期間検査されているかを検出することさえ可能である。このすべての情報は、観察情報１２３としてストレージ１２に記憶することができる。

【0055】

[0055]追跡デバイス１５は、観察者の視線方向を追跡するための視線追跡器を備え得る。この技術は、表示された植物画像データセットに関する視線方向を検出し、どの植物が観察されるのか、特に植物のどの部分が観察されるのかを追跡するために使用できる。視線追跡器は、光学的追跡など、当技術分野でそれ自体が知られている。ビデオベースの視線追跡では、カメラは、片方又は両方の眼に焦点を合わせ、視聴者が植物の画像を見るときの眼の動きを記録する。たとえば、視線追跡器は瞳孔の中心と赤外線／近赤外線の非コリメート光とを使用して角膜反射を作成する。瞳孔中心と角膜反射との間のベクトルを使用して、表面又は注視方向の注視点を計算できる。

【0056】

[0056]表示デバイス１４及び追跡デバイス１５を頭部装着可能デバイス２０１に組み合わせることができるのが有利である。表示デバイス１４は、表示された画像をユーザの網膜に投影するための対応する接眼鏡を備えた２つの小さなディスプレイを備え得る。頭部装着可能デバイス２０１に含まれる追跡デバイス１５は、動きセンサ、たとえば、加速度計を備え得る。頭部装着可能デバイス２０１の追跡デバイス１５は、位置センサ、たとえば、ＧＰＳ又は屋内ナビゲーションシステムの位置センサをさらに備え得る。頭部装着可能デバイス２０１の追跡デバイス１５は、たとえば、コンパスをさらに備えることができる。頭部装着可能デバイス２０１の追跡デバイス１５は、ユーザの視野を検出するためのさらなる又は別のセンサを装備することができる。追跡ユニット１２７は、これら又は類似のセンサのいずれか１つ又は組み合わせからの信号に基づいて、観察者の視野に関する情報を生成するように構成され得る。観察者の視野のこの情報は、観察情報１２３を生成するために使用され得る。

【0057】

[0057]たとえば、表示デバイス１４が視認可能な画面を含む場合、追跡ユニット１２７は、決定された視野を画面に表示された画像と比較することができる。視野が画面と重なる場合、追跡ユニット１２７は、どの植物又は植物の部分が観察者の視野に表示されるのかを決定することができる。さらに、追跡ユニット１２７は、どの植物又は植物部分が視野の中心にあるのかを決定することができる。

【0058】

[0058]特定の実施形態において、表示デバイスは、選択された複数の植物の画像データセットを３次元シーンにおいて示すように構成されている、仮想現実（ＶＲ）又は拡張現実（ＡＲ）システムを備える。たとえば、頭部装着可能デバイスは、１つ又は２つの表示穴に位置合わせされた表示デバイスを備えるため、立体画像を観察者の眼に直接投影することができる。視界は、たとえば、観察者の頭部装着可能デバイスの動きに応じて、又は視線追跡器からの信号に応じて適合され得る。このようにして、現実的なＶＲ又はＡＲ体験がもたらされるだけでなく、どの植物又は植物部分が視野内及び／又は視野の中心にあるのかに関する情報を追跡ユニット１２７が生成できるようにもする。この情報は、観察情報１２３の一部として記憶することができる。

【0059】

[0059]ユーザ入力デバイスである入力デバイス１６は、複数の植物のうちの特定の植物の選択を示す入力を受けるように構成され得る。或いは、入力デバイス１６は、複数の植物のサブセットの選択を示す入力を受け取るように構成され得る。たとえば、入力デバイス１６はボタンを備え得る。ボタンが押されると、植物選択装置１０は、ユーザが見ている植物を検出するように構成されてもよく、これは、選択された植物と考えられ得る。ボタンの代わりに、音声認識コマンドを使用することができる。さらに代わりに、ユーザは、選択される植物を指すためのポインティングデバイスを提供され得る。ユーザ選択された植物に関する情報は、ユーザ選択情報１２４として追跡ユニット１２７によってメモリ１２に記憶される。

【0060】

[0060]植物画像データセット１２１、植物情報１２２、観察情報１２３、及びユーザ選択情報１２４はすべて、実際の植物と関連付けられる。たとえば、各植物画像データセットは特定の植物（の一部）を表し、その植物に関連付けられた植物情報はその植物の特定の特性を記述し、その植物に関連付けられた観察情報は少なくともその植物の画像データセットの観察を示し、その植物に関連付けられたユーザ選択情報は、その植物が選択されたかどうか（たとえば、育種のために）又はオブザーバーによって特定のラベルが付けられたかどうかを示す。したがって、これらの情報は、同じ物理的な植物に関して収集される。さらに、これらの情報は、他の植物、つまり複数の植物にも関連して収集される。

【0061】

[0061]追跡ユニット１２７は、植物選択装置が、たとえば、単一の育種プログラムの異なる世代の植物を選択するために或いは異なる育種プログラムの植物を選択するために使用されるため、観察情報１２３及びユーザ選択情報１２７を経時的に収集して記憶するように構成され得る。情報は、個々のユーザ又は異なるユーザについて追跡され得る。また、関与するユーザのユーザ識別は、観察情報１２３及び／又は選択情報１２７に関連して記憶され得る。

【0062】

[0062]特定の実施形態において、観察情報１２３は、観察される植物のうちどの特定の部分が観察され、どのくらいの期間観察され、どのような順序で植物の異なる部分が観察され、及び、植物のどの部分が植物が選択されるときに観察されるか（又は選択不可能な植物として破棄されるか）についての情報を含み得る。植物の異なる部分は、たとえば、茎、葉、花、及び果実に関連し得る。

【0063】

[0063]特定の実施形態において、観察情報１２３は、植物のどの画像データセットが観察されるかについての情報を含み得る。たとえば、植物の様々な画像データセットを経時的に撮像することができる。観察情報は、観察された画像が撮像されたときに関する情報、たとえば、観察された画像が撮像されたときの植物の年齢、又は観察された画像が撮像された年の時間を含み得る。また、異なるタイプの画像データセット（たとえば、異なって処理された画像データセット、又はカメラやライダーセンサなどの異なるタイプの画像センサで取得された画像データセット）を同じ植物について撮像して、植物の異なる表現型特性を明らかにすることができる。観察情報には、ユーザが観察する画像データセットのタイプに関する情報が含まれ得る。

【0064】

[0064]訓練ユニットは、収集された情報の少なくとも一部を使用して分類器１２９を訓練するように構成され得る。たとえば、選択情報を使用して、分類器の目標出力値を生成することができる。たとえば、植物の分類器の目標出力値は、その植物の選択情報に対応し得る。選択情報はスコアに変換され、スコアは分類器の目標出力値として使用され得る。たとえば、スコアは、ユーザがさらなる育種のために植物を選択した場合には、１であってもよく、ユーザが植物に関連する選択を行わなかった場合には、０であってもよく、及び、ユーザがさらなる育種に関する植物の不適合を示す選択を行った場合には、－１であってもよい。これに代えて又は加えて、目標出力値及び／又はスコアは、植物の子孫で得られた結果に基づくことができる。そのような結果には、子孫のユーザ選択、及び／又は子孫に関する客観的な植物情報が含まれ得る。

【0065】

[0065]分類器に関する訓練入力値は、分類器の入力形態に依存し得る。一般に、分類器の実際の使用中に利用可能である入力値に対応する訓練入力値が生成され、分類器を訓練するために使用され得る。たとえば、分類器の入力値としては、植物画像データセット１２１、植物情報１２２、及び観察情報１２３のいずれか１つ又はそれらの組み合わせを挙げることができるが、これらに限定されない。

【0066】

[0066]特定の実施形態において、観察情報は、分類器への追加の入力値として訓練中に提供され得る。これらの追加の入力値は補助入力と呼ばれる場合がある。分類器は、画像データセット及び／又は植物情報をより良く解釈するための補助として観察情報を使用し得る。訓練後、分類器を適用して新しい（観察されていない）植物を分類する場合、観察情報に対応する入力を省略したり、デフォルト値に設定したりできる。

【0067】

[0067]特定の実施形態において、訓練ユニット１２８は、分類器を訓練するために使用されるデータに対して前処理操作を実行するための前処理ユニットを備え得る。

【0068】

[0068]たとえば、前処理ユニットは、観察情報１２３を画像データセット１２１及び／又は植物情報１２２と組み合わせて、分類器１２９により関連性のある訓練データを提供するように構成され得る。以下には、いくつかのこの例が開示される。

【0069】

[0069]第一に、植物画像データセット１２１は、増強された植物画像データセットを得るために、観察情報に基づいて修正され得る。たとえば、植物画像データセット１２１は、観察情報に基づいてマスキングされ得る。たとえば、ユーザによって観察されていない画像データセットの部分は、たとえばゼロに設定されて、削除又はマスクアウトされ得る。

【0070】

[0070]第二に、観察されなかった部分は、（マスキングされる代わりに）平滑化フィルタを適用することによって平滑化されてもよく、その結果、観察されなかった部分は、増強された植物画像データセットにおける観察された部分よりも詳細が少なくなる。

【0071】

[0071]第三に、植物の特定の部分に関連する表現型情報は、植物のその部分がユーザによって観察されなかった場合に削除され得る。たとえば、茎が観察されていない場合、茎の長さと太さに関する情報が削除されてよい。

【0072】

[0072]上記の例の特定の実施態様において、「観察されない」又は「非観察」という表現は、「予め定められた時間を超えて観察されない」に置き換えられてもよく、「観察される」という表現は、「予め定められた時間を超えて観察される」に置き換えられてもよい。

【0073】

[0073]たとえば、分類器１２９は、深層学習に適した畳み込みニューラルネットワークなどの人工ニューラルネットワークを含み得る。

【0074】

[0074]たとえば、訓練ユニット１２８は、以下のように、分類器（たとえば、ニューラルネットワーク）を訓練するための訓練アルゴリズムを実行するように構成され得る。

【0075】

[0075]最初に、分類器に関する入力値及び（目標）出力値が、収集された情報から抽出される。

【0076】

[0076]植物に関連する適切な入力値としては以下を挙げることができる。
１）植物を描いた画像データセット。これらの画像データセットは、入力値として生の形式で提供され得る。たとえば、各ピクセルを入力値にすることも、ポイントクラウドの各ポイントを３つの座標値で表すこともできる。これらの画像データセットは、必要に応じて処理又は正規化され、たとえば、植物の年齢又は画像が撮像されたときの季節を示すラベル又は注釈が付けられ得る。
２）表現型及び／又は遺伝子型及び／又は系統の特定の特性などの植物情報。これらの特性は、標準化された形式で表すことができる。たとえば、１つの数値入力値は、植物の特定の年齢で測定された茎の長さをミリメートルで表すことができる。同様に、他の表現型特性は、標準化された方法でエンコーディングすることができる。
３）画像データセット及び植物情報の両方は、たとえば、観察されなかった植物又は植物画像データセットの部分を削除することによって、観察情報に基づいて増強され得る。
４）観察情報は、分類器への補助入力として含めることもできる。
５）植物の遺伝子型情報。たとえば、ゲノム（の一部）を数値に変換して、分類器への入力値として含めることができる。

【0077】

[0077]分類器の適切な（目標）出力値は、植物が選択されるべき有用な物品と考えられるべきかどうかをエンコーディングする数値を含み得る。たとえば、選択情報がスコアに変換されてもよく、スコアは分類器の目標出力値として使用され得る。たとえば、スコアは、ユーザがさらに使用するために植物を選択した場合には、１であってもよく、ユーザが植物に関連する選択を行わなかった場合には、０であってもよく、ユーザがさらなる使用に関して植物の不適合を示す選択を行った場合には、－１であってもよい。別の実施形態において、ユーザが全く選択をしなかった植物は、訓練手順において省略される。

【0078】

[0078]訓練ユニット１２８によって実行される訓練手順は、上記のように生成された入力及び目標出力を利用することができる。訓練ユニット１２８は、植物に関して生成された入力値を分類器１２９に与えることができ、与えられた入力に応じて分類器１２９の出力値（複数可）を検索することができる。次に、訓練ユニット１２８は、実際の出力値（複数可）を目標出力値（複数可）と比較することができる。実際の出力値（複数可）と目標出力値（複数可）との間に差がある場合、訓練ユニット１２８は、分類器の出力が変更されるように、人工ニューラルネットワークの人工ニューロンの係数など、分類器１２９の特定のモデルパラメータを変更することができる。入力値及び目標出力値に基づくそのような訓練手順は、当技術分野でそれ自体が知られている。

【0079】

[0079]この訓練手順は、分類器によって生成された出力値と目標出力値との間の差が平均して特定の品質閾値を下回るまで、適切な入力値及び目標出力値が利用可能である他の植物に対して繰り返され得る。

【0080】

[0080]特定の実施形態において、訓練ユニット１２８は、分類器の反復的な「オンザジョブ」改良のために構成され得る。すなわち、選択ユニット１２６は、利用可能な情報（たとえば、植物画像データセット、植物情報、及び／又は観察情報）が利用可能になると、それを分類器への入力値として与えることによって処理するとともに、分類器の出力を使用して表示及び／又は手動選択又は育種のために特定の植物又は植物の画像データセットを選択するように構成され得る。さらに、訓練ユニット１２８は、新たな観察情報、選択情報、及び／又は植物の子孫に関連する情報が利用可能になると、その情報を使用して分類器１２９をさらに訓練するように構成され得る。たとえば、分類器のモデルパラメータ又はアルゴリズムパラメータは、新たな情報に基づいて調整され得る。たとえば、訓練ユニット１２８は、新たな情報がストレージ１２で利用可能になるたびに分類器を訓練するように構成され得る。或いは、訓練ユニット１２８は、定期的に（すなわち、特定の時間間隔で）又は一定量の新しい情報が利用可能なときにはいつでも又は任意の他のトリガーに基づいて訓練を実行するように構成され得る。

【0081】

[0081]以上、植物を選択するために使用される分類器を訓練する装置として植物選択装置１０を説明してきたことが理解される。しかしながら、これは限定ではない。特定の実施形態において、植物選択装置１０は事前に訓練された分類器１２９を備える。そのような実施形態において、訓練ユニット１２８が省略され得る。任意選択で、追跡ユニット１２７及び観察情報１２３も省略できる。しかしながら、植物選択装置１０が分類器を訓練する場合でも、上記のように、追跡ユニット１２７は、観察情報１２３を収集するために依然として設けられ得る。別の植物選択装置１０は、観察情報１２３を検索し、（さらに）収集された情報を使用して分類器を訓練することができる。

【0082】

[0082]特定の実施形態において、訓練ユニット１２７と、観察情報及び選択情報とが、異なる場所に格納されてもよい。たとえば、複数の植物選択装置１０からの情報を組み合わせて、たとえば、遠隔サーバ（図示せず）に記憶することができる。これは、訓練をさらに改善するのに役立ち得る。

【0083】

[0083]図２は、観察者が複数の選択された植物を観察して特定の選択を行うとともに植物選択装置１０を制御できるようにするために使用される仮想現実機器を示す。図示のように、機器は、ＶＲ頭部装着可能デバイス２０１、左側コントローラ２０２、右側コントローラ２０３、及びたとえば、ラウドスピーカー及びマイクロフォン（図示せず）を備えるオーディオヘッドセット２１０を備える。これらの構成要素をすべて使用できるようにする必要はない。たとえば、簡略化された機器は、ＶＲ頭部装着可能デバイス２０１のみを含むことができ、任意選択で、コントローラ２０２及び２０３の一方又は両方と共に、オーディオヘッドセット２１０を省略し得る。たとえば、オーディオヘッドセット２１０は、音声コマンドを発するとともに植物選択装置１０の音声出力によって自動報告を検索するために使用され得る。或いは、音声通信を用いて同僚と話すために音声ヘッドセットが使用されてもよい。ＶＲ頭部装着可能デバイス２０１は、それぞれの眼のための表示画面と光学的に結合されたゴーグルを備え得る。ＶＲ頭部装着可能デバイス２０１及びコントローラ２０２及び２０３は、ＶＲ頭部装着可能デバイスの動きを検出するための加速度計又は別のセンサをさらに備え得る。ゴーグルに結合された表示画面に表示される画像データセットは、検出された動きに応じて変更されてもよい。コントローラ２０２，２０３は、たとえば、コントローラを使用して植物を指し示すとともにコントローラのボタンを押す又は音声コマンドを発することによって植物を選択するために使用され得る。

【0084】

[0084]図３は、植物を選択するための方法のフローチャートを示す。より具体的には、図３Ａは、分類器を訓練する方法を示す。図３Ｂは、訓練された分類器を使用し、任意選択で分類器をさらに改善する植物選択の方法を示す。

【0085】

[0085]図３Ａを参照すると、ステップ３０１は、たとえば、複数の植物を育てることによって、複数の植物を含む個体群を用意することを伴う。これは、種を鉢に入れ、植物を育てるのに適した環境条件を提供するステップを含み得る。ステップ３０２では、植物の画像データセット、並びに植物情報が収集される。たとえば、画像データセットは、植物が１つ以上のカメラの前方に配置された後に温室内の通常の場所に戻される（部分的に）ロボット化された動作によって撮像され得る。植物情報は、手動のユーザ入力によって又は自動化された方法で、たとえば系統情報又は遺伝情報を含めて収集することができる。たとえば、遺伝子シーケンサが、ＤＮＡ情報を含む植物情報の一部を生成し得る。重さ情報と水の使用に関する情報とを生成するためにスケールを使用できる。撮像された画像データセットに対して自動画像分析を実行して、サイズ、色などの植物情報、及び枝の数などのより詳細な情報を生成することができる。

【0086】

[0086]ステップ３０３では、複数の植物が事前選択される。この事前選択ステップは、たとえば特定の制約に基づいて、自動又は手動で実行できる。これらの制約は、たとえば、必要に応じて、サイズ、重量などの制限を伴って、ユーザによって事前に設定され得る。利用可能なすべての植物が事前選択された複数の植物の中にあることも想定し得る。

【0087】

[0087]ステップ３０４では、事前選択された植物が表示される。事前選択された植物の予め定められた配置は、たとえば仮想現実機器を使用して、観察者に提示され得る。たとえば、仮想温室は、植物の画像を３次元コンピュータグラフィックスシーンに配置することによって生成できる。表示された植物は、ユーザが事前選択された植物を閲覧できるようにすることで表示され得る。

【0088】

[0088]ステップ３０５では、植物の視覚化中に、観察者の追跡に基づいて、観察情報が生成されて記憶される。これは、たとえば、観察者の視野を表示された植物と比較して、どの植物又は植物のどの部分又は植物のどの画像データセットが観察される及びどのくらいの期間観察されるかを検出することを伴い得る。また、観察された画像が撮像されたときの植物の年齢を記録することもできる。

【0089】

[0089]ステップ３０６では、特定の植物のユーザ選択を示す入力が受けられる。この情報は、その植物の観察情報と関連付けて記憶される。入力に応じて、選択された１つ又は複数の植物が、さらなる育種又は交雑施肥のために選択され得る。或いは、選択された植物は、ユーザによってそれ以上育種されないようにマーキングされてもよい。別の実施形態において、選択された植物は、育種のためではなく、他の任意の用途（収穫など）のためにマーキングされてもよい。ステップ３０６は、たとえばさらなる育種のために、前記特定の植物のユーザ選択に対応する植物の前記個体群から少なくとも１つの植物を選択することを含み得る。

【0090】

[0090]ステップ３０７では、十分な情報、すなわち、十分な植物情報、植物画像データセット、観察情報、及び選択情報が収集されたかどうかが決定される。この決定は、予め定められた基準を使用すること、又はユーザ入力に基づくことができる。このような基準は、特定の最小数の観察、観察が生成された特定の最小数の植物の生成、又は、任意の他の適切な基準を含み得る。

【0091】

[0091]まだ十分な情報が収集されていない場合、方法は、ステップ３０１（又は、或いは、たとえば、ステップ３０３又は３０４）に戻る。ステップ３０７で十分な情報が収集されたと決定される場合、その情報は、ステップ３０８で分類器を訓練するために使用される。これは、収集された情報に基づいて人工ニューラルネットワークを訓練することを含み得る。上記のように、観察情報は、訓練中に分類器への補助入力として使用できる。或いは、観察情報を使用して、植物画像データセットを増強し、分類器を訓練するのに適した分類器のための入力を生成することができる。

【0092】

[0092]ステップ３０９では、分類器が生産モードで使用されるのに十分な品質を有するかどうかが試験される。たとえば、分類器は試験データセットを使用して試験され、分類器によって行われたエラーの数がカウントされ得る。エラーの数がケースの総数の一定の割合を下回っている場合、品質は十分であると考えられ得る。利用可能な訓練データに基づいて分類器を十分な品質で訓練できないことが判明した場合、方法は、ステップ３０１、３０３又は３０４に戻って、訓練により関連する情報を収集することができる。

【0093】

[0093]ステップ３０９で分類器の品質が十分であると考えられる場合、分類器は、使用の準備ができていると考えることができ、すなわち、「訓練モード」ではなく、ステップ３１０から開始して「生産モード」に入ることができる。

【0094】

[0094]図３Ｂは、図３Ａの方法によって訓練された分類器を使用する方法を示す。この方法は、ステップ３１０において、複数の植物を含む個体群を用意し、任意選択的に複数の植物を成長させることから始まる。ステップ３１２では、画像データセット及び植物情報は、ステップ３１０の複数の植物について生成及び収集される。ステップ３１０及び３１２は、ステップ３０１及び３０２と同様である。ステップ３１３では、植物は、訓練された分類器、特に、ステップ３０９で出力された分類器を使用して分類される。これは、各植物に関する利用可能な情報を分類器に適した入力に変換し、分類器の対応する出力を記憶することによって行うことができる。

【0095】

[0085]ステップ３１４では、植物の事前選択は、分類器の出力に基づいて行われる。たとえば、分類器の出力は、育種に対する植物の適合性の推定値を示す。たとえば、分類器の出力は、植物の育種の適合性を示す数値である。分類器の出力に加えて、ステップ３０３で使用されるような客観的基準に基づいて、事前選択をさらに行うことができる。

【0096】

[0096]ステップ３１５では、ステップ３０４と同様に、事前選択された植物が表示される。植物の表示は、分類器によって生成された分類の表示を示すことを含み得る。原則として、事前選択された植物のみが表示される。しかしながら、事前選択されていない残りの植物を表示するモードがあってもよい。そのようなモードは、たとえば、ユーザ入力に応じて、アクティブ化又は非アクティブ化され得る。

【0097】

[0097]ステップ３１６では、観察情報は、観察者によって実行された観察に基づいて生成される。これは、ステップ３０５と同様に行うことができる。観察情報に基づく分類器のさらなる訓練が想定されない場合、このステップは省略され得ることに留意されたい。

【0098】

[0098]ステップ３１７では、ステップ３０６と同様に、１つ又は複数の特定の植物に関して、ユーザ選択を示す入力が受信され、対応するユーザ選択情報が収集される。ステップ３１７は、たとえば、さらなる育種のために、ユーザ選択に対応する１つ又は複数の特定の植物を選択することを含み得る。特定の実施態様において、方法は、ステップ３１７の後に終了することができる。特定の実施態様において、ステップ３１７、３１８、及び３１９は省略され得る。この場合、方法は、事前選択されたさらなる植物を表示して、その評価を可能にするだけである。

【0099】

[0099]ステップ３１８では、分類器のさらなる訓練がこの時点で行われるべきかどうかが決定される。そうでない場合、方法は、ステップ３１０又はたとえば３１４又は３１５から進むことができる。たとえば、分類器の機能を継続的に改善するために、新たな選択のたびにさらに訓練を実行できる。或いは、新しいデータのバッチに基づいて分類器の訓練が実行されるように、いくつかの新しいデータを収集することができる。さらに訓練が行われる場合、方法はステップ３１９に進み、ステップ３１２、３１６、３１７で収集されたデータは、分類器を訓練することによって分類器の性能をさらに改善するために使用される。その後、方法はステップ３１０（又はたとえば３１４又は３１５）に進むことができる。たとえば、分類器は、ユーザの以前の植物の選択に従って植物の適合性をより正確に予測するために、植物の特性に対するより詳細な制約を学習するように訓練することができる。特定の場合には、分類器のさらなる訓練により、たとえば育種でさらに使用するのに適している可能性が高い植物を使用して事前選択されたより小さなサブセットが生成され得る。

【0100】

[0100]図４は、複数の事前選択された植物が、その撮像された画像によって表示される３次元コンピュータグラフィックスシーンの例を示す。コンピュータグラフィックスシーンは、長方形のグリッド４０１に配置された多数のコンピュータグラフィックスオブジェクト４０２を備える。図５は、わずかに異なる視野角を使用した同様の画像を示す。ユーザは、コンピュータグラフィックスシーン内を仮想的に動き回ることができる。その過程で、図４や図５に示すような異なる透視図を生成することができる。

【0101】

[0101]図４及び図５に示される例では、事前選択された植物は、コンピュータグラフィックスシーンにおいてグリッド配置で水平面上に分布される。他の配置、たとえば、水平面内の円、垂直面内のグリッド配置、又は３次元グリッド配置も想定し得る。或いは、位置を擬似ランダムに決定することもできる。

【0102】

[0102]特定の実施態様において、コンピュータグラフィックスオブジェクトは、予め定められた順序で配置される。たとえば、植物は、短いものから長いものまで、植物の高さによって順序付けられ得る。別の例では、植物は分類器の出力に従って順序付けられ得る。グリッドが平面内にある場合、位置は２つのパラメータ（ｘ，ｙ）によって特徴付けられ得る。位置（０，０）が最も短い植物に関するものであってもよく、次に最も短い植物が位置（０，１）に配置されてもよい、といったように位置（０，Ｎ）まで続き、ここで、Ｎは、列中の植物の数であり、また、次に最も短い植物が位置（１，０）に配置されてもよく、次に最も短い植物が位置（１，１）に配置されてもよいといったようになる。この例では、植物の高さが使用される（「最も短い」、「次に最も短い」）。しかしながら、植物に関する分類器の出力値など、他のソーティング値を使用することもできる。

【0103】

[0103]或いは、２つの異なる特性を、グリッド内の２つの異なる軸上で分類することができる。たとえば、ｘ軸上の位置は、植物の高さによって決定されてもよく、ｙ軸上の位置は、植物の重量によって決定されてもよい。

【0104】

[0104]また、ｘ軸上の位置は、植物のある特性によって決定されてもよく、ｙ軸上の異なる位置において、同じ特性を有するいくつかの異なる植物が、比較のために表示されてもよい。

【0105】

[0105]第４の想定し得る軸は時間軸である。一連のシーンを連続して作成、レンダリング、表示して、動く３次元の世界を作成することができる。この動く世界の時間軸は、たとえば、植物の成長段階の増加に対応していてもよい。

【0106】

[0106]ステップ３０４又は３１５では、事前選択された植物を含むシーンのコンピュータグラフィックスレンダリングは、たとえば、Ｄｉｒｅｃｔ３Ｄ（商標）又はＯｐｅｎＧＬ（商標）エンジンを使用して作成され得る。或いは、適切なレイキャスティング技術を使用してレンダリングを作成することもできる。そのようなレンダリング技術は、当業者に知られている。レンダリングステップは、たとえば、図４に示される画像のように、表示又は印刷することができる２次元ビットマップ画像をもたらすことができる。或いは、レンダリングステップは、たとえば図２に示すような頭部装着可能デバイスを介して視覚化するのに適した立体画像をもたらし得る。レンダリングは、表示方向及び表示パラメータ（単一のビットマップ画像又は立体画像が形成されるかどかにかかわらず、透視投影又は平行投影、計算された２次元ビットマップ画像の解像度など）を設定することを伴う。このようなパラメータは、必要に応じて設定され得る。

【0107】

[0107]さらに、ステップ３０４又は３１５では、コンピュータグラフィックスレンダリングを出力することができる。追跡デバイス１５は、観察者の視線方向を追跡することによってどの植物物体が観察されているかを追跡し、観察者がどの植物物体を見ているかを検出することができる。

【0108】

[0108]ステップ３０３又は３１４における植物のサブセットの事前選択は、特定の選択基準を定義する入力フィルタに基づくことができる。フィルタによって適用される基準は、事前にプログラムされたフィルタを使用して自動であってもよく、又は、ユーザ入力に基づいてもよい。ステップ３１４では、これに加えて又はこれに代えて、ステップ３１３の分類器の出力が選択のために使用される。

【0109】

[0109]図６は別の例を示す。プロセッサ１１は、異なる高さでステップ３０４又は３１５においてオブジェクト６０１，６０２を配置するように構成され得る。このようにして、一部のオブジェクト（６０２など）が別の平面のオブジェクト（床など）によって部分的に遮られるのに対し、他のオブジェクト（６０１など）が完全に見えることも想定し得る。この効果又は別の視覚効果を使用して、第１のレンダリングモードで特定の第１の基準を満たす植物を示し、第１のレンダリングモードとは異なる第２のレンダリングモードで特定の第２の基準を満たす植物を示すことができる。第１及び第２の基準は、分類器の出力に関する基準を含み得る。

【0110】

[0110]たとえば、コンピュータグラフィックスオブジェクトが設定され、それらのテクスチャが適用され、位置が設定されると、コンピュータグラフィックスシーンをレンダリングし、ステップ３０４又は３１５でコンピュータグラフィックスレンダリングを出力するステップを繰り返すことができる。繰り返しの間に、表示位置又は表示角度が変更されてもよい。たとえば、入力デバイス１６は、レンダリングが表示されている間にユーザ入力を受信するように構成されてもよく、又は、頭部装着可能デバイス２０１は、動き又は視線方向を通信ユニット１３に送信するように構成されてもよい。プロセッサ１１は、このユーザ入力に応じて、ユーザ入力に基づいて観察者の視線位置又は視線角度を適合させるように構成され得る。次に、新しい視線位置と視線角度を使用して、シーンをレンダリングして再度表示できる。これにより、ユーザは実際の温室であるかのようにシーンを仮想的に歩くことができる。

【0111】

[0111]システムの別の可能な拡張では、プロセッサ１１は、通信ユニット１３を使用して、植物の事前選択に関する情報をサーバ又は植物選択のための別のシステムと交換することを制御するようにさらに構成され得る。また、位置及び／又はソートオプションをサーバ又はピアシステムと交換することもできる。したがって、植物の事前選択及びコンピュータグラフィックオブジェクト４０２の３次元位置は、植物選択のためにサーバ又は他のシステムと同期させることができる。他の植物選択装置によって生成された観察情報及びユーザ選択入力は、収集され、植物選択装置１０によって収集された観察情報及びユーザ選択入力と組み合わされ得る。たとえば、複数の植物選択装置からの情報は、サーバによって収集され得る。分類器の訓練もサーバで行われてもよい。

【0112】

[0112]システムの別の可能な拡張では、プロセッサ１１は、植物選択のためにサーバ又は他のシステムでコンピュータグラフィックスレンダリングを作成するために使用される視線位置又は視線方向に関する情報の送受信を制御するようにさらに構成されている。このようにして、離れた場所にいるユーザが、仮想温室を示すコンピュータグラフィックスシーンでお互いを見ることができることが想定し得る。プロセッサ１１は、他のユーザの視線位置又は視線方向に関する受信情報に基づいて、他のユーザを表すコンピュータグラフィックスオブジェクトの作成と、コンピュータグラフィックスシーンにおける他のユーザを表すコンピュータグラフィックスオブジェクトへの位置の割り当てを制御することができる。コンピュータグラフィックスオブジェクトはシーンのコンピュータグラフィックスレンダリングで他のユーザを表す。

【0113】

[0113]システムの別の可能な拡張では、植物特性データの統計を含む育種情報が、コンピュータグラフィックスシーン内に表示される。コンピュータグラフィックスオブジェクト６０１が作成され、これは、たとえば、育種情報を表すテキスト又はグラフ又は数字を含むことができ、育種情報は、植物特性データの統計を含む。育種情報を表すコンピュータグラフィックスオブジェクト６０１は、コンピュータグラフィックスシーンにおける位置を与えられる。したがって、育種情報を示すオブジェクトは、コンピュータグラフィックスのレンダリングに含まれ得る。

【0114】

[0114]本発明のいくつか又はすべての態様は、ソフトウェア、特にコンピュータプログラム製品の形で実施するのに適し得る。コンピュータプログラム製品は、非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラムを含み得る。また、コンピュータプログラムは、光ファイバケーブル又は空気などの伝送媒体によって運ばれる、光信号又は電磁信号などの信号によって表すことができる。コンピュータプログラムは、コンピュータシステムによって実行されるのに適したソースコード、オブジェクトコード、又は擬似コードの形式を部分的又は全体的に持つことができる。たとえば、コードは、１つ以上のプロセッサによって実行可能であり得る。

【0115】

[0115]本明細書に記載の実施例及び実施形態は、本発明を限定するのではなく説明するのに役立つ。当業者は、添付の特許請求の範囲及びそれらの同等物によって定義されるように、本開示の精神及び範囲から逸脱することなく、代替の実施形態を設計することができる。請求項の括弧内に配置された参照記号は、請求項の範囲を制限するものと解釈されてはならない。請求項又は説明において別個の実体として記載されている品目は、記載されている品目の特徴を組み合わせた単一のハードウェア又はソフトウェア品目として実施することができる。
［発明の項目］
［項目１］
植物を分類するための分類器を訓練するための装置であって、
複数の植物（６）を表す複数の画像データセット（２１２）と、前記複数の植物（６）の遺伝子型情報、前記複数の植物（６）の表現型情報、及び、前記複数の植物（６）の系統情報のうちの少なくとも１つを含む関連する植物情報（１２２）とを記憶するための記憶手段（１２５）と、
前記複数の植物（６）のうちの１つ以上の植物のサブセットを事前選択するための事前選択ユニット（１２６）と、
前記画像データセット（２１２）を使用して植物（６）の前記事前選択されたサブセットを表示するための表示デバイス（１４）と、
植物の前記事前選択されたサブセットのうちどれがユーザによって観察されるかに関する情報を含む観察情報を生成するための追跡ユニット（１２７）であって、前記記憶手段（１２５）が前記観察情報を記憶するように構成されている、追跡ユニット（１２７）と、
植物の前記事前選択されたサブセットの中からの少なくとも１つの植物のユーザ選択を示す入力を受信するための入力デバイス（１６）であって、前記記憶手段（１２５）が、前記少なくとも１つの植物の前記ユーザ選択に関連する情報を記憶するように構成されている、入力デバイス（１６）と、
植物を分類するための分類器（１２９）と、
前記観察情報と、前記ユーザ選択に関連する情報と、前記遺伝子型情報、前記表現型情報、及び、前記系統情報のうちの前記少なくとも１つを含む前記植物情報とに基づいて前記ユーザ選択を予測するために前記分類器（１２９）を訓練するための訓練ユニット（１２８）と、
を備える装置。
［項目２］
前記観察情報が、
観察される植物のうちどの特定の部分が観察されるか、
植物を表すどの画像データセットが観察されるか、
植物を表すどの画像データセットのどの部分が観察されるか、及び、
前記植物、前記植物の一部、前記植物を表す前記画像データセット、又は、前記植物を表す画像データセットの一部が観察される時間、
のうちの少なくとも１つに関する情報を含む、項目１に記載の装置。
［項目３］
前記特定の部分が、根、茎、葉、花、及び、果実のうちの少なくとも１つを含む、項目２に記載の装置。
［項目４］
観察者の視野を示す信号を生成するように構成されている追跡デバイス（１５）であり、前記追跡デバイスが、たとえば、視線追跡器、動きセンサ、又は、位置センサを備える、追跡デバイス（１５）をさらに備えており
前記追跡ユニット（１２７）が、前記追跡デバイス（１５）からの前記信号に基づいて前記観察情報を生成するように構成されている、
項目１～３のいずれか一項に記載の装置。
［項目５］
前記事前選択された複数の植物の前記画像データセットを３次元シーンにおいて示すように構成されている、仮想現実（ＶＲ）又は拡張現実（ＡＲ）システムをさらに備え、前記ＶＲ又はＡＲシステムが前記表示デバイス（１４）及び前記追跡デバイス（１５）を備える、項目４に記載の装置。
［項目６］
前記事前選択ユニット（１２６）が、前記分類器（１２９）によって生成される前記植物の分類にさらに基づいて前記複数の植物を事前選択するように構成されている、項目１～５のいずれか一項に記載の装置。
［項目７］
植物選択で使用するための装置であって、
複数の第１の植物を表す複数の画像データセット（１２１）と、前記複数の第１の植物の遺伝子型情報、前記複数の第１の植物の表現型情報、及び、前記複数の第１の植物の系統情報のうちの少なくとも１つを含む関連する植物情報（１２２）とを記憶するための記憶手段（１２）と、
前記関連する植物情報（１２２）に基づいて前記第１の植物を分類するための分類器（１２９）であって、前記分類器（１２９）が、前記複数の第１の植物とは異なる複数の第２の植物に関連するデータセットに基づいて訓練され、前記データセットが、
前記第２の植物のうちどれがユーザによって観察されるかに関する観察情報と、
前記ユーザが入力した前記第２の植物の中からの少なくとも１つの植物のユーザ選択に関するユーザ選択情報と、
前記データセット内の前記第２の植物の遺伝子型情報、前記データセット内の前記第２の植物の表現型情報、及び、前記データセット内の前記第２の植物の系統情報のうちの少なくとも１つを含む植物情報と
を含む、分類器（１２９）と、
前記分類器（１２９）によって生成される前記第１の植物の分類に基づいて、前記複数の第１の植物のうちの１つ以上の植物のサブセットを事前選択するための事前選択ユニット（１２６）と、
前記画像データセット（１２１）を使用して第１の植物の前記事前選択されたサブセットを表示するための表示デバイス（１４）と、
を備える装置。
［項目８］
植物の前記事前選択されたサブセットのうちどれがユーザによって観察されるかに関する情報を含む観察情報を生成するための追跡ユニット（１２７）であって、前記記憶手段（１２５）が前記観察情報を記憶するように構成されている、追跡ユニット（１２７）と、
第１の植物の前記事前選択されたサブセットの中からの少なくとも１つの植物のユーザ選択を示す入力を受信するための入力デバイス（１６）であって、前記記憶手段（１２）が前記少なくとも１つの植物の前記ユーザ選択に関連する情報を記憶するように構成されている、入力デバイス（１６）と、
をさらに備える、項目７に記載の装置。
［項目９］
第１の植物の前記事前選択されたサブセットの中からの少なくとも１つの植物のユーザ選択を示す入力を受信するための前記入力デバイス（１６）と、
前記ユーザ選択に対応する実際の前記少なくとも１つの植物を特定するとともに、前記少なくとも１つの植物を指定された位置に輸送することによって複数の保管された植物から前記少なくとも１つの植物を分離するための植物コンベアシステムと、
をさらに備える、項目７又は８に記載の装置。
［項目１０］
画像センサに対して植物を、たとえばカメラの前で、自動的に配置し、前記画像センサを使用して前記植物の画像データセットを撮像した後、前記植物をその指定された位置に自動的に移動するとともに、前記画像センサを使用して次の植物の画像データセットを撮像するために前記画像センサに対して前記次の植物を自動的に配置するための自動植物撮像装置であり、前記記憶手段（１２）が、前記撮像された画像データセットをそれぞれの対応する植物に関連して記憶するように構成されている、自動植物撮像装置をさらに備える、項目７～９のいずれか一項に記載の装置。
［項目１１］
植物の少なくとも１つの画像データセットの画像分析を実行して前記画像データセットに基づいて前記植物の表現型特性を検出することによって前記表現型情報を生成するように構成されている表現型検出ユニットを備える、項目７～１０のいずれか一項に記載の装置。
［項目１２］
植物を分類するための分類器を訓練する方法であって、
複数の植物を表す複数の画像データセットと、前記複数の植物の遺伝子型情報、前記複数の植物の表現型情報、及び、前記複数の植物の系統情報のうちの少なくとも１つを含む関連する植物情報とを収集するステップ（３０２）及び記憶するステップと、
植物の事前選択されたサブセットを取得するために前記複数の植物のうちの１つ以上の植物のサブセットを事前選択するステップ（３０３）と、
前記画像データセットを使用して植物の前記事前選択されたサブセットを表示するステップ（３０４）と、
植物の前記事前選択されたサブセットのうちどれがユーザによって観察されるかに関する情報を含む観察情報を生成するステップ（３０５）、及び前記観察情報を記憶するステップと、
植物の前記事前選択されたサブセットの中からの少なくとも１つの植物のユーザ選択を示す入力を受信するステップ（３０６）、及び前記少なくとも１つの植物の前記ユーザ選択に関連する情報を記憶するステップと、
植物を分類するための分類器を訓練するステップ（３０８）であって、該訓練するステップが、前記観察情報と、前記ユーザ選択に関連する情報と、前記遺伝子型情報、前記表現型情報、及び、前記系統情報のうちの前記少なくとも１つを含む前記植物情報とに基づいている、訓練するステップ（３０８）と、
を含む方法。
［項目１３］
前記植物を用意するステップ（３０１）をさらに含み、前記複数の画像データセットを収集する前記ステップ（３０２）が、画像センサを使用して各植物の少なくとも１つの画像データセットを撮像することを含む、項目１２に記載の方法。
［項目１４］
複数のさらなる植物を表すさらなる複数の画像データセットと、前記複数のさらなる植物の遺伝子型情報、前記複数のさらなる植物の表現型情報、及び、前記複数のさらなる植物の系統情報のうちの少なくとも１つを含む関連するさらなる植物情報とを収集するステップ（３１２）及び記憶するステップと、
前記さらなる植物の分類を生成するために、前記訓練された分類器を使用して、前記関連するさらなる植物情報に基づいて前記複数のさらなる植物を分類するステップ（３１３）と、
さらなる植物の事前選択されたサブセットを取得するために、前記分類器によって生成される前記さらなる植物の前記分類に基づいて前記複数のさらなる植物の１つ以上のさらなる植物のサブセットを事前選択するステップ（３１４）と、
前記さらなる植物を表す前記画像データセットを使用してさらなる植物の前記事前選択されたサブセットを表示するステップ（３１５）と、
をさらに含む、項目１２又は１３に記載の方法。
［項目１５］
植物を事前選択する方法であって、
複数の第１の植物を表す複数の画像データセットと、前記複数の第１の植物の遺伝子型情報、前記複数の第１の植物の表現型情報、及び、前記複数の第１の植物の系統情報のうちの少なくとも１つを含む関連する植物情報とを収集するステップ（３１２）及び記憶するステップと、
前記複数の第１の植物とは異なる複数の第２の植物に関連するデータセットに基づいて訓練される分類器を使用して、前記関連する植物情報に基づき前記複数の第１の植物を分類するステップ（３１３）であって、前記データセットが、
ユーザによる前記複数の第２の植物の観察に関する観察情報と、
前記ユーザが入力した前記複数の第２の植物の中からのユーザ選択に関するユーザ選択情報と、
前記複数の第２の植物の遺伝子型情報、前記複数の第２の植物の表現型情報、及び、前記複数の第２の植物の系統情報のうち少なくとも１つを含む植物情報と
を含む、分類するステップ（３１３）と、
前記分類器によって生成される前記第１の植物の分類に基づいて、前記複数の第１の植物のうちの１つ以上の第１の植物のサブセットを事前選択するステップ（３１４）と、
前記画像データセット（１２１）を使用して前記第１の植物の前記事前選択されたサブセットを表示するステップ（３１５）と、
を含む方法。
［項目１６］
前記第１の植物を用意するステップ（３１０）をさらに含み、前記複数の画像データセットを収集する前記ステップ（３１２）が、画像センサを使用して第１の植物のそれぞれの少なくとも１つの画像データセットを撮像するとともに、ユーザによって、前記表示された事前選択された植物のサブセットの中から少なくとも１つの植物を選択することを含む、項目１５に記載の方法。
［項目１７］
第１の植物の前記事前選択されたサブセットのうちどれがユーザによって観察されるかに関する情報を含む観察情報を生成するステップ（３１６）、及び前記観察情報を記憶するステップと、
第１の植物の前記事前選択されたサブセットの中からの少なくとも１つの第１の植物のユーザ選択を示す入力を受けるステップ（３１７）、及び前記少なくとも１つの第１の植物の前記ユーザ選択に関連する情報を記憶するステップと、
をさらに含む、項目１５又は１６に記載の方法。
［項目１８］
プロセッサシステムによって実行されるときに項目１２、１４、１５、又は、１７のいずれか一項に記載の方法を前記プロセッサシステムに実行させる命令を含むコンピュータプログラム製品。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】