知財求人 - 知財ポータルサイト「IP Force」
▶ ＮＥＣソリューションイノベータ株式会社の特許一覧 ▶ 埼玉県の特許一覧
特許7588310植物選別作業支援装置、植物選別作業支援合成画像表示システム装置、学習済みモデル生成装置、植物選別作業支援方法、植物選別作業支援合成画像表示方法、学習済みモデル生産方法、プログラム及び記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-14
(45)【発行日】2024-11-22
(54)【発明の名称】植物選別作業支援装置、植物選別作業支援合成画像表示システム装置、学習済みモデル生成装置、植物選別作業支援方法、植物選別作業支援合成画像表示方法、学習済みモデル生産方法、プログラム及び記録媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20241115BHJP
A01G 3/02 20060101ALI20241115BHJP
A01D 46/30 20060101ALI20241115BHJP
【ＦＩ】
G06T7/00 350B
A01G3/02 502Z
A01D46/30
【請求項の数】
10
(21)【出願番号】P 2020198626
(22)【出願日】2020-11-30
(65)【公開番号】P2022086550
(43)【公開日】2022-06-09
【審査請求日】2023-10-04
(73)【特許権者】
【識別番号】000232092
【氏名又は名称】ＮＥＣソリューションイノベータ株式会社
(73)【特許権者】
【識別番号】591267855
【氏名又は名称】埼玉県
(74)【代理人】
【識別番号】100115255
【弁理士】
【氏名又は名称】辻丸 光一郎
(74)【代理人】
【識別番号】100201732
【弁理士】
【氏名又は名称】松縄 正登
(74)【代理人】
【識別番号】100154081
【弁理士】
【氏名又は名称】伊佐治 創
(72)【発明者】
【氏名】関谷 和樹
(72)【発明者】
【氏名】水澤 雅高
(72)【発明者】
【氏名】戸邉 一成
(72)【発明者】
【氏名】重松 統
(72)【発明者】
【氏名】遠藤 紀▲浩▼
(72)【発明者】
【氏名】南原 惠子
(72)【発明者】
【氏名】杉村 孝
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開２０２１－１３３４４５（ＪＰ，Ａ）
【文献】特開２０１６－１９４５６４（ＪＰ，Ａ）
【文献】川原拓也 外４名，多視点ステレオを用いたナシの摘果対象の自動選定，Ｎｏ．２０－２ ロボティクス・メカトロニクス講演会２０２０予稿集，一般社団法人日本機械学会，2020年05月29日，pp.1～4
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ０１Ｄ ４３／００ － ４３／０４
Ａ０１Ｄ ４３／０８ － ４６／３０
Ａ０１Ｄ ５１／００
Ａ０１Ｇ ３／００ － ３／０８
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
ＣＳＤＢ（日本国特許庁）
(57)【特許請求の範囲】
【請求項1】
画像取得部、作業対象認識部、除去対象判定部、合成画像生成部、移行判定部、及び、選別対象判定部を備え、前記画像取得部は、作業対象となる植物の全部又は一部の画像を取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記作業対象認識部は、取得した前記画像において、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定部は、認識された作業対象において、除去対象の前記構成要素を判定し、
前記合成画像生成部は、前記除去対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成し、
前記画像取得部は、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像を除去後画像として取得し、
前記移行判定部は、前記除去後画像において、予め規定した基準に基づき、前記選別対象判定部での選別対象判定を実施するか否かを判定し、
前記移行判定部の判定が、前記選別対象判定を実施するという判定の場合、前記選別対象判定部は、前記除去後画像において、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定し、
前記合成画像生成部は、前記選別対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成する、
植物選別作業支援装置。
【請求項2】
前記作業対象認識部、前記除去対象判定部、及び前記選別対象判定部の少なくとも一方は、学習済みモデルを用いて各処理を実行し、前記作業対象認識部は、入力された画像内から作業対象グループの各構成要素を作業対象として認識するように学習された学習済みモデルに、取得した前記画像を入力して、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定部は、入力された画像内における認識された作業対象から除去対象の前記構成要素を判定するように学習された学習済みモデルに、作業対象物を認識した前記画像を入力して、認識された作業対象から、除去対象の前記構成要素を判定し、
前記選別対象判定部は、入力された画像内における作業対象グループの前記構成要素から残すべき前記構成要素を選別対象として判定するように学習された学習済みモデルに、前記除去後画像を入力して、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定する、請求項１記載の植物選別作業支援装置。
【請求項3】
請求項１又は２記載の植物選別作業支援装置と、表示装置とを含み、前記表示装置は、作業者が携帯可能な装置であり、
前記植物選別作業支援装置において、
前記合成画像生成部が生成した各合成画像は、前記表示装置に出力され、
前記表示装置は、取得部、及び表示処理部を含み、
前記取得部は、前記植物選別作業支援装置から出力された前記合成画像を取得し、
前記表示処理部は、前記合成画像を表示する処理を実行する、植物選別作業支援合成画像表示システム装置。
【請求項4】
教師データ取得部、及び学習済みモデル生成部を含み、前記教師データ取得部は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報とを関連付けて記録した教師データを取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記学習済みモデル生成部は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、且つ前記認識した作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、学習済みモデル生成装置。
【請求項5】
画像取得工程、作業対象認識工程、除去対象判定工程、合成画像生成工程、移行判定工程、及び、選別対象判定工程を備え、前記画像取得工程は、作業対象となる植物の全部又は一部の画像を取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記作業対象認識工程は、取得した前記画像において、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定工程は、認識された作業対象において、除去対象の前記構成要素を判定し、
前記合成画像生成工程は、前記除去対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成し、
前記画像取得工程は、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像を除去後画像として取得し、
前記移行判定工程は、前記除去後画像において、予め規定した基準に基づき、前記選別対象判定工程での選別対象判定を実施するか否かを判定し、
前記移行判定工程の判定が、前記選別対象判定を実施するという判定の場合、前記選別対象判定工程は、前記除去後画像において、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定し、
前記合成画像生成工程は、前記選別対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成する、
植物選別作業支援方法。
【請求項6】
請求項５記載の植物選別作業支援方法と、表示方法とを含み、前記表示方法は、作業者が携帯可能な装置に対する処理であり、
前記植物選別作業支援方法において、
前記合成画像生成工程が生成した各合成画像は、前記作業者が携帯可能な装置に出力され、
前記表示方法は、取得工程、及び表示処理工程を含み、
前記取得工程は、前記植物選別作業支援方法により出力された前記合成画像を取得し、
前記表示処理工程は、前記合成画像を表示する処理を実行する、植物選別作業支援合成画像表示方法。
【請求項7】
教師データ取得工程、及び学習済みモデル生成工程を含み、前記教師データ取得工程は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報とを関連付けて記録した教師データを取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記学習済みモデル生成工程は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、且つ前記認識した作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、学習済みモデル生産方法。
【請求項8】
コンピュータに、画像取得手順、作業対象認識手順、除去対象判定手順、合成画像生成手順、移行判定手順、及び、選別対象判定手順を含む手順を実行させるためのプログラム：前記画像取得手順は、作業対象となる植物の全部又は一部の画像を取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記作業対象認識手順は、取得した前記画像において、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定手順は、認識された作業対象において、除去対象の前記構成要素を判定し、
前記合成画像生成手順は、前記除去対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成し、
前記画像取得手順は、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像を除去後画像として取得し、
前記移行判定手順は、前記除去後画像において、予め規定した基準に基づき、前記選別対象判定手順での選別対象判定を実施するか否かを判定し、
前記移行判定手順の判定が、前記選別対象判定を実施するという判定の場合、前記選別対象判定手順は、前記除去後画像において、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定し、
前記合成画像生成手順は、前記選別対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成する。
【請求項9】
請求項８記載の植物選別作業支援用のプログラムと、表示用のプログラムとを含み、前記表示用のプログラムは、作業者が携帯可能な装置におけるプログラムであり、
前記植物選別作業支援用のプログラムにおいて、
前記合成画像生成手順が生成した各合成画像は、前記作業者が携帯可能な装置に出力され、
前記表示用のプログラムは、コンピュータに、取得手順、及び表示処理手順を含む手順を実行させるためのプログラム：
前記取得手順は、前記植物選別作業支援用のプログラムにより出力された前記合成画像を取得し、
前記表示処理手順は、前記合成画像を表示する処理を実行する。
【請求項10】
コンピュータに、教師データ取得手順、及び学習済みモデル生成手順を含む手順を実行させるためのプログラム：前記教師データ取得手順は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報とを関連付けて記録した教師データを取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記学習済みモデル生成手順は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、且つ前記認識した作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、植物選別作業支援装置、植物選別作業支援合成画像表示システム装置、学習済みモデル生成装置、植物選別作業支援方法、植物選別作業支援合成画像表示方法、学習済みモデル生産方法、プログラム及び記録媒体に関する。
【背景技術】
【0002】
果実や野菜の栽培では、特定の果実に養水分を集中させることで発育を促すため、結実した発育初期の果実（幼果）の数を制限する摘果（間引き）作業が行われる。この摘果作業を行う作業者の肉体的負担を軽減させるため、切断機構を含む摘果器具に関する技術が報告されている（特許文献１等）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－０２１９３６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、間引き・摘果等の選別作業を支援し、より効率的な選別作業を可能にする技術が求められている。
【0005】
そこで、本発明は、間引き・摘果等の選別作業を支援し、より効率的な選別作業を可能にする植物選別作業支援装置、植物選別作業支援合成画像表示システム装置、学習済みモデル生成装置、植物選別作業支援方法、植物選別作業支援合成画像表示方法、学習済みモデル生産方法、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の植物選別作業支援装置は、
画像取得部、作業対象認識部、除去対象判定部、合成画像生成部、移行判定部、及び、選別対象判定部を備え、
前記画像取得部は、作業対象となる植物の全部又は一部の画像を取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記作業対象認識部は、取得した前記画像において、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定部は、認識された作業対象において、除去対象の前記構成要素を判定し、
前記合成画像生成部は、前記除去対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成し、
前記画像取得部は、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像を除去後画像として取得し、
前記移行判定部は、前記除去後画像において、予め規定した基準に基づき、前記選別対象判定部での選別対象判定を実施するか否かを判定し、
前記移行判定部の判定が、前記選別対象判定を実施するという判定の場合、前記選別対象判定部は、前記除去後画像において、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定し、
前記合成画像生成部は、前記選別対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成する、装置である。
画像取得部、作業対象認識部、除去対象判定部、合成画像生成部、移行判定部、及び、選別対象判定部を備え、
前記画像取得部は、作業対象となる植物の全部又は一部の画像を取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記作業対象認識部は、取得した前記画像において、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定部は、認識された作業対象において、除去対象の前記構成要素を判定し、
前記合成画像生成部は、前記除去対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成し、
前記画像取得部は、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像を除去後画像として取得し、
前記移行判定部は、前記除去後画像において、予め規定した基準に基づき、前記選別対象判定部での選別対象判定を実施するか否かを判定し、
前記移行判定部の判定が、前記選別対象判定を実施するという判定の場合、前記選別対象判定部は、前記除去後画像において、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定し、
前記合成画像生成部は、前記選別対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成する、装置である。
【0007】
本発明の植物選別作業支援合成画像表示システム装置は、
本発明の植物選別作業支援装置と、表示装置とを含み、
前記表示装置は、作業者が携帯可能な装置であり、
前記植物選別作業支援装置において、
前記合成画像生成部が生成した各合成画像は、前記表示装置に出力され、
前記表示装置は、取得部、及び表示処理部を含み、
前記取得部は、前記植物選別作業支援装置から出力された前記合成画像を取得し、
前記表示処理部は、前記合成画像を表示する処理を実行する、装置である。
本発明の植物選別作業支援装置と、表示装置とを含み、
前記表示装置は、作業者が携帯可能な装置であり、
前記植物選別作業支援装置において、
前記合成画像生成部が生成した各合成画像は、前記表示装置に出力され、
前記表示装置は、取得部、及び表示処理部を含み、
前記取得部は、前記植物選別作業支援装置から出力された前記合成画像を取得し、
前記表示処理部は、前記合成画像を表示する処理を実行する、装置である。
【0008】
本発明の学習済みモデル生成装置は、
教師データ取得部、及び学習済みモデル生成部を含み、
前記教師データ取得部は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報とを関連付けて記録した教師データを取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記学習済みモデル生成部は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、且つ前記認識した作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、装置である。
教師データ取得部、及び学習済みモデル生成部を含み、
前記教師データ取得部は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報とを関連付けて記録した教師データを取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記学習済みモデル生成部は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、且つ前記認識した作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、装置である。
【0009】
本発明の植物選別作業支援方法は、
画像取得工程、作業対象認識工程、除去対象判定工程、合成画像生成工程、移行判定工程、及び、選別対象判定工程を備え、
前記画像取得工程は、作業対象となる植物の全部又は一部の画像を取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記作業対象認識工程は、取得した前記画像において、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定工程は、認識された作業対象において、除去対象の前記構成要素を判定し、
前記合成画像生成工程は、前記除去対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成し、
前記画像取得工程は、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像を除去後画像として取得し、
前記移行判定工程は、前記除去後画像において、予め規定した基準に基づき、前記選別対象判定工程での選別対象判定を実施するか否かを判定し、
前記移行判定工程の判定が、前記選別対象判定を実施するという判定の場合、前記選別対象判定工程は、前記除去後画像において、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定し、
前記合成画像生成工程は、前記選別対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成する、方法である。
画像取得工程、作業対象認識工程、除去対象判定工程、合成画像生成工程、移行判定工程、及び、選別対象判定工程を備え、
前記画像取得工程は、作業対象となる植物の全部又は一部の画像を取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記作業対象認識工程は、取得した前記画像において、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定工程は、認識された作業対象において、除去対象の前記構成要素を判定し、
前記合成画像生成工程は、前記除去対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成し、
前記画像取得工程は、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像を除去後画像として取得し、
前記移行判定工程は、前記除去後画像において、予め規定した基準に基づき、前記選別対象判定工程での選別対象判定を実施するか否かを判定し、
前記移行判定工程の判定が、前記選別対象判定を実施するという判定の場合、前記選別対象判定工程は、前記除去後画像において、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定し、
前記合成画像生成工程は、前記選別対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成する、方法である。
【0010】
本発明の植物選別作業支援合成画像表示方法は、
本発明の植物選別作業支援方法と、表示方法とを含み、
前記表示方法は、作業者が携帯可能な装置に対する処理であり、
前記植物選別作業支援方法において、
前記合成画像生成工程が生成した各合成画像は、前記作業者が携帯可能な装置に出力され、
前記表示方法は、取得工程、及び表示処理工程を含み、
前記取得工程は、前記植物選別作業支援方法により出力された前記合成画像を取得し、
前記表示処理工程は、前記合成画像を表示する処理を実行する、方法である。
本発明の植物選別作業支援方法と、表示方法とを含み、
前記表示方法は、作業者が携帯可能な装置に対する処理であり、
前記植物選別作業支援方法において、
前記合成画像生成工程が生成した各合成画像は、前記作業者が携帯可能な装置に出力され、
前記表示方法は、取得工程、及び表示処理工程を含み、
前記取得工程は、前記植物選別作業支援方法により出力された前記合成画像を取得し、
前記表示処理工程は、前記合成画像を表示する処理を実行する、方法である。
【0011】
本発明の学習済みモデル生産方法は、
教師データ取得工程、及び学習済みモデル生成工程を含み、
前記教師データ取得工程は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報とを関連付けて記録した教師データを取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記学習済みモデル生成工程は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、且つ前記認識した作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、生産方法である。
教師データ取得工程、及び学習済みモデル生成工程を含み、
前記教師データ取得工程は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報とを関連付けて記録した教師データを取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記学習済みモデル生成工程は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、且つ前記認識した作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、生産方法である。
【発明の効果】
【0012】
本発明によれば、間引き・摘果等の選別作業を支援し、より効率的な選別作業を可能にする。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
本発明の植物選別作業支援装置において、例えば、
前記移行判定部における前記予め規定した基準が、前記除去後画像における前記構成要素の数、及び、前記除去後画像における補助具の有無の少なくとも一方である、という態様であってもよい。
前記移行判定部における前記予め規定した基準が、前記除去後画像における前記構成要素の数、及び、前記除去後画像における補助具の有無の少なくとも一方である、という態様であってもよい。
【0015】
本発明の植物選別作業支援装置において、例えば、
前記作業対象認識部、前記除去対象判定部、及び前記選別対象判定部の少なくとも一方は、学習済みモデルを用いて各処理を実行し、
前記作業対象認識部は、入力された画像内から作業対象グループの各構成要素を作業対象として認識するように学習された学習済みモデルに、取得した前記画像を入力して、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定部は、入力された画像内における認識された作業対象から除去対象の前記構成要素を判定するように学習された学習済みモデルに、作業対象物を認識した前記画像を入力して、認識された作業対象から、除去対象の前記構成要素を判定し、
前記選別対象判定部は、入力された画像内における作業対象グループの前記構成要素から残すべき前記構成要素を選別対象として判定するように学習された学習済みモデルに、前記除去後画像を入力して、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定する、という態様であってもよい。
また、前記態様において、例えば、
前記除去対象判定部、及び前記選別対象判定部の少なくとも一方が用いる学習済みモデルは、評価値に基づいて、前記各判定をするように学習された学習済みモデルであり、
前記除去対象判定部、及び前記選別対象判定部の少なくとも一方は、評価値に基づいて前記各判定を行う、という態様であってもよい。
前記作業対象認識部、前記除去対象判定部、及び前記選別対象判定部の少なくとも一方は、学習済みモデルを用いて各処理を実行し、
前記作業対象認識部は、入力された画像内から作業対象グループの各構成要素を作業対象として認識するように学習された学習済みモデルに、取得した前記画像を入力して、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定部は、入力された画像内における認識された作業対象から除去対象の前記構成要素を判定するように学習された学習済みモデルに、作業対象物を認識した前記画像を入力して、認識された作業対象から、除去対象の前記構成要素を判定し、
前記選別対象判定部は、入力された画像内における作業対象グループの前記構成要素から残すべき前記構成要素を選別対象として判定するように学習された学習済みモデルに、前記除去後画像を入力して、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定する、という態様であってもよい。
また、前記態様において、例えば、
前記除去対象判定部、及び前記選別対象判定部の少なくとも一方が用いる学習済みモデルは、評価値に基づいて、前記各判定をするように学習された学習済みモデルであり、
前記除去対象判定部、及び前記選別対象判定部の少なくとも一方は、評価値に基づいて前記各判定を行う、という態様であってもよい。
【0016】
本発明の植物選別作業支援装置において、例えば、
前記合成画像生成部は、前記各判定の結果毎に、表示用パラメータを定義し、且つ前記表示用パラメータの定義に従い、前記各視覚情報を前記画像に重畳した合成画像を生成する、という態様であってもよい。
前記合成画像生成部は、前記各判定の結果毎に、表示用パラメータを定義し、且つ前記表示用パラメータの定義に従い、前記各視覚情報を前記画像に重畳した合成画像を生成する、という態様であってもよい。
【0017】
本発明の植物選別作業支援装置において、例えば、
前記画像取得部が取得する前記画像及び前記除去後画像の少なくとも一方は、補助具を用いて、前記複数の構成要素が前記補助具に沿って整列した画像である、という態様であってもよい。
また、前記態様において、例えば、
前記複数の構成要素と接する前記補助具の面の色は、単色である、という態様であってもよい。
前記画像取得部が取得する前記画像及び前記除去後画像の少なくとも一方は、補助具を用いて、前記複数の構成要素が前記補助具に沿って整列した画像である、という態様であってもよい。
また、前記態様において、例えば、
前記複数の構成要素と接する前記補助具の面の色は、単色である、という態様であってもよい。
【0018】
本発明の植物選別作業支援装置において、例えば、
前記合成画像生成部は、さらに、前記作業対象認識部により認識した前記構成要素を示す認識用視覚情報を前記画像に重畳した合成画像を生成する、という態様であってもよい。
前記合成画像生成部は、さらに、前記作業対象認識部により認識した前記構成要素を示す認識用視覚情報を前記画像に重畳した合成画像を生成する、という態様であってもよい。
【0019】
本発明の植物選別作業支援合成画像表示システム装置及び植物選別作業支援合成画像表示方法において、例えば、
前記表示装置は、作業者の頭部に装着可能な装置である、という態様であってもよい。
前記表示装置は、作業者の頭部に装着可能な装置である、という態様であってもよい。
【0020】
本発明の学習済みモデル生成装置において、例えば、
前記教師データ取得部は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報と、前記各構成要素の評価値を示す評価情報とを関連付けて記録した教師データを取得し、
前記学習済みモデル生成部は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、前記認識した作業対象の各構成要素毎に評価値を付し、且つ前記評価値に基づき、前記作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、という態様であってもよい。
前記教師データ取得部は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報と、前記各構成要素の評価値を示す評価情報とを関連付けて記録した教師データを取得し、
前記学習済みモデル生成部は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、前記認識した作業対象の各構成要素毎に評価値を付し、且つ前記評価値に基づき、前記作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、という態様であってもよい。
【0021】
本発明の植物選別作業支援方法において、例えば、
前記移行判定工程における前記予め規定した基準が、前記除去後画像における前記構成要素の数、及び、前記除去後画像における補助具の有無の少なくとも一方である、という態様であってもよい。
前記移行判定工程における前記予め規定した基準が、前記除去後画像における前記構成要素の数、及び、前記除去後画像における補助具の有無の少なくとも一方である、という態様であってもよい。
【0022】
本発明の植物選別作業支援方法において、例えば、
前記作業対象認識工程、前記除去対象判定工程、及び前記選別対象判定工程の少なくとも一方は、学習済みモデルを用いて各処理を実行し、
前記作業対象認識工程は、入力された画像内から作業対象グループの各構成要素を作業対象として認識するように学習された学習済みモデルに、取得した前記画像を入力して、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定工程は、入力された画像内における認識された作業対象から除去対象の前記構成要素を判定するように学習された学習済みモデルに、作業対象物を認識した前記画像を入力して、認識された作業対象から、除去対象の前記構成要素を判定し、
前記選別対象判定工程は、入力された画像内における作業対象グループの前記構成要素から残すべき前記構成要素を選別対象として判定するように学習された学習済みモデルに、前記除去後画像を入力して、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定する、という態様であってもよい。
前記態様において、例えば、
前記除去対象判定工程、及び前記選別対象判定工程の少なくとも一方が用いる学習済みモデルは、評価値に基づいて、前記各判定をするように学習された学習済みモデルであり、
前記除去対象判定工程、及び前記選別対象判定工程の少なくとも一方は、評価値に基づいて前記各判定を行う、という態様であってもよい。
前記作業対象認識工程、前記除去対象判定工程、及び前記選別対象判定工程の少なくとも一方は、学習済みモデルを用いて各処理を実行し、
前記作業対象認識工程は、入力された画像内から作業対象グループの各構成要素を作業対象として認識するように学習された学習済みモデルに、取得した前記画像を入力して、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定工程は、入力された画像内における認識された作業対象から除去対象の前記構成要素を判定するように学習された学習済みモデルに、作業対象物を認識した前記画像を入力して、認識された作業対象から、除去対象の前記構成要素を判定し、
前記選別対象判定工程は、入力された画像内における作業対象グループの前記構成要素から残すべき前記構成要素を選別対象として判定するように学習された学習済みモデルに、前記除去後画像を入力して、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定する、という態様であってもよい。
前記態様において、例えば、
前記除去対象判定工程、及び前記選別対象判定工程の少なくとも一方が用いる学習済みモデルは、評価値に基づいて、前記各判定をするように学習された学習済みモデルであり、
前記除去対象判定工程、及び前記選別対象判定工程の少なくとも一方は、評価値に基づいて前記各判定を行う、という態様であってもよい。
【0023】
本発明の植物選別作業支援方法において、例えば、
前記合成画像生成工程は、前記各判定の結果毎に、表示用パラメータを定義し、且つ前記表示用パラメータの定義に従い、前記各視覚情報を前記画像に重畳した合成画像を生成する、という態様であってもよい。
前記合成画像生成工程は、前記各判定の結果毎に、表示用パラメータを定義し、且つ前記表示用パラメータの定義に従い、前記各視覚情報を前記画像に重畳した合成画像を生成する、という態様であってもよい。
【0024】
本発明の植物選別作業支援方法において、例えば、
前記画像取得工程が取得する前記画像及び前記除去後画像の少なくとも一方は、補助具を用いて、前記複数の構成要素が前記補助具に沿って整列した画像である、という態様であってもよい。
前記態様において、例えば、
前記複数の構成要素と接する前記補助具の面の色は、単色である、という態様であってもよい。
前記画像取得工程が取得する前記画像及び前記除去後画像の少なくとも一方は、補助具を用いて、前記複数の構成要素が前記補助具に沿って整列した画像である、という態様であってもよい。
前記態様において、例えば、
前記複数の構成要素と接する前記補助具の面の色は、単色である、という態様であってもよい。
【0025】
本発明の植物選別作業支援方法において、例えば、
前記合成画像生成工程は、さらに、前記作業対象認識工程により認識した前記構成要素を示す認識用視覚情報を前記画像に重畳した合成画像を生成する、という態様であってもよい。
前記合成画像生成工程は、さらに、前記作業対象認識工程により認識した前記構成要素を示す認識用視覚情報を前記画像に重畳した合成画像を生成する、という態様であってもよい。
【0026】
本発明の学習済みモデル生産方法において、例えば、
前記教師データ取得工程は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報と、前記各構成要素の評価値を示す評価情報とを関連付けて記録した教師データを取得し、
前記学習済みモデル生成工程は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、前記認識した作業対象の各構成要素毎に評価値を付し、且つ前記評価値に基づき、前記作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、という態様であってもよい。
前記教師データ取得工程は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報と、前記各構成要素の評価値を示す評価情報とを関連付けて記録した教師データを取得し、
前記学習済みモデル生成工程は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、前記認識した作業対象の各構成要素毎に評価値を付し、且つ前記評価値に基づき、前記作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、という態様であってもよい。
【0027】
本発明のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。
【0028】
本発明の記録媒体は、本発明のプログラムを記録しているコンピュータ読み取り可能な記録媒体である。
【0029】
本発明において、「植物」とは、特に制限されず、複数の構成要素から形成される作業対象グループを有していればよい。具体的には、例えば、果樹等の木本植物；花卉や野菜等の草本植物；等が挙げられる。より具体的に、果樹であれば、例えば、前記構成要素が、果実（幼果等）であり、前記作業対象グループが、果そう（１つの花芽から出る果実の集団）である。また、果樹以外の木本植物や草本植物であれば、例えば、前記構成要素が梢、わき芽、側枝、主枝等であり、前記作業対象グループが側枝、主枝、主幹等である。
【0030】
次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
【0031】
［実施形態１］
図１は、本実施形態の植物選別作業支援装置１０の一例の構成を示すブロック図である。図１に示すように、本装置１０は、画像取得部１１、作業対象認識部１２、除去対象判定部１３、合成画像生成部１４、移行判定部１５、及び、選別対象判定部１６を含む。さらに、本装置１０は、任意の構成として、記憶部１７及び撮像部１８を含んでもよい。
図１は、本実施形態の植物選別作業支援装置１０の一例の構成を示すブロック図である。図１に示すように、本装置１０は、画像取得部１１、作業対象認識部１２、除去対象判定部１３、合成画像生成部１４、移行判定部１５、及び、選別対象判定部１６を含む。さらに、本装置１０は、任意の構成として、記憶部１７及び撮像部１８を含んでもよい。
【0032】
本装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置１０は、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。本装置１０は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置１０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。さらに、本装置１０は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
【0033】
図２に、本装置１０のハードウエア構成のブロック図を例示する。本装置１０は、例えば、中央処理装置（ＣＰＵ、ＧＰＵ等）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、表示装置１０６、通信デバイス１０７等を含む。さらに、本装置１０のハードウエア構成は、例えば、任意の構成として、さらに、撮像装置１０８を含んでもよい。本装置１０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。
【0034】
中央処理装置１０１は、本装置１０の全体の制御を担う。本装置１０において、中央処理装置１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、中央処理装置１０１が、画像取得部１１、作業対象認識部１２、除去対象判定部１３、合成画像生成部１４、移行判定部１５、及び、選別対象判定部１６として機能する。
【0035】
バス１０３は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置（外部データベース等）、プリンター、外部入力装置、外部表示装置、外部撮像装置等があげられる。本装置１０は、例えば、バス１０３に接続された通信デバイス１０７により、外部ネットワーク（前記通信回線網）に接続でき、外部ネットワークを介して、他の装置と接続することもできる。
【0036】
メモリ１０２は、例えば、メインメモリ（主記憶装置）が挙げられる。中央処理装置１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ１０２が読み込み、中央処理装置１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。また、メモリ１０２は、例えば、ＲＯＭ（読み出し専用メモリ）であってもよい。
【0037】
記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置１０４は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置１０４は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）であってもよい。
【0038】
本装置１０において、メモリ１０２及び記憶装置１０４は、ユーザのログ情報、並びに、外部データベース（図示せず）から取得した情報を記憶することも可能である。
【0039】
記憶部１７は、例えば、メモリ１０２及び記憶装置１０４を使用できる。
【0040】
本装置１０は、例えば、さらに、入力装置１０５、表示装置１０６、及び撮像装置１０８を含んでもよい。入力装置１０５は、例えば、タッチパネル、キーボード、マウス等である。表示装置１０６は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等が挙げられる。撮像装置１０８は、例えば、カメラ等が挙げられ、撮像部１８として機能する。
【0041】
つぎに、本実施形態の植物選別作業支援方法の一例を、図３のフローチャートに基づき説明する。本実施形態の植物選別作業支援方法は、例えば、図１の植物選別作業支援装置１０を用いて、次のように実施する。なお、本実施形態の植物選別作業支援方法は、図１の植物選別作業支援装置１０の使用には限定されない。
【0042】
まず、画像取得部１１により、作業対象となる植物の全部又は一部の画像を取得する（Ｓ１１）。前記植物は、複数の構成要素から形成される作業対象グループを有する。本装置１０が、例えば、撮像部１８を含む場合、前記工程（Ｓ１１）の前に、撮像部１８により、作業対象となる植物の全部又は一部の画像を撮像してもよい。そして、画像取得部１１により、前記撮像した画像を取得してもよい。また、画像取得部１１は、例えば、前記通信回線網を介して、外部撮像装置が撮像した前記画像を取得してもよい。前記画像は、例えば、動画でもよいし、静止画でもよい。
【0043】
次に、作業対象認識部１２により、取得した前記画像において、前記作業対象グループの各構成要素を作業対象として認識する（Ｓ１２）。作業対象認識部１２は、例えば、後述するように、学習済みモデルを使用して、前記作業対象を認識してもよい。
【0044】
次に、除去対象判定部１３により、認識された作業対象において、除去対象の前記構成要素を判定する（Ｓ１３）。除去対象判定部１３は、例えば、後述するように、学習済みモデルを使用して、前記作業対象を認識してもよい。除去対象判定部１３は、例えば、予め規定した個数の除去対象を判定してもよい。前記予め規定した個数は、特に制限されず、１個又は２個以上であり、ユーザが任意に規定できる。また、除去対象判定部１３は、例えば、除去優先度を判定することで、前記除去対象の前記構成要素を判定してもよい。前記除去優先度とは、除去対象である確からしさの度合いである。「除去対象の構成要素」とは、すなわち、除去対象判定部１３が摘果や剪定等の作業によって除去すべきと判定した構成要素ともいえる。
【0045】
次に、合成画像生成部１４により、前記除去対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成する（Ｓ１４）。除去対象判定部１３が前記除去優先度を判定する場合、合成画像生成部１４は、例えば、前記視覚情報として、前記除去優先度を示す情報を前記画像に重畳した合成画像を生成してもよい。前記視覚情報は、特に制限されず、視覚により認識可能な情報であればよい。具体的には、前記除去対象と判定された前記構成要素を囲う枠、前記構成要素を示す文字及び記号等がある。以下、前記視覚情報は、例えば、除去対象用視覚情報ともいう。本装置１０は、例えば、前記合成画像を外部表示装置や表示装置１０６に出力してもよい。これにより、摘果作業や剪定作業等を行う作業者は、摘果・剪定対象の構成要素を認識することができる。
【0046】
次に、画像取得部１１により、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像を除去後画像として取得する（Ｓ１５）。本装置１０が、例えば、撮像部１８を含む場合、前記工程（Ｓ１４）の後且つ前記工程（Ｓ１５）の前に、撮像部１８により、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像（除去後画像）を撮像してもよい。そして、画像取得部１１により、前記撮像した除去後画像を取得してもよい。また、画像取得部１１は、例えば、前記通信回線網を介して、外部撮像装置が撮像した前記除去後画像を取得してもよい。
【0047】
次に、移行判定部１５により、前記除去後画像において、予め規定した基準に基づき、選別対象判定部１６での選別対象判定を実施するか否かを判定する（Ｓ１６）。前記予め規定した基準は、特に制限されないが、例えば、前記除去後画像における前記構成要素の数、前記除去後画像における補助具の有無、及びこれらの組み合わせ等である。前記除去後画像における前記構成要素の数は、特に制限されず、ユーザが予め任意の数を設定できる。具体的には、例えば、５個、３個、等がある。前記補助具は、例えば、手袋、板等である。移行判定部１５は、例えば、前記除去後画像における前記構成要素の数が予め設定した数以下である場合、前記除去後画像に前記補助具が写っている場合、及び前記除去後画像における前記構成要素の数が予め設定した数以下であり且つ前記除去後画像に前記補助具が写っている場合等に、選別対象判定部１６での選別対象判定を実施すると判定してもよい。
【0048】
移行判定部１５の判定が、前記選別対象判定を実施するという判定の場合（ＹＥＳ）、選別対象判定部１６は、前記除去後画像において、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定する（Ｓ１７）。選別対象判定部１６は、例えば、後述するように、学習済みモデルを使用して、前記選別対象を判定してもよい。前記残すべき構成要素の数は、前記除去後画像における前記構成要素の数よりも少なければよく、例えば、１つでもよいし、２つ以上でもよい。
【0049】
次に、合成画像生成部１４により、前記選別対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成し（Ｓ１８）、終了する（ＥＮＤ）。以下、前記視覚情報は、例えば、選別対象用視覚情報ともいう。前記選別対象用視覚情報は、例えば、前記除去対象用視覚情報と同様に、前記構成要素を囲う枠、前記構成要素を示す文字及び記号等がある。本装置１０は、例えば、前記合成画像を外部表示装置や表示装置１０６に出力してもよい。これにより、摘果作業や剪定作業等を行う作業者は、前記作業対象グループのうち残すべき構成要素を認識することができる。
【0050】
一方で、移行判定部１５の判定が、前記選別対象判定を実施しないという判定の場合（ＮＯ）、例えば、除去対象判定部１３での判定（Ｓ１３）、合成画像生成部１４での合成画像の生成（Ｓ１４）、及び、画像取得部１１での前記除去後画像の取得（Ｓ１５）が繰り返し実施されてもよい。
【0051】
合成画像生成部１４は、例えば、前記工程（Ｓ１４）及び前記工程（Ｓ１８）において、前記各判定の結果毎に、表示用パラメータを定義し、且つ前記表示用パラメータの定義に従い、前記除去対象用視覚情報及び前記選別対象用識別情報を前記画像に重畳した合成画像を生成してもよい。前記表示用パラメータとは、例えば、色等である。具体的に、合成画像生成部１４は、例えば、前記画像中の除去対象である前記構成要素と除去対象ではない前記構成要素とに対し、それぞれ異なる色の枠（枠は、除去対象用視覚情報）を重畳した合成画像を生成してもよい。また、合成画像生成部１４は、例えば、前記画像中の前記構成要素に対し、前記除去優先度毎に異なる色の枠（除去対象用視覚情報）を重畳した合成画像を生成してもよい。さらに、合成画像生成部１４は、例えば、前記画像中の選別対象である前記構成要素と選別対象でない前記構成要素とに対し、それぞれ異なる色の枠（選別対象用視覚情報）を重畳した合成画像を生成してもよい。
【0052】
合成画像生成部１４は、例えば、さらに、前記工程（Ｓ１２）の後、且つ前記工程（Ｓ１３）の前に、作業対象認識部１２により認識した前記構成要素を示す認識用視覚情報を前記画像に重畳した合成画像を生成してもよい（Ｓ１９）。前記認識用視覚情報は、例えば、前記除去対象用視覚情報と同様に、前記構成要素を囲う枠、前記構成要素を示す文字及び記号等がある。本装置１０は、例えば、前記合成画像を外部表示装置や表示装置１０６に出力してもよい。これにより、前記作業者は、前記構成要素を認識できたか否かを知ることができる。すなわち、本実施形態では、前記画像中の除去対象の前記構成要素のみに対し除去対象用視覚情報を重畳した合成画像を生成してもよいし、除去対象の前記構成要素を含む認識した全ての前記構成要素に対し認識用視覚情報を重畳した合成画像を生成してもよい。後者の場合、例えば、前記工程（Ｓ１９）後の前記工程（Ｓ１４）において生成される前記合成画像中には、前記認識用視覚情報は含まれない。
【0053】
画像取得部１１が前記工程（Ｓ１１）において取得する前記画像、及び前記工程（Ｓ１５）において前記除去後画像の少なくとも一方は、例えば、補助具を用いて、前記複数の構成要素が前記補助具に沿って整列した画像であってもよい。前記補助具とは、例えば、前述と同様に、手袋、板等である。前記補助具の色は、特に制限されないが、例えば、前記構成要素の色と反対色である。また、前記複数の構成要素と接する前記補助具の面の色は、例えば、単色であってもよい。これにより、前記複数の構成要素が重なり合うこともなく、前記構成要素とそれ以外の部分（例えば、他の果そうの構成要素等）との差異を明確にすることができるため、作業対象認識部１２による認識（Ｓ１２）、除去対象判定部１３による判定（Ｓ１３）、移行判定部１５による判定（Ｓ１５）及び選別対象判定部１６による判定（Ｓ１７）の精度を向上させることができる。
【0054】
（変形例１）
作業対象認識部１２、除去対象判定部１３、及び選別対象判定部１６の少なくとも一方が、学習済みモデルを用いて各処理を実行する形態について説明する。
作業対象認識部１２、除去対象判定部１３、及び選別対象判定部１６の少なくとも一方が、学習済みモデルを用いて各処理を実行する形態について説明する。
【0055】
作業対象認識部１２は、例えば、前記工程（Ｓ１２）において、入力された画像内から作業対象グループの各構成要素を作業対象として認識するように学習された学習済みモデルに、取得した前記画像を入力して、前記作業対象グループの各構成要素を作業対象として認識してもよい。
【0056】
除去対象判定部１３は、例えば、前記工程（Ｓ１３）において、入力された画像内における認識された作業対象から除去対象の前記構成要素を判定するように学習された学習済みモデルに、作業対象物を認識した前記画像を入力して、認識された作業対象から、除去対象の前記構成要素を判定してもよい。
【0057】
選別対象判定部１６は、例えば、前記工程（Ｓ１７）において、入力された画像内における作業対象グループの前記構成要素から残すべき前記構成要素を選別対象として判定するように学習された学習済みモデルに、前記除去後画像を入力して、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定してもよい。
【0058】
前記各学習済みモデルは、例えば、多層化ネットワークを用いる学習済みモデルであってもよい。前記多層化ネットワークを用いる学習済みモデルは、例えば、作業対象グループの各構成要素を含む画像、除去対象の前記構成要素を含む画像、及び選別対象の前記構成要素を含む画像の少なくとも一方を入力する入力層と、各構成要素を作業対象として認識した画像、前記除去対象を判定した画像、前記選別対象を判定した画像の少なくとも一方を出力する出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層とを含む。前記各学習済みモデルは、例えば、人工知能ソフトウェアの一部であるプログラムモジュールであってもよい。前記多層化ネットワークとしては、例えば、ニューラルネットワーク等が挙げられる。前記ニューラルネットワークとしては、例えば、画像を対象とする畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）等が挙げられる。なお、前記各学習済みモデルは、前記ＣＮＮに限定されず、例えば、ＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、回帰木等の他の学習アルゴリズムで構築された学習済みモデルであってもよい。
【0059】
本装置１０が記憶部１７を含む場合、記憶部１７には、例えば、予め前記各学習済みモデルを構成する実体ファイルが保存されていてもよい。これら実体ファイルは、プログラムの一部位として構成されるものであってもよい。前記各学習済みモデルは、例えば、本発明の生産方法によって生産された学習済みモデルを用いてもよい。前記各学習済みモデルは、例えば、前記通信回線網を介して、外部から取得してもよい。
【0060】
前記学習済みモデルは、例えば、各部毎に、別々に学習済みモデルであってもよいし、各部で共通する学習済みモデルであってもよい。
【0061】
特に、除去対象判定部１３、及び選別対象判定部１６の少なくとも一方が用いる学習済みモデルは、評価値に基づいて、前記各判定をするように学習された学習済みモデルであってもよい。そして、除去対象判定部１３、及び選別対象判定部１６の少なくとも一方は、評価値に基づいて前記各判定を行ってもよい。
【0062】
以下、前記評価値について具体的に説明する。前記学習済みモデルは、例えば、１点～５点等の評価値と前記構成要素とが対応付けられた画像を教師データとして用いて、学習される。前記評価値は、観点に応じて、ユーザが任意に設定する。前記観点は、例えば、果実等の構成要素の大きさ、構成要素の形、作業対象グループにおける構成要素の順番、軸の太さ、構成要素の色、構成要素が成っている方向、どの花芽から結実したか等がある。前記評価値は、これら複数の観点を総合した総合点であってもよいし、平均点でもよいし、いずれか一つの観点の評価値であってもよい。前記複数の観点のうち、どの観点の評価値を用いるかは、例えば、ユーザが任意に設定してもよいし、学習により前記学習済みモデル自体がどの観点に着目するかを自律的に決定してもよい。
【0063】
具体的に、除去対象判定部１３は、例えば、予め設定した評価値以下の前記構成要素を前記除去対象として判定してもよいし、前記評価値が最も高い前記構成要素以外を前記除去対象として判定してもよい。また、選別対象判定部１６は、例えば、予め設定した評価値以上の前記構成要素を前記選別対象として判定してもよいし、前記評価値が最も高い前記構成要素を前記選別対象として判定してもよい。
【0064】
また、除去対象判定部１３、及び選別対象判定部１６の少なくとも一方は、例えば、前記工程（Ｓ１３）及び前記工程（Ｓ１７）において、前記評価値を用いる前記学習済みモデルにより、各構成要素に対し、その評価値である確からしさ（確率）の値を算出してもよい。そして、除去対象判定部１３、及び選別対象判定部１６の少なくとも一方は、例えば、前記評価値が同点の各構成要素が存在する場合に、前記確率の高さに基づき、前記各判定を行ってもよい。すなわち、除去対象判定部１３は、例えば、前記評価値及び前記確率が最も高い前記構成要素以外を前記除去対象として判定してもよい。また、選別対象判定部１６は、例えば、前記評価値及び前記確率が最も高い前記構成要素を前記選別対象として判定してもよい。
【0065】
実施形態１及び変形例１によれば、前記選別対象用視覚情報を重畳した合成画像を生成することで、選別作業を支援する。具体的に、作業者は、前記合成画像を見て、摘果・間引きする対象を容易に判別でき、作業スピードが向上する。また、実施形態１及び変形例１によれば、作業者の技術や経験にかかわらずに、容易に除去対象及び選別対象を判定可能であるから、新規就農者の増加や雇用を活用した農園の規模拡大等を容易に実現可能にする。
【0066】
［実施形態２］
図４（Ａ）は、本実施形態の植物選別作業支援合成画像表示システム装置１００の一例の構成を示すブロック図である。図４に示すように、本装置１００は、前記実施形態１及び前記変形例１記載の植物選別作業支援装置１０と、表示装置２０とを含む。
図４（Ａ）は、本実施形態の植物選別作業支援合成画像表示システム装置１００の一例の構成を示すブロック図である。図４に示すように、本装置１００は、前記実施形態１及び前記変形例１記載の植物選別作業支援装置１０と、表示装置２０とを含む。
【0067】
表示装置２０は、作業者が携帯可能な装置であり、例えば、作業者の頭部に装着可能な装置であってもよい。具体的には、例えば、スマートフォン、タブレット端末、ウェアラブル端末（腕時計型、腕輪型、メガネ型等）等がある。
【0068】
表示装置２０は、図４（Ａ）に示すように、取得部２１及び表示処理部２２を含む。さらに、表示装置２０は、例えば、任意の構成として、撮像部２３を含んでもよい。表示装置２０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、前記通信回線網を介して接続可能な装置でもよい。また、表示装置２０は、前記通信回線網を介して、前述の外部装置と接続可能である。
【0069】
【0070】
中央処理装置１０１は、例えば、取得部２１及び表示処理部２２として機能する。
【0071】
撮像装置１０８は、例えば、撮像部２３として機能する。
【0072】
つぎに、本実施形態の植物選別作業支援合成画像表示方法の一例を、図５のフローチャートに基づき説明する。本実施形態の植物選別作業支援合成画像表示方法は、例えば、図４の植物選別作業支援合成画像表示システム装置１００を用いて、次のように実施する。なお、本実施形態の植物選別作業支援合成画像表示方法は、図４の植物選別作業支援合成画像表示システム装置１００の使用には限定されない。
【0073】
【0074】
植物選別作業支援装置１０は、前記工程（Ｓ１４）及び前記工程（Ｓ１８）にて、合成画像生成部１４が生成した各合成画像を、前記通信回線網を介して、表示装置２０に出力する（Ｓ２０）。また、植物選別作業支援装置１０は、前記工程（Ｓ１９）にて、合成画像生成部１４が生成した合成画像も表示装置２０に出力してもよい。
【0075】
次に、表示装置２０は、取得部２１により、植物選別作業支援装置１０から出力された前記合成画像を取得する（Ｓ２１）。
【0076】
そして、表示装置２０は、表示処理部２２により、前記合成画像を表示する処理を実行し（Ｓ２２）、終了する（ＥＮＤ）。前記処理は、例えば、表示装置２０の表示装置１０６に対して行われる。
【0077】
表示装置２０が、例えば、撮像部２３を含む場合、前記工程（Ｓ１１）の前に、撮像部２３により、作業対象となる植物の全部又は一部の画像を撮像してもよい。そして、表示装置２０は、前記通信回線網を介して、植物選別作業支援装置１０に前記撮像した画像を出力してもよい。植物選別作業支援装置１０の画像取得部１１は、前記出力された画像を取得する。
【0078】
また、表示装置２０が、例えば、撮像部２３を含む場合、前記工程（Ｓ１４）の後且つ前記工程（Ｓ１５）の前に、撮像部２３により、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像（除去後画像）を撮像してもよい。そして、表示装置２０は、前記通信回線網を介して、植物選別作業支援装置１０に前記撮像した除去後画像を出力してもよい。植物選別作業支援装置１０の画像取得部１１は、前記出力された除去後画像を取得する。
【0079】
本実施形態によれば、作業者の携帯する表示装置に前記合成画像を表示することができるため、作業者は、前記合成画像を見ながら、より効率的に選別作業を行うことができる。
【0080】
［実施形態３］
図６（Ａ）は、本実施形態の学習済みモデル生成装置３０の一例の構成を示すブロック図である。図６（Ａ）に示すように、本装置３０は、教師データ取得部３１、及び学習済みモデル生成部３２を含む。
図６（Ａ）は、本実施形態の学習済みモデル生成装置３０の一例の構成を示すブロック図である。図６（Ａ）に示すように、本装置３０は、教師データ取得部３１、及び学習済みモデル生成部３２を含む。
【0081】
本装置３０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、前記通信回線網を介して接続可能な装置でもよい。また、本装置３０は、前記通信回線網を介して、前述の外部装置と接続可能である。本装置３０は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置３０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。さらに、本装置３０は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
【0082】
図６（Ｂ）に、学習済みモデル生成装置３０のハードウエア構成のブロック図を例示する。学習済みモデル生成装置３０は、例えば、中央処理装置（ＣＰＵ、ＧＰＵ等）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、表示装置１０６、通信デバイス１０７等を含む。学習済みモデル生成装置３０のハードウエア構成の各部は、特に言及しない限り、図３に示す植物選別作業支援装置１０のハードウエア構成の各部の記載を援用できる。
【0083】
中央処理装置１０１は、例えば、教師データ取得部３１及び学習済みモデル生成部３２として機能する。
【0084】
メモリ１０２及び記憶装置１０４は、本装置３０によって生成された学習済みモデルを記憶してもよい。
【0085】
つぎに、本実施形態の学習済みモデル生産方法の一例を、図７のフローチャートに基づき説明する。本実施形態の学習済みモデル生産方法は、例えば、図６の学習済みモデル生成装置３０を用いて、次のように実施する。なお、本実施形態の学習済みモデル生産方法は、図６の学習済みモデル生成装置３０の使用には限定されない。
【0086】
まず、教師データ取得部３１により、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報とを関連付けて記録した教師データを取得する（Ｓ３１）。前記植物は、前述と同様である。前記特徴情報は、例えば、前記植物の形、色相、濃淡、大きさ等の特定の植物における特徴に関する情報である。前記除去対象及び前記選別対象は、前述と同様である。
【0087】
次に、学習済みモデル生成部３２により、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、且つ前記認識した作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成し（Ｓ３２）、終了する（ＥＮＤ）。
【0088】
つまり、本装置３０は、前記機械学習を行うことで、前記画像を入力とし、前記認識及び前記判定結果を出力とするニューラルネットワークを構築（生成）する、ともいえる。前記ニューラルネットワークとしては、例えば、前述と同様である。前記ニューラルネットワークは、例えば、前記画像を受け付ける入力層と、前記認識及び前記判定結果を出力する出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層とを含んでもよい。
【0089】
前記入力層は、例えば、前記画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを含み、入力された前記画像値を前記中間層に受け渡す。前記中間層は、前記植物の特徴量を抽出する複数のニューロンを含み、抽出した前記特徴量を前記出力層に受け渡す。前記出力層は、各構成要素を作業対象として認識し、前記除去対象を判定した画像及び前記選別対象を判定した画像の少なくとも一方とを出力する一又は複数のニューロンを含み、前記中間層から出力された前記特徴量に基づいて、前記作業対象の認識及び前記各判定を行う。
【0090】
教師データ取得部３１は、例えば、さらに、前記各構成要素の評価値を示す評価情報を関連付けて記録した教師データを取得してもよい。前記評価値は、例えば、前述と同様である。そして、学習済みモデル生成部３２は、例えば、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、前記認識した作業対象の各構成要素毎に評価値を付し、且つ前記評価値に基づき、前記各判定結果の少なくとも一方を出力する学習済みモデルを生成してもよい。
【0091】
本実施形態によって生成される学習済みモデルは、例えば、前記実施形態１～２、及び変形例１に記載の植物選別作業支援装置３０に使用される。これにより、本実施形態によれば、作業者による選別作業を支援し、効率的な作業を可能にする。
【0092】
［実施形態４］
図８を用いて、幼果の摘果に本発明を適用した一例を説明する。
図８を用いて、幼果の摘果に本発明を適用した一例を説明する。
【0093】
本例において、作業者は、表示装置２０として、撮像部２３（撮像装置１０８）を含むメガネ型のウェアラブル端末を使用するものとする。図８は、表示装置２０のディスプレイに表示される各画像の一例を示す。作業者は、表示装置２０のディスプレイに表示された指示に従い、撮像部２３により、入力装置１０５を介して、１つの果そうを撮像する。この際に、前記作業者は、例えば、図８（１）に示すように、手袋を用いて、前記果そうにおける複数の幼果を前記手袋に沿うように並べて撮像してもよい。表示装置２０は、前記撮像した画像を植物選別作業支援装置１０に出力する。また、前記撮像した画像及び撮像前の撮像部２３からの視点を示す画像等は、表示装置２０のディスプレイに表示されてもよい。
【0094】
次に、植物選別作業支援装置１０において、画像取得部１１による前記画像の取得、及び作業対象認識部１２による幼果の認識を行う。このとき、例えば、前述のように、合成画像生成部１４により、前記画像中の前記認識した幼果に対し前記認識用視覚情報が重畳された合成画像を生成してもよい。そして、植物選別作業支援装置１０は、前記合成画像を表示装置２０に送信してもよい。表示装置２０は、図８（２）に示すように、前記合成画像を取得し、ディスプレイに表示してもよい。これにより、前記作業者は、幼果の認識が行われたのか知ることができる。なお、図８（２）において、前記認識用視覚情報は、黒色の枠として前記ディスプレイに表示されている一例であるが、図面上は、実線の枠として記載している。
【0095】
次に、植物選別作業支援装置１０において、除去対象判定部１３による除去対象の判定、及び合成画像生成部１４による除去対象用視覚情報を重畳した合成画像の生成が行われる。そして、植物選別作業支援装置１０は、前記合成画像を表示装置２０に送信してもよい。表示装置２０は、図８（３）に示すように、前記合成画像を取得し、ディスプレイに表示してもよい。これにより、前記作業者は、摘果すべき幼果を認識することができる。なお、図８（３）において、前記除去対象用視覚情報は、青色の枠として前記ディスプレイに表示されている一例であるが、図面上は、破線の枠として記載している。また、前記合成画像において、前記除去対象用認識情報を重畳しない前記幼果に対しては、図８（３）に示すように、前記認識用視覚情報が重畳されていてもよい。すなわち、表示装置２０は、図８（２）に示す画像を取得せずとも、図８（３）に示す画像を取得するだけで、幼果の認識が行われたことと摘果すべき幼果の双方を知ることができる。
【0096】
そして、作業者は、前記合成画像を確認して、前記除去対象用視覚情報が重畳されている前記幼果を摘果する。なお、後の処理である移行判定部１５における前記基準が前記除去後画像における前記構成要素の数である場合、前記合成画像が表示されている前記ディスプレイには、例えば、「残り３果以下になるまで、破線の枠（青枠）内の幼果を摘果して下さい」とのメッセージが表示されてもよい。また、移行判定部１５における前記基準が除去後画像における補助具（手袋）の有無である場合、前記ディスプレイには、例えば、「残り３果以下になるまで、破線の枠（青枠）内の幼果を摘果して下さい。摘果後、手袋をかざしてください」とのメッセージが表示されてもよい。
【0097】
摘果後、作業者は、表示装置２０のディスプレイに表示された指示に従い、撮像部２３により、入力装置１０５を介して、一部の幼果を摘果した前記果そうを撮像する。この際に、前記作業者は、例えば、図８（４）に示すように、手袋を用いて、前記果そうにおける複数の幼果を前記手袋に沿うように並べて撮像してもよい。表示装置２０は、前記撮像した画像（除去後画像）を植物選別作業支援装置１０に出力する。また、前記除去後画像及び撮像前の撮像部２３からの視点を示す画像等は、表示装置２０のディスプレイに表示されてもよい。
【0098】
次に、植物選別作業支援装置１０において、画像取得部１１による前記除去後画像の取得、及び移行判定部１５による移行判定が実施される。移行判定部１５の判定が、前記選別対象判定を実施しないという判定の場合、例えば、図８（３）～（４）に示す画像の生成及び撮像を繰り返し、一方で、移行判定部１５の判定が、前記選別対象判定を実施するという判定の場合、植物選別作業支援装置１０において、選別対象判定部１６による選別対象の判定、及び合成画像生成部１４による選別対象用視覚情報を重畳した合成画像の生成が行われる。そして、植物選別作業支援装置１０は、前記合成画像を表示装置２０に送信してもよい。表示装置２０は、図８（５）に示すように、前記合成画像を取得し、ディスプレイに表示してもよい。なお、図８（５）において、前記選別対象用視覚情報は、赤色の枠の枠として前記ディスプレイに表示されている一例であるが、図面上は、実線の枠として記載している。これにより、前記作業者は、摘果すべき幼果と残すべき幼果とを認識することができる。また、前記合成画像において、前記選別対象用認識情報を重畳しない前記幼果に対しては、前記除去用視覚情報が重畳されていてもよい。
【0099】
このように、植物選別作業支援装置１０は、多数の幼果がなる果そうに対し、除去対象の判定を行ってから、一部の幼果が摘果された果そうに対し、選別対象の判定を行うことで、選別対象の判定の精度を向上させることができる。
【0100】
［実施形態５］
本実施形態のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。本発明において、「手順」は、「処理」と読み替えてもよい。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されていてもよい。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等が挙げられる。
本実施形態のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。本発明において、「手順」は、「処理」と読み替えてもよい。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されていてもよい。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等が挙げられる。
【0101】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【0102】
＜付記＞
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
画像取得部、作業対象認識部、除去対象判定部、合成画像生成部、移行判定部、及び、選別対象判定部を備え、
前記画像取得部は、作業対象となる植物の全部又は一部の画像を取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記作業対象認識部は、取得した前記画像において、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定部は、認識された作業対象において、除去対象の前記構成要素を判定し、
前記合成画像生成部は、前記除去対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成し、
前記画像取得部は、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像を除去後画像として取得し、
前記移行判定部は、前記除去後画像において、予め規定した基準に基づき、前記選別対象判定部での選別対象判定を実施するか否かを判定し、
前記移行判定部の判定が、前記選別対象判定を実施するという判定の場合、前記選別対象判定部は、前記除去後画像において、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定し、
前記合成画像生成部は、前記選別対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成する、
植物選別作業支援装置。
（付記２）
前記移行判定部における前記予め規定した基準が、前記除去後画像における前記構成要素の数、及び、前記除去後画像における補助具の有無の少なくとも一方である、付記１記載の植物選別作業支援装置。
（付記３）
前記作業対象認識部、前記除去対象判定部、及び前記選別対象判定部の少なくとも一方は、学習済みモデルを用いて各処理を実行し、
前記作業対象認識部は、入力された画像内から作業対象グループの各構成要素を作業対象として認識するように学習された学習済みモデルに、取得した前記画像を入力して、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定部は、入力された画像内における認識された作業対象から除去対象の前記構成要素を判定するように学習された学習済みモデルに、作業対象物を認識した前記画像を入力して、認識された作業対象から、除去対象の前記構成要素を判定し、
前記選別対象判定部は、入力された画像内における作業対象グループの前記構成要素から残すべき前記構成要素を選別対象として判定するように学習された学習済みモデルに、前記除去後画像を入力して、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定する、付記１又は２記載の植物選別作業支援装置。
（付記４）
前記除去対象判定部、及び前記選別対象判定部の少なくとも一方が用いる学習済みモデルは、評価値に基づいて、前記各判定をするように学習された学習済みモデルであり、
前記除去対象判定部、及び前記選別対象判定部の少なくとも一方は、評価値に基づいて前記各判定を行う、付記３記載の植物選別作業支援装置。
（付記５）
前記合成画像生成部は、前記各判定の結果毎に、表示用パラメータを定義し、且つ前記表示用パラメータの定義に従い、前記各視覚情報を前記画像に重畳した合成画像を生成する、付記１から４のいずれかに記載の植物選別作業支援装置。
（付記６）
前記画像取得部が取得する前記画像及び前記除去後画像の少なくとも一方は、補助具を用いて、前記複数の構成要素が前記補助具に沿って整列した画像である、付記１から５のいずれかに記載の植物選別作業支援装置。
（付記７）
前記複数の構成要素と接する前記補助具の面の色は、単色である、付記６記載の植物選別作業支援装置。
（付記８）
前記合成画像生成部は、さらに、前記作業対象認識部により認識した前記構成要素を示す認識用視覚情報を前記画像に重畳した合成画像を生成する、付記１から７のいずれかに記載の植物選別作業支援装置。
（付記９）
付記１から８のいずれかに記載の植物選別作業支援装置と、表示装置とを含み、
前記表示装置は、作業者が携帯可能な装置であり、
前記植物選別作業支援装置において、
前記合成画像生成部が生成した各合成画像は、前記表示装置に出力され、
前記表示装置は、取得部、及び表示処理部を含み、
前記取得部は、前記植物選別作業支援装置から出力された前記合成画像を取得し、
前記表示処理部は、前記合成画像を表示する処理を実行する、植物選別作業支援合成画像表示システム装置。
（付記１０）
前記表示装置は、作業者の頭部に装着可能な装置である、付記９記載の植物選別作業支援合成画像表示システム装置。
（付記１１）
教師データ取得部、及び学習済みモデル生成部を含み、
前記教師データ取得部は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報とを関連付けて記録した教師データを取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記学習済みモデル生成部は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、且つ前記認識した作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、学習済みモデル生成装置。
（付記１２）
前記教師データ取得部は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報と、前記各構成要素の評価値を示す評価情報とを関連付けて記録した教師データを取得し、
前記学習済みモデル生成部は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、前記認識した作業対象の各構成要素毎に評価値を付し、且つ前記評価値に基づき、前記作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、付記１１記載の学習済みモデル生成装置。
（付記１３）
画像取得工程、作業対象認識工程、除去対象判定工程、合成画像生成工程、移行判定工程、及び、選別対象判定工程を備え、
前記画像取得工程は、作業対象となる植物の全部又は一部の画像を取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記作業対象認識工程は、取得した前記画像において、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定工程は、認識された作業対象において、除去対象の前記構成要素を判定し、
前記合成画像生成工程は、前記除去対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成し、
前記画像取得工程は、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像を除去後画像として取得し、
前記移行判定工程は、前記除去後画像において、予め規定した基準に基づき、前記選別対象判定工程での選別対象判定を実施するか否かを判定し、
前記移行判定工程の判定が、前記選別対象判定を実施するという判定の場合、前記選別対象判定工程は、前記除去後画像において、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定し、
前記合成画像生成工程は、前記選別対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成する、
植物選別作業支援方法。
（付記１４）
前記移行判定工程における前記予め規定した基準が、前記除去後画像における前記構成要素の数、及び、前記除去後画像における補助具の有無の少なくとも一方である、付記１３記載の植物選別作業支援方法。
（付記１５）
前記作業対象認識工程、前記除去対象判定工程、及び前記選別対象判定工程の少なくとも一方は、学習済みモデルを用いて各処理を実行し、
前記作業対象認識工程は、入力された画像内から作業対象グループの各構成要素を作業対象として認識するように学習された学習済みモデルに、取得した前記画像を入力して、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定工程は、入力された画像内における認識された作業対象から除去対象の前記構成要素を判定するように学習された学習済みモデルに、作業対象物を認識した前記画像を入力して、認識された作業対象から、除去対象の前記構成要素を判定し、
前記選別対象判定工程は、入力された画像内における作業対象グループの前記構成要素から残すべき前記構成要素を選別対象として判定するように学習された学習済みモデルに、前記除去後画像を入力して、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定する、付記１３又は１４記載の植物選別作業支援方法。
（付記１６）
前記除去対象判定工程、及び前記選別対象判定工程の少なくとも一方が用いる学習済みモデルは、評価値に基づいて、前記各判定をするように学習された学習済みモデルであり、
前記除去対象判定工程、及び前記選別対象判定工程の少なくとも一方は、評価値に基づいて前記各判定を行う、付記１５記載の植物選別作業支援方法。
（付記１７）
前記合成画像生成工程は、前記各判定の結果毎に、表示用パラメータを定義し、且つ前記表示用パラメータの定義に従い、前記各視覚情報を前記画像に重畳した合成画像を生成する、付記１３から１６のいずれかに記載の植物選別作業支援方法。
（付記１８）
前記画像取得工程が取得する前記画像及び前記除去後画像の少なくとも一方は、補助具を用いて、前記複数の構成要素が前記補助具に沿って整列した画像である、付記１３から１７のいずれかに記載の植物選別作業支援方法。
（付記１９）
前記複数の構成要素と接する前記補助具の面の色は、単色である、付記１８記載の植物選別作業支援方法。
（付記２０）
前記合成画像生成工程は、さらに、前記作業対象認識工程により認識した前記構成要素を示す認識用視覚情報を前記画像に重畳した合成画像を生成する、付記１３から１９のいずれかに記載の植物選別作業支援方法。
（付記２１）
付記１３から２０のいずれかに記載の植物選別作業支援方法と、表示方法とを含み、
前記表示方法は、作業者が携帯可能な装置に対する処理であり、
前記植物選別作業支援方法において、
前記合成画像生成工程が生成した各合成画像は、前記作業者が携帯可能な装置に出力され、
前記表示方法は、取得工程、及び表示処理工程を含み、
前記取得工程は、前記植物選別作業支援方法により出力された前記合成画像を取得し、
前記表示処理工程は、前記合成画像を表示する処理を実行する、植物選別作業支援合成画像表示方法。
（付記２２）
前記作業者が携帯可能な装置は、作業者の頭部に装着可能な装置である、付記２１記載の植物選別作業支援合成画像表示方法。
（付記２３）
教師データ取得工程、及び学習済みモデル生成工程を含み、
前記教師データ取得工程は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報とを関連付けて記録した教師データを取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記学習済みモデル生成工程は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、且つ前記認識した作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、学習済みモデル生産方法。
（付記２４）
前記教師データ取得工程は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報と、前記各構成要素の評価値を示す評価情報とを関連付けて記録した教師データを取得し、
前記学習済みモデル生成工程は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、前記認識した作業対象の各構成要素毎に評価値を付し、且つ前記評価値に基づき、前記作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、付記２３記載の学習済みモデル生産方法。
（付記２５）
コンピュータに、画像取得手順、作業対象認識手順、除去対象判定手順、合成画像生成手順、移行判定手順、及び、選別対象判定手順を含む手順を実行させるためのプログラム：
前記画像取得手順は、作業対象となる植物の全部又は一部の画像を取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記作業対象認識手順は、取得した前記画像において、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定手順は、認識された作業対象において、除去対象の前記構成要素を判定し、
前記合成画像生成手順は、前記除去対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成し、
前記画像取得手順は、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像を除去後画像として取得し、
前記移行判定手順は、前記除去後画像において、予め規定した基準に基づき、前記選別対象判定手順での選別対象判定を実施するか否かを判定し、
前記移行判定手順の判定が、前記選別対象判定を実施するという判定の場合、前記選別対象判定手順は、前記除去後画像において、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定し、
前記合成画像生成手順は、前記選別対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成する。
（付記２６）
前記移行判定手順における前記予め規定した基準が、前記除去後画像における前記構成要素の数、及び、前記除去後画像における補助具の有無の少なくとも一方である、付記２５記載のプログラム。
（付記２７）
前記作業対象認識手順、前記除去対象判定手順、及び前記選別対象判定手順の少なくとも一方は、学習済みモデルを用いて各処理を実行し、
前記作業対象認識手順は、入力された画像内から作業対象グループの各構成要素を作業対象として認識するように学習された学習済みモデルに、取得した前記画像を入力して、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定手順は、入力された画像内における認識された作業対象から除去対象の前記構成要素を判定するように学習された学習済みモデルに、作業対象物を認識した前記画像を入力して、認識された作業対象から、除去対象の前記構成要素を判定し、
前記選別対象判定手順は、入力された画像内における作業対象グループの前記構成要素から残すべき前記構成要素を選別対象として判定するように学習された学習済みモデルに、前記除去後画像を入力して、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定する、付記２５又は２６記載のプログラム。
（付記２８）
前記除去対象判定手順、及び前記選別対象判定手順の少なくとも一方が用いる学習済みモデルは、評価値に基づいて、前記各判定をするように学習された学習済みモデルであり、
前記除去対象判定手順、及び前記選別対象判定手順の少なくとも一方は、評価値に基づいて前記各判定を行う、付記２７記載のプログラム。
（付記２９）
前記合成画像生成手順は、前記各判定の結果毎に、表示用パラメータを定義し、且つ前記表示用パラメータの定義に従い、前記各視覚情報を前記画像に重畳した合成画像を生成する、付記２５から２８のいずれかに記載のプログラム。
（付記３０）
前記画像取得手順が取得する前記画像及び前記除去後画像の少なくとも一方は、補助具を用いて、前記複数の構成要素が前記補助具に沿って整列した画像である、付記２５から２９のいずれかに記載のプログラム。
（付記３１）
前記複数の構成要素と接する前記補助具の面の色は、単色である、付記３０記載のプログラム。
（付記３２）
前記合成画像生成手順は、さらに、前記作業対象認識手順により認識した前記構成要素を示す認識用視覚情報を前記画像に重畳した合成画像を生成する、付記２５から３１のいずれかに記載のプログラム。
（付記３３）
付記２５から３２のいずれかに記載の植物選別作業支援用のプログラムと、表示用のプログラムとを含み、
前記表示用のプログラムは、作業者が携帯可能な装置におけるプログラムであり、
前記植物選別作業支援用のプログラムにおいて、
前記合成画像生成手順が生成した各合成画像は、前記作業者が携帯可能な装置に出力され、
前記表示用のプログラムは、コンピュータに、取得手順、及び表示処理手順を含む手順を実行させるためのプログラム：
前記取得手順は、前記植物選別作業支援方法により出力された前記合成画像を取得し、
前記表示処理手順は、前記合成画像を表示する処理を実行する。
（付記３４）
前記作業者が携帯可能な装置は、作業者の頭部に装着可能な装置である、付記３３記載のプログラム。
（付記３５）
コンピュータに、教師データ取得手順、及び学習済みモデル生成手順を含む手順を実行させるためのプログラム：
前記教師データ取得手順は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報とを関連付けて記録した教師データを取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記学習済みモデル生成手順は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、且つ前記認識した作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する。
（付記３６）
前記教師データ取得手順は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報と、前記各構成要素の評価値を示す評価情報とを関連付けて記録した教師データを取得し、
前記学習済みモデル生成手順は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、前記認識した作業対象の各構成要素毎に評価値を付し、且つ前記評価値に基づき、前記作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、付記３５記載のプログラム。
（付記３７）
付記２５から３６のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
画像取得部、作業対象認識部、除去対象判定部、合成画像生成部、移行判定部、及び、選別対象判定部を備え、
前記画像取得部は、作業対象となる植物の全部又は一部の画像を取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記作業対象認識部は、取得した前記画像において、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定部は、認識された作業対象において、除去対象の前記構成要素を判定し、
前記合成画像生成部は、前記除去対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成し、
前記画像取得部は、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像を除去後画像として取得し、
前記移行判定部は、前記除去後画像において、予め規定した基準に基づき、前記選別対象判定部での選別対象判定を実施するか否かを判定し、
前記移行判定部の判定が、前記選別対象判定を実施するという判定の場合、前記選別対象判定部は、前記除去後画像において、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定し、
前記合成画像生成部は、前記選別対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成する、
植物選別作業支援装置。
（付記２）
前記移行判定部における前記予め規定した基準が、前記除去後画像における前記構成要素の数、及び、前記除去後画像における補助具の有無の少なくとも一方である、付記１記載の植物選別作業支援装置。
（付記３）
前記作業対象認識部、前記除去対象判定部、及び前記選別対象判定部の少なくとも一方は、学習済みモデルを用いて各処理を実行し、
前記作業対象認識部は、入力された画像内から作業対象グループの各構成要素を作業対象として認識するように学習された学習済みモデルに、取得した前記画像を入力して、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定部は、入力された画像内における認識された作業対象から除去対象の前記構成要素を判定するように学習された学習済みモデルに、作業対象物を認識した前記画像を入力して、認識された作業対象から、除去対象の前記構成要素を判定し、
前記選別対象判定部は、入力された画像内における作業対象グループの前記構成要素から残すべき前記構成要素を選別対象として判定するように学習された学習済みモデルに、前記除去後画像を入力して、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定する、付記１又は２記載の植物選別作業支援装置。
（付記４）
前記除去対象判定部、及び前記選別対象判定部の少なくとも一方が用いる学習済みモデルは、評価値に基づいて、前記各判定をするように学習された学習済みモデルであり、
前記除去対象判定部、及び前記選別対象判定部の少なくとも一方は、評価値に基づいて前記各判定を行う、付記３記載の植物選別作業支援装置。
（付記５）
前記合成画像生成部は、前記各判定の結果毎に、表示用パラメータを定義し、且つ前記表示用パラメータの定義に従い、前記各視覚情報を前記画像に重畳した合成画像を生成する、付記１から４のいずれかに記載の植物選別作業支援装置。
（付記６）
前記画像取得部が取得する前記画像及び前記除去後画像の少なくとも一方は、補助具を用いて、前記複数の構成要素が前記補助具に沿って整列した画像である、付記１から５のいずれかに記載の植物選別作業支援装置。
（付記７）
前記複数の構成要素と接する前記補助具の面の色は、単色である、付記６記載の植物選別作業支援装置。
（付記８）
前記合成画像生成部は、さらに、前記作業対象認識部により認識した前記構成要素を示す認識用視覚情報を前記画像に重畳した合成画像を生成する、付記１から７のいずれかに記載の植物選別作業支援装置。
（付記９）
付記１から８のいずれかに記載の植物選別作業支援装置と、表示装置とを含み、
前記表示装置は、作業者が携帯可能な装置であり、
前記植物選別作業支援装置において、
前記合成画像生成部が生成した各合成画像は、前記表示装置に出力され、
前記表示装置は、取得部、及び表示処理部を含み、
前記取得部は、前記植物選別作業支援装置から出力された前記合成画像を取得し、
前記表示処理部は、前記合成画像を表示する処理を実行する、植物選別作業支援合成画像表示システム装置。
（付記１０）
前記表示装置は、作業者の頭部に装着可能な装置である、付記９記載の植物選別作業支援合成画像表示システム装置。
（付記１１）
教師データ取得部、及び学習済みモデル生成部を含み、
前記教師データ取得部は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報とを関連付けて記録した教師データを取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記学習済みモデル生成部は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、且つ前記認識した作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、学習済みモデル生成装置。
（付記１２）
前記教師データ取得部は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報と、前記各構成要素の評価値を示す評価情報とを関連付けて記録した教師データを取得し、
前記学習済みモデル生成部は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、前記認識した作業対象の各構成要素毎に評価値を付し、且つ前記評価値に基づき、前記作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、付記１１記載の学習済みモデル生成装置。
（付記１３）
画像取得工程、作業対象認識工程、除去対象判定工程、合成画像生成工程、移行判定工程、及び、選別対象判定工程を備え、
前記画像取得工程は、作業対象となる植物の全部又は一部の画像を取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記作業対象認識工程は、取得した前記画像において、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定工程は、認識された作業対象において、除去対象の前記構成要素を判定し、
前記合成画像生成工程は、前記除去対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成し、
前記画像取得工程は、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像を除去後画像として取得し、
前記移行判定工程は、前記除去後画像において、予め規定した基準に基づき、前記選別対象判定工程での選別対象判定を実施するか否かを判定し、
前記移行判定工程の判定が、前記選別対象判定を実施するという判定の場合、前記選別対象判定工程は、前記除去後画像において、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定し、
前記合成画像生成工程は、前記選別対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成する、
植物選別作業支援方法。
（付記１４）
前記移行判定工程における前記予め規定した基準が、前記除去後画像における前記構成要素の数、及び、前記除去後画像における補助具の有無の少なくとも一方である、付記１３記載の植物選別作業支援方法。
（付記１５）
前記作業対象認識工程、前記除去対象判定工程、及び前記選別対象判定工程の少なくとも一方は、学習済みモデルを用いて各処理を実行し、
前記作業対象認識工程は、入力された画像内から作業対象グループの各構成要素を作業対象として認識するように学習された学習済みモデルに、取得した前記画像を入力して、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定工程は、入力された画像内における認識された作業対象から除去対象の前記構成要素を判定するように学習された学習済みモデルに、作業対象物を認識した前記画像を入力して、認識された作業対象から、除去対象の前記構成要素を判定し、
前記選別対象判定工程は、入力された画像内における作業対象グループの前記構成要素から残すべき前記構成要素を選別対象として判定するように学習された学習済みモデルに、前記除去後画像を入力して、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定する、付記１３又は１４記載の植物選別作業支援方法。
（付記１６）
前記除去対象判定工程、及び前記選別対象判定工程の少なくとも一方が用いる学習済みモデルは、評価値に基づいて、前記各判定をするように学習された学習済みモデルであり、
前記除去対象判定工程、及び前記選別対象判定工程の少なくとも一方は、評価値に基づいて前記各判定を行う、付記１５記載の植物選別作業支援方法。
（付記１７）
前記合成画像生成工程は、前記各判定の結果毎に、表示用パラメータを定義し、且つ前記表示用パラメータの定義に従い、前記各視覚情報を前記画像に重畳した合成画像を生成する、付記１３から１６のいずれかに記載の植物選別作業支援方法。
（付記１８）
前記画像取得工程が取得する前記画像及び前記除去後画像の少なくとも一方は、補助具を用いて、前記複数の構成要素が前記補助具に沿って整列した画像である、付記１３から１７のいずれかに記載の植物選別作業支援方法。
（付記１９）
前記複数の構成要素と接する前記補助具の面の色は、単色である、付記１８記載の植物選別作業支援方法。
（付記２０）
前記合成画像生成工程は、さらに、前記作業対象認識工程により認識した前記構成要素を示す認識用視覚情報を前記画像に重畳した合成画像を生成する、付記１３から１９のいずれかに記載の植物選別作業支援方法。
（付記２１）
付記１３から２０のいずれかに記載の植物選別作業支援方法と、表示方法とを含み、
前記表示方法は、作業者が携帯可能な装置に対する処理であり、
前記植物選別作業支援方法において、
前記合成画像生成工程が生成した各合成画像は、前記作業者が携帯可能な装置に出力され、
前記表示方法は、取得工程、及び表示処理工程を含み、
前記取得工程は、前記植物選別作業支援方法により出力された前記合成画像を取得し、
前記表示処理工程は、前記合成画像を表示する処理を実行する、植物選別作業支援合成画像表示方法。
（付記２２）
前記作業者が携帯可能な装置は、作業者の頭部に装着可能な装置である、付記２１記載の植物選別作業支援合成画像表示方法。
（付記２３）
教師データ取得工程、及び学習済みモデル生成工程を含み、
前記教師データ取得工程は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報とを関連付けて記録した教師データを取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記学習済みモデル生成工程は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、且つ前記認識した作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、学習済みモデル生産方法。
（付記２４）
前記教師データ取得工程は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報と、前記各構成要素の評価値を示す評価情報とを関連付けて記録した教師データを取得し、
前記学習済みモデル生成工程は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、前記認識した作業対象の各構成要素毎に評価値を付し、且つ前記評価値に基づき、前記作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、付記２３記載の学習済みモデル生産方法。
（付記２５）
コンピュータに、画像取得手順、作業対象認識手順、除去対象判定手順、合成画像生成手順、移行判定手順、及び、選別対象判定手順を含む手順を実行させるためのプログラム：
前記画像取得手順は、作業対象となる植物の全部又は一部の画像を取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記作業対象認識手順は、取得した前記画像において、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定手順は、認識された作業対象において、除去対象の前記構成要素を判定し、
前記合成画像生成手順は、前記除去対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成し、
前記画像取得手順は、除去対象の前記構成要素が除去された前記植物の全部又は一部の画像を除去後画像として取得し、
前記移行判定手順は、前記除去後画像において、予め規定した基準に基づき、前記選別対象判定手順での選別対象判定を実施するか否かを判定し、
前記移行判定手順の判定が、前記選別対象判定を実施するという判定の場合、前記選別対象判定手順は、前記除去後画像において、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定し、
前記合成画像生成手順は、前記選別対象と判定された前記構成要素を示す視覚情報を前記画像に重畳した合成画像を生成する。
（付記２６）
前記移行判定手順における前記予め規定した基準が、前記除去後画像における前記構成要素の数、及び、前記除去後画像における補助具の有無の少なくとも一方である、付記２５記載のプログラム。
（付記２７）
前記作業対象認識手順、前記除去対象判定手順、及び前記選別対象判定手順の少なくとも一方は、学習済みモデルを用いて各処理を実行し、
前記作業対象認識手順は、入力された画像内から作業対象グループの各構成要素を作業対象として認識するように学習された学習済みモデルに、取得した前記画像を入力して、前記作業対象グループの各構成要素を作業対象として認識し、
前記除去対象判定手順は、入力された画像内における認識された作業対象から除去対象の前記構成要素を判定するように学習された学習済みモデルに、作業対象物を認識した前記画像を入力して、認識された作業対象から、除去対象の前記構成要素を判定し、
前記選別対象判定手順は、入力された画像内における作業対象グループの前記構成要素から残すべき前記構成要素を選別対象として判定するように学習された学習済みモデルに、前記除去後画像を入力して、除去後に残った作業対象グループの前記構成要素から残すべき前記構成要素を選別対象と判定する、付記２５又は２６記載のプログラム。
（付記２８）
前記除去対象判定手順、及び前記選別対象判定手順の少なくとも一方が用いる学習済みモデルは、評価値に基づいて、前記各判定をするように学習された学習済みモデルであり、
前記除去対象判定手順、及び前記選別対象判定手順の少なくとも一方は、評価値に基づいて前記各判定を行う、付記２７記載のプログラム。
（付記２９）
前記合成画像生成手順は、前記各判定の結果毎に、表示用パラメータを定義し、且つ前記表示用パラメータの定義に従い、前記各視覚情報を前記画像に重畳した合成画像を生成する、付記２５から２８のいずれかに記載のプログラム。
（付記３０）
前記画像取得手順が取得する前記画像及び前記除去後画像の少なくとも一方は、補助具を用いて、前記複数の構成要素が前記補助具に沿って整列した画像である、付記２５から２９のいずれかに記載のプログラム。
（付記３１）
前記複数の構成要素と接する前記補助具の面の色は、単色である、付記３０記載のプログラム。
（付記３２）
前記合成画像生成手順は、さらに、前記作業対象認識手順により認識した前記構成要素を示す認識用視覚情報を前記画像に重畳した合成画像を生成する、付記２５から３１のいずれかに記載のプログラム。
（付記３３）
付記２５から３２のいずれかに記載の植物選別作業支援用のプログラムと、表示用のプログラムとを含み、
前記表示用のプログラムは、作業者が携帯可能な装置におけるプログラムであり、
前記植物選別作業支援用のプログラムにおいて、
前記合成画像生成手順が生成した各合成画像は、前記作業者が携帯可能な装置に出力され、
前記表示用のプログラムは、コンピュータに、取得手順、及び表示処理手順を含む手順を実行させるためのプログラム：
前記取得手順は、前記植物選別作業支援方法により出力された前記合成画像を取得し、
前記表示処理手順は、前記合成画像を表示する処理を実行する。
（付記３４）
前記作業者が携帯可能な装置は、作業者の頭部に装着可能な装置である、付記３３記載のプログラム。
（付記３５）
コンピュータに、教師データ取得手順、及び学習済みモデル生成手順を含む手順を実行させるためのプログラム：
前記教師データ取得手順は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報とを関連付けて記録した教師データを取得し、
前記植物は、複数の構成要素から形成される作業対象グループを有し、
前記学習済みモデル生成手順は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、且つ前記認識した作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する。
（付記３６）
前記教師データ取得手順は、作業対象となる植物の全部又は一部の画像と、前記植物の特徴量を示す特徴情報と、除去対象及び選別対象の少なくとも一方の構成要素を示す判定情報と、前記各構成要素の評価値を示す評価情報とを関連付けて記録した教師データを取得し、
前記学習済みモデル生成手順は、前記教師データを用いた機械学習によって、前記植物の全部又は一部が含まれる画像を入力した場合に、前記作業対象グループの前記各構成要素を作業対象として認識して、前記認識した作業対象の各構成要素毎に評価値を付し、且つ前記評価値に基づき、前記作業対象から除去対象の前記構成要素を判定した判定結果、及び前記作業対象グループの前記各構成要素から残すべき前記構成要素を選別対象として判定した判定結果の少なくとも一方を出力する学習済みモデルを生成する、付記３５記載のプログラム。
（付記３７）
付記２５から３６のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【産業上の利用可能性】
【0103】
本発明によれば、選別作業を支援し、より効率的な選別作業を可能にする。このため、本発明は、摘果、間引き、剪定等の作業において有用である。
【符号の説明】
【0104】
１０ 植物選別作業支援装置
１１ 画像取得部
１２ 作業対象認識部
１３ 除去対象判定部
１４ 合成画像生成部
１５ 移行判定部
１６ 選別対象判定部
１７ 記憶部
１８ 撮像部
２０ 表示装置
２１ 取得部
２２ 表示処理部
２３ 撮像部
３０ 学習済みモデル生成装置
３１ 教師データ取得部
３２ 学習済みモデル生成部
１００ 植物選別作業支援合成画像表示システム装置
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 表示装置
１０７ 通信デバイス
１０８ 撮像装置
１１ 画像取得部
１２ 作業対象認識部
１３ 除去対象判定部
１４ 合成画像生成部
１５ 移行判定部
１６ 選別対象判定部
１７ 記憶部
１８ 撮像部
２０ 表示装置
２１ 取得部
２２ 表示処理部
２３ 撮像部
３０ 学習済みモデル生成装置
３１ 教師データ取得部
３２ 学習済みモデル生成部
１００ 植物選別作業支援合成画像表示システム装置
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 表示装置
１０７ 通信デバイス
１０８ 撮像装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
