知財求人 - 知財ポータルサイト「IP Force」
▶ ヤンマーホールディングス株式会社の特許一覧 ▶ 学校法人千葉工業大学の特許一覧
特開2022-94331実推定システム、実収穫システム、枝茎推定システム、学習システム、実推定方法及び実推定プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022094331
(43)【公開日】2022-06-24
(54)【発明の名称】実推定システム、実収穫システム、枝茎推定システム、学習システム、実推定方法及び実推定プログラム
(51)【国際特許分類】
G06Q 50/02 20120101AFI20220617BHJP
G06T 7/194 20170101ALI20220617BHJP
G06T 7/00 20170101ALI20220617BHJP
A01G 7/00 20060101ALI20220617BHJP
A01D 46/30 20060101ALI20220617BHJP
G06Q 10/04 20120101ALI20220617BHJP
【ＦＩ】
G06Q50/02
G06T7/194
G06T7/00 350B
A01G7/00 603
A01D46/30
G06Q10/04
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2021199854
(22)【出願日】2021-12-09
(31)【優先権主張番号】P 2020207034
(32)【優先日】2020-12-14
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】720001060
【氏名又は名称】ヤンマーホールディングス株式会社
(71)【出願人】
【識別番号】598163064
【氏名又は名称】学校法人千葉工業大学
(74)【代理人】
【識別番号】100167302
【弁理士】
【氏名又は名称】種村 一幸
(74)【代理人】
【識別番号】100135817
【弁理士】
【氏名又は名称】華山 浩伸
(74)【代理人】
【識別番号】100167830
【弁理士】
【氏名又は名称】仲石 晴樹
(72)【発明者】
【氏名】夏迫 和也
(72)【発明者】
【氏名】原 直裕
(72)【発明者】
【氏名】空閑 融
(72)【発明者】
【氏名】上田 隆一
(72)【発明者】
【氏名】三上 泰史
(72)【発明者】
【氏名】大和田 恭平
(72)【発明者】
【氏名】石川 弘也
【テーマコード（参考）】
2B075
5L049
5L096
【Ｆターム（参考）】
2B075JF02
2B075JF07
2B075JF10
5L049AA04
5L049CC01
5L096AA09
5L096BA05
5L096BA08
5L096BA18
5L096CA02
5L096DA01
5L096DA02
5L096EA31
5L096FA06
5L096FA24
5L096FA32
5L096FA33
5L096FA34
5L096FA35
5L096FA52
5L096FA59
5L096FA62
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096GA30
5L096GA51
5L096GA55
5L096HA11
5L096JA05
5L096JA09
5L096JA11
5L096KA04
(57)【要約】
【課題】植物の実等に関する推定精度の向上を図りやすい実推定システム、実収穫システム、枝茎推定システム、学習システム、実推定方法及び実推定プログラムを提供する。
【解決手段】実推定システムは、枝茎抽出部２２と、推定部２３と、を備える。枝茎抽出部２２は、植物Ａ１を含む入力画像Ｉｍ１から、植物Ａ１の枝茎Ａ１２の形状に関する枝茎形状情報Ｄ１を抽出する。推定部２３は、枝茎形状情報Ｄ１に基づいて、枝茎Ａ１２につながっている植物Ａ１の実Ａ１１の位置、個数及び有無の少なくとも一項目を含む実情報Ｄ３を推定する。
【選択図】図３
【解決手段】実推定システムは、枝茎抽出部２２と、推定部２３と、を備える。枝茎抽出部２２は、植物Ａ１を含む入力画像Ｉｍ１から、植物Ａ１の枝茎Ａ１２の形状に関する枝茎形状情報Ｄ１を抽出する。推定部２３は、枝茎形状情報Ｄ１に基づいて、枝茎Ａ１２につながっている植物Ａ１の実Ａ１１の位置、個数及び有無の少なくとも一項目を含む実情報Ｄ３を推定する。
【選択図】図３
【特許請求の範囲】
【請求項1】
植物を含む入力画像から、前記植物の枝茎の形状に関する枝茎形状情報を抽出する枝茎抽出部と、
前記枝茎形状情報に基づいて、前記枝茎につながっている前記植物の実の位置、個数及び有無の少なくとも一項目を含む実情報を推定する推定部と、を備える、
実推定システム。
前記枝茎形状情報に基づいて、前記枝茎につながっている前記植物の実の位置、個数及び有無の少なくとも一項目を含む実情報を推定する推定部と、を備える、
実推定システム。
【請求項2】
前記枝茎抽出部は、前記入力画像を、前記枝茎に対応する第１領域と、前記枝茎以外の第２領域とに分類する分類器を有する、
請求項１に記載の実推定システム。
請求項１に記載の実推定システム。
【請求項3】
前記分類器は、前記第２領域を、前記植物における前記枝茎以外の部位に対応する前景領域と、前記植物以外の背景領域とに更に分類する、
請求項２に記載の実推定システム。
請求項２に記載の実推定システム。
【請求項4】
前記枝茎抽出部は、前記分類器の出力を用いて、前記枝茎の画像を出力する識別器を更に有する、
請求項２又は３に記載の実推定システム。
請求項２又は３に記載の実推定システム。
【請求項5】
前記推定部は、前記枝茎形状情報に加えて、前記入力画像に含まれる前記実の位置情報に基づいて、前記実情報を推定する、
請求項１～４のいずれか１項に記載の実推定システム。
請求項１～４のいずれか１項に記載の実推定システム。
【請求項6】
前記入力画像は、三次元画像である、
請求項１～５のいずれか１項に記載の実推定システム。
請求項１～５のいずれか１項に記載の実推定システム。
【請求項7】
前記枝茎形状情報及び前記実情報の少なくとも一方を表示させる表示処理部を更に備える、
請求項１～６のいずれか１項に記載の実推定システム。
請求項１～６のいずれか１項に記載の実推定システム。
【請求項8】
前記入力画像を用いて前記実の姿勢に関する姿勢情報を推定する姿勢推定部を更に備え、
前記推定部は、前記枝茎形状情報に加えて前記姿勢情報に基づいて、前記実情報を推定する、
請求項１～７のいずれか１項に記載の実推定システム。
前記推定部は、前記枝茎形状情報に加えて前記姿勢情報に基づいて、前記実情報を推定する、
請求項１～７のいずれか１項に記載の実推定システム。
【請求項9】
前記姿勢情報に基づいて、前記実の果梗の位置に関する果梗位置情報を推定する果梗位置推定部を更に備える、
請求項８に記載の実推定システム。
請求項８に記載の実推定システム。
【請求項10】
前記入力画像を用いて前記実の形状に関する形状情報を推定する形状推定部を更に備え、
前記推定部は、前記枝茎形状情報に加えて前記形状情報に基づいて、前記実情報を推定する、
請求項１～９のいずれか１項に記載の実推定システム。
前記推定部は、前記枝茎形状情報に加えて前記形状情報に基づいて、前記実情報を推定する、
請求項１～９のいずれか１項に記載の実推定システム。
【請求項11】
前記形状情報に基づいて、前記実の果梗の位置に関する果梗位置情報を推定する果梗位置推定部を更に備える、
請求項１０に記載の実推定システム。
請求項１０に記載の実推定システム。
【請求項12】
前記形状推定部は、前記入力画像におけるエッジの法線方向に投票を行い、投票の集中した領域の投票に寄与した前記エッジを前記実の外形候補として、前記形状情報を推定する、
請求項１０又は１１に記載の実推定システム。
請求項１０又は１１に記載の実推定システム。
【請求項13】
請求項１～１２のいずれか１項に記載の実推定システムと、
前記実情報に基づいて前記実を収穫する収穫装置と、を備える、
実収穫システム。
前記実情報に基づいて前記実を収穫する収穫装置と、を備える、
実収穫システム。
【請求項14】
植物を含む入力画像から、前記植物の枝茎の形状に関する枝茎形状情報を抽出する枝茎抽出部を備え、
前記枝茎抽出部は、前記入力画像を、前記枝茎に対応する第１領域と、前記枝茎以外の第２領域とに分類する分類器を有する、
枝茎推定システム。
前記枝茎抽出部は、前記入力画像を、前記枝茎に対応する第１領域と、前記枝茎以外の第２領域とに分類する分類器を有する、
枝茎推定システム。
【請求項15】
植物の枝茎の形状に関する枝茎形状情報に基づいて、前記枝茎につながっている前記植物の実の位置、個数及び有無の少なくとも１つを含む実情報を推定するための学習済みモデルを生成する学習システムであって、
前記枝茎形状情報と前記実情報とを含む学習用データセットを用いて、前記枝茎形状情報と前記実情報との間の相関関係を学習する、
学習システム。
前記枝茎形状情報と前記実情報とを含む学習用データセットを用いて、前記枝茎形状情報と前記実情報との間の相関関係を学習する、
学習システム。
【請求項16】
植物を含む入力画像から、前記植物の枝茎の形状に関する枝茎形状情報を抽出するための学習済みモデルを生成する学習システムであって、
前記入力画像と、前記入力画像のうちの前記枝茎に対応する第１領域及び前記枝茎以外の第２領域とを含む学習用データセットを用いて、前記入力画像と、前記第１領域及び前記第２領域との間の相関関係を学習する、
学習システム。
前記入力画像と、前記入力画像のうちの前記枝茎に対応する第１領域及び前記枝茎以外の第２領域とを含む学習用データセットを用いて、前記入力画像と、前記第１領域及び前記第２領域との間の相関関係を学習する、
学習システム。
【請求項17】
植物を含む入力画像から、前記植物の枝茎の形状に関する枝茎形状情報を抽出することと、
前記枝茎形状情報に基づいて、前記枝茎につながっている前記植物の実の位置、個数及び有無の少なくとも一項目を含む実情報を推定することと、を有する、
実推定方法。
前記枝茎形状情報に基づいて、前記枝茎につながっている前記植物の実の位置、個数及び有無の少なくとも一項目を含む実情報を推定することと、を有する、
実推定方法。
【請求項18】
植物を含む入力画像から、前記植物の枝茎の形状に関する枝茎形状情報を抽出することと、
前記枝茎形状情報に基づいて、前記枝茎につながっている前記植物の実の位置、個数及び有無の少なくとも一項目を含む実情報を推定することと、
を１以上のプロセッサに実行させるための実推定プログラム。
前記枝茎形状情報に基づいて、前記枝茎につながっている前記植物の実の位置、個数及び有無の少なくとも一項目を含む実情報を推定することと、
を１以上のプロセッサに実行させるための実推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、植物の実等に関する推定に用いられる実推定システム、実収穫システム、枝茎推定システム、学習システム、実推定方法及び実推定プログラムに関する。
【背景技術】
【0002】
関連技術として、植物（農作物）を生育する圃場の一部である領域を撮影した画像から、植物の実等の対象オブジェクトの個数を推定する情報処理装置が知られている。関連技術に係る情報処理装置は、圃場のうち指定された領域を撮影した画像から取得される領域の特徴量と、予め学習されたパラメータである推定パラメータと、に基づいて、指定された領域に含まれる実（対象オブジェクト）の個数を推定する。これにより、例えば、葉等の遮蔽物に隠れて画像に写っていない実も含めた個数が推定可能となる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－０２４６７２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記関連技術の構成では、例えば画像から取得される特徴量次第で、植物の構造から考えると実など存在するはずもない位置であっても、遮蔽物に隠れた実が存在するとの的外れな推定がされる可能性がある。
【0005】
本発明の目的は、植物の実等に関する推定精度の向上を図りやすい実推定システム、実収穫システム、枝茎推定システム、学習システム、実推定方法及び実推定プログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の一の局面に係る実推定システムは、枝茎抽出部と、推定部と、を備える。前記枝茎抽出部は、植物を含む入力画像から、前記植物の枝茎の形状に関する枝茎形状情報を抽出する。前記推定部は、前記枝茎形状情報に基づいて、前記枝茎につながっている前記植物の実の位置、個数及び有無の少なくとも一項目を含む実情報を推定する。
【0007】
本発明の他の局面に係る実収穫システムは、前記実推定システムと、前記実情報に基づいて前記実を収穫する収穫装置と、を備える。
【0008】
本発明の他の局面に係る枝茎推定システムは、枝茎抽出部を備える。前記枝茎抽出部は、植物を含む入力画像から、前記植物の枝茎の形状に関する枝茎形状情報を抽出する。前記枝茎抽出部は、前記入力画像を、前記枝茎に対応する第１領域と、前記枝茎以外の第２領域とに分類する分類器を有する。
【0009】
本発明の他の局面に係る学習システムは、植物の枝茎の形状に関する枝茎形状情報に基づいて、前記枝茎につながっている前記植物の実の位置、個数及び有無の少なくとも１つを含む実情報を推定するための学習済みモデルを生成する。前記学習システムは、前記枝茎形状情報と前記実情報とを含む学習用データセットを用いて、前記枝茎形状情報と前記実情報との間の相関関係を学習する。
【0010】
本発明の他の局面に係る学習システムは、植物を含む入力画像から、前記植物の枝茎の形状に関する枝茎形状情報を抽出するための学習済みモデルを生成する。前記学習システムは、前記入力画像と、前記入力画像のうちの前記枝茎に対応する第１領域及び前記枝茎以外の第２領域とを含む学習用データセットを用いて、前記入力画像と、前記第１領域及び前記第２領域との間の相関関係を学習する。
【0011】
本発明の他の局面に係る実推定方法は、植物を含む入力画像から、前記植物の枝茎の形状に関する枝茎形状情報を抽出することと、前記枝茎形状情報に基づいて、前記枝茎につながっている前記植物の実の位置、個数及び有無の少なくとも一項目を含む実情報を推定することと、を有する。
【0012】
本発明の他の局面に係る実推定プログラムは、植物を含む入力画像から、前記植物の枝茎の形状に関する枝茎形状情報を抽出することと、前記枝茎形状情報に基づいて、前記枝茎につながっている前記植物の実の位置、個数及び有無の少なくとも一項目を含む実情報を推定することと、を１以上のプロセッサに実行させるためのプログラムである。
【発明の効果】
【0013】
本発明によれば、植物の実等に関する推定精度の向上を図りやすい実推定システム、実収穫システム、枝茎推定システム、学習システム、実推定方法及び実推定プログラムを提供することができる。
【図面の簡単な説明】
【0014】
【発明を実施するための形態】
【0015】
以下、添付図面を参照しながら、本発明の実施形態について説明する。以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する趣旨ではない。
【0016】
（実施形態１）
［１］全体構成
本実施形態に係る実推定システム１は、図１に示すように、収穫装置３と共に、実収穫システム１０を構成する。言い換えれば、本実施形態に係る実収穫システム１０は、実推定システム１と、収穫装置３と、を備える。収穫装置３は、実推定システム１で推定される実情報Ｄ３（図３参照）に基づいて、植物Ａ１（図２参照）の実Ａ１１（図３参照）を収穫する。
［１］全体構成
本実施形態に係る実推定システム１は、図１に示すように、収穫装置３と共に、実収穫システム１０を構成する。言い換えれば、本実施形態に係る実収穫システム１０は、実推定システム１と、収穫装置３と、を備える。収穫装置３は、実推定システム１で推定される実情報Ｄ３（図３参照）に基づいて、植物Ａ１（図２参照）の実Ａ１１（図３参照）を収穫する。
【0017】
実推定システム１及び収穫装置３は、互いに通信可能である。本開示でいう「通信可能」とは、有線通信又は無線通信（電波又は光を媒体とする通信）の適宜の通信方式により、直接的、又は通信網（ネットワーク）Ｎ１若しくは中継器等を介して間接的に、情報を授受できることを意味する。実推定システム１と収穫装置３とは、例えば、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、公衆電話回線、携帯電話回線網、パケット回線網又は無線ＬＡＮ等の通信網Ｎ１を介して通信可能である。実推定システム１及び収穫装置３間の通信手段は、上記の例に限らず、適宜の通信手段によって実現される。また、実推定システム１及び収穫装置３が互いに通信可能であることは、実収穫システム１０において必須の構成ではない。
【0018】
実収穫システム１０は、例えば果菜類等の植物Ａ１を育生する圃場Ｆ１（図２参照）において、育生された植物Ａ１の実Ａ１１を収穫する際に用いられる。実の収穫は、収穫装置３によって行われる。本実施形態では一例として、収穫装置３は、図２に示すように、圃場Ｆ１内を自律走行して自動的に実Ａ１１を収穫することとする。そのため、収穫装置３は、例えばロボットアーム等の作業部３２を備えている。ただし、収穫装置３は、人の操作（遠隔操作を含む）に従って実を収穫してもよい。
【0019】
このような実収穫システム１０において、収穫装置３が実Ａ１１を収穫するには、少なくとも実Ａ１１の位置等の情報を把握した上で作業部３２等を制御する必要がある。つまり、実Ａ１１を目掛けて作業部３２を制御するために、実Ａ１１の位置等の情報が必要となる。この種の情報は、例えばカメラ等の撮像装置で圃場Ｆ１を撮像し、撮像された画像から実Ａ１１に相当する領域を抽出することによって、求めることが可能である。本実施形態では一例として、収穫装置３に圃場Ｆ１を撮像する撮像部３３が備わっており、撮像部３３で撮像された画像から実Ａ１１の位置等を特定することが可能である。ただし、例えば植物Ａ１の葉Ａ１３（図６参照）等の遮蔽物で隠れて一部又は全部が画像に写っていない実Ａ１１については、実際に実Ａ１１が存在するとしても見落とされる可能性がある。
【0020】
そこで、本実施形態に係る実収穫システム１０では、実推定システム１にて、このような隠れた実Ａ１１についても、実Ａ１１の位置等に関する「実情報」を推定し、この実情報Ｄ３に基づいて、収穫装置３が植物Ａ１の実Ａ１１を収穫する。これにより、実収穫システム１０では、撮像部３３で撮像された画像に一部又は全部が写っていない実Ａ１１についても、その位置等を把握して収穫を行うことが可能となる。
【0021】
［２］定義
本開示でいう「実情報」は、実推定システム１で推定される植物Ａ１の実Ａ１１に関する情報であって、実Ａ１１の位置、個数及び有無の少なくとも一項目を含む。つまり、実情報Ｄ３は、例えば、画像内において実Ａ１１が存在する位置に関する情報、画像内に存在する実Ａ１１の個数に関する情報、又は画像内に実Ａ１１が存在するか否か（実Ａ１１の有無）に関する情報等を含む。実情報Ｄ３は、実Ａ１１の位置、個数及び有無の少なくとも一項目を含んでいればよく、これらの項目に加えて、例えば実Ａ１１の大きさ、又は色等の項目を含んでいてもよい。さらに、実情報Ｄ３は、実Ａ１１の位置、個数及び有無の少なくとも一項目についての、確率変数等によって表されてもよく、一例として、実Ａ１１の位置に関する項目は、画像内の各位置における実Ａ１１の存在確率分布を含む。本実施形態では、特に断りが無い限り、実情報Ｄ３は、実Ａ１１の位置に関する項目、具体的には画像内での実Ａ１１の位置に関する項目を含む場合を例に挙げて説明する。
本開示でいう「実情報」は、実推定システム１で推定される植物Ａ１の実Ａ１１に関する情報であって、実Ａ１１の位置、個数及び有無の少なくとも一項目を含む。つまり、実情報Ｄ３は、例えば、画像内において実Ａ１１が存在する位置に関する情報、画像内に存在する実Ａ１１の個数に関する情報、又は画像内に実Ａ１１が存在するか否か（実Ａ１１の有無）に関する情報等を含む。実情報Ｄ３は、実Ａ１１の位置、個数及び有無の少なくとも一項目を含んでいればよく、これらの項目に加えて、例えば実Ａ１１の大きさ、又は色等の項目を含んでいてもよい。さらに、実情報Ｄ３は、実Ａ１１の位置、個数及び有無の少なくとも一項目についての、確率変数等によって表されてもよく、一例として、実Ａ１１の位置に関する項目は、画像内の各位置における実Ａ１１の存在確率分布を含む。本実施形態では、特に断りが無い限り、実情報Ｄ３は、実Ａ１１の位置に関する項目、具体的には画像内での実Ａ１１の位置に関する項目を含む場合を例に挙げて説明する。
【0022】
本開示でいう「圃場」は、植物Ａ１を育生するための領域であって、例えば、屋外又は屋内（ビニールハウス等）の果樹園、及び畑等を含む。このような圃場Ｆ１は、実空間（実在する空間）であって、収穫装置３が圃場Ｆ１内を自律走行して、撮像部３３にて圃場Ｆ１を撮像することが可能である。本実施形態では、特に断りが無い限り、圃場Ｆ１が屋外の畑である場合を例に挙げて説明する。
【0023】
本開示でいう「植物」は、圃場Ｆ１で育生される農産物（作物）であって、実収穫システム１０での実Ａ１１の収穫対象となる植物Ａ１である。このような植物Ａ１の例として、トマト、ナス、ピーマン、キュウリ、ゴーヤ、リンゴ、モモ、ミカン、イチゴ、スイカ及びメロン等がある。この種の植物Ａ１には、樹状の植物、及びつる植物等の様々な種類の植物が含まれる。本実施形態では、特に断りが無い限り、植物Ａ１がトマトである場合を例に挙げて説明する。
【0024】
本開示でいう「実」は、植物Ａ１のうちの実収穫システム１０での収穫対象となる部位であって、果実又は種実等を含む。実Ａ１１は、食用であってもよいし、食用でなくてもよい。実Ａ１１は、植物Ａ１の枝茎Ａ１２（図３参照）につながっており、収穫時には、例えば、枝茎Ａ１２から分離されるようにして収穫される。本実施形態では、特に断りが無い限り、植物Ａ１としてのトマトの果実が、収穫対象の実Ａ１１である場合を例に挙げて説明する。
【0025】
本開示でいう「枝茎」は、葉Ａ１３、花及び実Ａ１１等につながる部位であって、例えば、葉Ａ１３、花及び実Ａ１１等へ水分及び栄養素等を運んだり、葉Ａ１３、花及び実Ａ１１等を支えたりする機能を有している。「枝茎」は、枝、茎、地下茎及び蔓を含む。ここでいう「枝」には、幹から分岐する枝のみならず、例えば葉Ａ１３の付け根にある枝状の部分、及び幹等を含む。ただし、例えばジャガイモのように、地下茎の先端が肥大してなる塊茎等、地下茎の一部が収穫対象となる場合には、収穫対象である地下茎の一部（塊茎等）が本開示でいう「実」であって、それ以外の地下茎が「枝茎」となる。
【0026】
【0027】
本実施形態では一例として、収穫装置３は、自動運転により動作（自律走行）する。具体的には、収穫装置３は、例えば、ＧＮＳＳ（Global Navigation Satellite System）等の衛星測位システムを用いて収穫装置３の位置（緯度及び経度）を検出する位置検出部、及び収穫装置３の姿勢（向き等）を検出する姿勢検出部等を含んでいる。一例として、位置検出部は、ＲＴＫ（Real Time Kinematic）測位のように、比較的高精度で位置を検出する。
【0028】
ここで、収穫装置３の制御部３１は、１以上のプロセッサと、不揮発性メモリ及びＲＡＭ（Random Access Memory）等の１以上の記憶メモリとを有するコンピュータシステムを含む。特に本実施形態では、制御部３１は、少なくとも実推定システム１から取得する実情報Ｄ３に基づいて、作業部３２及び走行部３４等を自動制御する。これにより、収穫装置３は、実情報Ｄ３に従って、自律的に、圃場Ｆ１内を走行しながら実Ａ１１の収穫を行うことが可能である。
【0029】
作業部３２は、実Ａ１１を収穫する機能を有する。作業部３２は、例えば、図２に示すように、多関節のロボットアーム、ロボットハンド及びアクチュエータを含んでおり、上下、左右及び前後の任意の位置に移動可能に構成されている。そして、作業部３２は、任意の位置にある収穫対象としての植物Ａ１の実Ａ１１を枝茎Ａ１２から切り取るようにして、実Ａ１１の収穫を行う。作業部３２は、収穫した実Ａ１１を、例えば、収穫装置３に搭載されているカゴ等の収容容器に収容する。
【0030】
撮像部３３は、植物Ａ１を含む圃場Ｆ１の画像を撮像する機能を有する。撮像部３３は、例えば、図２に示すように、多関節のロボットアームの先端に設けられており、上下、左右及び前後の任意の位置に移動可能に構成されている。そして、撮像部３３は、任意の位置にある撮像対象を任意の向きから撮像する。撮像部３３が撮像する画像は、白黒画像、赤外線画像及びフルカラー画像のいずれであってもよいし、静止画及び動画のいずれであってもよい。
【0031】
走行部３４は、圃場Ｆ１内を移動する機能を有する。走行部３４は、動力源（エンジン、モータ等）、変速装置、操舵装置及び各種センサ等を有している。走行部３４は、動力源で発生する動力を利用して、圃場Ｆ１を走行可能に構成されている。ここで、本実施形態では、収穫装置３は圃場Ｆ１内を自律走行するので、走行部３４は制御部３１の制御に従って自動的に動作する。作業部３２等は、例えば、走行部３４の動力源で発生する動力を利用して動作してもよい。
【0032】
通信部３５は、実推定システム１等の外部システムとの通信機能を有する通信インターフェースである。具体的には、通信部３５は、無線又は有線で通信網Ｎ１に接続し、通信網Ｎ１を介して実推定システム１等との間で、所定の通信プロトコルに従ったデータ通信を実行する。本実施形態では、通信部３５は、少なくとも、撮像部３３で撮像される画像のデータ（画像データ）を実推定システム１に送信し、実推定システム１で推定される実情報Ｄ３を実推定システム１から受信する。
【0033】
ただし、収穫装置３と実推定システム１との間の情報の授受は、通信ではなくオフラインで行われてもよい。例えば、収穫装置３の撮像部３３で撮像される画像の画像データを収穫装置３にてコンピュータ読取可能な非一時的記録媒体に情報を記録し、実推定システム１にて記録媒体から情報を読み取ることで、オフラインでの情報（画像データ）の授受が可能となる。
【0034】
また、収穫装置３は、自動運転により動作する構成に限らず、人（オペレータ）の操作（遠隔操作を含む）により動作してもよい。この場合、人は、例えば、収穫装置３の表示器又はユーザ端末等に表示される画面を見ながら、実Ａ１１の位置を把握して収穫装置３を操作する。
【0035】
収穫装置３は、上述した構成以外にも、例えば、照明部、電源部及びユーザインターフェース等を備えていてもよい。例えば、照明部にて圃場Ｆ１の一部を照明することで、夜間等であっても、撮像部３３で圃場Ｆ１を撮像することが可能である。
【0036】
［４］実推定システム
次に、実推定システム１の構成について、図１を参照して詳細に説明する。実推定システム１は、情報処理装置２と、出力部１１と、表示部１２と、操作受付部１３と、情報入力部１４と、通信部１５と、データ格納部１６と、を備えている。
次に、実推定システム１の構成について、図１を参照して詳細に説明する。実推定システム１は、情報処理装置２と、出力部１１と、表示部１２と、操作受付部１３と、情報入力部１４と、通信部１５と、データ格納部１６と、を備えている。
【0037】
情報処理装置２は、例えば、サーバ等のコンピュータにて実現される。実推定システム１は、１台のコンピュータに限らず、複数台のコンピュータが協働して動作するコンピュータシステムであってもよい。また、実推定システム１で実行される各種の処理は、複数のプロセッサによって分散して実行されてもよい。
【0038】
出力部１１は、情報処理装置２で推定される実情報Ｄ３を出力する。本実施形態では一例として、出力部１１は、実情報Ｄ３を（通信部１５を介して）収穫装置３に送信することをもって、実情報Ｄ３の出力を行う。ただし、出力部１１による実情報Ｄ３の出力の態様は収穫装置３への送信に限らず、例えば、他装置（ユーザ端末等）への送信、印刷（プリントアウト）、非一時的記録媒体への書き込み、又は表示装置への表示等であってもよい。
【0039】
表示部１２は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような、ユーザに情報を提示するためのユーザインターフェースである。表示部１２は、ユーザに対して各種の情報を表示により提示する。
【0040】
操作受付部１３は、タッチパネル、マウス又はキーボードのような、ユーザによる操作入力を受け付けるためのユーザインターフェースである。操作受付部１３は、例えば、ユーザの操作に応じた電気信号を出力することにより、ユーザによる各種の操作を受け付ける。ただし、操作受付部１３による情報（操作）の入力の態様は上記に加えて又は代えて、例えば音声入力、ジェスチャ入力又は他の端末からの操作信号の入力等の態様を採用してもよい。
【0041】
情報入力部１４は、情報処理装置２で使用される学習用データセット等の情報（データ）の入力を受け付ける。本実施形態では一例として、学習用データセット等の情報を（通信部１５を介して）外部システムから受信することをもって、情報の入力を受け付ける。ただし、情報入力部１４による情報の入力の態様は通信に限らず、例えば、非一時的記録媒体からの読み込み等であってもよい。
【0042】
通信部１５は、収穫装置３等の外部機器との通信機能を有する通信インターフェースである。具体的には、通信部１５は、実推定システム１を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介して収穫装置３等との間で、所定の通信プロトコルに従ったデータ通信を実行する。
【0043】
データ格納部１６は、各種の情報を記憶するＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等の不揮発性のストレージデバイスを含む。データ格納部１６には、情報処理装置２に後述の実推定方法を実行させるための実推定プログラム等の制御プログラムが格納（記憶）されている。実推定プログラム等の制御プログラムは、例えば、コンピュータ読取可能な非一時的記録媒体に記録されて提供され、実推定システム１の読取装置で非一時的記録媒体から読み取られて、データ格納部１６に記憶される。制御プログラムは、実推定システム以外の外部サーバ等から電気通信回線（通信網Ｎ１）を介して実推定システム１に提供（ダウンロード）されて、データ格納部１６に記憶されてもよい。また、データ格納部１６は、実推定システム１により推定される実情報Ｄ３、及び後述する学習方法により機械学習される学習済みモデル等の情報も記憶する。
【0044】
情報処理装置２は、ＣＰＵ（Central Processing Unit）等の１以上のプロセッサと、ＲＯＭ（Read Only Memory）及びＲＡＭ等の１以上のメモリとを有し、種々の処理（情報処理）を実行する。情報処理装置２は、取得部２１、枝茎抽出部２２、推定部２３、実位置特定部２４及び表示処理部２５等の機能部を有する。情報処理装置２に含まれる、これら複数の機能部は、複数の筐体に分散して設けられていてもよいし、１つの筐体に設けられていてもよい。
【0045】
取得部２１は、画像（画像データ）を取得する。具体的には、取得部２１は、収穫装置３の撮像部３３で撮像される圃場Ｆ１の画像のデータを、通信部１５にて収穫装置３から受信することにより、画像データを取得する。取得部２１が取得する、植物Ａ１を含む（圃場Ｆ１の）画像を、入力画像Ｉｍ１（図３参照）という。取得部２１は、撮像部３３から定期的又は不定期に送信される入力画像Ｉｍ１を取得してもよいし、定期的又は不定期に撮像部３３に要求を出し当該要求への返信として入力画像Ｉｍ１を取得してもよい。本実施形態では、特に断りがない限り、取得部２１は、撮像部３３からフルカラーの静止画（ＲＧＢ画像）を入力画像Ｉｍ１として取得することとする。
【0046】
枝茎抽出部２２は、植物Ａ１を含む入力画像Ｉｍ１から、植物Ａ１の枝茎Ａ１２の形状に関する枝茎形状情報Ｄ１（図３参照）を抽出する。枝茎形状情報Ｄ１は、植物Ａ１の枝茎Ａ１２の形状に関する情報であればよく、例えば、枝茎Ａ１２の形状を模した画像、又は枝茎Ａ１２の形状を特徴量として表す情報等である。つまり、枝茎抽出部２２は、取得部２１が取得した入力画像Ｉｍ１に基づいて、この入力画像Ｉｍ１に写っている植物Ａ１の枝茎Ａ１２の形状に関する情報（枝茎形状情報Ｄ１）を抽出する。
【0047】
また、詳しくは後述するが、本実施形態では、枝茎抽出部２２は分類器４１（図５参照）を有する。分類器４１は、入力画像Ｉｍ１を、枝茎Ａ１２に対応する第１領域Ｒ１（図５参照）と、枝茎Ａ１２以外の第２領域Ｒ２（図５参照）とに分類する。そして、枝茎抽出部２２は、第１領域Ｒ１及び第２領域Ｒ２に分類されたセグメンテーション画像Ｉｍ２（図５参照）に基づいて、枝茎Ａ１２の形状を表す枝茎画像Ｉｍ３（図５参照）を生成する。この場合、枝茎画像Ｉｍ３は枝茎形状情報Ｄ１の一例である。つまり、枝茎抽出部２２は、分類器４１の出力を用いて、枝茎の画像（枝茎画像Ｉｍ３）を出力する識別器４２（図５参照）を更に有する。枝茎画像Ｉｍ３は、植物Ａ１のうちの枝茎Ａ１２のみを表す画像であって、枝茎Ａ１２以外の部位（実Ａ１１、葉Ａ１３等）は省略されている。
【0048】
推定部２３は、枝茎形状情報Ｄ１に基づいて、実情報Ｄ３を推定する。実情報Ｄ３は、上述したように、枝茎Ａ１２につながっている植物Ａ１の実Ａ１１の位置、個数及び有無の少なくとも一項目を含む情報であって、本実施形態では、実Ａ１１の位置に関する項目、具体的には画像内での実Ａ１１の位置に関する項目を含む情報である。すなわち、推定部２３は、実情報Ｄ３を推定するに際して、枝茎抽出部２２で抽出された枝茎Ａ１２の形状に関する情報（枝茎形状情報Ｄ１）を利用する。これにより、推定部２３は、例えば植物Ａ１の葉Ａ１３等の遮蔽物で隠れて一部又は全部が画像に写っていない実Ａ１１の位置を含む実情報Ｄ３を、推定することが可能となる。
【0049】
実位置特定部２４は、入力画像Ｉｍ１に含まれる実Ａ１１の位置情報Ｄ２（図３参照）を特定する。位置情報Ｄ２は、実際に入力画像Ｉｍ１に含まれている実Ａ１１の位置Ｐ２（図３参照）を示す情報である。つまり、実位置特定部２４は、撮像部３３で撮像された画像（入力画像Ｉｍ１）から実Ａ１１の位置等を特定する。ここで、「入力画像Ｉｍ１に含まれる実Ａ１１」は、少なくとも実Ａ１１であることが視認可能な状態で入力画像Ｉｍ１に含まれている（つまり入力画像Ｉｍ１が撮像画像であれば写り込んでいる）実Ａ１１を意味する。そのため、実Ａ１１の全体が入力画像に現れている場合だけでなく、実Ａ１１の一部が入力画像Ｉｍ１に現れている場合でも、「入力画像Ｉｍ１に含まれる実Ａ１１」となり得る。実位置特定部２４は、例えば、テンプレートマッチング等の画像処理により、位置情報Ｄ２を特定する。
【0050】
本実施形態では、推定部２３は、枝茎形状情報Ｄ１に加えて、入力画像Ｉｍ１に含まれる実Ａ１１の位置情報Ｄ２に基づいて、実情報Ｄ３を推定する。つまり、本実施形態では、推定部２３は、枝茎抽出部２２で抽出される枝茎形状情報Ｄ１だけでなく、実位置特定部２４で特定される位置情報Ｄ２をも用いて、例えば植物Ａ１の葉Ａ１３等の遮蔽物で隠れて一部又は全部が画像に写っていない実Ａ１１の位置を含む実情報Ｄ３を推定する。これにより、枝茎形状情報Ｄ１のみから実情報Ｄ３を推定する場合に比べて、実情報Ｄ３の推定精度が向上し、実情報Ｄ３の信頼性が向上する。
【0051】
表示処理部２５は、枝茎形状情報Ｄ１及び実情報Ｄ３の少なくとも一方を表示させる。表示処理部２５は、例えば、表示部１２、又は外部機器（ユーザ端末等）の表示部に対して、これら枝茎形状情報Ｄ１及び実情報Ｄ３の少なくとも一方を表示させる。本実施形態では、表示処理部２５は、枝茎形状情報Ｄ１及び実情報Ｄ３の両方を表示させることが可能である。具体的には、表示処理部２５は、枝茎形状情報Ｄ１又は実情報Ｄ３を含む画面を生成し、この画面を表示部１２等に表示させる。本開示でいう「画面」は、表示部１２等に表示される映像（画像）を意味し、図像、図形、写真、テキスト及び動画等を含む。すなわち、枝茎抽出部２２で抽出される枝茎形状情報Ｄ１と、推定部２３で推知される実情報Ｄ３の少なくとも一方が、表示処理部２５により可視化されて、ユーザが視認可能な状態で提示されることになる。これにより、ユーザにとっては、例えば、枝茎形状情報Ｄ１又は実情報Ｄ３の評価等をしやすくなり、実推定システム１の信頼性向上につながる。
【0052】
ところで、関連技術として、植物（農作物）を生育する圃場の一部である領域を撮影した画像から、植物の実等の対象オブジェクトの個数を推定する情報処理装置が知られている。関連技術に係る情報処理装置は、圃場のうち指定された領域を撮影した画像から取得される領域の特徴量と、予め学習されたパラメータである推定パラメータと、に基づいて、指定された領域に含まれる実（対象オブジェクト）の個数を推定する。これにより、例えば、葉Ａ１３等の遮蔽物に隠れて画像に写っていない実も含めた個数が推定可能となる。
【0053】
しかし、上記関連技術の構成では、例えば画像から取得される特徴量次第で、植物の構造から考えると実など存在するはずもない位置であっても、遮蔽物に隠れた実が存在するとの的外れな推定がされる可能性がある。これに対して、本実施形態では、上述した構成により、植物Ａ１の実Ａ１１等に関する推定精度の向上を図りやすい実推定システム１を提供可能とする。
【0054】
すなわち、本実施形態では、推定部２３は、枝茎抽出部２２で抽出された枝茎Ａ１２の形状に関する情報（枝茎形状情報Ｄ１）を利用して、実情報Ｄ３を推定する。要するに、推定部２３は、植物Ａ１の構造を前提として実Ａ１１の位置等の情報（実情報Ｄ３）を推定することで、推定精度の向上を図ることができる。一例として、果菜類の植物Ａ１であれば、主茎から副茎、副茎から果梗、果梗から実Ａ１１（果実）につながるというように、特徴的な構造を持つことが多い。そして、樹状の植物Ａ１の場合、木を構成する枝茎Ａ１２及び葉Ａ１３等のつきかたから、隠れた実Ａ１１の位置を検出することが可能である。特に、木を構成する幹及び枝の形状（位置及び向きを含む）が、枝茎Ａ１２の構造として特徴的である。本実施形態に係る実推定システム１では、推定部２３が、枝茎Ａ１２の形状に関する情報（枝茎形状情報Ｄ１）を実情報Ｄ３の推定に利用することで、このような特徴的な構造に基づいた、実情報Ｄ３の推定が可能となる。その結果、上記関連技術のように、植物Ａ１の特徴的な構造である枝茎Ａ１２の形状を考慮しない場合に比べて、植物Ａ１の実Ａ１１の位置等に関する推定精度の向上を図ることが可能である。
【0055】
また、上記関連技術の構成では、画像から取得される前景（つまり背景を除いた領域）の情報をそのまま演算に用いているので、例えば、枝茎の形状に関する情報を抽出しようとしても、十分な精度で枝茎の形状を抽出できない可能性がある。すなわち、画像の前景には、植物の全体が含まれており、枝茎以外に、葉、実及び花等の様々な遮蔽物が含まれるため、これらの遮蔽物により枝茎の一部又は全部が隠れている場合がある。したがって、遮蔽物に隠れた部分も含めて枝茎の形状を推定することは困難である。これに対して、本実施形態では、上述した構成により、植物Ａ１の枝茎Ａ１２等に関する推定精度の向上を図りやすい枝茎推定システムを提供可能とする。
【0056】
すなわち、本実施形態では、枝茎抽出部２２は、入力画像Ｉｍ１を、枝茎Ａ１２に対応する第１領域Ｒ１と、枝茎Ａ１２以外の第２領域Ｒ２とに分類する分類器４１を有している。要するに、枝茎抽出部２２は、入力画像Ｉｍ１の前景をそのまま用いて枝茎Ａ１２の形状を抽出するのではなく、第１領域Ｒ１及び第２領域Ｒ２に分類後のセグメンテーション画像Ｉｍ２に基づいて、枝茎Ａ１２の形状に関する枝茎形状情報Ｄ１を抽出する。したがって、例えば、葉Ａ１３、実Ａ１１及び花等の遮蔽物によって隠れた部位についても、枝茎Ａ１２が遮蔽物によって隠れている可能性があることを考慮した上で、枝茎Ａ１２の露出している部分から枝茎形状情報Ｄ１を抽出することができる。つまり、枝茎Ａ１２は、遮蔽物によって遮蔽されている部位でも連続しているはずであり、このことを前提として枝茎Ａ１２の形状を推定することで、隠れた枝茎Ａ１２の形状の推定精度の向上を図りやすい。また、例えば、機械学習で学習された学習済みモデルを用いて枝茎形状情報Ｄ１を抽出するような場合でも、特徴量を抽出する次元が、入力画像Ｉｍ１そのものを入力とする場合に比べて小さくなり、処理が簡単になって推定精度も向上する。その結果、上記関連技術に比べて、植物Ａ１の枝茎Ａ１２の形状等に関する推定精度の向上を図ることが可能である。
【0057】
本実施形態では、実推定システム１のうちの特に枝茎形状情報Ｄ１の抽出に係る部位、つまり枝茎抽出部２２等が、枝茎推定システムに相当する。この枝茎推定システムが、枝茎推定方法を実行することにより、枝茎形状情報Ｄ１の抽出が行われる。
【0058】
情報処理装置２は、ＣＰＵで実推定プログラム及び枝茎抽出プログラムに従った各種の処理を実行することによって、上記各種の機能部（処理部）として機能する。また、情報処理装置２における上記各種の機能部の少なくとも一部は、電子回路で構成されていてもよい。さらに、実推定プログラム又は枝茎抽出プログラムは、複数のプロセッサを機能部として機能させるためのプログラムであってもよい。各機能部の動作について詳しくは、「［５］実推定方法」の欄で説明する。
【0059】
【0060】
本実施形態に係る実推定方法は、コンピュータシステムを主構成とする情報処理装置２にて実行されるので、言い換えれば、実推定プログラムにて具現化される。つまり、本実施形態に係る実推定プログラムは、実推定方法に係る各処理を１以上のプロセッサに実行させるためのコンピュータプログラムである。このような実推定プログラムは、例えば、情報処理装置２及び収穫装置３の制御部３１によって協働して実行されてもよい。
【0061】
また、本実施形態に係る実推定方法は、枝茎形状情報Ｄ１の抽出に関する枝茎形状推定方法を含んでいる。本実施形態に係る枝茎推定方法は、コンピュータシステムを主構成とする情報処理装置２にて実行されるので、言い換えれば、枝茎推定プログラムにて具現化される。つまり、本実施形態に係る枝茎推定プログラムは、枝茎推定方法に係る各処理を１以上のプロセッサに実行させるためのコンピュータプログラムである。このような枝茎推定プログラムは、例えば、情報処理装置２及び収穫装置３の制御部３１によって協働して実行されてもよい。
【0062】
ここで、実推定システム１は、実推定プログラムを実行させるための予め設定された特定の開始操作がユーザ端末に対して行われた場合に、実推定方法に係る下記の各種処理を実行する。開始操作は、例えば、実推定システム１に対するユーザ端末の接続（アプリケーションソフトウェアの起動）、並びにユーザＩＤ及びパスワードの入力を伴う支援サイトへのログイン等を含む。一方、実推定システム１は、予め設定された特定の終了操作がユーザ端末に対して行われた場合に、実推定方法に係る下記の各種処理を終了する。終了操作は、例えば、ログアウト、及び実推定システム１とユーザ端末との間の接続切断等を含む。
【0063】
［５．１］全体処理
ここではまず、実推定方法に係る処理の全体の流れについて、図３及び図４を参照して説明する。図３は、実推定方法に係る処理の流れを模式的に示す概念図であって、図４は、同処理に係る情報処理装置２の動作の一例を示すフローチャートである。
ここではまず、実推定方法に係る処理の全体の流れについて、図３及び図４を参照して説明する。図３は、実推定方法に係る処理の流れを模式的に示す概念図であって、図４は、同処理に係る情報処理装置２の動作の一例を示すフローチャートである。
【0064】
すなわち、実推定方法は、図３に示すように、収穫装置３の撮像部３３で撮像される入力画像Ｉｍ１を用いて実行される。図３に例示するように、入力画像Ｉｍ１は撮像部３３にて圃場Ｆ１の一部を撮像した画像であって、植物Ａ１を含んでいる。そのため、図４に示すように、情報処理装置２は、まず撮像部３３で撮像された植物Ａ１を含む画像を、入力画像Ｉｍ１として取得する（Ｓ１）。具体的に、情報処理装置２の取得部２１は、収穫装置３の撮像部３３で撮像される圃場Ｆ１（植物Ａ１を含む）の画像のデータを、入力画像Ｉｍ１として通信部１５経由で収穫装置３から取得する。
【0065】
そして、本実施形態に係る実推定方法では、図３に示すように、入力画像Ｉｍ１から枝茎形状情報Ｄ１及び位置情報Ｄ２を求め、これら枝茎形状情報Ｄ１及び位置情報Ｄ２と、入力画像Ｉｍ１に基づいて、実情報Ｄ３の推定が実行される。実情報Ｄ３は、図３に示すように、葉Ａ１３等の遮蔽物に隠れて画像（入力画像Ｉｍ１）上は露でないものの、推定部２３にて存在すると推定される実Ａ１１の位置Ｐ１を示す情報である。そのため、実情報Ｄ３と、入力画像Ｉｍ１に含まれる実Ａ１１の位置情報Ｄ２と、を合わせれば、圃場Ｆ１において入力画像Ｉｍ１に含まれる範囲に存在すると推定される全ての実Ａ１１の位置が示されることになる。
【0066】
そのため、図４に示すように、情報処理装置２は、入力画像Ｉｍ１について枝茎形状情報Ｄ１を抽出する枝茎形状抽出処理を実行する（Ｓ２）。具体的に、情報処理装置２の枝茎抽出部２２は、取得部２１にて取得された入力画像Ｉｍ１から、植物Ａ１の枝茎Ａ１２の形状に関する枝茎形状情報Ｄ１を抽出する。本実施形態では一例として、枝茎抽出部２２は、枝茎Ａ１２の形状を表す枝茎画像Ｉｍ３（図５参照）を、枝茎形状情報Ｄ１の一例として生成する。枝茎形状抽出処理について詳しくは、「［５．２］枝茎推定方法」の欄で説明する。
【0067】
次に、情報処理装置２は、入力画像Ｉｍ１について実Ａ１１の位置情報Ｄ２を特定する実位置特定処理を実行する（Ｓ３）。具体的に、情報処理装置２の実位置特定部２４は、取得部２１にて取得された入力画像Ｉｍ１から、入力画像Ｉｍ１に実際に写り込んでいる（含まれている）実Ａ１１の位置Ｐ２を特定し、位置情報Ｄ２を生成する。このとき、実位置特定部２４は、例えば、テンプレートマッチング等の画像処理により、実Ａ１１の位置Ｐ２の特定を行う。
【0068】
それから、情報処理装置２は、入力画像Ｉｍ１について実情報Ｄ３を推定する推定処理を実行する（Ｓ４）。具体的に、情報処理装置２の推定部２３は、同一の入力画像Ｉｍ１から、枝茎抽出部２２にて抽出された枝茎形状情報Ｄ１、及び実位置特定部２４にて特定された位置情報Ｄ２に基づいて、実情報Ｄ３を推定する。このとき、推定部２３は、機械学習により生成された学習済みモデルを用いて、実情報Ｄ３の推定を行う。本実施形態では特に、敵対的生成ネットワークにて訓練された推定器４４（図１０参照）を用いて、例えば植物Ａ１の葉Ａ１３等の遮蔽物で隠れて一部又は全部が画像に写っていない実Ａ１１の位置を含む実情報Ｄ３を、推定する。実情報Ｄ３の推定処理について詳しくは、「［５．３］実推定方法」の欄で説明する。
【0069】
そして、情報処理装置２は、実情報Ｄ３の出力を実行する（Ｓ５）。具体的に、情報処理装置２は、出力部１１により実情報Ｄ３を（通信部１５を介して）収穫装置３に送信することで、実情報Ｄ３の出力を行う。このとき、情報処理装置２は、遮蔽物に隠れた実Ａ１１の位置Ｐ１を示す実情報Ｄ３に加えて、入力画像Ｉｍ１に写り込んでいる実Ａ１１の位置Ｐ２を示す位置情報Ｄ２を出力する。これにより、収穫装置３では、圃場Ｆ１において入力画像Ｉｍ１に含まれる範囲に存在すると推定される全ての実Ａ１１の位置を把握可能となる。
【0070】
ただし、図４に示すフローチャートは一例に過ぎず、処理が適宜追加又は省略されてもよいし、処理の順番が適宜入れ替わってもよい。例えば、枝茎形状抽出処理（Ｓ２）と実位置特定処理（Ｓ３）との順番が入れ替わってもよい。
【0071】
［５．２］枝茎推定方法
次に、実推定方法のうち、枝茎形状情報Ｄ１を推定（抽出）するための枝茎推定方法について、より詳細に説明する。
次に、実推定方法のうち、枝茎形状情報Ｄ１を推定（抽出）するための枝茎推定方法について、より詳細に説明する。
【0072】
本実施形態では、枝茎Ａ１２のうち、葉Ａ１３、実Ａ１１及び花等の遮蔽物によって隠れた部位の形状を推定し、枝茎Ａ１２の全体形状に係る枝茎形状情報Ｄ１を復元するための手法として、機械学習で学習された学習済みモデルを用いる。ここで、果菜類等の圃場Ｆ１では、植物Ａ１が密生しているため、多視点から植物Ａ１を撮像することは困難である。さらに、特に屋外の圃場Ｆ１等においては、太陽光、及び風による葉Ａ１３の揺らぎ等の外乱の影響も大きいため、これらの外乱に強い手法が好ましい。そこで、本実施形態では、枝茎形状情報Ｄ１の推定に、入力画像Ｉｍ１を直接的に使用するのではなく、深層学習の応用技術であるセマンティックセグメンテーションを利用することで、ロバスト性を高める。
【0073】
具体的に、図５に示すように、枝茎抽出部２２は、入力画像Ｉｍ１からセグメンテーション画像Ｉｍ２を生成（出力）する分類器４１と、分類後のセグメンテーション画像Ｉｍ２から枝茎形状情報Ｄ１の一例である枝茎画像Ｉｍ３を生成（出力）する識別器４２と、を有している。
【0074】
ここで、分類器４１は、一例として「SegNet」のような、セマンティックセグメンテーション（意味論的領域分割）を行う。セマンティックセグメンテーションとは、画像中にある物体を所定の単位でクラス分類する深層学習の手法である。識別器４２は、一例として深層学習の一種である「pix2pix」のような、敵対的生成ネットワーク（GAN：Generative Adversarial Network）にて構成される。「pix2pix」とは、GANから派生した画像変換手法である。
【0075】
すなわち、枝茎抽出部２２は、まず分類器４１にて、意味論的領域分割を行い、入力画像Ｉｍ１を第１領域Ｒ１と第２領域Ｒ２とに分類することで、入力画像Ｉｍ１のうち枝茎Ａ１２に相当する領域（第１領域Ｒ１）を抽出する。その後、枝茎抽出部２２は、識別器４２にて、分類された画像（セグメンテーション画像Ｉｍ２）に基づいて、葉Ａ１３等の遮蔽物に隠れた枝茎Ａ１２を補完する。
【0076】
ここにおいて、分類器４１及び識別器４２は、いずれも機械学習により訓練された状態で使用される。そして、図５に示すように、分類器４１は、入力画像Ｉｍ１とセグメンテーション画像Ｉｍ２との組み合わせ（セット）を多数含む学習用データセットＤＳ１を用いて学習される。識別器４２は、セグメンテーション画像Ｉｍ２と枝茎画像Ｉｍ３との組み合わせ（セット）を多数含む学習用データセットＤＳ２を用いて学習される。
【0077】
言い換えれば、分類器４１は、機械学習により生成された学習済みモデルを用いて、入力画像Ｉｍ１を第１領域Ｒ１と第２領域Ｒ２とに分類する処理を実行する。すなわち、本実施形態に係る第１の学習システムは、植物Ａ１を含む入力画像Ｉｍ１から、植物Ａ１の枝茎Ａ１２の形状に関する枝茎形状情報Ｄ１を抽出するための学習済みモデルを生成する。第１の学習システムは、入力画像Ｉｍ１と、入力画像Ｉｍ１のうちの枝茎Ａ１２に対応する第１領域Ｒ１及び枝茎Ａ１２以外の第２領域Ｒ２とを含む学習用データセットＤＳ１を用いて、入力画像Ｉｍ１と、第１領域Ｒ１及び第２領域Ｒ２との間の相関関係を学習する。本実施形態では、分類器４１を学習するためのネットワーク（セマンティックセグメンテーション）が第１の学習システムに相当する。これにより、機械学習にて分類器４１を訓練できるので、例えばパターンマッチング等のように、植物Ａ１の種類ごとに多数のパターンを準備しなくても、高精度の推定を実現可能である。
【0078】
また、識別器４２は、機械学習により生成された学習済みモデルを用いて、セグメンテーション画像Ｉｍ２から遮蔽物に隠れた枝茎Ａ１２を補完する処理を実行する。すなわち、本実施形態に係る第２の学習システムは、植物Ａ１を含む入力画像Ｉｍ１から、植物Ａ１の枝茎Ａ１２の形状に関する枝茎形状情報Ｄ１を抽出するための学習済みモデルを生成する。第２の学習システムは、第１領域Ｒ１と第２領域Ｒ２とに分類された画像（セグメンテーション画像Ｉｍ２）と、枝茎画像Ｉｍ３とを含む学習用データセットＤＳ２を用いて、セグメンテーション画像Ｉｍ２と、枝茎Ａ１２の全体形状との間の相関関係を学習する。本実施形態では、識別器４２を学習するためのネットワーク（敵対的生成ネットワーク）が第２の学習システムに相当する。これにより、機械学習にて識別器４２を訓練できるので、例えばパターンマッチング等のように、植物Ａ１の種類ごとに多数のパターンを準備しなくても、高精度の推定を実現可能である。
【0079】
分類器４１及び識別器４２の機械学習に際しては、学習用データセットＤＳ１，ＤＳ２として、それぞれ膨大な数の入力画像と正解画像（教師データ）とのペアを用意することが好ましい。膨大な数の画像の準備について、三次元シミュレータにて植物Ａ１のモデルを生成し、当該モデルからコンピュータグラフィックスとしての画像を自動的に多数生成することで、省力化を図ることが好ましい。三次元シミュレータでは、実Ａ１１、枝茎Ａ１２及びそれ以外（葉、花等）の３つの要素をモデリングして組み合わせ、植物Ａ１を再現する。また、これらの要素は、圃場Ｆ１で実際に撮像された画像から再現可能である。さらに、三次元シミュレータ中の任意の始点から撮影したり、かつシミュレータ内の照明強度等のパラメータをランダムに変化させたりすることで、実際の圃場Ｆ１での太陽光等の外乱を再現できる。
【0080】
このように機械学習された分類器４１によれば、図６に例示するように、入力画像Ｉｍ１が入力されることで、入力画像Ｉｍ１が第１領域Ｒ１と第２領域Ｒ２とに分類されセグメンテーション画像Ｉｍ２が生成される。図６に示すように、本実施形態では、分類器４１は、第２領域Ｒ２を、前景領域Ｒ２１と、背景領域Ｒ２２とに更に分類する。前景領域Ｒ２１は、当該植物Ａ１における枝茎以外の部位に対応する領域である。背景領域Ｒ２２は、当該植物Ａ１以外の領域である。すなわち、本実施形態では、分類器４１により、入力画像Ｉｍ１は少なくとも３つの領域（第１領域Ｒ１、前景領域Ｒ２１、背景領域Ｒ２２）に分類される。植物Ａ１における枝茎Ａ１２以外の部位は、例えば、葉、花及び実Ａ１１等を含む。このように、より詳細に分類されたセグメンテーション画像Ｉｍ２によれば、枝茎画像Ｉｍ３（枝茎形状情報Ｄ１）の推定精度が更に向上する。
【0081】
また、本実施形態では一例として、１画素を単位として、画素ごとに第１領域Ｒ１又は第２領域Ｒ２（前景領域Ｒ２１／背景領域Ｒ２２）に分類する。図６等では、セグメンテーション画像Ｉｍ２は、領域ごとに異なる色（濃度）によって表されている。ただし、分類器４１による分類は、画素ごとに限らず、例えば複数画素で構成される小領域ごとに行われてもよい。
【0082】
より詳細には、セマンティックセグメンテーション（分類器４１）の具体的な実装として「DeepLab v3+」が用いられる。「DeepLab v3+」のニューラルネットワークは、「エンコーダ－デコーダ」という構造を持つ。エンコーダ部分では、画像から多くの特徴量を抽出することが可能な畳み込みニューラルネットワークの一種であるXceptionモジュールを使用し、低レベル特徴量を抽出する。さらに、Xceptionモジュールの後段の膨張畳み込みにて特徴を抽出し、２種類の特徴量を出力する。デコーダ部分では、エンコーダ部分で抽出された２種類の特徴量を連結する。畳み込みで特徴量を修正し、アップサンプリングを行うことで、画素（ピクセル）単位で分類（ラベル付け）する。
【0083】
一方、識別器４２は、「pix2pix」のようなGANから派生した画像変換手法を用いているため、その機械学習に係る処理は図７Ａ及び図７Ｂに示すように模式化される。GANとは、生成器４３と識別器４２との２つのネットワークから構成される画像生成モデルである。GANにおける生成器４３はランダムノイズベクトルを入力として、識別器４２が正解画像と区別できないように画像（「生成画像」と呼ぶ）を生成する。識別器は、入力された画像が正解画像か生成画像かを識別する。この両者を競わせることで、生成器がより正解画像に近い画像を出力できるように学習させる。
【0084】
つまり、本実施形態では、識別器４２は、図７Ａ及び図７Ｂに示すように、生成器４３にて生成される、正解画像（枝茎画像Ｉｍ３）とは紛らわしい画像Ｉｍ３１と、正解画像（枝茎画像Ｉｍ３）とを区別できるように、識別器４２が訓練される。図７Ａでは、識別器４２に対して、正解画像（枝茎画像Ｉｍ３）とは紛らわしい画像Ｉｍ３１と、セグメンテーション画像Ｉｍ２とが入力されているため、識別器４２は「偽」（False）であると判断する。一方、図７Ｂでは、識別器４２に対して、正解画像（枝茎画像Ｉｍ３）と、セグメンテーション画像Ｉｍ２とが入力されているため、識別器４２は「真」（True）であると判断する。
【0085】
以上説明したことをまとめると、本実施形態では、枝茎抽出部２２は、図８に示すようなフローチャートに従って、枝茎画像Ｉｍ３（枝茎形状情報Ｄ１）を生成する。つまり、図８は、枝茎形状抽出処理（図４の「Ｓ２」）の具体的処理の一例を示すフローチャートである。
【0086】
まず、枝茎抽出部２２は、機械学習された学習済みモデルを準備する（Ｓ１１）。このとき、枝茎抽出部２２は、第１の学習システム（セマンティックセグメンテーション）で生成された学習済みモデルを分類器４１用に準備し、第２の学習システム（GAN）で生成された学習済みモデルを識別器４２用に準備する。
【0087】
それから、枝茎抽出部２２は、取得部２１で取得された入力画像Ｉｍ１を分類器４１に入力し、分類器４１から第１領域Ｒ１と第２領域Ｒ２とに分類された画像（セグメンテーション画像Ｉｍ２）を出力する（Ｓ１２）。本実施形態では、分類器４１は、第２領域Ｒ２を更に前景領域Ｒ２１と背景領域Ｒ２２との２つに分類するので、結局、処理Ｓ１２では、入力画像Ｉｍ１は３つの領域に分類される。これにより、分類されたセグメンテーション画像Ｉｍ２が生成される。
【0088】
そして、枝茎抽出部２２は、分類器４１の出力であるセグメンテーション画像Ｉｍ２を、識別器４２に入力する。これにより、識別器４２は、枝茎画像Ｉｍ３を出力する（Ｓ１３）。要するに、枝茎抽出部２２の識別器４２は、枝茎形状情報Ｄ１である枝茎画像Ｉｍ３を生成する。
【0089】
このように、本実施形態では、枝茎抽出部２２が、入力画像Ｉｍ１を、枝茎Ａ１２に対応する第１領域Ｒ１と、枝茎Ａ１２以外の第２領域Ｒ２とに分類した上で、枝茎形状情報Ｄ１を抽出する。したがって、枝茎抽出部２２が、入力画像Ｉｍ１の前景をそのまま用いる場合に比較して、隠れた枝茎Ａ１２の形状の推定精度の向上を図りやすい。また、本実施形態では、複数の弱い学習器（分類器４１及び識別器４２）を組み合わせることによるブースティングにより、強い学習器を実現するので、枝茎形状情報Ｄ１の推定精度の向上を図ることができる。さらに、識別器４２の学習にGANを用いるので、学習用データセットＤＳ２として準備するデータ量が同じであれば、GANを用いない場合に比較して識別器４２の推定精度の向上を図ることができる。
【0090】
ところで、本実施形態に係る実推定システム１では、入力画像Ｉｍ１が三次元画像であってもよい。その場合でも、入力画像Ｉｍ１が二次元画像である場合と大きく処理が異なることはない。入力画像Ｉｍ１が三次元画像である場合について、以下に説明する。
【0091】
ここでは一例として、収穫装置３の撮像部３３が、二次元画像（RGB画像）に距離画像（depth画像）を組み合わせた三次元画像の静止画を撮像可能であることとする。撮像部３３は、一方向から高さを変えて植物Ａ１を撮影することにより、三次元画像（RGB-D画像）を生成する。この場合、実推定システム１で推定される枝茎形状情報Ｄ１についても、奥行成分を含む三次元の枝茎画像Ｉｍ３である。
【0092】
具体的に、三次元画像が三次元空間（仮想空間）における点群で表されるとすれば、遮蔽物の奥に存在する枝茎Ａ１２については、二次元画像と同様に欠落した状態となる。そこで、遮蔽物によって隠れた枝茎Ａ１２を復元するための処理については、上記と同様の処理が適用される。図９は、三次元画像から、欠落している点群を復元するための枝茎抽出部２２の処理の一例を示すフローチャートである。
【0093】
図９に示すように、枝茎抽出部２２は、まず三次元画像（RGB-D画像）を二次元画像（RGB画像）と距離画像（depth画像）とに分解する（Ｓ２１）。二次元画像（RGB画像）については、枝茎抽出部２２は、分岐左側のステップＳ２２，Ｓ２３を実行する。ステップＳ２２は、図８の処理Ｓ１２に相当する処理であって、分類器４１を用いて枝茎に相当する領域（第１領域Ｒ１）を検出する処理である。ステップＳ２３は、図８の処理Ｓ１３に相当する処理であって、識別器４２を用いて隠れた枝茎Ａ１２を補完する処理である。
【0094】
その後、枝茎抽出部２２は、図９の分岐左側の処理（Ｓ２２，Ｓ２３）で得られた枝茎Ａ１２の形状に係る情報と、距離画像（depth画像）とを比較して、距離画像中の枝茎Ａ１２に相当する領域（第１領域Ｒ１）の画素を抽出した点群データを作成する（Ｓ２４）。このとき、第１領域Ｒ１以外の点群データの値は、撮像部３３から葉Ａ１３等の遮蔽物までの距離を表しているので、枝茎抽出部２２は、この値を枝茎Ａ１２までの距離を表すように修正する（Ｓ２５）。この点群データの値（距離値）の修正には、枝茎抽出部２２は、近傍の枝茎Ａ１２に相当する点群データから推定した値を用いる。そして、枝茎抽出部２２は、第１領域Ｒ１の点群データと、第１領域Ｒ１以外（第２領域Ｒ２）の修正後の点群データとを合成することにより、入力画像Ｉｍ１の全域について枝茎Ａ１２を補完した三次元の枝茎画像Ｉｍ３を生成する（Ｓ２６）。
【0095】
このように、実推定システム１は、三次元画像を用いれば、奥行方向も含めた実Ａ１１の位置等に係る実情報Ｄ３を推定可能となる。したがって、例えば、収穫装置３の作業部３２を、実情報Ｄ３に従って奥行方向も含めて制御しやすくなる。
【0096】
【0097】
［５．３］推定部の具体的処理
次に、実推定方法のうち、枝茎形状情報Ｄ１に基づいて実情報Ｄ３を推定するための推定部２３の具体的処理について説明する。
次に、実推定方法のうち、枝茎形状情報Ｄ１に基づいて実情報Ｄ３を推定するための推定部２３の具体的処理について説明する。
【0098】
本実施形態では、実情報Ｄ３を推定するための手法として、機械学習で学習された学習済みモデルを用いる。具体的に、図１０に示すように、推定部２３は、枝茎形状情報としての枝茎画像Ｉｍ３から実情報Ｄ３を生成（出力）する推定器４４を有している。推定器４４は、一例として深層学習の一種である「pix2pix」のような、敵対的生成ネットワーク（GAN）にて構成される。
【0099】
ここにおいて、推定器４４は、機械学習により訓練された状態で使用される。そして、図１０に示すように、推定器４４は、枝茎画像Ｉｍ３と実情報Ｄ３との組み合わせ（セット）を多数含む学習用データセットＤＳ３を用いて学習される。
【0100】
言い換えれば、推定器４４は、機械学習により生成された学習済みモデルを用いて、枝茎形状情報Ｄ１に基づいて実情報Ｄ３を推定する処理を実行する。すなわち、本実施形態に係る第３の学習システムは、植物Ａ１の枝茎Ａ１２の形状に関する枝茎形状情報Ｄ１に基づいて、枝茎Ａ１２につながっている植物Ａ１の実Ａ１１の位置、個数及び有無の少なくとも１つを含む実情報Ｄ３を推定するための学習済みモデルを生成する。第３の学習システムは、枝茎形状情報Ｄ１と実情報Ｄ３とを含む学習用データセットＤＳ３を用いて、枝茎形状情報Ｄ１と実情報Ｄ３との間の相関関係を学習する。本実施形態では、推定器４４を学習するためのネットワーク（敵対的生成ネットワーク）が第３の学習システムに相当する。これにより、機械学習にて推定器４４を訓練できるので、例えばパターンマッチング等のように、植物Ａ１の種類ごとに多数のパターンを準備しなくても、高精度の推定を実現可能である。
【0101】
推定器４４の機械学習に際しては、学習用データセットＤＳ３として、膨大な数の入力画像と正解画像（教師データ）とのペアを用意することが好ましい。膨大な数の画像の準備については、三次元シミュレータにて植物Ａ１のモデルを生成し、当該モデルからコンピュータグラフィックスとしての画像を自動的に多数生成することで、省力化を図ることが好ましい。
【0102】
そして、推定器４４は、識別器４２と同様に、「pix2pix」のようなGANから派生した画像変換手法を用いている。そのため、推定器４４は、生成器にて生成される、正解画像（実情報Ｄ３）とは紛らわしい画像と、正解画像（実情報Ｄ３）とを区別できるように、推定器４４が訓練される。このように、推定器４４の学習にGANを用いるので、学習用データセットＤＳ３として準備するデータ量が同じであれば、GANを用いない場合に比較して推定器４４の推定精度の向上を図ることができる。
【0103】
このように機械学習された推定器４４によれば、例えば図３に示すように、実情報Ｄ３として、画像内の各位置における実Ａ１１の存在確率分布を含む情報を推定することができる。つまり、図３に例示する実情報Ｄ３においては、点の密度が大きい位置Ｐ１ほど、実Ａ１１が存在している確率が高いと判断される。例えば、実推定システム１は、このような存在確率分布から、実際に実Ａ１１が存在している確率が所定値以上となる位置Ｐ１のみを、実Ａ１１の位置Ｐ１を示す実情報Ｄ３として出力してもよい。すなわち、実推定システム１は、推定部２３で推定される実情報Ｄ３に対して、例えば、閾値を用いた判定処理等を行うことにより、実情報Ｄ３の二次データを出力してもよい。
【0104】
また、例えば、存在確率分布に基づいて、実Ａ１１が存在する確率が低いと判断される位置については、例えば、収穫装置３が探索対象としてもよい。収穫装置３は、探索対象とする位置に対して、例えば、作業部３２にて手前の遮蔽物（葉Ａ１３等）を避けたり、撮像部３３を潜り込ませたりすることで、遮蔽物の奥の様子を撮像部３３で探索する。
【0105】
また、本実施形態では、推定部２３は、枝茎形状情報Ｄ１だけでなく、実位置特定部２４で特定される位置情報Ｄ２をも用いて、実情報Ｄ３を推定する。そのため、枝茎形状情報Ｄ１のみから実情報Ｄ３を推定する場合に比べて、実情報Ｄ３の推定精度が向上し、実情報Ｄ３の信頼性が向上する。
【0106】
［６］変形例
以下、実施形態１の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
以下、実施形態１の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
【0107】
本開示における実推定システム１は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしての１以上のプロセッサ及び１以上のメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における実推定システム１としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。
【0108】
また、実推定システム１又は収穫装置３に含まれる一部又は全部の機能部は電子回路で構成されていてもよい。
【0109】
また、実推定システム１の少なくとも一部の機能が、１つの筐体内に集約されていることは実推定システム１に必須の構成ではなく、実推定システム１の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、実推定システム１の少なくとも一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。反対に、実施形態１において、複数の装置に分散されている実収穫システム１０等の機能が、１つの筐体内に集約されていてもよい。
【0110】
また、推定部２３は、枝茎抽出部２２で抽出される枝茎形状情報Ｄ１に基づいて実情報Ｄ３を推定する構成に限らない。すなわち、推定部２３は、枝茎抽出部２２とは別に、例えば、ユーザが用意した枝茎形状情報Ｄ１に基づいて、実情報Ｄ３を推定してもよい。この場合、枝茎抽出部２２は適宜省略可能である。
【0111】
また、推定部２３は、実位置特定部２４で特定される位置情報Ｄ２を用いて実情報Ｄ３を推定する構成に限らない。すなわち、推定部２３は、位置情報Ｄ２を用いずに、枝茎形状情報Ｄ１のみに基づいて、実情報Ｄ３を推定してもよい。この場合、実位置特定部２４は適宜省略可能である。
【0112】
また、実情報Ｄ３は、実Ａ１１の収穫用途に限らず、例えば、植物Ａ１の育生状況の管理等に用いられてもよい。この場合、収穫装置３等は適宜省略可能である。
【0113】
同様に、枝茎抽出部２２で抽出される枝茎形状情報Ｄ１は、推定部２３での実情報Ｄ３の推定以外に用いられてもよい。すなわち、枝茎形状情報Ｄ１は、植物Ａ１の育生状況の管理等に用いられてもよい。この場合、推定部２３等は適宜省略可能である。つまり、本実施形態に係る枝茎推定システム（枝茎抽出部２２）は、推定部２３から切り離して単独でも利用可能である。
【0114】
また、入力画像Ｉｍ１として実推定システム１に入力される画像（画像データ）は、収穫装置３の撮像部３３で撮像される画像に限らない。例えば、ドローン等の、収穫装置３以外の装置に搭載される撮像部（カメラ）にて、入力画像Ｉｍ１が撮像されてもよい。
【0115】
また、学習用データセットＤＳ１，ＤＳ２，ＤＳ３として用いられる画像は、三次元シミュレータ等で生成されるコンピュータグラフィックスに限らず、実際に圃場Ｆ１を撮像した画像であってもよい。
【0116】
また、収穫装置３は、圃場Ｆ１を走行する装置に限らず、例えば、ドローンのように圃場Ｆ１を飛行する装置であってもよい。
【0117】
（実施形態２）
本実施形態に係る実推定システム１は、図１１に示すように、ユーザＵ１が手動で実Ａ１１を収穫する際に使用される点で、実施形態１に係る実推定システム１と相違する。以下、実施形態１と同様の構成については、共通の符号を付して適宜説明を省略する。
本実施形態に係る実推定システム１は、図１１に示すように、ユーザＵ１が手動で実Ａ１１を収穫する際に使用される点で、実施形態１に係る実推定システム１と相違する。以下、実施形態１と同様の構成については、共通の符号を付して適宜説明を省略する。
【0118】
本実施形態では、実推定システム１は、収穫装置３（図１参照）に代えて、例えば、ユーザＵ１が装着するスマートグラス等のウェアラブル端末Ｕ１１と通信可能に構成される。ウェアラブル端末Ｕ１１は、撮像部３３及び表示部１２を有している。つまり、ウェアラブル端末Ｕ１１をユーザＵ１が装着した状態では、ユーザＵ１の視界に相当する画像が撮像部３３で撮像され、かつ表示部１２に種々の情報がユーザＵ１の視界に重畳する形で表示される。
【0119】
本実施形態に係る実推定システム１によれば、例えば、撮像部３３で撮像される画像（入力画像Ｉｍ１）について、リアルタイムで枝茎形状情報Ｄ１及び実情報Ｄ３を推定する処理を実行し、表示処理部２５にて表示部１２に表示させることができる。これにより、ユーザＵ１は、自らの視界において、本来は葉Ａ１３等の遮蔽物に隠れて視認できない枝茎Ａ１２の形状、又は実Ａ１１の位置等の情報を、表示部１２の表示によって視認することができる。そのため、ユーザＵ１からすると、あたかも遮蔽物の奥の物体が透けて見えるかのような視界が実現され、収穫又は育生状況の管理等の作業効率が向上する。
【0120】
実施形態２に係る構成は、実施形態１で説明した種々の構成（変形例を含む）と適宜組み合わせて採用可能である。
【0121】
（実施形態３）
本実施形態に係る実推定システム１Ａは、図１２に示すように、姿勢推定部２６、形状推定部２７及び果梗位置推定部２８を備える点で、実施形態１に係る実推定システム１と相違する。以下、実施形態１と同様の構成については、共通の符号を付して適宜説明を省略する。
本実施形態に係る実推定システム１Ａは、図１２に示すように、姿勢推定部２６、形状推定部２７及び果梗位置推定部２８を備える点で、実施形態１に係る実推定システム１と相違する。以下、実施形態１と同様の構成については、共通の符号を付して適宜説明を省略する。
【0122】
（１）構成
本実施形態では、姿勢推定部２６、形状推定部２７及び果梗位置推定部２８は、取得部２１、枝茎抽出部２２、推定部２３、実位置特定部２４及び表示処理部２５等と同様に、情報処理装置２の一機能として設けられている。つまり、情報処理装置２は、ＣＰＵで実推定プログラムに従った各種の処理を実行することによって、姿勢推定部２６、形状推定部２７及び果梗位置推定部２８を含む上記各種の機能部（処理部）として機能する。
本実施形態では、姿勢推定部２６、形状推定部２７及び果梗位置推定部２８は、取得部２１、枝茎抽出部２２、推定部２３、実位置特定部２４及び表示処理部２５等と同様に、情報処理装置２の一機能として設けられている。つまり、情報処理装置２は、ＣＰＵで実推定プログラムに従った各種の処理を実行することによって、姿勢推定部２６、形状推定部２７及び果梗位置推定部２８を含む上記各種の機能部（処理部）として機能する。
【0123】
姿勢推定部２６は、入力画像Ｉｍ１を用いて実Ａ１１の姿勢に関する姿勢情報Ｄ４を推定する。姿勢情報Ｄ４は、植物Ａ１の実Ａ１１の姿勢に関する情報であればよく、例えば、鉛直軸に対する実Ａ１１の中心軸の傾き（傾斜角度及び傾斜方向）を示す情報、実Ａ１１の姿勢を特徴量として表す情報、又は実Ａ１１の姿勢を模した画像等である。つまり、姿勢推定部２６は、取得部２１が取得した入力画像Ｉｍ１に基づいて、この入力画像Ｉｍ１に写っている植物Ａ１の実Ａ１１の姿勢に関する情報（姿勢情報Ｄ４）を推定する。ここで、入力画像Ｉｍ１に複数の実Ａ１１が写っている場合、姿勢推定部２６は、これら複数の実Ａ１１の各々について姿勢情報Ｄ４を推定する。
【0124】
形状推定部２７は、入力画像Ｉｍ１を用いて実Ａ１１の形状に関する形状情報Ｄ５を推定する。本開示でいう実Ａ１１の「形状」は、実Ａ１１の外形及び大きさ等に係る属性であって、例えば、外形が球体か否か、大きさ（半径、直径、表面積又は体積等）、実Ａ１１の中心位置又は扁平率等を含む。形状情報Ｄ５は、植物Ａ１の実Ａ１１の形状に関する情報であればよく、一例として、外形が球体か否か、大きさ、実Ａ１１の中心位置、扁平率、実Ａ１１の形状を特徴量として表す情報、又は実Ａ１１の形状を模した画像等である。つまり、形状推定部２７は、取得部２１が取得した入力画像Ｉｍ１に基づいて、この入力画像Ｉｍ１に写っている植物Ａ１の実Ａ１１の形状に関する情報（形状情報Ｄ５）を推定する。ここで、入力画像Ｉｍ１に複数の実Ａ１１が写っている場合、形状推定部２７は、これら複数の実Ａ１１の各々について形状情報Ｄ５を推定する。
【0125】
本実施形態では、形状推定部２７は、入力画像Ｉｍ１におけるエッジの法線方向に投票を行い、投票の集中した領域の投票に寄与したエッジを実Ａ１１の外形候補として、形状情報Ｄ５を推定する。すなわち、形状推定部２７は、入力画像Ｉｍ１から直接的に形状情報Ｄ５を推定するのではなく、入力画像Ｉｍ１に対して投票を行うことにより、入力画像Ｉｍ１から間接的に形状情報Ｄ５の推定を行う。形状推定部２７における形状情報Ｄ５の推定に係る処理の詳細については「（２．３）形状推定方法」の欄で説明する。
【0126】
ここで、推定部２３は、枝茎形状情報Ｄ１に加えて姿勢情報Ｄ４に基づいて、実情報Ｄ３を推定する。つまり、推定部２３は、枝茎抽出部２２で抽出される枝茎形状情報Ｄ１に加えて、姿勢推定部２６で推定される姿勢情報Ｄ４を用いて、実情報Ｄ３を推定可能に構成されている。さらに、推定部２３は、枝茎形状情報Ｄ１に加えて形状情報Ｄ５に基づいて、実情報Ｄ３を推定する。つまり、推定部２３は、枝茎抽出部２２で抽出される枝茎形状情報Ｄ１に加えて形状推定部２７で推定される形状情報Ｄ５を用いて、実情報Ｄ３を推定可能に構成されている。
【0127】
すなわち、本実施形態に係る実推定システム１Ａは、枝茎抽出部２２に加えて姿勢推定部２６及び形状推定部２７を備えるため、推定部２３は、枝茎形状情報Ｄ１と姿勢情報Ｄ４との組み合わせ、枝茎形状情報Ｄ１と形状情報Ｄ５との組み合わせ、又は枝茎形状情報Ｄ１と姿勢情報Ｄ４と形状情報Ｄ５との組み合わせに基づいて、実情報Ｄ３を推定できる。本実施形態では、推定部２３は、枝茎形状情報Ｄ１、姿勢情報Ｄ４及び形状情報Ｄ５の全てに基づいて、実情報Ｄ３を推定することとする。これにより、推定部２３が枝茎形状情報Ｄ１のみに基づいて実情報Ｄ３を推定する場合に比べて、実情報Ｄ３の推定精度の向上を図ることができる。
【0128】
具体的には、姿勢情報Ｄ４によれば、例えば、房（複数の実Ａ１１の集合）を成す複数の実Ａ１１の個々の姿勢から、撮像部３３から見て奥に位置するために入力画像Ｉｍ１に写っていない実Ａ１１の位置を含む実情報Ｄ３を、推定することが可能である。一例として、房を成す３つの実Ａ１１の中心軸が平面視で９０度間隔であることが姿勢情報Ｄ４から確認される場合には、推定部２３は、入力画像Ｉｍ１に写っていない４つめの実Ａ１１が奥に隠れていると推定し、当該実Ａ１１の位置を含む実情報Ｄ３を推定することが可能である。このように、推定部２３は、姿勢情報Ｄ４を用いることで、実情報Ｄ３の推定精度の向上を図ることができる。
【0129】
同様に、形状情報Ｄ５によれば、例えば、同一の枝茎Ａ１２につながる実Ａ１１の個々の大きさ（直径等）から、入力画像Ｉｍ１に写っていない実Ａ１１の位置を含む実情報Ｄ３を、推定することが可能である。すなわち、トマト、ナス又はピーマン等の種々の植物Ａ１においては、一般的に、主茎の下部（低い位置）から主茎の上部（高い位置）に向けて、実Ａ１１が徐々に小さくなる傾向にある。そこで、例えば、入力画像Ｉｍ１において、主茎の中間部に、主茎の下部に位置する実Ａ１１の大きさと主茎の上部に位置する実Ａ１１の大きさとの中間の大きさの実Ａ１１が確認できない場合、主茎の中間部に存在するはずの実Ａ１１の位置を含む実情報Ｄ３を、推定することが可能である。一例として、主茎の下部に位置する実Ａ１１の直径が１５ｃｍ、主茎の上部に位置する実Ａ１１の大きさが８ｃｍである場合に、直径が１０ｃｍから１３ｃｍ程度の中間サイズの実Ａ１１が主茎の中間部に確認できなければ、推定部２３は、入力画像Ｉｍ１に写っていない中間サイズの実Ａ１１が隠れていると推定し、当該実Ａ１１の位置を含む実情報Ｄ３を推定することが可能である。このように、推定部２３は、形状情報Ｄ５を用いることで、実情報Ｄ３の推定精度の向上を図ることができる。
【0130】
果梗位置推定部２８は、実Ａ１１の果梗Ａ１１１（図１３参照）の位置に関する果梗位置情報Ｄ６を推定する。本開示でいう「果梗」は、枝茎Ａ１２から分かれて細く延び、その先に実Ａ１１がなっている部分であって、実Ａ１１の柄になる部分を意味する。「果梗」は「果柄」とも呼び、特に、小さな実Ａ１１が多数集まった果穂において、個々の実Ａ１１を支える柄の部分を小果柄とも呼ぶ。果梗位置情報Ｄ６は、実Ａ１１の果梗Ａ１１１の位置に関する情報であればよく、例えば、果梗Ａ１１１の座標位置、実Ａ１１の中心位置から見た方向及び距離、又は果梗Ａ１１１の位置を模した画像等である。実情報Ｄ３に複数の実Ａ１１の情報が含まれている場合、果梗位置推定部２８は、これら複数の実Ａ１１の各々について果梗位置情報Ｄ６を推定する。
【0131】
本実施形態では、果梗位置推定部２８は、姿勢情報Ｄ４に基づいて、実Ａ１１の果梗Ａ１１１の位置に関する果梗位置情報Ｄ６を推定する。つまり、果梗位置推定部２８は、少なくとも姿勢推定部２６で推定される姿勢情報Ｄ４を用いて、果梗位置情報Ｄ６を推定可能に構成されている。さらに、果梗位置推定部２８は、形状情報Ｄ５に基づいて、実Ａ１１の果梗Ａ１１１の位置に関する果梗位置情報Ｄ６を推定する。つまり、果梗位置推定部２８は、少なくとも形状推定部２７で推定される形状情報Ｄ５を用いて、果梗位置情報Ｄ６を推定可能に構成されている。
【0132】
すなわち、本実施形態に係る実推定システム１Ａは、姿勢推定部２６及び形状推定部２７を備えるため、果梗位置推定部２８は、姿勢情報Ｄ４のみ、形状情報Ｄ５のみ、又は姿勢情報Ｄ４と形状情報Ｄ５との組み合わせに基づいて、果梗位置情報Ｄ６を推定できる。本実施形態では、果梗位置推定部２８は、姿勢推定部２６で推定される姿勢情報Ｄ４と形状推定部２７で推定される形状情報Ｄ５との両方に基づいて、果梗位置情報Ｄ６を推定することとする。これにより、姿勢情報Ｄ４と形状情報Ｄ５とのいずれか一方のみに基づいて果梗位置情報Ｄ６を推定する場合に比べて、果梗位置情報Ｄ６の推定精度の向上を図ることができる。
【0133】
果梗位置推定部２８における果梗位置情報Ｄ６の推定に係る処理の詳細については「（２．１）果梗位置推定方法」の欄で説明する。
【0134】
【0135】
本実施形態に係る実推定方法は、コンピュータシステムを主構成とする情報処理装置２にて実行されるので、言い換えれば、実推定プログラムにて具現化される。つまり、本実施形態に係る実推定プログラムは、実推定方法に係る各処理を１以上のプロセッサに実行させるためのコンピュータプログラムである。このような実推定プログラムは、例えば、情報処理装置２及び収穫装置３の制御部３１によって協働して実行されてもよい。
【0136】
また、本実施形態に係る実推定方法は、姿勢情報Ｄ４の推定に係る姿勢推定方法、形状情報Ｄ５の推定に係る形状推定方法、及び果梗位置情報Ｄ６の推定に係る果梗位置推定方法を含んでいる。本実施形態に係る姿勢推定方法は、コンピュータシステムを主構成とする情報処理装置２（主に姿勢推定部２６）にて実行されるので、言い換えれば、姿勢推定プログラムにて具現化される。つまり、本実施形態に係る姿勢推定プログラムは、姿勢推定方法に係る各処理を１以上のプロセッサに実行させるためのコンピュータプログラムである。
【0137】
また、形状推定方法は、コンピュータシステムを主構成とする情報処理装置２（主に形状推定部２７）にて実行されるので、言い換えれば、形状推定プログラムにて具現化される。つまり、本実施形態に係る形状推定プログラムは、形状推定方法に係る各処理を１以上のプロセッサに実行させるためのコンピュータプログラムである。同様に、果梗位置推定方法は、コンピュータシステムを主構成とする情報処理装置２（主に果梗位置推定部２８）にて実行されるので、言い換えれば、果梗位置推定プログラムにて具現化される。つまり、本実施形態に係る果梗位置推定プログラムは、果梗位置推定方法に係る各処理を１以上のプロセッサに実行させるためのコンピュータプログラムである。このような姿勢推定プログラム、形状推定プログラム及び果梗位置推定プログラムの各々は、例えば、情報処理装置２及び収穫装置３の制御部３１によって協働して実行されてもよい。
【0138】
（２．１）果梗位置推定方法
果梗位置推定部２８は、図１３に示すように、姿勢推定部２６で推定される姿勢情報Ｄ４及び姿勢情報Ｄ４の信頼度、並びに形状推定部２７で推定される形状情報Ｄ５に基づいて、果梗位置情報Ｄ６を推定（演算）する。ここで、形状情報Ｄ５は、実Ａ１１の中心位置及び直径の情報を含む。すなわち、果梗位置推定部２８は、姿勢情報Ｄ４に含まれる実Ａ１１の姿勢（鉛直軸に対する中心軸の傾き）を表すベクトルＶ１と、形状情報Ｄ５に含まれる実Ａ１１の外形を表す仮想球Ｖ２（の球面）との交点を、果梗Ａ１１１の位置Ｖ３として推定する。ここで、仮想球Ｖ２は、形状情報Ｄ５における実Ａ１１の中心位置Ｖ２１を中心とし、実Ａ１１の直径Ｖ２２を有する球体である。
果梗位置推定部２８は、図１３に示すように、姿勢推定部２６で推定される姿勢情報Ｄ４及び姿勢情報Ｄ４の信頼度、並びに形状推定部２７で推定される形状情報Ｄ５に基づいて、果梗位置情報Ｄ６を推定（演算）する。ここで、形状情報Ｄ５は、実Ａ１１の中心位置及び直径の情報を含む。すなわち、果梗位置推定部２８は、姿勢情報Ｄ４に含まれる実Ａ１１の姿勢（鉛直軸に対する中心軸の傾き）を表すベクトルＶ１と、形状情報Ｄ５に含まれる実Ａ１１の外形を表す仮想球Ｖ２（の球面）との交点を、果梗Ａ１１１の位置Ｖ３として推定する。ここで、仮想球Ｖ２は、形状情報Ｄ５における実Ａ１１の中心位置Ｖ２１を中心とし、実Ａ１１の直径Ｖ２２を有する球体である。
【0139】
また、本実施形態では、果梗位置推定部２８は、姿勢情報Ｄ４の推定結果の信頼度が閾値以上である場合にのみ果梗位置情報Ｄ６の演算を行い、姿勢情報Ｄ４の推定結果の信頼度が閾値よりも低い場合には、果梗位置情報Ｄ６の演算を行わない。さらに、姿勢情報Ｄ４の推定結果が複数存在する場合には、果梗位置推定部２８は、これら複数の推定結果（姿勢情報Ｄ４）のうち信頼度が最も高い姿勢情報Ｄ４に基づいて、果梗位置情報Ｄ６の推定を行う。
【0140】
このように、姿勢情報Ｄ４（及び形状情報）に基づいて果梗位置情報Ｄ６を推定する果梗位置推定方法によれば、遮蔽物で果梗Ａ１１１の一部若しくは全部が隠れている場合、及び房の中で実Ａ１１が着生する方向が一様でない場合でも、果梗位置情報Ｄ６を推定可能である。
【0141】
（２．２）姿勢推定方法
姿勢推定部２６は、図１３に示すように、入力画像Ｉｍ１から特徴量抽出を行う自己符号化器（Auto-encoder）を用いて具現化されている。自己符号化器は、深層ニューラルネットワークによって、高次元の画像を低次元な特徴量に変換する機能を有し、ここでは、姿勢推定部２６は、実Ａ１１が写った入力画像Ｉｍ１を実Ａ１１の姿勢を表す特徴量に変換する。
姿勢推定部２６は、図１３に示すように、入力画像Ｉｍ１から特徴量抽出を行う自己符号化器（Auto-encoder）を用いて具現化されている。自己符号化器は、深層ニューラルネットワークによって、高次元の画像を低次元な特徴量に変換する機能を有し、ここでは、姿勢推定部２６は、実Ａ１１が写った入力画像Ｉｍ１を実Ａ１１の姿勢を表す特徴量に変換する。
【0142】
本実施形態では一例として、姿勢推定部２６には、撮像部３３で撮像される入力画像Ｉｍ１のうち、二次元画像（RGB画像）Ｉｍ１１が少なくとも入力される。つまり、姿勢推定部２６は、少なくとも二次元画像Ｉｍ１１に基づいて姿勢情報Ｄ４の推定を行う。
【0143】
具体的には、姿勢推定部２６は、姿勢特徴量データベース２６１を有している。姿勢特徴量データベース２６１は、自己符号化器によって予め変換された実Ａ１１の様々な姿勢の特徴量を含んでいる。姿勢特徴量データベース２６１の構築に際しては、多数の入力画像について特徴量を抽出することが好ましい。そのため、多数の画像の準備については、三次元シミュレータにて植物Ａ１の実Ａ１１のモデルを生成し、当該モデルからコンピュータグラフィックスとしての画像を自動的に多数生成することで、省力化を図ることが好ましい。三次元シミュレータでは、コンピュータグラフィックスとしての三次元形状を有する実Ａ１１のモデルを様々な姿勢でレンダリングすることにより、様々な姿勢の特徴量を抽出する。
【0144】
そして、姿勢推定部２６は、入力画像Ｉｍ１から自己符号化器にて抽出された特徴量と、姿勢特徴量データベース２６１の各特徴量とを比較し、その類似性から、入力画像Ｉｍ１中の実Ａ１１の姿勢を推定する。本実施形態では、姿勢推定部２６は、入力画像Ｉｍ１から自己符号化器にて抽出された特徴量と、姿勢特徴量データベース２６１の各特徴量とをコサイン類似度で比較する。コサイン類似度は「０」以上「１」以下の値を持つ。姿勢推定部２６は、計算されたコサイン類似度の分布を正規分布に近似した際に、平均が低くかつ分散が大きければ、その推定結果の信頼度（スコア）は低いと判断する。反対に、姿勢推定部２６は、計算されたコサイン類似度の分布を正規分布に近似した際に、平均が高くかつ分散が小さければ、その推定結果の信頼度（スコア）は高いと判断する。
【0145】
要するに、本実施形態では、姿勢推定部２６は、入力画像Ｉｍ１から実Ａ１１の姿勢に関する特徴（特徴量）を抽出し、当該特徴量を、様々な姿勢の実Ａ１１の画像から抽出された特徴量を記録する姿勢特徴量データベース２６１に含まれる特徴量と比較する。このように、姿勢推定部２６は、特徴量同士の比較により、入力画像Ｉｍ１に基づいて、実Ａ１１の姿勢に関する姿勢情報Ｄ４を推定する。したがって、例えば、入力画像Ｉｍ１からでは実Ａ１１の姿勢を直接的に推定できない場合においても、姿勢推定部２６は、実Ａ１１の姿勢に関する姿勢情報Ｄ４を推定することが可能である。
【0146】
さらに、本実施形態では、姿勢推定部２６は、特徴量同士を比較した場合の特徴量の差の分布によって、推定された姿勢（姿勢情報Ｄ４）の信頼度を求める。つまり、１つの実Ａ１１の入力画像Ｉｍ１からでも、複数の姿勢（姿勢情報Ｄ４）が求まる場合はあるが、このような場合でも、特徴量の差の分布によって信頼度の高い姿勢情報Ｄ４を特定することが可能である。そして、本実施形態では、上述したように、果梗位置推定部２８は、姿勢情報Ｄ４の推定結果の信頼度が閾値よりも低い場合には、果梗位置情報Ｄ６の演算を行わない。また、果梗位置推定部２８は、複数の推定結果（姿勢情報Ｄ４）のうち信頼度が最も高い姿勢情報Ｄ４に基づいて、果梗位置情報Ｄ６の推定を行う。
【0147】
例えば、入力画像Ｉｍ１からでは実Ａ１１の姿勢をうまく推定できない場合には、姿勢特徴量データベース２６１に含まれる様々な姿勢の特徴量と、入力画像Ｉｍ１から抽出される特徴量との差が一様になりやすい。反対に、入力画像Ｉｍ１から実Ａ１１の姿勢をうまく推定できる場合には、姿勢特徴量データベース２６１に含まれる様々な姿勢の特徴量のうちの（正解となる）一の特徴量と、入力画像Ｉｍ１から抽出される特徴量との差だけが小さくなる。このことを利用すれば、姿勢推定部２６は、特徴量同士の差の大きさの分布から、入力画像Ｉｍ１から推定された姿勢情報Ｄ４の信頼度を求めることができる。
【0148】
（２．３）形状推定方法
形状推定部２７は、図１３に示すように、入力画像Ｉｍ１から形状情報Ｄ５として、実Ａ１１の（外形）形状、中心位置及び大きさ（直径）の推定を行う。実Ａ１１の中心位置及び直径は、形状推定処理の途中で行う球フィッティング処理で得られる仮想球Ｖ２の中心位置及び直径にて表される。実Ａ１１の中心位置については、仮想球Ｖ２によらずとも、例えば、形状推定処理の結果得られる形状メッシュの頂点位置の平均を計算することによっても特定可能である。ただし、形状推定部２７は、いずれか一の方法にて実Ａ１１の中心位置の特定を行うのであって、複数の結果から信頼度を推定することは行わない。
形状推定部２７は、図１３に示すように、入力画像Ｉｍ１から形状情報Ｄ５として、実Ａ１１の（外形）形状、中心位置及び大きさ（直径）の推定を行う。実Ａ１１の中心位置及び直径は、形状推定処理の途中で行う球フィッティング処理で得られる仮想球Ｖ２の中心位置及び直径にて表される。実Ａ１１の中心位置については、仮想球Ｖ２によらずとも、例えば、形状推定処理の結果得られる形状メッシュの頂点位置の平均を計算することによっても特定可能である。ただし、形状推定部２７は、いずれか一の方法にて実Ａ１１の中心位置の特定を行うのであって、複数の結果から信頼度を推定することは行わない。
【0149】
本実施形態では一例として、形状推定部２７には、撮像部３３で撮像される入力画像Ｉｍ１のうち、距離画像（depth画像）Ｉｍ１２及び赤外線画像Ｉｍ１３が少なくとも入力される。つまり、形状推定部２７は、少なくとも距離画像Ｉｍ１２及び赤外線画像Ｉｍ１３に基づいて形状情報Ｄ５の推定を行う。
【0150】
図１４は、本実施形態に係る形状推定方法の全体的な流れを示す概念図である。すなわち、情報処理装置２は、まず撮像部３３で撮像された植物Ａ１を含む画像を、入力画像Ｉｍ１として取得する（Ｓ３１）。それから、情報処理装置２は、入力画像Ｉｍ１に対して事前処理を行う（Ｓ３２）。
【0151】
情報処理装置２の形状推定部２７は、事前処理が施された入力画像Ｉｍ１に対して、エッジ抽出（Ｓ３３）、及びハフ投票（Ｓ３４）を順次行う。そして、ハフ投票の結果を用いて、形状推定部２７は、実Ａ１１の代表外形点を抽出し（Ｓ３５）、さらに二次元セグメンテーション（Ｓ３６）を行う。ここで、形状推定部２７は、処理Ｓ３６の後に、実Ａ１１の大きさを推定するためのスケーリング走査（Ｓ３０）を介して処理Ｓ３４に移行することにより、処理Ｓ３４～Ｓ３６を繰り返し実行する。
【0152】
上記処理Ｓ３６までで、実Ａ１１の二次元形状が推定されると、形状推定部２７は、さらに三次元形状の推定のための処理に移行する。形状推定部２７は、二次元座標から三次元座標への座標変換（Ｓ３７）を行い、三次元フィッティング（Ｓ３８）を実行する。さらに、形状推定部２７は、三次元セグメンテーション（Ｓ３９）を行い、三次元フィッティング（Ｓ３８）及び三次元セグメンテーション（Ｓ３９）を必要回数繰り返して、形状情報Ｄ５を推定する。
【0153】
形状推定方法における主要な処理の詳細について、以下に説明する。
【0154】
（２．３．１）事前処理
距離画像Ｉｍ１２の精度が悪い場合であっても、情報処理装置２は、形状推定部２７が形状推定に係る処理を開始する前の事前処理（Ｓ３２）としてフィルタ処理等を施すことで、精度を補填することが可能である。事前処理の具体例としては、時系列フィルタ処理、空間ヒストグラムフィルタ処理及び赤外線飽和除去処理等がある。
距離画像Ｉｍ１２の精度が悪い場合であっても、情報処理装置２は、形状推定部２７が形状推定に係る処理を開始する前の事前処理（Ｓ３２）としてフィルタ処理等を施すことで、精度を補填することが可能である。事前処理の具体例としては、時系列フィルタ処理、空間ヒストグラムフィルタ処理及び赤外線飽和除去処理等がある。
【0155】
時系列フィルタ処理は、距離画像Ｉｍ１２における距離値の計測精度が悪い場合、撮像部３３にて複数フレームの画像を撮像し、複数フレームの画像間にて対応する画素の計測値（画素値）の平均処理等により、時系列的にフィルタを施す処理である。これにより、距離画像Ｉｍ１２における距離値の計測精度の向上を図ることができる。
【0156】
ただし、単純に距離値の平均をとると、物体のエッジ周辺では背景と物体（内側）との間の何もない空間が距離として出力される場合があるため、ヒストグラム上の「外れ値」を除外したフィルタ処理を用いることが望ましい。すなわち、撮像部３３はｎ枚（ｎフレーム）の距離画像Ｉｍ１２を撮像し、情報処理装置２は、座標位置が同一である対応画素の距離値（画素値）ｎ個に対して、単位距離（一例として５ｍｍ）刻みでヒスグラムを作成する。さらに、情報処理装置２は、ヒストグラムについて所定距離（一例として３０ｍｍ）を１ブロックとし、最多ブロック内の距離値（画素値）の平均値を、その画素の距離値として採用する。これにより、ヒストグラム上の「外れ値」が除外された状態で、距離値の平均をとることができ、精度の更なる向上を図ることができる。
【0157】
また、空間ヒストグラムフィルタ処理は、距離画像Ｉｍ１２に対して、画像空間内でのフィルタ処理を行うことで、実Ａ１１の形状の検出精度を向上させる処理である。すなわち、情報処理装置２は、一定サイズのウィンドウをラスタスキャンし、ウィンドウ内の距離値に対してヒストグラムを作成し、一定区間（bin）内でヒストグラムが最大となる領域において、距離値の平均をとる。そして、情報処理装置２は、ヒストグラムへの加算値を、関心領域（ROI：Region Of Interest）位置に応じて予め設定しており、注目画素に近いほど重みを強く（大きく）設定することで、幅細の対象が背景に引きずられて消滅することを防止する。
【0158】
具体的な実装として、情報処理装置２は、距離画像Ｉｍ１２をラスタスキャンする。フィルタサイズ及びフィルタカーネルは予め設定されている。情報処理装置２は、関心領域内の画素の距離値（画素値）についてヒストグラムを作成し、ヒストグラム値（度数）が最大となる区間を検出する。情報処理装置２は、検出された区間について、上記フィルタ処理を設定する。ここで、情報処理装置２は、注目画素に近いほど重みを強く設定する。これにより、精度の更なる向上を図ることができる。
【0159】
また、赤外線飽和除去処理は、赤外線画像Ｉｍ１３において画素値が飽和する領域を距離画像Ｉｍ１２における距離値の計測対象から予め除外する処理である。すなわち、赤外線を用いたTOF（Time Of Flight）カメラ等で距離画像Ｉｍ１２を撮像する方式では、物体との距離が近い場合又は物体表面の反射率が高い場合等において、照射する赤外線の受光量が飽和し、正しく距離を計測できない場合がある。そこで、情報処理装置２は、赤外線の受光量が飽和する領域の距離値を距離画像Ｉｍ１２から予め除外することで、物体形状の検出精度の向上を図ることができる。
【0160】
具体的な実装として、情報処理装置２は、赤外線画像Ｉｍ１３において画素値（赤外線の受光量）が飽和する領域、つまり閾値を超える領域に関しては、距離画像Ｉｍ１２において画素値（距離値）を無効扱いとする。ここで、情報処理装置２は、赤外線の受光量が飽和する領域を、セグメンテーション処理から除外するのではなく、事前処理段階で大元から無効化する。このように、赤外線強度が高い領域の距離値を無効とすることで、実Ａ１１の表面に、距離値の計測不良によって突起が誤検出されることを防止できる。そのた、え、実Ａ１１の表面が球状に近くなり、突起が茎（又は果梗Ａ１１１）等として誤認識されることを防止しやすくなる。
【0161】
（２．３．２）エッジ抽出処理、ハフ投票処理、及び代表外形点の抽出処理
次に、事前処理が施された入力画像Ｉｍ１に対して実行されるエッジ抽出処理（Ｓ３３）、ハフ投票処理（Ｓ３４）、及び代表外形点の抽出処理（Ｓ３５）について説明する。エッジ抽出処理は、距離画像Ｉｍ１２のエッジを抽出する処理である。ハフ投票処理は、抽出されたエッジを用いて、実Ａ１１の中心領域を検出するための投票処理であって、ハフ（Hough）変換の投票により実現される。代表外形点の抽出処理は、ハフ投票処理の結果に基づいて、実Ａ１１の代表外形点を抽出する処理である。
次に、事前処理が施された入力画像Ｉｍ１に対して実行されるエッジ抽出処理（Ｓ３３）、ハフ投票処理（Ｓ３４）、及び代表外形点の抽出処理（Ｓ３５）について説明する。エッジ抽出処理は、距離画像Ｉｍ１２のエッジを抽出する処理である。ハフ投票処理は、抽出されたエッジを用いて、実Ａ１１の中心領域を検出するための投票処理であって、ハフ（Hough）変換の投票により実現される。代表外形点の抽出処理は、ハフ投票処理の結果に基づいて、実Ａ１１の代表外形点を抽出する処理である。
【0162】
図１５は、エッジ抽出処理、ハフ投票処理及び代表外形点の抽出処理の流れを示す概略図である。本実施形態では一例として、形状推定部２７は、距離画像Ｉｍ１２に対してCanny法によるエッジ抽出処理を施すことにより、エッジＥ１が抽出された画像Ｉｍ１０１を生成する。形状推定部２７は、この画像Ｉｍ１０１中のエッジＥ１を構成する点（エッジ点）を候補点とし、当該候補点ごとに投票方向を決定する。形状推定部２７は、各候補点から投票方向に向けて投票を行うことでハフ投票処理を実行することで、投票結果の画像Ｉｍ１０２を得る。
【0163】
ここで、投票方向は、エッジＥ１の法線方向であって、距離画像Ｉｍ１２の遠距離（距離値：大）側から近距離（距離値：小）側に向けた方向であることとする。つまり、実Ａ１１の外形に相当するエッジＥ１であれば、背景側から実Ａ１１の内側に向かう方向が投票方向となる。ここで、エッジＥ１の方位自体は、例えば、距離画像Ｉｍ１２に対するｘｙ方向のソーベルフィルタによるｘｙ方位の逆正接にて算出することが可能である。要するに、エッジＥ１のｘ方向の強度を「Ｅｘ」、ｙ方向の強度を「Ｅｙ」とした場合、エッジ強度は「（Ｅｘ２＋Ｅｙ２）１／２」で求められ、エッジ方位は「atan2（Ｅｘ，Ｅｙ）」で求められる。また、ここでは距離画像Ｉｍ１２の空間を投票グリッドとする。さらに、実Ａ１１の形状（大きさを含む）の個体差（ばらつき）に対応できるように、形状推定部２７は、点ではなく所定の範囲（長さ）を持つ線分にて投票を行う。つまり、形状推定部２７は、想定される実Ａ１１のサイズに基づく長さの線分を用いることで、投票マージンを持つハフ投票処理を実行する。
【0164】
このようなハフ投票処理の結果、投票の集中した領域Ｃ１（投票用の線分の交点が集中する領域）が生じると、形状推定部２７は、当該領域Ｃ１の投票に寄与したエッジＥ１を実Ａ１１の外形候補Ｅ２として、形状情報Ｄ５を推定する。すなわち、エッジＥ１の法線方向に投票した結果、投票が集中する領域Ｃ１が生じる場合には、当該領域Ｃ１の投票に寄与したエッジＥ１は、一意に求まる中心領域を持つ球体に近い形状の物体の外形に当たると推定される。実Ａ１１は、基本的には球体に近い形状を有するところ、ハフ投票処理を用いた球フィッティング処理により、実Ａ１１の外形候補Ｅ２の特定が可能となる。
【0165】
以上説明した処理により、形状推定部２７は、図１５の画像Ｉｍ１０３に示すように、実Ａ１１の中心領域Ｃ２及び外形候補Ｅ２の推定が可能となる。つまり、形状推定部２７は、入力画像Ｉｍ１から形状情報Ｄ５として、少なくとも実Ａ１１の（外形）形状（外形候補Ｅ２）及び中心位置（中心領域Ｃ２）の推定が可能である。
【0166】
また、ハフ投票処理の具体的な処理は、上記の例に限らない。例えば、形状推定部２７は、Shape Index又はCurvedness等の特徴量を用いることで、三次元シーン点群のうち、フラットな点を候補点としてもよい。この場合に、投票方向は、候補点の法線方向のうち、点群表面側（プラス方向）とは反対側のマイナス方向となる。また、画像座標を投票グリッドとする。この場合において、上記特徴量及び投票方向を求める際の周囲点群の考慮範囲を広めに設定することで、形状推定部２７は、微細な凹凸の影響を受けにくく、物体全体を塊として検出しやすくなる。
【0167】
このように、本実施形態においては、形状推定部２７は、入力画像Ｉｍ１におけるエッジＥ１の法線方向に投票を行い、投票の集中した領域Ｃ１の投票に寄与したエッジＥ１を実Ａ１１の外形候補Ｅ２として、形状情報Ｄ５を推定する。言い換えれば、形状推定部２７は、二次元画像のエッジ情報（又は距離画像Ｉｍ１２により推定される三次元点群の法線情報）に基づいて画像内の物体中心をマージン付きで予測し、予測の集中した領域Ｃ１及び投票に寄与した候補点を、それぞれ物体の中心領域Ｃ２及び外形候補Ｅ２として認識する。したがって、形状推定部２７は、モデルとの対応点探索を行わないため、形状に特徴のない物体についても形状情報Ｄ５の推定が可能であって、丸みをもった塊状の物体であれば形状情報Ｄ５の推定が可能となる。しかも、形状推定部２７は、物体の形状（大きさを含む）のばらつきがあっても、その影響を受けずに物体の外形候補Ｅ２を推定でき、さらに、物体の一部が遮蔽物によって隠れていても形状情報Ｄ５を推定できる。
【0168】
さらに、形状推定部２７は、図１５の画像Ｉｍ１０４のように、ハフ投票処理で得られた外形候補Ｅ２に基づいて、実Ａ１１の代表外形点Ｅ３を抽出する。具体的には、形状推定部２７は、物体の中心領域Ｃ２を原点とする極座標を設定し、所定の角度範囲に含まれる外形候補Ｅ２の座標から、その範囲の代表な半径を計算し、代表外形点Ｅ３を生成する。ここで、形状推定部２７は、外形候補Ｅ２となる点が閾値より少ない領域については、代表外形点Ｅ３「無し」と判定し、最も近い両隣の領域の有効な代表外形点Ｅ３から半径値を補間して代表半径を算出する。
【0169】
（２．３．３）二次元セグメンテーション
次に、距離画像Ｉｍ１２に対する二次元セグメンテーション（Ｓ３６）について説明する。二次元セグメンテーションは、距離画像Ｉｍ１２を距離値（深度）によって複数の領域に分割し、外れ値となる画素を除去する処理である。
次に、距離画像Ｉｍ１２に対する二次元セグメンテーション（Ｓ３６）について説明する。二次元セグメンテーションは、距離画像Ｉｍ１２を距離値（深度）によって複数の領域に分割し、外れ値となる画素を除去する処理である。
【0170】
具体的に、形状推定部２７は、図１６に示すように、距離画像Ｉｍ１２を距離値に応じた複数（ここでは一例として８つ）の等高線領域Ｒａ０～Ｒａ７に分割し、かつ複数の等高線領域Ｒａ０～Ｒａ７を階層化したツリー構造Ｔ１を生成する。ここで、形状推定部２７は、有効外形点が含まれる等高線領域（ノード）にはプラススコアを加算し、無効外形点が含まれる等高線領域（ノード）にはマイナススコアを加算する。形状推定部２７は、隣接する等高線領域に対してもスコアの加算を行い、ツリー構造Ｔ１で規定される等高線領域の階層が１階層変わるごとに、加算するスコアに一定割合の減衰を施す。形状推定部２７は、このような演算の結果、最終的にスコアがプラスである等高線領域を、実Ａ１１の存在領域として検出する。
【0171】
また、形状推定部２７は、距離値のヒストグラムクラスタリングを実行する。具体的に、形状推定部２７は、距離画像Ｉｍ１２においてセグメンテーションされた画素について距離値のヒストグラムを作成する。そして、形状推定部２７は、ある一定の幅においてヒストグラムが最大となる領域を求め、その領域外の画素を距離値の「外れ値」として、セグメンテーション結果から除外する。その結果、実Ａ１１の前景及び背景が除去され、実Ａ１１の領域のみが抽出されることになる。
【0172】
（２．３．４）スケーリング走査
次に、スケーリング走査（Ｓ３０）について説明する。スケーリング走査は、実Ａ１１の大きさ（半径又は直径）を推定するための処理である。
次に、スケーリング走査（Ｓ３０）について説明する。スケーリング走査は、実Ａ１１の大きさ（半径又は直径）を推定するための処理である。
【0173】
具体的に、形状推定部２７は、二次元セグメンテーション（Ｓ３６）を終えると、スケーリング走査により投票長さを変更した上でハフ投票処理（Ｓ３４）へ移行することで、投票長さを変えながら処理Ｓ３４～Ｓ３６を繰り返し実行する。ここで、投票長さは、候補点（エッジＥ１）からの投票用の線分までの距離であって、実Ａ１１の代表外形点Ｅ３から中心領域Ｃ２までの距離、つまり実Ａ１１の半径に相当する。形状推定部２７は、複数のレンジで検出された物体のうち、中心領域Ｃ２が一致する物体は同一物体として判定し、重複した検出を防止する。形状推定部２７は、セグメンテーション画素数の多さを検出スコアとし、全検出結果の中からスコアの高い順に検出結果を採用していく。採用された物体と同じ位置に存在する別走査レンジの検出結果は不採用とし、検出結果から削除する。
【0174】
以上説明したスケーリング走査を行うことにより、形状推定部２７は、ハフ投票処理を用いた球フィッティング処理と並行して、実Ａ１１の大きさ（ここでは半径）を特定することができる。すなわち、形状推定部２７は、中心領域Ｃ２に投票結果が集中するときの投票長さから、実Ａ１１の半径に係る形状情報Ｄ５を推定可能である。
【0175】
（２．３．５）三次元形状フィッティング
次に、三次元フィッティング（Ｓ３８）について説明する。三次元フィッティングは、実Ａ１１の三次元形状を推定するための処理である。
次に、三次元フィッティング（Ｓ３８）について説明する。三次元フィッティングは、実Ａ１１の三次元形状を推定するための処理である。
【0176】
形状推定部２７は、三次元フィッティングに先立ち、まずは座標変換（Ｓ３７）を行う。具体的に、形状推定部２７は、距離画像Ｉｍ１２において実Ａ１１が検出された画素のｘ、ｙ及び距離値に基づいて、各画素の三次元位置を算出する。形状推定部２７は、一例としてピンホールカメラモデルによる座標変換により、距離画像Ｉｍ１２を三次元座標（Ｘ，Ｙ，Ｚ）に変換する。
【0177】
そして、形状推定部２７は、三次元フィッティングとして、座標変換後の三次元点群を最小２乗法にて球面フィッティングさせ、物体の三次元中心位置の初期点を求める。形状推定部２７は、初期点を中心とする三次元球面状の極座標グリッドを定義し、θ、φの球面グリッド内に存在する点群からそのグリッドにおける３次元距離を算出し、代表形状を検出する。
【0178】
さらに、形状推定部２７は、三次元フィッティングの結果に対して三次元セグメンテーション（Ｓ３９）を行う。三次元セグメンテーションでは、具体的に、形状推定部２７は、代表点に「±ｒ」の厚みを持たせた球殻情報領域を定義し、三次元シーン点群に対し、当該球殻に含まれるか否かを判定し、含まれる点を実Ａ１１に対応した点と判定する。この処理により、形状推定部２７は、改めて実Ａ１１に対応する画素（点群）を特定する。
【0179】
形状推定部２７は、三次元セグメンテーションによって抽出された点群の情報を用いて、再度、三次元フィッティングを行う。形状推定部２７は、三次元フィッティング（Ｓ３８）及び三次元セグメンテーション（Ｓ３９）を必要に応じて複数回繰り返すことにより、形状情報Ｄ５の推定精度の向上を図る。
【0180】
以上説明したように、形状推定部２７は、距離画像Ｉｍ１２における距離値と、推定される二次元形状とに基づいて、実Ａ１１に対応する画素を抽出し、抽出された画素の距離画像Ｉｍ１２から得られる三次元座標情報に基づいて、実Ａ１１の外形を推定する。これにより、形状推定部２７は、形状情報Ｄ５として、実Ａ１１の中心位置及び大きさ（半径等）に加えて、実Ａ１１の三次元形状を推定することが可能である。さらに、形状推定部２７は、三次元形状の推定結果に基づいて、三次元セグメンテーションを行うことで実Ａ１１に対応する点（画素）を改めて抽出するので、二次元画像に基づくセグメンテーションに比べて精度よく実Ａ１１の対応画素を抽出できる。
【0181】
（３）その他
ところで、実推定システム１Ａは、枝茎抽出部２２が省略された構成において、姿勢推定部２６を採用することも可能である。この場合、例えば、推定部２３は、枝茎形状情報Ｄ１には依らずに、姿勢推定部２６で推定される姿勢情報Ｄ４に基づいて、実情報Ｄ３を推定してもよい。さらに、推定部２３が省略され、姿勢推定部２６で推定される姿勢情報Ｄ４は、果梗位置推定部２８での果梗位置情報Ｄ６の推定のみに用いられてもよい。あるいは、姿勢推定部２６で推定される姿勢情報Ｄ４は、実情報Ｄ３及び果梗位置情報Ｄ６以外の推定に用いられてもよいし、姿勢情報Ｄ４自体が出力（例えば、収穫装置３への送信、他装置（ユーザ端末等）への送信、印刷（プリントアウト）、非一時的記録媒体への書き込み、又は表示装置への表示等）されてもよい。
ところで、実推定システム１Ａは、枝茎抽出部２２が省略された構成において、姿勢推定部２６を採用することも可能である。この場合、例えば、推定部２３は、枝茎形状情報Ｄ１には依らずに、姿勢推定部２６で推定される姿勢情報Ｄ４に基づいて、実情報Ｄ３を推定してもよい。さらに、推定部２３が省略され、姿勢推定部２６で推定される姿勢情報Ｄ４は、果梗位置推定部２８での果梗位置情報Ｄ６の推定のみに用いられてもよい。あるいは、姿勢推定部２６で推定される姿勢情報Ｄ４は、実情報Ｄ３及び果梗位置情報Ｄ６以外の推定に用いられてもよいし、姿勢情報Ｄ４自体が出力（例えば、収穫装置３への送信、他装置（ユーザ端末等）への送信、印刷（プリントアウト）、非一時的記録媒体への書き込み、又は表示装置への表示等）されてもよい。
【0182】
すなわち、実推定システム１Ａは、枝茎抽出部２２及び推定部２３とは切り離して、姿勢推定部２６を採用することができる。この場合、実推定システム１Ａは、植物Ａ１を含む入力画像Ｉｍ１から、植物Ａ１の実Ａ１１の姿勢に関する姿勢情報Ｄ４を推定する姿勢推定部２６を備えていればよい。また、この場合において、実推定システム１Ａは、姿勢情報Ｄ４に基づいて、実Ａ１１の果梗Ａ１１１の位置に関する果梗位置情報Ｄ６を推定する果梗位置推定部２８を更に備えることが好ましい。これにより、撮像部３３で撮像された入力画像Ｉｍ１において、例えば植物Ａ１の葉Ａ１３等の遮蔽物で隠れて一部又は全部が写っていない果梗Ａ１１１についても、その位置を把握して、実収穫システム１０等での収穫を行うことが可能となる。
【0183】
上記以外の果梗位置情報Ｄ６の推定手法として、例えば、入力画像Ｉｍ１を意味論的領域分割することで果梗Ａ１１１を発見する手法（第１手法）が考えられるが、遮蔽物で果梗Ａ１１１の一部又は全部が隠れている場合、当該第１手法で果梗Ａ１１１の位置を推定することはできない。また、房（複数の実Ａ１１の集合）を主成分分析することによって果梗Ａ１１１の位置を推定する手法（第２手法）も考えられるが、当該第２手法では、実Ａ１１が房に着生する方向が一様でなければならない。例えば、果菜類においては実Ａ１１が密生して房になる場合があり、このような場合には、房の中で実Ａ１１が着生する方向は一様ではないため、第２手法で果梗Ａ１１１の位置を推定することはできない。これに対して、本実施形態に係る果梗位置推定部２８のように、姿勢情報Ｄ４に基づいて果梗位置情報Ｄ６を推定する方法では、遮蔽物で果梗Ａ１１１の一部若しくは全部が隠れている場合、及び房の中で実Ａ１１が着生する方向が一様でない場合でも、果梗位置情報Ｄ６を推定可能である。
【0184】
同様に、実推定システム１Ａは、枝茎抽出部２２が省略された構成において、形状推定部２７を採用することも可能である。この場合、例えば、推定部２３は、枝茎形状情報Ｄ１には依らずに、形状推定部２７で推定される形状情報Ｄ５に基づいて、実情報Ｄ３を推定してもよい。さらに、推定部２３が省略され、形状推定部２７で推定される形状情報Ｄ５は、果梗位置推定部２８での果梗位置情報Ｄ６の推定のみに用いられてもよい。あるいは、形状推定部２７で推定される形状情報Ｄ５は、実情報Ｄ３及び果梗位置情報Ｄ６以外の推定に用いられてもよいし、形状情報Ｄ５自体が出力（例えば、収穫装置３への送信、他装置（ユーザ端末等）への送信、印刷（プリントアウト）、非一時的記録媒体への書き込み、又は表示装置への表示等）されてもよい。
【0185】
すなわち、実推定システム１Ａは、枝茎抽出部２２及び推定部２３とは切り離して、形状推定部２７を採用することができる。この場合、実推定システム１Ａは、植物Ａ１を含む入力画像Ｉｍ１から、植物Ａ１の実Ａ１１の形状に関する形状情報Ｄ５を推定する形状推定部２７を備えていればよい。また、この場合において、実推定システム１Ａは、形状情報Ｄ５に基づいて、実Ａ１１の果梗Ａ１１１の位置に関する果梗位置情報Ｄ６を推定する果梗位置推定部２８を更に備えることが好ましい。これにより、撮像部３３で撮像された入力画像Ｉｍ１において、例えば植物Ａ１の葉Ａ１３等の遮蔽物で隠れて一部又は全部が写っていない果梗Ａ１１１についても、その位置を把握して、実収穫システム１０等での収穫を行うことが可能となる。
【0186】
特に、本実施形態では、形状推定部２７は、入力画像Ｉｍ１におけるエッジＥ１の法線方向に投票を行い、投票の集中した領域Ｃ１の投票に寄与したエッジＥ１を実Ａ１１の外形候補Ｅ２として、形状情報Ｄ５を推定する。上記以外の形状情報Ｄ５の推定手法として、例えば、入力画像Ｉｍ１とモデルデータ（テンプレート）との一致度を用いる手法（第１手法）が考えられるが、当該第１手法では、植物Ａ１の実Ａ１１のように形状の個体差が大きい物体には適応困難である。また、計測した３次元点群によりＲＡＮＳＡＣ（RANdom SAmple Consensus）という手法を用いて球状物体の三次元位置を検出する手法（第２手法）が考えられるが、当該第２手法によるモデルフィッティングは、完全な球体に形状が限定されており、球体の大きさ変化にも対応できない。また、距離画像（depth画像）のエッジ閉領域を物体として検出する手法（第３手法）も考えられるが、当該第３手法では、物体の重なり等によっては物体外周のエッジが閉じないため、隣接した複数の物体を１つの物体として検出する可能性がある。また、計測した三次元点群情報を入力として機械学習（深層学習）を用いることで物体の三次元位置を推定する手法（第４手法）も考えられるが、計算処理速度及び検出精度に課題がある。これに対して、本実施形態に係る形状推定部２７のように、入力画像Ｉｍ１におけるエッジＥ１の法線方向に投票を行い、投票の集中した領域Ｃ１の投票に寄与したエッジＥ１を実Ａ１１の外形候補として、形状情報Ｄ５を推定する方法では、これら第１～第４手法の課題をいずれも解決可能である。
【0187】
また、姿勢情報Ｄ４自体が出力（収穫装置３への送信、他装置への送信、印刷、非一時的記録媒体への書き込み、又は表示装置への表示等）される場合、例えば、姿勢情報Ｄ４は、収穫装置３での実Ａ１１の収穫処理に利用可能である。つまり、一例として、収穫装置３は、姿勢情報Ｄ４に基づいて、収穫対象の実Ａ１１の姿勢を特定した上で、この姿勢の実Ａ１１に対してロボットハンドが適切な方向からアプローチできるように作業部３２を制御する。
【0188】
同様に、形状情報Ｄ５自体が出力（収穫装置３への送信、他装置への送信、印刷、非一時的記録媒体への書き込み、又は表示装置への表示等）される場合、例えば、形状情報Ｄ５は、収穫装置３での実Ａ１１の収穫処理に利用可能である。つまり、一例として、収穫装置３は、形状情報Ｄ５に基づいて、実Ａ１１の大きさを特定した上で、この大きさの実Ａ１１をロボットハンドで適切に掴めるように作業部３２を制御する。また、形状情報Ｄ５から実Ａ１１の三次元表面形状が特定できれば、収穫装置３は、三次元表面形状を利用することも可能である。例えば、収穫装置３の作業部３２が吸着式のエンドエフェクタを有する場合、収穫装置３は、実Ａ１１の表面の法線方向が形状情報Ｄ５として提供されることで、吸着パッドを実Ａ１１の表面に適切にフィットさせる位置及び姿勢を導出することが可能となる。また収穫装置３は、実Ａ１１の表面形状の各部位について、隣接部の曲率半径の変化が一定範囲内であるか否かを判定することで、表面がフラットである部位を見つけたり、凹凸の大小を判断したりすることもできる。そのため、収穫装置３は、吸着に不適切な箇所を予めエンドエフェクタの作用位置候補から除外できる。その結果、収穫作業の精度、効率及び成功率が向上する。さらに、形状情報Ｄ５によれば実Ａ１１の重量も推定可能であるので、推定される重量を作業支援情報として作業者等に提示することも有用である。
【0189】
（４）変形例
実推定システム１Ａは、複数の視点（方向）から撮像された複数の入力画像Ｉｍ１に基づいて、姿勢情報Ｄ４又は形状情報Ｄ５等の推定を行ってもよい。すなわち、１つの視点から撮像された入力画像Ｉｍ１からでは、推定可能な情報は、実Ａ１１の半面から推定可能な情報に限られるため、実Ａ１１における撮像部３３とは反対側の面（背面）に関する推定精度は低くなる。これに対して、複数の視点から得られる情報を用いることで、実Ａ１１の全体に係る推定精度の向上を図ることが可能である。
実推定システム１Ａは、複数の視点（方向）から撮像された複数の入力画像Ｉｍ１に基づいて、姿勢情報Ｄ４又は形状情報Ｄ５等の推定を行ってもよい。すなわち、１つの視点から撮像された入力画像Ｉｍ１からでは、推定可能な情報は、実Ａ１１の半面から推定可能な情報に限られるため、実Ａ１１における撮像部３３とは反対側の面（背面）に関する推定精度は低くなる。これに対して、複数の視点から得られる情報を用いることで、実Ａ１１の全体に係る推定精度の向上を図ることが可能である。
【0190】
具体的に、実推定システム１Ａは、１台又は複数台の撮像部３３にて、実Ａ１１を複数の視点（方向）から撮像した複数の入力画像Ｉｍ１を得る。１台の撮像部３３を用いる場合には、撮像部３３の位置及び向きを変えて順次撮像することで、実Ａ１１を複数の視点から撮像することが可能である。例えば、形状推定部２７は、まずは各視点について入力画像Ｉｍ１から形状情報Ｄ５をそれぞれ推定する。そして、形状推定部２７は、各視点にて推定された実Ａ１１の中心領域Ｃ２を、共通の三次元空間の同一位置に配置するように、各視点にて推定された実Ａ１１に対応する点群を統合（マージ）する。さらに、形状推定部２７は、統合した点群に対し、「（２．３．５）三次元形状フィッティング」の欄で説明したのと同様の三次元フィッティング及び三次元セグメンテーションを行い、実Ａ１１の形状情報Ｄ５を推定する。
【0191】
実施形態３に係る構成（変形例を含む）は、実施形態１又は実施形態２で説明した種々の構成（変形例を含む）と適宜組み合わせて採用可能である。
【符号の説明】
【0192】
１，１Ａ 実推定システム
３ 収穫装置
１０ 実収穫システム
２２ 枝茎抽出部
２３ 推定部
２５ 表示処理部
２６ 姿勢推定部
２７ 形状推定部
２８ 果梗位置推定部
４１ 分類器
４２ 識別器
Ｉｍ１ 入力画像
Ａ１ 植物
Ａ１１ 実
Ａ１２ 枝茎
Ｃ１ （投票の集中した）領域
Ｄ１ 枝茎形状情報
Ｄ２ 位置情報
Ｄ３ 実情報
Ｄ４ 姿勢情報
Ｄ５ 形状情報
Ｄ６ 果梗位置情報
Ｅ１ エッジ
Ｅ２ 外形候補
Ｒ１ 第１領域
Ｒ２ 第２領域
Ｒ２１ 前景領域
Ｒ２２ 背景領域
３ 収穫装置
１０ 実収穫システム
２２ 枝茎抽出部
２３ 推定部
２５ 表示処理部
２６ 姿勢推定部
２７ 形状推定部
２８ 果梗位置推定部
４１ 分類器
４２ 識別器
Ｉｍ１ 入力画像
Ａ１ 植物
Ａ１１ 実
Ａ１２ 枝茎
Ｃ１ （投票の集中した）領域
Ｄ１ 枝茎形状情報
Ｄ２ 位置情報
Ｄ３ 実情報
Ｄ４ 姿勢情報
Ｄ５ 形状情報
Ｄ６ 果梗位置情報
Ｅ１ エッジ
Ｅ２ 外形候補
Ｒ１ 第１領域
Ｒ２ 第２領域
Ｒ２１ 前景領域
Ｒ２２ 背景領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
