特開 2023-127801 収穫量推定装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023127801

(43)【公開日】2023-09-14

(54)【発明の名称】収穫量推定装置、方法及びプログラム

(51)【国際特許分類】

   A01G 7/00 20060101AFI20230907BHJP

   G06T 7/62 20170101ALI20230907BHJP

【ＦＩ】

A01G7/00 603

G06T7/62

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022031709

(22)【出願日】2022-03-02

(71)【出願人】

【識別番号】504224153

【氏名又は名称】国立大学法人 宮崎大学

(74)【代理人】

【識別番号】100085660

【弁理士】

【氏名又は名称】鈴木 均

(74)【代理人】

【識別番号】100149892

【弁理士】

【氏名又は名称】小川 弥生

(74)【代理人】

【識別番号】100185672

【弁理士】

【氏名又は名称】池田 雅人

(72)【発明者】

【氏名】川末 紀功仁

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096CA02

5L096DA02

5L096FA02

5L096FA59

5L096FA67

5L096FA69

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】各果実を草木から収穫する前に３次元画像情報を用いて収穫量を推定可能な収穫量推定システム、装置及び方法を提供する。
【解決手段】果実がなる草木を撮影する撮影装置と、撮影装置から画像情報ＤＳを取得する収穫量推定装置とを具備する収穫量推定システムであって、画像情報は、３次元画像情報ＤＳｂを含む。穫量推定装置は、画像情報で表される各物体から果実を特定する果実特定部と、３次元画像情報を用いて、果実の体積を推定する体積推定部と、果実の体積から当該果実の重量を推定する重量推定部と、複数個の果実の重量を合計した数値を算出する収穫量算出部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

果実がなる草木を撮影する撮影装置と、
前記撮影装置から画像情報を取得する収穫量推定装置と
を具備する収穫量推定システムであって、
前記画像情報は、３次元画像情報を含み、
前記収穫量推定装置は、
前記画像情報で表される各物体から前記果実を特定する果実特定部と、
前記３次元画像情報を用いて、前記果実の体積を推定する体積推定部と、
前記果実の体積から当該果実の重量を推定する重量推定部と、
複数個の前記果実の重量を合計した数値を算出する収穫量算出部と、を備える
収穫量推定システム。

【請求項2】

予め定められた位置に支持され、前記撮影装置が搬送される軌道部と、
前記草木が撮影可能な撮影位置へ、前記軌道部により前記撮影装置を搬送する搬送部と、を具備し、
前記撮影位置は、前記草木より上側である
請求項１に記載の収穫量推定システム。

【請求項3】

前記体積推定部は、
前記３次元画像情報が示す前記果実の上側部分の形状から、当該上側部分の体積である部分体積を推定し、
前記果実の種類に応じた果実別係数と前記部分体積とを用いて、当該果実全体の体積を推定する
請求項１または請求項２に記載の収穫量推定システム。

【請求項4】

果実がなる草木を撮影する撮影装置から画像情報を取得する収穫量推定装置であって、
前記画像情報は、３次元画像情報を含み、
前記画像情報が表す各物体から前記果実を特定する果実特定部と、
前記３次元画像情報を用いて、前記果実の体積を推定する体積推定部と、
前記果実の体積から当該果実の重量を推定する重量推定部と、
複数個の前記果実の重量を合計した数値を算出する収穫量算出部と、を備える
収穫量推定装置。

【請求項5】

果実がなる草木を撮影する撮影装置と、前記撮影装置から画像情報を取得する収穫量推定装置とを用いた前記果実の収穫量の推定方法であって、
前記画像情報で表される各物体から前記果実を前記収穫量推定装置が特定し、
前記画像情報に含まれる３次元画像情報を用いて、前記果実の体積を前記収穫量推定装置が推定し、
前記果実の体積から当該果実の重量を前記収穫量推定装置が推定し、
複数個の前記果実の重量を合計した数値を前記収穫量推定装置が算出する
収穫量の推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、収穫量推定装置、方法及びプログラムに関する。

【背景技術】

【0002】

従来から、収穫前の果実に関する各種の情報を把握（推定）するための技術が提案されている。例えば、特許文献１の技術では、収穫前の果実の画像情報から当該果実の熟度を事前に推定できる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１７５３９６公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来技術では、画像情報は２次元画像情報であり、３次元画像情報が含まれない。以上の従来技術では、収穫前の各果実の重量が正確には推定できない。したがって、果実の収穫量を収穫前に高精度に推定できないという事情があった。以上の事情を考慮して、本発明は、果実の収穫量を収穫前に高精度に推定可能にすることを目的とする。

【課題を解決するための手段】

【0005】

以上の課題を解決するために、本発明の収穫量推定システムは、果実がなる草木を撮影する撮影装置と、撮影装置から画像情報を取得する収穫量推定装置とを具備する収穫量推定システムであって、画像情報は、３次元画像情報を含み、収穫量推定装置は、画像情報で表される各物体から果実を特定する果実特定部と、３次元画像情報を用いて、果実の体積を推定する体積推定部と、果実の体積から当該果実の重量を推定する重量推定部と、複数個の果実の重量を合計した数値を算出する収穫量算出部と、を備える。

【発明の効果】

【0006】

本発明によれば、各果実を草木から収穫する前に、３次元画像情報を用いて収穫量を推定可能になる。

【図面の簡単な説明】

【0007】

【図1】収穫量推定システムのハードウェア構成図である。

【図2】収穫量推定システムの機能ブロック図である。

【図3】果実の撮影方法の具体例を説明するための図である。

【図4】果実の撮影位置の具体例を説明するための図である。

【図5】果実画像の具体例を説明するための図である。

【図6】部分体積を推定するための構成を説明するための図である。

【図7】果実別係数の具体例を説明するための図である。

【図8】収穫量推定処理のフローチャートである。

【発明を実施するための形態】

【0008】

＜第１実施形態＞
図１は、収穫量推定システム１のハードウェア構成図である。図１に示す通り、収穫量推定システム１は、コンピュータ１０、搬送装置２０、カメラ３０およびワイヤロープ４０を含む。本実施形態の収穫量推定システム１によれば、各果実Ｆの収穫量を、各樹木Ｔから収穫する前に推定できる。図１には、果樹園における各樹木Ｔのうちの１本が抜粋して示される。

【0009】

図１の具体例は、果実Ｆのうちマンゴーの収穫量を推定する場合を示す。ただし、本実施形態は、マンゴー以外の果実Ｆの収穫量も推定可能に構成される。なお、本発明の「草木」は、「草」および「木」の双方を含む概念である。したがって、本発明の「果実」は「木本性植物の果実」および「草本性植物の果実」の双方を含む概念である。また、本発明の「果実」は、マンゴー等の「フルーツ」に加え、トマト等の「野菜」を含む概念である。

【0010】

ただし、本発明は、「木本性植物の果実」の収穫量および「草本性植物の果実」の収穫量の双方を推定する構成に加え、「木本性植物の果実」の収穫量のみを推定する構成、および、「草本性植物の果実」の収穫量のみを推定する構成を含む。同様に、本発明は、「フルーツ」の収穫量および「野菜」の収穫量の双方を推定する構成に加え、「フルーツ」の収穫量のみを推定する構成、および、「野菜」の収穫量のみを推定する構成を含む。

【0011】

コンピュータ１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）およびＨＤＤ（Hard Disk Drive）を含んで構成される。本実施形態のコンピュータ１０は、持運び可能なコンピュータ（例えば、タブレット端末）が採用される。ただし、ディスクトップパソコンやノート型パソコンをコンピュータ１０として採用してもよい。

【0012】

コンピュータ１０のＨＤＤは、収穫量推定プログラムＰＧを含む各種のデータを記憶する。コンピュータ１０のＣＰＵは、収穫量推定プログラムＰＧを実行することで、後述の各種の機能（収穫量算出部１０５など）を実現する。コンピュータ１０のＲＡＭは、例えばＣＰＵがプログラムを実行する際に参照する各種の情報を一時的に記憶する。また、コンピュータ１０のＲＯＭは、各種の情報を不揮発的に記憶する。なお、収穫量推定プログラムＰＧがＨＤＤ以外に記憶される構成としてもよい。

【0013】

搬送装置２０は、図１に示す通り、下端側にカメラ３０を取付可能である。また、搬送装置２０は、ワイヤロープ４０に吊下げ可能に構成される。搬送装置２０にはモータで回転するローラが設けられ、ワイヤロープ４０に搬送装置２０が吊下げられると、ローラがワイヤロープ４０に当接する。以上の構成では、ローラを回転させることで、搬送装置２０がワイヤロープ４０に沿って移動する。

【0014】

詳細には後述するが、搬送装置２０により、カメラ３０が撮影位置（図３のＭの直下）まで搬送される。なお、搬送装置２０は、カメラ３０を撮影位置まで搬送可能であれば足り、以上の例に限定されない。また、搬送装置２０とカメラ３０とが一体的に構成される（搬送装置２０がカメラ３０の機能を具備する）構成としてもよい。

【0015】

カメラ３０は、樹木Ｔ（果実Ｆを含む）を撮影し、画像情報ＤＳを生成する。具体的には、カメラ３０は、カラー（ＲＧＢ）カメラ３０ａとデプス（深度）カメラ３０ｂとを含んで構成される。カラーカメラ３０ａは、２次元のカラー画像を示す２次元画像情報ＤＳａを生成する。一方、デプスカメラ３０ｂは、被写体までの距離を示す深度情報を含む３次元画像（距離画像）情報ＤＳｂを生成する。例えば、３次元画像情報ＤＳｂとしては、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）技術により撮影された点群画像を示す情報が想定される。

【0016】

また、カメラ３０には、傾きセンサが設けられる。以上の傾きセンサは、鉛直方向に対する撮影方向の傾き（後述のピッチ角θｐ、ロール角θｒ。図４（ｂ）および図４（ｃ）参照）の大きさを検出する。カメラ３０は、撮影時に傾きセンサが検知した傾きの大きさを示す「傾き情報」を生成する。以上の傾き情報は、果実Ｆを示す果物画像（後述の図５（ｂ）のＧｆ）の傾きを調整（補正）する際に用いられる。

【0017】

本実施形態では、カラーカメラ３０ａおよびデプスカメラ３０ｂの双方で、樹木Ｔが略同時に（同じ位置から）撮影される。樹木Ｔが撮影されると、当該樹木Ｔを示す２次元画像情報ＤＳａと３次元画像情報ＤＳｂとを対応させて画像情報ＤＳが生成される。また、画像情報ＤＳには、撮影時に生成された傾き情報が含まれる。カメラ３０は、画像情報ＤＳを生成すると、当該画像情報ＤＳをコンピュータ１０へ送信する。具体的には、カメラ３０は、複数の撮影位置から各樹木Ｔを撮影し、撮影する毎に画像情報ＤＳを生成する。以上の構成では、相違する撮影位置で生成された複数個の画像情報ＤＳがコンピュータ１０へ送信される。

【0018】

詳細には後述するが、本実施形態では画像情報ＤＳを用いて果実Ｆの収穫量が推定される。具体的には、画像情報ＤＳを用いて、各果実Ｆの体積Ｖが推定される。また、コンピュータ１０は、果実Ｆの密度Ｅを予め記憶し、推定した体積Ｖに密度Ｅを乗算して、当該果実Ｆの重量Ｗを算出する。各果実Ｆの各重量Ｗの合計が収穫量Ｙとして算出される。

【0019】

図１に示す通り、カメラ３０は無線通信により画像情報ＤＳをコンピュータ１０へ送信する。ただし、画像情報ＤＳが有線通信により送信される構成としてもよい。また、カメラ３０に取外し可能なメモリを設け、当該メモリに画像情報ＤＳが記憶される構成としてもよい。以上の構成では、当該メモリをコンピュータ１０に取付けることで、コンピュータ１０は画像情報ＤＳを取込可能である。

【0020】

ワイヤロープ４０は、図１に示す通り、地表から予め定められた高さの位置に張り渡される。具体的には、図１に示す通り、果樹園にはポールＰ１およびポールＰ２が設けられる。ワイヤロープ４０は、一端がポールＰ１に取付けられ、他端がポールＰ２に取付けられ、地表に対して略平行に張り渡される。

【0021】

ただし、ワイヤロープ４０の位置は、カメラ３０により各樹木Ｔ（果実Ｆ）が撮影されれば足り、例えば樹木Ｔの位置に応じて、適宜に変更してもよい。また、本実施形態では、本発明の「軌道部」としてワイヤロープ４０を採用したが、「軌道部」は以上の例に限定されない。例えば、「軌道部」としてレールを採用してもよい。以上のレールは、ワイヤロープ４０と同様に、各樹木Ｔを撮影可能な位置へ撮影装置１００を搬送可能な位置に支持される。以上の構成では、当該レール上を走行（移動）する搬送装置２０を採用してもよい。

【0022】

図２は、収穫量推定装置１００の機能ブロック図である。収穫量推定装置１００は、画像情報取得部１０１、果実特定部１０２、体積推定部１０３、重量推定部１０４および収穫量算出部１０５を含む。例えば、上述のコンピュータ１０が重量推定プログラムＰＧを実行することで収穫量推定装置１００として機能する。収穫量推定システム１は、収穫量推定装置１００に加え、搬送部２００、撮影装置３００および軌道部４００を含む（後述の図３参照）。例えば、上述の搬送装置２０が搬送部２００として機能し、カメラ３０が撮影装置３００として機能し、ワイヤロープ４０が軌道部４００として機能する。

【0023】

収穫量推定装置１００の画像情報取得部１０１は、撮影装置３００から画像情報ＤＳ（ＤＳａ、ＤＳｂ）を取得（受信）する。例えば、撮影装置３００が画像を撮影すると、画像情報ＤＳが収穫量推定装置１００へ自動で送信される構成が考えられる。なお、収穫量推定装置１００が要求信号を送信可能とし、当該要求信号を受信した契機で画像情報ＤＳを撮影装置３００が送信する構成としてもよい。

【0024】

果実特定部１０２は、画像情報ＤＳが示す各オブジェクト（果実、枝、葉…）から果実Ｆを特定する。具体的には、画像情報ＤＳが示す画像には、果実Ｆの他に、樹木Ｔの枝や葉が表示される。果実特定部１０２は、３次元画像情報ＤＳｂが示す３次元画像における各オブジェクトから果実Ｆを特定する。

【0025】

本実施形態では、収穫量Ｙを算出する果実Ｆの種類（例えば、マンゴー）が収穫量推定装置１００に予め入力される。収穫量推定装置１００（果実特定部１０２）は、３次元画像情報ＤＳｂが示す３次元画像における果実Ｆを特定するのに先行して、２次元画像情報ＤＳａが示す２次元画像に含まれる各オブジェクトをセグメンテーション（区分け）する。以上のセグメンテーションにはＡＩ（Artificial Intelligence）技術が採用され得る。

【0026】

例えば、学習済みのＦＣＮ（Fully Convolutional Networks：全層畳み込みネットワーク）を用いて、２次元画像における各オブジェクトがセグメンテーションされる（例えば、特開２０２２-２９１６９号公報に記載の技術が採用され得る）。また、２次元画像情報ＤＳａが示す２次元画像における各オブジェクト（果実、枝、葉…）が分類される。収穫量推定装置１００は、分類された各オブジェクトから、収穫量Ｙを算出する果実Ｆを特定する。具体的には、２次元画像に複数個の果実Ｆが含まれる場合、全ての果実Ｆが特定される。なお、２次元画像情報が示す２次元画像から果実Ｆを特定する方法は以上の例に限定されない。

【0027】

収穫量推定装置１００は、３次元画像情報ＤＳｂが示す３次元画像を、１個の物体を示すオブジェクト毎に区分けする。また、収穫量推定装置１００は、２次元画像情報ＤＳａが示す２次元画像における各オブジェクトの位置と、３次元画像情報ＤＳｂが示す３次元画像における各オブジェクトの位置とに基づいて、当該２次元画像における各オブジェクトと当該３次元画像における各オブジェクトとを対応させる。

【0028】

上述した通り、２次元画像情報ＤＳａが示す２次元画像における各オブジェクトのうち果実Ｆを示すオブジェクトが特定される。収穫量推定装置１００は、果実Ｆとして特定した２次元画像のオブジェクトに対応する３次元画像におけるオブジェクトを、果実Ｆとして特定する。以下、説明のため、３次元画像における果実Ｆ（オブジェクト）を「果実画像Ｇｆ」と記載する場合がある。

【0029】

体積推定部１０３は、３次元画像情報ＤＳｂを用いて、果実Ｆの体積Ｖを推定する。具体的には、３次元画像情報ＤＳｂが示す３次元画像のうち果実画像Ｇｆを用いて果実Ｆの体積Ｖを推定する。以上の構成については、図６（ａ）～（ｄ）を用いて詳細に後述する。

【0030】

重量推定部１０４は、果実Ｆの体積Ｖから当該果実Ｆの重量Ｗを推定する。具体的には、収穫量推定装置１００は、上述した通り３次元画像情報ＤＳｂから果実Ｆの体積Ｖを推定する。また、収穫量推定装置１００は、収穫量Ｙを推定可能な果実Ｆ毎に密度Ｅを予め記憶する。収穫量推定装置１００が記憶する密度Ｅは、例えばサンプルの果実Ｆを用いて求められる。収穫量推定装置１００は、推定した果実Ｆの体積Ｖに密度Ｅを乗算した結果を、当該果実Ｆの重量Ｗとして記憶する（Ｗ＝Ｖ×Ｅ）。

【0031】

収穫量算出部１０５は、複数個の果実Ｆの重量Ｗを合計した数値を算出する。具体的には、収穫量推定装置１００は、果樹園の各樹木Ｔを撮影し、当該樹木Ｔにおける全ての果実Ｆの重量Ｗを推定する。また、収穫量推定装置１００は、推定した全ての重量Ｗを合計し、合計結果を収穫量Ｙとして記憶する。なお、収穫量推定装置１００に画像表示装置を設け、収穫量Ｙを表示可能な構成としてもよい。また、撮影された全ての樹木Ｔにおける果実Ｆの収穫量Ｙに替えて（加えて）、樹木Ｔ（撮影位置）毎の収穫量Ｙが算出される構成としてもよい。

【0032】

図３は、果実Ｆの撮影方法の具体例を説明するための図である。図３は、果樹園を直上から見下ろした場合を想定する。図３には、果樹園における各樹木Ｔ（１～ｎ）が示される。また、図３には、収穫量推定システム１の各構成のうち、搬送部２００、撮影装置３００およびワイヤロープ（軌道部）４００が示される。

【0033】

図３に示す通り、各樹木Ｔは一列に配置される。また、ワイヤロープ４００は、両端が各ポールＰ（１、２）取付けられ、各樹木Ｔに沿うように空中に張り渡される。具体的には、ワイヤロープ４００は、各樹木Ｔからみて斜め上側に位置する（後述の図４（ｂ）参照）。なお、ワイヤロープ４００の位置は、各樹木Ｔの各果実Ｆが撮影可能であれば足り、適宜に変更できる。例えば、樹木Ｔの真上にワイヤロープ４００が位置する構成としてもよい。

【0034】

以下、説明のため、重力方向逆向きを「Ｚ軸方向」と記載する場合がある。また、Ｚ軸方向に直行する方向を「Ｘ軸方向」と記載する場合がある。以上のＸ軸方向は、撮影装置３００の撮影方向Ｓｃ（撮影装置３００の正面方向）とも直行する。本実施形態では、説明を簡単にするため、Ｘ軸方向にワイヤロープ４００が張り渡される場合を想定する。以上のＸ軸方向は、搬送部２００（撮影装置３００）が移動する方向（図３における、白色で示す矢印の方向）と略平行である。さらに、Ｘ軸方向およびＺ軸方向の双方に直行する方向を「Ｙ軸方向」と記載する場合がある。図３に示す通り、撮影装置３００から見てＹ軸方向側に各樹木Ｔが位置する。なお、図３には、撮影装置３００の撮影方向Ｓｃが示される。

【0035】

図３に示す通り、ワイヤロープ４００には各マーク部Ｍ（１～ｎ）が設けられる。各マーク部Ｍは、他のワイヤロープ４００の部分と識別可能に構成される。具体的には、各マーク部Ｍは、他のワイヤロープ４００の部分と色彩が相違する。また、図３に示す通り、各マーク部Ｍは各樹木Ｔに対応して設けられる。例えば、マーク部Ｍ１は樹木Ｔ１に対応し、マーク部Ｍ２は樹木Ｔ２に対応し、マーク部Ｍ３は樹木Ｔ３に対応し…マーク部Ｍｎは樹木Ｔｎに対応する。

【0036】

マーク部Ｍに搬送部２００が位置した際に、当該マーク部Ｍに対応する樹木Ｔの各果実Ｆが撮影装置３００により撮影可能な位置に各マーク部Ｍは設けられる。例えば、図３の具体例では、搬送部２００がマーク部Ｍ１に位置する場合を想定する。以上の場合、撮影装置３００により樹木Ｔ１の各果実Ｆが撮影可能になる（各果実Ｆが撮影範囲の内側に位置する）。なお、樹木Ｔによっては、全ての果実Ｆが一度に（一方向からは）撮影できない場合がある。以上の場合、１本の樹木Ｔに対応するマーク部Ｍを複数個設け、複数の撮影位置から当該樹木Ｔが撮影される構成としてもよい。また、複数の樹木Ｔの果実Ｆが一度に撮影できる場合、当該複数の樹木Ｔに対応するマーク部Ｍを１個設ける構成としてもよい。

【0037】

本実施形態の搬送部２００は、リモコンＲにより遠隔地から操作可能である。例えば、利用者がリモコンＲを適宜に操作すると、ワイヤロープ４００に沿って搬送部２００を移動できる。利用者は、マーク部Ｍに搬送部２００が位置する様に、リモコンＲを操作する。例えば、マーク部Ｍ１、マーク部Ｍ２…マーク部Ｍｎの順に搬送部２００が停止する様に、リモコンＲを順次に操作する。ただし、搬送部２００が自動で停止と移動とを繰返す構成としてもよい。例えば、マーク部Ｍを検知するセンサを搬送部２００に設ける構成が考えられる。以上の構成では、マーク部Ｍを検知すると撮影に要する時間だけ搬送部２００が自動で停止し、その後、次のマーク部Ｍへ搬送部２００が自動で移動を開始する。

【0038】

本実施形態の撮影装置３００は、遠隔地から操作可能である。例えば、上述のリモコンＲが適宜に操作されると、撮影装置３００が画像（２次元画像、３次元画像）を撮影し、当該画像を示す画像情報ＤＳが生成される。以上の構成では、搬送部２００をマーク部Ｍに停止させた状態で、撮影装置３００に樹木Ｔを撮影させる指示が遠隔地から可能になる。ただし、撮影装置３００を遠隔操作する手段と、搬送部２００を遠隔操作する手段とを別にしてもよい。

【0039】

以上の本実施形態では、先ず、搬送部２００をマーク部Ｍ１に停止させ、１本目の樹木Ｔ１の画像を撮影する。その後、マーク部Ｍ２、マーク部Ｍ３…マーク部Ｍｎの順に搬送部２００を停止させることで、樹木Ｔ２から樹木Ｔｎの画像を撮影できる。また、樹木Ｔ（１～ｎ）が撮影される度に画像情報ＤＳ（ＤＳａ、ＤＳｂ）が撮影装置３００から収穫量推定装置１００へ送信され、収穫量推定装置１００により収穫量Ｙが算出（推定）される。以上の収穫量Ｙは、樹木Ｔ１から樹木Ｔｎの複数の樹木Ｔから収穫される果実Ｆの収穫量である。

【0040】

以上の通り、本実施形態では、撮影装置３００を搬送することで、１個の撮影装置３００により複数本の樹木Ｔを撮影できる。仮に、予め定められた位置に撮影装置３００が固定される対比例を想定する。以上の対比例では、１本の樹木Ｔを撮影するために１個の撮影装置３００が必要になる。したがって、複数本の樹木Ｔから収穫される果実Ｆの収穫量を推定する場合、複数個の撮影装置３００が必要になる。以上の対比例では、樹木Ｔが多い場合、撮影装置３００にかかる費用が過多になるという不都合がある。本実施形態では、１個の撮影装置３００で複数本の樹木Ｔを撮影できるため、例えば上述の対比例と比較して、撮影装置３００にかかる費用が抑制できるという利点がある。

【0041】

ところで、仮に、遠隔操作により飛行するドローンを搬送部２００として採用する構成（以下「対比例」）を想定する。以上の対比例では、ドローンに撮影装置３００が取付けられ、撮影装置３００が撮影位置まで搬送される。しかし、ドローンの操縦者（特に初心者）によっては、適当な撮影位置に撮影装置３００を搬送できない不都合が生じ得る。以上の不都合は、果実Ｆを収穫する前に繰返し（例えば、１日毎に）収穫量Ｙを算出する場合に顕在化し易いという事情がある。

【0042】

本実施形態では、予め定められた位置に支持される（張り渡される）ワイヤロープ４００により撮影装置３００を撮影位置へ搬送可能である。したがって、撮影装置３００を適当な撮影位置へ繰返し搬送し易く、例えば上述の対比例と比較して、上述の不都合が抑制されるという利点がある。ただし、本発明は、上述の対比例を排除するものではない。

【0043】

図４（ａ）および図４（ｂ）は、樹木Ｔの撮影位置の具体例を説明するための図である。なお、図４（ａ）および図４（ｂ）では、マーク部Ｍに搬送部２００が位置する場合を想定する。また、図４（ａ）および図４（ｂ）では、搬送部２００が位置するマーク部Ｍに対応する樹木Ｔを抜粋して示し、他の樹木Ｔは省略して示す。すなわち、被写体となる樹木Ｔのみが示される。

【0044】

図４（ａ）は、撮影装置３００（搬送部２００）を樹木Ｔ側（Ｙ軸方向側）から見た図である。図４（ａ）に示す通り、搬送部２００がマーク部Ｍに位置する場合、当該マーク部Ｍに対応する樹木ＴのＸ軸上の位置と、撮影装置３００のＸ軸上の位置とが略一致する。すなわち、撮影される樹木ＴのＸ軸上の位置と、撮影装置３００のＸ軸上の位置とが略一致する。ただし、樹木Ｔにおける果実Ｆが撮影されれば足り、撮影される樹木ＴのＸ軸上の位置と撮影装置３００のＸ軸上の位置とが略一致しなくてもよい。

【0045】

図４（ａ）に示す通り、各樹木Ｔの撮影位置は、当該樹木Ｔより上側（Ｚ軸方向側）になる。具体的には、地表からの樹木Ｔの高さ（樹高）を「高さＨｔ」、地表から撮影位置（撮影装置３００）までの高さを「高さＨｃ」とした場合、「高さＨｃ」は「高さＨｔ」より高くなる（Ｈｃ＞Ｈｔ）。本実施形態では、何れの樹木Ｔを撮影する場合であっても、撮影位置は当該樹木Ｔより上側になる。以上の構成では、各樹木Ｔの各果実Ｆは、当該果実Ｆより上側から撮影される。

【0046】

図４（ｂ）は、撮影装置３００をＸ軸方向へ見た図である。図４（ｂ）の具体例は、上述の図４（ａ）の具体例と同様に、撮影装置３００が撮影位置にある場合を想定する。また、図４（ｂ）には、撮影方向Ｓｃが示される。なお、本実施形態の撮影装置３００は搬送部２００に固定され、搬送部２００から見た撮影方向Ｓｃは変化しない。ただし、撮影装置３００を搬送部２００に対して回転可能な構成としてもよい。また、撮影装置３００を搬送部２００に対して遠隔操作により回転可能な構成としてもよい。以上の構成では、遠隔操作により撮影方向Ｓｃを変更できる。

【0047】

上述した通り、撮影装置３００は傾きセンサを具備し、撮影方向Ｓｃの傾きが検知される。具体的には、重力方向（Ｚ軸）に対する撮影方向Ｓｃのピッチ角θｐとロー角θｒとが傾きセンサにより検知される。図４（ｂ）には、ピッチ角θｐおよびロー角θｒのうち、ピッチ角θｐが示される。図４（ｂ）から理解される通り、ピッチ角θｐは、重力方向に対するＸ軸周りの撮影方向Ｓｃの傾きである。

【0048】

図４（ｃ）は、撮影装置３００をＹ軸方向から見た他の図である。図４（ｃ）には、傾きセンサで検知されるピッチ角θｐおよびロー角θｒのうち、ロー角θｒが示される。図４（ｃ）から理解される通り、ロー角θｒは、重力方向に対するＹ軸周りの撮影方向Ｓｃの傾きである。撮影装置３００は、樹木Ｔを撮影した際に、ピッチ角θｐおよびロー角θｒを検知し、検知したピッチ角θｐおよびロー角θｒが特定される傾き情報を生成する。

【0049】

上述した通り、画像情報ＤＳには、３次元画像を示す３次元画像情報ＤＳｂが含まれる。収穫量推定装置１００は、当該画像情報ＤＳに含まれる傾き情報（ピッチ角θｐ、ロー角θｒ）を用いて、当該３次元画像の傾き補正をする。以上の傾き補正によれば、当該３次元画像はＺ軸方向から（真上から）撮影された３次元画像に補正される。

【0050】

具体的には、３次元画像の任意の点の座標を（ｘｓ、ｙｓ、ｚｓ）とした場合、当該点の座標は以下の数１により（ｘｗ、ｙｗ、ｚｗ）に補正される。なお、数１におけるＲｐは、Ｘ軸（ピッチ軸）回りの回転行列を意味する。また、数１におけるＲｒは、Ｙ軸（ロー軸）回りの回転行列を意味する。なお、具体的な回転行列Ｒｐおよび回転行列Ｒｒについては、周知なものが適宜に採用できる。

【0051】

【数1】

【0052】

図５（ａ）から図５（ｃ）は、撮影装置３００（デプスカメラ３０ｂ）により撮影される果実画像Ｇｆの具体例を説明するための図である。上述した通り、撮影装置３００は、樹木Ｔ（果実Ｆを含む）の３次元画像を示す３次元画像情報ＤＳｂを生成する。また、収穫量推定装置１００は、樹木Ｔの当該３次元画像から果実Ｆを示す果実画像Ｇｆを特定する。以下、果実画像Ｇｆの具体例（図５（ｂ）参照）に先行して、当該果実画像Ｇｆが示す果実Ｆ（被写体）の具体例を詳細に説明する。

【0053】

図５（ａ）は、３次元画像が撮影される果実Ｆの具体例（マンゴー）を説明するための図である。なお、以下説明のため、ＸＹ平面に平行に切断した断面積が最大となる果実Ｆの部分を「中央部Ｆｍ」と記載する場合がある。また、図５（ａ）に示す通り、中央部Ｆｍを含む果実Ｆの上側（Ｚ軸方向側）の部分を「上側部分Ｆ１」と記載する場合がある。同様に、中央部Ｆｍより下側の果実Ｆを「下側部分Ｆ２」と記載する場合がある。図５（ａ）から把握される通り、本実施形態の果実Ｆは、上側部分Ｆ１の形状と下側部分Ｆ２の形状とは相違する。

【0054】

詳細には後述の図６（ａ）から図６（ｄ）を用いて説明するが、収穫量推定装置１００は、果実Ｆの重量Ｗを推定する際に、当該果実Ｆの上側部分Ｆ１の体積（以下「部分体積Ｖｐ」）を、果実画像Ｇｆを用いて先ず推定する。また、収穫量推定装置１００は、部分体積Ｖｐと後述の果実別係数ｋ（図７参照）とを用いて、上側部分Ｆ１と下側部分Ｆ２とを合わせた果実Ｆ全体の体積Ｖを求める。上述した通り、果実Ｆの重量Ｗは、体積Ｖに密度Ｅを乗算することで算出される。

【0055】

図５（ａ）には、撮影装置３００の撮影方向Ｓｃが示される。上述した通り、本実施形態では、撮影装置３００が樹木Ｔより上側に位置する。したがって、果実Ｆは、当該果実Ｆから見て上側方向（Ｚ軸方向側）から撮影される。図５（ａ）の具体例では、果実Ｆが撮影装置３００よりＹ軸方向側に位置し、当該果実Ｆが斜め上方向側から撮影された場合を想定する。

【0056】

ところで、撮影装置３００で果実Ｆを撮影した場合、撮影装置３００からみて当該果実Ｆの手前側（撮影装置３００側）が撮影され、当該果実Ｆの奥側が撮影されないのが通常である。図５（ａ）には、果実Ｆのうち撮影される領域と撮影されない領域との境界Ｌが破線で示される。図５（ａ）の具体例では、果実Ｆにおける境界Ｌより撮影装置３００側のみが撮影される。

【0057】

具体的には、果実Ｆは、当該果実Ｆから見て上側から撮影されるため、当該果実Ｆの上端部（図５（ａ）のＦｔ）は略全体が撮影される。一方、例えば果実Ｆの中央部Ｆｍは、境界Ｌから見てＹ軸方向逆側（手前側）が撮影され、Ｙ軸方向側（奥側）は撮影されない。また、果実Ｆの下端部（図５（ａ）のＦｕ）は、撮影装置３００側であっても撮影されない。以上の説明から理解される通り、果実Ｆのうち上側部分Ｆ１は下側部分Ｆ２より広い範囲が撮影され易い。

【0058】

図５（ｂ）は、果実画像Ｇｆの具体例を示す図である。図５（ｂ）の果実画像Ｇｆは、撮影直後の３次元画像に上述の傾き補正が実行されたものを示す。果実画像Ｇｆが表示される３次元空間におけるｚ軸は、実空間における重力方向に平行なＺ軸に対応する。同様に、３次元空間におけるｘ軸は実空間におけるＸ軸に対応し、３次元空間におけるｙ軸は実空間におけるＹ軸に対応する。

【0059】

図５（ｂ）の果実画像Ｇｆは、上述の図５（ａ）の具体例で撮影された果実Ｆを示す。すなわち、図５（ｂ）は、果実Ｆの一部分（図５（ａ）の境界Ｌより奥側）が撮影されない場合の果実画像Ｇｆを想定する。以上の果実画像Ｇｆは、果実Ｆの一部分を表す（果実Ｆの一部分が欠損した）３次元画像になる。なお、図５（ｂ）には、果実Ｆのうち撮影されなかった一部分に対応する領域が破線により示される。

【0060】

上述した通り、果実Ｆの下端部Ｆｕは撮影されない（図５（ａ）参照）。本実施形態では、果実画像Ｇｆが配置される３次元空間のうち、果実Ｆの下端部Ｆｕに対応する領域を「領域Ｒｂ」と記載する場合がある。以上の領域Ｒｂは、果実Ｆを上側から撮影した場合、当該果実Ｆの中央部Ｆｍ（断面積が最大となる部分）を表す果実画像Ｇｆの部分より下側に位置するのが通常である。

【0061】

図５（ｃ）は、果実画像Ｇｆの断面図を説明するための図である。なお、図５（ｃ）は、果実画像Ｇｆの各断面をＺ軸方向から（上側から）見た場合を想定する。

【0062】

図５（ｃ）には、上述の図５（ｂ）におけるＡ－Ａ断面およびＢ－Ｂ断面が示される。図５（ｃ）の各断面のうちＡ－Ａ断面は、果実画像Ｇｆのうち上端部Ｆｔ（図５（ａ）参照）を表す部分の断面である（図５（ｂ）参照）。上述した通り、果実Ｆの上端部Ｆｔは略全体が撮影される。したがって、果実画像ＧｆのＡ－Ａ断面は、図５（ｃ）に示す通り略環状になる。一方、図５（ｃ）の各断面のうちＢ－Ｂ断面は、果実画像Ｇｆのうち中央部Ｆｍ（図５（ａ）参照）を表す部分の断面である（図５（ｂ）参照）。上述した通り、果実Ｆの中央部Ｆｍは、撮影装置３００側が撮影され反対側は撮影されない。したがって、果実画像ＧｆのＢ－Ｂ断面は、図５（ｃ）に示す通り、楕円の一部を切除した形状になる。

【0063】

上述した通り、果実Ｆの重量Ｗを推定する際に、当該果実Ｆにおける上側部分Ｆ１の部分体積Ｖｐが用いられる。仮に、上側部分Ｆ１の全体を示す３次元画像が撮影された場合、当該３次元画像から部分体積Ｖｐを算出できる。ただし、図５（ｂ）を用いて説明した通り、上側部分Ｆ１の一部分が撮影されない場合、果実画像Ｇｆには上側部分Ｆの一部分のみが表される（他の一部分は欠損する）。以上の事情を考慮して、本実施形態では、上側部分Ｆ１の一部分が欠損した果実画像Ｇｆから、当該上側部分Ｆ１の部分体積Ｖｐを推定可能な構成を採用した。

【0064】

図６（ａ）から図６（ｄ）は、部分体積Ｖｐを推定するための構成を説明するための図である。以下で詳細に説明するが、部分体積Ｖｐを推定する際に、果実画像Ｇｆをｘｙ平面で切断した場合の断面の形状が用いられる。

【0065】

図６（ａ）は、果実画像Ｇｆの各断面ｓ（１、２、３…ｎ、ｎ＋１…）を説明するための図である。なお、図６（ａ）には、上述の図５（ｂ）と同様に、撮影されなかった果実Ｆの一部分に対応する領域が破線により示される。また、図６（ａ）には、果実Ｆの下端部Ｆｕに対応する領域Ｒｂが示される（図５（ｂ）参照）。図６（ａ）の具体例では、上述の図５（ｂ）と同様に、下端部Ｆｕが撮影されない場合を想定する。

【0066】

図６（ａ）に示す各断面ｓは、ｚ軸方向の位置をずらしながらｘｙ平面に平行に果実画像Ｇｆを切断したものである。具体的には、隣合う各断面ｓはｚ軸方向に「高さΔｚ」だけ離れている。高さΔｚは、果実画像Ｇｆの大きさに対して十分に小さい。本実施形態では、果実画像Ｇｆの各断面ｓを用いて、果実画像Ｇｆにおいて欠損する果実Ｆの部分の形状を推定する。

【0067】

なお、図６（ａ）に示す通り、果実Ｆの下端部Ｆｕに対応する領域Ｒｂにおいては、断面ｓが存在しない。したがって、下端部Ｆｕの形状は推定困難（実質的に不可能な場合を含む）である。ただし、本実施形態では、比較的高精度に形状が推定できる上側部分Ｆ１（下端部Ｆｕを含まない）を表す果実画像Ｇｆの部分のみを体積Ｖ（部分体積Ｖｐ）の推定に使用する。したがって、下端部Ｆｕの形状を高精度に推定する必要性は低い（詳細には後述する）。

【0068】

図６（ｂ）は、果実画像Ｇｆにおいて欠損する果実Ｆの形状を推定するための構成の具体例を説明するための図である。ｘｙ平面に平行な果実Ｆの断面は、外縁が略楕円形（円形）であるという事情がある。以上の事情を考慮して、本実施形態では、果実画像Ｇｆの断面ｓは楕円形の一部であると仮定して、果実画像Ｇｆにおいて欠損する果実Ｆの部分の形状を推定する。

【0069】

具体的には、断面ｓ（果実画像Ｇｆ）は点群画像である。収穫量推定装置１００は、図６（ｂ）に示す通り、断面ｓの点群に対して二乗誤差で最小化した楕円を求める（楕円近似する）。以下、説明のため、断面ｓから生成された楕円形の画像を「補正断面ｐ」と記載する場合がある。補正断面ｐは、ｘｙ平面に平行になる。以上の補正断面ｐは、果実Ｆの断面の形状を示すと推定される。したがって、各断面ｓ（１、２、３…ｎ…）から生成した各補正断面ｐをｚ軸方向に積重ねることで、果実画像Ｇｆでは欠損した部分が補完された果実Ｆを表す３次元画像（図６（ｄ）のＧｘ参照）が形成できる。

【0070】

ただし、上述した通り果実Ｆは当該果実Ｆから見て上側から撮影される。したがって、当該果実Ｆの下端部Ｆｕ（図５（ａ）参照）に対応する領域Ｒｂ（図６（ａ参照））において果実画像Ｇｆ（断面ｓ）は存在しない場合（例えば、図６（ａ）の具体例）が想定される。以上の場合、果実Ｆの下端部Ｆｕを含む下側部分Ｆ２の形状は高精度に推定できないという事情がある。

【0071】

以上の事情を考慮して、本実施形態では、果実画像Ｇｆのうち上側部分Ｆ１を表す部分の断面ｓを用いて体積Ｖを推定する構成を採用した。具体的には、上側部分Ｆ１を表す部分の断面ｓから当該上側部分Ｆ１の体積である部分体積Ｖｐを算出する構成を採用した。なお、果実Ｆ全体の体積Ｖは、部分体積Ｖｐに果実別係数ｋを乗算することで算出（推定）される（詳細には図７を用いて説明する）。

【0072】

図６（ｃ）は、部分体積Ｖｐを算出するための構成の具体例を説明するための図である。上述した通り、果実画像Ｇｆの各断面ｓから各補正断面ｐが生成される。収穫量推定装置１００は、部分体積Ｖｐを算出する際に、各補正断面ｐの面積Ａを算出する。図６（ｃ）は、補正断面ｐ毎の面積Ａの具体例を示す。図６（ｃ）の具体例は、断面ｓ１から生成される補正断面ｐ１の面積Ａは「Ａ１」の場合を想定する。同様に、補正断面ｐ２の面積Ａは「Ａ２」、補正断面ｐ３の面積Ａは「Ａ３」…の場合を想定する。

【0073】

収穫量推定装置１００は、各補正断面ｐの各面積Ａを算出すると、面積Ａが最大の補正断面ｐを特定する。図６（ｃ）の具体例では、上からｎ番目の補正断面ｐｎの面積Ａ（Ａｎ）が最大の場合を想定する（ｎは自然数）。以上の場合、収穫量推定装置１００により補正断面ｐｎが特定される。以下、説明のため各補正断面ｐのうち面積Ａが最大のものを「中央断面ｐ」と記載する場合がある。例えば、図６（ｃ）の具体例では、上からｎ番目の補正断面ｐｎが中央断面ｐになる。

【0074】

中央断面ｐは、通常、果実Ｆの中央部Ｆｍ（断面積が最大となる部分。上述の図５（ａ）参照）の断面を表す。すなわち、中央断面ｐは、果実Ｆの上側部分Ｆ１を表す３次元画像の下端（底面）であるとも換言される。以上の通り、中央断面ｐおよび中央断面ｐより上側に位置する各補正断面ｐ（以下「上側断面ｐ」と記載する場合がある）を積重ねた３次元画像は上側部分Ｆ１を表す。

【0075】

以上の説明から理解される通り、各上側断面ｐを積重ねた３次元画像の体積は、果実Ｆのうち上側部分Ｆ１の部分体積Ｖｐである。また、上述した通り、各断面ｓのｚ軸方向の間隔である高さΔｚは十分に小さい。以上の場合、部分体積Ｖｐは、以下の数２により算出（近似）される。なお、数２における「ｎ」は、上側断面ｐの個数を意味する。

【0076】

【数2】

【0077】

ところで、樹木Ｔにおける各果実Ｆは、結実方向が略共通であるという事情がある。具体的には、樹木Ｔにおける各果実Ｆは、上側部分Ｆ１が上側を向く（上側部分Ｆ１が下側部分Ｆ２より上側に位置する）のが通常である。したがって、果実画像Ｇｆの中央断面ｐより上側は、上側部分Ｆ１を表す３次元画像であるのが通常である。

【0078】

以上の事情を考慮して、本実施形態では、果実画像Ｇｆの中央断面ｐより上側が上側部分Ｆ１の３次元画像であるものとして、部分体積Ｖｐが算出される。具体的には、上側部分Ｆ１を表す部分を果実画像Ｇｆから識別する特別な処理（例えば、パターンマッチング処理）を省略して、果実画像Ｇｆの中央断面ｐより上側が上側部分Ｆ１の３次元画像であるものとして部分体積Ｖｐが算出される。

【0079】

以上の構成では、例えば、上側部分Ｆ１を表す部分を果実画像Ｇｆから識別する特別な処理が実行される構成と比較して、収穫量推定装置１００の処理負担が軽減されるという効果が奏せられる。ただし、本発明は、上側部分Ｆ１を表す部分を果実画像Ｇｆから識別する特別な処理が実行される構成を排除するものではない。

【0080】

また、本実施形態によれば、全ての果実Ｆを上側から撮影できるため、例えば果実Ｆが真横または下側から撮影される対比例と比較して、果実Ｆのうち上側部分Ｆ１の広範囲が撮影され易い。以上の構成は、果実Ｆの体積Ｖの推定に用いる上側部分Ｆ１の広範囲が撮影され易いとも換言される。したがって、果実Ｆの体積Ｖが高精度に推定し易いという利点がある。ただし、本発明は、果実Ｆが真横または下側から撮影される構成を排除するものではない。

【0081】

図７は、果実別係数ｋの具体例を説明するための図である。上述した通り、収穫量推定装置１００は、果実Ｆの部分体積Ｖｐに果実別係数ｋを乗算することで、当該果実Ｆ全体の体積Ｖを算出する（Ｖ＝Ｖｐ×ｋ）。本実施形態の収穫量推定装置１００は、複数種類の果実別係数ｋを予め記憶する。また、収穫量Ｙを算出する果実Ｆの種類に応じて、果実別係数ｋを変更可能に構成される。例えば、収穫量推定装置１００を利用者が適宜に操作することにより、果実別係数ｋを変更できる。ただし、果実別係数ｋが変更できない構成としてもよい。すなわち、収穫量Ｙを推定できる果実Ｆの種類数を１種類としてもよい。

【0082】

仮に、略球状の果実Ｆ（例えば、キンカン）を想定する。以上の果実Ｆは、上側部分Ｆ１の形状と下側部分Ｆ２の形状とが共通して略半球状である。したがって、上側部分Ｆ１の部分体積Ｖｐを２倍することで、果実Ｆ全体の体積Ｖが算出できる（Ｖ＝２Ｖｐ）。

【0083】

一方、果実Ｆ（例えば、マンゴー）によっては、上側部分Ｆ１の形状と下側部分Ｆ２の形状とが相違する場合がある。ただし、種類が同じ果実Ｆどうしであれば（マンゴーどうしであれば）、各果実Ｆの体積（大きさ）が相違する場合であっても、各果実Ｆの形状は略相似になる。したがって、果実Ｆ全体の体積Ｖのうち上側部分Ｆ１の部分体積Ｖｐが占める割合（＝Ｖｐ／Ｖ）は、種類が同じ果実Ｆどうしであれば各果実Ｆで共通である。なお、本実施形態では、部分体積Ｖｐが体積Ｖに占める割合を、サンプルの果実Ｆを用いて予め求め、当該割合の逆数を果実別係数ｋとして記憶する。なお、果実別係数ｋを求める方法は以上の例に限定されない。

【0084】

収穫量推定装置１００は、果実別係数ｋと密度Ｅとの組合せを果実Ｆ毎に記憶する。収穫量Ｙを推定する果実Ｆの種類が指定されると、収穫量推定装置１００は、当該果実Ｆの果実別係数ｋと密度Ｅとを設定する。また、収穫量推定装置１００は、設定した果実別係数ｋと密度Ｅとを果実Ｆの体積Ｖに乗算して、当該果実Ｆの重量Ｗを算出する。また、撮影された全ての果実Ｆの重量Ｗが算出され、全ての果実Ｆの重量Ｗの合計が収穫量Ｙとして記憶される。上述した通り、各果実の各重量Ｗは、３次元画像情報ＤＳｂを用いて算出される。以上の本実施形態によれば、例えば、３次元画像情報ＤＳｂを用いずに収穫量Ｙが算出される構成と比較して、収穫量Ｙが高精度に算出される。

【0085】

図８は、収穫量推定処理のフローチャートである。収穫量推定装置１００は、適宜な契機で収穫量推定処理を実行する。例えば、撮影装置３００が全ての樹木Ｔを撮影した後に、収穫量推定装置１００が適宜に操作された契機で、収穫量推定処理が実行される。図８に示す通り、収穫量推定処理を開始すると、収穫量推定装置１００は、対象画像を設定する（Ｓ１０１）。具体的には、本実施形態では、上述した通り、複数個の画像情報ＤＳが生成される。上述のステップＳ１０１では、複数個の画像情報ＤＳのうちの何れかを対象画像として設定する。

【0086】

対象画像を設定した後に、収穫量推定装置１００は、果実特定処理（Ｓ１０２）を実行する。果実特定処理では、ＡＩ技術を用いて、対象画像として設定された画像情報ＤＳの２次元画像情報ＤＳａが示す各オブジェクトから果実Ｆが特定される。また、当該特定結果を用いて、画像情報ＤＳの３次元画像情報ＤＳｂが示す各オブジェクトから果実Ｆが特定される。なお、３次元画像情報ＤＳｂが示す各オブジェクトに複数個の果実Ｆが含まれる場合、全ての果実Ｆが特定される。

【0087】

果実特定処理を実行した後に、収穫量推定装置１００は、対象果実を決定する（Ｓ１０３）。具体的には、収穫量推定装置１００は、直前の果実特定処理で特定した各果実Ｆのうちの何れか１個を対象果実として設定する。対象果実を設定した後に、収穫量推定装置１００は、体積推定処理（Ｓ１０４）を実行する。体積推定処理では、直前のステップＳ１０３で設定された対象果実の体積Ｖが推定される。具体的には、上述の図６（ａ）から図６（ｄ）で説明した通り、対象果実の部分体積Ｖｐが算出される。また、図７で説明した通り、部分体積Ｖｐに果実別係数ｋを乗算して対象果実の体積Ｖが算出される。

【0088】

体積推定処理を実行した後に、収穫量推定装置１００は、重量推定処理（Ｓ１０５）を実行する。重量推定処理では、直前の体積推定処理で推定された対象果実の体積Ｖに密度Ｅが乗算され、当該対象果実の重量Ｗが算出される（Ｗ＝Ｖ×Ｅ）。収穫量推定装置１００は、算出した重量Ｗを記憶する。

【0089】

重量推定処理を実行した後に、直前の果実特定処理で特定された全ての果実Ｆが対象果実として設定されたか否かが判定される（Ｓ１０６）。仮に、画像情報ＤＳに示される各果実Ｆに対象果実に設定されたことがものが含まれる場合（Ｓ１０６：Ｎｏ）、上述のステップＳ１０３で対象果実を変更しながらステップＳ１０３からステップＳ１０６が繰返し実行される。ステップＳ１０３では、対象果実に設定されたことがない果実Ｆが対象果実に設定される。

【0090】

画像情報ＤＳに示される全ての果実Ｆが対象果実に設定済みの場合（Ｓ１０６：Ｙｅｓ）、収穫量推定装置１００は、全ての画像情報ＤＳが対象画像として設定されたか否かを判定する（Ｓ１０７）。仮に、撮影装置３００から取得された画像情報ＤＳに対象画像に設定されたことがないものが含まれる場合（Ｓ１０７：Ｎｏ）、上述のステップＳ１０１で対象画像を変更しながらステップＳ１０１からステップＳ１０７が繰返し実行される。ステップＳ１０１では、対象画像に設定されたことがない画像情報ＤＳが対象画像に設定される。

【0091】

全ての画像情報ＤＳが対象画像に設定済みの場合（Ｓ１０６：Ｙｅｓ）、収穫量推定装置１００は、収穫量算出処理（Ｓ１０８）を実行する。収穫量算出処理では、ステップＳ１０５で算出された全ての果実Ｆの重量Ｗの合計が算出され、算出結果が収穫量Ｙとして記憶される。なお、収穫量算出処理が実行された際に収穫量Ｙが自動で表示される構成としてもよい。収穫量算出処理を実行した後に、収穫量推定装置１００は、収穫量推定処理を終了する。

【0092】

＜変形例＞
以上の各形態は多様に変形される。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

【0093】

（１）各形態において、撮影装置３００を複数個設けてもよい。例えば、果樹園に樹木Ｔが複数列設けられる場合、樹木Ｔの列毎に撮影装置３００を設けてもよい。具体的には、樹木Ｔの列毎に、当該列に沿う様にワイヤロープ４００を設ける。また、ワイヤロープ４００毎に１個の撮影装置３００を設ける。以上の変形例では、各撮影装置３００から収穫量推定装置１００へ画像情報ＤＳが送信され果実Ｆの収穫量Ｙが推定される。

【0094】

（２）各形態において、収穫量Ｙを算出する果実Ｆの種類が自動で決定される構成としてもよい。具体的には、画像情報ＤＳ（２次元画像情報ＤＳａ）が示す画像に表示される果実Ｆの種類を、例えばＡＩ技術により識別する。収穫量推定装置１００は、画像情報ＤＳの画像に表示される果実Ｆが識別されると、当該果実Ｆの収穫量Ｙを算出可能にする。例えば、当該果実Ｆの果実別係数ｋおよび密度Ｅを自動で設定する。

【0095】

（３）各形態において、画像情報ＤＳから収穫量Ｙに加え他の情報を算出（推定）する構成としてもよい。例えば、上述した通り、画像情報ＤＳで表される各物体から果実Ｆが特定される。以上の構成において、果実Ｆとして特定した物体の個数を、樹木Ｔにおける果実Ｆの個数として算出してもよい。また、上述の形態では、果実Ｆ毎に重量Ｗが算出される。以上の構成において、果実Ｆ毎の重量Ｗが収穫量Ｙとは別に記憶される構成としてもよい。また、以上の各情報に、撮影位置（マーク部Ｍ）を示す情報を付加する構成としてもよい。例えば、画像情報ＤＳから特定された果実Ｆの個数と当該果実Ｆの重量Ｗと撮影位置（マーク部Ｍの種類）と撮影された日時との組合せが記憶される構成としてもよい。以上の各情報を別々に表示可能な構成としてもよい。

【0096】

（４）果実Ｆの種類によっては、果実Ｆがなる前に樹木Ｔから摘花される場合がある。以上の場合、樹木Ｔ毎に摘花の方法（摘花した個数など）を収穫量推定装置１００に入力可能とし手もよい。また、樹木Ｔ毎の収穫量Ｙと当該樹木Ｔにおける摘花の方法との組合せを表示可能な構成としてもよい。また、全ての樹木Ｔの果実Ｆの収穫量Ｙと各樹木Ｔにおける摘花の方法との組合せを表示可能な構成としてもよい。以上の構成によれば、最適な摘花の方法（例えば、収穫量Ｙが最大になる摘花の方法）の研究が可能になるという利点がある。

【0097】

＜本実施形態の態様例の作用、効果のまとめ＞
＜第１態様＞
本態様の収穫量推定システム（１）は、果実（Ｆ）がなる草木（Ｔ）を撮影する撮影装置（３００）と、撮影装置から画像情報（ＤＳ）を取得する収穫量推定装置（１００）とを具備する収穫量推定システムであって、画像情報は、３次元画像情報（ＤＳｂ）を含み、収穫量推定装置は、画像情報で表される各物体から果実を特定する果実特定部（１０２）と、３次元画像情報を用いて、果実の体積を推定する体積推定部（１０３）と、果実の体積から当該果実の重量を推定する重量推定部（１０４）と、複数個の果実の重量を合計した数値（収穫量Ｙ）を算出する収穫量算出部（１０５）と、を備える。本態様では、例えば３次元画像情報を用いることなく収穫量Ｙを推定する構成と比較して、収穫量Ｙが高精度に算出できるという効果が奏せられる。

【0098】

＜第２態様および第３態様＞
本態様の収穫量推定システム（１）は、予め定められた位置に支持され、撮影装置が搬送される軌道部（ワイヤロープ４００）と、草木が撮影可能な撮影位置へ、軌道部により撮影装置を搬送する搬送部（２００）と、を具備し、撮影位置は、草木より上側である（図４（ａ）参照）。

【0099】

ところで、草木における各果実は、結実方向が略共通であり、上側部分Ｆ１が上側に位置するのが通常であるという事情がある。本態様によれば、全ての果実を上側から撮影できるため、例えば果実Ｆが真横側または下側から撮影される対比例と比較して、果実Ｆのうち上側部分Ｆ１の広範囲が撮影され易い。

【0100】

＜第３態様＞
本態様の収穫量推定システム（１）は、体積推定部は、３次元画像情報が示す果実の上側部分（上側部分Ｆ１）の形状から、当該上側部分の体積である部分体積（Ｖｐ）を推定し、果実の種類に応じた果実別係数（ｋ）と部分体積とを用いて、当該果実全体の体積を推定する。本態様によれば、果実Ｆの上側部分Ｆ１（果実Ｆの体積の推定に用いる部分）の広範囲が撮影され易い構成（例えば、上述の第２態様）を採用することで、果実Ｆの体積Ｖが高精度に推定できるという利点がある。

【0101】

＜第４態様＞
本態様の収穫量推定装置（１００）は、果実（Ｆ）がなる草木（Ｔ）を撮影する撮影装置（３００）から画像情報（ＤＳ）を取得する収穫量推定装置であって、画像情報は、３次元画像情報（ＤＳｂ）を含み、画像情報が表す各物体から果実を特定する果実特定部（１０２）と、３次元画像情報を用いて、果実の体積を推定する体積推定部（１０３）と、果実の体積から当該果実の重量を推定する重量推定部（１０４）と、複数個の果実の重量を合計した数値（収穫量Ｙ）を算出する収穫量算出部（１０５）と、を備える。本態様によれば、上述の第１態様と同様な効果が奏せられる。

【0102】

＜第５態様＞
本態様の収穫量の推定方法は、果実（Ｆ）がなる草木（Ｔ）を撮影する撮影装置（３００）と、撮影装置から画像情報（ＤＳ）を取得する収穫量推定装置（１００）とを用いた果実の収穫量の推定方法であって、画像情報（ＤＳ）で表される各物体から果実を収穫量推定装置が特定（図８のＳ１０２）し、画像情報に含まれる３次元画像情報（ＤＳｂ）を用いて、果実の体積を収穫量推定装置が推定し（図８のＳ１０４）、果実の体積から当該果実の重量を収穫量推定装置が推定し（図８のＳ１０５）、複数個の果実の重量を合計した数値を収穫量推定装置が算出する（図８のＳ１０８）。本態様によれば、上述の第１態様と同様な効果が奏せられる。

【符号の説明】

【0103】

１００…収穫量推定装置、１０１…画像情報取得部、１０２…果実特定部、１０３…体積推定部、１０４…重量推定部、１０５…収穫量算出部、２００…搬送部、３００…撮影装置、４００…軌道部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】