知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025104104
(43)【公開日】2025-07-09
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 7/50 20170101AFI20250702BHJP
G06V 20/68 20220101ALI20250702BHJP
A01G 7/00 20060101ALI20250702BHJP
A01G 17/00 20060101ALI20250702BHJP
【ＦＩ】
G06T7/50
G06V20/68
A01G7/00 603
A01G17/00
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023221961
(22)【出願日】2023-12-27
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】▲高▼尾 梓
(72)【発明者】
【氏名】王 瑩
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA02
5L096EA31
5L096FA06
5L096FA09
5L096FA59
5L096FA62
5L096FA64
5L096FA66
5L096FA69
(57)【要約】
【課題】実のサイズを高精度に計測する。
【解決手段】情報処理装置は、植物の実を撮影する撮影部により撮影された実の２次元画像と、実と撮影部との間の距離を示す距離情報と、を取得する取得部と、２次元画像内の実の外形線を抽出する抽出部と、実の外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、距離情報及び２つの楕円に基づいて、２つの球の大きさ及び位置を算出する算出部と、２つの球の大きさ及び位置に基づいて、２つの球のそれぞれの表面の少なくとも一部に沿うように、実の３次元形状を推定する推定部と、を備える。
【選択図】図３
【解決手段】情報処理装置は、植物の実を撮影する撮影部により撮影された実の２次元画像と、実と撮影部との間の距離を示す距離情報と、を取得する取得部と、２次元画像内の実の外形線を抽出する抽出部と、実の外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、距離情報及び２つの楕円に基づいて、２つの球の大きさ及び位置を算出する算出部と、２つの球の大きさ及び位置に基づいて、２つの球のそれぞれの表面の少なくとも一部に沿うように、実の３次元形状を推定する推定部と、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
植物の実を撮影する撮影部により撮影された前記実の２次元画像と、前記実と前記撮影部との間の距離を示す距離情報と、を取得する取得部と、
前記２次元画像内の前記実の外形線を抽出する抽出部と、
前記実の前記外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、前記距離情報及び２つの前記楕円に基づいて、２つの球の大きさ及び位置を算出する算出部と、
２つの前記球の大きさ及び位置に基づいて、２つの前記球のそれぞれの表面の少なくとも一部に沿うように、前記実の３次元形状を推定する推定部と、
を備える情報処理装置。
前記２次元画像内の前記実の外形線を抽出する抽出部と、
前記実の前記外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、前記距離情報及び２つの前記楕円に基づいて、２つの球の大きさ及び位置を算出する算出部と、
２つの前記球の大きさ及び位置に基づいて、２つの前記球のそれぞれの表面の少なくとも一部に沿うように、前記実の３次元形状を推定する推定部と、
を備える情報処理装置。
【請求項2】
前記抽出部は、前記実の前記２次元画像から特徴部位を抽出し、
前記算出部は、前記実の前記外形線における互いに異なる部分の一方が、前記実の前記外形線における互いに異なる部分の他方よりも前記特徴部位に近くなるように、２つの前記楕円をフィッティングする、
請求項１に記載の情報処理装置。
前記算出部は、前記実の前記外形線における互いに異なる部分の一方が、前記実の前記外形線における互いに異なる部分の他方よりも前記特徴部位に近くなるように、２つの前記楕円をフィッティングする、
請求項１に記載の情報処理装置。
【請求項3】
前記特徴部位は、前記２次元画像内の前記実における前記植物の本体に繋がる部位とは反対側にある部位であって、前記２次元画像内の前記植物における他の部位とは視覚的に異なる部位である、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記特徴部位は、果頂、果底、萼又は花痕である、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項5】
前記抽出部は、前記実の前記２次元画像から特徴部位を抽出し、
前記算出部は、
２つの前記球の一方を第１の球とし、２つの前記球の他方を第２の球とし、
前記距離情報に基づいて、前記実の前記外形線における互いに異なる部分の一方が前記実の前記外形線における互いに異なる部分の他方よりも前記特徴部位に近くなるようにフィッティングした楕円を撮像面上の像とする前記第１の球の大きさ及び位置を算出し、
２つの前記楕円のうちの他方の楕円を前記撮像面上の像とし、かつ、前記第１の球と同じ大きさである、前記第２の球の位置を算出する、
請求項１に記載の情報処理装置。
前記算出部は、
２つの前記球の一方を第１の球とし、２つの前記球の他方を第２の球とし、
前記距離情報に基づいて、前記実の前記外形線における互いに異なる部分の一方が前記実の前記外形線における互いに異なる部分の他方よりも前記特徴部位に近くなるようにフィッティングした楕円を撮像面上の像とする前記第１の球の大きさ及び位置を算出し、
２つの前記楕円のうちの他方の楕円を前記撮像面上の像とし、かつ、前記第１の球と同じ大きさである、前記第２の球の位置を算出する、
請求項１に記載の情報処理装置。
【請求項6】
前記算出部は、
２つの前記楕円の一方に外接する第１の円錐を計算し、
前記第１の円錐に内接する前記第１の球を計算し、
２つの前記楕円の他方に外接する第２の円錐を計算し、
前記第２の円錐に内接する前記第２の球を計算する、
請求項５に記載の情報処理装置。
２つの前記楕円の一方に外接する第１の円錐を計算し、
前記第１の円錐に内接する前記第１の球を計算し、
２つの前記楕円の他方に外接する第２の円錐を計算し、
前記第２の円錐に内接する前記第２の球を計算する、
請求項５に記載の情報処理装置。
【請求項7】
前記第１の球の中心と前記第２の球の中心との間の距離に前記第１の球の半径及び前記第２の球の半径を加えた距離と、前記第１の球の直径又は前記第２の球の直径と、に基づいて、前記実の体積を計算する計算部を備える、
請求項６に記載の情報処理装置。
請求項６に記載の情報処理装置。
【請求項8】
前記２次元画像内の前記実の一部分が隠れている場合、前記実の隠れた部分の外形線を前記２次元画像に追加する追加部を備える、
請求項１から７の何れか一項に記載の情報処理装置。
請求項１から７の何れか一項に記載の情報処理装置。
【請求項9】
コンピュータが実行する情報処理方法であって、
植物の実を撮影する撮影部により撮影された前記実の２次元画像と、前記実と前記撮影部との間の距離を示す距離情報と、を取得する取得ステップと、
前記２次元画像内の前記実の外形線を抽出する抽出ステップと、
前記実の前記外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、前記距離情報及び２つの前記楕円に基づいて、２つの球の大きさ及び位置を算出する算出ステップと、
２つの前記球の大きさ及び位置に基づいて、２つの前記球のそれぞれの表面の少なくとも一部に沿うように、前記実の３次元形状を推定する推定ステップと、
を有する情報処理方法。
植物の実を撮影する撮影部により撮影された前記実の２次元画像と、前記実と前記撮影部との間の距離を示す距離情報と、を取得する取得ステップと、
前記２次元画像内の前記実の外形線を抽出する抽出ステップと、
前記実の前記外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、前記距離情報及び２つの前記楕円に基づいて、２つの球の大きさ及び位置を算出する算出ステップと、
２つの前記球の大きさ及び位置に基づいて、２つの前記球のそれぞれの表面の少なくとも一部に沿うように、前記実の３次元形状を推定する推定ステップと、
を有する情報処理方法。
【請求項10】
コンピュータに、
植物の実を撮影する撮影部により撮影された前記実の２次元画像と、前記実と前記撮影部との間の距離を示す距離情報と、を取得する取得ステップと、
前記２次元画像内の前記実の外形線を抽出する抽出ステップと、
前記実の前記外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、前記距離情報及び２つの前記楕円に基づいて、２つの球の大きさ及び位置を算出する算出ステップと、
２つの前記球の大きさ及び位置に基づいて、２つの前記球のそれぞれの表面の少なくとも一部に沿うように、前記実の３次元形状を推定する推定ステップと、
を実行させるためのプログラム。
植物の実を撮影する撮影部により撮影された前記実の２次元画像と、前記実と前記撮影部との間の距離を示す距離情報と、を取得する取得ステップと、
前記２次元画像内の前記実の外形線を抽出する抽出ステップと、
前記実の前記外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、前記距離情報及び２つの前記楕円に基づいて、２つの球の大きさ及び位置を算出する算出ステップと、
２つの前記球の大きさ及び位置に基づいて、２つの前記球のそれぞれの表面の少なくとも一部に沿うように、前記実の３次元形状を推定する推定ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、植物を含む入力画像を用いて、植物の実の位置、個数及び有無の少なくとも一項目を含む実情報を推定する推定システムが記載されている。特許文献２には、株の着果状態を把握する方法が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－９４３３１号公報
【特許文献2】特開２０２２－１４４２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、農業現場、特に大規模農場では、実のサイズの計測の高精度化が求められている。３次元撮影を行うことで、実のサイズを高精度で計測を行うことが可能であるが、実のサイズの計測に要する時間が長くなる。そのため、実の２次元画像に基づいて、実のサイズを高精度に計測することが求められている。
【0005】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、実のサイズを高精度に計測することが可能な技術を提供することである。
【課題を解決するための手段】
【0006】
本発明の一観点に係る情報処理装置は、植物の実を撮影する撮影部により撮影された前記実の２次元画像と、前記実と前記撮影部との間の距離を示す距離情報と、を取得する取得部と、前記２次元画像内の前記実の外形線を抽出する抽出部と、前記実の前記外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、前記距離情報及び２つの前記楕円に基づいて、２つの球の大きさ及び位置を算出する算出部と、２つの前記球の大きさ及び位置に基づいて、２つの前記球のそれぞれの表面の少なくとも一部に沿うように、前記実の３次元形状を推定する推定部と、を備える情報処理装置である。上記情報処理装置によれば、実のサイズを高精度に計測することが可能となる。
【0007】
上記情報処理装置において、前記抽出部は、前記実の前記２次元画像から特徴部位を抽出し、前記算出部は、前記実の前記外形線における互いに異なる部分の一方が、前記実の前記外形線における互いに異なる部分の他方よりも前記特徴部位に近くなるように、２つの前記楕円をフィッティングする。上記情報処理装置において、前記特徴部位は、前記２次元画像内の前記実における前記植物の本体に繋がる部位とは反対側にある部位であって、前記２次元画像内の前記植物における他の部位とは視覚的に異なる部位である。上記情報処理装置において、前記特徴部位は、果頂、果底、萼又は花痕である。上記情報処理装置において、前記抽出部は、前記実の前記２次元画像から特徴部位を抽出し、前記算出部は、２つの前記球の一方を第１の球とし、２つの前記球の他方を第２の球とし、前記距離情報に基づいて、前記実の前記外形線における互いに異なる部分の一方が前記実の前記外形線における互いに異なる部分の他方よりも前記特徴部位に近くなるようにフィッティングした楕円を撮像面上の像とする前記第１の球の大きさ及び位置を算出し、２つの前記楕円のうちの他方の楕円を前記撮像面上の像とし、かつ、前記第１の球と同じ大きさである、前記第２の球の位置を算出する。上記情報処理装置において、前記算出部は、２つの前
記楕円の一方に外接する第１の円錐を計算し、前記第１の円錐に内接する前記第１の球を計算し、２つの前記楕円の他方に外接する第２の円錐を計算し、前記第２の円錐に内接する前記第２の球を計算する。上記情報処理装置は、前記第１の球の中心と前記第２の球の中心との間の距離に前記第１の球の半径及び前記第２の球の半径を加えた距離と、前記第１の球の直径又は前記第２の球の直径と、に基づいて、前記実の体積を計算する計算部を備える。上記情報処理装置は、前記２次元画像内の前記実の一部分が隠れている場合、前記実の隠れた部分の外形線を前記２次元画像に追加する追加部を備える。
記楕円の一方に外接する第１の円錐を計算し、前記第１の円錐に内接する前記第１の球を計算し、２つの前記楕円の他方に外接する第２の円錐を計算し、前記第２の円錐に内接する前記第２の球を計算する。上記情報処理装置は、前記第１の球の中心と前記第２の球の中心との間の距離に前記第１の球の半径及び前記第２の球の半径を加えた距離と、前記第１の球の直径又は前記第２の球の直径と、に基づいて、前記実の体積を計算する計算部を備える。上記情報処理装置は、前記２次元画像内の前記実の一部分が隠れている場合、前記実の隠れた部分の外形線を前記２次元画像に追加する追加部を備える。
【0008】
なお、本発明は、上記処理の少なくとも一部を含む情報処理方法や、上記処理の少なくとも一部をコンピュータに実行させるためのプログラム、または、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【0009】
本発明によれば、実のサイズを高精度に計測することが可能な技術を提供することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、適用例及び実施形態について図を参照しながら説明する。以下に示す適用例及び
実施形態は、本願の一態様であり、本願の権利範囲を限定するものではない。
実施形態は、本願の一態様であり、本願の権利範囲を限定するものではない。
【0012】
＜適用例＞
図１は、本発明が適用される処理システムの全体構成を示す図である。実施形態に係る処理システムは、自律走行ロボット１と、外部機器２と、外部機器３とを備える。自律走行ロボット１は、自走式の無人走行車としての機能を有する装置（自走式走行装置）又は自走式の無人搬送車としての機能を有する装置（自走式搬送装置）である。外部機器２は、例えば、パーソナルコンピュータやサーバコンピュータ等の情報処理装置により構成される。外部機器２は、クラウド上に配置されてもよい。外部機器２は、複数の情報処理装置により構成されてもよい。例えば、外部機器２は、ネットワーク上の互いに異なる場所の複数の情報処理装置が協動することで実現されてもよい。外部機器３は、例えば、タブレット端末やスマートフォン等の情報処理端末により構成される。
図１は、本発明が適用される処理システムの全体構成を示す図である。実施形態に係る処理システムは、自律走行ロボット１と、外部機器２と、外部機器３とを備える。自律走行ロボット１は、自走式の無人走行車としての機能を有する装置（自走式走行装置）又は自走式の無人搬送車としての機能を有する装置（自走式搬送装置）である。外部機器２は、例えば、パーソナルコンピュータやサーバコンピュータ等の情報処理装置により構成される。外部機器２は、クラウド上に配置されてもよい。外部機器２は、複数の情報処理装置により構成されてもよい。例えば、外部機器２は、ネットワーク上の互いに異なる場所の複数の情報処理装置が協動することで実現されてもよい。外部機器３は、例えば、タブレット端末やスマートフォン等の情報処理端末により構成される。
【0013】
自律走行ロボット１は、カメラ（撮影装置）４と、照明装置５とを有する。自律走行ロボット１は、農場等を巡回し、カメラ４により農場等の植物６の実を撮影する。植物６は、キウイであるが、カメラ４によって撮影される対象物は、他の植物、例えば、柿、桃、トマト、梨、リンゴ、メロン、ながうり、まくわうり等であってもよい。カメラ４によって撮影された画像（撮影画像）は、植物６の実の下又は斜めから撮影された２次元画像（２次元広域画像）である。カメラ４によって撮影された２次元画像は、自律走行ロボット１から外部機器２に送られる。照明装置５は、カメラ４の近傍に設置されている。例えば、夜間撮影では、植物６に必ず照明を下又は斜めから当てながら撮影する。日中撮影では、基本的には植物６に照明を当てずに撮影を行うが、逆光となるため、植物６の葉が茂る時期は植物６に照明を当てる場合もある。
【0014】
自律走行ロボット１と外部機器２との間でデータや情報の送受信が行われる。外部機器２と外部機器３との間でデータや情報の送受信が行われる。外部機器２は、自律走行ロボット１から２次元画像を取得し、２次元画像内の実のサイズを計測し、収量を予測し実のサイズや収量等を外部機器３に送る。外部機器３は、ディスプレイ等の表示部を有している。外部機器３は、表示部に実のサイズや収量等を表示する。自律走行ロボット１と外部機器２とを一体化してもよい。例えば、自律走行ロボット１が、外部機器２の機能を備えてもよい。また、撮像部としての手持ちカメラや固定カメラによって植物６の実を撮影し、手持ちカメラや固定カメラによって撮影された２次元画像が、外部機器２に送られてもよい。
【0015】
＜実施形態＞
図２は、外部機器２の構成を示すブロック図である。外部機器２は、制御部１０、記憶部２０及び通信部３０を有する。制御部１０は、外部機器２の各動作を制御する。制御部１０は、ＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）、ＲＯ
Ｍ（Read Only Memory）等を含み、制御部１０の各部の制御や、各種の処理等を行う。記憶部２０は、制御部１０で実行されるプログラムや、制御部１０において実行される処理で使用される各種データ等を記憶する。例えば、記憶部２０は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の補助記憶装置であってもよい。記憶部２０は、着脱可能な記憶媒体によって実現されてもよい。通信部３０は、自律走行ロボット１や外部機器３との間の通信を実行する通信インターフェースである。通信部３０は、有線通信モジュール及び無線通信モジュールの少なくとも一方を含む。
図２は、外部機器２の構成を示すブロック図である。外部機器２は、制御部１０、記憶部２０及び通信部３０を有する。制御部１０は、外部機器２の各動作を制御する。制御部１０は、ＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）、ＲＯ
Ｍ（Read Only Memory）等を含み、制御部１０の各部の制御や、各種の処理等を行う。記憶部２０は、制御部１０で実行されるプログラムや、制御部１０において実行される処理で使用される各種データ等を記憶する。例えば、記憶部２０は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の補助記憶装置であってもよい。記憶部２０は、着脱可能な記憶媒体によって実現されてもよい。通信部３０は、自律走行ロボット１や外部機器３との間の通信を実行する通信インターフェースである。通信部３０は、有線通信モジュール及び無線通信モジュールの少なくとも一方を含む。
【0016】
制御部１０は、取得部１１０、検出部１２０、判定部１３０、追加部１４０、抽出部１５０、算出部１６０、推定部１７０、計算部１８０及び出力部１９０を備えるように構成されている。取得部１１０は、撮影部としてのカメラ４により撮影された植物の実の２次元画像と、実とカメラ４との間の距離を示す距離情報とを取得する。検出部１２０は、２
次元画像内の実を検出する。判定部１３０は、２次元画像内の実が隠れているか否かを判定する。追加部１４０は、実の隠れた部分の外形線を２次元画像に追加する。抽出部１５０は、２次元画像内の実の外形線を抽出する。算出部１６０は、実の外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、距離情報及び２つの楕円に基づいて、２つの球の大きさ及び位置を算出する。推定部１７０は、２つの球の大きさ及び位置に基づいて、２つの球のそれぞれの表面の少なくとも一部に沿うように、実の３次元形状を推定する。計算部１８０は、実の３次元形状に基づいて、実のサイズ（直径、長さ、体積等）を計算する。出力部１９０は、計算部１８０によって計算された値、各種の情報及びデータを出力する。図２に示す制御部１０の構成要素の全てが必須というわけではなく、適宜、制御部１０の構成要素の追加又は削除がなされてもよい。また、制御部１０の少なくとも一部の機能が、クラウド上のコンピュータによって実現されてもよい。
次元画像内の実を検出する。判定部１３０は、２次元画像内の実が隠れているか否かを判定する。追加部１４０は、実の隠れた部分の外形線を２次元画像に追加する。抽出部１５０は、２次元画像内の実の外形線を抽出する。算出部１６０は、実の外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、距離情報及び２つの楕円に基づいて、２つの球の大きさ及び位置を算出する。推定部１７０は、２つの球の大きさ及び位置に基づいて、２つの球のそれぞれの表面の少なくとも一部に沿うように、実の３次元形状を推定する。計算部１８０は、実の３次元形状に基づいて、実のサイズ（直径、長さ、体積等）を計算する。出力部１９０は、計算部１８０によって計算された値、各種の情報及びデータを出力する。図２に示す制御部１０の構成要素の全てが必須というわけではなく、適宜、制御部１０の構成要素の追加又は削除がなされてもよい。また、制御部１０の少なくとも一部の機能が、クラウド上のコンピュータによって実現されてもよい。
【0017】
図３を用いて、外部機器２の動作の全体の流れについて説明する。図３は、外部機器２の動作の全体の流れを説明するためのフローチャートである。ステップＳ１において、制御部１０は、自律走行ロボット１から２次元画像（実の撮影画像）を取得する。ステップＳ２において、制御部１０は、深層学習を用いて、２次元画像から実を検出し、実の見えている部分を囲んだ外接四角形（外接長方形）が付加された２次元画像を出力する。
【0018】
ステップＳ３において、制御部１０は、外接四角形が付加された２次元画像内の実のそれぞれについて、実の全体部分が見えているか否かを判定する。実の全体部分が見えている場合（ステップＳ３；ＹＥＳ）、処理がステップＳ４に進む。実の全体部分が見えておらず、実の一部分が隠れている場合（ステップＳ３；ＮＯ）、処理がステップＳ５に進む。
【0019】
ステップＳ４において、制御部１０は、２次元画像内の実（全体部分）の切り出し画像（２次元画像）を出力する。実（全体部分）とは、全体部分が見えている実のことである。ステップＳ５において、制御部１０は、２次元画像内の実（一部分）の切り出し画像を出力する。実（一部分）とは、一部分が隠れている実のことである。ステップＳ６において、制御部１０は、実（一部分）の切り出し画像内の実の外形線を推定する。ステップＳ７において、制御部１０は、実（一部分）の切り出し画像内の実の外形線を追加し、実の外形線が追加された切り出し画像を出力する。ステップＳ８において、制御部１０は、実（全体部分）の切り出し画像及び実の外形線が追加された切り出し画像から実の３次元形状を推定する。ステップＳ９において、制御部１０は、実の３次元形状に基づいて実の体積を計算し、実の体積を出力する。
【0020】
ステップＳ２の処理の詳細について説明する。制御部１０は、深層学習の学習済モデルを用いて、２次元画像から実を検出する。深層学習の学習済モデルは、記憶部２０に記憶されてもよい。深層学習の学習済モデルを作成するために、自律走行ロボット１のカメラ４によって撮影された実の２次元画像に対して、使用者等のユーザーが、２次元画像内の実の外形に接するように四角の枠を作成する。手持ちカメラや固定カメラによって撮影された２次元画像に対して、ユーザーが、２次元画像内の実の外形に接するように四角の枠を作成してもよい。
【0021】
図４は、２次元画像内の実の外形に接するように四角の枠（外接四角形）を作成する場合の一例を示す図である。四角の枠の精度と、深層学習の仕方とが、実の検出精度に影響を与えるため、四角の枠を正確に作成し、深層学習を多く行うことが好ましい。外接四角形が作成された２次元画像は、記憶部２０におけるデータベースに格納され、学習データとして使用される。学習データを用いて、深層学習の学習済モデルが作成される。制御部１０は、２次元画像から検出された実について、見えている部分の実を囲んだ外接四角形
を２次元画像に付加し、外接四角形が付加された２次元画像を出力する。図５は、実を囲んだ外接四角形が付加された２次元画像の一例を示す図である。例えば、実の半分以上見えている場合、外接四角形によって実が囲まれてもよい。
を２次元画像に付加し、外接四角形が付加された２次元画像を出力する。図５は、実を囲んだ外接四角形が付加された２次元画像の一例を示す図である。例えば、実の半分以上見えている場合、外接四角形によって実が囲まれてもよい。
【0022】
ステップＳ３～Ｓ５の処理の詳細について説明する。図６は、ステップＳ３～Ｓ５の処理の一例（第１の例）を示すフローチャートである。ステップＳ１１において、制御部１０は、２次元画像内における外接四角形同士の重なりをサーチする。２次元画像内における外接四角形同士の重なりをサーチする目的は、２次元画像内における実同士の重なり度合いを判定するためである。２次元画像内における実同士が重なっていない場合、２次元画像内における外接四角形同士も重なっていない。一方、２次元画像内における実同士が重なっている場合、２次元画像内における外接四角形同士も重なっている。
【0023】
ステップＳ１２において、制御部１０は、ＩｏＵ（Intersection over Union）を算出
する。ＩｏＵは、２次元画像内における外接四角形同士の重なりの度合いを表す指標であり、例えば、下記の式１によって算出される。
ＩｏＵ＝２つの外接四角形の和集合の面積／２つの外接四角形の積集合の面積 （式１）
する。ＩｏＵは、２次元画像内における外接四角形同士の重なりの度合いを表す指標であり、例えば、下記の式１によって算出される。
ＩｏＵ＝２つの外接四角形の和集合の面積／２つの外接四角形の積集合の面積 （式１）
【0024】
ステップＳ１３において、制御部１０は、ＩｏＵと閾値εとを比較し、ＩｏＵが閾値εよりも大きいか否かを判定する。閾値εは、実験によって求めてもよい。閾値εとして、シミュレーション及び機械学習等によって自動的に算出された値を用いてもよい。閾値εとして、２次元画像における実のサイズをユーザーが計測し、実のサイズの中央値及び平均値等を用いてもよい。閾値εは、小さい実や、見えている部分が小さい実が取り除かれないように設定されることが好ましい。ＩｏＵが閾値εよりも大きい場合（ステップＳ１３；ＹＥＳ）、処理がステップＳ１４に進む。ＩｏＵが閾値ε以下である場合（ステップＳ１３；ＮＯ）、処理がステップＳ１７に進む。
【0025】
ステップＳ１４において、２次元画像内の実の一部分が他の実によって隠されているかを調査するために、制御部１０は、外接四角形の面積を測定（算出）し、外接四角形の面積が閾値Ｔ１よりも小さいか否かを判定する。閾値Ｔ１は、シミュレーション及び機械学習等によって求めてもよい。外接四角形の面積が閾値Ｔ１よりも小さい場合（ステップＳ１４；ＹＥＳ）、処理がステップＳ１５に進む。外接四角形の面積が閾値Ｔ１以上である場合（ステップＳ１４；ＮＯ）、処理がステップＳ１６に進む。
【0026】
ステップＳ１５において、制御部１０は、２次元画像内の実の一部分が隠れていると決定し、実（一部分）の切り出し画像を出力する。ステップＳ１６において、制御部１０は、２次元画像内の実の全体部分が見えていると決定し、実（全体部分）の切り出し画像を出力する。ステップＳ１７において、２次元画像内の実と遮蔽物との重なりを検出するために、制御部１０は、２次元画像の全画素のＲＧＢの色値及び輝度値の少なくとも一方を測定する。遮蔽物は、実以外の葉、幹、茎及び枝等である。
【0027】
ステップＳ１８において、制御部１０は、外接四角形を４つの領域に分割し、各領域の全画素のＲＧＢの色値及び輝度値の少なくとも一方の最頻値を計算する。図７は、外接四角形を４つの領域に分割した場合の一例を示す図である。図７に示す例では、外接四角形が第１～第４領域に分割されている。図８は、外接四角形を４つの領域に分割した場合の一例を示す図である。図８に示す例では、４つの領域のうちの少なくも１つの領域が、実と葉とが重なっている。したがって、４つの領域のうちの１つの領域の全画素のＲＧＢの色値（又は輝度値）が、４つの領域のうちの３つの領域の全画素のＲＧＢの色値（又は輝度値）と異なっている。
【0028】
ステップＳ１９において、制御部１０は、各領域の全画素のＲＧＢの色値及び輝度値の少なくとも一方の最頻値が閾値Ｔ２よりも小さいか否かを判定する。閾値Ｔ２は、シミュレーション及び機械学習等によって求めてもよい。実の形は対称体のため、完全に見えている実について、外接四角形を４等分に分割した後の各領域のＲＧＢの色値及び輝度値の最頻値は同じになる。そのため、制御部１０は、各領域の全画素のＲＧＢの色値及び輝度値の少なくとも一方の最頻値と閾値Ｔ２とを比較する。各領域の全画素のＲＧＢの色値及び輝度値の少なくとも一方の最頻値が閾値Ｔ２よりも小さい場合（ステップＳ１９；ＹＥＳ）、処理がステップＳ１５に進む。各領域の全画素のＲＧＢの色及び／又は輝度の最頻値が閾値Ｔ２以上である場合（ステップＳ１９；ＮＯ）、処理がステップＳ１６に進む。
【0029】
上記では、画素のＲＧＢの色値及び輝度値等の特徴量を用いているが、他の特徴量、例えば、画素のＲＧＢの色値及び輝度値のヒストグラムを用いてもよい。ステップＳ１８において、制御部１０は、各領域の全画素のＲＧＢの色値及び輝度値の少なくとも一方のヒストグラムを算出してもよい。ステップＳ１９において、制御部１０は、各領域の全画素のＲＧＢの色値及び輝度値の少なくとも一方のヒストグラムの形状と、所定ヒストグラムの形状との一致度又は類似度とを判定してもよい。所定ヒストグラムの形状は、シミュレーション及び機械学習等によって求めてもよい。各領域の全画素のＲＧＢの色値及び輝度値の少なくとも一方のヒストグラムの形状が、所定ヒストグラムの形状と一致又は類似しない場合、処理がステップＳ１５に進む。各領域の全画素のＲＧＢの色値及び輝度値の少なくとも一方のヒストグラムの形状が、所定ヒストグラムの形状と一致又は類似する場合、処理がステップＳ１６に進む。
【0030】
図９は、ステップＳ３～Ｓ５の処理の一例（第２の例）を示すフローチャートである。ステップＳ２１～Ｓ２６は、ステップＳ１１～１６と同様であるので、詳細な説明は省略する。ステップＳ２７において、２次元画像内の実と遮蔽物との重なりを検出するために、制御部１０は、２次元画像内の各実の外形線を抽出し、２次元画像内の各実の外形線を出力する。遮蔽物は、実以外の葉、幹、茎及び枝等である。
【0031】
ステップＳ２８において、制御部１０は、実の外形線の円形度（Circularity）を算出
する。円形度とは、円形らしさを定量的に測るための尺度である。実の外形線の円形度が１．０に近いほど、実の外形線が円に近くなる。円形度は、例えば、下記の式２によって算出される。πは、円周率（ｐｉ）である。
円形度＝４×（実の面積）／π×（実の長軸）＾２ （式２）
する。円形度とは、円形らしさを定量的に測るための尺度である。実の外形線の円形度が１．０に近いほど、実の外形線が円に近くなる。円形度は、例えば、下記の式２によって算出される。πは、円周率（ｐｉ）である。
円形度＝４×（実の面積）／π×（実の長軸）＾２ （式２）
【0032】
ステップＳ２９において、制御部１０は、実の外形線の円形度が閾値Ｔ３よりも小さいか否かを判定する。完全に外形が見えている実の外形線の円形度は大きく、遮蔽物の外形線の円形度は小さいため、実と遮蔽物とが重なっている場合、実の外形線の円形度は小さくなる。閾値Ｔ３は、例えば、遮蔽物と実の外形線とが区別できる値に設定される。閾値Ｔ３は、シミュレーション及び機械学習等によって求めてもよい。実の外形線の円形度が閾値Ｔ３よりも小さい場合（ステップＳ２９；ＹＥＳ）、処理がステップＳ２５に進む。各領域の全画素のＲＧＢの色及び／又は輝度の最頻値が閾値Ｔ２以上である場合（ステップＳ２９；ＮＯ）、処理がステップＳ２６に進む。
【0033】
図１０は、ステップＳ３～Ｓ５の処理の一例（第３の例）を示すフローチャートである。ステップＳ３１において、２次元画像内の実同士の重なりを検出するために、制御部１０は、２次元画像内の各実の外形線を抽出し、２次元画像内の各実の外形線を出力する。ステップＳ３２において、制御部１０は、実の外形線内の面積を測定する。
【0034】
ステップＳ３３において、制御部１０は、実の外形線内の面積が閾値Ｔ４よりも小さいか否かを判定する。閾値Ｔ４は、実験によって求めてもよい。閾値Ｔ４として、シミュレ
ーション及び機械学習等によって自動的に算出された値を用いてもよい。閾値Ｔ４として、２次元画像における実のサイズをユーザーが計測し、実のサイズの中央値及び平均値等を用いてもよい。閾値Ｔ４は、小さい実や、見えている部分が小さい実が取り除かれないように設定されることが好ましい。例えば、キウイ棚は高さ方向のばらつきが小さく、かつ、キウイ棚の下からキウイの実を撮影している。そのため、２次元画像中で密集している実は同じ枝になっていることが多い。生物学の観点から、近傍の実の大きさはおおよそ同じであるので、実の外形線内の面積が小さい場合、実の一部分が隠れており、見えている実の部分が小さいといえる。
ーション及び機械学習等によって自動的に算出された値を用いてもよい。閾値Ｔ４として、２次元画像における実のサイズをユーザーが計測し、実のサイズの中央値及び平均値等を用いてもよい。閾値Ｔ４は、小さい実や、見えている部分が小さい実が取り除かれないように設定されることが好ましい。例えば、キウイ棚は高さ方向のばらつきが小さく、かつ、キウイ棚の下からキウイの実を撮影している。そのため、２次元画像中で密集している実は同じ枝になっていることが多い。生物学の観点から、近傍の実の大きさはおおよそ同じであるので、実の外形線内の面積が小さい場合、実の一部分が隠れており、見えている実の部分が小さいといえる。
【0035】
実の外形線内の面積が閾値Ｔ４よりも小さい場合（ステップＳ３３；ＹＥＳ）、処理がステップＳ３４に進む。実の外形線内の面積が閾値Ｔ４以上である場合（ステップＳ３３；ＮＯ）、処理がステップＳ３５に進む。ステップＳ３４において、制御部１０は、２次元画像内の実の一部分が隠されていると決定し、実（一部分）の切り出し画像を出力する。ステップＳ３５において、制御部１０は、２次元画像内の実の全体部分が見えていると決定し、実（全体部分）の切り出し画像を出力する。
【0036】
ステップＳ６及びＳ７の処理の詳細について説明する。図１１は、ステップＳ６及びＳ７の処理の一例を示すフローチャートである。ステップＳ４１において、制御部１０は、実（一部分）の切り出し画像を取得する。ステップＳ４２において、制御部１０は、切り出し画像内の実の外形線を求めるために、画像解析により、切り出し画像とデータベースにおける２次元画像とをマッチングする。画像解析におけるマッチングとは、入力画像中からテンプレート画像と最も類似する箇所を探索する処理をいう。制御部１０は、切り出し画像とデータベースにおける撮影画像とを総当たりで比較することにより、切り出し画像とデータベースにおける２次元画像とをマッチングしてもよい。
【0037】
データベースには、実の全体部分が撮影された画像が格納されている。実の外形線は、実のサイズ、実の傾き、実とカメラ４との相対位置によって決まる。したがって、データベースには、例えば、下記の（条件１）～（条件３）を想定範囲内で変化させて撮影した画像を予め用意してもよい。ユーザーが、実を撮影した画像を用意して、実の２次元画像をデータベースに格納してもよい。下記の（条件１）～（条件３）は例示であって、下記の（条件１）～（条件３）の数値を変更してもよいし、他の条件を用いてもよい。
（条件１）実のサイズ（小、中、大３段階）
（条件２）実の傾き（所定角度ごとに３６０度回転）
（条件３）実とカメラ４との相対位置（第１所定距離範囲、第２所定距離範囲の２段階、第１所定距離範囲＜第２所定距離範囲）
（条件１）実のサイズ（小、中、大３段階）
（条件２）実の傾き（所定角度ごとに３６０度回転）
（条件３）実とカメラ４との相対位置（第１所定距離範囲、第２所定距離範囲の２段階、第１所定距離範囲＜第２所定距離範囲）
【0038】
ステップＳ４３において、制御部１０は、切り出し画像内の実の外形線とデータベースにおける２次元画像内の実の外形線との一致度が最も高い外形線を、データベースにおける２次元画像から抽出する。ステップＳ４４において、制御部１０は、抽出した外形線に基づいて、実（一部分）の切り出し画像内の実の隠れた部分の外形線を推定する。ステップＳ４５において、制御部１０は、実（一部分）の切り出し画像に対して、実の隠れた部分の外形線を追加し、実の外形線が追加された切り出し画像を出力する。制御部１０は、実の外形線が追加された切り出し画像を実（全体部分）の切り出し画像として出力してもよい。
【0039】
ステップＳ８及びＳ９の処理の詳細について説明する。ステップＳ８及びＳ９の処理は、実のサイズを計測するために、実をモデル化して、実の３次元形状を推定する処理である。図１２は、ステップＳ８及びＳ９の処理の一例を示すフローチャートである。ステップＳ５１において、制御部１０は、切り出し画像（全体部分）及び実の外形線が追加された切り出し画像を取得する。制御部１０は、切り出し画像（全体部分）及び実の外形線が
追加された切り出し画像の一方を取得してもよい。
追加された切り出し画像の一方を取得してもよい。
【0040】
ステップＳ５２において、制御部１０は、切り出し画像内の実の外形線に対して２つの楕円をフィッティングする。詳細には、制御部１０は、切り出し画像内の実の外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングする。フィッティングとは、実験的に得られたデータに最もよく当てはまるような曲線を、多項式などの数式で近似して求めることである。例えば、制御部１０は、実の外形線の一部と一方の楕円の一部とが重なるように一方の楕円をフィッティングし、実の外形線の他の一部と他方の楕円の一部とが重なるように他方の楕円をフィッティングする。図１３は、切り出し画像内の実の外形線に対して２つの楕円（第１の楕円、第２の楕円）をフィッティングする場合の説明図である。図１３に示す例では、撮像面は、ｘｙ平面上にあるものとする。図１３に示すように、２つの楕円（第１の楕円、第２の楕円）の像が撮像面上に配置されている。制御部１０は、実の切り出し画像から特徴部位を抽出する。切り出し画像内の実は、特徴部位（特徴点）を有する。実の特徴部位は、実における植物の本体に繋がる部位とは反対側にある部位であって、植物における他の部位とは視覚的に異なる部位である。実の特徴部位は、例えば、果頂、果底、萼、花痕等であるが、これらに限定されない。例えば、キウイ、柿、桃、トマトには、果頂があり、梨には、果底があり、リンゴには、萼があり、メロンには、花痕がある。制御部１０は、実の外形線における互いに異なる部分の一方が、実の外形線における互いに異なる部分の他方よりも実の特徴部位に近くなるように、実の外形線に対して２つの楕円をフィッティングする。図１３に示す例では、２つの楕円の一方（第１の楕円）が、２つの楕円の他方（第２の楕円）よりも切り出し画像内の実における特徴部位に近くなるように、２つの楕円が実の外形線にフィッティングされている。ステップＳ５３において、制御部１０は、２つの楕円の中心、長軸ａ、短軸ｂを算出し、出力する。ステップＳ５４において、制御部１０は、カメラ座標系のｘｙ平面と平行な面（撮像面）上に２つの楕円（第１の楕円、第２の楕円）の像を配置する。図１４は、カメラ座標系を示す図である。
【0041】
ステップＳ５５において、制御部１０は、２つの楕円のそれぞれに外接する２つの円錐を作成する。詳細には、制御部１０は、カメラ座標系の原点Ｃ（０，０，０）を頂点とし、かつ、第１の楕円に外接する第１の円錐を計算し、カメラ座標系の原点Ｃ（０，０，０）を頂点とし、かつ、第２の楕円に外接する第２の円錐を計算する。ステップＳ５６において、制御部１０は、カメラ４と実との相対位置に基づいて、カメラ座標系における実の所定位置点Ａ（ｘ，ｙ，ｚ）を特定する。制御部１０は、仰角β、方位角θ及びカメラ４と実との間の直線距離に基づいて、カメラ座標系における実の所定位置点Ａ（ｘ，ｙ，ｚ）を特定してもよい。仰角β及び方位角θは、撮影画像から求めることが可能である。カメラ４と実との間の直線距離は、実とカメラ４との間の距離を示す距離情報である。カメラ４が深度センサを有してもよく、深度センサが計測する深度情報からカメラ４と実との間の直線距離を計測してもよい。カメラ４が距離測定センサを有してもよく、距離測定センサが計測する距離情報からカメラ４と実との間の直線距離を計測してもよい。カメラ４と実との間の直線距離は、カメラ４と実との間の最短距離であってもよい。ステップＳ１又はステップＳ５５において、制御部１０は、カメラ４と実との間の直線距離を取得してもよい。
【0042】
ステップＳ５７において、制御部１０は、所定位置点Ａを通り、第１の円錐に内接する第１の球を計算して作成する。例えば、制御部１０は、第１の球の大きさ（例えば、直径ｄ）及び位置を計算し、第１の球の大きさ及び位置を出力する。ステップＳ５８において、制御部１０は、直径ｄを有し、かつ、第２の円錐に内接する第２の球を計算して作成する。例えば、制御部１０は、第２の球の大きさ（直径ｄ）及び位置を計算し、第２の球の大きさ及び位置を出力する。このように、制御部１０は、２つの円錐（第１の円錐、第２の円錐）のそれぞれに内接する２つの球（第１の球、第２の球）を作成し、２つの球のそ
れぞれの大きさ及び位置を算出する。第１の球及び第２の球は、同じ大きさであり、同一の直径ｄを有する。上記では、２つの円錐のうち、実の特徴部位が位置する側の球に対応する円錐を第１の円錐とするが、これに限定されない。
れぞれの大きさ及び位置を算出する。第１の球及び第２の球は、同じ大きさであり、同一の直径ｄを有する。上記では、２つの円錐のうち、実の特徴部位が位置する側の球に対応する円錐を第１の円錐とするが、これに限定されない。
【0043】
ステップＳ５９において、制御部１０は、２つの球の中心間距離に２つの球の半径のそれぞれを加えた距離を計算する。詳細には、制御部１０は、第１の球の中心と第２の球の中心との間の距離に、第１の球の半径（ｄ／２）及び第２の球の半径（ｄ／２）を加えた距離Ｌを計算し、距離Ｌを出力する。ステップＳ６０において、制御部１０は、実の直径ｄ（第１の球又は第２の球の直径ｄ）と距離Ｌとに基づいて、実の体積を計算し、実の体積を出力する。図１５に示すように、実の直径ｄと距離Ｌとに基づいて、実の体積Ｖが計算される。図１５は、実の体積Ｖの計算の一例を示す図である。このように、制御部１０は、距離情報及び２つの球（第１の球、第２の球）に基づいて、２つの球の大きさ及び位置を算出する。例えば、制御部１０は、距離情報に基づいて、実の外形線における互いに異なる部分の一方が実の外形線における互いに異なる部分の他方よりも実の特徴部位に近くなるようにフィッティングした楕円（第１の楕円）を撮像面上の像とする第１の球の大きさ及び位置を算出する。制御部１０は、２つの楕円のうちの他方の楕円（第２の楕円）を撮像面上の像とする第２の球の位置を算出する。そして、制御部１０は、２つの球の大きさ及び位置に基づいて、２つの球のそれぞれの表面の少なくとも一部に沿うように、実の３次元形状を推定する。また、制御部１０は、実の３次元形状に基づいて、実の直径ｄ、長さ（距離Ｌ）及び体積Ｖを計算し、出力する。これにより、実のサイズを高精度に計測することが可能となる。
【0044】
ステップＳ５２及びＳ５３の処理の詳細について説明する。図１６は、ステップＳ５２及びＳ５３の処理の一例を示すフローチャートである。図１７Ａ、図１７Ｂ及び図１７Ｃは、ステップＳ５２及びＳ５３の処理を説明するための説明図である。ステップＳ６１において、切り出し画像内の実の外形線に対してフィッティングする１つ目の楕円を特定するため、制御部１０は、切り出し画像内の実の特徴部位を検出し、特徴部位の位置を出力する。図１７Ａに示す例では、切り出し画像内の実の特徴部位が点Ｐ１で示されている。深層学習によって特徴部位を学習してもよい。制御部１０は、特徴部位を学習した学習済モデルを用いて、切り出し画像内の実の特徴部位を検出してもよい。また、制御部１０は、実の色、輝度の判別により、特徴部位を検出してもよい。
【0045】
ステップＳ６２において、制御部１０は、外接四角形の短辺を短軸に持ち、かつ、実の特徴部位に近い側の外形線にフィッティングする楕円（第１の楕円）を作成し、第１の楕円の中心、長軸ａ、短軸ｂを算出し、出力する。図１７Ｂに示す例では、第１の楕円の中心が点Ｐ２で示され、第１の楕円の長軸ａが軸ａ１で示され、第１の楕円の短軸ｂが軸ｂ１で示されている。
【0046】
ステップＳ６３において、制御部１０は、実の特徴部位及び第１の楕円の中心の延長線上に中心を持ち、かつ、実の特徴部位に遠い側の外形線の一部分にフィッティングする楕円（第２の楕円）を作成し、第２の楕円の中心、長軸ａ、短軸ｂを算出し、出力する。図１７Ｃに示す例では、第２の楕円の中心が点Ｐ３で示され、第２の楕円の長軸ａが軸ａ２で示され、第２の楕円の短軸ｂが軸ｂ２で示されている。
【0047】
３次元画像に基づいて実のサイズの計測を行った場合の計測時間は、２次元画像に基づいて実のサイズの計測を行った場合の計測時間の数倍程度である。本実施形態では、実の２次元画像に基づいて、実の３次元形状を推定し、実の３次元形状に基づいて、実のサイズの計測を行うことにより、実のサイズの計測に要する時間を短くすることが可能である。したがって、本実施形態によれば、実のサイズを高精度に計測することが可能であると共に、実のサイズの計測に要する時間の短縮化が図れる。
【0048】
本実施形態では、２次元画像内の実の一部分が隠れている場合、実の隠れた部分の外形線を２次元画像に追加し、実の隠れた部分の外形線が追加された２次元画像に基づいて、実の３次元形状を推定し、実の３次元形状に基づいて、実のサイズの計測を行う。２次元画像内の実の一部分が隠れている場合でも、実のサイズの計測を行うことが可能であるため、実の全数計測の精度及び個々の実のサイズの計測精度が向上する。
【0049】
物流分野では、段ボール等の対象物を接触式で計測しているが、農業分野では、実に接触すると傷む恐れがあるため非接触式が望ましい。ゆえに、物流分野では、段ボール等の対象物の重量を直接計測することができるが、実は収穫しないと重量を直接計測することはできない。農業分野では、収穫前の実の重量計測が求められている。本実施形態によれば、非接触で実のサイズを計測することが可能であり、収穫前に実の重量計測（収量予測）を行うことが可能である。
【0050】
図１８は、収量予測に用いられるデータの構造の一例を示す図である。図１８に示す重量を計算するための計算式は、実の直径から実の重量を求めるための計算式であって、ユーザーによって作成される。例えば、ユーザーの知見を用いて、計算式を作成してもよい。計算式は、記憶部２０に記憶されてもよい。ユーザーが、計測数（個）、直径（ｍｍ）及び割合（％）に対してそれぞれの値を入力することで、制御部１０によって総重量が計算される。総重量の計算は、日毎で行ってもよいし、月毎で行ってもよい。総重量が蓄積されることで、収穫前における実の重量（収量）が予測され、図１８に示す収量予測の欄に表示される。本実施形態によれば、実のサイズを高精度に計測することが可能であるため、収量予測の精度の向上が図れる。図１８に示すデータは、外部機器２から外部機器３に送られ、外部機器３の表示部に表示される。ユーザーは、外部機器３の表示部に表示されたデータの内容を視認することで、収量予測を把握することができる。
【0051】
《コンピュータが読み取り可能な記録媒体》
情報処理装置その他の機械、装置（以下、コンピュータ等）に上記何れかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
情報処理装置その他の機械、装置（以下、コンピュータ等）に上記何れかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
【0052】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ／Ｗ、ＤＶＤ、ブルーレイディスク、フラッシュメモリ等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。
【0053】
＜付記１＞
植物の実を撮影する撮影部（４）により撮影された前記実の２次元画像と、前記実と前記撮影部（４）との間の距離を示す距離情報と、を取得する取得部（１１０）と、
前記２次元画像内の前記実の外形線を抽出する抽出部（１５０）と、
前記実の前記外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、前記距離情報及び２つの前記楕円に基づいて、２つの球の大きさ及び位置を算出する算出部（１６０）と、
２つの前記球の大きさ及び位置に基づいて、２つの前記球のそれぞれの表面の少なくとも一部に沿うように、前記実の３次元形状を推定する推定部（１７０）と、
を備える情報処理装置（２）。
＜付記２＞
前記抽出部（１５０）は、前記実の前記２次元画像から特徴部位を抽出し、
前記算出部（１６０）は、前記実の前記外形線における互いに異なる部分の一方が、前記実の前記外形線における互いに異なる部分の他方よりも前記特徴部位に近くなるように、２つの前記楕円をフィッティングする、
付記１に記載の情報処理装置（２）。
＜付記３＞
前記特徴部位は、前記２次元画像内の前記実における前記植物の本体に繋がる部位とは反対側にある部位であって、前記２次元画像内の前記植物における他の部位とは視覚的に異なる部位である、
付記２に記載の情報処理装置（２）。
＜付記４＞
前記特徴部位は、果頂、果底、萼又は花痕である、
付記２又は３に記載の情報処理装置（２）。
＜付記５＞
前記抽出部（１５０）は、前記実の前記２次元画像から特徴部位を抽出し、
前記算出部（１６０）は、
２つの前記球の一方を第１の球とし、２つの前記球の他方を第２の球とし、
前記距離情報に基づいて、前記実の前記外形線における互いに異なる部分の一方が前記実の前記外形線における互いに異なる部分の他方よりも前記特徴部位に近くなるようにフィッティングした楕円を撮像面上の像とする前記第１の球の大きさ及び位置を算出し、
２つの前記楕円のうちの他方の楕円を前記撮像面上の像とし、かつ、前記第１の球と同じ大きさである、前記第２の球の位置を算出する、
付記１から４の何れか一つに記載の情報処理装置（２）。
＜付記６＞
前記算出部（１６０）は、
２つの前記楕円の一方に外接する第１の円錐を計算し、
前記第１の円錐に内接する前記第１の球を計算し、
２つの前記楕円の他方に外接する第２の円錐を計算し、
前記第２の円錐に内接する前記第２の球を計算する、
付記５に記載の情報処理装置。
＜付記７＞
前記第１の球の中心と前記第２の球の中心との間の距離に前記第１の球の半径及び前記第２の球の半径を加えた距離と、前記第１の球の直径又は前記第２の球の直径と、に基づいて、前記実の体積を計算する計算部（１８０）を備える、
付記６に記載の情報処理装置（２）。
＜付記８＞
前記２次元画像内の前記実の一部分が隠れている場合、前記実の隠れた部分の外形線を前記２次元画像に追加する追加部（１４０）を備える、
付記１から７の何れか一つに記載の情報処理装置（２）。
＜付記９＞
コンピュータが実行する情報処理方法であって、
植物の実を撮影する撮影部（４）により撮影された前記実の２次元画像と、前記実と前記撮影部（４）との間の距離を示す距離情報と、を取得する取得ステップと、
前記２次元画像内の前記実の外形線を抽出する抽出ステップと、
前記実の前記外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、前記距離情報及び２つの前記楕円に基づいて、２つの球の大きさ及び位置を算出する算出ステップと、
２つの前記球の大きさ及び位置に基づいて、２つの前記球のそれぞれの表面の少なくとも一部に沿うように、前記実の３次元形状を推定する推定ステップと、
を有する情報処理方法。
＜付記１０＞
コンピュータに、
植物の実を撮影する撮影部（４）により撮影された前記実の２次元画像と、前記実と前記撮影部（４）との間の距離を示す距離情報と、を取得する取得ステップと、
前記２次元画像内の前記実の外形線を抽出する抽出ステップと、
前記実の前記外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、前記距離情報及び２つの前記楕円に基づいて、２つの球の大きさ及び位置を算出する算出ステップと、
２つの前記球の大きさ及び位置に基づいて、２つの前記球のそれぞれの表面の少なくとも一部に沿うように、前記実の３次元形状を推定する推定ステップと、
を実行させるためのプログラム。
植物の実を撮影する撮影部（４）により撮影された前記実の２次元画像と、前記実と前記撮影部（４）との間の距離を示す距離情報と、を取得する取得部（１１０）と、
前記２次元画像内の前記実の外形線を抽出する抽出部（１５０）と、
前記実の前記外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、前記距離情報及び２つの前記楕円に基づいて、２つの球の大きさ及び位置を算出する算出部（１６０）と、
２つの前記球の大きさ及び位置に基づいて、２つの前記球のそれぞれの表面の少なくとも一部に沿うように、前記実の３次元形状を推定する推定部（１７０）と、
を備える情報処理装置（２）。
＜付記２＞
前記抽出部（１５０）は、前記実の前記２次元画像から特徴部位を抽出し、
前記算出部（１６０）は、前記実の前記外形線における互いに異なる部分の一方が、前記実の前記外形線における互いに異なる部分の他方よりも前記特徴部位に近くなるように、２つの前記楕円をフィッティングする、
付記１に記載の情報処理装置（２）。
＜付記３＞
前記特徴部位は、前記２次元画像内の前記実における前記植物の本体に繋がる部位とは反対側にある部位であって、前記２次元画像内の前記植物における他の部位とは視覚的に異なる部位である、
付記２に記載の情報処理装置（２）。
＜付記４＞
前記特徴部位は、果頂、果底、萼又は花痕である、
付記２又は３に記載の情報処理装置（２）。
＜付記５＞
前記抽出部（１５０）は、前記実の前記２次元画像から特徴部位を抽出し、
前記算出部（１６０）は、
２つの前記球の一方を第１の球とし、２つの前記球の他方を第２の球とし、
前記距離情報に基づいて、前記実の前記外形線における互いに異なる部分の一方が前記実の前記外形線における互いに異なる部分の他方よりも前記特徴部位に近くなるようにフィッティングした楕円を撮像面上の像とする前記第１の球の大きさ及び位置を算出し、
２つの前記楕円のうちの他方の楕円を前記撮像面上の像とし、かつ、前記第１の球と同じ大きさである、前記第２の球の位置を算出する、
付記１から４の何れか一つに記載の情報処理装置（２）。
＜付記６＞
前記算出部（１６０）は、
２つの前記楕円の一方に外接する第１の円錐を計算し、
前記第１の円錐に内接する前記第１の球を計算し、
２つの前記楕円の他方に外接する第２の円錐を計算し、
前記第２の円錐に内接する前記第２の球を計算する、
付記５に記載の情報処理装置。
＜付記７＞
前記第１の球の中心と前記第２の球の中心との間の距離に前記第１の球の半径及び前記第２の球の半径を加えた距離と、前記第１の球の直径又は前記第２の球の直径と、に基づいて、前記実の体積を計算する計算部（１８０）を備える、
付記６に記載の情報処理装置（２）。
＜付記８＞
前記２次元画像内の前記実の一部分が隠れている場合、前記実の隠れた部分の外形線を前記２次元画像に追加する追加部（１４０）を備える、
付記１から７の何れか一つに記載の情報処理装置（２）。
＜付記９＞
コンピュータが実行する情報処理方法であって、
植物の実を撮影する撮影部（４）により撮影された前記実の２次元画像と、前記実と前記撮影部（４）との間の距離を示す距離情報と、を取得する取得ステップと、
前記２次元画像内の前記実の外形線を抽出する抽出ステップと、
前記実の前記外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、前記距離情報及び２つの前記楕円に基づいて、２つの球の大きさ及び位置を算出する算出ステップと、
２つの前記球の大きさ及び位置に基づいて、２つの前記球のそれぞれの表面の少なくとも一部に沿うように、前記実の３次元形状を推定する推定ステップと、
を有する情報処理方法。
＜付記１０＞
コンピュータに、
植物の実を撮影する撮影部（４）により撮影された前記実の２次元画像と、前記実と前記撮影部（４）との間の距離を示す距離情報と、を取得する取得ステップと、
前記２次元画像内の前記実の外形線を抽出する抽出ステップと、
前記実の前記外形線における互いに異なる部分のそれぞれに沿うように２つの楕円をフィッティングし、前記距離情報及び２つの前記楕円に基づいて、２つの球の大きさ及び位置を算出する算出ステップと、
２つの前記球の大きさ及び位置に基づいて、２つの前記球のそれぞれの表面の少なくとも一部に沿うように、前記実の３次元形状を推定する推定ステップと、
を実行させるためのプログラム。
【符号の説明】
【0054】
１：自律走行ロボット
２、３：外部機器
４：カメラ
５：照明装置
６：植物
１０：制御部
２０：記憶部
３０：通信部
１１０：取得部
１２０：検出部
１３０：判定部
１４０：追加部
１５０：抽出部
１５０：算出部
１７０：推定部
１８０：計算部
１９０：出力部
２、３：外部機器
４：カメラ
５：照明装置
６：植物
１０：制御部
２０：記憶部
３０：通信部
１１０：取得部
１２０：検出部
１３０：判定部
１４０：追加部
１５０：抽出部
１５０：算出部
１７０：推定部
１８０：計算部
１９０：出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】