知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-02
(45)【発行日】2025-04-10
(54)【発明の名称】推定装置、推定装置の制御方法および推定プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20250403BHJP
G06T 7/60 20170101ALI20250403BHJP
【ＦＩ】
G06T7/00 350B
G06T7/60 300A
【請求項の数】
17
(21)【出願番号】P 2022010166
(22)【出願日】2022-01-26
(65)【公開番号】P2023108877
(43)【公開日】2023-08-07
【審査請求日】2024-07-22
(73)【特許権者】
【識別番号】501203344
【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】イ ウンソク
(72)【発明者】
【氏名】内藤 裕貴
(72)【発明者】
【氏名】河崎 靖
(72)【発明者】
【氏名】太田 智彦
【審査官】鈴木 明
(56)【参考文献】
【文献】特開２０２１－１８９７１８（ＪＰ，Ａ）
【文献】特表２０２１－５１３６９０（ＪＰ，Ａ）
【文献】特開２０１７－１１１８１５（ＪＰ，Ａ）
【文献】特開２０１９－００５５６６（ＪＰ，Ａ）
【文献】特開２０２０－１８１４４１（ＪＰ，Ａ）
【文献】特開２０１９－０３７２２５（ＪＰ，Ａ）
【文献】特開２０２０－１９５３３５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／６０
(57)【特許請求の範囲】
【請求項1】
複数の果実を撮像した撮像画像において、各果実を内包する内包領域をそれぞれ検出する検出部と、前記内包領域同士が重なり合っている領域を含む対象領域を特定する特定部と、
前記対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりクラスタリングするクラスタリング部と、
前記クラスタリングの結果に基づいて、前記対象領域における果実間の境界を推定する推定部と、を備えることを特徴とする推定装置。
【請求項2】
前記特定部は、前記内包領域同士が重なり合っている領域を前記対象領域として特定することを特徴とする請求項１に記載の推定装置。
【請求項3】
前記特定部は、重なり合っている前記内包領域同士を結合した領域を前記対象領域として特定することを特徴とする請求項１に記載の推定装置。
【請求項4】
前記特定部は、前記内包領域のそれぞれについて当該内包領域に重なり合っている他の内包領域の存在の有無を判定し、当該他の内包領域が存在すると判定した場合、前記対象領域を特定することを特徴とする請求項１～３のいずれか１項に記載の推定装置。
【請求項5】
前記特定部は、前記内包領域同士の重なり度合いを特定することを特徴とする請求項４に記載の推定装置。
【請求項6】
前記深度情報は、前記撮像画像に対応する深度画像から取得されたものであることを特徴とする請求項１～５のいずれか１項に記載の推定装置。
【請求項7】
前記クラスタリング部は、前記教師なし学習において前記各画素に対応する色情報および輝度情報の少なくとも一方をさらに用いることを特徴とする請求項１～６のいずれか１項に記載の推定装置。
【請求項8】
前記撮像画像は、ＲＧＢ画像であることを特徴とする請求項７に記載の推定装置。
【請求項9】
前記果実は、果菜類または果樹類の果実であることを特徴とする請求項１～８のいずれか１項に記載の推定装置。
【請求項10】
前記境界に基づいて、前記対象領域を個々の果実に対応する領域に分離する分離部をさらに備えることを特徴とする請求項１～９のいずれか１項に記載の推定装置。
【請求項11】
前記個々の果実に対応する領域内の各画素に対応する色情報に基づき、前記個々の果実の収穫時期および収量の少なくとも一方を予測する予測部をさらに備えることを特徴とする請求項１０に記載の推定装置。
【請求項12】
前記撮像画像に対応する熱画像を取得する取得部と、前記境界および前記熱画像に基づき、前記個々の果実の温度を測定する測定部と、をさらに備え、
前記予測部は、前記温度にさらに基づき、前記個々の果実の収穫時期および収量の少なくとも一方を予測することを特徴とする請求項１１に記載の推定装置。
【請求項13】
前記撮像画像には、複数の葉が含まれており、前記検出部は、前記撮像画像において、各葉を内包する第２の内包領域をそれぞれ検出し、
前記特定部は、前記第２の内包領域同士が重なり合っている領域を含む第２の対象領域を特定し、
前記クラスタリング部は、前記第２の対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりクラスタリングし、
前記推定部は、前記クラスタリングの結果に基づいて、前記第２の対象領域における葉間の境界を推定することを特徴とする請求項１１または１２に記載の推定装置。
【請求項14】
前記葉の全体像を復元する復元部をさらに備え、前記分離部は、前記葉間の境界に基づいて、前記第２の対象領域を個々の葉に分離し、
前記復元部は、前記撮像画像に基づいて、前記個々の葉に対応する領域から、当該葉の全体像を復元し、
前記予測部は、前記復元部によって復元された葉の全体像の面積に基づき、前記果実の収量を予測することを特徴とする請求項１３に記載の推定装置。
【請求項15】
前記撮像画像に基づいて、前記個々の果実に対応する領域から、当該果実の全体像を復元する第２の復元部をさらに備え、前記予測部は、前記果実の全体像に基づいて当該果実の品質をさらに予測することを特徴とする請求項１１～１４のいずれか１項に記載の推定装置。
【請求項16】
推定装置が、複数の果実を撮像した撮像画像において、各果実を内包する内包領域をそれぞれ検出する検出工程と、前記推定装置が、前記内包領域同士が重なり合っている領域を含む対象領域を特定する特定工程と、
前記推定装置が、前記対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりクラスタリングするクラスタリング工程と、
前記推定装置が、前記クラスタリングの結果に基づいて、前記対象領域における果実間の境界を推定する推定工程と、を含むことを特徴とする推定装置の制御方法。
【請求項17】
請求項１に記載の推定装置としてコンピュータを機能させるための推定プログラムであって、前記検出部、前記特定部、前記クラスタリング部および前記推定部としてコンピュータを機能させるための推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、推定装置、推定装置の制御方法および推定プログラムに関する。
【背景技術】
【0002】
施設園芸においてイチゴおよびトマトなどの果菜類や果樹類の果実を安定的に生産するために、開花後の果実の積算温度などに基づいて、果実の収穫時期や収量を予測する技術が開発されている。
【0003】
従来では、施設園芸のハウス内の気温に基づいて積算温度を算出しており、果実の収穫時期に誤差が多く発生していた。
【0004】
そのため、果実の収穫時期や収量を高精度に予測するために、果実を破壊せず、果実の撮像画像などに基づいて、個々の果実の温度や色を高精度に計測し、個々の果実の生育をモニタリングする技術が求められている。
【0005】
しかしながら、施設園芸のハウスでは、果実を撮像した場合、撮像画像上において互いに密接した果実が重なりやすく、２次元の画像処理では、撮像画像上の重なった果実を１つの果実として認識してしまう問題がよく発生していた。そこで、撮像画像上の重なった果実を個々の果実として識別するための技術が開発されている。
【0006】
特開昭６２－９２１０号公報は、色情報に基づいて撮像画像における重なった果実の領域を分離抽出し、濃淡情報に基づいて撮像画像における個々の果実間の境界を推定する技術を開示している。
【0007】
特開平４－１８４５７３号公報は、収穫する時期の果実などの対象物に投光することにより、対象物から反射された反射光を撮像した撮像画像の色情報および輝度情報に基づいて、重なった対象物の位置関係を推定する技術を開示している。
【0008】
特開２０１５－１６２０７３号公報は、果実などの収穫対象物の深度画像から、所定の深度以下の画素の領域間の境界を検出し、当該境界に対して所定の収穫対象物の幾何学的形状をパターンマッチングさせ、収穫対象物間の境界を推定する技術を開示している。
【先行技術文献】
【特許文献】
【0009】
【文献】特開昭６２－９２１０号公報
【文献】特開平４－１８４５７３号公報
【文献】特開２０１５－１６２０７３号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、特許文献１および２のような、ルールベースにより、色情報や輝度情報に基づいて、撮像画像上の重なった果実などの対象物を個々の果実として推定する技術は、当該果実を個々の果実として高精度に識別できない。
【0011】
特許文献３のような、深度画像から検出した所定の深度以下の画素の領域間の境界に対して所定の収穫対象物の幾何学的形状をパターンマッチングさせ、収穫対象物間の境界を推定する技術は、撮像画像上の重なった果実を個々の果実として効率的に識別できない。
【0012】
そこで、果実の収穫時期や収量を高精度に予測するために、果実を破壊せずに、個々の果実の温度や色を高精度に計測することができるように、撮像画像上の重なった果実を個々の果実として高精度かつ効率的に識別可能な技術が求められている。
【0013】
本発明の一態様は、撮像画像上の重なった果実を個々の果実として高精度かつ効率的に識別可能な推定装置およびその関連技術を実現することを目的とする。
【課題を解決するための手段】
【0014】
上記の課題を解決するために、本発明の一態様に係る推定装置は、複数の果実を撮像した撮像画像において、各果実を内包する内包領域をそれぞれ検出する検出部と、前記内包領域同士が重なり合っている領域を含む対象領域を特定する特定部と、前記対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりクラスタリングするクラスタリング部と、前記クラスタリングの結果に基づいて、前記対象領域における果実間の境界を推定する推定部と、を備える。
【0015】
本発明の一態様に係る推定装置の制御方法は、推定装置が、複数の果実を撮像した撮像画像において、各果実を内包する内包領域をそれぞれ検出する検出工程と、前記推定装置が、前記内包領域同士が重なり合っている領域を含む対象領域を特定する特定工程と、前記推定装置が、前記対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりクラスタリングするクラスタリング工程と、前記推定装置が、前記クラスタリングの結果に基づいて、前記対象領域における果実間の境界を推定する推定工程と、を含む。
【0016】
本発明の各態様に係る推定装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記推定装置が備える各部（ソフトウェア要素）として動作させることにより前記推定装置をコンピュータにて実現させる推定装置の推定プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0017】
本発明の一態様によれば、撮像画像上の重なった果実を個々の果実として高精度かつ効率的に識別可能な推定装置およびその関連技術を実現することができる。
【図面の簡単な説明】
【0018】
【図1】実施形態１に係る推定装置の構成の一例を示すブロック図である。
【図2】実施形態１に係る推定装置の制御方法の一例を示すフロー図である。
【図3】撮像画像の一例を示す図である。
【図4】深度画像の一例を示す図である。
【図5】スーパーピクセルの一例を示す図である。
【図6】対象領域における果実間の境界の一例を示す図である。
【図7】実施形態２に係る推定装置の構成の一例を示すブロック図である。
【図8】実施形態２に係る推定装置の制御方法の一例を示すフロー図である。
【図9】撮像画像の一例を示す図である。
【図10】実施形態３に係る推定装置の構成の一例を示すブロック図である。
【図11】実施形態３に係る推定装置の制御方法の一例を示すフロー図である。
【図12】対象領域における果実間の分離について説明するための図である。
【図13】実施形態４に係る推定装置の構成の一例を示すブロック図である。
【図14】実施形態４に係る推定装置の制御方法の一例を示すフロー図である。
【図15】熱画像の一例を示す図である。
【図16】測定工程の一例について説明するための図である。
【図17】実施形態５に係る推定装置の構成の一例を示すブロック図である。
【図18】実施形態５に係る推定装置の制御方法の一例を示すフロー図である。
【図19】撮像画像の一例を示す図である。
【図20】深度画像の一例を示す図である。
【図21】第２の対象領域における葉間の境界の一例を示す図である。
【図22】第２の対象領域における葉間の分離について説明するための図である。
【図23】葉の全体像の復元について説明するための図である。
【図24】実施形態６に係る推定装置の構成の一例を示すブロック図である。
【図25】実施形態６に係る推定装置の制御方法の一例を示すフロー図である。
【図26】果実の全体像の復元について説明するための図である。
【発明を実施するための形態】
【0019】
【0020】
〔推定装置１〕
推定装置１は、複数の果実を撮像した撮像画像（撮像画像情報）における果実間の境界を推定する。図１に示すように、推定装置１は、取得部１１と、制御部１２と、出力部１３と、記憶部１４と、を備える。推定装置１としては、例えば、コンピュータなどが挙げられる。
推定装置１は、複数の果実を撮像した撮像画像（撮像画像情報）における果実間の境界を推定する。図１に示すように、推定装置１は、取得部１１と、制御部１２と、出力部１３と、記憶部１４と、を備える。推定装置１としては、例えば、コンピュータなどが挙げられる。
【0021】
［取得部１１］
取得部１１は、複数の果実を撮像した撮像画像および深度画像（深度画像情報）などの各種画像（各種画像情報）を取得する。
取得部１１は、複数の果実を撮像した撮像画像および深度画像（深度画像情報）などの各種画像（各種画像情報）を取得する。
【0022】
［制御部１２］
制御部１２は、推定装置１を制御する。図１に示すように、制御部１２は、検出部１２１と、特定部１２２と、クラスタリング部１２３と、推定部１２４と、を備える。
制御部１２は、推定装置１を制御する。図１に示すように、制御部１２は、検出部１２１と、特定部１２２と、クラスタリング部１２３と、推定部１２４と、を備える。
【0023】
（検出部１２１）
検出部１２１は、複数の果実を撮像した撮像画像において、各果実を内包する内包領域をそれぞれ検出する。
検出部１２１は、複数の果実を撮像した撮像画像において、各果実を内包する内包領域をそれぞれ検出する。
【0024】
（特定部１２２）
特定部１２２は、内包領域同士が重なり合っている領域を含む対象領域を特定する。
特定部１２２は、内包領域同士が重なり合っている領域を含む対象領域を特定する。
【0025】
（クラスタリング部１２３）
クラスタリング部１２３は、特定部１２２が特定した対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりクラスタリングする。
クラスタリング部１２３は、特定部１２２が特定した対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりクラスタリングする。
【0026】
（推定部１２４）
推定部１２４は、クラスタリング部１２３によるクラスタリングの結果に基づいて、対象領域における果実間の境界を推定する。
推定部１２４は、クラスタリング部１２３によるクラスタリングの結果に基づいて、対象領域における果実間の境界を推定する。
【0027】
［出力部１３］
出力部１３は、撮像画像および深度画像などの各種画像、ならびに、推定結果である、対象領域における果実間の境界などを表示部１３１に表示させる。図１に示すように、出力部１３は、表示部１３１を備える。
出力部１３は、撮像画像および深度画像などの各種画像、ならびに、推定結果である、対象領域における果実間の境界などを表示部１３１に表示させる。図１に示すように、出力部１３は、表示部１３１を備える。
【0028】
（表示部１３１）
表示部１３１は、撮像画像および深度画像などの各種画像ならびに推定結果などを表示する。表示部１３１としては、例えば、コンピュータのディスプレイなどが挙げられる。
表示部１３１は、撮像画像および深度画像などの各種画像ならびに推定結果などを表示する。表示部１３１としては、例えば、コンピュータのディスプレイなどが挙げられる。
【0029】
［記憶部１４］
記憶部１４は、各種情報を記憶する。図１に示すように、記憶部１４は、学習済モデル１４１を備える。学習済モデル１４１については後述する。
記憶部１４は、各種情報を記憶する。図１に示すように、記憶部１４は、学習済モデル１４１を備える。学習済モデル１４１については後述する。
【0030】
【0031】
図２に示すように、推定装置１の制御方法Ｓ１は、取得工程Ｓ１１と、検出工程Ｓ１２と、特定工程Ｓ１３と、クラスタリング工程Ｓ１４と、推定工程Ｓ１５と、出力工程Ｓ１６と、を含む。
【0032】
［取得工程Ｓ１１］
取得工程Ｓ１１では、推定装置１の取得部１１は、複数の果実を撮像した撮像画像、および、当該撮像画像に対応する深度画像などの各種画像を取得する。
取得工程Ｓ１１では、推定装置１の取得部１１は、複数の果実を撮像した撮像画像、および、当該撮像画像に対応する深度画像などの各種画像を取得する。
【0033】
【0034】
取得部１１は、画像カメラなどの撮像部として機能し、複数の果実Ｃ１～Ｃ６を撮像することにより、内包領域Ａ１～Ａ６が検出されておらず、対象領域Ｂ１が特定されていない状態の撮像画像Ｉ１を取得する。また、取得部１１は、デプスカメラなどの撮像部としても機能し、複数の果実Ｃ１～Ｃ６を撮像することにより、対象領域Ｂ５がマッピングされていない状態の深度画像Ｉ２を取得する。
【0035】
取得部１１は、推定装置１の外部の画像カメラなどから、複数の果実Ｃ１～Ｃ６を撮像が撮像されており、内包領域Ａ１～Ａ６が検出されておらず、対象領域Ｂ１が特定されていない状態の撮像画像Ｉ１を取得してもよい。また、取得部１１は、推定装置１の外部のデプスカメラなどから、複数の果実Ｃ１～Ｃ６が撮像されており、対象領域Ｂ５がマッピングされていない状態の深度画像Ｉ２を取得してもよい。
【0036】
［検出工程Ｓ１２］
検出工程Ｓ１２では、推定装置１の検出部１２１は、複数の果実を撮像した撮像画像において、各果実を内包する内包領域をそれぞれ検出する。
検出工程Ｓ１２では、推定装置１の検出部１２１は、複数の果実を撮像した撮像画像において、各果実を内包する内包領域をそれぞれ検出する。
【0037】
（検出工程Ｓ１２の一例）
以下、図３を用いて検出工程Ｓ１２の一例について説明する。
以下、図３を用いて検出工程Ｓ１２の一例について説明する。
【0038】
図３に示すように、複数の果実Ｃ１～Ｃ６を撮像した撮像画像Ｉ１は、ＲＧＢ画像（ＲＧＢ画像情報）であってもよい。これにより、推定装置１のクラスタリング部１２３は、後述のクラスタリング工程Ｓ１４において、撮像画像Ｉ１における各画素に対応する色情報および輝度情報の少なくとも一方をさらに用いてクラスタリングを行うことができる。その結果、推定装置１は、撮像画像Ｉ１上の重なった果実Ｃ１とＣ２とを、個々の果実Ｃ１およびＣ２としてより効率的に識別することができる。
【0039】
また、図３に示すように、果実Ｃ１～Ｃ６は、果菜類または果樹類の果実であってもよい。果菜類の果実としては、例えば、イチゴ、トマト、パプリカ、ピーマン、ナスおよびこれらと同系統（例えば、イチゴ系）の果実などが挙げられる。果樹類の果実としては、例えば、ミカン、ブルーベリーおよびこれらと同系統（例えば、ミカン系）の果実などが挙げられる。推定装置１は、撮像画像Ｉ１上に果菜類または果樹類の果実のような、小さくて互いの距離が近い果実Ｃ１とＣ２とが重なっていても、当該果実を高精度かつ効率的に個々の果実Ｃ１およびＣ２として識別することができる。
【0040】
検出部１２１は、学習済モデル１４１を用いて、撮像画像Ｉ１における内包領域Ａ１～Ａ６を検出してもよい。
【0041】
学習済モデル１４１は、複数の果実を撮像した学習画像（学習画像情報）と、当該学習画像において各果実を内包する内包領域（内包領域情報）との組を教師データとして機械学習させることによって生成されたものである。内包領域は、例えば、人手により指定される。当該内包領域には、学習画像上の座標などの位置情報が紐づけられている。
【0042】
検出部１２１は、学習済モデル１４１に撮像画像Ｉ１を入力することによって、学習済モデル１４１から出力される内包領域Ａ１～Ａ６を検出する。すなわち、検出部１２１は、内包領域Ａ１～Ａ６に内包される果実Ｃ１～Ｃ６に対応する各画素の位置情報を検出する。このように、検出部１２１は、学習済モデル１４１を用いることにより、内包領域Ａ１～Ａ６を高精度かつ効率的に検出することができる。
【0043】
また、上述の例では、内包領域Ａ１～Ａ６の形状は矩形だが、本実施形態では、内包領域の形状は各果実を内包していれば特に限定されず、例えば、円形であってもよい。ただし、内包領域の形状は、矩形であることにより各果実を内包しやすく、推定装置１の特定部１２２によって対象領域が特定されやすい。
【0044】
［特定工程Ｓ１３］
特定工程Ｓ１３では、推定装置１の特定部１２２は、内包領域同士が重なり合っている領域を含む対象領域を特定する。
特定工程Ｓ１３では、推定装置１の特定部１２２は、内包領域同士が重なり合っている領域を含む対象領域を特定する。
【0045】
（特定工程Ｓ１３の一例）
以下、図３を用いて特定工程Ｓ１３の一例について説明する。
以下、図３を用いて特定工程Ｓ１３の一例について説明する。
【0046】
まず、特定部１２２は、内包領域のそれぞれについて当該内包領域と重なり合っている他の内包領域の存在の有無を判定し、当該他の内包領域が存在すると判定した場合、当該他の内包領域を特定する。
【0047】
例えば、特定部１２２は、以下の表１に示す内包領域同士の重なりの関係のように、図３の内包領域Ａ１～Ａ６のそれぞれついて当該内包領域と重なり合っている他の内包領域の存在の有無を判定する。特定部１２２は、当該他の内包領域が存在すると判定した場合、当該他の内包領域を特定する。
【0048】
【表1】
【0049】
次に、特定部１２２は、内包領域のそれぞれについて当該内包領域と重なり合っている他の内包領域を参照し、内包領域同士が重なっている領域を含む対象領域を特定する。
【0050】
例えば、特定部１２２は、表１に示す内包領域同士の重なりの関係を参照し、内包領域Ａ１およびＡ２同士が重なっている領域を含む対象領域Ｂ１を特定する。同様に、特定部１２２は、内包領域Ａ４およびＡ５同士が重なっている領域を含む対象領域Ｂ２を特定する。図３に示す例では、内包領域Ａ５は内包領域Ａ４に内包されているため、対象領域Ｂ２は内包領域Ａ５と同一である。特定部１２２は、内包領域Ａ４およびＡ６同士が重なっている領域を含む対象領域Ｂ３を特定する。図３に示す例では、内包領域Ａ６は内包領域Ａ４に内包されているため、対象領域Ｂ３は内包領域Ａ６と同一である。特定部１２２は、内包領域Ａ４～Ａ６同士が重なっている領域を含む対象領域Ｂ４を特定する。
【0051】
すなわち、特定部１２２は、対象領域Ｂ１～Ｂ４に対応する各画素の位置情報を特定する。図３に示すように、特定部１２２は、内包領域同士が重なり合っている領域を対象領域Ｂ１～Ｂ４として特定してもよい。
【0052】
これにより、特定部１２２は、イチゴのような、サイズが小さく、果実同士が密接する、撮像画像上の重なった果実であっても、当該果実を含む内包領域同士の重なりの関係、すなわち、撮像画像上の果実同士の重なりの関係をユーザに認識させることができる。また、特定部１２２は、各内包領域のうち、各内包領域に対して重なりがある内包領域、すなわち、撮像画像上の各果実に対して重なりがある果実のみを特定することができる。特に、特定部１２２は、サイズが小さいイチゴなどの果実のうち、撮像画像上の複数の果実と重なって、当該複数の果実の背後に隠れている果実を効果的に特定することができる。
【0053】
また、後述のクラスタリング工程Ｓ１４において、推定装置１のクラスタリング部１２３は、対象領域Ｂ１～Ｂ４のみをクラスタリングすることができる。その結果、クラスタリング部１２３が重なっていない内包領域を含めてクラスタリングする場合に比べて、推定装置１の推定部１２４は、個々の果実Ｃ１、Ｃ２およびＣ４～Ｃ６をより効率的に識別することができる。
【0054】
上述の例に示すように、特定部１２２は、２つの内包領域が重なり合っている領域を１つの対象領域Ｂ１、Ｂ２およびＢ３として特定してもよいし、３つ以上の内包領域が重なり合っている領域を１つの対象領域Ｂ４として特定してもよい。この場合も、特定部１２２は、同様の方法により対象領域を特定できる。
【0055】
また、特定部１２２は、内包領域同士の重なり度合いを特定してもよい。例えば、特定部１２２は、内包領域Ａ１～Ａ６の各内包領域同士の重なり度合いを示す指標であるＩｏＵ（Intersection over Union）を特定してもよい。
【0056】
特定部１２２は、ある内包領域に２以上の内包領域が重なっていても、ある内包領域に対して重なっている２以上の内包領域それぞれのＩｏＵを特定してもよい。また、特定部１２２は、ある内包領域に１以上の内包領域が内包される場合も、ＩｏＵを１または１００％に特定してもよい。これにより、ある内包領域よりも当該１以上の内包領域が前にあることをＩｏＵの値からユーザに認識させることができる。
【0057】
例えば、果実Ｃ５を内包する内包領域Ａ５および果実Ｃ６を内包する内包領域Ａ６が、果実Ｃ４を内包する内包領域Ａ４に内包されている場合、特定部１２２が内包領域Ａ５およびＡ６のＩｏＵを１または１００％に特定してもよい。これにより、特定部１２２は、内包領域Ａ４に２つの内包領域Ａ５およびＡ６が内包されているだけでなく、内包領域Ａ５およびＡ６が内包領域Ａ４よりも前にあることもユーザに認識させることができる。
【0058】
［クラスタリング工程Ｓ１４］
クラスタリング工程Ｓ１４では、推定装置１のクラスタリング部１２３は、特定工程Ｓ１３において特定した対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりクラスタリングする。
クラスタリング工程Ｓ１４では、推定装置１のクラスタリング部１２３は、特定工程Ｓ１３において特定した対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりクラスタリングする。
【0059】
（クラスタリング工程Ｓ１４の一例）
以下、図３および４を用いて、クラスタリング工程Ｓ１４の一例について説明する。
以下、図３および４を用いて、クラスタリング工程Ｓ１４の一例について説明する。
【0060】
クラスタリング部１２３は、対象領域Ｂ１～Ｂ４における各画素を、当該画素に対応する深度情報およびアルゴリズムを用いて機械なし学習しながらクラスタリングしてもよい。以下、クラスタリング部１２３は、対象領域Ｂ１における各画素を、クラスタリングする例について説明する。
【0061】
この場合、まず、クラスタリング部１２３は、特定部１２２が特定した撮像画像Ｉ１の対象領域Ｂ１の位置情報を、深度画像Ｉ２に対象領域Ｂ５としてマッピングする。次に、クラスタリング部１２３は、深度画像Ｉ２のうち、撮像画像Ｉ１の対象領域Ｂ１に対応する対象領域Ｂ５から深度情報を取得し、当該深度情報を用いてクラスタリングしてもよい。これにより、クラスタリング部１２３は、効率的にクラスタリングすることができる。
【0062】
深度画像Ｉ２は、黒色が０階調、白色が２５５階調として表されており、深度情報が示す、深度画像Ｉ２を取得するデプスカメラなどの撮像部から果実への距離である深度が深いほど白色に近づいている。図４に示す例では、果実Ｃ２に対応する領域が、果実Ｃ１に対応する領域よりも白いため、果実Ｃ２に対応する領域のほうが、果実Ｃ１に対応する領域よりも深度が深い。
【0063】
クラスタリング部１２３は、対象領域Ｂ１における各画素を、果実Ｃ１に対応する領域と、図４において果実Ｃ１の領域よりも白く表されている、果実Ｃ２に対応する領域とにクラスタリングする。すなわち、クラスタリング部１２３は、対象領域Ｂ１における各画素を、果実Ｃ１に対応する領域と、果実Ｃ１よりも深度が深く、果実Ｃ１の後ろにある果実Ｃ２に対応する領域との２つの領域にクラス分けする。これにより、クラスタリング部１２３は、対象領域Ｂ１における各画素を効率的にクラスタリングすることができる。
【0064】
クラスタリング部１２３は、各画素に対応する色情報および輝度情報の少なくとも一方をさらに用いてクラスタリングしてもよい。この場合、図４に示す撮像画像Ｉ１がＲＧＢ画像であれば、クラスタリング部１２３は、当該ＲＧＢ画像から対象領域Ｂ１における各画素に対応する色情報および輝度情報の少なくとも一方を取得してもよい。
【0065】
このように、クラスタリング部１２３は、各画素に対応する色情報および輝度情報の少なくとも一方をさらに用いることにより、対象領域Ｂ１における各画素を、より高精度にクラスタリングできる。その結果、推定部１２４は、撮像画像Ｉ１上の重なった果実Ｃ１とＣ２とを、より高精度に個々の果実Ｃ１およびＣ２として識別することができる。
【0066】
また、上述の色情報は、スーパーピクセルに対応する色情報であってもよい。すなわち、クラスタリング部１２３は、スーパーピクセルに対応する色情報をクラスタリングに用いてもよい。
【0067】
以下、図５を用いて、クラスタリング部１２３がスーパーピクセルに対応する色情報をクラスタリングに用いる例について説明する。図５は、スーパーピクセルの一例を示す図である。図５は、説明のための図にすぎず、通常は表示部１３１には表示されない。
【0068】
図５に示すスーパーピクセルＣ１α、Ｃ１β、Ｃ１γ、Ｃ１δ、Ｃ２α、Ｃ２β、Ｃ２γおよびＣ２δは、対象領域Ｂ１における色やテクスチャが類似する画素をグルーピングした小領域である。クラスタリング部１２３は、スーパーピクセルＣ１α、Ｃ１β、Ｃ１γ、Ｃ１δ、Ｃ２α、Ｃ２β、Ｃ２γおよびＣ２δをさらに参照して、果実Ｃ１に対応する領域と、果実Ｃ２に対応する領域とに分ける。
【0069】
例えば、クラスタリング部１２３は、図５の１点鎖線により示される、これらのスーパーピクセルのいずれかの境界を、果実Ｃ１に対応する領域と果実Ｃ２に対応する領域との境界に決定することにより、これらの領域を分ける。その結果、クラスタリング部１２３は、対象領域Ｂ１における各画素をさらに高精度にクラスタリングすることができる。
【0070】
［推定工程Ｓ１５］
推定工程Ｓ１５では、推定装置１の推定部１２４は、クラスタリング工程Ｓ１４におけるクラスタリングの結果に基づいて、対象領域における果実間の境界を推定する。
推定工程Ｓ１５では、推定装置１の推定部１２４は、クラスタリング工程Ｓ１４におけるクラスタリングの結果に基づいて、対象領域における果実間の境界を推定する。
【0071】
【0072】
推定部１２４は、クラスタリング部１２３によるクラスタリングの結果に基づいて、対象領域Ｂ１における果実Ｃ１およびＣ２間の境界Ｄ１を推定する。例えば、推定部１２４は、クラスタリング部１２３によってクラスタリングされた果実Ｃ１に対応する領域と果実Ｃ２に対応する領域との境界を、果実Ｃ１およびＣ２間の境界Ｄ１であると推定する。すなわち、推定部１２４は、境界Ｄ１の座標などの位置情報を推定する。
【0073】
ここで、特許文献１のような、ルールベースにより色情報のみに基づいて撮像画像における重なった果実の領域を分離し、撮像画像上の個々の果実間の境界を推定する技術は、イチゴおよびトマトなど、同じ色の果実を個々の果実として高精度に識別できない。また、特許文献１のような技術は、施設園芸および撮像画像上で果実が重なっているような複雑な環境では、撮像画像上の重なった果実を個々の果実として高精度に識別できない。
【0074】
特許文献２のような、収穫時期の果実などの対象物に投光し、対象物から反射された反射光を撮像した撮像画像の色情報および輝度情報のみに基づき、重なった対象物の位置関係を推定する技術は、対象物の中心部の位置に基づいて当該位置関係を推定する。そのため、特許文献２のような技術は、対象物間の境界を高精度に推定できず、撮像画像上の他方の果実と重なって隠れた果実を個々の果実として高精度に識別できない。
【0075】
また、収穫時期の果実などの対象物のみの位置関係を推定することを想定した特許文献２のような技術は、イチゴのような、サイズが小さく、様々な形状を有し、果実同士が密接する、撮像画像上の重なった果実を個々の果実として高精度に識別できない。そのため、特許文献２のような技術は、果実が小さい時期から個々の果実の温度や色を計測して個々の果実をモニタリングし、果実の収穫時期や収量を高精度に計測することができない。
【0076】
特許文献３のような、深度画像から検出した所定の深度以下の画素の領域間の境界に果実などの収穫対象物の幾何学的形状をパターンマッチングさせ、収穫対象物間の境界を推定する技術は、撮像画像上の重なった果実を個々の果実として効率的に識別できない。
【0077】
また、特許文献３のような技術は、特徴点に基づいて収穫対象物間の境界を推定するため、収穫対象物が小さい果実である場合、果実間の境界ではないにもかかわらず、深度に差があれば果実間の境界として推定してしまう。そのため、特許文献３のような技術は、撮像画像上の果実を個々の果実として高精度に推定できない。
【0078】
これに対し、推定部１２４は、クラスタリングの結果に基づいて果実Ｃ１およびＣ２間の境界Ｄ１を推定することにより、撮像画像Ｉ１上の重なった果実Ｃ１とＣ２とを高精度かつ効率的に個々の果実Ｃ１およびＣ２として識別することができる。
【0079】
また、推定部１２４は、果実Ｃ１およびＣ２のように、サイズが小さく、様々な形状を有し、果実同士が密接しやすいイチゴなどの果実であっても、撮像画像Ｉ１上の重なった果実Ｃ１とＣ２とを高精度かつ効率的に個々の果実Ｃ１およびＣ２として識別できる。
【0080】
［出力工程Ｓ１６］
出力工程Ｓ１６では、推定装置１の出力部１３は、推定工程Ｓ１５における推定結果である、対象領域における果実間の境界を表示部１３１に表示させる。
出力工程Ｓ１６では、推定装置１の出力部１３は、推定工程Ｓ１５における推定結果である、対象領域における果実間の境界を表示部１３１に表示させる。
【0081】
（出力工程Ｓ１６の一例）
以下、図６を用いて出力工程Ｓ１６の一例について説明する。図６に示すように、出力部１３は、果実Ｃ１およびＣ２間の境界Ｄ１が破線、点線または鎖線などの識別可能な線によって視覚化された対象領域Ｂ１を表示部１３１に表示させる。
以下、図６を用いて出力工程Ｓ１６の一例について説明する。図６に示すように、出力部１３は、果実Ｃ１およびＣ２間の境界Ｄ１が破線、点線または鎖線などの識別可能な線によって視覚化された対象領域Ｂ１を表示部１３１に表示させる。
【0082】
＜実施形態２＞
本発明の一態様に係る推定装置は、実施形態２に係る推定装置１αのように、重なり合っている内包領域同士を結合した領域を対象領域として特定してもよい。
本発明の一態様に係る推定装置は、実施形態２に係る推定装置１αのように、重なり合っている内包領域同士を結合した領域を対象領域として特定してもよい。
【0083】
以下、図７～９を用いて、実施形態２について説明する。説明の便宜上、上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【0084】
〔推定装置１α〕
図７は、実施形態２に係る推定装置１αの構成の一例を示すブロック図である。図７に示すように、推定装置１αは、実施形態１における制御部１２の代わりに制御部１２αを備える。この点以外、推定装置１αは実施形態１に係る推定装置１と同様の構成である。
図７は、実施形態２に係る推定装置１αの構成の一例を示すブロック図である。図７に示すように、推定装置１αは、実施形態１における制御部１２の代わりに制御部１２αを備える。この点以外、推定装置１αは実施形態１に係る推定装置１と同様の構成である。
【0085】
［制御部１２α］
制御部１２αは、実施形態１における特定部１２２と、クラスタリング部１２３との代わりに、特定部１２２αと、クラスタリング部１２３αと、を備える。この点以外、制御部１２αは、実施形態１における制御部１２と同様の構成である。
制御部１２αは、実施形態１における特定部１２２と、クラスタリング部１２３との代わりに、特定部１２２αと、クラスタリング部１２３αと、を備える。この点以外、制御部１２αは、実施形態１における制御部１２と同様の構成である。
【0086】
（特定部１２２α）
特定部１２２αは、重なり合っている内包領域同士を結合した領域を対象領域として特定する。
特定部１２２αは、重なり合っている内包領域同士を結合した領域を対象領域として特定する。
【0087】
（クラスタリング部１２３α）
クラスタリング部１２３αは、特定部１２２αが特定した対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりクラスタリングする。
クラスタリング部１２３αは、特定部１２２αが特定した対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりクラスタリングする。
【0088】
【0089】
図８に示すように、推定装置１αの制御方法Ｓ２は、取得工程Ｓ２１と、検出工程Ｓ２２と、特定工程Ｓ２３と、クラスタリング工程Ｓ２４と、推定工程Ｓ２５と、出力工程Ｓ２６と、を含む。
【0090】
取得工程Ｓ２１、検出工程Ｓ２２、推定工程Ｓ２５および出力工程Ｓ２６は、それぞれ、実施形態１における取得工程Ｓ１１、検出工程Ｓ１２、推定工程Ｓ１５および出力工程Ｓ１６と同様である。
【0091】
［特定工程Ｓ２３］
特定工程Ｓ２３では、推定装置１αの特定部１２２αは、重なり合っている内包領域同士を結合した領域を対象領域として特定する。
特定工程Ｓ２３では、推定装置１αの特定部１２２αは、重なり合っている内包領域同士を結合した領域を対象領域として特定する。
【0092】
【0093】
特定部１２２αは、重なり合う内包領域Ａ１およびＡ２同士を結合した領域を対象領域Ｂ１αとして特定する。また、特定部１２２αは、重なり合う内包領域Ａ４～Ａ６同士を結合した領域を対象領域Ｂ４αとして特定する。
【0094】
［クラスタリング工程Ｓ２４］
クラスタリング工程Ｓ２４では、推定装置１αのクラスタリング部１２３αは、特定工程Ｓ２３において特定した対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりクラスタリングする。
クラスタリング工程Ｓ２４では、推定装置１αのクラスタリング部１２３αは、特定工程Ｓ２３において特定した対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりクラスタリングする。
【0095】
（クラスタリング工程Ｓ２４の一例）
以下、図９を用いて、クラスタリング工程Ｓ２４の一例について説明する。クラスタリング部１２３αは、重なり合っている内包領域Ａ１およびＡ２同士を結合した対象領域Ｂ１αおよびＢ４αをクラスタリングする。その結果、クラスタリング部１２３αが内包領域Ａ１およびＡ２同士が重なり合っている対象領域Ｂ１～Ｂ４のみをクラスタリングする場合に比べて、推定装置１αの推定部１２４は、個々の果実Ｃ１、Ｃ２およびＣ４～Ｃ６をより高精度に識別できる。
以下、図９を用いて、クラスタリング工程Ｓ２４の一例について説明する。クラスタリング部１２３αは、重なり合っている内包領域Ａ１およびＡ２同士を結合した対象領域Ｂ１αおよびＢ４αをクラスタリングする。その結果、クラスタリング部１２３αが内包領域Ａ１およびＡ２同士が重なり合っている対象領域Ｂ１～Ｂ４のみをクラスタリングする場合に比べて、推定装置１αの推定部１２４は、個々の果実Ｃ１、Ｃ２およびＣ４～Ｃ６をより高精度に識別できる。
【0096】
また、クラスタリング部１２３αは、重なり合っていない内包領域Ａ３をさらに用いてクラスタリングしてもよい。これにより、クラスタリング部１２３αは、より多くの情報を用いて、より高精度にクラスタリングすることができる。その結果、推定部１２４は、個々の果実Ｃ１、Ｃ２およびＣ４～Ｃ６をより高精度に識別することができる。
【0097】
＜実施形態３＞
本発明の一態様に係る推定装置は、実施形態３に係る推定装置１βのように、果実間の境界に基づいて、対象領域を個々の果実に対応する領域に分離してもよい。また、本発明の一態様に係る推定装置は、実施形態３に係る推定装置１βのように、個々の果実に対応する領域内の各画素に対応する色情報に基づき、個々の果実の収穫時期および収量の少なくとも一方を予測してもよい。
本発明の一態様に係る推定装置は、実施形態３に係る推定装置１βのように、果実間の境界に基づいて、対象領域を個々の果実に対応する領域に分離してもよい。また、本発明の一態様に係る推定装置は、実施形態３に係る推定装置１βのように、個々の果実に対応する領域内の各画素に対応する色情報に基づき、個々の果実の収穫時期および収量の少なくとも一方を予測してもよい。
【0098】
以下、図１０～１２を用いて、実施形態３について説明する。説明の便宜上、上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【0099】
〔推定装置１β〕
図１０は、実施形態３に係る推定装置１βの構成の一例を示すブロック図である。図１０に示すように、推定装置１βは、実施形態１における制御部１２と、出力部１３との代わりに、制御部１２βと、出力部１３βと、を備える。この点以外、推定装置１βは、実施形態１に係る推定装置１と同様の構成である。
図１０は、実施形態３に係る推定装置１βの構成の一例を示すブロック図である。図１０に示すように、推定装置１βは、実施形態１における制御部１２と、出力部１３との代わりに、制御部１２βと、出力部１３βと、を備える。この点以外、推定装置１βは、実施形態１に係る推定装置１と同様の構成である。
【0100】
［制御部１２β］
制御部１２βは、分離部１２５と、予測部１２６と、をさらに備える。この点以外、制御部１２βは、実施形態１における制御部１２と同様の構成である。
制御部１２βは、分離部１２５と、予測部１２６と、をさらに備える。この点以外、制御部１２βは、実施形態１における制御部１２と同様の構成である。
【0101】
（分離部１２５）
分離部１２５は、推定部１２４が推定した果実間の境界に基づいて、対象領域を個々の果実に対応する領域に分離する。
分離部１２５は、推定部１２４が推定した果実間の境界に基づいて、対象領域を個々の果実に対応する領域に分離する。
【0102】
（予測部１２６）
予測部１２６は、個々の果実に対応する領域内の各画素に対応する色情報に基づき、個々の果実の収穫時期および収量の少なくとも一方を予測する。
予測部１２６は、個々の果実に対応する領域内の各画素に対応する色情報に基づき、個々の果実の収穫時期および収量の少なくとも一方を予測する。
【0103】
［出力部１３β］
出力部１３βは、予測部１２６が予測した予測結果を表示部１３１βにさらに出力する。この点以外、出力部１３βは、実施形態１における出力部１３と同様の構成である。
出力部１３βは、予測部１２６が予測した予測結果を表示部１３１βにさらに出力する。この点以外、出力部１３βは、実施形態１における出力部１３と同様の構成である。
【0104】
（表示部１３１β）
表示部１３１βは、予測部１２６が予測した予測結果をさらに表示する。この点以外、表示部１３１βは、実施形態１における表示部１３１と同様の構成である。
表示部１３１βは、予測部１２６が予測した予測結果をさらに表示する。この点以外、表示部１３１βは、実施形態１における表示部１３１と同様の構成である。
【0105】
【0106】
図１１に示すように、推定装置１βの制御方法Ｓ３は、取得工程Ｓ３１と、検出工程Ｓ３２と、特定工程Ｓ３３と、クラスタリング工程Ｓ３４と、推定工程Ｓ３５と、分離工程Ｓ３６と、予測工程Ｓ３７と、出力工程Ｓ３８と、を含む。
【0107】
取得工程Ｓ３１、検出工程Ｓ３２、特定工程Ｓ３３、クラスタリング工程Ｓ３４および推定工程Ｓ３５は、それぞれ、実施形態１における取得工程Ｓ１１、検出工程Ｓ１２、特定工程Ｓ１３、クラスタリング工程Ｓ１４および推定工程Ｓ１５と同様である。
【0108】
［分離工程Ｓ３６］
分離工程Ｓ３６では、推定装置１βの分離部１２５は、推定工程Ｓ３５において推定装置１βの推定部１２４が推定した果実間の境界に基づいて、対象領域を個々の果実に対応する領域に分離する。
分離工程Ｓ３６では、推定装置１βの分離部１２５は、推定工程Ｓ３５において推定装置１βの推定部１２４が推定した果実間の境界に基づいて、対象領域を個々の果実に対応する領域に分離する。
【0109】
【0110】
分離部１２５は、果実Ｃ１およびＣ２間の境界Ｄ１に基づいて、グラフカット、ランダムウォーカー分割およびトリミングなどの領域分割法を用いて、対象領域Ｂ１を、果実Ｃ１に対応する領域と、果実Ｃ２に対応する領域とに分離する。これにより、撮像画像Ｉ１上の重なった果実を破壊することなく、個々の果実に対応する領域に分離できる。
【0111】
［予測工程Ｓ３７］
予測工程Ｓ３７では、推定装置１βの予測部１２６は、個々の果実に対応する領域内の各画素に対応する色情報に基づき、個々の果実の収穫時期および収量の少なくとも一方を予測する。
予測工程Ｓ３７では、推定装置１βの予測部１２６は、個々の果実に対応する領域内の各画素に対応する色情報に基づき、個々の果実の収穫時期および収量の少なくとも一方を予測する。
【0112】
（予測工程Ｓ３７の一例）
以下、図１１を用いて予測工程Ｓ３７の一例について説明する。
以下、図１１を用いて予測工程Ｓ３７の一例について説明する。
【0113】
まず、予測部１２６は、ＲＧＢ画像である撮像画像Ｉ１から、果実Ｃ１に対応する領域（果実に対応する領域）Ｂ１Ｘ内の各画素に対応する色情報、および、果実Ｃ２に対応する領域（果実に対応する領域）Ｂ１Ｙ内の各画素に対応する色情報を取得する。
【0114】
次に、予測部１２６は、果実Ｃ１に対応する領域Ｂ１Ｘ内の各画素に対応する色情報、および、果実Ｃ２に対応する領域Ｂ１Ｙ内の各画素に対応する色情報に基づき、果実Ｃ１およびＣ２の熟度をそれぞれ評価する。
【0115】
例えば、予測部１２６は、白色の果実の熟度を０、真っ赤な果実の熟度を５と仮定し、個々の果実に対応する領域内の各画素が占める赤色の割合、濃さおよび均一度などに基づき、果実Ｃ１の熟度を３、果実Ｃ２の熟度を３．２と評価する。赤色の均一度については、予測部１２６は、各果実に対応する領域内のスーパーピクセルの数が少ないほど、赤色の均一度が高く、果実の熟度が高いと評価する。
【0116】
続いて、予測部１２６は、果実Ｃ１およびＣ２の熟度に基づき、個々の果実Ｃ１およびＣ２の収穫時期および収量の少なくとも一方を予測する。この場合、予測部１２６は、果実の熟度が高いほど収穫時期が早いと予測する。例えば、予測部１２６は、果実Ｃ１の熟度が３、果実Ｃ２の熟度が３．２である場合、果実Ｃ１の収穫時期を明後日、果実Ｃ２の収穫時期を明日であると予測する。このように、予測部１２６が果実Ｃ１およびＣ２の色情報や熟度を参照することにより、個々の果実の収穫時期や収量を高精度に予測できる。
【0117】
［出力工程Ｓ３８］
出力工程Ｓ３８では、出力部１３γは、予測工程Ｓ３７において予測部１２６が予測した予測結果を表示部１３１βにさらに出力する。
出力工程Ｓ３８では、出力部１３γは、予測工程Ｓ３７において予測部１２６が予測した予測結果を表示部１３１βにさらに出力する。
【0118】
（出力工程Ｓ３８の一例）
出力部１３γは、果実Ｃ１の収穫時期が明後日、果実Ｃ２の収穫時期が明日であるという収穫時期の予測結果を表示部１３１βに表示させる。出力部１３γは、果実Ｃ１およびＣ２の収穫時期を表示部１３１βに出力する代わりにまたは加えて音声出力してもよい。
出力部１３γは、果実Ｃ１の収穫時期が明後日、果実Ｃ２の収穫時期が明日であるという収穫時期の予測結果を表示部１３１βに表示させる。出力部１３γは、果実Ｃ１およびＣ２の収穫時期を表示部１３１βに出力する代わりにまたは加えて音声出力してもよい。
【0119】
＜実施形態４＞
本発明の一態様に係る推定装置は、実施形態４に係る推定装置１γのように、温度情報にさらに基づいて個々の果実の収穫時期および収量の少なくとも一方を予測してもよい。
本発明の一態様に係る推定装置は、実施形態４に係る推定装置１γのように、温度情報にさらに基づいて個々の果実の収穫時期および収量の少なくとも一方を予測してもよい。
【0120】
以下、図１３～１６を用いて、実施形態４について説明する。説明の便宜上、上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【0121】
〔推定装置１γ〕
図１３は、実施形態４に係る推定装置１γの構成の一例を示すブロック図である。図１３に示すように、推定装置１γは、実施形態３における取得部１１と、制御部１２βとの代わりに、取得部１１γと、制御部１２γと、を備える。この点以外、推定装置１γは、実施形態３に係る推定装置１βと同様の構成である。
図１３は、実施形態４に係る推定装置１γの構成の一例を示すブロック図である。図１３に示すように、推定装置１γは、実施形態３における取得部１１と、制御部１２βとの代わりに、取得部１１γと、制御部１２γと、を備える。この点以外、推定装置１γは、実施形態３に係る推定装置１βと同様の構成である。
【0122】
[取得部１１γ]
取得部１１γは、撮像画像に対応する熱画像をさらに取得する。
取得部１１γは、撮像画像に対応する熱画像をさらに取得する。
【0123】
［制御部１２γ］
制御部１２γは、測定部１２７をさらに備え、予測部１２６の代わりに予測部１２６γを備える。この点以外、制御部１２γは、実施形態３における制御部１２βと同様の構成である。
制御部１２γは、測定部１２７をさらに備え、予測部１２６の代わりに予測部１２６γを備える。この点以外、制御部１２γは、実施形態３における制御部１２βと同様の構成である。
【0124】
（測定部１２７）
測定部１２７は、果実間の境界および熱画像に基づき、個々の果実の温度を測定する。
測定部１２７は、果実間の境界および熱画像に基づき、個々の果実の温度を測定する。
【0125】
（予測部１２６γ）
予測部１２６γは、測定部１２７が測定した個々の果実の温度が示す温度情報にさらに基づき、個々の果実の収穫時期および収量の少なくとも一方を予測する。
〔推定装置１γの制御方法Ｓ４〕
次に、図１４および１５を用いて実施形態４に係る推定装置１γの制御方法Ｓ４を説明する。図１４は、実施形態４に係る推定装置１γの制御方法Ｓ４の一例を示すフロー図である。
予測部１２６γは、測定部１２７が測定した個々の果実の温度が示す温度情報にさらに基づき、個々の果実の収穫時期および収量の少なくとも一方を予測する。
〔推定装置１γの制御方法Ｓ４〕
次に、図１４および１５を用いて実施形態４に係る推定装置１γの制御方法Ｓ４を説明する。図１４は、実施形態４に係る推定装置１γの制御方法Ｓ４の一例を示すフロー図である。
【0126】
図１４に示すように、推定装置１γの制御方法Ｓ４は、取得工程Ｓ４１と、検出工程Ｓ４２と、特定工程Ｓ４３と、クラスタリング工程Ｓ４４と、推定工程Ｓ４５と、分離工程Ｓ４６と、測定工程Ｓ４７と、予測工程Ｓ４８と、出力工程Ｓ４９と、を含む。
【0127】
検出工程Ｓ４２、特定工程Ｓ４３、クラスタリング工程Ｓ４４、推定工程Ｓ４５、分離工程Ｓ４６および出力工程Ｓ４９は、それぞれ、実施形態３における検出工程Ｓ３２、特定工程Ｓ３３、クラスタリング工程Ｓ３４、推定工程Ｓ３５、分離工程Ｓ３６および出力工程Ｓ３８と同様である。
【0128】
[取得工程Ｓ４１]
取得工程Ｓ４１では、推定装置１γの取得部１１γは、撮像画像に対応する熱画像をさらに取得する。
取得工程Ｓ４１では、推定装置１γの取得部１１γは、撮像画像に対応する熱画像をさらに取得する。
【0129】
【0130】
取得部１１γは、赤外線を利用したサーマルカメラなどの撮像部としても機能し、複数の果実Ｃ１～Ｃ６が撮像された熱画像Ｉ３を取得する。
【0131】
サーマルカメラは、撮像画像Ｉ１を取得する画像カメラおよび深度画像Ｉ２を取得するデプスカメラ、または、撮像画像Ｉ１および深度画像Ｉ２の両方を取得するカメラなどと隣接した位置関係にあってもよい。
【0132】
これにより、熱画像Ｉ３における果実Ｃ１およびＣ２の座標と、撮像画像Ｉ１および深度画像Ｉ２における果実Ｃ１およびＣ２の座標とが、略一致するなど、熱画像Ｉ３と撮像画像Ｉ１および深度画像Ｉ２とが対応しやすくなる。その結果、測定部１２７は、撮像画像Ｉ１および深度画像Ｉ２の位置情報ならびに果実Ｃ１およびＣ２間の境界Ｄ１を熱画像Ｉ３にマッピングしやすくなり、熱画像Ｉ３における果実Ｃ１およびＣ２の温度を測定しやすくなる。
【0133】
取得部１１γは、推定装置１γの外部のサーマルカメラなどから、複数の果実Ｃ１～Ｃ６が撮像された熱画像Ｉ３を取得してもよい。
【0134】
（測定工程Ｓ４７）
測定工程Ｓ４７では、推定装置１γの測定部１２７は、果実間の境界および熱画像に基づき、個々の果実の温度を測定する。
測定工程Ｓ４７では、推定装置１γの測定部１２７は、果実間の境界および熱画像に基づき、個々の果実の温度を測定する。
【0135】
【0136】
まず、測定部１２７は、撮像画像Ｉ１および深度画像Ｉ２の位置情報ならびに果実Ｃ１およびＣ２間の境界Ｄ１を、図１６に示す熱画像Ｉ３における対象領域Ｂ１γおよび果実Ｃ１およびＣ２間の境界Ｄ１γとして、図１５に示す熱画像Ｉ３にマッピングする。
【0137】
次に、測定部１２７は、熱画像Ｉ３の対象領域Ｂ１γにおける果実Ｃ１に対応する領域（果実に対応する領域）Ｂ１γＸ、および、果実Ｃ２に対応する領域（果実に対応する領域）Ｂ１γＹの温度を測定する。
【0138】
例えば、測定部１２７は、果実Ｃ１に対応する領域Ｂ１γＸ、および、果実Ｃ２に対応する領域Ｂ１γＹの階調に基づき、それぞれ、果実Ｃ１およびＣ２の温度を測定する。図１６に示す例では、果実Ｃ１のほうが白色に近く、階調値が大きいため、果実Ｃ１の温度が２１.２℃、果実Ｃ２の温度が２０．２℃など、測定部１２７による果実Ｃ１を測定温度は、果実Ｃ２の測定温度よりも高くなる。
【0139】
［予測工程Ｓ４８］
予測工程Ｓ４８では、推定装置１γの予測部１２６γは、測定工程Ｓ４７において測定部１２７が測定した個々の果実の温度が示す温度情報にさらに基づき、個々の果実の収穫時期および収量の少なくとも一方を予測する。
予測工程Ｓ４８では、推定装置１γの予測部１２６γは、測定工程Ｓ４７において測定部１２７が測定した個々の果実の温度が示す温度情報にさらに基づき、個々の果実の収穫時期および収量の少なくとも一方を予測する。
【0140】
（予測工程Ｓ４８の一例）
以下、図１６を用いて予測工程Ｓ４８の一例について説明する。
以下、図１６を用いて予測工程Ｓ４８の一例について説明する。
【0141】
予測部１２６γは、測定工程Ｓ４７において測定部１２７が測定した果実Ｃ１およびＣ２の温度が示す温度情報に基づき、果実Ｃ１およびＣ２の収穫時期を予測する。
【0142】
ここで、１日１回、測定部１２７が開花後の果実Ｃ１およびＣ２の温度をそれぞれ測定することにより、果実Ｃ１およびＣ２を継続してモニタリングし、いずれかの果実の積算温度が４００℃になったら、積算温度が４００℃になった果実を収穫すると仮定する。
【0143】
この場合、当日の測定工程Ｓ４７において、測定部１２７が測定した果実Ｃ１の温度が２１．２℃、果実Ｃ１の積算温度が３７８．８℃であれば、予測部１２６γは、果実Ｃ１の収穫予定時期が明日であると予測する。また、当日の測定工程Ｓ４７において、測定部１２７が測定した果実Ｃ２の温度が２０．２℃、果実Ｃ２の積算温度が３７７．８℃であれば、予測部１２６γは、果実Ｃ２の収穫予定時期が明後日であると予測する。
【0144】
このように、測定部１２７は、開花後、果実Ｃ１およびＣ２が小さい頃から果実Ｃ１およびＣ２の温度を測定することによって果実Ｃ１およびＣ２を継続してモニタリングし、果実Ｃ１およびＣ２それぞれの積算温度を算出できる。また、測定部１２７は、果実Ｃ１とＣ２とが重なっても個々の果実Ｃ１およびＣ２のそれぞれの温度を測定できる。そのため、予測部１２６γは、測定部１２７が測定した果実Ｃ１およびＣ２の温度をさらに参照することにより、個々の果実の収穫時期や収量をより高精度に予測することができる。
【0145】
上述の例から明らかなように、予測部１２６γは、個々の果実の色情報を参照せず、個々の果実の温度が示す温度情報のみに基づき、個々の果実の収穫時期および収量の少なくとも一方を予測してもよい。ただし、予測部１２６γは、個々の果実の色情報および温度情報の両方に基づき、個々の果実の収穫時期および収量の少なくとも一方を予測することにより、個々の果実の収穫時期や収量をさらに高精度に予測することができる。
【0146】
＜実施形態５＞
本発明の一態様に係る推定装置は、実施形態５に係る推定装置１δのように、撮像画像における各葉を内包する第２の内包領域が重なり合っている第２の対象領域を特定し、第２の対象領域における葉間の境界を推定してもよい。また、本発明の一態様に係る推定装置は、実施形態５に係る推定装置１δのように、葉間の境界に基づいて、第２の対象領域を個々の葉に分離して、個々の葉に対応する領域から当該葉の全体像を復元し、葉全体の面積に基づき、果実の収量を予測してもよい。
本発明の一態様に係る推定装置は、実施形態５に係る推定装置１δのように、撮像画像における各葉を内包する第２の内包領域が重なり合っている第２の対象領域を特定し、第２の対象領域における葉間の境界を推定してもよい。また、本発明の一態様に係る推定装置は、実施形態５に係る推定装置１δのように、葉間の境界に基づいて、第２の対象領域を個々の葉に分離して、個々の葉に対応する領域から当該葉の全体像を復元し、葉全体の面積に基づき、果実の収量を予測してもよい。
【0147】
以下、図１７～２３を用いて、実施形態５について説明する。説明の便宜上、上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【0148】
〔推定装置１δ〕
図１７は、実施形態５に係る推定装置１δの構成の一例を示すブロック図である。図１７に示すように、推定装置１δは、実施形態３における取得部１１と、制御部１２βと、出力部１３βと、記憶部１４との代わりに、取得部１１δと、制御部１２δと、出力部１３δと、記憶部１４δと、を備える。
図１７は、実施形態５に係る推定装置１δの構成の一例を示すブロック図である。図１７に示すように、推定装置１δは、実施形態３における取得部１１と、制御部１２βと、出力部１３βと、記憶部１４との代わりに、取得部１１δと、制御部１２δと、出力部１３δと、記憶部１４δと、を備える。
【0149】
［取得部１１δ］
取得部１１δは、複数の葉が含まれている撮像画像を取得する。この点以外、取得部１１δは、実施形態３における取得部１１と同様の構成である。
取得部１１δは、複数の葉が含まれている撮像画像を取得する。この点以外、取得部１１δは、実施形態３における取得部１１と同様の構成である。
【0150】
［制御部１２δ］
制御部１２δは、実施形態３における検出部１２１と、特定部１２２と、クラスタリング部１２３と、推定部１２４と、分離部１２５と、予測部１２６との代わりに、検出部１２１δと、特定部１２２δと、クラスタリング部１２３δと、推定部１２４δと、分離部１２５δと、予測部１２６δと、を備える。また、制御部１２δは、復元部１２８をさらに備える。
制御部１２δは、実施形態３における検出部１２１と、特定部１２２と、クラスタリング部１２３と、推定部１２４と、分離部１２５と、予測部１２６との代わりに、検出部１２１δと、特定部１２２δと、クラスタリング部１２３δと、推定部１２４δと、分離部１２５δと、予測部１２６δと、を備える。また、制御部１２δは、復元部１２８をさらに備える。
【0151】
（検出部１２１δ）
検出部１２１δは、取得部１１δが取得した撮像画像において、各葉を内包する第２の内包領域をそれぞれ検出する。この点以外、検出部１２１δは、実施形態３における検出部１２１と同様の構成である。
検出部１２１δは、取得部１１δが取得した撮像画像において、各葉を内包する第２の内包領域をそれぞれ検出する。この点以外、検出部１２１δは、実施形態３における検出部１２１と同様の構成である。
【0152】
（特定部１２２δ）
特定部１２２δは、第２の内包領域同士が重なり合っている領域を含む第２の対象領域をさらに特定する。この点以外、特定部１２２δは、実施形態３における特定部１２２と同様の構成である。
特定部１２２δは、第２の内包領域同士が重なり合っている領域を含む第２の対象領域をさらに特定する。この点以外、特定部１２２δは、実施形態３における特定部１２２と同様の構成である。
【0153】
（クラスタリング部１２３δ）
クラスタリング部１２３δは、第２の対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりさらにクラスタリングする。この点以外、クラスタリング部１２３δは、実施形態３におけるクラスタリング部１２３と同様の構成である。
クラスタリング部１２３δは、第２の対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりさらにクラスタリングする。この点以外、クラスタリング部１２３δは、実施形態３におけるクラスタリング部１２３と同様の構成である。
【0154】
（推定部１２４δ）
推定部１２４δは、クラスタリング部１２３δによるクラスタリングの結果に基づいて、第２の対象領域における葉間の境界をさらに推定する。この点以外、推定部１２４δは、実施形態３における推定部１２４と同様の構成である。
推定部１２４δは、クラスタリング部１２３δによるクラスタリングの結果に基づいて、第２の対象領域における葉間の境界をさらに推定する。この点以外、推定部１２４δは、実施形態３における推定部１２４と同様の構成である。
【0155】
（分離部１２５δ）
分離部１２５δは、推定部１２４δが推定した葉間の境界に基づいて、第２の対象領域を個々の葉にさらに分離する。この点以外、分離部１２５δは、実施形態３における分離部１２５と同様の構成である。
分離部１２５δは、推定部１２４δが推定した葉間の境界に基づいて、第２の対象領域を個々の葉にさらに分離する。この点以外、分離部１２５δは、実施形態３における分離部１２５と同様の構成である。
【0156】
（復元部１２８）
復元部１２８は、撮像画像に基づいて、個々の葉に対応する領域から、当該葉の全体像を復元する。
復元部１２８は、撮像画像に基づいて、個々の葉に対応する領域から、当該葉の全体像を復元する。
【0157】
（予測部１２６δ）
予測部１２６δは、復元部１２８によって復元された葉全体の面積に基づき、果実の収量を予測する。この点以外、予測部１２６δは、実施形態３における予測部１２６と同様の構成である。
予測部１２６δは、復元部１２８によって復元された葉全体の面積に基づき、果実の収量を予測する。この点以外、予測部１２６δは、実施形態３における予測部１２６と同様の構成である。
【0158】
［出力部１３δ］
出力部１３δは、予測部１２６δが予測した予測結果を表示部１３１δにさらに出力する。この点以外、出力部１３δは実施形態３における出力部１３βと同様の構成である。
出力部１３δは、予測部１２６δが予測した予測結果を表示部１３１δにさらに出力する。この点以外、出力部１３δは実施形態３における出力部１３βと同様の構成である。
【0159】
（表示部１３１δ）
表示部１３１δは、予測部１２６δが予測した予測結果をさらに表示する。この点以外、表示部１３１δは、実施形態３における表示部１３１βと同様の構成である。
表示部１３１δは、予測部１２６δが予測した予測結果をさらに表示する。この点以外、表示部１３１δは、実施形態３における表示部１３１βと同様の構成である。
【0160】
［記憶部１４δ］
記憶部１４δは、第２の学習済モデル１４２と、第３の学習済モデル１４３と、をさらに備える。この点以外、記憶部１４δは、実施形態３における記憶部１４と同様の構成である。第２の学習済モデル１４２および第３の学習済モデル１４３については後述する。
記憶部１４δは、第２の学習済モデル１４２と、第３の学習済モデル１４３と、をさらに備える。この点以外、記憶部１４δは、実施形態３における記憶部１４と同様の構成である。第２の学習済モデル１４２および第３の学習済モデル１４３については後述する。
【0161】
【0162】
図１８に示すように、推定装置１δの制御方法Ｓ５は、取得工程Ｓ５１と、検出工程Ｓ５２と、特定工程Ｓ５３と、クラスタリング工程Ｓ５４と、推定工程Ｓ５５と、分離工程Ｓ５６と、復元工程Ｓ５７と、予測工程Ｓ５８と、出力工程Ｓ５９と、を含む。
【0163】
[取得工程Ｓ５１]
取得工程Ｓ５１では、推定装置１δの取得部１１δは、複数の葉が含まれている撮像画像を取得する。
取得工程Ｓ５１では、推定装置１δの取得部１１δは、複数の葉が含まれている撮像画像を取得する。
【0164】
【0165】
取得部１１δは、画像カメラなどの撮像部として機能し、複数の果実Ｃ１～Ｃ６ならびに複数の葉Ｃ７およびＣ８を撮像することにより、内包領域Ａ１～Ａ６ならびに第２の内包領域Ａ７およびＡ８が検出されておらず、対象領域Ｂ１～Ｂ４およびＢ６が特定されていない状態の撮像画像Ｉ１δを取得する。また、取得部１１δは、デプスカメラなどの撮像部としても機能し、複数の果実Ｃ１～Ｃ６ならびに複数の葉Ｃ７およびＣ８を撮像することにより、対象領域Ｂ５およびＢ７がマッピングされていない状態の深度画像Ｉ２δを取得する。
【0166】
取得部１１δは、推定装置１δの外部の画像カメラなどから、複数の果実Ｃ１～Ｃ６ならびに複数の葉Ｃ７およびＣ８が撮像されており、内包領域Ａ１～Ａ６ならびに第２の内包領域Ａ７およびＡ８が検出されておらず、対象領域Ｂ１およびＢ６が特定されていない状態の撮像画像Ｉ１δを取得してもよい。また、取得部１１δは、推定装置１δの外部のデプスカメラなどから、複数の果実Ｃ１～Ｃ６ならびに複数の葉Ｃ７およびＣ８が撮像されており、対象領域Ｂ５およびＢ７がマッピングされていない状態の深度画像Ｉ２δを取得してもよい。
【0167】
取得部１１δは、図１９に示すような、葉Ｃ７およびＣ８に加え、果実Ｃ１～Ｃ６が撮像されている撮像画像Ｉ１δを取得した場合、撮像画像Ｉ１δとは別に果実Ｃ１～Ｃ６が撮像されている撮像画像を取得しなくてもよい。ただし、同一の果菜類または果樹類を撮像した撮像画像であれば、取得部１１δは、複数の葉が撮像された撮像画像と、複数の果実が撮像された画像とを別々に取得してもよい。
【0168】
［検出工程Ｓ５２］
検出工程Ｓ５２では、推定装置１δの検出部１２１δは、取得部１１δが取得した撮像画像において、各葉を内包する第２の内包領域をそれぞれ検出する。
検出工程Ｓ５２では、推定装置１δの検出部１２１δは、取得部１１δが取得した撮像画像において、各葉を内包する第２の内包領域をそれぞれ検出する。
【0169】
（検出工程Ｓ５２の一例）
以下、図１９を用いて検出工程Ｓ５２の一例について説明する。
以下、図１９を用いて検出工程Ｓ５２の一例について説明する。
【0170】
検出部１２１δは、第２の学習済モデル１４２を用いて、撮像画像Ｉ１δにおける第２の内包領域Ａ７およびＡ８を検出してもよい。
【0171】
第２の学習済モデル１４２は、複数の葉を撮像した第２の学習画像と、当該第２の学習画像において各葉を内包する第２の内包領域との組を教師データとして機械学習させることによって生成されたものである。
【0172】
検出部１２１δは、果実Ｃ１～Ｃ６を内包する内包領域Ａ１～Ａ６の検出に加え、第２の学習済モデル１４２に撮像画像Ｉ１δを入力することによって、第２の学習済モデル１４２から出力される第２の内包領域Ａ７およびＡ８を検出する。すなわち、検出部１２１δは、第２の内包領域Ａ７およびＡ８に内包される葉Ｃ７およびＣ８に対応する各画素の位置情報を検出する。このように、検出部１２１δは、第２の学習済モデル１４２を用いることにより、第２の内包領域Ａ７およびＡ８を高精度かつ効率的に検出できる。
【0173】
検出部１２１δは、撮像画像が花を含む場合、各果実を内包する内包領域および各葉を内包する第２の内包領域を検出する方法と同様の方法により、これらの内包領域に加え、各花を内包する第３の内包領域を検出してもよい。
【0174】
［特定工程Ｓ５３］
特定工程Ｓ５３では、推定装置１δの特定部１２２δは、第２の内包領域同士が重なり合っている領域を含む第２の対象領域をさらに特定する。
特定工程Ｓ５３では、推定装置１δの特定部１２２δは、第２の内包領域同士が重なり合っている領域を含む第２の対象領域をさらに特定する。
【0175】
（特定工程Ｓ５３の一例）
以下、図１９を用いて特定工程Ｓ５３の一例について説明する。
以下、図１９を用いて特定工程Ｓ５３の一例について説明する。
【0176】
特定部１２２δは、対象領域Ｂ１と同様の方法により、第２の内包領域Ａ７およびＡ８同士が重なり合っている領域を含む第２の対象領域Ｂ６をさらに特定する。すなわち、特定部１２２δは、対象領域Ｂ６に対応する各画素の位置情報を特定する。図１９に示すように、特定部１２２δは、第２の内包領域Ａ７およびＡ８同士が重なり合っている領域を対象領域Ｂ６として特定してもよい。特定部１２２δは、重なり合っている第２の内包領域Ａ７およびＡ８同士を結合した領域を対象領域として特定してもよい。
【0177】
［クラスタリング工程Ｓ５４］
クラスタリング工程Ｓ５４では、推定装置１δのクラスタリング部１２３δは、特定工程Ｓ５３において特定した第２の対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりさらにクラスタリングする。
クラスタリング工程Ｓ５４では、推定装置１δのクラスタリング部１２３δは、特定工程Ｓ５３において特定した第２の対象領域における各画素を、当該画素に対応する深度情報を用いた教師なし学習によりさらにクラスタリングする。
【0178】
【0179】
クラスタリング部１２３δは、第２の対象領域Ｂ６における各画素を、当該画素に対応する深度情報を用いてクラスタリングしてもよい。
【0180】
この場合、まず、クラスタリング部１２３δは、特定部１２２δが特定した撮像画像Ｉ１δの対象領域Ｂ６の位置情報を、深度画像Ｉ２δに対象領域Ｂ７としてマッピングする。次に、クラスタリング部１２３δは、深度画像Ｉ２δのうち、撮像画像Ｉ１δの対象領域Ｂ６に対応する対象領域Ｂ７から深度情報を取得し、当該深度情報を用いてクラスタリングする。
【0181】
深度画像Ｉ２δでは、葉Ｃ８に対応する領域が葉Ｃ７に対応する領域よりも白いため、葉Ｃ８に対応する領域のほうが、葉Ｃ７に対応する領域よりも深度が深い。そのため、クラスタリング部１２３δは、対象領域Ｂ６における各画素を、葉Ｃ７に対応する領域と、葉Ｃ８に対応する領域とにクラスタリングする。
【0182】
［推定工程Ｓ５５］
推定工程Ｓ５５では、推定装置１δの推定部１２４δは、クラスタリング工程Ｓ５４におけるクラスタリングの結果に基づいて、対象領域における葉間の境界を推定する。
推定工程Ｓ５５では、推定装置１δの推定部１２４δは、クラスタリング工程Ｓ５４におけるクラスタリングの結果に基づいて、対象領域における葉間の境界を推定する。
【0183】
【0184】
推定部１２４δは、クラスタリング部１２３δによるクラスタリングの結果に基づいて、対象領域Ｂ６における葉Ｃ７およびＣ８間の境界Ｄ２を推定する。例えば、推定部１２４δは、クラスタリング部１２３δによってクラスタリングされた葉Ｃ７に対応する領域と葉Ｃ８に対応する領域との境界を、葉Ｃ７およびＣ８間の境界Ｄ２であると推定する。すなわち、推定部１２４δは、境界Ｄ２の座標などの位置情報を推定する。これにより、推定部１２４δは、撮像画像Ｉ１δ上の重なった葉Ｃ７とＣ８とを高精度かつ効率的に個々の葉Ｃ７およびＣ８として識別することができる。
【0185】
［分離工程Ｓ５６］
分離工程Ｓ５６では、推定装置１δの分離部１２５δは、推定工程Ｓ５５において推定部１２４δが推定した葉間の境界に基づいて、第２の対象領域を個々の果実に対応する領域に分離する。
分離工程Ｓ５６では、推定装置１δの分離部１２５δは、推定工程Ｓ５５において推定部１２４δが推定した葉間の境界に基づいて、第２の対象領域を個々の果実に対応する領域に分離する。
【0186】
【0187】
分離部１２５δは、葉Ｃ７およびＣ８間の境界Ｄ１に基づき、上述の領域分割法を用いて、第２の対象領域Ｂ６を、葉Ｃ７に対応する領域Ｂ６Ｘと、葉Ｃ８に対応する領域Ｂ６Ｙとに分離する。
【0188】
［復元工程Ｓ５７］
復元工程Ｓ５７では、推定装置１δの復元部１２８は、撮像画像に基づいて、個々の葉に対応する領域から、当該葉の全体像を復元する。
復元工程Ｓ５７では、推定装置１δの復元部１２８は、撮像画像に基づいて、個々の葉に対応する領域から、当該葉の全体像を復元する。
【0189】
【0190】
まず、復元部１２８は、撮像画像Ｉ１δの画素の色情報および輝度情報に基づき、第２の内包領域Ａ８から、葉Ｃ７と重なって隠れた画素の領域を除く葉Ｃ８に対応する領域を抽出する。
【0191】
次に、復元部１２８は、記憶部１４δに記憶されている第３の学習済モデル１４３を用いて、葉Ｃ７と重なって隠れた画素の領域を除く葉Ｃ８に対応する領域から、葉Ｃ８の全体像Ｃ８δを復元する。第３の学習済モデル１４３は、他の葉と一部が重なって隠れた葉に対応する領域と、隠れていない葉に対応する領域との組を教師データとして機械学習させることにより生成されたものである。
【0192】
復元部１２８は、葉Ｃ７と重なって隠れた画素の領域を除く葉Ｃ８に対応する領域を第３の学習済モデル１４３に入力することにより、第３の学習済モデル１４３から出力される葉Ｃ８の全体像Ｃ８δを取得する。
【0193】
上述の例では、記憶部１４δに第３の学習済モデル１４３が記憶されているが、本実施形態では、記憶部１４δには、第３の学習済モデル１４３の代わりに、または加えて複数種類の所定の葉の形状情報が記憶されていてもよい。また、復元部１２８は、テンプレートマッチングの技術を用いて、葉Ｃ７と重なって隠れた画素の領域を除く葉Ｃ８に対応する領域から葉Ｃ８の全体像Ｃ８δを復元してもよい。
【0194】
この場合、復元部１２８は、記憶部１４δに記憶されている複数種類の所定の葉の形状情報のうち、葉Ｃ７と重なって隠れた画素の領域を除く葉Ｃ８に対応する領域の形状と輪郭が最も近い葉の形状情報を選択する。
【0195】
複数種類の所定の葉の形状情報としては、３６０°回転可能になっている３Ｄデータなどが挙げられる。これにより、復元部１２８は、葉Ｃ８が撮像された角度に応じて複数種類の所定の葉の形状情報を回転させ、葉Ｃ７と重なって隠れた画素の領域を除く葉Ｃ８に対応する領域と重ね合わせることができる。その結果、復元部１２８は、葉Ｃ８に対応する領域の形状と輪郭が最も近い所定の葉の形状情報を高精度に選択することができる。
【0196】
復元部１２８は、選択した所定の葉の形状情報、葉Ｃ７と重なって隠れた画素の領域を除く葉Ｃ８に対応する画素の色情報および輝度情報に基づいて、葉Ｃ７と重なって隠れた画素の領域を補完することによって、葉Ｃ８の全体像Ｃ８δを復元する。
【0197】
このように、復元部１２８は、撮像画像Ｉ１δを参照することにより、葉Ｃ８に対応する領域から、葉Ｃ８の全体像Ｃ８δを高精度に復元することができる。
【0198】
［予測工程Ｓ５７］
予測工程Ｓ５７では、推定装置１δの予測部１２６δは、復元部１２８によって復元された葉全体の面積に基づき、果実の収量を予測する。
予測工程Ｓ５７では、推定装置１δの予測部１２６δは、復元部１２８によって復元された葉全体の面積に基づき、果実の収量を予測する。
【0199】
（予測工程Ｓ５７の一例）
以下、図１９および２３を用いて予測工程Ｓ５７の一例について説明する。
以下、図１９および２３を用いて予測工程Ｓ５７の一例について説明する。
【0200】
まず、予測部１２６δは、他の葉と重なって隠れていない葉Ｃ７に関しては、撮像画像Ｉ１δにおける葉Ｃ７の画素の領域の位置情報に基づいて葉Ｃ７の面積を算出する。予測部１２６δは、葉Ｃ７と重なって一部が隠れている葉Ｃ８に関しては、撮像画像Ｉ１δにおける葉Ｃ８の画素の領域の位置情報、および、復元部１２８によって復元された葉Ｃ８の全体像Ｃ８δの画素の領域に基づいて葉Ｃ８の面積を算出する。
【0201】
次に、予測部１２６δは、葉Ｃ７とＣ８との面積の合計値、および１本の果菜類または果樹類の樹木における葉の枚数に基づき、当該樹木における葉の面積の合計値を予測する。この場合、予測部１２６δは、当該樹木における葉の枚数として、記憶部１４δにあらかじめ記憶されたものを用いてもよいし、ユーザからの入力を受け付けたものを用いてもよい。また、予測部１２６δは、検出部１２１δが検出した、当該樹木全体を撮像した撮像画像における葉の内包領域の数から、当該樹木における葉の枚数を取得してもよい。
【0202】
続いて、予測部１２６δは、葉Ｃ８のうち葉Ｃ７と重なって隠れた画素の領域の面積、および当該樹木における葉の枚数に基づき、当該樹木における葉が他の葉と重なって隠れた画素の領域の面積を予測する。また、予測部１２６δは、１本の樹木における葉の面積の合計値から、当該樹木における葉が他の葉と重なって隠れた、光合成が不可能な葉の領域の面積を減算し、当該樹木における光合成可能な葉の領域の面積の合計値を予測する。
【0203】
予測部１２６δは、１本の樹木における光合成可能な葉の領域の面積の合計値に基づき、１本の樹木における果実の収量を予測する。このように、予測部１２６δは、復元した葉の全体像の面積を参照することにより、果実の収量を高精度に予測することができる。
【0204】
［出力工程Ｓ５８］
出力工程Ｓ５８では、出力部１３δは、予測工程Ｓ５７において予測部１２６δが予測した予測結果を表示部１３１δにさらに出力する。
出力工程Ｓ５８では、出力部１３δは、予測工程Ｓ５７において予測部１２６δが予測した予測結果を表示部１３１δにさらに出力する。
【0205】
（出力工程Ｓ５８の一例）
出力部１３δは、１本の果菜類または果樹類の樹木における果実の収量を表示部１３１δに表示させてもよい。また、出力部１３δは、当該果実の収量を表示部１３１δに出力する代わりに、または加えて音声出力してもよい。
出力部１３δは、１本の果菜類または果樹類の樹木における果実の収量を表示部１３１δに表示させてもよい。また、出力部１３δは、当該果実の収量を表示部１３１δに出力する代わりに、または加えて音声出力してもよい。
【0206】
＜実施形態６＞
本発明の一態様に係る推定装置は、実施形態６に係る推定装置１εのように、撮像画像に基づいて、個々の果実に対応する領域から、当該果実の全体像を復元してもよい。
本発明の一態様に係る推定装置は、実施形態６に係る推定装置１εのように、撮像画像に基づいて、個々の果実に対応する領域から、当該果実の全体像を復元してもよい。
【0207】
以下、図２４～２６を用いて、実施形態６について説明する。説明の便宜上、上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【0208】
〔推定装置１ε〕
図２４は、実施形態６に係る推定装置１εの構成の一例を示すブロック図である。図２４に示すように、推定装置１εは、実施形態３における制御部１２βと、出力部１３βと、記憶部１４との代わりに、制御部１２εと、出力部１３εと、記憶部１４εと、を備える。この点以外、推定装置１εは、実施形態３に係る推定装置１βと同様の構成である。
図２４は、実施形態６に係る推定装置１εの構成の一例を示すブロック図である。図２４に示すように、推定装置１εは、実施形態３における制御部１２βと、出力部１３βと、記憶部１４との代わりに、制御部１２εと、出力部１３εと、記憶部１４εと、を備える。この点以外、推定装置１εは、実施形態３に係る推定装置１βと同様の構成である。
【0209】
［制御部１２ε］
制御部１２εは、第２の復元部１２８εをさらに備え、実施形態３における予測部１２６βの代わりに予測部１２６εを備える。この点以外、制御部１２εは、実施形態３における制御部１２βと同様の構成である。
制御部１２εは、第２の復元部１２８εをさらに備え、実施形態３における予測部１２６βの代わりに予測部１２６εを備える。この点以外、制御部１２εは、実施形態３における制御部１２βと同様の構成である。
【0210】
（第２の復元部１２８ε）
第２の復元部１２８εは、撮像画像に基づいて、個々の果実に対応する領域から、当該果実の全体像を復元する。
第２の復元部１２８εは、撮像画像に基づいて、個々の果実に対応する領域から、当該果実の全体像を復元する。
【0211】
（予測部１２６ε）
予測部は、果実の全体像に基づいて当該果実の品質をさらに予測する。
予測部は、果実の全体像に基づいて当該果実の品質をさらに予測する。
【0212】
［出力部１３ε］
出力部１３εは、予測部１２６εが予測した予測結果を表示部１３１εにさらに出力する。この点以外、出力部１３εは実施形態３における出力部１３βと同様の構成である。
出力部１３εは、予測部１２６εが予測した予測結果を表示部１３１εにさらに出力する。この点以外、出力部１３εは実施形態３における出力部１３βと同様の構成である。
【0213】
（表示部１３１ε）
表示部１３１εは、予測部１２６εが予測した予測結果をさらに表示する。この点以外、表示部１３１εは、実施形態３における表示部１３１βと同様の構成である。
表示部１３１εは、予測部１２６εが予測した予測結果をさらに表示する。この点以外、表示部１３１εは、実施形態３における表示部１３１βと同様の構成である。
【0214】
［記憶部１４ε］
記憶部１４εは、第４の学習済モデル１４４と、複数種類の所定の果実の形状情報と、をさらに備える。この点以外、記憶部１４εは、実施形態３における記憶部１４と同様の構成である。第４の学習済モデル１４４および複数種類の所定の果実の形状情報については後述する。
記憶部１４εは、第４の学習済モデル１４４と、複数種類の所定の果実の形状情報と、をさらに備える。この点以外、記憶部１４εは、実施形態３における記憶部１４と同様の構成である。第４の学習済モデル１４４および複数種類の所定の果実の形状情報については後述する。
【0215】
【0216】
図２５に示すように、推定装置１εの制御方法Ｓ６は、取得工程Ｓ６１と、検出工程Ｓ６２と、特定工程Ｓ６３と、クラスタリング工程Ｓ６４と、推定工程Ｓ６５と、分離工程Ｓ６６と、第２の復元工程Ｓ６７と、予測工程Ｓ６８と、出力工程Ｓ６９と、を含む。
【0217】
取得工程Ｓ６１と、検出工程Ｓ６２、特定工程Ｓ６３、クラスタリング工程Ｓ６４、推定工程Ｓ６５および分離工程Ｓ６６は、それぞれ、実施形態３における取得工程Ｓ３１、検出工程Ｓ３２、特定工程Ｓ３３、クラスタリング工程Ｓ３４、推定工程Ｓ３５および分離工程Ｓ３６と同様である。
【0218】
［第２の復元工程Ｓ６７］
第２の復元工程Ｓ６７では、推定装置１εの第２の復元部１２８εは、撮像画像に基づいて、個々の果実に対応する領域から、当該果実の全体像を復元する。
第２の復元工程Ｓ６７では、推定装置１εの第２の復元部１２８εは、撮像画像に基づいて、個々の果実に対応する領域から、当該果実の全体像を復元する。
【0219】
【0220】
まず、第２の復元部１２８εは、図３の撮像画像Ｉ１の画素の色情報および輝度情報に基づき、内包領域Ａ２から、果実Ｃ１と重なって隠れた画素の領域を除く果実Ｃ２に対応する領域を抽出する。
【0221】
次に、第２の復元部１２８εは、記憶部１４εに記憶されている第４の学習済モデル１４４を用いて、果実Ｃ１と重なって隠れた画素の領域を除く果実Ｃ２に対応する領域から、果実Ｃ２の全体像Ｃ２εを復元する。第４の学習済モデル１４４は、他の果実と一部が重なって隠れた果実に対応する領域と、隠れていない果実に対応する領域との組を教師データとして機械学習させることにより生成されたものである。
【0222】
第２の復元部１２８εは、果実Ｃ１と重なって画素の領域を除く果実Ｃ２に対応する領域を第４の学習済モデル１４４に入力することにより、第４の学習済モデル１４４から出力される果実Ｃ２の全体像Ｃ２εを取得する。
【0223】
上述の例では、記憶部１４εに第４の学習済モデル１４４が記憶されているが、本実施形態では、記憶部１４εに第４の学習済モデル１４４が記憶されていなくてもよい。また、第２の復元部１２８εは、テンプレートマッチングの技術を用いて、果実Ｃ１と重なって隠れた画素の領域を除く果実Ｃ２に対応する領域から、果実Ｃ２の全体像Ｃ２εを復元してもよい。
【0224】
この場合、第２の復元部１２８εは、記憶部１４εに記憶された複数種類の所定の果実の形状情報のうち、果実Ｃ１と重なった画素の領域を除く果実Ｃ２に対応する領域の形状と輪郭が最も近い果実の形状情報を選択する。
【0225】
複数種類の所定の果実の形状情報としては、３６０°回転可能になっている３Ｄデータなどが挙げられる。これにより、第２の復元部１２８εは、果実Ｃ２が撮像された角度に応じて複数種類の所定の果実の形状情報を回転させて、果実Ｃ１と重なって隠れた画素の領域を除く果実Ｃ２に対応する領域と重ね合わせることができる。その結果、第２の復元部１２８εは、果実Ｃ２に対応する領域の形状と輪郭が最も近い所定の果実の形状情報をより高精度に選択することができる。
【0226】
第２の復元部１２８εは、選択した所定の果実の形状情報、果実Ｃ１と重なって隠れた画素の領域を除く果実Ｃ２に対応する画素の色情報および輝度情報に基づき、果実Ｃ１と重なって隠れた画素の領域を補完することにより、果実Ｃ２の全体像Ｃ２εを復元する。
【0227】
このように、第２の復元部１２８εは、撮像画像Ｉ１を参照することにより、果実Ｃ２に対応する領域から、果実Ｃ２の全体像Ｃ２εを高精度に復元することができる。
【0228】
［予測工程Ｓ６８］
予測工程Ｓ６８では、推定装置１εの予測部１２６εは、第２の復元工程Ｓ６７において第２の復元部１２８εによって復元された果実の全体像に基づいて、当該果実の品質をさらに予測する。
予測工程Ｓ６８では、推定装置１εの予測部１２６εは、第２の復元工程Ｓ６７において第２の復元部１２８εによって復元された果実の全体像に基づいて、当該果実の品質をさらに予測する。
【0229】
（予測工程Ｓ６８の一例）
以下、図１および２６を用いて予測工程Ｓ６８の一例について説明する。
以下、図１および２６を用いて予測工程Ｓ６８の一例について説明する。
【0230】
予測部１２６εは、複数種類の所定の果実の形状情報のうち、図２６に示す果実Ｃ２の全体像Ｃ２εと輪郭が最も近い所定の果実の形状情報を選択する。
【0231】
予測部１２６εは、選択した所定の果実の形状情報に基づいて果実Ｃ２の品質を予測する。予測部１２６εは、果実Ｃ２の全体像Ｃ２εの画素の色情報および輝度情報にさらに基づいて果実Ｃ２の品質を予測してもよい。この場合、予測部１２６εは、果実Ｃ２の品質を、評価が高い順に、特秀、秀、優、良および無などの等級として複数段階に分けて評価してもよい。
【0232】
例えば、予測部１２６εは、選択した所定の果実の形状情報が、左右対称のものなど、整っているほど、果実Ｃ２の等級を高く評価する。予測部１２６εは、果実Ｃ２の全体像Ｃ２εの色情報の赤色の割合、濃さおよび均一度が高いほど、果実Ｃ２の等級を高く評価する。予測部１２６εは、果実Ｃ２の全体像Ｃ２εの輝度情報が示す輝度が高く、光沢があるほど、果実Ｃ２の等級を高く評価する。これにより、予測部１２６εは、果実Ｃ１に重なって一部が隠れた果実Ｃ２であっても、当該果実Ｃ２の品質を高精度に予測できる。
【0233】
また、予測部１２６εは、各撮像画像に基づいて復元された各果実の全体像に基づいて、各果実の等級を予測してもよい。これにより、予測部１２６εは、１本の果菜類または果樹類の樹木における等級ごとに、当該等級に該当する果実の個数を予測することができる。等級別に果実の価格は異なるため、予測部１２６εは、結果として、当該樹木における各果実を売った場合の売り上げを予測することができる。
【0234】
［出力工程Ｓ６９］
出力工程Ｓ６９では、出力部１３εは、予測工程Ｓ６８において予測部１２６εが予測した予測結果を表示部１３１εにさらに出力する。
出力工程Ｓ６９では、出力部１３εは、予測工程Ｓ６８において予測部１２６εが予測した予測結果を表示部１３１εにさらに出力する。
【0235】
（出力工程Ｓ６９の一例）
出力部１３εは、果実Ｃ２の等級など、果実Ｃ２の品質を表示部１３１εに表示させてもよい。また、出力部１３εは、果実Ｃ２の品質を表示部１３１εに出力する代わりに、または加えて音声出力してもよい。
出力部１３εは、果実Ｃ２の等級など、果実Ｃ２の品質を表示部１３１εに表示させてもよい。また、出力部１３εは、果実Ｃ２の品質を表示部１３１εに出力する代わりに、または加えて音声出力してもよい。
【0236】
＜ソフトウェアによる実現例＞
推定装置１、１α、１β、１γ、１δおよび１ε（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるための推定プログラムであって、当該装置の各制御ブロック（特に制御部１２、１２α、１２β、１２γ、１２δおよび１２εに含まれる各部）としてコンピュータを機能させるための推定プログラムにより実現できる。
推定装置１、１α、１β、１γ、１δおよび１ε（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるための推定プログラムであって、当該装置の各制御ブロック（特に制御部１２、１２α、１２β、１２γ、１２δおよび１２εに含まれる各部）としてコンピュータを機能させるための推定プログラムにより実現できる。
【0237】
この場合、上記装置は、上記推定プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備える。この制御装置と記憶装置により上記推定プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0238】
上記推定プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記推定プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0239】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0240】
＜付記事項＞
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0241】
また、各実施形態に係る診断装置は、生産性を向上させ、持続可能な食料生産システムを確保し、強靭（レジリエント）な農業を実践する可能なため、持続可能な開発目標（ＳＤＧｓ）の目標２「飢餓をゼロに」の達成に貢献することができる。
【産業上の利用可能性】
【0242】
本発明は、果実の収穫時期や収量の予測に用いる撮像画像において、果実の重なり問題が発生しやすい施設園芸作物に利用することができる。
【符号の説明】
【0243】
１、１α、１β、１γ、１δ、１ε 推定装置
１１、１１γ、１１δ 取得部
Ｃ７、Ｃ８ 葉
１２１、１２１δ 検出部
１２２、１２２α、１２２δ 特定部
１２３、１２３α、１２３δ クラスタリング部
１２４、１２４δ 推定部
１２５、１２５δ 分離部
１２６、１２６β、１２６γ、１２６δ、１２６ε 予測部
１２７ 測定部
１２８ 復元部
１２８ε 第２の復元部
Ａ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６ 内包領域
Ａ７、Ａ８ 第２の内包領域
Ｂ１、Ｂ１α、Ｂ１γ、Ｂ２、Ｂ３、Ｂ４、Ｂ５ 対象領域
Ｂ１Ｘ、Ｂ１Ｙ、Ｂ１γＸ、Ｂ１γＹ 領域（果実に対応する領域）
Ｂ６、Ｂ７ 第２の対象領域
Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６ 果実
Ｃ２ε 全体像（果実の全体像）
Ｃ８δ 全体像（葉の全体像）
Ｄ１、Ｄ１γ、Ｄ２ 境界
Ｉ１、Ｉ１α、Ｉ１δ 撮像画像
Ｉ２、Ｉ２δ 深度画像
Ｉ３ 熱画像
Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６ 制御方法
Ｓ１１、Ｓ２１、Ｓ３１、Ｓ４１、Ｓ５１、Ｓ６１ 取得工程
Ｓ１２、Ｓ２２、Ｓ３２、Ｓ４２、Ｓ５２、Ｓ６２ 検出工程
Ｓ１３、Ｓ２３、Ｓ３３、Ｓ４３、Ｓ５３、Ｓ６３ 特定工程
Ｓ１４、Ｓ２４、Ｓ３４、Ｓ４４、Ｓ５４、Ｓ６４ クラスタリング工程
Ｓ１５、Ｓ２５、Ｓ３５、Ｓ４５、Ｓ５５、Ｓ６５ 推定工程
１１、１１γ、１１δ 取得部
Ｃ７、Ｃ８ 葉
１２１、１２１δ 検出部
１２２、１２２α、１２２δ 特定部
１２３、１２３α、１２３δ クラスタリング部
１２４、１２４δ 推定部
１２５、１２５δ 分離部
１２６、１２６β、１２６γ、１２６δ、１２６ε 予測部
１２７ 測定部
１２８ 復元部
１２８ε 第２の復元部
Ａ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６ 内包領域
Ａ７、Ａ８ 第２の内包領域
Ｂ１、Ｂ１α、Ｂ１γ、Ｂ２、Ｂ３、Ｂ４、Ｂ５ 対象領域
Ｂ１Ｘ、Ｂ１Ｙ、Ｂ１γＸ、Ｂ１γＹ 領域（果実に対応する領域）
Ｂ６、Ｂ７ 第２の対象領域
Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６ 果実
Ｃ２ε 全体像（果実の全体像）
Ｃ８δ 全体像（葉の全体像）
Ｄ１、Ｄ１γ、Ｄ２ 境界
Ｉ１、Ｉ１α、Ｉ１δ 撮像画像
Ｉ２、Ｉ２δ 深度画像
Ｉ３ 熱画像
Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６ 制御方法
Ｓ１１、Ｓ２１、Ｓ３１、Ｓ４１、Ｓ５１、Ｓ６１ 取得工程
Ｓ１２、Ｓ２２、Ｓ３２、Ｓ４２、Ｓ５２、Ｓ６２ 検出工程
Ｓ１３、Ｓ２３、Ｓ３３、Ｓ４３、Ｓ５３、Ｓ６３ 特定工程
Ｓ１４、Ｓ２４、Ｓ３４、Ｓ４４、Ｓ５４、Ｓ６４ クラスタリング工程
Ｓ１５、Ｓ２５、Ｓ３５、Ｓ４５、Ｓ５５、Ｓ６５ 推定工程
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】