特開 2024-106866 農作物の追跡装置、農作物の追跡方法、追跡プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024106866

(43)【公開日】2024-08-08

(54)【発明の名称】農作物の追跡装置、農作物の追跡方法、追跡プログラム及び記録媒体

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240801BHJP

   A01G 7/00 20060101ALI20240801BHJP

   H04N 7/18 20060101ALI20240801BHJP

【ＦＩ】

G06T7/70 A

A01G7/00 603

H04N7/18 K

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023011336

(22)【出願日】2023-01-27

(71)【出願人】

【識別番号】501203344

【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】イ ウンソク

(72)【発明者】

【氏名】河崎 靖

(72)【発明者】

【氏名】内藤 裕貴

(72)【発明者】

【氏名】太田 智彦

(72)【発明者】

【氏名】高橋 正明

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CA05

5C054CC02

5C054EA01

5C054EA05

5C054EA07

5C054FC01

5C054FC07

5C054FC12

5C054FC13

5C054FC14

5C054FC15

5C054GB01

5C054GB05

5C054HA11

5C054HA31

5L096CA02

5L096DA02

5L096FA66

5L096FA69

5L096FA72

5L096GA30

5L096HA08

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】成長過程にある農作物を画像上で経時的に追跡する農作物の追跡装置、農作物の追跡方法、追跡プログラム及び記録媒体を提供する。
【解決手段】農作物の追跡方法（Ｓ１）は、撮像装置により撮像された、農作物の複数方向からの２次元画像を経時的に取得する取得工程（Ｓ１１）と、複数の２次元画像の各々において、農作物の１以上の所定の対象の位置を検出する検出工程（Ｓ１２）と、複数の２次元画像の各々において、位置が検出された対象のうち、同じ対象であると判定された対象を抽出して関連付ける抽出工程（Ｓ１３）と、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

撮像装置により撮像された、農作物の複数方向からの２次元画像を経時的に取得する取得工程と、
前記複数の２次元画像の各々において、前記農作物の１以上の所定の対象の位置を検出する検出工程と、
前記複数の２次元画像の各々において、前記位置が検出された前記対象のうち、同じ対象であると判定された前記対象を抽出して関連付ける抽出工程と、
を含む、農作物の追跡方法。

【請求項2】

取得した前記複数の前記２次元画像から前記農作物の３次元画像を生成する生成工程を更に含み、
前記検出工程は、前記２次元画像に代えて、複数の前記３次元画像の各々において、前記対象の位置を検出する、
請求項１に記載の農作物の追跡方法。

【請求項3】

前記取得工程において取得した前記２次元画像には、前記農作物の位置を示す位置マーカーが含まれる、請求項１に記載の農作物の追跡方法。

【請求項4】

前記検出工程と前記抽出工程との間に、前記農作物の株ごとに前記検出された対象をグループ化するグループ化工程を更に含む、請求項１に記載の農作物の追跡方法。

【請求項5】

前記抽出工程は、前記農作物の株ごとに、前記検出された対象の１つの移動量を導出する移動量導出工程と、当該移動量を参照して他の前記検出された対象の位置を推定する推定工程と、を含む、請求項１から４のいずれか一項に記載の農作物の追跡方法。

【請求項6】

前記移動量導出工程で導出された前記移動量を、前記２次元画像を取得した位置、又は前記農作物の環境を参照して補正する補正工程を更に含み、前記推定工程は、前記補正された移動量を参照して前記他の検出された対象の位置を推定する、請求項５に記載の農作物の追跡方法。

【請求項7】

前記補正工程は、前記撮像装置の移動量を参照して前記他の検出された対象の移動量を補正する、請求項６に記載の農作物の追跡方法。

【請求項8】

前記補正工程は、環境温度を参照して前記他の検出された対象の移動量を補正する、請求項６に記載の農作物の追跡方法。

【請求項9】

前記補正工程は、農作業者の動きを参照して前記他の検出された対象の移動量を補正する、請求項６に記載の農作物の追跡方法。

【請求項10】

前記撮像装置は、距離情報を取得し、前記生成工程は、前記対象までの距離を参照して、前記農作物の３次元画像を生成する、請求項２に記載の農作物の追跡方法。

【請求項11】

撮像装置により撮像された、農作物の複数方向からの２次元画像を経時的に取得する取得部と、
前記複数の２次元画像の各々において、前記農作物の１以上の所定の対象の位置を検出する検出部と、
前記複数の２次元画像の各々において、前記位置が検出された前記対象のうち、同じ対象であると判定された前記対象を抽出して関連付ける抽出部と、
を備える、農作物の追跡装置。

【請求項12】

請求項１１に記載の農作物の追跡装置としてコンピュータを機能させるための追跡プログラムであって、上記取得部、上記検出部、および上記抽出部としてコンピュータを機能させるための追跡プログラム。

【請求項13】

請求項１２に記載の追跡プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、農作物の追跡装置、農作物の追跡方法、追跡プログラム及び記録媒体に関する。

【背景技術】

【0002】

農業分野においては、農業人口の減少に伴い、様々な作業において機械化が進んでいる。例えば、施設内での農作物の安定生産のために、収量予測技術が開発されている。機械を用いて収量予測をするためには個々の花、果実、葉などの状態を追跡してセンシングする必要がある。花、果実、葉などは、成長するにつれて形状、色、大きさ等が変化する。しかし、現状では、成長するにつれて形状、色、大きさ等が変化する農作物を追跡してセンシングする方法が確立されておらず、作業者が少量の測定本数をサンプリングして、目視で花や果実の数を数えて追跡している。そこで、より精度の良い収量予測のために、機械的に個々の花、果実、葉などを経時的に追跡してセンシングする技術が望まれている。

【0003】

例えば、特許文献１には、特定個人に対する顔向き推定処理を安定して精度よくリアルタイムに実施することができる画像処理装置が開示されている。また、特許文献２には、果菜類の収穫対象の色を示す画像の特定色領域に複数のハイライト領域が検出された場合でも、ハイライト領域を中心として特定色領域に内接する複数の仮想特定色領域を推定することで、収穫対象の実際の大きさを検出できる画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開2021-26420号公報

【特許文献2】特開平4-367981号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示された技術は、特定個人の顔特徴量を用いて当該個人に対する顔向き推定の精度を向上させるものである。しかし、成長過程の農作物を経時的に追跡するには、このような手法では対応できない。

【0006】

また、特許文献２に開示された技術は、特定の色を有する画像領域を収穫対象として検出するものである。しかし、成長過程の農作物を経時的に追跡するには、このような手法では対応できない。

【0007】

本発明の一態様は、成長過程にある農作物を画像上で経時的に追跡する技術を実現することを目的とする。

【課題を解決するための手段】

【0008】

上記の課題を解決するために、本発明の一態様に係る農作物の追跡方法は、撮像装置により撮像された、農作物の複数方向からの２次元画像を経時的に取得する取得工程と、前記複数の２次元画像の各々において、前記農作物の１以上の所定の対象の位置を検出する検出工程と、前記複数の２次元画像の各々において、前記位置が検出された前記対象のうち、同じ対象であると判定された前記対象を抽出して関連付ける抽出工程と、を含む。

【0009】

本発明の一態様に係る農作物の追跡装置は、撮像装置により撮像された、農作物の複数方向からの２次元画像を経時的に取得する取得部と、前記複数の２次元画像の各々において、前記農作物の１以上の所定の対象の位置を検出する検出部と、前記複数の２次元画像の各々において、前記位置が検出された前記対象のうち、同じ対象であると判定された前記対象を抽出して関連付ける抽出部と、を備える。

【0010】

本発明の各態様に係る追跡装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記追跡装置が備える各部（ソフトウェア要素）として動作させることにより前記追跡装置をコンピュータにて実現させる追跡装置の追跡プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【発明の効果】

【0011】

本発明の一態様によれば、成長過程にある農作物を画像上で経時的に追跡することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態１に係る農作物の追跡装置１の構成を示すブロック図である。

【図2】実施形態１に係る農作物の追跡方法の流れを示すフローチャートである。

【図3】レールに乗って移動可能な撮像装置を用いてイチゴを経時的に撮像する方法を示す模式図である。

【図4】撮像装置が取得する２次元画像の撮像範囲を示す模式図である。

【図5】撮像された画像からグループ化により生成されるスケルトン図の模式図である。

【図6】本発明の実施形態２に係る農作物の追跡装置１Ａの構成を示すブロック図である。

【図7】グループ化された対象群の中から、１つの対象の位置を推定する方法を示す模式図である。

【図8】撮像装置が移動しながら対象を撮像する位置を示す模式図である。

【図9】圃場の一日の気温の時間変化と、農作物の位置の変化の関係の一例を示す模式図である。

【図10】成長したキュウリやトマトなどの蔓を吊り下ろす作業の前後を示す画像の模式図である。

【図11】実施形態２に係る抽出処理方法Ｓ２の流れを示すフローチャートである。

【発明を実施するための形態】

【0013】

〔実施形態１〕
（追跡装置１）
以下、本発明の一実施形態について、図面を参照して詳細に説明する。図１は、実施形態１に係る農作物、又は農作物の特定対象部分の追跡装置１の構成を示すブロック図である。特定対象部分は、例えば、農作物の花、果実又は葉等が挙げられる。以下では、農作物、又は農作物の特定対象部分を単に「農作物」とも称する。また、特定対象部分を単に「対象」とも称する。図示するように、追跡装置１は、制御装置１０，及び通信部２０を備える。追跡装置１は、通信部２０を介して、ディスプレイ３０及び撮像装置４０と情報通信可能に接続されている。追跡装置１は、経時的に取得された複数の画像から、位置、形状、大きさ、色などが経時的に変化する対象の各々を区別して追跡する装置である。対象とは、追跡すべき物体としてユーザによって指定された物体である。対象は、例えば花、果実、野菜等の成長過程にある農作物である。例えば、イチゴなどの果実は、花が咲いて受粉後に実ができ、実が成熟した後に収穫される。このように、果実は成長過程において、花から実へと形状がさまざまに変化し、さらに実の大きさや色も変化するため、画像から検出することが難しい。追跡装置１は、そのような農作物を経時的に取得された画像において追跡する装置である。

【0014】

制御装置１０は、主制御部１１とメモリ１２を備える。主制御部１１は、取得部１１１，検出部１１２，及び抽出部１１３を備える。制御装置１０は、さらに生成部１１４とグループ化部１１５を備えていてもよい。制御装置１０は、追跡装置１全体の制御を行う。主制御部１１は、少なくとも１つのプロセッサ、例えばＭＰＵ（Micro Processing Unit）、ＣＰＵ（Central Processing Unit）等の汎用プロセッサを用いて構成することができる。また、主制御部１１は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）又はＰＬＤ（Programmable Logic Device）等で構成される専用プロセッサを含んでいてもよい。メモリ１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の複数種類のメモリを備えていてもよい。一例として、主制御部１１は、メモリ１２のＲＯＭに記録された各種の制御プログラムをＲＡＭに展開して実行することにより、取得部１１１，検出部１１２，抽出部１１３，生成部１１４，及びグループ化部１１５としての機能を実現する。

【0015】

なお、主制御部１１の各部とメモリ１２は、少なくともその一部が異なる場所に配置され、互いに情報通信可能に接続されていてもよい。また、これらは、少なくともその一部がクラウド上に配置され、互いに情報通信可能に接続されていてもよい。

【0016】

（取得部１１１）
次に、主制御部１１の各部について説明する。取得部１１１は、撮像装置４０により撮像された、農作物の複数方向からの２次元画像を経時的に取得する。経時的に取得するとは、所定の時刻に取得する、あるいは所定の時間間隔で取得する、ということである。取得する時刻、又は時間間隔は限定されないが、例えば１時間おき、あるいは２時間おきとすることができる。また、対象の成長時期に応じて時刻又は時間間隔を変えてもよい。

【0017】

広い圃場の中の農作物をすべて撮像するために、複数個所から撮像した複数の画像が必要である。異なる時刻に撮像された画像は、同じ位置から撮像されたものでもよく、異なる位置から撮像されたものでもよい。隣接する位置から撮像された２つの画像には、同じ株が撮像されていてもよい。異なる角度から撮像された同じ株の２枚の画像から、その株の３次元画像を生成することができる。撮像は、取得部１１１によって撮像信号が撮像装置４０に送信され、実行されてもよい。あるいは、撮像は、撮像装置４０に内蔵されたプログラムに従って実行されてもよい。また、１台又は複数の可動の撮像装置４０が移動して撮像する方法に代えて、複数の固定された撮像装置を用いて撮像してもよい。

【0018】

撮像装置４０は、可視光による２次元画像を取得する画像センサを備えている。また、撮像装置４０は、画像センサに代えて、あるいは加えて、測距機能を備えていてもよい。測距機能は、赤外線又はレーザ等を射出して反射光の飛行時間を測定する機能であってもよい。あるいは、撮像装置４０は、画像センサに代えて、あるいは加えて、対象の温度（赤外線）を検出するサーマルカメラ機能を備えていてもよい。例えば、果実の温度を検出することにより、果実の成長段階を推定することができる。

【0019】

図３は、イチゴを栽培する圃場において、レールに乗って移動可能な撮像装置４０を用いてイチゴを撮像する方法を示す模式図である。例えば、複数のイチゴの株が列状の株棚に配置された圃場では、列ごとに直線的に配置されたレールの上に、駆動部を備えた撮像装置４０が配置されている。株とは、１つの根から成長した植物の個体の全体を指す。撮像装置４０は、予め定められた時間にレールの上を移動して、所定の位置においてイチゴの株を撮像する。撮像装置４０の位置は、基準点（撮像装置４０の初期位置など）からの距離として特定される。例えば、駆動部のモータの回転数などにより、基準点からの距離を算出できる。

【0020】

図４は、撮像装置４０が取得する２次元画像の撮像範囲を示す模式図である。図４に示すように、画像４１，４２，４３，４４にはそれぞれ２つの株が撮像されている。つまり、撮像装置４０は、１枚の画像に複数の株が含まれるように撮像範囲が設定されている。１つの株を複数の画像で撮像することにより、１つの株を異なる角度から撮像した画像を得ることができる。これにより、後述するように、対象の３次元位置を特定することができる。

【0021】

図４に示すように、撮像装置４０は、農作物の位置を示すマーカー（位置マーカー）を含めて撮像してもよい。位置マーカーは、予め株棚に配置されている。２次元画像に位置マーカーを含めることにより、対象の位置を特定しやすくなる。そのため、グループ化もしやすくなる。

【0022】

（検出部１１２）
検出部１１２は、取得部１１１が取得した複数の２次元画像の各々において、複数の農作物の１以上の所定の対象の位置を検出する。位置とは、画像内における位置である。具体的には、検出部１１２は、検出した所定の対象をバウンディングボックス等で特定し、その領域に符号を付してその対象の個別情報と関連付けて記録する。また、検出部１１２は、例えばイチゴの株全体を検出してバウンディングボックスで囲んでもよい。検出部１１２は、画像の特徴を考慮して対象を検出する。検出部１１２は、例えば、形状、色、大きさ等を考慮して所定の対象の画像上の位置を検出してもよい。

【0023】

検出部１１２は、物体検出モデル１１２１を備えて、これに株又は対象の検出を実行させてもよい。物体検出モデル１１２１は、２次元画像の中の所定の対象を検出する、例えばニューラルネットワークモデルを備える学習済の機械モデルである。物体検出モデル１１２１は、画像中の所定の対象にバウンディングボックスを付して、その対象の個別情報と関連付けて記録する。物体検出モデル１１２１の詳細については後述する。

【0024】

（抽出部１１３）
抽出部１１３は、複数の２次元画像の各々において、検出部１１２によって位置が検出された複数の対象のうち、同じ対象であると判定された対象を抽出して関連付ける。例えば、抽出部１１３は、同じ位置から撮像した時間的に異なる２つの画像において、位置、大きさ又は形状などが異なる花があっても、所定の条件を満たせば、同じ対象であると判定する。関連付けるとは、異なる画像に含まれる同じ対象に対して、同じ対象であると識別できるように共通の識別符号を付すなどの情報処理を行うことである。農作物は植物であり、経時的に位置、大きさ又は形状などが変化するため、同じ位置から撮像した画像であっても、時間が経過すれば画像に含まれる農作物の位置、形状、大きさ、色などが変化している。そのため、複数の画像において、花、果実、葉などの対象のうち、同じ対象を抽出することが必要となる。抽出部１１３は、同じ対象であるか否かの判定条件として、例えば対象のカテゴリと複数の対象の相互配置関係の一致度を考慮して判定してもよい。抽出部１１３は、対象のカテゴリと複数の対象の相互配置関係を考慮してある対象と同じである確率を対象ごとに算出して、最も高い確率が与えられた対象を同じ対象であると判定してもよい。

【0025】

（グループ化部１１５）
主制御部１１は、さらにグループ化部１１５を備えていてもよい。グループ化部１１５は、農作物の株ごとに検出された対象をグループ化する。つまり、グループ化部１１５は、検出部１１２が検出した対象を、農作物の株ごとにグループ化する。この場合、抽出部１１３は、グループ化された対象の各々について、同じ対象であると判定した対象を抽出して関連付ける。

【0026】

同じ株から発生した対象は、形状が変わっても位置が大きく移動することはなく、直前に撮像された位置の近傍にある。従って、農作物の株ごとにグループ化した対象は、それぞれがその直前に撮像した同じグループの画像における対象のいずれかと関連付けることができる。つまり、グループ化により、抽出部１１３が同じ対象であると判定した対象を抽出して関連付けることが容易となるというメリットが得られる。グループ化は、スケルトン化とも称する。

【0027】

グループ化部１１５が実行するグループ化について説明する。図５は、撮像された画像からグループ化により生成されるスケルトン図の模式図である。図５の５０１は、撮像された画像を示す。図５の５０１には、検出部１１２が検出した対象が、それぞれ小さなバウンディングボックスで示されており、検出部１１２が検出した４つの株が、それぞれ大きなバウンディングボックス５１～５４で示されている。

【0028】

図５の５０２は、グループ化部１１５が生成したスケルトン図である。グループ化部１１５は、それぞれの株を示すバウンディングボックス５１～５４それぞれについて、バウンディングボックスの中心ＣＰと、その株に含まれる対象のバウンディングボックスの中心とを線で結ぶ。具体的には、バウンディングボックス５１の中心ＣＰと、２つの果実のバウンディングボックス５１１，５１２とが、それぞれ結ばれている。また、バウンディングボックス５２の中心ＣＰと、３つの果実のバウンディングボックス５２１，５２２，５２３とが、それぞれ結ばれている。また、バウンディングボックス５３の中心ＣＰと、２つの花のバウンディングボックス５３１，５３２及び１つの果実のバウンディングボックス５３３とが、それぞれ結ばれている。抽出部１１３は、新たに撮像した画像のスケルトン図と、直前に撮像した画像のスケルトン図とを比較することにより、同じ対象を抽出することが容易となる。

【0029】

（生成部１１４）
主制御部１１は、さらに生成部１１４を備えていてもよい。生成部１１４は、撮像装置４０が取得する画像が２次元画像の場合に、その複数の２次元画像から農作物の３次元画像を生成する。この場合、検出部１１２は、２次元画像に代えて、複数の３次元画像の各々において、対象の位置を検出する。３次元画像を用いて対象の位置を検出することにより、例えば、２次元画像では重なって見えていた対象を３次元画像では分離して検出することができるなど、位置検出の精度が向上する。

【0030】

２次元画像から３次元画像を得る方法は限定されない。例えば、１つの空間領域を異なる方向から撮像した２枚の２次元画像から、その空間領域の３次元情報を含む画像を生成する方法（Structure from Motion法など）、１枚の２次元画像から人工知能（Artificial Intelligence，ＡＩ）を用いて３次元画像を生成する方法など、公知の方法又はアルゴリズムを用いることができる。

【0031】

前述のように、撮像装置４０は、距離情報を取得可能であってもよい。例えば、撮像装置４０は、距離情報を含む点群データを２次元画像に代えて、あるいは２次元画像と併せて取得してもよい。その場合は、画像中のそれぞれの対象までの方向と距離が取得されるため、生成部１１４がそれらの情報に基づいて、３次元画像を生成してもよい。検出部１１２は、その３次元画像を用いて、対象の位置を検出することができる。

【0032】

以上の構成を備える農作物の追跡装置１によれば、成長過程にある農作物を画像上で経時的に追跡することができる。つまり、追跡装置１により対象である農作物を、成長段階による形状の変化も含めて対象ごとに追跡することができ、追跡装置１が追跡した対象の成長段階に応じて農作業を行うことができる。そのため、作業者が自ら農作物の個別の成長段階を確認する必要がなくなり、農作業を効率化することができる。

【0033】

（農作物の追跡方法）
次に、追跡装置１を用いた農作物の追跡方法について、図面を参照して説明する。図２は、本実施形態に係る農作物の追跡方法Ｓ１の流れを示すフローチャートである。図２に示すように、農作物の追跡方法Ｓ１は、ステップＳ１１からステップＳ１３を含む。

【0034】

ステップＳ１１は、プロセッサ（取得部１１１）が、撮像装置４０により撮像された、農作物の複数方向からの２次元画像を経時的に取得する取得工程である。撮像装置４０の構成と撮像装置４０が撮像する２次元画像については上述のとおりである。

【0035】

ステップＳ１２は、プロセッサ（検出部１１２）が、複数の２次元画像の各々において、農作物の１以上の所定の対象の位置を検出する検出工程である。検出部１１２は、物体検出モデル１１２１を備えて、これに対象の検出を実行させてもよい。

【0036】

ステップＳ１３は、プロセッサ（抽出部１１３）が、複数の２次元画像の各々において、位置が検出された対象のうち、同じ対象であると判定された対象を抽出して関連付ける抽出工程である。同じ対象、及び関連付けるという意味は前述のとおりである。

【0037】

また、取得工程Ｓ１１の後に、取得した複数の２次元画像から農作物の３次元画像を生成する生成工程を更に含んでもよい。生成工程は、プロセッサ（生成部１１４）が実行する。その場合、検出工程Ｓ１２は、２次元画像に代えて、生成工程で生成された複数の３次元画像の各々において、対象の位置を検出する。３次元画像を用いて対象の位置を検出することにより、位置検出の精度が向上するというメリットが得られる。

【0038】

また、検出工程Ｓ１２と抽出工程Ｓ１３との間に、農作物の株ごとに検出された対象をグループ化するグループ化工程を更に含んでもよい。グループ化工程は、プロセッサ（グループ化部１１５）が実行する。グループ化のメリットは前述のとおりである。

【0039】

以上のステップを含む農作物の追跡方法Ｓ１によれば、成長過程にある農作物を画像上で経時的に追跡することができる。即ち、追跡装置１により得られる効果と同様の効果を得ることができる。

【0040】

〔実施形態２〕
本発明の他の実施形態について、図面を参照して以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0041】

図６は、実施形態２に係る農作物の追跡装置１Ａの構成を示すブロック図である。図示するように、追跡装置１Ａは、制御装置１０Ａと通信部２０を備える。制御装置１０Ａは、主制御部１１Ａとメモリ１２Ａを備える。追跡装置１Ａは、通信部２０を介して、ディスプレイ３０及び撮像装置４０と情報通信可能に接続されている。

【0042】

主制御部１１Ａは、取得部１１１，検出部１１２，抽出部１１３Ａ，生成部１１４，及びグループ化部１１５を備える。一例として、主制御部１１Ａは、メモリ１２ＡのＲＯＭに記録された各種の制御プログラムをＲＡＭに展開して実行することにより、取得部１１１，検出部１１２，抽出部１１３Ａ，生成部１１４，及びグループ化部１１５としての機能を実現する。主制御部１１Ａにおいて、抽出部１１３Ａ以外の各部の機能については、実施形態１で説明したこれらの各部の機能と同様である。

【0043】

（抽出部１１３Ａ）
抽出部１１３Ａの機能について以下に説明する。抽出部１１３Ａは、移動量導出部１１３１，推定部１１３２，補正部１１３３，及び補正後抽出部１１３４を備える。移動量導出部１１３１は、農作物の株ごとに、検出された対象の１つの移動量を導出する。移動量導出部１１３１は、同じ対象群を異なる時刻に撮像した２枚の画像から、同じ対象がどの程度移動したかを導出する。対象の移動量を導出する方法は限定されない。例えば、移動量導出部１１３１は、ＩＣＰ（Iterative Closest Point）アルゴリズムを用いて対象の移動量を導出することができる。ＩＣＰ法は、最近傍検出アルゴリズム（ｋ近傍法，ＫＤＴｒｅｅ，Ｏｃｔｒｅｅ等）を用いて、２つの画像における同じ対象の対応関係を最適な変換マトリックスで表す。変換マトリックスは、対象が移動した量に対応する。ＩＣＰ法は、２次元画像でも３次元画像でも用いることができる。

【0044】

移動量導出部１１３１は、対象である花と他の対象について、例えばＩＣＰ法を用いて移動量を導出する。

【0045】

推定部１１３２は、移動量導出部１１３１が導出した移動量を参照して他の検出された対象の位置を推定する。移動量導出部１１３１は、同じ対象群を撮像した画像の中から、ある対象の移動量を導出する。推定部１１３２は、ある対象の移動量を参照して、その画像中の他の対象の位置を推定することができる。同じ対象群に含まれる複数の対象の相互位置関係は、時間が経過しても大きく変わらない。そこで、推定部１１３２は、他の対象が移動した方向と移動量は、ある対象が移動した方向と移動量と同程度であると仮定して、他の対象の位置を推定することができる。

【0046】

図７は、１つの株としてグループ化された対象群の中から、推定部１１３２が１つの対象の位置を推定した図を示す模式図である。Ｐ１からＰ６は、グループ化された１つの株に含まれる対象の経時的な画像を示す。画像Ｐ１からＰ６の中のバウンディングボックスは、抽出部１１３Ａが位置を推定した対象であり、画像Ｐ１からＰ３までは花の段階であり、画像Ｐ４からＰ６では果実に成長している。

【0047】

画像Ｐ１からＰ６の下に記載したＰ１０からＰ６０は、それぞれのスケルトン図である。Ｐ１０には、検出部１１２によって検出された、対象である花のバウンディングボックスＦとグループ化された他の対象ｐ１１，ｐ１２，ｐ１３とが描かれている。ただし、他の対象ｐ１１，ｐ１２，ｐ１３にはバウンディングボックスは付されていない。バウンディングボックスＦの中心には黒丸印が付されている。Ｐ２０には、対象のバウンディングボックスＦと、他の対象ｐ２１，ｐ２２，ｐ２３が描かれている。対象ｐ２１，ｐ２２，ｐ２３は、ＩＣＰアルゴリズムによってＰ１０の対象ｐ１１，ｐ１２，ｐ１３と対応付けられた対象である。Ｐ３０からＰ６０も同様であるが、Ｐ３０からＰ６０では追跡する対象が花から果実に変化しており、バウンディングボックスＣで示されている。また、Ｐ３０では、新たな対象ｐ３４が検出部１１２によって検出されているが、Ｐ２０の対象とは対応付けられていない。また、Ｐ５０とＰ６０では、対象が果実だけとなり、その他の対象は検出されていない。

【0048】

以上の位置推定処理は、同じ対象群に含まれる複数の対象の相互位置関係は、時間が経過しても大きく変わらないという前提のもとに実行される。しかし、場合によっては、同じ対象群を撮像した画像であっても、状況により対象の位置関係が大きく変わることがある。そこで、抽出部１１３Ａは、対象をより精度よく追跡するために、移動量導出部１１３１が導出した移動量を、２次元画像を取得した位置、又は農作物の環境を参照して補正する、補正部１１３３を備えてもよい。補正部１１３３は、対象が農作物であるという特性を考慮して、移動量導出部１１３１が導出した対象の移動量を、２次元画像（又は３次元画像）を取得した位置、又は農作物の環境を参照して補正してもよい。

【0049】

その場合、推定部１１３２は、補正部１１３３によって補正された移動量を参照して、検出された他の対象の位置を推定する。そして、補正後抽出部１１３４は、推定部１１３２によって補正後の位置が推定された対象から、同じ対象であると判定した対象を抽出して関連付ける。

【0050】

図７では、２次元画像に対してＩＣＰアルゴリズムを適用して、対象の位置を推定する例を説明した。しかし、３次元画像に対して同様にＩＣＰアルゴリズムを適用して対象の位置を推定してもよい。３次元画像を用いることにより、位置推定の精度が向上する。

【0051】

次に、補正部１１３３が実行する補正処理方法の一例について説明する。補正部１１３３は、撮像装置４０の移動量を参照して他の検出された対象の移動量を補正してもよい。図８は、撮像装置４０が対象を撮像する撮像位置を示す模式図である。前述のように、撮像範囲が限られた撮像装置４０は、レール上を走行する移動装置に搭載され、移動しながらすべての株を異なる角度で撮像する。例えば、移動装置がステッピングモータによって駆動される場合は、ステッピングモータの回転数から、基準点からの移動距離、即ち画像の撮像位置を正確に取得することができる。そのため、経時的に撮像した画像の撮像位置が変わったとしても、撮像位置の座標から目的の株の方向と位置を計算することができ、追跡する対象が画像上で移動した移動量を補正することができる。

【0052】

また、補正部１１３３は、環境温度を参照して他の検出された対象の移動量を補正してもよい。環境温度は、日中環境温度（気温など）の変化、日中環境温度の積算値（１日の平均気温の積算値など）等を含む。図９は、圃場の一日の気温の時間変化と、農作物の位置の変化の関係の一例を示す模式図である。例えば、気温が午前１０時から１２時にかけて上昇する。気温が上昇すると、農作物は一般に水分が蒸散して萎れ、画像８１に示す位置から下降する（垂れ下がる）。補正部１１３３は、気温の上昇を参照して、下方への移動量が大きくなるように補正する。

【0053】

逆に、午後２時から３時にかけて気温が低下すると、画像８２に示すように、萎れた農作物は水分を吸収して持ち上がる。補正部１１３３は、気温の低下を参照して、上方への移動量が大きくなるように補正する。このように、補正部１１３３は、圃場内の気温データを取得して、気温の変化を考慮した対象位置の移動量を補正してもよい。

【0054】

また、農作物の種類によっては、その種類により、花が開花してからの平均気温の積算値が所定の値に達すると着果するという性質がある。そこで、花の開花日を画像から認識するプログラムを用いて開花日を取得し、補正部１１３３は、開花日からの１日の平均気温の積算値を参照して、着果時期を予測してもよい。そのため、補正後抽出部１１３４は、ある花を対象として抽出する場合は、着果時期が来ていないときには着果していないという条件を考慮してその花を抽出することができる。また、花が開花して果実になるまでの形状の変化は、開花日からの経過日数でおよそ決まるため、花の形状と開花日からの経過日数、あるいは果実の大きさと開花日からの経過日数の整合度によって、追跡対象であるか否かを判断することも可能である。

【0055】

また、補正部１１３３は、農作業者の動きを参照して他の検出された対象の移動量を補正してもよい。図１０は、成長したキュウリの蔓を吊り下ろす作業の前後を示す画像の模式図である。キュウリ、トマト、パプリカなどの蔓作物は、上方に向けて張られた誘引線に蔓が巻き付いて成長する。蔓は成長するにつれて上方に伸びていくため、伸びた蔓を誘引線ごと吊り下ろす作業を作業者が行う。このような作業が行われた前後では、対象の位置が大きく変化する。そのため、ＩＣＰ法を用いて対象の位置を推定することは困難となる。図１０の１００１はこの吊り下ろし作業前の画像、１００２は吊り下ろし作業後の画像の模式図であり、対象の様子が大きく変化している。

【0056】

図１０の１００１には、補正部１１３３が検出した作業者のＨＰＥ（Human Pose Estimation）が含まれている。ＨＰＥは、画像中の人の姿勢を骨格モデルを用いて推定する機械モデルである。図示するように、ＨＰＥは、キーポイントである人の頭部、胴体、手、足の位置を丸印と直線で表している。補正部１１３３は、特に作業者の両手の位置と動きを追跡し、両手の移動経路から移動マトリックスを算出する。そして、補正部１１３３はその移動マトリックスから、どのような作業が行われたかを推定する。例えば、両手が誘引線の上部から下部に移動した場合は、吊り下ろし作業が行われたと推定する。さらに、補正部１１３３は上部の蔓がどの位置まで下ろされたかを推定する。補正部１１３３は、対象の成長時期を考慮して作業内容を推定してもよい。対象の成長時期に応じて、どのような作業を行うかがだいたい決まっているからである。推定部１１３２は、補正部１１３３が推定した蔓の移動位置を参照して、上部に存在した対象のキュウリがどの位置に移動したかを推定することができる。

【0057】

また、イチゴの場合は、不要な葉、花又は果実を作業者が除去する剪定作業を行う場合がある。そのような作業においても、補正部１１３３はＨＰＥを用いて作業者の両手の位置と動きを解析し、どの花又は果実が除去されたかを推定することができる。推定部１１３２は、このような情報を用いて、対象の大きな変化を伴う農作業後の対象の位置を推定することができる。

【0058】

以上の構成を有する追跡装置１Ａによれば、成長過程にある農作物を画像上で経時的に追跡することができる。さらに、抽出部１１３Ａが移動量導出部１１３１，推定部１１３２，補正部１１３３，及び補正後抽出部１１３４を備えることにより、対象の位置をより精度良く推定することができる。また、気温の変化を考慮した対象の位置の変化、対象の成長の程度を予測して、同じ対象を精度良く抽出することができる。また、作業者による作業が行われた前後の対象の移動を精度良く追跡することができる。

【0059】

（検出工程の詳細）
次に、抽出部１１３Ａが実行する、移動量導出処理，推定処理，及び補正処理を含む抽出処理方法Ｓ２について説明する。図１１は、抽出処理方法Ｓ２の流れを示すフローチャートである。図示するように、抽出処理方法Ｓ２は、ステップＳ２１からステップＳ２４を含んでもよい。

【0060】

ステップＳ２１は、プロセッサ（移動量導出部１１３１）が、農作物の株ごとに、検出された対象の１つの移動量を導出する、移動量導出工程である。

【0061】

ステップＳ２２は、プロセッサ（補正部１１３３）が、導出された移動量を、２次元画像を取得した位置、又は農作物の環境を参照して補正する、補正工程である。

【0062】

ステップＳ２３は、プロセッサ（推定部１１３２）が、補正された移動量を参照して他の検出された対象の位置を推定する、推定工程である。

【0063】

ステップＳ２４は、プロセッサ（補正後抽出部１１３４）が、補正された移動量を用いて位置が推定された対象のうち、同じ対象であると判定した対象を抽出して関連付ける、補正後抽出工程である。

【0064】

以上のステップを含む抽出処理方法Ｓ２によれば、成長過程にある農作物を画像上で経時的に追跡することができる。また、上述の追跡装置１Ａが奏する効果と同様の効果を得ることができる。

【0065】

次に、検出部１１２が備える物体検出モデル１１２１について説明する。物体検出モデル１１２１は、画像中の所定の特定対象部分（以下、単に「対象」とも称する。）を検出する、ニューラルネットワークモデルなどのＡＩ（Artificial Intelligence、人工知能）を用いた機械モデルである。物体検出モデル１１２１は、検出した対象にバウンディングボックスを付して、対象の名称と関連付けて記録する。バウンディングボックスは、花、果実等は方形のバウンディングボックスでよく、葉などの不定形の対象はポリゴンで囲ってもよい。

【0066】

物体検出モデル１１２１は、アノテーションされた所定の対象の画像を教師データとして用いて学習された、学習済の機械モデルである。物体検出モデル１１２１は、例えば、以下のステップＳ１１からステップＳ１５を含む手順で学習させることができる。

【0067】

ステップＳ１１は、ユーザが、複数の画像中の指定された農作物の特定対象部分を手動でアノテーションする人力アノテーション工程である。ステップＳ１２は、プロセッサが、アノテーションされた画像（１次画像）を用いて物体検出モデルを１次学習させる１次学習工程である。１次画像の数は、例えば数十枚から数百枚程度でもよい。

【0068】

ステップＳ１３は、プロセッサが、１次学習した物体検出モデルに複数の別の画像（２次画像）を入力して特定対象部分を検出させる機械検出工程である。別の画像の数は、物体検出モデルの学習に十分な程度の数である。例えば、別の画像の数は、数千枚から数万枚である。つまり、機械検出工程において１次学習した物体検出モデルに特定対象部分を検出させた複数の別の画像の数は、人力アノテーション工程においてユーザが手動でアノテーションした複数の画像の数よりも多い。

【0069】

ステップＳ１４は、ユーザが、１次学習した物体検出モデルが検出ミスした２次画像の特定対象部分を修正する修正工程である。これにより、修正された２次画像が得られる。ステップＳ１５は、プロセッサが、検出ミスが修正された２次画像を用いて物体検出モデルを２次学習させる２次学習工程である。つまり、バウンディングボックスも含めた画像を用いて、物体検出モデルを２次学習させる。これにより、物体検出モデルの検出精度が向上する。以下、所定の検出精度が得られるまで、ステップＳ１３からステップＳ１５までを繰り返す。以上のステップにより、所定の検出精度を有する物体検出モデル１１２１を構築することができる。

【0070】

〔ソフトウェアによる実現例〕
追跡装置１，１Ａ（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に主制御部１１，１１Ａに含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

【0071】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0072】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0073】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0074】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【0075】

〔まとめ〕
（態様１）
撮像装置により撮像された、農作物の複数方向からの２次元画像を経時的に取得する取得工程と、前記複数の２次元画像の各々において、前記農作物の１以上の所定の対象の位置を検出する検出工程と、前記複数の２次元画像の各々において、前記位置が検出された前記対象のうち、同じ対象であると判定された前記対象を抽出して関連付ける抽出工程と、を含む、農作物の追跡方法。

【0076】

（態様２）
取得した前記複数の前記２次元画像から前記農作物の３次元画像を生成する生成工程を更に含み、前記検出工程は、前記２次元画像に代えて、複数の前記３次元画像の各々において、前記対象の位置を検出する、態様１に記載の農作物の追跡方法。

【0077】

（態様３）
前記取得工程において取得した前記２次元画像には、前記農作物の位置を示す位置マーカーが含まれる、態様１又は２に記載の農作物の追跡方法。

【0078】

（態様４）
前記検出工程と前記抽出工程との間に、前記農作物の株ごとに前記検出された対象をグループ化するグループ化工程を更に含む、態様１から３のいずれか１つに記載の農作物の追跡方法。

【0079】

（態様５）
前記抽出工程は、前記農作物の株ごとに、前記検出された対象の１つの移動量を導出する移動量導出工程と、当該移動量を参照して他の前記検出された対象の位置を推定する推定工程と、を含む、態様１から４のいずれか一つに記載の農作物の追跡方法。

【0080】

（態様６）
前記移動量導出工程で導出された前記移動量を、前記２次元画像を取得した位置、又は前記農作物の環境を参照して補正する補正工程を更に含み、前記推定工程は、前記補正された移動量を参照して前記他の検出された対象の位置を推定する、態様５に記載の農作物の追跡方法。

【0081】

（態様７）
前記補正工程は、前記撮像装置の移動量を参照して前記他の検出された対象の移動量を補正する、態様６に記載の農作物の追跡方法。

【0082】

（態様８）
前記補正工程は、環境温度を参照して前記他の検出された対象の移動量を補正する、態様６に記載の農作物の追跡方法。

【0083】

（態様９）
前記補正工程は、農作業者の動きを参照して前記他の検出された対象の移動量を補正する、態様６に記載の農作物の追跡方法。

【0084】

（態様１０）
前記撮像装置は、距離情報を取得し、前記生成工程は、前記対象までの距離を参照して、前記農作物の３次元画像を生成する、態様２に記載の農作物の追跡方法。

【0085】

（態様１１）
撮像装置により撮像された、農作物の複数方向からの２次元画像を経時的に取得する取得部と、前記複数の２次元画像の各々において、前記農作物の１以上の所定の対象の位置を検出する検出部と、前記複数の２次元画像の各々において、前記位置が検出された前記対象のうち、同じ対象であると判定された前記対象を抽出して関連付ける抽出部と、を備える、農作物の追跡装置。

【0086】

（態様１２）
態様１１に記載の農作物の追跡装置としてコンピュータを機能させるための追跡プログラムであって、上記取得部、上記検出部、および上記抽出部としてコンピュータを機能させるための追跡プログラム。

【0087】

（態様１３）
態様１２に記載の追跡プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。

【符号の説明】

【0088】

１、Ａ・・・追跡装置
１０、１０Ａ・・・制御装置
１１，１１Ａ・・・主制御部
１１１・・・取得部
１１２・・・検出部
１１２１・・・検出モデル
１１３．１１３Ａ・・・抽出部
１１３１・・・移動量導出部
１１３２・・・推定部
１１３３・・・補正部
１１３４・・・補正後抽出部
１１４・・・生成部
１１５・・・グループ化部
２０・・・通信部
３０・・・ディスプレイ
４０・・・撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】