特開 2024-16730 イチゴの株の情報取得システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024016730

(43)【公開日】2024-02-07

(54)【発明の名称】イチゴの株の情報取得システム

(51)【国際特許分類】

   A01G 22/05 20180101AFI20240131BHJP

   A01G 7/00 20060101ALI20240131BHJP

   G01B 11/02 20060101ALI20240131BHJP

【ＦＩ】

A01G22/05 A

A01G7/00 603

G01B11/02 H

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022119050

(22)【出願日】2022-07-26

(71)【出願人】

【識別番号】501203344

【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構

(74)【代理人】

【識別番号】100087480

【弁理士】

【氏名又は名称】片山 修平

(72)【発明者】

【氏名】坪田 将吾

(72)【発明者】

【氏名】難波 和彦

【テーマコード（参考）】

2B022

2F065

【Ｆターム（参考）】

2B022AA03

2B022AB15

2F065AA22

2F065AA58

2F065CC00

2F065FF01

2F065FF42

2F065JJ03

2F065JJ26

(57)【要約】

【課題】イチゴの株それぞれの葉柄長や葉面積を精度よく算出する。
【解決手段】制御装置３０は、ブロワー２６から株に風が吹き付けられていない又はブロワー２６から第１の速度で風が吹き付けられた第１の状態で、カメラ２４を制御して株の第１の画像を上方から撮影するとともに、ブロワー２６から第２の速度で風が吹き付けられた第２の状態で、カメラ２４を制御して株の第２の画像を上方から撮影する。このとき、第２の速度は、ブロワー２６から吹き付ける風の速度を大きくしていったときに葉の移動量が所定以下となる速度（葉がほとんど移動しなくなる速度）とされている。また、情報処理装置９０は、第１の画像と第２の画像における株の中心から所定の葉の葉柄先端までの距離の差分（Ｍ_P）を求める。そして、情報処理装置９０は、第１、第２の状態での葉柄角度θ、δと、Ｍ_Pと、を用いて葉柄長Ｌを求める。
【選択図】図１０

【特許請求の範囲】

【請求項1】

イチゴの株に上方から風を吹き付ける吹き付け装置と、
前記株の画像を上方から撮影する撮影装置と、
前記吹き付け装置から前記株に風が吹き付けられていない又は前記吹き付け装置から第１の速度で風が吹き付けられた第１の状態で、前記撮影装置を制御して前記株の第１の画像を上方から撮影するとともに、前記吹き付け装置から第２の速度で風が吹き付けられた第２の状態で、前記撮影装置を制御して前記株の第２の画像を上方から撮影する制御装置と、
前記撮影装置が撮影した画像から、前記イチゴの株の所定の葉の葉柄長の値を算出する算出装置と、
を備え、
前記第２の速度は、前記吹き付け装置から吹き付ける風の速度を大きくしていったときに前記所定の葉の移動量が所定以下となる速度であり、
前記算出装置は、
前記第１の画像内における前記株の中心から前記所定の葉の葉柄先端までの第１の距離と、前記第２の画像内における前記株の中心から前記所定の葉の葉柄先端までの第２の距離と、の差分を特定し、
前記第１の状態と前記第２の状態それぞれにおける前記所定の葉の葉柄角度の値と、前記第１の距離と前記第２の距離の差分と、に基づいて、前記所定の葉の葉柄長の値を算出する、
ことを特徴とするイチゴの株の情報取得システム。

【請求項2】

前記制御装置は、前記第２の速度を異ならせつつ、前記第２の画像の撮影を複数回行い、
前記算出装置は、複数の前記第２の画像に基づいて、複数の前記第２の速度及び複数の前記第２の画像の中から、前記葉柄長の値を算出する際に用いる第２の速度及び第２の画像を決定する、ことを特徴とする請求項１に記載のイチゴの株の情報取得システム。

【請求項3】

前記第１の状態と前記第２の状態それぞれにおける前記所定の葉の葉柄角度の値は、予め入力された値である、ことを特徴とする請求項１に記載のイチゴの株の情報取得システム。

【請求項4】

前記算出装置は、
前記算出する処理において、前記所定の葉の葉柄長の値と、前記第１の状態と前記第２の状態において前記吹き付け装置から前記株に吹き付けられる風の速度の差分と、前記第１の状態と前記第２の状態それぞれにおける前記所定の葉の葉柄角度の値と、に基づいて、前記所定の葉の葉面積の値を算出する、
ことを特徴とする請求項１～３のいずれか一項に記載のイチゴの株の情報取得システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イチゴの株の情報取得システムに関する。

【背景技術】

【0002】

植物の生体計測の有効な方法として、非破壊で広範囲の計測が可能で省力的な、画像計測が知られている。生体計測の対象である植物がイチゴである場合、計測対象には、葉柄の長さ（葉柄長）、葉面積などがある。これらの計測対象は、生育診断や収量予測において重要な要素となるため、精度よく計測できることが好ましい。

【0003】

なお、従来においては、送風機が植物に風を送っているときに、撮影部により植物を撮影して画像を取得し、その画像を処理することにより、植物の育成状態（茎の太さ）を判定する技術が知られている（例えば、特許文献１等参照）。また、画像の時系列的推移に基づいて、植物の生育状況（収穫時期等）を監視する技術も知られている（例えば、特許文献２等参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６－２９９４０号公報

【特許文献2】特開２０１９－３７２２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した葉柄長や葉面積については、上記特許文献１、２等を用いても計測することはできない。例えば、葉柄は、葉身（小葉）の下側にあって外側から見えにくいことから、葉柄長を画像計測するのは難しい。また、葉身は互いに重なり合っていることが多いため、葉面積を精度よく計測することも難しい。

【0006】

そこで、本発明は、イチゴの株の情報を精度よく算出することが可能なイチゴの株の情報取得システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明のイチゴの株の情報取得システムは、イチゴの株に上方から風を吹き付ける吹き付け装置と、前記株の画像を上方から撮影する撮影装置と、前記吹き付け装置から前記株に風が吹き付けられていない又は前記吹き付け装置から第１の速度で風が吹き付けられた第１の状態で、前記撮影装置を制御して前記株の第１の画像を上方から撮影するとともに、前記吹き付け装置から第２の速度で風が吹き付けられた第２の状態で、前記撮影装置を制御して前記株の第２の画像を上方から撮影する制御装置と、前記撮影装置が撮影した画像から、前記イチゴの株の所定の葉の葉柄長の値を算出する算出装置と、を備え、前記第２の速度は、前記吹き付け装置から吹き付ける風の速度を大きくしていったときに前記所定の葉の移動量が所定以下となる速度であり、前記算出装置は、前記第１の画像内における前記株の中心から前記所定の葉の葉柄先端までの第１の距離と、前記第２の画像内における前記株の中心から前記所定の葉の葉柄先端までの第２の距離と、の差分を特定し、前記第１の状態と前記第２の状態それぞれにおける前記所定の葉の葉柄角度の値と、前記第１の距離と前記第２の距離の差分と、に基づいて、前記所定の葉の葉柄長の値を算出する。

【発明の効果】

【0008】

本発明のイチゴの株の情報取得システムは、イチゴの株の情報を精度よく算出することができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態に係る情報取得システムの構成を概略的に示す図である。

【図2】制御装置及び情報処理装置のハードウェア構成を示す図である。

【図3】第１の実施形態に係る制御装置及び情報処理装置の機能ブロック図である。

【図4】実験装置を示す図である。

【図5】図５（ａ）は、図４の実験装置において、ブロワーを動作させず、風速０ｍとしたときにカメラによって撮影されたイチゴの株の画像であり、図５（ｂ）は、ブロワーから所定の風速で風を吹き付けたときにカメラによって撮影されたイチゴの株の画像である。

【図6】図６（ａ）は、第１の状態と第２の状態における葉柄と葉身の様子を模式的に示す図であり、図６（ｂ）は、葉柄の先端の位置を説明するための図である。

【図7】図７（ａ）～図７（ｅ）は、図４の実験装置を用いて得られた、イチゴの株の第１葉～第５葉それぞれの、風速ｖに対する葉柄の水平投影移動量Ｍ_pを実測した結果を示すグラフである。

【図8】図８（ａ）～図８（ｅ）は、図７（ａ）～図７（ｅ）の実測値を近似した例を示す図である。

【図9】近似式を説明するための概略図（その１）である。

【図10】近似式を説明するための概略図（その２）である。

【図11】図１１（ａ）～図１１（ｃ）は、株の中心を検出する方法について説明するための図である。

【図12】第１の実施形態に係る制御装置の処理を示すフローチャートである。

【図13】第１の実施形態に係る情報処理装置の処理を示すフローチャートである。

【図14】図１４（ａ）～図１４（ｃ）は、事前処理部の処理を説明するための図である。

【図15】図１５（ａ）～図１５（ｅ）は、近似式を用いて葉柄長Ｌ及び葉面積Ａを求める例について説明するための図である。

【図16】第２の実施形態に係る制御装置及び情報処理装置の機能ブロック図である。

【図17】第２の実施形態に係る制御装置の処理を示すフローチャートである。

【図18】第２の実施形態に係る情報処理装置の処理を示すフローチャートである。

【発明を実施するための形態】

【0010】

《第１の実施形態》
以下、第１の実施形態に係るイチゴの株の情報取得システムについて、詳細に説明する。

【0011】

図１には、第１の実施形態に係る情報取得システム１００の構成が概略的に示されている。本実施形態においては、情報取得システム１００は、例えば、図１に示すような栽培ベッド１２で高設栽培されているイチゴの株それぞれの葉柄長や葉面積を算出し、記録するシステムである。地上から栽培ベッド１２の上面までの距離（高さ）は、Ｈ１（Ｈ１は例えば１０００ｍｍ）である。なお、イチゴの株は、栽培ベッド１２で栽培されていなくてもよく、例えば畝に地植えされていてもよい。

【0012】

情報取得システム１００は、モニタリング装置１０と、算出装置としての情報処理装置９０と、を備える。モニタリング装置１０は、栽培ベッド１２近傍を移動して、イチゴの株を上方から撮影した画像を取得する装置である。情報処理装置９０は、モニタリング装置１０と通信可能に接続されており、モニタリング装置１０から取得した画像や位置情報に基づいて、栽培ベッド１２に植えられているイチゴの株それぞれの葉柄長や葉面積を算出する。情報処理装置９０とモニタリング装置１０との間は、有線ＬＡＮ（Local Area Network）等により有線接続されていてもよいし、ＷｉＦｉ等により無線接続されていてもよい。また、情報処理装置９０は、モニタリング装置１０に搭載されていてもよい。なお、本実施形態では、栽培ベッド１２の延伸方向をＸ軸方向とし、水平面内でＸ軸方向と垂直に交差する方向をＹ軸方向とし、鉛直方向をＺ軸方向として説明する。

【0013】

モニタリング装置１０は、図１に示すように、栽培ベッド１２の下方（地面上）においてＸ軸方向に沿って敷設されたレール１４上に設置されている。モニタリング装置１０は、レール１４に沿ってＸ軸方向に移動可能となっている。

【0014】

モニタリング装置１０は、筐体２０と、車輪２２と、撮影装置としてのカメラ２４と、吹き付け装置としてのブロワー２６と、モータ２８と、位置検出装置２９と、制御装置３０と、を備える。筐体２０は略矩形枠状の形状を有する。筐体２０の天井板２０ａは、栽培ベッド１２やイチゴの株の上方まで張り出しており、天井板２０ａの下面（－Ｚ面）とイチゴの株は上下対向した状態となっている。

【0015】

車輪２２は、モータ２８により、レール１４上で回転駆動される。モータ２８は、制御装置３０により回転制御される。すなわち、本実施形態においては、モニタリング装置１０を移動する移動機構として、レール１４上を走行する車輪２２と、モータ２８と、を含む構成を採用している。ただし、これに限らず、移動機構は、地面上を走行する車輪やクローラなどの走行部と、走行部を駆動する駆動装置（モータなど）とを含む構成であってもよい。

【0016】

カメラ２４及びブロワー２６は、筐体２０の天井板２０ａの下面に設けられている。カメラ２４の栽培ベッド１２からの距離（高さ）は、Ｈ２（Ｈ２は例えば１０００ｍｍ）である。カメラ２４は、イチゴの株を上方から撮影する。ブロワー２６は、イチゴの株に対して上方から下方に向けて風を吹き付ける機能を有する。ブロワー２６から吹き付けられる風の速度（風速）は変更可能となっており、制御装置３０により制御される。制御装置３０は、ブロワー２６によって株に風を吹きつけた状態又は風を吹き付けない状態で、カメラ２４を用いて株を上方から撮影する。なお、カメラ２４によって撮影された画像は、制御装置３０に送信され、制御装置３０は、撮影された画像を情報処理装置９０に送信する。また、制御装置３０は、撮影時にブロワー２６から株に吹き付けられる風の速度（風速）の情報を情報処理装置９０に送信する。

【0017】

位置検出装置２９は、例えば、栽培ベッド１２近傍に設置された複数のＲＦＩＤ（radio frequency identifier）タグと通信可能なＲＦＩＤリーダを有する位置検出装置や、栽培ベッド１２近傍に設置されたマーカを撮影可能なカメラを有する位置検出装置、車輪２２やモータ２８の回転量から位置検出を行う位置検出装置、RTK-GNSS（Real Time Kinematic-Global Navigation Satellite System）などである。位置検出装置２９は、カメラ２４のＸＹ位置を検出する。カメラ２４のＸＹ位置からは、撮影される画像（撮影範囲）内の各点のＸＹ位置を特定することができる。また、位置検出装置２９の検出結果は、制御装置３０に送信される。

【0018】

制御装置３０は、位置検出装置２９の検出結果に基づいてモータ２８を制御し、モニタリング装置１０の位置（カメラ２４の撮影箇所）を調整する。また、制御装置３０は、カメラ２４によって撮影された画像と、当該画像の位置情報（ＸＹ位置）と、画像を撮影したときにブロワー２６から吹き付けられていた風の速度（風速）の情報と、を情報処理装置９０に送信する。図２には、制御装置３０のハードウェア構成が示されている。図２に示すように、制御装置３０は、ＣＰＵ（Central Processing Unit）１９０、ＲＯＭ（Read Only Memory）１９２、ＲＡＭ（Random Access Memory）１９４、記憶部（ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等）１９６、ネットワークインタフェース１９７、及び可搬型記憶媒体用ドライブ１９９等を備えている。これら制御装置３０の構成各部は、バス１９８に接続されている。制御装置３０では、ＲＯＭ１９２あるいは記憶部１９６に格納されているプログラム、或いは可搬型記憶媒体用ドライブ１９９が可搬型記憶媒体１９１から読み取ったプログラムをＣＰＵ１９０が実行することにより、図３に示す各部の機能が実現される。なお、図３の各部の機能は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0019】

情報処理装置９０は、制御装置３０から送信されてきた位置情報を用いて、画像において撮影されている株を特定する。また、情報処理装置９０は、画像と風速の情報とを用いて、各株の葉柄長や葉面積を算出する。情報処理装置９０は、制御装置３０と同様のハードウェア構成（図２参照）を有する。情報処理装置９０では、ＣＰＵ１９０がプログラムを実行することにより、図３に示す各部の機能が実現されている。

【0020】

（葉柄長及び葉面積の算出式について）
ここで、情報処理装置９０（後述する図３の算出部５６）が葉柄長や葉面積を算出する際に用いる数式について説明する。なお、本実施形態では、後述する式（近似式）を用いることとしているが、これに限らず、その他の式を用いることも可能である。

【0021】

図４には、数式導出のために用いた実験装置２００が模式的に示されている。図４に示すように、実験装置２００には、イチゴの株が植え付けられた栽培ポット２０２が設置される。栽培ポット２０２は、その上端が地上からの高さＨ０（例えば５００ｍｍ）の位置となるように設置される。また、実験装置２００には、イチゴの株を覆う、高さＨ２（例えば１０００ｍｍ）の中空円筒２０４が設けられている。この中空円筒２０４の直径は、例えば５００ｍｍである。なお、図４の実験装置では、中空円筒２０４内を風が通り抜ける（整流となる）ように、栽培ポット２０２の高さＨ０を中空円筒２０４の直径と同等の寸法としている。更に、実験装置２００には、中空円筒２０４の上端部にカメラ２４と、ブロワー２６を設置している。なお、図４のカメラ２４及びブロワー２６は、図１のカメラ２４及びブロワー２６と同一のものである。

【0022】

図５（ａ）は、ブロワー２６を動作させず、風速０ｍとしたときにカメラ２４によって撮影されたイチゴの株の画像である。また、図５（ｂ）は、ブロワー２６から所定の風速で風を吹き付けたときにカメラ２４によって撮影されたイチゴの株の画像である。図５（ｂ）に示すように上方から風を吹き付けることにより、葉身が力（風荷重）を受けるため、図５（ａ）と比べるとわかるように、葉柄は付け根（株の中心（クラウン））を中心として外側に倒れる。また、葉身も外側に倒れ、葉全体が外側に移動する。

【0023】

図６（ａ）には、図５（ａ）のように風速０ｍの状態又は弱風（後述する第１の速度の風）が葉身に当てられた状態（第１の状態）の葉全体の様子が太実線にて模式的に示されている。また、図６（ａ）には、図５（ｂ）のように中風又は強風（後述する第２の速度の風）が葉身に当てられた状態（第２の状態）の葉全体の様子が太破線にて模式的に示されている。この図６（ａ）において、第１の状態の葉柄の先端の位置と、第２の状態の葉柄の先端の位置との水平方向の差分Ｍ_Pを、葉柄の水平投影移動量Ｍ_pと呼ぶものとする。なお、図６（ａ）に示す葉柄の先端の位置は、実際には、図６（ｂ）に示す小葉柄（葉柄と葉身を繋ぐ細い葉柄）の付け根部分（符号Ｓ参照）であるものとする。

【0024】

また、図７（ａ）～図７（ｅ）には、実験装置２００を用いて得られた、イチゴの株の第１葉～第５葉それぞれの、風速ｖに対する葉柄の水平投影移動量Ｍ_pを実測した結果が示されている。

【0025】

（近似式について）
本近似式は、図７（ａ）～図７（ｅ）の実測値に基づいて、風速ｖと水平投影移動量Ｍ_Pとの関係を図８（ａ）～図８（ｅ）において実線で示すように近似した場合の例である。

【0026】

図９、図１０は、近似式を説明するための概略図である。図９、図１０においては、風速０ｍ又は第１の速度の風（弱風）が当てられたときの葉全体の様子が太実線で示され、第２の速度の風（中風又は強風）が当てられたときの葉全体の様子が太破線で示されている。なお、第２の速度（第２の風速）は、葉身に対して吹き付ける風の速度を大きくしていったときに葉の移動量が所定以下となる速度（すなわち、葉がほとんど移動しなくなる速度）である。図９において、第１の状態における葉柄角（葉柄の延びる方向と水平面との間の角度）がθ（rad）であり、第２の状態における葉柄角がδ（rad）である。なお、θは、葉の着生時の葉柄角度の値であるといえる。また、各状態間における葉柄先端の実際の移動量がＭ（mm）であり、水平投影移動量がＭ_P（ｍｍ）である。

【0027】

このとき、葉身が受ける風荷重が風速（ｖ）の二乗と受圧面積（Ａ）に比例するという知見をベースにして、次式（１）を用いることとした。なお、ｌは比例係数である。

【0028】

【数1】

【0029】

また、本近似式においては、図１０に示すように、葉柄の曲がり（しなり）によって角度δが破線で示す状態から戻ることを表現した。

【0030】

具体的には、次式（２）を用いることとした。

【0031】

【数2】

【0032】

なお、ｐは進角係数であり、（ｖ⁴／ｐ）は、葉柄のしなりによって角度が戻ることを表現したものである。

【0033】

更に、本近似式においては、葉柄が傾斜した長さを投影値に換算するための式を次式（３）のように定義した。

【0034】

【数3】

【0035】

本実施形態では、上記近似式（式（１）～（３））を用いることで、葉柄長Ｌと葉面積Ａを求める。

【0036】

（制御装置３０及び情報処理装置９０の機能について）
図３に戻り、制御装置３０及び情報処理装置９０が有する機能について、説明する。

【0037】

（制御装置３０の機能）
制御装置３０は、図３に示すように、位置制御部４０、風速制御部４１、撮影制御部４２、画像取得・送信部４４の機能を有する。

【0038】

位置制御部４０は、位置検出装置２９の検出結果に基づいてモータ２８を制御し、モニタリング装置１０の位置（カメラ２４の撮影箇所）を調整する。例えば、位置制御部４０は、カメラ２４の撮影範囲に各株が順次収まるように、モニタリング装置１０を移動させる。

【0039】

風速制御部４１は、１つの株がカメラ２４の撮影範囲内に収まった状態で、ブロワー２６を制御して株に所定速度の風を当てる。

【0040】

撮影制御部４２は、カメラ２４を用いて株を上方から撮影する。撮影制御部４２は、ブロワー２６からの風が当たっていない状態の株や、ブロワー２６からの風が当たっている状態の株を撮影する。撮影制御部４２は、株の撮影が完了すると、その旨を位置制御部４０に通知する。位置制御部４０は、当該通知を受けると、次の株がカメラ２４の撮影範囲内に収まるように、モニタリング装置１０の位置を調整する。

【0041】

画像取得・送信部４４は、カメラ２４によって撮影された画像を取得し、位置制御部４０から得られる画像撮影時の位置情報（ＸＹ位置）及び風速制御部４１から得られる画像撮影時の風速の情報とともに、取得した画像を情報処理装置９０に送信する。

【0042】

（情報処理装置９０の機能）
情報処理装置９０は、図３に示すように、画像取得部５２、画像解析部５４、算出部５６、データ管理部５８、出力部６０、事前処理部６２を有する。

【0043】

画像取得部５２は、カメラ２４によって撮影された株の画像、当該画像の撮影位置の情報、画像撮影時の風速の情報を取得する。

【0044】

画像解析部５４は、画像取得部５２が取得した画像を解析して、解析結果を算出部５６に受け渡す。

【0045】

算出部５６は、画像解析部５４の解析結果と、予め定められている係数やユーザが入力した情報に基づいて、イチゴの葉柄長や葉面積を算出する。

【0046】

データ管理部５８は、算出部５６による算出結果（葉柄長や葉面積）を取得し、株の位置情報と紐づけて管理する。

【0047】

出力部６０は、データ管理部５８において管理されている情報を出力する。

【0048】

事前処理部６２は、画像取得部５２が取得した画像と、画像撮影時の風速の情報と、を用いて、イチゴの葉柄長や葉面積を算出する際に設定する風速（第２の風速）を決定する処理を実行する。以下、第２の風速の決定方法について説明する。なお、前述のように、なお、第２の風速は、葉身に対して吹き付ける風の速度を大きくしていったときに葉の移動量が所定以下となる速度（すなわち、葉がほとんど移動しなくなる速度）である。

【0049】

（第２の風速の決定方法について）
事前処理部６２は、制御装置３０に対して事前処理を行う旨を通知する。この通知を制御装置３０が受信すると、位置制御部４０は、予め定められた位置（例えば栽培ベッド１２で栽培されている株の１つを撮影可能な位置）にモニタリング装置１０を移動させる。また、風速制御部４１と撮影制御部４２は、所定の株に対して当てる風の速度を変えつつ、カメラ２４を用いて株を上方から複数回撮影する。例えば、風速制御部４１は、風速０ｍ又は弱風から徐々に風速を上げていき、撮影制御部４２は、所定時間間隔で株を上方から撮影する。そして、画像取得・送信部４４は、撮影により得られた複数の画像と、各画像が撮影されたときの風速の情報を、画像取得部５２を介して事前処理部６２に送信する。

【0050】

事前処理部６２は、取得した複数枚の画像と、各画像を撮影したときの風速の情報と、を用いて、イチゴの葉柄長や葉面積を算出する際に設定する風速（第２の風速）を以下のようにして決定する。

【0051】

（１） 事前処理部６２は、まず、複数の画像それぞれから株の中心を検出する。例えば、事前処理部６２は、株の形状と株の中心とを示す多数の画像を学習データとして深層学習を行い、得られた学習モデルを用いて、各画像内に存在する株の中心を検出することができる。また、事前処理部６２は、深層学習以外の方法を用いて、株の中心を検出することもできる。例えば、画像解析部５４は、図１１（ａ）に示すように、画像から、複数の葉柄を検出し、それらの延長線上の交点を株の中心として検出することができる。この方法を採用すると、図１１（ｂ）に示すように株の中心が他の株の葉などにより隠れている場合でも、株の中心を精度よく検出することができる。また、図１１（ｃ）に示すように、イチゴは通常３枚の小葉が１つの葉柄に接続されているので、事前処理部６２は、例えば、３枚の小葉のうち真ん中の小葉の長手方向に直線（図１１（ｃ）の破線参照）を引く処理を複数回行い、それらの直線の交点を株の中心としてもよい。なお、事前処理部６２は、深層学習を用いた株の中心の検出を優先的に実施し、深層学習では株の中心を検出できなかった場合に、図１１（ａ）、図１１（ｂ）や図１１（ｃ）の方法で株の中心を検出するようにしてもよい。

【0052】

（２） 次いで、事前処理部６２は、各画像から小葉柄を検出する。ここで、事前処理部６２は、各画像から、第１葉、第２葉、第３葉…というように順に葉身を検出し、各葉の小葉柄を検出する。このように各葉の小葉柄を検出するのは、各葉の第２の風速を決定するためである。また、（１）で株の中心を検出し、（２）で各葉の小葉柄を検出することとしているのは、葉や葉柄が込み合っている場合でも、各葉の小葉柄と株の中心を検出できれば、後述する距離Ｄｎ，Ｄｍを計算することができるからである。例えば、事前処理部６２は、葉の画像と未展開の度合いとを関連付けた多数の学習データを用いて深層学習を行い、学習モデルを得る。そして、事前処理部６２は、得られた学習モデルを用いて、画像内から株の未展開葉を検出し、検出された未展開葉を第１葉とする。また、事前処理部６２は、画像から葉を検出し、検出された葉のうち最も小さな葉を第１葉と決定することとしてもよい。また、事前処理部６２は、画像から葉を検出し、検出された葉のうち最も色が薄い葉を第１葉と決定することとしてもよい。更に、事前処理部６２は、画像から葉を検出し、検出された葉のうち株の中心からの距離が最も短い葉を第１葉と決定することとしてもよい。なお、事前処理部６２は、深層学習により第１葉を特定する方法を優先的に適用し、当該方法では第１葉を特定できなかった場合に、上述したその他の方法で第１葉を特定するようにしてもよい。また、事前処理部６２は、上述した方法のうちの複数の方法を用いて第１葉を特定し、複数の特定結果を総合して第１葉を特定するようにしてもよい。更に、事前処理部６２は、第１葉と株の中心を結ぶ直線の、基準線に対する角度を検出し、株の中心を起点に第１葉の伸びる方向から約１４４°回転したところにある葉を第２葉、株の中心を起点に第２葉の伸びる方向から約１４４°回転したところにある（第１葉の伸びる方向から約２８８°回転したところにある）葉を第３葉、…と特定する。そして、事前処理部６２は、特定した第１葉、第２葉、…につながっている小葉柄を検出する。なお、小葉柄を検出する方法としては、深層学習を採用することができる。ただし、これに限らず、例えば、葉柄と１枚の葉身を検出してその連結点を小葉柄とみなしてもよい。また、３枚の葉身の長手方向が交差する位置を小葉柄とみなしてもよい。

【0053】

（３） 次いで、事前処理部６２は、各画像において、株の中心から各葉の小葉柄までの距離（図６（ａ）のＤｎやＤｍ参照）を計測する。

【0054】

（４） 次いで、事前処理部６２は、各画像から、水平投影移動量Ｍ_Pを計算する。具体的には、次式（４）より、水平投影移動量Ｍ_Pを計算する。
Ｍ_P＝Ｄｍ－Ｄｎ …（４）

【0055】

なお、Ｄｎは、風速０ｍ又は弱風のときの株の中心から各葉の小葉柄までの距離であり、Ｄｍは、風速０ｍ又は弱風から風速を徐々に上げていったときの株の中心から各葉の小葉柄までの距離である。

【0056】

（５） 次いで、事前処理部６２は、各葉について、風速を上げても水平投影移動量Ｍ_Pがほとんど変化しなくなる風速を第２の風速として決定する。すなわち、各葉について水平投影移動量Ｍ_Pの変化量が予め定められている閾値以下となる風速を第２の風速として決定する。なお、上記のようにして決定された第２の風速は、上記処理において撮影した株と定植日が同一又は近い株について適用することができるものとする。

【0057】

（制御装置３０の処理について）
図１２には、制御装置３０の処理がフローチャートにて示されている。なお、以下の処理で撮影する対象の株は、事前処理部６２において第２の風速を決定する際に撮影した株と定植日が同一又は近い株であるものとする。また、本実施形態では、一例として、所定の葉（例えば第４葉）の葉柄長や葉面積を計測する場合の処理について説明する。したがって、制御装置３０は、図１２の処理において、事前処理部６２が決定した各葉の第２の風速のうち、所定の葉の第２の風速を用いる。

【0058】

図１２の処理が開始されると、まずステップＳ１０において、位置制御部４０は、位置検出装置２９の検出結果に基づいてモータ２８を制御し、カメラ２４を用いてイチゴの株を撮影可能な位置までモニタリング装置１０を移動する。なお、栽培ベッド１２上の株それぞれのおおよその位置は予めわかっているものとする。

【0059】

次いで、ステップＳ１２において、風速制御部４１は、ブロワー２６をＯＦＦにする又はブロワー２６からの風の速度が第１の風速（弱風）となるように（すなわち、株が第１の状態になるように）制御する。なお、ここでは、第１の状態は無風状態であるものとする。なお、ステップＳ１２を行う際に、ブロワー２６がＯＦＦ状態である場合には、風速制御部４１は、ブロワー２６の制御を行わずに、そのままの状態を維持する。

【0060】

次いで、ステップＳ１４において、撮影制御部４２は、カメラ２４を用いて、イチゴの株を上方から撮影する。

【0061】

ステップＳ１６において、画像取得・送信部４４は、ステップＳ１４において撮影された画像（第１の画像）をカメラ２４から取得し、第１の画像と、位置制御部４０から得られる第１の画像を撮影したときの位置の情報と、風速制御部４１から得られる第１の画像を撮影したときのブロワー２６の風速の情報と、を情報処理装置９０に送信する。

【0062】

次いで、ステップＳ１８において、風速制御部４１は、ブロワー２６からの風の速度が事前処理部６２によって決定された第２の風速（中風又は強風）になるように（すなわち、株が第２の状態になるように）制御する。

【0063】

次いで、ステップＳ２０において、撮影制御部４２は、カメラ２４を用いて、イチゴの株を上方から撮影する。

【0064】

次いで、ステップＳ２２において、画像取得・送信部４４は、ステップＳ２０において撮影された画像（第２の画像）をカメラ２４から取得し、第２の画像と、位置制御部４０から得られる第２の画像を撮影したときの位置の情報と、風速制御部４１から得られる第２の画像を撮影したときのブロワー２６の風速の情報と、を情報処理装置９０に送信する。

【0065】

その後は、ステップＳ１０に戻る。なお、風速制御部４１は、ステップＳ１０に戻る前に、ブロワー２６の動作を停止してもよい。ステップＳ１０に戻ると、位置制御部４０は、次の株を撮影するための移動を行う。そして、ステップＳ１２～Ｓ２２において、制御装置３０は、次の株についての第１の画像及び第２の画像の撮影処理等を実行する。

【0066】

なお、図１２の処理では、モニタリング装置１０を移動して（Ｓ１０）、第１の風速で第１の画像を撮影した後（Ｓ１２、Ｓ１４）、第２の風速で第２の画像を撮影し（Ｓ１８、Ｓ２０）、再度モニタリング装置１０を移動する（Ｓ１０）、という処理を繰り返すこととしたがこれに限られるものではない。例えば、ブロワー２６をＯＦＦの状態又は第１の風速に維持した状態で、モニタリング装置１０を移動しつつ、複数の株の画像（第１の画像）を撮影し、その後に、ブロワー２６を第２の風速に維持した状態で、モニタリング装置１０を移動しつつ、複数の株の画像（第２の画像）を撮影してもよい。そして、画像取得・送信部４４は、同一の位置で撮影された第１の画像と第２の画像（すなわち、同一の株を撮影した第１、第２の画像）を対応付けて、位置情報及び風速の情報とともに、情報処理装置９０に送信するようにしてもよい。

【0067】

（情報処理装置９０の処理について）
次に、情報処理装置９０の処理について、図１３のフローチャートに沿って、説明する。

【0068】

図１３の処理が開始されると、まずステップＳ３０において、画像取得部５２は、制御装置３０の画像取得・送信部４４から送信されてくる画像や位置の情報、風速の情報を取得する。

【0069】

次いで、ステップＳ３２において、画像解析部５４は、第１の状態の画像と前記第２の状態の画像のいずれかから株の中心を検出する。このステップＳ３２における株の中心の検出方法は、事前処理部６２の処理において説明した方法（例えば深層学習を用いる方法や、図１１（ａ）～図１１（ｃ）の方法）と同様である。

【0070】

次いで、ステップＳ３４において、画像解析部５４は、第１の状態の画像から小葉柄を検出する。このステップＳ３４の処理は、事前処理部６２の処理と同様である。

【0071】

次いで、ステップＳ３６において、画像解析部５４は、第１の画像を用いて、株の中心から小葉柄までの距離Ｄｎ（図６（ａ）参照）を計測する。なお、距離Ｄｎは計測が必要な所定の葉のみについて計測する。

【0072】

次いで、ステップＳ３８において、画像解析部５４は、第２の状態の画像から小葉柄を検出する。このステップＳ３８の処理は、上述したステップＳ３４と同様である。

【0073】

次いで、ステップＳ４０において、画像解析部５４は、第２の画像を用いて、株の中心から小葉柄までの距離Ｄｍ（図６（ａ）参照）を計測する。なお、距離Ｄｍは計測が必要な所定の葉のみについて計測する。

【0074】

次いで、ステップＳ４２において、算出部５６は、水平投影移動量Ｍ_Pを上式（４）に基づいて計算する。

【0075】

次いで、ステップＳ４４において、算出部５６は、上述した近似式（上式（１）～（３））を用いて、所定の葉の葉柄長Ｌや葉面積Ａを算出する。このステップＳ４４の処理の詳細については後述する。

【0076】

次いで、ステップＳ４６において、データ管理部５８は、株の位置と対応付けて葉柄長Ｌ及び葉面積Ａを管理する。

【0077】

次いで、ステップＳ４８において、出力部６０は、出力要求が入力されたか否かを判断する。このステップＳ４８の判断が否定された場合には、ステップＳ３０に戻るが、肯定された場合には、ステップＳ５０に移行する。

【0078】

ステップＳ５０に移行すると、出力部６０は、出力要求のあったデータを出力する。その後は、ステップＳ３０に戻り、上記処理を繰り返し実行する。

【0079】

なお、上記説明においては、所定の葉に対応する第２の風速を用いて撮影を行い、所定の葉の葉柄長Ｌ及び葉面積Ａを算出する例について説明したが、これに限らず、複数の葉位の葉の葉柄長Ｌ及び葉面積Ａを算出することとしてもよい。この場合、複数の葉位の葉それぞれに対応する第２の風速を用いて各株を撮影する必要がある。また、各葉の葉柄長Ｌ及び葉面積Ａは、各葉に対応する第２の風速で撮影した画像（第２の画像）を用いて算出する。この場合、葉柄長Ｌ及び葉面積Ａは葉位ごとに対応付けて管理する。

【0080】

（実施例）
次に実施例を用いて、事前処理部６２の処理、及び図１３のステップＳ４４の処理について説明する。

【0081】

図１４（ａ）、図１４（ｂ）は、事前処理部６２が取得した複数の画像を撮影したときの風速の情報と、複数の画像から得られた水平投影移動量Ｍ_Pの値を示している。また、図１４（ｃ）は、風速と、水平投影移動量Ｍ_Pと、の関係を座標系（横軸：風速、縦軸：水平投影移動量Ｍ_P）上に示したものである。なお、本例は、イチゴの株の第４葉の水平投影移動量Ｍ_Pについて示している。

【0082】

図１４（ｃ）からは、葉の移動量が所定以下となる風速（葉がほとんど移動しなくなる風速）として、風速４．５０３ｍ／ｓが特定されるので、事前処理部６２は、この風速４．５０３ｍ／ｓを第２の風速として決定する。

【0083】

図１５（ａ）～図１５（ｅ）は、上式（１）～（３）を用いて葉柄長Ｌ及び葉面積Ａを算出する例を説明するための図である。なお、本例は、イチゴの株の第４葉についての値である。

【0084】

図１５（ａ）には、近似式１を用いる場合に予め求めておく必要のある係数ｌ、ｐ（進角係数）の一例が示されている。ｌは、式（１）の係数であり、ｐは、式（２）の係数である。

【0085】

また、図１５（ｂ）には、ユーザが入力する値である、受圧時葉柄角δ、葉柄角度θ（図１０参照）の一例が示されている。なお、δ、θは、事前に測定してもよいし、葉位とδ、θとの関係が事前にわかっていれば、その関係を用いてδ、θを求めることとしてもよい。

【0086】

図１５（ｃ）には、第１の状態における風速（第１の風速）ｖ１と、第２の状態における風速（第２の風速）ｖ２の一例が示されている。この第２の風速ｖ２と第１の風速ｖ１との差が、式（１）、（２）のｖとなる。

【0087】

算出部５６は、式（３）のＭ_Pとして図１５（ｄ）の値を代入するとともに、δ、θとして図１５（ｂ）の値を代入することで、葉柄長Ｌを算出する。この結果、葉柄長Ｌは、図１５（ｅ）に示すように、１７０．８３１１ｍｍと計算される。なお、このときの葉柄長Ｌの真値は１６５ｍｍであったので、上記方法により、葉柄長Ｌとして真値に近い値を導き出すことができることが分かる。

【0088】

また、算出部５６は、上記のようにして算出した葉柄長Ｌ、図１５（ｂ）のδ、θ、図１５（ａ）のｐ、ｖ＝４．５０３ｍ／ｓを上式（３）に代入することで、葉柄の移動量Ｍ（図１０参照）を求める。この結果、葉柄の移動量Ｍとして、図１５（ｅ）に示す値（Ｍ＝４８．３７０６１ｍｍ）が得られる。

【0089】

更に、算出部５６は、上記のようにして求めた葉柄の移動量Ｍと、ｖ＝４．５０３ｍ／ｓと、図１５（ａ）のｌの値を上式（１）に代入することで、葉面積Ａを算出する。この結果、葉面積Ａは、図１５（ｅ）に示すように、２０３８８．８１ｍｍ²と計算される。なお、このときの葉面積Ａの真値は２０２４０．７８ｍｍ²であったので、上記方法により、葉面積Ａとして真値に近い値を導き出すことができることが分かる。

【0090】

以上、詳細に説明したように、本第１の実施形態によると、制御装置３０は、ブロワー２６から株に風が吹き付けられていない又はブロワー２６から第１の速度で風が吹き付けられた第１の状態で、カメラ２４を制御して株の第１の画像を上方から撮影するとともに、ブロワー２６から第２の速度で風が吹き付けられた第２の状態で、カメラ２４を制御して株の第２の画像を上方から撮影する（図１２）。このとき、第２の速度（風速）は、ブロワー２６から吹き付ける風の速度を大きくしていったときに葉の移動量が所定以下となる速度（葉がほとんど移動しなくなる速度）とされている。また、情報処理装置９０は、第１の画像内における株の中心から所定の葉の葉柄先端までの距離Ｄｎと、第２の画像内における株の中心から所定の葉の葉柄先端までの第２の距離Ｄｍと、の差分（水平投影移動量Ｍ_P）を求める。更に、情報処理装置９０は、第１の状態での葉柄角度θと、第２の状態での葉柄角度δと、水平投影移動量Ｍ_Pと、を用いて、式（３）より葉柄長Ｌを求める。これにより、葉柄が葉身（小葉）の下側にあって外側から見えにくい場合であっても、上記第１の画像と第２の画像を用いることで、葉柄長Ｌを精度よく算出することができる（図１５（ｅ）参照）。

【0091】

また、本実施形態では、情報処理装置９０は、葉柄長Ｌの値と、第１の状態と前記第２の状態のそれぞれにおいてブロワー２６から株に吹き付けられた風の速度の差ｖと、葉柄角度δ、θと、に基づいて、葉面積Ａの値を算出する。これにより、葉身が重なり合っている場合であっても、葉面積を精度よく算出することができる（図１５（ｅ）参照）。

【0092】

なお、ブロワー２６の風速分布は、ブロワー２６の直下が最も強く、ブロワー２６から離れた位置は弱くなる。このため、ブロワー２６を一定の状態に維持しつつ、モニタリング装置１０を移動させた場合、株は、弱い風が当たっている状態（第１の状態）から、強い風が当たっている状態（第２状態）に遷移する。したがって、上記実施形態においては、株がブロワー２６の直下から離れた位置にあるとき（第１の状態にあるとき）と、株がブロワー２６の直下に近い位置にあるとき（第２の状態にあるとき）と、のそれぞれにおいて画像を撮影し、それぞれの画像を用いて、上記図１３の処理を実行するようにしてもよい。この場合、モニタリング装置１０は、第１の状態の株を撮影するため、ブロワー２６からＸ軸方向に離れた位置に配置された第１カメラと、第２の状態の株を撮影するため、ブロワー２６近傍に配置された第２のカメラと、を有していてもよい。また、１つのカメラで第１の状態の株及び第２の状態の株を異なる角度で撮影し、各画像を同一角度から撮影したように補正して、上記図１３の処理に用いるようにしてもよい。

【0093】

《第２の実施形態》
次に、第２の実施形態について説明する。図１６には、本第２の実施形態に係る制御装置３０と情報処理装置９０の機能ブロック図が示されている。図１６と図３（第１の実施形態）とを比較するとわかるように、本第２の実施形態の情報処理装置９０は、事前処理部６２を有しておらず、これに伴って制御装置３０と情報処理装置９０の処理が第１の実施形態と異なっている点に特徴を有している。具体的には、本第２の実施形態においては、事前に第２の速度を決定せずに、各株の撮影結果に基づいて株毎に第２の速度を決定（特定）する。

【0094】

（制御装置３０の処理について）
図１７には、第２の実施形態に係る制御装置３０の処理がフローチャートにて示されている。

【0095】

図１７に示すように、制御装置３０は、ステップＳ１０～Ｓ１６を第１の実施形態と同様に実行する。すなわち、ステップＳ１０～Ｓ１６では、風速０ｍの状態又は第１の風速の風を当てた状態で、株の撮影を行う。次いで、ステップＳ１８’では、風速制御部４１は、ブロワー２６からの風の速度が次の風速になるように制御する。なお、本実施形態では、事前に、ステップＳ１８’で段階的に設定する風速の値が予め定められているものとする（例えば、図１４（ａ）の風速ｖ１～ｖ７）。したがって、風速制御部４１は、ステップＳ１８’を行うたびに、風速ｖ１、ｖ２…というように、段階的に風速を上げていく。

【0096】

ステップＳ１８’の後は、ステップＳ２０、Ｓ２２が、上記第１の実施形態と同様に実行される。そして、次のステップＳ２４では、全ての風速（例えば風速ｖ１～ｖ７）での撮影が完了したか否かを判断する。このステップＳ２４の判断が否定された場合には、ステップＳ１８’に戻るが、肯定された場合には、ステップＳ１０に戻る。

【0097】

このように、本第２の実施形態では、株の撮影において、複数の風速（例えば、ｖ０～ｖ７）の風が当てられた状態の株の画像を取得するようにしている。

【0098】

（情報処理装置９０の処理について）
図１８には、本第２の実施形態に係る情報処理装置９０の処理がフローチャートにて示されている。本第２の実施形態においては、第１の実施形態の処理（図１３）のステップＳ４２、Ｓ４３の間に、ステップＳ４３の処理を実行する点に特徴を有している。

【0099】

図１８の処理が開始されると、ステップＳ３０～Ｓ４２については、上記第１の実施形態と同様に実行される。ただし、第２の状態の画像としては、複数の風速（例えば、ｖ１～ｖ７）のときに得られた複数（例えば、７枚）の画像が得られる。したがって、ステップＳ４２においては、水平投影移動量Ｍ_Pが、複数（例えば７つ）得られる。なお、この第２の風速の特定方法は、上記第１の実施形態の事前処理部６２による第２の風速の決定方法と同一の方法である。すなわち、図１８のステップＳ３０において、図１４（ａ）に示すようなデータが得られ、ステップＳ４２において、図１４（ｂ）に示すようなデータが得られるので、ステップＳ４３では、これらのデータを用いて、第２の風速を特定する（図１４（ｃ）参照）。

【0100】

その後は、ステップＳ４３で特定された第２の風速及び第２の風速に対応する水平投影移動量Ｍ_Pを用いて、ステップＳ４３以降の処理が、上記第１の実施形態と同様に行われる。

【0101】

これにより、上記第１の実施形態と同様、葉柄が葉身（小葉）の下側にあって外側から見えにくい場合であっても、葉柄長Ｌを精度よく算出することができる。また、葉身が重なり合っている場合であっても、葉面積Ａを精度よく算出することができる。

【0102】

また、本第２の実施形態では、株毎に第２の速度を特定するため、株それぞれの葉柄長Ｌや葉面積Ａを精度よく算出することができる。

【0103】

なお、上記第２の実施形態では、図１７のステップＳ１８’、Ｓ２０、Ｓ２２の処理を実行するたびに、水平投影移動量Ｍ_Pの変化を求め、水平投影移動量Ｍ_Pの変化が所定以下になったときの風速を第２の風速と特定してもよい。この場合、第２の風速が特定された段階で、ステップＳ２４の判断が肯定されるようにしてもよい。

【0104】

なお、上記実施形態では、ステップＳ１８’で段階的に設定する風速の値を予め定めておく場合について説明したが、これに限らず、過去の処理（例えば、前回の処理）で決定した第２の風速に基づいて、段階的に設定する風速の値を決定してもよい。

【0105】

なお、上記第２の実施形態の処理（図１７、図１８の処理）を最初の株に対して実行し、２つ目以降の株については、上記第１の実施形態の処理（図１２、図１３の処理）を実行することとしてもよい。すなわち、最初の株の処理において特定した第２の風速を、２つ目以降の株の処理において流用してもよい。

【0106】

なお、上記第１、第２の実施形態では、モニタリング装置１０が地面上を移動する場合について説明したが、これに限られるものではない。例えば、カメラ２４やブロワー２６、位置検出装置２９、制御装置３０を搭載した無人航空機（ドローンやマルチコプタ）をモニタリング装置として用いることとしてもよい。この場合、無人航空機の高さや、無人航空機と観測対象との位置関係を調整することで、株に当たる風の強さを調整することもできる。このようにする場合には、ブロワー２６を省略してもよい。なお、無人航空機の高さや、無人航空機と観測対象との位置関係を調整すると、カメラ２４と観測対象の位置関係が変化するため、撮影距離や撮影角度が変化するが、無人航空機と観測対象の位置関係を加味して上記処理を行うこととすればよい。

【0107】

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

【符号の説明】

【0108】

２４ カメラ（撮影装置）
２６ ブロワー（吹き付け装置）
３０ 制御装置
９０ 情報処理装置（算出装置）
１００ 情報取得システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】