(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-05
(45)【発行日】2024-06-13
(54)【発明の名称】作物モニタリング装置及び作物モニタリング方法
(51)【国際特許分類】
A01G 7/00 20060101AFI20240606BHJP
G01N 21/27 20060101ALI20240606BHJP
H04N 5/222 20060101ALI20240606BHJP
【FI】
A01G7/00 603
G01N21/27 A
H04N5/222 100
(21)【出願番号】P 2020176903
(22)【出願日】2020-10-21
【審査請求日】2023-05-26
(73)【特許権者】
【識別番号】501203344
【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構
(74)【代理人】
【識別番号】100098545
【氏名又は名称】阿部 伸一
(74)【代理人】
【識別番号】100189717
【氏名又は名称】太田 貴章
(72)【発明者】
【氏名】坪田 将吾
(72)【発明者】
【氏名】深津 時広
(72)【発明者】
【氏名】難波 和彦
【審査官】竹中 靖典
(56)【参考文献】
【文献】国際公開第2020/040063(WO,A1)
【文献】特開平08-103139(JP,A)
【文献】特開2011-229406(JP,A)
【文献】特開2020-054289(JP,A)
【文献】特開2011-120557(JP,A)
【文献】特開2013-158279(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A01G 7/00
G01N 21/27
H04N 23/00
H04N 5/222
(57)【特許請求の範囲】
【請求項1】
植物体を撮影する撮像手段と、
前記植物体に風圧を加える気流発生手段と、
前記植物体に当てる前記風圧を決定する風圧決定手段とを有し、
前記撮像手段によって撮影された前記植物体の生育予測画像を収集する作物モニタリング装置であって、
前記風圧決定手段では、前記植物体の生体情報を基に前記植物体に当てる前記風圧を決定し、
前記風圧決定手段で決定された前記風圧を、前記気流発生手段によって前記植物体に上方から加えた状態で、前記風圧を加えている前記植物体を前記撮像手段によって上方から撮影
し、
前記気流発生手段と前記撮像手段とが、前記植物体の列に沿って移動可能な走行体に支持されている
ことを特徴とする作物モニタリング装置。
【請求項2】
植物体を撮影する撮像手段と、
前記植物体に風圧を加える気流発生手段と、
前記植物体に当てる前記風圧を決定する風圧決定手段とを有し、
前記撮像手段によって撮影された前記植物体の生育予測画像を収集する作物モニタリング装置であって、
前記風圧決定手段では、前記植物体の生体情報を基に前記植物体に当てる前記風圧を決定し、
前記風圧決定手段で決定された前記風圧を、前記気流発生手段によって前記植物体に上方から加えた状態で、前記風圧を加えている前記植物体を前記撮像手段によって上方から撮影し、
前記気流発生手段と前記撮像手段との下方で、前記植物体が移動可能な植物体移動手段に支持されている
ことを特徴とす
る作物モニタリング装置。
【請求項3】
前記風圧の上限を、前記風圧により前記植物体の葉柄が損傷する風圧未満とした
ことを特徴とする請求項1
又は請求項2に記載の作物モニタリング装置。
【請求項4】
前記風圧の下限を、前記風圧により前記植物体の葉が動き出す風圧とした
ことを特徴とする請求項1、請求項2
又は請求項3に記載の作物モニタリング装置。
【請求項5】
前記風圧の下限を、前記風圧により前記植物体の中心部が撮影できる風圧とした
ことを特徴とする請求項1、請求項2
又は請求項3に記載の作物モニタリング装置。
【請求項6】
前記撮像手段及び前記気流発生手段と、前記植物体とが相対的に移動することを特徴とする請求項1から
請求項5のいずれか1項に記載の作物モニタリング装置。
【請求項7】
前記撮像手段と前記気流発生手段とを、前記気流発生手段が生じさせる気流によって前記植物体の上方で停止又は移動可能としたことを特徴とする請求項1から
請求項6のいずれか1項に記載の作物モニタリング装置。
【請求項8】
前記植物体は株元から多数の葉柄が立葉状に生育する植物体であることを特徴とする請求項1から
請求項7のいずれか1項に記載の作物モニタリング装置。
【請求項9】
植物体の生体情報を基に前記植物体が損傷しないように当てる風圧を決定する工程と、
決定された前記風圧を前記植物体に上方から加えた状態で、前記風圧を加えている前記植物体を上方から撮影する工程と、
前記工程により撮影して得られた前記植物体の生育予測画像を収集する工程と
を有
し、
前記風圧を前記植物体に加える気流発生手段と、前記植物体を上方から撮影する撮像手段とを、走行体に支持された状態で前記植物体の列に沿って移動させる
ことを特徴とする作物モニタリング方法。
【請求項10】
前記生体情報として、草高、葉面積、葉柄長、葉柄径及び葉柄角度の少なくとも1つを用いることを特徴とする
請求項9に記載の作物モニタリング方法。
【請求項11】
前記植物体の前記生育予測画像が、新葉、花芽、わき芽、ランナー、果実、つぼみ、花、害虫及び病徴の少なくとも1つを撮影したものである
ことを特徴とする
請求項9又は
請求項10に記載の作物モニタリング方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作物の生育予測に使用するための撮像手段によって撮影された植物体の生育予測画像を収集する作物モニタリング装置及び作物モニタリング方法に関する。
【背景技術】
【0002】
近年増加する大規模な生産法人において、安定した経営を行うためには、収穫時期と収量をコントロールして出荷計画を立てることが重要である。これを実現するためには、作物の生育予測情報をできる限り広範囲、かつ、細密にモニタリングして既存の生育予測式に適用し、栽培管理を施して生育状態をコントロールすることが必要である。生育予測画像を収集するためのモニタリングには、非接触で作物を損傷することなく広範囲の情報を省力的に得ることができる画像計測が有効であり、RGBカメラやRGB-Depthカメラを用いた草高や葉面積などの観測技術が開発されている。しかし、作物個々体の内側は画像計測の死角となり、画像情報を取得できる技術が確立されていない。この観測できない死角部分は、通常人間が作物の異変に気づきにくい部分でもあり、その部分をモニタリングする技術が求められている。作物の生育の状態は刻一刻と変化し、同一ほ場内においてもその状態にばらつきが存在するため、時間や場所ごとに高頻度にモニタリングすることが重要であり、省力的にモニタリングする技術が求められている。
ところで、特許文献1では、送風によって収穫対象果実を隠す他物(障害物)を移動させ、対象果実の位置を検出する装置が提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平8-103139号公報
【文献】国際公開第2018/168565号
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1では、主な対象作物であるトマトやキュウリの収穫範囲付近に横から風を加えて障害物を移動させ、死角の果実位置を検出する技術である。
特許文献2では、カメラ付きのドローンなどの無人飛行体により植物体上方のある一定角度から植物の株元部分の状況を撮影し生育状況をモニタリングする技術である。どちらの技術も、加えられる風圧により植物に損傷が出る可能性がある。植物体の損傷は、物質生産を行うことが可能な葉の面積を減少させ、結果として収量の低下に繋がるため、植物体生育の過程をモニタリングする計測技術としては適切でない。
【0005】
本発明は、植物体に損傷を与えずに生育予測画像を取得することができる作物モニタリング装置及び作物モニタリング方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1記載の本発明の作物モニタリング装置1は、植物体Aを撮影する撮像手段2と、前記植物体Aに風圧を加える気流発生手段3と、前記植物体Aに当てる前記風圧を決定する風圧決定手段11とを有し、前記撮像手段2によって撮影された前記植物体Aの生育予測画像を収集する作物モニタリング装置1であって、前記風圧決定手段11では、前記植物体Aの生体情報を基に前記植物体Aに当てる前記風圧を決定し、前記風圧決定手段11で決定された前記風圧を、前記気流発生手段3によって前記植物体Aに上方から加えた状態で、前記風圧を加えている前記植物体Aを前記撮像手段2によって上方から撮影し、前記気流発生手段3と前記撮像手段2とが、前記植物体Aの列に沿って移動可能な走行体7に支持されていることを特徴とする。
請求項2記載の本発明の作物モニタリング装置1は、植物体Aを撮影する撮像手段2と、前記植物体Aに風圧を加える気流発生手段3と、前記植物体Aに当てる前記風圧を決定する風圧決定手段11とを有し、前記撮像手段2によって撮影された前記植物体Aの生育予測画像を収集する作物モニタリング装置1であって、前記風圧決定手段11では、前記植物体Aの生体情報を基に前記植物体Aに当てる前記風圧を決定し、前記風圧決定手段11で決定された前記風圧を、前記気流発生手段3によって前記植物体Aに上方から加えた状態で、前記風圧を加えている前記植物体Aを前記撮像手段2によって上方から撮影し、前記気流発生手段3と前記撮像手段2との下方で、前記植物体Aが移動可能な植物体移動手段9に支持されていることを特徴とする。
請求項3記載の本発明は、請求項1又は請求項2に記載の作物モニタリング装置1において、前記風圧の上限を、前記風圧により前記植物体Aの葉柄31が損傷する風圧未満としたことを特徴とする。
請求項4記載の本発明は、請求項1、請求項2又は請求項3に記載の作物モニタリング装置1において、前記風圧の下限を、前記風圧により前記植物体Aの葉32が動き出す風圧としたことを特徴とする。
請求項5記載の本発明は、請求項1、請求項2又は請求項3に記載の作物モニタリング装置1において、前記風圧の下限を、前記風圧により前記植物体Aの中心部が撮影できる風圧としたことを特徴とする。
請求項6記載の本発明は、請求項1から請求項5のいずれか1項に記載の作物モニタリング装置1において、前記撮像手段2及び前記気流発生手段3と、前記植物体Aとが相対的に移動することを特徴とする。
請求項7記載の本発明は、請求項1から請求項6のいずれか1項に記載の作物モニタリング装置1において、前記撮像手段2と前記気流発生手段3とを、前記気流発生手段3が生じさせる気流によって前記植物体Aの上方で停止又は移動可能としたことを特徴とする。
請求項8記載の本発明は、請求項1から請求項7のいずれか1項に記載の作物モニタリング装置1において、前記植物体Aは株元から多数の葉柄31が立葉状に生育する植物体Aであることを特徴とする。
請求項9記載の本発明の作物モニタリング方法は、前記植物体Aの生体情報を基に前記植物体が損傷しないように当てる風圧を決定する工程と、決定された前記風圧を前記植物体に上方から加えた状態で、前記風圧を加えている前記植物体Aを上方から撮影する工程と、前記工程により撮影して得られた植物体Aの生育予測画像を収集する工程とを有し、前記風圧を前記植物体Aに加える気流発生手段3と、前記植物体Aを上方から撮影する撮像手段2とを、走行体7に支持された状態で前記植物体Aの列に沿って移動させることを特徴とする。
請求項10記載の本発明は、請求項9記載の作物モニタリング方法において、前記生体情報として、草高、葉面積、葉柄長、葉柄径及び葉柄角度の少なくとも1つを用いることを特徴とする。
請求項11記載の本発明は、請求項9又は請求項10に記載の作物モニタリング方法において、前記植物体Aの前記生育予測画像が、新葉、花芽、わき芽、ランナー、果実、つぼみ、花、害虫及び病徴の少なくとも1つを撮影したものであることを特徴とする。
【発明の効果】
【0007】
本発明によれば、植物体の生体情報を基に植物体に損傷が生じる風圧を決めるため、植物体に損傷を与えずに生育予測画像を取得することができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の一実施例による作物モニタリング装置の概略構成図
【
図2】本発明の他の実施例による作物モニタリング装置の概略構成図
【
図3】本発明の更に他の実施例による作物モニタリング装置の概略構成図
【
図6】本実施例による作物モニタリング装置の動作を示すフローチャート
【
図8】植物体に加わる風圧と葉が受ける荷重の関係の計測方法を示す概念図
【発明を実施するための形態】
【0009】
本発明の第1の実施の形態による作物モニタリング装置は、風圧決定手段では、植物体の生体情報を基に植物体に当てる風圧を決定し、風圧決定手段で決定された風圧を、気流発生手段によって植物体に上方から加えた状態で、風圧を加えている植物体を撮像手段によって上方から撮影し、気流発生手段と撮像手段とが、植物体の列に沿って移動可能な走行体に支持されているものである。
本実施の形態によれば、植物体に損傷を与えずに生育予測画像を取得することができる。また、気流発生手段と撮像手段とが走行体に支持されて移動することで安定した撮影を行える。
【0010】
本発明の第2の実施の形態による作物モニタリング装置は、風圧決定手段では、植物体の生体情報を基に植物体に当てる風圧を決定し、風圧決定手段で決定された風圧を、気流発生手段によって植物体に上方から加えた状態で、風圧を加えている植物体を撮像手段によって上方から撮影し、気流発生手段と撮像手段との下方で、植物体が移動可能な植物体移動手段に支持されているものである。
本実施の形態によれば、植物体に損傷を与えずに生育予測画像を取得することができる。また、気流発生手段と撮像手段とを固定し、その下方を植物体が移動することでも安定した撮影を行える。また、既存の植物体Aや植物体A群を移動させる装置に後付けで撮像手段と気流発生手段を設置することができる。
【0011】
本発明の第3の実施の形態は、第1又は第2の実施の形態による作物モニタリング装置において、風圧の上限を、風圧により植物体の葉柄が損傷する風圧未満としたものである。
葉柄が損傷するとは、植物体の葉柄の株元付け根部分が裂ける、剥がれる又は折れることにより風圧を加えるのを止めた場合でも元の状態に復元しないことを言い、本実施の形態によれば、風圧の上限をあらかじめ決定することで、植物体に損傷を与えることなく、新葉、花芽、わき芽、ランナー(走出枝)、果実、つぼみ、花、害虫、病徴の少なくともいずれか又は全部の生育予測画像を得ることができる。
葉柄の損傷には、折れと生え際(株元)の裂けや剥離があり、葉柄径(断面積)が小さいほど損傷を生じる荷重は小さい。損傷が生じる荷重と葉柄径の関係はあらかじめ調査しておく、又は、調査された関係式を使って計算する。植物体Aに上方から加わる風圧は、葉に荷重を加える。荷重は、葉面積、例えば投影葉面積が大きくなるにしたがって大きくなる。風圧と荷重の関係は、一般的な風速と物体に加わる荷重の関係式から計算で求めてもよいが、葉の形状や作目に応じてあらかじめ実験的に求めることが好ましい。
【0012】
本発明の第4の実施の形態は、第1、第2又は第3の実施の形態による作物モニタリング装置において、風圧の下限を、風圧により植物体の葉が動き出す風圧としたものである。
本実施の形態によれば、葉を動かすことで、葉に隠れた新葉、花芽、わき芽、ランナー、果実、つぼみ、花、害虫、病徴の存在を確認でき生育予測画像として取得できる。なお、植物体の葉が動き出す風圧は、例えば目視にて決定することもできる。
【0013】
本発明の第5の実施の形態は、第1、第2又は第3の実施の形態による作物モニタリング装置において、風圧の下限を、風圧により植物体の中心部が撮影できる風圧としたものである。
本実施の形態によれば、植物体の新葉、花芽、わき芽、ランナー、果実、つぼみ、花、害虫、病徴を露出させることができる。中心部から発生する新葉及び花芽の生育予測画像を取得することにより、正確な草勢、収穫時期が予測できることから環境制御や栽培管理方法の判断、収穫時期や収量の予測等に有効となる。特に植物体の中心部を撮影することが、新葉、花芽の観察には適している。
【0014】
本発明の第6の実施形態は、第1から第5のいずれかの実施の形態による作物モニタリング装置において、撮像手段及び気流発生手段と、植物体とが相対的に移動するものである。
本実施の形態によれば、移動しながら多数の株を連続的にモニタリングすることによって省力的(時間的な)に生育予測画像を収集することができる。そして、本実施の形態によれば、撮像手段及び気流発生手段、又は植物体Aのどちらかが移動すれば良いので設計上の自由度が生まれる。既存の植物体Aや植物体A群を移動させる装置に撮像手段2と気流発生手段3を設置することができる。
【0015】
本発明の第7の実施の形態は、第1から第6のいずれかの実施の形態による作物モニタリング装置において、撮像手段と気流発生手段とを、気流発生手段が生じさせる気流によって植物体の上方で停止又は移動可能としたものである。
本実施の形態によれば、気流発生手段で発生させる気流を撮像手段と気流発生手段との移動に用いることができる。
【0016】
本発明の第8の実施の形態は、第1から第7のいずれかの実施の形態による作物モニタリング装置において、植物体は株元から多数の葉柄が立葉状に生育する植物体であるものである。
本実施の形態によれば、生育予測画像を取得しやすい。なお、株元から多数の葉柄が立葉状に生育する植物体としては、イチゴ、又はコマツナ、ホウレンソウ、若しくはチンゲンサイ等の葉菜類があり、イチゴが最も適している。
【0017】
本発明の第9の実施の形態による作物モニタリング方法は、植物体の生体情報を基に植物体が損傷しないように当てる風圧を決定する工程と、決定された風圧を植物体に上方から加えた状態で、風圧を加えている植物体を上方から撮影する工程と、この工程により撮影して得られた植物体の生育予測画像を収集する工程とを有し、風圧を植物体に加える気流発生手段と、植物体を上方から撮影する撮像手段とを、走行体に支持された状態で植物体の列に沿って移動させるものである。
本実施の形態によれば、気流発生手段と撮像手段とが走行体に支持されて移動することで安定した撮影を行える。また、事前にモニタリング対象の植物体の少なくとも1つ、又は2つ以上の生体情報を基に植物体に損傷が生じる風圧を決めるため、植物体に損傷を与えずに生育予測画像を取得することができる。
【0018】
本発明の第10の実施形態は、第9の実施の形態による作物モニタリング方法において、生体情報として、葉高、葉面積、葉柄長、葉柄径及び葉柄角度の少なくとも1つを用いるものである。
本実施の形態によれば、事前にモニタリング対象の植物体の草高、葉面積、葉柄長、葉柄径、葉柄角度の少なくとも1つを生体情報として用いて植物体に損傷が生じる風圧を決めるため、植物体に損傷を与えずに生育予測画像を取得することができる。
風圧を決定するための生体情報には、草高、葉面積、葉柄長、葉柄径、及び、葉柄角度があり、全ての生体情報を用いて風圧の上限を決定することで正確性が高まり、より植物体を損傷させるリスクが低くなるが、作目によっては、これらの生体情報の間に相関関係が認められることが多く、草高、葉面積、葉柄長、葉柄径、葉柄角度の少なくとも1つの生体情報から他の生体情報を推測してもよい。このことにより、植物体に加える風圧の上限を決定するための生体情報の計測を省力化することができる。
このように計算された、植物体に加わる風圧と葉柄の株元が受ける荷重の関係において、あらかじめ実験で調べられた損傷を生じる荷重が葉柄の株元付け根部分に加わるときの風圧未満を、植物体に加えることができる風圧の上限とする。
決定された風圧は、決定された風圧の上下限の範囲内にて一定でもよいし、変動させてもよい。より小さな風圧で生育予測画像を取得することが、植物体を損傷しないために重要であり、上下限の範囲内において、個々の植物体に対して目的とする生育予測画像が撮影可能な状態に露出するまで徐々に風圧を上昇させることで植物体を損傷させるリスクを低くすることができる。他方植物体群から連続的に生育予測画像を取得する場合、決定された風圧は一定とすることが好ましい。
【0019】
本発明の第11の実施形態は、第9又は第10の実施の形態による作物モニタリング方法において、植物体の生育予測画像が、新葉、花芽、わき芽、ランナー、果実、つぼみ、花、害虫及び病徴の少なくとも1つを撮影したものである。
本実施の形態によれば、葉に隠れた新葉、花芽、わき芽、ランナー、果実、つぼみ、花、害虫、病徴等を生育予測画像として取得することで生育を正確に予測することができる。
【実施例】
【0020】
以下本発明の一実施例による作物モニタリング装置について説明する。
図1は本実施例による作物モニタリング装置の概略構成図であり、
図1(a)は同作物モニタリング装置の概略側面構成図、
図1(b)は同作物モニタリング装置の概略上面構成図である。
【0021】
本実施例による作物モニタリング装置1は、植物体Aを撮影する撮像手段2と、植物体Aに風圧を加える気流発生手段3と、撮影時の照明を行う照明手段4と、撮像手段2、気流発生手段3、及び照明手段4を移動させる走行体7と、撮像手段2、気流発生手段3、照明手段4、及び走行体7を制御する制御手段10とを有し、撮像手段2によって撮影された植物体Aの生育予測画像を収集し撮影制御手段12、撮像手段2(カメラのメモリ)等に保存する。撮像手段2、気流発生手段3、及び照明手段4は、植物体Aの列に沿って移動可能な走行体7に支持されている。収集された生育予測画像は、植物体Aの生育予測を行うために用いられる。生育予測画像は、新葉、花芽、わき芽、ランナー、果実、つぼみ、花、害虫、病徴の少なくともいずれかを含むものである。ここで、新葉とは、最も新しい葉であり、次に発生する新葉が視認できるまでの期間の葉である。
【0022】
撮像手段2は、例えばRGBカメラやRGB-Depthカメラやマルチスペクトルカメラを用いることができる。
RGBカメラではRGB画像を取得でき、RGB-DepthカメラではRGB画像とDepth画像を取得できる。Depth画像により撮影対象物までの距離情報を取得することができる。また、距離情報を計測可能な光学センサを用いることができる。その他取得したい生育予測情報を画像処理等によって識別しやすくするために、特定波長の感度が高いカメラを用いることができる。
気流発生手段3は、プロペラ及びこのプロペラを駆動するモータとからなる。気流発生手段3には、ドローンや無人ヘリコプターのような無人飛行体で下方向に気流を発生可能な物を用いることができる。
照明手段4は、夜間モニタリング時に必要であり、LEDを用いることができる。その他取得したい生育予測画像を画像処理等によって識別しやすくするために、特定波長のLEDを使用できる。より詳細な、あるいは、鮮明な生育予測画像を取得するため照明の波長や点滅周波数を変化させても良い。
【0023】
走行体7は台車5と基台6とから構成される。
台車5は、本実施例では、ガイド(レール)8上を走行する車輪5bと、車輪5bを移動させるモータ5cと、モータ5cの電源となるバッテリー5dとから構成している。台車5は、基台6によって撮像手段2、気流発生手段3、及び照明手段4を保持しており、台車5の移動によって撮像手段2、気流発生手段3、及び照明手段4を移動する。撮像手段2、気流発生手段3、及び照明手段4が走行体7によって支持されて移動することで安定した撮影を行える。
なお、このような走行体7を設けることなく、撮像手段2、気流発生手段3、及び照明手段4を気流発生手段3が生じさせる気流によって植物体Aの上方を移動可能にすることもできる。このように、気流発生手段3で発生させる風圧を気流発生手段3の移動に用いることができる。気流発生手段3で発生させる風圧によって気流発生手段3が移動できるものとして、無人で遠隔操作や自動制御によって飛行できる航空機がある。このような無人航空機の飛行に用いるプロペラを気流発生手段3として用いることができる。
【0024】
基台6は、撮像手段2及び気流発生手段3の高さを変更でき、基台6の高さ変更によって、植物体Aから撮像手段2までの距離、及び植物体Aから気流発生手段3までの距離を変更することができる。基台6は手動で高さを調整できる構成であってもよく、モータ等の動力によって入力された移動量を自動で制御できる構成でもよい。
気流発生手段3及び撮像手段2は、植物体Aの最大高さよりも高く、撮像手段2の画角が少なくとも1株の植物体Aの一部、好ましくは全体を撮像可能な高さであり、植物体Aに加わる風圧が決定された風圧の上下限内となるように気流発生手段3が発する風量を調節可能な高さである必要がある。気流発生手段3が発する風量は、気流発生手段3が発する気流が垂直方向及び水平方向に及ぼす風圧の分布を調べておき、植物体Aに達する時の風圧から逆算して計算することができる。又は、単純な構成の気流発生手段3であれば、気流発生源からの距離に応じて風圧が減衰することを示す一般的な関係式から逆算してもよい。
気流発生手段3と植物体Aの間には、発する気流の障害となる物体が無いこと望ましい。これにより、植物体Aに加わる風圧を均一にでき、気流発生手段3が発する気流の風量を計算によって求めることが容易となる。撮像手段2と植物体Aの間には、植物体A以外の物体が無いことが望ましく、これにより、生体情報や生育予測画像を広範囲かつ鮮明に取得できる。
気流発生手段3を移動の動力として用いる場合、気流が進行方向より後ろ側下方向に強く分布するため、撮像手段2は気流発生手段3の後ろ側に設置する構成が望ましい。例えば撮影する植物体Aの直上でもよい。これにより、風圧によって露出される植物体Aの死角部分を移動しながら長区間で撮像でき、生育予測画像を取得できる可能性が高まる。
【0025】
制御手段10は、気流発生手段3で発生させる風圧を決定する風圧決定手段11、撮像手段2に撮影指示を行う撮影制御手段12、気流発生手段3及び基台6に動作指示を行う気流制御手段13、照明手段4に照明指示を行う照明制御手段14、及び走行体7に移動指示を行う移動制御手段15を有している。
風圧決定手段11では、植物体Aの生体情報を基に植物体Aに当てる風圧を決定する。決定される風圧は、植物体Aに当たる風圧であり、植物体A直上における風圧である。
気流制御手段13は、決定された風圧が植物体Aに加わるように気流発生手段3の発する風量(プロペラ回転数)、あるいは、植物体Aと気流発生手段3の距離(基台6の高さ)、あるいは、気流発生手段3の発する風量と気流発生手段3と植物体Aの距離を複合的に制御する。植物体Aの生体情報は、植物体Aの草高、葉面積、葉柄径、葉柄長及び葉柄角度の少なくともいずれかを含むものである。このように、草高、葉面積、葉柄径、葉柄長及び葉柄角度の少なくともいずれかの生体情報と、気流発生手段3から撮像手段2で撮影する植物体Aまでの距離情報とプロペラ回転数(風量)によって少なくとも植物体Aが損傷してしまう風圧を決定(測定、算出)し、この風圧未満の風圧を決定することができ、決定された風圧を植物体Aに加えることで、植物体Aに損傷を与えることなく、新葉、花芽、わき芽、ランナー、果実、つぼみ、害虫、病徴及び花の少なくともいずれかの生育予測画像を得ることができる。気流発生手段3から撮像手段2で撮影する植物体Aまでの距離情報は、本実施例では基台6の高さ情報を用いることができるが、撮像手段2としてRGB-Depthカメラを用いる場合には、Depth画像により得られる距離情報を用いることができ、その他として、距離センサを用いることができる。また、気流を加えずに多点で撮影したRGB画像から距離情報を推定することができる。
【0026】
草高、葉面積、葉柄径、葉柄長及び葉柄角度の少なくともいずれかの生体情報は、撮像手段2によって取得する。草高は、気流発生手段3による風圧を加えない状態で、複数位置から撮像手段2で撮影した画像から植物体Aの3次元情報を計算するか、距離情報を取得可能なカメラ又はセンサを持つ撮像手段2によって植物体Aまでの距離情報と培地の高さの差分等から計算する。例えば、草高は、上方からカメラを移動させながら撮影し、多点から撮影した画像から3次元的な高さを推定でき、又はカメラと距離センサ、又はカメラと距離カメラ(RGB-Depthカメラ)で撮影して推定できる。葉面積は、気流発生手段3によって風圧を加えない状態で、又は、損傷を与えない決定された風圧を加えた状態で、撮像手段2によって取得した画像内における葉の面積等によって計算する。例えば、葉面積は、上方からカメラで撮影して推定でき、カメラと距離センサで葉までの距離と画像中の葉の面積から推定でき、上方からカメラを移動させながら撮影し、多点から撮影した画像から3次元的な面積を推定でき、カメラと距離カメラ(RGB-Depthカメラ)で撮影して3次元的な面積を推定できる。葉柄長及び葉柄径は、植物体Aの側面から植物体Aを撮影した画像内に撮像した葉柄の投影長や投影径から、又は、気流発生手段3によって損傷を与えない風圧を加えた状態で露出した葉柄の投影長及び投影径等から計算する。例えば、葉柄長及び葉柄径は、植物体Aを側方からカメラで撮影して推定でき、気流を加えて倒れた状態で画像に写った葉柄の投影径を計算でき、距離センサ、Depthカメラ、カメラの多点画像から距離を推定することで更に精度を向上できる。葉柄角度は、植物体Aの側面から植物体Aを撮影した画像内に撮像した葉柄の培地面に対する角度から、または、別途推定した草高と葉柄長の関係から推定する等によって計算することができる。例えば、葉柄角度は、草高と葉柄長から推定できる。例えば、季節ごと、あるいは、作目ごとの生体情報の代表的な値を用いて風圧を決定することができる。
【0027】
植物体Aに風圧を加えながら風圧の加わっていない範囲の植物体Aを撮影して生体情報を取得する場合は、少なくとも風圧が加わる範囲以外の範囲の植物体Aを1株以上撮像可能な撮影範囲が必要である。風圧を加えずに生体情報のみを取得する場合は、対象とする植物体Aの1株以上が画像内に収まる以上の面積が撮影できることが望ましい。そして、撮像手段2によって取得した植物体Aの生体情報を用いて風圧を決定し、決定した風圧を植物体Aに加えることで、撮像手段2によって生育予測画像を取得することができる。従って、植物体Aに損傷を与えない風圧で、生育予測画像を取得することができる。生体情報は、人がカメラ、スキャナ、直尺、ノギス、メジャ、角度計などの計測器を用いて撮影対象の植物体Aのサンプリング調査を行い、計測した値(数値)を風圧決定手段11に入力することで上限を決定してもよい。
【0028】
本実施例による作物モニタリング装置1は、風圧決定手段11で決定された風圧を、気流発生手段3によって植物体Aに上方から加えた状態で、風圧を加えている植物体Aを撮像手段2によって上方から撮影することで生育予測画像を取得する。
このように、本実施例による作物モニタリング装置1によれば、植物体Aの生体情報を基に決定した風圧を気流発生手段3によって植物体Aに加えるため、植物体Aに損傷を与えずに生育予測画像を取得することができる。
【0029】
図2は本発明の他の実施例による作物モニタリング装置の概略構成図である。
なお、
図1に示す実施例と同一機能部材には同一符号を付して説明を省略する。
図示のように、植物体Aを撮影する撮像手段2と、植物体Aに風圧を加える気流発生手段3と、撮像手段2及び気流発生手段3を移動させる走行体7と、撮像手段2、気流発生手段3、及び走行体7を制御する制御手段10と、植物体Aの列に沿って上部に設置されたガイド8とを有し、撮像手段2によって撮影された植物体Aの生育予測画像を収集する。撮像手段2及び気流発生手段3は、植物体Aの列に沿ってガイド8を移動可能な走行体7に支持されている。走行体7の動力源は気流発生手段3であり、気流発生手段3は植物体Aに加える風圧源及び移動のための動力源を兼ねる。このため、本実施例では移動のために走行体7はモータ5cやバッテリー5d等の動力源を要さず、装置を小型化することができる。また、走行体7を、固定されたガイド8に沿って移動するため、ドローンのような飛行体と比べて安定した撮影を行え、精度よく植物体Aの直上でモニタリングすることができる。さらに、ガイド8に支持されることにより、ドローンのような飛行体に比べ重量の影響を考慮しなくてよいので精度の高い撮像手段2や計算能力の高い制御手段10を積載することができる。なお、走行体7の動力源が気流発生手段3の場合、制御手段10は複数のプロペラの回転数に差を設けた制御することで移動速度や移動方向を制御し、気流発生手段3の風量は、例えば、移動時及び停止時の気流発生手段3の下方に作用する風圧の垂直分布及び水平分布を調べておき、気流制御手段13はその分布情報から決定された風圧が植物体Aに加わるように基台6の高さを制御することで植物体Aに加える風圧を調節することができる。
本実施例では、走行体7には、例えば滑車を用いることができ、ガイド8には、例えばワイヤを用いることができる。
収集された生育予測画像は、植物体Aの生育予測を行うために用いられる。生育予測画像は、新葉、花芽、わき芽、ランナー、果実、つぼみ、花、害虫、病徴の少なくともいずれかを含む画像である。ここで、新葉とは、最も新しい葉であり、次に発生する新葉が視認できるまでの期間の葉である。わき芽とは生産者が成長させずに摘除すると判断する葉である。ランナーとは収穫を伴う栽培期間中は摘除する部位である。害虫とは、アブラムシ、アザミウマ、ダニ類等である。病徴とは、病斑や萎凋等である。病徴や害虫は特に葉裏や葉の陰にあって植物体Aを動かさないと見えない部分にある場合である。
【0030】
なお、本実施例では、気流発生手段3が移動のための動力源を兼ねたものとして説明したが、気流発生手段3は植物体Aに加える風圧源としてだけに用いることもできる。
すなわち、走行体7は、植物体A上部に設置されたモータ等を動力源とする可動式の台車5がガイド8に沿って気流発生手段3と撮像手段2が保持された構成で、植物体A列に沿って移動してもよい。このとき基台6は、ガイド8を保持する部分であって高さを調整できるものであってもよいし、走行体7(台車5)と気流発生手段3及び撮像手段2を接続する保持手段aで高さが調整されてもよい。また、走行体7は、植物体A上部に設置された固定式のガイド8に沿って移動可能なモータ等の動力源を有する気流発生手段3及び撮像手段2であり、植物体A列に沿って移動するものであってもよい。このとき、基台6は、固定式のガイド8を保持するものであってもよい。
基台6で高さを調整する場合には、ガイド8が上下に移動し、保持手段aで高さを調整する場合には、気流発生手段3及び撮像手段2が上下に移動する。
なお、ガイド8として、エンドレス状に回転する例えばコンベアを用いることで、走行体7(台車5)が駆動手段を持たなくても、気流発生手段3及び撮像手段2を移動させることができる。
【0031】
図3は本発明の更に他の実施例による作物モニタリング装置の概略構成図である。
なお、
図1及び
図2に示す実施例と同一機能部材には同一符号を付して説明を省略する。
図示のように、植物体移動手段9は、植物体Aを積載して移動させるコンベアであってもよく、複数の植物体Aが列状に植わった栽培槽Bを列方向に、又は、単体の植物体Aを植えたポットを植物体Aよりも上部に固定された気流発生手段3及び撮像手段2の下方を通過させる構成であってもよい。このとき、植物体Aと気流発生手段3及び撮像手段2の高さは、気流発生手段3及び撮像手段2を固定する基台6a、又は、植物体Aを移動させるコンベアを支持する基台6bによって調整されてもよい。
図2及び
図3を用いて説明した実施例においても
図1に示す実施例と同様に照明手段4を備えていることが好ましい。
【0032】
図4及び
図5は植物体の状態を示す写真である。
図4(a)、(c)は、気流発生手段3による風圧を加えない状態にある植物体Aを示しており、この状態で、撮像手段2によって植物体Aを撮影することで、草高、葉面積、葉柄径、葉柄長及び葉柄角度の少なくともいずれかの生体情報を得ることができる。
図4(b)、(d)は、気流発生手段3によって植物体Aに上方から加えた状態を示しており、風圧を加えている植物体Aでは、その中心部を露出させることにより新葉、花芽、わき芽、つぼみ、花、果実、病徴、害虫及びランナーを露出させることができており、この状態で、撮像手段2によって植物体Aを撮影することで、新葉、花芽、わき芽、つぼみ、花、果実、病徴、害虫及びランナーの少なくともいずれかの生育予測画像を得ることができる。
【0033】
図5は、植物体Aの株元の断面写真であり、風圧によって損傷を受けやすく、特に裂けたり、ちぎれやすい葉柄の株元付け根部分、葉柄が折れやすい部分を白破線矢印で示している。
図5に示すように、新葉や花芽が発生する部分を植物体Aの中心部としている。
【0034】
なお、
図4(a)、
図4(b)、及び
図5は植物体Aがイチゴであり、
図4(c)、及び
図4(d)は植物体Aがコマツナである。
植物体Aに損傷を与えない風圧とは、風圧除去後に葉柄が元の状態に戻ることができる風圧であり、葉柄が折れること、又は葉柄が着生する株元から剥離すること(裂けること)を損傷としている。
あらかじめ決定する風圧の上限は、風圧により植物体Aの葉柄が損傷する風圧未満とし、植物体Aにはこの上限未満の風圧を加える。
風圧の下限は、風圧により植物体Aの葉が動き出す風圧とする。植物体Aの葉が少しでも動くことで葉に隠れた新葉、花芽、わき芽、ランナー、果実、つぼみ、花、害虫、病徴が見える可能性がある。
より好ましくは、風圧の下限は、風圧により植物体Aの中心部が撮影できる風圧とする。
図4(b)、及び
図4(d)の点線枠で示す位置に、中心部が見えている。このように、植物体Aの中心部が見える状態にすることで、イチゴの場合には、特に新葉、花芽、ランナーを撮影することができ、コマツナの場合には、特に新葉を撮影することができる。
【0035】
図6は本実施例による作物モニタリング装置の動作を示すフローチャートであり、
図6(a)は計測フロー、
図6(b)は撮像手段による風圧決定フロー、
図6(c)は撮像手段によらない風圧決定フローを示している。
図6(a)を用いて計測フローについて説明する。
本実施例による作物モニタリング装置1は、例えば1日1回、定刻に動作させる。
制御手段10では、モニタリング開始時間になると(S1でYes)、風圧を決定する(S2)。
S2において風圧が決定されると、気流制御手段13は、気流発生手段3と植物体Aの距離情報から、決定された風圧が植物体Aに加わるように気流発生手段3の発する気流の風量を決定し、気流発生手段3は決定された風量の気流を発生させる(S3)。あるいは、気流制御手段13は、決定された風圧と気流発生手段3が発する風量との関係から基台6の高さを決定し、基台6の高さを制御する。照明手段4で照明をONとし(S4)、撮像手段2での撮影を開始する(S5)。なお、S3からS5は同時に開始してもよい。
気流発生手段3で気流を発生させた状態で、走行体7を生体情報を取得した植物体Aに沿って移動し(S6)、撮像手段2での撮影を行い、列方向に配列されているすべての植物体Aについての撮影が終了すると、走行体7を停止し(S7)、照明手段4、撮像手段2による撮影をOFFし(S8、S9)、気流発生手段3での気流発生を停止する(S10)。
撮影された生育予測画像は、以後の生育予測として使用されるデータとして記憶手段(図示せず)に記憶され(S11)、待機状態となる。
【0036】
S2における風圧決定は、
図6(b)又は
図6(c)に示すフローで行われる。
まず、
図6(b)を用いて撮像手段による風圧決定フローについて説明する。
撮像手段2による風圧決定フローでは、気流発生手段3は動作させていない。走行体7の動作を開始し(S21)、照明手段4で照明をONとし(S22)、撮像手段2での撮影を開始する(S23)。列方向に配列されているすべての植物体Aについての撮影が終了すると走行体7を停止し(S24)、撮像手段2での撮影をOFFする(S25)。撮影が終了すると照明手段4をOFFする(S26)。
撮影された生体画像は記憶手段に記憶される(S27)。記憶された生体画像から、植物体Aの草高、葉面積、葉柄長、葉柄径及び葉柄角度の少なくともいずれかの生体情報を画像処理等によって推定し(S28)、推定した生体情報を風圧決定手段11に入力し(S29)、入力された生体情報から植物体Aに加える風圧を決定する(S30)。あらかじめ決定する風圧の上限は、風圧により植物体Aの葉柄が損傷する風圧未満とし、植物体Aにはこの上限未満の風圧を加える。風圧の下限は、風圧により植物体Aの葉が動き出す風圧とする。
例えば、植物体A列の側方を撮像できる位置に撮像手段2を設置して、側方から取得した画像から、植物体Aの草高、葉面積、葉柄長、葉柄径及び葉柄角度の少なくともいずれかの生体情報に関する画像を取得することもできる。また、植物体Aに加える風圧の上限が決定されている場合は、例えば、
図6(a)のフローのように気流発生手段3を動作させて生育予測画像を撮像手段2によって取得しながら生体情報を含む画像を取得することができる。
【0037】
次に、
図6(c)を用いて撮像手段によらない風圧決定フローについて説明する。
撮像手段2によらない風圧決定フローでは、モニタリングする範囲において、人がカメラ、スキャナ、直尺、メジャ、ノギス、角度計、等の各種計測機器を用いて、生体情報のサンプリング調査を行い(S31)、風圧決定手段11に生体情報を入力し(S32)、気流発生手段3が植物体Aに加える風圧範囲、特に上限が決定される(S33)。風圧の下限は、風圧により植物体Aの葉が動き出す風圧とする。
さらに、毎日あるいはそれに準じる高頻度なモニタリングをすることにより、生育予測画像を取得するときに、生体情報をあわせて取得することによって事前の生体情報収集を省略することができる。
【0038】
風圧決定に利用される生体情報は、撮像手段2によって取得する場合には、モニタリング対象となる全ての植物体Aの情報を用いることが望ましい。その際、風圧決定に利用される生体情報は植物体Aの位置情報と組合わせて保存し、位置ごとに加える風圧を制御してもよいし、植物体Aの生体情報を基に計算された最弱あるいは最弱の風圧を基準にした安全に近い風圧値を一定値として用いてもよい。
下方に植物体Aが無い植物体A列間を移動してモニタリング対象の植物体A列を撮影することにより、あらかじめ生体情報を取得して植物体Aに加える風圧の上限を決定することができる。
【0039】
図7は風圧の上限を決定するための条件としての、葉に加えた時に損傷を生じ始める荷重Pl_damageを計算するための説明図である。
上方からの気流によって葉に加わった荷重Pは、葉柄角度θに応じて葉柄を圧縮する方向と葉柄を押し倒す方向に加わる。葉柄は圧縮に対しては座屈しさらには折れ、押し倒しに対しては株元のちぎれ・剥離、折れが生じる。圧縮及び押し倒しによって損傷する荷重Pb_damageと葉柄径Dの関係はあらかじめ調べておく必要があり、葉に加わった荷重Pが作用する部位である葉の付け根部位(
図8の31B)から、損傷部位である株元までの長さである葉柄長L、及び葉柄径Dによって、損傷部位にかかる荷重が損傷荷重Pb_damageとなるときの葉にかかる荷重Pl_damageを計算し、座屈、折れ、株元のちぎれ・剥離を引き起こす各損傷荷重Pl_damageのうち最も小さい荷重を、風圧の上限未満を決定する、葉に加えたときに損傷を生じはじめる荷重Pl_damageとすることができる。
【0040】
図8は植物体に加わる風圧と葉が受ける荷重Pの関係の計測方法を示す概念図である。
図8に示すように、風洞21内に葉柄31付きの葉32を設置した。風洞21の一方にはモータ22及びファン23を設置している。葉柄31は固定し、葉柄31の葉側端部31Bにはワイヤ24を取り付け、ワイヤ24は滑車25を経由してフォースゲージ26に取り付けている。葉柄31は、葉柄31全体が固定されている。
そして、一定の風量を加えた時の荷重をフォースゲージ26で測定した。風量を段階的に変更するとともに、葉面積の異なる葉32を用いて計測する。風洞内の風量及び葉面積から葉に加わる風圧を計算し、計測された荷重Pとの関係から、植物体Aに加わる風圧と植物体Aの葉が受ける荷重Pの関係式を求めることができる。風圧決定手段11は、あらかじめ求めた植物体Aに加わる風圧と植物体Aの葉が受ける荷重の関係式によって、植物体Aの生体情報を基に植物体Aに加える風圧を決定することができ、気流発生手段3は決定された風圧を植物体Aに加えるため、植物体Aを損傷させることなく生育予測画像を取得できる。
【0041】
なお、他の実施例として、気流発生手段3と、気流発生手段3によって植物体Aに加える風圧を決定する風圧決定手段11と、気流発生手段3の発する風量、または、気流発生手段3と植物体Aの距離を決定する気流制御手段13とを有し、気流発生手段3で発生させる気流によって少なくとも気流発生手段3が移動可能であり、風圧決定手段11では、植物体Aの生体情報によって植物体Aに加える風圧を決定し、気流制御手段13では、気流発生手段3から植物体Aまでの距離情報によって気流発生手段3が発する気流の風量を決定する、あるいは、気流発生手段3と植物体Aの距離を決定する作物モニタリング装置1であってもよく、このような作物モニタリング装置1によれば気流発生手段3と植物体Aの距離情報を考慮し、気流発生手段3が植物体Aの生体情報を基に決定された上限未満の風圧を植物体Aに加える風量を発するため、風圧によって植物体Aに損傷を与えることがない。
【0042】
本発明によれば、作物を損傷させることなく植物体Aの死角画像(成葉(成熟した葉)等により隠れた画像)を取得できる。このため、例えば、植物体Aの密生により死角が多い、株元から多数の葉柄31が立葉状に生育する植物体A、好ましくはイチゴ、ホウレンソウ、コマツナ等の葉菜類への利用に有効である。イチゴでは、成葉の下側の死角に休眠の状態評価と草勢予測に重要な新葉や収穫時期予測に重要な花芽が発生する。このため、イチゴの新葉や花芽のモニタリングに適している。また、初期に葉裏や株元に発生する病虫害・生理障害株の検出、株元やその周囲から発生するわき芽のモニタリングに適している。病虫害に対する環境制御や防除作業の判断、わき芽やランナーの摘除作業等の栽培管理実績評価への利用も可能である。葉菜類の中で、例えばホウレンソウやコマツナでは、イチゴと同様に成葉の下側(内側)の株元から新葉が発生し、葉そのものが収量となることから本発明の利用が可能である。また、近年では、露地栽培だけでなく、ハウス栽培の作物に対して、無人飛行体による作物の監視や観察が行われ始めているが、このような無人飛行体によるモニタリングでは、無人飛行体の飛行に用いるプロペラによる風圧の植物体Aへの影響が懸念されるが、本発明のように、植物体Aの生体情報を基に決定された風圧が植物体Aに加わるように無人飛行体の植物体Aに対する高度を制御することによって、植物体Aに損傷を与えることなく作物をモニタリングすることが可能となる。
【産業上の利用可能性】
【0043】
本発明による作物モニタリング装置によれば、例えば、新葉及び発生直後等で植物体の外観の撮影では取得できないランナーの情報を取得することによって休眠や草勢の変化を早期に予測でき、予測した休眠や草勢の情報は、生産者が希望する草勢に調節するための環境制御や栽培管理作業の判断根拠として利用できる。また、草勢を予測することによって早期の収穫時期や収量を予測することができる。特に葉の発生枚数と花芽の発生時期は関連性が強いため、新葉が発生する時期(頻度)の情報は花芽の発生時期の予測情報として利用でき、結果として収穫時期の早期予測に利用可能である。植物体の外観の撮影では検出ができない発生直後の花芽の検出によって、早期の収穫時期の予測に利用することができる。植物体の外観の撮影では情報が取得できない場所にあるつぼみ・着花・着果の計測によって、より正確な収量と収穫時期を予測することに利用できる。わき芽及びランナーを検出することによって、摘除作業の作業計画や作業者による摘除作業の実績評価に利用することができる。植物体の外観の撮影では情報が取得できない場所にある病虫害の情報を取得することは、早期の、あるいは、より正確な病虫害の発見につながり、早期の防除作業や環境制御等の病虫害対策によって効果的な病虫害対策を可能とし、結果として使用農薬量を減らし、収量減を防ぐことができる。移動計測によって省力的に生育予測画像を取得できるため、ほ場内を位置的、経時的高頻度にモニタリングすることができ、休眠、草勢、収穫時期、収量、作業計画、出荷計画等を人手でのサンプリング調査や定点に設置したモニタリング装置による情報収集手段と比べて正確に予測することができる。
【符号の説明】
【0044】
1 作物モニタリング装置
2 撮像手段
3 気流発生手段
4 照明手段
5 台車
5b 車輪
5c モータ
5d バッテリー
6、6a、6b 基台
7 走行体
8 ガイド(レール)
9 植物体移動手段
10 制御手段
11 風圧決定手段
12 撮影制御手段
13 気流制御手段
14 照明制御手段
15 移動制御手段
21 風洞
22 モータ
23 ファン
24 ワイヤ
25 滑車
26 フォースゲージ
31 葉柄
31B 葉側端部
32 葉
a 保持手段
A 植物体
B 栽培槽