(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-29
(45)【発行日】2024-03-08
(54)【発明の名称】推定装置、推定方法、及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240301BHJP
A01G 7/00 20060101ALI20240301BHJP
G06T 7/55 20170101ALI20240301BHJP
【FI】
G06T7/00 C
A01G7/00 603
G06T7/00 350B
G06T7/55
(21)【出願番号】P 2020094618
(22)【出願日】2020-05-29
【審査請求日】2023-02-27
【新規性喪失の例外の表示】特許法第30条第2項適用 (1) 発行日 令和元年6月10日 刊行物 JSTnews 2019年6月号(June 2019) P5-7(ウェブ版URL:https://www.jst.go.jp/pr/jst-news/backnumber/2019/201906/index.html https://www.jst.go.jp/pr/jst-news/backnumber/2019/201906/pdf/2019_06.pdf ) 国立研究開発法人科学技術振興機構 発行 <資 料> JSTnews 2019年6月号(June 2019) 抜粋 (2) ウェブサイト公開日 令和元年7月9日 ウェブサイトアドレス https://www.jstage.jst.go.jp/browse/jstnews/-char/ja https://www.jstage.jst.go.jp/article/jstnews/2019/6/2019_5/_article/-char/ja/ <資 料> 公開ウェブサイト(J-Stage)プリントアウト (3) 発行日 令和元年8月6日 刊行物 国立研究開発法人科学技術振興機構 戦略的創造研究推進事業(さきがけ) 「情報科学との協働による革新的な農作物栽培手法を実現するための技術基盤の創出」 研究領域 領域活動・評価報告書-2018年度終了研究課題-国立研究開発法人科学技術振興機構 発行 (ウェブ版URL)https://www.jst.go.jp/kisoken/presto/evaluation/posteriori/h30/JST_1112075_2018_PEE.pdf <資 料> 〔研究報告書〕
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成27年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「超高精細フィールドセンシングによる個体生育モニタリング」委託研究、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】501203344
【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構
(74)【代理人】
【識別番号】100161207
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100188558
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100154852
【氏名又は名称】酒井 太一
(72)【発明者】
【氏名】杉浦 綾
(72)【発明者】
【氏名】石原 光則
(72)【発明者】
【氏名】イム ジヒョン
(72)【発明者】
【氏名】常松 浩史
【審査官】吉川 康男
(56)【参考文献】
【文献】国際公開第2015/093054(WO,A1)
【文献】三次元点群を拡張したボクセル空間における果樹の生育特徴量の抽出方法の検討,電子情報通信学会技術研究報告 Vol.119 No.266 SeMI2019-98,一般社団法人電子情報通信学会,2019年10月29日
【文献】季節を考慮した農作物の生育予測手法の提案,日立TO技報 第18号,株式会社日立東日本ソリューションズ,2012年11月20日,6~10
【文献】ドローン空撮画像による高速フィールドフェノタイピング,日本ロボット学会誌 第35巻 第5号,一般社団法人日本ロボット学会,2017年06月15日,9~11
【文献】果樹の生育把握に向けたヒューリスティックな近傍モデルによる三次元点群からの個体分割方法,情報処理学会第82回(2020年)全国大会講演論文集(1) コンピュータシステム ソフトウェア科学・工学 データとウェブ 6M-03,一般社団法人情報処理学会,2020年02月20日
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06T 7/55
A01G 7/00
(57)【特許請求の範囲】
【請求項1】
対象場所における三次元情報に基づいて、前記対象場所における作物個体ごとの地上部体積を算出する地上部体積算出部と、
前記地上部体積算出部によって算出された、前記対象場所における作物個体ごとの地上部体積に基づいて、作物個体ごとに作物生育モデルの内部パラメータを決定するパラメータ決定部と、
前記パラメータ決定部によって内部パラメータが決定された作物生育モデルを用いて、前記対象場所における作物個体ごとの収穫量を推定する収穫量推定部と、
を備える推定装置。
【請求項2】
前記三次元情報は、前記対象場所が撮像された対象画像に基づいて復元された前記対象場所の三次元形状を示す情報、または距離を測定する測定器により測定された情報である、
請求項1に記載の推定装置。
【請求項3】
前記パラメータ決定部は、作物生育モデルを用いたシミュレーション結果から得られる作物個体の地上部体積が、前記地上部体積算出部によって算出された、前記対象場所における作物個体ごとの地上部体積に近づくように、作物生育モデルの内部パラメータを決定する、
請求項1又は請求項2に記載の推定装置。
【請求項4】
前記パラメータ決定部は、作物生育モデルを用いたシミュレーション結果から得られる作物個体の地上部体積の時系列変化が、前記地上部体積算出部によって算出された圃場における作物個体ごとの地上部体積の時系列変化に沿うように、作物生育モデルの内部パラメータを決定する、
請求項1から請求項3のいずれか一項に記載の推定装置。
【請求項5】
前記パラメータ決定部は、前記地上部体積算出部によって算出された、前記対象場所における作物個体ごとの、発芽または萌芽から収穫時期までの地上部体積の時系列変化を用いて、作物生育モデルの内部パラメータを決定する、
請求項1から請求項4の何れか一項に記載の推定装置。
【請求項6】
前記収穫量推定部は、前記パラメータ決定部によって内部パラメータが決定された作物生育モデルを用いたシミュレーション結果から得られる収穫時期における作物個体の乾物質量を、当該作物個体の収穫量として推定する、
請求項1から請求項5の何れか一項に記載の推定装置。
【請求項7】
前記地上部体積算出部は、前記対象場所が撮像された対象画像に基づいて作物が植生している植生部分を抽出し、抽出した前記植生部分に含まれる作物個体の個体数を推定し、推定した個体数を用いて、前記対象場所における作物個体ごとの地上部体積を算出する、
請求項1から請求項6の何れか一項に記載の推定装置。
【請求項8】
地上部体積算出部が、対象場所における三次元情報に基づいて、前記対象場所における作物個体ごとの地上部体積を算出し、
パラメータ決定部が、前記地上部体積算出部によって算出された、前記対象場所における作物個体ごとの地上部体積に基づいて、作物個体ごとに作物生育モデルの内部パラメータを決定し、
収穫量推定部が、前記パラメータ決定部によって内部パラメータが決定された作物生育モデルを用いて、前記対象場所における作物個体ごとの収穫量を推定する、
推定方法。
【請求項9】
コンピュータに、
対象場所における三次元情報に基づいて、前記対象場所における作物個体ごとの地上部体積を算出させ、
前記算出された前記対象場所における作物個体ごとの地上部体積に基づいて、作物個体ごとに作物生育モデルの内部パラメータを決定させ、
前記内部パラメータが決定された作物生育モデルを用いて、前記対象場所における作物個体ごとの収穫量を推定させる、
ためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作物の収穫量を推定する推定装置、推定方法、及びプログラムに関する。
【背景技術】
【0002】
圃場における作物の収量を収穫前に推定することができれば、収穫作業やその後の加工工程のスケジューリングに有用な情報となる。作物の画像と作物生長モデルを組み合わせることにより、作物の収穫量を推定する方法が報告されている(例えば、非特許文献1-2)。
【0003】
非特許文献1-2では、衛星画像やドローンによる空撮画像と、既存の作物生長モデルを統合して、稲の収穫量を推定する技術が開示されている。非特許文献1-2で用いられる作物生長モデルは、葉面積指数(LAI、Leaf Area Index)を観測変数としたものである。非特許文献1-2では、画像から推定したLAIを用いて、作物生長モデルの内部パラメータを決定し、内部パラメータを決定したモデルを用いて生長シミュレーションを行う。そして、生長シミュレーションの結果を基に、最終的な収穫量を計算する。
【先行技術文献】
【非特許文献】
【0004】
【文献】リモートセンシングと作物モデルを用いた水稲の生育と収量の高精度予測、[online]、科学研究費助成事業データベース、[令和2年4月2日検索],インターネット <https://kaken.nii.ac.jp/ja/grant/KAKENHI-PROJECT-23780263/>
【文献】濱ら、2018. UAVリモートセンシングおよび日射量を用いた水稲の草丈と収量の推定、水文・水資源学会誌31(2)、68-82.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、LAIは、画像からは直接的に計測することができない。このため、画像からのLAIを推定する方法を作物ごとに決定する必要があり、作物によってLAIを推定する精度がばらつくという問題があった。画像から精度よくLAIを推定することができなければ、モデルの内部パラメータを適切に決定することができず、収穫量を正確に推定することが困難となる。また、LAIは、ある特定の面積を持つ作物群落を対象にした物理量である。このため、LAIを、作物個体の情報として扱うことができない。非特許文献1-2に記載の方法では、作物の圃場単位あるいは群落単位での収穫量を推定することができるが、作物個体ごとの収穫量を推定することが難しいという問題があった。
【0006】
本発明は、このような事情に鑑みてなされたもので、作物個体ごとに収穫量を推定することができる推定装置、推定方法、及びプログラムを提供する。
【課題を解決するための手段】
【0007】
本発明の一態様によれば、推定装置は、対象場所における三次元情報に基づいて、前記対象場所における作物個体ごとの地上部体積を算出する地上部体積算出部と、前記地上部体積算出部によって算出された、前記対象場所における作物個体ごとの地上部体積に基づいて、作物個体ごとに作物生育モデルの内部パラメータを決定するパラメータ決定部と、前記パラメータ決定部によって内部パラメータが決定された作物生育モデルを用いて、前記対象場所における作物個体ごとの収穫量を推定する収穫量推定部と、を備える。
【0008】
前記三次元情報は、前記対象場所が撮像された対象画像に基づいて復元された情報、または距離を測定する測定器により測定された情報であるようにしてもよい。
【0009】
前記パラメータ決定部は、作物生育モデルを用いたシミュレーション結果から得られる作物個体の地上部体積が、前記地上部体積算出部によって算出された圃場における作物個体ごとの地上部体積に近づくように、作物生育モデルの内部パラメータを決定するようにしてもよい。
【0010】
前記パラメータ決定部は、作物生育モデルを用いたシミュレーション結果から得られる作物個体の地上部体積の時系列変化が、前記地上部体積算出部によって算出された圃場における作物個体ごとの地上部体積の時系列変化に沿うように、作物生育モデルの内部パラメータを決定するようにしてもよい。
【0011】
前記パラメータ決定部は、前記地上部体積算出部によって算出された圃場における作物個体ごとの、発芽または萌芽から収穫時期までの地上部体積の時系列変化を用いて、作物生育モデルの内部パラメータを決定するようにしてもよい。
【0012】
前記収穫量推定部は、前記パラメータ決定部によって内部パラメータが決定された作物生育モデルを用いたシミュレーション結果から得られる収穫時期における作物個体の乾物質量を、当該作物個体の収穫量として推定するようにしてもよい。
【0013】
前記地上部体積算出部は、前記空撮画像に基づいて作物が植生している植生部分を抽出し、抽出した前記植生部分に含まれる作物個体の個体数を推定し、推定した個体数を用いて、圃場における作物個体ごとの地上部体積を算出するようにしてもよい。
【0014】
本発明の一態様によれば、推定方法は、地上部体積算出部が、対象場所における三次元情報に基づいて、前記対象場所における作物個体ごとの地上部体積を算出し、パラメータ決定部が、前記地上部体積算出部によって算出された、前記対象場所における作物個体ごとの地上部体積に基づいて、作物個体ごとに作物生育モデルの内部パラメータを決定し、収穫量推定部が、前記パラメータ決定部によって内部パラメータが決定された作物生育モデルを用いて、前記対象場所における作物個体ごとの収穫量を推定する。
【0015】
本発明の一態様によれば、プログラムは、コンピュータに、対象場所における三次元情報に基づいて、前記対象場所における作物個体ごとの地上部体積を算出させ、前記算出された前記対象場所における作物個体ごとの地上部体積に基づいて、作物個体ごとに作物生育モデルの内部パラメータを決定させ、前記内部パラメータが決定された作物生育モデルを用いて、前記対象場所における作物個体ごとの収穫量を推定させるためのプログラムである。
【発明の効果】
【0016】
本発明によれば、作物個体ごとに収穫量を推定することができる。
【図面の簡単な説明】
【0017】
【
図1】第1の実施形態に係る推定装置1の構成の例を示すブロック図である。
【
図2】第1の実施形態に係る植生部分抽出部12が行う処理を説明する図である。
【
図3】第1の実施形態に係る個体数推定部13が行う処理を説明する図である。
【
図4】第1の実施形態に係る個体数推定部13が行う処理を説明する図である。
【
図5】第1の実施形態に係る個体数推定部13が行う処理を説明する図である。
【
図6】第1の実施形態に係る個体位置決定部14が行う処理を説明する図である。
【
図7】第1の実施形態に係る個体位置決定部14が行う処理を説明する図である。
【
図8】第1の実施形態に係る個体位置決定部14が行う処理を説明する図である。
【
図9】第1の実施形態に係る個体間境界決定部15が行う処理を説明する図である。
【
図10】第1の実施形態に係る個体生長領域算出部16が行う処理を説明する図である。
【
図11】第1の実施形態に係る個体生長領域算出部16が行う処理を説明する図である。
【
図12】第1の実施形態に係る個体生長領域算出部16が行う処理を説明する図である。
【
図13】第1の実施形態に係る個体生長領域算出部16が行う処理を説明する図である。
【
図14】第1の実施形態に係る個体生長領域算出部16が行う処理を説明する図である。
【
図15】第1の実施形態に係る個体生長領域算出部16が行う処理を説明する図である。
【
図16】第1の実施形態に係る個体生長領域算出部16が行う処理を説明する図である。
【
図17】第1の実施形態に係る推定装置1が行う処理の流れを示すフロー図である。
【
図18】第2の実施形態に係る推定装置100の構成の例を示すブロック図である。
【
図19】第2の実施形態に係る画像取得部110が取得する画像の例を示す図である。
【
図20】第2の実施形態に係る画像取得部110が取得する画像の例を示す図である。
【
図21】第2の実施形態に係る地上部体積算出部112により算出される地上部体積と乾物質量との関係を示す図である。
【
図22】第2の実施形態に係るパラメータ決定部113により内部パラメータが決定されるモデルを説明する図である。
【
図23】第2の実施形態に係るパラメータ決定部113が行う処理を説明する図である。
【
図24】第2の実施形態に係る地上部体積算出部112により算出される地上部体積と、モデルによるシミュレーション結果から算出された地上部体積とを比較した例を示す図である。
【
図25】第2の実施形態に係るモデルによるシミュレーション結果の例を示す図である。
【
図26】第2の実施形態に係るモデルによるシミュレーション結果の例を示す図である。
【
図27】第2の実施形態に係るモデルによるシミュレーション結果の例を示す図である。
【
図28】第2の実施形態に係るモデルによるシミュレーション結果の例を示す図である。
【
図29】第2のモデルを用いて推定した収穫量と、実際の収穫量とを比較した結果の例を示す図である。
【
図30】第2の実施形態に係る推定装置100が行う処理の流れを示すフロー図である。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態について図面を参照して説明する。第1の実施形態は、第2の実施形態を説明するための前段階の実施形態である。第2の実施形態は、第1の実施形態を用いて、作物の収穫量を推定する実施形態である。
【0019】
(第1の実施形態)
以下、第1の実施形態を説明する。
図1は、第1の実施形態に係る推定装置1の構成の例を示すブロック図である。推定装置1は、圃場に植生する個々の作物(作物個体)の生長領域を推定するコンピュータ装置である。作物の生長領域とは、作物の生長に利用することが可能な領域である。推定装置1は、圃場の作物が発芽、或いは萌芽してから、定期的(例えば、1週間毎)に作物個体の生長領域を推定する。これにより、作物個体それぞれの生育状況に応じた生長領域の実態を把握する。
【0020】
推定装置1は、例えば、画像取得部10と、画像合成部11と、植生部分抽出部12と、個体数推定部13と、個体位置決定部14と、個体間境界決定部15と、個体生長領域算出部16と、記憶部17とを備える。
【0021】
画像取得部10は、空撮画像を取得する。空撮画像は上空からみた圃場に植生している作物の様子が撮像された画像であり、例えば、デジタルカメラなどの撮像装置が搭載されたドローンなどを用いて撮像される。この場合、ドローンは、圃場の上空を往復飛行しながら、定期的(例えば、1~2秒毎)に静止画像(空撮画像)を連続的に撮像し、複数に分けて圃場の全体が撮像されるようにする。画像取得部10は、取得した空撮画像を画像合成部11に出力する。
【0022】
画像合成部11は、画像取得部10によって得られた空撮画像に基づいて、圃場全体の合成画像(以下、単に「合成画像」という)を生成する。画像合成部11は、複数の空撮画像の中心から所定の範囲にある画像をつなぎ合わせたオルソ画像を生成し、生成したオルソ画像を合成画像とする。この場合において、画像合成部11は複数の空撮画像から得られる土壌や作物個体の高さ情報等に基づいて画像に生じる歪を補正するようにしてもよい。
【0023】
本実施形態において、合成画像は、後述する画像処理に要求される精度を満たす空間分解能であることが好ましい。後述する画像処理とは、画像合成部11、植生部分抽出部12、個体数推定部13、個体位置決定部14、及び個体生長領域算出部16により行われる画像処理である。合成画像に求められる空間分解能は、例えば、1[cm/pixel]、すなわち、画像の1[ピクセル]に、実際の空間における1[cm]程度の範囲が撮像されるような分解能である。この場合、合成画像に要求される空間分解能に応じて、例えば、空撮画像の空間分解能が決定され、決定された空間分解能により空撮画像が撮像される。
【0024】
以下、合成画像を用いて、推定装置1が生長領域を推定する場合を例に説明する。しかしながらこれに限定されることはない。推定装置1は、少なくとも生長領域を推定する対象とする作物とその周囲の領域が撮像された画像を用いて生長領域を推定できればよい。例えば、推定装置1は、圃場の一部のみが撮像された画像を用いて、その画像に撮像されている作物個体の生長領域を推定するようにしてもよい。また、推定装置1は、空撮画像に生じ得る歪が低減される観点から、オルソ画像を用いて生長領域を推定することが好ましいが、これに限定されることはない。推定装置1は、合成前の空撮画像を用いて作物個体の生長領域を推定してもよい。
【0025】
植生部分抽出部12は、合成画像から植生部分を抽出する。例えば、植生部分抽出部12は、合成画像における植生部分と土壌部分との色の相違に基づいて両者を分離する。この場合、植生部分抽出部12は、植生部分と土壌部分の色の特徴に基づいて、画素ごとの色情報(例えば、RGB値)を2値化する。
【0026】
例えば、植生部分抽出部12は、植生部分と想定される標準的な色(例えば、緑色:RGB値(0、128、0))と、色空間上の距離が所定の範囲内にある色の画素を特定の第1色(例えば、白色)に変換する。植生部分抽出部12は、植生部分における標準的な色と、色空間上の距離が所定の範囲外にある色の画素を特定の第2色(例えば、黒色)に変換する。植生部分抽出部12は、合成画像において、第1色(例えば、白色)に変換された部分を、植生部分として抽出する。植生部分抽出部12は、合成画像において植生部分を示す情報(例えば、画素の座標値)を、個体数推定部13に出力する。
【0027】
ここで、合成画像から抽出される植生部分としては、1つの作物個体からなる植生部分として抽出されるもの(
図2の植生部分R21参照)のみならず、2つ以上の作物個体がつながった状態で抽出されるもの(
図2の植生部分R22参照)があり得る。本実施形態の推定装置1では、作物個体の生長領域を推定する。このため、推定装置1では、合成画像から2つ以上の作物個体がつながった状態で植生部分が抽出された場合、抽出された植生部分を、1つの作物個体に相当する植生部分ごとに分離する必要がある。
【0028】
この対策として、推定装置1では、個体数推定部13により、植生部分に含まれる作物の個体数を推定する。そして、推定装置1では、作物個体の生長領域を推定する方法を、植生部分に含まれる作物の個体数に応じて、それぞれの個体数に適した方法を用いて作物個体の生長領域を推定する。これにより、推定装置1は、合成画像から2つ以上の作物個体がつながった状態で植生部分が抽出された場合であっても、1つの作物ごとに、その作物個体の生長領域を推定することが可能となる。
【0029】
個体数推定部13は、植生部分抽出部12によって抽出された植生部分に含まれる作物の個体数を推定する。一般に、植生部分の面積が大きい程、その植生部分に含まれる作物の個体数が多いことが推定される。また、1つの作物個体からなる植生部分は、略円形の形状となり、複数の作物個体の植生部分がつながって1つの植生部分が構成される場合、個々の作物個体の略円形の形状における周縁部が重なった形状と面積が大きい程、その植生部分に含まれる作物の個体数が多いことが推定される。
【0030】
個体数推定部13は、この性質を利用し、植生部分のそれぞれの大きさや形状に基づいて、当該植生部分に含まれる作物の個体数を推定する。例えば、個体数推定部13は、サポートベクタマシンによる分類結果を利用して、植生部分に含まれる作物の個体数を2つのクラスに分離する。この場合、サポートベクタマシンに入力する説明変数は、植生部分の面積、及び形状に関する特徴である。形状に関する特徴は、任意の特徴であってよいが、特に、植生部分に含まれる作物個体の個体数に応じた形状の特徴であることが好ましい。これにより、形状に関する特徴を入力することにより、サポートベクタマシンから得られる結果を、植生部分に含まれる作物個体の個体数に応じて分離された結果とすることが可能である。
【0031】
個体数推定部13は、例えば、植生部分の形状に関する特徴として、植生部分の周囲長、円形度、最小外接矩形の長辺長と短辺長、回帰円からのRMS(Root Mean Square)誤差、及び回帰円の半径などを用いる。周囲長は、植生部分の周囲の長さであり、例えば、植生部分の輪郭(エッジ)に相当する画素を抽出し、抽出した画素の数に応じて導出される。円形度は、植生部分の形状における円形らしさを示す指標であり。例えば、円形度は、植生部分の形状が円形であった場合の面積と周囲長の関係に対する、実際の植生部分の面積と周囲長の関係、に応じて導出される。最小外接矩形は、植生部分に外接する最小の矩形である。回帰円は、植生部分の形状に当てはめることができる円である。
【0032】
まず、個体数推定部13は、合成画像から抽出された植生部分の全てを対象として、植生部分の面積、及び形状に関する特徴をサポートベクタマシンに入力する。これにより、サポートベクタマシンは、入力された説明変数に基づいて、例えば、植生部分を、1つの作物個体からなる植生部分と、複数(2つ以上)の作物個体からなる植生部分とに分離する(
図3参照)。
【0033】
次に、個体数推定部13は、サポートベクタマシンにより、複数(2つ以上)の作物個体からなる植生部分に分類された植生部分を対象として、植生部分の面積、及び形状に関する特徴をサポートベクタマシンに入力する。これにより、サポートベクタマシンは、入力された説明変数に基づいて、例えば、植生部分を、2つの作物個体からなる植生部分と、3つ以上の作物個体からなる植生部分とに分離する(
図4参照)。
【0034】
さらに、個体数推定部13は、サポートベクタマシンにより、3つ以上の作物個体からなる植生部分に分類された植生部分を対象として、植生部分の面積、及び形状に関する特徴をサポートベクタマシンに入力する。これにより、サポートベクタマシンは、入力された説明変数に基づいて、例えば、植生部分を、3つの作物個体からなる植生部分と、それ以上(4つ以上)の作物個体からなる植生部分とに分離する(
図5参照)。
【0035】
このように、例えば、個体数推定部13は、分離する対象を絞り込みながら、サポートベクタマシンから得られる結果を用いて、植生部分に含まれる作物個体の個体数を推定する。
【0036】
なお、植生部分に含まれる作物の個体数が増加した場合、サポートベクタマシンを用いた分離の精度が劣化することが考えられる。例えば、4つの作物個体からなる植生部分と、それ以上(5つ以上)の作物個体からなる植生部分における植生部分の面積、及び形状に関する特徴が類似することが考えられる。植生部分を個体数ごとに分離し得る特徴が見いだされなかった場合、サポートベクタマシンを用いた分離の精度が劣化する可能性がある。
【0037】
この対策として、個体数推定部13は、サポートベクタマシンにより分離する個体数の上限を予め設定するようにしてもよい。例えば、個体数推定部13は、サポートベクタマシンにより精度よく分離可能な範囲において、サポートベクタマシンを用いた個体数の推定を行う。例えば、個体数推定部13は、個体数が既知である植生部分を、サポートベクタマシンに分離させた場合に、実際の個体数と整合するか否かに基づいて、サポートベクタマシンを用いた分離を行う個体数の上限を決定する。
【0038】
なお、上記では、個体数推定部13がサポートベクタマシンを用いた分類を行う場合を例に説明したが、これに限定されない。個体数推定部13は、少なくとも、植生部分の面積、及び形状に基づいて分類した結果を用いて、個体数を推定すればよい。例えば、個体数推定部13は、植生部分の面積及び形状の組合せに、その植生部分の個体数が対応づけられたテーブルを参照することにより、植生部分に含まれる作物個体の個体数を推定するようにしもよい。
【0039】
個体位置決定部14は、植生部分における作物個体の個体位置を決定する。個体位置は、生長領域を推定する際に用いられる作物個体の位置である。個体位置決定部14は、植生部分に含まれる作物個体が、
(ケース1)1個体である場合
(ケース2)2個体又は3個体である場合
(ケース3)4個体以上である場合
のそれぞれに応じて、互いに異なる方法を用いて、個体位置を決定する。
【0040】
まず、(ケース1)植生部分に含まれる作物個体が1個体である場合において、個体位置決定部14が、植生部分における作物個体の個体位置を決定する方法について説明する。植生部分に含まれる作物個体が1個体である場合、個体位置決定部14は、植生部分の重心位置を、その植生部分における作物個体の個体位置とする(
図6参照)。
【0041】
次に、(ケース2)植生部分に含まれる作物個体が2個体又は3個体である場合において、個体位置決定部14が、植生部分における作物個体の個体位置を決定する方法について説明する。まず、植生部分に含まれる作物個体が2個体である場合について説明する。個体位置決定部14は、植生部分における主軸を定義する。ここでの主軸は、植生部分に含まれる二つの作物個体の個体位置と想定される点を通る直線である(
図7の主軸SG参照)。
【0042】
植生部分は、作物個体の個体位置を中心として同心円状に広がる傾向にある。そして、植生部分に二つの作物個体が含まれている場合には、二つの作物個体それぞれに相当する二つの略円形が、互いが隣接する周縁部において重なり、楕円の中央部分が窪んだ、ひょうたんのような形状となる。この場合における二つの円の中心を通る直線が、本実施形態における主軸に相当する。
【0043】
上記のように定義される主軸は、植生部分における画素の分布のばらつきを最大にする軸とみなすことができる。この性質を利用して、個体位置決定部14は、例えば、主成分分析を用いて主軸を決定する。この場合、植生部分における画素の分布のばらつきを主成分分析して得られる第1主成分軸が、本実施形態における、植生部分の主軸に相当する。
【0044】
具体的に、個体位置決定部14は、まず、植生部分の輪郭を構成する画素の位置座標の平均座標を原点とする座標系(以下、xy座標系という)を定義する。個体位置決定部14は、植生部分の輪郭を構成する画素のそれぞれの位置座標を、xy座標系を用いて表す。個体位置決定部14は、xy座標系の原点を通る直線TS(ax+by=0)を定義する。a、及びbは任意の実数である。個体位置決定部14は、植生部分の輪郭を構成する画素のxy座標(xi、yi)から直線TSまでの最短距離を誤差eiとする。但し、iは、植生部分の輪郭を構成する画素の総数をNとした場合における、1~Nまでの任意の自然数である。誤差eiは、下記(式1)で導出される。
【0045】
ei=|axi、byi|/√(a2+b2) …(式1)
【0046】
個体位置決定部14は、植生部分を構成する全ての画素における誤差eiの和が最小となる条件を満たすa、及びbの組合せを導出する。この条件を満たすa、及びbの組合せは、下記(式2)で表現される。(式2)におけるα、及びβは、誤差eiの和が最小となる条件を満たすa、及びbの組合せである。また、(式2)におけるΣで加算する範囲は、(i=1)から(i=N)まで、である。Nは、植生部分の輪郭を構成する画素の総数である。(式2)を変形すると、元のデータ(植生部分の輪郭を構成する画素)について分散共分散の固有ベクトル(α、β)を求める問題となる。
【0047】
α、β=argmin{Σei
2} …(式2)
【0048】
個体位置決定部14は、(式2)を満たすα、βで定義される直線TS(αx+βy=0)を主軸にする。
【0049】
或いは、個体位置決定部14は、植生部分を貫通する直線のうち、植生部分を通る距離が長いものを主軸としてもよい。この場合、個体位置決定部14は、植生部分の輪郭を構成する画素から抽出した任意の2点を結ぶ直線のうち、直線の距離が最大となるものを主軸とする。
【0050】
或いは、個体位置決定部14は、植生部分の輪郭を構成する画素の回帰直線を主軸とすることが考えられる。上述した主成分分析における主軸と、回帰直線とは、直線までの距離の和が最小となる直線TSを求めるという点において共通するためである。
【0051】
しかしながら、植生部分の主軸を求める手法に回帰直線を採用することは困難である。主成分分析の主軸と回帰直線では、誤差eiの取り方が異なるためである。主成分分析では、画素から直線までの最短距離を誤差と定義する。一方、回帰直線では、画素から直線までのy軸方向の距離を誤差と定義している。このため、植生部分が、y軸方向に縦長の形状である場合、誤差の和を最小とする直線の傾き(a/bの絶対値)が大きくなってしまう傾向になり、意図しない直線が主軸として導出されてしまう可能性がある。このため、本実施形態において、植生部分がy軸方向に縦長の形状である場合、植生部分における回帰直線を主軸として採用することは好ましくない。
【0052】
個体位置決定部14は、主軸に対して水平な方向(
図7の方向SH参照)に、植生部分の画素数を投影させたヒストグラム(
図7のヒストグラムHG参照)を作成する。個体間境界決定部15は、作成したヒストグラムにおいて、分布を2分割する判別分析を行う。例えば、個体位置決定部14は、ヒストグラムのうち、画素の分布数が減少から増加に転じる位置に対応する箇所を、判別分析により分布を2分割する境界(
図7の境界閾値KS参照)とする。
【0053】
個体位置決定部14は、植生部分の輪郭と主軸が交差する2点(
図7の端点EP1、及びEP2)を、植生部分における端点とする。個体位置決定部14は、主軸上の端点EP1から、主軸と境界閾値KSの交点を結んだ直線の中間点(
図7における点GP1)を、植生部分に含まれる二つの作物個体のうち、一方の作物個体の個体位置とする。また、個体位置決定部14は、主軸上の端点EP2から、主軸と境界閾値KSの交点を結んだ直線の中間点(
図7における点GP2)を、植生部分に含まれる二つの作物個体のうち、他方の作物個体の個体位置とする。
【0054】
植生部分に含まれる作物個体が3個体である場合にも、植生部分に含まれる作物個体が2個体である場合と同様の手法を適用して、作物個体の個体位置を決定することができる。この場合、個体位置決定部14は、作成したヒストグラムにおいて、分布を3分割する判別分析を行う。
【0055】
次に、(ケース3)植生部分に含まれる作物個体が4個体以上である場合において、個体位置決定部14が、植生部分における作物個体の個体位置を決定する方法について説明する。
【0056】
植生部分に含まれる作物個体が4個体以上である場合、植生部分における長い楕円のような形状において、3つ以上の窪んだ部分を判別することが困難となる(
図8における領域R51参照)。このため、(ケース2)と同様の方法を適用して個体位置を決定することが難しい。
【0057】
ここで、一般的に、作物の生育がある程度進んだ場合に、4個体以上の作物が互いにつながって見えるようになってくると考えられる。個体位置決定部14は、この性質を利用し、前回以前の合成画像における作物個体の位置を用いて、今回の個体位置を決定する。
【0058】
具体的に、個体位置決定部14は、4個体以上の作物がつながる以前に撮像された空撮画像に基づく合成画像に基づいて、個体作物の個体位置を決定する。この場合、植生部分には、4個体未満の作物が含まれていることから、(ケース1)又は(ケース2)を用いて個体位置を決定することができる。個体位置決定部14は、決定した個体位置を、例えば、合成画像に対応させ記憶させておく。
【0059】
個体位置決定部14は、今回の合成画像において抽出された植生部分に、4個体以上の作物が含まれていると推定された場合、その植生部分を用いた個体位置を決定しない。代わりに、個体位置決定部14は、前回以前の合成画像において、今回個体位置を決定しなかった植生部分に相当する領域における個体位置(
図8における領域R31、或いはR41)を、当該植生部分の個体位置とする。
【0060】
個体間境界決定部15は、個体間の境界(以下、個体間境界ともいう)を決定する。個体間境界とは、作物個体と、それに隣り合う作物個体との生長領域の境界である。一般に、植生部分の面積が大きい作物個体は、植生部分の面積が小さい作物個体と比較して、より広い生長領域を有すると考えられる。この性質が反映されるように、個体間境界決定部15は、個体位置決定部14により決定された作物個体の個体位置、及び作物個体の被覆面積(植生部分の面積)に基づいて、個体間境界を決定する。
【0061】
個体間境界決定部15は、個体間境界を決定する対象とする、二つの作物個体(植生部分SB3、及びSB4)に着目する。個体間境界決定部15は、二つの個体位置のそれぞれを結んだ線分の中間点を原点とし、二つの個体位置のそれぞれを結んだ直線をx軸とする直行座標系を定義する(
図9参照)。
【0062】
個体間境界決定部15は、二つの個体位置を焦点とする双曲線(x
2/A
2-y
2/B
2=1)を、個体間境界(
図9の境界RK34)として、係数A、Bを以下の方法で決定する。
【0063】
まず、個体間境界決定部15は、二つの作物個体の被覆面積(植生部分の面積)を算出し、それぞれ面積w1、w2とする。また、個体間境界決定部15は、二つの作物個体の位置のxy座標を、それぞれ(-L、0)、(L、0)とする。また、個体間境界決定部15は、二つの個体位置の距離2Lを、面積w1:w2の割合で分割した距離をp、及びqとする(
図9参照)。この場合、p、及びqは以下の(式3)により表すことができる。
【0064】
p={2L/(w1+w2)}w1、
q={2L/(w1+w2)}w2 …(式3)
【0065】
個体間境界決定部15は、(式3)で示されるp、及びqを用いて、双曲線の頂点のxy座標が(p-L、0)となるように、以下の(式4)を示すようにA、及びBを決定する。
【0066】
A=(p-q)/2、
B=√(pq)
但し、w1>w2の場合、x>0
w1<w2の場合、x<0
w1=w2の場合、個体間境界はy軸に一致する …(式4)
【0067】
個体生長領域算出部16は、作物個体の生長領域を算出する。個体生長領域算出部16は、生長領域を算出する対象とする作物個体に着目する(
図10の植生部分SB5)。個体生長領域算出部16は、着目した作物個体と隣り合う作物個体(
図10の植生部分SB7~SB10)それぞれとの個体間境界を取得する。ここでの個体間境界は、個体間境界決定部15によって決定される。個体生長領域算出部16は、取得した境界によって囲まれる領域(
図10の領域SR)を、その作物個体の生長領域とする。
【0068】
上述した、推定装置1の機能部(画像取得部10、画像合成部11、植生部分抽出部12、個体数推定部13、個体位置決定部14、個体間境界決定部15、及び個体生長領域算出部16)は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
【0069】
記憶部17は、例えば、HDD(Hard Disk Drive)やフラッシュメモリ、RAM(Random Access Memory)などで構成される。記憶部17は、例えば、画像情報を記憶する。例えば、記憶部17は、空撮画像の画像情報を記憶する。この場合、画像取得部10は、取得した空撮画像の情報を17に記憶させる。記憶部17は、合成画像の画像情報を記憶するようにしてもよい。この場合、画像合成部11は、生成した合成画像の画像情報を記憶部17に記憶させる。
【0070】
記憶部17は、画像合成部11により抽出された植生部分が示された合成画像の画像情報を記憶するようにしてもよい。記憶部17は、個体数推定部13により推定された植生部分に含まれる個体数を示す情報を記憶するようにしてもよい。記憶部17は、個体位置決定部14により決定された個体位置を示す情報を記憶するようにしてもよい。記憶部17は、個体間境界決定部15により決定された個体間境界が示された合成画像の画像情報を記憶するようにしてもよい。記憶部17は、個体生長領域算出部16により算出された作物個体の生長領域が示された合成画像の画像情報を記憶するようにしてもよい。記憶部17は、他の情報、例えば、推定装置1のCPUに実行させるプログラムや、プログラムが実行される際に使用される各種パラメータなども記憶される。
【0071】
図2は、第1の実施形態に係る植生部分抽出部12が行う処理を説明する図である。
図2の左側には合成画像の一部を示す画像G1が示されている。
図2の右側には画像G1から抽出した植生部分を白色、植生部分とは異なる部分を黒色で示した二値の画像G2が示されている。このように、植生部分抽出部12は、画像G1における画素ごとの色を、植生部分の色に基づいて二値化することにより、植生部分を抽出する。なお、画像G2における領域R20には、二つの個体作物が含まれる植生部分の例が示されている。また、画像G2における領域R21には、1つの個体作物からなる植生部分の例が示されている。
【0072】
図3~
図5は、第1の実施形態に係る個体数推定部13が行う処理を説明する図である。
図3から
図5には、植生部分の形状などの特徴に基づいてサポートベクタマシンにより生成された多次元のベクトル空間が示されている。それぞれのベクトル空間には、合成画像から抽出された植生部分のそれぞれの特徴が、ベクトル空間における特徴軸に応じた位置座標で示されている。
【0073】
図3には、植生部分に含まれる個体数が1つであるクラスC1と、二つ以上であるクラスC2とに分離された様子が示されている。サポートベクタマシンは、合成画像から抽出された植生部分の全てを対象として入力された説明変数に基づいて、例えば、
図3に示すような、クラスC1とC2との分離曲面を提示する。
【0074】
図4には、植生部分に含まれる個体数が二つ以上であるクラスC2が、個体数が二つであるクラスC21と、3つ以上であるクラスC22とに分離された様子が示されている。サポートベクタマシンは、クラスC2に分類された植生部分を対象として入力された説明変数に基づいて、例えば、
図4に示すような、クラスC21とC22との分離曲面を提示する。
【0075】
図5には、植生部分に含まれる個体数が3つ以上であるクラスC22が、個体数が3つであるクラスC221と、4つ以上であるクラスC222とに分離された様子が示されている。サポートベクタマシンは、クラスC22に分類された植生部分を対象として入力された説明変数に基づいて、例えば、
図5に示すような、クラスC221とC222との分離曲面を提示する。
【0076】
図6~
図8は、第1の実施形態に係る個体位置決定部14が行う処理を説明する図である。
図6には、植生部分に含まれる作物の個体数が1つである場合における個体位置、つまり(ケース1)の手法により決定された個体位置が示されている。
図6における画像G2は
図2における画像G2と同様に、植生部分が白色に変換された合成画像である。画像G20は、画像G2における植生部分(1つの作物個体が含まれる植生部分)を拡大させたものである。この場合、個体位置決定部14は、(ケース1)の手法に基づいて、植生部分SB1の重心GP1の位置を、個体位置とする。
【0077】
図7には、植生部分に含まれる作物の個体数が2個体又は3個体である場合における個体位置、つまり(ケース2)の手法により決定された個体位置が示されている。
図7における画像G2は
図2における画像G2と同様に、植生部分が白色に変換された合成画像である。画像G21は、画像G2における植生部分(2つつの作物個体が含まれる植生部分)を拡大させたものである。この場合、個体位置決定部14は、(ケース2)の手法に基づいて、植生部分SB2の主軸SGを決定する。個体位置決定部14は、決定した主軸SGに垂直な方向SHに沿って、植生部分SBを構成する画素のヒストグラムHGを作成する。個体位置決定部14は、作成したヒストグラムに基づいて、境界閾値KSの位置を決定する。個体位置決定部14は、植生部分SB2の端点EP1から、主軸と境界閾値KSの交点までの距離を等分する点を、一方の個体位置GP1とする。個体位置決定部14は、植生部分SB2の端点EP2から、主軸と境界閾値KSの交点までの距離を等分する点を、他方の個体位置GP2とする。
【0078】
図8には、植生部分に含まれる作物の個体数が4個体以上である場合における個体位置、つまり(ケース3)の手法により決定された個体位置が示されている。
図8には、撮像日が異なる3つの合成画像である画像G3~G5が示されている。画像G3~G5は、いずれも圃場における同じ領域が示されている。画像G3~G5のうち、画像G3が最も早い日付(例えば、6月7日)、画像G4が次点の日付(例えば、6月9日)、画像G5が最も遅い日付(例えば、6月11日)に撮像されたものである。
【0079】
図8の領域R51のように、4つ以上の作物がつながった植生部分が観察された場合、個体位置決定部14は、このままでは領域R51の個体位置を決定することができない。そこで、個体位置決定部14は、2日前に撮像された画像G4の領域R41、或いは、4日前に撮像された画像G3の領域R31で決定された個体位置を、画像G5における領域R51の個体位置とする。
【0080】
(ケース3)における個体位置の決定をより安定して行うためには、より頻繁に(例えば、毎日、或いは数日おき)空撮画像を撮像することが考えられる。作物は固定され、生育の過程で個体位置が動くことがない。このため、作物の生育期間中に少なくとも1回個体位置を決定すれば、その後日以降の合成画像から個体位置を決定する必要がないとも考えられる。
【0081】
しかしながら、毎回、個体位置を決定することにより、個体位置の精度を向上させることが可能である。例えば、毎回決定した個体位置について、複数回(例えば、3回)の個体位置がともに所定の範囲の領域内であれば、その個体位置は正確な位置を示しているとみなすことが可能である。
【0082】
これを利用して、例えば、個体位置決定部14は、毎回決定した個体位置について、複数回(例えば、3回)における個体位置のそれぞれのばらつき度合いに基づき、個体位置の尤度(確からしさ)を判定するようにしてもよい。
【0083】
図9は、第1の実施形態に係る個体間境界決定部15が行う処理を説明する図である。
図9には、2つの植生部分SB3、SB4における個体間境界である境界RK34が示されている。
図9に示すように、個体間境界決定部15は、2つの植生部分SB3、SB4の個体位置(-L、0)、(L、0)を焦点とし、植生部分SB3、SB4間の距離2Lを、植生部分SB3、SB4の面積w1、w2に応じた割合(w1:w2)で分割する点(p-L、0)が頂点となる双曲線を、植生部分SB3とSB4との個体間境界である境界RK34とする。
【0084】
図10から
図16は、第1の実施形態に係る個体生長領域算出部16が行う処理を説明する図である。
図10には、作物個体の植生部分SB5の生長領域SRが示されている。
図10に示すように、個体生長領域算出部16は、植生部分SB5と、その隣り合う作物個体の植生部分SB7~SB10のそれぞれとの間の境界を、個体間境界決定部15から取得する。植生部分SB5とSB6との個体間境界は境界RK56である。植生部分SB5とSB7との個体間境界は境界RK57である。植生部分SB5とSB8との個体間境界は境界RK58である。植生部分SB5とSB9との個体間境界は境界RK59である。植生部分SB5とSB10との個体間境界は境界RK510である。個体生長領域算出部16は、植生部分SB5と、その隣り合う作物個体の植生部分SB7~SB10のそれぞれとの間の境界(境界RK56、RK57、RK58、RK59、及びRK510)で囲まれる領域を、生長領域SRとする。
【0085】
図11には、画像G10において抽出された植生部分のそれぞれに含まれる作物個体ごとの生長領域が示されている。
図11に示すように、圃場の端に植えられた作物については、隣り合う作物個体が存在しない側の境界として、圃場と圃場外との境界を適用するようにしてもよい。
【0086】
図12には、作物の生育の過程により、その生長領域が変化していく様子が示されている。隣り合う作物の植生部分の面積が同程度である場合、境界は、個体位置を結んだ直線の中心を通り、個体位置を結んだ直線にほぼ垂直な線となる(撮影日1参照)。作物の生長が進み、隣り合う作物の植生部分の面積に差が出てくると、その個体間境界は、個体位置を結んだ直線を、面積に比率で分割した点(面積の小さい方の側によった位置)を頂点とする双曲線となる(撮影日2参照)。隣り合う作物の植生部分の面積の差が大きくなると、その個体間境界は、双曲線の曲率が更に大きくしたものとなる(撮影日3参照)。隣り合う作物の植生部分がつながった場合、植生部分がつながる前に決定した境界を、最終的な境界として採用する(撮影日4参照)。
【0087】
図13~
図16には、圃場における作物が発芽し始める段階から、植生部分がつながるまでの各段階において決定された個体間境界が示されている。作物が発芽し始める段階においては、空撮画像の撮像が行われる度に新しい個体位置が検出されるため、新たに検出された個体位置に基づいて新たな生長領域が決定される(
図13、及び
図14参照)。個体間境界は、植生部分の面積を重みとして決定されるため、作物が生長する段階では、撮像が行われる度に生長領域の形状が変化する(
図14、及び15参照)。生長領域の形状は、隣り合う作物の植生部分がつながるまで更新される(
図15、及び16参照)。
【0088】
図17は、第1の実施形態に係る推定装置1が行う処理の流れを示すフロー図である。推定装置1は、ドローン等によって上空から圃場が撮像された空撮画像を取得する(ステップS1)。推定装置1は、取得した空撮画像をつなぎ合わせて合成し、圃場全体の合成画像(オルソ画像)を生成する(ステップS2)。推定装置1は、合成画像の色を二値化するなどして、合成画像における植生部分を抽出する(ステップS3)。推定装置1は、抽出した植生部分のそれぞれに含まれる作物個体の個体数を、サポートベクタマシンを利用するなどして推定する(ステップS4)。推定装置1は、推定した個体数に応じて、主成分分析を利用するなどして、作物個体の個体位置を決定する(ステップS5)。推定装置1は、決定した個体位置を用いて、隣り合う作物個体の被覆面積(植生部分の面積)を重みづけした境界(個体間境界)を決定する(ステップS6)。推定装置1は、作物個体に隣り合う作物との間で決定した境界により囲まれる領域を、その作物個体の生長領域として算出する(ステップS7)。
【0089】
(第2の実施形態)
第2の実施形態を説明する。
図18は、第2の実施形態に係る推定装置100の構成の例を示すブロック図である。推定装置100は、圃場に植生する個々の作物(作物個体)の収穫量を推定するコンピュータ装置である。推定装置100は、例えば、画像取得部110と、三次元情報復元部111と、地上部体積算出部112と、パラメータ決定部113と、収穫量推定部114と、記憶部117とを備える。
【0090】
画像取得部110は、空撮画像を取得する。空撮画像は上空からみた圃場に植生している作物の様子が撮像された画像であり、例えば、デジタルカメラなどの撮像装置が搭載されたドローンなどを用いて撮像される。この場合、ドローンは、圃場の上空を往復飛行しながら、定期的(例えば、1~2秒毎)に静止画像(空撮画像)を連続的に撮像し、複数に分けて圃場の全体が撮像されるようにする。
【0091】
本実施形態では、圃場の作物が発芽、或いは萌芽してから、定期的(例えば、1週間毎)に空撮が行われる。これにより、作物の生長過程を示す空撮画像が時系列で撮像される。画像取得部110は、撮像される度に空撮画像を取得し、取得した空撮画像を画像合成部11に出力する。
【0092】
三次元情報復元部111は、画像取得部110によって得られた空撮画像に基づいて、圃場表面の三次元情報を復元する。ここでの三次元情報は、空撮画像の画素ごとの位置座標に、その画素の深度(奥行情報)が付与された情報、あるいは、3次元点群情報である。例えば、三次元情報復元部111は、互いに異なる撮像位置から撮像された複数の空撮画像を、ステレオカメラの原理を適用させる三次元再構成技術を用いて、画像における画素ごとの深度を算出する。あるいは、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)などの距離センサで測定することにより圃場表面3次元点群を得るようにしてもよい。ここでのLiDARなどの距離センサは、「距離を測定する測定器」の一例である。三次元情報復元部111は、三次元情報を地上部体積算出部112に出力する。
【0093】
地上部体積算出部112は、三次元情報復元部111によって復元された三次元情報に基づいて、圃場における作物個体の地上部の体積(以下、地上部体積ともいう)を算出する。ここでの地上部とは、作物において地上に出ている部分、つまり作物の葉部である。
【0094】
例えば、地上部体積算出部112は、圃場の三次元情報から土壌の三次元情報を減算することにより、まず、空撮画像から作物の三次元情報を抽出する。地上部体積算出部112は、作物がない状態(裸地)における圃場の三次元情報(
図19参照)を取得する。裸地の圃場とは、例えば、作物が発芽する前に撮像された圃場の空撮画像である。地上部体積算出部112は、作物がある状態における圃場の三次元情報(
図20参照)を取得する。作物がある状態の圃場とは、今回、作物個体の地上部体積を算出する対象とする圃場の空撮画像である。
【0095】
作物個体の地上部体積は、以下の(式1)により表現することができる。(式1)において、Vnはn番目の作物個体の地上部体積である。Rnはn番目の作物個体の領域である。g(x、y、z)は裸地の圃場の三次元情報である。f(x、y、z)は作物がある状態の圃場の三次元情報である。
【0096】
Vn=∫∫∫Rn{f(x、y、z)-g(x、y、z)}dxdydz …(式1)
【0097】
地上部体積算出部112は、(式1)を用いて、作物がある状態の圃場の三次元情報から、裸地の圃場の三次元情報を差し引くことにより、圃場における作物のみの三次元情報を抽出する。地上部体積算出部112は、抽出した作物の三次元情報を、作物個体の領域で空間積分することにより、作物個体の地上部体積を算出する。地上部体積算出部112は、算出した作物個体の地上部体積を、パラメータ決定部113に出力する。
【0098】
地上部体積算出部112は、空間積分を実行する際に、作物個体の領域を把握しておく必要がある。作物個体の領域として、例えば第1の実施形態における作物個体の生長領域が適用される。
【0099】
本実施形態では、作物生育モデルを用いて、作物個体の収穫量を推定する。作物生育モデルは、作物の生育状況をシミュレーションにより導出する数値モデルである。作物生育モデルが導出する作物の生育状況とは、例えば、地上部乾物質量、及び地下部乾物質量である。地上部乾物質量とは、作物の地上部(葉部)における乾物質量である。地下部乾物質量とは、作物の地下部(塊茎部)における乾物質量である。乾物質量とは、作物の重量であって、作物に含まれる水分量を除いた重量である。馬鈴薯などの根菜類の場合、地下部乾物質量が、収穫量に相当する。
【0100】
一般に、作物個体の地上部体積は、その作物個体の地上部乾物質量と線形の関係にあることが知られている(
図21参照)。ここで、地上部乾物質量は、地上部体積と相関を有すると考えられる。本実施形態では、この作物個体の地上部体積と地上部乾物質量との関係を利用して、作物生育モデルの内部パラメータを決定する。
【0101】
具体的に、パラメータ決定部113は、作物生育モデルのシミュレーションを実行した結果として得られる作物個体の体積が、地上部体積算出部112によって算出された作物個体の体積に近づくように作物生育モデルの内部パラメータを決定する。これにより、作物生育モデルに実際の作物の生育状況を反映させることができる。このため、作物生育モデルのシミュレーションによって、収穫量を精度よく推定することが可能となる。
【0102】
また、パラメータ決定部113は、作物生育モデルのシミュレーションを実行した結果として得られる作物個体の体積の時系列変化が、地上部体積算出部112によって算出された作物個体の体積の時系列変化に近づくように作物生育モデルの内部パラメータを決定する。これにより、作物生育モデルに、将来の作物の生育状況を精度よく予測させることができる。このため、作物生育モデルのシミュレーションによって、収穫量を精度よく推定することが可能となる。なお、作物生育モデルの内部パラメータについては、後で詳しく説明する。
【0103】
収穫量推定部114は、パラメータ決定部113によって決定された内部パラメータが設定された作物生育モデルを用いて、作物個体の収穫量を推定する。収穫量推定部114は、例えば、作物生育モデルに入力変数(例えば、気象データなど)を入力することにより、作物生育モデルから作物の地下部乾物質量の時系列変化を示す情報を出力させる。収穫量推定部114は、地下部乾物質量の時系列変化のうち、収穫時期に相当する地下部乾物質量を、作物個体の収穫量と推定する。
【0104】
上述した、推定装置100の機能部(画像取得部110、三次元情報復元部111、地上部体積算出部112、パラメータ決定部113、及び収穫量推定部114)は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
【0105】
記憶部117は、例えば、HDD(Hard Disk Drive)やフラッシュメモリ、RAM(Random Access Memory)などで構成される。記憶部117は、例えば、画像情報を記憶する。例えば、記憶部17は、空撮画像の画像情報を記憶する。この場合、画像取得部110は、取得した空撮画像の情報を記憶部117に記憶させる。記憶部117は、三次元情報復元部111により復元された三次元情報を記憶するようにしてもよい。記憶部17は、地上部体積算出部112により算出された地上部体積を示す情報を記憶するようにしてもよい。記憶部117は、パラメータ決定部113により決定された内部パラメータを作物個体に対応づけて記憶するようにしてもよい。記憶部117は、収穫量推定部114により推定された収穫量を作物個体に対応づけて記憶するようにしてもよい。記憶部117は、他の情報、例えば、推定装置100のCPUに実行させるプログラムや、プログラムが実行される際に使用される各種パラメータなども記憶される。
【0106】
図19、及び
図20は、第2の実施形態に係る画像取得部110が取得する画像の例を示す図である。
図19には裸地の圃場の三次元情報の例が示されている。
図20には作物がある状態の圃場の三次元情報の例が示されている。このように、三次元情報は、空撮画像における画素に対応づけられ、濃淡などによりその深度を示す情報であってもよい。
【0107】
図21は、第2の実施形態に係る地上部体積算出部112により算出される地上部体積と乾物質量との関係を示す図である。
図4の横軸は地上部体積、縦軸は地上部乾物質量を示す。
図21に示すように、地上部体積と地上部乾物質量とは相関し、地上部体積が増加するにしたがって地上部乾物質量も増加する傾向がある。
【0108】
ここで、作物生育モデルの内部パラメータについて、
図22を用いて説明する。
図22は、第2の実施形態に係るパラメータ決定部113により内部パラメータが決定されるモデルを説明する図である。
【0109】
図22の例に示すように、作物生育モデルは、例えば、気象データT
kを入力変数とする。kは萌芽日以降の日数である。気象データT
kは、萌芽日から現在(k日経過後)までの気象データt
kの集合として表現される。気象データt
kは、その日の気象を示す情報であって、例えば、最低気温、最高気温、平均気温、日射エネルギ(PAR、Photosynthetically Active Radiation)、日長時間などを示す情報である。
【0110】
作物生育モデルは、その生育の時期に応じた生育状況を出力する。例えば、
図5の例に示すように、萌芽日(k=0)の5月下旬、及び塊茎形成の6月中旬の時期には、地上部乾物質量が増加する一方で、地下部乾物質量はさほど増加しない。生長ピークの7月中旬、及び黄変の8月中旬の時期には、地上部乾物質量、及び地下部乾物質量が共に増加する。そして、完全枯凋の8月下旬には、葉部が枯れて地上部乾物質量が減少し、地下部乾物質量はさほど増加しない。
【0111】
作物生育モデルの内部パラメータは、生育の時期などに対応して設定される。例えば、地上部乾物質量における1日あたりの増加量ΔWkは、地上部乾物の増加量f(Tk)から減少量g(Tk)を減算させたものとして表される。増加量f(Tk)における、発芽直後、初期生育期間、及び地上部被覆飽和のそれぞれの時期に応じた生長速度が、内部パラメータa1、a2、a3によって設定可能である。減少量g(Tk)における、葉形成から枯死までの期間が、内部パラメータa4によって設定可能である。
【0112】
地上部の乾物質量Wk+1は、前日の地上部乾物質量Wkに、その日の地上部乾物増加量ΔWkを加算させたものとして表される。
【0113】
地上部体積Vkは、地上部乾物質量Wkに、関数h(k)を乗算させたものとして表される。関数h(k)は、内部パラメータa5、a6によって、その振る舞いが設定可能である。
【0114】
地下部乾物質量の増加量ΔYkは、地上部受光エネルギに、地下部乾物質量への変換割合L(Tk)を乗算させたものとして表される。地上部受光エネルギは、日射エネルギPARkに、地上部体積Vkを乗算させたものとして表される。変換割合L(Tk)は、内部パラメータa7によって、品種等に応じた設定が可能である。
【0115】
地下部の乾物質量Yk+1は、前日の地下部乾物質量Ykに、その日の地下部乾物増加量ΔYkを加算させたものとして表される。
【0116】
ここで、パラメータ決定部113が内部パラメータを決定する方法について、
図23を用いて説明する。
図23は、第2の実施形態に係るパラメータ決定部113が行う処理を説明する図である。
図23の左上、左下及び右側のそれぞれのグラフにおける横軸は時期、縦軸は地上部体積を示す。
【0117】
図23の左上のグラフに示すように、作物生育モデルの内部パラメータによって、地上部体積の時系列変化のパターンが無数に存在する。上述したように、作物生育モデルには多数の内部パラメータが存在する。内部パラメータに設定された値の組合せにより、作物生育モデルの振る舞いが異なるためである。
【0118】
一方、
図23に左下のグラフに示すように、空撮画像(
図23ではドローン画像と記載)から導出した地上部体積の時系列変化は、画像から算出されるものであるため、毎回、一意に決定される。
【0119】
パラメータ決定部113は、作物生育モデルによる地上部体積の時系列変化が、空撮画像から導出した地上部体積の時系列変化に近づくように、内部パラメータを決定することによりデータ同化を行う。データ同化は、任意の方法で行われてよいが、例えばマルコフ連鎖モンテカルロ法(MCMC)、又は最小二乗法や粒子フィルタなどの手法が用いられる。
【0120】
図23の右のグラフに示すように、データ同化により内部パラメータが決定された作物生育モデルから出力される上部体積の時系列変化は、空撮画像から導出された地上部体積の時系列変化と同じようなパターンとなる。例えば、パラメータ決定部113は、作物生育モデルによるシミュレーション結果の中から、空撮画像から導出された地上部体積の時系列変化によく似たものを抽出する。パラメータ決定部113は、抽出したシミュレーションを行った作物生育モデルに設定されていた内部パラメータを、収穫量を推定するモデルの内部パラメータとする。
【0121】
図24は、第2の実施形態に係る空撮画像から導出された地上部体積と、シミュレーション結果が示した地上部体積とを比較した例を示す図である。
図24には16個の作物個体のそれぞれの地上部体積の時系列変化が示されている。
図24の各グラフの横軸は時期、縦軸は地上部体積を示す。
【0122】
図24に示すように、実際に観測された地上部体積の時系列変化に合うように、適切に内部パラメータを設定することにより、作物個体の生育状況を忠実にシミュレーションさせることが可能となる。このように、内部パラメータが適切に設定されたモデルを用いることにより、より正確に収穫量を推定することが可能である。
【0123】
図25~
図28は、第2の実施形態に係るモデルによるシミュレーション結果の例を示す図である。
図25には、地上部体積V
kの時系列変化が、観測値(空撮画像から導出された地上部体積)と共に示されている。
図26には、
図25と同じ内部パラメータが設定されたモデルの地上部乾物増加量ΔW
kの時系列変化が示されている。
図27には、
図25と同じ内部パラメータが設定されたモデルの地下部乾物増加量ΔY
kの時系列変化が示されている。
図28には、地下部乾物質量Y
kとして、
図27に示す地下部乾物増加量ΔY
kを積分値の時系列変化が示されている。地上部体積の時系列変化が、実情(空撮画像から導出された地上部体積)の時系列変化によく似た変化をする場合、モデルが実際の作物の生育状況を精度よく示していると推測できる。このように実際の作物の生育状況を精度よく示すモデルは、地上部乾物増加量ΔW
k、及び地下部乾物増加量ΔY
kの時系列変化においても実際の変化の状況によく似た変化をしていると考えられる。したがって、このモデルを用いて推定される収穫量が、実際の収穫量を正確に示していることが期待できる。
【0124】
図29は、第2の実施形態に係るモデルを用いて推定した収穫量と、実際の収穫量とを比較した結果の例を示す図である。
図12の横軸は実際の収穫量、縦軸は推定した収穫量を示す。
図12に示すように、推定した収穫量と、実際の収穫量とが相関しており、モデルが精度よく収穫量を予測できていることが判る。
【0125】
図30は、第2の実施形態に係る推定装置100が行う処理の流れを示すフロー図である。推定装置100は、ドローン等によって上空から圃場が撮像された空撮画像を取得する(ステップS11)。推定装置100は、取得した空撮画像を用いて三次元再構成技術により、圃場の三次元情報を復元する(ステップS12)。推定装置100は、作物個体の地上部体積を算出する(ステップS13)。推定装置100は、例えば、圃場の三次元情報から裸地圃場の三次元情報を減算し、減算後の三次元情報を作物個体の領域について空間積分するなどして、作物個体の地上部体積を算出する。推定装置100は、内部パラメータを取得する(ステップS14)。推定装置100は、モデルのシミュレーション結果から得られる地上部体積の時系列変化が、空撮画像から導出した作物個体の地上部体積に近づくように、内部パラメータを設定する。推定装置100は、作物個体から得られる収穫量を推定する(ステップS15)。推定装置100は、ステップS4で決定した内部パラメータを設定したモデルから得られるシミュレーション結果に基づいて、収穫量を推定する。
【0126】
以上説明したように、説明した通り、第2の実施形態の推定装置100は、地上部体積算出部112と、パラメータ決定部113と、収穫量推定部114とを備える。地上部体積算出部112は、圃場における三次元情報に基づいて、圃場における作物個体ごとの地上部体積を算出する。圃場は「対象場所」の一例である。空撮画像は、「対象画像」の一例である。パラメータ決定部113は、地上部体積算出部112によって算出された圃場における作物個体ごとの地上部体積に基づいて、作物個体ごとに作物生育モデルの内部パラメータを決定する。収穫量推定部114は、パラメータ決定部113によって内部パラメータが決定された作物生育モデルを用いて、圃場における作物個体ごとの収穫量を推定する。これにより、第2の実施形態の推定装置100では、作物個体の地上部体積に基づいて、作物個体ごとにモデルの内部パラメータが個別に設定される作物個体ごとに収穫量を推定する。このため、作物個体ごとに収穫量を推定することが可能である。
【0127】
また、第2の実施形態の推定装置100では、三次元情報は、三次元情報復元部111によって空撮画像を用いて復元された圃場の三次元形状を示す情報、またはLiDARなどの距離センサを用いて測定された情報である。これにより、第2の実施形態の推定装置100では、上述した効果と同様の効果を奏する。
【0128】
また、第2の実施形態の推定装置100では、パラメータ決定部113は、作物生育モデルを用いたシミュレーション結果から得られる作物個体の地上部体積が、実情(地上部体積算出部112によって算出された圃場における作物個体ごとの地上部体積)に近づくように、作物生育モデルの内部パラメータを決定する。これにより、第2の実施形態の推定装置100では、実情に合うように内部パラメータを決定することができ、実情に沿ったシミュレーションを実行可能な、精度の良いモデルを作成することができる。したがって、精度の良いモデルを用いて、精度よく収穫量を推定することが可能となる。
【0129】
また、第2の実施形態の推定装置100では、パラメータ決定部113は、作物生育モデルを用いたシミュレーション結果から得られる作物個体の地上部体積の時系列変化が、実情(地上部体積算出部によって算出された圃場における作物個体ごとの地上部体積の時系列変化)に沿うように、作物生育モデルの内部パラメータを決定する。これにより、第2の実施形態の推定装置100では、実情に合うように内部パラメータを決定することができ、実情に沿ったシミュレーションを実行可能な、精度の良いモデルを作成することができる。したがって、上述した効果と同様の効果を奏する。
【0130】
また、第2の実施形態の推定装置100では、パラメータ決定部113は、地上部体積算出部によって算出された圃場における作物個体ごとの、発芽から収穫時期までの地上部体積の時系列変化を用いて、作物生育モデルの内部パラメータを決定する。これにより、第2の実施形態の推定装置100では、発芽から収穫時期までの地上部体積の時系列変化が、実情に合うように内部パラメータを決定することができ、実情に沿ったシミュレーションを実行可能な、精度の良いモデルを作成することができる。したがって、上述した効果と同様の効果を奏する。
【0131】
また、第2の実施形態の推定装置100では、収穫量推定部114は、パラメータ決定部113によって内部パラメータが決定された作物生育モデルを用いたシミュレーション結果から得られる収穫時期における作物個体の地下部乾物質量を、当該作物個体の収穫量として推定する。これにより、第2の実施形態の推定装置100では、収穫時期における作物個体の地下部乾物質量を収穫量と推定することができる。したがって、収穫の時期に応じた収穫量を推定することが可能である。
【0132】
また、第2の実施形態の推定装置100では、地上部体積算出部112は、空撮画像に基づいて作物が植生している植生部分を抽出し、抽出した植生部分に含まれる作物個体の個体数を推定し、推定した個体数を用いて、圃場における作物個体ごとの地上部体積を算出する。これにより、第2の実施形態の推定装置100では、画像において複数の作物がつながって見えている場合であっても、個々の作物個体を抽出して、その領域を特定することができる。したがって、地上部体積算出部112が精度よく地上部体積を算出できる。このため、より正確な実情に沿って内部パラメータを決定でき、精度の良いモデルを用いて、精度よく収穫量を推定することが可能となる。
【0133】
また、上述した実施形態では、空撮画像を用いて作物個体の収穫量を推定する場合を例に説明した。しかしながら空撮画像に限定されることはない。推定装置1は、圃場に植生する作物における位置と大きさとが少なくとも判る程度に撮像されたデジタル画像であれば、任意の画像を用いて作物個体の収穫量を推定してよい。
【0134】
また、上述した実施形態では、圃場に植生する作物個体の収穫量を推定する場合を例に説明した。しかしながら圃場に限定されることはない。推定装置1は、少なくとも作物が植生する場所であれば、任意の場所における作物個体の収穫量を推定してよい。
【0135】
また、上述した実施形態では、地下部乾物質量を用いて作物個体の収穫量を推定する合を例に説明した。しかしながら地下部乾物質量に限定されることはない。地上部乾物質量や地下部乾物質量に限定することなく、単に乾物質量を用いて作物個体の収穫量を推定するようにしてもよい。この場合、例えば、収穫時期における作物個体の乾物質量のうち、所定比率を乗算して得られる質量を収穫量と推定するようにしてもよい。
【0136】
なお、推定装置100の機能部が行う処理(演算及び制御)の全部または一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することで各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0137】
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0138】
100 推定装置
110 画像取得部
111 三次元情報復元部
112 地上部体積算出部
113 パラメータ決定部
114 収穫量推定部
117 記憶部