(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024151763
(43)【公開日】2024-10-25
(54)【発明の名称】決定装置、決定方法およびプログラム
(51)【国際特許分類】
A01G 7/00 20060101AFI20241018BHJP
G06Q 50/02 20240101ALI20241018BHJP
【FI】
A01G7/00 603
G06Q50/02
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023065421
(22)【出願日】2023-04-13
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110000671
【氏名又は名称】IBC一番町弁理士法人
(72)【発明者】
【氏名】逢坂 良樹
(72)【発明者】
【氏名】本多 泰啓
(72)【発明者】
【氏名】岩本 剛志
【テーマコード(参考)】
5L049
5L050
【Fターム(参考)】
5L049CC01
5L050CC01
(57)【要約】
【課題】圃場に対応する画像内の画像領域をより正確に決定することが可能な決定装置、決定方法およびプログラムを提供する。
【解決手段】情報処理装置20は、所定の圃場が撮影された画像の輪郭特徴を含む画像情報と、圃場の形状特徴を含む圃場情報とを取得する取得部211と、取得された圃場情報に基づいて、圃場に対応する画像内の画像領域の初期位置を決定する第1決定部212と、決定された初期位置から画像内で画像領域を各位置に変位させたときの輪郭特徴と形状特徴とのマッチング度と、初期位置から各位置への変位距離とに基づいて、画像内の画像領域の本位置を決定する第2決定部213とを含む。
【選択図】
図4
【特許請求の範囲】
【請求項1】
対象の圃場が撮影された画像の輪郭特徴を含む画像情報と、前記圃場の形状特徴を含む圃場情報とを取得する取得部と、
取得された前記圃場情報に基づいて、前記圃場に対応する前記画像内の画像領域の初期位置を決定する第1決定部と、
決定された前記初期位置から前記画像内で前記画像領域を各位置に変位させたときの前記輪郭特徴と前記形状特徴とのマッチング度と、前記初期位置から前記各位置への変位距離とに基づいて、前記画像内の前記画像領域の本位置を決定する第2決定部と
を備える決定装置。
【請求項2】
前記第2決定部は、前記初期位置から第1変位距離にある第1位置と、前記初期位置から前記第1変位距離よりも大きい第2変位距離にある第2位置とに前記画像領域を変位させたときの前記マッチング度が同じであるとき、前記第1位置を前記本位置に決定する請求項1に記載の決定装置。
【請求項3】
前記第2決定部は、さらに、前記画像領域の大きさおよび角度の少なくとも一方を変更可能である請求項1に記載の決定装置。
【請求項4】
前記画像情報は、前記画像が撮影された位置に関する撮影位置情報を含み、
前記圃場情報は、前記圃場の位置に関する圃場位置情報を含み、
前記第1決定部は、前記撮影位置情報および前記圃場位置情報に基づいて、前記画像領域の前記初期位置を決定する請求項1に記載の決定装置。
【請求項5】
前記画像領域の前記初期位置と前記本位置との差に基づいて、前記撮影位置情報および前記圃場位置情報の少なくとも一方を補正する補正部を含む請求項4に記載の決定装置。
【請求項6】
前記画像情報に基づいて、前記画像の単位領域毎に、前記圃場の管理に用いる管理指標を算出する算出部をさらに有する請求項1に記載の決定装置。
【請求項7】
前記算出部は、決定された前記画像領域の前記本位置に基づいて、前記圃場における前記管理指標の代表値をさらに算出する請求項6に記載の決定装置。
【請求項8】
決定された前記画像領域の前記本位置において、前記画像領域を単一あるいは複数の区域に分割したマップを作成する作成部をさらに有する請求項1に記載の決定装置。
【請求項9】
対象の圃場が撮影された画像の輪郭特徴を含む画像情報と、前記圃場の形状特徴を含む圃場情報とを取得することと、
取得された前記圃場情報に基づいて、前記圃場に対応する前記画像内の画像領域の初期位置を決定することと、
決定された前記初期位置から前記画像内で前記画像領域を各位置に変位させたときの前記輪郭特徴と前記形状特徴とのマッチング度と、前記初期位置から前記各位置への変位距離とに基づいて、前記画像内の前記画像領域の本位置を決定することと
を含む決定方法。
【請求項10】
コンピューターを請求項1~8のいずれかに記載の決定装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、決定装置、決定方法およびプログラムに関する。
【背景技術】
【0002】
農業では、高品質および安定多収穫な作物等の植物を育てるために、追肥時期、追肥量および倒伏軽減措置等の適切な圃場の管理が必要となる。植物の生産者等は、植物の生育の度合いを確認しながら圃場の管理を行う(たとえば、特許文献1参照)。
【0003】
また、近年では、カメラを用いて対象の圃場の撮影を行うことにより、この圃場の画像から、NDVI(Normalized Difference Vegetation Index)等の植生指標を求める技術の開発が進められている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
このような対象の圃場の画像を用いて植生指標等を求めるとき、圃場に対応する画像内の領域を正確に決定することが望ましい。以下では、対象の圃場に対応する画像内の領域を画像領域という場合がある。この画像領域を正確に決定することにより、たとえば、各圃場の植生指標等の代表値を用いて、より的確に圃場を管理することが可能となる。
【0006】
本発明は、上記のような事情に鑑みてなされたものであり、本発明の目的は、対象の圃場に対応する画像内の画像領域をより正確に決定することが可能な決定装置、決定方法およびプログラムを提供することである。
【課題を解決するための手段】
【0007】
本発明の上記目的は、下記によって達成される。
【0008】
(1)対象の圃場が撮影された画像の輪郭特徴を含む画像情報と、前記圃場の形状特徴を含む圃場情報とを取得する取得部と、取得された前記圃場情報に基づいて、前記圃場に対応する前記画像内の画像領域の初期位置を決定する第1決定部と、決定された前記初期位置から前記画像内で前記画像領域を各位置に変位させたときの前記輪郭特徴と前記形状特徴とのマッチング度と、前記初期位置から前記各位置への変位距離とに基づいて、前記画像内の前記画像領域の本位置を決定する第2決定部とを備える決定装置。
【0009】
(2)前記第2決定部は、前記初期位置から第1変位距離にある第1位置と、前記初期位置から前記第1変位距離よりも大きい第2変位距離にある第2位置とに前記画像領域を変位させたときの前記マッチング度が同じであるとき、前記第1位置を前記本位置に決定する上記(1)に記載の決定装置。
【0010】
(3)前記第2決定部は、さらに、前記画像領域の大きさおよび角度の少なくとも一方を変更可能である上記(1)に記載の決定装置。
【0011】
(4)前記画像情報は、前記画像が撮影された位置に関する撮影位置情報を含み、前記圃場情報は、前記圃場の位置に関する圃場位置情報を含み、前記第1決定部は、前記撮影位置情報および前記圃場位置情報に基づいて、前記画像領域の前記初期位置を決定する上記(1)に記載の決定装置。
【0012】
(5)前記画像領域の前記初期位置と前記本位置との差に基づいて、前記撮影位置情報および前記圃場位置情報の少なくとも一方を補正する補正部を含む上記(4)に記載の決定装置。
【0013】
(6)前記画像情報に基づいて、前記画像の単位領域毎に、前記圃場の管理に用いる管理指標を算出する算出部をさらに有する上記(1)に記載の決定装置。
【0014】
(7)前記算出部は、決定された前記画像領域の前記本位置に基づいて、前記圃場における前記管理指標の代表値をさらに算出する上記(6)に記載の決定装置。
【0015】
(8)決定された前記画像領域の前記本位置において、前記画像領域を単一または複数の区域に分割したマップを作成する作成部をさらに有する上記(1)に記載の決定装置。
【0016】
(9)対象の圃場が撮影された画像の輪郭特徴を含む画像情報と、前記圃場の形状特徴を含む圃場情報とを取得することと、取得された前記圃場情報に基づいて、前記圃場に対応する前記画像内の画像領域の初期位置を決定することと、決定された前記初期位置から前記画像内で前記画像領域を各位置に変位させたときの前記輪郭特徴と前記形状特徴とのマッチング度と、前記初期位置から前記各位置への変位距離とに基づいて、前記画像内の前記画像領域の本位置を決定することとを含む決定方法。
【0017】
(10)コンピューターを上記(1)~(8)のいずれかに記載の決定装置として機能させるプログラム。
【発明の効果】
【0018】
本発明に係る決定装置、決定方法およびプログラムによれば、画像領域が初期位置から各位置に変位され、各位置でのマッチング度と変位距離とに基づいて、画像領域の本位置が決定される。これにより、画像領域をより正確に決定することが可能となる。
【図面の簡単な説明】
【0019】
【
図1】一実施形態に係る管理システムの構成の一例を表すブロック図である。
【
図2】
図1に示した撮像装置の使用状態の一例を表す図である。
【
図3】
図1に示した情報処理装置の構成の一例を表すブロック図である。
【
図4】
図3に示した情報処理装置の機能構成の一例を表すブロック図である。
【
図5】
図4に示した情報処理装置が取得する圃場の画像の一例を表す図である。
【
図6】
図4に示した情報処理装置が決定する画像領域の初期位置の一例を表す図である。
【
図7】
図4に示した情報処理装置が決定する画像領域の本位置の一例を表す図である。
【
図8】
図4に示した情報処理装置が作成するNDVIマップの一例を表す図である。
【
図9】
図1等に示した情報処理装置が実行する処理の一例を表すフローチャートである。
【
図10】比較例2に係る情報処理装置が決定する画像領域の一例を表す図である。
【
図11】比較例2に係る情報処理装置が決定する画像領域の他の例を表す図である。
【発明を実施するための形態】
【0020】
以下、添付した図面を参照して本発明の推定装置、推定方法および推定プログラムの実施形態を説明する。なお、図中、同一の部材には同一の符号を用いた。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【0021】
[実施形態]
<管理システム1の全体構成>
図1は、本発明の一実施形態に係る管理システム1の構成の一例を表している。管理システム1は、いわゆるリモートセンシングを用いた圃場の管理に使用される。管理システム1のユーザーは、たとえば、圃場の管理者であり、農業従事者、圃場の経営者または圃場の所有者等である。管理システム1は、たとえば、撮像装置10および情報処理装置20を含んでいる。撮像装置10および情報処理装置20は、たとえば、ネットワークを介して接続されている。ここでは、情報処理装置20が、本発明の決定装置の一具体例に対応する。
【0022】
撮像装置10は、たとえばマルチスペクトルカメラまたはハイパースペクトルカメラ等のカメラを含んでおり、情報処理装置20の制御にしたがって、複数の波長帯域で圃場を撮影し、画像を生成する。撮像装置10は、たとえば、可視光測定部10Aおよび赤外光測定部10Bを含んでおり、可視光(たとえば、波長400nm~700nm)の画像および赤外光(たとえば、波長800nm~1mm)の画像を生成する。可視光測定部10Aは、たとえば、赤色波長域(610nm付近)、緑色波長域(550nm付近)および青色波長域(470nm付近)のいずれかの画像を生成する。赤外光測定部10Bは、たとえば、近赤外波長域(850nm付近)の画像を生成する。撮像装置10が撮影した管理対象の圃場の画像に関する画像情報は、情報処理装置20に送られる。
【0023】
撮像装置10は、たとえば、バンドパスフィルタ、結像光学系、イメージセンサーおよびデジタルシグナルプロセッサ(DSP)等を含んでいる。バンドパスフィルタは、所定波長域(可視光域および赤外光域)の光を選択的に透過させる。結像光学系は、バンドパスフィルタを透過した光の光学像を所定の結像面上に結像する。イメージセンサーは、結像光学系の結像面と同じ位置に受光面を有しており、所定波長域の光学像を電気信号に変換する。デジタルシグナルプロセッサは、イメージセンサーから出力された電気信号に処理を施し、圃場の画像に関する画像情報を生成する。
【0024】
図2は、撮像装置10を用いた圃場30の撮影状況の一例を表している。撮像装置10は、たとえば、ドローン等の自律飛行可能な無人航空機Aに搭載されて、上空から圃場30および圃場30に生育する植物Pを撮影する。このように、上空から圃場30を撮影することにより、圃場30全体を短時間で簡便に撮影することが可能となる。撮像装置10は、1つの圃場30を部分的に撮影してもよく、これらの画像がつなぎ合わされて1つの圃場30の画像を形成していてもよい。撮像装置10が撮影した圃場30の画像に関する画像情報は、たとえば、撮影された位置に関する撮影位置情報を含んでいる。撮影位置情報は、たとえば、GPS(Global Positioning System)等を利用することにより、画像情報に含ませることができる。撮影位置情報は、たとえば、撮像装置10が圃場30の画像を撮影した位置の経度、緯度および高度に関する情報を含んでいる。画像情報は、たとえば、TIFF形式で埋め込まれた撮影位置情報を含んでいる。圃場30に生育する植物Pは、たとえば、稲、大豆、小豆または麦等である。
【0025】
情報処理装置20は、たとえばPC(Personal Computer)およびタブレット端末等のコンピューターである。この情報処理装置20は、たとえば、撮像装置10による圃場30の撮像を制御する。情報処理装置20は、さらに、撮像装置10によって撮影された圃場30の画像に関する画像情報と、圃場30に関する圃場情報とに基づいて、圃場30に対応する画像内の領域、即ち画像領域を決定する。情報処理装置20は、さらに、この画像領域に基づいて、対象の圃場の管理指標を算出する。
【0026】
管理指標は、圃場30の画像を用いて算出可能な指標であり、たとえば、圃場30の植生状態を表す植生指標を含んでいる。植生指標は、植物Pによる光の反射の特徴を生かして、簡易な計算式で植生の状況を把握することを目的として考案された指標で、植物Pの量や活力を表す。植生指標は、たとえば、NDVI、GNDVI(Green Normalized Difference Vegetation Index)、mNDVI(modified NDVI)、RVI(Ratio Vegetation Index)、DVI(Difference Vegetation Index)、TVI(Transformed Vegetation Index)、IPVI(Infrared Percentage Vegetation Index)、SR(Simple Ratio)、SGR(Specific Growth Rate)、PRI(Photochemical Reflectance Index)、RGR(Relative Growth Rate)、NPCI(Normalized Pigment Chlorophyll Index)、SRPI(Simple Ratio Pigment Index)、NPQI(Normalized Phaeophytinization Index)、SIPI(Structure-Insensitive Pigment Index)、PI1、PI2、PI3またはPI4等である。管理指標は、植物Pの状態、具体的には、植物Pの葉の大きさ、葉の数、葉の重なり具合または茎の大きさ等を表す指標であってもよい。たとえば、管理指標は、植被率、葉面積、葉齢または草丈等である。管理指標は、圃場30の状態に応じて、圃場30に施される作業に関する指標であってもよく、たとえば、圃場30への施肥量、施肥時期、倒伏リスク、倒伏軽減剤の使用量および使用時期等を表す指標であってもよい。管理指標は、圃場30の地力に関する指標であってもよい。
【0027】
図3は、情報処理装置20の概略構成の一例を示すブロック図である。情報処理装置20は、たとえば、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、ストレージ24、通信インターフェース25および操作表示部26を有している。各構成は、バス27を介して相互に通信可能に接続されている。
【0028】
CPU21は、ROM22およびストレージ24に記録されているプログラムにしたがって、上記各構成の制御や各種の演算処理を行う。CPU21の具体的な機能については後述する。
【0029】
ROM22は、各種プログラムや各種データを格納する。
【0030】
RAM23は、作業領域として一時的にプログラムやデータを記憶する。
【0031】
ストレージ24は、オペレーティングシステムを含む各種プログラムや、各種データを格納する。ストレージ24には、たとえば、圃場30に関する圃場情報が記憶されている。圃場情報は、たとえば、圃場30の位置に関する圃場位置情報および圃場30の形状の特徴を含んでいる。以下では、圃場30の形状の特徴を圃場30の形状特徴という場合がある。圃場情報は、たとえば、圃場30の輪郭に沿った複数の位置の緯度経度に関する情報を含んでいる。たとえば、圃場30が、四角形の平面形状を有するとき、圃場情報は、少なくとも、この四角形の4つの頂点の緯度経度に関する情報を含んでいる。圃場情報は、たとえば、地図情報システムまたはスマート農業システム等を利用して登録した情報であってもよく、地図情報システムまたはスマート農業システム等から加工された情報であってもよい。あるいは、圃場情報は、測量によって得られた情報であってもよい。圃場情報は、機械学習を用いて得られた情報であってもよい。たとえば、セマンティックセグメンテーションなどのディープラーニング技術を用いた自動圃場情報生成機能を利用して圃場情報を生成してもよい。圃場情報は、筆ポリゴン等の情報であってもよい。圃場情報は、圃場30の大きさに関する情報、圃場30に生育する植物Pに関する情報、または、圃場30の管理者に関する情報等を含んでいてもよい。
【0032】
ストレージ24には、圃場30の画像に関する画像情報から管理指標を算出するためのアプリケーションがインストールされていてもよい。また、ストレージ24には、撮像装置10により過去に撮影された圃場30の画像に関する画像情報等が記憶されてもよい。
【0033】
通信インターフェース25は、他の装置と通信するためのインターフェースである。通信インターフェース25としては、有線または無線の各種規格による通信インターフェースが用いられる。通信インターフェース25は、たとえば、撮像装置10または外部の装置から圃場30の画像に関する画像情報および圃場30に関する圃場情報を受信したり、撮影条件を撮像装置10に送信したりする際に用いられる。
【0034】
操作表示部26は、たとえば、LCD(液晶ディスプレイ)または有機ELディスプレイ等の表示部とタッチセンサーとを含むタッチパネルにより構成されている。各種情報を表示する表示部と、ユーザーの各種操作を受け付ける操作部とを別に設けるようにしてもよい。このとき表示部は、上記ディスプレイの他、ビューワーソフトまたはプリンター等により構成されていてもよく、操作部は、タッチセンサーおよびマウス等のポインティングデバイスまたはキーボード等により構成されていてもよい。
【0035】
<情報処理装置20の機能>
図4は、情報処理装置20の機能構成を示すブロック図である。情報処理装置20は、CPU21がストレージ24に記憶されたプログラムを読み込んで処理を実行することによって、取得部211、第1決定部212、第2決定部213、算出部214、作成部215、補正部216および出力部217として機能する。
【0036】
取得部211は、管理対象の圃場30を撮影した画像に関する画像情報を取得する。取得部211は、たとえば、撮像装置10から画像情報を取得する。取得部211は、ストレージ24または外部の記憶装置から、画像情報を取得してもよい。取得部211が取得する画像情報には、たとえば、上記撮影位置情報と、画像の輪郭の特徴とが含まれている。以下では、画像の輪郭の特徴を画像の輪郭特徴という場合がある。画像の輪郭特徴は、画像に表れた輪郭の特徴である。たとえば、画像にエッジ検出処理を施すことにより、画像の輪郭特徴を抽出することができる。撮像装置10が画像の輪郭特徴を抽出してもよく、情報処理装置20または外部の装置が画像の輪郭特徴を抽出してもよい。
【0037】
図5は、矩形の圃場33が撮影された画像50の一例を表している。この画像50には、圃場33とともに、圃場31および圃場32と、圃場31、圃場32および圃場33の周囲の道路とが写っている。画像50に関する画像情報は、たとえば、圃場31の輪郭特徴C31、圃場32の輪郭特徴C32および圃場33の輪郭特徴C33と、道路の輪郭特徴C34とを含んでいる。
【0038】
取得部211は、圃場33に関する圃場情報をさらに取得する。取得部211は、たとえば、ストレージ24から圃場情報を取得する。圃場情報は、上述のように、たとえば、圃場33の位置に関する圃場位置情報および圃場33の形状特徴を含んでいる。取得部211は、地図情報システムまたはスマート農業システム等の外部のシステムから圃場情報を取得してもよい。圃場情報は、ストレージ24に予め記憶されていた情報であってもよく、あるいは、新たに取得した情報であってもよい。
【0039】
第1決定部212は、取得部211により取得された圃場情報に基づいて、圃場33に対応する画像領域の初期位置を決定する。第1決定部212は、たとえば、圃場情報に加えて、取得部211により取得された画像情報に基づいて、画像領域の初期位置を決定する。具体的には、画像情報に含まれる撮影位置情報と圃場情報に含まれる圃場位置情報とを対応付けることにより、画像領域の初期位置を決定する。第1決定部212は、たとえば、圃場情報に含まれる圃場30の形状特徴に基づいて、画像領域の輪郭を決定する。
【0040】
図6は、圃場33に対応する画像50内の画像領域53の初期位置P0の一例を表している。第1決定部212は、たとえば、圃場33の形状特徴に基づいて、矩形の画像領域53を決定する。圃場33の形状特徴は、圃場33に関する圃場情報に含まれている。第1決定部212は、さらに、撮影位置情報および圃場位置情報に基づいて、画像領域53の初期位置P0を決定する。撮影位置情報は、画像50の撮影位置に関する情報であり、画像情報に含まれている。圃場位置情報は、圃場33の位置に関する情報であり、圃場情報に含まれている。画像領域53の初期位置P0は、たとえば、撮影位置情報の誤差または圃場位置情報の誤り等に起因して、圃場33の輪郭特徴C33からずれた位置に決定される。第1決定部212は、画像情報を用いずに、圃場情報のみに基づいて画像領域53の初期位置P0を決定してもよい。
【0041】
第1決定部212は、たとえば、画像領域53の初期位置P0と同様にして、画像50に写っている圃場31および圃場32各々に対応する画像領域の初期位置を決定してもよい。第1決定部212は、複数の圃場に対応する一つの画像領域の初期位置を決定してもよい。たとえば、第1決定部212は、圃場31、圃場32および圃場33に対応する一つの画像領域の初期位置を決定してもよい。
【0042】
第1決定部212は、画像領域53の初期位置P0を決定できないとき、ユーザーに報知するようにしてもよい。第1決定部212は、たとえば、画像領域53の初期位置P0を決定できない旨を操作表示部26に表示させる。
【0043】
第2決定部213は、画像領域53を画像50内の各位置に変位させたときのマッチング度および変位距離に基づいて、画像領域の本位置を決定する。マッチング度は、第1決定部212により決定された初期位置P0から画像領域53を画像50内の各位置に変位させたときの画像50の輪郭特徴C31、輪郭特徴C32、輪郭特徴C33および輪郭特徴C34と圃場33の形状特徴とのマッチング度である。変位距離は、第1決定部212により決定された初期位置P0から画像50内で画像領域53を各位置に変位させたときの直線距離である。詳細は後述するが、本実施形態では、このように、第2決定部213が画像領域53の本位置を決定するので、圃場33に対応する画像50内の画像領域53をより正確に決定することができる。
【0044】
第2決定部213は、たとえば、初期位置P0から第1変位距離にある第1位置と、初期位置P0から第2変位距離にある第2位置とに画像領域53を変位させる。第2変位距離は、第1変位距離よりも大きくなっている。たとえば、この第1位置および第2位置各々での画像50の輪郭特徴C31、輪郭特徴C32、輪郭特徴C33および輪郭特徴C34と圃場33の形状特徴とのマッチング度が同じであるとき、第2決定部213は、第1位置を画像領域53の本位置に決定する。
【0045】
第2決定部213は、たとえば、画像領域53が初期位置P0から各位置に変位したときの適合指標Iを計算することにより、本位置を決定する。適合指標Iは、たとえば、以下の式(1)で表される。第2決定部213は、たとえば、最も高い適合指標Iを有する位置を本位置に決定する。
【0046】
【0047】
式(1)中、Mは画像50の輪郭特徴C31、輪郭特徴C32、輪郭特徴C33および輪郭特徴C34と圃場33の形状特徴とのマッチング度、αは定数、Dは初期位置P0から画像50内の所定の位置に画像領域53を変位させたときの変位距離を各々表す。
【0048】
マッチング度Mは、たとえば、テンプレートマッチングと呼ばれる手法を用いて類似度を算出することにより得られる。類似度は、相違度とも呼ばれる。たとえば、圃場情報から生成した圃場輪郭画像をテンプレートとして、このテンプレートと画像50との正規化相互相関を算出する。この正規化相互相関をマッチング度Mとする。マッチング度Mの算出には、その他の類似度算出方法を用いてもよい。たとえば、下記のような式(2)を用いて、マッチング度Mを求めることができる。
【0049】
【0050】
式(2)中、i,jは画像50の座標を表す。T(i,j)はテンプレートである圃場輪郭画像の画素値、I(i,j)は画像50の画素値を表す。
【0051】
式(2)では、同じ位置の画素の画素値の差の絶対値の合計をマッチング度Mとして算出している。この式(2)では、マッチング度Mの数値が小さいほど、テンプレートと、画像50との類似度が高いことを表す。このような式(2)を用いてマッチング度Mを算出するとき、式(1)のαを負の定数とし、最も低い適合指標Iを有する位置を本位置に決定してもよい。
【0052】
図7は、第2決定部213により決定された画像領域53の本位置P1の一例を表している。第2決定部213は、たとえば、初期位置P0から画像50内の各位置に画像領域53を変位させたときに、上記式(1)の適合指標Iが最も高くなる位置を本位置P1に決定する。第2決定部213は、圃場33の輪郭特徴C33と圃場33の形状特徴とのマッチング度Mを計算するとき、輪郭特徴C33の一部と圃場33の形状特徴の一部とのマッチング度Mを求めるようにしてもよい。第2決定部213は、たとえば、画像50に圃場33の一部のみが写っているとき、輪郭特徴C33の一部と圃場33の形状特徴の一部とのマッチング度Mを求める。本位置P1は、初期位置P0と同じ位置であってもよい。
【0053】
第2決定部213は、画像50を変位させることにより画像領域53を変位させるようにしてもよく、圃場33の圃場位置情報を変化させることにより画像領域53を変位させるようにしてもよい。画像50の変位は、撮影位置情報の変化であってもよい。第2決定部213は、画像50を変位させるとともに、圃場33の圃場位置情報を変化させるようにしてもよい。変位距離は、たとえば、圃場33の圃場位置情報の変化に換算して、数メートル程度であることが好ましい。これにより、情報処理装置20の計算量を抑えつつ、適切な本位置P1を探索することが可能となる。
【0054】
第2決定部213は、さらに、画像領域53または画像50の大きさおよび角度の少なくとも一方を変更してもよい。即ち、第2決定部213は、画像領域53の拡大、縮小および回転を行ってもよい。第2決定部213は、大きさおよび角度の少なくとも一方を変更した後、マッチング度Mを求めてもよい。
【0055】
第2決定部213は、たとえば、画像領域53の本位置P1と同様にして、画像50に写っている圃場31および圃場32各々に対応する画像領域の本位置を決定してもよい。第2決定部213は、圃場31、圃場32および圃場33全部に対応する一つの画像領域の本位置を決定してもよい。
【0056】
第2決定部213は、画像領域53の本位置を決定できないとき、ユーザーに報知するようにしてもよい。第2決定部213は、たとえば、画像領域53の本位置を決定できない旨を操作表示部26に表示させる。
【0057】
算出部214は、取得部211により取得された画像50の画像情報に基づいて、画像50の単位領域毎に管理指標を算出する。単位領域は、たとえば、画素である。単位領域は、複数の画素を含んでいてもよい。単位領域は、ミリメートル等の長さの単位により規定されていてもよい。
【0058】
算出部214は、さらに、第2決定部213により決定された画像領域53の本位置P1に基づいて、圃場33における管理指標の代表値をさらに算出する。代表値は、たとえば、平均値、中央値、最頻値、標準偏差、またはこれらの加工値等である。算出部214は、たとえば、画像領域53の本位置P1に基づいて、圃場33におけるNDVIの平均値を算出する。算出部214は、たとえば、画素毎に算出した管理指標に応じて、画像領域53を複数の区域に区分し、この区域毎に代表値を算出してもよい。
【0059】
作成部215は、たとえば、第2決定部213により決定された画像領域53の本位置P1に基づいて、圃場33を単一または複数の区域に分割したマップを作成する。作成部215は、たとえば、算出部214により画像50の単位領域毎に算出された管理指標に応じて、圃場33を単一または複数の区域に分割して管理指標マップを作成する。管理指標マップは、たとえば、NDVIマップ、植被率マップおよび施肥マップ等である。作成部215は、単一の波長領域の画像50に基づく単バンドマップまたは、赤色波長域、緑色波長域および青色波長域の画像50に基づくRGBマップ等を作成してもよい。作成部215は、複数の圃場を含む一のマップを作成してもよい。
【0060】
図8は、圃場33のNDVIマップの一例を表している。作成部215は、たとえば、NDVIの値に応じて圃場33を5つの区域に分割し、NDVIマップを作成する。
【0061】
補正部216は、画像50内の画像領域53の初期位置P0と本位置P1との差に基づいて、撮影位置情報および圃場位置情報の少なくとも一方を補正する。補正部216が撮影位置情報を補正するとき、たとえば、撮影位置情報に基づいた圃場33の輪郭特徴C33の座標を補正する。補正部216が圃場位置情報を補正するとき、たとえば、圃場33の緯度経度情報を補正する。補正部216により補正された撮影位置情報または圃場位置情報は、たとえば、ストレージ24に記憶される。これにより、情報処理装置20は、次回以降にこの補正された撮影位置情報および圃場位置情報を用いて、より簡便に圃場33の画像領域53を決定することが可能となる。
【0062】
出力部217は、たとえば、算出部214により算出された管理指標に関する指標情報を出力する。指標情報は、たとえば、圃場33における管理指標の代表値を含んでいる。出力部217は、たとえば、この代表値を操作表示部26に表示することにより、指標情報を出力する。
【0063】
出力部217は、作成部215により作成されたマップに関するマップ情報を出力してもよい。たとえば、出力部217は、圃場33のNDVIマップを出力する。
【0064】
出力部217は、複数の年度の指標情報または複数の年度のマップ情報を出力してもよい。たとえば、出力部217は、現在の指標情報とともに、過去の指標情報を出力してもよい。これにより、ユーザーは、過去の指標情報と現在の指標情報とを比較しやすくなる。あるいは、出力部217は、現在または過去の指標情報に基づいて予測した将来の指標情報を出力してもよい。
【0065】
<情報処理装置20の処理概要>
情報処理装置20において実行される処理、即ち、情報処理装置20が実行する決定方法について、以下に詳述する。
【0066】
図9は、情報処理装置20において実行される処理の手順を示すフローチャートである。
図9のフローチャートに示される情報処理装置20の処理は、情報処理装置20のストレージ24にプログラムとして記憶されており、CPU21が各部を制御することにより実行される。
【0067】
(ステップS101)
情報処理装置20は、まず、対象の圃場33が撮影された画像50に関する画像情報および圃場33に関する圃場情報を取得する。情報処理装置20は、たとえば、撮像装置10から画像情報を取得し、ストレージ24から圃場情報を取得する。
【0068】
(ステップS102)
情報処理装置20は、ステップS101の処理において取得された圃場情報に基づいて、圃場33に対応する画像50内の画像領域53の初期位置P0を決定する。情報処理装置20は、たとえば、画像情報に含まれる撮影位置情報と、圃場情報に含まれる圃場位置情報とに基づいて、画像領域53の初期位置P0を決定する。
【0069】
(ステップS103、S104)
情報処理装置20は、ステップS102の処理において決定された初期位置P0から画像領域53を画像50内の各位置に変位させる(ステップS103)。次いで、初期位置P0から画像50内の各位置に画像領域53を変位させたときのマッチング度および変位距離に基づいて、画像領域53の本位置P1を決定する(ステップS104)。情報処理装置20は、たとえば、初期位置P0から各位置に画像領域53を変位させたときの適合指標Iを計算し、最も高い適合指標Iを有する位置を画像領域53の本位置P1に決定する。
【0070】
情報処理装置20は、たとえばユーザーから、画像領域53の本位置P1の変更の指示を受け付けてもよい。情報処理装置20は、変更の指示を受け付けたとき、画像領域53の本位置P1を他の位置に変更する。情報処理装置20は、画像領域53を他の位置に変位したときの適合指標Iを計算してもよい。
【0071】
(ステップS105)
情報処理装置20は、ステップS104の処理において決定された画像領域53の本位置P1に基づいて、圃場33における管理指標の代表値を算出する。情報処理装置20は、たとえば、圃場33におけるNDVIの平均値を算出する。
【0072】
(ステップS106)
情報処理装置20は、ステップS105の処理において算出された管理指標に関する指標情報を出力して処理を終了する。たとえば、情報処理装置20は、ステップS105の処理において算出された圃場33におけるNDVIの平均値を操作表示部26に表示することにより、指標情報を出力する。情報処理装置20は、ステップS104の処理において決定された画像領域53の本位置P1に基づいて、圃場33のマップを作成し、マップ情報を出力してもよい。
【0073】
<情報処理装置20および管理システム1の作用効果>
本実施形態の情報処理装置20および管理システム1では、管理対象の圃場33に対応する画像領域53が初期位置P0から画像50内の各位置に変位され、各位置でのマッチング度と変位距離とに基づいて、画像領域53の本位置P1が決定される。これにより、管理対象の圃場33に対応する画像領域53をより正確に決定することが可能となる。以下、この作用効果について詳細に説明する。
【0074】
圃場の管理者は、対象の圃場を撮影した画像から算出されるNDVI等の管理指標を用いて、圃場を管理することができる。圃場の管理には、たとえば、圃場毎に算出される管理指標の代表値が用いられる。
【0075】
管理指標の代表値は、対象の圃場に対応する画像領域に基づいて算出される。比較例1に係る情報処理装置は、たとえば、対象の圃場を撮影した画像に含まれる撮影位置情報と、対象の圃場の圃場位置情報とに基づいて画像領域を決定する。
【0076】
しかし、このようにして対象の圃場に対応する画像領域を決定すると、撮影位置情報の誤差および圃場位置情報の登録時の誤り等に起因して、対象の圃場からずれた領域が画像領域に決定されるおそれがある。対象の圃場からずれた領域が画像領域に決定された場合、情報処理装置は、正確な管理指標の代表値を算出することができず、圃場の適切な管理に影響を及ぼすおそれがある。
【0077】
このため、比較例2に係る情報処理装置は、さらに、画像の輪郭特徴と、圃場の形状特徴とのマッチング度を考慮して、画像領域を決定する。即ち、比較例2に係る情報処理装置は、撮影位置情報および圃場位置情報とともに、いわゆるテンプレートマッチングを用いて、画像領域を決定する。
【0078】
図10および
図11は、比較例2に係る情報処理装置が決定した圃場33に対応する画像領域530の一例を表している。
図10に示した画像領域530は、対象の圃場33の隣の圃場32の輪郭特徴C32に重なる位置に配置されている。これは、隣り合う圃場32および圃場33の平面形状が互いに類似していることに起因する。
【0079】
図11に示した画像領域530の一部は、対象の圃場33の周囲の道路の輪郭特徴C34に重なる位置に配置されている。これは、圃場33の輪郭特徴C33に比べて道路の輪郭特徴C34の方が、強く検出されていることに起因する。このように、比較例2に係る情報処理装置も、対象の圃場33に対応する画像領域530を正確に決定できないおそれがある。
【0080】
これに対し、本実施形態に係る情報処理装置20は、圃場33に対応する画像領域53の初期位置P0を決定した後、この初期位置P0から画像50内の各位置に画像領域53を変位させる。そして、情報処理装置20は、画像50内の各位置でのマッチング度に加えて、初期位置P0から各位置への変位距離に基づいて、本位置P1を決定する。したがって、画像50内の複数の位置が同程度のマッチング度を有するときには、初期位置P0からの変位距離がより小さい位置を本位置P1に決定することが可能となる。よって、本位置P1の画像領域53は、対象の圃場33の隣の圃場32、および圃場33の周囲の道路等に対応する領域を含みにくくなる。即ち、対象の圃場33に対応する画像領域53をより正確に決定することが可能となる。
【0081】
情報処理装置20および管理システム1では、このように、より正確に決定された圃場33の画像領域53を用いて、たとえば、圃場33の管理指標の代表値を算出することができる。したがって、この管理指標の代表値に応じて、圃場33へ施肥等の農作業を行い、より的確に圃場30を管理することが可能となる。たとえば、管理指標の評価が比較的低い圃場には、改善のための処置を行うことができる。また、情報処理装置20および管理システム1が、画像領域53の本位置P1に基づいたマップを作成し、このマップを出力することにより、たとえば、可変施肥等のスマート農業に好適に用いることが可能となる。
【0082】
以上のように、実施形態において本発明の決定装置、決定方法およびプログラムについて説明した。しかしながら、本発明は、その技術思想の範囲内において当業者が適宜に追加、変形、および省略することができることはいうまでもない。
【0083】
たとえば、上記実施形態で説明した植物Pは、稲、大豆、小豆または麦等であってもよい。
【0084】
また、上記の実施形態等におけるフローチャートの処理単位は、各処理の理解を容易にするために、主な処理内容に応じて分割したものである。処理ステップの分類の仕方によって、本願発明が制限されることはない。各処理は、さらに多くの処理ステップに分割することもできる。また、1つの処理ステップが、さらに多くの処理を実行してもよい。
【0085】
上述した実施形態等に係るシステムにおける各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、たとえば、フレキシブルディスクおよびCD-ROM等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、システムの一機能としてその装置のソフトウエアに組み込まれてもよい。上記プログラムは、クラウドサービスとして提供されてもよい。
【符号の説明】
【0086】
1 管理システム、
10 撮像装置、
10A 可視光測定部、
10B 赤外光測定部、
20 情報処理装置、
21 CPU、
211 取得部、
212 第1決定部、
213 第2決定部、
214 算出部、
215 作成部、
216 補正部、
217 出力部、
22 ROM、
23 RAM、
24 ストレージ、
25 通信インターフェース、
26 操作表示部。