特許 7370087 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-19

(45)【発行日】2023-10-27

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06Q 50/02 20120101AFI20231020BHJP

   G06T 7/00 20170101ALI20231020BHJP

   A01G 7/00 20060101ALI20231020BHJP

【ＦＩ】

G06Q50/02

G06T7/00 640

A01G7/00 603

【請求項の数】 10

(21)【出願番号】P 2022004505

(22)【出願日】2022-01-14

(65)【公開番号】P2022181163

(43)【公開日】2022-12-07

【審査請求日】2023-06-26

(31)【優先権主張番号】P 2021087367

(32)【優先日】2021-05-25

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】501203344

【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(72)【発明者】

【氏名】官 森林

(72)【発明者】

【氏名】高橋 仁康

【審査官】松田 岳士

(56)【参考文献】

【文献】国際公開第２０１８／１６８５６５（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０４００６３（ＷＯ，Ａ１）

【文献】特開２０２１－０７３９０２（ＪＰ，Ａ）

【文献】中国特許出願公開第１１２４１８０７５（ＣＮ，Ａ）

【文献】飯塚 新司，高解像度マルチスペクトル画像による水稲の育成状況の分析，電子情報通信学会２０１７年通信ソサイエティ大会講演論文集２，一般社団法人 電子情報通信学会，2017年08月29日，第SS-93～SS-94ページ

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｔ ７／００

Ａ０１Ｇ ７／００

(57)【特許請求の範囲】

【請求項1】

無人航空機に搭載されたカメラによって、圃場の作物を前記圃場の上空の異なる位置から撮像した複数の空撮画像を取得する画像取得部と、
前記複数の空撮画像の各々を、前記作物の倒伏度合いに応じて分割することによって一以上の分割画像を生成する分割画像生成部と、
前記一以上の分割画像のうち、前記倒伏度合いが同一である分割画像を、前記複数の空撮画像について結合することによってオルソ画像を生成するオルソ画像生成部と、
前記生成されたオルソ画像に基づいて、前記オルソ画像に対応する前記圃場の領域に対する害虫の存在及び被害を推定する被害推定部と、を備える、
情報処理装置。

【請求項2】

前記画像取得部は、前記無人航空機が前記圃場に近接し、ダウンウォッシュを発生させることによって前記作物を倒伏させた状態で撮像された前記空撮画像を取得する、
請求項１に記載の情報処理装置。

【請求項3】

前記分割画像生成部は、前記空撮画像における画像内の位置に基づいて推定される前記作物の倒伏度合いに応じて、前記複数の空撮画像の各々を分割する、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記被害推定部は、前記画像内の中心部に存在し、前記倒伏度合いが最も高いと推定される領域に対応する分割画像を、前記複数の空撮画像について結合することによって生成されたオルソ画像に基づいて、前記存在及び被害を推定する、
請求項３に記載の情報処理装置。

【請求項5】

前記被害推定部は、前記画像内の中心部から一定の画素離れたエリアに存在し、茎葉の中位又は葉先に対応する分割画像を、前記複数の空撮画像について結合することによって生成されたオルソ画像に基づいて、前記存在及び被害を推定する、
請求項３に記載の情報処理装置。

【請求項6】

前記カメラはＲＧＢカメラであり、
前記害虫はスクミリンゴガイであり、
前記被害推定部は、前記オルソ画像に映されたスクミリンゴガイの形状および色に基づいて前記スクミリンゴガイの個数をカウントすることによって前記存在及び被害を推定する、
請求項１から５のいずれか１項に記載の情報処理装置。

【請求項7】

前記カメラはマルチスペクトルカメラであり、
前記害虫はウンカであり、
前記被害推定部は、前記オルソ画像に映された作物の色に基づいて前記存在及び被害を推定する、
請求項１から４のいずれか１項に記載の情報処理装置。

【請求項8】

前記オルソ画像生成部は、前記圃場の同一領域を所定の時間間隔で空撮することによって得られた時系列の複数の空撮画像に基づいて、時系列の複数のオルソ画像を生成し、
前記被害推定部は、生成された前記時系列の複数のオルソ画像に基づいて、前記圃場の同一領域に対する害虫の存在及び被害を時系列データとして推定する、
請求項１から７のいずれか１項に記載の情報処理装置。

【請求項9】

コンピュータが、
無人航空機に搭載されたカメラによって、圃場の作物を前記圃場の上空の異なる位置から撮像した複数の空撮画像を取得し、
前記複数の空撮画像の各々を、前記作物の倒伏度合いに応じて分割することによって一以上の分割画像を生成し、
前記一以上の分割画像のうち、前記倒伏度合いが同一である分割画像を、前記複数の空撮画像について結合することによってオルソ画像を生成し、
前記生成されたオルソ画像に基づいて、前記オルソ画像に対応する前記圃場の領域に対する害虫の存在及び被害を推定する、
情報処理方法。

【請求項10】

コンピュータに、
無人航空機に搭載されたカメラによって、圃場の作物を前記圃場の上空の異なる位置から撮像した複数の空撮画像を取得させ、
前記複数の空撮画像の各々を、前記作物の倒伏度合いに応じて分割することによって一以上の分割画像を生成させ、
前記一以上の分割画像のうち、前記倒伏度合いが同一である分割画像を、前記複数の空撮画像について結合することによってオルソ画像を生成させ、
前記生成されたオルソ画像に基づいて、前記オルソ画像に対応する前記圃場の領域に対する害虫の存在及び被害を推定させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

無人航空機による圃場の空撮によって、当該圃場の作物の生育状況を調査する技術が知られている。例えば、特許文献１には、無人飛行体の回転翼が発生する気流により露出した作物の株元や葉の側面をカメラで撮像し、撮像した画像をニューラル・ネットワークの入力として、当該作物の生育状況、害虫の状況、または、雑草の状況を調査する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】再公表ＷＯ２０１８／１６８５６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術は、無人飛行体の回転翼が発生する気流によって圃場の作物をなぎ倒し、当該作物の株元や葉の側面を撮像するものである。しかしながら、特許文献１に記載の技術は、無人航空機のカメラによって撮像された複数の画像をどのように活用して作物の生育状況を調査するかについてエッジ検出等の手法は記述され、撮像された複数の画像を機械学習やニューラル・ネットワークへ入力するなどの記述のみがあった。

【0005】

本発明は、このような事情を考慮してなされたものであり、無人航空機に搭載されたカメラによって撮像された複数の画像を活用して、圃場の作物表面下の画像を例えば１枚に合成でき、より早く正確に作物の生育状況を把握することができる、情報処理装置、情報処理方法、およびプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

本発明の一態様である情報処理装置は、無人航空機に搭載されたカメラによって、圃場の作物を前記圃場の上空の異なる位置から撮像した複数の空撮画像を取得する画像取得部と、前記複数の空撮画像の各々を、前記作物の倒伏度合いに応じて分割することによって一以上の分割画像を生成する分割画像生成部と、前記一以上の分割画像のうち、前記倒伏度合いが同一である分割画像を、前記複数の空撮画像について結合することによってオルソ画像を生成するオルソ画像生成部と、前記生成されたオルソ画像に基づいて、前記オルソ画像に対応する前記圃場の領域に対する害虫の存在及び被害を推定する被害推定部と、を備えるものである。

【0007】

前記画像取得部は、前記無人航空機が前記圃場に近接し、ダウンウォッシュを発生させることによって前記作物を倒伏させた状態で撮像された前記空撮画像を取得してもよい。

【0008】

前記分割画像生成部は、前記空撮画像における画像内の位置に基づいて推定される前記作物の倒伏度合いに応じて、前記複数の空撮画像の各々を分割してもよい。

【0009】

前記被害推定部は、前記画像内の中心部に存在し、前記倒伏度合いが最も高いと推定される領域に対応する分割画像を、前記複数の空撮画像について結合することによって生成されたオルソ画像に基づいて、前記存在及び被害を推定してもよい。

【0010】

前記被害推定部は、前記画像内の中心部から一定の画素離れたエリアに存在し、茎葉の中位又は葉先に対応する分割画像を、前記複数の空撮画像について結合することによって生成されたオルソ画像に基づいて、前記存在及び被害を推定してもよい。

【0011】

前記カメラはＲＧＢカメラであり、前記害虫はスクミリンゴガイであり、前記被害推定部は、前記オルソ画像に映されたスクミリンゴガイの形状および色に基づいて前記スクミリンゴガイの個数をカウントすることによって前記存在及び被害を推定してもよい。

【0012】

前記カメラはマルチスペクトルカメラであり、前記害虫はウンカであり、前記被害推定部は、前記オルソ画像に映された作物の色に基づいて前記存在及び被害を推定してもよい。

【0013】

前記オルソ画像生成部は、前記圃場の同一領域を所定の時間間隔で空撮することによって得られた時系列の複数の空撮画像に基づいて、時系列の複数のオルソ画像を生成し、前記被害推定部は、生成された前記時系列の複数のオルソ画像に基づいて、前記圃場の同一領域に対する害虫の存在及び被害を時系列データとして推定してもよい。

【発明の効果】

【0014】

本発明によれば、無人航空機に搭載されたカメラによって撮像された複数の画像を活用して、より早く正確に作物の生育状況を把握することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態に係る情報処理装置１００の使用環境および構成の一例を示す図である。

【図2】飛行体１０が圃場Ｆの上空を飛行する方法の一例を説明するための図である。

【図3】分割画像生成部１２０が空撮画像を分割する方法の一例を示す図である。

【図4】空撮画像ＰＩ内の位置に基づいて推定される稲の倒伏度合いに応じて空撮画像ＰＩを分割する方法の一例を示す図である。

【図5】分割画像生成部１２０によって生成された分割画像ＤＩ＿Ｃの一例を示す図である。

【図6】オルソ画像生成部１３０によって生成されるオルソ画像の一例を示す図である。

【図7】情報提供部１５０が端末装置３０に送信する推定結果の一例を示す図である。

【図8】情報処理装置１００が実行する処理の流れの一例を示すフローチャートである。

【図9】本発明の変形例に係る情報提供部１５０が端末装置３０に送信する推定結果の一例を示す図である。

【発明を実施するための形態】

【0016】

[概要]
以下、図面を参照し、本発明の実施形態に係る情報処理装置１００について説明する。図１は、情報処理装置１００の使用環境および構成の一例を示す図である。情報処理装置１００は、例えば、飛行体１０と、中継装置２０と、端末装置３０と協働して動作する。

【0017】

飛行体１０は、撮像装置として、例えば、カメラ１２が取り付けられたドローン（無人航空機）である。本実施形態において、カメラ１２はＲＧＢカメラであるものとする。また、後述するように、飛行体１０は、ダウンウォッシュを発生させるために、例えば、５［ｋｇ］以上の重量を有するドローンであることが望ましい。飛行体１０は、稲が生育する圃場Ｆの上空を飛行し、カメラ１２によって上空の異なる位置から圃場Ｆを撮像する。飛行体１０は、カメラ１２によって撮像された複数の空撮画像を、当該空撮画像のカメラパラメータおよびＧＰＳなどの位置情報と合わせて、飛行体１０に搭載されるメモリカードに保存するかまたは中継装置２０に送信する。飛行体１０は「無人航空機」の一例であり、稲は「作物」の一例である。

【0018】

中継装置２０は、飛行体１０を操作するとともに、飛行体１０から送信された空撮画像を受信および表示するためのアプリケーションを搭載したタブレット端末などの端末装置である。中継装置２０は、空撮画像をＲＧＢ画像として表示したり、受信した空撮画像を、ネットワークＮＷを介して情報処理装置１００に送信したりする。ネットワークＮＷは、例えば、ＬＡＮ、ＷＡＮ、インターネット回線などの任意のネットワークであり、有線でも無線でもよい。

【0019】

端末装置３０は、例えば、パーソナルコンピュータやスマートフォン、タブレット端末などのコンピュータ装置である。端末装置３０は、情報処理装置１００とネットワークＮＷを介して通信し、後述する情報処理装置１００の情報提供部１５０から受信した情報を表示する。

【0020】

情報処理装置１００は、ウェブサーバなどのサーバ装置である。情報処理装置１００は、中継装置２０から複数の空撮画像を受信し、後述する方法を用いて、受信した複数の空撮画像の各々を分割することによって一以上の分割画像を生成し、生成した分割画像を結合することによってオルソ画像を生成する。次に、情報処理装置１００は、生成したオルソ画像に対応する圃場Ｆの領域に対する害虫の存在及び被害を推定する。害虫は、例えば、スクミリンゴガイである。情報処理装置１００は、推定した被害の結果を端末装置３０に送信し、表示させる。

【0021】

図２は、飛行体１０が圃場Ｆの上空を飛行する方法の一例を説明するための図である。図２において、ＡＳはスクミリンゴガイを示し、ＡＳＥは、スクミリンゴガイの卵を示す。図２に示す通り、一般的に、スクミリンゴガイＡＳは水中に存在し、また、スクミリンゴガイの卵ＡＳＥは稲の茎に付着するものである。そのため、飛行体１０が圃場Ｆから離れた上空の位置から圃場Ｆを撮像した場合、稲の表層のみを映した画像が取得され、スクミリンゴガイＡＳやスクミリンゴガイの卵ＡＳＥに関する情報を取得することができない。

【0022】

上記の事情を考慮して、飛行体１０は、例えば、圃場Ｆの表層から高度１～３メートル程度の位置を飛行し、飛行体１０が発生するダウンウォッシュによって稲を倒伏させた状態で、圃場Ｆを撮像する。稲が倒伏することにより、水中に存在するスクミリンゴガイＡＳやスクミリンゴガイの卵ＡＳＥが飛行体１０のカメラ１２に露出され、飛行体１０は、スクミリンゴガイＡＳやスクミリンゴガイの卵ＡＳＥを撮像することができる。

【0023】

[機能構成]
情報処理装置１００は、例えば、画像取得部１１０と、分割画像生成部１２０と、オルソ画像生成部１３０と、被害推定部１４０と、情報提供部１５０とを備える。画像取得部１１０、分割画像生成部１２０、オルソ画像生成部１３０、被害推定部１４０、および情報提供部１５０のそれぞれは、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

【0024】

画像取得部１１０は、飛行体１０本体に搭載されるメモリカードから空撮画像を読み取るか、又は、中継装置２０から、飛行体１０のカメラ１２によって圃場Ｆの上空の異なる位置から圃場Ｆを撮像した複数の空撮画像を受信する。空撮画像は、画像データに加えて、当該空撮画像のカメラパラメータやＧＰＳなどの位置情報を含むものである。画像取得部１１０は、複数の空撮画像を取得すると、当該空撮画像を分割画像生成部１２０に受け渡す。

【0025】

分割画像生成部１２０は、画像取得部１１０によって取得された複数の空撮画像の各々を、稲の倒伏度合いに応じて分割することによって一以上の分割画像を生成する。図３は、分割画像生成部１２０が空撮画像を分割する方法の一例を示す図である。図３において、ＰＩは、圃場Ｆを撮像することによって得られた一枚の空撮画像を示し、ＣＰは、当該空撮画像を撮像した際における飛行体１０の撮像地点を示し、ＣＡは、飛行体１０が圃場Ｆに近接して飛行したことによって形成された稲の倒伏領域を示す。一般的に、倒伏領域ＣＡにおける稲の倒伏は、撮像地点ＣＰ（空撮画像ＰＩの中心部）に近ければ近いほど度合いが高くなる、すなわち、稲が大きく倒れることによって、稲の表層下に存在する害虫を観察しやすくなる。一方、倒伏領域ＣＡにおける稲の倒伏は、撮像地点ＣＰから遠ければ遠いほど度合いが低くなる、すなわち、稲が小さく倒れることによって、稲の表層下に存在する害虫を観察しにくくなる。

【0026】

そのため、分割画像生成部１２０は、空撮画像ＰＩにおける画像内の位置に基づいて推定される稲の倒伏度合いに応じて、空撮画像ＰＩを分割する。図４は、空撮画像ＰＩ内の位置に基づいて推定される稲の倒伏度合いに応じて空撮画像ＰＩを分割する方法の一例を示す図である。図４に示す通り、分割画像生成部１２０は、空撮画像ＰＩ内において、中心ＣＰからの距離が飛行体１０の進行方向の前・後方に関して１ｍ以内の範囲の領域において、稲が前・後方に６０°～９０°倒伏していると想定して、当該領域に対応する分割画像ＤＩ＿Ｃを生成する。分割画像生成部１２０は、さらに、空撮画像ＰＩ内において、中心ＣＰからの距離が飛行体１０の進行方向の前方に関して１ｍ以上１．５ｍ未満の範囲の領域において、稲が前方に３０°～６０°倒伏していると想定して、当該領域に対応する分割画像ＤＩ＿Ｆ１を生成する。分割画像生成部１２０は、さらに、空撮画像ＰＩ内において、中心ＣＰからの距離が飛行体１０の進行方向の前方に関して１．５ｍ以上２ｍ未満の範囲の領域において、稲が前・後方に０°～３０°倒伏していると想定して、当該領域に対応する分割画像ＤＩ＿Ｆ２を生成する。分割画像生成部１２０は、さらに、空撮画像ＰＩ内において、中心ＣＰからの距離が飛行体１０の進行方向の後方に関して１ｍ以上１．５ｍ未満の範囲の領域において、稲が後方に３０°～６０°倒伏していると想定して、当該領域に対応する分割画像ＤＩ＿Ｂ１を生成する。分割画像生成部１２０は、さらに、空撮画像ＰＩ内において、中心ＣＰからの距離が飛行体１０の進行方向の後方に関して１．５ｍ以上２ｍ未満の範囲の領域において、稲が後方に０°～３０°倒伏していると想定して、当該領域に対応する分割画像ＤＩ＿Ｂ２を生成する。分割画像生成部１２０は、さらに、生成した分割画像の各々に対して、元の空撮画像ＰＩに付随するカメラパラメータおよび位置情報を付加する。

【0027】

なお、図４において、分割画像生成部１２０は、分割画像の生成に当たって、空撮画像ＰＩの中心からの距離の閾値として１ｍ、１．５ｍ、２ｍを用いているが、これらの値は一例に過ぎない。実際には、例えば、飛行体１０や情報処理装置１００の管理者が、事前に飛行体１０を圃場Ｆの上空に飛行させ、実際の距離と倒伏度合いとの関係を計測し、これらの閾値を設定することができる。また、図４において、分割画像生成部１２０は、５枚の分割画像を生成しているが、本発明はこの構成に限定されず、空撮画像ＰＩの中心からの距離の閾値と倒伏度合いとの間の関係に応じて、異なる枚数の分割画像を生成してもよい。

【0028】

図５は、分割画像生成部１２０によって生成された分割画像ＤＩ＿Ｃの一例を示す図である。上述の通り、分割画像生成部１２０は、分割画像ＤＩ＿Ｃ、ＤＩ＿Ｆ１、ＤＩ＿Ｆ２、ＤＩ＿Ｂ１、ＤＩ＿Ｂ２を生成するが、このうち、分割画像ＤＩ＿Ｃは、中心ＣＰからの距離が最も近く、ダウンウォッシュによって稲が最も大きく倒伏している画像であることが想定される。図５の分割画像ＤＩ＿Ｃにおいて、稲が倒伏したことにより、水中に存在するスクミリンゴガイＡＳや、稲の茎に付着するスクミリンゴガイの卵ＡＳＥを検出することができる。加えて、稲の株数、根元の色、茎色などの形質情報も取得することができる。

【0029】

オルソ画像生成部１３０は、分割画像生成部１２０によって生成された分割画像のうち、倒伏度合いが同一である分割画像を、複数の空撮画像について結合することによってオルソ画像を生成する。図６は、オルソ画像生成部１３０によって生成されるオルソ画像の一例を示す図である。図６において、ＤＩ＿Ｃ１からＤＩ＿Ｃ１０は、飛行体１０のカメラ１２が、時点ｔ１～ｔ１０において異なる地点から圃場Ｆを撮像することによって得られた撮像画像ＰＩに対応する分割画像ＤＩ＿Ｃをそれぞれ示す。すなわち、オルソ画像生成部１３０は、倒伏度合いが最も高いと推定される領域に対応する分割画像ＤＩ＿Ｃを、空撮画像を取得した複数の地点について結合することによって、オルソ画像ＯＩを生成する。

【0030】

なお、本実施形態において、オルソ画像生成部１３０は、複数の地点に対応する分割画像ＤＩ＿Ｃを結合することによって、オルソ画像ＯＩを生成している。これに加えて、オルソ画像生成部１３０は、複数の地点に対応する分割画像ＤＩ＿Ｆ１（分割画像ＤＩ＿Ｆ２、分割画像ＤＩ＿Ｂ１、又は分割画像ＤＩ＿Ｂ２）を結合することによって、オルソ画像ＯＩを生成してもよい。これにより、倒伏度合いが６０°～９０°であるオルソ画像ＯＩのみならず、他の倒伏度合いに関するオルソ画像ＯＩも取得することができる。特に、分割画像ＤＩ＿Ｃの結合とは異なり、分割画像ＤＩ＿Ｆ１（分割画像ＤＩ＿Ｆ２、分割画像ＤＩ＿Ｂ１、又は分割画像ＤＩ＿Ｂ２）を結合することによって、画像内の中心部から一定の画素離れたエリアに存在する茎葉の中位又は葉先の観察を可能にするオルソ画像を取得することができる。

【0031】

被害推定部１４０は、オルソ画像生成部１３０によって生成されたオルソ画像に基づいて、当該オルソ画像に対応する圃場Ｆの領域に対するスクミリンゴガイの存在及び被害を推定する。具体的には、図５に示した通り、被害推定部１４０は、オルソ画像ＯＩを構成する各分割画像ＤＩ＿Ｃについて、スクミリンゴガイＡＳやスクミリンゴガイの卵ＡＳＥの個数をカウントし、カウントした個数に基づいて、オルソ画像ＯＩ全体に関するスクミリンゴガイの分布図を出力する。被害推定部１４０は、事前に記憶されたスクミリンゴガイの形状および色（スクミリンゴガイＡＳの本体は褐色であり、スクミリンゴガイの卵ＡＳＥはピンク色である）のテンプレートとのパターンマッチングなどの手法を用いることにより、スクミリンゴガイＡＳやスクミリンゴガイの卵ＡＳＥの個数をカウントすることができる。これにより、稲の表層画像からでは推定できないスクミリンゴガイの分布を推定することができる。

【0032】

なお、本実施形態において、被害推定部１４０は、倒伏度合いが最も高いと推定される領域に対応する分割画像ＤＩ＿Ｃに基づいて生成されたオルソ画像ＯＩを用いて圃場Ｆの存在及び被害を推定している。代替的に、被害推定部１４０は、倒伏度合いがより低いと推定される領域に対応する分割画像（例えば、分割画像ＤＩ＿Ｆ１）に基づいて生成されたオルソ画像ＯＩを用いて圃場Ｆの存在及び被害を推定してもよい。その場合、被害推定部１４０は、分割画像ＤＩ＿Ｃに基づいて生成されたオルソ画像ＯＩを用いる場合に比べて推定の精度が減少することを考慮して、推定結果に所定の係数を乗算し、補正を行ってもよい。

【0033】

情報提供部１５０は、被害推定部１４０によって推定された結果を、ネットワークＮＷを介して端末装置３０に送信し、表示させる。図７は、情報提供部１５０が端末装置３０に送信する推定結果の一例を示す図である。図７のオルソ画像ＯＩは、図６のオルソ画像ＯＩに対応しており、情報提供部１５０は、各分割画像ＤＩ＿Ｃについて、被害推定部１４０によってカウントされたスクミリンゴガイＡＳ及びスクミリンゴガイの卵ＡＳＥの個数が多いほど、高さが大きくなる棒グラフを、スクミリンゴガイの分布図として提供している。なお、図７は、スクミリンゴガイＡＳと、スクミリンゴガイの卵ＡＳＥとの合計数が多いほど高さが大きくなる棒グラフを一例をとして示しているが、本発明は、このような構成に限定されず、スクミリンゴガイＡＳの個数と、スクミリンゴガイの卵ＡＳＥの個数を別々にカウントして、二種類の分布図を出力してもよい。これにより、端末装置３０のユーザ（例えば、圃場Ｆの管理者）は、圃場Ｆの被害を視覚的に把握することができる。

【0034】

次に、図８を参照して、本実施形態の情報処理装置１００が実行する処理の流れについて説明する。図８は、情報処理装置１００が実行する処理の流れの一例を示すフローチャートである。

【0035】

まず、画像取得部１１０は、飛行体１０のカメラ１２によって、圃場Ｆの作物を圃場Ｆの上空の異なる位置から撮像した複数の空撮画像を取得する（ステップＳ１００）。具体的には、飛行体１０は、圃場Ｆの上空を圃場Ｆに近接した状態で飛行し、ダウンウォッシュを発生させることによって作物を倒伏させた状態で当該圃場Ｆを異なる地点で撮像し、画像取得部１１０は、異なる地点で撮像された複数の空撮画像を取得する。次に、分割画像生成部１２０は、取得された複数の空撮画像の各々を、作物の倒伏度合いに応じて分割することによって一以上の分割画像を生成する（ステップＳ１０１）。具体的には、分割画像生成部１２０は、各空撮画像における画像内の位置に基づいて推定される作物の倒伏度合いに応じて、複数の空撮画像の各々を分割する。次に、オルソ画像生成部１３０は、倒伏度合いが同一である分割画像を、複数の空撮画像について結合することによってオルソ画像を生成する（ステップＳ１０２）。具体的には、オルソ画像生成部１３０は、倒伏度合いが最も高いと推定される領域に対応する分割画像を、複数の空撮画像について結合することによってオルソ画像を生成する。次に、被害推定部１４０は、生成されたオルソ画像に基づいて、オルソ画像に対応する圃場Ｆの領域に対する害虫の存在及び被害を推定する（ステップＳ１０３）。具体的には、被害推定部１４０は、オルソ画像を構成する各分割画像について害虫の個数をカウントし、カウントした個数に基づいて、オルソ画像全体に関する害虫の分布図を出力する。これにより、本フローチャートの処理が終了する。

【0036】

なお、上記の実施形態において、カメラ１２はＲＧＢカメラであり、害虫はスクミリンゴガイであり、被害推定部１４０は、オルソ画像に映されたスクミリンゴガイの形状および色に基づいてスクミリンゴガイおよびスクミリンゴガイの卵の個数をカウントすることによって、スクミリンゴガイの存在及び被害を推定している。しかし、本発明は、このような構成に限定されず、例えば、カメラ１２としてマルチスペクトルカメラを採用し、被害推定部１４０は、害虫として、圃場Ｆに対するウンカの存在及び被害を推定してもよい。より具体的には、被害推定部１４０は、マルチスペクトルカメラによって撮像された空撮画像からＮＤＶＩ（Normalized Difference Vegetation Index： 正規化差植生指数）マップを生成し、ＮＤＶＩが所定値（例えば、０．５）未満の領域、すなわち、稲がウンカによって変色した領域を被害領域として抽出し、情報提供部１５０は、端末装置３０に抽出した被害領域に関する情報を分布図として端末装置３０に提供してもよい。一般的に、ウンカの被害は稲の茎下部から始まり、被害が表層に拡大した時点では防除が手遅れであることがある。そのため、飛行体１０のダウンウォッシュによって稲の茎下部を露出させ、カメラ１２で撮影し、撮影した空撮画像に基づいてウンカの存在及び被害を予測することにより、圃場Ｆの管理者は迅速に防除を実行することができる。

【0037】

さらに、上記の実施形態において、飛行体１０のカメラ１２は、圃場Ｆの上空の異なる地点で複数の空撮画像を撮像している。しかし、本発明は、このような構成に限定されず、例えば、飛行体１０のカメラ１２は、圃場Ｆの空撮動画を撮影し、撮影した動画ファイルを所定の時間間隔で複数の静止画像に分割してもよい。この場合の時間間隔は、例えば、分割画像ＤＩ＿Ｃに対応する領域の幅に相当する飛行時間であってよい。このようにしても、オルソ画像生成部１３０は、複数の分割画像ＤＩ＿Ｃからオルソ画像を生成し、被害推定部１４０は、生成したオルソ画像に基づいて、圃場Ｆの作物への被害を推定することができる。

【0038】

さらに、上記の実施形態において、被害推定部１４０は、圃場Ｆに対する害虫の存在及び被害を推定している。しかし、本発明は、このような構成に限定されず、例えば、情報処理装置１００は、被害の推定のみならず、作物の株数のカウントや、水面雑草の度合いとその分布の推定、水面雑物とその分布の推定、茎葉や根元部の生育診断など、作物の下層部が露出した空撮画像を活用して、より一般的な作物の生育状況を調査することもできる。

【0039】

さらに、上記の実施形態において、分割画像生成部１２０は、各空撮画像における作物の倒伏度合いに応じて、分割画像を生成している。しかし、本発明は、このような構成に限定されない。例えば、分割画像生成部１２０は、各空撮画像の色情報（例えば、茶色）に基づいて、飛行体１０のダウンウォッシュによって露出された作物間の土壌面を特定し、特定した作物間の土壌面のみを写す分割画像を生成してもよい。この場合、オルソ画像生成部１３０は、作物間の土壌面のみを写す分割画像を結合することによってオルソ画像を生成する。このようなオルソ画像を生成することにより、作物の根本から葉先だけでなく、作物間の土壌や作物間に存在するスクミリンゴガイ等の害虫の存在及び被害を推定することができる。この手法は、特に、作物間の長さが３０ｃｍ程度である水稲よりも、作物間の長さが７５ｃｍ程度である大豆やトウモロコシに対する害虫の存在及び被害を推定する上で有利である。

【0040】

以上の通り説明した本実施形態によれば、飛行体１０が圃場Ｆに近接し、ダウンウォッシュを発生させることによって作物を倒伏させた状態で圃場Ｆを上空の異なる地点から撮像し、得られた複数の空撮画像の各々を、作物の倒伏度合いに応じて分割し、分割した分割画像からオルソ画像を生成し、生成したオルソ画像に基づいて、作物の被害を推定する。これにより、無人航空機に搭載されたカメラによって撮像された複数の画像を活用して、より早く正確に作物の生育状況を把握することができる。

【0041】

[変形例]
上記の実施形態は、同一の日付（又は時刻）において、圃場Ｆを上空の異なる地点から撮像し、得られた複数の空撮画像に基づいて一枚のオルソ画像を生成し、生成された一枚のオルソ画像に基づいて、作物の被害を推定するものである。すなわち、上記の実施形態は、単一の時点における作物の被害を推定するものである。それに対して、本変形例は、圃場Ｆの同一領域を所定の時間間隔で撮像することによって得られた時間間隔ごとの複数の空撮画像を用いて、害虫の存在及び被害を時系列に推定するものである。なお、本変形例に係る情報処理装置１００の構成は、実施形態に係る情報処理装置１００の構成と同一であるため、説明を省略する。

【0042】

より具体的には、飛行体１０は、事前に設定された所定の時間間隔（例えば、日ごと又は時間ごと）で圃場Ｆの上空を飛行し、カメラ１２によって圃場Ｆの同一領域を撮像する。この場合の「同一領域」とは、圃場Ｆの全体領域であってもよいし、調査対象となる部分領域であってもよい。画像取得部１１０は、飛行体１０から、所定の時間間隔ごとに撮像された複数の空撮画像を取得し、情報処理装置１００の記憶部に時系列データとして記憶する。

【0043】

分割画像生成部１２０は、記憶された複数の空撮画像の各々を、作物の倒伏度合いに応じて分割することによって一以上の分割画像を生成する。オルソ画像生成部１３０は、分割画像のうち、倒伏度合いが同一である分割画像を、複数の空撮画像について結合することによってオルソ画像を生成する。このような分割画像生成部１２０とオルソ画像生成部１３０の処理を、所定の時間間隔ごとに実行することによって、同一領域に対する複数のオルソ画像が時系列データとして生成される。

【0044】

被害推定部１４０は、生成された時系列の複数のオルソ画像の各々について、上述した実施形態と同様に、スクミリンゴガイおよびスクミリンゴガイの卵の個数をカウントし、スクミリンゴガイの存在及び被害を推定する。情報提供部１５０は、被害推定部１４０によって推定された被害を、時系列データとして、端末装置３０に送信する。

【0045】

図９は、本発明の変形例に係る情報提供部１５０が端末装置３０に送信する推定結果の一例を示す図である。図９は、一例として、圃場Ｆの同一領域を１週間ごとに撮像した場合を表している。図９において、領域Ａ１は、時系列に生成されたオルソ画像（図中ＯＩ＿１及びＯＩ＿２）およびスクミリンゴガイの推定分布を表し、領域Ａ２は、推定結果を閲覧する設定期間を表し、領域Ａ３は、推定結果を時系列に表示するグラフを表す。このように、スクミリンゴガイの推定分布を時系列データとして提供することにより、端末装置３０のユーザは、スクミリンゴガイによる作物への被害を時系列に把握することができる。

【0046】

なお、図９では、一例として、領域Ａ３に示される通り、スクミリンゴガイの推定個数が、単一の分割領域ＤＩ＿Ｃ３についてグラフ表示されている。しかし、本発明はそのような構成に限定されず、例えば、オルソ画像全体におけるスクミリンゴガイの推定個数を表示してもよいし、複数の領域におけるスクミリンゴガイの推定個数を同時に表示することによって、端末装置３０のユーザによる比較を可能にさせてもよい。

【0047】

以上の通り説明した本変形例によれば、圃場Ｆの同一領域に対する複数のオルソ画像を時系列に生成し、時系列に生成された複数のオルソ画像の各々についてスクミリンゴガイの存在及び被害を推定し、推定結果を端末装置３０に提供する。これにより、作物の生育状況をより正確に把握することができる。

【0048】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0049】

１０ 飛行体
１２ カメラ
２０ 中継装置
３０ 端末装置
１００ 情報処理装置
１１０ 画像取得部
１２０ 分割画像生成部
１３０ オルソ画像生成部
１４０ 被害推定部
１５０ 情報提供部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】