(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-02
(45)【発行日】2023-10-11
(54)【発明の名称】農作物育成システム
(51)【国際特許分類】
A01G 7/00 20060101AFI20231003BHJP
【FI】
A01G7/00 603
(21)【出願番号】P 2021574384
(86)(22)【出願日】2020-01-30
(86)【国際出願番号】 JP2020003546
(87)【国際公開番号】W WO2021152797
(87)【国際公開日】2021-08-05
【審査請求日】2022-07-25
(73)【特許権者】
【識別番号】515019537
【氏名又は名称】株式会社ナイルワークス
(74)【代理人】
【識別番号】100103872
【氏名又は名称】粕川 敏夫
(74)【代理人】
【識別番号】100139778
【氏名又は名称】栗原 潔
(74)【代理人】
【識別番号】100149456
【氏名又は名称】清水 喜幹
(74)【代理人】
【識別番号】100194238
【氏名又は名称】狩生 咲
(72)【発明者】
【氏名】黒川 圭一
(72)【発明者】
【氏名】和氣 千大
(72)【発明者】
【氏名】鈴木 大介
(72)【発明者】
【氏名】加藤 宏記
【審査官】竹中 靖典
(56)【参考文献】
【文献】特開2017-90130(JP,A)
【文献】特開2019-46149(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A01G 7/00
(57)【特許請求の範囲】
【請求項1】
1以上の無人航空機を含む1以上の無人移動体であって、各々が農作物の画像を撮影する1以上の撮影手段を搭載している無人移動体に、移動の経路を指示する指示手段と、
前記指示手段の指示に従い農地の上空を飛行した前記1以上の無人航空機のうちの少なくとも1つに搭載されている撮影手段により生成される撮影データに基づき、前記農地に作付けされている農作物が病気に罹患しているか否かを診断する診断手段と
前記診断手段が病気に罹患していると診断した農作物に関する撮影データであって、前記指示手段の指示に従い移動した前記1以上の無人移動体のうちの少なくとも1つに搭載されている撮影手段により生成される撮影データを付加データとして、当該農作物を識別する農作物識別データと対応付けて記録する記録手段と
を備え、
前記指示手段は、前記1以上の無人移動体のうちの少なくとも1つに対し、前記診断手段が病気に罹患していると診断した農作物の画像を撮影するための移動の経路を指示し、
前記指示手段は、前記付加データを生成するために飛行する無人航空機に対し、前記診断手段が病気に罹患していると診断した農作物に当該無人航空機の回転翼が生じる吹き下ろしの気流が当たる飛行経路を飛行するように指示し、
前記撮影手段は、前記吹き下ろしの気流により露出した前記農作物の株元の画像を撮影する、
農作物育成システム。
【請求項2】
前記指示手段は、前記付加データを生成するために飛行する無人航空機に対し、前記診断手段が病気に罹患していると診断した農作物に当該無人航空機の回転翼が生じる吹き下ろしの気流が当たるように、当該農作物の上空でホバリングするように指示する
請求項1に記載の農作物育成システム。
【請求項3】
前記付加データを生成するために飛行する無人航空機であって、前記付加データを生成するための飛行の全航程において薬剤の散布は行わないが、自装置の重量を増加するために散布しない薬剤を搭載している無人航空機を備える
請求項1または請求項2に記載の農作物育成システム。
【請求項4】
前記付加データをユーザが使用する端末装置に送信する送信手段
を備える請求項1
乃至3のいずれか1項に記載の農作物育成システム。
【請求項5】
前記付加データが示す前記診断手段が病気に罹患していると診断した農作物の画像をユーザに通知する通知手段を
備える請求項1
乃至4のいずれか1項に記載の農作物育成システム。
【請求項6】
前記付加データに基づき、前記診断手段による診断結果の当否を判定する当否判定手段
を備える請求項1乃至
5のいずれか1項に記載の農作物育成システ
ム。
【請求項7】
前記付加データを生成する撮影手段を搭載している無人移動体は無人航空機であり、
前記指示手段は前記付加データを生成するために飛行する無人航空機に対し、前記診断手段が病気に罹患していると診断した農作物の上空を、前記診断手段が診断に用いるデータを生成するために飛行した無人移動体が当該農作物の上空を飛行した際の高度よりも低い高度で飛行するように指示する
請求項1乃至
6のいずれか1項に記載の農作物育成システム。
【請求項8】
前記付加データを生成する撮影手段を搭載している無人移動体は無人航空機であり、
前記指示手段は前記付加データを生成するために飛行する無人航空機に対し、前記診断手段が病気に罹患していると診断した農作物の上空を、前記診断手段が診断に用いるデータを生成するために飛行した無人移動体が当該農作物の上空を飛行した際の速度よりも低い速度で飛行するように指示する
請求項1乃至
7のいずれか1項に記載の農作物育成システム。
【請求項9】
前記付加データを生成する撮影手段を搭載している無人移動体は無人航空機であり、
前記指示手段は前記付加データを生成するために飛行する無人航空機に対し、前記診断手段が病気に罹患していると診断した農作物の上空を、前記診断手段が診断に用いるデータを生成するために飛行した無人移動体が当該農作物の上空を飛行した際の方向とは異なる方向に飛行するように指示する
請求項1乃至
8のいずれか1項に記載の農作物育成システム。
【請求項10】
1以上の無人航空機を含む1以上の無人移動体であって、各々が農作物の画像を撮影する1以上の撮影手段を搭載している無人移動体に、移動の経路を指示する指示手段と、
前記指示手段の指示に従い農地の上空を飛行した前記1以上の無人航空機のうちの少なくとも1つに搭載されている撮影手段により生成される撮影データに基づき、前記農地に作付けされている農作物が病気に罹患しているか否かを診断する診断手段と
前記診断手段が病気に罹患していると診断した農作物に関する撮影データであって、前記指示手段の指示に従い移動した前記1以上の無人移動体のうちの少なくとも1つに搭載されている撮影手段により生成される撮影データを付加データとして、当該農作物を識別する農作物識別データと対応付けて記録する記録手段と
を備え、
前記指示手段は、前記1以上の無人移動体のうちの少なくとも1つに対し、前記診断手段が病気に罹患していると診断した農作物の画像を撮影するための移動の経路を指示し、
前記指示手段は、前記付加データを生成するために飛行する無人航空機に対し、前記診断手段が病気に罹患していると診断した農作物に当該無人航空機の回転翼が生じる吹き下ろしの気流が当たる飛行経路を飛行するように指示し、
前記撮影手段は、前記吹き下ろしの気流により露出した前記農作物の株元の画像を撮影し、
前記付加データを生成する撮影手段を搭載している無人移動体は、前記診断手段による診断に用いられるデータを生成する撮影手段を搭載している無人航空機であり、
前記指示手段は、前記1以上の無人航空機のうちの1つに対し、前記診断手段が診断に用いるデータを生成するための第1の飛行の経路に従い飛行するように指示し、前記第1の飛行の経路に従う飛行中に当該無人航空機に搭載されている撮影手段により生成される撮影データに基づき前記診断手段が病気に罹患していると判断した農作物があった場合、前記第1の飛行の経路に従う飛行を中断し、当該農作物に関する付加データを生成するための第2の飛行の経路に従い飛行するように指示し、前記第2の飛行の経路に従う飛行を終了後に、前記第1の飛行の経路に従う飛行に戻るように指示する
農作物育成システム。
【請求項11】
前記診断手段は、農作物が罹患している病気の種類と、農作物が罹患している病気の進行度の少なくとも一方を判定し、
前記記録手段は、前記診断手段により病気に罹患していると診断された農作物に関し前記農作物識別データに対応付けて前記診断手段により判定された病気の種類及び病気の進行度の少なくとも一方を示す診断結果データを記録する
請求項1乃至
10のいずれか1項に記載の農作物育成システム。
【請求項12】
前記診断手段による診断に用いられるデータの生成のために飛行する無人航空機の位置を測定する位置測定手段と、
前記診断手段が診断に用いたデータを前記1以上の撮影手段が生成したタイミングにおける前記位置測定手段が測定した前記無人航空機の位置に基づき、前記診断手段により病気に罹患されていると診断された農作物の作付けの位置又は領域を特定する作付位置特定手段と
を備え、
前記記録手段は、前記作付位置特定手段により特定された位置又は領域を示すデータを農作物識別データとして記録する
請求項1乃至
11のいずれか1項に記載の農作物育成システム。
【請求項13】
前記1以上の撮影手段の少なくとも1つにより生成される撮影データを、前記無人航空機に搭載されていないデータ処理装置に送信する送信手段
を備え、
前記診断手段は、前記無人航空機に搭載され、農作物が病気に罹患している可能性の有無を診断する第1の診断手段と、前記データ処理装置に配置され、前記第1の診断手段により病気に罹患している可能性が有ると診断された農作物が病気に罹患しているか否かを診断する第2の診断手段とを有する
請求項1乃至
12のいずれか1項に記載の農作物育成システム。
【請求項14】
前記記録手段は、前記1以上の撮影手段により生成される撮影データを記録し、記録した当該撮影データのうち、前記診断手段により病気に罹患していないと診断された農作物に関する撮影データを削除する
請求項1乃至
13のいずれか1項に記載の農作物育成システム。
【請求項15】
前記1以上の撮影手段は、前記診断手段により病気に罹患していると診断された農作物に関して前記付加データを生成する
請求項1乃至
14のいずれか1項に記載の農作物育成システム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、農作物を遠隔監視し、監視結果に基づいて農作物への農薬の散布、施肥等を行う農作物育成システムに関する。
【背景技術】
【0002】
ドローンと呼ばれる小型ヘリコプター(マルチコプター)の応用が進んでいる。その重要な応用分野の一つとして農地(圃場)への農薬や液肥などの薬剤散布が挙げられる。特に比較的面積が狭い農地においては、有人の飛行機やヘリコプターではなくドローンの使用が適しているケースが多い。
【0003】
特許文献1には、ドローンにより農地を空撮し、得られた画像に基づき農薬を散布すべき領域及び量を特定し、特定した領域に特定した量の農薬を効率的に散布するための飛行ルート等を計画し、計画に従いドローンによる農薬の散布を行う農薬散布方法が提案されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ドローンの空撮により農作物を撮影し、撮影により得られた画像に基づき、農作物の病気への罹患の診断を行う病理診断システムでは、病気に罹患しているとシステムが診断した農作物に関し、農業従事者は本当にその農作物が病気に罹患しているのか、また、どの程度、罹患している病気が進行しているのか、といったことを自ら診断し、システムの診断の当否を確認したい、というニーズがある。
【0006】
しかし、農業従事者が、病理診断システムにより病気に罹患していると判定された農作物が作付けされている農地における位置(又は領域)まで行くのは手間である。特に、病気に罹患していると判定された農作物が作付けされている位置(又は領域)が水田の中央付近であるような場合、農業従事者がその位置(又は領域)に行くのは容易ではない。
【0007】
この発明は、以上のような事情に鑑みてなされたものであり、農作物の病気への罹患に関する判断を行うための手段を農業従事者等のユーザに提供することを目的とする。
【課題を解決するための手段】
【0008】
この発明による農作物育成システムは、1以上の無人航空機を含む1以上の無人移動体であって、各々が農作物の画像を撮影する1以上の撮影手段を搭載している無人移動体に、移動の経路を指示する指示手段と、前記指示手段の指示に従い農地の上空を飛行した前記1以上の無人航空機のうちの少なくとも1つに搭載されている撮影手段により生成される撮影データに基づき、前記農地に作付けされている農作物が病気に罹患しているか否かを診断する診断手段とを備え、前記指示手段は、前記1以上の無人移動体のうちの少なくとも1つに対し、前記診断手段が病気に罹患していると診断した農作物の画像を撮影するための移動の経路を指示し、前記診断手段が病気に罹患していると診断した農作物に関する撮影データであって、前記指示手段の指示に従い移動した前記1以上の無人移動体のうちの少なくとも1つに搭載されている撮影手段により生成される撮影データを付加データとして、当該農作物を識別する農作物識別データと対応付けて記録する記録手段とを備える。
【図面の簡単な説明】
【0009】
【
図1】この発明の一実施形態である農作物育成システムの構成を示す図である。
【
図2】同実施形態におけるドローンの構成を示す図である。
【
図8】同ドローンにおけるデータ処理装置の機能構成を示すブロック図である。
【
図9】同実施形態におけるサーバの構成を示すブロック図である。
【
図10】同サーバのCPUの機能構成を示すブロック図である。
【
図11】同実施形態の動作の概略を示すフローチャートである。
【
図12】同実施形態において飛行撮影により得られる農作物マップを示す図である。
【
図13】同実施形態においてユーザ端末に表示される画面を例示する図である。
【
図14】同実施形態においてユーザ端末に表示される画面を例示する図である。
【
図15】同実施形態においてユーザ端末に表示される画面を例示する図である。
【
図16】同実施形態において飛行撮影を行う第1飛行ルートと飛行再撮影を行う第2飛行ルートを例示する図である。
【
図17】同第2飛行ルートを水平方向から見た形状を示す図である。
【
図18】同実施形態において飛行再撮影により得られる農作物マップを示す図である。
【
図19】同実施形態においてユーザ端末に表示される画面を例示する図である。
【
図20】同実施形態においてユーザ端末に表示される画面を例示する図である。
【発明を実施するための形態】
【0010】
以下、図を参照しながら、この発明を実施するための形態について説明する。図はすべて例示である。以下の詳細な説明では、説明のために、開示された実施形態の完全な理解を促すために、ある特定の詳細について述べられている。しかしながら、実施形態は、これらの特定の詳細に限られない。また、図面を単純化するために、周知の構造および装置については概略的に示されている。
【0011】
図1はこの発明の一実施形態である農作物育成システムの構成を示す図である。圃場403は、農作物が作付けされる田圃や畑等の農地である。基地局404は、Wi-Fi通信の親機としての機能と、RTK-GPS基地局としての機能を併有している。ユーザ端末401は、ユーザである農業従事者402により操作される端末であり、基地局404及びネットワークを介してドローン100またはサーバ405と通信を行う。このユーザ端末401は、コンピュータ・プログラムを実行する一般的なタブレット端末等の携帯情報機器によって実現されてよい。本実施形態において、ユーザ端末401は、ユーザインタフェースとして、タッチパネルを有する。
【0012】
ドローン100は、自律飛行機能を備えた無人航空機である。このドローン100には、次のような主要な機能がある。第1の機能は、予め与えられた飛行撮影計画に従って、圃場403の全域を走査するように、農作物の数十センチメートル上空を飛行しつつ一株一株の農作物を撮影し、各農作物の画像に基づき、農作物の病気への罹患に関する診断を行う飛行撮影機能である。第2の機能は、予め与えられた飛行再撮影計画に従って、圃場403内の特定の位置を通過しつつ飛行し、特定の位置にある農作物、具体的には飛行撮影において病気に罹患している旨の診断がなされた農作物を撮影し、各農作物の画像に基づき、農作物の病気への罹患に関する診断を行う飛行再撮影機能である。第3の機能は、予め与えられた飛行散布計画に従って、圃場403内の特定の位置を通過しつつ飛行し、特定の位置にある農作物に農薬を散布する飛行散布機能である。通常、ドローン100は圃場403の外部にある発着地点406から離陸し、圃場403に農薬を散布した後に、あるいは、農薬補充や充電等が必要になった時に発着地点406に帰還する。
【0013】
サーバ405は、典型的にはクラウドサービス上で運営されているコンピュータ群と関連ソフトウェアである。このサーバ405には次のような主要な機能がある。第1の機能は、ドローン100が飛行撮影を行う過程において、ドローン100から農作物の作付位置、画像及び診断結果を示す情報を取得し、農作物マップとして保存する機能である。また、第2の機能は、ドローン100が飛行再撮影を行う過程において、ドローン100から農作物の作付位置、画像及び診断結果を示す情報を取得し、農作物マップに追加する機能である。第3の機能は、農作物マップの編集機能である。この編集機能では、ユーザ端末401からの指示に従って、農作物マップを示す画像、農作物マップを構成する農作物の画像、農作物に関する診断結果をユーザ端末401に提供する。また、ユーザ端末401からの指示に従い、農作物への農薬の散布の条件等、各種の指示を農作物マップに書き込む。第4の機能は、飛行撮影により得られた農作物マップに基づき、病気に罹患している旨の診断がなされた農作物についての再撮影を行うための飛行再撮影計画を生成し、ドローン100に提供する機能である。第5の機能は、飛行撮影により得られた情報及び飛行再撮影により得られた情報に基づき、農作物の病気への罹患に関する総合的な診断を行う機能である。第6の機能は、散布指示がなされた場合に、農作物マップに基づき、病気に罹患している農作物について農薬散布を行うための飛行散布計画を生成し、ドローン100に提供する機能である。第7の機能は、ユーザ端末401から送信される飛行再撮影の指示または飛行散布の指示をドローン100に中継する機能である。
【0014】
次にドローン100について説明する。この明細書において、ドローンとは、動力手段(電力、原動機等)、操縦方式(無線であるか有線であるか、および、自律飛行型であるか手動操縦型であるか等)を問わず、複数の回転翼を有する無人航空機全般を指すこととする。
【0015】
図2乃至
図6に示すように、回転翼101-1a、101-1b、101-2a、101-2b、101-3a、101-3b、101-4a、101-4b(ローターとも呼ばれる)は、ドローン100を飛行させるための手段であり、飛行の安定性、機体サイズ、および、バッテリ消費量のバランスを考慮し、8機(2段構成の回転翼が4セット)備えられている。
【0016】
モータ102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、102-4a、102-4bは、回転翼101-1a、101-1b、101-2a、101-2b、101-3a、101-3b、101-4a、101-4bを回転させる手段(典型的には電動機だが発動機等であってもよい)であり、一つの回転翼に対して1機設けられている。モータ102は、推進器の例である。1セット内の上下の回転翼(たとえば、101-1aと101-1b)、および、それらに対応するモータ(たとえば、102-1aと102-1b)は、ドローンの飛行の安定性等のために軸が同一直線上にあり、かつ、互いに反対方向に回転する。なお、一部の回転翼101-3b、および、モータ102-3bが図示されていないが、その位置は自明であり、もし左側面図があったならば示される位置にある。
図3、および、
図4に示されるように、ローターが異物と干渉しないよう設けられたプロペラガードを支えるための放射状の部材は水平ではなくやぐら状の構造である。衝突時に当該部材が回転翼の外側に座屈することを促し、ローターと干渉することを防ぐためである。
【0017】
薬剤ノズル103-1、103-2、103-3、103-4は、薬剤を下方に向けて散布するための手段であり4機備えられている。なお、本願明細書において、薬剤とは、農薬、除草剤、液肥、殺虫剤、種、および、水などの圃場に散布される液体または粉体を一般的に指すこととする。
【0018】
薬剤タンク104は散布される薬剤を保管するためのタンクであり、重量バランスの観点からドローン100の重心に近い位置でかつ重心より低い位置に設けられている。薬剤ホース105-1、105-2、105-3、105-4は、薬剤タンク104と各薬剤ノズル103-1、103-2、103-3、103-4とを接続する手段であり、硬質の素材から成り、当該薬剤ノズルを支持する役割を兼ねていてもよい。ポンプ106は、薬剤をノズルから吐出するための手段である。
【0019】
図7にドローン100の制御機能を表したブロック図を示す。データ処理装置501は、ドローン全体の制御を司る構成要素であり、具体的にはCPU、メモリ、関連ソフトウェア等を含む組み込み型コンピュータであってよい。データ処理装置501は、ESC(Electronic Speed Control)等の制御手段を介して、モータ102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-bの回転数を制御することで、ドローン100の飛行を制御する。モータ102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-bの実際の回転数はデータ処理装置501にフィードバックされ、正常な回転が行なわれているかを監視できる構成になっている。あるいは、回転翼101に光学センサ等を設けて回転翼101の回転がデータ処理装置501にフィードバックされる構成でもよい。
【0020】
データ処理装置501が使用するソフトウェアは、機能拡張・変更、問題修正等のために記憶媒体等を通じて、または、Wi-Fi通信やUSB等の通信手段を通じて書き換え可能になっている。この場合において、不正なソフトウェアによる書き換えが行なわれないように、暗号化、チェックサム、電子署名、ウィルスチェックソフト等による保護が行われている。また、データ処理装置501が制御に使用する計算処理の一部が、ユーザ端末401上、または、サーバ405上や他の場所に存在する別のコンピュータによって実行されてもよい。データ処理装置501は重要性が高いため、その構成要素の一部または全部が二重化されていてもよい。
【0021】
バッテリ502は、データ処理装置501、および、ドローンのその他の構成要素に電力を供給する手段であり、充電式であってもよい。バッテリ502はヒューズ、または、サーキットブレーカー等を含む電源ユニットを介してデータ処理装置501に接続されている。バッテリ502は電力供給機能に加えて、その内部状態(蓄電量、積算使用時間等)をデータ処理装置501に伝達する機能を有するスマートバッテリであってもよい。
【0022】
データ処理装置501は、Wi-Fi子機503を介して、さらに、基地局404を介してユーザ端末401及びサーバ405と通信を行うことができる。この場合に、通信には暗号化を施し、傍受、成り済まし、機器の乗っ取り等の不正行為を防止できるようにしておいてもよい。上述したように基地局404は、Wi-Fiによる通信機能と、RTK-GPS基地局としての機能も併有する。従って、RTK基地局の信号とGPS測位衛星からの信号を組み合わせることで、GPSモジュール504により、ドローン100の絶対位置を2センチメートル程度の精度で測定可能となる。GPSモジュール504は重要性が高いため、二重化・多重化されていてもよく、また、特定のGPS衛星の障害に対応するため、冗長化されたそれぞれのGPSモジュール504は別の衛星を使用するよう制御されていてもよい。
【0023】
6軸ジャイロセンサ505はドローン機体の互いに直交する3方向の加速度を測定する手段(さらに、加速度の積分により速度を計算する手段)である。6軸ジャイロセンサ505は、上述の3方向におけるドローン機体の姿勢角の変化、すなわち角速度を測定する手段である。地磁気センサ506は、地磁気の測定によりドローン機体の方向を測定する手段である。気圧センサ507は、気圧を測定する手段であり、間接的にドローンの高度も測定することもできる。レーザセンサ508は、レーザ光の反射を利用してドローン機体と地表との距離を測定する手段であり、IR(赤外線)レーザであってもよい。ソナー509は、超音波等の音波の反射を利用してドローン機体と地表との距離を測定する手段である。これらのセンサ類は、ドローンのコスト目標や性能要件に応じて取捨選択してよい。また、機体の傾きを測定するためのジャイロセンサ(角速度センサ)、風力を測定するための風力センサなどが追加されていてもよい。また、これらのセンサ類は、二重化または多重化されていてもよい。同一目的複数のセンサが存在する場合には、データ処理装置501はそのうちの一つのみを使用し、それが障害を起こした際には、代替のセンサに切り替えて使用するようにしてもよい。あるいは、複数のセンサを同時に使用し、それぞれの測定結果が一致しない場合には障害が発生したと見なすようにしてもよい。
【0024】
流量センサ510は薬剤の流量を測定するための手段であり、薬剤タンク104から薬剤ノズル103に至る経路の複数の場所に設けられている。液切れセンサ511は薬剤の量が所定の量以下になったことを検知するセンサである。
【0025】
可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ512cは、各々農作物を撮影するためのカメラであり、農地に作付けされている農作物の画像を撮影し、農作物の画像を表す撮影データを生成する撮影手段として機能する。ここで、可視光カメラ512aは、農作物によって反射された太陽光の可視光の全波長帯域を撮影対象とする。また、第1スペクトルカメラ512bは、農作物によって反射された太陽光のうち赤色光、例えば680nm付近の波長帯域の成分を分光して撮影する。また、第2スペクトルカメラ512cは、農作物によって反射された太陽光のうち近赤外光、例えば780nm付近の波長帯域の成分を分光して撮影する。ドローン100では、第1スペクトルカメラ512b及び第2スペクトルカメラ512cから得られる画像に基づいて、農作物の病気への罹患に関する診断が行われる。
【0026】
障害物検知カメラ513はドローン障害物を検知するためのカメラである。スイッチ514はドローン100を使用する農業従事者402が様々な設定を行なうための手段である。障害物接触センサ515はドローン100、特に、そのローターやプロペラガード部分が電線、建築物、人体、立木、鳥、または、他のドローン等の障害物に接触したことを検知するためのセンサである。カバーセンサ516は、ドローン100の操作パネルや内部保守用のカバーが開放状態であることを検知するセンサである。薬剤注入口センサ517は薬剤タンク104の注入口が開放状態であることを検知するセンサである。これらのセンサ類はドローンのコスト目標や性能要件に応じて取捨選択してよく、二重化・多重化してもよい。また、ドローン100外部の基地局404、ユーザ端末401、または、その他の場所にセンサを設けて、読み取った情報をドローンに送信してもよい。たとえば、基地局404に風力センサを設け、風力・風向に関する情報をWi-Fi通信経由でドローン100に送信するようにしてもよい。
【0027】
データ処理装置501はポンプ106に対して制御信号を送信し、薬剤吐出量の調整や薬剤吐出の停止を行なう。ポンプ106の現時点の状況(たとえば、回転数等)は、データ処理装置501にフィードバックされる構成となっている。また、データ処理装置501は、Wi-Fi子機503、GPSモジュール504、地磁気センサ506、気圧センサ507、レーザセンサ508及びソナー509を利用して、ドローン100の3次元位置を測定する位置測定手段としての機能を備えている。また、データ処理装置501は、この位置測定手段により測定されるドローン100の3次元位置と、6軸ジャイロセンサ505により測定されるドローン100の姿勢に基づき、可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ512cの各々により撮影される農作物の作付位置(又は領域)を特定する作付位置特定手段としての機能を備えている。
【0028】
LED107は、ドローンの操作者に対して、ドローンの状態を知らせるための表示手段である。表示手段は、LEDに替えて、または、それに加えて液晶ディスプレイ等の表示手段を使用してもよい。ブザー518は、音声信号によりドローンの状態(特にエラー状態)を知らせるための出力手段である。Wi-Fi子機機能519はユーザ端末401とは別に、たとえば、ソフトウェアの転送などのために外部のコンピュータ等と通信するためのオプショナルな構成要素である。Wi-Fi子機機能に替えて、または、それに加えて、赤外線通信、Bluetooth(登録商標)、ZigBee(登録商標)、NFC等の他の無線通信手段、または、USB接続などの有線通信手段を使用してもよい。スピーカ520は、録音した人声や合成音声等により、ドローンの状態(特にエラー状態)を知らせる出力手段である。天候状態によっては飛行中のドローン100の視覚的表示が見にくいことがあるため、そのような場合には音声による状況伝達が有効である。警告灯521はドローンの状態(特にエラー状態)を知らせるストロボライト等の表示手段である。これらの入出力手段は、ドローンのコスト目標や性能要件に応じて取捨選択してよく、二重化・多重化してもよい。
【0029】
図8はデータ処理装置501の機能構成を示すブロック図である。
図8に示すように、データ処理装置501は、CPU710と、不揮発性メモリ及び揮発性メモリからなる記憶部720とを有する。CPU710を示すボックス内には、通信処理部711、診断部712、飛行撮影制御部713、飛行再撮影制御部714及び飛行散布制御部715が示されている。これらはCPU710が記憶部720内のプログラムを実行することにより実現される機能である。
【0030】
記憶部720には、飛行撮影計画721、飛行再撮影計画722及び飛行散布計画723が格納される。これらはサーバ405から与えられ、記憶部720に格納される。飛行撮影計画721は、飛行撮影のためにドローン100が飛行すべき圃場403上の第1飛行ルート(第1の飛行の経路の一例)を示す情報を含む。また、飛行再撮影計画722は、飛行再撮影のためにドローン100が飛行すべき圃場403上の第2飛行ルート(第2の飛行の経路の一例)を示す情報と、この第2飛行ルート上において農作物の再撮影を行うべき位置(ドローン100の位置)を示す情報と、再撮影対象である農作物の作付位置を示す情報と、再撮影の条件を示す情報とを含む。飛行散布計画723は、飛行散布のためにドローン100が飛行すべき圃場403上のルートを示す情報と、このルート上において農薬の散布を行うべき位置(ドローン100の位置)を示す情報と、このルート上において農薬の散布を行うべき農作物の作付位置を示す情報と、散布量を示す情報とを含む。
【0031】
CPU710において、通信処理部711は、サーバ405またはユーザ端末401と通信を行うための手段である。診断部712は、農作物の画像、具体的には第1スペクトルカメラ512b及び第2スペクトルカメラ512cにより撮影された農作物の画像を解析することにより農作物についての診断結果データを生成する手段である。この診断結果データは、農作物が病気に罹患しているか否か、罹患している病気の種類及び軽症、重症といった罹患の進行度を示す。
【0032】
飛行撮影制御部713は、サーバ405を介してユーザ端末401から飛行撮影の指示を受け取った場合に、記憶部720内の飛行撮影計画721に従い、ドローン100に飛行撮影を行わせるための制御を行う。
【0033】
具体的には、飛行撮影制御部713は、飛行撮影計画721において定められた第1飛行ルートに従ってドローン100を飛行させるためのモータ102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-bの回転数の制御を行う。また、飛行撮影制御部713は、ドローン100が飛行撮影を行っている間に、GPSモジュール504等の位置測定手段により測定されるドローン100の3次元位置と6軸ジャイロセンサ505により測定されるドローン100の姿勢に基づいて、可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ512cの各々の撮影位置(撮影の被写体の位置)を算出する。そして、可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ512cから得られる各画像に各々の撮影位置を対応付け、撮影位置が同じであり、同じ農作物を映している画像同士を対応付けて診断部712へ引き渡す。このとき飛行撮影制御部713は、診断部712に引き渡した画像を記憶部720の一時記憶領域に記録する。
【0034】
診断部712は、引き渡されたデータのうち第1スペクトルカメラ512b及び第2スペクトルカメラ512cから得られた画像に基づいて農作物の病気への罹患に関する診断結果データを生成し、飛行撮影制御部713に返す。
【0035】
飛行撮影制御部713は、記憶部720の一時記憶領域に記録された、診断部712に引き渡した可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ512cの各画像のうち農作物が病気に罹患した旨の診断結果データが返ってきた農作物の画像を当該農作物の識別データ及び診断結果データとともに通信処理部711に引き渡す。通信処理部711は、この引き渡されたデータをサーバ405に送信する。ここで、識別データは、農作物を特定するデータ、具体的には病気に罹患した農作物の圃場403内における作付位置を示すデータである。飛行撮影制御部713は、農作物の撮影データが識別データ及び診断結果データとともにサーバ405に送信された後、記憶部720内のその撮影データを廃棄する。また、飛行撮影制御部713は、農作物が病気に罹患しない旨の診断結果データを受け取った場合、記憶部720内のその農作物に対応した各カメラの撮影データを速やかに削除する。
【0036】
飛行再撮影制御部714は、サーバ405を介してユーザ端末401から飛行再撮影の指示を受け取った場合に、記憶部720内の飛行再撮影計画722に従い、ドローン100に飛行再撮影を行わせるための制御を行う。
【0037】
具体的には、飛行再撮影制御部714は、飛行再撮影計画722において定められたルートに従ってドローン100を飛行させるための制御を行う。また、飛行再撮影制御部714は、飛行再撮影計画722において定められた位置においてドローン100をホバリングさせ、回転翼101が生じる吹き下ろしの気流によってなぎ倒された農作物を可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ513cのいずれか、もしくは各カメラにより撮影し、撮影される画像を通信処理部711によりサーバ405に送信する。
【0038】
飛行散布制御部715は、サーバ405を介してユーザ端末401から飛行散布の指示を受け取った場合に、記憶部720内の飛行散布計画723に従い、ドローン100に飛行散布を行わせるための制御を行う。
【0039】
具体的には、飛行散布制御部715は、飛行散布計画723において定められたルートに従ってドローン100を飛行させるための制御を行う。また、飛行再撮影制御部714は、飛行散布計画723において定められた散布位置への散布が可能になる位置にドローン100を止め、ポンプ106にその散布位置への農薬の散布を行わせる。その際、飛行散布制御部715は、飛行散布計画723において定められた散布量の農薬が散布されるようにポンプ106の制御を行う。
【0040】
図9はサーバ405の構成を示すブロック図である。なお、
図9にはサーバ405の機能を分かり易くするため、サーバ405とともに、ユーザ端末401、ドローン100、日射量センサ601及び降雨センサ602が示されている。
【0041】
図9に示すように、サーバ405は、全体を制御するCPU810と、プログラムやデータを記憶する記憶部820と、ユーザ端末401、ドローン100、日射量センサ601及び降雨センサ602等の通信相手と通信を行う通信部830とを含む。CPU810は、クラウドサービスが提供する複数のコンピュータのCPUの集合体である。また、記憶部820は、クラウドサービスが提供する複数のコンピュータが保有する記憶装置の集合体である。
【0042】
図10はCPU810の機能構成を示すブロック図である。なお、この
図10にはCPU810の機能構成を分かり易くするため、記憶部820に記憶された各種のデータがCPU810とともに示されている。
【0043】
図10において、CPU810を示すボックス内には、通信処理部811、記録部812、マップ編集部813、飛行再撮影計画生成部814、飛行散布計画生成部815及び総合診断部816が示されている。これらはCPU810が記憶部820内のプログラム(図示略)を実行することにより実現される機能である。
【0044】
通信処理部811は、
図9に示すユーザ端末401、ドローン100、日射量センサ601及び降雨センサ602等の通信相手との通信を制御する手段である。記録部812は、ドローン100が飛行撮影または飛行再撮影を行っている過程において、ドローン100から送信されるデータを受信し、農作物マップ821を構成して記憶部820に保存する手段である。
【0045】
マップ編集部813は、農作物マップ821の編集を行う手段である。このマップ編集部813は、ユーザ端末401からの指示に従って、農作物マップ821を示す画像をユーザ端末401に提供する。この画像は、圃場403を示す2次元平面内において、病気に罹患しているとの診断がなされた農作物の所在位置を示すものである。また、マップ編集部813は、この農作物マップ821の画像において、ユーザ端末401によって所望の農作物が指示された場合に、その農作物に対応した撮影データと診断結果データを農作物マップ821から読み出し、ユーザ端末401に提供する。また、マップ編集部813は、ユーザ端末401から所望の農作物についての再撮影または散布に関する指示を受け取った場合、農作物マップ821に当該指示を反映させる。
【0046】
飛行再撮影計画生成部814は、ユーザ端末401からの指示に従い、農作物マップ821に基づき、病気に罹患している旨の診断がなされた農作物について再撮影を行うための飛行再撮影計画822を生成し、ドローン100に提供する。
【0047】
飛行散布計画生成部815は、ユーザ端末401からの指示に従い、農作物マップ821に基づいて、病気に罹患している旨の診断がなされた農作物に対し、農薬を散布するための飛行散布計画を生成し、ドローン100に提供する。
【0048】
総合診断部816は、農作物マップ821を構成する情報のうち飛行撮影により得られた情報及び飛行再撮影により得られた情報に基づいて、農作物の病気への罹患に関する総合的な診断を行う手段である。この総合診断部816は、付加データ(飛行再撮影により得られた情報)に基づき、診断手段による診断結果(飛行撮影により得られた情報に基づく診断部712の診断結果)の当否を判定する当否判定手段としての役割をも果たす。
【0049】
さらにCPU810は、ユーザ端末401から送信される飛行再撮影の指示または飛行散布の指示をドローン100に中継する。飛行再撮影を指示するに当たっては条件がある。すなわち、再撮影は、日射量が所定値以上であり、かつ、降雨がない昼の時間帯において行うべきである。そこで、CPU810は、ユーザ端末401から再撮影の指示が与えられた場合、圃場403若しくはその近くに配置された日射量センサ601及び降雨センサ602と通信を行い、再撮影を行うための条件が満たされているか否かの判断を行う。この再撮影を行うための条件が満たされている場合、CPU810はドローン100に飛行再撮影の指示を送る。一方、再撮影を行うための条件が満たされていない場合、CPU810は、ユーザ端末401に対し、飛行再撮影の指示を拒否する旨の応答を返す。
【0050】
図11は、本実施形態の動作の概略を示すフローチャートである。以下、このフローチャートに従い、本実施形態の動作を説明する。
【0051】
農作物が病気に罹患し易い時期になると、農業従事者402は、ユーザ端末401を介してサーバ405に飛行撮影の指示を送信する。この飛行撮影の指示はサーバ405によって中継され、ドローン100に送信される。これによりドローン100の飛行撮影制御部713は、サーバ405によって記憶部720に予め記憶された飛行撮影計画に従い、ドローン100に飛行撮影を行わせる。この飛行撮影計画は、飛行撮影のための第1飛行ルートを示す情報を含む。このように飛行撮影計画をドローン100に与えるサーバ405は、移動経路(飛行ルート)をドローン100に指示する指示手段として機能する。
【0052】
この飛行撮影において、ドローン100は、圃場403の全域を走査し、農作物の数十センチメートル上空を飛行し、可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ512cに農作物を撮影する。そして、ドローン100では、第1スペクトルカメラ512b及び第2スペクトルカメラ512cにより撮影された画像に基づいて、診断部712が病気への罹患に関する診断結果データを生成する。このようにドローン100の診断部712は、指示手段の指示に従い農地の上空を飛行したドローン100に搭載されている撮影手段により生成される撮影データに基づき、農地に作付けされている農作物が病気に罹患しているか否かを診断する診断手段として機能する。
【0053】
飛行撮影制御部713は、病気への罹患を示す診断結果データの得られた農産物について、その農産物の作付位置を示す識別データと、その農産物についての診断結果データと、可視光カメラ512a、又は第1スペクトルカメラ512b及び第2スペクトルカメラ512c等の複数のスペクトルカメラ、もしくは可視光カメラ512aとスペクトルカメラにより撮影された農産物の撮影データを対応付け、サーバ405に送信する。サーバ405では、このドローン100の飛行撮影制御部713から受信されるデータを、記録部812が農作物マップ821として記憶部820に記録する(以上、ステップS1)。
【0054】
図12は飛行撮影により得られる農作物マップ821を示す図である。この農作物マップ821において、1個の農作物に対応したデータは、識別データ、診断結果データ、撮影データを含む。ここで、識別データは、当該農作物を特定するデータ、具体的には農作物の作付位置(例えば緯度、経度)を示すデータである。診断結果データは、当該農作物が病気に罹患しているか否か、罹患している病気の種類及び罹患の進行度を示すデータである。上述したように飛行撮影の過程では、病気に罹患している農作物のみについて識別データ、診断結果データ及び撮影データがドローン100からサーバ405に送信される。従って、飛行撮影の終了後において、農作物マップ821を構成する診断結果データには、罹患なしを示す診断結果データは含まれず、いずれの診断結果データも病気への罹患を示す内容となっている。撮影データには、可視光カメラ512a、もしくは第1スペクトルカメラ512b及び第2スペクトルカメラ512cを含む複数台のスペクトルカメラ、又は可視光カメラ512aと複数台のスペクトルカメラにより撮影された撮影データが含まれる。これらのうち第1スペクトルカメラ512bや第2スペクトルカメラ512cにより撮影された各撮影データは、当該農作物の病気への罹患の診断に用いられた撮影データである(以上、ステップS1)。
【0055】
飛行撮影が終了した段階において、ユーザ端末401のタッチパネルには、
図13に示す画面が表示される。農業従事者402が「マップ確認」と表示されたソフトボタンB01を指示すると、サーバ405のマップ編集部813は、農作物マップ821を示す画像を生成し、ユーザ端末401に送信する。この結果、
図14に例示する画面がユーザ端末401のタッチパネルに表示される。
【0056】
この
図14の左側の画像において、横軸は例えば経度であり、縦軸は緯度である。この画面において、黒丸プロットは、病気に罹患している農作物の圃場403内における所在位置を示している。この画面内における黒丸プロットの位置は、農作物マップ821における識別データが示す作付位置に対応している。
【0057】
図14に示す表示状態において、農業従事者402が所望の黒丸プロットを指示すると、サーバ405のマップ編集部813は、指示位置に対応した農作物の作付位置を特定する。そして、マップ編集部813は、この特定した農作物の作付位置を示す識別データに対応付けられた診断結果データ及び撮影データを農作物マップ821から読み出し、ユーザ端末401に送信する。この結果、
図15に例示する画面がユーザ端末401のタッチパネルに表示される。すなわち、
図14に示す画面において指示された黒丸プロットに対応した農作物について、可視光カメラ512aにより撮影された画像Pa1と、第1スペクトルカメラ512bにより撮影された画像Pb1と、第2スペクトルカメラ512cにより撮影された画像Pc1と、診断結果データDg1とがタッチパネルの画面左側に表示され、「戻る」が表示されたソフトボタンB10が画面右側に表示される。この状態において、農業従事者402が画像Pa1、Pb1及びPc1のうち所望のものを指示すると、その指示された画像の拡大画像がタッチパネルに表示される。ここで、複数カメラにより複数の撮影データが取得される場合には、
図14に示す画面に表示される画像として、当該複数の撮影データを合成した3次元画像が表示されるようにしてもよい。
【0058】
図15の表示状態において、農業従事者402が「撮影条件」と表示されたソフトボタンB11を指示すると、タッチパネルの画面は、飛行再撮影において当該農作物(指示された黒丸プロットに対応した農作物)に対して行うべき撮影の条件を指示する画面に切り換わる。農業従事者402は、この画面に対しての指示により、例えば再撮影の際のカット数等、当該農作物に個別に適用する撮影条件を入力することができる。この個別に適用する撮影条件の入力がない場合には、飛行再撮影の撮影条件としてデフォルトの撮影条件が当該農作物に適用される。すなわち、可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ512cにより各々1カットの撮影を行うという条件である。
【0059】
図15の画面において、農業従事者402が「戻る」と表示されたソフトボタンB10を指示すると、タッチパネルの画面は、
図14に示す画面となる。この
図14に示す画面において、農業従事者402が「戻る」と表示されたソフトボタンB10を指示すると、タッチパネルの画面は
図13に示す画面に戻る。このとき、サーバ405のマップ編集部813は、各農作物について決定された飛行再撮影における撮影条件を農作物マップ821に反映させる(以上、ステップS2)。
【0060】
図13に示す画面において、農業従事者402が「再撮影指示」と表示されたソフトボタンB02を指示すると、サーバ405の飛行再撮影計画生成部814は、記憶部820に記憶された農作物マップ821に基づいて、飛行再撮影計画822を生成し、記憶部820に格納するとともに、通信処理部811によりドローン100に送信する。この飛行再撮影計画822は、発着地点406を離陸したドローン100が、農作物マップ821において各農作物の各作付位置(識別データが示す位置)を通過して発着地点406に戻る第2飛行ルートを示す情報を含む。このようにサーバ405の飛行再撮影計画生成部814は、診断手段(ドローン100の診断部712)が病気に罹患していると診断した農作物の状態を示す物理量を測定するための移動の経路を指示する指示手段として機能する。
【0061】
図16は、飛行撮影においてドローン100が通過する第1飛行ルート(破線)と、飛行再撮影においてドローン100が通過する第2飛行ルート(実線)とを上方から見た平面図である。
図16において、黒丸プロットは、病気に罹患していると診断された農作物を示す。本実施形態において、ドローン100は、飛行再撮影を行う際、病気に罹患していると診断された農作物の上空を、飛行撮影においてドローン100が当該農作物の上空を飛行した際の方向とは異なる方向に飛行する。
図16に示す例では、飛行再撮影における第2飛行ルートは、病気に罹患していると診断された農作物の上空において、飛行撮影における第1飛行ルートと直交する。このような関係の第1飛行ルートと第2飛行ルートとを利用するのは、飛行撮影と飛行再撮影とで異なる角度から農作物を撮影し、全体として詳細な情報を農作物から得るためである。
【0062】
図17は飛行再撮影においてドローン100が飛行する第2飛行ルートを水平方向から見た図である。
図17に示すように、ドローン100は、撮影対象である農作物FPから離れた所では飛行撮影の場合と同様な高度(農作物の数十センチメートル上空)を水平に飛行するが、農作物FPの上空において高度を下げ、農作物FPに接近した位置においてホバリングを行う。ドローン100は、このホバリングした状態において、回転翼101が生じる吹き下ろしの気流(ダウンウォッシュ)によりなぎ倒された農作物FPの下部を撮影し、撮影が終わると、高度を元に戻し、次の撮影対象の農作物の位置に進む。ドローン100にこのような飛行を行わせるのは、紋枯病、いもち病等の病気は、農作物の株上部の葉よりも株下の葉に発生し易いからである。
【0063】
飛行再撮影計画822は、このような第2飛行ルートに関する情報の他、第2飛行ルートに沿って所在する撮影対象の農作物の作付位置等の情報を含む。さらに飛行再撮影計画822は、飛行速度に関する情報を含む。飛行再撮影計画822によると、飛行再撮影においてドローン100が農作物FPの上空を飛行する際の飛行速度は、飛行撮影においてドローン100が農作物FPの上空を飛行する際の飛行速度よりも低くなっている。
【0064】
飛行再撮影計画生成部814は、飛行再撮影計画822をドローン100に送信すると、ユーザ端末401のタッチパネルに飛行再撮影を実行するか否かを問い合わせるメッセージを表示させる。農業従事者402が飛行再撮影の実行を指示した場合、飛行再撮影計画生成部814は、日射量センサ601及び降雨センサ602と通信を行い、飛行再撮影の条件が満たされているか否かを判断する。この条件が満たされている場合、飛行再撮影計画生成部814は、飛行再撮影の指示をドローン100に対して送信する。
【0065】
ドローン100では、サーバ405の飛行再撮影計画生成部814から受信された飛行再撮影計画822が飛行再撮影計画722として記憶部720に格納される。ドローン100の飛行再撮影制御部714は、飛行再撮影の指示がサーバ405から受信されることにより、記憶部720内の飛行再撮影計画722に従って、ドローン100に飛行再撮影を行わせる。
【0066】
この飛行再撮影において、ドローン100の飛行再撮影制御部714は、撮影により得られた撮影データ(付加データ)を、農作物の識別データ及び診断結果データとともにサーバ405に送信する。サーバ405では、このドローン100の飛行再撮影制御部714から受信されるデータを、記録部812が記憶部820内の農作物マップ821に追加する。このようにドローン100の飛行再撮影制御部714及びサーバ405の記録部812は、診断手段(診断部712)が病気に罹患していると診断した農作物に関するデータであって、指示手段(飛行再撮影計画生成部814)の指示に従い移動した無人移動体(ドローン100)に搭載されている撮影手段(可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ512c)により生成される撮影データ(飛行再撮影により得られた画像を表す)を付加データとして、当該農作物を識別する農作物識別データと対応付けて記録する記録手段として機能する(以上、ステップS3)。
【0067】
図18は飛行再撮影が終了した時点における農作物マップ821を示す図である。
図18に示すように、農作物マップ821において、1個の農作物に関するデータには、飛行再撮影における撮影条件データと、飛行再撮影により得られた2回目の診断結果データ及び撮影データと、総合診断データと、散布条件データとが追加されている。ここで、総合診断データ及び散布条件データは、飛行再撮影が終了した直後の段階では空欄となっている。
【0068】
飛行再撮影が終了すると、ユーザ端末401のタッチパネルの画面は、
図13に示す画面となる。この
図13に示す画面において、農業従事者がソフトボタンB01を指示すると、飛行撮影の場合と同様、
図14に示す画面が表示される。
【0069】
図14に示す画面において、農業従事者402が所望の黒丸プロットを指示すると、サーバ405のマップ編集部813は、指示位置に対応した農作物の作付位置を特定する。そして、マップ編集部813は、この特定した農作物の作付位置を示す識別データに対応付けられた飛行撮影における診断結果データ及び撮影データと飛行再撮影における診断結果データ及び撮影データ(付加データ)を農作物マップ821から読み出し、ユーザ端末401に送信する。このようにマップ編集部813は、付加データをユーザが使用する端末装置に送信する送信手段として機能する。
【0070】
この結果、
図19に例示する画面がユーザ端末401のタッチパネルに表示される。すなわち、指示された黒丸プロットに対応した農作物について、飛行撮影により得られた可視光カメラ512aの画像Pa1、第1スペクトルカメラ512bの画像Pb1及び第2スペクトルカメラ512cの画像Pc1並びに診断結果データDg1と、飛行再撮影に得られた可視光カメラ512aの画像Pa2、第1スペクトルカメラ512bの画像Pb2及び第2スペクトルカメラ512cの画像Pc2並びに診断結果データDg2とがタッチパネルの画面左側に表示される。また、「戻る」が表示されたソフトボタンB10と、「総合診断」が表示されたソフトボタンB21と、「散布条件」が表示されたソフトボタンB22が画面右側に表示される。この状態において、農業従事者402が画像Pa1、Pb1、Pc1、Pa2、Pb2及びPc2のうち所望のものを指示すると、その指示された画像の拡大画像がタッチパネルに表示される。このようにユーザ端末401のタッチパネルは、付加データが示す情報をユーザに通知する通知手段として機能する。
【0071】
図19に示す画面において、農業従事者402が「総合診断」と表示されたソフトボタンB21を指示すると、サーバ405のマップ編集部813は、農作物マップ821において、農業従事者402によって指示された黒丸プロットに対応した農作物の作付位置を特定し、この作付位置にある農作物に対応した飛行撮影時の画像Pa1、Pb1及びPc1と飛行再撮影時の画像Pa2、Pb2及びPc2を読み出して総合診断部816に与える。総合診断部816は、この画像Pa1、Pb1、Pc1、Pa2、Pb2及びPc2に基づいて、指示された黒丸プロットに対応した農作物の病気への罹患に関する総合的な診断を行う。このように総合診断部816は、診断手段(ドローン100の診断部712)による診断結果の当否を判定する当否判定手段として機能する。そして、マップ編集部813は、総合的な診断の結果、すなわち、当該農作物が病気に罹患しているか否か、罹患している場合の病気の種類と罹患の進行の程度を示す情報を農作物マップ821の総合診断データに反映させる。また、総合診断部816は、総合診断データに基づいて、当該農作物に散布すべき農薬の散布量を決定する。マップ編集部813は、この散布量を農作物マップ821の散布条件データに反映させる。
【0072】
図19に示す画面において、農業従事者402が「散布条件」と表示されたソフトボタンB22を指示すると、サーバ405におけるマップ編集部813は、
図20に例示する画面をユーザ端末401のタッチパネルに表示させる。この画面には農薬の散布量を指示するフェーダF1と、「散布不要」という表示を伴うソフトボタンB31が表示される。
【0073】
総合診断部816による総合診断が行われた場合、フェーダF1の指示位置は、総合診断部816が決定した散布量を指示する位置となっている。また、総合診断部816による総合診断が行われていない場合、フェーダF1の指示位置は所定のデフォルト値となっている。農業従事者402は、タッチパネルに表示された画像から判断される罹患の程度に対し、フェーダF1が指示する散布量が適切であるか否かを判断し、不適切であれば、フェーダF1の指示位置を適切な散布量を示す指示位置に修正する。フェーダF1の指示位置が適切である場合、農業従事者402はフェーダF1の操作を行わない。
【0074】
農業従事者402が「戻る」の表示がなされたソフトボタンB10を指示すると、サーバ405におけるマップ編集部813は、ユーザ端末401のタッチパネルの表示画面を
図14に例示するような状態に戻す。このときサーバ405におけるマップ編集部813は、農作物マップ821において、指示された黒丸プロットに対応した農作物の散布条件データに上記フェーダF1の指示位置に対応した散布量を反映させる。
【0075】
図20に示す画面において、農業従事者402がソフトボタンB31を指示した場合には、農作物マップ821において、指示された黒丸プロットに対応した農作物の散布条件データに散布量として0を設定する。
【0076】
以上のような操作の繰り返しにより、農業従事者402は、農作物マップ821において、病気に罹患している各農作物に対応した散布条件データに適切な散布量を設定する。これにより農作物マップ821の編集が終了する(以上、ステップS4)。
【0077】
農業従事者402は、ユーザ端末401のタッチパネルに
図13に示す画面を表示させた状態において、「散布指示」と表示されたソフトボタンB03を指示することによりドローン100による飛行散布を指示することができる。飛行散布が指示されると、サーバ405の飛行散布計画生成部815は、農作物マップ821に基づいて、飛行散布計画823を生成して記憶部820に格納し、ドローン100に送信する。この飛行散布計画823は、発着地点406を離陸したドローン100が、農作物マップ821において散布条件データの示す散布量が0でない各農作物の各位置(識別データが示す位置)を最短距離で通過して発着地点406に戻る飛行ルートを示す情報を含む。また、飛行散布計画823では、飛行散布の飛行ルート上において散布を行う農作物の作付位置と、農薬の散布量を示す情報を含む。この情報は、上記飛行ルートと、農作物マップ821において散布条件データの示す散布量が0でない農作物の各位置(識別データが示す位置)と、同散布条件データとから生成される。
【0078】
ドローン100では、サーバ405の飛行散布計画生成部815から受信された飛行散布計画823を飛行散布計画723として記憶部820に格納する。飛行散布計画823を送信した飛行散布計画生成部815は、ユーザ端末401のタッチパネルに飛行散布を実行してよいか否かを問い合わせるメッセージを表示させる。その際、飛行散布計画生成部815は、飛行散布の飛行ルートを示す画像をタッチパネルに表示させてもよい。農業従事者402が飛行散布の実行の指示を、ユーザ端末401を介してサーバ405に送信すると、飛行散布計画生成部815は、この飛行散布の指示をドローン100に送信する。これによりドローン100の飛行散布制御部715は、記憶部720に記憶された飛行散布計画723に従って、ドローン100に飛行散布を行わせる(以上、ステップS5)。
【0079】
以上説明したように、本実施形態によれば、飛行再撮影により得られた付加データがサーバ405に記録されるので、農業従事者402は、サーバ405に記録された付加データにアクセスすることにより、圃場403に足を運ぶことなく、農作物が病気に罹患しているか否か、また、罹患している場合の病気の種類や症状の程度を、確認することができる。
【0080】
[変形例]
上記実施形態には次のような変形例が考えられる。
【0081】
(1)飛行撮影を行う無人航空機と、飛行再撮影を行う無人航空機は別の航空機であってもよい。例えば、第1の無人航空機が飛行中に、病気に罹患している農作物が発見された場合、第1の無人航空機は飛行撮影をそのまま継続する。同時に、第2の無人航空機が、例えば発着地点406から飛び立ち、第2の無人航空機に搭載されているカメラによって、病気に罹患している農作物の撮影が行われてもよい。また、2台が前後に並んで飛行し、後方の無人航空機は前方の無人航空機より低空飛行をし、後方の無人航空機に搭載されているカメラで、前方の無人航空機のダウンウォッシュによりなぎ倒された農作物の株元を撮影してもよい。
【0082】
(2)飛行再撮影を行う無人航空機と、飛行再撮影を行う無人航空機とを別の航空機にする場合において、飛行再撮影を行う無人航空機は、飛行の全航程において薬剤の散布を行わないが、自装置の重量を増加するために散布しない薬剤を搭載させてもよい。ダウンウォッシュにより農作物をなぎ倒す際に無人航空機を農作物の上空で安定化させるためである。
【0083】
(3)再撮影のために、病気に罹患していると診断された農作物の作付位置まで移動する無人移動体は、無人航空機に限られない。例えば、農地が水田の場合、無人の水上移動体が再撮影のために移動してもよい。また、農地が畑の場合、無人の陸上移動体が再撮影のために移動してもよい。この場合、ダウンウォッシュによるなぎ倒しを行うことなく、農作物の株元の画像が撮影される。
【0084】
(4)ドローン100は、飛行撮影において、飛行再撮影としての動作を行うようにしてもよい。例えば、ドローン100は、飛行撮影中、或る株が病気に罹患していると診断した場合、その株の上空まで引き返し、例えば、その株の上空で円を描くように飛行しながらカメラで様々な方向からその株の撮影し、または通常の撮影飛行の進行方向とは逆方向に飛行しながら撮影を行った後、中断した飛行撮影の経路上の点まで戻り、飛行撮影を再開する。この場合、サーバ405において実現される指示手段は、ドローン100に対し、飛行撮影のための第1飛行ルートに従い飛行するように指示し、第1飛行ルートに従う飛行中に当該ドローン100に搭載されている撮影手段により生成される撮影データに基づき診断手段が病気に罹患していると判断した農作物があった場合、第1飛行ルートに従う飛行を中断し、当該農作物に関する付加データを生成するための第2飛行ルートに従い飛行するように指示し、第2飛行ルートに従う飛行を終了後に、第2飛行ルートに従う飛行に戻るように指示する。
【0085】
(5)病気に罹患していると診断された農作物に関し、例えば所定時間を空けて、再撮影のための飛行が複数回、行われてもよい。その結果、病気に罹患している農作物に関しては、その他の農作物と比較し、高い頻度で撮影が行われるので、農業従事者は病気の進行速度等を知ることができる。
【0086】
(6)飛行撮影が、例えば、農地全体に対する肥料や農薬等の薬剤の散布を伴ってもよい。また、飛行再撮影が、病気に罹患していると診断された農作物に対する農薬の散布を伴ってもよい。例えば飛行撮影では、病気に罹患した農作物を発見しない間、薬剤を散布しながら農作物の撮影及び診断を行って飛行し、病気に罹患した農作物を発見した場合には、薬剤の散布を中断し、その位置を記憶しておき、飛行再撮影としての動作をする。すなわち、ドローン100の高度を下げてホバリングを行い、回転翼101からの吹き下ろしの気流によりなぎ倒された農作物を撮影し、農作物の画像に基づいて診断を行い、病気に罹患しているとの診断が得られた場合に当該農作物に農薬を散布する。そして、農薬の散布後、記憶した位置にドローン100を戻し、その後、薬剤を散布しながらの飛行撮影を再開する。
【0087】
(7)診断部712が、ドローン100に搭載されたデータ処理装置501以外の装置において実現されてもよい。例えば、ドローン100に搭載されたデータ処理装置501は病理診断を行わず、サーバ405が病理診断を行ってもよい。その場合、例えば、ドローン100に搭載されたデータ処理装置501は、第1スペクトルカメラ、第2スペクトルカメラ、可視光カメラが撮影した画像を表すデータ、もしくは、それらの画像から抽出された特徴点等を示すデータをサーバ405に送信し、サーバ405において実現される診断手段が、データ処理装置501から受信したデータに基づき病理診断を行う。
【0088】
(8)診断部712が、2以上の装置の各々に配置されてもよい。例えば、ドローン100に搭載されたデータ処理装置501が第1の診断手段を実現し、サーバ405が第2の診断手段を実現する。第1の診断手段において病気に罹患している可能性の有無を診断する。そして、病気に罹患している可能性があると診断された株に関し、第2の診断手段が病気に罹患しているか否かを診断し、また、罹患している場合はその病気の種類と進行度を診断する。
【0089】
(9)実施形態では、飛行撮影中、ドローン100は継続的に撮影を行い、撮影された画像を表すデータは全て、一時的に記憶される。これに代えて、診断手段により、病気に罹患している、と診断された株に関してのみ、撮影を行い、撮影した画像を表すデータをサーバ405が記録してもよい。この場合、ドローン100のカメラはサーバ405の診断手段の診断結果に応じて、撮影の開始及び停止を行う。
【0090】
(10)ドローン100の地球における3次元位置を特定するための仕組みはRTK-GPS方式に限られない。例えば、DGPS方式が採用されてもよい。また、ドローン100の地球における3次元位置の測定結果の精度を高めるために、例えば音波を用いた測距等が行われてもよい。
【0091】
(11)実施形態では、第1の撮影手段として第1スペクトルカメラ512b及び第2スペクトルカメラ512cの複数のスペクトルカメラを用いる。これに代えて、第1の撮影手段を、赤色光を撮影する第1スペクトルカメラ512bのみで構成してもよい。また、第1の撮影手段を3台以上のスペクトルカメラで構成してもよい。
【0092】
(12)実施形態では、診断部712は第1スペクトルカメラ512bと第2スペクトルカメラ512cの各々から得られた画像の両方に基づいて農作物の病気への罹患に関する診断結果データを生成する。これに代えて、診断部712が、第1スペクトルカメラ512bから得られた画像のみに基づいて、又は、第2スペクトルカメラ512cから得られた画像のみに基づいて、農作物の病気への罹患に関する診断結果データを生成してもよい。また、第1の撮影手段が3台以上のスペクトルカメラで構成される場合、診断部712がこれら3台以上のスペクトルカメラから得られた画像に基づいて農作物の病気への罹患に関する診断結果データを生成してもよい。
【0093】
(13)実施形態では、CPU810により実現される飛行再撮影計画生成部814は、飛行再撮影を指示するに当たって、日射量センサ601及び降雨センサ602と通信を行い、日射量センサ601及び降雨センサ602から得られた情報に基づき、再撮影の条件が満たされているか否かの判断を行う。これに代えて、CPU810が既知の気象予報システムと通信を行い、気象予報システムから得られた気象予報情報に基づき、再撮影の条件が満たされているか否かの判断を行ってもよい。
【0094】
(14)実施形態では、第1の撮影手段とした第1スペクトルカメラ512bが画像の生成に用いる光の周波数帯は赤色光(例えば680nm付近の周波数帯)であり、もう一つの第1の撮影手段とした第2スペクトルカメラ512cが画像の生成に用いる光の周波数帯は近赤外光(例えば780nm付近の周波数帯)である。また、第2の撮影手段とした可視光カメラ512aが画像の生成に用いる光の周波数帯は可視光の全波長帯域である。第1の撮影手段が画像の生成に用いる光の周波数帯と第2の撮影手段が画像の生成に用いる光の周波数帯は、それらが異なっている限り、実施形態で採用されたものに限られない。なお、本願において、「周波数帯が異なる」とは、2つの周波数帯の上限及び下限の少なくとも一方が異なっていることを意味する。従って、第1の撮影手段が画像の生成に用いる光の周波数帯と第2の撮影手段が画像の生成に用いる光の周波数帯は、全く重なる帯域を持たなくてもよいし、一部重なる帯域を持ってもよいし、一方が他方の全てを含んでもよい。
【0095】
(15)上述した実施形態の説明において、診断部712(診断手段の一例)により病気に罹患されていると診断された農作物の作付位置(農作物の作付けの位置又は領域の一例)を特定する方法について言及しなかったが、例えば以下の方法により農作物の作付位置の特定が行われてもよい。
例えば、飛行撮影制御部713(作付位置特定手段の一例)は、第1スペクトルカメラ512b及び第2スペクトルカメラ512c(撮影手段の一例)が撮影を行い、農作物の画像(診断手段が診断に用いるデータの一例)を生成したタイミングにおいて、GPSモジュール504等の位置測定手段が測定した無人航空機の3次元位置と、6軸ジャイロセンサ505等の姿勢測定手段が測定した無人航空機の姿勢と、無人航空機を基準とする第1スペクトルカメラ512b及び第2スペクトルカメラ512cの撮影方向とに基づき、撮影された農作物の作付位置を特定する。
【符号の説明】
【0096】
401……ユーザ端末、402……農業従事者、403……圃場、404……基地局、405……サーバ、406……発着地点、100……ドローン、101……回転翼、501……データ処理装置、519……WiFi子機、504……GPSモジュール、505……6軸ジャイロセンサ、506……地磁気センサ、507……気圧センサ、508……レーザセンサ、509……ソナー、510……流量センサ、511……液切れセンサ、512a……可視光カメラ、512b……第1スペクトルカメラ、512c……第2スペクトルカメラ、513……障害物検知カメラ、514……スイッチ、515……障害物接触センサ、516……カバーセンサ、517……薬剤注入口センサ、102……モータ、106……ポンプ、107……LED、518……ブザー、520……スピーカ、521……警告灯、710,810……CPU、720,820……記憶部、711,811……通信処理部、712……診断部、713……飛行撮影制御部、714……飛行再撮影制御部、715……飛行散布制御部、721……飛行撮影計画、722,822……飛行再撮影計画、723,823……飛行散布計画、830……通信部、821……農作物マップ、812……記録部、813……マップ編集部、814……飛行再撮影計画生成部、815……飛行散布計画生成部、816……総合診断部、B01~B03,B10,B21,B22,B31……ソフトボタン、FP……農作物、Pa1,Pb1,Pc1,Pa2,Pb2,Pc2……農作物の画像、Dg1,Dg2……診断結果、F1……フェーダ。