(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-03-15
(45)【発行日】2022-03-24
(54)【発明の名称】センシングシステム、センシングデータ取得方法、及び制御装置
(51)【国際特許分類】
G01M 99/00 20110101AFI20220316BHJP
A01G 7/00 20060101ALI20220316BHJP
G01C 21/00 20060101ALI20220316BHJP
【FI】
G01M99/00 Z
A01G7/00 603
G01C21/00
(21)【出願番号】P 2021564206
(86)(22)【出願日】2020-11-27
(86)【国際出願番号】 JP2020044196
【審査請求日】2021-10-27
【早期審査対象出願】
(73)【特許権者】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(74)【代理人】
【識別番号】110000958
【氏名又は名称】特許業務法人 インテクト国際特許事務所
(74)【代理人】
【識別番号】100120189
【氏名又は名称】奥 和幸
(72)【発明者】
【氏名】中澤 満
(72)【発明者】
【氏名】滝澤 順
【審査官】福田 裕司
(56)【参考文献】
【文献】特開2017-090115(JP,A)
【文献】特開2018-021865(JP,A)
【文献】特開2019-041729(JP,A)
【文献】特開2019-095937(JP,A)
【文献】特開2018-173917(JP,A)
【文献】特開2019-033720(JP,A)
【文献】特開2003-006612(JP,A)
【文献】特開2020-027033(JP,A)
【文献】特開2016-123369(JP,A)
【文献】特開2020-140347(JP,A)
【文献】国際公開第2019/044663(WO,A1)
【文献】米国特許出願公開第2016/0216245(US,A1)
【文献】米国特許出願公開第2018/0156770(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01M 99/00
G01C 21/00
A01G 7/00
(57)【特許請求の範囲】
【請求項1】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、
前記第1のセンシングデータに含まれる植生活性度画像において活性度が閾値以下の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、
を備えることを特徴とするセンシングシステム。
【請求項2】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、
前記第1のセンシングデータに含まれるRGB画像において所定の適正な植物の色との差
異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、
を備えることを特徴とするセンシングシステム。
【請求項3】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、
前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータ
であって、前記対象領域における地中の水分量、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか1つに関するデータを含む前記第2のセンシングデータを取得する第2取得部と、
を備えることを特徴とするセンシングシステム。
【請求項4】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、
前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、
前記第2のセンシングデータに基づいて、前記対象領域に植物の異常が発生しているか否か判定する判定部と、
を備えることを特徴とするセンシングシステム。
【請求項5】
前記第2のセンシングデータを、
前記植物の管理者が有する端末へ送信する送信部をさらに備えることを特徴とする請求項
4に記載のセンシングシステム。
【請求項6】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、
前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
ホバリング状態にある前記飛行体により行われる前記センシングの範囲内に前記走行体を移動させた後に、連続的に取得される前記第1のセンシングデータから、前記走行体と前記対象領域との位置関係を取得し続け、前記走行体を前記対象領域に向けて移動させるための移動制御を行う制御部と、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、
を備えることを特徴とするセンシングシステム。
【請求項7】
前記飛行体は予め定められた飛行ルートを移動しながら前記センシングを行うものであり、
前記抽出部により前記対象領域が抽出された場合、前記制御部は、前記ルートに沿った移動を前記飛行体に中断させて前記ホバリング状態に移行させることを特徴とする請求項
6に記載のセンシングシステム。
【請求項8】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、
前記第1のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出する抽出部と、
前記対象領域に向けて前記走行体が移動する前に、前記走行体が地上をセンシングすることにより得られた第3のセンシングデータを取得する第3取得部と、
前記第1のセンシングデータと前記第3のセンシングデータとに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、
を備えることを特徴とするセンシングシステム。
【請求項9】
前記制御部は、前記第1のセンシングデータと前記第3のセンシングデータとをマッチングすることにより前記第3のセンシングデータから検出された前記対象領域に向けて前記走行体を移動させるための移動制御を行うことを特徴とする請求項
8に記載のセンシングシステム。
【請求項10】
前記第2のセンシングデータに基づいて、前記対象領域に関する情報を表示端末に表示させる表示制御部をさらに備えることを特徴とする請求項1乃至
9の何れか一項に記載のセンシングシステム。
【請求項11】
前記第2のセンシングデータは、前記対象領域における地中に挿入されたセンサを用いて取得される請求項1乃至
10の何れか一項に記載のセンシングシステム。
【請求項12】
前記制御部は、前記対象領域の全体についてのデータが前記第2のセンシングデータに含まれるように、前記走行体を移動させながら、当該走行体に前記対象領域を連続して複数回センシングさせることを特徴とする請求項1乃至
11の何れか一項に記載のセンシングシステム。
【請求項13】
前記対象領域と前記飛行体との間の距離は、前記対象領域と前記走行体との間の距離より大きいことを特徴とする請求項1乃至
12の何れか一項に記載のセンシングシステム。
【請求項14】
前記飛行体により行われる前記センシングの範囲は、前記走行体により行われる前記センシングの範囲より広いことを特徴とする請求項1乃至
13の何れか一項に記載のセンシングシステム。
【請求項15】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得するステップと、
前記第1のセンシングデータに含まれる植生活性度画像において活性度が閾値以下の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、
前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得するステップと、
を含むことを特徴とするセンシングデータ取得方法。
【請求項16】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得するステップと、
前記第1のセンシングデータに含まれるRGB画像において所定の適正な植物の色との差
異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、
前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得するステップと、
を含むことを特徴とするセンシングデータ取得方法。
【請求項17】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得するステップと、
前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、
前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータ
であって、前記対象領域における地中の水分量、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか1つに関するデータを含む前記第2のセンシングデータを取得するステップと、
を含むことを特徴とするセンシングデータ取得方法。
【請求項18】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得するステップと、
前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、
前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得するステップと、
前記第2のセンシングデータに基づいて、前記対象領域に植物の異常が発生しているか否か判定するステップと、
を含むことを特徴とするセンシングデータ取得方法。
【請求項19】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得するステップと、
前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、
ホバリング状態にある前記飛行体により行われる前記センシングの範囲内に前記走行体を移動させた後に、連続的に取得される前記第1のセンシングデータから、前記走行体と前記対象領域との位置関係を取得し続け、前記走行体を前記対象領域に向けて移動させるための移動制御を行うステップと、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得するステップと、
を含むことを特徴とするセンシングデータ取得方法。
【請求項20】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得するステップと、
前記第1のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出するステップと、
前記対象領域に向けて前記走行体が移動する前に、前記走行体が地上をセンシングすることにより得られた第3のセンシングデータを取得するステップと、
前記第1のセンシングデータと前記第3のセンシングデータとに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得するステップと、
を含むことを特徴とするセンシングデータ取得方法。
【請求項21】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、
前記第1のセンシングデータに含まれる植生活性度画像において活性度が閾値以下の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、
を備えることを特徴とする制御装置。
【請求項22】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、
前記第1のセンシングデータに含まれるRGB画像において所定の適正な植物の色との差
異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、
を備えることを特徴とする制御装置。
【請求項23】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、
前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータ
であって、前記対象領域における地中の水分量、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか1つに関するデータを含む前記第2のセンシングデータを取得する第2取得部と、
を備えることを特徴とする制御装置。
【請求項24】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、
前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、
前記第2のセンシングデータに基づいて、前記対象領域に植物の異常が発生しているか否か判定する判定部と、
を備えることを特徴とする制御装置。
【請求項25】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、
前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
ホバリング状態にある前記飛行体により行われる前記センシングの範囲内に前記走行体を移動させた後に、連続的に取得される前記第1のセンシングデータから、前記走行体と前記対象領域との位置関係を取得し続け、前記走行体を前記対象領域に向けて移動させるための移動制御を行う制御部と、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、
を備えることを特徴とする制御装置。
【請求項26】
空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、
前記第1のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出する抽出部と、
前記対象領域に向けて前記走行体が移動する前に、前記走行体が地上をセンシングすることにより得られた第3のセンシングデータを取得する第3取得部と、
前記第1のセンシングデータと前記第3のセンシングデータとに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、
を備えることを特徴とする制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
飛行体が上空から地上をセンシングすることにより得られるセンシングデータを取得するシステム等の技術分野に関する。
【背景技術】
【0002】
近年、飛行体を用いて上空から撮影等のセンシングを行うことが一般化しつつある。例えば、特許文献1には、産業用無人ヘリコプタに搭載されたビデオカメラから圃場全体を撮影して画像と自然光の反射率を示すデータを取得することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したように飛行体を用いることで、比較的広い範囲を俯瞰的にセンシングすることが可能である。しかし、比較的狭い範囲が精微にセンシングされる場合、飛行体を用いるセンシングが好適であるとは言い難い。例えば、飛行体ができるだけ地面に近い位置からセンシングするために低空飛行を行うと、地面効果が発生して飛行体が不安定になる可能性がある。また、飛行体が着陸した状態でセンシングすることも可能ではあるが、この場合、飛行体の安定性の観点に加えて、エネルギー消費の観点からも好ましくない。また、飛行体が上空から高倍率のセンサを用いてセンシングする場合、滞空時のわずかな振動でも、倍率に応じた影響を与えてしまうため精微なセンシングは難しい。
【0005】
そこで、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮された好適なセンシングデータを取得することが可能なセンシングシステム、センシングデータ取得方法、及び制御装置を提供する。
【課題を解決するための手段】
【0006】
上記課題を解決するために、請求項1に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、前記第1のセンシングデータに含まれる植生活性度画像において活性度が閾値以下の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、を備えることを特徴とする。これにより、対象領域を迅速に発見して調査するために、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮された好適なセンシングデータを取得することができる。
【0007】
請求項2に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、前記第1のセンシングデータに含まれるRGB画像において所定の適正な植物の色との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、を備えることを特徴とする。これにより、対象領域を迅速に発見して調査するために、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮された好適なセンシングデータを取得することができる。
【0008】
請求項3に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータであって、前記対象領域における地中の水分量、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか1つに関するデータを含む前記第2のセンシングデータを取得する第2取得部と、を備えることを特徴とする。これにより、対象領域を迅速に発見して調査するために、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮された好適なセンシングデータを取得することができ、植物や土壌の状態を、より精微に観測することができる。
【0009】
請求項4に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、前記第2のセンシングデータに基づいて、前記対象領域に植物の異常が発生しているか否か判定する判定部と、を備えることを特徴とする。これにより、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮されたセンシングデータを利用して、対象領域に植物の異常が発生しているかを迅速且つ高精度に判定することができる。請求項5に記載の発明は、請求項4に記載のセンシングシステムにおいて、前記第2のセンシングデータを、前記植物の管理者が有する端末へ送信する送信部をさらに備えることを特徴とする。これにより、管理者は第2のセンシングデータを確認し、植物に異常が発生しているかどうかをより詳しく調査することができる。
【0010】
請求項6に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、ホバリング状態にある前記飛行体により行われる前記センシングの範囲内に前記走行体を移動させた後に、連続的に取得される前記第1のセンシングデータから、前記走行体と前記対象領域との位置関係を取得し続け、前記走行体を前記対象領域に向けて移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、を備えることを特徴とする。これにより、走行体を正確に対象領域に誘導することができる。請求項7に記載の発明は、請求項6に記載のセンシングシステムにおいて、前記飛行体は予め定められた飛行ルートを移動しながら前記センシングを行うものであり、前記抽出部により前記対象領域が抽出された場合、前記制御部は、前記ルートに沿った移動を前記飛行体に中断させて前記ホバリング状態に移行させることを特徴とする。これにより、走行体をより正確に対象領域に誘導することができる。
【0011】
請求項8に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、前記第1のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出する抽出部と、前記対象領域に向けて前記走行体が移動する前に、前記走行体が地上をセンシングすることにより得られた第3のセンシングデータを取得する第3取得部と、前記第1のセンシングデータと前記第3のセンシングデータとに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、を備えることを特徴とする。これにより、走行体を正確に対象領域に誘導することができる。請求項9に記載の発明は、請求項8に記載のセンシングシステムにおいて、前記制御部は、前記第1のセンシングデータと前記第3のセンシングデータとをマッチングすることにより前記第3のセンシングデータから検出された前記対象領域に向けて前記走行体を移動させるための移動制御を行うことを特徴とする。これにより、走行体をより正確に対象領域に誘導することができる。
【0012】
請求項10に記載の発明は、請求項1乃至9の何れか一項に記載のセンシングシステムにおいて、前記第2のセンシングデータに基づいて、前記対象領域に関する情報を表示端末に表示させる表示制御部をさらに備えることを特徴とする。これにより、抽出された対象領域に関する情報を管理者に視覚的に把握させることができる。
【0013】
請求項11に記載の発明は、請求項1乃至10の何れか一項に記載のセンシングシステムにおいて、前記第2のセンシングデータは、前記対象領域における地中に挿入されたセンサを用いて取得されることを特徴とする。これにより、植物や土壌の状態を、より精微に観測することができる。
【0015】
請求項12に記載の発明は、請求項1乃至11の何れか一項に記載のセンシングシステムにおいて、前記制御部は、前記対象領域の全体についてのデータが前記第2のセンシングデータに含まれるように、前記走行体を移動させながら、当該走行体に前記対象領域を連続して複数回センシングさせることを特徴とする。これにより、対象領域の全体が例えばカメラの画角に収まらない場合であっても、対象領域の全体について第2のセンシングデータを得ることができる。
【0020】
請求項13に記載の発明は、請求項1乃至12の何れか一項に記載のセンシングシステムにおいて、前記対象領域と前記飛行体との間の距離は、前記対象領域と前記走行体との間の距離より大きいことを特徴とする。
【0021】
請求項14に記載の発明は、請求項1乃至13の何れか一項に記載のセンシングシステムにおいて、前記飛行体により行われる前記センシングの範囲は、前記走行体により行われる前記センシングの範囲より広いことを特徴とする。
【0022】
請求項15に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得するステップと、前記第1のセンシングデータに含まれる植生活性度画像において活性度が閾値以下の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得するステップと、を含むことを特徴とする。請求項16に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得するステップと、前記第1のセンシングデータに含まれるRGB画像において所定の適正な植物の色との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得するステップと、を含むことを特徴とする。請求項17に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得するステップと、前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータであって、前記対象領域における地中の水分量、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか1つに関するデータを含む前記第2のセンシングデータを取得するステップと、を含むことを特徴とする。請求項18に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得するステップと、前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得するステップと、前記第2のセンシングデータに基づいて、前記対象領域に植物の異常が発生しているか否か判定するステップと、を含むことを特徴とする。請求項19に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得するステップと、前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、ホバリング状態にある前記飛行体により行われる前記センシングの範囲内に前記走行体を移動させた後に、連続的に取得される前記第1のセンシングデータから、前記走行体と前記対象領域との位置関係を取得し続け、前記走行体を前記対象領域に向けて移動させるための移動制御を行うステップと、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得するステップと、を含むことを特徴とする。請求項20に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得するステップと、前記第1のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出するステップと、前記対象領域に向けて前記走行体が移動する前に、前記走行体が地上をセンシングすることにより得られた第3のセンシングデータを取得するステップと、前記第1のセンシングデータと前記第3のセンシングデータとに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得するステップと、を含むことを特徴とする。
【0023】
請求項21に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、前記第1のセンシングデータに含まれる植生活性度画像において活性度が閾値以下の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、を備えることを特徴とする。請求項22に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、前記第1のセンシングデータに含まれるRGB画像において所定の適正な植物の色との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、を備えることを特徴とする。請求項23に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、前記第1のセンシングデータに含まれるRGB画像において所定の適正な植物の色との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータであって、前記対象領域における地中の水分量、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか1つに関するデータを含む前記第2のセンシングデータを取得する第2取得部と、を備えることを特徴とする。請求項24に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、前記第2のセンシングデータに基づいて、前記対象領域に植物の異常が発生しているか否か判定する判定部と、を備えることを特徴とする制御装置。請求項25に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、前記第1のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、ホバリング状態にある前記飛行体により行われる前記センシングの範囲内に前記走行体を移動させた後に、連続的に取得される前記第1のセンシングデータから、前記走行体と前記対象領域との位置関係を取得し続け、前記走行体を前記対象領域に向けて移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、を備えることを特徴とする。請求項26に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第1のセンシングデータを取得する第1取得部と、前記第1のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出する抽出部と、前記対象領域に向けて前記走行体が移動する前に、前記走行体が地上をセンシングすることにより得られた第3のセンシングデータを取得する第3取得部と、前記第1のセンシングデータと前記第3のセンシングデータとに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第2のセンシングデータを取得する第2取得部と、を備えることを特徴とする。
【発明の効果】
【0024】
本発明の一実施形態によれば、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮された好適なセンシングデータを取得することができる。
【図面の簡単な説明】
【0025】
【
図1】センシングシステムSの概要構成例を示す図である。
【
図3】制御部15における機能ブロック例を示す図である。
【
図5】制御部25における機能ブロック例を示す図である。
【
図6】UAV1により行われる遠距離センシングの範囲と、UGV2により行われる近距離センシングの範囲との関係を示す図である。
【
図8】制御部33における機能ブロック例を示す図である。
【
図9】実施例1においてUAV1、UGV2、及び管理サーバ3の間で実行される処理の一例を示すシーケンス図である。
【
図10】実施例2においてUAV1、UGV2、及び管理サーバ3の間で実行される処理の一例を示すシーケンス図である。
【
図11】実施例3においてUAV1、UGV2、及び管理サーバ3の間で実行される処理の一例を示すシーケンス図である。
【
図12】実施例4においてUAV1、UGV2、及び管理サーバ3の間で実行される処理の一例を示すシーケンス図である。
【
図13】実施例5においてUAV1、UGV2、及び管理サーバ3の間で実行される処理の一例を示すシーケンス図である。
【発明を実施するための形態】
【0026】
以下、図面を参照して本発明の一実施形態について説明する。
【0027】
[
1.センシングシステムSの構成]
先ず、
図1を参照して、本発明の一実施形態に係るセンシングシステムSの構成について説明する。
図1は、センシングシステムSの概要構成例を示す図である。
図1に示すように、センシングシステムSは、無人航空機(以下、「UAV(Unmanned Aerial Vehicle)」と称する)1、無人地上機(以下、UGV(Unmanned Ground Vehicle)と称する)2、及び管理サーバ3を含んで構成される。UAV1及びUGV2は、それぞれ、管理サーバ3との間で通信ネットワークNWを介して互いに通信可能になっている。通信ネットワークNWは、例えば、インターネット、移動体通信ネットワーク及びその無線基地局等から構成される。
【0028】
なお、UAV1は、飛行体の一例であり、ドローン、またはマルチコプタとも呼ばれる。UAV1は、地上からオペレータによる遠隔操縦に従って飛行、または自律的に飛行することが可能になっている。また、UAV1は、GCS(Ground Control Station)により管理される。GCSは、例えば、アプリケーションとしてオペレータにより操作される操縦端末に搭載されてもよいし、管理サーバ3などのサーバにより構成されてもよい。
【0029】
一方、UGV2は、無人で地上を自律的に走行可能な走行体の一例である。ここで、走行とは地面(植物上や障害物上を含んでもよい)を移動することをいい、飛行とは区別される。また、移動とは時系列で現在位置が変化することをいう。UGV2は、複数の車輪を有する車両であってもよいし、車輪を有しないロボット(例えば、2足歩行ロボット)等であってもよい。
【0030】
[
1-1.UAV1の構成及び機能]
次に、
図2及び
図3を参照して、UAV1の構成及び機能について説明する。
図2は、UAV1の概要構成例を示す図である。
図2に示すように、UAV1は、駆動部11、無線通信部12、センサ部13、測位部14、及び制御部15等を備える。
図3は、制御部15における機能ブロック例を示す図である。なお、図示しないが、UAV1は、水平回転翼であるロータ(プロペラ)、及びUAV1の各部へ電力を供給するバッテリを備える。
【0031】
駆動部11は、モータ及び回転軸等を備える。駆動部11は、制御部15から出力された制御信号に従って駆動するモータ及び回転軸等により複数のロータを回転させる。無線通信部12は、通信ネットワークNWを介して管理サーバ3との間で行われる通信の制御を担う。また、無線通信部12は、Bluetooth(登録商標)等の近距離無線通信機能を備えてもよい。
【0032】
センサ部13は、UAV1の飛行制御のために必要な各種センサを備える。各種センサには、例えば、光学センサ、3軸角速度センサ、3軸加速度センサ、及び地磁気センサ等が含まれる。センサ部13により検出された検出データは、制御部15へ出力される。光学センサは、例えばカメラ(RGBカメラや赤外線カメラ)により構成され、空中から下方を俯瞰的にセンシング(以下、「遠距離センシング(第1のセンシングの一例)」という)するためにも用いられる。
【0033】
ここで、遠距離センシングには、空中のUAV1の下方においてセンシング可能な範囲(例えばカメラの画角に収まる範囲)内の地表を撮像することにより地表の状態(例えば、植物や土壌の状態)を観測することが含まれる。なお、光学センサには、後述するマップ画像の作成のために、LiDAR(Light Detection and Ranging、あるいはLaser Imaging Detection and Ranging)が含まれるとよい。
【0034】
遠距離センシングの対象となる領域(以下、「センシング領域」という)は、上空からセンシングすることが必要な広い領域である。特に、地面から生えている植物の手入れ(換言すると、維持管理)が重要となる領域をセンシング領域とするとよい。センシング領域の例として、芝生が育成されるゴルフ場や球技場、或いは、農作物等が育成される圃場などが挙げられる。
【0035】
遠距離センシングは、例えばUAV1がセンシング領域に到着したとき、または、センシング領域内外における飛行ルートを飛行しながら1回以上行われる。遠距離センシングの精度を高めるためには、時系列で連続的に行われるとよく、遠距離センシングの時間間隔は、一定間隔であってもよいし、不定間隔であってもよい。
【0036】
測位部14は、電波受信機及び高度センサ等を備える。測位部14は、例えば、GNSS(Global Navigation Satellite System)の衛星から発信された電波を電波受信機により受信し、当該電波に基づいてUAV1の水平方向の現在位置(緯度及び経度)を検出する。UAV1の現在位置は、飛行中のUAV1の飛行位置である。
【0037】
なお、UAV1の水平方向の現在位置は、光学センサにより撮像された画像や上記無線基地局から発信された電波に基づいて補正されてもよい。測位部14により検出された現在位置を示す位置情報は、制御部15へ出力される。さらに、測位部14は、気圧センサ等の高度センサによりUAV1の垂直方向の現在位置(高度)を検出してもよい。この場合、位置情報には、UAV1の高度を示す高度情報が含まれる。
【0038】
制御部15は、プロセッサであるCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、及び不揮発性メモリ等を備える。制御部15は、例えばROMまたは不揮発性メモリに記憶されたプログラム(プログラムコード群)に従って、
図3に示すように、センシング制御部15a、センシングデータ取得部15b(第1取得部の一例)、及び飛行制御部15cとして機能する。なお、制御部15は、UAV1が飛行中、UAV1の位置情報及び飛行体IDを、無線通信部12に管理サーバ3(またはGCSを介して管理サーバ3)へ逐次送信させる。この飛行体IDは、UAV1を識別可能な識別情報である。
【0039】
センシング制御部15aは、センサ部13により行われる遠距離センシングのタイミングを制御する。遠距離センシングのタイミングは、上記プログラムに予め規定されてもよいし、GCSまたは管理サーバ3からのセンシング制御命令に示されてもよい。
【0040】
センシングデータ取得部15bは、遠距離センシングにより得られた遠距離センシングデータ(第1のセンシングデータの一例)を取得する。遠距離センシングデータは、無線通信部12により管理サーバ3へ送信され、UGV2によりセンシングされるべき対象領域を抽出するために利用される。かかる対象領域の一例として、UAV1の下方において植物や土壌の異常が発生している蓋然性の高い領域が挙げられる。
【0041】
ここで、「UAV1の下方において」とは、「遠距離センシング時にUAV1の下方であった領域において」を意味する。これは、UAV1による遠距離センシング時にはUAV1の下方であっても、対象領域の抽出が行われる時点ではUAV1が移動している可能性があるからである。遠距離センシングデータは、センサ部13から出力された生の検出データであってもよいし、当該出力された生の検出データに基づいて解析処理されたデータであってもよい。
【0042】
また、遠距離センシングデータは、例えば、地表のRGB画像、植生活性度画像、及びサーマル画像(温度分布画像)などのうち少なくとも1つのマップ画像を構成するデータである。ここで、植生活性度画像は、芝生や農作物などの植物の有無及び多さを色分けして表示した画像である。活性度(植生活性度)は、NDVI(Normalized Difference Vegetation Index)により表されてもよい。
【0043】
NDVIとは、植物の健康状態と、可視域から近赤外域の各波長の反射率との関係を示す値(指標)である。例えば、植物は可視域の電波を吸収する一方、近赤外域の電波を強く反射する特性を持つので、NDVIが高いほど健康な状態であることを意味する。上記マップ画像における各画素値(例えば、RGB値、活性度、または温度に相当し、これらは測定値である)には、位置情報が対応付けられる。かかる位置情報(つまり、遠距離センシングデータにおける位置情報)は、例えば、UAV1の水平方向の現在位置を示す位置情報、及びSLAM(Simultaneous Localization and Mapping)処理(マップ生成と自己位置推定を同時に行う処理)により特定される。
【0044】
飛行制御部15cは、センシング領域内外においてUAV1を飛行させるための飛行制御を行う。かかる飛行制御においては、センサ部13からの検出データ、測位部14からの位置情報、及び管理サーバ3からの飛行制御情報等が用いられて、ロータの回転数の制御、UAV1の位置、姿勢及び進行方向の制御が行われる。ここで、飛行制御情報には、例えば、飛行ルートに沿った飛行命令が含まれる。飛行ルートは、例えば管理サーバ3により予め定められる。飛行制御情報により、UAV1は、飛行ルートを飛行しながら遠距離センシングを行うことができる。
【0045】
なお、UAV1を飛行させることには、UAV1をホバリングさせることを含む。ここで、ホバリングさせるとは、UAV1を空中で完全に静止させることに限定されず、UAV1が多少の移動(つまり、水平方向、垂直方向、または斜め方向に移動)が発生してもよい(つまり、UAV1が着陸せず空中に浮いていればよい)。
【0046】
飛行制御部15cにより、センシング領域内外においてUAV1を遠隔操縦または自律的に飛行させることができる。なお、UAV1の自律的な飛行は、飛行制御部15cが飛行制御を行うことによる自律飛行に限定されるものではなく、UAV1の自律的な飛行には、例えばセンシングシステムS全体として飛行制御を行うことによる自律飛行も含まれる。
【0047】
[
1-2.UGV2の構成及び機能]
次に、
図4~
図6を参照して、UGV2の構成及び機能について説明する。
図4は、UGV2の概要構成例を示す図である。
図4に示すように、UGV2は、駆動部21、無線通信部22、センサ部23、測位部24、及び制御部25等を備える。
図5は、制御部25における機能ブロック例を示す図である。なお、図示しないが、UGV2は、UGV2の各部へ電力を供給するバッテリを備える。
駆動部21は、モータ及び回転軸等を備える。駆動部21は、制御部25から出力された制御信号に従って駆動するモータ及び回転軸等により複数の車輪を回転させる。無線通信部22は、通信ネットワークNWを介して管理サーバ3との間で行われる通信の制御を担う。また、無線通信部22は、Bluetooth(登録商標)等の近距離無線通信機能を備えてもよい。
【0048】
センサ部23は、UGV2の移動制御のために必要な各種センサを備える。各種センサには、例えば、光学センサが含まれる。センサ部23により検出された検出データは、制御部25へ出力される。光学センサは、例えばカメラにより構成され、遠距離センシングデータに基づいて抽出された対象領域の全体または一部分を精微にセンシング(以下、「近距離センシング(第2のセンシングの一例)」という)するためにも用いられる。
【0049】
ここで、近距離センシングには、センシング可能な範囲内の対象領域における地表を撮像することにより地表の状態(例えば、植物や土壌の状態)を観測することが含まれる。なお、光学センサには、マップ画像の作成のためにLiDARが含まれるとよい。
図6は、UAV1により行われる遠距離センシングの範囲(つまり、センシング可能な範囲)と、UGV2により行われる近距離センシングの範囲との関係を示す図である。
図6に示すように、センシング領域(例えばゴルフ場)A1において行われる遠距離センシングの範囲R1は、対象領域A2において行われる近距離センシングの範囲R2よりも広くなっている。
【0050】
また、
図6の例では、近距離センシングの範囲R2は対象領域A2よりも広くなっている(つまり、近距離センシングの範囲R2内に対象領域A2が含まれている)が、近距離センシングの範囲R2が対象領域A2よりも狭い(例えば、対象領域A2の全体がカメラの画角に収まらない)場合もある。この場合、対象領域A2は連続して複数回、近距離センシングされることで対象領域A2全体がセンシングされるとよい。なお、例えば近距離センシングの時点において、対象領域A1とUAV1との間の距離は、対象領域A2とUGV2との間の距離より大きく(長く)なっている。
【0051】
また、センサ部23には、土壌センサが含まれてもよい。この場合、近距離センシングには、対象領域における地中の水分量(含水率)、温度、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか1つを計測することが含まれる。かかる近距離センシングにより植物や土壌の状態を精微に観測することができる。また、UGV2には、対象領域における地中に土壌センサを挿入するためのアーム(例えば、油圧アーム)が備えられる。かかるアームは駆動部21により駆動する。
【0052】
近距離センシングは、例えばUGV2が対象領域の近傍または対象領域内に到着したときに1回以上行われる。近距離センシングの精度を高めるためには、時系列で連続的に行われるとよく、近距離センシングの時間間隔は、一定間隔であってもよいし、不定間隔であってもよい。
【0053】
なお、対象領域に向けてUGV2が移動する前に、光学センサにより地上のセンシングが行われてもよい。かかるセンシングを、「地上センシング(第3のセンシングの一例)」という。
【0054】
測位部24は、電波受信機等を備える。測位部24は、例えば、GNSSの衛星から発信された電波を電波受信機により受信し、当該電波に基づいてUGV2の現在位置(緯度及び経度)を検出する。なお、UGV2の現在位置は、GNSSの衛星から発信された電波に加えて、SLAM処理により特定されてもよい。また、UGV2の現在位置は、光学センサにより撮像された画像に基づいて補正されてもよい。測位部24により検出された現在位置を示す位置情報は、制御部25へ出力される。
【0055】
制御部25は、CPU、ROM、RAM、及び不揮発性メモリ等を備える。制御部25は、例えばROMまたは不揮発性メモリに記憶されたプログラム(プログラムコード群)に従って、
図5に示すように、センシング制御部25a、センシングデータ取得部25b(第2取得部及び第3取得部の一例)、及び移動制御部25cとして機能する。なお、制御部25は、UGV2の位置情報及び走行体IDを、無線通信部22に管理サーバ3へ逐次送信させる。この走行体IDは、UGV2を識別可能な識別情報である。
【0056】
センシング制御部25aは、センサ部23により行われる近距離センシング及び地上センシングそれぞれのタイミングを制御する。近距離センシング及び地上センシングのタイミングは、上記プログラムに予め規定されてもよいし、管理サーバ3からのセンシング制御命令に示されてもよい。
【0057】
センシングデータ取得部25bは、近距離センシングにより得られた近距離センシングデータ(第2のセンシングデータの一例)を取得する。近距離センシングデータは、無線通信部22により管理サーバ3へ送信され、例えば、遠距離センシングデータに基づいて抽出された対象領域において異常が発生しているか否かを判定するために利用される。近距離センシングデータは、センサ部23から出力された生の検出データであってもよいし、当該出力された生の検出データに基づいて解析処理されたデータであってもよい。
【0058】
また、近距離センシングデータは、対象領域における地表のRGB画像、植生活性度画像、及びサーマル画像などのうち少なくとも1つのマップ画像を構成するデータであるとよい。当該マップ画像における各画素値(例えば、RGB値、活性度、または温度に相当)には、位置情報が対応付けられる。かかる位置情報(つまり、近距離センシングデータにおける位置情報)は、例えば、UGV2の現在位置を示す位置情報、及びSLAM処理により特定される。
【0059】
また、センサ部23に土壌センサが含まれる場合(つまり、近距離センシングデータが地中に挿入された土壌センサを用いて取得される場合)、当該近距離センシングデータには、対象領域における地中の水分量、温度、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか1つに関するデータが含まれる。かかるデータには上記位置情報が対応付けられるとよい。なお、センシングデータ取得部25bは、地上センシングにより得られた地上センシングデータ(第3のセンシングデータの一例)を取得してもよい。地上センシングデータは、無線通信部22により管理サーバ3へ送信される。
【0060】
移動制御部25cは、対象領域に向けてUGV2を移動させるための移動制御を行う。かかる移動制御においては、センサ部23からの検出データ、測位部24からの位置情報、及び管理サーバ3からの移動制御情報等が用いられて、車輪の回転数の制御、UGV2の位置及び進行方向の制御が行われる。ここで、移動制御情報には、例えば、UGV2を対象領域に向けて移動させる移動命令が含まれる。移動制御部25cにより、対象領域に向けてUGV2を移動させることができる。そして、移動制御にしたがって移動したUGV2がセンサ部23により対象領域の全体または一部分をセンシングすることができる。
【0061】
[
1-3.管理サーバ3の構成及び機能]
次に、
図7及び
図8を参照して、管理サーバ3の構成及び機能について説明する。
図7は、管理サーバ3の概要構成例を示す図である。
図7に示すように、管理サーバ3は、通信部31、記憶部32、及び制御部33等を備える。
図8は、制御部33における機能ブロック例を示す図である。通信部31は、通信ネットワークNWを介して、UAV1及びUGV2のそれぞれとの間で行われる通信の制御を担う。UAV1から送信された遠距離センシングデータ、UAV1の位置情報及び飛行体IDは、通信部31により受信される。管理サーバ3は、UAV1の位置情報によりUAV1の現在位置を認識することができる。
【0062】
また、UGV2から送信された近距離センシングデータ、地上センシングデータ、UGV2の位置情報及び飛行体IDは、通信部31により受信される。管理サーバ3は、UGV2の位置情報によりUGV2の現在位置を認識することができる。記憶部32は、例えば、ハードディスクドライブ等を備える。記憶部32には、センシングデータベース(DB)32aが設けられる。
【0063】
センシングデータベース32aには、センシング領域の位置情報、当該センシング領域における遠距離センシングにより得られた遠距離センシングデータ、当該遠距離センシングを行ったUAV1の飛行体ID、当該センシング領域から抽出された対象領域の位置情報、当該対象領域における近距離センシングにより得られた近距離センシングデータ、及び当該近距離センシングを行ったUGV2の走行体ID等が対象領域毎に対応付けられて格納される。ここで、センシング領域の位置情報は、当該センシング領域の外縁の緯度及び経度を示すものであってよい。同様に、対象領域の位置情報は、当該対象領域の外縁の緯度及び経度を示すものであってよい。なお、センシング領域の位置情報に対して、当該センシング領域に関わる管理者等の認証用情報(ID及びパスワード)及び電子メールアドレスが対応付けられて記憶部32に記憶されてもよい。
【0064】
制御部33は、プロセッサであるCPU、ROM、RAM、及び不揮発性メモリ等を備える。制御部33は、例えばROMまたは不揮発性メモリに記憶されたプログラム(プログラムコード群)に従って、
図8に示すように、センシングデータ取得部33a(第1取得部、第2取得部、及び第3取得部の一例)、対象領域抽出部33b(抽出部の一例)、機体制御部33c、異常判定部33d(判定部の一例)、及び情報提供部33e(表示制御部、及び送信部の一例)等として機能する。
【0065】
センシングデータ取得部33aは、UAV1から送信された遠距離センシングデータを、通信部31を介して取得する。また、センシングデータ取得部33aは、UGV2から送信された近距離センシングデータを、通信部31を介して取得する。また、センシングデータ取得部33aは、UGV2から送信された地上センシングデータを、通信部31を介して取得する。
【0066】
対象領域抽出部33bは、センシングデータ取得部33aにより取得された遠距離センシングデータに基づいて、UGV2によりセンシングされる対象領域を抽出する。例えば、対象領域抽出部33bは、遠距離センシングデータに基づいて、UAV1の下方であった領域において異常が発生している蓋然性の高い領域(異常候補領域)を対象領域として抽出する。このような対象領域は、遠距離センシングデータに含まれる植生活性度画像における活性度に基づいて抽出されるとよい。これにより、植物の異常が発生している蓋然性の高い領域を迅速に発見することができる。例えば、植生活性度画像において活性度が閾値以下の領域が対象領域として抽出される。
【0067】
或いは、当該対象領域は、遠距離センシングデータに含まれるRGB画像におけるRGB値に基づいて抽出されてもよい。例えば、RGB画像において所定の適正な植物の色(RGB値)との差異が閾値以上の領域が対象領域として抽出される。或いは、当該対象領域は、遠距離センシングデータに含まれるサーマル画像における温度に基づいて抽出されてもよい。例えば、サーマル画像において所定の適正温度との差異が閾値以上の領域が対象領域として抽出される。なお、植生活性度画像における活性度、RGB画像におけるRGB値、及びサーマル画像における温度のうちの何れか2つ以上の測定値に基づいて対象領域が抽出されてもよい。
【0068】
機体制御部33cは、センシング領域内外においてUAV1を飛行させるための飛行制御を行うことが可能である。例えば、機体制御部33cは、飛行制御情報を通信部31によりUAV1へ送信させることでUAV1の飛行を制御する。また、機体制御部33cは、対象領域抽出部33bにより対象領域が抽出された対象領域に向けてUGV2を移動させるための移動制御を行うことが可能である。例えば、機体制御部33cは、移動制御情報を通信部31によりUGV2へ送信させることでUGV2の移動を制御する。
【0069】
UGV2の移動制御は、UAV1の位置情報と、UAV1からの遠距離センシングデータ(例えば、RGB画像)に基づいて行われてもよい。例えば、機体制御部33cは、対象領域抽出部33bにより抽出された対象領域に向けてUGV2を移動させる前に、UAV1の位置情報に基づいて、UAV1により行われる遠距離センシングの範囲(例えば、UAV1のカメラの撮影範囲)内にUGV2を移動させる。つまり、機体制御部33cは、UGV2をUAV1のある程度近まで移動させる。このとき、UAV1が遠距離センシングを行うことにより得られた遠距離センシングデータと、UGV2が地上センシングを行うことにより得られた地上センシングデータとがセンシングデータ取得部33aにより取得される。
【0070】
機体制御部33cは、このとき取得された遠距離センシングデータと地上センシングデータとに基づいて、対象領域に向けてUGV2を移動させるための移動制御を行う。例えば、機体制御部33cは、遠距離センシングデータと地上センシングデータとをマッチングすることにより地上センシングデータから検出された対象領域に向けてUGV2を移動させるための移動制御を行う。これにより、UGV2をより正確に対象領域に誘導することができる。
【0071】
なお、遠距離センシングデータと地上センシングデータとのマッチングは、例えば、遠距離センシングデータに含まれるマップ画像(例えば、RGB画像)中の幾つかの特徴点のそれぞれに対応する特徴点(例えば、一致度が最も大きい特徴点)を地上センシングデータに含まれるマップ画像から抽出することにより行われる。なお、UAV1は、UGV2がカメラによりビューイングするであろう側から対象領域にカメラを向けて遠距離センシング(例えば、撮像)を行うことで、よりマッチングし易くすることができる。
【0072】
また、対象領域抽出部33bにより対象領域が抽出された場合、機体制御部33cは、UAV1に移動(例えば飛行ルートに沿った移動)を中断させてホバリング状態に移行させる制御を行ってもよい。例えば、対象領域抽出部33bは、UAV1を対象領域の上空でホバリングさせる。そして、機体制御部33cは、ホバリング状態にあるUAV1により行われる遠距離センシングの範囲(例えば、UAV1のカメラの撮影範囲)内にUGV2を移動させる。なお、UAV1の真下付近にUGV2を移動させてもよい。
【0073】
その後、機体制御部33cは、遠距離センシングデータに基づいて、対象領域に向けてUGV2を移動させるための移動制御を行う。例えば、機体制御部33cは、UAV1から連続して複数回受信される遠距離センシングデータ(例えば、RGB画像)から、UGV2と対象領域との位置関係を取得し続け、UGV2を対象領域に向けて移動させる。これにより、UGV2をより正確に対象領域に誘導することができる。
【0074】
また、UGV2がカメラにより近距離センシングを行う場合において、対象領域の全体がカメラの画角に収まらない場合、機体制御部33cは、当該対象領域の全体についてのデータ(例えば、対象領域の全体を含むマップ画像)が近距離センシングデータに含まれるように、UGV2を移動させながら、当該UGV2に対象領域を連続して複数回、近距離センシングさせるように制御してもよい。これにより、対象領域の全体がカメラの画角に収まらない場合であっても、対象領域の全体について近距離センシングデータ(例えば複数枚の静止画像または動画像)を得ることができる。
【0075】
なお、対象領域の全体がカメラの画角に収まるか否かの判定は、制御部33により行われてもよいし、UGV2により行われてもよい。かかる判定が制御部33により行われる場合、機体制御部33cは、対象領域の全体についてのデータが近距離センシングデータに含まれるように走行ルートを決定し、当該決定した走行ルートに沿った移動命令及び近距離センシングの実行命令を含む移動制御情報を通信部31によりUGV2へ送信させる。一方、かかる判定がUGV2により行われる場合、UGV2は、機体制御部33cから上記命令を受けることなく、対象領域の全体についてのデータが近距離センシングデータに含まれるように、自律的に移動しながら、当該対象領域を連続して複数回センシングを行ってもよい。
【0076】
異常判定部33dは、センシングデータ取得部33aにより取得された近距離センシングデータに基づいて、対象領域抽出部33bにより抽出された対象領域に異常が発生しているか否か判定する。すなわち、対象領域抽出部33bにより抽出された対象領域に異常が発生しているか否かが確定的に判断される。例えば、近距離センシングデータに基づいて、より高精度な異常判定が行われて、対象領域に異常が発生しているか否かが判定されてもよい。
【0077】
より高精度な異常判定では、例えば機械学習が利用されるとよい。この場合、近距離センシングデータを入力とし、異常発生の有無を出力としたトレーニングデータにより学習された学習済みモデルが用いられる。異常判定部33dは、UGV2により近距離センシングされることで得られた近距離センシングデータを当該学習済みモデルに入力することで、当該近距離センシングされた対象領域に異常が発生しているか否かを出力として得る。これにより、異常判定部33dは、対象領域に異常が発生しているか否か判定することができる。なお、機械学習以外の解析アルゴリズムにより対象領域に異常が発生しているかが判定されてもよい。
【0078】
情報提供部33eは、センシングデータ取得部33aにより取得された近距離センシングデータを、植物及び土壌のうちいずれかの管理者が有する管理者端末を通じて当該管理者が自身の認証用情報によりログインした後、当該管理者端末へ通信部31を介して送信する。これにより、管理者は近距離センシングデータを確認し、植物(例えば、芝生または農作物等)に病気が発生しているかどうかをより詳しく調査することができる。管理者は、調査結果にしたがって、例えば、薬剤の散布、肥料の散布、水の散布、砂の散布、または芝刈り等の適切な処置を指示するができる。ここで、センシング領域がゴルフ場である場合、管理者は、例えば芝生管理者である。或いは、センシング領域が圃場である場合、管理者は、例えば農作物等の管理者(生産者)である。なお、上述したように、UGV2が対象領域を連続して複数回、近距離センシングすることにより得られた複数枚の静止画像または動画像を含む近距離センシングデータが管理者端末へ送信される。
【0079】
また、情報提供部33eは、センシングデータ取得部33aにより取得された近距離センシングデータに基づいて、対象領域抽出部33bにより抽出された対象領域に関する情報を表示端末へ送信することで表示させてもよい。これにより、抽出された対象領域に関する情報を管理者に視覚的に把握させることができる。なお、表示端末は、管理者端末であってもよいし、センシング領域の利用者や勤務者が使用する端末であってもよい。また、対象領域に関する情報は、例えば、対象領域におけるマップ画像(例えば、RGB画像、植生活性度画像、またはサーマル画像)であるとよい。かかるマップ画像上には、マップ領域(例えば、ゴルフ場の名称)や対象領域の名称及び位置情報等が重畳表示されてもよい。
【0080】
[2.センシングシステムSの動作]
次に、センシングシステムSの動作について、実施例1~実施例5に分けて説明する。なお、センシングシステムSの動作において、管理サーバ3は、遠距離センシングに利用されるUAV1の飛行体IDと、近距離センシングに利用されるUGV2の走行体IDとを対応付けて管理している。そして、UAV1は、飛行中、自己の位置情報及び飛行体IDを管理サーバ3へ逐次送信するものとし、UGV2は、走行中、自己の位置情報及び走行体IDを管理サーバ3へ逐次送信する。
【0081】
(実施例1)
先ず、
図9を参照して、センシングシステムSの動作の実施例1について説明する。
図9は、実施例1においてUAV1、UGV2、及び管理サーバ3の間で実行される処理の一例を示すシーケンス図である。
図9において、管理サーバ3は、センシング領域への飛行ルートに沿った飛行命令を含む飛行制御情報を、通信ネットワークNWを介してUAV1へ送信する(ステップS1)。
【0082】
次いで、UAV1は、管理サーバ3からの飛行制御情報を取得(受信)すると、センシング領域への飛行ルートに沿って飛行を開始する(ステップS2)。次いで、UAV1は、センシング領域の上空に到着すると(ステップS3)、センサ部13を起動して遠距離センシングを開始し、UAV1の下方を遠距離センシングすることにより得られた遠距離センシングデータを取得する(ステップS4)。なお、遠距離センシングは、UAV1が移動しながら行われてもよいし、ホバリングしながら行われてもよい。次いで、UAV1は、ステップS4で取得された遠距離センシングデータ及びUAV1の飛行体IDを、通信ネットワークNWを介して管理サーバ3へ送信する(ステップS5)。
【0083】
次いで、管理サーバ3は、UAV1からの遠距離センシングデータ及び飛行体IDを取得すると、当該遠距離センシングデータに基づいて、UGV2によりセンシングされる対象領域を抽出する(ステップS6)。このUGV2は、例えば、遠距離センシングデータとともに管理サーバ3から取得された飛行体IDに対応付けられた走行体IDに基づいて特定される。次いで、管理サーバ3は、ステップS6で抽出された対象領域へ移動させる移動命令を含む移動制御情報を、通信ネットワークNWを介してUGV2へ送信する(ステップS7)。かかる移動制御情報には、上記抽出された対象領域の位置情報が含まれる。
【0084】
次いで、UGV2は、管理サーバ3からの移動制御情報を取得すると、対象領域に向けて移動を開始する(ステップS8)。次いで、UGV2は、対象領域の近傍または対象領域内に到着すると(ステップS9)、センサ部23を起動して近距離センシングを開始し、対象領域の全体または一部分を近距離センシングすることにより得られた近距離センシングデータを取得する(ステップS10)。次いで、UGV2は、ステップS10で取得された近距離センシングデータ及びUGV2の走行体IDを、通信ネットワークNWを介して管理サーバ3へ送信する(ステップS11)。
【0085】
次いで、管理サーバ3は、UGV2からの近距離センシングデータ及び走行体IDを取得すると、当該近距離センシングデータに基づいて、ステップS6で抽出された対象領域に異常が発生しているか否か判定する(ステップS12)。対象領域に異常が発生していないと判定された場合(ステップS12:NO)、処理は終了する。
【0086】
一方、対象領域に異常が発生していると判定された場合(ステップS12:YES)、ステップS6で抽出された対象領域に関する情報(例えば、対象領域におけるマップ画像)へアクセスするためのURL(Uniform Resource Locator)を記述する電子メールが、上記センシング領域に関わる管理者の電子メールアドレス宛に送信される(ステップS13)。こうして送信された電子メールは、管理者の管理者端末により受信されて表示される。そして、電子メールに記述されたURLが指定されることで対象領域に関する情報が管理者端末により表示される。
【0087】
(実施例2)
次に、
図10を参照して、センシングシステムSの動作の実施例2について説明する。実施例2は、管理サーバ3により行われる、遠距離センシングデータと地上センシングデータとのマッチングの結果に基づいて、UGV2が対象領域に向けて移動する場合の例である。
図10は、実施例2においてUAV1、UGV2、及び管理サーバ3の間で実行される処理の一例を示すシーケンス図である。なお、
図10に示すステップS21~S26の処理は、
図9に示すステップS1~ステップS6の処理と同様である。ステップS27では、管理サーバ3は、UAV1の位置情報とUGV2の位置情報とに基づいて、UAV1により行われる遠距離センシングの範囲(例えば、UAV1のカメラの撮影範囲)内にUGV2が入る地点を決定する。次いで、管理サーバ3は、ステップS27で決定された地点へ移動させる移動命令を含む移動制御情報を、通信ネットワークNWを介してUGV2へ送信する(ステップS28)。かかる移動制御情報には、上記決定された地点の位置情報が含まれる。
【0088】
次いで、UGV2は、管理サーバ3からの移動制御情報を取得すると、上記地点に向けて移動を開始する(ステップS29)。次いで、UGV2は、当該移動制御情報に示される地点に到着すると(ステップS30)、センサ部23を起動して地上センシングを開始し、地上センシングすることにより得られた地上センシングデータを取得する(ステップS31)。次いで、UGV2は、ステップS31で取得された地上センシングデータ及びUGV2の走行体IDを、通信ネットワークNWを介して管理サーバ3へ送信する(ステップS32)。
【0089】
次いで、管理サーバ3は、地上センシングデータ及び走行体IDを取得すると、遠距離センシングデータと地上センシングデータとをマッチングし、ステップS26で抽出された対象領域を地上センシングデータから検出する(ステップS33)。次いで、管理サーバ3は、ステップS33で検出された対象領域へ移動させる移動命令を含む移動制御情報を、通信ネットワークNWを介してUGV2へ送信する(ステップS34)。なお、
図10に示すステップS35~S40の処理は、
図9に示すステップS8~S13の処理と同様である。
【0090】
(実施例3)
次に、
図11を参照して、センシングシステムSの動作の実施例3について説明する。実施例3は、UGV2により行われる、遠距離センシングデータと地上センシングデータとのマッチングの結果に基づいて、UGV2が対象領域に向けて移動する場合の例である。
図11は、実施例3においてUAV1、UGV2、及び管理サーバ3の間で実行される処理の一例を示すシーケンス図である。なお、
図11に示すステップS51~S57の処理は、
図10に示すステップS21~ステップS27の処理と同様である。ステップS58では、管理サーバ3は、ステップS56で抽出された対象領域を示す遠距離センシングデータと、ステップS57で決定された地点を経由して対象領域へ移動させる移動命令とを含む移動制御情報とを、通信ネットワークNWを介してUGV2へ送信する。かかる移動制御情報には、上記決定された地点の位置情報が含まれる。
【0091】
次いで、UGV2は、管理サーバ3からの遠距離センシングデータ及び移動制御情報を取得すると、上記地点に向けて移動を開始する(ステップS59)。次いで、UGV2は、当該移動制御情報に示される地点に到着すると(ステップS60)、センサ部23を起動して地上センシングを開始し、地上センシングすることにより得られた地上センシングデータを取得する(ステップS61)。次いで、UGV2は、管理サーバ3から取得された遠距離センシングデータと、ステップS61で取得された地上センシングデータとをマッチングし、当該遠距離センシングデータに示される対象領域を地上センシングデータから検出する(ステップS62)。次いで、UGV2は、地上センシングを行いながら、地上センシングデータから検出される対象領域に向けて移動を開始する(ステップS63)。なお、
図11に示すステップS64~S68の処理は、
図10に示すステップS36~S40の処理と同様である。
【0092】
(実施例4)
次に、
図12を参照して、センシングシステムSの動作の実施例4について説明する。実施例4は、管理サーバ3により特定される、対象領域とUGV2との位置関係に基づいて、UGV2が対象領域に向けて移動する場合の例である。
図12は、実施例4においてUAV1、UGV2、及び管理サーバ3の間で実行される処理の一例を示すシーケンス図である。なお、
図12に示すステップS71~S76の処理は、
図9に示すステップS1~ステップS6の処理と同様である。ステップS77では、管理サーバ3は、ステップS76で抽出された対象領域へ飛行させる飛行命令を含む飛行制御情報を、通信ネットワークNWを介してUAV1へ送信する。
【0093】
次いで、UAV1は、管理サーバ3からの飛行制御情報を取得すると、対象領域に向けて飛行を開始する(ステップS78)。次いで、UAV1は、対象領域の上空に到着すると(ステップS79)、UAV1は、当該対象領域の上空で移動を中断してホバリング状態に移行する(ステップS80)。次いで、UAV1は、遠距離センシングすることにより得られた遠距離センシングデータ及び飛行体IDを、通信ネットワークNWを介して管理サーバ3へ送信する(ステップS81)。かかる遠距離センシングデータは、管理サーバ3へ連続して繰り返し送信される。
【0094】
次いで、管理サーバ3は、UAV1からの遠距離センシングデータ及び飛行体IDを取得すると、ホバリング状態にあるUAV1の位置情報、及びUGV2の位置情報に基づいて、UAV1により行われる遠距離センシングの範囲(例えば、UAV1のカメラの撮影範囲)内にUGV2が入る地点を決定する(ステップS82)。次いで、管理サーバ3は、ステップS82で決定された地点へ移動させる移動命令を含む移動制御情報を、通信ネットワークNWを介してUGV2へ送信する(ステップS83)。
【0095】
次いで、UGV2は、管理サーバ3からの移動制御情報を取得すると、上記地点に向けて移動を開始する(ステップS84)。UGV2が当該地点に向けて移動している間、UAV1からの遠距離センシングデータは、管理サーバ3により連続して繰り返し受信される。
【0096】
次いで、管理サーバ3は、UGV2がUAV1により行われる遠距離センシングの範囲に入ることにより、UAV1から連続して受信される遠距離センシングデータからUGV2を検出すると、当該遠距離センシングデータに基づいてUGV2と対象領域との位置関係を特定(取得)する(ステップS85)。かかる位置関係には、例えば、UGV2を基準とする対象領域の方角、及びUGV2と領域距離との間の距離が示される。次いで、管理サーバ3は、ステップS76で抽出された対象領域へ移動させる移動命令を含む移動制御情報を、通信ネットワークNWを介してUGV2へ送信する(ステップS86)。かかる移動制御情報には、時々刻々と変化する上記位置関係を示す情報が含まれており、UGV2が対象領域に到着するまでUGV2へ連続して繰り返し送信されるとよい。
【0097】
次いで、UGV2は、管理サーバ3からの移動制御情報を取得すると、当該UGV2と対象領域との位置関係に基づいて、対象領域に向けて移動を開始する(ステップS87)。つまり、UGV2は、当該位置関係に示される方角へ当該位置関係に示される距離だけ移動する。なお、UGV2は、対象領域に到着するまでに管理サーバ3から繰り返し受信される移動制御情報中の時々刻々と変化する上記位置関係にしたがって、対象領域に向けて移動するとよい。なお、
図12に示すステップS88~S92の処理は、
図9に示すステップS9~S13の処理と同様である。
【0098】
(実施例5)
次に、
図13を参照して、センシングシステムSの動作の実施例5について説明する。実施例5は、UAV1により特定される、対象領域とUGV2との位置関係に基づいて、UGV2が対象領域に向けて移動する場合の例である。
図13は、実施例5においてUAV1、UGV2、及び管理サーバ3の間で実行される処理の一例を示すシーケンス図である。なお、
図13に示すステップS101~S114の処理は、
図12に示すステップS71~ステップS84の処理と同様である。
【0099】
UAV1は、UGV2が遠距離センシングの範囲に入ることにより、遠距離センシングデータからUGV2を検出すると、当該遠距離センシングデータに基づいてUGV2と対象領域との位置関係を特定する(ステップS115)。次いで、UAV1は、ステップS107で取得された飛行制御情報に示される対象領域へ移動させる移動命令を含む移動制御情報を、近距離無線通信機能によりUGV2へ送信する(ステップS116)。かかる移動制御情報には、時々刻々と変化する上記位置関係を示す情報が含まれており、UGV2が対象領域に到着するまでUGV2へ連続して繰り返し送信されるとよい。
【0100】
次いで、UGV2は、UAV1からの移動制御情報を取得すると、当該UGV2と対象領域との位置関係に基づいて、対象領域に向けて移動を開始する(ステップS117)。なお、UGV2は、対象領域に到着するまでにUAV1から繰り返し受信される移動制御情報中の時々刻々と変化する上記位置関係にしたがって、対象領域に向けて移動するとよい。なお、
図13に示すステップS118~S122の処理は、
図12に示すステップS88~ステップS92の処理と同様である。
【0101】
以上説明したように、上記実施形態によれば、センシングシステムSは、空中のUAV1が下方を遠距離センシングすることにより得られた遠距離センシングデータに基づいてUGV2により近距離センシングされるべき対象領域を抽出し、当該対象領域に向けてUGV2を移動させるための移動制御を行い、当該移動制御にしたがって移動したUGV2が対象領域の全体または一部分を近距離センシングすることにより得られた近距離センシングデータを取得するように構成したので、対象領域を迅速に発見して調査するために、俯瞰的な遠距離センシングと精微な近距離センシングとの双方の利点が考慮された好適なセンシングデータを取得することができる。
【0102】
すなわち、本実施形態によれば、UAV1による俯瞰的な遠距離センシングによりUAV1の下方において例えば異常が発生している蓋然性の高い対象領域を迅速に発見することができ、その後、UGV2による精微な近距離センシングにより当該対象領域を詳しく調査することができる。そのため、UAV1が低空飛行を行いながら下方をセンシングする必要がないので、地面効果によりUAV1が不安定になることを防ぐことができる。また、UAV1が着陸した状態で周囲をセンシングする必要もないので、UAV1が不安定になることを防ぐとともに、UAV1の離着陸のためのエネルギー(バッテリや燃料)の消費を抑えることができる。さらに、UAV1が上空から高倍率のセンサを用いてセンシングしなくてもよいので、UAV1の振動等によりセンシングに与えられる悪影響を回避することができる。さらに、本実施形態によれば、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮されたセンシングデータを利用して、対象領域に異常が発生しているかを迅速且つ高精度に判定することができる。
【0103】
なお、上記実施形態は本発明の一実施形態であり、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で上記実施形態から種々構成等に変更を加えてもよく、その場合も本発明の技術的範囲に含まれる。上記実施形態においてはゴルフ場における芝生の管理や圃場における農作物等の管理を想定しているが、本発明は、これらの管理以外にも、広い範囲から異常が発生している箇所を見つけるために好適に適用可能である。例えば、本発明は道路の管理等にも適用可能である。この場合、例えば、道路においてひび割れが発生している蓋然性が高い領域、または道路において閾値以上の傾斜や凸凹が発生している蓋然性が高い領域が対象領域として抽出される。また、上記実施形態においては、飛行体として有人航空機を例にとって説明したが、飛行体は、機内に操縦者(パイロット)が存在しなくても飛行することができる有人航空機に対しても適用可能である。
【0104】
また、上記実施形態においては、センシングデータ取得部33a、対象領域抽出部33b、機体制御部33c、異常判定部33d、及び情報提供部33eが管理サーバ3の制御部33に備えられる場合の例を示したが、これらの構成要素の全部または一部はUAV1の制御部15またはUGV2の制御部25に備えられてもよい。例えば、UAV1の制御部15は、遠距離センシングデータに基づいて近距離センシングされるべき対象領域を抽出し、上述した移動制御情報を近距離無線通信機能によりUGV2へ送信することで、当該対象領域に向けてUGV2を移動させるための移動制御を行ってもよい。また、UAV1の制御部15は、UGV2または管理サーバ3から近距離センシングデータを取得し、当該近距離センシングデータに基づいて対象領域に異常が発生しているか否か判定してもよい。また、UAV1の制御部15は、近距離センシングデータを管理者端末へ送信してもよいし、当該近距離センシングデータに基づいて対象領域に関する情報を表示端末に表示させてもよい。或いは、UGV2の制御部25は、UAV1または管理サーバ3から遠距離センシングデータを取得し、当該遠距離センシングデータに基づいて近距離センシングされるべき対象領域を抽出し、当該対象領域に向けてUGV2を移動させるための移動制御を行ってもよい。また、UGV2の制御部25は、近距離センシングデータに基づいて当該対象領域に異常が発生しているか否か判定してもよい。また、UGV2の制御部25は、近距離センシングデータを管理者端末へ送信してもよいし、当該近距離センシングデータに基づいて対象領域に関する情報を表示端末に表示させてもよい。
【符号の説明】
【0105】
1 UAV
2 UGV
3 管理サーバ
11,12 駆動部
12,22 無線通信部
13,23 センサ部
14,24 測位部
15,25 制御部
31 通信部
32 記憶部
33 制御部
15a,25a センシング制御部
15b,25b センシングデータ取得部
15c 飛行制御部
25c 移動制御部
33a センシングデータ取得部
33b 対象領域抽出部
33c 機体制御部
33d 異常判定部
33e 情報提供部
S センシングシステム
【要約】
センシングシステムSは、空中のUAV1が下方を遠距離センシングすることにより得られた遠距離センシングデータに基づいてUGV2により近距離センシングされるべき対象領域を抽出し、当該抽出された対象領域に向けてUGV2を移動させるための移動制御を行う。そして、センシングシステムSは、移動制御にしたがって移動したUGV2が対象領域の全体または一部分を近距離センシングすることにより得られた近距離センシングデータを取得する。