(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-10
(45)【発行日】2024-06-18
(54)【発明の名称】ドローン作業支援システム及びドローン作業支援方法
(51)【国際特許分類】
G08G 5/00 20060101AFI20240611BHJP
G01C 21/34 20060101ALI20240611BHJP
B64U 10/13 20230101ALI20240611BHJP
B64U 20/87 20230101ALI20240611BHJP
G06Q 50/02 20240101ALI20240611BHJP
G06T 7/00 20170101ALI20240611BHJP
B64U 50/19 20230101ALN20240611BHJP
B64U 50/11 20230101ALN20240611BHJP
B64U 50/12 20230101ALN20240611BHJP
【FI】
G08G5/00 A
G01C21/34
B64U10/13
B64U20/87
G06Q50/02
G06T7/00 640
B64U50/19
B64U50/11
B64U50/12
(21)【出願番号】P 2022211234
(22)【出願日】2022-12-28
(62)【分割の表示】P 2019069657の分割
【原出願日】2019-04-01
【審査請求日】2022-12-28
(73)【特許権者】
【識別番号】516356402
【氏名又は名称】株式会社スカイマティクス
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】倉本 泰隆
(72)【発明者】
【氏名】渡邉 善太郎
(72)【発明者】
【氏名】榎本 真貴
【審査官】佐藤 吉信
(56)【参考文献】
【文献】特開2018-169995(JP,A)
【文献】国際公開第2017/022057(WO,A1)
【文献】特開2003-009664(JP,A)
【文献】特開2007-241085(JP,A)
【文献】特開2017-146292(JP,A)
【文献】特開2018-164424(JP,A)
【文献】特開2018-165932(JP,A)
【文献】特許第6475898(JP,B1)
【文献】国際公開第2017/175804(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 99/00
G01C 21/00 - 21/36
G01C 23/00 - 25/00
G05D 1/00 - 1/87
G09B 23/00 - 29/14
G06T 1/00 - 1/40
G06T 3/00 - 5/94
B64B 1/00 - 1/70
B64C 1/00 - 99/00
B64D 1/00 - 47/08
B64F 1/00 - 5/60
B64G 1/00 - 99/00
B64U 10/00 - 80/86
G06Q 50/02
(57)【特許請求の範囲】
【請求項1】
1以上のドローンを用いて1以上の作業を行うためのドローン作業支援システムであって、
所定の対象領域の形状を規定する複数の位置の高精度な位置情報を含む
ポリゴン情報を記憶す
る記憶手段と、
前記対象領域の画像を含む空撮画像から前記対象領域を特定する対象領域特定手段と、
前記空撮画像における前記対象領域の形状と、前記
ポリゴン情報における前記対象領
域の形状とに基づいて、前記空撮画像における前記対象領域の位置と、前記
ポリゴン情報の前記対象領域の位置とを対応付ける位置情報対応付手段と、
前記空撮画像に基づいて、前記対象領域における実作業が必要な実作業領域を特定する実作業領域特定手段と、
前記実作業領域特定手段により特定された前記空撮画像における前記対象領域の位置と、前記
ポリゴン情報の前記対象領域の位置との対応付けに基づいて、前記実作業領域の高精度な位置情報を特定する位置情報特定手段と、
前記実作業領域の位置情報に基づいて、前記ドローンの移動経路を決定するドローン移動経路決定手段と、
を備えるドローン作業支援システム。
【請求項2】
前記
対象領域特定手段は、
前記空撮画像に対してエッジ抽出を行って対象領域の形状を特定し、
前記位置情報対応付手段は、
前記空撮画像の位置情報に近い位置情報を持つポリゴン情報であって、前記対象領域と形状が類似するポリゴン情報を特定し、前記空撮画像における前記対象領域の形状が、前記
ポリゴン情報に基づく前記対象領域の形状と一致するように、前記空撮画像を変形し、前記変形した空撮画像の前記対象領域と、前記
ポリゴン情報に基づく前記対象領域との対応する位置が同一の位置であるとして関連付け、
前記実作業領域特定手段は、
前記変形された空撮画像に基づいて、前記実作業領域を特定する
請求項1に記載のドローン作業支援システム。
【請求項3】
1以上のドローンを用いて1以上の作業を行うためのドローン作業支援システムによるドローン作業支援方法であって、
所定の対象領域の形状を規定する複数の位置の高精度な位置情報を含む
ポリゴン情報を記憶し、
前記対象領域の画像を含む空撮画像から前記対象領域を特定し、
前記空撮画像における前記対象領域の形状と、前記
ポリゴン情報における前記対象領
域の形状とに基づいて、前記空撮画像における前記対象領域の位置と、前記
ポリゴン情報の前記対象領域の位置とを対応付け、
前記空撮画像に基づいて、前記対象領域における実作業が必要な実作業領域を特定し、
特定された前記空撮画像における前記対象領域の位置と、前記
ポリゴン情報の前記対象領域の位置との対応付けに基づいて、前記実作業領域の高精度な位置情報を特定し、
前記実作業領域の位置情報に基づいて、前記ドローンの移動経路を決定する
ドローン作業支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、施設、建造物、土地、圃場、森林などの人工物または自然物に対する調査、点検、保守、加工、破壊または建造などの作業を支援するためのシステム等に関し、例えば、ドローンを用いた作業の支援を行うドローン作業支援システム等に関する。本明細書では、「ドローン」という用語を、搭乗員なしに操縦し得る移動体(例えば、遠隔から無線で操縦し得るか、または自律的に操縦し得る航空機、走行機、水上船、潜水機など)を指す意味で用いる。
【背景技術】
【0002】
ドローンが様々な用途に利用されるようになってきており、例えば、農業分野における農薬散布や肥料散布等の用途で利用されるようになってきている。
【0003】
従来、農薬散布や肥料散布などは単位面積あたりの規定量を圃場内全域に均一に全量散布するのが一般的だった。しかし、農地の集積・集約化が進むに連れて、規定量を全量散布するコストが増大になるという問題と管理面積の増加に伴い農作業を行う人的リソースが不足するという問題とが顕在化されてきた。このような状況を打開するために、ドローンが利用されるようになってきている。
【0004】
農薬散布や肥料散布等の用途で用いる場合には、まず、匠の経験と技能をもつ農家によって、圃場の状態が確認され、必要な農作業が割り出され、その農作業の作業方法や程度、使う薬剤の種別、使う薬剤の量などが人間により決定され、その決定された内容に従って、作業用ドローンを手動で操縦することにより、作業を実行するようにしている。
【0005】
作業用ドローンの手動での操縦には、熟練の技術が必要であり、多くの人にとってはそう容易ではない。このため、作業用ドローンを所定の経路に沿って自動で移動させる技術が要請されている。
【0006】
作業用ドローンを所定の移動経路に従って自動で移動させるには、作業用ドローンの移動経路を決定する際に十分な位置精度を持った地図が必要となるが、十分な位置精度を持った地図を入手することは容易でない場合があり、例えば、一般に公開されている地図では位置精度が保証されていないため、そのまま利用することができない。
【0007】
例えば、移動航路を設定する際の地図の位置精度を高めるために利用できる技術としては、例えば、GNSS受信部を備えた対空標識を用いる技術が、特許文献1及び特許文献2に開示されている。
【先行技術文献】
【特許文献】
【0008】
【文献】特開2018-146546号公報
【文献】国際特許公開第2017/024358号
【発明の概要】
【発明が解決しようとする課題】
【0009】
作業用ドローンを用いて農薬散布や肥料散布等の作業を行う場合、オペレータは地上にて作業用ドローンを操作するため、作業用ドローンを操作しながら圃場内部の状態を確認することはできない。そのため、たとえ作業が必要な箇所が圃場内の一部であったとしても、操作に適した位置に機体を操縦することが困難であり、圃場全体を均一作業しているのが実態である。
【0010】
例えば、作業用ドローンを自動で移動させる場合においては、作業用ドローンの操縦をオペレータによる手動に切り替えなければならないような状況が発生する可能性がある。また、作業用ドローンに対して操縦以外の各種指示(例えば、移動開始、移動停止、作業開始、作業終了等)を与える必要がある場合もある。
【0011】
作業用ドローンは、比較的広大な場所で使用されることが多いので、場合によっては、作業用ドローンがオペレータから遠く離れた場所に移動してしまっていることもある。このような場合には、オペレータは、作業用ドローンの周囲の状況を目視できずに、操作を適切に行うことが困難となる場合も起こり得る。
【0012】
また、作業用ドローンが、作業を終了し、オペレータの位置から遠い位置まで移動して、停止してしまい、別の作業を開始するまでに長時間を要してしまう可能性もある。
【0013】
本発明は、上記事情に鑑みなされたものであり、以下の第1から第3の目的の少なくとも1つを目的とする。第1の目的は、オペレータを作業用ドローンの操作に適した位置に誘導することのできる技術を提供することである。また、第2の目的は、作業用ドローンの位置精度を容易且つ適切に向上することのできる技術を提供することである。また、第3の目的は、作業用ドローンの作業効率を向上することのできる技術を提供することである。
【課題を解決するための手段】
【0014】
上記第1の目的を達成するため、第1の観点に係るドローン作業支援システムは、1以上のドローンを用いて1以上の作業を行うためのドローン作業支援システムであって、所定の対象領域における実作業が必要な実作業領域の位置情報に基づいて、ドローンの移動経路を決定するドローン移動経路決定手段と、ドローンの移動経路に伴って、オペレータが移動すべき移動経路を決定するオペレータ移動経路決定手段と、ドローンの移動経路と、オペレータの移動経路とを含む作業支援画面を操作端末に表示させる表示制御手段とを含む。
【0015】
このドローン作業支援システムによると、オペレータは、ドローンが移動する際に、自身がどのように移動すればよいかを容易且つ明確に把握することができる。
【0016】
また、上記ドローン作業支援システムにおいて、オペレータ移動経路決定手段は、ドローンの移動経路に従って移動するドローンとの間の距離が近距離となるようなオペレータの移動経路を決定するようにしてもよい。このドローン作業支援システムによると、ドローンとの間の距離が近距離となるような経路で移動することができ、ドローンの状態を適切に把握することができ、例えば、ドローンに対する操作が必要な場合に適切に対応することができる。
【0017】
また、上記ドローン作業支援システムにおいて、ドローン移動経路決定手段は、ドローンの有するエネルギーにより移動可能な範囲で1以上の実作業領域を経由して、エネルギーの補充可能位置に至る移動経路を決定し、オペレータ移動経路決定手段は、オペレータの移動経路を、前記エネルギーの補充可能位置に至る移動経路に決定し、表示制御手段は、作業支援画面に、エネルギー補充可能位置を表示させるとともに、エネルギーの補充を示す情報を表示させるようにしてもよい。
【0018】
このドローン作業支援システムによると、オペレータは、エネルギーの補充が必要であり、エネルギーの補充可能な位置を前もって把握することができる。
【0019】
また、上記ドローン作業支援システムにおいて、表示制御手段は、作業支援画面に、操作端末の位置情報に基づいて、操作端末の位置を示す情報を表示させてもよい。このドローン作業支援システムによると、オペレータは、ドローンと、自身(操作端末)の位置との位置関係を適切に把握することができる。
【0020】
また、上記ドローン作業支援システムにおいて、表示制御手段は、作業支援画面に、操作端末の位置又はドローンの位置を中心に所定の距離の範囲を示す線を表示させるようにしてもよい。
【0021】
このドローン作業支援システムによると、オペレータは、自身がドローンに対して適切な位置にいるか否かを適切に特定することができる。また、ドローンとの距離が離れている場合に、どこに移動すればよいかを容易に推測することができる。
【0022】
上記第1の目的を達成するため、第2の観点に係るドローン作業支援方法は、1以上のドローンを用いて1以上の作業を行うためのドローン作業支援システムによるドローン作業支援方法であって、所定の対象領域における実作業が必要な実作業領域の位置情報に基づいて、ドローンの移動経路を決定し、ドローンの移動経路に伴って、オペレータが移動すべき移動経路を決定し、ドローンの移動経路と、オペレータの移動経路とを含む作業支援画面を前記操作端末に表示させる。
【0023】
このドローン作業支援方法によると、オペレータは、ドローンが移動する際に、自身がどのように移動すればよいかを容易且つ明確に把握することができる。
【0024】
また、第2の目的を達成するため、第3の観点に係るドローン作業支援システムは、1以上のドローンを用いて1以上の作業を行うためのドローン作業支援システムであって、所定の対象領域の形状を規定する複数の位置の高精度な位置情報を含む高精度地図を記憶する地図情報記憶手段と、対象領域の画像を含む空撮画像から対象領域を特定する対象領域特定手段と、空撮画像における対象領域の形状と、高精度地図における対象領域との形状とに基づいて、空撮画像における対象領域の位置と、高精度地図の前記対象領域の位置とを対応付ける位置情報対応付手段と、空撮画像に基づいて、対象領域における実作業が必要な実作業領域を特定する実作業領域特定手段と、実作業領域特定手段により特定された空撮画像における対象領域の位置と、高精度地図の対象領域の位置との対応付けに基づいて、実作業領域の高精度な位置情報を特定する位置情報特定手段と、実作業領域の位置情報に基づいて、ドローンの移動経路を決定するドローン移動経路決定手段と、を備える。
【0025】
このドローン作業支援システムによると、対象領域の画像を含む空撮画像の位置精度が低い場合であっても、高精度地図に基づいて、空撮画像における対象領域の位置を高精度に特定することができる。
【0026】
上記ドローン作業支援システムにおいて、実作業領域特定手段は、空撮画像に対してエッジ抽出を行って対象領域の形状を特定し、位置情報関連付手段は、空撮画像における対象領域の形状が、高精度地図に基づく対象領域の形状と一致するように、空撮画像を変形し、変形した空撮画像の対象領域と、高精度地図に基づく対象領域との対応する位置が同一の位置であるとして関連付け、実作業領域特定手段は、変形された空撮画像に基づいて、実作業領域を特定するようにしてもよい。
【0027】
このドローン作業支援システムによると、高精度地図に対して、対象領域の画像を含む空撮画像を変形させた画像を対応付けることができ、変形された画像における所定の位置を高精度に把握することができるようになる。
【0028】
また、第2の目的を達成するため、第4の観点に係るドローン作業支援方法は、1以上のドローンを用いて1以上の作業を行うためのドローン作業支援システムによるドローン作業支援方法であって、所定の対象領域の形状を規定する複数の位置の高精度な位置情報を含む高精度地図を記憶し、対象領域の画像を含む空撮画像から対象領域を特定し、空撮画像における対象領域の形状と、高精度地図における対象領域との形状とに基づいて、空撮画像における対象領域の位置と、高精度地図の前記対象領域の位置とを対応付け、空撮画像に基づいて、対象領域における実作業が必要な実作業領域を特定し、特定された空撮画像における対象領域の位置と、高精度地図の前記対象領域の位置との対応付けに基づいて、実作業領域の高精度な位置情報を特定し、実作業領域の位置情報に基づいて、ドローンの移動経路を決定する。
【0029】
このドローン作業支援方法によると、対象領域の画像を含む空撮画像の位置精度が低い場合であっても、高精度地図に基づいて、空撮画像における対象領域の位置を高精度に特定することができる。
【0030】
また、第3の目的を達成するため、第5の観点に係るドローン作業支援システムは、1以上のドローンを用いて1以上の作業を行うためのドローン作業支援システムであって、対象領域の画像を含む空撮画像に基づいて、対象領域における実作業が必要な1以上の実作業領域を特定する実作業領域特定手段と、実作業領域が複数ある場合に、或る実作業領域に対する実作業の終了地点から、次の実作業領域に対する実作業の開始地点へ直線的に移動させる移動経路と、各実作業領域の実作業の開始地点から実作業の終了地点までの間において実作業を実行させる作業内容とを含む作業計画を作成する作業計画作成手段と、作業計画を実行させる制御情報を前記ドローンに送信する制御情報送信手段と、を備える。
【0031】
このドローン作業支援システムによると、作業を実行する際におけるドローンの移動時間を短縮でき、処理効率を向上することができる。
【0032】
また、第3の目的を達成するため、第6の観点に係るドローン作業支援方法は、1以上のドローンを用いて1以上の作業を行うためのドローン作業支援システムによるドローン作業支援方法であって、対象領域の画像を含む空撮画像に基づいて、対象領域における実作業が必要な1以上の実作業領域を特定し、実作業領域が複数ある場合に、或る実作業領域に対する実作業の終了地点から、次の実作業領域に対する実作業の開始地点へ直線的に移動させる移動経路と、各実作業領域の実作業の開始地点から実作業の終了地点までの間において実作業を実行させる作業内容とを含む作業計画を作成し、作業計画を実行させる制御情報をドローンに送信する。
【0033】
このドローン作業支援方法によると、作業を実行する際におけるドローンの移動時間を短縮でき、処理効率を向上することができる。
【図面の簡単な説明】
【0034】
【
図1】
図1は、一実施形態に係るドローン作業支援システムの全体構成図である。
【
図2】
図2は、一実施形態に係るGNSS対空標識の構成及び処理を説明する図である。
【
図3】
図3は、一実施形態に係る調査用ドローンの構成図である。
【
図4】
図4は、一実施形態に係る作業用ドローンの構成図である。
【
図5】
図5は、一実施形態に係るドローン作業支援システムによる処理のフローチャートである。
【
図6】
図6は、一実施形態に係る作業支援画面を示す図である。
【
図7】
図7は、変形例に係るドローン作業支援システムによる処理のフローチャートである。
【
図8】
図8は、変形例に係る高精度地図生成処理及び圃場状態解析処理を説明する第1の図である。
【
図9】
図9は、変形例に係る高精度地図生成処理及び圃場状態解析処理を説明する第2の図である。
【発明を実施するための形態】
【0035】
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0036】
以下の説明では、圃場(対象領域)の点検保守(例えば、病害や生理障害が生じた個所の特定と、その箇所への農薬や肥料の散布など)に無人航空機として構成された飛行ドローンを利用するという用途を例にとり、本発明の実施形態を説明する。しかし、この用途は説明のための例示にすぎず、他の用途に同実施形態を適用することを制限する趣旨ではない。
【0037】
図1は、一実施形態に係るドローン作業支援システムの全体構成図である。
【0038】
ドローン作業支援システム1は、GNSS(Global Navigation Satellite System)対空標識2と、調査用ドローン3と、画像解析・地図生成サーバ4と、管制サーバ5と、操作端末6と、作業用ドローン7とを含む。
【0039】
GNSS対空標識2は、上空から撮影可能な対空標識であり、GNSS衛星からの信号(GNSS信号)を受信して、画像解析・地図生成サーバ4に送信する。GNSS対空標識2の詳細は、後述する。
【0040】
調査用ドローン3は、圃場を含む領域を上空から撮影し、撮影された画像を出力する。なお、本実施形態では、圃場を含む領域を撮影する際には、例えば、圃場を含む領域の4つの隅と、中央とにGNSS対空標識2を予め配置しておく必要があるとともに、GNSS対空標識2を設置した後に、数十分から数時間配置しておき、その間のGNSSデータを収集し続けておく必要がある。調査用ドローン3の詳細は後述する。
【0041】
画像解析・地図生成サーバ4は、例えば、プロセッサ、メモリ、インタフェースを備える計算機(例えば、PC(Personal Computer)、サーバ計算機)等により構成される。画像解析・地図生成サーバ4は、インタフェース41と、データ保存・検索部42と、地図生成部43と、圃場状態解析部44と、インタフェース45とを含む。
【0042】
インタフェース41は、ネットワークを介して、GNSS対空標識2、調査用ドローン3、気象データ配信サービス、地上センサ観測データ配信サービス、GNSS補正データ配信サービス等との間でデータ通信を行う。具体的には、インタフェース41は、GNSS対空標識2からGNSSデータを受信し、調査用ドローン3から圃場を含む画像を受信し、気象データ配信サービスから気象に関する観測データを受信し、地上センサ観測データ配信サービスから地上センサによる観測データを受信し、GNSS補正データ配信サービスからGNSSデータの精度を向上させるための補正に用いるGNSS補正データを受信する。
【0043】
データ保存・検索部42は、インタフェース41を介して受信したデータを保存し管理する。具体的には、データ保存・検索部42は、GNSS対空標識2からのGNSSデータと、調査用ドローン3からの圃場を含む画像と、気象データ配信サービスからの気象に関する観測データと、地上センサ観測データ配信サービスからの地上センサによる観測データと、GNSS補正データ配信サービスからのGNSSデータの精度を向上させるための補正に用いるGNSS補正データとを格納し管理する。
【0044】
地図生成部43は、データ保存・検索部42に格納された調査用ドローン3から受信した画像と、GNSS対空標識2から受信したGNSSデータと基づいて、画像中の各位置の位置情報(例えば、緯度、経度)を特定し、各位置に対応付けることにより、地図データ(高精度地図データ)を生成する。具体的には、地図生成部43は、画像中から複数のGNSS対空標識2の対空標識を特定し、画像中のそれぞれのGNSS対空標識2から取得したGNSSデータに基づいて、それぞれのGNSS対空標識2の位置情報(例えば、緯度、経度)を特定し、特定した位置座標を画像中のGNSS対空標識2の位置に対応付ける。なお、画像中のGNSS対空標識2に対応する位置以外の位置については、複数のGNSS対空標識2の位置情報に基づいて特定することができる。このGNSS対空標識2を用いた位置情報の特定を行うと、例えば、cm~10cmオーダーの高い位置精度を実現することができる。
【0045】
圃場状態解析部44は、調査用ドローン3が撮影した画像中の所定の圃場の画像を解析して、実作業が必要な領域(実作業領域)を特定する。例えば、実作業が圃場の農薬散布である場合、圃場状態解析部44は、対象の圃場の画像内の作物や葉などの色や形に基づいて、病害が発生していると想定される領域を実作業領域と特定する。圃場の画像から、病害が発生していると想定される領域を特定する方法としては、例えば、予め病害の画像について学習したニューラルネットワークモデルを使用して特定することができる。また、圃場状態解析部44は、実作業領域に対して実施する実作業の内容(例えば、散布する農薬と、散布量等)を特定するようにしてもよい。
【0046】
インタフェース45は、管制サーバ5との間でデータ通信を行う。インタフェース45は、地図生成部43で生成した高精度地図データと、圃場状態解析部44が特定した解析結果(実作業領域を特定する情報及び実作業内容)とを管制サーバ5に送信する。
【0047】
管制サーバ5は、例えば、プロセッサ、メモリ、インタフェースを備える計算機(例えば、PC(Personal Computer)、サーバ計算機)等により構成される。
【0048】
管制サーバ5は、作業用ドローン7の作業計画を作成する作業計画作成部51を有する。作業計画作成部51は、ドローン移動経路決定手段、オペレータ移動経路決定手段、及び表示制御手段の一例である。作業計画作成部51は、プロセッサが、プログラムを実行することにより構成される機能部である。作業計画作成部51は、画像解析・地図生成サーバ4から、高精度地図データと、解析結果とを受信する。作業計画作成部51は、高精度地図データと、解析結果とに基づいて、予め設定された条件を満たす作業用ドローン7の作業計画を決定する。ここで、作業計画は、離陸位置から、1以上の実作業領域を経由して、着陸位置まで飛行する飛行経路(移動経路の一例)と、飛行経路における実作業を行う作業内容とを含む。離陸位置や着陸位置は、予め設定された候補位置から選択するようにしてもよい。予め設定された条件としては、作業用ドローン7のバッテリ量で飛行可能な範囲内で実現できる作業計画であることとしてもよい。したがって、作業用ドローン7のバッテリ量では、すべての実作業領域を経由できない場合には、着陸位置は、バッテリの交換が可能な位置(補充可能位置)から選択されることとなる。なお、作業用ドローン7のバッテリ量としては、作業用ドローン7に搭載されているバッテリの標準のバッテリ量でもよいし、作業用ドローン7の実際のバッテリ量が把握できる場合には、実際のバッテリ量でもよい。
【0049】
作業計画に、作業用ドローン7の飛行速度の情報を含んでいてもよい。例えば、作業用ドローン7の作業機構72が農薬等の散布速度が常に一定である場合には、実作業領域における散布量に応じて、飛行速度を決定するようにしてもよい。また、条件としては、飛行経路は、所定の道路(例えば、公道等)を跨がないことを条件としてもよい。また、作業計画作成部51は、作成した作業計画(具体的には、作業計画の制御情報)を作業用ドローン7に送信する。
【0050】
また、作業計画作成部51は、作成した作業計画における飛行経路の離陸位置から着陸位置までのオペレータの移動経路を決定する。ここで、オペレータの移動経路としては、オペレータが移動可能な道を通ること、及び作業用ドローン7の飛行経路から近距離にある道(例えば、作業用ドローン7の操作が適切に行える程度の所定の距離、例えば、最大でも100~150m程度以内の道)であること等を条件としてもよい。なお、オペレータが移動可能な道が作業用ドローン7の飛行経路から所定の距離以内にない場合には、飛行経路に最も近い道とすればよい。なお、オペレータが移動可能な道としては、予め地図データにオペレータが移動可能な道の情報を対応付けておいてもよく、地図又は画像から移動可能な道であるか否かを認識するようにしてもよい。
【0051】
また、作業計画作成部51は、作成した作業計画と、作成したオペレータの移動経路とに基づいて、作業支援画面100(
図6参照)を生成し、操作端末6に送信する。作業支援画面100の詳細については、後述する。
【0052】
操作端末6は、作業支援システム1を利用するための端末であり、例えば、作業用ドローン7のオペレータに所持されて使用される。操作端末6は、例えば、汎用の携帯可能な情報処理端末(例えば、いわゆる携帯電話、スマートフォン、タブレット端末、モバイル形PC、またはノート形パーソナルコンピュータなど)であってもよい。操作端末6は、例えば、管制サーバ5とインターネットのような通信ネットワークを介してデータ通信を行う機能と、各種情報を表示する機能と、GPS衛星からの信号を受信する機能とを有する。本実施形態では、操作端末6は、管制サーバ5から送信された作業支援画面100(
図6参照)を表示する。作業支援画面100は、例えば、操作端末6のウェブブラウザにより表示させるようにしてもよい。なお、操作端末6は、作業用ドローン7との間で無線を介してデータ通信を行う機能をもってもよい。
【0053】
作業用ドローン7は、圃場において実施されるべきある種の作業(以下、実作業という)、例えば、広大な圃場の中で病害が発生した個所(実作業領域)へ選択的に農薬を散布する作業を実行する。作業用ドローン7の詳細は、後述する。
【0054】
図2は、一実施形態に係るGNSS対空標識の構成及び処理を説明する図である。
【0055】
GNSS対空標識2は、複数のGNSS衛星9から送信されるGNSSデータを受信する。
【0056】
GNSS衛星9は、データ生成部91と、GNSS送信機92とを含む。データ生成部91は、送信すべきGNSSデータを生成する。GNSS送信機92は、データ生成部91により生成されたGNSSデータを送信する。
【0057】
GNSS対空標識2は、GNSS受信機21と、データ保存部22と、送信機23とを含む。GNSS受信機21は、複数のGNSS衛星9から送信されたGNSSデータを受信する。データ保存部22は、GNSS受信機21が受信したGNSSデータを保存する。送信機23は、データ保存部22に格納されたGNSSデータを画像解析・地図生成サーバ4に送信する。送信機23は、5G(第5世代移動通信システム)に従った通信によりデータを送信するようにしてもよい。
【0058】
図3は、一実施形態に係る調査用ドローンの構成図である。
【0059】
調査用ドローン3は、ESC(Electronic Speed Controller)31と、飛行機構32と、制御器33と、送信機34と、カメラ35と、GPSレシーバ36とを含む。
【0060】
飛行機構32は、調査用ドローン3を飛行させるための機構であり、例えば、複数組のモータ及びプロペラを有する。ESC31は、制御器33の指示に従って、飛行機構32のモータの回転速度を制御する。GPSレシーバ36は、GPS衛星からのGPSデータを受信し、調査用ドローン3の三次元位置(緯度、経度、高度)を計測し、制御部33に渡す。カメラ35は、上空からの画像を撮影する。送信機34は、カメラ35により撮影された画像を画像解析・地図生成サーバ4に送信する。
【0061】
制御器33は、ESC31と、送信機34と、カメラ35と、GPSレシーバ36とを制御する。具体的には、制御器33は、入力された飛行計画に従って飛行を行うための制御を行う。飛行計画は、作業を行う対象の圃場を撮影するために、飛行する経路を示す情報である。また、制御器33は、カメラ35により撮影された画像に対して、その画像を撮影した際の調査用ドローン3の三次元位置を付加して、送信機34に渡す。
【0062】
なお、調査用ドローン3には、それをオペレータが遠隔から無線で操縦するための図示しない無線操縦器(いわゆるプロポ)が付属する。無線操縦器は、制御器33と無線で通信可能であり、無線操縦器に対するユーザの各種操作に応答して、各種の操縦指令を制御器33に送信する。
【0063】
図4は、一実施形態に係る作業用ドローンの構成図である。
【0064】
作業用ドローン7は、ESC31と、飛行機構32と、制御器71と、作業機構72と、送信機34と、カメラ35と、高精度GNSSレシーバ73とを含む。なお、調査用ドローン3と同様な機能部については、同一の符号を付して説明を省略する。
【0065】
高性能GNSSレシーバ73は、GNSSデータを受信し、GPSレシーバ36よりも高精度に、作業用ドローン7の三次元位置を計測する。GNSSレシーバ73としては、例えば、DGPS(Differential GPS)、D-RTK(Differential Real Time Kinematic)、2周波GNSS等の技術により三次元位置を計測するレシーバを採用することができる。作業機構72は、圃場の実作業領域に対して作業を実行する機構である。作業機構72は、例えば、液体状の農薬や肥料や、粉体状の農薬や肥料を散布する。作業機構72は、農薬や肥料の単位時間当たりの散布量が一定量であってもよく、単位時間当たりの散布量を調整可能であってもよい。制御器71は、ESC31と、作業機構72と、送信機34と、カメラ35と、高精度GNSSレシーバ73とを制御する。制御器71は、受信された作業計画に従って、飛行及び作業を行うための制御を行う。具体的には、制御器71は、作業計画の飛行経路に従って、ESC31を制御し、作業計画の作業内容に従って、作業機構72を制御する。
【0066】
また、作業用ドローン7には、それをユーザが遠隔から無線で操縦するための、図示しない無線操縦器(いわゆるプロポ)が付属する。無線操縦器は、制御器71と無線で通信可能であり、無線操縦器に対するユーザの各種操作に応答して、各種の操縦指令を制御器71に送信する。
【0067】
次に、ドローン作業支援システム1による処理動作について説明する。
【0068】
図5は、一実施形態に係るドローン作業支援システムによる処理のフローチャートである。
【0069】
調査用ドローン3は、圃場を含む領域の上空から画像を撮影し、この画像にGPSレシーバ36により測定された三次元位置を付加し(ステップS1)、この画像を画像解析・地図生成サーバ4に送信する(ステップS2)。
【0070】
一方、圃場に配置されている複数のGNSS対空標識2は、GNSSデータを受信し(ステップS3)、受信したGNSSデータを画像解析・地図生成サーバ4に送信する(ステップS4)。なお、GNSS対空標識2は、高精度の位置解析に必要な時間以上に渡って、ステップS3及びステップS4の処理を実行する。
【0071】
画像解析・地図生成サーバ4は、複数のGNSS対空標識2から送信されたGNSSデータに基づいて、各GNSS対空標識2の高精度な位置を解析する(ステップS5)。次いで、画像解析・地図生成サーバ4は、調査用ドローン3から送信された圃場の画像からGNSS対空標識2を抽出する(ステップS6)。次いで、画像解析・地図生成サーバ4は、画像中のGNSS対空標識2の位置に対して、ステップS5で解析して得られた対応するGNSS対空標識2の位置を対応付けることにより、高精度地図を生成する(ステップS7)。
【0072】
次いで、画像解析・地図生成サーバ4は、調査用ドローン3から送信された圃場の画像から、圃場の状態を解析する(ステップS8)。具体的には、画像解析・地図生成サーバ4は、例えば、農薬や肥料を散布する作業を行う実作業領域を特定する。次いで、画像解析・地図生成サーバ4は、ステップS7で生成した高精度地図と、ステップS8の解析結果(特定された実作業領域を示す情報:実作業領域情報)とを管制サーバ5に送信する(ステップS9)。
【0073】
管制サーバ5は、画像解析・地図生成サーバ4から送信された、高精度地図と実作業領域情報とを受信し(ステップS10)、高精度地図及び実作業領域情報とに基づいて、作業計画を作成するとともに、作業計画とオペレータ経路とを含む作業支援画面100を作成する(ステップS11)。次いで、管制サーバ5は、作業計画(作業計画を実行する制御情報)を作業用ドローン7に送信し、作業支援画面100を操作端末6に送信する(ステップS12)。
【0074】
この後、作業用ドローン7は、管制サーバ5から受信した作業計画に従って、移動及び作業を実行する(ステップS13)。一方、操作端末6は、管制サーバ5から受信した作業支援画面100を表示部(液晶パネル等)に表示する(ステップS14)。
【0075】
図6は、一実施形態に係る作業支援画面を示す図である。
【0076】
作業支援画面100は、圃場を含む画像101が表示される。
図6の例では、画像101には、2カ所の圃場104や、道路(例えば、公道)103等が含まれている。なお、圃場104は、複数の小圃場によって構成されていてもよい。
【0077】
作業支援画面100には、画像101上に、作業用ドローン7の飛行経路110と、オペレータの移動経路120とが表示されている。
【0078】
飛行経路110は、作業用ドローン7の離陸場所を示すスタート地点111と、着陸場所を示すエンド地点112と、1以上の実作業領域113とを含み、スタート地点111から1以上の実作業領域113を経由して、エンド地点112までが線で接続されている。なお、
図6の作業支援画面100は、飛行経路110を、作業用ドローン7が道路103を跨いで飛行しないことを条件としている場合の例を示しているので、道路103を超えた部分の圃場104の実作業領域113は、同一の飛行経路110には、含まれていない。
【0079】
また、本実施形態では、飛行経路110においては、作業用ドローン7の実際の位置を示すドローンマーク115が表示されている。また、エンド地点112においては、作業用ドローン7のバッテリの交換が必要であることを示す情報としての注意メッセージ114が表示されている。この注意メッセージ114により、オペレータがエンド地点112においてバッテリの交換が必要であることを予め把握することができるので、エンド地点112に交換用のバッテリを予め手配しておくことができる。
【0080】
オペレータの移動経路120は、スタート地点111からエンド地点112までのオペレータが移動可能な道路を通る経路となっている。
【0081】
また、作業支援画面100には、オペレータ(厳密には、操作端末6)の現在位置を示すオペレータマーク121が表示され、オペレータマーク121を中心とする作業用ドローン7の操作に適している所定の距離(例えば、100~150mの範囲の距離)の範囲を示す適正範囲122が表示されている。この適正範囲122にドローンマーク115が存在するか否かにより、オペレータは、作業用ドローン7が操作に適切な距離にあるか否かを容易に把握することができる。なお、
図6の例では、オペレータの位置(
図6のオペレータマーク121の位置)を中心として適正範囲を表示するようにしているが、例えば、作業用ドローン7の位置(
図6のドローンマーク115の位置)を中心に所定の距離の範囲を適正範囲としてもよい。この場合には、適正範囲内にオペレータが存在するか否かにより作業用ドローン7までの距離が操作に適切であるか否かを容易に把握することができる。
【0082】
ここで、作業用ドローン7が適切な位置で作業できるようにすることを検討する。
【0083】
作業用ドローン7が適切な位置で作業できるようにするには、高精度に作業用ドローン7の位置を制御する必要があり、作業用ドローン7の位置精度が鍵となる。
【0084】
作業用ドローン7に発生する位置誤差Δは、
Δ=Δrobot+Δbasemap+Δsesing_dataとあらわすことができる。
【0085】
ここで、Δrobotは、作業用ドローン7自体の位置精度に起因する誤差を示し、作業用ドローン7に対して或る地点への移動を指示した際に、どの程度の精度で指定地点に移動できるか示す。
【0086】
Δbasemapは、作業用ドローン7に作業指示をする際に利用する地図の位置精度に起因する誤差を示し、地図上に存在する地物の場所を、どの程度の精度で管理しているか示す。この地図は、例えば圃場内を全面作業する際、駐機場から圃場に移動する際、圃場間を移動する際などに用いられる。
【0087】
Δsensing_dataは、最新の圃場状態を知るために取得されるデータに起因する誤差を示す。データの代表例としては、空撮画像がある。多くの空撮画像には撮影時のGNSSデータが保存されているが、調査用ドローンの位置精度に起因して、多くの場合±10m程度の誤差を含んでいる。また、多くの場合、撮影時の調査用ドローン3の向き(方角)は保存されておらず、空撮画像を地図上にうまく重ね合わせることは難しい。また、高度に関する誤差が大きいため、画像を地図上に重畳表示させた際に、地物の大きさや距離などが正しく表示されないことが多い。
【0088】
Δrobotを改善する方法として、DGPS、D-RTK、2周波GNSSなどの技術が存在しており、これにより、cmオーダーの位置精度を実現することができる。
【0089】
Δbasemapを改善する方法として、GNSS対空標識を活用したオルソ生成処理などの技術が存在しており、これにより、cm~10cmオーダーの位置精度を実現することができる。
【0090】
Δsensing_dataを改善する方法として、Δrobotと同様にDGPS、D-RTK、2周波GNSSなどの技術を調査用ドローンに実装する方法も考えられる。しかしながら、これらの技術は一般に普及している調査用ドローンには実装されておらず、また、この技術を使用可能な専用ドローンを開発するとコストが高くなるため、専用ドローンの利用者は一部に限られる。
【0091】
これに対して、センシングデータ(例えば、空撮画像)を取得する際に、上記した例に示すように(Δbasemapと同様に)GNSS航空標識2を利用する方法がある。この方法によると、GNSS航空標識2を設置後数十分から数時間現場に配置し続けてGNSSデータを取得する必要があるとともに、GNSS航空標識2を、例えば、撮影領域の4隅と中央に設置することが求められるため、広域をセンシングする際に利用することは難しい場合もある。
【0092】
これに対して、以下に示す変形例に係るドローン作業支援システムを利用することにより、作業用ドローンの位置精度を向上することができる。なお、変形例に係るドローン作業支援システムについて、便宜的に
図1を参照して説明する。
【0093】
変形例に係るドローン作業支援システムでは、圃場について高精度に位置及び形状を特定できるポリコン情報(例えば、圃場の輪郭の頂点の緯度と経度の情報)を予め用意できる場合に、このポリゴン情報と、調査用ドローン3で撮影された画像とに基づいて、撮影された画像における所定の位置の位置情報を高精度に特定できるようにしたものである。
【0094】
ドローン作業支援システムにおいて、画像解析・地図生成サーバ4のデータ保存・検索部42には、圃場についてのポリゴン情報が格納されている。圃場についてのポリゴン情報については、例えば、圃場情報提供サービスから取得することができる。データ保存・検索部42は、地図情報記憶手段の一例である。
【0095】
図7は、変形例に係るドローン作業支援システムによる処理のフローチャートである。
【0096】
調査用ドローン3は、圃場を含む領域の上空から画像を撮影し、この画像にGPSレシーバ36により測定された三次元位置を付加し(ステップS15)、この画像を画像解析・地図生成サーバ4に送信する(ステップS16)。
【0097】
画像解析・地図生成サーバ4は、データ保存・検索部42に格納されたポリゴン情報と、調査用ドローン3から送信された圃場の画像とに基づいて、高精度地図を生成する(ステップS17:高精度地図生成処理)。高精度地図生成処理の詳細については、後述する。
【0098】
次いで、画像解析・地図生成サーバ4は、圃場の画像を解析して、例えば、農薬や肥料を散布する作業を行う実作業領域を特定し、この実作業領域の位置情報を高精度地図に基づいて抽出する(ステップS18:圃場状態解析処理)。次いで、画像解析・地図生成サーバ4は、ステップS17で生成した高精度地図と、ステップS18で特定した実作業領域の位置情報(実作業領域情報)を管制サーバ5に送信する(ステップS19)。
【0099】
管制サーバ5は、画像解析・地図生成サーバ4から送信された、高精度地図と実作業領域情報とを受信し(ステップS20)、高精度地図及び実作業領域情報とに基づいて、作業計画を作成するとともに、作業計画とオペレータ経路とを含む作業支援画面100を作成する(ステップS21)。次いで、管制サーバ5は、作業計画を作業用ドローン7に送信し、作業支援画面100を操作端末6に送信する(ステップS22)。
【0100】
この後、作業用ドローン7は、管制サーバ5から受信した作業計画に従って、移動及び作業を実行する(ステップS23)。一方、操作端末6は、管制サーバ5から受信した作業支援画面100を表示部に表示する(ステップS24)。
【0101】
図8は、変形例に係る高精度地図生成処理(
図7のステップS17)及び圃場状態解析処理(
図7のステップS18)を説明する第1の図であり、
図9は、変形例に係る高精度地図生成処理及び圃場状態解析処理を説明する第2の図である。
【0102】
まず、画像解析・地図生成サーバ4のデータ保存・検索部42は、調査用ドローン3から送信された圃場の画像を登録する(ステップA)。
【0103】
次いで、画像解析・地図生成サーバ4の地図生成部43(対象領域特定手段、位置情報対応付手段の一例)は、登録した画像200に対してエッジ検出処理を実行して、圃場と想定されるエッジ(圃場エッジ)201を抽出する(ステップB)。次いで、地図生成部43は、データ保存・検索部42に格納されている圃場についてのポリゴン情報から、圃場エッジ201に対応するポリゴン情報を特定し、ポリゴン情報に基づくポリゴン210と圃場エッジ201とを重畳する(ステップC)。圃場エッジ201に対応するポリゴン情報としては、圃場エッジ201を抽出した画像200に付されている位置情報に近い位置情報を持つポリゴン情報であって、圃場エッジ201と形状が類似する(例えば、同一又は相似形である)ポリコン情報である。
【0104】
次いで、地図生成部43は、圃場エッジ201の各辺と、ポリゴン210の各辺とが平行となるように、圃場エッジ201の角度を調整する、すなわち、圃場エッジ201を回転する(ステップD)。
【0105】
次いで、地図生成部43は、圃場エッジ201の拡大率を調整し、圃場エッジ201の各辺がポリゴン201の各辺に一致するようにする(ステップE)。
【0106】
次いで、地図生成部43は、調査用ドローン3から送信された圃場の画像200に対して、圃場エッジ201に対するステップCにおける調整角度により回転させるとともに、ステップDにおける拡大率で調整し、調整後の画像202に対して、ポリゴン情報の位置を対応付ける(ステップF)。これにより、調査用ドローン3から送信された圃場の画像200に基づく画像202に圃場のポリゴン210を重ね合わせて対応付けた高精度な地図を生成することができる。これにより、ポリゴン情報の位置情報に基づいて、画像202中の所定の点の位置(緯度、経度)を高精度に特定することができる。
【0107】
次いで、圃場状態解析部44(実作業領域特定手段及び位置情報特定手段の一例)は、調整後の画像202を解析して、例えば、農薬や肥料を散布する作業を行う実作業領域220を抽出し(ステップG)、抽出した実作業領域220(例えば、220A,220B)に対応するポリゴン情報(例えば、実作業領域220の位置を示す各頂点の緯度(lat)及び経度(lon))を特定し、調整後の画像202及び対応付けられたポリゴン情報とともに、実作業領域220のポリゴン情報(位置情報)を管制サーバ5に出力する(ステップH)。ここで、
図9においては、実作業領域220Aのポリゴン情報を、Polygon 1とし、実作業領域220Bのポリゴン情報を、Polygon 2として示している。この処理により、実作業領域220についての高精度な位置情報を管制サーバ5に出力することができる。
【0108】
変形例に係るドローン作業支援システムによると、調査用ドローン3に高精度なGNSSレシーバを備えていなくても、また、GNSS航空標識2を配置して撮影しなくても、高精度な地図を作成し、実作業領域の高精度な位置情報を取得することができる。
【0109】
次に、作業計画作成処理の具体例について説明する。なお、この処理は、
図5のステップS11及び
図7のステップS22に対応する。
【0110】
【0111】
作業計画作成部51(作業計画作成手段及び制御情報送信手段の一例)は、圃場全面に対して均一に作業する場合には、
図10(a)に示すような作業計画を作成する。具体的には、作業計画作成部51は、第1の方向(図面横方向)の移動時に対して継続して作業をし、第1の方向の端部に到達した場合には、第1の方向と交差する第2の方向(図面縦方向)に、作業を行うことなく移動し、移動後、第1の方向の移動を行い、作業を行う。ここで、
図10(a)に示す移動経路を全面作業経路という。
【0112】
また、作業計画作成部51は、管制サーバ5から実作業領域220に対応するポリゴン情報(例えば、実作業領域の220の各頂点の緯度及び経度)を受信した場合には、方式1(
図10(c))~方式3(
図10(e))のいずれかの方式により作業計画を作成する。
【0113】
方式1による作業計画は、作業用ドローン7を全面作業経路と同じ経路で移動させ、実作業領域220の範囲のみに作業を行わせる作業計画である。
【0114】
方式2による作業計画は、作業用ドローン7を全面作業経路のうち、実作業領域220が存在しない第1の方向の経路を省略して移動させ、実作業領域220の範囲のみに作業を行わせる作業計画である。
【0115】
方式3による作業計画は、作業用ドローン7を実作業領域220における作業を開始する位置(作業開始地点)に直線的に移動させて実作業を実行させ、その実作業領域220の作業を終了した後に、次の実作業領域220の作業開始地点に直線的に移動させることを繰り返し実行させる移動計画である。なお、実作業領域220の作業を実行させる順番は、移動経路が最短となるような順番とすればよい。
【0116】
上記した作業計画作成処理によると、いずれの方式により作業計画を作成しても、圃場全面に対して均一に作業する場合に比して、処理効率を向上することができる。特に、方式3による作業計画によると、作業用ドローン7の移動距離を短縮することができ、最も処理効率が高くなる。
【0117】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。
【0118】
例えば、上記した
図8及び
図9高精度地図生成処理及び圃場状態解析処理においては、調整後の画像202から実作業領域220を抽出するようにしていたが、本発明はこれに限られず、例えば、調整前の画像200から実作業領域を抽出しておき、実作業領域に対してステップC及びステップDの調整を行い、圃場のポリゴン情報に基づいて、調整後の実作業領域の位置情報を特定するようにしてもよい。
【0119】
また、上記実施形態及び変形例では、管制サーバ5と、画像解析・地図生成サーバ4とを別のサーバ計算機で構成していたが、本発明はこれに限られず、同一のサーバ計算機により構成される1つの処理サーバとして構成してもよく、また、画像解析・地図生成サーバ4とで実現する複数の機能手段を、より多くのサーバ計算機で実行させるようにしてもよい。
【0120】
また、上記実施形態では、バッテリによる電力をエネルギーとして移動する作業用ドローンを例として示していたが、本発明はこれに限られず、ガソリン、軽油等の燃料に基づくエネルギーにより移動する作業用ドローンを用いてもよい。なお、この場合においては、上記したバッテリの交換の地点は、燃料の補充地点と読み替えればよい。
【符号の説明】
【0121】
1…ドローン作業支援システム、2…GNSS航空標識、3…調査用ドローン、4…画像解析・地図生成サーバ、5…管制サーバ、6…操作端末、7…作業用ドローン