特許 7129069 ドローンを用いた作業を支援するシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-24

(45)【発行日】2022-09-01

(54)【発明の名称】ドローンを用いた作業を支援するシステムおよび方法

(51)【国際特許分類】

   G08G 5/00 20060101AFI20220825BHJP

   B64C 39/02 20060101ALI20220825BHJP

   B64C 27/08 20060101ALI20220825BHJP

   G16Y 10/40 20200101ALI20220825BHJP

   G16Y 20/20 20200101ALI20220825BHJP

   G16Y 40/10 20200101ALI20220825BHJP

   G16Y 40/20 20200101ALI20220825BHJP

【ＦＩ】

G08G5/00 A

B64C39/02

B64C27/08

G16Y10/40

G16Y20/20

G16Y40/10

G16Y40/20

【請求項の数】 7

(21)【出願番号】P 2020203163

(22)【出願日】2020-12-08

(62)【分割の表示】P 2017196710の分割

【原出願日】2017-10-10

(65)【公開番号】P2021051767

(43)【公開日】2021-04-01

【審査請求日】2021-01-05

(31)【優先権主張番号】P 2017066872

(32)【優先日】2017-03-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】516356402

【氏名又は名称】株式会社スカイマティクス

(74)【代理人】

【識別番号】110000279

【氏名又は名称】特許業務法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】倉本 泰隆

(72)【発明者】

【氏名】渡邉 善太郎

【審査官】武内 俊之

(56)【参考文献】

【文献】特開２０１６－０８２４４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ ５／００

Ｂ６４Ｃ ３９／０２

Ｂ６４Ｃ ２７／０８

Ｇ１６Ｙ １０／４０

Ｇ１６Ｙ ２０／２０

Ｇ１６Ｙ ４０／１０

Ｇ１６Ｙ ４０／２０

(57)【特許請求の範囲】

【請求項1】

１以上のドローンと通信可能に、又は、前記１以上のドローンを用いる１以上のユーザと通信可能に構成されたドローン作業支援システムにおいて、
第一の対象に対して行われた第一の作業の結果を受けて記憶する第一の作業結果記憶手段と、
記憶された前記第一の作業の結果を表す作業報告を作成する作業報告作成手段と、
作成された前記作業報告を前記ユーザの少なくとも一人に提供する作業報告提供手段と、
前記ユーザの少なくとも一人が前記作業報告に表示された前記第一の作業の結果に応じて第二の対象を特定することができるように構成された第二の対象特定ツールを、前記ユーザの少なくとも一人に提供する第二の対象特定ツール提供手段と、
前記ユーザの少なくとも一人から前記第二の対象の特定を受け、前記第二の対象の位置を記憶する第二の対象記憶手段と、
記憶された前記第二の対象の位置に応じて前記第二の対象に関する第二の作業に関する情報処理を行ない、前記情報処理の結果を前記ユーザの少なくとも一人又は前記ドローンの少なくとも一つに提供する第二対象情報処理手段と、
前記ユーザの少なくとも一人が前記作業報告に表示された前記第一の作業の結果に応じて前記第二の作業の作業内容を特定することができるように構成された作業内容特定ツールを、前記ユーザの少なくとも一人に提供する作業内容特定ツール提供手段と、
前記ユーザの少なくとも一人から前記作業内容の特定を受け、前記作業内容を記憶する作業内容記憶手段と、
を備え、
前記第二の作業に関する情報処理は、前記第二の対象の位置だけでなく、前記ユーザにより特定された前記作業内容にも応じて行われるドローン作業支援システム。

【請求項2】

前記ユーザの少なくとも一人が前記作業報告に表示された前記第一の作業の結果に応じて前記第二の対象の症状を特定することができるように構成された症状特定ツールを、前記ユーザの少なくとも一人に提供する症状特定ツール提供手段と、
前記ユーザの少なくとも一人から前記症状の特定を受け、前記症状を記憶する症状記憶手段と、
を更に備えた請求項１記載のドローン作業支援システム。

【請求項3】

前記第一の作業の結果を受けて、前記第一の対象の中から特異部分を自動的に検出し、検出された前記特異部分を、前記第二の対象の提案として前記ユーザの少なくとも一人に提供する第二の対象提案手段
をさらに備えた請求項１乃至２のいずれか一項記載のドローン作業支援システム。

【請求項4】

前記第一の作業の結果を受けて、前記第二の作業の作業内容の提案を自動的に生成し、前記作業内容の提案を前記ユーザの少なくとも一人に提供する作業内容提案手段
をさらに備える請求項１乃至３のいずれか一項記載のドローン作業支援システム。

【請求項5】

前記第一の作業の結果を受けて、前記第二の対象の症状の提案を自動的に生成し、前記症状の提案を前記ユーザの少なくとも一人に提供する症状提案手段
をさらに備えた請求項１乃至４のいずれか一項記載のドローン作業支援システム。

【請求項6】

１以上のドローンと通信可能に、又は、前記１以上のドローンを用いる１以上のユーザと通信可能に構成されたコンピュータシステムにより行われるドローン作業支援方法において、
第一の対象に対して行われた第一の作業の結果を受けて記憶するステップ、
記憶された前記第一の作業の結果を表す作業報告を作成するステップ、
作成された前記作業報告を前記ユーザの少なくとも一人に提供するステップ、
前記ユーザの少なくとも一人が前記作業報告に表示された前記第一の作業の結果に応じて第二の対象を特定することができるように構成された第二の対象特定ツールを、前記ユーザの少なくとも一人に提供するステップ、
前記ユーザの少なくとも一人から前記第二の対象の特定を受け、前記第二の対象の位置を記憶するステップ、
記憶された前記第二の対象の位置に応じて前記第二の対象における第二の作業に関する情報処理を行い、前記情報処理の結果を前記ユーザの少なくとも一人又は前記ドローンの少なくとも一つに提供するステップ、
前記ユーザの少なくとも一人が前記作業報告に表示された前記第一の作業の結果に応じて前記第二の作業の作業内容を特定することができるように構成された作業内容特定ツールを、前記ユーザの少なくとも一人に提供するステップ、及び、
前記ユーザの少なくとも一人から前記作業内容の特定を受け、前記作業内容を記憶するステップ、
を有し、
前記第二の作業に関する情報処理は、前記第二の対象の位置だけでなく、前記ユーザにより特定された前記作業内容にも応じて行われるドローン作業支援方法。

【請求項7】

１以上のドローンと通信可能に、又は、前記１以上のドローンを用いる１以上のユーザと通信可能に構成されたコンピュータシステムに、ドローン作業支援方法を実行させるための機械読み取り可能なコンピュータプログラムにおいて、前記ドローン作業支援方法が、
第一の対象に対して行われた第一の作業の結果を受けて記憶するステップ、
記憶された前記第一の作業の結果を表す作業報告を作成するステップ、
作成された前記作業報告を前記ユーザの少なくとも一人に提供するステップ、
前記ユーザの少なくとも一人が前記作業報告に表示された前記第一の作業の結果に応じて第二の対象を特定することができるように構成された第二の対象特定ツールを、前記ユーザの少なくとも一人に提供するステップ、
前記ユーザの少なくとも一人から前記第二の対象の特定を受け、前記第二の対象の位置を記憶するステップ、
記憶された前記第二の対象の位置に応じて前記第二の対象における第二の作業に関する情報処理を行ない、前記情報処理の結果を前記ユーザの少なくとも一人又は前記ドローンの少なくとも一つに提供するステップ、
前記ユーザの少なくとも一人が前記作業報告に表示された前記第一の作業の結果に応じて前記第二の作業の作業内容を特定することができるように構成された作業内容特定ツールを、前記ユーザの少なくとも一人に提供するステップ、及び、
前記ユーザの少なくとも一人から前記作業内容の特定を受け、前記作業内容を記憶するステップ、
を有し、
前記第二の作業に関する情報処理は、前記第二の対象の位置だけでなく、前記ユーザにより特定された前記作業内容にも応じて行われるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、施設、建造物、土地、圃場、森林などの人工物または自然物に対する調査、点検、保守、加工、破壊または建造などの作業を支援するためのシステム及び方法に関し、特に、ドローンを用いた作業の支援に好適なシステムおよび方法に関する。本明細書では、「ドローン」という用語を、搭乗員なしに操縦し得る移動体（例えば、遠隔から無線で操縦し得るか、または自律的に操縦し得る航空機、走行機、水上船、潜水機など）を指す意味で用いる。

【背景技術】

【0002】

ドローンを様々な用途に利用するための技術が知られている。例えば特許文献１に開示された管理システムは、無人飛行体を利用して、建物内に存在する対象物（例えば、屋内駐車場内の駐車車両）の位置の特定および特徴情報の取得を行なう。

【0003】

この管理システムによれば、建物内の地図に基づいて、建物内における車両の位置を特定するための飛行経路が計算される。そして、その飛行経路に沿って、無人飛行体が飛行する。その飛行中、無人飛行体に搭載された位置関連情報取得部が、車両の位置に関連する情報を取得する。そして、取得された情報に基づいて、建屋内における車両の位置が特定され、その位置特定の結果に基づいて、それぞれの車両の特徴を特定するための飛行経路が算出される。その後、後者の飛行経路に沿って無人飛行体が飛行する。その飛行中、無人飛行体に搭載された特徴情報取得部が、個々の車両の特徴情報を取得する。そして、取得された特徴情報を、特定された車両の位置と関連付けることにより、個々の車両の特徴情報が特定される。

【0004】

特許文献２には、無人飛行体を利用した送電線点検システムが開示されている。このシステムによると、無人飛行体が送電線の点検個所（鉄塔、送電線真下の敷地、送電線に近接した樹木など）を撮影し、その撮影画像から点検個所の三次元画像が生成される。その三次元画像に基づいて点検個所の異常が見つけだされる。例えば、鉄塔の色や輝度や彩度などから、メッキの腐食度合いが判定されたり、あるいは、過去の三次元画像との比較により新しい変化が把握されたりする。

【0005】

特許文献３には、無人飛行体により水田を撮影することで得られた画像から、水田の水位を把握して、水門の開閉指示を送信する水位管理システムが開示されている。

【0006】

特許文献４には、建物や橋梁などの構造物の劣化を推定し、点検計画を作成し、そして、補修要否を判断する点検システムが記載されている。点検システムは、構造物の設計データおよび状況データ（使用履歴や最近の点検結果や補修結果など）に基づいて、構造物の劣化を自動的に推定し、その推定結果に基づいて、無人飛行体による写真撮影などを用いた簡易点検を実施するための第１点検計画を自動作成する。そして、点検システムは、実施された簡易点検の結果に基づいて、人による詳細点検を実施するための第２点検計画を自動作成し、そして、実施された詳細点検の結果に基づいて、構造物の補修の要否を自動判断する。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１５－１３１７１３号公報

【文献】特開２００５－２６５６９９号公報

【文献】特開２０１６－２２０６８１号公報

【文献】特開２０１７－０７１９７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ある作業にドローンを利用するためには、その作業に適した移動計画（例えば飛行ドローン用の飛行計画）を用意する、あるいは、その作業が適切に行われるようにドローンを手動で操縦する必要がある。しかし、これは多くの作業者にとりそう容易ではない。例えば、農薬散布などの農作業にドローンが利用できれば農業の生産性が改善されるであろうが、一般的な農家にとり、それを実行することは容易でない。

【0009】

作業は、期待される効果が得られるように、適切に計画され実施されることが望まれる。しかし、現実のさまざまな状況においてどのような作業が適切であるかを判断することは、個々の作業者にとっても、作業を支援するシステムの設計者にとっても、容易ではない。さらには、例えば圃場への農薬散布の場合、同じ農作物の同じ病害に対して、同じ農薬が常に期待の効果をもたらすわけではない。同じ病害に同じ農薬を繰り返し使い続けると、効果が落ちてくるため、農薬を変更した方がよい場合がある。このような事情が、期待された作業効果を得るための作業計画の設計をいっそう難しくする。

【0010】

本発明の目的の一つは、ドローンなどの移動体を用いた作業を支援するシステムにおいて、ユーザによる移動体の所望作業への利用をいっそう容易化することにある。

【0011】

本発明の別の目的は、期待された作業効果を得るための作業計画の設計を支援することにある。

【課題を解決するための手段】

【0012】

本発明の一実施形態に従う、１以上のドローンと通信可能に、又は、１以上のドローンを用いる１以上のユーザと通信可能に構成されたドローン作業支援システムは、第一の対象に対して行われた第一の作業の結果を受けて記憶する第一の作業結果記憶手段と、記憶された第一の作業の結果を表す作業報告を作成する作業報告作成手段と、作成された作業報告をユーザの少なくとも一人に提供する作業報告提供手段と、ユーザの少なくとも一人が作業報告に表示された第一の作業の結果に応じて第二の対象を特定することができるように構成された第二の対象特定ツールを、ユーザの少なくとも一人に提供する第二の対象特定ツール提供手段と、ユーザの少なくとも一人から第二の対象の特定を受け、第二の対象の位置を記憶する第二の対象記憶手段と、記憶された第二の対象の位置に応じて第二の対象に関する第二の作業に関する情報処理を行ない、情報処理の結果をユーザの少なくとも一人又はドローンの少なくとも一つに提供する第二対象情報処理手段とを備える。

【0013】

このドローン作業支援システムによれば、ドローンなどの移動体を用いた作業を支援するシステムにおいて、ユーザによる移動体の所望作業への利用をいっそう容易化することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係るドローンを用いた作業を支援するシステムの全体構成を示すブロック線図。

【図2】同システムの全体的な制御例の流れを示すフローチャート。

【図3】同システムにおける地域位置の登録の制御例の流れを示すフローチャート。

【図4】地域位置の指定方法例と地域位置のデータ構成例を示す説明図。

【図5】同システムにおける調査飛行計画の作成と設定の制御例の流れを示すフローチャート。

【図6】地域と調査飛行計画の関係例を示す説明図。

【図7】調査飛行計画のデータ構成例を示す説明図。

【図8】同システムにおける調査ドローンを用いた写真撮影の制御例の流れを示すフローチャート。

【図9】同システムにおける撮影画像からの地域画像の作成と登録の制御例の流れを示すフローチャート。

【図10】地域画像のデータ構成例を示す説明図。

【図11】同システムにおける作業個所と実作業飛行計画の登録の制御例の流れを示すフローチャート。

【図12】作業個所のデータ構成例を示す説明図。

【図13】作業個所と実作業飛行計画との関係例を示す説明図。

【図14】実作業飛行計画のデータ構成例を示す説明図。

【図15】同システムにおける実作業飛行計画の設定の制御例の流れを示すフローチャート。

【図16】同システムにおける実作業ドローンを用いた実作業の制御例の流れを示すフローチャート。

【図17】本発明の第２の実施形態に係る作業支援システムの全体構成を示すブロック線図。

【図18】第２の実施形態にかかるシステムの全体的な制御例の流れを示すフローチャート。

【図19】症状解析部の構成例を示すブロック線図。

【図20】作業解析部の構成例を示すブロック線図。

【図21】操作端末の表示スクリーン上で作業個所の領域を選択するときのグラフィックインタフェース例を示す図。

【図22】操作端末の表示スクリーン上で作業個所の症状を特定するときのグラフィックインタフェース例を示す図。

【図23】操作端末の表示スクリーン上で作業個所に施すべき実作業を決定するときのグラフィックインタフェースを示す図。

【図24】解析部の別の構成例を示すブロック線図。

【図25】解析部のまた別の構成例を示すブロック線図。

【図26】ドローンによる写真撮影で用いることができる画像補正スケールの一例の平面デザインを示す平面図。

【図27】図２６に示された画像補正スケールの一例における各基準色のパネルが満たす寸法条件の一例を示す図。

【図28】画像補正スケールを利用して地域画像を補正するためのシステムの構成例を示すブロック線図。

【図29】図２８に示された補正システムが行う制御の一例を示すフローチャート。

【発明を実施するための形態】

【0015】

以下、本発明の一実施形態を図面を参照して説明する。

【0016】

以下の説明では、圃場の点検保守（例えば、病害や生理障害が生じた個所の特定と、その箇所への農薬や肥料の散布など）に無人航空機として構成されたドローンを利用するという用途を例にとり、本発明の実施形態を説明する。しかし、この用途は説明のための例示にすぎず、他の用途に同実施形態を適用することを制限する趣旨ではない。

【0017】

図１は、本発明の一実施形態に係るドローンを用いた作業を支援するシステムの全体構成を示す。

【0018】

図１に示される作業支援システム１は、典型的には、複数の異なるユーザがこれを利用することができるものである。しかし、以下では、複数のユーザの中の一人のユーザの利用シーンに的を絞って説明を進める。

【0019】

図１に示すように、作業支援システム１を利用する際、ユーザは異なる作業に適した異なる種類のドローン、例えば二種類のドローン３、５を使用することができる。本実施形態では、その一つは調査ドローン３であり、ユーザが所望する地理的領域つまり地域（例えば、そのユーザが保有または利用する圃場）の状態を調査、つまりその地域の情報を収集する役目をもつ。本実施形態では、地域調査の方法として、その地域の写真を上空から撮影することを採用する。しかし、写真撮影は一つの例示であり、他の調査方法、例えば、電波レーダ、音波レーダ、あるいは各種のセンサを用いた情報収集法を採用してもよい。また、異なる調査方法を組み合わせてもよい。

【0020】

本実施形態では、もう一つの種類のドローンは、実作業ドローン５であり、その地域で実施されるべきある種の作業（以下、実作業という）、例えば広大な圃場の中で病害が発生した個所へ選択的に農薬を散布する作業、を実行する役目をもつ。

【0021】

調査ドローン３と実作業ドローン５として、同じ機体のドローンを用いてもよいが、それぞれの役目を最適に果たすためには、それぞれに別の機体のドローンを用いることが望ましい場合が多いであろう。また、一つの地域について、複数機の調査ドローン３を用いる、および/または複数機の実作業ドローン５を用いることも可能である。しかし、以下では、一人のユーザが一機の調査ドローン３と別の一機の実作業ドローン５を用いる場合を例にとり、説明を進める。

【0022】

作業支援システム１は、また、データサーバ７を有し、これはドローン３、５の利用に必要なさまざまなデータを管理および処理するためのコンピュータシステムである。

【0023】

さらに、作業支援システム１を利用する際、ユーザは操作端末９を使用する。操作端末９は、データサーバ７とインターネットのような通信ネットワークを通じてデータ通信を行う機能をもつ。操作端末９は、また、ドローン３、５とデータを受け渡しする機能をもつ（例えば、有線または無線の通信方法により、または、可搬式のデータストレージを介して、ドローン３、５とデータを受け渡しできる）。

【0024】

そのような機能をもつ汎用の携帯可能な情報処理端末（例えば、いわゆる携帯電話、スマートフォン、タブレット端末、モバイル形パーソナルコンピュータ、またはノート形パーソナルコンピュータなど）、あるいは、他の種類のコンピュータ（例えば、デスクトップ型パーソナルコンピュータ）を、操作端末９として採用することができる。その場合、この作業支援システム１を利用するためのコンピュータプログラム（例えば、本システム専用のアプリケーション、あるいは、データサーバ７の外部インタフェースであるウェブサイトにアクセス可能な汎用ウェブブラウザ、など）が、その汎用の情報処理端末にインストールされ、その端末上でそのコンピュータプログラムを実行することにより、その汎用端末が、この作業支援システム１用の操作端末９として機能することになる。あるいは、操作端末９として、この作業支援システム1に専用のハードウェアが用意されてもよい。

【0025】

各ユーザは、作業支援システム1を利用する際、常に同じ一台の操作端末９のみを使用してもよいし、時と場合に応じて複数の操作端末９の中の一つを適宜に選択して使用してもいい。また、複数の異なるユーザが、それぞれの操作端末９を使って、同じ地域（例えば、同じ圃場）に関する情報を参照して、所望の情報を入力することもできる。以下では、一人のユーザが一台の操作端末９を使用する場合を例にとり、説明を進める。

【0026】

調査ドローン３は、それを飛行させるための飛行機構１１、その三次元位置（緯度、経度、高度）を計測するためのGPSレシーバ１３、写真を撮影するためのカメラ１５、それらの装置１１、１３、１５を制御するための制御器１７を有する。また、調査ドローン３には、それをユーザが遠隔から無線で操縦するための無線操縦器１９（いわゆるプロポ）が付属する。無線操縦器１９は、制御器１７と無線で通信可能であり、無線操縦器１９に対するユーザの各種操作に応答して、各種の操縦指令を制御器１７に送信する。

【0027】

実作業ドローン５は、それを飛行させるための飛行機構２１、その三次元位置（緯度、経度、高度）を計測するためのGPSレシーバ２３、実作業を行うための実作業装置２５、それらの装置２１、２３、２５を制御するための制御器２７を有する。実作業が圃場での農薬散布である場合、実作業機械２５は当然に農薬散布装置であるが、これに、補助的な装置、例えば、実作業の状況を撮影するカメラなどが追加装備されてもよい。また、実作業ドローン５には、それをユーザが遠隔から無線で操縦するための無線操縦器２９（いわゆるプロポ）が付属する。無線操縦器２９は、制御器２７と無線で通信可能であり、無線操縦器２９に対するユーザの各種操作に応答して、各種の操縦指令を制御器２７に送信する。

【0028】

操作端末９は、それをユーザが使用する通常のステップの順序に沿って、地域登録部３１、飛行計画入力部３３、飛行計画出力部３５、撮影画像入力部３７、撮影画像出力部３９、撮影位置入力部４１、撮影位置出力部４３、画像表示部４５、作業個所登録部４７、作業結果入力部４８、および作業結果出力部４９などの情報処理機能要素を有する。

【0029】

地域登録部３１は、ユーザ入力に応答して、ユーザの所望する地理的領域つまり地域（例えばそのユーザが保有する圃場）の位置（例えば、その地域の輪郭の頂点の緯度と経度）（以下、地域位置という）をデータサーバ7に登録する。

【0030】

飛行計画入力部３３は、ユーザ入力に応答して、データサーバ７から、ユーザの所望する飛行計画をダウンロードする。飛行計画出力部３５は、ユーザ入力に応答して、ダウンロードされた飛行計画を、ユーザの所望するドローン３または５に送信して、そのドローン３または５の制御器１７または２７にその飛行計画をインストールさせる。ここで、飛行計画とは、ドローンが飛行する予定の地理的経路を定義した一種の移動計画である。

【0031】

撮影画像入力部３７は、ユーザ入力に応答して、調査ドローン３で撮影された画像（一つの地域で多数の画像が撮影される）（以下、撮影画像という）を受け取る。撮影画像出力部３９は、ユーザ入力に応答して、受け取った多数の撮影画像をデータサーバ７へ送信する。

【0032】

撮影位置入力部４１は、ユーザ入力に応答して、調査ドローン３で計測された各撮影画像の撮影時の調査ドローン３（またはカメラ１５）の位置および角度（以下、撮影の位置と角度を総称して撮影位置という）を受け取る。撮影位置出力部４３は、ユーザ入力に応答して、受け取った撮影位置をデータサーバ７へ送信する。

【0033】

画像表示部４５は、ユーザ入力に応答して、データサーバ７から、そのユーザがすでに登録した地域の全体の画像（以下、地域画像という）をダウンロードして、操作端末９の表示スクリーン（図示省略）に表示する。ここで、各地域画像は、データサーバ７によって、その地域の多数の撮影画像を結合することが作成される。

【0034】

作業個所登録部４７は、ユーザ入力に応答して、表示された地域画像上で、その地域内の実作業を施したい１以上の地理的小領域つまり個所（以下、作業個所という）を特定して、その作業個所をデータサーバ７に登録する。例えば、実作業が圃場の農薬散布である場合、ある圃場の地域画像の中から、ユーザが作物や葉などの色や形を観察して病害が発生していると認めた個所を、作業個所とすることができる。この作業個所の登録の際、ユーザは、その作業個所に対して実施したい作業の内容（例えば、農薬Aと農薬Bを散布する）も併せて指定して、作業個所に関連付けてデータサーバ７に登録する。

【0035】

作業結果入力部４８は、ユーザ入力に応答して、実作業ドローン５が実施した実作業の結果（例えば、農薬の散布位置と散布量など）を受け取る。作業結果出力部４９は、ユーザ入力に応答して、受け取った作業結果をデータサーバ７へ送信する。

【0036】

データサーバ７は、地域位置データベース５１、三次元地図データベース５３、飛行計画データベース５５、撮影画像データベース５７、撮影位置データベース５９、地域画像データベース６１、作業個所データベース６３、および作業結果データベース６５などのデータベースを有する。また、データサーバ７は、飛行計画作成部７１、撮影画像入力部７３、撮影位置入力部７５、撮影画像結合部７７、および分析部７９などの情報処機能理要素を有する。

【0037】

地域位置データベース５１は、操作端末９の地域登録部３１に応答して、ユーザが指定した地域（例えば、そのユーザの圃場）の地域位置を登録し管理する。

【0038】

三次元地図データベース５３は、各位置の緯度と経度と高度を定義した三次元地図を保存し管理する。三次元地図データベース５３は、ドローン３、５のための飛行計画を作成するために、飛行計画作成部７１によって利用される。なお、データサーバ７は、三次元地図データベース５３をサーバ７内にもたずに、インターネット上などにある外部の三次元地図を利用してもよい。

【0039】

飛行計画データベース５５は、ドローン３、５のための飛行計画を保存し管理する。飛行計画データベース５５は、操作端末９の飛行計画入力部３３から要求を受けて、要求された飛行計画を飛行計画入力部３３へ送る。飛行計画データベース５５で管理される飛行計画は、例えば調査飛行計画と実作業飛行計画の二種類に大別される。調査飛行計画は、登録された各地域を調査用ドローン３で調査する（例えば写真を撮影する）ための飛行計画である。実作業飛行計画は、登録された各地域内の１以上の作業個所に実作業ドローン５で実作業（例えば農薬散布）を施すための飛行計画である。

【0040】

撮影画像データベース５７は、操作端末９の撮影画像出力部３９から受け取った撮影画像を保存し管理する。撮影位置データベース５９は、操作端末９の撮影位置出力部４３から受け取った撮影位置を保存し管理する。

【0041】

地域画像データベース６１は、各地域の撮影画像を結合することで作成された各地域の全貌を示す地域画像を保存し管理する。地域画像データベース６１は、操作端末９の画像表示部４５からの要求を受けて、要求された地域画像を画像表示部４５へ送る。

【0042】

作業個所データベースは、操作端末９の作業個所登録部４７に応答して、ユーザにより指定された作業個所を登録し管理する。

【0043】

作業結果データベース６５は、操作端末９の作業結果出力部４９から受け取った作業結果を保存し管理する。

【0044】

撮影画像入力部７３と撮影位置入力部７５は、それぞれ、調査ドローン３から操作端末９に渡された撮影画像と撮影位置を、操作端末９から受け取り撮影画像データベース５７と撮影位置データベース５９に登録する。

【0045】

飛行計画作成部７１は、各地域の調査飛行計画、および、各地域内の１以上の作業個所の実作業飛行計画を作成し、作成した飛行計画を飛行計画データベース５５に登録する。飛行計画作成部７１は、全自動で飛行計画を作成できる全自動ツールであってもよいし、あるいは、人がそれを操作して飛行計画を作成できるようになった半自動ツールであってもよい。

【0046】

各地域の調査飛行計画は、地域位置データベース５１内の各地域の地域位置（例えばその地域の輪郭の頂点の緯度と経度）と、三次元地図データベース５３内の各地域内の諸地点の三次元位置（例えば緯度と経度と高度）を用いて作成される。各地域内の１以上の作業個所の実作業飛行計画は、作業個所データベース６３内の該当の作業個所の位置（例えば、作業個所の輪郭の頂点の緯度と経度）と、三次元地図データベース５３内の各作業個所内の諸地点の三次元位置（例えば緯度と経度と高度）を用いて作成される。

【0047】

撮影画像入力部７３は、操作端末９の撮影画像出力部３９から各地域の撮影画像を受け取り、受け取った撮影画像を撮影画像データベース５７に登録する。撮影位置入力部７５は、操作端末９の撮影位置出力部４３から各地域の撮影位置を受け取り、受け取った撮影位置を撮影位置データベース５９に登録する。

【0048】

撮影画像結合部７７は、撮影画像データベース５７内の各地域の撮影画像を、撮影位置データベース５９内の各地域撮影位置に基づいて結合し、各地域の全体を表した地域画像を作成し、その地位画像を地域画像データベース６１に登録する。各地域の地域画像は、その地域の調査（例えば写真撮影）の結果をユーザに知らせるための調査報告としての役割を果たす。各地域の地域画像を参照することで、ユーザは、その地域内のどの個所に実作業（例えば農薬散布）を施すべきかを判断し、その個所を指定することができる。

【0049】

分析部７９は、作業結果データベース６５に保管されている作業結果を分析する。作業結果の分析結果は、後の作業方法の改善やその他の用途に活用することができる。

【0050】

図２は、この作業支援システム１の全体的な制御例の流れを示す。

【0051】

図２に示すように、操作端末９では、ユーザによって、所望の地域（例えばそのユーザの保有する圃場）の登録のための操作が行われる（ステップS1）。登録操作は、例えば、インターネットで提供されているような地図を操作端末9のスクリーンに表示して、その地図上で地域の地域位置を指定するというような操作である。この登録操作に応答して、データサーバ７が、その地域の地域位置を記録することで、その地域を登録する（ステップS2）。その後、データサーバ７は、その地域位置に基づいて、その地域の調査飛行計画を作成する（ステップS3）。

【0052】

その後、ユーザが操作端末９を操作して、データサーバ７から操作端末９に、その地域の調査飛行計画をダウンロードし、その調査飛行計画を、操作端末９から調査ドローン３に送る（ステップS4）。すると、その調査ドローン３にその調査飛行計画がインストールされる（ステップS5）。

【0053】

ユーザが、調査ドローン３をその地域（例えば、ユーザの保有する圃場）へもっていき、そして、無線操縦器１９を操作して、調査ドローン３に、離陸およびその他の補助的な操縦指示を送る（ステップS6）。調査ドローン３は、調査飛行計画に基本的に従って、自動的かつ自律的に、その地域の上空を飛行しつつ、飛行経路上の諸位置で地表領域の写真撮影を繰り返して、多くの撮影画像と撮影位置を記録する（ステップS7）。この飛行の制御は、基本的には調査飛行計画に従って自動的かつ自律的に行われ、無線操縦器１９からの操縦指示は、離陸の開始や、飛行位置または速度の若干の修正など、補助的に使用される。

【0054】

その地域の多数の撮影画像と撮影位置は、調査ドローン３から操作端末９に渡され、そして、操作端末９からデータサーバ７に送られる（ステップS8）。データサーバ７が、それらの撮影画像をそれぞれの撮影位置に応じて結合して、その地域全体の地域画像を作成する（ステップS9）。

【0055】

その後、ユーザが操作端末９を操作して、データサーバ７からその地域の地域画像を受け取ってスクリーンに表示し、そして、その表示された地域画像上で作業個所（例えば、その圃場の中の病害が発生していると視認される個所）を特定し、その作業個所の登録をサーバ７に要求する（ステップS10）。データサーバ７は、その作業個所を登録し、そして、その作業個所の実作業飛行計画（例えば、その個所に農薬を散布するための飛行計画）を作成する（ステップS11）。

【0056】

その後、ユーザが操作端末９を操作して、データサーバ７から操作端末９に、その実作業飛行計画をダウンロードし、その実作業飛行計画を、操作端末９から実作業ドローン５に送る（ステップS12）。すると、その実作業ドローン５にその実作業飛行計画がインストールされる（ステップS13）。

【0057】

ユーザが、実作業ドローン５をその地域（例えば、ユーザの保有する圃場）へもっていき、そして、無線操縦器２９を操作して、実作業ドローンに、離陸およびその他の補助的な操縦指示を送る（ステップS14）。実作業ドローン５は、基本的に実作業飛行計画に従って、作業個所の上空を飛行しつつ作業個所に実作業（例えば、圃場の病害個所へに農薬散布）を実施し、その作業結果を記録する（ステップS15）。この飛行の制御は、基本的には実作業飛行計画に従って自動的かつ自律的に行われ、無線操縦器１９からの操縦指示は、離陸の開始や、飛行位置または速度の若干の修正など、補助的に使用される。

【0058】

その作業結果は、実作業ドローン５から操作端末９に渡され、そして、操作端末９からデータサーバ７に送られる（ステップS16）。データサーバ７が、その作業結果を保存し、そして分析する（ステップS17）。

【0059】

以上の制御流れから分かるように、ユーザは操作端末９を使って比較的に容易に、ドローン３、５を利用して、所望の地域における所望の作業を実施することができる。

【0060】

以下では、上述の制御流れを複数部分に分け、各部分をより詳細に説明する。

【0061】

図３は、この作業支援システム１における地域位置の登録の制御例の流れを示す。

【0062】

図３に示すように、操作端末９において、ユーザが自分のユーザ認証情報を入力してデータサーバ7へのログインを要求する（ステップS21）。データサーバ7は、そのユーザを認証してユーザのログインを許可する（ステップS22）。

【0063】

そして、操作端末９で、ユーザが地図を表示し（ステップS23）、その地図上で所望の地域（例えば、自分の圃場）を指定する（ステップS24）。また、ユーザは操作端末９上で、その地域の名前を入力する（ステップS25）。

【0064】

ここで使用される地図は、例えばインターネットから提供される地図でも、あるいは、データサーバ７から提供される地図でもよい。地域の指定方法としては、例えば地図上でユーザが所望地域の輪郭の頂点を指定する方法が採用できる。あるいは、その輪郭が定義済みの地域名（例えば、地名や地番）を入力する方法も採用できる。地域の頂点が指定されると、それらの頂点の位置（例えば緯度と経度）が操作端末９により特定される。

【0065】

そして、操作端末９が、指定された地域名と地域位置をデータサーバ７へ送る（ステップS26）。データサーバ７は、その地域名と地域位置とその地域のID（識別名）とを、そのユーザのID（識別名）に関連づけて、地域位置データベース５１に登録する（ステップS27）。

【0066】

図４は、上述した地域位置の指定方法例と登録される地域位置のデータ構成例を示す。

【0067】

図４の左側部分に示すように、ある地域８１を指定する方法として、ユーザは、地図上でその地域８１の輪郭８３の頂点A１～A5を指定することができる。これに加えて、ユーザは、ドローンを発着させることができる発着点P1の位置も、その地域８１内またはその地域８１の周辺近傍に指定してよい。これらの点が地図上で指定されると、その地図がもつ位置座標系（例えば緯度と経度の座標系）に基づいて、それらの指定点A1～A5、P1の位置（例えば緯度と経度（Xa1, Ya1）～（Xa5, Ya5）、（Xp1, Yp1））が操作端末９により自動的に特定される。

【0068】

そして、データサーバ７では、図４の右側部分に示すように、地域ID８７と地域名８８と地域位置（例えば、すべての頂点の緯度と経度のセット）８９と発着点位置（例えば発着点の緯度と経度）９１が、地域データ９３として、それらを指定したユーザのユーザID８５に関連づけられて、地域位置データベース５１に保存される。

【0069】

図５は、調査飛行計画の作成と設定の制御例の流れを示す。

【0070】

図５に示すように、データサーバ７が、地域位置データベース５１内のあるユーザが登録した地域の地域位置と発着点位置に基づいて調査飛行計画を作成する（ステップS31）。調査飛行計画は、調査ドローン３を発着点から離陸させて、その地域の上空を飛行しつつその地域のすべての領域の写真を撮影し、そして、発着点に着陸させるための、撮影ドローン３に対する動作制御指示である。この調査飛行計画を作成する際、データサーバ７は、三次元地図データベース５３から提供されるその地域の諸地点の三次元位置（例えば、緯度と経度と高度）を計算に入れて、飛行経路を決定する。

【0071】

データサーバ７は、その調査飛行計画を、そのユーザのユーザIDとその地域の地域名とに関連づけて、飛行計画データベース５５に登録する（ステップS32）。

【0072】

その後、そのユーザが、操作端末９からデータサーバ７にログインする（ステップS33～S34）。データサーバ７が、ユーザ要求に応答して、飛行計画データベース５５内から、そのユーザのユーザIDに関連づけられた調査飛行計画を選択し、選択された調査飛行計画のリストを操作端末に送る（ステップS35）。操作端末９は、そのリストを表示する（ステップS36）。

【0073】

ユーザは、表示されたリスト中から所望の調査飛行計画を選んでデータサーバ７に要求し、データサーバ７はその調査飛行計画を操作端末に送り、それにより、操作端末９にその調査飛行計画がダウンロードされる（ステップS37～S38）。

【0074】

その後、ユーザは、その調査飛行計画を操作端末９から調査ドローン３に供給する（ステップS39）。調査ドローン３は、受け取った調査飛行計画を自機の制御器１７にインストールする（S40）。

【0075】

図６は、登録された地域と調査飛行計画の関係例を示す。

【0076】

調査飛行計画には、飛行経路と飛行速度と撮影位置が含まれる。図６の左側部分に示すように、飛行経路１１３は、発着点P1から離陸し、地域８１の全域をカバーする複数の区域のすべての写真が撮影できるよう地域８１の上空を飛行し、そして、発着点P1に着陸するまでの調査ドローン３の三次元の経路を、例えばその経路上の飛行方向または速度の変更点の3次元位置（例えば、緯度と経度と高度）を用いて、定義する。

【0077】

飛行速度は、その飛行経路１０１上の諸区間における飛行速度の制御目標値を定義する。

【0078】

撮影位置は、図６の右側部分（左側部分の一点鎖線で囲んだ部分の拡大図）に示すように、飛行経路１０１上の写真撮影を行うべきすべての位置（ドットで図示する）を定義する。

【0079】

撮影位置の各々は、そこで撮影した写真画像（図６中、実線または破線の長方形で示される）と、その隣の撮影位置で撮影した写真画像とが、それぞれの辺縁部分で重なり合うように、配置される。例えば、図６中、ある撮影位置１０３で撮影した写真画像１０３Aは、その上隣の撮影位置１０５で撮影した写真画像１０５Aと、それぞれの上辺縁部分と下辺縁部分で重なり合い、また、その左隣の撮影位置１０７で撮影した写真画像１０７Aと、それぞれの左辺縁部分と右辺縁で重なり合う。その結果、すべての撮影位置で撮影した写真画像を、相互の重なり合う部分で重ね合わせて、結合することにより、地域８１の全域の写真画像（つまり、地域８１の地位画像）を合成することができる。

【0080】

図７は、調査飛行計画のデータ構成例を示す。

【0081】

図７に示すように、調査飛行計画１０９には、その飛行計画のID（識別名）１１１と、飛行経路（例えば、その経路上のすべての変更点の各々の緯度Xrと経度Yrと高度Zr）と飛行速度（各変更点から次の変更点までの目標速度V）のセット１１３と、撮影位置（例えば、すべての撮影位置の各々の緯度Xsと経度Ysと高度Zsと撮影角度As）１１５が含まれる。この調査飛行計画１０９が、該当のユーザID８５と地域ID８７に関連づけられて、飛行計画データベース５５で管理される。

【0082】

図８は、調査ドローン３を用いた写真撮影の制御例の流れを示す。

【0083】

ユーザは、調査ドローン３を対象の地域の発着点に置いた後、その調査ドローン3用の無線操縦器１９を操作して、まず作業開始を調査ドローン３に指示する（ステップS41）。その指示に応答して、調査ドローン３は離陸し（ステップS42）、そして、制御器１７による調査飛行計画に従った自動操縦制御により、その飛行計画の飛行経路に沿って飛行しつつ各撮影位置で写真撮影を実行する（ステップS43）。そして、調査ドローン３は、撮影された写真画像と撮影時の撮影位置（例えば、緯度と経度と高度）を記録する（ステップS44）。

【0084】

ユーザは、調査ドローン３の飛行を観察しつつ、その飛行状態（例えば、飛行位置と飛行速度）を修正すべき事情が起きた（例えば、風の影響などで調査ドローン３の飛行状態が飛行計画から外れた、他物体との衝突や危険を避けるために飛行状態を変える必が生じた、など）とき、無線操縦器１９を操作して、必要な修正を行うための補助的な操縦指示を調査ドローン３に送る（ステップS45）。調査ドローン３は、その補助的な指示を、例えば自動操縦制御に対する割り込みとして処理することで、その修正指示に従った飛行状態（位置または速度など）の修正を行う（ステップS46）。

【0085】

上記の修正の処理が終わると、調査ドローン３は、自動操縦制御に戻って（ステップS47）、調査飛行計画に従った飛行と写真撮影を継続する（S43）。その後、全経路を飛行してすべての撮影位置で写真撮影を行った後、調査ドローン３は、飛行計画で定められた着陸点に着陸する（ステップS48）。

【0086】

調査ドローン３に記録された撮影画像１１７と撮影位置１１９は、操作端末７に送られて、操作端末７内に記録される（ステップS49～S50）。このデータ移送は、飛行中に無線通信で行われてもいいし、着陸後に無線通信か有線通信により、または、撮影画像１１７と撮影位置１１９を記録したデータストレージを調査ドローン３から取り出して操作端末７に装着することにより、行われてもよい。

【0087】

図９は、撮影画像からの地域画像の作成と登録の制御例の流れを示す。

【0088】

ユーザが、操作端末９を操作してデータサーバ７にログインする（ステップS51～S52）。その後、データサーバ７が、ユーザ要求に応答して、地域位置データベース５１から、そのユーザIDに関連づけられた地域名を選び、その地域名のリストを操作端末9に送る（ステップS53）。操作端末９では、その地域名リストが表示され、ユーザがそのリスト中から所望の地域名を選び（ステップS54）、そして、調査ドローン３から取得した撮影画像１２１と撮影位置１２３を、その地域の地域IDに関連づけて、データサーバ７に送る（ステップS55）。

【0089】

データサーバ７は、受け取った撮影画像と撮影位置を、該当のユーザIDと地域IDに関連づけて、撮影画像データベース５７と撮影位置データベース５９に登録する（ステップS56）。その後、データサーバ７は、撮影画像データベース５７と撮影位置データベース５９から、その地域の撮影画像と撮影位置を読み出し、撮影画像を撮影位置に応じて結合することで、その地域の全域をカバーする地域画像を合成する（ステップS57）。その地域画像は、該当のユーザIDと地域IDに関連づけられて、地域画像データベース６１に登録される（ステップS58）。

【0090】

図１０は、地域画像のデータ構成例を示す。

【0091】

図１０に示すように、地域画像１２５には、例えば、地域画像のID（識別名）１２７と、撮影日時１２９と、その地域全域をカバーする画像データ１３１が含まれる。この地域画像１２５が、該当のユーザID８５と地域ID８７に関連づけられて、地域画像データベース６１で管理される。

【0092】

図１１は、作業個所と実作業飛行計画の登録の制御例の流れを示す。

【0093】

図１１に示すように、ユーザが操作端末９からデータサーバ７にログインする（ステップS61～S62）。その後、データサーバ７が、ユーザ要求に応答して、地域画像データベース６１から、そのユーザIDに関連づけられた地域画像を選び、その地位画像のリストを操作端末９に送る（ステップS63）。

【0094】

操作端末９では、その地域画像のリストが表示され、ユーザがそのリスト中から所望の地位画像を選ぶ（ステップS64）。その選択を受けて、データサーバ７が、地域画像データベース６１から選ばれた地域画像を読み出して、それを操作端末９に送る（ステップS65）。操作端末は、その地域画像を表示する（ステップS66）。

【0095】

ユーザは、操作端末９に表示された地域画像（例えば、圃場の画像）を見て、作業を施したい個所（例えば、圃場の中の農薬散布をしたい個所つまり小領域）を見つけ、その個所を作業個所として地域画像上で指定する（ステップS67）。作業個所の指定は、例えば作業個所の輪郭の頂点を指定するという方法で行うことができる。このステップS67では、また、ユーザは、その作業個所に対して行いたい作業の内容（例えば、「作業種別は農薬散布、使用農薬は農薬Aと農薬B」というように）を指定する。

【0096】

この指定を受けて、データサーバ７が、地域画像上での作業個所の位置と、地域位置データベース５１記録されているその地域の位置とに基づいて、作業個所の位置（例えば、作業個所の輪郭の頂点の緯度と経度）を特定し、その作業個所を作業個所データベース６３に登録する（ステップS68）。このステップS68では、また、データベースサーバ７は、ユーザに指定された作業内容を、その作業個所に関連づけて、作業個所データベース６３に登録する。

【0097】

その後、データサーバ７は、登録された作業個所の位置と、三次元地図データベース５３に記録されているその地域とその作業個所の諸地点の三次元位置に基づいて、実作業飛行計画を作成する（ステップS69）。実作業飛行計画は、実作業ドローンを、その地域の発着点から離陸させ、その地域内の１以上の作業個所の上空を飛行させて、それぞれの作業個所に実作業（例えば、農薬の散布）を施し、そして、発着点に戻って着陸させるための、実作業ドローン５に対する動作制御指示である。

【0098】

データサーバ７は、その実作業飛行計画を、該当のユーザIDと地域IDと作業個所IDに関連づけて、飛行計画データベース５５に登録する（ステップS70）。

【0099】

図１２は、作業個所のデータ構成例を示す。

【0100】

図１２に示すように、作業個所１３３には、そのID（識別名）、それがユーザに指定された日時、およびその領域の輪郭の頂点の位置（例えば、各頂点の緯度Xaおよび経度Ya）１３９などを含む。この作業個所１３３が、該当のユーザID８５、地域ID８７および地域画像ID１２７と関連づけられて、作業個所データベース６３で管理される。また、作業内容１４０が、その作業個所１３３に関連付けられて、作業個所データベース６３で管理される。作業内容６３を管理することで、その作業内容を後に評価するのに役立つ（例えば、実作業を実施した後に、ドローンで調査飛行を行って、作業個所の状態を調べ、その調査結果と作業内容とを分析することで、評価ができる）。

【0101】

図１３は、作業個所と実作業飛行計画との関係例を示す。

【0102】

図１３に示された例では、地域８１内に３つの作業個所１４１、１４５、１４７が指定されており、そのうちの一つの作業個所１４１に対して一つの実作業飛行計画１４３が用意されており、二つの作業個所１４５、１４７に対して別の一つの実作業飛行計画１４９が用意されている。作業個所が複数ある場合、それらの作業個所のすべてをカバーする一つの実作業飛行計画を作成するか、図示の例のように異なる作業個所を分担する二以上の実作業飛行計画を作成するかを、ユーザの要求に応じて、あるいは飛行時間の都合などに応じて、適宜に選択できるようになっていてよい。

【0103】

一つの地域８１に対して、複数の実作業飛行計画を用意した場合、それぞれの飛行計画に基づいて複数機の実作業ドローン５で作業を実施したり、あるいは、異なる日時に異なる飛行計画に従った作業を実施したりすることができる。

【0104】

各実作業飛行計画には、実作業ドローン５の飛行経路と飛行速度が含まれる。例えば、図示の実作業飛行計１４９には、発着点P1から離陸して、最初の作業個所１４５へ行き、その全域に実作業（例えば、農薬散布）を施せるよう作業個所１４５を巡り、そして、次の作業個所１４７へ行ってそこを同様に巡り、そして、発着点P1に戻り着陸する、というような飛行経路が含まれる。

【0105】

各実作業飛行計画には、さらに、実作業ドローン５の飛行中に、その実作業装置２５を駆動し制御するための制御指示が含まれる。その制御指示には、例えば、実作業（例えば、農薬散布）を実行すべき位置（例えば、作業開始位置と終了位置）や、その他の制御値（例えば。単位時間当たり農薬散布量など）などが含まれ得る。

【0106】

図１４は、実作業飛行計画のデータ構成例を示す。

【0107】

図１４に示すように、実作業飛行計画１５１には、例えば、そのID（識別名）１５３、飛行経路（例えば、その経路上で飛行方向または速度を変えるべき変更点の緯度Xrと経度Yrと高度Zr）と飛行速度（例えば、各変更点から次の変更点までの速度Vr）１５５、および、作業位置（例えば、作業の開始位置の緯度Xsと経度Ysと高度Zs、ならびに作業の終了位置の緯度Xeと経度Yeと高度Ze）と制御値（例えば、各開始位置から終了位置までの第一制御量の目標値C1、第二制御量の目標値C2、第三制御量の目標値C3、など）１５７が含まれる。

【0108】

また、作業状況を映すカメラが実作業ドローン５に搭載されている場合、そのカメラで写真を撮影するべき位置１５９（例えば、撮影位置の緯度Xs、経度Ys、高度Zs、および撮影角度As）も、実作業飛行計画１５１に含まれてよい。

【0109】

このような構成の実作業事項計画１５１が、該当のユーザID８５、地域ID８７および作業個所ID１３５に関連づけられて、飛行計画データベース５５で管理される。

【0110】

図１５は、実作業飛行計画の設定の制御例の流れを示す。

【0111】

図１５に示すように、ユーザが、操作端末９からデータサーバ７にログインする（ステップS71～S72）。データサーバ７が、ユーザ要求に応答して、飛行計画データベース５５内から、そのユーザIDに関連づけられた実作業飛行計画を選び、選ばれた実作業飛行計画のリストを操作端末に送る（ステップS72）。操作端末９は、そのリストを表示する（ステップS73）。

【0112】

ユーザは、表示されたリスト中から所望の実作業飛行計画を選んでデータサーバ７に要求し、データサーバ７はその実作業飛行計画を操作端末に送り、それにより、操作端末９にその実作業飛行計画がダウンロードされる（ステップS74～S75）。

【0113】

その後、ユーザは、その実作業飛行計画を操作端末９から実作業ドローン５に送る（ステップS76）。実作業ドローン５は、受信した実作業飛行計画を自機の制御器２７にインストールする（S77）。

【0114】

図１６は、実作業ドローンを用いた実作業の制御例の流れを示す。

【0115】

ユーザは、実作業ドローン５を対象の地域の発着点に置いた後、その実作業ドローン５用の無線操縦器２９を操作して、まず作業開始を実作業ドローン５に指示する（ステップS81）。その指示に応答して、実作業ドローン５は離陸し（ステップS82）、そして、制御器２７による実作業飛行計画に従った自動操縦制御により、その飛行計画の飛行経路に沿って飛行しつつ各作業位置（例えば、各作業開始位置から終了位置までの区間）で実作業（例えば、農薬散布）を実行する（ステップS83）。そして、実作業ドローン５は、実施した作業の結果（例えば、農薬散布の開始位置と終了位置と時間と散布量など）を記録する（ステップS84）。

【0116】

ユーザは、実作業ドローン５の飛行を観察しつつ、その飛行状態（例えば、飛行位置と飛行速度）を修正すべき事情が起きた（例えば、風の影響などで実作業ドローン５の飛行位置または速度が飛行計画から外れた、他物体との衝突や危険を避けるために飛行状態を変える必が生じた、など）とき、無線操縦器２９を操作して、必要な修正を行うための補助的な操縦指示を実作業ドローン３に送る（ステップS85）。実作業ドローン５は、その補助的な指示を、例えば自動操縦制御に対する割り込みとして処理することで、その修正指示に従った飛行状態（位置または速度など）の修正を行う（ステップS86）。

【0117】

上記の修正の処理が終わると、実作業ドローン５は、自動操縦制御に戻り（ステップS87）、実作業飛行計画に従った飛行と実作業を継続する（S83）。その後、全経路を飛行してすべての作業位置で実作業を行った後、実作業ドローン５は、飛行計画で定められた着陸点に着陸する（ステップS88）。

【0118】

実作業ドローン５に記録された作業結果１６１は、操作端末７に送られて、操作端末７内に記録される（ステップS89～S90）。このデータ移送は、飛行中に無線通信で行われてもいいし、着陸後に無線通信か有線通信により、または、作業結果１６１を記録したデータストレージを実作業ドローン３から外して操作端末７に装着することにより、行われてよい。

【0119】

その後、図２を参照してすでに説明したように、操作端末７に記録された作業結果１６３はデータサーバ7へ送られ（ステップS16）、そして、データサーバ７は、その作業結果を、後の有効利用のために分析する（ステップS17）。

【0120】

図１７は、本発明の第２の実施形態に係る作業支援システムの全体構成を示す。

【0121】

この実施形態にかかる作業支援システム１００は、図１に示された第一の実施形態にかかる作業支援システム１の構成要素に加えて、期待された作業効果を得るための作業計画の設定を容易化するための幾つかの追加の構成要素を備える。以下の作業支援システム１００の説明と参照図面では、最初の実施形態のシステム１と共通する要素には同じ参照番号を付して、冗長な説明を省略する。

【0122】

図１７に示すように、第２実施形態にかかる作業支援システム１００において、データサーバ１０１および操作端末１１１は、それぞれ、最初の実施形態にかかる作業支援システム１のデータサーバ７および操作端末９のもつ構成要素のほかに、追加の幾つかの構成要素を有する。

【0123】

すなわち、データサーバ１０１は、追加の構成要素として、作業計画データベース１０３、作業計画提案データベース１０５、および解析部１０７を有する。操作端末１１１は、追加の構成要素として、特異個所検出部１１３、作業計画入力部１１５、提案提示部１１７、および作業選択部１１９を有する。

【0124】

操作端末１１１の特異個所検出部１１３は、操作端末１１１の表示スクリーン上に画像表示部４５により表示された地域の調査結果つまり地域画像（例えば、登録された特定の圃場の画像）を、自動的に解析して、その地域画像中から、特異個所（例えば、圃場中の病害などが起きていると推測される領域）を検出する。特異個所検出部１１３は、検出された特異個所の領域（例えば、その領域の輪郭を示す枠線）を、表示スクリーン上の地域画像内に表示する。

【0125】

なお、特異個所検出部１１３は、操作端末１１１に設けられる代わりに、データサーバ１０１に設けられてもよい。例えば、データサーバ１０１の解析部１０７が、特異個所検出部１１３を有してもよい。特異個所検出部１１３は、後述する解析部１０７内の症状解析部１０８または作業解析部１０９のように、ディープニューラルネットワークを用いて構成されて、ディープラーニングにより地域画像から特異個所を検出する推論方法を機械学習するようになっていてもよい。

【0126】

操作端末１１１の作業計画入力部１１５は、操作端末１１１の表示スクリーン上に画像表示部４５が地域画像（例えば、登録された特定の圃場の画像）を表示し、かつ、ユーザが作業個所登録部４７を用いてその地域画像の中で作業個所を特定したときに、その特定された作業個所に対する作業計画をユーザが入力することを可能にする。すなわち、作業計画入力部１１５は、表示スクリーン上で各作業個所に対してユーザが任意の作業計画を入力するための作業計画入力ツールを、表示スクリーン上に表示する。ユーザは、その作業計画入力ツールを操作することで、各作業個所に対して任意の作業計画をシステム１００に入力するができる。作業計画の入力が終わると（例えば、ユーザが作業計画の登録を表示スクリーン上で要求すると）、作業計画入力部１１５は、入力された作業計画をデータサーバ１０１に送り、その作業計画は、対応する作業個所と関連付けられて、データサーバ１０１の作業計画データベース１０３に登録される。

【0127】

ここで、作業計画とは、各作業個所に対して行う予定の実作業を定義したデータである。この実施形態では、各作業個所に対する作業計画は、一例として、その作業個所の症状名（例えば、病害や生理障害の名称）と、その症状に応じて実行されるべき実作業の名称（例えば、その作業個所に施されるべき農薬や肥料やその他の保守作業の名称）を含む。あるいは、作業計画は、症状名を含まず、作業名だけであってもよいし、あるいは、症状名と作業名の他に、追加の情報（例えば、作業個所を特定する情報や画像、あるいは、農薬や肥料の散布量など）が含まれてもよい。

【0128】

作業計画データベース１０３に登録された各地域内の各作業個所の作業計画（例えば、各圃場内の各特異個所に対する症状名と実作業名）は、データサーバ１０１の飛行計画作成部７１が各地域の飛行計画を作成する際に、次のように利用され得る。すなわち、飛行計画作成部７１は、例えば、同じ地域内の異なる作業個所に対して異なる作業計画が登録されている場合、同じ作業計画（同じ作業名）が与えられた作業個所を同じグループに分類し、各グループに一つの飛行計画、つまり、異なるグループに異なる飛行計画を作成する。例えば、一つの圃場内で、作業個所AとBには農薬Cを施す作業計画が登録され、別の作業個所DとEには別の農薬Fを施す作業計画が登録された場合、飛行計画作成部７１は、作業個所AとBのグループには農薬Cを施すための飛行計画を作成し、別の作業個所DとEのグループには別の農薬Fを散布するための飛行計画を作成する。

【0129】

操作端末１１１の提案提示部１１７は、ユーザが作業計画入力部１１５を用いて各作業個所に対する作業計画を入力するときに、データサーバ１０１の作業計画提案データベース１０５から、各作業個所に対する作業計画提案を読み込んで、各作業計画提案を、操作端末１１１の表示スクリーン上に、各作業個所に関連付けて表示する。

【0130】

ここで、作業計画提案とは、データサーバ１０１の解析部１０７が推論により生成した、各作業個所に対して推奨される作業計画の提案である。解析部１０７により生成された各作業個所の作業計画提案は、各作業個所に関連付けられて作業計画提案データベース１０５に記憶される。解析部１０７のより具体的な構成と機能については、後に説明する。

【0131】

操作端末１１１の表示スクリーン上に表示される作業計画提案は、ユーザが作業計画入力部１１５を用いて作業計画を入力する際、ユーザの参考になる。とくに作業計画を決めるための知識や経験の浅いユーザにとり、より適切な作業計画を決定するために、作業計画提案は助けになる。解析部１０７の推論能力が高いほど、作業計画提案がユーザを助ける性能が高くなる。解析部１０７の推論能力を高めるために、解析部１０７は後述する構成を有する。

【0132】

操作端末１１１の作業選択部１１９は、飛行計画入力部３３が飛行計画データベース５５から読み込んだ特定の地域（例えば、特定の圃場）に対する飛行計画の中から、実作業ドローン５に今回実行させたい特定の作業に関する飛行計画を、ユーザに選択させる。例えば、その特定の圃場に対して、農薬Cを散布する飛行計画と、別の農薬Fを散布する飛行計画とが飛行計画入力部３３により読み込まれた場合、作業選択部１１９は、それらの飛行計画を表示スクリーン上に表示して、その中から所望の飛行計画をユーザに選択させる。作業選択部１１９は、選択された飛行計画を飛行計画出力部３５に提供する。その選択された飛行計画は、飛行計画出力部３５から実作業ドローン５の制御器２７に供給される。

【0133】

データサーバ１０１の解析部１０７は、地域画像データベース６１、作業個所データベース６３、地域位置データベース５１、作業計画データベース１０３、および作業結果データベース６５から、登録された各地域（例えば、各圃場）の画像、各地域内の各作業個所の位置、各作業個所に対する作業計画（例えば症状名と実作業名）、各作業計画に基づく実作業の実施後の各地域（各作業個所）の画像、作業実施後の画像に基づいてユーザが再び入力した作業計画（とくに症状名）などのデータを読み込む。解析部１０７は、それらの読み込まれたデータを利用して機械学習を行うことで、各作業個所に対する作業計画の提案を自動的に生成するための推論方法を作成（つまり学習）する（いったん作成つまり学習された推論方法を改良することも含む）。また、解析部１０７は、その機械学習によって作成された推論方法を用いて、各作業個所の画像から、その画像に応じた作業計画提案を作成する。作成された各作業個所の作業計画提案は、各作業個所に関連付けられて、作業計画提案データベース１０５に格納される。

【0134】

ここで、各作業個所に対する作業計画の提案とは、例えば、その作業個所について推定される症状（例えば、病害名など）の提案と、その症状に応じてその作業個所に推奨される実作業（例えば、農薬名や肥料名など）の提案とを含む。

【0135】

図１８は、この作業支援システム１００の全体的な制御例の流れを示す。

【0136】

ユーザの所望する地域の地域画像がデータサーバ１０１に登録された（ステップS9）後、ユーザは操作端末１１１の表示スクリーンにその地域画像を表示させることができる（ステップS20）。このステップS20において、操作端末１１１は、その地域画像を自動的に解析して特異個所を自動検出し、その検出された特異個所がどこであるかを表示スクリーン上の地域画像内に表示する。そして、ユーザは、その表示された特異個所を参考にして、自分の目視で作業個所を特定し、その特定された作業個所の登録を操作端末１１１に要求する。すると、その作業個所が操作端末１１１からデータサーバ１０１に通知されて、データサーバ１０１に登録され（ステップS21）。

【0137】

ステップS21で作業個所がデータサーバ１０１に登録されると、データサーバ１０１の解析部１０７が、その登録された作業個所の画像に対して推論を実行して、その作業個所に対する作業計画提案を自動的に生成する（ステップS22）。操作端末１１１は、その作業計画提案をデータサーバ１１１から受けて、その作業計画提案を、表示スクリーン上に表示された作業個所に関連させて、表示スクリーン上に表示する（ステップS23）。

【0138】

ユーザは、操作端末１１１に表示されたその作業個所に対する作業計画提案を参考にして、その作業個所に対する作業計画（例えば、症状名と実作業名）を決定して操作端末１１１に入力し、その登録を操作端末１１１に要求する（ステップS23）。すると、その入力された作業計画は、その作業個所に関連付けられて、データサーバ１０１に通知されそこに登録される（ステップS25）。

【0139】

ある地域に対する実作業が実施された後、その地域の写真画像（そこには、その実作業の効果が現れている）が改めて撮影されてその地域画像が得られ、さらに、その地域画像に基づいてユーザが改めて特定した作業個所（以前の作業個所と同じ個所、あいは、以前とは異なる個所が含まれている場合、あるいは、作業個所が無い場合があり得る）と、各作業個所についてユーザが改めて判断した症状名（以前と同じ症状、あるいは、以前とは異なる症状が含まれ得る）が入力され登録されると、データサーバ１０１の推論部１０７が、その実施された実作業の作業計画と、その作業の効果が現れた画像と、その画像に基づき改めて特定された作業個所と症状名を、教師データとして受けて、機械学習を行い、作業計画の推論方法を自動的に作成つまり学習する（ステップS26）。解析部１０７は、学習された推論方法を、後に実行されるステップS22での推論に適用することができる。

【0140】

以上の制御により、データサーバ１０１がもつ作業計画提案を生成するための推論方法は、多くの地域の写真撮影や実作業が繰り返されていくのにつれて、より性能の高いものへと改善されていき、より適切な作業計画提案をユーザに提供することができるようになる。それにより、期待された作用効果を得るための作業計画の設計が、ユーザにとりより容易になる。

【0141】

再び図１７を参照する。データサーバ１０１の解析部１０７は、症状解析部１０8と作業解析部１０９を有する。症状解析部１０８は、各作業個所の画像（地域画像の中の、各作業個所に該当する部分）を解析して、その作業個所の症状を推定し、推定された症状（例えば病害名や生理障害名など）を症状提案として、その作業個所に関連づけて作業計画提案データベース１０５に格納する。作業解析部１０９は、各作業個所の症状から、その作業個所に適用することが推奨される実作業（例えば、農薬名や肥料名など）を推定し、その推定された実作業を作業提案として、その作業個所に関連づけて作業計画提案データベース１０５に格納する。各作業個所に対する症状提案と作業提案が、その作業個所に対する作業計画提案を構成する。

【0142】

症状解析部１０8と作業解析部１０９は、それぞれ、例えばニューラルネットワークを用いて、それぞれの目的に適した機械学習と推論を行えるように構成することができる。

【0143】

図１９と図２０は、症状解析部１０８と作業解析部１０９の構成例をそれぞれ示す。

【0144】

図１９に示すように、症状解析部１０８は、次の２種類のディープニューラルネットワーク（以下、DNNと略称する）を有する。一つは、症状学習DNN１２１であり、もう一つは症状推論DNN１２３である。

【0145】

症状学習DNN１２１は、多数の作業個所の画像と症状、および、過去から現在までの画像と症状と実作業の履歴（変遷経緯）を、教師データ１２５として大量に入力して、機械学習、例えばディープラーニング、を実行し、それにより、画像から症状を推論するための推論方法を学習する（つまり、推論ニューラルネットワークを作り上げる）。

【0146】

症状推論DNN１２３は、症状学習DNN１２１による機械学習で過去の或る時点で作成された推論方法（つまり、推論ニューラルネットワーク）を有し、各作業個所の画像と履歴のデータをその推論方法（推論ニューラルネットワーク）に入力して推論を行って、その作業個所に対する症状提案データ１２９を出力する。

【0147】

症状学習DNN１２１と症状推論DNN１２３は、異なるハードウェアまたは異なるコンピュータソフトウェアとして構成されてよい。その場合、症状学習DNN１２１がある期間にある量の学習を行って作成した推論方法を症状推論DNN１２３に複製することで、以後、症状推論DNN１２３がその推論方法を実行できる。このような複製を適当な期間をおいて繰り返すことで、時間経過に伴って症状推論DNN１２３の推論性能が向上していく。

【0148】

あるいは、症状学習DNN１２１と症状推論DNN１２３は、同じハードウェアまたは同じコンピュータソフトウェアとして構成されてもよい。その場合、その同じハードウェアまたはコンピュータソフトウェアが、ある時間帯に症状学習DNN１２１として動作し、別の時間帯に症状推論DNN１２３として動作することができる。このように学習と推論を異なる時間帯で交互に繰り返すことにより、前の時間帯の学習結果が次の時間帯での推論に使用されることが繰り返されるので、時間経過に伴って症状推論DNN１２３の推論性能が向上していく。あるいは、その同じハードウェアまたはコンピュータソフトウェアが、同時並行的に学習と推論を実行する（つまり、同時並行的に症状学習DNN１２１と症状推論DNN１２３として動作する）ように構成されてもよい。

【0149】

図２０に示すように、作業解析部１０９も、上述の症状解析部１０８と同様、２種類のDNNを有する。それらは作業学習DNN１３１と作業推論DNN１３３である。

【0150】

作業学習DNN１３１は、多数の作業個所の症状と、そこに適用された実作業と、その実作業を実施した後に改めて撮影された作業個所の画像と、その画像に基づいて改めて判断された症状を、教師データ１３５として大量に入力して、機械学習、例えばディープラーニング、を実行し、それにより、症状からそこに適用すべきを実作業を推論するための推論方法を学習する（つまり、推論ニューラルネットワークを作り上げる）。

【0151】

作業推論DNN１３３は、作業学習DNN１３１による機械学習で過去の或る時点で作成された推論方法（つまり、推論ニューラルネットワーク）を有し、各作業個所の症状をその推論方法（推論ニューラルネットワーク）に入力して推論を行って、その作業個所に対する作業提案データ１３９を出力する。

【0152】

作業学習DNN１３１と作業推論DNN１３３は、前述の症状学習DNN１２１と症状推論DNN１２３と同様に、異なるハードウェアまたは異なるコンピュータソフトウェアとして構成されてよい。その場合、作業状学習DNN１３１がある期間にある量の学習を行って作成した推論方法を作業推論DNN１３に複製することで、以後、作業推論DNN１３３がその推論方法を実行できる。このような複製を適当な期間をおいて繰り返すことで、時間経過に伴って作業推論DNN１３３の推論性能が向上していく。

【0153】

あるいは、作業学習DNN１３１と作業推論DNN１３３は、同じハードウェアまたは同じコンピュータソフトウェアとして構成されてもよい。その場合、その同じハードウェアまたはコンピュータソフトウェアが、ある時間帯に作業学習DNN１３１として動作し、別の時間帯に作業推論DNN１３３として動作することができる。このように学習と推論を異なる時間帯で交互に繰り返すことにより、前の時間帯の学習結果が次の時間帯での推論に使用されることが繰り返されるので、時間経過に伴って作業推論DNN１３３の推論性能が向上していく。あるいは、その同じハードウェアまたはコンピュータソフトウェアが、同時並行的に学習と推論を実行する（つまり、同時並行的に作業学習DNN１３１と作業推論DNN１３３として動作する）ように構成されてもよい。

【0154】

図２１から図２３は、操作端末１１１の表示スクリーン上でユーザが作業個所と作業計画を特定するためのグラフィックインタフェースの例を示す。

【0155】

図２１は、作業個所を特定する時のインタフェース２００の画像例を示す。地域画像ウィンドウ２０１に、ユーザ所望の地域（例えば圃場）の画像が表示されている（この例では、個々の農作物の状態がわかるように圃場の一部が拡大表示されている）。ユーザが領域選択ボタン２０３を操作すると、特異個所検出部１１３により地域画像の解析が実施されて、その地域内の特異個所が自動的に検出され、そして、その検出された特異個所が領域選択ツール２１３によって提案される。ユーザは、目視で作業個所を見つけるとき、この提案を参考にすることができる。ユーザは、領域選択ツール２１３を必要に応じて操作して、作業個所を特定することができる。ユーザは、作業個所名入力ツール２０５を使用して、作業個所の名称を入力できる。ユーザは、登録ボタン２１１を操作することで、作業個所（領域選択ツール２１１によって特定された領域の位置）とその名前をデータサーバ１０１に登録できる。

【0156】

図２２は、作業個所の症状を特定するときのグラフィックインタフェースの画像例を示す。作業個所２２１、２２３がいったん登録されると、データサーバ１０１が各作業個所2２１，２２３の画像からその症状を推定して症状提案を生成する。その症状提案２２５、２２７が地域画像ウィンドウ２０１上に、各作業個所２２１、２２３に関連付けられて表示される。ユーザは、各作業個所２２１、２２３の症状を特定するとき、その症状提案を参考にできる。ユーザは、症状入力ツール２０７を操作して、各作業個所２２１、２２３の症状名を特定することができる。ユーザは、登録ボタン２１１を操作することで、各作業個所２２１、２２３の症状名をデータサーバ１０１に登録できる。

【0157】

図２３は、各作業個所に対する実作業を決定するときのグラフィックインタフェースの画像例を示す。作業個所２２１、２２３の症状がいったん登録されると、データサーバ１０１が各作業個所２２１、２２３の症状から、推奨される実作業を推定して作業提案を生成する。その作業提案２３５、２３７が地域画像ウィンドウ上の各作業個所２２１、２２３に関連付けられて表示される。ユーザは、各作業個所２２１、２２３の実作業を特定するとき、その作業提案を参考にできる。ユーザは、実作業入力ツール２０９を操作して、各作業個所２２１、２２３に対する実作業名を決定することができる。ユーザは、登録ボタン２１１を操作することで、各作業個所２２１、２２３に対する実作業名をデータサーバ１０１に登録できる。

【0158】

図２４は、データサーバ１０１の解析部１０７の別の構成例を示す。

【0159】

図２４の構成例では、解析部１０７は、各作業個所の作業計画提案、つまり、症状提案と実作業提案を、分離せずに一緒に出力することができる。すなわち、解析部１０７は、作業計画学習DNN１４１と作業計画推論DNN１４３を有する。

【0160】

作業計画学習DNN１４１は、多数の作業個所の画像と作業計画（症状名と実作業名）、および、その作業計画に基づく実作業実施後の同作業個所の画像と症状、ならびに、過去から現在までのその作業個所の画像と症状と実作業の履歴（変遷経緯）を、教師データ１４５として大量に入力して、機械学習、例えばディープラーニング、を実行し、それにより、画像から作業計画を推論するための推論方法を学習する（つまり、推論ニューラルネットワークを作り上げる）。

【0161】

作業計画推論DNN１４３は、作業計画症状学習DNN１４１による機械学習で過去の或る時点で作成された推論方法（つまり、推論ニューラルネットワーク）を有し、各作業個所の画像と上記履歴のデータをその推論方法（推論ニューラルネットワーク）に入力して推論を行って、その作業個所に対する作業計画提案１４９を出力する。
作業計画学習DNN１４１と作業計画推論DNN１４３は、異なるハードウェアまたは異なるコンピュータソフトウェアとして構成されてよいし、あるいは、同じハードウェアまたは同じコンピュータソフトウェアとして構成されてもよい。

【0162】

図２５は、解析部１０７のまた別の構成例を示す。

【0163】

図２５の構成例では、解析部１０７は、地域内の作業個所ごとではなく、地域ごとに、作業計画提案（そこには、地域内の１以上の作業個所の位置と、各作業個所の症状名と実作業名が含まれる）を作成して出力することができる。すなわち、解析部１０７は、作業計画学習DNN１５１と作業計画推論DNN１５３を有する。

【0164】

作業計画学習DNN１５１は、多数の地域の全体画像とその中の各作業個所の位置とその症状名と実作業名、および、それらの地域の実作業実施後の全体画像と作業個所と症状、ならびに、過去から現在までのそれら地域の全体画像と作業個所と症状と実作業の履歴（変遷経緯）を、教師データ１５５として大量に入力して、機械学習、例えばディープラーニング、を実行し、それにより、地域の全体画像から作業計画（地域中の作業個所の位置と、各作業個所の症状名と実作業名）を推論するための推論方法を学習する（つまり、推論ニューラルネットワークを作り上げる）。

【0165】

作業計画推論DNN１５３は、作業計画症状学習DNN１５１による機械学習で過去の或る時点で作成された推論方法（つまり、推論ニューラルネットワーク）を有し、各地域の作業個所の画像と上記履歴のデータをその推論方法（推論ニューラルネットワーク）に入力して推論を行って、その地域に対する作業計画提案１５９を出力する。

【0166】

作業計画学習DNN１５１と作業計画推論DNN１５３は、異なるハードウェアまたは異なるコンピュータソフトウェアとして構成されてよいし、あるいは、同じハードウェアまたは同じコンピュータソフトウェアとして構成されてもよい。

【0167】

再び図１７を参照する。データサーバ１０１の地域画像データベース６１、作業個所データベース６３、地域位置データベース５１、飛行計画データベース５５、作業計画データベース、作業結果データベース、作業計画提案データベース１０５に蓄積されたデータ、ならびに、解析部１０７が機械学習によって作成した推論方法つまり推論ニューラルネットワークは、操作端末１１１に表示してユーザを助ける用途以外に、さまざまな有益な用途に利用可能である。それゆえ、それらデータベースに蓄積されたデータや、推論ニューラルネットワークの全部または任意の部分は、データサーバ１０１から外部へ出力することができる。

【0168】

以上、本発明の二つの実施形態に従う作業支援システムを説明したが、それらの作業支援システムは、ドローンによる調査で収集されたデータ（例えば、写真撮影で得られた圃場などの地域の画像）に含まれるノイズ（例えば、撮影時の天候や時間帯などの環境状態によって生じる写真画像の色調や明るさなどの実際からの誤差）を除去するデータ補正を行うための補正システムを備えてもよい。例えば、上述した二つの実施形態にかかる作業支援システム１、１００は、それぞれ、そのような補正システムを、例えばデータサーバ７、１０１または例えば操作端末９、１１１内に備えてよい。

【0169】

以下、そのような補正システムの一例について説明する。以下に例示する補正システムは、ドローンによる写真撮影で得られた地域画像を補正するためのものであり、上述した二つの実施形態にかかる作業支援システム１、１００に設けることができる。

【0170】

図２６は、その補正システムを利用するために使用される画像補正スケールの一例の平面デザインを示す。

【0171】

図２６に示された画像補正スケール１６１は、例えば長方形の平板であり、ドローンによる写真撮影時に撮影対象の地域内または地域近傍周辺の地表上に、図２６に示された表面を上に向けて置かれる。

【0172】

画像補正スケール１６１は、複数（この例では８つであるが、それ以外の数でもよい）の基準色スケール１６３C1～１６３C7、１６３Gを有する。そのうち、一部の基準色スケール１６３C1～１６３C7（この例では７つであるが、それ以外の数でもよい）は、それぞれ、異なる所定の有彩色に着色されており、これらを纏めて以下「カラースケール」１６３Cという。また、残りの基準色スケール１６３G（この例では１つであるが、それ以外の数でもよい）は、所定の無彩色（例えば、純白色、あるいは、所定のグレー色）に着色されており、これを以下「グレースケール」という。

【0173】

カラースケール１６３Cの複数の基準色スケール１６３C1～１６３C7にそれぞれ塗られた異なる有彩色は、対象地域の状態を判断するために予め定められた（つまり、RGBなどの要素色のトーン値が予め決められた）異なる基準色である。例えば、画像補正スケール１６１の適用地域が稲の圃場である場合、それらの基準色は、稲の状態を稲の葉色から判断するために予め定められた緑色系の異なる色である。それぞれの基準色には、予め識別符号が定義されており、各基準色スケール１６３C1～１６３C7にはその識別符号の表示も付随する。グレースケール１６３Cの基準色も、予め決められた要素色のトーン値をもつ無彩色であり、そして、予め定められたその識別符号の表示がグレースケール１６３Cに付随する。

【0174】

すべての基準色スケール１６３C1～１６３C7、１６３Gは例えば真円形である。ドローンは、地域の写真を撮影するときに、その地域だけでなくその地域の近傍の周辺も撮影し、したがって、画像補正スケール１６１も撮影する。その写真撮影により得られた地域画像には、その地域だけでなく、その地域の近傍周辺の画像も含まれ、画像補正スケール１６１の画像も含まれる。その地域画像内で、画像補正スケール１６１の画像がどの方向を向いていても、各基準色スケール１６３C1～１６３C7、１６３Gが真円形であると、撮影で得られた地域画像の中から各基準色スケール１６３C1～１６３C7、１６３Gの画像を画像処理により識別し抽出することが容易である。

【0175】

図２７は、図２６に示された画像補正スケールの一例における各基準色スケールが表示されたパネルが満たす寸法条件の一例を示す。

【0176】

図２７に示すように、画像補正スケール１６１内の各基準色スケール１６７は前述したように真円形である。各基準色スケール１６７はユニットパネル１６５の表面上に表示されており、ユニットパネル１は例えば正方形である。ユニットパネル１６５の表面上の基準色スケール１６７の外側の背景領域（これは、基準色とは異なる所定の色をもつ）に、基準色スケール１６７の基準色の識別符号１６９が表示される。それぞれ異なる色の基準色スケール１６７が描かれた所定枚数のユニットパネル１６５の統合により、図２６に示したような平板状の画像補正スケール１６１が構成される。

【0177】

ユニットパネル１６５のサイズは、基準色スケール１６７の外接正方形（一点鎖線の補助線で図示する）を内包する（つまり、その外接正方形がユニットパネル１６５の外へはみ出ない）ように選ばれる。また、ユニットパネル１６５上での識別符号１６９の表示位置は、破線の補助線で図示するように、上記外接正方形がどの方向を向いても、その外接正方形の外側に存在する（つまり、外接正方形内に入らない）ように選ばれている。

【0178】

それにより、ドローンが撮影した画像の中から基準色スケール１６７を識別する画像処理において、画像内でユニットパネル１６５がどの方向を向いていても、上記外接正方形内には上記背景色と基準色の２色の領域しか存在しないので、的確に基準色スケール１６７を識別し抽出することが容易である。

【0179】

図２８は、図２６に示した画像補正スケール１６１の画像を利用して地域画像を補正するための補正システムの構成例を示す。

【0180】

図２８に示すように、補正システム１７１は、画像入力部１７３、カラースケール探索部１７７、カラースケール画素値保存部１７９、グレースケール探索部１８１、グレースケール画素値保存部１８３、基準画素値保存部１８５、地域ポリゴンデータ保存部１８７、画像分離部１８９、第１カラートーン調整部１９１、第２カラートーン調整部１９３、画像合成部１９５、およびカラー分析部１９７を有する。

【0181】

画像入力部１７３は、写真撮影で得られた対象地域の地域画像を入力する。なお、対象地域の地域画像は、上述した二つ実施形態にかかる作業支援システム１、１００では（図１、図１７参照）、地域画像データベース６１から入力し得る。

【0182】

カラースケール探索部１７７は、入力された地域画像の中から、画像処理によって、カラースケール１６３Cの各基準色スケール１６３C1～１６３C7の画像を識別して、その識別された基準色スケール画像内の全画素の値セット（例えば、RGB値のセット）を抽出する。カラースケール画素値保存部１７９は、抽出された基準色スケール画像内の全画素値セットを保存する。

【0183】

グレースケール探索部１８１は、入力された地域画像の中から、画像処理によって、グレースケール１６３Gの画像を識別して、その識別されたグレースケール画像内の全画素の値セット（例えば、RGB値のセット）を抽出する。グレースケール画素値保存部１８３は、抽出されたグレースケール画像の全画素値セットを保存する。

【0184】

基準画素値保存部１８５は、画像補正スケール１６１のすべての基準色スケール１６３C1～１６３C7、１６３Gの予め定められた画素値セット（例えば、RGB値のセット）（以下、基準画素値セットという）を保存する。

【0185】

地域ポリゴンデータ保存部１８７は、対象地域の形状と位置（例えば、対象地域の輪郭の地理的座標値）を示すデータ（以下、地域ポリゴンデータという）を保存する。対象地域の地域ポリゴンデータは、上述した二つ実施形態にかかる作業支援システム１、１００では（図１、図１７参照）、地域位置データベース５１に存在する。

【0186】

画像分離部１８９は、画像入力部１７３から入力された地域画像（例えば圃場を写真撮影した得た画像）を、地域ポリゴンデータ１８７を使って、対象地域の部分（例えば、その圃場の画像）と、対象地域以外の部分（例えば、その圃場と一緒に撮影されたその圃場の近傍周辺領域の画像）とに分離する。

【0187】

第１カラートーン調整部１９１は、画像分離部１８９からの対象地域部分の画像に対して、その色を補正する処理を行う。この補正処理では、カラースケール画素保存部１７９からのカラースケール１６３Cの各基準色スケール１６３C1～１６３C7の画素値セットと、基準画素値保存部１８５からのカラースケール１６３Cの各基準色スケール１６３C1～１６３C7の基準画素値セットとが用いられる。

【0188】

第２カラートーン調整部１９３は、画像分離部１８９からの地域以外部分の画像に対して、その色を補正する処理を行う。この補正処理では、グレースケール画素保存部１８３からのグレースケール１６３Gの画素値セットと、基準画素値保存部１８５からのグレースケール１６３Gの基準画素値セットとが用いられる。

【0189】

画像合成部１９５は、補正された対象地域部分の画像と、補正された対象地域以外の部分の画像とを結合して、補正された地域画像を合成する。

【0190】

カラー分析部１９７は、補正された地域画像の各部の画素値を分析して、後の作業のための用途、例えば特異領域の検出、のための情報を生成する。例えば、地域画像の中のとくに対象地域部分の画像を細かい小区画に分割し、それぞれの小区画内の全画素の画素値セットの平均値や標準偏差などの統計値を算出する。それらの統計値は、例えば圃場内の農作物の病害や生理障害などが起きている特異領域を見つけ出すために役立つので、例えば、上述した第２の実施形態にかかる作業支援システム１００（図１７参照）の解析部１０７または特異個所検出部１１３などで利用され得る。

【0191】

図２９は、図２８に示された補正システム１７１が行う制御の一例の流れを示す。

【0192】

図２９に示されるように、写真撮影で得られた地域画像が入力されて、その入力地域画像から、カラースケール１６３Cの画像（つまり、基準色スケール１６３C1～１６３C7の画像）が探索され（ステップS101）、見つかったカラースケール１６３Cの画像の画素値（つまり、基準色スケール１６３C1～１６３C7の画像の全画素の画素値セット）が抽出されて保存される（ステップS102）。そして、保存されたカラースケール１６３Cの画素値と、予め定められた対応する基準画素値（つまり、基準画素値保存部１８５からの基準色スケール１６３C1～１６３C7の基準画素値セット）とに基づいて、前者の色調を後者の色調に合わせるように補正するための第1の補正関数が計算される（ステップS103）。

【0193】

また、上記入力地域画像から、グレースケール１６３Gの画像が探索され（ステップS104）、見つかったグレースケール１６３Gの画素値（つまり、グレースケール１６３Gの画像の全画素の画素値セット）が保存される（ステップS105）。そして、保存されたグレースケール１６３Gの画素値と、予め定められたグレースケール１６３Gの基準画素値（つまり、基準画素値保存部１８５からのグレースケール１６３Gの基準画素値セット）とに基づいて、前者の色調を後者の色調に合わせるように補正するための第２の補正関数が計算される（ステップS106）。

【0194】

そして、入力された地域画像から、対象地域部分の画像が分離され、その画像の色調が、上記第1の補正関数を用いて補正される（ステップS107）。また、入力された地域画像から、対象地域以外の部分の画像が分離され、その画像の色調が、上記第２の補正関数を用いて補正される（ステップS108）。これにより、写真撮影で得られた地域画像の色調が実際の地域画像からずれていても、地域部分の画像（例えば、稲の圃場の画像）は、地域の実際の状態をカラースケール１６３Cの基準画像に基づいてより適正に評価できるように補正され、また、対象地域以外の部分の画像はより自然に見える色調になるように補正される。

【0195】

そして、補正された地域部分とそれ以外の部分の画像とが結合されて、補正後の地域画像が合成される（ステップS109）。

【0196】

そして、補正後の地域画像が分析されて、所定の統計値（例えば、地域画像が細分された多数の小区域の平均画素値セットやその標準偏差など）が計算される（ステップS110）。計算された統計値は、後の作業のための用途、例えば、対象地域の特異領域を見つけ出すため、に利用され得る。

【0197】

以上、本発明の幾つかの実施形態を説明したが、それらの実施形態は、は、説明のための単なる例示であり、本発明の範囲をそれらの実施の形態のみに限定する趣旨ではない。本発明は、上記の実施の形態とは違うさまざまな形態で、実施することができる。

【0198】

例えば、本発明は、圃場の農薬散布に限らず、他のさまざまな用途の作業支援システムにも適用できる。例えば、資材置き場でのドローンを用いた物体の移送、送電線や鉄塔のドローンによる監視やメンテナンス、あるいは、ユーザ所望の地区や場所の写真や動画の撮影など、広い用途に本発明が適用できる。

【0199】

用途によっては、上記実施形態のような、調査飛行と実作業飛行という二段階の飛行を含むプロセスでなく、実作業飛行だけを含むプロセスを行うこともできる。例えば、ある場所の動画撮影を行いたい場合、ユーザが操作端末でその場所を指定し、サーバがその場所の撮影のための飛行計画を作り、ユーザがその飛行計画をダウンロードしてドローンにインストールし、そして、ドローンの撮影飛行を行うというような、より単純なプロセスを行うことができる。

【0200】

また、用途によっては、より多段階の飛行を含むプロセスを行うこともできる。例えば、圃場の農薬散布の場合、農薬散布を行った日からある期間が経過した後、農薬の効果を調べるために、再び調査飛行（この場合、地域全体の調査飛行を行ってもよいし、作業個所に的を絞った調査飛行を行ってもよい）を行ったり、定期的に調査飛行と農薬散布を繰り返したり、あるいは、種まきや施肥のための飛行を行うなど、より複雑なプロセスを、本発明を適用して行うことができる。

【0201】

また、上述したデータサーバの一部または全部が、ユーザの使用する操作端末内に実装されていてもよい。例えば、飛行計画を作成するためのソフトウェアツールが、操作端末7にインストールされていて、ユーザがそのツールを用いて自分で飛行計画を作成できる、または、そのツールが自動的に飛行計画を作成するようになっていてよい。
また、作業対象の種類または状況に応じて、ドローンとして、飛行以外の移動方法、例えば、地上走行、水上航行、水中潜航などが行えるものを使用する場合にも、本発明を適用してよい。

【符号の説明】

【0202】

１ 作業支援システム
３ 調査ドローン
５ 実作業ドローン
７ データサーバ
９ 操作端末
１７、２７ 制御器
１９、２９ 無線操縦器
３１ 地域登録部
３３ 飛行計画入力部
３５ 飛行計画出力部
３７ 撮影画像入力部
３９ 撮影画像出力部
４１ 撮影位置入力部
４３ 撮影位置出力部
４５ 画像表示部
４７ 作業個所登録部
４８ 作業結果入力部
４９ 作業結果出力部
５１ 地域位置データベース
５３ 三次元地図データベース
５５ 飛行計画データベース
５７ 撮影画像データベース
５９ 撮影位置データベース
６１ 地域画像データベース
６３ 作業個所データベース
６５ 作業結果データベース
７１ 飛行計画作成部
７３ 撮影画像入力部
７５ 撮影位置入力部
７７ 撮影画像結合部
７９ 分析部
１００ 作業支援システム
１０１ データサーバ
１１１ 操作端末
１０３ 作業計画データベース
１０５ 作業計画提案データベース
１０７ 解析部
１０８ 症状解析部
１０９ 作業解析部
１１３ 特異個所検出部
１１５ 作業計画入力部
１１７ 提案提示部
１１９ 作業選択部
１２１ 症状学習ディープニューラルネットワーク
１２３ 症状推論ディープニューラルネットワーク
１３１ 作業学習ディープニューラルネットワーク
１３３ 作業推論ディープニューラルネットワーク
１４１、１５１ 作業計画学習ディープニューラルネットワーク
１４３、１５３ 作業計画推論ディープニューラルネットワーク
１６１ 画像補正スケール
１６３C カラースケール
１６３G グレースケール
１６５ ユニットパネル
１６７ 基準色スケール
１６９ 識別符号
１７１ 補正システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】