特開 2024-152112 機械学習装置及び無人飛行体の運用支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024152112

(43)【公開日】2024-10-25

(54)【発明の名称】機械学習装置及び無人飛行体の運用支援装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241018BHJP

   G06T 7/60 20170101ALI20241018BHJP

【ＦＩ】

G06T7/00 350B

G06T7/60 180B

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023066095

(22)【出願日】2023-04-14

(71)【出願人】

【識別番号】000211307

【氏名又は名称】中国電力株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(72)【発明者】

【氏名】常冨 博之

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA05

5L096FA64

5L096FA66

5L096FA67

5L096GA34

5L096KA04

(57)【要約】

【課題】無人飛行体の使用に関する確認作業を効率化可能な機械学習装置及び無人飛行体の運用支援装置を提供すること。
【解決手段】機械学習装置２は、無人飛行体の飛行規制の対象となる施設である規制対象施設と、基準点と、を被写体として含む学習用写真を入力データとして取得する入力データ取得部２２と、写真中で規制対象施設が写されている範囲に関する範囲情報と、規制対象施設と基準点との距離に関する距離情報と、をラベルとして取得するラベル取得部２３と、入力データとラベルとの組を教師データとして教師あり学習を行うことにより、無人飛行体を用いて点検される対象である点検対象物の画像を含む写真に規制対象施設が含まれるか否かを判定し、当該写真に規制対象施設が含まれると判定した場合には、規制対象施設と点検対象物との距離を推定するための学習モデルを構築するモデル構築部２５と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

無人飛行体の飛行規制の対象となる施設である規制対象施設と、基準点と、を被写体として含む学習用写真を入力データとして取得する入力データ取得部と、
写真中で前記規制対象施設が写されている範囲に関する範囲情報と、前記規制対象施設と前記基準点との距離に関する距離情報と、をラベルとして取得するラベル取得部と、
前記入力データと前記ラベルとの組を教師データとして教師あり学習を行うことにより、前記無人飛行体を用いて点検される対象である点検対象物の画像を含む写真に前記規制対象施設が含まれるか否かを判定し、当該写真に前記規制対象施設が含まれると判定した場合には、前記規制対象施設と前記点検対象物との距離を推定するための学習モデルを構築するモデル構築部と、
を備える機械学習装置。

【請求項2】

前記ラベル取得部は、前記規制対象施設の種別に関する種別情報を前記ラベルとして更に取得し、
前記モデル構築部は、前記入力データと前記ラベルとの組を教師データとして教師あり学習を行うことにより、前記規制対象施設の種別を推定するための学習モデルを構築する、請求項１に記載の機械学習装置。

【請求項3】

請求項１に記載の機械学習装置で構築した前記学習モデルを用いた無人飛行体の運用支援装置であって、
前記無人飛行体を用いて点検される対象である点検対象物の画像を含む判定用写真を判定用データとして取得する判定用データ取得部と、
前記判定用データと前記学習モデルとに基づいて、前記判定用写真に前記規制対象施設が含まれているか否かを判定する存在判定部と、
前記存在判定部が前記判定用写真に前記規制対象施設が含まれていると判定した場合に、前記判定用データと前記学習モデルとに基づいて、前記点検対象物と前記規制対象施設との距離を推定する距離推定部と、
を備える、無人飛行体の運用支援装置。

【請求項4】

請求項２に記載の機械学習装置で構築した前記学習モデルを用いた無人飛行体の運用支援装置であって、
前記無人飛行体を用いて点検される対象である点検対象物の画像を含む判定用写真を判定用データとして取得する判定用データ取得部と、
前記判定用データと前記学習モデルとに基づいて、前記判定用写真に前記規制対象施設が含まれているか否かを判定する存在判定部と、
前記存在判定部が前記判定用写真に前記規制対象施設が含まれていると判定した場合に、前記判定用データと前記学習モデルとに基づいて、前記判定用データに含まれる前記規制対象施設の種別を推定する種別推定部と、
を備える、無人飛行体の運用支援装置。

【請求項5】

前記種別推定部が前記規制対象施設の種別を推定した場合に、前記種別推定部が推定した前記規制対象施設の種別に対応する、前記飛行規制の内容に関する情報である規制情報を取得する規制情報取得部を備える、請求項４に記載の無人飛行体の運用支援装置。

【請求項6】

前記規制情報は、前記無人飛行体の飛行の規制が適用される区域である規制区域に関する区域情報を含み、
前記判定用データと前記学習モデルとに基づいて、前記点検対象物と前記規制対象施設との距離を推定する距離推定部と、
前記規制情報取得部が前記規制情報を取得し、前記距離推定部が前記点検対象物と前記規制対象施設との距離を推定した場合に、前記規制情報取得部が取得した前記規制情報と、前記距離推定部の推定結果と、に基づいて、前記点検対象物が前記規制区域内に存在するか否かを判定する抵触判定部と、
を備える、請求項５に記載の無人飛行体の運用支援装置。

【請求項7】

前記飛行規制の一部は、所定の許可を得ることで、前記規制区域内において前記無人飛行体の飛行が可能となるものであり、
前記規制情報取得部が前記規制情報を取得した場合に、前記規制情報取得部が取得した前記規制情報に対応する前記飛行規制が、前記所定の手続きを行うことで、前記規制区域内において前記無人飛行体の飛行が可能となるものであるか否かを判定する許可取得可否判定部と、
前記許可取得可否判定部が、前記規制情報に対応する前記飛行規制が、前記所定の手続きを行うことで、前記規制区域内において前記無人飛行体の飛行が可能となるものであると判定した場合に、当該飛行規制に対応する手続方法を取得する手続方法取得部と、
を備える、請求項６に記載の無人飛行体の運用支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習装置及び無人飛行体の運用支援装置に関する。

【背景技術】

【0002】

近年、構造物の点検等を行うにあたり、ドローン等の無人飛行体が活用されている。例えば、特許文献１の発明では、コンクリート護岸の点検を、無人飛行体を用いて行っている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６９６０６４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、構造物が設けられている地域によっては、無人飛行体の飛行が規制されている場合がある。このため、無人飛行体を飛行させる前に、その可否を確認しなければならず、手間が生じてしまう。

【0005】

また、従来からある構造物など点検対象物は、無人飛行体を点検等に用いることを前提に設備形成されたものではないため、飛行が規制される場所や形状で存在しているものが多い。

【0006】

また、構造物など点検対象物を新設する際に、無人飛行体を点検等に用いることを前提に設備形成しようとする場合、飛行が規制されるか否か、飛行可能か否か、点検に無人飛行体を用いることが可能か否か、確認が必要となり、手間が生じてしまう。

【0007】

本発明は、無人飛行体の使用に関する確認作業を効率化可能な機械学習装置及び無人飛行体の運用支援装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決すべく、第１の発明の機械学習装置は、無人飛行体の飛行規制の対象となる施設である規制対象施設と、基準点と、を被写体として含む学習用写真を入力データとして取得する入力データ取得部と、写真中で前記規制対象施設が写されている範囲に関する範囲情報と、前記規制対象施設と前記基準点との距離に関する距離情報と、をラベルとして取得するラベル取得部と、前記入力データと前記ラベルとの組を教師データとして教師あり学習を行うことにより、前記無人飛行体を用いて点検される対象である点検対象物の画像を含む写真に前記規制対象施設が含まれるか否かを判定し、当該写真に前記規制対象施設が含まれると判定した場合には、前記規制対象施設と前記点検対象物との距離を推定するための学習モデルを構築するモデル構築部と、を備える。

【0009】

第２の発明の機械学習装置は、第１の発明において、前記ラベル取得部は、前記規制対象施設の種別に関する種別情報を前記ラベルとして更に取得し、前記モデル構築部は、前記入力データと前記ラベルとの組を教師データとして教師あり学習を行うことにより、前記規制対象施設の種別を推定するための学習モデルを構築する。

【0010】

第３の発明の運用支援装置は、第１の発明に記載の機械学習装置で構築した前記学習モデルを用いた運用支援装置であって、前記無人飛行体を用いて点検される対象である点検対象物の画像を含む判定用写真を判定用データとして取得する判定用データ取得部と、前記判定用データと前記学習モデルとに基づいて、前記判定用写真に前記規制対象施設が含まれているか否かを判定する存在判定部と、前記存在判定部が前記判定用写真に前記規制対象施設が含まれていると判定した場合に、前記判定用データと前記学習モデルとに基づいて、前記点検対象物と前記規制対象施設との距離を推定する距離推定部と、を備える。

【0011】

第４の発明の運用支援装置は、第２の発明に記載の機械学習装置で構築した前記学習モデルを用いた運用支援装置であって、前記無人飛行体を用いて点検される対象である点検対象物の画像を含む判定用写真を判定用データとして取得する判定用データ取得部と、前記判定用データと前記学習モデルとに基づいて、前記判定用写真に前記規制対象施設が含まれているか否かを判定する存在判定部と、前記存在判定部が前記判定用写真に前記規制対象施設が含まれていると判定した場合に、前記判定用データと前記学習モデルとに基づいて、前記判定用データに含まれる前記規制対象施設の種別を推定する種別推定部と、を備える。

【0012】

第５の発明の運用支援装置は、第４の発明において、前記種別推定部が前記規制対象施設の種別を推定した場合に、前記種別推定部が推定した前記規制対象施設の種別に対応する、前記飛行規制の内容に関する情報である規制情報を取得する規制情報取得部を備える。

【0013】

第６の発明の運用支援装置は、第５の発明において、前記規制情報は、前記無人飛行体の飛行の規制が適用される区域である規制区域に関する区域情報を含み、前記判定用データと前記学習モデルとに基づいて、前記点検対象物と前記規制対象施設との距離を推定する距離推定部と、前記規制情報取得部が前記規制情報を取得し、前記距離推定部が前記点検対象物と前記規制対象施設との距離を推定した場合に、前記規制情報取得部が取得した前記規制情報と、前記距離推定部の推定結果と、に基づいて、前記点検対象物が前記規制区域内に存在するか否かを判定する抵触判定部と、を備える。

【0014】

第７の発明の運用支援装置は、第６の発明において、前記飛行規制の一部は、所定の手続きを行うことで、前記規制区域内において前記無人飛行体の飛行が可能となるものであり、前記規制情報取得部が前記規制情報を取得した場合に、前記規制情報取得部が取得した前記規制情報に対応する前記飛行規制が、前記所定の手続きを行うことで、前記規制区域内において前記無人飛行体の飛行が可能となるものであるか否かを判定する許可取得可否判定部と、前記許可取得可否判定部が、前記規制情報に対応する前記飛行規制が、前記所定の手続きを行うことで、前記規制区域内において前記無人飛行体の飛行が可能となるものであると判定した場合に、当該飛行規制に対応する手続方法を取得する手続方法取得部と、を備える。

【発明の効果】

【0015】

本発明によれば、無人飛行体の使用に関する確認作業を効率化可能な機械学習装置及び無人飛行体の運用支援装置を提供することができる。

【図面の簡単な説明】

【0016】

【図1】無人飛行体による点検を行う予定の電柱の周辺を示す平面図である。

【図2】本発明の実施形態に係る運用支援システムの機能ブロックを示す図である。

【図3】本発明の実施形態に係る判定用写真の例を示す図である。

【図4】本発明の実施形態に係る機械学習装置の動作を示すフローチャートである。

【図5A】本発明の実施形態に係る運用支援装置の動作を示すフローチャートである。

【図5B】本発明の実施形態に係る運用支援装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明の一実施形態について、図面を参照しながら説明する。本実施形態の運用支援システム１は、無人飛行体の運用を支援するものである。無人飛行体は、詳しくは、ドローンである。以下においては、ある地域Ａに設けられた電柱Ｄを、無人飛行体を用いて点検する場合を想定して説明する。なお、図１は、無人飛行体による点検を行う予定の電柱の周辺を示す平面図である。また、図１においては、無人飛行体の飛行が規制される区域である規制区域（詳しくは後述）が示されており、建物Ｓ１に対応する規制区域は「規制区域ＲＳ１」として示されている。

【0018】

図１に示すように、地域Ａには、複数の電柱Ｄが設けられている。複数の電柱Ｄは、電柱Ｄ１と、電柱Ｄ２と、を含む。電柱Ｄ１は、無人飛行体を用いて点検される対象である点検対象物である。電柱Ｄ１の点検時には、無人飛行体が電柱Ｄ１の周囲を飛行することになると考えられる。隣接する電柱Ｄ間には、電線Ｌが設けられている。各電柱Ｄの高さ寸法は、概ね８ｍである。各電柱Ｄの腕金の長手方向寸法は、概ね１．５ｍである。電柱Ｄ１と電柱Ｄ２との間の距離は、概ね１６ｍであり、電柱Ｄ１と電柱Ｄ２とを繋ぐ電線Ｌａの長さは、概ね１６ｍである。

【0019】

点検対象物の点検時に無人飛行体を飛行させる領域（以下、「飛行予定領域」ということがある）は、例えば、電柱Ｄ１の点検の場合、電柱Ｄ１の周囲２ｍの領域であるとする。電柱Ｄ１に対応する飛行予定領域は、「飛行予定領域ＰＤ１」ということがある。なお、飛行予定領域の範囲は、特に限定されるものではなく、任意の範囲として設定可能である。

【0020】

電柱Ｄ１及び電柱Ｄ２の周辺には、建物Ｓ１が設けられている。建物Ｓ１は、ユーザ以外の第三者が所有する建物であり、詳しくは、倉庫である。

【0021】

ここで、無人飛行体の飛行は、各種の飛行規制により規制される場合がある。飛行規制としては、例えば、小型無人機等飛行禁止法や、航空法といったものが存在する。かかる飛行規制においては、所定の規制対象施設の敷地及びその周囲の区域が、当該区域内での無人飛行体の飛行が規制される規制区域として設定される旨が規定されている。

【0022】

具体的には、航空法では、例えば、第三者が所有する建物等からの距離が３０ｍ以内となる範囲では、無人飛行体の飛行が規制されている。空港周辺の空域や、地表又は水面から１５０ｍ以上の高さとなる範囲では、無人飛行体の飛行が規制されている。これらの場合、第三者が所有する建物等や、空港は、規制対象施設に相当し、第三者が所有する建物等からの距離が３０ｍ以内となる区域や、空港周辺の空域や、地表又は水面から１５０ｍ以上の高さとなる区域は、規制区域に相当する。

【0023】

小型無人機等飛行禁止法においては、「対象施設」及び「対象施設周辺地域」が指定されている。対象施設は、例えば、「対象空港」、「対象原子力施設」といった施設が指定されている。対象施設周辺地域は、各対象施設の敷地又は区域及びその周囲概ね３００ｍの区域が指定されている。この場合、対象施設は、規制対象施設に相当し、対象施設周辺地域は、規制区域に相当する。

【0024】

なお、これらの飛行規制は、あくまでも例である。飛行規制としては、例えば、文化財保護法といった上記以外の法律や、条例等も想定される。

【0025】

このため、ユーザは、電柱Ｄ１の周囲で無人飛行体を飛行させるにあたり、電柱Ｄ１が、規制区域内に存在するか否かを確認する必要がある。

【0026】

そこで、運用支援システム１は、当該確認作業の効率化を図ることができる。以下、運用支援システム１の構成について図２を参照しつつ説明する。図２は、運用支援システム１の機能ブロックを示す図である。なお、運用支援システム１は、無人飛行体を用いて点検対象物を点検する場合に利用されることを想定したものである。運用支援システム１において、点検対象物は、電柱と、鉄塔と、が想定されている。点検対象物には、電線が含まれていてもよい。なお、点検対象物は、これらに限定されるものではなく、例えば、建物等であってもよい。

【0027】

図２に示すように、運用支援システム１は、機械学習装置２と、運用支援装置３と、を備える。

【0028】

機械学習装置２及び運用支援装置３は、ハードウェア構成として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の主記憶装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やハードディスク（ＨＤＤ）等の補助記憶装置と、それぞれ備える（いずれも図示略）。演算処理装置は、機械学習装置２及び運用支援装置３において、所定の機能の動作を実現する各種の制御処理を実行可能である。主記憶装置は、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納可能である。補助記憶装置は、データを格納するための各種の制御用プログラムを格納可能である。

【0029】

演算処理装置は、補助記憶装置からＯＳやアプリケーションソフトウェアを読み込み、読み込んだＯＳやアプリケーションソフトウェアを主記憶装置に展開させながら、これらのＯＳやアプリケーションソフトウェアに基づいた演算処理を行う。この演算結果に基づいて、機械学習装置２及び運用支援装置３は、各ハードウェアを制御する。機械学習装置２及び運用支援装置３が備える機能は、ハードウェアとソフトウェアとの協働により実現される。

【0030】

機械学習装置２と運用支援装置３とは１対１の組とされて、通信可能に接続されている。機械学習装置２と運用支援装置３とは、コネクタを介して接続されていてもよいし、ネットワークを介して接続されていてもよい。ネットワークにより接続される場合、ネットワークにおける具体的な通信方式や、有線接続及び無線接続のいずれであるか等については、特に限定されない。

【0031】

続いて、機械学習装置２について説明する。

【0032】

機械学習装置２は、第１学習部２１Ａと、第２学習部２１Ｂと、第３学習部２１Ｃと、を備える。第１学習部２１Ａと、第２学習部２１Ｂと、第３学習部２１Ｃとは、教師あり学習により、運用支援装置３で用いられる学習モデルをそれぞれ構築可能である。

【0033】

第１学習部２１Ａは、第１入力データ取得部２２Ａと、第１ラベル取得部２３Ａと、第１記憶部２４Ａと、第１モデル構築部２５Ａと、を有する。

【0034】

第１入力データ取得部２２Ａは、規制対象施設を被写体として含む第１学習用写真を入力データとして取得可能である。

【0035】

第１ラベル取得部２３Ａは、写真中で規制対象施設が写されている範囲に関する第１範囲情報と、規制対象施設の種別に関する第１種別情報と、をラベルとして取得可能である。

【0036】

第１記憶部２４Ａは、各種情報を記憶可能である。第１記憶部２４Ａは、入力データと、当該入力データに対応するラベルとを紐づけて１組の教師データとして記憶可能であり、詳しくは、第１学習用写真と、当該学習用写真に対応する第１範囲情報及び第１種別情報と、を互いに紐づけて１組の教師データとして記憶可能である。

【0037】

第１モデル構築部２５Ａは、第１記憶部２４Ａに記憶された入力データとラベルとの組を教師データとして教師あり学習を行うことにより、写真中に規制対象施設が含まれるか否かを判定するとともに、写真中に規制対象施設が含まれている場合に、写真中で規制対象施設が写されている範囲を推定するための第１学習モデルを構築可能である。

【0038】

第１モデル構築部２５Ａは、第１記憶部２４Ａに記憶された入力データとラベルとの組を教師データとして教師あり学習を行うことにより、写真中に規制対象施設が含まれている場合に、当該規制対象施設の種別を推定するための第１学習モデルを構築可能である。

【0039】

また、第１記憶部２４Ａは、第１モデル構築部２５Ａに構築された第１学習モデルを記憶可能である。

【0040】

第２学習部２１Ｂは、第２入力データ取得部２２Ｂと、第２ラベル取得部２３Ｂと、第２記憶部２４Ｂと、第２モデル構築部２５Ｂと、を有する。

【0041】

第２入力データ取得部２２Ｂは、点検対象物の種別と同一の種別の物体を被写体として含む第２学習用写真を入力データとして取得可能である。なお、詳しくは、点検対象物の種別は、電柱と鉄塔とであり、点検対象物の種別と同一の種別の物体は、電柱と鉄塔とである。

【0042】

第２ラベル取得部２３Ｂは、写真中で点検対象物と同種の物体が写されている範囲に関する第２範囲情報と、点検対象物の種別に関する第２種別情報と、をラベルとして取得可能である。

【0043】

第２記憶部２４Ｂは、各種情報を記憶可能である。第２記憶部２４Ｂは、入力データと、当該入力データに対応するラベルとを紐づけて１組の教師データとして記憶可能であり、詳しくは、第２学習用写真と、当該第２学習用写真に対応する第２範囲情報及び第２種別情報と、を互いに紐づけて１組の教師データとして記憶可能である。

【0044】

第２モデル構築部２５Ｂは、第２記憶部２４Ｂに記憶された入力データとラベルとの組を教師データとして教師あり学習を行うことにより、写真中に、点検対象物と同種の物体が含まれるか否かを判定するための学習モデルを構築可能である。

【0045】

第２モデル構築部２５Ｂは、第２記憶部２４Ｂに記憶された入力データとラベルとの組を教師データとして教師あり学習を行うことにより、写真中に点検対象物の種別と同種の物体が含まれている場合に、写真中で点検対象物と同種の物体が写されている範囲を推定するための第２学習モデルを構築可能である。

【0046】

第２モデル構築部２５Ｂは、第２記憶部２４Ｂに記憶された入力データとラベルとの組を教師データとして教師あり学習を行うことにより、写真中に点検対象物と同種の物体が含まれている場合に、当該物体と対応する点検対象物の種別を推定するための第２学習モデルを構築可能である。

【0047】

また、第２記憶部２４Ｂは、第２モデル構築部２５Ｂに構築された第２学習モデルを記憶可能である。

【0048】

第３学習部２１Ｃは、第３入力データ取得部２２Ｃと、第３ラベル取得部２３Ｃと、第３記憶部２４Ｃと、第３モデル構築部２５Ｃと、を有する。

【0049】

第３入力データ取得部２２Ｃは、規制対象施設と、基準点と、を被写体として含む第３学習用写真を入力データとして取得可能である。基準点は、例えば、電柱が設けられている地点とすることが可能であるが、これに限定されるものではなく、コーンが配置されている地点等としてもよい。

【0050】

第３ラベル取得部２３Ｃは、写真中に含まれる規制対象施設と基準点との実際の距離に関する距離情報をラベルとして取得可能である。

【0051】

第３記憶部２４Ｃは、各種情報を記憶可能である。第３記憶部２４Ｃは、入力データと、当該入力データに対応するラベルとを紐づけて１組の教師データとして記憶可能であり、詳しくは、第３学習用写真と、当該学習用写真に対応する距離情報と、を互いに紐づけて１組の教師データとして記憶可能である。

【0052】

第３モデル構築部２５Ｃは、第３記憶部２４Ｃに記憶された入力データとラベルとの組を教師データとして教師あり学習を行うことにより、写真中に含まれる規制対象施設と基準点との実際の距離を推定するための学習モデルを構築可能である。また、第３記憶部２４Ｃは、第３モデル構築部２５Ｃに構築された第３学習モデルを記憶可能である。

【0053】

なお、第１学習用写真と第２学習用写真と第３学習用写真とは、特に区別する必要がない場合、まとめて「学習用写真」ということがある。第１学習用写真と第２学習用写真と第３学習用写真とは、同一の写真を用いてもよい。学習用写真に被写体として含まれる規制対象施設、基準点及び点検対象物は、それぞれ複数であってもよい。

【0054】

学習用写真は、撮影装置７により撮影された写真を使用可能である。撮影装置７は、例えば、デジタルカメラである。第１入力データ取得部２２Ａと第２入力データ取得部２２Ｂと第３入力データ取得部２２Ｃと（以下、まとめて「入力データ取得部２２」ということがある）は、撮影装置７とそれぞれ通信可能である。入力データ取得部２２は、撮影装置７から写真のデータを取り込むことで、学習用写真を取得可能である。なお、撮影装置７は、特に限定されるものではなく、例えば、スマートフォン等であってもよい。

【0055】

以下において、第１学習部２１Ａと第２学習部２１Ｂと第３学習部２１Ｃとは、まとめて「学習部２１」ということがある。第１入力データ取得部２２Ａと第２入力データ取得部２２Ｂと第３入力データ取得部２２Ｃとは、まとめて「入力データ取得部２２」ということがある。第１ラベル取得部２３Ａと第２ラベル取得部２３Ｂと第３ラベル取得部２３Ｃとは、まとめて「各ラベル取得部２３」ということがある。第１記憶部２４Ａと第２記憶部２４Ｂと第３記憶部２４Ｃとは、まとめて「記憶部２４」ということがある。第１モデル構築部２５Ａと第２モデル構築部２５Ｂと第３モデル構築部２５Ｃとは、まとめて「各モデル構築部２５」ということがある。

【0056】

各モデル構築部２５は、運用支援装置３との間で情報の送受信が可能である。各モデル構築部２５は、例えば、各モデル構築部２５が構築した学習モデルを運用支援装置３にそれぞれ送信可能である。

【0057】

各モデル構築部２５は、例えば、サポート・ベクター・マシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、決定木（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ）、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等を用いて実現可能である。

【0058】

続いて、運用支援装置３について説明する。

【0059】

運用支援装置３は、通信部３１と、記憶部３２と、表示部３３と、制御部３５と、を備える。

【0060】

通信部３１は、外部の装置と各種通信が可能である。通信部３１は、機械学習装置２との間でデータを送受信可能である。通信部３１は、各モデル構築部２５に送信された学習モデルを受信可能である。

【0061】

記憶部３２は、各種情報を記憶可能である。記憶部３２は、通信部３１に受信された学習モデルを記憶可能である。なお、記憶部３２は、飛行予定領域の範囲に関する情報である飛行領域情報を、予め記憶可能である。具体例としては、飛行領域情報は、電柱Ｄ１の周囲で無人飛行体を飛行させる飛行予定領域ＰＤ１の範囲が電柱Ｄ１の周囲２ｍの領域である旨の情報である。

【0062】

表示部３３は、モニタであり、制御部３５により出力された処理結果を表示可能である。なお、表示部３３は、タッチパネルとしての機能を有していてもよい。すなわち、ユーザが表示部３３に触れることで、運用支援装置３を操作できるようにしてもよい。また、別途操作部を設け、当該操作部を操作することにより運用支援装置３を操作できるようにしてもよい。表示部３３は、特に限定されるものではなく、例えば、スマートフォン等であってもよい。

【0063】

制御部３５は、運用支援装置３の全体を制御する部分である。制御部３５は、各種の判定処理等（詳しくは後述）を実行可能であり、それらの処理結果を、表示部３３に出力可能である。制御部３５は、判定用データ取得部４１と、存在判定部４２と、対象特定部４３と、距離推定部４４と、種別推定部４５と、規制情報取得部５１と、抵触判定部５３と、許可取得可否判定部５５と、手続方法取得部５６と、を有する。なお、制御部３５による各種の処理の結果は、記憶部３２に記憶可能である。

【0064】

判定用データ取得部４１は、判定用写真を判定用データとして取得可能である。判定用写真は、対象物を含んで撮影された写真である。判定用写真は、撮影装置７で撮影された写真を使用可能である。判定用データ取得部４１と撮影装置７とは、互いに通信可能である。判定用データ取得部４１は、撮影装置７から判定用写真を取り込むことが可能である。

【0065】

判定用写真は、例えば、図３に示すように、電柱Ｄ１及び電柱Ｄ２と、建物Ｓ１と、を被写体として含む判定用写真Ｐである。当該判定用写真Ｐは、地域Ａにおいて、撮影装置７で撮影されたものである。判定用写真Ｐは、建物Ｓ１が、各電柱Ｄよりも奥側に位置する方向で、各電柱Ｄのうち電柱Ｄ１が、より判定用写真Ｐの中央部に近い位置に写るように撮影されている。

【0066】

存在判定部４２は、判定用データ取得部４１により取得された判定用データと、機械学習装置２により構築された第１学習モデルと、に基づいて、判定用写真に規制対象施設が含まれているか否かを判定可能であり、詳しくは、判定用写真中の被写体をそれぞれ認識するとともに、当該被写体が規制対象施設であるか否かを判定する。このため、存在判定部４２は、判定用写真に規制対象施設が含まれていると判定するとともに、判定用写真中で規制対象施設が写されている範囲を推定可能である。

【0067】

種別推定部４５は、判定用データ取得部４１により取得された判定用データと、機械学習装置２により構築された第１学習モデルと、に基づいて、判定用写真に含まれる規制対象施設の種別を推定可能である。

【0068】

具体例としては、判定用写真Ｐには、建物Ｓ１が被写体として含まれている。このため、存在判定部４２は、判定用写真Ｐに規制対象施設が含まれていると判定するとともに、判定用写真Ｐ中で規制対象施設（すなわち、建物Ｓ１）が写されている範囲をそれぞれ推定可能である。また、種別推定部４５は、判定用写真Ｐに被写体として含まれる規制対象施設の種別は、建物Ｓ１であると推定する。表示部３３は、規制対象施設が検出された旨と、判定用写真Ｐ中で各規制対象施設が写されている範囲とを表示するとともに、各規制対象施設の種別を、各規制対象施設が写されている範囲と隣接する位置に、それぞれ表示する。

【0069】

また、存在判定部４２は、判定用データ取得部４１により取得された判定用データと、機械学習装置２により構築された第２学習モデルと、に基づいて、判定用写真に電柱及び鉄塔のうち少なくともいずれかが含まれているか否かを判定可能であり、詳しくは、判定用写真中の被写体をそれぞれ認識するとともに、当該被写体が電柱又は鉄塔であるか否かをそれぞれ判定する。このため、存在判定部４２は、判定用写真に電柱及び鉄塔のうち少なくともいずれかが含まれているか否かを判定するとともに、判定用写真中で電柱又は鉄塔が写されている範囲を推定可能である。

【0070】

また、種別推定部４５は、判定用データ取得部４１により取得された判定用データと、機械学習装置２により構築された第２学習モデルと、に基づいて、判定用写真に含まれる点検対象物の種別を推定可能である。

【0071】

具体例としては、判定用写真Ｐには、電柱Ｄ１及び電柱Ｄ２が被写体として含まれている。このため、存在判定部４２は、判定用写真Ｐに電柱及び鉄塔のうち少なくともいずれかが含まれていると判定するとともに、判定用写真Ｐ中で各電柱Ｄ１，Ｄ２が写されている範囲をそれぞれ推定する。種別推定部４５は、判定用写真Ｐに写されている電柱Ｄ１及び電柱Ｄ２は、それぞれ電柱であると推定する。表示部３３は、例えば、電柱及び鉄塔のうち少なくともいずれかが検出された旨と、判定用写真Ｐ中で電柱Ｄ１が写されている範囲と、判定用写真Ｐ中で電柱Ｄ２が写されている範囲と、を表示するとともに、それらの範囲に隣接する位置に「電柱」とそれぞれ表示する。

【0072】

対象特定部４３は、判定用写真に含まれる電柱及び鉄塔のうち、点検対象物に相当するものを特定する。例えば、対象特定部４３は、判定用写真に含まれる電柱及び鉄塔が１つである場合には、当該電柱又は鉄塔を対象物として特定可能である。対象特定部４３は、判定用写真に含まれる電柱及び鉄塔が２つ以上である場合には、各電柱及び鉄塔のうち、判定用写真の上下方向及び左右方向の中央部（以下、「写真中央部」という）に最も近い位置に写されている電柱又は鉄塔を、点検対象物である電柱又は鉄塔として特定可能である。対象特定部４３は、その特定結果を、表示部３３に出力可能である。また、表示部３３は、対象特定部４３の特定結果を表示可能である。表示部３３は、例えば、所定のマーカＭを、対象特定部４３により点検対象物として特定された電柱に付して表示させることが可能である。なお、点検対象物である電柱又は鉄塔は、必ずしも１つである必要はなく、複数であってもよい。

【0073】

具体例としては、判定用写真Ｐにおいては、２つの電柱Ｄが被写体として含まれている。判定用写真Ｐにおいては、２つの電柱Ｄのうち、電柱Ｄ１が、より判定用写真Ｐの写真中央部Ｐａに近い位置に写されている。このため、対象特定部４３は、電柱Ｄ１を対象物として特定する。表示部３３は、例えば、判定用写真Ｐ中で電柱Ｄ１写されている範囲に添えるように、所定のマーカＭを表示する。

【0074】

なお、対象特定部４３が、複数の電柱のうちから点検対象物を特定する方法は、上述した方法に限定されない。例えば、対象特定部４３は、ユーザが表示部３３上で電柱Ｄのうち所望するものが表示されている箇所に触れた場合に、当該電柱Ｄを点検対象物として特定するようにしてもよい。

【0075】

また、点検対象物は、判定用写真中に被写体として含まれていなくてもよい。その場合、判定用写真を加工することで、判定用写真に仮想の点検対象物を含ませるようにすることが可能である。例えば、撮影装置７により撮影された写真を表示部３３に表示するとともに、ユーザが表示部３３に触れて、電柱を示すオブジェクト及び鉄塔を示すオブジェクトのうち所望のものを、当該写真中の所望の地点に移動させるようにする。そして、対象特定部４３が、当該オブジェクトを仮想の点検対象物として特定するようにする。このように、判定用写真中に含まれる点検対象物の画像は、実物を撮影したものに限定されず、仮想の画像であってもよい。

【0076】

なお、点検対象物が仮想のものである場合には、写真中で点検対象物が写されている範囲と点検対象物の種別とは、上記の操作によりユーザが設定可能であるため、存在判定部４２や種別推定部４５により推定する必要はない。

【0077】

距離推定部４４は、判定用データ取得部４１により取得された判定用データと、機械学習装置２により構築された第３学習モデルと、に基づいて、点検対象物と規制対象施設との距離を推定可能である。

【0078】

具体例としては、判定用写真Ｐには、対象物としての電柱Ｄ１と、規制対象施設である建物Ｓ１が被写体として含まれている。このため、距離推定部４４は、電柱Ｄ１と建物Ｓ１との距離を推定する。表示部３３は、電柱Ｄ１と建物Ｓ１との距離を表示する。

【0079】

なお、判定用写真中において、被写体間の実際の距離が既知の部分が存在する場合や、実際の寸法が既知の被写体が含まれている場合には、距離推定部４４は、それらの距離や寸法に基づいて、推定結果の補正を行うことが可能である。例えば、判定用写真Ｐの場合、電柱Ｄ１と電柱Ｄ２との間の実際の距離は、概ね１６ｍとなっている。このため、距離推定部４４は、電柱Ｄ１と電柱Ｄ２との間の実際の距離の値と、電柱Ｄ１と建物Ｓ１との間の距離に関する推定結果とを比較して、当該推定結果が妥当であるか否かを確認するとともに、妥当でない場合には、電柱Ｄ１と電柱Ｄ２との間の実際の距離の値に基づいて、推定結果を補正可能である。また、距離推定部４４は、各電柱Ｄの高さ寸法や、電柱Ｄ１と電柱Ｄ２とを繋ぐ電線Ｌａの長さ、各電柱Ｄの付属物の寸法（例えば、腕金の寸法）等の実際の値についても同様に、推定結果の補正において活用可能である。

【0080】

規制情報取得部５１は、種別推定部４５に推定された規制対象施設の種別に基づいて、当該規制対象施設の種別と対応する飛行規制に関する規制情報を取得する。規制情報は、飛行規制の内容に関する情報であり、当該飛行規制の名称、当該飛行規制に係る規制対象施設の種別、当該飛行規制に係る規制区域の範囲等に関する情報を含む。

【0081】

飛行規制の名称としては、例えば、航空法、小型無人機等飛行禁止法等が挙げられる。飛行規制に係る規制対象施設の種別としては、例えば、航空法に係るものとして、第三者が所有する建物等や、空港等が挙げられる。小型無人機等飛行禁止法に係るものとして、原子力関連施設、対象空港、国会議事堂等が挙げられる。飛行規制に係る規制区域の範囲としては、例えば、航空機に係るものとして、「第三者からの距離が３０ｍ以内である区域」が挙げられる。小型無人機等飛行禁止法に係るものとして、「対象空港の敷地上空及び周囲概ね３００ｍである区域の上空」が挙げられる。

【0082】

規制情報は、記憶部３２に予め記憶可能である。規制情報取得部５１は、記憶部３２から規制情報を取得可能である。

【0083】

具体例としては、判定用写真Ｐには、建物Ｓ１が被写体として含まれている。倉庫である建物Ｓ１と対応し得る飛行規制は、例えば、航空法である。このため、規制情報取得部５１は、航空法に関する規制情報を記憶部３２から取得する。表示部３３は、例えば、飛行規制の名称として「航空法」と表示する。また、表示部３３は、判定用写真Ｐ中において、航空法に係る規制区域の範囲内の部分を、着色表示するようにしてもよい。

【0084】

なお、距離推定部４４は、規制区域の周縁部と、点検対象物と、の実際の距離を推定可能であってもよい。具体的には、距離推定部４４は、規制情報取得部５１により取得された規制情報から、規制区域の範囲を定めるための規制対象施設からの離間距離（例えば、航空法の場合は、３０ｍ）を抽出可能とするともに、当該離間距離から、距離推定部４４が推定した点検対象物と規制対象施設との距離を、差し引いた値を算出可能とする。表示部３３は、距離推定部４４により推定された、規制区域の周縁部と点検対象物との距離を、表示可能とする。これにより、点検対象物と規制区域との位置関係を把握可能とすることができる。

【0085】

抵触判定部５３は、距離推定部４４に取得された点検対象物と規制対象施設との距離と、規制情報取得部５１により取得された規制情報と、に基づいて、点検対象物が、規制区域内に存在するか否かを判定する。その際、抵触判定部５３は、記憶部３２に記憶されている飛行領域情報を考慮しつつ判定するとよい。詳しくは、抵触判定部５３は、まず、距離推定部４４に取得された距離の値から、飛行領域情報に含まれる点検対象物からの距離の値を差し引く。抵触判定部５３は、その計算結果が、規制情報に含まれる規制対象施設からの離間距離の値以下である場合には、点検対象物は、規制対象区域内に存在すると判定し、規制情報に含まれる規制対象施設からの離間距離の値よりも大である場合には、点検対象物は、規制対象区域外に存在すると判定する。これにより、より精度よく、点検対象物が規制区域内に存在するか否かを判定することができる。なお、抵触判定部５３が飛行領域情報を考慮しつつ判定を行う場合、「点検対象物が規制区域内に存在する」とは、「点検対象物に対応する飛行予定領域の少なくとも一部が、規制区域内に存在する」ことを意味し得る。

【0086】

具体例としては、航空法の場合、第三者の建物等との距離が３０ｍ以内の区域においては、無人飛行体の飛行には承認が必要とされている。飛行予定領域ＰＤ１は、電柱Ｄ１の周囲２ｍの領域とされている。このため、距離推定部４４により推定された電柱Ｄ１と建物Ｓ１との距離から２ｍを差し引くとともに、その計算結果が、３０ｍ以下であった場合には、電柱Ｄ１は、規制区域内に存在すると判定し、３０ｍより大であった場合には、電柱Ｄ１は、規制区域内には存在しないと判定する。なお、電柱Ｄ１は、建物Ｓ１に係る規制区域内に存在している（図１参照）。したがって、距離推定部４４は、判定用写真Ｐに基づいて、電柱Ｄ１は、規制区域内に存在すると判定することになる。

【0087】

なお、飛行規制においては、規制区域内であっても、所定の許可を得ることで、規制区域内において無人飛行体を飛行させ得る。

【0088】

例えば、航空法の場合、第三者の周囲においても、所定の手続を行うことで、無人飛行体を飛行させ得る。この場合、当該所定の手続の方法（以下、「手続方法」という）は、所定の申請書を、国土交通省に提出すること等である。小型無人機等飛行禁止法の場合、対象空港の周囲においても、所定の手続を行うことで、無人飛行体を飛行させ得る。この場合、手続方法は、空港管理者や都道府県公安委員会への事前通報を行うこと等である。

【0089】

飛行規制が、所定の手続を行うことで、規制区域内において無人飛行体の飛行が可能となるものであるか否かについては、当該飛行規制に関する規制情報として、記憶部３２に記憶されている。手続方法についても、当該飛行規制に関する規制情報として、記憶部３２に記憶されている。なお、手続方法は、例えば、提出すべき申請書のひな型や記載要領、申請書の提出先の機関名や連絡先といった情報を含み得る。

【0090】

許可取得可否判定部５５は、規制情報取得部５１により取得された規制情報に基づいて、当該規制情報と対応する飛行規制が、所定の手続を行うことで、規制区域内において無人飛行体の飛行が可能となるものであるか否かを判定可能である。

【0091】

手続方法取得部５６は、規制情報取得部５１に取得された規制情報に係る飛行規制と対応する手続方法を取得可能であり、詳しくは、規制情報取得部５１により取得された許可情報から、手続方法を抽出する。

【0092】

具体例としては、規制情報取得部５１が航空法と対応する規制情報を取得した場合には、許可取得可否判定部５５は、規制情報取得部５１が取得した規制情報と対応する飛行規制は、所定の手続を行うことで、規制区域内において無人飛行体の飛行が可能となるものであると判定する。また、手続方法取得部５６は、航空法と対応する手続方法として、『無人航空機の飛行に関する許可・承認申請書』のひな型等を取得したり、「提出先は大阪航空局である」といった情報を取得したりする。

【0093】

なお、例えば、航空法の場合、空港の周囲においても、所定の手続を行うことで、無人飛行体を飛行させ得る。この場合、手続方法としては、所定の申請書を国土交通省に提出することのみならず、空港の管理者の了承を得ることも求められる。このように、適用される飛行規制が同一であっても、規制対象施設によって手続方法が異なることも想定される。このため、手続方法取得部５６は、規制情報取得部５１の推定結果と、種別推定部４５の推定結果と、に基づいて、手続方法を取得可能であることが好ましい。

【0094】

また、手続方法取得部５６は、所定の手続が完了しているか否かを判定可能とし、所定の手続が完了している場合には、手続方法を表示部３３に出力しないようにしてもよい。なお、その場合、記憶部３２は、所定の手続が完了しているか否かについての情報を記憶可能とする。所定の手続が完了しているか否かについての情報は、例えば、ユーザにより、予め記憶部３２に記憶される。これにより、ユーザに対して無用な情報を提示してしまうのを抑制することができる。なお、所定の手続が完了しているか否かについての情報を、記憶部３２に記憶させるにあたっては、例えば、ユーザが表示部３３をタッチ操作して、当該情報を入力することが考えられる。

【0095】

また、規制情報取得部５１は、規制情報を取得するに際して、所定の手続が完了している旨の情報が記憶部３２に記憶されている場合には、規制情報のうち、当該所定の手続により規制が解除される飛行規制と対応するものを、取得対象から除外するようにしてもよい。これにより、ユーザに対して無用な情報を提示してしまうのを抑制することができる。

【0096】

続いて、本実施形態に係る機械学習装置２の機械学習時の動作について図４を参照しつつ説明する。図４は、機械学習装置２の機械学習時における動作を示すフローチャートである。なお、図４のフローチャートは、学習部２１のそれぞれにより、繰り返し実行される。図４のフローチャートは、学習部２１において共通のものである。

【0097】

ステップＳ１１では、入力データ取得部２２は、それぞれ、入力データとして学習用写真を取得する。詳しくは、第１入力データ取得部２２Ａは、撮影装置７から第１学習用写真を取得する。第２入力データ取得部２２Ｂは、撮影装置７から第２学習用写真を取得する。第３入力データ取得部２２Ｃは、撮影装置７から第３学習用写真を取得する。次いで、ステップＳ１２に進む。

【0098】

ステップＳ１２では、各ラベル取得部２３は、それぞれ、ラベルを取得する。詳しくは、第１ラベル取得部２３Ａは、第１範囲情報と第１種別情報とをラベルとして取得する。第２ラベル取得部２３Ｂは、第２範囲情報と、第２種別情報と、をラベルとして取得する。第３ラベル取得部２３Ｃは、距離情報をラベルとして取得する。次いで、ステップＳ１３に進む。

【0099】

ステップＳ１３では、各モデル構築部２５は、それぞれ、入力データとラベルとの組を教師データとして受け付ける。詳しくは、第１モデル構築部２５Ａは、第１学習用写真と、第１範囲情報及び第１種別情報との組を教師データとして受け付ける。第２モデル構築部２５Ｂは、第２学習用写真と、第２範囲情報及び第２種別情報と、の組を教師データとして受け付ける。第３モデル構築部２５Ｃは、第３学習用写真と、距離情報との組を教師データとして受け付ける。ステップＳ１４に進む。

【0100】

ステップＳ１４では、各モデル構築部２５は、それぞれ、この教師データを用いて機械学習をそれぞれ実行する。第１モデル構築部２５Ａは、第１学習モデルを構築する。第２モデル構築部２５Ｂは、第２学習モデルを構築する。第３モデル構築部２５Ｃは、第３学習モデルを構築する。次いで、ステップＳ１５に進む。

【0101】

ステップＳ１５では、各モデル構築部２５は、それぞれ、機械学習を継続するか終了するかを判定する。各モデル構築部２５は、機械学習を継続する場合には、ＮＯ判定してステップＳ１１に戻り、同様の処理を繰り返す。各モデル構築部２５は、機械学習を終了する場合には、ＹＥＳ判定してステップＳ１６に進む。なお、機械学習を終了させる条件は任意に定めることができる。例えば、予め定められた回数だけ機械学習を繰り返した場合に、機械学習を終了させるようにしてもよい。

【0102】

ステップＳ１６では、各モデル構築部２５は、それぞれ、その時点までの機械学習により構築した学習モデルを、運用支援装置３に送信する。詳しくは、第１モデル構築部２５Ａは、第１学習モデルを送信する。第２モデル構築部２５Ｂは、第２学習モデルを送信する。第３モデル構築部２５Ｃは、第３学習モデルを送信する。その後、本処理を終了する。

【0103】

また、学習部２１の記憶部２４は、それぞれ、構築した学習モデルを記憶する。これにより、学習部２１は、運用支援装置３から学習モデルを要求された場合に、運用支援装置３に学習モデルを送信することができる。また、学習部２１は、新たな教師データを取得した場合に、学習モデルに対して更なる機械学習を行うことができる。

【0104】

続いて、運用支援装置３による処理の一例について、図５Ａ及び図５Ｂを参照しつつ説明する。図５Ａ及び図５Ｂは、運用支援装置３による処理の流れを説明するフローチャートである。なお、図５Ａ及び図５Ｂのフローチャートは、運用支援装置３により実行され、ユーザにより所定の開始操作が行われたことを契機として、１回の開始操作につき１回実行され、当該開始操作が行われる度に実行される。また、所定の開始操作としては、例えば、表示部３３にスタートアイコンを表示し、ユーザが当該アイコンにタッチする操作等が想定される。

【0105】

ステップＳ２１では、判定用データ取得部４１は、判定用写真を判定用データとして取得する。記憶部３２は、判定用データを記憶する。次いで、ステップＳ２２に進む。

【0106】

ステップＳ２２では、存在判定部４２は、判定用データと学習モデルとに基づいて、判定用写真Ｐ中で規制対象施設が写されている範囲を推定するとともに、判定用写真中に規制対象施設が写されているか否かを判定する。判定用写真中に規制対象施設が写されている場合には、存在判定部４２は、ＹＥＳ判定してステップＳ２３に進む。判定用写真中に規制対象施設が写されていない場合には、存在判定部は、ＮＯ判定してステップＳ３１に進む。なお、存在判定部４２は、その推定結果及び判定結果を、表示部３３に出力する。

【0107】

ステップＳ２３では、表示部３３は、規制対象施設を検出した旨を表示する。表示部３３は、判定用写真中で規制対象施設が写されている範囲を枠で囲んで表示する。次いで、ステップＳ２４に進む。

【0108】

ステップＳ２４では、種別推定部４５は、判定用写真中に写されている規制対象施設の種別をそれぞれ推定する。種別推定部４５は、その推定結果を、表示部３３に出力する。表示部３３は、判定用写真中に写されている規制対象施設の種別を表示する。次いで、ステップＳ２５に進む。

【0109】

ステップＳ２５では、規制情報取得部５１は、規制情報のうち、ステップＳ２４で推定された規制対象施設の種別に対応するものを、記憶部３２から取得する。規制情報取得部５１は、その推定結果を、表示部３３に出力する。表示部３３は、規制情報取得部５１が取得した規制情報を表示する。表示部３３は、例えば、当該規制情報に対応する飛行規制の名称を表示したり、当該規制情報とステップＳ２４で推定された規制対象施設の種別とに対応する規制区域の範囲を、判定用写真上に着色表示したりする。次いで、ステップＳ４１に進む。

【0110】

また、ステップＳ３１では、表示部３３は、規制対象施設が検出されなかった旨のメッセージを表示する。次いで、ステップＳ３２に進み、表示部３３は、無人飛行体の飛行が許容されうる旨のメッセージを表示する。その後、本処理を終了する。

【0111】

ステップＳ４１では、存在判定部４２は、ステップＳ２１で取得された判定用データと、機械学習装置２に構築された第２学習モデルと、に基づいて、判定用写真中で電柱又は鉄塔が写されている範囲を推定するとともに、判定用写真中に電柱及び鉄塔のうち少なくともいずれかが被写体として含まれているか否かを判定する。ＹＥＳ判定の場合はステップＳ４２に進む。ＮＯ判定の場合は、ステップＳ４７に進む。なお、存在判定部４２は、その判定結果及び推定結果を、表示部３３に出力する。

【0112】

ステップＳ４２では、表示部３３は、判定用写真を表示するとともに、判定用写真中で電柱又は鉄塔が写されている範囲を枠で囲んで表示する。次いで、ステップＳ４３に進む。

【0113】

ステップＳ４３では、対象特定部４３は、ステップＳ４１で推定された、判定用写真中で電柱又は鉄塔が写されている範囲が、２つ以上であるか否かを判定する。２つ以上の場合には、ＹＥＳ判定してステップＳ４４に進む。１つの場合には、ＮＯ判定してステップＳ４５に進む。

【0114】

ステップＳ４４では、対象特定部４３は、ステップＳ４１で推定された複数の範囲のうち、点検対象物に対応するものを特定する。対象特定部４３は、例えば、ステップＳ４１で推定された複数の範囲のうち、判定用写真の写真中央部に最も近いものを、点検対象物として特定する。対象特定部４３は、その特定結果を、表示部３３に出力する。次いで、ステップＳ４６に進む。

【0115】

また、ステップＳ４５では、対象特定部４３は、ステップＳ４１で推定された範囲を、点検対象物として特定する。対象特定部４３は、その特定結果を、表示部３３に出力する。次いで、ステップＳ４６に進む。

【0116】

ステップＳ４６では、表示部３３は、ステップＳ４１で推定された範囲のうち、ステップＳ４４又はステップＳ４５で点検対象物として特定されたものの付近に、所定のマーカを表示する。次いで、ステップＳ４９に進む。

【0117】

また、ステップＳ４７では、存在判定部４２は、判定用写真が仮想の点検対象物を含んでいるか否かを判定する。ＹＥＳ判定の場合は、ステップＳ４９に進む。ＮＯ判定の場合は、ステップＳ４８に進む。なお、存在判定部４２は、その判定結果を、表示部３３に出力する。

【0118】

ステップＳ４８では、表示部３３は、判定用写真が点検対象物を含んでいない旨のメッセージを表示する。その後、本処理を終了する。

【0119】

ステップＳ４９では、距離推定部４４は、判定用写真中に含まれる点検対象物と規制対象施設との実際の距離を、推定する。距離推定部４４は、その推定結果を表示部３３に出力する。表示部３３は、距離推定部４４の推定結果を表示する。次いで、ステップＳ５１に進む。

【0120】

ステップＳ５１では、抵触判定部５３は、ステップＳ２５で取得された規制情報と、ステップＳ４９で推定された点検対象物と規制対象施設との距離と、に基づいて、点検対象物が規制区域内に存在するか否かを判定する。この際、抵触判定部５３は、記憶部３２に記憶されている飛行領域情報を考慮するとよい。判定がＹＥＳの場合には、ステップＳ５２に進む。判定がＮＯの場合には、ステップＳ３２に進む。なお、抵触判定部５３は、その判定結果を表示部３３に出力する。

【0121】

ステップＳ５２では、表示部３３は、点検対象物が規制区域内に存在する旨を表示する。この際、表示部３３は、点検対象物が規制区域内に存在する旨のメッセージを表示するとともに、判定用写真中で規制区域に該当する範囲を、線で囲んで表示する。次いでステップＳ５３に進む。なお、図３においては、当該判定用写真中の全域が規制区域に該当しているため、規制区域の範囲を示す線は、写真中には表れていない。

【0122】

ステップＳ５３では、距離推定部４４は、点検対象物と規制区域の周縁部との離間距離のうち最小のものを推定する。詳しくは、距離推定部４４は、規制区域の範囲を定めるための規制対象施設からの離間距離から、ステップＳ４９で推定された点検対象物と規制対象施設との距離を、差し引いた値を算出する。なお、規制区域の範囲を定めるための規制対象施設からの離間距離は、ステップＳ２５で取得された規制情報に含まれる。距離推定部４４は、その推定結果を表示部３３に出力する。表示部３３は、点検対象物と規制区域の周縁部との離間距離のうち最小のものの値を表示する。次いで、ステップＳ５５に進む。

【0123】

ステップＳ５５では、許可取得可否判定部５５は、ステップＳ２５で取得された規制情報に対応する飛行規制が、所定の手続を行うことで、規制区域内において無人飛行体の飛行が可能となるものであるか否かを判定する。判定がＹＥＳの場合には、ステップＳ５６に進む。判定がＮＯの場合には、ステップＳ５８に進む。

【0124】

ステップＳ５６では、手続方法取得部５６は、ユーザが所定の手続を完了しているか否かを判定する。判定がＹＥＳの場合には、ステップＳ３２に進む、判定がＮＯの場合には、ステップＳ５７に進む。

【0125】

ステップＳ５７では、手続方法取得部５６は、当該飛行規制に対応する、所定の許可や承認を得るための手続方法を取得する。手続方法取得部５６は、その取得結果を表示部３３に出力する。表示部３３は、手続方法取得部５６により取得された手続方法を表示する。次いで、ステップＳ６１に進む。

【0126】

また、ステップＳ５８では、表示部３３は、点検対象物の周囲では、無人飛行体の飛行が禁止される旨のメッセージを表示する。その後、ステップＳ６１に進む。

【0127】

ステップＳ６１では、存在判定部４２は、判定用写真が仮想の点検対象物を含んでいるか否かを判定する。ＹＥＳ判定の場合は、ステップＳ６２に進む。ＮＯ判定の場合は、本処理を終了する。

【0128】

ステップＳ６２では、存在判定部４２は、仮想の点検対象物を規制区域外に移動させることを提案するメッセージを、表示部３３に表示させる。さらに、表示部３３は、ユーザが、表示部３３上で、電柱等を示すオブジェクトのうち所望のものを、当該表示中の所望の地点に移動させられるようにする。その際、表示部３３は、本ステップＳ６２以前のステップにより表示部３３に表示されることとされた各種情報を表示する。これにより、例えば規制区域の範囲を目視しながら点検対象物を移動させることができるため、点検対象物の移動先を決定し易くすることができる。その後、本処理を終了する。

【0129】

また、ユーザが電柱等のオブジェクトの移動を行った場合には、再度、運用支援装置３に図５Ａ及び図５Ｂのフローチャートを実行させることで、点検対象物の位置を変更した場合における、各種飛行規制への適合状況等を確認することができる。

【0130】

以上説明した本実施形態に係る運用支援システム１の機械学習装置２又は運用支援装置３によれば、以下の効果を奏する。

【0131】

本実施形態にかかる機械学習装置２は、無人飛行体の飛行規制の対象となる施設である規制対象施設と、基準点と、を被写体として含む学習用写真を入力データとして取得する入力データ取得部２２と、写真中で規制対象施設が写されている範囲に関する範囲情報と、規制対象施設と前記基準点との距離に関する距離情報と、をラベルとして取得するラベル取得部２３と、入力データとラベルとの組を教師データとして教師あり学習を行うことにより、無人飛行体を用いて点検される対象である点検対象物の画像を含む写真に規制対象施設が含まれるか否かを判定し、当該写真に規制対象施設が含まれると判定した場合には、規制対象施設と前記点検対象物との距離を推定するための学習モデルを構築するモデル構築部２５と、を備える。

【0132】

飛行規制には、規制対象施設からの距離が基準値以下である場合に適用されるものが存在する。例えば、第三者の所有する建物等からの距離が３０ｍ以内の区域内では、航空法により無人飛行体の飛行が規制される。そこで、本実施形態にかかる機械学習装置２によれば、判定用写真に基づいて、点検対象物と規制対象施設との実際の距離を推定可能な学習モデルを構築することができる。これにより、飛行規制に抵触するか否かについて容易に確認することができるため、無人飛行体の使用に関する確認作業を効率化することができる。

【0133】

本実施形態にかかる機械学習装置２において、ラベル取得部２３は、規制対象施設の種別に関する種別情報をラベルとして更に取得し、モデル構築部２５は、前記入力データと前記ラベルとの組を教師データとして教師あり学習を行うことにより、規制対象施設の種別を推定するための学習モデルを構築する。

【0134】

飛行規制の内容は、規制対象施設の種別によって異なる場合がある。例えば、規制対象施設が、第三者の所有する建物等である場合には、航空法により、当該建物等の付近３０ｍ以内となる区域内での無人飛行体の飛行が規制される。規制対象施設が所定の空港である場合には、小型無人機等飛行禁止法により、当該空港の敷地から概ね３００ｍ以内となる区域内での無人飛行体の飛行が規制される。そこで、本実施形態にかかる機械学習装置２によれば、判定用写真に基づいて、規制対象施設の種別を推定することができる。これにより、飛行規制に抵触するか否かについて容易に確認することができるため、無人飛行体の使用に関する確認作業を効率化することができる。

【0135】

本実施形態に係る運用支援装置３は、機械学習装置２で構築した学習モデルを用いた無人飛行体の運用支援装置であって、無人飛行体を用いて点検される対象である点検対象物の画像を含む判定用写真を判定用データとして取得する判定用データ取得部４１と、判定用データと学習モデルとに基づいて、判定用写真に規制対象施設が含まれているか否かを判定する存在判定部４２と、存在判定部４２が判定用写真に規制対象施設が含まれていると判定した場合に、判定用データと学習モデルとに基づいて、点検対象物と規制対象施設との距離を推定する距離推定部４４と、を備える。

【0136】

これにより、判定用写真を判定用データとして入力することで、判定用写真に基づいて、点検対象物と規制対象施設との距離を自動で推定することができる。このため、例えば、点検対象物と規制対象施設との距離を実測しなくても、点検対象物が、飛行規制が適用される範囲内に位置していないことを確認できるため、飛行規制に抵触するか否かについて容易に確認することができる。したがって、無人飛行体の使用に関する確認作業を効率化することができる。

【0137】

本実施形態に係る運用支援装置３は、判定用写真を判定用データとして取得する判定用データ取得部４１と、判定用データと学習モデルとに基づいて、判定用写真に規制対象施設が含まれているか否かを判定する存在判定部４２と、存在判定部４２が判定用写真に規制対象施設が含まれていると判定した場合に、判定用データと学習モデルとに基づいて、判定用データに含まれる規制対象施設の種別を推定する種別推定部４５と、を備える。

【0138】

これにより、判定用写真を判定用データとして入力することで、判定用写真に写っている規制対象施設の種別を自動で推定することができる。このため、飛行規制に抵触するか否かについて容易に確認することができる。したがって、無人飛行体の使用に関する確認作業を効率化することができる。

【0139】

本実施形態に係る運用支援装置３は、種別推定部４５が規制対象施設の種別を推定した場合に、種別推定部４５が推定した規制対象施設の種別に対応する、飛行規制の内容に関する情報である規制情報を取得する規制情報取得部５１を備える。

【0140】

これにより、判定用写真を判定用データとして入力することで、判定用写真に写っている規制対象施設の種別に対応する飛行規制について、その規制内容を自動で取得することができる。このため、飛行規制に抵触するか否かについて容易に確認することができる。したがって、無人飛行体の使用に関する確認作業を効率化することができる。

【0141】

本実施形態に係る運用支援装置３において、規制情報は、無人飛行体の飛行の規制が適用される区域である規制区域に関する区域情報を含む。本実施形態に係る運用支援装置３は、判定用データと学習モデルとに基づいて、点検対象物と規制対象施設との距離を推定する距離推定部４４と、規制情報取得部５１が規制情報を取得し、距離推定部４４が点検対象物と規制対象施設との距離を推定した場合に、規制情報取得部５１が取得した規制情報と、距離推定部４４の推定結果と、に基づいて、点検対象物が規制区域内に存在するか否かを判定する抵触判定部５３と、を備える。

【0142】

これにより、判定用写真を判定用データとして入力することで、規制対象施設に応じた規制情報を自動で取得するとともに、点検対象物と規制対象施設との距離を自動で推定することができる。そして、点検対象物が規制区域内に含まれるか否かを自動で判定することができる。このため、飛行規制に抵触するか否かについて容易に確認することができる。したがって、無人飛行体の使用に関する確認作業を効率化することができる。

【0143】

本実施形態に係る運用支援装置３は、規制情報取得部５１が規制情報を取得した場合に、規制情報取得部５１が取得した規制情報に対応する飛行規制が、所定の手続きを行うことで、規制区域内において無人飛行体の飛行が可能となるものであるか否かを判定する許可取得可否判定部５５と、許可取得可否判定部５５が、規制情報に対応する飛行規制が、所定の手続きを行うことで、規制区域内において無人飛行体の飛行が可能となるものであると判定した場合に、当該飛行規制に対応する手続方法を取得する手続方法取得部５６と、を備える。

【0144】

飛行規制によっては、所定の手続きを行うことで、規制区域内においても無人飛行体の飛行が可能となる場合がある。そこで、本実施形態に係る運用支援装置３によれば、判定用写真を判定用データとして入力することで、飛行規制が、所定の手続きを行うことで規制区域内での無人飛行体の飛行が可能である場合に、当該飛行規制に対応する手続方法を自動で取得することができる。これにより、飛行規制に抵触するか否かについて容易に確認することができるため、無人飛行体の使用に関する確認作業を効率化することができる。

【0145】

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に制限されるものではなく適宜変更が可能である。

【0146】

運用支援装置３は任意の点検対象物・範囲（例えば設備Ｎｏ．１からＮｏ．１０）を入力することで、設備Ｎｏ．１からＮｏ．１０の設備データを設備データ取得部５７から機械学習装置２へ入力し、その結果を一覧として表示部３３へ出力することも可能とする。合わせて表示部３３に表示された一覧の中から、個別に結果等データを表示することも可能とする。

【0147】

運用支援装置３は、撮影装置７を備えていてもよい。運用支援装置３は例えば通信可能なタブレット端末やスマートフォン等であってもよい。

【0148】

学習用写真及び判定用写真は、地上から対象を写した写真に限定されるものではなく、例えば、航空写真といった、上空から対象を平面視した写真であってもよい。その場合、表示部３３は、上記ステップＳ４２やステップＳ４６において、平面視の判定用写真を用いて所定の表示を行うようにしてもよい。なお、本明細書でいう写真には、図面や地図も含まれ得る。

【0149】

飛行規制には、地表面からの高さが一定以上である空域において、無人飛行体の飛行を規制するものが存在する。例えば、空港等の周辺に設定されている進入表面、転移表面若しくは水平表面又は延長進入表面、円錐表面若しくは外側水平表面の上空の空域において、無人飛行体の飛行を規制する飛行規制が存在する。これらの表面のうち、例えば「進入表面」とは、進入の最終段階及び離陸時における航空機の安全を確保するために必要な表面であり、例えば滑走路長３０００ｍの空港の場合、滑走路の長さ方向の端部から滑走路の長さ方向に水平距離６０ｍ離間した位置から、滑走路の長さ方向に水平距離３０００ｍに亘って延びる、勾配が２％の斜面である。進入表面の上空は、規制区域に相当する。

【0150】

そこで、抵触判定部５３は、点検対象物の一部が、例えば進入表面の上空に位置している場合には、点検対象物が規制区域内に存在するとの判定を行うようにしてもよい。

【0151】

例えば、規制対象施設としての空港の周辺に、点検対象物としての高さ８ｍの電柱が設置されている場合を想定すると、まず、距離推定部４４は、電柱と、空港の滑走路との水平距離を推定する。抵触判定部５３は、距離推定部４４の推定結果に基づいて、電柱が設置されている位置における、進入表面の高さを推定する。例えば、距離推定部４４の推定結果が３００ｍであった場合には、当該進入表面の高さは、（３００ｍ－６０ｍ）×０．０２＝４．８ｍとなる。よって、抵触判定部５３は、電柱の高さ（８ｍ）が、進入表面の高さ（４．８ｍ）よりも大きいことから、当該電柱が規制区域内に存在すると判定する。

【0152】

これにより、飛行規制が、地表面からの高さが一定以上である空域において無人飛行体の飛行を規制するものである場合においても、飛行規制に抵触するか否かを確認することができる。

【0153】

学習用写真及び判定用写真は、静止画として撮影されたものに限定されない。学習用写真及び判定用写真は、動画撮影機能により撮影された動画から静止画として切り取られたものであってもよい。

【0154】

上記実施形態では、機械学習装置２と運用支援装置３とが１対１の組として通信可能に接続されているが、これに限定されるものではない。例えば、１つの機械学習装置２が複数の運用支援装置３とネットワークを介して通信可能に接続され、当該一の機械学習装置２が、各運用支援装置３の機械学習を実施するようにしてもよい。その際、機械学習装置２の各機能を、適宜複数のサーバに分散する、分散処理システムとしてもよい。また、クラウド上で仮想サーバ機能等を利用して、機械学習装置２の各機能を実現してもよい。

【0155】

上記実施形態では、運用支援システム１は、１つの機械学習装置２を備えているが、運用支援システムは、複数の機械学習装置２を備えるものであってもよい。運用支援システムが機械学習装置２を複数備える場合には、いずれかの機械学習装置２が記憶した学習モデルを、他の機械学習装置２との間で共有するようにしてもよい。学習モデルを複数の機械学習装置２で共有するようにすれば、各機械学習装置２において分散して学習を行うことが可能となるので、運用支援システムは、より効率的に学習を行うことが可能となる。

【符号の説明】

【0156】

１ 運用支援システム
２ 機械学習装置
３ 運用支援装置
７ 撮影装置
２２ 入力データ取得部
２２Ａ 第１入力データ取得部（入力データ取得部）
２２Ｂ 第２入力データ取得部（入力データ取得部）
２２Ｃ 第３入力データ取得部（入力データ取得部）
２３ラベル取得部
２３Ａ 第１ラベル取得部（ラベル取得部）
２３Ｂ 第２ラベル取得部（ラベル取得部）
２３Ｃ 第３ラベル取得部（ラベル取得部）
２５ モデル構築部
２５Ａ 第１モデル構築部（モデル構築部）
２５Ｂ 第２モデル構築部（モデル構築部）
２５Ｃ 第３モデル構築部（モデル構築部）
３１ 通信部
３２ 記憶部
３３ 表示部
３５ 制御部
４１ 判定用データ取得部
４２ 存在判定部
４３ 対象特定部
４４ 距離推定部
４５ 種別推定部
５１ 規制情報取得部
５３ 抵触判定部
５５ 許可取得可否判定部
５６ 手続方法取得部
５７ 設備データ取得部
Ａ 地域
Ｄ 電柱
Ｌ 電線
ＰＤ１ 飛行予定領域
Ｓ１ 建物
ＲＳ１ 規制区域
Ｐ 判定用写真
Ｍ マーカ

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】