特開 2023-170180 現場監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023170180

(43)【公開日】2023-12-01

(54)【発明の名称】現場監視システム

(51)【国際特許分類】

   G08G 5/00 20060101AFI20231124BHJP

   G01C 21/20 20060101ALI20231124BHJP

   G05D 1/10 20060101ALI20231124BHJP

【ＦＩ】

G08G5/00 A

G01C21/20

G05D1/10

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022081729

(22)【出願日】2022-05-18

【新規性喪失の例外の表示】新規性喪失の例外適用申請有り

(71)【出願人】

【識別番号】399077353

【氏名又は名称】クオリカ株式会社

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】岡 邦彦

(72)【発明者】

【氏名】脊尾 佳一

(72)【発明者】

【氏名】江口 裕一

【テーマコード（参考）】

2F129

5H181

5H301

【Ｆターム（参考）】

2F129AA11

2F129BB08

2F129BB15

2F129CC12

2F129CC13

2F129CC14

2F129EE67

2F129EE69

2F129EE81

2F129EE94

2F129FF02

2F129FF11

2F129FF15

2F129FF20

2F129FF65

2F129FF75

2F129GG17

5H181AA26

5H181BB04

5H181CC04

5H181CC24

5H181FF10

5H301AA06

5H301BB10

5H301CC04

5H301CC07

5H301CC10

5H301DD01

5H301FF05

5H301GG09

(57)【要約】      （修正有）

【課題】衛星測位システムが機能しない現場であっても、簡易に無人飛行体での監視ができる現場監視システムの提供。
【解決手段】現場監視システムは、移動体のカメラにより撮影された動画を受信し、動画を撮影している時間中の時刻情報を受信し、移動体が複数のマーカを通過した時点の時刻と、各マーカ情報とを受信し、現場内の経路データを取得し、受信された動画中から１以上の物体を検知し、検知された物体の種別と、動画の再生時間軸上での物体の検知時間とを特定し、複数のマーカのマーカ通過時刻とその現場での位置と、物体の検知時刻と、物体の現場での位置と、時刻及び複数のマーカのマーカ通過時刻と位置と、物体の検知時刻と位置とを一覧表示した検知結果リストをユーザ端末に表示し、加工動画をユーザ端末上で再生して表示する。
【選択図】図２

【特許請求の範囲】

【請求項1】

現場において移動経路に沿って設置された複数のマーカを順次に通過するよう移動しつつ、それに搭載されたカメラで前記現場の動画を撮影する移動体を用いて、ユーザが前記現場を監視することを助ける現場監視システムであって、
前記移動体の前記カメラにより撮影された前記動画を受信する動画受信手段と、
前記移動体の前記カメラが前記動画を撮影している時間中の少なくとも一つの特定時点の時刻情報を受信する撮影時刻受信手段と、
前記移動体が前記複数のマーカの各々を通過した時点のマーカ通過時刻と各マーカの識別情報とを含むマーカ通過データを受信するマーカ通過データ受信手段と、
前記現場内の前記移動経路上の少なくとも一つの特定地点の位置情報を含む経路データを取得する経路データ取得手段と、
前記受信された動画中から１以上の物体を検知し、検知された前記１以上の物体の各々の種別と、前記動画の再生時間軸上での各物体の検知時点の時間情報とを特定し、さらに、前記動画中の前記１以上の物体をユーザが視覚的に認識できるように前記動画を加工して加工動画を作成する検知手段と、
前記撮影時刻受信手段に受信された前記特定時点の時刻情報と、前記マーカ通過データ受信手段により受信された前記複数のマーカの各々の前記マーカ通過データと、前記経路データ取得手段により取得された前記経路データと、前記検知手段により特定された前記１以上の物体の各々の種別と時間情報とを用いて、前記複数のマーカの前記マーカ通過時刻と、前記複数のマーカの前記現場での位置と、前記１以上の物体の前記検知時点の撮影時刻に相当する検知時刻と、前記１以上の物体の前記現場での位置とを特定する時刻及び位置特定手段と、
前記時刻及び位置特定手段により特定された前記複数のマーカの前記マーカ通過時刻と前記位置と、前記１以上の物体の前記検知時刻と前記位置とを一覧表示した検知結果リストをユーザ端末に表示する検知結果リスト表示手段と、
前記検知手段より作成された前記加工動画を前記ユーザ端末上で再生して表示する動画表示手段と、
を備えた現場監視システム。

【請求項2】

前記ユーザ端末に表示された前記検知結果リストでは、前記複数のマーカの前記マーカ通過時刻と前記位置をそれぞれ表示した複数の行と、前記１以上の物体の前記検知時刻と前記位置とをそれぞれ表示した１以上の行とが、前記マーカ通過時刻と前記検知時刻の順序に従った順序で並べられる、
請求項１記載の現場監視システム。

【請求項3】

前記ユーザ端末に表示された前記検知結果リスト上で、前記ユーザが前記複数のマーカと前記１以上の物体のうちの任意の一つを選択でき、
前記検知結果リスト上で前記ユーザにより一つのマーカ又は物体が選択された時、前記動画表示手段が、選択された一つのマーカの前記マーカ通過時刻又は選択された一つの物体の前記検知時刻に対応する前記加工動画の再生時間軸上の位置から、前記ユーザ端末上で前記加工動画の再生を開始する、
請求項１記載の現場監視システム。

【請求項4】

前記時刻及び位置特定手段により特定される前記複数のマーカと前記１以上の物体のそれぞれの位置は、前記現場内の基準地点に対する前記複数のマーカと前記１以上の物体のそれぞれの相対位置である、
請求項１記載の現場監視システム。

【請求項5】

前記基準地点に対する前記複数のマーカと前記１以上の物体のそれぞれの相対位置は、前記複数のマーカと前記１以上の物体のそれぞれの前記基準地点から測った距離である、
請求項４記載の現場監視システム。

【請求項6】

前記複数のマーカと前記１以上の物体のそれぞれの前記基準地点から測った距離は、前記移動経路上の前記特定地点と前記基準地点との間の距離に、前記移動経路に沿って測った前記特定地点から前記複数のマーカと前記１以上の物体のそれぞれまでの距離を加えた値である、
請求項４記載の現場監視システム。

【請求項7】

前記現場はトンネルであり、
前記基準地点は前記トンネルの一つの入口であり、
前記特定地点は前記移動体の出発地点である、
請求項５記載の現場監視システム。

【請求項8】

前記検知結果リスト表示手段と動画表示手段が、前記検知結果リストと前記加工動画とを並べて配置した一つの現場表示画面を、前記ユーザ端末上に表示する、
請求項１～７のいずれか一項記載の現場監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、現場監視システムに関する。

【背景技術】

【0002】

無人飛行体により、現場を監視することが知られている（例えば、特許文献１）。特許文献１では、ドローンが、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等のＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）からの電波によって自己位置を特定し、巡回点検計画に沿った三次元の飛行ルート（移動経路）を自律飛行（自律移動）する自立移動手段を備え、所定のルートＲを飛行しながら複数の機器を巡回し、例えば各機器に設置されたセンサ（センサ表示画面）を撮影することを開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１９／１７６７１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、例えば、信号が遮断される等の理由によりＧＮＳＳ等の衛星測位システムなどのグローバル測位が機能しない現場においては、無人飛行体による監視がしにくいという課題がある。

【0005】

本発明は、衛星測位システムが機能しない現場であっても、簡易に無人飛行体での監視ができる現場監視システムを提供することにある。

【課題を解決するための手段】

【0006】

一実施形態に従う現場監視システムは、現場において移動経路に沿って設置された複数のマーカを順次に通過するよう移動しつつ、それに搭載されたカメラで現場の動画を撮影する移動体を用いて、現場を監視するための現場表示画面をユーザ端末に提供する現場監視システムであって、移動体のカメラにより撮影された動画を受信する動画受信手段と、移動体のカメラが動画を撮影している時間中の少なくとも一つの特定時点の時刻情報を受信する撮影時刻受信手段と、移動体が複数のマーカの各々を通過した時点のマーカ通過時刻と各マーカの識別情報とを含むマーカ通過データを受信するマーカ通過データ受信手段と、現場内の移動経路上の少なくとも一つの特定地点の位置情報を含む経路データを取得する経路データ取得手段と、受信された動画中から１以上の物体を検知し、検知された１以上の物体の各々の種別と、動画の再生時間軸上での各物体の検知時点の時間情報とを特定し、さらに、動画中の１以上の物体をユーザが視覚的に認識できるように動画を加工して加工動画を作成する検知手段と、撮影時刻受信手段に受信された特定時点の時刻情報と、マーカ通過データ受信手段により受信された複数のマーカの各々のマーカ通過データと、経路データ取得手段により取得された経路データと、検知手段により特定された１以上の物体の各々の種別と時間情報とを用いて、複数のマーカのマーカ通過時刻と、複数のマーカの現場での位置と、１以上の物体の検知時点の撮影時刻に相当する検知時刻と、１以上の物体の現場での位置とを特定する時刻及び位置特定手段と、時刻及び位置特定手段により特定された複数のマーカのマーカ通過時刻と位置と、１以上の物体の検知時刻と位置とを一覧表示した検知結果リストをユーザ端末に表示する検知結果リスト表示手段と、検知手段より作成された加工動画をユーザ端末上で再生して表示する動画表示手段と、を備える。

【0007】

一実施形態によれば、ユーザ端末に表示された検知結果リストでは、複数のマーカのマーカ通過時刻と位置をそれぞれ表示した複数の行と、１以上の物体の検知時刻と位置とをそれぞれ表示した１以上の行とが、マーカ通過時刻と検知時刻の順序に従った順序で並べられる。

【0008】

一実施形態によれば、ユーザ端末に表示された検知結果リスト上で、ユーザが複数のマーカと１以上の物体のうちの任意の一つを選択でき、検知結果リスト上でユーザにより一つのマーカ又は物体が選択された時、動画表示手段が、選択された一つのマーカのマーカ通過時刻又は選択された一つの物体の検知時刻に対応する加工動画の再生時間軸上の位置から、ユーザ端末上で加工動画の再生を開始する。

【0009】

一実施形態によれば、時刻及び位置特定手段により特定される複数のマーカと１以上の物体のそれぞれの位置は、現場内の基準地点に対する複数のマーカと１以上の物体のそれぞれの相対位置である。

【0010】

一実施形態によれば、基準地点に対する複数のマーカと１以上の物体のそれぞれの相対位置は、複数のマーカと１以上の物体のそれぞれの基準地点から測った距離である。

【0011】

一実施形態によれば、複数のマーカと１以上の物体のそれぞれの基準地点から測った距離は、移動経路上の特定地点と基準地点との間の距離に、移動経路に沿って測った特定地点から複数のマーカと１以上の物体のそれぞれまでの距離を加えた値である。

【0012】

一実施形態によれば、現場はトンネルであり、基準地点はトンネルの一つの入口であり、特定地点は移動体の出発地点である。

【0013】

一実施形態によれば、検知結果リスト表示手段と動画表示手段が、検知結果リストと加工動画とを並べて配置した一つの現場表示画面を、ユーザ端末上に表示する。

【図面の簡単な説明】

【0014】

【図1】本発明にかかる現場監視システムの一実施形態と、それと関連して動作する周辺システムの全体的なハードウェア構成を示す図

【図2】現場の構成（トンネル工事現場の監視の例）を示す図

【図3】現場監視サーバの機能構成図。

【図4】ユーザ端末に表示される現場表示画面の例を示す図

【図5】飛行運用部の制御の流れを示す図

【図6】マーカ通過履歴の例を示す図

【図7】物体検知部の制御の流れ

【図8】物体検知履歴の例を示す図

【図9】検知時間変換部の制御の流れ

【図10】マーカ時間変換部の制御の流れを示す図

【図11】距離算出部の制御の流れを示す図

【図12】飛行履歴の例を示す図

【図13】現場表示部の制御の流れを示す図

【発明を実施するための形態】

【0015】

以下、本実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0016】

なお、実施形態を説明する図において、同一の機能を有する箇所には同一の符号を付し、その繰り返しの説明は省略する。

【0017】

また、以下の説明では、情報の一例として単に「ｘｘｘ」または「ｘｘｘリスト」といった表現を用いる場合があるが、情報のデータ構造はどのようなものでもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ｘｘｘ」「ｘｘｘリスト」を「ｘｘｘデータ」または「ｘｘｘテーブル」と言うことができる。そして、以下の説明において、各情報の構成は一例であり、情報を分割して保持したり、結合して保持したりしても良い。

【0018】

なお、以下の説明では、「プログラム（例えば、〇〇部）」を主語として処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Central Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／または通信インターフェースデバイス（例えばポート）を用いながら行うため、処理の主語がプログラムとされても良い。プログラムを主語として説明された処理は、プロセッサ或いはそのプロセッサを有する計算機が行う処理としても良い。

【0019】

図１は、本実施形態にかかる現場監視システムと、それと関連して動作する周辺システムの全体的なハードウェア構成を示す図である。なお、本図では参照符号を下線付き番号にて記載している。

【0020】

現場監視サーバ１は、各種情報処理が可能な装置、一例としてコンピュータ等の情報処理装置である。現場監視サーバ１は、プロセッサ（ＣＰＵ）１０、メモリ１１、通信インターフェース（通信Ｉ／Ｆ）１２及びストレージ１３等を有するコンピュータシステムである。

【0021】

プロセッサは、一例としてＣＰＵ（Central Processing Unit）１０を図示しているが、例えば、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等であってもよい。メモリ１１は、例えばＨＤＤ（Hard Disk Drive）などの磁気記憶媒体、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）などの半導体記憶媒体等を有する。また、ＤＶＤ（Digital Versatile Disk）等の光ディスク及び光ディスクドライブの組み合わせも記憶部として用いられる。その他、磁気テープメディアなどの公知の記憶媒体もメモリ１１として用いられる。

【0022】

メモリ１１は、ＣＰＵ１０により、作業領域として利用され得る。現場監視サーバ１の動作開始時（例えば電源投入時）にＣＰＵ１０がプログラムをこのメモリ１１から読み出して実行する。また、メモリ１１には、プログラム以外にも、現場監視サーバ１の各処理に必要なデータ等も格納されていてよく、ストレージ１３内のデータ１４及びプログラム１５をメモリに記憶することもできる。

【0023】

ストレージ１３には、各種の履歴や動画など、本実施形態の現場監視サーバ１による作業の際に必要となるデータ１４と、後述する各種機能を実施するためのプログラム１５が記憶されている。データ１４及びプログラム１５の詳細については、後述する。

【0024】

なお、本実施形態の現場監視サーバ１は、複数の情報処理装置が通信ネットワークを介して通信可能に構成された、いわゆるクラウドにより構成されてもよい。

【0025】

現場監視サーバ１は、通信インターフェース１２を通じて、遠隔の１台以上のユーザ端末２５と通信することができる。

【0026】

ユーザ端末２５は、インターネットなどの通信ネットワークを介してまたはダイレクトに現場監視サーバに接続され得る。ユーザ端末２５は、例えばパーソナルコンピュータ、スマートフォン、タブレット端末などであってよく、入力部及び表示部等を備えており、現場監視サーバ１による作業に必要なデータや作業指示を入力し、現場監視サーバ１が作成した動画や履歴等を画面に表示する。

【0027】

また、現場監視サーバ１は、通信インターフェース１２を通じて、監視対象としての現場２に存在する１台以上の無人飛行体（本例ではドローン）２３と無線で通信することができる。

【0028】

現場２は、監視対象の空間領域であり、ユーザが任意に選ぶことができ、そして、例えば、トンネル工事現場や建造物内部のようにグローバル測位が利用できない領域であってよい。現場２では、例えば、エリアコーディネータ２１と、ドローン（無人移動体、例えば無人飛行体）２３が用いられる。なお、現場２は、通常、現場監視サーバ１の遠隔に存在することが想定されるが、これに限られない。

【0029】

エリアコーディネータ２１は、ドローン２３と現場監視サーバ１との通信を中継するためのコンピュータシステムである。すなわち、エリアコーディネータ２１は、ドローン２３及び現場監視サーバ１とそれぞれ通信できる。エリアコーディネータ２１は、プロセッサ、メモリ、通信インターフェース、ストレージ等を有する（図示なし）。エリアコーディネータ２１は、現場監視サーバ１からの指示等を受信し、ドローン２３を制御し、また、ドローン２３が取得した各種データや撮影した動画等を、現場監視サーバ１に送信する。

【0030】

なお、以下では、データ１４及びプログラム１５がストレージ１３に記憶されているものとして説明するが、これらはメモリ１１内に記憶されていてもよいし、外部のストレージやクラウド上に記憶されていてもよい。

【0031】

図２は、本実施形態にかかる現場２の構成例を示す図である。なお、本実施形態では、現場２の一例として、トンネル工事現場の例を示すが、これに限定するものではない。

【0032】

図２に示す現場２の例では、トンネルＴ、地面Ｇ、検知すべき物体Ｏ、離陸位置ＳＰ、着陸位置ＥＰ、ドローン２３、複数のマーカＭＰを示している。また、離陸位置ＳＰと着陸位置ＥＰとの間には、点線でドローン２３の飛行経路ＦＲが示されている。なお、飛行経路ＦＲは、ユーザがユーザ端末２５から現場監視サーバ１にアクセスすることで、現場監視サーバ１上で飛行計画の形式で自由に設計し得る。

【0033】

ユーザは、所望の飛行経路ＦＲに沿った任意の複数の個所に、マーカＭＰをそれぞれ配置する。図示例では、マーカＭＰは、飛行経路ＦＲに沿ったトンネルＴの壁上の複数個所に配置されている。マーカＭＰは、図示例のように、離陸位置ＳＰと着陸位置ＥＰにも設けてもよい。また、離陸位置ＳＰと着陸位置ＥＰにはマーカＭＰを設けなくてもよい。

【0034】

各マーカＭＰは、固有の識別符号（例えば、番号）が、ドローン２３が自動的に読み取り可能な態様で記述されている。例えば、マーカは、カメラで認識可能なＡｒＵｃｏマーカ等の二次元コードであるが、固有の識別符号をドローンのカメラが読み取り可能であればよく、これに限られない。

【0035】

ユーザは、例えば、ユーザ端末２５から現場監視サーバ１に接続して、現場監視サーバ１を利用して、飛行計画を作成することができる。

【0036】

飛行計画には、飛行経路ＦＲが例えば次のように定義される。すなわち、飛行計画では、例えば、離陸位置ＳＰと着陸位置ＥＰが、例えばトンネル入口ＴＥからのそれぞれの地点までの距離などの形式で、定義され、さらに、飛行経路ＦＲ内の離陸位置ＳＰから最初のマーカＭＰまでの区間、各マーカＭＰから次のマーカＭＰまでの区間、最後のマーカＭＰから着陸位置ＥＰまでの区間等の、それぞれの区間をドローン２３がどのように移動（飛行）するかを定義した指示（ドローン２３に対する移動（飛行）指示）が含まれている。指示には、例えば、ドローン２３の飛行高度やトンネルＴの壁からの距離等、様々な制御データが含まれてよい。

【0037】

ドローン２３は、ドローン２３のもつメモリ（図示なし）に飛行計画を記憶し、その飛行計画に従って自律的に飛行することができる。ドローン２３に飛行計画を提供する方法としては、例えば、ドローン２３が現場監視サーバ１からエリアコーディネータ２１を介して飛行計画を受信する方法、あるいは、ユーザ端末２５が現場監視サーバ１から飛行計画を受信してドローン２３に提供する方法などがあり得る。

【0038】

ドローン２３は、マーカＭＰを認識するためのマーカカメラ（図示なし）と、現場の動画を撮影するための現場カメラ（図示なし）と、１以上の測位センサ（図示なし）を有する。マーカカメラは、例えば２次元バーコードを読み取り可能なカメラであってよい。測位センサは、例えば、ドローン（自身）が飛行計画の指示に従った位置（例えば、トンネル壁からの距離や地面からの高度）を飛行しているか検知するためのセンサである。具体的には、測位センサは、例えば、地面からの距離つまり高度を測る高度センサと、トンネル壁面からの距離を測る壁距離センサ等の各種センサであってよく、これらの機能を組み合わせたセンサであってもよい。

【0039】

ドローン２３の飛行は例えば次のようになされる。ユーザは、現場の着陸位置にドローン２３を配置して、ドローン２３を起動する。起動されたドローン２３は、離陸時にマーカカメラによる撮影を開始して、着陸するまで、マーカＭＰが存在し得る空間領域（例えば、トンネル壁）を撮影することで、各マーカＭＰを発見していく。ドローン２３は、離陸位置ＳＰから最初のマーカＭＰまで、その後に発見した各マーカＭＰから次のマーカＭＰまで、そして、最後のマーカＭＰから着陸位置ＥＰまで、飛行計画の指示に従って、測位センサのセンシング結果を使って飛行する。ドローン２３は、この動作を離陸位置から着陸位置まで実行し、その結果、ドローン２３は、上記飛行経路ＦＲに沿って自律的に飛行する。

【0040】

ドローン２３は、飛行中、各マーカＭＰを通過する都度、そのマーカＭＰの識別符号（マーカ番号）とそのマーカＭＰを通過した時刻（以下、マーカ通過時刻という、これは、飛行する地域の標準時、例えば日本国内なら日本標準時の時刻で示される）を取得して、それをメモリ１１に記録する。また、ドローン２３は、通過した各マーカＭＰの識別符号とマーカ通過時刻を、飛行中リアルタイムでまたは飛行後にまとめて、エリアコーディネータ２１を介して現場監視サーバ１へ無線で送信する。

【0041】

また、ドローン２３は、離陸時に現場カメラを起動して、着陸するまで、その現場カメラで現場の監視すべき空間領域を撮影し続け、撮影された動画をメモリ１１に記録する。また、ドローン２３は、現場カメラにより撮影された動画を、飛行中リアルタイムでまたは飛行後にまとめて、エリアコーディネータ２１を介して現場監視サーバ１へ無線で送信する。

【0042】

図３は、本実施形態にかかる現場監視サーバ１の機能構成図であり、現場監視サーバ１の機能的な要素と、これら要素間のデータの流れを示している。なお、本図では参照符号を下線付き番号にて記載している。

【0043】

各機能は、例えば、図１に示されたストレージ１３等に記憶されたプログラム１５をプロセッサ（ＣＰＵ１０）が呼び出し、実行することにより実現される。

【0044】

図３を参照して、現場監視サーバ１は、機能的な要素として、飛行運用部３１０、モデル作成部３１１、物体検知部３１２、検知時間変換部３１３、現場表示部３１４、マーカ時間変換部３１５、及び、距離算出部３１６を備える。

【0045】

また、本図では、これら機能の間でやり取りされるデータとして、元動画３２０、物体検知履歴３２１、加工動画３２２、飛行履歴３２３、マーカ通過履歴３２４、飛行計画３２５、及び、経路データ３３０を示している。これらのデータは、各機能により作成、更新、編集、削除等が行われてよく、現場監視サーバ１内のメモリ１１またはストレージ１３内に保存される。なお、データは、外部ストレージやクラウド等、現場監視サーバ１の外に保存されていてもよいし、機能とドローン２３またはユーザ端末２５との間にて、直接データの授受がおこなわれてもよい。以下では、機能間にてデータの授受（送受信）を行うと説明する場合があるが、データは、送信側の機能によりメモリ１１、ストレージ１３または外部に（一時的に）保存され、受信側の機能により取得されてよい。

【0046】

飛行運用部３１０は、例えば、ドローン２３（現場にいるドローン２３との通信はエリアコーディネータ２１を介して行われる。以下同じ）、ユーザ端末２５、物体検知部３１２、マーカ時間変換部３１５、検知時間変換部３１３、距離算出部３１６等と各種データの授受を行う。飛行運用部３１０は、飛行計画３２５を作成し、保存する。具体的には、例えば、飛行運用部３１０は、ユーザ端末２５から来るユーザの指示に従い飛行計画３２５を作成する。飛行計画３２５は、例えば、飛行経路ＦＲを定義した経路データや、ドローン２３に対する飛行制御指示などの制御データを含む。飛行運用部３１０は、飛行計画３２５をドローン２３に提供するために、飛行計画３２５をドローン２３またはユーザ端末２５等に送信することができる。

【0047】

また、飛行運用部３１０は、例えば、各ドローン２３から、そのドローン２３がそれぞれのマーカＭＰを通過した情報（以下、マーカ通過情報といい、例えば、マーカＭＰの識別番号とマーカ通過時刻を含む）と、撮影された現場の動画（元動画３２０）を受信する。

【0048】

また、飛行運用部３１０は、ドローン２３から受信したマーカ通過情報を基にして、マーカ通過履歴３２４を作成し、保存する。マーカ通過履歴３２４には、ドローン２３の飛行計画に従った１回の飛行における、離陸時刻、それぞれのマーカＭＰの識別番号とマーカ通過時刻、及び、着陸時刻が記録される。

【0049】

モデル作成部３１１は、例えば、撮影された現場の動画（元動画３２０）からユーザ所望の物体を検知するためプログラム（以下、検知モデルといい、例えば、所定物体の検知方法を学習し終わったニューラルネットワークモデルである）を作成する。検知される物体は、ユーザがユーザ端末２５から任意に設定でき、例えばトンネル工事現場の監視であれば、例えば、トンネル内の水漏れ箇所、トンネル内に配置された各種機器やパイロン等であり得る。

【0050】

物体検知部３１２は、モデル作成部３１１により作成された検知モデルを用いて、ドローン２３により撮影された現場の動画（元動画３２０）中から、所定の物体を検知して、その検知結果を表した物体検知履歴３２１を作成する。また、物体検知部３１２は、元動画３２０か内の何処に検知された各物体が映っているかを動画再生時にユーザが視覚的に認識できるようにするために、元動画３２０のその物体が映っている領域に、所定の加工を加える。この加工は、例えば、検知された物体が映っている画像領域を所定色で塗りつぶす、検知された物体が映っている画像領域に輪郭線または囲み枠線を付ける、あるいは、その画像領域を指し示す矢印のようなマークを付ける、等であり得る。元動画３２０にこのような加工が加えられた後の動画を、以下、加工動画３２２という。物体検知部３１２は、加工動画３２２を保存する。

【0051】

また、物体検知部３１２は、元動画３２０から検知された物体の種別と、物体が検知された経過時間を特定し、これらのデータを記録した物体検知履歴を３２１作成する。ここで、上記の経過時間とは、加工動画３２２元動画３２０の再生開始時点（これは、加工動画３２２の再生開始時点でもある）からその物体が検知された時点までの動画再生の経過時間、つまり、動画開始時点を時刻ゼロとした場合のその物体が検知された時刻である。

【0052】

検知時間変換部３１３は、マーカ通過履歴３２４及び物体検知履歴３２１を取得し、マーカ通過履歴３２４に記録されている離陸時刻（これは加工動画３２２の再生開示時刻でもある）を用いて、物体検知履歴３２１に記録されている各検知物体の経過時間を、標準時刻（つまり、各物体が検知された時点の標準時による時刻であり、以下、検知時刻という）に変換し、そして、変換された各検知物体の検知時刻を、後述する飛行履歴３２３に記録する。

【0053】

マーカ時間変換部３１５は、マーカ通過履歴３２４を取得し、マーカ通過履歴３２４に記録されている各マーカのマーカ通過時刻（標準時刻）を、元動画３２０の再生開始時点からの動画再生の経過時間に変換し、そして、各経過時間を飛行履歴３２３に記録する。

【0054】

距離算出部３１６は、現場２内の所定の基準地点（例えば、トンネル入口）から測った、各検知物体までの距離と各マーカまでの距離とを算出する。具体的には、距離算出部３１６は、例えば、飛行履歴３２３、マーカ通過履歴３２４、及び、飛行経路の経路データ３３０（離陸位置と着陸位置、例えば、離陸地点の基準地点（トンネル入口）からの距離と、着陸地点の基準地点（トンネル入口からの距離）を取得し、マーカ通過履歴３２４内の各マーカのマーカ通過時刻及びマーカ識別番号と、飛行履歴３２３内の各検知物体の検知時刻と、経路データ（離陸位置、着陸位置（または離陸位置から着陸位置までの距離））とから、基準地点から各マーカ及び各検知物体までの距離を算出する。距離算出部３１６は、算出した距離を飛行履歴３２３に記録する。ここで、基準地点は、ユーザが任意の設定することができ、例えば、トンネルの入口または出口、あるいは、ドローンの離陸位置または着陸位置であっていいが、本実施形態では一例として、基準地点をトンネル入口としている。

【0055】

現場表示部３１４は、例えば、飛行履歴３２３と加工動画３２２とに基づく現場表示画面を、ユーザ端末２５に提供する。

【0056】

図４は、ユーザ端末２５に表示される現場表示画面４の一例である。

【0057】

現場表示画面４には、例えば、ユーザが選択した加工動画３２２のファイル名を示す動画ファイル４１と、その加工動画３２２を再生したものである検知結果動画４２と、飛行履歴３２３に基づく検知結果リスト４３とが表示される。

【0058】

検知結果リスト４３には、例えば、各検知物体及び各マーカ（以下、この説明では対象物という。）の種類（またはマーカ識別番号）、各対象物の検知（または通過）時刻、基準地点から各対象物までの距離、各対象物が検知または通過された時点から加工動画を再生するためのジャンプボタン等が表示される。具体的には、検知結果リスト４３は、例えば、物体検知またはマーカ通過の時刻４３１と、（トンネル）入口からの距離４３２と、検知物またはマーカ番号４３３と、ジャンプボタン４３４等の表示項目を有する。検知結果リスト４３には、時刻順で、検知物やマーカのデータが並べられる。

【0059】

物体検知またはマーカ通過の時刻４３１は、各対象物が検知または通過された時刻を示す。入口からの距離４３２は、トンネル入口から各対象物までの距離を示す。検知物またはマーカ番号４３３は、各対象物の物体種別またはマーカ番号（識別番号）を示す。各対象物のジャンプボタン４３４は、それをユーザクリックすると、検知結果動画４２上で再生表示される加工動画３２２のシーンが、各対象物の検知時点または通過時点のシーンへジャンプする。

【0060】

検知結果動画４２には、加工動画３２２が再生されて表示される。図４に示された例では、再生シーン内の検知された物体（例えば発動機）４２１の領域に枠線４２２が付加されており、それにより、ユーザは、その検知物体４２１が現場２の何処に存在するかを視覚的に容易に認識できる。また、検知結果動画４２に付属して、再生シーンの標準時による日時４２３が表示され、これにより、ユーザが、再生シーンが何時の状況を示しているかを知ることができる。

【0061】

上記の通り、検知結果動画４２を見ることで、ユーザは、現場において、何時、何処に、何が存在していたかを容易に認識することができる。

【0062】

また、検知結果リスト４３では、それぞれの検知物体とマーカの検知（通過）時刻と基準地点からの距離とが、時刻の順序で表示されるので、これを見てユーザは、マーカの位置を参考にして各検知物体と現場内での位置を容易に把握できる。例えば、図４の例では、マーカ１とマーカ２との間に発動機が存在することが分かるが、ユーザはマーカ１とマーカ２を自ら設置したわけであるから、マーカ１，２の現場内での位置を容易に想起でき、その間の発動機があるという事から、発動機が現場のどの辺に在るかを容易に理解できる。

【0063】

さらに、検知結果リスト４３では、そのシーンへジャンプボタン４３４を用いることにより、検知または通過した対象物と、その対象物が撮影されたシーンのリンクが紐づいているので、ユーザは、対象物が映しだされたシーンをすぐに見ることができ、より一層容易に、検知物体の場所を把握でき得る。

【0064】

図５は、飛行運用部３１０の制御の流れを示す図である。

【0065】

飛行運用部３１０は、ユーザ端末２５から飛行計画の作成が要求されたか否かを判定する（ステップＳ５０）。飛行計画の作成が要求されたとき（ステップＳ５０で、ＹＥＳ）、飛行運用部３１０は、ユーザ端末２５からの指示に従い、飛行計画を作成し、保存する（ステップＳ５１）。次いで、飛行運用部３１０は、飛行計画に基づく経路データ３３０を距離算出部３１６に提供し（ステップＳ５３）、処理を終了する。

【0066】

また、飛行運用部３１０は、ユーザ端末２５またはドローン２３から飛行計画の送信が要求されたか否かを判断する（ステップＳ５２）。飛行計画の送信が要求された場合には（ステップＳ５２で、ＹＥＳ）、飛行運用部３１０は、飛行計画を要求元であるユーザ端末２５またはドローン２３に送信し（ステップＳ５４）、処理を終了する。

【0067】

また、飛行運用部３１０は動画を受信したか否かを判定する（ステップＳ５５）。動画を受信した場合（ステップＳ５５で、ＹＥＳ）、飛行運用部３１０は、動画を保存し（ステップＳ５６）、処理を終了する。

【0068】

また、飛行運用部３１０は、ドローン２３からのマーカ通過データを受信したか否かを判定する（ステップＳ５７）。ここで、ドローン２３から受信されるマーカ通過データには、ドローン２３の飛行を実施したユーザのユーザＩＤ、その飛行でも用いた飛行計画の識別子である飛行計画番号、その飛行の識別子である飛行番号（これに代えてまたは加えて、その飛行で撮影された現場動画（元動画）のファイル名が含まれてもよい）、通過したマーカの識別子であるマーカ番号、マーカ通過時刻などが含まれる。マーカ通過データは、ドローン２３からエリアコーディネータ２１を経由して、またはユーザ端末２５を経由して、受信されてよい。

【0069】

マーカ通過データを受信した場合（ステップＳ５７で、ＹＥＳ）、飛行運用部３１０は、マーカ通過データをマーカ通過履歴３２４に記録し、保存する（ステップＳ５８）。

【0070】

図６は、マーカ通過履歴３２４の例を示す。

【0071】

マーカ通過履歴３２４は、上記の通り、飛行運用部３１０により飛行毎にマーカ通過データに基づき作成される。

【0072】

マーカ通過履歴３２４には、例えば、その飛行を実施したユーザのユーザＩＤ６１、その飛行で使用された飛行計画の飛行計画番号６２、その飛行の飛行番号６３、通過した各マーカのマーカ番号６４とマーカ通過時刻などが記録される。マーカ通過履歴には、その飛行の離陸位置と着陸位置についても、マーカ番号６４と同様の項目が記録される。なお、現場の離陸位置及び着陸位置にもマーカを配置した場合は、離陸位置と着陸位置は、飛行経路の途中のマーカとまったく同様に扱うことができる。

【0073】

図７は、物体検知部３１２の制御の流れを示す。

【0074】

物体検知部３１２は、飛行毎に、その飛行で撮影された元動画３２０の中から検知すべき物体が写っているフレームを特定し、特定されたフレーム内のその物体の画像の領域と、その物体の種別を特定する（ステップＳ７１）。なお、元動画３２０には、前述したマーカ通過データと同様に、ユーザＩＤ、飛行計画番号、飛行番号等のデータ項目も付属されている。

【0075】

物体検知部３１２は、動画内の特定されたフレームに、それぞれ、特定された物体画像の領域を明示する加工を加え、加工後の動画を加工動画として記録する（ステップＳ７２）。ここで、物体画像の領域を明示する加工とは、例えば、その領域内を特定色で塗りつぶす、その領域を囲む輪郭線または枠線を書き加える、あるいは、その領域を指し示す矢印のような図形を書き加える等であってよい。要するに加工動画をユーザが再生したときに、検知された物体が画像中のどこにあるかをユーザが視覚的に容易に認識できるように、元動画３２０を加工することである。

【0076】

物体検知部３１２は、特定されたフレームの経過時間と、物体の種別を物体検知履歴３２１に記録し、処理を終了する。

【0077】

図８は、物体検知履歴３２１の例を示す。

【0078】

物体検知履歴３２１は、上述したように、飛行運用部３１０より作成される。

【0079】

物体検知履歴３２１には、例えば、飛行毎に、その飛行を実行したユーザのユーザＩＤ８１、使用された飛行計画の飛行計画番号８２、その飛行の飛行番号８３、各検知物体の種別を示す検知物８４、各検知物体の経過時間を表す経過時間８５等が記録される。ここで、各検知時物体の経過時間とは、前述したように、動画の再生開始時点（撮影開始時点、つまり、ドローンの離陸時点）から、その動画内でその物体が検知された時点までの動画再生時間である。従って、再生開始時点の時刻（標準時刻）に、各物体の経過時間を加えれば、その物体の検知時刻（標準時刻）が得られる。

【0080】

図９は、検知時間変換部３１３の制御の流れを示す。

【0081】

検知時間変換部３１３は、例えば、物体検知履歴３２１及びマーカ通過履歴３２４に基づき、取得した物体検知履歴３２１内の各検知物８４における経過時間８５に、マーカ通過履歴３２４内のドローンが離陸した時刻（マーカ番号６４「離陸」における通過時刻６５、つまり、動画の再生開始時点の時刻）を加算して、各検知物の検知時刻を算出する（ステップＳ９１）。これにより、各検知物体の検知時刻（標準時刻）が算出される。

【0082】

検知時間変換部３１３は、例えば、各検知物の物体検知履歴３２１内のデータ（例えば、ユーザＩＤ８１、飛行計画番号８２、飛行番号８３、検知物８４、経過時間８５）と、Ｓ９１で算出した各検知物体の検知時刻とを、飛行履歴３２３に記録し（ステップＳ９２）、処理を終了する。

【0083】

図１０は、マーカ時間変換部３１５の制御の流れを示す。

【0084】

マーカ時間変換部３１５は、マーカ通過履歴３２４に基づき、マーカ通過履歴３２４内の各マーカのマーカ通過時刻（マーカ番号６４の各番号に対応する通過時刻６５）から、ドローンが離陸した時刻（マーカ番号６４「離陸」に対応する通過時刻６５）を減算して、各マーカの経過時間を算出する（ステップＳ１０１）。各マーカの経過時間とは、前述のように、動画の開始時点から各マーカの通過時点までの動作再生時間である。

【0085】

マーカ時間変換部３１５は、各マーカのマーカ通過履歴３２４内のデータ（例えば、ユーザＩＤ６１、飛行計画番号６２、飛行番号６３、マーカ番号６４、通過時刻６５）と、ステップＳ１０１で算出した経過時間とを、飛行履歴３２３に記録し（ステップＳ１０２）、処理を終了する。

【0086】

図１１は、距離算出部３１６の制御の流れを示す図である。

【0087】

距離算出部３１６は、経路データ３３０の着陸位置（例えば、着陸地点のトンネル入口からの距離）から離陸位置（例えば、離陸地点のトンネル入口からの距離）を減算して、飛行距離を算出する（ステップＳ１１１）。

【0088】

距離算出部３１６は、マーカ通過履歴３２４内の着陸時刻から離陸時刻を減算して、飛行時間を算出する（ステップＳ１１２）。

【0089】

距離算出部３１６は、ステップＳ１１で算出された飛行距離を、ステップＳ１１２で算出された飛行時間で徐算して、平均速度を算出する（ステップＳ１１３）。

【0090】

距離算出部３１６は、飛行履歴３２３内の各検知物体の経過時間と各マーカの経過時間の各々に、ステップＳ１１３で算出された平均速度を乗算して、各検知物体及び各マーカの離陸位置からの距離を算出する（ステップＳ１１４）。

【0091】

距離算出部３１６は、ステップＳ１１４で算出された各検知物体及び各マーカの離陸位置からの距離に、離陸位置（例えば、着陸地点のトンネル入口からの距離）を加算して、各検知物及び各マーカの基準地点（例えば、トンネル入口）からの距離を算出する（ステップS１１５）。

【0092】

距離算出部３１６は、ステップＳ１１４、１１５で算出された各検知物及び各マーカの離陸位置からの距離と、基準地点からの距離とを、飛行履歴３２３に記録し（ステップＳ１１６）、処理を終了する。

【0093】

図１２は、飛行履歴３２３の例を示す。なお、本図では参照符号の一部を下線付き番号にて記載している。

【0094】

飛行履歴３２３は、検知時間変換部３１３、マーカ時間変換部３１５、及び、距離算出部３１６等により作成される。飛行履歴３２３には、飛行毎に、着陸位置（例えば、基準地点となるトンネル入口からの距離）１２１１、着陸位置（例えば、基準地点となるトンネル入口からの距離）１２１２、飛行距離１２１３、飛行時間１２１４、及び、平均速度１２１５と、その飛行を行ったユーザのユーザＩＤ１２１６、飛行計画番号１２１７、飛行番号１２１８、各マーカの番号を示すマーカ番号１２１９、各検知物体の種別を示す検知物１２２０、各検知物体及び各マーカの経過時間１２２１、各検知物体及び各マーカの検知／通過時刻１２２２、各検知物体及び各マーカの離陸位置からの距離１２２３、及び、各検知物体及び各マーカの入口からの距離１２２４等の項目のデータが記録される。

【0095】

飛行履歴が作成されることで、飛行毎のデータと、各飛行における検知物及びマーカ毎のデータが取得される。

【0096】

図１３は、現場表示部３１４の制御の流れを示す。

【0097】

現場表示部３１４は、飛行履歴３２３から、全てのマーカ番号１２１９と検知物１２２０に関する、検知／通過時刻１２２２のデータと、基準地点であるトンネル入口からの距離のデータと読み出し、これらデータを時刻順に、現場表示画面４（図４参照）内の検知結果リスト４３に表示する（ステップＳ１３１）。

【0098】

現場表示部３１４は、現場表示画面４内の検知結果リスト４３内のジャンプボタン４３４欄のいずれかの「Ｊｕｍｐ」ボタンがクリックされたか否かを判定する（ステップＳ１３２）。「Ｊｕｍｐ」ボタンがクリックされたときは（ステップＳ１３２で、ＹＥＳ）、現場表示部３１４は、クリックされた「Ｊｕｍｐ」ボタンに対応する検知物またはマーカの経過時間の時点から、加工動画を再生して現場表示画面４内の検知結果動画４２に表示する（ステップＳ１３３）。一方、「Ｊｕｍｐ」ボタンがクリックされなかったときには（ステップＳ１３２で、ＮＯ）、現場表示部１３４は、ステップＳ１３５へ処理を進める。

【0099】

また、現場表示部３１４は、加工動画を再生して検知結果動画４２に表示している間、加工動画の再生位置を標準時刻表記の日時に変換して、その標準時刻表記の日時４２３を検知結果動画４２に表示する（ステップＳ１３４）。

【0100】

現場表示部３１４は、ユーザにより動画の再生制御（一時停止、早送り、逆送り、再生再開など）が要求されたか否かを判定する（ステップＳ１３５）。動画の再生制御が要求されたときは（ステップＳ１３５で、ＹＥＳ）、現場表示部３１４は、ユーザの要求に応じて動画再生を制御する（ステップＳ１３６）。

【0101】

一方、動画の再生制御の要求がされなかったときには（ステップＳ１３５で、ＮＯ）、現場表示部３１４は、ユーザにより表示終了を要求されたか否かを判定する（ステップＳ１３７）。表示終了を要求されたときには(ステップＳ１３７で、ＹＥＳ)、現場表示部３１４は、処理を終了する。

【0102】

一方、表示終了が要求されなかったときには（ステップＳ１３７で、ＮＯ）、現場表示部３１４は、ステップＳ１３２へ処理を戻す（Ａ）。

【0103】

上記の現場表示部３１４により、検知結果リスト４３には、検知物体及びマーカが、検知されたまたは通過された時刻順に表示される。これにより、ユーザは、それぞれの検知物がどのマーカとどのマーカの間に在るかが容易に把握することができる。特に、マーカはユーザが任意に配置し得るものであるから、ユーザは、自己が記憶している現場でのマーカの配置に基づいて、検知物体が現場内のどの場所辺りにあるかを、即座に理解しやすい。これに加えて、検知物体及びマーカの基準地点からの距離も、検知結果リスト４３に表示される。この距離も参考にすれば、ユーザは、よりいっそう正確に検知物体の現場での位置を把握しやすい。

【0104】

また、検知結果リスト４３には、検知物体及びマーカが、検知されたまたは通過した時刻（標準時刻）が表示され、検知結果動画４２にも、再生位置の標準時刻が表示される。このため、ユーザは、検知結果動画４２で見える状況が、何時の状態であったのかを把握しやすい。

【0105】

このようにユーザが関心の対象となる現場で、物体（検知物）及びマーカの位置と、ドローンにより撮影された動画にてこれら物体及びマーカが撮影された標準時刻が容易に把握できる。これにより、ユーザが、適切に現場を把握し適時に対処するのに役立つ。

【0106】

上述の実施形態は本発明の説明のための一つの例示にすぎない。本発明は、それ以外の様々な態様で実施できる。

【0107】

例えば、上述の実施形態では、ドローン２３が離陸してから着陸までの飛行経路ＦＲ全体の平均速度を用いて行っていたがこれに限られない。別法として、例えば、各マーカの位置（例えばトンネル入り口からの距離）を前もって設定してサーバに記憶しておき、各マーカの位置と、各マーカと次のマーカとの間の区間の平均速度を用いて計算するようにしてよい。これにより、より正確な距離計算ができる。

【0108】

また、上述の実施形態は、トンネルを現場とした例を用いて説明したが、これは一つの例示であり、トンネル以外の施設や地域を現場とする場合にも本発明は適用できる。

【0109】

また、上述の実施形態では、トンネルの延びる方向に沿ってドローンが飛行して、その方向に沿った距離つまり一次元的な指標で、物体（検知物）の位置を示したがこれに限られない。別法として、例えば、マーカの平面的（二次元的）な位置、または、これに高度情報を含めた立体的（３次元的）な位置をサーバに記憶しておき、記憶されたマーカの二次元的または三次元的な位置と、各マーカと次のマーカ間の飛行時間と速度を利用して、検知物の位置を二次元的または三次元的な指標で示すようにしても良い。

【0110】

また、上述の実施形態では、ドローンは空中を飛ぶ飛行体であるが、それに限らず、固体や液体の表面を走行するものであっても、液体中を潜行するものなどであっても、現場に応じて適宜に選択されてよい。

【符号の説明】

【0111】

１…現場監視サーバ ２…現場 ４…現場表示画面 ５… １０…ＣＰＵ １１…メモリ １２…通信インターフェース １３…ストレージ １４…データ １５…プログラム ２１…エリアコーディネータ ２３…ドローン ２５…ユーザ端末 ３１０…飛行運用部 ３１１…モデル作成部 ３１２…物体検知部 ３１３…検知時間変換部 ３１４…現場表示部 ３１５…マーカ時間変換部 ３１６…距離算出部 ３２１…物体検知履歴 ３２２…加工動画 ３２３…飛行履歴 ３２４…マーカ通過履歴 ３２５…飛行計画 ３３０…経路データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】