特開 2021-171232 無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-171232(P2021-171232A)

(43)【公開日】2021年11月1日

(54)【発明の名称】無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置

(51)【国際特許分類】

   A63H 18/02 20060101AFI20211004BHJP

   A63F 9/14 20060101ALI20211004BHJP

   A63B 71/06 20060101ALI20211004BHJP

【ＦＩ】

   A63H18/02 D

   A63F9/14 B

   A63B71/06 E

   A63B71/06 N

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

【全頁数】28

(21)【出願番号】特願2020-76210(P2020-76210)

(22)【出願日】2020年4月22日

(71)【出願人】

【識別番号】520143339

【氏名又は名称】株式会社スパイシードローンキッチン

(74)【代理人】

【識別番号】100088580

【弁理士】

【氏名又は名称】秋山 敦

(74)【代理人】

【識別番号】100195453

【弁理士】

【氏名又は名称】福士 智恵子

(74)【代理人】

【識別番号】100205501

【弁理士】

【氏名又は名称】角渕 由英

(72)【発明者】

【氏名】清宮 俊久

(72)【発明者】

【氏名】松留 貴文

【テーマコード（参考）】

2C150

【Ｆターム（参考）】

2C150CA08

2C150DA06

2C150DK02

(57)【要約】

【課題】無人移動体レースにあたって、高いエンターテイメント性を提供可能な無人移動体を用いた映像処理システムを提供する。
【解決手段】映像処理システムＳの映像処理装置２０は、無人移動体１が撮影した映像を示す映像データを取得する映像データ取得部と、映像データが示す映像を表示する画面表示部と、当該映像内において識別マークが存在することを検出するマーク検出部と、検出された識別マークが設けられた無人移動体１が、いずれの無人移動体であるかを識別する移動体識別部と、を有している。第１の無人移動体によって撮影された映像内において所定の識別マークを検出し、当該識別マークが設けられた無人移動体が第２の無人移動体であることを識別したときに、画面表示部は、第１の無人移動体によって撮影された映像を表示するとともに、第２の無人移動体に関する情報を映像上の対象位置に表示する。
【選択図】図７

【特許請求の範囲】

【請求項1】

撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と、
該無人移動体と無線通信によって接続され、前記無人移動体が撮影した映像を処理する映像処理装置と、を備えた映像処理システムであって、
前記映像処理装置は、
前記無人移動体が撮影した映像を示す映像データを取得する映像データ取得部と、
取得した前記映像データが示す映像を表示画面上に表示する画面表示部と、
取得した前記映像データが示す映像内において検出対象となる識別マークが存在することを検出するマーク検出部と、
前記識別マークが検出されたときに、検出された前記識別マークが設けられた前記無人移動体が、いずれの無人移動体であるかを識別する移動体識別部と、を有し、
第１の無人移動体によって撮影された映像内において所定の識別マークを検出し、該所定の識別マークが設けられた無人移動体が第２の無人移動体であることを識別したときに、
前記画面表示部は、
前記第１の無人移動体によって撮影された映像を表示するとともに、
前記第２の無人移動体に関する情報を前記映像上の対象位置に表示することを特徴とする無人移動体を用いた映像処理システム。

【請求項2】

前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、
前記マーク検出部は、取得した前記映像データが示す映像内において検出対象となる第２識別マークが存在することを検出し、
前記映像処理装置は、前記映像内において前記第２識別マークが検出されたときに、検出された前記第２識別マークが設けられた通過ゲートを前記無人移動体が通過したものと判定するゲート通過判定部をさらに有し、
前記マーク検出部が、前記第１の無人移動体によって撮影された映像内において、所定の通過ゲートに設けられた前記第２識別マークが存在することを検出したときに、
前記画面表示部は、前記映像を表示するとともに、前記第１の無人移動体が前記所定の通過ゲートを通過したものと判定した判定結果に基づく内容を表示することを特徴とする請求項１に記載の無人移動体を用いた映像処理システム。

【請求項3】

前記無人移動体は、
該無人移動体の前方位置又は中央位置に取り付けられ、前記無人移動体からの一人称視点による一人称映像を撮影する第１撮影装置と、
前記無人移動体の後方位置又は前記無人移動体の本体よりも後方位置に取り付けられ、前記無人移動体自身の映像を含む三人称視点による三人称映像を撮影する第２撮影装置と、を搭載しており、
前記画面表示部は、ユーザー操作による選択を受け付けて、前記無人移動体によって撮影された前記一人称映像と前記三人称映像とを切り替えて表示することを特徴とする請求項１又は２に記載の無人移動体を用いた映像処理システム。

【請求項4】

前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、
前記コース上の所定位置に設置され、前記コースを移動する前記無人移動体を撮影する複数の外部撮影装置をさらに備え、
前記映像データ取得部は、前記外部撮影装置が撮影した映像を示す映像データを取得し、
前記画面表示部は、ユーザー操作による選択を受け付けて、複数の前記無人移動体、複数の前記外部撮影装置によって撮影されたそれぞれの前記映像を切り替えて表示することを特徴とする請求項１乃至３のいずれか１項に記載の無人移動体を用いた映像処理システム。

【請求項5】

前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、
前記映像処理装置は、
前記映像内において前記識別マークが所定の条件で検出されたときに、検出された前記識別マークが設けられた無人移動体が遠隔操作不能になったものと判定する操作不能判定部と、
遠隔操作不能と判定した場合に、前記無人移動体を遠隔操作不能状態から復帰させるために、前記無人移動体に向けた所定の対応を行う操作不能対応部と、をさらに有していることを特徴とする請求項１乃至４のいずれか１項に記載の無人移動体を用いた映像処理システム。

【請求項6】

前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、
前記映像処理装置は、複数の前記無人移動体を所定の条件でコース移動させるために、複数の前記無人移動体に向けた所定の対応制御を行う移動体制御部をさらに有し、
該移動体制御部は、複数の前記無人移動体を所定のタイミングで移動開始させるために、複数の前記無人移動体の移動動作を制御することを特徴とする請求項1乃至５のいずれか１項に記載の無人移動体を用いた映像処理システム。

【請求項7】

前記無人移動体は、
操作端末によって遠隔操作され、予め定められたコースを移動し、
前記無人移動体の前面及び後面にそれぞれ設けられ、前記無人移動体に対して対象物が接触したことを検出する検出センサをさらに有し、
前記映像処理装置は、複数の前記無人移動体を所定の条件でコース移動させるために、複数の前記無人移動体に向けた所定の対応制御を行う移動体制御部をさらに有し、
該移動体制御部は、所定の無人移動体から前記検出センサの検出信号を受信したときに、前記所定の無人移動体の移動動作を所定時間、制限又は停止する制御を行うことを特徴とする請求項１乃至６のいずれか１項に記載の無人移動体を用いた映像処理システム。

【請求項8】

撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と無線通信によって接続されたコンピュータが、前記無人移動体が撮影した映像を処理する映像処理方法であって、
前記コンピュータが、
前記無人移動体が撮影した映像を示す映像データを取得する映像データ取得工程と、
取得した前記映像データが示す映像を表示画面上に表示する第１画面表示工程と、
取得した前記映像データが示す映像内において検出対象となる識別マークが存在することを検出するマーク検出工程と、
前記識別マークが検出されたときに、検出された前記識別マークが設けられた前記無人移動体が、いずれの無人移動体であるかを識別する移動体識別工程と、を実行し、
前記マーク検出工程において、第１の無人移動体によって撮影された映像内において所定の識別マークを検出し、前記移動体識別工程において、前記所定の識別マークが設けられた無人移動体が第２の無人移動体であることを識別したときに、
前記第１の無人移動体によって撮影された映像を表示するとともに、前記第２の無人移動体に関する情報を前記映像上の対象位置に表示する第２画面表示工程をさらに実行することを特徴とする無人移動体を用いた映像処理方法。

【請求項9】

撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と無線通信によって接続され、前記無人移動体が撮影した映像を処理する映像処理装置であって、
前記無人移動体が撮影した映像を示す映像データを取得する映像データ取得部と、
取得した前記映像データが示す映像を表示画面上に表示する画面表示部と、
取得した前記映像データが示す映像内において検出対象となる識別マークが存在することを検出するマーク検出部と、
前記識別マークが検出されたときに、検出された前記識別マークが設けられた前記無人移動体が、いずれの無人移動体であるかを識別する移動体識別部と、を有し、
第１の無人移動体によって撮影された映像内において所定の識別マークを検出し、該所定の識別マークが設けられた無人移動体が第２の無人移動体であることを識別したときに、
前記画面表示部は、前記第１の無人移動体によって撮影された映像上の対象位置に、前記第２の無人移動体に関する情報を重ねて表示することを特徴とする無人移動体を用いた映像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置に係り、特に、撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置に関する。

【背景技術】

【0002】

近年、リチウムイオン電池の普及や、微小電気機械システム（ＭＥＭＳ：Ｍｉｃｒо Ｅｌｅｃｔｒо Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）、ジャイロスコープ及び加速度センサ等の電子機器の小型化、低価格化に伴って、遠隔操作が容易な無人移動体（例えば、ドローン）が市販されるようになっている。そして、無人移動体の操作技量を競うためのレースが国内外の各地で開催されており、新モータースポーツとして、また身近なエンターテイメントとして注目されている。

【0003】

無人移動体レース（例えば、ドローンレース）では、操縦者がヘッドマウントディスプレイを着用し、ドローンの前方に搭載された撮影装置から送信されるリアルタイム映像を見ながら遠隔操作することができ、閲覧者は大型ディスプレイ上で当該リアルタイム映像を観戦することができる。
また、無人移動体レースでは、各無人移動体のラップタイムを計測し、計測したラップタイムを大型ディスプレイ上に表示することで競技性を高める演出がなされている（例えば、特許文献１に記載のラジオコントロールカーのラップタイム測定装置や、特許文献２に記載の自転車競技のタイム計測システム等がある）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−１１８８７８号公報

【特許文献2】特開２００２−１０９５９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、上記のような無人移動体レースの運営にあたっては、操縦者及び閲覧者が、無人移動体に搭載された撮影装置から送信されるリアルタイム映像を観賞できるところ、より高いエンターテイメント性が期待されており、より臨場感あふれる演出態様が期待されていた。
詳しく述べると、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅaｌｉｔｙ）の技術によって、リアル映像に仮想的な視覚情報を重ねて表示できるところ、当該拡張現実をラジオコントロール（ＲＣ：Ｒａｄｉｏ Ｃｏｎｔｒｏｌ）の技術とさらに組み合わせることで、現実世界と仮想世界を融合させた新しい体験を提供する無人移動体レースの演出態様が期待されていた。
こうした演出態様は、試験運用が始まった第５世代移動通信システム（５Ｇ）による大容量・低遅延通信技術の登場に伴って、より高精細なレベルで実現されることも期待されていた。

【0006】

そのほか、無人移動体レースにおける演出態様に特に限定されることなく、撮影装置を搭載した無人移動体を複数用いた新規の映像処理システムとしてビジネスに応用させることも求められていた。

【0007】

本発明は、上記の課題に鑑みてなされたものであり、本発明の目的は、撮影装置を搭載した無人移動体を複数用いた新規の映像処理システム、映像処理方法及び映像処理装置を提供することにある。
また、本発明の他の目的は、無人移動体レースの運営にあたって、より高いエンターテイメント性を提供することが可能な無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置を提供することにある。
また、本発明の他の目的は、現実世界と仮想世界を融合させた新しい体験を提供することが可能な無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置を提供することにある。

【課題を解決するための手段】

【0008】

前記課題は、本発明の無人移動体を用いた映像処理システムによれば、撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と、該無人移動体と無線通信によって接続され、前記無人移動体が撮影した映像を処理する映像処理装置と、を備えた映像処理システムであって、前記映像処理装置は、前記無人移動体が撮影した映像を示す映像データを取得する映像データ取得部と、取得した前記映像データが示す映像を表示画面上に表示する画面表示部と、取得した前記映像データが示す映像内において検出対象となる識別マークが存在することを検出するマーク検出部と、前記識別マークが検出されたときに、検出された前記識別マークが設けられた前記無人移動体が、いずれの無人移動体であるかを識別する移動体識別部と、を有し、第１の無人移動体によって撮影された映像内において所定の識別マークを検出し、該所定の識別マークが設けられた無人移動体が第２の無人移動体であることを識別したときに、前記画面表示部は、前記第１の無人移動体によって撮影された映像を表示するとともに、前記第２の無人移動体に関する情報を前記映像上の対象位置に表示すること、により解決される。
上記構成により、無人移動体レースの運営にあたって、より高いエンターテイメント性を提供することが可能な無人移動体を用いた映像処理システムを実現することができる。
詳しく述べると、各無人移動体に設けられた識別マークを利用することで、映像処理装置が、第１の無人移動体によって撮影された映像を表示するとともに、第２の無人移動体に関する情報を映像上の対象位置に表示（拡張表示）することができる。そのため、無人移動体レースの運営にあたって、操縦者及び閲覧者に現実世界と仮想世界を融合させた新しい体験を提供することができる。

【0009】

このとき、前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、前記マーク検出部は、取得した前記映像データが示す映像内において検出対象となる第２識別マークが存在することを検出し、前記映像処理装置は、前記映像内において前記第２識別マークが検出されたときに、検出された前記第２識別マークが設けられた通過ゲートを前記無人移動体が通過したものと判定するゲート通過判定部をさらに有し、前記マーク検出部が、前記第１の無人移動体によって撮影された映像内において、所定の通過ゲートに設けられた前記第２識別マークが存在することを検出したときに、前記画面表示部は、前記映像を表示するとともに、前記第１の無人移動体が前記所定の通過ゲートを通過したものと判定した判定結果に基づく内容を表示すると良い。
上記構成により、第２識別マークを利用して無人移動体が通過ゲートを通過したか否かを判定することで、無人移動体の位置を精度良く検出し、所定位置を通過したタイミングを精度良く計測することができる。
また、無人移動体レースの運営にあたって、よりエンターテイメント性を高めるべく、無人移動体が通過ゲートを通過したものと判定した判定結果に基づく内容を表示画面上に表示することで、臨場感あふれる演出態様が可能となる。

【0010】

このとき、前記無人移動体は、該無人移動体の前方位置又は中央位置に取り付けられ、前記無人移動体からの一人称視点による一人称映像を撮影する第１撮影装置と、前記無人移動体の後方位置又は前記無人移動体の本体よりも後方位置に取り付けられ、前記無人移動体自身の映像を含む三人称視点による三人称映像を撮影する第２撮影装置と、を搭載しており、前記画面表示部は、ユーザー操作による選択を受け付けて、前記無人移動体によって撮影された前記一人称映像と前記三人称映像とを切り替えて表示すると良い。
上記構成により、無人移動体レース中に操縦者（閲覧者）が一人称映像と三人称映像を切り替えて確認できるため、無人移動体レースの運営にあたって、より高いエンターテイメント性、臨場感あふれる演出態様を提供することができる。

【0011】

このとき、前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、前記コース上の所定位置に設置され、前記コースを移動する前記無人移動体を撮影する複数の外部撮影装置をさらに備え、前記映像データ取得部は、前記外部撮影装置が撮影した映像を示す映像データを取得し、前記画面表示部は、ユーザー操作による選択を受け付けて、複数の前記無人移動体、複数の前記外部撮影装置によって撮影されたそれぞれの前記映像を切り替えて表示すると良い。
上記構成により、無人移動体レース中に、操縦者が無人移動体によって撮影された映像を確認するほか、コース上にある所定の外部撮影装置によって撮影された映像を確認することもできる。また、閲覧者は、複数の無人移動体の中から自分が閲覧したい無人移動体を選択し、選択した無人移動体によって撮影された映像を閲覧することができる。

【0012】

このとき、前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、前記映像処理装置は、前記映像内において前記識別マークが所定の条件で検出されたときに、検出された前記識別マークが設けられた無人移動体が遠隔操作不能になったものと判定する操作不能判定部と、遠隔操作不能と判定した場合に、前記無人移動体を遠隔操作不能状態から復帰させるために、前記無人移動体に向けた所定の対応を行う操作不能対応部と、をさらに有していると良い。
上記構成により、無人移動体レース中に所定の無人移動体にトラブルが発生し、当該無人移動体が遠隔操作不能となった場合に、当該無人移動体に対してトラブルサポートを提供することができる。具体的なトラブルサポートとしては、無人移動体レースの運営者に向けてトラブルが発生した旨のユーザー報知を行うことや、待機中のドローンをトラブル発生地点まで向かわせて、当該無人移動体を救出、回収させるように制御することが考えられる。

【0013】

このとき、前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、前記映像処理装置は、複数の前記無人移動体を所定の条件でコース移動させるために、複数の前記無人移動体に向けた所定の対応制御を行う移動体制御部をさらに有し、該移動体制御部は、複数の前記無人移動体を所定のタイミングで移動開始させるために、複数の前記無人移動体の移動動作を制御すると良い。
上記構成により、無人移動体レースの運営を円滑に行うべく、必要に応じて複数の無人移動体の移動動作を制御することができる。
例えば、無人移動体レースのスタート時には、各無人移動体が所定のスタートポジションに辿り着くまで、各無人移動体の移動動作をサポート制御し、グリーンシグナルが点灯するまで各無人移動体の駆動ユニットを動作させないように制御することができる。

【0014】

このとき、前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、前記無人移動体の前面及び後面にそれぞれ設けられ、前記無人移動体に対して対象物が接触したことを検出する検出センサをさらに有し、前記映像処理装置は、複数の前記無人移動体を所定の条件でコース移動させるために、複数の前記無人移動体に向けた所定の対応制御を行う移動体制御部をさらに有し、該移動体制御部は、所定の無人移動体から前記検出センサの検出信号を受信したときに、前記所定の無人移動体の移動動作を所定時間、制限又は停止する制御を行うと良い。
上記構成により、無人移動体レース中に、所定の無人移動体同士が接触した場合、所定の無人移動体がコースサイドに接触した場合等に、当該無人移動体に対しペナルティを課すことができる。具体的なペナルティとしては、所定の時間が経過するまで無人移動体の移動動作を制限（減速）又は停止させること（ペナルティストップ）、ラップタイムに別途タイム加算すること（タイムペナルティ）等が考えられる。
また、無人移動体が接触したときの衝撃の度合いによって、ペナルティの内容を変更することも考えられる。
そうすることで、無人移動体レースの運営にあたって、より高いエンターテイメント性、臨場感あふれる演出態様を提供することができる。

【0015】

また前記課題は、撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と無線通信によって接続されたコンピュータが、前記無人移動体が撮影した映像を処理する映像処理方法であって、前記コンピュータが、前記無人移動体が撮影した映像を示す映像データを取得する映像データ取得工程と、取得した前記映像データが示す映像を表示画面上に表示する第１画面表示工程と、取得した前記映像データが示す映像内において検出対象となる識別マークが存在することを検出するマーク検出工程と、前記識別マークが検出されたときに、検出された前記識別マークが設けられた前記無人移動体が、いずれの無人移動体であるかを識別する移動体識別工程と、を実行し、前記マーク検出工程において、第１の無人移動体によって撮影された映像内において所定の識別マークを検出し、前記移動体識別工程において、前記所定の識別マークが設けられた無人移動体が第２の無人移動体であることを識別したときに、前記第１の無人移動体によって撮影された映像を表示するとともに、前記第２の無人移動体に関する情報を前記映像上の対象位置に表示する第２画面表示工程をさらに実行することを特徴とする無人移動体を用いた映像処理方法によっても解決される。

【0016】

また前記課題は、撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と無線通信によって接続され、前記無人移動体が撮影した映像を処理する映像処理装置であって、前記無人移動体が撮影した映像を示す映像データを取得する映像データ取得部と、取得した前記映像データが示す映像を表示画面上に表示する画面表示部と、取得した前記映像データが示す映像内において検出対象となる識別マークが存在することを検出するマーク検出部と、前記識別マークが検出されたときに、検出された前記識別マークが設けられた前記無人移動体が、いずれの無人移動体であるかを識別する移動体識別部と、を有し、第１の無人移動体によって撮影された映像内において所定の識別マークを検出し、該所定の識別マークが設けられた無人移動体が第２の無人移動体であることを識別したときに、前記画面表示部は、前記第１の無人移動体によって撮影された映像上の対象位置に、前記第２の無人移動体に関する情報を重ねて表示することを特徴とする無人移動体を用いた映像処理装置によっても解決される。

【発明の効果】

【0017】

本発明によれば、撮影装置を搭載した無人移動体を複数用いた新規の映像処理システム、映像処理方法及び映像処理装置を実現することができる。
また、無人移動体レースの運営にあたって、より高いエンターテイメント性を提供することが可能となる。
また、現実世界と仮想世界を融合させた新しい体験を提供することが可能となる。

【図面の簡単な説明】

【0018】

【図1】本実施形態の映像処理システム全体の構成図である。

【図2】無人移動体、操作端末、モニターの構成図である。

【図3】無人移動体に取り付けられた撮影装置、識別マーク及び検出センサの位置を示す図である。

【図4A】識別マーク付きの通過ゲートを示す図である。

【図4B】識別マーク付きの通過ゲートの変形例１を示す図である。

【図4C】識別マーク付きの通過ゲートの変形例２を示す図である。

【図5】映像処理装置のハード構成図である。

【図6】映像処理装置のソフト構成図である。

【図7】画面表示部によって表示される表示画面を示す図である。

【図8A】一人称視点（ＦＰＶ）による表示画面を示す図である。

【図8B】三人称視点（ＴＰＶ）による表示画面を示す図である。

【図8C】俯瞰視点（ＢＥＶ）による表示画面を示す図である。

【図9】コースマップ全体が表示された切り替え表示画面を示す図である。

【図10】図７の表示画面においてモニター画面が表示された状態を示す図である。

【図11】図９の表示画面において広告が表示された状態を示す図である。

【図12】図７の表示画面においてゴースト映像が表示された状態を示す図である。

【図13】本実施形態の映像処理方法の一例を示す処理フロー図である。

【発明を実施するための形態】

【0019】

以下、本発明に係る実施形態について図１−図１３を参照して説明する。
本実施形態は、撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と、無人移動体と無線通信によって接続され、撮影装置が撮影した映像を処理する映像処理装置と、を備えた映像処理システムであって、映像処理装置は、無人移動体が撮影した映像を示す映像データを取得する映像データ取得部と、取得した映像データが示す映像を表示画面上に表示する画面表示部と、取得した映像データが示す映像内において検出対象となる識別マークが存在することを検出するマーク検出部と、識別マークが検出されたときに、検出された識別マークが設けられた無人移動体が、いずれの無人移動体であるかを識別する移動体識別部と、を有し、第１の無人移動体によって撮影された映像内において所定の識別マークを検出し、当該所定の識別マークが設けられた無人移動体が第２の無人移動体であることを識別したときに、画面表示部は、第１の無人移動体によって撮影された映像を表示するとともに、第２の無人移動体に関する情報を映像上の対象位置に表示することを主な特徴とする発明に関するものである。

【0020】

本実施形態の映像処理システムＳ全体の構成を図１−図４Ａに示す。
映像処理システムＳは、無人移動体レースを運営するためのシステムであって、撮影装置１ａを搭載し、外部の映像を撮影しながら飛行する無人移動体１と、無人移動体１と無線通信によってそれぞれ接続され、無人移動体１を遠隔操作するための操作端末１０と、撮影装置１ａが撮影した外部映像を処理して表示画面上に表示する映像処理装置２０と、映像処理装置２０とそれぞれ接続され、操縦者向けの表示画面となるモニター３０と、閲覧者向けの表示画面となるディスプレイ４０及び携帯端末５０と、無人移動体レースのコース上において間隔を空けて設置される外部撮影装置６０及び通過ゲート７０と、から主に構成されている。
なお、無人移動体レース中に所定の無人移動体１が遠隔操作不能となった場合に、当該無人移動体１を救出（回収）させるように制御すべく、救出ドローン８０がコース上の所定位置で待機している。

【0021】

無人移動体１は、図１−図３に示すように、その正面側の外部映像を主に撮影しながら、所定のコース上を走行する小型のラジオコントロールカー（ＲＣカー）であって、操作端末１０及び映像処理装置２０とデータ通信を行うものである。
無人移動体１は、複数用意されており、本システムにおいては、５機の無人移動体１が無人移動体レースに参戦し、予め定められたコースを走行する構成となっている。
なお、利用電波帯の関係によって同時に走行可能な無人移動体の数は制限されるものの、５Ｇの実用化に伴って世界中の操縦者（閲覧者）が参戦可能となり、同時に走行可能な無人移動体の数についても特に制限されることがなくなる。

【0022】

無人移動体１は、撮影装置１ａと、送受信アンテナ１ｂと、移動ユニット１ｃと、駆動ユニット１ｄと、プロセッサー１ｅと、バッテリー１ｆと、識別マーク１ｇと、検出センサ１ｈと、から主に構成されており、それぞれ無人移動体１の本体に取り付けられている。

【0023】

撮影装置１ａ（第１撮影装置１ａａ）は、小型の撮影カメラであって、移動体本体の正面に取り付けられており、その正面側の外部映像を撮影して当該映像を記録する。そして、当該映像を示す映像データを作成するものである。
詳しく述べると、撮影装置１ａは、小型の広角カメラであって、移動体本体の前後左右の外面にそれぞれ取り付けられた第１撮影装置１ａａ、第２撮影装置１ａｂ、第３撮影装置１ａｃ及び第４撮影装置１ａｄを有している。
なお、撮影装置１ａは、広角カメラに特に限定されることなく、例えば３６０度カメラであっても良い。３６０度カメラを採用した場合には、無人移動体１が複数の撮影装置を必ずしも備えていてなくて良い。

【0024】

第１撮影装置１ａａは、無人移動体１の前方位置の上面に取り付けられ、無人移動体１からの一人称視点（ＦＰＶ：Ｆｉｒｓｔ Ｐｅｒｓｏｎ Ｖｉｅｗ）による「一人称映像」を撮影する（図８Ａ参照）。
第２撮影装置１ａｂは、無人移動体１の後方位置に設けられた羽根状のリアウイングの上面に取り付けられている。すなわち、移動体本体よりも後方位置に取り付けられている。そして、第２撮影装置１ａｂは、無人移動体１自身の映像を含む三人称視点（ＴＰＶ：Ｔｈｉｒｄ Ｐｅｒｓｏｎ Ｖｉｅｗ）による「三人称映像」を撮影する（図８Ｂ参照）。
第３撮影装置１ａｃ、第４撮影装置１ａｄは、無人移動体１の左右側方位置の外側面にそれぞれ取り付けられている。
撮影装置１ａは、これら撮影装置１ａａ、１ａｂ、１ａｃ、１ａｄによって撮影された映像を合成することで、俯瞰視点（ＢＥＶ：Ｂｉｒｄ Ｅｙｅ Ｖｉｅｗ）による「俯瞰映像（俯瞰合成映像）」を生成することができる（図８Ｃ参照）。

【0025】

送受信アンテナ１ｂは、移動体本体の上端に取り付けられており、操作端末１０から操作データを受信することや、映像処理装置２０及びモニター３０に向けて撮影した映像データを送信するものである。
移動ユニット１ｃは、移動体本体の四隅の下端に取り付けられた４本の車輪であって、駆動ユニット１ｄから駆動動力を受けて回転することで、また左右に向きを変えることで、無人移動体１を前後左右に移動させるものである。
駆動ユニット１ｄは、移動ユニット１ｃを駆動させるためのモーターであって、移動ユニット１ｃと接続されて取り付けられており、プロセッサー１ｅから受信した駆動命令に基づいて動作するものである。

【0026】

プロセッサー１ｅは、データの演算・制御処理装置としてのＣＰＵと、記憶装置としてのＲＯＭ、ＲＡＭ、及びＨＤＤと、送受信アンテナ１ｂを通じて情報データの送受信を行う通信用インタフェースと、から主に構成されるマイクロプロセッサーであって、移動体本体の内部に取り付けられている。
バッテリー１ｆは、送受信アンテナ１ｂ、駆動ユニット１ｄ及びプロセッサー１ｅに電力を供給するためのリチウムイオン電池であって、移動体本体の下部に取り付けられている。

【0027】

識別マーク１ｇは、２次元バーコードであって、移動体本体の上下前後左右の外面にそれぞれ取り付けられており、複数の無人移動体１のうち、いずれの無人移動体１であるか、また無人移動体１のいずれの位置であるかを識別するための識別データを格納している。
検出センサ１ｈは、無人移動体１に対して対象物が接触したことを検出する接触センサ（圧力センサ）であって、移動体本体の前後左右の外面にそれぞれ取り付けられている。
詳しく述べると、検出センサ１ｈは、無人移動体１のフロントバンパーの前面、リアバンパーの後面、左右のサイドバンパーの外側面にそれぞれ取り付けられている。
検出センサ１ｈによって検出された検出信号は、無人移動体１から映像処理装置２０に向けて発信される。

【0028】

操作端末１０は、図１、図２に示すように、操縦者によって操作されるコントローラであって、無人移動体１毎に設けられ、予め定められたコースを走行するように無人移動体１を無線通信によって遠隔操作するものである。
詳しく述べると、操作端末１０は、操縦者によるユーザー操作の入力を受け付けて、無人移動体１を操作するための操作データを作成し、当該操作データを無人移動体１に向けてデータ送信することができる。
また、操作端末１０は、映像処理装置２０とデータ通信を行い、ユーザー操作の入力を受け付けて、モニター３０の表示画面上に表示された映像を切り替えることができる。

【0029】

映像処理装置２０は、図１−図３に示すように、無人移動体１、操作端末１０、モニター３０、ディスプレイ４０、携帯端末５０、外部撮影装置６０及び救出ドローン８０とデータ通信を行うコンピュータであって、撮影装置１ａ及び外部撮影装置６０が撮影した「リアル映像」に所定の「視覚情報」を重ねた映像（拡張映像）を、モニター３０、ディスプレイ４０及び携帯端末５０上に表示するものである。
詳しく述べると、映像処理装置２０は、図７に示すように、第１の無人移動体１によって撮影されたリアル映像内において、第２の無人移動体１に取り付けられた識別マーク１ｇを検出したときに、第２の無人移動体１に関する個別情報を取得する。そして、第１の無人移動体１によって撮影された「リアル映像」に、第２の無人移動体１に関する個別情報を重ねて表示することができる。
また、映像処理装置２０は、図７に示すように、第１の無人移動体１によって撮影されたリアル映像内において後述の第２識別マーク７０Ａが検出されたときに、当該第２識別マーク７０Ａが取り付けられた通過ゲート７０を通過したものと判定する。そして、上記「リアル映像」に、第１の無人移動体１が当該通過ゲート７０を通過したものと判定した判定結果に基づく内容を同時表示することもできる。

【0030】

モニター３０は、操縦者の頭部に装着されるヘッドマウントディスプレイであって、無人移動体１毎に設けられ、映像処理装置２０とデータ通信を行い、映像処理装置２０によって生成された映像（拡張映像）を表示画面上に表示することができる。
具体的には、図７に示すような表示画面をリアルタイムで表示することができる。
なお、モニター３０は、ヘッドマウントディスプレイに特に限定されることなく、公知なディスプレイ装置を採用することができる。例えば、操作端末１０と一体化されたコックピット型のディスプレイ装置であっても良い。

【0031】

ディスプレイ４０は、映像処理装置２０と接続された大型ディスプレイであって、無人移動体レースを閲覧している閲覧者向けの表示画面として用いられる。
具体的には、ディスプレイ４０上には、図７−図９に示すような表示画面がリアルタイムで表示されることになり、無人移動体レースの臨場感あふれる内容を演出することができる。
携帯端末５０は、映像処理装置２０と接続されたタブレット端末であって、ディスプレイ４０と同様に、閲覧者向けの表示画面として用いられる。
なお、携帯端末５０は、閲覧者毎に利用されるものであって、例えば、複数の無人移動体１の中から自分が閲覧したい無人移動体１を選択し（図９参照）、選択した無人移動体１によって撮影された映像を閲覧することができる。

【0032】

外部撮影装置６０は、レース中の各無人移動体１を撮影するための大型の撮影カメラであって、コース上に所定の間隔を空けて複数設置されている。
外部撮影装置６０は、コース上の所定区画における映像（リアル映像）を撮影して当該映像を記録する。そして、当該映像を示す映像データを作成し、映像処理装置２０に向けてデータ送信するものである。

【0033】

通過ゲート７０は、図４Ａに示すように、無人移動体１が通過するためのゲートであって、コース上に所定の間隔を空けて複数設置されている。
通過ゲート７０は、橋形状からなり、一対のゲート脚部７１と、一対のゲート脚部７１の上方部分を連結するゲート連結部７２とから構成されており、一対のゲート脚部７１とゲート連結部７２とで囲まれた領域が通過領域となっている。
ゲート連結部７２のうち、コースの進行方向においてスタート側に位置する正面には、第２識別マーク７０Ａが所定の間隔を空けながら複数配置されている。

【0034】

第２識別マーク７０Ａは、２次元バーコードであって、コース上に複数設置された通過ゲート７０のうち、いずれの通過ゲート７０であるかを特定するための識別データを格納している。
そのため、映像処理装置２０は、無人移動体１が撮影した映像内において第２識別マーク７０Ａを検出したときに、当該無人移動体１がいずれの通過ゲート７０を通過したのかを特定することができる。

【0035】

なお、通過ゲート７０は、橋形状の通過ゲートに特に限定されることなく変更可能であって、例えば、図４Ｂに示すようにポール形状の通過ゲート１７０であっても良い。
また例えば、図４Ｃに示すようにルーバー付きの通過ゲート２７０であっても良い。
ルーバー２７１付きの通過ゲート２７０を採用すれば、無人移動体１が通過ゲート２７０に近接した位置まで到達したときに、無人移動体１が通過ゲート２７０の第２識別マーク７０Ａを撮影することが可能となる。その結果、映像処理装置２０が、無人移動体１の位置情報をより精度高く検出することができる。

【0036】

＜映像処理装置のハード構成＞
映像処理装置２０は、図５に示すように、データの演算・制御処理装置としてのＣＰＵと、記憶装置としてのＲＯＭ、ＲＡＭ、及びＨＤＤ（ＳＳＤ）と、ホームネットワーク又はインターネットを通じて情報データの送受信を行う通信用インタフェースと、を有するコンピュータである。
また、映像処理装置２０は、所定の書式で表示される文字又は画像の情報を表示する表示装置と、ＣＰＵに所定の指令を入力するときユーザー入力操作される入力装置と、外付けハードディスク等の記憶媒体装置と、文字又は画像の情報を出力する印刷装置と、をさらに有しているほか、表示画面としてのモニター３０、ディスプレイ４０及び携帯端末５０と接続されている。

【0037】

映像処理装置２０のＲＯＭ、ＨＤＤ、及び外部記憶装置には、図６に示すように、コンピュータとして必要な機能を果たすメインプログラムに加えて、映像処理プログラムが記憶されており、これらプログラムがＣＰＵによって実行されることにより、映像処理装置２０の機能が発揮されることになる。

【0038】

＜映像処理装置のソフト構成＞
映像処理装置２０は、図６に示すように、機能面から説明すると、「映像データ」、「個別データ」、「ラップタイムデータ」、「現在位置データ」のほか、各種プログラム及び各種データを記憶しておく記憶部２１と、無人移動体１から「映像データ」を取得する映像データ取得部２２と、取得した「映像データ」が示す映像を処理して表示画面上に表示する画面表示部２３と、取得した「映像データ」が示す映像内において識別マーク１ｇ（第２識別マーク７０Ａ）が存在することを検出するマーク検出部２４と、所定の映像内において識別マーク１ｇが検出されたときに、検出された識別マーク１ｇが設けられた無人移動体１が、いずれの無人移動体１であるかを識別する移動体識別部２５と、を主な構成要素として備えている。
また、映像処理装置２０は、所定の映像内において第２識別マーク７０Ａが検出されたときに、検出された第２識別マーク７０Ａが設けられた通過ゲート７０を無人移動体１が通過したものと判定するゲート通過判定部２６と、当該判定結果から、無人移動体１が所定位置から所定の通過ゲート７０を通過するまでに要した経過時間を算出する算出部２７（経過時間算出部２７ａ）と、当該判定結果から、コース上において無人移動体１の現在位置を算出する現在位置算出部２７ｂと、をさらに備えている。
また、映像処理装置２０は、トラブル処理部２８として、所定の映像内において識別マーク１ｇが所定の条件で検出されたときに、検出された識別マーク１ｇが設けられた無人移動体１が遠隔操作不能になったものと判定する操作不能判定部２８ａと、遠隔操作不能と判定した場合に、無人移動体１を遠隔操作不能状態から復帰させるために、無人移動体１に向けた所定の対応を行う操作不能対応部２８ｂと、をさらに有している。
また、映像処理装置２０は、複数の無人移動体１を所定の条件でコース移動させるために、複数の無人移動体１に向けた所定の対応制御を行う移動体制御部２９をさらに有している。
これらは、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、通信用インタフェース、及び各種プログラム等によって構成されている。

【0039】

なお、無人移動体１についても機能面から説明すると、各種プログラム及び各種データを格納しておく記憶部２と、操作端末１０から「操作データ」を取得する操作データ受信部３と、「映像データ」を映像処理装置２０に向けて送信する映像データ送信部４と、を主な構成要素として備えている。

【0040】

記憶部２１に記憶される「映像データ」は、各無人移動体１及び各外部撮影装置６０が撮影した「リアル映像」を示す動画データであって、無人移動体レース中に各無人移動体１及び各外部撮影装置６０からリアルタイムで送信されるものであって、記憶部２１に一元管理されて記憶されている。
なお、映像データ（動画データ）は、例えば１秒当たりのフレーム画像数が３０枚（３０ＦＰＳ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ））で設定されている。
当該映像データを参照することで、図７に示すように、各無人移動体１が撮影した「リアル映像」を表示させる機能や、各無人移動体１のゲート通過判定機能、ラップタイム・現在位置算出機能、操作不能判定機能等を利用することができる。

【0041】

「個別データ」は、無人移動体レース中の各無人移動体１に関する個別情報を示すデータであって、無人移動体１毎に作成され、記憶部２１に一元管理されて記憶されている。
詳しく述べると、個別データには、各無人移動体１に関する個別情報として、各無人移動体１の操縦者の情報（操縦者の画像、操縦者の名称（Ｐｌａｙｅｒ１−Ｐｌａｙｅｒ４））のほか、レース中に更新される各無人移動体１の最速ラップタイム（ＦＴ：Ｆａｓｔｅｓｔ Ｔｉｍｅ）、レース中における現在順位、自身の無人移動体１とのタイム差（Ｂｅｈｉｎｄ）等の情報が含まれている。
当該個別データを参照することで、図７に示すように、例えば、第１の無人移動体１の「リアル映像」に、第２の無人移動体１の操縦者の情報、最速ラップタイム、タイム差の情報を重ねて表示させる機能を利用することができる。

【0042】

「ラップタイムデータ」は、無人移動体レース中における各無人移動体１のラップタイムを示すデータであって、経過時間算出部２７ａによって無人移動体１毎に作成されるものであって、記憶部２１に一元管理されて記憶されている。
詳しく述べると、ラップタイムデータには、各無人移動体１が所定のスタート位置から所定の通過ゲート７０を通過するまでに要した経過時間（区間ラップタイム）や、スタート位置からコースを１周するまでに要した経過時間（１周目、２周目、３周目のラップタイム）、スタート位置からゴール位置までに要した経過時間（コースを５周するまでに要した総ラップタイム）の情報が含まれているほか、隣り合う通過ゲート７０においてスタート位置側にある通過ゲート７０を通過してから次の通過ゲート７０を通過するまでに要した経過時間（区間ラップタイム）等の情報も含まれている。
当該ラップタイムデータを参照することで、図７に示すように、表示画面上に各無人移動体１の種々のラップタイム、最速のラップタイム（ＦＴ）、各無人移動体１の順位等を表示させる機能を利用することができる。

【0043】

「現在位置データ」は、各無人移動体レースのコース上における各無人移動体１の現在位置を示すデータであって、現在位置算出部２７ｂによって無人移動体１毎に作成されるものであって、記憶部２１に一元管理されて記憶されている。
詳しく述べると、現在位置データには、コース上において各無人移動体１がいずれの通過ゲート７０の位置にいるか（いずれの通過ゲート７０の周辺位置にいるか）を示す位置情報が含まれている。
当該現在位置データを参照することで、図７に示すように、ディスプレイ４０上に各無人移動体１の現在位置（コースマップ上の現在位置）を表示させる機能を利用することができる。

【0044】

映像データ取得部２２は、各無人移動体１及び各外部撮影装置６０から「映像データ」を取得するものであって、取得された映像データは、無人移動体１毎に外部撮影装置６０毎に分類されて記憶部２１に記憶される。

【0045】

画面表示部２３は、具体的な機能部として、映像表示部２３ａと、仮想情報表示部２３ｂと、経過時間表示部２３ｃと、現在位置表示部２３ｄと、を有している。
映像表示部２３ａは、各無人移動体１及び各外部撮影装置６０からそれぞれ取得した「映像データ」が示す映像を、モニター３０、ディスプレイ４０及び携帯端末５０上にリアルタイムで表示するものである。
詳しく述べると、映像表示部２３ａは、ユーザー操作による選択を受け付けて、各無人移動体１、各外部撮影装置６０によって撮影されたそれぞれの「リアル映像」を切り替えて表示することができる。
また、映像表示部２３ａは、ユーザー操作による選択を受け付けて、所定の無人移動体１の第１撮影装置１ａａによって撮影された「一人称映像」と、第３撮影装置１ａｃによって撮影された「三人称映像」と、複数の撮影装置１ａａ−１ａｄによって撮影された映像を合成して得られた「俯瞰映像」とを切り替えて表示することができる。

【0046】

モニター３０上の表示画面として図７の本実施形態を見ると、第１の無人移動体１（Ｐｌａｙｅｒ１の無人移動体）によって撮影された「リアル映像」が表示されている。
また、図７の表示画面の右下部分には、第１の無人移動体１の「一人称映像」に切り替えるための「ＦＰＶ」操作ボタン３１と、「三人称映像」に切り替えるための「ＴＰＶ」操作ボタン３２と、「俯瞰映像」に切り替えるための「ＢＥＶ」操作ボタン３３とが表示されている。
図７の表示画面上において、ユーザー操作による「ＦＰＶ」操作ボタン３１の選択を受け付けることで、図８Ａに示す表示画面へ切り替えることができる。同様にして、ユーザー操作による「ＴＰＶ」操作ボタン３２、「ＢＥＶ」操作ボタン３３の選択を受け付けることで、図８Ｂ、図８Ｃに示す表示画面へ切り替えることができる。

【0047】

仮想情報表示部２３ｂは、第１の無人移動体１によって撮影された「リアル映像」内において第１の無人移動体１の個別情報を重ねて表示するほか、第２の無人移動体１が識別されたときに第２の無人移動体１の個別情報を重ねて表示するものである。
図７の表示画面を見ると、表示画面の上方部分には、第１の無人移動体１の個別情報３４（操縦者の画像、名称、現在順位）が重ねて表示されている。なお、表示画面の左下部分には、第１の無人移動体１のラップ平均スピードの情報も表示されている。
また、図７の表示画面上において第２の無人移動体１（Ｐｌａｙｅｒ２の無人移動体）が表示された対象位置に、第２の無人移動体１の個別情報３５（操縦者の名称、最速ラップタイム（ＦＴ）、タイム差（Ｂｅｈｉｎｄ））が重ねて表示されている。

【0048】

経過時間表示部２３ｃ、現在位置表示部２３ｄは、ゲート通過判定部２６によって各無人移動体１が所定の通過ゲート７０を通過したものと判定された「判定結果に基づく内容」を表示画面上に表示する。
詳しく述べると、経過時間表示部２３ｃは、上記判定結果に基づく内容として、経過時間算出部２７ａによって算出された「各無人移動体１の経過時間に関する内容」を表示画面上にリアルタイムで表示する。
また、現在位置表示部２３ｄは、上記判定結果に基づく内容として、現在位置算出部２７ｂによって算出された「各無人移動体１の現在位置に関する内容」を表示画面上にリアルタイムで表示することができる。
図７の表示画面を見ると、表示画面の左上部分には、「各無人移動体１の経過時間に関する内容」として、各無人移動体１のレース全体情報３６（各無人移動体１の現在順位、操縦者の情報、最速ラップタイム（ＦＴ））が表示されている。
また、図７の表示画面の右上部分には、「各無人移動体１の経過時間に関する内容」として、第１の無人移動体１のレース個別情報３７（コース１周目、コース２周目のラップタイム、現在のラップタイム）が表示されている。
また、図７の表示画面の右上部分には、「各無人移動体１の現在位置に関する内容」として、無人移動体レースのコースマップ３８と、コースマップ３８上をリアルタイムで移動する各無人移動体１の位置表示アイコン３８ａとが表示されている。
なお、コースマップ３８上には、外部撮影装置６０の設置位置に関する内容として、外部撮影装置６０の位置表示アイコン３８ｂも表示されている。

【0049】

また、画面表示部２３は、閲覧者向けの表示画面としてディスプレイ４０及び携帯端末５０上に、コースマップ全体が表示された図９に示す切り替え表示画面を表示することもできる。
図９の表示画面の右側部分には、各無人移動体１（Ｐｌａｙｅｒ１−Ｐｌａｙｅｒ４）の映像に切り替えるための操作ボタン４１と、各外部撮影装置６０（Ｃａｍｅｒａ１−Ｃａｍｅｒａ４）の映像に切り替えるための操作ボタン４２とが表示されている。
また、図９の表示画面の左側部分には、各無人移動体１のレース全体情報４３（各無人移動体１の現在順位、操縦者の情報、最速ラップタイム（ＦＴ））が表示されている。
また、図７の表示画面の中央部分には、無人移動体レースのコースマップ４４と、コースマップ４４上をリアルタイムで移動する各無人移動体１の位置表示アイコン４４ａ、各外部撮影装置６０の位置表示アイコン４４ｂとが表示されている。

【0050】

マーク検出部２４は、取得した「映像データ」が示す映像内において検出対象となる識別マーク１ｇ及び第２識別マーク７０Ａが存在することを検出するものである。
詳しく述べると、マーク検出部２４は、映像データ（動画データ）が１秒当たりのフレーム画像数が３０枚（３０ＦＰＳ）で設定されているところ、当該フレーム画像毎に、フレーム画像内において識別マーク１ｇ及び第２識別マーク７０Ａが存在していることを検出する。

【0051】

移動体識別部２５は、識別マーク１ｇが検出されたときに、検出された識別マークが設けられた無人移動体１が、いずれの無人移動体であるかを識別するものである。
識別マーク１ｇには、いずれの無人移動体１であるかを特定するための識別データが格納されている。そして、当該識別マーク１ｇは、各無人移動体１の上下前後左右にそれぞれ取り付けられている。
そのため、図７に示すように、マーク検出部２４が、第１の無人移動体１によって撮影された映像内において第２の無人移動体１の右側及び後側にある識別マーク１ｇを検出したときに、移動体識別部２５が、第２の無人移動体１が前方斜め左位置を走行していることを識別することができる。言い換えれば、第２の無人移動体１の個別情報を取得するほか、第２の無人移動体１の相対位置情報（第１の無人移動体１との相対距離）を取得することができる。

【0052】

ゲート通過判定部２６は、取得した「映像データ」が示す映像内において第２識別マーク７０Ａが検出され、かつ、当該映像よりも後の映像内において第２識別マーク７０Ａが検出されなくなったときに、検出された第２識別マーク７０Ａが設けられた通過ゲート７０を所定の無人移動体１が通過したものと判定する。
第２識別マーク７０Ａには、いずれの通過ゲート７０であるかを特定するための識別データが格納されている。そして、当該第２識別マーク７０Ａの大きさは予め定められている。
そのため、マーク検出部２４が、所定の無人移動体１によって撮影されたフレーム画像内において所定の第２識別マーク７０Ａを検出したときに、当該無人移動体１がいずれの通過ゲート７０の位置又は周辺位置にいるかを識別することができる。そして、検出された第２識別マーク７０Ａの大きさによって、無人移動体１の位置を精度良く識別することができる。

【0053】

算出部２７は、具体的な機能部として、経過時間算出部２７ａと、現在位置算出部２７ｂとを有している。
経過時間算出部２７ａは、ゲート通過判定部２６による上記判定結果から、所定の無人移動体１が所定のスタート位置から所定の通過ゲート７０を通過するまでに要した経過時間（ラップタイム）を算出する。
詳しく述べると、経過時間算出部２７ａは、当該経過時間（ラップタイム）を算出し、当該経過時間を示す「ラップタイムデータ」を作成する。
「ラップタイムデータ」には、上述した通り、各無人移動体１が所定のスタート位置から所定の通過ゲート７０を通過するまでに要した経過時間（区間ラップタイム）や、スタート位置からコースを１周するまでに要した経過時間（１周目、２周目、３周目のラップタイム）、スタート位置からゴール位置までに要した経過時間（コースを３周するまでに要した総ラップタイム）等の情報が含まれている。

【0054】

現在位置算出部２７ｂは、ゲート通過判定部２６による上記判定結果から、所定の空間内において無人移動体１の現在位置を算出する。
詳しく述べると、現在位置算出部２７ｂは、当該現在位置を算出し、当該現在位置を示す「現在位置データ」を作成する。
「現在位置データ」には、上述した通り、無人移動体レースのコース上において各無人移動体１がいずれの通過ゲート７０の位置にいるか（いずれの通過ゲート７０の周辺位置にいるか）を示す位置情報が含まれている。
なお、現在位置算出部２７ｂが所定の無人移動体１の現在位置を算出するにあたっては、当該レース中における無人移動体１のラップタイム、無人移動体１を操作する操縦者の過去のレースのラップタイム等の情報も参照することで、無人移動体１の現在位置をより精度良く算出することができる。
そのようにして無人移動体１の現在位置を算出することで、図７に示す表示画面において、コースマップ３８上の現在位置表示アイコン３８ａを精度良く移動させながら表示することができる。

【0055】

トラブル処理部２８は、具体的な機能部として、操作不能判定部２８ａと、操作不能対応部２８ｂとを有している。
操作不能判定部２８ａは、取得した「映像データ」が示す映像内において識別マーク１ｇが所定の条件で検出されたときに、検出された識別マーク１ｇが設けられた無人移動体１が遠隔操作不能になったものと判定するものである。
具体的には、操作不能判定部２８ａは、各無人移動体１及び各外部撮影装置６０によって撮影された映像内において識別マーク１ｇが例えば所定の位置かつ所定の向きで検出されたときに、当該識別マーク１ｇが設けられた無人移動体１が遠隔操作不能になったものと判定する。
なお、当該無人移動体１によって撮影される第１映像と、第１映像よりも後の第２映像との差分を検出し、当該差分が所定の閾値以下であって、当該無人移動体１が停止した状態であると判断した場合の判断結果についても参照すると良い。そうすれば、操作不能判定部２８ａによる判定結果の精度がより高まる。

【0056】

操作不能対応部２８ｂは、遠隔操作不能と判定した場合に、無人移動体１を遠隔操作不能状態から復帰させるために、当該無人移動体１に向けた所定の対応を行うものである。
具体的には、操作不能対応部２８ｂは、無人移動体レースの運営者、閲覧者に向けてトラブルが発生した旨のユーザー報知を行い、かつ、待機中の救出ドローン８０をトラブル発生地点まで向かわせて当該無人移動体１を救出、回収させるように制御する。
なお、遠隔操作不能となった無人移動体１の操縦者から、トラブル発生に関するユーザー操作の入力を受け付けて、当該無人移動体１を救出、回収させるように救出ドローン８０を制御することとしても良い。

【0057】

移動体制御部２９は、無人移動体レースに参加した全ての無人移動体１を所定の条件でコース移動させるために、各無人移動体１に向けた所定の対応制御を行うものであって、具体的な機能部として、サポート制御部２９ａと、ペナルティ制御部２９ｂとを有している。
サポート制御部２９ａは、レースのスタート時に全ての無人移動体１を所定のタイミングで移動開始させるために、複数の前記無人移動体の移動動作をサポート制御するものである。
詳しく述べると、サポート制御部２９ａは、各無人移動体１が所定のスタートポジションに辿り着くまで、各無人移動体１の移動動作をサポート制御する。そして、グリーンシグナルが点灯するまで各無人移動体１の駆動ユニット１ｄを動作させないようにサポート制御することができる。
なお、各無人移動体１がゴールした後についても、各無人移動体１の駆動ユニット１ｄを動作させないようにサポート制御しても良い。

【0058】

ペナルティ制御部２９ｂは、所定の無人移動体１から検出センサ１ｈの検出信号を受信したときに、当該無人移動体１の移動動作を所定時間、制限又は停止するペナルティ制御を行うものである。
詳しく述べると、ペナルティ制御部２９ｂは、無人移動体レース中に、所定の無人移動体１同士が接触した場合、あるいは所定の無人移動体１がコースサイドに接触した場合に、当該無人移動体１に対してペナルティ制御を行うことができる。具体的には、所定の時間が経過するまで無人移動体１の移動動作を制限（減速）又は停止させる制御を行うことや（ペナルティストップ）、ラップタイムに別途タイム加算する制御を行う（タイムペナルティ）。
このときに、無人移動体１の前後左右に取り付けられた検出センサ１ｈの位置によって、当該無人移動体１に対して行うペナルティ制御の内容を変更しても良い。
例えば、無人移動体１の前面にある検出センサ１ｈが検出信号を受信したときには（無人移動体１が接触事故を起こしたときには）、重いペナルティを課すように当該無人移動体１の移動動作を制御すると良い。また、無人移動体１の後面にある検出センサ１ｈが検出信号を受信したときには（接触事故を起こされたときには）、軽いペナルティを課すように当該無人移動体１の移動動作を制御すると良い。
なお、無人移動体１が接触したときの衝撃の度合いによって、当該無人移動体１に対して行うペナルティ制御の内容を変更しても良い。

【0059】

そのほか、移動体制御部２９は、具体的な機能部として、音声通信制御部２９ｃと、広告表示制御部２９ｄと、ゴースト表示制御部２９ｅをさらに有していると良い。
音声通信制御部２９ｃは、第１の無人移動体１によって撮影された映像内において第２の無人移動体１の識別マーク１ｇを検出したときに、第１の無人移動体１の操縦者と、第２の無人移動体１の操縦者とが所定時間、音声通信可能となるように制御するものである。
詳しく述べると、操縦者が装着しているモニター３０には、不図示のマイク部（音声発信部）及びレシーバー部（音声受信部）が設けられており、各モニター３０が音声通信可能となるように接続されることになる。
なお、音声通信可能な時間については、相手の無人移動体１の識別マーク１ｇが検出されなくなった後も、所定時間（例えば３０秒程度）継続されると良い。

【0060】

また、音声通信制御部２９ｃが、第１の無人移動体１のモニター３０と、第２の無人移動体１のモニター３０とを音声通信可能に制御しているときに、画面表示部２３が、お互いに相手のモニター画面を表示画面上にポップアップ表示する。
具体的には、図１０に示すように、第１の無人移動体１のモニター３０の表示画面上に、第２の無人移動体の個別情報（操縦者の画像、名称）付きのモニター画面３９がポップアップ表示される。
なお、音声通信制御部２９ｃが、各モニター３０を音声通信可能に制御しているときに、各無人移動体１の操縦者が予め選曲した専用ＢＧＭを相手方に対して発信するように制御しても良い。すなわち、第１の無人移動体１のモニター３０から、第２の無人移動体１の専用ＢＧＭが流れるようにすると良い。
また、検出される識別マーク１ｇの大きさによって、第２の無人移動体１との相対距離を識別することができるため、第１の無人移動体１に対して第２の無人移動体１が近づくにつれて第２の無人移動体１の専用ＢＧＭが大きく流れるようにしても良い。

【0061】

上記構成において、音声通信制御部２９ｃを実行するときには、無人移動体１の後方にある第２撮影装置１ａｂを利用することで、後方から迫ってくる相手の無人移動体１の識別マーク１ｇを検出することができる。そうすれば、音声通信制御部２９ｃによる演出効果を高めることができる。

【0062】

広告表示制御部２９ｄは、無人移動体レース中に操縦者及び閲覧者向けに広告表示を表示させるように制御するものである。
詳しく述べると、広告表示制御部２９ｄは、閲覧者が携帯端末５０上でレース映像を閲覧しているときに、閲覧者の属性に対応した広告を当該レース映像の所定位置に重ねて表示する。
具体的には、図１１に示すように、切り替え表示画面の左下部分において閲覧者が関心を持っているドローンレースの次回開催日に関する広告５１が表示されている。
あるいは、操縦者がモニター３０上でレース映像を確認しているときに、操縦者の属性に対応した広告を当該レース映像の所定位置（例えばコースサイド）に重ねて表示しても良い。

【0063】

ゴースト表示制御部２９ｅは、レースのタイムトライアルとして、無人移動体１によって撮影された映像上に、当該無人移動体１（操縦者）の過去のレース情報に基づいた無人移動体１の仮想映像（ゴースト映像）を重ねて表示するものである。
詳しく述べると、当該無人移動体１を操縦する操縦者の最速ラップタイムの情報、平均ラップタイムの情報に基づいてゴースト映像を拡張表示することができる。
具体的には、図１２に示すように、無人移動体１によって撮影されたリアル映像上に、当該無人移動体１の仮想映像（ゴースト映像Ｇ）と、ゴーストの個別情報Ｇ１とがリアルタイムで拡張表示されている。
なお、仮想映像（ゴースト映像）の表示にあたっては、コース上に設置される外部撮影装置６０及び通過ゲート７０の設置数を増やすことで、当該仮想映像の表示を精度良く再現することができる。

【0064】

＜映像処理方法＞
次に、映像処理装置２０で実行される主な映像処理プログラム（映像処理方法）の処理について、図１３に基づいて説明する。
本実施形態に係る上記プログラムは、記憶部２１を備えた映像処理装置２０の機能的な構成要素として、上述した映像データ取得部２２と、画面表示部２３と、マーク検出部２４と、移動体識別部２５と、ゲート通過判定部２６と、算出部２７と、トラブル処理部２８と、移動体制御部２９と、を実現させるために各種プログラムを集約させたユーティリティプログラムであって、映像処理装置２０のＣＰＵがこの映像処理プログラムを実行する。
なお、上記プログラムは、ユーザーから映像処理開始の操作を受け付けて実行されるものである。

【0065】

図１３に示す「映像処理フロー」では、まず、映像データ取得部２２が、各無人移動体１から「映像データ」を取得するステップＳ１から始まる。
なお、取得された映像データは、無人移動体１毎に分類されて記憶部２１に記憶される。

【0066】

次に、ステップＳ２で、画面表示部２３（映像表示部２３ａ）が、各無人移動体１から取得した「映像データ」が示す映像（リアル映像）をモニター３０、ディスプレイ４０及び携帯端末５０上に表示する。

【0067】

次に、ステップＳ３で、マーク検出部２４が、例えば第１の無人移動体１から取得した「映像データ」が示す映像内において検出対象となる識別マーク１ｇが存在することを検出する。
マーク検出部２４が、当該映像内において識別マーク１ｇが存在することを検出した場合には（ステップＳ３：Ｙｅｓ）、ステップＳ４に進む。一方で、当該映像内において識別マーク１ｇが存在しなかった場合には（ステップＳ３：Ｎо）、ステップＳ９に進む。

【0068】

次に、ステップＳ４で、移動体識別部２５が、検出された識別マーク１ｇが設けられた無人移動体１が、いずれの無人移動体であるかを識別する。
例えば、移動体識別部２５が、第１の無人移動体１によって撮影された映像内において、検出された識別マーク１ｇが設けられた無人移動体が第２の無人移動体１であることを識別する。

【0069】

次に、ステップＳ５で、マーク検出部２４、移動体識別部２５が、識別した第２の無人移動体１の識別マーク１ｇが複数検出されたか判断する。
なお、識別マーク１ｇは、無人移動体１の上下前後左右に取り付けられているため、上記映像内において第２の無人移動体１の識別マーク１ｇが複数検出されることがある。
移動体識別部２５が、第２の無人移動体１の識別マーク１ｇを複数検出した場合には（ステップＳ５：Ｙｅｓ）、ステップＳ６に進む。一方で、当該識別マーク１ｇを複数検出しなかった場合には（ステップＳ５：Ｎо）、ステップＳ７に進む。

【0070】

次に、ステップＳ６で、移動体識別部２５が、複数検出された第２の無人移動体１の識別マーク１ｇのうち、最も大きいサイズの識別マーク１ｇを選定する。
最も大きいサイズの識別マーク１ｇを選定することで、第１の無人移動体１に対する第２の無人移動体１の相対位置（相対距離）の精度を高めることができる。

【0071】

次に、ステップＳ７で、映像処理装置２０（情報取得部）が、識別マーク１ｇによって識別された第２の無人移動体１の個別情報と相対位置情報とを取得する。
ここで「個別情報」とは、第２の無人移動体１の操縦者の情報（操縦者の画像、操縦者の名称）のほか、レース中に更新される第２の無人移動体１の最速ラップタイム（ＦＴ）、レース中における現在順位、第１の無人移動体１とのタイム差（Ｂｅｈｉｎｄ）の情報が含まれるものである。
「相対位置情報」とは、第１の無人移動体１に対する第２の無人移動体１の相対位置（相対距離）の情報に相当する。例えば、図７の表示画面によれば、第１の無人移動体１に対して第２の無人移動体１が前方斜め左位置に存在することが分かり、第２の無人移動体の相対距離を算出することも可能である。

【0072】

次に、ステップＳ８で、画面表示部２３（仮想情報表示部２３ｂ）が、第１の無人移動体１によって撮影された映像上の対象位置（第２の無人移動体１の相対位置）に、第２の無人移動体１の個別情報を重ねて拡張表示するものである。
図７の表示画面を見ると、第２の無人移動体１（Ｐｌａｙｅｒ２の無人移動体）が表示された対象位置に、第２の無人移動体１の個別情報（操縦者の名称、最速ラップタイム（ＦＴ）、タイム差（Ｂｅｈｉｎｄ））が重ねて表示されている。

【0073】

最後に、ユーザーから映像処理プログラムの停止操作を受け付けた場合には（ステップＳ９：Ｙｅｓ）、図１３のプロセスを終了する。映像処理プログラムを継続する場合には（ステップＳ９：Ｎо）、ステップＳ１に戻る。
上記の映像処理プログラムの処理フローにより、無人移動体レースの運営にあたって、より高いエンターテイメント性を提供することが可能となる。
また、現実世界と仮想世界を融合させた新しい体験を提供することが可能となる。

【0074】

＜その他の実施形態＞
上記実施形態において、図１に示すように、無人移動体１は、小型のＲＣカーであるが、ＲＣカーに特に限定されることなく、撮影装置を搭載した無人移動体であれば適宜変更可能である。
例えば、無人航空機（ドローン）、空中を飛行する無人ヘリコプター、水上を移動する船やヨット等であっても良い。また、玩具に特に限定されることなく、商業用の無人航空機や無人自動車等にも広く適用可能である。また例えば、有人移動体であっても良い。

【0075】

上記実施形態において、図１に示すように、本映像処理システムＳは、無人移動体レースを運営するためのシステムであるが、無人移動体レース用のシステムに特に限定されることなく、撮影装置を搭載した無人移動体を用いた映像処理システム、映像処理装置として種々のビジネスに対しても広く適用可能である。

【0076】

上記実施形態において、図１に示すように、本映像処理システムＳでは、無人移動体１が複数用いられているが、特に限定されることなく、例えば、商業用のシステムとして用いられるならば、無人移動体が１基であっても良い。

【0077】

上記実施形態において、図３、図４Ａ−Ｃに示すように、識別マーク１ｇ及び第２識別マーク７０Ａは、２次元バーコードであるが、特に限定されることなく、映像内において検出可能なマークであれば広く適用可能である。好ましくは、当該識別マークが識別データを格納可能なマークであると良い。

【0078】

上記実施形態において、図３に示すように、識別マーク１ｇは、無人移動体１の上下前後左右の外面にそれぞれ取り付けられているが、特に限定されることなく、識別マーク１ｇの配置パターンについては適宜変更可能である。
例えば、識別マーク１ｇが、無人移動体１の前方部分（前面）及び後方部分（後面）の２カ所に取り付けられても良いし、無人移動体１の後方部分の１カ所のみに取り付けられても良い。

【0079】

上記実施形態において、図７に示すように、画面表示部２３（仮想情報表示部２３ｂ）は、第２の無人移動体１の個別情報として、操縦者の名称、最速ラップタイム（ＦＴ）、タイム差（Ｂｅｈｉｎｄ）を拡張表示しているところ、当該第２の無人移動体１の個別情報は、これらに限定されることなく変更可能である。
例えば、第２の無人移動体１の機種名、操縦者の画像や戦績、現在順位等の情報を拡張表示しても良い。

【0080】

上記実施形態において、図９に示すように、画面表示部２３は、閲覧者向けの表示画面として、コースマップ全体が表示された切り替え表示画面を表示するが、特に限定されることなく、操縦者向けの表示画面に当該切り替え表示画面を表示しても良い。
また、映像処理装置２０が、不図示のドローンを別途制御することとし、当該ドローンによる空中撮影映像を操縦者及び閲覧者向けの表示画面上に表示させることとしても良い。

【0081】

上記実施形態において、図７に示すように、画面表示部２３が、ゲート通過判定部２６によって各無人移動体１が所定の通過ゲート７０を通過したものと判定された「判定結果に基づく内容」を表示画面上に表示している。
このとき、当該「判定結果に基づく内容」は、各無人移動体１の経過時間、現在位置に関する情報に特に限定されることなく、上記判定結果から得られるその他の情報、すなわち無人移動体レース中のその他のリアルタイムな情報も広く含むものであって良い。
例えば、無人移動体１が、所定の通過ゲート７０の通過領域の中央部分を上手く走行した場合や、コースを外れてしまい本来通過すべき通過ゲート７０以外の通過ゲート７０を通過してしまった場合等に、所定の演出内容を表示させることも可能である。

【0082】

上記実施形態では、映像処理装置２０が読み取り可能な記録媒体に映像処理プログラムが記憶されており、映像処理装置２０が当該プログラムを読み出して実行することによって処理が実行される。ここで映像処理装置２０が読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。
また、この映像処理プログラムを通信回線によって不図示のユーザー端末に配信し、この配信を受けたユーザー端末自身が、映像処理装置として機能し、当該プログラムを実行するように構成しても良い。

【0083】

上記実施形態では、主として本発明に係る無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置に関して説明した。
ただし、上記の実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。

【符号の説明】

【0084】

Ｓ 映像処理システム
１ 無人移動体（ラジオコントロールカー）
１ａ 撮影装置
１ａａ 第１撮影装置
１ａｂ 第２撮影装置
１ａｃ 第３撮影装置
１ａｄ 第４撮影装置
１ｂ 送受信アンテナ
１ｃ 移動ユニット
１ｄ 駆動ユニット
１ｅ プロセッサー
１ｆ バッテリー
１ｇ 識別マーク
１ｈ 検出センサ
２ 記憶部
３ 操作データ受信部
４ 映像データ送信部
１０ 操作端末
２０ 映像処理装置
２１ 記憶部
２２ 映像データ取得部
２３ 画面表示部
２３ａ 映像表示部
２３ｂ 仮想映像表示部
２３ｃ 経過時間表示部
２３ｄ 現在位置表示部
２４ マーク検出部
２５ 移動体識別部
２６ ゲート通過判定部
２７ 算出部
２７ａ 経過時間算出部
２７ｂ 現在位置算出部
２８ トラブル処理部
２８ａ 操作不能判定部
２８ｂ 操作不能対応部
２９ 移動体制御部
２９ａ サポート制御部
２９ｂ ペナルティ制御部
２９ｃ 音声通信制御部
２９ｄ 広告表示制御部
２９ｅ ゴースト表示制御部
３０ モニター（ヘッドマウントディスプレイ）
３１ 「ＦＰＶ」操作ボタン
３２ 「ＴＰＶ」操作ボタン
３３ 「ＢＥＶ」操作ボタン
３４ 第１の無人移動体の個別情報
３５ 第２の無人移動体の個別情報
３６ レース全体情報
３７ レース個別情報
３８ コースマップ
３８ａ、３８ｂ 位置表示アイコン
３９ モニター画面
４０ ディスプレイ
４１ 操作ボタン
４２ 操作ボタン
４３ レース全体情報
４４ コースマップ
４４ａ、４４ｂ 位置表示アイコン
５０ 携帯端末
５１ 広告
６０ 外部撮影装置
７０、１７０、２７０ 通過ゲート
７０Ａ 第２識別マーク
７１ ゲート脚部
７２ ゲート連結部
２７１ ルーバー
８０ 救出ドローン
Ｇ ゴースト映像
Ｇ１ ゴーストの個別情報

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【図11】

【図12】

【図13】