IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社スパイシードローンキッチンの特許一覧

特許7397482無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置
<>
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図1
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図2
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図3
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図4A
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図4B
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図4C
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図5
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図6
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図7
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図8A
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図8B
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図8C
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図9
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図10
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図11
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図12
  • 特許-無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-05
(45)【発行日】2023-12-13
(54)【発明の名称】無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置
(51)【国際特許分類】
   A63F 9/14 20060101AFI20231206BHJP
   A63H 18/02 20060101ALI20231206BHJP
   A63B 71/06 20060101ALI20231206BHJP
【FI】
A63F9/14 B
A63H18/02 D
A63B71/06 N
【請求項の数】 9
(21)【出願番号】P 2020076210
(22)【出願日】2020-04-22
(65)【公開番号】P2021171232
(43)【公開日】2021-11-01
【審査請求日】2023-04-07
(73)【特許権者】
【識別番号】520143339
【氏名又は名称】株式会社スパイシードローンキッチン
(74)【代理人】
【識別番号】100088580
【弁理士】
【氏名又は名称】秋山 敦
(74)【代理人】
【識別番号】100195453
【弁理士】
【氏名又は名称】福士 智恵子
(74)【代理人】
【識別番号】100205501
【弁理士】
【氏名又は名称】角渕 由英
(72)【発明者】
【氏名】清宮 俊久
(72)【発明者】
【氏名】松留 貴文
【審査官】宮本 昭彦
(56)【参考文献】
【文献】米国特許出願公開第2018/0036632(US,A1)
【文献】特開2012-143447(JP,A)
【文献】国際公開第2019/207954(WO,A1)
【文献】韓国登録特許第10-1857245(KR,B1)
【文献】国際公開第2020/235161(WO,A1)
【文献】田沢梓門,マイクロドローンレースが持つエンターテイメントとしての可能性_知識ナシでもスピーディーで明快な展開に,engadget [オンライン],2019年03月01日
(58)【調査した分野】(Int.Cl.,DB名)
A63F 9/14
A63H 18/02
A63B 71/06
(57)【特許請求の範囲】
【請求項1】
撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と、
該無人移動体と無線通信によって接続され、前記無人移動体が撮影した映像を処理する映像処理装置と、を備えた映像処理システムであって、
前記映像処理装置は、
前記無人移動体が撮影した映像を示す映像データを取得する映像データ取得部と、
取得した前記映像データが示す映像を表示画面上に表示する画面表示部と、
取得した前記映像データが示す映像内において検出対象となる識別マークが存在することを検出するマーク検出部と、
前記識別マークが検出されたときに、検出された前記識別マークが設けられた前記無人移動体が、いずれの無人移動体であるかを識別する移動体識別部と、を有し、
第1の無人移動体によって撮影された映像内において所定の識別マークを検出し、該所定の識別マークが設けられた無人移動体が第2の無人移動体であることを識別したときに、
前記画面表示部は、
前記第1の無人移動体によって撮影された映像を表示するとともに、
前記第2の無人移動体に関する情報を前記映像上の対象位置に表示することを特徴とする無人移動体を用いた映像処理システム。
【請求項2】
前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、
前記マーク検出部は、取得した前記映像データが示す映像内において検出対象となる第2識別マークが存在することを検出し、
前記映像処理装置は、前記映像内において前記第2識別マークが検出されたときに、検出された前記第2識別マークが設けられた通過ゲートを前記無人移動体が通過したものと判定するゲート通過判定部をさらに有し、
前記マーク検出部が、前記第1の無人移動体によって撮影された映像内において、所定の通過ゲートに設けられた前記第2識別マークが存在することを検出したときに、
前記画面表示部は、前記映像を表示するとともに、前記第1の無人移動体が前記所定の通過ゲートを通過したものと判定した判定結果に基づく内容を表示することを特徴とする請求項1に記載の無人移動体を用いた映像処理システム。
【請求項3】
前記無人移動体は、
該無人移動体の前方位置又は中央位置に取り付けられ、前記無人移動体からの一人称視点による一人称映像を撮影する第1撮影装置と、
前記無人移動体の後方位置又は前記無人移動体の本体よりも後方位置に取り付けられ、前記無人移動体自身の映像を含む三人称視点による三人称映像を撮影する第2撮影装置と、を搭載しており、
前記画面表示部は、ユーザー操作による選択を受け付けて、前記無人移動体によって撮影された前記一人称映像と前記三人称映像とを切り替えて表示することを特徴とする請求項1又は2に記載の無人移動体を用いた映像処理システム。
【請求項4】
前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、
前記コース上の所定位置に設置され、前記コースを移動する前記無人移動体を撮影する複数の外部撮影装置をさらに備え、
前記映像データ取得部は、前記外部撮影装置が撮影した映像を示す映像データを取得し、
前記画面表示部は、ユーザー操作による選択を受け付けて、複数の前記無人移動体、複数の前記外部撮影装置によって撮影されたそれぞれの前記映像を切り替えて表示することを特徴とする請求項1乃至3のいずれか1項に記載の無人移動体を用いた映像処理システム。
【請求項5】
前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、
前記映像処理装置は、
前記映像内において前記識別マークが所定の条件で検出されたときに、検出された前記識別マークが設けられた無人移動体が遠隔操作不能になったものと判定する操作不能判定部と、
遠隔操作不能と判定した場合に、前記無人移動体を遠隔操作不能状態から復帰させるために、前記無人移動体に向けた所定の対応を行う操作不能対応部と、をさらに有していることを特徴とする請求項1乃至4のいずれか1項に記載の無人移動体を用いた映像処理システム。
【請求項6】
前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、
前記映像処理装置は、複数の前記無人移動体を所定の条件でコース移動させるために、複数の前記無人移動体に向けた所定の対応制御を行う移動体制御部をさらに有し、
該移動体制御部は、複数の前記無人移動体を所定のタイミングで移動開始させるために、複数の前記無人移動体の移動動作を制御することを特徴とする請求項1乃至5のいずれか1項に記載の無人移動体を用いた映像処理システム。
【請求項7】
前記無人移動体は、
操作端末によって遠隔操作され、予め定められたコースを移動し、
前記無人移動体の前面及び後面にそれぞれ設けられ、前記無人移動体に対して対象物が接触したことを検出する検出センサをさらに有し、
前記映像処理装置は、複数の前記無人移動体を所定の条件でコース移動させるために、複数の前記無人移動体に向けた所定の対応制御を行う移動体制御部をさらに有し、
該移動体制御部は、所定の無人移動体から前記検出センサの検出信号を受信したときに、前記所定の無人移動体の移動動作を所定時間、制限又は停止する制御を行うことを特徴とする請求項1乃至6のいずれか1項に記載の無人移動体を用いた映像処理システム。
【請求項8】
撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と無線通信によって接続されたコンピュータが、前記無人移動体が撮影した映像を処理する映像処理方法であって、
前記コンピュータが、
前記無人移動体が撮影した映像を示す映像データを取得する映像データ取得工程と、
取得した前記映像データが示す映像を表示画面上に表示する第1画面表示工程と、
取得した前記映像データが示す映像内において検出対象となる識別マークが存在することを検出するマーク検出工程と、
前記識別マークが検出されたときに、検出された前記識別マークが設けられた前記無人移動体が、いずれの無人移動体であるかを識別する移動体識別工程と、を実行し、
前記マーク検出工程において、第1の無人移動体によって撮影された映像内において所定の識別マークを検出し、前記移動体識別工程において、前記所定の識別マークが設けられた無人移動体が第2の無人移動体であることを識別したときに、
前記第1の無人移動体によって撮影された映像を表示するとともに、前記第2の無人移動体に関する情報を前記映像上の対象位置に表示する第2画面表示工程をさらに実行することを特徴とする無人移動体を用いた映像処理方法。
【請求項9】
撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と無線通信によって接続され、前記無人移動体が撮影した映像を処理する映像処理装置であって、
前記無人移動体が撮影した映像を示す映像データを取得する映像データ取得部と、
取得した前記映像データが示す映像を表示画面上に表示する画面表示部と、
取得した前記映像データが示す映像内において検出対象となる識別マークが存在することを検出するマーク検出部と、
前記識別マークが検出されたときに、検出された前記識別マークが設けられた前記無人移動体が、いずれの無人移動体であるかを識別する移動体識別部と、を有し、
第1の無人移動体によって撮影された映像内において所定の識別マークを検出し、該所定の識別マークが設けられた無人移動体が第2の無人移動体であることを識別したときに、
前記画面表示部は、前記第1の無人移動体によって撮影された映像上の対象位置に、前記第2の無人移動体に関する情報を重ねて表示することを特徴とする無人移動体を用いた映像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置に係り、特に、撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置に関する。
【背景技術】
【0002】
近年、リチウムイオン電池の普及や、微小電気機械システム(MEMS:Micrо Electrо Mechanical Systems)、ジャイロスコープ及び加速度センサ等の電子機器の小型化、低価格化に伴って、遠隔操作が容易な無人移動体(例えば、ドローン)が市販されるようになっている。そして、無人移動体の操作技量を競うためのレースが国内外の各地で開催されており、新モータースポーツとして、また身近なエンターテイメントとして注目されている。
【0003】
無人移動体レース(例えば、ドローンレース)では、操縦者がヘッドマウントディスプレイを着用し、ドローンの前方に搭載された撮影装置から送信されるリアルタイム映像を見ながら遠隔操作することができ、閲覧者は大型ディスプレイ上で当該リアルタイム映像を観戦することができる。
また、無人移動体レースでは、各無人移動体のラップタイムを計測し、計測したラップタイムを大型ディスプレイ上に表示することで競技性を高める演出がなされている(例えば、特許文献1に記載のラジオコントロールカーのラップタイム測定装置や、特許文献2に記載の自転車競技のタイム計測システム等がある)。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2009-118878号公報
【文献】特開2002-109594号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、上記のような無人移動体レースの運営にあたっては、操縦者及び閲覧者が、無人移動体に搭載された撮影装置から送信されるリアルタイム映像を観賞できるところ、より高いエンターテイメント性が期待されており、より臨場感あふれる演出態様が期待されていた。
詳しく述べると、拡張現実(AR:Augmented Reality)の技術によって、リアル映像に仮想的な視覚情報を重ねて表示できるところ、当該拡張現実をラジオコントロール(RC:Radio Control)の技術とさらに組み合わせることで、現実世界と仮想世界を融合させた新しい体験を提供する無人移動体レースの演出態様が期待されていた。
こうした演出態様は、試験運用が始まった第5世代移動通信システム(5G)による大容量・低遅延通信技術の登場に伴って、より高精細なレベルで実現されることも期待されていた。
【0006】
そのほか、無人移動体レースにおける演出態様に特に限定されることなく、撮影装置を搭載した無人移動体を複数用いた新規の映像処理システムとしてビジネスに応用させることも求められていた。
【0007】
本発明は、上記の課題に鑑みてなされたものであり、本発明の目的は、撮影装置を搭載した無人移動体を複数用いた新規の映像処理システム、映像処理方法及び映像処理装置を提供することにある。
また、本発明の他の目的は、無人移動体レースの運営にあたって、より高いエンターテイメント性を提供することが可能な無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置を提供することにある。
また、本発明の他の目的は、現実世界と仮想世界を融合させた新しい体験を提供することが可能な無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置を提供することにある。
【課題を解決するための手段】
【0008】
前記課題は、本発明の無人移動体を用いた映像処理システムによれば、撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と、該無人移動体と無線通信によって接続され、前記無人移動体が撮影した映像を処理する映像処理装置と、を備えた映像処理システムであって、前記映像処理装置は、前記無人移動体が撮影した映像を示す映像データを取得する映像データ取得部と、取得した前記映像データが示す映像を表示画面上に表示する画面表示部と、取得した前記映像データが示す映像内において検出対象となる識別マークが存在することを検出するマーク検出部と、前記識別マークが検出されたときに、検出された前記識別マークが設けられた前記無人移動体が、いずれの無人移動体であるかを識別する移動体識別部と、を有し、第1の無人移動体によって撮影された映像内において所定の識別マークを検出し、該所定の識別マークが設けられた無人移動体が第2の無人移動体であることを識別したときに、前記画面表示部は、前記第1の無人移動体によって撮影された映像を表示するとともに、前記第2の無人移動体に関する情報を前記映像上の対象位置に表示すること、により解決される。
上記構成により、無人移動体レースの運営にあたって、より高いエンターテイメント性を提供することが可能な無人移動体を用いた映像処理システムを実現することができる。
詳しく述べると、各無人移動体に設けられた識別マークを利用することで、映像処理装置が、第1の無人移動体によって撮影された映像を表示するとともに、第2の無人移動体に関する情報を映像上の対象位置に表示(拡張表示)することができる。そのため、無人移動体レースの運営にあたって、操縦者及び閲覧者に現実世界と仮想世界を融合させた新しい体験を提供することができる。
【0009】
このとき、前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、前記マーク検出部は、取得した前記映像データが示す映像内において検出対象となる第2識別マークが存在することを検出し、前記映像処理装置は、前記映像内において前記第2識別マークが検出されたときに、検出された前記第2識別マークが設けられた通過ゲートを前記無人移動体が通過したものと判定するゲート通過判定部をさらに有し、前記マーク検出部が、前記第1の無人移動体によって撮影された映像内において、所定の通過ゲートに設けられた前記第2識別マークが存在することを検出したときに、前記画面表示部は、前記映像を表示するとともに、前記第1の無人移動体が前記所定の通過ゲートを通過したものと判定した判定結果に基づく内容を表示すると良い。
上記構成により、第2識別マークを利用して無人移動体が通過ゲートを通過したか否かを判定することで、無人移動体の位置を精度良く検出し、所定位置を通過したタイミングを精度良く計測することができる。
また、無人移動体レースの運営にあたって、よりエンターテイメント性を高めるべく、無人移動体が通過ゲートを通過したものと判定した判定結果に基づく内容を表示画面上に表示することで、臨場感あふれる演出態様が可能となる。
【0010】
このとき、前記無人移動体は、該無人移動体の前方位置又は中央位置に取り付けられ、前記無人移動体からの一人称視点による一人称映像を撮影する第1撮影装置と、前記無人移動体の後方位置又は前記無人移動体の本体よりも後方位置に取り付けられ、前記無人移動体自身の映像を含む三人称視点による三人称映像を撮影する第2撮影装置と、を搭載しており、前記画面表示部は、ユーザー操作による選択を受け付けて、前記無人移動体によって撮影された前記一人称映像と前記三人称映像とを切り替えて表示すると良い。
上記構成により、無人移動体レース中に操縦者(閲覧者)が一人称映像と三人称映像を切り替えて確認できるため、無人移動体レースの運営にあたって、より高いエンターテイメント性、臨場感あふれる演出態様を提供することができる。
【0011】
このとき、前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、前記コース上の所定位置に設置され、前記コースを移動する前記無人移動体を撮影する複数の外部撮影装置をさらに備え、前記映像データ取得部は、前記外部撮影装置が撮影した映像を示す映像データを取得し、前記画面表示部は、ユーザー操作による選択を受け付けて、複数の前記無人移動体、複数の前記外部撮影装置によって撮影されたそれぞれの前記映像を切り替えて表示すると良い。
上記構成により、無人移動体レース中に、操縦者が無人移動体によって撮影された映像を確認するほか、コース上にある所定の外部撮影装置によって撮影された映像を確認することもできる。また、閲覧者は、複数の無人移動体の中から自分が閲覧したい無人移動体を選択し、選択した無人移動体によって撮影された映像を閲覧することができる。
【0012】
このとき、前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、前記映像処理装置は、前記映像内において前記識別マークが所定の条件で検出されたときに、検出された前記識別マークが設けられた無人移動体が遠隔操作不能になったものと判定する操作不能判定部と、遠隔操作不能と判定した場合に、前記無人移動体を遠隔操作不能状態から復帰させるために、前記無人移動体に向けた所定の対応を行う操作不能対応部と、をさらに有していると良い。
上記構成により、無人移動体レース中に所定の無人移動体にトラブルが発生し、当該無人移動体が遠隔操作不能となった場合に、当該無人移動体に対してトラブルサポートを提供することができる。具体的なトラブルサポートとしては、無人移動体レースの運営者に向けてトラブルが発生した旨のユーザー報知を行うことや、待機中のドローンをトラブル発生地点まで向かわせて、当該無人移動体を救出、回収させるように制御することが考えられる。
【0013】
このとき、前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、前記映像処理装置は、複数の前記無人移動体を所定の条件でコース移動させるために、複数の前記無人移動体に向けた所定の対応制御を行う移動体制御部をさらに有し、該移動体制御部は、複数の前記無人移動体を所定のタイミングで移動開始させるために、複数の前記無人移動体の移動動作を制御すると良い。
上記構成により、無人移動体レースの運営を円滑に行うべく、必要に応じて複数の無人移動体の移動動作を制御することができる。
例えば、無人移動体レースのスタート時には、各無人移動体が所定のスタートポジションに辿り着くまで、各無人移動体の移動動作をサポート制御し、グリーンシグナルが点灯するまで各無人移動体の駆動ユニットを動作させないように制御することができる。
【0014】
このとき、前記無人移動体は、操作端末によって遠隔操作され、予め定められたコースを移動し、前記無人移動体の前面及び後面にそれぞれ設けられ、前記無人移動体に対して対象物が接触したことを検出する検出センサをさらに有し、前記映像処理装置は、複数の前記無人移動体を所定の条件でコース移動させるために、複数の前記無人移動体に向けた所定の対応制御を行う移動体制御部をさらに有し、該移動体制御部は、所定の無人移動体から前記検出センサの検出信号を受信したときに、前記所定の無人移動体の移動動作を所定時間、制限又は停止する制御を行うと良い。
上記構成により、無人移動体レース中に、所定の無人移動体同士が接触した場合、所定の無人移動体がコースサイドに接触した場合等に、当該無人移動体に対しペナルティを課すことができる。具体的なペナルティとしては、所定の時間が経過するまで無人移動体の移動動作を制限(減速)又は停止させること(ペナルティストップ)、ラップタイムに別途タイム加算すること(タイムペナルティ)等が考えられる。
また、無人移動体が接触したときの衝撃の度合いによって、ペナルティの内容を変更することも考えられる。
そうすることで、無人移動体レースの運営にあたって、より高いエンターテイメント性、臨場感あふれる演出態様を提供することができる。
【0015】
また前記課題は、撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と無線通信によって接続されたコンピュータが、前記無人移動体が撮影した映像を処理する映像処理方法であって、前記コンピュータが、前記無人移動体が撮影した映像を示す映像データを取得する映像データ取得工程と、取得した前記映像データが示す映像を表示画面上に表示する第1画面表示工程と、取得した前記映像データが示す映像内において検出対象となる識別マークが存在することを検出するマーク検出工程と、前記識別マークが検出されたときに、検出された前記識別マークが設けられた前記無人移動体が、いずれの無人移動体であるかを識別する移動体識別工程と、を実行し、前記マーク検出工程において、第1の無人移動体によって撮影された映像内において所定の識別マークを検出し、前記移動体識別工程において、前記所定の識別マークが設けられた無人移動体が第2の無人移動体であることを識別したときに、前記第1の無人移動体によって撮影された映像を表示するとともに、前記第2の無人移動体に関する情報を前記映像上の対象位置に表示する第2画面表示工程をさらに実行することを特徴とする無人移動体を用いた映像処理方法によっても解決される。
【0016】
また前記課題は、撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と無線通信によって接続され、前記無人移動体が撮影した映像を処理する映像処理装置であって、前記無人移動体が撮影した映像を示す映像データを取得する映像データ取得部と、取得した前記映像データが示す映像を表示画面上に表示する画面表示部と、取得した前記映像データが示す映像内において検出対象となる識別マークが存在することを検出するマーク検出部と、前記識別マークが検出されたときに、検出された前記識別マークが設けられた前記無人移動体が、いずれの無人移動体であるかを識別する移動体識別部と、を有し、第1の無人移動体によって撮影された映像内において所定の識別マークを検出し、該所定の識別マークが設けられた無人移動体が第2の無人移動体であることを識別したときに、前記画面表示部は、前記第1の無人移動体によって撮影された映像上の対象位置に、前記第2の無人移動体に関する情報を重ねて表示することを特徴とする無人移動体を用いた映像処理装置によっても解決される。
【発明の効果】
【0017】
本発明によれば、撮影装置を搭載した無人移動体を複数用いた新規の映像処理システム、映像処理方法及び映像処理装置を実現することができる。
また、無人移動体レースの運営にあたって、より高いエンターテイメント性を提供することが可能となる。
また、現実世界と仮想世界を融合させた新しい体験を提供することが可能となる。
【図面の簡単な説明】
【0018】
図1】本実施形態の映像処理システム全体の構成図である。
図2】無人移動体、操作端末、モニターの構成図である。
図3】無人移動体に取り付けられた撮影装置、識別マーク及び検出センサの位置を示す図である。
図4A】識別マーク付きの通過ゲートを示す図である。
図4B】識別マーク付きの通過ゲートの変形例1を示す図である。
図4C】識別マーク付きの通過ゲートの変形例2を示す図である。
図5】映像処理装置のハード構成図である。
図6】映像処理装置のソフト構成図である。
図7】画面表示部によって表示される表示画面を示す図である。
図8A】一人称視点(FPV)による表示画面を示す図である。
図8B】三人称視点(TPV)による表示画面を示す図である。
図8C】俯瞰視点(BEV)による表示画面を示す図である。
図9】コースマップ全体が表示された切り替え表示画面を示す図である。
図10図7の表示画面においてモニター画面が表示された状態を示す図である。
図11図9の表示画面において広告が表示された状態を示す図である。
図12図7の表示画面においてゴースト映像が表示された状態を示す図である。
図13】本実施形態の映像処理方法の一例を示す処理フロー図である。
【発明を実施するための形態】
【0019】
以下、本発明に係る実施形態について図1図13を参照して説明する。
本実施形態は、撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と、無人移動体と無線通信によって接続され、撮影装置が撮影した映像を処理する映像処理装置と、を備えた映像処理システムであって、映像処理装置は、無人移動体が撮影した映像を示す映像データを取得する映像データ取得部と、取得した映像データが示す映像を表示画面上に表示する画面表示部と、取得した映像データが示す映像内において検出対象となる識別マークが存在することを検出するマーク検出部と、識別マークが検出されたときに、検出された識別マークが設けられた無人移動体が、いずれの無人移動体であるかを識別する移動体識別部と、を有し、第1の無人移動体によって撮影された映像内において所定の識別マークを検出し、当該所定の識別マークが設けられた無人移動体が第2の無人移動体であることを識別したときに、画面表示部は、第1の無人移動体によって撮影された映像を表示するとともに、第2の無人移動体に関する情報を映像上の対象位置に表示することを主な特徴とする発明に関するものである。
【0020】
本実施形態の映像処理システムS全体の構成を図1図4Aに示す。
映像処理システムSは、無人移動体レースを運営するためのシステムであって、撮影装置1aを搭載し、外部の映像を撮影しながら飛行する無人移動体1と、無人移動体1と無線通信によってそれぞれ接続され、無人移動体1を遠隔操作するための操作端末10と、撮影装置1aが撮影した外部映像を処理して表示画面上に表示する映像処理装置20と、映像処理装置20とそれぞれ接続され、操縦者向けの表示画面となるモニター30と、閲覧者向けの表示画面となるディスプレイ40及び携帯端末50と、無人移動体レースのコース上において間隔を空けて設置される外部撮影装置60及び通過ゲート70と、から主に構成されている。
なお、無人移動体レース中に所定の無人移動体1が遠隔操作不能となった場合に、当該無人移動体1を救出(回収)させるように制御すべく、救出ドローン80がコース上の所定位置で待機している。
【0021】
無人移動体1は、図1図3に示すように、その正面側の外部映像を主に撮影しながら、所定のコース上を走行する小型のラジオコントロールカー(RCカー)であって、操作端末10及び映像処理装置20とデータ通信を行うものである。
無人移動体1は、複数用意されており、本システムにおいては、5機の無人移動体1が無人移動体レースに参戦し、予め定められたコースを走行する構成となっている。
なお、利用電波帯の関係によって同時に走行可能な無人移動体の数は制限されるものの、5Gの実用化に伴って世界中の操縦者(閲覧者)が参戦可能となり、同時に走行可能な無人移動体の数についても特に制限されることがなくなる。
【0022】
無人移動体1は、撮影装置1aと、送受信アンテナ1bと、移動ユニット1cと、駆動ユニット1dと、プロセッサー1eと、バッテリー1fと、識別マーク1gと、検出センサ1hと、から主に構成されており、それぞれ無人移動体1の本体に取り付けられている。
【0023】
撮影装置1a(第1撮影装置1aa)は、小型の撮影カメラであって、移動体本体の正面に取り付けられており、その正面側の外部映像を撮影して当該映像を記録する。そして、当該映像を示す映像データを作成するものである。
詳しく述べると、撮影装置1aは、小型の広角カメラであって、移動体本体の前後左右の外面にそれぞれ取り付けられた第1撮影装置1aa、第2撮影装置1ab、第3撮影装置1ac及び第4撮影装置1adを有している。
なお、撮影装置1aは、広角カメラに特に限定されることなく、例えば360度カメラであっても良い。360度カメラを採用した場合には、無人移動体1が複数の撮影装置を必ずしも備えていてなくて良い。
【0024】
第1撮影装置1aaは、無人移動体1の前方位置の上面に取り付けられ、無人移動体1からの一人称視点(FPV:First Person View)による「一人称映像」を撮影する(図8A参照)。
第2撮影装置1abは、無人移動体1の後方位置に設けられた羽根状のリアウイングの上面に取り付けられている。すなわち、移動体本体よりも後方位置に取り付けられている。そして、第2撮影装置1abは、無人移動体1自身の映像を含む三人称視点(TPV:Third Person View)による「三人称映像」を撮影する(図8B参照)。
第3撮影装置1ac、第4撮影装置1adは、無人移動体1の左右側方位置の外側面にそれぞれ取り付けられている。
撮影装置1aは、これら撮影装置1aa、1ab、1ac、1adによって撮影された映像を合成することで、俯瞰視点(BEV:Bird Eye View)による「俯瞰映像(俯瞰合成映像)」を生成することができる(図8C参照)。
【0025】
送受信アンテナ1bは、移動体本体の上端に取り付けられており、操作端末10から操作データを受信することや、映像処理装置20及びモニター30に向けて撮影した映像データを送信するものである。
移動ユニット1cは、移動体本体の四隅の下端に取り付けられた4本の車輪であって、駆動ユニット1dから駆動動力を受けて回転することで、また左右に向きを変えることで、無人移動体1を前後左右に移動させるものである。
駆動ユニット1dは、移動ユニット1cを駆動させるためのモーターであって、移動ユニット1cと接続されて取り付けられており、プロセッサー1eから受信した駆動命令に基づいて動作するものである。
【0026】
プロセッサー1eは、データの演算・制御処理装置としてのCPUと、記憶装置としてのROM、RAM、及びHDDと、送受信アンテナ1bを通じて情報データの送受信を行う通信用インタフェースと、から主に構成されるマイクロプロセッサーであって、移動体本体の内部に取り付けられている。
バッテリー1fは、送受信アンテナ1b、駆動ユニット1d及びプロセッサー1eに電力を供給するためのリチウムイオン電池であって、移動体本体の下部に取り付けられている。
【0027】
識別マーク1gは、2次元バーコードであって、移動体本体の上下前後左右の外面にそれぞれ取り付けられており、複数の無人移動体1のうち、いずれの無人移動体1であるか、また無人移動体1のいずれの位置であるかを識別するための識別データを格納している。
検出センサ1hは、無人移動体1に対して対象物が接触したことを検出する接触センサ(圧力センサ)であって、移動体本体の前後左右の外面にそれぞれ取り付けられている。
詳しく述べると、検出センサ1hは、無人移動体1のフロントバンパーの前面、リアバンパーの後面、左右のサイドバンパーの外側面にそれぞれ取り付けられている。
検出センサ1hによって検出された検出信号は、無人移動体1から映像処理装置20に向けて発信される。
【0028】
操作端末10は、図1図2に示すように、操縦者によって操作されるコントローラであって、無人移動体1毎に設けられ、予め定められたコースを走行するように無人移動体1を無線通信によって遠隔操作するものである。
詳しく述べると、操作端末10は、操縦者によるユーザー操作の入力を受け付けて、無人移動体1を操作するための操作データを作成し、当該操作データを無人移動体1に向けてデータ送信することができる。
また、操作端末10は、映像処理装置20とデータ通信を行い、ユーザー操作の入力を受け付けて、モニター30の表示画面上に表示された映像を切り替えることができる。
【0029】
映像処理装置20は、図1図3に示すように、無人移動体1、操作端末10、モニター30、ディスプレイ40、携帯端末50、外部撮影装置60及び救出ドローン80とデータ通信を行うコンピュータであって、撮影装置1a及び外部撮影装置60が撮影した「リアル映像」に所定の「視覚情報」を重ねた映像(拡張映像)を、モニター30、ディスプレイ40及び携帯端末50上に表示するものである。
詳しく述べると、映像処理装置20は、図7に示すように、第1の無人移動体1によって撮影されたリアル映像内において、第2の無人移動体1に取り付けられた識別マーク1gを検出したときに、第2の無人移動体1に関する個別情報を取得する。そして、第1の無人移動体1によって撮影された「リアル映像」に、第2の無人移動体1に関する個別情報を重ねて表示することができる。
また、映像処理装置20は、図7に示すように、第1の無人移動体1によって撮影されたリアル映像内において後述の第2識別マーク70Aが検出されたときに、当該第2識別マーク70Aが取り付けられた通過ゲート70を通過したものと判定する。そして、上記「リアル映像」に、第1の無人移動体1が当該通過ゲート70を通過したものと判定した判定結果に基づく内容を同時表示することもできる。
【0030】
モニター30は、操縦者の頭部に装着されるヘッドマウントディスプレイであって、無人移動体1毎に設けられ、映像処理装置20とデータ通信を行い、映像処理装置20によって生成された映像(拡張映像)を表示画面上に表示することができる。
具体的には、図7に示すような表示画面をリアルタイムで表示することができる。
なお、モニター30は、ヘッドマウントディスプレイに特に限定されることなく、公知なディスプレイ装置を採用することができる。例えば、操作端末10と一体化されたコックピット型のディスプレイ装置であっても良い。
【0031】
ディスプレイ40は、映像処理装置20と接続された大型ディスプレイであって、無人移動体レースを閲覧している閲覧者向けの表示画面として用いられる。
具体的には、ディスプレイ40上には、図7図9に示すような表示画面がリアルタイムで表示されることになり、無人移動体レースの臨場感あふれる内容を演出することができる。
携帯端末50は、映像処理装置20と接続されたタブレット端末であって、ディスプレイ40と同様に、閲覧者向けの表示画面として用いられる。
なお、携帯端末50は、閲覧者毎に利用されるものであって、例えば、複数の無人移動体1の中から自分が閲覧したい無人移動体1を選択し(図9参照)、選択した無人移動体1によって撮影された映像を閲覧することができる。
【0032】
外部撮影装置60は、レース中の各無人移動体1を撮影するための大型の撮影カメラであって、コース上に所定の間隔を空けて複数設置されている。
外部撮影装置60は、コース上の所定区画における映像(リアル映像)を撮影して当該映像を記録する。そして、当該映像を示す映像データを作成し、映像処理装置20に向けてデータ送信するものである。
【0033】
通過ゲート70は、図4Aに示すように、無人移動体1が通過するためのゲートであって、コース上に所定の間隔を空けて複数設置されている。
通過ゲート70は、橋形状からなり、一対のゲート脚部71と、一対のゲート脚部71の上方部分を連結するゲート連結部72とから構成されており、一対のゲート脚部71とゲート連結部72とで囲まれた領域が通過領域となっている。
ゲート連結部72のうち、コースの進行方向においてスタート側に位置する正面には、第2識別マーク70Aが所定の間隔を空けながら複数配置されている。
【0034】
第2識別マーク70Aは、2次元バーコードであって、コース上に複数設置された通過ゲート70のうち、いずれの通過ゲート70であるかを特定するための識別データを格納している。
そのため、映像処理装置20は、無人移動体1が撮影した映像内において第2識別マーク70Aを検出したときに、当該無人移動体1がいずれの通過ゲート70を通過したのかを特定することができる。
【0035】
なお、通過ゲート70は、橋形状の通過ゲートに特に限定されることなく変更可能であって、例えば、図4Bに示すようにポール形状の通過ゲート170であっても良い。
また例えば、図4Cに示すようにルーバー付きの通過ゲート270であっても良い。
ルーバー271付きの通過ゲート270を採用すれば、無人移動体1が通過ゲート270に近接した位置まで到達したときに、無人移動体1が通過ゲート270の第2識別マーク70Aを撮影することが可能となる。その結果、映像処理装置20が、無人移動体1の位置情報をより精度高く検出することができる。
【0036】
<映像処理装置のハード構成>
映像処理装置20は、図5に示すように、データの演算・制御処理装置としてのCPUと、記憶装置としてのROM、RAM、及びHDD(SSD)と、ホームネットワーク又はインターネットを通じて情報データの送受信を行う通信用インタフェースと、を有するコンピュータである。
また、映像処理装置20は、所定の書式で表示される文字又は画像の情報を表示する表示装置と、CPUに所定の指令を入力するときユーザー入力操作される入力装置と、外付けハードディスク等の記憶媒体装置と、文字又は画像の情報を出力する印刷装置と、をさらに有しているほか、表示画面としてのモニター30、ディスプレイ40及び携帯端末50と接続されている。
【0037】
映像処理装置20のROM、HDD、及び外部記憶装置には、図6に示すように、コンピュータとして必要な機能を果たすメインプログラムに加えて、映像処理プログラムが記憶されており、これらプログラムがCPUによって実行されることにより、映像処理装置20の機能が発揮されることになる。
【0038】
<映像処理装置のソフト構成>
映像処理装置20は、図6に示すように、機能面から説明すると、「映像データ」、「個別データ」、「ラップタイムデータ」、「現在位置データ」のほか、各種プログラム及び各種データを記憶しておく記憶部21と、無人移動体1から「映像データ」を取得する映像データ取得部22と、取得した「映像データ」が示す映像を処理して表示画面上に表示する画面表示部23と、取得した「映像データ」が示す映像内において識別マーク1g(第2識別マーク70A)が存在することを検出するマーク検出部24と、所定の映像内において識別マーク1gが検出されたときに、検出された識別マーク1gが設けられた無人移動体1が、いずれの無人移動体1であるかを識別する移動体識別部25と、を主な構成要素として備えている。
また、映像処理装置20は、所定の映像内において第2識別マーク70Aが検出されたときに、検出された第2識別マーク70Aが設けられた通過ゲート70を無人移動体1が通過したものと判定するゲート通過判定部26と、当該判定結果から、無人移動体1が所定位置から所定の通過ゲート70を通過するまでに要した経過時間を算出する算出部27(経過時間算出部27a)と、当該判定結果から、コース上において無人移動体1の現在位置を算出する現在位置算出部27bと、をさらに備えている。
また、映像処理装置20は、トラブル処理部28として、所定の映像内において識別マーク1gが所定の条件で検出されたときに、検出された識別マーク1gが設けられた無人移動体1が遠隔操作不能になったものと判定する操作不能判定部28aと、遠隔操作不能と判定した場合に、無人移動体1を遠隔操作不能状態から復帰させるために、無人移動体1に向けた所定の対応を行う操作不能対応部28bと、をさらに有している。
また、映像処理装置20は、複数の無人移動体1を所定の条件でコース移動させるために、複数の無人移動体1に向けた所定の対応制御を行う移動体制御部29をさらに有している。
これらは、CPU、ROM、RAM、HDD、通信用インタフェース、及び各種プログラム等によって構成されている。
【0039】
なお、無人移動体1についても機能面から説明すると、各種プログラム及び各種データを格納しておく記憶部2と、操作端末10から「操作データ」を取得する操作データ受信部3と、「映像データ」を映像処理装置20に向けて送信する映像データ送信部4と、を主な構成要素として備えている。
【0040】
記憶部21に記憶される「映像データ」は、各無人移動体1及び各外部撮影装置60が撮影した「リアル映像」を示す動画データであって、無人移動体レース中に各無人移動体1及び各外部撮影装置60からリアルタイムで送信されるものであって、記憶部21に一元管理されて記憶されている。
なお、映像データ(動画データ)は、例えば1秒当たりのフレーム画像数が30枚(30FPS(Frame Per Second))で設定されている。
当該映像データを参照することで、図7に示すように、各無人移動体1が撮影した「リアル映像」を表示させる機能や、各無人移動体1のゲート通過判定機能、ラップタイム・現在位置算出機能、操作不能判定機能等を利用することができる。
【0041】
「個別データ」は、無人移動体レース中の各無人移動体1に関する個別情報を示すデータであって、無人移動体1毎に作成され、記憶部21に一元管理されて記憶されている。
詳しく述べると、個別データには、各無人移動体1に関する個別情報として、各無人移動体1の操縦者の情報(操縦者の画像、操縦者の名称(Player1-Player4))のほか、レース中に更新される各無人移動体1の最速ラップタイム(FT:Fastest Time)、レース中における現在順位、自身の無人移動体1とのタイム差(Behind)等の情報が含まれている。
当該個別データを参照することで、図7に示すように、例えば、第1の無人移動体1の「リアル映像」に、第2の無人移動体1の操縦者の情報、最速ラップタイム、タイム差の情報を重ねて表示させる機能を利用することができる。
【0042】
「ラップタイムデータ」は、無人移動体レース中における各無人移動体1のラップタイムを示すデータであって、経過時間算出部27aによって無人移動体1毎に作成されるものであって、記憶部21に一元管理されて記憶されている。
詳しく述べると、ラップタイムデータには、各無人移動体1が所定のスタート位置から所定の通過ゲート70を通過するまでに要した経過時間(区間ラップタイム)や、スタート位置からコースを1周するまでに要した経過時間(1周目、2周目、3周目のラップタイム)、スタート位置からゴール位置までに要した経過時間(コースを5周するまでに要した総ラップタイム)の情報が含まれているほか、隣り合う通過ゲート70においてスタート位置側にある通過ゲート70を通過してから次の通過ゲート70を通過するまでに要した経過時間(区間ラップタイム)等の情報も含まれている。
当該ラップタイムデータを参照することで、図7に示すように、表示画面上に各無人移動体1の種々のラップタイム、最速のラップタイム(FT)、各無人移動体1の順位等を表示させる機能を利用することができる。
【0043】
「現在位置データ」は、各無人移動体レースのコース上における各無人移動体1の現在位置を示すデータであって、現在位置算出部27bによって無人移動体1毎に作成されるものであって、記憶部21に一元管理されて記憶されている。
詳しく述べると、現在位置データには、コース上において各無人移動体1がいずれの通過ゲート70の位置にいるか(いずれの通過ゲート70の周辺位置にいるか)を示す位置情報が含まれている。
当該現在位置データを参照することで、図7に示すように、ディスプレイ40上に各無人移動体1の現在位置(コースマップ上の現在位置)を表示させる機能を利用することができる。
【0044】
映像データ取得部22は、各無人移動体1及び各外部撮影装置60から「映像データ」を取得するものであって、取得された映像データは、無人移動体1毎に外部撮影装置60毎に分類されて記憶部21に記憶される。
【0045】
画面表示部23は、具体的な機能部として、映像表示部23aと、仮想情報表示部23bと、経過時間表示部23cと、現在位置表示部23dと、を有している。
映像表示部23aは、各無人移動体1及び各外部撮影装置60からそれぞれ取得した「映像データ」が示す映像を、モニター30、ディスプレイ40及び携帯端末50上にリアルタイムで表示するものである。
詳しく述べると、映像表示部23aは、ユーザー操作による選択を受け付けて、各無人移動体1、各外部撮影装置60によって撮影されたそれぞれの「リアル映像」を切り替えて表示することができる。
また、映像表示部23aは、ユーザー操作による選択を受け付けて、所定の無人移動体1の第1撮影装置1aaによって撮影された「一人称映像」と、第3撮影装置1acによって撮影された「三人称映像」と、複数の撮影装置1aa-1adによって撮影された映像を合成して得られた「俯瞰映像」とを切り替えて表示することができる。
【0046】
モニター30上の表示画面として図7の本実施形態を見ると、第1の無人移動体1(Player1の無人移動体)によって撮影された「リアル映像」が表示されている。
また、図7の表示画面の右下部分には、第1の無人移動体1の「一人称映像」に切り替えるための「FPV」操作ボタン31と、「三人称映像」に切り替えるための「TPV」操作ボタン32と、「俯瞰映像」に切り替えるための「BEV」操作ボタン33とが表示されている。
図7の表示画面上において、ユーザー操作による「FPV」操作ボタン31の選択を受け付けることで、図8Aに示す表示画面へ切り替えることができる。同様にして、ユーザー操作による「TPV」操作ボタン32、「BEV」操作ボタン33の選択を受け付けることで、図8B図8Cに示す表示画面へ切り替えることができる。
【0047】
仮想情報表示部23bは、第1の無人移動体1によって撮影された「リアル映像」内において第1の無人移動体1の個別情報を重ねて表示するほか、第2の無人移動体1が識別されたときに第2の無人移動体1の個別情報を重ねて表示するものである。
図7の表示画面を見ると、表示画面の上方部分には、第1の無人移動体1の個別情報34(操縦者の画像、名称、現在順位)が重ねて表示されている。なお、表示画面の左下部分には、第1の無人移動体1のラップ平均スピードの情報も表示されている。
また、図7の表示画面上において第2の無人移動体1(Player2の無人移動体)が表示された対象位置に、第2の無人移動体1の個別情報35(操縦者の名称、最速ラップタイム(FT)、タイム差(Behind))が重ねて表示されている。
【0048】
経過時間表示部23c、現在位置表示部23dは、ゲート通過判定部26によって各無人移動体1が所定の通過ゲート70を通過したものと判定された「判定結果に基づく内容」を表示画面上に表示する。
詳しく述べると、経過時間表示部23cは、上記判定結果に基づく内容として、経過時間算出部27aによって算出された「各無人移動体1の経過時間に関する内容」を表示画面上にリアルタイムで表示する。
また、現在位置表示部23dは、上記判定結果に基づく内容として、現在位置算出部27bによって算出された「各無人移動体1の現在位置に関する内容」を表示画面上にリアルタイムで表示することができる。
図7の表示画面を見ると、表示画面の左上部分には、「各無人移動体1の経過時間に関する内容」として、各無人移動体1のレース全体情報36(各無人移動体1の現在順位、操縦者の情報、最速ラップタイム(FT))が表示されている。
また、図7の表示画面の右上部分には、「各無人移動体1の経過時間に関する内容」として、第1の無人移動体1のレース個別情報37(コース1周目、コース2周目のラップタイム、現在のラップタイム)が表示されている。
また、図7の表示画面の右上部分には、「各無人移動体1の現在位置に関する内容」として、無人移動体レースのコースマップ38と、コースマップ38上をリアルタイムで移動する各無人移動体1の位置表示アイコン38aとが表示されている。
なお、コースマップ38上には、外部撮影装置60の設置位置に関する内容として、外部撮影装置60の位置表示アイコン38bも表示されている。
【0049】
また、画面表示部23は、閲覧者向けの表示画面としてディスプレイ40及び携帯端末50上に、コースマップ全体が表示された図9に示す切り替え表示画面を表示することもできる。
図9の表示画面の右側部分には、各無人移動体1(Player1-Player4)の映像に切り替えるための操作ボタン41と、各外部撮影装置60(Camera1-Camera4)の映像に切り替えるための操作ボタン42とが表示されている。
また、図9の表示画面の左側部分には、各無人移動体1のレース全体情報43(各無人移動体1の現在順位、操縦者の情報、最速ラップタイム(FT))が表示されている。
また、図7の表示画面の中央部分には、無人移動体レースのコースマップ44と、コースマップ44上をリアルタイムで移動する各無人移動体1の位置表示アイコン44a、各外部撮影装置60の位置表示アイコン44bとが表示されている。
【0050】
マーク検出部24は、取得した「映像データ」が示す映像内において検出対象となる識別マーク1g及び第2識別マーク70Aが存在することを検出するものである。
詳しく述べると、マーク検出部24は、映像データ(動画データ)が1秒当たりのフレーム画像数が30枚(30FPS)で設定されているところ、当該フレーム画像毎に、フレーム画像内において識別マーク1g及び第2識別マーク70Aが存在していることを検出する。
【0051】
移動体識別部25は、識別マーク1gが検出されたときに、検出された識別マークが設けられた無人移動体1が、いずれの無人移動体であるかを識別するものである。
識別マーク1gには、いずれの無人移動体1であるかを特定するための識別データが格納されている。そして、当該識別マーク1gは、各無人移動体1の上下前後左右にそれぞれ取り付けられている。
そのため、図7に示すように、マーク検出部24が、第1の無人移動体1によって撮影された映像内において第2の無人移動体1の右側及び後側にある識別マーク1gを検出したときに、移動体識別部25が、第2の無人移動体1が前方斜め左位置を走行していることを識別することができる。言い換えれば、第2の無人移動体1の個別情報を取得するほか、第2の無人移動体1の相対位置情報(第1の無人移動体1との相対距離)を取得することができる。
【0052】
ゲート通過判定部26は、取得した「映像データ」が示す映像内において第2識別マーク70Aが検出され、かつ、当該映像よりも後の映像内において第2識別マーク70Aが検出されなくなったときに、検出された第2識別マーク70Aが設けられた通過ゲート70を所定の無人移動体1が通過したものと判定する。
第2識別マーク70Aには、いずれの通過ゲート70であるかを特定するための識別データが格納されている。そして、当該第2識別マーク70Aの大きさは予め定められている。
そのため、マーク検出部24が、所定の無人移動体1によって撮影されたフレーム画像内において所定の第2識別マーク70Aを検出したときに、当該無人移動体1がいずれの通過ゲート70の位置又は周辺位置にいるかを識別することができる。そして、検出された第2識別マーク70Aの大きさによって、無人移動体1の位置を精度良く識別することができる。
【0053】
算出部27は、具体的な機能部として、経過時間算出部27aと、現在位置算出部27bとを有している。
経過時間算出部27aは、ゲート通過判定部26による上記判定結果から、所定の無人移動体1が所定のスタート位置から所定の通過ゲート70を通過するまでに要した経過時間(ラップタイム)を算出する。
詳しく述べると、経過時間算出部27aは、当該経過時間(ラップタイム)を算出し、当該経過時間を示す「ラップタイムデータ」を作成する。
「ラップタイムデータ」には、上述した通り、各無人移動体1が所定のスタート位置から所定の通過ゲート70を通過するまでに要した経過時間(区間ラップタイム)や、スタート位置からコースを1周するまでに要した経過時間(1周目、2周目、3周目のラップタイム)、スタート位置からゴール位置までに要した経過時間(コースを3周するまでに要した総ラップタイム)等の情報が含まれている。
【0054】
現在位置算出部27bは、ゲート通過判定部26による上記判定結果から、所定の空間内において無人移動体1の現在位置を算出する。
詳しく述べると、現在位置算出部27bは、当該現在位置を算出し、当該現在位置を示す「現在位置データ」を作成する。
「現在位置データ」には、上述した通り、無人移動体レースのコース上において各無人移動体1がいずれの通過ゲート70の位置にいるか(いずれの通過ゲート70の周辺位置にいるか)を示す位置情報が含まれている。
なお、現在位置算出部27bが所定の無人移動体1の現在位置を算出するにあたっては、当該レース中における無人移動体1のラップタイム、無人移動体1を操作する操縦者の過去のレースのラップタイム等の情報も参照することで、無人移動体1の現在位置をより精度良く算出することができる。
そのようにして無人移動体1の現在位置を算出することで、図7に示す表示画面において、コースマップ38上の現在位置表示アイコン38aを精度良く移動させながら表示することができる。
【0055】
トラブル処理部28は、具体的な機能部として、操作不能判定部28aと、操作不能対応部28bとを有している。
操作不能判定部28aは、取得した「映像データ」が示す映像内において識別マーク1gが所定の条件で検出されたときに、検出された識別マーク1gが設けられた無人移動体1が遠隔操作不能になったものと判定するものである。
具体的には、操作不能判定部28aは、各無人移動体1及び各外部撮影装置60によって撮影された映像内において識別マーク1gが例えば所定の位置かつ所定の向きで検出されたときに、当該識別マーク1gが設けられた無人移動体1が遠隔操作不能になったものと判定する。
なお、当該無人移動体1によって撮影される第1映像と、第1映像よりも後の第2映像との差分を検出し、当該差分が所定の閾値以下であって、当該無人移動体1が停止した状態であると判断した場合の判断結果についても参照すると良い。そうすれば、操作不能判定部28aによる判定結果の精度がより高まる。
【0056】
操作不能対応部28bは、遠隔操作不能と判定した場合に、無人移動体1を遠隔操作不能状態から復帰させるために、当該無人移動体1に向けた所定の対応を行うものである。
具体的には、操作不能対応部28bは、無人移動体レースの運営者、閲覧者に向けてトラブルが発生した旨のユーザー報知を行い、かつ、待機中の救出ドローン80をトラブル発生地点まで向かわせて当該無人移動体1を救出、回収させるように制御する。
なお、遠隔操作不能となった無人移動体1の操縦者から、トラブル発生に関するユーザー操作の入力を受け付けて、当該無人移動体1を救出、回収させるように救出ドローン80を制御することとしても良い。
【0057】
移動体制御部29は、無人移動体レースに参加した全ての無人移動体1を所定の条件でコース移動させるために、各無人移動体1に向けた所定の対応制御を行うものであって、具体的な機能部として、サポート制御部29aと、ペナルティ制御部29bとを有している。
サポート制御部29aは、レースのスタート時に全ての無人移動体1を所定のタイミングで移動開始させるために、複数の前記無人移動体の移動動作をサポート制御するものである。
詳しく述べると、サポート制御部29aは、各無人移動体1が所定のスタートポジションに辿り着くまで、各無人移動体1の移動動作をサポート制御する。そして、グリーンシグナルが点灯するまで各無人移動体1の駆動ユニット1dを動作させないようにサポート制御することができる。
なお、各無人移動体1がゴールした後についても、各無人移動体1の駆動ユニット1dを動作させないようにサポート制御しても良い。
【0058】
ペナルティ制御部29bは、所定の無人移動体1から検出センサ1hの検出信号を受信したときに、当該無人移動体1の移動動作を所定時間、制限又は停止するペナルティ制御を行うものである。
詳しく述べると、ペナルティ制御部29bは、無人移動体レース中に、所定の無人移動体1同士が接触した場合、あるいは所定の無人移動体1がコースサイドに接触した場合に、当該無人移動体1に対してペナルティ制御を行うことができる。具体的には、所定の時間が経過するまで無人移動体1の移動動作を制限(減速)又は停止させる制御を行うことや(ペナルティストップ)、ラップタイムに別途タイム加算する制御を行う(タイムペナルティ)。
このときに、無人移動体1の前後左右に取り付けられた検出センサ1hの位置によって、当該無人移動体1に対して行うペナルティ制御の内容を変更しても良い。
例えば、無人移動体1の前面にある検出センサ1hが検出信号を受信したときには(無人移動体1が接触事故を起こしたときには)、重いペナルティを課すように当該無人移動体1の移動動作を制御すると良い。また、無人移動体1の後面にある検出センサ1hが検出信号を受信したときには(接触事故を起こされたときには)、軽いペナルティを課すように当該無人移動体1の移動動作を制御すると良い。
なお、無人移動体1が接触したときの衝撃の度合いによって、当該無人移動体1に対して行うペナルティ制御の内容を変更しても良い。
【0059】
そのほか、移動体制御部29は、具体的な機能部として、音声通信制御部29cと、広告表示制御部29dと、ゴースト表示制御部29eをさらに有していると良い。
音声通信制御部29cは、第1の無人移動体1によって撮影された映像内において第2の無人移動体1の識別マーク1gを検出したときに、第1の無人移動体1の操縦者と、第2の無人移動体1の操縦者とが所定時間、音声通信可能となるように制御するものである。
詳しく述べると、操縦者が装着しているモニター30には、不図示のマイク部(音声発信部)及びレシーバー部(音声受信部)が設けられており、各モニター30が音声通信可能となるように接続されることになる。
なお、音声通信可能な時間については、相手の無人移動体1の識別マーク1gが検出されなくなった後も、所定時間(例えば30秒程度)継続されると良い。
【0060】
また、音声通信制御部29cが、第1の無人移動体1のモニター30と、第2の無人移動体1のモニター30とを音声通信可能に制御しているときに、画面表示部23が、お互いに相手のモニター画面を表示画面上にポップアップ表示する。
具体的には、図10に示すように、第1の無人移動体1のモニター30の表示画面上に、第2の無人移動体の個別情報(操縦者の画像、名称)付きのモニター画面39がポップアップ表示される。
なお、音声通信制御部29cが、各モニター30を音声通信可能に制御しているときに、各無人移動体1の操縦者が予め選曲した専用BGMを相手方に対して発信するように制御しても良い。すなわち、第1の無人移動体1のモニター30から、第2の無人移動体1の専用BGMが流れるようにすると良い。
また、検出される識別マーク1gの大きさによって、第2の無人移動体1との相対距離を識別することができるため、第1の無人移動体1に対して第2の無人移動体1が近づくにつれて第2の無人移動体1の専用BGMが大きく流れるようにしても良い。
【0061】
上記構成において、音声通信制御部29cを実行するときには、無人移動体1の後方にある第2撮影装置1abを利用することで、後方から迫ってくる相手の無人移動体1の識別マーク1gを検出することができる。そうすれば、音声通信制御部29cによる演出効果を高めることができる。
【0062】
広告表示制御部29dは、無人移動体レース中に操縦者及び閲覧者向けに広告表示を表示させるように制御するものである。
詳しく述べると、広告表示制御部29dは、閲覧者が携帯端末50上でレース映像を閲覧しているときに、閲覧者の属性に対応した広告を当該レース映像の所定位置に重ねて表示する。
具体的には、図11に示すように、切り替え表示画面の左下部分において閲覧者が関心を持っているドローンレースの次回開催日に関する広告51が表示されている。
あるいは、操縦者がモニター30上でレース映像を確認しているときに、操縦者の属性に対応した広告を当該レース映像の所定位置(例えばコースサイド)に重ねて表示しても良い。
【0063】
ゴースト表示制御部29eは、レースのタイムトライアルとして、無人移動体1によって撮影された映像上に、当該無人移動体1(操縦者)の過去のレース情報に基づいた無人移動体1の仮想映像(ゴースト映像)を重ねて表示するものである。
詳しく述べると、当該無人移動体1を操縦する操縦者の最速ラップタイムの情報、平均ラップタイムの情報に基づいてゴースト映像を拡張表示することができる。
具体的には、図12に示すように、無人移動体1によって撮影されたリアル映像上に、当該無人移動体1の仮想映像(ゴースト映像G)と、ゴーストの個別情報G1とがリアルタイムで拡張表示されている。
なお、仮想映像(ゴースト映像)の表示にあたっては、コース上に設置される外部撮影装置60及び通過ゲート70の設置数を増やすことで、当該仮想映像の表示を精度良く再現することができる。
【0064】
<映像処理方法>
次に、映像処理装置20で実行される主な映像処理プログラム(映像処理方法)の処理について、図13に基づいて説明する。
本実施形態に係る上記プログラムは、記憶部21を備えた映像処理装置20の機能的な構成要素として、上述した映像データ取得部22と、画面表示部23と、マーク検出部24と、移動体識別部25と、ゲート通過判定部26と、算出部27と、トラブル処理部28と、移動体制御部29と、を実現させるために各種プログラムを集約させたユーティリティプログラムであって、映像処理装置20のCPUがこの映像処理プログラムを実行する。
なお、上記プログラムは、ユーザーから映像処理開始の操作を受け付けて実行されるものである。
【0065】
図13に示す「映像処理フロー」では、まず、映像データ取得部22が、各無人移動体1から「映像データ」を取得するステップS1から始まる。
なお、取得された映像データは、無人移動体1毎に分類されて記憶部21に記憶される。
【0066】
次に、ステップS2で、画面表示部23(映像表示部23a)が、各無人移動体1から取得した「映像データ」が示す映像(リアル映像)をモニター30、ディスプレイ40及び携帯端末50上に表示する。
【0067】
次に、ステップS3で、マーク検出部24が、例えば第1の無人移動体1から取得した「映像データ」が示す映像内において検出対象となる識別マーク1gが存在することを検出する。
マーク検出部24が、当該映像内において識別マーク1gが存在することを検出した場合には(ステップS3:Yes)、ステップS4に進む。一方で、当該映像内において識別マーク1gが存在しなかった場合には(ステップS3:Nо)、ステップS9に進む。
【0068】
次に、ステップS4で、移動体識別部25が、検出された識別マーク1gが設けられた無人移動体1が、いずれの無人移動体であるかを識別する。
例えば、移動体識別部25が、第1の無人移動体1によって撮影された映像内において、検出された識別マーク1gが設けられた無人移動体が第2の無人移動体1であることを識別する。
【0069】
次に、ステップS5で、マーク検出部24、移動体識別部25が、識別した第2の無人移動体1の識別マーク1gが複数検出されたか判断する。
なお、識別マーク1gは、無人移動体1の上下前後左右に取り付けられているため、上記映像内において第2の無人移動体1の識別マーク1gが複数検出されることがある。
移動体識別部25が、第2の無人移動体1の識別マーク1gを複数検出した場合には(ステップS5:Yes)、ステップS6に進む。一方で、当該識別マーク1gを複数検出しなかった場合には(ステップS5:Nо)、ステップS7に進む。
【0070】
次に、ステップS6で、移動体識別部25が、複数検出された第2の無人移動体1の識別マーク1gのうち、最も大きいサイズの識別マーク1gを選定する。
最も大きいサイズの識別マーク1gを選定することで、第1の無人移動体1に対する第2の無人移動体1の相対位置(相対距離)の精度を高めることができる。
【0071】
次に、ステップS7で、映像処理装置20(情報取得部)が、識別マーク1gによって識別された第2の無人移動体1の個別情報と相対位置情報とを取得する。
ここで「個別情報」とは、第2の無人移動体1の操縦者の情報(操縦者の画像、操縦者の名称)のほか、レース中に更新される第2の無人移動体1の最速ラップタイム(FT)、レース中における現在順位、第1の無人移動体1とのタイム差(Behind)の情報が含まれるものである。
「相対位置情報」とは、第1の無人移動体1に対する第2の無人移動体1の相対位置(相対距離)の情報に相当する。例えば、図7の表示画面によれば、第1の無人移動体1に対して第2の無人移動体1が前方斜め左位置に存在することが分かり、第2の無人移動体の相対距離を算出することも可能である。
【0072】
次に、ステップS8で、画面表示部23(仮想情報表示部23b)が、第1の無人移動体1によって撮影された映像上の対象位置(第2の無人移動体1の相対位置)に、第2の無人移動体1の個別情報を重ねて拡張表示するものである。
図7の表示画面を見ると、第2の無人移動体1(Player2の無人移動体)が表示された対象位置に、第2の無人移動体1の個別情報(操縦者の名称、最速ラップタイム(FT)、タイム差(Behind))が重ねて表示されている。
【0073】
最後に、ユーザーから映像処理プログラムの停止操作を受け付けた場合には(ステップS9:Yes)、図13のプロセスを終了する。映像処理プログラムを継続する場合には(ステップS9:Nо)、ステップS1に戻る。
上記の映像処理プログラムの処理フローにより、無人移動体レースの運営にあたって、より高いエンターテイメント性を提供することが可能となる。
また、現実世界と仮想世界を融合させた新しい体験を提供することが可能となる。
【0074】
<その他の実施形態>
上記実施形態において、図1に示すように、無人移動体1は、小型のRCカーであるが、RCカーに特に限定されることなく、撮影装置を搭載した無人移動体であれば適宜変更可能である。
例えば、無人航空機(ドローン)、空中を飛行する無人ヘリコプター、水上を移動する船やヨット等であっても良い。また、玩具に特に限定されることなく、商業用の無人航空機や無人自動車等にも広く適用可能である。また例えば、有人移動体であっても良い。
【0075】
上記実施形態において、図1に示すように、本映像処理システムSは、無人移動体レースを運営するためのシステムであるが、無人移動体レース用のシステムに特に限定されることなく、撮影装置を搭載した無人移動体を用いた映像処理システム、映像処理装置として種々のビジネスに対しても広く適用可能である。
【0076】
上記実施形態において、図1に示すように、本映像処理システムSでは、無人移動体1が複数用いられているが、特に限定されることなく、例えば、商業用のシステムとして用いられるならば、無人移動体が1基であっても良い。
【0077】
上記実施形態において、図3図4A-Cに示すように、識別マーク1g及び第2識別マーク70Aは、2次元バーコードであるが、特に限定されることなく、映像内において検出可能なマークであれば広く適用可能である。好ましくは、当該識別マークが識別データを格納可能なマークであると良い。
【0078】
上記実施形態において、図3に示すように、識別マーク1gは、無人移動体1の上下前後左右の外面にそれぞれ取り付けられているが、特に限定されることなく、識別マーク1gの配置パターンについては適宜変更可能である。
例えば、識別マーク1gが、無人移動体1の前方部分(前面)及び後方部分(後面)の2カ所に取り付けられても良いし、無人移動体1の後方部分の1カ所のみに取り付けられても良い。
【0079】
上記実施形態において、図7に示すように、画面表示部23(仮想情報表示部23b)は、第2の無人移動体1の個別情報として、操縦者の名称、最速ラップタイム(FT)、タイム差(Behind)を拡張表示しているところ、当該第2の無人移動体1の個別情報は、これらに限定されることなく変更可能である。
例えば、第2の無人移動体1の機種名、操縦者の画像や戦績、現在順位等の情報を拡張表示しても良い。
【0080】
上記実施形態において、図9に示すように、画面表示部23は、閲覧者向けの表示画面として、コースマップ全体が表示された切り替え表示画面を表示するが、特に限定されることなく、操縦者向けの表示画面に当該切り替え表示画面を表示しても良い。
また、映像処理装置20が、不図示のドローンを別途制御することとし、当該ドローンによる空中撮影映像を操縦者及び閲覧者向けの表示画面上に表示させることとしても良い。
【0081】
上記実施形態において、図7に示すように、画面表示部23が、ゲート通過判定部26によって各無人移動体1が所定の通過ゲート70を通過したものと判定された「判定結果に基づく内容」を表示画面上に表示している。
このとき、当該「判定結果に基づく内容」は、各無人移動体1の経過時間、現在位置に関する情報に特に限定されることなく、上記判定結果から得られるその他の情報、すなわち無人移動体レース中のその他のリアルタイムな情報も広く含むものであって良い。
例えば、無人移動体1が、所定の通過ゲート70の通過領域の中央部分を上手く走行した場合や、コースを外れてしまい本来通過すべき通過ゲート70以外の通過ゲート70を通過してしまった場合等に、所定の演出内容を表示させることも可能である。
【0082】
上記実施形態では、映像処理装置20が読み取り可能な記録媒体に映像処理プログラムが記憶されており、映像処理装置20が当該プログラムを読み出して実行することによって処理が実行される。ここで映像処理装置20が読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。
また、この映像処理プログラムを通信回線によって不図示のユーザー端末に配信し、この配信を受けたユーザー端末自身が、映像処理装置として機能し、当該プログラムを実行するように構成しても良い。
【0083】
上記実施形態では、主として本発明に係る無人移動体を用いた映像処理システム、映像処理方法及び映像処理装置に関して説明した。
ただし、上記の実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
【符号の説明】
【0084】
S 映像処理システム
1 無人移動体(ラジオコントロールカー)
1a 撮影装置
1aa 第1撮影装置
1ab 第2撮影装置
1ac 第3撮影装置
1ad 第4撮影装置
1b 送受信アンテナ
1c 移動ユニット
1d 駆動ユニット
1e プロセッサー
1f バッテリー
1g 識別マーク
1h 検出センサ
2 記憶部
3 操作データ受信部
4 映像データ送信部
10 操作端末
20 映像処理装置
21 記憶部
22 映像データ取得部
23 画面表示部
23a 映像表示部
23b 仮想映像表示部
23c 経過時間表示部
23d 現在位置表示部
24 マーク検出部
25 移動体識別部
26 ゲート通過判定部
27 算出部
27a 経過時間算出部
27b 現在位置算出部
28 トラブル処理部
28a 操作不能判定部
28b 操作不能対応部
29 移動体制御部
29a サポート制御部
29b ペナルティ制御部
29c 音声通信制御部
29d 広告表示制御部
29e ゴースト表示制御部
30 モニター(ヘッドマウントディスプレイ)
31 「FPV」操作ボタン
32 「TPV」操作ボタン
33 「BEV」操作ボタン
34 第1の無人移動体の個別情報
35 第2の無人移動体の個別情報
36 レース全体情報
37 レース個別情報
38 コースマップ
38a、38b 位置表示アイコン
39 モニター画面
40 ディスプレイ
41 操作ボタン
42 操作ボタン
43 レース全体情報
44 コースマップ
44a、44b 位置表示アイコン
50 携帯端末
51 広告
60 外部撮影装置
70、170、270 通過ゲート
70A 第2識別マーク
71 ゲート脚部
72 ゲート連結部
271 ルーバー
80 救出ドローン
G ゴースト映像
G1 ゴーストの個別情報
図1
図2
図3
図4A
図4B
図4C
図5
図6
図7
図8A
図8B
図8C
図9
図10
図11
図12
図13