IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社スパイシードローンキッチンの特許一覧

特開2024-100185無人移動体を用いた映像処理システム
<>
  • 特開-無人移動体を用いた映像処理システム 図1
  • 特開-無人移動体を用いた映像処理システム 図2
  • 特開-無人移動体を用いた映像処理システム 図3
  • 特開-無人移動体を用いた映像処理システム 図4
  • 特開-無人移動体を用いた映像処理システム 図5
  • 特開-無人移動体を用いた映像処理システム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024100185
(43)【公開日】2024-07-26
(54)【発明の名称】無人移動体を用いた映像処理システム
(51)【国際特許分類】
   A63K 1/00 20060101AFI20240719BHJP
   A63F 9/14 20060101ALI20240719BHJP
   A63H 30/04 20060101ALI20240719BHJP
   H04N 7/18 20060101ALI20240719BHJP
   B64U 10/13 20230101ALI20240719BHJP
   B64U 20/87 20230101ALI20240719BHJP
   G05D 1/43 20240101ALI20240719BHJP
   A63H 27/127 20060101ALI20240719BHJP
   B64U 101/05 20230101ALN20240719BHJP
【FI】
A63K1/00
A63F9/14 Z
A63H30/04 A
H04N7/18 U
B64U10/13
B64U20/87
G05D1/02 P
A63H27/127 K
B64U101:05
【審査請求】未請求
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2023003998
(22)【出願日】2023-01-13
(71)【出願人】
【識別番号】520143339
【氏名又は名称】株式会社スパイシードローンキッチン
(74)【代理人】
【識別番号】100088580
【弁理士】
【氏名又は名称】秋山 敦
(74)【代理人】
【識別番号】100195453
【弁理士】
【氏名又は名称】福士 智恵子
(74)【代理人】
【識別番号】100205501
【弁理士】
【氏名又は名称】角渕 由英
(72)【発明者】
【氏名】松留 貴文
【テーマコード(参考)】
2C150
5C054
5H301
【Fターム(参考)】
2C150DA17
2C150DK02
2C150EA20
2C150EF33
2C150EG03
5C054CA04
5C054CC02
5C054DA07
5C054FA07
5C054FE14
5C054FE17
5H301FF06
5H301FF23
5H301GG09
5H301KK08
5H301KK10
(57)【要約】
【課題】撮影装置を搭載した無人移動体を複数用いた新規の映像処理システムを提供する。
【解決手段】映像処理システムSは、異なる拠点にそれぞれ配置される複数の無人移動体20と、異なる拠点にそれぞれ配置され、同じ拠点に位置する無人移動体20と無線通信によって接続され、無人移動体20が撮影した映像を処理する複数の映像処理装置10と、複数の映像処理装置10と無線通信によって接続され、各映像処理装置10によって処理された処理内容を受信する中央処理装置1と、を備えている。中央処理装置1は、各映像処理装置10によって処理された処理内容を受信し、当該処理内容に基づく内容を表示画面に出力する。中央処理装置1は、異なる拠点で所定のコースを移動する複数の無人移動体20による無人移動体レースを管理する。
【選択図】図1
【特許請求の範囲】
【請求項1】
異なる拠点にそれぞれ配置され、撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と、
異なる拠点にそれぞれ配置され、同じ拠点に位置する前記無人移動体と無線通信によって接続され、該無人移動体が撮影した映像を処理する複数の映像処理装置と、
複数の前記映像処理装置と無線通信によって接続され、それぞれの前記映像処理装置によって処理された処理内容を受信する中央処理装置と、を備えた映像処理システムであって、
前記映像処理装置は、
前記無人移動体が撮影した外部の映像を示す映像データを取得し、
取得した前記映像データが示す映像内において検出対象となる検出マークが存在することを検出し、
前記映像内において前記検出マークが所定の条件で検出されたときに、検出された前記検出マークが設けられた通過ゲートを前記無人移動体が通過したものと判定し、
前記映像とともに、前記無人移動体が前記通過ゲートを通過したものと判定した判定結果に基づく内容を前記中央処理装置に向けて送信し、
前記中央処理装置は、
それぞれの前記映像処理装置によって処理された処理内容を受信し、該処理内容に基づく内容を表示画面に出力し、
異なる拠点で所定のコースを移動する複数の前記無人移動体による無人移動体レースを管理することを特徴とする映像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、無人移動体を用いた映像処理システムに係り、特に、撮影装置を搭載し、外部の映像を撮影しながら移動する無人移動体を用いた映像処理システムに関する。
【背景技術】
【0002】
近年、遠隔操作が容易な無人移動体(例えばドローン)が普及している。そして、無人移動体の操作技量を競うためのレースが国内外の各地で開催されており、新モータースポーツとして、また身近なエンターテイメントとして注目されている。
例えば、特許文献1に記載の無人移動体を用いた映像処理システムは、無人移動体レースを運営するシステムであって、無人移動体の位置を検出し、所定位置を通過したタイミングを計測可能なシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-194519号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、多拠点での同時飛行を行いながらドローンレースを行いたいという要望があった。つまりは、遠隔地を結んだ同時開催レースの運営を行う技術が求められていた。
【0005】
本発明は、上記の課題に鑑みてなされたものであり、本発明の目的は、撮影装置を搭載した無人移動体を複数用いた新規の映像処理システムを提供することにある。
【課題を解決するための手段】
【0006】
前記課題は、本発明の映像処理システムによれば、異なる拠点にそれぞれ配置され、撮影装置を搭載し、外部の映像を撮影しながら移動する複数の無人移動体と、異なる拠点にそれぞれ配置され、同じ拠点に位置する前記無人移動体と無線通信によって接続され、該無人移動体が撮影した映像を処理する複数の映像処理装置と、複数の前記映像処理装置と無線通信によって接続され、それぞれの前記映像処理装置によって処理された処理内容を受信する中央処理装置と、を備えた映像処理システムであって、前記映像処理装置は、前記無人移動体が撮影した外部の映像を示す映像データを取得し、取得した前記映像データが示す映像内において検出対象となる検出マークが存在することを検出し、前記映像内において前記検出マークが所定の条件で検出されたときに、検出された前記検出マークが設けられた通過ゲートを前記無人移動体が通過したものと判定し、前記映像とともに、前記無人移動体が前記通過ゲートを通過したものと判定した判定結果に基づく内容を前記中央処理装置に向けて送信し、前記中央処理装置は、それぞれの前記映像処理装置によって処理された処理内容を受信し、該処理内容に基づく内容を表示画面に出力し、異なる拠点で所定のコースを移動する複数の前記無人移動体による無人移動体レースを管理すること、により解決される。
【発明の効果】
【0007】
本発明の映像処理システムによれば、異なる拠点で所定のコース(同じコース)を移動する複数の無人移動体による無人移動体レースを管理することができ、遠隔地を結んだ同時開催レースの運営を行うことができる。
【図面の簡単な説明】
【0008】
図1】本実施形態の映像処理システム全体の構成図である。
図2】ディスプレイに表示される表示画面を示す図である。
図3】レーサーのヘッドマウントディスプレイに表示される表示画面を示す図である。
図4】観客のヘッドマウントディスプレイに表示される表示画面を示す図である。
図5】多拠点でのレースの演出を補助する機能を説明する図である。
図6】多拠点でのレースの演出を補助する機能を説明する図である。
【発明を実施するための形態】
【0009】
以下、本発明に係る実施形態について図1図6を参照して説明する。
<映像処理システムSの全体構成>
映像処理システムSは、図1に示すように、多拠点における無人移動体同時レースを運営、管理するためのシステムである。
映像処理システムSは、中央処理装置1と、複数の映像処理装置10と、複数の無人移動体20と、複数の外部撮影装置30と、複数の通過ゲート40と、各通過ゲート40に取り付けられる検出マーク50と、ディスプレイ60とを備えている。
また、映像処理システムSは、図3図4に示すヘッドマウントディスプレイ70、80をさらに備えている。
【0010】
中央処理装置1は、図1に示すように、複数の映像処理装置10と無線通信によって接続され、それぞれの映像処理装置10によって処理された処理内容を受信する。
中央処理装置1は、当該処理内容に基づく内容をディスプレイ60に出力し、異なる拠点で所定のコースを移動する複数の無人移動体20による無人移動体レースを管理する。
【0011】
映像処理装置10は、異なる拠点にそれぞれ配置され、同じ拠点に位置する無人移動体20と無線通信によって接続され、無人移動体20(撮影装置21)が撮影した映像を処理する。
具体的には、映像処理装置10は、無人移動体20が撮影した外部の映像を示す映像データを取得する。そして、映像データが示す映像内において検出対象となる検出マーク50が存在することを検出する。そして、映像内において検出マーク50が所定の条件で検出されたときに、検出された検出マーク50が設けられた通過ゲート40を無人移動体20が通過したものと判定する。
映像処理装置10は、上記映像とともに、無人移動体20が通過ゲート40を通過したものと判定した判定結果に基づく内容を中央処理装置1に向けて送信する。
【0012】
無人移動体20は、異なる拠点にそれぞれ配置され、小型の撮影装置21を搭載し、外部の映像を撮影しながら移動する。
具体的には、無人移動体20は、その正面側の外部映像を撮影しながら、所定の空間内を飛行する小型の無人航空機(ドローン)であって、レーサー(第1ユーザ)によって操作される。
【0013】
外部撮影装置30は、レース中の各無人移動体20を撮影するための大型の撮影カメラであって、コース上に所定の間隔を空けて複数設置されている。
外部撮影装置30は、コース上の所定区画における映像(リアル映像)を撮影して映像データを作成し、当該映像データを映像処理装置10に向けて送信する。
【0014】
通過ゲート40は、無人移動体20が通過するためのゲートであって、無人移動体レースのコース上において所定の間隔を空けて複数設置されている。
通過ゲート40の前面には、検出マーク50が複数取り付けられている。
検出マーク50は、2次元バーコードであって、通過ゲート40の通過領域を囲むよう配置されている。
検出マーク50は、コース上に複数設置された通過ゲート40のうち、いずれの通過ゲート40であるかを特定するための識別データを格納している。
そのため、映像処理装置10は、無人移動体20(外部撮影装置30)が撮影した映像内において検出マーク50を検出したときに、当該無人移動体20がいずれの通過ゲート40を通過したのかを特定できる。
【0015】
ディスプレイ60は、図1図2に示すように、中央処理装置1と接続された大型ディスプレイであって、無人移動体レースを観戦している観客向けの表示画面として用いられる。ディスプレイ60は、管理拠点のほか、各拠点に設置されても良い。
【0016】
ヘッドマウントディスプレイ70は、図3に示すように、レーサー(第1ユーザ)の頭部に装着されるディスプレイ装置であって、無人移動体20毎に設けられ、外部撮影装置30が撮影した映像を専用の表示画面上に表示する。
ヘッドマウントディスプレイ80は、図4に示すように、観客(第2ユーザ)の頭部に装着されるディスプレイ装置であって、ディスプレイ60と同様に、観客向けの表示画面として用いられる。
なお、ヘッドマウントディスプレイ80は、観客毎に利用されるものであって、観客は、複数の無人移動体20の中から自分が閲覧したい無人移動体20を選択し、選択した無人移動体20によって撮影された映像を自由に閲覧できる。
【0017】
上記構成により、映像処理システムSは、遠隔地を結んだ同時開催レースの運営を行うことができる。より具体的には、以下の通りである。
各拠点では電波法の関係で無人移動体20の同時飛行が3台しかできないところ、映像処理システムSは、各拠点間を無線通信によって接続し、計測結果をリアルタイムに共有することで、3台以上の同時飛行を実現できる。
映像処理システムSにおいてリアルタイムで共有するデータは、レースの計測結果(計測拠点、計測機器(無人移動体20)、計測時刻)とする。映像処理システムSは、各拠点のFPV映像(一人称視点映像(FPV:First Person View))について、レースの上位(1位~3位)の映像を高解像度で表示し、4位から10位の映像を低解像度で表示する。11位以降はレーサー名のみを表示する。そうすることで、通信負荷とネットワーク帯域を節約することができる。
なお、各拠点では統一された同じサイズのレースコースを作成する必要がある。そのため、レースコースの作成にあたっては、図6に示す補助機能を利用する。詳細は後述する。
【0018】
また上記構成により、映像処理システムSでは、リアルタイムで計測データの通信を行うことで、必ずしも現実世界で無人移動体レースを行う必要はなくなる。つまりは、シミュレータとのレースや、過去のリプレイとのレースを行うこともできる。
映像処理システムSは、検出マーク50を利用したマーク認識計測機能を利用している。当該機能を利用することで、レースコース内に複数の通過ゲート40(チェックポイント)を容易に設置することができる。つまりは、映像処理システムSであれば、複数の拠点でレースを運営した場合であっても、レースのリアルタイムの状況を従来よりも(周回地点での計測のみの場合よりも)詳細に提供することができる。また、他の拠点における無人移動体20の移動を把握し、多拠点同時レースの進行状況を精度良く提供できる。
【0019】
<中央処理装置1の機能>
図1は、本実施形態の映像処理システム全体の構成図である。
中央処理装置1の主な機能は、以下の通りである。
中央処理装置1は、各拠点に設置された映像処理装置10から、無人移動体レースのスタート指示の要求を受け付ける。そして、各映像処理装置10からスタート指示の要求を受け付けた後に、各映像処理装置10に向けてレースのスタート開始時間を指示する。
また、中央処理装置1は、無人移動体レース中に、各拠点に設置された映像処理装置10から、無人移動体20の通過ゲート40(チェックポイント)の通過時間を受信し、またレースの上位者の無人移動体20の映像(FPV映像)を受信する。そして、各映像処理装置10に向けてレースの順位情報を出力する。
また、中央処理装置1は、各拠点に設置された映像処理装置10から、無人移動体20のゴール通過時間を受信する。そして、各映像処理装置10に向けてレースの結果情報を出力する。
【0020】
<ディスプレイ60に表示される内容>
図2は、ディスプレイ60に表示される表示画面を示す図である。中央処理装置1は、ディスプレイ60を通じて、無人移動体レースの状況をリアルタイムで出力する。
中央処理装置1は、各拠点に設置された映像処理装置10から、無人移動体20による通過ゲート40(チェックポイント)の通過情報を受信し、当該通過情報に基づいて全レーサーの順位を計算し、図2に示す画面上に表示する位置を決定する。
中央処理装置1は、レースの上位者(1位~3位のレーサー)のレース情報を、図2に示す画面上部(メイン表示エリア)に表示する。そして、レースの下位者(4位以降のレーサー)になるほど、下位者のレース情報を小さく表示する。例えば、8位以降のレーサー情報については、レーサー名とレース順位が表示される。
中央処理装置1は、図2に示す表示画面上に計測タイムの順位表示を行うとともに、表示画面の右下位置にあるレースマップ上に、同時に飛行する各無人移動体20の飛行位置の情報を表示する。
【0021】
<ヘッドマウントディスプレイ70に表示される内容>
図3は、レーサーのヘッドマウントディスプレイ70に表示される表示画面を示す図である。
一般に、無人移動体20を操作するレーサーは、撮影装置21の映像のみを見ている。一方で、映像処理システムSでは、中央処理装置1が、映像処理装置10を通じてヘッドマウントディスプレイ70に多拠点同時レースに関する処理内容を表示する。具体的には、中央処理装置1によって計算された順位、各拠点で計測されている計測タイム、そのほかレース情報が合成された映像を表示することができる。
また、中央処理装置1は、他の拠点にいる無人移動体20を仮想的に合成することで、自分の拠点では飛行していない無人移動体20を同時に飛行しているように表示することができる。
つまりは、映像処理システムSでは、ヘッドマウントディスプレイ70が撮影装置21の映像のみを直接受信するのではなく、中央処理装置1、映像処理装置10によって一旦処理された映像を表示することができる。
【0022】
<ヘッドマウントディスプレイ80に表示される内容>
図4は、観客のヘッドマウントディスプレイ80に表示される表示画面を示す図である。
観客が見る表示画面には、各レーサーがどの無人移動体20を操作しているかを把握できるような情報(全体情報)が表示される。また、当該表示画面には、レーストラックを可視化して各順位やタイム差などが分かり易く表示される。
また、中央処理装置1は、他の拠点にいる無人移動体20を仮想的に合成することで、自分の拠点では飛行していない無人移動体20を同時に飛行しているように表示することができる。
つまりは、映像処理システムSでは、ヘッドマウントディスプレイ80が、現地の外部撮影装置30の映像や、中央処理装置1、映像処理装置10によって処理されたレース情報を拡張現実として表示することができる。
【0023】
<多拠点でのレースの演出を補助する機能>
図5は、多拠点でのレースの演出を補助する機能を説明する図である。
図5に示すように、レースコースに設置される各通過ゲート40(ポール、kゲート、フラッグ等の障害物であっても良い)に、LED電球(発光装置)を取り付けても良い。
例えば、映像処理装置10が、LED電球の発光を制御し、無人移動体20が通過ゲート40を通過した際に連動してLED電球を光らせる。そうすることで、観客に向けてレースの進行状況を効果的に演出できる。
また例えば、中央処理装置1、映像処理装置10が、他拠点で飛行している無人移動体20の位置情報や、コースレコードの情報などに基づいてLED電球を発光させても良い。そうすることで、レーサーが仮想的な対戦相手と競争する演出を行うことができる。
特に、多拠点同時レースの場合には、レーサーや観客が他拠点の無人移動体20の飛行を把握できないため、無人移動体20同士の接戦や追い抜きといったレース要素が阻害されてしまう。そのため、上記LED電球(発光装置)を利用した制御を行うことで、仮想的に無人移動体20同士の接戦を演出することができる。
【0024】
<多拠点でのレースの演出を補助する機能2>
図6は、多拠点でのレースの演出を補助する機能を説明する図である。
図6に示すように、多拠点でのレースを行うためには、各拠点で同じサイズのコースを作成することが必要になる。当該コースの作成補助機能として、中央処理装置1(映像処理装置10)が、拡張現実(AR)機能を利用して各拠点に仮想的な通過ゲート40の設置位置を、ヘッドマウントディスプレイ70を通じて表示させる。
そうすることで、コースの設置者は、拡張現実上に表示された仮想の通過ゲート40の位置に合わせて実際の通過ゲート40を配置することができ、共通のコースを容易に作成することができる。
さらには、共通の同じコースではなくても良く、設置スペースの大きさに応じて、0.8倍や1.2倍サイズのコースに縮小、拡大することもできる。中央処理装置1は、その縮小状況(拡大状況)に基づいてレース結果に縮小倍率(拡大倍率)を掛け合わせることによって、コースサイズが異なる環境であっても多拠点レースを成立させることができる。
なお、各拠点で同じサイズのコースを作成するにあたって、専用のアプリを提供すると良い。
【0025】
上記映像処理システムSであれば、図3に示すように、レーサーが装着するヘッドマウントディスプレイ70にレース順位、レースタイム、先行する無人移動体20とのタイム差、後続の無人移動体20とのタイム差を表示させることができる。また、レースの進路を合成したガイド映像を表示させることもできる。つまりは、レーサーによるレースの体験感を高めることができる。
また、映像処理システムSであれば、観客も同時にヘッドマウントディスプレイ80を装着することで、図4に示すように、レーサーと同様のレース情報を見ることができる。つまりは、観客によるレースの体験感を高めることができる。
【符号の説明】
【0026】
S 映像処理システム
1 中央処理装置
10 映像処理装置
20 無人移動体
21 撮影装置(FPVカメラ)
30 外部撮影装置
40 通過ゲート
50 検出マーク
60 ディスプレイ
70 ヘッドマウントディスプレイ(レーサー用)
80 ヘッドマウントディスプレイ(観客用)
図1
図2
図3
図4
図5
図6