特開 2022-11678 表示システム、表示制御装置、表示制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022011678

(43)【公開日】2022-01-17

(54)【発明の名称】表示システム、表示制御装置、表示制御方法およびプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220107BHJP

   G09G 5/00 20060101ALI20220107BHJP

   G09G 5/36 20060101ALI20220107BHJP

   G09G 5/377 20060101ALI20220107BHJP

【ＦＩ】

H04N7/18 U

G09G5/00 550C

G09G5/36 520P

G09G5/00 550X

G09G5/00 510H

G09G5/00 530M

G09G5/36 520L

G09G5/00 550B

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2020112976

(22)【出願日】2020-06-30

(71)【出願人】

【識別番号】591139633

【氏名又は名称】東急株式会社

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】糸洲 美和

(72)【発明者】

【氏名】松木 健治

(72)【発明者】

【氏名】西川 修平

【テーマコード（参考）】

5C054

5C182

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FE14

5C054HA16

5C182AB08

5C182AC02

5C182AC43

5C182BA02

5C182BA14

5C182CB44

5C182CB52

(57)【要約】

【課題】リアルタイムで競技状況を明確に把握する。
【解決手段】撮像部１００が撮像した撮像動画データから、特定ポイントを検知するポイント検知部２００と、ポイント検知部２００が検知した特定ポイントの撮像動画データにおける第１の位置と競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、競技の仮想動画データを生成する仮想動画生成部３００と、競技を開始するタイミングを取得するタイミング取得部４００と、仮想動画生成部３００が生成した仮想動画データと撮像部１００が撮像している撮像動画データとを合成する合成部５００と、合成部５００が合成した動画データを表示する表示部６００とを有し、合成部５００は、タイミング取得部４００が取得したタイミングで仮想動画データと撮像動画データとの合成を開始する。
【選択図】図１

【特許請求の範囲】

【請求項1】

競技者が競技を行うシーンを撮像動画データとして撮像する撮像部と、
前記撮像部が撮像した撮像動画データから、特定ポイントを検知するポイント検知部と、
前記ポイント検知部が検知した特定ポイントの前記撮像動画データにおける第１の位置と、前記競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、前記競技の仮想動画データを生成する仮想動画生成部と、
前記競技を開始するタイミングを取得するタイミング取得部と、
前記仮想動画生成部が生成した仮想動画データと、前記撮像部が撮像している撮像動画データとを合成する合成部と、
前記合成部が合成した動画データを表示する表示部とを有し、
前記合成部は、前記タイミング取得部が取得したタイミングで前記仮想動画データと前記撮像動画データとの合成を開始する表示システム。

【請求項2】

請求項１に記載の表示システムにおいて、
所定の過去動画データをあらかじめ記憶する記憶部を有し、
前記仮想動画生成部は、前記第１の位置と前記第２の位置とに基づいて、前記記憶部に記憶されている過去動画データから前記競技の仮想動画データを生成する表示システム。

【請求項3】

請求項１または請求項２に記載の表示システムにおいて、
外部からの操作で入力を受け付ける入力部を有し、
前記仮想動画生成部は、前記入力部が受け付けた情報に基づいて、生成する仮想動画データの競技を決定する表示システム。

【請求項4】

請求項１から３のいずれか１項に記載の表示システムにおいて、
前記競技は、タイムレースである表示システム。

【請求項5】

競技者が競技を行うシーンを撮像した撮像動画データから、特定ポイントを検知するポイント検知部と、
前記ポイント検知部が検知した特定ポイントの前記撮像動画データにおける第１の位置と、前記競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、前記競技の仮想動画データを生成する仮想動画生成部と、
前記競技を開始するタイミングを取得するタイミング取得部と、
前記仮想動画生成部が生成した仮想動画データと、前記撮像動画データとを合成する合成部と、
前記合成部が合成した動画データをディスプレイに表示させる表示制御部とを有し、
前記合成部は、前記タイミング取得部が取得したタイミングで前記仮想動画データと前記撮像動画データとの合成を開始する表示制御装置。

【請求項6】

競技者が競技を行うシーンを撮像した撮像動画データから、特定ポイントを検知する処理と、
前記検知した特定ポイントの前記撮像動画データにおける第１の位置と、前記競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、前記競技の仮想動画データを生成する処理と、
前記競技を開始するタイミングを取得する処理と、
前記生成した仮想動画データと、前記撮像している撮像動画データとを合成する処理と、
前記合成した動画データをディスプレイに表示させる処理と、
前記取得したタイミングで前記仮想動画データと前記撮像動画データとの合成を開始する処理とを行う表示制御方法。

【請求項7】

コンピュータに、
競技者が競技を行うシーンを撮像した撮像動画データから、特定ポイントを検知する手順と、
前記検知した特定ポイントの前記撮像動画データにおける第１の位置と、前記競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、前記競技の仮想動画データを生成する手順と、
前記競技を開始するタイミングを取得する手順と、
前記生成した仮想動画データと、前記撮像している撮像動画データとを合成する手順と、
前記合成した動画データをディスプレイに表示させる手順と、
前記取得したタイミングで前記仮想動画データと前記撮像動画データとの合成を開始する手順とを実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示システム、表示制御装置、表示制御方法およびプログラムに関する。

【背景技術】

【0002】

競技場等で催されるオリンピック等のスポーツイベントは、テレビ中継が行われることが多い。近年では、複数のカメラを用いてそれぞれ撮影された複数のアングルからの映像の中から表示させたい映像をユーザが選択できるシステムが考えられている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２００３－５３２３４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

競技の中でもタイムを競うレースにおいては、タイムを上げるために様々な研究がなされている。例えば、その競技者のレースの途中の状況と過去の有力な競技者のレースの途中の状況とを比較することも少なくない。特許文献１に記載されたようなシステムにおいては、そのような解析をすることが困難である。このように、リアルタイムでは競技状況を明確には把握できないという問題点がある。

【0005】

本発明の目的は、リアルタイムで競技状況を明確に把握できる表示システム、表示制御装置、表示制御方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の表示システムは、
競技者が競技を行うシーンを撮像動画データとして撮像する撮像部と、
前記撮像部が撮像した撮像動画データから、特定ポイントを検知するポイント検知部と、
前記ポイント検知部が検知した特定ポイントの前記撮像動画データにおける第１の位置と、前記競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、前記競技の仮想動画データを生成する仮想動画生成部と、
前記競技を開始するタイミングを取得するタイミング取得部と、
前記仮想動画生成部が生成した仮想動画データと、前記撮像部が撮像している撮像動画データとを合成する合成部と、
前記合成部が合成した動画データを表示する表示部とを有し、
前記合成部は、前記タイミング取得部が取得したタイミングで前記仮想動画データと前記撮像動画データとの合成を開始する。

【0007】

また、本発明の表示制御装置は、
競技者が競技を行うシーンを撮像した撮像動画データから、特定ポイントを検知するポイント検知部と、
前記ポイント検知部が検知した特定ポイントの前記撮像動画データにおける第１の位置と、前記競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、前記競技の仮想動画データを生成する仮想動画生成部と、
前記競技を開始するタイミングを取得するタイミング取得部と、
前記仮想動画生成部が生成した仮想動画データと、前記撮像動画データとを合成する合成部と、
前記合成部が合成した動画データをディスプレイに表示させる表示制御部とを有し、
前記合成部は、前記タイミング取得部が取得したタイミングで前記仮想動画データと前記撮像動画データとの合成を開始する。

【0008】

また、本発明の表示制御方法は、
競技者が競技を行うシーンを撮像した撮像動画データから、特定ポイントを検知する処理と、
前記検知した特定ポイントの前記撮像動画データにおける第１の位置と、前記競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、前記競技の仮想動画データを生成する処理と、
前記競技を開始するタイミングを取得する処理と、
前記生成した仮想動画データと、前記撮像している撮像動画データとを合成する処理と、
前記合成した動画データをディスプレイに表示させる処理と、
前記取得したタイミングで前記仮想動画データと前記撮像動画データとの合成を開始する処理とを行う。

【0009】

また、本発明のプログラムは、
コンピュータに実行させるためのプログラムであって、
競技者が競技を行うシーンを撮像した撮像動画データから、特定ポイントを検知する手順と、
前記検知した特定ポイントの前記撮像動画データにおける第１の位置と、前記競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、前記競技の仮想動画データを生成する手順と、
前記競技を開始するタイミングを取得する手順と、
前記生成した仮想動画データと、前記撮像している撮像動画データとを合成する手順と、
前記合成した動画データをディスプレイに表示させる手順と、
前記取得したタイミングで前記仮想動画データと前記撮像動画データとの合成を開始する手順とを実行させる。

【発明の効果】

【0010】

本発明においては、リアルタイムで競技状況を明確に把握できる。

【図面の簡単な説明】

【0011】

【図1】本発明の表示システムの第１の実施の形態を示す図である。

【図2】競技場に設置された特定ポイントの一部の例を示す図である。

【図3】図１に示した撮像部が撮像した撮像動画データの一例を示す図である。

【図4】図１に示した仮想動画生成部が生成した仮想動画の一例を示す図である。

【図5】図１に示した合成部が合成した動画データの一例を示す図である。

【図6】図１に示した表示システムにおける表示制御方法の一例を説明するためのフローチャートである。

【図7】図１に示した仮想動画生成部が生成した仮想動画の他の例を示す図である。

【図8】図１に示した合成部が合成した動画データの他の例を示す図である。

【図9】本発明の表示システムの第２の実施の形態を示す図である。

【図10】図９に示した入力部の外観の一例を示す図である。

【図11】図９に示した記憶部が記憶している情報の一例を示す図である。

【図12】図９に示した表示システムにおける表示制御方法の一例を説明するためのフローチャートである。

【図13】本発明の表示システムの第３の実施の形態を示す図である。

【発明を実施するための形態】

【0012】

以下に、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）

【0013】

図１は、本発明の表示システムの第１の実施の形態を示す図である。本形態における表示システムは図１に示すように、撮像部１００と、ポイント検知部２００と、仮想動画生成部３００と、タイミング取得部４００と、合成部５００と、表示部６００とを有する。これらの構成要素は、１つの装置に搭載されているものであっても良いし、任意の組み合わせで分けられて複数の装置に搭載されているものであっても良いし、それぞれが別個の装置に搭載されているものであっても良い。

【0014】

撮像部１００は、競技者が競技を行うシーンを第１の動画データとして撮像するカメラである。撮像部１００は、競技者が競技を行う、例えば競技場の所定の場所に固定されているものであっても良いし、携帯通信端末やデジタルカメラ等の移動可能なものであっても良い。なお、競技は、例えば、陸上競技場で行われる短距離走等のトラック競技や、ロードレース、競泳等のタイムレースである。

【0015】

ポイント検知部２００は、撮像部１００が撮像した撮像動画データから、特定ポイントを検知する。この特定ポイントは、例えば、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の画像認識／空間認識等に用いられるものであって、競技場の特定の位置を示すために、競技場内にあらかじめ設置されているマーカーである。また、特定ポイントは、競技場内に複数設置されており、それぞれがその位置付けを有している。例えば、特定ポイントは、短距離レースのスタートラインを示すものや、フィニッシュラインを示すもの、スタートラインから１０メートル地点を示すもの、競技トラックの第１～４コーナーを示すもの、長距離コースのスタートラインから１０キロメートル地点を示すもの、砲丸投げのサークルの位置を示すもの等である。また、複数の特定ポイントは、撮像部１００によって撮像されたときに、互いに識別可能な画像として認識できるものである。

【0016】

図２は、競技場に設置された特定ポイントの一部の例を示す図である。図２に示した例では、特定ポイント７００，７１０が短距離レースのある地点に設置されている。例えば、特定ポイント７００がスタートラインから５０メートルの位置に設置されており、その旨があらかじめ登録されていれば、ポイント検知部２００が特定ポイント７００を検知した場合、その検知した位置がスタートラインから５０メートルの位置であることを認識することができる。また、特定ポイント７１０がスタートラインから６０メートルの位置に設置されており、その旨があらかじめ登録されていれば、ポイント検知部２００が特定ポイント７１０を検知した場合、その検知した位置がスタートラインから６０メートルの位置であることを認識することができる。

【0017】

仮想動画生成部３００は、ポイント検知部２００が検知した特定ポイントの撮像動画データにおける第１の位置と、競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、競技の仮想動画データを生成する。つまり、仮想動画生成部３００は、撮像動画データにおける特定ポイントの位置に、その特定ポイントが示す地点を表示する仮想動画を生成する。仮想動画生成部３００は、競技場に設置された特定ポイントのそれぞれが何の地点を示すものであるかをあらかじめ記憶しておき、ポイント検知部２００が特定ポイントを検知すると、その検知した特定ポイントが何の地点を示すものであるかを判別する。仮想動画生成部３００は、判別した地点に対応するように仮想動画を生成する。例えば、ポイント検知部２００が検知した特定ポイントが、短距離レースのスタートラインから５０メートルの地点を示すものであると仮想動画生成部３００が判別した場合、仮想動画生成部３００は、撮像動画データの特定ポイントの位置が、短距離レースのスタートラインから５０メートルとなるような動画（例えば、仮想の人物が走る動画）を生成する。仮想動画生成部３００は、競技の開始から少なくとも競技の終了までの仮想動画を生成する。

【0018】

タイミング取得部４００は、競技を開始するタイミングを取得する。タイミング取得部４００は、例えば、競技のスケジュールが設定されたプログラムからそれぞれの競技の開始時刻を取得するものであっても良いし、競技のスタートの合図となる信号を競技用の他のシステムから受信して取得するものであっても良い。

【0019】

合成部５００は、仮想動画生成部３００が生成した仮想動画データと、撮像部１００が撮像している撮像動画データとを合成する。このとき、合成部５００は、タイミング取得部４００が取得したタイミングで仮想動画データと撮像動画データとの合成を開始する。

【0020】

図３は、図１に示した撮像部１００が撮像した撮像動画データの一例を示す図である。図４は、図１に示した仮想動画生成部３００が生成した仮想動画の一例を示す図である。図５は、図１に示した合成部５００が合成した動画データの一例を示す図である。図３に示すような競技者７２０が競技を行っているシーンを撮像部１００が撮像すると、ポイント検知部２００がその撮像動画データから特定ポイント７００を検知する。検知した特定ポイント７００の撮像動画データにおける位置に基づいて、仮想動画生成部３００が図４に示すような仮想画像７３０が含まれる仮想動画データを生成する。合成部５００は、図３に示した撮像動画データと、図４に示した仮想動画データとを合成して、図５に示すような動画データを生成する。

【0021】

表示部６００は、合成部５００が合成した動画データを表示する。表示部６００は、図５に示したような動画データを表示する。表示部６００は、合成部５００が合成した動画データが無いタイミングでは、撮像部１００が撮像した撮像動画データを表示するものであっても良い。表示部６００は、一般的なモニタであっても良いし、携帯通信端末等の情報処理装置に具備されたディスプレイであっても良い。

【0022】

以下に、図１に示した表示システムにおける表示制御方法について説明する。図６は、図１に示した表示システムにおける表示制御方法の一例を説明するためのフローチャートである。

【0023】

撮像部１００が競技の撮像を開始すると（ステップＳ１）、ポイント検知部２００は、撮像部１００が撮像した撮像動画データから、特定ポイントを検知する（ステップＳ２）。すると、仮想動画生成部３００が、ポイント検知部２００が検知した特定ポイントの撮像動画データにおける第１の位置と、競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、競技の仮想動画データを生成する（ステップＳ３）。また、タイミング取得部４００が、競技を開始するタイミングを取得する（ステップＳ４）。合成部５００は、タイミング取得部４００が取得したタイミングになったかどうかを判定し（ステップＳ５）、タイミング取得部４００が取得したタイミングになると仮想動画データと撮像動画データとの合成を開始する（ステップＳ６）。表示部６００は、合成部５００が合成した動画データを表示する（ステップＳ７）。なお、ステップＳ２にてポイント検知部２００が検知した特定ポイントに競技の開始位置が含まれる場合、ステップＳ３にて仮想動画生成部３００が生成した、開始位置にて合成する仮想画像データを、ステップＳ５の前に合成部５００がその開始位置にて撮像動画データと合成するものであっても良い。

【0024】

また、図４では、仮想動画生成部３００が生成する仮想動画に含まれる仮想画像が競技者のような画像である場合を示したが、仮想画像は他の図形であっても良い。図７は、図１に示した仮想動画生成部３００が生成した仮想動画の他の例を示す図である。図８は、図１に示した合成部５００が合成した動画データの他の例を示す図である。図３に示すような競技者７２０が競技を行っているシーンを撮像部１００が撮像すると、ポイント検知部２００がその撮像動画データから特定ポイント７００を検知する。検知した特定ポイント７００の撮像動画データにおける位置に基づいて、仮想動画生成部３００が図７に示すような図形である仮想画像７４０が含まれる仮想動画データを生成する。合成部５００は、図３に示した撮像動画データと、図７に示した仮想動画データとを合成して、図８に示すような動画データを生成する。

【0025】

このように、本形態においては、競技を撮像した撮像データにおける特定ポイントの位置に基づいて仮想動画を生成し、撮像データと仮想動画とを、競技の開始タイミングから合成し、合成した動画データを表示する。そのため、リアルタイムで競技状況を明確に把握できる。
（第２の実施の形態）

【0026】

図９は、本発明の表示システムの第２の実施の形態を示す図である。本形態における表示システムは図９に示すように、撮像部１００と、ポイント検知部２００と、仮想動画生成部３０１と、タイミング取得部４００と、合成部５００と、表示部６００と、記憶部８００と、入力部９００とを有する。これらの構成要素は、１つの装置に搭載されているものであっても良いし、任意の組み合わせで分けられて複数の装置に搭載されているものであっても良いし、それぞれが別個の装置に搭載されているものであっても良い。撮像部１００、ポイント検知部２００、タイミング取得部４００、合成部５００および表示部６００は、第１の実施の形態におけるものとそれぞれ同じものである。

【0027】

入力部９００は、外部からの操作で入力を受け付ける。なお、表示部６００がタッチパネル機能を具備しているディスプレイである場合、表示部６００が入力部９００の機能も兼ね備えているものであっても良い。また、入力部９００が受け付ける入力は、文字入力であっても良いし、音声入力であっても良い。

【0028】

図１０は、図９に示した入力部９００の外観の一例を示す図である。図１０には、表示部６００が入力部９００の機能も兼ね備えているものを例に挙げて示している。図９に示した入力部９００は図１０に示すように、利用者が競技種目を選択するための画面が表示され、その表示にしたがって利用者が入力部９００を操作することで、その操作に基づいた入力を受け付ける。例えば、利用者が「一般男子１００ｍ」を選択（タッチ）した場合、入力部９００は競技種目として「一般男子１００ｍ」が選択されたことを入力する。

【0029】

記憶部８００は、所定の過去動画データをあらかじめ記憶する。記憶部８００は、競技ごとに過去の動画データを記憶する。

【0030】

図１１は、図９に示した記憶部８００が記憶している情報の一例を示す図である。図９に示した記憶部８００には図１１に示すように、競技名とレース番号と撮像日と大会名と記録と動画データとが対応付けられて記憶されている。競技名は、その競技の種目を示す情報である。レース番号は、記録されているレースの番号を示す情報である。撮像日は、その動画が撮像された日にちを示す情報である。大会名は、その競技が行われた大会の名称を示す情報である。記録は、記録されているレースの記録タイムを示す情報である。動画データは、記録されている動画そのものである。なお、動画データの項目には、動画データを識別する、例えば、動画ファイル名を記憶しておき、記憶部８００とは異なるデータベースに動画ファイル自体を記憶しておくものであっても良い。

【0031】

仮想動画生成部３０１は、入力部９００が受け付けた情報に基づいて、生成する仮想動画データの競技種目を決定する。仮想動画生成部３０１は、上述した第１の位置と第２の位置とに基づいて、記憶部８００に記憶されている過去動画データから、決定した競技種目と対応付けられている動画データを用いて仮想動画データを生成する。このように生成された仮想動画は、過去の動画データに記録されている競技者が競技を行っている様子が、撮像部１００が現在撮像している撮像動画データにおける競技場に対する画角や撮像方向、撮像位置等に応じたものとなる。なお、仮想動画生成部３０１は、記憶部８００に記憶されている記録に基づいて、競技の途中の状況を算出して、仮想動画を生成するものであっても良い。つまり、競技種目がタイムレースである場合、仮想動画生成部３０１は、記憶部８００に記憶されている記録に基づいて、競技者の競技中の平均速度を算出して、算出した平均速度で競技している競技者の仮想動画を生成するものであっても良い。また、競技種目が砲丸投げや走高跳等のフィールド競技である場合、仮想動画生成部３０１は、記憶部８００に記憶されている記録に基づいて、その砲丸や競技者の跳躍の軌跡を算出して、算出した軌跡で競技している砲丸や競技者の仮想動画を生成するものであっても良い。円盤上げやハンマー投げ、やり投げ等の投擲競技や、走り幅跳びや棒高跳び等の他の跳躍競技についても同様である。

【0032】

以下に、図９に示した表示システムにおける表示制御方法について説明する。図１２は、図９に示した表示システムにおける表示制御方法の一例を説明するためのフローチャートである。

【0033】

撮像部１００が競技の撮像を開始すると（ステップＳ１１）、ポイント検知部２００は、撮像部１００が撮像した撮像動画データから、特定ポイントを検知する（ステップＳ１２）。また、入力部９００が、外部からの操作に基づいて入力を受け付け、仮想動画生成部３０１がその入力にしたがって競技種目を取得する（ステップＳ１３）。すると、仮想動画生成部３０１が、取得した競技種目と対応付けられている記録や動画データを記憶部８００から読み出す（ステップＳ１４）。続いて、仮想動画生成部３０１が、ポイント検知部２００が検知した特定ポイントの撮像動画データにおける第１の位置と、競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、記憶部８００から読み出した記録や動画データを用いて、競技の仮想動画データを生成する（ステップＳ１５）。また、タイミング取得部４００が、競技を開始するタイミングを取得する（ステップＳ１６）。合成部５００は、タイミング取得部４００が取得したタイミングになったかどうかを判定し（ステップＳ１７）、タイミング取得部４００が取得したタイミングになると仮想動画データと撮像動画データとの合成を開始する（ステップＳ１８）。表示部６００は、合成部５００が合成した動画データを表示する（ステップＳ１９）。

【0034】

なお、仮想動画生成部３０１は、撮像部１００が撮像している撮像画像データについて画像解析を行い、画像解析の結果に基づいて、撮像部１００が撮像している競技が何の競技であるかを判定するものであっても良い。その場合、入力部９００からの入力（競技種目の選択操作）は不要となる。

【0035】

このように、本形態においては、競技を撮像した撮像データにおける特定ポイントの位置とその競技の過去の競技者のデータとに基づいて仮想動画を生成し、撮像データと仮想動画とを、競技の開始タイミングから合成し、合成した動画データを表示する。そのため、現在の競技者と過去の競技者とが同一のレースで競技しているかのような画像を表示することができ、競技者のレースの状況を他の競技者のレースの状況と正確に比較することができる。
（第３の実施の形態）

【0036】

図１３は、本発明の表示システムの第３の実施の形態を示す図である。本形態における表示システムは図１３に示すように、表示制御装置１０と、カメラ２０と、表示装置３０とを有する。表示制御装置１０は、ポイント検知部１１と、仮想動画生成部１２と、タイミング取得部１３と、合成部１４と、表示制御部１５とを有する。ポイント検知部１１は、第１の実施の形態におけるポイント検知部２００と同じものである。仮想動画生成部１２は、第１の実施の形態における仮想動画生成部３００と同じものである。タイミング取得部１３は、第１の実施の形態におけるタイミング取得部４００と同じものである。合成部１４は、第１の実施の形態における合成部５００と同じものである。表示制御部１５は、合成部１４が合成した動画データを表示装置３０へ送信して、表示装置３０における動画データの表示を制御する。カメラ２０は、第１の実施の形態における撮像部１００と同じものである。表示装置３０は、第１の実施の形態における表示部６００と同じものであって、表示制御部１５からの制御にしたがって、表示制御部１５から送信されてきた動画データを表示する。

【0037】

このように、本形態においては、現在の競技を撮像するカメラ２０と、仮想動画とカメラ２０が撮像している撮像動画とを合成する表示制御装置１０と、表示制御装置１０が合成した動画を表示する表示装置３０とを、互いに別個の装置として設ける。これにより、処理の負荷を複数の装置に分担させることができる。なお、例えば、カメラ２０と表示装置３０とを携帯通信端末に設け、通信ネットワークを介して表示制御装置１０との間で通信を行うものであっても良い。

【0038】

以上、各構成要素に各機能（処理）それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。

【0039】

上述した各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）を、各構成要素を具備した装置（例えば、表示制御装置１０。以下、情報処理装置と称する）にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを情報処理装置に読み込ませ、実行するものであっても良い。情報処理装置にて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの移設可能な記録媒体の他、情報処理装置に内蔵されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等を指す。この記録媒体に記録されたプログラムは、情報処理装置に設けられたＣＰＵにて読み込まれ、ＣＰＵの制御によって、上述したものと同様の処理が行われる。ここで、ＣＰＵは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。

【符号の説明】

【0040】

１０ 表示制御装置
１１，２００ ポイント検知部
１２，３００，３０１ 仮想動画生成部
１３，４００ タイミング取得部
１４，５００ 合成部
１５ 表示制御部
２０ カメラ
３０ 表示装置
１００ 撮像部
６００ 表示部
７００，７１０ 特定ポイント
７２０ 競技者
７３０，７４０ 仮想画像
８００ 記憶部
９００ 入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2021-12-20

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

競技者が競技を行うシーンを撮像動画データとして撮像する撮像部と、
前記撮像部が撮像した撮像動画データから、該撮像動画データに含まれる特定ポイントを検知するポイント検知部と、
前記ポイント検知部が検知した特定ポイントの前記撮像動画データにおける第１の位置と、前記競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、前記競技の仮想動画データを生成する仮想動画生成部と、
前記競技を開始するタイミングを取得するタイミング取得部と、
前記仮想動画生成部が生成した仮想動画データと、前記撮像部が撮像している撮像動画データとを合成する合成部と、
前記合成部が合成した動画データを表示する表示部とを有し、
前記合成部は、前記タイミング取得部が取得したタイミングで前記仮想動画データと前記撮像動画データとの合成を開始する表示システム。

【請求項2】

請求項１に記載の表示システムにおいて、
所定の過去動画データをあらかじめ記憶する記憶部を有し、
前記仮想動画生成部は、前記第１の位置と前記第２の位置とに基づいて、前記記憶部に記憶されている過去動画データから前記競技の仮想動画データを生成する表示システム。

【請求項3】

請求項１または請求項２に記載の表示システムにおいて、
外部からの操作で入力を受け付ける入力部を有し、
前記仮想動画生成部は、前記入力部が受け付けた情報に基づいて、生成する仮想動画データの競技を決定する表示システム。

【請求項4】

請求項１から３のいずれか１項に記載の表示システムにおいて、
前記競技は、タイムレースである表示システム。

【請求項5】

請求項１から４のいずれか１項に記載の表示システムにおいて、
過去の動画データをあらかじめ記憶する記憶部を有し、
前記仮想動画生成部は、前記記憶部が記憶している過去の動画データに記録されている記録に基づいて、前記競技の途中の状況を算出し、該算出した状況に応じた該競技の仮想動画データを生成する表示システム。

【請求項6】

請求項５に記載の表示システムにおいて、
前記仮想動画生成部は、前記記憶部に記憶されている記録に基づいて、前記競技者の競技中の平均速度を算出し、該算出した平均速度で競技している前記競技者を含む仮想動画を生成する表示システム。

【請求項7】

請求項５または請求項６に記載の表示システムにおいて、
前記仮想動画生成部は、前記記憶部に記憶されている記録に基づいて、投擲競技において投げられた物の軌跡を算出し、該算出した軌跡で投げられた前記物を含む仮想動画を生成する表示システム。

【請求項8】

請求項５から７のいずれか１項に記載の表示システムにおいて、
前記仮想動画生成部は、前記記憶部に記憶されている記録に基づいて、前記競技者の跳躍の軌跡を算出し、該算出した軌跡で競技している前記競技者を含む仮想動画を生成する表示システム。

【請求項9】

競技者が競技を行うシーンを撮像した撮像動画データから、該撮像動画データに含まれる特定ポイントを検知するポイント検知部と、
前記ポイント検知部が検知した特定ポイントの前記撮像動画データにおける第１の位置と、前記競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、前記競技の仮想動画データを生成する仮想動画生成部と、
前記競技を開始するタイミングを取得するタイミング取得部と、
前記仮想動画生成部が生成した仮想動画データと、前記撮像動画データとを合成する合成部と、
前記合成部が合成した動画データをディスプレイに表示させる表示制御部とを有し、
前記合成部は、前記タイミング取得部が取得したタイミングで前記仮想動画データと前記撮像動画データとの合成を開始する表示制御装置。

【請求項10】

競技者が競技を行うシーンを撮像した撮像動画データから、該撮像動画データに含まれる特定ポイントを検知する処理と、
前記検知した特定ポイントの前記撮像動画データにおける第１の位置と、前記競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、前記競技の仮想動画データを生成する処理と、
前記競技を開始するタイミングを取得する処理と、
前記生成した仮想動画データと、前記撮像している撮像動画データとを合成する処理と、
前記合成した動画データをディスプレイに表示させる処理と、
前記取得したタイミングで前記仮想動画データと前記撮像動画データとの合成を開始する処理とを行う表示制御方法。

【請求項11】

コンピュータに、
競技者が競技を行うシーンを撮像した撮像動画データから、該撮像動画データに含まれる特定ポイントを検知する手順と、
前記検知した特定ポイントの前記撮像動画データにおける第１の位置と、前記競技を行うフィールドにあらかじめ設置されている特定ポイントの設置位置である第２の位置とに基づいて、前記競技の仮想動画データを生成する手順と、
前記競技を開始するタイミングを取得する手順と、
前記生成した仮想動画データと、前記撮像している撮像動画データとを合成する手順と、
前記合成した動画データをディスプレイに表示させる手順と、
前記取得したタイミングで前記仮想動画データと前記撮像動画データとの合成を開始する手順とを実行させるためのプログラム。