特開 2024-55698 プログラム、映像処理装置、及び映像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024055698

(43)【公開日】2024-04-18

(54)【発明の名称】プログラム、映像処理装置、及び映像処理方法

(51)【国際特許分類】

   H04N 5/265 20060101AFI20240411BHJP

【ＦＩ】

H04N5/265

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022162827

(22)【出願日】2022-10-07

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）放送日： 令和４年３月６日 放送番組： 東京マラソン２０２１ （２）発行日： 令和４年９月１日 刊行物： 放送技術，７５巻，９月号，第１１１頁～第１１６頁，兼六館出版株式会社 （３）発行日： 令和４年１０月１日 刊行物： 月刊ニューメディア，通巻４７７号，１０号，第１９頁，株式会社ニューメディア （４）ウェブサイトの掲載日： ・令和４年４月２８日 ・令和４年６月７日 ・令和４年８月５日 ・令和４年９月１６日 ウェブサイトのアドレス：・ｈｔｔｐｓ：／／ｗｗｗ．ｎｔｖ．ｃｏ．ｊｐ／ｉｎｆｏ／ｐｒｅｓｓｒｅｌｅａｓｅ／２０２２０４２８．ｈｔｍｌ ・ｈｔｔｐｓ：／／ｗｗｗ．ｎｔｖ．ｃｏ．ｊｐ／ｉｎｆｏ／ｐｒｅｓｓｒｅｌｅａｓｅ／２０２２０６０７．ｈｔｍｌ ・ｈｔｔｐｓ：／／ｗｗｗ．ｎｔｖ．ｃｏ．ｊｐ／ｉｎｆｏ／ｐｒｅｓｓｒｅｌｅａｓｅ／２０２２０８０５．ｈｔｍｌ ・ｈｔｔｐｓ：／／ｗｗｗ．ｎｔｖ．ｃｏ．ｊｐ／ｉｎｆｏ／ｐｒｅｓｓｒｅｌｅａｓｅ／２０２２０９１６．ｈｔｍｌ （５）開催日： ・令和４年３月９日 ・令和４年５月２０日 ・令和４年５月２４日 ・令和４年８月２５日 ・令和４年９月２８日 集会名： ・映像情報メディア学会技術振興賞進歩開発賞先行部会 ・日本映画テレビ技術協会 技術開発賞審査会 ・放送文化基金賞＜技術部門＞ 審査会議 ・日本民間放送連盟賞 技術部門 事績説明会 ・日本映画テレビ技術協会大賞（経済産業大臣賞）選定委員会

(71)【出願人】

【識別番号】313000601

【氏名又は名称】日本テレビ放送網株式会社

(74)【代理人】

【識別番号】100201341

【弁理士】

【氏名又は名称】畠山 順一

(72)【発明者】

【氏名】篠田 貴之

(72)【発明者】

【氏名】松本 和将

【テーマコード（参考）】

5C023

【Ｆターム（参考）】

5C023AA11

5C023AA16

5C023BA11

5C023CA01

(57)【要約】

【課題】競技の状況が視聴者にとってわかり易い映像を生成すること。
【解決手段】映像処理装置は、所定の撮影位置から所定の画角及びアングルにより撮影された実映像中の第１競技オブジェクトの位置情報を取得する手段と、第１競技オブジェクトの位置情報に対応する競技開始からの経過時間を取得する手段と、第２競技オブジェクトの過去の競技開始からの経過時間とその位置情報とを少なくとも含む競技記録情報を用いて、第１競技オブジェクトの経過時間に対応する第２競技オブジェクトの位置情報を取得する手段と、第２競技オブジェクトの位置情報から推定される推定位置に、第２競技オブジェクトに対応する仮想競技オブジェクトを配置した仮想競技オブジェクト映像を生成する手段と、第１競技オブジェクトの位置情報と第２競技オブジェクトの位置情報との差が所定範囲にある場合、実映像と仮想競技オブジェクト映像とを合成する手段と、を備える。
【選択図】図９

【特許請求の範囲】

【請求項1】

コンピュータを、
所定の撮影位置から所定の画角及びアングルにより撮影された実映像中の第１競技オブジェクトの位置情報を取得する第１競技オブジェクト位置情報取得手段、
前記第１競技オブジェクトの位置情報に対応する競技開始からの経過時間を取得する経過時間取得手段、
第２競技オブジェクトの過去の競技開始からの経過時間とその位置情報とを少なくとも含む競技記録情報を用いて、前記第１競技オブジェクトの経過時間に対応する前記第２競技オブジェクトの位置情報を取得する第２競技オブジェクト位置情報取得手段、
前記第２競技オブジェクトの位置情報から推定される推定位置に、前記第２競技オブジェクトに対応する仮想競技オブジェクトを配置した仮想競技オブジェクト映像を生成する仮想競技オブジェクト映像生成手段、
前記第１競技オブジェクトの位置情報と前記第２競技オブジェクトの位置情報との差が所定範囲にある場合、前記実映像と前記仮想競技オブジェクト映像とを合成する合成手段、
として機能させるプログラム。

【請求項2】

前記仮想競技オブジェクト映像生成手段は、
前記第２競技オブジェクトの競技記録情報を用いて、仮想的な三次元空間において前記仮想競技オブジェクトを移動させ、前記第２競技オブジェクトの疑似的な走行モデルを生成し、
前記走行モデルにおける、前記第２競技オブジェクトの推定位置に対応する位置の仮想競技オブジェクトを、前記所定の撮影位置における前記所定の画角及びアングルを模してキャプチャして仮想競技オブジェクト映像を生成する、
請求項１に記載のプログラム。

【請求項3】

前記合成手段は、前記第１競技オブジェクトと前記仮想競技オブジェクトとが重畳しないように、前記仮想競技オブジェクト映像の重畳位置を調整する、
請求項１又は請求項２に記載のプログラム。

【請求項4】

前記プログラムは、
前記第１競技オブジェクト及び前記仮想競技オブジェクトの位置関係を識別する位置関係識別手段、
前記仮想競技オブジェクトのフィル信号を生成するフィル信号生成部と、
前記第１競技オブジェクト及び前記仮想競技オブジェクトの実映像上の領域と、前記第１競技オブジェクト及び前記仮想競技オブジェクトの位置関係と、を用いて、キー信号を生成するキー信号生成手段と、
前記実映像と前記フィル信号と前記キー信号とを合成し、合成映像信号を生成する画像合成手段、
として機能させる請求項１に記載のプログラム。

【請求項5】

前記位置関係識別手段は、前記第１競技オブジェクト及び前記仮想競技オブジェクトの所定部位の大きさに基づいて、前記第１競技オブジェクトと前記仮想競技オブジェクトとの位置関係を識別する、
請求項４に記載のプログラム。

【請求項6】

前記キー信号生成手段は、前記仮想競技オブジェクトの領域と、前記仮想競技オブジェクトよりも映像上において前方に位置する前記第１競技オブジェクトの領域と、が重なる領域は、前記仮想競技オブジェクトを重畳させないキー信号を生成する、
請求項４又は請求項５に記載のプログラム。

【請求項7】

所定の撮影位置から所定の画角及びアングルにより撮影された実映像中の第１競技オブジェクトの位置情報を取得する第１競技オブジェクト位置情報取得手段と、
前記第１競技オブジェクトの位置情報に対応する競技開始からの経過時間を取得する経過時間取得手段と、
第２競技オブジェクトの過去の競技開始からの経過時間とその位置情報とを少なくとも含む競技記録情報を用いて、前記第１競技オブジェクトの経過時間に対応する前記第２競技オブジェクトの位置情報を取得する第２競技オブジェクト位置情報取得手段と、
前記第２競技オブジェクトの位置情報から推定される推定位置に、前記第２競技オブジェクトに対応する仮想競技オブジェクトを配置した仮想競技オブジェクト映像を生成する仮想競技オブジェクト映像生成手段と、
前記第１競技オブジェクトの位置情報と前記第２競技オブジェクトの位置情報との差が所定範囲にある場合、前記実映像と前記仮想競技オブジェクト映像とを合成する合成手段と、
を備える映像処理装置。

【請求項8】

所定の撮影位置から所定の画角及びアングルにより撮影された実映像中の第１競技オブジェクトの位置情報を取得し、
前記第１競技オブジェクトの位置情報に対応する競技開始からの経過時間を取得し、
第２競技オブジェクトの過去の競技開始からの経過時間とその位置情報とを少なくとも含む競技記録情報を用いて、前記第１競技オブジェクトの経過時間に対応する前記第２競技オブジェクトの位置情報を取得し、
前記第２競技オブジェクトの位置情報から推定される推定位置に、前記第２競技オブジェクトに対応する仮想競技オブジェクトを配置した仮想競技オブジェクト映像を生成し、
前記第１競技オブジェクトの位置情報と前記第２競技オブジェクトの位置情報との差が所定範囲にある場合、前記実映像と前記仮想競技オブジェクト映像とを合成する、
映像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像処理に関するプログラム、映像処理装置、及び映像処理方法に関する。

【背景技術】

【0002】

従来から、実写映像とＣＧ(computer graphics)画像とを合成し、ひとつの映像とする合成技術が行われている。上述した合成処理は、人物や、物の前面にＣＧ画像を重畳することを前提に構成されており、自然な形で人物や物の間にＣＧ画像を重畳することを前提としていない。
そこで、自然な形で人物や物の間にＣＧ画像を重畳することを可能とする技術が提案されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許７０５８１４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一方で、タイムを争う競技等において、過去の記録と対比するために、言葉や文字でその状況を解説している。しかし、言葉や文字だけの表現だけでは、視聴者にとってイメージがわきにくく、状況を伝える表現が求められていた。
そこで、本発明は、競技の状況が視聴者にとってわかり易い映像を生成するプログラム、映像処理装置、及び映像処理方法を提供することにある。

【課題を解決するための手段】

【0005】

本発明の一態様は、コンピュータを、所定の撮影位置から所定の画角及びアングルにより撮影された実映像中の第１競技オブジェクトの位置情報を取得する第１競技オブジェクト位置情報取得手段、前記第１競技オブジェクトの位置情報に対応する競技開始からの経過時間を取得する経過時間取得手段、第２競技オブジェクトの過去の競技開始からの経過時間とその位置情報とを少なくとも含む競技記録情報を用いて、前記第１競技オブジェクトの経過時間に対応する前記第２競技オブジェクトの位置情報を取得する第２競技オブジェクト位置情報取得手段、前記第２競技オブジェクトの位置情報から推定される推定位置に、前記第２競技オブジェクトに対応する仮想競技オブジェクトを配置した仮想競技オブジェクト映像を生成する仮想競技オブジェクト映像生成手段、前記第１競技オブジェクトの位置情報と前記第２競技オブジェクトの位置情報との差が所定範囲にある場合、前記実映像と前記仮想競技オブジェクト映像とを合成する合成手段、として機能させるプログラムである。

【0006】

本発明の一態様は、所定の撮影位置から所定の画角及びアングルにより撮影された実映像中の第１競技オブジェクトの位置情報を取得する第１競技オブジェクト位置情報取得手段と、前記第１競技オブジェクトの位置情報に対応する競技開始からの経過時間を取得する経過時間取得手段と、第２競技オブジェクトの過去の競技開始からの経過時間とその位置情報とを少なくとも含む競技記録情報を用いて、前記第１競技オブジェクトの経過時間に対応する前記第２競技オブジェクトの位置情報を取得する第２競技オブジェクト位置情報取得手段と、前記第２競技オブジェクトの位置情報から推定される推定位置に、前記第２競技オブジェクトに対応する仮想競技オブジェクトを配置した仮想競技オブジェクト映像を生成する仮想競技オブジェクト映像生成手段と、前記第１競技オブジェクトの位置情報と前記第２競技オブジェクトの位置情報との差が所定範囲にある場合、前記実映像と前記仮想競技オブジェクト映像とを合成する合成手段と、を備える映像処理装置である。

【0007】

本発明の一態様は、所定の撮影位置から所定の画角及びアングルにより撮影された実映像中の第１競技オブジェクトの位置情報を取得し、前記第１競技オブジェクトの位置情報に対応する競技開始からの経過時間を取得し、第２競技オブジェクトの過去の競技開始からの経過時間とその位置情報とを少なくとも含む競技記録情報を用いて、前記第１競技オブジェクトの経過時間に対応する前記第２競技オブジェクトの位置情報を取得し、前記第２競技オブジェクトの位置情報から推定される推定位置に、前記第２競技オブジェクトに対応する仮想競技オブジェクトを配置した仮想競技オブジェクト映像を生成し、前記第１競技オブジェクトの位置情報と前記第２競技オブジェクトの位置情報との差が所定範囲にある場合、前記実映像と前記仮想競技オブジェクト映像とを合成する、映像処理方法である。

【発明の効果】

【0008】

本発明は、競技の状況が視聴者にとってわかり易い映像を生成することができる。

【図面の簡単な説明】

【0009】

【図1】図１は第１競技オブジェクトが写っている実映像の一例を示す図である。

【図2】図２は第２競技オブジェクトに対応する仮想競技オブジェクトを説明するための図である。

【図3】図３は実映像と仮想競技オブジェクト映像との合成処理を説明するための図である。

【図4】図４は第１の実施の形態における情報処理装置１のブロック図である。

【図5】図５は競技記録情報データベース１０の一例を示す図である。

【図6】図６は本実施の形態における第１競技オブジェクトの位置情報を取得する方法を説明するための図である。

【図7】図７は重畳位置調整部１５１の動作を説明するための図である。

【図8】図８は映像処理装置１の動作のフローチャートである。

【図9】図９は第２の実施の形態における映像処理装置１のブロック図である。

【図10】図１０は画像識別部１５３による識別の一例を説明するための図である。

【図11】図１１はオブジェクの位置関係の識別を説明するための図である。

【図12】図１２はオブジェクの位置関係の識別を説明するための図である。

【図13】図１３は画像合成の動作を説明するための図である。

【図14】図１４は画像合成の動作を説明するための図である。

【図15】図１５は画像合成の動作を説明するための図である。

【図16】図１６はコンピュータシステム３によって構成された映像処理装置１のブロック図である。

【発明を実施するための形態】

【0010】

本発明の実施の形態における映像処理装置、映像処理方法及びプログラムを説明する。
まず、具体的な映像処理装置の説明を始める前に、本発明の実施の形態の概要を説明する。

【0011】

図１は第１競技オブジェクトが写っている実映像の一例を示す図である。図１に示される映像は、現在競技を行っている第１競技オブジェクトを、第１競技オブジェクトの前を走行する移動中継車から所定の画角及びアングルで撮影した映像である。本例では、第１競技オブジェクトが、マラソン競技を行っているマラソン選手である場合を例にして説明するが、他の陸上競技の競技者のみならず、水泳などの他の競技の競技者でも良い。以下の説明では、第１競技オブジェクトを撮影する移動中継車のカメラ位置を所定の撮影位置とし、移動中継車のカメラにより所定の画角及びアングルで、第１競技オブジェクトを撮影するものとして説明する。

【0012】

次に、第２競技オブジェクトについて説明する。図２は第２競技オブジェクトに対応する仮想競技オブジェクトを説明するための図である。

【0013】

第２競技オブジェクトは、第１競技オブジェクトと同様に競技者である。但し、第２競技オブジェクトは、現在、競技を行っているのではなく、過去に競技を行い、その競技の内容を記録された競技者である。競技記録情報は、第２競技オブジェクトの競技記録であり、競技位置（距離）とその経過時間（タイム）とが対応付けられた情報である。例えば、マラソン等では、区間（走行距離）毎の経過時間（タイム）等である。

【0014】

本実施の形態では、第２競技オブジェクトの競技記録情報を用いて、仮想的な３次元空間上において、第２競技オブジェクトに対応する仮想競技オブジェクトを、第２競技オブジェクトを模して移動させ、仮想競技オブジェクトの走行モデルを生成する。仮想競技オブジェクトは、例えば、第２競技オブジェクトを模したコンピュータグラフィックスである。第２競技オブジェクトがマラソン選手であるならば、第２競技オブジェクトの仮想競技オブジェクトは、競技記録情報による速度で、仮想空間を移動することになる。このような仮想競技オブジェクトの走行モデルを生成する目的は、希望する撮影位置、画角及びアングルを模して、第２競技オブジェクトの競技記録情報から推定される位置に存在する仮想競技オブジェクトをキャプチャして仮想競技オブジェクト映像を生成するためにある。このように走行モデルに基づいてキャプチャされた仮想競技オブジェクトの映像を、以下、仮想競技オブジェクト映像と記載する。

【0015】

本実施の形態は、第１競技オブジェクトの映像時において、第１競技オブジェクトを撮影している撮影位置、画角、及びアングル等の情報を取得する。

【0016】

また、第１競技オブジェクトの位置情報（例えば、スタート地点からの距離情報）を取得する。第１競技オブジェクトの位置情報は、第１競技オブジェクトの自身が位置情報を取得できる装置を携帯しても良いし、第１競技オブジェクトを撮影する移動中継車に車載された位置情報取得システムから、第１競技オブジェクトのおよその位置を計測するようにしても良い。

【0017】

次に、実映像と仮想競技オブジェクト映像との合成について説明する。
まず、第１競技オブジェクトを撮影するとともに、競技開始時刻と現在時刻との差から競技の経過時間を取得する。また、第１競技オブジェクトの位置（距離）を取得する。

【0018】

続いて、第２競技オブジェクトの競技記録情報から、取得した第１競技オブジェクトの経過時間に対応する第２競技オブジェクトの位置（距離）を取得する。そして、第１競技オブジェクトの位置（距離）と第２競技オブジェクトの位置（距離）との差が所定範囲の場合に、実映像と仮想競技オブジェクト映像との合成処理を開始する。所定範囲は予め定めることができるが、一つの方法として、例えば、現在、第１競技オブジェクトを撮影している位置、画角及びアングルの範囲内で、実映像中に仮想競技オブジェクト（第２競技オブジェクト）が写ることが可能か否かで、所定範囲を決定するようにしても良い。また、第１競技オブジェクトの位置（距離）と第２競技オブジェクトの位置（距離）との差が１０ｍ以内など、具体的な数値により定めても良い。

【0019】

図３は実映像と仮想競技オブジェクト映像との合成処理を説明するための図である。
合成処理が開始されると、現在の走行モデルから、実映像を撮影している撮影位置（仮想競技オブジェクトまでの距離等）、画角及びアングルを模して、仮想競技オブジェクトをキャプチャし、実映像と同様な撮影位置、画角及びアングルの仮想競技オブジェクト映像を生成する。そして、生成した仮想競技オブジェクト映像を実映像に重畳して、合成映像を生成する。

【0020】

このように処理された合成映像は、第１競技オブジェクトと第２競技オブジェクトを模した仮想競技オブジェクトとの差を視覚的に認識できるので、音声や文字などの位置差の表現に比べて、競技の状況をより明確に伝えることができる。

【0021】

＜第１の実施の形態＞
上述した映像処理を実現する第１の実施の形態における情報処理装置１について説明する。図４は第１の実施の形態における情報処理装置１のブロック図である。

【0022】

情報処理装置１は、競技記録情報データベース１０と、仮想競技オブジェクト映像生成部１１と、第１競技オブジェクト位置・経過時間情報取得部１２と、第２競技オブジェクト位置情報取得部１３と、位置情報差分計算部１４と、映像合成部１５と、を備える。

【0023】

競技記録情報データベース１０は、第２競技オブジェクトの過去の競技の競技記録情報が格納されたデータベースである。競技記録情報は、競技開始からの経過時間と、その経過時間における第２競技オブジェクトの位置情報とが少なくとも対応付けられた情報である。尚、競技記録情報は、それ以外の情報を含んでいても良い。図５は競技記録情報データベース１０の一例を示す図である。図５の競技記録情報データベース１０の競技情報は、競技がマラソンであり、第２競技オブジェクトがマラソン選手Ｘの競技記録情報を示しており、位置情報としてスタート地点からの距離と、その地点までのスタートからの経過時間と、その区間（１ｋｍ毎）の平均速度と、が対応付けられて記録されている。

【0024】

仮想競技オブジェクト映像生成部１１は、走行モデル生成部１１１を備える。
仮想競技オブジェクト映像生成部１１の走行モデル生成部１１１は、競技記録情報データベース１０の第２競技オブジェクトの競技情報を用いて、仮想的な３次元空間上において、第２競技オブジェクトに対応する仮想競技オブジェクトを、第２競技オブジェクトを模して移動させ、仮想競技オブジェクトの走行モデルを生成する。仮想競技オブジェクトは、例えば、第２競技オブジェクトを模したコンピュータグラフィックスである。第２競技オブジェクトがマラソン選手であるならば、マラソンの競技開始（スタート）から経過時間に応じた区間の平均速度により、第２競技オブジェクトに対応する仮想競技オブジェクトを移動させ、第２競技オブジェクトを模した仮想競技オブジェクトの走行モデルを生成する。

【0025】

また、仮想競技オブジェクト映像生成部１１は、位置情報差分計算部１４から、第１競技オブジェクトの現在位置（距離）と第２競技オブジェクトの位置情報（距離）との差分を取得し、その差分が所定範囲内である場合、仮想競技オブジェクト映像を生成する。仮想競技オブジェクト映像生成部１１は、後述するように、第２競技オブジェクトの位置情報（距離）が取得可能であり、第２競技オブジェクトの位置情報（距離）と第１競技オブジェクトを撮影する移動中継車２の撮影位置との間の距離とから、撮影距離も判明する。そこで、第２競技オブジェクトの位置と撮影位置との間の撮影距離、撮影する画角、及び撮影アングルを取得し、実映像の撮影位置、画角、及びアングルを模して、走行モデルにおける仮想競技オブジェクトをキャプチャすることにより、仮想競技オブジェクト映像を生成する。

【0026】

第１競技オブジェクト位置・経過時間情報取得部１２は、第１競技オブジェクトの現在位置（距離）と経過時間（競技開始時刻から現在時刻までの時間）とを取得する。第１競技オブジェクトの位置情報は、第１競技オブジェクトの自身が位置情報を取得できる装置を携帯している場合は、その装置から第１競技オブジェクトの位置情報を取得することが可能である。しかし、第１競技オブジェクトがそのような装置を携帯することができない場合も多いと考えられる。

【0027】

そこで、本実施の形態では、第１競技オブジェクトを撮影する移動中継車に車載された位置情報取得システムから、第１競技オブジェクトの位置情報を取得する。図６は本実施の形態における第１競技オブジェクトの位置情報を取得する方法を説明するための図である。移動中継車２は、既知のＧＰＳシステム等を車載しており、正確な位置情報を取得できる。そして、移動中継車２から選手（第１競技オブジェクト）までの距離Ｌは、レーザやLIDAR等の既知の技術を用いて、測定することができる。よって、第１競技オブジェクトの位置情報（距離）は、移動中継車２の位置情報（距離）と距離Ｌとの差分より取得可能である。また、第１競技オブジェクトの経過時間（競技開始時刻から現在時刻までの時間）は、競技開始からスタートするタイマにより取得可能である。

【0028】

第２競技オブジェクト位置情報取得部１３は、第１競技オブジェクト位置・経過時間情報取得部１２から第１競技オブジェクトの経過時間を取得し、この経過時間に対応する第２競技オブジェクトの位置情報（距離）を、競技記録情報データベース１０を参照して取得する。競技記録情報データベース１０の競技情報に対応する経過時間がない場合は、その経過時間を含む区間の平均速度から経過時間に対応する位置情報（距離）を計算して取得する。図５の例において、経過時間が４分３０秒である場合、区間２の平均速度を用いて、第２競技オブジェクトの位置情報（距離）は、以下のように計算することができる。
２＋１８．９×（９０／３６００）≒２．４７ｋｍ

【0029】

位置情報差分計算部１４は、第１競技オブジェクト位置・経過時間情報取得部１２から第１競技オブジェクトの現在位置（距離）を取得し、第２競技オブジェクト位置情報取得部１３から２競技オブジェクトの位置情報（距離）を取得し、第１競技オブジェクトの現在位置（距離）と第２競技オブジェクトの位置情報（距離）との差分を計算し、その差分を仮想競技オブジェクト映像生成部１１に出力する。

【0030】

映像合成部１５は、第１競技オブジェクトが写っている実映像と仮想競技オブジェクト映像とを合成する。映像合成部１５は、重畳位置調整部１５１を備えている。重畳位置調整部１５１は、仮想競技オブジェクトが第１競技オブジェクトに重ならないように、仮想競技オブジェクト映像の重畳位置を調整するものである。重畳位置調整部１５１は、画像認識等により、第１競技オブジェクトと仮想競技オブジェクトとの重畳している位置を認識し、例えば、図７に示す如く、仮想競技オブジェクト映像を左右に移動させ、仮想競技オブジェクトが第１競技オブジェクトと重畳しないように仮想競技オブジェクト映像の重畳位置を調整する。尚、仮想競技オブジェクト映像を前後（上下）に移動させると距離差が生じるので、好ましくない。映像合成部１５は、実映像の第１競技オブジェクトと仮想競技オブジェクト映像の仮想競技オブジェクトとが重ならなくなると、合成映像を出力する。

【0031】

続いて、本実施の形態における映像処理装置１の動作を説明する。図８は映像処理装置１の動作のフローチャートである。

【0032】

まず、仮想競技オブジェクト映像生成部１１は、競技記録情報データベース１０から、第２競技オブジェクトの競技記録情報を取得する（Ｓｔｅｐ １００）。仮想競技オブジェクト映像生成部１１の走行モデル生成部１１１は、第２競技オブジェクトの競技記録情報を用いて、第２競技オブジェクトに対応する仮想競技オブジェクトの走行モデルを生成する（Ｓｔｅｐ １０１）。

【0033】

第１競技オブジェクト位置・経過時間情報取得部１２は、第１競技オブジェクトの現在位置ｘ（距離）と、経過時間ｔ（競技開始時刻から現在時刻までの時間）とを取得する（Ｓｔｅｐ １０２）。そして、第１競技オブジェクト位置・経過時間情報取得部１２は、取得した経過時間ｔを第２競技オブジェクト位置情報取得部１３に出力し、取得した位置情報ｘを位置情報差分計算部１４に出力する。

【0034】

第２競技オブジェクト位置情報取得部１３は、競技記録情報データベース１０を参照し、第１競技オブジェクトの経過時間ｔに対応する第２競技オブジェクトの位置情報（距離）ｙを取得する（Ｓｔｅｐ １０３）。尚、経過時間ｔに対応する位置情報（距離）ｙが競技記録情報にない場合は、経過時間ｔを含む区間の平均速度から経過時間ｔに対応する位置情報（距離）ｙを計算して取得する。

【0035】

位置情報差分計算部１４は、第１競技オブジェクトの現在位置（距離）ｘと第２競技オブジェクトの位置情報（距離）ｙとの差分（ｘ－ｙ）を計算し、その差分（ｘ－ｙ）を仮想競技オブジェクト映像生成部１１に出力する（Ｓｔｅｐ １０４）。

【0036】

仮想競技オブジェクト映像生成部１１は、差分（ｘ－ｙ）が所定範囲であるかを判定する（Ｓｔｅｐ １０５）。仮想競技オブジェクト映像生成部１１は、差分（ｘ－ｙ）が所定範囲である場合、実映像の撮影位置、画角、及びアングルを取得する（Ｓｔｅｐ １０６）。例えば、所定範囲を－１０ｍから＋１０ｍとした場合、差分（ｘ－ｙ）が、－１０ｍから＋１０ｍの範囲にある場合、実映像の撮影位置、画角、及びアングルを取得する。

【0037】

仮想競技オブジェクト映像生成部１１は、実映像の撮影位置、例えば、実映像を撮影している移動中継車の位置（距離）と仮想競技オブジェクト（第２競技オブジェクト）の位置（距離）とから、仮想競技オブジェクト（第２競技オブジェクト）の撮影距離を求め、この撮影距離、実映像の撮影画角及び撮影アングルを模して仮想競技オブジェクトをキャプチャし、仮想競技オブジェクト映像を生成し、映像合成部１５に出力する（Ｓｔｅｐ １０７）。一方、差分が所定範囲でない場合、Ｓｔｅｐ １０２に戻る。

【0038】

映像合成部１５は、第１競技オブジェクトが写っている実映像と仮想競技オブジェクト映像とを合成する（Ｓｔｅｐ １０８）。このとき、実映像の第１競技オブジェクトと仮想競技オブジェクト映像の仮想競技オブジェクトとが重なっている場合（Ｓｔｅｐ １０９）、映像合成部１５の重畳位置調整部１５１は、仮想競技オブジェクトが第１競技オブジェクトに重ならないように、仮想競技オブジェクト映像の重畳位置を調整する（Ｓｔｅｐ １１１）。映像合成部１５は、重畳位置が調整された仮想競技オブジェクト映像と実映像とを合成する（Ｓｔｅｐ １０８）。そして、実映像の第１競技オブジェクトと仮想競技オブジェクト映像の仮想競技オブジェクトとが重ならなくなると、合成映像を出力する（Ｓｔｅｐ １１０）。

【0039】

第１の実施の形態は、過去の競技者の記録を仮想オブジェクトにより再現し、それを実映像に重畳させているので、第１競技オブジェクト（映像上の競技者）と仮想競技オブジェクト（過去の競技者）との位置差（距離差）を視覚的に認識できるので、音声や文字などの位置差の表現に比べて、競技の状況をより明確に伝えることができる。

【0040】

尚、第１競技オブジェクト（映像上の競技者）と仮想競技オブジェクト（過去の競技者）との位置差（距離差）は、位置情報差分計算部１４により算出されているので、その（距離差）を仮想競技オブジェクトと共に実映像上に表示するようにしても良い。

【0041】

＜第２の実施の形態＞
第２の実施の形態を説明する。
第２の実施の形態は、仮想オブジェクトを、より自然な映像になるように実映像に重畳する例を説明する。

【0042】

図９は第２の実施の形態における映像処理装置１のブロック図である。
第２の実施の形態の映像処理装置１における映像合成部１５は、重畳位置調整部１５１に代えて、画像識別部１５３と、人物領域検出部１５４と、位置関係識別部１５５と、フィル信号生成部１５６と、キー信号生成部１５７と、画像合成部１５８と、を備える。

【0043】

画像識別部１５３は、入力された映像から人物を認識する。映像上の人物の認識であるが、人物であることが認識できればよく、個々の人物の属性等まで認識できる必要はない。すなわち、映像中の木や車等の存在物と人物とが区別できるような認識ができれば良い。そして、認識した人物の個人を特定するような属性（氏名や、属するチーム等）まで、識別する必要はない。

【0044】

次に、画像識別部１５３は、識別された人物から第１競技オブジェクト（選手）を識別する。多数の人物が存在する映像から正しく第１競技オブジェクト（選手）を識別するためには、どこに着目して識別するかが重要である。例えば、映像中の第１競技オブジェクト（選手）を識別するには、ユニフォームの色や模様、タスキ及びゼッケンに記載されている文字等が重要な要素となる。一方、個々の第１競技オブジェクト（選手）の氏名等まで特定したいのならば、各選手の顔の特徴は重要な要素である。このような画像識別部１の画像識別方法としては、パターンマッチングや、ディープラーニング等の手法を用いた機械学習などがある。

【0045】

画像識別部１５３による識別の一例を以下に説明する。
前処理として、多くの人物（例えば、観客）と第１競技オブジェクト（選手）とを区別し、第１競技オブジェクト（選手）と思われる人物に対して、より細かな選手の識別をした方が、高精度に第１競技オブジェクト（選手）の属性等を識別できる可能性が高い。

【0046】

例えば、マラソンや駅伝等のスポーツでは、第１競技オブジェクト（選手）を一定の大きさで映るように、カメラは第１競技オブジェクト（選手）と一定の距離を保ちながら移動するケースが多い。この場合、第１競技オブジェクト（選手）はカメラと共に移動するが、観客はその場に留まる傾向が高い。例えば、時刻ｔの画像フレームの映像が図１０に示すような場合、時刻ｔ＋１の画像フレームの映像では、観客はその場に留まり、図１０に示すような映像になる。つまり、第１競技オブジェクト（選手）とカメラとの位置は時刻が進んでも維持されるが、各観客とカメラとの距離は離れるため、異なる時刻で得られるフレーム画像中の人物に関して同一人物を対応付ける追跡処理を行うことにより、各人物のカメラとの相対的な移動量を推定することができる。この移動量を用いることで、第１競技オブジェクト（選手）と観客とを判別できる。移動量は、対応付けられた異なる時刻に得られた画像内の人物の座標位置の差分ベクトルで表す。

【0047】

このような差分ベクトルの移動量と、各フレーム単位で算出された識別対象毎の尤度とを関連付けて記憶していく。そして、差分ベクトルの移動量が予め定めた値以上である人物を観客とし、その人物を識別対象の第１競技オブジェクト（選手）の候補から除外する。そして、除外された人物の中から第１競技オブジェクト（選手）として尤度が高いものを選択していくようにする。そして、選手として識別された人物について、顔やユニフォームの特徴等から、第１競技オブジェクト（選手）を識別する。

【0048】

このようにすれば、第１競技オブジェクト（選手）と観客等の他の人物とを精度よく識別可能であり、結果として識別対象の第１競技オブジェクト（選手）を高精度で識別することができる。

【0049】

人物領域検出部１５４は、画像識別部１により第１競技オブジェクト（選手）として識別された人物が映像上で占める領域（人物領域）を検出するものである。映像上の人物領域の検出は、既知のエッジ部の検出方法等を用いることができる。

【0050】

位置関係識別部１５５は、画像識別部１により識別された第１競技オブジェクト（選手）の映像上の位置関係を識別するものである。位置関係を識別する一つの方法としては、映像上の人物の大きさを用いる。２次元の映像では、手前にあるものが大きく映り、遠方にあるものほど小さく映る。これは競技を撮影している場合も同様である。例えば、マラソンや駅伝では、選手を正面から撮影した場合、手前を走る選手ほど映像上で大きく映り、後方の選手ほど映像上で小さく映る。選手を背面から撮影した場合も、同様である。位置関係識別部１５５は、このような性質を利用し、画像識別部１により識別した第１競技オブジェクト（選手）の映像上の大きさから各識別対象の位置関係を識別する。

【0051】

具体的には、位置関係識別部１５５は、上述した画像識別部１と同様に、画像識別部１が識別した単数又は複数の第１競技オブジェクト（選手）に関して、図１１に示す如く、頭頂部から首中点を結ぶ直線の距離をＬとし、人物の首中心から下方向の位置にＬ×２Ｌの大きさの注目領域を設定する。そして、位置関係識別部１５５は、識別した単数又は複数の第１競技オブジェクト（選手）の映像上の大きさの指標として、この注目領域の大きさ（例えば、面積）に着目する。

【0052】

例えば、図１２は選手を正面から撮影した映像の場合であり、図１２の例では、第１競技オブジェクトＡ（選手）の注目領域が最も大きく、第１競技オブジェクトＣ（選手）が最も小さい。従って、選手の位置関係は、映像手前から、、第１競技オブジェクトＡ（選手）、第１競技オブジェクトＢ（選手）、第１競技オブジェクトＣ（選手）の順であることが識別できる。

【0053】

このように、識別された選手の映像上の大きさに着目することにより、位置関係識別部１５５は、画像識別部１５２により識別された第１競技オブジェクト（選手）の映像上の位置関係を識別することができる。

【0054】

尚、上述した例では、識別した第１競技オブジェクト（選手）の注目領域に着目して位置関係を識別したが、これに限られない。注目領域の大きさを決定したＬ等の長さに着目するようにしても良い。更に、例えば、第１競技オブジェクト（選手）自体の映像内での選手の大きさでも良い。また、他の方法として、各第１競技オブジェクト（選手）が共通して装着している装着具に着目する方法がある。例えば、ゼッケン等は、第１競技オブジェクト（選手）間で共通の大きさなので、好適である。更に、位置関係を識別する一つの方法としては、映像上にある基準点を利用する方法がある。基準点の例としては、映像上の消失点等がある。位置関係の特定は、まず、画像識別部１５３により、識別された選手の映像上の位置情報を取得する。映像上にある消失点と各選手の映像上の位置情報との距離を計算し、この距離が長い程、映像上手前にあると推定する。また、各オブジェクトの映像上の座標や、距離推定ＡＩ等のプログラムを用いる方法もある。

【0055】

更に、本例の応用例として、位置関係を識別するために用いた大きさから、第１競技オブジェクト間の相対的な距離も求めることが可能である。競技の撮影に用いられるカメラは、撮影した映像とともに、画角などの撮影情報を取得する機能を有する。従って、画角などと、位置関係を識別するために用いた大きさと距離との関係とを、予め学習しておけば、第１競技オブジェクト（選手）間の距離も算出することが可能である。

【0056】

更に、位置関係識別部１５５は、仮想競技オブジェクト映像中の仮想競技オブジェクトについても、第１競技オブジェクト（選手）と同様な注目領域を設定し、その注目領域の大きさを求め、第１競技オブジェクト（選手）の注目領域の大きさと比較することにより、実映像中の第１競技オブジェクト（選手）間の位置関係のみならず、第１競技オブジェクト（選手）と仮想競技オブジェクトとの位置関係も識別する。これにより、位置関係識別部１５５は、実映像中の第１競技オブジェクト（選手）と仮想競技オブジェクトとを含めたオブジェクトの位置関係を識別することができる。尚、位置情報差分計算部１４で求めた差分を用いても良い。

【0057】

フィル信号生成部１５６は、実映像信号と合成するフィル信号を生成する。ここで、フィル信号は、仮想競技オブジェクト映像である。

【0058】

キー信号生成部１５７は、人物領域検出部１５４で検出された選手の映像上の人物領域と、位置関係識別部１５６で識別された第１競技オブジェクト（選手）と仮想競技オブジェクトとの映像上の位置関係と、フィル信号生成部１５６から得られる仮想競技オブジェクトの領域の位置及びサイズとから、キー信号を生成する。尚、以下の説明では、理解を容易にするために、図面上、キー信号の透過率が１００パーセント（透明）の領域を黒で示し、キー信号の透過率が０パーセント（不透明）の領域を白で示す。しかし、これに限られず、例えば、映像の演出上、画像を重畳する領域の透過率を５０パーセントとし、画像から本映像の部分が透けて見えるようにすることも可能である。

【0059】

画像合成部１５８は、本映像信号と、フィル信号生成部１５６が生成したフィル信号と、キー信号生成部１５７が生成したキー信号とを合成し、合成映像信号を生成する。

【0060】

次に、上述した映像処理装置１の動作について説明する。
まず、本映像信号が映像処理装置１に入力される。入力された実映像は、図１３に示されるものとする。画像識別部１５３は、本映像信号から、第１競技オブジェクト（選手）を識別する。識別された第１競技オブジェクトＡと第１競技オブジェクトＢとである。尚、本実施の形態では、後方に第１競技オブジェクトＢ以外にも多くの第１競技オブジェクトが存在するが、理解を容易にするために、これら複数の第１競技オブジェクトのうち先頭の第１競技オブジェクトＡとその次の第１競技オブジェクトＢとのみを扱うものとする。

【0061】

続いて、位置関係識別部１５６は、第１競技オブジェクトＡの注目領域の大きさと第１競技オブジェクトＢの注目領域の大きさと、仮想競技オブジェクト映像の仮想競技オブジェクトの注目領域と、を比較する。本例では、注目領域の大きさが、第１競技オブジェクトＡ、仮想競技オブジェクト、第１競技オブジェクトＢの順で多きものとする。すなわち、位置関係は、映像の手前より、第１競技オブジェクトＡ、仮想競技オブジェクト、第１競技オブジェクトＢの順である。

【0062】

図１４は画像合成の動作を説明するための図である。
フィル信号生成部１５６は、仮想競技オブジェクト映像を取得し、フィル信号を生成する。

【0063】

キー信号生成部１５７は、仮想競技オブジェクト映像の仮想競技オブジェクトの領域の位置及びサイズとから、キー信号を生成する。

【0064】

画像合成部１５８は、キー信号とフィル信号とから、仮想競技オブジェクト映像が重畳された合成映像Ｘを生成する。ここで、仮想競技オブジェクト映像が重畳された合成映像Ｘは、第１競技オブジェクトＡ、仮想競技オブジェクト、及び第１競技オブジェクトＢの位置関係が考慮されずに、仮想競技オブジェクトが第１競技オブジェクトＡに重なっており、不自然な映像となっている。

【0065】

続いて、仮想競技オブジェクトが、その手前に位置する第１競技オブジェクトＡに隠れるようにするように、キー信号生成部１５７は、第１競技オブジェクトＡのキー信号を生成する。

【0066】

画像合成部１５８は、第１競技オブジェクトＡのキー信号を用いて、フィル信号である実映像と合成映像Ｘとを再合成し、合成映像Ｙを生成する。
このようにして生成された合成映像Ｙは、各オブジェクトの位置関係を考慮した自然な映像になっている。

【0067】

尚、上述した動作例では、二度の合成を行っているが、これに限られない、例えば、初めから第１競技オブジェクトＡ、仮想競技オブジェクト、第１競技オブジェクトＢの位置関係を考慮し、ひとつのキー信号を生成しても良い。例えば、図１５に示すように、第１競技オブジェクトＡと仮想競技オブジェクトとのキー信号を生成し、このキー信号と仮想競技オブジェクトのフィル信号と実映像とを合成し、一度に、合成映像Ｙを生成するようにしても良い。

【0068】

＜第３の実施の形態＞
第１及び第２の実施の形態は映像処理装置１の例を説明したが、各種の演算処理等を行うプロセッサを有するコンピュータシステムによって実現することもできる。図１６はコンピュータシステム３によって構成された映像処理装置１のブロック図である。

【0069】

コンピュータシステム３は、プロセッサ３１と、メモリ（ＲＯＭやＲＡＭ）３２と、入力装置（キーボード、マウス、タッチパネルなど）３３と、通信装置３４と、記憶装置（ハードディスク、半導体ディスクなど）３５と、備えるコンピュータ３により構成することができる。

【0070】

コンピュータ３は、記憶装置３５に格納されたプログラムがメモリ３２にロードされ、プロセッサ３１により実行されることにより、第１競技オブジェクト位置・経過時間情報取得処理５０と、第２競技オブジェクト位置情報取得処理５１と、位置情報差分計算処理５２と、仮想競技オブジェクト映像生成部処理５３と、走行モデル生成処理５４と、映像合成部処理５５と、重畳位置調整処理５６と、画像識別処理５７と、人物領域検出処理５８と、位置関係識別処理５９と、フィル信号生成処理６０と、キー信号生成処理６１と、画像合成処理６２と、が実行されるものである。

【0071】

ここで、第１競技オブジェクト位置・経過時間情報取得処理５０は第１競技オブジェクト位置・経過時間情報取得部１２に対応し、第２競技オブジェクト位置情報取得処理５１は第２競技オブジェクト位置情報取得部１３に対応し、位置情報差分計算処理５２は位置情報差分計算部１４に対応し、仮想競技オブジェクト映像生成部処理５３は仮想競技オブジェクト映像生成部１１に対応し、走行モデル生成処理５４は走行モデル生成部１１１に対応し、映像合成部処理５５は映像合成部１５に対応し、重畳位置調整処理５６は重畳位置調整部１５１に対応し、画像識別処理５７は画像識別部１５３に対応し、人物領域検出処理５８は人物領域検出部１５４に対応し、位置関係識別処理５９は位置関係識別部１５５に対応し、フィル信号生成処理６０はフィル信号生成部１５６に対応し、キー信号生成処理６１はキー信号生成部１５７に対応し、画像合成処理６２は画像合成部１５８に対応する。また、競技記録情報データベース１０は記憶装置３５に格納されている。

【0072】

尚、記憶装置５５は、コンピュータ３と物理的に外部に設けられ、ＬＡＮ等のネットワークを介してコンピュータ３と接続されていても良い。また、各処理は適時組合せ可能である。

【0073】

以上好ましい実施の形態をあげて本発明を説明したが、全ての実施の形態の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

【符号の説明】

【0074】

１ 映像処理装置
２ 移動中継車
３ コンピュータ
１０ 競技記録情報データベース
１１ 仮想競技オブジェクト映像生成部
１２ 第１競技オブジェクト位置・経過時間情報取得部
１３ 第２競技オブジェクト位置情報取得部
１４ 位置情報差分計算部
１５ 映像合成部
３１ プロセッサ
３２ メモリ
３３ 入力装置
３４ 通信装置
３５ 記憶装置
１１１ 走行モデル生成部
１５１ 重畳位置調整部
１５３ 画像識別部
１５４ 人物領域検出部
１５５ 位置関係識別部
１５６ フィル信号生成部
１５７ キー信号生成部
１５８ 画像合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】