特許 7498616 ＶＲ映像生成装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-04

(45)【発行日】2024-06-12

(54)【発明の名称】ＶＲ映像生成装置及びプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240605BHJP

   G06T 5/50 20060101ALI20240605BHJP

【ＦＩ】

H04N23/60 500

G06T5/50

【請求項の数】 6

(21)【出願番号】P 2020125755

(22)【出願日】2020-07-22

(65)【公開番号】P2022021886

(43)【公開日】2022-02-03

【審査請求日】2023-06-22

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】久富 健介

(72)【発明者】

【氏名】川喜田 裕之

(72)【発明者】

【氏名】新井田 利之

【審査官】櫃本 研太郎

(56)【参考文献】

【文献】特開２０１９－１６４７８２（ＪＰ，Ａ）

【文献】特開２０１９－１２１８５８（ＪＰ，Ａ）

【文献】国際公開第２０１８／１１７０９９（ＷＯ，Ａ１）

【文献】特開２０１８ー１０９９４６（ＪＰ，Ａ）

【文献】国際公開第２０１７／０６８９２８（ＷＯ，Ａ１）

【文献】国際公開第２０１８／００３９３８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７、２３／００、２３／４０－２３／７６、２３／９０－２３／９５９

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００－１／４０，３／００－５／９４、７／００－７／９０

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

ＶＲカメラにより撮影されたＶＲ映像と、２Ｄカメラにより前記ＶＲカメラよりも狭い範囲を高い解像度で撮影された２Ｄ映像とを入力し、前記２Ｄ映像がマッピングされたＶＲ映像を生成するＶＲ映像生成装置であって、
同位置且つ同タイミングで撮影された前記ＶＲ映像及び前記２Ｄ映像を入力し、前記ＶＲ映像から前記ＶＲカメラの姿勢を示す第１姿勢情報を生成し、前記２Ｄ映像から前記２Ｄカメラの姿勢を示す第２姿勢情報、及び前記２Ｄカメラのレンズの特性を示すレンズ特性情報を生成するキャリブレーション部と、
前記第１姿勢情報、前記第２姿勢情報、及び前記レンズ特性情報に基づいて、前記２Ｄ映像を前記ＶＲ映像にマッピングした合成映像を生成する映像合成部と、
前記合成映像の現フレームの撮影方向を第１フレームの撮影方向に一致させたＶＲ映像を生成する回転補正部と、
を備える、ＶＲ映像生成装置。

【請求項2】

ＶＲカメラにより撮影されたＶＲ映像と、２Ｄカメラにより前記ＶＲカメラよりも狭い範囲を高い解像度で撮影された２Ｄ映像とを入力し、前記２Ｄ映像がマッピングされたＶＲ映像を生成するＶＲ映像生成装置であって、
同位置且つ同タイミングで撮影された前記ＶＲ映像及び前記２Ｄ映像を入力し、前記ＶＲ映像から前記ＶＲカメラの姿勢を示す第１姿勢情報を生成し、前記２Ｄ映像から前記２Ｄカメラの姿勢を示す第２姿勢情報、及び前記２Ｄカメラのレンズの特性を示すレンズ特性情報を生成するキャリブレーション部と、
前記第２姿勢情報及び前記レンズ特性情報から、前記２Ｄ映像の前フレーム及び現フレームの位置を合わせた上で、現フレームにおいて前フレームとの差分が閾値以下の領域を静止画像として抽出する静止領域抽出部と、
前記第１姿勢情報、前記第２姿勢情報、及び前記レンズ特性情報に基づいて、前記静止画像を順次前記ＶＲ映像にマッピングした合成映像を生成する映像合成部と、
前記合成映像の現フレームの撮影方向を第１フレームの撮影方向に一致させたＶＲ映像を生成する回転補正部と、
を備える、ＶＲ映像生成装置。

【請求項3】

前記ＶＲカメラ及び前記２Ｄカメラは、撮影時に接続部を介して固定される、請求項１又は２に記載のＶＲ映像生成装置。

【請求項4】

ＶＲカメラにより現在撮影された現在ＶＲ映像と、過去に生成された過去ＶＲ画像とを入力し、前記過去ＶＲ画像がマッピングされたＶＲ映像を生成するＶＲ映像生成装置であって、
前記過去ＶＲ画像は、２Ｄカメラにより前記ＶＲカメラよりも狭い範囲を高い解像度で過去に撮影された２Ｄ映像をマッピングすることにより生成された画像であり、
前記現在ＶＲ映像及び前記過去ＶＲ画像を入力し、前記現在ＶＲ映像から前記ＶＲカメラの姿勢を示す第１姿勢情報を生成し、前記過去ＶＲ画像から、該過去ＶＲ画像を撮影したと仮定した仮想的なＶＲカメラの姿勢を示す第３姿勢情報を生成するキャリブレーション部と、
前記第１姿勢情報及び前記第３姿勢情報に基づいて、前記現在ＶＲ映像を前記過去ＶＲ画像と撮影方向が一致するように補正した補正ＶＲ映像を生成する回転補正部と、
ユーザの指示に基づいて、ディスプレイに表示させる前記現在ＶＲ映像及び前記過去ＶＲ画像を切り替える表示切替部と、
を備える、ＶＲ映像生成装置。

【請求項5】

前記過去ＶＲ画像を生成する過去ＶＲ画像生成装置は、
前記２Ｄ映像を入力し、前記２Ｄ映像から前記２Ｄカメラの姿勢を示す第２姿勢情報、及び前記２Ｄカメラのレンズの特性を示すレンズ特性情報を生成するキャリブレーション部と、
前記第２姿勢情報及び前記レンズ特性情報から、前記２Ｄ映像の前フレーム及び現フレームの位置を合わせた上で、現フレームにおいて前フレームとの差分が閾値以下の領域を静止画像として抽出する静止領域抽出部と、
前記第２姿勢情報及び前記レンズ特性情報に基づいて、前記静止画像を順次マッピングすることにより前記過去ＶＲ画像を生成する映像合成部と、
を備える、請求項４に記載のＶＲ映像生成装置。

【請求項6】

コンピュータを、請求項１から５のいずれか一項に記載のＶＲ映像生成装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＶＲ映像生成装置及びプログラムに関する。

【背景技術】

【0002】

近年、報道やスポーツなどの鑑賞を目的とした実写動画のＶＲ（Virtual Reality）が増加している。しかし、全天球のＶＲ映像では、撮影解像度が十分でないために、ユーザが注目して見たいところの解像度が足りない場合がある。

【0003】

一方、ＨＭＤ（Head Mounted Display）などの表示装置は高画質化が進み、高解像度で表示できるものが発表されている。それにあわせてＶＲカメラを高画質化すると、撮影装置が大型化する。また、ＶＲの性質上、被写体の近くにカメラを置かないと十分な解像度で撮影することができず、近くで撮影する煩雑さが普及を妨げている。

【0004】

また、コンテンツによっては、注目箇所は全天球映像の一部であって、それ以外はその場の雰囲気を感じるために必要なことがある。

【0005】

これらの理由から、注目箇所を部分的に高解像度で表示させることができるＶＲ映像生成装置が望まれている。例えば、特許文献１には、全天球画像（３６０度画像）に平面画像を重畳することで、画質が低い全天球画像を平面画像で補う技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１８－１０９９４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、特許文献１には、静止画である全天球画像と平面画像とを統合する技術が開示されているものの、ＶＲ映像を生成する技術については具体的な開示がない。

【0008】

かかる事情に鑑みてなされた本発明の目的は、部分的に高解像度なＶＲ映像を生成することが可能なＶＲ映像生成装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

一実施形態に係るＶＲ映像生成装置は、ＶＲカメラにより撮影されたＶＲ映像と、２Ｄカメラにより前記ＶＲカメラよりも狭い範囲を高い解像度で撮影された２Ｄ映像とを入力し、前記２Ｄ映像がマッピングされたＶＲ映像を生成するＶＲ映像生成装置であって、同位置且つ同タイミングで撮影された前記ＶＲ映像及び前記２Ｄ映像を入力し、前記ＶＲ映像から前記ＶＲカメラの姿勢を示す第１姿勢情報を生成し、前記２Ｄ映像から前記２Ｄカメラの姿勢を示す第２姿勢情報、及び前記２Ｄカメラのレンズの特性を示すレンズ特性情報を生成するキャリブレーション部と、前記第１姿勢情報、前記第２姿勢情報、及び前記レンズ特性情報に基づいて、前記２Ｄ映像を前記ＶＲ映像にマッピングした合成映像を生成する映像合成部と、前記合成映像の現フレームの撮影方向を第１フレームの撮影方向に一致させたＶＲ映像を生成する回転補正部と、を備える。

【0010】

また、一実施形態に係るＶＲ映像生成装置は、ＶＲカメラにより撮影されたＶＲ映像と、２Ｄカメラにより前記ＶＲカメラよりも狭い範囲を高い解像度で撮影された２Ｄ映像とを入力し、前記２Ｄ映像がマッピングされたＶＲ映像を生成するＶＲ映像生成装置であって、同位置且つ同タイミングで撮影された前記ＶＲ映像及び前記２Ｄ映像を入力し、前記ＶＲ映像から前記ＶＲカメラの姿勢を示す第１姿勢情報を生成し、前記２Ｄ映像から前記２Ｄカメラの姿勢を示す第２姿勢情報、及び前記２Ｄカメラのレンズの特性を示すレンズ特性情報を生成するキャリブレーション部と、前記第２姿勢情報及び前記レンズ特性情報から、前記２Ｄ映像の前フレーム及び現フレームの位置を合わせた上で、現フレームにおいて前フレームとの差分が閾値以下の領域を静止画像として抽出する静止領域抽出部と、前記第１姿勢情報、前記第２姿勢情報、及び前記レンズ特性情報に基づいて、前記静止画像を順次前記ＶＲ映像にマッピングした合成映像を生成する映像合成部と、前記合成映像の現フレームの撮影方向を第１フレームの撮影方向に一致させたＶＲ映像を生成する回転補正部と、を備える。

【0011】

さらに、一実施形態において、前記ＶＲカメラ及び前記２Ｄカメラは、撮影時に接続部を介して固定されてもよい。

【0012】

また、一実施形態に係るＶＲ映像生成装置は、ＶＲカメラにより現在撮影された現在ＶＲ映像と、過去に生成された過去ＶＲ画像とを入力し、前記過去ＶＲ画像がマッピングされたＶＲ映像を生成するＶＲ映像生成装置であって、前記過去ＶＲ画像は、２Ｄカメラにより前記ＶＲカメラよりも狭い範囲を高い解像度で過去に撮影された２Ｄ映像をマッピングすることにより生成された画像であり、前記現在ＶＲ映像及び前記過去ＶＲ画像を入力し、前記現在ＶＲ映像から前記ＶＲカメラの姿勢を示す第１姿勢情報を生成し、前記過去ＶＲ画像から、該過去ＶＲ画像を撮影したと仮定した仮想的なＶＲカメラの姿勢を示す第３姿勢情報を生成するキャリブレーション部と、前記第１姿勢情報及び前記第３姿勢情報に基づいて、前記現在ＶＲ映像を前記過去ＶＲ画像と撮影方向が一致するように補正した補正ＶＲ映像を生成する回転補正部と、ユーザの指示に基づいて、ディスプレイに表示させる前記現在ＶＲ映像及び前記過去ＶＲ画像を切り替える表示切替部と、を備える。

【0013】

さらに、一実施形態において、前記過去ＶＲ画像を生成する過去ＶＲ画像生成装置は、前記２Ｄ映像を入力し、前記２Ｄ映像から前記２Ｄカメラの姿勢を示す第２姿勢情報、及び前記２Ｄカメラのレンズの特性を示すレンズ特性情報を生成するキャリブレーション部と、前記第２姿勢情報及び前記レンズ特性情報から、前記２Ｄ映像の前フレーム及び現フレームの位置を合わせた上で、現フレームにおいて前フレームとの差分が閾値以下の領域を静止画像として抽出する静止領域抽出部と、前記第２姿勢情報及び前記レンズ特性情報に基づいて、前記静止画像を順次マッピングすることにより前記過去ＶＲ画像を生成する映像合成部と、を備えてもよい。

【0014】

また、一実施形態係るプログラムは、コンピュータを、上記ＶＲ映像生成装置として機能させる。

【発明の効果】

【0015】

本発明によれば、部分的に高解像度なＶＲ映像を生成することが可能となる。

【図面の簡単な説明】

【0016】

【図1】第１の実施形態に係るＶＲ映像生成装置の構成例を示すブロック図である。

【図2】接続部により一体化されたＶＲカメラ及び２Ｄカメラ一例を示す図である。

【図3】第２の実施形態に係るＶＲ映像生成装置の構成例を示すブロック図である。

【図4】第３の実施形態に係るＶＲ映像生成装置が入力する過去ＶＲ画像を生成する過去ＶＲ画像生成装置の構成例を示すブロック図である。

【図5】第３の実施形態に係るＶＲ映像生成装置の構成例を示すブロック図である。

【発明を実施するための形態】

【0017】

以下、実施形態について、図面を参照して詳細に説明する。

【0018】

（第１の実施形態）
まず、第１の実施形態に係るＶＲ映像生成装置について説明する。図１に、第１の実施形態に係るＶＲ映像生成装置１０を備えるＶＲ映像生成システム１の構成例を示す。

【0019】

ＶＲ映像生成システム１は、ＶＲカメラ３１と、２Ｄカメラ３２と、接続部３３と、ＶＲ映像記憶部４１と、２Ｄ映像記憶部４２と、ＶＲ映像生成装置１０と、特徴点位置情報記憶部２１と、第１フレーム姿勢記憶部２２と、を備える。なお、図１に記載の複数の記憶部は、適宜統合して、より少ない数の記憶部としてもよいが、説明の便宜上それぞれ分けて記載している。

【0020】

ＶＲカメラ３１は、複数のカメラを搭載しており、複数のカメラで撮影した映像をスティッチング（統合）してＶＲ映像を生成する。そして、ＶＲカメラ３１は、生成したＶＲ映像をＶＲ映像記憶部４１に出力する。ＶＲ映像は、例えば全天球映像であるが、３６０度未満の広視野映像であってもよい。

【0021】

２Ｄカメラ３２は、ＶＲカメラ３１よりも狭い範囲を高い画素密度（解像度）で撮影するカメラである。２Ｄカメラ３２は、レンズが取り付けられており、２次元の映像を撮影して、２Ｄ映像を２Ｄ映像記憶部４２に出力する。レンズはズームレンズであってもよいし、単焦点レンズであってもよい。２Ｄカメラ３２の画素数は必ずしもＶＲカメラ３１より大きくなくてもよく、２Ｄカメラ３２のほうが狭い範囲を撮影するため、ＶＲカメラ３１より画素密度が高くなる。

【0022】

ＶＲカメラ３１及び２Ｄカメラ３２は、撮影時には、相対的な位置関係が変わらないように、接続部（例えば、バー）３３を介して固定され、一体化される。図２に、接続部３３により一体化されたＶＲカメラ３１及び２Ｄカメラ３２の一例を示す。ＶＲカメラ３１が固定された２Ｄカメラ３２は、回転運動と並進運動を伴ってもよい。

【0023】

ＶＲ映像生成装置１０は、ＶＲカメラ３１により撮影されたＶＲ映像と、２Ｄカメラ３２により撮影された２Ｄ映像とを入力し、２Ｄ映像がマッピングされたＶＲ映像を生成する。ＶＲ映像生成装置１０が出力するＶＲ映像は、ＶＲ映像に高解像度の２Ｄ映像がマッピングされているため、部分的に高解像度なＶＲ映像となっている。本明細書では、この部分的に高解像度なＶＲ映像を、「部分高解像度ＶＲ映像」と称する。

【0024】

ＶＲ映像生成装置１０は、収録映像を入力する場合には、ＶＲ映像記憶部４１からＶＲ映像を入力し、２Ｄ映像記憶部４２から２Ｄ映像を入力する。また、ＶＲ映像生成装置１０がカメラのライブ出力を入力する場合には、ＶＲ映像生成システム１はＶＲ映像記憶部４１及び２Ｄ映像記憶部４２を備えている必要はなく、ＶＲ映像生成装置１０はＶＲカメラ３１から直接ＶＲ映像を入力し、２Ｄカメラ３２から直接２Ｄ映像を入力する。

【0025】

ＶＲ映像生成装置１０は、キャリブレーション部１１と、映像合成部１２と、回転補正部１３と、を備える。ＶＲ映像生成装置１０は、ワークステーションであってもよいし、ＡＳＩＣ（Application Specific Integrated Circuit），ＦＰＧＡ（field-programmable gate array）などによるハードウェアであってもよい。

【0026】

キャリブレーション部１１は、同位置且つ同タイミングで撮影されたＶＲ映像及び２Ｄ映像を入力する。同じタイミングで撮影するために、カチンコなどの音をベースにフレームを合わせてもよいし、タイムコードを用いてもよい。また、タイミングを厳密に合わせるために、同期信号をＶＲカメラ及び２Ｄカメラ３２に入力してもよい。

【0027】

キャリブレーション部１１は、ＳＬＡＭ（Simultaneous Localization and Mapping）技術を用いて、ＶＲ映像からＶＲカメラ３１の姿勢を求め、ＶＲカメラ３１の姿勢を示す第１姿勢情報を生成する。そして、キャリブレーション部１１は、ＶＲ映像及び第１姿勢情報を映像合成部１２に出力する。ＳＬＡＭ技術としては、例えばＯｐｅｎＶＳＬＡＭなどのツールが挙げられる。第１姿勢情報には、位置Ｏ_VR及び方向（回転行列Ｒ_VR）が含まれる。

【0028】

また、キャリブレーション部１１は、ＳＬＡＭ技術を用いて、２Ｄ映像から２Ｄカメラ３２の姿勢及び２Ｄカメラ３２のレンズの特性を求め、２Ｄカメラ３２の姿勢を示す第２姿勢情報、及び２Ｄカメラ３２のレンズの特性を示すレンズ特性情報を生成する。そして、キャリブレーション部１１は、２Ｄ映像、第２姿勢情報、及びレンズ特性情報を映像合成部１２に出力する。第２姿勢情報には、位置Ｏ_2D、並進ベクトルＴ_2D、及び方向（回転行列Ｒ_2D）が含まれる。レンズ特性情報には、歪係数κ₁，κ₂、カメラの焦点距離Ｆ、及び撮像センサの中心位置Ｃ_u，Ｃ_vが含まれる。キャリブレーション部１１は、ＶＲカメラ３１及び２Ｄカメラ３２の姿勢を、同じ座標系で取得する。

【0029】

また、キャリブレーション部１１は、キャリブレーション処理を行う際に抽出した２Ｄ映像及びＶＲ映像の特徴点の位置を示す特徴点位置情報を生成し、特徴点位置情報記憶部２１に記憶させる。特徴点は、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＯＲＢ（Oriented FAST and Rotated BRIEF）などの既存の技術により、抽出することができる。

【0030】

さらに、キャリブレーション部１１は、第１フレームにおけるＶＲカメラ３１の姿勢を示す第１フレーム姿勢情報を、第１フレーム姿勢記憶部２２に記憶させる。また、キャリブレーション部１１は、前フレームのＶＲカメラ３１に対する２Ｄカメラ３２の方向情報を保存しておき、その周辺のみに対して特徴点を抽出し、マッチングの探索範囲を限定することで、キャリブレーションの処理時間の短縮と精度向上を図ることができる。

【0031】

映像合成部１２は、ＶＲ映像及び２Ｄ映像とともに、第１姿勢情報、第２姿勢情報、及びレンズ特性情報を入力し、該３つの情報に基づいて、２Ｄ映像をＶＲ映像にマッピング（上書き）した合成映像を生成する。そして、映像合成部１２は、第１姿勢情報及び合成映像を回転補正部１３に出力する。例えば、映像合成部１２は、プログラムにより、第１姿勢情報、第２姿勢情報、及びレンズ特性情報を反映した仮想的な投射機を仮想空間に設置し、該投射機により投射して、球体内側表面上のテクスチャを上書きすることにより合成映像を生成する。

【0032】

あるいは、映像合成部１２は、球体上の画素の位置Ｗ＝（Ｘ，Ｙ，Ｚ）から、次式（１）を用いて２Ｄ映像の該当の画素の座標（ｕ，ｖ）を求めて、そのＲＧＢ値を球体内側表面上のテクスチャのＲＧＢ値に置き換えることにより合成映像を生成する。ｚは光学主点から撮像面までの距離であり、Ｒ_2Dは回転行列であり、Ｔ_2Dは並進ベクトルである。Ａはカメラパラメータであり、次式（２）で表される。ａは画像のアスペクト比（縦／横）である。Ｃ_u，Ｃ_vは撮像センサの中心位置である。

【0033】

【数1】

【0034】

この映像合成部１２の処理により、回転運動に合わせて、２Ｄ映像がマッピングされる位置が移動し、２Ｄカメラ３２のズーム操作に合わせてマッピングするエリアが拡大縮小される。

【0035】

また、映像合成部１２は、球体内側上のＶＲ映像と２Ｄ映像との境界を滑らかにするために、２Ｄカメラ３２の四辺近傍の映像をＶＲ映像とブレンドしてもよい。

【0036】

回転補正部１３は、映像合成部１２から第１姿勢情報及び合成映像を入力するとともに、特徴点位置情報記憶部２１から特徴点位置情報を読み込み、第１フレーム姿勢記憶部２２から第１フレームにおけるＶＲカメラ３１の姿勢情報を読み込む。回転補正部１３は、これらの情報から、合成映像の第１フレームと現フレームとの回転差分Ｒ_dを算出し、現フレームに対して回転差分Ｒ_dの逆行列を乗じ、合成映像の現フレームの撮影方向を第１フレームの撮影方向に一致させる。そして、回転補正部１３は、球体の映像を正距投影方式の２Ｄ映像に変換する。回転補正部１３は、上記処理を次以降のフレームについても繰り返し実施することで、部分高解像度ＶＲ映像を生成する。

【0037】

回転補正部１３による処理を行わない場合、ＶＲカメラ３１が搭載された２Ｄカメラ３２を回転して撮影すると、２Ｄカメラ３２の中心が常に表示側の中央になって、ＶＲ映像が回転してしまう。結果的に、ユーザの頭部運動と関係なく映像が回転するため、ユーザに不快感を生じさせるおそれがある。そこで、回転補正部１３の処理を行うことにより、ＶＲ映像の方向を固定した状態で、相対的に２Ｄ映像側が動く映像を生成することができる。回転補正部１３の処理により、２Ｄカメラ３２のズーム動作に伴って拡大・縮小する形で表示させることも可能となる。

【0038】

上述したように、ＶＲ映像生成装置１０は、ＶＲカメラよりも高解像度の２Ｄカメラにより撮影された２Ｄ映像をＶＲ映像にマッピングする。そのため本実施形態によれば、注目すべき被写体を高画質で表示させることができる。換言すれば、全天球映像のうち、２Ｄカメラで撮影している領域は、全天球のうちでも注目すべき領域と重なることが多く、その部分を高解像度化して表示させることができる。また、撮影時の製作者の意図を高解像度部分に集約することができ、映像制作側の制作意図や視線誘導をユーザに無理なく伝えることができる。

【0039】

また、従来のように、ＶＲカメラ及び２Ｄカメラを別々に設置して撮影した場合、フレームごとにＶＲカメラ及び２Ｄカメラのカメラパラメータを求める必要があるため、撮影時の負担が大きくなる。この点、本実施形態では、ＶＲカメラ３１及び２Ｄカメラ３２を接続部３３で固定するなどの方法により、同位置で撮影を行う。そのため本実施形態によれば、撮影ポジションが１か所で済み、新たなＶＲカメラの設営は不要となり、従来の撮影フローから大きく変わらないため、撮影時の負担増加を抑制することができる。また、フレームごとにＶＲカメラ３１及び２Ｄカメラ３２のカメラパラメータ（カメラ位置及び姿勢、並びにレンズ特性）を求める必要がなく、２Ｄカメラ３２のレンズ特性のパラメータのみを求めればよく、高速化が図れる。

【0040】

（第２の実施形態）
次に、第２の実施形態に係るＶＲ映像生成装置について説明する。

【0041】

図３に、第２の実施形態に係るＶＲ映像生成装置１０ａを備えるＶＲ映像生成システム２の構成例を示す。ＶＲ映像生成システム２は、ＶＲカメラ３１と、２Ｄカメラ３２と、接続部３３と、ＶＲ映像記憶部４１と、２Ｄ映像記憶部４２と、ＶＲ映像生成装置１０ａと、特徴点位置情報記憶部２１と、第１フレーム姿勢記憶部２２と、を備える。なお、図３に記載の複数の記憶部は、適宜統合して、より少ない数の記憶部としてもよいが、説明の便宜上それぞれ分けて記載している。第１の実施形態と同一の構成については、同一の参照番号を付して適宜説明を省略する。

【0042】

ＶＲ映像生成装置１０ａは、キャリブレーション部１１ａと、映像合成部１２ａと、回転補正部１３ａと、静止領域抽出部１４と、を備える。ＶＲ映像生成装置１０ａは、第１の実施形態のＶＲ映像生成装置１０と比較して、更に静止領域抽出部１４を備える点が相違する。ＶＲ映像生成装置１０ａは、ワークステーションであってもよいし、ＡＳＩＣ，ＦＰＧＡなどによるハードウェアであってもよい。

【0043】

キャリブレーション部１１ａは、第１の実施形態のキャリブレーション部１１と同様に、ＶＲカメラ３１の姿勢示す第１姿勢情報、２Ｄカメラ３２の姿勢を示す第２姿勢情報、２Ｄカメラ３２のレンズの特性を示すレンズ特性情報、及び特徴点位置情報を生成する。そして、キャリブレーション部１１ａは、ＶＲ映像及び第１姿勢情報を映像合成部１２ａに出力し、２Ｄ映像、第２姿勢情報、及びレンズ特性情報を静止領域抽出部１４に出力し、特徴点情報を特徴点位置情報記憶部２１に記憶させる。

【0044】

静止領域抽出部１４は、第２姿勢情報及びレンズ特性情報から、２Ｄ映像の前フレーム及び現フレームの位置を合わせた上で、現フレームにおいて前フレームとの差分が閾値以下の領域（動きのない領域）を静止画像として抽出し、第２姿勢情報及びレンズ特性情報とともに映像合成部１２ａに出力する。

【0045】

また、静止領域抽出部１４は、２Ｄ映像の現フレームの画像、姿勢情報、及びレンズ特性情報を前フレーム情報として、前フレーム情報記憶部２３に記憶させる。なお、第１フレームについては、前フレームがないのでこの処理を行わない。

【0046】

映像合成部１２ａは、ＶＲ映像、第１姿勢情報（位置と回転）、２Ｄ映像、第２姿勢情報、及びレンズ特性情報を入力する。映像合成部１２ａは、静止画像を順次マッピングして上書きしたマッピングＶＲ画像を生成し、マッピングＶＲ画像記憶部２４に記憶させる。すなわち、映像合成部１２ａは、マッピングＶＲ画像記憶部２４からこれまでにマッピングされたマッピングＶＲ画像を読み込み、入力された第２姿勢情報、及びレンズ特性情報をもとに、静止画像をマッピングＶＲ画像にマッピングし、マッピングＶＲ画像記憶部２４に再度書き込む。そして、映像合成部１２ａは、キャリブレーション部１１から入力したＶＲ映像に、マッピングＶＲ画像を合成（上書き）した合成映像を生成し、合成映像及び第１姿勢情報を回転補正部１３ａに出力する。なお、映像合成部１２ａは、すでに一度上書きしたところは、２回目からは上書きせずに、各画素において保存しておき、それを時間経過において、順次繰り返し再生、又は順再生と逆再生の混合により、動画化することも可能である。つまり、ある画素に対して、複数マッピングされる場合には、そのマッピングされたＲＧＢ値を順次再生すると、簡易的に動画化することができる。ただし、順番に再生していき、最後までいったら初めに戻って再生をし直すと、頭出しによるショック（非連続性）が発生するので、最後まで再生したら逆再生（巻き戻し再生）し、頭まで再生したらまた順再生するというようにすると、ショックのない連続的な動画を再生することができる。

【0047】

回転補正部１３ａは、第１の実施形態と同様にして部分高解像度ＶＲ映像を生成し、外部に出力する。

【0048】

本実施形態においては、ＶＲカメラ３１を搭載した２Ｄカメラ３２は、回転運動だけを行い、大きな並進運動を伴わないことを前提とする。並進運動を伴うと２Ｄ映像が幾何変換されるため、現フレーム以外のフレームから抽出した静止画像が現フレームのＶＲ映像にマッチングしなくなるためである。

【0049】

第１の実施形態では、高解像度化される領域は、２Ｄカメラ３２で撮影した領域に限定される。一方、本実施形態では、２Ｄ映像から静止領域を抽出する処理を加えているため、現フレーム以外のフレームから静止領域をＶＲ映像にマッピングすることで、現フレームにおいて２Ｄカメラ３２が撮影していない領域も高解像度化することができる。

【0050】

（第３の実施形態）
次に、第３の実施形態に係るＶＲ映像生成装置について説明する。

【0051】

図４及び図５に、第３の実施形態に係るＶＲ映像生成装置１０ｂを備えるＶＲ映像生成システム３の構成例を示す。本実施形態では、図４に示す過去ＶＲ画像生成装置５０により過去ＶＲ画像を生成した後に、図５に示すＶＲ映像生成装置１０ｂにより過去ＶＲ画像を用いて部分高解像度ＶＲ映像を生成する。

【0052】

ＶＲ映像生成システム３は、２Ｄカメラ３２と、２Ｄ映像記憶部４２と、過去ＶＲ画像生成装置５０と、特徴点位置情報記憶部６１と、前フレーム情報記憶部６２と、マッピングＶＲ画像記憶部６３と、過去ＶＲ画像記憶部６４と、ＶＲカメラ３１と、ＶＲ映像記憶部４１と、ＶＲ映像生成装置１０ｂと、入力Ｉ/Ｆ８１と、ヘッドマウントディスプレイ８２と、頭部方向検出センサ８３と、を備える。なお、図４，５に記載の複数の記憶部は、適宜統合して、より少ない数の記憶部としてもよいが、説明の便宜上それぞれ分けて記載している。第１の実施形態と同一の構成については、同一の参照番号を付して適宜説明を省略する。

【0053】

まず、図４を参照して、過去ＶＲ画像生成装置５０について説明する。２Ｄカメラ３２は、ズームレンズ又は単焦点レンズが取り付けられている。２Ｄカメラ３２は、さまざまな方向に向けて撮影した２Ｄ映像を２Ｄ映像記憶部４２に記憶させる。本実施形態では、２Ｄカメラ３２は、回転運動のみを伴い、大きな並進運動を伴っていないことを前提とする。

【0054】

過去ＶＲ画像生成装置５０は、２Ｄ映像記憶部４２から、さまざまな方向に向けて撮影された２Ｄ映像を入力し、静止領域を抽出した上でスティッチングしてＶＲ画像を生成する。

【0055】

過去ＶＲ画像生成装置５０は、キャリブレーション部５１と、静止領域抽出部５２と、映像合成部５３と、を備える。過去ＶＲ画像生成装置５０は、ワークステーションであってもよいし、ＡＳＩＣ，ＦＰＧＡなどによるハードウェアであってもよい。

【0056】

キャリブレーション部５１は、２Ｄ映像記憶部４２から２Ｄ映像を入力する。キャリブレーション部５１は、ＳＬＡＭ技術を用いて、２Ｄ映像から２Ｄカメラ３２の姿勢を示す第２姿勢情報、及び２Ｄカメラ３２のレンズの特性を示すレンズ特性情報を生成し、２Ｄ映像、第２姿勢情報、及びレンズ特性情報を静止領域抽出部５２に出力する。また、キャリブレーション部５１は、キャリブレーション処理を行う際に抽出した特徴点の位置を特徴点位置情報記憶部６１に記憶させる。本実施形態の場合、映像合成部５３においてフレームごとに画像をマッピングしていくが、特徴点位置情はフレーム間の画像の相対位置を出すために用いられる。なお、映像（画像群）が一括で入力される場合には、フレームの位置関係が分かるので、特徴点位置情は不要になる。

【0057】

静止領域抽出部５２は、２Ｄ映像、第２姿勢情報、及びレンズ特性情報を入力するとともに、１つ前のフレームの２Ｄ映像、第２姿勢情報、及びレンズ特性情報を前フレーム情報記憶部６２に出力する。静止領域抽出部５２は、新たなフレームの２Ｄ映像、第２姿勢情報及びレンズ特性情報を入力すると、前フレーム情報記憶部６２から、前フレームの２Ｄ映像、第２姿勢情報、及びレンズ特性情報を読み込む。静止領域抽出部５２は、第２姿勢情報及びレンズ特性情報から、２Ｄ映像の前フレーム及び現フレームの位置を合わせた上で、現フレームにおいて前フレームとの差分が閾値以下の領域を静止画像として抽出し、カメラ姿勢情報及びレンズ特性情報とともに映像合成部５３に出力する。なお、第１フレームに対しては前フレームがないので、この処理は行わない。

【0058】

映像合成部５３は、マッピングＶＲ画像記憶部６３から、前フレームまでのマッピングＶＲ画像を読み込む。映像合成部５３は、静止領域抽出部５２から、静止画像、第２姿勢情報、及びレンズ特性情報を入力し、第２姿勢情報及びレンズ特性情報に基づいて、静止画像を順次マッピングすることにより過去ＶＲ画像を生成する。具体的には、映像合成部５３は、マッピングＶＲ画像記憶部６３から読み込んだマッピングＶＲ画像に静止画像をマッピング（上書き）する。映像合成部５３は、すべてのフレームについて処理を終えたら、最終的なマッピングＶＲ画像を過去ＶＲ画像として過去ＶＲ画像記憶部６４に記憶させる。すでに一度上書きしたところは、２回目からは上書きせずに、各画素において保存しておき、それを時間経過において、順次繰り返し再生、又は順再生と逆再生の混合により動画化することも可能である。

【0059】

次に、図５を参照して、ＶＲ映像生成装置１０ｂについて説明する。ＶＲ映像生成装置１０ｂは、ＶＲカメラ３１により現在撮影された現在ＶＲ映像と、過去に生成された過去ＶＲ画像とを入力し、過去ＶＲ画像がマッピングされたＶＲ映像を生成する。

【0060】

ＶＲカメラ３１は、複数のカメラが搭載されており、該複数のカメラで同じタイミングで撮影した映像をスティッチング（統合）したＶＲ映像を生成し、ＶＲ映像記憶部４１に出力する。ＶＲカメラ３１による撮影は、２Ｄカメラ３２と同じ位置で撮影することを前提とする。

【0061】

ＶＲ映像生成装置１０ｂは、キャリブレーション部１１ｂと、回転補正部１３ｂと、表示切替部１５と、を備える。ＶＲ映像生成装置１０ｂは、ワークステーションであってもよいし、ＡＳＩＣ，ＦＰＧＡなどによるハードウェアであってもよい。

【0062】

キャリブレーション部１１ｂは、ＶＲカメラ３１で撮影された現在のＶＲ映像（現在ＶＲ映像）、及び過去ＶＲ画像生成装置５０により生成された過去ＶＲ画像を入力する。キャリブレーション部１１ｂは、ＳＬＡＭ技術を用いて、現在ＶＲ映像からＶＲカメラ３１の姿勢を求め、ＶＲカメラ３１の姿勢を示す第１姿勢情報を生成する。また、キャリブレーション部１１ｂは、ＳＬＡＭ技術を用いて、過去ＶＲ画像から、該過去ＶＲ画像を撮影したと仮定した仮想的なＶＲカメラの姿勢を求め、仮想的なＶＲカメラの姿勢を示す第３姿勢情報を生成する。そして、キャリブレーション部１１ｂは、現在ＶＲ映像、過去ＶＲ画像、第１姿勢情報、及び第３姿勢情報を、回転補正部１３ｂに出力する。

【0063】

回転補正部１３ｂは、キャリブレーション部１１ｂから、現在ＶＲ映像、過去ＶＲ画像、第１姿勢情報、及び第３姿勢情報を入力する。回転補正部１３ｂは、第１姿勢情報及び第３姿勢情報に基づいて、過去ＶＲ画像から見た現在ＶＲ映像の回転差分Ｒ_dを算出する。そして、回転補正部１３ｂは、現在ＶＲ映像に回転差分Ｒ_dの逆補正Ｒ_d ^-1を施し、現在ＶＲ映像を過去ＶＲ画像と撮影方向が一致するように補正して補正ＶＲ映像を生成する。そして、回転補正部１３ｂは、補正ＶＲ映像及び過去ＶＲ画像を、表示切替部１５に出力する。

【0064】

ヘッドマウントディスプレイ（ＨＭＤ）８２は、右目用及び左目用に表示する２枚のディスプレイと、それぞれ用に２枚の凸レンズで構成された装置であり、ユーザの頭に固定される表示デバイスである。２枚のディスプレイの代わりに、１枚のディスプレイを左右に分割して構成してもよい。

【0065】

頭部方向検出センサ８３は、ＨＭＤ８２に取り付けられ、ＨＭＤ８２を装着したユーザの頭部の正面方向を検出するためのセンサである。頭部の正面方向の検出方法には、加速度センサや周囲に配置されたカメラからＨＭＤ８２上のマーカを検出して求める方法や、ＨＭＤに８２に設置されたカメラから外の映像を取得して検出する方法などがある。

【0066】

入力Ｉ／Ｆ８１は、ユーザからＶＲ映像生成装置１０ｂに対する指示を受け付けるインターフェースであり、具体的には上下左右方向に移動可能なレバーや、ボタンなどである。入力Ｉ／Ｆ８１は、レバーの上下左右の方向、レバーの位置、ボタンのオン／オフ状態など、ユーザの指示を示す制御信号を表示切替部１５に出力する。

【0067】

表示切替部１５は、球面の中心部分に左目用と右目用の映像をレンダリングする２つの仮想カメラを瞳間隔分離して設置して、頭部方向検出センサ８３により検出された頭部方向に該当する方向の映像をレンダリングする。

【0068】

表示切替部１５は、入力Ｉ／Ｆ８１から入力された制御信号（すなわち、ユーザの指示）に基づいてＨＭＤ８２に表示させる現在ＶＲ映像及び過去ＶＲ画像を切り替える。過去ＶＲ画像はＶＲカメラ３１よりも解像度の高い２Ｄカメラ３２で撮影された画像であるため、表示切替部１５がＨＭＤ８２に表示させる映像は部分高解像度ＶＲ映像となる。なお、表示切替部１５は、第１フレームで入力された過去ＶＲ画像を図示しない記憶部に記憶しておき、第２フレーム以降は該記憶部から読み込むようにしてもよい。

【0069】

表示切替部１５は、例えば同一の球面を仮想空間内に重ねて配置し、現在ＶＲ映像を一方の球面の内側にマッピングし、過去ＶＲ画像を他方の球面の内側にマッピングする。表示切替部１５は、現在ＶＲ映像及び過去ＶＲ画像をそれぞれ可視状態及び不可視状態に切替え可能であり、初期状態では全天球の半分を現在ＶＲ映像、残り半分を過去ＶＲ画像としてもよい。例えば、ユーザは全天球を回転させることで見たい領域を選択することができ、この場合には、表示切替部１５は、入力Ｉ／Ｆ８１から入力された回転指示に基づいて全天球を回転させる。

【0070】

他の表示切替方法として、表示切替部１５は、全天球において現在ＶＲ映像を可視状態にしておき、入力Ｉ／Ｆ８１からレバーの位置とボタンのオン制御を受けて、該当方向の球体の領域について、過去ＶＲ画像及び現在ＶＲ映像の可視・不可視状態を反転することで、ユーザの感覚として、はけでなぞった領域だけ過去ＶＲ画像が見えるように、表示切替を行ってもよい。その他、表示切替部１５は、初めに全天球において現在ＶＲ映像を可視状態にしておき、入力Ｉ／Ｆ８１から入力されたボタンのオン／オフ制御に従って、オン状態のときに現在ＶＲ映像を可視状態とし、オフ状態のときに過去ＶＲ画像を可視状態とすることで、全天球において現在ＶＲ映像及び過去ＶＲ画像の表示切替を行ってもよい。

【0071】

また、表示切替部１５は、入力Ｉ／Ｆ８１の特定のボタンを押されたことを検知すると、双眼鏡で覗いたように、視線方向の映像を拡大して出力する機能を備えていてもよい。視線方向の映像が高解像度化されていれば、ユーザは臨場感を持って視聴することができる。

【0072】

本実施形態によれば、ＨＭＤ８２を装着したユーザが入力Ｉ／Ｆ８１を操作し、現在ＶＲ映像と、過去に同じ撮影位置で撮影された過去ＶＲ画像とを切り替え表示することができる。これにより、例えば、同じ視点の過去と現在の景色の違いを比較表示することができる。第２の実施形態では、ＶＲ映像生成装置１０ａは２Ｄ映像を順次上書きしていくので逐次高精細領域が拡大する形となるが、本実施形態では、ＶＲ映像生成装置１０ｂは最初から２Ｄカメラ３２で撮影されたすべての領域において高精細なＶＲ映像を生成することができる。

【0073】

＜プログラム＞
上記のＶＲ映像生成装置１０，１０ａ，１０ｂとして機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。コンピュータは、ＶＲ映像生成装置１０，１０ａ，１０ｂの各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのプロセッサによってこのプログラムを読み出して実行する。これらの処理内容の一部はハードウェアで実現されてもよい。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。プロセッサは、ＣＰＵ(Central Processing Unit)、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ(Digital Signal Processor)などであってもよい。

【0074】

ＶＲ映像生成装置１０として機能させるためのプログラムは、例えば、同位置且つ同タイミングで撮影されたＶＲ映像及び２Ｄ映像を入力し、ＶＲ映像からＶＲカメラの姿勢を示す第１姿勢情報を生成し、２Ｄ映像から２Ｄカメラの姿勢を示す第２姿勢情報、及び２Ｄカメラのレンズの特性を示すレンズ特性情報を生成するステップと、第１姿勢情報、第２姿勢情報、及びレンズ特性情報に基づいて、２Ｄ映像をＶＲ映像にマッピングした合成映像を生成するステップと、合成映像の現フレームの撮影方向を第１フレームの撮影方向に一致させたＶＲ映像を生成するステップと、をコンピュータに実行させる。

【0075】

ＶＲ映像生成装置１０ａとして機能させるためのプログラムは、例えば、同位置且つ同タイミングで撮影されたＶＲ映像及び２Ｄ映像を入力し、ＶＲ映像からＶＲカメラの姿勢を示す第１姿勢情報を生成し、２Ｄ映像から２Ｄカメラの姿勢を示す第２姿勢情報、及び２Ｄカメラのレンズの特性を示すレンズ特性情報を生成するステップと、第２姿勢情報及びレンズ特性情報から、２Ｄ映像の前フレーム及び現フレームの位置を合わせた上で、現フレームにおいて前フレームとの差分が閾値以下の領域を静止画像として抽出するステップと、第１姿勢情報、第２姿勢情報、及びレンズ特性情報に基づいて、静止画像を順次ＶＲ映像にマッピングした合成映像を生成するステップと、合成映像の現フレームの撮影方向を第１フレームの撮影方向に一致させたＶＲ映像を生成するステップと、をコンピュータに実行させる。

【0076】

ＶＲ映像生成装置１０ｂとして機能させるためのプログラムは、例えば、現在ＶＲ映像及び過去ＶＲ画像を入力し、現在ＶＲ映像からＶＲカメラの姿勢を示す第１姿勢情報を生成し、過去ＶＲ画像から２Ｄカメラの姿勢を示す第２姿勢情報を生成するステップと、現在ＶＲ映像を過去ＶＲ画像と撮影方向が一致するように補正した補正ＶＲ映像を生成するステップと、ユーザの指示に基づいて、ディスプレイに表示させる現在ＶＲ映像及び過去ＶＲ画像を切り替えるステップと、をコンピュータに実行させる。

【0077】

また、このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどの記録媒体であってもよい。また、このプログラムは、ネットワークを介したダウンロードによって提供することもできる。

【0078】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【0079】

また、第１の実施形態に係るＶＲ映像生成装置１０、及び第２の実施形態に係るＶＲ映像生成装置１０ａにおいても、第３の実施形態と同様に、入力Ｉ／Ｆ８１から制御信号を入力し、制御信号に基づいて２Ｄカメラ３２で撮影した高解像度領域を拡大し、ＨＭＤ８２に表示する機能を備えていてもよい。これにより、使用中のＨＭＤ８２の解像度が十分でない場合でも、ユーザは高解像度化された映像を、臨場感を持って視聴することができる。

【符号の説明】

【0080】

１，２，３ ＶＲ映像生成システム
１０，１０ａ，１０ｂ ＶＲ映像生成装置
１１，１１ａ，１１ｂ キャリブレーション部
１２，１２ａ，１２ｂ 映像合成部
１３ 回転補正部
１４ 静止領域抽出部
１５ 表示切替部
２１ 特徴点位置情報記憶部
２２ 第１フレーム姿勢記憶部
２３ 前フレーム情報記憶部
２４ マッピングＶＲ画像記憶部
３１ ＶＲカメラ
３２ ２Ｄカメラ
３３ 接続部
４１ ＶＲ映像記憶部
４２ ２Ｄ映像記憶部
５０ 過去ＶＲ画像生成装置
５１ キャリブレーション部
５２ 静止領域抽出部
５３ 映像合成部
６１ 特徴点位置情報記憶部
６２ 前フレーム情報記憶部
６３ マッピングＶＲ画像記憶部
６４ 過去ＶＲ画像記憶部
８１ 入力Ｉ／Ｆ
８２ ヘッドマウントディスプレイ
８３ 頭部方向検出センサ

【図1】

【図2】

【図3】

【図4】

【図5】