知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023036239
(43)【公開日】2023-03-14
(54)【発明の名称】多視点映像生成装置およびそのプログラム
(51)【国際特許分類】
H04N 13/275 20180101AFI20230307BHJP
H04N 13/282 20180101ALI20230307BHJP
【ＦＩ】
H04N13/275
H04N13/282
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021143180
(22)【出願日】2021-09-02
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】渡邉 隼人
(72)【発明者】
【氏名】大村 拓也
(72)【発明者】
【氏名】岡市 直人
(72)【発明者】
【氏名】加納 正規
(72)【発明者】
【氏名】佐々木 久幸
(72)【発明者】
【氏名】洗井 淳
【テーマコード（参考）】
5C061
【Ｆターム（参考）】
5C061AB08
(57)【要約】
【課題】ＣＧの３Ｄモデルから、従来よりも簡易にかつ高速に多視点映像を生成することが可能な多視点映像生成装置を提供する。
【解決手段】多視点映像生成装置１は、複数の視点映像に対応する拡大始点から三次元映像表示装置の予め定めた視距離だけ離間して仮想的に配置した複数の仮想カメラのカメラ座標系において、３Ｄモデルを仮想カメラの撮影面と平行な方向に拡大して、対応する仮想カメラに撮影されるように、３Ｄモデルを変形する３Ｄモデル変形手段１２と、複数の仮想カメラのカメラ座標系ごとに３Ｄモデル変形手段１２で変形された３Ｄモデルを、それぞれの仮想カメラで視点映像として仮想的に撮影する仮想カメラ撮影手段１３と、仮想カメラ撮影手段１３で撮影された複数の視点映像を多視点映像として出力する多視点映像出力手段１４と、を備える。
【選択図】図１
【解決手段】多視点映像生成装置１は、複数の視点映像に対応する拡大始点から三次元映像表示装置の予め定めた視距離だけ離間して仮想的に配置した複数の仮想カメラのカメラ座標系において、３Ｄモデルを仮想カメラの撮影面と平行な方向に拡大して、対応する仮想カメラに撮影されるように、３Ｄモデルを変形する３Ｄモデル変形手段１２と、複数の仮想カメラのカメラ座標系ごとに３Ｄモデル変形手段１２で変形された３Ｄモデルを、それぞれの仮想カメラで視点映像として仮想的に撮影する仮想カメラ撮影手段１３と、仮想カメラ撮影手段１３で撮影された複数の視点映像を多視点映像として出力する多視点映像出力手段１４と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
多視点映像の複数の視点映像の映像光をそれぞれ集光し、集光点を拡大始点として映像光を拡大して拡散スクリーンに重畳することで三次元映像を表示する三次元映像表示装置に用いる前記多視点映像を、ＣＧの３Ｄモデルから生成する多視点映像生成装置であって、
前記複数の視点映像に対応する前記拡大始点から前記三次元映像表示装置の予め定めた視距離だけ離間して仮想的に配置した複数の仮想カメラのそれぞれのカメラ座標系において、前記３Ｄモデルを前記仮想カメラの撮影面と平行な方向に拡大して、対応する前記仮想カメラに撮影されるように前記３Ｄモデルを変形する３Ｄモデル変形手段と、
複数の前記仮想カメラのカメラ座標系ごとに前記３Ｄモデル変形手段で変形された３Ｄモデルを、それぞれの仮想カメラで視点映像として仮想的に撮影する仮想カメラ撮影手段と、
前記仮想カメラ撮影手段で撮影された複数の視点映像を前記多視点映像として出力する多視点映像出力手段と、
を備えることを特徴とする多視点映像生成装置。
前記複数の視点映像に対応する前記拡大始点から前記三次元映像表示装置の予め定めた視距離だけ離間して仮想的に配置した複数の仮想カメラのそれぞれのカメラ座標系において、前記３Ｄモデルを前記仮想カメラの撮影面と平行な方向に拡大して、対応する前記仮想カメラに撮影されるように前記３Ｄモデルを変形する３Ｄモデル変形手段と、
複数の前記仮想カメラのカメラ座標系ごとに前記３Ｄモデル変形手段で変形された３Ｄモデルを、それぞれの仮想カメラで視点映像として仮想的に撮影する仮想カメラ撮影手段と、
前記仮想カメラ撮影手段で撮影された複数の視点映像を前記多視点映像として出力する多視点映像出力手段と、
を備えることを特徴とする多視点映像生成装置。
【請求項2】
前記仮想カメラの撮影中心をカメラ座標系の原点、撮影面をｘｙ座標、前記カメラ座標系の原点から前記拡大始点への方向を正とする奥行き方向の座標をｚ座標、前記視距離をＬ、前記３Ｄモデルを構成する構成点の座標を（ｘｉ，ｙｉ，ｚｉ）としたとき、前記３Ｄモデル変形手段は、前記３Ｄモデルを構成する構成点のｘｙ座標を、
により変換することを特徴とする請求項１に記載の多視点映像生成装置。
【数1】
【請求項3】
前記三次元映像表示装置は、個々の視点映像の映像光の主光線が前記拡散スクリーンに対して垂直で、それぞれの視点映像が部分的に重畳して照射するものであって、
前記仮想カメラ撮影手段は、正投影変換により、前記３Ｄモデル変形手段で変形された３Ｄモデルを撮影することを特徴とする請求項２に記載の多視点映像生成装置。
前記仮想カメラ撮影手段は、正投影変換により、前記３Ｄモデル変形手段で変形された３Ｄモデルを撮影することを特徴とする請求項２に記載の多視点映像生成装置。
【請求項4】
前記三次元映像表示装置は、個々の視点映像の映像光の主光線が前記拡散スクリーンに対して傾き、それぞれの視点映像が同一領域を重畳照射するものであって、
前記仮想カメラの座標系のｚ軸は、前記拡大始点と前記同一領域の中心を通っており、
前記仮想カメラ撮影手段は、斜投影変換により、前記３Ｄモデル変形手段で変形された３Ｄモデルを撮影することを特徴とする請求項２に記載の多視点映像生成装置。
前記仮想カメラの座標系のｚ軸は、前記拡大始点と前記同一領域の中心を通っており、
前記仮想カメラ撮影手段は、斜投影変換により、前記３Ｄモデル変形手段で変形された３Ｄモデルを撮影することを特徴とする請求項２に記載の多視点映像生成装置。
【請求項5】
コンピュータを、請求項１から請求項４のいずれか一項に記載の多視点映像生成装置として機能させるための多視点映像生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＣＧの３Ｄモデルから多視点映像を生成する多視点映像生成装置およびそのプログラムに関する。
【背景技術】
【0002】
近年、３Ｄメガネを用いた二眼式をはじめとして、多様な三次元映像表示方法が提案されている。特に、表示デバイスから多視点映像を拡散スクリーンに背面から重畳照射することで高密度な光線群を再生する三次元映像表示方式は、特殊なメガネが不要で、水平・垂直に視差を有する自然な三次元映像を表示することができる（特許文献１参照）。
【0003】
しかし、この方式は、多視点映像を構成する個々の視点映像の光を、結像レンズの焦点位置に集光して拡散スクリーンに照射するため、視点映像を透視投影、正射影等の一般的なカメラモデルで規定することができない。そのため、この方式では、ＣＧの３Ｄモデルから、３ＤＣＧシーンとなる視点映像（多視点映像）を生成することは困難である。
【0004】
インテグラル３Ｄ方式の要素画像群で３Ｄシーンの映像を生成する手法には、斜投影の仮想カメラで撮影した画像群の各画素を並べ替えて、要素画像を生成する手法（斜投影法）が存在する（特許文献２，非特許文献１参照）。
また、インテグラル３Ｄ方式の要素画像群で３Ｄシーンの映像を生成する他の手法として、光線追跡により、要素画像の画素を１画素ずつ取得して、要素画像を生成する手法（光線追跡法）が存在する（特許文献３参照）。
これらのインテグラル３Ｄ方式の要素画像群で３Ｄシーンの映像を生成する手法は、多視点映像で３ＤＣＧシーンの映像を生成する手法として利用することができる。
また、インテグラル３Ｄ方式の要素画像群で３Ｄシーンの映像を生成する他の手法として、光線追跡により、要素画像の画素を１画素ずつ取得して、要素画像を生成する手法（光線追跡法）が存在する（特許文献３参照）。
これらのインテグラル３Ｄ方式の要素画像群で３Ｄシーンの映像を生成する手法は、多視点映像で３ＤＣＧシーンの映像を生成する手法として利用することができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２０－６０７１１号公報
【特許文献2】特開２０１２－８４１０５号公報
【特許文献3】特開２００９－１７５８６６号公報
【非特許文献】
【0006】
【非特許文献1】Y. Iwadate and M. Katayama：“Generating Integral Image from 3D Object by Using Oblique Projection，”Proc. IDW’11，ITE，Nagoya，3Dp-1，pp.269-272（2011）
【発明の概要】
【発明が解決しようとする課題】
【0007】
前記した通り、多視点映像を用いた三次元映像表示方法では、ＣＧの３Ｄモデルから、３ＤＣＧシーンとなる視点映像（多視点映像）を生成することは、一般的なカメラモデルを用いることができないため困難である。
【0008】
また、多視点映像の生成のために、従来の斜投影法を用いた場合、視点映像の画素数と同じ回数だけ仮想カメラで画像群を撮影する必要がある。例えば、視点映像が３０万画素の場合、この手法は、仮想カメラで３ＤＣＧシーンとして異なる方向から３０万回撮影する必要がある。また、この手法は、撮影画像の画素を並び替えて視点映像を生成する必要がある。そのため、この手法は、多視点映像の生成に時間がかかってしまうという問題がある。
【0009】
また、多視点映像の生成のために、従来の光線追跡法を用いた場合、ＣＧの３Ｄモデル中の各物体と光線との当たり判定処理が必要となり、処理が複雑になる。そのため、この手法は、３Ｄモデルを構成するポリゴンの枚数が多い場合には、多視点映像の生成に時間がかかってしまうという問題がある。
【0010】
本発明は、このような問題に鑑みてなされたもので、ＣＧの３Ｄモデルから、仮想カメラによる１回の撮影で視点映像を生成し、従来よりも簡易にかつ高速に多視点映像を生成することが可能な多視点映像生成装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0011】
前記課題を解決するため、本発明に係る多視点映像生成装置は、多視点映像の複数の視点映像の映像光をそれぞれ集光し、集光点を拡大始点として映像光を拡大して拡散スクリーンに重畳することで三次元映像を表示する三次元映像表示装置に用いる前記多視点映像を、ＣＧの３Ｄモデルから生成する多視点映像生成装置であって、３Ｄモデル変形手段と、仮想カメラ撮影手段と、多視点映像出力手段と、を備える構成とした。
【0012】
かかる構成において、多視点映像生成装置は、３Ｄモデル変形手段によって、複数の視点映像に対応する拡大始点から三次元映像表示装置の予め定めた視距離だけ離間して仮想的に配置した複数の仮想カメラのそれぞれのカメラ座標系において、３Ｄモデルを仮想カメラの撮影面と平行な方向に拡大して、対応する仮想カメラに撮影されるように３Ｄモデルを変形する。このように、３Ｄモデル変形手段は、簡易な線形変換で３Ｄモデルを変形することができる。これによって、変形された３Ｄモデルは、一般的なカメラモデルで仮想カメラに投影することが可能になる。
【0013】
そして、多視点映像生成装置は、仮想カメラ撮影手段によって、複数の仮想カメラのカメラ座標系ごとに３Ｄモデル変形手段で変形された３Ｄモデルを、それぞれの仮想カメラで視点映像として仮想的に撮影する。このように、拡大始点に対応する仮想カメラで撮影された視点映像は、それぞれ視点位置の異なる映像となる。
【0014】
そして、多視点映像生成装置は、多視点映像出力手段によって、仮想カメラ撮影手段で撮影された複数の視点映像を多視点映像として出力する。
これによって、多視点映像生成装置は、簡易に３Ｄモデルを変形することができるとともに、視点映像を１回の投影処理で生成でき、高速に視点映像を生成することができる。
これによって、多視点映像生成装置は、簡易に３Ｄモデルを変形することができるとともに、視点映像を１回の投影処理で生成でき、高速に視点映像を生成することができる。
【0015】
なお、多視点映像生成装置は、コンピュータを、前記した各手段として機能させるための多視点映像生成プログラムで動作させることができる。
【発明の効果】
【0016】
本発明によれば、ＣＧの３Ｄモデルを仮想カメラとの位置関係に応じて変形することで、一般的な射影変換のカメラモデルに基づいて個々の視点映像を生成することができる。これによって、本発明は、仮想カメラによる１回の撮影で視点映像を生成することができ、従来よりも簡易に、かつ、高速に多視点映像を生成することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態に係る多視点映像装置の構成を示すブロック構成図である。
【図2】多視点映像で三次元映像を表示する三次元映像表示装置の構成を示す構成図である。
【図3】多視点映像の例を示し、多視点映像の構成を説明するための説明図である。
【図4】視点映像の映像光と、３Ｄモデルと、仮想カメラとの位置関係を説明するための説明図である。
【図5】本発明の実施形態に係る多視点映像装置の動作を示すフローチャートである。
【図6】多視点映像で三次元映像を表示する他の三次元映像表示装置の構成を示す構成図である。
【図7】視域制御レンズを用いた場合の視点映像の映像光と、３Ｄモデルと、仮想カメラとの位置関係を説明するための説明図である。
【発明を実施するための形態】
【0018】
＜多視点映像生成装置の構成＞
まず、図１を参照して、本発明の実施形態に係る多視点映像生成装置１の構成について説明する。
多視点映像生成装置１は、ＣＧ（コンピュータグラフィックス）の３Ｄモデルから、三次元映像表示装置で表示する３ＤＣＧシーンとなる多視点映像を生成するものである。
この多視点映像生成装置１は、多視点映像の複数の視点映像の映像光をそれぞれ集光し、集光点を拡大始点として映像光を拡大して拡散スクリーンに重畳することで三次元映像を表示する三次元映像表示装置に用いる多視点映像を生成する。
まず、図１を参照して、本発明の実施形態に係る多視点映像生成装置１の構成について説明する。
多視点映像生成装置１は、ＣＧ（コンピュータグラフィックス）の３Ｄモデルから、三次元映像表示装置で表示する３ＤＣＧシーンとなる多視点映像を生成するものである。
この多視点映像生成装置１は、多視点映像の複数の視点映像の映像光をそれぞれ集光し、集光点を拡大始点として映像光を拡大して拡散スクリーンに重畳することで三次元映像を表示する三次元映像表示装置に用いる多視点映像を生成する。
【0019】
３Ｄモデルは、三次元のＣＧ空間（３ＤＣＧ空間）において、人物、物体等のオブジェクトを表現するデータである。この３Ｄモデルは、例えば、ポリゴンデータ、ポイントクラウド（点群データ）等で表される。
３ＤＣＧシーンは、３ＤＣＧ空間の３Ｄモデルをある視点で撮影したシーンである。
多視点映像は、水平方向および垂直方向で視点位置の異なる複数の映像（視点映像）で構成された映像である。
３ＤＣＧシーンは、３ＤＣＧ空間の３Ｄモデルをある視点で撮影したシーンである。
多視点映像は、水平方向および垂直方向で視点位置の異なる複数の映像（視点映像）で構成された映像である。
【0020】
図１に示すように、多視点映像生成装置１は、記憶手段１０と、仮想カメラ設定手段１１と、３Ｄモデル変形手段１２と、仮想カメラ撮影手段１３と、多視点映像出力手段１４と、を備える。
【0021】
記憶手段１０は、生成した多視点映像を用いて三次元映像を表示する三次元映像表示装置の構成データ（表示装置構成データ）を予め記憶するものである。この記憶手段１０は、半導体メモリ等の一般的な記憶媒体で構成することができる。
表示装置構成データは、三次元映像表示装置を構成するパラメータである。
表示装置構成データは、三次元映像表示装置を構成するパラメータである。
【0022】
ここで、図２を参照して、多視点映像を用いて三次元映像を表示する一般的な三次元映像表示装置２（例えば、特許文献１参照）を例にして、表示装置構成データについて説明する。
図２に示すように、三次元映像表示装置２は、多視点映像表示部２０によって、視点位置の異なる複数の視点映像ｉで構成された多視点映像Ｉを表示する。
図２に示すように、三次元映像表示装置２は、多視点映像表示部２０によって、視点位置の異なる複数の視点映像ｉで構成された多視点映像Ｉを表示する。
【0023】
多視点映像表示部２０が表示する多視点映像Ｉの映像光は、個々の視点映像ｉに対向する結像レンズＬｉで構成された結像レンズアレイ２１によって、結像レンズＬｉの焦点距離ｆ１だけ離間して配置されたアパーチャアレイ２２のそれぞれのアパーチャ（開口）Ａｉに集光し、拡大して、拡散スクリーン２３に照射される。このアパーチャＡｉの中心が視点映像の映像光が拡大する始点となる。
このとき、個々の視点映像ｉの映像光の主光線は、拡散スクリーン２３に対して垂直である。また、それぞれの視点映像ｉは、部分的に重畳して拡散スクリーン２３に照射される。なお、この視点映像ｉの部分的な重畳は、拡散スクリーン２３の周辺部を除くすべて領域に２枚以上の視点映像ｉが重畳して照射される状態とする。
このとき、個々の視点映像ｉの映像光の主光線は、拡散スクリーン２３に対して垂直である。また、それぞれの視点映像ｉは、部分的に重畳して拡散スクリーン２３に照射される。なお、この視点映像ｉの部分的な重畳は、拡散スクリーン２３の周辺部を除くすべて領域に２枚以上の視点映像ｉが重畳して照射される状態とする。
【0024】
そして、三次元映像表示装置２は、拡散スクリーン２３によって、入射する離散的な光線群を僅かに拡散し、連続的な輝度分布の光線群とする。
これによって、観察者Ｏは、光学像として、三次元映像Ｔを視認することができる。
これによって、観察者Ｏは、光学像として、三次元映像Ｔを視認することができる。
【0025】
なお、多視点映像Ｉは、水平方向および垂直方向に視点映像ｉが二次元に配列されている。また、結像レンズＬｉおよびアパーチャＡｉも、視点映像ｉに対向して二次元に配列されている。
【0026】
例えば、多視点映像Ｉは、図３に示すように、水平方向および垂直方向の異なる視点位置の映像（視点映像ｉ）が１枚の画像中に並んだ映像である。図３は、水平５視点、垂直５視点の視点映像ｉで構成された多視点映像Ｉの例を示している。なお、実際には、アパーチャアレイ２２前後で個々の視点映像ｉが水平方向および垂直方向に反転するが、ここでは、説明を簡単にするため、非反転映像で多視点映像Ｉを表している。
【0027】
このように、多視点映像を用いて三次元映像を表示する一般的な三次元映像表示装置２において、表示装置構成データは、視点映像ｉの数（水平個数、垂直個数）、視点映像ｉの表示ピッチ（水平ピッチ、垂直ピッチ）ｐ、視域角φ、アパーチャアレイ２２（拡大始点面）から観察者Ｏまでの距離（推奨視距離）Ｌ等である。
図１に戻って、多視点映像生成装置１の構成について説明を続ける。
図１に戻って、多視点映像生成装置１の構成について説明を続ける。
【0028】
仮想カメラ設定手段１１は、記憶手段１０に記憶されている表示装置構成データを参照して、３Ｄモデルを仮想的に撮影する仮想カメラを順次設定するものである。
仮想カメラ設定手段１１は、表示装置構成データの視点映像ｉの数（水平個数、垂直個数）に基づいて、仮想カメラの位置を（０，０）～（Ｎｘ－１，Ｎｙ－１）で順次設定する。ここで、Ｎｘは視点映像の水平個数、Ｎｙは視点映像の垂直個数とする。
例えば、仮想カメラ設定手段１１は、初期値として、仮想カメラの位置を（０，０）とし、順次、（Ｎｘ－１，Ｎｙ－１）まで、仮想カメラの位置を設定する。
仮想カメラ設定手段１１は、仮想カメラの初期位置を、３Ｄモデル変形手段１２および仮想カメラ撮影手段１３に出力する。
仮想カメラ設定手段１１は、表示装置構成データの視点映像ｉの数（水平個数、垂直個数）に基づいて、仮想カメラの位置を（０，０）～（Ｎｘ－１，Ｎｙ－１）で順次設定する。ここで、Ｎｘは視点映像の水平個数、Ｎｙは視点映像の垂直個数とする。
例えば、仮想カメラ設定手段１１は、初期値として、仮想カメラの位置を（０，０）とし、順次、（Ｎｘ－１，Ｎｙ－１）まで、仮想カメラの位置を設定する。
仮想カメラ設定手段１１は、仮想カメラの初期位置を、３Ｄモデル変形手段１２および仮想カメラ撮影手段１３に出力する。
【0029】
また、仮想カメラ設定手段１１は、仮想カメラ撮影手段１３から、仮想カメラによる撮影が終了した旨を通知されることで、仮想カメラの位置を他の視点映像に対応する仮想カメラの位置に設定し直し、設定後の仮想カメラの位置を３Ｄモデル変形手段１２および仮想カメラ撮影手段１３に出力する。
【0030】
３Ｄモデル変形手段１２は、仮想カメラ設定手段１１で設定された仮想カメラの位置に対応するカメラ座標系において、３Ｄモデルを変形するものである。
この３Ｄモデル変形手段１２は、複数の視点映像に対応する映像光の拡大始点から三次元映像表示装置２（図２）の予め定めた視距離（推奨視距離）Ｌだけ離間して仮想的に配置した複数の仮想カメラのそれぞれのカメラ座標系において、３Ｄモデルを仮想カメラの撮影面と平行な方向に拡大して、対応する仮想カメラに撮影されるように３Ｄモデルを変形する。
なお、拡大始点の位置は、視点映像の映像光が集光する点であるため、個々の拡大始点の位置は、同一平面上で視点映像の表示ピッチｐ（図２）だけ離間している。
この３Ｄモデル変形手段１２は、複数の視点映像に対応する映像光の拡大始点から三次元映像表示装置２（図２）の予め定めた視距離（推奨視距離）Ｌだけ離間して仮想的に配置した複数の仮想カメラのそれぞれのカメラ座標系において、３Ｄモデルを仮想カメラの撮影面と平行な方向に拡大して、対応する仮想カメラに撮影されるように３Ｄモデルを変形する。
なお、拡大始点の位置は、視点映像の映像光が集光する点であるため、個々の拡大始点の位置は、同一平面上で視点映像の表示ピッチｐ（図２）だけ離間している。
【0031】
ここで、図４を参照して、３Ｄモデル変形手段１２における３Ｄモデルの変形について具体的に説明する。
図４は、図２の三次元映像表示装置２の視点映像の映像光と、３Ｄモデルと、仮想カメラとの位置関係をモデル化した図である。
図４の拡大始点Ｐｉは、図２のアパーチャＡｉの中心に相当する。また、図４の拡大始点面Ｐは、図２のアパーチャアレイ２２に相当する。なお、図４では、視点映像ｉから拡大始点Ｐｉまでの光線については図示を省略している。
ｘ軸、ｙ軸およびｚ軸は、各軸が直交する仮想カメラＣのカメラ座標系である。原点座標（０，０，０）に仮想カメラＣの撮影中心Ｃｉが存在し、ｚ軸の正の方向を仮想カメラＣの正面方向とする。
図４は、図２の三次元映像表示装置２の視点映像の映像光と、３Ｄモデルと、仮想カメラとの位置関係をモデル化した図である。
図４の拡大始点Ｐｉは、図２のアパーチャＡｉの中心に相当する。また、図４の拡大始点面Ｐは、図２のアパーチャアレイ２２に相当する。なお、図４では、視点映像ｉから拡大始点Ｐｉまでの光線については図示を省略している。
ｘ軸、ｙ軸およびｚ軸は、各軸が直交する仮想カメラＣのカメラ座標系である。原点座標（０，０，０）に仮想カメラＣの撮影中心Ｃｉが存在し、ｚ軸の正の方向を仮想カメラＣの正面方向とする。
【0032】
図４に示した位置関係において、ｚ軸上に拡大始点Ｐｉが存在し、拡大始点Ｐｉから視点映像光Ｌｔｉが視域角φで拡大し、ｘｙ平面上の仮想カメラＣの撮影中心Ｃｉを中心に、ｘ方向の幅ｄｘ、ｙ方向の幅ｄｙ（不図示）に投影される。
３Ｄモデル変形手段１２は、３ＤモデルＭを、図４に示した位置関係に合わせるため、３Ｄモデルを以下の式（１），式（２）により変形する。
３Ｄモデル変形手段１２は、３ＤモデルＭを、図４に示した位置関係に合わせるため、３Ｄモデルを以下の式（１），式（２）により変形する。
【0033】
【数1】
【0034】
ただし、ｘｉ，ｙｉ，ｚｉは、３ＤモデルＭを構成する構成点の座標であって、カメラ座標系でのｘ，ｙ，ｚ座標である。例えば、３ＤモデルＭがポリゴンデータであれば、ｘｉ，ｙｉ，ｚｉは、ポリゴン群のｉ番目の頂点のカメラ座標系でのｘ，ｙ，ｚ座標である。また、３ＤモデルＭがポイントクラウドであれば、ｘｉ，ｙｉ，ｚｉは、各点のカメラ座標系でのｘ，ｙ，ｚ座標である。ただし、ｚｉは、０＜ｚｉ＜Ｌである。
また、Ｌは、拡大始点Ｐｉから、仮想カメラＣの撮影中心Ｃｉまでの距離であって、図２に示した視距離（推奨視距離）である。
ｘｉ′，ｙｉ′は、変形後のｘ，ｙ座標である。
また、Ｌは、拡大始点Ｐｉから、仮想カメラＣの撮影中心Ｃｉまでの距離であって、図２に示した視距離（推奨視距離）である。
ｘｉ′，ｙｉ′は、変形後のｘ，ｙ座標である。
【0035】
なお、３Ｄモデル変形手段１２は、新たな仮想カメラの位置が設定された場合、新たな仮想カメラに対応する拡大始点Ｐｉがｚ軸上に存在するように、カメラ座標系をｘ方向またはｙ方向に平行移動し、新たな仮想カメラの撮影中心を、カメラ座標系の原点座標（０，０，０）とする。
これによって、３Ｄモデル変形手段１２は、仮想カメラの位置に対応して３ＤモデルＭを変形することができる。
図１に戻って、多視点映像生成装置１の構成について説明を続ける。
これによって、３Ｄモデル変形手段１２は、仮想カメラの位置に対応して３ＤモデルＭを変形することができる。
図１に戻って、多視点映像生成装置１の構成について説明を続ける。
【0036】
３Ｄモデル変形手段１２は、変形した３Ｄモデルを仮想カメラ撮影手段１３に出力する。この３Ｄモデル変形手段１２は、仮想カメラ設定手段１１で新たな仮想化カメラの位置を設定されるたびに、仮想カメラの位置に対応して３ＤモデルＭを変形する。
【0037】
仮想カメラ撮影手段１３は、仮想カメラ設定手段１１で設定された仮想カメラの位置から、３Ｄモデル変形手段１２で変形された３Ｄモデルを仮想的に撮影するものである。
この仮想カメラ撮影手段１３は、仮想カメラの撮影面において、記憶手段１０に記憶されている表示装置構成データの視域角で特定される範囲を撮影することで視点映像を生成する。
例えば、図４に示すように、視域角をφ、視距離（推奨視距離）をＬとしたとき、仮想カメラ撮影手段１３は、仮想カメラＣの撮影中心Ｃｉを中心として、ｘ方向において、撮影範囲をｄｘ（＝２Ｌ・ｔａｎ（φ／２））とする。ｙ方向においても同様である。
この仮想カメラ撮影手段１３は、仮想カメラの撮影面において、記憶手段１０に記憶されている表示装置構成データの視域角で特定される範囲を撮影することで視点映像を生成する。
例えば、図４に示すように、視域角をφ、視距離（推奨視距離）をＬとしたとき、仮想カメラ撮影手段１３は、仮想カメラＣの撮影中心Ｃｉを中心として、ｘ方向において、撮影範囲をｄｘ（＝２Ｌ・ｔａｎ（φ／２））とする。ｙ方向においても同様である。
【0038】
仮想カメラ撮影手段１３における３Ｄモデルを仮想的に撮影するとは、変形後の３Ｄモデルを正射影変換することにより、仮想カメラの撮影面に射影することである。
例えば、３ＤモデルＭがポリゴンデータの場合、仮想カメラ撮影手段１３は、ＯｐｅｎＧＬ（登録商標）、ＤｉｒｅｃｔＸ（登録商標）等の一般的な３ＤＣＧグラフィックインタフェースを用いて、変形後の３ＤモデルＭのポリゴンを正射影変換により１枚ずつレンダリングすればよい。あるいは、仮想カメラ撮影手段１３は、Ｕｎｉｔｙ（登録商標）等のゲームエンジンを使用する場合、頂点シェーダ機能を用いて変形した３ＤモデルＭを正射影変換によりレンダリングすればよい。
例えば、３ＤモデルＭがポリゴンデータの場合、仮想カメラ撮影手段１３は、ＯｐｅｎＧＬ（登録商標）、ＤｉｒｅｃｔＸ（登録商標）等の一般的な３ＤＣＧグラフィックインタフェースを用いて、変形後の３ＤモデルＭのポリゴンを正射影変換により１枚ずつレンダリングすればよい。あるいは、仮想カメラ撮影手段１３は、Ｕｎｉｔｙ（登録商標）等のゲームエンジンを使用する場合、頂点シェーダ機能を用いて変形した３ＤモデルＭを正射影変換によりレンダリングすればよい。
【0039】
また、３ＤモデルＭがポイントクラウド（点群データ）の場合、仮想カメラ撮影手段１３は、変形後の３ＤモデルＭの各点を正射影変換により仮想カメラの撮影面に射影し、各点を任意のサイズで描画すればよい。
【0040】
仮想カメラ撮影手段１３は、仮想カメラで仮想的に撮影して生成した視点映像を、多視点映像出力手段１４に出力する。仮想カメラ撮影手段１３は、１枚の視点映像を生成後、仮想カメラによる撮影が終了した旨を仮想カメラ設定手段１１に通知する。
【0041】
多視点映像出力手段１４は、仮想カメラ撮影手段１３で仮想的に撮影して生成された複数の視点映像を多視点映像として出力するものである。
多視点映像出力手段１４は、記憶手段１０に記憶されている視点映像の数（水平個数、垂直個数）に応じて、視点映像を水平方向および垂直方向に並べて１枚の多視点映像を生成する。もちろん、多視点映像出力手段１４は、必ずしも１枚の映像として多視点映像を生成する必要はなく、予め定めた順番で視点映像を順に出力して多視点映像としてもよい。
多視点映像出力手段１４は、記憶手段１０に記憶されている視点映像の数（水平個数、垂直個数）に応じて、視点映像を水平方向および垂直方向に並べて１枚の多視点映像を生成する。もちろん、多視点映像出力手段１４は、必ずしも１枚の映像として多視点映像を生成する必要はなく、予め定めた順番で視点映像を順に出力して多視点映像としてもよい。
【0042】
以上説明したように、多視点映像生成装置１は、３Ｄモデルを仮想カメラの位置に応じて、正射影変換が可能な形状に変換することができる。これによって、多視点映像生成装置１は、仮想カメラの位置に応じて、１回の撮影で視点映像を生成することができ、従来よりも簡易に、かつ、高速に多視点映像を生成することができる。
なお、多視点映像生成装置１は、コンピュータを、前記した各手段として機能させるためのプログラム（多視点映像生成プログラム）で動作させることができる。
なお、多視点映像生成装置１は、コンピュータを、前記した各手段として機能させるためのプログラム（多視点映像生成プログラム）で動作させることができる。
【0043】
＜多視点映像生成装置の動作＞
次に、図５を参照（構成については適宜図１参照）して、本発明の実施形態に係る多視点映像生成装置１の動作について説明する。
なお、記憶手段１０には、生成する多視点映像を表示する三次元映像表示装置の構成データ（表示装置構成データ）が予め記憶されているものとする。
次に、図５を参照（構成については適宜図１参照）して、本発明の実施形態に係る多視点映像生成装置１の動作について説明する。
なお、記憶手段１０には、生成する多視点映像を表示する三次元映像表示装置の構成データ（表示装置構成データ）が予め記憶されているものとする。
【0044】
ステップＳ１において、仮想カメラ設定手段１１は、３Ｄモデルを仮想的に撮影する仮想カメラの初期位置を設定する。
ステップＳ２において、３Ｄモデル変形手段１２は、設定された仮想カメラの位置に対応するカメラ座標系において、３Ｄモデルを変形する。ここでは、３Ｄモデル変形手段１２は、仮想カメラに対して推奨視距離だけ離れた拡大始点から、３Ｄモデルが仮想カメラの投影面に拡大して投影されるように、前記式（１），式（２）により、３Ｄモデルを変形する。
ステップＳ２において、３Ｄモデル変形手段１２は、設定された仮想カメラの位置に対応するカメラ座標系において、３Ｄモデルを変形する。ここでは、３Ｄモデル変形手段１２は、仮想カメラに対して推奨視距離だけ離れた拡大始点から、３Ｄモデルが仮想カメラの投影面に拡大して投影されるように、前記式（１），式（２）により、３Ｄモデルを変形する。
【0045】
ステップＳ３において、仮想カメラ撮影手段１３は、ステップＳ１または後記するステップＳ５で設定された仮想カメラの位置から、ステップＳ２で変形された３Ｄモデルを仮想的に撮影する。これによって、１つの仮想カメラの位置に対して１枚の視点映像が生成される。なお、この仮想カメラによる撮影は、ステップＳ２で３Ｄモデルが変形されているため、正射影投影による１回の撮影で視点映像を生成することができる。
【0046】
ステップＳ４において、仮想カメラ設定手段１１は、表示装置構成データの視点映像の数だけ、すべての仮想カメラの位置で撮影を完了したか否かを判定する。
ここで、まだ、すべての仮想カメラの位置で撮影を完了していない場合（ステップＳ４でＮｏ）、ステップＳ５において、仮想カメラ設定手段１１は、仮想カメラの位置を他の視点映像に対応する仮想カメラの位置に設定する。
ここで、まだ、すべての仮想カメラの位置で撮影を完了していない場合（ステップＳ４でＮｏ）、ステップＳ５において、仮想カメラ設定手段１１は、仮想カメラの位置を他の視点映像に対応する仮想カメラの位置に設定する。
【0047】
一方、すべての仮想カメラの位置で撮影を完了した場合（ステップＳ４でＹｅｓ）、ステップＳ６において、多視点映像出力手段１４は、ステップＳ３で順次生成された複数の視点映像を多視点映像として出力する。
以上の動作によって、多視点映像生成装置１は、ＣＧの３Ｄモデルから、仮想カメラの位置に応じて１回の撮影で視点映像を生成して、多視点映像を生成することができる。
以上の動作によって、多視点映像生成装置１は、ＣＧの３Ｄモデルから、仮想カメラの位置に応じて１回の撮影で視点映像を生成して、多視点映像を生成することができる。
【0048】
以上、本発明の実施形態に係る多視点映像生成装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
ここでは、多視点映像を用いて三次元映像を表示する装置を、図２に示したように、多視点映像Ｉにおける個々の視点映像ｉの映像光の主光線が拡散スクリーン２３に対して垂直である装置（三次元映像表示装置２）とした。
ここでは、多視点映像を用いて三次元映像を表示する装置を、図２に示したように、多視点映像Ｉにおける個々の視点映像ｉの映像光の主光線が拡散スクリーン２３に対して垂直である装置（三次元映像表示装置２）とした。
【0049】
しかし、多視点映像を用いて三次元映像を表示する装置は、図６に示す示すように、多視点映像Ｉにおける個々の視点映像ｉの映像光の主光線が拡散スクリーン２３に対して傾き、視点映像ｉの映像光が拡散スクリーン２３の同一領域に照射される装置（三次元映像表示装置２Ｂ）であってもよい。
なお、三次元映像表示装置２Ｂは、三次元映像表示装置２に対して、視域制御レンズ２４をアパーチャアレイ２２の前面に備えている点が異なっている。
なお、三次元映像表示装置２Ｂは、三次元映像表示装置２に対して、視域制御レンズ２４をアパーチャアレイ２２の前面に備えている点が異なっている。
【0050】
視域制御レンズ２４は、凸レンズ等の光学レンズで構成され、焦点距離ｆ２だけ離間して配置された拡散スクリーン２３の同一の領域に、個々の視点映像ｉの映像光を照射する。視域制御レンズ２４は、アパーチャアレイ２２に密接して配置すればよい。
その場合、３Ｄモデル変形手段１２および仮想カメラ撮影手段１３が、以下の処理を行えばよい。すなわち、３Ｄモデル変形手段１２は、視点映像の映像光の傾きを持った主光線と、仮想カメラのｚ軸とを同一とし、主光線（ｚ軸）の向きに沿って３Ｄモデルを変形する。そして、仮想カメラ撮影手段１３は、主光線（ｚ軸）の向きに沿って仮想カメラで斜投影変換を行うことで３Ｄモデルを撮影すればよい。
その場合、３Ｄモデル変形手段１２および仮想カメラ撮影手段１３が、以下の処理を行えばよい。すなわち、３Ｄモデル変形手段１２は、視点映像の映像光の傾きを持った主光線と、仮想カメラのｚ軸とを同一とし、主光線（ｚ軸）の向きに沿って３Ｄモデルを変形する。そして、仮想カメラ撮影手段１３は、主光線（ｚ軸）の向きに沿って仮想カメラで斜投影変換を行うことで３Ｄモデルを撮影すればよい。
【0051】
図７は、図６の三次元映像表示装置２Ｂの視点映像の映像光と、３Ｄモデルと、仮想カメラとの位置関係をモデル化した図である。
図７の拡大始点Ｐｉは、図６のアパーチャＡｉの中心に相当する。また、図７の拡大始点面Ｐは、図６のアパーチャアレイ２２に相当する。なお、図７では、視点映像ｉから拡大始点Ｐｉまでの光線については図示を省略している。
図７の拡大始点Ｐｉは、図６のアパーチャＡｉの中心に相当する。また、図７の拡大始点面Ｐは、図６のアパーチャアレイ２２に相当する。なお、図７では、視点映像ｉから拡大始点Ｐｉまでの光線については図示を省略している。
【0052】
図７に示した位置関係において、拡大始点Ｐｉから拡散スクリーン２３における視点映像光Ｌｔｉの重畳照射領域の中心Ｐｃを通る延長線上で、かつ、拡大始点面Ｐから視距離（推奨視距離）Ｌだけ離間した位置に仮想カメラＣを配置する。
【0053】
このとき、個々の視点映像ｉの映像光の主光線は、拡散スクリーン２３に対して傾いている。
ｘ軸、ｙ軸およびｚ軸は仮想カメラＣのカメラ座標系であり、ｘ軸およびｚ軸は斜交座標系である。すなわち、ｘｙ平面は、拡大始点面Ｐに平行であるが、ｚ軸は、仮想カメラＣの撮影中心Ｃｉと対応する視点映像の拡大始点Ｐｉとを結ぶ、拡散スクリーン２３に対して傾いた直線であって、ｚ軸の正の方向を仮想カメラＣの正面方向とする。仮想カメラＣの撮影中心Ｃｉが原点座標（０，０，０）である。
図７に示した位置関係において、ｚ軸上の拡大始点Ｐｉから視点映像光Ｌｔｉが予め設定された角度で拡大し、ｘｙ平面上の仮想カメラＣの撮影中心Ｃｉを中心に、ｘ方向の幅ｄｘ、ｙ方向の幅ｄｙ（不図示）に投影される。
ｘ軸、ｙ軸およびｚ軸は仮想カメラＣのカメラ座標系であり、ｘ軸およびｚ軸は斜交座標系である。すなわち、ｘｙ平面は、拡大始点面Ｐに平行であるが、ｚ軸は、仮想カメラＣの撮影中心Ｃｉと対応する視点映像の拡大始点Ｐｉとを結ぶ、拡散スクリーン２３に対して傾いた直線であって、ｚ軸の正の方向を仮想カメラＣの正面方向とする。仮想カメラＣの撮影中心Ｃｉが原点座標（０，０，０）である。
図７に示した位置関係において、ｚ軸上の拡大始点Ｐｉから視点映像光Ｌｔｉが予め設定された角度で拡大し、ｘｙ平面上の仮想カメラＣの撮影中心Ｃｉを中心に、ｘ方向の幅ｄｘ、ｙ方向の幅ｄｙ（不図示）に投影される。
【0054】
また、３Ｄモデル変形手段１２は、３ＤモデルＭを図７に示した位置関係に合わせるため、３Ｄモデルを前記式（１），式（２）により変形する。
また、仮想カメラ撮影手段１３は、仮想カメラＣの位置から、変形した３ＤモデルＭを、ｚ軸に沿って斜めに撮影することで視点映像を生成する。すなわち、仮想カメラ撮影手段１３は、３Ｄモデルを仮想カメラＣから見た３ＤＣＧシーンをｚ軸に沿って斜射影変換により、仮想カメラＣの撮影面に射影すればよい。
また、仮想カメラ撮影手段１３は、仮想カメラＣの位置から、変形した３ＤモデルＭを、ｚ軸に沿って斜めに撮影することで視点映像を生成する。すなわち、仮想カメラ撮影手段１３は、３Ｄモデルを仮想カメラＣから見た３ＤＣＧシーンをｚ軸に沿って斜射影変換により、仮想カメラＣの撮影面に射影すればよい。
【0055】
これによって、多視点映像生成装置１は、視点映像の光線の主光線が斜め方向に傾いている場合でも、仮想カメラの位置に応じて、１回の撮影で視点映像を生成することができ、従来よりも簡易に、かつ、高速に多視点映像を生成することができる。
【符号の説明】
【0056】
１ 多視点映像生成装置
１０ 記憶手段
１１ 仮想カメラ設定手段
１２ ３Ｄモデル変形手段
１３ 仮想カメラ撮影手段
１４ 多視点映像出力手段
Ｃ 仮想カメラ
Ｉ 多視点映像
ｉ 視点映像
Ｔ 三次元映像
Ｐ 拡大始点面
Ｐｉ 拡大始点
１０ 記憶手段
１１ 仮想カメラ設定手段
１２ ３Ｄモデル変形手段
１３ 仮想カメラ撮影手段
１４ 多視点映像出力手段
Ｃ 仮想カメラ
Ｉ 多視点映像
ｉ 視点映像
Ｔ 三次元映像
Ｐ 拡大始点面
Ｐｉ 拡大始点
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
