知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024070970
(43)【公開日】2024-05-24
(54)【発明の名称】３次元映像表示用データ生成装置およびそのプログラム
(51)【国際特許分類】
H04N 13/293 20180101AFI20240517BHJP
H04N 13/282 20180101ALI20240517BHJP
G03B 35/18 20210101ALI20240517BHJP
G02B 30/10 20200101ALN20240517BHJP
【ＦＩ】
H04N13/293
H04N13/282
G03B35/18
G02B30/10
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022181635
(22)【出願日】2022-11-14
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】渡邉 隼人
(72)【発明者】
【氏名】岡市 直人
(72)【発明者】
【氏名】加納 正規
(72)【発明者】
【氏名】佐々木 久幸
(72)【発明者】
【氏名】洗井 淳
(72)【発明者】
【氏名】藤井 俊彰
【テーマコード（参考）】
2H059
2H199
5C061
【Ｆターム（参考）】
2H059AB13
2H199BA19
2H199BB03
2H199BB18
2H199BB52
2H199BB63
5C061AA06
5C061AB16
(57)【要約】
【課題】３次元映像表示用データ生成装置を提供する。
【解決手段】３次元映像表示用データ生成装置１は、３Ｄシーンデータから原映像を生成する原映像生成部１１と、３Ｄシーンデータから、インテグラル３次元映像の表示面から遠いほど重みが小さくなるような重みマップを生成する重みマップ生成部１３と、原映像と２次元映像との差分からインテグラル３次元映像を生成する３Ｄ映像輝度算出部１４０と、原映像とインテグラル３次元映像との差分に重みマップを乗算して２次元映像を生成する２Ｄ映像輝度算出部１４１と、３Ｄ映像輝度算出部１４０と２Ｄ映像輝度算出部１４１とを繰り返して実行させる繰り返し実行部１４２と、インテグラル３次元映像から要素画像群を生成する要素画像群生成部１５と、要素画像群と２次元映像とを表示用データとして出力するデータ出力部１６と、を備える。
【選択図】図１
【解決手段】３次元映像表示用データ生成装置１は、３Ｄシーンデータから原映像を生成する原映像生成部１１と、３Ｄシーンデータから、インテグラル３次元映像の表示面から遠いほど重みが小さくなるような重みマップを生成する重みマップ生成部１３と、原映像と２次元映像との差分からインテグラル３次元映像を生成する３Ｄ映像輝度算出部１４０と、原映像とインテグラル３次元映像との差分に重みマップを乗算して２次元映像を生成する２Ｄ映像輝度算出部１４１と、３Ｄ映像輝度算出部１４０と２Ｄ映像輝度算出部１４１とを繰り返して実行させる繰り返し実行部１４２と、インテグラル３次元映像から要素画像群を生成する要素画像群生成部１５と、要素画像群と２次元映像とを表示用データとして出力するデータ出力部１６と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
インテグラル３次元映像と２次元映像とを合成した合成３次元映像を表示する３次元映像表示装置で使用する表示用データを生成する３次元映像表示用データ生成装置であって、
３Ｄシーンデータから、視点ごとの映像を原映像として生成する原映像生成部と、
前記３Ｄシーンデータから、前記視点ごとに、前記インテグラル３次元映像の表示面から遠いほど重みが小さくなるような重みマップを生成する重みマップ生成部と、
前記視点ごとに、２次元映像の画素位置に対応する前記原映像の輝度値と前記２次元映像の輝度値との差分から、前記インテグラル３次元映像の画素ごとの輝度値を算出する３Ｄ映像輝度算出部と、
前記視点ごとに、前記２次元映像の画素位置に対応する前記原映像の輝度値と前記インテグラル３次元映像の輝度値との差分に前記重みマップを乗算して算出値をすべての視点で加算平均することで、前記２次元映像の画素ごとの輝度値を算出する２Ｄ映像輝度算出部と、
前記３Ｄ映像輝度算出部と前記２Ｄ映像輝度算出部とに、予め定めた条件で繰り返して実行させる繰り返し実行部と、
前記予め定めた条件で繰り返した後の前記３Ｄ映像輝度算出部が算出した前記視点ごとのインテグラル３次元映像の輝度値から、要素画像群を生成する要素画像群生成部と、
前記要素画像群生成部が生成した要素画像群と、前記予め定めた条件で繰り返した後の前記２Ｄ映像輝度算出部が算出した２次元映像とを、前記表示用データとして出力するデータ出力部と、
を備えることを特徴とする３次元映像表示用データ生成装置。
３Ｄシーンデータから、視点ごとの映像を原映像として生成する原映像生成部と、
前記３Ｄシーンデータから、前記視点ごとに、前記インテグラル３次元映像の表示面から遠いほど重みが小さくなるような重みマップを生成する重みマップ生成部と、
前記視点ごとに、２次元映像の画素位置に対応する前記原映像の輝度値と前記２次元映像の輝度値との差分から、前記インテグラル３次元映像の画素ごとの輝度値を算出する３Ｄ映像輝度算出部と、
前記視点ごとに、前記２次元映像の画素位置に対応する前記原映像の輝度値と前記インテグラル３次元映像の輝度値との差分に前記重みマップを乗算して算出値をすべての視点で加算平均することで、前記２次元映像の画素ごとの輝度値を算出する２Ｄ映像輝度算出部と、
前記３Ｄ映像輝度算出部と前記２Ｄ映像輝度算出部とに、予め定めた条件で繰り返して実行させる繰り返し実行部と、
前記予め定めた条件で繰り返した後の前記３Ｄ映像輝度算出部が算出した前記視点ごとのインテグラル３次元映像の輝度値から、要素画像群を生成する要素画像群生成部と、
前記要素画像群生成部が生成した要素画像群と、前記予め定めた条件で繰り返した後の前記２Ｄ映像輝度算出部が算出した２次元映像とを、前記表示用データとして出力するデータ出力部と、
を備えることを特徴とする３次元映像表示用データ生成装置。
【請求項2】
前記重みマップ生成部は、前記合成３次元映像を前記インテグラル３次元映像の表示面に近い位置に表示するほど重みを大きくし、前記合成３次元映像を前記インテグラル３次元映像の表示面から遠い位置に表示するほど重みを小さくして、前記重みマップを生成することを特徴とする請求項１に記載の３次元映像表示用データ生成装置。
【請求項3】
前記重みマップ生成部は、前記重みマップに対して膨張処理を適用することを特徴とする請求項１に記載の３次元映像表示用データ生成装置。
【請求項4】
前記原映像生成部が生成する前記原映像はカラー映像であって、
前記原映像のカラーの画素値を、予め画素値と輝度値とを対応付けた対応表を参照して輝度値に変換する輝度値変換部をさらに備え、
前記データ出力部は、
前記要素画像群の輝度値を、前記対応表を参照してカラーの画素値に変換する要素画像群画素値変換部と、
前記２次元映像の輝度値を、前記対応表を参照してカラーの画素値に変換する２次元映像画素値変換部と、
をさらに備えることを特徴とする請求項１に記載の３次元映像表示用データ生成装置。
前記原映像のカラーの画素値を、予め画素値と輝度値とを対応付けた対応表を参照して輝度値に変換する輝度値変換部をさらに備え、
前記データ出力部は、
前記要素画像群の輝度値を、前記対応表を参照してカラーの画素値に変換する要素画像群画素値変換部と、
前記２次元映像の輝度値を、前記対応表を参照してカラーの画素値に変換する２次元映像画素値変換部と、
をさらに備えることを特徴とする請求項１に記載の３次元映像表示用データ生成装置。
【請求項5】
前記繰り返し実行部は、予め定めた回数だけ繰り返しを実行させることを特徴とする請求項１に記載の３次元映像表示用データ生成装置。
【請求項6】
前記繰り返し実行部は、前記２次元映像と前記インテグラル３次元映像との輝度値の和と、前記原映像の輝度値との誤差が予め定めた値よりも小さくなるまで、前記３Ｄ映像輝度算出部と前記２Ｄ映像輝度算出部とを繰り返して実行させることを特徴とする請求項１に記載の３次元映像表示用データ生成装置。
【請求項7】
コンピュータを、請求項１から請求項６のいずれか一項に記載の３次元映像表示用データ生成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元映像表示用データ生成装置およびそのプログラムに関する。
【背景技術】
【0002】
近年、３Ｄメガネを用いた２眼方式をはじめとして、多種多様な３次元映像表示装置が提案されている。なかでも、インテグラル３次元（３Ｄ）表示方式は、物体からの光線情報を忠実に再現することで、水平と垂直の両方向に視差がある自然な３次元映像を特殊なメガネを用いることなく観察者に提示することができる（非特許文献１参照）。このインテグラル３Ｄ表示方式では、表示デバイスの前面に多数の微小なレンズで構成されるレンズアレイを配置し、表示デバイスに要素画像群を表示することでインテグラル３Ｄ映像を表示する。
しかし、インテグラル３Ｄ映像の最大画素数はレンズアレイを構成するレンズの個数に制約され、一般的な表示デバイスの画素数の数百分の一になる。そのため、インテグラル３Ｄ映像の解像度特性は低く、文字などの細かな形状の表示が難しいという問題がある。
しかし、インテグラル３Ｄ映像の最大画素数はレンズアレイを構成するレンズの個数に制約され、一般的な表示デバイスの画素数の数百分の一になる。そのため、インテグラル３Ｄ映像の解像度特性は低く、文字などの細かな形状の表示が難しいという問題がある。
【0003】
そこで、インテグラル３Ｄ映像の解像度特性を向上させるために、インテグラル３Ｄ映像に高精細な２次元（２Ｄ）映像を合成する方法が提案されている（特許文献１参照）。この方法では、インテグラル３Ｄ映像と２Ｄ映像とを合成したときの光線の輝度値と、再生したい所望の３Ｄ映像の輝度値との差が最小化されるように要素画像群と２Ｄ映像とを生成する。
そして、この方法は、２Ｄ映像の合成により、インテグラル３Ｄ映像の画素内に細かな輝度変化を生じさせることで、最大画素密度が高い３Ｄ映像を表示することができる。
そして、この方法は、２Ｄ映像の合成により、インテグラル３Ｄ映像の画素内に細かな輝度変化を生じさせることで、最大画素密度が高い３Ｄ映像を表示することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－０８９２２５号公報
【非特許文献】
【0005】
【非特許文献1】F. Okano, H. Hoshino, J. Arai, and I. Yuyama, “Real-time pickup method for a three-dimensional image based on integral photography,”Appl. Opt., vol. 36, no. 7, pp. 1598-1603 (1997).
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、特許文献１に記載された方法によって表示される３Ｄ映像の輝度値は、再生したい所望の３Ｄ映像の輝度値と比べて必ず誤差を含む。特に、３Ｄ映像を表示面（レンズアレイ面）に対して前方または後方の奥行き方向の位置をより離して表示したときには、解像度特性の向上効果が小さいうえ、この輝度値の誤差が表示画面中のノイズとして目立って観察される場合があり、改善の余地がある。
そこで、本発明は、インテグラル３Ｄ映像と２Ｄ映像とを合成する際に、３Ｄ映像を表示面に対して奥行き方向の位置を離して表示しても、ノイズを抑えて３Ｄ映像を表示することが可能な３次元映像表示用データを生成する３次元映像表示用データ生成装置およびそのプログラムを提供することを課題とする。
そこで、本発明は、インテグラル３Ｄ映像と２Ｄ映像とを合成する際に、３Ｄ映像を表示面に対して奥行き方向の位置を離して表示しても、ノイズを抑えて３Ｄ映像を表示することが可能な３次元映像表示用データを生成する３次元映像表示用データ生成装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
前記課題を解決するため、本発明に係る３次元映像表示用データ生成装置は、インテグラル３次元映像と２次元映像とを合成した合成３次元映像を表示する３次元映像表示装置で使用する表示用データを生成する３次元映像表示用データ生成装置であって、原映像生成部と、重みマップ生成部と、３Ｄ映像輝度算出部と、２Ｄ映像輝度算出部と、繰り返し実行部と、要素画像群生成部と、データ出力部と、を備える構成とした。
【0008】
かかる構成において、３次元映像表示用データ生成装置は、原映像生成部によって、３Ｄシーンデータから、視点ごとの映像を原映像として生成する。
また、３次元映像表示用データ生成装置は、重みマップ生成部によって、３Ｄシーンデータから、視点ごとに、インテグラル３次元映像の表示面から遠いほど重みが小さくなるような重みマップを生成する。
また、３次元映像表示用データ生成装置は、重みマップ生成部によって、３Ｄシーンデータから、視点ごとに、インテグラル３次元映像の表示面から遠いほど重みが小さくなるような重みマップを生成する。
【0009】
そして、３次元映像表示用データ生成装置は、３Ｄ映像輝度算出部によって、視点ごとに、２次元映像の画素位置に対応する原映像の輝度値と２次元映像の輝度値との差分から、インテグラル３次元映像の画素ごとの輝度値を算出する。
さらに、３次元映像表示用データ生成装置は、２Ｄ映像輝度算出部によって、視点ごとに、２次元映像の画素位置に対応する原映像の輝度値とインテグラル３次元映像の輝度値との差分に重みマップを乗算して算出値をすべての視点で加算平均することで、２次元映像の画素ごとの輝度値を算出する。これによって、重みが小さいほど、２次元映像の輝度値が小さくなる。重みマップは、インテグラル３次元映像の表示面から遠いほど重みが小さくなるため、表示面から遠いほど、インテグラル３次元映像と合成する２次元映像の輝度値が小さく、インテグラル３次元映像への影響が小さくなるため、ノイズを抑えることが可能になる。
さらに、３次元映像表示用データ生成装置は、２Ｄ映像輝度算出部によって、視点ごとに、２次元映像の画素位置に対応する原映像の輝度値とインテグラル３次元映像の輝度値との差分に重みマップを乗算して算出値をすべての視点で加算平均することで、２次元映像の画素ごとの輝度値を算出する。これによって、重みが小さいほど、２次元映像の輝度値が小さくなる。重みマップは、インテグラル３次元映像の表示面から遠いほど重みが小さくなるため、表示面から遠いほど、インテグラル３次元映像と合成する２次元映像の輝度値が小さく、インテグラル３次元映像への影響が小さくなるため、ノイズを抑えることが可能になる。
【0010】
そして、３次元映像表示用データ生成装置は、繰り返し実行部によって、３Ｄ映像輝度算出部と２Ｄ映像輝度算出部とに、予め定めた条件で繰り返して実行させる。
これによって、２次元映像とインテグラル３次元映像との輝度値の和と、原映像の輝度値との差が小さくなる方向に作用することになる。
これによって、２次元映像とインテグラル３次元映像との輝度値の和と、原映像の輝度値との差が小さくなる方向に作用することになる。
【0011】
そして、３次元映像表示用データ生成装置は、要素画像群生成部によって、予め定めた条件で繰り返した後の前記３Ｄ映像輝度算出部が算出した視点ごとのインテグラル３次元映像の輝度値から要素画像群を生成する。
【0012】
そして、３次元映像表示用データ生成装置は、データ出力部によって、要素画像群生成部が生成した要素画像群と、予め定めた条件で繰り返した後の２Ｄ映像輝度算出部が算出した２次元映像とを、表示用データとして出力する。
なお、３次元映像表示用データ生成装置は、コンピュータを、前記した各部として機能させるためのプログラムで動作させることができる。
なお、３次元映像表示用データ生成装置は、コンピュータを、前記した各部として機能させるためのプログラムで動作させることができる。
【発明の効果】
【0013】
本発明によれば、重みマップを用いることで、３次元映像の表示面から近い位置では解像度特性が向上し、表示面から遠い位置ではノイズを低減した３次元映像を３次元映像表示装置で表示することが可能な表示用データを生成することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施形態に係る３次元映像表示用データ生成装置の構成を示すブロック図である。
【図2】インテグラル３Ｄ映像と２Ｄ映像とを合成して３次元映像を表示する３次元映像表示装置の構成を示す構成図である。
【図4】ｘｙｚ軸の３次元空間における３Ｄシーンの一例を示す図である。
【図6】正面視点の原映像の例を示す図である。
【図7】重みマップの重み分布の設定例を示す図であって、横軸は奥行き、縦軸は重みを示す。
【図10】本発明の実施形態に係る３次元映像表示用データ生成装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について図面を参照して説明する。
図１に、本発明の実施形態に係る３次元映像表示用データ生成装置１の構成を示す。
３次元映像表示用データ生成装置１は、３Ｄシーンデータから、インテグラル３Ｄ映像と２Ｄ映像とを合成した合成３次元映像を表示する３次元映像表示装置２（図２参照）で使用する表示用データ（要素画像群および２Ｄ映像）を生成するものである。
図１に、本発明の実施形態に係る３次元映像表示用データ生成装置１の構成を示す。
３次元映像表示用データ生成装置１は、３Ｄシーンデータから、インテグラル３Ｄ映像と２Ｄ映像とを合成した合成３次元映像を表示する３次元映像表示装置２（図２参照）で使用する表示用データ（要素画像群および２Ｄ映像）を生成するものである。
【0016】
３Ｄシーンデータは、３Ｄモデルのデータである。３Ｄモデルは、３次元空間内における物体等の立体的な形状データである。
なお、３Ｄモデルは、３ＤＣＧ制作ソフト、ボリュメトリックキャプチャ技術等で生成された一般的な３ＤＣＧモデルを使用することができる。
なお、３Ｄモデルは、３ＤＣＧ制作ソフト、ボリュメトリックキャプチャ技術等で生成された一般的な３ＤＣＧモデルを使用することができる。
【0017】
ここでは、３次元映像表示用データ生成装置１が生成する表示用データである要素画像群と２Ｄ映像との関係を分かり易くするため、先に、３次元映像表示装置２について説明し、その後に、３次元映像表示用データ生成装置１について説明する。
まず、図２，図３を参照して、３次元映像表示装置２の基本原理について説明する。
まず、図２，図３を参照して、３次元映像表示装置２の基本原理について説明する。
【0018】
＜３次元映像表示装置の基本原理＞
３次元映像表示装置２は、インテグラル３次元映像（以下、インテグラル３Ｄ映像）と２次元映像（以下、２Ｄ映像）とを合成表示して３次元映像（以下、合成３Ｄ映像）として表示するものである。
図２に示すように、３次元映像表示装置２は、インテグラル３次元映像表示装置２０と、２次元映像表示装置２１と、ハーフミラー２２とを備える。なお、３次元映像表示装置２は、特許文献１に記載の３次元映像表示装置を用いることができる。
３次元映像表示装置２は、インテグラル３次元映像（以下、インテグラル３Ｄ映像）と２次元映像（以下、２Ｄ映像）とを合成表示して３次元映像（以下、合成３Ｄ映像）として表示するものである。
図２に示すように、３次元映像表示装置２は、インテグラル３次元映像表示装置２０と、２次元映像表示装置２１と、ハーフミラー２２とを備える。なお、３次元映像表示装置２は、特許文献１に記載の３次元映像表示装置を用いることができる。
【0019】
インテグラル３次元映像表示装置２０は、外部から要素画像群を入力されて、インテグラル３Ｄ映像として表示するものである。インテグラル３次元映像表示装置２０は、表示デバイス２００と、レンズアレイ２０１とを備える。
【0020】
表示デバイス２００は、要素画像群を表示する一般的な表示デバイスである。例えば、表示デバイス２００として、液晶ディスプレイ、有機ＥＬ（Organic Electro Luminescence）ディスプレイなどの直視型表示デバイスを使用することができる。
【0021】
レンズアレイ２０１は、要素画像群を構成する個々の要素画像に対応した１ｍｍ程度の微小な要素レンズ２０１ａが２次元状に配列されたものである。例えば、レンズアレイ２０１として、凸レンズが縦横に配列された、インテグラル方式で一般的なものを使用することができる。
レンズアレイ２０１は、表示デバイス２００の表示面からレンズアレイ２０１（要素レンズ２０１ａ）の焦点距離ｆだけ離間して配置される。
レンズアレイ２０１は、表示デバイス２００の表示面からレンズアレイ２０１（要素レンズ２０１ａ）の焦点距離ｆだけ離間して配置される。
【0022】
２次元映像表示装置２１は、外部から入力される２Ｄ映像を表示するものである。例えば、２次元映像表示装置２１として、表示デバイス２００と同様の直視型表示デバイスを使用することができる。なお、２次元映像表示装置２１と、インテグラル３次元映像表示装置２０の表示デバイス２００とは、表示サイズおよび画素密度がそれぞれ同程度とする。
【0023】
ハーフミラー２２は、インテグラル３次元映像表示装置２０が表示したインテグラル３Ｄ映像と、２次元映像表示装置２１が表示した２Ｄ映像と、を合成するものである。例えば、ハーフミラー２２は、インテグラル３Ｄ映像と２Ｄ映像とを光学合成するビームスプリッタを使用することができる。
インテグラル３次元映像表示装置２０および２次元映像表示装置２１は、表示面がそれぞれハーフミラー２２の面と４５度の角度となるように設置される。
インテグラル３次元映像表示装置２０および２次元映像表示装置２１は、表示面がそれぞれハーフミラー２２の面と４５度の角度となるように設置される。
【0024】
また、インテグラル３次元映像表示装置２０からハーフミラー２２の中心位置までの距離はＤとする。Ｄはインテグラル３次元映像表示装置２０とハーフミラー２２とが重ならない距離である。
２次元映像表示装置２１からハーフミラー２２の中心位置までの距離はＤ＋ｄとする。Ｄは、インテグラル３次元映像表示装置２０からハーフミラー２２までの距離と同じで、２次元映像表示装置２１とハーフミラー２２とが重ならない距離である。ｄは合成するインテグラル３Ｄ映像と２Ｄ映像との距離を表す実数であり、正の値だけでなく負の値や“０”でもよい。
なお、インテグラル３Ｄ映像の最大画素数は、レンズアレイ２０１を構成する要素レンズ２０１ａの個数と同一であり、表示デバイス２００や２次元映像表示装置２１の画素数の数百分の一程度である。
２次元映像表示装置２１からハーフミラー２２の中心位置までの距離はＤ＋ｄとする。Ｄは、インテグラル３次元映像表示装置２０からハーフミラー２２までの距離と同じで、２次元映像表示装置２１とハーフミラー２２とが重ならない距離である。ｄは合成するインテグラル３Ｄ映像と２Ｄ映像との距離を表す実数であり、正の値だけでなく負の値や“０”でもよい。
なお、インテグラル３Ｄ映像の最大画素数は、レンズアレイ２０１を構成する要素レンズ２０１ａの個数と同一であり、表示デバイス２００や２次元映像表示装置２１の画素数の数百分の一程度である。
【0025】
３次元映像表示装置２は、２Ｄ映像の光学合成によりインテグラル３Ｄ映像の画素内に細かな輝度変化を生じさせることで、解像度特性を向上させた合成３Ｄ映像を観察者Ｈに視認させることができる。
なお、３次元映像表示装置２は、ハーフミラー２２によってインテグラル３Ｄ映像と２Ｄ映像とを光学合成する構成であるが、インテグラル３Ｄ映像と２Ｄ映像とを時分割多重により合成する構成であっても構わない。
このように、インテグラル３Ｄ映像と２Ｄ映像とを合成する場合、３次元映像表示装置２に入力する要素画像群と２Ｄ映像とを最適化計算により事前に生成する必要がある。
この場合、従来手法として、合成３Ｄ映像と再生したい所望の３Ｄ映像（以下、原映像）との輝度値の二乗誤差を最小化するように要素画像群と２Ｄ映像とを生成する手法が特許文献１に記載されている。
なお、３次元映像表示装置２は、ハーフミラー２２によってインテグラル３Ｄ映像と２Ｄ映像とを光学合成する構成であるが、インテグラル３Ｄ映像と２Ｄ映像とを時分割多重により合成する構成であっても構わない。
このように、インテグラル３Ｄ映像と２Ｄ映像とを合成する場合、３次元映像表示装置２に入力する要素画像群と２Ｄ映像とを最適化計算により事前に生成する必要がある。
この場合、従来手法として、合成３Ｄ映像と再生したい所望の３Ｄ映像（以下、原映像）との輝度値の二乗誤差を最小化するように要素画像群と２Ｄ映像とを生成する手法が特許文献１に記載されている。
【0026】
ここで、図３を参照（適宜図２参照）して、合成３Ｄ映像と原映像との輝度値の二乗誤差の最小化について説明する。図３は、図２の３次元映像表示装置２と光学的に等価な構成を示した上面図である。なお、ここでは、説明を簡単にするため、ハーフミラー２２による輝度の減衰は無視している。また、インテグラル３Ｄ映像の表示面と２Ｄ映像の表示面との距離ｄは正の値とした。
【0027】
図３において、ｓ，ｔは、それぞれ、水平方向と垂直方向の各視点の番号である。視点数は有限個に設定する必要がある。例えば、視点数は、１個の要素レンズ２０１ａに対応する要素画像の画素数とし、視点方向は、要素画像の画素の中心位置と対面する要素レンズ２０１ａの中心位置とを結んだ方向とする。
視点の番号ｓ，ｔは整数または小数である。例えば、水平方向と垂直方向のそれぞれの視点数をＮＳ，ＮＴとする。
ここで、ＮＳが奇数のときは、ｓは、以下の式（１）を満たす１刻みの整数とすればよい。
視点の番号ｓ，ｔは整数または小数である。例えば、水平方向と垂直方向のそれぞれの視点数をＮＳ，ＮＴとする。
ここで、ＮＳが奇数のときは、ｓは、以下の式（１）を満たす１刻みの整数とすればよい。
【0028】
【数1】
【0029】
また、ＮＳが偶数のときは、ｓは、以下の式（２）を満たす１刻みの小数とすればよい。
【0030】
【数2】
【0031】
なお、ｔもｓと同様である。
図３に示すように、インテグラル３Ｄ映像Ｉの表示面（奥行き位置０ｍｍの面）は、レンズアレイ２０１（図２）の面と同一であり、１個の要素レンズ２０１ａがインテグラル３Ｄ映像の１画素である。
要素画像群Ｅの表示面は、レンズアレイ２０１からレンズアレイ２０１の焦点距離ｆだけ離間している。また、インテグラル３Ｄ映像Ｉの画素開口率は１００％であり、光線は要素レンズ２０１ａの全面から出射される。
図３に示すように、インテグラル３Ｄ映像Ｉの表示面（奥行き位置０ｍｍの面）は、レンズアレイ２０１（図２）の面と同一であり、１個の要素レンズ２０１ａがインテグラル３Ｄ映像の１画素である。
要素画像群Ｅの表示面は、レンズアレイ２０１からレンズアレイ２０１の焦点距離ｆだけ離間している。また、インテグラル３Ｄ映像Ｉの画素開口率は１００％であり、光線は要素レンズ２０１ａの全面から出射される。
【0032】
ここで、視点ｓ，ｔのインテグラル３Ｄ映像Ｉｓ，ｔの輝度値は、要素レンズ２０１ａの中心位置ｃから視点ｓ，ｔの方向に引いた直線と交わる要素画像群Ｅの画素Ｅｐの輝度値によって決まる。なお、図３の例では、一方向（水平方向または垂直方向）において、１個の要素レンズ２０１ａに対応する要素画像群Ｅの画素数を７画素としている。
原映像（再生したい所望の３Ｄ映像）Ｖの表示面（奥行き位置０ｍｍの面）は、インテグラル３Ｄ映像Ｉの表示面と位置が同じである。なお、原映像Ｖは、例えば、視点ｓ，ｔと同じ視点数分の多視点映像を使用することができる。
また、２Ｄ映像Ｌ、要素画像群Ｅおよび原映像Ｖの画素ピッチは説明を簡単にするため同一（ｐ）とする。
原映像（再生したい所望の３Ｄ映像）Ｖの表示面（奥行き位置０ｍｍの面）は、インテグラル３Ｄ映像Ｉの表示面と位置が同じである。なお、原映像Ｖは、例えば、視点ｓ，ｔと同じ視点数分の多視点映像を使用することができる。
また、２Ｄ映像Ｌ、要素画像群Ｅおよび原映像Ｖの画素ピッチは説明を簡単にするため同一（ｐ）とする。
【0033】
図３において、２Ｄ映像Ｌ上の位置（ｉ,ｊ）から出射され、視点ｓ，ｔの方向に進行する光線を考える。ｉ,ｊは、それぞれ、水平方向と垂直方向における位置を示す実数である。位置（ｉ,ｊ）は有限個に設定する必要がある。例えば、位置（ｉ,ｊ）は、２Ｄ映像Ｌの各画素の中心位置とすればよい。
位置（ｉ,ｊ）から出射され、視点ｓ，ｔの方向に進行する光線は、インテグラル３Ｄ映像Ｉおよび原映像Ｖの表示面（奥行き位置０ｍｍの面）と位置（ｉ－δｓ,ｊ－δｔ）において交わる。ただし、δは２Ｄ映像Ｌとインテグラル３Ｄ映像Ｉとの距離ｄに比例した視差量である。ここでは、視点方向を要素画像の画素の中心位置と対面する要素レンズ２０１ａの中心位置とを結んだ方向としているため、δは、δ＝（ｐｄ）／ｆとなる。
位置（ｉ,ｊ）から出射され、視点ｓ，ｔの方向に進行する光線は、インテグラル３Ｄ映像Ｉおよび原映像Ｖの表示面（奥行き位置０ｍｍの面）と位置（ｉ－δｓ,ｊ－δｔ）において交わる。ただし、δは２Ｄ映像Ｌとインテグラル３Ｄ映像Ｉとの距離ｄに比例した視差量である。ここでは、視点方向を要素画像の画素の中心位置と対面する要素レンズ２０１ａの中心位置とを結んだ方向としているため、δは、δ＝（ｐｄ）／ｆとなる。
【0034】
ここで、２Ｄ映像Ｌの位置（ｉ,ｊ）の輝度値をＬ（ｉ,ｊ）と表すこととする。Ｌ（ｉ,ｊ）は、位置情報であるｉ，ｊを入力したときに輝度値を出力するスカラー関数である。
また、原映像Ｖの位置（ｉ－δｓ,ｊ－δｔ）の輝度値をＶｓ，ｔ（ｉ－δｓ,ｊ－δｔ）と表すこととする。Ｖｓ，ｔ（ｉ－δｓ,ｊ－δｔ）は、位置情報であるｉ，ｊと、視点情報であるｓ，ｔと、を入力したときに輝度値を出力するスカラー関数である。
また、位置（ｉ－δｓ,ｊ－δｔ）に対応するインテグラル３Ｄ映像Ｉの画素番号を座標（ｍ，ｎ）と表したうえで、そのインテグラル３Ｄ映像Ｉの画素の輝度値をＩｓ，ｔ（ｍ，ｎ）と表すこととする。Ｉｓ，ｔ（ｍ，ｎ）は、位置（ｉ－δｓ,ｊ－δｔ）に対応した画素番号であるｍ，ｎと、視点情報であるｓ，ｔと、を入力したときに輝度値を出力するスカラー関数である。
また、原映像Ｖの位置（ｉ－δｓ,ｊ－δｔ）の輝度値をＶｓ，ｔ（ｉ－δｓ,ｊ－δｔ）と表すこととする。Ｖｓ，ｔ（ｉ－δｓ,ｊ－δｔ）は、位置情報であるｉ，ｊと、視点情報であるｓ，ｔと、を入力したときに輝度値を出力するスカラー関数である。
また、位置（ｉ－δｓ,ｊ－δｔ）に対応するインテグラル３Ｄ映像Ｉの画素番号を座標（ｍ，ｎ）と表したうえで、そのインテグラル３Ｄ映像Ｉの画素の輝度値をＩｓ，ｔ（ｍ，ｎ）と表すこととする。Ｉｓ，ｔ（ｍ，ｎ）は、位置（ｉ－δｓ,ｊ－δｔ）に対応した画素番号であるｍ，ｎと、視点情報であるｓ，ｔと、を入力したときに輝度値を出力するスカラー関数である。
【0035】
このとき、以下の式（３）に従って、合成３Ｄ映像（２Ｄ映像Ｌとインテグラル３Ｄ映像Ｉとの合成映像）と、原映像Ｖとの輝度値の二乗誤差が最小化されるよう生成した２Ｄ映像と要素画像群とを入力することで、３次元映像表示装置２は、観察者Ｈに、原映像Ｖに近似した合成３Ｄ映像を視認させることができる。
【0036】
【数3】
【0037】
以上が、３次元映像表示用データ生成装置１が生成する要素画像群と２Ｄ映像とを入力して、３Ｄ映像（合成３Ｄ映像）を表示する３次元映像表示装置２の基本原理である。
このような合成３Ｄ映像は、全体として原映像Ｖに近似した映像であるが、原映像Ｖの輝度値に対して誤差を含んでいる。また、要素画像群から生成されるインテグラル３Ｄ映像は視差を持つが、２Ｄ映像は視差を持たない映像である。そのため、この輝度値の誤差は、合成３Ｄ映像の奥行きがインテグラル３Ｄ映像の表示面（レンズアレイ面）から前方または後方に遠いほど大きくなり、ノイズとして視認されることになる。
このような合成３Ｄ映像は、全体として原映像Ｖに近似した映像であるが、原映像Ｖの輝度値に対して誤差を含んでいる。また、要素画像群から生成されるインテグラル３Ｄ映像は視差を持つが、２Ｄ映像は視差を持たない映像である。そのため、この輝度値の誤差は、合成３Ｄ映像の奥行きがインテグラル３Ｄ映像の表示面（レンズアレイ面）から前方または後方に遠いほど大きくなり、ノイズとして視認されることになる。
【0038】
発明者らによる表示実験では、以下のような評価結果を得ている。実験では、レンズアレイ２０１のレンズピッチを１ｍｍ、焦点距離を５ｍｍ、要素画像群と２Ｄ映像の画素ピッチをともに５０μｍとしている。
合成３Ｄ映像をインテグラル３Ｄ映像Ｉの表示面に近い位置（奥行き距離０～２ｃｍ程度）に表示したとき、合成３Ｄ映像と原映像Ｖとの輝度値の誤差は小さくなり、解像度特性の向上効果は最も大きくなる。このとき、表示画面内に目立つノイズは生じない。
合成３Ｄ映像をインテグラル３Ｄ映像Ｉの表示面に近い位置（奥行き距離０～２ｃｍ程度）に表示したとき、合成３Ｄ映像と原映像Ｖとの輝度値の誤差は小さくなり、解像度特性の向上効果は最も大きくなる。このとき、表示画面内に目立つノイズは生じない。
【0039】
合成３Ｄ映像をインテグラル３Ｄ映像Ｉの表示面から遠い位置（奥行き距離２～５ｃｍ程度）に表示したとき、合成３Ｄ映像と原映像Ｖとの輝度値の誤差は大きくなり、解像度特性の向上効果は小さくなる。加えて、２Ｄ映像Ｌの合成により、合成３Ｄ映像の画素内で生じる細かな輝度変化が、却って表示画面内にノイズとして目立って観察される場合がある。
【0040】
合成３Ｄ映像をインテグラル３Ｄ映像Ｉの表示面からさらに遠い位置（奥行き距離５ｃｍ以上）に表示したとき、合成３Ｄ映像と原映像Ｖとの輝度値の誤差はさらに大きくなり、解像度特性の向上効果はほとんど得られなくなり、合成３Ｄ映像の解像度特性は一般的なインテグラル３Ｄ映像と同等となる。ただし、２Ｄ映像Ｌの輝度値が低くなり、２Ｄ映像Ｌを合成しても合成３Ｄ映像の画素内の細かな輝度変化は生じなくなるため、表示画面内にノイズは目立たなくなる。
このように、３次元映像表示装置２は、合成３Ｄ映像をインテグラル３Ｄ映像Ｉの表示面に対してある程度距離を離した位置（奥行き距離２～５ｃｍ程度）に表示したとき、表示画面内にノイズが目立って観察される傾向がある。
このように、３次元映像表示装置２は、合成３Ｄ映像をインテグラル３Ｄ映像Ｉの表示面に対してある程度距離を離した位置（奥行き距離２～５ｃｍ程度）に表示したとき、表示画面内にノイズが目立って観察される傾向がある。
【0041】
以下では、この３次元映像表示装置２に対して、合成３Ｄ映像をインテグラル３Ｄ映像Ｉの表示面から離して表示してもノイズを抑え、解像度特性を向上させた合成３Ｄ映像を表示するための表示用データ（要素画像群および２Ｄ映像）を生成する３次元映像表示用データ生成装置１の構成および動作について説明する。
【0042】
＜３次元映像表示用データ生成装置の構成＞
図１に戻って、本発明の実施形態に係る３次元映像表示用データ生成装置１の構成について説明する。
図１に示すように、３次元映像表示用データ生成装置１は、記憶部ＭＥと制御部ＣＬとを備える。
図１に戻って、本発明の実施形態に係る３次元映像表示用データ生成装置１の構成について説明する。
図１に示すように、３次元映像表示用データ生成装置１は、記憶部ＭＥと制御部ＣＬとを備える。
【0043】
記憶部ＭＥは、３次元映像表示用データ生成装置１で使用する各種情報を記憶するものであって、半導体メモリ等の一般的な記憶媒体で構成することができる。
ここでは、記憶部ＭＥは、仕様値記憶部１０を備える。
ここでは、記憶部ＭＥは、仕様値記憶部１０を備える。
【0044】
仕様値記憶部１０は、表示用データを生成する対象である３次元映像表示装置２（図２参照）を構成する各部の仕様値を記憶するものである。
仕様値記憶部１０には、３次元映像表示装置２のインテグラル３次元映像表示装置２０および２次元映像表示装置２１を構成している表示デバイスの水平方向および垂直方向の画素数、レンズアレイ２０１の水平方向および垂直方向の要素レンズ２０１ａの個数と焦点距離、２Ｄ映像の表示面とインテグラル３Ｄ映像の表示面との距離ｄ等を予め記憶しておく。
仕様値記憶部１０には、３次元映像表示装置２のインテグラル３次元映像表示装置２０および２次元映像表示装置２１を構成している表示デバイスの水平方向および垂直方向の画素数、レンズアレイ２０１の水平方向および垂直方向の要素レンズ２０１ａの個数と焦点距離、２Ｄ映像の表示面とインテグラル３Ｄ映像の表示面との距離ｄ等を予め記憶しておく。
【0045】
さらに、仕様値記憶部１０には、予め画素値と輝度値とを対応付けた対応表を記憶しておく。
画素値と輝度値との対応表は、例えば、ＲＧＢの各８ビット２５６階調の値（画素値）と、光学的な輝度（輝度値）とを予め対応付けたものである。この対応表は、画素値が２５６階調の場合、ＲＧＢ合計で２５６×３＝７６８パターンの対応関係を予め測定して求めておく。なお、必ずしもすべてのパターンを測定する必要はなく、何点か測定し、その間を補間により生成しても構わない。
また、ここでは、対応表は、インテグラル３次元映像表示装置２０および２次元映像表示装置２１についてそれぞれ測定し、装置ごとに画素値と輝度値と対応付けておく。
画素値と輝度値との対応表は、例えば、ＲＧＢの各８ビット２５６階調の値（画素値）と、光学的な輝度（輝度値）とを予め対応付けたものである。この対応表は、画素値が２５６階調の場合、ＲＧＢ合計で２５６×３＝７６８パターンの対応関係を予め測定して求めておく。なお、必ずしもすべてのパターンを測定する必要はなく、何点か測定し、その間を補間により生成しても構わない。
また、ここでは、対応表は、インテグラル３次元映像表示装置２０および２次元映像表示装置２１についてそれぞれ測定し、装置ごとに画素値と輝度値と対応付けておく。
【0046】
制御部ＣＬは、３次元映像表示用データ生成装置１の各種制御・演算動作を行うものである。
制御部ＣＬは、原映像生成部１１と、輝度値変換部１２と、重みマップ生成部１３と、輝度誤差最小化部１４と、要素画像群生成部１５と、データ出力部１６と、を備える。
制御部ＣＬは、原映像生成部１１と、輝度値変換部１２と、重みマップ生成部１３と、輝度誤差最小化部１４と、要素画像群生成部１５と、データ出力部１６と、を備える。
【0047】
原映像生成部１１は、３Ｄシーンデータから、視点ごとの映像（多視点映像）を原映像として生成するものである。ここでは、原映像生成部１１は、３Ｄシーンデータから、視点ごとの映像を、一般的なＲＧＢカラー映像として生成するものとする。
原映像生成部１１は、３Ｄシーンデータで表される３Ｄモデルを仮想空間内に配置し、予め定めた有限個の視点数分の映像を原映像として生成する。すなわち、原映像生成部１１は、水平方向と垂直方向の各視点の番号をｓ，ｔとして、視点ｓ，ｔのすべての方向における映像を多視点映像として生成する。
原映像生成部１１は、生成した原映像を輝度値変換部１２に出力する。
原映像生成部１１は、３Ｄシーンデータで表される３Ｄモデルを仮想空間内に配置し、予め定めた有限個の視点数分の映像を原映像として生成する。すなわち、原映像生成部１１は、水平方向と垂直方向の各視点の番号をｓ，ｔとして、視点ｓ，ｔのすべての方向における映像を多視点映像として生成する。
原映像生成部１１は、生成した原映像を輝度値変換部１２に出力する。
【0048】
ここで、図４～図６を参照して、原映像生成部１１の原映像の生成手法について説明する。
図４は、３Ｄ映像として表示したい３Ｄシーンの例を示したもので、ｘｙｚ座標の仮想空間内に３Ｄモデルが配置された例を示している。ここでは、中央に円柱Ｍ１の３Ｄモデルが配置され、チェッカーパターンのテクスチャがマッピングされた平面Ｍ２が背景として円柱Ｍ１の後方に配置されている。円柱Ｍ１の中心はｘｙｚ軸の原点位置と同一であり、円柱Ｍ１の最も手前側（ｚ軸が正の方向側）の奥行き位置はｚｃである。また、背景の平面Ｍ２は、ｘｙ平面に平行で、３次元映像表示装置２で表示したときにノイズが目立ちやすい奥行き位置ｚｐ（例えば、奥行き距離２～５ｃｍの範囲の任意の位置）に配置されているものとする。
図４は、３Ｄ映像として表示したい３Ｄシーンの例を示したもので、ｘｙｚ座標の仮想空間内に３Ｄモデルが配置された例を示している。ここでは、中央に円柱Ｍ１の３Ｄモデルが配置され、チェッカーパターンのテクスチャがマッピングされた平面Ｍ２が背景として円柱Ｍ１の後方に配置されている。円柱Ｍ１の中心はｘｙｚ軸の原点位置と同一であり、円柱Ｍ１の最も手前側（ｚ軸が正の方向側）の奥行き位置はｚｃである。また、背景の平面Ｍ２は、ｘｙ平面に平行で、３次元映像表示装置２で表示したときにノイズが目立ちやすい奥行き位置ｚｐ（例えば、奥行き距離２～５ｃｍの範囲の任意の位置）に配置されているものとする。
【0049】
図５は、３Ｄシーンのｘｙｚ軸と３次元映像表示装置２との位置関係を示している。ｘｙ平面は、インテグラル３Ｄ映像Ｉと原映像Ｖの表示面（奥行き位置０ｍｍの面）と同一である。また、ここでは、インテグラル３Ｄ映像Ｉと２Ｄ映像Ｌの距離ｄ（図３参照）を“０”としている。そのため、２Ｄ映像Ｌの表示面もｘｙ平面と同一である。
また、ｘｙ軸の原点位置とインテグラル３Ｄ映像Ｉ、原映像Ｖおよび２Ｄ映像Ｌの表示面の中心位置は同一とする。加えて、要素画像群Ｅ、原映像Ｖおよび２Ｄ映像Ｌの画素サイズと画素ピッチも同一とする。
図６は、正面視点の原映像Ｖを示したものである。
また、ｘｙ軸の原点位置とインテグラル３Ｄ映像Ｉ、原映像Ｖおよび２Ｄ映像Ｌの表示面の中心位置は同一とする。加えて、要素画像群Ｅ、原映像Ｖおよび２Ｄ映像Ｌの画素サイズと画素ピッチも同一とする。
図６は、正面視点の原映像Ｖを示したものである。
【0050】
原映像生成部１１は、図６に示す正面視点の原映像を生成する場合、図４に示した３Ｄシーンを正面から正射影によりレンダリングすることで生成する。また、原映像生成部１１は、斜め方向の視点の原映像を生成する場合、３Ｄシーンを斜投影によりレンダリングして生成する。なお、レンダリングを行う際のクリッピング領域は、インテグラル３Ｄ映像の表示領域（奥行き位置０ｍｍにおける表示領域）と同じとする。
このように、原映像生成部１１は、すべての視点ｓ，ｔの方向における原映像Ｖｓ，ｔを多視点映像として生成する。
図１に戻って、３次元映像表示用データ生成装置１の構成について説明を続ける。
このように、原映像生成部１１は、すべての視点ｓ，ｔの方向における原映像Ｖｓ，ｔを多視点映像として生成する。
図１に戻って、３次元映像表示用データ生成装置１の構成について説明を続ける。
【0051】
輝度値変換部１２は、原映像生成部１１が生成した原映像（多視点映像）の画素値を輝度値に変換するものである。
輝度値変換部１２は、仕様値記憶部１０に記憶されているインテグラル３次元映像表示装置２０の画素値と輝度値との対応表を参照して、カラー映像である原映像のＲＧＢごとに画素値を輝度値に変換する。
輝度値変換部１２は、画素値を輝度値に変換した原映像を輝度誤差最小化部１４に出力する。
輝度値変換部１２は、仕様値記憶部１０に記憶されているインテグラル３次元映像表示装置２０の画素値と輝度値との対応表を参照して、カラー映像である原映像のＲＧＢごとに画素値を輝度値に変換する。
輝度値変換部１２は、画素値を輝度値に変換した原映像を輝度誤差最小化部１４に出力する。
【0052】
重みマップ生成部１３は、３Ｄシーンデータから、視点ごとに、インテグラル３Ｄ映像Ｉに合成する２Ｄ映像Ｌの重みの分布を重みマップとして生成するものである。
この重みマップの重みは、基本的にはインテグラル３次元映像Ｉの表示面から近いほど重みが大きく、表示面から遠いほど重みが小さくなるようにする。なお、この重みは、３次元映像表示装置２の仕様や３Ｄシーンの構成に応じて柔軟に設定してもよい。
重みマップ生成部１３は、生成した視点ごとの重みマップを輝度誤差最小化部１４に出力する。
この重みマップの重みは、基本的にはインテグラル３次元映像Ｉの表示面から近いほど重みが大きく、表示面から遠いほど重みが小さくなるようにする。なお、この重みは、３次元映像表示装置２の仕様や３Ｄシーンの構成に応じて柔軟に設定してもよい。
重みマップ生成部１３は、生成した視点ごとの重みマップを輝度誤差最小化部１４に出力する。
【0053】
ここで、図７～図９を参照して、重みマップの生成方法について説明する。
図７は、図４で示した３Ｄシーンに対する重みマップの設定例を示す。図７のグラフは、横軸が奥行き位置、縦軸が重みである。重みの範囲は０～１である。
図7の例では、奥行き位置ｚが“０”のとき、重みｗが“１”であり、奥行き位置ｚが“０”の位置から離れるに従って重みが線形的に低下するように設定している。なお、重みの設定は、３Ｄシーンデータに応じて予め設定されるものとする。
ここでは、ｚｃの重みｗが“０”よりも大きいのに対し、ｚｐの重みｗは“０”になるように設定している。
図７は、図４で示した３Ｄシーンに対する重みマップの設定例を示す。図７のグラフは、横軸が奥行き位置、縦軸が重みである。重みの範囲は０～１である。
図7の例では、奥行き位置ｚが“０”のとき、重みｗが“１”であり、奥行き位置ｚが“０”の位置から離れるに従って重みが線形的に低下するように設定している。なお、重みの設定は、３Ｄシーンデータに応じて予め設定されるものとする。
ここでは、ｚｃの重みｗが“０”よりも大きいのに対し、ｚｐの重みｗは“０”になるように設定している。
【0054】
重みマップ生成部１３は、重みマップの設定に応じて、３Ｄシーンデータから重みマップを生成する。重みマップのクリッピング領域は、インテグラル３Ｄ映像の表示領域（奥行き位置０ｍｍにおける表示領域）と同一とする。
【0055】
図７の重みマップの設定例で、図４に示した３Ｄシーンデータから、重みマップ生成部１３が生成した正面視点の重みマップＷを図８に示す。なお、重みマップを可視化するため、図８では重み０～１が画素値０～２５５となるようにスケーリングしている。
円柱Ｍ１の水平方向の両端は、奥行き位置ｚが“０”であるため、重みは“１”であり、画素値が“２５５”（図中、白色）となる。水平方向においては、画素値は円柱の中央へ向かうほど連続的に低下し、中央が最も画素値が小さくなる。ただし、円柱の中央の奥行き位置はｚｃであり、重みは“０”よりも大きい値となる。一方、背景の平面Ｍ２は、奥行き位置はｚｐであり、重みは“０”であるため、画素値は“０”（図中、黒色）となる。
円柱Ｍ１の水平方向の両端は、奥行き位置ｚが“０”であるため、重みは“１”であり、画素値が“２５５”（図中、白色）となる。水平方向においては、画素値は円柱の中央へ向かうほど連続的に低下し、中央が最も画素値が小さくなる。ただし、円柱の中央の奥行き位置はｚｃであり、重みは“０”よりも大きい値となる。一方、背景の平面Ｍ２は、奥行き位置はｚｐであり、重みは“０”であるため、画素値は“０”（図中、黒色）となる。
【0056】
重みマップ生成部１３は、この重みマップを視点ｓ，ｔの数だけ生成する。なお、重みマップは、視点ｓ，ｔの方向に進行する光線と３Ｄモデルとの交差判定の結果から計算により求めることができる。例えば、特にＵｎｉｔｙ等のゲームエンジンを用いて、３Ｄシーンの中に３Ｄモデルを配置して、視点ごとにデプスバッファを取得することで、容易に重みマップを生成することができる。
【0057】
なお、図８に示した重みマップを用いて、インテグラル３Ｄ映像Ｉと２Ｄ映像Ｌとを合成した場合、円柱の輪郭を跨ぐインテグラル３Ｄ映像Ｉの画素では、重みが“０”の領域を含むため、解像度特性の向上効果が小さくなってしまう。
そこで、重みマップ生成部１３は、重みマップに対して、重みが高い領域を、要素レンズ数個分程度拡げる膨張処理を行うことが好ましい。
図９に、図８の重みマップに対して膨張処理を行った重みマップＷＥを示す。
この膨張処理には、例えば、以下の式（４）に示す空間フィルタを使用することができる。
そこで、重みマップ生成部１３は、重みマップに対して、重みが高い領域を、要素レンズ数個分程度拡げる膨張処理を行うことが好ましい。
図９に、図８の重みマップに対して膨張処理を行った重みマップＷＥを示す。
この膨張処理には、例えば、以下の式（４）に示す空間フィルタを使用することができる。
【0058】
【数4】
【0059】
ただし、Ｗｉｎ（Ｘ，Ｙ）は膨張処理適用前の重みマップ、Ｗｏｕｔ（Ｘ，Ｙ）は膨張処理適用後の重みマップ、ｓはフィルタサイズ、ｖＷは重みの上限値、σ１およびσ２は膨張処理を調整するためのパラメータである。
ここで、Ｘ，Ｙは水平・垂直方向（ｘｙ方向）の重みの配列番号であり、Ｗｉｎは配列番号を入力して重みを出力するスカラー関数である。フィルタサイズｓは、要素レンズ数個分の大きさに対応する値に設定すればよい。例えば、重みマップのサンプリング位置の間隔が要素画像群の画素間隔と同一のとき、フィルタサイズｓは１個の要素レンズに対する要素画像の画素数の数倍程度の値とすればよい。
ここで、Ｘ，Ｙは水平・垂直方向（ｘｙ方向）の重みの配列番号であり、Ｗｉｎは配列番号を入力して重みを出力するスカラー関数である。フィルタサイズｓは、要素レンズ数個分の大きさに対応する値に設定すればよい。例えば、重みマップのサンプリング位置の間隔が要素画像群の画素間隔と同一のとき、フィルタサイズｓは１個の要素レンズに対する要素画像の画素数の数倍程度の値とすればよい。
【0060】
また、Ｇ（ａ，ｂ）はガウシアンフィルタと同等のフィルタであり、膨張処理後の重みマップをぼかして重みの濃淡変動を滑らかにする働きがある。Ｇ（ａ，ｂ）のパラメータであるσ１は、一般的なガウシアンフィルタと同様にσ１＝ｓ／２程度に設定すればよい。
Ｄ（Ｘ，Ｙ，ａ，ｂ）は、重みが“０”の領域は広げずに重みが高い領域のみを広げる働きがある。Ｄ（Ｘ，Ｙ，ａ，ｂ）のパラメータであるσ２は、実験で得られた知見によればσ２＝０．２５程度に設定すればよい。
図１に戻って、３次元映像表示用データ生成装置１の構成について説明を続ける。
Ｄ（Ｘ，Ｙ，ａ，ｂ）は、重みが“０”の領域は広げずに重みが高い領域のみを広げる働きがある。Ｄ（Ｘ，Ｙ，ａ，ｂ）のパラメータであるσ２は、実験で得られた知見によればσ２＝０．２５程度に設定すればよい。
図１に戻って、３次元映像表示用データ生成装置１の構成について説明を続ける。
【0061】
輝度誤差最小化部１４は、輝度値変換部１２が変換した視点ごとの原映像の輝度値と、重みマップ生成部１３が生成した視点ごとの重みマップとに基づいて、合成３Ｄ映像と原映像との輝度値の差を予め定めた範囲内で最小化するための視点別のインテグラル３Ｄ映像（多視点映像）と２Ｄ映像とを生成するものである。
ここでは、輝度誤差最小化部１４は、３Ｄ映像輝度算出部１４０と、２Ｄ映像輝度算出部１４１と、繰り返し実行部１４２と、を備える。
ここでは、輝度誤差最小化部１４は、３Ｄ映像輝度算出部１４０と、２Ｄ映像輝度算出部１４１と、繰り返し実行部１４２と、を備える。
【0062】
３Ｄ映像輝度算出部１４０は、視点ごとに、２Ｄ映像の画素位置に対応する原映像の輝度値と２Ｄ映像の輝度値との差分から、インテグラル３Ｄ映像の画素ごとの輝度値を算出するものである。
３Ｄ映像輝度算出部１４０は、２Ｄ映像の初期輝度値を“０”として、視点ごとのインテグラル３Ｄ映像の輝度値を算出して２Ｄ映像輝度算出部１４１に出力する。そして、３Ｄ映像輝度算出部１４０は、視点ごとのインテグラル３Ｄ映像の輝度値に対応する２Ｄ映像の輝度値を２Ｄ映像輝度算出部１４１から入力されるたびにインテグラル３Ｄ映像の輝度値を算出する動作を繰り返す。
３Ｄ映像輝度算出部１４０は、繰り返し実行部１４２からの繰り返しの終了指示を入力した段階で、算出した最新の視点ごとのインテグラル３Ｄ映像の輝度値を要素画像群生成部１５に出力する。
３Ｄ映像輝度算出部１４０は、２Ｄ映像の初期輝度値を“０”として、視点ごとのインテグラル３Ｄ映像の輝度値を算出して２Ｄ映像輝度算出部１４１に出力する。そして、３Ｄ映像輝度算出部１４０は、視点ごとのインテグラル３Ｄ映像の輝度値に対応する２Ｄ映像の輝度値を２Ｄ映像輝度算出部１４１から入力されるたびにインテグラル３Ｄ映像の輝度値を算出する動作を繰り返す。
３Ｄ映像輝度算出部１４０は、繰り返し実行部１４２からの繰り返しの終了指示を入力した段階で、算出した最新の視点ごとのインテグラル３Ｄ映像の輝度値を要素画像群生成部１５に出力する。
【0063】
具体的には、３Ｄ映像輝度算出部１４０は、２Ｄ映像が既知という条件で、以下の式（５）により、要素画像群の画素番号ｍ，ｎごとに、視点ｓ，ｔの輝度値Ｉｓ，ｔ（ｍ，ｎ）を算出する。なお、各関数は、前記式（３）で説明した関数と同じである。
【0064】
【数5】
【0065】
ただし、Ｎは視点数、ｖＩはＩｓ，ｔ（ｍ，ｎ）の上限値である。輝度値を０～２５５の２５６階調とした場合、ｖＩは“２５５”となる。３Ｄ映像輝度算出部１４０は、Ｉｓ，ｔ（ｍ，ｎ）を算出するたびに、Ｉｓ，ｔ（ｍ，ｎ）が０～ｖＩの範囲内に収まるように制約する処理（Ｃｌａｍｐ処理）を実施する。
【0066】
２Ｄ映像輝度算出部１４１は、視点ごとに、２Ｄ映像の画素位置に対応する原映像の輝度値とインテグラル３Ｄ映像の輝度値との差分に重みマップを乗算して算出値を加算平均することで、２Ｄ映像の画素ごとの輝度値を算出するものである。
２Ｄ映像輝度算出部１４１は、算出した２Ｄ映像の輝度値を３Ｄ映像輝度算出部１４０に出力するとともに、算出した旨を繰り返し実行部１４２に通知する。
２Ｄ映像輝度算出部１４１は、繰り返し実行部１４２からの繰り返しの終了指示を入力されるまで、３Ｄ映像輝度算出部１４０から新たに入力される視点ごとのインテグラル３Ｄ映像の輝度値を用いて、２Ｄ映像の輝度値の算出を繰り返す。
２Ｄ映像輝度算出部１４１は、繰り返し実行部１４２からの繰り返しの終了指示を入力された段階で、算出した最新の２Ｄ映像の輝度値をデータ出力部１６に出力する。
２Ｄ映像輝度算出部１４１は、算出した２Ｄ映像の輝度値を３Ｄ映像輝度算出部１４０に出力するとともに、算出した旨を繰り返し実行部１４２に通知する。
２Ｄ映像輝度算出部１４１は、繰り返し実行部１４２からの繰り返しの終了指示を入力されるまで、３Ｄ映像輝度算出部１４０から新たに入力される視点ごとのインテグラル３Ｄ映像の輝度値を用いて、２Ｄ映像の輝度値の算出を繰り返す。
２Ｄ映像輝度算出部１４１は、繰り返し実行部１４２からの繰り返しの終了指示を入力された段階で、算出した最新の２Ｄ映像の輝度値をデータ出力部１６に出力する。
【0067】
具体的には、２Ｄ映像輝度算出部１４１は、視点ごとのインテグラル３Ｄ映像（多視点映像）が既知という条件で、以下の式（６）により２Ｄ映像の輝度値Ｌ（ｉ，ｊ）を算出する。なお、Ｗ以外の各関数は、前記式（３）で説明した関数と同じである。
【0068】
【数6】
【0069】
ただし、ｖＬはＬ（ｉ，ｊ）の上限値である。輝度値を０～２５５の２５６階調とした場合、ｖＬは“２５５”となる。２Ｄ映像輝度算出部１４１は、Ｌ（ｉ，ｊ）を算出するたびに、Ｌ（ｉ，ｊ）が０～ｖＬの範囲内に収まるように制約する処理（Ｃｌａｍｐ処理）を実施する。
Ｗｓ，ｔは重みマップである。Ｗｓ，ｔ（ｉ－δｓ,ｊ－δｔ）は、位置情報であるｉ，ｊと、視点情報であるｓ，ｔと、を入力したときに重みを出力するスカラー関数である。重みの取り得る範囲は０～１である。
Ｗｓ，ｔは重みマップである。Ｗｓ，ｔ（ｉ－δｓ,ｊ－δｔ）は、位置情報であるｉ，ｊと、視点情報であるｓ，ｔと、を入力したときに重みを出力するスカラー関数である。重みの取り得る範囲は０～１である。
【0070】
この式（６）から分かるように、重みが小さいほど２Ｄ映像の輝度値Ｌ（ｉ，ｊ）が低くなる。重みが“０”のときはＬ（ｉ，ｊ）＝０、すなわち、２Ｄ映像は黒映像になる。
２Ｄ映像が黒映像の場合、式（５）により、一般的なインテグラル３Ｄ映像が表示されるような要素画像群が生成されることになる。
このように、３Ｄ映像輝度算出部１４０と２Ｄ映像輝度算出部１４１とで処理を繰り返すことで、合成３Ｄ映像と原映像との誤差を徐々に低下させることができる。
２Ｄ映像が黒映像の場合、式（５）により、一般的なインテグラル３Ｄ映像が表示されるような要素画像群が生成されることになる。
このように、３Ｄ映像輝度算出部１４０と２Ｄ映像輝度算出部１４１とで処理を繰り返すことで、合成３Ｄ映像と原映像との誤差を徐々に低下させることができる。
【0071】
繰り返し実行部１４２は、３Ｄ映像輝度算出部１４０と２Ｄ映像輝度算出部１４１とに、予め定めた条件で繰り返して実行させるものである。
ここでは、繰り返し実行部１４２は、３Ｄ映像輝度算出部１４０および２Ｄ映像輝度算出部１４１の繰り返し回数が、予め定めた回数に達したか否かにより、合成３Ｄ映像と原映像との誤差の収束判定を行う。
ここでは、繰り返し実行部１４２は、３Ｄ映像輝度算出部１４０および２Ｄ映像輝度算出部１４１の繰り返し回数が、予め定めた回数に達したか否かにより、合成３Ｄ映像と原映像との誤差の収束判定を行う。
【0072】
なお、この繰り返し回数は、３次元映像表示装置２の仕様や３Ｄシーンの構成に依存するが、実験で得られた知見では、１５回程度でおおむね誤差が収束する傾向がある。そのため、繰り返し回数は、１５回やその２倍の３０回などに予め設定すればよい。
繰り返し実行部１４２は、予め定めた回数繰り返した段階で、繰り返しの終了指示を３Ｄ映像輝度算出部１４０と２Ｄ映像輝度算出部１４１とに出力する。
これによって、輝度誤差最小化部１４は、合成３Ｄ映像と原映像との輝度値の誤差を予め定めた条件で最小化する視点ごとのインテグラル３Ｄ映像（多視点映像）と２Ｄ映像とを生成することができる。
繰り返し実行部１４２は、予め定めた回数繰り返した段階で、繰り返しの終了指示を３Ｄ映像輝度算出部１４０と２Ｄ映像輝度算出部１４１とに出力する。
これによって、輝度誤差最小化部１４は、合成３Ｄ映像と原映像との輝度値の誤差を予め定めた条件で最小化する視点ごとのインテグラル３Ｄ映像（多視点映像）と２Ｄ映像とを生成することができる。
【0073】
要素画像群生成部１５は、輝度誤差最小化部１４で収束した視点ごとのインテグラル３Ｄ映像（多視点映像）の輝度値から、要素画像群を生成するものである。
要素画像群生成部１５は、インテグラル３Ｄ映像の画素番号ｍ，ｎおよび視点ｓ，ｔごとに対応する多視点映像の輝度値を幾何光学的に対応する要素画像群の画素位置に投影して要素画像群を生成する。
要素画像群生成部１５は、生成した要素画像群をデータ出力部１６に出力する。
要素画像群生成部１５は、インテグラル３Ｄ映像の画素番号ｍ，ｎおよび視点ｓ，ｔごとに対応する多視点映像の輝度値を幾何光学的に対応する要素画像群の画素位置に投影して要素画像群を生成する。
要素画像群生成部１５は、生成した要素画像群をデータ出力部１６に出力する。
【0074】
なお、多視点映像から要素画像群を生成する手法は一般的であるため、ここでは、詳細な説明を省略する。
例えば、多視点映像から要素画像群を生成する手法は、以下の参考文献１～３等に記載されている。
例えば、多視点映像から要素画像群を生成する手法は、以下の参考文献１～３等に記載されている。
【0075】
（参考文献１）
Y. Iwadate and M. Katayama, “Generating Integral Image from 3D Object by Using Oblique Projection,”Proc. of IDW, 3Dp-1, pp. 269-272 (2011).
（参考文献２）
M. Katayama and Y. Iwadate,“A method for converting three-dimensional models into auto-stereoscopic images based on integral photography,”Proc. of SPIE, 68050Z (2008).
（参考文献３）
池谷，久富，片山，岩舘，“多視点映像からのインテグラル立体像の生成”，日本放送協会放送技術研究所，ＮＨＫ技研Ｒ＆Ｄ，Ｎｏ．１４４，ｐｐ４７－５９，２０１４年３月１５日発行
Y. Iwadate and M. Katayama, “Generating Integral Image from 3D Object by Using Oblique Projection,”Proc. of IDW, 3Dp-1, pp. 269-272 (2011).
（参考文献２）
M. Katayama and Y. Iwadate,“A method for converting three-dimensional models into auto-stereoscopic images based on integral photography,”Proc. of SPIE, 68050Z (2008).
（参考文献３）
池谷，久富，片山，岩舘，“多視点映像からのインテグラル立体像の生成”，日本放送協会放送技術研究所，ＮＨＫ技研Ｒ＆Ｄ，Ｎｏ．１４４，ｐｐ４７－５９，２０１４年３月１５日発行
【0076】
データ出力部１６は、要素画像群生成部１５が生成した要素画像群と、２Ｄ映像輝度算出部１４１が算出した２Ｄ映像とを、表示用データとして出力するものである。
なお、ここでは、要素画像群および２Ｄ映像は輝度値で表されているため、データ出力部１６は、要素画像群および２Ｄ映像を画素値に変換する。
ここでは、データ出力部１６は、要素画像群画素値変換部１６０と、２Ｄ映像画素値変換部１６１と、を備える。
なお、ここでは、要素画像群および２Ｄ映像は輝度値で表されているため、データ出力部１６は、要素画像群および２Ｄ映像を画素値に変換する。
ここでは、データ出力部１６は、要素画像群画素値変換部１６０と、２Ｄ映像画素値変換部１６１と、を備える。
【0077】
要素画像群画素値変換部１６０は、要素画像群生成部１５が生成した要素画像群の輝度値を、ＲＧＢごとのカラーの画素値に変換するものである。
要素画像群画素値変換部１６０は、仕様値記憶部１０に記憶されているインテグラル３次元映像表示装置２０の画素値と輝度値との対応表を参照して、表示デバイス２００の画素ごとのＲＧＢに対応する位置の輝度値を、ＲＧＢの画素値に変換する。
これによって、一般的なＲＧＢのカラー映像のインテグラル３Ｄ映像を表示するための要素画像群が生成されることなる。
この要素画像群は、３次元映像表示装置２のインテグラル３次元映像表示装置２０で使用するデータである。
要素画像群画素値変換部１６０は、仕様値記憶部１０に記憶されているインテグラル３次元映像表示装置２０の画素値と輝度値との対応表を参照して、表示デバイス２００の画素ごとのＲＧＢに対応する位置の輝度値を、ＲＧＢの画素値に変換する。
これによって、一般的なＲＧＢのカラー映像のインテグラル３Ｄ映像を表示するための要素画像群が生成されることなる。
この要素画像群は、３次元映像表示装置２のインテグラル３次元映像表示装置２０で使用するデータである。
【0078】
２Ｄ映像画素値変換部１６１は、輝度誤差最小化部１４が生成した２Ｄ映像の輝度値を、ＲＧＢごとのカラーの画素値に変換するものである。
要素画像群画素値変換部１６０は、仕様値記憶部１０に記憶されている２次元映像表示装置２１の画素値と輝度値との対応表を参照して、２次元映像表示装置２１の画素ごとのＲＧＢに対応する位置の輝度値を、ＲＧＢの画素値に変換する。
これによって、一般的なＲＧＢのカラー映像の２Ｄ映像が生成されることなる。
この２Ｄ映像は、３次元映像表示装置２の２次元映像表示装置２１で使用するデータである。
要素画像群画素値変換部１６０は、仕様値記憶部１０に記憶されている２次元映像表示装置２１の画素値と輝度値との対応表を参照して、２次元映像表示装置２１の画素ごとのＲＧＢに対応する位置の輝度値を、ＲＧＢの画素値に変換する。
これによって、一般的なＲＧＢのカラー映像の２Ｄ映像が生成されることなる。
この２Ｄ映像は、３次元映像表示装置２の２次元映像表示装置２１で使用するデータである。
【0079】
以上説明した構成によって、３次元映像表示用データ生成装置１は、３Ｄシーンデータから、インテグラル３Ｄ映像と２Ｄ映像とを表示して３次元映像を表示する３次元映像表示装置２で使用する表示用データ（要素画像群および２Ｄ映像）を生成することができる。
なお、３次元映像表示用データ生成装置１は、図示を省略したコンピュータを前記した制御部ＣＬの各部として機能させるためのプログラム（３次元映像表示用データ生成プログラム）で動作させることができる。
なお、３次元映像表示用データ生成装置１は、図示を省略したコンピュータを前記した制御部ＣＬの各部として機能させるためのプログラム（３次元映像表示用データ生成プログラム）で動作させることができる。
【0080】
このように生成された表示用データを用いることで、３次元映像表示装置２は、インテグラル３Ｄ映像Ｉの表示面に近い位置では、重みマップにより、２Ｄ映像の重みを大きくし、合成３Ｄ映像の解像度特性を向上させることができる。また、３次元映像表示装置２は、インテグラル３Ｄ映像Ｉの表示面から遠い位置では、重みマップにより、２Ｄ映像の重みを小さく、合成３Ｄ映像のノイズを目立たなくすることができる。
【0081】
＜３次元映像表示用データ生成装置の動作＞
次に、図１０を参照（構成については適宜図１参照）して、本発明の実施形態に係る３次元映像表示用データ生成装置１の動作について説明する。なお、記憶部ＭＥには、表示用データを生成する対象である３次元映像表示装置２を構成する各部の仕様値が予め記憶されているものとする。
次に、図１０を参照（構成については適宜図１参照）して、本発明の実施形態に係る３次元映像表示用データ生成装置１の動作について説明する。なお、記憶部ＭＥには、表示用データを生成する対象である３次元映像表示装置２を構成する各部の仕様値が予め記憶されているものとする。
【0082】
ステップＳ１において、原映像生成部１１は、３Ｄシーンデータから、視点ごとの映像（多視点映像）を原映像として生成する。
ステップＳ２において、輝度値変換部１２は、ステップＳ１で生成された原映像（多視点映像）の画素値を輝度値に変換する。ここでは、輝度値変換部１２は、仕様値記憶部１０に記憶されている対応表を参照して、原映像のＲＧＢごとに画素値を輝度値に変換する。
ステップＳ２において、輝度値変換部１２は、ステップＳ１で生成された原映像（多視点映像）の画素値を輝度値に変換する。ここでは、輝度値変換部１２は、仕様値記憶部１０に記憶されている対応表を参照して、原映像のＲＧＢごとに画素値を輝度値に変換する。
【0083】
ステップＳ３において、重みマップ生成部１３は、３Ｄシーンデータから、視点ごとに、インテグラル３Ｄ映像に合成する２Ｄ映像の重みマップを生成する。この重みマップは、インテグラル３次元映像の表示面からの距離が遠いほど重みが小さくなるように生成される。
なお、ステップＳ１，Ｓ２とステップＳ３とは、動作順を入れ替えても、並列で動作させても構わない。
なお、ステップＳ１，Ｓ２とステップＳ３とは、動作順を入れ替えても、並列で動作させても構わない。
【0084】
ステップＳ４において、３Ｄ映像輝度算出部１４０は、２Ｄ映像の初期輝度値を“０”に設定する。
ステップＳ５において、３Ｄ映像輝度算出部１４０は、２Ｄ映像が既知という条件で、前記式（５）により、インテグラル３Ｄ映像の画素番号ｍ，ｎごとに、視点ｓ，ｔの輝度値Ｉｓ，ｔ（ｍ，ｎ）を算出することで、視点ごとのインテグラル３Ｄ映像（多視点映像）を生成する。
ステップＳ５において、３Ｄ映像輝度算出部１４０は、２Ｄ映像が既知という条件で、前記式（５）により、インテグラル３Ｄ映像の画素番号ｍ，ｎごとに、視点ｓ，ｔの輝度値Ｉｓ，ｔ（ｍ，ｎ）を算出することで、視点ごとのインテグラル３Ｄ映像（多視点映像）を生成する。
【0085】
ステップＳ６において、２Ｄ映像輝度算出部１４１は、視点ごとのインテグラル３Ｄ映像（多視点映像）が既知という条件で、前記式（６）により２Ｄ映像（輝度値Ｌ（ｉ，ｊ））を生成する。
ステップＳ７において、繰り返し実行部１４２は、合成３Ｄ映像と原映像との輝度値の誤差が収束したか否かを判定する。ここでは、繰り返し実行部１４２は、ステップＳ５，Ｓ６の処理を所定回数繰り返したか否かにより、収束を判定する。
ステップＳ７において、繰り返し実行部１４２は、合成３Ｄ映像と原映像との輝度値の誤差が収束したか否かを判定する。ここでは、繰り返し実行部１４２は、ステップＳ５，Ｓ６の処理を所定回数繰り返したか否かにより、収束を判定する。
【0086】
ここで、ステップＳ５，Ｓ６を所定回数繰り返した場合、すなわち、繰り返し実行部１４２が、誤差が収束と判定した場合（ステップＳ７でＹｅｓ）、３次元映像表示用データ生成装置１は、ステップＳ８に動作を進める。
一方、ステップＳ５，Ｓ６を所定回数繰り返していない場合、すなわち、繰り返し実行部１４２が、誤差が収束していないと判定した場合（ステップＳ７でＮｏ）、３次元映像表示用データ生成装置１は、ステップＳ５に動作を戻す。
一方、ステップＳ５，Ｓ６を所定回数繰り返していない場合、すなわち、繰り返し実行部１４２が、誤差が収束していないと判定した場合（ステップＳ７でＮｏ）、３次元映像表示用データ生成装置１は、ステップＳ５に動作を戻す。
【0087】
ステップＳ８において、要素画像群生成部１５は、ステップＳ５で生成された視点ごとのインテグラル３Ｄ映像（多視点映像）から、要素画像群を生成する。
ステップＳ９において、要素画像群画素値変換部１６０は、仕様値記憶部１０に記憶されている対応表を参照して、ステップＳ８で生成された要素画像群の輝度値をＲＧＢごとの画素値に変換することで、表示用データである要素画像群を生成する。
ステップＳ１０において、２Ｄ映像画素値変換部１６１は、仕様値記憶部１０に記憶されている対応表を参照して、ステップＳ６で生成された２Ｄ映像の輝度値をＲＧＢごとの画素値に変換することで、表示用データである２Ｄ映像を生成する。
なお、ステップＳ９とステップＳ１０とは、動作順を入れ替えても、並列で動作させても構わない。
ステップＳ９において、要素画像群画素値変換部１６０は、仕様値記憶部１０に記憶されている対応表を参照して、ステップＳ８で生成された要素画像群の輝度値をＲＧＢごとの画素値に変換することで、表示用データである要素画像群を生成する。
ステップＳ１０において、２Ｄ映像画素値変換部１６１は、仕様値記憶部１０に記憶されている対応表を参照して、ステップＳ６で生成された２Ｄ映像の輝度値をＲＧＢごとの画素値に変換することで、表示用データである２Ｄ映像を生成する。
なお、ステップＳ９とステップＳ１０とは、動作順を入れ替えても、並列で動作させても構わない。
【0088】
以上の動作によって、３次元映像表示用データ生成装置１は、３Ｄシーンデータから、インテグラル３Ｄ映像と２Ｄ映像とを表示して合成３Ｄ映像を表示する３次元映像表示装置２で使用する表示用データを生成することができる。
【0089】
以上、本発明の実施形態について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、ここでは、原映像をＲＧＢ各色の画素値で表されるカラー映像として説明したが、ＲＧＢ各色の輝度値で表される輝度データとしてもよい。その場合、画素値を輝度値に変換する必要はなく、３次元映像表示用データ生成装置１の構成から、輝度値変換部１２を省略すればよい。
例えば、ここでは、原映像をＲＧＢ各色の画素値で表されるカラー映像として説明したが、ＲＧＢ各色の輝度値で表される輝度データとしてもよい。その場合、画素値を輝度値に変換する必要はなく、３次元映像表示用データ生成装置１の構成から、輝度値変換部１２を省略すればよい。
【0090】
また、ここでは、繰り返し実行部１４２が、３Ｄ映像輝度算出部１４０および２Ｄ映像輝度算出部１４１の繰り返し回数によって、誤差の収束を判定した。
しかし、繰り返し実行部１４２は、２Ｄ映像とインテグラル３Ｄ映像との輝度値の和と、原映像の輝度値との誤差を算出し、その誤差が予め定めた値よりも小さくなった、あるいは、誤差の変動が予め定めた値よりも小さくなった段階で、誤差が収束したと判定してもよい。
すなわち、繰り返し実行部１４２は、前記式（３）により誤差を算出し、誤差の収束を判定することとしてもよい。
しかし、繰り返し実行部１４２は、２Ｄ映像とインテグラル３Ｄ映像との輝度値の和と、原映像の輝度値との誤差を算出し、その誤差が予め定めた値よりも小さくなった、あるいは、誤差の変動が予め定めた値よりも小さくなった段階で、誤差が収束したと判定してもよい。
すなわち、繰り返し実行部１４２は、前記式（３）により誤差を算出し、誤差の収束を判定することとしてもよい。
【符号の説明】
【0091】
１ ３次元映像表示用データ生成装置
１０ 仕様値記憶部
１１ 原映像生成部
１２ 輝度値変換部
１３ 重みマップ生成部
１４ 輝度誤差最小化部
１４０ ３Ｄ映像輝度算出部
１４１ ２Ｄ映像輝度算出部
１４２ 繰り返し実行部
１５ 要素画像群生成部
１６ データ出力部
１６０ 要素画像群画素値変換部
１６１ ２Ｄ映像画素値変換部
１０ 仕様値記憶部
１１ 原映像生成部
１２ 輝度値変換部
１３ 重みマップ生成部
１４ 輝度誤差最小化部
１４０ ３Ｄ映像輝度算出部
１４１ ２Ｄ映像輝度算出部
１４２ 繰り返し実行部
１５ 要素画像群生成部
１６ データ出力部
１６０ 要素画像群画素値変換部
１６１ ２Ｄ映像画素値変換部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】