知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024056326
(43)【公開日】2024-04-23
(54)【発明の名称】３次元映像表示装置
(51)【国際特許分類】
G02B 30/10 20200101AFI20240416BHJP
G03B 35/24 20210101ALI20240416BHJP
H04N 13/307 20180101ALI20240416BHJP
H04N 13/363 20180101ALI20240416BHJP
【ＦＩ】
G02B30/10
G03B35/24
H04N13/307
H04N13/363
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022163126
(22)【出願日】2022-10-11
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】渡邉 隼人
(72)【発明者】
【氏名】岡市 直人
(72)【発明者】
【氏名】加納 正規
(72)【発明者】
【氏名】佐々木 久幸
(72)【発明者】
【氏名】洗井 淳
【テーマコード（参考）】
2H059
2H199
5C061
【Ｆターム（参考）】
2H059AA24
2H059AA35
2H059AA38
2H059AB12
2H199BA17
2H199BA19
2H199BA20
2H199BA61
2H199BB02
2H199BB03
2H199BB09
2H199BB10
2H199BB25
2H199BB43
2H199BB52
5C061AA06
5C061AA23
5C061AB14
5C061AB16
(57)【要約】
【課題】広い奥行き範囲で解像度が高い３次元映像を表示することが可能な３次元映像表示装置を提供する。
【解決手段】３次元映像表示装置１は、方向別の複数の画像を２次元配列した３次元映像データの輝度が画素ごとに制御された光線を方向別の光線として射出する光線射出部１１と、光線射出部１１よりも狭い画素ピッチを有し、光線射出部１１から射出される方向別の光線を、制御された画素ごとの透過率で透過させる透過型液晶パネル１２と、光線の視域を制御する第１の視域制御レンズ１３１と、第２の視域制御レンズ１３２と、入力された多視点映像データの方向別の画像における画素ごとの輝度と、第２の視域制御レンズ１３２を透過した後の方向別の画素ごとの輝度との誤差を最小化するように、３次元映像データの輝度および透過型液晶パネル１２の透過率を制御する制御部２０と、を備える。
【選択図】図２
【解決手段】３次元映像表示装置１は、方向別の複数の画像を２次元配列した３次元映像データの輝度が画素ごとに制御された光線を方向別の光線として射出する光線射出部１１と、光線射出部１１よりも狭い画素ピッチを有し、光線射出部１１から射出される方向別の光線を、制御された画素ごとの透過率で透過させる透過型液晶パネル１２と、光線の視域を制御する第１の視域制御レンズ１３１と、第２の視域制御レンズ１３２と、入力された多視点映像データの方向別の画像における画素ごとの輝度と、第２の視域制御レンズ１３２を透過した後の方向別の画素ごとの輝度との誤差を最小化するように、３次元映像データの輝度および透過型液晶パネル１２の透過率を制御する制御部２０と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
３次元映像を表示する３次元映像表示装置であって、
方向別の複数の画像を２次元配列した３次元映像データの輝度が画素ごとに制御された光線を方向別の光線として射出する光線射出部と、
前記光線射出部よりも狭い画素ピッチを有し、前記光線射出部から射出される方向別の光線を、制御された画素ごとの透過率で透過させる透過型液晶パネルと、
前記透過型液晶パネルを透過した光線を後段の第２の視域制御レンズに集光させる第１の視域制御レンズと、
前記第１の視域制御レンズの焦点距離だけ前記第１の視域制御レンズから離間して配置され、集光した光線を正面方向に発散させる前記第２の視域制御レンズと、
入力された多視点映像データの方向別の画像における画素ごとの輝度と、前記第２の視域制御レンズを透過した後の前記方向別の画素ごとの輝度との誤差を最小化するように、前記光線射出部における前記３次元映像データの輝度および前記透過型液晶パネルの透過率を制御する制御部と、
を備えることを特徴とする３次元映像表示装置。
方向別の複数の画像を２次元配列した３次元映像データの輝度が画素ごとに制御された光線を方向別の光線として射出する光線射出部と、
前記光線射出部よりも狭い画素ピッチを有し、前記光線射出部から射出される方向別の光線を、制御された画素ごとの透過率で透過させる透過型液晶パネルと、
前記透過型液晶パネルを透過した光線を後段の第２の視域制御レンズに集光させる第１の視域制御レンズと、
前記第１の視域制御レンズの焦点距離だけ前記第１の視域制御レンズから離間して配置され、集光した光線を正面方向に発散させる前記第２の視域制御レンズと、
入力された多視点映像データの方向別の画像における画素ごとの輝度と、前記第２の視域制御レンズを透過した後の前記方向別の画素ごとの輝度との誤差を最小化するように、前記光線射出部における前記３次元映像データの輝度および前記透過型液晶パネルの透過率を制御する制御部と、
を備えることを特徴とする３次元映像表示装置。
【請求項2】
前記光線射出部は、
前記３次元映像データの輝度が画素ごとに制御された映像データを表示する表示デバイスと、
前記方向別の画像に対向して要素レンズを２次元配列し、前記要素レンズの焦点距離だけ前記表示デバイスから離間して配置した要素レンズアレイと、
を備えることを特徴とする請求項１に記載の３次元映像表示装置。
前記３次元映像データの輝度が画素ごとに制御された映像データを表示する表示デバイスと、
前記方向別の画像に対向して要素レンズを２次元配列し、前記要素レンズの焦点距離だけ前記表示デバイスから離間して配置した要素レンズアレイと、
を備えることを特徴とする請求項１に記載の３次元映像表示装置。
【請求項3】
前記光線射出部は、
前記３次元映像データの輝度が画素ごとに制御された映像データを映像光として照射するプロジェクタと、
前記プロジェクタから照射された映像光を平行光に変換するコリメータレンズと、
前記コリメータレンズの平行光の射出側に配置され、前記方向別の画像の光線に対向して結像レンズを２次元配列した結像レンズアレイと、
前記結像レンズの焦点距離だけ前記結像レンズアレイから離間して配置され、前記方向別の画像の光線を第２のコンデンサレンズに重畳照射する第１のコンデンサレンズと、
前記第１のコンデンサレンズと焦点距離が同じで、前記第１のコンデンサレンズからその焦点距離だけ離間して配置され、前記方向別の画像の光線を前記方向別の平行光に変換する前記第２のコンデンサレンズと、
前記第２のコンデンサレンズの光線の射出側と接して配置され、前記方向別の平行光を角度方向に連続的な輝度分布の光線に拡散する拡散スクリーンと、
を備えることを特徴とする請求項１に記載の３次元映像表示装置。
前記３次元映像データの輝度が画素ごとに制御された映像データを映像光として照射するプロジェクタと、
前記プロジェクタから照射された映像光を平行光に変換するコリメータレンズと、
前記コリメータレンズの平行光の射出側に配置され、前記方向別の画像の光線に対向して結像レンズを２次元配列した結像レンズアレイと、
前記結像レンズの焦点距離だけ前記結像レンズアレイから離間して配置され、前記方向別の画像の光線を第２のコンデンサレンズに重畳照射する第１のコンデンサレンズと、
前記第１のコンデンサレンズと焦点距離が同じで、前記第１のコンデンサレンズからその焦点距離だけ離間して配置され、前記方向別の画像の光線を前記方向別の平行光に変換する前記第２のコンデンサレンズと、
前記第２のコンデンサレンズの光線の射出側と接して配置され、前記方向別の平行光を角度方向に連続的な輝度分布の光線に拡散する拡散スクリーンと、
を備えることを特徴とする請求項１に記載の３次元映像表示装置。
【請求項4】
３次元映像を表示する３次元映像表示装置であって、
方向別の複数の画像を２次元配列した３次元映像データの輝度が画素ごとに制御された映像データと２次元映像の輝度が画素ごとに制御された映像データとを切り替えて表示する表示デバイスと、前記方向別の画像の光線に対向してレンズ状態および透過状態の切り替えを制御される液晶レンズを２次元配列し、前記レンズ状態の液晶要素レンズの焦点距離だけ前記表示デバイスから離間して配置した液晶レンズアレイと、を備える光線射出部と、
前記光線射出部の光線の射出側に配置され、光線を後段の第２の視域制御レンズに集光させる第１の視域制御レンズと、
前記第１の視域制御レンズの焦点距離だけ前記第１の視域制御レンズから離間して配置され、集光した光線を正面方向に発散させる前記第２の視域制御レンズと、
前記液晶レンズアレイのレンズ状態および透過状態をフレームごとに切り替え、前記レンズ状態で前記液晶レンズアレイを通過する前記方向別の画素ごとの輝度と、前記透過状態で前記液晶レンズアレイを通過する画素ごとの輝度とを時分割多重により加算させたときの前記第２の視域制御レンズを通過した後の方向別の画素ごとの輝度との誤差を最小化するように、前記光線射出部における前記レンズ状態での前記３次元映像データの輝度と、前記透過状態での前記２次元映像データの輝度とを制御する制御部と、
を備えることを特徴とする３次元映像表示装置。
方向別の複数の画像を２次元配列した３次元映像データの輝度が画素ごとに制御された映像データと２次元映像の輝度が画素ごとに制御された映像データとを切り替えて表示する表示デバイスと、前記方向別の画像の光線に対向してレンズ状態および透過状態の切り替えを制御される液晶レンズを２次元配列し、前記レンズ状態の液晶要素レンズの焦点距離だけ前記表示デバイスから離間して配置した液晶レンズアレイと、を備える光線射出部と、
前記光線射出部の光線の射出側に配置され、光線を後段の第２の視域制御レンズに集光させる第１の視域制御レンズと、
前記第１の視域制御レンズの焦点距離だけ前記第１の視域制御レンズから離間して配置され、集光した光線を正面方向に発散させる前記第２の視域制御レンズと、
前記液晶レンズアレイのレンズ状態および透過状態をフレームごとに切り替え、前記レンズ状態で前記液晶レンズアレイを通過する前記方向別の画素ごとの輝度と、前記透過状態で前記液晶レンズアレイを通過する画素ごとの輝度とを時分割多重により加算させたときの前記第２の視域制御レンズを通過した後の方向別の画素ごとの輝度との誤差を最小化するように、前記光線射出部における前記レンズ状態での前記３次元映像データの輝度と、前記透過状態での前記２次元映像データの輝度とを制御する制御部と、
を備えることを特徴とする３次元映像表示装置。
【請求項5】
前記第１の視域制御レンズおよび前記第２の視域制御レンズは、それぞれ、水平方向および垂直方向に複数配置した構成であることを特徴とする請求項１から請求項４のいずれか一項に記載の３次元映像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元映像を表示する３次元映像表示装置に関する。
【背景技術】
【0002】
近年、３Ｄメガネを用いた２眼方式をはじめとして、多種多様な３次元映像表示装置が提案されている。なかでも、ライトフィールド方式は、物体からの光線群を忠実に再現することで、水平と垂直の両方向に視差がある自然な３次元映像を特殊なメガネを用いることなく観察者に提示することができる（特許文献１，非特許文献１－２参照）。
しかし、ライトフィールド方式には、表示画面を所定の視距離から観察したとき、３次元映像を表示する奥行き位置を深くするほど解像度が低下することが知られている。広い奥行き範囲で解像度が高い３次元映像を表示するには再生光線の角密度を増加させる必要があるが、光線の角密度は３次元映像の視域角や最大画素数といった他の表示特性のパラメータとトレードオフの関係がある（非特許文献１参照）。
しかし、ライトフィールド方式には、表示画面を所定の視距離から観察したとき、３次元映像を表示する奥行き位置を深くするほど解像度が低下することが知られている。広い奥行き範囲で解像度が高い３次元映像を表示するには再生光線の角密度を増加させる必要があるが、光線の角密度は３次元映像の視域角や最大画素数といった他の表示特性のパラメータとトレードオフの関係がある（非特許文献１参照）。
【0003】
従来、３次元映像の表示特性を向上させる方法として、視点追従技術が提案されている（非特許文献２参照）。この方法では、ある一フレームにおける光学的な視域角を視点方向に狭くする代わりに、光線の角密度を増加させることで、広い奥行き範囲で解像度が高い３次元映像を表示することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第６５９８３６２号公報
【非特許文献】
【0005】
【非特許文献1】H. Hoshino, F. Okano, H. Isono, and I. Yuyama, “Analysis of resolution limitation of integral photography,”J. Opt. Soc. Am. A, vol. 15, no. 8, pp. 2059-2065 (1998).
【非特許文献2】S. Hong, D. Shin, J.-J. Lee, and B.-G. Lee, “Viewing angle-improved 3D integral imaging display with eye tracking sensor,” J. Inf. Commun. Converg. Eng., vol. 12, no. 4, pp. 208-214 (2014).
【発明の概要】
【発明が解決しようとする課題】
【0006】
前記したように、光線の角密度は３次元映像の視域角や最大画素数といった他の表示特性のパラメータとトレードオフの関係があるため、他の表示特性を維持したまま光線の角密度を増加させようとすると膨大な映像情報量が必要になってしまうという問題がある。
また、従来の視点追従技術を用いた手法は、視聴者の両眼を包含するように３次元映像の視域角を設計する必要がある。この制約のため、視点追従技術を用いた手法は、光線の角密度を大幅に増加させることは困難である。
そこで、本発明は、再生光線の角密度を高めることで、広い奥行き範囲で解像度が高い３次元映像を表示することが可能な３次元映像表示装置を提供することを課題とする。
また、従来の視点追従技術を用いた手法は、視聴者の両眼を包含するように３次元映像の視域角を設計する必要がある。この制約のため、視点追従技術を用いた手法は、光線の角密度を大幅に増加させることは困難である。
そこで、本発明は、再生光線の角密度を高めることで、広い奥行き範囲で解像度が高い３次元映像を表示することが可能な３次元映像表示装置を提供することを課題とする。
【課題を解決するための手段】
【0007】
前記課題を解決するため、本発明に係る３次元映像表示装置は、３次元映像を表示する３次元映像表示装置であって、光線射出部と、透過型液晶パネルと、第１の視域制御レンズと、第２の視域制御レンズと、制御部と、を備える構成とした。
【0008】
かかる構成において、３次元映像表示装置は、光線射出部によって、方向別の複数の画像を２次元配列した３次元映像データの輝度が画素ごとに制御された光線を方向別の光線として射出する。この３次元映像データは、例えば、要素画像群、多視点映像といった３次元映像を表示するためのデータである。
そして、３次元映像表示装置は、光線射出部の光線の射出側に配置され、光線射出部よりも狭い画素ピッチを有する透過型液晶パネルによって、制御された画素ごとの透過率で、方向別の光線を透過させる。
そして、３次元映像表示装置は、光線射出部の光線の射出側に配置され、光線射出部よりも狭い画素ピッチを有する透過型液晶パネルによって、制御された画素ごとの透過率で、方向別の光線を透過させる。
【0009】
そして、３次元映像表示装置は、透過型液晶パネルの光線の射出側に接して配置された第１の視域制御レンズによって、光線を後段の第２の視域制御レンズ上の３次元映像の画素位置に集光させる。
そして、３次元映像表示装置は、第１の視域制御レンズの焦点距離だけ第１の視域制御レンズから離間して配置された第２の視域制御レンズによって、集光した光線を正面方向に発散させる。この発散光によって、観察者は、３次元映像を観察することができる。
そして、３次元映像表示装置は、第１の視域制御レンズの焦点距離だけ第１の視域制御レンズから離間して配置された第２の視域制御レンズによって、集光した光線を正面方向に発散させる。この発散光によって、観察者は、３次元映像を観察することができる。
【0010】
このとき、３次元映像表示装置は、制御部によって、入力された多視点映像データの方向別の画素ごとの輝度と、第２の視域制御レンズを透過した後の方向別の画素ごとの輝度との誤差を最小化するように、光線射出部が射出する３次元映像データの輝度および透過型液晶パネルの透過率を制御する。これによって、３次元映像表示装置から射出される方向別の光線が異なる輝度の複数の光線となるため、再生光線の角密度を高めることができる。
【0011】
また、前記課題を解決するため、本発明に係る３次元映像表示装置は、３次元映像を表示する３次元映像表示装置であって、表示デバイスと液晶レンズアレイとを備える光線射出部と、第１の視域制御レンズと、第２の視域制御レンズと、制御部と、を備える構成とした。
【0012】
かかる構成において、３次元映像表示装置は、光線射出部の表示デバイスによって、方向別の複数の画像を２次元配列した３次元映像データの輝度が画素ごとに制御された光線と２次元映像データの輝度が画素ごとに制御された光線と、を方向別の光線として時分割で切り替えて射出する。
そして、３次元映像表示装置は、方向別の画像の光線に対向した液晶レンズが２次元配列され、レンズ状態の液晶レンズの焦点距離だけ表示デバイスから離間して配置した液晶レンズアレイによって、表示デバイスの光線をレンズ状態および透過状態の切り替えを制御された状態で通過させる。
そして、３次元映像表示装置は、方向別の画像の光線に対向した液晶レンズが２次元配列され、レンズ状態の液晶レンズの焦点距離だけ表示デバイスから離間して配置した液晶レンズアレイによって、表示デバイスの光線をレンズ状態および透過状態の切り替えを制御された状態で通過させる。
【0013】
そして、３次元映像表示装置は、光線射出部の光線の射出側に配置され第１の視域制御レンズによって、光線を後段の第２の視域制御レンズ上の３次元映像の画素位置に集光させる。
そして、３次元映像表示装置は、第１の視域制御レンズの焦点距離だけ第１の視域制御レンズから離間して配置された第２の視域制御レンズによって、集光した光線を正面方向に発散させる。この発散光によって、観察者は、３次元映像を観察することができる。
そして、３次元映像表示装置は、第１の視域制御レンズの焦点距離だけ第１の視域制御レンズから離間して配置された第２の視域制御レンズによって、集光した光線を正面方向に発散させる。この発散光によって、観察者は、３次元映像を観察することができる。
【0014】
このとき、３次元映像表示装置は、制御部によって、液晶レンズアレイのレンズ状態および透過状態をフレームごとに切り替える。そして、３次元映像表示装置は、制御部によって、レンズ状態のときには３次元映像データ、透過状態のときには２次元映像データを表示デバイスに同期して表示する。
これによって、レンズ状態で液晶レンズアレイを通過する方向別の画素ごとの輝度と、透過状態で液晶レンズアレイを通過する画素ごとの輝度とが時分割多重により加算される。
また、３次元映像表示装置は、制御部によって、入力された多視点映像データの方向別の画素ごとの輝度と、第２の視域制御レンズを通過した後の方向別の画素ごとの輝度との誤差を最小化するように、光線射出部が射出するレンズ状態での３次元映像データの輝度と、透過状態での２次元映像データの輝度とを制御する。
これによって、３次元映像表示装置から射出される方向別の光線が異なる輝度の複数の光線となるため、再生光線の角密度を高めることができる。
これによって、レンズ状態で液晶レンズアレイを通過する方向別の画素ごとの輝度と、透過状態で液晶レンズアレイを通過する画素ごとの輝度とが時分割多重により加算される。
また、３次元映像表示装置は、制御部によって、入力された多視点映像データの方向別の画素ごとの輝度と、第２の視域制御レンズを通過した後の方向別の画素ごとの輝度との誤差を最小化するように、光線射出部が射出するレンズ状態での３次元映像データの輝度と、透過状態での２次元映像データの輝度とを制御する。
これによって、３次元映像表示装置から射出される方向別の光線が異なる輝度の複数の光線となるため、再生光線の角密度を高めることができる。
【発明の効果】
【0015】
本発明によれば、３次元映像表示装置から射出される再生光線の角密度を高めることでる。これによって、本発明は、広い奥行き範囲で解像度が高い３次元映像を表示することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施形態に係る３次元映像表示装置を模式的に示す斜視図である。
【図2】本発明の第１実施形態に係る３次元映像表示装置の構成を示す平面図である。
【図3】本発明の第１実施形態に係る３次元映像表示装置の光線射出部の構成例を示す図であって、（ａ）はインテグラル方式の光線射出部の構成を示す平面図、（ｂ）は（ａ）の１つの要素レンズに対応する表示デバイスを拡大した図である。
【図4】視域制御レンズによる視域制御内容を説明するため説明図である。
【図5】透過型液晶パネルを設けた場合の光線を模式的に示す図である。
【図6】透過型液晶パネルを設けなかった場合の光線を模式的に示す図である。
【図7】本発明の第１実施形態に係る３次元映像表示装置の制御部の構成を示すブロック構成図である。
【図9】本発明の第１実施形態に係る３次元映像表示装置の光線射出部の他の構成例を示す図であって、多視点映像投射方式の光線射出部の構成を示す平面図である。
【図10】本発明の第２実施形態に係る３次元映像表示装置の構成を示す平面図である。
【図11】本発明の第２実施形態に係る３次元映像表示装置の制御部の構成を示すブロック構成図である。
【図12】本発明の第３実施形態に係る３次元映像表示装置の構成を示す平面図である。
【発明を実施するための形態】
【0017】
【0018】
３次元映像表示装置１は、３次元映像を表示するものである。この３次元映像表示装置１は、水平方向および垂直方向に視差を有する３次元映像Ｔを表示する。
図１に示すように、３次元映像表示装置１は、表示部１０と、制御部２０とを備える。表示部１０は、図２に示すように、光線射出部１１と、透過型液晶パネル１２と、２つの視域制御レンズ１３（第１の視域制御レンズ１３１，第２の視域制御レンズ１３２）と、を備える。
図１に示すように、３次元映像表示装置１は、表示部１０と、制御部２０とを備える。表示部１０は、図２に示すように、光線射出部１１と、透過型液晶パネル１２と、２つの視域制御レンズ１３（第１の視域制御レンズ１３１，第２の視域制御レンズ１３２）と、を備える。
【0019】
光線射出部１１は、方向別の複数の画像を２次元配列した３次元映像データの輝度が画素ごとに制御された光線を方向別の光線として射出するものである。光線射出部１１は、一般的なライトフィールド方式の３次元映像表示装置（例えば、特許文献１、非特許文献１，２）を用いることができる。
光線射出部１１の射出光の偏光状態は、ランダム偏光、円偏光、直線偏光のいずれであっても構わない。ただし、射出光が直線偏光であって、その偏光方向が後記する透過型液晶パネル１２の入射面の偏光板の偏光透過軸と直交するときは、射出光が偏光板により遮断されてしまう。そこで、射出光を直線偏光とする場合は、偏光方向を透過型液晶パネル１２の入射面の偏光板の偏光透過軸と直交しないように構成しておく。
光線射出部１１の射出光の偏光状態は、ランダム偏光、円偏光、直線偏光のいずれであっても構わない。ただし、射出光が直線偏光であって、その偏光方向が後記する透過型液晶パネル１２の入射面の偏光板の偏光透過軸と直交するときは、射出光が偏光板により遮断されてしまう。そこで、射出光を直線偏光とする場合は、偏光方向を透過型液晶パネル１２の入射面の偏光板の偏光透過軸と直交しないように構成しておく。
【0020】
最も望ましい形態としては、光線射出部１１の射出光を直線偏光とし、その偏光方向を透過型液晶パネル１２の入射面の偏光板の偏光透過軸と同一とすることで、３次元映像表示装置１が表示する３次元映像Ｔを最も明るく表示することができる。
なお、ここでは、光線射出部１１の画素ｐｒを分かり易く図示するため、水平方向（ｘ方向）の５画素のみを図示している。
光線射出部１１が射出する光線の方向および輝度については後で説明する。
なお、ここでは、光線射出部１１の画素ｐｒを分かり易く図示するため、水平方向（ｘ方向）の５画素のみを図示している。
光線射出部１１が射出する光線の方向および輝度については後で説明する。
【0021】
ここで、図３を参照して、光線射出部１１の構成例について説明する。
図３（ａ）は、光線射出部１１をインテグラル方式の光線射出部１１１として構成した例を示す。図３（ｂ）は、光線射出部１１１の１つの要素レンズ１１１ａに対応する表示デバイス１１０を拡大した図である。
図３（ａ）に示すように、光線射出部１１１は、表示デバイス１１０と、要素レンズアレイ１１１と、を備える。
図３（ａ）は、光線射出部１１をインテグラル方式の光線射出部１１１として構成した例を示す。図３（ｂ）は、光線射出部１１１の１つの要素レンズ１１１ａに対応する表示デバイス１１０を拡大した図である。
図３（ａ）に示すように、光線射出部１１１は、表示デバイス１１０と、要素レンズアレイ１１１と、を備える。
【0022】
表示デバイス１１０は、後記する制御部２０によって３次元映像データの輝度が画素ごとに制御された映像データを表示するものである。
３次元映像データは、インテグラル方式の要素画像群である。表示デバイス１１０には、液晶ディスプレイ、有機ＥＬ（Organic Electro Luminescence）ディスプレイ等の直視型表示デバイスを用いる。
なお、表示デバイス１１０が表示する画素ｐｅは、分かり易く図示するため、水平方向（ｘ方向）の５０画素のみを図示している。
３次元映像データは、インテグラル方式の要素画像群である。表示デバイス１１０には、液晶ディスプレイ、有機ＥＬ（Organic Electro Luminescence）ディスプレイ等の直視型表示デバイスを用いる。
なお、表示デバイス１１０が表示する画素ｐｅは、分かり易く図示するため、水平方向（ｘ方向）の５０画素のみを図示している。
【0023】
要素レンズアレイ１１１は、微小な要素レンズ（凸レンズ）１１１ａを２次元アレイ状に配列した光学素子である。要素レンズアレイ１１１は、表示デバイス１１０で表示される方向別の画像（要素画像）に対向して要素レンズ１１１ａを２次元配列し、要素レンズ１１１ａの焦点距離ｆａだけ表示デバイス１１０から離間して配置される。
一般的に、要素レンズ１１１ａのサイズは１ｍｍ程度、要素レンズアレイ１１１を構成する要素レンズ１１１ａの個数は一方向につき数百個以上であるが、ここでは、分かり易く図示するため、水平方向（ｘ方向）の５個のみを図示している。
すなわち、ここでは、表示デバイス１１０が表示する要素画像Ｉｅの水平方向１０画素に要素レンズ１１１ａを１つ対応させた例を示している。
一般的に、要素レンズ１１１ａのサイズは１ｍｍ程度、要素レンズアレイ１１１を構成する要素レンズ１１１ａの個数は一方向につき数百個以上であるが、ここでは、分かり易く図示するため、水平方向（ｘ方向）の５個のみを図示している。
すなわち、ここでは、表示デバイス１１０が表示する要素画像Ｉｅの水平方向１０画素に要素レンズ１１１ａを１つ対応させた例を示している。
【0024】
また、図３（ａ）では、水平方向の両端の要素レンズ１１１ａに対向する画素ｐｅから射出されて、要素レンズ１１１ａの中心（レンズ中心Ｌｃ）を通過する光線群について、主光線のみを図示している。また、図３（ａ）では、主光線で最も下方向（ｘ軸の負方向）に進行する光線を破線、それ以外の方向に進行する光線を点線で示している。
図３（ｂ）に示すように、表示デバイス１１０の画素ｐｅの光線は、対向する要素レンズ１１１ａの全面に照射され、要素レンズ１１１ａの全面から平行光として１方向に射出される。この平行光の方向は、画素ｐｅの位置と、レンズ中心Ｌｃとを結んだ方向と同一である。
図３（ｂ）に示すように、表示デバイス１１０の画素ｐｅの光線は、対向する要素レンズ１１１ａの全面に照射され、要素レンズ１１１ａの全面から平行光として１方向に射出される。この平行光の方向は、画素ｐｅの位置と、レンズ中心Ｌｃとを結んだ方向と同一である。
【0025】
以上説明したように、光線射出部１１１は、要素レンズ１１１ａの個数が光線射出部１１１の画素数となり、１つの要素レンズ１１１ａに対向する表示デバイス１１０の画素数が光線射出部１１１の射出方向数になる。
図３（ａ）の例では、光線射出部１１１は、水平方向（ｘ方向）に５画素、画素開口率１００％の映像を画素ごとに１０方向に射出することになる。
図２に戻って、３次元映像表示装置１の構成について説明を続ける。
図３（ａ）の例では、光線射出部１１１は、水平方向（ｘ方向）に５画素、画素開口率１００％の映像を画素ごとに１０方向に射出することになる。
図２に戻って、３次元映像表示装置１の構成について説明を続ける。
【0026】
透過型液晶パネル１２は、光線射出部１１の光線の射出側に配置され、光線射出部１１よりも狭い画素ピッチを有し、光線射出部１１から射出される方向別の光線を、制御された画素ごとの透過率で透過させるものである。なお、射出される３次元映像データの画素とは、図３で説明した表示デバイス１１０の画素である。
透過型液晶パネル１２は、光線射出部１１の表示面に密接して配置される。
透過型液晶パネル１２は、図示を省略した液晶層、配向膜、透明電極、カラーフィルタ、偏光板等が積層された一般的な液晶パネルである。なお、図２では、図を見やすくするため、光線射出部１１と透過型液晶パネル１２とを離間させている。
透過型液晶パネル１２は、光線射出部１１の表示面に密接して配置される。
透過型液晶パネル１２は、図示を省略した液晶層、配向膜、透明電極、カラーフィルタ、偏光板等が積層された一般的な液晶パネルである。なお、図２では、図を見やすくするため、光線射出部１１と透過型液晶パネル１２とを離間させている。
【0027】
透過型液晶パネル１２は、制御部２０によって画素ごとに電圧制御されることで、液晶分子の配光方向と偏光板とのなす角が変化し、透過率が制御される。
透過型液晶パネル１２の画素密度は、光線射出部１１の画素密度よりも高くする。
図２では、光線射出部１１の水平方向（ｘ方向）の１つの画素ｐｒに対して、透過型液晶パネル１２の画素ｐｐが１０個対応していることを示している。
透過型液晶パネル１２の画素密度は、光線射出部１１の画素密度よりも高くする。
図２では、光線射出部１１の水平方向（ｘ方向）の１つの画素ｐｒに対して、透過型液晶パネル１２の画素ｐｐが１０個対応していることを示している。
【0028】
このように、透過型液晶パネル１２の画素密度が光線射出部１１の画素密度よりも高い。また、透過型液晶パネル１２の画素ｐｐを透過した光線は、光線射出部１１および透過型液晶パネル１２による輝度変調された光線となる。
これによって、光線射出部１１の画素ｐｒの１画素から射出される１方向の光線は、透過型液晶パネル１２により、輝度が異なる１０本の平行光線束となって進行する。
透過型液晶パネル１２は、透過した光線を第１の視域制御レンズ１３１に照射する。
これによって、光線射出部１１の画素ｐｒの１画素から射出される１方向の光線は、透過型液晶パネル１２により、輝度が異なる１０本の平行光線束となって進行する。
透過型液晶パネル１２は、透過した光線を第１の視域制御レンズ１３１に照射する。
【0029】
視域制御レンズ１３は、透過型液晶パネル１２を透過する光線の視域を制御するものである。視域制御レンズ１３は、第１の視域制御レンズ１３１と、第２の視域制御レンズ１３２と、を備える。視域制御レンズ１３１および視域制御レンズ１３２は、それぞれ、一般的な凸レンズ、フレネルレンズ、回折レンズ等で構成することができる。ここでは、視域制御レンズ１３１および視域制御レンズ１３２を、それぞれ凸レンズで構成している。
【0030】
視域制御レンズ１３１は、透過型液晶パネル１２の光線を視域制御レンズ１３２に集光させるものである。ここでは、視域制御レンズ１３１は、透過型液晶パネル１２から照射される画素ｐｐごとの複数方向の光線を方向別に視域制御レンズ１３２に集光させる。視域制御レンズ１３１の直径は、光線射出部１１の表示サイズ以上とする。視域制御レンズ１３１は、透過型液晶パネル１２の光線の出射面に接して配置される。なお、図２では、図を見やすくするため、透過型液晶パネル１２と視域制御レンズ１３１とを離間させている。
【0031】
視域制御レンズ１３２は、視域制御レンズ１３１によって集光した光線を正面方向に発散させるものである。
ここで、光線射出部１１の視域角をΨとし、図２で示したｘｙｚ軸の原点位置を光線射出部１１の表示画面の中心位置に平行移動したときのｚｘ軸を座標軸とした極座標系を考える。光線射出部１１から最大でΨ／２の角度で光線が射出されるとすると、その光線は、視域制御レンズ１３１の焦点距離をｆｖとしたとき、視域制御レンズ１３１によって屈折され、視域制御レンズ１３１上のｘ＝ｆｖｔａｎ（Ψ／２）の位置を通過する。そのため、視域制御レンズ１３２の直径は、２ｆｖ・ｔａｎ（Ψ／２）よりも大きくする必要がある。なお、光線射出部１１の視域角は、光線射出部１１の方式（例えば、特許文献１、非特許文献１，２）によって異なるため、ここでは、説明を省略する。
視域制御レンズ１３２は、視域制御レンズ１３１から、視域制御レンズ１３１の焦点距離ｆｖだけ離間して配置される。視域制御レンズ１３２の焦点距離は、視域制御レンズ１３１の焦点距離と同じとする。
ここで、光線射出部１１の視域角をΨとし、図２で示したｘｙｚ軸の原点位置を光線射出部１１の表示画面の中心位置に平行移動したときのｚｘ軸を座標軸とした極座標系を考える。光線射出部１１から最大でΨ／２の角度で光線が射出されるとすると、その光線は、視域制御レンズ１３１の焦点距離をｆｖとしたとき、視域制御レンズ１３１によって屈折され、視域制御レンズ１３１上のｘ＝ｆｖｔａｎ（Ψ／２）の位置を通過する。そのため、視域制御レンズ１３２の直径は、２ｆｖ・ｔａｎ（Ψ／２）よりも大きくする必要がある。なお、光線射出部１１の視域角は、光線射出部１１の方式（例えば、特許文献１、非特許文献１，２）によって異なるため、ここでは、説明を省略する。
視域制御レンズ１３２は、視域制御レンズ１３１から、視域制御レンズ１３１の焦点距離ｆｖだけ離間して配置される。視域制御レンズ１３２の焦点距離は、視域制御レンズ１３１の焦点距離と同じとする。
【0032】
ここで、図４を参照して、視域制御レンズ１３による視域制御について、光線を図示して説明する。
光線射出部１１および透過型液晶パネル１２の画素構成は、図２，図３で説明した構成と同じである。
ここでは、透過型液晶パネル１２の水平方向の両端の画素ｐｐ１，ｐｐ５０から射出された光線群について主光線のみを図示している。また、図４では、主光線で最も下方向（ｘ軸の負方向）に進行する光線を破線、それ以外の方向に進行する光線を点線で示している。
光線射出部１１および透過型液晶パネル１２の画素構成は、図２，図３で説明した構成と同じである。
ここでは、透過型液晶パネル１２の水平方向の両端の画素ｐｐ１，ｐｐ５０から射出された光線群について主光線のみを図示している。また、図４では、主光線で最も下方向（ｘ軸の負方向）に進行する光線を破線、それ以外の方向に進行する光線を点線で示している。
【0033】
図３で説明したように、光線射出部１１の画素ｐｒからは、それぞれ水平方向に１０方向の平行光が射出される。
すなわち、図４に示した光線射出部１１の画素ｐｒ１から射出された１０方向の光線のうち、例えば、透過型液晶パネル１２の画素ｐｐ１によって輝度変調された光線は、第１の視域制御レンズ１３１によって屈折されて、１０方向に射出される。他の画素についても同様に、光線射出部１１の画素から射出されて透過型液晶パネル１２で輝度変調された光線は、第１の視域制御レンズ１３１によって屈折し、１０方向に射出される。
すなわち、図４に示した光線射出部１１の画素ｐｒ１から射出された１０方向の光線のうち、例えば、透過型液晶パネル１２の画素ｐｐ１によって輝度変調された光線は、第１の視域制御レンズ１３１によって屈折されて、１０方向に射出される。他の画素についても同様に、光線射出部１１の画素から射出されて透過型液晶パネル１２で輝度変調された光線は、第１の視域制御レンズ１３１によって屈折し、１０方向に射出される。
【0034】
ここで、第２の視域制御レンズ１３２は、視域制御レンズ１３１の焦点距離ｆｖだけ視域制御レンズ１３１から離間しているため、視域制御レンズ１３１によって屈折された光線は、視域制御レンズ１３２上で水平方向の１０カ所の異なる位置に集光する。
第２の視域制御レンズ１３２上に集光した光線は、視域制御レンズ１３２によってさらに屈折し、ｚ軸の正方向に所定の視域角φで広がりながら発散する。
この発散光は、透過型液晶パネル１２の画素で輝度が変調されているため、光線射出部１１の５画素（ｐｒ１，…，ｐｒ５）が射出する１０方向の光線は、視域角φ内において５０段階の輝度変化を有する。
第２の視域制御レンズ１３２上に集光した光線は、視域制御レンズ１３２によってさらに屈折し、ｚ軸の正方向に所定の視域角φで広がりながら発散する。
この発散光は、透過型液晶パネル１２の画素で輝度が変調されているため、光線射出部１１の５画素（ｐｒ１，…，ｐｒ５）が射出する１０方向の光線は、視域角φ内において５０段階の輝度変化を有する。
【0035】
すなわち、図５に示すように、光線射出部１１の画素ｐｒから射出された１方向の平行光は、画素ｐｒに対向する透過型液晶パネル１２の１０個の画素ｐｐによって輝度変調され、視域制御レンズ１３１によって輝度が異なる光線が視域制御レンズ１３２上に集光され、視域制御レンズ１３２によって発散される。
【0036】
これによって、観察者は、光線射出部１１の画素ｐｒから射出された１方向の平行光を１０方向の光線として認識することが可能になり、視域制御レンズ１３２上の集光位置を３次元映像表示装置１の画素ｐｔとして、画素ｐｔにおいて５０視点を認識することができる。
【0037】
参考までに、３次元映像表示装置１から透過型液晶パネル１２を省略した場合、図６に示すように、光線射出部１１の画素ｐｒから射出された１方向の平行光は、輝度変調が行われず、視域制御レンズ１３１によって視域制御レンズ１３２上に集光され、視域制御レンズ１３２によって発散される。なお、ここでは、画素ｐｒから射出された１方向の平行光の主光線のみを図示した。
これによって、観察者は、光線射出部１１の画素ｐｒから射出された１方向の平行光は、そのまま、１方向としか認識できず、画素ｐｔの発散光によって５視点しか認識できない。
これによって、観察者は、光線射出部１１の画素ｐｒから射出された１方向の平行光は、そのまま、１方向としか認識できず、画素ｐｔの発散光によって５視点しか認識できない。
【0038】
なお、ここでは、説明を簡単にするため、光線射出部１１の射出光線間のクロストークについては無視し、光線射出部１１は、平行光を離散的な角度間隔で射出するものとして説明した。このとき、光線は、図４に示すように、第２の視域制御レンズ１３２上の離散的な位置に集光するため、３次元映像表示装置１の表示映像の画素開口率は０％とみなすことができる。
【0039】
しかし、３次元映像表示装置１の射出光線は角度方向にクロストークを有するため、連続的な輝度分布を有する。このとき、光線は、第２の視域制御レンズ１３２上の連続的な位置から射出され、３次元映像表示装置１の表示映像の画素開口率は１００％となる。ただし、視域制御レンズ１３２から射出される光線の角密度は変わらないため、クロストークがあっても本発明の効果に影響はない。
このような輝度制御を行って視域角内における視点数（角密度）を増やす場合、再生する３次元映像Ｔが所望の３次元映像となるように、輝度制御を行う必要がある。この制御については図７により後記する。
図２に戻って、３次元映像表示装置１の構成について説明を続ける。
このような輝度制御を行って視域角内における視点数（角密度）を増やす場合、再生する３次元映像Ｔが所望の３次元映像となるように、輝度制御を行う必要がある。この制御については図７により後記する。
図２に戻って、３次元映像表示装置１の構成について説明を続ける。
【0040】
制御部２０は、入力された多視点映像データの方向別の画像における画素ごとの輝度と、第２の視域制御レンズ１３２を透過した後の方向別の画素ごとの輝度との誤差を最小化するように、光線射出部１１が射出する３次元映像データの輝度および透過型液晶パネル１２の透過率を制御するものである。
制御部２０は、３次元映像Ｔを表示するための多視点映像データを入力し、光線射出部１１に出力する輝度を変調した３次元映像データを生成するとともに、透過型液晶パネル１２に表示するパネル表示映像データを生成する。
多視点映像データは、３ＤＣＧ制作ソフトやボリュメトリックキャプチャ技術で生成した一般的な３Ｄモデルを仮想空間中に配置し、斜投影によりレンダリングすることで得た多視点映像を使用することができる。ここで、各多視点映像の画素数、画素密度、視点方向は３次元映像Ｔと同じとする。
制御部２０は、３次元映像Ｔを表示するための多視点映像データを入力し、光線射出部１１に出力する輝度を変調した３次元映像データを生成するとともに、透過型液晶パネル１２に表示するパネル表示映像データを生成する。
多視点映像データは、３ＤＣＧ制作ソフトやボリュメトリックキャプチャ技術で生成した一般的な３Ｄモデルを仮想空間中に配置し、斜投影によりレンダリングすることで得た多視点映像を使用することができる。ここで、各多視点映像の画素数、画素密度、視点方向は３次元映像Ｔと同じとする。
【0041】
ここで、図７を参照（適宜図２，図３参照）して、制御部２０の構成について説明する。
制御部２０は、仕様値記憶部２１と、輝度映像生成部２２と、輝度誤差最小化部２３と、輝度映像変換部２４と、透過率変換部２５と、を備える。
制御部２０は、仕様値記憶部２１と、輝度映像生成部２２と、輝度誤差最小化部２３と、輝度映像変換部２４と、透過率変換部２５と、を備える。
【0042】
仕様値記憶部２１は、３次元映像表示装置１を構成する各部の仕様値を記憶するものであって、半導体メモリ等の一般的な記憶媒体で構成することができる。
この仕様値記憶部２１には、光線射出部１１の表示デバイス１１０の水平方向および垂直方向の画素数、要素レンズアレイ１１１の水平方向および垂直方向の要素レンズ１１１ａの個数と焦点距離、視域制御レンズ１３の焦点距離等、３次元映像表示装置１を構成する各部の仕様値が予め記憶されている。
この仕様値記憶部２１には、光線射出部１１の表示デバイス１１０の水平方向および垂直方向の画素数、要素レンズアレイ１１１の水平方向および垂直方向の要素レンズ１１１ａの個数と焦点距離、視域制御レンズ１３の焦点距離等、３次元映像表示装置１を構成する各部の仕様値が予め記憶されている。
【0043】
また、仕様値記憶部２１には、表示デバイス１１０における画素値と輝度値との対応表、透過型液晶パネル１２における透過率と画素値との対応表等が記憶されている。
画素値と輝度値との対応表は、例えば、ＲＧＢの各８ビット２５６階調の値（画素値）と、光学的な輝度（輝度値）とを予め対応付けた表である。
透過率と画素値との対応表は、透過型液晶パネル１２の透過率（例えば、０～０．３）と、透過型液晶パネル１２の画素値（例えば、０～２５５（８ビット２５６階調））とを予め対応付けた表である。ここでは、例えば、透過率“０”と画素値“０”、透過率“０．３”と画素値“２５５”のように、画素値に比例して透過率が大きくなるものとする。
画素値と輝度値との対応表は、例えば、ＲＧＢの各８ビット２５６階調の値（画素値）と、光学的な輝度（輝度値）とを予め対応付けた表である。
透過率と画素値との対応表は、透過型液晶パネル１２の透過率（例えば、０～０．３）と、透過型液晶パネル１２の画素値（例えば、０～２５５（８ビット２５６階調））とを予め対応付けた表である。ここでは、例えば、透過率“０”と画素値“０”、透過率“０．３”と画素値“２５５”のように、画素値に比例して透過率が大きくなるものとする。
【0044】
輝度映像生成部２２は、３次元映像Ｔを表示するための多視点映像データから輝度映像を生成するものである。
輝度映像生成部２２は、多視点映像データを入力し、仕様値記憶部２１に記憶されている画素値と輝度値との対応表を参照して、画素値を輝度値に変換することで、輝度映像を生成する。
輝度映像生成部２２は、多視点映像データの画素ごとに、画素の輝度値を輝度誤差最小化部２３に出力する。なお、多視点映像データが輝度映像であれば、輝度映像生成部２２は、入力した多視点映像データをそのまま、画素の輝度値として輝度誤差最小化部２３に出力する。
ここでは、説明を簡単にするため、水平方向（ｘ方向）の視線方向θと画素位置（ｘ座標）に対応する多視点映像データの画素の輝度をＶ（ｘ，θ）として表現する。
輝度映像生成部２２は、多視点映像データを入力し、仕様値記憶部２１に記憶されている画素値と輝度値との対応表を参照して、画素値を輝度値に変換することで、輝度映像を生成する。
輝度映像生成部２２は、多視点映像データの画素ごとに、画素の輝度値を輝度誤差最小化部２３に出力する。なお、多視点映像データが輝度映像であれば、輝度映像生成部２２は、入力した多視点映像データをそのまま、画素の輝度値として輝度誤差最小化部２３に出力する。
ここでは、説明を簡単にするため、水平方向（ｘ方向）の視線方向θと画素位置（ｘ座標）に対応する多視点映像データの画素の輝度をＶ（ｘ，θ）として表現する。
【0045】
輝度誤差最小化部２３は、輝度映像生成部２２から入力される視線方向および画素位置ごとの輝度と、表示部１０（光線射出部１１、透過型液晶パネル１２および視域制御レンズ１３）を介して３次元映像Ｔとして表示される視線方向および画素位置ごとの輝度との誤差を最小化する３次元映像データおよびパネル表示映像データを生成するものである。
【0046】
ここで、図８を参照して、輝度誤差最小化部２３の処理について具体的に説明する。なお、図８は、図４と同じ画素構成としている。また、説明を簡単にするために一方向（ｚ方向）のみで説明する。
光線射出部１１の画素ｐｒ（図３の要素レンズアレイ１１１）のｘ方向の画素位置（ｘ）から、視域制御レンズ１３１，１３２のレンズ中心Ｌｃ１，Ｌｃ２を通るｚ軸とのなす角である角度θに射出される光線の輝度（射出光線輝度）をＩ（ｘ，θ）と表記する。
透過型液晶パネル１２のｘ方向の画素位置（ｘ）の透過率をＴ（ｘ）と表記する。
視域制御レンズ１３２上の集光位置である３次元映像表示装置１のｘ座標の画素ｐｔの位置における角度θの輝度（再生光線輝度）をＬ（ｘ，θ）と表記する。
なお、角度θは、光線の進行方向を示し、θの範囲は－９０°＜θ＜９０°であり、図中、ｚ方向がθ＝０°、ｘ軸の正の方向がθ＝９０°、ｘ軸の負の方向がθ＝－９０°である。
光線射出部１１の画素ｐｒ（図３の要素レンズアレイ１１１）のｘ方向の画素位置（ｘ）から、視域制御レンズ１３１，１３２のレンズ中心Ｌｃ１，Ｌｃ２を通るｚ軸とのなす角である角度θに射出される光線の輝度（射出光線輝度）をＩ（ｘ，θ）と表記する。
透過型液晶パネル１２のｘ方向の画素位置（ｘ）の透過率をＴ（ｘ）と表記する。
視域制御レンズ１３２上の集光位置である３次元映像表示装置１のｘ座標の画素ｐｔの位置における角度θの輝度（再生光線輝度）をＬ（ｘ，θ）と表記する。
なお、角度θは、光線の進行方向を示し、θの範囲は－９０°＜θ＜９０°であり、図中、ｚ方向がθ＝０°、ｘ軸の正の方向がθ＝９０°、ｘ軸の負の方向がθ＝－９０°である。
【0047】
この場合、光線射出部１１の画素ｐｒの画素位置ｘからθ方向に射出された光線（輝度はＩ（ｘ，θ））は、透過型液晶パネル１２の画素位置ｘにおける透過率Ｔ（ｘ）によって輝度変調され、視域制御レンズ１３２上から射出される。
そして、すべての角度θにおいて、視域制御レンズ１３２上から射出されるＬ（ｘ，θ）と、多視点映像データの水平方向（ｘ方向）の視線方向θと画素位置（ｘ座標）とに対応する画素の輝度Ｖ（ｘ，θ）との誤差を最小化することで、３次元映像Ｔは、再生したい所望の３次元映像となる。
すなわち、Ｌ（ｘ，θ）と、Ｉ（ｘ，θ）およびＴ（ｘ）とは、以下の式（１）に示す関係となる。
そして、すべての角度θにおいて、視域制御レンズ１３２上から射出されるＬ（ｘ，θ）と、多視点映像データの水平方向（ｘ方向）の視線方向θと画素位置（ｘ座標）とに対応する画素の輝度Ｖ（ｘ，θ）との誤差を最小化することで、３次元映像Ｔは、再生したい所望の３次元映像となる。
すなわち、Ｌ（ｘ，θ）と、Ｉ（ｘ，θ）およびＴ（ｘ）とは、以下の式（１）に示す関係となる。
【0048】
【数1】
【0049】
そこで、輝度誤差最小化部２３は、以下の式（２）を最小二乗法の目的関数として、Ｉ（ｘ′，θ′）およびＴ（ｘ′）を算出する。なお、式（２）は、一般的な最小二乗問題の最適化アルゴリズムを用いて計算することができる。
【0050】
【数2】
【0051】
図７に戻って、制御部２０の構成について説明を続ける。
輝度誤差最小化部２３は、算出した視線方向ごとの画素位置の輝度Ｉ（ｘ′，θ′）を輝度映像変換部２４に出力する。
また、輝度誤差最小化部２３は、算出した画素位置ごとの透過率Ｔ（ｘ′）を透過率変換部２５に出力する。
輝度誤差最小化部２３は、算出した視線方向ごとの画素位置の輝度Ｉ（ｘ′，θ′）を輝度映像変換部２４に出力する。
また、輝度誤差最小化部２３は、算出した画素位置ごとの透過率Ｔ（ｘ′）を透過率変換部２５に出力する。
【0052】
輝度映像変換部２４は、輝度誤差最小化部２３で算出された視線方向ごとの画素位置の輝度Ｉ（ｘ′，θ′）を３次元映像データに変換するものである。
輝度映像変換部２４は、仕様値記憶部２１に記憶されている画素値と輝度値との対応表と、光線射出部１１の表示デバイス１１０の画素ｐｅと要素レンズアレイ１１１との位置関係とを参照して、視線方向ごとの画素位置の輝度を画素値に変換することで、３次元映像データ、すなわち、要素画像群を生成する。
輝度映像変換部２４は、生成した要素画像群を３次元映像データとして光線射出部１１に表示する。
輝度映像変換部２４は、仕様値記憶部２１に記憶されている画素値と輝度値との対応表と、光線射出部１１の表示デバイス１１０の画素ｐｅと要素レンズアレイ１１１との位置関係とを参照して、視線方向ごとの画素位置の輝度を画素値に変換することで、３次元映像データ、すなわち、要素画像群を生成する。
輝度映像変換部２４は、生成した要素画像群を３次元映像データとして光線射出部１１に表示する。
【0053】
透過率変換部２５は、輝度誤差最小化部２３で算出された画素位置ごとの透過率をパネル表示映像データに変換するものである。
透過率変換部２５は、仕様値記憶部２１に記憶されている画素値と透過率との対応表を参照して、画素位置ごとの透過率を画素位置ごとの画素値に変換することで、パネル表示映像データを生成する。
透過率変換部２５は、生成したパネル表示映像データを透過型液晶パネル１２に表示する。
透過率変換部２５は、仕様値記憶部２１に記憶されている画素値と透過率との対応表を参照して、画素位置ごとの透過率を画素位置ごとの画素値に変換することで、パネル表示映像データを生成する。
透過率変換部２５は、生成したパネル表示映像データを透過型液晶パネル１２に表示する。
【0054】
以上説明した構成によって、３次元映像表示装置１は、３次元映像データ（要素画像群）を、透過型液晶パネル１２の画素分だけ輝度を変調した光線を異なる方向に射出することができる。このように、３次元映像表示装置１は、３次元映像Ｔの角密度を高めることができるため、広い奥行き範囲で解像度が高い３次元映像Ｔを表示することができる。
【0055】
（３次元映像の表示特性）
次に、図４を参照して、３次元映像表示装置１が表示する３次元映像Ｔの表示特性について説明する。
ここで、光線射出部１１、光線射出部１１の表示デバイス１１０、透過型液晶パネル１２および３次元映像表示装置１の最大画素数をそれぞれＮＩ，ＮＥ，ＮＴ，ＮＬとする。また、光線射出部１１の光線の射出方向数と３次元映像表示装置１の視点数をそれぞれＭＩ，ＭＬとする。
次に、図４を参照して、３次元映像表示装置１が表示する３次元映像Ｔの表示特性について説明する。
ここで、光線射出部１１、光線射出部１１の表示デバイス１１０、透過型液晶パネル１２および３次元映像表示装置１の最大画素数をそれぞれＮＩ，ＮＥ，ＮＴ，ＮＬとする。また、光線射出部１１の光線の射出方向数と３次元映像表示装置１の視点数をそれぞれＭＩ，ＭＬとする。
【0056】
３次元映像表示装置１は、視域制御レンズ１３１上の各集光点が３次元映像Ｔの画素ｐｔになる。従って、３次元映像表示装置１の最大画素数ＮＬ＝ＭＩとなる。また、３次元映像表示装置１の画素ｐｔからは、透過型液晶パネル１２の画素分だけ輝度が変調された光線が異なる方向に射出される。この光線の進行方向を視点方向とみなすと、３次元映像表示装置１の視点数ＭＬ＝ＮＴとなる。
また、３次元映像表示装置１が表示する３次元映像Ｔの視域角φは、以下の式（３）で表される。
また、３次元映像表示装置１が表示する３次元映像Ｔの視域角φは、以下の式（３）で表される。
【0057】
【数3】
【0058】
ここで、Ｄは光線射出部１１の表示サイズ、ｆｖは視域制御レンズ１３（１３１，１３２）の焦点距離である。
この式（３）から分かるように、３次元映像表示装置１は、３次元映像Ｔの視域角φを視域制御レンズ１３の焦点距離ｆｖにより調整することができる。
また、３次元映像表示装置１が表示する光線の角密度ωは、以下の式（４）で表される。
この式（３）から分かるように、３次元映像表示装置１は、３次元映像Ｔの視域角φを視域制御レンズ１３の焦点距離ｆｖにより調整することができる。
また、３次元映像表示装置１が表示する光線の角密度ωは、以下の式（４）で表される。
【0059】
【数4】
【0060】
この式（４）から分かるように、３次元映像表示装置１は、透過型液晶パネル１２の画素数ＮＴを増加させることで、光線の角密度ωを容易に向上させることができる。このように、角密度を高くすることで、ライトフィールド方式の３次元映像表示装置１は、表示画面の所定の視距離から観察者が観察したときに、広い奥行き範囲で高解像度の３次元映像Ｔを表示することができる。
【0061】
なお、前記式（２）において、最適化を行った場合でも、厳密にはＬ（ｘ，θ）はＶ（ｘ，θ）に対して誤差を有する。しかし、この誤差は、光線射出部１１の表示映像の画素数（ＮＩ）を多くするほど小さくすることができる。ただし、ＭＩ＝ＮＬ＝ＮＥ／ＮＩの関係があるため、ＮＩを多くすると、光線射出部１１の射出方向数（ＭＩ）が低下し、３次元映像表示装置１の最大画素数（ＮＬ）が低下してしまう。そこで、このトレードオフを考慮して、３次元映像表示装置１を設計すればよい。
【0062】
総合的に良好な特性の３次元映像Ｔを表示するためには、光線射出部１１の画素数（ＮＩ）に対する透過型液晶パネル１２の画素数（ＮＴ）の比、すなわち、ＮＴ／ＮＩを１０～２０程度とすることが好ましい。さらに、後記する３次元映像表示装置１Ｃ（図１２）のように、視域制御レンズ１３Ｃを透過型液晶パネル１２に対してタイリングする構成とし、１つの視域制御レンズ１３に対向する透過型液晶パネル１２の画素数を数百画素程度とすることが好ましい。
【0063】
以上、本発明の第１実施形態に係る３次元映像表示装置１について説明した。本発明の第１実施形態に係る３次元映像表示装置１は、ライトフィールド方式の１つであるインテグラル方式の光線射出部１１，１１１を用いた。しかし、３次元映像表示装置１には、多視点映像投射方式の光線射出部を用いてもよい。
【0064】
（光線射出部の変形例）
ここで、図９を参照して、多視点映像投射方式の光線射出部１１，１１２の構成例について説明する。
ここで、図９を参照して、多視点映像投射方式の光線射出部１１，１１２の構成例について説明する。
【0065】
図９に示すように、光線射出部１１２は、プロジェクタ１１２と、コリメータレンズ１１３と、結像レンズアレイ１１４と、２つのコンデンサレンズ１１５（１１５１，１１５２）と、拡散スクリーン１１６と、を備える。
【0066】
プロジェクタ１１２は、制御部２０によって３次元映像データの輝度が画素ごとに制御された映像データを映像光として照射するものである。
ここでは、３次元映像データは、多視点映像投射方式の多視点映像である。
プロジェクタ１１２は、多視点映像投射方式の映像光をコリメータレンズ１１３に照射する。なお、ここでは、分かり易く図示するため、プロジェクトの水平方向（ｘ方向）の画素数を５０画素とする。
ここでは、３次元映像データは、多視点映像投射方式の多視点映像である。
プロジェクタ１１２は、多視点映像投射方式の映像光をコリメータレンズ１１３に照射する。なお、ここでは、分かり易く図示するため、プロジェクトの水平方向（ｘ方向）の画素数を５０画素とする。
【0067】
コリメータレンズ１１３は、プロジェクタ１１２から照射された映像光を平行光に変換するもので、一般的な凸レンズ等で構成される。
コリメータレンズ１１３は、プロジェクタ１１２の光源からコリメータレンズ１１３の焦点距離ｆｂだけ離間して配置される。
コリメータレンズ１１３は、平行光を結像レンズアレイ１１４に照射する。
コリメータレンズ１１３は、プロジェクタ１１２の光源からコリメータレンズ１１３の焦点距離ｆｂだけ離間して配置される。
コリメータレンズ１１３は、平行光を結像レンズアレイ１１４に照射する。
【0068】
結像レンズアレイ１１４は、コリメータレンズ１１３から照射される多視点映像の各視点映像Ｖｉに相当する映像光に対向して、結像レンズ（凸レンズ）１１４ａを２次元アレイ状に配列した光学素子である。結像レンズアレイ１１４は、方向別の画像（多視点映像を構成する各視点映像）の光線に対向して結像レンズを２次元配列し、コリメータレンズ１１３から照射される多視点映像の各視点映像Ｖｉに相当する映像光を第１のコンデンサレンズ１１５１面上に集光させるとともに、第２のコンデンサレンズ１１５２面上に結像させる。
ここでは、結像レンズアレイ１１４は、コリメータレンズ１１３から照射される多視点映像の各視点映像Ｖｉに対向して、水平方向（ｘ方向）の１０個のみを図示している。
なお、図９では光線の進行経路を分かり易くするために各視点映像Ｖｉ同士および各結像レンズ１１４ａ同士を離間させているが、離間させずに接続させてもよい。
ここでは、結像レンズアレイ１１４は、コリメータレンズ１１３から照射される多視点映像の各視点映像Ｖｉに対向して、水平方向（ｘ方向）の１０個のみを図示している。
なお、図９では光線の進行経路を分かり易くするために各視点映像Ｖｉ同士および各結像レンズ１１４ａ同士を離間させているが、離間させずに接続させてもよい。
【0069】
コンデンサレンズ１１５は、結像レンズアレイ１１４で結像される光線の視域を制御するものである。コンデンサレンズ１１５は、第１のコンデンサレンズ１１５１および第２のコンデンサレンズ１１５２を備える。コンデンサレンズ１１５１およびコンデンサレンズ１１５２は、一般的な凸レンズ、フレネルレンズ、回折レンズ等で構成することができる。ここでは、コンデンサレンズ１１５１を凸レンズ、コンデンサレンズ１１５２を平凸レンズで構成している。
【0070】
コンデンサレンズ１１５１は、結像レンズアレイ１１４のそれぞれの結像レンズ１１４ａで結像される光線を、コンデンサレンズ１１５２の同じ所定範囲に照射させるものである。すなわち、コンデンサレンズ１１５１は、結像レンズ１１４ａで結像される視点映像Ｖｉを、コンデンサレンズ１１５２の同じ所定範囲に重畳照射する。なお、コンデンサレンズ１１５１は、結像レンズアレイ１１４から結像レンズ１１４ａの焦点距離ｆｃだけ離間して配置される。
【0071】
コンデンサレンズ１１５２は、コンデンサレンズ１１５１から重畳照射された方向別の画像（視点映像Ｖｉ）の光線を方向別の平行光に変換するものである。すなわち、コンデンサレンズ１１５２は、重畳された視点映像Ｖｉを、視点ごとの離散的な角度間隔の光線として射出する。
なお、コンデンサレンズ１１５２は、コンデンサレンズ１１５１からコンデンサレンズ１１５１の焦点距離ｆｄだけ離間して配置される。また、コンデンサレンズ１１５２の焦点距離はコンデンサレンズ１１５１の焦点距離と同じ（ｆｄ）とする。
コンデンサレンズ１１５２から射出される視点ごとの離散的な角度間隔の光線は、拡散スクリーン１１６に照射される。
なお、コンデンサレンズ１１５２は、コンデンサレンズ１１５１からコンデンサレンズ１１５１の焦点距離ｆｄだけ離間して配置される。また、コンデンサレンズ１１５２の焦点距離はコンデンサレンズ１１５１の焦点距離と同じ（ｆｄ）とする。
コンデンサレンズ１１５２から射出される視点ごとの離散的な角度間隔の光線は、拡散スクリーン１１６に照射される。
【0072】
拡散スクリーン１１６は、コンデンサレンズ１１５２から入射された光線を拡散するものである。拡散スクリーン１１６は、水平方向および垂直方向に離散的な角度間隔で入射する光線を拡散することで光線間を補間する。
【0073】
以上説明した光線射出部１１２において、プロジェクタ１１２は、制御部２０によって画素ごとの輝度が変調された多視点映像投射方式の映像（多視点映像）光をコリメータレンズ１１３に照射する。
コリメータレンズ１１３に照射された映像光は、平行光となって結像レンズアレイ１１４に照射される。
結像レンズアレイ１１４は、照射された映像光を結像レンズ１１４ａごとにコンデンサレンズ１１５１に集光させる。ここでは、映像光は、１０個の結像レンズ１１４ａによって、コンデンサレンズ１１５１上の１０個の位置に集光される。
コリメータレンズ１１３に照射された映像光は、平行光となって結像レンズアレイ１１４に照射される。
結像レンズアレイ１１４は、照射された映像光を結像レンズ１１４ａごとにコンデンサレンズ１１５１に集光させる。ここでは、映像光は、１０個の結像レンズ１１４ａによって、コンデンサレンズ１１５１上の１０個の位置に集光される。
【0074】
コンデンサレンズ１１５１は、集光した各位置の映像光を屈折させて、コンデンサレンズ１１５２上に重畳照射する。
コンデンサレンズ１１５２は、重畳照射された１０枚分の映像光を屈折させ、平行光として１０方向に射出する。
拡散スクリーン１１６は、離散的な角度間隔で入射された１０方向の平行光を、僅かに拡して、光線の角度方向の輝度分布を連続的な光線に変換する。
コンデンサレンズ１１５２は、重畳照射された１０枚分の映像光を屈折させ、平行光として１０方向に射出する。
拡散スクリーン１１６は、離散的な角度間隔で入射された１０方向の平行光を、僅かに拡して、光線の角度方向の輝度分布を連続的な光線に変換する。
【0075】
この光線射出部１１２では、１個の結像レンズ１１４ａに入射するプロジェクタ１１２からの投射映像の画素数が、光線射出部１１２の表示映像の画素数となる。また、光線射出部１１２では、結像レンズ１１４ａの個数が光線射出部１１２の射出方向数になる。
従って、図９の例では、光線射出部１１２は、水平方向（ｘ方向）に５画素、画素開口率１００％の映像を画素ごとに１０方向に射出することになる。なお、図９では、拡散スクリーン１１６から射出される光線群の中で最も下方向（ｘ軸の負方向）に進行する光線を破線、それ以外の方向に進行する光線を点線で示している。
従って、図９の例では、光線射出部１１２は、水平方向（ｘ方向）に５画素、画素開口率１００％の映像を画素ごとに１０方向に射出することになる。なお、図９では、拡散スクリーン１１６から射出される光線群の中で最も下方向（ｘ軸の負方向）に進行する光線を破線、それ以外の方向に進行する光線を点線で示している。
【0076】
【0077】
３次元映像表示装置１Ｂは、３次元映像表示装置１と同様、３次元映像を表示するものである。この３次元映像表示装置１Ｂは、水平方向および垂直方向に視差を有する３次元映像Ｔを表示する。
【0078】
図１に示すように、３次元映像表示装置１Ｂは、表示部１０Ｂと、制御部２０Ｂとを備える。表示部１０Ｂは、図１０に示すように、光線射出部１１Ｂと、２つの視域制御レンズ１３（１３１，１３２）と、を備える。視域制御レンズ１３は、３次元映像表示装置１と同じ構成であるため説明を省略する。
光線射出部１１Ｂは、時分割で輝度が異なる映像を多方向に射出するものである。光線射出部１１Ｂは、表示デバイス１１０と、液晶レンズアレイ１１７と、を備える。
光線射出部１１Ｂは、時分割で輝度が異なる映像を多方向に射出するものである。光線射出部１１Ｂは、表示デバイス１１０と、液晶レンズアレイ１１７と、を備える。
【0079】
表示デバイス１１０は、方向別の複数の画像を２次元配列した３次元映像データの輝度が画素ごとに制御された光線を方向別の光線として射出するものである。
表示デバイス１１０は、後記する制御部２０Ｂによって３次元映像データの輝度が画素ごとに制御された映像データと、輝度映像である２次元映像データとを切り替えてを表示する。３次元映像データは、インテグラル方式の要素画像群である。
なお、表示デバイス１１０は、図３で説明した表示デバイス１１０と同じものである。
ここでは、表示デバイス１１０が表示する画素は、分かり易く図示するため、水平方向（ｘ方向）の５０画素のみを図示している。
表示デバイス１１０は、後記する制御部２０Ｂによって３次元映像データの輝度が画素ごとに制御された映像データと、輝度映像である２次元映像データとを切り替えてを表示する。３次元映像データは、インテグラル方式の要素画像群である。
なお、表示デバイス１１０は、図３で説明した表示デバイス１１０と同じものである。
ここでは、表示デバイス１１０が表示する画素は、分かり易く図示するため、水平方向（ｘ方向）の５０画素のみを図示している。
【0080】
液晶レンズアレイ１１７は、レンズ状態と透過状態とを切り替える液晶レンズ１１７ａを２次元アレイ状に配列したものである。液晶レンズアレイ１１７は、表示デバイス１１０の表示面から、液晶レンズ１１７ａの焦点距離ｆａだけ離間して配置される。
液晶レンズ１１７ａは、レンズ状態では凸レンズとして機能する。また、液晶レンズ１１７ａは、透過状態ではガラス板として機能する。
液晶レンズ１１７ａは、レンズ状態では凸レンズとして機能する。また、液晶レンズ１１７ａは、透過状態ではガラス板として機能する。
【0081】
液晶レンズアレイ１１７の液晶レンズ１１７ａは、後記する制御部２０Ｂによってレンズ状態および透過状態が切り替えられる。
なお、このように、レンズ状態および透過状態を切り替える液晶レンズは、公知のものを用いることができる。例えば、以下の参考文献１，２に記載の液晶レンズを用いることができる。
なお、このように、レンズ状態および透過状態を切り替える液晶レンズは、公知のものを用いることができる。例えば、以下の参考文献１，２に記載の液晶レンズを用いることができる。
【0082】
（参考文献１）J. Kim, J. Kim, J. H. Na, B. Lee, and S. D. Lee, "Liquid crystal-based square lens array with tunable focal length," Opt. Express, vol. 22, no. 3, pp. 3316-3324 (2014).
（参考文献２）F. Chu, Y. Q. Guo, Y. X. Zhang, W. Duan, H. L. Zhang, L. L. Tian, L. Li, and Q. H. Wang, "Four-mode 2D/3D switchable display with a 1D/2D convertible liquid crystal lens array," Opt. Express, vol. 29, no. 23, pp. 37464-37475 (2021).
（参考文献２）F. Chu, Y. Q. Guo, Y. X. Zhang, W. Duan, H. L. Zhang, L. L. Tian, L. Li, and Q. H. Wang, "Four-mode 2D/3D switchable display with a 1D/2D convertible liquid crystal lens array," Opt. Express, vol. 29, no. 23, pp. 37464-37475 (2021).
【0083】
液晶レンズアレイ１１７は、レンズ状態において、表示デバイス１１０が表示する要素画像群を３次元映像Ｔとして表示するインテグラル方式の要素レンズアレイとして機能する。
液晶レンズアレイ１１７は、透過状態において、表示デバイス１１０が表示する２次元映像をそのまま表示することになる。
液晶レンズアレイ１１７は、透過状態において、表示デバイス１１０が表示する２次元映像をそのまま表示することになる。
【0084】
制御部２０Ｂは、液晶レンズアレイ１１７のレンズ状態および透過状態をフレームごとに切り替え、レンズ状態のときには３次元映像データ、透過状態のときには２次元映像データを同期して表示デバイス１１０に表示するものである。これによって、レンズ状態で液晶レンズアレイ１１７を通過する方向別の画素ごとの輝度と、透過状態で液晶レンズアレイ１１７を通過する画素ごとの輝度とが時分割多重により加算される。
また、制御部２０Ｂは、入力された多視点映像データの方向別の画素ごとの輝度と、第２の視域制御レンズ１３２を通過した後の方向別の画素ごとの輝度との誤差を最小化するように、光線射出部１１Ｂが射出するレンズ状態での３次元映像データの輝度と、透過状態での２次元映像データの輝度とを制御する。
この制御部２０Ｂは、３次元映像Ｔを表示するための多視点映像データを入力し、光線射出部１１Ｂの表示デバイス１１０に出力する輝度を変調したフレームごとの３次元映像データおよび２次元映像データを生成するとともに、フレームに同期して、液晶レンズアレイ１１７のレンズ状態および透過状態の切り替えを制御する。
また、制御部２０Ｂは、入力された多視点映像データの方向別の画素ごとの輝度と、第２の視域制御レンズ１３２を通過した後の方向別の画素ごとの輝度との誤差を最小化するように、光線射出部１１Ｂが射出するレンズ状態での３次元映像データの輝度と、透過状態での２次元映像データの輝度とを制御する。
この制御部２０Ｂは、３次元映像Ｔを表示するための多視点映像データを入力し、光線射出部１１Ｂの表示デバイス１１０に出力する輝度を変調したフレームごとの３次元映像データおよび２次元映像データを生成するとともに、フレームに同期して、液晶レンズアレイ１１７のレンズ状態および透過状態の切り替えを制御する。
【0085】
ここで、図１１を参照して、制御部２０Ｂの構成について説明する。
制御部２０Ｂは、仕様値記憶部２１Ｂと、輝度映像生成部２２と、輝度誤差最小化部２３Ｂと、輝度映像変換部２４Ｂと、透過切替部２６と、を備える。
輝度映像生成部２２は、図７で説明した制御部２０の構成と同じであるため、説明を省略する。
制御部２０Ｂは、仕様値記憶部２１Ｂと、輝度映像生成部２２と、輝度誤差最小化部２３Ｂと、輝度映像変換部２４Ｂと、透過切替部２６と、を備える。
輝度映像生成部２２は、図７で説明した制御部２０の構成と同じであるため、説明を省略する。
【0086】
仕様値記憶部２１Ｂは、３次元映像表示装置１Ｂを構成する各部の仕様値を記憶するものであって、半導体メモリ等の一般的な記憶媒体で構成することができる。
この仕様値記憶部２１Ｂには、光線射出部１１Ｂの表示デバイス１１０の水平方向および垂直方向の画素数、液晶レンズアレイ１１７の水平方向および垂直方向の液晶レンズ１１７ａの個数と焦点距離、視域制御レンズ１３の焦点距離等、３次元映像表示装置１Ｂを構成する各部の仕様値が予め記憶されている。
また、仕様値記憶部２１Ｂには、表示デバイス１１０における画素値と輝度値との対応表が記憶されている。この対応表は、図７で説明した制御部２０の仕様値記憶部２１の記憶内容と同じであるため、説明を省略する。
この仕様値記憶部２１Ｂには、光線射出部１１Ｂの表示デバイス１１０の水平方向および垂直方向の画素数、液晶レンズアレイ１１７の水平方向および垂直方向の液晶レンズ１１７ａの個数と焦点距離、視域制御レンズ１３の焦点距離等、３次元映像表示装置１Ｂを構成する各部の仕様値が予め記憶されている。
また、仕様値記憶部２１Ｂには、表示デバイス１１０における画素値と輝度値との対応表が記憶されている。この対応表は、図７で説明した制御部２０の仕様値記憶部２１の記憶内容と同じであるため、説明を省略する。
【0087】
輝度誤差最小化部２３Ｂは、輝度映像生成部２２から入力される視線方向および画素位置ごとの輝度と、表示部１０Ｂ（光線射出部１１Ｂおよび視域制御レンズ１３）を介して３次元映像Ｔとして表示される視線方向および画素位置ごとの輝度との誤差を最小化するフレームごとの３次元映像データおよび２次元映像データを生成するものである。
なお、輝度誤差最小化部２３Ｂは、生成した３次元映像データおよび２次元映像データをフレームごとに切り替えて輝度映像変換部２４Ｂに出力する。すなわち、輝度誤差最小化部２３Ｂは、奇数フレームの表示タイミングでは３次元映像データを輝度映像変換部２４Ｂに出力し、偶数フレームの表示タイミングでは２次元映像データを輝度映像変換部２４Ｂに出力する処理をフレームごとに切り替えて行う。
また、輝度誤差最小化部２３Ｂは、この切り替えのタイミングを透過切替部２６に指示（切替指示）する。
このフレームの切り替えは、フリッカが知覚されない速度（例えば、１／１２０秒ごと）で行う。
なお、輝度誤差最小化部２３Ｂは、生成した３次元映像データおよび２次元映像データをフレームごとに切り替えて輝度映像変換部２４Ｂに出力する。すなわち、輝度誤差最小化部２３Ｂは、奇数フレームの表示タイミングでは３次元映像データを輝度映像変換部２４Ｂに出力し、偶数フレームの表示タイミングでは２次元映像データを輝度映像変換部２４Ｂに出力する処理をフレームごとに切り替えて行う。
また、輝度誤差最小化部２３Ｂは、この切り替えのタイミングを透過切替部２６に指示（切替指示）する。
このフレームの切り替えは、フリッカが知覚されない速度（例えば、１／１２０秒ごと）で行う。
【0088】
ここで、図１０を参照して、輝度誤差最小化部２３Ｂの処理について具体的に説明する。
奇数フレームで光線射出部１１Ｂの液晶レンズアレイ１１７上の画素位置ｘから射出された、視域制御レンズ１３１，１３２のレンズ中心Ｌｃ１，Ｌｃ２を通るｚ軸とのなす角である角度θの方向に進行する光線の輝度（射出光線輝度）をＩ′（ｘ，θ）と表記する。
偶数フレームでは、光線射出部１１Ｂの表示デバイス１１０の各画素から角度方向に一様な輝度分布を持つ光線が射出されるものとし、画素位置ｘから射出される光線の輝度をＡ（ｘ）と表記する。
奇数フレームで光線射出部１１Ｂの液晶レンズアレイ１１７上の画素位置ｘから射出された、視域制御レンズ１３１，１３２のレンズ中心Ｌｃ１，Ｌｃ２を通るｚ軸とのなす角である角度θの方向に進行する光線の輝度（射出光線輝度）をＩ′（ｘ，θ）と表記する。
偶数フレームでは、光線射出部１１Ｂの表示デバイス１１０の各画素から角度方向に一様な輝度分布を持つ光線が射出されるものとし、画素位置ｘから射出される光線の輝度をＡ（ｘ）と表記する。
【0089】
ここで、連続するフレームの光線の輝度が時分割多重により加算されたとき、視域制御レンズ１３２上の画素位置ｘから射出される角度θの方向に進行する光線の輝度（再生光線輝度）をＬ′（ｘ，θ）と表記する。
この場合、光線射出部１１Ｂの液晶レンズアレイ１１７上の画素位置ｘ′からθ′方向に射出された奇数フレームの光線（輝度はＩ′（ｘ′，θ′））と、表示デバイス１１０上の画素位置ｘ″から射出された偶数フレームの光線（輝度はＡ（ｘ″））とが加算されて、視域制御レンズ１３２上の画素位置ｘから角度θの方向に射出される。ｘ，θ，ｘ′，ｘ″，θ′の関係は後述する。
この場合、光線射出部１１Ｂの液晶レンズアレイ１１７上の画素位置ｘ′からθ′方向に射出された奇数フレームの光線（輝度はＩ′（ｘ′，θ′））と、表示デバイス１１０上の画素位置ｘ″から射出された偶数フレームの光線（輝度はＡ（ｘ″））とが加算されて、視域制御レンズ１３２上の画素位置ｘから角度θの方向に射出される。ｘ，θ，ｘ′，ｘ″，θ′の関係は後述する。
【0090】
そして、すべての画素位置ｘと角度θにおいて、視域制御レンズ１３２から射出されるＬ′（ｘ，θ）と、入力された多視点映像データの水平方向（ｘ方向）の視線方向θと画素位置（ｘ座標）に対応する画素の輝度Ｖ（ｘ，θ）との誤差を最小化することで、３次元映像Ｔは、再生したい所望の３次元映像となる。
すなわち、Ｌ′（ｘ，θ）と、Ｉ′（ｘ，θ）およびＡ（ｘ）とは、以下の式（５）に示す関係となる。
すなわち、Ｌ′（ｘ，θ）と、Ｉ′（ｘ，θ）およびＡ（ｘ）とは、以下の式（５）に示す関係となる。
【0091】
【数5】
【0092】
そこで、輝度誤差最小化部２３Ｂは、前記式（２）のＬ（ｘ，θ）をＬ′（ｘ，θ）に置き換えたうえで、前記式（２）を最小二乗法の目的関数として、Ｉ′（ｘ′，θ′）およびＡ（ｘ″）を算出する。
図１１に戻って、制御部２０Ｂの構成について説明を続ける。
図１１に戻って、制御部２０Ｂの構成について説明を続ける。
【0093】
輝度誤差最小化部２３Ｂは、算出した視線方向ごとの画素位置の輝度Ｉ′（ｘ′，θ′）を奇数フレームの表示タイミングで輝度映像変換部２４Ｂに出力する。
また、輝度誤差最小化部２３Ｂは、算出した画素位置ごとの輝度Ａ（ｘ″）を偶数フレームの表示タイミングで輝度映像変換部２４Ｂに出力する。
そして、輝度誤差最小化部２３Ｂは、奇数フレームの表示タイミングで透過切替部２６に液晶レンズアレイ１１７をレンズ状態とする旨を指示する。
また、輝度誤差最小化部２３Ｂは、偶数フレームの表示タイミングで透過切替部２６に液晶レンズアレイ１１７を透過状態とする旨を指示する。
また、輝度誤差最小化部２３Ｂは、算出した画素位置ごとの輝度Ａ（ｘ″）を偶数フレームの表示タイミングで輝度映像変換部２４Ｂに出力する。
そして、輝度誤差最小化部２３Ｂは、奇数フレームの表示タイミングで透過切替部２６に液晶レンズアレイ１１７をレンズ状態とする旨を指示する。
また、輝度誤差最小化部２３Ｂは、偶数フレームの表示タイミングで透過切替部２６に液晶レンズアレイ１１７を透過状態とする旨を指示する。
【0094】
輝度映像変換部２４Ｂは、輝度誤差最小化部２３Ｂで生成された輝度映像の各画素の輝を画素値に変換するものである。輝度映像変換部２４Ｂは、仕様値記憶部２１Ｂに記憶されている画素値と輝度値との対応表を参照して、画素値に変換する。また、輝度映像変換部２４Ｂは、仕様値記憶部２１Ｂに記憶されている表示デバイス１１０の画素と液晶レンズアレイ１１７との位置関係を参照して、輝度Ｉ′（ｘ′，θ′）を要素画像群（３次元映像データ）に変換する。
【0095】
輝度誤差最小化部２３Ｂから輝度Ｉ′（ｘ′，θ′）が入力された場合、輝度映像変換部２４Ｂは、画素位置の輝度を画素値に変換することで、３次元映像Ｔを表示するための要素画像群（３次元映像データ）を生成することになる。
輝度誤差最小化部２３Ｂから輝度Ａ（ｘ″）が入力された場合、輝度映像変換部２４Ｂは、画素位置の輝度を画素値に変換することで、２次元映像データを生成することになる。
輝度映像変換部２４Ｂは、変換後の映像データ（３次元映像データまたは２次元映像データ）を光線射出部１１の表示デバイス１１０に表示する。
透過切替部２６は、輝度映像変換部２４Ｂからの指示に基づいて、液晶レンズアレイ１１７のレンズ状態と透過状態とを切り替えるものである。
輝度誤差最小化部２３Ｂから輝度Ａ（ｘ″）が入力された場合、輝度映像変換部２４Ｂは、画素位置の輝度を画素値に変換することで、２次元映像データを生成することになる。
輝度映像変換部２４Ｂは、変換後の映像データ（３次元映像データまたは２次元映像データ）を光線射出部１１の表示デバイス１１０に表示する。
透過切替部２６は、輝度映像変換部２４Ｂからの指示に基づいて、液晶レンズアレイ１１７のレンズ状態と透過状態とを切り替えるものである。
【0096】
以上説明した構成によって、３次元映像表示装置１Ｂは、時分割多重により、３次元映像データ（要素画像群）の光線の輝度を変調することで、光線を異なる方向に射出することができる。このように、３次元映像表示装置１Ｂは、３次元映像Ｔの角密度を高めることができるため、広い奥行き範囲で解像度が高い３次元映像Ｔを表示することができる。
【0097】
また、３次元映像表示装置１では光線の輝度を透過型液晶パネル１２により減衰させるのに対し、３次元映像表示装置１Ｂは、時分割多重により光線の輝度を加算することで、角密度の高い３次元映像Ｔを表示している。そのため、３次元映像表示装置１Ｂは、透過型液晶パネル１２の画素の最大透過率が５０％未満のときは、図２の３次元映像表示装置１よりも明るい３次元映像を表示することができる。
【0098】
＜第３実施形態＞
次に、図１，図１２を参照して、本発明の第３実施形態に係る３次元映像表示装置１Ｃについて説明する。
３次元映像表示装置１Ｃは、３次元映像表示装置１と同様、３次元映像を表示するものである。この３次元映像表示装置１Ｃは、水平方向および垂直方向に視差を有する３次元映像Ｔを表示する。
次に、図１，図１２を参照して、本発明の第３実施形態に係る３次元映像表示装置１Ｃについて説明する。
３次元映像表示装置１Ｃは、３次元映像表示装置１と同様、３次元映像を表示するものである。この３次元映像表示装置１Ｃは、水平方向および垂直方向に視差を有する３次元映像Ｔを表示する。
【0099】
図１に示すように、３次元映像表示装置１Ｃは、表示部１０Ｃと、制御部２０とを備える。表示部１０Ｃは、図１２に示すように、光線射出部１１と、透過型液晶パネル１２と、視域制御レンズ１３Ｃ（第１の視域制御レンズ１３Ｃ１，第２の視域制御レンズ１３Ｃ２）と、を備える。
【0100】
表示部１０Ｃは、図２で説明した表示部１０と比べて、視域制御レンズ１３Ｃの構成のみが異なっている。
図２で説明した表示部１０では、２つの視域制御レンズ１３（１３１，１３２）のそれぞれを１枚のレンズで構成している。
表示部１０Ｃでは、２つの視域制御レンズ１３Ｃ（１３Ｃ１，１３Ｃ２）のそれぞれを水平方向および垂直方向に複数のレンズを配列して構成している。
ここでは、第１の視域制御レンズ１３Ｃ１を水平方向（ｘ方向）に２つ配置し、第２の視域制御レンズ１３Ｃ２を水平方向（ｘ方向）に２つ配置した例を示している。
図２で説明した表示部１０では、２つの視域制御レンズ１３（１３１，１３２）のそれぞれを１枚のレンズで構成している。
表示部１０Ｃでは、２つの視域制御レンズ１３Ｃ（１３Ｃ１，１３Ｃ２）のそれぞれを水平方向および垂直方向に複数のレンズを配列して構成している。
ここでは、第１の視域制御レンズ１３Ｃ１を水平方向（ｘ方向）に２つ配置し、第２の視域制御レンズ１３Ｃ２を水平方向（ｘ方向）に２つ配置した例を示している。
【0101】
このように、３次元映像表示装置１Ｃは、２つの視域制御レンズ１３Ｃ（１３Ｃ１，１３Ｃ２）のそれぞれを複数配列することで、視域制御レンズとして口径の小さいレンズを使用することができる。
そのため、３次元映像表示装置１Ｃは、視域制御レンズの収差による光線の進行方向の誤差が少なくなり、３次元映像Ｔの表示品質を高めることができる。
そのため、３次元映像表示装置１Ｃは、視域制御レンズの収差による光線の進行方向の誤差が少なくなり、３次元映像Ｔの表示品質を高めることができる。
【0102】
ここで、第１の視域制御レンズ１３Ｃ１および第２の視域制御レンズ１３Ｃ２の個数を、それぞれＮＰ、光線射出部１１の射出方向数をＭＩとすると、３次元映像Ｔの最大画素数ＮＬは、ＮＬ＝ＭＩＮＰとなる。このように、３次元映像表示装置１Ｃでは、表示特性に影響を与えるパラメータとして、視域制御レンズ１３Ｃの個数が新たに加わることになる。その結果、３次元映像表示装置１Ｃは、設計をより柔軟に行うことが可能になる。
また、光線射出部１１の視域制御レンズ１３Ｃの１つのレンズの大きさに対応する表示サイズをＤ′としたとき、３次元映像Ｔの視域角φ′は、以下の式（６）で表される。
また、光線射出部１１の視域制御レンズ１３Ｃの１つのレンズの大きさに対応する表示サイズをＤ′としたとき、３次元映像Ｔの視域角φ′は、以下の式（６）で表される。
【0103】
【数6】
【0104】
なお、３次元映像表示装置１Ｃにおいて、３次元映像Ｔの画素位置を表示画面全体で等間隔にするためには、３次元映像表示装置１Ｃの視域角φ′と、光線射出部１１の視域角Ψと、を同一にすることが好ましい。
また、ここでは、３次元映像表示装置１Ｃは、３次元映像表示装置１の第１の視域制御レンズ１３１および第２の視域制御レンズ１３２を、それぞれ１枚のレンズから複数のレンズに代えて構成した。
同様に、３次元映像表示装置１Ｂ（図１０参照）の第１の視域制御レンズ１３１および第２の視域制御レンズ１３２を、それぞれ１枚のレンズから複数のレンズに代えて構成しても構わない。
また、ここでは、３次元映像表示装置１Ｃは、３次元映像表示装置１の第１の視域制御レンズ１３１および第２の視域制御レンズ１３２を、それぞれ１枚のレンズから複数のレンズに代えて構成した。
同様に、３次元映像表示装置１Ｂ（図１０参照）の第１の視域制御レンズ１３１および第２の視域制御レンズ１３２を、それぞれ１枚のレンズから複数のレンズに代えて構成しても構わない。
【0105】
（設計例）
ここで、図１２に示した３次元映像表示装置１Ｃの設計例として、設計値の例を示す。ここでは、光線射出部１１をインテグラル方式の光線射出部１１１（図３）とし、水平方向（ｘ方向）のみの設計値を示す。
光線射出部１１を構成する表示デバイス１１０の画素数を４０００画素、画素ピッチを１００μｍ、要素レンズアレイ１１１の要素レンズ１１１ａの個数を４００個、レンズピッチを１ｍｍ、焦点距離ｆａを２．８３６ｍｍとする。
このとき，光線射出部１１の表示映像の画素数は４００画素、射出方向数は１０方向、視域角は２０度、光線の角密度は０．５本／度になる。
ここで、図１２に示した３次元映像表示装置１Ｃの設計例として、設計値の例を示す。ここでは、光線射出部１１をインテグラル方式の光線射出部１１１（図３）とし、水平方向（ｘ方向）のみの設計値を示す。
光線射出部１１を構成する表示デバイス１１０の画素数を４０００画素、画素ピッチを１００μｍ、要素レンズアレイ１１１の要素レンズ１１１ａの個数を４００個、レンズピッチを１ｍｍ、焦点距離ｆａを２．８３６ｍｍとする。
このとき，光線射出部１１の表示映像の画素数は４００画素、射出方向数は１０方向、視域角は２０度、光線の角密度は０．５本／度になる。
【0106】
次に，３次元映像表示装置１Ｃを構成する透過型液晶パネル１２の画素数を４０００画素、画素ピッチを１００μｍとする。また、視域制御レンズ１３Ｃのレンズ個数を４０組、レンズピッチを１０ｍｍ、焦点距離ｆｖを２８．３６ｍｍとする。
このとき、３次元映像表示装置１Ｃの表示映像の画素数は４００画素、視点数は１００方向、視域角は２０度、光線の角密度は０．０５本／度になる。光線射出部１１と３次元映像表示装置１Ｃとを比べたとき、表示映像の画素数と視域角は同一でありながら、３次元映像表示装置１Ｃは光線の角密度が１０倍高い光線を再生することができる。
このとき、３次元映像表示装置１Ｃの表示映像の画素数は４００画素、視点数は１００方向、視域角は２０度、光線の角密度は０．０５本／度になる。光線射出部１１と３次元映像表示装置１Ｃとを比べたとき、表示映像の画素数と視域角は同一でありながら、３次元映像表示装置１Ｃは光線の角密度が１０倍高い光線を再生することができる。
【0107】
以上、本発明の実施形態について説明したが、本発明は、これらの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、ここでは、説明を簡単にするため、水平方向（ｘ方向）についてのみ、角密度を高める例で説明した。
しかし、本発明は、垂直方向（ｙ方向）に対しても同様に角密度を増加させることができる。
例えば、ここでは、説明を簡単にするため、水平方向（ｘ方向）についてのみ、角密度を高める例で説明した。
しかし、本発明は、垂直方向（ｙ方向）に対しても同様に角密度を増加させることができる。
【0108】
具体的には、式（１）や式（５）における画素位置ｘおよび視線方向θを、それぞれ、画素位置（ｘ，ｙ）および視線方向（θｘ，θｙ）として、垂直方向の画素位置ｙと、垂直方向の視線方向θｙとを加味して、輝度制御を行えばよい。
例えば、式（１）の代わりに、以下の式（７）を用いればよい。
例えば、式（１）の代わりに、以下の式（７）を用いればよい。
【0109】
【数7】
【0110】
そして、輝度誤差最小化部２３（図７）は、以下の式（８）を最小二乗法の目的関数として、Ｉ（ｘ′，ｙ′，θｘ′，θｙ′）およびＴ（ｘ′，ｙ′）を算出すればよい。
式（５）についても同様である。
式（５）についても同様である。
【0111】
【数8】
【符号の説明】
【0112】
１，１Ｂ，１Ｃ ３次元映像表示装置
１０，１０Ｂ，１０Ｃ 表示部
１１，１１Ｂ 光線射出部
１１０ 表示デバイス
１１１ 要素レンズアレイ
１１２ プロジェクタ
１１３ コリメータレンズ
１１４ 結像レンズアレイ
１１５１ 第１のコンデンサレンズ
１１５２ 第２のコンデンサレンズ
１１６ 拡散スクリーン
１１７ 液晶レンズアレイ
１２ 透過型液晶パネル
１３１ 第１の視域制御レンズ
１３２ 第２の視域制御レンズ
２０，２０Ｂ 制御部
２１、２１Ｂ 仕様値記憶部
２２ 輝度映像生成部
２３，２３Ｂ 輝度誤差最小化部
２４，２４Ｂ 輝度映像変換部
２５ 透過率変換部
２６ 透過切替部
１０，１０Ｂ，１０Ｃ 表示部
１１，１１Ｂ 光線射出部
１１０ 表示デバイス
１１１ 要素レンズアレイ
１１２ プロジェクタ
１１３ コリメータレンズ
１１４ 結像レンズアレイ
１１５１ 第１のコンデンサレンズ
１１５２ 第２のコンデンサレンズ
１１６ 拡散スクリーン
１１７ 液晶レンズアレイ
１２ 透過型液晶パネル
１３１ 第１の視域制御レンズ
１３２ 第２の視域制御レンズ
２０，２０Ｂ 制御部
２１、２１Ｂ 仕様値記憶部
２２ 輝度映像生成部
２３，２３Ｂ 輝度誤差最小化部
２４，２４Ｂ 輝度映像変換部
２５ 透過率変換部
２６ 透過切替部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】