(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024153186
(43)【公開日】2024-10-29
(54)【発明の名称】立体画像表示装置及びそのプログラム
(51)【国際特許分類】
H04N 13/366 20180101AFI20241022BHJP
H04N 13/32 20180101ALI20241022BHJP
H04N 13/31 20180101ALI20241022BHJP
G02B 30/10 20200101ALI20241022BHJP
【ＦＩ】
H04N13/366
H04N13/32
H04N13/31
G02B30/10
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023066931
(22)【出願日】2023-04-17
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】岡市 直人
(72)【発明者】
【氏名】渡邉 隼人
(72)【発明者】
【氏名】加納 正規
(72)【発明者】
【氏名】佐々木 久幸
(72)【発明者】
【氏名】洗井 淳
【テーマコード（参考）】
2H199
【Ｆターム（参考）】
2H199BA19
2H199BA28
2H199BA42
2H199BA48
2H199BA49
2H199BB03
2H199BB08
2H199BB52
2H199BB59
2H199BB63
(57)【要約】
【課題】高画質な立体映像を表示できる立体画像表示装置を提供する。
【解決手段】立体画像表示装置６は、観察者の瞳位置を推定する瞳位置推定手段６１と、要素画像群を生成する要素画像群生成手段６２と、光源アレイ画像を生成する光源アレイ画像生成手段６３と、要素画像群を要素画像群表示用ディスプレイに表示させる要素画像群表示手段６４と、光源アレイ画像を光源アレイ画像表示用ディスプレイに表示させる光源アレイ画像表示手段６５と、要素画像群及び光源アレイ画像のフィールドを時分割で切り替える時分割制御手段６６と、を備える。
【選択図】図１
【解決手段】立体画像表示装置６は、観察者の瞳位置を推定する瞳位置推定手段６１と、要素画像群を生成する要素画像群生成手段６２と、光源アレイ画像を生成する光源アレイ画像生成手段６３と、要素画像群を要素画像群表示用ディスプレイに表示させる要素画像群表示手段６４と、光源アレイ画像を光源アレイ画像表示用ディスプレイに表示させる光源アレイ画像表示手段６５と、要素画像群及び光源アレイ画像のフィールドを時分割で切り替える時分割制御手段６６と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
要素画像群表示用ディスプレイと前記要素画像群表示用ディスプレイの後方に配置された光源アレイ画像表示用ディスプレイとを備える立体ディスプレイを用いて、要素画像で構成された要素画像群を人物の瞳位置に追従して時分割表示するインテグラル方式の立体画像表示装置であって、
前記人物が撮影されたカメラ画像から前記人物の瞳位置を推定する瞳位置推定手段と、
時分割表示のフィールド毎に、前記人物の瞳位置に対応した要素画像群を生成する要素画像群生成手段と、
前記フィールド毎に、前記要素画像に対応した光源が配列された光源アレイ画像を生成する光源アレイ画像生成手段と、
前記要素画像群生成手段が生成した要素画像群を前記要素画像群表示用ディスプレイに表示させる要素画像群表示手段と、
前記光源アレイ画像生成手段が生成した光源アレイ画像を前記光源アレイ画像表示用ディスプレイに表示させる光源アレイ画像表示手段と、
前記要素画像群表示手段が表示する要素画像群のフィールドと前記光源アレイ画像表示手段が表示する光源アレイ画像のフィールドとを時分割で切り替える時分割制御手段と、
を備えることを特徴とする立体画像表示装置。
前記人物が撮影されたカメラ画像から前記人物の瞳位置を推定する瞳位置推定手段と、
時分割表示のフィールド毎に、前記人物の瞳位置に対応した要素画像群を生成する要素画像群生成手段と、
前記フィールド毎に、前記要素画像に対応した光源が配列された光源アレイ画像を生成する光源アレイ画像生成手段と、
前記要素画像群生成手段が生成した要素画像群を前記要素画像群表示用ディスプレイに表示させる要素画像群表示手段と、
前記光源アレイ画像生成手段が生成した光源アレイ画像を前記光源アレイ画像表示用ディスプレイに表示させる光源アレイ画像表示手段と、
前記要素画像群表示手段が表示する要素画像群のフィールドと前記光源アレイ画像表示手段が表示する光源アレイ画像のフィールドとを時分割で切り替える時分割制御手段と、
を備えることを特徴とする立体画像表示装置。
【請求項2】
前記光源アレイ画像生成手段は、前記光源アレイ画像として、点光源が２次元状に配列された点光源アレイを表す点光源アレイ画像を生成することを特徴とする請求項１に記載の立体画像表示装置。
【請求項3】
前記光源アレイ画像生成手段は、前記光源アレイ画像として、線光源が１次元状に配列された線光源アレイを表す線光源アレイ画像を生成し、前記線光源の方向が前記人物の両瞳位置を結んだ方向に直交するように前記線光源アレイ画像を回転させ、
前記要素画像群生成手段は、前記要素画像群を前記線光源アレイ画像にあわせて回転させることを特徴とする請求項１に記載の立体画像表示装置。
前記要素画像群生成手段は、前記要素画像群を前記線光源アレイ画像にあわせて回転させることを特徴とする請求項１に記載の立体画像表示装置。
【請求項4】
前記要素画像群表示手段は、前記要素画像群の代わりに、所望の２次元画像を前記要素画像群表示用ディスプレイに表示させ、
前記光源アレイ画像表示手段は、前記光源アレイ画像の代わりに、バックライトを表すバックライト画像を前記光源アレイ画像表示用ディスプレイに表示させる請求項１に記載の立体画像表示装置。
前記光源アレイ画像表示手段は、前記光源アレイ画像の代わりに、バックライトを表すバックライト画像を前記光源アレイ画像表示用ディスプレイに表示させる請求項１に記載の立体画像表示装置。
【請求項5】
要素画像群表示用ディスプレイと前記要素画像群表示用ディスプレイの前方に配置された光線方向制御画像表示用ディスプレイとを備える立体ディスプレイを用いて、要素画像で構成された要素画像群を人物の瞳位置に追従して時分割表示するインテグラル方式の立体画像表示装置であって、
前記人物が撮影されたカメラ画像から前記人物の瞳位置を推定する瞳位置推定手段と、
時分割表示のフィールド毎に、前記人物の瞳位置に対応した要素画像群を生成する要素画像群生成手段と、
前記フィールド毎に、前記要素画像に対応した光線方向制御画像を生成する光線方向制御画像生成手段と、
前記要素画像群生成手段が生成した要素画像群を前記要素画像群表示用ディスプレイに表示させる要素画像群表示手段と、
前記光線方向制御画像生成手段が生成した光線方向制御画像を前記光線方向制御画像表示用ディスプレイに表示させる光線方向制御画像表示手段と、
前記要素画像群表示手段が表示する要素画像群のフィールドと前記光線方向制御画像表示手段が表示する光線方向制御画像のフィールドとを時分割で切り替える時分割制御手段と、
を備えることを特徴とする立体画像表示装置。
前記人物が撮影されたカメラ画像から前記人物の瞳位置を推定する瞳位置推定手段と、
時分割表示のフィールド毎に、前記人物の瞳位置に対応した要素画像群を生成する要素画像群生成手段と、
前記フィールド毎に、前記要素画像に対応した光線方向制御画像を生成する光線方向制御画像生成手段と、
前記要素画像群生成手段が生成した要素画像群を前記要素画像群表示用ディスプレイに表示させる要素画像群表示手段と、
前記光線方向制御画像生成手段が生成した光線方向制御画像を前記光線方向制御画像表示用ディスプレイに表示させる光線方向制御画像表示手段と、
前記要素画像群表示手段が表示する要素画像群のフィールドと前記光線方向制御画像表示手段が表示する光線方向制御画像のフィールドとを時分割で切り替える時分割制御手段と、
を備えることを特徴とする立体画像表示装置。
【請求項6】
前記光線方向制御画像生成手段は、前記光線方向制御画像として、ピンホールが２次元状に配列されたピンホールアレイを表すピンホールアレイ画像を生成することを特徴とする請求項５に記載の立体画像表示装置。
【請求項7】
前記光線方向制御画像生成手段は、前記光線方向制御画像として、パララックスバリアが１次元状に配列されたパララックスバリア画像を生成し、前記パララックスバリアの方向が前記人物の両瞳位置を結んだ方向に直交するように前記パララックスバリア画像を回転させ、
前記要素画像群生成手段は、前記要素画像群を前記パララックスバリア画像にあわせて回転させることを特徴とする請求項５に記載の立体画像表示装置。
前記要素画像群生成手段は、前記要素画像群を前記パララックスバリア画像にあわせて回転させることを特徴とする請求項５に記載の立体画像表示装置。
【請求項8】
前記要素画像群表示手段は、前記要素画像群の代わりに、所望の２次元画像を前記要素画像群表示用ディスプレイに表示させ、
前記光線方向制御画像表示手段は、前記光線方向制御画像の代わりに、バックライトを表すバックライト画像を前記光線方向制御画像表示用ディスプレイに表示させる請求項５に記載の立体画像表示装置。
前記光線方向制御画像表示手段は、前記光線方向制御画像の代わりに、バックライトを表すバックライト画像を前記光線方向制御画像表示用ディスプレイに表示させる請求項５に記載の立体画像表示装置。
【請求項9】
コンピュータを、請求項１から請求項８の何れか一項に記載の立体画像表示装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、インテグラル方式の立体画像表示装置及びそのプログラムに関する。
【背景技術】
【0002】
インテグラル方式は、特殊な眼鏡が不要で全方向視差（フルパララックス）の表示が可能な光線再生型の立体表示方式である。図１４（ａ）に示すように、インテグラル３Ｄ撮像装置９Ａは、液晶ディスプレイ、有機ＥＬディスプレイなどのフラットパネルディスプレイ９０と、その前方に配置されたレンズアレイ９１とを備える。インテグラル３Ｄ撮像装置９Ａは、撮像素子の画素数と同じ本数の光線を使って被写体αを撮影する。この場合、各要素画像ｅは、被写体αの倒立像が撮影されたものとなる。
【0003】
図１４（ｂ）に示すように、インテグラル３Ｄ表示装置９Ｂは、レンズアレイ９１は、要素レンズ９２がアレイ状に配列されたものである。要素レンズ９２と要素画像ｅは対応しており、要素レンズ９２により要素画像ｅが空間中に投影され、空間像が形成される。そして、インテグラル３Ｄ表示装置９Ｂは、フラットパネルディスプレイ９０と同じ本数の光線を使って、被写体αからの光線を再現する。
【0004】
インテグラル３Ｄ映像は、多くの視点映像を再現する方式であるため、非常に多くの画素（情報量）が必要となる。インテグラル３Ｄ映像の品質を決定づけるパラメータとして、「視域」、「空間周波数特性（奥行き再現範囲）」、「３Ｄ解像度（要素画像数）」の３つがあげられる。これら３つのパラメータはトレードオフの関係がある。たとえば、視域と奥行き再現範囲の関係性は、以下の式（１）で表される。
【0005】
【数1】
【0006】
ここで、Ｄｒは奥行き再現範囲、ｅは要素画像のサイズ、Ｌは視距離、βは観視空間周波数、ｐｐはディスプレイの画素ピッチ、θｏｖｚは視域を示す。この式（１）からも分かるように、視域を狭くすることにより、奥行き再現範囲を向上させることができる。
【0007】
視域を狭くするためには、焦点距離の長いレンズアレイを用いればよい。また、視点追従技術を用いてリアルタイムで視域の方向を制御すれば、焦点距離の長いレンズアレイを用いても、広い範囲でインテグラル３Ｄ映像を視聴できる（非特許文献１，２）。視域の制御は、観察者の瞳位置に応じた要素画像群をリアルタイムに生成することで実現できる。このように、個人視聴（１人のみの視聴）に限定した場合には前記手法により、「空間周波数特性（奥行き再現範囲）」および「３Ｄ解像度（要素画像数）」の性能を向上させた上で、広視域のインテグラル３Ｄ映像を提示できる。
【0008】
レンズアレイ９１の代わりに、図１５（ａ）の点光源アレイ９３や図１５（ｂ）のピンホールアレイ９４を用いることで、レンズアレイ方式と同様に光線を再生できることが知られている。図１６には、点光源アレイ方式の視点追従型インテグラル３Ｄ表示装置９Ｃの一例を図示した。図１６に示すように、インテグラル３Ｄ表示装置９Ｃは、要素画像群表示用ディスプレイ（フロントパネル）９５と、点光源アレイ画像表示用ディスプレイ（リアパネル）９６と、瞳位置検出用カメラ９７と、立体画像表示装置９８とを備える。
【0009】
要素画像群表示用ディスプレイ９５は、前方に配置された要素画像群表示用のフロントパネル（例えば、透過型液晶ディスプレイ）である。点光源アレイ画像表示用ディスプレイ９６は、後方に配置された点光源アレイ画像表示用のリアパネルであり、点光源アレイ画像Ｐを表示する。インテグラル３Ｄ表示装置９Ｃは、要素画像群表示用ディスプレイ９５と点光源アレイ画像表示用ディスプレイ９６とを積層することで、インテグラル３Ｄ映像表示を行う（非特許文献３）。
【0010】
瞳位置検出用カメラ９７は、瞳位置を検出するためのカメラである。立体画像表示装置９８は、瞳位置検出用カメラ９７が撮影した画像から観察者の瞳位置を検出し、その瞳位置に応じた立体画像を表示するものである。
【先行技術文献】
【非特許文献】
【0011】
【非特許文献1】岡市直人、佐々木久幸、加納正規、河北真宏、苗村健、“視点追従型インテグラル３Ｄ映像表示システムの開発”、映像情報メディア学会誌、Ｖｏｌ．７５、Ｎｏ.１、ｐｐ.１２５－１３０（２０２１)
【非特許文献2】N. Okaichi, H. Sasaki, M. Kano, J. Arai, M. Kawakita, and T. Naemura, “Design of optical viewing zone suitable for eye-tracking integral 3D display,” OSA Contin., Vol.4, No.5, pp.1415-1429 (2021)
【非特許文献3】岡市直人、渡邉隼人、加納正規、佐々木久幸、洗井淳、“点光源アレーを用いた視点追従型インテグラル３Ｄ映像表示システムの基礎検証”、映像情報メディア学会年次大会予稿集、２３Ｃ－１（２０２２）
【発明の概要】
【発明が解決しようとする課題】
【0012】
従来のインテグラル３Ｄ表示装置は、要素画像群表示用ディスプレイの限られた画素数で様々な方向に射出する光線を再現する必要があるため、立体映像の画質（解像度）が低くなるという問題があった。
【0013】
そこで、本発明は、高画質な立体映像を表示できる立体画像表示装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0014】
前記課題を解決するため、本発明に係る立体画像表示装置は、要素画像群表示用ディスプレイと要素画像群表示用ディスプレイの後方に配置された光源アレイ画像表示用ディスプレイとを備える立体ディスプレイを用いて、要素画像で構成された要素画像群を人物の瞳位置に追従して時分割表示するインテグラル方式の立体画像表示装置であって、瞳位置推定手段と、要素画像群生成手段と、光源アレイ画像生成手段と、要素画像群表示手段と、光源アレイ画像表示手段と、時分割制御手段と、を備える構成とした。
【0015】
瞳位置推定手段は、人物が撮影されたカメラ画像から人物の瞳位置を推定する。
要素画像群生成手段は、時分割表示のフィールド毎に、人物の瞳位置に対応した要素画像群を生成する。
光源アレイ画像生成手段は、フィールド毎に、要素画像に対応した光源が配列された光源アレイ画像を生成する。
要素画像群表示手段は、要素画像群生成手段が生成した要素画像群を要素画像群表示用ディスプレイに表示させる。
光源アレイ画像表示手段は、光源アレイ画像生成手段が生成した光源アレイ画像を光源アレイ画像表示用ディスプレイに表示させる。
時分割制御手段は、要素画像群表示手段が表示する要素画像群のフィールドと光源アレイ画像表示手段が表示する光源アレイ画像のフィールドとを時分割で切り替える。
要素画像群生成手段は、時分割表示のフィールド毎に、人物の瞳位置に対応した要素画像群を生成する。
光源アレイ画像生成手段は、フィールド毎に、要素画像に対応した光源が配列された光源アレイ画像を生成する。
要素画像群表示手段は、要素画像群生成手段が生成した要素画像群を要素画像群表示用ディスプレイに表示させる。
光源アレイ画像表示手段は、光源アレイ画像生成手段が生成した光源アレイ画像を光源アレイ画像表示用ディスプレイに表示させる。
時分割制御手段は、要素画像群表示手段が表示する要素画像群のフィールドと光源アレイ画像表示手段が表示する光源アレイ画像のフィールドとを時分割で切り替える。
【0016】
かかる構成によれば、立体画像表示装置は、時分割表示により再現可能な光線数が増加するので、解像度を向上させることができる。
【0017】
また、前記課題を解決するため、本発明に係る立体画像表示装置は、要素画像群表示用ディスプレイと要素画像群表示用ディスプレイの前方に配置された光線方向制御画像表示用ディスプレイとを備える立体ディスプレイを用いて、要素画像で構成された要素画像群を人物の瞳位置に追従して時分割表示するインテグラル方式の立体画像表示装置であって、瞳位置推定手段と、要素画像群生成手段と、光線方向制御画像生成手段と、要素画像群表示手段と、光線方向制御画像表示手段と、時分割制御手段と、を備える構成とした。
【0018】
瞳位置推定手段は、人物が撮影されたカメラ画像から人物の瞳位置を推定する。
要素画像群生成手段は、時分割表示のフィールド毎に、人物の瞳位置に対応した要素画像群を生成する。
光線方向制御画像生成手段は、フィールド毎に、要素画像に対応した光線方向制御画像を生成する。
要素画像群表示手段は、要素画像群生成手段が生成した要素画像群を要素画像群表示用ディスプレイに表示させる。
光線方向制御画像表示手段は、光線方向制御画像生成手段が生成した光線方向制御画像を光線方向制御画像表示用ディスプレイに表示させる。
時分割制御手段は、要素画像群表示手段が表示する要素画像群のフィールドと光線方向制御画像表示手段が表示する光線方向制御画像のフィールドとを時分割で切り替える。
要素画像群生成手段は、時分割表示のフィールド毎に、人物の瞳位置に対応した要素画像群を生成する。
光線方向制御画像生成手段は、フィールド毎に、要素画像に対応した光線方向制御画像を生成する。
要素画像群表示手段は、要素画像群生成手段が生成した要素画像群を要素画像群表示用ディスプレイに表示させる。
光線方向制御画像表示手段は、光線方向制御画像生成手段が生成した光線方向制御画像を光線方向制御画像表示用ディスプレイに表示させる。
時分割制御手段は、要素画像群表示手段が表示する要素画像群のフィールドと光線方向制御画像表示手段が表示する光線方向制御画像のフィールドとを時分割で切り替える。
【0019】
かかる構成によれば、立体画像表示装置は、時分割表示により再現可能な光線数が増加するので、解像度を向上させることができる。
【0020】
なお、本発明は、コンピュータを前記した立体画像表示装置として機能させるためのプログラムで実現することもできる。
【発明の効果】
【0021】
本発明によれば、高画質な立体映像を表示することができる。
【図面の簡単な説明】
【0022】
【図1】第１実施形態に係る立体画像表示システムの概略構成図である。
【図2】第１実施形態に係る立体画像表示装置の構成を示すブロック図である。
【図3】第１実施形態において、点光源アレイ画像を説明する説明図である。
【図4】第１実施形態において、時分割表示を説明する説明図である。
【図5】（ａ）及び（ｂ）は第１実施形態において、視点追従を説明する説明図である。
【図6】第１実施形態において、３Ｄ表示／２Ｄ表示の切替を説明する説明図である。
【図7】第１実施形態に係る立体画像表示装置の動作を示すフローチャートである。
【図8】変形例１において、線光源アレイ画像を説明する説明図である。
【図9】変形例１において、時分割表示を説明する説明図である。
【図10】変形例１において、要素画像群及び線光源アレイ画像の回転を説明する説明図である。
【図11】変形例１において、要素画像群及び線光源アレイ画像の回転を説明する説明図である。
【図12】第２実施形態に係る立体画像表示システムの概略構成図である。
【図13】第２実施形態に係る立体画像表示装置の構成を示すブロック図である。
【図14】従来技術において、（ａ）はインテグラル３Ｄ撮像装置を説明する説明図であり、（ｂ）はインテグラル３Ｄ表示装置を説明する説明図である。
【図15】従来技術において、（ａ）は点光源アレイ方式を説明する説明図であり、（ｂ）はピンホールアレイ方式を説明する説明図である。
【図16】従来技術において、点光源アレイ方式の視点追従型インテグラル３Ｄ表示装置を説明する説明図である。
【発明を実施するための形態】
【0023】
以下、本発明の各実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。
【0024】
【0025】
立体画像表示システム１は、インテグラル方式（点光源アレイ方式）の視点追従型立体表示システムであり、フィールド・シーケンシャル方式により時分割表示を行うものである。図１に示すように、立体画像表示システム１は、立体ディスプレイ２と、瞳位置推定用カメラ５と、立体画像表示装置６とを備える。立体ディスプレイ２は、要素画像群表示用ディスプレイ３と、光源アレイ画像表示用ディスプレイ４とを備える。
【0026】
要素画像群表示用ディスプレイ３は、後記する立体画像表示装置６が生成した要素画像群を表示するものである。要素画像群表示用ディスプレイ３は、後記する光源アレイ画像表示用ディスプレイ４の前方に配置されたフロントパネルである。例えば、要素画像群表示用ディスプレイ３としては、透過型液晶ディスプレイがあげられる。
【0027】
光源アレイ画像表示用ディスプレイ４は、立体画像表示装置６が生成した点光源アレイ画像を表示するものである。光源アレイ画像表示用ディスプレイ４は、要素画像群表示用ディスプレイ３の後方に配置されたリアパネルである。例えば、光源アレイ画像表示用ディスプレイ４としては、液晶ディスプレイ、有機ＥＬディスプレイ、マイクロＬＥＤディスプレイなどのフラットパネルディスプレイがあげられる。
【0028】
このように、立体ディスプレイ２は、要素画像群表示用ディスプレイ３と光源アレイ画像表示用ディスプレイ４とを２枚積層することで、被写体αを立体表示することができる。
【0029】
瞳位置推定用カメラ５は、立体映像の観察者（人物）の瞳位置を推定するために、観察者を撮影するカメラである。例えば、瞳位置推定用カメラ５は、観察者に向けて要素画像群表示用ディスプレイ３の上部に配置する。瞳位置推定用カメラ５は、撮影したカメラ画像を立体画像表示装置６に出力する。
【0030】
立体画像表示装置６は、要素画像群表示用ディスプレイ３と要素画像群表示用ディスプレイ３の後方に配置された光源アレイ画像表示用ディスプレイ４とを備える立体ディスプレイ２を用いて、要素画像で構成された要素画像群を観察者の瞳位置に追従して時分割表示するインテグラル方式の立体画像表示装置である。
【0031】
［立体画像表示装置の構成］
図２を参照し、立体画像表示装置６の構成について説明する。
図２に示すように、立体画像表示装置６は、カメラ画像入力手段６０と、瞳位置推定手段６１と、要素画像群生成手段６２と、光源アレイ画像生成手段６３と、要素画像群表示手段６４と、光源アレイ画像表示手段６５と、時分割制御手段６６とを備える。
図２を参照し、立体画像表示装置６の構成について説明する。
図２に示すように、立体画像表示装置６は、カメラ画像入力手段６０と、瞳位置推定手段６１と、要素画像群生成手段６２と、光源アレイ画像生成手段６３と、要素画像群表示手段６４と、光源アレイ画像表示手段６５と、時分割制御手段６６とを備える。
【0032】
カメラ画像入力手段６０は、瞳位置推定用カメラ５からカメラ画像が入力されるものである。そして、カメラ画像入力手段６０は、入力されたカメラ画像を瞳位置推定手段６１に出力する。
【0033】
瞳位置推定手段６１は、観察者が撮影されたカメラ画像から観察者の瞳位置を推定するものである。まず、瞳位置推定手段６１は、カメラ画像入力手段６０より入力されたカメラ画像から観察者の顔領域を検出する。次に、瞳位置推定手段６１は、ＰｎＰ問題（Perspective-n-Pont Problem）を解くプログラム（OpenCVなど）を用いて、観察者の瞳の３次元位置を推定する（例えば、参考文献１，２参照）。その後、瞳位置推定手段６１は、推定した観察者の瞳位置を瞳位置推定手段６１に出力する。
【0034】
参考文献１：“OpenCV”，［online］，［令和５年３月６日検索］，インターネット＜ＵＲＬ：https://opencv.org/＞
参考文献２：“Dlib”，［online］，［令和５年３月６日検索］，インターネット＜ＵＲＬ：http://dlib.net/＞
参考文献２：“Dlib”，［online］，［令和５年３月６日検索］，インターネット＜ＵＲＬ：http://dlib.net/＞
【0035】
要素画像群生成手段６２は、時分割表示のフィールド毎に、観察者の瞳位置に対応した要素画像群を生成するものである。つまり、要素画像群生成手段６２は、瞳位置推定手段６１から入力された瞳位置に追従するように要素画像群をフィールド毎に生成する。例えば、要素画像群生成手段６２は、光線追跡法等の既知の手法で要素画像群を生成できる。その後、要素画像群生成手段６２は、生成した要素画像群を要素画像群表示手段６４に出力する。
【0036】
光源アレイ画像生成手段６３は、フィールド毎に、要素画像に対応した光源が配列された光源アレイ画像を生成するものである。ここでは、光源アレイ画像生成手段６３は、光源アレイ画像として、点光源が２次元状に配列された点光源アレイを表す点光源アレイ画像をフィールド毎に生成する。その後、光源アレイ画像生成手段６３は、生成した点光源アレイ画像を光源アレイ画像表示手段６５に出力する。
【0037】
図３に示すように、点光源アレイ画像Ｐでは、黒領域Ｂの間に、点状の白領域Ｗが水平方向及び垂直方向に配列されている。すなわち、点光源アレイ画像Ｐは、黒色をベースとして、必要な部分のみ白色の点が一定間隔で並んだ画像になる。点光源アレイ画像Ｐでは、白色の点が、前方に配置された要素画像群表示用ディスプレイ３の光源の役割を有する。なお、Ｘ軸が水平方向を表し、Ｙ軸が垂直方向を表し、Ｚ軸が奥行き方向を表す。
【0038】
要素画像群表示手段６４は、要素画像群生成手段６２が生成した要素画像群を要素画像群表示用ディスプレイ３に表示させるものである。このとき、要素画像群表示手段６４は、後記する時分割制御手段６６からの指令信号に従って、要素画像群生成手段６２から入力された要素画像群のフィールドを時分割で切り替える。
【0039】
光源アレイ画像表示手段６５は、光源アレイ画像生成手段６３が生成した点光源アレイ画像を光源アレイ画像表示用ディスプレイ４に表示させるものである。このとき、光源アレイ画像表示手段６５は、時分割制御手段６６からの指令信号に従って、光源アレイ画像生成手段６３から入力された点光源アレイ画像のフィールドを時分割で切り替える。
【0040】
時分割制御手段６６は、要素画像群表示手段６４が表示させる要素画像群のフィールドと光源アレイ画像表示手段６５が表示させる点光源アレイ画像のフィールドとを時分割で切り替えるものである。つまり、時分割制御手段６６は、要素画像群及び点光源アレイ画像のフィールドの切替タイミングを表す指令信号を要素画像群表示手段６４及び光源アレイ画像表示手段６５に出力する。例えば、時分割制御手段６６は、１フレーム間隔で指令信号を要素画像群表示手段６４及び光源アレイ画像表示手段６５に出力する。
【0041】
立体画像表示装置６は、時分割表示及び視点追従を行えるように要素画像群及び点光源アレイ画像を生成する。以下、立体画像表示装置６による時分割表示及び視点追従を順に説明する。
【0042】
＜時分割表示＞
立体画像表示装置６は、フィールド・シーケンシャル方式で時分割表示を行う。ここでは、説明を簡単にするため、時分割数を２とし、時分割の各状態をフィールド１及びフィールド２とする。図４に示すように、フィールド１の要素画像群Ｅ１及び点光源アレイ画像Ｐ１を基準とする。また、フィールド２の要素画像群Ｅ２及び点光源アレイ画像Ｐ２は、フィールド１の要素画像群Ｅ１及び点光源アレイ画像Ｐ２を斜め方向に半ピッチずらしたものである。なお、図４では、図面を見やすくするため、フィールド２の要素画像群Ｅ２及び点光源アレイ画像Ｐ２を破線で図示した。
立体画像表示装置６は、フィールド・シーケンシャル方式で時分割表示を行う。ここでは、説明を簡単にするため、時分割数を２とし、時分割の各状態をフィールド１及びフィールド２とする。図４に示すように、フィールド１の要素画像群Ｅ１及び点光源アレイ画像Ｐ１を基準とする。また、フィールド２の要素画像群Ｅ２及び点光源アレイ画像Ｐ２は、フィールド１の要素画像群Ｅ１及び点光源アレイ画像Ｐ２を斜め方向に半ピッチずらしたものである。なお、図４では、図面を見やすくするため、フィールド２の要素画像群Ｅ２及び点光源アレイ画像Ｐ２を破線で図示した。
【0043】
立体画像表示装置６は、フィールド１の要素画像群Ｅ１及び点光源アレイ画像Ｐ１と、フィールド２の要素画像群Ｅ２及び点光源アレイ画像Ｐ２とを高速で切り替える。これにより、立体画像表示装置６は、２つのフィールドの要素画像群Ｅ１，Ｅ２及び点光源アレイ画像Ｐ１，Ｐ２が合成された状態で表示されるので、解像度特性を向上させることができる。
【0044】
ここでは、時分割を２として説明したが、時分割数をより多くすることで、さらに解像度特性を向上させることができる。例えば、時分割数が４の場合、水平方向及び垂直方向の半ピッチずらしの有無で４つのフィールドを設定する。フィールド１の要素画像群Ｅ及び点光源アレイ画像Ｐを基準とする。フィールド２の要素画像群Ｅ及び点光源アレイ画像Ｐは、フィールド１の要素画像群Ｅ及び点光源アレイ画像Ｐを水平方向のみ半ピッチずらす。フィールド３の要素画像群Ｅ及び点光源アレイ画像Ｐは、フィールド１の要素画像群Ｅ及び点光源アレイ画像Ｐを垂直方向のみ半ピッチずらす。フィールド４の要素画像群Ｅ及び点光源アレイ画像Ｐは、フィールド１の要素画像群Ｅ及び点光源アレイ画像Ｐを斜め方向に半ピッチずらす。
【0045】
＜視点追従＞
立体画像表示装置６は、瞳位置に応じた点光源アレイ画像Ｐと要素画像群Ｅを生成する。具体的には、立体画像表示装置６は、点光源アレイ画像Ｐの位置を各フィールドに固定したまま、瞳位置に応じた要素画像群Ｅを生成する。これにより、立体画像表示装置６は、光学視域（点光源と要素画像のみで形成される視域）を動的に制御することができる。
立体画像表示装置６は、瞳位置に応じた点光源アレイ画像Ｐと要素画像群Ｅを生成する。具体的には、立体画像表示装置６は、点光源アレイ画像Ｐの位置を各フィールドに固定したまま、瞳位置に応じた要素画像群Ｅを生成する。これにより、立体画像表示装置６は、光学視域（点光源と要素画像のみで形成される視域）を動的に制御することができる。
【0046】
図５では、要素画像群表示用ディスプレイ３の正面中央を観察者Ａの基準位置とする。図５（ａ）に示すように、観察者Ａが基準位置の左側（図面下側）に移動した場合、左側から被写体を観察したときの要素画像群Ｅを生成する。図５（ｂ）に示すように、観察者Ａが基準位置の右側（図面上側）に移動した場合、右側から被写体を観察したときの要素画像群Ｅを生成する。
【0047】
以上をまとめると、立体画像表示装置６は、時分割表示を行うため、点光源アレイ画像Ｐと要素画像群Ｅの両方を半ピッチずらすと共に、視点追従を行うため、点光源アレイ画像Ｐの位置を固定する一方で要素画像群Ｅを瞳位置に追従させればよい。具体的には、要素画像群生成手段６２は、フィールド１，２のそれぞれで、観察者Ａの瞳位置に対応した要素画像群Ｅを生成する。また、光源アレイ画像生成手段６３は、フィールド１，２のそれぞれで点光源アレイ画像Ｐを生成する。そして、時分割制御手段６６は、フレーム毎にフィールド１，２の要素画像群Ｅ及び点光源アレイ画像Ｐを時分割で切り替える。
【0048】
＜３Ｄ表示／２Ｄ表示の切替＞
立体画像表示装置６は、レンズアレイ方式とは異なり光源アレイ画像表示用ディスプレイ４で２次元画像も表示できるため、３Ｄ表示及び２Ｄ表示を切り替えることができる。
具体的には、要素画像群表示手段６４は、要素画像群Ｅの代わりに、所望の２次元画像を要素画像群表示用ディスプレイ３に表示させる。また、光源アレイ画像表示手段６５は、点光源アレイ画像Ｐの代わりに、バックライトを表すバックライト画像を光源アレイ画像表示用ディスプレイ４に表示させる。例えば、バックライト画像は、全面が白色の画像である。
立体画像表示装置６は、レンズアレイ方式とは異なり光源アレイ画像表示用ディスプレイ４で２次元画像も表示できるため、３Ｄ表示及び２Ｄ表示を切り替えることができる。
具体的には、要素画像群表示手段６４は、要素画像群Ｅの代わりに、所望の２次元画像を要素画像群表示用ディスプレイ３に表示させる。また、光源アレイ画像表示手段６５は、点光源アレイ画像Ｐの代わりに、バックライトを表すバックライト画像を光源アレイ画像表示用ディスプレイ４に表示させる。例えば、バックライト画像は、全面が白色の画像である。
【0049】
図６に示すように、立体画像表示装置６は、２Ｄ表示を行う際、フロントパネルである光源アレイ画像表示用ディスプレイ４がバックライト画像を表示する。このとき、光源アレイ画像表示用ディスプレイ４は、白色のバックライト（拡散光）として機能する。また、リアパネルである要素画像群表示手段６４は、所望の２次元画像を表示すればよい。このとき、要素画像群表示手段６４は、フロントパネルのフル解像度で２次元画像を表示できる。
【0050】
このように、立体画像表示装置６は、３Ｄ表示及び２Ｄ表示を容易に切り替えることができるので、レンズアレイ方式に比べて利便性に優れている。なお、３Ｄ表示及び２Ｄ表示の切替は、立体画像表示システム１の利用者が手動で設定する。また、２Ｄ表示を行う際、立体画像表示装置６は、視点追従及び時分割表示を行う必要がない。
【0051】
［立体画像表示装置の動作］
図７を参照し、立体画像表示装置６の動作について説明する。ここでは、時分割数が２であることとする。
図７を参照し、立体画像表示装置６の動作について説明する。ここでは、時分割数が２であることとする。
【0052】
ステップＳ１において、瞳位置推定手段６１には、瞳位置推定用カメラ５からカメラ画像が入力される。
ステップＳ２において、瞳位置推定手段６１は、観察者Ａが撮影されたカメラ画像から観察者Ａの瞳位置を推定する。
ステップＳ２において、瞳位置推定手段６１は、観察者Ａが撮影されたカメラ画像から観察者Ａの瞳位置を推定する。
【0053】
ステップＳ３において、光源アレイ画像生成手段６３は、フィールド１の点光源アレイ画像Ｐ１を生成する。
ステップＳ４において、要素画像群生成手段６２は、フィールド１で観察者Ａの瞳位置に追従した要素画像群Ｅ１を生成する。
ステップＳ４において、要素画像群生成手段６２は、フィールド１で観察者Ａの瞳位置に追従した要素画像群Ｅ１を生成する。
【0054】
ステップＳ５において、時分割制御手段６６は、フィールド１への切替を指令する指令信号を光源アレイ画像表示手段６５に出力する。この指令信号に従って、光源アレイ画像表示手段６５は、フィールド１の点光源アレイ画像Ｐ１を光源アレイ画像表示用ディスプレイ４に表示させる。
【0055】
ステップＳ６において、時分割制御手段６６は、フィールド１への切替を指令する指令信号を要素画像群表示手段６４に出力する。この指令信号に従って、要素画像群表示手段６４は、フィールド１で観察者Ａの瞳位置に追従した要素画像群Ｅ１を要素画像群表示用ディスプレイ３に表示させる。
【0056】
ステップＳ７において、光源アレイ画像生成手段６３は、フィールド２の点光源アレイ画像Ｐ２を生成する。
ステップＳ８において、要素画像群生成手段６２は、フィールド２で観察者Ａの瞳位置に追従した要素画像群Ｅ２を生成する。
ステップＳ８において、要素画像群生成手段６２は、フィールド２で観察者Ａの瞳位置に追従した要素画像群Ｅ２を生成する。
【0057】
ステップＳ９において、時分割制御手段６６は、フィールド２への切替を指令する指令信号を光源アレイ画像表示手段６５に出力する。この指令信号に従って、光源アレイ画像表示手段６５は、フィールド２の点光源アレイ画像Ｐ２を光源アレイ画像表示用ディスプレイ４に表示させる。
【0058】
ステップＳ１０において、時分割制御手段６６は、フィールド２への切替を指令する指令信号を要素画像群表示手段６４に出力する。この指令信号に従って、要素画像群表示手段６４は、フィールド２で観察者Ａの瞳位置に追従した要素画像群Ｅ２を要素画像群表示用ディスプレイ３に表示させる。その後、立体画像表示装置６は、ステップＳ１の処理に戻る。
【0059】
［作用・効果］
以上のように、立体画像表示装置６は、時分割表示により再現可能な光線数が増加するので、解像度を向上させ、高画質な立体映像を表示することができる。
さらに、立体画像表示装置６は、３Ｄ表示及び２Ｄ表示を容易に切り替えることができるので、レンズアレイ方式に比べて利便性に優れている。
以上のように、立体画像表示装置６は、時分割表示により再現可能な光線数が増加するので、解像度を向上させ、高画質な立体映像を表示することができる。
さらに、立体画像表示装置６は、３Ｄ表示及び２Ｄ表示を容易に切り替えることができるので、レンズアレイ方式に比べて利便性に優れている。
【0060】
（変形例１）
以下、変形例１に係る立体画像表示システム１Ｂについて、第１実施形態と異なる点を説明する。
第１実施形態では立体画像表示システム１が点光源アレイ画像を表示したのに対し、変形例１では立体画像表示システム１Ｂが線光源アレイ画像を表示する点が異なる。つまり、立体画像表示システム１Ｂは、線光源アレイ方式の視点追従型立体表示システムである。
以下、変形例１に係る立体画像表示システム１Ｂについて、第１実施形態と異なる点を説明する。
第１実施形態では立体画像表示システム１が点光源アレイ画像を表示したのに対し、変形例１では立体画像表示システム１Ｂが線光源アレイ画像を表示する点が異なる。つまり、立体画像表示システム１Ｂは、線光源アレイ方式の視点追従型立体表示システムである。
【0061】
図１に示すように、立体画像表示システム１Ｂは、立体ディスプレイ２と、瞳位置推定用カメラ５と、立体画像表示装置６Ｂとを備える。立体画像表示装置６Ｂ以外の各装置は、第１実施形態と同様のため、説明を省略する。
【0062】
［立体画像表示装置の構成］
図２に示すように、立体画像表示装置６Ｂは、カメラ画像入力手段６０と、瞳位置推定手段６１と、要素画像群生成手段６２Ｂと、光源アレイ画像生成手段６３Ｂと、要素画像群表示手段６４と、光源アレイ画像表示手段６５と、時分割制御手段６６とを備える。要素画像群生成手段６２Ｂ及び光源アレイ画像生成手段６３Ｂ以外の各手段は、第１実施形態と同様のため、説明を省略する。
図２に示すように、立体画像表示装置６Ｂは、カメラ画像入力手段６０と、瞳位置推定手段６１と、要素画像群生成手段６２Ｂと、光源アレイ画像生成手段６３Ｂと、要素画像群表示手段６４と、光源アレイ画像表示手段６５と、時分割制御手段６６とを備える。要素画像群生成手段６２Ｂ及び光源アレイ画像生成手段６３Ｂ以外の各手段は、第１実施形態と同様のため、説明を省略する。
【0063】
要素画像群生成手段６２Ｂは、要素画像群Ｅを線光源アレイ画像にあわせて回転させるものである。ここで、要素画像群生成手段６２Ｂは、要素画像群生成手段６２と同様の処理でフィールド毎に要素画像群Ｅを生成し、後記する線光源アレイ画像と同一方向及び同一角度で要素画像群Ｅを回転させる。
【0064】
光源アレイ画像生成手段６３Ｂは、光源アレイ画像として、線光源が１次元状に配列された線光源アレイを表す線光源アレイ画像を生成するものである。ここで、光源アレイ画像生成手段６３Ｂは、フィールド毎に線光源アレイ画像を生成する。そして、光源アレイ画像生成手段６３Ｂは、線光源の方向が観察者Ａの両瞳位置を結んだ方向に直交するように線光源アレイ画像を回転させる。
【0065】
図８に示すように、線光源アレイ画像Ｌでは、黒領域Ｂの間に、線状の白領域Ｗが水平方向に配列されている。すなわち、線光源アレイ画像Ｌは、黒色をベースとして、必要な部分のみ白色の線が一定間隔で並んだ画像になる。線光源アレイ画像Ｌでは、白色の線が、前方に配置された要素画像群表示用ディスプレイ３の光源の役割を有する。
【0066】
以下、立体画像表示装置６Ｂによる時分割表示及び画像の回転を順に説明する。なお、視点追従の手法自体は、第１実施形態と同様のため、説明を省略する。
【0067】
＜時分割表示＞
立体画像表示装置６Ｂは、フィールド・シーケンシャル方式で時分割表示を行う。ここでは、説明を簡単にするため、時分割数を２とする。図９に示すように、フィールド１の要素画像群Ｅ１及び線光源アレイ画像Ｌ１を基準とする。また、フィールド２の要素画像群Ｅ２及び線光源アレイ画像Ｌ２は、フィールド１の要素画像群Ｅ１及び線光源アレイ画像Ｌ２を水平方向に半ピッチずらしたものである。なお、図９では、図面を見やすくするため、フィールド２の要素画像群Ｅ２及び線光源アレイ画像Ｌ２を破線で図示した。
立体画像表示装置６Ｂは、フィールド・シーケンシャル方式で時分割表示を行う。ここでは、説明を簡単にするため、時分割数を２とする。図９に示すように、フィールド１の要素画像群Ｅ１及び線光源アレイ画像Ｌ１を基準とする。また、フィールド２の要素画像群Ｅ２及び線光源アレイ画像Ｌ２は、フィールド１の要素画像群Ｅ１及び線光源アレイ画像Ｌ２を水平方向に半ピッチずらしたものである。なお、図９では、図面を見やすくするため、フィールド２の要素画像群Ｅ２及び線光源アレイ画像Ｌ２を破線で図示した。
【0068】
立体画像表示装置６Ｂは、フィールド１の要素画像群Ｅ１及び線光源アレイ画像Ｌ１と、フィールド２の要素画像群Ｅ２及び線光源アレイ画像Ｌ２とを高速で切り替える。これにより、立体画像表示装置６Ｂは、２つのフィールドの要素画像群Ｅ１，Ｅ２及び線光源アレイ画像Ｌ１，Ｌ２が合成された状態で表示されるので、解像度特性を向上させることができる。
【0069】
ここでは、時分割を２として説明したが、第１実施形態と同様、時分割数をより多くすることで、さらに解像度特性を向上させることができる。
【0070】
＜要素画像群及び線光源アレイ画像の回転＞
図１０及び図１１を参照し、要素画像群Ｅ及び線光源アレイ画像Ｌの回転について説明する。立体画像表示装置６Ｂでは、線光源アレイ画像Ｌを用いて全方向視差を実現するため、以下で説明するように、線光源の方向を視点位置に応じて変化させる。
図１０及び図１１を参照し、要素画像群Ｅ及び線光源アレイ画像Ｌの回転について説明する。立体画像表示装置６Ｂでは、線光源アレイ画像Ｌを用いて全方向視差を実現するため、以下で説明するように、線光源の方向を視点位置に応じて変化させる。
【0071】
観察方向Ｄを示すように、観察者Ａが三次元ディスプレイ１０の正面に位置しているものとする。まず、図１０（ｃ）に示すように観察者Ａの両眼を結ぶ直線が水平線Ｈと一致して視点回転情報が０度であるものとする。これが線光源アレイ方式の基本的な状態である。このとき、リアパネル（光源アレイ画像表示用ディスプレイ４）には、図１０（ａ）の線光源アレイ画像Ｌが表示される。
【0072】
要素画像群生成手段６２Ｂは、観察者Ａの視点位置に基づいて要素画像群Ｅを生成する。このときに、フロントパネル（要素画像群表示用ディスプレイ３）には、図１０（ａ）に示すように、ピクセルラインが水平線Ｈに直交するように配置された要素画像群Ｅが表示される。要素画像群Ｅは、レンチキュラ方式で使用される要素画像に近い画像となる。ただし、レンチキュラ方式の要素画像とは視点画像の並びが逆という点などで異なる。
【0073】
なお、図１０（ａ）の要素画像群Ｅとして、把握しやすいように模式的に８個の帯が示されている。帯の数は、立体ディスプレイ２の水平方向の画素数に相当する。なお、立体ディスプレイ２の垂直方向の画素数は、要素画像群表示用ディスプレイ３の垂直方向の画素数と同じである。図１０（ａ）の要素画像群Ｅは、三次元映像を観察したときに横に８画素あるような映像を実現するものである。線光源アレイ画像Ｌにおけるそれぞれの光源画像（白領域Ｗ）の配置は、要素画像群Ｅのそれぞれの帯のほぼ中心に位置している。中心の白領域Ｗは、要素画像群Ｅの帯の中心に位置するが、左端（または右端）に向かうほど、対応する帯の中心からのずれが大きくなる。ただし、線光源アレイ画像Ｌにおけるそれぞれの光源画像（白領域Ｗ）の配置が、要素画像群Ｅのそれぞれの帯の中心に位置するように構成することも可能である。
【0074】
図１０（ａ）における矩形領域Ｃの拡大図を図１０（ｂ）に示す。矩形領域Ｃには、要素画像群Ｅの一部として、左から順に、視点Ｖ１における縦長のピクセルライン、視点Ｖ２における縦長のピクセルライン、視点Ｖ３における縦長のピクセルライン、…、Ｎ番目の視点ＶＮにおける縦長のピクセルライン、視点Ｖ１における縦長のピクセルライン、視点Ｖ２における縦長のピクセルラインを備えている。視点の数Ｎは、例えば１０や２０でもよい。なお、レンチキュラ方式で使用される要素画像の場合、右から順に視点１、視点２、…、視点Ｎとなって視点画像の並びが逆になる。
【0075】
次に、図１１（ｃ）に示すように、観察者Ａの両眼が斜めで（水平から傾斜しており）、観察者Ａの両眼を結ぶ直線と水平線Ｈとのなす角がθ（θ≠０：視点回転情報がθ度）であるものとする。このときに、図１１（ａ）に示すように、視点回転情報に応じて、線光源アレイ画像Ｌと要素画像群Ｅとが回転する。言い換えれば、基準方向（三次元ディスプレイ１０の垂直方向、Ｙ軸方向）に対する線光源アレイ画像Ｌの線光源の角度と要素画像群Ｅの角度とが変化する。この回転角度は、３６０度全方向に対応可能であり、観察者Ａは、どの方向から見ても、両眼視差のある三次元映像を観察できる。なお、図１１（ａ）は、観察者Ａが頭を左に傾け、それに合わせた向きに、線光源アレイ画像Ｌ（線状の白領域Ｗ）と要素画像群Ｅとが回転している様子を示している。これに対して図１１（ｃ）において、正面を向いた観察者Ａが頭を右に傾けたように示されているのは、同じ図面の中で回転方向を直感的に把握できるようにするためである。
【0076】
［作用・効果］
以上のように、立体画像表示装置６Ｂは、第１実施形態と同様、高画質な立体映像を表示することができる。
さらに、立体画像表示装置６Ｂは、３Ｄ表示及び２Ｄ表示を容易に切り替えることができるので、レンズアレイ方式に比べて利便性に優れている。
さらに、立体画像表示装置６Ｂは、線光源方式により、多くの画素を輝点として用いることができるため、点光源方式と比べて、輝度を高くすることができる。
以上のように、立体画像表示装置６Ｂは、第１実施形態と同様、高画質な立体映像を表示することができる。
さらに、立体画像表示装置６Ｂは、３Ｄ表示及び２Ｄ表示を容易に切り替えることができるので、レンズアレイ方式に比べて利便性に優れている。
さらに、立体画像表示装置６Ｂは、線光源方式により、多くの画素を輝点として用いることができるため、点光源方式と比べて、輝度を高くすることができる。
【0077】
【0078】
第１実施形態では立体画像表示システム１が点光源アレイ画像Ｐを表示したのに対し、第２実施形態では立体画像表示システム１Ｃがピンホールアレイ画像Ｒを表示する点が異なる。つまり、立体画像表示システム１Ｃは、インテグラル方式（ピンホール方式）の視点追従型立体表示システムであり、フィールド・シーケンシャル方式により時分割表示を行うものである。
【0079】
図１２に示すように、立体画像表示システム１Ｃは、立体ディスプレイ２Ｃと、瞳位置推定用カメラ５と、立体画像表示装置６Ｃとを備える。立体ディスプレイ２Ｃは、要素画像群表示用ディスプレイ７と、光線方向制御画像表示用ディスプレイ８とを備える。瞳位置推定用カメラ５は、第１実施形態と同様のため、説明を省略する。
【0080】
立体画像表示装置６Ｃは、要素画像群表示用ディスプレイ７と要素画像群表示用ディスプレイ７の前方に配置された光線方向制御画像表示用ディスプレイ８とを備える立体ディスプレイ２Ｃを用いて、要素画像で構成された要素画像群を観察者の瞳位置に追従して時分割表示するインテグラル方式の立体画像表示装置である。なお、立体画像表示装置６Ｃは、第１実施形態と同様、３Ｄ表示及び２Ｄ表示を切り替えることもできる。
【0081】
要素画像群表示用ディスプレイ７は、後記する立体画像表示装置６Ｃが生成した要素画像群を表示するものである。要素画像群表示用ディスプレイ７は、後記する光線方向制御画像表示用ディスプレイ８の後方に配置されたリアパネルである。例えば、要素画像群表示用ディスプレイ７としては、液晶ディスプレイ、有機ＥＬディスプレイ、マイクロＬＥＤディスプレイなどのフラットパネルディスプレイがあげられる。
【0082】
光線方向制御画像表示用ディスプレイ８は、立体画像表示装置６Ｃが生成した光線方向制御画像（ピンホールアレイ画像Ｒ）を表示するものである。光線方向制御画像表示用ディスプレイ８は、要素画像群表示用ディスプレイ７の前方に配置されたフロントパネルである。例えば、光線方向制御画像表示用ディスプレイ８としては、透過型液晶ディスプレイがあげられる。
【0083】
このように、立体ディスプレイ２Ｃは、要素画像群表示用ディスプレイ７と光線方向制御画像表示用ディスプレイ８とを２枚積層することで、インテグラル３Ｄ映像表示を行うことができる。
【0084】
［立体画像表示装置の構成］
図１３に示すように、立体画像表示装置６Ｃは、カメラ画像入力手段６０と、瞳位置推定手段６１と、要素画像群生成手段６２と、要素画像群表示手段６４と、時分割制御手段６６と、光線方向制御画像生成手段６７と、光線方向制御画像表示手段６８と、を備える。光線方向制御画像生成手段６７及び光線方向制御画像表示手段６８以外の各手段は、第１実施形態と同様のため、説明を省略する。
図１３に示すように、立体画像表示装置６Ｃは、カメラ画像入力手段６０と、瞳位置推定手段６１と、要素画像群生成手段６２と、要素画像群表示手段６４と、時分割制御手段６６と、光線方向制御画像生成手段６７と、光線方向制御画像表示手段６８と、を備える。光線方向制御画像生成手段６７及び光線方向制御画像表示手段６８以外の各手段は、第１実施形態と同様のため、説明を省略する。
【0085】
光線方向制御画像生成手段６７は、フィールド毎に、要素画像に対応した光線方向制御画像を生成するものである。ここで、光線方向制御画像生成手段６７は、光線方向制御画像として、ピンホールが２次元状に配列されたピンホールアレイを表すピンホールアレイ画像Ｒ（図１２）を生成する。その後、光線方向制御画像生成手段６７は、生成したピンホールアレイ画像を光線方向制御画像表示手段６８に出力する。
【0086】
ピンホールアレイ画像Ｒは、図３の点光源アレイ画像Ｐと同様の画像である。ピンホールアレイ画像Ｒでは、白色の点が、後方に配置された要素画像群表示用ディスプレイ７からの光線方向を制御するピンホールの役割を有する。
【0087】
光線方向制御画像表示手段６８は、光線方向制御画像生成手段６７が生成した光線方向制御画像（ピンホールアレイ画像Ｒ）を光線方向制御画像表示用ディスプレイ８に表示させるものである。なお、光線方向制御画像表示手段６８は、点光源アレイ画像Ｐの代わりにピンホールアレイ画像Ｒを表示する以外、図２の光源アレイ画像表示手段６５と同様のため、これ以上の説明を省略する。
【0088】
［作用・効果］
以上のように、立体画像表示装置６Ｃは、第１実施形態と同様、高画質な立体映像を表示することができる。
さらに、立体画像表示装置６Ｃは、３Ｄ表示及び２Ｄ表示を容易に切り替えることができるので、レンズアレイ方式に比べて利便性に優れている。
以上のように、立体画像表示装置６Ｃは、第１実施形態と同様、高画質な立体映像を表示することができる。
さらに、立体画像表示装置６Ｃは、３Ｄ表示及び２Ｄ表示を容易に切り替えることができるので、レンズアレイ方式に比べて利便性に優れている。
【0089】
（変形例２）
以下、変形例２に係る立体画像表示システム１Ｄについて、第２実施形態と異なる点を説明する。
第２実施形態では立体画像表示システム１Ｃがピンホールアレイ画像Ｒを表示したのに対し、変形例２では立体画像表示システム１Ｄがパララックスバリア画像Ｕを表示する点が異なる。
以下、変形例２に係る立体画像表示システム１Ｄについて、第２実施形態と異なる点を説明する。
第２実施形態では立体画像表示システム１Ｃがピンホールアレイ画像Ｒを表示したのに対し、変形例２では立体画像表示システム１Ｄがパララックスバリア画像Ｕを表示する点が異なる。
【0090】
図１２に示すように、立体画像表示システム１Ｄは、立体ディスプレイ２Ｃと、瞳位置推定用カメラ５と、立体画像表示装置６Ｄとを備える。立体画像表示装置６Ｄ以外の各装置は、第２実施形態と同様のため、説明を省略する。
【0091】
［立体画像表示装置の構成］
図１３に示すように、立体画像表示装置６Ｄは、カメラ画像入力手段６０と、瞳位置推定手段６１と、要素画像群生成手段６２Ｄと、要素画像群表示手段６４と、時分割制御手段６６と、光線方向制御画像生成手段６７Ｄと、光線方向制御画像表示手段６８と、を備える。要素画像群生成手段６２Ｄ及び光線方向制御画像生成手段６７Ｄ以外の各手段は、第２実施形態と同様のため、説明を省略する。
図１３に示すように、立体画像表示装置６Ｄは、カメラ画像入力手段６０と、瞳位置推定手段６１と、要素画像群生成手段６２Ｄと、要素画像群表示手段６４と、時分割制御手段６６と、光線方向制御画像生成手段６７Ｄと、光線方向制御画像表示手段６８と、を備える。要素画像群生成手段６２Ｄ及び光線方向制御画像生成手段６７Ｄ以外の各手段は、第２実施形態と同様のため、説明を省略する。
【0092】
要素画像群生成手段６２Ｄは、要素画像群をパララックスバリア画像Ｕにあわせて回転させるものである。なお、要素画像群生成手段６２Ｄの処理自体は、図２の要素画像群生成手段６２Ｂと同様のため、これ以上の説明を省略する。
【0093】
光線方向制御画像生成手段６７Ｄは、光線方向制御画像として、パララックスバリアが１次元状に配列されたパララックスバリア画像Ｕを生成するものである。そして、光線方向制御画像生成手段６７Ｄは、パララックスバリアの方向が観察者の両瞳位置を結んだ方向に直交するようにパララックスバリア画像Ｕを回転させる。なお、光線方向制御画像生成手段６７Ｄの処理自体は、光源アレイ画像生成手段６３Ｂと同様のため、これ以上の説明を省略する。
【0094】
パララックスバリア画像Ｕは、図８の線光源アレイ画像Ｌと同様の画像である。パララックスバリア画像Ｕでは、白色の線が、後方に配置された要素画像群表示用ディスプレイ７からの光線方向を制御するバララックスバリアの役割を有する。
【0095】
以上のように、立体画像表示装置６Ｄは、第２実施形態と同様、高画質な立体映像を表示することができる。
さらに、立体画像表示装置６Ｄは、３Ｄ表示及び２Ｄ表示を容易に切り替えることができるので、レンズアレイ方式に比べて利便性に優れている。
さらに、立体画像表示装置６Ｄは、パララックスバリア方式により、多くの光線を透過させることができるため、ピンホール方式と比べて、輝度を高くすることができる。
さらに、立体画像表示装置６Ｄは、３Ｄ表示及び２Ｄ表示を容易に切り替えることができるので、レンズアレイ方式に比べて利便性に優れている。
さらに、立体画像表示装置６Ｄは、パララックスバリア方式により、多くの光線を透過させることができるため、ピンホール方式と比べて、輝度を高くすることができる。
【0096】
以上、実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0097】
前記した実施形態では、立体画像表示装置が独立したハードウェアであることとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した立体画像表示装置として機能させるためのプログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0098】
１，１Ｂ，１Ｃ，１Ｄ 立体画像表示システム
２，２Ｃ 立体ディスプレイ
３ 要素画像群表示用ディスプレイ
４ 光源アレイ画像表示用ディスプレイ
５ 瞳位置推定用カメラ
６，６Ｂ，６Ｃ，６Ｄ 立体画像表示装置
７ 要素画像群表示用ディスプレイ
８ 光線方向制御画像表示用ディスプレイ
６０ カメラ画像入力手段
６１ 瞳位置推定手段
６２，６２Ｂ 要素画像群生成手段
６３，６３Ｂ 光源アレイ画像生成手段
６４ 要素画像群表示手段
６５ 光源アレイ画像表示手段
６６ 時分割制御手段
６７，６７Ｄ 光線方向制御画像生成手段
６８ 光線方向制御画像表示手段
２，２Ｃ 立体ディスプレイ
３ 要素画像群表示用ディスプレイ
４ 光源アレイ画像表示用ディスプレイ
５ 瞳位置推定用カメラ
６，６Ｂ，６Ｃ，６Ｄ 立体画像表示装置
７ 要素画像群表示用ディスプレイ
８ 光線方向制御画像表示用ディスプレイ
６０ カメラ画像入力手段
６１ 瞳位置推定手段
６２，６２Ｂ 要素画像群生成手段
６３，６３Ｂ 光源アレイ画像生成手段
６４ 要素画像群表示手段
６５ 光源アレイ画像表示手段
６６ 時分割制御手段
６７，６７Ｄ 光線方向制御画像生成手段
６８ 光線方向制御画像表示手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】