特開2024-114173視点追従用画像生成装置、プログラムおよび表示システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024114173
(43)【公開日】2024-08-23
(54)【発明の名称】視点追従用画像生成装置、プログラムおよび表示システム
(51)【国際特許分類】
H04N 13/32 20180101AFI20240816BHJP
H04N 13/378 20180101ALI20240816BHJP
【ＦＩ】
H04N13/32
H04N13/378
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023019749
(22)【出願日】2023-02-13
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】加納 正規
(72)【発明者】
【氏名】岡市 直人
(72)【発明者】
【氏名】渡邉 隼人
(72)【発明者】
【氏名】佐々木 久幸
(72)【発明者】
【氏名】半田 拓也
(72)【発明者】
【氏名】洗井 淳
【テーマコード（参考）】
5C061
【Ｆターム（参考）】
5C061AA06
5C061AB12
5C061AB14
5C061AB16
(57)【要約】
【課題】品質が高く全方向の視差のある三次元映像を提示する。
【解決手段】視点追従用画像生成装置２０は、三次元映像を観察する観察者の顔を撮影するカメラ３０の撮影画像を処理して、観察者の視点位置情報と、観察者の両眼を通る直線と三次元ディスプレイ１０の水平方向とのなす角で示される視点回転情報と、を含む視点情報を計算する視点情報計算手段２３と、視点回転情報が０である条件のときに要素画像の垂直方向を基準方向に一致させて、視点位置情報および視点回転情報に応じて多視点画像を並べ替え且つ回転させることで要素画像を生成する要素画像生成手段２１と、視点回転情報が０である条件のときに線光源の長手方向を基準方向に一致させて、視点回転情報に応じて複数の線光源を間隔を維持しながら回転させて線光源アレイ画像を生成する線光源アレイ画像生成手段２２と、を備える。
【選択図】図３
【解決手段】視点追従用画像生成装置２０は、三次元映像を観察する観察者の顔を撮影するカメラ３０の撮影画像を処理して、観察者の視点位置情報と、観察者の両眼を通る直線と三次元ディスプレイ１０の水平方向とのなす角で示される視点回転情報と、を含む視点情報を計算する視点情報計算手段２３と、視点回転情報が０である条件のときに要素画像の垂直方向を基準方向に一致させて、視点位置情報および視点回転情報に応じて多視点画像を並べ替え且つ回転させることで要素画像を生成する要素画像生成手段２１と、視点回転情報が０である条件のときに線光源の長手方向を基準方向に一致させて、視点回転情報に応じて複数の線光源を間隔を維持しながら回転させて線光源アレイ画像を生成する線光源アレイ画像生成手段２２と、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
要素画像を表示する要素画像表示パネルと、前記要素画像表示パネルの背後に設置されて複数の線光源を所定間隔で平行に並べてなる線光源アレイ画像を表示する光源表示用ディスプレイとを有する三次元ディスプレイに用いる前記要素画像および前記線光源アレイ画像を、前記三次元ディスプレイで提示される三次元映像を観察する観察者の視点に応じて生成する視点追従用画像生成装置であって、
前記観察者の顔を撮影するカメラの撮影画像を処理して、観察者の視点位置情報と、観察者の両眼を通る直線と前記三次元ディスプレイの水平方向とのなす角で示される視点回転情報と、を含む視点情報を計算する視点情報計算手段と、
前記視点回転情報が０である条件のときに前記要素画像の垂直方向を所定の基準方向に一致させて、前記視点位置情報および前記視点回転情報に応じて多視点画像を並べ替え且つ回転させることで前記要素画像を生成する要素画像生成手段と、
前記視点回転情報が０である条件のときに前記線光源の長手方向を前記基準方向に一致させて、前記視点回転情報に応じて前記複数の線光源を前記所定間隔を維持しながら回転させて前記線光源アレイ画像を生成する線光源アレイ画像生成手段と、を備えることを特徴とする視点追従用画像生成装置。
前記観察者の顔を撮影するカメラの撮影画像を処理して、観察者の視点位置情報と、観察者の両眼を通る直線と前記三次元ディスプレイの水平方向とのなす角で示される視点回転情報と、を含む視点情報を計算する視点情報計算手段と、
前記視点回転情報が０である条件のときに前記要素画像の垂直方向を所定の基準方向に一致させて、前記視点位置情報および前記視点回転情報に応じて多視点画像を並べ替え且つ回転させることで前記要素画像を生成する要素画像生成手段と、
前記視点回転情報が０である条件のときに前記線光源の長手方向を前記基準方向に一致させて、前記視点回転情報に応じて前記複数の線光源を前記所定間隔を維持しながら回転させて前記線光源アレイ画像を生成する線光源アレイ画像生成手段と、を備えることを特徴とする視点追従用画像生成装置。
【請求項2】
前記要素画像生成手段は、前記三次元ディスプレイにおける前記要素画像表示パネルのすべての表示範囲を撮影できるようにカメラ位置に応じた内部パラメータがそれぞれ設定された複数の仮想カメラからなるカメラアレイで撮影された被写体の多視点画像から前記要素画像を生成することを特徴とする請求項１に記載の視点追従用画像生成装置。
【請求項3】
前記要素画像生成手段は、前記視点回転情報が０である条件のときに前記要素画像の垂直方向を前記三次元ディスプレイの垂直方向に一致させて、前記視点位置情報および前記視点回転情報に応じて前記多視点画像を並べ替え且つ回転させることで前記要素画像を生成し、
前記線光源アレイ画像生成手段は、前記視点回転情報が０である条件のときに前記線光源の長手方向を前記三次元ディスプレイの垂直方向に一致させて、前記視点回転情報に応じて前記複数の線光源を前記所定間隔を維持しながら回転させて前記線光源アレイ画像を生成することを特徴とする請求項１に記載の視点追従用画像生成装置。
前記線光源アレイ画像生成手段は、前記視点回転情報が０である条件のときに前記線光源の長手方向を前記三次元ディスプレイの垂直方向に一致させて、前記視点回転情報に応じて前記複数の線光源を前記所定間隔を維持しながら回転させて前記線光源アレイ画像を生成することを特徴とする請求項１に記載の視点追従用画像生成装置。
【請求項4】
前記要素画像生成手段は、前記視点回転情報が０である条件のときに前記要素画像の垂直方向を前記三次元ディスプレイの垂直方向から所定角度傾けた方向に一致させて、前記視点位置情報および前記視点回転情報に応じて前記多視点画像を並べ替え且つ回転させることで前記要素画像を生成し、
前記線光源アレイ画像生成手段は、前記視点回転情報が０である条件のときに前記線光源の長手方向を前記三次元ディスプレイの垂直方向から前記所定角度傾けた方向に一致させて、前記視点回転情報に応じて前記複数の線光源を前記所定間隔を維持しながら回転させて前記線光源アレイ画像を生成することを特徴とする請求項１に記載の視点追従用画像生成装置。
前記線光源アレイ画像生成手段は、前記視点回転情報が０である条件のときに前記線光源の長手方向を前記三次元ディスプレイの垂直方向から前記所定角度傾けた方向に一致させて、前記視点回転情報に応じて前記複数の線光源を前記所定間隔を維持しながら回転させて前記線光源アレイ画像を生成することを特徴とする請求項１に記載の視点追従用画像生成装置。
【請求項5】
前記視点情報計算手段は、観察者の両眼を通る直線と前記三次元ディスプレイの水平方向とのなす角で示される視点回転情報を計算し、この視点回転情報を時間方向に平滑化して、平滑化された視点回転情報を前記要素画像生成手段および前記線光源アレイ画像生成手段に出力することを特徴とする請求項１に記載の視点追従用画像生成装置。
【請求項6】
前記視点情報計算手段は、観察者の両眼を通る直線と前記三次元ディスプレイの水平方向とのなす角で示される視点回転情報を計算し、この視点回転情報を丸め処理して、丸め処理された視点回転情報を前記要素画像生成手段および前記線光源アレイ画像生成手段に出力することを特徴とする請求項１に記載の視点追従用画像生成装置。
【請求項7】
前記三次元ディスプレイにおける前記要素画像表示パネルと、前記光源表示用ディスプレイとには、表示タイミングを同期させる同期信号が入力されることを特徴とする請求項１に記載の視点追従用画像生成装置。
【請求項8】
コンピュータを、請求項１から請求項７のいずれか一項に記載の視点追従用画像生成装置として機能させるための視点追従用画像生成プログラム。
【請求項9】
要素画像を表示する要素画像表示パネルと、前記要素画像表示パネルの背後に設置されて線光源アレイ画像を表示する光源表示用ディスプレイとを有する三次元ディスプレイと、
観察者の顔を撮影するカメラと、
請求項１から請求項７のいずれか一項に記載の視点追従用画像生成装置と、を備えることを特徴とする表示システム。
観察者の顔を撮影するカメラと、
請求項１から請求項７のいずれか一項に記載の視点追従用画像生成装置と、を備えることを特徴とする表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、裸眼の観察者に三次元映像を提示する表示システムに係り、特に、視点追従と線光源アレイを用いた視点追従用画像生成装置、プログラムおよび表示システムに関する。
【背景技術】
【0002】
高い臨場感や実在感を与える映像メディアの一つとして三次元映像が注目されている（例えば特許文献１、非特許文献１～４参照）。インテグラル方式などの光線再生型の三次元ディスプレイは、裸眼で両眼視差や運動視差が表現できるため、実際に実物を見ているような映像体験が期待できる。しかし、現状では、三次元ディスプレイには様々な課題があるため、二次元ディスプレイのように一般的な普及には至っていない。三次元ディスプレイの実用化を進めていくためには次のようないくつかの要件を満たすことが望まれる。
【0003】
第一の要件は、高い三次元映像品質である。三次元映像品質の主な評価指標としては解像度、奥行き再現範囲（光線密度）、視域（三次元映像が正しく見える範囲）がある。高品質な三次元映像を実現するためにはこれらすべてを向上させることが望まれる。特に解像度は二次元ディスプレイの解像度と比較して大きく劣っているため向上が望まれている。
【0004】
第二の要件は、全方向の視差である。日常生活において我々はディスプレイを様々な方向から見る機会がある。例えば、テレビを座って見ることもあれば、横になった状態で見ることもある。時には、横から覗き込むように斜めで見ることもある。また、スマートフォンにおいても使用するアプリケーションに応じて縦方向と横方向の表示を使い分ける。このようにどの方向から見ても三次元映像を見ることができるようにするためには全方向の視差があればよい。
【0005】
第三の要件は、二次元映像と三次元映像との切り替えである。三次元映像が普及しても、従来の高精細な二次元映像のニーズは高いと考えられる。そのため、ユーザ（観察者）が二次元映像と三次元映像とを特別な操作をすることなく簡単に切り替えられることが望まれる。ここで、特別な操作とは、例えばレンズの着脱などである。
以上のような要件を満たす三次元ディスプレイが求められている。
以上のような要件を満たす三次元ディスプレイが求められている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０２２－１１３４７８号公報
【非特許文献】
【0007】
【非特許文献1】高木康博、「立体映像とフラットパネル型立体表示技術」、光学、第35巻、第8号、p. 400-409、2006［online］，［令和4年11月11日検索］，インターネット＜ＵＲＬ：https://annex.jsap.or.jp/photonics/kogaku/public/35-08-sougou.pdf＞
【非特許文献2】G. Lippmann, “Epreuves reversibles donnant la sensation du relief”, J. Phys. Theor. Appl., 7, (1), pp.821-825, 1908
【非特許文献3】岡市直人、外4名、「点光源アレーを用いた視点追従型インテグラル3D映像表示システムの基礎検証」、映像情報メディア学会 年次大会, 23C-1 (2022)
【非特許文献4】岡市直人、外4名、「視点追従型インテグラル3D映像表示システムの開発」, 映像情報メディア学会誌, Vol.75, No.1, p.125-130 (2021)
【非特許文献5】J.-Y. Son, et al., “Three-Dimensional Imaging Methods Based on Multiview Images”, IEEE/OSA J. Display Technology, vol. 1, no. 1, 2005
【発明の概要】
【発明が解決しようとする課題】
【0008】
光線再生型の三次元ディスプレイとして様々な表示方式が提案されている。しかし、いずれの方式も長所と短所がある。主な４つの方式の長所と短所は以下の（１）～（４）に示すとおりである。
（１）レンチキュラ方式（非特許文献１参照）
レンチキュラ方式はレンチキュラレンズを用いた方式であり、高い品質の三次元映像が表示可能である。しかし、光学的に一方向の視差しか表示できないため、全方向から三次元映像を観察することはできない。さらに、二次元ディスプレイの上にレンチキュラレンズを載せる構成のため、二次元映像を表示した際には、本来の二次元ディスプレイの解像度より低い二次元映像となる。
（１）レンチキュラ方式（非特許文献１参照）
レンチキュラ方式はレンチキュラレンズを用いた方式であり、高い品質の三次元映像が表示可能である。しかし、光学的に一方向の視差しか表示できないため、全方向から三次元映像を観察することはできない。さらに、二次元ディスプレイの上にレンチキュラレンズを載せる構成のため、二次元映像を表示した際には、本来の二次元ディスプレイの解像度より低い二次元映像となる。
【0009】
（２）インテグラル方式（非特許文献１、２参照）
インテグラル方式はレンズアレイを用いた方式であり、全方向に視差のある映像が表示可能（フルパララックス）である。しかし、表示可能な三次元映像の品質が低い。さらに、二次元ディスプレイの上にレンズアレイを載せる構成のため、二次元映像を表示した際には、本来の二次元ディスプレイの解像度より大幅に低い二次元映像となる。
インテグラル方式はレンズアレイを用いた方式であり、全方向に視差のある映像が表示可能（フルパララックス）である。しかし、表示可能な三次元映像の品質が低い。さらに、二次元ディスプレイの上にレンズアレイを載せる構成のため、二次元映像を表示した際には、本来の二次元ディスプレイの解像度より大幅に低い二次元映像となる。
【0010】
（３）線光源アレイ方式（非特許文献５参照）
線光源アレイ方式はレンズを使用せずに二枚のパネルを用いた方式であり、高い品質の三次元映像が表示可能である。レンチキュラ方式やインテグラル方式と異なりレンズを用いないため、二次元映像を表示しても、本来の二次元ディスプレイの解像度と同じ解像度の二次元映像が表示可能（二次元映像と三次元映像との切り替えが可能）である。しかし、線光源アレイ方式は、レンチキュラ方式と等価の光線を表示することになるため光学的に一方向の視差しか表示できない。さらに、レンチキュラ方式やインテグラル方式のようなレンズを使用する方式と比較して、表示できる映像の輝度がやや低くなってしまう。
線光源アレイ方式はレンズを使用せずに二枚のパネルを用いた方式であり、高い品質の三次元映像が表示可能である。レンチキュラ方式やインテグラル方式と異なりレンズを用いないため、二次元映像を表示しても、本来の二次元ディスプレイの解像度と同じ解像度の二次元映像が表示可能（二次元映像と三次元映像との切り替えが可能）である。しかし、線光源アレイ方式は、レンチキュラ方式と等価の光線を表示することになるため光学的に一方向の視差しか表示できない。さらに、レンチキュラ方式やインテグラル方式のようなレンズを使用する方式と比較して、表示できる映像の輝度がやや低くなってしまう。
【0011】
（４）点光源アレイ方式（非特許文献３参照）
点光源アレイ方式はレンズを使用せずに二枚のパネルを用いた方式であり、全方向に視差のある映像が表示可能である。レンチキュラ方式やインテグラル方式と異なりレンズを用いないため、二次元映像を表示しても、本来の二次元ディスプレイの解像度と同じ解像度の二次元映像が表示可能（二次元映像と三次元映像との切り替えが可能）である。しかし、インテグラル方式と等価の光線を表示することになるため表示可能な三次元映像の品質が低い。さらに、レンチキュラ方式やインテグラル方式のようなレンズを使用する方式と比較して、表示できる映像の輝度が大幅に低くなってしまう。
点光源アレイ方式はレンズを使用せずに二枚のパネルを用いた方式であり、全方向に視差のある映像が表示可能である。レンチキュラ方式やインテグラル方式と異なりレンズを用いないため、二次元映像を表示しても、本来の二次元ディスプレイの解像度と同じ解像度の二次元映像が表示可能（二次元映像と三次元映像との切り替えが可能）である。しかし、インテグラル方式と等価の光線を表示することになるため表示可能な三次元映像の品質が低い。さらに、レンチキュラ方式やインテグラル方式のようなレンズを使用する方式と比較して、表示できる映像の輝度が大幅に低くなってしまう。
【0012】
本発明は、以上のような問題点に鑑みてなされたものであり、品質が高く全方向の視差のある三次元映像を提示することができる視点追従用画像生成装置、プログラムおよび表示システムを提供することを課題とする。
【課題を解決するための手段】
【0013】
前記課題を解決するために、本発明に係る視点追従用画像生成装置は、要素画像を表示する要素画像表示パネルと、前記要素画像表示パネルの背後に設置されて複数の線光源を所定間隔で平行に並べてなる線光源アレイ画像を表示する光源表示用ディスプレイとを有する三次元ディスプレイに用いる前記要素画像および前記線光源アレイ画像を、前記三次元ディスプレイで提示される三次元映像を観察する観察者の視点に応じて生成する視点追従用画像生成装置であって、前記観察者の顔を撮影するカメラの撮影画像を処理して、観察者の視点位置情報と、観察者の両眼を通る直線と前記三次元ディスプレイの水平方向とのなす角で示される視点回転情報と、を含む視点情報を計算する視点情報計算手段と、前記視点回転情報が０である条件のときに前記要素画像の垂直方向を所定の基準方向に一致させて、前記視点位置情報および前記視点回転情報に応じて多視点画像を並べ替え且つ回転させることで前記要素画像を生成する要素画像生成手段と、前記視点回転情報が０である条件のときに前記線光源の長手方向を前記基準方向に一致させて、前記視点回転情報に応じて前記複数の線光源を前記所定間隔を維持しながら回転させて前記線光源アレイ画像を生成する線光源アレイ画像生成手段と、を備えることとした。
【0014】
なお、視点追従用画像生成装置は、コンピュータを、前記した各手段として機能させるための視点追従用画像生成プログラムで動作させることができる。
【0015】
また、本発明に係る表示システムは、要素画像を表示する要素画像表示パネルと、前記要素画像表示パネルの背後に設置されて線光源アレイ画像を表示する光源表示用ディスプレイとを有する三次元ディスプレイと、観察者の顔を撮影するカメラと、前記視点追従用画像生成装置と、を備えることとした。
【発明の効果】
【0016】
本発明は、以下に示す優れた効果を奏するものである。
本発明に係る視点追従用画像生成装置が生成する線光源アレイ画像および要素画像は、線光源アレイ方式の三次元ディスプレイに用いられるものである。線光源アレイ方式はレンチキュラ方式と等価な光線が表示可能なため、本発明に係る表示システムは、レンチキュラ方式のように品質の高い三次元映像が表示可能である。加えて表示システムは、点光源アレイ方式と比較して輝度の高い映像が表示可能である。
また、視点追従用画像生成装置は、視点追従機能において、観察者の視点位置情報だけでなく視点回転情報も取得し、線光源アレイ画像および要素画像を、観察者の両眼の視点位置と回転角度に応じて変化させる。そのため、表示システムは、視点追従機能によって、観察者の両眼の回転角度に合わせた線光源アレイ画像と要素画像を表示することで、観察者の両眼に対して常に視差のある映像が提示できるため全方向視差と同じ効果が得られる。加えて、表示システムは、要素画像を視点位置に応じて変化させることで視域も拡大できる。
したがって、視点追従用画像生成装置は、品質が高く全方向の視差のある三次元映像を提示可能な線光源アレイ画像および要素画像を生成することができる。
また、表示システムは、レンズアレイやレンチキュラレンズを用いないため、二次元映像を表示したときに本来の二次元ディスプレイの解像度と同じ解像度の二次元映像が表示可能（二次元映像と三次元映像との切り替えが可能）である。
したがって、表示システムは、二次元映像と三次元映像との切り替えが可能であり、かつ品質が高く全方向の視差のある三次元映像を提示することができる。
本発明に係る視点追従用画像生成装置が生成する線光源アレイ画像および要素画像は、線光源アレイ方式の三次元ディスプレイに用いられるものである。線光源アレイ方式はレンチキュラ方式と等価な光線が表示可能なため、本発明に係る表示システムは、レンチキュラ方式のように品質の高い三次元映像が表示可能である。加えて表示システムは、点光源アレイ方式と比較して輝度の高い映像が表示可能である。
また、視点追従用画像生成装置は、視点追従機能において、観察者の視点位置情報だけでなく視点回転情報も取得し、線光源アレイ画像および要素画像を、観察者の両眼の視点位置と回転角度に応じて変化させる。そのため、表示システムは、視点追従機能によって、観察者の両眼の回転角度に合わせた線光源アレイ画像と要素画像を表示することで、観察者の両眼に対して常に視差のある映像が提示できるため全方向視差と同じ効果が得られる。加えて、表示システムは、要素画像を視点位置に応じて変化させることで視域も拡大できる。
したがって、視点追従用画像生成装置は、品質が高く全方向の視差のある三次元映像を提示可能な線光源アレイ画像および要素画像を生成することができる。
また、表示システムは、レンズアレイやレンチキュラレンズを用いないため、二次元映像を表示したときに本来の二次元ディスプレイの解像度と同じ解像度の二次元映像が表示可能（二次元映像と三次元映像との切り替えが可能）である。
したがって、表示システムは、二次元映像と三次元映像との切り替えが可能であり、かつ品質が高く全方向の視差のある三次元映像を提示することができる。
【図面の簡単な説明】
【0017】
【図1】第１実施形態に係る表示システムの構成を示す模式図である。
【図2】三次元ディスプレイの構成を示す模式図である。
【図3】第１実施形態に係る表示システムの機能ブロック図である。
【図4】三次元ディスプレイが提示する三次元映像の模式図である。
【図7】カメラアレイの配置を示す模式図である。
【図8】視点回転のないときに応じたカメラアレイの配置の説明図ある。
【図9】視点回転のあるときに応じたカメラアレイの配置の説明図ある。
【図11】変形例に係る表示システムの説明図である。
【発明を実施するための形態】
【0018】
（第１実施形態）
本発明の第１実施形態に係る表示システムの構成について図１～図４を参照して説明する。参照する図面において、三次元ディスプレイ１０の水平方向をＸ軸、三次元ディスプレイ１０の垂直方向をＹ軸、奥行き方向をＺ軸とする。三次元ディスプレイ１０の水平方向は、観察者から見て三次元ディスプレイ１０の輪郭や表示画面が矩形であれば、その矩形の上辺や底辺に平行な方向を意味する。また、三次元ディスプレイ１０に観察者にとって正しく表示された文字や画像が、観察者Ａにとって左右方向に配列されているように見えていれば、三次元ディスプレイ１０の水平方向は、観察者Ａにとっての左右方向である。ＸＹ平面は、三次元ディスプレイ１０の表示面に平行な面である。Ｘ軸の正の向きは、三次元映像の観察者Ａから見て右であり、Ｘ軸の負の向きは、観察者Ａから見て左である。Ｙ軸の正の向きは、三次元映像の観察者Ａから見て上であり、Ｙ軸の負の向きは、観察者Ａから見て下である。Ｚ軸の正の向きは、三次元ディスプレイ１０から観察者Ａへの向きであり、Ｚ軸の負の向きは、観察者Ａから三次元ディスプレイ１０への向きある。なお、図２では、眼によって観察者Ａを示し、図２における左向きの矢印によって観察方向Ｄを示している。
本発明の第１実施形態に係る表示システムの構成について図１～図４を参照して説明する。参照する図面において、三次元ディスプレイ１０の水平方向をＸ軸、三次元ディスプレイ１０の垂直方向をＹ軸、奥行き方向をＺ軸とする。三次元ディスプレイ１０の水平方向は、観察者から見て三次元ディスプレイ１０の輪郭や表示画面が矩形であれば、その矩形の上辺や底辺に平行な方向を意味する。また、三次元ディスプレイ１０に観察者にとって正しく表示された文字や画像が、観察者Ａにとって左右方向に配列されているように見えていれば、三次元ディスプレイ１０の水平方向は、観察者Ａにとっての左右方向である。ＸＹ平面は、三次元ディスプレイ１０の表示面に平行な面である。Ｘ軸の正の向きは、三次元映像の観察者Ａから見て右であり、Ｘ軸の負の向きは、観察者Ａから見て左である。Ｙ軸の正の向きは、三次元映像の観察者Ａから見て上であり、Ｙ軸の負の向きは、観察者Ａから見て下である。Ｚ軸の正の向きは、三次元ディスプレイ１０から観察者Ａへの向きであり、Ｚ軸の負の向きは、観察者Ａから三次元ディスプレイ１０への向きある。なお、図２では、眼によって観察者Ａを示し、図２における左向きの矢印によって観察方向Ｄを示している。
【0019】
（表示システムの概要）
図1に示すように、表示システム１は、三次元ディスプレイ１０と、視点追従用画像生成装置２０と、カメラ３０と、を備えている。三次元ディスプレイ１０は、図２に示すように、要素画像表示用液晶パネル（要素画像表示パネル）１１と、光源表示用ディスプレイ１２とを有する。光源表示用ディスプレイ１２は、要素画像表示用液晶パネル１１の背後に設置されて複数の線光源を所定間隔で平行に並べてなる線光源アレイ画像を表示するものである。三次元ディスプレイ１０は、視点追従用画像生成装置２０に接続される。カメラ３０は、三次元ディスプレイ１０で提示される三次元映像を観察する観察者Ａの顔を撮影するものである。カメラ３０は、視点追従用画像生成装置２０に接続される。カメラ３０は、観察者の顔の画像（顔画像）を取得し、取得した顔画像を視点追従用画像生成装置２０に送る。視点追従用画像生成装置２０は、例えば一般的なパーソナルコンピュータ等で構成される。
図1に示すように、表示システム１は、三次元ディスプレイ１０と、視点追従用画像生成装置２０と、カメラ３０と、を備えている。三次元ディスプレイ１０は、図２に示すように、要素画像表示用液晶パネル（要素画像表示パネル）１１と、光源表示用ディスプレイ１２とを有する。光源表示用ディスプレイ１２は、要素画像表示用液晶パネル１１の背後に設置されて複数の線光源を所定間隔で平行に並べてなる線光源アレイ画像を表示するものである。三次元ディスプレイ１０は、視点追従用画像生成装置２０に接続される。カメラ３０は、三次元ディスプレイ１０で提示される三次元映像を観察する観察者Ａの顔を撮影するものである。カメラ３０は、視点追従用画像生成装置２０に接続される。カメラ３０は、観察者の顔の画像（顔画像）を取得し、取得した顔画像を視点追従用画像生成装置２０に送る。視点追従用画像生成装置２０は、例えば一般的なパーソナルコンピュータ等で構成される。
【0020】
視点追従用画像生成装置２０は、三次元ディスプレイ１０に表示される要素画像および線光源アレイ画像を、観察者Ａの視点に応じて生成するものである。本実施形態では、図３に示すように、視点追従用画像生成装置２０は、要素画像生成手段２１と、線光源アレイ画像生成手段２２と、視点情報計算手段２３と、を備えている。
要素画像生成手段２１は、要素画像表示用液晶パネル１１に表示する要素画像を生成するものである。線光源アレイ画像生成手段２２は、光源表示用ディスプレイ１２に表示する線光源アレイ画像を生成するものである。
要素画像生成手段２１は、要素画像表示用液晶パネル１１に表示する要素画像を生成するものである。線光源アレイ画像生成手段２２は、光源表示用ディスプレイ１２に表示する線光源アレイ画像を生成するものである。
【0021】
視点情報計算手段２３は、カメラ３０の撮影画像を処理して、観察者Ａの視点位置情報と、観察者Ａの両眼を通る直線と三次元ディスプレイ１０の水平方向とのなす角で示される視点回転情報と、を含む視点情報を計算するものである。ここで、視点位置情報は、視点の三次元位置の情報である。具体的には、観察者Ａの両眼を通る直線の中点の三次元座標で示される。以下では、一例として三次元ディスプレイ１０が据え置きテレビのように卓上に置いてあるものとする。この場合、観察者Ａの両眼を通る直線と三次元ディスプレイ１０の水平方向とのなす角は、観察者Ａの両眼を通る直線と、地球系の水平線とのなす角と等しい。なお、三次元ディスプレイ１０は、携帯型の端末であってもよく、その場合、端末を回転して使用することもあるため、その場合には、三次元ディスプレイの水平方向と地球系の水平方向とは必ずしも一致しない。
また、回転とは、具体的には例えば観察者Ａが頭を左（または右）に傾けることや横になること等を指す。また、三次元ディスプレイ１０と観察者Ａとの相対的な回転が重要なので、例えば観察者Ａが傾かずに三次元ディスプレイ１０が傾く場合や両方が傾く場合でもよい。この回転角度は３６０度いずれの角度でも構わない。以下、視点回転情報を、直感的に把握しやすいように、両眼の回転角度の情報という場合がある。
また、回転とは、具体的には例えば観察者Ａが頭を左（または右）に傾けることや横になること等を指す。また、三次元ディスプレイ１０と観察者Ａとの相対的な回転が重要なので、例えば観察者Ａが傾かずに三次元ディスプレイ１０が傾く場合や両方が傾く場合でもよい。この回転角度は３６０度いずれの角度でも構わない。以下、視点回転情報を、直感的に把握しやすいように、両眼の回転角度の情報という場合がある。
【0022】
要素画像生成手段２１は、視点回転情報が０である条件のときに要素画像の垂直方向を所定の基準方向に一致させて、視点位置情報および視点回転情報に応じて多視点画像を並べ替え且つ回転させることで要素画像を生成する。
線光源アレイ画像生成手段２２は、視点回転情報が０である条件のときに線光源の長手方向を前記基準方向に一致させて、視点回転情報に応じて複数の線光源を所定間隔を維持しながら回転させて線光源アレイ画像を生成する。ここで、線光源の長手方向とは、線が伸びている方向を意味する。線光源の線が例えば垂直方向に伸びている場合、線光源の長手方向は垂直方向となる。
なお、視点回転情報が０である条件は、観察者Ａの両眼を通る直線と三次元ディスプレイ１０の水平方向とが平行であることと等価である。
線光源アレイ画像生成手段２２は、視点回転情報が０である条件のときに線光源の長手方向を前記基準方向に一致させて、視点回転情報に応じて複数の線光源を所定間隔を維持しながら回転させて線光源アレイ画像を生成する。ここで、線光源の長手方向とは、線が伸びている方向を意味する。線光源の線が例えば垂直方向に伸びている場合、線光源の長手方向は垂直方向となる。
なお、視点回転情報が０である条件は、観察者Ａの両眼を通る直線と三次元ディスプレイ１０の水平方向とが平行であることと等価である。
【0023】
ここでは、前記基準方向を一例として三次元ディスプレイ１０の垂直方向であるものとする。三次元ディスプレイ１０の垂直方向は、三次元ディスプレイ１０の水平方向に直交する方向であり、ｙ軸方向である。すなわち、要素画像生成手段２１は、
視点回転情報が０である条件のときに要素画像の垂直方向を三次元ディスプレイ１０の垂直方向に一致させて、視点位置情報および視点回転情報に応じて多視点画像を並べ替え且つ回転させることで要素画像を生成する。また、線光源アレイ画像生成手段２２は、視点回転情報が０である条件のときに線光源の長手方向を三次元ディスプレイ１０の垂直方向に一致させて、視点回転情報に応じて複数の線光源を所定間隔を維持しながら回転させて線光源アレイ画像を生成する。
視点回転情報が０である条件のときに要素画像の垂直方向を三次元ディスプレイ１０の垂直方向に一致させて、視点位置情報および視点回転情報に応じて多視点画像を並べ替え且つ回転させることで要素画像を生成する。また、線光源アレイ画像生成手段２２は、視点回転情報が０である条件のときに線光源の長手方向を三次元ディスプレイ１０の垂直方向に一致させて、視点回転情報に応じて複数の線光源を所定間隔を維持しながら回転させて線光源アレイ画像を生成する。
【0024】
（表示システムの各部の構成）
［三次元ディスプレイ１０］
図２に戻って、三次元ディスプレイ１０の構成の説明を続ける。三次元ディスプレイ１０の要素画像表示用液晶パネル１１には要素画像が表示され、光源表示用ディスプレイ１２には線光源アレイ画像が表示される。なお、光源表示用ディスプレイ１２は、ここでは、液晶パネルで構成されるものとするが、液晶以外のディスプレイで構成されていてもよい。観察者Ａから見て、要素画像表示用液晶パネル１１が手前に配置されるフロントパネルであり、光源表示用ディスプレイ１２が奥に配置されるリアパネルである。
［三次元ディスプレイ１０］
図２に戻って、三次元ディスプレイ１０の構成の説明を続ける。三次元ディスプレイ１０の要素画像表示用液晶パネル１１には要素画像が表示され、光源表示用ディスプレイ１２には線光源アレイ画像が表示される。なお、光源表示用ディスプレイ１２は、ここでは、液晶パネルで構成されるものとするが、液晶以外のディスプレイで構成されていてもよい。観察者Ａから見て、要素画像表示用液晶パネル１１が手前に配置されるフロントパネルであり、光源表示用ディスプレイ１２が奥に配置されるリアパネルである。
【0025】
この三次元ディスプレイ１０は線光源アレイ方式であり、その表示イメージを図４に示す。図４は、三次元ディスプレイ１０を上から見た様子を示している。なお、図４では、昆虫（蝶）によって三次元映像Ｍを示し、眼によって観察者Ａを示している。図４において、三次元映像Ｍおよび観察者Ａが横から見たように示されているのは、これらを直感的に把握できるようにするためである。
【0026】
観察者Ａから見て奥に配置される光源表示用ディスプレイ１２には、線光源アレイ画像Ｉとして黒の表示領域Ｂ，Ｂ，Ｂ，Ｂ…の間に白線の画像Ｗ，Ｗ，Ｗ…が表示される。白線の画像Ｗは線光源であり、ここでは線光源の長手方向は、三次元ディスプレイ１０の垂直方向に一致している。観察者Ａから見て手前に配置される要素画像表示用液晶パネル１１には、要素画像Ｅが表示される。なお、要素画像の垂直方向は、三次元ディスプレイ１０の垂直方向に一致している。バックライトである線光源アレイ画像Ｌから要素画像Ｅを照らす光線群Ｇによって、三次元ディスプレイ１０の表面から所定の奥行距離の位置に三次元映像Ｍが提示され、観察者Ａによって観測される。
【0027】
［視点情報計算手段２３］
視点情報計算手段２３は、視点情報を計算するために、以下に示す第１処理と、第２処理と、第３処理とを実行する。
（第１処理）
視点情報計算手段２３は、カメラ３０より入力された顔画像から既知の手法を用いて、観察者の顔のパーツ（目、鼻、口など）の三次元位置と、顔の姿勢と、を推定する。（例えば、特許文献１や下記参考文献１，２，３参照）。
参考文献１：“OpenCV”，［online］，［令和4年11月11日検索］，インターネット＜ＵＲＬ：https://opencv.org/＞
参考文献２：“Dlib”，［online］，［令和4年11月11日検索］，インターネット＜ＵＲＬ：http://dlib.net/＞
参考文献３：“ARCore”，［online］，［令和4年11月11日検索］，インターネット＜ＵＲＬ：https://developers.google.com/ar＞
視点情報計算手段２３は、視点情報を計算するために、以下に示す第１処理と、第２処理と、第３処理とを実行する。
（第１処理）
視点情報計算手段２３は、カメラ３０より入力された顔画像から既知の手法を用いて、観察者の顔のパーツ（目、鼻、口など）の三次元位置と、顔の姿勢と、を推定する。（例えば、特許文献１や下記参考文献１，２，３参照）。
参考文献１：“OpenCV”，［online］，［令和4年11月11日検索］，インターネット＜ＵＲＬ：https://opencv.org/＞
参考文献２：“Dlib”，［online］，［令和4年11月11日検索］，インターネット＜ＵＲＬ：http://dlib.net/＞
参考文献３：“ARCore”，［online］，［令和4年11月11日検索］，インターネット＜ＵＲＬ：https://developers.google.com/ar＞
【0028】
（第２処理）
上記方法で得られる顔のパーツの三次元位置と、顔の姿勢と、はカメラ座標系で表される。そこで、視点情報計算手段２３は、第２処理において、カメラ３０と三次元ディスプレイ１０についての三次元位置および姿勢の関係から、カメラ座標系における位置および姿勢を、三次元ディスプレイ座標系における位置および姿勢に変換する。ここで、三次元ディスプレイ座標系は、例えば、光源表示用ディスプレイ１２の中心を原点とする座標系である。
上記方法で得られる顔のパーツの三次元位置と、顔の姿勢と、はカメラ座標系で表される。そこで、視点情報計算手段２３は、第２処理において、カメラ３０と三次元ディスプレイ１０についての三次元位置および姿勢の関係から、カメラ座標系における位置および姿勢を、三次元ディスプレイ座標系における位置および姿勢に変換する。ここで、三次元ディスプレイ座標系は、例えば、光源表示用ディスプレイ１２の中心を原点とする座標系である。
【0029】
（第３処理）
視点情報計算手段２３は、第３処理において、三次元ディスプレイ座標系における観察者の顔のパーツの三次元位置と、顔の姿勢から、視点の三次元位置（視点位置情報）と、両眼の回転角度（視点回転情報）とを抽出する。視点情報計算手段２３は、上記第１～第３処理の結果得られた視点情報のうち、視点位置情報を要素画像生成手段２１に送り、視点回転情報を線光源アレイ画像生成手段２２および要素画像生成手段２１にそれぞれ送る。
視点情報計算手段２３は、第３処理において、三次元ディスプレイ座標系における観察者の顔のパーツの三次元位置と、顔の姿勢から、視点の三次元位置（視点位置情報）と、両眼の回転角度（視点回転情報）とを抽出する。視点情報計算手段２３は、上記第１～第３処理の結果得られた視点情報のうち、視点位置情報を要素画像生成手段２１に送り、視点回転情報を線光源アレイ画像生成手段２２および要素画像生成手段２１にそれぞれ送る。
【0030】
［要素画像生成手段２１］
要素画像生成手段２１は、三次元モデル２５と、三次元ディスプレイ仕様２４と、視点位置情報と、視点回転情報と、に基づいて要素画像を生成し、要素画像表示用液晶パネル１１に出力する。
要素画像生成手段２１は、三次元モデル２５と、三次元ディスプレイ仕様２４と、視点位置情報と、視点回転情報と、に基づいて要素画像を生成し、要素画像表示用液晶パネル１１に出力する。
【0031】
三次元モデル２５は、三次元映像の被写体となるモデル（図４の場合、蝶）の三次元位置、輝度、色等のデータである。要素画像生成手段２１は、視点追従用画像生成装置２０の内部または外部の記憶手段に予め記憶された三次元モデル２５を読み出して要素画像の生成に用いてもよい。あるいは、要素画像生成手段２１は、視点追従用画像生成装置２０の外部から通信ネットワークを介して入力する三次元モデル２５を用いて要素画像を生成してもよい。
【0032】
三次元ディスプレイ仕様２４は、三次元ディスプレイ１０の表示性能に関する情報である。三次元ディスプレイ仕様２４は、例えば、以下のサイズに関する情報を含む。
要素画像表示用液晶パネル１１についての解像度と画素ピッチ
光源表示用ディスプレイ１２についての解像度と画素ピッチ
光源表示用ディスプレイ１２に表示する線光源の線間隔
光源表示用ディスプレイ１２と要素画像表示用液晶パネル１１との間隔
要素画像表示用液晶パネル１１についての解像度と画素ピッチ
光源表示用ディスプレイ１２についての解像度と画素ピッチ
光源表示用ディスプレイ１２に表示する線光源の線間隔
光源表示用ディスプレイ１２と要素画像表示用液晶パネル１１との間隔
【0033】
なお、線光源の線間隔は、レンチキュラ方式におけるレンチキュラレンズのレンズピッチに相当する。レンチキュラ方式においてレンズの仕様を自由に決められるように、線光源の線間隔も所望の値に設定することができる。線光源の線間隔の具体的な例としては１ｍｍであってもよい。線光源（例えば白線の画像）の線幅を示す画素数は１画素以上必要である。その画素数が多くなり過ぎるとクロストークの影響が大きくなるが、その反面、輝度の高い三次元ディスプレイとなる。三次元ディスプレイの用途に合わせて、線光源の線幅を示す画素数は適宜設定される。
【0034】
［線光源アレイ画像生成手段２２］
線光源アレイ画像生成手段２２は、三次元ディスプレイ仕様２４と、視点回転情報と、に基づいて線光源アレイ画像を生成し、光源表示用ディスプレイ１２に出力する。以下、視点情報に応じた、線光源アレイ画像および要素画像の表示例や生成例について説明する。
線光源アレイ画像生成手段２２は、三次元ディスプレイ仕様２４と、視点回転情報と、に基づいて線光源アレイ画像を生成し、光源表示用ディスプレイ１２に出力する。以下、視点情報に応じた、線光源アレイ画像および要素画像の表示例や生成例について説明する。
【0035】
［視点位置情報に応じた、線光源アレイ画像および要素画像の表示例］
まず、図２～図４を参照して、一例として、視点情報のうち視点回転情報が０度である条件のときに、観察者Ａが三次元ディスプレイ１０の左右に移動するときの視点位置情報だけの寄与がある場合の表示例について説明する。このとき、線光源アレイ画像は、図２または図４のように、白線の画像が周期的に配置されたものとなる。
まず、図２～図４を参照して、一例として、視点情報のうち視点回転情報が０度である条件のときに、観察者Ａが三次元ディスプレイ１０の左右に移動するときの視点位置情報だけの寄与がある場合の表示例について説明する。このとき、線光源アレイ画像は、図２または図４のように、白線の画像が周期的に配置されたものとなる。
【0036】
例えば、図４において観察者Ａが、三次元ディスプレイ１０の左方（Ｘ軸の負の方向）から三次元ディスプレイ１０を視た場合を想定する。この場合、要素画像生成手段２１は、このときに得られる視点位置情報に基づき、後記するようにカメラアレイ（仮想的なカメラ群）の中心位置を視点位置に合わせて、三次元モデル２５および三次元ディスプレイ仕様２４を用いて要素画像を生成し、要素画像表示用液晶パネル１１に出力する。そのため、観察者Ａは、三次元映像Ｍの左方を視認する。
【0037】
一方、図４において観察者Ａが、三次元ディスプレイ１０の右方（Ｘ軸の正の方向）から三次元ディスプレイ１０を視た際には、要素画像生成手段２１は、このときに得られる視点位置情報に基づき、カメラアレイの中心位置を視点位置に合わせて同様に要素画像を生成し、要素画像表示用液晶パネル１１に出力する。そのため、観察者Ａは、三次元映像Ｍの右方を視認する。
【0038】
つまり、観察者Ａは、視る方向によって視差が生じる、立体感がある三次元映像Ｍを視認できる。このようにして、表示システム１は、要素画像を視点位置に応じて変化させることで視域を拡大することができる。なお、視点位置の追従機能によって視域を拡大できることは例えば非特許文献４に開示されている。
【0039】
［視点回転情報に応じた、線光源アレイ画像および要素画像の表示例］
次に、図３、図５および図６を参照して、一例として、図５（ａ）および図６（ａ）に観察方向Ｄを示すように、観察者Ａが三次元ディスプレイ１０の正面に位置しているものとして、視点回転情報に応じた表示例を説明する。
次に、図３、図５および図６を参照して、一例として、図５（ａ）および図６（ａ）に観察方向Ｄを示すように、観察者Ａが三次元ディスプレイ１０の正面に位置しているものとして、視点回転情報に応じた表示例を説明する。
【0040】
まず、図５（ｃ）に示すように観察者の両眼を結ぶ直線が水平線Ｈと一致して視点回転情報が０度であるものとする。これが線光源アレイ方式の基本的な状態である。このときに、リアパネル（光源表示用ディスプレイ１２）に表示される画像は、図５（ａ）に示すように、黒の表示領域Ｂの間に、白線の画像Ｗが周期的に配置された線光源アレイ画像Ｌとなる。すなわち、線光源アレイ画像Ｌは、黒色をベースとして、必要な部分のみ白色の線が一定間隔で並んだ画像になる。この白線が、前（フロント）に配置される要素画像表示用液晶パネル１１の光源となる。
【0041】
要素画像生成手段２１（図３参照）は、このときに得られる視点情報に基づき、カメラアレイの中心位置を視点位置に合わせて要素画像を生成する。このときに、フロントパネル（要素画像表示用液晶パネル１１）に表示される画像は、図５（ａ）に模式的に示すように、ピクセルラインが水平線Ｈに直交するように配置された要素画像Ｅとなる。この要素画像Ｅは、レンチキュラ方式で使用される要素画像に近い画像となる。ただし、レンチキュラ方式の要素画像とは視点画像の並びが逆という点などで異なる。
【0042】
なお、図５（ａ）の要素画像Ｅとして、把握しやすいように模式的に８個の帯が示されている。帯の数は、三次元ディスプレイの水平方向の画素数に相当する。なお、三次元ディスプレイの垂直方向の画素数は、要素画像表示用液晶パネル１１の垂直方向の画素数と同じである。図５（ａ）の要素画像Ｅは、三次元映像を観察したときに横に８画素あるような映像を実現するものである。線光源アレイ画像Ｌにおけるそれぞれの光源画像（白線の画像Ｗ）の配置は、要素画像Ｅのそれぞれの帯のほぼ中心に位置している。中心の白線の画像Ｗは、要素画像Ｅの帯の中心に位置するが、左端（または右端）に向かうほど、対応する帯の中心からのずれが大きくなる（図７参照）。ただし、線光源アレイ画像Ｌにおけるそれぞれの光源画像（白線の画像Ｗ）の配置が、要素画像Ｅのそれぞれの帯の中心に位置するように構成することも可能である。
【0043】
図５（ａ）における矩形領域Ｃの拡大図を図５（ｂ）に示す。矩形領域Ｃには、要素画像Ｅの一部として、左から順に、視点Ｖ１における縦長のピクセルライン、視点Ｖ２における縦長のピクセルライン、視点Ｖ３における縦長のピクセルライン、…、Ｎ番目の視点ＶＮにおける縦長のピクセルライン、視点Ｖ１における縦長のピクセルライン、視点Ｖ２における縦長のピクセルラインを備えている。視点の数Ｎは、例えば１０や２０でもよい。なお、レンチキュラ方式で使用される要素画像の場合、右から順に視点１、視点２、…、視点Ｎとなって視点画像の並びが逆になる。
【0044】
次に、図６（ｃ）に示すように、観察者の両眼が斜めで（水平から傾斜しており）、観察者の両眼を結ぶ直線と水平線Ｈとのなす角がθ（θ≠０：視点回転情報がθ度）であるものとする。このときに、図６（ａ）に示すように、視点回転情報に応じて、回転角度にあわせて、線光源アレイ画像Ｌの線光源画像（白線の画像Ｗ）と要素画像Ｅとが回転する。言い換えれば、基準方向（三次元ディスプレイ１０の垂直方向、ｙ軸方向）に対する線光源アレイ画像Ｌの線光源の角度と要素画像の角度とが変化する。この回転角度は、３６０度全方向に対応可能であり、観察者Ａは、どの方向から見ても、両眼視差のある三次元映像を観察できる。なお、図６（ａ）は、観察者Ａが頭を左に傾け、それに合わせた向きに、線光源アレイ画像Ｌの線光源画像（白線の画像Ｗ）と要素画像Ｅとが回転している様子を示している。これに対して図６（ｃ）において、正面を向いた観察者が頭を右に傾けたように示されているのは、同じ図面の中で回転方向を直感的に把握できるようにするためである。
【0045】
［視点回転情報に応じた、線光源アレイ画像および要素画像の生成例］
線光源アレイ方式の三次元ディスプレイに用いる要素画像については、一般的なレンチキュラ方式の画像と同じように、観察者の視点位置を反映して配置された複数のカメラで撮影した画像を並べ替えることで生成することが可能である。ただし、本実施形態の表示システム１は、観察者の視点位置情報だけではなく、観察者の視点回転情報も取得しており、要素画像生成手段２１（図３参照）は、観察者の視点位置および視点回転を反映して配置された複数のカメラ（カメラアレイ）で撮影した画像を並べ替えることで要素画像を生成する。
線光源アレイ方式の三次元ディスプレイに用いる要素画像については、一般的なレンチキュラ方式の画像と同じように、観察者の視点位置を反映して配置された複数のカメラで撮影した画像を並べ替えることで生成することが可能である。ただし、本実施形態の表示システム１は、観察者の視点位置情報だけではなく、観察者の視点回転情報も取得しており、要素画像生成手段２１（図３参照）は、観察者の視点位置および視点回転を反映して配置された複数のカメラ（カメラアレイ）で撮影した画像を並べ替えることで要素画像を生成する。
【0046】
図７は、三次元ディスプレイ１０を上から見た様子を示している。なお、図７では、視点Ｖの位置に、直感的に把握しやすいように仮想的な眼（観察者Ａ）を配置して示している。図７に示すカメラアレイ５０は、ＣＧ空間（仮想空間）に配置されるものであり、一列に並んだ複数の仮想カメラＣで構成される。ここでは、カメラ位置を識別するため、一端に配置されたカメラを仮想カメラＣａ、中央に配置されたカメラを仮想カメラＣｂ、他端に配置されたカメラを仮想カメラＣｃとしている。カメラを示す三角形の２辺の延長線（破線）で挟まれた角度は画角を示し、三角形の２辺の延長線（破線）で挟まれた領域は、視域を示す。カメラアレイ５０は、視点位置に応じて配置される。すなわち、カメラアレイ５０の中心位置（仮想カメラＣｂの位置）は、視点位置と一致する。視点回転がなければ、カメラアレイ５０は、Ｘ軸に平行に配置される。
【0047】
図８は、観察者Ａが、視点回転角度が０度（視点回転のない状態）である場合に、三次元ディスプレイ１０によって提示された三次元映像Ｍを観察する様子を示す図である。このとき、観察者Ａは、三次元ディスプレイ１０の正面から三次元映像Ｍを視ることで、三次元映像Ｍの正面を視認する。
【0048】
図９は、視点回転角度がθ度（θ≠０：観察者Ａの両眼を結ぶ直線と水平線Ｈとのなす角がθ）である場合に、三次元ディスプレイ１０によって提示された三次元映像Ｍを観察する様子を示す図である。このとき、観察者Ａは、頭を左に傾けた状態で三次元ディスプレイ１０に向かって左側から覗き込むように斜めから三次元映像Ｍを視ることで、三次元映像Ｍの左方を視認する。
なお、図８および図９では、一例としてカメラアレイ５０が５つの仮想カメラで構成されるものとした。
なお、図８および図９では、一例としてカメラアレイ５０が５つの仮想カメラで構成されるものとした。
【0049】
図８および図９に示すように、カメラアレイ５０は、視点回転に応じて回転する。ただしカメラアレイ５０の各カメラＣは回転せず、各仮想カメラＣの中心を通過する線分Ｓが線分Ｓの中点を中心に角度θだけ回転する。回転角度θは、カメラアレイ５０についての基準線（例えば水平線Ｈ）と線分Ｓとのなす角度であって、観察者Ａの視点の回転に応じて変化する。
【0050】
このとき、カメラアレイ５０の各カメラの内部パラメータは、図１０（ａ）および図１０（ｂ）のように、各カメラの位置に応じて、三次元ディスプレイ１０の範囲を撮りきるように設定されていることが望ましい。内部パラメータは画角（焦点距離と画像中心）である。この場合、要素画像生成手段２１は、三次元ディスプレイ１０における要素画像表示用液晶パネル１１のすべての表示範囲を撮影できるようにカメラ位置に応じた内部パラメータがそれぞれ設定された複数の仮想カメラからなるカメラアレイ５０で撮影された被写体の多視点画像から要素画像を生成する。
【0051】
以下、図１０（ａ）および図１０（ｂ）を参照して説明する。
図１０（ａ）は、三次元ディスプレイ１０を上から見た様子を示しており、図１０（ｂ）は、三次元ディスプレイ１０を横（左）から見た様子を示している。図１０（ａ）および図１０（ｂ）において、カメラアレイ５０の三角形はカメラの位置を示し、三角形の２辺の延長線（破線）で挟まれた角度は画角を示し、三角形の２辺の延長線（破線）で挟まれた領域は、視域を示す。
図１０（ａ）は、三次元ディスプレイ１０を上から見た様子を示しており、図１０（ｂ）は、三次元ディスプレイ１０を横（左）から見た様子を示している。図１０（ａ）および図１０（ｂ）において、カメラアレイ５０の三角形はカメラの位置を示し、三角形の２辺の延長線（破線）で挟まれた角度は画角を示し、三角形の２辺の延長線（破線）で挟まれた領域は、視域を示す。
【0052】
図１０（ａ）では、視点Ｖは、三次元ディスプレイ１０の中心に正対しているものとする。視点Ｖの位置には、直感的に把握しやすいように仮想的な眼（観察者Ａ）が配置されている。カメラアレイ５０において、例えばＸ軸の負の方向における端部（図１０（ａ）において下、実際は左）に配置される仮想カメラＣｃを示す三角形の２辺の延長線（破線）は、その仮想カメラが要素画像表示用液晶パネル１１のすべての表示範囲を撮影できるように内部パラメータが設定されていることを模式的に示している。なお、仮想カメラＣａ，Ｃｂについても同様に内部パラメータが設定されていることを模式的に示している。
【0053】
図１０（ｂ）では、視点Ｖは、三次元ディスプレイ１０の中心に正対し、観察者が頭を左に傾けた状態で取得された視点回転情報を反映しているものとする。カメラアレイ５０において、例えばＹ軸の負の方向における端部（図１０（ｂ）において下、図９において最も左）に配置される仮想カメラＣｃを示す三角形の２辺の延長線（破線）は、その仮想カメラが要素画像表示用液晶パネル１１のすべての表示範囲を撮影できるように内部パラメータが設定されていることを模式的に示している。また、カメラアレイ５０において、Ｙ軸の正の方向における端部（図１０（ｂ）において上、図９において最も右）に配置される仮想カメラＣａを示す三角形の２辺の延長線（破線）は、その仮想カメラが要素画像表示用液晶パネル１１のすべての表示範囲を撮影できるように内部パラメータが設定されていることを模式的に示している。なお、仮想カメラＣｂについても同様に内部パラメータが設定されていることを模式的に示している。
【0054】
（表示システムの処理の流れ）
表示システム１の処理の流れについて図３を参照して説明する。まず、カメラ３０で、観察者の顔の画像（顔画像）を撮影する。撮影された顔画像は、視点追従用画像生成装置２０に送られ、視点情報計算手段２３において、観察者の顔のパーツ（目、鼻、口など）の三次元位置と、顔の姿勢と、が推定される。このときに得られる顔のパーツの三次元位置と、顔の姿勢と、はカメラ座標系なので、視点情報計算手段２３は、カメラ３０と三次元ディスプレイ１０の三次元位置と姿勢の関係から、三次元ディスプレイ座標系に変換する。視点情報計算手段２３は、観察者の顔のパーツの三次元位置と、顔の姿勢から、次の処理で必要となる視点の三次元位置（視点位置情報）と、両眼の回転角度（視点回転情報）とを抽出する。視点位置情報は、要素画像生成手段２１に送られる。視点回転情報は、線光源アレイ画像生成手段２２と要素画像生成手段２１とに送られる。さらに、三次元ディスプレイ仕様２４が、線光源アレイ画像生成手段２２と要素画像生成手段２１とに送られる。三次元映像の被写体となる三次元モデル２５（例えば蝶の三次元モデルデータ）が要素画像生成手段２１に送られる。線光源アレイ画像生成手段２２は、光源表示用ディスプレイ１２に表示するための線光源アレイ画像Ｉを生成し、光源表示用ディスプレイ１２に出力する。要素画像生成手段２１は、要素画像表示用液晶パネル１１に表示するための要素画像Ｅを生成し、要素画像表示用液晶パネル１１に出力する。
表示システム１の処理の流れについて図３を参照して説明する。まず、カメラ３０で、観察者の顔の画像（顔画像）を撮影する。撮影された顔画像は、視点追従用画像生成装置２０に送られ、視点情報計算手段２３において、観察者の顔のパーツ（目、鼻、口など）の三次元位置と、顔の姿勢と、が推定される。このときに得られる顔のパーツの三次元位置と、顔の姿勢と、はカメラ座標系なので、視点情報計算手段２３は、カメラ３０と三次元ディスプレイ１０の三次元位置と姿勢の関係から、三次元ディスプレイ座標系に変換する。視点情報計算手段２３は、観察者の顔のパーツの三次元位置と、顔の姿勢から、次の処理で必要となる視点の三次元位置（視点位置情報）と、両眼の回転角度（視点回転情報）とを抽出する。視点位置情報は、要素画像生成手段２１に送られる。視点回転情報は、線光源アレイ画像生成手段２２と要素画像生成手段２１とに送られる。さらに、三次元ディスプレイ仕様２４が、線光源アレイ画像生成手段２２と要素画像生成手段２１とに送られる。三次元映像の被写体となる三次元モデル２５（例えば蝶の三次元モデルデータ）が要素画像生成手段２１に送られる。線光源アレイ画像生成手段２２は、光源表示用ディスプレイ１２に表示するための線光源アレイ画像Ｉを生成し、光源表示用ディスプレイ１２に出力する。要素画像生成手段２１は、要素画像表示用液晶パネル１１に表示するための要素画像Ｅを生成し、要素画像表示用液晶パネル１１に出力する。
【0055】
（変形例１）
三次元ディスプレイ１０における要素画像表示用液晶パネル１１と、光源表示用ディスプレイ１２とには、表示タイミングを同期させる同期信号が入力されるようにすることができる。三次元ディスプレイ１０において、要素画像表示用液晶パネル１１の表示タイミングと、光源表示用ディスプレイ１２の表示タイミングとが一致していなくても、概ね問題ない。ただし、表示タイミングが一致していないと、例えば観察者が頭を傾けた瞬間や、姿勢を戻した瞬間などの視点回転角度が変化する瞬間に、正しい三次元映像が提示されなくなると考えられる。要素画像表示用液晶パネル１１と光源表示用ディスプレイ１２に同期信号を入力することで、常に正しい三次元映像を提示することが可能になる。
三次元ディスプレイ１０における要素画像表示用液晶パネル１１と、光源表示用ディスプレイ１２とには、表示タイミングを同期させる同期信号が入力されるようにすることができる。三次元ディスプレイ１０において、要素画像表示用液晶パネル１１の表示タイミングと、光源表示用ディスプレイ１２の表示タイミングとが一致していなくても、概ね問題ない。ただし、表示タイミングが一致していないと、例えば観察者が頭を傾けた瞬間や、姿勢を戻した瞬間などの視点回転角度が変化する瞬間に、正しい三次元映像が提示されなくなると考えられる。要素画像表示用液晶パネル１１と光源表示用ディスプレイ１２に同期信号を入力することで、常に正しい三次元映像を提示することが可能になる。
【0056】
（変形例２）
視点情報計算手段２３は、観察者の両眼を通る直線と三次元ディスプレイ１０の水平方向とのなす角で示される視点回転情報を計算し、この視点回転情報を時間方向に平滑化して、平滑化された視点回転情報を要素画像生成手段２１および線光源アレイ画像生成手段２２に出力するようにすることができる。表示システム１において、生成される線光源アレイ画像Ｌおよび要素画像Ｅは、観察者の視点情報に応じて常に変化するものである。観察者の視点情報のうち視点回転情報は、視点位置情報と比較して、三次元映像に与える影響が大きいと言える。そのため、なんら工夫しなければ、視点情報計算手段２３において、視点回転情報の誤差を含めた小さな変化が三次元映像に大きな影響を与え、観察しにくくなることが考えられる。これに対して、視点情報計算手段２３が視点回転情報を時間方向に平滑化すれば、三次元映像に与える影響を低減し、三次元映像が観察しにくくなる事態を回避する効果を奏する。
視点情報計算手段２３は、観察者の両眼を通る直線と三次元ディスプレイ１０の水平方向とのなす角で示される視点回転情報を計算し、この視点回転情報を時間方向に平滑化して、平滑化された視点回転情報を要素画像生成手段２１および線光源アレイ画像生成手段２２に出力するようにすることができる。表示システム１において、生成される線光源アレイ画像Ｌおよび要素画像Ｅは、観察者の視点情報に応じて常に変化するものである。観察者の視点情報のうち視点回転情報は、視点位置情報と比較して、三次元映像に与える影響が大きいと言える。そのため、なんら工夫しなければ、視点情報計算手段２３において、視点回転情報の誤差を含めた小さな変化が三次元映像に大きな影響を与え、観察しにくくなることが考えられる。これに対して、視点情報計算手段２３が視点回転情報を時間方向に平滑化すれば、三次元映像に与える影響を低減し、三次元映像が観察しにくくなる事態を回避する効果を奏する。
【0057】
（変形例３）
視点回転情報を時間方向に平滑化する代わりに、視点情報計算手段２３は、観察者の両眼を通る直線と三次元ディスプレイ１０）の水平方向とのなす角で示される視点回転情報を計算し、この視点回転情報を丸め処理して、丸め処理された視点回転情報を要素画像生成手段２１および線光源アレイ画像生成手段２２に出力するようにしてもよい。例えば１０度ごと丸める場合、処理前の視点回転情報が－５度から５度未満の場合、丸め処理の結果として０度の視点回転情報を出力する。同様に、処理前の視点回転情報が５度から１５度未満の場合、丸め処理の結果として１０度の視点回転情報を出力する。この場合も、三次元映像に与える影響を低減し、三次元映像が観察しにくくなる事態を回避する効果を奏する。
視点回転情報を時間方向に平滑化する代わりに、視点情報計算手段２３は、観察者の両眼を通る直線と三次元ディスプレイ１０）の水平方向とのなす角で示される視点回転情報を計算し、この視点回転情報を丸め処理して、丸め処理された視点回転情報を要素画像生成手段２１および線光源アレイ画像生成手段２２に出力するようにしてもよい。例えば１０度ごと丸める場合、処理前の視点回転情報が－５度から５度未満の場合、丸め処理の結果として０度の視点回転情報を出力する。同様に、処理前の視点回転情報が５度から１５度未満の場合、丸め処理の結果として１０度の視点回転情報を出力する。この場合も、三次元映像に与える影響を低減し、三次元映像が観察しにくくなる事態を回避する効果を奏する。
【0058】
（変形例４）
第１実施形態では、線光源画像の基準方向を一例として三次元ディスプレイ１０の垂直方向（ｙ軸方向）であるものとしたが、これに限定されるものではなく、三次元ディスプレイ１０の垂直方向から所定角度傾けた方向であってもよい。この場合、図１１に示すように、要素画像生成手段２１は、観察者Ａの両眼を通る直線が水平線Ｈと平行である（視点回転情報が０である）条件のときに要素画像Ｅの垂直方向を三次元ディスプレイ１０の垂直方向から所定角度α傾けた方向に一致させて、視点位置情報および視点回転情報に応じて多視点画像を並べ替え且つ回転させることで要素画像Ｅを生成する。そして、線光源アレイ画像生成手段２２は、観察者Ａの両眼を通る直線が水平線Ｈと平行であるときに線光源Ｗの長手方向を三次元ディスプレイ１０の垂直方向から所定角度α傾けた方向に一致させて、視点回転情報に応じて複数の線光源Ｗ画像を所定間隔を維持しながら回転させて線光源アレイ画像Ｌを生成する。
第１実施形態では、線光源画像の基準方向を一例として三次元ディスプレイ１０の垂直方向（ｙ軸方向）であるものとしたが、これに限定されるものではなく、三次元ディスプレイ１０の垂直方向から所定角度傾けた方向であってもよい。この場合、図１１に示すように、要素画像生成手段２１は、観察者Ａの両眼を通る直線が水平線Ｈと平行である（視点回転情報が０である）条件のときに要素画像Ｅの垂直方向を三次元ディスプレイ１０の垂直方向から所定角度α傾けた方向に一致させて、視点位置情報および視点回転情報に応じて多視点画像を並べ替え且つ回転させることで要素画像Ｅを生成する。そして、線光源アレイ画像生成手段２２は、観察者Ａの両眼を通る直線が水平線Ｈと平行であるときに線光源Ｗの長手方向を三次元ディスプレイ１０の垂直方向から所定角度α傾けた方向に一致させて、視点回転情報に応じて複数の線光源Ｗ画像を所定間隔を維持しながら回転させて線光源アレイ画像Ｌを生成する。
【0059】
線光源画像の基準方向を三次元ディスプレイ１０の垂直方向から所定角度αだけ傾けることは、言い換えると、線光源アレイ方式の基本的な状態（図５（ｃ）参照）のときに、線光源アレイ画像Ｌおよび要素画像Ｅにオフセットの回転角度αを与えることである。また、所定角度αだけ傾けることは、レンチキュラ方式において、斜めレンチキュラ方式（非特許文献１参照）を採用することに相当する。所定角度αとしては、斜めレンチキュラ方式で提案されている角度を用いることができる。このようにすることで、表示システム１は、線光源アレイ方式の基本的な状態のときにオフセットの回転角度αを与えて線光源アレイ画像Ｌを回転させ、それに応じて回転させた要素画像Ｅを表示することで、光線密度の向上を実現できる。
【0060】
（変形例５）
前記実施形態において、カメラアレイ５０は視点回転に応じて回転しカメラアレイ５０の各カメラは回転しないものと説明したが、視点回転に応じてカメラアレイ５０だけでなく各カメラも回転するようにしてもよい。その場合、要素画像生成手段２１は、各カメラの回転にあわせて各カメラ内部パラメータを変更して要素画像を生成する。このようにすることで、例えば観察者が頭を左に傾けた状態で取得された視点回転情報がθ度であれば、観察者は、左にθ度だけ回転した三次元映像を観察することになる。つまり、三次元映像を座って視聴していた観察者が、横になっても三次元映像を同じような見え方で視聴し続けるような使用が可能となる。また、視点追従用画像生成装置２０は、要素画像生成手段２１の処理において、視点回転に応じてカメラアレイ５０の各カメラが回転するモードと、カメラアレイ５０の各カメラが回転しないモードとを切り替え可能に備えるようにしてもよい。
前記実施形態において、カメラアレイ５０は視点回転に応じて回転しカメラアレイ５０の各カメラは回転しないものと説明したが、視点回転に応じてカメラアレイ５０だけでなく各カメラも回転するようにしてもよい。その場合、要素画像生成手段２１は、各カメラの回転にあわせて各カメラ内部パラメータを変更して要素画像を生成する。このようにすることで、例えば観察者が頭を左に傾けた状態で取得された視点回転情報がθ度であれば、観察者は、左にθ度だけ回転した三次元映像を観察することになる。つまり、三次元映像を座って視聴していた観察者が、横になっても三次元映像を同じような見え方で視聴し続けるような使用が可能となる。また、視点追従用画像生成装置２０は、要素画像生成手段２１の処理において、視点回転に応じてカメラアレイ５０の各カメラが回転するモードと、カメラアレイ５０の各カメラが回転しないモードとを切り替え可能に備えるようにしてもよい。
【0061】
以上、本発明の実施形態に係る視点追従用画像生成装置および表示システムについて説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変などしたものも本発明の趣旨に含まれることはいうまでもない。
【0062】
また、前記した実施形態では、視点追従用画像生成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した装置として動作させるプログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0063】
１ 表示システム
１０ 三次元ディスプレイ
１１ 要素画像表示用液晶パネル（要素画像表示パネル）
１２ 光源表示用ディスプレイ
２０ 視点追従用画像生成装置
２１ 要素画像生成手段
２２ 線光源アレイ画像生成手段
２３ 視点情報計算手段
２４ 三次元ディスプレイ仕様
２５ 三次元モデル
３０ カメラ
５０ カメラアレイ
Ａ 観察者
Ｄ 観察方向
Ｅ 要素画像
Ｌ 線光源アレイ画像
Ｂ 黒の表示領域
Ｗ 白線の画像
Ｇ 光線群
Ｍ 三次元映像
Ｈ 水平線
Ｃ，Ｃａ，Ｃｂ，Ｃｃ 仮想カメラ
Ｖ 視点
１０ 三次元ディスプレイ
１１ 要素画像表示用液晶パネル（要素画像表示パネル）
１２ 光源表示用ディスプレイ
２０ 視点追従用画像生成装置
２１ 要素画像生成手段
２２ 線光源アレイ画像生成手段
２３ 視点情報計算手段
２４ 三次元ディスプレイ仕様
２５ 三次元モデル
３０ カメラ
５０ カメラアレイ
Ａ 観察者
Ｄ 観察方向
Ｅ 要素画像
Ｌ 線光源アレイ画像
Ｂ 黒の表示領域
Ｗ 白線の画像
Ｇ 光線群
Ｍ 三次元映像
Ｈ 水平線
Ｃ，Ｃａ，Ｃｂ，Ｃｃ 仮想カメラ
Ｖ 視点
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
