知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-14
(45)【発行日】2022-09-26
(54)【発明の名称】画像処理装置および画像処理プログラム
(51)【国際特許分類】
H04N 13/307 20180101AFI20220915BHJP
H04N 13/279 20180101ALI20220915BHJP
H04N 13/366 20180101ALI20220915BHJP
G02B 30/10 20200101ALI20220915BHJP
【ＦＩ】
H04N13/307
H04N13/279
H04N13/366
G02B30/10
【請求項の数】
4
(21)【出願番号】P 2018035025
(22)【出願日】2018-02-28
(65)【公開番号】P2019149777
(43)【公開日】2019-09-05
【審査請求日】2021-01-08
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】片山 美和
(72)【発明者】
【氏名】三科 智之
【審査官】益戸 宏
(56)【参考文献】
【文献】特開２０１６－２２４６５６（ＪＰ，Ａ）
【文献】特開２０１０－１１３１５９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １３／００
Ｇ０２Ｂ ３０／００
Ｇ０９Ｇ ５／００
(57)【特許請求の範囲】
【請求項1】
複数のレンズからなるレンズアレーがディスプレーの前面に対面して配置されたインテグラル方式の立体表示装置における前記ディスプレーに表示させる要素画像を被写体の３次元モデルデータから生成する画像処理装置であって、前記レンズアレーを介して立体像を観察する観察者の視点位置を計測する視点位置計測装置から取得した視点位置と、前記視点位置の変化に追従して、前記ディスプレーに表示させる要素画像の画素からの光線が前記レンズアレーにおけるレンズのレンズ中心を通って前記視点位置に入射するように前記要素画像を表示すべき画素位置を算出する要素画像表示画素位置算出手段と、
前記ディスプレーにおいて前記要素画像表示画素位置算出手段で算出された画素位置に配置された要素画像の画素で表示すべき画素値を前記被写体の３次元モデルデータを用いて算出する要素画像表示画素値算出手段と、を備え、
前記要素画像表示画素位置算出手段は、
前記レンズアレーにおける所定のレンズに対向して前記ディスプレーに配置された画素の領域であって固定的に範囲が特定される第１の画素配置領域を、
前記ディスプレーに配置された画素の領域であって前記視点位置に応じて変動的に範囲が特定される第２の画素配置領域へと変換するシフトベクトル量を求め、前記シフトベクトル量により、前記所定のレンズに対応する要素画像を表示すべき画素位置である要素画像内座標をそれぞれ算出し、
前記第１の画素配置領域は、前記所定のレンズの外縁端から前記ディスプレーの前面に下ろした垂線の足で領域の範囲が特定され、
前記第２の画素配置領域は、前記視点位置から前記所定のレンズの外周端縁上の各点をそれぞれ通る直線が前記ディスプレーの前面と交わる各交点で領域の範囲が特定される画像処理装置。
【請求項2】
前記要素画像表示画素値算出手段は、前記レンズの直径に応じて定まる視距離だけ前記レンズアレーから離間して配置された仮想カメラであって、前記要素画像表示画素位置算出手段で算出された画素位置と、前記レンズアレーにおける所定のレンズのレンズ中心と、を通る延長線上に配置された前記仮想カメラから、
前記所定のレンズのレンズ中心への方向を撮影方向として、前記３次元モデルデータに基づく仮想空間における前記被写体の表面と前記延長線との交点の座標を求め、
その座標に対して前記３次元モデルデータにおいて前記被写体の表面に割り当てられている色情報を求めることで当該画素位置の画素値を算出する請求項１に記載の画像処理装置。
【請求項3】
前記要素画像表示画素位置算出手段は、前記視点位置計測装置から、前記観察者の左眼中心位置と右眼中心位置とを取得し、取得した左眼中心位置および右眼中心位置に対して前記要素画像の画素からの光線が前記レンズのレンズ中心を通って入射するように前記ディスプレーにおいて要素画像を表示すべき画素位置である要素画像内座標をそれぞれ算出する請求項１または請求項２に記載の画像処理装置。
【請求項4】
コンピュータを、請求項１から請求項３のいずれか一項に記載の画像処理装置の各手段として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、インテグラル立体方式の要素画像を生成する画像処理装置および画像処理プログラムに関する。
【背景技術】
【0002】
従来、立体像を表示する方式として、インテグラル立体方式が知られている。このインテグラル立体方式は、図９に示すように、撮像装置Ｃによって、２次元配列された複数の要素レンズＬｐからなるレンズアレーＬａを介して、被写体Ａから出た光を撮像する。このとき、要素レンズＬｐの焦点距離だけ離間した撮像面Ｐにおいて、要素レンズＬｐのレンズ間隔で、要素画像Ｇが撮像されることになる。
【0003】
そして、インテグラル立体方式は、図１０に示すように、撮像時と同じ仕様のレンズアレーＬａを介して、表示装置（ディスプレーＤ）の表示面に図９で撮像した要素画像Ｇを表示する。このとき、撮像された被写体空間と同様の光線が再生され、観察者Ｏは、被写体Ａ（図９参照）を、立体像Ｂとして視認することができる。なお、正方配列のレンズアレーＬａの代わりに、図１１に示すデルタ配列のレンズアレーＬｂを用いることもできる。
【0004】
インテグラル立体方式では、高画質ディスプレーに要素画像を表示することが求められている（例えば特許文献１、２や非特許文献１～５参照）。ここで、高画質ディスプレーとは、画素密度の高いディスプレー、言い換えれば画素ピッチの小さなディスプレーである。
【0005】
例えば、非特許文献２には、１ｍｍピッチでマイクロレンズを配置して２４００×２４００ピクセルのディスプレーで６００ｄｐｉの解像度を実現するには、総数１０４０４個のレンズが必要になることが記載されている。
また、非特許文献３には、ＸＧＡ（１０２４×７６８）、２０３ｄｐｉのディスプレーと、幅方向１．００１ｍｍ×高さ方向０．８７６ｍｍのレンズピッチを有したレンズアレーと、を備えるシステムが記載されている。
また、非特許文献４には、１０．４型（以下、１０．４インチともいう）ＸＧＡの液晶ディスプレーと、六角形レンズアレイ（レンズ直径２．３２ｍｍ）と、を備えるシステムが記載されている。
その他、直視型の表示装置で使用されるディスプレーのサイズとしては、これまで２４型（２４インチ）やそれ以下のサイズのディスプレー（以下、２４インチディスプレーと呼ぶ）が多く用いられてきた。
また、非特許文献３には、ＸＧＡ（１０２４×７６８）、２０３ｄｐｉのディスプレーと、幅方向１．００１ｍｍ×高さ方向０．８７６ｍｍのレンズピッチを有したレンズアレーと、を備えるシステムが記載されている。
また、非特許文献４には、１０．４型（以下、１０．４インチともいう）ＸＧＡの液晶ディスプレーと、六角形レンズアレイ（レンズ直径２．３２ｍｍ）と、を備えるシステムが記載されている。
その他、直視型の表示装置で使用されるディスプレーのサイズとしては、これまで２４型（２４インチ）やそれ以下のサイズのディスプレー（以下、２４インチディスプレーと呼ぶ）が多く用いられてきた。
【0006】
これら従来の技術は、インテグラル方式の立体表示システムを実現するための基礎研究が主であった。放送分野でも、従来のＳＤＴＶ（Standard Definition TeleVision：標準解像度テレビ）における解像度表示で、インテグラル方式の立体表示システムを実現する研究がなされてきた。ここでは、これら低解像度の表示を総称してＳＤ解像度表示と呼ぶことにする。また、従来の典型的なディスプレーサイズは、一例として２４インチであるものとする。このとき、従来の低解像度の表示のことを、２４インチのディスプレーにおけるＳＤ解像度表示ともいう。なお、インテグラル立体方式では、要素レンズの間隔やディスプレーの画素ピッチで被写体の解像度が決まる。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２０１２－０８４１０５号公報
【文献】特開２００６－０４８６５９号公報
【非特許文献】
【0008】
【文献】岩舘、片山、「斜投影によるインテグラル立体像の生成手法」、映像情報メディア学会技術報告、2010年10月、第34巻、第43号、p.17-20
【文献】Spyros S. Athineos, "Physical modeling of a microlens array setup for use in computer generated IP", Proceedings of the SPIE, Volume 5664, p.472-479 (2005).
【文献】Huy Hoang Tran and et al, "Interactive 3D Navigation System for Image-guided Surgery", Journal of Virtual Reality, 2009, Vol.8, No.1, p.9-16
【文献】中島勧、他３名、「Integral Photography の原理を用いた3次元ディスプレイの画像高速作成法」、映像情報メディア学会誌、2000年、Vol.54、No.3、p.420-425
【文献】池谷健佑、他１名、「多視点カメラを用いたインテグラル立体における立体再現領域の撮影手法」、電子情報通信学会信学会総合大会、情報・システム講演論文集2、2016年、D-11-25、p.25
【発明の概要】
【発明が解決しようとする課題】
【0009】
現状では、高精細度テレビジョン放送に移行し、家庭においても例えば５０インチなどの大型ディスプレーが利用され始めている。今後、実用的な家庭視聴のインテグラル立体表示を検討するにあたり、５０インチなどの大型ディスプレーで高画質な表示を検討する必要がある。
【0010】
インテグラル立体方式では、高画質ディスプレーに表示された要素画像を観察者がレンズアレー越しに観察する。ここで、レンズアレーを構成する各要素レンズ直下には複数の画素があり、要素レンズのレンズ中心と画素とを結ぶ光線が複数存在する。このとき、観察者が視域内で視点移動すると、そのときの視点位置に応じて、所定の要素レンズ直下にある複数の画素のうちの一画素からの光線のみが観察者の眼に入射する。つまり、視域内の視点移動に伴い、観察者には、いろいろな方向からの光線が観察される。
ここで、レンズ直下の画素とは、ディスプレー画面の上にレンズアレー面を重ねるように配置したときに、レンズアレーにおける該当するレンズの真下に位置している画素のことである。言い換えると、レンズ直下の画素とは、レンズアレーにおける該当レンズ越しに観察できる要素画像の画素である。
ここで、レンズ直下の画素とは、ディスプレー画面の上にレンズアレー面を重ねるように配置したときに、レンズアレーにおける該当するレンズの真下に位置している画素のことである。言い換えると、レンズ直下の画素とは、レンズアレーにおける該当レンズ越しに観察できる要素画像の画素である。
【0011】
これまでの２４インチディスプレーを用いた研究では、要素レンズのレンズ直径が大きい状態、すなわち要素画像サイズが大きく、インテグラル立体表示の画素数が少ない状態を想定した実験をしてきた。このような事情もあって、実験では、ディスプレーの画面全域にわたり要素画像からの光線を観察することができた。このことを、次の式（１）を用いて説明する。なお、本明細書では、記号「＊」は掛け算を表す記号である。
【0012】
【数1】
【0013】
ここで、ｐは、要素画像で眼に入射するべき画素位置（レンズ中心を基準とした位置）、Ｆはレンズの焦点距離、角度θはディスプレー中心から周辺部の要素画像を見込んだ角度をそれぞれ示す（図３参照）。ここで、角度θには、２４インチ横長モニタ（約横０．５３ｍ、縦０．３０ｍ）において、最大値を見積もるため対角線の頂点のなす角度を考慮している。また、本発明者らが実際に使ったレンズでは、焦点距離Ｆは８．５８ｍｍであった。また、そのレンズ直径ｄ（レンズ間隔と等しいとみなす）の値は２．６４ｍｍであった。この場合、視距離は９ｍ程度となる。前記式（１）によれば、２４インチディスプレーとレンズアレーで使用していたシステムでは、レンズ中心から計測した画素位置ｐは０．２９ｍｍであり、レンズ半径（２．６４ｍｍ／２）よりも小さい。よって、この従来のシステムでは、ディスプレーの中心から観察してもディスプレーの端（周辺部）に配置されたレンズ直下の画素が全く見えなくなることはない。
【0014】
しかしながら、今までの２４インチのディスプレーにおけるＳＤ解像度表示と同じ手法で要素画像を生成表示すると、２４インチ程度のディスプレーによるＳＤ解像度表示では起きなかった現象が大型ディスプレーでの高解像度表示では生じることが懸念される。
そのような現象としては、大画面ディスプレーで高解像度表示した場合に、観察者の観察位置において、眼に入射すべき一部の領域の光線が見えなくなる現象を挙げることができる。
そのような現象としては、大画面ディスプレーで高解像度表示した場合に、観察者の観察位置において、眼に入射すべき一部の領域の光線が見えなくなる現象を挙げることができる。
【0015】
例えば解像度４Ｋで５０インチディスプレーを仮定すると、視距離１．５Ｈ相当は約１ｍとなる。なお、Ｈは、ディスプレー高さを示す。この視距離（約１ｍ）で観察した場合、ディスプレーに表示された要素画像の光線がレンズ中心を通って眼に入射しない場合が生じる。具体的には、観察者がディスプレー画面に正対して、ディスプレーの中央で観察した場合には、観察者から遠い左右周辺部からの光線が眼に入射しない場合がある。また、ディスプレーの左端で観察した場合には、右端からの光線が眼に入射しない場合があり、ディスプレーの右端で観察した場合には、左端からの光線が眼に入射しない場合がある。これらのような場合、実質的な視域が狭まり、実物体があるかのように立体像を見えるべきところが、実物体からの光線とは違った光線を提示してしまうことになる。
【0016】
本発明は、以上のような問題点に鑑みてなされたものであり、大型ディスプレーでの高解像度表示に適した要素画像を生成することのできる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0017】
前記課題を解決するために、本発明に係る画像処理装置は、複数のレンズからなるレンズアレーがディスプレーの前面に対面して配置されたインテグラル方式の立体表示装置における前記ディスプレーに表示させる要素画像を被写体の３次元モデルデータから生成する画像処理装置であって、要素画像表示画素位置算出手段と、要素画像表示画素値算出手段と、を備えることとした。
【0018】
かかる構成によれば、画像処理装置は、要素画像表示画素位置算出手段によって、前記レンズアレーを介して立体像を観察する観察者の視点位置を計測する視点位置計測装置から取得した視点位置と、前記視点位置の変化に追従して、前記ディスプレーに表示させる要素画像の画素からの光線が前記レンズアレーにおけるレンズのレンズ中心を通って前記視点位置に入射するように前記要素画像を表示すべき画素位置を算出する。
そして、画像処理装置は、要素画像表示画素値算出手段によって、前記ディスプレーにおいて前記要素画像表示画素位置算出手段で算出された画素位置に配置された要素画像の画素で表示すべき画素値を前記被写体の３次元モデルデータを用いて算出する。
本発明に係る画像処理装置において、前記要素画像表示画素位置算出手段は、前記レンズアレーにおける所定のレンズに対向して前記ディスプレーに配置された画素の領域であって固定的に範囲が特定される第１の画素配置領域を、前記ディスプレーに配置された画素の領域であって前記視点位置に応じて変動的に範囲が特定される第２の画素配置領域へと変換するシフトベクトル量を求め、前記シフトベクトル量により、前記所定のレンズに対応する要素画像を表示すべき画素位置である要素画像内座標をそれぞれ算出し、前記第１の画素配置領域は、前記所定のレンズの外縁端から前記ディスプレーの前面に下ろした垂線の足で領域の範囲が特定され、前記第２の画素配置領域は、前記視点位置から前記所定のレンズの外周端縁の各点をそれぞれ通る直線が前記ディスプレーの前面と交わる各交点で領域の範囲が特定される構成とした。
そして、画像処理装置は、要素画像表示画素値算出手段によって、前記ディスプレーにおいて前記要素画像表示画素位置算出手段で算出された画素位置に配置された要素画像の画素で表示すべき画素値を前記被写体の３次元モデルデータを用いて算出する。
本発明に係る画像処理装置において、前記要素画像表示画素位置算出手段は、前記レンズアレーにおける所定のレンズに対向して前記ディスプレーに配置された画素の領域であって固定的に範囲が特定される第１の画素配置領域を、前記ディスプレーに配置された画素の領域であって前記視点位置に応じて変動的に範囲が特定される第２の画素配置領域へと変換するシフトベクトル量を求め、前記シフトベクトル量により、前記所定のレンズに対応する要素画像を表示すべき画素位置である要素画像内座標をそれぞれ算出し、前記第１の画素配置領域は、前記所定のレンズの外縁端から前記ディスプレーの前面に下ろした垂線の足で領域の範囲が特定され、前記第２の画素配置領域は、前記視点位置から前記所定のレンズの外周端縁の各点をそれぞれ通る直線が前記ディスプレーの前面と交わる各交点で領域の範囲が特定される構成とした。
【0020】
かかる構成によれば、画像処理装置は、要素画像表示画素位置算出手段によって、第１の画素配置領域を基準としたときのシフト量を求めることで、要素画像を表示すべき画素位置を容易に算出することができる。
【0021】
また、本発明に係る画像処理装置は、前記要素画像表示画素値算出手段が、
前記レンズの直径に応じて定まる視距離だけ前記レンズアレーから離間して配置された仮想カメラであって、前記要素画像表示画素位置算出手段で算出された画素位置と、前記レンズアレーにおける所定のレンズのレンズ中心と、を通る延長線上に配置された前記仮想カメラから、
前記所定のレンズのレンズ中心への方向を撮影方向として、前記３次元モデルデータに基づく仮想空間における前記被写体の表面と前記延長線との交点の座標を求め、
その座標に対して前記３次元モデルデータにおいて前記被写体の表面に割り当てられている色情報を求めることで当該画素位置の画素値を算出することとしてもよい。
前記レンズの直径に応じて定まる視距離だけ前記レンズアレーから離間して配置された仮想カメラであって、前記要素画像表示画素位置算出手段で算出された画素位置と、前記レンズアレーにおける所定のレンズのレンズ中心と、を通る延長線上に配置された前記仮想カメラから、
前記所定のレンズのレンズ中心への方向を撮影方向として、前記３次元モデルデータに基づく仮想空間における前記被写体の表面と前記延長線との交点の座標を求め、
その座標に対して前記３次元モデルデータにおいて前記被写体の表面に割り当てられている色情報を求めることで当該画素位置の画素値を算出することとしてもよい。
【0022】
かかる構成によれば、画像処理装置は、要素画像表示画素値算出手段によって、光線追跡により、３次元モデルデータを用いて、全ての要素画像の画素について１画素ずつ画素値を演算するため、高精度に要素画像を生成することができる。
【0023】
また、本発明に係る画像処理装置は、前記要素画像表示画素位置算出手段が、前記視点位置計測装置から、前記観察者の左眼中心位置と右眼中心位置とを取得し、取得した左眼中心位置および右眼中心位置に対して前記要素画像の画素からの光線が前記レンズのレンズ中心を通って入射するように前記ディスプレーにおいて要素画像を表示すべき画素位置である要素画像内座標をそれぞれを算出してもよい。
【0024】
かかる構成によれば、画像処理装置は、要素画像表示画素位置算出手段によって、左眼中心位置および右眼中心位置にそれぞれ入射する光線が通るレンズ範囲を用いるので、左右それぞれの視点位置に対応するレンズ範囲を求めて各領域の和に対して要素画像を生成する範囲を求めるよりも演算時間を短縮することができる。
【0025】
また、本発明は、コンピュータを、前記画像処理装置として機能させるための画像処理プログラムで実現することもできる。
【発明の効果】
【0026】
本発明は、以下に示す優れた効果を奏するものである。
本発明に係る画像処理装置によれば、計測された観察者の視点位置に応じて、ディスプレーにおいて要素画像を表示すべきものとして算出された画素位置に該当画素値を提示するので、観察者の眼に入射すべき一部の領域の光線が見えなくなる事態を防止することができる。したがって、大型ディスプレーでの高解像度表示に適した要素画像を生成することができる。
本発明に係る画像処理装置によれば、計測された観察者の視点位置に応じて、ディスプレーにおいて要素画像を表示すべきものとして算出された画素位置に該当画素値を提示するので、観察者の眼に入射すべき一部の領域の光線が見えなくなる事態を防止することができる。したがって、大型ディスプレーでの高解像度表示に適した要素画像を生成することができる。
【図面の簡単な説明】
【0027】
【図1】本発明の実施形態に係る画像処理装置を含む立体表示装置を模式的に示す構成図である。
【図2】座標空間の模式図であり、（ａ）はディプレーの上方から視た模式図、（ｂ）はディプレーの正面から視た模式図である。
【図3】ディプレーの上方から視た立体表示装置の模式図である。
【図7】従来の立体表示装置による立体像の見え方を模式的に説明する説明図である。
【図9】一般的なインテグラル方式の撮像系を説明するための説明図である。
【図10】一般的なインテグラル方式の表示系を説明するための説明図であって、（ａ）はレンズが正方配列されたレンズアレーの正面図、（ｂ）は（ａ）の側面図である。
【図11】レンズがデルタ配列されたレンズアレーの正面図である。
【発明を実施するための形態】
【0028】
以下、本発明の実施形態に係る画像処理装置について、図面を参照しながら説明する。
図１に示す立体表示システムは、インテグラル方式の立体表示装置１と、視点位置計測装置６とを備えている。
立体表示装置１は、主に、レンズアレー２と、ディスプレー３と、要素画像生成装置５とを備えている。
図１に示す立体表示システムは、インテグラル方式の立体表示装置１と、視点位置計測装置６とを備えている。
立体表示装置１は、主に、レンズアレー２と、ディスプレー３と、要素画像生成装置５とを備えている。
【0029】
レンズアレー２は、複数のレンズ４からなり、ディスプレー３の前面に対面して配置されている。図１ではレンズアレー２を模式的に示しており、レンズ４の個数はこの限りではない。ここでは、一例として、図１０に示すような正方配列でレンズ４が並べられているものとする。レンズ４の形状や種類は特に限定されないが、ここでは、円形の凸レンズであるものしている。
【0030】
ディスプレー３は、高解像度のディスプレーであり、例えば液晶ディスプレーである。ディスプレーの種類は、液晶パネルを用いたものに限らず、例えば有機ＥＬ等でも構わない。ディスプレーは、例えば８Ｋ以上の解像度で画素間隔が小さいことが好ましい。ディプレー３を家庭で用いる場合を想定すると、家庭用ディスプレーのサイズは、例えば５０インチ以上であることが好ましい。
【0031】
なお、撮影側では、被写体から出た光をレンズアレー越しに記録する。これにより、各レンズの像がレンズアレーの仕様に従い並んだ像が記録される。ただし、本実施形態では、実際のカメラを使わずに撮影系を仮想空間中に設定し、要素画像生成装置５（計算機）上で要素画像を生成するものとする。一方、表示側では、記録した要素画像をディスプレー３に表示し、撮影で使用した（仮想空間中の設定に用いた）ものと同じ仕様のレンズアレー２を通して観察する。つまり、ディスプレー３とレンズアレー２から構成される表示器は、要素画像表示器として機能する。この要素画像表示器が、要素画像生成装置５から出力された要素画像を表示し、撮影された被写体空間と同等な光線が再生側で再生される。観察者は、要素画像表示器に表示された要素画像をレンズアレー越しに観察することで、被写体と同等な立体像を観察することができる。
【0032】
要素画像生成装置５は、画像処理装置１０と、記憶装置２０とを備えている。
記憶装置２０は、３次元モデルデータ２１等を記憶するものであって、ハードディスク等の一般的な記憶媒体である。３次元モデルデータ２１は、表示対象であるＣＧ（コンピュータグラフィックス）の３次元オブジェクトを被写体として形成した３次元形状モデルのデータである。
画像処理装置１０は、３次元仮想空間内にレンズアレー等を設置し、光線追跡法により、ディスプレー３に表示させる要素画像を被写体の３次元モデルデータ２１から生成する。この画像処理装置１０は、要素画像生成装置５の外部に設けられる視点位置計測装置６から取得した情報をもとに後記する画像処理を行う。
記憶装置２０は、３次元モデルデータ２１等を記憶するものであって、ハードディスク等の一般的な記憶媒体である。３次元モデルデータ２１は、表示対象であるＣＧ（コンピュータグラフィックス）の３次元オブジェクトを被写体として形成した３次元形状モデルのデータである。
画像処理装置１０は、３次元仮想空間内にレンズアレー等を設置し、光線追跡法により、ディスプレー３に表示させる要素画像を被写体の３次元モデルデータ２１から生成する。この画像処理装置１０は、要素画像生成装置５の外部に設けられる視点位置計測装置６から取得した情報をもとに後記する画像処理を行う。
【0033】
視点位置計測装置６は、レンズアレー２を介して立体像を観察する観察者の視点位置を計測するためのデバイスである。この視点位置計測装置６では、観察者の頭部に磁気センサを付ける、もしくはカメラなどのパッシブセンサにより位置測定をするなどの方法で、ディスプレーの座標系（図２参照）に対する視点位置を計測する。例えば、Microsoft社のKinect（登録商標）などは画像の中の顔を検出すると共に眼の領域を検出し、眼の位置を推定することが可能なので、これを用いてもよい。
【0034】
図２は、要素画像の表示を行うディスプレー３と観察者Ｏの位置関係を示す図である。
観察者がディスプレー３の画面を見ているときに、すなわち、ディスプレー画面に正対するときに、観察者Ｏから向かって右がｘ軸の正の方向となっており、鉛直方向上向きがｙ軸の正の方向となっている。また、ディスプレー３から観察者Ｏへの向きがz軸の正の方向となっている。３次元座標空間の原点は、ディスプレー３の前面に配置されたレンズアレー面の中心に設定されている。ここで、レンズアレー面の中心とは、例えば正方配列において中心に配列されたレンズのレンズ中心である。なお、レンズ中心は例えば主点である。このレンズ中心を含む平面がｘｙ平面である。ｘｙ平面上でレンズアレー上の各レンズ４の位置は、後記するレンズ座標で識別される。３次元座標空間は、これらｘｙｚ軸によって規定されている。一方、ディスプレーにおいて画素が配置された平面（ディスプレー面）には、表示された要素画像に対する画像座標（２次元座標）が設定される。このディスプレー面は、ｘｙ平面に平行な面である。
観察者がディスプレー３の画面を見ているときに、すなわち、ディスプレー画面に正対するときに、観察者Ｏから向かって右がｘ軸の正の方向となっており、鉛直方向上向きがｙ軸の正の方向となっている。また、ディスプレー３から観察者Ｏへの向きがz軸の正の方向となっている。３次元座標空間の原点は、ディスプレー３の前面に配置されたレンズアレー面の中心に設定されている。ここで、レンズアレー面の中心とは、例えば正方配列において中心に配列されたレンズのレンズ中心である。なお、レンズ中心は例えば主点である。このレンズ中心を含む平面がｘｙ平面である。ｘｙ平面上でレンズアレー上の各レンズ４の位置は、後記するレンズ座標で識別される。３次元座標空間は、これらｘｙｚ軸によって規定されている。一方、ディスプレーにおいて画素が配置された平面（ディスプレー面）には、表示された要素画像に対する画像座標（２次元座標）が設定される。このディスプレー面は、ｘｙ平面に平行な面である。
【0035】
ここで、要素画像の見え方を計算するためのパラメータの定義について図３を参照して説明する。図３は、大画面表示における視点位置などの関係を示す。図３では、観察者Ｏの位置が、ディスプレー画面の中心に一致するように、すなわち、ｚ軸上に位置するように、観察者Ｏが要素画像表示器に正対している。ここでは、観察者（Ｏ）における左右の視点位置の中点がｚ軸上に位置している。
【0036】
また、図３では、便宜的にディスプレーの符号３がディスプレー面を表しており、ディスプレーの幅をＷ、ディスプレーの高さをＨ（図示省略）とする。また、便宜的にレンズアレーの符号２がレンズアレー面を表している。なお、レンズアレー面は、レンズ４の厚み方向の中心に設定される。レンズアレー面と観察者Ｏとの距離（視距離）をLengthとする。距離Lengthは、レンズ４の直径に応じて定まる。本実施形態では、レンズ直径が、観察者Ｏの眼の角度分解能で１分以下になるときのレンズアレー面までの距離を視距離とすることとした。ここでは、レンズ４のレンズ直径をｄとする。レンズ直径ｄは、レンズピッチよりも僅かに小さいが、以下では簡便のため、両者が等しいものとして計算に用いることがある。なお、レンズ４の平面視形状が例えば長方形や正方形である場合、その外接円の直径をレンズ直径とみなしてもよい。ディスプレー面とレンズアレー面との距離は、レンズ４の焦点距離Ｆに一致するように設定されている。
【0037】
また、図３では、観察者Ｏが、ディスプレー中心付近から周辺部の要素画像を見込んだ角度をθとする。角度θは、換言すると、ディスプレー画面の中心と観察者Ｏにおける左右の視点位置の中点とを結ぶ第１の線分と、ディスプレーの画面対角線における端点の位置（４頂点位置）と観察者Ｏにおける左右の視点位置の中点とを結んだ第２の線分と、のなす角度である。つまり、角度θは、ディスプレーの水平画角の半値ではない。
【0038】
また、図３では、ｐは、レンズアレー面に沿って（ディスプレー面に沿って）レンズ４のレンズ中心を基準として測った位置である。このｐは、観察者Ｏの視点に入射すべき光線を表示する画素の位置（要素画像で眼に入射するべき画素位置）を表している。この要素画像で眼に入射するべき画素位置ｐと、角度θおよび焦点距離Ｆとの関係式は、次の式（２）で表される。
【0039】
ｐ＝Ｆ＊ｔａｎθ …式（２）
【0040】
図１に戻って、立体表示システムの構成の説明を続ける。
画像処理装置１０は、要素画像表示画素位置算出手段１１と、要素画像表示画素値算出手段１２と、を備える。
画像処理装置１０は、要素画像表示画素位置算出手段１１と、要素画像表示画素値算出手段１２と、を備える。
【0041】
要素画像表示画素位置算出手段１１は、レンズアレー２におけるレンズ４ごとに、視点位置を用いてディスプレー３において要素画像を表示すべき画素位置を算出するものである。要素画像表示画素位置算出手段１１は、視点位置計測装置６から視点位置（左眼中心位置と右眼中心位置）を取得する。要素画像表示画素位置算出手段１１は、取得した視点位置と、視点位置の変化に追従して、ディスプレー３に表示させる要素画像の画素からの光線がレンズアレー２におけるレンズ４のレンズ中心を通って視点位置に入射するように当該画素の位置を算出する。また、要素画像表示画素位置算出手段１１では、図４に示すように、視点移動により変化した視点位置と、レンズ周辺部（外縁部）とを結ぶ直線を用いて、変化した視点位置に応じて、表示すべき画素位置を計算する。ここで算出された画素位置である要素画像内座標は、要素画像表示画素値算出手段１２に出力される。なお、要素画像内座標や処理の詳細については、要素画像表示画素値算出手段１２における計算処理の前提を説明した後で説明する。
【0042】
要素画像表示画素値算出手段１２は、要素画像表示画素位置算出手段１１で算出された画素位置に配置された要素画像の画素で表示すべき画素値を、被写体の３次元モデルデータ２１を用いて算出する。この要素画像表示画素値算出手段１２は、レンズアレー２におけるレンズ４ごとに、ディスプレー３において表示すべき画素値を算出する。
要素画像表示画素値算出手段１２は、上記算出された画素位置において、図５に示すように、視点位置に相当する仮想カメラ３０の位置とレンズ中心とを結ぶ直線上の単位ベクトル（太い矢印）を求める。そして、要素画像表示画素値算出手段１２は、この単位ベクトルを、被写体空間に延長して被写体の表面４０との交点の色を求めることで、各画素で表示すべき色を決定する。
要素画像表示画素値算出手段１２は、上記算出された画素位置において、図５に示すように、視点位置に相当する仮想カメラ３０の位置とレンズ中心とを結ぶ直線上の単位ベクトル（太い矢印）を求める。そして、要素画像表示画素値算出手段１２は、この単位ベクトルを、被写体空間に延長して被写体の表面４０との交点の色を求めることで、各画素で表示すべき色を決定する。
【0043】
以下、要素画像表示画素値算出手段１２で用いる光線追跡手法による透視投影の原理について図５を参照して説明する。ｚ方向についての距離Lengthは、レンズアレー２から観察者（図３参照）までの距離と等しくなるように設定されている。図５では、説明のため、ｙ軸方向に７個のレンズ４が配置されるようなレンズアレー２が座標空間に配置されているものとしている。また、ディスプレー３には、レンズ４に対応するようにｙ軸方向に７個の要素画像が配置され、各要素画像は、ｙ軸方向に９個の画素で構成されるものとしている。図５のディスプレー３において、三角形で表示した画素は、要素画像表示画素位置算出手段１１で算出された理想的な要素画像画素位置（以下、理想要素画像画素位置）であるものとする。
【0044】
光線追跡手法では、まず、求められた理想要素画像画素位置から、レンズアレー２における最近傍のレンズ４のレンズ中心位置を向く単位ベクトルを求める。次に、要素画像表示画素値算出手段１２は、仮想空間において仮想カメラ３０の位置を求める。仮想カメラ３０の位置は、観察者（図３参照）の位置に対応している。この仮想カメラ３０の位置は、先に求めた単位ベクトルの延長線上であって、レンズアレー２からｚ方向についての距離Lengthだけ離間した位置として求められる。
【0045】
次に、観察者（図３参照）が観測する色情報を取得するために、仮想カメラ３０によって、先に求めた単位ベクトルの逆方向（最近傍のレンズ４のレンズ中心への方向）へ向けて撮影する。これは、要素画像表示画素値算出手段１２が、３次元モデルデータ２１に基づく仮想空間における被写体の表面４０と、先に求めた単位ベクトルの延長線との交点の座標を求めることを意味する。こうして得られた撮影画像の中心画素の画素値が、理想要素画像画素位置で表示すべき値である。具体的には、要素画像表示画素値算出手段１２は、求めた交点の座標に対して３次元モデルデータ２１において被写体の表面４０に割り当てられている色情報を求めることで当該画素位置の画素値を算出する。上記一連の処理を全ての表示画素に対して繰り返すことで、要素画像全体を作成する手法が光線追跡に基づく手法である。
【0046】
次に、仮想カメラ位置と単位ベクトルの詳細な求め方について図５を参照して数式を用いて説明する。図５において、レンズ座標を（ｎ，ｍ）とする。ただし、ｎ，ｍは整数である。また、レンズ座標（ｎ，ｍ）のレンズ中心位置をＨ（ｎ，ｍ）とする。そのレンズ中心を通って眼に入射する要素画像の画素をＩ′n,m（ｕ，ｖ）とする。ただし、ｕ，ｖは整数である。ここで、ｎ，ｍはレンズの位置を表す整数であり、レンズアレー２におけるレンズ総数との間に、次の式（３ａ）、式（３ｂ）で示す関係があるものとする。また、（ｕ，ｖ）は、要素画像内のローカル座標であって、レンズ中心位置Ｈ（ｎ，ｍ）を原点とする。ただし、ｕ，ｖは要素画像内の画素の位置（要素画像内座標）を表す整数であり、要素画像における画素数との間に、次の式（３ｃ）、式（３ｄ）で示す関係があるものとする。
【0047】
【数2】
【0048】
レンズ座標（ｎ，ｍ）において、要素画像の画素Ｉ′n,m（ｕ，ｖ）から、レンズ中心位置Ｈ（ｎ，ｍ）までの単位ベクトル（ｉx，ｉy，ｉz）は、以下のように生成される。ここでは、正方配列のレンズアレー２におけるｘ方向のレンズ間隔をＸLensex、ｙ方向のレンズ間隔をＹLenseyとする。また、ディスプレー３におけるｘ方向の画素間隔をＰH、ｙ方向の画素間隔をＰVとする。
【0049】
まず、２次元座標であるレンズ座標（ｎ，ｍ）に関連付けて一般化して定義したレンズ中心位置Ｈ（ｎ，ｍ）を、図２の３次元空間座標で表すことにする。この場合、３次元空間座標において一般化したレンズ中心位置のｘ座標をＸRとする。また、同様に、３次元空間座標におけるレンズ中心位置のｙ座標をＹRとする。レンズ座標は、もともとｘｙ平面上の座標であったので、３次元空間座標におけるレンズ中心位置のｚ座標を０とする。要するに、レンズ座標における一般化されたレンズ中心位置Ｈ（ｎ，ｍ）を、３次元空間座標で表記すると、（ＸR，ＹR，０）となる。ここで、レンズ間隔ＸLensex，ＹLensey、および整数ｍ，ｎを用いると、３次元空間座標におけるレンズ中心位置の座標は、次の式（４）で表される。
【0050】
（ＸR，ＹR，０）＝（ｎＸLensex，ｍＹLensey，０） …式（４）
【0051】
次に、２次元座標であるレンズ座標（ｎ，ｍ）に関連付けられた画素Ｉ′n,m（ｕ，ｖ）からの光線がレンズ中心位置Ｈ（ｎ，ｍ）を通って眼に入射する現象を、図２の３次元空間座標で表すことにする。この場合、３次元空間座標において各画素のｘ座標をＸP、ｙ座標をＹPとする。また、ディスプレー面は、レンズアレー面（ｘｙ平面）から視てｚ軸の負の方向に焦点距離Ｆだけ離間しているので、３次元空間座標において各画素のｚ座標を－Ｆとする。要するに、レンズ座標における画素Ｉ′n,m（ｕ，ｖ）の位置を、３次元空間座標で表記すると、（ＸP，ＹP，－Ｆ）となる。ここで、レンズ間隔ＸLensex，ＹLensey、画素間隔ＰH，ＰVおよび整数ｍ，ｎ，ｕ，ｖを用いると、レンズ中心位置Ｈ（ｎ，ｍ）を通る光線を表示する各画素位置の３次元空間座標における座標は、次の式（５）で表される。
【0052】
（ＸP，ＹP，－Ｆ）＝（ｎＸLensex＋ｕＰH，ｍＹLensey＋ｖＰV，－Ｆ） …式（５）
【0053】
つまり、仮想カメラ３０から視ると、仮想カメラ３０とレンズ中心位置Ｈ（ｎ，ｍ）とを結ぶ直線の延長線上に画素Ｉ′n,m（ｕ，ｖ）が見えることになる。これらの数式と図５から、仮想カメラ位置は次の式（６）で表される。また、単位ベクトル（ｉx，ｉy，ｉz）は次の式（７）で表わされる。
【0054】
【数3】
【0055】
次に、要素画像表示画素位置算出手段１１による処理の詳細について図４を参照して説明する。ここでは、画素値を計算すべき要素画像範囲の求め方について説明する。
【0056】
要素画像表示画素位置算出手段１１は、レンズアレー２におけるレンズ４ごとに、第１の画素配置領域を、第２の画素配置領域へ変換するシフト量を求めることで、要素画像表示画素値算出手段１２において所定のレンズに対応する要素画像についての画素値を計算すべき画素が位置する範囲を求める。そして、要素画像表示画素位置算出手段１１は、画素値を計算すべき画素が位置する範囲に配置された各画素の位置を、ディスプレー３において要素画像を表示すべき画素位置として算出する。
ここで、第１の画素配置領域とは、レンズアレー２における所定のレンズ４に対向してディスプレー３に配置された画素の領域で範囲が特定される領域である。つまり、第１の画素配置領域は、従来技術で用いているレンズ直下に配置された画素の領域をいう。第１の画素配置領域は、レンズ４における例えば左右上下のそれぞれのレンズ端からディスプレー３の前面に向けて垂直に延長した直線とディスプレー面との交点で領域の範囲が特定される。レンズアレー面がディスプレー面の真上に位置しているとすると、第１の画素配置領域は、レンズ端からディスプレー面に下ろした垂線の足で領域の範囲が特定される。
また、第２の画素配置領域とは、視点位置計測装置６より取得した視点位置から前記所定のレンズ４のレンズ中心を通る方向に向けて当該レンズ４をディスプレー３上に投影したときに形成される画素の領域で範囲が特定される領域である。この第２の画素配置領域は、視点位置からレンズ４における例えば左右上下のそれぞれのレンズ端を通るように延長したそれぞれの直線がディスプレー３の前面と交わる４点で領域の範囲が特定される。
ここで、第１の画素配置領域とは、レンズアレー２における所定のレンズ４に対向してディスプレー３に配置された画素の領域で範囲が特定される領域である。つまり、第１の画素配置領域は、従来技術で用いているレンズ直下に配置された画素の領域をいう。第１の画素配置領域は、レンズ４における例えば左右上下のそれぞれのレンズ端からディスプレー３の前面に向けて垂直に延長した直線とディスプレー面との交点で領域の範囲が特定される。レンズアレー面がディスプレー面の真上に位置しているとすると、第１の画素配置領域は、レンズ端からディスプレー面に下ろした垂線の足で領域の範囲が特定される。
また、第２の画素配置領域とは、視点位置計測装置６より取得した視点位置から前記所定のレンズ４のレンズ中心を通る方向に向けて当該レンズ４をディスプレー３上に投影したときに形成される画素の領域で範囲が特定される領域である。この第２の画素配置領域は、視点位置からレンズ４における例えば左右上下のそれぞれのレンズ端を通るように延長したそれぞれの直線がディスプレー３の前面と交わる４点で領域の範囲が特定される。
【0057】
ここでは、図４において、観察者Ｏの視点位置をＱ（ｘq，ｙq，Length）として説明する。また、図４において、視点位置と、レンズ周辺部（外縁部）とを結ぶ直線の範囲（観察者Ｏの視線の範囲）において、３次元空間座標で表したレンズアレー２上の位置をＰ（ｘ，ｙ，０）（図示省略）とする。また、第１の画素配置領域を第２の画素配置領域へ変換するシフト量をシフトベクトル量Ｐshiftとする。このような前提の場合、シフトベクトル量Ｐshiftは、以下の式（８）で表される。なお、Ｆはレンズ４の焦点距離である。
【0058】
【数4】
【0059】
なお、図４は、ｙｚ空間を表示することでｙ軸方向におけるシフト量を説明する模式図であるが、ｘ軸方向におけるシフト量も同様に求めることができる。この図４の模式図においては、第１の画素配置領域は、ＸＹ平面（レンズアレー面）に配置されたレンズ４の外縁からディスプレー３上に下ろした垂線の足で規定される範囲の領域である。一方、視点位置とレンズ周辺部とを結ぶ直線を、図４に示すようにディスプレー３上まで延長すると、延長したそれぞれの直線がディスプレー３の前面と交わる点で規定される範囲が、第２の画素配置領域となる。図４においてＸＹ平面から下ろした垂線の足の位置からのシフト量、すなわち、シフトベクトル量Ｐshiftのｙ方向成分が、式（８）で示すシフトベクトル量Ｐshiftのｙ方向成分である。
【0060】
ここでは、レンズアレー２の範囲を簡単化して、正面視でレンズ１個分の範囲を考慮する。また、レンズ中心位置Ｈ（ｎ，ｍ）に関する３次元空間座標（ＸR，ＹR，０）のうち、ｘ成分およびｙ成分だけを用いる。つまり、レンズ中心位置の座標を（ＸR，ＹR）とみなす。また、正方配列のレンズアレー２におけるｘ方向のレンズ間隔ＸLensex、およびｙ方向のレンズ間隔ＹLenseyがレンズ直径ｄと等しいものとする（Ｘlensex＝ｄ、かつ、Ｙlensey＝ｄ）。つまり、正面視でレンズ４の形状を一辺の長さｄの正方形とする。以上のような前提の場合、レンズ４の左端座標は、以下の式（９ａ）で表すことができる。また、このレンズの右端座標は、式（９ｂ）で表すことができる。同様に、このレンズの下端座標は、式（９ｃ）で、上端座標は式（９ｄ）で表すことができる。
【0061】
【数5】
【0062】
ここで、画素値を求める必要のあるｘ軸方向の範囲をRangeXとし、同様にｙ軸方向の範囲をRangeYとする。この場合、要素画像表示画素位置算出手段１１は、ｘ軸方向の範囲RangeXについては、前記式（８）と、式（９ａ）、式（９ｂ）の値とから以下の式（１０ａ）で表される範囲の画素位置を求める。また、要素画像表示画素位置算出手段１１は、ｙ軸方向の範囲RangeYについては、前記式（８）と、式（９ｃ）、式（９ｄ）の値とから以下の式（１０ｂ）で表される範囲の画素位置を求める。
【0063】
【数6】
【0064】
なお、従来の方法では、レンズの直径の範囲に含まれる画素、すなわち、レンズ直下に配置された画素を、表示すべき画素としていた。つまり、従来の方法は、前記式（８）で示す位置シフト分を考慮していないので、画素値を求める必要のある範囲は、前記式（９ａ）～式（９ｄ）だけで定まる。
【0065】
ここでは、要素画像表示画素位置算出手段１１による画素位置の求め方の一例を示したが、左右それぞれの視点位置に対応するレンズ範囲を求めて各領域の和に対して要素画像を生成する範囲の求め方も考えられる。なお、実際には、観察者には、左右の視点位置とレンズ中心を結ぶ位置の画素が見えている。ただし、観察者の運動速度が比較的小さいことを考慮したとしても、左右の視点位置に対応するそれぞれのレンズ範囲の和は、比較的大きな領域であり、また、多くの演算時間も要する。そのため、本実施形態では、左右の視点位置に対して要素画像の画素からの光線がレンズのレンズ中心を通って入射するようにレンズ範囲を求める求め方を示した。これにより、左右それぞれの視点位置に対応するレンズ範囲を求めて各領域の和に対して要素画像を生成する範囲を求めるよりも演算時間を短縮する効果を奏する。
【0066】
［画像処理装置の動作］
次に、図６を参照（構成については、適宜図１参照）して、本発明の実施形態に係る画像処理装置１０の動作について説明する。
まず、画像処理装置１０は、立体表示装置１のパラメータを入力する（ステップＳ１）。そして、画像処理装置１０は、視点位置計測装置６から、視点位置（視点位置の座標）を取得する（ステップＳ２）。そして、要素画像表示画素位置算出手段１１は、要素画像を表示する画素の位置を算出する（ステップＳ３）。そして、要素画像表示画素値算出手段１２は、表示すべき画素値を算出する（ステップＳ４）。そして、画像処理装置１０は、要素画像内の全画素について画素値の算出が完了したか否かを判定する（ステップＳ５）。
次に、図６を参照（構成については、適宜図１参照）して、本発明の実施形態に係る画像処理装置１０の動作について説明する。
まず、画像処理装置１０は、立体表示装置１のパラメータを入力する（ステップＳ１）。そして、画像処理装置１０は、視点位置計測装置６から、視点位置（視点位置の座標）を取得する（ステップＳ２）。そして、要素画像表示画素位置算出手段１１は、要素画像を表示する画素の位置を算出する（ステップＳ３）。そして、要素画像表示画素値算出手段１２は、表示すべき画素値を算出する（ステップＳ４）。そして、画像処理装置１０は、要素画像内の全画素について画素値の算出が完了したか否かを判定する（ステップＳ５）。
【0067】
ここで、要素画像内の全画素について画素値の算出が完了していない場合（ステップＳ５：Ｎｏ）、画像処理装置１０は、ステップＳ４に戻って、要素画像内の他の画素を対象として、順次、要素画像内の画素値を算出する。なお、ステップＳ３～ステップＳ５は、各要素画像について順次、行う。一方、要素画像内の全画素について画素値の算出が完了している場合（ステップＳ５：Ｙｅｓ）、画像処理装置１０は、要素画像をディスプレー３に出力する。これにより、ディスプレー３は、要素画像を表示する（ステップＳ５）。
以上の動作によって、画像処理装置１０は、大型ディスプレーでの高解像度表示に適した要素画像を生成することができる。
以上の動作によって、画像処理装置１０は、大型ディスプレーでの高解像度表示に適した要素画像を生成することができる。
【0068】
以下では、本実施形態で算出する要素画像表示位置の模式図（図８）と、従来の要素画像表示位置の模式図（図７）とを対比すると共に数式を用いて本実施形態の画像処理装置の効果を説明する。まず、図７について説明する。
図７では、レンズアレー２に配置された各レンズ４のうち中心に配置された中央レンズをレンズ４ａと表記している。また、レンズアレー２およびディスプレー３の範囲を簡単化して、観察者の正面視でレンズ１個分の範囲を考慮している。また、図７では、レンズ４ａをｙ軸の正の方向から視た上面図と、レンズ４ａをｚ軸の正の方向から視た正面図の組を、３パターンで模式的に示している。このうち、上面図には、ディスプレー３に表示された要素画像の各画素からレンズ中心を通過して、眼に入射する光線を実線で表示し、眼に入射しない光線を破線で示している。また、正面図では、レンズ４ａの直下に、概ね７×７個の画素が配置されているものとしている。これら３パターンでは、ディスプレー３に対して固定的に配置された同一のレンズ４ａに対して、互いに異なる視点位置を、観察者Ｏ１、観察者Ｏ２および観察者Ｏ３のように模式的に表している。
図７では、レンズアレー２に配置された各レンズ４のうち中心に配置された中央レンズをレンズ４ａと表記している。また、レンズアレー２およびディスプレー３の範囲を簡単化して、観察者の正面視でレンズ１個分の範囲を考慮している。また、図７では、レンズ４ａをｙ軸の正の方向から視た上面図と、レンズ４ａをｚ軸の正の方向から視た正面図の組を、３パターンで模式的に示している。このうち、上面図には、ディスプレー３に表示された要素画像の各画素からレンズ中心を通過して、眼に入射する光線を実線で表示し、眼に入射しない光線を破線で示している。また、正面図では、レンズ４ａの直下に、概ね７×７個の画素が配置されているものとしている。これら３パターンでは、ディスプレー３に対して固定的に配置された同一のレンズ４ａに対して、互いに異なる視点位置を、観察者Ｏ１、観察者Ｏ２および観察者Ｏ３のように模式的に表している。
【0069】
図７に示す従来の要素画像の表示方法では、２４インチ以下のディスプレーを前提としており、レンズ直下の画素位置の中でそのレンズ中心を通り眼に入射するべき画素を表示している。具体的には、観察者Ｏ１の位置（図７において左側）のように、上面視で視点位置が、画面中央付近、かつ、レンズアレー２の中心に近い場合、レンズ直下の要素画像が視点位置に応じて表示される。
【0070】
しかしながら、従来の要素画像の表示方法は、要素画像の表示位置を視点位置に応じて変える制御をすることなく固定している。一方で、視点位置によってレンズ中心を通して観察できる光線の画素位置は異なる。そのため、例えば観察者Ｏ２の位置（図７において中央）のように、上面視で視点位置が、ディスプレー中央付近、かつ、レンズアレー２の中央レンズ４ａの位置から少し離れた場合には、レンズ４ａの直下にある一部の画素からの光線が眼に入射しなくなる。
【0071】
また、観察者Ｏ３の位置（図７において右側）のように、上面視で視点位置が、ディスプレー中央付近、かつ、レンズアレー２の中央レンズ４ａの位置から大きく離れた場合には、レンズ４ａの直下にある各画素からの光線が全く眼に入射しなくなる。このように観察者Ｏ２，Ｏ３の位置では、レンズ４ａの直下に配置された画素のうち、光線が眼に入射する画素は少なくなり、レンズ４ａの直下に配置されていない画素、すなわち近隣要素画像の画素からの光線が、高次の像として、レンズ４ａのレンズ中心を通して眼に入射するようになる。
【0072】
このため、２４インチ以下のディスプレーを用いて行っていた従来の要素画像の表示方法を５０インチディスプレーで用いると、次のような不具合が発生することが懸念される。すなわち、従来技術によると、５０インチディスプレーでは、レンズ４ａ直下の画素からの光線は、レンズ４ａのレンズ中心を通過すると入射角度が小さいために眼へ入射しない領域があり、近隣の要素画像の画素からの光線が、レンズ４ａのレンズ中心を通ることにより発生する高次の像が観察されるなどする結果、正しい立体像を観察することが難しくなる。
【0073】
次に、従来の要素画像の表示方法において、実際に使用しているレンズアレーなどの値を用いて、５０インチのディスプレー周辺部の画素からの光線が、ディスプレー中心付近にいる観察者の眼に入射するか否かを以下に検証する。ここでは、例えば５０インチディスプレーとして、視距離Lengthが約１ｍのものを想定する（図３参照）。また、レンズアレー２として、レンズ直径がｄ＝０．２９ｍｍ、焦点距離Ｆ＝０．５４ｍｍのものを想定する。この場合、ディスプレー中心付近から、ディスプレー周辺部の要素画像を見込んだ角度θはおよそ３０度である。そのため、ディスプレー周辺部の要素画像において、当該要素画像の画素からの光線が、観察者の眼に入射するべき画素位置ｐ、すなわち、ディスプレー周辺部に配置されたレンズ４のレンズ中心からの距離は、次の式（１１）で表される。
【0074】
【数7】
【0075】
要するに、従来の要素画像の表示方法によると、５０インチディスプレーの周辺部に表示される要素画像の画素位置では、レンズ４の直下の画素からの光線は、画面中心から観察する観察者の眼には入射しない。言い換えると、前記式（１１）の不等号が反対向きになる条件であれば、全画素の光線が眼に入射することになる。この条件を、図３に示した各パラメータ等を用いて一般化して説明する。ここでは、一例として、観察者が画面中心から観察したときに、要素画像内の各画素における全画素からの光線が眼に入射する場合を想定している。このように画面中心から観察すると、ディスプレーの画面対角線における端点の位置（４頂点位置）近傍で最も角度θが大きくなる。そのため、この条件は、ディスプレー幅をＷ、ディスプレー高さをＨとすると、次の式（１２）で表される。
【0076】
【数8】
【0077】
なお、この条件は、ディスプレーの周辺部（端）に表示される要素画像の画素位置からの光線を含めた全画素の光線が眼に入射する条件であるものとしたが、本実施形態に係る画像処理装置１０は、図７に示す観察者Ｏ２の位置（図７において中央）のように、レンズ直下の画素のうち、少なくとも一部の画素からの光線が眼に入射しなくなる事態を防ぐことができるように構成されている。
【0078】
次に、図８について説明する。図８では、図７と同様に、レンズ４ａをｙ軸の正の方向から視た上面図と、レンズ４ａをｚ軸の正の方向から視た正面図の組を、３パターンで模式的に示している。ただし、同一のレンズ４ａに対して、互いに異なる視点位置を、観察者Ｏ４、観察者Ｏ５および観察者Ｏ６のように模式的に表している点が、図７と異なっている。
【0079】
図８に示す本実施形態に係る要素画像の表示方法では、要素画像表示画素位置算出手段１１が、視点位置計測装置６から取得する視点位置に応じて、レンズ中心を通り眼に入射するべき画素の位置を算出する制御を行い、要素画像表示画素値算出手段１２が、該当する画素値をディスプレー３に表示している。具体的には、観察者Ｏ４の位置（図８において左側）のように、上面視で視点位置が、画面中央付近、かつ、レンズアレー２の中心に近い場合には、レンズ直下の要素画像が視点位置に応じて表示される。
【0080】
なお、図８において左側のパターンでは、正面視で要素画像の７×７個の画素のうち、右側の３列を識別する符号を付加し、列Ｃ１，Ｃ２，Ｃ３に配列された画素群はレンズ４ａの直下に配置されていることとしている。そして、図８において中央のパターンでは、正面視で要素画像の７×７個の画素のうち、左から４列目を識別する符号を追加し、列Ｃ４に配列された画素群はレンズ４ａの直下に配置されていないこととしている。
【0081】
また、観察者Ｏ５の位置（図８において中央）のように、上面視で視点位置が、ディスプレー中央付近、かつ、レンズアレー２の中央レンズ４ａの位置から少し離れた場合も、同様に要素画像表示画素位置算出手段１１が、視点位置計測装置６から取得する視点位置に応じて、要素画像を表示すべき画素位置を算出する。例えば観察者Ｏ４にとっての表示位置は、レンズ直下の要素画像（７×７の画素）の画素位置が正解であるが、観察者Ｏ５（図８において中央）にとっては正解ではなくなる。そこで、観察者Ｏ４の位置から観察者Ｏ５の位置に移動した場合、要素画像表示画素位置算出手段１１は、表示すべき要素画像の表示位置を移動させる。この場合、観察者Ｏ５から視て左側に４画素ずらした位置が、算出された正解の位置となる。これにより、ディスプレー３に表示すべき要素画像の画素からの光線は、レンズ４ａのレンズ中心を通して観察者５の眼に入射するようになる。
【0082】
また、上面視で視点位置が、ディスプレー中央付近、かつ、レンズアレー中央レンズの位置から大きく離れた場合にも、表示すべき要素画像の表示位置を移動させる。例えば、観察者Ｏ４の位置から観察者Ｏ６の位置（図８において右側）に移動した場合、観察者Ｏ６から視て左側に７画素ずらした位置が、算出された正解の位置となる。これにより、ディスプレー３に表示すべき要素画像の画素からの光線は、レンズ４ａのレンズ中心を通して観察者Ｏ６の眼に入射するようになる。
【0083】
さらに、例えば５０インチディスプレーにおいて、図示は省略するが、上面視で視点位置が、ディスプレー中央付近から離れたディスプレー周辺部であっても、ディスプレー３に表示すべき要素画像の画素からの光線にレンズ４の通過時の歪みや反射などがなければ、観察者は、立体像を視域内では連続的に観察することができる。
【0084】
以上、説明したように、本実施形態に係る画像処理装置１０は、視点位置計測装置６によって計測された視点位置から、レンズ中心を通して眼に入射する光線が、表示されるべき画素位置をその都度計算し、光線追跡などにより、表示すべき要素画像の画素値を求める。画像処理装置１０は、視点位置に応じて、表示する画素位置を変えて要素画像を改めて計算して表示する。これにより、画像処理装置１０は、５０インチなどの大型の高画質ディスプレーでも要素画像の画素からの光線が眼に入射しない領域を減らすことができる。
また、立体表示装置１は、インテグラル立体像を５０インチなどの大型の高精細ディスプレーで表示する場合、視点位置から遠く離れたディスプレー上の領域でも、要素画像の表示位置を視点位置に応じて可変とするので、適切な光線を表示することができる。これにより、観察者はディスプレーの広い領域からの光線を観察することができる。
また、立体表示装置１は、インテグラル立体像を５０インチなどの大型の高精細ディスプレーで表示する場合、視点位置から遠く離れたディスプレー上の領域でも、要素画像の表示位置を視点位置に応じて可変とするので、適切な光線を表示することができる。これにより、観察者はディスプレーの広い領域からの光線を観察することができる。
【0085】
以上、本発明の実施形態に係る画像処理装置１０の構成および動作について説明したが、本発明は、前記した実施形態に限定されるものではなく、種々の変形が可能である。また、以下のように変形してもよい。例えば、一般的なコンピュータを、画像処理装置として機能させる画像処理プログラムにより動作させることで実現することも可能である。このプログラムは、通信回線を介して提供することも可能であるし、ＣＤ－ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【0086】
また、例えば、図７および図８において、レンズ４ａの直下に配置されたディスプレーの画素数は、奥行きの滑らかさに対応しており、図示した個数に限定されるものではない。大型で高精細なディスプレーを用意することで、１つのレンズに対して、例えば縦２０×横２０程度の画素が入るようにしてもよい。その場合には、ディスプレーのレンズ間隔を小さくすると共に、レンズ直径も小さくすればよい。ディスプレーのサイズが大きくなると共に、レンズ直径が小さくなると、例えばレンズ４ａの隣に配置されたレンズの直下に配置された画素からの光線が眼に入射し易くなる。そのため、本実施形態の画像処理装置の効果がよりいっそう顕著になる。
【符号の説明】
【0087】
１ 立体表示装置
２ レンズアレー
３ ディスプレー
４，４ａ レンズ
５ 要素画像生成装置
６ 視点位置計測装置
１０ 画像処理装置
１１ 要素画像表示画素位置算出手段
１２ 要素画像表示画素値算出手段
２０ 記憶装置
２１ ３次元モデルデータ
３０ 仮想カメラ
４０ 被写体の表面
２ レンズアレー
３ ディスプレー
４，４ａ レンズ
５ 要素画像生成装置
６ 視点位置計測装置
１０ 画像処理装置
１１ 要素画像表示画素位置算出手段
１２ 要素画像表示画素値算出手段
２０ 記憶装置
２１ ３次元モデルデータ
３０ 仮想カメラ
４０ 被写体の表面
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】