特開 2025-25257 要素画像生成装置及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025025257

(43)【公開日】2025-02-21

(54)【発明の名称】要素画像生成装置及びそのプログラム

(51)【国際特許分類】

   H04N 13/366 20180101AFI20250214BHJP

   H04N 13/307 20180101ALI20250214BHJP

   H04N 13/324 20180101ALI20250214BHJP

【ＦＩ】

H04N13/366

H04N13/307

H04N13/324

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023129868

(22)【出願日】2023-08-09

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】加納 正規

(72)【発明者】

【氏名】岡市 直人

(72)【発明者】

【氏名】渡邉 隼人

(72)【発明者】

【氏名】佐々木 久幸

(72)【発明者】

【氏名】洗井 淳

(57)【要約】

【課題】要素画像を高速に生成できる要素画像生成装置を提供する。
【解決手段】要素画像生成装置３は、観察者の視点位置を算出する視点位置算出部３１と、視点位置の移動速度を算出する移動速度計算部３２と、投影レンズ領域に含まれる表示手段の各画素が投影レンズ領域に対応した要素レンズに所属すると決定する画素所属決定部３３と、要素レンズの中心と要素レンズに所属する各画素の中心とを結ぶ光線のベクトルを算出する光線ベクトル算出部３４と、眼球周辺領域を通過する光線の色情報を更新すると判定する光線更新判定部３５と、光線更新判定部３５の判定結果に従って光線の色情報を更新する光線更新部３６と、を備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

光線追跡法及び視点追従を用いて、表示手段及びレンズアレイを備える３次元ディスプレイが表示する要素画像を生成する要素画像生成装置であって、
観察者の顔画像が入力され、入力された前記顔画像から前記観察者の視点位置を算出する視点位置算出部と、
前記視点位置算出部が算出した視点位置の変化から前記視点位置の移動速度を算出する移動速度計算部と、
前記視点位置から前記レンズアレイの各要素レンズを前記表示手段に投影した投影レンズ領域を求め、前記投影レンズ領域に含まれる前記表示手段の各画素が前記投影レンズ領域に対応した要素レンズに所属すると決定する画素所属決定部と、
前記要素レンズの中心と前記要素レンズに所属する各画素の中心とを結ぶ光線のベクトルを算出する光線ベクトル算出部と、
前記視点位置の移動速度が速い場合に広く、かつ、前記視点位置の移動速度が遅い場合に狭くなる眼球周辺領域を設定し、設定した前記眼球周辺領域を通過する光線の色情報を更新すると判定する光線更新判定部と、
前記光線更新判定部の判定結果に従って前記光線の色情報を更新する光線更新部と、
を備えることを特徴とする要素画像生成装置。

【請求項2】

前記光線更新判定部は、予め設定されたフレーム間隔で、全ての前記光線の色情報を更新すると判定することを特徴とする請求項１に記載の要素画像生成装置。

【請求項3】

前記眼球周辺領域は、球状の領域であることを特徴とする請求項１に記載の要素画像生成装置。

【請求項4】

前記眼球周辺領域は、前記視点位置の移動速度に応じて半径が大きくなる関数で表されることを特徴とする請求項３に記載の要素画像生成装置。

【請求項5】

前記眼球周辺領域は、前記視点位置の移動速度ｖ、予め設定されたレイテンシＴ_Ｌ、及び、予め設定された最小半径Ｒが含まれる以下の式を用いて、

【数1】

半径ｒが定まることを特徴とする請求項３に記載の要素画像生成装置。

【請求項6】

前記眼球周辺領域は、前記視点位置の移動速度ｖ、予め設定された半径最小値Ｒ_Ｍｉｎ、予め設定された半径最大値Ｒ_Ｍａｘ、及び、予め設定された閾値ｖ_{Ｔｈｒｅｓｈｏｌｄ}が含まれる以下の式を用いて、

【数2】

半径ｒが定まることを特徴とする請求項３に記載の要素画像生成装置。

【請求項7】

コンピュータを、請求項１から請求項６の何れか一項に記載の要素画像生成装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、要素画像生成装置及びそのプログラムに関する。

【背景技術】

【0002】

高い臨場感や没入感のあるインタラクティブな３次元映像を実現するためには、高品質な３次元映像をリアルタイムで生成及び表示する必要がある。３次元映像における高品質とは、高解像度、高フレームレート、広い奥行き再現範囲、及び、広い視域を指す。インテグラル方式は、インテグラルフォトグラフィの原理に基づく３次元映像方式の一つである（非特許文献１，２）。このインテグラル方式では、２次元ディスプレイに要素画像を表示し、表示手段の表面側に配置したレンズアレイを通して見ることで、観察者が水平及び垂直方向に視差のある３次元映像を観察できる。

【0003】

カメラで一人の観察者の視点位置を計測し、その視点位置で３次元映像を表示する視点追従型のインテグラル方式が提案されている（非特許文献３）。視点追従により、３次元ディスプレイの光学的な構成で決まる視域（光学視域）を狭めて光線密度を高められるために奥行き再現範囲を拡大させ、光学視域を動的に制御できるため視域を拡大させることができる。つまり、視点追従により３次元映像の品質を向上させることができる。

【0004】

インテグラル方式の利点は高い密度の光線群を再現できることであり、その要素画像は被写体を様々な方向から見たときの高密度な光線群で構成されている。仮想空間内に配置した複数の仮想カメラで３次元モデルを撮影し、それらの画像を並べ替えることで要素画像を生成する手法が提案されている（非特許文献４）。この手法では、仮想カメラの台数が視点数に比例するため、仮想カメラの台数が多くなる程に演算量が増大し、フレームレートが低下する。また、この手法では、仮想的な視点位置を設定するため、レンズアレイと２次元ディスプレイで定まる本来の光線ではなく、近似的な光線が再現されることになる。

【0005】

そこで、非特許文献５に記載の光線追跡法に基づいて、要素画像を生成する手法も提案されている（非特許文献６）。この手法は、仮想カメラを用いる手法と比べて、仮想カメラを配置する必要がないので、視点数が多い場合でも高フレームレートを維持できる。また、光線追跡法を用いれば、レンズアレイと２次元ディスプレイで定まる本来の光線を再現できる。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】G. Lippmann, “Epreuves, reversibles donnant la sensation du relief,” J. Phys., 7, 1, pp.821-825（1908）

【非特許文献2】高木, “立体映像とフラットパネル型立体表示技術光学,” 光学, 35巻, 8号, pp. 400-409, (2006)

【非特許文献3】N. Okaichi, H. Sasaki, M. Kano, J. Arai, M. Kawakita, and T. Naemura, “Design of optical viewing zone suitable for eye-tracking integral 3D display,” OSA Contin., 4, 5, pp.1415-1429 (2021)

【非特許文献4】K. Yanaka, “Integral photography using hexagonal fly’s eye lens and fractional view,” Proc. SPIE 6803, 68031K (2008)

【非特許文献5】コンピュータグラフィックス（改訂新版）, CG-ARTS協会, 2015

【非特許文献6】Shujun Xing, Xinzhu Sang, Xunbo Yu, Chen Duo, Bo Pang, Xin Gao, Shenwu Yang, YanXin Guan, Binbin Yan, Jinhui Yuan, and Kuiru Wang, "High-efficient computer-generated integral imaging based on the backward ray-tracing technique and optical reconstruction," Opt. Express 25, pp.330-338 (2017)

【発明の概要】

【発明が解決しようとする課題】

【0007】

視点追従及び光線追跡法を併用し、高品質、かつ、高フレームレートで要素画像を生成する手法を検討する。しかし、視点追従型のインテグラル方式には、レイテンシ（遅延）に起因した視認性の問題がある。このレイテンシとは、カメラによる観察者の撮影開始から３次元映像の表示完了までに要する時間のことであり、視点位置算出処理の時間や要素画像生成の時間などを全て合わせた時間となる。このレイテンシが大きい場合、観察者が視点位置を早く動かしながら３次元映像を観察したときに、設計された光学視域を超えてサイドローブを観察することになり、視認性が悪化する。

【0008】

そこで、本発明は、要素画像を高速に生成できる要素画像生成装置及びそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0009】

前記課題を解決するため、本発明に係る要素画像生成装置は、光線追跡法及び視点追従を用いて、表示手段及びレンズアレイを備える３次元ディスプレイが表示する要素画像を生成する要素画像生成装置であって、視点位置算出部と、移動速度計算部と、画素所属決定部と、光線ベクトル算出部と、光線更新判定部と、光線更新部と、を備える構成とした。

【0010】

かかる構成によれば、視点位置算出部は、観察者の顔画像が入力され、入力された顔画像から観察者の視点位置を算出する。
移動速度計算部は、視点位置算出部が算出した視点位置の変化から視点位置の移動速度を算出する。
画素所属決定部は、視点位置からレンズアレイの各要素レンズを表示手段に投影した投影レンズ領域を求め、投影レンズ領域に含まれる表示手段の各画素が投影レンズ領域に対応した要素レンズに所属すると決定する。

【0011】

光線ベクトル算出部は、要素レンズの中心と要素レンズに所属する各画素の中心とを結ぶ光線ベクトルを算出する。
光線更新判定部は、視点位置の移動速度が速い場合に広く、かつ、視点位置の移動速度が遅い場合に狭くなる眼球周辺領域を設定し、設定した眼球周辺領域を通過する光線の色情報を更新すると判定する。
光線更新部は、光線更新判定部の判定結果に従って光線の色情報を更新する。

【0012】

眼球周辺領域を通過する光線は観察者が観測する可能性が高いのに対し、眼球周辺領域を通過しない光線は観察者が観測する可能性が低い。そこで、要素画像生成装置は、観察者が観測する可能性が高い光線の色情報を毎フレーム更新する一方、観察者が観測する可能性が低い光線の色情報の更新頻度を低下させる。これにより、要素画像生成装置は、色情報の更新処理の負荷が低減し、要素画像を高速に生成できる。

【0013】

なお、本発明は、コンピュータを前記した要素画像生成装置として機能させるためのプログラムで実現することもできる。

【発明の効果】

【0014】

本発明によれば、要素画像を高速に生成することができる。

【図面の簡単な説明】

【0015】

【図1】実施形態に係る要素画像生成システムの概要構成図である。

【図2】実施形態において、（ａ）～（ｃ）は、３次元ディスプレイの光学視域を説明する説明図である。

【図3】実施形態において、（ａ）～（ｄ）は、光学視域の広狭を説明する説明図である。

【図4】実施形態において、（ａ）及び（ｂ）は、視点位置の移動速度に応じた色情報の更新を説明する説明図である。

【図5】実施形態に係る要素画像生成装置の構成を示すブロック図である。

【図6】実施形態において、（ａ）及び（ｂ）は、視点追従における画素と要素レンズとの対応関係を説明する説明図である。

【図7】実施形態において、（ａ）～（ｄ）は、画素が所属する要素レンズの決定を説明する説明図である。

【図8】実施形態において、光線の色情報の更新を説明する説明図である。

【図9】実施形態において、色情報を更新する対象の光線を説明する説明図である。

【図10】実施形態において、眼球周辺領域の半径を定める関数の一例を示すグラフである。

【図11】実施形態において、眼球周辺領域の半径を定める関数の一例を示すグラフである。

【図12】実施形態において、眼球周辺領域の半径を定める関数の一例を示すグラフである。

【図13】実施形態に係る要素画像生成装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0016】

（実施形態）
以下、本発明の実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。

【0017】

［要素画像生成システムの概要］
図１を参照し、実施形態に係る要素画像生成システム１の概要について説明する。
要素画像生成システム１は、要素画像を生成及び表示するものであり、撮影カメラ２と、要素画像生成装置３と、３次元ディスプレイ４とを備える。

【0018】

ここで、要素画像生成システム１では、３次元映像の表示方式がインテグラル方式であることとする。なお、要素画像生成システム１において、３次元映像の表示方式は、インテグラル方式に限らず、レンチキュラー方式、線光源アレイ方式、点線光源アレイ方式等の光線再生方式であればよい。

【0019】

撮影カメラ２は、観察者の視点位置を算出するために、観察者の顔画像を撮影するカメラである。例えば、撮影カメラ２は、後記する３次元ディスプレイ４の上部に配置された一般的なカメラである。なお、図１では、撮影カメラ２として１台のカメラを図示したが、撮影カメラ２は、ステレオカメラであってもよい。

【0020】

要素画像生成装置３は、光線追跡法及び視点追従を用いて、３次元ディスプレイ４が表示する要素画像を生成するものである（詳細後記）。そして、要素画像生成装置３は、生成した要素画像を３次元ディスプレイ４に出力する。

【0021】

３次元ディスプレイ４は、要素画像生成装置３が生成した要素画像を表示するディスプレイである。本実施形態では、３次元ディスプレイ４は、表示手段４０及びレンズアレイ４２を備えるインテグラル方式のディスプレイである（図６参照）。表示手段４０は、２次元状に配列された画素４１を備える。例えば、表示手段４０としては、液晶ディスプレイ、有機ＥＬディスプレイ等のフラットパネルディスプレイである。レンズアレイ４２は、アレイ状に配列された要素レンズ４３を備える。例えば、要素レンズ４３は、両凸の微小レンズである。

【0022】

３次元ディスプレイ４は運動視差を有するため、観察者は３次元ディスプレイ４の観察方向に応じた映像を見ることができる。実際のテレビや映画などの長時間視聴を考えた場合、観察者は、視点位置が静止した状態での視聴と視点位置を移動させながらの視聴との両方をシーンに応じて使い分けると思われる。

【0023】

両眼視差を得るためには、観察者の両眼を包含するように３次元ディスプレイ４の光学視域を形成しなくてはならない。また、要素レンズ４３及び要素画像の形状や配置に応じて、３次元ディスプレイ４の光学視域の形状が定まる。図２（ａ）には、正方形の要素レンズ４３及び要素画像９１が重なっている状態を図示した。この場合、光学視域９０の形状は、両眼Ｅ（右眼Ｅ_Ｒ，左眼Ｅ_Ｌ）を包含するように正方形となる。図２（ｂ）には、ハニカムの要素レンズ４３及び要素画像９１が重なっている状態を図示した。この場合、光学視域９０の形状は、両眼Ｅを包含するようにハニカムとなる。図２（ｃ）には、視域が広がるように要素レンズ４３を要素画像９１に対して４５度回転させた例を図示した。この場合、光学視域９０の形状は、両眼Ｅを包含するように長方形となる。

【0024】

図３（ｂ）のように広い光学視域９０を図３（ａ）のように狭くすると、３次元映像の解像度や奥行き再現範囲が向上する。その一方、図３（ｄ）のように広い光学視域９０を図３（ｃ）に示すように狭くすると、レイテンシの影響で両眼Ｅが光学視域９０から外れてしまい、サイドローブを観察する可能性が高くなる。なお、図３（ｃ）及び図３（ｄ）では、移動前の両眼Ｅを薄く図示した。

【0025】

観察者が移動することも考慮して、光学視域９０は、ある程度の余裕があるサイズにすべきである。観察者が静止しているとき、光学視域９０内で観察される光線は、両眼Ｅの周辺のごく一部である。一方、観察者が姿勢を変化させているとき、レイテンシにより光学視域９０は常に遅れをもって視点位置に追従するため、光学視域９０内のあらゆる光線を観察する可能性がある。

【0026】

このような考え方に基づいて、視点位置の移動速度に応じて、色情報を更新する光線を光学視域９０内で選択することで、要素画像の生成処理の高速化を図る。具体的には、図４（ａ）に示すように、観察者の両眼Ｅが静止している場合、両眼Ｅの付近を通過する光線の色情報を更新するので、色情報を更新する光線数を抑制し、要素画像を高速に生成できる。また、図４（ｂ）に示すように、観察者の両眼Ｅが移動している場合、両眼Ｅから離れた場所を通過する光線の色情報も更新するので、光学視域のマージンを最大限に利用し、観察者がサイドローブを観察することを抑制できる。なお、図４（ａ）及び図４（ｂ）では、光学視域９０内で光線の色情報を更新する範囲をドットで図示した。

【0027】

［要素画像生成装置の構成］
図５を参照し、要素画像生成装置３の構成について説明する。
図５に示すように、要素画像生成装置３は、仮想ディスプレイ配置部３０と、視点位置算出部３１と、移動速度計算部３２と、画素所属決定部３３と、光線ベクトル算出部３４と、光線更新判定部３５と、光線更新部３６とを備える。

【0028】

仮想ディスプレイ配置部３０は、３次元ディスプレイ４の仕様に関する設定値が入力され、入力された設定値に基づいて３次元ディスプレイ４を仮想的に配置するものである。なお、仮想的に配置した３次元ディスプレイ４を仮想ディスプレイと記載する場合がある。例えば、この設定値には、表示手段４０の仕様（画素ピッチ、画素数）、レンズアレイ４２の仕様（レンズピッチ、焦点距離、レンズ構造）、及び、表示手段４０に対するレンズアレイ４２の位置や回転角が含まれる。

【0029】

視点位置算出部３１は、観察者の顔画像が入力され、入力された顔画像から観察者の視点位置（両眼Ｅ）を算出するものである。例えば、視点位置算出部３１は、参考文献１に記載の手法を用いて、眼、鼻、口等の顔パーツの２次元座標を顔画像から検出する。そして、視点位置算出部３１は、非特許文献３に記載の手法を用いて、顔パーツの２次元座標から視点位置の３次元座標を推定する。

【0030】

参考文献１：“MediaPipe”、［online］、［令和５年７月２５日検索］，インターネット＜URL：https://developers.google.com/mediapipe＞

【0031】

なお、視点位置算出部３１は、撮影カメラ２がステレオカメラの場合、両眼の２次元座標と奥行き情報から視点位置の３次元座標を推定できるので、鼻や口を検出する必要はない。

【0032】

ここで、視点位置の３次元座標がカメラ座標系で記述されている。そこで、視点位置算出部３１は、撮影カメラ２と３次元ディスプレイ４との位置関係（ずれ）を予め計測し、その位置関係に基づいて、視点位置をカメラ座標系からディスプレイ座標系に変換する。ディスプレイ座標系とは、３次元ディスプレイ４の画面中心を原点とする座標系のことである。その後、視点位置算出部３１は、算出した視点位置を移動速度計算部３２及び画素所属決定部３３に出力する。

【0033】

移動速度計算部３２は、視点位置算出部３１が算出した視点位置の変化から視点位置の移動速度を算出するものである。つまり、視点位置算出部３１から入力された視点位置における単位時間当たりの変化量から移動速度を算出する。その後、移動速度計算部３２は、視点位置及び視点位置の移動速度を光線更新判定部３５に出力する。

【0034】

画素所属決定部３３は、視点位置からレンズアレイ４２の各要素レンズ４３を表示手段に投影した投影レンズ領域を求め、投影レンズ領域に含まれる表示手段４０の各画素４１が投影レンズ領域に対応した要素レンズ４３に所属すると決定するものである。以下で説明するように、画素所属決定部３３は、表示手段４０の各画素４１が、レンズアレイ４２のどの要素レンズ４３に所属するかを決定する。

【0035】

ここで、画素所属決定部３３は、全ての画素４１について、レンズアレイ４２を構成する何れか一つの要素レンズ４３に所属すると決定する。画素４１と要素レンズ４３との対応関係が視点位置に応じて定まり、視点追従により視点位置がフレーム毎に変化する。従って、画素所属決定部３３は、毎フレームに画素４１と要素レンズ４３との対応関係を決定する。図６（ａ）に示すように、観察者の両眼Ｅが３次元ディスプレイ４の正面中央に位置する場合を考える。この場合、視点位置からある一つの要素レンズ４３を通過する直線と表示手段４０のディスプレイ面とが交わる領域（投影レンズ領域）に含まれる画素４１は、その要素レンズ４３に所属する。図６（ｂ）に示すように、視点追従により両眼Ｅが移動すると、視点位置と画素４１と要素レンズ４３との対応関係が変化し、投影レンズ領域も移動する。

【0036】

図７（ａ）には画素４１の画素中心ｘ_Ｄを図示し、図７（ｂ）には要素レンズ４３のレンズ中心ｘ_Ｌを図示した。なお、図７では、画素４１と要素レンズ４３との対応関係を分かりやすくするために濃淡の異なるドットを付した。図７（ｃ）では、幾つかの画素４１が濃淡の異なるドットに重なっており、複数の投影レンズ領域にまたがる画素４１が存在する。この場合、図７（ｄ）に示すように、画素所属決定部３３は、画素中心Ｘ_Ｄが含まれる投影レンズ領域に対応する要素レンズ４３にその画素４１が所属すると決定する。ここで、要素レンズ４３及び要素画像の形状や配置に応じて、画素４１が所属する要素レンズ４３の決定方法が異なるので順に説明する。

【0037】

＜第１例：正方形＞
図２（ａ）に示すように、要素レンズ４３及び要素画像９１の形状が正方形の場合を第１例として説明する。
画素所属決定部３３は、縦方向及び横方向のそれぞれで、画素中心Ｘ_Ｄの位置を表示手段４０に投影された要素レンズ４３のレンズピッチ（設定値が示す要素レンズ４３のピッチよりわずかに大きくなる）で除算する。そして、画素所属決定部３３は、この除算した値を整数化することで、画素４１がどの要素レンズ４３に所属するか決定できる。なお、この整数値は、画素４１が縦方向及び横方向で何番目の要素レンズ４３に対応するかを表す。

【0038】

＜第２例：回転＞
図２（ｃ）に示すように、要素レンズ４３を要素画像９１に対して回転させた場合を第２例として説明する。
この場合、１行毎に要素レンズ４３が水平方向で半個分ずれる。画素所属決定部３３は、第１例と同様の処理を行ったのち、要素レンズ４３のずれを考慮して、画素４１がどの要素レンズ４３に所属するか決定する。例えば、画素所属決定部３３は、奇数行の要素レンズ４３において、画素中心Ｘ_Ｄの位置に表示手段４０に投影された要素レンズ４３のレンズピッチの半分の値を加算し、表示手段４０に投影された要素レンズ４３のレンズピッチで除算した値を整数化すればよい。なお、偶数行については、第１例と同様の処理を行えばよい。

【0039】

＜第３例：ハニカム＞
図２（ｂ）に示すように、要素レンズ４３を要素画像９１の形状がハニカムの場合を第３例として説明する。
この場合、画素所属決定部３３は、第２例と同様の処理を行った後、画素４１の画素中心ｘ_Ｄとその画素４１の周囲に配置された各要素レンズ４３のレンズ中心ｘ_Ｌとの距離を計算する。図２（ｂ）の例では、画素所属決定部３３は、画素中心ｘ_Ｄと７個の要素レンズ４３のレンズ中心ｘ_Ｌとの距離を計算する。そして、画素所属決定部３３は、その距離が最小となる要素レンズ４３に画素４１が所属すると決定する。

【0040】

画素所属決定部３３は、決定結果として、画素４１と要素レンズ４３との対応関係を表す情報を光線ベクトル算出部３４に出力する。なお、この決定結果は、画素４１が所属する要素レンズ４３を表す。

【0041】

光線ベクトル算出部３４は、要素レンズ４３の中心と要素レンズ４３に所属する各画素４１の中心とを結ぶ光線ベクトルを算出するものである。この光線ベクトルは、画素所属決定部３３の決定結果に基づいて、要素レンズ４３のレンズ位置ｘ_Ｌと、その要素レンズ４３に所属する画素４１の画素位置ｘ_Ｄを結ぶ直線を光線ベクトルとして定義できる（図８参照）。

【0042】

図８に示すように、ある要素レンズ４３の中心位置ｘ_Ｌ＝［ｘ_Ｌ，ｙ_Ｌ，ｚ_Ｌ］とし、その要素レンズ４３に所属する画素４１の中心位置ｘ_Ｄ＝［ｘ_Ｄ，ｙ_Ｄ，ｚ_Ｄ］とする。このとき、光線ベクトルの方向ベクトルｅは、以下の式（１）で表される。なお、ｎｏｒｍａｌｉｚｅ（・）は、ベクトルを正規化する関数である。

【0043】

【数1】

【0044】

光線ベクトルｘ＝［ｘ，ｙ，ｚ］は、以下の式（２）で表される。なお、ｓは、スカラーのスケール係数を表し、任意に設定できる。

【0045】

【数2】

【0046】

光線ベクトル算出部３４は、前記した式（１）及び式（２）を用いて、画素４１毎に光線ベクトルｘを算出する。その後、光線ベクトル算出部３４は、算出した光線ベクトルｘを光線更新判定部３５に出力する。

【0047】

光線更新判定部３５は、視点位置の移動速度が速い場合に広く、かつ、視点位置の移動速度が遅い場合に狭くなる眼球周辺領域を設定し、設定した眼球周辺領域を通過する光線の色情報を更新すると判定するものである。

【0048】

光線更新判定部３５は、そのフレームにおいて、どの光線の色情報を更新すべきか、視点位置及び移動速度を用いて判定する。つまり、光線更新判定部３５は、眼球周辺領域を通過する光線のみフレーム毎に色情報を更新し、他の光線の色情報をフレーム毎に更新しないことで、フレームレートを向上させる。しかし、光線の色情報が長期間更新されない場合、その光線（画素）の色情報が本来の色から大きく乖離してしまう可能性がある。このため、光線更新判定部３５は、予め設定されたフレーム間隔で、全ての光線の色情報を更新すると判定する。なお、全ての光線の色情報を更新するフレーム間隔は、任意に設定できる（例えば、１０フレーム間隔）。さらに、光線更新判定部３５は、最後に光線の色情報が更新されてから予め設定されたフレーム間隔で、全ての光線の色情報を更新してもよい。

【0049】

以下、光線の色情報を更新する考え方について説明する。
図９に示すように、両眼Ｅの近くを通過する光線ｘ_ｎは、観察者によって観察される可能性が高いため色情報を更新すると判定する。これに対し、両眼Ｅの遠くを通過する光線ｘ_ｆは、観察者によって観察される可能性が低いため色情報を更新しないと判定する。つまり、更新の有無を決める領域を眼球周辺領域９２と呼ぶ。眼球周辺領域９２を通過する光線ｘ_ｎの色情報を更新し、眼球周辺領域９２を通過しない光線ｘ_ｆの色情報は更新しない。なお、右眼Ｅ_Ｒ及び左眼Ｅ_Ｌのそれぞれが眼球周辺領域９２を有するので、左右の眼球周辺領域９２のそれぞれで色情報の更新を判定する。

【0050】

本実施形態では、眼球周辺領域９２は、球状の領域であり、視点位置が中心位置である。眼球周辺領域９２の半径ｒは、以下の式（３）で表される。

【0051】

【数3】

【0052】

ここで、ｆ（ｖ）は、視点位置の移動速度ｖに応じて、半径ｒが大きくなる増加関数であればよい。関数ｆ（ｖ）は、線形関数又は非線形関数の何れであってもよく、要素画像生成システム１のユーザが手動で設定できる。

【0053】

視点位置の移動速度ｖが速い場合、広い範囲で光線を観察する可能性が高いため、眼球周辺領域９２を大きくし、広い範囲で光線の色情報を更新する。一方、視点位置の移動速度ｖが遅い場合、視点位置が停止している場合、狭い範囲で光線を観察する可能性が高いため、眼球周辺領域９２を小さくし、狭い範囲で光線の色情報を更新する。更新する光線の本数が少なくなると、要素画像の生成処理時間が短くなり、フレームレートが高くなる。

【0054】

例えば、関数ｆ（ｖ）は、以下の式（４）で定義できる。ここで、Ｔ_Ｌはレイテンシを表し、Ｒが最小半径を表す。レイテンシＴ_Ｌ及び最小半径Ｒは、予め任意の値で設定される。例えば、最小半径Ｒは、眼球を想定した球の半径として、２０ｍｍに設定する。なお、ｉｆは、後段の条件式が真の場合に前段の値を返す条件文である。

【0055】

【数4】

【0056】

図１０に示すように、式（４）の関数ｆ（ｖ）では、レイテンシＴ_Ｌ及び移動速度ｖの乗算値が最小半径Ｒ以下の場合、眼球周辺領域９２の半径ｒが最小半径Ｒになる。また、式（４）の関数ｆ（ｖ）では、レイテンシＴ_Ｌ及び移動速度ｖの乗算値が最小半径Ｒを超える場合、その眼球周辺領域９２の半径ｒがその乗算値になる。

【0057】

また、関数ｆ（ｖ）は、以下の式（５）で定義してもよい。ここで、Ｒ_Ｍｉｎは半径最小値を表し、Ｒ_Ｍａｘは半径最大値を表し、ｖ_{Ｔｈｒｅｓｈｏｌｄ}は閾値を表す。半径最小値Ｒ_Ｍｉｎ、半径最大値Ｒ_Ｍａｘ及び閾値ｖ_{Ｔｈｒｅｓｈｏｌｄ}は、予め任意の値で設定される。

【0058】

【数5】

【0059】

図１１に示すように、式（５）の関数ｆ（ｖ）では、視点位置がほぼ停止している場合、眼球周辺領域９２の半径ｒが半径最小値Ｒ_Ｍｉｎとなる。また、式（５）の関数ｆ（ｖ）では、視点位置がある程度移動した場合、眼球周辺領域９２の半径ｒが半径最大値Ｒ_Ｍａｘとなる。

【0060】

また、関数ｆ（ｖ）は、以下の式（６）で定義してもよい。ここで、係数αは、予め任意の値で設定される。図１２に示すように、式（６）の関数ｆ（ｖ）は、非線形の増加関数（２次関数）である。

【0061】

【数6】

【0062】

その後、光線更新判定部３５は、光線の色情報を更新するか否かの判定結果を光線更新部３６に出力する。

【0063】

光線更新部３６は、光線更新判定部３５の判定結果に従って光線の色情報を更新するものである。ここで、光線更新部３６は、光線ベクトルと被写体との交点のうち、視点位置から見て一番手前に位置する交点の色を光線の色情報として取得する。また、光線更新部３６は、光線更新判定部３５で更新すると判定された光線の色情報を更新するので、観察者が観察する可能性の高い画素４１が新しい色となる。一方、光線更新部３６は、光線更新判定部３５で更新しないと判定された光線の色情報を前フレームのまま保持するので、観察者が観察する可能性の低い画素４１が同じ色を保持する。図８に示すように、被写体の色情報が要素画像に反映され、被写体の立体像Ｔが再現されることになる。

【0064】

［要素画像生成装置の動作］
図１３を参照し、要素画像生成装置３の動作について説明する。
図１３に示すように、ステップＳ１において、仮想ディスプレイ配置部３０には、３次元ディスプレイ４の仕様に関する設定値が入力される。
ステップＳ２において、仮想ディスプレイ配置部３０は、ステップＳ１で入力された設定値に基づいて、３次元ディスプレイ４を仮想的に配置する。

【0065】

ステップＳ３において、視点位置算出部３１は、観察者の顔画像から観察者の視点位置を算出する。
ステップＳ４において、移動速度計算部３２は、ステップＳ３で算出した視点位置の変化から視点位置の移動速度を算出する。

【0066】

ステップＳ５において、画素所属決定部３３は、視点位置からレンズアレイ４２の各要素レンズ４３を表示手段に投影した投影レンズ領域を求める。そして、画素所属決定部３３は、投影レンズ領域に含まれる表示手段４０の各画素４１が投影レンズ領域に対応した要素レンズ４３に所属すると決定する。
ステップＳ６において、光線ベクトル算出部３４は、要素レンズ４３の中心と要素レンズ４３に所属する各画素４１の中心とを結ぶ光線ベクトルを算出する。

【0067】

ステップＳ７において、光線更新判定部３５は、視点位置の移動速度が速い場合に広く、かつ、視点位置の移動速度が遅い場合に狭くなる眼球周辺領域を設定する。そして、光線更新判定部３５は、設定した眼球周辺領域を通過する光線の色情報を更新すると判定する。
ステップＳ８において、光線更新部３６は、ステップＳ７の判定結果に従って光線の色情報を更新する。

【0068】

［作用・効果］
眼球周辺領域を通過する光線は観察者が観測する可能性が高いのに対し、眼球周辺領域を通過しない光線は観察者が観測する可能性が低い。そこで、要素画像生成装置３は、観察者が観測する可能性が高い光線の色情報を毎フレーム更新する一方、観察者が観測する可能性が低い光線の色情報の更新頻度を低下させる。これにより、要素画像生成装置３は、色情報の更新処理の負荷が低減し、要素画像を高速に生成できる。

【0069】

さらに、要素画像生成装置３は、光線追跡法を用いるため、フレームレートが要素画像を構成する視点数に依存しないので、視点数が多い場合でもフレームレートが低下しない。さらに、要素画像生成装置３は、レンズアレイ４２と２次元の表示手段４０で定まる本来の光線を再現できる。さらに、要素画像生成装置３は、視点追従に対応しているため、奥行き再現範囲や視域を拡大できる。

【0070】

以上、実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【0071】

前記した実施形態では、左右の眼を区別せずに眼球周辺領域の半径が左右の眼で同一であることとして説明したが、本発明はこれに限定されない。つまり、左右の眼のそれぞれの速度に応じて、眼球周辺領域の半径を値に設定してもよい（眼球周辺領域の半径が左右の眼で異なる場合がある）。

【0072】

前記した実施形態では、要素画像生成装置が独立したハードウェアであることとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した要素画像生成装置として機能させるためのプログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【符号の説明】

【0073】

１ 要素画像生成システム
２ 撮影カメラ
３ 要素画像生成装置
４ ３次元ディスプレイ
３０ 仮想ディスプレイ配置部
３１ 視点位置算出部
３２ 移動速度計算部
３３ 画素所属決定部
３４ 光線ベクトル算出部
３５ 光線更新判定部
３６ 光線更新部
４０ 表示手段
４１ 画素
４２ レンズアレイ
４３ 要素レンズ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】