特許 6166985 画像生成装置および画像生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6166985

(24)【登録日】2017年6月30日

(45)【発行日】2017年7月19日

(54)【発明の名称】画像生成装置および画像生成プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20170710BHJP

   H04N 13/04 20060101ALI20170710BHJP

【ＦＩ】

   G06T19/00 F

   H04N13/04

【請求項の数】5

【全頁数】21

(21)【出願番号】特願2013-175058(P2013-175058)

(22)【出願日】2013年8月26日

(65)【公開番号】特開2015-43187(P2015-43187A)

(43)【公開日】2015年3月5日

【審査請求日】2016年6月27日

【新規性喪失の例外の表示】特許法第３０条第２項適用 一般社団法人 映像情報メディア学会、映像情報メディア学会 ２０１３年年次大会講演予稿集、平成２５年８月７日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100108578

【弁理士】

【氏名又は名称】高橋 詔男

(72)【発明者】

【氏名】日浦 人誌

(72)【発明者】

【氏名】三科 智之

(72)【発明者】

【氏名】洗井 淳

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２０１２−２５２６０８（ＪＰ，Ａ）

【文献】 特開２０１２−００３３５０（ＪＰ，Ａ）

【文献】 特開２０１２−１７５３５８（ＪＰ，Ａ）

【文献】 特開２０１１−１８３０７０（ＪＰ，Ａ）

【文献】 牧野 真緒，複数視差を持つ大型裸眼立体ディスプレイにおけるコンテンツ制作の指針，映像情報メディア学会技術報告 Ｖｏｌ．３５ Ｎｏ．２２，日本，（社）映像情報メディア学会，２０１１年 ６月 ９日，3DIT2011-62, IDY2011-28，P.45-48，ISSN 1342-6893

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００ − １９／２０

Ｈ０４Ｎ １３／００ − １３／０４

Ｈ０４Ｎ １５／００

(57)【特許請求の範囲】

【請求項1】

インテグラルフォトグラフィ立体映像表示装置用の要素画像を生成する画像生成装置であって、
仮想空間における被写体の位置および形状を表す被写体情報を記憶する被写体情報記憶部と、
前記仮想空間における仮想カメラアレイの第１の位置を表す第１のカメラ情報と前記仮想空間において前記仮想カメラアレイよりも前に設けられる仮想単眼カメラの位置を表す単眼カメラ情報とインテグラルフォトグラフィ立体像の奥行きに対する知覚の度合を表す奥行知覚情報とを記憶する仮想カメラアレイ情報記憶部と、
前記被写体の三次元情報を再現する奥行再現範囲における奥側最大奥行知覚位置を、前記仮想カメラアレイ情報記憶部に記憶された前記奥行知覚情報に基づいて算出する奥行再現範囲算出部と、
前記インテグラルフォトグラフィ立体映像表示装置のレンズアレイの各レンズに対応した位置に仮想撮像レンズが配置され、前記仮想撮像レンズの奥側に仮想撮像面が配置された仮想配置であるとして、前記仮想撮像面の位置から前記奥行再現範囲算出部が算出した前記奥側最大奥行知覚位置までに存在する被写体による第１の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第１のカメラ情報とに基づいて算出する奥側算出部と、
前記仮想配置であるとして、前記奥側最大奥行知覚位置よりも奥側に存在する被写体の第２の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された単眼カメラ情報と第１のカメラ情報とに基づいて算出する最大奥側算出部と、
前記奥側算出部が算出した前記第１の要素画像と、前記最大奥側算出部が算出した前記第２の要素画像とを合成する奥側合成部と、
を備える画像生成装置。

【請求項2】

前記奥行再現範囲算出部は、前記奥行再現範囲における前側最大奥行知覚位置を、前記仮想カメラアレイ情報記憶部に記憶された前記奥行知覚情報に基づいてさらに算出し、
前記仮想配置であるとして、前記仮想撮像レンズの位置から前記奥行再現範囲算出部が算出した前記前側最大奥行知覚位置までに存在する被写体による第３の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第１のカメラ情報とに基づいて算出する前側算出部と、
前記仮想配置であるとして、前記前側最大奥行知覚位置よりも前側に存在する被写体の第４の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された単眼カメラ情報と第１のカメラ情報とに基づいて算出する最大前側算出部と、
前記前側算出部が算出した前記第３の要素画像と、前記最大前側算出部が算出した前記第４の要素画像とを合成する前側合成部と、
前記奥側合成部が合成して得た要素画像と前記前側合成部が合成して得た要素画像とを合成する合成部と、
をさらに備える請求項１記載の画像生成装置。

【請求項3】

前記仮想カメラアレイ情報記憶部は、前記仮想空間における仮想カメラアレイの第１の位置よりも前側である第２の位置を表す第２のカメラ情報をさらに記憶し、
前記最大奥側算出部は、前記第２の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第２のカメラ情報とに基づいて算出し、
前記最大前側算出部は、前記第４の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第２のカメラ情報とに基づいて算出する、
請求項２記載の画像生成装置。

【請求項4】

前記奥側合成部は、前記第２の要素画像に前記第１の要素画像を上書きすることによって合成し、
前記前側合成部は、前記第３の要素画像に前記第４の要素画像を上書きすることによって合成し、
前記奥側合成部が合成して得た要素画像に前記前側合成部が合成して得た要素画像を上書きすることによって合成する、
請求項２または請求項３いずれか記載の画像生成装置。

【請求項5】

仮想空間における被写体の位置および形状を表す被写体情報を記憶する被写体情報記憶部と、前記仮想空間における仮想カメラアレイの第１の位置を表す第１のカメラ情報と前記仮想空間において前記仮想カメラアレイよりも前に設けられる仮想単眼カメラの位置を表す単眼カメラ情報とインテグラルフォトグラフィ立体像の奥行きに対する知覚の度合を表す奥行知覚情報とを記憶する仮想カメラアレイ情報記憶部と、を備えたコンピュータを、
前記被写体の三次元情報を再現する奥行再現範囲における奥側最大奥行知覚位置を、前記仮想カメラアレイ情報記憶部に記憶された前記奥行知覚情報に基づいて算出する奥行再現範囲算出部、
前記インテグラルフォトグラフィ立体映像表示装置のレンズアレイの各レンズに対応した位置に仮想撮像レンズが配置され、前記仮想撮像レンズの奥側に仮想撮像面が配置された仮想配置であるとして、前記仮想撮像面の位置から前記奥行再現範囲算出部が算出した前記奥側最大奥行知覚位置までに存在する被写体による第１の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第１のカメラ情報とに基づいて算出する奥側算出部、
前記仮想配置であるとして、前記奥側最大奥行知覚位置よりも奥側に存在する被写体の第２の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された単眼カメラ情報と第１のカメラ情報とに基づいて算出する最大奥側算出部、
前記奥側算出部が算出した前記第１の要素画像と、前記最大奥側算出部が算出した前記第２の要素画像とを合成する奥側合成部、
として機能させるための画像生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置および画像生成プログラムに関する。

【背景技術】

【0002】

従来のインテグラルフォトグラフィ（Ｉｎｔｅｇｒａｌ Ｐｈｏｔｏｇｒａｐｈｙ；ＩＰ）では、１台のカメラで、複数の微小レンズ（要素レンズともいう。）が配列されたレンズアレイを通して被写体を撮影する。この場合、カメラはレンズアレイの焦平面を撮影するため、各微小レンズは微小なカメラと同様な働きをする。その結果、レンズアレイ越しに被写体を撮像することによって得られる画像は、微小レンズの位置に応じた微小画像（以下、要素画像という。）が並んだ画像（以下、要素画像群という。）となる。この要素画像群は、被写体からの光線情報を記録した画像である。よって、要素画像群に記録できる光線数は、カメラの解像度に依存する。また、インテグラルフォトグラフィ方式における再生像の解像度は、再生する光線数、すなわちカメラの解像度に依存する。このように、一台のカメラおよびレンズアレイの代わりに、複数の微小カメラを密に並べたカメラアレイを用いることで、撮像部の多画素化を実現することができる。

【0003】

一方、コンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ；ＣＧ）によるＩＰ立体像の要素画像を生成する技術が、研究されている。この技術によれは、コンピュータが、仮想空間において、三次元の被写体およびセットが実世界と同様な動作をするように再現し、その仮想空間において被写体からの光線を追跡することによって要素画像を生成する。このＣＧを用いた技術による要素画像の生成において、表示装置の表示面よりも飛び出す映像を生成するために、被写体からの光線を制御するための奥行き制御レンズを通して被写体からの光線を追跡する計算方法が知られている（例えば、非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Spyros S. Athineos他、“Physical modeling of a microlens array setup for use in computer generated IP”、Proc. of SPIE-IS&T Electronic Imaging、Vol. 5664 pp. 472-479、2005

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のとおり、従来のＣＧによる要素画像の生成方法においては、実世界と同様に、三次元の被写体およびセットを仮想空間に再現する。一方で、ＩＰ方式においては、表示装置の表示面よりも手前側および奥側の立体像の解像度が、奥行きが増すにしたがって低下してしまう。そのため、実世界と同様に再現しようとしても、解像度が低すぎて立体像の奥行きが知覚されないという問題がある。
本発明が解決しようとする課題は、観視者に奥行感を知覚させるとともにＩＰ立体像の解像度の劣化を防ぐ、画像生成装置および画像生成プログラムを提供することである。

【課題を解決するための手段】

【0006】

［１］上記の課題を解決するため、本発明の一態様である画像生成装置は、インテグラルフォトグラフィ立体映像表示装置用の要素画像を生成する画像生成装置であって、仮想空間における被写体の位置および形状を表す被写体情報を記憶する被写体情報記憶部と、前記仮想空間における仮想カメラアレイの第１の位置を表す第１のカメラ情報と前記仮想空間において前記仮想カメラアレイよりも前に設けられる仮想単眼カメラの位置を表す単眼カメラ情報とインテグラルフォトグラフィ立体像の奥行きに対する知覚の度合を表す奥行知覚情報とを記憶する仮想カメラアレイ情報記憶部と、前記被写体の三次元情報を再現する奥行再現範囲における奥側最大奥行知覚位置を、前記仮想カメラアレイ情報記憶部に記憶された前記奥行知覚情報に基づいて算出する奥行再現範囲算出部と、前記インテグラルフォトグラフィ立体映像表示装置のレンズアレイの各レンズに対応した位置に仮想撮像レンズが配置され、前記仮想撮像レンズの奥側に仮想撮像面が配置された仮想配置であるとして、前記仮想撮像面の位置から前記奥行再現範囲算出部が算出した前記奥側最大奥行知覚位置までに存在する被写体による第１の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第１のカメラ情報とに基づいて算出する奥側算出部と、前記仮想配置であるとして、前記奥側最大奥行知覚位置よりも奥側に存在する被写体の第２の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された単眼カメラ情報と第１のカメラ情報とに基づいて算出する最大奥側算出部と、前記奥側算出部が算出した前記第１の要素画像と、前記最大奥側算出部が算出した前記第２の要素画像とを合成する奥側合成部と、を備える。

【0007】

［２］上記［１］記載の画像生成装置において、前記奥行再現範囲算出部は、前記奥行再現範囲における前側最大奥行知覚位置を、前記仮想カメラアレイ情報記憶部に記憶された前記奥行知覚情報に基づいてさらに算出し、前記仮想配置であるとして、前記仮想撮像レンズの位置から前記奥行再現範囲算出部が算出した前記前側最大奥行知覚位置までに存在する被写体による第３の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第１のカメラ情報とに基づいて算出する前側算出部と、前記仮想配置であるとして、前記前側最大奥行知覚位置よりも前側に存在する被写体の第４の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された単眼カメラ情報と第１のカメラ情報とに基づいて算出する最大前側算出部と、前記前側算出部が算出した前記第３の要素画像と、前記最大前側算出部が算出した前記第４の要素画像とを合成する前側合成部と、前記奥側合成部が合成して得た要素画像と前記前側合成部が合成して得た要素画像とを合成する合成部と、をさらに備える。
［３］上記［２］記載の画像生成装置において、前記仮想カメラアレイ情報記憶部は、前記仮想空間における仮想カメラアレイの第１の位置よりも前側である第２の位置を表す第２のカメラ情報をさらに記憶し、前記最大奥側算出部は、前記第２の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第２のカメラ情報とに基づいて算出し、前記最大前側算出部は、前記第４の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第２のカメラ情報とに基づいて算出する。
［４］上記［２］または［３］いずれか記載の画像生成装置において、前記奥側合成部は、前記第２の要素画像に前記第１の要素画像を上書きすることによって合成し、前記前側合成部は、前記第３の要素画像に前記第４の要素画像を上書きすることによって合成し、前記奥側合成部が合成して得た要素画像に前記前側合成部が合成して得た要素画像を上書きすることによって合成する。

【0008】

［５］上記の課題を解決するため、本発明の一態様である画像生成プログラムは、仮想空間における被写体の位置および形状を表す被写体情報を記憶する被写体情報記憶部と、前記仮想空間における仮想カメラアレイの第１の位置を表す第１のカメラ情報と前記仮想空間において前記仮想カメラアレイよりも前に設けられる仮想単眼カメラの位置を表す単眼カメラ情報とインテグラルフォトグラフィ立体像の奥行きに対する知覚の度合を表す奥行知覚情報とを記憶する仮想カメラアレイ情報記憶部と、を備えたコンピュータを、前記被写体の三次元情報を再現する奥行再現範囲における奥側最大奥行知覚位置を、前記仮想カメラアレイ情報記憶部に記憶された前記奥行知覚情報に基づいて算出する奥行再現範囲算出部、前記インテグラルフォトグラフィ立体映像表示装置のレンズアレイの各レンズに対応した位置に仮想撮像レンズが配置され、前記仮想撮像レンズの奥側に仮想撮像面が配置された仮想配置であるとして、前記仮想撮像面の位置から前記奥行再現範囲算出部が算出した前記奥側最大奥行知覚位置までに存在する被写体による第１の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第１のカメラ情報とに基づいて算出する奥側算出部、前記仮想配置であるとして、前記奥側最大奥行知覚位置よりも奥側に存在する被写体の第２の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された単眼カメラ情報と第１のカメラ情報とに基づいて算出する最大奥側算出部、前記奥側算出部が算出した前記第１の要素画像と、前記最大奥側算出部が算出した前記第２の要素画像とを合成する奥側合成部、として機能させる。

【発明の効果】

【0009】

本発明によれば、観視者に奥行感を知覚させるとともにＩＰ立体像の解像度の劣化を防ぐことができる。

【図面の簡単な説明】

【0010】

【図1】ＩＰ立体像の奥行きに対する鮮鋭度および解像度を示すグラフである。

【図2】ＩＰ立体像の奥行きに対する奥行知覚を示すグラフである。

【図3】第１の実施形態である画像生成装置を適用したＩＰ立体映像表示システムの概略の機能構成を示すブロック図である。

【図4】ＩＰ立体映像表示装置の構成を示す分解模式図である。

【図5】奥側算出部および最大奥側算出部の動作を説明する模式図である。

【図6】奥側算出部および最大奥側算出部の動作を説明する模式図である。

【図7】第１の実施形態である画像生成装置の処理手順を示す概略のフローチャートである。

【図8】奥側算出部の動作を説明する模式図である。

【図9】前側算出部の動作を説明するフローチャートである。

【図10】前側算出部の動作を説明する模式図である。

【図11】第２の実施形態における最大奥側算出部の動作を説明する模式図である。

【図12】第２の実施形態の第１変形例における最大奥側算出部の動作を説明する模式図である。

【図13】第２の実施形態の第２変形例における第２の仮想カメラの配置を説明する模式図である。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施形態］
テレビ等、映像が表示される表示画面を観視する観視者が奥行きを知覚する生理的要因は、主に、調節、輻輳、両眼視差である。一方、インテグラルフォトグラフィ（Ｉｎｔｅｇｒａｌ Ｐｈｏｔｏｇｒａｐｈｙ；ＩＰ）表示装置が十分な解像度を有していない場合、表示装置の表示面（レンズアレイの焦平面）から光軸方向に離れるにしたがってＩＰ立体像の解像度および鮮鋭度は低下する。まず、この現象について説明する。

【0012】

図１は、ＩＰ立体像の奥行きに対する鮮鋭度および解像度を示すグラフである。具体的に、同図のグラフは、４５８（ｄｏｔ ｐｅｒ ｉｎｃｈ；ｄｐｉ）の解像度を有する液晶ディスプレイ装置にレンズアレイを組み合わせたＩＰ立体像表示装置を液晶ディスプレイ装置の表示面から６０ｃｍ離れた場所から観視した場合の、主観評価によるＩＰ立体像の鮮鋭度、および計算上の限界解像度を示している。同図のグラフにおいて、横軸は、表示面を基準にしたＩＰ立体像の提示位置を示す。横軸における負方向が観視者から見た場合の後方であり、正方向が前方である。同図のグラフにおいて、左側の縦軸は、“０”から“１”までの値に正規化された鮮鋭度の評価値である。また、同図のグラフにおいて、右側の縦軸は、ＩＰ立体像の空間周波数（ｃｙｃｌｅ ｐｅｒ ｄｅｇｒｅｅ；ｃｐｄ）である。同図のグラフにおいて、“○”マーカは、表示面に対して後方１８ｃｍから前方１８ｃｍまで３ｃｍごとにＩＰ立体像を提示した場合の鮮鋭度の評価値である。また、破線は、ＩＰ方式における解像度特性である。

【0013】

図１のグラフから明らかなように、鮮鋭度の評価結果は、ＩＰ方式における解像度特性と同様に、表示面から離れるにしたがって低下する。すなわち、観視者は、表示面から離れたＩＰ立体像を、解像度が低下したぼやけた立体像として知覚する。

【0014】

また、例えば視距離１０ｍ以下の観視条件では、両眼視差による奥行知覚が最大の生理的要因となる。すなわち、両眼視差を含めた奥行知覚の生理的要因によって奥行きが知覚されない距離に提示される立体像を二次元像に置き換えても、観視者は置き換える前と同程度の奥行感を得るものといえる。

【0015】

図２は、ＩＰ立体像の奥行きに対する奥行知覚を示すグラフである。具体的に、同図のグラフは、４５８（ｄｐｉ）、２２９（ｄｐｉ）、および１５３（ｄｐｉ）の解像度を有する液晶ディスプレイ装置それぞれに同一仕様のレンズアレイを組み合わせたＩＰ立体像表示装置を液晶ディスプレイ装置の表示面から６０ｃｍ離れた場所から観視した場合の、主観評価によるＩＰ立体像の奥行知覚を示している。同図のグラフにおいて、横軸は、図１と同様に、表示面を基準にしたＩＰ立体像の提示位置を示す。図２のグラフにおいて、縦軸は、“−１”から“１”までの値に正規化された奥行知覚の評価値である。同図のグラフにおいて、“○”マーカは、解像度が４５８（ｄｐｉ）である液晶ディスプレイ装置の表示面に対して後方１８ｃｍから前方１８ｃｍまで３ｃｍごとにＩＰ立体像を提示した場合の奥行知覚の評価値である。また、“△”マーカは、液晶ディスプレイ装置の解像度が２２９（ｄｐｉ）である場合の奥行知覚の評価値である。また、“×”マーカは、液晶ディスプレイ装置の解像度が１５３（ｄｐｉ）である場合の奥行知覚の評価値である。

【0016】

図２のグラフによれば、いずれの解像度においても、ＩＰ立体像の提示位置が表示面から離れるにしたがって奥行知覚の変化率が概ね小さくなる。言い換えると、表示装置の解像度によらず、ＩＰ立体像の提示位置が表示面から離れるにしたがって、観視者が知覚する奥行感が弱まる傾向にある。また、任意の提示位置における奥行知覚は、解像度が高いほど大きい（奥行感が強い）といえる。

【0017】

図２のグラフにおいて、ＩＰ立体像の奥行きの知覚可能範囲（奥行知覚可能範囲）を、危険率５％の有意差検定により求めると、解像度４５８（ｄｐｉ）では表示面後方１５ｃｍから表示面前方１５ｃｍまで、解像度２２９（ｄｐｉ）では表示面後方１２ｃｍから表示面前方１２ｃｍまで、解像度１５３（ｄｐｉ）では表示面後方１２ｃｍから表示面前方６ｃｍまでとなる。すなわち、解像度が高くなるにしたがって、奥行き知覚可能範囲は広くなるという結果が得られる。

【0018】

図１および図２によれば、画質（例えば、鮮鋭度）はＩＰ立体像の提示位置に応じて変化するが、奥行知覚はある一定の奥行位置に達するまでに徐々に飽和する傾向がある。また、表示装置の解像度が低いほど奥行き知覚が飽和する奥行距離が短いことがわかる。すなわち、ＩＰ立体像の提示位置が表示面から離れた場合、画質の低下は知覚され易いが奥行位置の変化は知覚され難い。

【0019】

そこで、第１実施形態では、奥行きが知覚されなくなる位置を最大奥行知覚位置とし、この位置よりも知覚されない方の位置にある被写体を最大奥行知覚位置において二次元像として表示することにより、奥行きが知覚されない場所にある被写体に対する主観的な（見かけ上の）画質の改善をはかる。

【0020】

図３は、第１の実施形態である画像生成装置を適用したＩＰ立体映像表示システムの概略の機能構成を示すブロック図である。同図に示すように、ＩＰ立体映像表示システム１は、画像生成装置１０と、ＩＰ立体映像表示装置２０とを含む。ＩＰ立体映像表示装置２０は、ＩＰ立体映像を表示する表示装置である。画像生成装置１０は、ＩＰ立体映像表示装置２０用のコンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ；ＣＧ）による要素画像群を生成し、この要素画像群を時系列に並べて得られるＩＰ映像信号をＩＰ立体映像表示装置２０に入力する。

【0021】

画像生成装置１０は、仮想カメラアレイ情報記憶部１０１と、被写体情報記憶部１０２と、奥行再現範囲算出部１０３と、奥側算出部１０４と、最大奥側算出部１０５と、前側算出部１０６と、最大前側算出部１０７と、奥側合成部１０８と、前側合成部１０９と、合成部１１０と、映像信号生成部１１１とを備える。

【0022】

仮想カメラアレイ情報記憶部１０１は、仮想空間における第１の仮想カメラアレイの第１の位置を表す第１のカメラ情報と、この仮想空間において第１の仮想カメラアレイよりも前に設けられる仮想単眼カメラの位置を表す単眼カメラ情報とを記憶する。第１の実施形態において、第１のカメラ情報は、第１の仮想カメラアレイにおける各仮想撮像レンズの主点の位置を表す情報と各主点に対応する仮想撮像面の位置を表す情報とを含む。また、単眼カメラ情報は、仮想単眼カメラにおける仮想単眼撮像レンズの主点の位置を表す情報とその主点に対応する仮想単眼撮像面の位置を表す情報とを含む。仮想カメラアレイ情報記憶部１０１が記憶する第１のカメラ情報が表す各仮想撮像レンズの主点の位置は、要素画像を算出するための仮想空間にＩＰ立体映像表示装置２０を配置したときに、ＩＰ立体映像表示装置２０のレンズアレイを構成する各レンズの主点の位置に対応する。また、第１のカメラ情報が表す各仮想撮像面の位置は、仮想空間にＩＰ立体映像表示装置２０を配置したときに、ＩＰ立体映像表示装置２０により要素画像が表示される表示面の位置に対応する。すなわち、仮想撮像面は、ＩＰ立体映像表示装置２０のレンズアレイを構成するレンズの焦点距離だけ、仮想撮像レンズから離れた場所に位置する。なお、仮想レンズの主点の位置および仮想撮像面の位置は、仮想空間における時間の経過とともに変化してもよい。

【0023】

また、仮想カメラアレイ情報記憶部１０１は、ＩＰ立体像の奥行きに対する知覚（奥行知覚）の度合を表す奥行知覚情報を記憶する。具体的に、仮想カメラアレイ情報記憶部１０１は、ＩＰ立体映像表示装置２０の解像度に応じた、ＩＰ立体像の表示面からの奥行距離に対する奥行知覚の評価値（例えば、図２に示したグラフデータ）を記憶する。

【0024】

被写体情報記憶部１０２は、例えば、仮想空間における被写体の位置、形状、色、輝度、光学的な特性を表す情報を記憶する。例えば、被写体の仮想空間における位置および形状として、ポリゴンや自由曲面を用いてもよいし、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｄｒａｆｔｉｎｇ）データを用いてもよいし、その他の形式で表してもよい。なお、被写体の仮想空間における位置、形状、色、輝度、光学的な特性は、仮想空間における時間の経過とともに変化してもよい。

【0025】

奥行再現範囲算出部１０３は、仮想カメラアレイ情報記憶部１０１に記憶された奥行知覚情報に基づいて、被写体の三次元情報を再現する奥行再現範囲を算出する。具体的に、奥行再現範囲算出部１０３は、奥行知覚情報に基づいて、奥行方向の前側最大奥行知覚位置および奥側最大奥行知覚位置を算出する。前側最大奥行知覚位置は、第１の仮想カメラアレイの各仮想撮像レンズよりも手前側に位置する奥行再現範囲の限界位置である。奥側最大奥行知覚位置は、第１の仮想カメラアレイの各仮想撮像面よりも奥側に位置する奥行再現範囲の限界位置である。より具体的に、例えば、奥行再現範囲算出部１０３は、仮想カメラアレイ情報記憶部１０１から奥行知覚情報を読み込み、この奥行知覚情報に基づく奥行知覚可能範囲を危険度５％の有意差検定により計算し、前側最大奥行知覚位置および奥側最大奥行知覚位置を得る。奥行再現範囲算出部１０３は、奥側最大奥行知覚位置を示す情報を奥側算出部１０４および最大奥側算出部１０５に供給する。また、奥行再現範囲算出部１０３は、前側最大奥行知覚位置を示す情報を前側算出部１０６および最大前側算出部１０７に供給する。

【0026】

前側算出部１０６は、奥行再現範囲算出部１０３が供給する前側最大奥行知覚位置を示す情報を取り込み、仮想撮像レンズの位置から前側最大奥行知覚位置までに存在する被写体による前側要素画像（第３の要素画像）を、被写体情報記憶部１０２に記憶された被写体情報と仮想カメラアレイ情報記憶部１０１に記憶された第１のカメラ情報とに基づいて算出する。前側要素画像は、第１の仮想カメラの仮想撮像レンズよりも前側、且つ前側最大奥行知覚位置よりも奥側に位置する被写体による要素画像である。前側算出部１０６は、前側要素画像の各画素の画素値を、仮想撮像面における当該画素と仮想撮像レンズの主点とを通る直線が、その仮想撮像レンズの主点より手前側で被写体と交差する点のうち、当該仮想撮像レンズの主点から最も遠い点に関する情報を参照して算出する。これは、通常の陰面処理とは逆の処理となる。第１の実施形態では、最も遠い点に関する情報を参照して画素値を算出する方法の一例として、最も遠い点における被写体の色を、被写体情報記憶部１２から読み出し、その色を表す値を画素値とする方法を用いる。前側算出部１０６は、１フレーム分の前側要素画像群を算出する。

【0027】

なお、前側算出部１０６は、上述のように、仮想撮像レンズの主点から最も遠い点の色を表す値を画素値とする際に、デプスマップ（Ｄｅｐｔｈ Ｍａｐ）を用いるようにしてもよい。まず、前側算出部１０６は、仮想撮像面あるいは仮想撮像レンズから無限遠の場合が“１．０”であり、仮想撮像面あるいは仮想撮像レンズに近づくにしたがって小さくなる値（ただし、“０”より大きい値）をデプス値として被写体の表面に対して割り当てておく。前側算出部１０６は、被写体の表面を走査して、その表面の色を表す画素値を、前側要素画像の各画素の画素値とする。

【0028】

通常の陰面処理では、デプス値を“１．０”に初期化しておき、画素値を取得した被写体のデプス値が、当該画素値を書き込むべき画素の、デプスマップにおけるデプス値よりも小さいときのみ、取得した画素値で更新する。しかし、第１の実施形態では、通常の陰面処理とは逆の処理を行うので、前側算出部１０６は、前側要素画像の各画素に対応するデプス値を有するデプスマップのデプス値を全て“０”に予め初期化しておく。そして、前側算出部１０６は、画素値を取得した被写体のデプス値が、当該画素値を書き込むべき画素の、デプスマップにおけるデプス値よりも大きいときのみ、前側要素画像における画素の画素値を取得した画素値で更新し、デプスマップにおける画素のデプス値を当該被写体のデプス値で更新する。

【0029】

最大前側算出部１０７は、奥行再現範囲算出部１０３が供給する前側最大奥行知覚位置を示す情報を取り込み、この前側最大奥行知覚位置よりも前側に存在する被写体の最大前側要素画像（第４の要素画像）を、被写体情報記憶部１０２に記憶された被写体情報と仮想カメラアレイ情報記憶部１０１に記憶された単眼カメラ情報と第１のカメラ情報とに基づいて算出する。最大前側算出部１０７は、１フレーム分の最大前側要素画像群を算出する。

【0030】

奥側算出部１０４は、奥行再現範囲算出部１０３が供給する奥側最大奥行知覚位置を示す情報を取り込み、仮想撮像面の位置から奥側最大奥行知覚位置までに存在する被写体による奥側要素画像（第１の要素画像）を、被写体情報記憶部１０２に記憶された被写体情報と仮想カメラアレイ情報記憶部１０１に記憶された第１のカメラ情報とに基づいて算出する。奥側要素画像は、第１の仮想カメラの仮想撮像面よりも奥側、且つ奥側最大奥行知覚位置よりも前側に位置する被写体による要素画像である。奥側算出部１０４は、仮想撮像面におけるある画素を通った後に、仮想撮像レンズの主点を通る光線を、公知の手法（例えば、レイトレーシング法、フォトンマッピング法）により算出し、当該光線の色を表す値を、要素画像における該画素の画素値とする。奥側算出部１０４は、１フレーム分の奥側要素画像群を算出する。

【0031】

最大奥側算出部１０５は、奥行再現範囲算出部１０３が供給する奥側最大奥行知覚位置を示す情報を取り込み、この奥側最大奥行知覚位置よりも奥側に存在する被写体の最大奥側要素画像（第２の要素画像）を、被写体情報記憶部１０２に記憶された被写体情報と仮想カメラアレイ情報記憶部１０１に記憶された単眼カメラ情報と第１のカメラ情報とに基づいて算出する。最大奥側算出部１０５は、１フレーム分の最大奥側要素画像群を算出する。

【0032】

前側合成部１０９は、前側算出部１０６が算出した前側要素画像に、最大前側算出部１０７が算出した最大前側要素画像を重ねて合成し、合成前側要素画像を生成する。前側合成部１０９は、１フレーム分の合成前側要素画像群を生成する。ただし、前側合成部１０９が前側要素画像に重ねる最大前側要素画像は、同じ仮想カメラに対応するものである。具体的に、前側合成部１０９は、最大前側要素画像において“０”でない画素値で前側要素画像を上書きする。
なお、前側合成部１０９は、最大前側要素画像において被写体が存在する領域の画素値が“１”であり、被写体が存在しない領域の画素値が“０”であるマスク画像を生成し、このマスク画像において画素値が“０”である画素の前側要素画像の画素値を、最大前側要素画像に上書きすることで要素画像を合成してもよい。

【0033】

奥側合成部１０８は、最大奥側算出部１０５が算出した最大奥側要素画像に、奥側算出部１０４が算出した奥側要素画像を重ねて合成し、合成奥側要素画像を生成する。奥側合成部１０８は、１フレーム分の合成奥側要素画像群を生成する。ただし、奥側合成部１０８が最大奥側要素画像に重ねる奥側要素画像は、同じ仮想カメラに対応するものである。具体的に、奥側合成部１０８は、奥側要素画像において“０”でない画素値で最大奥側要素画像を上書きする。
なお、奥側合成部１０８は、奥側要素画像において被写体が存在する領域の画素値が“１”であり、被写体が存在しない領域の画素値が“０”であるマスク画像を生成し、このマスク画像において画素値が“０”である画素の最大奥側要素画像の画素値を、奥側要素画像に上書きすることで要素画像を合成してもよい。

【0034】

合成部１１０は、奥側合成部１０８が合成して得た合成奥側要素画像に、前側合成部１０９が合成して得た合成前側要素画像を重ねて合成し、要素画像を生成する。合成部１１０は、１フレーム分の要素画像群を生成する。ただし、合成部１１０が合成奥側要素画像に重ねる合成前側要素画像は、同じ仮想カメラに対応するものである。具体的に、合成部１１０は、合成前側要素画像において“０”でない画素値で合成奥側要素画像を上書きする。
なお、合成部１１０は、合成前側要素画像において被写体が存在する領域の画素値が“１”であり、被写体が存在しない領域の画素値が“０”であるマスク画像を生成し、このマスク画像において画素値が“０”である画素の合成奥側要素画像の画素値を、合成前側要素画像に上書きすることで要素画像を合成してもよい。

【0035】

映像信号生成部１１１は、合成部１１０が生成した要素画像群を時系列に並べたＩＰ映像信号を生成し、このＩＰ映像信号をＩＰ立体映像表示装置２０に供給する。

【0036】

図４は、ＩＰ立体映像表示装置２０の構成を示す分解模式図である。同図に示すように、ＩＰ立体映像表示装置２０は、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の画像表示デバイスである表示パネル２１０と、表示パネル２１０の前面に配置されるレンズアレイ２２０とを含む。表示パネル２１０は、ＩＰ立体映像表示装置２０に入力されたＩＰ映像信号にしたがって、要素画像２１−１〜２１−Ｎからなる要素画像群を表示する。

【0037】

レンズアレイ２２０は、要素画像２１−１〜２１−Ｎの各々に対応する凸レンズ２２−１〜２２−Ｎを含んで構成される。レンズアレイ２２０は、表示パネル２１０から凸レンズ２２−１〜２２−Ｎの焦点距離だけ離した前面に設置される。これにより、観視者からは、要素画像２１−１〜２１−Ｎそれぞれの、視点に応じた一部分のみが見えるようになる。

【0038】

なお、第１の実施形態では、凸レンズ２２−１〜２２−Ｎの配列および要素画像２１−１〜２１−Ｎの配列は、デルタ配置としたが、正方格子配置やこれ以外の配置としてもよい。また、ＩＰ立体映像表示装置２０は、表示パネル２１０に代えて、それぞれが要素画像を投射する複数のプロジェクタおよび当該要素画像が投射されるスクリーンを備えるもの等、ＩＰ立体映像を表示するものであれば、その他の構成であってもよい。

【0039】

図５および図６は、奥側算出部１０４および最大奥側算出部１０５の動作を説明する模式図である。図５は、図中右手方向に向かってＩＰ立体映像表示装置２０が表示する要素画像を算出するための仮想空間の上面図である。被写体Ｏ（オー）１は、仮想撮像面Ｐ１よりも奥側、且つ奥側最大奥行知覚位置を含む仮想平面Ｋよりも手前にある。詳細には、被写体Ｏ１は、仮想撮像レンズの主点Ｌ１および仮想撮像面Ｐ１（第１の仮想カメラ）によって形成される第１の仮想撮像領域を、仮想平面Ｋで切った場合の奥側算出領域Ａ内にある。奥側算出部１０４は、仮想撮像面Ｐ１における画素を通った後、仮想撮像レンズの主点Ｌ１を通る光を逆に追跡することによって被写体Ｏ１に対する奥側要素画像を算出する。

【0040】

被写体Ｏ（オー）２は、仮想平面Ｋよりも奥側、つまり、奥行再現範囲外にある。詳細には、被写体Ｏ２は、仮想撮像面Ｐ１を含む全ての仮想撮像面の最も外側の光線が対応する主点を通って交差する点に仮想単眼撮像レンズの主点Ｌ’を設けるとともに、その主点Ｌ’に対応する位置に仮想単眼撮像面Ｐ’を設けた場合に、仮想単眼撮像レンズの主点Ｌ’および仮想単眼撮像面Ｐ’によって形成される仮想単眼撮像領域のうち仮想平面Ｋよりも奥側の領域Ｂにある。第１の実施形態では、仮想単眼撮像レンズの主点Ｌ’および仮想単眼撮像面Ｐ’（仮想単眼カメラ）によって被写体Ｏ２を仮想的に撮像する。具体的に、図６を参照して説明する。

【0041】

図６において、符号Ｓは、仮想平面Ｋ上に設けられた仮想板（テクスチャ）を指す。最大奥側算出部１０５は、仮想単眼撮像レンズの主点Ｌ’および仮想単眼撮像面Ｐ’によって仮想的に撮像した被写体Ｏ２を仮想板Ｓに写す（テクスチャマッピング）。この状態で、奥側算出部１０４は、仮想撮像面Ｐ１における画素を通った後、仮想撮像レンズの主点Ｌ１を通る光を逆に追跡することによって被写体Ｏ１および仮想板Ｓに対する奥側要素画像を算出する。

【0042】

なお、図示しないが、被写体Ｏ（オー）３が、前側最大奥行知覚位置を含む仮想平面Ｋ’よりも前側、つまり、奥行再現範囲外にある場合、最大前側算出部１０７は、仮想単眼撮像レンズの主点Ｌ’および仮想単眼撮像面Ｐ’によって仮想的に撮像した被写体Ｏ２を仮想平面Ｋ’上に設けられた仮想板Ｓ’に写す。この状態で、前側算出部１０６は、前側要素画像の各画素の画素値を、仮想撮像面Ｐ１における画素と、仮想撮像レンズの主点Ｌ１とを通る直線が、この主点Ｌ１より前側で被写体Ｏ３と交差する点のうち、主点Ｌ１から最も遠い点に関する情報を参照して算出する。

【0043】

図７は、第１の実施形態である画像生成装置１０の処理手順を示す概略のフローチャートである。
ステップＳ１において、奥行再現範囲算出部１０３は、仮想カメラアレイ情報記憶部１０１に記憶された奥行知覚情報に基づいて、被写体の三次元情報を再現する奥行再現範囲を示す前側最大奥行知覚位置（最大前：Ｚｆ）および奥側最大奥行知覚位置（最大奥：Ｚｂ）を算出する。
次に、奥行再現範囲算出部１０３は、奥側最大奥行知覚位置を示す情報を奥側算出部１０４および最大奥側算出部１０５に供給する。また、奥行再現範囲算出部１０３は、前側最大奥行知覚位置を示す情報を前側算出部１０６および最大前側算出部１０７に供給する。

【0044】

ステップＳ２において、最大奥側算出部１０５は、奥行再現範囲算出部１０３が供給する奥側最大奥行知覚位置を示す情報を取り込み、この奥側最大奥行知覚位置よりも奥側に存在する被写体の最大奥側要素画像（Ｂｉｍ＿ｍａｘ）を、被写体情報記憶部１０２に記憶された被写体情報と仮想カメラアレイ情報記憶部１０１に記憶された単眼カメラ情報と第１のカメラ情報とに基づいて算出する。最大奥側算出部１０５は、１フレーム分の最大奥側要素画像群を算出する。

【0045】

ステップＳ３において、奥側算出部１０４は、奥行再現範囲算出部１０３が供給する奥側最大奥行知覚位置を示す情報を取り込み、仮想撮像面の位置から奥側最大奥行知覚位置までに存在する被写体による奥側要素画像（Ｂｉｍ）を、被写体情報記憶部１０２に記憶された被写体情報と仮想カメラアレイ情報記憶部１０１に記憶された第１のカメラ情報とに基づいて算出する。奥側算出部１０４は、１フレーム分の奥側要素画像群を算出する。

【0046】

ステップＳ４において、前側算出部１０６は、奥行再現範囲算出部１０３が供給する前側最大奥行知覚位置を示す情報を取り込み、仮想撮像レンズの位置から前側最大奥行知覚位置までに存在する被写体による前側要素画像（Ｆｉｍ）を、被写体情報記憶部１０２に記憶された被写体情報と仮想カメラアレイ情報記憶部１０１に記憶された第１のカメラ情報とに基づいて算出する。前側算出部１０６は、１フレーム分の前側要素画像群を算出する。

【0047】

ステップＳ５において、最大前側算出部１０７は、奥行再現範囲算出部１０３が供給する前側最大奥行知覚位置を示す情報を取り込み、この前側最大奥行知覚位置よりも前側に存在する被写体の最大前側要素画像（Ｆｉｍ＿ｍａｘ）を、被写体情報記憶部１０２に記憶された被写体情報と仮想カメラアレイ情報記憶部１０１に記憶された単眼カメラ情報と第１のカメラ情報とに基づいて算出する。最大前側算出部１０７は、１フレーム分の最大前側要素画像群を算出する。

【0048】

ステップＳ６において、奥側合成部１０８は、最大奥側算出部１０５が算出した最大奥側要素画像に、奥側算出部１０４が算出した奥側要素画像を重ねて合成し、合成奥側要素画像（Ｂｉｍ＿ｆｉｎ）を生成する。具体的に、奥側合成部１０８は、奥側要素画像において“０”でない画素値で最大奥側要素画像を上書きする。奥側合成部１０８は、１フレーム分の合成奥側要素画像群を生成する。

【0049】

ステップＳ７において、前側合成部１０９は、前側算出部１０６が算出した前側要素画像に、最大前側算出部１０７が算出した最大前側要素画像を重ねて合成し、合成前側要素画像（Ｆｉｍ＿ｆｉｎ）を生成する。具体的に、前側合成部１０９は、最大前側要素画像において“０”でない画素値で前側要素画像を上書きする。前側合成部１０９は、１フレーム分の合成前側要素画像群を生成する。

【0050】

ステップＳ８において、合成部１１０は、奥側合成部１０８が合成して得た合成奥側要素画像に、前側合成部１０９が合成して得た合成前側要素画像を重ねて合成し、要素画像を生成する。具体的に、合成部１１０は、合成前側要素画像において“０”でない画素値で合成奥側要素画像を上書きする。合成部１１０は、１フレーム分の要素画像群を生成する。
次に、映像信号生成部１１１は、合成部１１０が生成した要素画像群を時系列に並べたＩＰ映像信号を生成し、このＩＰ映像信号をＩＰ立体映像表示装置２０に供給する。

【0051】

なお、図７のフローチャートにおいて、最大奥側算出部１０５が実行するステップＳ２の処理と、奥側算出部１０４が実行するステップＳ３の処理とは、並列であってもよいし、直列であってもよい。同様に、前側算出部１０６が実行するステップＳ４の処理と、最大前側算出部１０７が実行するステップＳ５の処理とは、並列であってもよいし、直列であってもよい。同様に、ステップＳ２、ステップＳ３、およびステップＳ６の処理群と、ステップＳ４、ステップＳ５、およびステップＳ７の処理群とは、並列であってもよいし、直列であってもよい。

【0052】

図８は、奥側算出部１０４の動作を説明する模式図である。同図は、表示方向Ａｒ１が示す方向（右手方向）に向かってＩＰ立体映像表示装置２０が表示する要素画像を算出するための仮想空間の上面図である。被写体Ｏ１，Ｏ２は、仮想撮像面Ｐ１〜Ｐ５よりも奥側にあり、被写体Ｏ３は、仮想撮像レンズの主点Ｌ１〜Ｌ５よりも手前側にある。奥側算出部１０４が、仮想撮像面における画素を通った後、仮想撮像レンズの主点を通る光を、逆に追跡するレイトレーシング法を用いる形態を例に説明する。

【0053】

例えば、図８の符号Ｒ１が付された矢印は、仮想撮像面Ｐ３のある画素を通った後、仮想撮像面Ｐ３に対応する仮想撮像レンズの主点Ｌ３を通る光線である。奥側算出部１０４は、光線Ｒ１を、何かに突き当たるまで逆に辿る。ここでは、被写体Ｏ２に突き当たるので、奥側算出部１０４は、被写体Ｏ２の突き当たった点Ｐ２１における光学的な特性（反射率、拡散率、透過率、屈折率等）を、被写体情報記憶部１０２から読み出す。そして、奥側算出部１０４は、読み出した特性に基づき、当該突き当たった点における反射、拡散、透過、屈折等により光線Ｒ１となる光線の方向を算出する。

【0054】

図８では、点Ｐ２１で鏡面反射が起きている場合の例であり、反射により光線Ｒ１となる光線Ｒ２を、さらに逆に辿るというようにして、光の光量や色が予め与えられている領域（例えば、光源）に到達するまで、逆に辿ることを繰り返す。このようにすることで、奥側算出部１０４は、光線Ｒ１に含まれる光の成分を求め、光線Ｒ１の色を算出することができる。奥側算出部１０４は、このような処理を全ての仮想撮像面の全ての画素に対して行うことで、全ての奥側要素画像を算出する。

【0055】

図９は、前側算出部１０６の動作を説明するフローチャートである。同図に示すフローチャートは、１フレーム分の前側要素画像を生成する処理のフローチャートである。まず、前側算出部１０６は、１フレーム分の前側要素画像の全ての画素値を初期化する（Ｓａ１）。そして、前側算出部１０６は、それまでに未選択の仮想撮像面の中から一つを以降の処理対象の仮想撮像面として選択する（Ｓａ２）。次に、前側算出部１０６は、処理対象の仮想撮像面の画素のうち、未選択のものの中から一つを以降の処理対象の画素として選択する（Ｓａ３）。

【0056】

次に、前側算出部１０６は、処理対象の画素と、処理対象の仮想撮像面に対応する仮想撮像レンズの主点とを通る直線と、仮想撮像レンズより手前側の被写体との交差点を検出する（Ｓａ４）。次に、前側算出部１０６は、ステップＳａ４にて交差点が検出されたか否かを判定する（Ｓａ５）。交差点が検出されていないと判定したときは（Ｓａ５：ＮＯ）、ステップＳａ６を飛ばして、ステップＳａ７に進む。

【0057】

一方、ステップＳａ５にて、交差点が検出されたと判定したときは（Ｓａ５：ＹＥＳ）、前側算出部１０６は、検出した交差点のうち、仮想撮像レンズから最も遠いものを選択する。そして、前側算出部１０６は、選択した交差点における被写体の色を示す値を、被写体情報記憶部１２から読み出し、当該値を、対象の画素の画素値とし（Ｓａ６）、ステップＳａ７に進む。ステップＳａ７では、処理対象の仮想撮像面に、ステップＳａ３にて未選択の画素があるときは、ステップＳａ３に戻り、ないときはステップＳａ８に進む。

【0058】

ステップＳａ８では、ステップＳａ２にて未選択の仮想撮像面があるときは、ステップＳａ２に戻り、ないときは、処理を終了する。これにより、ステップＳａ５において、交差点があると判定された画素の画素値は、ステップＳａ６にて決定した値となり、ステップＳａ５において、交差点がないと判定された画素の画素値は、ステップＳａ１にて初期化された値となる。

【0059】

図１０は、前側算出部１０６の動作を説明する模式図である。同図は、図９のフローチャートにおけるステップＳａ４，Ｓａ６の処理を説明する模式図である。図１０は、図８と同様に、表示方向Ａｒ１が示す方向（右手方向）に向かってＩＰ立体映像表示装置２０が表示するための要素画像を算出するための仮想空間の上面図である。被写体Ｏ１，Ｏ２、仮想撮像面Ｐ１〜Ｐ５、仮想撮像レンズの主点Ｌ１〜Ｌ５は、図８と同様である。

【0060】

前側算出部１０６が仮想撮像面Ｐ３の一画素ＰＥを処理対象としているときを考える。図１０において、主点Ｌ３の仮想撮像レンズが仮想撮像面Ｐ３に対応しているので、矢印Ｒ１’が、処理対象の画素と、処理対象の仮想撮像面に対応する仮想撮像レンズの主点とを通る直線である。したがって、ステップＳａ４の処理において前側算出部１０６が検出する、直線Ｒ１’と仮想撮像レンズＬ３より手前側の被写体Ｏ３との交差点は、点Ｐ３１と点Ｐ３２となる。

【0061】

ステップＳａ６では、前側算出部１０６は、これらの交差点Ｐ３１，Ｐ３２のうち、仮想撮像レンズＬ３から最も遠いものを選択し、その点における色を表す値を、被写体情報記憶部１２から読み出し、処理対象の画素の画素値とする。このように、交差点のうち最も遠いものを選択することで、矢印Ｒ１’の先に視点があったときに、その視点から見て、被写体Ｏ３の陰面となって見えない領域ＲＯ３に属する交差点Ｐ３１ではなく、当該視点から見える交差点Ｐ３２を選択することができる。

【0062】

以上、説明したように、第１の実施形態である画像生成装置１０は、ＩＰ立体映像表示装置２０用の要素画像を生成する装置である。そして、画像生成装置１０は、仮想空間における被写体の位置および形状を表す被写体情報を記憶する被写体情報記憶部１０２を備える。また、画像生成装置１０は、仮想空間における仮想カメラアレイの第１の位置を表す第１のカメラ情報と仮想空間において仮想カメラアレイよりも前に設けられる仮想単眼カメラの位置を表す単眼カメラ情報とインテグラルフォトグラフィ立体像の奥行きに対する知覚の度合を表す奥行知覚情報とを記憶する仮想カメラアレイ情報記憶部１０１を備える。また、画像生成装置１０は、被写体の三次元情報を再現する奥行再現範囲を示す、前側最大奥行知覚位置および奥側最大奥行知覚位置を、仮想カメラアレイ情報記憶部１０１に記憶された奥行知覚情報に基づいて算出する奥行再現範囲算出部１０３を備える。また、画像生成装置１０は、ＩＰ立体映像表示装置２０のレンズアレイの各レンズに対応した位置に仮想撮像レンズが配置され、この仮想撮像レンズの奥側に仮想撮像面が配置された仮想配置であるとして、仮想撮像レンズの位置から奥行再現範囲算出部１０３が算出した前側最大奥行知覚位置までに存在する被写体による第３の要素画像を、被写体情報記憶部１０２に記憶された被写体情報と仮想カメラアレイ情報記憶部１０１に記憶された第１のカメラ情報とに基づいて算出する前側算出部１０６を備える。また、画像生成装置１０は、前記の仮想配置であるとして、前側最大奥行知覚位置よりも前側に存在する被写体の第４の要素画像を、被写体情報記憶部１０２に記憶された被写体情報と仮想カメラアレイ情報記憶部１０１に記憶された単眼カメラ情報と第１のカメラ情報とに基づいて算出する最大前側算出部１０７を備える。また、画像生成装置１０は、前記の仮想配置であるとして、仮想撮像面の位置から奥行再現範囲算出部１０３が算出した奥側最大奥行知覚位置までに存在する被写体による第１の要素画像を、被写体情報記憶部１０２に記憶された被写体情報と仮想カメラアレイ情報記憶部１０１に記憶された第１のカメラ情報とに基づいて算出する奥側算出部１０４を備える。また、画像生成装置１０は、前記の仮想配置であるとして、奥側最大奥行知覚位置よりも奥側に存在する被写体の第２の要素画像を、被写体情報記憶部１０２に記憶された被写体情報と仮想カメラアレイ情報記憶部１０１に記憶された単眼カメラ情報と第１のカメラ情報とに基づいて算出する最大奥側算出部１０５を備える。また、画像生成装置１０は、前側算出部１０６が算出した第３の要素画像と、最大前側算出部１０７が算出した第４の要素画像とを合成する前側合成部１０９と、奥側算出部１０４が算出した第１の要素画像と、最大奥側算出部１０５が算出した第２の要素画像とを合成する奥側合成部１０８とを備える。また、画像生成装置１０は、前側合成部１０９が合成して得た要素画像と、奥側合成部１０８が合成して得た要素画像とを合成する合成部１１０を備える。

【0063】

この構成により、画像生成装置１０は、奥行再現範囲内のＩＰ立体像を高精度に再生するとともに、奥行再現範囲外において奥行きを圧縮して再生させるため、ＩＰ再生像の解像度の低下を抑えて且つ奥行感を観視者に与えることができる。

【0064】

［第２の実施形態］
第２の実施形態におけるＩＰ立体映像表示システムは、図３のＩＰ立体映像表示システム１と同様の構成を有する。よって、第２の実施形態の説明においては、図３の構成図を用いることとする。第２の実施形態におけるＩＰ立体映像表示システム１では、画像生成装置１０における最大奥側算出部１０５および最大前側算出部１０７の動作が第１の実施形態と一部異なる。また、仮想カメラアレイ情報記憶部１０１が記憶する情報の一部が第１の実施形態と異なる。

【0065】

第２の実施形態である画像生成装置１０は、奥行再現範囲外の三次元モデルおよびセットに対し、奥行きを圧縮して最大奥側要素画像および最大前側要素画像を生成する。

【0066】

第２の実施形態において、仮想カメラアレイ情報記憶部１０１は、第１の実施形態における第１の仮想カメラアレイの第１の位置よりも前側にある第２の仮想カメラアレイの第２の位置を表す第２のカメラ情報を、さらに記憶する。第２の実施形態において、第２のカメラ情報は、第２の仮想カメラアレイにおける各仮想撮像レンズの主点の位置を表す情報と各主点に対応する仮想撮像面の位置を表す情報とを含む。

【0067】

図１１は、第２の実施形態における最大奥側算出部１０５の動作を説明する模式図である。同図は、図中右手方向に向かってＩＰ立体映像表示装置２０が表示する要素画像を算出するための仮想空間の上面図である。被写体Ｏ（オー）１は、仮想撮像面Ｐ１よりも奥側、且つ奥側最大奥行知覚位置を含む仮想平面Ｋよりも手前にある。詳細には、被写体Ｏ１は、仮想撮像レンズの主点Ｌ１および仮想撮像面Ｐ１（第１の仮想カメラ）によって形成される第１の仮想撮像領域を、仮想平面Ｋで切った場合の奥側算出領域Ａ内にある。

【0068】

被写体Ｏ（オー）２は、第１の仮想カメラよりも前側に設けた、仮想撮像レンズの主点Ｌ１’および仮想撮像面Ｐ１’（第２の仮想カメラ）によって形成される第２の仮想撮像領域を仮想平面Ｋで切った場合の、最大奥側算出領域Ｂ’内にある。ただし、奥側算出領域Ａが仮想平面Ｋに接する面と、最大奥側算出領域Ｂ’が仮想平面Ｋに接する面とは同一である。

【0069】

第１の仮想カメラおよび被写体Ｏ１を取り除いた状態で、最大奥側算出部１０５は、最大奥側要素画像を、被写体情報記憶部１０２に記憶された被写体情報と仮想カメラアレイ情報記憶部１０１に記憶された第２のカメラ情報とに基づいて算出する。具体的に、最大奥側算出部１０５は、仮想撮像面Ｐ１’における画素を通った後、仮想撮像レンズの主点Ｌ１’を通る光を逆に追跡することによって被写体Ｏ２に対する最大奥側要素画像を算出する。

【0070】

第１の仮想カメラアレイの各仮想撮像レンズは、ＩＰ立体映像表示装置２０のレンズアレイの各レンズに対応している。よって、第２実施形態である画像生成装置１０が生成したＩＰ映像信号をＩＰ立体映像表示装置２０が取り込んでＩＰ映像を表示した場合、最大奥側算出領域Ｂ’内の被写体Ｏ２の奥行きが圧縮される。

【0071】

なお、図示しないが、被写体Ｏ（オー）３が、前側最大奥行知覚位置を含む仮想平面Ｋ’よりも前側、つまり、奥行再現範囲外にある場合、最大前側算出部１０７は、最大前側要素画像を、被写体情報記憶部１０２に記憶された被写体情報と仮想カメラアレイ情報記憶部１０１に記憶された第２のカメラ情報とに基づいて算出する。具体的に、最大前側算出部１０７は、最大前側要素画像の各画素の画素値を、仮想撮像面Ｐ１’における画素と、仮想撮像レンズの主点Ｌ１’とを通る直線が、この主点Ｌ１’より前側で被写体Ｏ３と交差する点のうち、主点Ｌ１’から最も遠い点に関する情報を参照して算出する。

【0072】

［第２の実施形態の第１変形例］
第１の変形例である画像生成装置１０は、奥行再現範囲外の三次元モデルおよびセットに対し、段階的に圧縮率を変えて奥行きを圧縮し、最大奥側要素画像および最大前側要素画像を生成する。具体的に、最大奥側算出部１０５は、仮想撮像面から離れるほど奥行きが圧縮されるように最大奥側要素画像を生成する。また、最大前側算出部１０７は、仮想撮像レンズの主点から離れるほど奥行きが圧縮されるように最大前側要素画像を生成する。

【0073】

図１２は、第２の実施形態の第１変形例における最大奥側算出部１０５の動作を説明する模式図である。同図は、図中右手方向に向かってＩＰ立体映像表示装置２０が表示する要素画像を算出するための仮想空間の上面図である。被写体Ｏ（オー）１は、仮想撮像面Ｐ１よりも奥側、且つ奥側最大奥行知覚位置を含む仮想平面Ｋ１よりも手前にある。詳細には、被写体Ｏ１は、仮想撮像レンズの主点Ｌ１および仮想撮像面Ｐ１（第１の仮想カメラ）によって形成される第１の仮想撮像領域を、仮想平面Ｋ１で切った場合の奥側算出領域Ａ内にある。

【0074】

被写体Ｏ（オー）２は、第１の仮想カメラよりも前側に設けた、仮想撮像レンズの主点Ｌ１’および仮想撮像面Ｐ１’（第２の仮想カメラ）によって形成される第２の仮想撮像領域を仮想平面Ｋ１と仮想平面Ｋ１より奥側の仮想平面Ｋ２とで切り取った場合の、第１の最大奥側算出領域Ｂ’内にある。ただし、奥側算出領域Ａが仮想平面Ｋ１に接する面と、第１の最大奥側算出領域Ｂ’が仮想平面Ｋ１に接する面とは同一である。

【0075】

被写体Ｏ（オー）３は、第２の仮想カメラよりも前側に設けた、仮想撮像レンズの主点Ｌ１’’および仮想撮像面Ｐ１’’（第３の仮想カメラ）によって形成される第３の仮想撮像領域を仮想平面Ｋ２で切った場合の、第２の最大奥側算出領域Ｂ’’内にある。ただし、第１の最大奥側算出領域Ｂ’が仮想平面Ｋ２に接する面と、第２の最大奥側算出領域Ｂ’’が仮想平面Ｋ２に接する面とは同一である。

【0076】

第１の仮想カメラおよび被写体Ｏ１を取り除いた状態で、最大奥側算出部１０５は、仮想撮像面Ｐ１’における画素を通った後、仮想撮像レンズの主点Ｌ１’を通る光を逆に追跡することによって被写体Ｏ２に対する第１の最大奥側要素画像を算出する。

【0077】

また、第１の仮想カメラ、被写体Ｏ１、第２の仮想カメラ、および被写体Ｏ２を取り除いた状態で、最大奥側算出部１０５は、仮想撮像面Ｐ１’’における画素を通った後、仮想撮像レンズの主点Ｌ１’’を通る光を逆に追跡することによって被写体Ｏ３に対する第２の最大奥側要素画像を算出する。

【0078】

第１の仮想カメラアレイの各仮想撮像レンズは、ＩＰ立体映像表示装置２０のレンズアレイの各レンズに対応している。よって、第２の実施形態の第１変形例である画像生成装置１０が生成したＩＰ映像信号をＩＰ立体映像表示装置２０が取り込んでＩＰ映像を表示した場合、第１の最大奥側算出領域Ｂ’内の被写体Ｏ２の奥行きが圧縮され、第２の最大奥側算出領域Ｂ’’内の被写体Ｏ３の奥行きがさらに圧縮される。

【0079】

なお、図示しないが、前側最大奥行知覚位置を含む仮想平面Ｋ１’よりも前側、つまり、奥行再現範囲外にある場合についても、第２の実施形態および第１変形例と同様に、最大前側算出部１０７は、最大前側要素画像の各画素の画素値を算出する。

【0080】

［第２の実施形態の第２変形例］
第２の実施形態では、最大奥側算出部１０５が被写体Ｏ２に対する最大奥側要素画像を算出する際に、第１の仮想カメラおよび被写体Ｏ１を取り除く必要があった。第２の実施形態の第２変形例では、図１３に示す上面図のように、表示方向と垂直の方向に第２の仮想カメラＣを設け、表示方向から４５度傾けて仮想的なハーフミラーＭを設けることにより、第１の仮想カメラを取り除く必要がなくなる。

【0081】

図２に示したように、奥行知覚は、ある一定の奥行位置に達するまでに徐々に飽和する傾向があるため、第２の実施形態である画像生成装置１０が、奥行知覚の度合に応じて奥行きを圧縮することにより、ＩＰ再生像の見かけ上の画質の劣化を防ぐことができる。また、ＣＧによる要素画像の生成の際に、被写体の奥行位置の検出精度を高めることができる。

【0082】

なお、上述した実施形態である画像生成装置１０の一部の機能をコンピュータで実現するようにしてもよい。この場合、その機能を実現するための画像生成プログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録された画像生成プログラムをコンピュータシステムに読み込ませて、このコンピュータシステムが実行することにより、当該機能を実現してもよい。なお、このコンピュータシステムとは、オペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ；ＯＳ）や周辺装置のハードウェアを含むものである。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに備えられる磁気ハードディスクやソリッドステートドライブ等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記録媒体とは、インターネット等のコンピュータネットワーク、および電話回線や携帯電話網を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、さらには、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記の画像生成プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。

【0083】

各実施形態および変形例によれば、画像生成装置は、インテグラルフォトグラフィ立体像の解像度を劣化させることなく、観視者に奥行感を知覚させることができる。

【0084】

以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0085】

１ ＩＰ立体映像表示システム
１０ 画像生成装置
２０ ＩＰ立体映像表示装置
１０１ 仮想カメラアレイ情報記憶部
１０２ 被写体情報記憶部
１０３ 奥行再現範囲算出部
１０４ 奥側算出部
１０５ 最大奥側算出部
１０６ 前側算出部
１０７ 最大前側算出部
１０８ 奥側合成部
１０９ 前側合成部
１１０ 合成部
１１１ 映像信号生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】