特許 6288820 立体像撮影装置、要素画像群生成装置、そのプログラムおよび立体像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6288820

(24)【登録日】2018年2月16日

(45)【発行日】2018年3月7日

(54)【発明の名称】立体像撮影装置、要素画像群生成装置、そのプログラムおよび立体像表示装置

(51)【国際特許分類】

   G03B 35/00 20060101AFI20180226BHJP

   G03B 35/08 20060101ALI20180226BHJP

   H04N 5/225 20060101ALI20180226BHJP

   H04N 5/232 20060101ALI20180226BHJP

   H04N 13/20 20180101ALI20180226BHJP

【ＦＩ】

   G03B35/00 A

   G03B35/08

   H04N5/225 400

   H04N5/225 410

   H04N5/232 250

   H04N13/02

【請求項の数】5

【全頁数】22

(21)【出願番号】特願2013-236316(P2013-236316)

(22)【出願日】2013年11月14日

(65)【公開番号】特開2015-94939(P2015-94939A)

(43)【公開日】2015年5月18日

【審査請求日】2016年9月26日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100108578

【弁理士】

【氏名又は名称】高橋 詔男

(72)【発明者】

【氏名】三浦 雅人

(72)【発明者】

【氏名】洗井 淳

(72)【発明者】

【氏名】岡市 直人

(72)【発明者】

【氏名】三科 智之

(72)【発明者】

【氏名】奥井 誠人

【審査官】 高橋 雅明

(56)【参考文献】

【文献】 特開２００７−３１６１７０（ＪＰ，Ａ）

【文献】 特開２００５−１７２９６５（ＪＰ，Ａ）

【文献】 特開２０１０−１２２４２４（ＪＰ，Ａ）

【文献】 特開２００９−０２１７０８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０３Ｂ ３５／００

Ｇ０３Ｂ ３５／０８

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ １３／０２

(57)【特許請求の範囲】

【請求項1】

インテグラルフォトグラフィ立体像表示装置で表示する立体像を表す複数の画像を撮影する立体像撮影装置であって、
複数の要素レンズを有する要素レンズアレイと、
複数の要素カメラと、
前記要素レンズアレイと、前記複数の要素カメラとの間に配置されるフィールドレンズと
を具備し、
前記複数の要素カメラの光軸間の距離は、前記フィールドレンズの焦点距離と、前記複数の要素レンズの主点間の距離との積を、前記要素レンズの焦点距離で割った値であり、
前記複数の要素カメラの撮像面の中心間の距離は、前記フィールドレンズの焦点距離と前記要素カメラの撮影レンズから撮像面までの距離との和を前記要素レンズの焦点距離で割った値から、前記要素カメラの撮影レンズから撮像面までの距離の２倍を前記フィールドレンズの焦点距離で割った値を引いた後、前記要素レンズの主点間の距離を掛けた値であり、
前記要素レンズアレイの配列の傾きを、前記インテグラルフォトグラフィ立体像表示装置における要素画像の配列の傾きにあわせること
を特徴とする立体像撮影装置。

【請求項2】

前記複数の要素カメラの配列の傾きを、前記要素画像の配列の傾きにあわせることを特徴とする請求項１に記載の立体像撮影装置。

【請求項3】

複数の要素レンズを有する要素レンズアレイと、複数の要素カメラと、前記要素レンズアレイと、前記複数の要素カメラとの間に配置されるフィールドレンズとを具備する立体像撮影装置が撮像した複数の画像を取得する画像取得部と、
インテグラルフォトグラフィ立体表示装置における要素画像の配列の傾きを示す情報を取得する要素画像形状取得部と、
前記画像取得部が取得した複数の画像から、前記立体像撮影装置における光線の経路を逆に辿ったときに、前記立体像撮影装置の要素レンズアレイの被写体側の焦点位置各々に配置された仮想撮影用要素レンズにより結像された画像を用いて、インテグラルフォトグラフィ立体像表示装置で表示する要素画像群を生成する要素画像群算出部と
を具備し、
前記要素画像群算出部は、前記光線の経路を逆に辿って前記要素画像群を生成する際に、前記立体像撮影装置の要素レンズアレイの配列の傾きと、前記仮想撮影用要素レンズの配列の傾きと、前記要素画像群の配列の傾きとを、前記要素画像形状取得部が取得した情報が示す傾きに合わせること
を特徴とする要素画像群生成装置。

【請求項4】

前記要素画像群算出部は、前記光線の経路を逆に辿って前記要素画像群を生成する際に、前記複数の要素カメラの配列の傾きを、前記要素画像形状取得部が取得した情報が示す傾きに合わせること
を特徴とする請求項３に記載の要素画像群生成装置。

【請求項5】

コンピュータを、
複数の要素レンズを有する要素レンズアレイと、複数の要素カメラと、前記要素レンズアレイと、前記複数の要素カメラとの間に配置されるフィールドレンズとを具備する立体像撮影装置が撮像した複数の画像を取得する画像取得部、
インテグラルフォトグラフィ立体表示装置における要素画像の配列の傾きを示す情報を取得する要素画像形状取得部、
前記画像取得部が取得した複数の画像から、前記立体像撮影装置における光線の経路を逆に辿ったときに、前記立体像撮影装置の要素レンズアレイの被写体側の焦点位置各々に配置された仮想撮影用要素レンズにより結像された画像を用いて、インテグラルフォトグラフィ立体像表示装置で表示する要素画像群を生成する要素画像群算出部
として機能させるためのプログラムであって、
前記要素画像群算出部は、前記光線の経路を逆に辿って前記要素画像群を生成する際に、前記立体像撮影装置の要素レンズアレイの配列の傾きと、前記仮想撮影用要素レンズの配列の傾きと、前記要素画像群の配列の傾きとを、前記要素画像形状取得部が取得した情報が示す傾きに合わせること
を特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、立体像撮影装置、要素画像群生成装置、そのプログラムおよび立体像表示装置に関する。

【背景技術】

【0002】

任意の視点から自由に見られる立体映像方式として、インテグラルフォトグラフィ (Integral Photography、以下ＩＰという) 方式が知られている。従来、ＩＰ方式では、撮影時には、複数の撮影用要素レンズを面内に配列した撮影用要素レンズ群を介して、被写体を撮影する。撮像素子上には各撮影用要素レンズによって結像された被写体の像が形成され、被写体の要素画像群が撮影される。

【0003】

表示時には、被写体の要素画像群が表示された表示素子を、複数の表示用要素レンズからなる表示用要素レンズ群を通して見ることで、被写体の立体像が観測される。ただしこの場合、観測者には被写体の凹凸が逆転した立体像が観測される。この問題を回避する手法として、撮影用要素レンズを凸レンズではなく、長さを光の蛇行周期の３／４とした屈折率分布レンズ (GRadient INdexレンズ、GRINレンズ)を用いる方法 (例えば、特許文献１)や、各要素画像を電子的に１８０度回転させる方法 (例えば、非特許文献１) などが考案されている。

【0004】

ＩＰ方式では、撮像・表示装置の画素数が、三次元映像の解像度、視域角および奥行き再現範囲に振り分けられる。非特許文献２には、インテグラル立体テレビにおいて、水平・垂直方向の視域角を振り分ける次のような技術が記載されている。この技術では、レンズアレイを傾け、それに合わせて要素画像を変更することにより水平・垂直の視域の比率を変化させている。例えば、デルタ配列のレンズアレイを３０度回転させることにより、水平方向の視域を√３倍広げることを可能にしている。

【0005】

非特許文献２に記載の長い長方形の要素画像を撮影する方法として、要素光学素子の前（被写体側）に、大口径レンズ系と遮光マスクからなる不要光除去装置を設けておく方法がある。これにより、各要素光学素子の画角が、要素画像の形状、すなわち長い長方形に制限され、撮像面において要素画像同士が重なり合わないようにすることができる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平１０−１５０６７５号公報

【非特許文献】

【0007】

【非特許文献1】F. Okano et al., “Real-time pickup method for a three-dimensional image based on integral photography,” Applied Optics, Vol. 36, No. 7, pp. 1598-1603 (1997)

【非特許文献2】Miura M、Arai J、Mishina T、Okui M、Okano F、“Integral imaging system with enlarged horizontal viewing angle”、SPIE Defense, Security, and Sensing、Vol.8384、83840O-1

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、上述の不要光除去装置を用いて要素画像を撮影する方法にあっては、撮影できる要素画像の形状は、要素画像同士が重なり合わないような特定の形状のみであり、互いに重なり合うような広い画角の要素画像を記録できないという問題がある。

【0009】

本発明は、このような事情に鑑みてなされたもので、互いに重なり合うような広い画角の要素画像を記録することができる立体像撮影装置、要素画像群生成装置、そのプログラムおよび立体像表示装置を提供する。

【課題を解決するための手段】

【0010】

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、複数の要素レンズを有する要素レンズアレイと、複数の要素カメラと、前記要素レンズアレイと、前記複数の要素カメラとの間に配置されるフィールドレンズとを具備することを特徴とする立体像撮影装置である。

【0011】

（２）また、本発明の他の態様は、（１）に記載の立体像撮影装置であって、前記複数の要素カメラの光軸間の距離は、前記フィールドレンズの焦点距離と、前記複数の要素レンズの主点間の距離との積を、前記要素レンズの焦点距離で割った値であることを特徴とする。

【0012】

（３）また、本発明の他の態様は、（２）に記載の立体像撮影装置であって、前記複数の要素カメラの撮像面の中心間の距離は、前記フィールドレンズの焦点距離と前記要素カメラの撮影レンズから撮像面までの距離との和を前記要素レンズの焦点距離で割った値から、前記要素カメラの撮影レンズから撮像面までの距離の２倍を前記フィールドレンズの焦点距離で割った値を引いた後、前記要素レンズの主点間の距離を掛けた値であることを特徴とする。

【0013】

（４）また、本発明の他の態様は、（１）から（３）のいずれかに記載の立体像撮影装置が撮像した複数の画像を取得する画像取得部と、前記画像取得部が取得した複数の画像から、前記立体像撮影装置における光線の経路を逆に辿ったときに、前記立体像撮影装置の要素レンズアレイに入射される光線を参照して、インテグラルフォトグラフィ立体像表示装置で表示する要素画像群を生成する要素画像群算出部とを具備することを特徴とする要素画像群生成装置である。

【0014】

（５）また、本発明の他の態様は、コンピュータを、（１）から（３）のいずれかに記載の立体像撮影装置が撮像した複数の画像を取得する画像取得部、前記画像取得部が取得した複数の画像から、前記立体像撮影装置における光線の経路を逆に辿ったときに、前記立体像撮影装置の要素レンズアレイに入射される光線を参照して、インテグラルフォトグラフィ立体像表示装置で表示する要素画像群を生成する要素画像群算出部として機能させるためのプログラムである。

【0015】

（６）また、本発明の他の態様は、（１）から（３）のいずれかに記載の立体像撮影装置が撮像した複数の画像を、それぞれ１つずつ表示する複数の表示部と、前記複数の表示部各々の前面に１つずつ配置された複数の投射レンズと、複数の要素レンズを有する要素レンズアレイと、前記要素レンズアレイと、前記複数の投射レンズとの間に配置されるフィールドレンズとを具備することを特徴とする立体像表示装置である。

【発明の効果】

【0016】

この発明によれば、互いに重なり合うような広い画角の要素画像を記録することができる。

【図面の簡単な説明】

【0017】

【図1】この発明の第１の実施形態による立体像表示システム１００の構成を示す概略ブロック図である。

【図2】同実施形態における立体像撮影装置１０の構成を示す概略ブロック図である。

【図3】同実施形態における立体像撮影装置１０の構成を示す断面図である。

【図4】同実施形態における要素カメラ１３−１、１３−２の配置を説明する断面図である。

【図5】同実施形態における要素画像群生成装置２０の構成を示す概略ブロック図である。

【図6】同実施形態における要素画像群算出部２０２の構成を示す概略ブロック図である。

【図7】同実施形態における要素画像群算出部２０２の各部の仮想空間における配置を示す断面図である。

【図8】同実施形態における要素画像群算出部２０２の変形例の動作を説明するフローチャートである。

【図9】同実施形態におけるＩＰ立体像表示装置３０の要素画像の形状を示す図である。

【図10】同実施形態における傾き角φ_ｎに対する正規化された要素画像の大きさの変化を示すグラフである。

【図11】同実施形態における水平視域を広げる場合の要素画像の具体例を示す図である。

【図12】正方配列のときの要素画像の形状を示す図である。

【図13】正方配列のときの傾き角φ_ｎに対する正規化された要素画像の大きさの変化を示すグラフである。

【図14】この発明の第２の実施形態による立体像撮影装置１０ａの構成を示す概略ブロック図である。

【図15】同実施形態における要素画像群生成装置２０ａの要素画像群算出部２０２ａの構成を示す概略ブロック図である。

【図16】この発明の第３の実施形態による立体像撮影装置１０ｂの構成を示す概略ブロック図である。

【図17】同実施形態における要素画像群生成装置２０ｂの要素画像群算出部２０２ｂの構成を示す概略ブロック図である。

【図18】この発明の第４の実施形態による立体像表示システム１００ｃの構成を示す概略ブロック図である。

【図19】同実施形態におけるＩＰ立体像表示装置３０ｃの構成を示す断面図である。

【発明を実施するための形態】

【0018】

［第１の実施形態］
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、この発明の第１の実施形態による立体像表示システム１００の構成を示す概略ブロック図である。立体像表示システム１００は、立体像撮影装置１０、要素画像群生成装置２０、ＩＰ（Integral Photography；インテグラルフォトグラフィ）立体像表示装置３０を含んで構成される。立体像撮影装置１０は、被写体の立体像を表す複数の画像を撮影する。要素画像群生成装置２０は、ＩＰ立体像表示装置３０から要素画像の形状と、配列の傾き角φｎを取得する。要素画像群生成装置２０は、立体像撮影装置１０が撮影した複数の画像から、ＩＰ立体像表示装置３０から取得した形状の要素画像からなる要素画像群であって、要素画像の配列が、ＩＰ立体像表示装置３０から取得した傾き角φ_ｎだけ回転している要素画像群を生成する。

【0019】

ＩＰ立体像表示装置３０は、非特許文献２と同様に、要素画像の水平／垂直の比率を変化させることで、視域の水平／垂直の比率を変化させることができるＩＰ立体像表示装置である。ＩＰ立体像表示装置３０は、要素画像の形状を要素画像群生成装置２０に対して指定し、要素画像群生成装置２０が該指定に従って生成した要素画像群を用いて立体像を表示する。

【0020】

図２は、立体像撮影装置１０の構成を示す概略ブロック図である。図２に示すように立体像撮影装置１０は、要素レンズアレイ１１、フィールドレンズ１２、要素カメラ群１３を含んで構成される。要素レンズアレイ１１は、凸レンズである要素レンズ１１−１〜１１−ｎを含んで構成される。要素レンズ１１−１〜１１−ｎは、全て焦点距離ｆｉの凸レンズであり、それらの主面が同一平面上に位置するように、かつ、デルタ配列（俵積み配列ともいう）で配列されている。被写体からの光は、まず、要素レンズアレイ１１の要素レンズ１１−１〜１１−ｎに入射する。

【0021】

フィールドレンズ１２は、その主面と、要素レンズアレイ１１の要素レンズ１１−１〜１１−ｎの主面との距離ｇ_ｉが、要素レンズ１１−１の焦点距離ｆ_ｉとなる位置に設置された、焦点距離Ｆの凸レンズである。要素レンズ１１−１〜１１−ｎのいずれかを透過した被写体からの光は、フィールドレンズ１２に入射する。要素カメラ群１３は、要素カメラ１３−１〜１３−ｍを含んで構成される。要素カメラ群１３は、要素カメラ１３−１〜１３−ｍ各々の撮影レンズの主面が、同一平面上に位置するように、かつ、フィールドレンズ１２の主面から距離ｇ_ｃだけ離れた位置となるように設置されている。なお、距離ｇ_ｃは、フィールドレンズ１２の焦点距離Ｆと一致している。

【0022】

要素レンズ１１−１〜１１−ｎのうち、いずれかとフィールドレンズ１２とを透過した被写体からの光は、要素カメラ１３−１〜１３−ｍに入射する。要素カメラ１３−１〜１３−ｍの各々は、各要素レンズ１１−１〜１１−ｎを介してフィールドレンズ１２に入射した光のうち、特定の角度で入射した光による画像を撮影するように配置されているが、具体的な配置は後述する。要素カメラ１３−１〜１３−ｍは、撮影した画像を表す画像信号を、要素画像群生成装置２０に入力する。

【0023】

図３は、立体像撮影装置１０の構成を示す断面図である。なお、図３は、説明の簡易のために、該断面における要素レンズの個数を５、要素カメラの画角を要素レンズ３個分としているが、これに限定されない。図３に示すように、要素カメラ１３−１〜１３−ｍの各々は、撮影レンズ１４、撮像素子１５を含んで構成される。なお、撮影レンズ１４、撮像素子１５は、それを含んでいる要素カメラの符号の枝番（１３−１における１など）を付けて、撮影レンズ１４−１、撮像素子１５−１などと表記する。

【0024】

そして、被写体Ｏ側から、要素レンズアレイ１１、フィールドレンズ１２、要素カメラ群１３の順に配置されている。また、要素レンズアレイ１１、フィールドレンズ１２、撮影レンズ１４−１〜１４−ｍの主面の距離は、上述したようにそれぞれ距離ｇ_ｉ、ｇ_ｃである。また、撮影レンズ１４−１〜１４−ｍの主面から撮像素子１５−１〜１５−ｍの撮影面までの距離ｇ_ｓと、撮影レンズ１４−１〜１４−ｍの焦点距離ｆ_ｃは、以下の式を満たす。

【0025】

【数1】

【0026】

また、図３において、実線は、要素カメラ１３−１により撮影される光線を示し、破線は、要素カメラ１３−２により撮影される光線を示し、一点鎖線は、要素カメラ１３−ｍにより撮影される光線を示す。以降では、要素レンズアレイ１１における要素レンズ１１−１〜１１−ｎのピッチ（主点間の距離）をｐ_ｌ、撮影レンズ１４−１〜１４−ｍのピッチ（主点間の距離）をｐ_ｃ、撮像素子１５−１〜１５−ｍのピッチ（中心間の距離）をｐｓと表記する。このとき、ｐ_ｌ、ｐ_ｃ、ｐ_ｓは、以下の式（１）、（２）を満たすような値である。

【0027】

【数2】

【0028】

これにより、図３に示すように、要素カメラ１３−１により撮影される光線（実線）と、要素カメラ１３−２により撮影される光線（破線）と、要素カメラ１３−ｍにより撮影される光線（一点鎖線）とは、要素レンズ１１−１〜１１−ｎ各々の被写体側の焦点Ｓｐ−１〜Ｓｐ−ｋ（以降、サンプリング点という）を通った光線となる。なお、サンプリング点の数は、要素カメラの数や画角などによって変わるが、ｋ≦ｎである。さらに、その撮影レンズ１４−１の光軸が、フィールドレンズ１２の光軸、および、要素レンズアレイ１１の中心にある要素レンズ１１−１の光軸と一致している要素カメラ１３−１は、サンプリング点Ｓｐ−１〜Ｓｐ−ｋ各々を通った光線のうち、サンプリング点Ｓｐ−１〜Ｓｐ−ｋ各々における中央の画角のものを撮影する。

【0029】

要素カメラ１３−１の光軸から図３における上方にｐｓだけその光軸が離れている要素カメラ１３−２は、サンプリング点Ｓｐ−１〜Ｓｐ−ｋ各々を通った光線のうち、サンプリング点Ｓｐ−１〜Ｓｐ−ｋ各々における下方の画角のものを撮影する。要素カメラ１３−１の光軸から図３における下方にｐｓだけその光軸が離れている要素カメラ１３−ｍは、サンプリング点Ｓｐ−１〜Ｓｐ−ｋ各々を通った光線のうち、サンプリング点Ｓｐ−１〜Ｓｐ−ｋ各々における上方の画角のものを撮影する。

【0030】

このように、要素カメラ１３−２〜１３−ｍは、要素カメラ１３−１が撮影する各サンプリング点Ｓｐ−１〜Ｓｐ−ｋにおける画角よりも外側の画角を撮影するので、本実施形態における立体像撮影装置１０は、各要素画像の画角（以降、視域角という）を広くすることができる。

【0031】

図４は、要素カメラ１３−１、１３−２の配置を説明する断面図である。該断面図を用いて、式（１）、（２）を説明する。要素カメラ１３−１は、要素レンズ１１−１〜１１−ｎからフィールドレンズ１２に入射される光のうち、フィールドレンズ１２などの光軸に平行なものを撮影する。例えば、要素レンズ１１−１からフィールドレンズ１２に入射される光のうち、光軸に平行に、Ａｒ−１に示す範囲に入射した光を、要素カメラ１３−１は撮影する。要素レンズ１１−３からフィールドレンズ１２に入射される光のうち、光軸に平行に、Ａｒ−３に示す範囲に入射した光を、要素カメラ１３−１は撮影する。

【0032】

一方、要素カメラ１３−２は、要素カメラ１３−１よりも、ピッチｐ_ｌだけ上方にずれた方向の光を撮影する。例えば、要素レンズ１１−１からフィールドレンズ１２に入射される光のうち、要素レンズ１１−１の主点と、フィールドレンズ１２の主点からピッチｐ_ｌだけ上方にずれた点とを通る直線に平行に、Ａｒ−２に示す範囲に入射した光を、要素カメラ１３−２は撮影する。

【0033】

このため、要素レンズ１１−３からフィールドレンズ１２に入射される光のうち、要素レンズ１１−１の主点と、フィールドレンズ１２の主点からピッチｐ_ｌだけ上方にずれた点とを通る直線に平行に、Ａｒ−１に示す範囲に入射した光は、撮影レンズ１４−２の主点を通る。したがって、図４に示すように、要素レンズ１１−３の主点と、フィールドレンズ１２の主点と、要素カメラ１３−２の撮影レンズ１４−１の主点とは同一直線Ｌ１上となる。したがって、式（３）が成り立ち、該式を変形すると、式（１）が得られる。
ｇ_ｉ：ｐ_ｌ＝ｇ_ｃ：ｐ_ｃ ・・・（３）

【0034】

また、立体像撮影装置１０では、要素カメラ１３−１が撮影する光線が通るサンプリング点と、要素カメラ１３−２が撮影する光線が通るサンプル点とを一致させている。例えば、サンプリング点Ｓｐ−１を通る光線のうち、要素カメラ１３−１が撮影する光は、要素レンズ１１−１により領域Ａｒ−１に入射する光である。一方、サンプリング点Ｓｐ−１を通る光のうち、要素カメラ１３−２が撮影する光は、要素レンズ１１−２により領域Ａｒ−１から２×ｐ_ｌだけ上方にずれた領域Ａｒ−４に入射する光である。

【0035】

したがって、要素カメラ１３−２の画角は、フィールドレンズ１２の主面において、要素カメラ１３−１の画角と幅は同じであるが、要素カメラ１３−１よりも２×ｐ_ｌだけ上方にずれている。画角の幅を同じにするために撮像素子１５−１と撮像素子１５−２の幅は同じである。しかし、画角を２×ｐ_ｌだけずらすために、撮像素子１５−２の中心は、撮像面と直線Ｌ１の交点から下方にｐ_ｘだけずれている。すなわち、撮像素子１５−２の中心と、撮影レンズ１４−２の主点とを通る直線Ｌ２と、フィールドレンズ１２の主面との交点は、フィールドレンズ１２の主点から２×ｐ_ｌだけ上方にずれた位置にある。したがって、下記式（４）が成り立つ。
２×ｐ_ｌ：ｇ_ｃ＝ｐ_ｘ：ｇ_ｓ ・・・（４）

【0036】

また、直線Ｌ１と、フィールドレンズ１２の光軸と、撮影レンズ１４−２の主面とで囲まれる三角形と、直線Ｌ１と、フィールドレンズ１２の光軸と、撮像素子１５−２の主面とで囲まれる三角形とは、相似関係にあるので、式（５）が成り立つ。
ｇ_ｃ：ｐ_ｃ＝ｇ_ｃ＋ｇ_ｓ：ｐ_ｘ＋ｐ_ｓ ・・・（５）
式（５）に式（４）、（１）を代入して、ｐ_ｃ、ｐ_ｘを消去し、変形すると、式（２）が得られる。

【0037】

なお、式（１）、（２）は、要素カメラ群１３により撮影される画像が、要素画像群生成装置２０で無駄にならないための撮影条件を示した。すなわち、次に説明する要素画像群生成装置２０で要素画像群を生成する際に用いられない画像を撮影することを許す場合は、これらの条件を満たしていなくてもよい。要素カメラ１３−１〜１３−ｍの位置合わせ誤差や撮像素子１５−１〜１５−ｍ間の特性差、撮影レンズ１４−１〜１４−ｍ間のギャップを吸収するために、あえて式（１）、（２）の条件からずらした配置としてもよい。たとえば、このようなずれを導入するために、パラメータαを導入して、式（１）、（２）に変えて、下記式（１’）、（２’）に従った配置としてもよい。

【0038】

【数3】

【0039】

ここで、αは実数である。なお、αが整数ではない場合、要素カメラ１３−１、１３−２、・・・、１３−ｍ各々のサンプリング点は、該要素カメラに隣接する要素カメラのサンプリング点と異なる点となる。
なお、図３の断面図では、該断面に位置する要素カメラの数が３つの場合の例を示したが、さらに外側に要素カメラを配置して、より視域角を広くしてもよい。また、要素カメラ１３−２、１３−ｍのいずれかを備えず、要素カメラの数を２つにしても、１つのときよりも視域角を広くすることができる。あるいは、図３の断面とは、他の方向に要素カメラを配置して、該方向に視域角を広くしてもよい。

【0040】

本実施形態において、要素カメラ１３−１〜１３−ｍの配列は、デルタ配列である。なお、要素レンズ１１−１〜１１−ｎ、および、要素カメラ１３−１〜１３−ｍの配列は、正方配列であってもよい。また、本実施形態では、要素レンズ１１−１〜１１−ｎおよび撮影レンズ１４−１〜１４−ｍのピッチが一定であるとしたが、一定でなくてもよい。また、要素カメラ１３−１〜１３−ｍな配置であってもよい。
また、要素レンズ１１−１〜１１−ｎと、その要素レンズが形成する要素画像の中心を結んだ直線が平行となる配置のみについて説明したが、ある距離において交差するような配置でもよい。

【0041】

図５は、要素画像群生成装置２０の構成を示す概略ブロック図である。要素画像群生成装置２０は、画像取得部２０１、要素画像群算出部２０２、要素画像群出力部２０３、要素画像形状取得部２０４を含んで構成される。画像取得部２０１は、立体像撮影装置１０と通信し、立体像撮影装置１０が撮影した画像を取得する。要素画像群算出部２０２は、画像取得部２０１が取得した画像から、要素画像形状取得部２０４により指定された形状の要素画像からなる要素画像群であって、要素画像の配列が、要素画像形状取得部２０４により指定された傾き角φ_ｎだけ回転している要素画像群を生成する。要素画像群出力部２０３は、生成した要素画像群をＩＰ立体像表示装置３０に入力する。要素画像形状取得部２０４は、ＩＰ立体像表示装置３０から要素画像の形状および傾き角φ_ｎの指定を受信する。

【0042】

図６は、要素画像群算出部２０２の構成を示す概略ブロック図である。要素画像群算出部２０２における要素画像群の生成処理は、ソフトウェアまたはハードウェアによる信号処理であるが、処理の内容としては、撮影した画像を仮想的に表示して立体像を再生し、それを仮想的に撮影することと等価である。本処理はルックアップテーブルにより実装してもよいが、本実施形態では計算処理で仮想的な表示および撮影を行うことで、要素画像群を生成する。

【0043】

要素画像群算出部２０２は、仮想要素表示装置群２３、仮想フィールドレンズ２２、仮想表示用要素レンズアレイ２１、仮想撮影用要素レンズアレイ２６、仮想撮像素子２７、仮想撮影用要素レンズアレイ回転部２８を含んで構成される。仮想要素表示装置群２３は、仮想要素表示装置２３−１〜２３−ｍを含んで構成される。仮想要素表示装置２３−１〜２３−ｍの各々は、仮想要素表示素子２５、仮想要素投射レンズ２４を含んで構成される。

【0044】

なお、仮想要素表示素子２５および仮想要素投射レンズ２４は、それを含んでいる仮想要素表示装置の符号の枝番（２３−１における１など）を付けて、仮想要素表示素子２５−１、仮想要素投射レンズ２４−１などと表記する。仮想表示用要素レンズアレイ２１は、仮想表示用要素レンズ２１−１〜２１−ｎを含んで構成される。仮想撮影用要素レンズアレイ２６は、仮想撮影用要素レンズ２６−１〜２６−ｋを含んで構成される。

【0045】

仮想要素表示素子２５−１から２５−ｍは、それぞれ枝番が対応する撮像素子１５−１〜１５−ｍと逆の処理を仮想的に行う。すなわち、仮想要素表示素子２５−１〜２５−ｍは、画像取得部２０１が取得した画像のうち、それぞれ枝番が対応する撮像素子１５−１〜１５−ｍが撮影した画像を表示する。仮想要素投射レンズ２４−１〜２４−ｍは、それぞれ枝番が対応する撮影レンズ１４−１〜１４−ｍと同じ光学特性を有し、逆の処理を仮想的に行う。すなわち、仮想要素投射レンズ２４−１〜２４−ｍは、それぞれ枝番が対応する仮想要素表示素子２５−１〜２５−ｍが表示した画像の光を仮想フィールドレンズ２２に投射する。

【0046】

仮想フィールドレンズ２２は、フィールドレンズ１２と同じ光学特性を有し、逆の処理を仮想的に行う。すなわち、仮想フィールドレンズ２２は、仮想要素投射レンズ２４−１〜２４−ｍにより投射された光を、仮想表示用要素レンズ２１−１〜２１−ｎに振り分ける。仮想表示用要素レンズ２１−１から２１−ｎは、要素レンズ１１−１〜１１−ｎと同じ光学特性を有し、逆の処理を仮想的に行う。すなわち、仮想表示用要素レンズ２１−１〜２１−ｎは、仮想フィールドレンズ２２により振り分けられた光を、サンプリング点に相当する位置に配置された仮想撮影用要素レンズ２６−１〜２６−ｋに投射する。

【0047】

仮想撮影用要素レンズ２６−１〜２６−ｋは、仮想表示用要素レンズ２１−１〜２１−ｎにより投射された光を、仮想撮像素子２７の撮像面で結像させる。仮想撮像素子２７は、仮想撮影用要素レンズ２６−１〜２６−ｋ各々により結像された像から、要素画像形状取得部２０４により指定された傾き角φ_ｎだけ回転させた配列の、指定された形状の要素画像からなる要素画像群を生成する。

【0048】

仮想撮影用要素レンズアレイ回転部２８は、要素画像形状取得部２０４により指定された傾き角φ_ｎだけ、仮想撮影用要素レンズ２６−１〜２６−ｋの配列を回転させる。これにより、仮想撮影用要素レンズアレイ２６における仮想撮影用要素レンズ２６−１〜２６−ｋの配列と、ＩＰ立体像表示装置３０の要素レンズの配列とを一致させる。

【0049】

図７は、要素画像群算出部２０２の各部の仮想空間における配置を示す断面図である。図７に示すように、図６で説明した各部の仮想空間における配置は、各部に対応する立体像撮影装置１０の各部の配置と同様の配置である。仮想撮影用要素レンズ２６−１〜２６−ｋは、その主点がサンプリング点Ｓｐ−１〜Ｓｐ−ｋと一致する。また、仮想撮像素子２７は、仮想撮影用要素レンズ２６−１〜２６−ｋ各々の焦点面に配置されている。

【0050】

このような設定にすることで、ＩＰ方式特有のいわゆる奥行き反転現象を直すことができ、かつ立体像全体の奥行き位置を変えることなく、要素画像群に変換することが可能である。ここで、仮想撮影用要素レンズ２６−１〜２６−ｋの光学特性は、ＩＰ立体像表示装置３０の要素レンズに合わせて設定する。

【0051】

なお、立体像撮影装置１０で取得した画像群をそのまま要素画像群生成装置２０で使用する場合について説明したが、撮影レンズ１４−１〜１４−ｍや撮像素子１５−１〜１５−ｍ各々の位置ずれ（回転ずれも含む) がある場合は、画像処理で補正してもよい。補正方法は、既知のキャリブレーションパターンを利用した強キャリブレーションでもよいし、特徴点を利用した弱キャリブレーションでもよい。あるいは立体像撮影装置１０において、撮影レンズ１４−１〜１４−ｍや撮像素子１５−１〜１５−ｍ各々がその位置ずれを調整するための移動・回転調整機構を備え、画像処理ではなく機械的に調整してもよい。または機械的な調整と画像処理による補正を両方行ってもよい。

【0052】

また、仮想表示用要素レンズアレイ２１の焦点面に、仮想撮影用要素レンズアレイ２６を設定する場合について説明したが、設置場所はこれに限定されない。他の位置に設置することにより、立体像の再生位置を撮影時と違う位置に変えることが可能である。

【0053】

［要素画像群算出部２０２の変形例］
上記では、仮想的に撮影した光線群を逆伝播させ、仮想撮像素子２７に入射される光線群を得る場合について説明した。しかし、要素画像群算出部２０２は、仮想撮像素子２７のある画素に入射される光線を逆方向にたどって行き、仮想要素表示素子２５−１〜２５−ｍのどの画素が対応するかを計算してもよい。

【0054】

図８は、要素画像群算出部２０２の変形例の動作を説明するフローチャートである。まず、要素画像群算出部２０２は、仮想要素表示素子２５−１〜２５−ｍ、仮想要素投射レンズ２４−１〜２４−ｍ、仮想フィールドレンズ２２、仮想表示用要素レンズ２１−１〜２１−ｎ、仮想撮影用要素レンズ２６−１〜２６−ｎ、仮想撮像素子２７について、立体像撮影装置１０の構成に応じて、光学特性や配置を設定する（Ｓ１）。なお、設定する光学特性や配置は、立体像撮影装置１０の構成を取得して、該構成から決定してもよいし、ユーザが指定してもよい。また、仮想撮影用要素レンズ２６−１〜２６−ｎの配列については、要素画像形状取得部２０４が取得した傾き角φ_ｎに従い、回転した配列とする。

【0055】

次に、要素画像群算出部２０２は、要素画像形状取得部２０４が取得した形状、傾き角φ_ｎの要素画像の領域を、仮想撮像素子２７上に設定する。要素画像群算出部２０２は、設定した仮想撮像素子２７上の全ての要素画像の領域の全ての画素のうち、それまでのステップ２にて未選択のものから１画素を選択する（Ｓ２）。次に、要素画像群算出部２０２は、光線の伝搬処理の初期化を行う（Ｓ３）。具体的には、要素画像群算出部２０２は、ステップＳ２にて選択した画素から、仮想撮影用要素レンズ２６−１から２６−ｋのうち、該画素を含む要素画像に対応するものの主点へのベクトルを設定する。次に、要素画像群算出部２０２は、ステップＳ３の初期化により設定されたベクトルから、仮想要素表示素子２５−１〜２５−ｍまでの光線の伝播を計算する（Ｓ４）。次に、要素画像群算出部２０２は、ステップＳ４の計算にて、仮想要素表示素子２５−１〜２５−ｍのいずれかの撮像面まで到達したか否かを判定する（Ｓ５）。到達していないと判定したときは（Ｓ５−Ｎｏ）、ステップＳ７に進む。

【0056】

また、ステップＳ５にて到達したと判定したときは（Ｓ５−Ｙｅｓ）、要素画像群算出部２０２は、到達した位置にある仮想要素表示素子２５−１〜２５−ｍの画素の画素値を、ステップＳ２にて選択した画素の画素値として割り当て（Ｓ６）、ステップＳ７に進む。ステップＳ７では、要素画像群算出部２０２は、ステップＳ２にて、全ての要素画像の全ての画素について選択したか否かを判定する。選択していないものがあると判定したときは（Ｓ７−Ｎｏ）、ステップＳ２に戻る。一方、全て選択していると判定したときは、要素画像群算出部２０２は、要素画像のうち、画素値が割り当てられていない画素の画素値を、周辺の画素値を用いて補間して算出し、割り当てて（Ｓ８）、処理を終了する。

【0057】

なお、ステップＳ６にて、仮想要素表示素子２５−１〜２５−ｍのちょうど画素の位置に光線がこない場合は、近くの光線情報を用いて光線の内挿処理を行う。
また、ステップＳ３では、光線の幅を無限小とし、設定するベクトルを一つのみとしたが、光線が、仮想撮影用要素レンズの主面において有限の幅φを有するようにしてもよい。その場合、始点をステップＳ２にて選択した画素、終点を仮想撮影用要素レンズの主点を中心とした幅φの範囲内とするベクトルを複数設定し、これらのベクトルから光線を逆方向にたどって行く計算を複数回行い、その結果の平均または重み付け加算を行い該画素の画素値とする。

【0058】

1つの撮像素子で撮影した要素画像群について、各要素画像同士の境目において、画素が有限の大きさを有するため、異なった方向から到来する光線が同一の画素に入射され、クロストークが発生する。このようなクロストークは、立体像の不自然な運動視差や二重像となり観察者に知覚される場合があるため、ステップＳ１やＳ５においてマスク処理などにより除去してもよい。例えば、ステップＳ１であれば、仮想要素表示素子２５−１〜２５−ｍに表示する要素画像群に関して、要素画像同士の境目部分を、マスク処理などによりあらかじめ除去をすることができる。また、ステップＳ５であれば、分岐の条件を「光線は仮想要素表示素子２５−１〜２５−ｍまで到達し、かつ要素画像同士の境目部分ではないか？」に変えることで、除去をすることができる。これらの場合、除去した光線に相当する光線は、前に説明したように、近くの光線情報を用いて内挿処理により生成する。

【0059】

ＩＰ立体像表示装置３０における要素画像の形状について説明する。図９は、ＩＰ立体像表示装置３０の要素画像の形状を示す図である。なお、要素レンズの配列と、要素画像の配列とは同じになるので、要素画像の配列もデルタ配列である。また、ｐ_ｌは要素画像間の最小中心間距離、ＯとＰ_ｎはそれぞれ０行０列目と１行ｎ列目 (ｎは整数) の要素画像の中心点を表す。また、要素画像の中心間距離が最小となる２つの要素画像の中心を結んだ直線を、以後基準線とする。

【0060】

本実施形態では、要素画像の形状を長方形として、かつその長手方向は、要素レンズの中心間距離の最小値よりも大きい。さらに画素の利用効率を上げるために、隙間なく要素画像を配置する。すなわち、線分ＯＰ_ｎが要素画像の長手方向の大きさとなるように設定する。基準線と線分ＯＰ_ｎのなす角を傾き角φ_ｎとすると、要素画像の長手方向の大きさｗ_ｎと短手方向の大きさｈ_ｎとは、以下の式（６）、（７）で表される。

【0061】

【数4】

【0062】

ここでｗ_０とｈ_０は、それぞれ長手方向の大きさを要素光学素子間の最小中心距離をとした場合に隙間なく配置可能な要素画像の長手方向と短手方向の大きさであり、デルタ配列の場合、式（８）、（９）となる。

【0063】

【数5】

【0064】

要素画像の長手方向が視域角の広がる方向となる。水平視域を広げる場合は、この視域拡大方向が水平方向になるように要素レンズを設置する。また、垂直視域を広げる場合は、この視域拡大方向が垂直方向になるように要素レンズを設置する。
図１０は、傾き角φ_ｎに対する正規化された要素画像の大きさの変化を示すグラフである。図１０より、傾き角φ_ｎにより、要素画像の長手方向と短手方向の大きさが制御可能であることがわかる。また、図１１は、水平視域を広げる場合の要素画像の具体例を示す。図１１に示すように、要素画像同士が重なり合うことなく、配置可能であることがわかる。

【0065】

なお、要素レンズおよび要素画像の配列とは、正方配列であってもよく、その場合の要素画像の形状を図１２に示す。また、図１３は、正方配列のときの傾き角φ_ｎに対する正規化された要素画像の大きさの変化を示すグラフである。図１３より、正方配列あっても、傾き角φ_ｎにより、要素画像の長手方向と短手方向の大きさが制御可能であることがわかる。なお、正方配列の場合、ｗ_０とｈ_０は、式（８’）となる。

【0066】

【数6】

【0067】

なお、要素画像の形状が、長方形であるとして説明したが、楕円形や多角形であってもよい。また、要素レンズの形状が、円形であるとしたが、長方形や六角形などの多角形であってもよい。
また、ＩＰ立体像表示装置３０の要素レンズは、凸レンズだけでなく、平凸レンズや非球面レンズ、ピンホール、屈折率分布レンズ、ズームレンズ、液晶レンズ、キノフォーム、ホログラフィ、フレネルレンズ、組み合わせレンズなどでもよい。立体像撮影装置１０の要素レンズ１１−１〜１１−ｎ、撮影レンズ１４−１〜１４−ｍも同様である。

【0068】

このように、立体像撮影装置１０は、複数の要素レンズを有する要素レンズアレイ１１と、複数の要素カメラ１３−１〜１３−ｍと、要素レンズアレイ１１と、複数の要素カメラ１３−１〜１３−ｍとの間に配置されるフィールドレンズ１２とを具備する。
これにより、複数の要素カメラ１３−１〜１３−ｍによって撮影された複数の画像によって表わされる要素画像の画角は、複数の要素カメラ１３−１〜１３−ｍを併せた広いもの、すなわち互いに重なり合うような広い画角となる。したがって、例えば、要素画像の形状を、長手方向が要素レンズ１１−１などの直径よりも長い長方形に変更する場合であっても、撮影後に、要素画像の形状を変更することができる。

【0069】

さらに、複数の要素カメラ１３−１〜１３−ｍの光軸間の距離ｐ_ｃは、式（１）に示したように、フィールドレンズ１２の焦点距離Ｆ＝ｇ_ｃと、複数の要素レンズ１１−１〜１１−ｎの主点間の距離ｐ_ｌとの積を、要素レンズ１１−１〜１１−ｎの焦点距離ｆ_ｉ＝ｇ_ｉで割った値である。
これにより、複数の要素カメラ１３−１〜１３−ｍのサンプリング点を一致させ、ＩＰ立体像表示装置３０の要素画像を生成するための情報を効率よく記録することができる。

【0070】

さらに、複数の要素カメラ１３−１〜１３−ｍの撮像面の中心間の距離ｐ_ｓは、式（２）に示したように、フィールドレンズの焦点距離Ｆ＝ｇ_ｃと要素カメラ１３−１〜１３−ｍの撮影レンズ１４−１〜１４−ｍから撮像面までの距離ｇ_ｓとの和を要素レンズ１１−１〜１１−５の焦点距離ｇ_ｉで割った値から、距離ｇ_ｓの２倍をフィールドレンズ１２の焦点距離Ｆ＝ｇ_ｃで割った値を引いた後、要素レンズ１１−１〜１１−ｎの主点間の距離ｐｌを掛けた値である。
これにより、複数の要素カメラ１３−１〜１３−ｍが記録する画像各々に対応する各サンプリング点における画角が、互いに接する。したがって、ＩＰ立体像表示装置３０の要素画像を生成するための情報を効率よく記録することができる。

【0071】

また、要素画像群生成装置２０は、立体像撮影装置１０が撮像した複数の画像を取得する画像取得部２０１と、画像取得部２０１が取得した複数の画像から、立体像撮影装置１０における光線の経路を逆に辿ったときに、立体像撮影装置１０の要素レンズアレイ１１に入射される光線を参照して、ＩＰ立体像表示装置３０で表示する要素画像群を生成する要素画像群算出部２０２とを具備する。
これにより、立体像撮影装置１０が撮影した画像から、ＩＰ立体像表示装置３０で表示する要素画像群を生成することができる。

【0072】

［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。第１の実施形態における要素画像群生成装置２０は、ＩＰ立体像表示装置３０における傾き角φ_ｎを取得し、仮想撮影用要素レンズ２６−１〜２６−ｋの配列を傾き角φ_ｎだけ回転させている。第２の実施形態では、要素画像群生成装置２０ａは、仮想表示用要素レンズ２１−１〜２１−ｎの配列も傾き角φ_ｎだけ回転させる。さらに、立体像撮影装置１０ａは、要素レンズアレイ１１の配列を傾き角φ_ｎだけ回転させる。

【0073】

図１４は、立体像撮影装置１０ａの構成を示す概略ブロック図である。図１４において、図２の各部に対応する部分には同一の符号（１１〜１３）を付し、説明を省略する。立体像撮影装置１０ａは、要素レンズアレイ１１、フィールドレンズ１２、要素カメラ群１３、要素レンズアレイ回転部１６ａを含んで構成される。要素レンズアレイ回転部１６ａは、ＩＰ立体像表示装置３０から傾き角φ_ｎを取得し、要素レンズ１１−１〜１１−ｎの配列を傾き角φ_ｎだけ回転させる。

【0074】

図１５は、要素画像群生成装置２０ａの要素画像群算出部２０２ａの構成を示す概略ブロック図である。同図において、図６の各部に対応する部分には同一の符号（２１〜２８）を付し、説明を省略する。なお、要素画像群生成装置２０ａは、図５の要素画像群生成装置２０とは、要素画像群算出部２０２に変えて要素画像群算出部２０２ａを有する点のみが異なる。

【0075】

要素画像群算出部２０２ａは、仮想要素表示装置群２３、仮想フィールドレンズ２２、仮想表示用要素レンズアレイ２１、仮想撮影用要素レンズアレイ２６、仮想撮像素子２７、仮想撮影用要素レンズアレイ回転部２８、仮想表示用要素レンズアレイ回転部２８ａを含んで構成される。仮想表示用要素レンズアレイ回転部２８ａは、ＩＰ立体像表示装置３０から取得した傾き角φ_ｎだけ、仮想表示用要素レンズ２１−１〜２１−ｎの配列を回転させる。

【0076】

本実施形態でも、第１の実施形態と同様の効果が得られる。
さらに、本実施形態では、要素レンズ１１−１〜１１−ｎの配列と、仮想表示用要素レンズ２１−１〜２１−ｎの配列も傾き角φｎだけ回転させる。このため、立体像撮影装置１０ａのサンプリング点と、要素画像群生成装置２０ａの仮想撮影用要素レンズ２６−１〜２６−ｋの主点とが一致する。その結果、仮想撮像素子２７における画素を求める際に行う光線の内挿処理が少なくなり、より高画質な立体像を撮影できるようになる。

【0077】

［第３の実施形態］
以下、図面を参照して、本発明の第３の実施形態について説明する。第３の実施形態では、さらに、立体像撮影装置１０ｂの要素カメラ１３−１〜１３−ｍ、要素画像群生成装置２０ｂの仮想要素表示装置２３−１〜２３−ｍの配列も傾き角φ_ｎだけ回転させる。

【0078】

図１６は、立体像撮影装置１０ｂの構成を示す概略ブロック図である。図１６において、図１４の各部に対応する部分には同一の符号（１１〜１３、１６ａ）を付し、説明を省略する。立体像撮影装置１０ｂは、要素レンズアレイ１１、フィールドレンズ１２、要素カメラ群１３、要素レンズアレイ回転部１６ａ、要素カメラ群回転部１６ｂを含んで構成される。要素カメラ群回転部１６ｂは、ＩＰ立体像表示装置３０から傾き角φ_ｎを取得し、要素カメラ１３−１〜１３−ｍの配列を傾き角φ_ｎだけ回転させる。

【0079】

図１７は、要素画像群生成装置２０ｂの要素画像群算出部２０２ｂの構成を示す概略ブロック図である。同図において、図１５の各部に対応する部分には同一の符号（２１〜２８、２８ａ）を付し、説明を省略する。なお、要素画像群生成装置２０ｂは、図５の要素画像群生成装置２０とは、要素画像群算出部２０２に変えて要素画像群算出部２０２ｂを有する点のみが異なる。

【0080】

要素画像群算出部２０２ｂは、仮想要素表示装置群２３、仮想フィールドレンズ２２、仮想表示用要素レンズアレイ２１、仮想撮影用要素レンズアレイ２６、仮想撮像素子２７、仮想撮影用要素レンズアレイ回転部２８、仮想表示用要素レンズアレイ回転部２８ａ、仮想要素表示装置群回転部２８ｂを含んで構成される。仮想要素表示装置群回転部２８ｂは、ＩＰ立体像表示装置３０から取得した傾き角φ_ｎだけ、仮想要素表示装置２３−１〜２３−ｍの配列を回転させる。
これにより、仮想要素表示装置２３−１〜２３−ｍも、仮想表示用要素レンズアレイ２１および仮想撮影用要素レンズアレイ２６と同様の傾き角となるので、内挿処理を減らすことができる。

【0081】

［第４の実施形態］
以下、図面を参照して、本発明の第４の実施形態について説明する。図１８は、この発明の第４の実施形態による立体像表示システム１００ｃの構成を示す概略ブロック図である。立体像表示システム１００ｃは、立体像撮影装置１０、ＩＰ立体像表示装置３０ｃを含んで構成される。立体像撮影装置１０は、図１における立体像撮影装置１０と同様である。ＩＰ立体像表示装置３０ｃは、立体像撮影装置１０における要素カメラ１３−１〜１３−ｍに変えて、要素表示装置１３ｃ−１〜１３ｃ−ｍを有する。要素表示装置１３ｃ−１〜１３ｃ−ｍの各々は、立体像撮影装置１０の要素カメラ１３−１〜１３−ｍのうち、それぞれ対応するものが撮影した画像を表示する。

【0082】

図１９は、ＩＰ立体像表示装置３０ｃの構成を示す断面図である。図１９において、図３の各部に対応する部分には同一の符号（１１、１２）を付し、説明を省略する。また、距離を示す符号（ｇ_ｉ、ｇ_ｃ、ｇ_ｓ、ｐ_ｃ、ｐ_ｌ、ｐ_ｓ）についても、同様に説明を省略する。図１９に示すように、立体像表示装置３０ｃは、要素レンズアレイ１１、フィールドレンズ１２、要素表示装置１３ｃ−１〜１３ｃ−ｍを含んで構成される。要素表示装置１３ｃ−１〜１３ｃ−ｍの各々は、投射レンズ１４ｃ、表示素子１５ｃを含んで構成される。なお、投射レンズ１４ｃ、表示素子１５ｃは、それを含んでいる要素表示装置の符号の枝番（１３ｃ−１における１など）を付けて、投射レンズ１４ｃ−１、表示素子１５ｃ−１などと表記する。

【0083】

投射レンズ１４ｃ−１〜１４ｃ−ｍは、表示素子１５ｃ−１〜１５ｃ−ｍ各々の前面に１つずつ配置されたレンズであって、図３の撮影レンズ１４−１〜１４−ｍと同様のレンズである。表示素子１５ｃ−１〜１５ｃ−ｍ（表示部）は、図３の撮像素子１５−１〜１５−ｍのうち、それぞれが対応するものが撮像した画像を表示する液晶ディスプレイなどの表示素子である。

【0084】

このように、ＩＰ立体像表示装置３０ｃは、要素カメラ１３−１〜１３−ｍに変えて、要素表示装置１３ｃ−１〜１３ｃ−ｍを有する以外は、立体像撮影装置１０と同様の構成である。これにより、立体像撮影装置１０が撮影した画像が表す、互いに重なり合うような広い画角の要素画像を、そのまま表示することができる。すなわち、視域の広い立体像を表示することができる。

【0085】

また、図１における要素画像群生成装置２０、図１５、図１７の要素画像群算出部２０２ａ、２０２ｂの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりこれらを実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0086】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0087】

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【符号の説明】

【0088】

１０、１０ａ…立体像撮影装置
１１…要素レンズアレイ
１１−１、１１−２、１１−ｎ…要素レンズ
１２…フィールドレンズ
１３…要素カメラ群
１３−１、１３−２、１３−ｍ…要素カメラ
１３ｃ−１、１３ｃ−２、１３ｃ−ｍ…要素表示装置
１４−１、１４−２、１４−ｍ…撮影レンズ
１４ｃ−１、１４ｃ−２、１４ｃ−ｍ…投射レンズ
１５−１、１５−２、１５−ｍ…撮像素子
１５ｃ−１、１５ｃ−２、１５ｃ−ｍ…表示素子
１６ａ…要素レンズアレイ回転部
１６ｂ…要素カメラ群回転部
２０…要素画像群生成装置
２１…仮想表示用要素レンズアレイ
２１−１、２１−２、２１−ｎ…仮想表示用要素レンズ
２２…仮想フィールドレンズ
２３…仮想要素表示装置群
２３−１、２３−２、２３−ｍ…仮想要素表示装置
２４−１、２４−２、２４−ｍ…仮想要素投射レンズ
２５−１、２５−２、２５−ｍ…仮想要素表示素子
２６…仮想撮影用要素レンズアレイ
２６−１、２５−２、２５−ｋ…仮想撮影用要素レンズ
２７…仮想撮像素子
２８…仮想撮影用要素レンズアレイ回転部
２８ａ…仮想表示用要素レンズアレイ回転部
２８ｂ…仮想要素表示装置群回転部
３０、３０ｃ…ＩＰ立体像表示装置
１００、１００ｃ…立体像表示システム
２０１…画像取得部
２０２…要素画像群算出部
２０３…要素画像群出力部
２０４…要素画像形状取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】