特許 6192222 撮影装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6192222

(24)【登録日】2017年8月18日

(45)【発行日】2017年9月6日

(54)【発明の名称】撮影装置

(51)【国際特許分類】

   H04N 13/02 20060101AFI20170828BHJP

   H04N 13/00 20060101ALI20170828BHJP

【ＦＩ】

   H04N13/02 320

   H04N13/00 180

【請求項の数】4

【全頁数】14

(21)【出願番号】特願2013-240919(P2013-240919)

(22)【出願日】2013年11月21日

(65)【公開番号】特開2015-103846(P2015-103846A)

(43)【公開日】2015年6月4日

【審査請求日】2016年9月26日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２５年度、総務省、戦略的情報通信研究開発推進制度（ＳＣＯＰＥ）「複合撮像面による空間情報取得システムの研究開発」委託事業、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100108578

【弁理士】

【氏名又は名称】高橋 詔男

(72)【発明者】

【氏名】日浦 人誌

(72)【発明者】

【氏名】洗井 淳

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２０１３−１６８７６０（ＪＰ，Ａ）

【文献】 特開２０１１−２３４２５４（ＪＰ，Ａ）

【文献】 特開２０１４−０８１５１９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

撮像面間に間隙を有してマトリクス状に配設される複数の撮像素子と、
前記複数の撮像素子の撮像面それぞれに対応させて、間隙を有して設けられる複数のレンズアレイと、
レンズアレイ間の間隙に対応する仮想要素レンズに対する補間対象要素画像における第１の補間対象画素の値を、前記第１の補間対象画素と前記仮想要素レンズの主点とを通る線上の複数の視点それぞれについての、前記視点と前記仮想要素レンズに隣接する要素レンズの主点とを通して得られる複数の画素の値の平均値に基づいて算出する補間処理部と、
を備える撮影装置。

【請求項2】

前記補間処理部は、前記補間対象要素画像に対して前記仮想要素レンズの主点から遠ざかる順での前記複数の視点それぞれについての複数の画素の値の平均値において、前記平均値の変化率が閾値以下となる場合の平均値を前記第１の補間対象画素の値とする、
請求項１記載の撮影装置。

【請求項3】

前記補間処理部は、前記複数の視点それぞれについての複数の画素の値の平均値の平均値を、前記第１の補間対象画素の値として算出する、
請求項１記載の撮影装置。

【請求項4】

前記補間処理部は、前記撮像面間の間隙に対応する補間対象画素から前記補間対象要素画像における第１の補間対象画素を除く第２の補間対象画素の値を、画素の内挿処理により算出する、
請求項１から請求項３いずれか一項記載の撮影装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影装置に関する。

【背景技術】

【0002】

空間像再生方式の一つとして、インテグラルフォトグラフィが知られている（例えば、特許文献１参照）。このインテグラルフォトグラフィを適用した撮影装置は、レンズアレイを通して入射される被写体からの光束を撮影してインテグラル画像を生成する。そして、インテグラルフォトグラフィを適用した表示装置は、インテグラル画像を表示部に表示させることによって光束を発生させ、この光束をレンズアレイに通すことによって空間像を生成する。つまり、インテグラルフォトグラフィは、実際の被写体から到来する光束と同様の光束を表示装置に発生させる再生方式である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１−２２８５７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

インテグラルフォトグラフィによる空間像の解像度は、表示装置がレンズアレイを通して出射する光線数に依存する。そして、表示装置が出射する光線数、すなわちインテグラル画像に記録される光線数は、撮影装置の解像度に依存する。よって、インテグラルフォトグラフィによる空間像を高精細化する一つの方法として、撮影装置の解像度を高めることが有効である。

【0005】

本発明は、上記事情を考慮してなされたものであり、インテグラルフォトグラフィによって高精細な空間像を得るためのインテグラル画像データを生成する撮影装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

［１］上記の課題を解決するため、本発明の一態様である撮影装置は、撮像面間に間隙を有してマトリクス状に配設される複数の撮像素子と、前記複数の撮像素子の撮像面それぞれに対応させて、間隙を有して設けられる複数のレンズアレイと、レンズアレイ間の間隙に対応する仮想要素レンズに対する補間対象要素画像における第１の補間対象画素の値を、前記第１の補間対象画素と前記仮想要素レンズの主点とを通る線上の複数の視点それぞれについての、前記視点と前記仮想要素レンズの周囲にある要素レンズの主点とを通して得られる複数の画素の値の平均値に基づいて算出する補間処理部と、を備える。

【0007】

［２］上記［１］記載の撮影装置において、前記補間処理部は、前記補間対象要素画像に対して前記仮想要素レンズの主点から遠ざかる順での前記複数の視点それぞれについての複数の画素の値の平均値において、前記平均値の変化率が閾値以下となる場合の平均値を前記第１の補間対象画素の値とする。
［３］上記［１］記載の撮影装置において、前記補間処理部は、前記複数の視点それぞれについての複数の画素の値の平均値の平均値を、前記第１の補間対象画素の値として算出する。
［４］上記［１］から［３］いずれか一項記載の撮影装置において、前記補間処理部は、前記撮像面間の間隙に対応する補間対象画素から前記補間対象要素画像における第１の補間対象画素を除く第２の補間対象画素の値を、画素の内挿処理により算出する。

【発明の効果】

【0008】

本発明によれば、インテグラルフォトグラフィによって高精細な空間像を得るためのインテグラル画像データを生成することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態である撮影装置を適用した撮影表示システムの構成の概略を示す図である。

【図2】図１に示したマルチレンズ撮像アレイをＸ軸方向に見た場合の側面図である。

【図3】図１に示したマルチレンズ撮像アレイを被写体側からＺ軸方向に見た場合の、マルチレンズ撮像部における撮像面間の間隙を模式的に示す図（ＸＹ平面図）である。

【図4】図１に示したマルチレンズ撮像アレイを被写体側からＺ軸方向に見た場合の、マルチレンズ撮像部における撮像用レンズアレイ間の間隙を模式的に示す図（ＸＹ平面図）である。

【図5】図３に示した撮像面間の間隙と、図４に示した撮像用レンズアレイ間の間隙とを、ともに示した図である。

【図6】画像処理装置が仮想要素レンズに対する補間対象要素画像における補間対象画素の値を計算する処理を説明するための図である。

【図7】画像処理装置が、補間対象要素画像における第１の補間対象画素を、補間対象要素画像に隣接する二つの要素画像から求めるための計算の結果を示すグラフである。

【発明を実施するための形態】

【0010】

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
図１は、本発明の実施形態である撮影装置を適用した撮影表示システムの構成の概略を示す図である。同図に示すように、撮影表示システム１は、マルチレンズ撮像アレイ１０と、画像処理装置（補間処理部）２０と、投影装置６０と、拡散板７０と、表示用レンズアレイ８０とを含む。撮影表示システム１において、撮影装置は、マルチレンズ撮像アレイ１０と、画像処理装置２０とを含む。

【0011】

図１には、マルチレンズ撮像アレイ１０によって撮影される被写体Ｓが表されている。また、同図には、相互に直交する３本の軸（Ｘ軸、Ｙ軸、およびＺ軸）が表されている。Ｘ軸は、マルチレンズ撮像アレイ１０に含まれる複数の撮像素子の撮像面それぞれの水平方向に平行な軸である。Ｙ軸は、マルチレンズ撮像アレイ１０に含まれる複数の撮像素子の撮像面それぞれの垂直方向に平行な軸である。Ｚ軸は、マルチレンズ撮像アレイ１０の各撮像素子の撮像面に対して垂直な軸である。つまり、Ｚ軸は、撮影装置の主光軸に平行な軸である。

【0012】

マルチレンズ撮像アレイ１０は、例えば９個のマルチレンズ撮像部１００を含んで構成される。詳しくは後述するが、各マルチレンズ撮像部１００は、撮像用レンズアレイ（レンズアレイ）および前記の撮像素子を備える。図１に示すように、マルチレンズ撮像アレイ１０は、９個のマルチレンズ撮像部１００それぞれにおける撮像素子の撮像面がＸ軸およびＹ軸を含む平面（ＸＹ平面）に平行となるよう、マルチレンズ撮像部１００間に所定の間隙を設けて、９個のマルチレンズ撮像部１００をＸ軸方向およびＹ軸方向それぞれに３個ずつ配設して構成される。本実施形態では、これらマトリクス状に設けられた９個のマルチレンズ撮像部１００それぞれの符号に二次元座標を表す添字（２桁の数字）を付して、各マルチレンズ撮像部１００を区別する（以下、同様の記載をする場合がある）。

【0013】

なお、マルチレンズ撮像アレイ１０は、９個に限定されることなく複数のマルチレンズ撮像部１００を含むものとしてよい。また、マルチレンズ撮像アレイ１０は、マルチレンズ撮像部１００間に所定の間隙を設けて、複数のマルチレンズ撮像部１００を、少なくともＸ軸方向またはＹ軸方向のいずれか一方向に配設して構成してもよい。

【0014】

マルチレンズ撮像部１００は、被写体Ｓから到来する光束を撮像用レンズアレイに通し、この撮像用レンズアレイを通過した光束を撮像素子で光電変換させて、要素画像群データを生成する。要素画像は、撮像用レンズアレイにおける要素レンズからの光束から得られる画像である。よって、要素画像群は、撮像用レンズアレイからの光束から得られる画像群である。マルチレンズ撮像アレイ１０は、９個のマルチレンズ撮像部１００を同時に動作させて９個の要素画像群データを生成し、これら９個の要素画像群データを要素画像群データセットとして画像処理装置２０に供給する。この要素画像群データセットは、１フレームに相当する要素画像群のデータセットである。

【0015】

画像処理装置２０は、マルチレンズ撮像アレイ１０が供給する要素画像群データセットを取り込む。画像処理装置２０は、要素画像群データセットが有する９個の要素画像群データを、９個（３個×３個）のマルチレンズ撮像部１００のマトリクス配置に対応させて合成することにより、１フレーム分の要素画像群データを生成する。

【0016】

具体的に、画像処理装置２０は、９個の要素画像群データを合成する際に、例えば、撮像用レンズアレイ間の間隙に対応する仮想要素レンズに対する補間対象要素画像における第１の補間対象画素の値を、この第１の補間対象画素と前記の仮想要素レンズの主点とを通る線上の複数の視点それぞれについての、当該視点と前記の仮想要素レンズの周囲にある要素レンズの主点とを通して得られる複数の画素の値の平均値に基づいて算出する。そして、画像処理装置２０は、撮像面間の間隙に対応する補間対象画素から補間対象要素画像における第１の補間対象画素を除く第２の補間対象画素の値を、画素の内挿処理により算出する。そして、画像処理装置２０は、９個の要素画像群データと、第１の補間対象画素の値と、第２の補間対象画素の値とを結合することにより、１フレーム分の要素画像群データを生成する。

【0017】

画像処理装置２０は、生成した１フレーム分の要素画像群データを、インテグラル画像データとして投影装置６０に供給する。画像処理装置２０が要素画像群データセットを合成してインテグラル画像データを得る処理（合成処理）の詳細については、後述する。画像処理装置２０は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；ＣＰＵ）を搭載した演算処理装置、例えば、コンピュータ装置により実現される。

【0018】

撮影表示システム１は、表示装置を含む。この表示装置は、投影装置６０と、拡散板７０と、表示用レンズアレイ８０とを含む。この表示装置は、本実施形態である撮影装置が生成したインテグラル画像データを取り込み、このインテグラル画像データをインテグラルフォトグラフィとして表示する。

【0019】

投影装置６０は、画像処理装置２０が供給するインテグラル画像データを取り込む。投影装置６０は、インテグラル画像データを画像光に変換し、この画像光を拡散板７０に向けて投射する。投影装置６０は、例えば、プロジェクタ装置により実現される。

【0020】

拡散板７０は、光透過性および光拡散性をともに有する平板である。拡散板７０は、投影装置６０によって投影された画像光を一方の面（投影装置６０側の面）から拡散させながら透過させて他方の面に到達させる。これにより、インテグラル画像が拡散板７０の他方の面に表出する。

【0021】

表示用レンズアレイ８０は、複数の要素レンズを、各光軸が平行となるようにして規則的（例えば、正方格子状）に二次元配列させて構成した要素レンズ群である。各要素レンズは、例えば凸レンズである。表示用レンズアレイ８０は、各要素レンズの焦平面が拡散板７０の他方の面に一致する位置に設けられる。拡散板７０の他方の面に表示されたインテグラル画像からの光束を、表示用レンズアレイ８０に通すことによって、被写体Ｓに対応する空間像が生成される。

【0022】

撮影表示システム１において、９個の撮像用レンズアレイ１００が有する複数の要素レンズと画素との位置関係は、表示用レンズアレイ８０が有する複数の要素レンズと画素との位置関係に等しい。

【0023】

図２は、図１に示したマルチレンズ撮像アレイ１０をＸ軸方向に見た場合の側面図である。図２には、マルチレンズ撮像アレイ１０が備える９個のマルチレンズ撮像部１００のうち、マルチレンズ撮像部１００_１１，１００_１２，１００_１３が基板部１０３に固定された様子が示されている。図１および図２を併せ参照すると、９個のマルチレンズ撮像部１００_１１，１００_１２，１００_１３，１００_２１，１００_２２，１００_２３，１００_３１，１００_３２，１００_３３は、基板部１０３の平面に固定されている。

【0024】

図２において、マルチレンズ撮像部１００_１１は、撮像用レンズアレイ１０１_１１と、撮像素子１０２_１１とを備える。また、マルチレンズ撮像部１００_１２は、撮像用レンズアレイ１０１_１２と、撮像素子１０２_１２とを備える。また、マルチレンズ撮像部１００_１３は、撮像用レンズアレイ１０１_１３と、撮像素子１０２_１３とを備える。また、同図には示していないが、マルチレンズ撮像部１００_２１，１００_２２，１００_２３，１００_３１，１００_３２，１００_３３についても、同図と同様に、撮像用レンズアレイ１００および撮像素子１０２を備える。

【0025】

撮像用レンズアレイ１０１は、複数の要素レンズを、各光軸が平行となるようにして規則的に二次元配列させて構成した要素レンズ群である。撮像用レンズアレイ１０１をＺ軸方向からみた場合、複数の要素レンズは、正方格子状に二次元配列されている。撮像用レンズアレイ１０１の各要素レンズは、例えば、屈折率分布型（ＧＲａｄｉｅｎｔ ＩＮｄｅｘ；ＧＲＩＮ）レンズにより実現される。

【0026】

具体的に、撮像用レンズアレイ１０１の要素レンズとして、以下に示す仕様の屈折率分布型レンズを用いる。すなわち、屈折率分布型レンズの光軸方向の長さをＬ、その屈折率分布型レンズの蛇行周期をＰとし、下記の式（１）を満たす仕様の屈折率分布型レンズを要素レンズとして用いる。ただし、式（１）において、ｎは正整数である。

【0027】

【数1】

【0028】

式（１）を満たす仕様の屈折率分布型レンズを要素レンズとして用いることにより、この屈折率分布型レンズの一方の端面から十分遠方に存在する被写体Ｓの正立実像を、他方の端面上またはこの端面の外側に現出させることができる。
屈折率分布型レンズの一方の端面から十分遠方に存在する被写体Ｓの正立実像を他方の端面上に現出させるためには、下記の式（２）を満たす仕様の屈折率分布型レンズを用いる。ただし、式（２）において、ｎは正整数である。

【0029】

【数2】

【0030】

図２は、式（２）においてｎが１である場合の屈折率分布型レンズを用いてマルチレンズ撮像部１００を構成した例を模式的に示している。要素レンズとして、式（２）を満たす屈折率分布型レンズを用いることにより、要素画像間のクロストークを抑制することができる。

【0031】

撮像素子１０２は、撮像用レンズアレイ１０１の各要素レンズから得られる光束を光電変換して要素画像群データを生成する。撮像素子１０２は、例えば、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子により実現される。

【0032】

マルチレンズ撮像部１００において、撮像用レンズアレイ１０１は、各要素レンズの焦平面が撮像素子１０２の撮像面に一致するように設けられる。例えば、式（２）を満たす仕様の屈折率分布型レンズを撮像用レンズアレイ１０１の要素レンズとして用いた場合、この屈折率分布型レンズの焦平面を、この屈折率分布型レンズにおける被写体Ｓ側と反対側の端面に一致させることができる。したがって、この場合、図２に示したように、撮像用レンズアレイ１０１における被写体Ｓ側と反対側の端面を撮像素子１０２の撮像面に接触させてマルチレンズ撮像部１００を構成することができる。このように構成したマルチレンズ撮像部１００を用いることにより、集光レンズや拡散板を含まない撮影装置を実現することができる。よって、その撮影装置によれば、集光レンズおよび拡散板を含まないことによって画質劣化を抑えることができ、また、装置の小型化を実現することができる。

【0033】

図３は、図１に示したマルチレンズ撮像アレイ１０を被写体Ｓ側からＺ軸方向に見た場合の、マルチレンズ撮像部１００における撮像面間の間隙を模式的に示す図（ＸＹ平面図）である。同図は、マルチレンズ撮像アレイ１０において相互に隣り合う４個のマルチレンズ撮像部１００_１１，１００_２１，１００_１２，１００_２２を示している。また、同図は、各マルチレンズ撮像部１００において、ＸＹ平面内で正方格子状に要素レンズを配列させた撮像用レンズアレイと、撮像面の画素とを示している。

【0034】

なお、図３では、要素レンズに対する画素の密度を低く、つまり要素レンズに対して画素を大きく表しているが、これは説明の便宜のためであり、実際は、要素レンズに対する画素の密度はさらに高い。また、同図における撮像用レンズアレイは、要素レンズをＸ軸方向およびＹ軸方向に隙間なく配列したものであり、この場合、Ｘ軸方向およびＹ軸方向それぞれにおけるレンズピッチは要素レンズの直径に等しい。レンズピッチとは、隣接する要素レンズの中心点間の大きさである。また、同図における撮像素子は、画素を隙間なく格子状に配列したものであり、この場合、Ｘ軸方向およびＹ軸方向それぞれにおける画素ピッチは画素幅に等しい。画素ピッチとは、隣接する画素の中心点間の大きさである。

【0035】

図３に示すように、ＸＹ平面において、マルチレンズ撮像部１００_１１の撮像面とマルチレンズ撮像部１００_２１の撮像面との間、およびマルチレンズ撮像部１００_１２の撮像面とマルチレンズ撮像部１００_２２の撮像面との間には、Ｘ軸方向の間隙が設けられている。これらＸ軸方向の間隙の大きさＰ_Ｘは、撮像面におけるＸ軸方向の画素ピッチの正整数倍である。同図は、Ｘ軸方向の間隙の大きさＰ_Ｘが撮像面におけるＸ軸方向の画素ピッチの８倍であることを示している。

【0036】

同様に、ＸＹ平面において、マルチレンズ撮像部１００_１１の撮像面とマルチレンズ撮像部１００_１２の撮像面との間、およびマルチレンズ撮像部１００_２１の撮像面とマルチレンズ撮像部１００_２２の撮像面との間には、Ｙ軸方向の間隙が設けられている。これらＹ軸方向の間隙の大きさＰ_Ｙは、撮像面におけるＹ軸方向の画素ピッチの正整数倍である。同図は、Ｙ軸方向の間隙の大きさＰ_Ｙが撮像面におけるＹ軸方向の画素ピッチの８倍であることを示している。

【0037】

なお、Ｘ軸方向の間隙の大きさＰ_ＸとＹ軸方向の間隙の大きさＰ_Ｙとは、等しくてもよいし等しくなくてもよい。

【0038】

図４は、図１に示したマルチレンズ撮像アレイ１０を被写体Ｓ側からＺ軸方向に見た場合の、マルチレンズ撮像部１００における撮像用レンズアレイ間の間隙を模式的に示す図（ＸＹ平面図）である。図４に示すように、ＸＹ平面において、マルチレンズ撮像部１００_１１の撮像用レンズアレイとマルチレンズ撮像部１００_２１の撮像用レンズアレイとの間、およびマルチレンズ撮像部１００_１２の撮像用レンズアレイとマルチレンズ撮像部１００_２２の撮像用レンズアレイとの間には、Ｘ軸方向の間隙が設けられている。これらＸ軸方向の間隙の大きさＬ_Ｘは、撮像用レンズアレイのレンズピッチの正整数倍である。同図は、Ｘ軸方向の間隙の大きさＬ_Ｘが撮像用レンズアレイのレンズピッチの２倍であることを示している。

【0039】

同様に、ＸＹ平面において、マルチレンズ撮像部１００_１１の撮像用レンズアレイとマルチレンズ撮像部１００_１２の撮像用レンズアレイとの間、およびマルチレンズ撮像部１００_２１の撮像用レンズアレイとマルチレンズ撮像部１００_２２の撮像用レンズアレイとの間には、Ｙ軸方向の間隙が設けられている。これらＹ軸方向の間隙の大きさＬ_Ｙは、撮像用レンズアレイのレンズピッチの正整数倍である。同図は、Ｙ軸方向の間隙の大きさＬ_Ｙが撮像用レンズアレイのレンズピッチの２倍であることを示している。

【0040】

撮像用レンズアレイ間の間隙に対応して仮想的に設けられる要素レンズを仮想要素レンズとする。つまり、図４の例では、Ｘ軸方向の間隙に２列の仮想要素レンズがあり、Ｙ軸方向の間隙に２行の仮想要素レンズがある。

【0041】

なお、Ｘ軸方向の間隙の大きさＬ_ＸとＹ軸方向の間隙の大きさＬ_Ｙとは、等しくてもよいし等しくなくてもよい。

【0042】

図５は、図３に示した撮像面間の間隙と、図４に示した撮像用レンズアレイ間の間隙とを、ともに示した図である。図５に示すように、ＸＹ平面において隣り合って配設される４個のマルチレンズ撮像部１００_１１，１００_２１，１００_１２，１００_２２における、Ｘ軸方向の撮像面間の間隙および撮像用レンズアレイ間の間隙は同一でない。同様に、Ｙ軸方向の撮像面間の間隙および撮像用レンズアレイ間の間隙は同一でない。図２および図５によれば、９個のマルチレンズ撮像部１００は、マルチレンズ撮像部１００間における、撮像素子１０２の撮像面間の間隙の大きさが撮像面における画素ピッチの正整数倍、且つ撮像用レンズアレイ１０１間の間隙の大きさがレンズピッチの正整数倍を満たすよう、基板部１０３の平面に固定される。

【0043】

ここで、画像処理装置２０による要素画像群データセットの合成処理について詳細に説明する。画像処理装置２０は、マルチレンズ撮像アレイ１０から要素画像群データセットを取り込み、この要素画像群データセットが有する９個の要素画像群データを、図３に示す画素ピッチの正整数倍分の間隙を設けて自装置に内蔵する記憶部に記憶させる。この記憶部は、例えば、少なくとも１フレーム分のインテグラル画像データを記憶可能なメモリである。つまり、記憶部には、撮像素子１０２の撮像面のマトリクス配置に対応して、９個の要素画像群データが記憶される。

【0044】

そして、画像処理装置２０は、図４に示す撮像用レンズアレイ間の間隙に対応する仮想要素レンズに対する補間対象要素画像における第１の補間対象画素の値を、この第１の補間対象画素と前記の仮想要素レンズの主点とを通る線上の複数の視点それぞれについての、当該視点と前記の仮想要素レンズの周囲にある要素レンズの主点とを通して得られる複数の画素の値の平均値に基づいて算出する。インテグラルフォトグラフィによる撮影／表示方式では、被写体からの光線情報を記録し、この記録した光線情報を基に被写体像（空間像）を再生させるため、表示用レンズアレイからの視点距離に応じて被写体像の大きさが変化する。上記の、第１の補間対象画素の値の算出法は、このインテグラルフォトグラフィの特性を利用し、撮影側で取得できなかった画素（補間対象要素画像における第１の補間対象画素）の値を算出する方法である。より具体的に、図６を参照して説明する。

【0045】

図６は、画像処理装置２０が仮想要素レンズに対する補間対象要素画像における補間対象画素の値を計算する処理を説明するための図である。同図において、要素画像Ａと要素画像Ｃとの間には、１要素画像分の補間対象要素画像Ｂの画素領域がある。主点ＰＡは、要素画像Ａに対応する要素レンズの主点である。また、主点ＰＣは、要素画像Ｃに対応する要素レンズの主点である。また、主点ＰＢは、補間対象要素画像Ｂに対応する仮想要素レンズの主点である。同図は、画像処理装置２０が補間対象要素画像Ｂにおける３番目の補間対象画素Ｂ（３）の値を計算する場合の例である。図４に示したように、撮像用レンズアレイにおける複数の要素レンズは、撮影装置の主光軸に対して直角である平面（ＸＹ平面）上に配列されるため、各要素画像における視線方向は、要素レンズの並びに応じて徐々に変化する。つまり、隣り合う要素画像間、または、注目する要素画像とこの周辺の要素画像との間では、画像の相関が強い確率が高い。

【0046】

このような統計的な性質を利用し、図６の補間対象画素Ｂ（３）を例とすると、画像処理装置２０は、補間対象要素画像Ｂの補間対象画素Ｂ（３）と仮想要素レンズの主点ＰＢとを通る線５上のｎ個の視点（視点１、視点２、・・・、視点ｎ）それぞれについて、当該視点と主点ＰＡとを通して得られる画素の値、および当該視点と主点ＰＣとを通して得られる画素の値の平均値を算出する。具体的に、画像処理装置２０は、視点１と主点ＰＡとを通る線１Ａが到達する要素画像Ａにおける画素Ａ（１）の値と、視点１と主点ＰＣとを通る線１Ｃが到達する要素画像Ｃにおける画素Ｃ（５）の値との平均値Ｂ（３）［１］を算出する。同様に、画像処理装置２０は、視点２と主点ＰＡとを通る線２Ａが到達する要素画像Ａにおける画素Ａ（２）の値と、視点２と主点ＰＣとを通る線２Ｃが到達する要素画像Ｃにおける画素Ｃ（４）の値との平均値Ｂ（３）［２］を算出する。

【0047】

画像処理装置２０は、ｎ個の視点それぞれについて平均値を算出したのち、補間対象要素画像Ｂに対して主点ＰＢから遠ざかる順でのｎ個の視点それぞれについての平均値Ｂ（３）［１］，Ｂ（３）［２］，・・・，Ｂ（３）［ｎ］において、平均値の変化率があらかじめ決定された閾値以下となる場合の平均値Ｂ（３）［ｋ］を、補間対象画素Ｂ（３）の値として決定する。そして、画像処理装置２０は、算出した補間対象画素Ｂ（３）の値を、記憶部において対応するアドレスの領域に記憶させる。

【0048】

つまり、画像処理装置２０は、補間対象要素画像における第１の補間対象画素と、その補間対象要素画像に対応する仮想要素レンズの主点とを結ぶ光軸方向を基準とし、この光軸方向において複数の視点位置それぞれについて、補間対象要素画像の周囲にある要素画像（例えば、補間対象要素画像に隣接する要素画像）において当該視点位置に対応する画素の値の平均値を算出し、これら複数の平均値から最も確からしい値を、第１の補間対象画素の値として決定する。これにより、画像処理装置２０は、補間対象要素画像を高精度に生成することができる。

【0049】

図７は、画像処理装置２０が、補間対象要素画像における第１の補間対象画素を、補間対象要素画像に隣接する二つの要素画像から求めるための計算の結果を示すグラフである。同図のグラフは、横軸を表示面からの視点距離（単位：メートル）、縦軸を画素値とする。このグラフにおいて、実線は、第１の補間対象画素に対応する、補間対象要素画像に隣接する一方（観視側から見て左側）の要素画像に含まれる第１の画素の値である。また、破線は、第１の補間対象画素に対応する、補間対象要素画像に隣接する他方（観視側から見て右側）の要素画像に含まれる第２の画素の値である。一点鎖線は、画像処理装置２０が、視点位置に応じて算出した、第１の画素の値と第２の画素の値との平均値である。画像処理装置２０は、一点鎖線で表した計算結果から、平均値の変化率があらかじめ決定された閾値以下となる場合の平均値（例えば、“２１７”）を、第１の補間対象画素の値として得る。

【0050】

また、画像処理装置２０は、図３に示す撮像面間の間隙（撮像面の画素ピッチの８倍）に対応する補間対象画素から補間対象要素画像における第１の補間対象画素を除く第２の補間対象画素の値を、隣接する画素または周囲の画素の内挿処理により算出する。例えば、画像処理装置２０は、第２の補間対象画素に対する周囲の画素の値を線形補間することによって第２の補間対象画素の値を算出する。具体的に、例えば、第２の補間対象画素に隣接する４画素から第２の補間対象画素の値を求める場合、画像処理装置２０は、それら４画素の画素値の平均値を計算することにより第２の補間対象画素の値を得る。そして、画像処理装置２０は、算出した第２の補間対象画素の値を、記憶部において対応するアドレスの領域に記憶させる。

【0051】

以上説明したとおり、本実施形態である撮影装置は、撮像面間に間隙を有してマトリクス状に配設される複数の撮像素子１０２と、これら複数の撮像素子１０２の撮像面それぞれに対応させて、間隙を有して設けられる複数の撮像用レンズアレイ１０１とを備える。また、撮影装置は、撮像用レンズアレイ１０１間の間隙に対応する仮想要素レンズに対する補間対象要素画像における第１の補間対象画素の値を、この第１の補間対象画素と仮想要素レンズの主点とを通る線上の複数の視点それぞれについての、当該視点と仮想要素レンズの周囲にある要素レンズの主点とを通して得られる複数の画素の値の平均値に基づいて算出する画像処理装置２０を備える。

【0052】

このように、所定の解像度を有するマルチレンズ撮像部１００を複数用いて撮影装置を構成することにより、被写体からの光線を取得できない領域の画素を高精度に補間することができ、フレーム全体として、前記の解像度よりも極めて高い解像度を有する撮影装置を実現することができる。

【0053】

また、撮影装置において、画像処理装置２０は、補間対象要素画像に対して仮想要素レンズの主点から遠ざかる順での複数の視点それぞれについての複数の画素の値の平均値において、平均値の変化率が閾値以下となる場合の平均値を第１の補間対象画素の値としてもよい。この構成により、撮影装置は、補間対象要素画像の周囲の要素画像に基づいて、補間対象要素画像を高精度に補間することができる。

【0054】

また、撮影装置において、画像処理装置２０は、撮像面間の間隙に対応する補間対象画素から補間対象要素画像における第１の補間対象画素を除く第２の補間対象画素の値を、画素の内挿処理により算出してもよい。

【0055】

［その他の実施の形態］
画像処理装置２０は、撮像用レンズアレイ１０１間の間隙に対応する仮想要素レンズに対する補間対象要素画像における第１の補間対象画素の値を、この第１の補間対象画素と仮想要素レンズの主点とを通る線上の複数の視点それぞれについての、当該視点と仮想要素レンズの周囲にある要素レンズの主点とを通して得られる複数の画素の値の平均値から、平均値を計算することによって得てもよい。具体的に、図６の補間対象画素Ｂ（３）を例とすると、画像処理装置２０は、ｎ個の視点それぞれについての平均値Ｂ（３）［１］，Ｂ（３）［２］，・・・，Ｂ（３）［ｎ］の平均値を算出し、その平均値を補間対象画素Ｂ（３）の値として決定する。

【0056】

この構成によっても、撮影装置は、インテグラルフォトグラフィによって高精細な空間像を得るためのインテグラル画像データを生成することができる。

【0057】

上述した実施形態は、撮像用レンズアレイ１０１および表示用レンズアレイを、正方格子状に要素レンズを配列して構成した例とした。これらレンズアレイにおける要素レンズの配列パターンは、正方格子配列に限定されることなく、例えば、デルタ配列としてもよい。デルタ状に要素レンズを隙間なく配列した場合、要素レンズの直径をＤとすると、例えば、Ｘ軸方向のレンズピッチは行ごとにＤであり、隣接する行間においてはＤ／２である。また、Ｙ軸方向のレンズピッチは、（√３）×Ｄ／２である。デルタ配列によって構成されるレンズアレイは正方格子配列によって構成されるレンズアレイよりも要素レンズの密度が高い。よって、デルタ配列によって構成されるレンズアレイを用いた撮影表示システムは、内挿処理を実行した場合に、高画質の補間対象要素画像および補間対象画素を得ることができる。

【0058】

また、撮像用レンズアレイの要素レンズと表示用レンズアレイの要素レンズとの組み合わせを、以下のようにしてもよい。すなわち、撮像側または表示側いずれか一方を屈折率分布型レンズとし、他方を凸レンズとする。または、いずれか一方を凸レンズとし、他方を凹レンズとする。または、撮像側および表示側の両方を凸レンズまたは屈折率分布型レンズとし、画像処理装置において各要素画像の奥行きを反転させる画像処理を実行してもよい。

【0059】

また、上述した実施形態では、画像処理装置２０が仮想要素レンズに対する補間対象要素画像における補間対象画素の値を計算する処理の例としたが、例えば、撮像素子１０２に欠陥画素がある場合、撮像用レンズアレイ１０１の要素レンズに傷がある場合や塵埃が付着している場合にも適用できる。

【0060】

また、画像処理装置２０の一部の機能をコンピュータで実現するようにしてもよい。この場合、その制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて、このコンピュータシステムが実行することにより、当該機能を実現してもよい。なお、このコンピュータシステムとは、オペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ；ＯＳ）や周辺装置のハードウェアを含むものである。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに備えられる磁気ハードディスクやソリッドステートドライブ等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記録媒体とは、インターネット等のコンピュータネットワーク、および電話回線や携帯電話網を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、さらには、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。

【0061】

以上により、実施形態である撮影装置は、インテグラルフォトグラフィによって高精細な空間像を得るためのインテグラル画像データを生成することができる。

【0062】

以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0063】

１ 撮影表示システム
１０ マルチレンズ撮像アレイ
２０ 画像処理装置（補間処理部）
６０ 投影装置
７０ 拡散板
８０ 表示用レンズアレイ
１００_１１，１００_２１，１００_３１，１００_１２，１００_２２，１００_３２，１００_１３，１００_２３，１００_３３ マルチレンズ撮像部
１０１_１１，１０１_１２，１０１_１３ 撮像用レンズアレイ
１０２_１１，１０２_１２，１０２_１３ 撮像素子
１０３ 基板部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】