特開 2024-12318 画像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024012318

(43)【公開日】2024-01-30

(54)【発明の名称】画像表示装置

(51)【国際特許分類】

   G02B 30/10 20200101AFI20240123BHJP

   G09F 9/00 20060101ALI20240123BHJP

   H04N 13/307 20180101ALI20240123BHJP

   H04N 13/232 20180101ALI20240123BHJP

【ＦＩ】

G02B30/10

G09F9/00 313

G09F9/00 361

H04N13/307

H04N13/232

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023175576

(22)【出願日】2023-10-10

(62)【分割の表示】P 2021084786の分割

【原出願日】2011-06-10

(31)【優先権主張番号】P 2010137391

(32)【優先日】2010-06-16

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(72)【発明者】

【氏名】岩根 透

(57)【要約】

【課題】立体形状を有する被写体の像を空中に立体像として表示する。
【解決手段】画像表示装置は、撮影用マイクロレンズに対応して配置され、撮影用マイクロレンズを通過した光を受光する複数の撮像画素から出力された複数の画像信号が入力される入力部と、配列された複数の表示用マイクロレンズと、表示用マイクロレンズごとに配置され、表示用マイクロレンズに光を出射する複数の表示画素と、入力部に入力された複数の画像信号に基づいて表示用画像データを生成する生成部と、表示用画像データに基づいて表示画素を発光させる制御部と、を有し、生成部は、撮影用マイクロレンズに対応する撮像画素の入射光の配列パターンと、表示用マイクロレンズに対応する表示画素の発光の配列パターンとが同じでない場合、撮像画素を、マイクロレンズの疑似光軸を中心として点対称となる位置に配置された表示画素に画像信号を割り当てる。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮影用マイクロレンズに対応して配置され、前記撮影用マイクロレンズを通過した光を受光する複数の撮像画素から出力された複数の画像信号が入力される入力部と、
配列された複数の表示用マイクロレンズと、
前記表示用マイクロレンズごとに配置され、前記表示用マイクロレンズに光を出射する複数の表示画素と、
前記入力部に入力された複数の前記画像信号に基づいて表示用画像データを生成する生成部と、
前記表示用画像データに基づいて前記表示画素を発光させる制御部と、を有し、
前記生成部は、前記撮影用マイクロレンズに対応する前記撮像画素の入射光の配列パターンと、前記表示用マイクロレンズに対応する前記表示画素の発光の配列パターンとが同じでない場合、前記撮像画素を、マイクロレンズの疑似光軸を中心として点対称となる位置に配置された前記表示画素に前記画像信号を割り当てる、画像表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像表示装置に関する。

【背景技術】

【0002】

従来から、インテグラル式（インテグラルフォトグラフィ）によって立体像を表示する表示装置が知られている（たとえば特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８－２１６３４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の表示装置では、三次元画像として撮影した画像を投射して表示するので、正立像として表示させるために屈折率分布レンズ等を用いる必要があるという問題がある。

【課題を解決するための手段】

【0005】

請求項１に記載の発明による画像表示装置は、撮影用マイクロレンズに対応して配置され、前記撮影用マイクロレンズを通過した光を受光する複数の撮像画素から出力された複数の画像信号が入力される入力部と、配列された複数の表示用マイクロレンズと、前記表示用マイクロレンズごとに配置され、前記表示用マイクロレンズに光を出射する複数の表示画素と、前記入力部に入力された複数の前記画像信号に基づいて表示用画像データを生成する生成部と、前記表示用画像データに基づいて前記表示画素を発光させる制御部と、を有し、前記生成部は、前記撮影用マイクロレンズに対応する前記撮像画素の入射光の配列パターンと、前記表示用マイクロレンズに対応する前記表示画素の発光の配列パターンとが同じでない場合、前記撮像画素を、マイクロレンズの疑似光軸を中心として点対称となる位置に配置された前記表示画素に前記画像信号を割り当てる。

【発明の効果】

【0006】

本発明によれば、立体形状を有する被写体の像を空中に立体像として表示できる。

【図面の簡単な説明】

【0007】

【図1】本発明の実施の形態によるデジタルカメラの構成を説明する図である。

【図2】マイクロレンズと撮像素子との配置の一例を示す図である。

【図3】実施の形態におけるマイクロレンズと基点画素との位置関係を説明する図である。

【図4】合成画像の生成原理を説明する図である。

【図5】合成画像を生成するための積算領域と撮像画素との関係を示す図である。

【図6】基点信号に積算するための画像信号を出力する撮像画素の位置関係の一例を示す図である。

【図7】輪帯とマイクロレンズとの関係の一例を示す図である。

【図8】実施の形態における表示装置の構成を説明する図である。

【図9】撮像画素から出力された画像信号が割り当てられた表示画素の一例を示す図である。

【図10】光点から発した光束が撮像画素の受光面で切り取られる光断面を説明する図である。

【図11】マイクロレンズと光断面との関係を説明する図である。

【図12】マイクロレンズと光断面との関係を説明する図である。

【図13】領域分割を基点マイクロレンズに展開した場合の光断面を説明する図である。

【図14】基点マイクロレンズの疑似光軸に対して光点が偏心した場合の分割領域を説明する図である。

【図15】表示された空中像の奥行きを説明する図である。

【図16】焦点位置と表示用画素の面との関係を示す図である。

【発明を実施するための形態】

【0008】

本実施の形態のデジタルカメラは、任意の焦点位置が設定された画像データを生成可能に構成されている。このデジタルカメラによって立体形状を有する被写体を撮影した場合には、生成される画像データは立体形状に関する情報（立体情報）が含まれる。本実施の形態のデジタルカメラは、このような立体情報を含む画像データに対応する画像を、三次元の立体像（空中像）としてユーザにより観察可能に表示させる。以下、詳細に説明する。

【0009】

図１は、実施の形態によるデジタルカメラの構成を示す図である。デジタルカメラ１は、撮影レンズＬ１を有する交換レンズ２が着脱可能に構成されている。デジタルカメラ１は、撮像ユニット１００，制御回路１０１，Ａ／Ｄ変換回路１０２，メモリ１０３，操作部１０８，メモリカードインタフェース１０９および表示装置１１０を備える。撮像ユニット１００は、多数のマイクロレンズ１２０が二次元状に配列されたマイクロレンズアレイ１２および撮像素子１３を備える。なお、以下の説明においては、ｚ軸を撮影レンズＬ１の光軸に平行となるように設定し、ｚ軸と直交する平面内でｘ軸とｙ軸とが互いに直交する方向に設定されているものとする。

【0010】

撮影レンズＬ１は、複数の光学レンズ群から構成され、被写体からの光束をその焦点面近傍に結像する。なお、図１では撮影レンズＬ１を説明の都合上１枚のレンズで代表して表している。撮影レンズＬ１の背後には、光軸と垂直な面内で２次元状にマイクロレンズアレイ１２と撮像素子１３とが順に配置される。撮像素子１３は、複数の光電変換素子を備えたＣＣＤやＣＭＯＳイメージセンサによって構成される。撮像素子１３は、撮像面上に結像されている被写体像を撮像し、制御回路１０１により制御されて被写体像に応じた光電変換信号（画像信号）をＡ／Ｄ変換回路１０２へ出力する。なお、撮像ユニット１００の詳細については説明を後述する。

【0011】

Ａ／Ｄ変換回路１０２は、撮像素子１３が出力する画像信号にアナログ的な処理をしてからデジタル画像信号に変換する回路である。制御回路１０１は、ＣＰＵやメモリその他の周辺回路によって構成される。制御回路１０１は、制御プログラムに基づいて、デジタルカメラ１を構成する各部から入力される信号を用いて所定の演算を行い、デジタルカメラ１の各部に対する制御信号を送出して、撮影動作を制御する。また、制御回路１０１は、後述するように絞り値入力ボタンの操作に応じて操作部１０８から入力した操作信号に基づいて、ユーザにより選択された合成画像の絞り値を決定する。

【0012】

制御回路１０１は、画像積算部１０５、画像パターン生成部１０６および表示制御部１０７を機能的に備える。画像積算部１０５は、絞り値入力ボタンの操作に応じて決定された合成画像の絞り値に対応する合成画素所属テーブルを用いて、画像信号から合成画像データを生成する。画像パターン生成部１０６は、後述するように画像積算部１０５で生成された合成画像データから、後述する表示装置１１０に三次元情報を有する空中像を表示するために表示用画像データを作成する。表示制御部１０７は、表示装置１１０の駆動を制御し、画像パターン生成部１０６で生成された表示用画像データを表示装置１１０へ出力して、対応する三次元情報を有する空中像を表示装置１１０に表示させる。なお、画像積算部１０５および画像パターン生成部１０６については詳細を後述する。

【0013】

メモリ１０３は、Ａ／Ｄ変換回路１０２によりデジタル変換された画像信号や、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される揮発性記憶媒体である。メモリカードインタフェース１０９は、メモリカード１０９ａが着脱可能なインタフェースである。メモリカードインタフェース１０９は、制御回路１０１の制御に応じて、画像データをメモリカード１０９ａに書き込んだり、メモリカード１０９ａに記録されている画像データを読み出すインタフェース回路である。メモリカード１０９ａはコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。

【0014】

操作部１０８は、ユーザの操作を受け付けて、操作内容に応じた各種の操作信号を制御回路１０１へ出力する。操作部１０８は、絞り値入力ボタン，電源ボタン，レリーズボタン，その他の設定メニューの表示切換ボタン、設定メニュー決定ボタン等を含む。絞り値入力ボタンは合成画像の絞り値Ｆを入力する際にユーザにより操作される。ユーザにより絞り値入力ボタンが操作され絞り値Ｆが選択されると、操作部１０８は操作信号を制御回路１０１へ出力する。

【0015】

表示装置１１０は、制御回路１０１の命令に基づいて、再生モードにおいてメモリカード１０９ａに記録されている画像データに基づいて制御回路１０１で作成された表示データの表示を行う。また、表示装置１１０は、デジタルカメラ１の各種動作を設定するためのメニュー画面が表示される。なお、表示装置１１０の詳細については、説明を後述する。

【0016】

次に、撮像ユニット１００の構成について詳細に説明する。撮像ユニット１００は、上述したようにマイクロレンズアレイ１２と撮像素子１３とを有する。マイクロレンズアレイ１２は、二次元状に配列された複数のマイクロレンズ１２０により構成される。撮像素子１３には、上記の各マイクロレンズ１２０を通過した光を受光する画素配列１３０が、マイクロレンズ１２０に対応した配置パターンで配置されている。各々の画素配列１３０は、二次元状に配列された複数の光電変換素子１３１（以下、撮像画素１３１と呼ぶ）により構成される。

【0017】

図２（ａ）にマイクロレンズアレイ１２に配列されるマイクロレンズ１２０のＸＹ平面での平面図を示す。図２（ａ）に示すように、マイクロレンズアレイ１２は、ＸＹ平面上で、たとえば六角形に形成された複数のマイクロレンズ１２０がハニカム配列されている。なお、図２（ａ）はマイクロレンズアレイ１２に設けられた複数のマイクロレンズ１２０のうちの一部のマイクロレンズ１２０を示す。図２（ｂ）は、撮影レンズＬ１の光軸方向（ｚ軸方向）における、マイクロレンズアレイ１２と撮像素子１３との位置関係を説明する図である。図２（ｂ）に示すように、撮像素子１３はマイクロレンズ１２０の焦点距離ｆだけ離れた位置に配置される。すなわち、複数の撮像画素１３１を有する画素配列１３０は、各画素配列１３０のそれぞれに対応するマイクロレンズ１２０の焦点距離ｆだけ離れた位置に設けられている。なお、図２（ｂ）においては、マイクロレンズアレイ１２に設けられた複数のマイクロレンズ１２０と、撮像素子１３に設けられた複数の画素配列１３０および複数の撮像画素１３１の一部を示す。

【0018】

上述した構成を有する撮像素子１３から出力された画像信号を用いて、画像積算部１０５は合成画像データを作成する。画像積算部１０５は、あるマイクロレンズ１２０に対応して設けられた画素配列１３０に含まれる撮像画素１３１のうち、所定の撮像画素１３１（以後、基点画素１３２（図３）と呼ぶ）から出力される画像信号（以後、基点信号と呼ぶ）と、基点画素１３２に対応するマイクロレンズ１２０および近傍に設けられたマイクロレンズ１２０に対応する画素配列１３０に含まれる撮像画素１３１から出力された画像信号とを合成する。その結果、画像積算部１０５は、１画素に相当する合成画像信号を生成する。画像積算部１０５は、各マイクロレンズ１２０に対応する基点画素の全てに対して上記の処理を行い、生成されたそれぞれの合成画像信号を加算して合成画像データを生成する。

【0019】

画像積算部１０５は、上述したように合成画像信号を生成する際に、合成画素所属テーブルを参照する。合成画素所属テーブルは、基点信号に合成するための画像信号を出力する撮像画素１３１が、どのマイクロレンズ１２０に対応する画素配列１３０のどの位置に配置されているかを示している。以下、画像積算部１０５が、撮像画素１３１から出力された画像信号を用いて合成画像信号を生成する処理について説明する。

【0020】

図３に各マイクロレンズ１２０、すなわち各画素配列１３０に対応して設けられる基点画素１３２を示す。図３では、複数のマイクロレンズ１２０のうちの一部のマイクロレンズ１２０を示し、複数の撮像画素１３１のうちの基点画素１３２を代表して示す。図３では、基点画素１３２はマイクロレンズ１２０の擬似光軸に対応して配置される。なお、本実施の形態では、擬似光軸を、撮影レンズＬ１の瞳から入射する光束の中心と、マイクロレンズ１２０の主面との交点として説明する。図３においては、マイクロレンズ１２０の幾何学的中心と擬似光軸とが一致している場合を示している。また、以下の説明では、基点画素１３２に対応するマイクロレンズ１２０を基点マイクロレンズ１２１と呼ぶこととする。

【0021】

－合成画像信号の生成－
まず、図４（ａ）に示す被写体の像がマイクロレンズ１２０の頂点に結像する場合、すなわち焦点面Ｓがマイクロレンズ１２０の頂点に存在する場合の合成画像の生成原理について説明する。この場合の被写体からの光束ｒ１～ｒ７は、マイクロレンズ１２０に対応して設けられた画素配列１３０の撮像画素１３１に入射する。画像積算部１０５は、図４（ａ）に示す撮像画素１３１のうち斜線を施した撮像画素１３１から出力された画像信号を積算することにより、合成画像データの１画素に相当する合成画像信号を生成する。画像積算部１０６は、この処理を全てのマイクロレンズ１２０に対応する画素配列１３０について行うことにより、合成画像データを生成する。

【0022】

次に、ある焦点面（結像面）に結像した被写体の像について合成画像信号を生成する場合の原理を説明する。図４（ｂ）に示すように、焦点面Ｓがマイクロレンズ１２０の頂点から離れた位置に存在する場合、被写体からの光束ｒ１～ｒ５はそれぞれ異なる複数のマイクロレンズ１２０に入射する。このため、画像積算部１０５は、合成画像信号を生成するために、基点マイクロレンズ１２１の近傍に配置されたマイクロレンズ１２０に対応して配置された撮像画素１３１からの画像信号をも用いる必要がある。なお、図４（ｂ）では、各光束ｒ１～ｒ５の主光線を代表して示している。

【0023】

画像積算部１０５は、合成画像の絞り値Ｆに応じて決定される積算領域に含まれる撮像画素１３１から出力される画像信号を全て積算することにより合成画像データにおける１画素（合成画像の結像領域）に相当する合成画像信号を生成する。なお、積算領域は直径をＤとする円で表される。積算領域の直径Ｄは、絞り値入力ボタン１０８ａの操作に応じて決定された絞り値（合成画像データの絞り値）Ｆと、マイクロレンズ１２０の焦点距離ｆとを用いて以下の式（１）により表される。
Ｄ＝ｆ／Ｆ ・・・（１）

【0024】

図５は、積算領域Ｒｓと撮像画素１３１との関係を示す。上述したように、画像積算部１０６は、円形領域として表された積算領域Ｒｓに被覆される全ての撮像画素１３１から出力された画像信号を積算する。図５においては、積算される画像信号を出力する撮像画素１３１に斜線を付して示している。マイクロレンズ１２０は、マイクロレンズアレイ１２を構成するレンズの１つなので、マイクロレンズ１２０の配列により許容される各マイクロレンズ１２０の直径よりも積算領域Ｒｓを大きくすることはできない。したがって、合成画像データで許容される最大の絞り値Ｆｍａｘは、以下の式（２）で表される。なお、式（２）において「ｓ」は撮像画素１３１の一辺の大きさを示す。また、合成画像データにおける最小の絞り値Ｆｍｉｎはマイクロレンズ１２０のＦ値となる。
Ｆｍａｘ＝ｆ／ｓ ・・・（２）

【0025】

画像積算部１０５によって、基点画素１３２を含む画素配列１３０から出力された画像信号が積算された合成画像信号、すなわち積算値は以下の式（３）で表される。なお、式（３）においては、Ｐは撮像画素１３１から出力される画像信号の出力値を示す。また、式（３）の「ｉ」は合成画像の絞り値Ｆのときに積算領域Ｒｓに被覆される撮像画素１３１を示し、「０」は基点画素１３２が含まれる画素配列１３０に対応して配置されるマイクロレンズ１２０であること、すなわち基点マイクロレンズ１２１であることを表している。

【数1】

【0026】

上述したように、画像積算部１０５は、基点マイクロレンズ１２１の近傍に設けられたマイクロレンズ１２０に対応する画素配列１３０に含まれる撮像画素１３１から出力される画像信号も用いて積算を行う。すなわち、画像積算部１０５は、合成画像の絞り値Ｆよって決まる積算領域Ｒｓに被覆される撮像画素１３１の集合Ｆ{ｉ}に含まれる全ての撮像画素１３１であって、基点マイクロレンズ１２１を含む近傍のマイクロレンズ１２０に対応して配置された撮像画素１３１からの画素信号の出力値を積算する。この場合、出力値Ｐは以下の式（４）で表される。なお、式（４）の「ｔ」は、基点マイクロレンズ１２１を含む近傍のマイクロレンズ１２０を表す。

【数2】

【0027】

図６は、画像積算部１０５によって１つの合成画像信号を生成する際に用いられた画像信号を出力した撮像画素１３１と、基点マイクロレンズ１２１および近傍に隣接するマイクロレンズ１２０ａ～１２０ｆとの関係を示す。なお、図６では、合成画像信号の生成に用いられる画像信号を出力していない撮像画素１３１については表示を省略している。図６に示す基点マイクロレンズ１２１と隣接するマイクロレンズ１２０ａ～１２０ｆに分散する各撮像画素１３１を集めると、図５に示す合成画像の絞り値Ｆにより規定される領域、すなわち積算領域Ｒｓで被覆される複数の撮像画素１３１を構成することになる。

【0028】

画像積算部１０５が上述した処理を行って画像信号を積算する際には、基点信号に加える画像信号を出力する撮像画素１３１が何れのマイクロレンズ１２０に対応する画素配列１３０のどの位置に配置されているかが重要となる。そのため、式（３）、（４）において「ｉ」で示される撮像画素１３１がどのマイクロレンズ１２０ａ～１２０ｆに対応して設けられているか、すなわち撮像画素１３１の分散を示すテーブルが合成画素所属テーブルとして所定の格納領域に格納されている。そして、画像積算部１０５は合成画像信号を生成する際にこの合成画素所属テーブルを参照する。なお、合成画素所属テーブルは以下の式（５）で表されるものとする。
ｔ＝Ｔ_ｄ（ｉ） ・・・（５）

【0029】

以下、合成画素所属テーブルの作成原理について説明する。
図１０は、マイクロレンズアレイ１２において、光点ＬＰから発し、撮像画素１３１の受光面で切り取られる光束ＬＦの光断面ＬＦＤを示す。図１０に示すように、光点ＬＰから広がる光束ＬＦは、その前段の撮像レンズＬ１によって、広がり角の制限を受ける。そのため、各マイクロレンズ１２０にそれぞれ入射した光束ＬＦは、マイクロレンズ１２０の被覆領域の外にはみ出すことはない（図１０では、光断面ＬＦＤｃ、ＬＦＤｅは一部被覆領域外にとび出しているように作図されている）。これは、撮像画素１３１の受光面が撮像レンズＬ１の瞳と光学的に共役であることによっても説明できる。撮像レンズＬ１を介して撮影をおこなう場合、マイクロレンズ１２０が被覆する領域の中に撮影瞳像、つまり光の境界ができ、その外側には光束ＬＦは入射しない。

【0030】

上記の点を前提として説明する。図１０のマイクロレンズアレイ１２で、光束ＬＦの光断面ＬＦＤａ～ＬＦＤｅ（総称する場合にはＬＦＤ）に対応する撮像画素１３１ａ～１３１ｅへの入射光量を積算すれば、光点ＬＰからの光束ＬＦのうち、撮影レンズＬ１の瞳に制限された光束ＬＦの全輻射量が得られる。したがって、画像積算部１０５は、画像信号を積算する際に、光点ＬＰのｚ軸方向の座標に対する、撮像画素１３１の受光素子面の光断面ＬＦＤを演算すればよいことになる。逆に、表示素子を設け光束ＬＦの各光断面ＬＦＤに対応するそれぞれの表示素子から光を出射すれば、入射と同じ方向に進む光束ＬＦは必ず存在するから、「光点ＬＰ」は光束ＬＦの集積点となる。

【0031】

上記のように、光点ＬＰから広がる光束ＬＦの角度は撮影レンズＬ１の瞳、すなわち、撮像レンズＬ１のＦ値で決まる。なお、表示系などのように、撮像レンズＬ１が存在しない場合には、マイクロレンズ１２０のＦ値で開口の最大(Ｆの最小)が規定される。したがって、マイクロレンズ１２０の被覆領域の中心部だけ使えば、開口を制限できる。

【0032】

図１１を用いて、いくつ、あるいは、どのマイクロレンズ１２０といずれの光断面ＬＦＤとが対応するかについて、光点ＬＰからの光束ＬＦの広がりをマイクロレンズ１２０上に投影することにより説明する。なお、図１１においては、説明の都合上、マイクロレンズ１２０が正方配列の場合を示す。また、図１１では、光点ＬＰから広がる光束ＬＦは、光点ＬＰのｚ軸方向の位置がマイクロレンズ１２０の焦点距離ｆの場合と、その二倍の２ｆの場合とについて示している。図１１においては、光点ＬＰの位置がｆの場合の光束ＬＦの広がりを破線で示し、２ｆの場合を一点鎖線で示す。光点ＬＰがマイクロレンズ１２０の焦点距離ｆの位置にあると、光束ＬＰの広がりはマイクロレンズ１２０で規定されている(光断面ＬＦＤを円とするが、マイクロレンズ１２０が正方形の端まで光学的に有効
ならば正方形になる)ので、ひとつのマイクロレンズ１２０内に光束ＬＦが入射する。以
上により、ひとつの光点ＬＰに対応するマイクロレンズ１２０が決まる。

【0033】

光点ＬＰの位置がマイクロレンズ１２０の焦点距離ｆのときは、光束ＬＦはそのマイクロレンズ１２０の直下の領域全体に円形開口の光として広がる。このため、正方領域に内接する円の内部に含まれるすべての撮像画素１３１からの画像信号を選択すればよい。光点ＬＰの位置の絶対値が焦点距離ｆより小さい場合には、光束ＬＦはマイクロレンズ１２０の直下の領域内で収束せずに広がる。しかし、入射光束ＬＦの広がり角の制限を受けているために、光断面ＬＦＤは被覆領域にとどまる。

【0034】

ここで光点ＬＰの位置が２ｆにある場合について説明する。図１２に、この場合に関係するマイクロレンズ１２０を示す。図１２（ａ）に示すように、関係するマイクロレンズ１２０は自身、すなわち基点マイクロレンズ１２１とそれに隣接する８個のマイクロレンズ１２０である。マイクロレンズ１２０による開口の制限を考えるとしたとき、図１２（ａ）において斜線で示す被覆領域のなかに光断面ＬＦＤは存在することになる。この場合、各マイクロレンズ１２０による光断面ＬＦＤは、図１２（ｂ）の斜線で示す領域となる。

【0035】

図１２（ｂ）に示すように、ひとつの基点マイクロレンズ１２１の被覆領域が分割され、隣接するマイクロレンズ１２０に配分されている。分割され配分された被覆領域（部分領域）を積算した場合の全領域は、ひとつのマイクロレンズ１２０の開口領域になる。そのため、どのような位置の光点ＬＰでも光断面ＬＦＤの全領域の大きさは同じになるので、部分領域を積算して全領域を算出する場合には、それぞれの部分領域が所属するマイクロレンズ１２０が決まればよいことになる。

【0036】

図１１において、光点ＬＰの位置と、倍率つまり基点マイクロレンズ１２１に隣接するマイクロレンズ１２０との個数と関係について示したが、これを仮想的な開口領域に適用する。本実施の形態では、倍率で縮小したマイクロレンズ１２０の配列で開口領域を分割し、これで定義されたマイクロレンズ１２０の中の同じ位置に開口領域の断片を配するという方法をとる。開口領域に外接する正方形を倍率２で縮小し、マイクロレンズ１２０の配列で開口領域を分割（領域分割）した場合を例に説明する。

【0037】

図１３は、上記の領域分割を基点マイクロレンズ１２１に展開した場合の光断面ＬＦＤを示している。同様の領域分割を倍率に応じて行うと、倍率、すなわち光点ＬＰに対する光断面ＬＦＤのパターンが得られる。具体的には、マイクロレンズ１２０の径（マイクロレンズの一辺の大きさ）をｇとするとき、ｇ/ｍ幅の格子で開口領域が分割される。倍率
は、光点ＬＰの高さ（位置）ｙとマイクロレンズの焦点距離ｆとの比ｍ＝ｙ/ｆで表すこ
とができる。比ｍには負の符号も存在する。比ｍの符合が負の場合には、マイクロレンズ１２０より撮像素子１３側に光点ＬＰがあるものとする。

【0038】

上記の例では、光点ＬＰはあるマイクロレンズ１２０のレンズ中心軸である疑似光軸上に存在するものとして説明したが、実際には偏心していても計算上問題はない。レンズ中心上しか演算できないとすると、合成画像の二次元的な分解能はマイクロレンズ１２０の個数と等しくなるが、通常これではまったく不十分である。その理由は、マイクロレンズ１２０に被覆される撮像画素１３１の数を１００とすると、合成画像の分解能は画素数の１／１００になるためである。このため、１００万画素の合成画像を得るためには、１億個の撮像画素１３１が必要となる。そこで、偏心位置での合成を行い、マイクロレンズ１２０内に複数の光点ＬＰが対応可能となるようにする。

【0039】

マイクロレンズ１２０による被覆領域とマイクロレンズ１２０の個数との積は、ほぼ撮像画素１３１の全画素数に等しくなるから、ひとつのマイクロレンズ１２０内で偏心した複数の点のそれぞれを基点にして合成することは、撮像画素１３１からの画像信号を重畳して使用することに等しい。すなわち、各偏心した光点ＬＰからの光束ＬＦが重畳して撮像画素１３１上に存在している。ただし、倍率が１倍のときには、この演算は、単なる内挿作業になって、分解能向上には実質的に寄与しない。これは、マイクロレンズ１２０頂点近辺に結像すれば、光学的に奥行き方向の情報が失われることを示している。

【0040】

図１４は、基点マイクロレンズ１２１の疑似光軸に対して左に偏心した光点ＬＰについての分割領域を表したものある。基点マイクロレンズ１２１（レンズ径をｇとする）の中心、すなわち疑似光軸から図１４の左方向へｐだけ偏心して、光点ＬＰの高さ（位置）が２ｆの場合について説明する。なお、図１４においては、点Ｏ１は偏心した光点ＬＰ、点Ｏ２は疑似光軸を示す。この場合、図１３に示すマイクロレンズ１２０を図中の右方向へｐだけずらし、開口領域を分割すれば、図１４に示す場合の分割領域が得られる。

【0041】

マイクロレンズ１２０を１６個に分割するとすれば、レンズ中心（疑似光軸）の座標を（０，０）として、ｘ軸ｙ軸に対して、それぞれ－ｇ/２、－ｇ/４、０、ｇ/４、ｇ/２の位置のパターンとそれによる分割領域および、全領域の積算をおこなえば、ひとつのマイクロレンズ１２０に対して１６点の光点群を得ることができる。

【0042】

－合成画素所属テーブルの作成処理－
画像積算部１０５は、画像信号を積算する際には、合成画素所属テーブルを参照する。上述したように、この合成画素所属テーブルは、基点信号に合成するための画像信号を出力する撮像画素１３１が、基点マイクロレンズ１２１および近傍に設けられたマイクロレンズ１２０に対応する画素配列１３０のどの位置に配置されているかを特定する。

【0043】

画像積算部１０５は、合成画像の焦点位置ｙと合成画像の絞り値Ｆ（被写界深度）とが決定されると、基点信号に合成するための画像信号を出力する撮像画素１３１についての合成画素所属テーブルを作成する。上述したように、何れのマイクロレンズ１２０に対応する何れの撮像画素１３１からの画像信号が基点信号に積算されるかは、合成画像の焦点位置により決定される。

【0044】

図６（ａ）は、合成画像の焦点位置（焦点面）ｙがマイクロレンズアレイ１２に対して被写体側に存在する場合を示している。また、図６（ｂ）は、合成画像の焦点位置（焦点面）ｙがマイクロレンズアレイ１２に対して撮像素子１３側に存在する場合を示している。図６（ａ）および図６（ｂ）に示すように、マイクロレンズ１２０ａに対応する撮像画素１３１に関して、焦点面の位置に応じて基点信号に積算される画像信号を出力する撮像画素１３１の配置が異なっている。他のマイクロレンズ１２０ｂ～１２０ｆおよび基点マイクロレンズ１２１についても同様に異なっている。

【0045】

以下、画像積算部１０５による合成画素所属テーブルの作成処理について詳細に説明する。合成画像の焦点面がマイクロレンズアレイ１２から距離ｙの位置に存在する、すなわち焦点距離がｙであるとする。さらに、基点マイクロレンズ１２１からｎ番目のマイクロレンズ１２０の擬似光軸を通過する光束は、以下の式（６）で示すように、基点マイクロレンズ１２１の擬似光軸から距離ｘの位置に入射する。なお、「ｄ」は各マイクロレンズ１２０の配列ピッチを示す。
ｘ＝ｆｎｄ／ｙ ・・・（６）

【0046】

撮像画素１３１が対応するマイクロレンズ１２０により結像される光束を受光することを考慮すると、合成画像の焦点位置ｙにおける被写体からの光のうち撮像素子１３の撮像面において各マイクロレンズ１２０により照射される光の幅ｌは、以下の式（７）により表される。
ｌ＝ｆｄ／ｙ ・・・（７）

【0047】

上記の光の幅ｌは、撮像素子１３の二次元平面上においては、幅ｌの輪状の領域（以後、輪帯と呼ぶ）で表わされる。したがって、基点マイクロレンズ１２１からｎ番目の位置に配置されたマイクロレンズ１２０において、合成画像の絞り値Ｆにより規定された光束はこの輪帯ｌで示される領域内に入射する。式（７）に示すように、合成画像の焦点位置ｙが大きくなるほど輪帯ｌの幅は小さくなる。

【0048】

本実施の形態においては、それぞれのマイクロレンズ１２０のｘｙ平面における形状は図３に示すように六角形であり、マイクロレンズアレイ１２上にハニカム配列されている。図７に、ある合成画像の絞り値Ｆに対応する積算領域Ｒｓのうち、ｎ＝１の場合の輪帯ｌ１およびｎ＝２の場合の輪帯ｌ２を示す。図７に示すように、ｎ＝１の場合の輪帯ｌ１は基点マイクロレンズ１２１およびマイクロレンズ１２０ａ～１２０ｆにより区分されそれぞれ部分領域Ｒｐａ～Ｒｐｇを形成する。すなわち、各部分領域Ｒｐａ～Ｒｐｇはそれぞれ異なるマイクロレンズ１２０により被覆されている。したがって、画像積算部１０５は、輪帯ｌ１の各部分領域Ｒｐａ～Ｒｐｇに含まれる撮像画素１３１からの画像信号の出力値Ｐi,sを算出する。そして、画像積算部１０５は、同様にして、積算領域Ｒｓ、すなわちすべての輪帯ｌについて積算すればよいことになる。

【0049】

基点マイクロレンズ１２１および各マイクロレンズ１２０ａ～１２０ｆに関して、隣接するマイクロレンズ１２０との関係は基本的に同様である。したがって、画像積算部１０５は、輪帯ｌ１を構成している部分領域Ｒｐａ～Ｒｐｇのそれぞれに含まれる各撮像画素１３１について、ある撮像画素１３１がいずれの部分領域Ｒｐに属するかを決定する。

【0050】

基点画素１３２に対して、積算される画像信号を出力する撮像画素１３１が含まれる積算領域Ｒｓの径を（Ｄ＝ｆ／Ｆ）とする。また、各マイクロレンズ１２０のｘ軸方向（水平方向）の配列ピッチｄ、換言すると六角形形状の各マイクロレンズ１２０のそれぞれに内接する円の径を、積算領域Ｒｓの径の最大値Ｄｍａｘに等しいものとする。さらに、合成画像の焦点位置（焦点距離）をマイクロレンズ１２０の仮想屈曲面を基準としてｙとする。この場合に、マイクロレンズアレイ１２における各マイクロレンズ１２０の配列ピッチｄを投射倍率であるｆ／ｙ倍して積算領域Ｒｓ上に投影した領域は、各マイクロレンズ１２０によって輪帯ｌが分割された部分領域Ｒｐのそれぞれに相当することになる。したがって、画像積算部１０５は、部分領域Ｒｐに含まれる撮像画素１３１の位置と、部分領域Ｒｐに対応するマイクロレンズ１２０とを対応付けして、基点画素１３２の合成画素所属テーブルとして上記の式（５）を作成する。なお、部分領域Ｒｐに対応するマイクロレンズ１２０の位置は、基点マイクロレンズ１２１の位置を基準とした相対位置として特定される。

【0051】

上述のような合成画素所属テーブルを参照して生成された合成画像データは、異なる焦点位置、すなわち立体形状を有する被写体の立体情報を含むことになる。本実施の形態のデジタルカメラ１は、上記のようにして生成された立体情報を有する合成画像データに基づいて、三次元情報を有する二次元の表示用画像データを生成して、三次元画像の表示が可能に構成された表示装置１００に表示用画像データに対応する表示用画像を表示させる。そして、ユーザは表示装置１００を介して三次元の表示用画像を空中像として観察する。

【0052】

図８を参照して、上述のようにして生成された三次元情報を含む表示用画像を表示するための表示装置１１０について説明する。図８はｚ軸方向における表示装置１１０の構成を模式的に示す図である。図８（ａ）に示すように、表示装置１１０は、表示器１１１と、表示用マイクロレンズアレイ１１２と、虚像レンズ１１３とを備える。表示器１１１は、たとえばバックライトを有する液晶表示器や有機ＥＬ表示器等により構成され、二次元状に配列された複数の表示画素配列１１４を有する。これら複数の表示画素配列１１４のそれぞれは、二次元状に配列された複数の表示画素１１５を有する。表示画素１１５は、上述した表示制御部１０７により制御されて、後述するように表示用画像データに対応して発光する。

【0053】

表示用マイクロレンズアレイ１１２は、二次元状に配列された複数の表示用マイクロレンズ１１６により構成される。表示用マイクロレンズアレイ１１２は、ｚ軸方向ユーザ（観察者）側に、表示用マイクロレンズ１１６の焦点距離ｆ’だけ表示画素１１５から離れた位置に配置される。また、各表示用マイクロレンズ１１６は、複数の表示画素配列１１４に対応した配置パターンで配置されている。各表示用マイクロレンズ１１６は、画像データに応じて表示画素１１５から射出される光をｚ軸方向のユーザ（観察者）側の所定の像面に結像する。

【0054】

虚像レンズ１１３は、たとえば大口径のフレネルレンズや回折等を利用した平面レンズにより構成され、ｘｙ平面上で表示器１１１の全面を覆う大きさを有する。虚像レンズ１１３は、ユーザが虚像レンズ１１３を観察することにより表示器１１１に表示される画像を虚像として観察可能となる位置に配置される。すなわち、虚像レンズ１１３は、ｚ軸方向において、上述した表示用マイクロレンズ１１６による像面Ｑが、虚像レンズ１１３の焦点位置Ｐよりも内側となる位置に配置される。換言すると、像面Ｑが虚像レンズ１１３から虚像レンズ１１３の焦点位置Ｐまでの間に位置するように、虚像レンズ１１３が配置される。

【0055】

図８（ｂ）に示すように、上述した表示装置１１０のｚ軸方向における表示用マイクロレンズアレイ１１２と表示画素１１５との位置関係は、図４に示す撮像ユニット１００のｚ軸方向におけるマイクロレンズアレイ１２と撮像画素１３１との位置関係と等価と見なすことができる。図４（ｂ）に示すように、ある焦点位置Ｓからの被写体光が複数の撮像画素１３１へ入射した場合、画像パターン生成部１０６は、図６（ａ）に示す撮像画素１３１の入射光の配列パターンと同様の配列パターンで表示画素１１５が発光するように表示用画像データを生成する。この場合、図８（ｂ）に示すように、表示画素１１５からの光束ｒ１～ｒ５は表示用マイクロレンズ１１６を介して焦点位置Ｓ’に像を結ぶ。

【0056】

合成画像データの各画素のそれぞれに関して、式（５）で表されるマイクロレンズ１２０と撮像画素１３１との対応関係が表示用マイクロレンズ１１６と表示画素１１５とによって再現されると、表示器１１１から射出した光は合成画像データの各画素で異なる焦点位置Ｓに対応した焦点位置Ｓ’に像を結ぶ。その結果、合成画像データの立体情報に対応する三次元情報を有する表示用画像が立体形状を有する空中像として形成されることになる。この場合、空中像では、被写体の実際の奥行き方向の距離が、その距離感を保ったまま表示用画像で縮小して再現されることになる。すなわち、空中像では被写体の実際の距離の逆数が圧縮されることになる。なお、図８（ｂ）においても、表示画素１１５からの光束ｒ１～ｒ５の主光線を示している。

【0057】

画像パターン生成部１０６は、各撮像画素１３１から出力された画像信号を用いて、上述のような表示用画像に対応する表示用画像データを生成する。このとき、画像パターン生成部１０６は、合成画素所属テーブルに基づいて、ある撮像画素１３１から出力された画像信号に対応した強度で発光させる表示画素１１５を決定する。換言すると、画像パターン生成部１０６は、各撮像画素１３１から出力された画像信号を、撮像画素１３１の配置位置に対応して配置された表示画素１１５に割り当てる。但し、表示画素１１５からの光の進行方向は撮影時とは逆である.したがって、合成画素所属テーブルに記録されたマイクロレンズ１２０と撮像画素１３１との位置関係をそのまま表示用画像データを生成する際の位置関係に用いると、観察される空中像の遠近が逆転することになる。このため、画像パターン生成部１０６は、合成画素所属テーブルに記録された撮像画素１３１を、基点マイクロレンズ１２１を中心として点対称とした位置、すなわち等価な位置に表示画素１１５を割り当てる。この結果、撮影時の像面が空中像として観察される。

【0058】

まず、画像パターン生成部１０６は、複数の表示用マイクロレンズ１１６のうちの１つの表示用マイクロレンズ１１６に対応する撮像ユニット１００の基点マイクロレンズ１２１を検出する。なお、表示用マイクロレンズ１１６と基点マイクロレンズ１２１との対応関係を示すデータは、予め所定の記録領域に格納されているものとする。そして、画像パターン生成部１０６は、検出した基点マイクロレンズ１２１の合成画素所属テーブルを参照して、合成画像信号を形成する画像信号を出力した撮像画素１３１と、その撮像画素１３１の撮像素子１３上での位置とを検出する。

【0059】

撮像画素１３１とその位置とを検出すると、画像パターン生成部１０６は、検出した位置に基づいて、撮像画素１３１からの画像信号を割り当てる表示画素１１５が表示用マイクロレンズ１１６に対してどの位置に配置されているかを検出する。そして、画像パターン生成部１０６は、検出された表示画素１１５に撮像画素１３１から出力された画像信号を割り当てる。すなわち、画像パターン生成部１０６は、図９（ａ）に示す撮像画素１３１ａからの画像信号に対応して発光するべき表示画素１１５として、図９（ｂ）に示す表示画素１１５ａを割り当てる。マイクロレンズ１２０および撮像画素１３１の間の配列と、表示用マイクロレンズ１１６および表示画素１１５の間の配列とが等価と見なせない場合には、画像パターン生成部１０６は、表示用マイクロレンズ１１６の擬似光軸からの相対位置に正規化した位置に配置された表示画素１１５に画像信号を割り当てる。その結果、複数の表示画素１１５から射出された光束ｒ１～ｒ５に基づいて、表示用画像データの１つの画素データを構成することになる。

【0060】

なお、上述したように表示装置１１０は虚像表示を行う。このため、画像パターン生成部１０６は、合成画像データに対して上下方向（ｙ軸方向）に反転するように表示用画像データを生成する。すなわち、画像パターン生成部１０６は、撮像画素１３１からの画像信号を表示用マイクロレンズ１１６の擬似光軸を基準として上下方向（ｙ軸方向）に対称な位置に配置された表示画素１１５に割り当てる。たとえば、画像パターン生成部１０６は、図９（ａ）に示す撮像画素１３１ｂから出力された画像信号を、図９（ｂ）に示す表示画素１１５に割り当てる。

【0061】

画像パターン生成部１０６は、以上の処理を全ての表示用マイクロレンズ１１６に対して行う。もし、同一の表示画素１１５に複数の撮像素子１３１から出力された画像信号を割り当てる場合には、画像パターン生成部１０６は、複数の画像信号を重畳加算する。その結果、画像パターン生成部１０６は表示用画像データを生成する。画像パターン生成部１０６は生成した表示用画像データを表示制御部１０７を介して表示装置１１０へ出力する。

【0062】

この表示用画像データに基づいて各表示画素１１５が発光すると、表示用マイクロレンズ１１６によって三次元情報に応じてレリーフのようになった三次元像面が形成される。この三次元像面は、虚像レンズ１１３によって所定の大きさに投影されることにより、ユーザによって三次元の空中画として観察される。換言すると、表示器１１１と表示用マイクロレンズ１１６により形成される三次元像面は、撮影レンズＬ１で立体の被写体を撮影した場合の結像面と光学的に等価となる。そのため、予定像面近傍に結像した立体の被写体の像が虚像レンズ１１３によって三次元空中像として復元することになる。その結果、ユーザは三次元空中像として立体的に表示装置１１０によって観察することができる。

【0063】

以上で説明した実施の形態によるデジタルカメラ１によれば、以下の作用効果が得られる。
（１）画像積算部１０５は、撮像素子１３から出力された画像信号を用いて複数の焦点位置に関する情報を有する合成画像データを生成し、画像パターン生成部１０６は、合成画像データに基づいて三次元情報を有する表示用画像データを生成する。表示器１１１は、複数の表示画素１１５が二次元状に配列され、複数の表示画素１１５は表示用画像データに応じて複数の表示画素から光束を射出する。そして、表示用マイクロレンズアレイ１１２には、複数の表示画素１１５から射出された光束が合成されて三次元像を形成する複数の表示用マイクロレンズ１１６が二次元状に配列され、虚像レンズ１１３は表示用マイクロレンズ１１６により形成された三次元像を観察可能に構成する。その結果、ステレオ型やレンチキュラー方式のように右眼と左目との視差による錯覚を利用した立体表示を行うことなく、ユーザは立体形状を有する被写体の像を画面上に三次元の空中像として観察することができる。したがって、錯覚に基づくものではなく、実際に三次元に再現された空中像を観察するので、従来の立体画像の表示で問題となっていた立体酔いや小児の視覚形成機能の阻害等の生理的な悪影響を防ぐことができる。さらに、専用のメガネ等を用いることなく観察できるので、長時間の観察が可能になる。

【0064】

また、ホログラム方式を用いる場合には、表示の冗長度が１０００：１以上あるので、たとえば１０万画素の解像度を有する立体像を再現するためには、表示器は１０億画素以上の画素を有する必要がある。これに対して、本実施の形態の表示装置１１０では、画像の解像度に対する冗長度が１００～１０００倍程度の画素数で三次元の空中像を表示できる。さらに、三次元画像として撮影した画像を投射して表示する際に、正立像として表示させるための屈折率分布レンズ等の構成を用いることなく、簡易な構成で三次元の空中像を再現できる。

【0065】

（２）複数の表示用マイクロレンズ１１６のそれぞれは複数の表示画素１１５に対応して配列されるようにし、画像パターン生成部１０６は、三次元像の１つの画素が複数の表示用マイクロレンズ１１６に対応して配列された複数の表示画素１１５から射出された光束で形成されるように表示用画像データを生成するようにした。換言すると、画像パターン成部１０６は、光束を射出する複数の表示画素１１５の配列関係が、合成画像データの１つの画素データに対応した複数の撮像画素１３１の配列関係と等価となるように、表示用画像データを生成する。その結果、各撮像画素１３１から出力された画像信号を、対応する表示画素１１５に割り当てることによって、三次元情報を有する表示用画像データを用意に生成することができる。

【0066】

（３）虚像レンズ１１３は、虚像レンズ１１３とその焦点距離と間に表示用マイクロレンズ１１６によって三次元像面が形成されるように配置するようにした。したがって、画像パターン生成部１０６により生成された二次元の表示画像用データを、簡易な構成で三次元の空中像として観察することができる。

【0067】

以上で説明した実施の形態のデジタルカメラ１を、以下のように変形できる。
（１）画像積算部１０５により生成された合成画像データに基づいて、画像パターン生成部１０６が生成した表示用画像データを表示装置１１０に表示させるものに代えて、デジタルカメラ１とは異なる外部の表示装置（たとえばパーソナルコンピュータ、テレビ等）が備えるモニタに表示させてもよい。この場合、外部の表示装置は、デジタルカメラ１で生成され、メモリカード１０９ａに記録された合成画像データを読み込む。そして、表示装置は、読み込んだ合成画像データを用いて、画像パターン生成部１０５と同様の処理を行って表示用画像データを生成し、モニタに出力する。

【0068】

この場合、表示装置が備えるモニタも、実施の形態の表示装置１１０と同様に、三次元空中像が観察可能に構成されている必要がある。すなわち、図８に示すように、複数の表示画素が二次元状に配置された表示器と、表示画素からの光束を結像するためのマイクロレンズが二次元状に複数配列されたマイクロレンズアレイと、マイクロレンズにより結像された三次元像を虚像としてユーザが観察するための虚像レンズとを備えていればよい。また、表示装置がデジタルカメラ１から多視点画像ファイルを読み込む際には、たとえばＬＡＮケーブルや無線通信等のインタフェースを用いるものでもよい。

【0069】

（２）上述したデジタルカメラ１や外部の表示装置が有する表示器が、虚像レンズ１１３を備えていなくてもよい。この場合も、表示用画像データの生成については、実施の形態と同様にして行う。ただし、画像パターン生成部１０６は、合成画像データに対して上下方向（ｙ軸方向）に反転するように表示用画像データを生成する処理は行わない。このとき表示された像面は、厳密な意味での三次元像の再現ではない。撮影されたときと同じく焦点付近に撮影レンズ１で圧縮された像面の再現である。距離と焦点距離の逆数に関して線形な関係を持っているから、距離が遠ざかれば、立体はほとんど再現されなくなり、逆に近いものは同じ奥行きでも大きく表現されることになる。実際の被写体よりも近い位置に事物を立体で表現するとき、眼が光学装置でありそれがある像面で展開されることを考えると、表現される事物は実際よりも奥行きが圧縮されるはずである。したがって、表示装置１１０は、この考えに基づき図１５で示すように一点鎖線で示す像面ＰＬ１を表現するにあたり、レンズアレイ近傍に、破線で示すように像面ＰＬ１を圧縮した像面ＰＬ２で表す。像面ＰＬ１が実際の位置とは異なるところに現れるときには、それに応じて奥行きは調整されてもかまわない。

【0070】

表示画面は一般に撮影をおこなったデジタルカメラ１の撮像素子１３１の撮像面積よりも大きい。たとえばデジタルカメラ１の撮像素子サイズをいわゆるフルサイズとすると、その大きさは３５×２４（ｍｍ）で、通常の２０インチサイズ（４０．６×３０．５）のテレビのモニタの１/１０に満たない．便宜上１０倍としても、後述するように被写体の
撮影倍率が１/２０（５０ｍｍレンズで１ｍの位置）として、そのまま撮像すると、倍率
は１/２になる。三次元画像では、二次元表示とは違って１０倍の大きさの被写体を１０
倍の距離に表示するのと、等倍かつ等距離で表示するのと、１/１０倍で１/１０の距離に表示するのとでは、表示内容が大きく異なる。後者のほうが相対的に奥行きが大きくなり、立体感が強まる。

【0071】

次に表示の奥行きについて述べることにする。表示装置１１０に装備した表示用マイクロレンズアレイ１１２によって奥行き方向の高さを圧縮する。入力部材であるデジタルカメラ１の撮像素子１３のサイズと表示器１１１のサイズとの比率をｋとする。以下、撮影倍率（被写体の大きさと被写体像の大きさの比）がｋ倍を超える場合と、ｋ倍以下の場合とに分けて説明する。

【0072】

撮影倍率をｎとする。撮影倍率がｋ倍を超えるとき、すなわち、被写体がデジタルカメラ１から一定以上はなれた位置にあるとき、被写体は１/ｎ倍の大きさで撮像素子１３に
よって二次元的に取得され、表示器１１１上にｋ/ｎ倍の大きさで表示されることになる
。ｎ>ｋであるから、被写体は実際よりも小さく、つまり表示器１１１の表示面よりも向
うに被写体があるとみなされるように表示されることになる。本発明の表示装置１１０では、表示用マイクロレンズアレイ１１２面の近傍に立体像が表示される。この表示面までの距離をｄとし、撮影時の被写体までの距離をｙとすると、奥行き方向の倍率は以下の式（８）により表される。

【数3】

【0073】

表示される像はｋ/ｎ倍であるので、換言すると(ｎ/ｋ)^２倍ということもできる。撮影倍率５０倍、表示器１１１の大きさを撮像素子１３の１０倍とすると、奥行き方向の倍率は２５倍であり、奥行き方向に２０ｃｍの物体はデジタルカメラ１上では８０μｍ、表示器１１１上では８ｍｍの像面高さとなる。表示用マイクロレンズアレイ１１２のＦ値と、デジタルカメラ１での撮影時のマイクロレンズアレイ１２のＦ値が等しい場合には、表示器１１１のサイズが１０倍となる。このため、表示器１１１では８００μｍ程度の像面高さしか得られない。

【0074】

そこで表示用マイクロレンズ１１６のＦ値を大きくして整合性をとる。しかし、デジタルカメラ１のマイクロレンズ１２０のＦ値が４のときに表示用マイクロレンズ１１６のＦ値を４０にするのは非現実的である。したがって、表示用マイクロレンズ１１６を、たとえばＦ＝８、１６程度の値となるようにする。この結果、空中像の奥行きの距離が多少減殺されるものの、立体感自体はそこなわれることなく得られる。これは、人間の知覚における立体感は相対的かつ、定性的なものであるからである。

【0075】

表示用マイクロレンズ１１６のＦ値の増加が、空中像の奥行きの増大につながることの説明をする。図１６の焦点位置と表示用画素１１５の面との関係に示すように、光像の高さをｙ、表示用マイクロレンズ１１６の中心（疑似光軸）からの距離座標をｘ、表示用マイクロレンズ１１６の間隔をｄ、その焦点距離をｆとすると、以下の式（９）で示す関係が成立する。
ｙ／ｎｄ＝ｆ／ｘ ・・・（９）
なお、ｎは整数で隣接を表し、ｎ＝１で隣の表示用マイクロレンズ１１６、ｎ＝２でさらに隣の表示用マイクロレンズ１１６を表すものとする。

【0076】

上記の式（９）は、デジタルカメラ１にも、表示装置１１０にも等しく有効である。式（９）に示す関係により、表示器１１１によって再現される空中像の光像の高さｙは、表示用マイクロレンズ１１６の焦点距離ｆに比例する。撮像素子１３のサイズに対する表示器１１１のサイズが１０倍の比率になっている場合では、焦点距離ｆも１０倍になる。このため、Ｆ値が等しければ１０倍の表示器１１１のサイズで１０倍の大きさの空中像が１０倍の高さｙに表現されることになる。これより、さらに高さｙを強調するためには表示用マイクロレンズ１１６の焦点距離を２０倍、３０倍等にする、つまり表示用マイクロレンズ１１６のＦ値を２倍、３倍にすればよい。

【0077】

ここで、倍率がｎ/ｋ＞１のときについて説明する。近いところに被写体がある場合の
立体感は、遠いところとは多少異なる。近いところで倍率の小さいもの、つまり近接撮影においては、観察者は映像が等倍であることを望まない。たとえば、蜜蜂の近接撮影像を考えると、観察者は、蜜蜂が実際の大きさで表示器１１１、あるいは空中に立体で表示されることを期待していない。蜜蜂が空中像として表示される際、鳩ほどの大きさで、かつ多少離れたところにあることが、画像として自然である。その理由は、等倍で表示された場合、小さく表示された蜂は、観察者にはアブか蜂か判別がつかないからである。さらには、こうした事物が常に拡大された映像で提供されてきたことにもよる。

【0078】

たとえば、等倍でデジタルカメラ１によって、５０ｍｍの撮影レンズＬ１で被写体が撮影されたとすると、像面での奥行きは、等倍であるからそのまま保存される。この等倍で保存された被写体を、上記した１０倍の大きさの表示器１１１に出力すると、５００ｍｍの位置に２０ｃｍの大きさの蜂が表示される。表示器１１１の観察位置が、１ｍであれば、観察者には奥行きが４倍で感知されることになるので、立体感が誇張されることになる。

【0079】

以上のように立体感は、撮影された画像もしくは表示される画像の倍率によってかなり変化する。しかし、上述のように、人間の持つ奥行き感は曖昧であり、絶対値ではなく対象の奥行きに関する順序性が、立体感を決める基準となっている。本発明では、奥行きの量の絶対値は、撮影倍率により変化するが相対的な関係は完全に保持されるために、観察者に対して明確な立体感を提供することができる。また、完全に立体像を提供し、視差によって立体感を得るステレオ方式とは根本的に異なるために、人の視覚へ負荷が小さく、いわゆる立体酔いなどの現象は惹起されない。

【0080】

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。

【符号の説明】

【0081】

１００…撮像ユニット、１０１…制御回路、１０５…画像積算部、１０６…画像パターン生成部、１１０…表示装置、１１１…表示器、１１２…表示用マイクロレンズアレイ、１１３…虚像レンズ、１１４…表示画素配列、１１５…表示画素、１１６…表示用マイクロレンズ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】