特許 5649091 画像キャプチャ装置および画像キャプチャ方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5649091

(24)【登録日】2014年11月21日

(45)【発行日】2015年1月7日

(54)【発明の名称】画像キャプチャ装置および画像キャプチャ方法

(51)【国際特許分類】

   H04N 5/225 20060101AFI20141211BHJP

   H04N 5/232 20060101ALI20141211BHJP

【ＦＩ】

   H04N5/225 Z

   H04N5/232 Z

【請求項の数】16

【全頁数】20

(21)【出願番号】特願2013-520113(P2013-520113)

(86)(22)【出願日】2011年7月18日

(65)【公表番号】特表2013-534379(P2013-534379A)

(43)【公表日】2013年9月2日

(86)【国際出願番号】EP2011062266

(87)【国際公開番号】WO2012019875

(87)【国際公開日】20120216

【審査請求日】2013年3月15日

(31)【優先権主張番号】13/098,208

(32)【優先日】2011年4月29日

(33)【優先権主張国】US

(31)【優先権主張番号】102010031535.4

(32)【優先日】2010年7月19日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】597159765

【氏名又は名称】フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー．

(74)【代理人】

【識別番号】100104444

【弁理士】

【氏名又は名称】上羽 秀敏

(74)【代理人】

【識別番号】100112715

【弁理士】

【氏名又は名称】松山 隆夫

(74)【代理人】

【識別番号】100125704

【弁理士】

【氏名又は名称】坂根 剛

(74)【代理人】

【識別番号】100120662

【弁理士】

【氏名又は名称】川上 桂子

(74)【代理人】

【識別番号】100143498

【弁理士】

【氏名又は名称】中西 健

(72)【発明者】

【氏名】オーバーデルスター アレクサンダー

(72)【発明者】

【氏名】ブリュックナー アンドレーアス

(72)【発明者】

【氏名】ヴィッパーマン フランク

【審査官】 宮下 誠

(56)【参考文献】

【文献】 特開２００１−２２３９３１（ＪＰ，Ａ）

【文献】 特開２００７−３１２３１４（ＪＰ，Ａ）

【文献】 特開２００７−２２１４２３（ＪＰ，Ａ）

【文献】 特開２０１０−１４１３８１（ＪＰ，Ａ）

【文献】 特開２００４−３２１７２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ５／７６

Ｈ０４Ｎ ５／９１

(57)【特許請求の範囲】

【請求項1】

多数の画素を含み、撮像において、画素ごとにサンプルを検出するイメージセンサと、
前記イメージセンサに対して光学撮像を生成するための光学素子であって、重複する立体角範囲を個別に撮像して、前記イメージセンサのサブ領域を分離するための多チャネル光学素子を含み、
前記イメージセンサの各画素は、関連付けられた撮像値を有し、前記撮像値は、前記光学素子が被写体をそれぞれの画素に対して被写体を撮像する撮像方向である、または、前記光学素子によりそれぞれの画素に撮像される焦点深度領域内の横方向の撮像位置である、前記光学素子と、
画像値の配列を得るために、前記サンプルの全分布を横切って延在する規則的なグリッドの交点の撮像値にしたがって、前記画素の前記サンプルの分布を補間する補間部と、
を備える画像キャプチャ装置。

【請求項2】

前記多チャネル光学素子は、重複する立体角範囲がともに、重複する立体角範囲のいずれかよりも最大で１２０％大きい全体立体角範囲をカバーするように構成されている、
請求項１に記載の画像キャプチャ装置。

【請求項3】

前記多チャネル光学素子は、重複する立体角範囲がともに、重複する立体角範囲のいずれかよりも４倍以上大きい全体立体角範囲をカバーするように構成されている、
請求項１に記載の画像キャプチャ装置。

【請求項4】

前記光学素子は、相互に異なるが個別に撮影された個々の画像が、横方向に一定の態様で、スペクトル的なフィルタリング、偏光フィルタリング、または、中性濃度でのフィルタリングが実行されるように構成されており、
前記補間部は、サブ領域に属する画素のサンプルの分布について個別に補間を行うよう構成されており、これに対するそれぞれ個別の撮像が、同様にフィルタリングされる、
請求項１から３のいずれかに記載の画像キャプチャ装置。

【請求項5】

前記補間部は、それぞれ個別の撮像が同様にフィルタリングされるサブ領域に属する画素のサンプルの分布の個々の補間において、それぞれ個別の撮像が異なってフィルタリングされるサブ領域に属する画素のサンプルの分布についても考慮するように構成されている、
請求項４に記載の画像キャプチャ装置。

【請求項6】

前記イメージセンサの画素は、相互に異なるスペクトル、偏光および／または中性濃度感度を含む画素のグループを含み、
前記イメージセンサの各サブ領域は、少なくとも２つの異なる画素グループからの画素を含み、
前記補間部は、前記画素グループについて個別に補間を行うよう構成されている、
請求項１から３に記載の画像キャプチャ装置。

【請求項7】

前記補間部は、個別のフィルタリング動作について、同じ位置で、同じ規則的なグリッドを使用するように構成されている、
請求項４から６のいずれかに記載の画像キャプチャ装置。

【請求項8】

前記イメージセンサの所定の画素について、前記イメージセンサ上の前記所定の画素に関連する位置情報を使用して計算することにより、または、前記所定の画素への参照（ルックアップ）を利用して調べることにより、前記所定の画素に関連付けられた撮像値を決定するように構成されているアソシエータをさらに備える、
請求項１から７のいずれかに記載の画像キャプチャ装置。

【請求項9】

撮像について、少なくともクローズアップショットと長距離ショットとを区別するように構成されている入力インタフェースおよび／または距離推測部をさらに備え、
前記アソシエータは、クローズアップショットの場合、前記撮像値が焦点深度領域における横方向の撮像位置になるよう視差の影響を考慮して決定を実行し、長距離ショットの場合、前記撮像値が撮像方向になるように、視差の影響を無視して決定を実行するように構成されている、
請求項８に記載の画像キャプチャ装置。

【請求項10】

撮像について、撮影距離を決定するように構成されている入力インタフェースおよび／または距離推測部をさらに備え、
前記アソシエータは、前記撮影距離に依拠して決定を実行するよう構成されている、
請求項８または９に記載の画像キャプチャ装置。

【請求項11】

前記画像キャプチャ装置は、前記画像値の配列における画素と撮像値との関係により、前記光学素子のひずみが、均衡がとられて解消されるように構成されている、
請求項８または９に記載の画像キャプチャ装置。

【請求項12】

前記多チャネル光学素子は、複数のマイクロレンズを備え、
それぞれの撮像値と前記イメージセンサの各画素の関係は、前記多チャネル光学素子の前記マイクロレンズの光軸の方向、前記マイクロレンズ間の画素の画素座標および前記マイクロレンズのひずみに依存する、
請求項１から１１のいずれかに記載の画像キャプチャ装置。

【請求項13】

前記補間部は、各交点について、サンプルの分布の中で最も近い隣接するものを見つけ、かつ、それぞれの交点と最も近い隣接するものと関連する撮像値との距離の逆数また距離の二乗の逆数に対応する重みでサンプルに加重平均を行うように構成されている、
請求項１から１２のいずれかに記載の画像キャプチャ装置。

【請求項14】

前記多チャネル光学素子は、マイクロレンズのアレイを備え、
前記イメージセンサからの前記光学素子の距離は、前記マイクロレンズの焦点距離以上であり、
前記マイクロレンズの頂点からの平均距離は、前記イメージセンサの前記サブ領域の中心間の距離に関連して拡張される、
請求項１から１３のいずれかに記載の画像キャプチャ装置。

【請求項15】

多数の画素を含むイメージセンサと前記イメージセンサに対して光学撮像を生成するための光学素子とにより画像をキャプチャする画像キャプチャ方法であって、
前記イメージセンサは、撮像において、画素ごとにサンプルを検出するよう構成されており、
前記光学素子は、重複する立体角範囲を個別に撮像して、前記イメージセンサのサブ領域を分離するための多チャネル光学素子を含み、
前記画像キャプチャ方法は、
撮像値を前記イメージセンサの各画素と関連付けるステップであって、
前記撮像値は、前記光学素子が被写体をそれぞれの画素に対して被写体を撮像する撮像方向である、または、前記光学素子によりそれぞれの画素に撮像される焦点深度領域内の横方向の撮像位置である、前記ステップと、
画像値の配列を得るために、前記サンプルの全分布を横切って延在する規則的なグリッドの交点の撮像値にしたがって、前記画素の前記サンプルの分布を補間するステップと、
を備える、
画像キャプチャ方法。

【請求項16】

コンピュータで実行された際に、請求項１５に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像キャプチャ装置および画像をキャプチャする方法に関する。

【背景技術】

【0002】

カメラモジュールの小型化と製造コストの削減は、携帯電話用カメラの分野および自動車技術の分野等多くの分野における重要な目標である。すべての寸法において、モジュールサイズは画素サイズに比例する。このことは、光軸に沿った長さにも当てはまる。すなわち、総画素数が同じなら、画素を小さくする程、センサ寸法が小さくなり、小さいセンサにする程、視野が同じなら、焦点距離を短くできる。カメラモジュールの光軸に沿った長さを短くできる限界は、主として光学系の焦点距離により決まる。

【0003】

昆虫の複眼から着想した、多チャネルの撮像系により、小型化とコスト削減の両方を実現することができる。拡張が数ミリメータのオーダであるレンズ系の単独スタックとは異なり、多チャネル撮像系における光学系は、マイクロレンズからなるアレイで構成される。これらのマイクロレンズアレイにより生成されるマイクロピクチャは、光学的または電子的に結合されて１つの画像になる。システム全体の視野が特定のものである場合、このような多チャネルの撮像系のマイクロレンズの焦点距離は、単一チャネル系の焦点距離の何分の１にしか過ぎず、そのため、光軸に沿った設計高さが短くなり、かつ、焦点深さがかなり大きくなる。各マイクロピクチャは、視野の小さい部分をカバーすればよいので、光学系を単純に構成することができ、チャネルごとに１つのレンズと数個のアパチャで十分であることも多い。マイクロレンズの直径は、数百マイクロメータのオーダであり、かつ、頂点の高さが数十マイクロメータの範囲であるため、ウェハボンド構成とすることで、マイクロレンズを、コストを押さえつつ高精度に製造できる。

【0004】

しかしながら、現在のところ、カメラ、携帯電話等の用途については、十分な解像度を得ることは難しい。各チャネルの光路は、軸方向に互いに平行であるにもかかわらず、各チャネルで光学ひずみが発生し、そのことが、個々の撮像チャネル上の個々の部分画像をつなぎ合わせることを複雑にしている。イメージセンサのサブ領域のフレームアレイをつなぎ合わせるだけで、画素アレイ全体が形成されるような精度で、マイクロレンズアレイとイメージセンサの関連するサブ領域をそれぞれ配置しようとすると、製造許容差と、イメージセンサおよびマイクロレンズアレイのアセンブリにおける許容誤差とには、厳しい要件が課せられることになる。非特許文献１には、多チャネル撮像システムの部分画像を結合して全体画像を形成するためのアルゴリズムが記載されているが、これはいくつかの段階で実行される。すなわち、マイクロピクチャは、まず、反転され、その後、イコライズされ、その上でマイクロピクチャとともに結合され、視差を考慮しながら再構成することにより、全体画像が形成される。イコライズは、サブ画素の精度で行われる。このようにして取得された個々の画素クラウドは、各々のケースでイコライズされた部分画像を作り出すように、補間され、画像情報は、整数画素精度で、その画素位置が特定される。最後に、画素を再配列するかまたはイコライズした部分画像の重なり領域に画素をインタリーブすることにより、前記部分画像を織り交ぜて全体画像を形成する。開示される方法では、製造精度に課せられる厳しい要件の問題は低減されるものの、部分画像の個々の処理のミスマッチにより、製作された全体画像、特に部分画像の重なり領域に沿ってアーチファクトが生じる可能性があるという問題が残される。

【0005】

より大きな全体視野を達成するための多チャネル撮像システムに関する上記と同様の問題が他の応用においても発生する。「レンズレットアレイ画像における情報のためのシーン依存しない方法」と題する特許文献１（米国第２００１／０１３８０７Ａ１号）は、たとえばマイクロレンズのアレイを記載するが、レンズが、略同じ方向に面しかつ同じ画像アパチャ角度を有する必要がある。しかしながら、個別のマイクロレンズの観察方向の差はほんの小さな範囲でしかない。特に、同特許文献は、個々の部分画像の観察方向における差を決定し得る方法を記載する。この点については、とりわけ、個々の部分写真を相互に非常に正確に重ねることができる方法について記載し、前記特許文献ではグローバルシフトを使用するとする。しかしながら、フレームの潜在的ひずみについては、補償されない。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国第２００１／０１３８０７Ａ１号

【非特許文献】

【0007】

【非特許文献1】ブルックナー、デュパレ、ダンベルグ、ライトルおよびブロイア、「小型カメラ用途のための駆動マイクロ光学撮像システム」、マイクロオプティック、２０１０年、ＳＰＩＥ論文集、第７７１６巻（Ｂｒｕｅｃｋｎｅｒ， Ｄｕｐａｒｒｅ， Ｄａｎｎｂｅｒｇ， Ｌｅｉｔｅｌ ａｎｄ Ｂｒａｅｕｅｒ： “Ｄｒｉｖｉｎｇ Ｍｉｃｒｏｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｙｓｔｅｍ ｔｏｗａｒｄｓ Ｍｉｎｉａｔｕｒｅ Ｃａｍｅｒａ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｍｉｃｒｏ−Ｏｐｔｉｃ ２０１０， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ， ｖｏｌ． ７７１６）

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の目的は、製造コストおよびハードウェアコストを抑えつつ、多チャネル光学素子が写真撮影に使用される際に、全体画像に満足のいく品質が得られるような、画像キャプチャ装置および画像キャプチャ方法を提供することである。

【課題を解決するための手段】

【0009】

この目的は、請求項１に記載の画像キャプチャ装置および請求項１５に記載の方法により達成される。

【0010】

本発明の実施例による画像キャプチャ装置は、多数の画素を含み、撮像において、画素ごと１つのサンプルを検出するよう構成されているイメージセンサと、イメージセンサに対して光学撮像を生成するための光学素子を含み、前記光学素子は、重複する立体角範囲を個別に形成して、イメージセンサのサブ領域を分離するための多チャネル光学素子とを含む。イメージセンサの各画素は、関連付けられた撮像値を有し、この撮像値は、光学素子が被写体をそれぞれの画素に対して被写体を撮像する撮像方向である、または、光学素子によりそれぞれの画素に撮像される焦点深度領域内の横方向の撮像位置である。最後に、画像キャプチャ装置は、画像値のアレイを得るために、サンプルの全分布を横切って延在する規則的なグリッドの交点の撮像値にしたがって、画素のサンプルの分布を補間するための補間部を含む。

【0011】

本発明の知見は、画素のサンプルが、光学素子が被写体をそれぞれの画素に撮像する撮像方向または光学素子によりそれぞれの画素に撮像される焦点深度領域内の横方向の撮像位置にしたがい画素のサンプルが配列される場合であって、画素のサンプルの分布がサンプルの全分布上に延在する規則的グリッドの交点で補間される場合に、多チャネル光学素子を使用することで、ハードウェア／製造支出と画質の両方が改善されることを認識した点にある。このようにして、画像全体に対して処理が標準化されるので、サブエリア間の移行問題が回避される。

【0012】

本願の好ましい実装は、従属項に係る発明である。

【0013】

本件の好ましい実施例について、添付の図面を参照してより詳細に説明する。

【図面の簡単な説明】

【0014】

【図1】本件出願の実施例による画像キャプチャ装置の模式図である。

【図2】本件出願のさらに少し詳細な実施例による画像キャプチャ装置の模式図である。

【図3A】ａは、本発明の実施例による撮像値にしたがう画素の分布の模式図であって、焦点深度領域において横方向の撮像位置が撮像値として使用され、かつｂは、本発明の実施例による画素の分布の模式図であり、使用される撮像値が、光学素子がそれぞれの画素に対して撮像を行う撮像方向であることを示す図である。

【図3B】ａは、本発明の実施例による撮像値にしたがう画素の分布の模式図であって、焦点深度領域において横方向の撮像位置が撮像値として使用され、かつｂは、本発明の実施例による画素の分布の模式図であり、使用される撮像値が、光学素子がそれぞれの画素に対して撮像を行う撮像方向であることを示す図である。

【図4】実施例によるイメージセンサおよびマイクロレンズアレイからなる構成の断面図である。

【図5A】ａおよびｂは、個々の画素の視野および観察方向を示すための模式図である。

【図5B】ａおよびｂは、個々の画素の視野および観察方向を示すための模式図である。

【図6】実施例によるひずみを含むサブ領域内の画素の観察方向を示すための空間図である。

【図7】実施例による画素ドットクラウドおよびそれに重畳させた規則的グリッドの模式図である。

【図8A】誤って視差の影響を無視したことにより生じる誤差を示すための２つの撮影状況の模式図である。

【図8B】誤って視差の影響を無視したことにより生じる誤差を示すための２つの撮影状況の模式図である。

【発明を実施するための形態】

【0015】

図１は、本件の実施例による画像キャプチャ装置を示す図である。図１の画像キャプチャ装置は、全体を参照番号１０で示し、たとえば図２まで図示しない多数の画素を有するイメージセンサ１２と、イメージセンサ１２上に光学画像を生成するための光学素子１４を含み、光学素子は、重複する立体角範囲１６_１、１６_２および１６_３を個々に撮像してイメージセンサのサブ領域を分離するための多チャネル光学素子を含む。後者も図２まで図示しない。図１の画像キャプチャ装置１０は、補間部１８と、アソシエータ１９ならびにユーザ入力インタフェースおよび／またはレンジファインダ２０等の他の要素を任意にさらに含む。

【0016】

イメージセンサ１２は、補間部１８に接続されて、撮像するごとに、各画素で輝度値等のサンプルを検出し、かつ、これを補間部１８へ出力するように構成される。オプションの入力インタフェースおよび／またはオプションのレンジファインダ２０は、アソシエータを経由して補間部１８に接続されてもよい。以下に詳説するとおり、アソシエータ１９と協働するオプションの入力インタフェースまたはレンジファインダ２０を経由して、以下に詳説する補間において、補間部１８は、重複する立体角範囲１６_１から１６_３により形成される視野全体の範囲内にあり、かつ、イメージセンサ１２のそれぞれのサブ領域に撮像されるシーンの被写体が示す距離を考慮に入れることが可能である。補間部１８は、画像キャプチャ装置１０の出力２２を、画像値の配列の形式の出力として、所望の画像を画像キャプチャ装置１０から出力する。

【0017】

図１の画像キャプチャ装置の設計は、上記のとおりなので、その動作モードについて以下に詳説する。本件の実施例による図１と同じ要素をより詳細なレベルで示す図２についても適宜参照する。

【0018】

上記のとおり、光学素子１４は、重複する立体角範囲１６_１から１６_３を個別に撮像するための多チャネル光学素子を有し、イメージセンサ１２のサブ領域２４_１から２４_３または２４_３を分離する。図１および図２に示すように、多チャネル光学素子は、マイクロレンズ２６_１から２６_３からなるレンズアレイでもよい。マイクロレンズの各々は、各々サブ領域２４_１から２４_２または２３_３の１つに関連付けられ、それぞれの視野または立体角範囲１６_１、１６_２または１６_３を有する対応のチャネルを構成する。図１および図２に例示する例では、多チャネル光学素子は、重複する立体角範囲１６_１から１６_３がともに、これら個別に見える相互に重複する立体角範囲より大きい、たとえば重複する立体角範囲１６_１から１６_３の各々より４倍大きい等、明らかに大きい立体角範囲全体を覆うように構成される。本件明細書の導入部ですでに述べたとおり、基本的にイメージセンサ１２からの光学素子１４の距離に相当し、かつ、マイクロレンズの焦点距離に等しいか、または、わずかに大きい設計高さｈを、これにより小さくすることができる。全体として拡張される全視野角は、詳細には、マイクロレンズ２６_１から２６_３の中心間の距離またはマイクロレンズ２６_１から２６_３の頂点の平均距離が、中心間の距離またはイメージセンサ１２のサブ領域２４_１から２４_３の反復距離に比べて大きくなるという形で実現される。このようにして、画像キャプチャ装置の所望の視野全体を、設計高さｈから切り離す。言い換えれば、視野全体を個々の視野１６_１から１６_３へ細分化することにより、設計高さｈは、個別の光学素子を有する設計に比べて、小さくなり、かつ設計高さｈの縮小量は、サブ領域の数が増えるたびに増大する。ただし、現実には、より小さいサブ領域に関連してレンズ間に必要な距離またはレンズの大きさにより、個々のチャネルへの細分化には限界がある。たとえば、チャネルの数は、４から１００００の範囲である。

【0019】

動作のモードについて説明する前に、最終的には、次の実施例に説明するシナリオとは異なり、２６_１から２６_３の反復距離を、サブ領域２４_１から２４_３の平均反復距離より小さくすることも可能であり、つまり立体角範囲は基本的に完全に重複するようにすることもできる。たとえば、全体の立体角範囲を、重複する立体角範囲の最大値のせいぜい１２０％の大きさとなるように、小さくすることができる。

【0020】

上記のとおり、イメージセンサ１２は、多数の画素２８を有する。特に、サブ領域２４_１から２４_３の各々が、多数の前記画素２８を含む。たとえば、各サブ領域２４_１から２４_３は、３２以上の画素を含む。図４を参照して以下に詳説するとおり、イメージセンサ１２は、単一基板イメージセンサでよく、たとえばサブ領域２４_１から２４_３が結合して形成され、前記サブ領域２４_１から２４_３の間の間隙を、読み出しアンプ、行および／または列デコーダ等の画素２８の感光領域を制御する制御回路部を収納するために使用可能である。

【0021】

ちょうど、それぞれの立体角範囲１６_１から１６_３が光学素子１４、特に、マイクロレンズ２６_１から２６_３に対する構成によりサブ領域２４_１から２４_３と関連付けられるように、各画素２８は、当然それぞれの立体角範囲を有しており、これは明らかにより小さいため、これに関連付けられる観察および／または撮像方向は、たとえば画素のそれぞれの立体角範囲の中心へ延びる。接続については、図５ａおよび図５ｂを参照して、以下に詳説する。撮像および／または観察方向の撮像および観察角のすべてが、たとえば、光学素子１４の光軸またはイメージセンサ１２の感光面領域に直角をなす表面との関連で決定される。このようにして、画素２８を図３ｂに示すような平面内、すなわち２つの軸による平面内に配列することが可能で、このうち軸３０には、画素２８の行方向ｘにおけるそれぞれの画素φの撮像方向の偏位が入り、軸３２には、たとえば軸ｘに直角をなす列方向ｙの光軸に関連する撮像方向の角度の偏位が入り、後者の角度はθで表す。なお、これらの軸は同様にスケール決めがされるか、等方的であることが好ましい。図３ｂは、画素がその撮像方向にしたがって広がる平面内に配列される様子を示す。境界３４は、たとえばサブ領域２４_１の画素２８のドットにより示される位置を取り囲む。境界３４のクッション状の様子は、マイクロレンズ２６_１のひずみが、（φ，θ）平面内のサブ領域２４_１の画素２８のクッション形状の分布につながることを示す。明確化のため、図３ｂは、サブ領域２４_２および２４_３の画素２８を示さず、それぞれの部分画素のドットのクラウドのエッジであるそれらの境界３６および３８のみを示す。さらに、図３ｂは、たとえばｘ方向でサブ領域２４_１から２４_３に隣接して配置され得るサブ領域の画素の位置を示し、これらは図２では、破線で示される。

【0022】

画像キャプチャ装置１０によりキャプチャされるシーンが十分に遠ければ、上記のとおり各画素２８に関連する観察方向を考慮するだけで十分ということになる。画像領域２４_１から２４_３および関連のマイクロレンズが相互に横方向にずれるという事実による視差の影響は、距離が大きい場合には重要ではない。より短い距離については状況が異なる。たとえば、図１は、ちょうど図２がこの焦点深度領域を示すように、光学素子１４の光軸に対して垂直に伸びる平面として焦点深度領域４０を示す。ここでも、キャプチャされたシーンがいくつかのチャネルへ分割され、光学素子１４の焦点深度は非常に大きくなる。このようにして、マイクロレンズ２６_１から２６_３は、非常に大きな焦点深度範囲内、すなわち光学素子１４から距離が非常に大きい範囲で被写体をイメージセンサ１２に鮮明に撮像することが可能である。たとえば、マイクロレンズ２６_１から２６_３は、マイクロレンズ２６_１から２６_３の焦点距離と等しいかまたはわずかに長い距離だけイメージセンサ１２の感光領域から離れて配置することができる。

【0023】

ちょうど各画素２８が、各画素に関連付けられる撮像方向を有し得るように、各画素も関連付けられた、横断方向に延在する焦点深度領域４０に、横方向の撮像位置を有し、すなわち、光学素子１４によりそれぞれの画素２８に撮像される。図３ａに示すとおり、それらの横方向の撮像位置にしたがい、方向ｘ０の直交座標と方向ｙの直交座標による平面内に画素２８を、配列してもよい。図３ｂと同様、図３ａは、サブ領域２４_１について個別に、画素２８の位置を点でのみ示し、実線は、全体にサブ領域２４_２から２４_３の画素の位置および位置のクラウドの拡張を示しており、破線は、図２の破線が示す、想定される他のサブ領域の画素の位置を示している。図３ａにおいても、クッション状に実現された境界線は、光学素子１４の単チャネル光学素子が歪みを起こし得ることを示す。

【0024】

上記のとおり、イメージセンサ１２および光学素子１４は、一定の間隔を置いて配列される。当然、焦点深度範囲を調節できるように、イメージセンサ１２と光学素子１４の間隔は可変に調節することも可能だが、上記のとおり、多チャネル光学素子およびマイクロレンズのアパチャ（サイズを小さくしたアパーチャ）の使用によって、多くの場合、焦点深度範囲は、いずれにしても再調節が不要な程度に十分大きい。画像キャプチャ装置１０が、視差の影響が依然として問題にならない距離に配置された被写体の画像を撮像するよう設計されている場合、サブ領域２４_１から２４_３の個々の画素２８での撮像方向について図３ｂに示す関係を固定することが可能になる。この場合、アソシエータ１９の存在が絶対に必要というわけではない。むしろ、補間部１８の機能を実現するプログラムコード内にこの関係を固定的にプログラムするかまたはハードウェアに組み込んでもよい。他の方法では、アソシエータ１９をルックアップテーブルの形でメモリに存在させてもよい。アソシエータ１９を撮像ごとに個々の画素２８の撮像方向を再計算する算術装置として実現することも可能であると考えられる。

【0025】

当然、図１の画像キャプチャ装置１０をたとえば、およそ０．５ｍの至近距離等の特定の至近距離内にある被写体のみをキャプチャするようにすることもできると考えられる。この場合、図３ａに関連してすでに述べた関係を、補間部１８内に固定的に実装してアソシエータ１９を設けないようにしてもよい。しかしながら、図３ｂの関係について上記に述べた代替的方法も、当然可能であると考えられる。

【0026】

図３ｂおよび図３ａによる関係は、（画像キャプチャ装置の以下のアセンブリにしたがい）、たとえば、適切な較正用被写体を撮像することにより決定されるものであってもよい。別の方法として、画像キャプチャ装置１０の設計パラメータおよび／または特に光学素子１４のイメージセンサ１２の設計パラメータならびにそれら相互の相対位置を用いて計算することで、焦点深度領域４０における撮像方向および／または横方向撮像位置の関係を決定してもよい。いずれの代替方法についても、光学素子１４により生じるひずみを考慮に入れることも可能であると考えられる。

【0027】

当然、画像キャプチャ装置１０は、サブ領域またはアパチャ間の横方向のオフセットにより、視差の影響が、ある役割を果たす撮像用として提供されうるし、視差の影響が上記のようなものではない撮像用としても提供されうる。この場合、ユーザがユーザ入力インタフェース２０を使用して、上記関係が図３ｂにしたがい、すなわち長距離撮影用か、図３ａにしたがい、すなわちクローズアップの撮影用かのいずれかをアソシエータ１９に対して指定し得る。レンジファインダ２０による指定も可能で、このレンジファインダは、実行時間測定等または相関等のサブ領域に存在する情報自体を分析することにより距離を決定できる。図３ｂに対応する上記関係（撮像方向および／または横方向撮像位置の関係）と図３ａに対応する上記関係（撮像方向および／または横方向撮像位置の関係）との間の移行は、急である必要はない。むしろ、光学素子１４からのシーンの距離が大きくなる程、視差のターム（視差についての制約）は、いずれにしても連続的に消滅していく。したがって、アソシエータ１９が入力インタフェース／レンジファインダ２０からキャプチャする被写体の距離表示を取得し、取得した距離表示によりルックアップテーブルを参照することにより、または、距離表示を用いて算出することにより、視差タームを考慮に入れつつ、上記関係を調節することも可能であると考えられる。

【0028】

補間部１８は、図３ｂおよび／または図３ａによる平面内の画素２８のすべての共通ドットクラウドから、画素のアレイ、すなわち、画像値からなる規則的なグリッド、すなわち所望の画像を作る役割を果たす。このため、補間部１８は、サブ領域の個別のドットクラウドのすべての組み合わせの上、すなわち撮像値により配列される画素を有するフレーム全体上に規則的なグリッド４２を重ねて、図３ａまたは図３ｂによる平面内の位置、すなわち規則的なグリッド４２の交点の位置にある画素のサンプル間を補間する。なお、規則的なグリッドに、ノードより多い数の交点、すなわち画素２８より多い数の交点を持たせることも可能である。しかしながら、所望の画像アレイに寄与する規則的なグリッド４２の交点は、すべての画素の共有する量の範囲内である必要があり、これは、さもなければ、これに関して不正確さを含む外挿を行う必要があると考えられるためである。補間法の例について後述するが、採用し得る多数の補間方法が存在する。いずれにしても、撮像値は、規則的なグリッドのグリッド間隔の１６倍以上である最小単位を用いてスカラー精度で存在し得る点が有利である。言い換えれば、図３ａまたは図３ｂによる空間の範囲内において、補間部１８は、第１ビットの精度でそこに生じる成分を取り扱うことができるが、これに関して、グリッド４２の交点は、最小単位の１６個分以上の距離を有する。こうして、１つのステップでかつ一定の態様で、フレームのすべてについて補間を行うことができるが、これは、たとえば、フレームの重複領域または個々の画素ドットクラウドにおいてさえ、補間がグリッド点ごとに一回のみ行われ、そして、それぞれの重複領域内で重複するフレームのすべてが、この補間に等しく関与するという事実が反映されたものかもしれない。撮像値を再調整したり、操作する必要はない。撮像値が、いったん決定されると、それらは、例えば、画素のビーム密度値がそれぞれの補間された値に結合される値の重み付け値においてのみ考慮され、特に、以下に説明するように、その重みづけは、たとえば、現在実行されている補間処理での予想交点グリッド点と、その周囲のそれぞれの画素との間に相当する距離の測定値に等しいということが考慮される。

【0029】

上記では、画素２８が異なる感度で動作する可能性に対して対処していなかった。たとえば、感度は、スペクトル的には、入射光の偏光に関して、または（中性濃度の）感度に関して異なり得る。この場合、上記のとおり、補間部１８が、図３ａおよび／または図３ｂに対応する平面内に感度特性が同じの画素を配列し、かつ、これにグリッド４２を個々に重ねて、その感度特性について、個別に規則的な画像アレイを得ることが可能である。この方法を、すべての感度特性について行い、かつ／または、感度特性ごとに別々にすべての感度特性の画素について行うことが考えられる。後述のとおり、この場合には、同じ感度特性の画素のそれぞれの部分分布の補間は、異なる感度特性を有する画素が考慮されているという点で、改善され得る。上記のようにしてカラー画像を得ることができる。図３ａおよび／または図３ｂによる平面内のすべての感度特性について正確に同じ位置にグリッド４２を配置させることが可能で、これにより共有のカラー画像アレイの位置についてカラー成分のすべてが、正確に同じ位置を指すという点がこの方法の利点である。カラー画像センサで撮影された通常のカラー写真はこれに当てはまらない。これは、サブ画素セルの要素が異なる位置で横方向にサンプルされるからである。画像キャプチャ装置１０のサブ領域２４_１から２４_３においては当てはまるが、補間により、個々の感度特性の画素のドットサブクラウドは、正確に同じ位置に補間される。直前に述べたとおり、他の感度特性の画素も、補間を改善するために付加的に使用すれば、さらにより良い画質が得られることになる。

【0030】

しかしながら、この画像キャプチャ装置１０においては、個別に見える各チャネルを、たとえばスペクトル的にフィルタリング、中性濃度フィルタリング、または偏光フィルタリングする等、均一にフィルタリングしているが、異なるチャネルは異なるフィルタ特性を有する可能性がある。この場合、各フィルタ特性について、このフィルタ特性に属するチャネルが画像キャプチャ装置１０の視野全体をカバーするように、立体角範囲を設けてもよく、それによりこれらフィルタ特性すべてについて、図３ａおよび／または図３ｂによる画像クラウド全体が得られる。また、この場合にも補間部１８は、カラー画像等の多成分画像情報を含む規則正しい画像アレイを得るために、異なるフィルタ特性についてこれらの画素ドットサブクラウドごとに、規則的グリッド４２のグリッド交点で別個に補間を行っもよい。

【0031】

本出願による実施例の動作のモードと構成を大まかに記載したが、上記の個別の要素を構成する可能な態様について以下に説明することにする。以下の説明よりわかるように、イメージセンサ１２は、ＣＭＯＳイメージセンサであってもよく、たとえば、サブ領域２４_１から２４_３が基板またはチップ上に集積される。ウェハボンディングまたは成形によって、多チャネル光学素子をチップ自体に直接集積するか、または、サブ領域２４_１から２４_３とアパチャとの間の光透過性を確保するが個々のチャネル相互の光学的分離も確保する半透明層構造により基板の表面とは別に集積してもよい。

【0032】

補間部１８を、イメージセンサ１２を集積した同じチップおよび基板上に集積してもよい。補間部１８は、ハードウェアに組み込んでもよいし、プログラム可能回路論理かまたは処理装置上で実行されるコンピュータプログラムでもよい。詳細には、補間部１８はイメージセンサ１２に接続されるコンピュータでもよい。

【0033】

アソシエータ１９は、ＥＥＰＲＯＭ等の不揮発性メモリでもよい。画像入力インタフェース２０は、第１のトグル位置、第２のトグル位置、および非トグル位置を有するトグルスィッチでもよい。最初の２つの位置は、長い距離のショットまたはクローズアップのショットをトリガし、かつ最後の位置は、アイドルまたはドントケア状態である。アソシエータ１９は、起動位置に従って、たとえば、図３ｂまたは図３ａの関係（状態）を実現させる。しかしながら、ユーザ入力インタフェース２０は、グラフィックユーザインターフェースにおけるアジャスタブルバー等の他の連続可変ユーザインタフェース上で回転する回転体である可能性もある。この場合には、アソシエータ１９は、距離の連続または準連続表示としてなされた入力を、焦点深度領域４０における横方向の撮像位置の関係を計算するために使用してもよい。

【0034】

しかしながら、上記のとおり、距離センサ２０を使用することもできる。この距離センサは、実行時間測定等だけでなく、たとえば個々の部分画像自体の画像情報から推定する等なんらかの態様で、キャプチャされるシーンの距離を検出してもよい。このように得られた距離測定結果は、略量子化された状態において、上記のとおり、アソシエータ１９により、距離測定結果に応じて関係（状態）の詳細を調節するために使用されるものであってもよい。

【0035】

本出願のいくつかの実施例についてすでに述べたが、以下に実施例を実現するために使用可能な、いくつかの実施の詳細について説明する。

【0036】

この関係で、最初に、上記の内容について別の言葉で繰り返し述べることになる。上記のとおり、光学素子１４は、センサ１２上に、Ｍ×Ｎ非重複マイクロピクチャ等を生成する。マイクロチャネル光学素子の個々のチャネルは、たとえば、個々のマイクロレンズ２６_１〜２６_３を含んでもよい。各マイクロレンズは、被写体空間からセンサへの立体角範囲１６_１〜１６_３を撮像する。すでに説明し以下にも詳述するとおり、この単純化は、マイクロレンズ反復距離に比べて距離が大きい被写体についてのみ適用される。個々のチャネルの立体角範囲１６_１〜１６_３または視野は、図１に４４で示すとおり、ばらばらではなく、相互に重なりあう。

【0037】

関連するマイクロレンズ２６_１〜２６_３が照らす領域内に順に配置されるマイクロピクチャ２４_１〜２４_３内の各画素２８は、その上に集積される小さな立体角を「見る」。図５ａは、この関連するサブ領域２４_１を非常に簡素化させた様子を例示する図である。マイクロレンズ（明瞭化のため図５ａには図示せず）のサブ領域２４_１内の相互に隣接する画素２８の一つを見る立体角４６は、隙間なく相互に当接する。当然、画素２８の充填率は限られているので、領域４６は、隙間なしに相互に当接しない可能性がある。しかしながら、説明を簡単にするために、画素２８の値は、それぞれの立体角４６の中心におけるビームの方向でそれぞれの画素２８に入射するラジアンス（放射器度）の測定値を表すと仮定することができる。そして、これは、それぞれの画素２８の上記の観察方向４８を表しかつ図５ｂに示すものである。

【0038】

製造コストを低減するために、マイクロレンズのひずみでゼロでない可能性もある。したがって、画素は、図３ａおよび／または図３ｂによる均一な態様で空間をスキャンしない。したがって、たとえば図３ｂの画素の観察方向から形成されるグリッドは、規則的なものではない。さらに、多チャネルの各マイクロレンズ２６_１〜２６_３は、その独自のひずみの形状を有することが可能で、これは、図６の領域２４_１のチャネルについてその例を示す。

【0039】

しかしながら、上記のとおり、この画像キャプチャ装置１０は、マイクロピクチャから、規則的で満足に足る共有画像を製作することが可能である。

【0040】

画素からのラジアンスの測定値、すなわち個々の画素２８のサンプルを図３ａまたは図３ｂにしたがって平面にプロットする。測定値の座標は、たとえば、関連のマイクロレンズ２６_１〜２６_３もしくはそれぞれのチャネルの観察方向または光軸の方向から、それぞれのマイクロレンズ下のそれぞれの画素の画素座標から、および、それぞれのマイクロレンズのひずみから得られ、かつ、角度単位または焦点深度面に関するデカルト座標へのプロットで表示することができる。ひずみの正確な形状については光学素子１４の光学設計から決定することが可能だが、これはセンサ１２および接着した光学素子等からなる特定の物理系で測定することもできる。

【0041】

このようにして、イメージセンサの各マイクロレンズまたは各サブ領域は、図３ａおよび図３ｂに相当する平面内に小さなドットクラウドを作り出す。ドットクラウド中の各（無限に小さい）ドットは、特定の観察方向またはそれぞれの焦点深度平面内の横方向形成位置でのラジアンスの測定値を表す。ドット間のラジアンスは、最初は不明と仮定してもよい。

【0042】

境界３４を有する図３ａおよび図３ｂで、外寸だけが表示されている隣接するマイクロレンズのドットクラウドは、相互に貫通している。マイクロレンズ系の光学設計は、ドットクラウドのドットが、平面内、すなわち、図３ｂにおいて５０で示される重複領域のように個々のチャネルの画素ドットサブクラウドが相互に交差する領域内では、一致しないができるだけ均一に分布するように構成されるものであってもよい。

【0043】

次に、補間部１８は、上述のとおり、規則的なデカルト格子４２により得られるドットクラウド全体を重ねる。デカルト格子の交差ドットに存在するラジアンスが、既存の測定値から決定されるかまたは補間される。たとえば、各交点について、ｎ個の最も隣接するものを決定することができ、それらのラジアンス値を加重平均に使用する。たとえば、距離の逆数または距離の二乗の逆数を用いて、各画素密度値の加重またはノルムを行ってもよい。

【0044】

最も近くに隣接するものを、たとえばドットクラウドの全ドットをブラウジングして決定してもよい。ドットが、事前に、いわゆるビンと呼ばれる様々な領域へ分割される場合、このことは検索を加速させ得る。より速い別の方法は、クラウドの画素間で、三角形分割、理想的にはドロネー三角形分割を行うことである。ドロネー三角形分割において、いずれかのドットに最も隣接するものを見つけることは、比較的速くできる。特に、疑似コードで記述する以下のアルゴリズムは、ドットクラウドを生成しかつ補間するために使用され得る。

【0045】

// create dot cloud
for each color
dot cloud (color).init()
for each micropicture
for each pixel within the micropicture
if (colorofPixel (pixel) = color)
viewingDirection = calculateViewingVirectionofPixel
(microlens, positionInLens (pixel))
dot cloud (color). Add (viewingDirection,
radianceOfPixel (pixel))
end if
end for
end for
end for
// result: three picture clouds with radiance information

// interpolation
interpolatedPicture, init ()
for each color
for x = 0 up to pictureWidth
for y = 0 up to pictureHeight
neighbors = dotCloud (color) . findNearestNeighbor(x,y)
for each neighbor in neighbors
weight = calculateNorm (neighbor, x,y)
interpolatedPicture(color, x,y) += weighting *
neighbor.radiance;
end for
end for
end for
end for
// result: interpolated picture

【0046】

上記の疑似コードを説明するために、再び図７に関連して上記の図を簡単に参照する。ドットクラウド発生プログラムコードにおける第１のｆｏｒループは、画素の個々の色について実行される。したがって、クラウド全体が各色について生成される。第２のｆｏｒループは、マイクロピクチャ２４_１から２４_３のすべてについて実行される。第３のｆｏｒループ、すなわち最も内側のｆｏｒループは、現在のマイクロピクチャ２４_１から２４_３におけるすべての画素２８について実行される。最も内側のｉｆクエリによって、現在検索中の画素が現在の色を有するか否かが確認される。当てはまる場合、詳細には、それぞれのチャネルおよび／またはそれぞれのマイクロレンズならびにマイクロピクチャ内の画素の位置を参照しながら、その観察方向を計算し、現在検索中の画素のラジアンスを図３ａおよび／または図３ｂによる平面内の対応の位置にプロットする。この例では、観察方向、すなわち図３ｂにしたがう平面が基礎として使用された。

【0047】

第２のプログラムセクションは、実際の補間を取り扱う。最も外側のｆｏｒループは再び個々の色について実行される。各色について、規則的デカルトグリッド４２、すなわちその交点５２が一回循環される。ＰｉｃｔｕｒｅＷｉｄｔｈおよびｐｉｃｔｕｒｅＨｅｉｇｈｔは、後で出力２２に出力されることになる所望の画像全体の高さと幅を表す。対応の２つのｆｏｒループに続いて、隣接するものが最初にこのグリッド点５２について決定される。グリッド４２の例として図７に示す、交点５２の４つの最も近接するものが、たとえば、１、２、３および４で示す画素である。現在の交点５２の位置にある補間値を得るために、最も内側のｆｏｒループは、前記最も近接する画素のすべてを循環して、前記画素の各々について、現在のグリッド点５２からの適切な距離のノルムにしたがって、加重を計算し、前記隣接画素のラジアンスの和を形成する。前記和は、応じて重みづけされる。このように、補間値を、詳細には色のすべてについて、交差グリッド点５２のすべてに関して決定して、多成分色値が各グリッド交点５２について各グリッド４２ごとに得られるようにする。

【0048】

上記の記載に対するいくつかの代替方法をいかに述べる。上記のとおり、各チャネルを個別にフィルタリングする。しかしながら、イメージセンサ１２をベイヤー（Ｂａｙｅｒ）パターン等の適切なカラーフィルタアレイでカバーすることも可能である。このようにして、画像全体のスペクトルラジアンスをいくつかの（一般に３つの）波長帯について測定することができる。当然、１つの波長帯内の測定点の密度は下がる。ベイヤーパターンにおいては、緑が２、赤と青については４で除算される。上記のとおり、その後、１つのドットクラウドは、たとえば、カラーチャネルごとに生成される。完成した画像の緑のチャネルは、それに対応する緑のドットクラウドにおける補間の結果、取得される。同じことが同様に赤と青にも当てはまる。それぞれのチャネルをいっしょにすることで、完成したカラー画像が得られる。

【0049】

改良された点としては、緑のチャネルからの測定点を赤および青のチャネルを補間するために使用でき、その逆もまた可能である。

【0050】

上記のとおり、視差の影響は、撮像する被写体の距離が、マイクロレンズの反復距離に対して大きくないならば、視差のタームを無視できるにする簡素化をもはや適用することができないということの原因になり得る。画素の観察方向４８に加えて、その画素のイメージセンサ上の位置もこの場合には関係する。このことを説明するために図８を簡単に参照する。図８の上部は、被写体が遠い距離に正しく配置されている場合、すなわち被写体がイメージセンサ１２から十分に離れて配列され、かつキャプチャされる被写体が、その遠い距離に位置する、すなわち図３ｂにおける関係（状態）が使用される場合を図示し、図の下部は、被写体が、遠い距離に位置していると仮定されるにもかかわらず、近くに位置している場合を示す。５４は、それぞれの場合において、被写体が観察方向４８に当たる位置で、完成した画像における被写体の被サンプル点ＡからＶが再配列される様子を示す。見て分かるように、被写体が正しい位置に配置される場合には、被写体上の点Ａから点Ｖのシーケンスは、完成した画像において維持されるが、被写体が不正確な位置に配置される場合、すなわち、イメージセンサ１２に近すぎる場合には、被写体のポイントのシーケンスは、混乱している。

【0051】

こうして、上記の実施例を採用すれば、補間部１８は、不連続な部分のない満足のいく高解像度画像を構成することができる。被写体上の隣接する点の測定値は、画像キャプチャ装置を指定のとおり使用する限りかつ／または上記の調節可能性が使用される限り、完成した画像においても隣接したままである。言い換えれば、画像面内の測定点の配列の被写体距離を配慮する必要があるかもしれない。最も単純なケースとして、被写体距離が一定の場合を想定してもよい。上記のとおり、距離の推定および／または測定、ならびに、それらに対応する測定点の修正処理も実行可能である。

【0052】

上記では、主に、より小さな観察角度を有し相互に重複するいくつかのチャネルに細分化することにより、視野を拡大する画像キャプチャ装置について説明した。本件は、たとえば、シーンが、本質的に重複する単チャネルの視野で異なる観察角度から観察される場合等、他の用途でも実行可能である。

【0053】

上記の実施例において、使用される多チャネルの光学素子は、チャープマイクロレンズアレイ、すなわちレンズの頂点が、対応のサブ領域の中心位置に関して拡張されるかまたは異なる態様でオフセットされる横方向の位置を有するマイクロレンズアレイとしてもよい。例として、図４は、イメージセンサ１２とマイクロレンズアレイ１４との間の距離が固定された固定構成の可能な例を示す。イメージセンサ１２は、たとえば、ＣＭＯＳイメージセンサでもよいし、他の半導体センサでもよい。チャネル分離および迷光吸収のために薄膜領域６６および６８を挿入したいくつかのガラス基板６０、６２および６４を基板１２上に配列する。マイクロレンズ２６_１〜２６_５は、一番上のガラス基板６０上に形成される。マイクロレンズの頂点の反復距離がサブ領域２４_１〜２４_５の中心の反復距離より大きく、これにより全体視野の拡張および／または個々のチャネルの中心観察方向７０_１〜７０_５の拡散が生じる。図４による設計の例は、たとえば、ウェハボンド配置処理において、すなわち、後続する、個別のカメラのダイシング処理、すなわち、イメージセンサとマイクロレンズアレイの個々の組み合わせる処理を用いて、製造されてもよい。

【0054】

プレノプティックカメラの観点からも、上記の実施例は、この実施例におけるマイクロレンズアレイに主要な光学素子を加えるという形で使用しても良い。

【0055】

上記の実施例に関して、上記のマイクロレンズアレイのチャネルは、横方向はたま視野を横切る方向に、互いに同じでも良いし異なっていてもよくまたはチャープでもよい。次に、例として図４に示すように、個別のレンズで、またはレンズ系でチャネルを撮像しても良い。マイクロレンズアレイの代わりに、ダイアフラムアレイを撮像に用いてもよいし、両方を組み合わせることも可能である。いずれの場合にも、各画素の観察方向が決定されてドットクラウドへ転送されることが可能で、これに対して上記の補間を行っても良い。

【0056】

上記の実施例では、フレームの反転、これの均一化および視差訂正が結果として１つのステップで実行されるが、これは処理を加速させる。１つのステップで、画像情報を組み合わせて画像全体を形成し、かつ中間の補間ステップが不要になることでも、画像全体の質が向上する。これは、画像の精細度が向上し、アーチファクトが減少するからである。上記の実施例は、フィルタを備えるセンサに適している。各マイクロレンズの下にカラーフィルタアレイを使用するかまたは各マイクロレンズの下に一色だけのフィルタを配置することができる。これらのフィルタは、ＲＧＢカラーフィルターでよく、またＲＧＢ＋グレイまたはＲＢＧ＋シアン等追加の色を使用することもできる。また、偏光フィルタまたはグレイおよび／または様々な濃度のうちの中性濃度のフィルタを使用することもできる。

【0057】

したがって、カラー画像を撮ることもできる。また、マルチスペクトル撮像の領域における他のスペクトル画像、偏光情報、より大きなダイナミックレンジ等の付加的情報を有する画像の写真を作ることができる。

【0058】

上記の実施例により、部分的な画像を相互に全体的に位置合わせ（ｒｅｇｉｓｔｅｒ）できるのみならず、画像の各画素を他の画素に対しても位置合わせすることもできる。マイクロピクチャの歪みは、自動的に均衡がとられて自然と解消される。多様なマイクロピクチャも、様々にひずみを有するが、この光学システムに課せられる要件は明らかに低減される。光学素子１４は、設計をより簡素にしてもよいし、より小型／平らにしてもよく、製造許容差を大きくしても良く、かつこのすべてが上記実施例の製造コストを低減しかつ設計寸法を小型化する。

【0059】

上記の実施例を、携帯電話、ビデオ会議システム等、医療用途の分野、ロボティクス、マシンビジョン用途、車両カメラおよび遠隔センサ技術、特にマルチスペクトル撮像分野における技術等多くの用途分野でカメラ系に採用することができる。このシステムの観点からは、上記実施例は、多アパチャ撮像系を有するカメラおよびカメラアレイ、すなわち、いくつかのカメラを含むシステムで適用可能である。言い換えれば、上記チャネルの各々が、明らかにカメラから個別に構成されてもよく、この場合、上記のイメージセンサ１２は、カメラの個々のチップに分類され、その各々自体がサブ領域２４_１から２４_３を構成すると考えられ、かつ、光学素子１４は、カメラの個々のレンズに分類される。

【0060】

なお、装置に関連していくつかの特徴について記載したが、これらの特徴は対応の方法の説明も表すものであり、したがって、装置のブロックまたは要素は、対応の方法ステップまたは方法ステップの特徴として理解することもできる。同様に、方法ステップに関連して、または、方法ステップとして、説明した特徴も対応の装置の対応するブロック、詳細または特徴の説明も表す。

【0061】

特定の実施の要件にしたが、本発明の実施例は、ハードウェアでもソフトウェアでも実現することができる。それぞれの方法が実施されるようにプログラム可能コンピュータシステムと共働または実質的に共働し得る電気的に可読な制御信号が記憶されたフロッピーディスク、ＤＶＤ，ブルーレイディスク、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭもしくはフラッシュメモリ、ハードディスクまたは他の磁気もしくは光学メモリを使用して実現することができる。したがって、デジタル記憶媒体は、コンピュータ可読である。本発明によるいくつかの実施例は、ここに記載の方法のいずれかが実行されるようプログラム可能コンピュータシステムと共働することが可能な電気的に可読な制御信号を有するデータキャリアを含む。

【0062】

一般に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として実現可能で、このプログラムコードは、このコンピュータプログラム製品がコンピュータ上で実行されると、上記の方法のいずれかを実行するべく動作する。プログラムコードも機械可読キャリア上に記憶することが可能である。

【0063】

他の実施例は、ここに記載の方法のいずれかを実行するためのコンピュータプログラムを含み、このコンピュータプログラムは、機械可読キャリア上に記憶される。

【0064】

言い替えれば、本発明の実施例は、コンピュータ上で実行時、ここに記載の方法のいずれかを実行するためのプログラムコードを有するコンピュータプログラムである。本発明の他の実施例は、ここに記載の方法のいずれかを実行するためのコンピュータプログラムを有するデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。

【0065】

本発明の他の実施例は、ここに記載の方法のいずれかを実施するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、インターネット等のデータ通信リンクを介して転送されるよう構成されてもよい。

【0066】

他の実施例は、ここに記載の方法のいずれかを実行するよう構成または適合されるコンピュータまたはプログラム可能論理装置等の処理手段を含む。

【0067】

他の実施例は、ここに記載の方法のいずれかを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。

【0068】

いくつかの実施例においては、プログラム可能論理装置（フィールドプログラマブルゲートアレイ：ＦＰＧＡ等）は、ここに記載の方法の機能性のいくつかまたはすべてを実行するために使用され得る。いくつかの実施例においては、フィールドプログラマブルゲートアレイは、ここに記載の方法のいずれかを実行するためにマイクロプロセッサと共働し得る。一般に、いくつかの実施例においては、方法は、いずれかのハードウェア装置により実行される。これは、コンピュータ処理装置（ＣＰＵ）等の一般に適用可能なハードウェアまたはＡＳＩＣ等の方法に特定的なハードウェア等が考えられる。

【0069】

上記の実施例は、本発明の原理を例示しているに過ぎない。他の当業者には、ここに記載の構成および詳細について、修正および変更が明らかであろう。したがって、本発明は、実施例の記述および説明によりここに提示される特定の詳細ではなく以下の特許請求の範囲によってのみ限定されることを意図される。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8A】

【図8B】