特許第6228306号(P6228306)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧
特許6228306オブジェクト領域を検出するためのマルチアパーチャ・デバイス及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6228306
(24)【登録日】2017年10月20日
(45)【発行日】2017年11月8日
(54)【発明の名称】オブジェクト領域を検出するためのマルチアパーチャ・デバイス及び方法
(51)【国際特許分類】
   H04N 5/369 20110101AFI20171030BHJP
   H01L 27/146 20060101ALI20171030BHJP
   H04N 13/02 20060101ALI20171030BHJP
【FI】
   H04N5/369 200
   H01L27/146
   H04N13/02 170
【請求項の数】14
【全頁数】28
(21)【出願番号】特願2016-528164(P2016-528164)
(86)(22)【出願日】2014年10月31日
(65)【公表番号】特表2017-503369(P2017-503369A)
(43)【公表日】2017年1月26日
(86)【国際出願番号】EP2014073457
(87)【国際公開番号】WO2015067535
(87)【国際公開日】20150514
【審査請求日】2016年6月28日
(31)【優先権主張番号】102013222780.9
(32)【優先日】2013年11月8日
(33)【優先権主張国】DE
(73)【特許権者】
【識別番号】500341779
【氏名又は名称】フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100085464
【弁理士】
【氏名又は名称】野口 繁雄
(74)【代理人】
【識別番号】100205981
【弁理士】
【氏名又は名称】野口 大輔
(72)【発明者】
【氏名】フランク・ヴィッペルマン
(72)【発明者】
【氏名】アンドレアス・ブリュックナー
(72)【発明者】
【氏名】アンドレアス・ブラエウアー
【審査官】 松永 隆志
(56)【参考文献】
【文献】 特表2012−507250(JP,A)
【文献】 国際公開第2013/047158(WO,A1)
【文献】 特開2012−065161(JP,A)
【文献】 特開平10−170256(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/225−5/378
H01L 27/146
H04N 13/02
(57)【特許請求の範囲】
【請求項1】
オブジェクト領域(17)を検出するためのマルチアパーチャ・デバイス(10;10’;20;20’;30;30’)であって、
前記オブジェクト領域(17)の第1のサブ領域(15−1〜15−9)を検出するための少なくとも2つの光学チャネル(12−1〜12−9)と、
前記オブジェクト領域(17)の第2のサブ領域(15−1〜15−9)を検出するための少なくとも2つの光学チャネル(12−1〜12−9)と、を備え、
前記オブジェクト領域(17)の前記第1のサブ領域(15−1〜15−9)及び前記オブジェクト領域(17)の前記第2のサブ領域(15−1〜15−9)を検出するための前記光学チャネル(12−1〜12−9)は、一列構造体(one-row structure)においてインターレース方式で配置され、
前記オブジェクト領域(17)の前記第1のサブ領域(15−1〜15−9)及び前記オブジェクト領域(17)の前記第2のサブ領域(15−1〜15−9)は、前記オブジェクト領域(17)において少なくとも部分的に重なり合い、
各光学チャネル(12−1〜12−9)は、イメージ変換器上のその位置が前記オブジェクト領域内の検出されるべき前記サブ領域の位置に依存するイメージセンサ領域(14−1〜14−9)を備え、前記光学チャネル(12−1〜12−9)の光学素子の光学的中心は個々の光学チャネル(12−1〜12−9)に沿った線(18)上に位置決めされ、前記光学チャネル(12−1〜12−9)の前記イメージセンサ領域(14−1〜14−9)の中心は、前記線(18)に対する等間隔かつ共線的分布に比較して変化するか、又は、
各光学チャネル(12−1〜12−9)は、イメージ変換器上のその位置が前記オブジェクト領域内の検出されるべき前記サブ領域の位置に依存するイメージセンサ領域(14−1〜14−9)を備え、前記光学チャネル(12−1〜12−9)の前記イメージセンサ領域(14−1〜14−9)の中心は、個々の光学チャネル(12−1〜12−9)に沿った線(18)上に位置決めされ、前記光学チャネル(12−1〜12−9)の光学素子の光学的中心は、前記線に対する等間隔かつ共線的分布に比較して変化する、マルチアパーチャ・デバイス(10;10’;20;20’;30;30’)。
【請求項2】
前記第1のサブ領域(15−7)を検出するための前記光学チャネル(12−7a;12−7b;12−7c;12−7d)において、イメージ前記第1のサブ領域が前記光学チャネル(12−7a;12−7b;12−7c;12−7d)のうちの少なくとも2つによりサブ画素オフセットによって横方向にシフトされる方法で走査されるように、前記個々の光学チャネル(12−7a;12−7b;12−7c;12−7d)のイメージセンサ領域(14−7)の画素アレイの中心点が、前記個々の光学チャネルの個々のイメージ化光学素子の中心点に対して互いに横方向に画素ピッチの画分だけシフトされる請求項1に記載のマルチアパーチャ・デバイス(10;10’;20;20’;30;30’)。
【請求項3】
前記第1及び第2のサブ領域の幾つかの光学チャネル(12−1〜12−9)は同一である請求項1又は2に記載のマルチアパーチャ・デバイス。
【請求項4】
スペクトル色が前記少なくとも1つの光学チャネルに関連づけられるように、前記光学チャネルのうちの少なくとも1つは光透過性フィルムを備えている請求項1から3のいずれか一項に記載のマルチアパーチャ・デバイス(10;10’;20;20’;30;30’)。
【請求項5】
前記単列構造体は、互いに角度をなして配置された少なくとも2つの略直線部分(16a〜d;16’a〜d;24a〜d;24’a〜d;26a〜d;26’a〜d)を備えている請求項1から4のいずれか一項に記載のマルチアパーチャ・デバイス(10;10’;20;20’;30;30’)。
【請求項6】
前記少なくとも2つの部分(16a〜d;16’a〜d;24a〜d;24’a〜d;26a〜d;26’a〜d)は同数の光学チャネル(12−1〜12−9)を備えている請求項5に記載のマルチアパーチャ・デバイス(10;10’;20;20’;30;30’)。
【請求項7】
前記少なくとも2つの部分(16a〜d;16’a〜d;24a〜d;24’a〜d;26a〜d;26’a〜d)は互いに前後するように配置されている請求項5又は6に記載のマルチアパーチャ・デバイス(10;10’;20;20’;30;30’)。
【請求項8】
前記光学的領域の第3のサブ領域を検出するための少なくとも2つの光学チャネル(12−1〜12−9)を備え、前記第3の光学的サブ領域は、第1又は第2の光学的サブ領域に少なくとも部分的に重なり、前記光学チャネル(12−1〜12−9)は、イメージ変換器上の前記サブ領域を検出するための光学チャネル(12−1〜12−9)が互いに対して最大距離を有するようにインターレースがなされるように配置される請求項1からのいずれか一項に記載のマルチアパーチャ・デバイス(10;10’;20;20’;30;30’)。
【請求項9】
前記第1又は第2のサブ領域に少なくとも部分的に重なる前記オブジェクト領域の第3のサブ領域を検出するための少なくとも2つの光学チャネル(12−1〜12−9)を備え、前記光学チャネル(12−1〜12−9)は、イメージ変換器上の前記光学チャネルの配置が前記サブ領域の最大角距離をもつ配置に対応するように、イメージ変換器上に配置されている請求項1から8のいずれか一項に記載のマルチアパーチャ・デバイス(10;10’;20;20’;30;30’)。
【請求項10】
前記第1又は第2のサブ領域に少なくとも部分的に重なる前記オブジェクト領域の第3のサブ領域を検出するための少なくとも2つの光学チャネル(12−1〜12−9)を備え、前記光学チャネル(12−1〜12−9)は、イメージ変換器上の前記光学チャネル(12−1〜12−9)の配置が前記サブ領域の2つの横方向に対する一様な配置に対応するように、イメージ変換器上に配置されている請求項1からのいずれか一項に記載のマルチアパーチャ・デバイス(10;10’;20;20’;30;30’)。
【請求項11】
前記第1又は第2のサブ領域(12−1〜12−9)に少なくとも部分的に重なる前記オブジェクト領域の第3のサブ領域を検出するための少なくとも2つの光学チャネル(12−1〜12−9)を備え、前記光学チャネル(12−1〜12−9)は、イメージ変換器上の前記光学チャネル(12−1〜12−9)の配置が前記サブ領域間の最大のデッドゾーンに対応するように、イメージ変換器上に配置されている請求項1から10のいずれか一項に記載のマルチアパーチャ・デバイス(10;10’;20;20’;30;30’)。
【請求項12】
請求項1から11のいずれか一項に記載のマルチアパーチャ・デバイス(10;10’;20;20’;30;30’)を備えたシステム。
【請求項13】
前記システムは携帯電話である請求項12に記載のシステム。
【請求項14】
オブジェクト領域を検出するための方法であって、
前記オブジェクト領域の第1のサブ領域を検出するための少なくとも2つの光学チャネルをイメージ変換器上に配置するステップと、
前記オブジェクト領域の第2のサブ領域を検出するための少なくとも2つの光学チャネルを前記イメージ変換器上に配置するステップと、を含み、
前記オブジェクト領域の前記第1及び第2のサブ領域を検出するための前記光学チャネルは、一列構造体においてインターレース方式に配置され、
前記オブジェクト領域の前記第1及び第2のサブ領域は前記オブジェクト領域において少なくとも部分的に重なり合い、
各光学チャネル(12−1〜12−9)は、イメージ変換器上のその位置が前記オブジェクト領域内の検出されるべき前記サブ領域の位置に依存するイメージセンサ領域(14−1〜14−9)を備え、前記光学チャネル(12−1〜12−9)の光学素子の光学的中心は個々の光学チャネル(12−1〜12−9)に沿った線(18)上に位置決めされ、前記光学チャネル(12−1〜12−9)の前記イメージセンサ領域(14−1〜14−9)の中心は、前記線(18)に対する等間隔かつ共線的分布に比較して変化するか、又は、
各光学チャネル(12−1〜12−9)は、イメージ変換器上のその位置が前記オブジェクト領域内の検出されるべき前記サブ領域の位置に依存するイメージセンサ領域(14−1〜14−9)を備え、前記光学チャネル(12−1〜12−9)の前記イメージセンサ領域(14−1〜14−9)の中心は、個々の光学チャネル(12−1〜12−9)に沿った線(18)上に位置決めされ、前記光学チャネル(12−1〜12−9)の光学素子の光学的中心は、前記線に対する等間隔かつ共線的分布に比較して変化する、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オブジェクト領域を検出するためのマルチアパーチャ・デバイス及び方法に関する。
【背景技術】
【0002】
従来のカメラは、シングルアパーチャ原理を基礎としている。この場合は、オブジェクトの連続イメージが撮られ、オブジェクト内の隣接領域は、イメージ内でも隣接している。深度情報を記録するためには、ほとんどの場合、お互いの横方向距離を示す2台のカメラが使用される(立体視)。これらのカメラは、カメラ間の距離(基線長)とオブジェクト距離に対応して、異なる角度から(視差)オブジェクトを見る。必然的に、2台のカメラのイメージは、オブジェクト距離に依存して、各々異なる度合いで横方向にシフトする(視差)。オブジェクト距離は、両カメラの基準距離及び視差が分かった時点で決定することができる。基線長が効果的に増大すれば、深度解像が向上し、又はオブジェクト距離が大きい場合に深度を識別する方法にもなる。しかしながら、カメラの構成全体の望ましい小型化にとって、これは反作用的である。さらに、実用化において、深度情報の精度は、2台のカメラの相対的位置合わせの精度(基線長の精度)によって制限される。
【0003】
あるいは、例えば[1]においてPelican Imaging camera−array(PiCam)という項目で記述されているような超解像原理に従ったアレイシステムも存在する。このようなカメラは、各々がオブジェクト全体のイメージを生成する複数の個別的なイメージ化チャネル(2x2、3x3、4x4、5x5、他)によって構成することができる。概して、このようなマルチチャネル構成は、NxN又はNxM、N及びMは2以上、の配置で構成され得る。アレイのカメラはそれぞれ、互いの横方向距離を示すため、視差効果は同じものとなり、オブジェクト距離に関する情報をイメージ処理によって入手することができる。全体としてのアレイカメラは、例えば携帯電話、スマートフォン、ノートブック、他のような移動体デバイスへの統合に起因して小さくなることから、アレイカメラの個々のチャネル間の距離は短く、よって必然的に、深度解像も大幅に制限される。マルチチャネル構成の目的は、カメラの構造高さを低減することにある。例えば、イメージ化チャネルの焦点距離fを短縮することにより、構造高さをより小さくすることを達成し得る。
【0004】
幅dpであるカメラの感光画素は、角度領域a=arctan(dp/f)からの光を受光する。但し、角度領域は、受入れ角とも称される。焦点距離fを短縮すると、受入れ角aは大きくなる。受入れ角aの増大は、オブジェクト領域間で互いの識別が低下し得るため、解像度の低下に等しい。焦点距離を短縮する場合の解像度損失による悪影響を回避するために、超解像原理が適用される。この場合の必須条件は、エイリアシングが存在することであり、つまりは、光学素子が、2画素間の距離である画素ピッチより小さい点像を生成することにある。この場合、個々のカメラの視野は、画素ピッチの画分だけシフトされる。点像の幅が、画素ピッチのN分の1だけ小さければ、カメラの視野は各々、画素関連角度のN分の1だけシフトされる。これは、個々のカメラの光軸が各々画素ピッチのN分の1だけシフトされることを意味する。この場合のシフトは、X方向及びY方向で実行されると思われ、即ち、N2台のカメラが各々サブ画素シフトを伴って存在し得る。よって、全体的な高解像度イメージは、ソフトウェアにおけるイメージ処理を用いてオフセットされたサブ走査されたサブ画素を有するサブイメージから計算され得る。
【0005】
さらなる代替例は、図9及び図10で例示的に論じているようなクラスタ・アイ・カメラ(独国特許出願公開第102009049387号明細書参照)である。クラスタ・アイ・カメラは、アレイカメラと同様に、複数の個々のチャネルによって構成することができる。しかしながら、アレイのチャネルは、オブジェクト視野全体を伝えるものではなく、個々のチャネルが各々、そのサブ領域を見るだけである。次には、個々のオブジェクトサブ領域のサブイメージが合成され、イメージ後処理によって全体イメージが形成される。イメージ変換器上の、関連する個々の視野サブ領域を伴うイメージ化チャネルの横方向配置は、所望通りに行われる。古典的なシングルアパーチャ・カメラとは対照的に、かつ実際には従来のシングルアパーチャ・カメラのアレイ配置であるとして理解されるべきであるアレイカメラとも対照的に、上述の構成において、電子イメージ変換器上のイメージの視野及び横方向位置は、互いからデカップルされる。構造高さを低減するために、この場合も、短い焦点距離が使用される。ここでは、角度解像度の損失による悪影響を防止するために、サブ画素によりシフトされるサブイメージを含む超解像方法が使用される。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】独国特許出願公開第102009049387号明細書
【非特許文献】
【0007】
【非特許文献1】[1]Kartik Venkataraman, Dan Lelescu, Jacques Duparr・, Andre McMahon, Gabriel Molina, Prizam Chaterjee, Robert Mullis ‐ Pelican Imaging Corporation; Shree Nayar ‐ Columbia University: PiCam: An Ultra−Thin High Performance Monolithic Camera Array; http://www.pelicanimaging.com/technology/PiCam_sa13.pdf(6.11.2013)
【発明の概要】
【0008】
本出願の解決手段では、イメージ化チャネルは、横方向の近接チャネルが視野角度でも近接するように配置されている。その結果、チャネルの基準距離が短いことに起因して、小さい視差しか生じず、深度解像が限定的なサブイメージのシフトも少し観察されるだけである。サブイメージのシフトを評価することができるように、イメージ化チャネルの一部は重なり合うべきであり、即ち、個々の領域内に等しいイメージコンテンツを含むべきである。基線長が分かっている場合には、オブジェクトとカメラとの距離は、対応するイメージ化チャネルにおける等しいコンテンツによるサブ領域の横方向位置を比較することから決定されてもよい。像点ごとにこれが実行され得るため、オブジェクト空間の深度チャートを確立することができる。
【0009】
したがって、本発明の基礎をなす目的は、改善された深度情報を有するオブジェクト領域を検出できるようにするデバイス及び方法を提供することである。
【0010】
この目的は、独立クレームに記載されている発明対象によって達成される。
【0011】
本発明の中心的着想は、記録されるオブジェクト領域の深度解像の向上が達成され得るようにイメージ変換器上に光学チャネルを効果的に配置することで、視差が増大し得るという事実によって、上述の目的が達成され得る、という認識をもつことにある。
【0012】
ある実施形態によれば、マルチアパーチャ・デバイスは、オブジェクト領域の第1のサブ領域を検出するための少なくとも2つの光学チャネルと、オブジェクト領域の第2のサブ領域を検出するための少なくとも2つの光学チャネルと、を備えている。オブジェクト領域のサブ領域は、部分的に重なり合う。第1及び第2のサブ領域を検出するための光学チャネルは、一列に、かつ第2のサブ領域を検出するための光学チャネルが第1のサブ領域を検出するための2つの光学チャネル間に配置されるようなインターレース方式、即ち交互式に配置される。
【0013】
この実施形態の優位点は、サブ領域を検出するための光学チャネル間の横方向距離が大きく、オブジェクト視野の深度解像の向上が可能なことである。これにより、例えば、イメージ検出デバイスの小型化及び/又は焦点距離の短縮により誘導される深度解像低減の補償が可能になる。
【0014】
さらなる効果的な実施形態は、従属クレームの主題である。
【図面の簡単な説明】
【0015】
図1a図1aは、列状構造体内に複数の光学チャネル及びイメージセンサ領域を備えるマルチアパーチャ・デバイスを示す略平面図である。
図1b図1bは、オブジェクト領域を検出するためのイメージセンサ上の光学チャネルの二次元配置を示す略図であり、イメージセンサ領域の配置は、オブジェクト領域内部のサブ領域のポジションに一致する。
図1c図1cは、光学チャネルを、例えば図1aの光学チャネルと略等しいオブジェクト領域のサブ領域を検出する関連の光学素子の中心に対してシフトした結果として、個々のチャネルにより走査されたオブジェクト領域の分布を示す略図である。
図2a図2aは、図1aのマルチアパーチャ・デバイスの一区画又は部分を示す略平面図である。
図2b図2bは、図2aが示す部分の略平面図であり、光学チャネルは、個々のイメージ化チャネルのイメージ領域が列方向に対して垂直である同じ位置に配置されるように列方向に対して垂直である横方向オフセットを呈する。
図3a図3aは、図2aによるイメージセンサ領域の結果的配置の可能性を示す、イメージセンサ基板の略平面図である。
図3b図3bは、図2bによる光学チャネルの配置から結果的に生じ得る、イメージセンサ領域の略配置を示す。
図4a図4aは、一様な設定基準による光学チャネル配置を有する部分形式であるマルチアパーチャ・デバイスの一区画を示す略平面図である。
図4b図4bは、図4aに類似する光学チャネルのソートを行っているマルチアパーチャ・デバイスの一部としての部分を示す略平面図であり、光学チャネルは、個々のイメージ化チャネルのイメージ領域が列方向に対して垂直である同じ位置に配置されるように、列方向に対して垂直である横方向オフセットを呈する。
図5a図5aは、代替ソート順による光学チャネルを有する部分形式であるマルチアパーチャ・デバイスの一区画を示す略平面図である。
図5b図5bは、図5aに類似する光学チャネルのソートを行っているマルチアパーチャ・デバイスの一部としての部分を示す略平面図であり、光学チャネルは、個々のイメージ化チャネルのイメージ領域が列方向に対して垂直である同じ位置に配置されるように、列方向に対して垂直である横方向オフセットを呈する。
図6a図6aは、図2aによる部分が列構造体沿いに隣り合って4つ配置されているマルチアパーチャ・デバイスを示す略平面図であり、これらの4部分は、略同じビューイング方向に配向されるチャネルが、個々の光学素子間及び個々のサブイメージ領域間でX方向及び/又はY方向に2分の1画素ピッチだけさらなるシフトを呈することにおいて、互いに異なる。
図6b図6bは、図2bによる部分が列構造体沿いに隣り合って4つ配置されているマルチアパーチャ・デバイスを示す略平面図である。
図6c図6cは、図による4つの部分が列構造体沿いに隣り合って配置されているマルチアパーチャ・デバイスを示す略平面図であり、これらの4つの部分は、略同じビューイング方向に配向されるチャネルが、個々の光学素子間及び個々のサブイメージ領域間でX方向及び/又はY方向に2分の1画素ピッチだけさらなるシフトを呈することにおいて異なる。
図6d図6dは、図4bによる部分が列構造体沿いに隣り合って4つ配置されているマルチアパーチャ・デバイスを示す略平面図である。
図6e図6eは、図5aによる部分が列構造体沿いに隣り合って4つ配置されているマルチアパーチャ・デバイスを示す略平面図であり、これらの4部分は、略同じビューイング方向に配向されるチャネルが、個々の光学素子間及び個々のサブイメージ領域間でX方向及び/又はY方向に2分の1画素ピッチだけさらなるシフトを含むことにおいて異なる。
図6f図6fは、図5bによる部分が列構造体沿いに隣り合って4つ配置されているマルチアパーチャ・デバイスを示す略平面図である。
図7図7は、図6aの変形例による部分の代替配置を示す4つの略図であり、4つの部分は、略同じビューイング方向に配向されるチャネルが、個々の光学素子間及び個々のサブイメージ領域間でX方向及び/又はY方向に2分の1画素ピッチだけさらなるシフトを呈することにおいて異なる。
図8a図8aは、図1aに示されているようなソート順によるイメージ化チャネルの配置を示す略図であり、4つの部分は、略同じビューイング方向に配向されるチャネルが、個々の光学素子間及び個々のサブイメージ領域間でX方向及び/又はY方向に2分の1画素ピッチだけさらなるシフトを呈することにおいて異なる。
図8b図8bは、代替ソート順による光学チャネルを有する4つの部分の配置を示す。
図8c図8cは、図8bに示されているようなマルチアパーチャ・デバイスの略平面図であり、これらの部分は、個々の部分間でX方向及びY方向に縁が重なり合わないように配置されている。
図8d図8dは、例えば図7における変形例に関して論じるように部分が互いに離隔して配置される、図8cにおける実装によるマルチアパーチャ・デバイスを示す。
図9図9は、先行技術による例示的なマルチチャネルイメージ化システムを示す略図である。
図10図10は、先行技術による2Dクラスタ・アイ・カメラによる異なるオブジェクトサブ領域の走査を示す略図である。
【発明を実施するための形態】
【0016】
続いて、添付の図面を参照し、本発明の好適な実施形態について詳述する。
【0017】
以下、図面を参照して本発明の実施形態をより詳細に論じるが、その前に、同一のエレメント、オブジェクト及び/又は構造体や、同じ機能又は同じ効果のエレメント、オブジェクト及び/又は構造体には、異なる実施形態において例示されたこれらの要素の説明を、互いに入れ替えることができ又は互いに当てはめることができるように、異なる図面で同じ参照数字が付されていることを指摘しておく。
【0018】
以下の論考において、マルチアパーチャ・デバイスは、イメージのようなオブジェクト領域を光学的に検出するためのデバイスであると理解されるべきである。マルチアパーチャ・デバイスは、例えば、いくつかの画素を有するイメージを検出するように構成されたカメラであってもよい。マルチアパーチャ手法は、デバイスのコンパクトな構成を可能にする。画素は、例えば、電荷結合デバイス(CCD)又は相補形金属酸化膜半導体(CMOS)イメージセンサによって検出されてもよい。イメージセンサは、1つ又はいくつかのイメージ変換器エレメント内に配置され得る1つ又はいくつかのイメージセンサ領域を備えていてもよい。マルチアパーチャ・デバイスの光学チャネルは、イメージセンサ領域である、イメージ変換器の少なくとも1つの画素上へ、オブジェクト視野のサブ領域をイメージ化するように構成されており、レンズ、非共軸レンズの一部又は自由形式のエリアのような、光学的中心を有する光学素子又はイメージ化光学素子を備えていてもよい。任意ではあるが、光学素子は、散乱光を遮蔽するようにシャッタを備えていてもよい。この場合、シャッタは、検出されるべきオブジェクト及び/又はイメージ変換器の間に配置されていてもよい。電気光学センサは、オブジェクト領域、又はオブジェクト領域から受信される電磁放射線を検出するように構成される。電磁放射線は、可視及び/又は不可視波長範囲を示してもよい。したがって、波長範囲は、例えば、紫外範囲であってもよいし、赤外範囲であってもよい。光学素子は、幾つかのレンズ、非共軸レンズの幾つかの部分及び/又は幾つかの自由形式エリアの組合せでもあってもよい。光学チャネルの光学素子は、この場合、例えば少なくとも2つのイメージセンサ領域上へ共通レンズによってサブ領域をイメージ化することができるように、少なくとも1つのさらなる光学チャネルに関連して配置されていてもよい。また、光学素子は、1つの光学チャネルにのみ関連して配置されていてもよい。
【0019】
図1aは、正方形の実線で示されているような複数の光学チャネル12−1から12−9を備えたマルチアパーチャ・デバイス10を示す略平面図である。光学チャネルはそれぞれ、オブジェクト領域の1つのサブ領域を検出するように構成され、各光学チャネルは、イメージ変換器上に、光学チャネル内部の破線により示されているような1つのイメージセンサ領域14−1から14−9をそれぞれ含んでいる。光学チャネル12−1から12−9の各イメージセンサ領域14−1から14−9は、サブ領域から受信される光又は放射線を集束するためのレンズより小さい面積を備え得るが、イメージセンサ領域14−1から14−9の面積が光学チャネル12−1から12−9の面積より小さいものであり得るのはこのためである。幾つかのサブイメージ変換器14−1から14−9は、共通の基板(シングルチップ)上に配置されていてもよい。光学チャネル12−1から12−9内部におけるイメージセンサ領域14−1から14−9の異なる配向が示すように、光学チャネル12−1から12−9は、互いに異なる視角を備えており、光学チャネル12−1から12−9が、オブジェクト領域の互いに異なるサブ領域を検出するように構成されている。また、破線正方形及び光学チャネルの付番によっても示されているように、光学チャネル12−1から12−9は、例えば“7”“8”、又は“8”“9”のようなオブジェクト領域の隣り合ったサブ領域が重なり合うように配置されている。サブ領域が重複することにより、サブイメージから深度情報を決定しかつイメージ情報を抽出してオブジェクト全体の全体イメージを組み立てることができるように、接続部が評価されることが可能になり、即ち、異なるサブ領域における等しいイメージコンテンツが評価されることが可能になる。イメージセンサ領域14−1から14−9は、X方向及びY方向で光学チャネル12−1から12−9の50%のサイズに単純化して示されている。代わりに、X方向及びY方向におけるイメージセンサ領域14−1から14−9のサイズは、光学チャネル12−1から12−9のサイズに対して任意の比率であってよい。イメージセンサ領域の位置は、個々の光学チャネルのベースエリアにおける光学素子の複数の光学的中心の中心位置に依存して決定されてもよい。
【0020】
あるいは、視野全体、即ちオブジェクト領域が、X方向及びY方向に3以外の任意の数であるいくつかのサブ領域を備えることも考えられる。さらに、オブジェクト領域が、X方向及びY方向で異なる数のサブ領域、例えば5x3、15x10又は1920x1028に分割されることも考えられる。
【0021】
部分16aの詳細図は、9個の光学チャネル12−1から12−9を示している。光学チャネル12−1から12−9は、それぞれ1つのイメージセンサ領域14−1から14−9を含む個々の光学チャネルのビューイング方向を基礎として、イメージセンサ領域14−1から14−9は、破線が示すように、光学チャネル12−1から12−9のベースエリア内でシフトされる。光学チャネルの付番は、単に、サブ領域の配置及び光学チャネル間の単純な区別化を示すためのものである。付番“1”から“9”によって示されるような、個々の光学チャネル12−1から12−9の配向、即ちビューイング方向に依存して、光学チャネル12−1から12−9は、9個のサブ領域を検出するように構成されている。あるいは、オブジェクト領域はまた、2つ、3つ、10個超、1,000個超又は1,000,000個超のサブ領域を備えていてもよい。各サブ領域は、図示された例の4つのように、部分16a〜dの数に一致する数で検出される。
【0022】
マルチアパーチャ・デバイス10は、例示的に、等しいソート順の光学チャネル12−1から12−9を有する4つの部分16a〜dを備え、これらは各々、とりわけ光学チャネルの数が等しくなるように、1つのサブ領域を検出するための1つの光学チャネル12−1から12−9を備えている。言い替えれば、各サブ領域16a〜dは光学チャネル12−1から12−9をそれぞれ備え、光学チャネル12−1aから12−9は、単列構造体(single-row structure)において横に隣接するように配置されている。言い替えれば、デバイス10は、複数のカメラアレイ、光学チャネル又は光学部分16a〜dを備えている。4つのサブ領域16a〜dは、全ての光学チャネルが同じく互いに横に隣接して一列に配置されるように、それぞれ横に隣接して配置される。光学チャネル12−1から12−9の配置は、一列であり、これは、1xN形式として記述されてもよい。
【0023】
部分16a〜dの数は、達成されるべき超解像係数に起因するものであってもよい。図示されている例において、これは、例えば図9に詳細に示されているように、オブジェクト領域のX方向及びY方向の双方で各々2である。所望の超解像係数で解像度の向上を達成するために、X方向及びY方向に対応する数の光学チャネルが設けられていてもよく、個々のチャネル12−7a、12−7b、12−7c及び12−7dは、基本的に、同じオブジェクト領域を見る。イメージセンサ領域14−1は、個々のサブ領域、即ち部分16a〜dにおいて、関連する光学チャネル12−7a〜dに対してX方向及び/又はY方向へ2分の1画素だけ、即ち、列方向の横に沿った画素伸張部分の半分に相当する画素ピッチだけシフトされてもよい。したがって、部分16a及び部分16bのイメージセンサ領域14−1は、関連するチャネル12−7とは、X方向及び/又はY方向に2分の1画素だけ相違していてもよいが、Y方向には相違せず、かつ部分16cのイメージセンサ領域14−1は、部分16aのイメージセンサ領域14−1とはY方向及び/又はX方向で2分の1画素だけ相違していてもよく、かつ部分16dのイメージセンサ領域14−1は、例えば、部分16aのイメージセンサ領域14−1とはX方向及びY方向の双方で2分の1画素だけ相違していてもよい。したがって、部分16の数は、X方向及びY方向の超解像係数の積としてもよく、整数であるこれらの係数は、異なってもよい。
【0024】
オブジェクト領域の実質的に等しいサブ領域を検出する光学チャネル12−7a、12−7b、12−c及び/又は12−7dは、、列方向に対して垂直な方向又は距離X1の方向に対して垂直な方向に任意の横方向オフセットを、互いに示すことができる。この距離が、2画素、即ちサブイメージ領域間の距離(サブ画素ピッチ)の、例えば1/4、1/3又は1/2等の画分である場合、このオフセットは、サブ画素オフセット又はサブ画素ピッチとも称することができる。サブ画素ピッチは、例示的に、超解像係数を基礎としてもよい。例えば、2である超解像係数が実現され、かつオブジェクト領域のサブ領域がX方向及びY方向に2回検出される場合、サブ画素ピッチは、例えば、画素幅の1/2に一致してもよい。オフセットは、例えば、サブ画素領域内のオブジェクト領域の解像度を高めるために使用されてもよい。言い替えれば、光学チャネルのインターレーシングに起因して、隣接する光学チャネルにより光学チャネルの走査ギャップを検出することが可能である。代わりに、実質的に等しいサブ領域を検出する光学チャネル12−7a、12−7b、12−c及び/又は12−7dは、互いの間にオフセットなしで配置されてもよい。
【0025】
同じオブジェクトポイント、即ち同じサブ領域上への光学チャネル12−7a、12−7b、12−c及び/又は12−7dの視角オフセット(視差)に起因して、イメージセンサ領域に対するサブ画素シフトが達成されてもよく、これが、光学チャネル12−7a、12−7b、12−c及び/又は12−7d毎の複数の低解像マイクロイメージから超解像アルゴリズムによって全体的な高解像イメージを計算してもよい。言い替えれば、光学チャネル12−7a、12−7b、12−c及び/又は12−7dのイメージセンサ領域14−7の中心点は、光学チャネル12−7a、12−7b、12−7c及び/又は12−7dのうちの画素ピッチ又は画素ピッチの分画を有する少なくとも2つが、異なる、部分的に重なり合う検出領域を示すように、シフトして配置されてもよい。したがって、2つの光学チャネル12−7a、12−7b、12−7c及び/又は12−7dの検出領域の重なり合う領域は、イメージ検出センサ上へオフセット式にイメージ化されてもよい。
【0026】
デバイス10は、2である超解像係数、即ち22=4つの部分16a〜dを備えるものととして言及することができるが、これは、オブジェクト領域の、又はオブジェクト領域の各サブ領域のX方向及びY方向の双方が4回検出されることを意味する。サブ領域を検出する光学チャネル、例えば12−7a、12−7b、12−c及び/又は12−7d等、の間の横方向スペーシングにより、これらの光学チャネルは、検出されるサブ領域内部にシフトを示してもよく、光学チャネル12−7a、12−7b、12−7c及び/又は12−7dは、少なくとも基本的には、同じサブ領域を検出するように構成される。言い替えれば、オブジェクト領域の各サブ領域は、4回検出され、これは、オブジェクト領域の2回のX方向走査及び2回のY方向走査に相当してもよい。
【0027】
サブ領域16a〜dの等しいソート順、ひいては光学チャネル12−7a、12−7b、12−7c及び12−7dのような、オブジェクト視野の少なくとも略等しいサブ領域を検出する光学チャネルは、列構造体(row structure)の実装に沿って可能な限り大きい横方向距離を許容する。イメージセンサ領域14−1から14−9の列構造体の実装に沿った距離によって示されるように、光学チャネル12−1から12−9のイメージセンサ領域14−1から14−9間には、光学的ボイド、即ち隙間が形成されてもよい。これらの隙間には、即ち、例えばサブイメージ変換器間の領域には、読出し回路、アナログ−デジタル変換器(ADC)、増幅器、他等の非感光性電子コンポーネントが配置されてもよい。
【0028】
部分16a〜dの各光学チャネルは、オブジェクト領域のサブ領域を検出するように構成され、オブジェクト領域内の隣接するサブ領域は、部分的に重なり合う。部分16a〜dにおける光学チャネルの配置は、同一の、又は実質的に同一の、若しくは等しいサブ領域を検出する光学チャネルの距離X1が、例えば光学チャネル12−7aから12−7d、又は12−6a及び12−6b等で一定であるように、インターレースされ、かつ一様である。
【0029】
距離X1は各サブ領域16a〜dに、かつ個々のサブ領域の各光学チャネルに適用されるため、最大距離とされてもよいし、等間隔距離とされてもよい。
【0030】
さらに、1つ又はいくつかの光学チャネルは、透過フィルタを備えていてもよい。透過フィルタは、例えば、透過領域外の1つ又はいくつかの波長範囲を濾波、即ち低減又は最小にするように構成されたカラーフィルタ等である。したがって、オブジェクト領域のサブ領域は、例えば、2つ又はいくつかの異なる波長範囲について検出されてもよい。透過フィルタは、例えば、光学チャネル12−7a、12−7b、12−7c若しくは12−7d、又はサブ領域12−7a、12−7b、12−7c及び/若しくは12−7dを検出する2つ以上の光学チャネルの周知の「ベイヤモザイク」に配置されることによって、例えば、画素毎に、即ち1つの光学チャネル12−1から12−9に1つ配置されてもよい。透過フィルタは、例えば、個々の光学チャネルの対物マイクロレンズ内に、又は関連するイメージセンサ領域上に統合されてもよい。このような透過フィルタは、スペクトル色を光学チャネル12−1から12−9、又は12−7a、12−7b、12−7c若しくは12−7dに関連づけることができるようにする。
【0031】
言い替えれば、略等しいオブジェクト領域を透過させるイメージ化チャネル、又は1画素の視野の一部によってのみオフセットされるイメージ化チャネルは、ストリップ形の配置において、互いに最大距離X1に存在する。これにより、大きい視差から最大視差まで、ひいては向上した深度解像からこれに関連して考えられる最良の深度解像まで、を達成することができるようになる。
【0032】
言い替えれば、略同一のビューイング方向、ひいては略同一のイメージコンテンツを有する光学チャネルは、図1aにおいて等しい付番で示されているように、考えられる最大の横方向距離に配置される。その結果、例えば、図示されている線形配置になる。深度チャートを確立することができるように、各オブジェクトポイントは、少なくとも2つの、例えば4つのチャネルによってイメージ化される。オブジェクト距離に依存するサブイメージのシフトは、最適な深度解像が達成されるように、最大の横方向距離の結果として最大である。マルチアパーチャ・デバイス10は、考えられる最良の深度解像を達成するために、先行技術とは対照的に、イメージ変換器上のイメージポジションと個々の光学チャネルのビューイング方向との間に相関作用を含まない。イメージ領域センサは、ウェハレベルで製造されてもよく、それによって、装置を安価に実現することができる。イメージ領域センサの線形配置により、少なくとも部分的に等しいイメージ情報を含むイメージ化チャネル間の距離が最大化する。これにより、マトリクスセンサと略等しいチップ面積で最大のベース幅、ひいては最適な深度解像が達成され得る。
【0033】
列部分内部の光学チャネル12−1から12−9のソートは、所望される通りに、又は、例えば図2図4及び図5で論じるような異なる基準に従って行われてもよい。
【0034】
各光学チャネル12−1から12−9は、隣接する光学チャネル12−1から12−9の互いに異なるビューイング方向に起因して、分離した光学素子を備えてもよい。
【0035】
他の実施形態として、より多い数の光学チャネルを備えるマルチアパーチャ・デバイスを示す。したがって、マルチアパーチャ・デバイスは、1,000個超、100,000個超、1,000,000個超又は10,000,000個超の画素を有するオブジェクト領域を検出してもよく、マルチアパーチャ・デバイスは、これらに対応する数の光学チャネルを備えていてもよい。光学チャネルが部分的に配置される部分16a〜dの数は、超解像原理に従って、例えば、22、32又は42等の、自然数の二乗であってもよい。また、マルチアパーチャ・デバイス内に、2、3、5、7又は11のような異なる数の部分を配置することも考えられる。
【0036】
本デバイスの可能なアプリケーション形式は、例えば、ジェスチャ認識、3Dイメージング、マン−マシン・インタフェース、イメージ検出を含む装置又はシステム、又はカメラにおいて可能にされてもよい。潜在的な装置又はシステムは、例えば、携帯電話、スマートフォン、ラップトップコンピュータ、タブレットコンピュータ、ゲーム機、自動車用アプリケーション、データグラスのような移動体デバイスであってもよい。静止アプリケーションは、例えば、マシン又は自動マシンにおける顧客認識であってもよい。
【0037】
言い替えれば、図1aは、考えられる最大の基線長から結果的に得られる深度情報の最適化された利得を有する、小型設計のイメージ化システムを示している。したがって、マルチアパーチャ設定の光学チャネルは、少なくともその一部が列内に配置される線形配置を備えてもよい。
【0038】
本実施形態の優位点は、マルチアパーチャ・システム/デバイスが受動的に動作することができ、よってオブジェクト視野の照明を省略し得ることにある。言い替えれば、オブジェクト視野は自然に、又は例えばオブジェクト領域を検出するためにフラッシュライト等によって人工的に照明されてもよく、よって、オブジェクト領域の深度図を確立するための構造化された照明又はランタイム測定は、省略され得る。
【0039】
上記説明の代替例として、例えば図7及び図8に示されているように、マルチアパーチャ・デバイス10の個々の部分が、互いに角度を成して配置されていてもよく、任意ではあるが、互いに離隔されて配置されていてもよい。これは、例えば、移動体デバイスにおいて列構造体に沿った横方向サイズが制限される場合に効果的である。
【0040】
図1bは、オブジェクト領域を検出するためのイメージセンサ上の光学チャネル12−1から12−9の二次元配置を示す略図であり、イメージセンサ領域14−1から14−9の配置は、オブジェクト領域内部のサブ領域のポジションに一致する。このような配置は、例えば、独国特許出願公開第10 2009 049387号明細書に記述されている。光学チャネル12−1から12−9はそれぞれ、シフトされた個々のイメージセンサ領域14−1から14−9で示されているような、オブジェクト領域の異なる1つのサブ領域を検出するように構成されている。言い替えれば、光学チャネル12−1から12−9はそれぞれ、オブジェクト領域上への異なるビューイング方向を示す。隣接する光学チャネル、例えば12−1と12−2、又は12−5と12−6、又は12−4と12−7、のサブ領域は、部分的に重なり合うが、これは、隣接する光学チャネル同士が、オブジェクト距離に関する結論を引き出すことができるように部分的に等しいイメージコンテンツを検出することを意味する。図1bは、単に、光学チャネルの異なるビューイング方向による影響を例示するための光学チャネル配置を示している。オブジェクト領域が図1bによる再分割及び各X方向及びY方向における超解像係数2によって検出される場合、光学チャネルは、例えば図9に示されているものと同様に配置されてもよい。図1b及び図9は、先行技術を表していて、チャネル再分割を例示している。光学チャネル12−1から12−9は、略等しいオブジェクト領域に関連する光学チャネル12−7a、12−7b、12−7c及び12−7dが列内において、即ち列構造体において互いに最大距離X1だけ離間するようにソートされている。
【0041】
図1cは、光学チャネルを、例えば図1aの光学チャネル12−7aから12−7dに関してオブジェクト領域17のサブ領域15−1から15−9のうちの実質的に等しいサブ領域15−7を検出する関連の光学素子の中心に対してシフトした結果として、個々のチャネルにより走査されたオブジェクト領域の分布を示す略図である。サブ領域15−1から15−9は、オブジェクト領域17において、サブ領域15−1から15−9が部分的に重なり合うように配置されている。例えば、光学チャネル12−7aから12−7dのイメージセンサ領域はそれぞれ、4x4個の画素、即ちオブジェクト領域17のX方向に4画素、オブジェクト領域17のY方向に4画素を検出するように構成されている。光学チャネル12−7aの4x4画素は記号xで表され、光学チャネル12−7bの4x4画素は記号oで、光学チャネル12−7cの4x4画素は記号Δで、光学チャネル12−7dの4x4画素は時計方向に180゜反転された記号Δ、以後逆Δと称する、で表される。
【0042】
光学チャネル12−7aから12−7dは、基本的に同じサブ領域15−7を検出するように構成されている。個々の画素x、o、Δ又は逆Δは、互いに対する、即ち個々の光学チャネル内の画素ピッチdpを示す。光学チャネル12−7aから12−7dは、互いに横方向へ、即ちX方向及び/又はY方向のいずれかへ、画素ピッチdpの画分(dp/2)だけ、即ちサブ画素シフトだけ、又はサブ画素オフセットだけシフトされ、例えば記号xを有する画素は、記号o又は記号Δを有する隣接ピクセルに対して分画dp/2の距離を示す。
【0043】
言い替えれば、例えば光学チャネル12−7aから12−7dが類似の又は同一の設定を示す場合、個々の光学チャネル12−7aから12−7d及び/又はそのイメージ化光学素子の異なるイメージセンサ領域の中心点は、上記画分だけ互いにシフトされてもよい。このようにしてシフトされた検出領域、即ち光学チャネル12−7a、12−7b、12−7c又は12−7dにより検出される領域は、重なり合う領域19を含む。重なり合う領域19は、例えば図3a及び図3bにおいて論じるように、イメージセンサ上へオフセット式にイメージ化されてもよい。
【0044】
この場合、画分は、実現される超解像係数に依存してもよい。あるいは、画分又はサブ画素シフトは、画素ピッチdpの異なる画分であってもよい。
【0045】
上記説明の代替例として、画素ピッチの画分が(1/10、1/20又は1/200)といった少量になる、もしくはゼロにすらなるように、光学チャネル12−7aから12−7dのうちの1つ又はいくつかは、互いに対するシフトを示さない、又は略示さない場合もある。この場合は、記号x、o、Δ又は逆Δのうちの2つ以上が上下して位置決めされる。実施形態において、これは、例えば、異なる光学チャネルが異なる透過フィルタを備えかつ例えば個々のサブ領域15−7の異なる色を検出する場合に効果的であり得る。
【0046】
図2aは、図1aに示されているような光学チャネル12−1から12−9のソートを有するマルチアパーチャ・デバイス10の一区画、例えば部分16を示す略平面図である。隣接する2つの光学チャネル、例えば12−7と12−3、12−8と12−2、12−9と12−1又は12−4と12−6、は、光学チャネルのイメージセンサ領域の個々のポジションに対して最大角距離を示してもよく、例えば光学チャネル12−7と12−3のそれは、180゜である。言い替えれば、隣接する2つの光学チャネルのビューイング方向は、180゜まで回転又はミラーリングされる。隣接する光学チャネル、例えば12−3と12−8、又は12−2と12−9、は、互いに対して例えば90゜から180゜までの間の角距離を示し、よって、例えば図9に示されているように、装置に対する角距離が増大される。
【0047】
言い替えれば、部分16aの隣接する光学チャネル12−1から12−9は、それらのビューイング方向が最大の相違を示し得るように配置される。
【0048】
光学チャネル12−1から12−9は、図2aに示されているように、個々の光学チャネル12−1から12−9の中心点、即ち光学的中心点が、直線18に沿って、又は直線18上に配置されるように配置されてもよい。これは、イメージセンサ領域14−1から14−9の中心点と線18との距離が変わり得ることを意味する。言い替えれば、光学チャネル12−1から12−9の中心点は、共線的である。
【0049】
図2bは、マルチアパーチャ・デバイス10’の部分16’aを示す略平面図である。線18に沿った光学チャネルのソート順は、図2aのソート順と同じである。図2aとは対照的に、光学チャネル12−1から12−9は、イメージセンサ領域の中心点又は中心が線18に対して共線的に配置されるように、列構造体の線形配置に沿ってX方向にオフセットされている。
【0050】
あるいは、光学チャネル12−1から12−9及びイメージセンサ領域14−1から14−9の中心は、共に、線18から部分的又は完全に離隔されるように配置されてもよい。中心点又は中心は、光学チャネル12−1から12−9又はイメージセンサ領域14−1から14−9の断面が正方形である場合、各正方形の対向する2角を結ぶ2つの対角線である接続線の交点を用いて決定されてもよい。代わりに、又は代わりに形成される光学チャネル12−1から13−9又はイメージセンサ領域14−1から14−9の場合、中心は、例えば、幾何学的な重心又は中心点を用いて決定されてもよい。あるいは、光学チャネル12−1から13−9又はイメージセンサ領域14−1から14−9の長手方向中心線は、線18との共線性又は線18からの離隔配置を記述するために使用されてもよい。
【0051】
イメージ変換器領域、即ちイメージ変換器又はイメージセンサのエリアに関して言えば、図2bに示されているような光学チャネル12−1から12−9の配置は、CCD又はCMOSセンサ等の必要とされるセンサエリアが図3に示されているように縮小され得ることから、有効となり得る。
【0052】
言い替えれば、図2bにおいて、光学チャネルは、図2aと同様の順に配置されているが、サブイメージャ、即ちイメージセンサ領域14−1から14−9の中心点が線18上に位置決めされ、ひいてはアクティブなサブイメージャエリアの包絡線がY方向に最小の伸長を示し得るように、Y方向に、即ち列方向に対して横方向にシフトされている。これにより、ストリップ形イメージセンサの最小高さ、即ち最小限のエリア消費が達成され得る。
【0053】
図2a及び図2bは、全体的なデバイス10及びデバイス10’の部分図を示しているだけである。全体として見れば、超解像係数に依存して、一列は、前後して、又は互いに角度をなして配置され得るいくつかの、例えば4つのセル、即ち部分、16又は16’より構成されてよい。サブイメージャ、即ちイメージセンサ領域14−1から14−9は、オブジェクト領域のX/Y方向に、超解像係数で除された個々の画素の幅、例えばdp/2等だけシフトされる。
【0054】
図3aは、基板22上のイメージセンサ領域14−1から14−9の結果的配置の可能性を示す、イメージセンサの基板22の概略平面図である。この配置は、例えば、光学チャネル12−1から12−9を図2aに従って配置することによってなされてもよい。言い替えれば、イメージセンサ領域14−1から14−9は、図2aに等しく配置される。光学チャネル12−1から12−9は、基板22の結果的なエリア消費を例示するために、イメージセンサ領域14−1から14−9によってのみ表されている。
【0055】
線18からイメージセンサ領域14−1から14−9までの各距離を変えることにより、最小距離及び/又は最大距離に依存して基板22の幅X2が得られる。イメージセンサ領域14−1から14−9の中心点の距離に対する幅X2の伸長の依存性は、例示的には、中心線18からのイメージセンサ領域14−3の距離24−3を用いて、かつ中心線18からのイメージセンサ領域14−7の中点の距離24−7を用いて示される。距離24−3又は距離24−7が増大すると、幅X2が増大し得る。イメージセンサ領域14−4、14−5及び14−6では、イメージセンサ領域14−4、14−5及び14−6の中心点と中心線18との間の距離がほぼゼロであり、よって、残りのイメージセンサ領域の距離の個々の最大値が幅X2に影響する。
【0056】
言い替えれば、図3aにおけるサブイメージャの中心は、同一線上に配置されなくてもよい。
【0057】
図3bは、図2bに従って光学チャネルを配置することから結果的に生じ得る、イメージセンサ領域14−1から14−9の配置を示す。中心線18に沿ったイメージセンサ領域14−1から14−9の中心点の配置により、基板22’の幅X2’は、図3aにおける幅X2より低減され得る。その結果、基板22’の表面積は、図3aにおける基板22の表面積より低減され、イメージ変換器のセンサの表面積も低減され得る。
【0058】
基板22又は基板22’のエリア消費の低減又は最小化は、イメージセンサ領域14−1から14−9の中心点の配置によって達成されてもよく、その結果、材料が節約され、かつ必然的にコスト及び/又は設定サイズが低減され得る。イメージセンサの高いフィルファクタは、例えば、イメージセンサ上に配置される全画素の全体面積の、イメージセンサの全体面積に対する比によって記述されてもよい。
【0059】
言い替えれば、サブイメージャの中心は、同一線上に配置され、その結果、包絡線、即ち基板22’の外縁は、線18に対して垂直なY方向に小さい、又は最小の伸長X2を有する。その結果、サブイメージ、即ちイメージセンサ領域14−1から14−9が上に配置される基板22’のエリア消費が少なくなり、フィルファクタ、即ち基板の面積効率が最適化される。
【0060】
図4aは、一様な設定基準による光学チャネル12−1から12−9及びイメージセンサ領域14−1から14−9の配置を有する部分24の形式であるマルチアパーチャ・デバイス20の一区画を示す概略平面図である。図1bで論じたような光学チャネル12−1から12−9の配置を考慮すれば、図1bにおいて一線を成す視野のイメージセンサ領域14−1から14−9、即ちイメージセンサ領域14−1から14−3、14−4から14−6及び14−7から14−9はそれぞれ、個々のイメージセンサ領域14−1から14−3、14−4から14−6及び14−7から14−9の中心点から線18までの距離の等しいY成分を含む。言い替えれば、図1bの視野列のY成分と、ひいては、視野角、即ちオブジェクト視野における各光学チャネルの方向性は、等しい。
【0061】
視野又はオブジェクト視野において隣接する光学チャネル12−1から12−3、12−4から12−6及び12−7から12−9の隣接配置は、例示的には、イメージセンサの光学チャネル12−1から12−9又はイメージセンサ領域14−1から14−9を配線する場合、単純化された回路配置に結果的になってもよい。言い替えれば、列を構成する隣接する光学チャネル12−1から12−9は、Y方向に等しい視角を示してもよい。
【0062】
図4bは、光学チャネル12−1から12−9のソートが図4aに類似している、マルチアパーチャ・デバイス20’の一部としての部分24’を示す概略平面図であり、光学チャネルは、Y方向に、イメージセンサ領域14−1から14−9の中心点が線18上に配置され、その上にイメージセンサ領域14−1から14−9が配置される基板が図2a及び図4aよりも低減され又は最小化されたエリア消費を示し得るように配置されている。言い替えれば、図4bは、光学チャネル12−1から12−9の一様な設定順又はソート順を示し、隣接する光学チャネル12−1から12−9の視野角のY成分は等しい。さらに、列内の画素行列は、イメージセンサ基板のエリア消費が結果として可能な限り最小となるように配置されてもよい。光学チャネル12−1から12−9は、サブイメージャ、即ちイメージセンサ領域14−1から14−9の中心点が線18上に配置され、かつサブイメージャの包絡線が必然的にY方向に最小の伸長を示すように、図1aよりもY方向にシフトされている。
【0063】
図5aは、代替ソート順による光学チャネル12−1から12−9を有する部分26の形式であるマルチアパーチャ・デバイス30の一区画を示す概略平面図である。光学チャネル12−1から12−9は、イメージセンサ領域14−1から14−9が全体的に見て互いの最大距離D93、D63、D86、D82、D52、D75、D71及びD41を示すように、即ち光学チャネル12−1から12−9間のデッドゾーンが増大し又は最大化されるように配置されている。これは、イメージセンサ領域14−1から14−9間の空間が、イメージセンサ領域14−1から14−9間の最適な空間利用を可能にするように配分され、イメージセンサ領域14−1から14−9間のクロストーク構造は、最大幅、即ち線18に沿った最大伸長を示し得ることを意味する。実施形態は、各々が2つのイメージセンサ領域14−1から14−9間で等しい幅を備える複数のクロストーク構造を示し、考えられる最大の等しい幅は、例示的には、2つのイメージセンサ領域14−1から14−9間の最小距離によって影響され得る。例えば、図2aに示されているように、イメージセンサ領域14−4及び14−6では、最大角距離等の他の最適化基準によって、結果的に、2つのイメージセンサ領域14−1から14−9間の距離がほぼ距離ゼロまで低減又は最小化されてもよい。
【0064】
他の実施形態は、例えば図4aで論じたように、イメージセンサ領域14−1から14−9間、例えば図4aにおける14−1と14−2との間に最小距離を有する。これは、例示的に、光学チャネル12−1から12−9の線18に沿ったX方向サイズの僅か4分の1に相当する。
【0065】
しかしながら、距離D93、D63、D86、D82、D52、D75、D71及びD41は、光学チャネル12−1から12−9のX方向サイズより大きい幅を有していてもよく、数百マイクロメートル、例えば200μm超、400μm超又は700μm超から数ミリメートル、例えば2mm超、5mm超又は7mm超までであってもよい。クロストーク構造は、例えば、吸光性で部分的に透明又は不透明な物質を含んでいてもよく、かつクロストーク、即ち1つの光学チャネル12−1〜12−9から別の光学チャネル12−1〜12−9への光又は電磁放射線の遷移を低減又は防止するように構成されていてもよい。クロストーク構造の最大幅により、結果的に、光学チャネル12−1から12−9間のスプリアス光クロストークの抑止が最大になり得る。イメージセンサ領域14−1から14−9間の距離の全体的な最大化により、結果的に、基板表面を覆うイメージセンサ領域間の隙間/空間の分布が一様になる。これらの一様な距離は、例えば、非感光性の電子コンポーネントを隙間に組み入れる場合、各光学チャネルが一様な空間を利用できることから有効なものとなり得る。
【0066】
言い替えれば、列の隣接するチャネルのサブイメージャは、像平面に最大の横方向距離を有する。
【0067】
図5bは、図5aによるソート順の光学チャネル12−1から12−9を有する、マルチアパーチャ・デバイス30’の一部としての部分26’を示す略平面図であり、イメージセンサ領域14−1から14−9の中心点が線18に沿って配置されている。
【0068】
言い替えれば、図5bは、サブイメージャの中心点が線18上に配置され、かつサブイメージャの包絡線が必然的にY方向に最小の伸長を有するように光学チャネル12−1から12−9がY方向にシフトされた、図5aのソート順を示している。
【0069】
図6a〜図6fは、X方向及びY方向の双方で超解像係数が2である、即ち4つの光学的列が隣り合わせに配置された光学的マルチアパーチャ・デバイスを示す略平面図である。言い替えれば、図6a〜図6fは、先に論じかつ諸区画で例示したマルチアパーチャ・デバイス10、10’、20、20’、30、30’を示す全体図である。
【0070】
図6aは、4つの部分16a〜dが列構造体沿いに隣り合って配置されているマルチアパーチャ・デバイス10を示す概略平面図である。マルチアパーチャ・デバイス10は、変形例Aとも称することができる。ほぼ同じビューイング方向で配向される4つの部分16a〜dの光学チャネルは、個々の光学素子及び個々のサブイメージ領域間でX方向及び/又はY方向に画素ピッチの画分だけ、例えば半分だけのシフトをさらに含んでいてもよい。
【0071】
図6bは、4つの部分16’a〜dが列構造体沿いに隣り合って配置されているマルチアパーチャ・デバイス10’を示す概略平面図である。マルチアパーチャ・デバイス10’は、変形例Bとも称することができる。
【0072】
図6cは、4つの部分24a〜dが列構造体沿いに隣り合って配置されているマルチアパーチャ・デバイス20を示す概略平面図である。マルチアパーチャ・デバイス20は、変形例Cとも称することができる。ほぼ同じビューイング方向で配向される4つの部分16a〜dの光学チャネルは、個々の光学素子及び個々のサブイメージ領域間でX方向及び/又はY方向に画素ピッチの画分だけ、例えば半分だけのシフトをさらに含んでいてもよい。
【0073】
図6dは、4つの部分24’a〜dが列構造体沿いに隣り合って配置されているマルチアパーチャ・デバイス20’を示す概略平面図である。マルチアパーチャ・デバイス20’は、変形例Dとも称することができる。
【0074】
図6eは、4つの部分26a〜dが列構造体沿いに隣り合って配置されているマルチアパーチャ・デバイス30を示す概略平面図である。マルチアパーチャ・デバイス30は、変形例Eとも称することができる。ほぼ同じビューイング方向で配向される4つの部分16a〜dの光学チャネルは、個々の光学素子及び個々のサブイメージ領域間でX方向及び/又はY方向に画素ピッチの画分だけ、例えば半分だけのシフトをさらに含んでいてもよい。
【0075】
図6fは、4つの部分26’a〜dが列構造体沿いに隣り合って配置されているマルチアパーチャ・デバイス30’を示す概略平面図である。マルチアパーチャ・デバイス30’は、変形例Fとも称することができる。
【0076】
図2図4及び図5とは対照的に、図6a〜図6fは、X方向及びY方向の双方で超解像係数が2であり、相応して22=4個のほぼ同一の素子を許容し得る、個々の光学デバイス10、10’、20、20’、30、30’の列の全体図を示している。
【0077】
図7の4図は、図6aの変形例Aにおける部分16a〜dの代替配置を示す略図である。修正された変形例A’、A’’、A’’’又はA’’’’は各々、2つの部分又はサブ領域A’−1及びA’−2を含む。サブ領域A’−1及びA’−2は各々、図1aに示されているような2つの部分16a及び16b、並びに部分16c及び16dを含む。変形例A’において、2つのサブ領域A’−1及びA’−2は、互いに垂直に、かつ互いに離間している。変形例A’’において、2つのサブ領域A’−1及びA’−2は、部分16c及びひいてはサブ領域A’−2がサブ領域A’−1においてX方向に配置されるように、互いに垂直にかつ互いに直に隣接して配置されている。
【0078】
変形例A’’’において、サブ領域A’−1及びA’−2は、部分16bと部分16cとの距離が最小でありかつ変形例A’’’の伸長がX方向及びY方向で等しくなるように、互いに直接的に隣接して配置されている。
【0079】
変形例A’’’’は、変形例A’’に類似する2つのサブ領域A’−1及びA’−2の配置を示し、サブ領域A’−2は、Y方向でサブ領域A’−1に隣接するように配置されている。
【0080】
略同一のビューイング方向で配向される4つの部分16a〜dの光学チャネルはそれぞれ、個々の光学素子及び個々のサブイメージ領域間でX方向及び/又はY方向に画素ピッチの画分だけ、例えば半分だけのシフトをさらに示してもよい。
【0081】
言い替えれば、図7は、X方向及びY方向の双方で超解像係数が2である場合、即ちビューイング方向毎に4つのイメージ化チャネルが存在する場合に結果として生じ得る、図2のイメージ化チャネルが互いに垂直に配置される2つの部分列でソートし直された完全な配置図を示している。本配置は、上下に配置される、この場合も2つのほぼ同一のサブ領域である2つのサブ領域、即ち2つの部分からなり、X/Y方向の列の4つのサブ領域における等しいビューイング方向、即ち同一の付番のサブイメージャは、X方向及びY方向に各超解像係数で除された画素の幅だけシフトされる。4つの変形例A’からA’’’’が示す配置はそれぞれ、互いに垂直である2つの2分の1列の配置が異なっている。
【0082】
原則的には、全体としての列は、図6aから図6fに示されているように、任意数の部分を含んでいてもよい。このような全体列は、互いに同一の構成となり得る複数の部分列に細分されてもよい。これらの部分列は、互いに任意の角度、例えば45゜、60゜、90゜又は180゜もって配置されていてもよい。
【0083】
図8aは、図1aに示されているようなソート順によるイメージ化チャネルの配置を示す概略図である。超解像係数2を基礎として、本デバイスは、例示的に、互いに直角をなして直接的に隣接するように配置された4つの部分16a〜dを備えていてもよい。
【0084】
図8bは、4つの部分28a〜dの配置を示す。部分28a〜dの光学チャネルのソート順は、ミラーリングされた部分16のソート順と一致していてもよい。この実施形態の効果は、ソート順が、所望のソート効果、例えば個々のイメージセンサ領域間の最大角距離を維持しながら、例えば非感光性コンポーネントの位置合わせの最適化、又は個々のイメージ領域センサに接触するように構成される基板又はボードの配線に起因して調整され得ることにある。
【0085】
図8cは、図8bに示されているようなマルチアパーチャ・デバイスを示す略平面図であり、部分16a〜dは、例えば変形例A’’’に関して図7で記述しているように、個々の部分28a〜d間でX方向及びY方向に縁が重なり合わないように配置されている。このような配置は、X方向及びY方向にサイズが等しい大きさの光学チャネルを有するマルチアパーチャ・デバイスを可能にする。
【0086】
図8dは、図8cにおける説明によるマルチアパーチャ・デバイスを示す。このマルチアパーチャ・デバイスは、例えば変形例A’に関して図7で論じているように部分28a〜dが互いに離隔するように配置されている。
【0087】
略同一のビューイング方向で配向される4つの区画16a〜d又は28a〜dの光学チャネルは、個々の光学素子及び個々のサブイメージ領域間でX方向及び/又はY方向に画素ピッチの画分だけ、例えば半分だけのシフトをさらに示してもよい。
【0088】
言い替えれば、図8a〜図8dは、X方向及びY方向の双方で超解像係数が2である場合、即ちビューイング方向毎に4つのイメージ化チャネルが存在する場合の、互いに垂直である4列における図7のイメージ化チャネルの再ソートを示す。図8a〜図8dはそれぞれ、例示的な配置の全体図を示す。個々の配置は、互いに直角に配置された4つの略同一のサブ領域からなり、X/Y方向の列全体の4つのサブ領域又は部分列における同一ビューイング方向のサブイメージャ、即ち同一付番のイメージセンサ領域は、X方向及びY方向に、各超解像係数で除された画素の幅だけシフトされてもよい。図8a〜図8dは、4つの垂直な部分列の配置がそれぞれ異なる4つの変形例を示している。
【0089】
部分列は90゜以外の角度を示していてもよく、また4以外の数であってもよい。また、図8に例示されているような四角形ではなく、例えば三角形構造、五角形構造又は異なる多角形になってもよい。また、列又は部分列は、光学チャネルが例示的に楕円又は円形状となるように、列方向に沿って湾曲することも考えられる。部分列が、例えば時計方向又は反時計方向に回される場合には、図6a〜図6fによるような光学チャネルの順序になってもよい。
【0090】
図9は、先行技術による例示的なマルチチャネルイメージ化システムを示す概略図である。このマルチチャネルイメージ化システムは、X方向及びY方向に各々超解像係数2を基礎として異なるビューイング方向で配置された光学チャネルにより構成されている。オブジェクト視野は、図1bに示されているように、デバイス50によって4回検出されてもよく、つまりは、各サブ領域が4回検出される。同じ付番“1”から“9”により示されているような、等しい、又は部分的に等しいビューイング方向を含む光学チャネルが互いに隣接するように配置され、ビューイング方向に隣接するイメージ化チャネルが横方向にも隣接するように配置される。これは、例示的に、ビューイング方向を有する光学チャネルが互いに隣接するように配置されることを意味する。異なるビューイング方向は、とりわけ、小さい破線エリアで示されているようなサブイメージ行列、即ちイメージセンサ領域の中心点の横方向オフセットによって発生される。超解像方法は、イメージ化チャネルの構造高さの低減を達成するために適用される。デバイス50は、X方向及びY方向にそれぞれ超解像係数N=2を含み、イメージコンテンツがほぼ等しい、即ち付番が“1”から“9”で等しい、かつX方向及びY方向にビューイング方向がほぼ等しい光学チャネルは、超解像係数、即ち2、で除される画素幅だけシフトされ、結果的に、ビューイング方向毎に4チャネルが必要とされ得る。
【0091】
図10は、先行技術の2Dクラスタ・アイ・カメラによる異なるオブジェクトサブ領域32−1から32−9の走査を示す概略図である。異なるオブジェクトサブ領域32−1から32−9における像点はそれぞれ、異なるグレースケールにより示されているように、クラスタ内で隣接するように配置されている。言い替えれば、サブ領域32−1から32−9は、マイクロレンズ・アレイ33を用いて、オブジェクトを、個々の光学チャネルに対するオブジェクト領域の関連性によって表す。異なるオブジェクトサブ領域32−1から32−9は、異なるグレースケールの走査点によって示されているように、互いにインターレースされる。マイクロレンズ・アレイ33は、セグメント34−1から34−9を備え、オブジェクト平面の走査領域32−1から32−9はそれぞれ、セグメント34−1から34−9に関連づけられる。セグメント34−1から36−9の隣接する中心点は、サブ領域32−1から32−9の横方向伸長に依存し得る距離PLを示し、かつ/又は、基板22上のサブ領域センサの距離dPを示す。基板22は、サブイメージを生成するために、イメージャの領域36−1から36−9を備えている。サブ領域36−1から36−9はそれぞれ、各々がオブジェクト平面のセグメント32−1から32−9に関連づけられ得るNg個のサブ領域センサを備えている。隣接するサブ領域36−1から36−9は、オブジェクト領域の横方向伸長又はマイクロレンズ・アレイ33のセグメント34−1から34−9の光学的機能、例えば焦点距離、によって影響され得る中心点間の横方向距離pKを示す。
【0092】
光学チャネルは、オブジェクト領域と、マイクロレンズ・アレイ33のセグメント34−1から34−9に関連づけられるNg個のサブ領域センサのうちの1つとの間に形成されてもよい。隣接する光学チャネルによって検出されるオブジェクトサブ領域32−1から32−9はそれぞれ、個々の走査領域のサイズの約半分だけ重なり合い、隣接するチャネルの画素グリッドは、互いにサブイメージサイズの半分だけ、さらに、画素距離の画分、即ち1/2dpだけオフセットされる。したがって、各オブジェクトポイントの周囲は、概して、4つの光学チャネルの各々により検出されてもよい。光学チャネルは、例えば独国特許出願公開第102009049387号明細書に記述されているように、5x5個といった任意数の画素を透過してもよい。言い替えれば、図10は、各々5x5画素を有する3x3個の光学チャネルを示している。
【0093】
列構造体における線形配置は、光学チャネルがそれぞれ、オブジェクト視野全体のサブ領域のみを透過する、即ち検出することを可能にし、かつ受信器側で電気光学イメージ変換器といったイメージ変換器の画素サイズに関連づけられるオブジェクト領域がそれぞれ、少なくとも2つの光学チャネルによって検出されることを可能にする。
【0094】
以上、幾つかの態様をデバイスに関連して記述したが、これらの態様が、対応する方法の説明をも表すことが理解されるべきであり、デバイスのブロック又はエレメントが、対応する方法ステップ又は方法ステップの特徴でもあることが理解されるべきである。同様に、方法ステップに関連して、又は方法ステップとして記述されている態様は、対応するデバイスの対応するブロック又は詳細又は特徴に関する記述をも表す。
【0095】
所定の実装要件に依存して、本発明の実施形態は、ハードウェア又はソフトウェアの何れに実装されてもよい。実装は、デジタル記憶媒体、例えばフロッピーディスク、DVD、ブルーレイディスク、CD、ROM、PROM、EPROM、EEPROM又はフラッシュメモリ、ハードディスクドライブ、又は個々の方法が実行されるようにプログラマブル・コンピュータ・システムと協働可能な電子読取り可能制御信号を記憶する別の磁気又は光学記憶装置、を用いて行われてもよい。これは、デジタル記憶媒体がコンピュータ読取り可能であり得ることを意味する。したがって、本発明による一部の実施形態は、本明細書に記載されている方法のうちの1つが実行されるようにプログラマブル・コンピュータ・システムと協働可能な電子読取り可能制御信号を含むデータキャリアを備える。
【0096】
概して、本発明の実施形態は、プログラムコードを有するコンピュータ・プログラム・プロダクトとして実装されてもよく、プログラムコードは、コンピュータ上でコンピュータプログラムが実行されるとき方法のうちの1つを実行するように作動する。プログラムコードは、例えば、機械読取り可能キャリア上にも記憶されてもよい。
【0097】
他の実施形態は、本明細書に記述されている方法のうちの1つを実行するためのコンピュータプログラムを含み、コンピュータプログラムは、機械読取り可能キャリア上に記憶される。
【0098】
言い替えれば、本発明に係る方法の一実施形態は、コンピュータ上でコンピュータプログラムが実行されるとき本明細書に記述されている方法のうちの1つを実行するためのプログラムコードを備えるコンピュータプログラムである。したがって、本発明方法の別の実施形態は、本明細書に記述されている方法のうちの1つを実行するためのコンピュータプログラムが上に記録されるデータキャリア(又は、デジタル記憶媒体又はコンピュータ読取り可能媒体)である。
【0099】
したがって、本発明方法の別の実施形態は、本明細書に記述されている方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信リンクを介して、例えばインターネットを介して転送されるように構成されていてもよい。
【0100】
別の実施形態は、本明細書に記述されている方法のうちの1つを実行するように構成又は適合化される処理手段、例えばコンピュータ又はプログラム可能な論理デバイスを含む。
【0101】
別の実施形態は、本明細書に記述されている方法のうちの1つを実行するためのコンピュータプログラムがインストールされるコンピュータを含む。
【0102】
実施形態によっては、本明細書に記述されている方法のいくつかの、又は全ての機能を実行するために、プログラム可能な論理デバイス(例えば、フィールド・プログラマブル・ゲート・アレイ:FPGA)が使用されてもよい。実施形態によっては、フィールド・プログラマブル・ゲート・アレイは、本明細書に記述されている方法のうちの1つを実行するようにマイクロプロセッサと協働してもよい。概して、実施形態によっては、方法は、任意のハードウェアデバイスにより実行される。これは、コンピュータプロセッサ(CPU)といった一般的に使用可能なあらゆるハードウェア、又は方法特有のハードウェア、例えばASIC、であってもよい。
【0103】
これまでに記述した実施形態は、単に本発明の原理を例示したものである。本明細書に記述されている配置及び詳細の改変及び変形が当業者にとって自明となることは、理解されるべきである。したがって、本発明は、本明細書において実施形態の説明及び論考を用いて提示されている特定の詳細ではなく、以下のクレームの範囲によってのみ限定されることが意図されている。
図1a
図1b
図1c
図2a
図2b
図3a
図3b
図4a
図4b
図5a
図5b
図6a
図6b
図6c
図6d
図6e
図6f
図7
図8a
図8b
図8c
図8d
図9
図10