特許 7549629 波面の空間分布に関する情報を抽出するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-03

(45)【発行日】2024-09-11

(54)【発明の名称】波面の空間分布に関する情報を抽出するためのシステムおよび方法

(51)【国際特許分類】

   G01B 11/24 20060101AFI20240904BHJP

【ＦＩ】

G01B11/24 K

【請求項の数】 12

【外国語出願】

(21)【出願番号】P 2022126669

(22)【出願日】2022-08-08

(65)【公開番号】P2023026372

(43)【公開日】2023-02-24

【審査請求日】2022-12-02

(31)【優先権主張番号】21382755.3

(32)【優先日】2021-08-11

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】519278343

【氏名又は名称】ウープティックス ソシエダ リミターダ

(74)【代理人】

【識別番号】110001416

【氏名又は名称】弁理士法人信栄事務所

(72)【発明者】

【氏名】リカルド オリバ ガルシア

(72)【発明者】

【氏名】チェルソ サバト

(72)【発明者】

【氏名】ホセ マヌエル ロドリゲス ラモス

【審査官】眞岩 久恵

(56)【参考文献】

【文献】特開２０１８－１３７６４８（ＪＰ，Ａ）

【文献】国際公開第２０２０／０６６３４１（ＷＯ，Ａ１）

【文献】特表２０２０－５０６３９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

複数の画像から波面の２次元および／または３次元分布上の情報を取り込むための光学システム（１００）であって、
画像を撮影するための少なくとも１つのセンサ（１０１）であって、それにおいて前記少なくとも１つのセンサが複数のピクセル（１０６）を包含し、かつ前記ピクセルのうちの少なくともいくつかが少なくとも２つのフォトダイオード（１０２，１０３）を包含する、少なくとも１つのセンサ（１０１）と、
少なくとも１つの可調光学素子（１０４）であって、前記光学システム（１００）の焦点を変更するべく適合されており、前記少なくとも１つの可調光学素子（１０４）は、前記光学システムの前記焦点を、１０ミリ秒より短い時間スケールで変更するべく構成されている、少なくとも１つの可調光学素子（１０４）と、
を包含し、それにおいて、前記少なくとも１つの可調光学素子（１０４）によって設定された複数の合焦位置において、前記少なくとも１つのセンサ（１０１）を用いて複数の画像を撮影するために構成された光学システム（１００）。

【請求項2】

前記少なくとも１つの可調光学素子（１０４）は、液体レンズおよび／または可動レンズおよび／または可調プリズムを包含する、請求項１に記載の光学システム（１００）。

【請求項3】

前記光学システムの焦点距離範囲を変更するべく構成されたさらなる光学素子、たとえばレンズを包含する、請求項１または２に記載の光学システム（１００）。

【請求項4】

さらに、少なくとも１つのコリメータを包含し、それにおいて前記コリメータは、前記少なくとも１つの可調光学素子（１０４）の前に、前記光学システム（１００）の光軸に沿って配される、請求項１または２に記載の光学システム（１００）。

【請求項5】

前記少なくとも１つのセンサ（１０１）は、同時に少なくとも２つの画像を撮影するために構成され、それにおいて、ピクセルの異なるフォトダイオード（１０２，１０３）が、異なる画像に関連付けされる、請求項１または２に記載の光学システム（１００）。

【請求項6】

前記光学システム（１００）は、複数の撮影済み画像を記録し、処理し、前記複数の撮影済み画像から波面の前記２次元および／または３次元分布上の情報を抽出するために構成されたデータ処理システムを包含するか、またはそれと通信する、請求項１または２に記載の光学システム（１００）。

【請求項7】

複数の画像から波面の２次元および／または３次元分布上の情報を取り込み、抽出するための方法（６００）であって、
少なくともいくつかのピクセルが少なくとも２つのフォトダイオードを包含する複数のピクセルを包含する少なくとも１つのセンサを有する光学システムを用いて、前記光学システムの、前記光学システムの焦点を、１０ミリ秒より短い時間スケールで変更するべく構成されている少なくとも１つの可調光学素子によって設定された複数の合焦位置において複数の画像を撮影すること（６０１）と、
前記撮影された複数の画像に対して波面復元アルゴリズムを適用し、波面の２次元および／または３次元分布上の情報を抽出すること（６０２）と、
を包含する方法（６００）。

【請求項8】

さらに、前記撮影された複数の画像に深度回収アルゴリズムを適用して前記複数の画像内に取り込まれたシーンの深度マップを獲得することを包含する、請求項７に記載の方法（６００）。

【請求項9】

前記光学システムの前記少なくとも１つのセンサの単一の獲得において、少なくとも２つの画像が同時に撮影され、それにおいて前記少なくとも１つのセンサのピクセルの異なるフォトダイオードが、異なる画像に関連付けされる、請求項７または８に記載の方法（６００）。

【請求項10】

複数の画像から波面の２次元および／または３次元分布上の情報を取り込み、抽出するためのシステムであって、
複数の画像を撮影するための請求項１または２の光学システム（１００）と、
１つ以上のプロセッサおよびコンピュータ・メモリを包含し、前記コンピュータ・メモリが、前記１つ以上のプロセッサに、前記光学システムによって撮影された前記複数の画像から波面の前記２次元および／または３次元分布上の情報を抽出するための請求項７または８に記載の方法を実行することを指示する命令を記録する、コンピューティング・システムと、
を包含するシステム。

【請求項11】

前記システムは、ポータブル・モバイル・デバイス、たとえばスマートフォンである、請求項１０に記載のシステム。

【請求項12】

コンピュータ・システムによって実行されたときに、先行する複数の画像から波面の２次元および／または３次元分布上の情報を取り込み、抽出するための方法の請求項７または８の方法を行うコンピュータ実行可能な命令を記録するための１つ以上のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光学システム、方法、システム、および記憶媒体に関する。

【背景技術】

【0002】

３次元シーンまたは物体から２次元画像を撮影する場合、たとえば、現実の物理的な３次元空間内のシーンから画像を撮影する場合、および／または現実の物理的な３次元空間内の３次元物体から画像を撮影する場合に、当該３次元シーンまたは物体が２次元画像上に投影されるときに深度情報が失われる。

【0003】

コンピュータ・ビジョンまたはロボティック・ビジョンおよび産業計測において、たとえば、３次元物体および３次元表面特徴の認識および特徴記述を可能にするため、たとえば、ウェファ計測における半導体表面の特徴記述、および／または取り込み済みの２次元画像内の背景と前景の特徴または物体の間における明確な区別のために、失われたこの空間深度情報の少なくとも一部を回復することは、重要かつ挑戦的なタスクである。

【0004】

さらにまた、電磁波が不均質媒体を通過するとき、その波面の位相が、それのオリジナルの形状または位相に関して歪められるかまたは変形される。前記波面の歪みまたは収差は、光学システムのパフォーマンスに影響を及ぼし、それを低下させる可能性がある。

【0005】

既存のテクニックは、２次元および／または３次元分布上における情報、および現実の物理的３次元空間内の物体／被写体に関する情報を運ぶ波面形状の取り込み、抽出、および処理のために、コストの掛かる複雑な光学システム・ハードウエアおよびコンピュータ・リソース集約型処理の使用を必要とする。

【0006】

それに加えて、現行のテクニックの深度分解能は、ますます高まる近代的な産業計測用途、たとえばウェファ計測、または医学的用途、特に医用画像、たとえば眼球組織断層撮影または検鏡法の眼科検査における深度分解能需要の観点から見て満足を与えるものではない。

【0007】

さらにまた、現実の物理的３次元空間内の物体／被写体に関する情報を運ぶ波面の２次元および／または３次元分布および形状の情報の抽出および処理のための現行のテクニックは、波面形状の変化／波面位相の変化の時間的進展の正確なリアルタイム・サンプリング、およびオリジナルの波面形状／オリジナルの波面位相の復元のためには速度が遅すぎる。

【発明の概要】

【発明が解決しようとする課題】

【0008】

したがって、本発明は、現実の３次元シーンまたは物体または被写体から光学システム／カメラ／画像取り込みデバイス／画像獲得システムによって撮影された２次元画像から深度情報を抽出／推定／回復するための向上した手段を提供することを目的とする。

【0009】

特に、たとえば、現実の物理的３次元空間内の物体／被写体に関する情報を運ぶ波面の２次元および／または３次元分布および形状の情報の取り込みおよび処理を高速化することと、取り込み、抽出、および推定した深度情報の正確度および分解能を向上させることとを本発明のねらいとする。

【課題を解決するための手段】

【0010】

本発明によれば、前記目的は、独立請求項に記載の光学システム、コンピュータに実装された／コンピュータに実装可能な方法、システム、およびコンピュータ記憶媒体によって達成される。

【0011】

有利な実施態様およびさらなる発展は、従属請求項の要旨である。

【0012】

たとえば、複数の画像から波面の２次元および／または３次元分布上の情報を取り込むための光学システム／獲得システム／カメラ・システムが、以下に挙げる構成要素および構成のうちの１つ、いくつか、またはすべてを包含することができる：
・ 画像を撮影するための少なくとも１つのセンサであって、それにおいて前記少なくとも１つのセンサが複数のピクセルを包含でき、かつ前記ピクセルのうちの少なくともいくつかが少なくとも２つのフォトダイオードを包含できる、少なくとも１つのセンサ、たとえば電荷結合デバイス（ＣＣＤ）、
・ 少なくとも１つの可調光学素子であって、前記光学システムの焦点を変更するべく適合されている、少なくとも１つの可調光学素子、
・ 前記光学システムは、前記少なくとも１つの可調光学素子によって設定された複数の合焦位置、たとえば複数の異なる合焦位置において前記少なくとも１つのセンサを用いて複数の画像を撮影するために構成可能である。

【0013】

上に示されているとおり、これにおける光学システムは、獲得システムまたはカメラ・システムと呼ばれることもある。

【0014】

ここでは、複数の異なる合焦位置という用語が、すべての合焦位置が一意的な複数の合焦位置も包含するだけでなく、いくつかの合焦位置が同一であるが異なる時間的なポイントにおかれる合焦位置を参照することができる複数の合焦位置も包含することができる。

【0015】

ここでは、波面の２次元および／または３次元分布上の情報という用語が、特定の光学平面内および／または特定の時間、および前記少なくとも１つのセンサからの距離における波面の２次元および／または３次元形状または位相に関する情報を包含することができる。

【0016】

特に、波面の３次元分布上の情報という用語は、電磁界の波面の３次元分布の断層撮影、すなわち立体分布、たとえば画像のスタックにわたる、すなわち前記少なくとも１つの可調光学素子によって設定された複数の合焦位置／複数の異なる合焦位置において前記少なくとも１つのセンサによって撮影された複数の画像にわたる、たとえば光学システムの光軸に沿った波面の３次元分布を指し得る。

【0017】

言い換えると、この中に提示されている手段は、たとえば、複数の合焦位置において／複数の異なる合焦位置において撮影された一連の画像または画像のスタックから光学システムの光軸に沿った波面の３次元分布を導出／決定／測定することを可能にできる。

【0018】

さらにまた、前記少なくとも１つのセンサを用いて画像を撮影するステップおよび／または前記少なくとも１つのセンサによって波面の２次元および／または３次元分布上の情報を取り込むステップは、光強度を取り込むこと、特に、前記少なくとも１つのセンサの平面内に取り込まれた１つ以上の波面の２次元光強度分布を取り込むことを指し得ることができる。

【0019】

ここでは、センサのピクセル当たり少なくとも２つのフォトダイオードという文言を、それらが同一平面、すなわちそのセンサの平面内に配されているとして理解することができる。さらにまた、ピクセル当たり複数個のフォトダイオードは、水平または垂直に配することができる。例示的な１６：９または４：３のセンサ・フォーマットの場合、および／または景色または物体の取り込みが水平に分布するときには、ピクセル当たり複数のフォトダイオードを水平の向きに配し、情報の最適な取り込みを確保することが好ましいとし得る。

【0020】

ここでは、複数の画像という用語が、現実の物理的３次元空間内におけるシーンまたは物体または被写体から前記少なくとも１つのセンサによって撮影された複数の画像を指し得、それにおいて、前記画像は、複数の合焦位置において／複数の異なる合焦位置において撮影される。

【0021】

現実の物理的３次元空間内のシーンまたは物体または被写体は、静的または動的なものとすることが可能である。

【0022】

たとえば、現実の物理的３次元空間内のシーンまたは物体または被写体が動的である場合には、前記シーン内での移動および／または前記物体または前記被写体の移動および／または前記少なくとも１つのセンサの移動が、撮影された異なる画像の間において生じる得る可能性がある。

【0023】

前記可調光学素子は、さらに、撮影されることになる画像内において可能性のある動態、たとえば物体または被写体の移動等のシーン内において生じる移動の時間スケールに対応することが可能か、またはそれより短い時間スケールで前記光学システムの焦点を変更することが可能となるように構成できる。

【0024】

複数の合焦位置において／異なる合焦位置において前記少なくとも１つのセンサによって撮影されることが可能な複数の画像の波面の前記２次元および／または３次元分布上の前記情報は、前記複数の画像内に取り込まれた現実の３次元空間内のシーンまたは物体または被写体の深度情報、たとえば深度マップの抽出に使用することが可能である。

【0025】

言い換えると、上記の、およびこの中に例示的な述べられている、複数の画像から波面の２次元および／または３次元分布上の情報を取り込むための光学システムおよび手段は、複数の画像から深度情報を取り込むため／抽出するための光学システム／手段として理解することもできる。

【0026】

上に述べられている例示的な少なくとも１つの可調光学素子は、たとえば、焦点スケジュールに従って前記光学システムの焦点を変化させるべく構成することができ、それにおいて前記例示的な焦点スケジュールは、前記少なくとも１つの可調光学素子によって設定されるべきあらかじめ定義済みの合焦位置のリストを指定することが可能であり、かつ例示的な光学システムの前記少なくとも１つのセンサによってシーン／物体／被写体の一連の、または複数の画像が撮影されるときに、このリストがどのようにトラバースされるべきかについても指定することが可能である。

【0027】

前記例示的なあらかじめ決定済みの焦点スケジュールは、異なる合焦位置および／または同一の合焦位置を包含することが可能な複数の合焦位置を包含することができる。

【0028】

異なる言い方をするのであれば、焦点スケジュールは、画像を撮影するために時間的に異なるポイントにおいて使用され得る同一の合焦位置を指定することができる。

【0029】

その場合に光学システムは、前記例示的な焦点スケジュールを時間順にトラバースし、前記少なくとも１つの可調光学素子によって設定された定義済みの合焦位置において、前記少なくとも１つのセンサを用いて画像を撮影するために構成することができる。このように、異なる合焦位置における複数の画像および／または同一合焦位置を有する複数の画像を包含することが可能な、例示的な焦点スタックを生成することが可能である。

【0030】

異なる言い方をするのであれば、例示的な焦点スタックは、異なる合焦位置における画像のセットと同一の合焦位置（１つ以上）を伴う画像のセット、すなわち１つ以上のセットを包含することができる。

【0031】

上記の、およびこの中に例示的に述べられている手段および光学システムは、現実の３次元空間内のシーン／物体／被写体に関する空間情報、たとえば深度マップを取り込み、抽出することが可能な速度およびその分解能に関して、現行のシステムを超えた改良を提供する。

【0032】

特に、前記光学システムの焦点を変更するための可調光学素子を、前記ピクセルのうちの少なくともいくつか、たとえばすべてのピクセルが少なくとも２つのフォトダイオードを包含する複数のピクセルを包含する前記少なくとも１つのセンサと組み合わせて使用する相乗効果は、分解能および正確度に関して、異なる合焦位置を伴う複数の画像から現実の３次元空間内のシーン／物体／被写体の深度マップを獲得することが可能になるという予期しない、かつ先例のない改良をもたらす。

【0033】

これは、前記ピクセルのうちの少なくともいくつかが少なくとも２つのフォトダイオードを包含する複数のピクセルを包含する前記少なくとも１つのセンサによって抽出される情報と、前記撮影された画像の、前記少なくとも１つの可調光学素子によって設定された前記複数の合焦位置からの情報の組み合わせが、前記光学システムの前記光軸、たとえばｚ軸に沿った、与えられた合焦位置／合焦面に対する前記被写界深度内における退化または曖昧性を解決し、前記光軸に沿った前記合焦位置／焦点の値のより精密な決定を可能にすることによる。

【0034】

特に、またさらなる説明を後述するとおり、ピクセルの前記複数のフォトダイオードによって提供可能なピクセル毎の異なる視点が、光学システムの前記光軸に沿った、かつ前記少なくとも１つの可調光学素子によって設定された異なる合焦位置において撮影された前記複数の画像の前記焦点スタックに沿った合焦位置（１つ以上）／焦点（１つ以上）の三角法的決定を可能にすることができる。

【0035】

したがって、前記少なくとも１つの可調光学素子によって設定された異なる合焦位置において撮影された前記複数の画像から抽出された／抽出可能な前記情報、および少なくとも１つのセンサの前記ピクセル当たり複数のフォトダイオードから抽出された／抽出可能な前記情報は、現行のシステムと比べたとき、この中に述べられている光学システムによって獲得可能な深度マップの前記深度分解能を有意に向上させることが可能である。

【0036】

上記の、およびこの中に述べられている光学システムの例示的な前記少なくとも１つの可調光学素子は、液体レンズ、および／または可動レンズ、たとえばアクチュエータによって移動可能なレンズ、および／または可調プリズム、またはこれらのタイプの光学素子の任意の組み合わせを包含するすることができる。

【0037】

さらにまた、前記少なくとも１つの可調光学素子は、１０ミリ秒より短い時間スケールで前記光学システムの前記焦点を変更するべく構成することが可能である。

【0038】

これは、たとえば、前記撮影された複数の画像からの深度情報および波面位相情報のリアルタイムの取り込みおよび抽出の実行を可能にすることができ、その結果、前記光学システムの少なくとも１つの可調光学素子によって設定された複数の合焦位置において／複数の異なる合焦位置において撮影された前記複数画像の処理が、たとえば毎秒３０フレーム（ｆｐｓ）またはそれより高い出力画像のフレーム・レートを有するビデオ・ストリームのたとえば取り込みと並列に、またはインターリーブされて、またはそれに埋め込まれて生じることが可能となる。

【0039】

たとえば、リアルタイムで取り込まれ、抽出された深度情報および波面位相情報を用いれば、シーンまたは物体または被写体のすべてが合焦状態にあるビデオ・ストリームおよび／またはすべてが合焦状態にある画像を生成することが可能である。

【0040】

さらにまた、前記抽出した深度情報および波面位相情報を用いて、前記波面位相／波面形状を異なる光学平面に、すなわち前記少なくとも１つの可調光学素子によって設定された前記焦平面と一致する必要のない平面に復元することが可能であり、すなわち、３次元の波面位相／波面形状の分布の断層撮影を行うことが可能である。

【0041】

このことは、前記画像の完全な２次元分解能を維持しつつ、その一方で、たとえば、異なる視点から作像された／撮影された物体／被写体／シーンの眺めを描くこと／生成することを可能にする。

【0042】

さらにまた、前記抽出された深度情報および波面位相情報は、物体の寸法および形状、特に物体の表面形状の測定を可能にすることができる。

【0043】

前記抽出された深度情報および波面位相情報を使用するためのさらなる例は、任意の焦点または任意の距離における画像の生成／計算および／または立体画像／３次元画像の作成を含むことが可能である。

【0044】

上記の、およびこの中に例示的に述べられている光学システムは、それに加えて、前記光学システムの焦点距離範囲を変更するべく構成することが可能なさらなる光学素子、たとえばレンズを包含することができる。

【0045】

前記例示的な、可能性のあるさらなる光学素子は、前記少なくとも１つの可調光学素子の前または後に、前記光学システムの光軸に沿って配することができる。

【0046】

たとえば、スマートフォン用途のために、前記例示的なさらなる光学素子は、数センチメートルから無限遠までの焦点距離範囲を提供するべく構成することができる一方、また産業計測および／または医用画像における用途のために、前記例示的なさらなる光学素子は、数センチメートルから下にナノメートル台までに至る焦点距離範囲を提供するべく構成することができる。

【0047】

上記の、およびこの中に例示的に述べられている光学システムは、それに加えて、少なくとも１つのコリメータを包含することができ、それにおいて前記コリメータは、前記少なくとも１つの可調光学素子の前に、前記光学システムの光軸に沿って配することが可能である。

【0048】

上記の、およびこの中に例示的に述べられている光学システムは、特に、同時に少なくとも２つの画像を撮影するために構成することができる一方、ピクセルの異なるフォトダイオードを異なる画像に関連付けすることが可能である。

【0049】

たとえば、前記光学システムの前記少なくとも１つのセンサは、各センサのピクセル当たり２つのフォトダイオードを包含することができ、かつ各ピクセルについて、ピクセルの１つのフォトダイオードが第１の画像に関連付けされ、他方のフォトダイオードが第２の画像に関連付けされるように構成することができる。

【0050】

言い換えると、前記光学システム／前記光学システムの前記少なくとも１つのセンサは、同時に２つの画像を撮影することが可能である。

【0051】

上に述べられているセンサ・ピクセル当たり２つのフォトダイオードの構成は、例示的なものに過ぎない。前記光学システム／前記光学システムの前記少なくとも１つのセンサが同時に２を超える数の画像を撮影することができるように、このほかの、すなわちピクセル当たりより多くのフォトダイオードを伴う構成も可能である。

【0052】

たとえば、センサ・ピクセルは、偶数個または奇数個のフォトダイオードを包含できるとすることが可能である。

【0053】

しかしながら、前記撮影された画像の演算処理を容易にできることから、ピクセル当たり偶数個、たとえば、ゼロを超える自然数をｎとして表される２^ｎ個のフォトダイオードの方が好ましいとし得る。

【0054】

さらにまた、前記光学システム／前記光学システムの前記少なくとも１つのセンサは、前記複数個の画像が別々にインデクスされる画像のアレイに読み出すことが可能となるように構成することが可能である。

【0055】

ここでは、波面、すなわち電磁波面の、または光子の伝播が、幾何光学の法則に従うことが仮定されていること、すなわち、たとえば、伝播の方向が波面に対して垂直であると仮定されていることに注意する。

【0056】

完全を期するために述べるが、波面は、同一位相を有する波のポイントのセットによって定義可能であること、すなわち、前記波面または波面形状は、位相マップ、たとえば２次元位相マップによって記述可能であることに注意する。

【0057】

前記波面位相または形状が決定されるか、または測定されるか、または復元された後は、レイリー・ゾンマーフェルト回折法則の原理に従って前記波面を伝播させることが可能である。

【0058】

それによって、前記少なくとも１つの可調光学素子によって設定された前記合焦位置のセット内に取り込まれなかった光学平面／合焦面内における波面および光強度をシミュレーション／計算することが可能であり、かつ前記光学システムが、ライトフィールド・カメラとして、またトモグラフィック位相センサとして働くことが可能である。

【0059】

さらにまた、伝播された波面の光強度の分布関数を光子到達の確率についての確率密度関数（ＰＤＦ）によって表現可能であることが仮定される。

【0060】

さらに、前記波面の伝播により、束が保存されること、すなわち１次元ＰＤＦ曲線の下における総面積が一定にとどまることが仮定される。

【0061】

上記の、およびこの中に例示的に述べられている光学システムは、さらに、前記複数の撮影された画像から波面の前記２次元および／または３次元分布上の情報を抽出するために前記複数の撮影された画像を記録し、かつ処理するために構成することが可能なデータ処理システム、たとえばコンピュータ・システムを包含するか、またはそれと通信することができる。

【0062】

複数の画像から波面の２次元および／または３次元分布上の情報を取り込み、抽出するための例示的な方法は：
・ 複数のピクセルのうちの少なくともいくつかが少なくとも２つのフォトダイオードを包含する前記複数のピクセルを包含する少なくとも１つのセンサを有する光学システムを用いて、前記光学システムの少なくとも１つの可調光学素子によって設定された複数の合焦位置／複数の異なる合焦位置において複数の画像を撮影するステップ、
・ 前記撮影された複数の画像に対して波面復元アルゴリズムまたは波面位相回収アルゴリズムを適用し、前記波面の２次元および／または３次元分布上の情報を抽出するステップ、
・ および／または前記撮影された複数の画像に深度回収アルゴリズムを適用して前記複数の画像内に取り込まれたシーン／物体／被写体の深度マップを獲得するステップ、
のうちの１つ、いくつか、またはすべてを包含することができる。

【0063】

それにおいて、前記複数の画像を撮影するステップは、単一の獲得ステップにおいて少なくとも２つの画像を同時に取り込む少なくとも１つのセンサを包含することができ、それにおいて、前記少なくとも１つのセンサのピクセルの異なるフォトダイオードが異なる画像に関連付けされ、たとえば各ピクセルについて、ピクセルの第１のフォトダイオードを第１の画像に関連付けすることができ、ピクセルの第２のフォトダイオードを第２の画像に関連付けすることができる。

【0064】

ここで例示的に述べられている光学システム／ここで例示的に述べられている光学システムの少なくとも１つのセンサは、前記光学システム／前記少なくとも１つのセンサを、前記２次元分布／異なる光学平面／異なる合焦面／異なる合焦位置において撮影された少なくとも２つの画像における光強度の２次元分布関数を測定するべく構成することが可能であることから、間接的な波面センサとして／その一部として働くと理解することが可能であり、それにおいて前記異なる光学平面／異なる合焦面／異なる合焦位置は、前記光学システムの前記少なくとも１つの可調光学素子によって設定することが可能である。

【0065】

光路差、たとえば前記光学システムの光軸に沿った、たとえば、前記光学システムの前記少なくとも１つのセンサが直交座標系のｘ軸およびｙ軸によって広げられた平面内にあるときのｚ軸に沿った光路差を有する異なる光学平面／異なる合焦面／異なる合焦位置において撮影された前記例示的な少なくとも２つの画像に起因して、周知の波面復元アルゴリズムまたは周知の波面位相回収アルゴリズムを適用して前記撮影された複数の画像から、すなわち、前記撮影された／測定された前記光学システムの異なる光学平面からの画像の光強度の２次元分布／２次元分布関数から波面の前記２次元および／または３次元分布上の情報を抽出することが可能である。

【0066】

特に、前記撮影された／測定された前記光学システムの異なる光学平面からの画像の前記光強度の２次元分布／２次元分布関数は、前記光学システムによって受け取られた／それを通過する波面の２次元形状および／または位相を回復／復元することを可能にする。

【0067】

たとえば、２つの異なる光学平面、すなわち光路差、たとえば光軸に沿った光路差を有する光学平面における／そこからの２つの画像内の前記光強度の２次元分布／２次元分布関数を測定し／取り込むことは、前記２つの異なる光学平面の間にある平面、たとえば中間の平面内の波面形状または位相の回復／復元を可能にする。

【0068】

さらにまた、たとえば、２つより多くの数の画像内および前記光学システムの２つより多くの数の異なる光学平面における前記光強度の２次元分布／２次元分布関数を測定し／取り込むことは、波面形状または位相を複数の異なる光学平面での回復／復元が可能であることから、前記波面（１つ以上）の３次元断層撮影の提供／獲得を可能にする。

【0069】

その種の、測定された／撮影された、２つより多くの数の画像内および前記光学システムの２つより多くの数の異なる光学平面における光強度の２次元分布／２次元分布関数を使用して平面内の波面の２次元の形状または位相を回復／復元するか、かつ／または複数の異なる光学平面に沿って波面（１つ以上）の３次元断層撮影を提供／獲得する、可能性のある波面復元または波面位相回収アルゴリズムの例は、とりわけ、Ｗｏｏｐｔｉｘ Ｓ．Ｌ．（ウープティックス・エス・エル）の欧州特許出願第３３５８３２１Ａ１（パラグラフ［００７８］乃至［００９０］参照）および／または“Ａ ｐｒａｃｔｉｃａｌ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ ｔｈｅ ｐｈａｓｅ ｆｒｏｍ ｉｍａｇｅ ａｎｄ ｄｉｆｆｒａｃｔｉｏｎ ｐｌａｎｅ ｐｉｃｔｕｒｅｓ（ア・プラクティカル・アルゴリズム・フォア・ザ・デタミネーション・オブ・ザ・フェーズ・フロム・イメージ・アンド・ディフラクション・プレーン・ピクチャーズ）”（Ｇｅｒｃｈｂｅｒｇ，Ｒ．Ｗ．（ゲルヒベルグ・アール・ダブリュー）；Ｓａｘｔｏｎ，Ｗ．Ｏ．（サクストン・ダブリュー・オー）、１９７２年、Ｏｐｔｉｋ ３５（オプティック３５）：ｐ．２３７－２４６）、および／または“Ｐｈａｓｅ ｒｅｔｒｉｅｖａｌ ａｌｇｏｒｉｔｈｍｓ： ａ ｃｏｍｐａｒｉｓｏｎ（フェーズ・リトリーバル・アルゴリズムズ：ア・コンパリゾン）”（Ｆｉｅｎｕｐ，Ｊ．Ｒ．（フィーナップ・ジェイ・アール）、１９８２年、Ａｐｐｌ． Ｏｐｔ． ２１ （１５）： ｐ． ２７５８－２７６９）に見付けることが可能であり、これらの内容は、参照によりこれに含められる。

【0070】

それに代えて、またはそれに加えて、深度回収アルゴリズムを前記撮影された複数の画像に適用して、前記複数の画像内に取り込まれているシーンおよび／または物体および／または被写体の深度マップを獲得することが可能である。

【0071】

特に、前記オプションの深度回収アルゴリズムは、たとえば、参照によりその内容がこれに含められる、Ｗｏｏｐｔｉｘ Ｓ．Ｌ．（ウープティックス・エス・エル）の欧州特許出願第２１３８２４５８．４および／または“Ｖａｒｉａｔｉｏｎａｌ Ｄｅｐｔｈ Ｆｒｏｍ Ｆｏｃｕｓ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ（バリエーショナル・デプス・フロム・フォーカス・レコンストラクション）”（Ｍｏｅｌｌｅｒ Ｍ．（メーラー・エム）；Ｂｅｎｎｉｎｇ Ｍ．（ベニング・エム）；Ｓｃｈｏｎｌｉｅｂ Ｃ．（シェーンリープ・シー）；Ｃｒｅｍｅｒｓ Ｄ．（クレマース・ディー）；２０１４年、ａｒＸｉｖ（アーカイブ）：１４０８０１７３ｖ２）および／または“Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ ｗｉｔｈ Ｙｏｕｒ Ｍｏｂｉｌｅ Ｐｈｏｎｅ（デプス・フロム・フォーカス・ウィズ・ユア・モバイル・フォン）”（Ｓｕｗａｊａｎａｋｏｒｎ Ｓ．（スワハナコーン・エス）；Ｈｅｒｎａｎｄｅｚ Ｃ．（ヘルナンデス・シー）；Ｓｅｉｔｚ，Ｓ．Ｍ．（セイツ・エス・エム）；２０１５年、ｄｏｉ：１０．１１０９／ＣＶＰＲ．２０１５．７２９８９７２）の中に記述されているとおり、デプス・フロム・フォーカスおよび／またはデプス・フロム・デフォーカス・テクニックを包含することができる。

【0072】

撮影された画像内において測定された光強度から波面形状および／または波面位相を回復するため、および／または深度を回収するための前掲の例のうちのいずれも、とりわけ、この中に述べられている光学システムによって撮影された複数の画像から波面の前記２次元および／または３次元分布上の情報を抽出するために使用することが可能である。

【0073】

上に示されているとおり、複数のピクセルのうちの少なくともいくつかが少なくとも２つのフォトダイオードを包含する前記複数のピクセルを包含する少なくとも１つのセンサを有する光学システムを用いて、前記光学システムの少なくとも１つの可調光学素子によって設定された複数の合焦位置／複数の異なる合焦位置において複数の画像を撮影するとき、各取り込みステップは、前記光学システムの前記少なくとも１つのセンサの単一の獲得ステップを包含することができ、それにおいて少なくとも２つの画像が同時に撮影され、かつ前記少なくとも１つのセンサのピクセルの異なるフォトダイオードは、異なる画像に関連付けされる。

【0074】

たとえば、前記光学システムの前記例示的な少なくとも１つのセンサのｘ－ｙ平面内に撮影されたｎ番目の画像Ｉ^ｎ _{（ｘ，ｙ）}は、次に示す式に従って抽出／インデクスすることができる。

【0075】

【数1】

【0076】

これにおいて、Ｃ∈Ｒ^{（ｈ，ｗ）}、ｘ∈［０，ｗ／Ｎ］、ｙ∈［０，ｈ］、ｎ∈［０，Ｎ］、かつＮは、ピクセル当たりのフォトダイオードの個数、すなわちＮは、１より大きい自然数であり、ｗは、前記センサのｘ－ｙ平面内のピクセル数で表した画像／前記少なくとも１つのセンサの幅の寸法、ｈはそれの幅の寸法であり、前記ｘ－ｙ平面は、画像平面と一致することが可能であり、それにおいてｘが前記少なくとも１つのセンサの行を示すことが可能であり、かつｙが列を示すことが可能であり、Ｃは、単一の獲得ステップ／取り込みステップにおいて前記少なくとも１つのセンサによって取り込まれた／獲得されたデータを示す。

【0077】

さらにまた、ＮＰを用いて、前記光学システムの少なくとも１つの可調光学素子によって設定可能な前記複数の合焦位置／前記複数の異なる合焦位置を例示的に示すが、ＮＰは、１より大きい自然数であり、Ｎは、ピクセル当たりのフォトダイオードの個数、すなわちＮもまた１より大きい自然数であり、例示的な光学システム／光学システムの例示的な少なくとも１つのセンサは、Ｎ×ＮＰの画像を撮影することができる。

【0078】

したがって、ｗが画像の／前記少なくとも１つのセンサの、たとえばピクセル数で測定される幅の寸法を示し、ｈがその幅の寸法を示すとき、少なくとも１つのセンサを有する前記光学システムによって獲得された／取り込まれたデータは、演算の観点から、サイズＮＰ×ｗ×ｈ×Ｎの４次元テンソル／４次元マトリクスとしてモデリングすることが可能である。

【0079】

また、手前にも示されているとおり、ピクセル当たりのフォトダイオードの個数を示すインデクスＮもまた、ピクセル当たりの視点の数または視角の数を示すとして考えることが可能である。

【0080】

完全を期するために述べるが、この中に述べられている光学システム／少なくとも１つのセンサによって獲得されたデータを、直接または何らかの処理の後、たとえば波面復元アルゴリズムまたは波面位相回収アルゴリズムの適用後および／または深度回収アルゴリズムの適用後に、立体の、すなわち３次元の光学データをリアルタイムで表現／表示する能力のある、ホログラフィック・ディスプレイまたはインテグラル・ディスプレイ等の任意のシステムへの供給が可能であることに注意する。

【0081】

この中に例示的に述べられている光学システム／少なくとも１つの可調光学素子との組み合わせにおける少なくとも１つのセンサを使用することは、前述した例示的なディスプレイ・デバイス／ディスプレイ・システムを用いてリアルタイムで使用し、表示することが可能な空間分解能を有意に増加させることが可能である。

【0082】

複数の画像から波面の２次元および／または３次元分布上の情報を取り込み、抽出するための例示的なシステムは、構成要素、すなわち：
・ 複数の画像を撮影するための光学システムであって、上記の、およびこの中に例示的に述べられている特徴のうちの１つ、いくつか、またはすべてを包含することが可能な光学システムと、
・ １つ以上のプロセッサおよびコンピュータ・メモリを包含するコンピューティング・システムであって、前記コンピュータ・メモリが、前記１つ以上のプロセッサに、前記光学システムによって撮影された前記複数の画像から波面の２次元および／または３次元分布上の情報を抽出するための方法を実行することを指示する命令を記録しており、それにおいては前記方法が、上記の、およびこの中に例示的に述べられているステップのうちの１つ、いくつか、またはすべてを包含することが可能であるとするコンピューティング・システム、
のうちの１つ、いくつか、またはすべてを包含することができる。

【0083】

前記プロセッサは、たとえば、中央処理装置（ＣＰＵ）またはグラフィック処理ユニット（ＧＰＵ）とすることができる。

【0084】

この中に例示的に述べられている手段、システム、および方法が、特に画像／画像ピクセルの処理に指向されていることから、ＧＰＵの使用が、より高速な／最適な演算パフォーマンスの達成に好ましいとし得る。

【0085】

しかしながら、一般的な現行のＣＰＵもまた、スマートフォン等のモバイル・デバイスのものでさえも、この中に述べられている画像データ処理ステップの実行に、それが、特に、上に述べられている、波面の／入力として前記少なくとも１つのセンサの前記平面内において取り込まれた波面の２次元光強度分布を使用する波面復元アルゴリズムまたは波面位相回収アルゴリズムおよび／または深度回収アルゴリズムの使用時におけるリアルタイム用途であってさえ充分に強力である。

【0086】

前記例示的なシステムは、ポータブルとすることができ、たとえばスマートフォンとすることができ、それにおいて前記光学システムは、前記スマートフォンのカメラであり、前記カメラは、それの少なくとも１つの可調光学素子によって設定された複数の異なる合焦位置において複数の画像を撮影するために構成される。

【0087】

さらにまた、コンピュータ・システムによって実行されたときに、この中に述べられているとおりの複数の画像から波面の２次元および／または３次元分布上の情報を取り込み、抽出するための方法を実施することが可能なコンピュータ実行可能な命令をコンピュータ可読記憶媒体、たとえば不揮発性コンピュータ記憶媒体上に記録することが可能である。

【0088】

この中に例示的に述べられている光学システムの少なくとも１つの可調光学素子によって設定される複数の合焦位置は、たとえば、少なくとも３つの合焦位置、たとえば３つの異なる合焦位置を包含することができる。現行のモバイル・フォンの演算能力について言えば、たとえば、３つから７つまでの間の個数が、リアルタイム用途のために好ましいとし得る。

【0089】

次に挙げる図面は、本発明のより良好な理解のための例示的な特定の技術的態様を図解している。

【図面の簡単な説明】

【0090】

【図1】例示的な光学システムを図解した説明図である。

【図2】さらなる例示的な光学システムを図解した説明図である。

【図3】さらなる例示的な光学システムを図解した説明図である。

【図4】焦点の例示的な曖昧性／不確実性を図解した説明図である。

【図5】複数の画像から波面の２次元および／または３次元分布上の情報の取り込みおよび抽出のための方法を示した例示的なフローチャートである。

【図6】複数の画像から波面の２次元および／または３次元分布上の情報の取り込みおよび抽出のための方法の例示的なフローチャートである。

【発明を実施するための形態】

【0091】

図１は、上に述べられている特徴のうちのいくつかまたはすべてを有することが可能な、可能性のある例示的な光学システム１００を例示的に示している。

【0092】

たとえば、複数のピクセル１０６を伴うセンサ１０１、たとえば電荷結合デバイス（ＣＣＤ）センサが示されている。この例においてセンサ１０１は、軸ｘ、ｙ、およびｚを伴う例示的な直交座標系１０５のｘ－ｙ平面内に、例示的な６×５ピクセルのピクセル・アレイ１０７を包含する。

【0093】

ピクセル１０６のうちのいくつか、またはそれぞれは、複数のフォトダイオード１０２、１０３を有することが可能である。

【0094】

ここに示されている例においては、例示的なピクセル・アレイ１０７内のピクセル１０６のそれぞれが、垂直のｙ軸に沿ってそれぞれのピクセルを例示的に分割する２つのフォトダイオード１０２、１０３を包含する。

【0095】

明瞭性および読みやすさために、１つのピクセル、すなわち、アレイの上端左端のピクセル１０６だけが、フォトダイオード１０２、１０３とともに注釈が付けられ、かつ参照番号を用いてマークされている。

【0096】

示されている例においては、センサ１０１、すなわちアレイ１０７が、例示的に、ｘ－ｙ平面内となるように向き付けされる。したがって、直交座標系１０５の例示的なｚ軸は、とりわけ、光学システム１００の例示的な光軸として理解することが可能である。

【0097】

示されている例示的な可調光学素子１０４は、この場合、光学システム１００へ入る到来光が、センサ１０１に当たる前に最初に例示的な可調光学素子１０４を通過することが可能となるように光軸に沿って例示的に配される。

【0098】

例示的に上に述べられているとおり、例示的な可調光学素子１０４は、光学システムの焦点を変化させることが可能となり、それによって、光学システム１００がセンサ１０１を用いてたとえば光軸、たとえばｚ軸に沿った複数の合焦位置において複数の画像を撮影することを可能にすることができるように構成することが可能である。

【0099】

たとえば、複数の合焦位置を設定するために、例示的な可調光学素子１０４は、形状シフト・ケイパビリティを（示されている可調光学素子１０４の波形の輪郭によって例示的に示されているとおり）有することができ、たとえば、液体レンズを包含できるか、かつ／または可動レンズ、たとえば光軸に沿って両方向に移動することが可能なレンズを包含できるか、かつ／または可調プリズムを包含できる。

【0100】

図２は、図１の光学システム１００に類似する、さらなる例示的な光学システム２００を例示的に示している。

【0101】

ここには、異なる見方で光学システム２００が示されており、それにおいては、例示的な３次元直交座標系２０５のｘ軸に沿ったセンサ２０１またはセンサ・アレイ２０６の単一のピクセル行２１０だけ表されている。

【0102】

基準としての働きを提供する前記例示的な３次元直交座標系２０５は、例示的に、ｙ軸が図の平面内へ向けられ／通り抜け、かつｚ軸が図の平面の軸、たとえば垂直軸と整列し、かつ光学システム２００の光軸と一致するように整列されている。

【0103】

例示的なピクセル行２１０は、４つのピクセルＰを包含し、この場合においても例示的な各ピクセルは、２つのフォトダイオード２０３、２０４を、たとえば第１のフォトダイオード１と第２のフォトダイオード２を包含する。

【0104】

ここに示されている例示的な中括弧記号“｛”は、フォトダイオードの、それらが対応するピクセルに対する関係を表す。

【0105】

例示的に示されているセンサ・アレイ２０６は、たとえば、４×４ピクセルを包含するとし得る。しかしながら、それより遙かに大きいピクセル・アレイを、たとえば、メガピクセルまたはギガピクセル・サイズを伴うアレイを使用することは可能である。

【0106】

到来光２０７、たとえば、作像されることになる物体またはシーンから光学システム２００へ入る光は、それが例示的な可調光学素子２０８を通過する前に、オプションのコリメータ（図示せず）によってコリメートすることができる。

【0107】

手前に示されているとおり、前記例示的な可調光学素子２０８は、液体レンズを包含できるか、かつ／または可動レンズ、たとえば光軸に沿って両方向に移動すること、たとえばアクチュエータによって移動されることが可能なレンズを包含できるか、かつ／または可調プリズムを包含することができる。

【0108】

したがって、例示的な可調光学素子２０８は、たとえば光軸に、たとえばｚ軸に沿って少なくとも１つの可調光学素子２０８によって設定された複数の合焦位置における複数の画像の、センサ２０１を用いた取り込みが可能となるように、光学システム２００の焦点を変化させることを可能にする。

【0109】

例示的な可調光学素子２０８を通過した後の到来光は、異なる伝播方向を伴う複数の光ビーム２０９によって例示的に示されているとおり、複数の異なる角度でセンサ２０１に当たることが可能である。

【0110】

さらにまた、各ピクセルＰ ２０２当たり少なくとも２つのフォトダイオード２０３、２０４に起因して、取り込まれることになる光のために、ピクセル当たり少なくとも２つの異なる視点を提供することが可能である。

【0111】

さらなる例示的な説明を後述するとおり、ピクセル当たりの異なるフォトダイオードによって提供されるピクセル当たりの異なる視点は、到来光の波面形状および／または位相、および／または被写界深度に関するさらなる情報の抽出を補助することが可能であり、それによって、とりわけ、この中に述べられている光学システムを用いて獲得が可能な深度マップの分解能の向上が可能になる。

【0112】

図３は、図１および図２の光学システム１００、２００に類似するさらなる例示的な光学システム３００を例示的に示しており、その例示的に示された斜視図においては、センサ・ピクセル・アレイ３１１を伴うセンサ３０１がｘ－ｙ平面内にあり、例示的な可調光学素子３０２が、例示的な座標系３１０のｚ軸に沿って配され、それにおいて前記ｚ軸は、光学システム３００の光軸と一致するとし得る。

【0113】

前記例示的な可調光学素子３０２は、手前に述べられているタイプのいずれかとすることが可能であり、たとえば、矢印３０３によって示されているとおり、前記ｚ軸に沿って移動可能であり、複数の合焦位置３０８、３０９を設定する。

【0114】

センサ３０１からの例示的なセンサ・ピクセルのサブセットだけ、すなわちセンサ・ピクセル・アレイ３０４（Ａ）、３０５（Ｃ）、３０６（Ｄ）、３０７（Ｂ）が示されているが、それにおいて各ピクセルは、例示的に２つのフォトダイオードを有し、すなわちピクセル３０４（Ａ）は、フォトダイオード３０４ａ（Ａ_１）と３０４ｂ（Ａ_２）とを包含し、ピクセル３０５（Ｃ）は、フォトダイオード３０５ａ（Ｃ_１）と３０５ｂ（Ｃ_２）とを包含し、ピクセル３０６（Ｄ）は、フォトダイオード３０６ａ（Ｄ_１）と３０６ｂ（Ｄ_２）とを包含し、ピクセル３０７（Ｂ）は、フォトダイオード３０７ａ（Ｂ_１）と３０７ｂ（Ｂ_２）とを包含する。

【0115】

理解されるものとするが、センサ・アレイ３１１の高さおよび幅について任意の所望のサイズおよび任意の所望のピクセル分解能を伴い、かつピクセル当たり任意の所望の複数のフォトダイオードを伴うセンサ・アレイ３１１を形成するべく、ピクセル当たり複数のフォトダイオードを伴うピクセルを用いてセンサ・アレイ３１１を完全に覆うことは可能である。

【0116】

図３は、さらに、光学システム３００のセンサ３０１によって撮影された例示的な三角形形状の物体の４つの画像３１６、３１７、３１８、３１９を例示的に示している。

【0117】

すべての画像は、同一の三角形形状の物体を示しているが、異なる焦点を伴う。

【0118】

たとえば、例示的に示されている異なる三角形形状の物体３１２、３１３、３１４、３１５の焦点は、例示的に、たとえば矢印３０３によって示されているとおり、第１の位置から第２の位置への光軸に沿った可調光学素子３０２の移動に起因して設定済みの２つの異なる合焦位置３０８、３０９を有する可調光学素子３０２によって達成される。

【0119】

手前で述べたとおり、可調光学素子３０２は、別のタイプとすることも可能であり、たとえば、光軸に沿った移動によるのではなく、たとえば単にその形状または形態または向きを変更することによって異なる合焦位置を設定することも可能である。

【0120】

可調光学素子３０２によって設定された２つの異なる合焦位置３０８、３０９に加えて、センサ３０１は、さらに、ピクセル当たり複数のフォトダイオードによって提供されるピクセル当たりの異なる視点に起因して異なる焦点を用いた画像の同時取り込みを可能にする。

【0121】

ピクセル当たり２つの異なるフォトダイオードを伴って示されているこの例では、このことが、センサ３０１を用いた単一の取り込み／獲得において、２つの異なって焦点調整された三角形形状の物体画像の同時取り込みを可能にする結果をもたらす。

【0122】

可調光学素子３０２によって設定された２つの異なる合焦位置３０８、３０９を伴うことから、例示的にこれは、４つの異なる焦点を伴う三角形形状の物体の４つの異なる画像３１６、３１７、３１８、３１９を結果としてもたらす。

【0123】

図３には、次に挙げる例示的な４つの、三角形形状の物体の異なる焦点が図解されている。

【0124】

・ 参照番号３１２は、撮影された画像３１６、すなわち焦点３０８ａにある三角形形状の物体の画像を示し、これは、可調光学素子３０２によって設定された合焦位置３０８において、たとえば、フォトダイオード３０４ａ（Ａ_１）、３０５ａ（Ｃ_１）、３０６ａ（Ｄ_１）、３０７ａ（Ｂ_１）を包含する１セットのフォトダイオードによって観察される画像である。

【0125】

・ 参照番号３１３は、撮影された画像３１８、すなわち焦点３０８ｂにある三角形形状の物体の画像を示し、これは、可調光学素子３０２によって設定された合焦位置３０８において、たとえば、フォトダイオード３０４ｂ（Ａ_２）、３０５ｂ（Ｃ_２）、３０６ｂ（Ｄ_２）、３０７ｂ（Ｂ_２）を包含する別のセットのフォトダイオードによって観察される画像である。

【0126】

・ 参照番号３１４は、撮影された画像３１７、すなわち焦点３０９ａにある三角形形状の物体の画像を示し、これは、可調光学素子３０２によって設定された合焦位置３０９において、たとえば、フォトダイオード３０４ａ（Ａ_１）、３０５ａ（Ｃ_１）、３０６ａ（Ｄ_１）、３０７ａ（Ｂ_１）を包含する１セットのフォトダイオードによって観察される画像である。

【0127】

・ 参照番号３１５は、撮影された画像３１９、すなわち焦点３０９ｂにある三角形形状の物体の画像を示し、これは、可調光学素子３０２によって設定された合焦位置３０９において、たとえば、フォトダイオード３０４ｂ（Ａ_２）、３０５ｂ（Ｃ_２）、３０６ｂ（Ｄ_２）、３０７ｂ（Ｂ_２）を包含する別のセットのフォトダイオードによって観察される画像である。

【0128】

例示的な光学システムのセンサ３０１によって撮影された異なる焦点を伴う複数の画像は、その後、オリジナルの２次元の波面形状および波面位相を復元するため、光軸に沿った波面の断層撮影を行うため、および深度マップを獲得するために、たとえば、手前に述べられている、光学システムの視野内のシーンまたは物体または被写体から放出される波面の２次元および／または３次元分布上の情報を抽出するためのアルゴリズムのうちの１つ以上に供給することが可能である。

【0129】

特に、センサ３０１によって取り込まれた波面（１つ以上）の２次元光強度分布に関する測定された／取り込まれた情報は、その後、波面形状または波面位相を回復するため、および／または波面の断層撮影を行うためのベースを形成すること、および／または深度マップを獲得するためのベースを形成することが可能である。

【0130】

図４は、例示的な光学システム４００の多様な合焦位置についての被写界深度（ＤＯＦ）内の合焦位置の曖昧性または不確実性または退化を例示的に示している。

【0131】

簡単に述べれば、作像されることになる２つの物体が、光軸に沿ったそれらの間に、光学システムの設定の被写界深度（ＤＯＦ）より小さい空間的な距離を有するとき、両方の物体は、合焦状態で／同一焦点内に現れることになる。

【0132】

したがって、現行の光学システムの場合は、これが、とりわけ、撮影された画像から空間的な距離または深度の情報を導出することが可能な正確度を制限する。

【0133】

前記例示的な光学システム４００は、手前に述べられている光学システムに類似であるとすることができ、センサ４０１または、軸ｘ、ｙ、ｚを伴う例示的な基準直交座標系４０４のｘ－ｙ平面内に配されたピクセル・アレイ４０２を例示的に包含し、それにおいて、ｚ軸は、図の平面内にあり、かつ例示的に光学システム４００の光軸と一致する。

【0134】

光学システム４００は、さらに、光学システム４００に光軸に沿って、すなわちｚ軸に沿って配された例示的な可調光学素子４０３を包含する。

【0135】

さらにまた、例示的な可調光学素子４０３によって設定済みとすることができる光学システム４００の３つの例示的な異なる合焦位置／焦平面／合焦面４０５、４０６、４０７と、図解のための例示的な到来光ビーム（１つ以上）４０９を使用した光軸に沿う、これらの対応する被写界深度（ＤＯＦ）４１０、４１１、４１２が示されている。

【0136】

さらにまた、例示的な過焦点距離の位置４０８がマークされ、それを越えると、光学システムによって作像されることになるすべての物体が合焦状態で現れる。

【0137】

参照番号４１３は、光学システムの可能な口径を例示的に表している。

【0138】

たとえば、上記の、およびこの中に述べられている例示的な特徴を実装するための例示的な光学システムは、２．０またはそれより小さいＦ値を有することができる。しかしながら、より高いＦ値もまた企図されている。

【0139】

図解されているとおり、被写界深度（ＤＯＦ）４１０、４１１、４１２の幅は、異なる合焦位置の間において異なることが可能であり、かつ被写界深度（ＤＯＦ）４１０、４１１、４１２は、光軸に関して対称または非対称とすること、すなわち、合焦位置４０５、４０６、４０７は、被写界深度（ＤＯＦ）４１０、４１１、４１２の中心位置／中心面を必ずしも定義しないことが可能である。

【0140】

図５は、この中に述べられている光学システムが、どのようにして光学システムの光軸、たとえば、軸ｘ、ｙ、ｚを伴う例示的な基準直交座標系４０７のｚ軸に沿った空間分解能、すなわち深度分解能の向上を助けることが可能であるかを例示的に図解している。

【0141】

例示的に示されているものは、手前で述べたとおりのセンサの複数のピクセルのうちの単一のピクセル５００であり、それにおいて例示的なピクセルは、例示的に２つのフォトダイオード；第１のフォトダイオード５０１と第２のフォトダイオード５０２を有する。これらのピクセルは、直交座標系４０７の例示的なｘ－ｙ平面内にある。

【0142】

例示的なｘ軸に沿った２つのフォトダイオードの変位は、到来光ビーム５０６、５０８のための異なる視点を提供する。

【0143】

これらのフォトダイオードに当たる光ビームのｘ－ｙ平面内における視差または変位の振る舞いまたは特性は、その後、ピクセル５００から、すなわちセンサから焦点／合焦位置５０３までの三角法を使用した、真の距離の導出／決定に使用することが可能である。

【0144】

たとえば、合焦位置５０３においては視差がゼロであり、ｚ軸に沿った距離が焦点５０３よりピクセル５００に近づく場合には、視差が正になり、ｘ軸に沿って第１のフォトダイオード５０１から第２のフォトダイオード５０２へ向かって正の向きに増加し、ｚ軸に沿った距離が焦点５０３よりピクセル５００から離れる場合には、視差が負になり、ｘ軸に沿って第２のフォトダイオード５０２から第２のフォトダイオード５０１へ向かって負の向きに増加する。

【0145】

たとえば、与えられた／測定された正の視差については、この中に述べられているセンサの複数のフォトダイオードから焦点までの距離ｄを、次に示す式から抽出することが可能である：

【0146】

【数2】

【0147】

これにおいて、ｐｘｓはピクセル・サイズであり、σは視差の値であり、ρは、錯乱円と現実の焦点外れの間における関係を定義する例示的な定数であり、Ｄは口径であり、ｆは焦点距離であり、ｄｅｔは、次に示す式を表し：

【0148】

【数3】

【0149】

これにおいて、ｆｏｃｕｓは、合焦位置（たとえば、可調光学素子によって設定される）であり、またρは、次に示す式から例示的に決定することが可能である：

【0150】

【数4】

【0151】

与えられた／測定された負の視差については、式（２）の符号を変更するだけでよい。

【0152】

この中に述べられている光学システムのセンサのピクセル当たり複数のフォトダイオードから取り込まれた、この中に述べられている光学システムの１つの可調光学素子によって設定された複数の合焦位置についての情報を組み合わせることは、したがって、撮影された画像から獲得可能な深度情報を増加させ、より精密な深度マップを獲得することを可能にする。

【0153】

さらにまた、ピクセル当たり複数のフォトダイオードは、さらに、複数のフォトダイオードの画像を使用して波面分布のＮ個の断層域を生成することによって、波面位相測定の正確度の向上を可能にすることができ、これにおいてＮは、ピクセル当たりのフォトダイオードの個数とする。

【0154】

図６は、複数の画像から波面の２次元および／または３次元分布上の情報の取り込みおよび抽出のための方法の例示的なフローチャート６００を示している。

【0155】

手前に述べられているとおり、この方法は、
・ 少なくともいくつかのピクセルが少なくとも２つのフォトダイオードを包含する複数のピクセルを包含する少なくとも１つのセンサを有する光学システムを用いて、その光学システムの少なくとも１つの可調光学素子によって設定された複数の合焦位置、たとえば複数の異なる合焦位置において複数の画像を撮影すること（６０１）と、
・ 前記撮影された複数の画像に対して波面復元アルゴリズムを適用し、波面の２次元および／または３次元分布上の情報を抽出すること（６０２）と、
を包含することができる。

【0156】

参照記号が次に挙げる例示的な構成要素および／または例示的なステップを示す図１、２、３、４、５および６がこれに続く。

【符号の説明】

【0157】

１００ 例示的な光学システム
１０１ 例示的なセンサ
１０２ 例示的なフォトダイオード
１０３ 例示的なフォトダイオード
１０４ 例示的な可調光学素子
１０５ 例示的な直交座標系
１０６ 例示的なピクセル
１０７ 例示的なピクセル・アレイ
２００ 例示的な光学システム
２０１ 例示的なセンサ
２０２ 例示的なピクセル
２０３ 例示的なフォトダイオード
２０４ 例示的なフォトダイオード
２０５ 例示的な直交座標系
２０６ 例示的なセンサ・アレイ／ピクセル・アレイ
２０７ 例示的な到来光ビーム
２０８ 例示的な可調光学素子
２０９ 例示的な光ビーム
２１０ 例示的なピクセル行
３００ 例示的な光学システム
３０１ 例示的なセンサ
３０２ 例示的な可調光学素子
３０３ 可調光学素子の例示的な動き
３０４、３０５、３０６、３０７ 例示的なピクセル（１つ以上）
３０４ａ、３０５ａ、３０６ａ、３０７ａ 例示的なフォトダイオード
３０４ｂ、３０５ｂ、３０６ｂ、３０７ｂ 例示的なフォトダイオード
３０８、３０９ 例示的な合焦位置
３１０ 例示的な直交座標系
３１１ 例示的なセンサ・アレイ／ピクセル・アレイ
３１２、３１３、３１４、３１５ 異なる焦点における例示的な三角形形状の物体の画像
３１６、３１７、３１８、３１９ センサによって撮影された例示的な画像
４００ 例示的な光学システム
４０１ 例示的なセンサ
４０２ 例示的なセンサ・アレイ／ピクセル・アレイ
４０３ 例示的な可調光学素子
４０４ 例示的な直交座標系
４０５、４０６、４０７ 例示的な合焦位置／焦点
４０８ 例示的な過焦点距離の位置
４０９ 例示的な光ビーム
４１０、４１１、４１２ 例示的な被写界深度
４１３ 例示的な口径
５００ 例示的なピクセル
５０１ 例示的なフォトダイオード、たとえば第１のフォトダイオード
５０２ 例示的なフォトダイオード、たとえば第２のフォトダイオード
５０３ 例示的な合焦位置／焦点
５０４ 負の視差が増加する例示的な方向
５０５ 正の視差が増加する例示的な方向
５０６ 例示的な光ビーム
５０７ 例示的な直交座標系
５０８ 例示的な光ビーム
６００ 例示的な方法
６０１ 例示的な方法ステップ
６０２ 例示的な方法ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】