特表 2023-527273 デジタル光学収差補正およびスペクトル撮像のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-28

(54)【発明の名称】デジタル光学収差補正およびスペクトル撮像のためのシステムおよび方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230621BHJP

   G01M 11/02 20060101ALI20230621BHJP

   G01J 3/02 20060101ALI20230621BHJP

   G01J 3/36 20060101ALI20230621BHJP

   H04N 23/55 20230101ALI20230621BHJP

【ＦＩ】

H04N23/60 500

G01M11/02 B

G01J3/02 C

G01J3/36

H04N23/55

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022568703

(86)(22)【出願日】2021-05-12

(85)【翻訳文提出日】2023-01-11

(86)【国際出願番号】 IL2021050545

(87)【国際公開番号】W WO2021229575

(87)【国際公開日】2021-11-18

(31)【優先権主張番号】63/023,287

(32)【優先日】2020-05-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】276922

(32)【優先日】2020-08-25

(33)【優先権主張国・地域又は機関】IL

(81)【指定国・地域】

(71)【出願人】

【識別番号】522281051

【氏名又は名称】ピーエックスイー コンピュテーショナル イメージング リミテッド

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀 明代

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】バーラツキー，ヨアフ

(72)【発明者】

【氏名】ハイニック，ヤニール

【テーマコード（参考）】

2G020

2G086

5C122

【Ｆターム（参考）】

2G020AA03

2G020AA04

2G020CC01

2G020CC02

2G020CC26

2G020CC63

2G020CD03

2G020CD24

2G086HH06

5C122EA31

5C122FB02

5C122FH18

5C122HB01

(57)【要約】

デジタル光学収差補正およびスペクトル撮像のためのシステムおよび方法が提供される。光学システムは、光学システムの像面の近くに光学画像を形成するための光学撮像部と、像面の近くに配置された波面撮像センサ部であって、像面の近くの光照射野および画像出力に関する生デジタルデータを提供する波面撮像センサ部と、生デジタルデータおよび画像出力を処理してぼけ解消画像出力を提供するための制御部とを備えることができ、制御部は、命令を記憶する記憶部と、命令を実行して、画像入力および波面撮像センサに衝突する光照射野の生デジタルデータを受信し、撮像面における光相互干渉関数の解析に基づいてぼけ解消画像を生成するための処理部と、を含む。

【特許請求の範囲】

【請求項1】

光学システムであって、
前記光学システムの像面の近くに光学画像を形成するための光学撮像部と、
前記像面の近くに配置された波面撮像センサ部であって、前記像面の近くの光照射野および画像出力に関する生デジタルデータを提供する、波面撮像センサ部と、
前記生デジタルデータおよび前記画像出力を処理してぼけ解消画像出力を提供するための制御部と、
を備え、
前記制御部は、命令を記憶する記憶部と、前記画像入力と前記波面撮像センサに衝突する前記光照射野の前記生デジタルデータとを受信し、前記撮像面における前記光相互干渉関数の解析に基づいてぼけ解消画像を生成するために前記命令を実行する処理部とを含む、
光学システム。

【請求項2】

前記制御部が、
前記光照射野の視野特性を計算するステップと、
前記視野特性内のコヒーレンスと重畳情報とに基づいて前記画像出力内の点光源間を識別するステップと、
各々の識別された点光源について、そのぼけ度合いを推定するステップと、
ぼけが解消された点光源の合成としてぼけ解消画像を再構成するステップと、
をさらに実行する、
請求項１に記載の光学システム。

【請求項3】

前記視野特性が、ウィグナー分布または数学的変換による前記ウィグナー分布に関連する同等のエンティティである、請求項２に記載の光学システム。

【請求項4】

前記波面撮像センサ部は、少なくとも２つの色帯域を有するカラーフィルタアレイをさらに備え、前記制御部は、前記色帯域の各々に対応する視野特性を計算し、複数の有彩色視野特性を生じさせ、前記有彩色視野特性の組み合わせに基づいて前記ぼけ解消画像を再構成する、請求項２に記載の光学システム。

【請求項5】

前記波面撮像センサ部は、各々がスペクトルフィルタに関連付けられた少なくとも２つの画像センサを備え、前記制御部は、前記少なくとも２つの画像センサの各々に対応する視野特性を計算し、複数の有彩色視野特性を生じさせ、前記有彩色視野特性の組み合わせに基づいて前記ぼけ解消画像を再構成する、請求項２に記載の光学システム。

【請求項6】

前記波面撮像センサ部は、
前記像面の近くに配置された光変調器部と、
生デジタル画像出力を取得するために、前記システムを通る入力光照射野の一般的な伝播方向に対して前記光変調器部の下流に配置された画像センサ部と、
を含み、
前記光変調器部は、位相変調および振幅変調の少なくとも一方を用いて前記光照射野を変調する、
請求項１に記載の光学システム。

【請求項7】

前記光変調器部は複数の単位セルを含み、前記画像センサ部はセンサセルのアレイを含み、
前記センサセルのアレイは、複数のセンササブアレイ単位セルを画定し、各センササブアレイは、前記光変調器部の前記複数の単位セルの単位セルに対応し、
前記光変調器部は、前記画像センサ部によって収集された入力光に所定の変調を適用するものであり、前記光変調器部の各単位セルは、そこに入射する前記収集された入力光の一部を、それに対応するセンササブアレイ単位セルおよび所定の近接領域内の１つまたは複数の隣接するセンササブアレイ単位セルに向ける、
請求項６に記載の光学システム。

【請求項8】

画像センサ部の前記複数のセンササブアレイ単位セルの生画素数Ｎ_Ｒが、前記光変調器部のナイキストサンプリング点Ｎ_Ｎの数以上である、請求項６に記載の光学システム。

【請求項9】

画像センサ部の前記複数のセンササブアレイ単位セルの前記生画素数Ｎ_Ｒと前記光変調器部の前記ナイキストサンプリング点Ｎ_Ｎとは、関係Ｎ_Ｒ≧Ｎ_Ｎ＋Σ_ｉＮ^ｉ _Ａに従い、式中、１≦Ｎ^ｉ _Ａ≦Ｎ_Ｎであり、Ｎ^ｉ _Ａは、動的収差の空間的変動性を示す、請求項６に記載の光学システム。

【請求項10】

前記制御部は、前記単位セルの各々に対応する視野特性を計算し、複数の有彩色視野特性を生じさせ、前記有彩色視野特性の組み合わせに基づいて、フルカラーＲＧＢ画像、スペクトルフィルタまたはカラーフィルタを使用しないハイパースペクトル画像、からなる群のうちの少なくとも１つを再構成する、請求項６に記載の光学システム。

【請求項11】

前記制御部は、前記単位セルの各々に対応する有彩色視野特性を計算し、複数の有彩色視野特性を生じさせ、Ｎ_Ｏ個の出力画像画素およびＮ_Ｃ個の有彩色視野特性を有する出力画像を再構成し、Ｎ_Ｏは、前記ナイキストサンプリング限界Ｎ_Ｎよりも低く、Ｎ_Ｃ×Ｎ_Ｏ≦Ｎ_Ｒであり、Ｎ_Ｒは生画素数である、請求項６に記載の光学システム。

【請求項12】

前記光照射野は、別個または連続的である複数の波長を含み、前記制御部は、（１）各識別された点光源について、そのスペクトル分布を推定するステップと、（２）画像の分光分布図を再構成するステップと、のうちの一方または両方を実行する、請求項２に記載の光学システム。

【請求項13】

前記制御部は、さらに、（１）各識別された点光源について収差強度を推定するステップと、（２）識別された点光源ごとに推定された動的収差強度に基づいて深度を推定し、パワー収差強度の空間マップを生成し、パワー収差強度の空間マップに基づいて深度マップを再構成するステップと、（３）前記深度マップに基づいて、前記画像の焦点ぼけ部分の回折限界撮像解像度を復元するステップと、のうちの１つまたは複数を実行する、請求項１に記載の光学システム。

【請求項14】

光学システムの撮像面の近くで撮像部が撮像した画像のデジタル光学収差補正方法であって、
前記像面の近くに配置された波面撮像センサ部に衝突する光照射野および前記像面の近くに形成された画像出力に生のデジタルデータを提供するステップと、
制御部によって、前記生のデジタルデータおよび前記画像出力を処理して、前記像面における光相互コヒーレンス関数の解析に基づいてぼけ解消画像出力を提供するステップと、
を含む、方法。

【請求項15】

前記波面撮像センサ部は、生のデジタル画像出力を取得するために、前記像面の近くに配置された光変調器部と、前記システムを通る入力光照射野の一般的な伝播方向に対して前記光変調器部の下流に配置された画像センサ部とを備え、前記方法は、位相変調および振幅変調の少なくとも一方を使用して前記光照射野を変調するステップをさらに含む、請求項１４に記載の方法。

【請求項16】

前記光変調器部は複数の単位セルを含み、前記画像センサ部はセンサセルのアレイを含み、前記センサセルのアレイは、複数のセンササブアレイ単位セルを画定し、各センササブアレイは、前記光変調器部の前記複数の単位セルの単位セルに対応し、前記方法は、
前記光変調器部により、前記画像センサ部によって収集された入射光に所定の変調を適用するステップと、
前記光変調器部の各単位セルによって、それに入射する収集された入射光の一部を、それに対応するセンササブアレイ単位セルおよび所定の近接領域内の１つまたは複数の隣接するセンササブアレイ単位セルに向けるステップと、
を含む、請求項１５に記載の方法。

【請求項17】

画像センサ部の前記複数のセンササブアレイ単位セルの生画素数Ｎ_Ｒが、前記光変調器部のナイキストサンプリング点Ｎ_Ｎの数以上である、請求項１５に記載の方法。

【請求項18】

画像センサ部の前記複数のセンササブアレイ単位セルの前記生画素数Ｎ_Ｒおよび前記光変調器部のナイキストサンプリング点Ｎ_Ｎの数が、関係Ｎ_Ｒ≧Ｎ_Ｎ＋Σ_ｉＮ^ｉ _Ａに従い、式中、１≦Ｎ^ｉ _Ａ≦Ｎ_Ｎであり、Ｎ^ｉ _Ａは、動的収差の空間的変動性を示す、請求項１５に記載の方法。

【請求項19】

前記光照射野の視野特性を計算するステップと、
前記視野特性内のコヒーレンスと重畳情報とに基づいて前記画像出力内の点光源間を識別するステップと、
各識別された点光源について、そのぼけを推定するステップと、
ぼけが解消された点光源の合成としてぼけ解消画像を再構成するステップと、
を含む、請求項１５に記載の方法。

【請求項20】

前記視野特性が、ウィグナー分布または数学的変換による前記ウィグナー分布に関連する同等のエンティティである、請求項１９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年５月１２日に出願された米国仮特許出願第６３／０２３，２８７号、および２０２０年８月２５日に出願されたイスラエル特許出願第２７６９２２号の優先権を主張し、これらは両方とも参照により本明細書に組み込まれる。

【0002】

本発明は、光学撮像、デジタルぼけ解消、デジタル収差補正、デジタル補償光学、およびスペクトル撮像の分野にある。

【背景技術】

【0003】

光学収差は、画質および鮮明度の低下につながる不完全な画像の尺度である。幾何光学において、完全な撮像は、通常、物体空間内の各光点からの光線が撮像システムを通って移動し、像面上の単一の対応する点に収束する状態として説明される。実際の実施では、光の波状の性質を考慮に入れなければならず、これは光を無限に小さい点に集束させることを妨げる。むしろ、物理波光学の場合、光の光線を完全に収束させると、回折効果により有限サイズのスポットが生じる。そのようなスポットの典型的な代表的な直径は、エアリーディスク１．２２・λ／ＮＡによって与えられ、ここでλは典型的な波長であり、ＮＡは収束する光線円錐の開口数である。完全な撮像は、通常、「回折限界」と呼ばれ、光線光学に関して、十分な基準は、光線がエアリーディスク内に収束することである。

【0004】

光学収差は、広範囲の光源から生じ得る。いくつかは、撮像要件とシステムの複雑さとの間の相反する要求のために、設計上の妥協によって光学撮像システムに固有のものである。一方で、視野、作業距離、倍率、開口サイズ、およびスペクトル範囲などの動作要件パラメータは、光学設計にさらなる制約を加える。これらは、通常、光学素子の数および種類、使用される材料、表面プロファイル（球形／非球形）、ならびに位置合わせおよび製造公差の増加などのシステムの複雑さの増加として現れる。他方、コスト、サイズ、重量、容易に入手可能な材料および処理、製造公差の緩和、および環境要因に対する堅牢性などの単純化に向かう力は、画質の低下につながる。収差を低減するために複数の複雑な非球面を使用することは、当技術分野で知られている。

【0005】

追加の収差もまた、光学撮像システムの構築中の製造公差および位置合わせ公差の結果である。製造公差および位置合わせ公差は、実際の撮像システムのパラメータが公称設計値から外れることにつながる。他の収差は、熱変化、圧力変化、衝撃および／または振動などの環境要因による光学システムのドリフト／変化から生じ得る。

【0006】

光学収差はまた、撮像システムの外部にある影響に起因して生じ得る。大気障害などの乱流媒体を介した撮像は、撮像品質、例えば地上の天文学および監視における「見る」効果を低下させる時変光学収差をもたらす可能性がある。医療用眼科撮像では、対象の眼に存在する収差は撮像解像度を低下させ、多くの場合、網膜上の微細な細胞構造の撮像における回折限界解像度を阻害する。バルク生体組織の撮像も、半透明組織によって誘発される収差によって制限される。

【0007】

現在の技術水準では、収差を補償するために補償光学システムが使用される。補償光学システムは、特に、撮像システムの外部の撮像媒体に依存する収差を補償するために使用される。光学システムパラメータの時間依存変動を補償するために、補償光学システムがさらに使用される。これらの補償光学システムは、変形可能な鏡または空間光変調器、シャック・ハルトマン（Ｓｈａｃｋ－Ｈａｒｔｍａｎｎ）センサなどのフィードバック波面センサ、波面センサからのデータを使用して閉ループフィードバックを使用して波面変調素子を制御する制御部、などの、光波面を動的に変調することができる光学素子からなる。

【0008】

補償光学システムは、既存の撮像システムに統合するには非常に複雑である。既存の撮像システムへの補償光学システムの統合は、通常は追加の光リレーおよびビームスプリッタの形態で、波面センサおよび波面変調素子を組み込むために光路の変更を必要とする。さらに、多くの補償光学システムは、波面センサおよび波面変調素子の両方が撮像システムの瞳面またはその近傍に位置するように設計され、それによって、光波面収差を撮像フィールド全体にわたって均一にサンプリングおよび補正する。空間的に依存する補償光学補正は、通常、走査光学撮像システムで実行され、システム全体の設計をさらに複雑にする。多くの場合、波面センサに十分なフィードバック信号を提供するために追加の「星型ガイド」照明システムが必要とされ、システムをさらに複雑にし、その有用性および動作範囲を制限する。

【0009】

一方で、単純な光学設計と高品質の撮像との間の相反する要求は、効果的な収差補正スキームを必要とする。他方、補償光学を使用して光波面を物理的に補正することは非常に複雑であり、使用事例が限られており、コストが法外である。したがって、デジタル収差補正（またはデジタル補償光学システム）の考えは、非常に魅力的であり、すなわち、捕捉された撮像データのデジタルアルゴリズムぼけ解消処理を実行する。

【0010】

画像処理に関して、収差は、名目上理想的な画像に適用されるぼけカーネルとして明らかであり、ぼけ画像をもたらす。多くの場合、このぼけカーネルは空間的に依存し、すなわち、画像の異なる部分には異なるぼけカーネルが適用される。多くの場合、特に光学収差が濁った撮像媒体などの光学撮像システムの外部の要因によって引き起こされる場合、または周囲温度、圧力などの環境要因によって光学撮像が変化する場合、実際のぼけカーネルは未知である。

【0011】

ぼけ画像の単純な逆重畳のぼけ解消は、いくつかの理由で結果が限られている。第１に、多くの場合、実際の光学収差は、変調伝達関数（ＭＴＦ：ｍｏｄｕｌａｔｉｏｎ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）をデジタル的に復元することが許容できないノイズレベルを導入する程度まで大幅に劣化させる。さらに、多くの場合、ぼけカーネルは未知であり、成功が限られた盲目的な逆重畳／ぼけアルゴリズムのホストにつながる。

【0012】

デジタルぼけおよび収差補正のための別の既知の技術は、光照射野データを取り込むためのプレノプティックカメラ、角度感知画素、およびそれらの変形を使用することに基づく光照射野撮像である。光照射野データは、場面から撮像装置に伝搬する光線軌道の幾何学的記述である。従来の撮像は、各光線の入射角に関係なく各センサ画素に衝突する光線の数を記録するが、光照射野撮像は、プレノプティックカメラ構成または角度に敏感な画素内の微小レンズアレイを使用して各光線の位置（すなわち、それが当たる画素）およびその入射角を記録することを目的とする。概念上、光照射野撮像は、撮像された場面の光線が撮像された物体から主撮像開口を通って画像センサ上に伝播するときの光線の位置および角度に関するデータを提供する。理論的には、光線角度位置データのこの記録を使用して、光線を仮想的に光線追跡し、伝播し、操作して物体とカメラとの間の距離を推測し、収差に起因して、または単に焦点面から遠くにあることによって、完全な焦点に収束しなかった異常な光線をデジタル的に補正することができる。

【0013】

光照射野撮像は、回折限界の完全な撮像まではデジタル式のぼけ解消および画質の復元を許容できないことが知られている。その固有の角度－空間分解能のトレードオフのために、光照射野撮像は、Δｘ＝λ／４ＮＡによって与えられる回折限界ナイキストサンプリング限界の倍数（典型的には３～１０）である画像分解能をもたらすことができる。この理由は、主撮像レンズを介して撮像されるプレノプティックシステムの入射瞳は、主レンズの入射瞳の小数部分のみであり、はるかに低い光学分解能をもたらすからである。この構成の背後にある論理は、そのような各部分瞳孔セグメントが異なる光線角度束を表すことである。主撮像瞳のセグメント化がなければ、プレノプティックシステムは、システムを介して撮像される光線の角度情報を識別することができず、仮想光線追跡および伝搬方式全体を無効にする。

【0014】

したがって、光学収差を補正するために光照射野撮像を使用することができるという約束は、古典的な光照射野撮像が主撮像開口の光学回折限界から遠く離れて機能するので、満たされないままである。光照射野の固有の画像解像度および品質は、回折限界の光学系に対する典型的な収差によって誘発される有効な劣化解像度よりもはるかに低いため、利得に何も残らない。

【0015】

さらに知られている技術は、符号化された開口および圧縮光照射野技術などのスパースサンプリングおよび未決定の再構成に基づいている。しかしながら、これらの方法は、撮像された場面に対する発見的な仮定に基づいており、したがって、アルゴリズムの訓練セットによってカバーされない要素を含む場面に対して多数の撮像結果を生成する。さらに、必要な開口符号化および圧縮光照射野マスクが、光のかなりの部分を遮断し、検出器センサアレイに到達する信号を低減し、システムの全体的な信号対雑音比（ＳＮＲ：ｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ ｒａｔｉｏ）を低減する。これらの種類の撮像システムは、光照射野撮像と同様に、主撮像開口部の回折限界から離れて機能するように設計されている。

【0016】

ハードウェアベースの補償光学システムを用いて収差を補正することは、非常に複雑かつ高価であり、有効性が制限される可能性があり、撮像システムの動作範囲に制限的な制約を課す可能性がある。ぼけた生画像のぼけ解消および逆重畳技術に基づくデジタル収差補正は、通常、ノイズおよび収差ぼけカーネルを事前に知ることができないことによって制限される。さらに、光照射野ベースの方法は、固有の空間および角度分解能の制限のために、回折限界のデジタル収差補正を実行することができない。スパースサンプリング技術は、許容できない撮像結果を導入し、システムＳＮＲを低減し、典型的には回折限界から離れても機能することが知られている。

【0017】

従来のカラー撮像は、典型的には、ＲＧＢベイヤーフィルタ配列およびその変形などのカラーフィルタ配列を使用する。これは、センサに到達する光透過の著しい損失を引き起こす。典型的には、光の５０～７０％までがフィルタリングで除かれる。ダイクロイックプリズムの使用により、光の損失を克服することができるが、追加の画像センサおよびシステムの複雑さを犠牲にする。回折格子に依存する他のマルチスペクトルまたはハイパースペクトル撮像装置は、典型的には、狭い入射スリットを有する一次元ラインスキャンカメラとしてのみ機能し得る。

【0018】

撮像された入力場面にかかわらず、最大ＳＮＲでぼけ解消出力画像をもたらす、回折限界まで、任意選択的に光の損失なしにデジタル収差補正を実行するためのシステムおよび方法が必要とされている。場合によってはデジタル収差補正と併せて、２Ｄ撮像アレイおよび最小の光損失でＲＧＢカラー、マルチスペクトル撮像またはハイパースペクトル撮像を実行する必要がある。

【発明の概要】

【0019】

本発明の実施形態によれば、光学システムであって、光学システムの像面の近くに光学画像を形成するための光学撮像部と、像面の近くに配置された波面撮像センサ部であって、像面の近くの光照射野および画像出力に関する生デジタルデータを提供する、波面撮像センサ部と、生デジタルデータおよび画像出力を処理してぼけ解消画像出力を提供するための制御部と、を備え、制御部は、命令を記憶する記憶部と、画像入力と波面撮像センサに衝突する光照射野の生デジタルデータとを受信し、撮像面における光相互干渉関数の解析に基づいてぼけ解消画像を生成するために命令を実行する処理部とを含む、光学システム、が提供される。

【0020】

制御部は、光照射野の視野特性を計算するステップと、視野特性内のコヒーレンスと重畳情報とに基づいて画像出力内の点光源間を識別するステップと、各々の識別された点光源について、そのぼけ度合いを推定するステップと、ぼけが解消された点光源の合成としてぼけ解消画像を再構成するステップと、を含み得る。

【0021】

視野特性は、ウィグナー分布または数学的変換によるウィグナー分布に関連する同等のエンティティであってもよい。

【0022】

波面撮像センサ部は、少なくとも２つの色帯域を有するカラーフィルタアレイをさらに備えていてもよく、制御部は、色帯域の各々に対応する視野特性を計算し、複数の有彩色視野特性を生じさせ、有彩色視野特性の組み合わせに基づいてぼけ解消画像を再構成する。

【0023】

波面撮像センサ部は、各々がスペクトルフィルタに関連付けられた少なくとも２つの画像センサを備えていてもよく、制御部は、少なくとも２つの画像センサの各々に対応する視野特性を計算し、複数の有彩色視野特性を生じさせ、有彩色視野特性の組み合わせに基づいてぼけ解消画像を再構成する。

【0024】

本発明の実施形態によれば、波面撮像センサ部は、像面の近くに配置された光変調器部と、生デジタル画像出力を取得するために、システムを通る入力光照射野の一般的な伝播方向に対して光変調器部の下流に配置された画像センサ部と、を含み、光変調器部は、位相変調および振幅変調の少なくとも一方を用いて光照射野を変調する。

【0025】

光変調器部は複数の単位セルを含んでいてもよく、画像センサ部はセンサセルのアレイを含んでいてもよく、センサセルのアレイは、複数のセンササブアレイ単位セルを画定し、各センササブアレイは、光変調器部の複数の単位セルの単位セルに対応し、光変調器部は、画像センサ部によって収集された入力光に所定の変調を適用するものであり、光変調器部の各単位セルは、そこに入射する収集された入力光の一部を、それに対応するセンササブアレイ単位セルおよび所定の近接領域内の１つまたは複数の隣接するセンササブアレイ単位セルに向ける。

【0026】

本発明の実施形態によれば、画像センサ部の複数のセンササブアレイ単位セルの生画素数Ｎ_Ｒは、光変調器部のナイキストサンプリング点Ｎ_Ｎの数以上である。

【0027】

他の実施形態によれば、画像センサ部の複数のセンササブアレイ単位セルの生画素数Ｎ_Ｒおよび光変調器部のナイキストサンプリング点Ｎ_Ｎの数は、関係Ｎ_Ｒ≧Ｎ_Ｎ＋Σ_ｉＮ^ｉ _Ａに従い、式中、１≦Ｎ^ｉ _Ａ≦Ｎ_Ｎであり、Ｎ^ｉ _Ａは、動的収差の空間的変動性を示す。

【0028】

本発明の実施形態によれば、制御部は、単位セルの各々に対応する視野特性を計算し、複数の有彩色視野特性を生じさせ、有彩色視野特性の組み合わせに基づいて、スペクトルフィルタまたはカラーフィルタを使用せずに、フルカラーＲＧＢ画像、ハイパースペクトル画像からなる群のうちの少なくとも１つを再構成する。

【0029】

他の実施形態によれば、制御部は、単位セルの各々に対応する有彩色視野特性を計算し、複数の有彩色視野特性を生じさせ、出力画像画素の数Ｎ_Ｏおよび有彩色視野特性の数Ｎ_Ｃを有する出力画像を再構成し、Ｎ_Ｏは、ナイキストサンプリング限界Ｎ_Ｎよりも低く、Ｎ_Ｃ×Ｎ_Ｏ≦Ｎ_Ｒであり、Ｎ_Ｒは生画素数である。

【0030】

本発明の一態様によれば、光照射野が、別個または連続的な複数の波長を含む場合、制御部は、（１）各々の識別された点光源について、そのスペクトル分布を推定するステップと、（２）画像のスペクトル分布マップを再構成するステップと、一方または両方を実行する。

【0031】

制御部はさらに、（１）各々の識別された点光源の収差強度を推定するステップと、（２）識別された点光源ごとに推定された動的収差強度に基づいて深度を推定し、パワー収差強度の空間マップを生成し、パワー収差強度の空間マップに基づいて深度マップを再構成するステップと、（３）深度マップに基づいて、画像の焦点ぼけ部分の回折限界撮像解像度を復元するステップと、のうちの１つまたは複数を実行する。

【0032】

光変調器部の少なくとも単位セルおよび画像センサ部のセンサセルのアレイは、単位セルが、センサセルのアレイを製造するために使用される処理スタックの一部であるような、モノリシック集積部および別々の部、からなる群のうちの１つとして製造されてもよい。

【0033】

光変調部の設計は、単位セル当たり１つのディスク部を有するバイナリ設計、等間隔の半径を有する同心リングからなる多層設計、少なくとも２つの不等間隔の半径を有する同心リングからなるマルチレベル設計、単位セルの縁部に配置された、単位セル当たり２つのディスクを有するバイナリ設計、単位セルの縁部に配置された、単位セル当たり２組のリングを有するマルチリング設計、からなる群のうちの１つであってもよい。

【0034】

光変調部の単位セルは、位相変調、振幅変調、または位相および振幅変調の両方を適用するものである。

【0035】

光学撮像部は、屈折光学撮像部、反射光学撮像部、反射屈折光学撮像部、回折光学撮像部、およびそれらの組み合わせからなる群のうちの１つであってもよい。

【0036】

光学撮像部は、対物レンズと、像面に画像を形成するためのチューブレンズ、リレー光学系および望遠鏡光学系からなる群のうちの少なくとも１つとを備えることができる。光学撮像部は、カメラレンズとして使用されてもよく、広角レンズ、通常レンズ、望遠レンズおよびズームレンズからなる群のうちの１つであってもよい。光学撮像部は、屈折望遠鏡システム、反射望遠鏡システム、または反射屈折望遠鏡システムからなる群のうちの１つであってもよい。

【0037】

波面撮像センサ部は、２Ｄエリアセンサ、ラインスキャンセンサ、マルチラインスキャンセンサ、およびＴＤＩセンサからなる群のうちの１つであってもよい。

【0038】

本発明の一態様によれば、光学システムの撮像面の近くで撮像部が撮像した画像のデジタル光学収差補正方法であって、像面の近くに配置された波面撮像センサ部に衝突する光照射野および像面の近くに形成された画像出力に生のデジタルデータを提供するステップと、制御部によって、生のデジタルデータおよび画像出力を処理して、像面における光相互コヒーレンス関数の解析に基づいてぼけ解消画像出力を提供するステップと、を含む、方法、が提供される。

【0039】

一実施形態では、波面撮像センサ部は、生のデジタル画像出力を取得するために、像面の近くに配置された光変調器部と、システムを通る入力光照射野の一般的な伝播方向に対して光変調器部の下流に配置された画像センサ部とを備え、方法は、位相変調および振幅変調のうちの少なくとも１つを使用して光照射野を変調するステップをさらに含む。

【0040】

別の実施形態では、光変調器部は複数の単位セルを含み、画像センサ部はセンサセルのアレイを含み、センサセルのアレイは、複数のセンササブアレイ単位セルを画定し、各センササブアレイは、光変調器部の複数の単位セルの単位セルに対応し、方法は、光変調器部により、画像センサ部によって収集された入射光に所定の変調を適用するステップと、光変調器部の各単位セルによって、それに入射する収集された入射光の一部を、それに対応するセンササブアレイ単位セルおよび所定の近接領域内の１つまたは複数の隣接するセンササブアレイ単位セルに向けるステップと、
を含む。画像センサ部の複数のセンササブアレイ単位セルの生画素数Ｎ_Ｒは、光変調器部のナイキストサンプリング点Ｎ_Ｎの数以上であってもよい。画像センサ部の複数のセンササブアレイ単位セルの生画素数Ｎ_Ｒおよび光変調器部のナイキストサンプリング点Ｎ_Ｎの数は、関係Ｎ_Ｒ≧Ｎ_Ｎ＋Σ_ｉＮ^ｉ _Ａに従ってもよく、ここで、１≦Ｎ^ｉ _Ａ≦Ｎ_Ｎであり、Ｎ^ｉ _Ａは、動的収差の空間的変動性を示す。

【0041】

本発明の一実施形態では、本方法は、光照射野の視野特性を計算するステップと、視野特性内のコヒーレンスと重畳情報とに基づいて画像出力内の点光源間を識別するステップと、各識別された点光源について、そのぼけを推定するステップと、ぼけが解消された点光源の合成としてぼけ解消画像を再構成するステップと、をさらに含む。視野特性は、ウィグナー分布または数学的変換によるウィグナー分布に関連する同等のエンティティであってもよい。

【0042】

本発明の一実施形態では、波面撮像センサ部は、少なくとも２つの色帯域を有するカラーフィルタアレイをさらに備え、本方法は、各色帯域に対応する有彩色視野特性を計算し、複数の有彩色視野特性を生じさせ、有彩色視野特性の組み合わせに基づいてぼけ解消画像を再構成するステップをさらに含む。

【0043】

別の実施形態では、波面撮像センサ部は、各々がスペクトルフィルタに関連付けられた少なくとも２つの画像センサを備え、方法は、少なくとも２つの画像センサの各々に対応する有彩色視野特性を計算するステップと、複数の有彩色視野特性を生じさせるステップと、有彩色視野特性の組み合わせに基づいてぼけ解消画像を再構成するステップとをさらに含む。

【0044】

さらに別の実施形態では、画像センサ部の複数のセンササブアレイ単位セルの生画素数Ｎ_Ｒは、光変調器部のナイキストサンプリング点Ｎ_Ｎの数以上であり、方法は、各単位セルに対応する有彩色視野特性を計算するステップと、複数の有彩色視野特性を生じさせるステップと、有彩色視野特性の組み合わせに基づいて、フルカラーＲＧＢ画像、スペクトルフィルタまたはカラーフィルタを使用しないハイパースペクトル画像からなる群のうちの少なくとも１つを再構成するステップと、をさらに含む。

【0045】

光照射野が異なるまたは連続的な複数の波長を含む場合、本方法は、識別された各点光源について、そのスペクトル分布を推定するステップをさらに含んでいてもよい。本方法は、画像のスペクトル分布マップを再構成するステップをさらに含んでいてもよい。

【0046】

本発明のさらに別の態様によれば、光学システムの像面付近の光照射野の光相互コヒーレンス関数の要素を示す生デジタルデータを処理する方法が提供され、本方法は、光相互コヒーレンス関数に基づいて視野特性を計算するステップと、視野特性におけるコヒーレンスおよび重畳情報に基づいて、像面の近くに出力された画像内の点光源間を識別するステップと、識別された各点光源について、そのぼけを推定し、ぼけのない点光源を生じさせ、ぼけが解消された点光源の合成としてぼけ解消画像を再構成するステップと、を含む。

【0047】

本方法は、以下の動作、すなわち、各点光源の収差強度の程度を推定するステップと、各点光源の空間スペクトル分布を推定し、点ごとのスペクトル分布推定値のセットをもたらすステップと、点毎のスペクトル分布推定値のセットに基づいて光照射野のスペクトル分布の空間マップを再構成するステップと、光相互コヒーレンス関数を、ウィグナー・ワイル（Ｗｉｇｎｅｒ－Ｗｅｙｌ）変換を使用してウィグナー分布に変換し、ウィグナー分布に基づいて識別、推定、および計算を行うステップと、のいずれかまたはそれらの組み合わせをさらに含むことができる。各点光源の収差強度の程度を推定する動作は、収差を静的収差または動的収差として分類することをさらに含み得る。

【0048】

本発明の一態様によれば、画像処理のための方法が提供され、本方法は、光学システムの像面付近の光照射野の光相互干渉関数の要素を示す生デジタルデータを生成するステップであって、生成するステップは、複数の単位セルを有する光変調器部で光照射野を変調するステップと、システムを通る入力光照射野の一般的な伝播方向に対して光変調器部の下流に位置する画像センサ部によって出力される生デジタル画像を取得するステップであって、画像センサ部はセンサセルアレイを含み、センサセルアレイは複数のセンササブアレイ単位セルを画定し、各センササブアレイは、光変調器部の各単位セルがそれに入射する収集された入力光の一部をそれに対応するセンササブアレイ単位セルおよび所定の近接領域内の１つまたは複数の隣接するセンササブアレイ単位セルに向けるように対応する、ステップと、本発明の実施形態による方法に従って上記生データを処理するステップと、を含む。

【0049】

本発明の別の態様によれば、光学システムの像面付近の光照射野の光相互コヒーレンス関数の要素を示す生デジタルデータを処理する方法が提供され、本方法は、光相互コヒーレンス関数に基づいて視野特性を計算するステップと、視野特性におけるコヒーレンスおよび重畳情報に基づいて、像面の近くに出力された画像内の点光源間を識別するステップと、各識別された点光源の空間スペクトル分布を推定し、点ごとのスペクトル分布推定値のセットを生成するステップと、を含む。

【0050】

本方法は、以下の動作、すなわち、点ごとのスペクトル分布推定値のセットに基づいて、光照射野のスペクトル分布の空間マップを再構成するステップと、識別された各点光源について、そのぼけを推定し、ぼけが解消された点光源を生じさせ、ぼけが解消された点光源の合成としてぼけ解消画像を再構成するステップと、各点光源の収差強度の度合いを推定するステップと、光相互コヒーレンス関数を、ウィグナー・ワイル変換を使用してウィグナー分布に変換し、ウィグナー分布に基づいて前記識別、推定、および計算を行うステップと、のいずれかまたはそれらの組み合わせをさらに含んでいてもよい。各点光源の収差強度の程度を推定する動作は、収差を静的収差または動的収差として分類することをさらに含み得る。

【0051】

本発明の一態様によれば、生のデジタル画像出力を取得するために、光変調器部と、システムを通る入力光照射野の一般的な伝播方向に対して光変調器部の下流に配置された画像センサ部とを備える波面撮像センサシステムが提供され、光変調器部は複数の単位セルを備え、画像センサ部はセンサセルのアレイを備え、センサセルのアレイは複数のセンササブアレイ単位セルを画定し、各センササブアレイは光変調器部の上記複数の単位セルの単位セルに対応し、画像センサ部の複数のセンササブアレイ単位セルの生画素数Ｎ_Ｒは、光変調器部のナイキストサンプリング点Ｎ_Ｎの数以上であり、光変調器部は、画像センサ部によって収集された入力光に所定の変調を適用するものであり、光変調器部の各単位セルは、そこに入射する収集された入力光の一部を、それに対応するセンササブアレイ単位セルおよび所定の近接領域内の１つまたは複数の隣接するセンササブアレイ単位セルに向け、単位セルの設計は、画像センサ部の複数のセンササブアレイ単位セルの生画素数Ｎ_Ｒが光変調器部のナイキストサンプリング点Ｎ_Ｎの数以上であること、単位セル当たり１つのディスク部を有するバイナリ設計、等間隔の半径を有する同心リングからなる多層設計、少なくとも２つの不等間隔の半径を有する同心リングからなるマルチレベル設計、単位セルの縁部に配置された、単位セル当たり２つのディスクを有するバイナリ設計、単位セルのエッジに配置された、単位セル当たり２セットのリングを有するマルチリング設計、および準周期設計、からなる群からの少なくとも１つの条件に従う。

【0052】

本発明の別の態様によれば、生のデジタル画像出力を取得するために、光変調器部と、システムを通る入力光照射野の一般的な伝播方向に対して光変調器部の下流に配置された画像センサ部とを有する波面撮像センサシステムを設計する方法が提供され、方法は、光変調器部において複数の単位セルを提供し、画像センサ部においてセンサセルのアレイを提供するステップであって、センサセルのアレイが複数のセンササブアレイ単位セルを画定し、各センササブアレイは、画像センサ部の複数のセンササブアレイ単位セルの生画素数Ｎ_Ｒが光変調器部のナイキストサンプリング点Ｎ_Ｎの数以上であるように、および、光変調器部が画像センサ部によって収集された入力光に所定の変調を適用するように、および、光変調器部の各単位セルが、そこに入射する収集された入射光の一部を、それに対応するセンササブアレイ単位セルおよび所定の近接領域内の１つまたは複数の隣接するセンササブアレイ単位セルに向けるように、光変調器部の前記複数の単位セルに対応する、ステップと、単位セルを、画像センサ部の複数のセンササブアレイ単位セルの生画素数Ｎ_Ｒが光変調器部のナイキストサンプリング点Ｎ_Ｎの数以上であること、単位セル当たり１つのディスク部を有するバイナリ設計、等間隔の半径を有する同心リングからなる多層設計、少なくとも２つの不等間隔の半径を有する同心リングからなるマルチレベル設計、単位セルの縁部に配置された、単位セル当たり２つのディスクを有するバイナリ設計、単位セルの縁部に配置された、単位セル当たり２セットのリングを有するマルチリング設計、および準周期的設計、からなる群の少なくとも１つの条件に従うように設計するステップと、を含む。

【0053】

本発明の一態様によれば、光学システムであって、光学システムの像面の近くに光学画像を形成するための光学撮像部と、光学撮像部と像面との間に位置する補償光学システム部であって、像面の近くに配置された波面撮像センサ部と、像面の近くの光照射野および画像出力に生デジタルデータを提供する波面撮像センサ部と、生デジタルデータおよび画像出力を処理してぼけ解消画像出力を提供するための制御部と、を備え、制御部が、命令を記憶する記憶部と、画像入力と波面撮像センサに衝突する光照射野の生デジタルデータとを受信し、撮像面における光相互干渉関数の解析に基づいてぼけ解消画像を生成するために命令を実行するための処理部とを備え、補償光学システム部が、撮像システムの瞳面の近くに位置する補償光学波面センサおよび補償光学波面変調器と、補償光学制御部とを備え、補償光学システム波面センサが、補償光学システム制御部の制御下で波面変調器を駆動するためのフィードバックを提供する、光学システム、が提供される。補償光学システム部は、瞳リレーおよびチューブレンズをさらに備えていてもよい。制御部は、補償光学波面センサから情報を受信し、波面収差の粗い測定値を提供する。光学撮像部、波面センサ、および制御部、ならびに補償光学波面センサ、補償光学波面変調器、および補償光学制御部は、本発明の任意の態様および実施形態に従って実現することができる。

【図面の簡単な説明】

【0054】

本発明の実施形態に関する本発明のより良い理解のために、添付の図面を参照する。図面において、同様の符号は全体を通して対応するエンティティを示す。

【0055】

【図1a】本発明の一実施形態によるデジタル光学収差補正システムを概略的に示すブロック図である。

【図1b】本発明の別の実施形態によるデジタル光学収差補正システムを概略的に示すブロック図である。

【図2a】本発明の実施形態の態様を例示する、光学構成の概略図である。

【図2b】本発明の実施形態の態様を例示する、光学構成の概略図である。

【図2c】本発明の実施形態の態様を例示する、光学構成の概略図である。

【図3a】本発明の実施形態による方法を示すフローチャートである。

【図3b】本発明の実施形態による方法を示すフローチャートである。

【図4】光源参照物体－シーメンスの星型標的を示す図である。

【図5a】本発明の一実施形態によるシステムの例示的な特性を示す図である。

【図5b】本発明の一実施形態によるシステムの例示的な特性を示す図である。

【図6a】本発明の一実施形態によるシステムの光学特性を示す図である。

【図6b】本発明の一実施形態によるシステムの光学特性を示す図である。

【図7】本発明の一実施形態によるシステムの別の光学特性を示す図である。

【図8a】本発明の一実施形態による、図４の光源参照物体のぼけ画像を示す図である。

【図8b】本発明の一実施形態による、図４の光源参照物体のぼけ解消画像を示す図である。

【図9a】本発明の実施形態による生画素配置を概略的に示す図である。

【図9b】本発明の実施形態による生画素配置を概略的に示す図である。

【図10a】本発明の実施形態による光変調器部の態様を概略的に示す図である。

【図10b】本発明の実施形態による光変調器部の態様を概略的に示す図である。

【図10c】本発明の実施形態による光変調器部の態様を概略的に示す図である。

【図10d】本発明の実施形態による光変調器部の態様を概略的に示す図である。

【図11a】本発明の実施形態による光変調器部の他の態様を概略的に示す図である。

【図11b】本発明の実施形態による光変調器部の他の態様を概略的に示す図である。

【図12a】本発明の実施形態による波面撮像センサの態様を概略的に示す図である。

【図12b】本発明の実施形態によるシステムのブロック図である。

【図13a】本発明の一実施形態によるスペクトル帯域フィルタを概略的に示す図である。

【図13b】本発明の一実施形態によるスペクトル分布を概略的に示す図である。

【図14】本発明の一実施形態によるデジタル光学収差補正システムを概略的に示すブロック図である。

【発明を実施するための形態】

【0056】

本発明の実施形態によれば、デジタル光学収差補正のためのシステムおよび方法が説明される。提案されたシステムは、撮像結果を導入することなく、回折限界まで光学収差を補正することができる。いくつかの実装形態では、提案されたシステムは、光学システムを通る光透過率を低下させることなく光学収差を補正することができる。撮像システムにおける光学収差を補正する能力は、単純化された光学系、向上された動作パラメータ、およびより広い範囲の用途をもたらすことができる。

【0057】

図１ａに示す本発明の一実施形態によれば、デジタル光学収差補正システム１０は、「撮像光学系」とも呼ばれる光学撮像部１０２からなる。光学撮像部１０２は、像面１０４または表面の近くに光学画像を形成するために使用される。波面撮像センサ部１０６、および制御部１０８。制御部１０８は、ぼけ解消画像出力を提供するために物体１００の生デジタル画像出力を処理するためのものである。また、制御部１０８は、像面１０４における光学収差強度を測定してもよい。

【0058】

本発明の実施形態は、顕微鏡、カメラ、望遠鏡、長距離撮像システムなどのいくつかの用途に対処するように解釈することができる。例えば、顕微鏡用途では、光学撮像部１０２は、対物レンズ、任意選択的にチューブレンズ、およびシステムの像面１０４に画像を形成するための他のリレーまたは望遠鏡光学系（図１には示されていない）から構成されてもよい。カメラ用途の場合、光学撮像部１０２は、広角レンズ、通常レンズ、望遠レンズ、またはズームレンズ（図１ａには図示せず）であり得るカメラレンズとして使用され得る。望遠鏡および長距離撮像システムの場合、光学撮像部１０２は、屈折式、反射式、または反射屈折式望遠鏡システム（図１ａには図示せず）から構成されてもよい。

【0059】

本発明の一実施形態による光学システム１２が図１ｂに示されており、波面撮像センサ部１０６は、像面１０４の近くの光変調器部１１０から構成することができる。光変調器部１１０は、位相変調、振幅変調、またはその両方を用いて光を変調する。波面撮像センサ部１０６は、下流画像センサ部１１２とも呼ばれる画像センサ検出器アレイ１１２からさらに構成することができる。画像センサ検出器アレイ１１２は、生のデジタル画像出力を取得するためのものである。

【0060】

波面撮像センサ部１０６は、用途に応じて、２Ｄエリアセンサ、ラインスキャンセンサ、マルチラインスキャンセンサ、またはＴＤＩセンサなどの従来型の撮像センサのいずれかとして構成することができる。

【0061】

制御部１０８（図１ａおよび図１ｂに示す）は、処理部および記憶部（図示せず）から構成されてもよい。処理部は、後述するように、デジタルアルゴリズム処理を実行するために使用され得る。記憶部は、以下に説明するように、光学画像部の静的収差を示す事前に計算された、または事前に測定された、または他の方法で事前に決定されたデータを記憶することができる。

【0062】

記憶部はまた、光学画像部の有彩色特性を示す予め計算された、予め測定された、またはそうでなければ予め決定されたデータを記憶するために使用することができる。記憶部は、波面撮像センサ部１０６、および任意選択的に光変調器部１１０の有彩色特性を示す、事前に計算された、事前に測定された、または他の方法で事前に決定されたデータを記憶することができる。

【0063】

光学撮像部１０２は、屈折、反射、反射屈折、回折、またはそれらの組み合わせの任意の種類のものとすることができる。光学撮像部１０２は、本明細書に記載のシステムのデジタル収差補正機能に依存して画質および鮮明度を回復しながら、その設計および製造工程を単純化するために、緩和された光学収差仕様で設計および構成することができる。システム１０によって補正され得る光学撮像部１０２によって誘発される収差型は、これに限定されないが、セイデル収差－球面収差、コマ収差、非点収差、像面湾曲、および歪み、横および縦色収差、および場合により、それらのより高次の対応物も含む。

【0064】

波面撮像センサ部１０６は、回折限界のぼけ解消再構成を可能にするために、生データを制御部１０８に提供する役割を果たす。波面撮像センサ部１０６はまた、像面１０４における光学収差強度の測定値を提供することができる。「生データ」という用語は、画像センサ１０６によって測定される光強度のデジタル化を指す。生データは、例えば、以下に説明するように、制御部１０８によってさらに処理されて、光相互干渉関数の要素またはウィグナー分布などの同等のエンティティの尺度を提供する。波面撮像センサ１０６は、回折限界サンプリング分解能で撮像システムの像面１０４付近の光照射野の光相互干渉関数の要素に関するデータを提供するように設計されている。標準的なシャック・ハルトマン型センサ、プレノプティックカメラセンサ、または角度感知画素センサは、背景技術の項で説明したように、回折限界のサンプリング分解能でこのデータを提供することができない。

【0065】

本明細書で使用される「波面撮像センサ」という用語は、回折限界サンプリング分解能を提供する能力に関する。本明細書で使用される「波面センサ」という用語は、回折限界サンプリング分解能に到達することができない、シャック・ハルトマンセンサ、プレノプティックカメラ、または角度感知画素などの従来の技術を指す。

【0066】

本発明の一実施形態によれば、波面撮像センサ部１０６および制御部１０８は、参照により本明細書に組み込まれる国際公開第２０１８／１８５７４０号パンフレットに記載されている原理に沿って動作し得る。本発明の実施形態によれば、波面撮像センサ１０６は、撮像光学系の像面１０４の近くに配置された光変調器１１０（エンコーダとも呼ばれる）と、下流の画像センサ検出器アレイ１１２とからなる。光変調器１１０（エンコーダ）は、像面１０４に到達する光に対して振幅変調、位相変調、またはその両方を実行する静的受動光学素子であってもよい。位相変調のみが行われる場合、光変調器１１０は、光学システム１０においていかなる追加の損失も引き起こさない。そこから、変調光は下流検出器アレイ１１２に伝搬し、サンプリングされ、次いでデジタル化される。次いで、生のデジタルデータ－サブ画素センサセルアレイ１１２の出力－は、制御部１０６によって処理される。以下、エンコーダ部１１０の、像面１０４での光照射野のナイキストサンプリングに対するセルの関係について説明する。制御部１０６は、国際公開第２０１８／１８５７４０号パンフレットに記載されている制御部の機能、ならびに例えば以下に説明する追加の制御機能を実行するために使用することができる。制御機能は、別個の制御部によって実行することができる。

【0067】

本発明のいくつかの実施形態では、光変調器１１０は、検出器アレイ１１２とは別個の部であってもよいことに留意されたい。他の実施形態では、光変調器１１０は、検出器アレイ１１２とモノリシックに集積されてもよい。さらに他の実施形態によれば、光変調器１１０は、例えばメタライゼーション処理ステップ、またはセンサアレイの画素充填率を改善するために使用される微小レンズアレイの製造に使用されるものと同様の処理ステップを使用して、センサアレイ１１２を製造するために使用される処理スタックの一部であってもよい。

【0068】

波面撮像センサ部１０６は、撮像システムの撮像面１０４における光相互干渉関数の測定値を提供する。光照射野Ｅ（ｘ）の光相互コヒーレンス関数ｐは、場の時間平均空間相関を規定する。

【0069】

（数１）ｐ（ｘ，ｘ´）＝〈Ｅ（ｘ）Ｅ＊（ｘ´）〉

【0070】

ここで、数１において、ｘ＝（ｘ、ｙ）は、場の横方向の空間座標に関する。一般に、検出器アレイおよびデジタル化データの使用は、以下の形式の相互コヒーレンス行列を提供する相互コヒーレンスの特定の離散化を必要とする。

【0071】

（数２）ｐ_ｉｊ＝〈Ｅ（ｘ_ｉ）Ｅ＊（ｘ_ｊ）〉

【0072】

ここで、数２において、Ｅ（ｘｉ）は点

における場の複素振幅に関連し、Ｅ＊（ｘｊ）は点

における場の複素共役に関連する。相互コヒーレンス行列の物理的に可能な実現はエルミートおよび非負であることに留意されたい。

【0073】

当技術分野で知られているように、従来の撮像および検出技術、または典型的な検出装置またはシステムは、従来の強度測定値に対応する対角要素を示すデータを提供する、すなわち、Ｉ_ｉ＝ｐ_ｉｉ＝〈Ｅ（ｘ_ｉ）Ｅ＊（ｘ_ｉ）〉．測定された強度Ｉ_ｉ＝ｐ_ｉｉは、入射角に関係なく各検出器画素に衝突する光子／光線の数を示し、横方向光線位置ｘの離散化された尺度を提供する。測定された強度Ｉ_ｉ＝ｐ_ｉｉは、非対角要素に関する情報を提供しない。相互コヒーレンス関数の非対角要素は、光照射野の位相およびコヒーレンス関係を含む。

【0074】

非対角要素における位相およびコヒーレンスの関係は、光学システムの像面１０４において波面撮像センサ１０６に衝突する光線の角度情報を示す。物理光学系では、波の位置と角度との間の相関は、ウィグナー分布Ｗ（ｘ、θ）によって完全に記述され、ここで、ｘ＝（ｘ、ｙ）は、フィールドの横方向の空間座標に関連し、θ＝（θχ、θｙ）は、光線軌跡角度を記述する。光線光学の限界では、ウィグナー分布は、各光線の位置ｘおよび伝播角θが記録される幾何光学光線の古典的な光照射野記述に減少する。しかしながら、ウィグナー分布は、実際には、物理光学の波状現象を示す負の値を達成し得る「準確率」である。

【0075】

数学的には、ウィグナー分布と相互コヒーレンス関数は完全に等価であり、それらはフーリエ変換（ウィグナー・ワイル変換）によって関連付けられる。

【0076】

【数3】

【0077】

当技術分野で知られているように、古典的な光照射野プレノプティックカメラ、角度感受性画素センサ、またはシャック・ハルトマン型センサは、回折限界の撮像分解能または収差のぼけ解消を提供することができない。本発明の実施形態によれば、波面撮像センサ１０６は、相互コヒーレンス関数の回折限定サンプリングを提供することができる。ウィグナー・ワイル変換から、回折制限空間サンプリングを用いたウィグナー分布を得る。結果として得られるウィグナー分布の角度サンプリング分解能は、相互コヒーレンス関数において測定される最大対角外距離に関係する。

【0078】

本発明の実施形態によれば、ウィグナー分布に含まれる結合位置角情報は、その後、デジタル収差補正を実行するために使用される。説明のために、以下の簡単な例は、デジタル収差補正がどのように実行されるかを示す。図示の単純な例は、任意の種類の撮像場面にわたってすべての収差型をカバーするように拡張することができる。

【0079】

図２ａに光学構成２０が示されている。この単純な例では、完全な光学系２０２を使用して撮像される２つの別個であるが近接した点光源ａおよびｂの撮像を考える。重複するぼけたスポットａ画像およびぼけたスポットｂ画像は、図２ｂにより詳細に示されている。２つの点光源ａおよびｂは、撮像システムの焦点面の外側に配置され、すなわち、焦点が合っておらず、場合によっては異なる焦点ぼけ度合いでさえある。この例では、焦点ぼけおよびその後のぼけは、一般に撮像収差を表す例として扱われ、任意の種類の収差に拡張することができる。焦点ぼけおよび空間的分離の程度は、２つの点光源ａおよびｂのぼけ画像が重なり合うように選択される。

【0080】

それらのぼけ画像が重なり合わないように点光源がより広く離間されている場合、既知の技術は、それらの画像のそれぞれをデジタル的にデコンボリューションし、位相回復または他の技術を使用してそれらの収差の程度を推定することさえも適切である。一般に、ぼけ画像は、それぞれが撮像された物体空間内の点光源に対応する、多くの重複した、任意選択的に異なるぼけカーネルを含む。

【0081】

したがって、現在の一般的な問題は、図２ａに示されている説明中の単純な例と同様に、異なる収差度を有する可能性がある２つ以上の重複するぼけカーネルのためのぼけカーネルのデジタル推定をどのように実行するかであることが分かる。ここで、図２ｃに示す、手元の問題の光線追跡幾何光学の説明を参照する。本発明者らは、２つのぼけたぼけスポットａおよびｂ画像の重複ぼけ領域２１４内に、第１の点光源（点光源ａ）の画像および第２の点光源（点光源ｂ）の画像の両方に向かって収束する光線２１６を含む点があることを見出す。図２ｃの特定の例では、収束点は撮像システムの像面２０４の背後に配置され、したがって焦点ぼけ点光源画像である。一般性を失うことなく、一方または両方の点光源が像面２０４（図示せず）の前の点に撮像される場合、同じ考慮事項が有効である。重複領域２１４内では、各空間点は、異なる角度を有する２つの光線２１６を含み、一方の光線２１６ａは２値の点光源（点光源ａ）からのものであり、他方の光線２１６ｂは第２の点光源（点光源ｂ）からのものである。

【0082】

従来のプレノプティック光照射野センサまたは像面２０４に配置された角度感知画素撮像センサを使用すると仮定すると、これらの種類のセンサは、出力データとセンサに衝突する光の入力光線との間に１－１の対応関係を提供するように構成される。各光照射野データポイントは、伝播θを有する固有の光線を有する空間ｘ内の特定の位置に対応する。角度感知画素検出器はまた、そのような１－１情報を提供する。特定の画素が点灯すると、それは光線位置ｘおよび単一の入射角θを示す。一方、先ほど図２ａ～図２ｃに示した単純な例で示したように、重複領域２１４内には、それらを通過する異なる角度を有する２つの別個の光線を含む位置が存在する。これらの種類の二重または多重光線点は、１－１の対応関係が壊れているため、従来の角度感受性またはプレノプティック光照射野センサによって正確に記録することができない。また、この１－１対応制約は、従来の角度感知画素センサおよびプレノプティック光照射野センサが回折限界まで撮像を実行することができない理由の一部でもあることに留意されたい。回折限界空間分解能より粗い分解能で動作するとき、光照射野の光線追跡光照射野記述は、光線位置と角度との間の１－１の対応関係が破れるような不明瞭領域を含まない。

【0083】

一方、ウィグナー分布Ｗ（ｘ、θ）は、１－１角度位置対応が崩れたあいまいさを安全に記述し定量化することができる。ウィグナー分布は、ウィグナー・ワイル変換を使用して相互コヒーレンス関数ｐ（ｘ、ｘ´）＝＜Ｅ（ｘ）Ｅ＊（ｘ´）〉から抽出され、ウィグナー・ワイル変換は、波面センサ部によって推定されたことを想起されたい。ウィグナー分布は、古典的な光照射野の幾何学的光線光学の記述の波動光学アナログだけではない。ウィグナー分布はまた、コヒーレンスおよび干渉情報も含む。ウィグナー分布は、上述の図２ａ～図２ｃに示す例の重複領域２１４に記載された光線２１６のような、光線の重複する組み合わせを正確に記録し、記述する。

【0084】

ウィグナー分布記述を使用して、重複ぼけ領域２１４内の重複するが別個の光線を測定および識別することの両方が可能である。そうすることによって、問題を重複しないぼけた点光源のより単純なものに減らすことができる。ぼけ解消を行うことができ、また、ぼけを引き起こした収差および焦点ぼけの程度を推定することもできる。

【0085】

ウィグナー分布は、光照射野のスペクトル成分を示すデータを含む。これは、光照射野の強度、コヒーレンス、および位相を示すデータに加えてである。スペクトルコンテンツは、式３に記載された波長依存性によってアクセスすることができる。

【0086】

波面撮像センサはまた、撮像された入力場面に関するスペクトル情報を抽出するために使用されてもよい。ウィグナー分布に含まれるスペクトル情報を使用して、各点光源のスペクトル分布（「スペクトル」）を推定することができる。スペクトル情報は、任意選択的に、カラー（ＲＧＢ）、マルチスペクトル画像またはハイパースペクトル画像のいずれかとして、撮像場面のスペクトル分布マップを再構成するために使用されてもよい。

【0087】

図３ａは、例えば、図１ａ～図１ｂの構成を使用して、デジタルぼけ解消、収差推定、および場合によってはスペクトル分布推定のための、本発明の一実施形態による方法３０を示すフローチャートである。説明を容易にするために、図２ａ～図２ｃに示す撮像シナリオを参照してステップを提示する。

【0088】

方法３０は、例えば、図１ａ～図１ｂに示すように撮像システムの像面１０４の近くに配置された撮像波面センサ部１０６を使用して、画像を撮像し、生データを生成する動作３００で開始する。例えば、図１ｂに示す検出器画素アレイ１１２によって、撮像波面センサ部１０８によって生成された生データは、例えば、図１ａ～図１ｂに示す制御部１０８に渡される。

【0089】

動作３００の後に、例えば制御部１０８によって、波面撮像センサ１０６に衝突する光照射野のウィグナー分布などの視野特性を計算する動作３０２が続く。本発明の一実施形態によれば、動作３０２は、生データに基づいて光相互干渉関数を計算する動作３０２ａと、ウィグナー・ワイル変換（式３）を使用して光相互コヒーレンス関数を等価な光ウィグナー分布に変換する動作３０２ｂとを実行することによって実行される。

【0090】

動作３０２の後には、個々の点光源を分離する動作３０４が続く。ウィグナー分布におけるコヒーレンスおよび角度の組み合わせ情報は、撮像された場面全体を含む異なる点光源間を識別するために使用される。

【0091】

動作３０４の後に、各点光源のぼけを計算する動作３０６が続く。

【0092】

動作３０６の後には、任意選択的に、各点光源の収差強度の程度を推定する動作３０８が続いてもよい。

【0093】

動作３０６（または、任意選択で、動作３０８）の後に、各点光源の空間スペクトル分布を推定する動作３０９が続く。

【0094】

動作３０６（あるいは、任意選択で、動作３０８または３０９）の後に、ぼけ解消画像を再構成する動作３１０が続く。例えば、ぼけ解消画像は、ぼけ解消点光源の合成として再構成される。

【0095】

動作３１０の後に、任意選択的に、点毎の収差推定値から様々な収差強度の空間マップを再構成する動作３１２を行うことができる。

【0096】

動作３１０（または、任意選択で、動作３１２）の後には、任意選択的に、各点光源のスペクトル分布を計算する動作３１４が続く。

【0097】

動作３１４の後に、任意選択的に、点ごとのスペクトル分布推定値から入力光のスペクトル分布の空間マップを再構成する動作３１６を行うことができる。

【0098】

図３ｂは、例えば、図１ａ～図１ｂの構成を使用したスペクトル分布推定のための、本発明の一実施形態による方法３４を示すフローチャートである。説明を容易にするために、図２ａ～図２ｃに示す撮像シナリオを参照してステップを提示する。

【0099】

方法３４は、例えば、図１ａ～図１ｂに示すように撮像システムの像面１０４の近くに配置された撮像波面センサ部１０６を使用して、画像を撮像し、生データを生成する動作３４０で開始する。例えば、図１ｂに示す検出器画素アレイ１１２によって、撮像波面センサ部１０８によって生成された生データは、例えば、図１ａ～図１ｂに示す制御部１０８に渡される。

【0100】

動作３４０の後に、例えば制御部１０８によって、波面撮像センサ１０６に衝突する光照射野のウィグナー分布などの視野特性を計算する動作３４２が続く。本発明の一実施形態によれば、動作３４２は、生データに基づいて光相互干渉関数を計算する動作３４２ａと、ウィグナー・ワイル変換（式３）を使用して光相互コヒーレンス関数を等価な光ウィグナー分布に変換する動作３４２ｂとを実行することによって実行される。

【0101】

動作３４２の後には、個々の点光源を分離する動作３４４が続く。ウィグナー分布におけるコヒーレンスおよび角度の組み合わせ情報は、撮像された場面全体を含む異なる点光源間を識別するために使用される。

【0102】

動作３４４の後に、各点光源の空間スペクトル分布を推定する動作３４６が続く。

【0103】

動作３４６の後に、点ごとのスペクトル分布推定値から入力光のスペクトル分布の空間マップを再構成する動作３４８が続く。

【0104】

任意選択的に、収差補正のための以下の追加の動作、すなわち、各点光源のぼけを計算する動作３５０、各点光源の収差強度を推定する動作３５２、ぼけ解消画像を再構成する動作３５４、点毎の収差推定値から様々な収差強度の空間マップを再構成する動作３５６、の一部または全部が実行される。

【0105】

一般性を失うことなく、ウィグナー分布および相互コヒーレンス行列は数学的に等価であり、代表的な基底の変化によって関連付けられるので、各々が必要なコヒーレンス、角度、位相およびスペクトル情報を含む任意の基底表現でフィールドの特性を計算するための方法３０または３４を実行することが可能である。したがって、上記の方法３０の動作３０２、３０４および３０６、または上記の方法３４の動作３４２、３４４および３４６を、ウィグナー基底、相互コヒーレンス基底、または相互コヒーレンスもしくはウィグナー分布行列要素の組み合わせとして得られる他の任意の基底で実行することが可能である。

【0106】

説明のために、本発明の一実施形態による方法およびシステム性能を説明する数値シミュレーションの例を示す。この例では、図４に示すシーメンスの星型標的が光源参照物体として使用される。標的（すなわち、図４）は、周期性およびコントラストの極値ならびに幾何学的構造を有する。シーメンスの星型標的に対する光学撮像システム（例えば、図１ａまたは図１ｂのように）のシーメンスの星型標的性能を以下に示す。

【0107】

光学撮像システム（例えば、図１ａ～図１ｂに示すシステム１０または１２）は、図５ａに示す点拡がり関数（ＰＳＦ）５０によって表される収差を有することができる。明らかなように、これは回折限界スポットから非常に遠い。これは、図５ｂに示す波面誤差５２に対応し、これはほぼ４波のピークツーピークである。そのような異常な撮像システムを用いたシーメンス星型標的（図４）の撮像は、図６ａ（実部６０）および図６ｂ（虚部６２）に示すような対応する光相互干渉関数をもたらす。等価ウィグナー分布７０は、ウィグナー・ワイル変換から得られ、図７に示されている。図８ａは、異常な光学撮像システムから得られたぼけ画像８０を示す。図８ｂは、上述した方法を使用してウィグナー分布７０内の情報から再構成されたぼけ解消画像８２を示す。

【0108】

本発明の実施形態による方法は、広範囲の用途において光学収差を補正するために使用することができる。本発明の実施形態によれば、いくつかの種類の収差に対処することができる。

【0109】

光学撮像システムの設計および製造によって誘発される静的収差。これらの静的収差は、光学撮像システムの適切な計算、測定、および特性評価によって事前に決定することができる。

【0110】

環境要因による光学撮像システムの変動、または大気の乱流、眼の収差などの撮像が実行される媒体の変化のいずれかによって誘発され得る動的収差。これらの動的収差は事前には知られておらず、個々の撮像システムに影響を及ぼす外的要因の変化に基づいて画像ごとに異なり得る。

【0111】

横方向もしくは縦方向のいずれかのスペクトル収差、またはそれらの組み合わせ、または高次スペクトル依存性変異体であり得る色収差。これらの種類の色収差は、上記の定義に従って静的または動的としてさらに分類することもできる。

【0112】

再び図３ａの方法３０を参照すると、本発明の実施形態によれば、ぼけの推定の動作３０６は、収差の静的収差または動的収差としての分類を考慮に入れることができる。静的な場合、必要なぼけは事前に知られており、動的な場合、画像事例ごとに急いで計算される。静的収差パラメータは、計算または測定することができ、あるいは事前に決定し、制御部の記憶部に記憶することができる。

【0113】

静的収差と動的収差との間の区別は、波面撮像センサ部（図１ａ～図１ｂの要素１０６）で使用される画素の数にも影響を及ぼし得る。これを説明するために、画像センサの生画素数Ｎ_Ｒと、Δχ＝λ／４ＮＡによって与えられる回折限界ナイキストサンプリング限界に従って必要とされるサンプリング点の数Ｎ_Ｎとを区別する必要がある。従来の撮像では、センサの画素が上記のナイキスト限界Δｘ＝λ／４ＮＡ以下である場合、すなわち生画素の数が少なくともナイキストサンプリング点の数に等しい場合、良好にサンプリングされた画像を得ることができる。これは、像面における光照射野の強度の独立した自由度の数に起因する。独立自由度の数は、ナイキストサンプリング点Ｎ_Ｎの数で表される。したがって、これらの自由度を完全に説明するために、それらは少なくともＮ_Ｒ≧Ｎ_Ｎサンプリング点でサンプリングされる必要がある。

【0114】

この理論的根拠は、波面撮像センサ（例えば、図１ａ～図１ｂの要素１０６）の設計に引き継がれる。すべての収差が静的であり、事前に既知である場合、未知の自由度の数はＮ_Ｎである。したがって、必要な生画素の数は、少なくともナイキストサンプリング点の数Ｎ_Ｒ≧Ｎ_Ｎでなければならない。しかしながら、動的収差が考慮されるべきである場合、さらなる未知の自由度が存在する。動力、コマ収差、非点収差などの動的収差Ａ_ｉの各種類は、１組の新しい自由度番号Ｎ^ｉ _Ａに関連する。各収差の仮定された空間的変動は、各Ｎ^ｉ _Ａの値に関連し、空間的に不変の収差の場合－Ｎ^ｉ _Ａ＝１、像面上の任意の点で任意の強度値をとることができる動的収差の場合－Ｎ^ｉ _Ａ＝Ｎ_Ｎ、遅い空間依存性を有する収差の場合－Ｎ^ｉ _Ａ＜Ｎ_Ｎ、である。

【0115】

したがって、画像の自由度および動的収差を十分に考慮するために、波面撮像センサは、各動的収差の空間的変動性に応じて、少なくともＮ_Ｒ≧Ｎ_Ｎ＋Σ_ｉＮ^ｉ _Ａを必要とし、１≦Ｎ^ｉ _Ａ≦Ｎ_Ｎである。当然ながら、生の画素を過剰に取ることは冗長性を高め、波面撮像センサの堅牢性およびＳＮＲを改善することができる。

【0116】

上記の関係に従ってより高い画素数を得るためには、実際の生画素は、ナイキスト限界Δｘ＝λ／４ＮＡよりも小さい必要がある。これは、図９ａ～図９ｂに概略的に示されている。図９ａは、ナイキストサンプリング格子９０を示す。図９ｂは、生画素サンプリング格子９２を示す。通常の撮像センサの場合、これは単に光学画像のオーバーサンプリングを意味し、新しい情報をもたらさない。しかしながら、本発明の実施形態による波面撮像センサの場合、例えば図１ｂに示すように、光変調器は、画像センサ検出器アレイ（例えば、図１ｂの要素１１２）によってサンプリングすることができる新しい光情報を作成し、生データを生成し、この新しい情報は、上述したように、ぼけ解消および動的収差強度の推定を実行するために使用される。

【0117】

波面撮像センサ（例えば、図１ａ～図１ｂの要素１０６）は、Ｎ_Ｒ＜Ｎ_Ｎである状態でも使用することができる。この場合、アンチエイリアシングフィルタとして機能し、静的収差補正を実行することに加えて、ナイキスト限界よりも低い解像度を有するぼけ解消画像を出力解像度Ｎ_Ｏ（出力画像の画素数）で生成し、Ｎ_Ｒ＜Ｎ_Ｎ＋Σ_ｉＮ^ｉ _Ａのレジームにおける動的収差と共に使用される場合、アンチエイリアシング効果は依然として存在し、やはりナイキスト限界Ｎ_Ｏ＜Ｎ_Ｎを下回る解像度を有するぼけ解消画像を生成する。

【0118】

また、ナイキストサンプリング点Ｎ_Ｎの数よりも低い出力解像度Ｎ_Ｏにおいて、（出力画像におけるスペクトル帯域や色チャネル等の）有彩色視野特性を算出することも可能である。これらの場合、Ｎ_Ｏ＜Ｎ_Ｎ点の出力解像度でＮ_Ｃ有彩色視野特性（例えば、スペクトル帯域）を抽出するために、画像センサの生画素数であるＮ_Ｃ×Ｎ_Ｏ≦Ｎ_Ｒを必要とする。

【0119】

例えば、国際公開第２０１８／１８５７４０号パンフレットに記載されている波面撮像センサに基づく本発明の実施形態では、エンコーダ単位セルは、ナイキストサンプリング格子に関連し、任意選択的に、単位セルのサイズとナイキスト格子との間の非整数比を有する。単位セルのサイズとナイキスト格子との間の比は、必要なサンプリングの程度に依存し、１：１の比で十分にサンプリングすることができ、単位セルがナイキスト格子よりも小さい場合はオーバーサンプリングし、単位セルがサンプリング格子よりも大きい場合はアンダーサンプリングすることができる。各単位セル内のサブ画素の数は固定整数であってもよく、生データ画素の総数は、単位セルの数×単位セル当たりのサブ画素の数に等しくてもよい。

【0120】

単位セルがナイキスト格子よりも大きいが、生データ画素の総数が上記のサンプリング関係に従っている場合、十分にサンプリングされた相互コヒーレンスおよびウィグナー分布データを回復することも可能である。

【0121】

例えば国際公開第２０１８／１８５７４０号パンフレットに記載されているようなエンコーダ単位セルは、周期的であると記載されていることにも留意されたい。しかしながら、いくつかの実施形態では、準周期的または非周期的構造を使用して、必要な視野（ＦＯＶ）内で空間的に依存する光学特性を説明することが可能である。例えば、エンコーダのピッチは、ＦＯＶを横切る主光線角度（ＣＲＡ）の変動を考慮するように調整することができる。さらに、収差の程度および種類は、ＦＯＶにわたって変化する可能性があり、ＦＯＶ内の位置ごとに異なる最適な光エンコーダ／変調器設計を必要とする。変調器の設計は、これらの要件に従って変化し、準周期的または非周期的な設計をもたらすことができる。

【0122】

したがって、本発明の実施形態によれば、光変調器部（例えば、図１ｂの要素１１０）は、複数の単位セル（図１ｂには図示せず）を含むことができ、画像センサ検出器アレイ部１１２は、センサセルのアレイ（図１ｂには図示せず）を含むことができ、要素１１２のセンサセルのアレイは、複数のセンササブアレイ単位セル（図１ｂには図示せず）を画定することができ、各センササブアレイは、光変調器部１１０の前記複数の単位セルの単位セルに対応し、光変調器部１１０は、撮像センサ部１１２が集光した入力光に対して所定の変調を施すものである。光変調器部１１０の各単位セルは、そこに入射する収集された入射光の一部を、それに対応するセンササブアレイ単位セルおよび所定の近接領域内の１つまたは複数の隣接するセンササブアレイ単位セルに導くことができる。

【0123】

図１０ａ～図１０ｄは、周期的セル構成を有する光変調器部１１０の様々な実施態様を概略的に示す。本発明は、光変調器部１１０の特定のセル配置によって限定されない。

【0124】

図１０ａは、単位セル当たり１つのディスク部を有するバイナリ設計である。ディスクは、位相変調もしくは振幅変調のいずれか、または両方の組み合わせを使用することができる。場合によっては、光の損失を誘発しないため、すなわち光子の１００％が下にあるセンサ画素に到達するため、位相変調が好ましいことに留意されたい。典型的には、ディスクは、２５％～７５％の充填率を有することができ、位相変調は、設計波長において９０～２７０度とすることができる。

【0125】

図１０ｂは、同心リングからなる多層設計を示す図である。リングは、等間隔の半径、または他の増分を有することができる。ここでも、位相変調または振幅変調、または両方の組み合わせが可能である。

【0126】

図１０ｃおよび図１０ｄは、単位セルの縁部に配置された、単位セル当たり２つのディスク／リングセットを有するバイナリディスクまたはマルチリング設計を示す。実際には、これらは、図１０ａおよび図１０ｂの設計を４５度回転させ、√２の係数で収縮させたものと等価である。

【0127】

図１１ａおよび図１１ｂは、本発明の一実施形態による、光変調器部１１０の単位セルと検出器アレイ１１２の対応するセンササブアレイとの間の関係を示す。図１１ａでは、単位セル当たり２×２個のセンササブアレイ画素があり、図１１ｂでは、単位セル当たり３×３個のセンササブアレイ画素がある。もちろん、センササブアレイでより高いＭｘＮ画素数を使用することが可能であり、本発明は光変調器部１１０および検出器アレイ１１２の画素数によって限定されない。

【0128】

光変調器単位セルがナイキスト限界Δｘ＝λ／４ＮＡよりも大きい場合でも、サブアレイ画素の数×単位セルの数によって決定される生画素数Ｎ_Ｒが、動的収差の存在下で画像の回復のためのＮ_Ｒ≧Ｎ_Ｎ、またはＮ_Ｒ≧Ｎ_Ｎ＋Σ_ｉＮ^ｉ _Ａを保証するのに十分である限り、回折限界撮像解像度を得ることができることに留意されたい。

【0129】

色収差は、当技術分野で公知の技術を使用して、必要なスペクトル感度帯域で設計された波面撮像センサを使用して処理することができる。１つの技術は、ベイヤーフィルタなどの従来のカラーフィルタ配列を使用することができる。図１２ａに非限定的な例が示されており、各数字は異なるスペクトル帯域フィルタを表す。図１２ｂは、本発明の一実施形態による光学システム１２を概略的に示す。システム１２は、図１ａ～図１ｂを参照して説明した要素１００、１０２、１０４、１０８を含む。システム１２は、適切なダイクロイックまたは他のビームスプリッタ１１４を備え、スペクトルフィルタリングを提供する波面撮像センサ２０６λ１～２０６λ３を含むマルチセンサ構成２０６をさらに備える。スペクトル感度帯域は、マルチセンサ構成２０６を使用することによって実装することができる。他の可能な構成は、ダイクロイックまたは他のビームスプリッタとスペクトルフィルタとの組み合わせを含むことができる。各スペクトル要素は、別個のウィグナー分布で処理することができ、次いで、スペクトル的に敏感な組み合わせたぼけ解消が適用される。

【0130】

全生画素の数は、上記で説明したように必要な自由度を含み、スペクトル帯域も考慮する必要があることに留意されたい。一実施形態によれば、単一のスペクトル帯域に必要な生画素の数は、すべてのスペクトル帯域に対して複製され、これは、図１２ａに示すようなカラーフィルタ配列と共に使用される複数の生画素で明らかにすることができる。別の実施形態によれば、図１２ｂの例に従ってマルチセンサ構成が使用される場合、各センサ２０６は、関連するスペクトル帯域に必要な自由度をカバーするのに十分な適切な数の生画素を含むべきである。

【0131】

本発明の実施形態によれば、ハイパースペクトル撮像（ＨＳＩ：Ｈｙｐｅｒｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ）は、例えば、図１ａ、図１ｂ、および図１２ｂに示されるシステムを使用して実行される。ハイパースペクトル撮像（ＨＳＩ）は、各画素に原色（赤、緑、青）を割り当てるだけでなく、広いスペクトルの光を分析する技術である。各画素に当たる光は、撮像されたものに関するより多くの情報を提供するために、多くの異なるスペクトル帯域に分解される。

【0132】

本発明の実施形態によれば、ハイパースペクトル撮像は、測定されたスペクトル帯域に対する生のセンサ画素の総数、ならびに考慮される収差の数および種類にある程度の冗長性を提供することによって実現される。生のセンサ画素の総数は、測定されたスペクトル帯域の数よりも高くなるように選択され、推定される収差の数および種類を考慮する。

【0133】

例えば、ナイキスト画素ごとに３×３（９）の生画素を使用することにより、８つのスペクトル帯域および１つの追加の深度測定チャネルまたは収差推定チャネルの強度を抽出するのに十分な冗長性がある。そのような条件下では、使用される実際のスペクトルフィルタから補間または外挿される追加のスペクトル帯域のためのウィグナー分布を抽出することが可能である。これにより、比較的単純なカラーフィルタアレイまたはダイクロイックプリズム構成でハイパースペクトル撮像を可能にすることができる。例えば、ＲＧＢベイヤーフィルタの場合、赤－緑および緑－青のスペクトル領域の追加のスペクトル帯域のハイパースペクトル撮像データを抽出すること、ならびにスペクトルの紫および赤の領域に向かう精密なスペクトルサンプリングに外挿することが可能である。

【0134】

図１３ａは、図１２ａに示すようなカラーフィルタアレイ構成、または図１２ｂに示すようなダイクロイックプリズム構成に対応する４つのスペクトル帯域フィルタ１－２－３－４を概略的に示す。スペクトル情報は、上述のようにスペクトル帯域の各々の中で精密化することができ、４つを超える波長のスペクトル情報をもたらす。

【0135】

さらに、全生画素の十分な冗長性により、スペクトル情報は、広いスペクトル帯域、例えば可視範囲全体、４００～７００ｎｍ、またはそれを超えて、例えば紫外または赤外スペクトル領域に抽出することができる。これにより、あらゆる種類のスペクトルフィルタまたはカラーフィルタアレイを使用することなく、フルカラーＲＧＢ撮像、マルチスペクトル撮像またはハイパースペクトル撮像が可能になり、光子が失われないため、収集効率が大幅に向上する。このようなセンサは、低照度の状況で有用である。

【0136】

本発明の実施形態によれば、センサは、可視範囲（例えば、４００～７００ｎｍ）ならびに近赤外（ＩＲ）光における標準ＲＧＢ撮像を捕捉するように構成される。近赤外（ＩＲ）光は、下にあるセンサ画素のスペクトル感度に応じて、例えば、７００～１０００ｎｍの範囲内、またはさらにはそれを超えてＳＷＩＲ範囲内であってもよい）。組み合わされたＲＧＢ＋ＩＲ感知は、目立たずに照射されるＩＲ照明を含む様々な用途に有用である。例えば、組み合わされたＲＧＢ＋ＩＲ感知は、フルカラー画像を取り込むことを可能にし、一方、目に見えないフラッドＩＲで場面を照らして低照度性能を向上させる。別の例によれば、場面は、深度撮像の向上のために不可視ＩＲドットパターンで照明される。

【0137】

広いスペクトル帯域を使用すると、スペクトルデータの抽出に曖昧さが生じる場合がある。これらのあいまいさは、図１３ｂのスペクトル分布１に示すように、センサに到達するスペクトルを互いに異なる一連のより狭いスペクトル帯域に分割する「櫛状」スペクトルフィルタを使用することによって克服することができる。図１２ｂに示すシステムを参照すると、このスペクトルフィルタは画像全体に適用され、光学システム１２内の任意の場所に、または画像センサ２０６の一部として配置することができる。スペクトルの曖昧性解消は、ここに示されている櫛パターン以外の異なるスペクトルパターン、例えば図１３ｂのスペクトル分布２を有する他のスペクトルフィルタによっても影響を受ける可能性がある。

【0138】

一般性を失うことなく、上述し、図１２ｂ、図１３ａおよび図１３ｂに示すように、センサ２０６に到達するスペクトルコンテンツの制御は、同じ効果を達成するために、スペクトルフィルタと併せて、またはスペクトルフィルタの代わりに適切な照明源を使用することによって影響を受ける可能性がある。例えば、ＬＥＤなどの狭帯域照明源を使用して、ＲＧＢまたは他のスペクトル分布を照明することができる。照明源のスペクトル含有量は、図１２ｂおよび図１３ａに示されているものと基本的に同等の設定をもたらすように、または図１３ｂに示されて上述されているように同時に順次変更することができる。

【0139】

光学収差をデジタル的に補正する能力は、撮像光学系の設計および製造の制約を緩和することができ、コストの低減、サイズの縮小、動作パラメータの向上、または環境要因に対するロバスト性の向上につながる可能性がある。光学系の単純化は、本発明の実施形態によれば、以下の動作パラメータからなる群からの１つまたは複数の様々な組み合わせとして明らかにすることができる。

【0140】

屈折光学素子および反射光学素子の数の減少：収差自由度がより大きいため、相互に補償する光学素子の複雑な組み合わせの必要性が低減される。

【0141】

より単純な光学面、すなわち球面を使用することができ、非球面または自由曲面の代わりに球面を利用するために光学設計を単純化することができる。

【0142】

光学素子に使用される低コスト材料：より高価であるか、またはより高価な製造工程を必要とし得る特別な材料の必要性を低減する。

【0143】

より短い光路：要素の減少は、場合によってはより速い光学系と併せて、より短い光路をもたらす可能性がある（以下を参照）。

【0144】

より高速な光学系（より低いｆ／＃、より高いＮＡ）：収差公差を緩和することにより、より大きな開口またはより短い焦点距離を使用することが可能になり得る。顕微鏡法では、これにより、より高い開口数（ＮＡ）を得ることができる。

【0145】

緩和された製造公差：これらは、個々の光学素子、表面、または材料に対してより広い公差として現れる可能性があり、より高い歩留まりまたはより低いコストをもたらす。

【0146】

緩和された位置合わせ公差：光学素子の位置ずれに対するより広い許容範囲は、取り付けおよび位置合わせ手順を単純化することができる。

【0147】

緩和されたシステム安定性および再現性の要件：システムは、光学素子のアライメントおよび性能パラメータに影響を及ぼし得る熱、圧力、衝撃などのより広い範囲の環境要因に適応することができる。

【0148】

拡張焦点範囲：焦点深度範囲の拡張を可能にするための焦点ぼけの補償。

【0149】

より大きな視野：多くの場合、光学システムの収差は視野の縁部に向かって増加する。収差公差を緩和することにより、より大きな視野を可能にすることができる。

【0150】

より強い像面湾曲の適応：拡張された焦点範囲は、より強い像面湾曲、および任意選択的により大きな視野を可能にすることができる。

【0151】

より大きな作動距離：顕微鏡対物レンズでは、大きな作動距離は、通常、収差を克服するために大きく複雑な設計を必要とする。収差をデジタル的に補正する能力は、所与の作動距離、または作動距離の増加、またはその両方のためのより単純な設計を可能にすることができる。

【0152】

顕微鏡スライドカバーガラス、サンプル皿、および容積測定チャンバ：顕微鏡対物レンズ設計が、顕微鏡スライド用のカバーガラススリップ、またはより厚いスリップに対して緩和された公差を使用することを可能にする。それはまた、倒立顕微鏡がより高いＮＡおよびサンプル皿へのより良好な浸透で動作することを可能にすることができる。それはまた、より厚いスライドまたはサンプルチャンバでの作業を可能にする。体積測定または微小流体チャネルおよび操作能力を有するスライドまたはサンプルチャンバを使用することができる。

【0153】

浸漬標的：インデックスマッチングの許容範囲の増加、浸漬標的に対するインデックス調整リングの要件の否定。

【0154】

ＲＧＢカラー、マルチスペクトルまたはハイパースペクトル撮像：カラーフィルタ配列を使用せずにリアルタイムの単一のスナップショットＲＧＢカラー、マルチスペクトルまたはハイパースペクトル撮像を実行する能力。これは、光子がフィルタリングされず、それらのすべてが検出器部の画素アレイに到達するため、いくつかの要因によって光感度を高めることができる。この機能は、上述のぼけ解消機能と併せて使用することができる。

【0155】

多くの光学撮像システムは、開口絞りの制御、焦点の変更、ズーム機構による焦点距離の変更など、様々な撮像パラメータを調整するための機能を有する。本発明の実施形態によれば、これらの機構が必要な程度まで反復可能である場合、撮像システム部においてそれらが影響を及ぼす変化を再判定し、静的収差の様々なセットとして制御部の記憶部に記憶することができ、そのような各セットは特定の撮像パラメータ構成に対応する。

【0156】

本発明の他の実施形態によれば、単純化およびコスト削減のために、特定の光学撮像パラメータ機構は、より緩い再現性の許容範囲を有することができ、これは動的収差のぼけ解消を使用して補償することができる。

【0157】

像面内の各点における動的収差強度を計算する能力は、像面内の各点における深度を推定するために、ならびに焦点ぼけを補償し、したがって焦点深度範囲の拡張を得るためにデジタルぼけを実行するために利用することができる。このシナリオでは、関連する収差はパワーであり、これは撮像システムから物体空間内の各点までの距離に依存する。パワー収差強度の空間マップは深度マップに直接関連し、アルゴリズムのぼけ解消能力は、元々焦点が合っていなかった画像の部分についても回折限界の撮像解像度を復元することができる。さらに、特定の光学撮像システムおよびその特性収差について、物体空間内の各点の距離は、倍率を超える他の収差、例えば球面収差または他の収差を誘発する可能性がある。これらの追加の収差に関する情報はまた、物体空間内の各点光源の深度推定を増強するために使用され得る。

【0158】

一般性を失うことなく、このスキームは、本発明の実施形態に従って、広いスペクトル範囲にわたって動作するように拡張することができ、色収差が深度を推定するために使用され、波面撮像センサは、図１０ａ～図１０ｂに示す構成のうちの１つまたは他の構成を使用することができる。本発明の実施形態によれば、システムはまた、光学撮像システムに存在する静的収差に対応することができる。

【0159】

本発明の実施形態によれば、深度推定は、単純化された撮像光学系と共に使用することができる。

【0160】

本発明の実施形態によれば、デジタル補償光学を実行するために、像面内の各点における動的収差は、パワーを超える様々な程度の収差に対応するように計算される。デジタル補償光学システムは、収差を事前に知ることができない状況でデジタルぼけ処理を実行し、回折限界の撮像解像度を回復するために使用される。

【0161】

収差は、例えば、熱または圧力の変化、衝撃、光学システム内の空気流、光学素子の自重による垂れ下がりなど、撮像システム部に予測不可能な方法で影響を及ぼす様々な環境要因から収差が生じる状況では、事前に知ることができない。大気の乱流を介した撮像などの外部環境要因も作用し得る。多くの生物学的用途では、生体内または実験室内のバルク組織の顕微鏡撮像は、生物学的組織を通過する光によって誘発される収差のために制限される。被検体の眼を介した顕微鏡眼科撮像では、角膜およびレンズの収差が画像の鮮明さおよび品質の大幅な低下を引き起こす。

【0162】

現在の技術水準では、これらの種類の収差は、複雑で面倒で高価な補償光学システムを使用して部分的に補正される。そのようなシステムは、既存の撮像システムに統合するのが非常に複雑であり、通常は追加の光リレーおよびビームスプリッタの形態で、波面センサおよび波面変調素子を組み込むために光路の変更を必要とする。

【0163】

多くの補償光学システムは、波面センサと波面変調素子の両方が撮像システムの瞳面またはその近傍にあるように設計されており、それによって光波面収差を撮像フィールド全体にわたって均一にサンプリングおよび補正する。空間的に依存する補償光学補正は、通常、走査光学撮像システムで実行され、システム全体の設計をさらに複雑にする。

【0164】

多くの場合、波面センサに十分なフィードバック信号を提供するために追加の「星型ガイド」照明システムが必要とされ、システムをさらに複雑にし、その有用性および動作範囲を制限する。

【0165】

本発明の実施形態による動的収差補正は、元の撮像システムを波面撮像センサと共に使用することを可能にし、全体的にはるかに単純な光学システムをもたらす。

【0166】

本発明の実施形態によれば、従来の補償光学システムを使用して非常に複雑な特徴である空間依存型ぼけ解消を提供することが可能である。

【0167】

本発明のさらなる実施形態によれば、本発明の実施形態の実施は、「星型ガイド」の使用を不要にし、さらなる単純化をもたらす。

【0168】

本発明の実施形態によれば、例えば、光レベルが低い状況では、デジタルぼけアルゴリズムのＳＮＲを改善するために、「星型ガイド」によって本発明を増強することが可能である。

【0169】

本発明の実施形態によれば、デジタル補償光学システムは、環境要因による光学撮像システムの変化を補償するとともに、撮像媒体に影響を及ぼす外的要因によるぼけを補償するように実装することができる。

【0170】

本発明の実施形態によれば、デジタル光学収差補正システムは、既存の補償光学撮像システムに組み込むことができ、波面撮像センサは、補償光学撮像システム内の従来の撮像センサに取って代わるか、またはそのような従来の撮像センサに加えて設けられる。これは、収差補正のための「最終マイル」を提供することができ、補償光学システムによって残された残留収差誤差を補償し、空間的に依存する収差のより単純な補償も可能にする。そのような構成は、「星型ガイド」の有無にかかわらず使用され得る。

【0171】

図１４は、本発明の実施形態による補償光学システム部１４０を有する収差補正システム１４の概略ブロック図である。破線のボックスで囲まれた補償光学システム部１４０は、一般的な方法で示されている。本発明の実施形態によれば、補償光学システム部１４０は、撮像システムの瞳面１４１２の近くに位置する波面センサ１４１０および波面変調器１４０６を含む。これは、瞳リレー１４０２およびチューブレンズ１４０８を含む延長された光路を伴い得る。補償光学波面センサ１４１０は、補償光学制御部１４１４の制御下で波面変調器１４０６を駆動するためのフィードバックを提供する。一般性を失うことなく、図１４は、波面変調器１４０６による波面補正の前に生の波面を測定するために補償光学波面センサ１４１０が配置される補償光学システムを示す。補償光学システム波面センサ１４１０が波面変調器１４０６による補正後に残留波面誤差を測定する当技術分野で知られている他の補償光学システム構成が存在する。補償光学システムのこの設計変形形態、およびそれに類似する他の形態は、本発明の範囲内であり、図１４に記載された補償光学システムは、例示のみを目的とした例として機能する。

【0172】

本発明の実施形態によれば、補償光学波面撮像センサ１４１０は、撮像センサ２０６の代わりにシステムの像面１４１４に配置される。波面撮像センサ３０６および制御部１０８は、本発明の実施形態によれば、例えば図１ａ、図１ｂ、図３および図１２ｂを参照して説明したように、補償光学システム部１４０によって残された残留収差を補正し、また空間依存性ぼけを補償することができる。

【0173】

本発明の実施形態によれば、制御部１０８は、補償光学システム部１４０とは独立して機能することができる。

【0174】

他の実施形態によれば、制御部１０８はまた、補償光学波面センサ１４１０からの情報を使用して、波面収差の粗い測定値を提供し、次いで、図３を参照して上述したように、微細な、場合によっては空間依存性のデジタル補償光学システム補正を実行することができる。

【0175】

デジタル補償光学システム１４は、深度推定を提供するために使用することができるだけでなく、前述の単純化された光学方式と併せて使用することもできる。

【0176】

本発明の実施形態は、様々な用途に使用することができる。

【0177】

本発明の実施形態によれば、デジタル収差補正システムは、より短いレンズトラックおよびより少ない数の光学素子を有するカメラ、例えば、電話ケースから突出しない携帯電話カメラ、ウェアラブルデバイス用の小型カメラ、ドローン、およびロボットに使用され得る。

【0178】

本発明の実施形態によれば、デジタル収差補正システムは、光感度を向上させるためのカラーフィルタアレイを有さず、場合によってはデジタルぼけ処理および拡張被写界深度機能も有するＲＧＢ、マルチスペクトルまたはハイパースペクトル機能を有するカメラで使用することができる。

【0179】

本発明の実施形態によれば、デジタル収差補正システムは、携帯電話などの表示パネル、または車両の表示画面の後ろに隠されたカメラに使用されてもよい。デジタル収差補正は、表示デバイス層を介した撮像による収差を補償することができる。加えて、カラーＲＧＢ、マルチスペクトルまたはハイパースペクトル撮像は、光感度の向上のためのカラーフィルタアレイなしで得ることができ、表示装置を介した撮像による光損失および可能性のあるスペクトル不均衡を補償する。

【0180】

本発明の実施形態によれば、デジタル収差補正システムは、より高い撮像解像度を有する単純化された検眼鏡で使用することができる。単純化された検眼鏡は、走査構成の代わりに、より単純なエリア撮像を可能にし得る。単純化された検眼鏡は、生体認証目的のための網膜スキャンの解像度を向上させることができる。単純化された検眼鏡は、従来の補償光学システムの代わりに、または既存のシステムに追加された場合の「最終マイル」精密な補正として使用することができる。

【0181】

本発明の実施形態によれば、デジタル収差補正システムは、顕微鏡検査で使用することができる様々な組み合わせで使用することができる。本発明の実施形態によるデジタル収差補正システムを使用する顕微鏡は、以下の利点、すなわち、単純化された客観的設計、より広い視野；作動距離が大きい；スライド、カバースリップ、容積測定チャンバ、微小流体チャネルなどのサンプル取り扱いに関する動作パラメータの向上；液浸対物レンズ加工公差の増加；拡張された焦点、濁った媒体におけるデジタル収差補正；のうちの１つまたは複数を提供し得る。

【0182】

本発明の実施形態によるデジタル収差補正システムは、従来の撮像顕微鏡の一部として実施することができる。共焦点顕微鏡の一部として、または光シート顕微鏡に使用される。

【0183】

本発明の実施形態によるデジタル収差補正システムは、特に非線形撮像のために、ＲＧＢ色、マルチスペクトル、またはハイパースペクトル感度を必要とする用途のために顕微鏡で使用することができる。

【0184】

本発明の実施形態によるデジタル収差補正システムは、明視野、暗視野、ＤＩＣ、位相コントラスト、定量的位相撮像および断層撮影、ならびに他の撮像技術のための顕微鏡に使用することができる。

【0185】

本発明の実施形態によるデジタル収差補正システムは、従来の蛍光、２光子、多光子、非線形技術のための顕微鏡で使用することができる。

【0186】

本発明の実施形態によるデジタル収差補正システムは、従来の補償光学システムの代わりに、または既存の補償光学システムに追加された場合の「最終マイル」精密補正として使用することができる。

【0187】

本発明の実施形態によるデジタル収差補正システムは、長距離監視および撮像システムに使用することができる。例は、空中、宇宙、海洋、陸上および宇宙の望遠鏡および撮像システムである。

【0188】

本発明の様々な実施形態を使用すると、そのような撮像システムは、単純化された軽量の撮像光学系を使用することができる。

【0189】

本発明の様々な実施形態を使用すると、そのような撮像システムは、温度、圧力、衝撃、および振動などの撮像システムに影響を及ぼす環境要因に対してより広い耐性を提供することができる。

【0190】

本発明の様々な実施形態を使用すると、そのような撮像システムは、環境要因の下で大気の乱流および撮像システムの変動を補正するためにデジタル補償光学システムを使用することができる。

【0191】

本発明の様々な実施形態を使用すると、そのような撮像システムは、従来の補償光学システムの代わりに、または既存のシステムに追加された場合の「最終マイル」精密な補正として、デジタル収差補正を使用することができる。

【0192】

本発明の実施形態によるデジタル収差補正システムは、感度を高めるために色フィルタアレイなしでＲＧＢ色、マルチスペクトル、ハイパースペクトル感度を必要とする用途の撮像システムに使用することができる。

【図1a】

【図1b】

【図2a】

【図2b】

【図2c】

【図3a】

【図3b】

【図4】

【図5a】

【図5b】

【図6a】

【図6b】

【図7】

【図8a】

【図8b】

【図9a】

【図9b】

【図10a】

【図10b】

【図10c】

【図10d】

【図11a】

【図11b】

【図12a】

【図12b】

【図13a】

【図13b】

【図14】

【国際調査報告】