【課題を解決するための手段】
【0009】
本発明によれば、この目的は、請求項1による方法、請求項10によるコンピュータシステム、請求項12による記憶媒体、及び請求項13による光学システムによって達成される。
【0010】
下位クレームの内容は、有利な実施形態及び更なる開発である。
【0011】
光学システムで使用するための波頭(光学的光波頭)の二次元再現の典型的な方法は、以下のステップのうちの1つ、幾つか、又は全てを含みうる。
・光路差を有する異なる光学平面における少なくとも2つの画像の光強度の分布関数(例えば、光強度の二次元分布関数)を測定するステップ。
・前記測定するステップは、各平面内の一連の異なる角度にわたり各平面内の光強度の複数の一次元累積分布関数を決定するステップを含む。
・異なる光学平面の決定された一次元累積分布関数を突き合わせて、前記異なる光学平面間にある平面(例えば、中間平面)内の二次元波頭勾配推定値を得るステップ。
・前記波頭勾配推定値を積分して、前記異なる光学平面間にある前記平面内内の波頭の二次元形状を再現するステップ。
【0012】
それにより、典型的光学システム又は光学取得システムは、デジタルカメラ(例えば、一般的な二次元カメラ)、望遠鏡、顕微鏡、一体型ディスプレイ及び他の撮像システムを含みうる。
【0013】
詳細には、光学システムの異なる光学平面において撮影された画像は、電荷結合素子(CCD)によって取得されうる。
【0014】
本明細書において、画像内の光強度の分布関数(例えば、画像内の光強度の二次元分布関数)を測定するという用語は、特に、画像の光学平面の既知の特徴から、光強度の分布関数(例えば、光強度の二次元分布関数)を決定することとも理解されうる。例えば、光学システムの瞳が、例えば瞳関数によって十分に特徴付けられる場合、瞳平面内の光強度の分布関数は、光学システムのパラメータから直接決定されうる。
【0015】
更に、そのような典型的事例では、瞳平面画像が、通過する波頭に関係なく同じままなので、瞳画像(即ち、瞳平面内の光強度の分布関数)は、一度決定又は推定されるだけでよい。
【0016】
更に、異なる光学平面の決定された一次元累積分布関数の突き合わせは、例えば、距離関数の同じ値において直線又は軸(例えば、横座標)に沿った決定された一次元累積分布関数間の距離を測定するメトリック又は距離関数を使用して、異なる光学平面の一次元累積分布関数を対で突き合わせることによって実行されうる。
【0017】
本明細書において、波頭(即ち、電磁波頭)又は光子の伝搬は、幾何光学の法則に従うと仮定され、即ち、例えば、伝搬方向が波頭に垂直であると仮定されることに留意されたい。完全性のため、波頭は、同じ位相を有する波の1組の点によって定義され、即ち、波頭又は波頭形状が、位相マップ(例えば、二次元位相マップ)によって示されうることに留意されたい。
【0018】
更に、伝搬された波頭の光強度の分布関数は、光子到達可能性に関する確率密度関数(PDF)によって表わされうると仮定される。更に、波頭伝搬はフラックスを保全し、即ち、一次元PDF曲線の下の総面積が一定のままであると仮定される。
【0019】
更に、波頭が再現される光学平面が、光学システムの光路に沿ったどの場所にあってもよいことに留意されたい。換言すると、波頭が再現される光学平面は、光学システムの任意の特定の光学平面(例えば、アパーチャ平面又は瞳平面)と一致しなくてもよい。
【0020】
詳細には、光路差を有する異なる光学平面において撮影された画像(即ち、光強度の分布関数が測定された画像)は、光学システムのアパーチャ又は瞳平面の前にあっても後にあってもよく、その結果、波頭が再現される光学平面も、光学システムのアパーチャ又は瞳平面の前にあっても後ろにあってもよいことが考えられる。
【0021】
また、光路差を有する異なる光学平面で撮影された画像(即ち、光強度の分布関数が測定された画像)は、可能なアパーチャ平面又は瞳平面に対して異なる距離にあってもよい。
【0022】
前述された方法例は、二次元波頭勾配を推定し、波頭センサからのデータから導出されるか、例えば光路差を有する対の画像から導出された、前記二次元波頭勾配推定値から波頭の二次元元形状を回復するより効率的で高速の方法を提供する。詳細には、示された方法は、波頭の元の形状又は波頭の元の位相をより効率的に回復でき、波頭変化又は光強度変化が、2つの次元(即ち、異なる方向)で起こる。
【0023】
更に、本発明によれば、例えば、xy平面で撮影され光路差を有する画像の場合、光路に沿った(例えば、z軸に沿った)数ピコメートル以下の波頭の解像度を達成できる。
【0024】
更に、特に多数の光学素子を必要とする複雑な波頭センサ設計を必要とし、例えばゼルニケ多項式又はラドン変換を使用する難しくて厄介な積分技術及び波頭パラメータ化を必要とする既知の技術と比較して、ここに示された方法は、そのような計算集約的な技術及びパラメータ化の手間を省き、それにより、特に回復される波頭を計算できる速度に対して波頭再現が大幅に容易になる。換言すると、この方法は、正確な二次元波頭再現が計算資源の集中と複雑な波頭パラメータ化及び変換を必要とする現在の技術的不利益を克服する。
【0025】
計算効率の向上によって、この方法は、例えば適応光学システム内の帰還ループの制御に実時間で適用されるのに適する。
【0026】
更に、計算負担の軽減により、スマートフォン、デジタルカメラ、タブレット、ラップトップ、デスクトップ及び他の一般的な電子装置に見られる一般的なコンピュータプロセッサユニット(CPU)又はグラフィックプロセッサユニット(GPU)について前述された方法の実現も可能にする。
【0027】
本明細書で述べる方法の別の有利な効果は、例えば、シャックハルトマンセンサやピラミッド形センサなどの波頭センサによる波頭検出の場合のように、波頭を測定又は検出するために特別な光学素子を必要としないので、測定される波頭に追加の空間又は時間変調が追加されないことである。
【0028】
各平面内の一連の異なる角度にわたる各平面内の光強度の複数の一次元累積分布関数の前記決定は、特に、一連の異なる方向(即ち、各平面内の一連の異なる直線又は少なくとも1つの直線)にわたる各平面内の光強度の複数の一次元累積分布関数の決定として理解されてもよく、前記直線はそれぞれ、角度によって特徴付けされうる勾配を有する。
【0029】
言い方を変えると、前記の各平面内の可能な角度は、各平面内の光強度の一次元累積分布関数を決定できる各平面内の直線の勾配を定義できる。
【0030】
各平面内の光強度の複数の一次元累積分布関数を決定するための各平面内の前記直線の勾配を定義する各平面内の異なる角度の可能な範囲は、各平面内の少なくとも2つの異なる角度、例えば2つの直交角度(例えば、0°と90°)を含みうる。
【0031】
また、各平面内の光強度の一次元累積分布関数を決定できる角度又は直線が、波頭又は波頭変化の仮定された最も有力な方向又は軸に一致されてもよい。
【0032】
しかしながら、波頭変化が、特定角度又は特定方向にのみ起こるとき、元の波頭形状又は波頭位相を回復するために前記特定角度又は特定方向だけの一次元累積分布関数が決定されるとも考えられる。
【0033】
更に、前述された典型的ステップは、電磁場の波頭の三次元分布(即ち、体積分布)、例えば、光学システムの光学軸に沿った(例えば、画像のスタックにわたる)波頭の三次元分布の断層撮影を行う基礎を提供できる。換言すると、本明細書に示された方法は、例えば、スタック又は一連の再現された二次元波頭から、光学システムの光学軸に沿った波頭の三次元分布を導出することを可能にする。詳細には、本明細書に示された方法は、現在の波頭断層撮影方法と比較して、電磁界の波頭の三次元分布の前記断層撮影を行うためにより高速かつ効率的な方法を提供する。
【0034】
前述された典型的方法ステップでは、少なくとも2つの画像のうちの1つが、光学システムの瞳平面(例えば、射出瞳平面)又はアパーチャ平面で撮影されうる。
【0035】
瞳平面における画像を撮影する可能な典型的ステップは、瞳平面内の画像を、光学システムの瞳の明確に特徴付けされたモデルに基づいて特徴付けすることとしても理解されうる。言い方を変えると、少なくとも2つの画像のうちの1つは、理論的及び/又は経験的モデルによって完全に特徴付けされうる画像でよい。換言すると、そのような特徴付けされた画像は、計算でき、カメラによる取得も測定も行われなくてもよい。
【0036】
これは、既に前述されたように、瞳平面又はアパーチャ平面内の複数の一次元累積分布関数の決定が、瞳又はアパーチャの明確に定義されたモデル(即ち、明確に定義されかつ/又は明確に特徴付けされた瞳関数又はアパーチャ関数)に基づいてもよく、それらのモデルから導出されてもよいという利点を有する。
【0037】
更に、少なくとも1つの画像を焦点外(即ち、光学システムの焦点がずれた平面内)で撮影できる。
【0038】
詳細には、1つの画像が焦点内又は焦点前で撮影され、1つの画像が焦点外又は焦点後で取得され、即ち、1つの画像が光学システムの焦点面の前で撮影され、1つの画像が焦点面の向こうで取得されることが考えられる。換言すると、少なくとも2つの画像の両方の焦点が外されてもよい。
【0039】
また、全ての取得画像の焦点が外れてもよく、即ち、全ての画像の焦点をずらすことが可能である。
【0040】
しかしながら、異なる光学平面からの画像の幾つか又は全てが合焦されてもよい。
【0041】
更に、本明細書に記載された方法は、アフォーカル光学システム(即ち、無焦点光学システム)にも適用されうることに留意されたい。測定又は決定画像間に光路差があることだけが必要とされる。
【0042】
測定又は決定画像間の任意の光路差を使用できる。例えば、光学システムの一部又は全体の長さを光路差として使用できる。それにより、光路差のサイズ又は長さは、波頭勾配推定値、波頭形状又は波頭位相が決定されうる解像度を決定できる。詳細には、光路差を大きくすることにより、即ち、測定又は決定画像間の光学平面の間の距離を大きくすることにより、回復される波頭の波頭位相解像度又は波頭形状解像度を高めることが可能である。
【0043】
前述したように、本明細書で述べる方法は、特に、電磁場の波頭の三次元分布(即ち、体積分布)、例えば光学システムの光学軸に沿った波頭の三次元分布の断層撮影を提供する。そのような位相又は波頭断層撮影を導出する基準は、光路差を有する異なる光学平面で撮影された画像によって提供でき、例えば、前記画像は、電荷結合素子(CCD)を備えた画像検出器(例えば、一般の二次元デジタルカメラ)によって撮影される。従って、前記画像は、三次元波頭位相分布の断層手段を提供する基礎を提供できる。
【0044】
換言すると、例えば、異なる光学平面で複数の画像(例えば、
2つ以上の画像)を撮影して複数の光学平面における複数の二次元波頭形状を再現可能である。
【0045】
これは、例えば、前述の位相又は波頭断層撮影を行って、画像の二次元解像度を維持しながら、画像化オブジェクトを異なる視点から見ることを有利に可能にする。
【0046】
あるいは又は更に、波頭位相断層撮影は、測定又は決定画像の全サイズ以下の波頭位相の推定又は波頭勾配の推定に基づいて行われてもよいが、代わりに、測定又は決定画像の一部分又は区分のみの波頭位相の推定又は波頭勾配の推定から行われてもよい。
【0047】
言い方を変えると、典型的な三次元波頭位相分布又は断層撮影は、三次元波頭位相分布を調べる複数の光学平面における複数の二次元波頭形状を再現するために異なる光学平面(例えば、光路位置)で撮影された複数の画像(例えば、
2つ以上の画像)から得られてもよく、かつ/又は典型的な三次元波頭位相分布又は断層撮影は、所定の光学平面に関する測定又は決定画像の異なる部分又は区分から再現された複数の二次元波頭によって得られてもよい。
【0048】
従って、画像を区分に分断でき、各区分の波頭の二次元形状が再現される。より正確に言うと、二次元波頭又は波頭位相は、画像が測定又は決定される異なる光学平面からの区分間にある平面(例えば、中間平面)の区分内で再現されうる。
【0049】
観察されるオブジェクトの異なる部分及び/又は異なる深さから発するか散乱された光又は光線(又は、異なるオブジェクトから発するか散乱された光又は光線)が、測定又は決定画像の画像平面に異なる角度又は位置で当たり、即ち、測定又は決定画像の光学平面内の異なる位置に画像を形成できるので、測定又は決定画像の異なる領域は、観察されるオブジェクトの異なる部分又は異なる深さに(又は異なるオブジェクトの部分に)逆写像されうる。
【0050】
言い方を変えると、測定又は決定画像の異なる領域又は部分の波頭又は波頭位相を計算又は復元することによって、観察されるオブジェクトの様々な視角が得られる。
【0051】
換言すると、本明細書に記載された方法を、測定又は決定画像の複数の異なる部分又はサブ区分に適用して、観察されるオブジェクトの異なる部分又は異なる深さから、異なるオブジェクトから、又は異なるオブジェクトの部分から発する波頭を復元できる。
【0052】
従って、本明細書に記載された方法は、典型的は、以下のステップのうちの1つ、幾つか、又は全てを含む。
・光路差を有する異なる光学平面における少なくとも2つの画像の少なくとも2つの異なる区分内の光強度の分布関数を測定するステップ。
・前記測定するステップは、各区分内の一連の異なる角度にわたる各区分内の光強度の複数の一次元累積分布関数を決定するステップを含みうる。
・異なる光学平面からの異なる区分の決定された一次元累積分布関数を突き合わせて、前記異なる光学平面間にある平面(例えば、中間平面)の区分内の二次元波頭勾配推定値を導出するステップ。
・前記波頭勾配推定値を積分して前記異なる光学平面間にある前記平面の区分内の波頭の二次元形状を再現するステップ。
【0053】
観察されるオブジェクトの波頭に、表現するオブジェクトの領域又は部分内の位相変化と同等の位相変化を与えると仮定される、複数の測定又は決定画像の可能な典型的分布、並びに可能な複数の選択された位相スクリーンに関して、前記可能な位相スクリーンは、測定又は決定画像を分割できる前記複数の区分又は領域からの回復又は決定波頭位相から計算されうる。
【0054】
例えば、観察されるオブジェクト又は標的媒体が、少なくとも部分的に透明であると仮定すると、前記オブジェクト又は標的媒体は、光学軸(例えば、z軸)に沿って分散された1組の個別の位相スクリーンとしてモデル化されてもよく、前記1組の位相スクリーンは、測定又は決定画像を分割できる複数の区分又は領域に基づいて計算又は復元されうる。
【0055】
本明細書において、位相スクリーンは、特に、複素式e
-jψによってモデル化でき、ここで、ψは、所定の位相スクリーンの二次元位相マップであり、jは虚数である。
【0056】
例えば、波頭(即ち、電磁場U)が、位相スクリーンを通過するとき、結果として生じる場又は波頭は、形状又は形態U*e
-jψを有する。
【0057】
計算上の視点から、位相スクリーンは、異なる行列要素が異なる位相変化値を表す行列によってモデル化できる。前述されたように、少なくとも部分的に透明なオブジェクト又は標的体積は、1組又はスタックの位相スクリーンとしてモデル化できる。
【0058】
測定又は決定画像を複数の区分又は領域に分断することによって、前記複数の区分又は領域は、例えば、特定の角度における少なくとも部分的に透明なオブジェクト又は標的体積の投影(又は、線積分)の取得として理解されうる。
【0059】
従って、測定又は決定画像の特定の区分又は領域は、特定の角度における位相スクリーンの投影(又は、線積分)に対応可能である。
【0060】
言い方を変えると、測定又は決定画像は、特定の角度における位相スクリーンの仮定された分布の投影又は線積分を反映できる複数の区分又は領域に分割されうる。
【0061】
測定又は決定画像の複数の区分又は領域上へのこれらの投影から、位相スクリーンの前記行列要素の未知の値を決定できる少なくとも1つの方程式系を定義できる。
【0062】
例えば、単純にするため、位相スクリーンを、異なる位相変化値を表す要素x1,x2,x3,x4を含む以下の典型的な行列によって表す。
【0063】
【数1】
【0064】
例えば0度と90度におけるこの行列の2つの投影を
【数2】
及び(c,d)とし、a,b,c,dが投影位相変化値を表すとすると、前記投影が、例えば、測定又は決定画像の2つの異なる区分又は領域によって取得された場合、以下の方程式又は方程式系を表現できる。
【0065】
0度での投影の場合
x1 + x2 = a
x3 + x4 = b
【0066】
90度での投影の場合
x1 + x3 = c
x2 + x4 = d
【0067】
従って、4つの方程式から、未知値x1,x2,x3,x4を決定できる。この例は、さらなる行列次元又はサイズに拡張されうる。
【0068】
換言すると、前記方程式系を解いて位相スクリーンを復元することによって、観察されるオブジェクト又は標的体積の位相断層撮影を実行できる。
【0069】
また、波頭(即ち、画像が撮影された前記異なる光学平面間にある波頭)が復元された後で、前記復元された波頭は、レイリー=ゾンマーフェルト回折の法則に従って伝播されうることは注目に値する。
【0070】
それにより、取得されなかった光学平面内の光強度をシミュレートでき、光学システムは、2つの画像を取得するだけで、明視野カメラ及び断層撮影位相センサとして働きうる。
【0071】
前述されたように、方法は、コンピュータで実現でき、即ち、コンピュータシステムは、本明細書に記載されたような波頭の二次元再現方法を実行するように構成された少なくとも1つのプロセッサユニットを含みうる。
【0072】
前記少なくとも1つのプロセッサユニットは、例えば、一般的なコンピュータプロセッサユニット(CPU)又は一般的なグラフィックプロセッサユニット(GPU)でよい。
【0073】
方法が、画像(例えば、画素ベースの画像として取得、記憶及び処理可能な画像)を対象とするので、方法を実行するためにグラフィックプロセッサユニット(GPU)が特に適する。しかしながら、以上のことに加えて、前述した方法が、現在知られている技術よりも計算効率が高いので、一般的なコンピュータプロセッサユニット(CPU)上でも容易に実現されうる。
【0074】
例えば、ここで示した方法の計算時間は、ほぼミリ秒以下でありうる。詳細には、例えば、256x256画素の典型的画像サイズでは1.14ミリ秒、140x140の典型的画像サイズでは0.73ミリ秒のGPUによる計算時間が達成された。
【0075】
本明細書に記載された方法は、1つ以上のコンピュータ可読記憶媒体上又は1つ以上のコンピュータ可読データファイルで記憶可能なコンピュータ可読命令で実現されうる。
【0076】
光学平面内の波頭の本明細書に記載された二次元再現の基礎をなし、必要に応じて波頭の三次元分布(体積分布)の断層撮影も提供できる画像は、例えば、光学システムの画像検出器(例えば、電荷結合素子(CCD)を含むカメラ(例えば、一般的な二次元デジタルカメラ))によって及び/又はカメラを含む専用の波頭センサによって取得されうる。
【0077】
換言すると、典型的な光学システムは、少なくとも1つの画像検出器及び/又は少なくとも1つの波頭センサを含むことができ、光学システムは、少なくとも1つの画像検出器からのデータ及び/又は少なくとも1つの波頭センサからのデータに基づいて本明細書に記載されたような波頭の三次元分布(即ち、体積分布)の波面再現及び/又は三次元分布の断層撮影を実行するように構成されうる。
【0078】
詳細には、可能な波頭センサが、曲率センサでよく、及び/又は波頭センサが、光学の取得システム(例えば、電荷結合素子(CCD)を含むカメラ(例えば、一般的な二次元デジタルカメラ))を含むことが考えられる。
【0079】
以下では、光学システムの光学平面で撮影された画像の光強度又は光強度分布の分布関数(例えば、二次元分布関数)の測定又は推定の例を、典型的なフレームワークを使用して示す。
【0080】
f(x,y)を、光強度の二次元分布(例えば、電荷結合素子(CCD)によって取得されたxy平面内の画像上の光強度の二次元分布)を表す二次元確率密度関数(PDF)とし、画像は、例えば、NxMの解像度を有し、M,Nは1より大きい整数であり、即ち、画像はNxM画素のサイズを有する。
【0081】
Vをf(x,y)に作用する変換とし、変換Vは、次のように定義される。
【0082】
V(p,t)[f(x,y)] = CDF(f(x,t + px))
【0083】
ここで、CDFは、画像に沿った勾配pと切片tの直線の累積分布関数fを表す。
【0084】
以下のように勾配pを角度αで置き換えた場合、即ち、
【0085】
P=tan(α)
【0086】
変換Vは、次のように表されうる。
【0087】
V(a,t)[f(x,y)] = CDF(f(x,t + x tan(α)))
【0088】
更に、同じ値xの場合の2つの曲線a及びbのx軸上の距離に関する距離メトリック又は距離関数DをD(x)[a,b]で表しうる。ここで、2つの曲線a及びbは、V変換に関して前述されたような画像に沿った線(即ち、勾配又は角度及び切片を有する線)の累積分布関数CDFとして理解されうる。
【0089】
関数D(x)[a,b]は、測定された光子到達位置又は光子線位置、又は異なる光学平面における2つの画像間の測定された局所的光線強度位置の空間変位を決定するために使用され、前記空間変位は、波頭収差によって生じそれに依存する。換言すると、光路差を有する光学システムの2つの異なる画像内の決定された光子線位置又は測定された局所的光強度の比較は、生じる波頭収差の抑制を可能にし、また元の波頭形状を再現することを可能にする。
【0090】
更に、典型的光学システムにおいて、光路差を有する異なる光学平面で2つの画像I
1,I
2(即ち、2つの異なる光強度分布)を取得したと仮定する。
【0091】
単純にするため、更に、両方の画像が同じ解像度を有し、例えば、両方ともMxM画素のサイズを有すると仮定する。しかしながら、本明細書に記載された方法は、異なる解像度又は異なるサイズを有する画像にも有効である。
【0092】
両方の画像I
1,I
2に関して、変換Vは、各値t∈[-tan(α)M,M]と角度αの複数の具体的な値に関して計算されうる。
【0093】
更に、得られる全ての曲線V(α,t)を0とM−1の間で標準化できる。
【0094】
したがって、画像I
1,I
2の異なる光学平面間にある波頭再現平面内の画素(x,y)の水平一次導関数が、次のように与えられうる。
【0095】
δ
x(x, y) = cos(α)D(x)[V(α,y)[I
1],V(α,y)[I
2]]
【0096】
また、画像I
1,I
2の異なる光学平面間にある波頭復元平面内の画素(x,y)の垂直一次導関数が、次のように与えられうる。
【0097】
δ
y(x, y) = sin(α)D(x)[V(α,y)[I
1],V(α,y)[I
2]]
【0098】
波頭の勾配と光子の変位の間の幾何光学から得られた線形関係を利用し、また局所的波頭勾配を有する、即ち、波頭再現平面内の画素(x,y)における前述の一次導関数の等価式を使用することによって、画像I
1,I
2の異なる光学平面間にある平面内で再現された二次元波頭は、x及びyに沿ったδ
x(x, y)δ
y(x, y)の積分によって得られうる。
【0099】
前記異なる光軸面間にある光学平面内の波頭の二次元形状を再現する導出された波頭勾配推定値δ
x(x, y)δ
y(x, y)の前記積分は、特に、例えば、例えば以下のステップのうちの1つ、幾つか、又は全てを含む高速フーリエ変換(FFT)アルゴリズムを使用して実行されうる。
・(δ
x,δ
y)配列をフーリエ(u,v)領域にフーリエ変換するステップ。
・δ
x勾配のフーリエ変換にuを乗算し、δ
y勾配のフーリエ変換にvを乗算するステップ。
・得られた配列を加え、結果を原点以外で(u
2+v
2)で除算する(及び/又は原点ではゼロを入れる)ステップ。
・逆フーリエ変換を計算して再現波頭の推定値を得るステップ。
【0100】
しかしながら、他の積分方法も利用可能である。
【0101】
以下の図は例を示す。