特許第6154810号(P6154810)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フォルシュングスツェントルム・ユーリッヒ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツングの特許一覧

特許6154810入力信号を知ること無く信号処理システムの伝達関数を決定する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6154810
(24)【登録日】2017年6月9日
(45)【発行日】2017年6月28日
(54)【発明の名称】入力信号を知ること無く信号処理システムの伝達関数を決定する方法
(51)【国際特許分類】
   H04N 5/225 20060101AFI20170619BHJP
   H04N 5/232 20060101ALI20170619BHJP
   G06T 5/20 20060101ALI20170619BHJP
【FI】
   H04N5/225 Z
   H04N5/232 Z
   G06T5/20 A
【請求項の数】22
【全頁数】26
(21)【出願番号】特願2014-519414(P2014-519414)
(86)(22)【出願日】2012年4月21日
(65)【公表番号】特表2014-529386(P2014-529386A)
(43)【公表日】2014年11月6日
(86)【国際出願番号】DE2012000425
(87)【国際公開番号】WO2013007226
(87)【国際公開日】20130117
【審査請求日】2015年2月20日
(31)【優先権主張番号】102011107371.3
(32)【優先日】2011年7月14日
(33)【優先権主張国】DE
【前置審査】
(73)【特許権者】
【識別番号】390035448
【氏名又は名称】フォルシュングスツェントルム・ユーリッヒ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100173521
【弁理士】
【氏名又は名称】篠原 淳司
(74)【代理人】
【識別番号】100153419
【弁理士】
【氏名又は名称】清田 栄章
(72)【発明者】
【氏名】トゥースト・アンドレアス
【審査官】 花田 尚樹
(56)【参考文献】
【文献】 特開2011−024051(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222− 5/257
G06T 1/00 − 1/40
G06T 3/00 − 5/50
G06T 9/00 − 9/40
(57)【特許請求の範囲】
【請求項1】
信号処理システムが一つのオブジェクトから異なる倍率で取得した複数の入力信号から生成した、一つのオブジェクトの少なくとも二つの表現I(x)及びI(x)から、或いは第一のオブジェクトの表現I(x)及びそのオブジェクトと倍率を除いて幾何学的に同じオブジェクトの表現I(x)から、信号処理システムの伝達関数を決定する方法において、
これらの二つの表現が、それぞれ未知の入力信号と伝達関数との積として表すことが可能な形で作業空間内において変換され、
第二の表現の部分の位置と拡がりを自由パラメータとして、類似度を最適化することにより、これらの二つの表現I(x)及びI(x)の一つ又は複数のオブジェクトの同じ領域と関連する、そのため、同じ未知の入力信号に由来する部分を選定して、
作業空間内で関数I(g)及びI(g)として表し、
これらの二つの関数から商Q(g)=I(g)/I(g)を算出し、その結果、未知の入力信号が抑制されるとともに、その分子と分母が、それぞれ異なる倍率の引数を有する求める伝達関数を包含し、
この商の推移から、伝達関数の求める推移を取得することと
この商Q(g)の連続的に、或いは離散的な制御点で表される対数から、連続的に、或いは離散的な制御点で表される、この伝達関数T(g)の対数に関する差分商が算出されることと、
を特徴とする方法。
【請求項2】
当該の二つの表現が周波数空間内で変換されることを特徴とする請求項1に記載の方法。
【請求項3】
当該の二つの表現がフーリエ変換されることを特徴とする請求項1又は2に記載の方法。
【請求項4】
当該の差分商が積分又は合算されることを特徴とする請求項1から3までのいずれか一つに記載の方法。
【請求項5】
当該の少なくとも三つの表現の中の複数から作業空間内の一つの位置gに関して差分商を算出するために、異なる表現、そのため二つの関数I(g)及びI(g)から、所定の倍率γだけ互いに異なる二つの部分が選定されることを特徴とする請求項1から4までのいずれか一つに記載の方法。
【請求項6】
当該の倍率γが1〜2の間で選定されることを特徴とする請求項に記載の方法。
【請求項7】
当該の伝達関数T(g)に関して、パラメータ数式が作成されて、T(g)から商Q(g)又はそれから導き出される関数の推移が出来る限り良好に再現されるように、最適化手法により最適化されることを特徴とする請求項1からまでのいずれか一つに記載の方法。
【請求項8】
商T(pg)/T(g)(pは倍率)がI(g)及びI(g)から得られる商Q(g)=I(g)/I(g)と出来る限り良好に一致するように、T(g)が最適化されることを特徴とする請求項に記載の方法。
【請求項9】
予め既知の、或いは表現I(g)及びI(g)の作成時に設定された、これらの表現を区別するための倍率γが、当該の倍率pとして選定されることを特徴とする請求項又はに記載の方法。
【請求項10】
当該のpの値が、最適化手法の範囲内で決定されることを特徴とする請求項からまでのいずれか一つに記載の方法。
【請求項11】
当該の作業空間での変換の前に、実空間での拡がりが小さい一方の表現が、他方の表現の拡がりに補間されることを特徴とする請求項1から1までのいずれか一つに記載の方法。
【請求項12】
当該の作業空間内の複数の表現が極座標に変換されて、その表現形態において、方位角に関して平均されることを特徴とする請求項1から1までのいずれか一つに記載の方法。
【請求項13】
当該の方位角に関して平均された表現から、それぞれ雑音スペクトル又は一定の背景雑音が除去されて補正されることを特徴とする請求項1に記載の方法。
【請求項14】
当該の二つの表現I(x)及びI(x)が、離散的な画素に分割されたCCDセンサを用いて撮影された画像であることを特徴とする請求項1から1までのいずれか一つに記載の方法。
【請求項15】
信号処理システムの伝達関数を決定する方法であって、
このシステムでは、一つのオブジェクトの異なる倍率の少なくとも二つの表現I(x)及びI(x)、或いは少なくとも第一のオブジェクトの表現I(x)と、そのオブジェクトと倍率を除いて幾何学的に同じオブジェクトの表現I(x)とが生成され、
これらの表現に対して、請求項1から1までのいずれか一つに記載の方法が実施される、
方法。
【請求項16】
当該の表現I(x)及びI(x)の異なる倍率が、システムの入力でオブジェクトから生成される入力信号O(x)の倍率を変更することによって設定されることを特徴とする請求項1に記載の方法。
【請求項17】
電子顕微鏡が信号処理システムとして選定され、当該の表現I(x)及びI(x)の倍率変更が、中間レンズと投影レンズを順次交換することによって設定されることを特徴とする請求項1に記載の方法。
【請求項18】
透過型電子顕微鏡が信号処理システムとして選定されることを特徴とする請求項1に記載の方法。
【請求項19】
当該の表現I(x)及びI(x)の異なる倍率が、オブジェクトと信号処理システムの間の空間的な間隔を変更することによって設定されることを特徴とする請求項1から1までのいずれか一つに記載の方法。
【請求項20】
当該の表現I(x)及びI(x)の中の少なくとも一つが、少なくとも二つの個別表現の組合せとして生成されることを特徴とする請求項15から19までのいずれか一つに記載の方法。
【請求項21】
雑音がオブジェクトとして選定されることを特徴とする請求項1から2までのいずれか一つに記載の方法。
【請求項22】
信号処理システムの伝達関数T(x)と、このシステムの入力で未知のオブジェクトが生成する入力信号O(x)とを、このシステムがこの入力信号O(x)から異なる倍率で生成した、このオブジェクトの少なくとも二つの表現I(x)及びI(x)から決定する方法において、
T(x)をO(x)に適用して、前記の二つの表現I(x)及びI(x)を再現する形で、オブジェクト関数O(x)と伝達関数T(x)に関するパラメータ数式が自己矛盾の無いように最適化されることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力信号が既知でないことを前提として、信号処理システムの伝達関数を決定する方法に関する。
【背景技術】
【0002】
信号処理システム、特に、増幅器や光学イメージングシステムは、一般的に非線形で誤差無く動作する。空間内の任意の座標xにおいて表される出力信号I(x)は、次の通り、通常入力信号O(x)をシステムの伝達関数T(x)で畳み込んだ信号である。
【0003】
【数1】
【0004】
ここで、演算子
【0005】
【数2】
【0006】
は、畳込み積分を表す。伝達関数T(x)は、信号処理システムを使用する際に大きな技術的な意味を有する。この関数が既知であれば、I(x)から逆畳込み積分により入力信号O(x)を、従って、I(x)を生じさせる物理測定量を導き出すことができる。画像処理システムでは、T(x)は、「点拡がり関数」、英語で「point spread function」とも呼ばれる。
【0007】
従って、伝達関数T(x)を知ることは、システム全体の機能動作を改善する。それに関する有名な例は、避けられない光学収差の外に、更に、レンズの系統的誤差の作用も伝達関数に含まれるハッブル望遠鏡である。その伝達関数が解明されたことによって、望遠鏡で撮影した当初は全く役に立たなかった画像を補正できるだけでなく、レンズ誤差の種類と大きさを推定することもできた。それにより、事後における望遠鏡自体の光学的補正が可能となった。
【0008】
伝達関数T(x)を得るためには、通常既知の入力信号O(x)をシステムに加えて、それを出力信号I(x)と比較している。望遠鏡では、多くの場合、数学的にΔ関数により理想的な点光源として規定できる遠く離れた星をオブジェクトとして結像している。写真機では、多くの場合、既知のオブジェクトとして照明された開口絞り、スリット絞り又は縞の間隔が可変である縞模様が試験オブジェクトとして使用されている。平均的な関数の推移が既知となるのに応じて、雑音を入力信号O(x)として使用することができる。
【0009】
電子顕微鏡のカメラでは、試験構造として、鋭い縁(非特許文献1〜3を参照)と、アンサンブル平均値が既知である、電子により発生する雑音(非特許文献4と5を参照)とで間に合わせている。
【0010】
この方法は、既知の試験オブジェクトが、そのため既知の入力信号O(x)が取得できない場合には役に立たないことが欠点である。
【先行技術文献】
【非特許文献】
【0011】
【非特許文献1】R.R.Meyer,A.Kirkland,“The effects of electron and photon scattering on signal and noise transfer properties of scintillators in CCD cameras used for electron detection“,Ultramicroscopy 75,23−33(1998)
【非特許文献2】R.R.Meyer,A.I.Kirkland,?Characterisation of the Signal and Noise Transfer of CCD Cameras for Electron Detection“,Microscopy Research and Technique 49,269−280(2000)
【非特許文献3】R.R.Meyer,A.I.Kirkland,R.E.Dunin−Borkowski,J.L.Hutchison,“Experimental characterisation of CCD cameras for HREM at 300 kV”,Ultramicroscopy 85,9−13(2000)
【非特許文献4】J.M.Zuo,“Electron Detection Characteristics of a Slow−Scan CCD Camera,Imaging Plates and Film,and Electron Image Restoration“,Microscopy Research and Technique 49,245−268(2000)
【非特許文献5】K.Du,K.von Hochmeister,F.Philipp,“Quantitative comparison of image contrast and pattern between experimental and simulated high−resolution transmission electron micrographs”,Ultramicroscopy 107,281−292(2007)
【発明の概要】
【発明が解決しようとする課題】
【0012】
以上のことから、本発明の課題は、試験オブジェクトが分からなくとも、そのため入力信号O(x)が分からなくとも使用できる、信号処理システムの伝達関数を決定する方法を提供することである。
【課題を解決するための手段】
【0013】
本課題は、本発明の主請求項及び副請求項に記載された方法によって解決される。更に別の実施形態は、それぞれそれらを参照する従属請求項から明らかとなる。
【0014】
本発明の範囲内において、一つのオブジェクトの少なくとも二つの表現I(x)及びI(x)から信号処理システムの伝達関数を決定する方法であって、これらの表現が、このシステムにより、このオブジェクトに起因する異なる倍率の入力信号から生成された表現であるか、或いは第一のオブジェクトの表現I(x)とこの第一のオブジェクトと倍率を除いて幾何学的に同じオブジェクトの表現I(x)とから成る表現である方法を開発した。
【0015】
これらの表現を表すための座標xは、例えば、位置及び/又は時間の座標とすることができる。しかし、例えば、これらの座標xの中の一つは、例えば、エネルギー損失スペクトルをCCDカメラで捉えるエネルギー損失分光(electron energy loss spectroscopy,EELS)では、そのエネルギーとすることもできる。大抵の場合、エネルギー又はそれ以外の座標は、表現I(x)及びI(x)を生成する際に位置及び時間の座標に戻すことができる。即ち、例えば、EELSでは、設備内のエネルギー依存性は、カメラのCCDチップ上の位置座標に変換される。従って、以下において、位置及び/又は時間に依存する信号に関して述べる場合、それらの座標は、普遍性を制限すること無く、位置及び/又は時間に戻すことが可能な、それらに代わる別の座標をも表すものとする。
【0016】
本発明の意味におけるオブジェクトとは、その存在によって物理的な測定量を位置及び/又は時間に関して変化させ、それにより信号処理システムのための入力信号を発生させることができるものである。例えば、音源は、位置及び/又は時間に関して、空間内の音の強度を変化させる。撮影可能なオブジェクトは、空間内の光の強度を変化させる。音又は光の強度は、それぞれ信号処理システムのために供給される入力信号O(x)である。そのようなオブジェクト自体は既知である必要はない。
【0017】
入力信号が、その信号の形態に応答する信号処理システムに入力されると、システムは、その出力に式(1)の信号I(x)を供給する。I(x)は、T(x)として具現化される撮影又は結像条件を包含する、入力信号O(x)を発生させるオブジェクトの表現である。
【0018】
一つの同じオブジェクトからは、異なる倍率の表現を生成することができる。この倍率は、信号を収集するための空間的又は時間的なサンプリングレートに相当する。例えば、アナログ帯域での録音の場合、時間的なサンプリングレートは、如何なる速さで帯域を走査するのかに依存する。デジタル録音の場合、サンプリングレートが規定されて、1分毎に如何なる数のデータを記録するのかを須らく決定する。カメラにおいて、オブジェクトを望遠又は広角の画角に設定することは、如何なる空間的な画像部分を画像センサの固定数の画素に投影するのかを、そのため空間的なサンプリングレートを決定する。同じことが、空間的なサンプリングレートが設定された倍率に依存する顕微鏡にも言える。
【0019】
システムにより、第一のオブジェクトの表現I(x)と、この第一のオブジェクトと倍率を除いて幾何学的に同じオブジェクトの表現I(x)とを生成した場合にも、倍率が異なり、作用が同じである二つの表現が得られる。その例は、同じ結像条件下で、一つの写真機を用いて同じモチーフの異なる倍率の十分にシャープな二つの写真を撮影することである。
【0020】
本発明では、二つの表現I(x)及びI(x)は、先ずは(座標gに関する)作業空間内で変換されて、それぞれ次の通り未知の入力信号と伝達関数の積として表される。
【0021】
I(g)=O(g)T(g) (2)
この作業空間は、例えば、周波数空間とすることができ、そして、その空間内の表現に変換するために、特に、フーリエ変換することができる。この変換の目的は、畳込み積分を式(2)の積に変換することによって、これらの表現を用いた更なる計算を簡単化することである。
【0022】
これらの表現の周波数空間での表示は、スペクトルとも呼ばれる。この空間内では、伝達関数T(g)は、点拡がり関数に対応し、変調伝達関数と呼ばれる。
【0023】
これらのオブジェクトを倍率を除いて幾何学的に同じオブジェクトとする必要がなく、幾何学的に同様のオブジェクトであれば十分である特殊な場合が有る。それは、一方のオブジェクトを他方のオブジェクトに対して回転及び/又は鏡像反転することが表現I(x)とI(x)の間に更なる違いを生じさせないことを意味する。
【0024】
例えば、伝達関数T(x)又はその対を成す関数T(g)は、作業空間内において、対称、特に、回転対称とすることができる。そして、互いに回転又は鏡像反転された二つの入力信号OとOの表現も実空間(座標x)又は作業空間(座標g)において相似にすることができる。
【0025】
この関連において、別の簡略化方式も考察する。画像を回転又は鏡像反転した十分に多くの数の変化形態(例えば、電子顕微鏡内の数百又は数千のバクテリア又は数百又は数千のナノクラスタの原子)が存在する場合、オブジェクトの如何なる方位角方向の優先度も当然消滅する。この場合、アンサンブル内の個々のオブジェクト(個々のバクテリア、個々のクラスタ)が回転又は鏡像反転されているにも関わらず、各アンサンブル平均値は、倍率を除いて再び同じとなる。この場合、同じ領域(同じバクテリア又は正確に同じ原子クラスタ)が最早二つの画像に含まれる必要はなく、二つの異なる撮影位置から代表的なアセンブル平均値を算出するだけで十分である。
【0026】
後者の原理は、二つの相前後する撮影時に決して同じ雑音を記録し得ないので、入力信号として未知の雑音を使用する場合においても活用できる。しかし、二つの撮影時に得られる入力信号O(x)の対応するアセンブル平均値が同じであることを出発点とすることができる。
【0027】
一つ以上のオブジェクトの一つ以上の同じ領域に関する、そのため、同じ未知の入力信号に起因する、二つの表現I(x)及びI(x)の部分が選定されて、作業空間内で関数I(g)及びI(g)として表される。特に、これらの表現の中の一方を全体に対する部分として使用して、第二の表現から、第一の表現と同じオブジェクト内容を表す部分を使用することができる。これらの部分は、作業空間への変換前に事前に選定することができる。特別な場合には、作業空間への変換後の選定も可能であるが、明らかに、より難しくなる。
【0028】
これらの部分を特定するための例として、例えば、相互相関などの類似度を最適化することができ、自由パラメータは、第二の表現の部分の位置と拡がりである。座標xが実空間内で離散的である場合、例えば、全ての取り得る値を順番に試験して、類似度の最大値を決定することができる。
【0029】
本方法は、第二の表現の部分が第一の表現と正確に同じオブジェクト内容を表さない場合、急激には成果を挙げなくなる。むしろ、その場合には、伝達関数の決定が累進的に不正確となる。そのような選択誤りは、二つの表現により表されるオブジェクト内容が一つの部分領域内で重なり合わないとの作用を及ぼす。それに対応する相対的な誤差は、第一の表現の面積全体に対する重なり合わない面積の比率から得られる。第一の近似において、そのような相対的な誤差は、作業空間、例えば、周波数空間においても採用することができる。
【0030】
例えば、離散的な画素に分かれている画像を表現として選定した場合、二つの次元の各々に関して順番に試験することにより重なり合った時に、最大で画素の半分の誤差が生じる。拡がり(拡大)に関して同じ誤差を仮定した場合、次元毎に最大で一つの画素の全体誤差が得られる。画像が辺の長さをN画素とする正方形である場合、相対的な誤差は、全ての画素の全数N*Nに対する重なり合わない上側の縞部分の画素数2*Nの比率、即ち、2*N/(N*N)=2/Nに等しい。従って、典型的な画像の辺の長さの規模がN=1,024画素である場合、そのような見積もりによる相対的な誤差は、千分の一未満の範囲内に有る。
【0031】
二つの表現に関して「同じ領域」との用語は、純粋に幾何学的に見た場合ではない。むしろ、二つの領域の間の違いが表現I(x)とI(x)の間に有為な違いを生じさせないとの意味において、同様の領域も含まれる。それは、特に、入力信号O(x)が非常に多くの統計的に分布した個々の寄与分、例えば、数百の個々のバクテリアから放出される光の強度に関するアセンブル平均値である場合である。同じく、「同様の領域」との用語は、I(x)とI(x)が同じオブジェクトの表現ではなく、I(x)が第一のオブジェクトの表現であり、I(x)がそれに対して倍率を除いて幾何学的に同じオブジェクトの表現である場合であると解釈する。
【0032】
二つの関数I(g)及びI(g)の商Q(g)=I(g)/I(g)が、例えば、作業空間内で点状に結像され、そのため、未知の入力信号が抑制されて、分子と分母が、それぞれ異なる倍率の引数を有する求める伝達関数を含むこととなる。理想的な場合、未知の入力信号O(g)は完全に消去される。この商Q(g)は、作業空間内で点状に結像されるだけでなく、例えば、領域に渡って、或いは行程に沿って結像される可能性が有る。
【0033】
二つの表現が、例えば、作業空間としての周波数空間において、I(g)及びI(g)と表される同じオブジェクトの画像IとIであるとする。しかし、画像Iの倍率が、画像Iの倍率よりも係数γだけ大きい場合、二つの画像は、オブジェクトの同じ部分O(g)を表して、倍率の違いが、伝達関数T(g)のサンプリングレートの違いだけであることが分かる。商Q(g)=I(g)/I(g)に関して、次の式が成り立つ。
【0034】
【数3】
【0035】
最終的に、本発明では、Q(g)の推移から、伝達関数T(g)の求める推移が決定される。
【0036】
このようにして、名目的な入力信号O(x)が分からなくとも、伝達関数T(g)を決定できることが分かった。当然のことながら、平均的な関数の推移が分からない無相関な雑音を入力信号として使用することができる。従来技術では、式(2)をT(g)=I(g)/O(g)に置き換えることにより、T(g)を得るためには、それを正確に知ることが必要であり、I(g)だけが分かっても、如何なる追加知識無しには、O(g)の決定もT(g)の決定も不可能であった(「ブラインドデコンボリューション」問題)。望遠鏡の場合、例えば、ほぼ点光源として看做すことができる遠く離れた星に照準を合わせることによって、そのような知識を得ていた。顕微鏡の場合、構造が既知である試験試料を撮影していた。ここで、「ブラインドデコンボリューション」状況と異なり、唯一の追加知識として、IとIの異なる倍率を採用して、そのため、O(g)の知識を最早不要とすることによって、好適な試験オブジェクトが存在しない信号処理システムのためのT(g)の決定が初めて可能となる。
【0037】
例えば、原子の次元まで拡大する電子顕微鏡の場合、原子の次元では、試験オブジェクトを所定の手法では準備できないので、良好に定義されたオブジェクトを撮影することは不可能である。従来技術では、電子光学系を回避して、鋭いエッジを検出器上に直に生じさせるか、或いはそれに代わって、鋭い影を検出器上に投影することによって切り抜けていた。理想的な鋭い強度ステップのオブジェクトスペクトルO(g)が既知であるので、測定した強度分布I(g)から、CCDカメラの伝達関数T(g)を決定することができる。他方では、CCDカメラに電子を均一に照射する雑音方法(英語で「noise method」)が使用されている。画素毎に入射する電子の数の統計的な特性のために、入力信号O(g)は白色雑音を表す。この既知の入力信号をカメラにより撮影した出力信号I(g)と比較することによって、又もやT(g)=I(g)/O(g)に基づき、伝達関数T(g)を決定することができる。これらの二つの方法は、電子顕微鏡の場合に或る難しさを生じさせる。エッジ方法では、大抵真空にした顕微鏡支柱を開放して、鋭いエッジを持つ対象物をカメラ上に設置しなければならない。更に、画素配列に沿った鋭いエッジの向きを良好に定義しなければならず、それは、一つの次元に沿って15マイクロメートルの大きさの典型的には2,048個の画素の場合、殆ど実現不可能である。更に、エッジが或る物理的な厚さを有し、そのため、電子もエッジにより検出器上に散乱するか、或いは検出器により望ましくない手法で記録されるレントゲン量子もエッジで発生する可能性が有るので、それは問題と成り得る。同様に、雑音方法の使用は、確かに伝達関数T(g)の相対的な関数の推移を決定できるが、T(g)の絶対的な正規化が不可能であるので、問題である。
【0038】
そのため、電子顕微鏡では、これらの二つの方法により決定した、一つの同じCCDカメラの伝達関数は、互いに大きく相違する可能性が有る。そのような伝達関数の決定時の不確実性のために、多くの場合数値計算による画像シミュレーションの比較を用いた正確な量的画像評価が難しくなるか、或いは不可能となる。そこで、本発明により実現される、伝達関数T(g)を決定する第三の代替測定方法の提供手法は、電子顕微鏡での伝達関数を決定する際の不一致を明確化するとともに、量的画像評価時の精度を向上させることが可能である。
【0039】
本発明による方法は、信号処理システムの動作中に使用できるだけではない。むしろ、システム自体がずっと前に最早存在せずに、別途撮影しなくとも、それに関する画像だけが僅かに存在する場合でも、システムを用いて作成された古い表現(例えば、画像)からT(g)を決定することもできる。異なる倍率で同じオブジェクトを表す二つの画像が存在する場合、そのことは、T(g)の決定には十分であり、その知識を用いて、それ以外の全ての存在する画像を後から改善することができる。例えば、本発明による方法を用いて、ずっと前に終了している宇宙探査ミッションの撮影を新たに評価することができ、そのため、十年前の古い資料が今日でも新たな情報を提供して、極端な場合、新しいミッションが不要となる。
【0040】
伝達関数T(g)の零設定に起因する、式(3)の分母のI(g)の零設定は問題とならない。それらは、I(g)が漸近的に零に低下することを特徴とする。I(g)に対してI(g)が遅れるために、I(g)は、I(g)よりも小さい値のgで零設定となる。即ち、g=0を出発点として、I(g)の値が、漸近的に零に近付く場合、式(3)の分子のI(g)では、それ以前に零に成り、そのため、商Q(g)は良好に定義される。
【0041】
入力信号O(g)の零設定又は伝達関数T(g)の振動挙動に起因するI(g)の別の零設定は、その特異点をT(g)の計算から除外することによって抑制することができる。特に、T(g)に関するパラメータ数式では、例えば、不変性又は最大曲率の形で、T(g)の推移の或る程度の平坦性を事前に前提とする。そのため、良好な理由により、作業空間の大部分(
【0042】
【数4】
【0043】
)に当て嵌まる解法が特異点に対しても当て嵌まると仮定することができる。特に、商Q(g)又はそれから導き出される変数、例えば、ln[Q(g)]又はD(g)などの非常に大きな値が生じる領域をT(g)の計算から除外することができる。この場合、式(3)に基づく除算によって、特異点を人為的にのみ作り出す一方、曲線T(γg)及びT(g)自体が全く特異点を含まず、全く「無害」であり、不変に推移すると考えられる。
【0044】
以下において、Q(g)に関する式から、求める伝達関数T(g)を一義的に決定できることを示す。普遍性を制限すること無く、第一の表現I(g)の座標系に関する空間次元gだけを考慮する。
【0045】
第一の工程において、商曲線Q(g)の対数を計算する。それによって、ここで、T(γg)とT(g)の商から、当該の対数の差が得られる、即ち、次の式が得られる。
【0046】
ln[Q(g)]=ln[T(γg)]−ln[T(g)]=:Δln[T(G)] (4)
この場合、普遍性を制限すること無く、Q(g)>0を出発点とした。振動する伝達関数T(g)の場合に発生する可能性が有る
【0047】
【数5】
【0048】
の場合を区別することは、見易くするために省略した。
【0049】
二つの対数ln[T(γg)]とln[T(g)]の差は、ここではシンボルΔln[T(G)]で表され、以下の式により定義される、周波数γgとgの間に位置する周波数の算術的な中点Gに対応する。
【0050】
G=g(1+γ)/2 (5)
縦座標の差分Δln[T(G)]に対応する横座標の差分ΔGは、当該の周波数γgとgの差として得られ、そのため、それに対応する横座標の差分ΔGは、次の式として得られる。
【0051】
ΔG=g(γ−1) (6)
二つの差分Δln[T(G)]とΔGの計算は、特に、明細書の図4にグラフとして図示されている。最終的に、式(4)による縦座標の差分Δln[T(G)]と式(6)による横座標の差分ΔGを用いて、次の式で定義できる差分商D(G)を算出することができる。
【0052】
【数6】
【0053】
例えば、図4に図示された差分商D(G)は、第一の表現の基準システムに関して、空間周波数g=g(1+1/γ)/2まで算出することができ、ここで、gは、第一の表現のナイキスト周波数である。ここで、そのようにして算出された差分商D(G)が、空間周波数Gに関する伝達関数T(G)の対数の導関数の有限近似式を表す、即ち、次の通りとなることが決定的に重要である。
【0054】
【数7】
【0055】
この近似式は、差分商D(G)から伝達関数T(G)を一義的に決定するために使用することができる。
【0056】
この解決手法に関して、二つの場合を区別すべきであり、一方では、周波数Gを連続変数として見做すことができ、そのことは、式(8)の直接積分を可能とし、そのため、普遍的な解決方式であると簡単に認識できる。しかし、他方では、実際の数値計算において、D(G)の値が離散的な周波数Gでのみ存在し、そのことは、連続的な積分の代わりに、離散的な合算が必要となり、得られた周波数Gの計量に特に注意しなければならない。
【0057】
周波数Gを連続変数として見做した場合、伝達関数の対数ln[T(G)]は、D(G)の積分によって近似的に得られる、即ち、次の式になるとともに、
【0058】
【数8】
【0059】
最終的に、求める伝達関数T(G)は、指数関数によって得られ、そのため、次の式となる。
【0060】
【数9】
【0061】
式(9)の通常付属する積分定数は、それが正確に0であるので省略した。即ち、物理的に妥当な仮定から、T(0)が1に等しくなければならないことを出発点とすると、S(0)は0に等しくなければならず、それにより、式(9)の積分定数は、同じく0でなければならない。
【0062】
ここで、連続的な周波数に関する解決手法の一般化した説明に基づき、式(3)に基づく入力曲線Q(g)がgの所定の離散的な値でのみ得られる実際の数値計算を取り上げる。後者の場合は、FFT(高速フーリエ変換)を用いて得られた周波数スペクトルに関して典型的である。表現I及びIが、例えば、離散的な画素に分割されたCCDセンサを用いて撮影された画像であるとする。そして、N個の画素から成る実空間領域に関して、それに対応する図3によるフーリエ空間の離散的な周波数には、整数値n=0,±1,±3,...±nの指数を付けることができ、指数nは、ナイキスト周波数を表す。所定の周波数の指数nは、画素数Nの実空間領域内に存在する、それに対応する平坦な波Exp[2iπn/N]の周期の数に等しい。ここで、基準画像として画像1を選定した場合、式(3)に基づきg=n=0,±1,±3,...±nと設定できる。しかし、一般的に式(5)に基づき整数でない倍率γを導入することによって、画像1と画像2の整数による計量に従わず、画像1と2の間の拡大画像を作り出す中間周波数Gが生じるので、その後整数による算術を維持することは最早不可能である。即ち、中間周波数Gの発生は、画像1と2の交互の対称的な扱いの結果である。しかし、式(3)に無次元の指数g=n=0,±1,±3,...±nを導入したことにより、式(7)までの計算は、正確に前述した通り実施することができ、今やG及びΔGに関して、一般的に指数又は指数の差との意味で整数の無次元の値が発生せず、任意の有理数の値が発生する。ここで、以下において、基準として選定された画像1の数値計算に必要な整数の計量を復元する複数の手法の中の一つを説明する。
【0063】
ここで、式(3)にg=n=0,±1,±3,...±nを導入した後の差分商D(G)は、Gの整数でない無次元の値で得られるので、所望の周波数G=n=0,±1,±3,...±nで差分商D(G)を計算することができる補間方法の制御点として、そのようなGの値を使用することは当然である。このD(G)の補間は、次の式により表すことができる。
【0064】
【数10】
【0065】
ここで、そのような整数の制御点nで得られる差分商D(n)をDと表し、同じくT(k)をTと表し、S(k)をSと表した場合、式(9)の無限積分から、次の通りの合計が得られる。
【0066】
【数11】
【0067】
最終的に、式(10)と同様に、基準画像1の整数kの指数を付与された周波数において、次の通り、伝達関数Tに関する求める解法が得られる。
【0068】
【数12】
【0069】
従って、本発明の特に有利な実施形態では、連続的な、或いは離散的な制御点において表されるQ(g)の対数から、連続的な、或いは離散的な制御点において表されるT(g)の対数に関する差分商が算出される。有利には、それを積分又は合算する。それにより、異なる倍率の表現から、作業空間内の各制御点に関して、当初からT(g)を所定のクラスの関数に限定しなくとも、解法としての伝達関数T(g)に関する独立した値を直接得ることができる。
【0070】
高い空間周波数gでは、式(6)に基づき空間周波数gと共に増加する式(7)の分母のΔGが大き過ぎる場合が有る。その場合、D(G)を位置Gにおけるln[T(G)]の導関数として見做す近似は不正確である。それは、又もや差分商D(G)の合算又は積分によってT(G)を決定できる精度を悪化させる。そのような場合は、通常ゆっくりとしか変化しない典型的な伝達関数では殆ど起こり得ないが、高い空間周波数で大きく湾曲する、或いはそれどころか振動する典型的でない伝達関数の場合、固定的に設定された周波数の差ΔGのために、そのような不正確さが発生する。二つの関数I(g)及びI(g)の倍率が互いに接近する程、そのような不正確さは小さくなる。
【0071】
典型的な伝達関数は通常ゆっくりとしか変化しないので、低い位置周波数では、式(10)に基づく差分商の分子も分母も非常に小さい値となる。その場合、表現(画像)内の大きな雑音が差分商を支配する可能性が有る。二つの関数I(g)及びI(g)の倍率が互いに離れる程、式(7)の分母のΔGは大きくなり、雑音の影響が、より大きく抑制される。
【0072】
そのため、γの値により、高い位置周波数での精度と低い位置周波数での精度の間の避けられない妥協が行われる。
【0073】
従って、本発明の別の有利な実施形態では、作業空間内の位置gに関する差分商を算出するために、少なくとも三つの表現の中の複数から、所定の倍率γだけ互いに相違する、異なる表現、そのため、二つの関数I(g)とI(g)の二つの部分が選定される。
【0074】
単一の倍率γでは、低い位置周波数でも高い位置周波数でも十分な精度で差分商の算出を可能とする十分に良好な妥協が発見できない場合、それぞれ異なる倍率γで互いに生成された複数の画像を用いて処理することもできる。作業空間内の異なる位置gに関するγの適合選定によって、式(8)に基づき差分商に関する信頼できる十分に正確な近似として使用できるように、周波数軸の所望の各位置で、式(7)の差分商を算出することができる。特に、振動する伝達関数の場合、変動幅ΔG内で振動全体が起こらないように、差分商を算出するための制御点を狭い範囲内に留めなければならない(小さいΔG)。その他、高い周波数では、明らかに低サンプリングの場合が出現する。そのため、ここでは、如何なる場合でも複数の異なる倍率による複数画像方法が推奨される。
【0075】
この場合、作業空間の如何なる分割部分に関して伝達関数T(g)が決定できるのかはγに依存する(図4dを参照)。γ=2に関して、伝達関数は、二次元の場合、作業空間の56.25%に対して決定でき、一次元の場合、作業空間の75%に対して決定できる。この点に関して、
【0076】
【数13】
【0077】
の範囲が有利であることが分かった。
【0078】
二次元の場合、一次元で定義されたナイキスト周波数、即ち、スペクトルの縁までだけでなく、その√2倍、即ち、スペクトルの隅まで評価を続けることによって、作業空間の活用を改善することができる。如何なる周波数損失も無い形で、一次元でのナイキスト周波数まで伝達関数T(g)を算出する場合、2.41までのγの値が信頼できる値である。
【0079】
ここで、Q(g)の計算前に雑音を抑制することを目的として、I(g)とI(g)を方位角方向に関して平均する場合、副次効果として、その周波数空間の隅の方向への平均が、隅の画素自体に関して、零に漸減して行く一層限定された角度範囲内において可能であることを考慮しなければならない。
【0080】
典型的には、ナイキスト周波数の半分以内の周波数を高い位置周波数と看做すことができる。離散的なサンプリングでは、それは指数n>n/2となり、ここで、nはナイキスト周波数の指数である。低い位置周波数は、離散的なサンプリングの場合に、それらの周波数の間隔を少なくとも1画素とするとの判断基準によって制限することができる。言い換えると、差分商は、少なくとも1画素の間隔に渡って算出すべきである。その場合、γn−n=n(γ−1)、即ち、n>1/(γ−1)となり、ここで、nは周波数の離散的な指数を表す。そして、例えば、γ=1.1に対して、n>10が得られ、γ=1.5に対して、n>2が得られ、γ=2に対して、n>1が得られる。所定のnよりも小さい周波数、即ち、n<1/(γ−1)が成り立つ周波数は、低い周波数と看做すことができる。それは、雑音の無い表現(画像)の場合の下限である。更に、雑音が発生している場合、それに対応する不確実性を一緒に考慮すべきである。典型的には、n<10である周波数を低い周波数と看做すことができる。
【0081】
作業空間がフーリエ空間である場合、雑音平均手法が限定されているために、低い周波数gに関するQ(g)の値は、特に大きな統計的誤差範囲を有する。典型的には、gに関するフーリエ空間内の表現I(g)とI(g)は、0の近傍で大きな勾配を有するので、そこでは、システム誤差も増幅される可能性が有る。有利には、低い周波数gに関するQ(g)をそれと隣接する高い周波数gに関する値から外挿することによって、それに対抗することができる。
【0082】
本発明の別の有利な実施形態では、伝達関数T(g)に対して、パラメータ数式を作成して、T(g)から、商Q(g)又はそれから導き出される関数の推移を出来る限り復元する最適化手法により最適化する。T(g)に関する一義的な解法が存在することが前に明らかにされているので、Q(g)又はそれから導き出される関数の推移を正確に復元する最適化により見出されるT(g)に関する解法は、その一義的な解法でなければならない。導き出される関数の推移としては、例えば、式(4)の商の対数ln[Q(g)]又は式(7)の差分商が好適である。
【0083】
一つの実施形態では、商T(pg)/T(g)が式(3)に基づきI(g)及びI(g)から取得した商と出来る限り一致するように、T(g)を最適化することができ、ここで、pは倍率である。この倍率の値として、有利には、予め既知である、或いは表現I(x)及びI(x)を区別する、それらの表現の作成時に設定された倍率γを設定することができる。pの値は、最適化手法の範囲内で決定することができる。その組み合わせも可能である。その前提条件は、pを変化させた場合に、部分I(g)及びI(g)が実空間内の適切な領域選定によって相応に適合されるとともに、誤った領域選定の認識が考慮されていることである。
【0084】
伝達関数に関するパラメータ数式は、例えば、ガウス曲線の線形的な重畳、低下する指数関数、ローレンツ関数又はそれらと同様の関数によって作成することができ、当該の関数の重み係数及びその幅を規定するために使用するパラメータ数は、典型的には、10よりも少ない。このパラメータ数式によって、解法として取得できると考え得る関数T(g)のクラスが限定される。しかし、この数式が表現I(g)及びI(g)の雑音に対して、より強くなることに対して逆に作用する。そのため、そのような雑音を増幅するために、各逆畳込み方法の傾向を少なくとも部分的に対抗して作用させることができる。大抵は、非常に雑音の多い解法の取得後、局所的な平均値演算との意味で伝達関数の隣接する離散的な周波数を互いに組み合わせる平滑化手法を使用することが必要である。
【0085】
本発明の別の有利な実施形態では、作業空間への変換前に、実空間での一方の表現の小さい拡がりを他方の表現の拡がりに補間する。それに続いて、二つの表現は、同じ次元の変換により作業空間に移行することができる。そのため、その補間自体が又もや二つの表現の中の一つだけを包含する伝達関数となることを実現している。その最終結果に対する影響は、特徴付けるとともに、補間の次数に依存しなければならない。
【0086】
同様に、作業空間への変換前に、表現の中の一方を実空間内で回転及び/又は鏡像反転することができる。それにより、それを除いて同じである二つの表現間に存在する回転及び/又は鏡像反転を等しくすることができる。そして、伝達関数T(g)が回転対称である場合に、異なる倍率を除いて、回転及び/又は鏡像反転によっても区別できる表現も一致させることができ、そのため、式(3)に基づく商演算が可能となる。この場合、回転及び/又は鏡像反転が、二つの表現の中の一つだけを包含する更に別の伝達関数を導入することを考慮しなければならない。更に、実空間が離散的な画素に分割されている場合、回転及び/又は鏡像反転の結果は、一般的に整数の画素座標では存在せず、そのため、別の伝達関数を導入する補間が必要である。
【0087】
回転及び/又は鏡像反転は、例えば、商Q(g)=I(g)/I(Dg)を算出する(ここで、Dは、回転及び/又は鏡像反転の変換行列である)ように、式(3)による商演算を変更することによって実施することができる。関数I(g)及びI(g)が作業空間内で十分に滑らかである場合、少なくとも整数の画素座標への追加の補間を省くことができる。
【0088】
本発明の別の有利な実施形態では、作業空間での表現を極座標に変換して、その表現式において、方位角方向に関して平均する。多くの場合、求める伝達関数が回転対称な関数であるとの仮定は正当である。そのような場合は、例えば、電子顕微鏡画像である。特に、分母としての役割を果たす表現I(g)が大きな雑音を有する場合、式(3)による除算が不安定となることが分かった。その雑音は、除算によって増幅される可能性が有り、それは、更にQ(g)=T(γg)/T(g)からT(g)を逆算する精度に影響を与える。従って、特別な場合には、平均によって表現を事前に平滑化することが有利と成り得る。そのため、一次元の関数I’(g)が得られ、複素数値のフーリエ係数I(g,φ)の方位角方向に関する平均は、例えば、次の式の通り規定することができる。
【0089】
【数14】
【0090】
この方位角方向に関する平均は、明らかに式(4)〜(13)による伝達関数T(g)の計算を一つの空間次元で実施することができる必須の前提条件ではない。この関数を二つ以上の次元で点毎に決定するとの一般的な問題は、事前に方位角方向に関する平均を実施しない場合でも、極座標において、座標の原点を通る独立した一次元の半径方向の区画に分割することによって、常に一次元に移行することができる。この方位角方向に関する平均は、伝達関数T(g)が回転対称であるとの特別な場合における単なる一つの選択肢である。
【0091】
しかし、方位角方向に関する平均により実現される平滑化は、積分式(14)の被積分関数の絶対値の二乗演算が常に正である雑音の二乗項を含むので、そのようにして得られた曲線I’(g)をシステム的に増大させる可能性が有る。そのような起こり得るシステム雑音の寄与分は、実際に存在する雑音スペクトルN(g)が分かれば、個別に取り除くことができる。雑音スペクトルの二乗の除算によって、画像強度I’(g)を補正することができるとともに、最終的に、雑音を補正した画像強度I(g)に関して、次の式が得られる。
【0092】
I(g)=(I’(g)−N(g)1/2 (15)
多くの場合、ほぼ空間周波数範囲全体に渡る式(15)の雑音の寄与分N(g)は、信号により支配される寄与分I’(g)よりも著しく小さく、式(15)による補正は、主にオブジェクトのスペクトルと伝達関数が非常に小さい値を採るスペクトルの最も外側の高い周波数領域でのみ初めて確認できる。その補正が、主にフーリエ変換後の周波数の周縁における比較的狭い空間周波数でのみ有効であるので、雑音スペクトルN(g)がそのような狭い帯域に渡っては大きく変化せず、近似的に定数cによって置換可能であると仮定することもできる。そのような場合、式(15)の代わりに、近似的に次の簡略化した式を雑音の補正のために使用することもできる。
【0093】
【数15】
【0094】
即ち、有利には、方位角方向に関して平均した表現から、それぞれ雑音スペクトル又はそれに代わって定数の背景雑音が補正される。
【0095】
方位角方向に関する平均に代わって、或いはそれと組み合わせて、式(3)による商演算前に、実空間又は作業空間での複数の同じ倍率の表現を平均することができる。そして、この平均は、別の方法において、表現I(x)又はI(g)、或いはI(x)又はI(g)として使用される。この代替手法は、伝達関数T(g)が回転対称でない場合には、方位角方向に関する平均が不可能であるため、そのような場合に特に重要である。
【0096】
更なる雑音抑制のために、表現I(g)及びI(g)は、式(3)による商演算前に、局所的な畳み込みによって平滑化することもできる。
【0097】
本発明の範囲内において、信号処理システムの伝達関数を決定する別の方法を開発した。この方法は、入力データI(x)及びI(x)さえ存在せず、信号処理システムだけがそのまま存在することが、主請求項による方法と異なる。従って、この方法では、システムを用いて、先ずは、
a)一つのオブジェクトの少なくとも二つの異なる倍率の表現I(x)及びI(x)、或いは
b)少なくとも第一のオブジェクトの一つの表現I(x)及びそれに対して倍率を除いて幾何学的に同じオブジェクトの一つの表現I(x)、
が生成される。
【0098】
次に、これらの表現を用いて、前述した方法を実行する。
【0099】
二つの表現I(x)及びI(x)は、例えば、次の通り取得できる。
【0100】
代替手法a)
一つの同じオブジェクトを用いて、そのオブジェクトから、二つの異なる倍率の表現I(x)及びI(x)を生成する。そのために、次の二つの手法が有る。
【0101】
1.本発明の別の有利な実施形態において、システムの入力におけるオブジェクトから生成する入力信号O(x)の倍率を変更することによって、表現I(x)及びI(x)の異なる倍率を設定する。それは、システムの検出器における異なる倍率の表現が信号処理システムを用いて生成されることを意味する。(電子)顕微鏡の場合、例えば、倍率を変更することができ、そのため、同じオブジェクトの異なる倍率の結像が得られる。写真機での光学ズーム機能の使用は、同じ作用効果を有し、その場合、対物レンズの結像特性がズーム操作によって大きく変化しないことを保証しなければならない。EELS測定の場合、倍率は、分光計で設定した分散によって決定される。分散が大きくなる程、エネルギーが変化した場合、スペクトルは、カメラのCCDチップ上を空間的に拡がる。それによって、カメラのサンプリングレートがエネルギーと関連して大きくなり、スペクトルは、より高いエネルギー分解能で決定することができる。それは、写真又は顕微鏡による画像撮影時の大きい方の倍率段階に相当する。
【0102】
2.本発明の別の有利な実施形態では、オブジェクトと信号処理システムの間の空間的な間隔を変更することによって、表現I(x)及びI(x)の異なる倍率を設定する。この場合、信号処理システム自体は、上記の実施形態と異なり、変化しないままであり、二つの異なる倍率の入力信号O(x)を容易に得られる。典型的な用途は、写真機の設定を変えずに、写真機を用いて、異なる距離から一つの同じオブジェクトを撮影することである。
【0103】
代替手法b)
二つ以上の実際に物理的に存在するオブジェクト又は信号形態が、交互に同じ形状(関数の推移)を有するが、拡がり(倍率)が異なる入力信号として使用される。その例は、写真機を用いて、同じ撮影条件下で同じモチーフの表情を二つの異なる倍率で十分に鮮明に写真撮影することである。信号処理システムとの間隔及びシステム自体の設定は、変更しない状態とすることができる。
【0104】
更に、特に、代替手法a)の実施形態1と関連して、従来のオブジェクトの代わりに、雑音も入力信号として使用することができるが、ここでは、雑音スペクトルの関数の推移は未知としなければならない。即ち、従来技術と異なり、少なくとも二つの異なる倍率の変化形態の信号を記録することによって、任意の雑音信号を入力信号として使用することができる。
【0105】
本発明の別の有利な実施形態では、表現I(x)及びI(x)の中の少なくとも一つが、少なくとも二つの個別表現の集まりとして生成される。例えば、同じ設定の写真機又は(電子)顕微鏡を用いて、複数の画像を順番に撮影することができる。これらの個別表現は、実空間に直接追加することができる。それに代わって、個別表現の中の一部を選定して、それに対応する作業空間内の部分を関数I(g)又はI(g)に纏めることができる。
【0106】
信号処理システムとしての電子顕微鏡に関して、倍率変更は、誤差が無いと看做される、所謂中間レンズ及び所謂投影レンズを順次交換することによって実施できることに留意されたい。そのため、これらのレンズは、光学的に「中立」であり、数学的に理想的に拡大するとの意味で作用し、検出器に関するオブジェクト関数の倍率だけを変える。これらのレンズの光学的な中立性のために、ここで説明した方法を用いて測定した伝達関数は、検出器の伝達関数だけに相当し、最早前に接続されたレンズシステムによる影響を受けない(特に、明細書の図1を参照)。
【0107】
信号処理システムとしての写真機に関して、伝達関数がカメラの対物レンズの寄与分とフィルム又はCCDセンサの寄与分から構成されることに留意されたい(特に、明細書の図1を参照)。この場合、カメラの対物レンズの寄与分が個々の撮影の間で変化しないことが重要である。代替手法a)の第二の措置では、それは、オブジェクトが所謂ハイパーフォーカス距離以遠で全て撮影され、そのため、個々の撮影の個別の「焦点調整」を最早不要とすることによって実現することができる。そのようにして、単純な距離変化による「無限大」の距離設定によって、一つの同じ間隔を開けたオブジェクトの異なる倍率の十分に鮮明な記録を取得することができる。代替手法b)では、オブジェクトとの距離を固定して、オブジェクトとしての任意のモチーフの二つの異なる倍率の十分に鮮明な表情を使用することによって、カメラの対物レンズの寄与分を一定に保つことができる。
【0108】
本発明の範囲内では、信号処理システムの伝達関数T(x)と、このシステムの入力で未知のオブジェクトが生成する入力信号O(x)とを、このシステムが、この入力信号O(x)の異なる倍率から生成した、このオブジェクトの少なくとも二つの表現I(x)及びI(x)から決定する別の方法を開発した。
【0109】
この場合、入力信号O(x)の異なる倍率は、前述した如何なる手法でも生成することができる。特に、システム自体が、この入力信号を逓倍するか、或いは表現I(x)及びI(x)として、第一のオブジェクトの表現I(x)と、それに対して倍率を除いて幾何学的に同じオブジェクトの表現I(x)とを使用することができる。この場合、これらの二つの表現は、主請求項による方法での前述した説明と同様に、入力データとして規定するか、さもなければ副請求項による方法と同様に、この方法の最初に生成することができる。
【0110】
本発明では、オブジェクト関数O(x)及び伝達関数T(x)のためのパラメータ数式は、T(x)がO(x)に適用されて、二つの表現I(x)及びI(x)を復元するように、自己矛盾の無い形で最適化される。
【0111】
即ち、伝達関数T(x)の計算後に、例えば、画像1の逆畳み込みによって、オブジェクト関数O(x)を得ることも可能なので、オブジェクト関数O(x)と伝達関数T(x)の両方に関する完全な情報が表現I(x)及びI(x)から成る入力データに導入される。以下の本発明により作成された方程式体系を用いて、
【0112】
【数16】
【0113】
二つの求める関数O(x)及びT(x)を同時に決定することができる。本方法では、式(7)による商の曲線及びそれから導き出される式(8)〜(14)の関数の関係を全く明示的に使用していない。任意の数値最適化方法の試用又は適用によって、画像1及び2から成る入力データを復元するオブジェクト関数及び伝達関数を見出すことが可能であれば、その見出された解法も一義的である。
【0114】
この方法は、前記の方法を論理的に普遍化したものである。従って、前記の方法に関して開示した全ての措置は、この方法にも適用可能である。特に、倍率γも最適化に取り入れることができる。この最適化は、実空間又は作業空間で実行することができ、作業空間は、特に、周波数空間とすることができる。
【0115】
圧縮手法を採用することによって、オブジェクトに関するパラメータ数を100個の規模にすることが可能である。この場合、例えば、勾配法、焼きなまし法、遺伝的アルゴリズムなどの最適化手法は、全く確実に解法を見出すことができる。
【0116】
以下において、本発明の内容を図面に基づき説明するが、それによって、本発明の内容は制限されない。
【図面の簡単な説明】
【0117】
図1】信号処理システムに関する例としての光学結像システムの図
図2】本発明による方法の模式図
図3】第二の表現の部分を選定して、二つの表現をオブジェクトの同じ領域と関連付けることの説明図
図4a】差分商D(G)の計算を説明するためのグラフ
図4b】差分商D(G)の計算を説明するためのグラフ
図4c】差分商D(G)の計算を説明するためのグラフ
図4d】差分商D(G)の計算を説明するためのグラフ
図5a】本方法を電子顕微鏡に適用した例の説明図
図5b】本方法を電子顕微鏡に適用した例の説明図
図5c】本方法を電子顕微鏡に適用した例の説明図
図5d】本方法を電子顕微鏡に適用した例の説明図
図5e】本方法を電子顕微鏡に適用した例の説明図
図5f】本方法を電子顕微鏡に適用した例の説明図
【発明を実施するための形態】
【0118】
図1は、如何にして光学システムOSを信号処理システムとして看做すのかを図解している。このシステムは、伝達システムTと検出器Dを有する。この伝達システムTは、オブジェクトOから放出された光を検出器Dに投影して、そこで、鮮明な画像を発生させている。このシステムの伝達関数は、伝達システムTの寄与分と検出器Dの寄与分から構成される。
【0119】
図2は、本発明による方法のフローを図示している。この場合、普遍性を制限すること無く、正方形に計測する検出器を出発点としているが、それ以外の形で計測する検出器も本方式から除外されない。この検出器は、M×M個の画素から構成され、一つの方向に沿って物理的なサイズd=b個の画素(検出器基準DR)を有する。この検出器を用いて行われた二つの録画I1及びI2’が、それぞれ異なる倍率で行われた同じオブジェクトの表現として与えられる。この録画I1は、任意の倍率で行われて、拡がりd=aナノメートルのオブジェクト領域(オブジェクト基準OR)を包含する。この録画I2’は、I1に対して係数1/γだけ異なる倍率で行われる。ここで、普遍性を制限すること無く、γ>1を出発点とし、そのことは、この場合、I2’の倍率がI1の倍率よりも小さいことを意味する。そして、I2’の倍率が小さいために、I2’は、I1と比べて、一つの次元に沿って係数γだけ大きいオブジェクト領域を包含する、即ち、I2’は、拡がりd=γaのオブジェクト領域を包含する。
【0120】
ここで、図示されているオブジェクト領域のサイズに関して、ちょうどI1で録画されたオブジェクト領域のサイズに対応するI2’の領域を選定することが可能である。
【0121】
そして、I2’内で選定される領域の位置決めは、I1全体とI2’内の選定された領域I2とがちょうど同じオブジェクト領域を表すように選定される。そのようにして行なったI2’での画像部分の選定は、実際の物理的なサイズd=bからサイズd=d/γへの検出器の仮想的な物理的縮小に相当する。この縮小が画素の逓倍によってでなく、同じ画素の大きさで周縁の画素の除外によって行われることに言及することが重要である。検出器は大抵離散的な画素から構成されているので、そのようにして得られた仮想的な検出器の少ない画素数Nに関して、N=NINT(M/γ)となり、ここで、関数NINTは、最も近い整数を表す。Nの大きさが十分に大きい(流通している画像検出器では、典型的には、1,000よりも大きい)場合、正確に相似な部分の選定に関して任意のγに対して整数NINTに丸めることにより生じる誤差は、通常無視することができる。
【0122】
次の工程において、画像が実空間Rからフーリエ空間Fに変換され、M×M個の画素から成るI1が離散的なM×Mフーリエ変換を受ける。大きさN×Nに縮小された相似形のI2は、N×Nフーリエ変換を受ける。図2の中間の行は、左から右に、画像I1,I2’及びI2のオブジェクト関数O(g)と伝達関数T(g)のスペクトルを表す。
【0123】
このフーリエ変換は、FFT(高速フーリエ変換)アルゴリズムにより計算することができる。しかし、特に、Nが無条件に2の累乗ではないため、流通している多くのFFTプログラムは、大抵関係式M,N=2に基づいている(基数2アルゴリズム)ので適さない。しかし、常に、必ずしも2ではない一般的な素数へのNの分解が可能である所謂混合基数FFTアルゴリズムを用いることができる。Nを多くの小さい素数に有利に分解できる場合、この混合基数アルゴリズムは、基数2アルゴリズムの計算効率に非常に近い計算効率を実現することができる。N自体が素数である非常に不利な場合、この混合基数アルゴリズムの効率が直接フーリエ変換の効率にまで低下する。しかし、最終的には、任意の数M,Nに対して、常に少なくとも一つの直接フーリエ変換を使用することができる。
【0124】
【数17】
【0125】
の典型的な規模の場合、最新のコンピュータでは、直接フーリエ変換の不利な場合さえ最早問題とならない。
【0126】
【数18】
【0127】
の規模の場合、典型的には、±1だけNを更に人為的に増減することによって、素数への分解可能性を改善して、それにより計算速度を上げることができ、この人為的な丸めにより生じる、例えば、10−4の逓倍誤差も大抵の実際の用途において同様に無視することができる。
【0128】
以下において、本方法をより良く理解するために、図2に基づき二つのシナリオを比較し、第一のシナリオは、I2’での領域選定を規定しない一方、第二のシナリオでは、前に説明した領域選定が行われる。
【0129】
オブジェクトの拡がりd=γaと当初の検出器の拡がりd=bのI2’全体が、同じくI1と関係無く離散的なM×Mフーリエ変換を受けると、I1及びI2’に属するオブジェクトスペクトルは、一方では、異なる形で逓倍され、他方では、各変換に寄与するオブジェクト領域が同じでないので互いに相違する。しかし、オブジェクトスペクトルと異なり、検出器によってのみ与えられる伝達関数は、画像の内容ではなく、両方の場合に同じ手法で使用される検出器にのみ依存するので、両方の画像に対して同じである(図2の中間の行を参照)。
【0130】
それと逆に、I1と、I2’をオブジェクトの拡がりd=aに(それに対応する仮想的な検出器の拡がりd=b/γとそれに対応する画素数Nで)縮小した後のI2とをフーリエ変換したものを比較することを行なう。ここで、当初の選定した倍率が異なるにも関わらず、オブジェクト周波数が同じであることが再びフーリエ変換したものの周波数を同じとする一方、それに対応する伝達関数の係数は、最早同じ周波数に位置しない。即ち、相互適合に関して考察している両方のシナリオにおいて、オブジェクトスペクトルと伝達関数のスペクトルは、それぞれ役割を交換している(図2の右の欄を参照)。
【0131】
図3は、離散的なフーリエ変換を用いて同じオブジェクトを異なる倍率で録画したもののオブジェクトスペクトルを二つのコサイン波だけ異なる周波数から成る離散的なオブジェクトスペクトルに関して適合させる原理を詳しく図解している。この場合、見易くするために、伝達関数の図を省略している。図3の左の欄は実空間Rの図であり、図3の右の欄はフーリエ空間Fの図である。図3の右側で周波数軸の目盛に使用されている数は、画像部分毎の周期の数を表す。
【0132】
実空間で、例えば、d=bの一つの画像部分内でn個の周期を有するコサイン波は、Exp[2πin/bx]とExp[−2πin/bx]の形の二つの同じ高さの波に分解することができる。図3の部分図Aは、検出器上でM個の画素に対応する、そのような実空間での二つのコサイン波の重なりを図示している。フーリエ変換後(図3の部分図a)では、各コサイン波に対して、離散的な周波数で、それぞれ画像に含まれる周期の数nに関して表してn/bと−n/bのフーリエ係数が生じている。即ち、この二つのコサイン波に関するフーリエスペクトルは、ゼロと異なる四つのフーリエ係数を有する。
【0133】
図3の部分図Bは、同じく検出器上でM個の画素に対応するd=bの部分を包含する二つのコサイン波の同じ重なりを図示している。しかし、この場合、γ=3/2の異なる倍率で重なりを録画している。それに対応して、フーリエ変換(図3の部分図b)では、部分図aと比べて、フーリエ係数が異なる周波数で生じていることが相違する。
【0134】
ここで、図3の部分図Bから、部分図Cに図示された、検出器上でM/γ個の画素に対応するd=b/γの部分を抜き出すと、その二つのコサイン波に関する部分は、部分図Aに図示された部分と同じ数の周期を有する。即ち、そのような同じ領域の選定によって、選定されたサンプリングレートを除いて、正確に同じシナリオを得ることができる。それに対応して、部分図cに図示されたフーリエスペクトルは、同じ周波数において、部分図aに図示された、部分図Aから生成したフーリエスペクトルと同じ値を有する。このフーリエ係数の相互の一致と同時に、オブジェクト周波数の相互の適合を実現できる手法は、制御点の数M,Nが十分に大きい場合に、フーリエ変換の結果が制御点の数に依存しない、そのため、選定したサンプリングレートに依存しないとの事実に基づく。それによって、二つの画像のオブジェクト周波数も、各オブジェクト周波数に関するオブジェクトスペクトルのフーリエ係数も適合させることができる。
【0135】
それに代わって、ここで述べた異なるサイズMとNでのフーリエ変換に関して、異なる倍率の二つの録画のオブジェクトスペクトルを適合させることは、別の手法で実現することもできる。それによると、補間法を用いて、図2でI2’から抜き出した拡がりd=a及び画素数N×Nの下位領域I2を実空間でI1の画素数M×Mに変換する場合、I1とI2の間のオブジェクト周波数の適合を実現するために、I2に対してサイズM×Mの離散的なフーリエ変換を実施することができる。しかし、その方法は、I2がその伝達関数を有する一方、I1はその追加の伝達関数を有しないので、各補間が又もや更に特徴付けなければならない伝達関数を有することを意味する。補間の多項式の次数を増大させることは、補間の誤差を低減させ、その誤差は、出来る限り大きな次数Nでは最小限となる。しかし、前述したサイズN×Nの離散的なフーリエ変換を用いた手法は、正にそのような代替えの実空間での次数Nの補間に相当する。しかし、前述した異なるサイズM及びNによる離散的なフーリエ変換手法は、一方の画像を補間する一方、他方の画像を処理せずに維持することを不要とする明らかに高い計算効率と二つの画像の絶対的な対称処理のために明らかに有利である。
【0136】
オブジェクト周波数の適合を実現した後では、画像I1とI2のそれぞれ表示可能な最も高いオブジェクト周波数が異なるとの事実は、画像処理方式と関係しない。普遍性を制限すること無く、I2の倍率の方が小さいとのここで選択した図面では、使用可能な最も高いオブジェクト周波数(ナイキスト周波数)もI2の方がI1よりも低い。それは、オブジェクトのサンプリングレートが、倍率が小さい方のI2よりも低い場合、それに対応してオブジェクトの細部をより細かく分解できないことを意味する。図2から容易に分かる通り、周波数適合された第二の画像のナイキスト周波数gN2と第一の画像のナイキスト周波数gN1の間には、gN2=1/γgN1の関係式が成り立つ。
【0137】
二次元の画像を極座標で表した場合、前述したオブジェクト周波数の適合は、半径方向の座標gだけに関連する一方、方位角方向の座標φはそれと関連しない。更に、本明細書の主請求項の記載は、伝達関数T(g)に関する一義的な解法が異なる方位角の間に依存性が無いことを前提としており、そのような依存性も発生させないことを証明している。従って、スペクトルの各方位角方向φを別個に扱うことができる。ここでは、二次元の画像を扱っているにも関わらず、単一の模範的な空間方向φを扱えば、それで十分である。即ち、前記の証明は、如何なる任意の空間方向φに関しても個別に二次元性が完全に維持される場合に有効である。
【0138】
図4aには、限界周波数1/γgまで算出できる商の曲線Q(g)の例が図示されており、ここで、gは第一の画像のナイキスト周波数であり、γ>1を前提とした。三つの制限点g,g及びgを例として表示している。図4bは、図示した商の曲線Q(g)を分子T(γg)と分母T(g)に更に目的通り分解した例を図示している。図4bでは、如何にして、商の演算によって、一つの同じ曲線T(g)上の二つの点gとγgがそれぞれ常に対の関係に有るのかを明らかにしている。点gとγgの間では、曲線T(g)は、曲線T(γg)が位置gで採る値abだけずれている。
【0139】
この関係は、二つの曲線が対数で表示されている場合(図4c)にも維持される。そこでは、二つの曲線ln[T(g)]とln[T(γg)]の間の差は、正確に与えられた商の曲線Q(g)の対数である。それは、ln[T(g)]に関する差分商の座標部分が既知となることを意味する。そのため、g(1+1/γ)/2までの全ての周波数に関して、差分商Δln[T(g)]/ΔGが得られる(図4d)。しかし、それによって、積分によりT(G)を一義的に決定することができる。
【0140】
図5は、本発明による透過型電子顕微鏡のCCDカメラの伝達関数を決定する方法の実施例を図示している。図5aには、銅製ネット上の薄い炭素フィルムから成る商用のテスト試料の電子顕微鏡による録画が見える。この画像1(「Image1」)として表示された録画の名目上の倍率は13,000倍である。録画に使用したCCDカメラは、大きさ15マイクロメートルの2,048×2,048個の画素から構成されている。図5bには、同じオブジェクト領域を10,000倍の名目上の倍率で拡大した第二の録画(「Image2」)の一部が見える。この画像1と相似の部分は、1,556×1,556画素から構成され、画像2として表示されている。画像1と2の間の正確な拡大比率は、γ=1.316である。2,048×2,048画素での高速フーリエ変換(Fast Fourier Transform,FFT)アルゴリズムを用いて、画像1の二次元周波数スペクトルを計算し、それに対応する1,556×1,556画素での混合基数FFTを用いて、画像2の周波数スペクトルを計算した。次に、雑音を低減するために、式(4)に基づき二つの二次元スペクトルを方位角方向に関して平均した。更に雑音を低減するために、画像1と画像2に関して、それぞれ四つの録画からそれぞれ独立して取得した、そのような四つのスペクトルを平均した。次に、そのようにして取得した一次元スペクトルを式(6)に基づき雑音定数に関して補正した。雑音を除去された強度スペクトルの小さい加算基礎量が高い空間周波数で支配的となる可能性が有るので、この工程は必要である。そのような基礎量は、オブジェクトにも伝達関数にも依存しないので、式(2)に基づき処理することもできず、高い空間周波数での結果がシステム的に劣化する。そのような基礎量だけ低減された強度スペクトルI(g)及びI(g)が図5cに図示されている。図5で選定した周波数軸の離散的な目盛は、図3で選定したグラフと一致し、周波数n=1,024は、2,048×2,048画素から成る画像1のナイキスト周波数を表す。
【0141】
図5dには、式(3)に基づき二つの強度曲線I(g)及びI(g)から算出された商の曲線Q(g)が図示されている。それに基づき、式(4)〜(7)を用いて、商の曲線Q(g)から差分商D(G)を算出する。式(1)に基づき補間から得られた、画像1の当初の計量を再構成する差分商Dn=D(n)のグラフが図5eに図示されている。このグラフでは、指数nを付与された差分商Dn=D(n)が正確に画像1の指数nを付与された周波数に対応する。式(12)に基づく合算とそれに続く式(13)に基づく指数関数化により得られる、CCDカメラの求める伝達関数T(k)が図5fに図示されている。得られた伝達関数T(k)の明らに滑らかな曲線形は、(場合によっては、想到できる通り)、この時点での追加の平滑化工程によって得られるのではなく、式(12)に基づく合算又はそれと同様の式(9)に基づく一般的な積分の本質的な平滑化効果である。
図1
図2
図3
図4a
図4b
図4c
図4d
図5a
図5b
図5c
図5d
図5e
図5f