特許 7254643 補正係数を用いた顕微鏡画像化法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-31

(45)【発行日】2023-04-10

(54)【発明の名称】補正係数を用いた顕微鏡画像化法

(51)【国際特許分類】

   G02B 21/00 20060101AFI20230403BHJP

【ＦＩ】

G02B21/00

【請求項の数】 5

【外国語出願】

(21)【出願番号】P 2019119202

(22)【出願日】2019-06-27

(65)【公開番号】P2020003793

(43)【公開日】2020-01-09

【審査請求日】2022-03-08

(31)【優先権主張番号】10 2018 210 606.1

(32)【優先日】2018-06-28

(33)【優先権主張国・地域又は機関】DE

【早期審査対象出願】

(73)【特許権者】

【識別番号】506151659

【氏名又は名称】カール ツァイス マイクロスコピー ゲーエムベーハー

【氏名又は名称原語表記】ＣＡＲＬ ＺＥＩＳＳ ＭＩＣＲＯＳＣＯＰＹ ＧＭＢＨ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ヴィクトル ドレッシャー

(72)【発明者】

【氏名】ニルス ラングホルツ

【審査官】岡田 弘

(56)【参考文献】

【文献】特開２０００－２７５５４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ １９／００－２１／００

Ｇ０２Ｂ ２１／０６－２１／３６

(57)【特許請求の範囲】

【請求項1】

顕微鏡画像化法であって、
試料を照明放射で照射する照射ステップ及び前記照明放射によって生じた検出放射を、第１時点では広視野信号として、第２時点では複合信号として、検出軸に沿って捕捉するステップであって、前記複合信号は共焦点信号及び広視野信号の重ね合せによって形成されている、ステップと、
前記広視野信号を前記複合信号から減算することによって前記共焦点信号を抽出するステップであって、その際、補正係数を用いる、抽出ステップと、
実行される画像化ごとに及び／又は画像化される試料ごとに現在の補正係数を求めるステップと、
それぞれの前記現在の補正係数を用いて、前記共焦点信号を抽出するステップと、
を含み、
前記検出軸に沿って前記試料の表面からある距離において選択される補正面において、前記現在の補正係数を求めるために、それぞれ少なくとも１つの補正広視野画像及び補正複合画像を捕捉し、それらの画像データを求め、求められた前記画像データに基づいて現在の補正係数を求め、
前記補正面の前記距離は、前記試料の表面が前記補正面を通過しないほどの大きさに選択されている、
顕微鏡画像化方法。

【請求項2】

前記補正平面の前記距離は、前記検出放射を捕捉するために用いられる対物レンズの点分布関数の半値幅の４～６倍の範囲から選択される、
請求項１記載の顕微鏡画像化方法。

【請求項3】

それぞれ少なくとも１つの補正広視野画像及び補正複合画像は、補正面内において現在の焦点面の前及び後で捕捉される、
請求項１又は２記載の顕微鏡画像化方法。

【請求項4】

前記現在の補正係数は、前記補正広視野画像及び前記補正複合画像の平均輝度から求められる、
請求項１乃至３いずれか１項記載の顕微鏡画像化方法。

【請求項5】

前記の補正画像の各画素対に対して現在の補正係数が求められ、前記各画素対は、前記補正広視野画像の特定の画素と、前記補正複合画像の対応する画素とによって形成される、
請求項１乃至４いずれか１項記載の顕微鏡画像化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は独立請求項の前文による顕微鏡画像化法に関する。

【背景技術】

【0002】

例えば生物学的／技術的試料又は試料領域の高分解能三次元表示の顕微鏡法技術分野において、試料を可能な限り低い強度の照明放射で照射する（beaufschlagen）と同時に、高解像度の検出及び画像化のために検出放射の高い強度を利用可能にしなければならない、という問題がある。同時に、画像データの提供及び最終的な画像出力（Bildgebung）は、できるだけ短時間で、理想的にはリアルタイムで行われなければならない。

【0003】

ＤＥ１０２０１４００４２４９Ａ１から、は、相関螺旋ディスク顕微鏡法（der korrelativen Spinning-Disk-Mikroskopie）のアプローチが公知である。そこで開示される、相関螺旋ディスク顕微鏡法によって試料のトポグラフィを特定する方法においては、次の工程が実施される：対物テーブル（Objekttisch）上に配置された試料の第１画像及び第２画像が交互に捕捉される間、対物テーブル及び／又は焦点ドライブの垂直方向の移動が行われる。この場合、各画像に対して垂直方向の焦点位置は、メタデータとして保存される。２つの第１又は第２画像は、さらなるステップにおいて補間され（interpoliert）、中間画像又は仲介画像が得られる。特定の垂直位置に対する共焦点画像を生成するために、中間画像はその位置において第２又は第１画像によって計算される（verrechnet）。

【0004】

複合画像及び非共焦点画像を生成するための照明及び／又は検出放射経路における適切なマスクの使用は、ＷＯ９７／３１２８２Ａ１から知られている。共焦点画像は、これら２つの画像タイプから相応に計算することによって抽出される。このようにして、非常に速い画像出力が可能である。同時に、高い割合の検出光が使用されるので、低強度の照射線で試料を照射することで十分である。

【0005】

Ｎｅｉｌ他による刊行物（Neil, M. A. A et al. (1997), A
light efficient optically sectioning microscope; Journal of Microscopy 189: 114-117）及びＷｉｌｓｏｎ他による刊行物（Wilson, T. et al. (1996), Confocal
microscopy by aperture correlation; OPTICS
LETTERS 21: 1879-1881）は、それを用いて複合画像及び広視野画像から共焦点信号を抽出できる可能性を提案している。

【0006】

共焦点画像を計算するときには以下の式が使用され得る：
共焦点信号＝複合信号－ｎ＊広視野信号

【0007】

係数ｎは、画像化システム（Abbildungssystem）に対して一度だけ、試料と関係なく（probenunabhaengig）求められ、変更されずに適用される補正係数である。補正係数ｎを用いて、システム関連の偏差、例えば複合信号と広視野信号の光路の異なる透過値（Transmissionswerte）が補償される。この手順により、例えば、検出軸、以後ｚ軸とも称される、に沿った画像の積み重ね（ｚスタック）が捕捉され、３次元画像化、例えば試料のトポグラフィのために組み合わされ得る。

【先行技術文献】

【特許文献】

【0008】

【文献】独国特許公開第１０２０１４００４２４９号公報

【文献】ＰＣＴ国際公開第９７／３１２８２号公報

【発明の概要】

【0009】

本発明は、特に、低い照明強度を使用して、三次元画像化の改善された選択肢を提案するという課題に基づく。

【0010】

この課題は、請求項１による顕微鏡画像化法によって解決される。有利な発展形態は、従属請求項において見出される。

【0011】

顕微鏡画像化法は、試料を照明放射で照射するステップ及び照明放射によって生じた検出放射を検出軸に沿って捕捉するステップを有する。検出放射は、第１時点では広視野信号として、第２時点では複合信号として捕捉され、複合信号は共焦点画像又はその信号と、広視野信号との重ね合わせから形成されている。広視野信号を複合信号から減算することによって、共焦点画像が得られ、そこで、補正係数が用いられる。ここで、広視野画像信号は、補正係数を考慮して、複合信号から減算される。

【0012】

本方法は、実行される画像化ごとに及び／又は画像化される試料ごとに現在の補正係数が求められる（ermittelt）ことによって特徴づけられる。それぞれの共焦点画像の抽出は、それぞれの現在の補正係数を使用して実行される。

【0013】

驚くべきことに、結像系に対する補正係数の１回の決定は、元々意図されていた用途のために完全に充分であるが、本発明による方法を用いれば結像収差（Abbildungsfehler）が低減されるだけでなく、材料の新たな材質（neue Klassen von Werkstoffen）も調査できることが示された。

【0014】

したがって、本発明の核心は、試料に関係していない補正係数から離れて、これを、各測定又は各試料について動的に特定することである。

【0015】

試料表面は、検出放射線の捕捉された最大強度に基づいて、使用された評価アルゴリズムによって認識される。特定の状況下、例えば、試料中の高いコントラスト及び／又は画像化されるべき試料の自己蛍光（Autofluoreszenz）の存在下では、広視野画像と複合画像との間の、又はそれらの信号間の強度の比が変化し得る。広視野画像及び複合画像の強度比の変化の結果として、強度最大値が誤って実際の試料表面の上方又は下方で検出されることがあり、又は表面の位置が誤って計算されることがある。この場合、誤って求められた強度は、アーチファクトとして認識されない程高く、従って例えばノイズカットフィルタを用いて除去されない。
結果として、実際には存在しない試料の凹部又は凸部が計算されることになる。

【0016】

上記の誤差（Fehler）の分析のために、算出画像はｚ軸方向に上下に配置され（ｚスタック）、このｚスタックは側方から観察される（いわゆるオルソビュー（Orthoview））。ｚ軸に沿った強度の分布は、評価された。ここで、散乱光が比較的幅広いｚ範囲にわたって、正に（recht）一様に又は一定に分布されることが認識された。

【0017】

この認識に基づいて、現在の補正係数を求めるための選択肢が提案され、それは以下により詳細に説明される。

【0018】

本方法の一形態において、検出軸に沿って試料表面からある距離において選択される補正面において、現在の補正係数を求めるために、それぞれ少なくとも１つの補正広視野像及び補正複合像が捕捉される。補正画像とも称される補正広視野画像及び補正複合画像の画像データ（信号）が求められ、求められた画像データに基づいて現在の補正係数が求められ、例えば計算され又は導出される。

【0019】

画像データを捕捉するために、表面の期待位置（die erwartete Position）（期待ｚ位置）に、検出対物レンズ又は検出システムの焦点が併せられており（gerichtet）、従って焦点面定義される。距離は、焦点面と補正面との間の間隔である。

【0020】

補正面の距離は、表面構造が補正面を通過しないほど大きくなるように選択されると有利である。したがって、距離は、検出放射を捕捉するために用いられる対物レンズ又は検出システムの点分布関数の半値幅の４～６倍の範囲から（aus einem Bereich zwischen vier und sechs Halbwertsbreiten）選択されることができる。例えば、距離は、半値幅の４、４．５、５又は６倍であり得る。

【0021】

各測定では、表面から十分な距離において、補正広視野画像及び補正複合画像が生成され、捕捉される。これら両補正画像から、試料固有の現在の補正係数及び現在の補正係数が特定され、それは上記の式で使用される。

【0022】

補正面の、試料表面までの距離の変動はある範囲内で可能である。なぜなら散乱光成分はｚ軸に沿って比較的一定に分布しているからである。さらに、複合画像の生成における変形は、例えばスリットマスクを使用することによって可能である。不良適応ピンホールサイズを有する（mit schlecht angepasster Pinhole-Groesse）スピニングディスク、不良適応ピンホールサイズを有するマイクロディスプレイ、又は不良適応ピンホールサイズを有するレーザー走査顕微鏡（ＬＳＭ）を使用することも可能である。

【0023】

現在の補正係数を求めるための種々の選択肢がある。これは、補正画像の平均輝度から求められることができる。ここで、各補正画像のグレー値（die Grauwerte）は平均化され、計算された平均値が使用される。

【0024】

グレースケール値の単純な算術平均の代わりに、画像を画素毎に評価することもできる。各画素又はピクセルはそれ自身の現在の補正係数を割り当てることができる。

【0025】

現在の補正係数の画素ごとの生成及び画像生成におけるその使用は不連続性を、結果的にアーチファクトをもたらす可能性があるので、必要な場合には、それらを平滑化するために、事後的に適切な計算フィルタ、例えば中央値フィルタ又はガウスフィルタが適用される。両補正画像（der Korrekturbilder）の各画素対に対して現在の補正係数が求められる。この場合、各画素対は、補正広視野画像の特定の画素と、補正複合画像の対応する画素とによって形成される。

【0026】

本方法のさらなる好ましい形態は、試料表面の期待位置を有する焦点面の上方及び下方で、即ち現在の焦点面の前及び後の補正面において、両補正画像が撮影され、両補正画像対は計算に含まれる、ことにある。この構成は、特に十分に透明な試料の場合用いられることができる。

【0027】

本発明による方法を実行するために、現在の補正係数を決定するために少なくとも２つの補正画像を記録することを含む記録ワークフローが有利である

【0028】

さらなる実施形態では、補正広視野画像はｚスタックから計算され、補正係数を決定するために使用される。例えば、ｚスタックの三次元データを用いて平均値が形成される。

【0029】

本発明の利点は、さらに、運転中の、試料と関係ない補正係数の一回限りの較正（Einmessen）を省略することができるという事実を含む。さらに、評価においては、著しく優れた信号品質に基づいて、偶然の又は系統的な正及び／又は負の信号ピーク（外れ値）（Signalueberhoehungen (Ausreisser)）を取り除くために、従来技術において用いられるフィルタステップが省かれる。

【0030】

本発明による方法のさらなる利点は、古典的な開口相関の場合であっても、適応された補正係数を自動的に決定することもできることにあり、これにより、ユーザの利便性及び画像データの品質が大幅に向上する。

【0031】

本方法は、広視野画像と複合画像が別々に連続して捕捉され、特にスタック記録（Stapelaufnahme）として記憶され処理される画像捕捉装置に特に有利に使用することができる。

【0032】

本発明による方法は、試料表面のトポグラフィを画像化するために特に有利に使用することができる。その際、本方法は特に材料試験及び品質管理の分野で使用することができる。例えば、研磨加工された（spanend bearbeitete）金属表面を、著しく改善された品質で画像化することができる。表面上の反射及び／又は鋭い遷移は、本発明による方法において、信号ピークを全く、又は、わずかにしかもたらさない。

【0033】

本発明による方法の使用は、塗装された試料のような高反射性試料、生物学的試料のような高感度試料及び多くの種類の紙のような自己蛍光試料さえも調査する可能性を開く。

【0034】

本発明は、例示的実施形態及び図面に基づいて、以下でさらに詳細に説明される。

【図面の簡単な説明】

【0035】

【図1】ｚスタックの断面（Ｏｒｔｈｏｖｉｅｗ）を模式的に示す図である。

【図2】現在の補正係数を求めるための第１選択肢を模式的に示す図である。

【図3】従来技術による、選択された信号曲線を用いて試料表面を模式的に示す図である。

【図4】本発明の方法による、選択された信号曲線を用いて試料表面を模式的に示す図である。

【図5】本発明の方法による、研磨加工された金属表面のｚスタックに沿った信号曲線のグラフを示す図である。

【図6】従来技術による、研磨加工された金属表面のｚスタックに沿った信号曲線のグラフを示す図である。

【図7】本発明の方法による、金属塗料を有する試料表面のｚスタックに沿った信号曲線のグラフを示す図である。

【図8】従来技術による、金属塗料を有する試料表面のｚスタックに沿った信号曲線のグラフを示す図である。

【図9】本発明の方法による、紙製の試料表面のｚスタックに沿った振動曲線のグラフを示す図である。

【図10】従来技術による、紙製の試料表面のｚスタックに沿った振動曲線のグラフを示す図である。

【発明を実施するための形態】

【0036】

図１は、試料１の画像のｚスタックのいわゆるＯｒｔｈｏｖｉｅｗの一例を示す。画像はそれぞれ、式
共焦点信号＝複合信号－ｎ＊広視野信号
に従って算出された。試料１の表面Ａｏの位置は、矢印及び点線によって示される。さらに、ｘ軸にわたる強度の最大値が示されている。ｘ軸は、ｚ軸に直交し、表面Ａｏに略平行に延在する。

【0037】

表面Ａｏは、ｚ座標の略同じ高さにおける、強い反射と、それに関連する強度の最大値とによって、ｘ軸の大部分にわたって、特徴づけられる。曲線Ｉｍａｘの左側の部分において、より高いｚ座標における最大強度が見出される。これは、関連するｘ座標に対応する試料１のこの領域において、座標系が図１において予めどのように配置されているかに応じて、凹部又は凸部があることを意味し得る。

【0038】

現在の補正係数ｎを求めるための（zur Ermittlung）選択肢は、図２に模式的に図示される。広視野信号ＷＦ及び複合信号Ｃｌ（複合画像）の振幅値がｚ軸上に例示的にプロットされている。焦点面において、複合信号Ｃｌの振幅値の最大値（ピーク）認められる。この最大強度Ｉｍａｘは、例えば、試料１の表面Ａｏを特徴付ける（例えば、図１参照）。ｚ座標ｚｎを有する補正面において、広視野信号ＷＦの振幅値ｘＷＦ及び複合信号Ｃｌの振幅値ｘＣｌが求められる。振幅値ｘ ＷＦと振幅値ｘ Ｃｌとの比から、現在の補正係数ｎを求めることができる。

【0039】

図３は試料１の測定結果を模式的に示しており、試料１はその表面Ａｏにおいてチャネル状の凹部２によって横断されている。従来技術による方法によって計算された画像データは、凹部２のエッジに沿って高い強度のピークＩｍａｘを示す。その結果、実際には存在していないにもかかわらず、凹部２の隆起したエッジが結果として得られる画像に示される。

【0040】

対照的に、画像データが本発明による方法によって求められた場合、凹部２のエッジに沿った強度ピークＩｍａｘは実質的により低い（図４）。凹部２は、隆起エッジ無しで、又は非常に小さい隆起エッジのみを伴って示され、これは、試料１の実際のトポグラフィに対応する。

【0041】

さらなる図５～図１０において、本発明による方法によって得られた画像データは、それぞれ、高さ値としてｚ軸に沿ってｘ軸にわたってプロットされている。ｘ軸にわたる代わりに、高さ値はまた、ｘ軸及びｚ軸と直交して延在するｙ軸にわたってプロットされてもよい（図示せず）。

【0042】

図５では、金属材料からなる試料１のトポグラフィの画像データが示される。試料１は、フライス加工された（durch Fraesen bearbeitet）。フライス工具の個々の軌跡は、ゼロ点付近の振幅値の周期的な並びによって認識することができる。

【0043】

同じ試料１の画像データは、周期的な方向変化の領域において強度ピークＩｍａｘを示し、これは表面Ａｏの実際のプロファイルを反映しない（図６）。強度ピークＩｍａｘが極めて狭いという事態は既に、実際の表面形状の代わりに結像収差（Abbildungsfehlern）の存在を示している。

【0044】

同じことが図７及び８においても見受けられる。
本発明による方法を使用した場合、金属塗料（Metalliclack）を有する試料１の表面Ａｏは、ゼロ位置の周りに約１．５から２μｍの変動幅のトポグラフィで認識され表示される（図７）。対照的に、従来技術による方法を使用して作成される試料１のトポグラフィは、約５～１０μｍを超える変動幅を有していた（図８）。

【0045】

紙製の試料１は同様の挙動を示す。図９は、ゼロ位置を中心とした変動幅が約１０μｍの試料１の比較的粗い面Ａｏを示している。

【0046】

対照的に、先行技術による方法を使用すると、誤って発生する強度ピークは、ゼロ位置周りに３０～４０μｍの変動範囲に達する。

【0047】

この例示的な実施形態は、紙製又は（自己）蛍光表面Ａｏを有する試料１が、本発明による方法によって、それらのトポグラフィに関して検査され得ることを示す。対照的に、先行技術による方法は、満足のいく結果を生じないか、又は強度ピークを減少させるための追加の工程を必要とする。

【符号の説明】

【0048】

１ 試料
２ 凹部
Ａｏ （試料１の）表面
Ｃｌ 複合信号
Ｉｍａｘ 強度最大、強度ピーク
ＷＦ 広視野信号
ｘＣｌ （複合信号Ｃｌの）振幅値
ｘＷＦ （広視野の信号ＷＦの）振幅値
ｚｎ （補正面の）位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】