特開 2024-147524 合成顕微鏡画像を記録するための方法、顕微鏡システム、およびコンピュータプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024147524

(43)【公開日】2024-10-16

(54)【発明の名称】合成顕微鏡画像を記録するための方法、顕微鏡システム、およびコンピュータプログラム製品

(51)【国際特許分類】

   G02B 21/36 20060101AFI20241008BHJP

   G02B 21/00 20060101ALI20241008BHJP

   G02B 21/06 20060101ALI20241008BHJP

【ＦＩ】

G02B21/36

G02B21/00

G02B21/06

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024059074

(22)【出願日】2024-04-01

(31)【優先権主張番号】10 2023 108 517.4

(32)【優先日】2023-04-03

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】524125599

【氏名又は名称】エヴィデント テクノロジー センター ヨーロッパ ゲーエムベーハー

【氏名又は名称原語表記】ＥＶＩＤＥＮＴ Ｔｅｃｈｎｏｌｏｇｙ Ｃｅｎｔｅｒ Ｅｕｒｏｐｅ ＧｍｂＨ

【住所又は居所原語表記】Ｗｉｌｈｅｌｍ－Ｓｃｈｉｃｋａｒｄ－Ｓｔｒ． ３， ４８１４９ Ｍｕｎｓｔｅｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】シリング，トビアス

(72)【発明者】

【氏名】カッツァー，マティアス

【テーマコード（参考）】

2H052

【Ｆターム（参考）】

2H052AC14

2H052AC34

2H052AD20

2H052AF14

2H052AF21

2H052AF25

(57)【要約】      （修正有）

【課題】高い光学的品質、画像鮮明度を有すると同時に、高速で費用対効果の高い撮像を可能にする、合成顕微鏡画像を記録するための方法、顕微鏡システム、およびコンピュータプログラム製品の提供。
【解決手段】方法１００は、少なくとも第１の融合画像および第２の融合画像を顕微鏡撮像するため、試料が構造化された方法で照明される、第１の画像を撮像する工程１１１、試料が均一に照明される、第２の画像を撮像する工程１１２、第１の画像が焦点に位置する低周波数画像情報に使用され、第２の画像が焦点に位置する高周波数画像情報に使用される、第１の画像および第２の画像を融合する工程１１３を含み、第２の融合画像が第１の融合画像とは異なる試料上の位置を描写する、ステップ１１０と、少なくとも第１の融合画像および第２の融合画像を合成顕微鏡画像に合成するステップ１２０と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

試料（３００）の合成顕微鏡画像（２００）を記録するための方法（１００）であって、
少なくとも第１の融合画像（２１０）および第２の融合画像（２２０）を顕微鏡撮像するステップ（１１０）であって、
・ 第１の画像（２３０）を撮像する工程（１１１）であって、前記試料（３００）は構造化された方法で照明される、工程（１１１）と、
・ 第２の画像（２４０）を撮像する工程（１１２）であって、前記試料（３００）は均一に照明される、工程（１１２）と、
・ 前記第１の画像（２３０）および前記第２の画像（２４０）を融合する工程（１１３）であって、前記第１の画像（２３０）は焦点に位置する低周波数画像情報に使用され、前記第２の画像（２４０）は前記焦点に位置する高周波数画像情報に使用される、工程（１１３）と、
を含み、前記第２の融合画像（２２０）が前記第１の融合画像（２１０）とは異なる前記試料（３００）上の位置を描写する、ステップ（１１０）と、
少なくとも前記第１の融合画像（２１０）および前記第２の融合画像（２２０）を前記合成顕微鏡画像（２００）に合成するステップ（１２０）と、
を含む、
方法（１００）。

【請求項2】

前記第１の画像（２３０）を撮像する前記工程（１１１）における構造化照明は、少なくともスペックル照明、周期的な格子または市松模様パターンとして実装されることを特徴とする、
請求項１に記載の方法（１００）。

【請求項3】

前記第１の画像（２３０）および前記第２の画像（２４０）を撮像する前記工程（１１２）における照明は、特に少なくとも２つのカラーチャネルを有する蛍光照明として構成されることを特徴とする、
請求項１または２に記載の方法（１００）。

【請求項4】

前記第１の画像（２３０）を撮像する前記工程（１１１）および前記第２の画像（２４０）を撮像する前記工程（１１２）は、少なくとも第１および第２のカラーチャネルを使用して実行され、特に、前記試料（３００）は、最初に前記第１のカラーチャネルを使用して構造化された均一な方法で照明され、その後、前記試料（３００）は、前記第２のカラーチャネルを使用して構造化された均一な方法で照明されることを特徴とする、
請求項１～３のいずれか一項に記載の方法（１００）。

【請求項5】

前記試料（３００）上の位置は、少なくとも前記試料（３００）のｚ方向、前記試料（３００）のｘ方向または前記試料（３００）のｙ方向において異なり、特に、少なくとも前記ｘ方向または前記ｙ方向における前記試料（３００）の位置は、前記試料（３００）を配置することができるｘｙステージ（４１５）によって移動されることを特徴とする、
請求項１～４のいずれか一項に記載の方法（１００）。

【請求項6】

前記第２の融合画像（２２０）における前記試料（３００）の位置は、前記ｚ方向において５００ｎｍ～５００μｍ、特に１μｍ～３００μｍの範囲だけ前記第１の融合画像（２１０）における前記試料（３００）の位置とは異なることを特徴とする、
請求項１～５のいずれか一項に記載の方法（１００）。

【請求項7】

個々の撮像された前記第１の融合画像（２１０）および前記第２の融合画像（２２０）の被写界深度を設定することができることを特徴とする、
請求項１～６のいずれか一項に記載の方法（１００）。

【請求項8】

前記合成顕微鏡画像（２００）の出力（１３０）がさらに提供され、特に、前記出力（１３０）中に前記ｚ方向の深さを設定することができることを特徴とする、
請求項１～７のいずれか一項に記載の方法（１００）。

【請求項9】

少なくとも前記第１の画像（２３０）を撮像する前記工程（１１１）を実施するため、または前記第２の画像（２４０）を撮像する前記工程（１１２）を実施するために構成されるレンズ（４１２）の認識が提供され、特に、前記レンズ（４１２）の認識に基づいて設定される前記ｚ方向の深さが提供されることを特徴とする、
請求項１～８のいずれか一項に記載の方法（１００）。

【請求項10】

少なくとも前記第１の融合画像（２１０）および前記第２の融合画像（２２０）を顕微鏡撮像する前記ステップ（１１０）が連続的に実行されることを特徴とする、
請求項１～９のいずれか一項に記載の方法（１００）。

【請求項11】

前記合成顕微鏡画像（２００）を形成するように少なくとも前記第１の融合画像（２１０）および前記第２の融合画像（２２０）を合成する前記ステップ（１２０）では、シェーディング補正も提供されることを特徴とする、
請求項１～１０のいずれか一項に記載の方法（１００）。

【請求項12】

少なくとも前記第１の融合画像（２１０）または前記第２の融合画像（２２０）がライブ画像として表示され、前記ｚ方向における少なくとも１つの深度が調整可能であることを特徴とする、
請求項１～１１のいずれか一項に記載の方法（１００）。

【請求項13】

さらに、少なくとも、
・ 顕微鏡システム（４００）への顕微鏡スライドの装填、
・ 前記顕微鏡スライド（３１０）のオーバービュースキャン、
・ 前記顕微鏡スライド（３１０）のラベル情報の記録、
・ 前記顕微鏡スライド（３１０）上の前記試料（３００）の検出、
・ 前記試料（３００）の検出に基づく画像記録領域の特定、
・ 合焦マップの作成、
・ 前記画像記録領域へのｘｙステージ（４１５）の移動、
・ レンズ欠陥の補正、
・ 少なくとも前記第１の画像（２３０）、前記第２の画像（２４０）、前記第１の融合画像（２１０）、前記第２の融合画像（２２０）または前記合成顕微鏡画像（２００）の保存、
・ 次の試料（３００）または次の顕微鏡スライド（３１０）への前記ｘｙステージ（４１５）の移動
が計画されていることを特徴とする、
請求項１～１２のいずれか一項に記載の方法（１００）。

【請求項14】

特に請求項１～１３のいずれか一項に記載の方法（１００）を実行するための顕微鏡システム（４００）であって、
少なくとも第１の融合画像（２１０）および第２の融合画像（２２０）の顕微鏡撮像（１１０）を提供するように適合された光学的撮像装置（４１０）であって、
・ 第１の画像（２３０）および第２の画像（２４０）を撮像（１１１）するように適合されたカメラ（４１１）およびレンズ（４１２）、
・ 前記第１の画像（２３０）が撮像されたときに前記試料（３００）を構造化された方法で照明するように適合された構造化照明装置（４１３）、および
・ 前記第２の画像（２４０）が撮像されたときに前記試料（３００）を均一に照明するように適合されたガウス照明装置（４１４）
を含む光学的撮像装置（４１０）と、
前記第１の画像（２３０）および前記第２の画像（２４０）を融合（１１３）するように適合された計算装置（４２０）であって、前記第１の画像（２３０）は、低周波数の焦点画像情報に使用され、前記第２の画像（２４０）は、高周波数の焦点画像情報に使用され、前記第２の融合画像（２２０）は、前記第１の融合画像（２１０）とは異なる前記試料（３００）上の位置を描写し、少なくとも前記第１の融合画像（２１０）および前記第２の融合画像（２２０）を合成顕微鏡画像（２００）に融合する、計算装置（４２０）と、
を備える、
顕微鏡システム（４００）。

【請求項15】

プログラムがコンピュータ、特に請求項１４に記載の顕微鏡システム（４００）の計算装置（４２０）によって実行されるとき、請求項１～１３のいずれか一項に記載の方法を前記コンピュータに実行させる命令を含む、
コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、合成顕微鏡画像を記録するための方法、顕微鏡システム、およびコンピュータプログラム製品に関する。

【背景技術】

【0002】

非常に広範囲の用途のために、多数の異なる顕微鏡が知られている。これらは、光学系およびそれらの性能に関してかなり異なり得る。

【0003】

顕微鏡の欠点は、１枚の画像で撮像できる画像セクションが非常に小さいことである。

【0004】

また、光学系が一般に有する共通点は、光学の法則上、顕微鏡撮像の被写界深度が非常に浅いことである。これは、単一の焦点面しか観察されないにもかかわらず、焦点面の外側で発生して、後に撮像画像上でのぼやけた発光現象として知覚される放射によって、画像の撮像が妨害されることにつながる可能性がある。

【0005】

この問題を解決するための様々な手法は、最新技術において既に知られている。

【0006】

共焦点顕微鏡では、撮像される対象物の一部のみが一度に照明される。次いで、試料が１つずつスキャンされる。試料からの反射光または蛍光は、その位置に合わせて測定され、それに基づいて試料全体が構築される。ピンホール絞りは、反射光または蛍光のビーム経路に取り付けられ、鮮明に撮像された領域からの光のみを通過させる。これにより、焦点面の外側の層からの放射による干渉の影響を効果的に減らすことができる。この設定の欠点は、対象物をスキャンすることによって単一の画像を作成するのに長い時間がかかることである。

【0007】

一方、ＨｉＬｏ顕微鏡法も代替法として知られている。この方法は、例えば、Ｌｉｍら、Ｏｐｔｉｃｓ Ｌｅｔｔｅｒｓ－３３：１８１９－１８２１（２００８年）およびＪｅｒｏｍｅ Ｍｅｒｔｚ，Ｎａｔｕｒｅ Ｍｅｔｈｏｄｓ－８：８１１－８１９（２０１１年）に記載されている。この撮像方法の背後にある原理は、２つの画像が撮像されることである。ＨｉＬｏ顕微鏡法では、いわゆるスペックル照明を有する第１の画像が事実上フィルタとして使用され、画像内の低周波数（Ｌｏ）、したがって背景が描写される。ガウス照明で作成された第２の画像（Ｈｉ）は、焦点が合っている画像情報を含む。第１の画像をフィルタとして使用することで、焦点面の外側の平面からの干渉放射を除去することができる。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の目的は、従来技術から知られている上記の欠点を少なくとも部分的に排除することである。特に、本発明の目的は、特に画像の鮮明度を含む特に高い光学的品質を有すると同時に、可能な限り大きい画像セクション、特に試料全体の画像セクションを有する、高速で費用対効果の高い撮像を可能にする、合成顕微鏡画像を記録するための方法、顕微鏡システム、およびコンピュータプログラム製品を提供することである。

【課題を解決するための手段】

【0009】

上記の問題は、請求項１の特徴を有する方法、請求項１４の特徴を有する顕微鏡システム、および請求項１５の特徴を有するコンピュータプログラム製品によって解決される。本発明のさらなる特徴および詳細は、それぞれの従属請求項、明細書および図面から明らかになるであろう。本発明による方法に関連して説明される特徴および詳細は、当然ながら、本発明による顕微鏡システムおよび／または本発明によるコンピュータプログラム製品に関連しても適用され、逆もまた同様である。したがって、本開示に関して本発明の個々の態様への参照が相互になされるか、または常に参照され得る。

【0010】

本発明の第１の態様によれば、試料の合成顕微鏡画像を記録するための方法が提供される。該方法は、
・ 特に光学的撮影装置によって、少なくとも第１の融合画像および第２の融合画像を顕微鏡撮像するステップであって、
・ 第１の画像を撮像する工程であって、試料が構造化された方法で、特に構造化照明装置によって照明される、工程と、
・ 第２の画像を撮像する工程であって、試料が均一に、特にガウス照明装置によって照明される、工程と、
・ 第１の画像および第２の画像を融合する工程であって、第１の画像はローパスフィルタを適用することによって焦点に位置する低周波数画像情報に使用され、第２の画像はハイパスフィルタを適用することによって焦点に位置する高周波数画像情報に使用される、工程と、
を含み、第２の融合画像が第１の融合画像とは異なる試料上の位置を描写する、ステップと、
・ 特に計算装置によって、少なくとも第１の融合画像および第２の融合画像を合成して合成顕微鏡画像を形成するステップと、
を含む。

【0011】

方法ステップ／段階は、少なくとも部分的に同時および／または順次実行することができ、これにより、方法ステップ／段階の順序は、指定された順序によって限定されないので、個々のステップ／段階を異なる順序で実行することができる。さらに、個々のまたはすべてのステップ／段階を繰り返し実行することができる。

【0012】

本発明の文脈において、第１および第２の画像ならびに第１および第２の融合画像の両方が参照される。第１および第２という表現は、画像または融合画像の数のみを意味し、撮像の順序を意味することはない。

【0013】

特に、該方法は、コンピュータ実装方法であってもよい。

【0014】

本発明の文脈では、顕微鏡画像の記録は、試料の顕微鏡領域における画像情報を得るために必要な手段と理解することができる。

【0015】

合成顕微鏡画像は、少なくとも部分的に重複した視野を有するいくつかの画像の組合せとして理解することができ、特に、分割されたパノラマ画像または高解像度画像の合成によって生成することができる。

【0016】

撮像パラメータの定義が提供されることが考えられる。撮像パラメータは、少なくとも撮像領域、解像度またはカラーチャネルとして構成することができる。

【0017】

撮像領域が定義され、その結果、合成顕微鏡画像が得られることがあり得る。撮像領域は、顕微鏡撮像が行われる視野に分割されることがあり得る。撮像領域は、ｚ方向、ｘ方向またはｙ方向に少なくとも１つの領域を含むことができる。ｚ方向、ｘ方向、またはｙ方向で撮像される領域をブロックと呼ぶこともできる。

【0018】

さらに、少なくともｘ、ｙ、またはｚ方向の解像度の少なくとも１つの定義を提供することができる。特に、ｚ方向の解像度は、ｘｙ平面の面数として指定できる。これは、ユーザが、合成画像がいくつの層を含むことになるかを容易に記録できるという利点を有する。

【0019】

撮像領域は、特に、定義された解像度に基づいてブロックに分割されることがあり得る。ブロックのサイズは、特に、少なくとも視野の数、ｘｙ平面の数、または顕微鏡システムの記憶装置の記憶サイズの関数として定義することができる。

【0020】

さらに、少なくとも１つのカラーチャネルを定義することができる。複数のカラーチャネルが定義されている場合、カラーチャネルの順序は顕微鏡撮像中に定義されることがあり得る。特に、少なくとも１つの露光時間またはフィルタ深度がカラーチャネルごとに個別に定義できることがあり得る。

【0021】

顕微鏡による事前撮像が提供されることも考えられる。事前撮像は、定義された撮像パラメータに従って撮像が行われるが、顕微鏡撮像と比較して、少なくとも撮像領域、解像度、フィルタ深度、または計算品質に関して制限されることを意味すると理解できる。これにより、ユーザは、調整ごとに対応する時間をかけて完全な画像を撮像する必要がなく、撮像パラメータを定義した場合の効果の全体像を迅速に把握することができる。

【0022】

原則として、試料は、使用される顕微鏡を通して観察することができる任意の対象物であり得る。特に、試料は、生物学的試料および／または医療試料、特に細胞、組織または器官であり得る。試料は、対象物ホルダ上に配置されることがあり得る。対象物ホルダは、１つまたは複数の試料を保持することができる。

【0023】

本発明の文脈では、顕微鏡撮像は、撮像装置の助けを借りて、試料の顕微鏡スケールに関する情報を含む画像を生成することとして理解できる。

【0024】

融合画像は、少なくとも２つの顕微鏡撮像による情報で構成することができる。特に、融合画像は、試料上の同じ位置で撮像することができる。

【0025】

第２の画像は、ぼやけたコンテンツと鮮明なコンテンツの両方を含む。ぼやけたコンテンツは、実質的に、局所的な低周波数成分を含む。ぼやけた画像情報を破棄するために、ハイパスフィルタを第２の画像に使用することができる。ハイパスフィルタは、空間周波数の高い成分のみを選択し、周波数の低い成分を除外するように構成することができる。

【0026】

第１の画像では、構造化照明によって、焦点の外側で生じる対象物信号に対して、画像化された変調のコントラストは無視できる。つまり、画像化された変調の局所的なコントラストの尺度は、どの程度対象物に焦点が合っているかの尺度である。

【0027】

第１の画像の局所的な変調コントラストの測定が提供され得る。第１の画像の変調コントラストの測定は、少なくとも局所的分散、単側波帯変調、または両側波帯変調の測定として実行され得る。局所的な変調コントラストの測定は、粗視化され得る。

【0028】

第１の画像から導出された低周波数画像情報は、第２の画像から導出された高周波数画像情報が補足されるように構成されることがあり得る。高周波数および低周波数の画像コンテンツを融合することで、顕微鏡システムの周波数帯域幅内のすべての周波数コンテンツを含む、完全に分解された鮮明な画像が得られる。これは、実質的に、ＨｉＬｏ顕微鏡法アプローチに対応する。

【0029】

構造化照明は、主に焦点面において、照明に対する反応として試料からの放射を生成するように構成された照明と理解することができる。特に、構造化照明の強度は、場所に応じて変化し得る。強度の変化は、光源、特にコヒーレント光源が照射する拡散板によって生成され得る。

【0030】

均一な照明（ガウス照明としても知られる）は、撮像される画像領域を実質的に均一な強度で露光する照明と定義することができる。光源および光学系の特性に起因して不可避的に生じる不均一性は、均一な照明であっても常にある程度は生じる。均一な照明は、光源、特にコヒーレント光源が照射する回転拡散板によって実現されることがあり得る。拡散板は、構造化照明を提供するために使用される拡散板と同じであることが特に有利であり、そのため、構造化照明が提供されるとき拡散板は静止している。したがって、拡散板を停止または回転させることによって、構造化照明と均一照明とを切り替えることが可能である。

【0031】

さらに、第１および第２の画像の撮像順序は、第１の画像に続いて、試料上の位置が移動した後にさらに第１の画像が続くように構成されることがあり得る。第２の画像に続いて、試料上の位置が移動した後にさらに第１の画像が続くこともあり得る。これは、撮像装置の撮像モードを撮像ごとに変更する必要がなく、より高速な撮像が可能になるという利点がある。

【0032】

融合画像の合成（スティッチングとも呼ばれる）は、融合画像に含まれる画像情報の組合せとして理解することができる。融合画像は、少なくとも部分的に重なり合い、それによって、特に画像が合成されるとき、少なくとも重なり合う領域が識別され、画像が整列されるか、またはそれらの外観が、特に少なくとも明るさ、色またはコントラストに関して調整されることがあり得る。

【0033】

試料上の位置が異なるということは、第１の融合画像および第２の融合画像に、両方の画像に含まれない領域が少なくとも１つあることを意味し得る。言い換えれば、これは、２つの画像が異なる位置で撮像され得ることを意味する。顕微鏡撮像および合成は、画像の所定の領域、特にブロックに対して数回、特に１回実行されることがあり得る。ブロックは、ｘｙ位置およびｘｙ平面に１つまたは複数の画像を有することができる。合成は、最初に、最も高いコントラストを有する融合画像を使用して、第１のブロックおよびさらなるブロックからの融合画像の１つの組を使用して実行され、それによって、さらなる融合画像がこの比率を使用して合成されることがあり得る。これにより、合成処理によって画像の誤差を最小限に抑えることができる。

【0034】

本方法は、特に示された順序で、以下のステップ／段階のうちの少なくとも１つを含むことがあり得る。

【0035】

少なくとも試料またはレンズを第１のブロックに移動させる。ブロックの第１のｘｙ平面を顕微鏡撮像し、ここで第１および第２の画像が撮像されて融合され、第１のブロックの次のｘｙ平面を顕微鏡撮像し、ここで第１のブロックのすべてのｘｙ平面が顕微鏡撮像されるまで、第１および第２の画像が撮像され融合される。１つまたは複数のさらなるカラーチャネルについて、第１のブロックの顕微鏡撮像を繰り返す。第１のブロックのすべてのｘｙ平面のすべての融合画像を中間保存する。

【0036】

少なくとも試料またはレンズをさらなるブロックに移動させる。さらなるブロックの第１のｘｙ平面を顕微鏡撮像し、それにより、第１および第２の画像が撮像され融合され、さらなるブロックの次のｘｙ平面を顕微鏡撮像し、それにより、ブロックのすべてのｘｙ平面が顕微鏡撮像されるまで、第１および第２の画像が撮像され融合される。１つまたは複数のさらなるカラーチャネルについて、次のブロックの顕微鏡撮像を繰り返す。第１のブロックのすべてのｘｙ平面のすべての融合画像を中間保存する。

【0037】

第１のブロックの、特に第１のカラーチャネルにおいて最も高いコントラストを有するｘｙ平面の融合画像は、同じｘｙ平面からの第２のブロックの融合画像と合成される。「同じｘｙ平面」は、特に、少なくとも部分的に重なり合う画像コンテンツを指すことができる。代替的または追加的に、少なくともレンズまたは試料に対するｚ方向の同じ位置を意味することもできる。第１のブロックのすべてのさらなる融合画像もまた、第１の合成画像の関係に従って合成される。

【0038】

次いで、少なくとも試料またはレンズを次のブロックに移動させることができ、ステップ／段階が繰り返される。ブロックの合成画像を互いに組み合わせて、試料の合成顕微鏡画像を作成することができる。

【0039】

全体として、本発明による方法の利点は、特に画像の鮮明度を含む特に高い光学的品質を有すると同時に、可能な限り大きい画像セクション、特に試料全体の画像セクションを有する、高速で費用効果の高い撮像が可能になることである。第１および第２の画像の融合は、レンズの焦点に合っていない平面からの画像情報を破棄し、それによって画像の鮮明度を高めた画像を非常に高速に作成することができることを意味する。この方法は、画像をスキャンする必要がなく、２つの画像だけを撮像する必要があるため、共焦点顕微鏡のように画像をスキャンする場合と比較して、特に高速である。少なくとも２つ、特にいくつかの融合画像を合成することにより、撮像速度を利用していくつかの画像をつなぎ合わせ、したがって特に大量の情報を有する画像、例えばセグメント化されたパノラマ画像または被写界深度が深い高解像度画像を生成することができる。

【0040】

本発明の範囲内で、構造化照明は、第１の画像を撮像するとき、少なくともスペックル照明、周期的な格子または市松模様パターンとして構成されることも考えられる。

【0041】

スペックル照明は、光の散乱点を生成するように構成することができる。スペックルは、照明強度が試料の残りの部分に対して高い試料上の個々の点状の位置として理解することができる。スペックルは、干渉により生成することができる。このために、拡散板と組み合わせた単色コヒーレント光源を提供することができる。

【0042】

スペックル照明の利点は、焦点面の外側の後方散乱光の強度が著しく低下するため、特に鮮明な融合画像を生成できることである。

【0043】

周期的な格子または市松模様パターンもまた、干渉発生光学素子の助けを借りて提供することができる。

【0044】

さらに、本発明による方法では、第１および第２の画像の撮像中の照明は、特に少なくとも２つのカラーチャネルを有する蛍光照明として構成されることが有利であり得る。

【0045】

言い換えれば、第１および第２の画像は、蛍光画像、特にマルチチャネル蛍光画像であり得る。蛍光画像は、焦点面に由来しない放射に特に悩まされるが、これは、これらの放射がある種のボケ効果をもたらし、かなり暗い背景に対して本来は鮮明な構造がぼやけてしまう可能性があるためである。したがって、蛍光照明と組み合わせた本発明による方法が特に有利である。

【0046】

さらに、本発明による方法では、第１および第２の画像が少なくとも第１および第２のカラーチャネルで撮像され、それによって、特に、試料は、最初に第１のカラーチャネルで構造化された均質な方法で照明され、次いで第２のカラーチャネルで構造化された均質な方法で照明されることが考えられる。いくつかのカラーチャネルを撮像するとき、第１または第２の画像の照明は、常に、前のカラーチャネルの撮像が終了したときの照明から始まることが特に有利であり得る。例えば、赤、緑、および青の３つのカラーチャネルがある場合、赤の構造化照明、赤の均一照明、緑の均一照明、緑の構造化照明、青の構造化照明、青の均一照明のような順序になる。つまり、拡散板を頻繁に加速および減速させる必要がなく、一方では撮像の時間を節約でき、他方では振動の形での干渉を低減することができる。

【0047】

いくつかのカラーチャネルがあり、いくつかのｘｙ平面で顕微鏡撮像を行う場合、最初に各カラーチャネルの各ｘｙ平面で顕微鏡撮像を行ってから次のｘｙ平面に切り替えることが可能である。これは、試料やレンズを動かさずに撮像されるため、個々のチャネルを組み合わせると、特に高い画質が達成されるという利点がある。ｘｙ平面がそれぞれ単一のカラーチャネルで横断されることも可能である。

【0048】

さらに、本発明による方法では、試料上の位置が、少なくとも試料のｚ方向、試料のｘ方向または試料のｙ方向において異なり、特に、少なくともｘ方向またはｙ方向における試料の位置が、試料を配置することができるｘｙステージによって移動され得ることが有利であり得る。

【0049】

本発明の文脈において、ｚ方向は、試料領域内の撮像光学系の光軸上にある試料の深さとして理解することができる。したがって、ｘ軸およびｙ軸は、試料領域内の光軸に直交する平面に広がる。

【0050】

ｚ方向の位置を変化させることにより、合成顕微鏡画像は、実質的に断層撮像に対応することができる。個々の層は、画定された被写界深度領域のために、特に鮮明に表示することができる。

【0051】

試料は、融合画像をｘ方向および／またはｙ方向に合成することによってマッピングすることができる。試料全体は、融合画像から少なくともｘ、ｙまたはｚ方向に合成されることが可能である。これは、試料が１つまたは複数の方向から完全に記録されるため、特に大量の情報が評価に利用可能であるという利点がある。

【0052】

本発明の文脈において、第２の融合画像における試料の位置は、ｚ方向において５００ｎｍ～５００μｍ、特に１μｍ～３００μｍの範囲だけ第１の融合画像における試料の位置とは異なることも考えられる。

【0053】

言い換えれば、光学顕微鏡では、非常に厚い試料を測定することができる。厚い試料では、従来の光学顕微鏡は、焦点面に対応しない平面からの放射が加算され、合成画像がぼやけてしまうという問題を有する。これは、本発明による方法によって防止され、その結果、指定された厚さ範囲の試料も特に高品質で撮像することができる。

【0054】

本発明の範囲内で、撮像された個々の融合画像の被写界深度を調整することも考えられる。

【0055】

これにより、融合効果を現在の撮像状況に最適に適合させることができる。被写界深度が深いほど、焦点面に正確に存在していない領域からより多くの情報を得ることができる。これにより、合成される融合画像間の距離が大きい場合、または焦点面が完全に正しく設定されていない場合に、ｚ平面上で離れている対象物の場合に、対象物の情報が排除されるのを防ぐことができる。一方、被写界深度が浅いと、特に鮮明な画像と、ｚ方向で合成される画像間の距離が小さく良好な全体像とが保証される。

【0056】

本発明による方法では、合成顕微鏡画像の出力も提供され、それによって、特に出力中にｚ方向の深さを設定することができることも考えられる。

【0057】

これにより、ユーザは状況に応じて最適な被写界深度を選択することができる。上述したように、その値は、試料内であっても変化し得る。したがって、カスタマイズ性により、常に最適なユーザ体験が保証され、合成顕微鏡画像を正確に評価できるようになる。

【0058】

本発明による方法では、少なくとも第１の画像および第２の画像を撮像するように構成されたレンズに関する認識が提供され、特に、ｚ方向の深さがレンズに関する認識に基づいて設定されることがさらに考えられる。

【0059】

それぞれのレンズに適合させることにより、画像の鮮明度と被写界深度との最適な兼ね合いを表すｚ方向の深さを設定することができる。

【0060】

本発明による方法では、少なくとも第１の融合画像および第２の融合画像の顕微鏡撮像が連続的に実行されることも考えられる。

【0061】

融合される画像を連続的に撮像すると、撮像画像を特に迅速に生成できるという利点がある。

【0062】

本発明の文脈において、少なくとも第１の融合画像および第２の融合画像が合成されて合成顕微鏡画像を形成するときにシェーディング補正が提供されることがさらに考えられる。

【0063】

シェーディング補正は、特に合成される２つの画像間の遷移部分において、特に良好な光学品質を達成することができる。

【0064】

本発明による方法では、少なくとも第１の融合画像または第２の融合画像がライブ画像として表示され、それによってｚ方向の少なくとも１つの深さを設定することも考えられる。

【0065】

ライブ画像により、ユーザは、ｚ方向の深さ設定の効果を直ちに確認することができ、したがって、測定のための最適値を設定することができる。即時フィードバックにより、設定が最適ではなかったことが後になって明らかになるような、長時間に亘る画像撮像工程の開始が効果的に防止される。

【0066】

好ましくは、本発明による方法では、少なくとも、
・ 顕微鏡システムへの顕微鏡スライドの装填、
・ 顕微鏡スライドのオーバービュースキャン、
・ 顕微鏡スライドのラベル情報の記録、
・ 顕微鏡スライド上の試料の検出、
・ 試料の検出に基づく画像記録領域の特定、
・ 撮像パラメータの定義、
・ 事前に定義された撮像パラメータによる顕微鏡プレビュー撮像、特に本発明による顕微鏡プレビュー撮像、
・ 事前に定義された撮像パラメータによる顕微鏡撮像、特に本発明による顕微鏡撮像、
・ 合焦マップの作成、
・ 画像記録領域へのｘｙステージの移動、
・ レンズ欠陥の補正、
・ 少なくとも第１の画像、第２の画像、第１の融合画像、第２の融合画像、または合成顕微鏡画像の保存、および
・ 次の試料または顕微鏡スライドへのｘｙステージの移動
がさらに考えられる。

【0067】

ラベル情報を記録することで、画像の撮像前に顕微鏡を最適に調整することができる。例えば、ｚ方向の深さをラベル情報に合わせることができる。例えば、ラベルには、試料の厚さまたはタイプに関する情報が含まれることがあり、その結果、特定の深さが有利であることがわかる。

【0068】

試料のオーバービュースキャンは、顕微鏡撮像と比較して、少なくとも解像度が低く、チャネル数が少ないかチャネルが異なり、画像領域が広く、または倍率が低い顕微鏡撮像と理解することができる。このようなオーバービュースキャンにより、試料および高解像度撮像の対象領域を迅速に特定することができる。

【0069】

ｘｙステージを次の試料に移動させることにより、次の試料を迅速にピックアップすることができる。さらに、特に１つまたは複数の試料を有することができる次の顕微鏡スライドも、このようにしてピックアップすることができる。次の顕微鏡スライドが顕微鏡スライド機構を介してｘｙステージに挿入されるようにすることもできる。

【0070】

顕微鏡システムへの顕微鏡スライドの装填、顕微鏡スライドのオーバービュースキャン、画像記録領域の特定、撮像パラメータの定義、顕微鏡撮像、少なくとも第１の画像、第２の画像、第１の融合画像、第２の融合画像または合成顕微鏡画像の保存、または次の試料もしくは次の顕微鏡スライドへのｘｙステージの移動は、特に指定された順序で実施され得る。

【0071】

本発明のさらなる態様によれば、特に本発明による方法を実施するための顕微鏡システムが提供される。該システムは、
・ 少なくとも第１の融合画像および第２の融合画像の顕微鏡撮像を提供するように適合された光学撮像装置であって、
・ 第１の画像および第２の画像を撮像するように構成されたカメラおよびレンズと、
・ 第１の画像が撮像されるとき、試料を構造化された方法で照明するように構成された構造化照明装置と、
・ 第２の画像が撮像されるとき、試料を均一に照明するように適合されたガウス照明装置と、
を含む光学撮像装置と、
・ 第１の画像および第２の画像を融合するように適合された計算装置であって、第１の画像は低周波数の焦点画像情報に使用され、第２の画像は高周波数の焦点画像情報に使用され、第２の融合画像が第１の融合画像とは異なる試料上の位置を描写し、少なくとも第１の融合画像および第２の融合画像を合成顕微鏡画像に合成するように適合された計算装置と、
を備える。

【0072】

したがって、本発明による顕微鏡システムは、本発明による方法を参照して上述したものと同じ利点を有する。

【0073】

構造化照明装置は、少なくとも１つのコヒーレント光源、特にレーザ、または拡散板を備えることができ、それによって拡散板はレーザ光によって照射され、スペックルパターンを生成する。

【0074】

さらに、拡散板は回転可能であるように構成され、ガウス照明装置によって照明されるとき、顕微鏡撮像の時間スケールで均一に照明された画像が撮像される程度に回転されることがあり得る。このような配置により、第１の画像および第２の画像を特に迅速に次々に生成することが可能になり、その結果、合成顕微鏡画像の全体的な撮像時間が大幅に短縮される。

【0075】

本発明のさらなる態様によれば、プログラムがコンピュータ、特に本発明による顕微鏡システムの計算装置によって実行されるとき、本発明による方法をコンピュータに実行させる命令を含むコンピュータプログラム製品が提供される。

【0076】

したがって、本発明によるコンピュータプログラム製品は、本発明による方法および／または本発明による顕微鏡システムを参照して上述したものと同じ利点を有する。

【0077】

本発明のさらなる利点、特徴および詳細は、本発明の実施形態が図面を参照して詳細に説明される以下の説明から明らかになるであろう
。特許請求の範囲および明細書に記載された特徴は、個別にまたは任意の組合せで本発明に不可欠であり得る。

【図面の簡単な説明】

【0078】

【図1】本発明による方法を示す図である。

【図2】融合画像を合成する例を示す図である。

【図3】融合画像を合成する別の例を示す図である。

【図4】本発明による顕微鏡システムを示す図である。

【発明を実施するための形態】

【0079】

本発明のいくつかの実施形態の以下の説明では、異なる実施形態であっても、同じ技術的特徴に対して同じ参照符号が使用される。

【0080】

図１は、試料３００の合成顕微鏡画像２００を記録するための方法１００を示す。該方法１００は、
・ 少なくとも第１の融合画像２１０および第２の融合画像２２０を顕微鏡撮像するステップ１１０であって、
・ 第１の画像２３０を撮像する工程１１１であって、試料３００が構造化された方法で照明される、工程１１１、
・ 第２の画像２４０を撮像する工程１１２であって、試料３００が均一に照明される、工程１１２、および
・ 第１の画像２３０および第２の画像２４０を融合する工程１１３であって、第１の画像２３０は焦点に位置する低周波数画像情報に使用され、第２の画像２４０は焦点に位置する高周波数画像情報に使用される、工程１１３
を含み、第２の融合画像２２０が第１の融合画像２１０とは異なる試料３００上の位置を描写する、ステップ１１０と、
・ 少なくとも第１の融合画像２１０および第２の融合画像２２０を合成顕微鏡画像２００に合成するステップ１２０と、
を含む。

【0081】

全体として、本発明による方法１００は、特に画像の鮮明度を含む特に高い光学的品質を有すると同時に、可能な限り大きい画像セクション、特に試料３００全体の画像セクションを有する、高速で安価な撮像が可能になるという利点を達成する。第１の画像２３０および第２の画像２４０の合成は、レンズ４１２の焦点にない平面からの画像情報を破棄することができる画像を非常に迅速に作成することができることを意味し、それによって画像の鮮明度が高まる。この方法は、画像のスキャンを必要とせず、２つの画像２３０、２４０を撮像するだけなので、共焦点顕微鏡での画像を介したスキャンと比較して特に高速である。少なくとも２つ、特にいくつかの融合画像２１０、２２０を合成することにより、撮像速度を利用していくつかの画像をつなぎ合わせることができ、その結果、特に情報量の多い画像２００、例えばセグメント化されたパノラマ画像または被写界深度の深い高解像度画像を有する画像２００を生成することができる。

【0082】

さらに、本発明による方法では、さらなるステップ／段階を提供することができる。

【0083】

例えば、合成顕微鏡画像２００の出力１３０を、特にスクリーン上に提供し得る。特に、合成顕微鏡画像２００からのそれらの画像情報が破棄されるｚ方向の深さは、出力１３０の間に調整可能であることがさらにあり得る。このようにして、ユーザは、評価および／または撮像の要件に深さを最適に適合させることができる。

【0084】

図２および図３は、融合画像２１０、２２０がどのように合成１２０され得るかを示す。

【0085】

図２は、試料３００の上面図である。破線は、第１の融合画像２１０および第２の融合画像２２０が撮像される点を示す。点線で囲まれた各正方形は、第１の画像２３０および第２の画像２４０に対応し、これらはその後合成１１３される。言い換えれば、顕微鏡システム４００は、図示の例では２つの画像２３０、２４０を４回撮像する。融合画像２１０、２２０は、それぞれの場合において重なり合う。次いで、融合画像２１０、２２０の合成１２０により、合成顕微鏡画像２００が生成される。この合成顕微鏡画像２００は、個々の融合画像２１０、２２０よりも、ｘｙ平面内の試料３００のはるかに広い領域をカバーする。特に、試料３００全体および／または試料の予め選択されたセクションを合成顕微鏡画像２００でカバーすることがあり得る。

【0086】

図３は、融合画像２１０、２２０を合成１２０するためのさらなる変形例を示す。図２の例では、融合画像２１０、２２０の試料上での位置は、ｘｙ平面内で変化するが、図３の例では、ｚ平面内での変化が示されている。言い換えれば、撮像装置４１０（図４参照）の光軸に平行なｚ軸において変化する融合画像２１０、２２０も合成１２０することができる。

【0087】

破線で示されているのは、第２の画像２４０の焦点にない第２の画像２４０からの画像情報が破棄されるｚ方向の深さである。この深さは調整可能であることがあり得る。融合画像２１０、２２０間の距離は、融合画像２１０、２２０が深さ方向に重ならないように、図示のように選択することができる。融合画像２１０、２２０は、これらの深さにおいて少なくとも部分的に重なり合うこともあり得る。

【0088】

当然ながら、ｘｙ平面内で変化する融合画像２１０、２２０、ならびにｚ軸上で変化する融合画像２１０、２２０を合成１２０することによって、合成顕微鏡画像２００を提供することもできる。結果として、顕微鏡システム４００のユーザは、評価のために利用可能な特に多くの画像情報をもち、それによって、本発明による方法１００は、情報量が多いにもかかわらず、非常に迅速に合成顕微鏡画像２００を作成する。

【0089】

図４は、特に本発明による方法１００を実行するための顕微鏡システム４００を示す。顕微鏡システム４００は、
・少なくとも第１の融合画像２１０および第２の融合画像２２０の顕微鏡撮像１１０を提供するように適合された光学撮像装置４１０であって、
・ 第１の画像２３０および第２の画像２４０を撮像１１１するように適合されたカメラ４１１およびレンズ４１２、
・ 第１の画像２３０が撮像されるときに、試料３００を構造化された方法で照明するように適合された構造化照明装置４１３、および
・ 第２の画像２４０が撮像されるときに、試料３００を均一に照明するように適合されたガウス照明装置４１４
を含む光学撮像装置４１０と、
・ 第１の画像２３０と第２の画像２４０とを融合１１３するように適合された計算装置４２０であって、第１の画像２３０は低周波数の焦点画像情報に使用され、第２の画像２４０は高周波数の焦点画像情報に使用され、第２の融合画像２２０は第１の融合画像２１０とは異なる試料３００上の位置を描写し、少なくとも第１の融合画像２１０と第２の融合画像２２０とを合成顕微鏡画像２００に合成するように適合された、計算装置４２０と、
を備える。

【0090】

図４は、顕微鏡システムをｘｚ平面で見た図である。光は、コヒーレント光源４３０から、構造化照明装置４１３および／またはガウス照明装置４１４を介して、ビームスプリッタ４５０およびレンズ４１２を介して、ステージ４１５上に配置された試料３００上に導かれる。そこで反射または蛍光発光された光は反射されて戻り、ビームスプリッタ４５０を通過した後、カメラ４１１に入射する。図示の実施例では、構造化照明装置４１３およびガウス照明装置４１４は、回転可能であるように構成された拡散板４４０を有する。拡散板が回転しない場合、構造化照明画像２３０を撮像１１１するために、構造化照明装置４１３によってスペックル照明が生成される。拡散板４４０が回転するように設定されている場合、均一に照明された画像２４０を撮像１１２することができる。制御装置４２０は、少なくとも、撮像装置４１０、カメラ４１１、レンズ４１２、構造化照明装置４１３、ガウス照明装置４１４、ステージ４１５、コヒーレント光源４３０または拡散板４４０を制御し得る。

【0091】

したがって、本発明による顕微鏡システム４００は、本発明による方法１００を参照して上述したものと同じ利点を有する。

【0092】

構造化照明装置４１３は、少なくとも１つのコヒーレント光源４３０、特にレーザと、拡散板４４０とを備えることができ、拡散板４４０は、レーザ光によって照射され、スペックルパターンを生成する。

【0093】

さらに、拡散板４４０は回転可能であるように構成され、ガウス照明装置４１４によって照明されるとき、顕微鏡撮像１１０の時間スケールで均一に照明された画像が撮像される程度に回転されることがあり得る。このような配置は、構造化照明および均一照明された画像２３０、２４０が次々と特に迅速に生成されることを可能にし、その結果、合成顕微鏡画像２００の全体的な撮像時間が大幅に短縮される。

【0094】

前述の実施形態の説明は、単に例として本発明を説明するものである。当然ながら、実施形態の個々の特徴は、本発明の範囲から逸脱することなく、技術的に好都合であれば、互いに自由に組み合わせることができる。

【図1】

【図2】

【図3】

【図4】

【外国語明細書】