特許 7153258 顕微鏡および顕微鏡の測定位置を決定する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-05

(45)【発行日】2022-10-14

(54)【発明の名称】顕微鏡および顕微鏡の測定位置を決定する方法

(51)【国際特許分類】

   G01B 11/00 20060101AFI20221006BHJP

   G02B 21/00 20060101ALI20221006BHJP

   G06T 7/70 20170101ALI20221006BHJP

【ＦＩ】

G01B11/00 H

G02B21/00

G06T7/70 A

【請求項の数】 18

(21)【出願番号】P 2021002674

(22)【出願日】2021-01-12

(65)【公開番号】P2021113805

(43)【公開日】2021-08-05

【審査請求日】2021-01-12

(31)【優先権主張番号】10 2020 101 191.1

(32)【優先日】2020-01-20

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】506151659

【氏名又は名称】カール ツァイス マイクロスコピー ゲーエムベーハー

【氏名又は名称原語表記】ＣＡＲＬ ＺＥＩＳＳ ＭＩＣＲＯＳＣＯＰＹ ＧＭＢＨ

(74)【代理人】

【識別番号】100180781

【弁理士】

【氏名又は名称】安達 友和

(74)【代理人】

【識別番号】100182903

【弁理士】

【氏名又は名称】福田 武慶

(72)【発明者】

【氏名】マヌエル アムソー

(72)【発明者】

【氏名】ダニエル ハッセ

(72)【発明者】

【氏名】マイケル ゴグラー

【審査官】櫻井 仁

(56)【参考文献】

【文献】国際公開第２０１８／２１９６３２（ＷＯ，Ａ１）

【文献】特開２０１１－１１２３７９（ＪＰ，Ａ）

【文献】国際公開第２００６／１３５０４０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１７／００３２５３７（ＵＳ，Ａ１）

【文献】独国特許出願公開第１０２００８０４１５２３（ＤＥ，Ａ１）

【文献】特開２００１－２９１０９２（ＪＰ，Ａ）

【文献】特開２００６－０３８９７７（ＪＰ，Ａ）

【文献】特開２００３－０１５０５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０２Ｂ ２１／００

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

顕微鏡の測定位置（２２）を確認する方法であって、
概要カメラ（６０）で撮像された サンプルキャリア（１０）の概要画像（７０）を受信することを含み、ここで、前記概要画像（７０）の前記測定位置（２２）の画像座標は、前記サンプルキャリア（１０）の高さ（Ｈ）に依存し、
前記サンプルキャリア（１０）の前記高さ（Ｈ）に依存して、前記概要画像（７０）が平面図画像（７１）に透視変換されることにより投影を決定し、ここで、前記平面図画像（７１）における前記測定位置（２２）の画像座標は既知であり、
決定された前記投影を用いて、前記概要画像（７０）またはそこから求められた出力画像の中の前記測定位置（２２）を特定することを特徴とする、方法。

【請求項2】

前記投影はホモグラフィであることを特徴とする、請求項１に記載の方法。

【請求項3】

前記求められた出力画像は、決定された前記ホモグラフィを用いて前記概要画像（７０）から計算された平面図画像（７１）であることを特徴とする、請求項２に記載の方法。

【請求項4】

平面図画像の測定位置画像座標がメモリに保存され、
前記測定位置（２２）は、
Ａ）前記決定されたホモグラフィを用いて、前記概要画像（７０）から求められた出力画像として平面図画像（７１）が計算され、そして前記メモリに保存される前記測定位置画像座標が平面図画像（７１）の前記測定位置（２２）として特定される、または
Ｂ）前記メモリに保存された前記測定位置画像座標を、前記決定されたホモグラフィを用いて前記概要画像（７０）の透視図に変換し、これらの変換された画像座標を測定位置（２２）として特定される、ことにより特定されることを特徴とする、請求項２または３に記載の方法。

【請求項5】

前記サンプルキャリア（１０）に既知の形状の較正パターンを提供し、
画像解析を用いて、前記較正パターンの画像表現を前記概要画像（７０）またはさらなる概要画像に定位させ、
前記サンプルキャリア（１０）の高さ（Ｈ）および／または前記ホモグラフィを、前記較正パターンの前記画像表現の定位された相対位置または透視歪みから求めることを特徴とする、請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記画像解析を使用して、前記概要画像（７０）またはさらなる概要画像が既知の形状を有する較正パターンの画像表現を含むかどうかを監視し、この場合、前記較正パターンの前記画像表現を前記概要画像（７０）またはさらなる概要画像に自動的にローカライズし、前記較正パターンの前記画像表現の定位された位置または透視歪みから前記サンプルキャリア（１０）の高さ（Ｈ）および／または前記ホモグラフィを求めることを特徴とする、請求項２～５のいずれか１項に記載の方法。

【請求項7】

前記サンプルキャリアの高さ（Ｈ）を確認し、
確認された前記高さ（Ｈ）に基づいて前記ホモグラフィを計算または選択することを特徴とする、請求項２～６のいずれか１項に記載の方法。

【請求項8】

画像解析により、前記概要画像（７０）における要素の画像表現のサイズまたは位置を確認し、
前記要素の前記画像表現の測定されたサイズまたは位置から、前記サンプルキャリア（１０）の高さ（Ｈ）または前記ホモグラフィを求めることを特徴とする、請求項１～７のいずれか１項に記載の方法。

【請求項9】

サンプルキャリア（１０）のタイプを認識する前記概要画像（７０）の画像分析と、
特定のサンプルキャリアタイプが認識される場合、
前記サンプルキャリア（１０）の関連する形状情報をデータベースから取得し、ここで、形状情報には、様々なサンプルキャリアタイプが保存されており、前記画像表現は、前記形状情報を用いて推論される、または、
データベースから前記サンプルキャリアタイプの前記画像表現を取得し、ここで、様々なサンプルキャリアタイプの画像表現が保存されること、を特徴とする、請求項１～８のいずれか１項に記載の方法。

【請求項10】

タイプ認識において、以前に知られていなかったサンプルキャリアタイプが決定された場合、
前記サンプルキャリア（１０）に関する形状情報を入力するようにユーザーに要求すること、および／または
前記概要画像（７０）において認識された既知の形状を有する較正パターンの画像表現から前記サンプルキャリア（１０）に関する形状情報を求めること、および／または
較正パターンを提供するようにユーザーに要求し、その後、さらなる概要画像を記録し、前記さらなる概要画像において認識された前記較正パターンの画像表現から前記サンプルキャリア（１０）に関する形状情報を求めること、
最適なホモグラフィを確認するために様々なホモグラフィをテストすること、および
以前に知られていなかったサンプルキャリアタイプについての前記形状情報または現在最も適したホモグラフィでデータベースを補完すること、を特徴とする、請求項９に記載の方法。

【請求項11】

サンプルステージ（２０）の異なる位置で記録された、または異なる視点から記録された少なくとも２つの概要画像を提供し、
前記サンプルステージ（２０）上の要素の画像表現と前記サンプルキャリア（１０）の上側（２３）上の要素の画像表現との間で定義される相対位置が、前記概要画像の間でどのように変化するかを確認し、
確認された前記相対位置の変化から前記サンプルキャリア（１０）の高さ（Ｈ）または前記ホモグラフィを求めることを特徴とする、請求項１～１０のいずれか１項に記載の方法。

【請求項12】

前記ホモグラフィの決定が、
複数のテスト画像を生成する目的で、異なる高さ（Ｈ）に対応する様々なホモグラフィを前記概要画像（７０）に適用し、
前記テスト画像のうち、どの画像が最良の画像補正を示すかを評価し、かつ
前記概要画像（７０）を前記平面図画像（７１）に透視変換したことによる前記ホモグラフィとして、前記最良の画像補正を示す前記テスト画像の前記ホモグラフィを特定することを含むことを特徴とする、請求項２～１１のいずれか１項に記載の方法。

【請求項13】

異なる観察角度から少なくとも２つの概要画像を取得し、前記少なくとも２つの概要画像の間の画像差から前記サンプルキャリア（１０）の高さ（Ｈ）を求めることを特徴とする、請求項１～１２のいずれか１項に記載の方法。

【請求項14】

画像解析を使用して、前記決定されたホモグラフィを用いて記概要画像（７０）から計算された、前記平面図画像（７１）における複数のサンプル領域を定位させ、かつ
前記測定位置（２２）が位置する前記サンプル領域を確認して出力し、
前記平面図画像（７１）における複数のサンプル領域の定位が、
前記平面図画像（７１）を「サンプルチャンバ」、「サンプル領域」、「サンプルキャリア」および／または「背景」のクラスを含む、クラスにセグメント化し、
前記平面図画像（７１）のサンプルチャンバ画像表現を検出し、形状的な広がりを推定することを含む、ことを特徴とする、請求項２～１３のいずれか１項に記載の方法。

【請求項15】

前記サンプルキャリア（１０）に対応する規則的なパターンにより前記セグメント化または検出を精緻化し、ここで、異なるサンプルキャリア（１０）のために異なるパターンが保存されているか、または前記パターンがセグメント化または検出により確認された前記サンプルチャンバ画像表現から求められることを特徴とする、請求項１４に記載の方法。

【請求項16】

サンプルキャリアタイプを確認し、ここで、サンプルチャンバの関連するサイズおよび配置が、様々なサンプルキャリアタイプのために各ケースに保存され、
画像解析により前記概要画像（７０）または出力画像におけるサンプル領域の定位が、
前記概要画像（７０）または出力画像における前記サンプルキャリア（１０）の前記画像表現の位置を確認し、
前記確認された位置および前記確認されたサンプルキャリアタイプから、サンプルチャンバ画像表現の画像領域を求めることを含む、ことを特徴とする、請求項１～１５のいずれか１項に記載の方法。

【請求項17】

較正画像を記録し、
前記較正画像を平面図較正画像に透視変換することにより、特定の高さ平面に関するホモグラフィを確認し、
光軸（３２）と前記決定された高さ平面との交点を前記平面図較正画像中で確認し、
この交点の座標を前記平面図較正画像に保存して、平面図画像（７１）で特定される前記測定位置（２２）の座標として使用することにより、顕微鏡対物レンズ（３０）の前記光軸（３２）に対して前記概要カメラ（６０）を較正することを特徴とする、請求項１～１６のいずれか１項に記載の方法。

【請求項18】

サンプルキャリア（１０）の概要画像（７０）を記録するための概要カメラ（６０）を含む顕微鏡であって、かつ前記概要画像（７０）における前記顕微鏡の測定位置（２２）の画像座標は、前記サンプルキャリア（１０）の高さ（Ｈ）に依存する顕微鏡であって、
前記サンプルキャリア（１０）の前記高さ（Ｈ）に基づいて、前記概要画像（７０）が平面図画像（７１）に透視変換されることにより投影を決定し、ここで、前記平面図画像（７１）における前記測定位置（２２）の画像座標は既知であり、
決定された前記投影を用いて、前記概要画像（７０）またはそこから派生した出力画像の中の測定位置（２２）を特定するように構成されたコンピューティングユニット（５０）を特徴とする、顕微鏡。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、顕微鏡および顕微鏡の測定位置を確認する方法に関する。

【背景技術】

【0002】

従来の顕微鏡では、サンプルキャリアはサンプルステージ上に配置される。サンプルキャリアは、複数のサンプル容器を含み得、例えば、チャンバオブジェクトキャリア（マルチウェルチャンバスライド）またはウェルを有するマルチウェルプレートで形成され得る。この場合、特に、ユーザーは、顕微鏡の対物レンズが向けられたウェルまたは測定位置を確実に認識することが困難である。サンプルキャリアを手で移動させたり、またはｘｙステージを使用する手動スタンドを使用した場合、サンプルステージの位置については、原則として参考になる情報はない。

【0003】

顕微鏡画像は対物レンズおよび下流カメラにより記録され、それぞれの顕微鏡画像が属する測定位置（例えば、マルチウェルプレートのウェル）を文書化する必要がある。この目的のために、現在検査中のマルチウェルプレートでは、ウェルの列および行のカウントが頻繁に行われ、記録された顕微鏡画像にはこの情報が手入力される。ここでは、マルチウェルプレートの向きを正しく考慮する必要がある。したがって、適切な文書化は、多くの労力を必要とし、エラーが発生しやすい。

【0004】

また、特に文書化の目的で、概要画像も記録し得る。サンプルキャリアの概要画像は、一般的な方法で、例えば概要カメラによって得られる。後者は、顕微鏡の対物レンズからの検出光を受けるカメラに加えて存在され得る。また、概要画像が記録されている場合には、原則として、ユーザーは、前述の問題点を伴う先行技術における前述の作業ステップを実行しなければならない。

【0005】

完全に自動化されたソリューションは、ハイコンテントスクリーニングから知られている。一例として、マイクロタイタープレートの全てのウェルに連続してアプローチし、この場合には自動化された方法で検査される。第一に、これらのシステムは非常に高価であり、第二に、それらの柔軟性が制限される。したがって、全てのマルチウェルまたはマイクロタイタープレートは、この場合、特定の向きでロードされなければならず、また、１つのウェルから次のウェルへの必要な変位、例えばサンプルステージの必要な変位が知られていなければならない。これは、サンプルキャリアが既知である場合、例えば、特定の製造業者の特定のマイクロタイタープレートの場合にのみ、自動化された方法で実施され得る。この場合も、原則として、マイクロタイタープレートの位置および向きを指定するために、ステージ上のストップまたはホルダーが必要となる。未知のサンプルキャリアについては、これらのシステムの場合には、現在検査中のサンプル容器を手動で確認し、文書化する必要がある。

【0006】

顕微鏡の測定位置の確実な捕捉を可能な限り容易に可能にする方法および顕微鏡を具体化することは、本発明の目的であると考えることができる。

【発明の概要】

【課題を解決するための手段】

【0007】

この目的は、請求項１の特徴を有する方法と、請求項１８の特徴を有する顕微鏡により達成される。

【0008】

本発明による方法および本発明による顕微鏡の有利なバリエーションは、従属請求項の主題であり、以下の説明で追加的に説明されよう。

【0009】

前述のタイプの方法では、本発明によるマッピングまたは投影が決定され、それにより、概要画像は、サンプルキャリアの高さに基づいて、平面図画像／上面図画像に透視変換される。これは、決定されたマッピングの助けを借りて、概要画像またはそこから求められた出力画像（例えば平面図画像）の中の測定位置の特定に続く。

【0010】

本発明の顕微鏡は、コンピューティングデバイスと、サンプルキャリアの概要画像を記録するための概要カメラとを含む。コンピューティングデバイスは、サンプルキャリアの高さに基づいて、概要画像が平面図画像に透視変換されることによりマッピングを決定するように構成される。さらに、コンピューティングデバイスは、決定されたマッピングの助けを借りて、概要画像またはそこから求められた出力画像の中の測定位置を特定するように構成される。

【0011】

マッピングは、空間内の平面を別の平面に透視画像化し、または投影したりするホモグラフィであり得る。このように、ホモグラフィには、概要画像の画像内容が、異なる視認方向（具体的には平面図画像）からどのように見えるかが記述される。

【0012】

本発明の利点は、概要画像を記録するための概要カメラと顕微鏡対物レンズがサンプルキャリアの対向面（上／下）に配置されており、サンプルキャリアが無視できるほどの高さを有していない場合に特に発揮される。以下、理解しやすいように例を挙げて説明する。原則として、顕微鏡の測定方向に対して角度を有して概要画像が記録される。一例として、概要カメラの視野方向は、顕微鏡の対物レンズの光軸に対して角度を有し得る。また、顕微鏡の測定位置は、対物レンズの光軸上に位置していてもよい。しかし、記録された概要画像では、対物レンズの光軸が延びる概要画像内の画像座標が明確に読み取れない。これらは、原則として可変である概要カメラからのサンプルキャリアの距離に依存する。一例として、異なるサンプルキャリア（例えば、マイクロタイタープレート）は、記録されたマイクロタイタープレートと概要カメラとの間の距離が可変である結果、異なる高さ寸法を有し得る。特に、概要カメラが光軸に対して角度を有する場合、概要画像における測定位置の画像座標は、概要カメラに対するサンプルキャリアの高さまたはその相対位置に顕著な依存性を有する。この依存性を考慮に入れるために、本サンプルの高さのホモグラフィは、本発明の方法で確認され得る。このようにホモグラフィが確認された結果、概要画像における測定位置の画像座標へのサンプルの高さの影響を考慮することが可能となる。

【0013】

ホモグラフィは、一平面内の点がどのように透視画像化されるか、または別の平面に投影されるかに関する記述または計算規則を意味すると理解され得る。例として、確認されたホモグラフィは、行列、特に３×３の行列により形成され得る。概要画像を平面図画像に変換するホモグラフィを確認することができる。このホモグラフィは、上で説明したように、サンプルの高さに依存する。

【0014】

確認されたホモグラフィの助けを借りて概要画像から出力画像としての平面図画像を計算した場合、出力画像では画像座標へのサンプルの高さの影響が除去されている。特定のサンプルの高さとは独立して、顕微鏡の測定位置の画像座標は、これらの出力画像において常に同じであり得る。測定位置の画像座標の値は、平面図画像で指定され得る。一例として、測定位置が平面図画像中に位置する画像座標は、メモリに保存され得る。あるいは、平面図画像のためのこれらの画像座標は、既知の顕微鏡パラメータの助けを借りて計算することもできる。今や、計算された平面図画像が求められた出力画像として使用され、所定の画像座標、またはメモリに保存された画像座標がここでは測定位置として特定されることにより、測定位置が特定され得る。

【0015】

また、概要画像から平面図画像を計算する代わりに、確認されたホモグラフィを用いて、平面図画像における測定位置の画像座標を概要画像における測定位置の画像座標に変換するようにしてもよい。このように、測定位置は、（平面図画像における測定位置の）特定された画像座標またはメモリに保存された画像座標を、決定されたホモグラフィの助けを借りて概要画像の透視図に変換し、これらの変換された画像座標を測定位置として特定することにより特定され得る。したがって、概要画像から平面図画像を計算する必要はない。

【0016】

平面図画像は、視認方向がサンプルキャリアに垂直な画像、または視認方向が顕微鏡の光軸／測定方向に平行な画像、特に測定方向に反平行な画像を意味すると理解され得る。測定方向は、対物レンズの光軸に対応し得る。しかし、顕微鏡は必ずしも対物レンズを含む必要はなく、例えば、触覚測定ヘッドを含み、または任意の他の光学測定原理に従って動作し得る。より一般的なバリエーションでは、平面図画像は、測定位置の画像座標が既知であるまたは最初に決定された平面図画像として、概要画像とは異なる視点での画像を意味すると理解され得る。一般的に、この知識は、平面図画像の視認方向が顕微鏡対物レンズの光軸と平行であれば、最も容易に得られ得るが、これは必須ではない。従って、特定のサンプルの高さについては、決定されたホモグラフィは、顕微鏡の測定位置の相対的な位置が既知である別の平面への概要画像のマッピングを記述し得る。

【0017】

顕微鏡の測定位置は、採用された顕微鏡対物レンズの光軸上に位置するサンプルキャリアまたはサンプルキャリア中のサンプルの領域を意味するものと理解され得る。別の表現をすると、測定位置は、顕微鏡画像で焦点を合わせて画像化されたサンプル／サンプルキャリアの領域、またはこの領域の中心を意味すると理解され得る。概要画像またはそこから求められた画像における測定位置の特定は、光軸に垂直な位置を特定する測定位置の横座標に関連しなければならない。原則として、概要画像にはサンプルキャリア上側の画像が記録されており、例えば顕微鏡画像に記録されている検出面の画像および、測定位置が位置する範囲内の画像は記録されていない。サンプルキャリア上側は、光軸に沿って検出面からオフセットしており、原則として検出面と平行である。サンプルキャリア上側への測定位置の投影、または光軸とサンプルキャリア上側との交点は、概要画像またはそこから求められた画像において確認されなければならない。この交点は、測定位置と同じ横方向の座標を有し、このため、本事例では、概要画像またはそこから求められた画像において測定位置を特定することにも言及する。

【0018】

サンプルキャリアが平面を有すること、すなわち実質的に水平であることを前提とし得る。サンプルキャリアの高さは、顕微鏡の測定方向／光軸に垂直な標高または高さ平面を特定し得る。ここで、標高は、概要画像において優勢に見えるサンプルキャリアの側面または構造に関連する。一例として、サンプルキャリアが、概要画像ではほとんど見えない透明な蓋を有し、その代わりに、蓋の下のサンプル容器の上端がより明確に見える場合、高さは、これらの可視構造物を介して高さ平面に関連し得る。

【0019】

異なる表現をすると、サンプルキャリアの高さまたは高さ寸法は、サンプルキャリア下側からサンプルキャリア上側に向かって、顕微鏡対物レンズの光軸に沿ったその寸法を表し得る。この高さの定義は、サンプルキャリア側の構造が概要画像において見え、ホモグラフィの確認に使用される場合に適切である。しかし、場合によっては、サンプルキャリア上側が概要画像では十分に見えず、代わりにサンプルキャリア下側とサンプルキャリア上側との間に位置する他のサンプルキャリア構造物がホモグラフィの確認を決定する。この場合、サンプルキャリアの高さは、前述の構造物の高さを表す。

【0020】

サンプルキャリアの高さの確認
決定されるホモグラフィは、サンプルキャリアの高さに依存する。ここでは、現在の測定状況に応じた正しいホモグラフィを様々な方法で確認され得る。例えば、次にサンプルキャリアの高さに関連したホモグラフィを選択するために、最初にサンプルキャリアの高さを確認し得る。あるいは、異なる高さに対する様々な特定されたホモグラフィをテストし、どのホモグラフィが最良の結果をもたらすかの評価を行うこともでき、その後、このホモグラフィはさらに使用され、その結果、サンプルキャリアの高さに依存するホモグラフィが選択されるが、高さを直接決定することはできない。様々な手順を以下に説明する。

【0021】

概要カメラに対するサンプルキャリアの相対的な位置は、正しいホモグラフィを決定するために非常に重要である。概要カメラとサンプルステージとの間の相対位置が予め知られている場合には、サンプルキャリアの高さ寸法に関する知識を利用してサンプルキャリアの高さ／標高を求めることも可能である。

【0022】

本発明の一変形例では、既知の形状を有する較正パターンがサンプルキャリア上に提供される。一例として、平面的なチェッカーボードパターンまたは他の任意のパターンをサンプルキャリア上に適用または配置し得る。パターンはまた、サンプルキャリアの端に取り付けられるか、または配置、接着剤での接着、またはそこに静止することによって配置され得る。同様に、較正パターンとしては、プルオーバーフレームまたは挿入フレームを用いることができ、それはフレームとしてサンプルキャリアの周囲に配置される。サンプルキャリアの高さを決定し、および／またはホモグラフィを決定することは今や、画像解析によって、概要画像内の、またはそこから求められた画像内の較正パターンの画像表現の特定および定位を含む。今や、サンプルキャリアの高さおよび／またはホモグラフィは、概要画像における較正パターンの画像表現の定位された相対位置または透視歪みから求められ得る。一例として、較正パターンの画像表現の最良の画像補正を供給するホモグラフィを、複数の特定されたホモグラフィの中から選択され得る。

【0023】

概要画像はまた、特にライブストリームを生成するために、複数の概要画像を連続して記録し得る。記述された画像解析ステップは、同じ概要画像に関連する必要はないが、連続して記録された概要画像に関連してもよい。例えば、第１概要画像で較正パターンが認識され得、第２概要画像に基づいて確認されたホモグラフィの助けを借りて測定位置が決定される。較正パターンは、第２概要画像が記録される前に、任意で削除され得る。したがって、ホモグラフィの決定は、概要画像またはそこから求められた画像における測定位置の決定とは異なる概要画像の助けを借りて実施され得る。

【0024】

特に、概要カメラのライブストリームの場合は、画像解析により、既知の形状を有する較正パターンの画像表現が概要画像に含まれているかどうかをも監視することができる。もしこういう場合なら、概要画像内の較正パターンの画像表現を自動的に定位し得る。サンプルキャリアの高さおよび／またはホモグラフィの導出は、今や較正パターンの画像表現の定位された相対位置または透視歪みに基づいて実行される。したがって、ユーザーは較正パターンを適用するだけで、自身で画像解析または較正パターン認識を開始したり、または実行したりする必要はない。例として、画像解析は、分類または検出の手段によって実施され得る。

【0025】

本発明のいくつかの変形例では、最適化ルーチンが、適切なホモグラフィを確認するために使用される。ここでは、最適化関数を使用し、求められる値はサンプルキャリアの高さである。この高さに依存したホモグラフィを概要画像に適用し、結果として得られたテスト画像を品質測定で評価する。品質測定は、テスト画像の画像補正の品質、例えば、サンプル容器形状および円形形状（偏心度）の間の対応の品質を特定する。

【0026】

あるいは、第１ステップでサンプルキャリアの高さを確認し得、その後、確認した高さに基づいてホモグラフィを選択または計算する。特定されたリストには、異なる高さに対するホモグラフィを含めることができる。確認された高さに応じて、確認された高さに最も適合するホモグラフィが選択される。確認された高さがリストに含まれる２つの高さの間にある場合、関連する２つのホモグラフィを補間することも可能である。あるいは、特定の式の助けを借りて、特に分析的な方法で、確認された高さからホモグラフィを計算することもできる。

【0027】

高さを決定するために、サンプルキャリアの上側のスポットを所定の角度で照らすことも可能である。照明スポットの位置を概要画像に取り込み、そこから高さを求めることができる。具体的には、サンプルキャリアの上側に鏡を設置することができる。光源が鏡でサンプルキャリアを照らすことで、概要画像の光の反射が測定される。概要画像における光の反射の位置を確認し、そこからサンプルキャリアの高さが求められる。特定されたホモグラフィは、光の反射の位置に対して表で直接リンクすることもできるので、高さを明示的に取得または出力したりする必要はない。サンプルキャリアの表面が少なくともわずかに反射している場合には、その上に鏡を配置する必要はなく、むしろサンプルキャリアの上側からの光の反射の位置を概要画像で確認し得る。

【0028】

あるいは、高さを確認するための画像解析により、概要画像中の要素の画像表現のサイズまたは位置を決定し得る。サンプルキャリアの高さまたはホモグラフィは、要素の画像表現の測定されたサイズまたは位置から求められ得る。例えば、概要画像から蓋の形状、特に蓋の幅を確認することができる。特にマルチウェルプレートはサイズが決まっているので、例えば、概要画像の中の蓋のサイズから高さを決定することができる。また、ウェルベースとウェル蓋間の変位を確認し、そこからサンプルキャリアの高さを求めることも可能である。また、サンプルキャリアの端の高さを概要画像で測定することも可能であり、これも同様にサンプルキャリアの高さに依存する。さらに、概要画像から直角を求めたり、または角度を測定したりすることが可能である。今、このようにして、ホモグラフィを確認または選択したりすることで、サンプルキャリア上の（例えば、コーナーにおける）直角が、ホモグラフィの助けを借りて概要画像から得られる透視補正された出力画像にも直角が生じるようにし得る。サンプルキャリア角度が最も直角に近い出力画像を供給するホモグラフィは、異なる高さについて複数の特定されたホモグラフィの中から選択され得る。

【0029】

サンプルステージ上のどのサンプルキャリアが較正位置に配置されるかの目的のために、位置またはサイズを概要画像で決定し得る。概要画像が異なる時間に記録された場合には、サンプルキャリアがそこへ横方向に変位している場合がある。

【0030】

ホモグラフィを決定するための前述のステップは、特に画像処理アルゴリズムおよび／または機械学習アルゴリズムによって自動的に実行されてもよいし、そうでなければ手動で実行されてもよい。

【0031】

本発明のさらなる変形例では、サンプルキャリアのタイプ認識または分類の目的のために、画像解析が概要画像上で実行される。一例として、マルチウェルプレートまたはマルチウェルチャンバスライドのどのタイプ（特に、製造者およびモデル）が存在するかを認識することが可能である。特に、これは、マルチウェルプレートまたはマルチウェルチャンバスライドの様々なタイプの概要画像が学習した、機械学習アルゴリズムによって実施され得る。各々の形状情報項目、特に各々の高さは、様々なサンプルキャリアタイプのためのデータベースに保存され得る。これは、高さ／標高自体が格納されているか、またはそうでなければこれが導出されることによる値、例えば、事前に知られているサンプルステージの高さでの計算によって結合されたときに所望の標高をもたらすサンプルキャリアの高さ寸法のいずれかを意味すると理解され得る。形状情報／形状情報項目の他の例としては、サンプルキャリアの上側の点パターンの座標である。例えば、長方形のサンプルキャリアの上側の四隅の座標が保存され得、ここで、四隅が長方形を形成せず、概要画像の視野角によっては透視的に歪んだ四角形を形成する。この形状情報項目の助けを借りて、求められるマッピング／ホモグラフィが確認される。例えば、保存された点パターン（例えば、歪んだ四辺形）から計算規則を決定することができ、その計算規則は、点パターンを平面図（歪んだ四辺形が矩形になる）の透視図に変換する。形状情報項目の代替として、求められるマッピングは、サンプルキャリアタイプのデータベースから直接読み出され得、この場合、様々なサンプルキャリアタイプのマッピングがデータベースに保存される。

【0032】

画像解析で特定のタイプが認識された場合には、データベースからサンプルキャリアの高さが読み出され、この高さがホモグラフィの決定に使用される。

【0033】

以前に知られていないサンプルキャリアタイプがタイプ認識の範囲内で決定され、そのための形状情報項目（特に高さがない）がデータベースに保存されていない場合、以下のステップのいずれかを実行し得る：
サンプルキャリアの形状情報項目、特にその高さを入力するようにユーザーに要求すること；（特に、形状情報項目は、ユーザーが例えば概要画像でサンプルキャリアの角の特徴的な領域をマーキングすることによっても入力可能である）および／または
サンプルキャリアに関する形状情報項目、特に、その高さを、概要画像で認識された既知の形状を有する較正パターンまたは要素の画像表現から求めること、および／または
較正パターンを適用し、その後に概要画像で認識された既知の形状を有する較正パターンの画像表現からのサンプルキャリアに関する形状情報項目、特にその高さの導出をユーザーに要求すること、および／または
最適なホモグラフィを確認するための様々なホモグラフィをテストすること；特に、特定されたホモグラフィを概要画像に適用して評価し得、または最適化アルゴリズムは、最適化結果が最適なホモグラフィとして受け入れられるまで、ホモグラフィの可変パラメータを変更する。

【0034】

任意に、データベースは今や、存在する以前に知られていないサンプルキャリアタイプの形状情報項目またはホモグラフィが補充され得る。

【0035】

サンプルキャリアの高さおよび／または求められるホモグラフィは、２つ以上の異なる概要画像を比較することによっても確認され得る。この目的のために、特に顕微鏡の光軸に垂直な横方向に、それぞれの場合にサンプルステージが変位した間の概要画像を使用することができる。あるいは、２つの概要画像を異なる視点から（例えば、複数の概要カメラを使用して）記録することもでき、その結果、サンプルキャリアの移動が不要になる。その結果、概要画像の中の１または複数の要素のそれぞれの変位が確認される。少なくとも１つの要素は、サンプルキャリアの上側に位置する。一例として、要素は、サンプルキャリア上側の端の角もしくは点、またはサンプルキャリアのサンプル容器の１つの上端の角または点とし得る。また、その要素は、上側に書かれた文字またはマーキングであり得る。特に、サンプルステージ上の（少なくとも）１つの要素の画像表現と、サンプルキャリアの上側の（少なくとも）１つの要素の画像表現との間に定義された相対的な位置が、２つ以上の概要画像の間でどのように変化するかを確認することが可能である。サンプルキャリアの高さおよび／またはホモグラフィは今や、この相対的な位置での確認された変化から求められ得る。

【0036】

また、ホモグラフィは、複数のホモグラフィをテストすることによって決定され得る。このように、様々なホモグラフィを概要画像に適用することができ、様々なホモグラフィは異なる高さに属する。例えば、１ｍｍ間隔で０ｍｍから５０ｍｍまでのサンプルキャリアの高さに属する、５０個の特定されたホモグラフィがテストされ得る。これらの特定されたホモグラフィのそれぞれを使用して、概要画像からそれぞれのテスト画像が生成される。ここで今、どのテスト画像が最良の画像補正を持っているかの評価が行われる。評価基準としては、例えば、角度の真偽または直線の平行度であり得る。サンプルキャリアは長方形の形状をしていることが多いので、正しく画像補正されたテスト画像では、９０°の角度または相互に平行な反対側の辺を示さなければならない。正しく画像補正された画像では、マイクロタイタープレートの円形ウェルは楕円ではなく円形でなければならない。最良の画像補正を示すテスト画像のホモグラフィは、概要画像を平面図画像に透視変換し得るホモグラフィとして特定／設定される。特定されたホモグラフィの代わりに、あらかじめ定義されていないホモグラフィを計算し、それを用いてテスト画像を生成および評価し、最終的に最適な画像補正を行ったテスト画像を生成するホモグラフィを出力する最適化手法を用いることもできる。

【0037】

また、異なる観察角度から記録された少なくとも２枚の概要画像からサンプルキャリアの高さを知ることもできる。この目的のために、概要カメラが変位可能であり得、または異なる観察角度からサンプルに向けられた、複数の概要カメラが存在する。今や、サンプルキャリアの高さは、少なくとも２つの概要画像の間の差から求められ得る。特に、２つの概要カメラは、互いに直交する方法でサンプルステージに向けられることができる。今や、存在する１つの自由度だけで画像変位を決定することが可能になり、後者は、求められるサンプルキャリアの高さに対応する。例として、これはセグメンテーションマスクを用いて実行され得る。

【0038】

原則として、サンプルキャリアの高さはまた、ユーザーによって手動で特定され得る。さらに、様々なサンプルキャリアタイプに対してそれぞれの高さが保存されている場合には、サンプルキャリアタイプを入力することでこれが暗黙的に生じ得る。

【0039】

概要画像からのサンプル領域の特定
顕微鏡の測定位置は、概要画像の画像座標の形態で、出力しないことが好ましい場合もあるし、出力するだけではないことが好ましい場合もある。むしろ、測定位置が配置されている概要画像内のサンプル領域に関して、特定が望まれてもよい。特に、サンプル領域は、サンプルキャリアの異なるサンプルチャンバまたはサンプル容器であり得る。最初に、決定されたホモグラフィの助けを借りて、概要画像から平面図画像を計算し得る。次に、画像解析により、平面図画像内のサンプル領域が特定される。その後、測定位置が配置される特定されたサンプル領域が確認され、出力される。

【0040】

平面図画像における複数のサンプル領域の定位は、特にセグメンテーション、すなわち、平面図画像を様々なクラスにピクセルごとに分類することを含み得る。分類は、以下のクラスのうちの１または複数を含む：「サンプルチャンバ」、「サンプルキャリア」、「サンプル領域」、および「背景」は、さらなる分類を含んでもよい。その結果、サンプルチャンバの領域は、平面図画像においてピクセル精度で定位される。「サンプルキャリア」クラスは、どの画素がサンプルキャリアのうちサンプルチャンバではない部分、すなわち、例えばサンプルチャンバ間のサンプルキャリアの領域を示すかを特定する。「背景」は、サンプルキャリアの横方向外側の領域を示し、ここでは、例えば、サンプルステージが記録され得る。

【0041】

平面図画像内の複数のサンプル領域の定位はまた、代替的に、平面図画像内のサンプルチャンバ画像表現の検出と、例えばバウンディングボックスを用いた形状的な広がりの推定とを含み得る。

【0042】

サンプルキャリアに対応する規則的なパターンによるセグメンテーションまたは検出の精緻化は、任意で補足され得る。異なるサンプルキャリアに対して異なるパターンを保存し得る。代替的に、パターンは、セグメンテーションまたは検出によって確認されたサンプルチャンバ画像表現から導かれ得る。例として、パターンは、円形のサンプル容器が存在し、直径と互いの間隔が、概要画像で確認されたサンプル容器の直径と間隔の平均として計算されることを意味すると理解され得る。

【0043】

サンプルキャリアタイプは、特にユーザーによる手動入力または画像解析によって確認され得る。解析された画像は、概要画像またはそこから求められた画像、特に出力画像または平面図画像であり得る。それぞれ割り当てられたサンプルチャンバのサイズおよび配置は、様々なサンプルチャンバタイプのために保存され得る。例えば、サンプルキャリアタイプは、特定のスタイルのマイクロタイタープレートであり得、そのために、ウェルの数、サイズおよび相対的な（特に、サンプルキャリアの端に対する）位置が保存される。画像解析による画像中のサンプル領域またはサンプルチャンバの定位は、解析された画像中のサンプルキャリアの画像表現の相対的な位置、特に変位および回転を確認の確認を含む。そして、確認された相対位置および確認されたサンプルキャリアタイプから、サンプルチャンバ画像表現が位置する画像領域が求められる。サンプルキャリアタイプに関する保存された情報項目は、平面図画像に関連することができ、例えば、情報項目は、長方形のパターンの円形のウェルを記述し得る。平面図画像の代わりに概要画像が解析された場合、確認されたホモグラフィは、保存された情報項目を概要画像に透視的に適合させるために使用され、それにより、例えば、楕円形のウェル画像表現が存在し得る。

【0044】

平面図画像での測定位置の特定
平面図画像における測定位置の画像座標は、メモリに保存され得る。この情報項目は、概要カメラの較正によって得られたものであり得る。較正は、顕微鏡の測定方向に対して実施されてもよいし、または顕微鏡対物レンズの光軸に対して実施されてもよい。この場合、概要カメラは較正画像を記録する。後者は、概要画像と同様に、サンプルステージ上に任意でパターン（較正パターン）を配置して記録され得る。今、ある標高、例えばサンプルステージの平面に関して、ホモグラフィが確認され、それによって較正画像が平面図較正画像に透視変換される。これにより、平面図較正画像の中の光軸／測定軸の交点または貫通点が決定される。この目的のために、ユーザーは、例えば、顕微鏡対物レンズを介して記録された顕微鏡画像と平面図較正画像とを比較し、顕微鏡画像の中心に対応する座標を平面図較正画像の交点としてマークし得る。平面図較正画像における交点の座標は、平面図画像において特定される測定位置の座標として使用するために保存される。平面図画像は、サンプルステージ平面に平行な概要画像を透視的に補正したものであるため、平面図画像における測定位置座標は、サンプルキャリアの高さに依存しないか、あるいは大きく依存しない。

【0045】

機械学習による画像解析
本開示で特定される画像解析タイプのいくつかまたは全ては、機械学習アルゴリズムを用いて実施され得る。ここで、サンプルキャリアのセグメンテーションおよび分類、またはサンプルチャンバの検出のためのモデルは、教師あり学習により、トレーニングセットおよび関連するアノテーションに基づいて生成され得る。特に、深層学習法が使用され得る。

【0046】

追加の顕微鏡の特徴として記載された本発明の特性はまた、意図された通りに使用された場合に、本発明による方法の変形例をもたらす。逆に、顕微鏡、特にそのコンピューティングデバイスはまた、記載された方法の変形例を実行またはプロンプトするように構成され得る。

【0047】

特定されたコンピューティングデバイスは、顕微鏡に位置するコンピュータによって、または代替的に、または部分的に、例えばネットワーク接続を介して顕微鏡スタンドの周囲の電子部品と通信するリモートサーバまたはコンピュータによって設計され得る。本明細書に記載された様々な画像解析および顕微鏡制御は、コンピューティングデバイスによって実行され得る。この目的のために必要なソフトウェアは、コンピューティングデバイスに保存され得る。コンピューティングデバイスはまた、１または複数のプロセッサ、特にグラフィックプロセッサ（ＧＰＵ）によって形成されるか、またはそれを含む。ＧＰＵは、機械学習モデルのより高速なトレーニングに有利であり得る。

【0048】

概要画像は、必ずしも顕微鏡の光軸に対して角度を有して記録される必要はない。これに代えて、概要画像を記録する際の視野方向はまた、顕微鏡の測定方向と平行であってもよいし、または反平行であってもよい。一般的には、このような場合でも、サンプルキャリアの高さはまた、概要画像における測定位置の座標に影響を与える。求められるホモグラフィは結果として一般的に、概要画像を、サンプルキャリア（またはその上側への）からの異なる観察角度および／または観察距離に対応する別の平面上に透視マッピングすることを記述する。

【0049】

本発明のさらなる変形例は、「ホモグラフィ」の代わりに「マッピング」が上記の説明で使用される場合に生じる。マッピングは、空間内のある平面がどのように別の平面に変換されるかについての計算規則を必ずしも含む必要はない。むしろ、マッピングはまた、例えば機械学習アルゴリズムによって学習され得る。この場合、同様に、概要画像が平面図画像にどのように変換されるべきかについて、概要画像の画像内容、またはさもなくば他の情報項目からの計算または選択がある。形状的には、これは必ずしもホモグラフィに対応する必要はない。

【0050】

本発明の独立した概念では、測定位置の画像座標が概要画像から直接求められる方法を学習することが可能である。例によって、これは回帰によって学習され得る。使用されたトレーニングデータは、高さの異なるサンプルキャリアの概要画像を示しており、測定位置が機械学習アルゴリズムのターゲット変数としてそれぞれの場合で注釈付けされる。その結果、アルゴリズムは、この場合にホモグラフィを確認したりまたは適用したりすることなく、概要画像内の測定位置の座標を推論するように学習する。

【0051】

以下、本発明のさらなる利点および特徴を、添付の模式図を参照して説明しよう。

【図面の簡単な説明】

【0052】

【図1】本発明の態様を説明するためのサンプルキャリアの概略図である。

【図2】本発明による顕微鏡の例示的な実施形態の概略図である。

【図3】図２の顕微鏡によって記録された概要画像を模式的に示す。

【図4】図３の概要画像から計算された平面図画像を模式的に示す。

【図5】本発明による方法の例示的な実施形態を説明するためのフローチャートである。

【発明を実施するための形態】

【0053】

類似したおよび類似して作用する構成部分は概して、図中では同じ参照符号で特定される。

【0054】

図１は、複数のサンプル容器１１を有するサンプルキャリア１０を模式的に示す。図示された例では、これは、複数のウェルを有するマイクロタイタープレートであり、サンプル容器１１としては、任意の他の容器も可能であり得る。この例では、サンプル容器１１は、列および行に配置されており、ここで、行ラベル８は、様々な行Ａ～Ｇを特定し、列ラベルは、列１～６を特定する。顕微鏡を用いて、様々なサンプル容器１１を逐次検査（順序は必須ではない）し、その都度顕微鏡画像を記録する。プロセスにおいて、記録された顕微鏡画像が属するサンプル容器１１についての信頼性の高い文書化の必要性がある。

【0055】

これは、模式的な図２に例示的に示されているように、本発明による顕微鏡１００によって達成される。顕微鏡１００は、サンプルキャリア１０が配置されたサンプルステージまたは顕微鏡ステージ２０を含む。説明したように、サンプルキャリア１０は、複数のサンプル容器１１を含み、その中の少なくとも一部には、検査されるサンプルが配置される。照明光は、コンデンサー４０を介してサンプルキャリア１０に導かれる。サンプルから発せられる検出光は、カメラ３５を備えた対物レンズ３０を介して検出され得る。この例では、サンプルステージ２０は手で調整されており、その結果、対物レンズ３０に対する相対的な位置がそれ自体知られていない。したがって、対物レンズ３０の光軸３２がサンプルに衝突する測定位置２２は、さらに対策を講じなければ知ることができない。したがって、測定位置２２または光軸３２によって衝突されるサンプル容器１１に関する情報項目を確認する必要がある。この目的はまた、対物レンズ３０に対するサンプルステージ２０の位置は既知であるが、サンプルステージ２０上のサンプルキャリア１０の相対的な位置は必ずしも既知ではないか、または予想される相対的な位置から逸脱し得る、モータ駆動様式で調整可能なサンプルステージの場合にも当てはまる。

【0056】

概要カメラ６０は、対物レンズ３０およびカメラ３５の測定位置２２を決定するために使用される。概要カメラ６０の視野６２は、図２において破線を用いてプロットされており、サンプルキャリア１０の全体またはサンプルキャリア１０の一部をカバーする。サンプル容器１１を一意に特定するためには、視野６２がサンプルキャリア１０の２つ以上の縁を覆っていると有利である；図１を参照のこと。測定位置２２の横方向の位置、すなわち光軸３２に垂直な測定位置２２の位置の特定は、記録された概要画像から決定されるべきである。一例として、位置の特定は、現在の時刻または顕微鏡画像が記録されている間に光軸３２が延びるサンプル容器１１の特定であり得る。図示された例では、概要カメラ６０は、対物レンズ３０に対してサンプル容器１０の反対側に位置する。その結果、概要カメラ６０は、サンプル容器１０の上側２３の概要画像を記録する。光軸３２に垂直な上側２３の平面は、サンプルキャリア２０の高さＨを特定する。一般に、測定位置２２は、概要画像に記録された上側２３に対して光軸３２に沿ってオフセットされる。顕微鏡の設定に応じて、測定位置２２は、いずれの場合でも、サンプルキャリア１０の下側２１の領域に位置しているか、または上側２３から離れた位置にある。したがって、光軸３２に沿って上側２３に測定位置２２が投影されていることに対応する交点２４を概要画像上で確認しなければならない。概要画像におけるこの交点２４の相対位置は、測定位置２２の横方向の相対位置を特定する。

【0057】

問題は、サンプルキャリア１０の高さ寸法、ひいては上側２３の相対位置が未知であるか、または可変であるという事実から生じる。概要画像において、交差点２４の相対位置は、上側２３と概要カメラ６０との間の間隔に応じて変化し、結果的に高さＨに応じて変化する。本発明は、測定位置２２の横方向の相対位置を概要画像から推論することを可能にする解決策を提供する。この目的のために、コンピューティングデバイス５０は、記録された概要画像を評価する。図２に示されているように、コンピューティングデバイス５０はまた、顕微鏡１００の異なる構成要素、特に概要カメラ６０、カメラ３０、またはコンデンサー４０を介してサンプルキャリア１０を照明するここでは図示しない光源を制御または通信するように構成することができる。

【0058】

コンピューティングデバイス５０による概要画像の評価について、図３および図４を参照してより詳細に説明する。図３は、概要画像７０を示す。サンプル容器１１’を有するサンプルキャリア１０’の画像表現が、そこでは特定可能である。図示された例はまた、概要画像７０にコンデンサー４０’の画像表現を含むが、概要カメラ６０の配置によっては、これは必須ではない。

【0059】

本実施例では、サンプルキャリア１０の上側２３は、円形のサンプル容器１１を有する長方形の形状を有しており、その結果、概要画像７０において、サンプルキャリアの画像表現１０’の形状とサンプル容器の画像表現１１’の形状とが透視的に歪んでいる。

【0060】

概要画像７０は補正され、その結果、図４に示す平面図画像７１が生成される。より具体的には、サンプルキャリア１０の上側２３の平面からの画像情報項目が補正される。その結果、平面図画像７１において、サンプルキャリアの上側２３の画像表現１０’は長方形の形状を有し、サンプル容器の上端の画像表現１１’は円形状である。

【0061】

このような画像変換は、マッピングまたは特にホモグラフィと呼ばれる。概要画像７０から正しく補正された平面図画像７１を生成するためのマッピングまたはホモグラフィに適用されるものは、概要カメラ６０に対する上側２３の相対的な位置に依存する、すなわち高さＨに依存する。

【0062】

平面図画像７１は第１に、（未知の）歪みを考慮する必要がないので、画像解析を容易にし、その結果、サンプルキャリア１０’およびサンプル容器１１’の画像表現をより確実に特定することができる。特に、これは機械学習アルゴリズムによって実施され得る。

【0063】

さらに、平面図画像は、図２を参照する目的で、測定位置２２を確認する際に有利である。平面図画像の場合（これは、例えば、コンデンサー４０からの視野に対応する）、高さＨは、交点２４の画像座標に影響を与えない。この点は、概要カメラ６０による斜め方向の画像記録の場合とは異なる：高さＨに依存して、交点２４は、破線を用いて表示される光軸３２に沿って変位し、概要画像における変位につながる。しかしながら、概要画像が適用可能なホモグラフィを有する平面図画像に変換される場合、平面図画像内の交点２４の画像座標は、再び高さＨに依存しないか、または平面図画像内の高さＨに対する数学的依存性が既知である。サンプルキャリア１０の上側での画像表現２４’の投影の測定位置２２を特定する交点の画像表現２４’が図４にプロットされている。また、図４の画像解析により、サンプル容器の画像表現１１’が定位されているので、交点の画像表現２４’が位置するサンプル容器の画像表現１１’、すなわち、測定位置２２が位置するサンプル容器１１に関連する出力を生成することができた。

【0064】

上述した例示的な実施形態では、高さＨに対するホモグラフィは、そこにある測定位置２２または交点２４を特定するために平面図画像を計算するために使用される。しかしながら、高さＨに対するホモグラフィは、画像表現２４’の平面図画像座標を概要画像座標に変換するためにも使用され得る。このように、この場合、高さＨに対するホモグラフィは、概要画像７０における交点２４の座標を算出するために用いられ、それは概要画像７０から平面図画像７１を算出する必要はない。

【0065】

本発明の方法の例示的な実施形態
本発明による方法の例示的な実施形態のステップを、図５のフローチャートを参照してより詳細に説明する。

【0066】

まず、ステップＳ１において、サンプルキャリア１０の上側２３の概要画像７０が記録される。

【0067】

ステップＳ２において、この概要画像７０に適合するホモグラフィが確認される。前述したように、適合するホモグラフィは、サンプルキャリアの高さＨに依存する。

【0068】

確認されたホモグラフィの助けを借りて、ステップＳ５において、概要画像７０またはそこから求められた出力画像における測定位置２２または交点２４が決定される。

【0069】

ステップＳ８では、出力画像における測定位置の相対位置に基づいて出力が生成される。

【0070】

Ｓ２は、任意に、ステップＳ３またはステップＳ４で実施され得る。Ｓ３では、様々なホモグラフィが概要画像７０に適用される。このようにして複数のテスト画像が生成される。様々なホモグラフィが特定され、それぞれがそれぞれの高さＨに対して正しい画像補正を記述する。今、存在する概要画像に対してどのテスト画像が最良の画像補正を提供するかの評価が行われ、関連するホモグラフィが選択される。ここでは、高さＨは、ホモグラフィのうちの１つの選択によって間接的に決定されるだけである。

【0071】

あるいは、高さＨは、最初にＳ４において測定によって確認され得る。その後、測定された高さＨに対応するホモグラフィは、例えば、異なる高さについてのホモグラフィの所定のリストから選択され得る。

【0072】

ステップＳ３およびＳ４の様々な例および変形例は、本明細書の一般的な部分でより詳細に具体化されている。

【0073】

続くステップＳ５では、顕微鏡の測定位置２２の相対位置は、平面図画像について予め知っていてもよいし、または較正測定により確認され得る。しかし、ステップＳ１で記録されたのは平面図画像ではなく、斜めからの概要画像であったため、ステップＳ５では、それは今や測定位置２２と概要画像７０との空間的な関係を確立することが目的となっている。一例として、Ｓ５は、ステップＳ６またはステップＳ７により実施され得る。Ｓ６では、Ｓ２のホモグラフィの助けを借りて、測定位置の画像座標が既知である平面図画像７１が概要画像７０から算出される。あるいは、Ｓ７において、Ｓ２からのホモグラフィの助けを借りて、平面図画像の既知の測定位置座標を概要画像７０の画像座標に変換する。このようにして、測定位置は、平面図画像７１ではなく、概要画像７０で特定される。さらなる例では、概要画像から得られた出力画像を算出し、この出力画像の透視図に対して平面図画像の測定位置座標を変換することも可能である。

【0074】

ステップＳ８では、出力画像における測定位置２２の確認された相対位置に基づいて出力が生成され、ここで、出力画像は、特に透視的に、概要画像または平面図画像に対応し得る。一例として、画像解析方法により、出力画像中にサンプルキャリア１０の複数のサンプル容器１１を特定することができ、顕微鏡の光軸が現在向けられているサンプル容器１１、すなわち、測定位置２２が現在位置しているサンプル容器を出力画像中にマークする。

【0075】

複数の分離されたサンプル容器を有するサンプルキャリア１０の代わりに、複数のサンプル領域を有するサンプルキャリアを使用することもできる。一例として、サンプルキャリアは、複数のサンプル領域、特に間隔をあけて配置されたサンプル領域が提供されるペトリ皿とし得る。一例として、そのようなペトリ皿はｉｎ ｖｉｔｒｏ受精では一般的である。サンプル容器に関して上述した説明もまた、これらのサンプル領域に同様に適用される。

【0076】

ステップＳ８における出力のさらなる例を以下に説明する：
測定場所が配置されているサンプル領域またはサンプルチャンバの特定仕様を出力することができる。特に、サンプルキャリアの発見されたウェル（ポット）の番号付き割り当て、例えば「Ａ１」、「Ｂ５」等の形式があり得る。この目的のために、ウェルは、画像解析によって、概要画像またはそれから得られた画像、例えば平面図画像の中に定位され、前記ウェルは、各ウェルについて列と行を特定することができるように、サンプルキャリア端からカウントされる。この場合、サンプルキャリアはまた、画像解析によって分類され得、その結果、列および行の全体的な数が知られる。その後、概要画像内の任意の端からウェルをカウントすることは、たとえそれが概要画像に記録されるサンプルキャリア全体でなくても可能である。あるいは、いくつかのマルチウェルプレートについて従来のように、サンプルキャリア上のサンプル容器に隣接するマーキング、例えば「Ａ１」を特定することも可能である。例えば、これらはＯＣＲ（光学的文字認識）によって認識され得、それによって隣接するサンプル容器が特定される。その結果、カウントまたはカウントに必要な概要画像のコンテキスト情報は必要ない。

【0077】

次いで、特に、１または複数の顕微鏡画像を顕微鏡で記録し、光軸の周りのサンプル領域をその中に画像化するための準備をすることができる。複数の顕微鏡画像は、特に、横方向にオフセットしたサンプル領域を示し得る。今や、特定仕様は、ステップＳ８において、特に、概要画像と同じステージ位置で記録された、関連する顕微鏡画像のメタデータとして保存され得る。

【0078】

さらに、Ｓ８では、概要画像またはそこから求められた画像を提示することができ、ここでは、現在の測定位置は、マークされおよび／または既に記録されている顕微鏡画像がマークされる（追跡している）ためのサンプル領域である。また、顕微鏡画像が記録されるまたは記録されたサンプル容器の断面を示すことが可能であり、サンプル容器の充填のための利用可能な情報が処理された概要画像にリンクされ得、または充填されたサンプル容器が画像解析により概要画像から特定され得る。例えば、ワークスルーウェル／サンプル容器を異なる色で表現することで、全ての（充填された）サンプル容器が検査されたことを文書化することができる。これはまた、同じサンプル容器が不注意で二度検査されることを防ぎ得、従来では、ユーザーが測定位置を変更して、隣接するサンプル容器に既に到達したと仮定すると、このようなことが起こる危険性がある。また、Ｓ８の出力は、モータ駆動のサンプルステージを制御するために使用することもできる。モータ駆動制御では、概要画像から求められる、サンプルキャリアの向き、サンプル容器のサイズおよび／または個々のサンプル容器の充填を考慮に入れることが可能である。

【0079】

顕微鏡画像が記録された測定位置またはサンプル容器に関する情報項目は、後にこのサンプル領域を取得し、特に後者に自動的にアプローチするためにも使用され得る。一例として、これは、スクラッチ後の細胞移動を観察することを意図したスクラッチアッセイに使用され得る。

【0080】

記載された本発明の変形例を使用することで、概要画像またはそれから求められ得た画像における測定位置の柔軟で信頼性の高い確認を費用対効果的に提供することが可能になる。

【0081】

参照符号一覧
１－６ サンプルキャリア１０のカラム番号
８ サンプルキャリア１０のラインマーキング
１０ サンプルキャリア、マイクロタイタープレート
１０’ サンプルキャリア１０の概要画像または平面図画像での画像表現
１１ サンプルキャリア１０のサンプル容器
１１’ サンプル容器１１の概要画像または平面図画像での画像表現
２０ サンプルステージ
２１ サンプルキャリア１０の下側の平面
２２ 測定位置
２３ サンプルキャリア１０の上側（の平面）
２４ 光軸３２と上側２３との交点、または測定位置２２を上側２３に投影した点
２４’ 概要画像または平面図画像における交点２４または測定位置２２の画像表現
３０ （顕微鏡）対物レンズ
３２ 対物レンズ３０の光軸
３５ カメラ
４０ コンデンサー
４０’ コンデンサー４０の概要画像または平面図画像での画像表現
５０ コンピューティングデバイス
６０ 概要カメラ
６２ 概要カメラ６０の視野
７０ 概要画像
７１ 概要画像７０から計算された平面図画像
１００ 顕微鏡
Ａ－Ｇ サンプルキャリア１０のラインマーキング
Ｈ サンプルキャリア１０の高さ
Ｓ１－Ｓ８ 方法ステップ

【図1】

【図2】

【図3】

【図4】

【図5】