特許 7118042 距離判定システム、コンピュータ実装方法、及び、コンピュータ・プログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-04

(45)【発行日】2022-08-15

(54)【発明の名称】距離判定システム、コンピュータ実装方法、及び、コンピュータ・プログラム製品

(51)【国際特許分類】

   G02B 21/00 20060101AFI20220805BHJP

   G02B 7/04 20210101ALI20220805BHJP

   G02B 7/28 20210101ALI20220805BHJP

   G03B 13/36 20210101ALI20220805BHJP

   G06T 7/00 20170101ALI20220805BHJP

   H04N 5/232 20060101ALI20220805BHJP

   H04N 5/225 20060101ALI20220805BHJP

【ＦＩ】

G02B21/00

G02B7/04 C

G02B7/28 J

G03B13/36

G06T7/00 350B

H04N5/232 290

H04N5/225 400

【請求項の数】 16

【外国語出願】

(21)【出願番号】P 2019229630

(22)【出願日】2019-12-19

(65)【公開番号】P2020101799

(43)【公開日】2020-07-02

【審査請求日】2020-01-15

(31)【優先権主張番号】10 2018 133 188.6

(32)【優先日】2018-12-20

(33)【優先権主張国・地域又は機関】DE

【前置審査】

(73)【特許権者】

【識別番号】506151659

【氏名又は名称】カール ツァイス マイクロスコピー ゲーエムベーハー

【氏名又は名称原語表記】ＣＡＲＬ ＺＥＩＳＳ ＭＩＣＲＯＳＣＯＰＹ ＧＭＢＨ

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100118843

【弁理士】

【氏名又は名称】赤岡 明

(72)【発明者】

【氏名】マヌエル、アムサー

(72)【発明者】

【氏名】ダニエル、ハーゼ

【審査官】小倉 宏之

(56)【参考文献】

【文献】特開２０１４－２１１６２６（ＪＰ，Ａ）

【文献】国際公開第２０１８／２１９６３２（ＷＯ，Ａ１）

【文献】特表２０１８－５１９５２４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／００４１３８０（ＵＳ，Ａ１）

【文献】特表２０２０－５２２０１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ２１／００

(57)【特許請求の範囲】

【請求項1】

顕微鏡システムのための距離判定システム（１００）であって、前記距離判定システム（１００）は、
サンプル・キャリア（１０６）を保持するための載置面（１０４）を有するサンプル・ステージ（１０２）であって、前記サンプル・ステージ（１０２）は、サンプル面の少なくともひとつの延伸方向に沿って移動可能である、サンプル・ステージ（１０２）と、
デジタル画像（３００）を生成するための非テレセントリック対物レンズを有するオーバービュー・カメラ（１１６）であって、前記オーバービュー・カメラ（１１６）は、前記サンプル・ステージ（１０２）に向けられる、オーバービュー・カメラ（１１６）と、 前記オーバービュー・カメラ（１１６）に接続された評価ユニット（１１８）であって、前記評価ユニット（１１８）は、
異なる視野角における前記サンプル・ステージ（１０２）の少なくとも２つの記録されたデジタル画像（３００）を記憶するための記憶システム、
前記２つの記録されたデジタル画像（３００）における前記サンプル・ステージ（１０２）内に載置されたサンプル・キャリア（１０６）の対応構造（３０４、３０６）を特定するための訓練済み機械学習型システム（１２０）であって、前記訓練済み機械学習型システム（１２０）は、訓練済み参照モデルであって、前記少なくとも２つの記録されたデジタル画像における対応構造（３０４、３０６）が互いに対して関連付けられ得るようにサンプル・キャリア（１０６）のアノテーション済み訓練画像のセットによって訓練可能であり、それによって前記訓練済み機械学習型システム（１２０）がそのように適合される、訓練済み参照モデルを備える、訓練済み機械学習型システム（１２０）、
前記サンプル・ステージへの前記異なる視野角および前記２つの記録されたデジタル画像（３００）の互いの画素距離（３０８）に基づいて、その内部に含まれる前記関連付けられた対応構造（３０４、３０６）を使い、前記オーバービュー・カメラ（１１６）の基準点と、前記サンプル・キャリアの基準点との間の距離を判定するために適合される距離判定ユニット（１２２）
を含む、評価ユニット（１１８）と、
を備えるとともに、
前記訓練済み機械学習型システム（１２０）は、前記少なくとも２つの記録された画像（３００）の個々の画素を分類するために適合され、
画素距離は、こうして生成されたセグメント化された画像（３００）の画素分類によって、または、前記記録された画像（３００）における検出された構造の基準座標（３１０）によって、各場合において前記２つの画像（３００）の複数の対応構造を入力データとして有する目的関数の最適化を使用して判定され、前記目的関数の結果は、前記画素距離を示す、距離判定システム（１００）。

【請求項2】

前記訓練済み機械学習型システム（１２０）は、前記対応構造（３０４、３０６）のうち、ひとつの基準座標（３１０）を出力するために適合される、
請求項１に記載の距離判定システム（１００）。

【請求項3】

前記対応構造（３０４、３０６）のうち、ひとつの前記基準座標（３１０）のクラスも出力される、請求項２に記載の距離判定システム（１００）。

【請求項4】

前記サンプル・ステージ（１０２）は、照明手段を使用して照明される、
請求項１から３のいずれか一項に記載の距離判定システム（１００）。

【請求項5】

前記サンプル・キャリア（１０６）は、マルチウェル・プレート、スライド、ペトリ皿またはチェンバー・スライドである、
請求項１から４のいずれか一項に記載の距離判定システム（１００）。

【請求項6】

前記距離判定ユニット（１２２）は、前記オーバービュー・カメラ（１１６）の基準点と、前記サンプル・ステージ（１０２）との間の距離を判定するためにも適合される、
請求項１から５のいずれか一項に記載の距離判定システム（１００）。

【請求項7】

前記オーバービュー・カメラ（１１６）に対する前記サンプル・ステージ（１０２）の距離を変化させるための駆動ユニット（１２６）をさらに備える、
請求項１から６のいずれか一項に記載の距離判定システム（１００）。

【請求項8】

前記オーバービュー・カメラ（１１６）または光学的要素は、前記顕微鏡システムの対物レンズ・タレット（２０４）に位置決めされる、
請求項１から７のいずれか一項に記載の距離判定システム（１００）。

【請求項9】

顕微鏡対物レンズ（２０６）は、オーバービュー・カメラ（１１６）として画像センサ（１１４）とともに使用される、
請求項１から７のいずれか一項に記載の距離判定システム（１００）。

【請求項10】

前記機械学習型システム（１２０）は、教師あり学習および／または教師なし学習のために使用される、
請求項１から９のいずれか一項に記載の距離判定システム（１００）。

【請求項11】

前記機械学習型システム（１２０）はニューラル・ネットワークである、
請求項１から１０のいずれか一項に記載の距離判定システム（１００）。

【請求項12】

前記少なくとも２つの記録されたデジタル画像における対応構造（３０４、３０６）を、前記２つの記録されたデジタル画像（３００）において前記サンプル・ステージおよび／または前記サンプル・ステージ（１０２）内に載置された保持フレームの対応構造（３０４、３０６）を特定するための前記訓練済み機械学習型システム（１２０）を使用することによって、関連付けることも含む、
請求項１から１１のいずれか一項に記載の距離判定システム（１００）。

【請求項13】

前記異なる視野角は、前記サンプル・ステージ（１０２）と前記オーバービュー・カメラ（１１６）との間の相対的な移動によって実現される、
請求項１から１２のいずれか一項に記載の距離判定システム（１００）。

【請求項14】

前記異なる視野角は、互いに対してオフセットされて配置された２つのオーバービュー・カメラからの記録によって生成される、
請求項１から１３のいずれか一項に記載の距離判定システム（１００）。

【請求項15】

顕微鏡システムのためのコンピュータ実装方法（４００）であって、前記顕微鏡システムは、サンプル・キャリア（１０６）を保持するための載置面（１０４）を有するサンプル・ステージ（１０２）であって、前記サンプル・ステージ（１０２）は、サンプル面の少なくとも１つの延伸方向に沿って移動可能である、サンプル・ステージ（１０２）を含み、前記顕微鏡システムは、デジタル画像（３００）を生成するための非テレセントリック対物レンズを有するオーバービュー・カメラ（１１６）であって、前記オーバービュー・カメラ（１１６）は、前記サンプル・ステージ（１０２）に向けられる、オーバービュー・カメラ（１１６）を備え、前記方法は（４００）は、
異なる視野角における前記サンプル・ステージ（１０２）の少なくとも２つの記録されたデジタル画像を記憶するステップ（４０２）と、
前記少なくとも２つの記録されたデジタル画像（３００）における対応構造（３０４、３０６）を、前記２つの記録されたデジタル画像（３００）における前記サンプル・ステージ（１０２）内に載置されたサンプル・キャリア（１０６）の対応構造（３０４、３０６）を特定するための訓練済み機械学習型システム（１２０）を使用することによって、関連付けるステップ（４０４）であって、前記訓練済み機械学習型システム（１２０）は、訓練済み参照モデルであって、前記少なくとも２つの記録されたデジタル画像（３００）における対応構造（３０４、３０６）が互いに関連付けられ得るようサンプル・キャリアのアノテーション済み訓練画像のセットによって訓練可能であり、それによって前記訓練済み機械学習型システム（１２０）が適合される、訓練済み参照モデルを備える、関連付けるステップ（４０４）と、
前記サンプル・ステージ（１０２）への前記異なる視野角および前記２つの記録されたデジタル画像（３００）の互いの画素距離（３０８）に基づいて、その内部に含まれた前記関連付けられた対応構造（３０４、３０６）を使い、前記オーバービュー・カメラ（１１６）の基準点と、前記サンプル・キャリア（１０６）の基準点との間の距離を判定するステップ（４０６）と
を含むとともに、
前記訓練済み機械学習型システム（１２０）は、前記少なくとも２つの記録された画像（３００）の個々の画素を分類するために適合され、
画素距離は、こうして生成されたセグメント化された画像（３００）の画素分類によって、または、前記記録された画像（３００）における検出された構造の基準座標（３１０）によって、各場合において前記２つの画像（３００）の複数の対応構造を入力データとして有する目的関数の最適化を使用して判定され、前記目的関数の結果は、前記画素距離を示す、コンピュータ実装方法（４００）。

【請求項16】

顕微鏡システムのためのコンピュータ・プログラム製品であって、前記顕微鏡システムは、サンプル・キャリア（１０６）を保持するための載置面（１０４）を有するサンプル・ステージ（１０２）であって、前記サンプル・ステージ（１０２）は、サンプル面の少なくともひとつの延伸方向に沿って移動可能である、サンプル・ステージ（１０２）を含み、前記顕微鏡システムは、デジタル画像（３００）を生成するための非テレセントリック対物レンズを有するオーバービュー・カメラ（１１６）であって、前記オーバービュー・カメラ（１１６）は、前記サンプル・ステージ（１０２）に向けられる、オーバービュー・カメラ（１１６）を含み、前記コンピュータ・プログラム製品はその上に記憶されたプログラム命令を有し、前記プログラム命令は、ひとつまたは複数のコンピュータ（５００）および／または制御ユニットによって実行可能であり、前記ひとつまたは複数のコンピュータ（５００）および／または制御ユニットに、
異なる視野角における前記サンプル・ステージ（１０２）の少なくとも２つの記録されたデジタル画像（３００）を記憶することと、
前記少なくとも２つの記録されたデジタル画像（３００）における対応構造（３０４、３０６）を、前記２つの記録されたデジタル画像（３００）における前記サンプル・ステージ（１０２）内に載置されたサンプル・キャリア（１０６）の対応構造（３０４、３０６）を特定するための訓練済み機械学習型システム（１２０）を使用することによって、関連付けることであって、前記訓練済み機械学習型システム（１２０）は、訓練済み参照モデルであって、前記少なくとも２つの記録されたデジタル画像（３００）における対応構造（３０４、３０６）が互いに関連付けられ得るようサンプル・キャリア（１０６）のアノテーション済み訓練画像のセットによって訓練可能であり、それによって前記訓練済み機械学習型システム（１２０）が適合される、訓練済み参照モデルを有する、関連付けることと、
前記サンプル・ステージへの前記異なる視野角および前記２つの記録されたデジタル画像（３００）の互いの画素距離（３０８）に基づいて、その内部に含まれる前記関連付けられた対応構造（３０４、３０６）を使用して、前記オーバービュー・カメラ（１１６）の基準点と前記サンプル・キャリア（１０６）の基準点との間の距離を判定することと
を実行させるとともに、
前記訓練済み機械学習型システム（１２０）は、前記少なくとも２つの記録された画像（３００）の個々の画素を分類するために適合され、
画素距離は、こうして生成されたセグメント化された画像（３００）の画素分類によって、または、前記記録された画像（３００）における検出された構造の基準座標（３１０）によって、各場合において前記２つの画像（３００）の複数の対応構造を入力データとして有する目的関数の最適化を使用して判定され、前記目的関数の結果は、前記画素距離を示す、コンピュータ・プログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に、顕微鏡システムに関し、特に、粗焦点設定のための顕微鏡システムのための距離判定システム、対応する方法、およびコンピュータ・プログラム製品に関する。

【背景技術】

【0002】

現代の高性能顕微鏡は、小さな構造を分析するために、数が増え続けている産業界の諸部門において使用されている。その検査プロセスは、しばしば手動のプロセスであるが、一部の場合において、完全に自動化されている。顕微鏡システムのエルゴノミクスの観点における要件は、継続的に増えている。多くの場合において、今日、小さな構造を観察するために使用されるものは、光学的コンポーネントと電子的コンポーネントとの組み合わせであり、光学的手段によるだけでなく、しばしば、例えば、画像エリア・センサの形態の画像センサが、例えば、医学または生物学の分野においては、サンプルとよばれる傾向にある、観察される構造をさらに直接、電子的に処理し、それらを記憶し、または、それらを大きなモニタ上に表示するために使用される。医学／生物学の分野において使用されることが多いマルチウェル・プレートなどの規則的な構造の場合におけるいくつかの困難は、サンプル・キャリアの比較的小さな領域のみを捉える対物レンズが、マルチウェル・プレートのどの領域に実際に向けられているかが常に明確であるとは限らないという事実によって生じている。加えて、対物レンズとサンプル面との間の距離などの特定の距離も、未知であることが多い。その理由は、サンプル・キャリアの底部の厚さが分からないこと、異なる高さを有する異なるステージ・インサートが使用されること、または、ｚ方向（顕微鏡の対物レンズよりサンプルに向かって光軸の方向）におけるキャリブレーションが正確でないためであり得る。

【0003】

本明細書において導入される概念の目的は、例えば、顕微鏡システムの粗焦点合わせのために、一方にある対物レンズまたはスタンドと、他方にあるサンプルまたはサンプル・キャリアまたは保持フレームなどとの間の距離を判定することにある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述の目的は、独立請求項による、顕微鏡システムのための本明細書において提案される距離判定システム、対応する方法、コンピュータ・プログラム製品によって達成される。さらなる構成は、それぞれ従属請求項によって説明される。

【課題を解決するための手段】

【0005】

本発明の一態様によると、顕微鏡システムのための距離判定システムが導入される。距離判定システムは、サンプル・キャリアを保持するための載置面を有するサンプル・ステージを備える。サンプル・ステージは、サンプル面の少なくとも１つの延伸方向、特に、ｘ／ｙ方向に沿って移動可能であり得る。

【0006】

距離判定システムは、さらにデジタル画像を生成するための非テレセントリック対物レンズを有するオーバービュー・カメラを備えていてもよく、オーバービュー・カメラは、サンプル・ステージに向けられ得る。

【0007】

距離判定システムは、さらにオーバービュー・カメラに接続された評価ユニットを備えていてもよい。評価ユニットは、以下のサブシステム、異なる視野角におけるサンプル・ステージの少なくとも２つの記録されたデジタル画像を記憶するための記憶システムと、２つの記録されたデジタル画像におけるサンプル・ステージ内に載置されたサンプル・キャリアの対応構造を特定するための訓練済み機械学習型システム（ＭＬシステム）とを備えていてもよい。訓練済み機械学習型システムは、訓練済み参照モデルを備え、訓練済み参照モデルは、サンプル・キャリアのアノテーション済み訓練画像のセットによってそのように訓練可能である。これにより、訓練済み機械学習型システムは、少なくとも２つの記録されたデジタル画像における対応構造が互いに関連付けられ得るように適合される。

【0008】

加えて、距離判定システムは、距離判定ユニットを備えていてもよい。距離判定ユニットは、サンプル・ステージへの異なる視野角および２つの記録されたデジタル画像の互いに対する画素距離に基づいて、その内部に含まれた関連付けられた対応構造を使用して、オーバービュー・カメラの基準点とサンプル・キャリアの基準点との間の距離を判定するために適合されている。

【0009】

本発明の異なる態様によると、顕微鏡のコンピュータによって実装される方法が導入される。顕微鏡システムは、サンプル・キャリアを保持するための載置面を有するサンプル・ステージを備えていてもよい。ここで、サンプル・ステージは、サンプル面の少なくとも１つの延伸方向に沿って移動可能であり得る。顕微鏡システムは、さらにデジタル画像を生成するための非テレセントリック対物レンズを有するオーバービュー・カメラを備えていてもよい。オーバービュー・カメラは、サンプル・ステージに向けられ得る。方法は、サンプル・ステージに対する異なる視野角における少なくとも２つの記録されたデジタル画像を記憶するステップと、少なくとも２つの記録されたデジタル画像における対応構造を、２つの記録されたデジタル画像におけるサンプル・ステージ内に載置されたサンプル・キャリアの対応構造を特定するための訓練済み機械学習型システムを使用することによって、関連付けるステップとを備える。訓練済み機械学習型システムは、訓練済み参照モデルを備え、訓練済み参照モデルは、少なくとも２つの記録されたデジタル画像における対応構造が互いに対して関連付けられるように訓練済み機械学習型システムが適合されるよう、サンプル・キャリアのアノテーション済み訓練画像のセットによって訓練可能である。

【0010】

補足的な追加として、方法は、異なる視野角と２つの記録されたデジタル画像の画素距離とに基づいて、その内部に含まれた関連付けられた対応構造を使用し、オーバービュー・カメラの基準点とサンプル・キャリアの基準点との間の距離を判定するステップを備え得る。

【0011】

サンプル・ステージ内に載置されたサンプル・キャリアに加え、サンプル・ステージ、サンプル・キャリアのためにサンプル・ステージ内に載置された保持フレーム、または、サンプル領域までの距離も判定され得ることが、完全性のために言及されるべきである。

【0012】

さらに、実施形態は、対応するコンピュータ・プログラム製品の形態で実装することも可能である。コンピュータ・プログラム製品は、コンピュータで使用可能な媒体、またはコンピュータで読み取り可能な媒体を使用してアクセスされ得るものであって、コンピュータまたは命令実行システムによって、またはこれらとともに使用されるためのプログラム・コードを有する。この説明の文脈において、コンピュータで使用可能な媒体、またはコンピュータで読み取り可能な媒体は、命令実行システム、または対応する装置もしくは機器によって、またはこれらとともに使用されるためのプログラムを記憶、通信、伝送、または転送する手段を含む任意の装置であってよい。

【0013】

顕微鏡システムのための距離判定システムおよび対応するコンピュータによって実現される方法は、いくつかの利点および技術的効果を有する。

【0014】

オーバービュー・カメラによって得られた記録は、モニタ上に表示され、サンプル・キャリアのオーバービュー画像を容易に表し得る。とりわけ、このことは、サンプル領域での向上されたナビゲーションを可能とする。特に、サンプルのどの領域が選択された対物レンズの上に具体的に配置されているかを、オーバービュー画像において示すことが可能である。このようにして、位置表示が容易に実現される。換言すれば、マルチウェル・サンプル・キャリアのスカート高を知ることで、サンプル・キャリアのウェルに対する正確な位置決めおよびナビゲーションも可能とする。

【0015】

この位置表示に基づいて、サンプル・ステージは、選択オーバービュー画像を使用して、選択された領域が顕微鏡システムの選択された対物レンズのキャプチャ領域上に配置されるように移動され得る。こうして、サンプル・ステージ内で改善され、単純化されたナビゲーションが実現される。

【0016】

加えて、このようにして、測定を行うために、オーバービュー画像における位置、距離、エリアを絶対値、例えば、ミリメートルで判定することが容易に可能である。加えて、サンプル・ステージに対するサンプル面の高さ（ｚ位置）が確認可能であり、その結果、もしもベース高さまたはスカート高が異なるサンプル・キャリアが交換可能に使用されたとしても、それぞれの顕微鏡対物レンズの明確で迅速な焦点合わせが可能となる。

【0017】

さらに、評価ユニット内での訓練済み機械学習型システム（ＭＬシステム）の使用は、従来の自動焦点システムの機能を大きく凌駕している。特に、マルチウェル・プレートがサンプル・キャリアとして使用されるとき、同一または非常に類似した構造が大量にあり、これらについて、三角測量に基づく従来のシステムは、規則正しく繰り返される（周期的な）構造、強い背景信号、反射などに影響されやすいため、しばしば焦点合わせに失敗する。加えて、顕微鏡システムの従来の自動焦点システムは、現実的には、常時オーバービュー・カメラのオーバービュー画像ではなく、顕微鏡対物レンズを使用して記録された顕微鏡画像に基づいて動作する。

【0018】

対照的に、本明細書において提案される概念においては、機械学習型システムが、記録された画像の個々の画素の画素指向の分類を行うために使用され、その結果、記録されたデジタル画像の各画素は、画素または画像ポイントの特定のクラスに関連付けられる。このようにして、例えば、マルチウェル・プレートのウェルに属する全ての画像ポイントは「ウェル画素」（ウェルに属する画素）として分類され得る。他の画素クラスは、サンプル・ステージ、サンプル・フレーム、背景などを特定するために使用され得る。機械学習をベースとしたサンプル・キャリア（またはサンプル・ステージ）の変位ベクトルを確認するための１つの可能性では、例えば、「サンプル画素」クラスに属さない全ての画素が「０」に設定され、「サンプル画素」クラスの全ての画素が「１」に設定される。このようにして、ＭＬシステムの使用によって、０／１対照画像（黒／白）が得られる。０／１対照画像は、ＭＬシステムによってそれぞれ全体的に相互に関連付けることができる。その結果、対応（目標）関数の最適値を判定することによって、同一のサンプル・キャリアの一方の記録された画像から別の記録された画像への変位ベクトルが、特に距離判定ユニットの使用によって、実現される。さらなる典型的な画素クラスは、背景、サンプル・ステージ、ステージ・インサートもしくは保持フレーム、サンプル・キャリア上の構造、またはサンプル領域であり得る。

【0019】

個々の画素の分類に加えて、機械学習型システムの使用は、２つの記録された画像上の対応構造の検出も可能とする。

【0020】

オーバービュー・カメラは、全体的なサンプル領域をキャプチャし得るように容易に位置決めされ得る。オーバービュー・カメラは、必ずではないが、対物レンズ・タレットに一体化され得るものであるか、対物レンズ・タレットの外側に技術的なアドオン要素として位置決めされ得るものである。これは、特定の環境の下で、対物顕微鏡の光軸とは異なる光軸と関連付けられる。このため、ＭＬ型画像分析システムを誤動作させることなく、オーバービュー・カメラは、下方より斜めにサンプル・キャリアに向けられ得る。加えて、特定の限界はあるが、オーバービュー・カメラをサンプル・キャリア（すなわち、サンプル・ステージ）の上方に位置決めすることも可能である。さらに、サンプル・キャリアの側部の一方をオーバービュー・カメラに向かって反射するために、鏡が使用され得る。全体的に、オーバービュー・カメラの位置決めのために多種多様な設計オプションが使用可能である。

【0021】

追加的に、これは、バーコード、ＱＲ（高速応答）コードまたはＯＣＲ（光学的文字認識）法を使用して、サンプル・キャリア上でこのようなシンボルが検知可能であるならば、サンプルの識別にも使用され得る。

【0022】

顕微鏡システムの追加的なハードウェア、特に、顕微鏡システムの光軸に垂直に移動可能なサンプル・ステージおよび（ひとつまたは２つの）非テレセントリック・オーバービュー・カメラに関する比較的低い要求条件が、このシステムを、ユーザの観点および製造者の観点の両方にとって、魅力的な選択肢にする。このために、オーバービュー・カメラの相対移動を実現するために、（ａ）サンプル・ステージを移動させること、（ｂ）オーバービュー・カメラを移動させること、および（ｃ）固定的に取り付けられた第２のオーバービュー・カメラを使用することの３つのオプションがある。特に、最後の可能性は、既に設置されている顕微鏡システムを改良に関連し得る。

【0023】

画像分析システムにおいて使用されるＭＬシステムでは、従来の方法よりも安定したオーバービュー・カメラの２つの記録されたデジタル画像の間での、対応関係の照合を実現する。加えて、これは、任意の所望のサンプル・キャリア、特に異なる透明マルチウェル・プレートなどを含めて、シームレスに使用され得る。このようにして、熟練した職員も、高性能顕微鏡システムをより容易に操作することができる。

【0024】

２つの記録された画像の間の変位ベクトルが確認されるため、既知の方法（視差効果）および顕微鏡システムの対物レンズの基準点からのオーバービュー・カメラの基準点の既知の距離を使用して、サンプル面と、例えば、顕微鏡対物レンズのレンズ面または顕微鏡対物レンズの画像面との間の距離を計算することが可能となる。

【0025】

本明細書において導入される概念は、オーバービュー・カメラが、全体的なサンプル・キャリアをキャプチャするのではなく、サンプル・キャリアを、例えば、２つ、３つ、またはそれより多くの部分的画像としてキャプチャする場合に、さらなる有利な効果を実現する。これは、特に大きなサンプル・キャリアの場合に該当する。距離が調節可能であるという事実によって、モニタ上でのオーバービュー表示のために内容に関連した画像照合を行うことなく、部分的画像を互いに連結することが容易に可能である。もしも距離を知らずに画像認識システムがこのステップのために使用されなければならないとしたら、解釈ミスおよび照合ミスが、連結中に容易に発生し得る。

【0026】

さらに、サンプル・キャリアの基準点を使用することによって、サンプル・キャリアの各面、すなわち、サンプル面を含む基準として使用され得る。加えて、こうして、評価可能性および機械学習型システムの訓練スペクトラムに関してより広い幅広い分野での用途が得られる。

【0027】

距離の知識によって、サンプル・ステージと対物レンズとの間の能動的で自動的な衝突回避が実現され得るので、さらに有利である。これにより、顕微鏡システムへの損傷を回避することができる。

【0028】

以下では、距離判定システムの本発明の概念のさらなる例示的実施形態が紹介される。本発明の概念のさらなる例示的実施形態は、方法にも同様に適用され得る。

【0029】

距離判定システムの有利な例示的実施形態によると、訓練済み機械学習型システムは、少なくとも２つの記録された画像の個々の画素を分類するために適合され得る。分類は、以下の基準、すなわち、サンプル画素、背景画素、サンプル・キャリア画素、カバー・スリップ画素、テキスト画素、エッジ画素またはサンプル・ステージ画素について、またはさらにその他の基準によって影響され得る。これは、記録された画像のセグメンテーションを可能とする。

【0030】

換言すれば、例えば、もしも記録されたデジタル画像においてサンプルに関連付けられ得る全ての画素が論理的「１」として表現され、したがって、識別されなかった、またはサンプルに属するものとして分類されなかったすべての画素が論理的「０」として表現されるとしたら、その結果は、サンプルが、例えば黒で表現（論理的「１」）され、その他の全てが白で表現（論理的「０」）された白黒画像となる。このような準備および２つの記録されたデジタル画像の間のパターン比較によって、２つの記録されたデジタル画像内の対応パターンまたはそれらの全体から、変位ベクトル、ひいては変位パスをシームレスに確認することが可能である。

【0031】

距離判定システムのさらなる例示的実施形態によると、訓練済み機械学習型システムは、対応構造のうちの１つの基準座標を出力するために適合され得る。ここで、基準座標は、例えば、（マルチウェル）サンプル・キャリアのウェルの計算された中心、キャプチャされた物体の境界縁部の特定の点などであり得る。２つの画像の間の変位ベクトルは、２つの記録された画像における２つの対応構造のそれぞれの基準座標によって、画素においてシームレスに確認され得る。

【0032】

距離判定システムの補足的な例示的実施形態によると、対応構造のうちのひとつの基準座標のクラスを出力することも可能である。このように確認されたクラスは、距離を判定するための最適化タスクのための最適化関数のための追加的な入力パラメータとして使用され得る。その結果、曖昧さを軽減することができる。

【0033】

距離判定システムのさらなる補足的な例示的実施形態によると、サンプル・ステージは、照明手段を使用して照明され得る。このようにして、サンプル・ステージが照明されることも可能である。その結果、提案される概念は、入射光顕微鏡および透過光顕微鏡の両者にとって有用となる。

【0034】

距離判定システムの許容される例示的実施形態によると、サンプル・キャリアは、マルチウェル・プレートであってよい。マルチウェル・プレートの底部側または、特に、サンプル・ウェルの下側面とプレートの載置フレームの底部側との間の距離は、特にこのタイプのサンプル・キャリアにおいては、異なる値をとり得る。これは、マルチウェル・プレートのスカート高または底部の厚さが異なることに起因する。このタイプのサンプル・キャリア・プレートのために、本明細書においてに導入される概念は、異なるスカート高を有する異なるタイプのマルチウェル・プレートに対するキャリブレーションを可能とする。

【0035】

距離判定システムのさらなる有利な例示的実施形態によると、距離判定システムは、オーバービュー・カメラの基準点までのサンプル・ステージの距離を判定するためにも適合され得る。サンプル高さ、つまり、距離「カメラの基準点からサンプル面」を知り、ステージ高さ、すなわち距離「カメラの基準点からサンプル・ステージの底部」を知ることによって、マルチウェル・プレートのスカート高をシームレスに判定することが可能である。

【0036】

距離判定システムの補足的な有利な例示的実施形態によると、距離判定システムは、オーバービュー・カメラからのサンプル・ステージの距離を変化させるための駆動ユニットも備え得る。顕微鏡対物レンズの基準点に対するオーバービュー・カメラの位置（距離に対応する）を知ることによって、顕微鏡対物レンズに関する粗焦点合わせが自動的に行われるように、サンプル・ステージの高さ（サンプル・キャリアの方向の顕微鏡対物レンズからの光軸に沿ったｚ方向）を自動的に設定することが可能である。

【0037】

距離判定システムの代替的な例示的実施形態によると、オーバービュー・カメラまたは光学的要素は、顕微鏡システムの対物レンズ・タレットに位置決めされ得る。対物レンズ・タレットに隣接してオーバービュー・カメラを配置することによってオーバービュー・カメラをサンプル・ステージに対して斜め向きにする（これは確かに可能である）代わりに、オーバービュー・カメラがサンプル・ステージの垂直方向下方で作動し得るようオーバービュー・カメラを対物レンズ・タレットに載置することによって、垂直的な方向付けが同様に可能となる。

【0038】

言及された光学的要素は、光線をサンプル・キャリアからオーバービュー・カメラへと向けられる鏡またはプリズムであってもよい。この方法は、オーバービュー・カメラの位置決めに関して、より大きな設計自由度を提供する。

【0039】

距離判定システムのひとつの可能な例示的実施形態によると、顕微鏡対物レンズ、特に、比較的低い倍率を有するものは、画像センサ、すなわち顕微鏡システムの画像センサとともに、オーバービュー・カメラとして使用され得る。しかしながら、対物レンズ・タレットから独立してオーバービュー・カメラを位置決めすることは、これによって、すべての対物レンズが引き続き利用可能であるとともに、対物レンズ・タレットにおいてオーバービュー・カメラのための空間が不要となるので、合理性がある。これにより、既に使用されている顕微鏡システムの改良も可能である。

【0040】

距離判定システムのひとつの有利な例示的実施形態によると、機械学習型システムは、教師あり学習および／または教師なし学習のために使用される。機械学習型システムは、２つの画像の画素をセグメント化するため、および／または、２つの画像における構造を検出するために使用され得る。さらに、機械学習型システムが、例えば、ニューラル・ネットワーク、またはサポート・ベクター・マシンであれば有利であることが立証されている。ニューラル・ネットワークは、例えば、教師あり学習（または教師なし学習）を使用して訓練され得る。そして、当該訓練は、記録された画像の画素の分類および／または特定の構造の検出を可能とする。分類動作に関して、多クラス・アルゴリズムまたは１クラス・アルゴリズムが使用され得る。ニューラル・ネットワークは、ディープ・ニューラル・ネットワーク、ＣＮＮ（畳み込みＮＮ）またはＲＮＮ（再帰型ＮＮ）として実装され得る。

【0041】

教師なし学習の場合、ディープ・オートエンコーダ、１クラス分類または新規性検出などのアルゴリズムが使用され得る。原則的に、記録されたデジタル画像における対応するまたは唯一の構造の検出および判定を可能とする任意の学習システムを使用することが可能である。

【0042】

距離判定システムのさらなる有利な例示的実施形態によると、画素に関する分類によってセグメント化された２つの画像の間の画素距離は、各場合において２つの画像の複数の対応構造を有する目的関数の最適化を使用して判定され得るものであって、目的関数は画素距離を示す。さらには、検出関数も、最適化関数のための入力データとして使用され得る個々の／唯一の構造、および／またはその座標が最適化関数のための入力データとして使用され得る個々の／唯一の構造を見つけるために使用され得る。これは、デジタル画像の総合的な検討も使用されることを意味する。ここで使用され得る最適化関数は、例えば、対応構造の重心距離平均値（ｃｅｎｔｒｏｉｄ ｄｉｓｔａｎｃｅ ａｖｅｒａｇｅ ｖａｌｕｅｓ）、インターセクション・オーバー・ユニオン・アルゴリズム（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ ａｌｇｏｒｉｔｈｍ）、またはジャカール係数（Ｊａｃｃａｒｄ ｃｏｅｆｆｉｃｉｅｎｔｓ）の判定などのアルゴリズムである。典型的には、それぞれの目的関数のために最適値（最大値または最小値）が判定される。

【0043】

距離判定システムの補足的な有利な例示的実施形態は、少なくとも２つの記録されたデジタル画像における対応構造を、当該構造に関して２つの記録されたデジタル画像におけるサンプル・ステージおよび／またはサンプル・ステージ内に載置された保持フレームもしくは純粋なサンプル領域の対応構造を特定するための訓練済み機械学習型システムを使用することによって、関連付けることを含み得る。このように、それぞれの距離判定のために、サンプル自体だけでなく、周囲の構造も評価可能である。

【0044】

距離判定システムのさらなる有利な例示的実施形態によると、サンプル・ステージ（１０２）とオーバービュー・カメラ（１１６）との間の相対な移動によって異なる視野角を生成することができる。このようにして、サンプル・ステージはｘ／ｙ方向について固定されたままにすることができ、オーバービュー・カメラは、例えば、固定的な既知の値だけ、例えば、顕微鏡システムの光軸に垂直に、その位置を変える。ひとつの選択肢はサンプル・ステージを移動させることであり、もうひとつの選択肢はカメラを移動させることである。

【0045】

距離判定システムのさらなる代替的な例示的実施形態によると、異なる視野角は、互いに対してオフセットされて配置された２つのオーバービュー・カメラからの記録によって生成される。これらは、同時に記録され、サンプル・ステージとひとつのオーバービュー・カメラとの間の相対な移動は不要である。これは、より単純、より堅牢で、より影響を受けにくい、比較的メンテナンスの必要のない機械的構築を可能とする。加えて、２つのオーバービュー画像が正確に同一時点に撮影され、その結果、サンプルも正確に同一の状態にある。サンプルの時間に伴う変化を排除することができる。

【図面の簡単な説明】

【0046】

本発明の例示的実施形態は、異なる実装カテゴリについて説明され得ることに留意すべきである。特に、いくつかの例示的実施形態は、方法に関して説明される一方、他の例示的実施形態は、対応する装置の文脈において説明され得る。上述に関わらず、当業者は、別途記載のない限り、異なる請求項のカテゴリに属するとしても、上述の説明および後述の説明から、方法の特徴の可能な組み合わせ、および対応するシステムとの可能な特徴の組み合わせを特定し、組み合わせることが可能である。

【0047】

上記において既に説明された態様、および本発明の追加的な態様は、とりわけ、説明された例示的実施形態から、および図面に関連して説明される追加的なさらに具体的な構成から明らかである。

【0048】

本発明の好ましい例示的実施形態は、例によって、以下の図面について説明される。

【0049】

【図1】本発明の距離判定システムの例示的実施形態のブロック図である。

【図2】本発明の概念の代替的な構成のブロック図である。

【図3】例として選択された構造の基準点を有するサンプル・キャリアの記録された画像を概略的に提示する図である。

【図4】顕微鏡の粗焦点設定のためのコンピュータ実装方法のブロック図である。

【図5】図４による方法のための処理システムに適したコンピュータ・システムのブロック図である。

【発明を実施するための形態】

【0050】

この説明の文脈において、慣習（ｃｏｎｖｅｎｔｉｏｎｓ）、用語および／または表現は、以下のように理解されるべきである。

【0051】

本文書の文脈において、「距離判定システム」という用語は、機械学習に基づく、距離を判定するための自動化されたシステムを示し、特に、画像セグメント化および変位ベクトル判定のための顕微鏡システムの記録された画像のための分類システムを示す。距離判定システムは、その個々のコンポーネントとともに顕微鏡システムに一体化されていてよく、および／または、既に存在する顕微鏡システムのサブコンポーネントを使用してもよい。

【0052】

本明細書において「粗焦点設定」という用語は、顕微鏡システムの対物レンズ上の基準点とサンプル・ステージに配置されたサンプル・キャリアのサンプル面との間の距離の自動化された設定を示す。本明細書において説明される概念による粗設定の後、その他の制御システムを使用して、対応する対物レンズによるさらなる細かい焦点合わせを行うことができる。

【0053】

本文書の文脈における「サンプル・ステージ」という用語は、主に透過光法において顕微鏡システムの対物レンズの上に位置決めされたサンプル・キャリアを保持するためのフレームを有するステージを示す。サンプル・ステージを、例えば、有利に顕微鏡システムの光軸に対して垂直に移動することができる。

【0054】

本明細書において「サンプル・キャリア」という用語は、顕微鏡システムを使用して検査されるべきサンプルを保持する要素を示す。この要素は、例えば、同時に多数のサンプルを凹部またはウェルに保持し得るマルチウェル・プレート（典型的なサイズは１３×１０ｃｍ）であってもよい。この場合、典型的には、凹部の最も低い点が、サンプル面を表す。さらには、どちらも典型的なサイズ７５×２４ｍｍを有する従来のスライドもしくはチェンバー・スライド、またはペトリ皿などその他のサンプル・キャリアも使用されてよく、これらは入射光または透過光において使用され得る。

【0055】

この文書の文脈において「オーバービュー・カメラ」という用語は、典型的には放射を透過するサンプル・キャリアの全体的画像を記録するために、顕微鏡システムの顕微鏡対物レンズに加えて顕微鏡システムに、または顕微鏡システム内に取り付けられ得るカメラを示す。ここで、オーバービュー・カメラは、典型的には、画像センサを含み、非テレセントリック対物レンズが、オーバービュー・カメラにおいて追加的に使用される（非テレセントリック対物レンズは、その入射瞳および出射瞳が無限遠にない対物レンズである）。

【0056】

本明細書において「デジタル画像」という用語は、画像センサによってキャプチャされ、記録された画像のデジタル表現を示す。これはデジタル情報を伴うので、デジタル画像、またはそのデジタル表現は、電子媒体内または電子媒体上でさらに記憶され、例えば、機械学習型システムを使って処理され得る。

【0057】

「機械学習型システム」という用語は、人工知能の分野からのハードウェアにサポートされたシステムまたはソフトウェア・システムを示し、これは、手続き的に指定され手動で生成されたプログラム命令なしに、例えば、画像またはその部分的領域の内容を、「良（ｇｏｏｄ）」「不良（ｐｏｏｒ）」などの抽象的な用語または意味ある構文（ｍｅａｎｉｎｇ ｃｏｎｓｔｒｕｃｔｓ）、例えば、画像内容のセグメント化と、関連付けるように、例から学習するように適合される。一般に、入力データの出力データへの対応関係（ｍａｐｐｉｎｇ）が学習される。

【0058】

「学習システムの訓練」という用語は、例えば、機械学習システムが、多数の例示的画像によって、訓練フェーズの後に、未知の画像であっても学習システムが訓練されたひとつまたは複数のカテゴリに関連付けられるよう、例示的画像を評価することによって、例えば、ニューラル・ネットワーク内のパラメータを、調整することを意味する。加えて、特定の構造の検出のおかげで、画像における特定の構造の座標を確認することが可能である。例示的画像は、入力画像に基づいて所望の結果を提供するために、典型的には、アノテーション済みであり、すなわち、メタデータを備える。訓練は、記録された画像における個々の画素の分類とも連動することができ、その結果、画像のセグメントテーションが行われる。訓練フェーズの結果は、入力画像から、関連付けられたクラス、入力画像の意味論的セグメントテーション（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）、または関連する構造／物体の座標にマッピングし得る訓練済み参照モデルである。

【0059】

「機械学習」という用語は、人工知能の基礎的な用語であり、例えば、とりわけ、統計的な方法が、コンピュータ・システムに「学習」する能力を付与するために使用される。例えば、タスクの特定の範囲内での特定の振る舞いパターンが最適化される。使用される方法は、機械学習のシステムが、この目的のための任意の明示的な手続き型プログラミングの必要なしに、データを分析することを可能とする。例えば、ＣＮＮ（畳み込みニューラル・ネットワーク：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は、機械学習のためのシステムの一例、特に、人工的なニューロンとして働くノードのネットワークおよびリンクとしても知られる人工的なニューロン間の人工的な接続の一例であり、パラメータ、例えば、接続のための重みパラメータが、人工的な接続と関連付けられ得る。ニューラル・ネットワークの訓練中に、接続の重みパラメータは、所望の結果を生成するために入力信号に基づいて自動的に適合される。教師あり学習の場合、入力値として提供された画像は、このように所望の出力値を学習するために、メタデータ（アノテーション）によって補完される。教師なし学習の場合、このようなアノテーションは不要である。

【0060】

これに関連して、再帰型ニューラル・ネットワーク（ＲＮＮ：ｒｅｃｕｒｓｉｖｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）についても言及されるべきである。再帰型ニューラル・ネットワークは、同様に、各場合おいてディープ・ニューラル・ネットワークのタイプを表し、可変的マグニチュード（ｖａｒｉａｂｌｅ ｍａｇｎｉｔｕｄｅ）の入力データに関する構造化された予測が生成され得るように、重み適応が再帰的である。典型的には、このようなＲＮＮは、連続的な入力データのために使用される。ＣＮＮの場合と全く同様に、ここでは、予測的な重み適応に加えて、逆伝搬関数も使用される。ＲＮＮは画像分析においても使用され得る。

【0061】

本明細書において「分類する」という用語は、訓練済み機械学習型システムによって、記録されたデジタル画像の個々の画素、例えば、サンプル・キャリアに特定の意味が与えられ得ることを意味し、つまり、それらが、各場合おいて個々にクラスに関連付けられ得る。このようにして、サンプル・キャリア、サンプル、サンプル・ステージなどの領域を識別することが可能となる。画像のセグメントは、この識別により生成される。これにより、セグメント化された画像が生成される。

【0062】

「マルチウェル・プレート」という用語は、複数の凹部（ウェル）を有するサンプル・キャリア装置を指し、凹部の底部は、実質的にひとつの平面内に配置され、それにより、サンプル面を規定する。様々なマルチウェル・プレートは、製造者によって高さの異なるスカート（それらの周りに延在するフレーム）を有していてもよく、様々なマルチウェル・プレートは、高さの異なるスカートを有していながらサンプル・フレーム内に載置される。本明細書において導入される距離判定の概念は、マルチウェル・プレートを変更する場合の多くの利点を明らかにする。

【0063】

以下では、図面の詳細な説明を述べる。本明細書において、図面において全ての詳細および指示は概略的に示されたものであることが理解されるべきである。最初に示されるのは、顕微鏡システムのための本発明による距離判定システムの例示的実施形態のブロック図である。さらなる例示的実施形態および対応する方法のための例示的実施形態は、以下で説明される。

【0064】

図１は、顕微鏡システムのための、例えば顕微鏡システムの粗焦点設定、特に、距離「サンプル面から顕微鏡対物レンズ」の粗焦点設定のための本発明の距離判定システム１００の例示的実施形態のブロック図を示している。この距離判定システム１００は、サンプル・キャリア１０６を保持するための載置面１０４を有するサンプル・ステージ１０２を含む。サンプル・キャリア１０６は、複数のサンプル区画１０８またはウェル（図内）を有するマルチウェル・サンプル・キャリア１０６であってもよく、複数のサンプル区画１０８またはウェルのうちの左側の３つのみに参照記号１０８を付されている。サンプル・ステージ１０２の面は、典型的には、顕微鏡システムの光軸に垂直である。加えて、サンプル・ステージ１０２は、サンプル・ステージ１０２へのオーバービュー・カメラ１１６の異なる視野角を実現するために、その延伸方向のうちの少なくともいずれかに沿って移動可能であり得る。ｚ軸が顕微鏡システムの光軸に対応する顕微鏡システムの従来の設計においては、サンプル・ステージは、矢印１１０によって示されるように、ｘ方向および／またはｙ方向に移動可能である。さらには、サンプル・ステージ１０２は、顕微鏡対物レンズ１１２に対するその高さについてｚ方向にも移動可能である。画像センサ１１４が、顕微鏡対物レンズ１１２の下方に概略的に示されている。顕微鏡対物レンズ１１２の画像センサ１１４によって記録された画像は、既知の技術を使用して、モニタ（図示せず）上に表示され得る。

【0065】

オーバービュー・カメラ１１６は、デジタル画像を生成するための非テレセントリック対物レンズを有する専用の画像センサ（図示せず）を含む。ここでは、オーバービュー・カメラ１１６は、必ずしも顕微鏡システムの光軸に沿ってサンプル・ステージ１０２の底部側（または上部側）に向けられる必要はない。

【0066】

代替的に、オーバービュー・カメラ１１６の移動可能性、または、第２のオーバービュー・カメラを使用してサンプル・キャリア１０６とともにサンプル・ステージ１０２を記録することによってサンプル・ステージ１０２へのオーバービュー・カメラ１１６の異なる視野角を得ることができる。

【0067】

さらに、距離判定システム１００は、評価ユニット１１８を含み、評価ユニット１１８は、オーバービュー・カメラ１１６に接続される。評価ユニット１１８は、その一部として以下の要素、すなわち、サンプル・ステージ１０２の異なる位置における（つまり、サンプル・ステージは、記録間で、少なくともその水平延伸方向のうちの１つにおいて移動されている）少なくとも２つの記録されたデジタル画像を記憶するための記憶システム（図示せず）と、２つの記録されたデジタル画像におけるサンプル・ステージおよび／またはサンプル・ステージ内に載置されたサンプル・キャリアの対応構造を特定するための訓練済み機械学習型システム１２０とを含む。訓練済み機械学習型システム１２０は、訓練済み参照モデルを有し、訓練済み参照モデルは、サンプル・キャリアのアノテーション済み訓練画像のセットによって訓練可能であり、そして、それにより暗示的にはサンプル・ステージのセットを訓練可能である。これにより、訓練済み機械学習型システム１２０が少なくとも２つの記録されたデジタル画像における対応構造が互いに対して関連付けられ得るように適合される。

【0068】

加えて、距離判定システム１００は、訓練済み機械学習型システム１２０に接続されるとともに、２つの記録された画像のサンプル・ステージ１０２への異なる視野角および２つの記録されたデジタル画像の互いの画素距離に基づいて、その内部に含まれた関連付けられた対応構造を使い、オーバービュー・カメラ１１６の基準点とサンプル・キャリアの基準点との間の距離を判定するために適合される距離判定ユニット１２２を含む。これにより、２つの対応構造の間のいくつかの画素またはその基準点から、（例えば、ミリメートルで表される）距離を分析的に確認することが可能である。ここで、距離判定ユニット１２２の計算方法は、視差効果を使用する。基準点がサンプル・キャリア１０６の断平面に配置されているのであれば有利であり、その結果、サンプル・キャリア１０６および断平面は、各場合において、顕微鏡システムの光軸に垂直に配置されか、延在する。

【0069】

距離判定ユニット１２２は、さらに、矢印１２８によって示されているように、サンプル・ステージ１０２を上下方向、すなわち、ｚ方向に移動させるように制御／駆動ユニット１２６に接続されていてもよい。これは、ｚ方向に垂直な平面内でのサンプル・ステージ１０２のあり得る動きに影響しない。サンプル・キャリア１０６の載置面１０４とサンプル面１２４との間の距離１３０は、サンプル・キャリアによって（そのタイプに応じて）異なり得る。

【0070】

完全性のために、サンプル・ステージ１０２の移動に対する代替案も、異なる視野角における画像の記録に適切である点に再び留意するべきである。例えば、移動されるのがサンプル・ステージ１０２ではなく、オーバービュー・カメラ１１６である場合があり得る。さらなる選択肢として、上述の第２のオーバービュー・カメラ（図示せず）も使用され得る。後者は、例えば、２つのオーバービュー・カメラを通って延在し、顕微鏡システムの光軸に垂直である線上に配置され得る。

【0071】

図２は、要素の数が削減されて図示された、距離判定システム１００の代替的な構成のブロック図２００を示している。ここで基本的に重要なことは、オーバービュー・カメラ１１６が、サンプル・キャリア１０６に下方から直接的に（斜めに）向けられるのではなく、鏡２０２を介して向けられることである。鏡２０２は、サンプル・キャリア１０６から入射する光線、またはサンプル・ステージ１０２から入射する光線を、オーバービュー・カメラ１１６へと向けるように屈折させる。

【0072】

ここで、鏡２０２は、対物レンズ・タレット２０４において別の場合には顕微鏡対物レンズ２０６が存在する位置、または顕微鏡対物レンズ２０６に隣接して設けられ得る。代替的に、鏡２０２のその他の位置決めオプション、すなわち、オーバービュー・カメラ１１６のその他の位置決めオプションも存在する。鏡２０２または代替的にプリズムを、場合によってはその他の光学的要素とともに使用することによって、オーバービュー・カメラ１１６の位置決めは、比較的大きな設計自由度によって特徴づけられる。

【0073】

図３ａおよび図３ｂは、互いに離されている２つの概略的な記録されたデジタル画像（３ａ、３ｂ）を示し、変位は矢印３０２によって示されている。部分図３ａ、部分図３ｂの両者における縞模様の円は、理想化されたサンプル・ウェル１０８を示している。実際の記録においては、サンプルまたはサンプル・ウェル１０８のこれらの表現は、対応構造３０４および３０６の場合について例によって図示されているように、より顕著に不規則な外観を呈する。機械学習型システムは、訓練および訓練に基づく画像の画素の分類の後に、記録されたデジタル画像における全体的構造のうちの対応構造３０４、３０６を互いに関連付けることができる。その結果、矢印３０８によって示されているように、画像３ｂに対する画像３ａの変位を距離判定ユニットの最適化関数によって判定することができる。

【0074】

代替的に、インターセクション・オーバー・ユニオン法（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ ｍｅｔｈｏｄ）の適用によって，またはジャカール係数（Ｊａｃｃａｒｄ ｃｏｅｆｆｉｃｉｅｎｔｓ）の判定によって、図３ａおよび図３ｂによる画像における全体的構造を判定し、それより変位ベクトルまたは距離を判定することもさらに可能である。

【0075】

上述のように、機械学習型システムは、サンプル領域（構造化された形態で示される）に属する全ての画素が例えば、論理的な「１」として提示される一方、記録された画像のすべてのその他の分類の画素が例えば、論理的な「０」として提示されるよう、記録された画像の個々の画素の分類を行うことができる。このように、上述のアルゴリズムのうちのひとつを、比較的少ない労力によって変位ベクトル３０８を判定するために使用することができる。

【0076】

図３ｃは、特定された構造の基準点３１０の例を示し、この場合には、構造の重心が想定されている。代替的に、任意の他の基準点、例えば、最下縁部の点を使用することができる。

【0077】

図４は、例えば、顕微鏡の粗焦点設定のための、コンピュータ実装方法４００の概略的なフローチャートを示している。ここで、顕微鏡システムは、サンプル・キャリアを保持するための載置面を有するサンプル・ステージを含む。サンプル・ステージは、サンプル面の少なくとも１つの延伸方向に沿って（水平方向に）移動可能である。ここにおける顕微鏡システムも、デジタル画像を生成するための非テレセントリック対物レンズを有するオーバービュー・カメラを含む。オーバービュー・カメラは、典型的には、サンプル・ステージに向けられる。方法は、以下の動作、すなわち、異なる視野角におけるサンプル・ステージの少なくとも２つの記録されたデジタル画像の記憶（４０２）を含む。

【0078】

記録されたデジタル画像が記憶（４０２）された後、少なくとも２つの記録されたデジタル画像における対応構造の関連付け（４０４）が、２つの記録されたデジタル画像におけるサンプル・ステージおよび／またはサンプル・ステージ内に載置されたサンプル・キャリアの対応構造を特定するための訓練済み機械学習型システムを使用することによって実行される。ここで、機械学習型システムは、サンプル・キャリアのアノテーション済み訓練画像のセットによって訓練された訓練済み参照モデルを示す。このようにして、距離判定システムは、少なくとも２つの記録されたデジタル画像における距離を対応構造によって判定するように、訓練済み機械学習型システムおよび最適化を使う距離判定ユニットによって、適合される。

【0079】

これは、方法４００の最後の（しかし、終端ではない）ステップにおいて行われ、そこでは、サンプル・ステージの変位が既知である、サンプル・ステージ１０２への異なる視野角と、２つの記録されたデジタル画像の互いの画素距離とに基づいて、それに含まれる関連付けられた対応構造を使い、オーバービュー・カメラの基準点と、サンプル・キャリアの基準点との間の距離の判定（４０６）が行われる。

【0080】

図５は、コンピュータ・システム５００のブロック図を示している。コンピュータ・システム５００は、前述の方法を行うためのシステムとして使用され得る。加えて、コンピュータ・システム５００は、少なくとも評価ユニット１１８および距離判定ユニット１２２の一部を含み得る。本明細書において提案される概念の実施形態は、プログラム・コードを記憶および／または実行するために、原則として事実上どのような種類のコンピュータによっても、そこで使用されるプラットフォームに関わらず、使用され得る。図５は、コンピュータ・システム５００の例を示しており、コンピュータ・システム５００は、本明細書において導入される方法に従ってプログラム・コードを実行するために適している。同様に、顕微鏡システム内に既に存在し、拡張される必要があるもしれないコンピュータ・システムを、本明細書において導入される方法の少なくとも一部を実行するために使用することも可能である。

【0081】

コンピュータ・システム５００は、複数の一般的に利用可能な機能（汎用機能）を含む。ここで、コンピュータ・システムは、タブレット・コンピュータ、ラップトップ／ノートブック・コンピュータ、その他のポータブルデバイスまたはモバイル電子デバイス、マイクロプロセッサ・システム、マイクロプロセッサベースのシステム、スマートフォン、または特別に設定された機能を有するコンピュータ・システムであってよい。本明細書において提案される概念の機能を実現するために実行され得る、プログラム・モジュールなどの、コンピュータ・システムが実行することができる命令を実行するために、コンピュータ・システム５００をセットアップすることができる。このため、プログラム・モジュールは、特定のタスクまたは特定の抽象データ型を実現するためにルーチン、プログラム、オブジェクト、コンポーネント、論理、データ構造などを有していてもよい。

【0082】

コンピュータ・システムのコンポーネントは、ひとつまたは複数のプロセッサまたは処理ユニット５０２と、記憶システム５０４と、記憶システム５０４およびプロセッサ５０２を含む異なるシステム・コンポーネントを接続する、バス・システム５０６とを含んでいてもよい。コンピュータ・システム５００は、典型的には、コンピュータ・システム５００からアクセス可能な複数の揮発性記憶媒体または不揮発性記憶媒体を含む。記憶媒体のデータおよび／または命令（コマンド）は、プロセッサ５０２によって実行されるように、ＲＡＭ（ランダム・アクセス・メモリ）５０８などの揮発性形態の記憶システム５０４に記憶することができる。当該データおよび命令は、本明細書において導入された概念の個々のステップ、または複数の機能または方法のステップを実現する。記憶システム５０４のその他のコンポーネントは、固定記憶メモリ（ＲＯＭ）５１０、および長期記憶メモリ５１２であってよく、その内部にはプログラム・モジュールおよびデータ（参照記号５１６）を記憶することができる。

【0083】

コンピュータ・システムは、通信目的のために一連の専用装置（キーボード５１８、マウス／ポインティング・デバイス（図示せず）、スクリーン５２０など）を備える。これらの専用装置は、タッチ感知ディスプレイに組み合わされていてもよい。別個に提供されたＩ／Ｏコントローラ５１４は、外部デバイスとのシームレスなデータ交換を保証する。ネットワーク・アダプタ５２２は、ローカル・ネットワークまたはグローバル・ネットワーク（ＬＡＮ、ＷＡＮ、例えばインターネット）を使用した通信のために使用可能である。ネットワーク・アダプタは、バス・システム５０６を介して、コンピュータ・システム５００のその他のコンポーネントによってアクセスされ得る。ここで、図示されていないものの、その他の装置をコンピュータ・システム５００に接続することが可能である点を理解するべきである。

【0084】

さらには、画像センサ１１４および／または評価ユニット１１８などの距離判定システム１００（図１参照）の少なくとも一部をバス・システム５０６に接続することができる。画像センサ１１４のデジタル画像データは、別個の前処理システム（図示せず）によって準備されてもよい。

【0085】

本発明の様々な例示的実施形態の説明が、より良好な理解を提供するために示されたが、それは発明的な概念を上述の例示的実施形態に直接的に限定するようにするためのものではない。さらなる修正形態および変形形態が、当業者には理解される。本明細書において使用される用語は、例示的実施形態の基本的な概念を最も良好に説明し、それらを当業者に容易に利用可能にするために選択されたものである。

【0086】

本明細書において導入された原理は、システム、方法、それらの組み合わせおよび／またはコンピュータ・プログラム製品の形態で実施することが可能である。コンピュータ・プログラム製品は、この場合、プロセッサまたは制御システムに本発明の様々な態様を行わせるコンピュータ読み取り可能なプログラム命令を有するひとつ（または複数）のコンピュータ読み取り可能な記憶媒体を備えていてもよい。

【0087】

伝送媒体として使用される適切な媒体は、電子的媒体、磁気的媒体、光学的媒体、電磁的媒体、赤外線媒体または半導体システムであり、例えば、ＳＳＤ（ソリッド・ステート・デバイス／ドライブ）、ＲＡＭ（ランダム・アクセス・メモリ）および／またはＲＯＭ（リード・オンリー・メモリ）、ＥＥＰＲＯＭ（電気的消去可能ＲＯＭ）またはこれらの任意の所望の組み合わせである。さらに、伝送媒体も、電磁波、導波器における電磁波もしくは他の伝送媒体（例えば、光ケーブルにおける光パルス）、またはワイヤにおいて伝送される電気信号を伝搬する。

【0088】

コンピュータ読み取り可能な記憶媒体は、命令実行デバイスによる使用のための命令を保持または記憶する、具現化された装置であってもよい。本明細書において説明されるコンピュータ読み取り可能なプログラム命令は、例えば、（スマートフォン）アプリとして、サービス・プロバイダからケーブル接続またはモバイル無線ネットワークを介して、対応するコンピュータ・システムにダウンロードされてもよい。

【0089】

本明細書において説明された、本発明の動作を実行するためのコンピュータ読み取り可能なプログラム命令は、例えば、Ｃ＋＋、Ｊａｖａ、または、例えば、プログラミング言語「Ｃ」もしくは類似のプログラミング言語などの類似のプログラミング言語または従来の手続き型プログラミング言語によって書かれたマシン依存、またはマシンに依存しない命令、マイクロコード、ファームウェア、状態定義データ、または任意のソース・コードもしくはオブジェクト・コードであってよい。コンピュータ読み取り可能なプログラム命令は、コンピュータ・システムによって完全に実行され得る。これは、いくつかの例示的実施形態において、本発明の態様に従って電子回路を構成または特徴づけるコンピュータ読み取り可能なプログラム命令の状態情報を使用してコンピュータ読み取り可能なプログラム命令を実行する、例えば、プログラム可能な論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路も含み得る。

【0090】

さらには、本明細書において導入される本発明は、本発明の例示的実施形態による方法、装置（システム）およびコンピュータ・プログラム製品のフローチャートおよび／またはブロック図を参照して示される。実際上は、フローチャートおよび／またはブロック図の任意のブロックは、コンピュータ読み取り可能なプログラム命令として実現され得ることに留意するべきである。

【0091】

コンピュータ読み取り可能なプログラム命令を汎用コンピュータ、専用コンピュータ、または、プロセッサ、コンピュータもしくは他のプログラム可能なデータ処理装置に提供することができ、汎用コンピュータ、専用コンピュータ、または、プロセッサ、コンピュータもしくは他のプログラム可能なデータ処理装置は、フローチャートおよび／またはブロック図において示された機能またはプロセスを実現する手段を生成するように、命令がプロセッサ、コンピュータ、またはその他のプログラム可能なデータ処理装置で実行されるよう、マシンを生成するためにプログラムすることができる。上述のコンピュータ読み取り可能なプログラム命令は、同様にコンピュータ読み取り可能な記憶媒体上に記憶されてもよい。

【0092】

この文脈において、示されたフローチャートまたはブロック図における任意のブロックは、特定のロジック機能を実現するための複数の実行可能な命令を示す命令のモジュール、セグメントまたは部分を示していてもよい。いくつかの例示的実施形態において、個々のブロックにおいて示された機能は、異なる順序で、場合によっては同時に実行されてもよい。

【0093】

以下の特許請求の範囲において関連する機能とともに示されたすべての手段および／またはステップの構造、材料、シーケンス、およびその等価物は、特許請求の範囲において明示されるように、全ての構造、材料またはシーケンスに適用されるものである。

【符号の説明】

【0094】

１００ 距離判定システム
１０２ サンプル・ステージ
１０４ 載置面
１０６ サンプル・キャリア
１０８ サンプル区画、ウェル
１１０ 可能な移動
１１２ 顕微鏡対物レンズ
１１４ 画像センサ
１１６ オーバービュー・カメラ
１１８ 評価ユニット
１２０ 機械学習型システム
１２２ 距離判定ユニット
１２４ サンプル面
１２６ 制御／駆動ユニット
１２８ 移動矢印
１３０ サンプル・キャリアの載置面とサンプル面との間の距離
２００ 代替的設定のブロック図
２０２ 鏡
２０４ 対物レンズ・タレット
２０６ 対物レンズ
３００ 記録されたデジタル画像
３０２ 変位矢印
３０４ 対応構造
３０６ 対応構造
３０８ 変位ベクトル
３１０ 基準点
４００ 方法
４０２ 方法のステップ
４０４ 方法のステップ
４０６ 方法のステップ
５００ コンピュータ・システム
５０２ プロセッサ
５０４ メモリ・システム
５０６ バス・システム
５０８ ＲＡＭ
５１０ ＲＯＭ
５１２ 長期記憶メモリ
５１４ Ｉ／Ｏコントローラ
５１６ プログラム・モジュールおよびデータ
５１８ キーボード
５２０ スクリーン
５２２ ネットワーク・アダプタ

【図1】

【図2】

【図3】

【図4】

【図5】