知財求人 - 知財ポータルサイト「IP Force」
7146635マルチスペクトル軌跡を使用するデジタル撮像のための自動合焦の方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-26
(45)【発行日】2022-10-04
(54)【発明の名称】マルチスペクトル軌跡を使用するデジタル撮像のための自動合焦の方法およびシステム
(51)【国際特許分類】
G02B 7/28 20210101AFI20220927BHJP
G06T 7/00 20170101ALI20220927BHJP
H04N 9/07 20060101ALI20220927BHJP
G02B 21/36 20060101ALN20220927BHJP
【ＦＩ】
G02B7/28 J
G06T7/00 630
H04N9/07 A
G02B21/36
【請求項の数】
9
(21)【出願番号】P 2018531648
(86)(22)【出願日】2016-12-14
(65)【公表番号】
(43)【公表日】2019-02-28
(86)【国際出願番号】 EP2016080970
(87)【国際公開番号】W WO2017102827
(87)【国際公開日】2017-06-22
【審査請求日】2019-12-16
【審判番号】
【審判請求日】2021-10-25
(31)【優先権主張番号】62/268,165
(32)【優先日】2015-12-16
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】511286517
【氏名又は名称】ヴェンタナ メディカル システムズ， インク．
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】ブレッノ， ジョージ
(72)【発明者】
【氏名】マーティン， ジム
(72)【発明者】
【氏名】サルカール， アニンディヤ
【合議体】
【審判長】加々美 一恵
【審判官】野村 伸雄
【審判官】瀬川 勝久
(56)【参考文献】
【文献】特表２００７－５２５６８９（ＪＰ，Ａ）
【文献】特開２００４－１９１９５９（ＪＰ，Ａ）
【文献】国際公開第２０１５／００７６９７（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
G02B 7/28
H04N 5/232
G02B 21/00
G02B 27/40
(57)【特許請求の範囲】
【請求項1】
最適な走査軌跡を決定することによってスライド上の被検物の合焦された画像を取得するための方法であって、前記被検物の位置を特定するために前記スライドの比較的低い倍率の画像を取り込むことと、
グリッド点の配置を含むグリッドを形成することと、
前記被検物の少なくとも一部分をカバーする視野にわたって前記グリッドの少なくとも一部分を被せることと、
前記視野の範囲内の前記被検物の画像の比較的高い倍率のＺスタックを取り込むことと、
前記グリッドの前記少なくとも一部分の範囲内の各グリッド点に関する１つまたは複数の最善の焦点値を決定して、最終結果としての３次元の点のグリッドを形成することと、
前記最終結果としてのグリッドに基づいて１つまたは複数の３次元走査軌跡を決定することとを含み、
前記１つまたは複数の３次元走査軌跡がマルチスペクトル軌跡を含み、
前記グリッドの前記少なくとも一部分の範囲内の各グリッド点に関する前記１つまたは複数の最善の焦点値を決定することが、それぞれのグレイスケールおよび選択された興味のある色について、ぼけの量が最小の画像の前記Ｚスタックにおいて焦点面を識別することと、前記識別された焦点面のＺ値を、前記各グリッド点に関する最善の焦点Ｚ値として設定することとを含み、
それぞれの最善の焦点が、画像の前記Ｚスタックの各画像の範囲内の複数の画像フィーチャの最大の平均勾配を有する、
方法。
【請求項2】
各グリッド点に関する前記１つまたは複数の最善の焦点値を決定した後に画像の前記Ｚスタックを破棄することをさらに含む、請求項１に記載の方法。
【請求項3】
前記グリッドが２次元面に形成され、画像の比較的高い倍率のＺスタックを取り込むことが、前記２次元面に対して垂直な光ビームを使用することを含む、請求項１または２に記載の方法。
【請求項4】
前記被検物の合焦された画像をスティッチングして、前記被検物全体の複合画像を手に入れることをさらに備える、請求項３に記載の方法。
【請求項5】
最適な走査軌跡を決定することによってスライド上の被検物の合焦された画像を取得するためのシステムであって、前記システムが、前記スライドの比較的低い倍率の画像を取り込んで前記被検物の位置を特定するデジタル撮像装置と、
グリッド点の配置から成るグリッドを形成するデジタル撮像システムとを備え、
前記デジタル撮像システムが、前記被検物の少なくとも一部分をカバーする視野にわたって前記グリッドの少なくとも一部分を被せ、
前記デジタル撮像装置が、前記視野の範囲内の前記被検物の画像の比較的高い倍率のＺスタックを取り込み、
前記デジタル撮像システムが、前記グリッドの前記少なくとも一部分の範囲内の各グリッド点に関する１つまたは複数の最善の焦点値を決定して、最終結果としての３次元の点のグリッドを形成し、
前記デジタル撮像システムが、前記最終結果としてのグリッドに基づいて１つまたは複数の３次元走査軌跡を決定し、
前記１つまたは複数の３次元走査軌跡がマルチスペクトル軌跡を含み、
前記グリッドの前記少なくとも一部分の範囲内の各グリッド点に関する前記１つまたは複数の最善の焦点値を決定することが、それぞれのグレイスケールおよび選択された興味のある色について、ぼけの量が最小の画像の前記Ｚスタックにおいて焦点面を識別することと、前記識別された焦点面のＺ値を、前記各グリッド点に関する最善の焦点Ｚ値として設定することとを含み、
それぞれの最善の焦点が、画像の前記Ｚスタックの各画像の範囲内の複数の画像フィーチャの最大の平均勾配を有する、
システム。
【請求項6】
グレイスケール画像、興味のある色の画像、および被検物全体の複合画像のうち任意の１つまたは複数にリモートでアクセスして表示するユーザステーションをさらに含む、請求項５に記載のシステム。
【請求項7】
最適な走査軌跡を決定することによりスライド上の被検物の合焦された画像を取得するための、非一時的なプロセッサ可読媒体上にあるコンピュータプログラム製品であって、前記コンピュータプログラム製品が、プロセッサ実行可能命令コードを含み、前記被検物の位置を特定するために、デジタル撮像装置に対して比較的低い倍率の前記スライドの画像を取り込むように命令するための命令コードの第１の組と、
グリッド点の配置から成るグリッドを形成するための命令コードの第２の組と、
前記被検物の少なくとも一部分をカバーする視野にわたって前記グリッドの少なくとも一部分を被せるための命令コードの第３の組と、
前記視野の範囲内の前記被検物の画像の比較的高い倍率のＺスタックを取り込むための命令コードの第４の組と、
前記グリッドの前記少なくとも一部分の範囲内の各グリッド点に関する１つまたは複数の最善の焦点値を決定して、最終結果としての３次元の点のグリッドを形成するための命令コードの第５の組と、
前記最終結果としてのグリッドに基づいて１つまたは複数の３次元走査軌跡を決定するための命令コードの第６の組と、を備え、
前記１つまたは複数の３次元走査軌跡がマルチスペクトル軌跡を含み、
前記命令コードの第５の組が、それぞれのグレイスケールおよび選択された興味のある色に関して、ぼけの量が最小の画像の前記Ｚスタックにおける焦点面を識別することにより、前記グリッドの前記少なくとも一部分の範囲内のそれぞれのグリッド点に関する前記１つまたは複数の最善の焦点値を決定し、
前記命令コードの第５の組が、前記識別された焦点面のＺ値を、前記各グリッド点に関する最善の焦点Ｚ値として設定し、
それぞれの最善の焦点が、画像の前記Ｚスタックの各画像の範囲内の複数の画像フィーチャの最大の平均勾配を有する、
コンピュータプログラム製品。
【請求項8】
各グリッド点に関する前記１つまたは複数の最善の焦点値を決定した後に画像の前記Ｚスタックを破棄するための命令コードの第７の組をさらに備える、請求項７に記載のコンピュータプログラム製品。
【請求項9】
リモートで設置されたユーザステーションに、グレイスケール画像、興味のある色の画像、および被検物全体の複合画像のうち任意の１つまたは複数にアクセスして表示させることを可能にするための命令コードの組をさらに含む、請求項７または８に記載のコンピュータプログラム製品。【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本開示は、全体が参照によって本明細書に組み込まれている、２０１５年１２月１６日に出願した米国仮出願第６２／２６８，１６５号の優先権を主張するものである。
本開示は、全体が参照によって本明細書に組み込まれている、２０１５年１２月１６日に出願した米国仮出願第６２／２６８，１６５号の優先権を主張するものである。
【0002】
本開示は、一般に、コンピュータベースの自動合焦システムと、顕微鏡スライドを撮像するための関連する方法とに関するものである。より詳細には、本開示は、高いスライドデジタル化速度で高品質の画像データを達成するための自動化スライド走査のために、マルチスペクトル軌跡を使用することに関するものである。
【背景技術】
【0003】
顕微鏡スライドのデジタル像を生成するために、デジタル病理機器が使用されることが多い。病理学者および組織検査技師は、組織試料に関する情報を手に入れ、最も適切な治療法を同定して臨床転帰を改善するために、デジタル像を視覚的に検討することが多い。カラー画像を生成するために、自動化スライドスキャナは、赤色チャネル、緑色チャネル、および青色チャネルの各々で画像を取得し、これらの画像を組み合わせてＲＧＢ画像を生成することが多い。
【0004】
スキャナは、画像データを取得するために、複数のフィルタまたは可変波長フィルタのベンチを有する螢光撮像装置または明視野撮像装置のような、種々のスペクトル特性を有する複数の画像チャネルをさらに取得することができる。適切な画像データを達成するために、自動化スライド走査は、多くの場合、多数の種々のＺ面において組織試料を自動的に走査することを含む。取り込まれた画像の多くは、画像データがＺ面のほとんどにおける焦点がずれていることが多いため、ほとんどまたは全く価値がない。この問題は、フィルタベンチおよびＲＧＢセンサを使用する螢光撮像および明視野撮像、あるいはスペクトル特性を取得するための何らかの他の方法にも影響を及ぼす。
【0005】
ＲＧＢ撮像に関して、特に撮像されているフィーチャが小さい場合（たとえば光の波長未満の場合）、青色チャネルまたは緑色チャネルにおける最善の焦点のＺ面は、赤色チャネルにおける最善の焦点のＺ面ではない可能性がある。マルチスペクトル撮像に関して、最善の焦点のＺ面は、個々のチャネルについて異なる可能性がある。１つの色チャネルにおける画像ぼけが全体的なカラー画像品質を損なう可能性があり、解釈、診断、および／または自動化画像解析に関する重大な問題につながる。
【0006】
ぼけを低減するために、カラースライドスキャナは、画像の完全なＺスタック（たとえば各色チャネルに関する画像の一組のＺスタック）を取得することができ、複雑な自動合焦アルゴリズムを使用して、Ｚスタックから単一画像を生成する。しかしながら、これには、かなりの収集時間と、大量のＺスタックデータを記憶するためのメモリと、Ｚスタックデータを解析してカラー画像を生成するためのかなりの処理時間とを必要とする。
【0007】
より具体的には、Ｚスタックは、走査されている組織において表されたそれぞれの色チャネルについて、いくつかの（典型的には３～１５の）画像（または層）から成る。Ｚスタックの取得は、一例として、７層の撮像が通常の走査のほぼ７倍の時間がかかるという点で非常に時間がかかる。
【0008】
問題は、病理学スライドのデジタル化に必要とされる高倍率レンズが非常に狭い被写界深度を表し、したがって、色収差によって撮像能力が制限されるということである。これは、レンズ焦点が、１つの色の近くにあるスライド上に被検物の要素が最もよく合焦されることを保証するように設定されると、その色と非常に異なる対象物は幾分ぼけるということを意味する。言い方を変えれば、緑色および赤色など興味のある種々の色に関して、最善の焦点のｚ層はとても異なる可能性があるので、合焦アルゴリズムが緑色の対象物に対して最適化されると赤色の対象物はしばしば焦点がずれる可能性がある。
【0009】
この影響からのぼけの代わりに、またはそれに加えて、対象物が非常に異なる色の材料によって取り囲まれていると、対象物の色が、光回折効果のために周囲の材料の色と混合される可能性がある。そのため、本明細書で使用されるように、「最善の焦点」は、必ずしも「最もくっきりした焦点」を意味するのではなく、各対象物が、その周囲またはそれを識別するのが望ましい他の対象物から、近かろうと近くなかろうと、最もよく識別される焦点を意味し得る。
【0010】
あるいは、従来のカラースライドスキャナは、１つのチャネルに対して焦点面（または焦面）を選択し、次いで、選択された焦点面において他のチャネルを走査することができる。たとえば、焦点面は緑色チャネルに対して選択され得る。スライドスキャナは、その焦点面において赤色チャネルおよび青色チャネルの画像を取得して、カラー画像すなわちマルチスペクトル画像を生成する。しかしながら、すべてのチャネルの画像を取得するために使用される共通の焦点面は、各チャネルに対する最善の焦点面ではない可能性があり、合焦プロシージャを支配した色以外の色によって支配されるフィーチャに関する、複合画像における望ましくない画像ぼけをもたらす。
【0011】
以下の、従来の合焦方法が提案されている。そのような方法の１つには、ベンタナメディカルシステムズ社のスキャナで実施される「グレイスケール画像からの最善の自動合焦の軌跡」の方法がある。この方法は高い走査速度を提供するが、特にスペクトルにおいてグレイスケール画像を支配する色から比較的異なる色チャネルに関する焦点の走査について、改善のための継続的な必要性が残っている。
【0012】
別の例示的な従来の合焦方法によれば、スキャナシステムは、被検物がｚの各値において完全に撮像されるようなやり方で画像のＺスタックを取得して記憶する。ｚの範囲は、存在する色収差がすべてカバーされるように選択され、すなわち、組織におけるすべての色は、Ｚスタックの層の少なくとも１つにおいて優れた焦点があることになる。これは、各色チャネルについて、Ｚスタックの各層に対して被検物の画像を高倍率でもたらす。そこで、色チャネルのすべてを優れた焦点で示す複合画像を得るために、画像のそのようなＺスタックから単一画像を生成することができる画像合成アルゴリズムが採用される。この手法は高画質を提供するが、禁止的な走査時間およびデータファイルサイズをもたらす。
【0013】
さらに別の走査方法は、視野において興味のある様々な色の各々に対する最善の焦点のｚ値を確立するための、較正試料を用いる予デジタル化較正のステップを含む。このステップの出力は、後続のスライドのデジタル化を導くルックアップ表または較正曲線であることが多い。
【0014】
したがって、顕微鏡スライドをデジタル的に高速で撮像する一方で、各色チャネルに関する画像の完全なＺスタックの収集および記憶を回避するための、新規のコンピュータベースの自動合焦システム、コンピュータプログラム製品、および関連する方法が必要である。
【発明の概要】
【0015】
本開示は、この必要性を満たすものであり、走査されているスライドに関する最適なマルチスペクトル軌跡を決定して、高いスライドデジタル化速度で高品質の画像データを生成する自動化スライド走査を達成することにより、顕微鏡スライドを撮像するためのコンピュータベースの自動合焦システム、コンピュータプログラム製品、および関連する方法を提示するものである。
【0016】
本開示の目標の１つは、顕微鏡などのデジタル光学系の焦点を自動的に選択して調節する一方で、被検物全体のデジタル像を取得することである。
【0017】
本開示の別の目標は、走査画像における種々の染色の対象物のくっきりした合焦と走査速度との間の最適なトレードオフを手に入れることである。より具体的には、本画像処理および走査方法は、大幅に低減された走査時間およびデータファイルサイズを与える一方で、組織において表された関心のあるすべての色に関して満足すべき焦点をもたらすものである。
【0018】
本開示のさらなる目的は、較正スライドの使用を回避し、各スライドを自動的かつ個々に「最善の焦点」へと調節する方法を提供することである。最善の焦点は、取得された画像値の数学関数を最大化する、画像処理とデータ解析技術の組合せを用いて決定される。一例として、焦点は、画像勾配の数学関数を用いて決定され得る。
【0019】
この目的のために、また、高いスライドデジタル化速度で高品質の画像データを達成するために、本開示のデジタル撮像システム（デジタル撮像プロセッサ、デジタル撮像装置、または光プロセッサとも称する）は、以下のステップによってデジタル撮像走査を実施するために、ベンタナメディカルシステムズ社が開発したスキャナを使用することができる。
【0020】
このデジタル撮像システムは、スライド全体の画像を取り込んで、被検物の位置を特定するために取り込まれた画像を処理するのに、比較的低い倍率（たとえば１つの画素当たり２５ミクロン）を使用する。取り込まれた画像は関心領域（「ＡＯＩ」）のサムネイル画像とも称される。このステップは、一般に、被検物（またはスライド）全体のサムネイル画像を取り込むことと称される。
【0021】
次いで、デジタル撮像システムは、被検物の内部にグリッド点の配置を形成する。この配置は、たとえば、被検物がグリッドによって完全にカバーされるようにスライドの面（すなわち「ｘ－ｙ」面）において１ミリメートルまたは数ミリメートル隔てられたグリッド点から形成されたグリッドを含み得る。このステップは、一般に、被検物全体にわたってグリッドを被せることと称される。
【0022】
次いで、デジタル撮像システムは、各グリッド点においてカメラ画像の「Ｚスタック」を取り込むために、比較的高い倍率（たとえば１つの画素当たり０．５ミクロン）を使用する。次いで、デジタル撮像システムは、Ｚスタックの画像解析に基づいて、各ｚ値の焦点メトリックおよび各グリッド点に対する最善の焦点（すなわち最善のｚ値）を決定する。次いで、デジタル撮像システムは画像のＺスタックを破棄する。このステップは、一般に、Ｚスタック画像を取り込み、各グリッド点に対する最善の焦点を決定し、次いでＺスタック画像を破棄することと称される。
【0023】
デジタル撮像システムは、最終結果としてのｘｙｚ点のグリッドを、スライドの走査のためにｘｙｚ軌跡を計算するアルゴリズムに入力する。このステップは、一般に、スキャナのためのｘｙｚ軌跡を計算することと称される。
【0024】
より具体的には、本開示は、走査動作中に、グレイスケール軌跡に対して平行ではあるがｚ方向にオフセットされた追加の走査軌跡（「グレイスケール画像からの最善の自動合焦の軌跡」）において被検物の１つまたは複数の完成画像を追加することを提案するものである。グリッド点の各々におけるグレイスケール画像のための最善の焦点を決定するためのＺスタック画像の解析の一部分として、デジタル撮像システムは、画像に存在する１つ（または複数）の他の色チャネルが、ｚ方向において、グレイスケール画像の最善の焦点とかなり異なる最善の焦点ｚ値があるように見える場所を判定するために、各グリッド点においてＺスタックをさらに評価する。
【0025】
色チャネルがかなり異なる最善の焦点ｚ値を有するかどうかということは、「先験的な」ルールもしくは一覧表、または１つまたは複数の勾配フィルタリングされた画像の選択を考慮に入れる画像解析のいずれかによって判定される。
【0026】
そのような色チャネルは、グレイスケール自動合焦が緑色チャネルによって支配されていると想定すると、ＲＧＢカメラの赤色チャネルおよび／または青色チャネルであり得る。代替実施形態では、１つまたは複数の色チャネルは、１つまたは複数のバイオマーカを強調するように設計されたＲＧＢチャネルの組合せであり得る。別の代替実施形態では、１つまたは複数の色チャネルは、スライドを撮像するのに使用されるカラーフィルタまたは着色光の光源のうちの１つまたは複数、あるいは蛍光像において残存する色のうちの１つまたは複数に対応し得る。
【0027】
追加の軌跡のオフセット距離は、各グリッド点におけるＺスタックに関して興味のある１つまたは複数の色またはバイオマーカのためにグレイスケール画像に使用されるものに類似して、計算の最善の焦点タイプによってほとんど決定される。
【0028】
本開示の様々な特徴およびそれらを実現するやり方を、以下の記述、特許請求の範囲、および図面を参照しながらより詳細に記述する。
【図面の簡単な説明】
【0029】
【図1】本開示による、自動合焦技術を遂行するためにネットワーク環境で動作するスライドスキャナの一部分を形成するコンピュータベースのデジタル撮像システムを図解する図である。
【図6】本開示による、前の図のスライドスキャナによって実施される走査プロセスを図解する流れ図である。
【図7】本開示による、走査されるべき被検物全体に被さるグリッドを図解する全体の被検物スライドの比較的低い倍率の画像またはサムネイル画像である。
【図11】グレイスケールおよび興味のある色の各々に関して被検物全体をカバーする一連の高倍率画像を取り込むためのスライドステージ組立体およびレンズ組立体を選択的に駆動するためにスライドスキャナのデジタル撮像システムによって主として実施されるプロセスであって、各グリッド点における最善の焦点および興味のある各色に対応するｘ、ｙ、ｚのアレイを生成し、ｘ、ｙ、ｚのアレイに基づいてｘｙｚの走査軌跡を生成して、スライドスキャナの一部分を形成する駆動電子回路向けの信号を生成するプロセスを図解する図である。
【図13】本開示による、デジタル撮像システムによって、各グレイスケールおよび興味のある色チャネルに関する図１１および図１２のｘ、ｙ、ｚのアレイに基づいて実行された例示的な代替の個別走査軌跡を図解する図である。
【図14】本開示による、デジタル撮像システムによって、各グレイスケールおよび興味のある色チャネルに関する図１１および図１２のｘ、ｙ、ｚのアレイに基づいて実行された例示的な代替の個別走査軌跡を図解する図である。
【図15】本開示による、デジタル撮像システムによって、各グレイスケールおよび興味のある色チャネルに関する図１１および図１２のｘ、ｙ、ｚのアレイに基づいて実行された例示的な代替の個別走査軌跡を図解する図である。
【図16】本開示による、デジタル撮像システムによって、各グレイスケールおよび興味のある色チャネルに関する図１１および図１２のｘ、ｙ、ｚのアレイに基づいて実行された例示的な代替の個別走査軌跡を図解する図である。
【図17A】ＨＥＲ２遺伝子の発現の程度を明らかにするために興味のある青、赤および黒の３つの色で染色された乳腺細胞核の一例であって、赤色点に関する最善の焦点を図解する図である。
【図17B】ＨＥＲ２遺伝子の発現の程度を明らかにするために興味のある青、赤および黒の３つの色で染色された乳腺細胞核の一例であって、黒色点に関する最善の焦点を図解する図である。
【図18】本開示による、スライドスキャナによって走査された被検物全体の最終的なレンダリングを生成するためにデジタル撮像システムによって実行される、複数のタイルのスティッチング動作を図解する図である。
【発明を実施するための形態】
【0030】
図に示される要素は、図解の簡単さおよび明瞭さのために、必ずしも原寸に比例するものではないことが認識されよう。たとえば、いくつかの要素の寸法は、明瞭さのために他の要素に対して誇張されていることがある。さらに、対応するかまたは類似したフィーチャを示すために、適切であると考えられる場合には図の間で参照番号が再利用されることがある。
【0031】
図１は、本開示の一実施形態による、デジタル撮像のためにマルチスペクトル軌跡を使用する自動合焦技術（本明細書では「自動化スライド走査」または「走査」とも称される）を遂行するようにネットワーク環境で動作する病理学解析システム１００を図解するものである。本明細書で使用されるように、「自動合焦」は、最終結果としての画像が病理学者にとって診断に役立つような顕微鏡スライドの自動デジタル化を指す。
【0032】
顕微鏡スライドは、本明細書では「被検物スライド」または「スライド」とも称される。本開示にとって興味のある顕微鏡スライドは、生体学的被検物（たとえば細胞または組織）の非常に薄い層を保持するように意図されている。被検物は、
（ｉ）スライドを透過する光を吸収する（「明視野撮像」）、
（ｉｉ）外部光源から発する光を散乱させる、または
（ｉｉｉ）外部光源によって刺激された光を放射する（「蛍光撮像」）、といった機能のうち任意の１つまたは複数を遂行するように、典型的には染色されるかそうでなければマークを付けられる。後の２つの機能は「暗視野撮像」と称されることが多い。
（ｉ）スライドを透過する光を吸収する（「明視野撮像」）、
（ｉｉ）外部光源から発する光を散乱させる、または
（ｉｉｉ）外部光源によって刺激された光を放射する（「蛍光撮像」）、といった機能のうち任意の１つまたは複数を遂行するように、典型的には染色されるかそうでなければマークを付けられる。後の２つの機能は「暗視野撮像」と称されることが多い。
【0033】
高品質の画像データを高いスライドデジタル化速度で達成するために、スライドの厚さ、光学軸に沿ったスライドの位置決め、および被検物の厚さが可変であるので、自動化スライド走査は自動合焦の方法を必要とする。
【0034】
図１を参照して、病理学解析システム１００は、一般に、ネットワーク１３０を通じて通信するスライドスキャナ２００、複数のクライアントコンピュータシステム（またはユーザステーション）１４０、１４２を含む。被検物を担持する顕微鏡スライド１１７が、スライドスキャナ２００に載せられる。スキャナ２００は、自動合焦技術を遂行して、複数の色チャネルにおいて被検物の画像を生成する。
【0035】
本明細書で使用されるように、フルカラー（またはマルチスペクトル）は、たとえばＲＧＢカメラ用の赤色、緑色、および青色の３つのチャネル、蛍光画像のすべての色チャネル、または色フィルタもしくは着色光の光源で作製された画像を意味し得る。典型的には、Ｚスタック画像は、ｚのいくつかの（典型的には７～１５の）値の各々において収集される。「Ｚスタック」は、被検物に被さるグリッドの各グリッド点において、光学軸（「ｚ軸」）に沿ったスライド位置が０．５ミクロンなどの小さいステップで変化して、ｚの各値においてフルカラー画像または単一チャネル画像がカメラによって取り込まれることを意味する。
【0036】
いくつかの実施形態では、スキャナ２００は、被検物を担持する顕微鏡スライド１１７の明視野撮像および／または蛍光撮像のための顕微鏡１１５（レンズまたは各レンズとも称する）を含む。スキャナ２００は、さらに、ベンタナメディカルシステムズ社のＶＥＮＴＡＮＡ ｉＳｃａｎ ＨＴ製品を一例とするホールスライドスキャナ（ｗｈｏｌｅ－ｓｌｉｄｅ ｓｃａｎｎｅｒ）であってよい。
【0037】
病理学者、組織検査技師、または同類の専門家など、クライアントコンピュータシステム１４０、１４２のユーザは、走査出力（たとえばスライド１１７の向上した画像）にリモートで、またはローカルでアクセスして、リアルタイムで観察することができる。ユーザは、クライアントコンピュータシステム１４０、１４２によって、ネットワーク化されたデータベース１５０に記憶された走査データにさらにアクセスすることができる。
【0038】
一実施形態では、スキャナ２００がさらに含むコンピュータベースのデジタル撮像システム１１０は、種々のＺスライス（たとえばＺスタッキングによって生成されたＺ面）において画像を取り込んで、各スライドを、自動的に、選択された色チャネルまたはフィルタ帯域に対して最善の焦点ｚ値（最善の合焦点または最善の焦点設定とも称される）へと個々に調節することにより、取り込まれた画像の「鮮鋭度」を改善するように構成されている。
【0039】
後に、より詳細に説明されるように、デジタル撮像システム１１０は、画像処理と、画像勾配の数学関数を最大化するデータ解析技術とを組み合わせて、最善の焦点ｚ値を決定する。それぞれのグレイスケールおよび興味のある選択された色チャネルまたはフィルタ帯域について、デジタル撮像システム１１０は、Ｚスライス上の焦点を、たとえば、ぼけの量が最小の点、またはこの色において対象物をバックグラウンドもしくは周囲の対象物から最善の区別を伴って示す点として識別する。これは、各Ｚスライスにおける最善の合焦点、すなわち「焦点が合った」点または最もくっきりした点と称される。デジタル撮像システム１１０は、識別された「最善の合焦点」を使用して、スキャナ２００の走査軌跡（または軌跡）を決定し、合焦された画像を取り込む。合焦された画像は、組み合わされて（またはスティッチングされて）合焦された複合画像を生成する。デジタル撮像システム１１０が、選択された色チャネルに対して最善の合焦点を使用するので、最終的な複合画像において観測される色収差の量がかなり低減され、走査速度が最適に改善される。
【0040】
本明細書に記述された技術は、それだけではないが、位相検知自動合焦技術、コントラスト検知自動合焦技術などを含む、パッシブまたはアクティブな自動合焦技術など、既知の、または利用可能な自動合焦技術およびＺスライシング技術を向上させるのに使用され得る。
【0041】
図１の特定の例示的実施形態では、スキャナ２００は、一般に、１つまたは複数の画像取込みデバイス１１１、デジタル撮像システム１１０、およびプロセッサ１２５（すなわちコンピュータまたは端末）を含む。より具体的には、画像取込みデバイス１１１は、一般に、光学系（たとえば１つまたは複数のレンズ１１５、センサ焦点レンズグループ、顕微鏡対物レンズなど）、結像センサ（たとえば電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）撮像センサなど）などを用いるデジタル撮像装置１１３（たとえばデジタルカメラ）を含む。
【0042】
デジタルの実施形態では、デジタル撮像装置１１１は、合焦（たとえば自動合焦）を提供するように協働する複数のレンズ１１５を含み得る。ＣＣＤセンサは、被検物スライド１１７のデジタル像を取り込むことができる。特定の実施形態では、デジタル撮像装置１１１は、カラー画像を生成するための赤色チャネル、緑色チャネル、および青色チャネルを有し、種々の鉛直面すなわちＺスライスにおいて画像を取り込むように動作可能である。他の実施形態では、デジタル撮像装置１１１は単色センサまたはカラーセンサであり、光学系は複数のフィルタおよび／または可変波長フィルタを含み、マルチスペクトルチャネルすなわちカラー画像チャネルは、種々のフィルタまたはフィルタ設定を有する撮像装置１１１から複数の画像を取得することによって生成される。カラー画像を生成する方法の１つは、被検物の少なくとも一部分を含む顕微鏡スライドの領域またはスライドの位置を備える１つまたは複数の走査領域を決定することを含む。走査領域は複数のスナップショットに分割され得る。画像は、スナップショットを組み合わせること（またはスティッチングすること）によって生成され得る。被検物またはスライド１１７全体の組み合わせた画像は、同一の焦点面または異なる焦点面におけるＲＧＢチャネルまたはマルチスペクトルのカラー画像チャネルの画像を伴うスナップショットを有することができる。
【0043】
スキャナ２００は、アクセスドア１２１、メモリ１１２、および個別のコントローラ１２３も含むことができる。スライド１１７はアクセスドア１２１を通してスキャナ２００に載せられる。最善の合焦点のｘｙｚ座標はメモリ１１２に記憶され得る。コントローラ１２３は、プロセッサ１２５とともに、または独立して、デジタル撮像システム１１０の動作を処理することによってスキャナ２００の動作を制御するのに使用され得る。この目的のために、デジタル撮像システム１１０は、少なくとも部分的に、ソフトウェアアプリケーション、アルゴリズム、コンピュータプログラム製品などであり得（またはこれらを含み得）、これらは本明細書では総体としてコンピュータプログラム製品と称される。コンピュータプログラム製品は、組み込まれているかまたはコンピュータ記憶媒体に記憶されている複数の実行可能な命令コードから成る。後に、より詳細に説明されるように、プロセッサ１２５（および／またはコントローラ１２３）は、デジタル撮像システム１１０の命令コードを実行する。
【0044】
プロセッサ１２５は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットなどを含み得て、デジタル電子回路、ファームウェア、ハードウェア、メモリ、コンピュータプログラム、プロセッサ（プログラムされたプロセッサを含む）、およびデジタル像を２進形式で記憶するための記憶媒体をさらに含むことができる。画像は、ビット深度によって定義される１つまたは複数のビットのデジタル量を画素が含むように、画素のマトリクスに分割される。デジタル量は、たとえばエネルギー、輝度、色、強度、密度、高さ、または画像処理を通じて導出される分類された値を表し得る。非限定的な例示的デジタル像フォーマットは、それだけではないが、ビットマップされたジェイペグ（ＪＰＥＧ）、タグ付き画像ファイルフォーマット（ＴＩＦＦ）、および画像交換フォーマット（ＧＩＦ）、ならびに他のデジタルデータフォーマットを含む。
【0045】
ネットワーク１３０（または直接接続）は、スキャナ２００をクライアントコンピュータ１４０、１４２に対して相互に接続する。ネットワーク１３０は、一般に、１つまたは複数のゲートウェイ、ルータ、ブリッジ、その組合せ、１つまたは複数のサーバ、ならびに、クライアントコンピュータ１４０、１４２が、アクセスして、使用するための情報を送受信することができる１つまたは複数のウェブサイトを含む。サーバは、情報（たとえばデジタル像、アルゴリズム、染色プロトコルなど）を記憶するための１つまたは複数の関連するデータベースを含み得る。ネットワーク１３０は、それだけではないが、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、インターネットプロトコル（ＩＰ）および他のデータプロトコルを使用するデータネットワークを含み得る。クライアントコンピュータシステム１２０は、本明細書で論じた方法および技術を遂行することができる。クライアントコンピュータシステム１２０の構成要素および特徴は、開示された技術の他の構成要素および特徴と混合され、かつ調和され得る。
【0046】
図２、図３、および図４は、スキャナ２００の機械的構成要素、光学的構成要素、および処理構成要素を図解するものである。スキャナ２００は、スキャナ２００の様々な構成要素を支持するプラットホーム２０５を含む。より具体的には、プラットホーム２０５は、光源２１０、デジタル撮像装置１１３、光学スプリッタ２３０、スライドステージ組立体５２０、およびレンズ組立体５３０のための支持体を提供する。
【0047】
スライドステージ組立体５２０は、一般に、被検物スライド１１７を支持するスライド保持具、およびスライド１１７のｘ－ｙ位置を設定するための駆動機構を備える。レンズ組立体５３０は、一般に、レンズ１１５と、レンズ１１５を支持するレンズプラットホーム２２２と、レンズ軸受組立体２２５と、レンズ１１５の垂直位置を図３の矢印Ｚ－Ｚ（ｚ軸）に沿って設定するための駆動機構とを備える。図４に図解されるように、レンズ軸受組立体２２５は、軸受４１０と、外部モータ４５０に接続されて回転する、偏心ポスト４４４とを含む。
【0048】
図２においてさらに図解されるように、ケーブル２２７は、プロセッサ１２５とコントローラ１２３を相互に接続して、デジタル撮像システム１１０によって提供された命令およびデータをスキャナ２００の様々な構成要素に伝送する。相互接続は、本明細書ではケーブル２２７として記述されていても、それだけではないが、ワイヤレス通信およびネットワーク通信を含む他の通信手段が可能であることを理解されたい。加えて、ケーブル２２７は、スキャナ２００の電気的に動作する様々な構成要素に電力を伝送する。
【0049】
図５は、スキャナ２００の一般的な動作を図解する流れ図５００である。後に、より詳細に説明されるように、デジタル撮像システム１１０は、スキャナ２００が、レンズ組立体５３０をｚ方向（ｚ軸）に沿って移動させたり、スライド１１７をｘ－ｙ方向に移動させたりするのに使用されるｘｙｚ軌跡を決定する。この目的のために、コントローラ１２３および／またはプロセッサ１２５のどちらかの内部に組み込まれ得る駆動電子回路５１０は、デジタル撮像システム１１０からｘｙｚ軌跡データを受け取る。
【0050】
駆動電子回路５１０は、ｘｙｚ軌跡データから適切な駆動命令を導出し、レンズ組立体５３０に対して、ｚ方向に沿って垂直位置を設定するための対応する駆動命令を伝送し、スライドステージ組立体５２０に対して、ｘｙ面に沿ってｘ位置およびｙ位置を設定するための対応する駆動命令を伝送する。矢印５５５によって示された光ビーム（または光学ビーム）は、光源２１０から発し、光学スプリッタ２３０によってデジタル撮像装置１１３の方へ向けられる。
【0051】
次に図６、図７、および図８を参照して、図６は、デジタル撮像システム１１０の全体的な動作（またはプロセス）６００を図解するものである。ステップ６１０において、デジタル撮像システム１１０は、レンズ組立体５３０の比較的低い倍率（たとえば１つの画素当たり２５ミクロン）を使用して、被検物スライド１１７全体の画像７００（図７）を取り込む。取り込まれた画像７００はＡＯＩのサムネイル画像７００とも称される。
【0052】
ステップ６１１において、デジタル撮像システム１１０は、被検物７１０またはその一部分をスライド１１７上に配置するために、取り込まれた画像７００を処理する。
【0053】
プロセス６００のステップ６１２において、デジタル撮像システム１１０は、グリッド点（たとえば７２０、７２１、７２２など）の配置を形成するグリッド７１１（図７）を定義する。グリッド点（たとえば７２０、７２１、７２２など）は、たとえば「ｘ－ｙ」面すなわちｘｙ面であるスライド１１７の面において数ミリメートルまたは数分の１ミリメートルだけ分離されている。グリッド７１１が、ｘｙ面においてグリッド点の均一な配置または不規則な配置（または分布）を有し得ることを理解されたい。
【0054】
ステップ６２０において、デジタル撮像システム１１０は、被検物７１０全体にわたってグリッド７１１を被せる。
【0055】
ステップ６３０において、デジタル撮像システム１１０は、各グリッド点（たとえば７２０、７２１、７２２など）における画像８００（図８）の「Ｚスタック」を取り込むために、レンズ組立体５３０（図５）に、比較的高い倍率（たとえば１つの画素当たり０．５ミクロン）を使用するように命令する。
【0056】
ステップ６３２および６３３において、デジタル撮像システム１１０は、各グリッド点（たとえば７２０、７２１、７２２など）のＺスタック画像８００を使用して、グレイスケールに関する最善の合焦点に対応するｚ値と、興味のある各色に関する最善の合焦点に対応するｚ値とを決定する。後に、図１１に関連して説明されるように、最善の合焦点のこの決定は、１つまたは複数のｘ、ｙ、ｚのアレイ１１１１（１つはグレイスケールに関するものであり、１つは興味のある各色に関するものである）をもたらす。次いで、デジタル撮像システム１１０は、Ｚスタック画像８００を破棄するが、それぞれの最善の焦点ｚに関する最善の焦点のｘ値およびｙ値を記憶する。
【0057】
ステップ６４２および６４３において、デジタル撮像システム１１０は、最善の合焦点（またはｚ値）を表す、最終結果としてのｘ、ｙ、ｚのアレイ１１１１を使用して、グレイスケールおよび興味のある各色に関する最善のｘｙｚ走査軌跡を計算する。例示的な自動合焦（または走査）の軌跡１３００、１４００、１５００、１６００は、それぞれ図１３、図１４、図１５、および図１６に関連して後に説明する。
【0058】
ステップ６５０において、デジタル撮像システム１１０は、レンズ組立体５３０に、自動合焦の軌跡１３００、１４００、１５００、１６００の各々について、被検物７１０のデジタル画像１８１０（図１８）を取り込ませる。
【0059】
補完ステップ６６０として、ステップ６２０において、グリッド７１１がレンズ組立体５３０の視野から外れると、次いで、被検物７１０は、図１８に図解されるような小さいタイル（たとえば１８１０、１８１１、１８１２など）のマトリクスに分割され、タイル（たとえば１８１０）のうちの１つの上にグリッド７１１が被せられる。デジタル撮像システム１１０は、他のタイル（たとえば１８１１、１８１２など）の各々に対してステップ６２０～６５０を繰り返す。次いで、最終結果としてのデジタル画像（たとえば１８２０、１８２１、１８２２など）がデジタル撮像システム１１０によってスティッチングされて、複合画像が生成される。
【0060】
図９および図１０を参照して、これらの図は、例示的な図解によって支援され、図６のステップ６３２および６３３のより詳細な記述を提供するものである。図９は、グレイスケールおよび興味のある追加の色について、それぞれ最善の焦点ｚ値を決定するためのステップ６３２と６３３を組み合わせるプロセス９００を表す。プロセス９００は、各グリッド点（たとえば７２０、７２１、７２２など）について繰り返される。
【0061】
ステップ９１０において、デジタル撮像システム１１０は、各グリッド点（たとえば７２０、７２１、７２２など）において取り込まれた高倍率画像８００のＺスタックを使用して、グレイスケールおよび興味のある各色について、各ｚ値に関する勾配の平均値を決定する。各Ｚスタックの内部で、最大の平均勾配を伴う画像８００が「最善の焦点」として定義され、対応するｚが、そのｘｙｚ点に関するｚにおける最善の焦点として記録される。
【0062】
本明細書で使用されるように、「グレイスケール画像」は、デジタル撮像装置１１３のＲチャネル、Ｇチャネル、およびＢチャネルがグレイスケール画像へと組み合わされるか、または１つの色チャネルがグレイスケール画像に選択されることを意味する。ここで使用される最大の平均勾配は、「焦点メトリック」、すなわち焦点の品質に対応する数として知られているものの一例である。本開示の教示を使用して決定される走査軌跡は、「グレイスケール画像からの最善の自動合焦の軌跡」と称される。
【0063】
本開示の一実施形態によれば、使用される（または除外される）色チャネルの選択は、スキャナ２００の合焦能力に著しく影響を及ぼすことなく、走査速度をさらに改善する。より具体的には、病理学スライド１１７のデジタル化に必要とされる高倍率レンズ１１５が非常に狭い被写界深度をもたらし、したがって、色収差によって撮像能力が制限されるということである。これは、被検物７１０の緑色に近い色の要素がくっきりするように焦点が合うことを保証するようにｚ値が決定された（グレイスケール撮像の典型例である）場合には、（たとえば）非常に赤みがかっている要素は幾分ぼけることを意味する。赤色のフィーチャがかなり小さければ、診断の見地から、最終結果としてのスライドのデジタル像が、このぼけによって損なわれるか、または全く役立たないことさえある。「赤みがかっている」は一例でしかなく、「グレイスケール画像からの最善の自動合焦の軌跡」から十分に異なる色の被検物７１０の、色収差によってぼける何らかの対象物は、本開示の関心事である。この問題は、明視野画像と暗視野画像の両方のデジタル化に関連するものである。
【0064】
図１７Ａおよび図１７Ｂは、ＨＥＲ２遺伝子の発現の程度を明らかにするために興味のある青、赤および黒の３つの色で染色された乳腺細胞核１７００の一例を図解するものである。図１７Ａは赤色点１７１０に関する最善の焦点を図解し、図１７Ｂは黒色点１７２１、１７２２に関する最善の焦点を図解する。
【0065】
図１７Ａでは、青色は核１７００を指し、赤色は染色体１７の存在を指示し、黒色はＨＥＲ２遺伝子の発現を指示する。図１７Ａは赤色点１７１０に対する最善の焦点を示し、赤色点１７１０は生彩があり、うまく形成されている。図１７Ｂは、黒色点１７２１、１７２２に対する最善の焦点を示す。図１７Ａの赤色点１７１０は図１７Ｂのものよりも明らかに赤いが、図１７Ｂの黒色点１７２２は図１７Ａのものよりも明瞭である。この例では、被検物７１０は、固定されたｘｙ座標において０．２５ミクロンだけ分離した１５個の異なる焦点のｚ位置で撮像された。
【0066】
次に図９および図１０を参照して、プロット９１５は、各ｚ値に関する勾配の平均値を図解するものである。プロット９１５は、赤色点に適切な焦点メトリック（円で表されている）と黒色点に適切な焦点メトリック（Ｘ印で表されている）とを対比させた例示的な応答を示す。プロット９１５において垂直軸はメトリックの値であり、水平軸はＺ層の数である。この特定の例では、赤色に関する「最善の焦点」は、黒色に関する「最善の焦点」の左側の、ｚの少なくとも２つの値であることに留意されたい。この組にわたる実験データは、赤色に関する最善の焦点と黒色に関する最善の焦点の間のオフセットが、スライド間で２～６個のＺ層だけ変化することを指示しており、連続する層の各組は０．２５ミクロンだけ隔てられていた。
【0067】
ステップ９２０では、デジタル撮像システム１１０は、プロット９１５を使用し、色に関連した勾配プロットにおいて、グレイスケールに関する最善の焦点ｚおよび他の興味のある色に関する最善の焦点ｚを、それぞれ頂点１０２２、頂点１０２３（図１０）に決定する。
【0068】
一般に、本開示の自動合焦の方法６００は、被検物７１０の複数の位置（ｘ，ｙ）における最高の焦点メトリックを用いる焦点設定として、値ｚを決定する。詳述するため、この自動合焦のステップによって決定された（ｘ，ｙ）点は数ミリメートルだけ分離され得る。最善の焦点メトリックの位置ｚと各位置（ｘ，ｙ）を組み合わせると、３Ｄ空間における点クラウド（ｘ，ｙ，ｚ）を与える。これらの点は、被検物７１０にむらがあるために、典型的には１つの面にはない。走査するときスライド１１７のｘｙｚ移動および焦点位置を制御する電子回路５１０（図５）を駆動するために、連続した経路または軌跡を、ｘｙｚ点（最善の合焦点または最善の焦点Ｚ点）のグリッドに一致させなければならない。この連続した経路は、本明細書では「走査軌跡」（たとえば１３００、１４００、１５００、１６００）と称する。
【0069】
図１１～図１６を参照して、これらの図は、例示的な図解によって支援され、図６のステップ６４２、６４３、および６５０のより詳細な記述を提供するものである。図９に関連して前に説明されたように、一旦プロセス９００が完了すると、グレイスケールおよび興味のある追加の色に関する最善の焦点のｚ値を決定するために、図１１のプロセス１１００は、図６のステップ６４２と６４３を組み合わせるステップ１１２０へ進む。ステップ１１２０において、デジタル撮像システム１１０は、ｘ、ｙ、ｚのアレイ１１１１からｘｙｚの走査軌跡を生成する。
【0070】
ステップ１１３０において、プロセス１１００は、スライドステージ組立体５２０を光学軸に対して垂直な面（たとえばｘｙ面）に沿って選択的に駆動するための駆動電子回路５１０向けの適切な信号と、カメラから画像を収集しながら光学軸（たとえばｚ軸）に沿ってレンズ１１５を駆動するための、レンズ組立体５３０向けの適切な信号とを生成し、それにより、ステップ６５０において、スキャナ２００は、グレイスケールおよび興味のある色の各々について、スライド被検物７１０全体（またはレンズ１１５の視野の範囲内のタイル）をカバーする一連の高倍率画像を取り込む。
【0071】
図１２には、グレイスケールに関する最善の合焦点１２１０（黒色点のＸ印）と、興味のある色のうち１つに関する最善の合焦点（赤色点）１２２２とが、ｘを固定してｙを変化させる一組のグリッド点のｚにおいて異なり得ることを示す例示的なアレイ１１１１が図解されている。縦軸は「ｚ層」とラベルを付けられ、Ｚスタックに関する画像が取り込まれているｚの値に対応する。横軸は「ｙ」とラベルを付けられ、スライド１１７の幅に沿って固定されたｘに対してスライド１１７の長さに沿った距離に対応する。
【0072】
この例では、黒色点のＸ印１２１０と赤色点１２２２の間のｚの距離は、多くは２層であるが、１つのｙ値において２層よりも大きく、２つの他のｙ値において２未満であることに留意されたい。この変化は「実環境」では典型的なものである。グリッド点がたとえば数ｍｍ離れているので、走査中に、焦点機構（レンズ組立体５３０から成る）を連続的に制御することができるように、走査軌跡は、黒色点のＸ印１２１０と赤色点１２２２について別に計算されなければならない。
【0073】
一実施形態では、デジタル撮像システム１１０は、グレイスケール（黒色点のＸ印）１２１０に関する滑らかな軌跡を最初に決定し、次いで、興味のある色に関する最善の焦点１２２２を解析することによって正当化される任意の追加の軌跡を決定する。追加の軌跡は赤色点を精密に辿り得る。別の実施形態では、追加の軌跡は、黒色点のＸ印１２１０の上または下に常にあるように拘束され得る。さらに別の実施形態では、追加の軌跡は、グレイスケール軌跡に対して常に平行で、ｚにおいて所定の距離があるように拘束され得る。さらに別の実施形態では、追加の軌跡は、レンズ１１５の色収差のモデルによってさらに拘束され得、同モデルは、予走査の較正ステップ中に生成されてよく、またはレンズ１１５の物理モデルに基づくものであってよい。較正ステップは、種々の色の人工目標を伴うスライド１１７を使用してよく、またはすべての関連するバイオマーカおよび色が存在する場合には被検物スライドを使用してよい。
【0074】
しかしながら、本開示の１つの例示的実施形態では、較正ステップは不要である。スライド１１７にある個々の染色が知られているときには、染色の物理的性質により、これらの染色の焦点深度は、長い波長の光は短い波長の光よりもレンズ１１５から遠くに焦点があるという知識から概略的に推定され得る。そのゆえに、たとえば赤、黒、および青の３つの染色があるときには、染色の予備的知識を使用して、どの染色がより大きいｚ値を占有してどの染色がより小さいｚ値を占有するか、あらかじめ知ることができる。そのような知識は、各染色について、グレイスケール画像の最もよく合焦される層に関して、最もよく合焦されるｚ層の先験的な推定を提供する。所与の組織において、異なる染色の異なる焦点深度に関するこの初期の仮定が乱されるような染色変化があるときには、予備的知識に基づく予較正は正常に機能しない可能性がある。そうでなければ、最も実用的なシナリオのために、個別の染色について、異なる走査軌跡の相対位置が前もって推定され得る。
【0075】
前述の軌跡決定方法は、必要に応じて、興味のある１つまたは複数の他の色へと拡張され得る。グレイスケールと興味のある色の間のｚの距離がほぼ常にゼロであれば、さらなる軌跡は不要である。このｚの距離がほぼ常に１以上であれば、その興味のある色に関するさらなる軌跡が、被検物７１０全体のさらなるデジタル画像を提供するはずであり、病理学者に有益であり得る。
【0076】
透過した（近似的に白い）光の画像を取り込むＲＧＢカメラについては、必要な追加の走査軌跡は、興味のある生物学的特徴の色分布に依拠して１つだけでよい。色フィルタ、着色光の光源、または蛍光性の被検物によって生成された連続する複数の狭い識別用色帯において画像を取り込むカメラについては、スライド画像にあるすべての色の満足すべき合焦のために、複数の追加の走査軌跡が必要とされることがある。
【0077】
一旦、最善の合焦点１２１０、１２２２が決定されると、スライド１１７を位置決めし、かつレンズ１１５をこれらの最善の合焦点１２１０、１２２２に合焦させるために、種々の軌跡（たとえば１３００、１４００、１５００、１６００など）が辿られ得る。図１３に図解されている第１の例示的な完全な軌跡１３００は、各色チャネルについて実行され、最初に最善の合焦点１２１０を順次に連結し、次いで最善の合焦点１２２２を順次に連結する。位置決め精度を向上させるために、すべての位置は同一の方向から（すなわちｚ方向を増加させて）接近させる。この手法は、システムにあり得る機械的バックラッシュを補償する。軌跡１３００は独立した色チャネルを提供し、独立した色チャネルを１つの複合画像へそろえるために追加の登録ステップが必要とされる。
【0078】
図１４は、「交番層」のパターンによって実行される別の軌跡１４００を図解するものである。軌跡１３００（図１３）は、スライド１１７を、グレイスケールに関する最善の焦点軌跡を通って移動させ、その後（たとえば）赤色に関する最善の焦点軌跡を通って移動させ、何らかの他の所望の色軌跡に関して、同様に、軌跡１４００は交番層のパターンに従って実行される。スキャナ２００は、スライドをｘおよびｙにおいて移動させるとき、ｚにおいて（２つの最善の合焦点の間の）１つのサブ軌跡から次のものへと交番する。この移動は、被検物７１０の完全なデジタル化を保証するために、互いに完全にオーバラップする各軌跡について画像が収集されるように制御される。
【0079】
走査がｘ、ｙにおいて進行するとき、各ｘ、ｙにおいて各色チャネルに関する最善の焦点画像が取り込まれ、これによって必要な走査時間がより短くなることが判明し得る。図１４に図解された手法は、被検物７１０のデジタル化に必要なｘおよびｙの範囲にわたってスライド１１７を１回だけ移動させればよく、取得された画像データは常に空間に整列するという利点がある。
【0080】
図１５は、合計の走査運動が低減された別の例示的な交番する軌跡１５００を図解するものである。軌跡１５００に沿って、各スライド位置において取得される画像チャネルの順番は、ｚにおいて最も近い位置が最初に撮像されるように選択される。次いで、最終結果としての複数の画像は、合成技術によって単一画像へ統合されて解析されるか、または、最初に個々に解析され、次いでその結果が合成解析へと統合される。
【0081】
図１６は、本開示によるさらに別の可能な軌跡１６００を図解するものである。軌跡１３００、１４００、１５００、１６００は非排他的な例であり、本明細書では図解のために提供されていることを理解されたい。
【0082】
本明細書で説明される流れ図の各々において、方法のうち１つまたは複数は、コンピュータ可読コードを包含しているコンピュータ可読媒体で具現されてよく、コンピュータ可読コードがコンピュータデバイス上で実行されるとき、一連のステップが遂行される。いくつかの実装形態では、この方法の特定のステップは、本開示の趣旨および範囲から逸脱することなく、組み合わされ、同時に、または異なる順番で遂行され、あるいは省略される。したがって、この方法のステップは特定の順序で説明され、かつ図解されているが、ステップの特殊な順序の使用は、本開示に対するいかなる限定も示唆するものではない。本開示の趣旨または範囲から逸脱することなく、ステップの順序が変更され得る。したがって、特定の順序の使用は限定する意味に解釈されるべきではなく、本開示の範囲は添付の特許請求の範囲によってのみ定義される。
【0083】
当業者には理解されるように、本開示の態様は、システム、方法、またはコンピュータプログラム製品として具現され得る。それゆえに、本開示の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、あるいは、すべてが一般に「回路」、「モジュール」または「システム」と本明細書で称され得るソフトウェアの態様とハードウェアの態様を組み合わせた実施形態の形を採用し得る。その上、本開示の態様は、具現されたコンピュータ可読プログラムコードを有する１つまたは複数のコンピュータ可読媒体において具現されたコンピュータプログラム製品の形を採用し得る。
【0084】
さらに認識されるように、本開示の実施形態におけるプロセスは、ソフトウェア、ファームウェアまたはハードウェアの任意の組合せを使用して実施され得る。本開示のソフトウェアでの実施のための準備のステップとして、（ソフトウェアであろうとファームウェアであろうと）プログラミングコードは、たとえば、それだけではないが、典型的には電子、磁気、光学、電磁気、赤外線、もしくは半導体の、システム、装置、もしくはデバイス、または前述のものの任意の適切な組合せといった１つまたは複数のコンピュータ可読記憶媒体に記憶されることになる。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、１つまたは複数のワイヤを有する電気接続、携帯型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、携帯用コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、または前述のものの任意の適切な組合せを含むことになる。この文献の状況では、コンピュータ可読記憶媒体は、命令を実行するシステム、装置、またはデバイスによって、またはそれらに関連して使用される、プログラムを包含するかまたは記憶することができる任意の有形の媒体であってよい。
【0085】
プログラミングコードを包含している製品は、記憶デバイスからのコードを直接実行すること、記憶デバイスからコードをハードディスク、ＲＡＭなど別の記憶デバイスへのコピーすること、またはデジタル通信リンクおよびアナログ通信リンクなどの伝送タイプの媒体を使用してリモート実行のためのコードを伝送することのいずれかによって使用される。本開示の方法は、本開示によるコードを包含している１つまたは複数の機械可読記憶デバイスを、包含されているコードを実行するための適切な処理ハードウェアと組み合わせることによって実施され得る。本開示を実施するための装置は、１つまたは複数の処理デバイスと、本開示に従ってコード化された１つまたは複数のプログラムを包含しているかまたは同プログラムに対するネットワークアクセスを有する記憶システムとであり得る。
【0086】
コンピュータ可読信号媒体には、たとえばベースバンドにおいて、または搬送波の一部分として伝達される、コンピュータ可読プログラムコードが具現されているデータ信号が含まれ得る。そのような伝達される信号は、それだけではないが、電磁気、光、またはその任意の適切な組合せを含む様々な形態のうち任意のものを採用してよい。コンピュータ可読信号媒体は、命令を実行するシステム、装置、またはデバイスによって使用されて、またはそれらに接続されて、プログラムを通信する、伝達する、または移送することができる、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってよい。
【0087】
コンピュータ可読媒体上に具現されたプログラムコードは、それだけではないが、ワイヤレス、ワイヤライン、光ファイバケーブル、無線周波などを含む任意の適切な媒体、または前述のものの任意の適切な組合せを使用して伝送され得る。本開示の態様の動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語など従来の手続き型プログラミング言語もしくは類似のプログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組合せで書かれ得る。プログラムコードは、スタンドアロンのソフトウェアパッケージとして、完全にユーザコンピュータ上で実行してよく、部分的にユーザコンピュータ上で実行してよく、部分的にユーザコンピュータでしかも部分的にリモートコンピュータ上で実行してよく、または完全にリモートコンピュータまたはサーバ上で実行してよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザコンピュータに接続されてよく、または（たとえばインターネットサービスプロバイダを使用してインターネットを通じて）外部コンピュータに接続されてよい。
【0088】
したがって、本開示の実例となる実施形態は、ソフトウェアがインストールされている（または実行される）完全に機能的なコンピュータ（サーバ）システムの状況で説明されているが、本開示の実例となる実施形態のソフトウェアの態様が様々な形態でプログラム製品として配布され得、また、本開示の実例となる実施形態が、実際に配布するために使用されるコンピュータ可読信号媒体の特定タイプに関係なく一様に適合することを当業者なら認識するということが重要である。
【0089】
加えて、本開示は例示的な実施形態を参照しながら説明されてきたが、本開示の範囲から逸脱することなく様々な変形形態が作製され得、その要素の代わりに均等物が代用され得ることが当業者には理解されよう。その上、特定のシステム、デバイス、またはその構成要素を本開示の教示に適応させるために、本開示の教示の本質的な範囲から逸脱することなく多くの変更形態が作製され得る。したがって、本開示は、この開示を実行するために開示された特定の実施形態に限定されず、添付の特許請求の範囲に含まれるすべての実施形態を含むように意図されている。
【0090】
デバイス、機構、システム、または要素の配向（たとえばｘ、ｙ、ｚの方向）を参照しながら本明細書で使用された語法および用語は、特定の実施形態を説明するためだけのものであり、本開示を限定するようには意図されていないことを理解されたい。本明細書で使用されたように、「ある（ａ）」、「ある（ａｎ）」、および「その」といった単数形は、文脈が明らかに示さなければ、同様に複数形を含むように意図されている。「備える」および／または「備えている」といった用語は、本明細書で使用されたとき、明示された特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指定するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそのグループの存在または追加を排除するものではないことがさらに理解されよう。第１、第２、などの用語の使用は、いかなる順番または重要性も表示するものではなく、第１、第２、などの用語は、１つの要素を別のものから区別するために使用される。加えて、「ａ」、「ｂ」、「ｃ」、「第１」、「第２」、および「第３」などの列挙する用語は、本明細書および添付の特許請求の範囲において記述の目的に使用され、相対的重要度または重要性を指示するかまたは示唆するようには意図されていない。
【0091】
以下の特許請求の範囲における、すべてのミーンズプラスファンクション要素またはステッププラスファンクション要素の対応する構造、材料、行為、および均等物は、あらゆる構造、材料、または機能を遂行するための行為を、他の特許請求された要素と組み合わせて、明確に特許請求されたものとして含むように意図されている。本開示の記述は、図解および記述の目的のために提示されたものであるが、網羅的であるように、または本開示の開示された形態に限定されるようには、意図されていない。当業者には、多くの変更形態および変形形態が、本開示の範囲および趣旨から逸脱することなく明らかになるであろう。実施形態は、本開示の原理および実際の用途について最適に説明するために、また、他の当業者が、様々な変更を伴う様々な実施形態について、企図された特定の使用に適するものとして本開示を理解することを可能にするために、選択され、かつ記述されたものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18】
