(58)【調査した分野】(Int.Cl.,DB名)
前記コンピューターが読み取り可能な記憶媒体に格納され、デジタル顕微鏡スライドの画像を得るように構成されたデジタル顕微鏡スライド取得モジュールをさらに備える請求項1に記載のシステム。
前記複数のブロックに対するブロックスコアを含むスコアマップを生成するステップと、スライド全体のスコアを計算するために前記スコアマップの評価を組み合わせるステップとをさらに有する請求項6に記載の方法。
【発明を実施するための形態】
【0010】
本開示に開示された特定のいくつかの実施形態は、複雑さと空間周波数に基づいた画像品質の評価、及びそのような評価を可視的結果及び定量的結果の両方を使用して提示するためのシステム及び方法を提供する。例えば、本開示に開示された1つの方法によって、ローカル領域の品質の色コード化された「熱マップ」によって閲覧用ソフトウェアで画像をオーバーレイすることによってスライド全体の品質についての視覚的なフィードバックを提供するために複雑さ及び空間周波数に基づいてデジタルスライド画像を分析することが可能になり、これによって、画像全体の絶対的な品質評価及びローカル領域の品質のばらつきを一目で把握する能力の両方をユーザーに提供することができる。この記載を読めば、様々な代替的な実施形態や代替的なアプリケーションにおいて本発明を実装する方法が当業者にとって明白になる。しかしながら、本発明の様々な実施形態について本開示に記載するが、これらの実施形態は単に例として示すのであって限定するものではないと理解すべきである。そのため、様々な代替実施形態の詳細な説明は、添付した請求の範囲で記載されている本発明の範囲ないし広がりを限定するように解釈されるべきではない。
【0011】
図7に示すように、デジタルスライドの内容が多様であるので、画像全体の空間周波数の評価を行っても画像品質の特徴をうまく表現することができない。病理学的な像は、相当な白い空間を含み、重要でない標本が分散しており、スリップエッジや気泡を範囲に含む。与えられた画像をレビューするエキスパートは、それらの問題を直観的に無視し、それらを画像品質に影響する資料とは考えない。したがって、本システムも同様にそれらを考慮対象から外す。
【0012】
図14は、プロトコルの差、ステインキットの選択、及び病理学者のステインの好みに起因する、デジタルスライドの内容における異なるばらつきの例を示す。生物学的なサンプルは、患者、病理及び器官の間で驚異的な差を示しており、これによって、画像のばらつきが発生する。また、組織の折れ、外部の物質の混入、ミクロトームブレードのがたつき及びサンプル厚さが異なることによって、スライドの用意がデジタルスライドの内容にばらつきを与える。
【0013】
広範囲の分解能でデジタルスライド捕捉プロセスが行われる。また、デジタルスライド捕捉プロセスは様々な画像圧縮技術(例、JPEG、JPEG2000)を用い、これらそれぞれは所望の圧縮品質を達成するために個別に決められた設定があるものがある。
【0014】
与えられた標本のばらつきを許容するために、スライド品質判断システムの本実施形態は、以下の2つの部分の分析を行う。すなわち、マクロ分析プロセスと、これに続くミクロ分析プロセスとである。
【0015】
ミクロ分析
ミクロ分析プロセスは、小部分(本開示において「領域又はブロック」と呼ぶ)に分割し、それらの部分それぞれに対して品質分析を行うことによって、画像全体を評価する。
図1は、本発明に係るスライド分析システムによって行われる、ミクロ分析プロセス100の実施形態を示す。
【0016】
ステップ105でミクロ分析プロセス100が開始する。
【0017】
ステップ110で、プロセス100が画像をブロック又は領域と呼ばれる小さな画像のグリッドとして評価しうる。与えられたブロックのサイズは、画像の分解能に依存しうる。例えば、1つのブロックは、一又は複数の細胞を含むことができるほど十分に大きいことがありうる。経験的に、1つのブロックのサイズは、例えば、32、64又は96のピクセルのような辺の長さが32〜96のピクセル領域のn×nブロックでありうる。しかしながら、96ピクセルより大きい又は32ピクセルより小さい寸法のピクセルの四角形を持ちうるような様々な実施形態が存在しうる。さらに、ブロックは正方形に限定されず、画像スライドを構成することができる様々な他の形であってもよく、これには、例えば、矩形ブロック、ストライプ、多角形の領域、円形領域などが含まれるが、これらには限定されない。
【0018】
ステップ115で、プロセス100は、各ブロックの品質を識別しうる。この品質識別ステップは、どのブロックが適切な標本内容を有するかを決める役割を有する。例えば、余りにも多くの白いスペースを含むブロックは、「背景」として分類されることがあり、あるいは暗すぎ又は明るすぎるブロックは、「未処理」として分類されることがある。別の規準として、ブロックが十分なエッジアクティビティ、コントラストなどを有するかどうかの判断がありうる。
【0019】
ステップ120で、品質識別されたブロックが周波数変換によって分析されうる。これには、ブロックの空間周波数内容を分析することを含みうる。この分析には、二次元の高速フーリエ変換(FFT)、離散フーリエ変換(DFT)、離散コサイン変換(DCT)又は離散サイン変換(DST)を行うことを含みうる。本実施例では、DCTを用いて説明する。しかしながら、本実施例においてDCT又は他の任意の使用可能な周波数変換の単独使用又は組み合わせ使用が好ましいとか好ましくないということを示すことを意図したものではない。
【0020】
ステップ120で、ブロックに対してグリッドパターンで複数のDCTが行われうる。また、オーバーラップするパターンも行うことができ、その場合には、修正DCT(MDCT)を行う。画像ブロックの内部に対するDCTを「部分的なDCT」と呼ぶことができる。
【0021】
実施形態において、1つの画像ブロックに少なくとも4つの部分的なDCTが適合するように部分的なDCTのサイズをセットすることがある。例えば、32×32ピクセルの画像ブロックは、8×8又は16×16の部分的なDCTを使用することができる。
図2Aは、32×32ピクセルの画像ブロックにおいて8×8の部分的なDCTを使用する実施例を示す。
図2Bは、32×32ピクセルの画像ブロックにおいて16×16の部分的なDCTを使用する第2の実施例を示す。
【0022】
ステップ125で、プロセス100は、多数の周波数変換をブロックスコアへと組み合わせることができる。プロセス100は、部分的なDCTを「ブロックDCT」へと統合することができる。ブロックDCTは、同じ2次元のブロックサイズを有することができる。この統合の際には、与えられたしきい値よりも大きい値を有する部分的なDCTは、対応するブロックDCTに寄与することができる。部分的なDCTそれぞれがブロックDCTに寄与する量は、部分的なDCTの大きさに基づくことができる。代わりに、部分的なDCTそれぞれは、ブロックにおいて所定のしきい値を超える部分的なDCTの数のカウント値にブロックDCTがなることができるように、予め設定された同一の値を寄与させることができる。
【0023】
ブロックの品質スコアをブロックDCTから生成することができる。周波数の存在を示すように、ブロックDCTが最低限の大きさに満足することを要求することができる。例えば、ブロックDCTを形成するしきい値よりも大きい部分的なDCTの比は、画像ブロックにおける周波数成分の量を表しうる。この値は、ブロックDCTを形成するしきい値を超える部分的なDCTの数を、ブロックを構成する部分的なDCTの数で割ることによって決めることができる。代わりに、部分的なDCTそれぞれに対して、1つの周波数範囲の寄与を強調するために重み付けすることがある。例えば、高い周波数を低い周波数よりも大きく重み付けすることができる。次に、0と1の間の値を得るように、所与の周波数の部分的なDCTの重み付けされた合計は、重み付けの合計によって正規化されてもよい。
【0024】
その値に100を乗算して、0〜100のスコアを得る。70のスコアは、可能性のある空間周波数の70%が存在するということを示しうる。優れた品質の画像ブロックは、80台又は90台のスコアとすることができる。許容範囲の品質のブロックは、60台又は70台のスコアとしてもよい。低い品質の画像ブロックを50台以下のスコアとしてもよい。表1は、異なるブロックのスコアを出す数値ブロックスコアの範囲の例を示す。
【0026】
ステップ125で、プロセス100は、品質識別されたブロックからマークアップ画像を生成してもよい。このマークアップ画像は、オーバーレイ画像としても知られ、グレースケールに変換された各ブロックの原画像をブロックのスコアに関係する色のブロックとブレンドすることによって生成することができる。例えば、表1で示したカラーコーディングスキームのような任意のスキームを考えることができる。
【0027】
図8は、色コード化画像ブロックの品質スコアのマークアップ画像の実施形態を示す。この実施例の利点は、マークアップ画像を一目見るだけで、スライド全体の品質の習慣的な視覚的な理解をレビューする人に与えることができるということである。
図9は、低品質領域のマークアップ画像の高分解能切り出しの例を示す。赤及びオレンジの領域は、より低品質であることを示し、黄色領域は合格可能であることを示す。
図10は、高品質領域のマークアップ画像の高分解能切り出しの例を示す。マークアップ画像において青と緑が支配的であれば、スライド品質は非常に良好である。
図11は、走査によるエッジ効果を表示するマークアップ画像の高分解能切り出しの例を示す。小さいブロックサイズは、画像捕捉におけるアーティファクトの正確な判断を提供し、これは、様々な品質のブロックと混じり合っており、低い品質の薄い赤い線で示している。
【0028】
ステップ135で、プロセス100は、下記で示すように、マクロ分析プロセスによって使用するために構築されたスコアマップを生成する。そのスコアマップの大きさは、画像ブロックサイズによってスケーリングされる画像サイズと比較される。そのピクセル値の各々は、ブロックの品質スコアを表してもよく、これは、0〜100の範囲のブロックの品質スコアを表したり、あるいはブロックが白いスペースとして分類されたり、処理されていないことを示してもよい。
【0029】
ステップ140で、プロセス100が終了する。
【0030】
マクロ分析
マクロ分析プロセスは、スライド品質、評価済みの標本の量、及び走査−ハードウェアに関連するアーティファクトの位置を集約する。マクロ分析は、小さな画像部分のすべての中から情報トレンドを構築し、スライド品質スコアを形成する。
図3は、本発明に係るスライド分析システムによって行われる、マクロ分析プロセス300の実施形態を示す。
【0031】
ステップ305で、マクロ分析プロセス300は開始する。本実施例において、プロセス300を開始する前に、すべての画像ブロックがミクロ分析プロセス100にて分析される。マクロ分析プロセス300は、上記のステップ135で説明したスコアマップを受ける。代わりに、本システムは、必要なブロックが処理されるに従ってミクロ分析プロセス100からマクロ分析プロセス300へとブロック画像をパイプラインして、並列に機能することができる。
【0032】
ステップ305で、プロセス300はブロックを前処理する。前処理は、ミクロ分析プロセス100からのブロック識別ステップ115に基づいて行われる。以前に、ステップ115において、疑わしい内容を含むブロック(例、折れ、飽和している標本、異物を含むブロック)を未処理としてラベリングした。ステップ305は、スコアマップにおける標本のエッジや破片に対するスコアを取り除き、それらがマクロ分析プロセス300におけるその後のステップにおいて無視されるようにする。
【0033】
ステップ310で、プロセス300は、分析された標本のパーセンテージを判断する。このパーセンテージは、標本のアーティファクトのインジケータとして機能することができる。そのパーセンテージの値は、最終的なスライド全体の品質スコアの信頼性の尺度としても用いることができる。例えば、標本の70%のみが未処理とみなされる場合、品質管理の技術者がデジタルスライド及びそのマークアップ画像をレビューして、そのスライドが病理学者の診断に用いることができるかということについての最終的な判断を行うことが推奨される場合がある。また、平均スコアを前処理されたスコアマップから直接計算することができる。しかしながら、このアプローチの1つの制限事項として、不十分な焦点合わせ(すなわち、低いスコア)の場所があっても、圧倒的に高いスコアの平均値のブロックの画像に対して大きな影響を与えないことがあるということがある。例えば、デジタルスライドのための平均的品質スコアが0〜100のスケールで考えた場合に71であることがある。しかしながら、平均スコアが71であることは、スライドが特定の領域において低い品質であることを反映しない場合がある。
【0034】
ステップ320で、プロセス300は、アーティファクトの検出及び劣化スコア決定を行い、デジタル病理学的スキャナーは、デジタルスライドに入り込みうるような一般的及び固有なハードウェア捕捉関連のアーティファクトを含む。例えば、スキャナーは、捕捉した視界に沿ったブレのあるエッジを有する焦点ずれの領域を捕捉したり、測光のばらつき及び動きによるブレを引き起こす光反射又は照明変動を招いてしまう。ステップ320で、これらのアーティファクトを検出し、スライド品質に対するそれらの影響(劣化)を評価することができる。
【0035】
以下の実施例は、二種類のアーティファクト(すなわち、画像捕捉及びローカル領域のアーティファクト)の例を示す。しかしながら、他の様々なアーティファクトを検出することがあり、それらによるスコア決定を適切に調整することができる。
【0036】
画像捕捉のアーティファクト:デジタル病理スキャナーは、エリアカメラ又はリニアカメラのいずれかを用いて、その光学的視野の画像を受け、デジタル化する。エリアカメラは、大きなデジタルスライドを作るようにモザイク上にタイル上に並べられたスナップショットを捕捉する。リニアカメラは、画像の一次元に沿ったストリップを継続的に捕捉し、次に隣接するストリップをそれぞれ集める。
【0037】
エリアカメラに基づいたスキャナーは、キャプチャされたタイルの大きさに沿って水平及び垂直ストライピングの双方を有する。ストライピングは、画像の焦点合わせを劣化させる光学的な欠陥、カメラの焦点面とガラススライドを保持するステージとの間のチルト、及び他のこのような光学機械的な設計の問題によって発生することがある。リニアカメラに基づいたスキャナーには、単に1次元、運動の方向に沿ってのみストライピングの影響がある。
【0038】
スコアマップにおける水平及び垂直の大きさに沿ったスコア不連続性トレンドの探索がスコアプロファイルを集めることによって行われる。その水平及び垂直の方向にて計算されるスコアプロファイルは、エリアカメラ又はリニアカメラに関連するエッジ欠陥を識別することができる。しかしながら、スコアマップをさらに部分分けすることができ、それらの区分は独立して欠陥があるか調べられる。例えば、スコアマップを4つの水平領域に部分分けすることによって、4つの垂直プロファイルを作ることができる。各プロファイルにおける不連続性それぞれの勾配の大きさが評価される。十分に大きい大きさのものは、欠陥としてフラグ立てされる。不連続性によって影響される画像の領域の大きさ及び割合は、検出された画像捕捉に関連するアーティファクトに対する劣化スコアへの要因として考慮される。
【0039】
ローカル領域のアーティファクト:低い品質のデジタルスライドの領域は、赤及びオレンジに色付けされたブロックの密度が高いローカル領域としてマークアップ画像において明白に分かるようにされている。低い品質領域は、低いスコアの密度が高い領域としてスコアマップに表れるようにされている。低いスコアが所定の密度あり、サイズの必要条件がある領域は、欠陥としてフラグ立てされる。領域のサイズ及びその低いスコアの密度は、検出されたローカル領域のアーティファクトそれぞれに対する劣化スコアへとファクターづけされる。
【0040】
各アーティファクト検出アルゴリズムによって、1つの付加的なステップが行われる。アーティファクトが検出された場合、スコアマップにおける影響された領域は、その後のアーティファクト検出アルゴリズムがそれを統合しないように、ラベリングされる。
【0041】
図12は、サンプルの走査で検出された領域アーティファクトのエッジのまわりのバウンディングボックス輪郭の例を示す。長く薄いボックスは、画像捕捉におけるエッジのアーティファクトを含み、より小さい長方形はローカル領域のアーティファクトを含む。各エッジアーティファクトの輪郭の右側は、欠陥によって影響を受けた領域の一部であり、これはこの図においては示してないことを留意すべきである。識別することができ、厳しさが判断されるスキャナーにおけるアーティファクトには他に多くの種類がある。例えば、赤の色平面をシフトする動作アーティファクト、機器の共振、及び速度リプルは、それら自身をスコアマップにおけるパターンとして明らかにする。
【0042】
ステップ325で、プロセス300は、全体のスライド品質スコアを計算する。このスライド全体の品質スコアは、平均スコアから各アーティファクト劣化スコアを減算したものとして計算することができる。全体のスライド品質スコア(WSQスコア)は100〜0の範囲である。
【0043】
ステップ330で、本システムは、エキスパートの品質レイティングをシステムのそれと比較する研究によって決められるように、WSQスコアの解釈を与える。提供される比較可能なスコアは、デジタルスライドセットに対してシステムレイティングと比べられるようにエキスパートレイティングに基づいて比較可能なスコア決定システムを生成することによって確立してもよい。その解釈された結果は、WSQスコア、スライド全体の平均スコア、アーティファクト劣化スコア、分析した標本のパーセンテージ、色コード化されたスコア分布のマークアップ画像、及び注釈された欠陥のあるアーティファクトを含むまとめられた結果のセットに含むことがある。
【0044】
システムのユーザーは、これらの結果の一又は複数と連携することを選択することができる。例えば、WSQスコアは、スライドを合格されたり、不合格させたり、又は視覚的に調べるために十分であることができる。代わりに、アーティファクトが単に存在するだけで、視覚的なレビューを必要とするために十分であってもよい。
【0045】
一実施形態では、WSQスコア(又は平均スコアでさえも)が、品質管理調査を合格するためにしきい値を超えるように要求することができる。別の代替実施形態では、それら三つのスコアのうちのいずれかを用いる代わりに、ユーザーは、品質識別されていないかもしれないアーティファクトをみつけるマークアップ画像を常に視覚的に解釈したいと欲することがある。
【0046】
例えば、1つのアプリケーションにおいて、1−100の範囲の走査それぞれに対して全体のスコアを計算した後、システムは、全体のスコアをしきい値と比較することによって、スライドが合格するものであるか、あるいは更なる調べを必要とするかどうかを判断することができる。これによって、大多数のスライドが合格するものと証明されるであろうことから、検査技師の時間を相当に節約することができる。スコアが与えられたしきい値よりも低い場合、スライドは不合格であると考えられ、再び走査されることができる。この場合、スライドは、よりよい結果を得るために、「手動」で再走査してもよく、あるいは不合格となったスライドをバッチで自動走査して、再走査に失敗したスライドのみを手動で走査してもよい。更なる代替実施形態において、スライド結果が合格スライドと不合格スライドを表す2つのしきい値の間となれば、本システムは、特定のスライドを合格とも不合格とも格付けしないようにしてもよい。走査されたスライドの小さな部分を表すこれらの中間的なスライドは、検査技士によって手動で調べられてもよい。
【0047】
アプリケーションにおいては、種々の様相において、本システムを用いることができる。スライドスキャナーの組み立ての際に、技術者がスライドスキャナーを組み立てるに従って、システムが量的及び視覚的なフィードバックを提供することができ、これによって、技術者が必要なアラインメントの作業に対する手がかりを与える走査のアーティファクトを識別することができる。スキャナー製造において、これらのプロセスは、量的な許容基準や品質保証を与えることができる。フィールドサービスのシナリオでは、予防的なメンテナンス検査において、あるいはサービスコールの後でシステムを補助することができる。すなわち、その病理学向けの目的における動作に加えて、本システムは、マスターガラススライドを走査して、量的及び視覚的パフォーマンスを検証することによって、スキャナーが許容域内で動作しているということを検証する手段を提供することができる。1つの運用上のシナリオにおいて、本システムは、不十分な焦点合わせの場所を識別し、スキャナーに対してスライドを自動的に再走査して、それらの領域に特別に焦点を加えることを指示することができる。臨床検査室において、量的スコアは、自動的な品質管理評価として機能することができる。また、検査技術者は、量的スコア及び視覚的な熱マップの組合せを用いて画像品質を判断することができる。
【0048】
図4Aは、本発明の一実施形態に係る例示的なスキャナシステム400を示すネットワーク図である。図示した実施形態において、システム400は、データ記憶領域445で構成される走査システム440を含む。走査システム440は、データ通信ネットワーク460を介して、ユーザーステーション430及び画像サーバーシステム450と通信可能接続されている。ユーザーステーション430及び画像サーバーシステム450のそれぞれは、データ記憶領域425、435及び455を備えるように構成する。データ記憶領域425、435、445及び455は、例えば、ランダムアクセス記憶装置及びハードディスクドライブを含む揮発性及び永続性の記憶装置を含むことができる。ネットワーク460は、様々なネットワークタイプのいずれであってもよく、例えば、有線及び無線、パブリック及びプライベート、あるいはインターネットのような通信ネットワークの組合せのいずれであってもよい。
【0049】
動作時において、走査システム440は、複数のサンプルをデジタル化して、走査システム440又は画像サーバーシステム450に記憶することができる対応する複数のデジタルスライド画像を作ることができる。走査システム440は、直接操作してもよく、あるいはオペレータステーション420のオペレーターによって遠隔的に操作することができる。走査システム440又は画像サーバーシステム450に位置するデジタルスライド画像は、デジタル映像データがネットワーク460を介してユーザーステーション430に提供される、ユーザーステーション430におけるユーザーによって見ることができる。
【0050】
走査システム400の本実施例は、ネットワーク460を介してつながった分散形システムとして示してあるが、このシステムは、単一コンピューターシステムとして構成していてもよく、あるいはデジタル画像スライドを走査して記憶する多数の異種のシステムを含むこともできる。
【0051】
図4Bは、本発明の一実施形態に係るスキャナシステム440におけるモジュールのセット例を示すブロック図である。図示した実施形態において、スキャナシステム440は、組織サンプル取得モジュール505、ミクロ分析モジュール510、マクロ分析モジュール515及び可視化モジュール520を含むことができる。特定の組合せにおいて、図示した様々なモジュールが、共にはたらいて前記のプロセスに従って、スライド全体の分析を行う。
【0052】
組織サンプル取得モジュール505は、顕微鏡スライドスキャナー又は別のソースから初期のデジタルスライド画像を得るように操作する。これには、自動焦点合わせ、露出制御などを扱うために走査時にスキャナーの管理を行うことも含むことができる。代わりに、組織サンプル取得モジュール505は、利用可能なデータベースからデジタルサンプルスライドを取り出すこともできる。
【0053】
ミクロ分析モジュール510は、画像全体を極めて小さい部分に分割し、それらの部分それぞれに対して品質分析を行うことによって画像全体を評価する。この評価は、
図1のミクロ分析プロセス100に従って行うことができる。
【0054】
マクロ分析モジュール515は、スライド品質、評価した標本の量、及び走査−ハードウェアに関連するアーティファクトの位置をまとめる。マクロ分析は、それらの小さな画像部分すべての中の情報の傾向を集めてスライド品質スコアを形成する。このプロセスは、
図3のマクロ分析プロセス300に従って行うことができる。
【0055】
可視化モジュール520は、デジタルスライド画像ファイルの閲覧を容易にするように動作する。輝度、コントラスト、ガンマ及びカラーリングの誤りのような画像閲覧用調整は、記憶された画像を記述子及び取得設定を用いて自動的に判断される。一実施形態において、閲覧用調整は、ユーザーステーション430におけるユーザーによって、個別画像毎に及び/又は融合した(すなわち、複数の個別チャネル画像の組み合わさった画像)毎に行うことができる。また、融合された画像を閲覧する際は、相対的な移動及び回転に対する補正を調整することができる。
【0056】
また、細胞ベースの応答に即座にアクセスするために、デジタル可視化モジュール520によってインタラクティブな画像探索ツールを利用可能にすることができる。また、所定の関心領域は、意味のある生物学的な応答を示すため、あるいは応答を自動的定量的に分析するために、ユーザーステーション430においてユーザーに対して表示することができる注釈を含むことができる。また、可視化及び分析モジュール520は、ユーザーステーション430におけるユーザーの関心領域に対して注釈し、そして、そのような注釈をベースとなるレイヤー画像に関連させてデジタルスライド画像ファイルに記憶させるようなツールを提供することができる。好都合なことに、そのような注釈は、画像におけるアーティファクトや画像における関心領域を文書化するか、あるいは報告や定量的な分析のために画像の領域を識別することをガイドするために有益になることができる。
【0057】
また、可視化モジュール520は、内容ベースの画像検索技術を用いて類似の画像データ又はパターンをみつけるために、所定の又はその他の方法で識別された画像の特徴を用いることができる。好都合なことに、このユーティリティーは、ユーザーステーション30におけるユーザーに対して、関連する症例情報及び画像データを提供することができる。
【0058】
一実施形態では、クライアントサーバーアーキテクチャは、必要性が発生したベースで所定のピラミットレベルの圧縮画像のタイルを要求することによって、及びユーザー要求を予期してタイルのクライアントサイドキャッシングを行うことによって、ユーザーステーション30におけるユーザーに対して、画像サーバーシステム50又は走査システム40に位置するデジタルスライド画像を閲覧することを可能にさせる。
【0059】
デジタル可視化及び分析モジュール520は、画像が四分円(quadrant)スタイルの画像であるか又は融合したスタイルの画像であるかにかかわらず、デジタルスライド画像のスライド全体の定量的な分析を促進するためにもさらに動作する。一実施形態では、このデジタル可視化及び分析モジュール520は、デジタルスライド画像全体ではなく特定の関心領域の定量的分析を促進することができる。分析結果は、データ管理及びレポートに用いるため、データ記憶領域445、455、又は435のようなデータ記憶領域に記憶することができる。
【0060】
図5Aは、本発明に係る光学的顕微鏡システム10の好ましい実施形態のブロック図を示す。システム10の重要個所は、標本又はサンプルの12を走査しデジタル化する役割を有する顕微鏡スライドスキャナー11である。サンプル12は、光学的顕微鏡によって調べることができるもののいずれであってもよい。例えば、サンプル12は、顕微鏡スライドであってもよく、あるいは光学的顕微鏡によって調べることができる他のサンプルの種類であってもよい。組織及び細胞、染色体、DNA、タンパク質、血液、骨髄、尿、バクテリア、ビード、生検材料、あるいは死んでいるか生きているかにかかわらず染色されているかいないかにかかわらずラベリングされているかラベリングされていないかにかかわらず他の種類の生物学的な材料又は物質を含む標本のための閲覧用基板として頻繁に用いられている。また、サンプル12は、マイクロアレーとして一般に知られるいずれのサンプル及びすべてのサンプルを含むいずれの種類のスライド又は基板に載せられたcDNA又はRNA又はタンパク質のような、DNA又はDNAに関連する物質のいずれの種類のアレーであってもよい。サンプル12は、96ウェルのプレートのようなマイクロタイタープレートであってもよい。サンプル12の他の例としては、集積回路ボード、電気泳動レコード、ペトリ皿、フィルム、半導体物質、法医学用の材料又は機械加工部品を含む。
【0061】
スキャナー11は、モーター駆動ステージ14、顕微鏡対物レンズ16、ライン走査カメラ18及びデータプロセッサー20を含む。サンプル12は、走査のためにモーター駆動ステージ14に配置される。モーター駆動ステージ14は、ステージコントローラー22に接続され、これは次にデータプロセッサー20に接続される。データプロセッサー20は、ステージコントローラー22によってモーター駆動ステージ14上のサンプル12の位置を判断する。現状の好ましい実施形態において、モーター駆動ステージ14は、サンプル12の平面内の少なくとも2つの軸(x/y)においてサンプル12を動かす。光学的Z軸に沿ったサンプル12の精密な移動は、焦点制御のようなスキャナー11の特定なアプリケーションのためにも必要であることがある。Z軸の運動は、Polytec PIから販売されているPIFOC又はPiezosystem Jenaから販売されているMIPOS 3のようなピエゾポジショナー24によって実現することが好ましい。ピエゾポジショナー24は、顕微鏡対物レンズ16に直接取り付けられ、ピエゾコントローラー26を介してデータプロセッサー20に接続され、データプロセッサー20によって指示される。粗い焦点調整を提供する手段も必要であることがあり、これは、モーター駆動ステージ14の一部としてZ軸運動によってあるいは手動のラックピニオン粗焦点調整(図示せず)によって提供することができる。
【0062】
現状の好ましい実施形態において、モーター駆動ステージ14は、スムースな運動及び優れた直線及び平坦度の精度を提供するために、ボールベアリングの線形路を有する高精度の位置決めテーブルを備える。例えば、モーター駆動ステージ14は、一方が他方の上に積み重ねられた2つのDaedal model 106004のテーブルを含むことができる。また、他のタイプのモーター駆動ステージ14もスキャナー11のために適切であり、これには、ボールベアリングではない方法に基づいた積み重ねられた単一の軸のステージ、サンプルの下からの透過用照明に特に適し中央において開く単一又は複数の軸のポジショニングステージ、又は複数のサンプルをサポートすることができる大きなステージが含まれている。現状の好ましい実施形態において、モーター駆動ステージ14は、各々が2mmの親ねじ及びNema−23ステッピングモーターに接続された2つの積み重ねられた単一軸のポジショニングテーブルを含む。最大の親ねじ速度が1秒当たり25回転で、モーター駆動ステージ14上のサンプル12の最大速度は、秒速50mmである。5mmのような大きい直径の親ねじを選ぶことによって、毎秒100mmよりも大きな最大速度まで増やすことができる。モーター駆動ステージ14は、機械的又は光学的な位置エンコーダを備えることができるが、これは、システムの費用を相当に増やすという欠点がある。したがって、現状の好ましい実施形態は、位置エンコーダを備えない。しかしながら、ステッピングモーターの代わりにサーボモーターを使用するのであれば、適切な制御のために位置フィードバックを使用しなければならないだろう。
【0063】
データプロセッサー20からの位置コマンドは、ステージコントローラー22においてモーター電流又は電圧コマンドへと変換される。現状の好ましい実施形態において、ステージコントローラー22は、二軸サーボ/ステッパーモーターコントローラー(Compumotor 6K2)及び2つの4アンペアのマイクロステッピングドライブ(Compumotor OEMZL4)を備える。マイクロステッピングは、比較的大きな単一の1.8度モーターステップよりもはるかに小さな増分でステッピングモーターを指示する手段を提供する。例えば、100のマイクロステップで、サンプル12は、0.1μmしか動かないように指示することができる。本発明の現状の好ましい実施形態において、25,000のマイクロステップが使用される。また、より小さなステップ幅も可能である。モーター駆動ステージ14及びステージコントローラー22の最適な選択は、サンプル12の性質、サンプルのデジタル化の所望の時間、及びサンプル12の結果として得られるデジタル画像の所望の解像度のような多くの要因に依存することは明白である。
【0064】
顕微鏡対物レンズ16は、一般的に入手可能な任意の顕微鏡対物レンズであることができる。当業者は、どの対物レンズを用いるかという選択が特定の状況に依存するということを理解するであろう。本発明の好ましい実施形態において、顕微鏡対物レンズ16は、無限大補正された種類である。
【0065】
サンプル12は、光源30及び照明用光学部品32を含む照明系28によって照らされる。現状の好ましい実施形態における光源30は、光出力を最大にするための凹面反射鏡及び熱を抑えるためのKG−1フィルターを有する可変強度ハロゲン光源を備える。しかしながら、光源30は、アークランプ、レーザー又は他の光源のいずれの種類であってもよい。現状の好ましい実施形態における照明用光学部品32は、光学軸に直交する2つの共役な平面を有する標準的なケーラー(Kohler)照明系を備える。照明用光学部品32は、Carl Zeiss, Nikon, Olympus, 又はLeicaのような会社によって販売されている商業的に入手可能な複合的な顕微鏡の多くに見られる明視野照明光学部品を代表するものである。共役な平面の一組は、(i)光源30によって照明されたフィールド絞りアパーチャ、(ii)サンプル12の焦点面によって規定されるオブジェクト平面、及び(iii)ライン走査カメラ18の光応答性要素で囲む平面を含む。第2の共役平面は、(i)光源30の一部であるバルブのフィラメント、(ii)照明用光学部品32の一部である集光レンズ(condenser)光学部品の直ぐ前に位置する集光レンズ絞りのアパーチャ、及び(iii)顕微鏡対物レンズ16の後焦点面を含む。現状の好ましい実施形態において、サンプル12は、ライン走査カメラ18がサンプル12によって送られる光エネルギーを検出したり、あるいは逆に、サンプル12によって吸収された光エネルギーを検出するような伝送モードで照明されイメージングされる。
【0066】
本発明のスキャナー11は、サンプル12から反射される光エネルギーを検出するのに等しくふさわしく、その場合、光源30、照明光学部品32及び顕微鏡対物レンズ16は、反射イメージングとの適合性に基づいて選択されなければならない。したがって、可能性のある1つの実施形態は、サンプル12の上に位置する光ファイバの束を介しての照明である。他の可能性としては、モノクロメーターによってスペクトル的に条件付けされる励起を含む。顕微鏡対物レンズ16が位相コントラスト顕微鏡に適合するように選択される場合、照明用光学部品32の一部である集光レンズ(condenser)光学部品において少なくとも1つの位相ストップを取り入れることによって、スキャナー11を位相コントラスト顕微鏡のために用いることが可能になる。当業者分野における通常の熟練のうちの1つに、差分干渉コントラスト及び共焦点マイクロスコピーのような他の種類のマイクロスコピーのために必要な変更は、当業者にとって容易に明白になるであろう。光学的マイクロスコピーの既知のモードのいずれにおけるマイクロスコピーのサンプルの調べのために、全体として、既知の変更を適切に加えたスキャナー11は、適切である。
【0067】
顕微鏡対物レンズ16及びライン走査カメラ18の間には、顕微鏡対物レンズ16によって捕捉された光信号をライン走査カメラ18の光統制要素上に焦点を合わせるライン走査カメラ焦点合わせ光学部品34が位置する。現代的な無限補正された顕微鏡において、顕微鏡対物レンズと接眼光学部品の間、又は顕微鏡対物レンズと外部イメージングポートの間の焦点合わせ光学部品は、顕微鏡の観察管の一部であるチューブレンズとして知られる光学要素からなる。コマ又は非点収差が発生することを防ぐために、チューブレンズは多くの場合多数の光学要素から成る。伝統的な有限チューブ長の光学部品から無限補正された光学部品への比較的最近の変化の動きの1つは、サンプル12からの光エネルギーが平行である物理的な空間を増やすことであり、これは、この光エネルギーの焦点が無限大にあることを意味する。この場合、ダイクロイックミラー又はフィルターのような付属的な要素を、光路の拡大率を変えず、あるいは望まない光学的なアーティファクトを発生させずに、無限大空間に挿入することができる。
【0068】
無限大補正された顕微鏡対物レンズには通常、無限大の印が刻印される。無限大補正された顕微鏡対物レンズの拡大率は、チューブレンズの焦点距離を対物レンズの焦点距離で割った商によって与えられる。例えば、9mmの焦点距離の対物レンズを使用する場合、180mmの焦点距離のチューブレンズであれば20倍の拡大率を得られる。異なる顕微鏡の製造業者によって製造された対物レンズの互換性がない1つの理由は、チューブレンズの焦点距離における標準化がなされていないという理由である。例えば、180mmのチューブレンズの焦点距離を用いる会社であるオリンパスから販売されている20倍の対物レンズは、それとは異なる200mmのチューブ長さの焦点距離に基づくニコンの顕微鏡では20倍の拡大率を発生させない。代わりに、このような20倍で9mmの焦点距離の形を有するオリンパスの対物レンズの有効拡大率は、22.2倍になり、200mmのチューブレンズ焦点距離を9mmの対物レンズの焦点距離で割ることによって得ることができる。伝統的な顕微鏡においてチューブレンズを変更することは、顕微鏡を分解せずには実質的に不可能である。チューブレンズは顕微鏡の重大なる固定された要素の一部である。異なる製造業者によって製造された対物レンズと顕微鏡の間の互換性の無さに影響する別の要因は、接眼光学部品、すなわち、標本を観察する双眼顕微鏡、の設計にある。ほとんどの光学的補正は、顕微鏡対物レンズ向けに設計されているが、顕微鏡ユーザーのほとんどは最良の可視的画像を得るにはある製造業者の双眼顕微鏡をその同じ製造業者の顕微鏡対物レンズと一致させることに何らかの利益があるという確信を未だ持っている。
【0069】
ライン走査カメラの焦点合わせ光学部品34は、機械的な管の内部にマウントされたチューブレンズ光学部品を含む。好ましい実施形態におけるスキャナー11が、伝統的な視覚的な観察のための双眼顕微鏡又は接眼レンズを備えないので、対物レンズと双眼顕微鏡の間の可能性のある互換性のなさという伝統的顕微鏡によって発生する問題が当然になくなる。当業者は、顕微鏡の接眼部と表示モニター上のデジタル画像の間の焦点同一性を実現するという課題も、接眼部を一切持たないことによって同様になくなるということを理解できるであろう。サンプル12の物理的な境界によってのみ実際的に制限される視野を与えることによってもスキャナー11が伝統的な顕微鏡の視野の制限を克服するので、本スキャナー11によって与えられるような全てがデジタルイメージングの顕微鏡における拡大率の重要性は制限されたものになる。サンプル12の一部を一旦デジタル化すれば、拡大率を増やすためにサンプル12の画像に、電気的なズームとしても知られることがある電子的な拡大を適用することが直接的である。画像の拡大率を電子的に増やすことは、画像を表示するために用いるモニター上における画像の大きさを増やすという効果を有する。電子ズームを過度に用いた場合、表示モニターは拡大された画像の一部分のみを示すことしかできない。しかしながら、電子拡大を用いて当初デジタル化されていた元々の光信号にはない情報を表示することは可能ではない。スキャナー11の目的の1つは、顕微鏡の接眼部を介する視覚的な観察に代えて高品質のデジタル画像を提供することであるため、スキャナー11によって取得された画像の内容が、できるかぎり多くの画像の詳細を含むということが重要である。分解能という用語は通常、そのような画像の詳細を説明するために用いられ、回析限界という用語は、光信号において利用可能な波長限界の最大の空間的な詳細を説明するために用いられる。スキャナー11は、ライン走査カメラ18のような光検出カメラにおける個別の画像要素の大きさと、及び顕微鏡対物レンズ16の開口数との両方に対して周知のナイキスト(Nyquist)標本抽出基準に従ってマッチされたチューブレンズの焦点距離を選択することによって回折限界のデジタルイメージングを提供する。顕微鏡対物レンズ16の分解能を制限する性質が拡大率ではなく開口数であることはよく知られている。
【0070】
ライン走査カメラの焦点合わせ光学部品34の一部であるチューブレンズの焦点距離の最適な選択を説明するために以下の1つの例が寄与するであろう。前述の9mmの焦点距離の20倍の顕微鏡対物レンズ16を再び考え、この対物レンズが0.50の開口数を有するものと想定する。認識できる集光レンズからの劣化がないと想定すると、波長500nmのこの対物レンズの回折限界の解像力は、周知のアッべ(Abbe)の関係を用いて、約0.6μmである。さらに、サンプル12の一部を検出するために、好ましい実施形態において複数の14μm四方のピクセルを有するライン走査カメラ18を用いるものと想定する。サンプリングの理論によれば、少なくとも2つのセンサーピクセルが解像可能な最も小さい空間的特徴の範囲を定める必要性がある。この場合、拡大率46.7倍を実現するようなチューブレンズを選択する必要があり、これは、2つの14μmのピクセルに対応する28μmを、最も小さい解像可能な特徴の大きさである0.6μmで割ることによって得ることができる。したがって、最適なチューブレンズの光学的焦点距離は約420mmであり、これは、46.7に9を乗算することによって得ることができる。したがって、420mmの焦点距離を有するチューブレンズ光学部品を備えたライン走査焦点合わせ光学部品34は、可能性のある最良の空間的分解能で画像を取得することができ、このことは、同じ20倍の対物レンズを用いて顕微鏡で標本を見ることによって観察されるものと同様である。繰り返すと、スキャナー11は、回折限界のデジタル画像を取得するために、この例では約47倍であるより大きな拡大率の光学的な構成において伝統的な20倍の顕微鏡対物レンズ16を用いる。例えば、0.75であるより大きな開口数の伝統的な20倍の拡大率の対物レンズ16が用いられた場合、回折限界のイメージングのために必要なチューブレンズの光学的な拡大率は約615mmであり、これは、全体の光学的拡大率68倍に対応する。同様に、20倍の光学レンズの開口数が0.3しかなければ、最適なチューブレンズの光学的拡大率は約28倍だけになり、これは、約252mmのチューブレンズの光学的焦点距離に対応する。ライン走査カメラの焦点合わせ光学部品34は、スキャナー11のモジュール的要素であり、必要に応じて最適なデジタルイメージングのために入れ換えることができる。回折限界のデジタルイメージングの利点は、いくつかのアプリケーションにとって特に顕著となり、例えば、拡大率の増加を伴う信号の輝度の減少を適切に設計された照明系28の強度を増加させることによって容易に補うことができるような明視野顕微鏡において顕著である。
【0071】
本スキャナー11のために説明したように、解析限界イメージングを実現するようにチューブレンズの拡大率を有効に増加するために外部の拡大率を増加させる光学部品を伝統的な顕微鏡ベースのデジタルイメージングシステムに取り付けることが原則的にはできる。しかしながら、結果として発生する視野の減少は、受容できないことが多く、これによってこのアプローチが非現実的ではなくなる。さらに、顕微鏡のユーザーの多くは通常、回折限界のイメージングの技術を自分で有効に利用する程にいるためには回折限界のイメージングの詳細について十分に理解していない。実際において、接眼部を通して見ることができるものまで視野の大きさを増やすことを試みるために、デジタルカメラには拡大率を減少させる光学的カプラーと共にデジタルカメラが顕微鏡の口に取り付けられる。拡大率を減らす高額を加える処理的な実務は、目標が回折限界のデジタル像を得ることであれば、間違った方向に進む一方になってしまう。
【0072】
伝統的な顕微鏡では、異なるパワーの対物レンズが異なる分解能及び拡大率の標本を見るために通常使われる。標準的な顕微鏡には、5つの対物レンズを保持するレンズ台がある。本スキャナー11のようなオールデジタルのイメージングシステムにおいて、望ましい最も高い空間分解能に対応する開口数を有するただ1つの顕微鏡対物レンズ16があればよい。スキャナー11の現状の好ましい実施形態は、ただ1つの顕微鏡対物レンズ16を備える。この分解能で回折限界デジタル像が一旦捕捉された後は、所望の任意の減少した分解能及び拡大率においても像情報を提示するために、標準的なデジタル画像処理技術を用いることが直接的である。
【0073】
スキャナー11の現状の好ましい実施形態は、線形アレーに1024のピクセル(画素)が配置されその各ピクセルが14×14μmを有するようなDalsa SPARKライン走査カメラ18に基づいている。また、カメラの一部としてパッケージングされているかイメージング用電子モジュールにカスタム集積されているかにかかわらず、他の種類の線形アレーのいずれをも用いることができる。現状の好ましい実施形態における線形アレーは、8ビットの量子化を有効に提供するが、より高い又はより低い量子化を提供する他のアレーも用いることができる。3チャネルの赤緑青(RGB)カラー情報又は時間遅延積分(TDI)に基づく代替的なアレーを用いることができる。TDIアレー以前にイメージングした標本の領域から強度データを足し合わせることによって出力信号において相当により良い信号対雑音比(SNR)を与え、これによって積分のステージの数の平方根に比例するSNRを増加させることができる。TDIアレーは、複数のステージの線形アレーを含むことができる。TDIアレーは、24、32、48、64、96又はより多くのステージを用いて利用することができる。また、スキャナー11は、様々なフォーマットで製造される変形アレーをサポートし、これには、512ピクセルのもの、1024のピクセルのもの、及び4096ものピクセルを有する他のものが含まれる。照明系28及びライン走査カメラの焦点合わせ光学部品34に対する適切であるが周知な変更が、より大きなアレーを収容するために必要であることがある。様々なピクセルの大きさの線形アレーもスキャナー11において用いることができる。いずれかの種類のライン走査カメラ18の選択における重要な必要条件は、サンプル12が、先行技術中で既知の、従来の想像するタイルを張るアプローチの静的な要求を克服するので、高品質の画像を得るためにサンプル12のデジタル化の間にライン走査カメラ18に対して動くことができるということがあり、これによって、従来技術において知られている伝統的なイメージングタイリングアプローチの静的な必要条件を克服することができる。
【0074】
ライン走査カメラ18の出力信号は、データプロセッサー20につながれている。現状の好ましい実施形態におけるデータプロセッサー20は、イメージングボードやフレームグラバーのような少なくとも1つの信号をデジタル化するエレクトロニクスボードをサポートするために、マザーボードのような補助的なエレクトロニクスと共に中央演算装置を有する。現状の好ましい実施形態において、イメージングボードは、EPIX PIXCID24のPCIバスイメージングボードであるが、様々な製造業者からのEPIXボードの代わりに用いることができる他の多くの種類のイメージングボード又はフレームグラバーがある。代替実施形態としては、Firewireとしても知られているIEEE 1394のようなインタフェースを用いてイメージングボード全体をバイパスしてハードディスクのようなデータ記憶装置38に直接データを格納するようなライン走査カメラがある。
【0075】
また、データプロセッサー20は、データの短期間の記憶のためにランダムアクセス記憶装置(RAM)のようなメモリー36に、及び長期間のデータ記憶のためにハードドライブのようなデータ記憶装置38にも接続されている。また、データプロセッサー20は、通信ポート40に接続されており、これは、ローカル領域ネットワーク(LAN)、広域ネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、イントラネット、エクストラネット又は世界的なインターネットのようなネットワーク42に接続されている。また、メモリー36及びデータ記憶装置38はお互い接続されている。また、データプロセッサー20は、ライン走査カメラ18及びステージコントローラー22のようなスキャナー11の重要な要素を制御するため、あるいは様々な画像処理機能、画像分析機能又はネットワーキングのために、ソフトウェアの形態のコンピュータープログラムを実行することができる。データプロセッサー20は、Windows、Linux、OS/2、Mac OS及びUnixのようなオペレーティングシステムを含む任意のオペレーティングシステムに基づくことができる。現状の好ましい実施形態では、データプロセッサー20は、Windows NTオペレーティングシステムに基づいて動作する。
【0076】
データプロセッサー20、メモリー36、データ記憶装置38及び通信ポート40はそれぞれ、伝統的なコンピューターにおいて見られる要素である。一例は、Pentium III 500 MHzプロセッサー及び756メガバイト(MB)以内のRAMの仕様を有するDell Dimension XPS T500のようなパーソナルコンピューターである。現状の好ましい実施形態において、コンピューター、並びにデータプロセッサー20、メモリー36、データ記憶装置38及び通信ポート40のような要素はすべてスキャナー11の内部にあり、これにより、システム10の他の要素へのスキャナー11の接続が通信ポート40だけということになる。スキャナー11の代替的実施形態では、コンピューター要素がスキャナー11の外部にあり、コンピューター要素とスキャナー11の間に対応する接続を有する。
【0077】
本発明の現状の好ましい実施形態において、スキャナー11は、光学的顕微鏡、デジタルイメージング、電動サンプルポジショニング、コンピューティング及びネットワークベースの通信を単一の囲いのユニット内に一体化される。スキャナー11を単一の囲いを有するユニットとして通信ポート40とともにパッケージングする主な利点としては、複雑さが減り、信頼性が増すということがある。スキャナー11の様々な要素は共にはたらくように最適化されており、これは、顕微鏡、光源、モーター駆動ステージ、カメラ及びコンピューターが通常異なるベンダーによって提供され相当なインテグレーションや保守を必要とするような伝統的な顕微鏡ベースのイメージングシステムとは非常に対照的である。
【0078】
通信ポート40は、ネットワーク42を含むシステム10の他の要素との迅速な通信の手段を提供する。通信プロトコル40のための好ましい通信プロトコルは、Ethernetのような搬送波検出多重アクセス方式衝突検出プロトコルを伝送制御及びインターネットワーキングのためのTCP/IPプロトコルと共に用いることである。スキャナー11は、ブロードバンド、ベースバンド、同軸ケーブル、ツイストペア、ファイバーオプティクス、DSL又は無線のような任意のタイプの伝送媒体で動作するように意図されている。
【0079】
現状の好ましい実施形態では、スキャナー11の制御、及びスキャナー11によって捕捉された像データのレビューが、ネットワーク42につながれたコンピューター44に対して行われる。現状の好ましい実施形態中で、コンピューター44は、オペレーターに像情報を提供するために表示モニター46につながれている。複数のコンピューター44がネットワーク42に接続されていてもよい。現状の好ましい実施形態では、コンピューター44は、MicrosoftからのInternet Explorer又はAOLからのNetscape Communicatorのようなネットワークブラウザを使用してスキャナー11と通信する。画像は、ほとんどの商用ブラウザに既に組み込まれている標準的な画像展開方法と互換性のある画像フォーマットであるJPEGのような一般的な圧縮フォーマットでスキャナー11に記憶される。また、標準的又は非標準、不可逆又は可逆の他の画像圧縮フォーマットも用いることができる。現状の好ましい実施形態では、スキャナー11は、スキャナー11からコンピューター44へ送られるウェブページに基づくオペレータインタフェースを提供するwebサーバーである。像データのダイナミックなレビューのために、スキャナー11の現状の好ましい実施形態は、コンピューター44に接続された表示モニター46においてレビューするために、MicrosoftからのMedia Player、Apple ComputerからのQuicktime又はReal NetworksからのRealPlayerのような標準的な複数のフレームをサポートするブラウザと互換性があるソフトウェアパッケージを用いて像データの複数のフレームを再生することに基づく。現状の好ましい実施形態では、コンピューター44におけるブラウザは、伝送制御のためのTCPとともにハイパーテキスト伝送プロトコル(http)を使用する。
【0080】
スキャナー11がコンピューター44又は複数のコンピューターと通信することができる多くの異なる手段やプロトコルが現在存在し、そして将来発生するであろう。現状の好ましい実施形態は、標準的な手段及びプロトコルに基づいているが、アプレットとして知られている一又は複数のカスタマイズされたソフトウェアモジュールを開発するアプローチもまた同様に実現可能性が高く、スキャナー11の選択された将来のアプリケーションにとって望ましい可能性がある。また、コンピューター44がパーソナルコンピューター(PC)のような特定の種類であるという制約はなく、Dellのような特定の会社によって製造されるべきであるという制約もない。標準化されたコミュニケーションポート40の利点の1つとして、一般的なネットワークブラウザソフトウェアが動作する任意のタイプのコンピューター44もスキャナー11と通信することができるということが挙げられる。
【0081】
スペクトル分解された画像を得ることを望むのであれば、スキャナー11に対していくらかの変更を行うことで可能である。スペクトル分解された画像は、画像ピクセルごとにスペクトル情報が評価される画像である。スペクトル分解された画像は、スキャナー11のライン走査カメラ18を光学的スリット及びイメージングスペクトログラフで置き換えることによって得ることができる。イメージングスペクトログラフは、二次元CCD検出装置を使用してその検出装置の行ごとに光学的スリットに焦点を合わせられた光信号を分散させるためにプリズム又はグレーティングを用いることによって画像ピクセルの列に対する波長固有の強度データを捕捉する。
【0082】
図5Bは、本発明に係る光学的顕微鏡システム10の第2の実施形態のブロック図を示す。このシステム10では、スキャナー11は
図1に示した現状の好ましい実施形態よりも複雑で高価である。図示したスキャナー11のさらなる属性は、適切に機能するために代替的実施形態のすべてにおいて存在する必要はない。
図2は、スキャナー11に組み入れることができる付加的な特徴及び能力の合理的な例を提供することを意図している。
【0083】
図2の代替的実施形態は、
図1の現状の好ましい実施形態よりはるかに大きなレベルの自動化を提供する。データプロセッサー20と、照明系28の光源30及びイルミネーション光学部品32の両方との間の接続によって、照明系28のより完全なレベルの自動化を達成することができる。その光源30への接続は、光源30の強度を制御するために、開ループ又は閉ループの方法で電圧又は電流を制御することができる。現状の好ましい実施形態において光源30がハロゲンバルブであることを思い出してほしい。データプロセッサー20とイルミネーション光学部品32の間の接続は、最適のケーラー照明が維持されることを確実にする手段を提供するために、フィールド絞りアパーチャ及び集光レンズ絞りの閉ループ制御を提供することができる。
【0084】
蛍光イメージングのためのスキャナー11の使用は、容易に認識できる光源30、照明光学部品32及び顕微鏡対物レンズ16に対する変更が必要となる。
図2の第2の実施形態は、励起フィルター、ダイクロイックフィルタ及びバリヤーフイルターを含む蛍光フィルターキューブ50をさらに備える。蛍光フィルターキューブ50は、顕微鏡対物レンズ16とライン走査カメラの焦点合わせ光学部品34の間に存在する、無限大に補正されたビーム路に位置する。蛍光イメージングの一実施形態は、市場で入手可能な様々な蛍光染料やナノ結晶のために適切なスペクトル励起を提供するために、照明光学部品32にフィルターホイールやチューナブルフィルターを加えることを含んでいてもよい。
【0085】
少なくとも1つのビームスプリッター52をイメージングパスへ加えることによって、光信号を少なくとも2つのパスに分割することが可能になる。以前に議論したように、ライン走査カメラ18による回折限界のイメージングを可能にするために、主要なパスはライン走査カメラの焦点合わせ光学部品34を経由する。エリア走査カメラ56によるイメージングのために、エリア走査カメラの焦点合わせ光学部品54を経由する第2のパスが提供される。これらの2つの焦点合わせ光学部品を適切に選択することによって、異なるピクセルサイズを有する2つのカメラセンサーによる回折限界のイメージングを確実にすることができることは容易に明白に理解できるであろう。エリア走査カメラ56は、単純色ビデオカメラ、高性能な冷却機能付きCCDカメラ、又は可変積分時間高速フレームカメラのような、現在入手可能な多くのタイプのうちの1つとすることができる。エリア走査カメラ56は、スキャナー11のための伝統的なイメージングシステムの構成を提供する。エリア走査カメラ56はデータプロセッサー20に接続される。例えば、ライン走査カメラ18及びエリア走査カメラ56である、2台のカメラを使用する場合、その2つの種類のカメラは、単一の二つの機能を兼ねたイメージングボード、2つの異なるイメージングボード又はIEEE1394 Firewireインタフェースのいずれかを使用してデータプロセッサーに接続することができ、その場合には、イメージングボードの一方又は両方が必要ではないことがある。また、撮像センサをデータプロセッサー20に接続する他の関連する方法も利用可能である。
【0086】
コンピューター44へのスキャナー11の主要なインタフェースがネットワーク42を介するが、表示モニター58のようなローカルの出力装置にスキャナー11を直接接続し、かつ、スキャナー11のデータプロセッサー20に直接接続されるキーボードとマウス60のようなローカル入力デバイスを提供することが有益なことが、例えば、ネットワーク42の故障の際にある。この場合、適切なドライバソフトウェア及びハードウェアも用意する必要があるであろう。
【0087】
図2に示した第2の実施形態は、はるかに大きなレベルの自動化されたイメージングの性能も与える。オートフォーカスの周知の方法を使用して、ピエゾポジショナー24、ピエゾコントローラー26及びデータプロセッサー20を含む焦点合わせ制御ループを閉じることにより、スキャナー11のイメージングの自動化を向上させることができる。第2の実施形態は、いくつかの対物レンズを収容するためのモーター駆動レンズ台62を用いる。モーター駆動レンズ台62は、レンズ台コントローラー64を介して、データプロセッサー20に接続し、また、データプロセッサー20によって指示される。
【0088】
組み込むことができるスキャナー11の特徴及び能力は他にもある。例えば、サンプル12のx/y平面において実質的に固定されている顕微鏡対物レンズ16に対してサンプル12を走査するプロセスは、固定されたサンプル12に対して顕微鏡対物レンズ16の走査を行うことを含むように変更することができる。前述のようにサンプル12の同じ大規模な連続したデジタル画像を提供することができるスキャナー11の可能性のある実施形態として、サンプル12の走査、あるいは顕微鏡対物レンズ16の走査、あるいはサンプル12及び顕微鏡対物レンズ16の両方の同時走査がある。
【0089】
スキャナー11は、多くのタイプの顕微鏡ベースの分析を自動化するための汎用プラットホームも提供する。レーザー励起でサンプル12を走査することを可能にするために、伝統的なハロゲンランプ又はアークランプからレーザーベースの照明系へと照明系28を変更することができる。ライン走査カメラ18又はエリア走査カメラ56に加えて又はその代わりに、光電子増倍管又は他の非イメージング検出装置を組み入れることを含む変更を、レーザーエネルギーのサンプル12との相互作用によって発生する光信号を検出する手段を提供するために使用することができる。
【0090】
図5Cは、本発明に係る光学的顕微鏡システム10の第3の実施形態のブロック図である。このシステム10では、蛍光顕微鏡サンプルを走査するためにスキャナー11が最適化されている。様々なソフトウェア及びハードウェア要素を含むこの実施形態におけるスキャナー11の追加の属性は、蛍光スキャナーの動作が適切に機能するために必ずしもすべてが存在していなくてもよい。
図3は、蛍光顕微鏡サンプルを走査するためにスキャナー11に組み入れることができる追加の特徴及び能力の合理的な例を示す。
【0091】
図13は、本開示に記載された様々な実施形態に関連して使用されることがありうる例示的なコンピューターシステム550を示すブロック図である。例えば、コンピューターシステム550は、本開示に記載された閲覧用ソフトウェアと共に使用される、デジタル病理学システム及びコンピューター、そして表示モニターと共に使用することがある。しかしながら、当業者に明らかなように他のコンピューターシステム及び/又はアーキテクチャも使用することができる。
【0092】
コンピューターシステム550は、プロセッサー552のような一又は複数のプロセッサーを備えることが好ましい。更なるプロセッサーを用いることができ、これには、例えば、入出力を管理する補助プロセッサー、追加のプロセッサーを提供することがある、浮動小数点の数学的演算を行う補助プロセッサー、信号処理アルゴリズム(例、デジタルシグナルプロセッサー)の高速実行に適したアーキテクチャを有する特殊用途のマイクロプロセッサー、メイン処理システムに従属するスレーブプロセッサー(例、バックエンドプロセッサー)、二重又は多重プロセッサーシステムのための付加的なマイクロプロセッサー又はコントローラー、又はコプロセッサーがある。このような補助プロセッサーは、個別のプロセッサーであることがあり、又はプロセッサー552とともに集積されることができる。
【0093】
プロセッサー552を通信バス554に接続することが好ましい。通信バス554は、記憶装置と、コンピューターシステム550の他の周辺コンポーネントとの間の情報転送を促進するためにデータチャネルを含むことができる。通信バス554は、プロセッサー552との通信に使用される信号のセットをさらに提供することがあり、データバス、アドレスバス及び制御バス(図示せず)を含む。通信バス554は、任意の標準又は非標準のバスアーキテクチャーを備えていてもよく、例えば、industry standard architecture(ISA)、extended industry standard architecture(EISA)、Micro Channel Architecture(MCA)、Peripheral Component Interconnect(PCI)ローカルバス、又はIEEE 488汎用インタフェースバス(GPIB)、IEEE 696/S−100などのような米国電気電子学会(IEEE)によって発行された標準に準拠するバスアーキテクチャーを備えていてもよい。
【0094】
コンピューターシステム550は、メインメモリー556を含むことが好ましく、さらに補助メモリー558を含むことができる。メインメモリー556は、プロセッサー552上で実行するプログラムに命令及びデータの記憶装置を供給する。メインメモリー556は、通常、ダイナミックランダムアクセスメモリー(DRAM)及び/又は静的ランダムアクセスメモリー(SRAM)のような半導体ベースのメモリーである。他の半導体ベースのメモリータイプは、例えば、読み取り専用メモリー(ROM)を含む、シンクロナスダイナミックランダムアクセスメモリー(SDRAM)、RambusダイナミックRAM(RDRAM)、強誘電体ランダムアクセスメモリー(FRAM)などを含む。
【0095】
補助メモリー558は、ハードディスクドライブ560及び/又はフロッピーディスクドライブ、磁気テープドライブ、コンパクトディスク(CD)ドライブ、デジタルバーサタイルディスク(DVD)ドライブなどのリムーバブル記憶装置562をオプションで含むことができる。リムーバブル記憶装置562は、周知な方法で、リムーバブル記憶媒体564から読み取り及び/又はリムーバブル記憶媒体564に書き込む。リムーバブル記憶媒体564は、例えば、フロッピーディスク、磁気テープ、CD、DVDなどであることができる。
【0096】
リムーバブル記憶媒体564は、コンピューターが実行可能なコード(つまりソフトウェア)及び/又はデータが記憶されたコンピューターが読み取り可能な媒体であることが好ましい。リムーバブル記憶媒体564に格納されたコンピューターソフトウェア又はデータは、電気的な通信信号578としてコンピューターシステム550に読み込まれる。
【0097】
代替実施形態では、補助メモリー558は、コンピュータープログラム又は他のデータ又は命令がコンピューターシステム550にロードされることを可能にする他の同様な手段を含むことができる。このような手段には、例えば、外部記憶媒体572及びインタフェース570が含まれうる。外部記憶媒体572の例として、外部ハードディスクドライブ又は外部光ドライブ、そして外部光磁気ドライブが挙げられる。
【0098】
補助メモリー558の他の例として、programmable read−only memory(PROM)、erasable programmable read−only memory(EPROM)、lectrically erasable read−only memory(EEPROM)、フラッシュメモリー(EEPROMに類似するブロック式メモリー)のような半導体ベースのメモリーが挙げられる。また、リムーバブルストレージユニット572からコンピューターシステム550へとソフトウェアとデータが転送されることを可能にする他の任意のリムーバブルストレージユニット572及びインタフェース570も含むことができる。
【0099】
コンピューターシステム550は、通信用インタフェース574も含むことができる。通信用インタフェース574は、コンピューターシステム550と、外部装置(例、プリンター)、ネットワーク又は情報源との間でソフトウェアやデータを転送することを可能にする。例えば、ネットワークサーバーからコンピューターシステム550へと通信用インタフェース574を介してコンピューターソフトウェア又は実行可能コードを転送することができる。通信用インタフェース574の例を少し挙げると、モデム、ネットワークインタフェースカード(NIC)、通信ポート、PCMCIAスロット及びカード、赤外線インタフェース及びIEEE 1394 fire−wireが挙げられる。
【0100】
通信用インタフェース574は、Ethernet IEEE 802標準、Fiber Channel、デジタル加入者線(DSL)、非同期デジタル加入者線(ADSL)、フレームリレー、非同期転送モード(ATM)、統合デジタルサービスネットワーク(ISDN)、パーソナルコミュニケーションズサービス(PCS)、トランスミッションコントロールプロトコル/インターネットプロトコル(TCP/IP)、シリアルラインインターネットプロトコル/ピントツーポイントプロトコル(SLIP/PPP)などのような業界によって普及されたプロトコルを実装することが好ましいが、カスタマイズされたインタフェースプロトコル又は非標準のインタフェースプロトコルを同様に実装することができる。
【0101】
通信用インタフェース574経由で転送されたソフトウェアとデータは、概して、電気的な通信信号578の形態である。これらの信号578は、通信チャネル576を介して通信用インタフェース574に提供されることが好ましい。通信チャネル576は、様々な有線又は無線の通信手段を用いて信号578を運び、実装することができ、その例を少し挙げると、有線ないしケーブル、ファイバーオプティクス、伝統的な電話線、移動体電話リンク、無線データ通信リンク、無線周波数(RF)リンク又は赤外線リンクが挙げられる。
【0102】
コンピューターが実行可能なコード(すなわち、コンピュータープログラム又はソフトウェア)は、メインメモリー556及び/又は補助メモリー558に格納される。コンピュータープログラムは、通信用インタフェース574を介して受信され、メインメモリー556及び/又は補助メモリー558に格納することができる。このようなコンピュータープログラムは、実行された際に、コンピューターシステム550が前述の本発明の各種機能を実行することを可能にする。
【0103】
本開示において、「コンピューターが読み取り可能な媒体」の用語は、コンピューターシステム550にコンピューターが実行可能なコード(例、ソフトウェアとコンピュータープログラム)を提供するために使用される任意の媒体を意味するように使用される。これらの媒体の例として、メインメモリー556、補助メモリー558(ハードディスクドライブ560、リムーバブル記憶媒体564及び外部記憶媒体572を含む)、及び通信用インタフェース574に通信可能なようにつながれた任意の周辺機器(ネットワーク情報サーバー又は他のネットワークデバイスを含む)を含む。これらのコンピューターが読み取り可能な媒体は、コンピューターシステム550に実行可能コード、プログラミング命令及びソフトウェアを提供するための手段である。
【0104】
ソフトウェアを使用して実装される実施形態では、ソフトウェアは、リムーバブル記憶装置562、インタフェース570又は通信用インタフェース574を利用して、コンピューターが読み取り可能な媒体に格納され、コンピューターシステム550にロードすることができる。このような実施形態では、ソフトウェアは電気的な通信信号578の形態でコンピューターシステム550にロードされる。ソフトウェアは、プロセッサー552によって実行された際に、プロセッサー552に対して本開示の上で記載した創造性のある特徴及び機能を行わせることが好ましい。
【0105】
例えば、特定用途向けIC(ASIC)又はフィールドプログラマブルゲートアレー(FPGA)のような部品を用いて、主としてハードウェアにおいて様々な実施形態を実装することができる。本開示に記載された機能を実行することができるハードウェアの状態マシンの実装は、当業者にとって明白であろう。ハードウェアとソフトウェアの両方の組み合わせを使用して様々な実施形態を実装することもできる。
【0106】
さらに、本開示に開示され上で説明した図面及び実施形態に関連して記載された様々な論理ブロック、モジュール、回路及び方法ステップが、電子ハードウェア、コンピューターソフトウェア又はそれらの組合せとしてしばしば実装することができることを当業者は理解できるであろう。このようにハードウェアやソフトウェアを入れ替えることができるということをわかりやすく示すために、様々な実例となる部品、ブロック、モジュール、回路及びステップが、概してそれらの機能性の観点から上で説明した。それらの機能がハードウェア又はソフトウェアとして実装されるかということは、特定のアプリケーション及びシステム全体に課せられた設計上の制約に依存する。熟練者は、特定のアプリケーションそれぞれのための様々な方法で上記の機能を実装することができるが、このような実装の判断は本発明の範囲からの逸脱を発生させるものとして解釈されるべきでない。また、モジュール、ブロック、回路又はステップの中における機能のグループ分けは、記載を簡潔にするために行ったものである。特定の機能又はステップを、1つのモジュール、ブロック又は回路から別のものへと本発明から逸脱せずに移動することができる。
【0107】
また、本開示に開示された実施形態に関連して記載された様々な論理ブロック、モジュール及び方法を、本開示で記載された機能を行うために設計された、汎用プロセッサー、デジタルシグナルプロセッサー(DSP)、ASIC、FPGA又は他のプログラマブルロジックデバイス、離散的なゲート又はトランジスターロジック、離散的なハードウェア部品又はこれらの任意の組み合わせによって実装したり実行することができる。汎用プロセッサーは、マイクロプロセッサーであることができるが、代わりに、プロセッサーは任意のプロセッサー、コントローラー、マイクロコントローラ又はステートマシンであってもよい。また、プロセッサーは、コンピューティングデバイスの組合せとして実装することもでき、これは、例えば、DSPとマイクロプロセッサーの組合せ、複数のマイクロプロセッサー、DSPコアと共に動作する一又は複数のマイクロプロセッサー、又は他のこのような任意の構成である。
【0108】
また、本開示に開示された実施形態に関連して記載された方法又はアルゴリズムのステップは、ハードウェアにて直接具現化することができ、プロセッサーによって実行されるソフトウェアモジュールにて具現化することもでき、又はこれら2つの組合せで具現化することができる。ソフトウェアモジュールは、RAMメモリー、フラッシュメモリー、ROMメモリー、EPROMメモリー、EEPROMメモリー、レジスター、ハードディスク、リムーバブルディスク、CD−ROM又はネットワークストレージ媒体を含む他の形態の記憶媒体にて存在することができる。例示的な記憶媒体は、プロセッサーが記憶媒体から情報を読み込むことができ、記憶媒体へと情報を書き込むことができるようにプロセッサーに結合されることができる。代わりに、記憶媒体は、プロセッサーと一体化していてもよい。プロセッサーと記憶媒体は、ASICに存在していてもよい。
【0109】
開示した実施形態についての上記の説明は、いずれの当業者も本発明を作製又は使用することができるように提供した。これらの実施形態に対する様々な変更は、当業者にとって極めて明白であり、本開示に記載された包括的な原理は、本発明の精神又は範囲から逸脱せずに他の実施形態にも適用することができる。したがって、本開示に開示された説明及び図面は、本発明の現状の好ましい実施形態を表し、よって、本発明によって広く解釈されるように意図された主題を表すものであると理解すべきである。また、本発明の範囲が当業者にとって自明となることがある他の実施形態を完全に包含し、それによって本発明の範囲が制限されないと理解すべきである。