特許第6186634号(P6186634)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サクラ ファインテック ユー.エス.エー., インコーポレイテッドの特許一覧

特許6186634デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法
<>
  • 特許6186634-デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法 図000004
  • 特許6186634-デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法 図000005
  • 特許6186634-デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法 図000006
  • 特許6186634-デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法 図000007
  • 特許6186634-デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法 図000008
  • 特許6186634-デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法 図000009
  • 特許6186634-デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法 図000010
  • 特許6186634-デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法 図000011
  • 特許6186634-デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法 図000012
  • 特許6186634-デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法 図000013
  • 特許6186634-デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法 図000014
  • 特許6186634-デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法 図000015
  • 特許6186634-デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法 図000016
  • 特許6186634-デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法 図000017
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6186634
(24)【登録日】2017年8月10日
(45)【発行日】2017年8月30日
(54)【発明の名称】デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法
(51)【国際特許分類】
   G02B 21/36 20060101AFI20170821BHJP
   G01N 21/27 20060101ALI20170821BHJP
   G01N 21/84 20060101ALI20170821BHJP
【FI】
   G02B21/36
   G01N21/27 A
   G01N21/84 D
【請求項の数】24
【全頁数】25
(21)【出願番号】特願2013-525005(P2013-525005)
(86)(22)【出願日】2011年8月19日
(65)【公表番号】特表2013-536471(P2013-536471A)
(43)【公表日】2013年9月19日
(86)【国際出願番号】US2011048488
(87)【国際公開番号】WO2012024627
(87)【国際公開日】20120223
【審査請求日】2014年7月10日
(31)【優先権主張番号】61/375,703
(32)【優先日】2010年8月20日
(33)【優先権主張国】US
【前置審査】
(73)【特許権者】
【識別番号】504462571
【氏名又は名称】サクラ ファインテック ユー.エス.エー., インコーポレイテッド
(74)【代理人】
【識別番号】100077621
【弁理士】
【氏名又は名称】綿貫 隆夫
(74)【代理人】
【識別番号】100146075
【弁理士】
【氏名又は名称】岡村 隆志
(74)【代理人】
【識別番号】100092819
【弁理士】
【氏名又は名称】堀米 和春
(74)【代理人】
【識別番号】100141634
【弁理士】
【氏名又は名称】平井 善博
(74)【代理人】
【識別番号】100141461
【弁理士】
【氏名又は名称】傳田 正彦
(72)【発明者】
【氏名】ヒング ポール
(72)【発明者】
【氏名】ロメール クリスティアン
(72)【発明者】
【氏名】ヘンスラー スヴェン
【審査官】 越河 勉
(56)【参考文献】
【文献】 特開平09−080138(JP,A)
【文献】 特開平09−218354(JP,A)
【文献】 特開昭61−248168(JP,A)
【文献】 特開昭59−071018(JP,A)
【文献】 特開2001−281553(JP,A)
【文献】 特開2009−192824(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 21/36
G01N 21/27
G01N 21/84
(57)【特許請求の範囲】
【請求項1】
センサーで基板上の組織試料の一部の画像を1以下の倍率で感知する工程と、
感知画像を保存することなく、センサーにおいて感知したディスプレイ上の画像の少なくとも一部を、センサー画素からディスプレイ画素への割り振りの比が1:1を超えるように表示する工程と、
前記保存しない感知画像を表示するようにセンサー画素からディスプレイ画素への割り振りの比を変更する工程と、センサー画素からディスプレイ画素への割り振りの比が解像閾値を越える場合、組織試料の一部の領域の拡大画像を感知して、解像閾値を超えてセンサー画素からディスプレイ画素への割り振りの比を変更するために自動的にセンサーを変更する工程と、のそれぞれをユーザの入力に応じて実行する工程と、
感知した画像の少なくとも一部をあるコンピュータ制御速度で再読込する工程、及び感知した画像の少なくとも一部を保存する工程、のうち少なくとも1工程を行う工程と、を含む試料の検査方法。
【請求項2】
組織試料の一部の感知した画像を表示する工程が、前記部分の複数の断片を集合させる工程、および集合させた複数の断片を表示する工程を含む請求項1記載の試料の検査方法。
【請求項3】
複数の断片の中の1つの断片が隣接の断片と重複し、隣接する断片を集合させる工程には隣接し合う断片の共通する内容を揃える工程が含まれる請求項2記載の試料の検査方法。
【請求項4】
感知した画像を表示する工程が画像の全断面積を表示する工程を含む請求項2記載の試料の検査方法。
【請求項5】
感知した画像を保存する工程が使用者の入力に応答して保存する工程を含む請求項1記載の試料の検査方法。
【請求項6】
センサー画素からディスプレイ画素への割り振りの比を変更する工程が、使用者の入力に応答して1:1を超える比率から1:1の比率へ移行させる工程を含む請求項1記載の試料の検査方法。
【請求項7】
使用者の入力に応答して拡大画像を感知する工程が実行過程に含まれる請求項1記載の試料の検査方法。
【請求項8】
拡大画像で感知された組織の一部の領域が使用者の入力によって選択された領域に対応している請求項記載の試料の検査方法。
【請求項9】
基板上のラベル画像を感知する工程およびディスプレイ上にその画像を表示する工程をさらに含む請求項1記載の試料の検査方法。
【請求項10】
基板上の組織試料の画像を感知する工程が明視野画像を感知する工程を含み、ラベルの画像を感知する工程が反射率を利用して画像を感知する工程を含む請求項記載の試料の検査方法。
【請求項11】
センサー画素からディスプレイ画素への割り振りの比を変更した画像および拡大画像の少なくとものいずれか1つを表示する工程をさらに含む請求項1記載の試料の検査方法。
【請求項12】
センサー画素からディスプレイ画素への割り振りの比が1:1を超えるセンサーで感知した画像、センサー画素からディスプレイ画素への割り振りの比を変更した画像および拡大画像の少なくともいずれか1つの各々をディスプレイ上で同時に表示する請求項11記載の試料の検査方法。
【請求項13】
複数の基板を提供する工程をさらに含む方法であって、複数の基板の各々は組織試料を含み、前記方法は画像を感知するに先だって感知のための複数の基板の少なくとも1つを指定する工程をさらに含む請求項1記載の試料の検査方法。
【請求項14】
複数の基板を提供する工程をさらに含む方法であって、複数の基板の各々は組織試料を含み、複数の基板の中の1基板の少なくとも1つの画像および複数の基板の別の基板の少なくとも1つの画像をディスプレイ上に表示する請求項1記載の試料の検査方法。
【請求項15】
組織試料の一部の少なくとも1つの領域の少なくとも1つの画像をディスプレイ上に同時に表示する工程をさらに含む請求項1記載の試料の検査方法。
【請求項16】
表示する工程がディスプレイ上の第1画像および第2画像を表示する工程を含み、感知した画像を再読込する工程は第1画像および第2画像の1つのみ再読込する工程を含む請求項1記載の試料の検査方法。
【請求項17】
第1画像および第2画像のいずれか一方はコンピュータメモリー記憶域から読み出した画像である請求項16記載の試料の検査方法。
【請求項18】
データ構造内の感知された画像の少なくとも一部を保存する工程が実行過程に含まれる方法であって、前記方法は:
1を超える光学倍率で試料の画像を感知する工程;および
データ構造内で1を超える光学倍率で感知した画像を保存する工程をさらに含む請求項1記載の試料の検査方法。
【請求項19】
データ構造内の感知された画像の少なくとも一部を保存する工程が実行過程に含まれる方法であって、
保存する工程が、センサー画素からディスプレイ画素への割り振りの比に基づいた階層画像を保存する工程を含む請求項1記載の試料の検査方法。
【請求項20】
感知した画像の画素サイズ、倍率および画素数に基づいて、ある領域を画像内に配置する工程をさらに含む請求項1記載の試料の検査方法。
【請求項21】
感知した画像の領域を使用者に提供された標記と関連付け、データ構造内で前記領域と前記標記の配置を保存する請求項20記載の試料の検査方法。
【請求項22】
基板上の組織試料はスライド上の試料であり、前記スライドはラベルを有してステージ上に設置され、感知した画像の少なくとも一部を保存する工程が実行過程に含まれる方法であって、前記方法は、ステージからスライドを取り外してその後ステージに戻すことに対応して、取り外し前の位置に対して組織試料の位置を正しく配置する工程をさらに含む請求項1記載の試料の検査方法。
【請求項23】
少なくとも1つの画像センサーと、
少なくとも1つの顕微鏡スライドを支持するように構成されたステージと、
少なくとも1つの前記画像センサーと前記ステージとの間に設置され、1以下の倍率で画像を投影するように構成された第1光学撮像サブシステムと、
少なくとも1つの前記画像センサーと前記ステージとの間に設置され、1を超える倍率で画像を投影するように構成された第2光学撮像サブシステムと、を有するデジタル顕微鏡と、
少なくとも1つの光源を備える照明装置サブシステムと、
前記デジタル顕微鏡に接続し、前記第1光学撮像サブシステムまたは前記第2光学撮像サブシステムを経て投影された前記ステージ上のマイクロスライドの一部の少なくとも1つの画像センサーによって画像を取得するように操作できるコンピュータと、
前記コンピュータに接続し、少なくとも1個の前記画像センサーで取得された画像を表示可能に構成されたディスプレイと、を具備し、
前記コンピュータは、
少なくとも1個の前記画像センサーが取得した画像を保存することなく前記ディスプレイ上に表示し、
且つ、ユーザ入力によって、前記第1光学撮像サブシステムを経て少なくとも1個の前記画像センサーが取得した画像の解像閾値を超えるセンサー画素からディスプレイ画素への割り振りの比で表示する場合には、前記第2光学撮像サブシステムを経て取得された画像を自動的に表示させる機械可読命令を含むことを特徴とする装置。
【請求項24】
センサーで基板上の組織試料の一部の画像を1以下の倍率で感知する工程と、
感知画像を保存することなく、センサーにおいて感知したディスプレイ上の画像の少なくとも一部を、センサー画素からディスプレイ画素への割り振りの比が1:1を超えるように表示する工程と、
前記保存しない感知画像を表示するようにセンサー画素からディスプレイ画素への割り振りの比を変更する工程と、センサー画素からディスプレイ画素への割り振りの比が解像閾値を越える場合、組織試料の一部の領域の拡大画像を感知して、解像閾値を超えてセンサー画素からディスプレイ画素への割り振りの比を変更するために自動的にセンサーを変更する工程と、のそれぞれをユーザの入力に応じて実行する工程と、を含む方法を、実行の際に行う命令として組み入れたコンピュータ読み取り媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2010年8月20日に出願され同時係属中の米国暫定特許出願第61/375,703号の最先の出願日の利益を主張し、これを参照によってここに援用する。
【0002】
本発明は、デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法に関する。
【背景技術】
【0003】
様々な状況では、診断目的で生物標本の検査が必要である。一般的に言えば、病理学者や他の診断医は患者から試料を採取し、検討し、顕微鏡検査および他の装置を利用して細胞レベルで試料を調べる。病理および他の診断過程には通常、血液や組織などの生物標本の採取、試料の処理、顕微鏡スライドの準備、染色、検査、再試験または再染色、追加試料の採取、試料の再検査、最終的に診断所見の提供など多数の工程が関与している。
【0004】
生物試料の検査には一般的に、試料または試料の関心領域の拡大および病理学者や診断医による評価などがある。従来、このことは試料を含むスライドを顕微鏡に設置し、組織試料または組織試料の関心領域の拡大ビューを顕微鏡で検査することで行われる。近年、デジタル顕微鏡が開発されており、これは試料、特に顕微鏡スライド上の試料を装置に設置し、試料または試料の関心領域の拡大デジタル画像を捉え、薄膜液晶ディスプレイモニターなどのモニターに表示するものである。顕微鏡のレンズを介するのではなくディスプレイ上に試料または試料の関心領域が見られることは病理学者または他の診断医に有益であるかもしれないが、通常、拡大画像をスキャンし、その画像を表示することは時間を要し、複数の試料を処理(拡大)する必要がある場合に不都合な遅延または大幅な遅延が起こる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許第4760385号明細書
【図面の簡単な説明】
【0006】
図1】試料を試験するためのデジタル顕微鏡を備えるシステムのブロック図を示す。
図2】デジタル顕微鏡システムで使用するためのスライドキャリアの1実施態様の上面斜視図を示す。
図3図2の線3‐3’を通る断面側面図を示す。
図4】試料およびそれに付いたラベルを有し、デジタル顕微鏡の1実施態様のセンサー視野を表示するスライドの1実施態様の平面図を示す。
図5】デジタル顕微鏡のセンサーにそれぞれ取得された試料の3つの隣接する画像の図示を示す。
図6】継ぎ合わせた図5の3つの隣接する画像を示す。
図7】継ぎ合わせた図5の3つの隣接する画像およびスライドラベルを含むスライドの画像を示す。
図8】デジタル顕微鏡を備えるシステムによる画像取得の1実施態様のフローチャートを示す。
図9】デジタル顕微鏡を備えるシステムの使用の様々なモードの1実施態様を示すディスプレイのスクリーンショットの1実施態様を示す。
図10】4つのスライドおよびそのラベルの低解像度画像を表示するディスプレイのスクリーンショットの1実施態様を示す。
図11】ライブモードにおける試料の一部を表示するディスプレイのスクリーンショットの1実施態様を示す。
図12】ライブモードにおける3つの異なる試料の一部を表示するディスプレイのスクリーンショットの1実施態様を示す。
図13】高解像度スキャン中の1つの試料の一部を表示するディスプレイのスクリーンショットの1実施態様を示す。
図14】高解像度スキャン中の1つの試料の一部を表示するディスプレイのスクリーンショットの1実施態様を示す。
【発明を実施するための形態】
【0007】
図1は組織試料などの試料を試験するためのシステムのブロック図を示す。図1を参照すると、システム100はコンピュータ110を備えている。コンピュータ110には例えば、1つの実施態様では、少なくとも4ギガバイトのランダムアクセスメモリーおよび少なくとも1テラバイトのハードドライブメモリーを有するIntel Core 2 Quadかそれ以上のものである中央処理装置が備えられる。コンピュータ110はDVDライターおよびWindows 7(登録商標)などのオペレーティングシステムも備える。
【0008】
コンピュータ110に接続するのは、コンピュータ110から送信された情報を表示するように構成されたディスプレイ120である。ディスプレイ120は例えば、S‐IPSまたはPVA技術に基く薄膜液晶ディスプレイモニターである。24インチ型またはそれ以上大きいカラーモニターが代表的な例である。あるいは、2、3個かそれ以上のディスプレイをコンピュータ110に接続し、より構成された方法でさらなる情報を使用者に提供することも可能である。例えば、1つのディスプレイはヘマトキシリンおよびエオシン(H&E)染料を含む試料画像を提供し、もう1つのディスプレイは異なるタイプの染色法を利用して同じケースの画像を表示し、第3のディスプレイは臨床化学、血液学、放射線学など他の専門領域から臨床データを表示してもよい。また、コンピュータ110に接続するのはキーボード130、マウス1400Aおよびマウス1400Bである。1つの実施態様ではマウス1400Aは二次元の通常のマウスであり、マウス1400Bは3D Connexion Space Navigator(登録商標)などの三次元マウスである。三次元マウス1400Bは例えば、環境の配置またはナビゲートに使用し、マウス1400Aは例えば選択、作製または編集に使用し得る。
【0009】
コンピュータ110はシステム100の遠隔送信操作を可能にし、そして/あるいはネットワークオペレーティングシステムに接続するインターネットおよび/またはインターネットコネクション145を有し得る。
【0010】
システム100のこの実施態様においてコンピュータ110に接続するのはデジタル顕微鏡150である。デジタル顕微鏡150は、センサー160およびセンサー165と、光学撮像サブシステム168および光学撮像サブシステム170と、オートフォーカス光学装置と、照明装置などの1つ、あるいは数個の撮像システムを備え得る。各撮像システムは異なる光学分割または解像度範囲を有し得る。少なくとも1つの光学システムはm≦1の倍率にすることも可能である。システムはまた、倍率m>1で高い解像度を示し得る。デジタル顕微鏡はx方向、y方向およびz方向に移動可能なステージ180および制御電子回路も備える。
【0011】
デジタル顕微鏡150は明視野および/または蛍光顕微鏡として操作可能である。明視野操作の場合、1つまたは複数のセンサーは試料の吸収を感知し、試料に対してセンサー(単数または複数)の反対側にある光源でステージ180上の試料の画像を取得する。図1に示すとおり、例えば発光ダイオード(LED)光源などの光源195および光源196はそれぞれ、ステージ180の下に配置する。ステージ180の開口よって、光はステージ180を通り抜けて放出され、ステージ180のスライドなどの試料を照明する。蛍光顕微鏡操作の場合、撮像システムは蛍光照明光源によって励起された蛍光マーカーを撮像する。蛍光照明は通常、無限遠補正した顕微鏡の対物レンズと鏡筒との間で、ダイクロイックミラーを介して光学システムに連結されている。このような場合、センサーおよび蛍光源は共に試料と同じ側にある。光学撮像サブシステム168およびセンサー160を参照すると、1つの実施態様では、センサー160はエリアセンサー、例えば荷電結合デバイス(CCD)を有する市販のデジタルカメラを備える。CCDセンサーはセンサー解像度を表す数百万の感光正方形単位(画素)にさらに分割される。このようなセンサーの標準的な画素サイズ(センサー解像度)は約5ミクロン(μm)×5ミクロンである。試料における光学システムの倍率を用いて画素を表すサイズのことを通常、画素分解能という。倍率0.1<m<40で光学システムを使用すると画素分解能は約50ミクロン〜125ナノメートルになる。
【0012】
撮像システムの1つの実施態様では、センサー160はステージ180上にあるスライドまたはその一部の画像など試料画像を感知し、取得するように構成してある。デジタル顕微鏡150の光学撮像サブシステム168は、センサー160上の照明装置サブシステムの光源195からの光に焦点を合わせるレンズまたは対物レンズ1680を備える。光源195からの光はステージ180の開口を通り抜け、ステージ180上のスライドを通り抜けて放出される。光学撮像サブシステム168のミラー1682はレンズまたは対物レンズ1680に光を向ける。光学撮像サブシステム168で倍率(m=1)あるいは倍率1未満(m<1)にせずに画像を感知することによって、このような画像をセンサー160で取得することも可能である。1つの実施態様では、光学撮像サブシステム168およびセンサーの配置を固定する。xyステッピングモーター172によって、xおよびy方向に、zステッピングモーター174によって、z方向にミラー1682を移動することも可能である。
【0013】
コンピュータ110はセンサー160から感知した画像を表す信号を受信し、ディスプレイ用画像を生成し、このように生成した画像をディスプレイ120上に表示する。
【0014】
1つの実施態様では、センサー165はセンサー160に類似している。センサー165はステージ180上にあるスライドまたはその一部の画像など試料画像を取得するように構成してある。センサー165は光学撮像システム170を経てこのような画像を取得する(m>1)。デジタル顕微鏡150内の光学撮像サブシステム170は複数の対物レンズを備え得る。対物レンズ1700A、対物レンズ1700Bおよび対物レンズ1700Cは図示してある。対物レンズ1700Aは例えば、倍率が2.5倍であるCarl Zeiss社製の無限遠補正型である。対物レンズ1700Bは例えば、倍率が20倍(20X)であるCarl Zeiss社製の無限遠補正型である。対物レンズ1700Cは例えば、倍率が40倍(40X)であるCarl Zeiss社製のA-plan対物レンズである。これらの対物レンズを交換すると、異なった光学システムが作り上げられ、各システムでは画素分解能が異なる(例えば倍率2.5では2ミクロンであり、倍率20では250ナノメートルである)。必要に応じて他の対物レンズと交換することも、さらに対物レンズを追加することも可能である。個々の対物レンズはxyステッピングモーター172によってxおよびy方向に可動であり、これによって、特定の対物レンズが必要に応じてセンサー165およびステージ180上のスライドと連携できるようになる。典型的に、対物レンズおよびミラー1682は個々にトラック(行路)に連結し、トラックに沿って電動移動するようにし、必要に応じて配置に着くように作動させることが可能である。
【0015】
センサー165と光学撮像サブシステム170との間に配置されるものとしては、1つの実施態様では、ビームスプリッター、自動焦点検出器および自動焦点照明装置を備える自動焦点システム167を配置してもよい。赤外線フィルターおよび鏡筒は、自動焦点システム167とセンサー165との間など、センサー165と光学撮像サブシステム170との間に配置することも可能である。
【0016】
1つの実施態様では、光学撮像サブシステム170によって画像を取得する場合、顕微鏡150には、ステージ180の下に配置された照明サブシステムの光源196が使用される。光源196は光源に類似したものでもよい。光源196と連携し(すなわち光源196とステージ180との間に配置する)、照明サブシステムへ組み込むものは、電動開口または絞り197であり、これはケーラー照明といって、標本の照明を向上させるものである。
【0017】
コンピュータ110はセンサー165から感知した画像を表す信号を受信し、ディスプレイ用画像を生成する。生成した画像をディスプレイ120に表示する。
【0018】
上述した実施態様では、複数のセンサー(センサー160、センサー165)はスライド上の試料の画像を取得すると記述している。撮像システムの別の実施態様では、システム100は、倍率(m=1)にせずに、あるいは倍率1未満(m<1)でスライドまたはその一部の画像を取得し、光学撮像サブシステム170の倍率を拡大して(m>1)画像またはその一部を取得するように構成された単一センサーを備える。この実施態様では、交換可能な光学装置(例えば光学撮像サブシステム168および170)と接続して利用可能である。同様に、上記の実施態様では、光学撮像サブシステム168用の光源195および光学撮像システム170用の光源196の代わりに、単一光源を各撮像システムに使用し得る。
【0019】
1つの実施態様では、デジタル顕微鏡150は制御ユニット175を備える。制御ユニット175はコンピュータ110に接続する。制御ユニット175はまた、デジタル顕微鏡150の様々な部品に接続し、コンピュータ110から受診した信号に基づいてデジタル顕微鏡の操作を制御する。制御ユニットは典型的に、xyステッピングモーター、zステッピングモーター、光源185、光源196、電動開口または絞り187、光学撮像サブシステム168、光学撮像サブシステム170、センサー160およびセンサー165を制御する。
【0020】
明視野顕微鏡として操作するデジタル顕微鏡150を参照すると、患者識別情報および/または例えば染色のタイプまたは試料を供する工程などの他の情報を載せたラベルを有するスライドが組織試料である1つの実施態様では、情報はラベルに印刷してあるので、デジタル顕微鏡150はこのような情報を感知し、取得することが可能となる。しかし、ラベルの下方の光源を使用してラベルを照明すると、ラベル情報が見えなくなる恐れがある。したがって、1つの実施態様では、第2光源198を利用してスライドまたはスライドのラベル部分を照明し、反射を介してスライドラベル上のデータを感知できるようにする。例えばセンサー160および光学撮像サブシステム168でラベルの画像を取得することも可能である。
【0021】
図1を再度参照すると、ステージ180は制御ユニット175によって3方向:x方向(図では左右方向)、z方向(図では上下方向)およびy方向(図では紙面の奥行きと全面方向)に操作される。試料に対して光学装置を移動させることによってz方向も定まる。ステージ180は、xyステッピングモーター172によってx方向およびy方向に、また制御ユニット175で制御されたzステッピングモーターによってz方向に操作される。
【0022】
システム100のデジタル顕微鏡150を再度参照すると、顕微鏡はステージ180を備える。1つの実施態様では、1つ以上のスライドを把持するようにステージ180の寸法を定める。1つの実施態様では、4つのスライドを備えるスライドトレイをステージ180に設けてもよい。図1はスライドキャリア210を示す。別の実施態様では、スライド装填装置をシステム100に取り付けて、約240個に及ぶスライドを自動的に装填および取り外しをすることが可能となる。スライド装填装置よって、システム100は使用者が居ても居なくとも、反射撮像モードで自動的にスライド撮像を行うことが可能である。使用者は自動スライド装填装置またはスライドトレイのどちらかを使用することが選択できる。
【0023】
図2は顕微鏡150内のステージ180上にあるスライドキャリア210の代表的な例を示す。スライドキャリア210は例えば、各々が個々のスライドを保持するための4つのスライド溝220A、220B、220Cおよび220Dを有する成形ポリマー材料である(例えば25ミリ×76ミリのスライド)。図2の説明では、3つのスライド溝(溝220A、220Bおよび220C)にスライドを設置し、4つ目の溝(溝220D)には何も入っていない状態である。例えばスライド装填装置の関連機構を利用し、使用者によって、あるいは自動的に個々のスライド溝にスライドを設置することも可能である(例えば、選択配置ロボット装置)。1つの実施態様では、スライドはスライドキャリア210に機械的に押さえられている訳ではなく、部分的にスライド溝内に置かれている。
【0024】
図3図2の線3‐3’を通るステージ180上のスライドキャリア210の側面図を示す。この実施態様では、スライド320A、320Bおよび320Cはそれぞれスライド溝220A、220Bおよび220Cに内にあることが分かる。スライド溝220D内にスライドは無いことが分かる。各スライド溝は溝(切削)部分および水平部分(330A、330B、330Cおよび330D)を有する。スライドは水平部分に水平に置く。スライドを水平部分の上部表面に置くと(図示)、スライドの厚みの一部によって、高さ315はスライドキャリア210の高さ範囲以上に高くなるような(図示)高さ(寸法)を各水平部は有している。
【0025】
図2および図3を参照すると、スライドキャリア210はステージ180のポケットまたはホルダー内にあることが分かる。1つの実施態様では、ステージ180はスライドキャリア210をデジタル顕微鏡150内に支持する寸法を有する成形プラスチック片である。ステージ180のポケットまたはホルダーは、ステージ180の表面181(図では上面)から突出し、互いに対向するL型ブラケットによって形成される。図2は、各々が逆L型で互いに対向している(互いに対向するブラケットに向いている逆L型または片持ち部の基部を有する)ブラケット183およびブラケット184を示す。ブラケット183およびブラケット184は、少なくともスライドキャリア210の幅範囲より広い距離で隔てられている。(例えばスライドキャリア210が約10センチメートル(cm)から12cmの幅範囲を有していれば、ブラケット183およびブラケット184はそれより0.25cm〜0.5cm大きい距離で隔てられる。)各ブラケットの高さ範囲は表面181からの高さであり、これはスライドキャリアの厚さに高さ315を足した分よりも高いものであり、スライドキャリア210のスライド溝内のスライドがスライドキャリア210の表面181より高く突出している。例えば、スライドキャリアの厚さが約1cmであれば、ブラケット183およびブラケット184の各々の片持ち部または逆L部のベースの高さは、ステージ180の表面181からの高さであり、それは1cmと高さ315以上とを足した高さとなる。例えば、高さ315が1mmとすると、ブラケット183およびブラケット184の各片持ち部の高さはステージ180の表面181から1.2cm以上である。ステージ180のブラケット183およびブラケット184の配向および構成によって、スライドキャリア210はブラケットに形成されたポケットの内外に誘導される。
【0026】
図3を参照すると、1つの実施態様では、ステージ180には、ブラケット183およびブラケット184に形成されたポケットの遠位端部(スライドキャリア210がポケットに入る地点からの遠位)の表面181上に丘状部188が備えられている。丘状部188はステージ180の表面181からスライドキャリア210を押し上げるに十分な寸法を有し、スライドキャリア210のスライド溝内にある全てのスライドとブラケット183およびブラケット184の片持ち部とを接触させるものである。この方法では、スライドキャリア210がステージ180上にある場合、ブラケット183およびブラケット184の片持ち部はスライドの一部を固定または支持するように作用する。典型的に、丘状部の厚さまたは高さは数ミリメートルほどであり、長さは0.5cmであり、幅はブラケット183とブラケット184との間の距離である。あるいは、幅の小さい突起を2つ以上使用してもよい。
【0027】
操作の際、デジタル顕微鏡150ではセンサー160および165のうちの1つを使用し、スライド上にある試料または試料の関心領域の画像を感知し、取得する。センサーは試料のスライド画像を取得し、その画像をデジタル信号でコンピュータ110に送信し、このような信号をディスプレイ120に表示する。1つの実施態様では、画像を取得し、その画像をディスプレイ120上に表示する場合、将来的に読みだす可能性があるという意味で画像を保存することは望ましくない。その代わりに、画像はセンサー160またはセンサー165からコンピュータ110へ送信し、別の動作をさせるための使用者またはシステムからの指示がない限り、画像は典型的に1秒間に数枚ほどの再読込速度で再読込する。再読込速度は変えられる。例えば、顕微鏡が動かない場合、画像を再読込する必要はない。
【0028】
1つの実施態様では、センサー160は倍率1以下(m≦1)でスライド上の試料画像を取得する。言い換えれば、倍率が1未満(m<1)の場合、光学画像サブシステム168は試料の等倍画像または縮小画像をセンサーに投影する。典型的に、センサー160はスライドより小さい(例えばセンサーの直径は約3〜4ミリメートルで、スライドは約25ミリメートル×76ミリメートルである)。光学撮像サブシステム168はセンサー160上に視野を広げて投影する対物レンズを備える。
【0029】
1つの実施態様では、システム100はスライド上の全試料またはその一部の概観画像を作るものである。概観画像は上述のように拡大せずに(すなわち倍率1か、あるいは1未満)取得した画像である。概観画像を取得する利点は、取得の際の速度である。例えば、前スライドの画像は約1〜2秒で取得できるが、拡大した画像を取得する場合は約20秒以上かかる。
【0030】
上記のように、センサーはスライドより小さく、通常、スライド上の試料またはその一部より小さい。概観画像などの画像の解像度を許容可能にするため、センサーの個々の画素が表す領域を縮小する。1つの実施態様では、スライド上の試料の概観画像を許容可能にするため、センサー160は複数の画像を取得し、これらの画像を継ぎ合わせる。例えば1つの実施態様では、概観画像用の目的領域の3分の1(例えばスライドの利用可能な領域の3分の1)を通る光を捉えるセンサーによってスライドまたはスライド上の全試料などの画像試料は3等分される。試料の3分の1を表す光の捕捉を調整するために、1つの実施態様では、センサー160の視野内の目的部分へステージ180を移動する。
【0031】
図2を参照すると、ステージ180はxおよびy方向に移動可能である。センサー160は移動しないままである。1つの実施態様では、ステージ180は信号に反応して制御ユニット175からxyステッピングモーター172へ移す。
【0032】
1つの実施態様では、既定許容範囲内でスライドの正常な位置が分かるように、顕微鏡150およびシステム100は参照のスライドキャリアを使用して較正する。既定の許容範囲は、ステージ180のxz座標システムの結果(±p);顕微鏡150に挿入するときのスライドキャリア210およびその位置の機械的許容範囲(±q);およびスライドを受け入れるスライドキャリア210のスライド溝の機械的許容範囲(±r)である。これらの要素を考慮した規定の許容範囲はp+q+rである。1つの実施態様では、規定の許容範囲に適応し、スライド全体の画像を全体的に捉えられるように選択した各画像視野および重複部を有する3つの重複画像からスライドの概観画像は構成される。言い換えれば、センサー160で得られた画像は継ぎ合わせをするため、1つの実施態様では、ステージ180はセンサー160の1つの視野から異なる視野へ移され、そうすることで、個々の視野では別の視野(例えば先に撮像した視野)が重複する。1つの実施態様では、重複は、ステージ、スライド保持部およびスライド保持部内の溝の最大許容範囲より、少なくとも20画素多い(例えば20〜50画素)。
【0033】
図4は画像またはその一部の画像取得を説明している。図4を参照すると、スライド320Aがセンサー160の視野内に収まるようにステージ180を設置している。センサー160に捉えられた最初の画像がスライドの一端に来るようにスライド320Aを配置する。例えば、スライドが約76ミリメートルの長さで、その長さのうちスライドラベルが一端から約16ミリメートルを占めていると仮定すると、スライドの残りの約60ミリメートルはスライドの使用可能領域ということになる(すなわち試料を置くことが可能な領域)。センサー160がスライドの一端から最初の20〜25ミリメートルの長さを捉えられるようにセンサー160を反対端に配置する。スライドの一端またはスライド上のスライドラベルの一端によってx座標およびy座標が決まる。ステージ180はこれらの座標を使用し、スライドラベルからスライドの最初の20〜25ミリメートルを捉えられる配置を確立することができる。画像を継ぎ合わせる際、第1の画像は、他の画像と継ぎ合わせて概観画像を形成する固定基準になると考えられる。画像の最初の部分では、図4は第1の画像または時間1の画像として領域310に指定されたスライド320Aの一部を捉えるセンサー160を示す。その後ステージ180はx方向に約20ミリメートル移動し、センサー160は領域320に表される時間2で第2の画像を取得する。最終的にステージ180はセンサー160の視野内で領域330の第3位置まで移動し、センサーは時間3で領域330の画像を取得する。
【0034】
隣接する領域の画像取得の記載において、1つの実施態様では、システムは取得した画像を重ね合わせなければならない。重複については図5に示す。ここでは領域420は領域410の一部と重なり、領域430は領域420の一部と重なる。画像を継ぎ合わせる場合、重複部分は有効利用しなければならない。1つの実施態様では、システムは隣接する画像間で約20〜50画素を重複させようとする。隣接する画像を取得した後、その隣接する画像を集合させるか、あるいは継ぎ合わせる。
【0035】
図5および6は継ぎ合わせの実施態様を図示している。1つの実施態様では、システムは試料の目印を使用し、全体像を形成するために共通の目印を並べようとする。図5および6はこの構想を表すための単純な幾何学的目印または外観を示している。図5は領域410で表わされる画像を示し、領域420で表わされる画像は、隣接領域に共通している目印または外観としての幾何学的シンボルを利用して継ぎ合わせる。この例では領域410で表わされる画像および領域420で表わされる画像は配列のために1つの軸に沿って移動させる必要がある。しかし、システム100は2つの軸方向や回転など、より多くの配列の選択肢も提供している。例えば、領域430に表わされる画像は領域420に表わされる画像に対してy方向に偏移していることが分かる。したがって、領域430に表わされる画像は2方向(x方向、y方向)に移動させ、画像間の特定された共通の目印または外観を並べることも可能である。
【0036】
上述のように、1つの実施態様では、画像を取得しながら、画像の一部を継ぎ合わせて概観画像を集合させる。1つの実施態様では、図5は3つの離れた画像を示しているが、関連する例では、領域410に表わされる画像と領域420に表わされる画像とは各画像の取得直後に継ぎ合わせる。領域430に表わされる画像を取得しながら、その画像を並べ、領域410および領域420に表わされる一体化した画像と継ぎ合わせる。個々の領域の画像は保存しない。代わりに、試料の画像の十分に大きい領域を継ぎ合わせて集合させると、集合した領域は同じ大きさの断片に分けられ、ファイル構造に保存するか、または圧縮形式(例えばJPEG)で圧縮することも可能である。保存した画像領域はコンピュータ110のランダムアクセスメモリー(RAM)から削除する。
【0037】
試料がスライドに載っている場所、ならびに概観画像を収集するために使用した視野画像に基づく顕著な特徴の位置をシステム100はほぼ確立できる。例えば、概観画像の各画素は特定の領域、例えば5.4μm×5.4μmを表している。さらに、集合した画像はxおよびy座標、例えばx方向の2504画素×y方向の3324画素を単位として記述できるセンサー160の画素数で表す。この情報によって、マウス1400Aまたはマウス1400Bによる概観画像の配置の選択は、その画像において1つまたは複数の画素を選択するものである。各画素のサイズは既知であることから、システム100はx方向およびy方向の画素数を決定することが可能であり、これは開始位置、例えば画像の縁に対して、選択位置(例えば画像の外観の配置)を位置付けるものである。したがって、画像の概算座標システムは、システム100が1つまたは複数の特定の画素で表わされる特徴を含む領域の位置を特定できるように確立し得る。
【0038】
上述のように、一般的にスライドは表面に固定したラベルを有する。1つの実施態様では、スライド上の試料のみならず、スライドラベルをも含む概観画像を有することが望ましい。スライドラベルはデジタル顕微鏡150内でスライドの下方から誘導された光を遮ることから、デジタル顕微鏡150はスライドラベルの画像を反射させて取得するセンサー198を備える。図7は、寸法を合わせて操作できる(例えば回転させる)ラベル450を示し、スライド領域センサー(センサー160)から取得した概観画像を収集する場合、ラベル450はその画像に隣接するようにしてある。図7はスライドのアクティブな部分をすべて継ぎ合わせた画像を作成するための画像の継ぎ合わせた部分(領域410に表わされる部分、領域420に表わされる部分、および領域430に表わされる部分)の概観画像440を示す。図7はまた、試料の概観画像に隣接するラベル450の画像も示している。上述のように、試料の個々の部分は保存せず、継ぎ合わせた合成スライド画像(例えば概観画像)だけを保存する。1つの実施態様では、継ぎ合わせたスライド画像はラベル画像とは別に保存する。別の実施態様では、継ぎ合わせたスライド画像は、ラベル画像をそれと隣接するように継ぎ合わせて保存する。それぞれの状況で、合成画像は通常の圧縮ソフトウエア(例えばJPEG)で保存し得る。
【0039】
センサー160および光学撮像サブシステム168をスライド上の試料の上方に配置してそのスライドの画像を取得する場合、システム100の使用者は電子的に「ズーム」インし、解像度を高めることができる。1つの実施態様では、システム100は初めに、センサー160でスライド上の試料の概観画像(例えば全試料の概観画像)およびスライドラベルの画像を取得する。上述したとおり初期概観画像は継ぎ合わせてもよい。1つの実施態様では、比較的大きいセンサーで、初期画像を画素比に対して表示する(ディスプレイ120の1つの画素に対してセンサー160の複数画素を割り振る)。当然のことながら、ディスプレイ120上の画素は一般的にセンサー160のものより大きい。例えばセンサー160上の画素は約5ミクロンのサイズであり、ディスプレイ120の画素サイズは約0.5ミリメートルである。
【0040】
1つの例では、初期概観画像はセンサーに表示し、4:1以上の画素比を表示する。その後、使用者はマウス1400Aを使用し、試料の関心領域を選択する。その後使用者はその特定の位置または特定の関心領域でズームインして画像解像度を高め、そして/あるいは倍率を高めることが可能である。典型的に、選択した(上述のようにマウス1400Aで選択し、システム100で配置する)関心領域に電子的にズームインするために、使用者はマウス1400Bでズームインさせ、それに応じて、システム100はセンサーを変更し、画素比を例えば4:1から1:1以上になるように表示させる(すなわち、少ないセンサー画素を個々のディスプレイ画素に割り振る)。当然のことながら、個々のセンサー画素をより多くのディスプレイ画素に割り振ると、ディスプレイ120上の関心領域の表示部位が拡大するため、画像が拡大したと使用者に分かる。ディスプレイ画素に対するセンサー画素の任意の望ましい比率で、使用者は画像を受け取り、保存できる。
【0041】
ある時点で、閾値解像度に達する(例えば画素比を表示する1対1センサー)。使用者が関心領域でズームインを継続したければ、それに応じて、システム100は顕微鏡150において1以下の光学倍率から次に大きい倍率に自動的に変える。別になったセンサーを拡大光学装置に接続する1つの実施態様では、システム100は自動的にセンサー165に切り替わり、拡大光学撮像サブシステム170を関心領域上に配置する。典型的に、センサー160および光学撮像サブシステム168で画像の閾値解像度に達すると、システム100は対物レンズ1700Aを介して画像を拡大するように切り替わる。対物レンズ1700Aは例えば2.5Xの倍率である。
【0042】
拡大光学撮像サブシステム170を介して画像を取得するように切り替わると、センサー:ディスプレイ画素比は1:1より大きい画素比(例えば4:1)で再び開始する。使用者はその取得画像を受け取り、取得画像を保存するか、あるいはズームインを続け、任意の望ましい比率で画像を受け取り、保存する。再度、ズームインを続けると、最初にセンサーが変更され、センサーから画素比が表示され、1超過:1の画素比が1:1以上の比率に向かうことが表示される。閾値解像度に達すると、システム100は次に高い光学倍率で対物レンズを対物レンズ1700Aから対物レンズ1700Bへと変更する。1つの実施態様では、対物レンズ1700Bは20X倍率である。拡大を継続するのであれば、同様の作業が続く。
【0043】
上述は、電子的にズームインおよび/または拡大をシステム100にさせる使用者介入型作業を含む。別の実施態様では、システム100はこれを自動的に行うこともある。例えばシステム100は異なる解像度および/または倍率で保存した画像を取得する上述の操作を行うように構成することも可能である。
【0044】
1つの実施態様では、スライドをデジタル顕微鏡150内に設置すると、システム100は即時に1または1未満の倍率で概観画像を作成する。センサー160が上述のようにスライド内の試料から画像を取得する場合、使用者はズームインし、あるいは使用者はシステムに拡大することを命じて試料の関心領域の倍率を高めることができる。使用者がこれを実行する1つの方法としては、マウス1400Aを使用し、概観画像の関心領域を選択し、望ましい倍率を表示することで達成する。後者の場合、当然のことながら、特定の試料/スライドは現時点でセンサー160が画像を取得するスライドであるか否かを使用者が概観画像にて選択する。例えば、センサー160が現時点でスライド320Aの画像を取得し(図3参照)、使用者がスライド320Bの関心領域の拡大画像を希望する場合、例えばディスプレイ120のスライドに沿って他のスライドのサムネイル画像と共にスライド320Bのサムネイル画像が提示されるように、使用者はマウス1400Aでナビゲートする。サムネイル画像は画像またはその一部を小さくした表示であり、例えば画素数を減少させて画像の一部を表示したものとすることも可能である。その後使用者はマウス1400Aで(例えばクリックによって)スライド320Bのサムネイル概観画像を選択できる。その後システム100はスクリーン120上のスライド320Bの概観画像の大きい方の画像を表示し、ステージ180はセンサー160によって画像を取得するための位置内にスライド320Bを移動させることができる。拡大画像をコンピュータ110のメモリーに保存するのであれば、システム100はそれを読み出し、ディスプレイ120上に表示する。しかし、拡大画像が存在しない場合、システム100はそれを作成する。当然のことながら、スライド320Bがデジタル顕微鏡150のスライドキャリア210内に収まる必要がある。
【0045】
使用者がスライド320B上の試料の一部の拡大ビューを希望している例をとると、保存されたスライド320Bの概観画像を最初にディスプレイ120に表示する。例えば、使用者が画像の一部(例えば関心領域)の拡大画像を希望すれば、使用者はスライド320B上に試料を表示するディスプレイ120の望ましい位置にマウス1400Aをドラッグし、マウス1400Aをクリックして拡大が望ましい大きさになるようにシステム100に対して指示する。前述したように、概観画像の特定の座標系は保存することはできない。しかし、システム100は使用者が指し示した(例えばクリックで)ディスプレイ120上の場所を分かっており、概観画像における個々の画素サイズ(例えば50μm×50μm)について分かっており、画像の画素サイズ(例えば3324倍、2504画素)について分かっていることから、システム100は使用者が選択したおおよその配置は分かっている。システムがスライドキャリア210内のスライド320Bおよびスライド上の試料のおおよその配置を事前に特定していることから、システム100は関心領域の拡大ビューを取得するための関心領域が概ね分かっている。同様に、関心領域を含む拡大画像が事前に保存されているなら、使用者が概観画像の関心領域を指し示すことに基づいてシステム100は画像を読み出すことができる。言い換えれば、概観画像内の画素の配置で関心領域を特定する能力は試料の概観画像のみならず試料の任意の他の画像にも適用できるということである。
【0046】
1つの実施態様では、システム100によって、使用者は画像上に標記を入れ、標記を付けた場所を保存することができる。例えば、使用者は関心領域を指し示す矢印(標記)によって、20倍画像で関心領域を特定しようと考えてもよい。1つの実施態様では、使用者は20倍で関心領域の位置を特定し、その後、標記が必要なポイントにマウス1400Aを移動させる。使用者はある場所に標記または目標を置くように(例えば表示ブラウザのアイコンを事前に選択(クリック)して)システム100に指示し、マウス1400Aをクリックして標記を置く。標記を置くため、システム100は20倍画像でそのポイントを特定する必要がある。概観画像におけるポイントの位置付けと同様に、システム100は、画素解像度が20倍であること、画素サイズ(5.4/20×1000=270nm)の決定の元となるセンサーの画素サイズ(例えば5.4μm×5.4μm)、および画素数(例えば3324画素×2504画素)を分かっているのでそのポイントを特定できる。この情報に基いて、システム100は位置を特定し、20倍ビューならびにスライドの概観画像におけるポイント(例えば単数または複数の画素)の位置付けに関する情報を保存することができる。
【0047】
ポイントの標記または目標あるいはスライドの関心領域を含むスライド情報をシステム100に保存してスライドをデジタル顕微鏡150およびスライドキャリア210から外す場合、システム100は、スライドを顕微鏡150内に再挿入するときにそのポイントまたは関心領域を特定することもできる。前述したように、ステージ180、スライドキャリア210およびスライドキャリア210内の溝に関してはエラー許容範囲が存在する。スライドを外し、その後スライドキャリア210および顕微鏡150に再挿入するとき、これらのエラー許容範囲はスライド上の試料の特定のポイントまたは関心領域への標記の配置に効果をもたらす。1つの実施態様では、この配置エラーの可能性を説明するために、システム100はスライドまたはスライドの一部の新規の画像を取得し、その新規の画像と標記の付いた保存画像とを比較する。例えば、システム100はスライドラベルまたは試料の一隅の新規の画像を取得し、その画像を、それぞれラベルまたは試料の一隅の保存画像に上書きすることもできる。画像の位置が合っていないなら、合うまでシステム100は新規の画像を回転させ、そして/あるいは直線的に配置する。この調整の際、システム100は調整についての情報を保存し、この保存情報を使用して、画像の新規ビューの中で標記が配置されている場所を見つける。簡単な例では、スライドキャリア210および顕微鏡150に再挿入したスライド上の試料の新規の画像は、x方向に3画素の長さであり、標記を含むスライドの元画像とは異なると判断される。新規画像中の標記を示す場合、システム100は古い画像中の標記のx方向位置を理解し、その後、新規画像中に標記を配置するために標記を右に3画素移動させる。
【0048】
画像の保存(例えば概観画像、拡大画像)に関し、1つの実施態様では、試料の単一集合画像が保存される。別の実施態様では、試料の画像を階層構造で保存する。1つの実施態様では、画素比を表示するセンサーに基づいて、試料の画像を階層構造にする。この実施態様では、階層の上位層の画像は1:1の画素比を有する画像(各センサー画素を各ディスプレイ画素に割り振っている最大解像度試料)である。画素比(1センサー画素が1を超えるディスプレイ画素、例えば2:1、4:1等に割り振られるように、感知された画像はディスプレイ120上に表示される)を表示するために大きくなったセンサーの1つ以上の低位層画像は画像の階層の中で残りの部分を占めている。最大解像度試料および1つ以上の低位層画像の各々は1つのデータセットに一緒に保存してもよい。
【0049】
高倍率の対物レンズでは、被写界深度(すなわち被写界深度内の被写体(z方向範囲))は比較的小さい。z方向範囲は非常に狭いため(例えば1μm)、取得画像は、ある厚さ、例えば約10μmの試料内において全ての被写体を一回の撮像で捉えることはできない。出来る限り多くの被写体を捉えるために、1つの実施態様では、システム100は被写界深度によって、異なる焦点面でいくつかの画像を取得することができる。例では、システム100は各撮像間でステージ180をz方向に1ミクロン移動させながら10枚の画像を撮像することができる。このような操作では、10枚の画像面は試料のz方向スタックまたはZ−スタックに相当している。z方向スタックまたはZ−スタックとは、ある厚さのサンプルに対して深度を変えつつ画像を取得し、取得した画像を層としてデータの蓄積を行う機能である。
【0050】
別の実施態様では、各スライドの座標系はラベル画像を使用して確立し得る。1つの実施態様では、スライドラベルは複数の知覚可能なドットまたはポイントで印刷することも可能である。図7は3つのポイント(ポイント4500A、ポイント4500B、ポイント4500C)を有するスライドラベルの実施態様を示す。センサー160またはセンサー165はこれらのポイントを知覚し、それらを知覚すると、システム100は各ポイントの画素配置および各ポイント間の画素数を決定することができる。ラベル450に画像440を隣接させることによって、システム100は1つ以上のポイントからそのxおよびy方向の距離に基づいて画像440上にあるすべての位置を特定することが可能となる。
【0051】
1つの実施態様では、試料の保存画像または階層画像、Z−スタック、その画像の座標系、ならびに、存在するのであれば個々に保存したラベル画像を含むデータセットはコンピュータ110のメモリー内に収集する。このようなデータセットにはコメントまたは標記(使用者が作成した画像上のマークなど)およびラベルの内容(例えばラベルの説明)も含まれる。
【0052】
システム100の特定の部品を記載してきたので、操作の簡単な説明を以下に述べることとする。1つの実施態様では、システム100はソフトウエア駆動で使用される。言い換えれば、実行の際、記載した操作の様々な方法を行うプログラム命令を組み入れたコンピュータ110の中に、機械またはコンピュータ読み取り媒体を備える。
【0053】
1つの実施態様では、操作方法を図8で説明する。システム100の部品、および1つの実施態様でのディスプレイ120に表示された種々のスクリーンショットを参照して方法500を説明することとする。
【0054】
開始点として、スライドキャリア210をデジタル顕微鏡150内に装着し、ステージ180上に設置する。スライドキャリアを感知するためにセンサーをステージ180に配置する。コンピュータ110はこのようなセンサーに対応している。ステージ180上のスライドキャリア210をコンピュータ110に感知させる場合、1つの実施態様では、システム100は3つのモード:ライブモード;スキャンモード;およびビューモードを有する。ライブモードおよびビューモードはそれらが使用者介入型であるという点で対話式モードである。スキャンモードは介入して操作することも可能であり、あるいはスキャン(保存)画像用の特定の所定パラメータまたは構成によって、完全に自動化することも可能である。例えばスキャンモードでは、スライド(単数または複数)はスライドキャリアに装着してデジタル顕微鏡に挿入することも可能であり、システムはスライド上の試料の1つ以上の画像を感知し、保存する場合もある。
【0055】
図9はシステム100のディスプレイ120のスクリーンショットの1例を示す。これは使用者がライブモード、スキャンモードまたはビューモードを選択できる入力スクリーンの1例である。入力スクリーンはまた、「設定」640を選択して装置の基本設定を入力または変更する状態、ならびに「終了」650を選択してシステムを終了する状態を包含し得る。
【0056】
「ライブ」610を選択して使用者がライブモードを選ぶ例では、使用者が接触できるようにスライドキャリア210を装置から延長するなどして、スライドキャリア210が装着位置に移動するようにコンピュータ110はデジタル顕微鏡150に指示する場合もある。スライドキャリア210が接触可能であるこの時点で、スライドキャリアはデジタル顕微鏡150から外し、1つ以上のスライドを載せるようにコンピュータ110は指示し得る。これを指示する1つの方法はモニター120上での告知によって行われる(ブロック505、図8)。
【0057】
スライドキャリア210が4つのスライド溝(スライド溝220A、220B、220Cおよび220D)を有する実施態様では、スライドキャリア210に使用者はスライドを4つまで設置することができる。1つ以上のスライドをスライドキャリア210に設置した後、保持具を装置内に装着し、装置は保持具を内部に引き入れ、その存在と位置を感知する(ブロック510、図8)。
【0058】
スライドキャリア210をデジタル顕微鏡150内に設置すると、スライド溝220A、220B、220Cおよび220Dに挿入されたスライドの数および位置をシステム100が判定する(ブロック515、図8)。撮像するためシステム100は各スライドを選択する(ブロック520、図8)。その後システム100は選択したスライドとセンサー160/光学撮像サブシステム168とを揃える(ブロック520、図8)。選択されたスライドの装置への挿入が再挿入で、前回のセッションの情報と関連付けする必要がある場合、システム100は、前回のセッションと関連させて選択スライドを回転および移動を決定する。1つの実施態様では、初めにセンサー160は各スライド上の試料の単数または複数の画像を等倍あるいは1未満の倍率で感知する(ブロック530、図8)。次に、別に感知されたスライドラベルの画像に付随して感知された画像が表示される(ブロック535、図8)。その後、挿入されたスライドおよびそのラベルの低解像度概観画像が得られる。
【0059】
図10のスクリーンショットはスライド選択グラフィカルユーザーインターフェース(GUI)の1実施態様である。GUIタイトルバー710において、ワークフローの工程を図示し、現時点での工程(「スライド選択」)をハイライトしている。これらのタブ(図示あり)の右に、タイトルバーは、ワークフローの範囲内を移動させ(ボタン715)、スライドキャリアを排出し(ボタン720)、またはヘルプを表示させる(ボタン725)コントロールボタンを備える。
【0060】
スクリーン700のメイン部730はスライド選択セクション740、プロファイル選択セクション750およびスライド情報セクション760に区分けされている。スライド選択セクション740はスライドキャリア210の略図を表示する(図2参照)。スライドキャリア210でスライドが嵌められた溝には、スライド溝220A、220B、220Cおよび220D内のそれぞれのスライドの概観画像770A、770B、770Cおよび770D(図2参照)ならびに各スライドのラベルが表示されている。GUIによって、使用者は相関性があるスライドを選択し、グループ分けすることが可能となる。1つの実施態様では、グループ分けしたスライドをスキャンし、同時に表示する。この特徴によって、使用者は例えば、同じ群の異なるスライドの構造を比較することが可能となる。1群のスライドを1ケースと称してもよい。「ライブモード」では、使用者は事前にスキャンして保存したスライドらを1ケースに加えることもできる。例えば、デジタル顕微鏡150内のスライドキャリア210上にあるスライド以外に、システム100のコンピュータ110は事前に取得した(保存した)もう存在しないスライドスキャン画像とも言える画像(例えば概観画像、拡大画像)を保管することも可能である。
【0061】
GUIのプロファイル選択セクション750を参照すると、そのセクションによって、最適化されている特定で、あらかじめ定義したスキャンプロファイルを使用者が選択できるようになり、また、特異的な染色のための、あるいは1実施態様では蛍光画像、蛍光数を利用するためのカスタマイズ化された画像取得が可能になる。例えば、H&E染色用の特定のプロファイルは20倍画像にしてもよい。セクション750によって、使用者はツールバーを選択し、20倍画像を選択し、スキャンすることが可能になる。スライドおよびラベル情報はスライド情報セクション760内にあり、1つの実施態様では、患者、ならびに調製中に顕微鏡分析のため試料を供与するプロセス工程(単数または複数)に関する情報を特定する。
【0062】
図10のスクリーンショットを参照すると、進行の際の選択肢には、1つのスライドまたは1群のスライドの「ライブモード」を開始する工程、あるいはスライドキャリア(スライドキャリア210)を排出する工程がある。「ライブモード」では、1つのスライドまたは1群のスライドの画像(例えば拡大画像)をさらに感知および/または取得(保存)することも可能である。
【0063】
使用者が「ライブモード」を選択する例では、使用者は表示された概観画像に基づいて特定の単数または複数のスライドを選択し得る(ブロック540、図8)。図11および図12は典型的なユーザーインターフェーススクリーンを示す。図11が1つの画像またはスキャン像を表示するスクリーンを示す一方、図12は3つの異なる画像またはスキャン像のビューを示す。図11の画像はライブ画像である(視覚化した右隅に表示されているビデオアイコン)。スクリーンは異なる領域に分割されている。上部にある2つの画像(図示あり)はライブ画像(ビデオアイコン参照)であり、下部の画像は保存した(スキャンした)画像(カメラアイコン参照)である。システム100は、デジタル顕微鏡150内の保存した組織画像(組織スキャン像)およびスライドのライブ画像、ならびに事前スキャンしたスライドの保存組織スキャン像を表示することが可能である。1つの実施態様では、デジタル顕微鏡150にあるスライドの「ライブ」画像では、センサー160は1秒間に数画像という速度で顕微鏡の現時点での画像を連続的に取得する(再読込する)(ブロック545、図8)。例えば、最後にセンサーがスライド溝220A内のスライド上の試料を感知し、使用者またはシステム100がさらなる動作を指示しないのであれば、センサー160はスライド溝220A内のスライド上に残り、例えば1秒間に6画像という速度で画像を再読込する。1つの実施態様では、画像の試料のみが再読込され、それに付随するラベルは読込まれない。図11では1つのスキャン像を表示し、図12では3つのスキャン像を表示しているが、同時に表示し得るスキャン像は16枚までである。このような場合、選択されたスキャン像すべてを表示するためにビューを分割する。別の実施態様では、1つのケースの複数の画像を複数のスクリーンに表示することも可能である。
【0064】
ビューは追加することも可能であるし、ジャーナルの中から選択してスクリーンから削除することも可能である。ジャーナルとは1ケースにおける全オブジェクトの集積であり、スクリーンの右手側に表示することが可能である。この時1つのビューのみがアクティブになっている。すべてのコントロールキーはアクティブビューの設定に対応している。あらゆる操作がこの特定の画像に対してのみ有効である。他のスキャン像からの画像は「フリーズ」させる。別のスライドに焦点を切り替えるには、使用者は表示画面またはジャーナル内のラベルの1つをクリックする必要がある。
【0065】
図11および図12にそれぞれ示すスクリーンショットのタイトルバー810および910において、システム100は以下のコントロールキーを表示している。
【表1】
【0066】
各ビューでは、画像倍率、目盛指標および焦点調節を表示し得る。
【0067】
図11は1つの画像を2.5倍で表示している。マウス1400Aまたはマウス1400Bを領域上で操作することによって、使用者は関心領域または所望のスキャン像を指し示すことができる(例えばスキャン像1、領域1、領域2参照)。図12はこれらの領域を20倍で示している。
【0068】
キーボード130、マウス1400Aまたは3Dマウス1400Bを使用し、使用者はスキャン画像データ内でナビゲートすることが可能である(ブロック550、図8)。以下の操作が可能である。
【表2】
【0069】
各ビューはフルスクリーンモードで表示可能である。このモードでは、スクリーン全体はビューですべて表示される。画像の倍率、目盛指標およびナビゲーション調節のみ画像に表示される。キーボード130の「esc」キーを選択する(押す)ことで使用者はこのスクリーン全体をビューモードにしておくことができる。
【0070】
ナビゲーション中のいかなるときでも使用者は表示された画像を保存できる(ブロック560、図8)。
【0071】
図11および図12においてGUIの右手側に、ディスプレイ120はナビゲーションコントロールキー850/950、ジャーナル860/960および画像パラメータコントロールキー870/970を表示する。
【0072】
ナビゲーションコントロールキー850/950はアクティブになっているスライドの概観画像を示す。コントロールキーはアクテイブビュー(例えば望ましいリフレッシュ速度で再読込できるライブ画像)の位置を指示する。コントロールキーをクリックすることで位置を移動させることができる。コントロールキーはまた、スライドに付与された標記およびスキャン像の位置を指示する。
【0073】
ナビゲーションコントロールキー850/950の下にはジャーナル860/960が配置されている。ジャーナル860/960は1つのケースの構成を表している。1つの実施態様では、ジャーナル860/960は1つのケースの全スライドのスライド情報、標記およびコメントを含む。スライドはケースに追加することもケースから削除することも可能である。スライドは2つの群に分けられる。リストの上部では、装置内のスライドを探すことが可能である。使用者はライブのこれらスライドを検査することができる。この場合、スライドの選択した領域をスキャンすることで、使用者はこれらのスライドにスキャン像を追加することができる。リストの下部では(図示あり)、コンピュータ内のメモリーから事前にスキャンしたスライドが表示されている。
【0074】
ジャーナル860/960の構成において、デフォルトによって各スライドは3つのオブジェクト:ラベル画像、スライド情報および概観画像を有する。使用者は他のオブジェクト(標記、コメント、ブックマークおよび高解像度スキャン像)をジャーナルに追加できる。使用者はジャーナル860/960の中からエントリの1つを選択し、特定の画像位置にジャンプすることが可能である。
【0075】
1つの実施態様で、ジャーナル860/960は特定の領域の評価または検討されたケースのレポートの作成の開始点である場合もある。ジャーナル860/960は「保存セッション」ボタンも含む。このボタンを選択することによって、システム100は、コンピュータ110内のメモリーにそのセッション(全スライド、標記および設定など)を保存する場合もある。ファイルにはジャーナルに明示されたラベル、概観画像および高解像度スキャン像が含まれる。後に使用者はそのセッションを復元することができる。
【0076】
図11および図12のジャーナル860/960の下方には、1つの実施態様として画像パラメータコントロールキー870/970が配置されている。画像パラメータコントロールキー870/970によってカメラの取得パラメータ(露光時間、カメラ感度等)および画像設定(輝度、コントラスト、カラーバランス、黒/白バランス、画像フィルター(鮮明度))が変更できる。使用者は設定、例えば特定の染色を保存できる。後に、使用者はコントロールキーを拡張することなくこれらの設定にアクセスできる。
【0077】
画像パラメータの任意の変更にしたがって、使用者はセッションを保存できる。使用者はセッションを停止することもできる。使用者がセッションを停止しようと決定すると、使用者はライブモードを終了させる。まだ保存していないジャーナル860/960内のエントリを使用者が変更した場合、システム100はそのセッションの保存を使用者に尋ねる。次にシステム100は「スライド(群)選択」スクリーンに移動し、使用者は次のスライド(単数または複数)を続けることができる。
【0078】
使用者が高解像度スキャン領域をライブモード内に明示しているなら、高解像度スキャン機能にアクセスする。スキャンが開始する前に、使用者はスキャンパラメータ(解像度、取得パラメータおよびZ−スタックパラメータ)を選択する。図13は、スキャンパラメータが確立されているディスプレイ120上のスクリーンショットの1実施態様を示す。使用者はスキャンに名称を付け、コメントを付すことができる。領域1020では使用者はスキャンディスプレイモードを選択できる。スキャンディスプレイモードはスキャン中のビューまたはタイルの個々のカメラ領域をシステム100がどのように表示するか説明する。構築される間、使用者はタイルで1つずつスキャン像を追っていくか、あるいはスキャン像全体を見ることができる。後者の場合、使用者はスキャン中、記録された画像データでパンやズームを行うこともできる。
【0079】
高解像度スキャンを開始した後、システム100は高解像度スキャンディスプレイに移動する。図14は高解像度スキャンディスプレイの実施態様のスクリーンショットを示す。選択したディスプレイモードによってシステム100は現時点でのタイルか、または全体的なスキャン領域1110を表示する。後者の場合、後者の場合、使用者はスクリーンが構築される間、記録されたデータでズームやパンを行うこともできる。高解像度スキャンディスプレイはスキャンスクリーンの進捗情報1120も表示する。
【0080】
高解像度スキャンの後、システム100は自動的に「ライブモード」スクリーンに戻る。完成したスキャン像はジャーナルに入れ、対応するスライドの下に配置する。
【0081】
別の実施態様では、システム100はスライドキャリア210内の各スライドの高解像度スキャン像など複数のスライドをスキャンするように方向づけすることができる。スライドキャリア210が4つのスライドを保持する実施態様では、使用者はスライドを4つまでスライドキャリア210に設置し、その保持具はデジタル顕微鏡150内に挿入する。デジタル顕微鏡150はスライドキャリア210を内部に引き入れ、スライドキャリアの型、スライドの数およびその位置を判定する。4つを超えるスライドの自動スキャンは、例えば外部スライド装填装置と併用することが可能である。その場合、スキャンするスライドが自動的に装填され、読み出されるようにシステム100はスライド装填装置と通信するようになっている。例えば、市販のスライド装填装置はデジタル顕微鏡150と接続することが可能である。このようなスライド装填装置はスライドを受け取り、移送するように構成されている。したがって、スライド装填装置の1つの移送機構は単数または複数のスライドをスライドキャリア210に装填することが可能であり、デジタル顕微鏡150と併設または接続されている転送機構(例えばロボット把持装置を選び、設置する)はスキャン後にスライドをスライド装填装置に戻すことが可能である。移送、スキャンおよび撮像の制御はコントローラ110によって制御し得る。
【0082】
自動または反射撮像モードでは、システム100はスライド全体のスキャン像か、あるいは即時または後に使用者が選択して完成し得るスライド選択領域のスキャン像を捉えるように意図されている。反射撮像モードにおけるスライドのスキャンは自動スライド装填装置によって容易になる。また、全体または部分的なスライドスキャンを選択するために、使用者は倍率およびZ−スタックなどのスキャンパラメータを選択できるが、これらに限定されるものではない。また、異なる倍率で、あるいは他の使用者設定パラメータを使用して、使用者は複数のスキャン像を選択することができる。デフォルトのスキャンパラメータはシステム100にプログラミングし、臨床医および/または組織型間の差異を反映させることが可能である。1つのケースのスライドまたはスライド群の反射撮像の完了は、例えばインターネットコネクション145を介して1つ以上の装置およびコンピュータ110に自動的にシグナル伝達され、迅速にそのケースが終了し得る(図1参照)。
【0083】
システム100は、ライブモードに関して上述したようなスキャン解像度や所定の画像パラメータセットの選択肢を使用者に提示する。さらに、使用者はZ−スタックパラメータ(面の数、焦点面から偏移した焦点と面との間の距離)を規定することができる。
【0084】
使用者は保存パラメータ(ファイル名およびスキャンのディレクトリ)を変更することが可能である。デフォルトパラメータはシステム設定において規定される。ファイル名の場合、使用者はラベル内容を採用するか、あるいはファイル名を定義付けすることも可能である。名称を定義付けする場合、1つの実施態様では、システム100は昇順で番号付けしてスライドを区別する場合もある。
【0085】
スキャンパラメータを規定した後、システム100はスライドキャリア180を1つずつスキャンし始める。各スライドでは、低解像度の概観画像およびラベル画像が得られる。各スライドの概観画像およびラベル画像を取得した後、システム100は高解像度画像を取得する。1つの実施態様では、ディスプレイ120上のGUIは最初の高解像度スキャンスクリーンに変わる。システム100は現時点でのスライドの概観画像およびラベル画像を表示することも可能である。それはスライド上の組織部位を自動的に特定し、概観画像の検出された組織部位を表示する。次に、スライド上の組織部位の焦点面を決定する。これらの工程の進行はスクリーン上で指示される。
【0086】
1つの実施態様では、検出された組織部位の実際のスキャン中、システム設定にしたがって、システム100においては、1つの実施態様ではディスプレイ120は、現時点でのスキャン位置での画像を表示するか、あるいは画像を構築する現時点でのスキャン部位全体を表示する。
【0087】
スキャンしたスライド用高解像度画像はコンピュータ110のメモリーに保存し、後にビューモードによって使用者はこれに接触できる。スライド上の全組織部位をスキャンした後、システム100は次のスライドへ進む。すべてのスライドをスキャンした後、システム100はスライドキャリア180を排出し、入力スクリーンに移動する。
【0088】
ビューモードでは、1つのケースを構成する複数のスライドを含む、事前スキャンした試料(スライド)の保存画像を使用者は読み出し、見ることができる。この様式で使用者はコンピュータ110および光学顕微鏡150に直接接続したディスプレイ120から画像を見ることができる。あるいは、イントラネット/インターネットコネクション145を介して(図1)、使用者はシステム100のメモリーにアクセスし、遠隔で画像を見ることができる。またシステム100のイントラネット/インターネットコネクション145により画像は1つの場所から別の場所へ転送可能になる(例えば、eメール経由)。
【0089】
上述の明細書において、本発明はその具体的な実施態様を参照して説明している。しかしながら、添付の請求項に記載の本発明のより広範な精神および範囲から逸脱することなく種々の変形および変更を行なうことができるのは明らかであろう。したがって、明細書および図面は、限定的な意味ではなく例示的な意味で考慮されるべきである。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14