IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エフエフイーアイ リミテッドの特許一覧

<>
  • 特許-顕微鏡のための全スライド撮像方法 図1
  • 特許-顕微鏡のための全スライド撮像方法 図2
  • 特許-顕微鏡のための全スライド撮像方法 図3
  • 特許-顕微鏡のための全スライド撮像方法 図4
  • 特許-顕微鏡のための全スライド撮像方法 図5
  • 特許-顕微鏡のための全スライド撮像方法 図6
  • 特許-顕微鏡のための全スライド撮像方法 図7
  • 特許-顕微鏡のための全スライド撮像方法 図8
  • 特許-顕微鏡のための全スライド撮像方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-10
(45)【発行日】2025-02-19
(54)【発明の名称】顕微鏡のための全スライド撮像方法
(51)【国際特許分類】
   G02B 21/00 20060101AFI20250212BHJP
   G02B 21/36 20060101ALI20250212BHJP
   G02B 7/28 20210101ALI20250212BHJP
【FI】
G02B21/00
G02B21/36
G02B7/28 J
【請求項の数】 15
(21)【出願番号】P 2023504367
(86)(22)【出願日】2021-07-06
(65)【公表番号】
(43)【公表日】2023-08-15
(86)【国際出願番号】 GB2021051712
(87)【国際公開番号】W WO2022018398
(87)【国際公開日】2022-01-27
【審査請求日】2024-07-05
(31)【優先権主張番号】2011475.7
(32)【優先日】2020-07-24
(33)【優先権主張国・地域又は機関】GB
【早期審査対象出願】
(73)【特許権者】
【識別番号】522152544
【氏名又は名称】エフエフイーアイ リミテッド
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【氏名又は名称】倉澤 伊知郎
(74)【代理人】
【識別番号】100130937
【弁理士】
【氏名又は名称】山本 泰史
(74)【代理人】
【識別番号】100144451
【弁理士】
【氏名又は名称】鈴木 博子
(72)【発明者】
【氏名】ガウチ マーティン フィリップ
【審査官】殿岡 雅仁
(56)【参考文献】
【文献】米国特許出願公開第2018/0246309(US,A1)
【文献】特表2019-520574(JP,A)
【文献】米国特許出願公開第2006/0011859(US,A1)
【文献】米国特許出願公開第2015/0168701(US,A1)
【文献】特表2023-529083(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 21/00 ー 21/36
G02B 7/28 - 7/40
(57)【特許請求の範囲】
【請求項1】
顕微鏡スキャナを作動させる方法であって、
サンプルを備えるターゲット(6)に関する予備走査データを発生させる段階であって、
予備走査から前記ターゲットの予備走査画像を取得する段階(100)、及び
前記予備走査画像から前記ターゲット(6)の前記サンプルが存在することが予想される該ターゲット上の場所に対応する1又は2以上のサンプル含有領域(24)と該サンプルが不在であることが予想される該ターゲット上の場所に対応する1又は2以上のサンプル不在領域(26)とを識別する段階(101)、
を備える前記発生させる段階と、
前記1又は2以上のサンプル含有領域と前記1又は2以上のサンプル不在領域(26)とを含む前記ターゲット(6)の走査領域(20)の撮像走査を実行する段階と、
を備え、
前記顕微鏡スキャナ(1)は、ラインスキャナ(3)を備え、
前記撮像走査を実行する段階は、
画像走査経路に沿って前記ターゲット(6)に対して前記ラインスキャナ(3)を移動し、かつ該ラインスキャナ(3)を用いて該画像走査経路に沿った複数の場所の各々での該ターゲットの画像を取得する段階(103)と、
前記ターゲット(6)が前記1又は2以上のサンプル不在領域(26)内で前記1又は2以上のサンプル含有領域(24)内よりも高い走査速度で撮像されるように、前記予備走査データに基づいて前記画像走査経路に沿って前記ラインスキャナ(3)の走査速度を調節する段階と、
前記画像走査経路に沿って取得された前記ターゲットの前記画像からの1又は2以上の画像パラメータをモニタする段階と、
前記1又は2以上の画像パラメータの変化に応答して前記1又は2以上のサンプル不在領域(26)内の前記ラインスキャナ(3)の前記走査速度を更に調節する段階と、
を備え、
前記1又は2以上の画像パラメータは、焦点メリット値を備え、前記焦点メリット値は、より合焦された画像がより高い焦点メリット値を有するものであり、
前記ラインスキャナの前記走査速度は、前記焦点メリット値が増加するのに応答して低減される、ことを特徴とする方法。
【請求項2】
前記予備走査データに基づいて前記走査速度を調節する段階は、前記1又は2以上のサンプル不在領域(26)内で第1のターゲット速度で前記ターゲット(6)を撮像する段階と、前記1又は2以上のサンプル含有領域(24)内で第2のターゲット速度で該ターゲットを撮像する段階とを備え、該第1のターゲット速度は、該第2のターゲット速度よりも高く、
前記撮像走査は、前記ラインスキャナが前記サンプル不在領域の画像を取得する段階から前記サンプル含有領域の画像を取得する段階に移行する前に前記走査速度を前記第1のターゲット速度から前記第2のターゲット速度まで又はそれに向けて低減する段階を更に備える、ことを特徴とする請求項1に記載の方法。
【請求項3】
前記撮像走査は、前記画像走査経路に沿った各前記場所で前記焦点メリット値を計算する段階と、該焦点メリット値に基づいて該画像走査経路に沿って前記ラインスキャナ(3)の焦点高さを調節する段階とを更に備える、ことを特徴とする請求項1又は2に記載の方法。
【請求項4】
前記画像は、前記撮像走査中に時間的に一定の割合で取得され、
前記ラインスキャナ(3)は、前記撮像走査中に前記ターゲット(6)に対して前記画像走査経路に沿って連続的に移動される、ことを特徴とする請求項1~3のいずれか1項に記載の方法。
【請求項5】
前記予備走査に対する焦点深度が、500マイクロメートルを超え、
前記画像走査経路に沿って取得される各画像に対する前記焦点深度は、3マイクロメートルよりも小さい、ことを特徴とする請求項1~4のいずれか1項に記載の方法。
【請求項6】
前記予備走査画像は、予備走査撮像経路に沿った予備走査カメラ(12)の1回の通過から取得される、ことを特徴とする請求項1~5のいずれか1項に記載の方法。
【請求項7】
予備走査データを発生させる段階は、前記サンプルが前記ターゲット(6)上の各場所に存在する可能性を示す確率マップを生成するために前記予備走査画像の画像解析を実行する段階を更に備え、
前記1又は2以上のサンプル含有領域(24)及び前記1又は2以上のサンプル不在領域(26)は、前記確率マップから選択される、ことを特徴とする請求項1~6のいずれか1項に記載の方法。
【請求項8】
前記予備走査データに基づいて前記画像走査経路に沿って前記ラインスキャナ(3)の前記走査速度を調節する段階は、前記確率マップによって決定された時の前記サンプルが前記ターゲット上の所与の場所に存在する前記可能性に従って該走査速度を調節する段階を備える、ことを特徴とする請求項7に記載の方法。
【請求項9】
前記1又は2以上のサンプル不在領域(26)は、前記サンプルを含有する可能性が低い前記確率マップからの場所に対応し、
前記1又は2以上のサンプル含有領域(24)は、前記サンプルを含有する可能性が高い前記確率マップからの場所に対応し、
予備走査データを発生させる段階は、前記サンプル不在領域及び前記サンプル含有領域の前記サンプルを含有する可能性の間の前記サンプルを含有する可能性を有する前記確率マップから前記ターゲット上の不確実性の1又は2以上の領域を識別する段階を更に備える、ことを特徴とする請求項7又は8に記載の方法。
【請求項10】
前記予備走査データに基づいて前記走査速度を調節する段階は、前記1又は2以上のサンプル不在領域(26)内で第1のターゲット速度で前記ターゲット(6)を撮像する段階と、前記1又は2以上のサンプル含有領域(24)内で第2のターゲット速度で該ターゲットを撮像する段階と、前記不確実性の1又は2以上の領域内で第3のターゲット速度で該ターゲットを撮像する段階とを備え、
前記第3のターゲット速度は、前記第2のターゲット速度よりも高く、かつ前記第1のターゲット速度よりも低い、ことを特徴とする請求項9に記載の方法。
【請求項11】
前記撮像走査中に取得された前記画像の組合せから前記ターゲット(6)の高分解能画像を発生させる段階(104)を更に備え、
前記高分解能画像を発生させる段階は、より高い走査速度で取得された画像の分解能をより低い走査速度で取得された該画像の該分解能に対応するように画像内挿を用いて増大する段階を備える、ことを特徴とする請求項1~10のいずれか1項に記載の方法。
【請求項12】
前記高分解能画像を発生させる段階(104)は、該高分解能画像内で一定分解能を維持するように内挿比を調節する段階を備える、ことを特徴とする請求項11に記載の方法。
【請求項13】
前記撮像走査は、前記顕微鏡スキャナ(1)に対して透過モードで実行され、
前記顕微鏡スキャナは、明視野顕微鏡である、ことを特徴とする請求項1~12のいずれか1項に記載の方法。
【請求項14】
ターゲットのいずれの不透明領域(22)も除外し実質的にターゲット(6)全体をカバーするように前記予備走査画像から前記走査領域(20)を選択する段階を更に備える、ことを特徴とする請求項1~13のいずれか1項に記載の方法。
【請求項15】
ラインスキャナ(3)とサンプルを備えるターゲット(6)とを備える顕微鏡スキャナ(1)を用いて実行された時に該顕微鏡スキャナに請求項1~14のいずれか1項に記載の前記方法を行わせる命令を含有するコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顕微鏡スキャナを作動させる方法に関する。
【背景技術】
【0002】
全スライドスキャナは、顕微鏡スライド上に装着された病理学的又は組織病理学的サンプルを明視野観察条件で走査する。用語全スライドスキャナは、スライド上の組織サンプルの全てが走査されることを意図するので使用される。低分解能「予備走査画像」を生成するために全スライドの予備走査が典型的に実行される。この画像は、次に、サンプルが存在すると思われるターゲット上の1又は2以上の着目区域(「AOI」)を識別するために解析され、これらの区域は、それに続く高分解能撮像走査中に選択的に撮像される。典型的には、撮像走査は、2,000~4,000lpmm(ミリメートル当たりのライン数、ラインスキャナによって取得される各画像が個々のラインに対応する)又は同等的に51,000~101,000dpi(インチ当たりのドット数)の走査分解能を用いて実行されることになる。予備走査は、代わりに、遙かに低い分解能で、典型的に12~61lpmm(300~1500dpi)の間で実行されることになる。予備走査は、従って、撮像走査よりもかなり速く(少なくとも一桁速く)実行することができる。AOIの外側のターゲット区域は、従って、全体走査時間を短縮するために撮像走査から除外される。
【0003】
組織が、予備走査でのピクセルサイズと同程度のものか又はそれよりも小さい場合に、それは、取得される予備走査画像に良好なコントラストを与えない。その結果、組織の存在を検出するための予備走査画像の解析は、組織を検出することができない場合がある。これは、高分解能画像内で走査されていない組織をもたらすと考えられる。この問題を軽減するために、益々高い分解能の予備走査画像を更に小さい組織区域を検出するために生成することができる。しかし、予備走査画像の分解能が増大すると、予備走査を行うのにより長い時間、及び予備走査画像を解析して組織領域を見出すのにより長い時間が掛かる。
【0004】
予備走査画像は、典型的には、組織の厚みと比較して大きい被写界深度を有する。これは、組織の走査を実行するのに合焦段階が必要とされない点で有利であるが、スライドの面上の粉塵及びスクラッチのような欠陥も合焦されるという欠点を有する。これは、AOI検出アルゴリズムに面欠陥と組織の間で区別するように強いる。組織と欠陥の間のこの選別は簡単ではなく、解析するための時間、どれほどの量の組織がAOI検出アルゴリズムによって見落とされるか、及びどれほどの量の欠陥がAOI検出アルゴリズムによって組織として誤って識別されかの間で妥協点が見出されなければならない。
【先行技術文献】
【特許文献】
【0005】
【文献】US 9116035 B2
【非特許文献】
【0006】
【文献】「Numerical Recipes in C: the Art of Scientific Computing(C言語での数値レシピ、科学計算の技術)」、ケンブリッジ大学出版局、1992年、第3章
【発明の概要】
【発明が解決しようとする課題】
【0007】
走査処理の速度又は効率を有意に損なうことなく撮像走査中にサンプル全体が撮像されることを保証することが望ましい。本発明は、この問題を解決するという状況で設定されたものである。
【課題を解決するための手段】
【0008】
本発明の第1の態様は、ラインスキャナを備える顕微鏡スキャナを作動させる方法を提供し、本方法は、サンプルを備えるターゲットに関する予備走査データを発生させる段階であって、予備走査からターゲットの予備走査画像を取得する段階、及び予備走査画像からターゲットのサンプルが存在することが予想されるターゲット上の場所に対応する1又は2以上のサンプル含有領域とサンプルが不在であることが予想されるターゲット上の場所に対応する1又は2以上のサンプル不在領域とを識別する段階を備える上記発生させる段階と、1又は2以上のサンプル含有領域と1又は2以上のサンプル不在領域とを含むターゲットの走査領域の撮像走査を実行する段階であって、ラインスキャナを画像走査経路に沿ってターゲットに対して移動し、ラインスキャナを用いて画像走査経路に沿った複数の場所の各々でのターゲットの画像を取得する段階、及びターゲットが1又は2以上のサンプル不在領域内で1又は2以上のサンプル含有領域内よりも高い走査速度で撮像されるように予備走査データに基づいて画像走査経路に沿ってラインスキャナの走査速度を調節する段階を備える上記実行する段階とを備える。
【0009】
予備走査データは、サンプル(典型的に組織)を含有する区域とサンプルが不在であると考えられる区域とを決定するために解析される。しかし、予備走査データの解析からエラーが生じる可能性があり、サンプルの全てが撮像されることを保証することが望ましいので、サンプルを含有するとして検出された区域内でのみ撮像走査を実行するのではなく、「サンプル不在領域」も予防のために撮像される。任意的に、これは、撮像走査中にターゲットの全体を撮像するように拡張される場合がある。走査速度は、撮像走査中に1又は2以上のサンプル不在領域で増大され、典型的には、これらの領域での画像分解能の対応する低下に至る。これは、サンプル検出アルゴリズムが組織検出と欠陥検出の間の妥協点を設定し、組織として誤って識別される欠陥がより少ないことを可能にする。更に、名目上の「サンプル不在の領域」内で「サンプル含有領域」内よりも低い分解能でサンプルが撮像される場合であっても、一般的に、発生されるデータは、仮にサンプル不在領域が全く撮像されない場合よりも典型的には有用である。サンプル不在領域での増大した走査速度は、生じるいずれの追加時間ペナルティも最小であることを保証する。
【0010】
撮像走査を実行する段階は、好ましくは、画像走査経路に沿って取得されたターゲットの画像からの1又は2以上の画像パラメータをモニタする段階と、このような1又は2以上の画像パラメータの変化に応答して1又は2以上のサンプル不在領域内のラインスキャナの走査速度を更に調節する段階とを更に備える。そうすることにより、スキャナは、「サンプル不在領域」内のサンプルの(予想外の)存在に反応することができる。サンプルがラインスキャナの視野に入る時に、それは、モニタされた1又は2以上の画像パラメータの対応する変化に至ることになる。走査速度は、この変化に応答して調節され、それによってサンプルがターゲット上のその場所に関係なく撮像走査中に高分解能で撮像されることを可能にする。従って、ターゲット上のサンプルのより高い割合を撮像することができ、これは、顕微鏡ユーザに対する走査画像の全体的有用性を改善する。この技術により、走査速度は、モニタされた画像パラメータ(典型的には画像内の詳細の量に関連する)に応答してオンザフライで調節することができるので、走査の空間分解能は、撮像走査が始まる時点でスキャナによっては予め決定されない。
【0011】
1又は2以上の画像パラメータは、典型的には、1又は2以上のサンプル不在領域内のサンプルの存在を検出するためにモニタされ、走査速度は、サンプルが検出されるターゲット上の場所が、サンプルが検出されないターゲット上の場所よりも低い走査速度で撮像されるように調節される。これは、ターゲット全体を高分解能で撮像する段階(サンプル全体を取り込むのに望ましいが、時間も要する)と予備走査画像からサンプルを含有するとして識別された領域のみを撮像する段階との間の妥協点を満足することを可能にする。更に、サンプルがサンプル含有領域の外側で検出される場合に、スキャナは、サンプルが、ターゲット上のどこに存在するかに関わらず比較的低速で及び従って高分解能で撮像されることを保証するように反応する。
【0012】
予備走査データに基づいて走査速度を更に調節する段階は、好ましくは、1又は2以上のサンプル不在領域内で第1のターゲット速度でターゲットを撮像する段階と、1又は2以上のサンプル含有領域内で第2のターゲット速度でターゲットを撮像する段階とを備え、第1のターゲット速度は、第2のターゲット速度よりも高い。1又は2以上のサンプル不在領域内のラインスキャナの走査速度を更に調節する段階は、従って、好ましくは、サンプルの検出を示す1又は2以上の画像パラメータの変化に応答して走査速度を第1のターゲット速度から低減する段階を備える。サンプル不在領域は、従って、モニタされた1又は2以上の画像パラメータが第1の判断基準(典型的には、取得された画像内のサンプルの不在)を示す場合にのみ第1のターゲット速度で撮像することができる。1又は2以上の画像パラメータが、代わりに第2の判断基準(典型的には、取得された画像内のサンプルの存在)を示す場合に、走査速度は、第1の走査速度から第2のターゲット速度まで又はそれに向けて低減される。任意的に、サンプル含有領域は、モニタされた1又は2以上の画像パラメータが第1又は第2の判断基準のいずれかを示す場合に第2のターゲット速度で撮像することができる。
【0013】
撮像走査中に、移動速度は、サンプルが全体を通して高分解能で撮像されるように、サンプルの縁部が近づいていることを予備走査データが示す時に低減することができる。突然の減速を回避するために、これは、組織の縁部に到達する前に領域にわたって行うことができる。撮像走査は、従って、ラインスキャナがサンプル不在領域の画像を取得する段階からサンプル含有領域の画像を取得する段階に移行する前に速度を第1のターゲット速度から第2のターゲット速度まで又はそれに向けて低減する段階を更に備えることができる。速度間の移行は、サンプルが不在であるターゲットの領域で発生するように調整することが有利である。ラインスキャナは、次に、撮像走査中にサンプル含有領域にわたって一定速度で移動することができる。これは、サンプル含有領域が全体を通して均一に高い分解能で撮像されることを保証する。しかし、撮像走査は、取得画像内のサンプルの不在を示す1又は2以上の画像パラメータの変化に応答して1又は2以上のサンプル含有領域内の走査速度を増大する段階を更に備えることができる。例えば、これは、予備走査データからサンプル含有領域を識別する際にエラーが起きた時に発生する場合がある。撮像走査中にモニタされた1又は2以上の画像パラメータが、撮像されている領域内にサンプルが含有されていないことを示唆した場合に、走査速度は、全走査時間を短縮するために増大することができる。
【0014】
走査速度を調節する段階は、典型的には、1又は2以上の画像パラメータが閾値に対して第1の予め決められた方式で変化するのに応答してラインスキャナの走査速度を低減する段階を備える。例えば、1又は2以上の画像パラメータは、サンプルの画像がサンプル不在領域内で取得されるのに応答してこの閾値に対して第1の予め決められた方式で変化する場合がある。同様に、走査速度を更に調節する段階は、典型的には、1又は2以上の画像パラメータがこの閾値に対して第2の予め決められた方式で変化するのに応答してラインスキャナの走査速度を増大する段階を備える。閾値は、好ましくは予め決定され、例えば、スキャナの較正に続いてメモリに格納される。1又は2以上の画像パラメータは、画像の輝度を備えることができ、ラインスキャナの走査速度は、画像の輝度が低下するのに応答して低減される。同様に、1又は2以上の画像パラメータは、焦点メリット値を備える場合があり、ラインスキャナの走査速度は、焦点メリット値が増加するのに応答して低減される。典型的には、焦点メリット値は、画像内の複雑度の数値尺度であり、この値が大きいほど画像内の詳細が多い。より合焦された画像は、対応するより高いメリット値を有する。撮像走査は、好ましくは、画像走査経路に沿った各場所で焦点メリット値を計算する段階と、焦点メリット値に基づいて画像走査経路に沿ってラインスキャナの焦点高さを調節する段階とを備える。
【0015】
画像は、典型的には、撮像走査中に走査領域の全体を通して時間的に一定の割合で取得される。従って、画像取り込みは、いずれの特定の測定量にもリンクせず、代わりにタイマー機能によって独立に制御することができる。更に、典型的には、ラインスキャナは、撮像走査中に画像走査経路に沿ってターゲットに対して連続的に移動される。従って、典型的には、各ピクセルの幅(従って、ターゲットの特定の領域内の画像の全体的な分解能)は、画像が取り込まれた時にラインスキャナがターゲットに対して移動する速度に従って変化することになる。従って、低分解能画像は、各連続する画像取り込みの間で高分解能画像よりも大きいターゲット部分にわたってラインスキャナが移動した画像に対応することになる。典型的には、撮像走査の空間分解能は、画像走査経路にわたって一定ではなくなり、ターゲット上の所与の場所に対する走査速度に依存することになる。
【0016】
予備走査が実行するのに高速であることが特に望ましい。予備走査が実行される時にターゲットに関する合焦データが利用可能ではない場合があり、従って、典型的には、ラインスキャナのものよりも大きい焦点深度を有する異なるカメラが予備走査に使用される場合がある。好ましくは、予備走査のための焦点深度は500マイクロメートルを超え(任意的に少なくとも1ミリメートル)、それに対して撮像経路に沿って取得される各画像に対する焦点深度は3マイクロメートルよりも小さい場合がある(典型的には、1マイクロメートル)。これは、典型的には、サンプル全体が予備走査カメラに関する焦点深度内に配置されることを保証する。典型的には、予備走査画像は、直線形とするか又はラスターフォーマットにあるとすることができる予備走査撮像経路に沿う予備走査カメラの1回通過から取得される。典型的には、予備走査画像は、予備走査撮像経路にわたって一定の空間分解能で取得される。
【0017】
好ましくは、予備走査データを発生させる段階は、サンプルがターゲット上の各場所に存在する可能性を示す確率マップを生成するために予備走査画像の画像解析を実行する段階を更に備え、1又は2以上のサンプル含有領域及び1又は2以上のサンプル不在領域が確率マップから選択される。予備走査データに基づいて画像走査経路に沿ってラインスキャナの走査速度を調節する段階は、次に、確率マップから決定されたサンプルがターゲット上の所与の場所に存在する可能性に従って走査速度を調節する段階を備えることができる。1又は2以上のサンプル不在領域は、サンプルを備える可能性が低い確率マップからの場所に対応することができ、1又は2以上のサンプル含有領域は、サンプルを備える可能性が高い確率マップからの場所に対応することができる。
【0018】
サンプル不在領域及びサンプル含有領域に加えて、サンプルがこの領域に存在するか否かに関して確率マップが結論付けることができない1又は2以上の他のターゲットの領域を識別することができる。例えば、予備走査データを発生させる段階は、サンプルを備える可能性がサンプル不在領域の可能性とサンプル含有領域の可能性の間である確率マップからのターゲット上の1又は2以上の不確実領域を識別する段階を更に備えることができる。この領域に対して、サンプル不在領域及びサンプル含有領域内とは異なる走査速度を設定することができる。例えば、予備走査データに基づいて走査速度を調節する段階は、1又は2以上のサンプル不在領域内でターゲットを第1のターゲット速度で撮像する段階と、1又は2以上のサンプル含有領域内でターゲットを第2のターゲット速度で撮像する段階と、1又は2以上の不確実領域内でターゲットを第3のターゲット速度で撮像する段階とを備えることができ、第3のターゲット速度は、第2のターゲット速度よりも高く、第1のターゲット速度よりも低い。モニタされている1又は2以上の画像パラメータが、これら3つの領域のいずれかにわたるいずれかの点でラインスキャナの視野内にあるサンプルの存在を示す場合に、走査速度は、サンプル含有領域に対するターゲット速度(この場合に、第2のターゲット速度)に設定することができる。
【0019】
典型的には、ターゲットの高分解能画像は、撮像走査中に取得された画像の組合せから発生される。好ましくは、高分解能画像を発生させる段階は、より高い走査速度で取得された画像の分解能をより低い走査速度で取得された画像の分解能に対応するように画像内挿を用いて増大する段階を備える。従って、典型的には、撮像走査中に各画像が取り込まれる走査速度はメモリに格納される。高分解能画像を発生させる段階は、高分解能画像内で一定の分解能を維持するように内挿比を調節する段階を備えることができる。
【0020】
顕微鏡スキャナは、好ましくは、明視野顕微鏡であり、撮像走査は、好ましくは、顕微鏡スキャナに関する透過モードを用いて実行される。顕微鏡スキャナは、反射モードで作動するように構成することができる。一方又は両方のモードを予備走査の一部として使用することができる。例えば、透過モードは、サンプル含有領域とサンプル不在領域とを識別するのに有利とすることができるのに対して、反射モードは、ラベルをターゲットに固定することができる場所のような不透明ターゲットの領域を識別するのに使用することができる。不透明領域は、撮像走査中に走査する必要はなく、従って、走査領域は、好ましくは、あらゆる不透明ターゲットの領域を除外したターゲット全体を実質的に網羅するように予備走査画像から選択される。
【0021】
本発明の第2の態様は、ラインスキャナとサンプルを備えるターゲットとを備える顕微鏡スキャナを用いて実行された時に顕微鏡スキャナに第1の態様の方法を行わせる命令を備えるコンピュータプログラム製品を提供する。第2の態様は、第1の態様に関して議論したものと類似の特徴及び利点を共有する。
【0022】
顕微鏡スキャナは、好ましくは、仮想顕微鏡であり、コンピュータプログラム製品は、典型的には、ハードドライブのような非一時的コンピュータ可読媒体に対応する。ターゲットは、いくつかの形態を取ることができるが、好ましくは、生体組織サンプルを備える。好ましくは、ターゲットは、典型的には、大きい焦点深度を有する予備走査の目的で面高さの実質的な変化を示さず、従って、基本的に平坦である。例えば、ターゲットは、スライスされて平坦なガラススライド間に保持された染色組織抽出物とすることができると考えられる。ラインスキャナの焦点は、ターゲットの面高さが撮像走査で使用される焦点深度よりも大きい量だけ変化する可能性があるので、高分解能撮像走査中に調節することができる。
【0023】
ここで、本発明の実施形態を以下の図を参照して議論する。
【図面の簡単な説明】
【0024】
図1】本発明の第1の実施形態に従って作動させるべき顕微鏡スキャナの概略図である。
図2】本発明の第1の実施形態による処理を示す流れ図である。
図3】本発明の第1の実施形態に従って取得された予備走査画像の図である。
図4】走査領域を示す本発明の第1の実施形態に従って取得された予備走査画像の図である。
図5】サンプル不在領域とサンプル含有領域とを示す本発明の第1の実施形態に従って取得された予備走査画像の図である。
図6】本発明の第1の実施形態によるサンプル不在領域からサンプル含有領域に移行する時の走査速度の変化を示すグラフである。
図7】本発明の第1の実施形態によるサンプル含有領域からサンプル不在領域に移行する時の走査速度の変化を示すグラフである。
図8】本発明の第1の実施形態によるサンプル不在領域の内側でサンプルの存在を検出した時の走査速度の変化を示すグラフである。
図9】本発明の第1の実施形態によるターゲットの高分解能画像を発生させる時のデータの内挿を示すグラフである。
【発明を実施するための形態】
【0025】
明視野顕微鏡スキャナ1の例を図1に示している。明視野顕微鏡スキャナ1は、線形光検出器アレイの形態にあるラインスキャナ3を備える走査ヘッド2を備える。走査ヘッド2は、調節可能合焦システム4と予備走査カメラ12とを更に備える。組織サンプルを備える病理スライドの形態にあるターゲット6が上に配置されたプラテン5が設けられる。走査ヘッド2をターゲット6に対して矢印9に示すように移動することができるように駆動機構7が走査ヘッド2を軌道8に取り付ける。軌道8は、隣接走査幅を撮像するために走査ヘッド2を横方向に変位させることを可能にすることができる。顕微鏡スキャナ1は、コンピュータシステム10の形態にある電子コントローラを用いて制御される。図1には、以下の例で参照するための座標軸を更に提供する。縦座標z軸は、走査ヘッド2の光軸及びターゲット6の焦点高さに位置合わせされ、それに対して横座標x軸は、走査方向(図1の矢印9と平行)を表す。ターゲット6の面はxy平面に位置合わせされ、調節可能合焦システム4のレンズは、z軸に沿って移動可能である。代わりの例では、走査ヘッド2は、静止したままに留まり、走査処理中に走査ヘッド2とターゲット6の間の相対運動を達成するためにターゲット6がxy平面内で移動される。予備走査カメラ12は、走査ヘッド2とは別個のユニットを形成することができ、かつ走査ヘッド2とは独立に作動可能である。予備走査カメラ12は、ラインスキャナを備えることができるが、その選択は、予備走査カメラ12を用いて全スライドの2次元予備走査画像を取得することができる限り、取りわけ重要というわけではない。それとは対照的に、予備走査に続く撮像走査では、ラインスキャナ3を用いなければならない。後に議論することになるが、TDIセンサも、2次元撮像モードで作動する2Dセンサも、撮像走査中に空間分解能を変更する必要があることに起因して撮像走査には適さない。適切な顕微鏡スキャナ1の例は、Roche Diagnosticsによって提供されているVENTANA DP200である。
【0026】
次に、本発明の第1の実施形態による方法を実行する際の顕微鏡スキャナ1の作動を図1から図9を参照して以下に説明する。本方法は、段階100(図2)で始まり、そこでターゲット6の予備走査画像を備える予備走査データを発生させるために予備走査が実行される。予備走査カメラ12を用いてターゲット6の画像を取得しながら、走査ヘッド2が、予備走査撮像経路に沿って1回通過で軌道8に沿って通過する。予備走査カメラ12は、サンプルの厚み(典型的に2μmから10μmの間)よりも有意に大きい1mmの焦点深度でターゲットの画像を取得するように構成される。従って、予備走査カメラ12の焦点高さは、予備走査中には調節されず、予備走査画像は、比較的低い分解能、例えば、1200dpi(1mm当たり47本のライン)で迅速に発生される。予備走査画像は、ターゲット6上のサンプルの外形の概観を提供し、そこから、1又は2以上の着目区域AOIを1回目の撮像走査中の撮像に向けて選択することができる。
【0027】
予備走査画像の例を図3によって例示している。右側にターゲット6の不透明領域が識別可能であり、そこでラベル22がスライドに固定される。当業技術で公知であるように、この領域は、予備走査中に顕微鏡スキャナ1を透過モードと反射モードとで作動させ、取得される画像を比較することによって識別される。ターゲット6の残りの(光学的に透過性の)部分は、撮像走査を実行することになる走査領域20としてコンピュータシステム10によって選択される。この走査領域20は、図4の予備走査画像に重ね合わせられたヘリングボーンパターンによって識別される。
【0028】
予備走査画像は、その内部でサンプルが視認可能な各領域が「サンプル含有領域」とも呼ぶAOIとして識別されるように段階101で従来のソフトウエアを用いて処理される。より具体的には、予備走査画像の自動画像解析を用いて、ターゲット上のどこにサンプルが存在することが予想されるかを示す確率マップが生成され、この確率マップから1又は2以上のAOIが選択される。典型的には、サンプルがAOIの中に完全に含有されるように、AOIの境界をサンプルの外縁(予備走査画像から識別される)の僅かに外側を延びるように選択することができる。次に、1又は2以上のAOIが分画された予備走査画像をユーザに対してコンピュータシステム10を用いて表示することができる。任意的に、ユーザは、次に、1又は2以上のAOIの境界を必要に応じてコンピュータシステムを用いて手動で調節することができる。例示目的で、図5は、図3及び図4の予備走査画像を示すが、ヘリングボーンパターンは、予備走査画像から識別されたサンプル含有領域24にわたって重ね合わせられていない。ヘリングボーンパターンが延びる走査領域20の残余(サンプル含有領域24の外側)を本明細書では「サンプル不在領域」26と呼ぶ。
【0029】
撮像走査は、予備走査と比較してかなり低速で進行し、従って、撮像走査中にはターゲット6上でサンプルが存在する区域のみを撮像することが望ましい。従って、典型的には、撮像走査は、予備走査データから識別された1又は2以上のAOIだけにわたって実行されると考えられる。しかし、予備走査画像の分解能は比較的低く、AOI検出処理でエラーが発生する場合がある。従って、サンプルの一部分は、識別された1又は2以上のAOIから不用意に除外される場合がある。従って、これらの領域を撮像走査中に撮像し損ねることが考えられ、これは望ましくない。上記とは反対に、撮像走査が走査領域20全体にわたって均一に実行される場合に、全走査時間が非常に長くなると考えられ、処理するのに時間を消費する大量のデータが発生されると考えられる。従って、撮像走査中に走査領域20全体が撮像されるが、ターゲット走査速度がサンプル含有領域24内よりもサンプル不在領域26内で速いという妥協点が見出される。
【0030】
方法の段階102では、xy平面内のサンプル含有領域24内で(典型的には、AOI内のサンプル含有領域24の縁部で)シード場所が選択され、この場所でサンプルの焦点高さがラインスキャナ3を用いて測定される。調節可能合焦システム4の焦点高さは、z軸に沿って1μm前後までの焦点深度を有するいくつかの異なる焦点位置でターゲット6からの画像情報を取得するように予め決められた範囲の焦点高さにわたって変更される。次に、各焦点位置での画像情報から、焦点メリット値の形態にある焦点パラメータを使用することによって焦点位置が計算される。典型的には、焦点メリット値は、画像内の複雑度の数値尺度であり、この値が大きいほど画像内の詳細が多い。より合焦された画像は、対応するより高いメリット値を有する。この場合に、最も高いメリット値を有する焦点高さは、シード場所に対する測定焦点位置として格納され、処理は、識別されたいずれか残りのシード場所に関して繰り返される。
【0031】
ラインスキャナ3が走査領域20全体(サンプル含有領域24とサンプル不在領域26とを備える)を撮像するように走査ヘッド2が端から端まで移動されることになる画像走査経路が計算される。次に、ラインスキャナ3は、サンプル不在領域26内の開始場所に移動され、シード場所に対する焦点位置に関して記録された焦点高さに従って焦点高さが設定される。例えば、開始場所での焦点高さは、シード場所での焦点高さと同じとすることができ、又はそれは、この位置の外挿に基づく場合がある。
【0032】
撮像走査中にサンプル不在領域26の画像を取得する意図は、サンプルの一部分がサンプル不在領域26に位置する(従って、予備走査画像の解析に基づいて検出されなかった)場合にこの部分を撮像することができることである。しかし、サンプルのいずれの画像も、サンプル含有領域24内で取得される画像の分解能と同様又は等しい分解能で取得されることが望ましい。従って、第1の実施形態により、画像走査経路に沿って取得される各画像に関して、1又は2以上の画像パラメータがコンピュータシステム10によってモニタされる。典型的には、モニタされる画像パラメータは、サンプルがラインスキャナ3の視野に出入りする度に閾値の上下に変化することになる。例えば、各場所で焦点メリット値又は周波数成分をモニタすることができ、典型的には、これらの値は、サンプルが視野に入る度に予め決められた閾値を上回って増大することになる。これに代えて又はこれに加えて、画像の輝度をモニタすることができ、この場合に、輝度閾値よりも低い輝度の降下(例えば、最大輝度の90~95%)は、ラインスキャナ3の視野にサンプルが入ることを示している。透明なスライドは、固定ノイズ又は最小高周波数応答を有する所与の輝度値を有することになる。輝度が輝度閾値を下回って低下する場合又はノイズ又は高周波数値が対応する閾値を上回って増加する場合は、組織が存在することができ、走査分解能を高めるために走査速度を低減することができる。典型的には、この低減は、突然の加速を排除するためにある領域にわたると考えられる。このようにして、予備走査画像内で検出されない組織を高分解能で走査することができる。組織がもはや検出されなくなると、走査時間を短縮するために移動速度を増大することができる。
【0033】
段階103で撮像走査が始まり、この時点で、走査ヘッド2が開始場所から画像走査経路にわたって移動され、ターゲット6上の複数の隣接場所の画像が取得される。画像走査経路は、ラインスキャナ3がサンプル不在領域26内で第1のターゲット速度で移動し、サンプル含有領域24内で第2のターゲット速度で移動し、かつ第1のターゲット速度が第2のターゲット速度よりも速いように計算される。通過走査の空間分解能は、走査速度(「移動速度」とも呼ぶ)を増大することによって変更することができる。サンプル含有領域24内の走査分解能が4000lpmm×4000lpmmに設定される場合に、移動速度を増大することにより、走査分解能は4000lpmm×ylpmmに変更され、この場合に、yは、4000lpmmと1000lpmmの間の又はそれよりも更に低い数値とすることができる。典型的には、サンプル不在領域26は透明スライドのみを含有するので、この領域を高分解能で走査することは重要ではない。従って、走査分解能が1000lpmmに選択される場合に、サンプル不在領域26は、サンプル含有領域24の4倍の速度で走査することができる。撮像走査に対する開始位置は、サンプル不在領域26内にあり、従って、ラインスキャナ3は、最初に第1のターゲット速度で移動される。しかし、サンプル不在領域26内でサンプルがラインスキャナ3の視野に入ることを示す1又は2以上の画像パラメータの変更がモニタされる場合に、走査速度が第2のターゲット速度まで低減される。従って、サンプルのオンザフライ検出を行うことができ、サンプルは、ターゲット6上に存在する限り高分解能で撮像される。
【0034】
撮像走査でサンプルの縁部が近づいていることを予備走査データが示す時に、サンプルの縁部が高分解能で取り込まれるように走査速度を低減することができる。これを図6に示しており、この図では、上側のグラフがターゲット6の2つの区域を示しており、左にある透明部分は、サンプル不在領域26を表し、それに対して目印として網掛けを付けた領域は、サンプル含有領域24を表している。図6の下側のグラフは、ラインスキャナ3がサンプル不在領域26を撮像する段階からサンプル含有領域24を撮像する段階に移行する時の走査速度の変化を例示している。画像走査経路は、ラインスキャナ3がサンプル不在領域26を撮像する段階からサンプル含有領域24を撮像する段階に移る前に走査速度が第1のターゲット速度から第2のターゲット速度まで徐々に低減するように計算される。この例では、第2のターゲット速度は、第1のターゲット速度の半分である。次に、この領域の内側でいずれの突然の減速も発生することなくターゲット含有領域24の第1の画像が第2のターゲット速度で取得される。同様に、図7によって示すように、サンプル含有領域24の縁部を越したことを予備走査データが示すと、走査速度は、第1のターゲット速度まで増大して戻される。この速度増大は、加速の割合を低減するために領域にわたって行われ、異なる区域間の滑らかな移行を発生させる。最大加速度/減速度及び最大加速変化率が存在することになる。撮像走査中にターゲット6が移動され、ラインスキャナ3が静止したままに保持される例を取ると、5kgのステージ及びスライドを1000lpmm走査に必要とされる速度から4000lpmm走査に必要とされる速度まで変更するのに3Jしか必要とされないと考えられるが、この変更を単一ラインの時間以内に行うには85Wを必要とすると考えられる。10本のラインにわたって拡散させると、同じエネルギを必要とするが、電力は8.5Wまで低減する。
【0035】
図6及び図7の上側のグラフ内の垂直破線は、画像取り込みがトリガされる場所を例示している。ラインスキャナ3は、撮像走査を通して画像を一定の割合で取得する。従って、サンプリング点(すなわち、画像取り込みがトリガされる場所)の空間密度は、走査速度が第1のターゲット速度から第2のターゲット速度に低下する時に増大し(図6)、次に、走査速度が第2のターゲット速度から第1のターゲット速度に増大する時に低下する(図7)。いずれの内挿も不在の場合に、後に図9を参照して議論するように、この走査速度変化は、サンプル不在領域26とサンプル含有領域24の間の対応する画像分解能変化に至ることになる。
【0036】
第1の実施形態では、走査速度は、サンプル含有領域24全体を通して第2のターゲット速度で一定に保持される。しかし、他の実施形態では、走査速度は、サンプルがサンプル含有領域24内に位置付けられないことをモニタされた1又は2以上の画像パラメータが示す場合に増大させることができる。これは、例えば、AOI検出アルゴリズムがターゲット6上の面マーキングをサンプルの一部分として間違って識別した場合に発生する可能性があると考えられる。ラインスキャナ3の焦点深度は、典型的には、3マイクロメートルよりも小さく、すなわち、面マーキングが撮像走査内でサンプルとして識別される可能性は低い。任意的に、走査速度は、サンプル含有領域24内でサンプルが閾値距離内で(又は同等的に閾値ライン数が取得された後に)検出されない場合にのみ第2のターゲット速度から増大することができる。次に、走査速度を第2の走査速度から第1の走査速度に又は任意的にこれら2つの値の間の値まで増大することができる。例えば、走査速度の増大は、確率マップによって決定されたサンプルが所与の場所又は領域に存在する確率によって均衡させることができる。すなわち、予備走査解析がサンプルの存在の良好な確実性を与える場合に、サンプルは、サンプル含有領域24内で撮像されることになることが予想され、このサンプルに到達した時にそれを最も高い分解能で撮像することが望ましいので、走査速度は増大されないと考えられる。しかし、確率マップが、サンプル含有領域としてマーキングされた区域内の所与の位置にサンプルが存在する比較的低い確実性しか示さない(すなわち、予備走査解析が当該領域でのサンプルの存在に関して不確実であった)場合に、走査速度をある倍率だけ増大することができると考えられる。例えば、サンプルが所与の場所に存在する確実性が50%しかない場合に、走査速度は、その可能な増大の50%のみ増大されると考えられる。
【0037】
更に別の実施形態では、走査速度は、予備走査データから発生された確率マップから決定された所与の場所でサンプルを見出す確実性の比率として撮像走査中に連続的に調節される。これに代えて、95%の閾値輝度が透明スライド(分解能が1000lpmmに設定された)を示し、90%の輝度の第2の閾値がサンプル(分解能が4000lpmmに設定された)を示す場合に、この範囲内に線形立ち上がりを用いて輝度値に対する速度を設定することができると考えられる。例えば、輝度が92.5%と測定された場合に、走査速度は、2500lpmmの分解能を発生させるように設定することができる。
【0038】
第1の実施形態に戻ると、ラインスキャナ3が、サンプル含有領域24の画像を取得する段階から再度サンプル不在領域26の画像を取得する段階に進行すると、走査速度は、第1のターゲット速度まで増大する(図7によって示す)。ラインスキャナ3の視野内のサンプルの存在を示すモニタされた1又は2以上の画像パラメータの変化があった場合にサンプルが適切に高い分解能で撮像されるように、走査速度は、再度第2のターゲット速度まで低減される。このようにして、サンプルの一部が予備走査データの解析によって検出されなかった場合に、依然としてこの部分の高分解能画像が取得されることになる。図8は、サンプルの一部分がサンプル不在領域26内で検出されるそのような例を例示している。上側のグラフは、ラインスキャナ3が画像走査経路に沿って移動する時の走査速度を例示している。画像走査経路に沿って取得された各画像から、焦点メリット値の形態の画像パラメータが計算される。図8の下側のグラフ内で画像走査経路に沿う対応する位置に、各画像又は「ライン」に対する焦点メリット値を「×」でマーキングする。走査速度は、焦点メリット値が焦点メリット値閾値よりも低い連続画像取り込みのための第1のターゲット速度に保持される。「A」とマーキングしている位置では、焦点メリット値は閾値よりも高くなく、サンプルの一部分が当該位置(サンプル不在領域26の内側)に対する画像内で視認可能であることを示している。焦点メリット値のこの変化に応答して、走査速度は、第1のターゲット速度から第2のターゲット速度まで低減される。ラインスキャナ3は、第2のターゲット速度に到達するまでその後の3本のラインにわたって減速される。焦点メリット値は、位置Aから位置Bまで延びる画像走査経路の部分を通してほぼ一定であり、この領域にわたってサンプルが延びることを例示している。いわゆるサンプル不在領域内のサンプルの検出は、予備走査データのみの解析がどのように不正確な結果を提供する可能性があるか、従って、サンプル含有領域26に加えてサンプル不在領域26の画像を取得することがなぜ有利であるのかを例示している。第1の実施形態では、走査速度は、モニタされた画像パラメータの変化に応答してオンザフライで調節されるが、代替実施形態では、走査速度は、予備走査データのみの解析に基づいて設定することができ、サンプル含有領域は、サンプル不在領域よりも低い速度で撮像される。
【0039】
撮像走査全体を通して、推定焦点レベルは、US 9116035 B2に説明されているような当業技術で公知の技術を用いて計算することができる。サンプルがラインスキャナ3の視野内である場合に、ラインスキャナ3の焦点高さは、推定焦点位置の方向に又はこの位置まで画像走査経路に沿って各xy場所の間で調節される。走査領域が完全に撮像されるまで、ターゲット6は、蛇行画像走査経路又はラスター画像走査経路を辿りながらこのようにして1又は2以上の走査幅内で撮像される。
【0040】
段階104では、ラインスキャナ3によって取得された個々の画像が互いに組み合わされ、ターゲットの高分解能画像が形成される。出力画像の観察分解能は、高速走査区域と低速走査区域の両方に関して均一であることが望ましい。より高い走査速度で走査された区域内の画像分解能は、双3次内挿又は当業技術で公知の他の画像処理技術(例えば、「Numerical Recipes in C: the Art of Scientific Computing(C言語での数値レシピ、科学計算の技術)」、ケンブリッジ大学出版局、1992年の第3章に説明されている)のような内挿技術を使用することによって増大することができる。すなわち、より低い分解能で走査するが、高分解能画像であるように見えるものを発生させることが可能である。段階104では、出力高分解能画像内で一定の分解能を維持するために、画像が取得された走査速度に従って内挿比が適切に調節されることになる。これを下記で図9を参照して更に議論する。
【0041】
図9は、図6の処理であるが、この場合は、上側のグラフがラインスキャナ3上に入射する光の量を例示している。光レベルは最初に高く(図示の正規化スケール上で約0.9である)、サンプルが存在しないターゲット6の領域にわたってほぼ一定である。次に、光レベルは、サンプルがラインスキャナ3の視野に入る時に(サンプル含有領域24の内側)0.1よりも低くなるまで低下する。光レベルは、画像走査経路に沿って取り込まれた画像からモニタされ、サンプリング点の位置を円でマーキングする。隣接サンプリング点間の空間分離幅は、「C」とマーキングしている領域内(サンプル不在領域26内)で「E」とマーキングしている領域内(サンプル含有領域24内)の約2倍である。「D」とマーキングしている領域は、走査速度が第1のターゲット速度と第2のターゲット速度の間で立ち下がる領域を例示している。段階104の実施では、ラインスキャナ3からの画像データは、画像走査経路にわたって一定の分解能で発生されるように公称HR格子の上に内挿される。内挿データを上側のグラフ内で星形を用いてマーキングする。明らかなように、画像データは、領域C及びDに対する隣接サンプリング点間で内挿されている。その後に、撮像走査によって発生される高分解能画像は、サンプル解析に向けてコンピュータシステム10によってユーザに対して表示することができる。
【0042】
サンプル全体が高分解能でかつ全体走査時間を過度に延長させることなく撮像されることを保証する顕微鏡スキャナを作動させるための改善された方法が従って提供される。
【符号の説明】
【0043】
100 予備走査を実行する段階
101 AOIを識別する段階
102 シード場所で焦点高さを測定する段階
103 画像走査経路に沿って画像を取得する段階
104 ターゲットの高分解能画像を生成する段階
図1
図2
図3
図4
図5
図6
図7
図8
図9