IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ライカ バイオシステムズ イメージング インコーポレイテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-01-24
(54)【発明の名称】サブピクセルラインスキャニング
(51)【国際特許分類】
   G02B 21/36 20060101AFI20230117BHJP
   G06T 3/40 20060101ALI20230117BHJP
【FI】
G02B21/36
G06T3/40 740
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2022515110
(86)(22)【出願日】2020-10-12
(85)【翻訳文提出日】2022-05-06
(86)【国際出願番号】 US2020055241
(87)【国際公開番号】W WO2021076447
(87)【国際公開日】2021-04-22
(31)【優先権主張番号】62/914,879
(32)【優先日】2019-10-14
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】503293765
【氏名又は名称】ライカ バイオシステムズ イメージング インコーポレイテッド
【氏名又は名称原語表記】Leica Biosystems Imaging, Inc.
【住所又は居所原語表記】1360 Park Center Dr., Vista, CA 92081, United States of America
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ユンルー ゾウ
【テーマコード(参考)】
2H052
5B057
【Fターム(参考)】
2H052AA09
2H052AC04
2H052AC05
2H052AC27
2H052AC34
2H052AD05
2H052AD20
2H052AF14
2H052AF25
5B057BA02
5B057BA19
5B057BA21
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CD05
5B057CE06
5B057CE10
(57)【要約】
サブピクセルラインスキャニング。スライドスキャニング装置は、複数のラインセンサ(112a,112b,112c)を含んでおり、各ラインセンサは複数のピクセルセンサを含んでいる。各ラインセンサは、各ピクセルセンサの長さのある割合だけ、隣接するラインセンサからオフセットされており、ラインセンサの各オフセットで、同じ視野のライン画像を生成する。標本上の複数の位置の各位置に対して、プロセッサは、複数のラインセンサによって、それらの各オフセットで生成された同じ視野のライン画像を結合して、同じ視野のライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、かつ複数のサブピクセルを含んでいる、この位置のアップサンプリングされたライン画像を生成する。次に、プロセッサは、標本上の複数の位置の各位置のアップサンプリングされたライン画像を結合して、画像を形成する。
【特許請求の範囲】
【請求項1】
スライドスキャニング装置であって、前記スライドスキャニング装置は、
標本を有している顕微鏡スライドを支持するステージと、複数のラインセンサと、対物レンズと、少なくとも1つのハードウェアプロセッサと、を含んでおり、
前記複数のラインセンサの各ラインセンサは、複数のピクセルセンサを含んでおり、前記複数のラインセンサの各ラインセンサは、前記ラインセンサの長手方向において、各ピクセルセンサの長さのある割合だけ、前記複数のラインセンサのうちの隣接する1つのラインセンサからオフセットされており、
前記対物レンズは、前記標本の同じ視野を前記複数のラインセンサの各ラインセンサに順次に提供し、これによって、前記標本上の複数の位置の各位置に対して、前記複数のラインセンサの各ラインセンサが前記位置の前記同じ視野をセンシングし、前記ラインセンサの各オフセットで、前記位置の前記同じ視野のライン画像を生成し、
前記少なくとも1つのハードウェアプロセッサは、
前記標本上の前記複数の位置の各位置に対して、
前記複数のラインセンサによって、それらの各オフセットで生成された前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成し、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成する、
スライドスキャニング装置。
【請求項2】
前記複数のラインセンサは、N個のラインセンサから成っており、前記複数のラインセンサの各ラインセンサが隣接するラインセンサからオフセットされる、各ピクセルセンサの前記長さの前記割合は、1/Nである、
請求項1記載のスライドスキャニング装置。
【請求項3】
前記標本上の前記複数の位置の各位置に対して、前記同じ視野の前記ライン画像は、ゼロから(N-1)/NまでのN個のオフセットに対するライン画像を含んでいる、
請求項2記載のスライドスキャニング装置。
【請求項4】
前記標本上の前記複数の位置の各位置に対して、前記同じ視野の前記ライン画像を結合することは、前記少なくともピクセルサブセットの各々に対して、それらの各オフセットで各前記ライン画像からの前記ピクセルに対する強度値を合計することを含んでいる、
請求項3記載のスライドスキャニング装置。
【請求項5】
前記少なくとも1つのハードウェアプロセッサは、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、複数の画像ストリップを形成し、
前記複数の画像ストリップの各画像ストリップを、前記複数の画像ストリップのうちの隣接する少なくとも1つの画像ストリップと位置調整して、連続するデジタル画像を形成する、
請求項1記載のスライドスキャニング装置。
【請求項6】
少なくとも1つのハードウェアプロセッサを用いることを含む方法であって、前記少なくとも1つのハードウェアプロセッサは、
複数のラインセンサから画像データを受け取り、前記複数のラインセンサの各ラインセンサは、複数のピクセルセンサを含んでおり、前記複数のラインセンサの各ラインセンサは、前記ラインセンサの長手方向において、各ピクセルセンサの長さのある割合だけ、前記複数のラインセンサのうちの隣接する1つのラインセンサからオフセットされており、
標本の同じ視野を前記複数のラインセンサの各ラインセンサに順次に提供する対物レンズをコントロールし、これによって、前記標本上の複数の位置の各位置に対して、前記複数のラインセンサの各ラインセンサが前記位置の前記同じ視野をセンシングし、前記ラインセンサの各オフセットで、前記位置の前記同じ視野のライン画像を生成し、
前記標本上の前記複数の位置の各位置に対して、
前記複数のラインセンサによって、それらの各オフセットで生成された前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成し、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成する、
方法。
【請求項7】
命令が格納されている非一時的なコンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、次のこと、すなわち
複数のラインセンサから画像データを受け取り、前記複数のラインセンサの各ラインセンサは、複数のピクセルセンサを含んでおり、前記複数のラインセンサの各ラインセンサは、前記ラインセンサの長手方向において、各ピクセルセンサの長さのある割合だけ、前記複数のラインセンサのうちの隣接する1つのラインセンサからオフセットされており、
標本の同じ視野を前記複数のラインセンサの各ラインセンサに順次に提供する対物レンズをコントロールし、これによって、前記標本上の複数の位置の各位置に対して、前記複数のラインセンサの各ラインセンサが前記位置の前記同じ視野をセンシングし、前記ラインセンサの各オフセットで、前記位置の前記同じ視野のライン画像を生成し、
前記標本上の前記複数の位置の各位置に対して、
前記複数のラインセンサによって、それらの各オフセットで生成された前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成し、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成することを、
を行わせる、
非一時的なコンピュータ可読媒体。
【請求項8】
スライドスキャニング装置であって、前記スライドスキャニング装置は、
標本を有している顕微鏡スライドを支持するステージと、ラインスキャンカメラと、対物レンズと、少なくとも1つのハードウェアプロセッサと、を含んでおり、
前記ラインスキャンカメラは、ピクセルセンサの2次元アレイを含んでおり、前記2次元アレイは、第1の軸線に対して平行な列と、前記第1の軸線に対して直交する第2の軸線に対して平行な行と、を含んでおり、
前記対物レンズは、前記標本の同じ視野を前記2次元アレイにおける複数の行の各行に順次に提供し、これによって、前記標本上の複数の位置の各位置に対して、前記複数の行の各行が前記位置の前記同じ視野をセンシングし、前記位置の前記同じ視野のライン画像を生成し、
前記少なくとも1つのハードウェアプロセッサは、
前記標本上の前記複数の位置の各位置に対して、
前記ステージ、前記対物レンズおよび前記ラインスキャンカメラのうちの1つまたは複数をコントロールし、これによって、前記2次元アレイにおける前記複数の行に提供される前記標本の前記視野が前記第1の軸線および前記第2の軸線に対してゼロでない角度で前記2次元アレイにおける前記複数の行にわたって移動し、これによって、前記複数の行における各行が各ピクセルセンサの長さの異なる割合に等しいオフセットで前記同じ視野をセンシングし、
前記2次元アレイにおける前記複数の行によって、それぞれの各オフセットで生成された前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成し、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成する、
スライドスキャニング装置。
【請求項9】
前記ステージは、電動化されたステージであり、前記ステージ、前記対物レンズおよび前記ラインスキャンカメラのうちの1つまたは複数をコントロールすることは、前記対物レンズに対して移動するように前記電動化されたステージをコントロールすることを含んでいる、
請求項8記載のスライドスキャニング装置。
【請求項10】
前記複数の行は、N個の行から成っており、前記第1の軸線に対する前記角度は、1/Nの逆正接に等しい、
請求項8記載のスライドスキャニング装置。
【請求項11】
前記標本上の前記複数の位置の各位置に対して、前記同じ視野の前記ライン画像は、ゼロから(N-1)/NまでのN個のオフセットに対するライン画像を含んでいる、
請求項10記載のスライドスキャニング装置。
【請求項12】
少なくとも1つのハードウェアプロセッサを用いることを含む方法であって、前記少なくとも1つのハードウェアプロセッサは、
ラインスキャンカメラから画像データを受け取り、前記ラインスキャンカメラは、ピクセルセンサの2次元アレイを含んでおり、前記2次元アレイは、第1の軸線に対して平行な列と、前記第1の軸線に対して直交する第2の軸線に対して平行な行と、を含んでおり、
標本の同じ視野を前記2次元アレイにおける複数の行の各行に順次に提供する対物レンズをコントロールし、これによって、前記標本上の複数の位置の各位置に対して、前記複数の行の各行が前記位置の前記同じ視野をセンシングし、前記位置の前記同じ視野のライン画像を生成し、
前記標本上の前記複数の位置の各位置に対して、
ステージ、前記対物レンズおよび前記ラインスキャンカメラのうちの1つまたは複数をコントロールし、これによって、前記2次元アレイにおける前記複数の行に提供される前記標本の前記視野が前記第1の軸線および前記第2の軸線に対してゼロでない角度で前記2次元アレイにおける前記複数の行にわたって移動し、これによって、前記複数の行における各行が各ピクセルセンサの長さの異なる割合に等しいオフセットで前記同じ視野をセンシングし、
前記2次元アレイにおける前記複数の行によって、それぞれの各オフセットで生成された前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成し、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成する、
方法。
【請求項13】
命令が格納されている非一時的なコンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、次のこと、すなわち
ラインスキャンカメラから画像データを受け取り、前記ラインスキャンカメラは、ピクセルセンサの2次元アレイを含んでおり、前記2次元アレイは、第1の軸線に対して平行な列と、前記第1の軸線に対して直交する第2の軸線に対して平行な行と、を含んでおり、
標本の同じ視野を前記2次元アレイにおける複数の行の各行に順次に提供する対物レンズをコントロールし、これによって、前記標本上の複数の位置の各位置に対して、前記複数の行の各行が前記位置の前記同じ視野をセンシングし、前記位置の前記同じ視野のライン画像を生成し、
前記標本上の前記複数の位置の各位置に対して、
ステージ、前記対物レンズおよび前記ラインスキャンカメラのうちの1つまたは複数をコントロールし、これによって、前記2次元アレイにおける前記複数の行に提供される前記標本の前記視野が前記第1の軸線および前記第2の軸線に対してゼロでない角度で前記2次元アレイにおける前記複数の行にわたって移動し、これによって、前記複数の行における各行が各ピクセルセンサの長さの異なる割合に等しいオフセットで前記同じ視野をセンシングし、
前記2次元アレイにおける前記複数の行によって、それぞれの各オフセットで生成された前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成し、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成することを、
を行わせる、
非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2019年10月14日付けで出願された米国仮特許出願第62/914,879号の優先権を主張するものであり、同文献は、その全文が記載されているものとして参照により本出願に援用される。
【0002】
発明の分野
本出願は、概して、ホールスライドイメージング、より詳細には、顕微鏡スライド上の標本のサブピクセルスキャニングに関する。
【背景技術】
【0003】
現在のピクセルシフト技術は、ピクセルの幅より小さい長さの増分でイメージセンサを移動させることによって解像度を向上させる。例えば、ピクセルサイズの1/4のサブピクセルを標本採取する場合には、このサブピクセルを含んでいる第1の画像を撮像し、イメージセンサを半ピクセルだけ左へ移動させ、このサブピクセルを含んでいる第2の画像を撮像し、イメージセンサを半ピクセルだけ上へ移動させ、このサブピクセルを含んでいる第3の画像を撮像し、イメージセンサを半ピクセルだけ右へ移動させ、このサブピクセルを含んでいる第4の画像を撮像する。次に、これら4つの画像における強度が結合されて、このサブピクセルが生成される。
【発明の概要】
【課題を解決するための手段】
【0004】
ある実施形態では、スライドスキャニング装置が開示されており、このスライドスキャニング装置は、標本を有している顕微鏡スライドを支持するステージと、複数のラインセンサと、対物レンズと、少なくとも1つのハードウェアプロセッサと、を含んでおり、複数のラインセンサの各ラインセンサは複数のピクセルセンサを含んでおり、複数のラインセンサの各ラインセンサは、ラインセンサの長手方向において、各ピクセルセンサの長さのある割合だけ、複数のラインセンサのうちの隣接する1つのラインセンサからオフセットされており、対物レンズは、標本の同じ視野を複数のラインセンサの各ラインセンサに順次に提供し、これによって、標本上の複数の位置の各位置に対して、複数のラインセンサの各ラインセンサがこの位置の同じ視野をセンシングし、ラインセンサの各オフセットで、この位置の同じ視野のライン画像を生成し、少なくとも1つのハードウェアプロセッサは、標本上の複数の位置の各位置に対して、複数のラインセンサによって、それらの各オフセットで生成された同じ視野のライン画像を結合して、同じ視野のライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、かつ生成された複数のサブピクセルを含んでいるこの位置のアップサンプリングされたライン画像を生成し、かつ標本上の複数の位置の各位置のアップサンプリングされたライン画像を結合して、画像を形成する。複数のラインセンサは、N個のラインセンサから成っていてよく、複数のラインセンサの各ラインセンサが隣接するラインセンサからオフセットされる、各ピクセルセンサの長さの割合は1/Nである。標本上の複数の位置の各位置に対して、同じ視野のライン画像は、ゼロから(N-1)/NまでのN個のオフセットに対するライン画像を含むことができる。標本上の複数の位置の各位置に対して、同じ視野のライン画像を結合することは、少なくともピクセルサブセットの各々に対して、それらの各オフセットで各ライン画像からのピクセルに対する強度値を合計することを含むことができる。少なくとも1つのハードウェアプロセッサは、標本上の複数の位置の各位置のアップサンプリングされたライン画像を結合して、複数の画像ストリップを形成してよく、かつ複数の画像ストリップの各画像ストリップを、複数の画像ストリップのうちの隣接する少なくとも1つの画像ストリップと位置調整して、連続するデジタル画像を形成してよい。
【0005】
ある実施形態では、次のこと、すなわち
複数のラインセンサから画像データを受け取り、複数のラインセンサの各ラインセンサは複数のピクセルセンサを含んでおり、複数のラインセンサの各ラインセンサは、ラインセンサの長手方向において、各ピクセルセンサの長さのある割合だけ、複数のラインセンサのうちの隣接する1つのラインセンサからオフセットされており、
標本の同じ視野を複数のラインセンサの各ラインセンサに順次に提供する対物レンズをコントロールし、これによって、標本上の複数の位置の各位置に対して、複数のラインセンサの各ラインセンサがこの位置の同じ視野をセンシングし、ラインセンサの各オフセットで、この位置の同じ視野のライン画像を生成し、
標本上の複数の位置の各位置に対して、複数のラインセンサによって、それらの各オフセットで生成された同じ視野のライン画像を結合して、同じ視野のライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、かつ生成された複数のサブピクセルを含んでいるこの位置のアップサンプリングされたライン画像を生成し、かつ
標本上の複数の位置の各位置のアップサンプリングされたライン画像を結合して、画像を形成する
ために少なくとも1つのハードウェアプロセッサを用いることを含んでいる方法が開示される。
【0006】
ある実施形態では、命令が格納されている非一時的なコンピュータ可読媒体が開示されており、これらの命令は、プロセッサによって実行されると、プロセッサに、次のこと、すなわち
複数のラインセンサから画像データを受け取り、複数のラインセンサの各ラインセンサは複数のピクセルセンサを含んでおり、複数のラインセンサの各ラインセンサは、ラインセンサの長手方向において、各ピクセルセンサの長さのある割合だけ、複数のラインセンサのうちの隣接する1つのラインセンサからオフセットされており、
標本の同じ視野を複数のラインセンサの各ラインセンサに順次に提供する対物レンズをコントロールし、これによって、標本上の複数の位置の各位置に対して、複数のラインセンサの各ラインセンサがこの位置の同じ視野をセンシングし、ラインセンサの各オフセットで、この位置の同じ視野のライン画像を生成し、
標本上の複数の位置の各位置に対して、複数のラインセンサによって、それらの各オフセットで生成された同じ視野のライン画像を結合して、同じ視野のライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、かつ生成された複数のサブピクセルを含んでいるこの位置のアップサンプリングされたライン画像を生成し、かつ
標本上の複数の位置の各位置のアップサンプリングされたライン画像を結合して、画像を形成する
を行わせる。
【0007】
ある実施形態では、スライドスキャニング装置が開示されており、このスライドスキャニング装置は、標本を有している顕微鏡スライドを支持するステージと、ラインスキャンカメラと、対物レンズと、少なくとも1つのハードウェアプロセッサと、を含んでおり、ラインスキャンカメラはピクセルセンサの2次元アレイを含んでおり、2次元アレイは、第1の軸線に対して平行な列と、第1の軸線に対して直交する第2の軸線に対して平行な行と、を含んでおり、対物レンズは、標本の同じ視野を2次元アレイにおける複数の行の各行に順次に提供し、これによって、標本上の複数の位置の各位置に対して、複数の行の各行がこの位置の同じ視野をセンシングし、この位置の同じ視野のライン画像を生成し、少なくとも1つのハードウェアプロセッサは、標本上の複数の位置の各位置に対して、ステージ、対物レンズおよびラインスキャンカメラのうちの1つまたは複数をコントロールし、これによって、2次元アレイにおける複数の行に提供される標本の視野が第1の軸線および第2の軸線に対してゼロでない角度で2次元アレイにおける複数の行にわたって移動し、これによって、複数の行における各行が各ピクセルセンサの長さの異なる割合に等しいオフセットで同じ視野をセンシングし、2次元アレイにおける複数の行によって、それぞれの各オフセットで生成された同じ視野のライン画像を結合して、同じ視野のライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、かつ生成された複数のサブピクセルを含んでいるこの位置のアップサンプリングされたライン画像を生成し、かつ標本上の複数の位置の各位置のアップサンプリングされたライン画像を結合して、画像を形成する。ステージは、電動化されたステージであってよく、ステージ、対物レンズおよびラインスキャンカメラのうちの1つまたは複数をコントロールすることは、対物レンズに対して移動するように電動化されたステージをコントロールすることを含むことができる。複数の行はN個の行から成っていてよく、第1の軸線に対する角度は、1/Nの逆正接に等しい。標本上の複数の位置の各位置に対して、同じ視野のライン画像は、ゼロから(N-1)/NまでのN個のオフセットに対するライン画像を含むことができる。
【0008】
ある実施形態では、次のこと、すなわち
ラインスキャンカメラから画像データを受け取り、ラインスキャンカメラはピクセルセンサの2次元アレイを含んでおり、2次元アレイは、第1の軸線に対して平行な列と、第1の軸線に対して直交する第2の軸線に対して平行な行と、を含んでおり、
標本の同じ視野を2次元アレイにおける複数の行の各行に順次に提供する対物レンズをコントロールし、これによって、標本上の複数の位置の各位置に対して、複数の行の各行がこの位置の同じ視野をセンシングし、この位置の同じ視野のライン画像を生成し、
標本上の複数の位置の各位置に対して、ステージ、対物レンズおよびラインスキャンカメラのうちの1つまたは複数をコントロールし、これによって、2次元アレイにおける複数の行に提供される標本の視野が第1の軸線および第2の軸線に対してゼロでない角度で2次元アレイにおける複数の行にわたって移動し、これによって、複数の行における各行が各ピクセルセンサの長さの異なる割合に等しいオフセットで同じ視野をセンシングし、2次元アレイにおける複数の行によって、それぞれの各オフセットで生成された同じ視野のライン画像を結合して、同じ視野のライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、かつ生成された複数のサブピクセルを含んでいるこの位置のアップサンプリングされたライン画像を生成し、かつ
標本上の複数の位置の各位置のアップサンプリングされたライン画像を結合して、画像を形成する
ために少なくとも1つのハードウェアプロセッサを用いることを含んでいる方法が開示される。
【0009】
ある実施形態では、命令が格納されている非一時的なコンピュータ可読媒体が開示されており、これらの命令は、プロセッサによって実行されると、プロセッサに、次のこと、すなわち
ラインスキャンカメラから画像データを受け取り、ラインスキャンカメラはピクセルセンサの2次元アレイを含んでおり、2次元アレイは、第1の軸線に対して平行な列と、第1の軸線に対して直交する第2の軸線に対して平行な行と、を含んでおり、
標本の同じ視野を2次元アレイにおける複数の行の各行に順次に提供する対物レンズをコントロールし、これによって、標本上の複数の位置の各位置に対して、複数の行の各行がこの位置の同じ視野をセンシングし、この位置の同じ視野のライン画像を生成し、
標本上の複数の位置の各位置に対して、ステージ、対物レンズおよびラインスキャンカメラのうちの1つまたは複数をコントロールし、これによって、2次元アレイにおける複数の行に提供される標本の視野が第1の軸線および第2の軸線に対してゼロでない角度で2次元アレイにおける複数の行にわたって移動し、これによって、複数の行における各行が各ピクセルセンサの長さの異なる割合に等しいオフセットで同じ視野をセンシングし、2次元アレイにおける複数の行によって、それぞれの各オフセットで生成された同じ視野のライン画像を結合して、同じ視野のライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、かつ生成された複数のサブピクセルを含んでいるこの位置のアップサンプリングされたライン画像を生成し、かつ
標本上の複数の位置の各位置のアップサンプリングされたライン画像を結合して、画像を形成する、
を行わせる。
【0010】
本発明の他の特徴および利点は、以降の詳細な説明および添付の図面の考察後に、当業者に容易に明らかになるであろう。
【0011】
本発明の構造および動作は、以降の詳細な説明および添付の図面の考察から理解され、これらの図面では、同様の参照番号は同様の部分を指す。
【図面の簡単な説明】
【0012】
図1A】第1の実施形態による、オフセットされているラインセンサのアレイを示す図である。
図1B】ある実施形態による、図1Aのセンサを含んでいるデジタルイメージング装置の種々のコンポーネント間の関係を示す図である。
図2】第2の実施形態によるセンサを示す図である。
図3A】実施形態による、サブピクセルを形成するためのピクセルの積み重ねを示す図である。
図3B】実施形態による、サブピクセルを形成するためのピクセルの積み重ねを示す図である。
図4】ある実施形態による、デジタル画像のためのサブピクセル解像度を生成するプロセスを示す図である。
図5A】ある実施形態による、本明細書に記載される種々の実施形態に関連して使用され得るプロセッサ対応装置を示す図である。
図5B】ある実施形態による、1つの線形アレイを有しているラインスキャンカメラを示す図である。
図5C】ある実施形態による、3つの線形アレイを有しているラインスキャンカメラを示す図である。
図5D】ある実施形態による、複数の線形アレイを有しているラインスキャンカメラを示すブロック図である。
【発明を実施するための形態】
【0013】
一般に、デジタルイメージング装置の解像度は、センサのピクセルサイズおよびイメージング光学系の解像度によって制限される。しかし、本明細書に開示される特定の実施形態は、標準的なイメージング光学系を妥当なコストで利用しながら、高い解像度で効率的に画像を捕捉するためにピクセルシフトを利用するデジタルイメージング装置(例えばデジタルスライドスキャナ)を提供する。この解像度は、その他の場合に、イメージセンサ内のピクセル生成要素のサイズによって捕捉される解像度よりも高い。さらに、開示された方式は、デジタルスライドスキャナの必要とされるピクセル解像度に通常結び付いている視野制限を克服し、これによって、特にラインスキャン機構において、より高速なスキャニングを結果として生じさせる解決手段を提供することができる。
【0014】
本明細書を読めば、当業者には、種々の択一的な実施形態および択一的な用途において本発明をどのように実施するかが明らかになるであろう。しかし、本発明の種々の実施形態が本明細書において説明されるが、これらの実施形態は例示のためのものにすぎず、限定ではないことが明らかである。したがって、種々の択一的な実施形態の詳細な説明は、添付の特許請求の範囲に記載される本発明の範囲または広さを限定するものと解釈されるべきではない。
【0015】
1.オフセットされているラインセンサ
第1の実施形態では、イメージセンサは複数のラインセンサを含んでおり、これらは、ピクセルの長さのある割合に等しい距離だけ、長手方向において互いに論理的にオフセットされている。したがって、連続する各ラインセンサが標本の同じ部分から光を受け取ると、そのラインセンサは、先行するラインセンサによって生成された画像データのラインからわずかに(すなわち、ピクセルの長さのある割合だけ)オフセットされた画像データのライン(本明細書では「ライン画像」とも称される)を生成する。このオフセットは、空間内の複数のラインセンサの物理的なオフセットであり得るが、択一的な実施形態では、このオフセットは、代わりに、定義された時間間隔で空間内の1つのラインセンサをシフトさせることによって誘起され得る。
【0016】
図1Aは、ある実施形態による、3つのオフセットされているラインセンサ110を含んでいるセンサ100を示している。スキャンモーションの方向に対して直交する方向において、ラインセンサ110の各ラインセンサは、自身の隣接するラインセンサから、ピクセルの長さのある割合だけオフセットされている。スキャンモーションの方向は、撮像される視野がセンサ100に対して移動する方向を表す。スキャンモーションは、イメージセンサに提供された光路に関して標本を移動させることによって(例えば、標本が支持されている電動化されたステージを移動させることによって)かつ/または標本に関して光路を移動させることによって(例えば、スキャニング装置のイメージセンサおよび/または対物レンズを移動させることによって)、実現されてよい。
【0017】
図1Aは、各ラインセンサ110に対して1つのラインを示しているが、各ラインセンサ110が、複数のラインセンサのセットを含んでいてよい。例えば、各ラインセンサ110は、3つのカラーセンサのセット(例えばトライリニアセンサを表している3つのライン)を含むことができる。さらに、センサ100は、3つのオフセットされているラインセンサ(すなわち、ラインセンサ110A、110Bおよび110C)で示されているが、センサ100が、任意の数の複数のラインセンサ110を有していてよい。一般に、N個のオフセットされているラインセンサ110が使用される場合、N個のラインセンサ110の各ラインセンサは、自身の隣接するラインセンサ110から、ピクセルセンサ112の長さの1/Nだけオフセットされるべきである。各ラインセンサ110は、他のラインセンサ110のそれぞれと同じライン画像を捕捉するが、これが、隣接する各ラインセンサ110によって捕捉された同じライン画像に関して、ピクセルの長さの1/Nだけオフセットされていることが理解されるだろう。これによって、ホールスライドイメージにおける各ライン画像に対して、同じ画像データのN個のラインが生成されるが、この場合も、各ライン画像における画像データは、隣接するラインセンサによって捕捉されたライン画像における画像データから、ピクセルの長さの1/Nだけオフセットされている。
【0018】
3つのオフセットされているラインセンサ110(すなわち110A、110Bおよび110C)を備える、図示された実施形態では、ラインセンサ110Bは、ラインセンサ110Aから、ピクセルの長さの1/3だけオフセットされており、ラインセンサ110Cは、ラインセンサ110Bから、ピクセルの長さの1/3だけオフセットされており、かつラインセンサ110Aからピクセルの長さの2/3だけオフセットされている。2つのオフセットされているラインセンサ110を備える実施形態では、各ラインセンサは、ピクセルの長さの半分だけ他のラインセンサからオフセットされていることになる。同様に、4つのオフセットされているラインセンサ110を備える実施形態では、各ラインセンサは、自身の隣接するラインセンサからピクセルの長さの1/4だけオフセットされていることになる。
【0019】
センサ100は、特定の側へ(すなわち、図1Aの右側へ)オフセットされているラインセンサによって示されているが、代わりに、オフセットされているラインセンサは、本明細書に記載された技術に対するいかなる変更も行われずに、他方の側へ(すなわち、図1Aの左側へ)オフセットされてよい。
【0020】
図1Bは、ある実施形態に相応に、どのように、オフセットされたピクセルがピクセルセンサ112によって捕捉されるのかを示している。低解像度(すなわち、本来または非サブピクセル)の撮像の場合の、同じ光学系を備える1つのラインセンサと比較して、高解像度(すなわち、サブピクセル)の撮像の場合の、N個のオフセットされているラインセンサを利用するセンサ100のスキャニングモーションの速度は、N倍遅いはずである。なぜなら、各ライン画像をN個の異なるオフセットでN回捕捉する必要があるからである。したがって、3つのラインセンサ110を備える、図示された実施形態では、ラインセンサを1つだけ備えるセンサと同じラインレートを達成するために、スキャニングモーションの速度は、ラインセンサを1つだけ備えるセンサのスキャニングモーションの速度よりも3倍遅いはずである。
【0021】
図1Bは、時点t1、t2およびt3での、レンズ130(例えば、本明細書の他の箇所で説明される対物レンズ)およびスライド120上の標本122に対するピクセルセンサ112A、112Bおよび112Cの論理的な位置を示している。上で論じたように時点t1、t2およびt3の各々は、1つのラインセンサが画像データの1つのラインを捕捉するのにかかる時間を取り、高解像度の撮像の場合の、センサ100のスキャニング速度は、低解像度の撮像の場合の、1つのラインセンサのみから成るセンサのスキャニング速度よりも3倍遅くセットされ得る。
【0022】
図1Bに示されているように、時点t1で、標本122の位置x1は、レンズ130によって提供される視野内にあり、レンズ130は焦点高さz1にある。標本122上の位置x1の光景は、レンズ130によって、光路を介して、ラインセンサ110Aに提供される。これは、ラインセンサ110Aのピクセルセンサ112Aを含んでいる。したがって、ピクセルセンサ112Aは、位置x1での標本122のピクセルサイズ部分を表す画像データの第1のピクセルを生成する。
【0023】
時点t2で、標本122上の位置x1は、レンズ130によって提供される視野内に留まり、レンズ130は焦点高さz1に留まる。しかし、標本122上の位置x1の光景はスキャンモーションの方向に移動しており、これによって、標本122上の位置x1の光景は、レンズ130によって、光路を介して、ラインセンサ110Bに提供される。これはラインセンサ110Bのピクセルセンサ112Bを含んでいる。したがって、ピクセルセンサ112Bは、位置x1での標本122のピクセルサイズ部分を表す画像データの第2のピクセルを生成する。この第2のピクセルは、第1のピクセルから、ピクセルの長さの1/3だけオフセットされている。
【0024】
時点t3で、標本122上の位置x1は、レンズ130によって提供される視野内に留まり、レンズ130は焦点高さz1に留まる。しかし、標本122上の位置x1の光景はスキャンモーションの方向に移動しており、これによって、標本122上の位置x1の光景は、レンズ130によって、光路を介して、ラインセンサ110Cに提供される。これは、ラインセンサ110Cのピクセルセンサ112Cを含んでいる。したがって、ピクセルセンサ112Cは、位置x1での標本122のピクセルサイズ部分を表す画像データの第3のピクセルを生成する。この第3のピクセルは、第1のピクセルから、ピクセルの長さの2/3だけオフセットされており、かつ第2のピクセルから、ピクセルの長さの1/3だけオフセットされている。
【0025】
したがって、3つのオフセットされているラインセンサ110を備えるセンサ100では、捕捉された(すなわち、標本122のピクセルサイズ部分を表す)各ピクセルは、3つの異なるオフセット(すなわち、ゼロオフセット、ピクセルの長さの1/3だけのオフセットおよびピクセルの長さの2/3だけのオフセット)で3回捕捉される。同様に、2つのオフセットされているラインセンサ110を備えるセンサでは、各ピクセルは、2つの異なるオフセット(すなわち、ゼロオフセットおよびピクセルの長さの1/2だけのオフセット)で2回捕捉されることになる。4つのオフセットされているラインセンサ110を備えるセンサでは、各ピクセルは、4つの異なるオフセット(すなわち、ゼロオフセット、ピクセルの長さの1/4だけのオフセット、ピクセルの長さの2/4だけのオフセットおよびピクセルの長さの3/4だけのオフセット)で4回捕捉されることになる。
【0026】
それぞれのケースにおいて、各オフセットされたピクセルは、本明細書の他の箇所で説明される様式で結合されて、N個のサブピクセルを生成することができる。したがって、オフセットされているラインセンサ110が3つのケースでは、各ピクセルに対して3つのサブピクセルが生成されることになる。オフセットされているラインセンサ110が2つのケースでは、各ピクセルに対して2つのサブピクセルが生成されることになる。オフセットされているラインセンサ110が4つのケースでは、各ピクセルに対して4つのサブピクセルが生成されることになる。
【0027】
ラインセンサ110を2つ用いた例、3つ用いた例および4つ用いた例を説明してきたが、本明細書で説明された技術を、任意のN個(例えば、5個、10個など)のラインセンサ110に外挿して、各ピクセルに対してN個のサブピクセルが得られることが理解されるだろう。ある実施形態では、標本122上の同じ位置(例えばx1)がN個のオフセットされているラインセンサ110のうちの1つによって撮像される各時点(例えばt1、t2、t3)の間、レンズ130は同じ焦点高さ(例えばz1)に留まっていてよく、これによって各ピクセルは同じ焦点で生成される。センサ100内のN個のオフセットされているラインセンサ110の各々によって同じ位置が撮像されると、最適な焦点を維持するために(例えばフォーカスマップまたは他のオートフォーカス技術に基づいて)、適切であれば、焦点高さが調整されてよい。
【0028】
択一的な実施形態では、1つのラインセンサ110を使用して、標本の各線形部分をN回スキャニングし、これと同時に、標本上の撮像される位置をN-1回(すなわち同じ線形部分の各個々のスキャンの間に)シフトさせることによって、N個のラインセンサ110を備えるセンサ100と同じ作用を得ることができる。このような実施形態では、標本の論理的な位置がラインセンサ110に対してシフトされる度に、この論理的な位置が、ピクセルセンサ112の長さの1/Nである長さだけシフトされ、これによって、ゼロのオフセットからピクセルの長さの(N-1)/Nのオフセットまで、N個のライン画像が捕捉される。同じ線形部分に対してN個のライン画像が生成されると、標本に対するセンサ110の論理的な位置が動かされ、そのため、次の線形部分が、ゼロオフセットから始まり、ピクセルの長さの(N-1)/Nのオフセットで終わって、N回にわたって撮像され得る。
【0029】
2.角度がつけられたスキャンモーション
択一的な第2の実施形態では、スキャニングモーションは、イメージセンサに対して角度がつけられた軌道に従う。換言すれば、複数のオフセットされているラインセンサのアレイの代わりに、イメージセンサは、同一平面上にある(すなわちオフセットされていない)が、角度がつけられた軌道でスキャンする1つまたは複数のセンサを含むことができる。したがって、第1の実施形態におけるオフセットされているラインセンサと同じオフセットされたライン画像を得るために、標準的なイメージセンサを適応させることができる。
【0030】
図2は、ある実施形態による、角度がつけられた軌道でスキャンするセンサ200を示している。図示されているように、センサ200は、行210および列を備える2次元アレイで配置された複数のピクセルセンサ212を有しているラインスキャンカメラを含んでいる。択一的に、センサ200は、エリアスキャンカメラを含むことができる。
【0031】
ラインスキャンカメラが使用される実施形態では、センサ200は、time delay integration(TDI)ラインスキャンカメラを含むことができる。カナダのオンタリオ州ウォータローにあるTeledyne DALSA Inc.製のPiranha XL(商標)は、このような実施形態においてラインスキャンカメラとして使用されてよいTDIラインスキャンカメラの一例である。TDIラインスキャンカメラは、ラインセンサの複数(例えば、24個、32個、48個、64個、96個など)のステージを含んでおり、これらはそれぞれ同じライン画像を捕捉する。次いで、各ライン画像からの強度データが合計されて、格段に良好な信号対ノイズ比(SNR)を有する出力ライン画像が提供される。例えば、ピクセルセンサ212の行210A、ピクセルセンサ212の行210B~ピクセルセンサ212の行210Zによって捕捉されたライン画像が、1つの出力ライン画像を生成するために、この様式で統合されることになる。
【0032】
しかし、TDIラインスキャンカメラを利用する実施形態では、TDIラインスキャンカメラは、TDIモードからエリアモードに切り替えられてよい。エリアモードでは、行210によって生成されたライン画像は、1つの出力ライン画像に合計されない。むしろ、エリアモードでは、各ライン画像は、標本上の異なる位置での画像データの異なるラインを表す。
【0033】
センサ200に対する、センサ200によって撮像される標本上の位置の動きは、各行210の長手方向に対して直交しかつセンサ200の列の長手方向に対して平行なX軸に対して角度θでの方向に従う。角度θは、N-1の逆タンジェントに等しいはずである(すなわち、θ=arctan(1/N))。ここではNは、各ピクセルに対して望まれるサブピクセルの数である。X軸に対して平行に移動し、かつ本明細書で説明されているサブピクセル技術を実行しないセンサ200と同じラインレートを維持するために、スキャンモーションの速度は、以下のようであるべきである
=N cosθ
式中、vは、X軸に対して平行に移動し、かつN個のオフセットで各ピクセルを捕捉しないセンサの速度を表している。
【0034】
センサ200が、角度がつけられた軌道に沿って標本上の位置を撮像すると、センサ200と標本との間の相対的な移動がセットされ、これによって、N個の行の各セットが画像データの同じラインを捕捉するために使用される。例えば、N=3である図示の実施形態では、行210A、210Bおよび210Cはそれぞれ、X軸に沿って同じ位置xで(例えば、それぞれ時点t1、t2およびt3で)ライン画像を捕捉するために使用される。同様に、行210X、210Yおよび210Zは、X軸に沿った同じ位置x2でライン画像を捕捉するために使用される。ここでx>xである。N個の行210の各サブセットによって生成されたライン画像は、標本の同じ線形部分を表すが、N個の異なる位置でオフセットされている。換言すれば、出力は、第1の実施形態における出力と同じである。特に、イメージセンサによって撮像された標本上の各位置に対して、各隣接するラインセンサ110または行210によって捕捉されたライン画像から、それぞれ、ピクセルの長さの1/NだけオフセットされたN個のライン画像が生成される。N=3の場合、ゼロオフセットを有する第1のライン画像と、ピクセルの長さの1/3のオフセットを有する第2のライン画像と、ピクセルの長さの2/3のオフセットを有する第3のライン画像と、を含んでいる3つのライン画像が、標本上の各位置に対して生成されることになる。
【0035】
特に、センサ200は、標本の異なる線形部分を捕捉するために各行210が使用された場合に、その他の様式で捕捉されるだろうライン画像よりも少ないライン画像を捕捉する。特に、センサ200がM個の行210を含む場合(例えば、MステージTDIラインスキャンカメラ)、センサ200は、標本の異なる線形部分を捕捉するために各行210が使用された場合に出力されるであろうM個のライン画像ではなく、M/N個のライン画像を一度に出力する。
【0036】
3.サブピクセルの生成
図3Aおよび図3Bは、2つの択一的な実施形態に相応に、ピクセルの長さの1/3であるサブピクセルを生成するために、オフセットされたライン画像からの3つのオフセットされたピクセルをどのように使用することができるのかを示している。図3Aおよび図3Bは、ピクセルの長さの1/3の長さであるサブピクセルを生成するための3つのオフセットされたピクセルの使用を示しているが、この技術が、ピクセルの長さの各々1/NであるN個のサブピクセルにピクセルを分割するために、任意のN個のオフセットされたピクセルと共にどのように使用され得るかが明らかであるはずである。
【0037】
図3Aは、結合された画像ピクセル300を生成するためにどのように長方形のピクセルを使用できるのかを示している。各ラインセンサ110は、ライン画像140を生成する。したがって、例えば、ラインセンサ110Aはライン画像140Aを生成し、ラインセンサ110Bはライン画像140Bを生成し、ラインセンサ110Cはライン画像140Cを生成する。図3Bが、各ライン画像140の部分セグメントを示しているだけであることが理解されるだろう。図示の実施形態では、各ライン画像140は、長方形の画像ピクセル142を含んでいる。動きの方向における画像ピクセル142の長さは、スキャン速度の調整によってコントロールされてよい。図示されているように、各ライン画像140からの長方形のピクセル142が結合されると、この結合によって、正方形の画像サブピクセル300が得られる。長方形のピクセル142を結合することは、各ピクセル142の一部分の強度値を合計することを含んでいてよく、それらの強度値の合計は、サブピクセル300として用いられる。
【0038】
図3Aに示されている実施形態は、正方形のサブピクセル300を生成するために長方形のピクセルを使用するが、図3Bに示されている実施形態は、長方形のサブピクセル300を生成するために正方形のピクセルを使用する。図3Bに示されているように、時点t1で、ピクセルセンサ112Aまたは212Aは、ゼロオフセットを有する第1の正方形のピクセルを生成する。次に、時点t2で、ピクセルセンサ112Bまたは212Bは、ピクセルセンサ112または212の長さの3/1のオフセットを有する第2の正方形のピクセルを生成する。最後に、時点t3で、ピクセルセンサ112Cまたは212Cは、ピクセルセンサ112または212の長さの3/2のオフセットを有する第3の正方形のピクセルを生成する。第1のピクセルと第2のピクセルと第3のピクセルとの重なり部分が結合されて、長方形のサブピクセル300が生成される。例えば、これらのピクセルを結合することは、第1のピクセル、第2のピクセルおよび第3のピクセルの各ピクセルの強度値を合計すること含んでいてよく、それらの強度値の合計は、サブピクセル300として用いられる。このような実施形態を用いて正方形のサブピクセル300を得るために、同じサブピクセル動作が直交方向において繰り返されてよい。
【0039】
サブピクセル300へのピクセルのこの合計は、各ピクセルセンサ112または212によって捕捉された、オフセットされたピクセルの各セット(すなわち、画像データの1つのピクセルを集合的に表している)に対して繰り返されてよく、これによって、画像データのそれぞれ1つのピクセルに対してN個のサブピクセルが生成され、これによって、ホールスライドイメージの解像度がN倍アップサンプリングされる。N=3である、本明細書で図示された例では、3つのサブピクセルが画像データの各ピクセルに対して生成され、3倍の解像度を有するアップサンプリングされた画像が生成される。
【0040】
図4は、ある実施形態による、本明細書で説明された第1の実施形態または第2の実施形態のピクセルシフト技術を用いて、デジタル画像(例えば、ホールスライドイメージ)のためのサブピクセル解像度を生成するプロセス400を示している。プロセス400は「デモザイキング」と称されてよく、デジタルイメージング装置におけるソフトウェアおよび/またはハードウェアとして(例えばメモリ565内に格納されており、装置550のプロセッサ555によって実行されるソフトウェアとして)実装されてよい。プロセス400は、標本のスキャニング(すなわち、センサ100または200を使用したライン画像の生成)の後に、または標本のスキャニングと並行して実施されてよい。
【0041】
ステップ410において、標本上の関心領域(例えば標本の一部または標本全体またはスライド)内の位置をそれぞれ表す全てのライン画像が取得されたか否かが判定される。付加的な位置を表すライン画像がまだ取得されるべき場合(すなわちステップ410における「いいえ」)、プロセス400は、ステップ420に進む。そうではなく、全てのライン画像が取得された場合(すなわちステップ410における「はい」)、プロセス400はステップ450に進む。
【0042】
ステップ420において、現在の位置が次の位置に変更され、この次の位置のためにライン画像が取得される。プロセス400の開始時に、ステップ420における、この次の位置が、そこからライン画像が取得される出発位置を表すことが理解されるだろう。
【0043】
ステップ430において、現在の位置のN個のオフセットされたライン画像が取得される。本明細書の他の箇所で説明されるように、各ライン画像は、同じ位置であるが、ピクセルの長さの1/Nの増分だけオフセットされた画像を表している。集合的に、N個のオフセットされたライン画像は、ピクセルの長さのゼロから(N-1)/Nまでのオフセットでの現在の位置を表している。
【0044】
ステップ440において、ステップ430において取得されたN個のオフセットされたライン画像の各々を積み重ねて、積み重ねられたライン画像における各ピクセル対してN個のサブピクセルが結果として生成される。オフセットされたライン画像における各ピクセルは、(例えば図3Aおよび図3Bに関連して)本明細書の他の箇所で説明されたように積み重ねられていてよい。ステップ440の後、プロセス400はステップ410に戻る。
【0045】
ステップ410において、標本上の撮像されるべき関心領域全体を表す全てのライン画像が取得されたことが判定されると、プロセス400はステップ450に進む。ステップ450において、取得された複数のライン画像が結合されて、画像ストリップまたは画像タイルが形成される。結果として生じる画像ストリップまたは画像タイルの解像度は、ステップ440において生成されたサブピクセルを使用してアップサンプリングされなかった画像ストリップまたは画像タイルの解像度のN倍である。
【0046】
ステップ460において、アップサンプリングされた画像ストリップまたは画像タイルが位置調整されて、連続するデジタル画像(例えばホールスライドイメージ)が形成される。
【0047】
ステップ470において、例えばノイズ(例えば画像ストリップまたは画像タイルを「スティッチング」することによって生じるエッジ作用など)を低減するために、連続するデジタル画像に1つまたは複数のフィルタが適用され、プロセス400は終了する。
【0048】
4.例示的なデジタルイメージング装置
図5Aは、本明細書で説明された種々の実施形態に関連して使用することができる例示的なプロセッサ対応装置550を示すブロック図である。図示の実施形態では、装置550は、デジタルイメージング装置(本明細書ではデジタルスライドスキャナ、スキャナシステムまたはスキャニングシステムとも称される)として提示され、これは、1つまたは複数のプロセッサ555、1つまたは複数のメモリ565、1つまたは複数のモーションコントローラ570、1つまたは複数のインターフェースシステム575、1つまたは複数の標本590を備える1つまたは複数のスライドガラス585をそれぞれ支持する1つまたは複数の可動ステージ580、標本を照明する1つまたは複数の照明システム595、光軸に沿って移動する光路605をそれぞれ定義する1つまたは複数の対物レンズ600、1つまたは複数の対物レンズポジショナ630、任意選択的な1つまたは複数の落射照明システム635(これは例えば蛍光スキャナシステムに含まれている)、1つまたは複数のフォーカシング光学系610、1つまたは複数のラインスキャンカメラ615、ならびに/または標本590および/またはスライドガラス585上の別個の視野625をそれぞれ定義する1つまたは複数のエリアスキャンカメラ620を含んでいる。デジタルイメージング装置550の種々の要素は、1つまたは複数の通信バス560を介して通信可能に接続されている。デジタルイメージング装置550の種々の要素の各要素の1つまたは複数が存在し得るが、以降の説明を簡単にするため、適切な情報を伝達するために複数形で記述する必要がある場合を除き、これらの要素を単数形で記述する。デジタルイメージング装置550の択一的な形態を、当業者によって理解されるように使用することもできる。
【0049】
1つまたは複数のプロセッサ555は例えば、命令を並列に処理することができる中央処理ユニット(「CPU」)および別個のグラフィックスプロセッシングユニット(「GPU」)を含むことができ、またはプロセッサ555は、命令を並列に処理することができるマルチコアプロセッサを含むことができる。特定のコンポーネントをコントロールするため、または画像処理のような特定の機能を実行するために、付加的な、別個のプロセッサを設けることもできる。例えば、付加的なプロセッサは、データ入力を管理するための補助プロセッサ、浮動小数点演算を実行するための補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを備える特定用途向けプロセッサ(例えばデジタル信号プロセッサ)、メインプロセッサに従属するスレーブプロセッサ(例えばバックエンドプロセッサ)、ならびにラインスキャンカメラ615、ステージ580、対物レンズ600および/またはディスプレイ(図示せず)をコントロールするための付加的なプロセッサを含むことができる。かかる付加的なプロセッサは、別個の個別のプロセッサであってよく、またはプロセッサ555と統合されてよい。
【0050】
メモリ565は、プロセッサ555によって実行することができるプログラムのためのデータおよび命令のストレージを提供する。メモリ565は、データおよび命令を格納する1つまたは複数の揮発性のコンピュータ可読記憶媒体および/または不揮発性のコンピュータ可読記憶媒体、例えばランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、ハードディスクドライブ、取外し可能なストレージドライブおよび/またはこれらに類するものなどを含むことができる。プロセッサ555を、メモリ565内に格納されている命令を実行し、通信バス560を介してデジタルイメージング装置550の種々の要素と通信して、デジタルイメージング装置550の全体的な機能を実行するように構成することができる。
【0051】
1つまたは複数の通信バス560は、アナログ電気信号を伝送するように構成されている通信バス560および/またはデジタルデータを伝送するように構成されている通信バス560を含むことができる。したがって、1つまたは複数の通信バス560を介したプロセッサ555、モーションコントローラ570および/またはインターフェースシステム575からの通信は、電気信号および/またはデジタルデータを含むことができる。プロセッサ555、モーションコントローラ570および/またはインターフェースシステム575を、無線通信リンクを介して、デジタルイメージング装置550の種々の要素のうちの1つまたは複数と通信するように構成することもできる。
【0052】
モーションコントロールシステム570は、(例えば対物レンズポジショナ630を介した)ステージ580および/または対物レンズ600のXYZ移動を正確にコントロールし、調整するように構成されている。モーションコントロールシステム570は、デジタルイメージング装置550内の任意の他の可動部分の動きをコントロールするように構成されていてもよい。例えば、蛍光スキャナの実施形態では、モーションコントロールシステム570は、落射照明システム635における光学フィルタなどの移動を調整するように構成されていてよい。
【0053】
インターフェースシステム575は、デジタルイメージング装置550が他のシステムおよび人間であるオペレータと相互作用することを可能にする。例えば、インターフェースシステム575は、オペレータに直接に情報を提供するため、かつ/またはオペレータからの直接の入力を可能にするためのユーザインターフェース(例えば、グラフィカルユーザインターフェース)を含むことができる。インターフェースシステム575が、デジタルイメージング装置550と、直接的に接続されている1つまたは複数のローカル外部装置(例えばプリンタ、取外し可能な記憶媒体など)および/またはネットワークを介してデジタルイメージング装置550に接続されている1つまたは複数のリモート外部装置(例えば画像サーバ、オペレータステーション、ユーザステーション、管理サーバなど)との間の通信およびデータ転送を容易にするように構成されていてもよい。
【0054】
照明システム595は、標本590の一部を照明するように構成されていてよい。例えば、照明システム595は、光源および照明光学系を含み得る。光源は、光出力を最大化するための凹面反射鏡と、熱を抑制するためのKG-1フィルタとを備える可変強度ハロゲン光源であってよい。光源は、任意のタイプのアークランプ、レーザまたは他の光源であってもよい。ある実施形態では、照明システム595は、ラインスキャンカメラ615および/またはエリアスキャンカメラ620が標本590を通って伝送される光エネルギをセンシングするように、透過モードで標本590を照明する。択一的にまたは組み合わせて、照明システム595は、ラインスキャンカメラ615および/またはエリアスキャンカメラ620が標本590から反射された光エネルギをセンシングするように、反射モードで標本590を照明するように構成されていてよい。全体として、照明システム595は、光学顕微鏡の任意の既知のモードにおいて、顕微鏡標本590の調査に適するように構成されている。
【0055】
ある実施形態では、デジタルイメージング装置550は、任意選択的に、蛍光スキャニングのためにデジタルイメージング装置550を最適化する落射照明システム635を含んでいる。蛍光スキャニングは、特定の波長(励起)で光を吸収することができる光子感応性分子である蛍光分子を含んでいる標本590のスキャニングである。これらの光子感受性分子は、より長い波長(放射)での光放出も行う。このフォトルミネッセンス現象の効率は極めて低いので、多くの場合、放出される光の量は極めて少ない。この少ない量の放出される光によって、典型的に、標本590をスキャニングおよびデジタル化するための従来の技術(例えば透過モード顕微鏡法)が阻まれる。有利には、デジタルイメージング装置550の蛍光スキャナシステムの実施形態では、複数のラインセンサアレイ(例えばtime delay integration((「TDI」)ラインスキャンカメラ))を含んでいるラインスキャンカメラ615を使用することは、ラインスキャンカメラ615の複数のラインセンサアレイの各ラインセンサアレイに対して標本590の同じエリアを露光することによって、ラインスキャンカメラ615の光に対する感度を高める。これは、放出される光が少ない、微弱な蛍光標本のスキャニングの際に特に有用である。
【0056】
したがって、蛍光スキャナシステムの実施形態では、ラインスキャンカメラ615は、好適には、モノクロTDIラインスキャンカメラである。モノクロ画像は、標本590上に存在する種々のチャネルからの実際の信号のより正確な表現を提供するので、蛍光顕微鏡法において理想的である。当業者に理解されるように、蛍光標本590は、「チャネル」とも称される異なる波長で光を放出する複数の蛍光色素で標識付けされてよい。
【0057】
さらに、種々の蛍光標本590のローエンド信号レベルおよびハイエンド信号レベルは、ラインスキャンカメラ615がセンシングする広範な波長を提示するので、ラインスキャンカメラ615がセンシングできるローエンド信号レベルおよびハイエンド信号レベルが同様に広範であるのが望ましい。したがって、蛍光スキャナの実施形態では、デジタルイメージング装置550において使用されるラインスキャンカメラ615は、モノクロ10ビット64線形アレイTDIラインスキャンカメラである。ラインスキャンカメラ615の種々のビット深さを、デジタルイメージング装置550の蛍光スキャナの実施形態と共に使用するために用いることができることに留意されたい。
【0058】
ある実施形態では、可動ステージ580は、プロセッサ555またはモーションコントローラ570のコントロールのもとで正確なXY移動を行うように構成されている。可動ステージ580は、プロセッサ555またはモーションコントローラ570のコントロールのもとでZ方向の移動のために構成されていてもよい。可動ステージ580は、ラインスキャンカメラ615および/またはエリアスキャンカメラ620による画像捕捉中、標本590を所望の位置に位置決めするように構成されていてよい。可動ステージ580はスキャニング方向において実質的に一定の速度まで標本590を加速させ、次いで、ラインスキャンカメラ615による画像捕捉中に実質的に一定の速度を維持するように構成されていてもよい。ある実施形態では、デジタルイメージング装置550は、可動ステージ580上の標本590の配置を支援するために、高精度で厳密に調整されたXYグリッドを用いることができる。ある実施形態では、可動ステージ580は、X軸およびY軸の両方において用いられる高精度エンコーダを備えるリニアモータベースのXYステージである。例えば、極めて精密なナノメートルエンコーダを、スキャニング方向における軸線およびスキャニング方向に対して垂直な方向にあり、かつスキャニング方向と同じ平面上にある軸線上で使用することができる。ステージ580は、標本590が配置されているスライドガラス585を支持するように構成されていてもよい。
【0059】
標本590は、光学顕微鏡法によって調査可能なものであればどのようなものであってもよい。例えば、顕微鏡スライドガラス585は、組織および細胞、染色体、DNA、タンパク質、血液、骨髄、尿、細菌、ビーズ、生検材料、または死んだもしくは生きている、染色されているもしくは染色されていない、標識付けされているもしくは標識付けされていない任意の他のタイプの生物学的材料または物質を含んでいる試料の観察基材として使用されることが多い。標本590は、マイクロアレイとして一般に知られている任意の標本および全ての標本を含んでいる、任意のタイプのスライドまたは他の基板上に置かれる任意のタイプのDNAまたはDNA関連材料、例えばcDNA、RNAまたはタンパク質のアレイであってもよい。標本590は、マイクロタイタプレート、例えば96ウェルプレートであってよい。標本590の他の例には、集積回路基板、電気泳動記録、ペトリ皿、フィルム、半導体材料、法医学材料または機械加工部品が含まれる。
【0060】
ある実施形態では、対物レンズ600は、対物レンズ600によって定義されている光軸に沿って対物レンズ600を移動させるために極めて正確なリニアモータを用いることができる対物レンズポジショナ630に取り付けられている。例えば、対物レンズポジショナ630のリニアモータは、50ナノメートルエンコーダを含むことができる。XYZ軸におけるステージ580と対物レンズ600との相対位置は、プロセッサ555のコントロール下でモーションコントローラ570を使用して閉ループ方式で調整され、コントロールされる。プロセッサ555は、デジタルイメージング装置550の全体的な動作のためのコンピュータ実行可能にプログラミングされたステップを含んでいる情報および命令を格納するために、メモリ565を用いる。
【0061】
ある実施形態では、対物レンズ600は、所望される最高の空間解像度に相応する開口数を備えるプランアポクロマティック(「APO」)無限補正対物レンズであり、ここでは対物レンズ600は、透過モード照明顕微鏡法、反射モード照明顕微鏡法および/または落射モード蛍光顕微鏡法(例えば、Olympus 40X 0.75NAまたは20X 0.75NA)に適している。有利には、対物レンズ600は、色収差および球面収差を補正することができる。対物レンズ600が無限補正される場合、フォーカシング光学系610は、対物レンズを通過した光ビームがコリメートされた光ビームとなる、対物レンズ600の上方の光路605に配置可能である。フォーカシング光学系610は、対物レンズ600によって捕捉された光信号をラインスキャンカメラ615および/またはエリアスキャンカメラ620の光応答性素子上に集束させ、フィルタ、変倍器レンズおよび/またはこれらに類する光学コンポーネントを含むことができる。対物レンズ600は、フォーカシング光学系610と組み合わされて、デジタルイメージング装置550に対する総計された倍率を提供する。ある実施形態では、フォーカシング光学系610は、チューブレンズおよび任意選択的な2X変倍器を含むことができる。有利には、2X変倍器は、元来の20X対物レンズ600が、40Xの倍率で標本590をスキャンすることを可能にする。
【0062】
ある実施形態では、ラインスキャンカメラ615は、画素(「ピクセル」)の少なくとも1つの線形アレイを含んでいる。ラインスキャンカメラは、モノクロであっても、カラーであってもよい。カラーラインスキャンカメラが典型的には少なくとも3つの線形アレイを有するのに対して、モノクロラインスキャンカメラは1つの線形アレイまたは複数の線形アレイを有することができる。カメラの一部としてパッケージされているか、またはイメージング電子モジュール内にカスタム統合されているかにかかわらず、任意のタイプの単数の線形アレイまたは複数の線形アレイを使用することもできる。例えば、3つの線形アレイ(「赤-緑-青」または「RGB」)のカラーラインスキャンカメラまたは96つの線形アレイのモノクロTDIが使用されてよい。TDIラインスキャンカメラは典型的に、以前に撮像された試料領域からの強度データ合計することによって、出力信号において格段に良好な信号対ノイズ比(「SNR」)を提供し、これによって、積分段の数の平方根に比例してSNRが増大する。TDIラインスキャンカメラは、複数の線形アレイを含んでいる。例えば、24個、32個、48個、64個、96個またはより多くの線形アレイを備えるTDIラインスキャンカメラが利用可能である。デジタルイメージング装置550は、512個のピクセルを有するもの、1024個のピクセルを有するもの、および4096個のピクセルまたはそれより多くのピクセルを有するものを含む、種々の形式で製造された線形アレイもサポートする。同様に、種々のピクセルサイズを有する線形アレイをデジタルイメージング装置550において使用することもできる。任意のタイプのラインスキャンカメラ615を選択するための顕著な要件は、ステージ580を、標本590の画像捕捉中にラインスキャンカメラ615に対して動かすことを可能にするために、ステージ580の動きをラインスキャンカメラ615のラインレートと同期させることができることである。
【0063】
ラインスキャンカメラ615によって生成された画像データはメモリ565内に格納されてよく、標本590の少なくとも一部の連続するデジタル画像を生成するために、プロセッサ555によって処理されてよい。プロセッサ555によって、連続するデジタル画像がさらに処理されてよく、修正された連続するデジタル画像はメモリ565内に格納されてよい。
【0064】
2つ以上のラインスキャンカメラ615を備える実施形態では、ラインスキャンカメラ615のうちの少なくとも1つは、イメージングセンサとして機能するように構成されているラインスキャンカメラ615のうちの少なくとも1つと組み合わせて動作するフォーカシングセンサとして機能するように構成されていてよい。フォーカシングセンサは、論理的に、イメージングセンサと同じ光路上に配置可能であり、またはフォーカシングセンサは、論理的に、デジタルイメージング装置550のスキャニング方向に関してイメージングセンサの前または後に配置可能である。少なくとも1つのラインスキャンカメラ615がフォーカシングセンサとして機能するこのような実施形態では、フォーカシングセンサによって生成された画像データはメモリ565内に格納されてよく、スキャニング中に標本590に焦点を維持するために、デジタルイメージング装置550が標本590と対物レンズ600との間の相対距離を調整することを可能にする焦点情報を生成するためにプロセッサ555によって処理されてよい。
【0065】
動作中、デジタルイメージング装置550の種々のコンポーネントおよびメモリ565内に格納されているプログラミングされたモジュールによって、スライドガラス585上に置かれている標本590の自動スキャニングおよびデジタル化が可能になる。スライドガラス585は、標本590のスキャニングのために、デジタルイメージング装置550の可動ステージ580上に安全に配置され得る。プロセッサ555のコントロール下で、可動ステージ580は、ラインスキャンカメラ615によるセンシングのために、標本590を、実質的に一定の速度まで加速させる。ここで、ステージ580の速度はラインスキャンカメラ615のラインレートと同期される。画像データのストリップのスキャニングの後、可動ステージ580は減速し、標本590を実質的に完全に停止させる。次いで可動ステージ580は、スキャニング方向に対して直交するように移動し、画像データの後続のストリップ(例えば隣接するストリップ)のスキャニングのために標本590をポジショニングする。標本590の一部分全体または標本590全体がスキャンされるまで、付加的なストリップがスキャンされる。
【0066】
例えば、標本590のデジタルスキャニング中に、標本590の連続するデジタル画像が、複数の連続する視野として取得されてよく、これらの連続するデジタル画像が結合されて、画像ストリップが形成される。複数の隣接する画像ストリップが相互に同様に結合されて、標本590の一部分または全体の連続するデジタル画像が形成される。標本590のスキャニングは、垂直画像ストリップまたは水平画像ストリップの取得を含み得る。標本590のスキャニングは、上から下でも、下から上でも、またはその両方(双方向)であってもよく、標本590上の任意の点から開始されてよい。択一的に、標本590のスキャニングは、左から右でも、右から左でも、またはその両方(双方向)であってもよく、標本590上の任意の点から開始されてよい。さらに、複数の画像ストリップが隣接して、または連続して取得される必要はない。さらに、結果として生じる、標本590の画像は、標本590全体の画像であってもよいし、標本590の一部のみの画像であってもよい。
【0067】
ある実施形態では、コンピュータ実行可能命令(例えばプログラミングされたモジュールまたはソフトウェア)がメモリ565内に格納されており、実行時に、本明細書で説明された種々の機能をデジタルイメージング装置550が実行することを可能にする。本明細書において、用語「コンピュータ可読記憶媒体」は、コンピュータ実行可能命令を格納し、プロセッサ555による実行のためにデジタルイメージング装置550に提供するために使用される任意の媒体を指すために使用される。これらの媒体の例には、メモリ565と、デジタルイメージング装置550と直接または例えばネットワーク(図示せず)を介して間接に通信可能と結合されている、任意の取外し可能な記憶媒体または外部記憶媒体(図示せず)とが含まれる。
【0068】
図5Bは、電荷結合素子(「CCD」)アレイとして実装され得る1つの線形アレイ640を有しているラインスキャンカメラ615を示している。1つの線形アレイ640は、複数の個々のピクセル645を含んでいる。図示の実施形態では、1つの線形アレイ640は4096個のピクセル645を有している。択一的な実施形態では、線形アレイ640は、より多くのまたはより少ないピクセル645を有することができる。例えば、線形アレイの共通のフォーマットは512個のピクセル645、1024個のピクセル645および4096個のピクセル645を含んでいる。ピクセル645は、線形アレイ640の視野625を定義するように線形の様式で配置される。視野625のサイズは、デジタルイメージング装置550の倍率に応じて変化する。
【0069】
図5Cは、3つの線形アレイを有しているラインスキャンカメラ615を示しており、各線形アレイはCCDアレイとして実装され得る。これらの3つの線形アレイが結合されて、カラーアレイ650が形成される。ある実施形態では、カラーアレイ650における個々の線形アレイによって、異なる色強度(例えば赤色、緑色または青色)が検出される。カラーアレイ650における各個々の線形アレイからのカラー画像データが結合されて、カラー画像データの1つの視野625が形成される。
【0070】
図5Dは、複数の線形アレイを有しているラインスキャンカメラを示しており、各線形アレイはCCDアレイとして実装され得る。これらの複数の線形アレイは集合的にTDIアレイ655を形成する。有利には、TDIラインスキャンカメラは、以前に撮像された試料領域からの強度データ合計することによって、自身の出力信号において格段に良好なSNRを提供してよく、これによって、線形アレイの数の平方根(積分段とも称される)に比例してSNRが増大する。TDIラインスキャンカメラは、より多数の様々な数の線形アレイを含むことができる。例えば、TDIラインスキャンカメラの一般的なフォーマットは、24個の線形アレイ、32個の線形アレイ、48個の線形アレイ、64個の線形アレイ、96個の線形アレイ、120個の線形アレイおよびさらに多くの線形アレイを含んでいる。
【0071】
開示された実施形態の上記の説明は、あらゆる当業者が本発明を製造または使用することを可能にするために提供されている。これらの実施形態に対する種々の変更は、当業者には容易に明らかであり、本明細書で説明される一般的な原理を、本発明の精神または範囲から逸脱することなく、他の実施形態に適用することができる。したがって、本明細書に示された説明および図面は、本発明の現在の好ましい実施形態を表し、したがって、本発明によって広く企図される主題を表すことを理解されたい。さらに自明のとおり、本発明の範囲は、当業者に明らかになり得る他の実施形態を完全に包含しており、したがって本発明の範囲は限定されていない。
図1A
図1B
図2
図3A
図3B
図4
図5A
図5B
図5C
図5D
【手続補正書】
【提出日】2021-08-12
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
スライドスキャニング装置であって、前記スライドスキャニング装置は、
数のラインセンサと、対物レンズと、少なくとも1つのハードウェアプロセッサと、を含んでおり、
前記複数のラインセンサは、標本の複数のライン画像を生成するように構成されており、前記複数のラインセンサの各ラインセンサは、複数のピクセルセンサを含んでおり、前記複数のラインセンサの各ラインセンサは、前記ラインセンサの長手方向において、各ピクセルセンサの長さのある割合だけ、前記複数のラインセンサのうちの隣接する1つのラインセンサからオフセットされており、前記複数のピクセルセンサの各ピクセルセンサは、前記ラインセンサの前記長手方向に沿って引き延ばされている、定義された形状を有しており、
前記対物レンズは、前記標本の同じ視野を前記複数のラインセンサの各ラインセンサに順次に提供するように構成されており、
前記少なくとも1つのハードウェアプロセッサは、前記標本上の複数の位置の各位置に対して、
記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成するように構成されており、前記複数のピクセルの各ピクセルの前記定義された形状は、前記ライン画像が結合されたときに正方形の形状のサブピクセルを生成するような大きさを有しており、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成するように構成されており、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成するように構成されている
スライドスキャニング装置。
【請求項2】
前記複数のラインセンサは、N個のラインセンサから成っており、前記複数のラインセンサの各ラインセンサが隣接するラインセンサからオフセットされる、各ピクセルセンサの前記長さの前記割合は、1/Nである、
請求項1記載のスライドスキャニング装置。
【請求項3】
前記標本上の前記複数の位置の各位置に対して、前記同じ視野の前記ライン画像は、ゼロから(N-1)/NまでのN個のオフセットに対するライン画像を含んでいる、
請求項2記載のスライドスキャニング装置。
【請求項4】
前記標本上の前記複数の位置の各位置に対して、前記同じ視野の前記ライン画像を結合することは、前記少なくともピクセルサブセットの各々に対して、それらの各オフセットで各前記ライン画像からの前記ピクセルに対する強度値を合計することを含んでいる、
請求項3記載のスライドスキャニング装置。
【請求項5】
前記少なくとも1つのハードウェアプロセッサは、さらに
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、複数の画像ストリップを形成するように構成されており
前記複数の画像ストリップの各画像ストリップを、前記複数の画像ストリップのうちの隣接する少なくとも1つの画像ストリップと位置調整して、連続するデジタル画像を形成するように構成されている、
請求項1記載のスライドスキャニング装置。
【請求項6】
少なくとも1つのハードウェアプロセッサを用いることを含む方法であって、前記少なくとも1つのハードウェアプロセッサは、
ライン画像を生成するように構成されている複数のラインセンサから標本の複数の前記ライン画像を受け取り、前記複数のラインセンサの各ラインセンサは、複数のピクセルセンサを含んでおり、前記複数のラインセンサの各ラインセンサは、前記ラインセンサの長手方向において、各ピクセルセンサの長さのある割合だけ、前記複数のラインセンサのうちの隣接する1つのラインセンサからオフセットされており、前記複数のピクセルセンサの各ピクセルセンサは、前記ラインセンサの前記長手方向に沿って引き延ばされている、定義された形状を有しており、
標本の同じ視野を前記複数のラインセンサの各ラインセンサに順次に提供するように構成されている対物レンズをコントロールし、
前記標本上の前記複数の位置の各位置に対して、
前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、前記複数のピクセルの各ピクセルの前記定義された形状は、前記ライン画像が結合されたときに正方形の形状のサブピクセルを生成するような大きさを有しており、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成し、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成する、
方法。
【請求項7】
命令が格納されている非一時的なコンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、次のこと、すなわち
ライン画像を生成するように構成されている複数のラインセンサから標本の複数の前記ライン画像を受け取り、前記複数のラインセンサの各ラインセンサは、複数のピクセルセンサを含んでおり、前記複数のラインセンサの各ラインセンサは、前記ラインセンサの長手方向において、各ピクセルセンサの長さのある割合だけ、前記複数のラインセンサのうちの隣接する1つのラインセンサからオフセットされており、前記複数のピクセルセンサの各ピクセルセンサは、前記ラインセンサの前記長手方向に沿って引き延ばされている、定義された形状を有しており、
標本の同じ視野を前記複数のラインセンサの各ラインセンサに順次に提供するように構成されている対物レンズをコントロールし、
前記標本上の前記複数の位置の各位置に対して、
前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、前記複数のピクセルの各ピクセルの前記定義された形状は、前記ライン画像が結合されたときに正方形の形状のサブピクセルを生成するような大きさを有しており、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成し、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成することを、
を行わせる、
非一時的なコンピュータ可読媒体。
【請求項8】
スライドスキャニング装置であって、前記スライドスキャニング装置は、
標本を有している顕微鏡スライドを支持するステージと、ラインスキャンカメラと、対物レンズと、少なくとも1つのハードウェアプロセッサと、を含んでおり、
前記ラインスキャンカメラは、ピクセルセンサの2次元アレイを含んでおり、前記2次元アレイは、第1の軸線に対して平行な列と、前記第1の軸線に対して直交する第2の軸線に対して平行な行と、を含んでおり、複数のピクセルセンサの各ピクセルセンサは、引き延ばされている、定義された形状を有しており、
前記対物レンズは、前記標本の同じ視野を前記2次元アレイにおける複数の行の各行に順次に提供するように構成されており、
前記少なくとも1つのハードウェアプロセッサは、前記標本上の複数の位置の各位置に対して、
前記ステージ、前記対物レンズおよび前記ラインスキャンカメラのうちの1つまたは複数をコントロールするように構成されており、これによって、前記2次元アレイにおける前記複数の行に提供される前記標本の前記視野が前記第1の軸線および前記第2の軸線に対してゼロでない角度で前記2次元アレイにおける前記複数の行にわたって移動し、これによって、前記複数の行における各行が各ピクセルセンサの長さの異なる割合に等しいオフセットで前記同じ視野をセンシングし、
前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成するように構成されており、前記複数のピクセルの各ピクセルの前記定義された形状は、前記ライン画像が結合されたときに正方形の形状のサブピクセルを生成するような大きさを有しており、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成するように構成されており
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成するように構成されている
スライドスキャニング装置。
【請求項9】
前記ステージは、電動化されたステージであり、前記ステージ、前記対物レンズおよび前記ラインスキャンカメラのうちの1つまたは複数をコントロールすることは、前記対物レンズに対して移動するように前記電動化されたステージをコントロールすることを含んでいる、
請求項8記載のスライドスキャニング装置。
【請求項10】
前記複数の行は、N個の行から成っており、前記第1の軸線に対する前記角度は、1/Nの逆正接に等しい、
請求項8記載のスライドスキャニング装置。
【請求項11】
前記標本上の前記複数の位置の各位置に対して、前記同じ視野の前記ライン画像は、ゼロから(N-1)/NまでのN個のオフセットに対するライン画像を含んでいる、
請求項10記載のスライドスキャニング装置。
【請求項12】
少なくとも1つのハードウェアプロセッサを用いることを含む方法であって、前記少なくとも1つのハードウェアプロセッサは、
ラインスキャンカメラから画像データを受け取り、前記ラインスキャンカメラは、ピクセルセンサの2次元アレイを含んでおり、前記2次元アレイは、第1の軸線に対して平行な列と、前記第1の軸線に対して直交する第2の軸線に対して平行な行と、を含んでおり、複数のピクセルセンサの各ピクセルセンサは、引き延ばされている、定義された形状を有しており、
標本の同じ視野を前記2次元アレイにおける複数の行の各行に順次に提供するように構成されている対物レンズをコントロールし、
前記標本上の複数の位置の各位置に対して、
ステージ、前記対物レンズおよび前記ラインスキャンカメラのうちの1つまたは複数をコントロールし、これによって、前記2次元アレイにおける前記複数の行に提供される前記標本の前記視野が前記第1の軸線および前記第2の軸線に対してゼロでない角度で前記2次元アレイにおける前記複数の行にわたって移動し、これによって、前記複数の行における各行が各ピクセルセンサの長さの異なる割合に等しいオフセットで前記同じ視野をセンシングし、
前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、前記複数のピクセルの各ピクセルの前記定義された形状は、前記ライン画像が結合されたときに正方形の形状のサブピクセルを生成するような大きさを有しており、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成し、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成する、
方法。
【請求項13】
命令が格納されている非一時的なコンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、次のこと、すなわち
ラインスキャンカメラから画像データを受け取り、前記ラインスキャンカメラは、ピクセルセンサの2次元アレイを含んでおり、前記2次元アレイは、第1の軸線に対して平行な列と、前記第1の軸線に対して直交する第2の軸線に対して平行な行と、を含んでおり、
標本の同じ視野を前記2次元アレイにおける複数の行の各行に順次に提供するように構成されている対物レンズをコントロールし、
前記標本上の前記複数の位置の各位置に対して、
ステージ、前記対物レンズおよび前記ラインスキャンカメラのうちの1つまたは複数をコントロールし、これによって、前記2次元アレイにおける前記複数の行に提供される前記標本の前記視野が前記第1の軸線および前記第2の軸線に対してゼロでない角度で前記2次元アレイにおける前記複数の行にわたって移動し、これによって、前記複数の行における各行が各ピクセルセンサの長さの異なる割合に等しいオフセットで前記同じ視野をセンシングし、
前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、前記複数のピクセルの各ピクセルの定義された形状は、前記ライン画像が結合されたときに正方形の形状のサブピクセルを生成するような大きさを有しており、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成し、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成することを、
を行わせる、
非一時的なコンピュータ可読媒体。
【手続補正書】
【提出日】2022-05-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
スライドスキャニング装置であって、前記スライドスキャニング装置は、
複数のラインセンサと、対物レンズと、少なくとも1つのハードウェアプロセッサと、を含んでおり、
前記複数のラインセンサは、標本の複数のライン画像を生成するように構成されており、前記複数のラインセンサの各ラインセンサは、複数のピクセルセンサを含んでおり、前記複数のラインセンサの各ラインセンサは、前記ラインセンサの長手方向において、各ピクセルセンサの長さのある割合だけ、前記複数のラインセンサのうちの隣接する1つのラインセンサからオフセットされており、前記複数のピクセルセンサの各ピクセルセンサは、前記ラインセンサの前記長手方向に沿って引き延ばされている、定義された形状を有しており、
前記対物レンズは、前記標本の同じ視野を前記複数のラインセンサの各ラインセンサに順次に提供するように構成されており、
前記少なくとも1つのハードウェアプロセッサは、前記標本上の複数の位置の各位置に対して、
前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成するように構成されており、前記複数のピクセルの各ピクセルの前記定義された形状は、前記ライン画像が結合されたときに正方形の形状のサブピクセルを生成するような大きさを有しており、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成するように構成されており、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成するように構成されている、
スライドスキャニング装置。
【請求項2】
前記複数のラインセンサは、N個のラインセンサから成っており、前記複数のラインセンサの各ラインセンサが隣接するラインセンサからオフセットされる、各ピクセルセンサの前記長さの前記割合は、1/Nである、
請求項1記載のスライドスキャニング装置。
【請求項3】
前記標本上の前記複数の位置の各位置に対して、前記同じ視野の前記ライン画像は、ゼロから(N-1)/NまでのN個のオフセットに対するライン画像を含んでいる、
請求項2記載のスライドスキャニング装置。
【請求項4】
前記標本上の前記複数の位置の各位置に対して、前記同じ視野の前記ライン画像を結合することは、前記少なくともピクセルサブセットの各々に対して、それらの各オフセットで各前記ライン画像からの前記ピクセルに対する強度値を合計することを含んでいる、
請求項3記載のスライドスキャニング装置。
【請求項5】
前記少なくとも1つのハードウェアプロセッサは、さらに
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、複数の画像ストリップを形成するように構成されており、
前記複数の画像ストリップの各画像ストリップを、前記複数の画像ストリップのうちの隣接する少なくとも1つの画像ストリップと位置調整して、連続するデジタル画像を形成するように構成されている、
請求項1記載のスライドスキャニング装置。
【請求項6】
少なくとも1つのハードウェアプロセッサを用いることを含む方法であって、前記少なくとも1つのハードウェアプロセッサは、
ライン画像を生成するように構成されている複数のラインセンサから標本の複数の前記ライン画像を受け取り、前記複数のラインセンサの各ラインセンサは、複数のピクセルセンサを含んでおり、前記複数のラインセンサの各ラインセンサは、前記ラインセンサの長手方向において、各ピクセルセンサの長さのある割合だけ、前記複数のラインセンサのうちの隣接する1つのラインセンサからオフセットされており、前記複数のピクセルセンサの各ピクセルセンサは、前記ラインセンサの前記長手方向に沿って引き延ばされている、定義された形状を有しており、
標本の同じ視野を前記複数のラインセンサの各ラインセンサに順次に提供するように構成されている対物レンズをコントロールし、
前記標本上の前記複数の位置の各位置に対して、
前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、前記複数のピクセルの各ピクセルの前記定義された形状は、前記ライン画像が結合されたときに正方形の形状のサブピクセルを生成するような大きさを有しており、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成し、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成する、
方法。
【請求項7】
命令が格納されている非一時的なコンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、次のこと、すなわち
ライン画像を生成するように構成されている複数のラインセンサから標本の複数の前記ライン画像を受け取り、前記複数のラインセンサの各ラインセンサは、複数のピクセルセンサを含んでおり、前記複数のラインセンサの各ラインセンサは、前記ラインセンサの長手方向において、各ピクセルセンサの長さのある割合だけ、前記複数のラインセンサのうちの隣接する1つのラインセンサからオフセットされており、前記複数のピクセルセンサの各ピクセルセンサは、前記ラインセンサの前記長手方向に沿って引き延ばされている、定義された形状を有しており、
標本の同じ視野を前記複数のラインセンサの各ラインセンサに順次に提供するように構成されている対物レンズをコントロールし、
前記標本上の前記複数の位置の各位置に対して、
前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、前記複数のピクセルの各ピクセルの前記定義された形状は、前記ライン画像が結合されたときに正方形の形状のサブピクセルを生成するような大きさを有しており、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成し、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成することを、
を行わせる、
非一時的なコンピュータ可読媒体。
【請求項8】
前記命令はさらに、前記プロセッサに、次のこと、すなわち
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、複数の画像ストリップを形成し、
前記複数の画像ストリップの各画像ストリップを、前記複数の画像ストリップのうちの隣接する少なくとも1つの画像ストリップと位置調整して、連続するデジタル画像を形成することを、
を行わせる、
請求項7記載の非一時的なコンピュータ可読媒体。
【請求項9】
前記複数のラインセンサは、N個のラインセンサから成っており、前記複数のラインセンサの各ラインセンサが隣接するラインセンサからオフセットされる、各ピクセルセンサの前記長さの前記割合は、1/Nである、
請求項7記載の非一時的なコンピュータ可読媒体。
【請求項10】
前記標本上の前記複数の位置の各位置に対して、前記同じ視野の前記ライン画像は、ゼロから(N-1)/NまでのN個のオフセットに対するライン画像を含んでいる、
請求項9記載の非一時的なコンピュータ可読媒体。
【請求項11】
前記標本上の前記複数の位置の各位置に対して、前記同じ視野の前記ライン画像を結合することは、前記少なくともピクセルサブセットの各々に対して、それらの各オフセットで各前記ライン画像からの前記ピクセルに対する強度値を合計することを含んでいる、
請求項10記載の非一時的なコンピュータ可読媒体。
【請求項12】
スライドスキャニング装置であって、前記スライドスキャニング装置は、
標本を有している顕微鏡スライドを支持するステージと、ラインスキャンカメラと、対物レンズと、少なくとも1つのハードウェアプロセッサと、を含んでおり、
前記ラインスキャンカメラは、ピクセルセンサの2次元アレイを含んでおり、前記2次元アレイは、第1の軸線に対して平行な列と、前記第1の軸線に対して直交する第2の軸線に対して平行な行とを含んでおり、前記複数のピクセルセンサの各ピクセルセンサは、引き延ばされている、定義された形状を有しており、
前記対物レンズは、前記標本の同じ視野を前記2次元アレイにおける複数の行の各行に順次に提供するように構成されており、
前記少なくとも1つのハードウェアプロセッサは、前記標本上の複数の位置の各位置に対して、
前記ステージ、前記対物レンズおよび前記ラインスキャンカメラのうちの1つまたは複数をコントロールするように構成されており、これによって、前記2次元アレイにおける前記複数の行に提供される前記標本の前記視野が前記第1の軸線および前記第2の軸線に対してゼロでない角度で前記2次元アレイにおける前記複数の行にわたって移動し、これによって、前記複数の行における各行が各ピクセルセンサの長さの異なる割合に等しいオフセットで前記同じ視野をセンシングし、
前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成するように構成されており、前記複数のピクセルの各ピクセルの前記定義された形状は、前記ライン画像が結合されたときに正方形の形状のサブピクセルを生成するような大きさを有しており、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成するように構成されており、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成するように構成されている、
スライドスキャニング装置。
【請求項13】
前記ステージは、電動化されたステージであり、前記ステージ、前記対物レンズおよび前記ラインスキャンカメラのうちの1つまたは複数をコントロールすることは、前記対物レンズに対して移動するように前記電動化されたステージをコントロールすることを含んでいる、
請求項12記載のスライドスキャニング装置。
【請求項14】
前記複数の行は、N個の行から成っており、前記第1の軸線に対する前記角度は、1/Nの逆正接に等しい、
請求項12記載のスライドスキャニング装置。
【請求項15】
前記標本上の前記複数の位置の各位置に対して、前記同じ視野の前記ライン画像は、ゼロから(N-1)/NまでのN個のオフセットに対するライン画像を含んでいる、
請求項14記載のスライドスキャニング装置。
【請求項16】
少なくとも1つのハードウェアプロセッサを用いることを含む方法であって、前記少なくとも1つのハードウェアプロセッサは、
ラインスキャンカメラから画像データを受け取り、前記ラインスキャンカメラは、ピクセルセンサの2次元アレイを含んでおり、前記2次元アレイは、第1の軸線に対して平行な列と、前記第1の軸線に対して直交する第2の軸線に対して平行な行と、を含んでおり、複数のピクセルセンサの各ピクセルセンサは、引き延ばされている、定義された形状を有しており、
標本の同じ視野を前記2次元アレイにおける複数の行の各行に順次に提供するように構成されている対物レンズをコントロールし、
前記標本上の複数の位置の各位置に対して、
ステージ、前記対物レンズおよび前記ラインスキャンカメラのうちの1つまたは複数をコントロールし、これによって、前記2次元アレイにおける前記複数の行に提供される前記標本の前記視野が前記第1の軸線および前記第2の軸線に対してゼロでない角度で前記2次元アレイにおける前記複数の行にわたって移動し、これによって、前記複数の行における各行が各ピクセルセンサの長さの異なる割合に等しいオフセットで前記同じ視野をセンシングし、
前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、前記複数のピクセルの各ピクセルの前記定義された形状は、前記ライン画像が結合されたときに正方形の形状のサブピクセルを生成するような大きさを有しており、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成し、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成する、
方法。
【請求項17】
命令が格納されている非一時的なコンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、次のこと、すなわち
ラインスキャンカメラから画像データを受け取り、前記ラインスキャンカメラは、ピクセルセンサの2次元アレイを含んでおり、前記2次元アレイは、第1の軸線に対して平行な列と、前記第1の軸線に対して直交する第2の軸線に対して平行な行と、を含んでおり、
標本の同じ視野を前記2次元アレイにおける複数の行の各行に順次に提供するように構成されている対物レンズをコントロールし、
前記標本上の前記複数の位置の各位置に対して、
ステージ、前記対物レンズおよび前記ラインスキャンカメラのうちの1つまたは複数をコントロールし、これによって、前記2次元アレイにおける前記複数の行に提供される前記標本の前記視野が前記第1の軸線および前記第2の軸線に対してゼロでない角度で前記2次元アレイにおける前記複数の行にわたって移動し、これによって、前記複数の行における各行が各ピクセルセンサの長さの異なる割合に等しいオフセットで前記同じ視野をセンシングし、
前記同じ視野の前記ライン画像を結合して、前記同じ視野の前記ライン画像内の少なくともピクセルサブセットの各々に対して複数のサブピクセルを生成し、前記複数のピクセルの各ピクセルの定義された形状は、前記ライン画像が結合されたときに正方形の形状のサブピクセルを生成するような大きさを有しており、
生成された前記複数のサブピクセルを含んでいる前記位置のアップサンプリングされたライン画像を生成し、
前記標本上の前記複数の位置の各位置の前記アップサンプリングされたライン画像を結合して、画像を形成することを、
を行わせる、
非一時的なコンピュータ可読媒体。
【請求項18】
前記ステージは、電動化されたステージであり、前記ステージ、前記対物レンズおよび前記ラインスキャンカメラのうちの1つまたは複数をコントロールすることは、前記対物レンズに対して移動するように前記電動化されたステージをコントロールすることを含んでいる、
請求項17記載の非一時的なコンピュータ可読媒体。
【請求項19】
前記複数の行は、N個の行から成っており、前記第1の軸線に対する前記角度は、1/Nの逆正接に等しい、
請求項17記載の非一時的なコンピュータ可読媒体。
【請求項20】
前記標本上の前記複数の位置の各位置に対して、前記同じ視野の前記ライン画像は、ゼロから(N-1)/NまでのN個のオフセットに対するライン画像を含んでいる、
請求項19記載の非一時的なコンピュータ可読媒体。
【国際調査報告】