特許 7068307 テンプレートベースの画像分析のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-06

(45)【発行日】2022-05-16

(54)【発明の名称】テンプレートベースの画像分析のためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/30 20170101AFI20220509BHJP

   G06T 7/00 20170101ALI20220509BHJP

【ＦＩ】

G06T7/30

G06T7/00 300D

【請求項の数】 18

(21)【出願番号】P 2019531545

(86)(22)【出願日】2017-08-24

(65)【公表番号】

(43)【公表日】2019-09-19

(86)【国際出願番号】 US2017048426

(87)【国際公開番号】W WO2018044683

(87)【国際公開日】2018-03-08

【審査請求日】2020-06-15

(31)【優先権主張番号】62/381,974

(32)【優先日】2016-08-31

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】511227336

【氏名又は名称】モレキュラー デバイシーズ， エルエルシー

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(72)【発明者】

【氏名】ジェドライティス， ポーラ カレン

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】米国特許出願公開第２０１５／０２７８６２５（ＵＳ，Ａ１）

【文献】井尻 善久，様々な現場のニーズに対応する画像処理装置，画像ラボ 第２５巻 第７号 Image Laboratory，日本，日本工業出版株式会社，2014年，第25巻，pp.40-46

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

テンプレートベースの画像分析システムであって、前記システムは、
ハイコンテント画像システム（ＨＣＩＳ）から前記ＨＣＩＳ内に装填されたスライドの画像を受信する画像取得モジュールであって、前記受信された画像は、基準マーカに関連付けられたエリアと、サンプル場所に関連付けられたエリアとを含む、画像取得モジュールと、
取得画像データ記憶部であって、前記取得画像データ記憶部は、以前に取得された画像を記憶しており、前記以前に取得された画像は、異なるスライドの画像であり、各スライドは、前記受信された画像内に表されているのと同様に互いに対して位置付けられる基準マーカおよびサンプル場所のアレイを含む、取得画像データ記憶部と、
前記受信された画像のバイナリ画像を開発し、かつ、基準マーカに関連付けられていると予期される前記バイナリ画像のエリアを識別する特徴識別モジュールと、
前記以前に取得された画像に従ってテンプレートを生成するテンプレート生成モジュールと、
前記生成されたテンプレートを前記バイナリ画像と整列させるテンプレート整列モジュールと、
前記テンプレートと前記バイナリ画像との間のオフセットを決定するオフセット計算モジュールと、
計算されたオフセットに従って、前記サンプル場所に関連付けられた前記受信された画像のピクセルの座標を決定する画像セグメント化モジュールと
を備えている、システム。

【請求項2】

前記画像取得モジュールは、前記ＨＣＩＳに前記座標に従って位置付けデバイスを位置付けるように指示し、前記ＨＣＩＳに前記座標に関連付けられた前記サンプル場所の画像を取得するように指示する、請求項１に記載のシステム。

【請求項3】

前記画像セグメント化モジュールは、前記座標に従って前記受信された画像の部分画像を開発する、請求項１に記載のシステム。

【請求項4】

前記生成されたテンプレートは、バイナリ画像である、請求項１に記載のシステム。

【請求項5】

前記テンプレート生成モジュールは、前記テンプレートを生成するために前記受信された画像も使用する、請求項１に記載のシステム。

【請求項6】

前記特徴識別モジュールは、前記以前に取得された画像の各々に関連付けられたバイナリ画像を開発する、請求項１に記載のシステム。

【請求項7】

前記特徴識別モジュールは、特徴に関連する接続されたピクセルの群を識別し、前記識別されたピクセルによって境を限られたピクセルの強度値を非背景強度値に設定する、請求項６に記載のシステム。

【請求項8】

前記テンプレート生成モジュールは、前記以前に取得された画像のバイナリ画像を位置合わせする、請求項６に記載のシステム。

【請求項9】

前記テンプレート生成モジュールは、前記テンプレートを生成するために、前記以前に取得された画像のバイナリ画像に共通の特徴を識別する、請求項８に記載のシステム。

【請求項10】

テンプレートベースの画像分析システムを使用して画像を分析するテンプレートベースの方法であって、前記テンプレートベースの画像分析システムは、ハイコンテント画像システム（ＨＣＩＳ）と、画像取得モジュールと、特徴識別モジュールと、テンプレート生成モジュールと、テンプレート整列モジュールと、オフセット計算モジュールとを備え、前記方法は、
前記画像取得モジュールが、前記ＨＣＩＳから、前記ＨＣＩＳ内に装填されたスライドの画像を受信することであって、前記受信された画像は、基準マーカに関連付けられたエリアと、サンプル場所に関連付けられたエリアとを含む、ことと、
前記画像取得モジュールが、以前に取得された画像を取得画像データ記憶部に記憶させることであって、前記以前に取得された画像は、異なるスライドの画像であり、各スライドは、前記受信された画像内に表されているのと同様に互いに対して位置付けられる基準マーカおよびサンプル場所のアレイを含む、ことと、
前記特徴識別モジュールが、前記受信された画像のバイナリ画像を開発することであって、前記バイナリ画像は、基準マーカに関連付けられていると予期される前記バイナリ画像のエリアを識別する、ことと、
前記テンプレート生成モジュールが、前記以前に取得された画像に従ってテンプレートを生成することと、
前記テンプレート整列モジュールが、前記テンプレートを前記バイナリ画像と整列させることと、
前記オフセット計算モジュールが、前記テンプレートと前記バイナリ画像との間のオフセットを計算することと、
前記画像取得モジュールが、前記計算されたオフセットに従って、前記サンプル場所に関連付けられた前記受信された画像のピクセルの座標を決定することと
を含む、方法。

【請求項11】

コントローラが、前記座標に従って前記ＨＣＩＳの位置付けデバイスを動作させることと、前記コントローラが、前記ＨＣＩＳに前記座標に関連付けられた前記サンプル場所の画像を取得するように指示することとをさらに含む、請求項１０に記載の方法。

【請求項12】

前記テンプレートベースの画像分析システムは、画像セグメント化モジュールをさらに備え、前記方法は、前記画像セグメント化モジュールが、前記座標に従って前記受信された画像の部分画像を開発することをさらに含む、請求項１０に記載の方法。

【請求項13】

前記生成されたテンプレートは、バイナリ画像である、請求項１０に記載の方法。

【請求項14】

前記テンプレートを生成することは、前記テンプレート生成モジュールが、前記受信された画像を分析することを含む、請求項１０に記載の方法。

【請求項15】

前記特徴識別モジュールが、前記以前に取得された画像の各々に関連付けられたバイナリ画像を開発することをさらに含む、請求項１０～１４のいずれか一項に記載の方法。

【請求項16】

前記バイナリ画像を開発することは、前記特徴識別モジュールが、特徴に関連する接続されたピクセルの群を識別することと、前記特徴識別モジュールが、前記識別されたピクセルによって境を限られたピクセルの強度値を非背景強度値に設定することとを含む、請求項１５に記載の方法。

【請求項17】

前記テンプレートを生成することは、前記テンプレート生成モジュールが、以前に取得された画像に関連付けられた前記バイナリ画像を位置合わせすることを含む、請求項１５に記載の方法。

【請求項18】

前記テンプレートを生成することは、前記テンプレート生成モジュールが、前記以前に取得された画像のバイナリ画像に共通の特徴を識別することを含む、請求項１７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願）
本願は、米国仮出願第６２／３８１９７４号（２０１６年８月３１日出願）に対する優先権を主張し、上記出願の内容は、その全体が参照により本明細書に組み込まれる。

【0002】

（開示の分野）
本主題は、ハイコンテント画像システムに関連し、より具体的には、テンプレートを使用し、そのようなシステムによって捕捉された画像を整列させるためのシステムおよび方法に関する。

【背景技術】

【0003】

ハイコンテント画像システム（ＨＣＩＳ）は、ＤＮＡ、タンパク質、細胞等の生体サンプルの顕微鏡画像を得るために使用され得る。複数のそのような生体サンプルが、スライド上に配置され得る。そのような生体サンプルは、スライド上に２次元のアレイパターンで配置され得、生態サンプルが堆積され得る隣り合う場所間の距離は、事前決定される。しかしながら、集合アレイの場所および回転は、スライド毎に変動し得る。

【0004】

生体サンプルのアレイが配置されるスライドが、位置合わせマーカまたは基準マーカの役割を果たす印をその上に印刷することによって準備され得る。そして、生体サンプルのアレイはそのような印に対してスライド上に堆積される。各生体サンプルの位置は、そのような位置合わせまたは基準マーカに対して位置し得る。しかしながら、マーカが配置されるスライドの画像内の１つ以上の基準マーカを識別することは、困難であり得る。そのような困難は、例えば、基準マーカとスライド材料との間のコントラストの欠如、スライド上に基準マーカを配置した印刷プロセス中の欠陥、および／またはＨＣＩＳの視野と適合するために大きすぎる基準マーカとアレイとの間の距離等のために生じ得る。

【発明の概要】

【課題を解決するための手段】

【0005】

画像を分析するためのテンプレートベースのシステムは、ハイコンテント画像システム（ＨＣＩＳ）と、ＨＣＩＳ内に装填されたスライドとを含む。スライドは、複数の基準マーカと、複数のサンプル場所とを含む。テンプレートベースのシステムは、その中に記憶された以前に取得された画像を有する取得画像データ記憶部と、画像取得モジュールと、特徴識別モジュールと、テンプレート生成モジュールと、テンプレート整列モジュールと、オフセット計算モジュールと、画像セグメント化モジュールとも含む。画像取得モジュールは、ハイコンテント画像システムからスライドの画像を取得し、特徴識別モジュールは、取得画像のバイナリ画像を開発し、バイナリ画像は、基準マーカに関連付けられたエリアを識別する。テンプレート生成モジュールは、以前に取得された画像に従ってテンプレートを生成し、テンプレート整列モジュールは、生成されたテンプレートをバイナリ画像に整列させ、オフセット計算モジュールは、テンプレートとバイナリ画像との間のオフセットを決定する。画像セグメント化モジュールは、計算されたオフセットに従って、サンプル場所に関連付けられた取得画像のピクセルの座標を決定する。

【0006】

画像を分析するテンプレートベースの方法は、スライド上に基準マーカおよび複数のサンプルを配置することと、ハイコンテント画像システム（ＨＣＩＳ）内にスライドを装填することとを含む。複数のサンプルの各々の位置は、基準マーカの位置に従う。方法は、以前に取得された画像を取得画像データ記憶部に記憶することと、ＨＣＩＳ内に装填されたスライドの画像をＨＣＩＳを用いて取得することと、取得画像のバイナリ画像を開発することとも含む。バイナリ画像は、基準マーカに関連付けられたエリアを識別する。方法は、以前に取得された画像に従ってテンプレートを生成することと、テンプレートをバイナリ画像に整列させることと、テンプレートとバイナリ画像との間のオフセットを計算することとを行う追加のステップを含む。方法は、計算されたオフセットに従って、サンプル場所に関連付けられた取得画像のピクセルの座標を決定するさらなるステップを含む。
本明細書は、例えば、以下の項目も提供する。
（項目１）
テンプレートベースの画像分析システムであって、前記システムは、
ハイコンテント画像システム（ＨＣＩＳ）と、
前記ＨＣＩＳ内に装填されたスライドであって、前記スライドは、複数の基準マーカと、複数のサンプル場所とを含む、スライドと、
取得画像データ記憶部であって、前記取得画像データ記憶部は、その中に記憶された以前に取得された画像を有する、取得画像データ記憶部と、
前記ハイコンテント画像システムから前記スライドの画像を取得する画像取得モジュールと、
前記取得画像のバイナリ画像を開発する特徴識別モジュールであって、前記バイナリ画像は、基準マーカに関連付けられたエリアを識別する、特徴識別モジュールと、
前記以前に取得された画像に従ってテンプレートを生成するテンプレート生成モジュールと、
前記生成されたテンプレートを前記バイナリ画像と整列させるテンプレート整列モジュールと、
前記テンプレートと前記バイナリ画像との間のオフセットを決定するオフセット計算モジュールと、
計算されたオフセットに従って、前記サンプル場所に関連付けられた前記取得画像のピクセルの座標を決定する画像セグメント化モジュールと
を備えている、システム。
（項目２）
前記ＨＣＩＳは、位置付けデバイスを含み、前記画像取得モジュールは、前記ＨＣＩＳに前記座標に従って前記位置付けデバイスを位置付けるように指示し、前記ＨＣＩＳに前記座標に関連付けられた前記サンプル場所の画像を取得するように指示する、項目１に記載のシステム。
（項目３）
前記画像セグメント化モジュールは、座標に従って前記取得画像の部分画像を開発する、項目１に記載のシステム。
（項目４）
前記生成されたテンプレートは、バイナリ画像である、項目１に記載のシステム。
（項目５）
前記テンプレート生成モジュールは、前記テンプレートを生成するために前記取得画像も使用する、項目１に記載のシステム。
（項目６）
前記特徴識別モジュールは、前記以前に取得された画像の各々に関連付けられたバイナリ画像を開発する、項目１に記載のシステム。
（項目７）
前記特徴識別モジュールは、特徴に関連する接続されたピクセルの群を識別し、前記識別されたピクセルによって境を限られたピクセルの強度値を非背景強度値に設定する、項目６に記載のシステム。
（項目８）
前記テンプレート生成モジュールは、前記以前に取得された画像のバイナリ画像を位置合わせする、項目６に記載のシステム。
（項目９）
前記テンプレート生成モジュールは、前記テンプレートを生成するために、前記以前に取得された画像のバイナリ画像に共通の特徴を識別する、項目８に記載のシステム。
（項目１０）
画像を分析するテンプレートベースの方法であって、前記方法は、
スライド上に基準マーカおよび複数のサンプルを配置することであって、前記複数のサンプルの各々の位置は、前記基準マーカの位置に従う、ことと、
ハイコンテント画像システム（ＨＣＩＳ）内に前記スライドを装填することと、
以前に取得された画像を取得画像データ記憶部に記憶することと、
前記ＨＣＩＳ内に装填された前記スライドの画像を前記ＨＣＩＳを用いて取得することと、
前記取得画像のバイナリ画像を開発することであって、前記バイナリ画像は、基準マーカに関連付けられたエリアを識別する、ことと、
前記以前に取得された画像に従ってテンプレートを生成することと、
前記テンプレートを前記バイナリ画像と整列させることと、
前記テンプレートと前記バイナリ画像との間のオフセットを計算することと、
計算されたオフセットに従って、前記サンプル場所に関連付けられた前記取得画像のピクセルの座標を決定することと
を含む、方法。
（項目１１）
前記座標に従って前記ＨＣＩＳの位置付けデバイスを動作させることと、前記ＨＣＩＳに前記座標に関連付けられた前記サンプル場所の画像を取得するように指示することとをさらに含む、項目１０に記載の方法。
（項目１２）
座標に従って前記取得画像の部分画像を開発することをさらに含む、項目１０に記載の方法。
（項目１３）
前記生成されたテンプレートは、バイナリ画像である、項目１０に記載の方法。
（項目１４）
前記テンプレートを生成することは、前記取得画像を分析することを含む、項目１０に記載の方法。
（項目１５）
前記以前に取得された画像の各々に関連付けられたバイナリ画像を開発することをさらに含む、項目１０に記載の方法。
（項目１６）
前記バイナリ画像を開発することは、特徴に関連する接続されたピクセルの群を識別することと、前記識別されたピクセルによって境を限られたピクセルの強度値を非背景強度値に設定することとを含む、項目１５に記載の方法。
（項目１７）
前記テンプレートを生成することは、以前に取得された画像に関連付けられた前記バイナリ画像を位置合わせすることを含む、項目１５に記載の方法。
（項目１８）
前記テンプレートを生成することは、前記以前に取得された画像のバイナリ画像に共通の特徴を識別することを含む、項目１７に記載の方法。

【0007】

他の側面および利点が、本明細書の全体を通して同様の番号が同様の構造を示す、以下の詳述される説明および添付図面の考慮の結果明白となるであろう。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明による、ハイコンテント画像システム（ＨＣＩＳ）のブロック図である。

【図2】図２は、図１のＨＣＩＳを使用して撮像され得るスライドの平面図である。

【図3A】図３Ａ－３Ｃは、図１のＨＣＩＳを使用して開発されるスライドの画像を図示する。

【図3B】図３Ａ－３Ｃは、図１のＨＣＩＳを使用して開発されるスライドの画像を図示する。

【図3C】図３Ａ－３Ｃは、図１のＨＣＩＳを使用して開発されるスライドの画像を図示する。

【図4】図４は、図３Ａ－３Ｃの図から開発されるテンプレートを図示する。

【図5】図５は、図１のＨＣＩＳによって捕捉された画像を分析するために使用され得るテンプレートベースの分析システムのブロック図である。

【図6】図６は、画像を分析するための図５のテンプレートベースの分析システムによってなされる処理のフローチャートである。

【図7】図７は、テンプレートを開発するための図５のテンプレートベースの分析システムによってなされる処理のフローチャートである。

【発明を実施するための形態】

【0009】

図１を参照すると、当業者に明白であろうように、ＨＣＩＳ １００は、Ｘ－Ｙステージ１０２と、１つ以上の対物レンズ１０４と、１つ以上の照明源１０６と、１つ以上のフィルタ１０８と、画像捕捉デバイス１１０と、コントローラ１１２とを含み得る。ＨＣＩＳ １００は、光を照明源１０６からＸ－Ｙステージ１０２上に配置され得るスライド１１６に、かつそのようなスライド１１６から画像捕捉デバイス１１０に向かわせる１つ以上の鏡１１４を含み得る。典型的には、スライド１１６は、均等に間隔を置かれた場所１１８を含み、ＨＣＩＳ １００によって撮像されるサンプル（例えば、生体組織）は、そのような場所１１８の各々に配置され得る。

【0010】

図１は、スライド１１６から反射され画像捕捉デバイス１１０に到達する照明源１０６からの光を示すが、照明源１０６からの光がスライド１１６を通して伝送され、画像捕捉デバイス１１０に向かわせられるように、追加の鏡（図示せず）が使用され得ることが、明白であろう。さらに、いくつかの場合では、スライド１１６内のサンプルを撮像するために照明源１０６からの照明は、必要ではない場合があることが明白であろう（例えば、サンプルが光を放射する場合、またはサンプルが放射性成分を含む場合）。いくつかの実施形態では、照明源からの光は、スライド１１６内のサンプルを通して伝送され得、サンプルは伝送された光を屈折および／または吸収し、撮像される光を生成する。

【0011】

動作中、スライド１１６は、手動またはロボットによってのいずれか一方でＸ－Ｙステージ１０２上に設置され得る。加えて、コントローラ１１２は、特定の対物レンズ１０４、照明源１０６によって生成される照明、および／または、フィルタ１０８の組み合わせを使用するようにＨＣＩＳ １００を構成し得る。例えば、コントローラ１１２は、選択された対物レンズ１０４、および随意に、スライド１１６と画像捕捉デバイス１１０との間の光経路内の選択されたフィルタ１０８を設置するために、位置付けデバイス１２０を動作させ得る。そのような位置付けデバイス１２０は、１つ以上のモータを含み得、モータは、対物レンズ１０２、選択されたフィルタ１０８、および／または画像捕捉デバイス１１０に結合され得る。さらに、コントローラ１１２は、特定の波長の光を用いてスライドを照明するように照明源１０６に指示し得る。スライド１１６内のサンプルは、蛍光を発する分子を含み得、それは、自然発生分子、または処理に起因してサンプル内に生成され、または存在する分子のいずれかである。サンプルを照明する波長は、そのような蛍光分子に関連付けられた励起波長であり得、撮像捕捉デバイスは、そのような蛍光材料の発光スペクトルのみを捕捉するであろう。１つ以上の波長が、連続的もしくは同時に使用され、同一のサンプルを照明し、画像を生成し得る。

【0012】

図２を参照すると、スライド１１６は、サンプルが配置され得る均等に間隔を置かれた場所１１８を含む。場所１１８は、所定の数の水平および垂直場所１１８を有する２次元のアレイ１２０で配列され、隣り合う対の場所１１８間の距離は、実質的に同じである。スライド１１６は、基準マーカ１５２および１５４も含む。いくつかの基準マーカ１５２は、アレイ１２０の特定の場所１１８と一致するようにスライド上に配置される。

【0013】

他の基準マーカ１５４が、アレイ１２０に関連付けられた特定の場所１６０から所定の水平距離１５６および垂直距離１５８においてアレイ１２０の境界の外側に設置される。図２では、水平および垂直距離１５６、１５８の各々は、基準マーカ１５４の中心から測定されるが、そのような距離１５６および１５８は、基準マーカ１５２の任意の他の部分から測定され得ることが明白であろう。さらに、特定の基準マーカ１５４に関連付けられた水平および垂直距離１５６、１５８は、異なる基準マーカに関連付けられた水平および垂直距離と同じである必要はない。例えば、基準マーカ１５４ａに関連付けられた水平距離１５６ａは、基準マーカ１５４ｂ、１５４ｃにそれぞれ関連付けられた水平距離１５６ｂ、１５６ｃの一方または両方と同じである必要はない。同様に、基準マーカ１５４ａに関連付けられた垂直距離１５８ａは、基準マーカ１５４ｂ、１５４ｃにそれぞれ関連付けられた垂直距離１５８ｂ、１５８ｃの一方または両方と同じである必要はない。

【0014】

アレイ１５０は、スライド１１６に対して回転され得る。そのような場合では、水平および垂直距離１５４、１５６は、アレイ１５０の水平および垂直軸に対して測定される。

【0015】

基準マーカ１５２、１５４は、円形であるように描写されるが、これらの基準マーカ１５２、１５４が任意の所定の形状を有し得ることは、明白であろう。さらに、スライド１１６上に配置される基準マーカ１５２、１５４の全てが、同じ形状および／またはサイズを有する必要はない。基準マーカ１５２および１５４は、その上に刻印されること、それに取り付けられること、それから隆起させられること、またはその中にエッチングされることによってスライド１１６上に配置され得る。さらに、スライド１１６上に配置される基準マーカ１５２および１５４の全ては、異なる技法を使用して配置され得る。例えば、いくつかの基準マーカ１５２および１５４は、印刷され得、他は、エッチングされ得る。

【0016】

基準マーカ１５２および１５４のうちの１つのそのような画像内のピクセルの座標が決定されることが可能な場合、アレイ１５０に関連付けられた場所１６０のピクセルの座標がそこから計算され得ることは、明白であろう。追加の基準マーカ１５２および１５４のピクセル座標は、場所１６０のピクセル座標が計算される正確度を改良し得る。基準点１５２、１５４に関連付けられたピクセルの座標は、そのような基準マーカの中心に関連付けられたピクセルの座標、またはそのような基準の任意の他の所定の特徴の座標であり得る。

【0017】

さらに、場所１６０に関連付けられたピクセルの座標が事前決定された後、場所１１８の全てに関連付けられたスライド１１６の画像内のピクセルの座標も、決定され得る。

【0018】

図３Ａ－３Ｃは、３つの異なるスライドの画像２００ａ、２００ｂ、および２００ｃを描写し、各スライドは、図２に示されるスライド１１６と同様に互いに対して位置付けられるサンプル場所のアレイおよび基準マーカを含む。明白であろうように、画像２００ａ、２００ｂ、および２００ｃは、各スライドのサンプル場所のうちのいくつかの中にのみ堆積されている生体サンプルを示す。

【0019】

画像２００ａは、この画像が作成されたスライドの基準マーカ１５２の全てを識別するピクセル２０２ａと、基準マーカ１５４ａ、１５４ｂ、１５４ｃをそれぞれ識別するピクセル２０４ａ、２０６ａ、２０８ａとを含む。同様に、画像２００ｂは、この画像が作成されたスライドの基準マーカ１５２を識別するピクセル２０２ｂと、基準マーカ１５４ａ、１５４ｂ、１５４ｃをそれぞれ識別するピクセル２０４ｂ、２０６ｂ、２０８ｂとを含む。しかしながら、画像２００ａは、この画像が作製されたスライドの基準マーカ１５２のうちの３つのみを識別するピクセル２０２ａと（アレイ１１８の右上における基準マーカ１５２を示すピクセルはない）、基準マーカ１５４ｂ、１５４ｃを識別するピクセル２０６ｃ、２０８ｃのみとを含む。

【0020】

画像３Ａ－３Ｃの各々は、それぞれ、画像２００ａ、２００ｂ、２００ｃが作成されたスライド内の点１６０の場所に関連付けられたピクセル２１０ａ、２１０ｂ、２１０ｃを含む。ピクセル２１０ａ、２１０ｂ、２１０ｃは、それぞれ、画像２００ａ、２００ｂ、２００ｃの背景から区別不可能であり得る。しかしながら、ピクセル２１０ａ、２１０ｂ、２１０ｃの座標が決定されると、これらの画像に関連付けられたスライド内のサンプル場所１１８に関連付けられた画像２００ａ、２００ｂ、２００ｃ内のピクセルの座標も、それぞれ決定され得る。

【0021】

図４を参照すると、ピクセル２１０ａ、２１０ｂ、２１０ｃの座標の正確な識別を促進するために、テンプレート画像２５０が、画像２００ａ、２００ｂ、２００ｃから作成される。テンプレート画像２５０は、テンプレート画像を生成するために使用される画像２００ａ、２００ｂ、および２００ｃの共通の特徴を示す。テンプレート画像２５０は、テンプレート画像２５０を作成するために使用された画像２００の全てに共通する特徴を含む。そのような共通の特徴は、画像２００を作成するために使用されるスライド１１６上の基準マーカ１５２に関連付けられた画像の部分を含み得るが、任意の他の画像要素も含み得る。そのような画像要素は、例えば、画像の全ての中に現れるスライド１１６の１つ以上の場所１１８内に堆積されるサンプルを含み得る。

【0022】

画像２００ａ、２００ｂ、および２００ｃの全ての中に現れた基準マーカ１５２に関連付けられたテンプレート画像２５０のピクセル２５２は、所定の非背景強強度値である。加えて、基準マーカ１５４ｂおよび１５４ｃにそれぞれ関連付けられたピクセル２５４およびピクセル２５６も、これらの基準マーカが画像２００ａ、２００ｂ、および２００ｃの全ての中に現れたので、非背景強度値に設定される。それらの基準マーカ、例えば、画像２００ｃの全てにおいて示されたわけではない右上の基準マーカ１５２および基準マーカ１５４ａの場所に対応する座標におけるピクセルは、背景強度値に設定される。

【0023】

テンプレート画像を作成するために、各画像２００ａ、２００ｂ、２００ｃ内の基準マーカが、画像セグメント化および画像特徴識別技法を使用して識別される。閾値が、各画像２００に適用され、基準マーカに対して予期されるものを下回る強度値を有する画像の任意のピクセルの強度値を背景強度値に設定する。いくつかの実施形態では、基準マーカに対して予期されるものを上回る強度値を有する画像の任意のピクセルの強度値は、背景強度値に設定される。その後、非背景強度値を有する画像２００の各隣接するピクセルの群が、分析される。そのような群を備えているピクセルの数、または群の寸法および／または形状が基準マーカに対して予期されるであろうものと異なる場合、群を備えているピクセルの強度値は、背景強度に設定される。そうでなければ、ピクセルの群の強度値は、非背景強度に設定される。結果は、各画像２００ａ、２００ｂ、および２００ｃに関連付けられたバイナリ画像であり、各そのようなバイナリ画像は、非背景強度値を有し、候補基準マーカに関連付けられたピクセルを含む。画像２００ａ、２００ｂ、および２００ｃから作成されるバイナリ画像内の候補基準マーカに関連付けられたピクセルが、テンプレート画像２５０を作成するバイナリ画像を横断して分析される。

【0024】

いくつかの実施形態では、バイナリ画像内の画像特徴の実質的に連続した境界を識別するために、当業者に明白である縁検出技法が使用され得る。そのような連続した境界によって境を限られたピクセルは、非背景強度に設定され得、そのようなピクセルの形状および／または寸法が、そのようなピクセルが基準マーカに関連付けられているかどうかを決定するために、前に説明されるように分析され得る。

【0025】

テンプレート画像２５２が、異なる画像２００から開発されるバイナリ画像から作成される。テンプレート画像２５２のピクセルの全ては、最初に背景強度値に設定される。その後、バイナリ画像は、互いに位置合わせされ、非背景強度値を有し、かつバイナリ画像の全てに存在し、かつ位置合わせの後に一致している各対応するピクセルの群が、識別される。そのような識別されたピクセルの群のピクセルに対応するテンプレート画像２５２内のピクセルの強度値は、非背景強度値に設定される。

【0026】

そして、上で説明されるように開発されたテンプレート画像２５０は、追加のスライド１１６からＨＣＩＳ １００によって捕捉された画像２００内の位置合わせマーカと他の画像とを識別するためのものであり、追加のスライド１１６は、基準マーカ１５２のうちの１つ以上のものとサンプル場所１１８のアレイ１５０との間に同じ関係を有している。

【0027】

特に、テンプレート画像２５０は、テンプレート画像の非背景ピクセル２５２、２５４、および２５６がバイナリ画像の対応する非背景ピクセルと一致するように、画像２００ａから作成されるバイナリ画像と整列させられる。そして、２つの画像が整列させられるためにテンプレート画像２５０が水平にシフトされなければならないピクセルの数（ｘ_{ｏｆｆｓｅｔ}）とテンプレート画像２５０が垂直にシフトされなければならないピクセルの数（ｙ_{ｏｆｆｓｅｔ}）とが、決定され得る。そのようなオフセット（ｘ_{ｏｆｆｓｅｔ，}ｙ_{ｏｆｆｓｅｔ}）は、ピクセル２５８（図４）の座標（ｘ_ｔ，ｙ_ｔ）に加算され、画像２００ａの左境界２１２ａおよび下境界２１４ａに対するピクセル２１０ａ（図３Ａ）の座標（ｘ_ａ，ｙ_ａ）を決定し得る。

【0028】

図１、２、および３Ａを参照すると、上で記載されるように、アレイ１５０の位置と、それによって、サンプルが堆積され得る場所１１８の各々の位置とが、場所１６０から決定され得る。画像２００ａのピクセル２１０ａの座標が上述のように決定されると、場所１１８の各々に関連付けられた画像２００ａ内のピクセルの場所も、決定され得ることが明白であろう。各場所１１８に関連付けられた画像２００ａの部分画像が、分析され、そのような場所１１８内に堆積された生体サンプルの特徴を決定し得る。さらに、そのような部分画像は、視覚分析のためにユーザに表示されるか、またはさらなる分析のために他のシステム（図示せず）に伝送され得る。

【0029】

いくつかの実施形態では、画像２００ａは、低解像度を使用して取得され得る。画像２００ａ内のピクセル２１０ａのオフセット（ｘ_{ｏｆｆｓｅｔ}，ｙ_{ｏｆｆｓｅｔ}）は、上で説明されたように計算され、コントローラ１１２に提供され得る。コントローラ１１２は、スライドが再撮像されるであろう標的のより高い解像度に従ってオフセットをスケーリングすることと、サンプル場所１１８のスライド上の位置を計算することと、スライドの各場所１１８をより高い解像度で走査するために計算された位置に従って位置付けデバイス１２０を動作させることとを行う。

【0030】

図３Ａ－３Ｃおよび４を参照すると、ピクセル２１０ｂの座標（ｘ_ｂ，ｙ_ｂ）およびピクセル２１０ｃの座標（ｘ_ｃ，ｙ_ｃ）が、座標（ｘ_ａ，ｙ_ａ）を計算するために上で説明されるそれと同様の様式で計算され得る。

【0031】

画像２００ａ、２００ｂ、および２００ｃのうちの１つ以上のものが、他に対して回転されるアレイ１１８の画像を含み得ることが明白であろう。これらの状況では、テンプレート画像２５０が画像２００ａ、２００ｂ、または２００ｃと位置合わせされるとき、位置オフセットに加え、回転の角度が、決定され得る。相互相関、周波数分析、種々の回転の角度の探索を含む当業者に明白である１つ以上の画像分析技法が、そのような回転の角度を決定するために使用され得る。

【0032】

図５を参照すると、ＨＣＩＳからの画像を分析するためにテンプレートを使用するテンプレートベースの画像分析システム３００は、ＨＣＩＳ １００に結合された画像取得モジュール３０２を含む。画像取得モジュール３０２は、ＨＣＩＳ １００内に装填された複数のスライド１１６の画像を取得するためにＨＣＩＳ １００を使用し、そのような画像を取得画像データ記憶部３０４内に記憶する。複数のスライドのうちの各１つの各々は、その上に２次元のアレイパターンで分散されたサンプル場所１１８のアレイ１５０を有する。特徴識別モジュール３０６は、各取得画像を分析し、バイナリ画像を生成する。特徴識別モジュール３０６は、スライド１１６上の基準マーカに関連付けられていると予期されるバイナリ画像のピクセルの強度値を、上で説明されるように、非背景強度値に設定する。特徴識別モジュール３０６は、バイナリ画像を取得画像データ記憶部３０４内に記憶し、かつ、バイナリ画像をテンプレート生成モジュール３０８に提供する。

【0033】

テンプレート生成モジュール３０８は、複数のスライドの画像から生成されるバイナリ画像を分析し、バイナリ画像の全てに共通する基準マーカに関連付けられたピクセルを識別する。テンプレート生成モジュール３０８は、その後、そのような共通の基準マーカに関連付けられたそれらのピクセルのみが非背景強度値を有するテンプレート画像を生成する。残りのピクセルは、背景強度値を有する。テンプレート生成モジュール３０８は、テンプレートをテンプレートデータ記憶部３１０内に記憶する。

【0034】

テンプレート整列モジュール３１２は、画像データ記憶部３０４から分析されるべき画像を読み出し、画像データ記憶部３０４から生成されるバイナリ画像を読み出し、テンプレートデータ記憶部３１０から、分析されるべき画像に関連付けられたテンプレートを読み出す。そして、テンプレート整列モジュール３１４は、各画像内の基準マーカに関連付けられた対応するピクセルが重複するように、テンプレート画像のピクセルを読み出されたバイナリ画像と整列させる。オフセット計算モジュール３１６は、画像の境界に対して画像内に表されるアレイ１５０の水平および垂直のオフセットおよび回転を開発する。画像セグメント化モジュール３１８は、分析されるべき画像を部分画像にセグメント化するためにこれらのオフセットを使用し、各部分画像は、サンプルが堆積され得るスライド１１６上の場所１１８に関連付けられている。ユーザは、これらの部分画像を選択し、さらに分析するためにユーザコンピュータ３２０を動作させ得る。加えて、そのような部分画像は、分析のためにさらなるシステムに伝送され得る。いくつかの実施形態では、分析された画像、およびそのような部分画像に関するピクセル座標情報が、さらなるシステムに伝送され得、さらなるシステムは、そのようなピクセル座標情報を使用し、分析された画像から部分画像を抽出し得る。各部分画像のためのそのようなピクセル座標情報は、例えば、部分画像が位置する分析された画像の長方形領域の対向する角のピクセル座標を備え得る。

【0035】

図６は、画像を分析するためにテンプレートベースの画像分析システムのある実施形態によってなされるステップのフローチャート４００を示す。図１、５、および６を参照すると、ステップ４０２において、画像取得モジュール３０２は、ＨＣＩＳ １００を使用してスライド１１６の画像を取得し、そのような画像を取得画像データ記憶部３０４内に記憶する。その後、ステップ４０４において、テンプレートベースの画像分析システム３００は、取得画像を分析するためのテンプレートがすでに存在するかどうかを決定する。例えば、テンプレートベースの画像分析システム３００は、ユーザコンピュータ３２０を介してユーザにクエリし、例えば、そのような記憶されたテンプレートのリストを提示し、ユーザにリストからテンプレートを選択するように依頼することによって、テンプレートデータ記憶部３１０内に記憶される以前に作成されたテンプレートを識別し得る。代替として、テンプレートベースの画像分析システム３００は、テンプレートがすでに作成されテンプレートデータ記憶部３１０内に記憶された走査されたスライドに関連付けられた識別子を選択または入力するようにユーザにクエリする。そして、テンプレートベースの画像分析システム３００は、そのような識別子に従ってテンプレートデータ記憶部３１０からテンプレートを識別し得る。ステップ４０４において、ユーザがテンプレートが存在しないことを示す場合、プロセスは、ステップ４０６に進行し、そうでなければ、プロセスは、ステップ４０８に進行する。

【0036】

ステップ４０６において、テンプレートベースの画像分析システム３００は、ステップ４０２において取得された画像を分析するために使用され得るテンプレートを開発し、開発されたテンプレートをテンプレートデータ記憶部３１０内に記憶する。その後、プロセスは、ステップ４０８に進行する。

【0037】

ステップ４０８において、テンプレートベースの画像分析システム３００は、テンプレートデータ記憶部３１０からテンプレートを読み出す。

【0038】

ステップ４１０において、特徴識別モジュール３０６は、取得画像を分析し、基準マーカに関連付けられていることが予期される取得画像のピクセルを識別するバイナリ画像を開発する。特徴識別モジュール３０６は、そのようなバイナリ画像を取得画像データベース３０４内に記憶する。

【0039】

ステップ４１２において、テンプレート生成モジュール３１４は、選択されたテンプレート内の基準マーカに関連付けられたピクセルを、特徴識別モジュール３０６によって作成されたバイナリ画像内の対応する基準マーカに関連付けられたピクセルと整列させる。

【0040】

ステップ４１４において、オフセット計算モジュール３１６は、ステップ４１２においてテンプレートをバイナリ画像と整列させるために必要であったオフセットおよび回転を決定する。

【0041】

ステップ４１６において、テンプレートベースの画像分析システム３００は、ユーザコンピュータ３２０を介して、スライド１１６のサンプル場所１１８が高解像度で再走査されるべきかどうかをユーザにクエリする。ユーザが再走査を要求する場合、ステップ４１８において、画像取得モジュール３０２は、計算されたオフセットを使用し、スライド１１６上のサンプル場所１１８に関連付けられた位置情報を決定し、ステップ４２０において、そのような位置情報に従って位置付けデバイス１２０を位置付け、カメラを動作させ、そのような場所１１８の各々に従ってスライド１１６の高解像度部分画像を取得するようにコントローラ１１２に指示する。さらに、ステップ４２０において、画像取得モジュール３０２は、これらの部分画像を画像取得画像データベース３０２内に記憶する。

【0042】

ステップ４１６において、ユーザがスライド１１６は走査される必要がないことを示す場合、画像セグメント化モジュール３１８は、ステップ４２２において、計算されたオフセットを使用し、スライド１１６の各サンプル場所１１８に関連付けられたピクセルの取得画像内の座標を決定する。ステップ４２４において、テンプレートベースの画像分析システム３００は、さらなる分析のために、位置情報または走査された部分画像をユーザコンピュータまたは別のシステムに供給する。

【0043】

図７は、テンプレートを作成するためにステップ４０６（図４）においてテンプレートベースの画像分析システム３００のある実施形態によってなされるステップのフローチャート４５０を示す。図５－７参照すると、ステップ４５２において、テンプレートベースの画像分析システム３００は、ユーザコンピュータ３２０を介して、取得画像データ記憶部３０４内のテンプレートを開発するために使用されるべき以前に取得された画像を識別するようにユーザに依頼する。ユーザは、利用可能な画像のリストから１つ以上の取得画像を選択するように依頼され得る。代替として、ユーザは、ステップ４０２において画像が取得されたスライド１１６に関連付けられた識別子を入力または選択し得、システム３００は、取得画像データ記憶部３０４からそのような識別子に関連付けられた全ての画像を選択する。

【0044】

ステップ４５４において、特徴識別モジュール３０６は、各選択された画像に閾値を適用し、それに対応するバイナリ画像を生成する。ステップ４５６において、特徴識別モジュール３０６は、各バイナリ画像を分析し、基準マーカに対応するそのような画像内のピクセルを識別する。ステップ４５６において、さらに、特徴識別モジュールは、そのような識別されたピクセルを非背景強度値に設定し、他の全てのピクセルを背景強度値に設定する。

【0045】

ステップ４５８において、テンプレート生成モジュール３０８は、上で説明されるようにバイナリ画像を全て位置合わせし、ステップ４６０において、バイナリ画像の全てに共通する特徴に関連付けられたピクセルを識別する。ステップ４６２において、テンプレート生成モジュールは、バイナリ画像の全てに共通する特徴に関連付けられたバイナリ画像のピクセルに対応するピクセルが非背景強度値に設定され、残りのピクセルが背景強度値に設定されるテンプレート画像を生成する。また、ステップ４６２において、テンプレート生成モジュール３０８は、テンプレート画像をテンプレートデータ記憶部３１０に記憶する。

【0046】

ハードウェアおよび／またはソフトウェアの任意の組み合わせが、本明細書で説明されるテンプレートベースの画像分析システムに実装されるために使用され得ることが、当業者に明らかであろう。図１－７に関して説明されるプロセス、サブプロセス、およびプロセスステップのうちの１つ以上のものは、１つ以上の電子またはデジタル制御式デバイス上でハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって行われ得ることを理解および認識されたい。ソフトウェアは、例えば、図１－７に図式的に描写される機能システム、コントローラ、デバイス、構成要素、モジュール、またはサブモジュールのうちの１つ以上のもの等、好適な電子処理構成要素またはシステム内のソフトウェアメモリ（図示せず）内に常駐し得る。ソフトウェアメモリは、論理機能（すなわち、デジタル回路もしくはソースコード等のデジタル形態において、またはアナログ電気、音、もしくはビデオ信号等のアナログ源等のアナログ形態において実装され得る「論理」）を実装するための実行可能命令の順序付けられたリストを含み得る。命令は、例えば、１つ以上のマイクロプロセッサ、汎用プロセッサ、プロセッサの組み合わせ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡＳ）、または特定用途向け集積回路（ＡＳＩＣ）を含む処理モジュールまたはコントローラ（例えば、図５の画像取得モジュール３０２、特徴識別モジュール３０６、テンプレート生成モジュール３０８、テンプレート整列モジュール３１４、オフセット計算モジュール３１６、および画像セグメント化モジュール３１８）内で実行され得る。さらに、概略図は、機能のアーキテクチャまたは物理的レイアウトによって限定されない物理的（ハードウェアおよび／またはソフトウェア）実装を有する機能の論理分割を説明する。本願に説明される例示的システムは、種々の構成で実装され、単一ハードウェア／ソフトウェアユニット内において、または別個のハードウェア／ソフトウェアユニット内において、ハードウェア／ソフトウェア構成要素として動作し得る。

【0047】

実行可能命令は、電子システムの処理モジュールによって実行されると、電子システムに、命令を実施するように指示するその中に記憶される命令を有するコンピュータプログラム製品として実装され得る。コンピュータプログラム製品は、電子コンピュータベースのシステム、プロセッサを含むシステム、または命令を命令実行システム、装置、もしくはデバイスから選択的にフェッチし、命令を実行し得る他のシステム等の命令実行システム、装置、もしくはデバイスによる、またはそれと関連しての使用のための任意の非一過性コンピュータ読み取り可能な記憶媒体内に選択的に具現化され得る。本書の文脈では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、もしくはデバイスによって、またはそれと関連して使用するためのプログラムを記憶し得る任意の非一過性手段である。非一過性コンピュータ読み取り可能な記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、もしくはデバイスであり得る。非一過性コンピュータ読み取り可能な媒体のより具体的例の非包括的リストは、１つ以上のワイヤ（電子）を有する電気接続、ポータブルコンピュータディスケット（磁気）、ランダムアクセス、すなわち、揮発性、メモリ（電子）、読み取り専用メモリ（電子）、例えば、フラッシュメモリ（電子）等の消去可能プログラマブル読み取り専用メモリ、例えば、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ（光学）等のコンパクトディスクメモリ、およびデジタル多用途ディスクメモリ、すなわち、ＤＶＤ（光学）を含む。

【0048】

本書で使用される信号またはデータの受信および伝送が、２つ以上のシステム、デバイス、構成要素、モジュール、またはサブモジュールがあるタイプの信号経路を経由して進行する信号を介して、互いに通信可能であることを意味することも理解されたい。信号は、情報、電力、またはエネルギーを第１のシステム、デバイス、構成要素、モジュール、またはサブモジュールから、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュール間の信号経路に沿って、第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールに通信し得る通信、電力、データ、またはエネルギー信号であり得る。信号経路は、物理、電気、磁気、電磁、電気化学、光学、有線、または無線接続を含み得る。信号経路は、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュール間の追加のシステム、デバイス、構成要素、モジュール、またはサブモジュールも含み得る。

【0049】

（産業上の利用可能性）
本明細書に引用される刊行物、特許出願、および特許を含む、全ての参考文献は、各参考文献が、個々に、かつ具体的に、参照することによって組み込まれるように示され、全体として本明細書に記載される場合と同程度に、参照することによって本明細書に組み込まれる。

【0050】

本発明を説明する文脈における（特に、以下の請求項の文脈における）、用語「ａ」、「ａｎ」、「ｔｈｅ」、および類似言及の使用は、本明細書に別様に示されない限り、または文脈によって明示的に矛盾しない限り、単数形および複数形の両方を対象とすることを解釈されたい。本明細書の値の範囲の詳述は、単に、本明細書に別様に示されない限り、範囲内にある各別個の値を個々に言及する簡潔な方法としての役割を果たすために意図され、各別個の値は、本明細書に個々に詳述された場合と同様に、本明細書に組み込まれる。本明細書に説明される全ての方法は、本明細書に別様に示されない限り、または別様に文脈によって明示的に矛盾しない限り、任意の好適な順序で行なわれることができる。本明細書に提供される、任意および全ての実施例または例示的用語（例えば、「ｓｕｃｈ ａｓ（等）」）の使用は、単に、本開示をより明瞭にすることを意図し、別様に請求されない限り、本発明の範囲に限定を課すものではない。明細書中のいずれの用語も、本開示の実践に不可欠ないずれの未請求要素も示すものと解釈されるべきではない。

【0051】

本開示に対する多数の修正は、前述の説明に照らして当業者に明白となるであろう。図示される実施形態は、例示にすぎず、本開示の範囲を限定するものと捉えられるべきではないことを理解されたい。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】