IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ベンタナ メディカル システムズ, インコーポレイテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-20
(45)【発行日】2023-01-30
(54)【発明の名称】ステイン集合体における信号の定量
(51)【国際特許分類】
   G01N 21/64 20060101AFI20230123BHJP
   G06T 7/194 20170101ALI20230123BHJP
   G06T 7/00 20170101ALI20230123BHJP
   G01N 33/48 20060101ALI20230123BHJP
   G01N 33/53 20060101ALI20230123BHJP
   C12Q 1/6813 20180101ALN20230123BHJP
   C12Q 1/6841 20180101ALN20230123BHJP
【FI】
G01N21/64 Z
G06T7/194
G06T7/00 612
G01N33/48 M
G01N33/48 P
G01N33/53 D
G01N33/53 M
C12Q1/6813 Z
C12Q1/6841 Z
【請求項の数】 37
(21)【出願番号】P 2020564469
(86)(22)【出願日】2019-05-14
(65)【公表番号】
(43)【公表日】2021-09-13
(86)【国際出願番号】 EP2019062296
(87)【国際公開番号】W WO2019219651
(87)【国際公開日】2019-11-21
【審査請求日】2021-01-18
(31)【優先権主張番号】62/671,825
(32)【優先日】2018-05-15
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507179346
【氏名又は名称】ベンタナ メディカル システムズ, インコーポレイテッド
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100138759
【弁理士】
【氏名又は名称】大房 直樹
(72)【発明者】
【氏名】ブレドノ,イェルク
(72)【発明者】
【氏名】ロルサクル,アウラヌチ
【審査官】伊藤 裕美
(56)【参考文献】
【文献】米国特許出願公開第2012/0163681(US,A1)
【文献】特表2018-509591(JP,A)
【文献】国際公開第2016/150873(WO,A1)
【文献】特開2015-232565(JP,A)
【文献】特表2011-515683(JP,A)
【文献】特表2018-514024(JP,A)
【文献】特表2015-508639(JP,A)
【文献】国際公開第2018/008309(WO,A1)
【文献】国際公開第2016/006096(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00 - G01N 21/74
G06T 7/00 - G06T 7/90
G01N 33/48 - G01N 33/98
C12Q 1/00 - C12Q 1/70
(57)【特許請求の範囲】
【請求項1】
生物学的サンプルの画像中の少なくとも1つのバイオマーカに対応する信号量を推定する方法であって、
(a)第1の画像中の隔離スポットを検出するステップ(320)と、
(b)前記検出した隔離スポットからの信号特徴に基づいて、代表的な隔離スポットの光学密度値を導出するステップ(330)と、
(c)前記代表的な隔離スポットの前記導出した光学密度値に基づいて、複数の副領域それぞれにおける信号集合体中の予測スポットの数を推定するステップ(340)と、
(d)生成された前記複数の副領域それぞれにおける前記推定した予測スポット数および検出した隔離スポットの数をデータベースに格納するステップ(350)と、
を含み、前記複数の副領域それぞれにおける前記信号集合体中の予測スポットの数が、前記代表的な隔離スポットの前記導出した光学密度によって前記副領域のうちの1つにおける前記信号集合体の総光学密度を除した商を計算することにより推定される、方法。
【請求項2】
前記代表的な隔離スポットの前記光学密度が、(i)前記検出した隔離スポットすべての演算記述信号特徴からヒストグラムプロットを生成し、(ii)前記ヒストグラムプロットからサイズおよび強度パラメータを抽出し、(iii)前記抽出したサイズパラメータから面積測定結果を計算し、(iv)前記抽出した強度パラメータに前記計算した面積測定結果を乗じることにより導出される、請求項1に記載の方法。
【請求項3】
前記強度パラメータが、均一な強度測定基準または不均一な強度測定基準である、請求項2に記載の方法。
【請求項4】
前記不均一な強度測定基準が、前記検出した隔離スポットそれぞれの不鮮明度信号特徴から演算された不鮮明度ヒストグラムから導出される、請求項3に記載の方法。
【請求項5】
前記均一な強度測定基準が、強度ヒストグラムから導出される強度値のモードおよび強度ヒストグラムから導出される加重平均強度から成る群から選択される、請求項3に記載の方法。
【請求項6】
前記サイズパラメータが、半値全幅ヒストグラムからの半径のモードである、請求項2に記載の方法。
【請求項7】
前記第1の画像が、第1のバイオマーカからの信号に対応する第1の分離画像チャネル画像である、請求項1に記載の方法。
【請求項8】
前記演算記述信号特徴が、スポット強度、スポット不鮮明度、スポット真円度、およびスポットサイズを含む、請求項2に記載の方法。
【請求項9】
前記演算記述信号特徴が、所定のサイズを有する画像パッチにおいて1Dガウス関数フィッティング法を用いることにより導出される、請求項8に記載の方法。
【請求項10】
前記信号集合体中の前記予測スポットの数の前記推定が、前記検出した隔離スポットに対応する信号を実質的に含まない第2の画像を用いて実行される、請求項1に記載の方法。
【請求項11】
前記第2の画像が、(i)前記第1の画像中の前記検出した隔離スポットに基づいて前景セグメント化マスクを生成し、(ii)前記生成した前景セグメント化マスクによって前記第1の画像をフィルタリングすることにより導出される、請求項10に記載の方法。
【請求項12】
前記第2の画像が、(i)前記第1の画像から前記検出した隔離スポットのみを含む隔離スポット画像を生成し、(ii)前記第1の画像から前記隔離スポット画像を減算することにより生成される、請求項10に記載の方法。
【請求項13】
前記複数の副領域がそれぞれ、バイオマーカ染色強度、バイオマーカ染色有無、および局所的バイオマーカ染色質感のうちの少なくとも1つが実質的に均一なピクセルを有する、請求項1に記載の方法。
【請求項14】
前記複数の副領域がそれぞれ、スーパーピクセルである、請求項1に記載の方法。
【請求項15】
前記スーパーピクセルが、(i)ピクセルを局所k平均クラスタリングでグループ化し、(ii)連結成分アルゴリズムを用いて小さな隔離領域を大きな最近接スーパーピクセルへと統合することにより導出される、請求項14に記載の方法。
【請求項16】
前記副領域が、サンプリンググリッドを前記第2の画像に重ね合わせることにより導出され、前記サンプリンググリッドが、所定のサイズおよび形状を有する非重畳エリアを規定する、請求項10に記載の方法。
【請求項17】
各副領域において検出した隔離スポットおよび推定した予測スポットの数を独立して視覚化する画像オーバーレイを生成するステップをさらに含む、請求項1に記載の方法。
【請求項18】
各副領域において推定した予測スポットの数および前記検出した隔離スポットから、総信号量を視覚化する画像オーバーレイを生成するステップをさらに含む、請求項1に記載の方法。
【請求項19】
生物学的サンプル中の染色標的に対応する前記生物学的サンプル中の1つまたは複数の信号の量を推定するシステム(200)であり、(i)1つまたは複数のプロセッサ(220)と、(ii)前記1つまたは複数のプロセッサに結合されたメモリ(201)と、を備えた、システム(200)であって、前記メモリが、前記1つまたは複数のプロセッサにより実行された場合に、
(a)第1の画像中の隔離スポットを検出することと、
(b)すべての検出した隔離スポットからの信号特徴に基づいて、代表的な隔離スポットの光学密度値を導出することと、
(c)前記代表的な隔離スポットの前記導出した光学密度値に基づいて、複数の副領域それぞれにおける信号集合体中の予測スポットの数を推定することと、
(d)少なくとも、生成された前記複数の副領域それぞれにおける前記推定した予測スポット数および検出した隔離スポットの数を当該メモリ内のデータベースに格納することと、
を含む動作であって、前記複数の副領域それぞれにおける前記信号集合体中の予測スポットの数が、前記代表的な隔離スポットの前記導出した光学密度によって前記副領域のうちの1つにおける前記信号集合体の総光学密度を除した商を計算することにより推定される、動作を当該システム(200)に実行させるコンピュータ実行可能命令を格納した、システム。
【請求項20】
前記代表的な隔離スポットの前記光学密度が、(i)演算した記述信号特徴それぞれからヒストグラムプロットを生成し、(ii)前記ヒストグラムプロットからサイズおよび強度パラメータを抽出し、(iii)前記抽出したサイズパラメータから面積測定結果を計算し、(iv)前記抽出した強度パラメータに前記計算した面積測定結果を乗じることにより導出される、請求項19に記載のシステム。
【請求項21】
前記強度パラメータが、均一な強度測定基準または不均一な強度測定基準である、請求項20に記載のシステム。
【請求項22】
前記サイズパラメータが、半値全幅ヒストグラムからの半径のモードである、請求項20に記載のシステム。
【請求項23】
前記第1の画像が、第1のバイオマーカからの信号に対応する第1の分離画像チャネル画像である、請求項19に記載のシステム。
【請求項24】
前記演算した記述信号特徴が、スポット強度、スポット不鮮明度、スポット真円度、およびスポットサイズを含む、請求項20に記載のシステム。
【請求項25】
前記演算した記述信号特徴が、所定のサイズを有する画像パッチにおいて1Dガウス関数フィッティング法を用いることにより導出される、請求項24に記載のシステム。
【請求項26】
前記信号集合体中の前記予測スポットの数の推定が、前記検出した隔離スポットに対応する信号を実質的に含まない第2の画像を用いて実行される、請求項19に記載のシステム。
【請求項27】
1または複数のプロセッサに一組の動作を実行させるように構成された命令を格納した持続性コンピュータ可読媒体であって、前記一組の動作は、
(a)第1の画像中の隔離スポットを検出することと、
(b)少なくとも前記検出した隔離スポットからの強度およびサイズ信号特徴に基づいて、代表的な隔離スポットの光学密度値を導出することと、
(c)前記代表的な隔離スポットの前記導出した光学密度値に基づいて、第2の画像中の複数の副領域それぞれにおける信号集合体中の予測スポットの数を推定することと、
(d)生成された前記複数の副領域それぞれにおける前記推定した予測スポット数および検出した隔離スポットの数をデータベースに格納することと、
を含み、前記複数の副領域それぞれにおける前記信号集合体中の予測スポットの数が、前記代表的な隔離スポットの前記導出した光学密度によって前記副領域のうちの1つにおける前記信号集合体の総光学密度を除した商を計算することにより推定される、持続性コンピュータ可読媒体。
【請求項28】
前記代表的な隔離スポットの前記光学密度値が、(i)前記検出した隔離スポットの信号特徴それぞれからヒストグラムプロットを生成し、(ii)前記ヒストグラムプロットからサイズおよび強度パラメータを抽出し、(iii)前記抽出したサイズパラメータから面積測定結果を計算し、(iv)前記抽出した強度パラメータに前記計算した面積測定結果を乗じることにより導出される、請求項27に記載の持続性コンピュータ可読媒体。
【請求項29】
前記隔離スポットが、ディスク状の構造要素が前記第1の画像内の形状にフィットするか否かに基づいて検出される、請求項27に記載の持続性コンピュータ可読媒体。
【請求項30】
前記副領域が、スーパーピクセルである、請求項27に記載の持続性コンピュータ可読媒体。
【請求項31】
前記スーパーピクセルが、(i)ピクセルを局所k平均クラスタリングでグループ化し、(ii)連結成分アルゴリズムを用いて小さな隔離領域を大きな最近接スーパーピクセルへと統合することにより導出される、請求項30に記載の持続性コンピュータ可読媒体。
【請求項32】
前記複数の副領域それぞれにおける前記信号集合体中の予測スポットの数が、前記代表的な隔離スポットの前記導出した光学密度によって前記副領域のうちの1つにおける前記信号集合体の総光学密度を除した商を計算することにより推定される、請求項27に記載の持続性コンピュータ可読媒体。
【請求項33】
前記信号集合体の前記総光学密度が、測定値である、請求項32に記載の持続性コンピュータ可読媒体。
【請求項34】
前記信号集合体が、少なくとも2つの核酸バイオマーカに対応する、請求項27に記載の持続性コンピュータ可読媒体。
【請求項35】
前記信号集合体が、少なくとも1つのタンパク質バイオマーカに対応する、請求項27に記載の持続性コンピュータ可読媒体。
【請求項36】
前記信号集合体の総光学密度は、測定された値である、請求項1に記載の方法。
【請求項37】
前記信号集合体は、少なくとも2つの核酸バイオマーカまたは少なくとも1つのタンパク質バイオマーカに対応する、請求項1に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
[0001]本願は、2018年5月15日に出願された米国仮特許出願第62/671,825号の出願日の利益を主張するものであり、そのすべての開示内容が参照により本明細書に組み込まれる。
【背景技術】
【0002】
[0002]デジタル病理学は、コンピュータ画面上で解釈可能なデジタル画像へと病理組織または病理細胞のガラススライド全体をスキャンすることを伴う。これらの画像は後で、画像処理アルゴリズムによる処理または病理学者による解釈がなされることになる。組織切片(実質的に透明)を検査するため、細胞成分に選択的に結び付く色付き組織化学的ステインを用いて組織切片が作成される。臨床医またはコンピュータ支援診断(CAD)アルゴリズムによる着色または染色細胞構造の使用によって、疾患の形態学的マーカを識別するとともに、これに応じた治療を進める。アッセイを観察することによって、疾患の診断、処置への反応の評価、および疾患と闘う新たな医薬品の開発といった多様なプロセスが可能になる。
【0003】
[0003]免疫組織化学的(IHC)スライド染色は、組織切片の細胞中のタンパク質を識別するのに利用可能であるため、生物組織中のがん細胞および免疫細胞等、さまざまな種類の細胞の研究に広く用いられている。このため、免疫反応研究の場合に、がん細胞中の免疫細胞(T細胞またはB細胞等)の異なる発現のバイオマーカの分布および局在を理解する研究においては、IHC染色が使用され得る。たとえば、腫瘍は、免疫細胞の浸潤物を含むことが多く、これが腫瘍の成長を防止する場合もあれば、腫瘍の増殖を優先させる場合もある。
【0004】
[0004]特に顕微鏡下で観察した場合に形態学的に悪性と見られる細胞中の遺伝学的異常または発がん遺伝子の増幅等の状態の有無の確認には、in-situハイブリダイゼーション(ISH)を使用可能である。一意の核酸配列が染色体、細胞、および組織中の正確な位置を占有しており、in-situハイブリダイゼーションによれば、このような配列の大きな崩壊なく、配列の有無および/または増幅状態を判定可能である。ISHでは、標的遺伝子配列または転写物に対してアンチセンスの標識DNAまたはRNAプローブ分子を採用することにより、細胞または組織サンプル内の目標とする核酸標的遺伝子を検出または位置特定する。ISHは、ガラススライド上に固定された細胞または組織サンプル中の所与の標的遺伝子へと特にハイブリダイズ可能な標識核酸プローブに対して、当該細胞または組織サンプルを曝露することにより実行される。複数の異なる核酸タグで標識済みの複数の核酸プローブに対して細胞または組織サンプルを曝露することにより、複数の標的遺伝子を同時に分析可能である。発光波長が異なる標識を利用することにより、単一の標的細胞または組織サンプルに対して、1回のステップで同時多色分析が実行され得る。
【発明の概要】
【発明が解決しようとする課題】
【0005】
[0005]歴史的に見て、組織中のタンパク質および核酸の臨床評価は、in-situ免疫酵素検出法に依拠してきた。たとえば、B細胞クローン性の検出は、B細胞リンパ腫の診断の補助に有用であり、クローン性評価は、κおよびλ軽鎖の発現の評価によって達成され得る。図8Aに見られるように、検出κ-mRNAに対して染色された扁桃腺組織は、銀(Ag)により検出され(黒色に見える)、λ-mRNAは、チラミド-スルホローダミンにより検出され得る(紫色に見える)。関心信号の存在は、小さなスポット(たとえば、離散ドット)に見え、これらのスポットが蓄積することにより、細胞中のmRNAコピー数に応じて、集合体信号のより大きな領域(以下、「信号集合体斑点」または「斑点」)を構成し得る。一例として、血漿細胞は、細胞当たりのmRNAコピーが約100,000個であるため、当該細胞中の信号は斑点に見える場合がある。
【0006】
[0006]定量的ISHおよびIHC分析は、臨床評価において有用ではあるものの、既存の技術の制約により、広くは実行されない。信号集合体斑点中の信号量を推定する自動化技術によれば、染色生物学的サンプルの強力な臨床的解釈が容易化され、サンプルのより迅速かつ正確な解釈が可能となり得る。上記に鑑みて、本出願人は、染色サンプルに存在するタンパク質または核酸信号の数の検出および定量化を可能にする画像解析システムおよび方法を開発した。
【課題を解決するための手段】
【0007】
[0007]本開示の一態様は、生物学的サンプルの画像中の少なくとも1つのバイオマーカに対応する信号量を推定する方法であって、第1の画像(たとえば、第1のバイオマーカからの信号に対応する分離画像チャネル画像)中の隔離スポットを検出するステップと、(たとえば、検出した隔離スポットからの演算信号特徴または特性に基づいて)代表的な隔離スポットの光学密度値を導出するステップと、代表的な隔離スポットの導出した光学密度値に基づいて、複数の副領域それぞれにおける信号集合体中の予測スポットの数を推定するステップと、を含む、方法である。いくつかの実施形態において、この方法は、検出した隔離スポットの数と副領域それぞれにおける信号集合体中の推定した予測スポット数とを組み合わせることにより、副領域における総スポット数を計算するステップをさらに含む。
【0008】
[0008]いくつかの実施形態において、複数の副領域それぞれにおける信号集合体中の予測スポットの数は、代表的な隔離スポットの導出した光学密度によって副領域のうちの1つにおける信号集合体の総光学密度を除した商を計算することにより推定される。いくつかの実施形態において、副領域のうちの1つにおける信号集合体の総光学密度は、測定値である。いくつかの実施形態において、代表的な隔離スポットの光学密度は、(i)検出した隔離スポットすべての演算記述信号特徴からヒストグラムプロットを生成し、(ii)ヒストグラムプロットからサイズおよび強度パラメータを抽出し、(iii)抽出したサイズパラメータから面積測定結果を計算し、(iv)抽出した強度パラメータに計算した面積測定結果を乗じることにより導出される。いくつかの実施形態において、演算記述信号特徴は、検出した隔離スポットからの信号特徴(たとえば、平均、標準偏差、半値全幅、またはサイズ)を特性化することにより導出される。いくつかの実施形態において、演算記述信号特徴は、スポット強度、スポット不鮮明度、スポット真円度、およびスポットサイズを含む。いくつかの実施形態において、記述信号特徴は、所定のサイズ(たとえば、7×7ピクセル)を有する画像パッチにおいて1Dガウス関数フィッティング法を用いることにより演算される。
【0009】
[0009]いくつかの実施形態において、サイズパラメータは、半値全幅ヒストグラムからの半径のモードである。いくつかの実施形態において、サイズパラメータは、半値全幅ヒストグラムからの半径の平均である。いくつかの実施形態において、強度パラメータは、均一な強度測定基準である。いくつかの実施形態において、強度パラメータは、不均一な強度測定基準である。いくつかの実施形態において、均一な強度測定基準は、強度ヒストグラムから導出される強度値のモードである。いくつかの実施形態において、均一な強度測定基準は、強度ヒストグラムから導出される強度値の平均である。いくつかの実施形態において、均一な強度測定基準は、強度ヒストグラムから導出される加重平均強度である。いくつかの実施形態において、不均一な強度測定基準は、検出した隔離スポットそれぞれの不鮮明度信号特徴から演算される不鮮明度ヒストグラムから導出される。
【0010】
[0010]いくつかの実施形態において、予測スポットの数の推定は、検出した隔離スポットに対応する信号を実質的に含まない第2の画像を用いて実行される。いくつかの実施形態において、第2の画像は、本明細書に記載の通り、残差画像である。いくつかの実施形態において、第2の画像は、(i)第1の画像中の検出した隔離スポットに基づいて前景セグメント化マスクを生成し、(ii)生成した前景セグメント化マスクによって第1の画像をフィルタリングすることにより導出される。いくつかの実施形態において、第2の画像は、(i)第1の画像から検出した隔離スポットのみを含む隔離スポット画像を生成し、(ii)第1の画像から隔離スポット画像を減算することにより生成される。いくつかの実施形態において、第2の領域は、複数の副領域にセグメント化される。
【0011】
[0011]いくつかの実施形態において、複数の副領域はそれぞれ、バイオマーカ染色強度、バイオマーカ染色有無、および局所的バイオマーカ染色質感のうちの少なくとも1つが実質的に均一なピクセルを有する。いくつかの実施形態において、複数の副領域はそれぞれ、スーパーピクセルである。いくつかの実施形態において、スーパーピクセルは、ピクセルを局所k平均クラスタリングでグループ化し、(ii)連結成分アルゴリズムを用いて小さな隔離領域を大きな最近接スーパーピクセルへと統合することにより導出される。いくつかの実施形態においては、およそ10の正則化パラメータとの70×70ピクセルサイズの併用により、スーパーピクセルを生成していた。いくつかの実施形態においては、上述の第2の画像に対してセグメント化が実行される。いくつかの実施形態において、副領域は、サンプリンググリッドを第2の画像に重ね合わせることにより導出され、サンプリンググリッドは、所定のサイズおよび形状(たとえば、正方形、円等の単純なオブジェクト形状)を有する非重畳エリア(たとえば、およそ70ピクセル×70ピクセル~およそ200ピクセル×およそ200ピクセルのサイズを有するエリア)を規定する。いくつかの実施形態において、この方法は、前述のステップのうちの少なくとも一部の繰り返しによって、第2のバイオマーカに対応する信号を推定するステップをさらに含む。
【0012】
[0012]いくつかの実施形態において、第2のバイオマーカに対応する信号を推定する方法は、第2のバイオマーカからの信号に対応する分離画像チャネル画像中の隔離スポットを検出するステップと、(たとえば、検出した隔離スポットからの演算信号特徴に基づいて)代表的な隔離スポットの光学密度値を導出するステップと、検出した隔離スポットの演算記述信号特徴に基づいて、複数の副領域それぞれにおける信号集合体中の予測スポットの数を推定するステップと、を含む。いくつかの実施形態において、第2のバイオマーカに対応する予測スポットの数の推定は、第2のバイオマーカに対応する隔離スポットおよび信号集合体(検出した隔離スポットからの信号が除去された場合)を有する分離画像チャネル画像から導出される画像を用いて実施される。
【0013】
[0013]いくつかの実施形態において、生物学的サンプルは、1つまたは複数のタンパク質バイオマーカ(たとえば、HER2タンパク質バイオマーカ)の存在に対して染色される。いくつかの実施形態において、生物学的サンプルは、1つまたは複数の核酸バイオマーカの存在に対して染色される。いくつかの実施形態において、生物学的サンプルは、1つまたは複数のmRNA配列(たとえば、1つもしくは複数のκ-mRNA配列ならびに/または1つもしくは複数のλ-mRNA配列)の存在に対して染色される。いくつかの実施形態において、1つまたは複数のκ-mRNA配列はそれぞれ、同じレポータ部分(たとえば、銀色原体)を用いて検出される。いくつかの実施形態において、1つまたは複数のλ-mRNA配列はそれぞれ、同じレポータ部分(たとえば、紫色原体)を用いて検出される。
【0014】
[0014]いくつかの実施形態において、この方法は、全スライド画像全体の複数の生成副領域それぞれにおける推定した予測スポット数および検出した隔離スポットをデータベースに格納するステップをさらに含む。いくつかの実施形態において、この方法は、格納したデータを使用して、入力画像(たとえば、全スライド画像またはその一部)に重ね合わされ得るオーバーレイを生成するステップをさらに含む。いくつかの実施形態において、この方法は、各副領域において検出した隔離スポットおよび推定した予測スポットの数を独立して視覚化する画像オーバーレイを生成するステップをさらに含む。いくつかの実施形態において、この方法は、各副領域において推定した予測スポットの数および検出した隔離スポットから、総信号量を視覚化する画像オーバーレイを生成するステップをさらに含む。いくつかの実施形態において、視覚化には、2つ以上のバイオマーカに関する情報を含む。
【0015】
[0015]本開示の別の態様は、生物学的サンプルの画像中の少なくとも1つのバイオマーカに対応する信号量を推定する方法であって、入力画像(たとえば、単体画像または複合画像から導出される分離画像チャネル画像)中の隔離スポットを検出するステップと、検出した隔離スポットからの記述信号特徴を演算するステップと、検出した隔離スポットの演算した記述信号特徴に基づいて、第2の画像中の複数の副領域それぞれにおける信号集合体中の予測スポットの数を推定するステップと、を含む、方法である。いくつかの実施形態において、この方法は、検出した分類スポットの数と副領域それぞれにおける信号集合体中の推定した予測スポット数とを組み合わせることにより、副領域における総スポット数を計算するステップをさらに含む。
【0016】
[0016]いくつかの実施形態において、この方法は、複数の各生成副領域および/または全スライド画像における推定した予測スポット数および/または検出した隔離スポットをデータベースに格納するステップをさらに含む。いくつかの実施形態において、複数の副領域それぞれにおける信号集合体中の予測スポットの数は、(i)演算した記述信号特徴から代表的な隔離スポットの光学密度を導出し、(ii)代表的な隔離スポットの導出した光学密度によって第2の画像の副領域のうちの1つにおける信号集合体の総光学密度を除した商を計算することにより推定される。いくつかの実施形態において、代表的な隔離スポットの光学密度は、(i)演算記述信号特徴のそれぞれからヒストグラムプロットを生成し、(ii)ヒストグラムプロットからサイズおよび強度パラメータを抽出し、(iii)抽出したサイズパラメータから面積測定結果を計算し、(iv)抽出した強度パラメータに計算した面積測定結果を乗じることにより導出される。いくつかの実施形態において、演算記述信号特徴は、検出した隔離スポットからの信号特徴(たとえば、平均、標準偏差、半値全幅、またはサイズ)を特性化することにより導出される。いくつかの実施形態において、強度パラメータは、均一な強度測定基準および不均一な強度測定基準から選択される。いくつかの実施形態において、演算記述信号特徴は、サイズ、不鮮明度、強度、および真円度である。
【0017】
[0017]本開示の別の態様は、生物学的サンプルの画像中の少なくとも1つのバイオマーカに対応する信号量を推定する方法であって、第1の画像(たとえば、第1のバイオマーカからの信号に対応する分離画像チャネル画像)中の単一遺伝子コピーに対応する信号を検出するステップと、第1の画像中の単一遺伝子コピーに対応するすべての検出信号から、演算信号特徴に基づいて、単一遺伝子コピーに対応する代表的な信号の光学密度値を導出するステップと、単一遺伝子コピーに対応する代表的な信号の導出した光学密度値に基づいて、第2の画像(たとえば、信号集合体内の信号に対して、検出隔離スポットが実質的に寄与しない画像)中の複数の副領域それぞれにおける信号斑点中の(複数の遺伝子コピーに対応する)予測信号の数を推定するステップと、を含む、方法である。いくつかの実施形態において、単一遺伝子コピーに対応する代表的な信号の光学密度は、(i)少なくとも2つの演算記述信号特徴からヒストグラムプロットを生成し、(ii)ヒストグラムプロットからサイズおよび強度パラメータを抽出し、(iii)抽出したサイズパラメータから面積測定結果を計算し、(iv)抽出した強度パラメータに計算した面積測定結果を乗じることにより導出される。いくつかの実施形態において、強度パラメータは、均一な強度測定基準および不均一な強度測定基準から選択される。いくつかの実施形態において、演算記述信号特徴は、サイズ、不鮮明度、強度、および真円度である。いくつかの実施形態において、この方法は、推定した予測スポットの数および/または検出した隔離スポットに基づいて、オーバーレイを生成するステップをさらに含む。いくつかの実施形態において、この方法は、別の遺伝子に対して前述のステップのうちの少なくとも一部を繰り返すステップをさらに含む(ほんの一例に過ぎないが、1回目はκ-mRNAに対して、2回目はλ-mRNAに対して、この方法を実行する)。
【0018】
[0018]本開示の別の態様は、生物学的サンプルの画像中の少なくとも1つのバイオマーカに対応する信号量を推定する方法であって、第1の画像(たとえば、第1のバイオマーカからの信号に対応する分離画像チャネル画像)中の隔離スポットを検出するステップと、検出した隔離スポットからの演算信号特徴に基づいて、代表的な隔離スポットの光学密度値を導出するステップと、検出した隔離スポットに対応する信号を実質的に含まない第1の画像から導出される残差画像を生成するステップと、残差画像を複数の副領域にセグメント化するステップと、代表的な隔離スポットの導出した光学密度に基づいて、複数の副領域それぞれにおける信号集合体中の予測スポットの数を推定するステップと、を含む、方法である。いくつかの実施形態において、第1の画像は、少なくとも1つの核酸バイオマーカの存在に対して染色される。他の実施形態において、第1の画像は、少なくとも1つのタンパク質バイオマーカの存在に対して染色される。いくつかの実施形態において、演算記述信号特徴は、検出した隔離スポットからの信号特徴(たとえば、平均、標準偏差、半値全幅、またはサイズ)を特性化することにより導出される。いくつかの実施形態において、演算記述信号特徴は、スポット強度、スポット不鮮明度、スポット真円度、およびスポットサイズを含む。
【0019】
[0019]本開示の別の態様は、生物学的サンプル中の染色標的(たとえば、タンパク質、核酸等)に対応する生物学的サンプル中の1つまたは複数の信号の量を推定するシステムであり、(i)1つまたは複数のプロセッサと、(ii)1つまたは複数のプロセッサに結合されたメモリと、を備えた、システムであって、メモリが、1つまたは複数のプロセッサにより実行された場合に、第1の画像(たとえば、第1のバイオマーカからの信号に対応する分離画像チャネル画像)中の隔離スポットを検出することと、検出した隔離スポットからの演算信号特徴に基づいて、代表的な隔離スポットの光学密度値を導出することと、代表的な隔離スポットの導出した光学密度値に基づいて、第2の画像(たとえば、信号集合体内の信号に対して、検出した隔離スポットが実質的に寄与しない画像)中の複数の副領域それぞれにおける信号集合体中の予測スポットの数を推定することと、を含む動作を当該システムに実行させるコンピュータ実行可能命令を格納した、システムである。いくつかの実施形態において、このシステムは、検出した隔離スポットの数と副領域それぞれにおける信号集合体中の推定した予測スポット数とを組み合わせることにより、副領域における総スポット数を計算する命令をさらに含む。
【0020】
[0020]いくつかの実施形態において、複数の副領域それぞれにおける信号集合体中の予測スポットの数は、代表的な隔離スポットの導出した光学密度によって第2の画像の副領域のうちの1つにおける信号集合体の総光学密度を除した商を計算することにより推定される。いくつかの実施形態において、代表的な隔離スポットの光学密度は、(i)演算記述信号特徴それぞれからヒストグラムプロットを生成し、(ii)ヒストグラムプロットからサイズおよび強度パラメータを抽出し、(iii)抽出したサイズパラメータから面積測定結果を計算し、(iv)抽出した強度パラメータに計算した面積測定結果を乗じることにより導出される。いくつかの実施形態において、演算記述信号特徴は、検出した各隔離スポットの信号特性(平均、標準偏差、半値全幅、またはサイズを含む)から導出される。いくつかの実施形態において、サイズパラメータは、半値全幅ヒストグラムからの半径のモードである。いくつかの実施形態において、強度パラメータは、均一な強度測定基準または不均一な強度測定基準である。いくつかの実施形態において、均一な強度測定基準は、強度ヒストグラムから導出される強度値のモードである。いくつかの実施形態において、均一な強度測定基準は、強度ヒストグラムから導出される強度値の平均である。いくつかの実施形態において、均一な強度測定基準は、強度ヒストグラムから導出される加重平均強度である。いくつかの実施形態において、不均一な強度測定基準は、検出した隔離スポットそれぞれの不鮮明度信号特徴から演算される不鮮明度ヒストグラムから導出される。
【0021】
[0021]いくつかの実施形態において、演算記述信号特徴は、スポット強度、スポット不鮮明度、スポット真円度、およびスポットサイズを含む。いくつかの実施形態において、記述信号特徴は、所定のサイズ(たとえば、7×7ピクセル)を有する画像パッチにおいて1Dガウス関数フィッティング法を用いることにより演算される。
【0022】
[0022]いくつかの実施形態において、第2の画像は、(i)第1の画像中の検出した隔離スポットに基づいて前景セグメント化マスクを生成し、(ii)生成した前景セグメント化マスクによって第1の画像をフィルタリングすることにより導出される。いくつかの実施形態において、第2の画像は、(i)第1の画像から検出した隔離スポットのみを含む隔離スポット画像を生成し、(ii)第1の画像から隔離スポット画像を減算することにより生成される。
【0023】
[0023]いくつかの実施形態において、複数の副領域はそれぞれ、バイオマーカ染色強度、バイオマーカ染色有無、および局所的バイオマーカ染色質感のうちの少なくとも1つが実質的に均一なピクセルを有する。いくつかの実施形態において、複数の副領域はそれぞれ、スーパーピクセルである。いくつかの実施形態において、スーパーピクセルは、ピクセルを局所k平均クラスタリングでグループ化し、(ii)連結成分アルゴリズムを用いて小さな隔離領域を大きな最近接スーパーピクセルへと統合することにより導出される。いくつかの実施形態において、副領域は、サンプリンググリッドを第2の画像に重ね合わせることにより導出され、サンプリンググリッドは、所定のサイズおよび形状を有する非重畳エリアを規定する。
【0024】
[0024]本開示の別の態様は、生物学的サンプル中の染色標的(たとえば、タンパク質、核酸等)に対応する生物学的サンプル中の1つまたは複数の信号の量を推定するシステムであり、(i)1つまたは複数のプロセッサと、(ii)1つまたは複数のプロセッサに結合されたメモリと、を備えた、システムであって、メモリが、1つまたは複数のプロセッサにより実行された場合に、第1の画像(たとえば、第1のバイオマーカからの信号に対応する分離画像チャネル画像)中の隔離スポットを検出することと、検出したすべての隔離スポットからの記述信号特徴を演算することと、演算した記述信号特徴に基づいて、第2の画像(たとえば、信号集合体内の信号に対して、検出した隔離スポットが実質的に寄与しない画像)中の複数の副領域それぞれにおける信号集合体中の予測スポットの数を推定することと、を含む動作を当該システムに実行させるコンピュータ実行可能命令を格納した、システムである。いくつかの実施形態において、複数の副領域それぞれにおける信号集合体中の予測スポットの数は、(i)演算した記述信号特徴から代表的な隔離スポットの光学密度を導出し、(ii)代表的な隔離スポットの導出した光学密度によって第2の画像の副領域のうちの1つにおける信号集合体の総光学密度を除した商を計算することにより推定される。いくつかの実施形態において、代表的な隔離スポットの光学密度は、(i)演算記述信号特徴それぞれからヒストグラムプロットを生成し、(ii)ヒストグラムプロットからサイズおよび強度パラメータを抽出し、(iii)抽出したサイズパラメータから面積測定結果を計算し、(iv)抽出した強度パラメータに計算した面積測定結果を乗じることにより導出される。いくつかの実施形態において、強度パラメータは、均一な強度測定基準または不均一な強度測定基準である。いくつかの実施形態において、サイズパラメータは、半値全幅ヒストグラムからの半径のモードである。いくつかの実施形態において、第1の画像は、第1のバイオマーカからの信号に対応する第1の分離画像チャネル画像である。いくつかの実施形態において、演算記述信号特徴は、検出した各隔離スポットの信号特性(平均、標準偏差、半値全幅、またはサイズを含む)から導出される。いくつかの実施形態において、演算記述信号特徴は、スポット強度、スポット不鮮明度、スポット真円度、およびスポットサイズを含む。いくつかの実施形態において、記述信号特徴は、所定のサイズを有する画像パッチにおいて1Dガウス関数フィッティング法を用いることにより演算される。いくつかの実施形態において、信号集合体中の予測スポットの数の推定は、検出した隔離スポットに対応する信号を実質的に含まない第2の画像を用いて実行される。
【0025】
[0025]本開示の別の態様は、第1の画像(たとえば、第1のバイオマーカからの信号に対応する分離画像チャネル画像)中の隔離スポットを検出することと、少なくとも検出した隔離スポットからの演算信号特徴に基づいて、代表的な隔離スポットの光学密度値を導出することと、代表的な隔離スポットの導出した光学密度値に基づいて、第2の画像(たとえば、信号集合体内の信号に対して、検出した隔離スポットが実質的に寄与しない画像)中の複数の副領域それぞれにおける信号集合体中の予測スポットの数を推定することと、を含む、染色生物学的サンプル中の異なる信号の量を推定する命令を格納した持続性コンピュータ可読媒体である。いくつかの実施形態において、代表的な隔離スポットの光学密度は、(i)検出した隔離スポットからの信号特徴それぞれからヒストグラムプロットを生成し、(ii)ヒストグラムプロットからサイズおよび強度パラメータを抽出し、(iii)抽出したサイズパラメータから面積測定結果を計算し、(iv)抽出した強度パラメータに計算した面積測定結果を乗じることにより導出される。いくつかの実施形態において、隔離スポットは、ディスク様形状を有する形状検出器を用いて検出される。いくつかの実施形態において、副領域は、スーパーピクセルである。いくつかの実施形態において、スーパーピクセルは、(i)ピクセルを局所k平均クラスタリングでグループ化し、(ii)連結成分アルゴリズムを用いて小さな隔離領域を大きな最近接スーパーピクセルへと統合することにより導出される。いくつかの実施形態において、複数の副領域それぞれにおける信号集合体中の予測スポットの数は、代表的な隔離スポットの導出した光学密度によって副領域のうちの1つにおける信号集合体の総光学密度を除した商を計算することにより推定される。いくつかの実施形態において、信号集合体の総光学密度は、測定値である。いくつかの実施形態において、信号は、少なくとも2つの核酸バイオマーカに対応する。いくつかの実施形態において、信号は、少なくとも1つのタンパク質バイオマーカに対応する。いくつかの実施形態において、持続性コンピュータ可読媒体は、入力画像を分離する命令をさらに含む。いくつかの実施形態において、持続性コンピュータ可読媒体は、入力画像(たとえば、分離画像チャネル画像)を複数の副領域にセグメント化する命令をさらに含む。いくつかの実施形態において、持続性コンピュータ可読媒体は、スーパーピクセルを生成する命令をさらに含む。いくつかの実施形態において、持続性コンピュータ可読媒体は、検出した隔離スポットからの信号を実質的に含まない第2の画像を生成する命令をさらに含む。いくつかの実施形態において、持続性コンピュータ可読媒体は、視覚化を生成するとともに、生成した視覚化を入力画像に重ね合わせる命令をさらに含む。いくつかの実施形態において、持続性コンピュータ可読媒体は、全スライド画像の一部にそれぞれ対応する少なくとも2つの画像タイルからの生成データを組み合わせるとともに、少なくとも2つのタイルからのデータを組み合わせる命令をさらに含む。
【0026】
[0026]本開示の特徴の全般的な理解のため、図面を参照する。図面全体を通して、同一要素の識別には、同じ参照番号を使用している。
【図面の簡単な説明】
【0027】
図1】[0027]いくつかの実施形態に係る、画像取得デバイスおよびコンピュータシステムを具備する代表的なデジタル病理学システムを示した図である。
図2】[0028]いくつかの実施形態に係る、デジタル病理学システムまたはデジタル病理学ワークフローにおいて利用し得るさまざまなモジュールを示した図である。
図3A】[0029]いくつかの実施形態に係る、全スライド画像またはその任意の一部それぞれにおける1つまたは複数のバイオマーカに対応する1つまたは複数の信号の量を推定するステップの概要を提供するフローチャートであって、オーバーレイの生成または演算データの格納を行う任意選択的なステップをさらに示した図である。
図3B】[0030]いくつかの実施形態に係る、全スライド画像またはその任意の一部それぞれにおける1つまたは複数のバイオマーカに対応する1つまたは複数の信号の量を推定するステップを示したフローチャートであって、オーバーレイの生成または演算データの格納を行う任意選択的なステップをさらに示した図である。
図3C】[0031]いくつかの実施形態に係る、1つまたは複数のタンパク質バイオマーカに対応する1つまたは複数の信号の量を推定する非限定的な方法を示したフローチャートである。
図3D】[0032]いくつかの実施形態に係る、1つまたは複数の核酸バイオマーカに対応する1つまたは複数の信号の量を推定する非限定的な方法を示したフローチャートである。
図3E】[0033]いくつかの実施形態に係る、全スライド画像またはその任意の一部における少なくとも2つのバイオマーカに対応する少なくとも2つの信号の量を推定する非限定的な方法を示したフローチャートである。
図4】[0034]いくつかの実施形態に係る、検出隔離スポットからのデータの生成を示したフローチャートである。
図5】[0035]いくつかの実施形態に係る、代表的な隔離スポットの光学密度値を演算するステップを示したフローチャートである。
図6A】[0036]カウンタステイン・ヘマトキシリンにより、κ-mRNA(銀または黒色/レポータ601)を伴うin-situハイブリダイゼーション・アッセイにおいて染色された全スライド画像の一部を示した図である。
図6B】[0037]分離後の画像チャネル画像の一例であって、κ-mRNA(銀/黒色/レポータ602)に対応する信号のみを示した図である。
図6C】[0038]分離後の画像チャネルの一例であって、ヘマトキシリンチャネル(たとえば、青603)を示した図である。
図7A】[0039]カウンタステイン・ヘマトキシリンにより、λ-mRNAプローブ(紫色/レポータ701)を伴うin-situハイブリダイゼーション・アッセイにおいて染色された全スライド画像の一部を示した図である。
図7B】[0040]分離後の画像チャネル画像の一例であって、λ-mRNA(紫色/レポータ702)に対応する信号のみを示した図である。
図7C】[0041]分離後の画像チャネルの一例であって、ヘマトキシリンチャネル(たとえば、青703)を示した図である。
図8A】[0042]κ-mRNA(銀または黒色/レポータ801)およびλ-mRNAプローブ(紫色/レポータ802)を伴うin-situハイブリダイゼーション・アッセイにおいて染色された全スライド画像の一部を示した図である。
図8B】[0043]分離後の画像チャネル画像の一例であって、κ-mRNA(黒色/レポータ803)に対応する信号のみを示した図である。
図8C】[0044]分離後の画像チャネル画像の一例であって、λ-mRNA(紫色/レポータ804)に対応する信号のみを示した図である。
図8D】[0046]分離後の画像チャネルの一例であって、ヘマトキシリンチャネル(たとえば、青805)を示した図である。
図9A】[0047]in-situハイブリダイゼーション・アッセイにおいて染色された全スライド画像の一部の一例を示した図である。
図9B】[0048]図9Aの単一チャネル(銀/黒チャネル)への分離の結果を示した図である。
図9C】[0049]図9Bの分離画像チャネル画像上のドット検出の結果(スポットチャネル画像)を示した図である。
図9D】[0050]図9Cの検出隔離スポットからの信号が実質的に除去される(たとえば、差し引かれる)斑点チャネル画像を示した図である。
図9E】[0051]図9Cのスポットチャネル画像中の検出隔離スポットの導出x、y位置を示した図である。
図9F図9Cのスポットチャネル画像中の検出隔離スポットの導出x、y位置を示した図である。
図9G】[0052]図9Cのスポットチャネル画像中の各検出隔離スポットに重ね合わされた導出種子中心を示した図である。
図9H図9Cのスポットチャネル画像中の各検出隔離スポットに重ね合わされた導出種子中心を示した図である。
図9I】[0053]図9Aの全スライド画像の一部に重ね合わされた検出隔離スポットのオーバーレイを示した図である。
図9J図9Aの全スライド画像の一部に重ね合わされた検出隔離スポットのオーバーレイを示した図である。
図10A】[0054]本開示のいくつかの実施形態に係る、入力画像として用いられる全スライド画像の一部を示しており、全スライド画像中の生物学的サンプルがタンパク質バイオマーカ(たとえば、HER2)の存在に対して染色された図である。
図10B】[0055]図10Aのタンパク質バイオマーカのスポット検出の結果を示した図である。
図10C図10Aのタンパク質バイオマーカのスポット検出の結果を示した図である。
図11】[0056]本開示のいくつかの実施形態に係る、スポット信号を囲むパッチから導出されたデータに対して、検出隔離スポットの特性を抽出する1Dガウスフィッティング関数が採用されることにより導出可能なパラメータであって、パネル(i)が入力画像上の関心スポットを切り取ったウィンドウを示し、パネル(ii)がパネル(i)の切り取ったウィンドウの2D表示の光学密度を示し、パネル(iii)がパネル(i)の切り取ったウィンドウの3D表示の光学密度を示し、パネル(iv)が完全なガウス関数にフィットする入力光学密度のパラメータの決定にガウスフィッティング法が理論的に使用された場合のガウス関数の3Dプロットを示し、パネル(v)が1Dガウス関数を示した図である。
図12】[0057]本開示のいくつかの実施形態に係る、スポット検出の結果および各検出隔離スポットからの演算パラメータの生成を示しており、演算パラメータが複数の異なるヒストグラムにビニングされた図である。
図13】[0058]本開示のいくつかの実施形態に係る、分離画像チャネル画像およびスポットチャネル画像からの残差画像であり、スポットチャネル画像に示される検出隔離スポットからの信号を実質的に含まない、残差画像の生成を示した図である。
図14A】[0059]本開示のいくつかの実施形態に係る、少なくとも1つのバイオマーカにより染色された全スライド画像の一部を示した図である。
図14B】[0060]本開示のいくつかの実施形態に係る、図14Aの全スライド画像の一部のセグメント化の結果を示した図である。
図14C】[0061]本開示のいくつかの実施形態に係る、生成セグメントを全スライド画像の一部に重ね合わせた結果を示した図である。
図15】[0062]本開示のいくつかの実施形態に係る、全スライド画像中の少なくとも1つのバイオマーカに対応する信号を推定するステップを示した代替フローチャートである。
図16A】[0063]本開示のいくつかの実施形態に係る、信号集合体中の検出隔離スポットおよび推定信号量を全スライド画像に重ね合わせた結果を示した図である。
図16B】本開示のいくつかの実施形態に係る、信号集合体中の検出隔離スポットおよび推定信号量を全スライド画像に重ね合わせた結果を示した図である。
図17A】[0064]本開示のいくつかの実施形態に係る、核セグメント化の結果を示した図である。
図17B】[0065]本開示のいくつかの実施形態に係る、各細胞の核境界を示した図である。
図18】[0066]31個の視野に対して確認された観察専門家とアルゴリズム結果(R=0.99、CCC=0.99)との間のスポット数一致の全体分布であって、傾きが0.98かつ切片が-2.3のスポット数の良好な分布を示すプロットと、観察者により識別された総スポット数(126,588)およびアルゴリズムにより識別された総スポット数(124,040)を示す添付表とを示した図である。
【発明を実施するための形態】
【0028】
[0067]別段の明確な指定のない限り、2つ以上のステップまたは動作を含む本明細書に請求の如何なる方法においても、そのステップまたは動作の順序は、当該ステップまたは動作が列挙された順序に必ずしも限定されないことが了解されるものとする。
【0029】
[0068]本明細書において、単数の用語「a」、「an」、および「the」は、文脈上の別段の明確な指定のない限り、複数の指示対象を含む。同様に、単語「または(or)」は、文脈上の別段の明確な指定のない限り、「および(and)」を含むことが意図される。用語「含む(includes)」は、「AまたはBを含む(includes A or B)」がA、B、またはAおよびBを含むことを意味するように、包含的に定義される。
【0030】
[0069]本明細書および特許請求の範囲において、「または(or)」は、上記定義の「および/または(and/or)」と同じ意味を有することが了解されるものとする。たとえば、リストにおいて項目を分離する場合、「または(or)」または「および/または(and/or)」は、包含的であるものと解釈され、多数または一覧の要素と、任意選択として付加的なリスト外の項目と、のうちの少なくとも1つを包含し、また、2つ以上を包含することも可能であるものとする。「~のうちの1つだけ(only one of)」もしくは「~のうちのちょうど1つだけ(exactly one of)」等の別段の明確な指定がなされた用語または特許請求の範囲において使用される「~から成る(consisting of)」という用語のみ、多数または一覧の要素のうちのちょうど1つの要素の包含を表す。一般的に、本明細書における用語「または(or)」は、「either」、「one of」、「only one of」、または「exactly one of」等の排他的な用語が先行する場合に排他的な選択肢(すなわち、「一方または他方であるが、両方ではない(one or the other but not both)」)を示す旨の解釈のみがなされるものとする。特許請求の範囲において使用される「~から本質的に成る(consisting essentially of)」は、特許法の分野において使用される場合の通常の意味を有するものとする。
【0031】
[0070]用語「備える(comprising)」、「含む(including)」、「有する(having)」等は、区別なく使用され、同じ意味を有する。同様に、「備える(comprises)」、「含む(includes)」、「有する(has)」等は、区別なく使用され、同じ意味を有する。具体的に、これらの用語はそれぞれ、「備える(comprising)」の米国特許法における一般的な定義と矛盾なく定義されているため、「少なくとも以下の(at least the following)」を意味するオープンな用語として解釈され、また、付加的な特徴、限界、態様等を除外しないものと解釈される。このため、たとえば「構成要素a、b、およびcを有するデバイス(a device having components a, b, and c)」は、当該デバイスが少なくとも構成要素a、b、およびcを具備することを意味する。同様に、表現「ステップa、b、およびcを含む方法(a method involving steps a, b, and c)」は、当該方法が少なくともステップa、b、およびcを含むことを意味する。さらに、本明細書においては、ステップおよびプロセスが特定の順序で説明される可能性があるものの、当業者であれば、ステップおよびプロセスの順序が変動し得ることが認識されよう。
【0032】
[0071]本明細書および特許請求の範囲において、表現「少なくとも1つ(at least one)」は、一覧の1つまたは複数の要素を参照して、要素一覧における要素のうちのいずれか1つまたは複数から選択される少なくとも1つの要素を意味するが、要素一覧に具体的に掲載されたありとあらゆる要素のうちの少なくとも1つを必ずしも含まず、また、要素一覧における要素の如何なる組み合わせも除外しないことが了解されるものとする。また、この定義によれば、表現「少なくとも1つ(at least one)」が参照する要素一覧内で具体的に識別された要素と関係するか否かに関わらず、これらの要素以外の要素が任意選択として存在し得る。このため、非限定的な一例として、「AおよびBのうちの少なくとも1つ(at least one of A and B)」(または同等に、「AまたはBのうちの少なくとも1つ(at least one of A or B)」もしくは「Aおよび/またはBのうちの少なくとも1つ(at least one of A and/or B)」)は、一実施形態において、少なくとも1つ(任意選択として、2つ以上)のA(Bは存在せず(任意選択として、B以外の要素を含む))、別の実施形態において、少なくとも1つ(任意選択として、2つ以上)のB(Aは存在せず(任意選択として、A以外の要素を含む))、さらに別の実施形態において、少なくとも1つ(任意選択として、2つ以上)のAおよび少なくとも1つ(任意選択として、2つ以上)のB(任意選択として、他の要素を含む)等を表し得る。
【0033】
[0072]本明細書において、用語「生物学的サンプル(biological sample)」、「組織サンプル(tissue sample)」、「標本(Specimen)」等は、ウイルスを含む任意の有機体から得られた生体分子(タンパク質、ペプチド、核酸、脂質、糖質、またはこれらの組み合わせ等)を含む任意のサンプルを表す。有機体の他の例としては、哺乳類(たとえば、ヒト、猫、犬、馬、牛、および豚等の家畜動物、ならびにマウス、ラット、および霊長類等の実験動物)、昆虫、環形動物、クモ形類動物、有袋動物、爬虫類、両生類、バクテリア、および菌類が挙げられる。生物学的サンプルには、組織サンプル(たとえば、組織切片および組織の針生検標本)、細胞サンプル(たとえば、パップ塗抹標本もしくは血液塗抹標本等の細胞学的塗抹標本または顕微解剖により得られた細胞のサンプル)、または細胞分画、細胞片、もしくは細胞小器官(たとえば、細胞を溶解させ、遠心分離等によって細胞成分を分離したもの)を含む。生物学的サンプルの他の例としては、血液、血清、尿、精液、糞便物質、脳脊髄液、間質液、粘液、涙、汗、膿、(たとえば、外科生検もしくは針生検により得られた)生検組織、乳頭吸引液、耳垢、母乳、膣液、唾液、スワブ(口腔スワブ等)、または第1の生物学的サンプルから導出された生体分子を含む任意の物質が挙げられる。特定の実施形態において、本明細書における用語「生物学的サンプル(biological sample)」は、被験者から得られた腫瘍またはその一部から作成されたサンプル(均質化または液化サンプル)を表す。
【0034】
[0073]本明細書において、用語「斑点(blob)」は、周囲の領域と比べて、輝度または色等の特性が異なるデジタル画像中の領域を表す。たとえば、斑点は、特定の強度値範囲を有する一組の隣り合うピクセルであってもよい。
【0035】
[0074]「前景セグメント化マスク(foreground segmentation mask)」は、たとえば(「前景ピクセル」として用いられる)1つまたは複数のピクセル斑点の(「前景」を構成する)他のピクセルからの分離を可能にするセグメント化アルゴリズムによって生成された画像マスクである。たとえば、前景セグメント化マスクは、核セグメント化アルゴリズムにより生成されるようになっていてもよく、また、組織切片を示す画像に対する前景セグメント化マスクの適用によって、画像中の核斑点の識別が可能となり得る。
【0036】
[0075]本明細書において、用語「画像データ(image data)」は、光学センサまたはセンサアレイ等によって生物学的組織サンプルから取得された生の画像データまたは前処理された画像データを含む。特に、画像データは、ピクセル行列を含んでいてもよい。
【0037】
[0076]本明細書において、用語「画像(image)」、「画像スキャン(image scan)」、または「スキャン画像(scanned image)」は、光学センサまたはセンサアレイ等によって生物学的組織サンプルから取得された生の画像データまたは前処理された画像データを含む。特に、画像データは、ピクセル行列を含んでいてもよい。
【0038】
[0077]本明細書において、用語「マルチチャネル画像」または「複合画像(multiplex image)」は、異なるスペクトル帯において蛍光する、あるいは他の方法で検出可能性であり、したがって、マルチチャネル画像のチャネルのうちの1つを構成する特定の蛍光染料、量子ドット、色原体等によって、核および組織構造等の異なる生物学的構造が同時に染色される生物学的組織サンプルから得られたデジタル画像を含む。
【0039】
[0078]本明細書において、用語「プローブ(probe)」または「オリゴヌクレオチドプローブ(oligonucleotide probe))」は、相補核酸標的遺伝子の検出に用いられる核酸分子を表す。
【0040】
[0079]本明細書において、用語「スライド(slide)」は、生物学的標本が載置されて分析される任意好適な寸法の任意の基板(たとえば、全体または一部がガラス、石英、プラスチック、シリコン等により構成された基板)、より詳細には、標準的な7.62cm(3インチ)×2.54cm(1インチ)顕微鏡スライドまたは標準的な75mm×25mm顕微鏡スライド等の「顕微鏡スライド」を表す。スライドに載置可能な生物学的標本の例としては、細胞学的塗抹標本、(生検等による)薄い組織切片、および生物学的標本アレイ(たとえば、組織アレイ、細胞アレイ、DNAアレイ、RNAアレイ、タンパク質アレイ、またはこれらの任意の組み合わせ)が挙げられるが、これらに限定されない。このため、一実施形態においては、特定の場所で組織切片、DNAサンプル、RNAサンプル、および/またはタンパク質がスライドに載置される。いくつかの実施形態において、スライドという用語は、SELDIおよびMALDIチップ、ならびにシリコンウェハを表す場合もある。
【0041】
[0080]本明細書において、用語「特異結合エンティティ(specific binding entity)」は、特異結合対の要素を表す。特異結合対は、他の分子への結合を実質的に除外するように互いに結合することを特徴とする分子対である(たとえば、特異結合対は、生物学的サンプルにおける結合対の2つの要素のいずれかと他の分子との結合定数より少なくとも10-1、10-1、または10-1だけ大きな結合定数を有し得る)。特異結合部分の特定例としては、特異結合タンパク質(たとえば、抗体、レクチン、ストレプトアビジン等のアビジン、およびタンパク質A)が挙げられる。また、特異結合部分としては、このような特異結合タンパク質によって特異に結合された分子(または、その一部)が挙げられる。
【0042】
[0081]本明細書において、用語「ステイン(stain)」、「染色(staining)」等は、生物学的標本の特定の分子(脂質、タンパク質、または核酸等)あるいは特定の構造(正常もしくは悪性の細胞、サイトゾル、核、ゴルジ装置、または細胞骨格等)の有無、場所、および/または量(濃度等)を検出および/または識別する生物学的標本の任意の処置を大略表す。たとえば、染色は、生物学的標本の特定の分子または特定の細胞構造と周囲の部分との間にコントラストをもたらし、染色の強度は、標本中の特定分子の量の尺度をもたらし得る。染色によって、明視野顕微鏡のみならず、位相差顕微鏡、電子顕微鏡、および蛍光顕微鏡等の他の観察ツールによる分子、細胞構造、および有機体の観察を補助可能となる。システムにより実行される何らかの染色によって、細胞の外形を視覚化可能である。システムにより実行される他の染色は、他の細胞成分の染色の相対的な多少に関わらず、染色対象の特定の細胞成分(分子または構造等)に依拠し得る。システムにより実行される染色方法の種類の例としては、核酸分子間のハイブリダイゼーション反応等、分子間の反応(非共有結合相互作用を含む)に基づいて、組織化学的方法、免疫組織化学的方法、および他の方法が挙げられるが、これらに限定されない。特定の染色方法としては、主染色法(たとえば、H&E染色、Pap染色等)、酵素結合免疫組織化学法、およびin-situRNA・DNAハイブリダイゼーション法(蛍光in-situハイブリダイゼーション(FISH)等)が挙げられるが、これらに限定されない。
【0043】
[0082]本明細書において、用語「標的(target)」は、有無、場所、および/もしくは濃度が決定されるか、または決定可能である任意の分子を表す。標的分子の例としては、タンパク質、核酸配列、およびタンパク質に共有結合されたハプテン等のハプテンが挙げられる。標的分子は通常、特異結合分子および検出可能な標識の1つまたは複数の共役を用いて検出される。
【0044】
[0083]概要
[0084]本開示は、タンパク質および/または核酸の存在に対して染色された生物学的サンプル中の1つまたは複数のバイオマーカに対応する信号を検出および推定するシステムおよび方法を提供する。いくつかの実施形態において、本開示は、信号集合体斑点(たとえば、高密度バイオマーカステインのエリア)における1つまたは複数のバイオマーカに対応する信号の量の正確な推定(すなわち、定量)を可能にする。
【0045】
[0085]いくつかの実施形態において、本明細書に記載のシステムおよび方法は、(たとえば、高遺伝子コピー数等からの)in-situハイブリダイゼーション(ISH)および免疫組織化学(IHC)画像において凝集する個々の隔離スポットおよび信号集合体斑点からのスポット信号の検出および計数を容易化する。本明細書に開示のシステムおよび方法は、(たとえば、単一遺伝子コピーまたは単一タンパク質標的を表す)隔離スポット信号の検出および特性化を可能にした後、検出した隔離スポットの導出特性の適用によって、集合体信号の形態の(すなわち、信号集合体斑点における)スポットの数を検出および推定する。結果として、隔離スポットおよび集合体斑点の両者に関するスポットの総数を報告可能であり、このような量は、遺伝子コピー数(mRNAコピー)またはタンパク質標的量に相関され得る。
【0046】
[0086]本明細書に記載のシステムおよび方法は、細胞中に多数の遺伝子コピーが存在する場合等、小さな領域にかなり多くのバイオマーカ信号が集まる場合の信号の定量化を可能にすると考えられる。本明細書に適した方法は、タンパク質および核酸の両バイオマーカと関連付けられた信号の検出および推定での使用に適するが、これらのシステムおよび方法は、生物学的サンプルの小さなエリアに大量の遺伝子コピーが存在する場合の信号量の解明に特に適する。
【0047】
[0087]本開示の少なくとも一部の実施形態は、1つもしくは複数の主ステイン(たとえば、ヘマトキシリンおよびエオシン(H&E))ならびに1つもしくは複数の検出プローブ(たとえば、サンプル内の標的の標識化を容易にする特異結合エンティティを含むプローブ)により染色された生物学的サンプル(組織サンプルを含む)から取り込まれたデジタル画像を解析するコンピュータシステムおよび方法に関する。本明細書の例は、特定の組織ならびに/または特定のマーカ(ひいては疾患)の検出のための特定のステインもしくは検出プローブの適用を表し得るが、当業者には当然のことながら、異なる組織および異なるステイン/検出プローブの適用によって、異なるマーカおよび異なる疾患を検出するようにしてもよい。たとえば、特定例が2つの異なるmRNAプローブ(または、配列の異なる一連のmRNAプローブ)に対応する信号の量の定量化を表し得る一方、本明細書に記載のシステムおよび方法は、単一の核酸プローブ、単一の抗体プローブ、2つ以上の核酸プローブの組み合わせ、2つ以上の抗体プローブの組み合わせ、ならびに/または核酸プローブおよび抗体プローブの任意の組み合わせからの信号の検出および推定に適用されるようになっていてもよい。
【0048】
[0088]図1には、いくつかの実施形態に係る、標本を撮像および分析するデジタル病理学システム200を示している。デジタル病理学システム200は、撮像装置12(たとえば、標本を載せた顕微鏡スライドをスキャンする手段を有する装置)およびコンピュータ14を備えることにより、撮像装置12およびコンピュータが一体的に(たとえば、ネットワーク20を介して直接または間接的に)通信可能に結合されていてもよい。コンピュータシステム14には、デスクトップコンピュータ、ラップトップコンピュータ、タブレット等、デジタル電子回路、ファームウェア、ハードウェア、メモリ、コンピュータ記憶媒体、コンピュータプログラムもしくは命令セット(たとえば、プログラムがメモリまたは記憶媒体に格納されている場合)、1つもしくは複数のプロセッサ(プログラムされたプロセッサを含む)、ならびにその他任意のハードウェア、ソフトウェア、もしくはファームウェアモジュール、またはこれらの組み合わせを含み得る。たとえば、図1に示されるコンピュータシステム14は、表示装置16および筐体18を有するコンピュータを備えていてもよい。コンピュータは、2進形態のデジタル画像を(メモリ等、ローカルに、サーバ、または別のネットワーク接続デバイス等)格納可能である。また、デジタル画像は、行列状のピクセルへと分割可能である。ピクセルは、ビット深度により規定された1つまたは複数のビットのデジタル値を含み得る。当業者には当然のことながら、他のコンピュータデバイスまたはシステムが利用されるようになっていてもよく、また、本明細書に記載のコンピュータシステムは、付加的な構成要素(たとえば、標本分析装置、顕微鏡、他の撮像システム、自動化スライド作成機器等)に対して通信可能に結合されていてもよい。これらの付加的な構成要素および利用可能な種々コンピュータ、ネットワーク等の一部については、本明細書において別途説明される。
【0049】
[0089]一般的に、撮像装置12(または、予備スキャン画像がメモリに格納された他の画像源)としては、1つまたは複数の画像取り込み装置が挙げられるが、これに限定されない。画像取り込み装置には、カメラ(たとえば、アナログカメラ、デジタルカメラ等)、光学素子(たとえば、1つまたは複数のレンズ、センサ焦点レンズ群、顕微鏡対物レンズ等)、撮像センサ(たとえば、電荷結合素子(CCD)、相補型金属酸化膜半導体(CMOS)画像センサ等)、写真フィルム等を含み得るが、これらに限定されない。デジタルの実施形態において、画像取り込み装置は、オンザフライフォーカシングを証明するように協働する複数のレンズを具備し得る。画像センサ(たとえば、CCDセンサ)が標本のデジタル画像を取り込み可能である。いくつかの実施形態において、撮像装置12は、明視野撮像システム、マルチスペクトル撮像(MSI)システム、または蛍光顕微鏡システムである。デジタル化された組織データは、たとえばVENTANA MEDICAL SYSTEMS,Inc.(Tucson、Arizona)によるVENTANA DP200スキャナ、またはVENTANA iScan HTスキャナ、等の画像スキャンシステムまたは他の好適な撮像機器により生成されるようになっていてもよい。付加的な撮像デバイスおよびシステムについては、本明細書において別途説明される。当業者には当然のことながら、撮像装置12により取得されるデジタルカラー画像は従来、原色ピクセルで構成され得る。各色付きピクセルは、それぞれ同数のビットを含む3つのデジタル成分上でコード化可能であり、各成分が原色(一般的には、赤色、緑色、または青色で、用語「RGB」成分としても表される)に対応する。
【0050】
[0090]図2は、上記開示のデジタル病理学システムにおいて利用されるさまざまなモジュールの概要を示している。いくつかの実施形態において、デジタル病理学システムは、1つもしくは複数のプロセッサ220ならびに少なくとも1つのメモリ201を有するコンピュータデバイス200またはコンピュータ実装方法を採用しており、少なくとも1つのメモリ201は、1つまたは複数のプロセッサによる実行によって、1つまたは複数のモジュール(たとえば、モジュール202~210)における命令(または、格納データ)を1つまたは複数のプロセッサ220に実行させる持続性コンピュータ可読命令を格納している。
【0051】
[0091]図2および図3Aを参照して、本開示は、生物学的サンプルの画像中の少なくとも1つのバイオマーカに対応する信号の量を推定するコンピュータ実装システムおよび方法を提供する。いくつかの実施形態において、このシステムは、(a)染色された生物学的サンプル(たとえば、1つもしくは複数のタンパク質バイオマーカまたは1つもしくは複数の核酸配列(1つもしくは複数のmRNA配列を含む)の存在に対して少なくとも染色されたサンプル)の画像データを生成するように構成された撮像モジュール202(ステップ310)と、(b)入力画像中のバイオマーカ信号に対応する隔離スポットを検出するように構成されたスポット検出モジュール204(ステップ320)と、(c)検出された隔離スポットすべての特定の特性(たとえば、強度、サイズ、不鮮明度、真円度等の特性)に基づいて代表的な隔離スポットの光学密度値を導出するように構成された光学密度導出モジュール205(ステップ330)と、(d)演算されたスポット特性に基づいて複数の副領域それぞれにおけるスポットまたは信号斑点集合体内の予測スポットの数を推定するように構成されたスポット推定モジュール208(ステップ340)と、(e)複数の各副領域内の推定された予測スポット数および検出スポット数を格納するデータベース等のストレージサブシステム240(ステップ350)とを具備していてもよい。
【0052】
[0092]当業者には当然のことながら、ワークフローには、付加的なモジュールが必要に応じて組み込まれていてもよい。たとえば、図3Bを参照して、(たとえば、入力画像として複合画像が用いられる場合は)分離モジュール203の任意選択的な動作により、特定のステインまたはバイオマーカに対応する画像チャネル画像を提供するようにしてもよい。このため、分離によって、受信された入力信号は、単一のバイオマーカに対応する信号を有する画像へと分離され、この分離画像チャネル画像が隔離スポットの検出に用いられるようになっていてもよい(ステップ320)。
【0053】
[0093]いくつかの実施形態において、このシステムは、検出された隔離スポットを実質的に含まない画像を演算するように動作し得る残差画像生成モジュール206を具備する(ステップ370)。このため、信号集合体の斑点のみを残して、ステップ320からの検出隔離スポットが除去されるように、入力画像チャネル画像が処理されるようになっていてもよい。
【0054】
[0094]他の実施形態においては、セグメント化モジュール207の動作によって、入力画像(たとえば、ステップ370からの残差画像)を一連の副領域に分割するようにしてもよい(ステップ380)。いくつかの実施形態において、結果としてのセグメント化領域は、染色有無、染色強度、または質感の少なくとも1つにおいて実質的に均一である。本明細書に記載の通り、いくつかの実施形態において、セグメント化領域はそれぞれ、スーパーピクセルである。
【0055】
[0095]さらに他の実施形態においては、任意の信号集合体中の検出隔離スポットおよび推定された予測スポット数の視覚的表現が入力画像に重ね合わされ得るように、オーバーレイ生成モジュール209が動作するようになっていてもよい。
【0056】
[0096]また、当業者には当然のことながら、このシステムは、in-situハイブリダイゼーション・アッセイまたは免疫組織化学的アッセイ(あるいは、2つのアッセイの組み合わせ)において染色された生物学的標本の受信入力画像を利用するように構成されていてもよい。たとえば、図3Cは、単一のタンパク質バイオマーカの量を推定するステップを示している。当然のことながら、図3Cに示されるステップは、第2のタンパク質バイオマーカに対して繰り返されるようになっていてもよく、第1の推定タンパク質バイオマーカおよび第2の推定タンパク質バイオマーカの量は、別途下流の分析のために比較および/または使用されるようになっていてもよい。同様に、図3Dは、単一の核酸バイオマーカの量を推定するステップを示している。当然のことながら、図3Dに示されるステップは、第2の核酸バイオマーカに対して繰り返されるようになっていてもよく、第1の推定核酸バイオマーカおよび第2の推定核酸バイオマーカの量は、別途下流の分析のために比較および/または使用されるようになっていてもよい。
【0057】
[0097]さらに、図2において特定されるモジュールのいずれかが2回以上動作するようになっていてもよい。たとえば、モジュール204~208は、第1のバイオマーカからの信号(たとえば、第1のmRNAプローブに対応する信号)の定量化のために1回目の動作を行い、第2のバイオマーカからの信号(たとえば、第2のmRNAプローブに対応する信号)の定量化のために2回目の動作を行うようになっていてもよい。たとえば、分離モジュールは、異なるバイオマーカに対応する少なくとも2つのステインを有する受信画像(ステップ310)を少なくとも2つの各画像チャネル画像へと分離するのに用いられるようになっていてもよい。モジュール204~208は、第1の画像チャネル画像に対して1回目の動作を行うことにより、複数の副領域それぞれにおける(第1のバイオマーカに対応する)予測スポットの推定値を与えるようにしてもよい。その後、モジュール204~208は、第2の画像チャネル画像に対して2回目の動作を行うことにより再度、複数の副領域それぞれにおける(第2のバイオマーカに対応する)予測スポットの推定値を与えるようにしてもよい。そして、各バイオマーカに対する予測スポットの推定数が導出され、(たとえば、予後診断の提供または処置方針の策定のため)第1のバイオマーカと第2のバイオマーカとの量の比較が行われるように、結果が組み合わされるようになっていてもよい。2つのバイオマーカの量の推定の結果を比較する上記および他のステップが図3Eに示される。
【0058】
[0098]また、当業者には当然のことながら、ワークフローには、図2に示されない付加的なモジュールまたはデータベースが組み込まれていてもよい。たとえば、画像前処理モジュールの動作によって、特定のフィルタを取得画像に適用するようにしてもよいし、組織サンプル内の特定の組織学的および/または形態学的構造を識別するようにしてもよい。また、関心領域選択モジュールの利用によって、分析する画像の特定の部分を選択するようにしてもよい。
【0059】
[0099]さらに、入力画像に存在する色収差を除去するモジュールが動作するようになっていてもよい。色収差は、光学センサにおいて、レンズがすべての色を同じ収束点に集められない分散の結果としての効果の代名詞である。この効果は、搭載の顕微鏡カメラを用いて画像が取得される場合にも起こり得る。したがって、顕微鏡画像の修正によりこの効果を低減すべきであって、これは、スポット数にも影響を及ぼし得る。いくつかの実施形態において、この修正は、赤(R)、緑(G)、および青(B)チャネルのピクセルを単にシフトさせることにより実行され、画像中に存在するレインボー効果の低減も可能となる。色収差の除去は、デジタルスキャナを用いて取得された画像に対してこの効果を修正する内部モジュールとして利用可能であってもよい。
【0060】
[0100]画像取得モジュール
[0101]いくつかの実施形態において、デジタル病理学システム200は、最初のステップとして、図2を参照するに、撮像モジュール202を動作させて、(スキャン装置12等から)1つまたは複数のステインを有する生物学的サンプルの画像または画像データを取り込む(ステップ310)。いくつかの実施形態において、受信または取得画像は、RGB画像またはマルチスペクトル画像(たとえば、明視野および/または暗視野画像の多重化)である。いくつかの実施形態において、取り込まれた画像は、メモリ201に格納される。
【0061】
[0102]画像または画像データ(本明細書においては、区別なく使用される)は、実時間等でスキャン装置12により取得されるようになっていてもよい。いくつかの実施形態において、画像は、本明細書に記載の通り、標本を載せた顕微鏡スライドの画像データを取り込み可能な顕微鏡等の器具から取得される。いくつかの実施形態において、画像は、画像タイルをスキャンし得るような2DスキャナまたはVENTANA DP 200スキャナ等のラインごとに画像をスキャン可能なラインスキャナを用いて取得される。あるいは、画像は、事前に取得(たとえば、スキャン)され、メモリ201に格納された(または、この点に関して、ネットワーク20経由でサーバから読み出された)画像であってもよい。
【0062】
[0103]いくつかの実施形態において、入力として受信される画像は、全スライド画像である。他の実施形態において、入力として受信される画像は、全スライド画像の一部である。いくつかの実施形態においては、全スライド画像が複数の部分(たとえば、タイル)に分解されるが、この各部分またはタイルは、(たとえば、図2に示されるモジュールならびに少なくとも図3Aおよび図3Bに示される方法を用いることにより)独立して解析されるようになっていてもよい。部分またはタイルの独立解析(たとえば、タイルの副領域ごとの信号量の推定を与える)の後は、各部分またはタイルからのデータは、独立して格納され(ステップ350)および/または全スライドレベルで報告される(ステップ360)ようになっていてもよい(図15も参照)。
【0063】
[0104]生物学的サンプルは、1つまたは複数のステインの適用により染色されていてもよく、結果として画像または画像データは、1つまたは複数のステインそれぞれに対応する信号を含む。いくつかの実施形態において、入力画像は、単一のステイン(たとえば、3,3’-ジアミノベンジジン(DAB)、銀(Ag+)ステインにより染色)のみを有する単体画像である。いくつかの実施形態において、生物学的サンプルは、2つ以上のステイン(たとえば、κ-mRNA配列に対するAg+およびλ-mRNA配列に対するスルホローダミンB(SRB))に対する複合アッセイにおいて染色されるようになっていてもよい(これにより、複合画像を提供する)。いくつかの実施形態において、生物学的サンプルは、少なくとも2つのバイオマーカに対して染色される。他の実施形態において、生物学的サンプルは、少なくとも2つのバイオマーカの存在に対して染色され、また、主ステイン(たとえば、ヘマトキシリン)により染色される。
【0064】
[0105]いくつかの実施形態において、生物学的サンプルは、1つまたは複数のタンパク質バイオマーカに対する免疫組織化学的アッセイにおいて染色される。たとえば、生物学的サンプルは、ヒト表皮成長因子受容体2タンパク質(HER2タンパク質)の存在に対して染色されるようになっていてもよい。
【0065】
[0106]他の実施形態において、生物学的サンプルは、1つまたは複数の核酸(mRNAを含む)の存在に対するin-situハイブリダイゼーション(ISH)アッセイにおいて染色される。米国特許第7,087,379号(そのすべての開示内容が参照により本明細書に組み込まれる)は、単一コピーを表す個々のスポットが観察および検出され得るように、ISHプローブによってサンプルを染色する方法を記載する。いくつかの実施形態において、複数の異なる核酸タグで標識済みの複数の核酸プローブに対して細胞または組織サンプルを曝露することにより、複数の標的遺伝子が同時に分析される。たとえば、発光波長が異なる複数の色原体および/または蛍光成分によって複数の核酸プローブを標識化可能であるため、単一の標的細胞または組織サンプルに対して、1回のステップで同時多色分析が実行され得る。
【0066】
[0107]たとえば、Ventana Medical Systems,Inc.によるINFORM HER2 Dual ISH DNA Probe Cocktail Assayは、HER2遺伝子の染色体17に対する比の計数によって、HER2遺伝子状態を決定することを意図する。HER2および染色体17プローブは、ヒト乳がん組織標本またはヒト胃がん組織標本等、ホルマリン固定パラフィン包埋組織サンプルに対する2色原体in-situハイブリダイゼーションによって検出される。HER2 Dual ISHアッセイの場合、信号は、入力画像における黒ドットおよび赤ドットにそれぞれ対応する銀信号(「黒信号」)および赤信号である。HER2 Dual ISHアッセイの場合、細胞ベースのスコアリングには、選択細胞内の赤ドットおよび黒ドットの計数を伴い、HER2遺伝子発現が黒ドットで表現され、染色体17が赤ドットで表現される。
【0067】
[0108]別の例として、生物学的サンプルは、複数のmRNAプローブによりISHアッセイにおいて染色されるようになっていてもよい。B細胞クローン性の検出は、B細胞リンパ腫の診断の補助に有用であり、クローン性評価は、κおよびλ軽鎖の発現の評価によって達成され得る。このため、κ-オリゴプローブの混合物およびλ-オリゴプローブの混合物がサンプルに導入されて、κ-mRNAおよびλ-mRNAの複合検出を容易化する。本明細書に記載の通り、κ-mRNAが銀(Ag)(黒色に見える)により検出され、λ-mRNAがチラミドSRB(紫色に見える)により検出されるようになっていてもよい。検出κ-mRNAおよび検出λ-mRNAの量の比を分析することにより、サンプルが非リンパ腫であるか、リンパ腫(κ-制限)であるか、リンパ腫(λ-制限)であるかが判定されるようになっていてもよい。米国特許第8,236,502号は、採用可能な特定のκ-mRNAおよびλ-mRNAプローブのほか、その検出方法を記載しており、そのすべての開示内容が参照により本明細書に組み込まれる。
【0068】
[0109]色原体ステインとしては、ヘマトキシリン、エオシン、ファストレッド、または3,3’-ジアミノベンジジン(DAB)が挙げられる。いくつかの実施形態において、組織サンプルは、主ステイン(たとえば、ヘマトキシリン)で染色されている。また、いくつかの実施形態において、組織サンプルは、副ステイン(たとえば、エオシン)で染色される。いくつかの実施形態においては、特定のバイオマーカについて、組織サンプルがIHCアッセイにおいて染色されている。また、当業者には当然のことながら、任意の生物学的サンプルが1つまたは複数のフルオロフォアで染色されるようになっていてもよい。
【0069】
[0110]通常の生物学的サンプルは、ステインを当該サンプルに適用する自動染色/アッセイプラットフォームにおいて処理される。市場には、染色/アッセイプラットフォームとしての使用に適した多様な商品が存在しており、一例として、Ventana Medical Systems,Inc.(Tucson、AZ)のDiscovery(商標)製品がある。また、カメラプラットフォームとしては、明視野顕微鏡(Ventana Medical Systems,Inc.のVENTANA iScan HTまたはVENTANA DP 200スキャナ等)または1つもしくは複数の対物レンズおよびデジタル撮像装置を有する任意の顕微鏡が挙げられる。さまざまな波長で画像を取り込む他の技術が用いられるようになっていてもよい。当技術分野においては、染色された生物標本の撮像に適した別のカメラプラットフォームが知られており、Zeiss、Canon、Applied Spectral Imaging等の企業から市販されている。また、このようなプラットフォームは、本開示のシステム、方法、および装置における使用に対して容易に適応可能である。
【0070】
[0111]いくつかの実施形態において、入力画像は、組織領域のみが画像中に存在するようにマスクされる。いくつかの実施形態においては、非組織領域を組織領域からマスクするように組織領域マスクが生成される。いくつかの実施形態においては、組織領域を識別するとともに、背景領域(たとえば、撮像源からの白色光のみが存在する場所等、サンプルのないガラスに対応する全スライド画像の領域)を自動的または半自動的に(すなわち、最小限のユーザ入力で)除外することによって、組織領域マスクが形成されるようになっていてもよい。当業者には当然のことながら、非組織領域の組織領域からのマスキングのほか、組織マスキングモジュールは、特定の組織種または腫瘍が疑われる領域に属するものとして識別された組織の一部等、必要に応じて他の関心エリアをマスクするようにしてもよい。いくつかの実施形態においては、入力画像において非組織領域から組織領域をマスクすることにより組織領域マスキング画像を生成するのにセグメント化技術が用いられる。好適なセグメント化技術としては、先行技術から既知のものがある(「Digital Image Processing(デジタル画像処理)」,Third Edition,Rafael C.Gonzalez,Richard E.Woods,chapter 10,page 689および「Handbook of Medical Imaging(医用画像ハンドブック)」,Processing and Analysis,Isaac N.Bankman Academic Press,2000,chapter 2参照)。いくつかの実施形態においては、画像中のデジタル化組織データとスライドとの識別に画像セグメント化技術が利用されるが、この場合、組織が前景に、スライドが背景に対応する。いくつかの実施形態においては、構成要素が全スライド画像中の関心エリア(AoI)を演算することにより、分析される背景の非組織エリアの量を制限しつつ、AoI中のすべての組織領域を検出する。たとえば、組織データと非組織または背景データとの境界を決定するのに、広範な画像セグメント化技術(たとえば、HSVカラーベース画像セグメント化、Lab画像セグメント化、平均シフトカラー画像セグメント化、領域拡張、レベル設定法、高速マーチング法等)が使用され得る。また、構成要素は、セグメント化に少なくとも部分的に基づいて、組織データに対応するデジタル化スライドデータの部分の識別に使用可能な組織前景マスクを生成可能である。あるいは、構成要素は、組織データに対応しないデジタル化スライドデータの部分の識別に用いられる背景マスクを生成可能である。
【0071】
[0112]この識別は、エッジ検出等の画像分析動作によって可能となり得る。画像中の非組織背景ノイズ(たとえば、非組織領域)を除去するのに、組織領域マスクが用いられるようになっていてもよい。いくつかの実施形態において、組織領域マスクの生成には、低分解能入力画像の輝度の演算、輝度画像の生成、輝度画像への標準偏差フィルタの適用、フィルタリング輝度画像の生成、および輝度が所与の閾値を上回るピクセルが1に設定され、閾値を下回るピクセルが0に設定されるように、フィルタリング輝度画像に閾値の適用する組織領域マスクの生成、といった動作のうちの1つまたは複数を含む(ただし、これらの動作に限定されない)。組織領域マスクの生成に関する付加的な情報および例については、「An Image Processing Method and System for Analyzing a Multi-Channel Image Obtained from a Biological Tissue Sample Being Stained by Multiple Stains(複数のステインにより染色される生物学的組織サンプルから得られたマルチチャネル画像を分析する画像処理方法およびシステム)」という名称の米国特許出願公開第2017/0154420号に開示されており、そのすべての開示内容が参照により本明細書に組み込まれる。
【0072】
[0113]いくつかの実施形態においては、画像データを取得すべき生物学的サンプルの部分(たとえば、リンパ球の濃度が高い関心領域またはリンパ球の高濃度が疑われる領域)を選択するのに、関心領域識別モジュールが用いられるようになっていてもよい。関心領域を決定する方法が米国特許出願公開第2017/0154420号に記載されており、そのすべての開示内容が参照により本明細書に組み込まれる。一般的に、米国特許出願公開第2017/0154420号は、複数のステインにより染色される生物学的組織サンプルから得られたマルチチャネル画像を解析する画像処理方法であって、a.マルチチャネル画像を分離してチャンネルごとに1つの分離画像を提供するステップと、b.分離画像のうちの少なくとも1つを空間低域通過フィルタリングするステップと、c.空間低域通過フィルタリングした分離画像のうちの少なくとも1つを極大フィルタリングするステップと、d.空間低域通過フィルタリングした分離画像のうちの少なくとも1つを閾値で分けて、少なくとも一組の隣接ピクセルを識別するステップと、e.一組の隣接ピクセルにより与えられる画像位置からマルチチャネル画像の画像部分を抽出することにより、所定のサイズおよび形状を有する関心領域を規定するステップと、を含む、画像処理方法を開示している。
【0073】
[0114]分離モジュール
[0115]いくつかの実施形態において、入力として受信される画像は、複合画像であってもよい。すなわち、受信画像は、2つ以上のステインにより染色された生物学的サンプルのもの(たとえば、κ-mRNAおよびλ-mRNAプローブの存在またはHER2および染色体17プローブに対して染色された画像)である。これらの実施形態においては、別途処理に先立って、分離モジュール203等により複合画像がまず、その構成チャネルへと分離されるが、各分離チャネルは、特定のステインまたは信号に対応する。
【0074】
[0116]いくつかの実施形態において、1つまたは複数のステインを含むサンプルにおいては、1つまたは複数のステインのチャネルごとに個々の画像が生成されるようになっていてもよい。当業者には当然のことながら、これらのチャネルから抽出される特徴は、組織の任意の画像内に存在するさまざまな生物学的構造(たとえば、核、膜、細胞質、核酸等)を記述するのに有用である。たとえば、本明細書に記載のκ-mRNAおよびλ-mRNAプローブに関しては、分離によって、第1の分離画像チャネル画像が銀(または、黒)信号を有し、第2の分離画像チャネル画像が紫信号を有し、第3の分離画像チャネル画像がヘマトキシリン信号を有することになる。このような分離結果は、同じくκ-mRNAおよびλ-mRNAプローブに関して、図6A図6C図7A図7C、および図8A図8Dに示される。いくつかの実施形態において、分離画像(「チャネル画像」または「画像チャネル画像」と称することが多い)は、本明細書に記載の各モジュールの入力として用いられるようになっていてもよい。いくつかの実施形態においては、最も色が強いチャネルが最初に分離される。たとえば、銀/黒チャネルが紫チャネルの前に分離されるようになっていてもよい。
【0075】
[0117]撮像モジュール202により提供されるマルチスペクトル画像は、個々のバイオマーカと関連付けられた基本スペクトル信号およびノイズ成分の加重混合である。任意特定のピクセルにおいて、混合重みは、組織中の特定の場所における基本共局在バイオマーカのバイオマーカ発現および当該場所における背景ノイズに比例する。このため、混合重みは、ピクセルごとに変化する。本明細書に開示のスペクトル分離方法では、ありとあらゆるピクセルにおけるマルチチャネルピクセル値ベクトルを一群の構成バイオマーカ・エンドメンバーまたは成分に分解し、バイオマーカごとに個々の構成ステインの比率を推定する。
【0076】
[0118]分離は、混合ピクセルの測定スペクトルが一群の構成スペクトルすなわち端成分および一組の対応する断片すなわち個体に分解されて、当該ピクセルに存在する各端成分の割合、または量を示す手順である。具体的に、分離プロセスでは、標準型の組織およびステインの組み合わせに関して周知の基準スペクトルを用いて、ステイン固有のチャネルを抽出することにより、個々のステインの局所濃度を決定することができる。分離では、制御画像から読み出された基準スペクトルまたは観察中の画像から推定された基準スペクトルを使用するようにしてもよい。各入力ピクセルのコンポーネント信号を分離することによって、H&E画像におけるヘマトキシリンチャネルおよびエオシンチャネルまたはIHC画像におけるジアミノベンジジン(DAB)チャネルおよびカウンタステイン(たとえば、ヘマトキシリン)チャネル等、ステイン固有のチャネルを読み出しおよび分析可能となる。用語「分離(unmixing)」および「カラーデコンボリューション(color deconvolution)」(または、「デコンボリューション(deconvolution)」)等(たとえば、「デコンボリューションする(deconvolving)」、「分離した(unmixed)」)は、当技術分野において区別なく使用される。
【0077】
[0119]いくつかの実施形態において、多重画像は、線形分離を用いる分離モジュール205によって分離される。線形分離については、たとえばZimmermann「Spectral Imaging and Linear Unmixing in Light Microscopy(光学顕微鏡法におけるスペクトル撮像および線形分離)」,Adv Biochem Engin/Biotechnology(2005)95:245-265およびC.L.Lawson and R.J.Hanson「Solving least squares Problems(最小2乗問題の解法)」,PrenticeHall,1974,Chapter 23,p.161に記載されており、そのすべての開示内容が参照により本明細書に組み込まれる。線形ステイン分離においては、任意のピクセルにおける測定スペクトル(S(λ))がステインスペクトル成分の線形混合と考えられ、当該ピクセルにおいて発現する個々のステインの色基準(R(λ))の割合または重み(A)の合計に等しい。
【0078】
[0120]S(λ)=A・R(λ)+A・R(λ)+A・R(λ)・・・A・R(λ)
[0121]より一般的には、以下のような行列の形態で表し得る。
【0079】
[0122]S(λ)=ΣA・R(λ)またはS=R*A
[0123]取得されたM個のチャネル画像およびN個の個別ステインが存在する場合は、本明細書において導出される通り、M×N行列Rの列が最適色系であり、N×1ベクトルAが個別ステインの割合の未知数であり、M×1ベクトルSがピクセルにおいて測定されたマルチチャネルスペクトルベクトルである。これらの式において、各ピクセルの信号(S)は、多重画像および基準スペクトルすなわち最適色系の取得中に測定され、本明細書に記載の通りに導出される。さまざまなステインの寄与(A)は、測定スペクトルにおける各点への寄与を計算することによって決定可能である。いくつかの実施形態においては、以下一組の式を解くことにより測定スペクトルと計算スペクトルとの2乗差を最小化する逆最小2乗フィッティング手法を用いて解が得られる。
【0080】
[0124][∂Σ{S(λ)-Σ・R(λ)}2]/∂A=0
[0125]この式において、jは検出チャネルの数を表し、iはステインの数に等しい。線形方程式の解では、条件付き分離によって、重み(A)の合計が1にすることが多い。
【0081】
[0126]他の実施形態においては、2014年5月28日に出願された「Image Adaptive Physiologically Plausible Color Separation(画像適応的な生理学的に妥当な色分離)」という名称のWO2014/195193に記載された方法を用いて分離が実現されるが、そのすべての開示内容が参照により本明細書に組み込まれる。一般的に、WO2014/195193は、反復的に最適化された基準ベクトルを用いて入力画像のコンポーネント信号を分離することによる分離方法を記載する。いくつかの実施形態においては、アッセイの特質に固有の予想結果または理想的結果に対して、アッセイからの画像データの相関によって、品質測定基準が決定される。低品質画像または理想的結果に対する相関が不十分な場合は、行列Rの1つまたは複数の基準列ベクトルが調整され、生理学的および解剖学的要件に整合する良質の画像を相関が示すまで、調整された基準ベクトルを用いて分離が反復的に繰り返される。測定画像データに適用されて品質測定基準を決定するルールを規定するのに、解剖学的情報、生理学的情報、およびアッセイ情報が用いられるようになっていてもよい。この情報には、組織の染色方法、どの組織内構造が染色を意図した、もしくは染色を意図しなかったか、ならびに処理対象のアッセイに固有の構造、ステイン、およびマーカ間の関係を含む。反復的プロセスによって、関心構造および生物学的に関連する情報を正確に識別し、ノイズも不要なスペクトルも一切ないため分析に適した画像を生成し得るステイン固有のベクトルが得られる。基準ベクトルは、探索空間内で調整される。探索空間は、基準ベクトルがステインを表すのに取り得る値の範囲を規定する。探索空間は、既知または一般に発生する問題を含む多様な代表的トレーニングアッセイをスキャンし、当該トレーニングアッセイに対して、高品質な基準ベクトル集合を決定することにより決定されるようになっていてもよい。
【0082】
[0127]他の実施形態においては、2015年2月23日に出願された「Group Sparsity Model for Image Unmixing(画像分離のためのグループスパーシティモデル)」という名称のWO2015/124772に記載された方法を用いて分離が実現されるが、そのすべての開示内容が参照により本明細書に組み込まれる。一般的に、WO2015/124772は、グループスパーシティフレームワークを用いた分離を記載しており、複数のコロケーションマーカからのステイン寄与の割合が「同一グループ」内でモデル化され、複数の非コロケーションマーカからのステイン寄与の割合が異なるグループにおいてモデル化されて、複数のコロケーションマーカの共局在化情報をモデル化グループスパーシティフレームワークに与えるとともに、グループラッソを用いてモデル化フレームワークを解くことにより、各グループ内の最小2乗解を生み出す。この最小2乗解は、コロケーションマーカの分離に対応し、グループの中で、非コロケーションマーカの分離に対応するスパース解を生み出す。さらに、WO2015/124772は、生物学的組織サンプルから得られた画像データを入力し、複数のステインそれぞれのステイン色を記述した基準データを電子メモリから読み出し、生物学的組織サンプルにおいて局在化可能なステインをそれぞれ含み、グループラッソ基準のためのグループをそれぞれ構成し、少なくとも1つが2以上のサイズを有するステイン群を記述したコロケーションデータを電子メモリから読み出し、基準データを基準行列として用いることにより、分離画像を得るためのグループラッソ基準の解を計算することによる分離方法を記載する。いくつかの実施形態において、画像を分離する方法は、局在化マーカからのステイン寄与の割合が単一のグループ内で割り当てられ、非局在化マーカからのステイン寄与の割合が別個のグループ内で割り当てられるグループスパーシティモデルを生成するステップと、分離アルゴリズムを用いてグループスパーシティモデルを解くことにより、各グループ内で最小2乗解を生み出すステップとを含んでいてもよい。
【0083】
[0128]スポット・斑点検出モジュール
[0129]画像取得および/または分離の後、(「斑点」または信号集合体とは対照的に)画像内の隔離スポットが検出され得るように、単一のバイオマーカチャネルを有する画像がスポット検出モジュール204に提供される。他の実施形態においては、スポット・斑点検出モジュールの入力として、分離画像チャネル画像が用いられる。
【0084】
[0130]いくつかの実施形態においては、形態学的演算の実行によって、画像内の隔離スポットすなわちドットを検出する。数学的形態論に基づいて、2値形態学的フィルタリングは、所定の形状(たとえば、円)を有する特定の構造要素を備えた画像を処理する技術である。形態学的フィルタリング演算では、所定の形状を有するオブジェクトの幾何学構造および位相構造を調べることによって、画像フィルタリングを実行する。基本的な考え方は、所定の単純な形状で画像を探ることであり、この形状が画像内の形状にフィットするか否かについて、アルゴリズムが結論を導き出す。いくつかの実施形態において、形態学的演算は、ディスク状の構造要素を用いて実行される。いくつかの実施形態において、ディスク状要素の半径は、およそ1~およそ2の範囲である。他の実施形態において、ディスク状要素の半径は、1である。いくつかの実施形態においては、検出に先立って、ガウスフィルタ/スムージングが実行される。いくつかの実施形態においては、スケーリングパラメータとして1が用いられるようになっていてもよい。
【0085】
[0131]画像内の隔離スポットを検出する他の方法については、米国特許出願公開第2014/0377753号および第2017/0323148号に記載されており、それぞれのすべての開示内容が参照により本明細書に組み込まれる。
【0086】
[0132]いくつかの実施形態においては、入力画像中の隔離スポットそれぞれの検出の後、検出された隔離スポットは、入力画像中の斑点から分離され、「隔離スポット画像チャネル」および「斑点画像チャネル」を提供する。いくつかの実施形態において、検出されたスポットは、斑点画像チャネルから「マスキング除去」される。いくつかの実施形態において、入力画像は、画像の値が高いオブジェクトおよび値が低いか略ゼロの背景を含むことが仮定される。いくつかの実施形態においては、「マスキング除去」に先立って、4ピクセル幅の滑らかな境界およびディスクパラメータが2の形態学的演算によって、スムージング演算が実行される。「隔離スポット画像チャネル」から、画像中の検出隔離スポットそれぞれの場所が確定されるようになっていてもよい。すなわち、検出隔離スポットごとに直交座標が見出される。たとえば、各検出隔離スポットの種子中心を決定することにより、x、y座標が見出されるようになっていてもよい。たとえば、各検出隔離スポットの重心または質量中心を決定することにより、種子中心が計算されるようになっていてもよい。
【0087】
[0133]いくつかの実施形態においては、マルチスケールガウシアン差分(DoG)手法を用いて、小さなオブジェクトまたは不鮮明点源が検出されるようになっていてもよい。一般的に、ガウシアン差分は、元画像の不鮮明版を別の高鮮明版から減算することを含む特徴増強アルゴリズムである。グレースケール画像の単純な場合、不鮮明画像は、元のグレースケール画像とさまざまな標準偏差を有するガウシアンカーネルとのコンボリューションによって求められる。ガウシアンカーネルを用いた画像の不鮮明化は、高周波の空間情報のみを抑制すると考えられる。一方の画像を他方から減算することにより、2つの不鮮明画像に保存された周波数範囲間の空間情報が保存される。したがって、ガウシアン差分は、元のグレースケール画像に存在する一部の空間情報を除くすべてを破棄する帯域通過フィルタである。いくつかの実施形態においては、DoGフィルタリング手法を用いて、さまざまなサイズのスポットが検出される。いくつかの実施形態においては、複数のスポットサイズが昇順に(小サイズから大サイズへと)設定されるが、処理は、大きなスポットから小さなスポットの順である。各反復においては、所与の内外フィルタサイズから、DoGフィルタが生成される。このDoGフィルタによって入力画像または残差画像がフィルタリングされ、適応閾値決定によって、局所非最大抑制後の陽性検出が識別される。各検出は、結果として種子/アノテーションオブジェクトに収集される。
【0088】
[0134]一例として、この場合もκ-mRNAおよびλ-mRNA検出に関して、分離後に生成された黒分離チャネル画像(すなわち、κ-mRNA遺伝子コピーに対応する信号を有する)が、隔離κ-mRNAスポット(すなわち、単一遺伝子コピー)を検出するための入力画像(全スライド画像の一部に対応する図9Aおよび画像の一部を分離した後の図9Bを参照)として用いられるようになっていてもよい。この特定例において、隔離スポット信号は、複数の所定のディスク直径を用いてスポットのディスク様形状を検出することにより抽出される。スポットの検出後は、図9Cおよび図9Dに示されるように、斑点チャネル画像およびスポットチャネル画像が分離される。最後に、図9E図9Hに示されるように、各スポット信号の中心種子から、各検出隔離スポットのx、y座標が計算される。いくつかの実施形態においては、オーバーレイが生成されるようになっていてもよく、分離に先立って用いられる全スライド画像の一部に検出隔離スポットが重ね合わされる(図9A図9Iおよび図9Jと比較)。
【0089】
[0135]別の例として、免疫組織化学的アッセイにおいて染色された画像中のHER2タンパク質の検出に関して、図10Aは、HER2タンパク質の存在に対して染色された生物学的サンプルの全スライド画像の一部を示している。図10Bおよび図10Cは、図10Aから導出された分離画像チャネル画像中の隔離スポットの検出の結果を示しており、検出隔離スポットが全スライド画像の一部に重ね合わされている。
【0090】
[0136]光学密度導出モジュール
[0137]画像中の隔離スポットの検出(320)の後は、光学密度導出モジュール205の使用により、検出隔離スポットそれぞれからの演算信号特性に基づいて、代表的な隔離スポットの光学密度を決定する(ステップ330)。すなわち、入力画像中のすべての検出隔離スポットの特定の特性を考慮することにより、代表的な検出隔離スポットの光学密度を決定する。
【0091】
[0138]図4を参照して、いくつかの実施形態においては、光学密度導出モジュール205がまず、画像中の検出隔離スポットごとに、記述信号特徴を演算する(ステップ400)。いくつかの実施形態において、信号特徴導出モジュール205は、ガウスフィッティング技術の実施によって、検出隔離スポットの特定の特性の分析およびパラメータ化を行う。
【0092】
[0139]表現「ガウスフィッティング(Gaussian fitting)」は、ガウス関数の定数の決定によって、ピークを構成するデータの曲線をガウス分布曲線にフィットさせることを表す。ここでは、ステップ320の各検出隔離スポットからのデータの使用によって、ガウス関数を生成するため、信号特徴ひいては各検出隔離スポットからの特性が導出され得る。いくつかの実施形態において、このフィッティング法は、光学密度および半径の分布が正規分布であるとの仮定に基づいて実行される。
【0093】
[0140]いくつかの実施形態においては、1Dガウス関数フィッティング法の使用により、検出隔離スポットを囲む所定のパッチサイズ内の関連するスポットパラメータを推定する。いくつかの実施形態において、パッチサイズは、5×5ピクセルである。他の実施形態において、パッチサイズは、7×7ピクセルである。さらに他の実施形態において、パッチサイズは、11×11ピクセルである。当業者であれば、最適なヒストグラム結果の提供を容易化する任意特定のアプリケーションに対して最適なパッチサイズを決定可能であろう。
【0094】
[0141]いくつかの実施形態において、ガウスフィッティング技術により導出される特性には、検出隔離ドットのサイズ、強度、不鮮明度、および真円度を含み、これらの特性はそれぞれ、ガウス関数のパラメータを用いて演算される。いくつかの実施形態においては、線形システムAx=bを解くことにより、フィッティング法による推定パラメータは、図11に示されるように、平均、標準偏差(SD)、および半値全幅から成る。
【0095】
[0142]いくつかの実施形態においては、検出隔離スポットの中心を囲む5ピクセルの半径内の98番目の百分位数を用いて、検出スポットの強度特性が演算される。他の実施形態においては、強度ヒストグラム中の全強度範囲の使用により、そのヒストグラムビン数による強度の加重および強度値の合計による除算によって、代表的な隔離スポットの強度を演算するようにしてもよい(たとえば、intensityRef=sum(hIntensity.Values.*(hIntensity.BinEdges)/sum(hIntensity.Values))。
【0096】
[0143]いくつかの実施形態において、代表的な隔離スポットの半径は、sizeRef=sum(hSize.Values.*(hSize.BinEdges))/sum(hSize.Values)を解くことにより演算される。
【0097】
[0144]他の実施形態においては、ガウス関数フィッティング法の標準偏差(σ)を見出すことにより、不鮮明度特性が導出される。
[0145]さらに他の実施形態においては、半値全幅(FWHM)からサイズ特性が導出される。FWHMは、従属変数がその最大値の半分に等しくなる独立変数の2つの極値の差により与えられる関数の範囲の表現である。言い換えると、最大振幅の半分となるy軸上の点間に測定されるスペクトル曲線の幅である(たとえば、図11参照)。FWHMは、以下の等式を用いて演算される。
【0098】
【数1】
【0099】
[0147]別の実施形態においては、パッチ内の実際の光学密度分布と推定パラメータから演算される完全なガウスモデルとの比較に基づいて、真円度特性が演算される。(2つの変数間の一致の測定により、たとえば再現性または評定者間信頼性を評価する)一致相関係数(CCC)では、関係(または、一致)を比較するようにしてもよく、CCC=1は、推定パラメータが理想的なガウスモデルに完全に一致することを示し、CCC=0は、推定パラメータと理想的なガウスモデルとが一致しないことを示す。
【0100】
[0148]図4を再び参照して、各検出隔離スポットの信号特徴特性が決定されたら、代表的な隔離スポットの光学密度が導出されるようになっていてもよい(ステップ401)。
[0149]図5は、代表的な隔離スポットの光学密度を演算するステップを示したフローチャートである。プロセスの第1のステップとして、(ステップ400からの)演算記述信号特徴が入力として受信される(ステップ501)。次に、演算信号特徴特性ごとに、ヒストグラムが生成されるようになっていてもよい(ステップ502)。たとえば、隔離スポットのサイズを表すFWHMパラメータが決定された場合は、FWHMパラメータのヒストグラムが生成されるようになっていてもよい。いくつかの実施形態において、生成されたヒストグラムは、図12に示されるように、信号特徴特性ごとに特定の値を有する入力画像中の隔離スポットの分布を示す。いくつかの実施形態においては、各ヒストグラムのy軸が正規化スポット数を表す一方、x軸は、特徴量を表す。たとえば、図12においては、ヒストグラムが提示されているが、これは、黒ドット信号の強度と、一連のビニング強度値それぞれを有する検出隔離スポットの数とを示している。同様に、図12は、特定のビニングサイズを有する検出隔離スポットの分布を示したヒストグラムを示している。
【0101】
[0150]このため、生成されたヒストグラムは、特定の値または代表的な特性を有する検出された隔離された細胞の密度の理解を可能にする。したがって、当業者には当然のことながら、生成されたヒストグラムは、代表的な検出隔離スポットの特性に関する洞察をもたらす。たとえば、強度ヒストグラム(たとえば、図12)を見ることにより、当業者であれば、最も多く繰り返された検出隔離スポットの強度値(すなわち、強度値のモード)が特定の値(たとえば、0.9という値)を有するものと判定可能である。そして、代表的な検出隔離スポットが当該特定の決定強度値(たとえば、0.9)を有するとの仮定も可能である。他の実施形態においては、たとえば加重平均値が利用されるようになっていてもよい。
【0102】
[0151]上記を所与として、次のステップでは、以下の等式が解けるように、生成されたヒストグラムプロットからサイズおよび強度パラメータを抽出する(ステップ502)。
【0103】
【数2】
【0104】
[0153]ここで、Areaは、スポットの形状と仮定される円の面積(πr)または矩形の面積(w×h)を表し、
【0105】
【数3】
【0106】
は、単一のドットの予想光学密度を表す。
[0154]いくつかの実施形態において、単一のドットの予想光学密度は、強度値であり、均一な強度値であってもよいし、不均一な強度値であってもよい。いくつかの実施形態において、単一のドットの予想光学密度は、強度ヒストグラムのモードであってもよいし、検出隔離スポット全体の合計強度の平均であってもよいし、加重強度であってもよいし、ヒストグラムの加重平均強度であってもよいし、それ以外であってもよい。いくつかの実施形態においては、導出された隔離信号特徴ひいてはパラメータ(たとえば、サイズ、強度等)の記述統計値としての使用により、当該現行データ(画像)における個々のスポットのモデル化によって、集合体信号の推定数を演算する。個々のスポットのモデルとしては、中心から境界まで信号密度が(不鮮明に)変化する円、矩形、球、または3D球等、単純なモデルも可能であるし、より複雑なモデルも可能である。
【0107】
[0155]次に、(ステップ503からの)抽出サイズパラメータにより、面積測定結果が計算される(ステップ504)。たとえば、各ヒストグラムプロットにおけるFWHM値のモードから、半径が導出されるようになっていてもよい。そして、この半径にπを乗じることにより、面積が得られる。
【0108】
[0156]別の例としては、代表的な隔離スポットの光学密度が導出され得るように、以下のデータが計算されるようになっていてもよい。
[0157](i)銀スポット強度ヒストグラムプロットの百分位数10を用いて、背景強度の閾値(たとえば、TH=0.45)を選択する。
【0109】
[0158](ii)銀強度ヒストグラム(強度=0.9)のモードを隔離ドットの予想強度として使用する。
[0159](iii)代表的な隔離ドットの予想サイズとなる銀スポットサイズヒストグラムプロットの百分位数10を用いて、FWHM=1.06のサイズを使用する。
【0110】
[0160]最後に、導出された強度パラメータに面積を乗じて、代表的な隔離スポットの光学密度を与える(ステップ505)。その後、代表的なスポットの演算された光学密度は、スポット推定モジュール208に供給される。
【0111】
[0161]セグメント化モジュールおよび残差画像生成モジュール
[0162]いくつかの実施形態においては、信号集合体中の予測スポットの数の推定に先立って、セグメント化モジュール207により、入力画像が複数の副領域にセグメント化される。いくつかの実施形態において、副領域の生成は、演算が画像全体ではなく小さな局所領域に基づくという事実から、演算誤差を最小化すると考えられる。いくつかの実施形態において、入力画像の複数の副領域へのセグメント化は、集合体信号斑点中の信号の推定の複雑性を抑えるのに有用である。いくつかの実施形態においては、セグメント化によって、染色有無(たとえば、スーパーピクセルに存在するピクセルが特定種のステインのものである)、染色強度(たとえば、ピクセルが一定の相対強度値または値の範囲を有する)、および/または質感(たとえば、ピクセルが色または強度に関する特定の空間配置を有する)が類似または均一の複数の副領域がもたらされる。実質的に均一な副領域を有することは、略全体が集合体信号から成るセグメントにとって特に重要であり、副領域全体の均一性によって、(本明細書に記載の)信号推定中の当該セグメント内のスポット数の一貫した近似が得られる。セグメント化は、単一のチャネル画像、たとえば、λ-mRNAの信号を示す分離画像中の「紫」チャネル、またはκ-mRNAの信号を示す分離画像中の「黒」チャネルに対して実行される。
【0112】
[0163]いくつかの実施形態においては、隔離スポットの検出に用いられた画像すなわち代表的な隔離スポットの光学密度の演算に用いられた画像と異なる画像に対してセグメント化が実行される。いくつかの実施形態においては、残差画像生成モジュール206により生成された残差画像に対してセグメント化が実行される。いくつかの実施形態において、残差画像は、ある画像を別の画像から減算することにより生成される。たとえば、(本明細書に記載の)隔離スポット画像の分離画像チャネル画像からの減算によって、信号集合体斑点のみを有する残差画像を提供するようにしてもよい。他の実施形態においては、検出隔離スポットの場所に基づいて前景セグメント化マスクが生成され、この前景セグメント化マスクの使用により、分離画像チャネル画像をフィルタリングして、信号集合体斑点のみを有する残差画像を提供するようにしてもよい。残差画像の一例が図13に示される。
【0113】
[0164]いくつかの実施形態において、生成された副領域は、所定のサイズまたは画像処理アルゴリズム内に指定の範囲(たとえば、本明細書に記載の通り、SLICスーパーピクセル生成アルゴリズムのパラメータ)内のサイズを有する入力画像のエリアの情報を取り込む。
【0114】
[0165]いくつかの実施形態において、入力画像は、所定の形状、サイズ、面積、および/または間隔を有する副領域にセグメント化される。たとえば、副領域は、長円形、円形、正方形、長方形等であってもよい。いくつかの実施形態において、長円形、円形、正方形、または長方形の副領域は、50ピクセル~およそ100ピクセルの範囲のサイズを有していてもよいし、類似の特性を有するピクセル群が選択されるように、その他何らかのサイズを有していてもよい。いくつかの実施形態において、副領域は、重なり合わず、サンプリンググリッドを介して生成されるようになっていてもよい。いくつかの実施形態において、副領域は、分析用の関連領域の代表サンプル(たとえば、不規則形状の細胞が支配的な特徴であるエリア)を取り込むように画像全体に分布する。
【0115】
[0166]他の実施形態において、入力画像は、グローバル閾値化フィルタ、局所適応閾値化フィルタ、形態学的演算、および分水嶺変換等、一連のアルゴリズムを画像に適用することによってセグメント化される。これらのフィルタは、順次動作するようになっていてもよいし、当業者が必要と考える任意の順序で動作するようになっていてもよい。当然のことながら、所望の結果が実現されるまで、任意のフィルタが反復的に適用されるようになっていてもよい。いくつかの実施形態においては、入力画像への第1のフィルタの適用によって、白色の画像領域の除去等、ステインを有する可能性が低い領域を除去する。いくつかの実施形態において、これは、グローバル閾値化フィルタを適用することによって実現される。いくつかの実施形態において、グローバル閾値化は、(たとえば、グレースケールチャネルに類似する)第1の主成分チャネル上で演算された中央値および/または標準偏差に基づく。その後、画像へのフィルタの適用によって、アーチファクト(たとえば、小さな斑点、小さな切れ目、他の小さな物体)の選択的な除去および/または孔の充填を行う。いくつかの実施形態においては、形態学的演算子の適用によって、アーチファクトの除去および/または孔の充填を行う。いくつかの実施形態においては、入力として導入される2値画像(たとえば、先行するフィルタリングステップの結果としての2値画像)に基づいて、距離に基づく分水嶺が適用される。
【0116】
[0167]いくつかの実施形態において、入力画像は、スーパーピクセルにセグメント化される。スーパーピクセルアルゴリズムは、知覚的に意味あるエンティティを表す多くのセグメント(ピクセル群)へと画像を分割すると考えられる。各スーパーピクセルは、低レベルグループ化プロセスによって得られ、知覚的に矛盾のない単位を有する。すなわち、スーパーピクセルに含まれる生体中のすべてのピクセルが染色有無、染色強度、および質感について可能な限り均一である。スーパーピクセルセグメント化の一例が図14A図14Cに示される(図14Aは、全スライド画像の一部を示し、図14Bは、検出隔離スポットを含まない分離画像チャネル画像すなわち残差画像上のスーパーピクセルの生成を示し、図14Cは、生成されたスーパーピクセルが図14Aの全スライド画像の一部に重ね合わされた様子を示している)。本明細書において詳述する通り、スーパーピクセルセグメント化画像(たとえば、図14B)は、各信号集合体斑点中のバイオマーカに対応する信号の量を推定する入力として用いられるようになっていてもよい。
【0117】
[0168]スーパーピクセルは、色、輝度、および質感等の特質が類似するピクセルの集まりである。画像は、ピクセルの複数の組み合わせ特質を含み、元画像のエッジ情報を保存可能な一定数のスーパーピクセルで構成可能である。単一のピクセルと比較して、スーパーピクセルは、豊富な特質情報を含み、画像の後処理の複雑性を大幅に低減するとともに、画像セグメント化の速度を大幅に向上可能である。また、スーパーピクセルは、小さな近傍モデルによる確率の推定および決定にも有用である。
【0118】
[0169]スーパーピクセルアルゴリズムは、ピクセルを類似サイズの意味ある原子領域へとグループ化する方法である。任意特定の理論に縛られることを望むことなく、スーパーピクセルは、画像内の重要な境界に位置することが多く、顕著な物体特徴を含む場合には基準外または特有な形状を帯びる傾向にあることから、効果的と考えられる。中解像度分析における情報の取得および格納の要望と矛盾することなく、スーパーピクセルは、ピクセルレベルと物体レベルとの間に位置付けられ、画像オブジェクトを包括的に表すことなく、知覚的に意味あるピクセル群を表すことによって、ピクセルよりも多くの情報をもたらす。スーパーピクセルは、短い演算時間で画像を過剰セグメント化する画像セグメント化の一形態と理解され得る。スーパーピクセルの外形は、画像中のほとんどの構造が保護されるため、自然な画像境界に十分従うことが分かっている。各ピクセルではなく各スーパーピクセルについて画像特徴が演算されることから、後続の処理タスクは、複雑性および演算時間が抑えられる。このため、スーパーピクセルは、画像セグメント化等のオブジェクトレベルでの分析の前処理ステップとして有用と考えられる。
【0119】
[0170]任意特定の理論に縛られることを望むことなく、スーパーピクセルは、たとえば色または形状が類似する特質を有する稠密かつ均一なピクセル群を形成することによって、画像を過剰セグメント化すると考えられる。過去には、複数のスーパーピクセル手法が開発されている。これらは、(i)グラフベースの手法および(ii)勾配上昇ベースの手法に分類可能である。グラフベースの手法においては、各ピクセルがグラフ中のノードと考えられる。すべてのノード対間には、それぞれの類似性に比例するエッジ重みが規定される。そして、グラフ上に規定されるコスト関数の公式化および最小化によって、スーパーピクセルセグメントを抽出する。勾配上昇ベースの手法においては、特徴空間へのピクセルの反復的なマッピングによって、クラスタを表す高密度領域を描く。各反復は、各クラスタの精緻化によって、収束までにより優れたセグメント化を得る。
【0120】
[0171]正規化カット、凝集型クラスタリング、クイックシフト、およびターボピクセルアルゴリズム等、多くのスーパーピクセルアルゴリズムが開発されている。正規化カットアルゴリズムは、輪郭および質感キューを使用し、分割境界のエッジ上に規定されるコスト関数を最小化することによって、全ピクセルのグラフを再帰的に分割する。これにより、非常に規則的で、視覚的に快いスーパーピクセルが得られる(Jianbo Shi and Jitendra Malik「Normalized cuts and image segmentation(正規化カットおよび画像セグメント化)」,IEEE Transactions on Pattern Analysis and Machine Intelligence,(PAMI),22(8):888-905,Aug 2000(すべての開示内容が参照により本明細書に組み込まれる)参照)。Alastair Moore,Simon Prince,Jonathan Warrell,Umar Mohammed,and Graham Jones「Superpixel Lattices(スーパーピクセル格子)」,IEEE Computer Vision and Pattern Recognition (CVPR),2008は、より小さな垂直または水平領域へと画像を分割する最適経路またはシームを見つけることによって、グリッドに従うスーパーピクセルを生成する方法を記載する。最適経路は、グラフカット法を用いることにより見つかる(Shai Avidan and Ariel Shamir「Seam carving for content-aware image resizing(内容を意識した画像サイズ調整のためのシームカービング)」,ACM Transactions on Graphics (SIGGRAPH),26(3),2007(開示内容が参照により本明細書に組み込まれる)参照)。クイックシフト(A.Vedaldi and S.Soatto「Quick shift and kernel methods for mode seeking(モード探索のためのクイックシフトおよびカーネル方法)」,European Conference on Computer Vision(ECCV),2008(開示内容が参照により本明細書に組み込まれる)参照)は、モード探索セグメント化方式を使用する。これは、medoid shift手順を用いてセグメント化を初期化する。その後、Parzen密度推定値を増大させる最も近い隣接点へと特徴空間の各点を移動させる。ターボピクセル法では、レベルセットベースの幾何学的フローを用いて、一組の種子位置を徐々に拡張させる(A.Levinshtein,A.Stere,K.Kutulakos,D.Fleet,S.Dickinson,and K.Siddiqi「Turbopixels: Fast superpixels using geometric flows(ターボピクセル:幾何学的フローを用いた高速スーパーピクセル)」,IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI),2009(開示内容が参照により本明細書に組み込まれる)参照)。幾何学的フローは、画像平面上でスーパーピクセルを規則的に分布させることを目的として、局所的な画像勾配に依拠する。ターボピクセルスーパーピクセルは、他の方法と異なり、均一なサイズ、稠密性、および境界追従を有するように制約される。スーパーピクセルを生成するさらに他の方法については、Radhakrishna Achanta「SLIC Superpixels Compared to State-of-the-art(最新技術との比較によるSLICスーパーピクセル)」,Journal of Latex Class Files,Vol.6,No.1,December 2011に記載されている(そのすべての開示内容が参照により本明細書に組み込まれる)。
【0121】
[0172]単純線形反復クラスタリング(SLIC)と称するスーパーピクセルアルゴリズムが導入されているが、これは、最先端のスーパーピクセル法と比較して、境界追従および効率の両者において優れている。SLICには、2つのステップがある。第1には、局所k平均クラスタリング(KMC)法によってピクセルをグループ化することによりスーパーピクセルを生成するが、その距離は、データおよび空間距離と統合されたユークリッド距離として測定される。第2には、連結成分アルゴリズム(CCA)の使用によって、生成された微小隔離領域を最も近い大きなスーパーピクセルとして統合することにより除去する。
【0122】
[0173]k平均クラスタリングは、n個の観察結果をk個のクラスタに分割することを目的としており、各観察結果は、クラスタのプロトタイプとして機能する平均に最も近いクラスタに属する。連結成分標識化は、画像をピクセルごとに(上から下、左から右に)スキャンし、連結ピクセル領域すなわち同じ強度値Vの集合を共有する隣り合うピクセルの領域を識別することによって機能する。(2値画像の場合はV={1}であるが、グレーレベル画像の場合、Vは、ある範囲の値をとることになる(たとえば、V={51,52,53,・・・,77,78,79,80}))。連結成分標識化は、2値画像またはグレーレベル画像に対して機能し、連結度の異なる尺度が可能である。ただし、以下では、2値入力画像および8連結度を仮定する。連結成分標識化の演算子は、V={1}となる点p(ここで、pは、スキャンプロセスの任意の段階で標識化されるピクセルを示す)まで、行に沿って移動することにより画像をスキャンする。これが真の場合は、スキャン中に通過済みのpの4つの隣接ピクセル(すなわち、(i)pの左方、(ii)上方、ならびに(iiiおよびiv)2つの上側対角関係の隣接セル)を検査する。この情報に基づいて、pの標識化を以下のように行う。4つの隣接ピクセルがすべて0の場合は、新たな標識をpに割り当て、隣接ピクセルが1つだけV={1}の場合は、その標識をpに割り当て、隣接ピクセルが2つ以上V={1}の場合は、標識のうちの1つをpに割り当てて、同等物を書き留める。
【0123】
[0174]スキャンの完了後は、同等標識対が同等物クラスに格納され、一意の標識が各クラスに割り当てられる。最終ステップとして、画像に第2のスキャンがなされるが、この間は、その同等物クラスに割り当てられた標識によって各標識が置き換えられる。表示のため、各標識は、異なるグレーレベルまたは色であってもよい。
【0124】
[0175]SLICは、スーパーピクセルの生成のためのk平均の適応であるが、2つの重要な差異がある。(i)スーパーピクセルのサイズに比例した領域に探索空間を制限することによって、最適化における距離計算の回数が劇的に少なくなる(これによって、スーパーピクセルの数kとは無関係に、ピクセル数の複雑性が線形に小さくなると考えられる)。(ii)重み付け距離尺度が色と空間近接性とを組み合わせると同時に、スーパーピクセルのサイズおよび稠密度を制御する(Achanta,et al.「SLIC Superpixels Compared to State-of-the-art Superpixel Methods(最新のスーパーピクセル法との比較によるSLICスーパーピクセル)」,IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.34,No.11,November 2012参照(そのすべての開示内容が参照により本明細書に組み込まれる))。
【0125】
[0176]SLICでは、CIELAB色空間のL*a*b値ならびにそれぞれのx座標およびy座標により規定される5D空間における画像ピクセルを考慮する。5D空間におけるピクセルは、画像平面における色の類似性および近接性を統合した適応k平均クラスタリングに基づいてクラスタリングされる。このクラスタリングは、L*a*b空間における色類似性(dc)およびx、y空間におけるピクセル近接性(ds)を測定した距離尺度Dに基づく。後者は、スーパーピクセルの数(k)で除した画像ピクセルの総数の平方根を規定するグリッド間隔(S)によって正規化される。スーパーピクセルの稠密性および規則性は、定数mによって制御される。このパラメータは、空間距離(dc)とスペクトル距離(ds)との間の重み付け基準として機能する。mが大きいほど空間近接性の重みが増え、画像中のスペクトル外形に対する境界の追従が低下したより稠密なスーパーピクセルが得られる。
【0126】
【数4】
【0127】
[0178]SLICアルゴリズムは、以下のように適用され得る。Nを所与の画像(または、その関心部分もしくは領域)のピクセル数とし、kを生成するスーパーピクセル数とする。次に、SLICアルゴリズムの主要なステップは、以下の通りである。
【0128】
[0179](1)クラスタ中心を初期化する。規則的なグリッド上のk個のクラスタ中心を
【0129】
【数5】
【0130】
ピクセルだけ離隔させた後、3×3近傍において勾配が最小の位置まで、これらのクラスタ中心を移動させる。任意特定の理論に縛られることを望むことなく、これは、スーパーピクセルの中心をエッジに設定しないようにするとともに、ノイズの多いピクセルにスーパーピクセルの種子を設定する機会を減らすためと考えられる。
【0131】
[0180](2)ピクセルを割り当てる。局所KMCによって、局所探索空間における最も近いクラスタ中心に各ピクセルを指定する。
[0181](3)クラスタ中心を更新する。対応するクラスタにおける全ピクセルの平均として、各クラスタ中心を設定する。
【0132】
[0182](4)クラスタが変化しなくなるまで、または、別の所与の基準が満たされるまで、ステップ(2)および(3)を繰り返す。
[0183](5)後処理。隔離領域のサイズが最小サイズSmin未満の場合は、CCAの使用により、隔離領域を近くのスーパーピクセルに再度割り当てる。
【0133】
[0184]SLIC法のステップ(2)においては、局所KMCが適用されるが、この場合は、探索エリアがその場所を網羅する最も近いクラスタ中心と各ピクセルが関連付けられる。従来のKMCにおいて、各クラスタ中心の探索エリアは、全画像であるため、画像中の各クラスタ中心からすべてのピクセルまでの距離が計算される。ただし、局所KMCにおいては、クラスタ中心の探索空間が局所的な2S×2S正方形領域に限定される。したがって、SLICでは、各クラスタ中心からその探索エリア内のピクセルまでの距離しか演算しない。
【0134】
[0185]局所KMCにおいては、クラスタリングにおいてユークリッド距離が使用される。zを空間位置が(x,y)のi番目のクラスタ中心のデータとする。zを当該中心の探索エリア内のピクセルの強度とする。そして、このピクセルと中心との間の統合距離は、以下の通りである。
【0135】
【数6】
【0136】
[0187]ここで、d=|z-z|であり
【0137】
【数7】
【0138】
はそれぞれ、ピクセルと中心との間の強度距離および空間距離であり、mは、統合距離Dに対するdおよびdの相対的な寄与を重み付けする正則化パラメータである。mが大きくなることは、dがdよりも有意であることを示す。これら2つの距離の寄与を直接記述する同等の統合距離Dは、以下により与えられ得る。
【0139】
【数8】
【0140】
[0189]ここで、Nは全画面の平均強度であり、
【0141】
【数9】
【0142】
は正則化パラメータである。これに関連して、wおよび(1-w)はそれぞれ、正規化強度とDにおける各空間距離との比である。
[0190]いくつかの実施形態において、SLICアルゴリズムのパラメータkは、略等しいサイズのスーパーピクセルの数を指定する。いくつかの実施形態において、稠密度パラメータmは、スーパーピクセルの均一性と境界追従とのトレードオフを制御するように設定可能である。任意特定の理論に縛られることを望むことなく、稠密度パラメータを変更することによって、規則的な形状のスーパーピクセルが非質感領域に生成され、高度に不規則なスーパーピクセルが質感領域に生成され得ると考えられる。この場合も、任意特定の理論に縛られることを望むことなく、パラメータmは、色類似性と空間近接性との間の相対的重要性の重み付けを可能にすると考えられる。mが大きい場合は、空間近接性がより重要であり、結果としてのスーパーピクセルがより稠密となる(すなわち、面積対周長比が小さくなる)。mが小さい場合は、結果としてのスーパーピクセルが画像境界に対してより緊密に追従するものの、サイズおよび形状は不規則になる。
【0143】
[0191]いくつかの実施形態においては、ピクセルのサイズおよび稠密度の両パラメータが調整される。いくつかの実施形態においては、およそ40ピクセル~およそ70ピクセルの範囲のピクセルサイズが使用される。他の実施形態においては、およそ60ピクセル~およそ100ピクセルの範囲のピクセルサイズが使用される。さらに他の実施形態においては、およそ70ピクセル~およそ100ピクセルの範囲のピクセルサイズが使用される。さらに別の実施形態においては、およそ80ピクセル~およそ100ピクセルの範囲のピクセルサイズが使用される。
【0144】
[0192]スポット推定モジュール
[0193]任意の信号集合体または斑点中のバイオマーカに対応するステインの量の定量化には、スポット推定モジュール208が利用される(ステップ340)。いくつかの実施形態において、推定モジュール208は、セグメント化モジュールの実行後に返される副領域等、入力画像中の複数の副領域それぞれにおける各信号集合体または斑点中の信号量の決定に利用される。
【0145】
[0194]いくつかの実施形態において、推定は、以下のように、単一スポットおよび集合体信号の光学密度の合計間の線形関係に基づく。
【0146】
【数10】
【0147】
[0196]ここで、Nは集合体信号領域内のスポットの数、ODは集合体信号の光学密度、ODは(ステップ401からの)代表的な隔離スポットの演算光学密度である。
[0197]いくつかの実施形態において、スポット集合体の光学密度は、残差画像等の入力画像からのスポット集合体の測定強度である。
【0148】
[0198]各副領域における予測スポットの数が推定されたら(ステップ340)、そのデータは、データベース等のストレージモジュール240に格納されるようになっていてもよい(ステップ350)。いくつかの実施形態において、各信号集合体斑点の予測スポットの数は、斑点の座標(x,y)(斑点の種子中心のx、y座標等)と併せて格納される。また、いくつかの実施形態において、検出隔離スポットは、本明細書に記載の通り、それぞれのx、y座標と併せて格納される。いくつかの実施形態においては、スポットの総数すなわち実際の検出隔離スポットおよび予測スポットが副領域ごとに格納される。
【0149】
[0199]図15を参照して、全スライド画像の複数の部分が独立して評価される実施形態においては、(上述の)推定された予測スポット数またはスポット総数が全スライド画像の部分ごとに格納されるようになっていてもよい(ステップ350)。あるいは、図15を再び参照して、全スライド画像の複数の部分が独立して評価される実施形態においては、信号量に対応するデータの格納(ステップ350)および/または報告(ステップ360)が全スライド画像に対して行われ得るように、全スライド画像の各部分における(上述の)推定された予測スポット数またはスポット総数が組み合わされるようになっていてもよい。
【0150】
[0200]いくつかの実施形態においては、副領域ごとのスポット総数が計算され、データベースに格納されるようになっていてもよい。たとえば、副領域ごとに、検出隔離スポット総数と推定予測スポット数との組み合わせ(すなわち、合算)によって、副領域ごとのスポット総数を与えるようにしてもよい。
【0151】
[0201]いくつかの実施形態においては、細胞ごとのスポット総数が計算されるようになっていてもよい。いくつかの実施形態においては、核セグメント化の実行によって、総細胞数を返すようにしてもよい。(上述のように)副領域ごとのスポット総数が計算されたら、その結果は、総細胞数とともに使用される(細胞ごとの総スポット数=総スポット数/総細胞数)。図17Aおよび図17Bは、種子中心の核セグメント化(図17A)および各細胞の核境界(図17B)の各例を示している。
【0152】
[0202]オーバーレイ生成モジュール
[0203]隔離スポットの検出(ステップ320)および予測スポット数の推定(ステップ340)の後、そのデータ(たとえば、定量的データ)は、全スライド画像またはその一部への重ね合わせ等により報告されるようになっていてもよい。いくつかの実施形態においては、オーバーレイ生成モジュール209の使用により、あとで入力画像に重ね合わされ得るオーバーレイを演算する。図16Aおよび図16Bは、副領域ごとの個々の検出スポット(赤ドット1610)および推定予測スポット数(整数値)が全スライド画像の一部に重ね合わされた好適なオーバーレイの例を示している。
【0153】
[0204]いくつかの実施形態においては、副領域ごとのスポット総数が計算され、データベース(たとえば、ストレージモジュール240)に格納されるようになっていてもよいし、オーバーレイにおいて視覚的に示されるようになっていてもよい。たとえば、副領域ごとに、検出隔離スポット総数と推定予測スポット数との組み合わせ(すなわち、合算)によって、副領域ごとのスポット総数を与えるようにしてもよい。前記別の方法は、総スポット数=検出隔離スポット数+推定集合体信号数である。
【0154】
[0205]隔離スポットおよび/または信号集合体斑点ごとの推定信号量を表す整数を表示する代わりに、各副領域の色分けによって、検出および予測スポット信号の総密度を示すようにしてもよい。たとえば、総スポット数が5未満の場合は、当該領域が青で示され、総スポット数が6~15の場合は、当該領域が黄で示され、総スポット数が15超の場合は、当該領域が赤で示されるようになっていてもよい。
【0155】
[0206]また、2つ以上のバイオマーカに対して信号の量が推定された場合(たとえば、κ-mRNAおよびλ-mRNAの両プローブに対応する信号が推定された場合)は、一定のκ-λ比を有する副領域が表示されるオーバーレイが生成されるようになっていてもよい。たとえば、視覚化は、特定の比に対して正または負を示す(+)または(-)であってもよい。同様に、導出された比に応じて、各副領域が色分けされるようになっていてもよい。
【0156】
[0207]本開示の実施形態を実現する他の構成要素
[0208]本開示のシステム200は、組織標本に対して1つまたは複数の作成プロセスを実行可能な標本処理装置に接続されていてもよい。作成プロセスとしては、標本の脱パラフィン化、標本の調節(たとえば、細胞調節)、標本の染色、抗原回復の実行、免疫組織化学染色(標識化を含む)もしくは他の反応の実行、ならびに/またはin-situハイブリダイゼーション(たとえば、SISH、FISH等)染色(標識化を含む)もしくは他の反応の実行のほか、顕微鏡法、微量分析法、質量分光法、または他の分析方法のために標本を作成する他のプロセスが挙げられるが、これらに限定されない。
【0157】
[0209]処理装置は、固定剤を標本に塗布可能である。固定剤としては、架橋剤(アルデヒド(たとえば、ホルムアルデヒド、パラホルムアルデヒド、およびグルタルアルデヒド)のほか、非アルデヒド架橋剤等)、酸化剤(たとえば、四酸化オスミウムおよびクロム酸等の金属イオンおよび錯体)、タンパク質変性剤(たとえば、酢酸、メタノール、およびエタノール)、メカニズムが未知の固定剤(たとえば、塩化第二水銀、アセトン、およびピクリン酸)、組み合わせ試薬(たとえば、カルノワ固定剤、メタカン、ブアン液、B5固定剤、ロスマン液、およびジャンドル液)、マイクロ波、および混合固定剤(たとえば、排除体積固定剤および蒸気固定剤)が挙げられる。
【0158】
[0210]標本がパラフィンに埋め込まれたサンプルの場合、このサンプルは、適当な脱パラフィン化液を用いることにより脱パラフィン化され得る。パラフィンが除去された後は、任意数の物質が連続して標本に適用され得る。これらの物質としては、前処理用(たとえば、タンパク質架橋の逆転、核酸の曝露等)、変性用、ハイブリダイゼーション用、洗浄用(たとえば、ストリンジェンシ洗浄)、検出用(たとえば、視覚またはマーカ分子のプローブへのリンク)、増幅用(たとえば、タンパク質、遺伝子等の増幅)、カウンタ染色用、封入用等が可能である。
【0159】
[0211]標本処理装置は、広範な物質を標本に適用可能である。これらの物質としては、ステイン、プローブ、試薬、洗浄液、および/または調節剤が挙げられるが、これらに限定されない。これらの物質としては、流体(たとえば、気体、液体、または気体/液体混合物)等が可能である。流体としては、溶媒(たとえば、極性溶媒、非極性溶媒等)、溶液(たとえば、水溶液または他種の溶液)等が可能である。試薬としては、ステイン、湿潤剤、抗体(たとえば、モノクローナル抗体、ポリクローナル抗体等)、抗原回復液(たとえば、水性または非水性の抗原溶液、抗原回復緩衝剤等)が挙げられるが、これらに限定されない。プローブとしては、検出可能な標識またはレポータ分子に付着した単離核酸または単離合成オリゴヌクレオチドが可能である。標識としては、放射性同位体、酵素基質、補因子、リガンド、化学発光または蛍光剤、ハプテン、および酵素が挙げられる。
【0160】
[0212]標本処理装置としては、Ventana Medical Systems,Inc.が販売するBENCHMARK XT器具およびSYMPHONY器具のような自動化装置が可能である。Ventana Medical Systems,Inc.は、自動分析を実行するシステムおよび方法を開示した多くの米国特許の譲受人であり、米国特許第5,650,327号、第5,654,200号、第6,296,809号、第6,352,861号、第6,827,901号、および第6,943,029号、ならびに米国特許出願公開第2003/0211630号および第2004/0052685号を含み、それぞれのすべての内容が参照により本明細書に組み込まれる。あるいは、標本は、手動で処理され得る。
【0161】
[0213]標本が処理された後、ユーザは、標本支持スライドを撮像装置に移送することができる。いくつかの実施形態において、撮像装置は、明視野撮像スライドスキャナである。明視野撮像装置の1つとして、Ventana Medical Systems,Inc.が販売するiScan HT and DP200(Griffin)明視野スキャナがある。自動化された実施形態において、撮像装置は、「IMAGING SYSTEM AND TECHNIQUES(撮像システムおよび技法)」という名称の国際特許出願PCT/US2010/002772号(特許公開WO2011/049608)または2011年9月9日に出願された「IMAGING SYSTEMS,CASSETTES, AND METHODS OF USING THE SAME(撮像システム、カセット、およびこれらの使用方法)」という名称の米国特許出願公開第2014/0178169号に開示されるようなデジタル病理学デバイスである。
【0162】
[0214]撮像システムまたは装置は、マルチスペクトル撮像(MSI)システムまたは蛍光顕微鏡システムであってもよい。ここで用いられる撮像システムは、MSIである。MSIは一般的に、ピクセルレベルで画像のスペクトル分布にアクセス可能とすることにより、コンピュータ化顕微鏡ベースの撮像システムを病理標本の分析に備える。多様なマルチスペクトル撮像システムが存在するが、これらのシステムすべてに共通する動作的態様は、マルチスペクトル画像を構成する能力である。マルチスペクトル画像とは、電磁スペクトル全体の特定の波長または特定のスペクトル帯域幅において画像データを取り込んだものである。これらの波長は、光学フィルタまたは赤外線(IR)等の可視光範囲を超える波長における電磁放射光線を含む所定のスペクトル成分を選択可能な他の器具の使用により選別されるようになっていてもよい。
【0163】
[0215]MSIシステムとしては、光学撮像システムが挙げられ、その一部が、所定数Nの離散光帯域を規定するように調節可能なスペクトル選択システムを含む。この光学システムは、光検出器上に広帯域光源で透過照射される組織サンプルを撮像するように構成されていてもよい。光学撮像システムは、一実施形態において、たとえば顕微鏡等の拡大システムを含んでいてもよく、当該光学システムの1つの光出力と空間的に大略位置合わせされた1本の光軸を有する。このシステムは、異なる離散スペクトル帯において画像が取得されるように(たとえば、コンピュータプロセッサによって)スペクトル選択システムが調整または調節されるように、組織の一連の画像を構成する。また、この装置は、ディスプレイも含んでいてもよく、このディスプレイにおいて、取得された一連の画像から少なくとも1つの視覚的に知覚可能な組織の画像が現れる。スペクトル選択システムは、回折格子、薄膜干渉フィルタ等の一群の光学フィルタ、またはユーザ入力もしくは予めプログラムされたプロセッサのコマンドのいずれかに応答して、光源からサンプルを通じて検出器へと透過した光のスペクトルから特定の通過帯域を選択するように構成されたその他任意のシステム等、光分散要素を含んでいてもよい。
【0164】
[0216]代替実施態様において、スペクトル選択システムは、N個の離散スペクトル帯に対応する複数の光出力を規定する。この種のシステムは、光学システムからの透過光出力を取り込み、識別されたスペクトル帯において、この識別されたスペクトル帯に対応する光路に沿ってサンプルを検出システム上で撮像するように、N本の空間的に異なる光路に沿って、この光出力の少なくとも一部を空間的に方向転換させる。
【0165】
[0217]本明細書に記載の主題および動作の実施形態は、デジタル電子回路またまたはコンピュータソフトウェア、ファームウェア、もしくはハードウェア(本明細書に開示の構造およびその構造的同等物を含)、あるいはこれらのうちの1つまたは複数の組み合わせにて実装され得る。本明細書に記載の主題の実施形態は、1つまたは複数のコピュータプログラム、すなわち、データ処理装置による実行またはデータ処理装置の動作の制御ためにコンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実装され得る。本明細書に記載のモジュールはいずれも、プロセッサにより実行されるロジックを含んでいてもよい。本明細書において、「ロジック(logic)」は、プロセッサの動作に影響を及ぼすように適用され得る命令信号および/またはデータの形態を有する如何なる情報をも表す。ソフトウェアは、ロジックの一例である。
【0166】
[0218]コンピュータ記憶媒体としては、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムもしくは順次アクセス・メモリアレイもしくはデバイス、またはこれらのうちの1つまたは複数の組み合わせも可能であるし、これらに含まれることも可能である。さらに、コンピュータ記憶媒体は、伝搬信号ではないが、人工的に生成された伝搬信号として符号化されたコンピュータプログラム命令の供給源または宛先が可能である。また、コンピュータ記憶媒体としては、1つまたは複数の別個の物理的構成要素または媒体(たとえば、複数のCD、ディスク、または他の記憶装置)も可能であるし、これらに含まれることも可能である。本明細書に記載の動作は、1つまたは複数のコンピュータ可読記憶装置に格納されたデータまたは他の供給源から受信されたデータに対してデータ処理装置により実行される動作として実装され得る。
【0167】
[0219]用語「プログラムされたプロセッサ」は、データを処理するためのあらゆる種類の装置、デバイス、および機械を含み、一例として、プログラム可能なマイクロプロセッサ、コンピュータ、システム・オン・チップ、またはこれらのうちの複数、もしくは組み合わせが挙げられる。装置としては、専用論理回路(たとえば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路))が挙げられる。また、装置としては、ハードウェアのほか、対象のコンピュータプログラムのための実行環境を生成するコード(たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォーム・ランタイム環境、仮想機械、またはこれらのうちの1つもしくは複数の組み合わせを構成するコード)が挙げられる。この装置および実行環境は、ウェブサービス、分散型コンピューティング、およびグリッドコンピューティング・インフラストラクチャ等、種々異なるコンピューティングモデル・インフラストラクチャを実現することができる。
【0168】
[0220]コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる)は、コンパイラ型またはインタープリタ型言語、宣言型または手続き型言語等、如何なる形態のプログラミング言語でも記述可能であり、また、単体プログラムまたはモジュール、コンポーネント、サブルーチン、オブジェクト、もしくはコンピューティング環境における使用に適した他のユニット等、如何なる形態でも展開可能である。コンピュータプログラムは、ファイルシステムのファイルに対応していてもよいが、必ずしもその必要はない。プログラムは、他のプログラムもしくはデータ(たとえば、マークアップ言語文書に格納された1つまたは複数のスクリプト)を保持するファイルの一部、対象のプログラムに専用の1つのファイル、または複数の調整されたファイル(たとえば、1つもしくは複数のモジュール、サブプログラム、もしくはコードの一部を格納したファイル)に格納され得る。コンピュータプログラムは、1つのコンピュータ上または1つのサイトに位置付けられた複数のコンピュータもしくは複数のサイトに分散され、通信ネットワークにより相互接続された複数のコンピュータ上で実行されるように展開され得る。
【0169】
[0221]本明細書に記載のプロセスおよびロジックフローは、1つまたは複数のコンピュータプログラムを実行し、入力データに対する動作および出力の生成によって動作を実行する1つまたは複数のプログラム可能なプロセッサにより実行され得る。これらのプロセスおよびロジックフローは、専用論理回路(たとえば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路))により実行され得る。また、装置は、専用論理回路(たとえば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路))として実装され得る。
【0170】
[0222]コンピュータプログラムの実行に適したプロセッサとしては、一例として、汎用および専用マイクロプロセッサの両者、ならびに任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサが挙げられる。一般的に、プロセッサは、リードオンリーメモリ、ランダムアクセスメモリ、またはその両者から命令およびデータを受信することになる。コンピュータの必須要素は、命令にしたがって動作を実行するプロセッサならびに命令およびデータを格納する1つもしくは複数のメモリデバイスである。また、一般的に、コンピュータは、データを格納する1つまたは複数の大容量記憶装置(たとえば、磁気、光磁気ディスク、または光ディスク)を含むか、あるいは、1つまたは複数の大容量記憶装置に対するデータの受信、送信、または両者を行うように動作結合されることになる。ただし、コンピュータは、そのようなデバイスを必ずしも有する必要がない。さらに、コンピュータは、別のデバイス(たとえば、携帯電話、携帯情報端末(PDA)、モバイルオーディオもしくはビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、または携帯型記憶装置(たとえば、ユニバーサルシリアルバス(USB)フラッシュドライブ)、あるいはその他多くのデバイス)に埋め込まれ得る。コンピュータプログラム命令およびデータを記憶するのに適したデバイスとしては、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスが挙げられ、一例として、半導体メモリデバイス(たとえば、EPROM、EEPROM、およびフラッシュメモリデバイス)、磁気ディスク(たとえば、内部ハードディスクもしくはリムーバブルディスク)、光磁気ディスク、ならびにCD-ROMおよびDVD-ROMディスクを含む。プロセッサおよびメモリは、専用論理回路による補完または専用論理回路への組み込みがなされ得る。
【0171】
[0223]ユーザとの相互作用を可能にするため、本明細書に記載の主題の実施形態は、ユーザに情報を表示する表示装置(たとえば、LCD(液晶ディスプレイ)、LED(発光ダイオード)ディスプレイ、もしくはOLED(有機発光ダイオード)ディスプレイ)ならびにユーザがコンピュータに入力を与え得るキーボードおよびポインティングデバイス(たとえば、マウスもしくはトラックボール)を有するコンピュータ上に実装され得る。いくつかの実施態様においては、情報の表示およびユーザからの入力の受け付けにタッチスクリーンが使用され得る。また、ユーザとの相互作用を可能にするため、他の種類のデバイスも同様に使用され得る。たとえば、ユーザに提供されるフィードバックとしては、任意の形態の感覚フィードバック(たとえば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバック)が可能であり、ユーザからの入力は、音響入力、音声入力、または触覚入力等、任意の形態で受け取られ得る。また、コンピュータは、ユーザが使用するデバイスに対する文書の送信および受信(たとえば、ウェブブラウザから受けた要求に応じてユーザのクライアントデバイス上のウェブブラウザにウェブページを送ること)によって、ユーザと相互作用可能である。
【0172】
[0224]本明細書に記載の主題の実施形態は、バックエンドコンポーネント(たとえば、データサーバ)、ミドルウェアコンポーネント(たとえば、アプリケーションサーバ)、またはフロントエンドコンポーネント(たとえば、本明細書に記載の主題の一実施態様とユーザが相互作用し得るグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータ)を含むコンピュータシステム、あるいは1つまたは複数のこのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの任意の組み合わせにて実現され得る。システムの構成要素は、如何なる形態または媒体のデジタルデータ通信(たとえば、通信ネットワーク)によっても相互接続され得る。通信ネットワークの例としては、ローカルエリアネットワーク(「LAN」)およびワイドエリアネットワーク(「WAN」)、相互接続ネットワーク(たとえば、インターネット)、ならびにピア・ツー・ピアネットワーク(たとえば、アドホック・ピア・ツー・ピアネットワーク)が挙げられる。たとえば、図1のネットワーク20は、1つまたは複数のローカルエリアネットワークを含み得る。
【0173】
[0225]コンピュータシステムは、如何なる数のクライアントおよびサーバをも含み得る。クライアントおよびサーバは一般的に、互いに遠隔であって、通常は、通信ネットワークを通じて相互作用する。クライアントおよびサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによって生じる。いくつかの実施形態においては、サーバが(たとえば、クライアントデバイスと相互作用するユーザへのデータの表示およびユーザからのユーザ入力の受け付けを目的として)クライアントデバイスにデータ(たとえば、HTMLページ)を送信する。クライアントデバイスで生成されたデータ(たとえば、ユーザ相互作用の結果)は、サーバにおいてクライアントデバイスから受信され得る。
【0174】
[0226]実施例
[0227]検出隔離スポットが元の画像に重なり合い、観察者がスポットを修正(たとえば、追加、消去、移動)可能なグラフィカルユーザインターフェース(GUI)に基づいて、品質管理が実行された。観察専門家(科学者)によって、31個のFOVを用いた単体銀画像に対する確認が実行された。Rが0.99でCCC=0.99の一致プロットが以下に示される。修正前後のスポット計数結果の例を図18に示す。
【0175】
[0228]本明細書における言及および/または出願データシートにおける掲載の対象となる米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、および非特許刊行物はすべて、その全内容が参照により本明細書に組み込まれる。種々特許、出願、および公開の概念を採用する必要に応じて、さらに別の実施形態を提供するように、実施形態の態様が改良され得る。
【0176】
[0229]以上、多くの例示的実施形態を参照して本開示を説明したが、本開示の原理の主旨および範囲に含まれるその他多くの改良形態および実施形態が当業者により考案され得ることが了解されるものとする。より詳細には、本開示の主旨から逸脱することなく、上記開示内容、図面、および添付の特許請求の範囲内において、主題の組み合わせ構成の構成要素部品および/または配置における合理的な変形および改良が可能である。構成要素部品および/または配置における変形および改良のほか、当業者には、代替的な使用も明らかとなるであろう。
図1
図2
図3A
図3B
図3C
図3D
図3E
図4
図5
図6A
図6B
図6C
図7A
図7B
図7C
図8A
図8B
図8C
図8D
図9A
図9B
図9C
図9D
図9E-9F】
図9G-9H】
図9I-9J】
図10A
図10B-10C】
図11
図12
図13
図14A
図14B
図14C
図15
図16A
図16B
図17A
図17B
図18