▶ ベンタナ メディカル システムズ， インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-20
(45)【発行日】2022-06-28
(54)【発明の名称】共発現解析のためのシステム及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220621BHJP
C12M 1/34 20060101ALI20220621BHJP
C12Q 1/06 20060101ALI20220621BHJP
G01N 21/27 20060101ALI20220621BHJP
G01N 33/48 20060101ALI20220621BHJP
【ＦＩ】
G06T7/00 612
C12M1/34 A
C12Q1/06
G01N21/27 A
G01N33/48 P
【請求項の数】
14
(21)【出願番号】P 2017534921
(86)(22)【出願日】2015-12-30
(65)【公表番号】
(43)【公表日】2018-02-08
(86)【国際出願番号】 EP2015081399
(87)【国際公開番号】W WO2016107896
(87)【国際公開日】2016-07-07
【審査請求日】2018-12-27
【審判番号】
【審判請求日】2020-10-22
(31)【優先権主張番号】62/098,075
(32)【優先日】2014-12-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/253,179
(32)【優先日】2015-11-10
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507179346
【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100119781
【弁理士】
【氏名又は名称】中村 彰吾
(72)【発明者】
【氏名】バーンズ，マイケル
(72)【発明者】
【氏名】スィン，シャリニ
(72)【発明者】
【氏名】チェン，ティーン
(72)【発明者】
【氏名】シェフドテル，クリストフ
(72)【発明者】
【氏名】タブス，アリサ
【合議体】
【審判長】千葉 輝久
【審判官】木方 庸輔
【審判官】川崎 優
(56)【参考文献】
【文献】特開２００９－２１２６０５（ＪＰ，Ａ）
【文献】特開２０１３－１７４８２３（ＪＰ，Ａ）
【文献】Ａ．Ｒｉｚｋ ｅｔ ａｌ．，Ａｎ ＩｍａｇｅＪ／Ｆｉｊｉ ｐｌｕｇｉｎ ｆｏｒ ｓｅｇｍｅｎｔｉｎ ａｎｄ ｑｕａｎｔｉｆｙｉｎｇ ｓｕｂ－ｓｅｌｌｕｌａｒ ｓｔｒｕｃｔｕｒｅｓ ｉｎ ｆｌｕｏｒｅｎｃｅ ｍｉｃｒｏｓｃｏｐｙ ｉｍａｇｅｓ［オンライン］，２０１３年６月１８日，ｐｐ．１－２６，インターネット：＜ＵＲＬ：ｈｔｔｐ：／／ｍｏｓａｉｃ．ｍｐｉ－ｃｂｇ．ｄｅ／Ｄｏｗｎｌｏａｄｓ／ＳｐｌｉｔＢｒｅｇｍａｎＳｅｇ．ｐｄｆ＞
【文献】Ｐ．Ａ．Ｆｌｅｔｃｈｅｒ ｅｔ ａｌ．， Ｍｕｌｔｉ－Ｉｍａｇｅ Ｃｏｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｉｔｓ Ｓｔａｔｉｓｔｉｃａｌ Ｓｉｇｎｉｆｉｃａｎｃｅ， Ｂｉｏｐｈｙｓｉｃａｌ Ｊｏｕｒｎａｌ， ｔｈｅ Ｂｉｏｌｏｇｉｃａｌ Ｓｏｃｉｅｔｙ，２０１０年９月２２日，Ｖｏｌｕｍｅ９９，Ｉｓｓｕｅ６，ｐｐ．１９９６－２００５
【文献】Ｔ．Ｃｈｅｎ ｅｔ ａｌ．， Ａｄａｐｔｉｖｅ ｓｐｅｃｔｒａｌ ｕｎｍｉｘｉｎｇ ｆｏｒ ｈｉｓｔｏｐａｔｈｏｌｏｇｙ ｆｏｒ ｆｌｕｏｒｅｓｃｅｎｔ ｉｍａｇｅｓ， Ｐｒｅｃｅｅｄｉｎｇｓ ｏｆ ２０１４ ＩＥＥＥ １１ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅｓ（ＩＳＢＩ），ＩＥＥＥ，２０１４年５月２日，ｐｐ．１２８７－１２９０
(58)【調査した分野】(Int.Cl.，ＤＢ名)
G06T 1/00 - 9/40 ,
G01N 33/48 - 33/98 ,
G01N 21/17 - 21/61 ,
C12M 1/00 - 3/10 ,
C12Q 1/00 - 3/00
(57)【特許請求の範囲】
【請求項1】
組織試料中の複数のマーカーを共発現解析するデジタル画像解析方法であって、複数の単一マーカーチャネル画像（１２４）にアクセスするステップであって、前記複数の単一マーカーチャネル画像がそれぞれ、組織試料中のそれぞれの単一マーカーの量とピクセル強度値が相関するデジタル画像である、ステップと、
前記単一マーカーチャネル画像それぞれに対してマーカー発現のヒートマップを計算するステップであって、前記ヒートマップを計算するステップが、ローパスフィルタを複数の単一マーカーチャネル画像それぞれに適用するステップを含む、ステップと、
マーカー発現の各ヒートマップにおける１つ又は複数の関心領域（ＲＯＩ）候補（１２６）を特定するステップであって、前記１つ又は複数のＲＯＩ候補を特定する前記ステップが、前記ヒートマップにおける最高位の局所ピクセル強度最大を特定し、特定された局所強度最大のそれぞれ１つの周りの前記ヒートマップの所定数の固定サイズのＮ×Ｎピクセルの部分領域を選択し、前記選択された部分領域を前記ヒートマップの前記ＲＯＩ候補として使用するため、局所極大フィルタをマーカー発現の各ヒートマップに適用するステップ（５２４）を含むものと、
マーカー発現の各ヒートマップから、前記特定された１つ又は複数のＲＯＩ候補を含むオーバーレイマスクを計算するステップであって、オーバーレイマスクが、前記オーバーレイマスクを導き出した前記ヒートマップの前記特定されたＲＯＩ候補のうち１つに属さない全てのピクセルをマスキングで除外する画像マスクである、ステップと、
前記オーバーレイマスクから１つ又は複数の共存ＲＯＩを特定するステップであって、
前記ヒートマップの２つ以上における前記ＲＯＩ候補の共通部分面積及び／又は合併面積を特定するステップと、
前記特定された共通部分面積又は合併面積を、前記２つ以上のヒートマップに逆マッピングするステップと、及び、
前記逆マッピングされた共通部分面積又は合併面積に対応する前記ＲＯＩ候補又はその一部を、前記１つ又は複数の共存ＲＯＩとするステップを含む、
前記１つ又は複数の共存ＲＯＩを特定するステップと、
を含む方法。
【請求項2】
前記１つ又は複数のＲＯＩ候補を特定する前記ステップが、マーカー発現の各ヒートマップに強度閾値を適用するステップ（５２１）を含む、請求項１に記載の方法。
【請求項3】
前記ヒートマップのいずれかにおける１つ又は複数の部分領域の前記ピクセル強度値が、前記強度閾値を下回る場合（５２３）、前記ヒートマップの前記部分領域がＲＯＩ候補に特定され、前記ＲＯＩ候補が、前記マーカーが発現しないか又は所与の発現閾値よりも発現が少ない前記組織試料中の領域に対応する、請求項２に記載の方法。
【請求項4】
前記ヒートマップのいずれかにおける１つ又は複数の部分領域の前記ピクセル強度値が、前記強度閾値を上回る場合（５２２）、前記ヒートマップの前記部分領域がＲＯＩ候補に特定され、前記ＲＯＩ候補が、前記マーカーが前記所与の発現閾値よりも強く発現する前記組織試料中の領域に対応する、請求項３に記載の方法。
【請求項5】
前記選択された所定数の最高位の局所強度最大それぞれの周りでＮ×Ｎセットのピクセルを有する視野（ＦＯＶ）を定め、前記定められたＮ×ＮセットのピクセルのＦＯＶを、前記ヒートマップの前記ＲＯＩ候補として使用される前記選択された部分領域として使用するステップ（５２６）を更に含む、請求項１から４のいずれか一項に記載の方法。
【請求項6】
共存ＲＯＩを決定する前記ステップが、異なるマーカーに対応する１つ又は複数の少なくとも部分的に重なり合うＲＯＩ候補と、マーカー発現のそれぞれのマーカー特異的なヒートマップとを特定するステップと、
前記特定された少なくとも部分的に重なり合うＲＯＩ候補の共通部分面積を特定するステップと、
前記異なるマーカー特異的なヒートマップの前記特定された少なくとも部分的に重なり合うＲＯＩの合併面積を特定するステップと、
前記特定された共通部分面積と前記特定された合併面積との比を計算するステップと、
前記計算された比が重なり閾値を超えるか否かを評価するステップと、
を含む、請求項１から５のいずれか一項に記載の方法。
【請求項7】
組織試料の多チャネル画像を、前記複数の単一マーカーチャネル画像それぞれへと分離するステップを更に含む、請求項１から６のいずれか一項に記載の方法。
【請求項8】
前記複数の単一マーカーチャネル画像が一連の連続した組織部分から導き出され、前記方法が、前記特定されたＲＯＩ候補それぞれを共通座標系に見当合わせするステップを更に含む、請求項１から７のいずれか一項に記載の方法。
【請求項9】
非組織領域がマスキングされるように、前記複数の単一マーカーチャネル画像を前処理するステップを更に含む、請求項１から８のいずれか一項に記載の方法。
【請求項10】
前記複数の単一マーカーチャネル画像の全てよりも少ない画像が、共存ＲＯＩを特定するために使用される、かつ／又は、ＧＵＩが、共存ＲＯＩを特定するために使用される前記単一マーカーチャネル画像をユーザが選択することを可能にする、請求項１から９のいずれか一項に記載の方法。
【請求項11】
前記複数の単一マーカーチャネル画像の少なくともいくつかにおける少なくとも１つの特定された共存関心領域内の細胞を計数するステップと、任意選択で、２つ以上の異なるマーカーチャネル画像の共存関心領域で計数された前記細胞を使用して免疫スコアを計算するステップとを更に含む、請求項１から１０のいずれか一項に記載の方法。
【請求項12】
組織試料中の複数のマーカーを共発現解析する電子画像解析システムであって、１つ又は複数のプロセッサと少なくとも１つのメモリとを備え、前記少なくとも１つのメモリが、前記１つ又は複数のプロセッサによって実行され前記１つ又は複数のプロセッサに、請求項１から１１のいずれか一項に記載の方法を行わせる非一時的コンピュータ可読命令を記憶する、システム。
【請求項13】
組織試料中の複数のマーカーを共発現解析するコンピュータシステムであって、１つ又は複数のプロセッサと少なくとも１つのメモリとを備え、前記少なくとも１つのメモリが非一時的コンピュータ可読命令を記憶し、当該非一時的コンピュータ可読命令が、前記１つ又は複数のプロセッサによって実行されることによって、前記１つ又は複数のプロセッサに、複数の単一マーカーチャネル画像それぞれに対してマーカー発現のヒートマップを計算させ、前記複数の単一マーカーチャネル画像がそれぞれ単一のマーカーを含み、
マーカー発現の各ヒートマップにおける１つ又は複数の関心領域（ＲＯＩ）候補を特定させ、前記１つ又は複数のＲＯＩ候補を特定させることが、前記ヒートマップにおける最高位の局所ピクセル強度最大を特定し、特定された局所強度最大のそれぞれ１つの周りの前記ヒートマップの所定数の固定サイズのＮ×Ｎピクセルの部分領域を選択し、前記選択された部分領域を前記ヒートマップの前記ＲＯＩ候補として使用するため、局所極大フィルタをマーカー発現の各ヒートマップに適用すること（５２４）を含み、
マーカー発現の各ヒートマップから、前記特定された１つ又は複数のＲＯＩ候補を含むオーバーレイマスクを計算させ、
前記オーバーレイマスクから、１つ又は複数の共存ＲＯＩを決定させ、
前記特定された１つ又は複数の共存ＲＯＩを前記複数の単一マーカーチャネル画像それぞれへと転送させる、
コンピュータシステム。
【請求項14】
前記ヒートマップが、前記複数の単一マーカーチャネル画像それぞれにローパスフィルタを適用することによって計算される、請求項１３に記載のコンピュータシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001]本出願は、２０１４年１２月３０日付けの米国仮特許出願第６２／０９８，０７５号の出願日の利益を主張し、その開示を参照により本明細書に組み込む。
[0001]本出願は、２０１４年１２月３０日付けの米国仮特許出願第６２／０９８，０７５号の出願日の利益を主張し、その開示を参照により本明細書に組み込む。
【背景技術】
【0002】
[0002]生体標本の解析では、標本は、染料又はアッセイの１つ又は複数の組み合わせで染色される場合が多く、染色された生体標本が検視されるか、又はその後の解析のために画像化される。アッセイの観察によって、疾患の診断、治療に対する反応の評価、及び疾患に対抗する新薬の開発など、様々なプロセスが可能になる。
【0003】
[0003]多重染色は、単一組織部分内にある複数の生物マーカーを検出するための技術であり、非常に効率が良く、また生成される診断情報が豊富であることから、益々一般的になってきている。免疫組織化学（ＩＨＣ）スライド染色は、組織部分の細胞中のタンパク質、タンパク質断片、又は核酸を特定するのに利用することができ、したがって、生体組織中のがん性細胞及び免疫細胞など、様々なタイプの細胞の研究で広く使用されている。免疫細胞の染色という面では、免疫学データは、腫瘍試料内の免疫細胞の種類、密度、及び場所を示し、このデータは、患者の生存率予測を決定する際に病理医にとって特に興味深い。したがって、ＩＨＣ染色は、免疫反応研究に関して、がん性組織中における免疫細胞（Ｔ細胞又はＢ細胞など）の異なるように発現した生物マーカーの分布及び局在を理解するのに、研究で使用されてもよい。例えば、腫瘍は免疫細胞の浸潤を含む場合が多く、そのことが、腫瘍の発達を妨げるか、又は腫瘍の増殖を助けることがある。これに関連して、複数染料が異なる種類の免疫細胞を標的にするために使用され、各種類の免疫細胞の集団分布は患者の治療成果の研究で使用される。
【0004】
[0004]一般的に、免疫スコア計算では、医療専門家は、一片の組織の染色を伴う多重アッセイか、又は隣接する連続した組織部分の染色を伴う単一アッセイを使用して、同じ組織ブロック内のマーカーを、例えば複数のタンパク質もしくは核酸などを、検出又は定量化する。利用可能な染色済みスライドを用いて、免疫学データ、例えば免疫細胞の種類、密度、及び場所を、腫瘍組織試料から推定することができる。
【0005】
[0005]免疫スコア計算の従来のワークフローでは、専門家読者は、最初のステップとして、顕微鏡下でスライドを検査すること、又はスキャン／デジタル化されているディスプレイ上のスライドの画像を読み取ることによって、代表的な視野（ＦＯＶ）又は関心領域（ＲＯＩ）を手動で選択する。組織スライドをスキャンすると、スキャンされた画像は独立した読者によって視認され、ＦＯＶ又はＲＯＩは、読者の個人的な好みに基づいて手動で印付けられる。ＦＯＶ又はＲＯＩを選択した後、病理医／読者は、選択されたＦＯＶ又はＲＯＩ内の免疫細胞を手動で計数する。異なる読者は異なるＦＯＶ又はＲＯＩを計数する選択をすることがあるので、ＦＯＶ又はＲＯＩの手動の選択及び計数は非常に主観的であり、読者によって偏る。したがって、免疫スコア研究は必ずしも再現可能ではない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示は、上記の課題を解決するものである。
【課題を解決するための手段】
【0007】
[0006]一態様では、本開示は、繊維試料中の複数のマーカー（又はマーカーと関連付けられた染料）を共発現解析するコンピュータ実装方法であって、方法は、複数の単一マーカーチャネル画像（ｓｉｎｇｌｅ ｍａｒｋｅｒ ｃｈａｎｎｅｌ ｉｍａｇｅｓ）それぞれに対してマーカー発現のヒートマップを計算するステップであって、複数の単一マーカーチャネル画像がそれぞれ単一のマーカーを含む、ステップと、マーカー発現の各ヒートマップにおける１つ又は複数の関心領域（ＲＯＩ）候補を特定するステップと、マーカー発現の各ヒートマップから、特定された１つ又は複数のＲＯＩ候補を含むオーバーレイマスクを計算するステップと、オーバーレイマスクから、１つ又は複数の共存ＲＯＩを決定するステップと、特定された１つ又は複数の共存ＲＯＩを複数の単一マーカーチャネル画像それぞれへと転送するステップとを含む。いくつかの実施形態では、１つ又は複数のＲＯＩ候補を特定するステップは、マーカー発現の各ヒートマップに閾値を適用するステップを含む。いくつかの実施形態では、特定された１つ又は複数のＲＯＩ候補は、適用された閾値よりも低い値を有し、陰性マーカー発現領域に対応する。いくつかの実施形態では、特定された１つ又は複数のＲＯＩ候補は、適用された閾値よりも高い値を有し、陽性マーカー発現領域に対応する。いくつかの実施形態では、１つ又は複数のＲＯＩ候補を特定するステップは、局所極大フィルタをマーカー発現の各ヒートマップに適用するステップと、所定数の最高位の局所極大を選択するステップとを含む。いくつかの実施形態では、方法は、選択された所定数の最高位の局所極大それぞれの周りで、Ｎ×Ｎピクセルを有する視野を定めるステップであって、Ｎ×ＮピクセルのＦＯＶが、特定された１つ又は複数のＲＯＩ候補として選択される、ステップを更に含む。
【0008】
[0007]いくつかの実施形態では、共存ＲＯＩを決定するステップは、異なるマーカーに対応する、１つ又は複数の少なくとも部分的に重なり合うＲＯＩ候補を特定するステップを含む。いくつかの実施形態では、１つ又は複数の少なくとも部分的に重なり合うＲＯＩ候補は、オーバーレイマスクを形態学的及び／又は論理的に処理することによって決定される。いくつかの実施形態では、方法は、１つ又は複数の少なくとも部分的に重なり合うＲＯＩ候補それぞれの共通部分面積が、重なり閾値と合致するか否かを評価するステップを更に含む。いくつかの実施形態では、共通部分面積が重なり閾値と合致するか否かを評価するステップは、共通部分面積と少なくとも部分的に重なり合うＲＯＩ候補の合併面積との比を計算するステップと、その比を重なり閾値と比較するステップとを含む。
【0009】
[0008]いくつかの実施形態では、マーカー発現のヒートマップを計算するステップは、ローパスフィルタを複数の単一マーカーチャネル画像それぞれに適用するステップを含む。いくつかの実施形態では、方法は、組織試料の多チャネル画像を、複数の単一マーカーチャネル画像それぞれへと分離する（ｕｎｍｉｘ）ステップを更に含む。いくつかの実施形態では、複数の単一マーカーチャネル画像は一連の連続した組織部分から導き出され、方法は、特定されたＲＯＩ候補それぞれを共通座標系又は共通座標フレームワークに見当合わせする（ｒｅｇｉｓｔｅｒ）ステップであって、共通座標系が単一マーカーチャネル画像のうち１つの座標系であることができるか、又は組織試料を一般的に保持するガラススライドに対して一般に定義される座標系であることができる、ステップを更に含む。いくつかの実施形態では、複数の単一マーカーチャネル画像はそれぞれ、非組織領域又は他の領域がマスキングされるように前処理される。いくつかの実施形態では、複数の単一マーカーチャネル画像の全てよりも少ない画像が、共存ＲＯＩを特定するために使用される。いくつかの実施形態では、方法は、複数の単一マーカーチャネル画像それぞれにおける少なくとも１つの特定された共存関心領域内の細胞を計数するステップを更に含む。
【0010】
[0009]本開示の別の態様は、組織試料中の複数のマーカーを共発現解析するコンピュータシステムであって、システムは、１つ又は複数のプロセッサと少なくとも１つのメモリとを備え、少なくとも１つのメモリは、１つ又は複数のプロセッサによって実行され１つ又は複数のプロセッサに、複数の単一マーカーチャネル画像それぞれに関してマーカー発現のヒートマップを計算させ、複数の単一マーカーチャネル画像がそれぞれ（単一の染料、もしくは単一の染料からの信号に対応する）単一のマーカーを含み、マーカー発現の各ヒートマップにおける１つ又は複数の関心領域候補を特定させ、マーカー発現の各ヒートマップから、特定された１つ又は複数のＲＯＩ候補を含むオーバーレイマスクを計算させ、オーバーレイマスクから、１つ又は複数の共存ＲＯＩを決定させ、特定された１つ又は複数の共存ＲＯＩを複数の単一マーカーチャネル画像それぞれへと転送させる非一時的コンピュータ可読命令を記憶する。いくつかの実施形態では、１つ又は複数のＲＯＩ候補は、閾値をマーカー発現の各ヒートマップに適用することによって特定される。いくつかの実施形態では、特定された１つ又は複数のＲＯＩ候補は、適用された閾値よりも低い値を有し、陰性マーカー発現領域に対応する。いくつかの実施形態では、特定された１つ又は複数のＲＯＩ候補は、適用された閾値よりも高い値を有し、陽性マーカー発現領域に対応する。いくつかの実施形態では、１つ又は複数のＲＯＩは、局所極大フィルタをマーカー発現の各ヒートマップに適用し、所定数の最高位の局所極大を選択することによって特定される。いくつかの実施形態では、Ｎ×Ｎピクセルを有する視野（ＦＯＶ）は、選択された所定数の最高位の局所極大それぞれの周りで定められ、Ｎ×ＮピクセルのＦＯＶは、特定された１つ又は複数のＲＯＩ候補として選択される。
【0011】
[0010]いくつかの実施形態では、共存ＲＯＩは、異なるマーカーに対応する、１つ又は複数の少なくとも部分的に重なり合うＲＯＩ候補を特定することによって決定される。いくつかの実施形態では、１つ又は複数の少なくとも部分的に重なり合うＲＯＩ候補は、オーバーレイマスクを形態学的及び／又は論理的に処理することによって決定される。いくつかの実施形態では、システムは、１つ又は複数の少なくとも部分的に重なり合うＲＯＩ候補それぞれの共通部分面積が、重なり閾値と合致するか否かを評価する命令を実行する。いくつかの実施形態では、共通部分面積が重なり閾値と合致するか否かの評価は、共通部分面積と少なくとも部分的に重なり合うＲＯＩ候補の合併面積との比を計算することと、計算された比を重なり閾値と比較することとを含む。
【0012】
[0011]いくつかの実施形態では、マーカー発現のヒートマップは、ローパスフィルタを複数の単一マーカーチャネル画像それぞれに適用することによって計算される。いくつかの実施形態では、複数の単一マーカーチャネル画像は、組織試料から導き出された多チャネル画像を分離することによって導き出される。いくつかの実施形態では、複数の単一マーカーチャネル画像は、一連の連続した組織部分から導き出され、特定されたＲＯＩ候補はそれぞれ、共通座標系又は共通座標フレームワークに見当合わせされる。いくつかの実施形態では、複数の単一マーカーチャネル画像は、非組織領域又は他の領域がマスキングされるように前処理される。いくつかの実施形態では、特定された共存ＲＯＩはマーカーの全てよりも少ないマーカーに対応する。いくつかの実施形態では、コンピュータシステムは、複数の単一マーカーチャネル画像それぞれにおける少なくとも１つの特定された共存関心領域中の細胞を計数する命令を更に実行する。
【0013】
[0012]本開示の別の態様は、組織試料中の複数のマーカーを共発現解析するコンピュータ実装方法であって、方法は、複数の単一マーカーチャネル画像それぞれに対してマーカー発現のヒートマップを計算するステップであって、複数の単一マーカーチャネル画像がそれぞれ単一のマーカーを含む、ステップと、マーカー発現の各ヒートマップにおける１つ又は複数の関心領域候補を特定するステップと、マーカー発現の各ヒートマップから、特定された１つ又は複数のＲＯＩ候補を含むオーバーレイマスクを計算するステップと、オーバーレイマスクから、１つ又は複数の共存ＲＯＩを決定するステップと、１つ又は複数の共存ＲＯＩを、複数の単一マーカーチャネル画像それぞれにおける同じ座標位置にマッピングするステップと、複数の単一マーカーチャネル画像それぞれの決定された１つ又は複数の共存ＲＯＩのうち少なくとも１つにおける細胞の数を推定するステップとを含む。いくつかの実施形態では、１つ又は複数のＲＯＩ候補を特定するステップは、閾値をマーカー発現の各ヒートマップに適用するステップを含む。いくつかの実施形態では、特定された１つ又は複数のＲＯＩ候補は、適用された閾値よりも低い値を有し、陰性マーカー発現領域に対応する。いくつかの実施形態では、１つ又は複数のＲＯＩ候補を特定するステップは、局所極大フィルタを各ヒートマップに適用するステップと、所定数の最高位の局所極大を選択するステップとを含む。
【0014】
[0013]いくつかの実施形態では、１つ又は複数の共存ＲＯＩを決定するステップは、オーバーレイマスクにおける特定された１つ又は複数のＲＯＩ候補を形態学的及び／又は論理的に処理するステップを含む。
【0015】
[0014]いくつかの実施形態では、形態学的及び／又は論理的に処理するステップは、互いに少なくとも部分的に重なり合う２つ以上の異なるマーカーに対応するＲＯＩ候補を特定する。いくつかの実施形態では、方法は、少なくとも部分的に重なり合うＲＯＩ候補の共通部分面積が重なり閾値と合致するか否かを評価するステップを更に含む。いくつかの実施形態では、共通部分面積が重なり閾値と合致するか否かを評価するステップは、共通部分面積と少なくとも部分的に重なり合うＲＯＩ候補の合併面積との比を計算するステップと、その比を重なり閾値と比較するステップとを含む。このように、いくつかの実施形態によれば、ＲＯＩ候補のうち２つ以上の共通部分面積は、単一マーカーチャネル画像それぞれにマッピングされ、それによって前記画像それぞれにおける共存ＲＯＩが特定される。いくつかの実施形態では、特定された１つ又は複数のＲＯＩ候補の少なくともいくつかは、固定のＮ×Ｎピクセルサイズを有する視野である。いくつかの実施形態では、複数の単一マーカーチャネル画像はそれぞれ、多重化組織試料からの単一画像を分離することによって導き出される。いくつかの実施形態では、複数の単一マーカーチャネル画像はそれぞれ、一連の連続した組織部分から導き出され、連続した組織部分はそれぞれ単一のマーカーで染色される。いくつかの実施形態では、方法は、特定されたＲＯＩ候補それぞれを共通座標系に見当合わせするステップを更に含む。いくつかの実施形態では、１つ又は複数の共存ＲＯＩは、陰性発現マーカーに対する制約を含む。いくつかの実施形態では、１つ又は複数の共存ＲＯＩは３つ以上のマーカーを共発現する。いくつかの実施形態では、複数の単一マーカーチャネル画像は、非組織領域がマスキングされるように前処理される。
【0016】
[0015]本開示の別の態様は、組織試料中の複数のマーカーを共発現解析するコンピュータシステムであって、コンピュータシステムは、１つ又は複数のプロセッサと少なくとも１つのメモリとを備え、少なくとも１つのメモリは、１つ又は複数のプロセッサによって実行され１つ又は複数のプロセッサに、複数の単一マーカーチャネル画像それぞれに対してマーカー発現のヒートマップを計算させ、複数の単一マーカーチャネル画像がそれぞれ単一のマーカーを含み、マーカー発現の各ヒートマップにおける１つ又は複数の関心領域候補を特定させ、マーカー発現の各ヒートマップから、特定された１つ又は複数のＲＯＩ候補を含むオーバーレイマスクを計算させ、オーバーレイマスクから、１つ又は複数の共存ＲＯＩを決定させ、１つ又は複数の共存ＲＯＩを、複数の単一マーカーチャネル画像それぞれにおける共通座標系の同じ位置にマッピングさせ、複数の単一マーカーチャネル画像それぞれの決定された１つ又は複数の共存ＲＯＩにおける少なくとも１つの細胞の数を推定させる非一時的コンピュータ可読命令を記憶する。いくつかの実施形態では、１つ又は複数の共存ＲＯＩは、オーバーレイマスクにおける特定された１つ又は複数のＲＯＩ候補を形態学的及び／又は論理的に処理することによって決定される。いくつかの実施形態では、１つ又は複数のＲＯＩ候補は、閾値を各ヒートマップに適用することによって特定される。いくつかの実施形態では、特定された１つ又は複数のＲＯＩ候補は、適用された閾値よりも低い値を有し、陰性マーカー発現領域に対応する。いくつかの実施形態では、１つ又は複数のＲＯＩ候補は、局所極大フィルタを各ヒートマップに適用し、所定数の最高位の局所極大を選択することによって特定される。いくつかの実施形態では、特定された１つ又は複数のＲＯＩ候補は共通座標系に見当合わせされる。
【0017】
[0016]本開示の別の態様は、組織試料中の複数のマーカーを共発現解析するコンピュータシステムであって、コンピュータシステムは、１つ又は複数のプロセッサ及び少なくとも１つのメモリを備え、少なくとも１つのメモリは、１つ又は複数のプロセッサによって実行され１つ又は複数のプロセッサに、（ｉ）ヒートマップ計算モジュールで、複数の単一マーカーチャネル画像それぞれに対してマーカー発現のヒートマップを生成する命令を実行させ、（ｉｉ）関心領域特定モジュールで、マーカー発現のヒートマップそれぞれにおける関心領域候補を特定する命令を実行させ、（ｉｉｉ）共存モジュールで、特定された関心領域候補に基づいて、共存関心領域を決定する命令を実行させる非一時的コンピュータ可読命令を記憶する。いくつかの実施形態では、決定された共存関心領域それぞれの位置を、複数の単一マーカーチャネル画像それぞれにマッピングする命令が提供される。いくつかの実施形態では、複数の単一マーカーチャネル画像それぞれにおける少なくとも１つの共存関心領域内の細胞を計数する命令が提供される。
【0018】
[0017]本開示の別の態様は、組織試料中の複数のマーカーを共発現解析するコンピュータ実装方法であって、方法は、複数の単一マーカーチャネル画像それぞれに対して組織領域マスク画像を生成するステップであって、複数の単一マーカーチャネル画像がそれぞれ単一のマーカーを含む、ステップと、各組織領域マスク画像に対してマーカー発現のヒートマップを計算するステップと、マーカー発現の各ヒートマップにおける１つ又は複数の関心領域（ＲＯＩ）候補を特定するステップと、マーカー発現の各ヒートマップから、特定された１つ又は複数のＲＯＩ候補を含むオーバーレイマスクを計算するステップと、オーバーレイマスクから、１つ又は複数の共存ＲＯＩを決定するステップと、１つ又は複数の共存ＲＯＩを複数の単一マーカーチャネル画像それぞれにマッピングするステップと、任意選択で、複数の単一マーカーチャネル画像それぞれの１つ又は複数の共存ＲＯＩそれぞれにおける細胞の数を計数するステップとを含む。
【0019】
[0018]本開示の別の態様では、組織試料中の複数のマーカーを共発現解析するコンピュータシステムは、１つ又は複数のプロセッサと少なくとも１つのメモリとを備え、少なくとも１つのメモリは、１つ又は複数のプロセッサによって実行され１つ又は複数のプロセッサに、複数の単一マーカーチャネル画像それぞれに対して組織領域マスク画像を生成させ、複数の単一マーカーチャネル画像はそれぞれ単一のマーカーを含み、各組織領域マスク画像に対してマーカー発現のヒートマップを計算させ、マーカー発現の各ヒートマップにおける１つ又は複数の関心領域候補を特定させ、マーカー発現の各ヒートマップから、特定された１つ又は複数のＲＯＩ候補を含むオーバーレイマスクを計算させ、オーバーレイマスクから、１つ又は複数の共存ＲＯＩを決定させ、１つ又は複数の共存ＲＯＩを複数の単一マーカーチャネル画像それぞれにマッピングさせ、任意選択で、複数の単一マーカーチャネル画像それぞれの１つ又は複数の共存ＲＯＩそれぞれにおける細胞の数を計数させる非一時的コンピュータ可読命令を記憶する。
【0020】
[0019]本発明の更に別の態様は、標本アナライザであって、標本アナライザは、１つ又は複数のプロセッサ及び少なくとも１つのメモリを備える、組織試料中の複数のマーカーを共発現解析するコンピュータシステムであって、少なくとも１つのメモリが、１つ又は複数のプロセッサによって実行され１つ又は複数のプロセッサに、複数の単一マーカーチャネル画像それぞれに対してマーカー発現のヒートマップを計算させ、複数の単一マーカーチャネル画像はそれぞれ単一のマーカーを含み、マーカー発現の各ヒートマップにおける１つ又は複数の関心領域候補を特定させ、マーカー発現の各ヒートマップから、特定された１つ又は複数のＲＯＩ候補を含むオーバーレイマスクを計算させ、オーバーレイマスクから、１つ又は複数の共存ＲＯＩを決定させ、特定された１つ又は複数の共存ＲＯＩを複数の単一マーカーチャネル画像それぞれへと転送させる非一時的コンピュータ可読命令を記憶する、コンピュータシステムと、画像獲得システムとを備える。
【0021】
[0020]出願人らは、複数のマーカーを共発現解析する、共存関心領域を特定するプロセスであって、従来技術の主観的方法よりも優れたプロセスを開発してきた。実際に、出願人らは、再現可能な客観的結果を有利に提供し、人間の主観によって影響されない、プロセスを開発してきた。出願人らは、開示の方法により、共発現解析及び／又は免疫スコア計算のための、より精密で効率的なワークフローが可能になると確信している。
【0022】
[0021]非限定的で非網羅的な実施形態について、以下の図面を参照して記載する。同じ参照番号は、特段の指定がない限り、様々な図面全体を通して、類似の部分又は作用を指す。
【図面の簡単な説明】
【0023】
【図1】[0022]図１Ａは、共発現解析用の組織試料のデジタル画像を処理するコンピュータシステムを示す図である。[0023]図１Ｂは、共発現解析用のデジタル画像の処理で使用されるモジュールを概説するフローチャートである。
【図2A】[0024]共存関心領域を特定する一実施形態を示す図である。
【図2B】[0025]共存関心領域を特定し、いくつかの実施形態では、それらの特定された共存関心領域内の細胞を計数する、本開示の１つの方法におけるステップを概説するフローチャートである。
【図3】[0026]組織領域マスクを生成するステップを説明する図である。
【図4】[0027]マーカー発現のヒートマップを生成するステップを概説するフローチャートである。
【図5A】[0028]関心領域候補を特定するステップを概説するフローチャートである。
【図5B】[0029]マーカー発現のヒートマップを示し、関心領域候補を示す図である。
【図6】[0030]マーカー発現のヒートマップを示し、Ｎ×Ｎピクセル面積としての関心領域候補を示し、Ｎ×Ｎピクセル面積が計算された局所極大を含む図である。
【図7】[0031]画像見当合わせの１つの方法に関するステップを概説するフローチャートである。
【図8】[0032]共存関心領域を決定するステップを概説するフローチャートである。
【図9A】[0033]２つの重畳されたオーバーレイマスクを示し、各オーバーレイマスクが１つの関心領域候補を示し、各オーバーレイマスクが１つのマーカーに対応する図である。
【図9B】[0034]第１及び第２のマーカーに対するオーバーレイマスクであって、それらのオーバーレイマスクの重畳が異なるマーカーからの重なり合う関心領域候補を示す、オーバーレイマスクと、可能な共存関心領域とを示す図である。
【図9C】[0035]第１及び第２のマーカーに対するオーバーレイマスクと、陰性発現マーカーの関心領域であって、それらのオーバーレイマスクの重畳が、陰性発現マーカーを含む異なるマーカーからの重なり合う関心領域候補を示す、関心領域と、可能な共存関心領域とを示す図である。
【図10】[0036]共存関心領域を決定し、それらの決定された共存関心領域を高解像度画像へと転送する、代替方法を概説するフローチャートである。
【図11】[0037]円が、ＣＤ３及びＦｏｘＰ３の両方が高発現を有する「ホットスポット」を表し、正方形が、ＣＤ８及びＦｏｘＰ３の両方が高発現を有する「ホットスポット」を表し、ＣＤ３、ＣＤ８、及びＦｏｘＰ３が、免疫細胞を特定し特性付けるマーカーの例である、異なるマーカーのいくつかの共存視野を示す図である。
【発明を実施するための形態】
【0024】
[0038]本開示は、多重アッセイにおいて共存関心領域（ＲＯＩ）を自動で特定するシステム及び方法を提供する。１つ又は複数の実施形態の詳細な説明を本明細書にて提供する。しかしながら、本開示によるシステム及び方法は、様々な形態で具体化されてもよいことが理解されるべきである。したがって、本明細書に開示する特定の詳細は、限定として解釈されるべきではなく、それよりもむしろ、特許請求の範囲に対する、また本発明のシステム及び方法を任意の適切な形で採用するように当業者に教示する、代表的な基盤として解釈されるべきである。
【0025】
[0039]本明細書に記載する、共発現解析のためのコンピュータシステム及びコンピュータ実装方法は、細胞画像又は生体標本画像（例えば、生検処置による組織標本）の任意のタイプの画像に適用可能であり、任意のタイプの細胞又は細胞群の種類、密度、及び場所を決定するのに有用である。
【0026】
[0040]「ｃｏｍｐｒｉｓｉｎｇ（備える、含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｈａｖｉｎｇ（有する）」などの用語は、交換可能に使用され、同じ意味を有する。同様に、「ｃｏｍｐｒｉｓｅｓ（備える、含む）」、「ｉｎｃｌｕｄｅｓ（含む）」、「ｈａｓ（有する）」などは、交換可能に使用され、同じ意味を有する。具体的には、これらの用語はそれぞれ、共通する米国特許法における「ｃｏｍｐｒｉｓｉｎｇ（備える、含む）」の定義と一致して定義され、したがって、「少なくとも以下のもの」を意味する非限定用語として解釈され、また、追加の特徴、限定、態様などを除外するものとは解釈されない。したがって、例えば、「構成要素ａ、ｂ、及びｃを有するデバイス」は、デバイスが、少なくとも構成要素ａ、ｂ、及びｃを含むことを意味する。同様に、「ステップａ、ｂ、及びｃを伴う方法」という語句は、方法が、少なくともステップａ、ｂ、及びｃを含むことを意味する。更に、ステップ及びプロセスは、本明細書では特定の順序で概説されることがあるが、当業者であれば、順序立ったステップ及びプロセスは変動してもよいことを認識するであろう。
【0027】
[0041]「マーカー」又は「生物マーカー」という用語は、本発明の文脈で使用するとき、核酸並びにポリペプチド分子を指す。したがって、マーカーは、ＲＮＡ（ｍＲＮＡ、ｈｎＲＮＡなど）、ＤＮＡ（ｃＤＮＡ、ゲノムＤＮＡなど）、タンパク質、ポリペプチド、プロテオグリカン、糖たんぱく質、及びこれらの分子それぞれの断片を含む。マーカーは、何らかの生物学的状況又は状態の測定可能なインジケータである。実施形態によれば、使用されたマーカーの１つ又は複数は、例えば、Ｂリンパ球、Ｔリンパ球、マクロファージ、又はＢリンパ球、Ｔリンパ球、マクロファージ、もしくは免疫系の他の細胞の特定の亜集団など、特定の種類の免疫細胞を示す生物マーカーである。
【0028】
[0042]「多チャネル画像」は、本明細書で理解されるとき、核及び組織構造などの異なる生物構造が、それぞれ光を減衰するか、蛍光を発するか、又は別の方法で、異なるスペクトル帯で検出可能であることにより、多チャネル画像のチャネルの１つを構成する、特定の蛍光色素、量子ドット、クロモゲンなどで同時に染色された、生物組織試料から得られるデジタル画像を包含する。
【0029】
[0043]「組織試料」は、本明細書で理解されるとき、解剖病理学のためにヒト又は動物の体から得られる、任意の生物試料である。例えば、組織試料は、胸部組織、肺組織、前立腺組織などから導き出されてもよく、腫瘍、腫瘍の疑いがあるもの、又は健康な組織から導き出される試料を含んでもよい。組織試料及び標本の他の例は、本明細書に開示されるそれらの組織標品である。
【0030】
[0044]「分離された画像」は、本明細書で理解されるとき、多チャネル画像の１つのチャネルに対して得られるグレー値又はスカラー画像を包含する。多チャネル画像を分離することによって、１チャネル当たり１つの分離された画像が得られる。一般的に、かかる分離された画像チャネルは、１つの生物マーカーの局在及び強度を表し、したがって、局所的な生物学的状況又は状態を表す。
【0031】
[0045]「マスク」又は「画像マスク」は、本明細書で使用するとき、マスクの各ピクセルが二値として、例えば、「１」もしくは「０」（又は「真」もしくは「偽」）として表される、デジタル画像の派生物である。デジタル画像を前記マスクと重ね合わせることによって、二値のうち特定の１つのマスクピクセルに対してマッピングされた、デジタル画像の全ピクセルが隠されるか、除去されるか、又は別の方法で、デジタル画像に対して適用される更なる処理ステップにおいて無視もしくはフィルタ除去される。例えば、マスクは、閾値を上回る強度値を有する元の画像の全ピクセルを真あるいは偽に割り当て、それによって、「偽」マスクピクセルが重ね合わされた全ピクセルをフィルタ除去するマスクを作成することによって、元のデジタル画像から生成することができる。
【0032】
[0046]本発明の実施形態による「視野」（ＦＯＶ）は、デジタル画像における隣接したピクセルのセットである。ＦＯＶは、例えば、マスキング、フィルタ処理、及び／又はオブジェクト検出など、何らかの画像解析タスクに選択的に使用されてもよい。実施形態によれば、画像の各ＦＯＶは、Ｎ×Ｎピクセルを有し、マーカー特異的な画像もしくはそのヒートマップの選択された所定数の最高位の局所極大のそれぞれ１つの周りで定められる。
【0033】
[0047]本発明の実施形態による「関心領域」候補又は「ＲＯＩ」候補は、例えば、１つ又は複数の共通する画像面積を特定する入力として使用される、デジタル画像又はそのヒートマップの隣接したピクセルのセットである。ＦＯＶは、一般的に、視認、獲得、又は表示される、コヒーレント画像領域である。したがって、必須ではないが多くの場合、円又は長方形である。関心領域は、一般的に、生物学的な状況又は状態によって定義される、組織のコヒーレント領域（デジタル画像のそれぞれの領域に対応）であり、その一例は、強い免疫反応がある腫瘍領域である。いくつかの実施形態によれば、Ｎ×ＮピクセルのＦＯＶが、特定された１つ又は複数のＲＯＩ候補として選択される。
【0034】
[0048]前記共通部分面積に対応するデジタル画像又はヒートマップの画像面積は、「ＲＯＩ」又は「共存領域」又は「共存ＲＯＩ」と呼ばれる。
[0049]「座標系」は、本明細書で使用するとき、ユークリッド空間での点又は他の幾何学要素、例えばピクセルの位置を一意に決定する１つ又は複数の数、即ち座標を使用する系である。実施形態によれば、複数の画像の共通座標系は画像見当合わせプロセスによって生成される。それにより、２つ以上の画像又はヒートマップのピクセルは、共通座標系の座標に対して位置合わせされる。位置合わせは、例えば、組織試料の特定の参照要素から導き出されたピクセルが、互いに対してマッピングされ、互いに重なり合うようにして行われてもよい。
[0049]「座標系」は、本明細書で使用するとき、ユークリッド空間での点又は他の幾何学要素、例えばピクセルの位置を一意に決定する１つ又は複数の数、即ち座標を使用する系である。実施形態によれば、複数の画像の共通座標系は画像見当合わせプロセスによって生成される。それにより、２つ以上の画像又はヒートマップのピクセルは、共通座標系の座標に対して位置合わせされる。位置合わせは、例えば、組織試料の特定の参照要素から導き出されたピクセルが、互いに対してマッピングされ、互いに重なり合うようにして行われてもよい。
【0035】
[0050]「ヒートマップ」は、本明細書で使用するとき、個々のピクセル値が色として表現される、データの図式的表現、例えばデジタル画像である。「マーカー発現のヒートマップ」は、例えば、マーカー発現の程度及びそれに対応するマーカー特異的な染料の密度が色符号化される、ヒートマップである。
【0036】
[0051]「免疫スコア」は、本明細書で使用するとき、例えば腫瘍進行に関する予後因子として使用することができる、スコア値である。免疫スコアは、腫瘍に対する生物の免疫反応の様々な特徴を示してもよい。例えば、免疫スコアは、腫瘍又は腫瘍細胞クラスタ内もしくはその周囲における、特定のタイプの免疫細胞の数、種類、及び／又は場所に依存することがある。
【0037】
[0052]共発現を解析するコンピュータベースのデバイスが、図１に示されている。当業者であれば、他のコンピュータデバイス又はシステムが利用されてもよく、本明細書に記載するコンピュータシステムは、追加構成要素、例えばアナライザ、スキャナもしくは撮像システム、自動スライド標品作成機器などに、通信可能に連結されてもよいことを理解するであろう。これらの追加構成要素の一部、及び利用されてもよい様々なコンピュータを、本明細書に更に記載する。
【0038】
[0053]概して、撮像装置１２は、非限定的に、１つ又は複数の画像キャプチャデバイスを含むことができる。画像キャプチャデバイスとしては、非限定的に、カメラ（例えば、アナログカメラ、デジタルカメラなど）、光学部品（例えば、１つ又は複数のレンズ、センサ焦点レンズ群、顕微鏡対物レンズなど）、撮像センサ（例えば、電荷結合素子（ＣＣＤ）、相補形金属酸化膜半導体（ＣＭＯＳ）画像センサなど）、写真フィルムなどを挙げることができる。デジタルの実施形態では、画像キャプチャデバイスは、協働してオン・ザ・フライ・フォーカシングを検査する、複数のレンズを含むことができる。画像センサ、例えばＣＣＤセンサは、標本のデジタル画像を捕捉することができる。いくつかの実施形態では、撮像装置１２は、明視野撮像システム、多スペクトル撮像（ＭＳＩ）システム、又は蛍光顕微鏡システムである。撮像システムについて、本明細書に更に記載する。
【0039】
[0054]コンピュータデバイスシステム１４は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットなど、デジタル電子回路類、ファームウェア、ハードウェア、メモリ、コンピュータ記憶媒体、コンピュータプログラム、プロセッサ（プログラムドプロセッサを含む）、及び／又はその他のものを含むことができる。図１の図示されるコンピューティングシステム１４は、画面又は表示デバイス１６と、タワー１８とを備えたコンピュータである。タワー１８は、デジタル画像をバイナリ形式で記憶することができる。画像はまた、ピクセルの行列に分割することができる。ピクセルは、ビット深さによって定義される１つ又は複数のビットのデジタル値を含むことができる。ネットワーク２０又は直接接続は、撮像装置１２及びコンピュータシステム１４を相互接続する。ネットワーク２０は、非限定的に、１つ又は複数のゲートウェイ、ルータ、ブリッジ、それらの組み合わせなどを含んでもよい。ネットワーク２０は、ユーザがアクセス可能であり、コンピュータシステム１４が利用できる情報を送受信するために使用することができる、１つ又は複数のサーバ及び１つ又は複数のウェブサイトを含んでもよい。サーバは、非限定的に、情報（例えば、デジタル画像、アルゴリズム、染色プロトコル、比較評価のためのカットオフ値など）を記憶する１つ又は複数の関連付けられたデータベースを含んでもよい。ネットワーク２０は、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、インターネットプロトコル（ＩＰ）、及び他のデータプロトコルを使用するデータネットワークを含むことができるが、それらに限定されない。いくつかの実施形態では、コンピュータデバイス又はシステムは、ユーザ、オペレータ、又は下流の機器もしくはプロセスにデータ／出力を提供する、表示出力又は他の手段を更に備える。
【0040】
[0055]図１Ｂを参照すると、コンピュータデバイスもしくはシステム１１４（又はコンピュータ実装方法）は、１つ又は複数のプロセッサと少なくとも１つのメモリとを備え、少なくとも１つのメモリは、１つ又は複数のプロセッサによって実行される非一時的コンピュータ可読命令を記憶して、１つ又は複数のプロセッサに命令を実行させて、入力画像１１０を受信し、（マーカー発現のヒートマップを生成する）ヒートマップ計算モジュール１１１を稼働し、（１つ又は複数のＲＯＩ候補を特定する）ＲＯＩ特定モジュール１１２を稼働し、（１つ又は複数の共存ＲＯＩを特定する）共存モジュール１１３を稼働し、（複数の単一マーカーチャネル画像の少なくともいくつかにおいて少なくとも１つの共存ＲＯＩで各マーカーを発現する細胞の推定値を返す）細胞計数モジュール１１４を稼働する。これらのモジュールそれぞれについて、本明細書に更に詳細に記載する。追加のモジュール、例えば分離モジュール、組織領域マスキングモジュール、及び画像見当合わせモジュールが、いくつかの実施形態ではワークフローに組み込まれてもよい。当業者であれば、各モジュール内で使用するように記載される命令、アルゴリズム、及びフィルタのいずれかが、検出されるマーカーに基づいて適合又は変更されてもよいことを認識するであろう。
【0041】
[0056]図２Ａは、共発現解析の方法の概要を提供する。図２Ａでは、変数「Ｎ」は、組織試料に適用されるマーカーの数を表す。多重スライド１２１の場合、本明細書に記載の方法などによって、分離１２２が行われ、各マーカーに関する画像１２３（即ち、複数の単一マーカーチャネル画像）が得られる。別の方法では、複数の単一マーカーチャネル画像１２４（連続した組織部分から導き出される）は、入力として利用される。いずれの場合も、マーカー発現のヒートマップが複数の単一マーカーチャネル画像それぞれに対して生成され、各マーカーに対する１つ又は複数のＲＯＩ候補は、マーカー発現のヒートマップを評価することによって特定されてもよい。次に、共存モジュール１２７を使用して、様々な選択されたマーカーを共発現するそれらの共存ＲＯＩ １２８が決定され、本明細書に記載するように、共存ＲＯＩ １２８は、コンピュータシステム又は訓練を受けた医療専門家による更に下流の処理（例えば、細胞の計数）のため、複数の単一マーカーチャネル画像へと転送して返されて（例えば、逆マッピングされて）もよい。
【0042】
[0057]図２Ｂは、複数の単一マーカーチャネル画像における共存関心領域を決定するステップを概説するフローチャートを提供する。いくつかの実施形態では、方法は、分離された多重スライド（「多重スライド」）から、又は連続した組織部分から導き出された単一の染色スライド（「単一スライド」）から、複数の単一マーカーチャネル画像それぞれを読み取るステップ（ステップ２２０）で始まる。いくつかの実施形態では、組織領域マスキングモジュールは、複数の単一マーカーチャネル画像の一部（非組織領域に対応する部分など）をマスキングするために使用されてもよい。このように、画像マスクを生成し、単一マーカー画像の１つ又は複数にマスクを適用することによって、例えば染色のアーチファクトもしくはノイズにより、対象ではない領域又は低品質データを含むことが疑われる領域を、マスキングして除外し、更なる処理ステップから排除することができる。次に、マーカー発現のヒートマップは、ローパスフィルタを複数の単一マーカーチャネル画像それぞれに（又はそのマスキングされていない部分に）適用することによって、複数の単一マーカーチャネル画像それぞれに対応して生成されてもよい（ステップ２２１）。
【0043】
[0058]ローパスフィルタは、例えば、単一マーカーチャネル画像を平滑化するフィルタであり、それによって各ピクセル値を、各ピクセル周りの局所的な近傍におけるピクセル値を平均化するか又は別の方法で代表するピクセル値と置き換える。ローパスフィルタを使用して、ヒートマップに存在する生物マーカーの１つ又は複数の全体的極値（ｇｌｏｂａｌ ｅｘｔｒｅｍａ）を決定することができる。同様に、帯域フィルタを使用して、ヒートマップに存在する生物マーカーの１つ又は複数の局所的極値を決定することができ、局所極小又は極大はそれぞれ、それらの近傍にある領域よりも生物マーカーが多く又は少なく存在する領域を特定する。
【0044】
[0059]続いて、ＲＯＩ候補は、（ｉ）閾値をマーカー発現のヒートマップに適用するか、又は（ｉｉ）局所極大フィルタをマーカー発現のヒートマップに適用し、所定数の最高位の局所極大を選択することによって、特定されてもよい（ステップ２２２）。例えば、各ヒートマップ（それぞれのマーカー画像から導き出されたもの）におけるピクセルの強度は、組織試料中のそれぞれの点におけるマーカー発現の強度と相関し、それを示してもよい。閾値の適用は、例えば、それぞれのマーカー画像の各ヒートマップにおける各ピクセルの強度値を、ピクセル強度閾値と比較することを含んでもよい。ピクセル強度閾値は、マーカー特異的及び／又はアッセイ特異的であってもよい。閾値は、例えば、特定の既知のタイプの免疫細胞を含む試料における発現レベルと、それに対応する染色及びピクセル強度とを解析することによって、経験的に決定されてもよい。
【0045】
[0060]複数の単一マーカーチャネル画像が一連の連続した組織部分から導き出される実施形態では、特定されたＲＯＩ候補は、オーバーレイマスクの生成（ステップ２２３）の前又は後に、共通座標系に見当合わせされる（ステップ２２４）。ＲＯＩ候補の特定に続いて、オーバーレイマスクがマーカー発現の各ヒートマップに対して計算されるが（ステップ２２３）、各オーバーレイマスクは、マーカー発現のヒートマップのうち１つに対応し、マーカー発現のヒートマップから特定された１つ又は複数のＲＯＩ候補を含む。オーバーレイマスクは互いに重畳され、１つ又は複数の共存ＲＯＩが特定される（ステップ２２５）。共存ＲＯＩは、例えば、ＲＯＩ候補それぞれの共通部分面積として決定することができ、共通部分面積は、オーバーレイマスク又はそれぞれのマーカー特異的なヒートマップそれぞれに対して逆マッピングされる。次に、計算された共存関心領域の位置が、複数の単一マーカーチャネル画像それぞれへと転送されて返される（ステップ２２６）。いくつかの実施形態では、次に、マーカーのそれぞれを発現する細胞が、単一マーカーチャネル画像の少なくともいくつかにおける共存ＲＯＩの少なくともいくつかで、計数又は推定される（ステップ２２７）。
【0046】
[0061]図２Ａ及び２Ｂで特定したモジュール及びステップそれぞれについて、本明細書で更に詳細に記載する。
[0062]入力画像
[0063]最初のステップとして、コンピュータシステムは、複数の単一マーカーチャネル画像を入力として受信するが（ステップ２２０）、提供される複数の単一マーカーチャネル画像はそれぞれ、単一マーカーに対応する信号（例えば、クロモゲン、蛍光体、量子ドットなどを含む、染料又はタグからの信号）を含む。いくつかの実施形態では、複数の単一マーカーチャネル画像は、非組織領域がマスキングされるように、即ち組織領域のみが示されるように前処理される。入力として受信した（ステップ２２０）複数の単一マーカーチャネルは、複数の単一マーカーチャネル画像それぞれに対してマーカー発現のヒートマップが生成されるように（ステップ２２１）、ヒートマップ計算モジュール１１１に提供される。
[0062]入力画像
[0063]最初のステップとして、コンピュータシステムは、複数の単一マーカーチャネル画像を入力として受信するが（ステップ２２０）、提供される複数の単一マーカーチャネル画像はそれぞれ、単一マーカーに対応する信号（例えば、クロモゲン、蛍光体、量子ドットなどを含む、染料又はタグからの信号）を含む。いくつかの実施形態では、複数の単一マーカーチャネル画像は、非組織領域がマスキングされるように、即ち組織領域のみが示されるように前処理される。入力として受信した（ステップ２２０）複数の単一マーカーチャネルは、複数の単一マーカーチャネル画像それぞれに対してマーカー発現のヒートマップが生成されるように（ステップ２２１）、ヒートマップ計算モジュール１１１に提供される。
【0047】
[0064]複数の単一マーカーチャネル画像は、（ｉ）２つ以上のマーカーで染色された、多重アッセイからの組織試料の多チャネル画像（「多重画像」）、（ｉｉ）一連の画像における各画像が単一のマーカーで染色された、連続した組織部分から得た一連の画像（「単一画像」）、又は（ｉｉｉ）多重画像と単一画像の組み合わせを含めて、いくつかのソースから導き出されてもよい。単一画像とは異なり、多重画像は、複数の単一マーカーチャネル画像へと分離しなければならない。しかしながら、いくつかの実施形態では、各画像のマーカーに対応する信号を対比染色に対応する信号から分離するように、単一画像もそれぞれ分離されてもよい。
【0048】
[0065]分離の方法は、当業者には周知であり、現在知られている、又は今後発見される任意の方法が、多重画像を複数の単一マーカーチャネル画像へと「分離」するために使用されてもよい。概して、分離プロセスは、標準的なタイプの組織と染料の組み合わせに対して周知である参照スペクトルを使用して、染料特異的なチャネルを抽出して、個々の染料の局所的濃度を決定する。それぞれの単一マーカーチャネル画像のピクセル強度は、組織試料中の対応する場所において前記マーカーに特異的に結合する染料の量と相関する。結合染料の量は前記マーカーの量とも相関し、したがって、前記組織部分の場所における前記マーカーの発現レベルと相関する。「分離」及び「カラーデコンボリューション（ｃｏｌｏｒ ｄｅｃｏｎｖｏｌｕｔｉｏｎ）」（もしくは「デコンボリューション」）又はその他（例えば、「デコンボリューションする」、「分離された」）の用語は、交換可能に使用される。
【0049】
[0066]いくつかの実施形態では、多重画像は、線形的分離を使用して分離される。
線形的分離は、例えば、「Ｚｉｍｍｅｒｍａｎｎ、「Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｌｉｎｅａｒ Ｕｎｍｉｘｉｎｇ ｉｎ Ｌｉｇｈｔ Ｍｉｃｒｏｓｃｏｐｙ（光学顕微鏡でのスペクトル撮像及び線形分離）」、Ａｄｖ Ｂｉｏｃｈｅｍ Ｅｎｇｉｎ／Ｂｉｏｔｅｃｈｎｏｌ （２００５） ９５：２４５－２６５」に記載されており、その開示の全体を参照により本明細書に組み込む。線形的分離では、ピクセルは、測定されたスペクトル（Ｓ（λ））が個々の蛍光体又は明視野クロモゲン参照スペクトル（Ｒ（λ））それぞれの比率もしくは重量（Ａ）に等しいとき、線形的に混合されるものとして分類される。
線形的分離は、例えば、「Ｚｉｍｍｅｒｍａｎｎ、「Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｌｉｎｅａｒ Ｕｎｍｉｘｉｎｇ ｉｎ Ｌｉｇｈｔ Ｍｉｃｒｏｓｃｏｐｙ（光学顕微鏡でのスペクトル撮像及び線形分離）」、Ａｄｖ Ｂｉｏｃｈｅｍ Ｅｎｇｉｎ／Ｂｉｏｔｅｃｈｎｏｌ （２００５） ９５：２４５－２６５」に記載されており、その開示の全体を参照により本明細書に組み込む。線形的分離では、ピクセルは、測定されたスペクトル（Ｓ（λ））が個々の蛍光体又は明視野クロモゲン参照スペクトル（Ｒ（λ））それぞれの比率もしくは重量（Ａ）に等しいとき、線形的に混合されるものとして分類される。
【0050】
[0067]Ｓ（λ）＝Ａ１・Ｒ１（λ）＋Ａ２・Ｒ２（λ）＋Ａ３・Ｒ３（λ）・・・Ａｉ・Ｒｉ（λ）
[0068]これを次式のようにより一般化して表すことができる。
[0068]これを次式のようにより一般化して表すことができる。
【0051】
[0069]Ｓ（λ）＝ΣＡｉ・Ｒｉ（λ）又はＳ＝Ａ・Ｒ
[0070]これらの式では、各ピクセルの信号（Ｓ）は多重画像を獲得している間に測定され、また既知の染料に対する参照スペクトルは、通常、同一の機器設定を使用して、単一の信号のみで標識付けされた標本において独立して決定される。それにより、測定されたスペクトルの各点に対する寄与を計算することによって、様々な染料の寄与（Ａｉ）を決定する、単純な線形代数行列問題となる。いくつかの実施形態では、解は、次の一連の微分方程式を適用することによって、測定されたスペクトルと計算されたスペクトルとの間の二乗差を最小限にする、逆最小二乗法を使用して得られる。
[0070]これらの式では、各ピクセルの信号（Ｓ）は多重画像を獲得している間に測定され、また既知の染料に対する参照スペクトルは、通常、同一の機器設定を使用して、単一の信号のみで標識付けされた標本において独立して決定される。それにより、測定されたスペクトルの各点に対する寄与を計算することによって、様々な染料の寄与（Ａｉ）を決定する、単純な線形代数行列問題となる。いくつかの実施形態では、解は、次の一連の微分方程式を適用することによって、測定されたスペクトルと計算されたスペクトルとの間の二乗差を最小限にする、逆最小二乗法を使用して得られる。
【0052】
[0071]［δΣｊ｛Ｓ（λｊ）－Σｉ Ａｉ・Ｒｉ（λｊ）｝２］／δＡｉ＝０
[0072]この式において、ｊは、検出チャネルの数を表し、ｉは染料の数に等しい。一次方程式解は、多くの場合、制約された分離が、サム・トゥ・ユニティ（ｓｕｍ ｔｏ ｕｎｉｔｙ）に対する重み（Ａ）によって、データの閾値化を用いてピクセルを区分できるようにすることを伴う。
[0072]この式において、ｊは、検出チャネルの数を表し、ｉは染料の数に等しい。一次方程式解は、多くの場合、制約された分離が、サム・トゥ・ユニティ（ｓｕｍ ｔｏ ｕｎｉｔｙ）に対する重み（Ａ）によって、データの閾値化を用いてピクセルを区分できるようにすることを伴う。
【0053】
[0073]他の実施形態では、分離は、２０１４年５月２８日出願のＷＯ２０１４／１９５１９３、発明の名称「Ｉｍａｇｅ Ａｄａｐｔｉｖｅ Ｐｈｙｓｉｏｌｏｇｉｃａｌｌｙ Ｐｌａｕｓｉｂｌｅ Ｃｏｌｏｒ Ｓｅｐａｒａｔｉｏｎ（生理学的に妥当な画像適応色分離）」に記載されている方法を使用して実施され、その開示の全体を参照により本明細書に組み込む。概して、ＷＯ２０１４／１９５１９３は、反復して最適化される参照ベクトルを使用して入力画像の成分信号を分離することによる、分離の方法を記載している。いくつかの実施形態では、アッセイからの画像データは、アッセイの特性に対して特異的な予測される結果又は理想的な結果と相関されて、品質メトリックが決定される。理想的な結果に対して画像が低品質であるか、又は相関の程度が低い場合、１つ又は複数の参照ベクトルが調節され、生理学的及び解剖学的要件と一致する良好な品質の画像が相関によって示されるまで、調節された参照ベクトルを使用して、分離が反復して繰り返される。解剖学的情報、生理学的情報、及びアッセイ情報は、品質メトリックを決定するのに測定された画像データに適用される、規則を定義するために使用されてもよい。この情報としては、組織がどのように染色されたか、組織内のどの構造を染色すること／染色しないことが意図されたか、並びに処理されているアッセイに特異的な構造間、染料間、及びマーカー間の関係が挙げられる。反復プロセスは染料に特異的なベクトルをもたらし、これによって、対象の構造及び生物学的に関連する情報を正確に特定する画像であって、ノイズがあるかもしくは望ましくないスペクトルを何ら含まず、したがって解析に適している、画像を生成することができる。参照ベクトルは探索空間内にあるように調節される。探索空間は、参照ベクトルが染料を表すのに取ることができる値の範囲を定義する。探索空間は、既知の又は一般的に発生する問題を含む、様々な代表的なトレーニングアッセイをスキャンし、トレーニングアッセイのための高品質な一連の参照ベクトルを決定することによって、決定されてもよい。
【0054】
[0074]他の実施形態では、分離は、２０１５年２月２３日出願のＷＯ２０１５／１２４７７２、発明の名称「Ｇｒｏｕｐ Ｓｐａｒｓｉｔｙ Ｍｏｄｅｌ ｆｏｒ Ｉｍａｇｅ Ｕｎｍｉｘｉｎｇ（画像分離のためのグループスパース性）」に記載されている方法を使用して実施され、その開示の全体を参照により本明細書に組み込む。概して、ＷＯ２０１５／１２４７７２は、複数のコロケーションマーカーによる染色の寄与の画分が「同じグループ」内でモデル化され、複数の非コロケーションマーカーによる染色の寄与の画分が異なるグループ内でモデル化されて、複数のコロケーションマーカーの共存情報をモデル化されたグループスパース性の枠組みに提供し、モデル化された枠組みにグループラッソ（ｇｒｏｕｐ ｌａｓｓｏ）を使用して解を与えて、各グループ内でコロケーションマーカーの分離に対応する最小二乗解をもたらし、非コロケーションマーカーの分離に対応するグループ間でのスパース解をもたらす、グループスパース性の枠組みを使用した分離について記載している。更に、ＷＯ２０１５／１２４７７２は、生物組織試料から得られた画像データを入力し、複数の染料のそれぞれ１つの染料色を説明する参照データを電子メモリから読み取り、コロケーションデータが染料群を説明するものであり、各群が生物組織試料中で配列することができる染料を含み、各群がグループラッソ基準に対して群を形成し、群の少なくとも１つが２以上のサイズを有する、コロケーションデータを電子メモリから読み取り、参照データを参照行列として使用して、分離画像を得るためにグループラッソ基準の解を計算することによる、分離の方法について記載している。いくつかの実施形態では、画像を分離する方法は、共存マーカーによる染色寄与の画分が単一グループ内で割り当てられ、非共存マーカーによる染色寄与の画分が別個のグループ内で割り当てられる、グループスパース性モデルを生成することと、分離アルゴリズムを使用してグループスパース性モデルに解を与えて、各グループ内の最小二乗解をもたらすこととを含んでもよい。
【0055】
[0075]いくつかの実施形態では、複数の単一マーカーチャネル画像は、組織領域のみが画像内に存在するようにマスキングされる。これらのマスクされた画像を生成するため、多重画像、分離された多重画像、又は一連の単一画像（それらのうちいずれも、全スライド又はその一部分のものであってもよい）が、組織領域マスキングモジュールに提供される。いくつかの実施形態では、非組織領域を組織領域からマスキングする組織領域マスクが生成される。当業者であれば、非組織領域を組織領域からマスキングすることに加えて、組織マスキングモジュールは、特定の組織タイプに属するもの、又は腫瘍が疑われる領域に属するものと特定された組織の一部分など、必要に応じて他の対象面積もマスキングしてもよいことを理解するであろう。
【0056】
[0076]例えば、腫瘍領域は、ヘマトキシリン・エオジン（Ｈ＆Ｅ）で染色されたスライドから、又はＩＨＣマーカーで染色されたスライドから定義して、腫瘍細胞を特定することができ、腫瘍は、画像見当合わせを介して他のマーカースライドへと移行させることができる（以下を参照）。腫瘍領域の周囲は、組織領域内で腫瘍面積をｘミリメートル拡大することによって定義することができる。複数のマーカーの共存解析は、このように、腫瘍領域内、腫瘍の周囲、又は組織試料の残りの部分で行うことができる。
【0057】
[0077]いくつかの実施形態によれば、組織マスキングは、マーカー発現のヒートマップを生成した後に行われる。いくつかの実施形態によれば、初期段階で、例えばヒートマップが生成される前に、それぞれのチャネル画像に対して組織マスキングが行われる（即ち、マスクが適用される）。これには、解析に必要な組織が少なくなり、したがって、解析結果がより短時間で利用可能になるという利点があることがある。
【0058】
[0078]いくつかの実施形態では、セグメント化技術を使用して、複数の単一マーカーチャネル画像において組織領域を非組織領域からマスキングすることによって、組織領域マスク画像が生成される。適切なセグメント化技術は、従来技術によって知られているようなものである（Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｔｈｉｒｄ Ｅｄｉｔｉｏｎ， Ｒａｆａｅｌ Ｃ． Ｇｏｎｚａｌｅｚ， Ｒｉｃｈａｒｄ Ｅ． Ｗｏｏｄｓ， ｃｈａｐｔｅｒ １０， ｐａｇｅ ６８９、及びＨａｎｄｂｏｏｋ ｏｆ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ， Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ａｎａｌｙｓｉｓ， Ｉｓａａｃ Ｎ． Ｂａｎｋｍａｎ Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ， ２０００， ｃｈａｐｔｅｒ ２を参照）。
【0059】
[0079]図３を参照すると、いくつかの実施形態では、組織領域マスク画像の生成は、低解像度入力単一マーカーチャネル画像（３３６）の輝度（３３７）を計算すること、単一マーカーチャネル画像から輝度画像（３３８）を作成すること、標準偏差フィルタを作成された輝度画像（３３９）に適用すること、作成された輝度画像からフィルタ処理された輝度画像（３４０）を計算すること、及び、所与の閾値を上回る輝度を有するピクセルが１に設定され、閾値を下回るピクセルが０に設定されるように、フィルタ処理された輝度画像（３４１）に閾値を適用し、組織領域マスク（３４２）を作成することといった、非限定的な動作の１つ又は複数を含む。組織領域マスクの生成に関する更なる情報及び例は、ＰＣＴ／ＥＰ／２０１５／０６２０１５（ＷＯ／２０１５／１８１３７１）、発明の名称「Ａｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ａｎａｌｙｚｉｎｇ Ａ Ｍｕｌｔｉ－Ｃｈａｎｎｅｌ Ｉｍａｇｅ Ｏｂｔａｉｎｅｄ Ｆｒｏｍ ａ Ｂｉｏｌｏｇｉｃａｌ Ｔｉｓｓｕｅ Ｓａｍｐｌｅ Ｂｅｉｎｇ Ｓｔａｉｎｅｄ Ｂｙ Ｍｕｌｔｉｐｌｅ Ｓｔａｉｎｓ（複数の染料によって染色される生物組織試料から得られる多チャネル画像を解析するための画像処理方法及びシステム）」に開示されており、その開示の全体を参照により本明細書に組み込む。
【0060】
[0080]マーカー発現のヒートマップ生成モジュール
[0081]複数の単一マーカーチャネル画像が入力として受信された後（ステップ２２０）、ヒートマップ生成モジュール１１１を使用して、複数の単一マーカーチャネル画像それぞれに対してマーカー発現のヒートマップが生成される（ステップ２２１）。生成されたマーカー発現のヒートマップから、マーカー発現のヒートマップ内の「ホットスポット」、即ちマーカーの密度又は濃度が高い領域を見つけることなどによって、１つ又は複数の関心領域候補が各マーカーに対して特定されてもよい（ステップ２２２）。
[0081]複数の単一マーカーチャネル画像が入力として受信された後（ステップ２２０）、ヒートマップ生成モジュール１１１を使用して、複数の単一マーカーチャネル画像それぞれに対してマーカー発現のヒートマップが生成される（ステップ２２１）。生成されたマーカー発現のヒートマップから、マーカー発現のヒートマップ内の「ホットスポット」、即ちマーカーの密度又は濃度が高い領域を見つけることなどによって、１つ又は複数の関心領域候補が各マーカーに対して特定されてもよい（ステップ２２２）。
【0061】
[0082]概して、マーカー発現のヒートマップは、組織領域マスク画像内における様々な構造又はマーカーの密度もしくは濃度を定める。より具体的には、マーカー発現のヒートマップは、ピクセルのそれぞれの強度値にしたがってピクセルを例示し、したがって、各画像におけるマーカー発現（例えば、特定のマーカー特異的な色素で染色された細胞）の密度又は量に対応する。単一チャネルマーカー画像からヒートマップを生成する、異なる方法が知られている。一例では、ヒートマップのピクセル値は、局所細胞密度を、即ち、各ピクセルの周りの範囲にある生物マーカーに対して陽性である細胞の数を表す。別の例では、ヒートマップのピクセル値は、マーカーに対して陽性であるこのピクセルの近傍にある細胞の平均マーカー強度を表す。
【0062】
[0083]マーカー発現のヒートマップを生成するため、ヒートマップモジュール１１１は、ローパスフィルタを組織領域マスク画像それぞれに適用する（ステップ４０１）。ローパスフィルタの適用後、いくつかの実施形態では、ヒートマップ生成モジュール１１１は、疑似色をローパスフィルタ処理された画像に割り当てる（ステップ４０２）。例えば、低強度（低マーカー密度に対応する）領域は青色に割り当てられてもよく、より高強度（より高いマーカー密度に対応する）の領域は、黄色、オレンジ色、及び赤色に割り当てられてもよい。ヒートマップに対する色の割当ては任意であり、より高いマーカー密度又は濃度を有する領域の可視化を支援する。マーカー発現のヒートマップの生成は、ＰＣＴ／ＥＰ／２０１５／０６２０１５（ＷＯ／２０１５／１８１３７１）、発明の名称「Ａｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ａｎａｌｙｚｉｎｇ Ａ Ｍｕｌｔｉ－Ｃｈａｎｎｅｌ Ｉｍａｇｅ Ｏｂｔａｉｎｅｄ Ｆｒｏｍ ａ Ｂｉｏｌｏｇｉｃａｌ Ｔｉｓｓｕｅ Ｓａｍｐｌｅ Ｂｅｉｎｇ Ｓｔａｉｎｅｄ Ｂｙ Ｍｕｌｔｉｐｌｅ Ｓｔａｉｎｓ（複数の染料によって染色される生物組織試料から得られる多チャネル画像を解析するための画像処理方法及びシステム）」で更に十分に考察されており、その開示の全体を参照により本明細書に組み込む。ヒートマップを生成し、画像見当合わせ及びＲＯＩ特定を行う、更なる例は、ＰＣＴ／ＥＰ２０１５／０７０１００、発明の名称「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ ＦＩＥＬＤＳ ＯＦ ＶＩＥＷ（視野を生成するためのシステム及び方法）」、及びＰＣＴ／ＥＰ２０１５／０６２０１５（ＷＯ２０１５／１８１３７１）、発明の名称「ＡＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＡＮＡＬＹＺＩＮＧ Ａ ＭＵＬＴＩ－ＣＨＡＮＮＥＬ ＩＭＡＧＥ ＯＢＴＡＩＮＥＤ ＦＲＯＭ Ａ ＢＩＯＬＯＧＩＣＡＬ ＴＩＳＳＵＥ ＳＡＭＰＬＥ ＢＥＩＮＧ ＳＴＡＩＮＥＤ ＢＹ ＭＵＬＴＩＰＬＥ ＳＴＡＩＮＳ（複数の染料によって染色される生物組織試料から得られる多チャネル画像を解析するための画像処理方法及びシステム）」に記載されており、それらの開示の全体を参照により本明細書に組み込む。
【0063】
[0084]関心領域特定モジュール
[0085]複数の単一マーカーチャネル画像それぞれに対応するマーカー発現のヒートマップを生成した後（ステップ２２１）、マーカー発現の各ヒートマップを使用して、組織試料中に存在する異なるマーカーに対応する１つ又は複数の関心領域候補が特定される（ステップ２２２）。特定された関心領域候補は、本明細書に記載され例示されるように、任意の形状又は固定の形状を有してもよい。
[0085]複数の単一マーカーチャネル画像それぞれに対応するマーカー発現のヒートマップを生成した後（ステップ２２１）、マーカー発現の各ヒートマップを使用して、組織試料中に存在する異なるマーカーに対応する１つ又は複数の関心領域候補が特定される（ステップ２２２）。特定された関心領域候補は、本明細書に記載され例示されるように、任意の形状又は固定の形状を有してもよい。
【0064】
[0086]図５Ａを参照すると、いくつかの実施形態では、既定の閾値がマーカー発現のヒートマップに適用され（ステップ５２０）、それによって関心領域候補が特定されてもよい（ステップ５２１）。図５Ｂは、任意の形状を有する関心領域候補５０１が特定される、マーカー発現のヒートマップの一例を示している。
【0065】
[0087]陽性マーカー発現面積と、それとは別個の陰性マーカー発現面積の両方に対応するＲＯＩ候補が、この技術によって特定されてもよい。
[0088]「陽性マーカー発現面積」は、本明細書で使用するとき、例えば、ピクセル強度がそれぞれのマーカー特異的な染料の密度と相関し、特定の閾値を上回る、デジタル画像内の面積である。したがって、「陽性マーカー発現面積」は、特定の生物マーカー（特定の細胞タイプ、例えば免疫細胞タイプの存在を示すものであってもよい）が、前記画像面積に対応する組織試料の特定の面積で発現することを示す、デジタル画像面積である。
[0088]「陽性マーカー発現面積」は、本明細書で使用するとき、例えば、ピクセル強度がそれぞれのマーカー特異的な染料の密度と相関し、特定の閾値を上回る、デジタル画像内の面積である。したがって、「陽性マーカー発現面積」は、特定の生物マーカー（特定の細胞タイプ、例えば免疫細胞タイプの存在を示すものであってもよい）が、前記画像面積に対応する組織試料の特定の面積で発現することを示す、デジタル画像面積である。
【0066】
[0089]「陰性マーカー発現面積」は、本明細書で使用するとき、例えば、ピクセル強度がそれぞれのマーカー特異的な染料の密度と相関し、特定の閾値を下回る、デジタル画像内の面積である。したがって、「陰性マーカー発現面積」は、特定の生物マーカー（特定の細胞タイプ、例えば免疫細胞タイプを示すものであってもよい）が、例えば、前記生物マーカーを一般的に発現する特定の（免疫）細胞タイプが存在しないために、前記画像面積に対応する組織試料の特定の面積では発現しないか、又は弱くしか発現しないことを示す、デジタル画像面積である。
【0067】
[0090]例えば、特定の生物マーカー及びそれぞれの画像チャネルに対応するデジタル画像を強度閾値と比較することによって、前記デジタル画像内の陽性マーカー発現面積及び陰性マーカー発現面積を決定することができる。また、最初に陽性マーカー発現面積が決定され、次に、前記決定された陽性マーカー発現面積の逆として、陰性マーカー発現面積が特定されることも可能である。
【0068】
[0091]陽性マーカー発現に対するＲＯＩ候補は、ヒートマップ上で高い値を有するものと特定された関心領域を示し、即ち、マーカーに対して陽性である細胞の数が多いか、又はマーカーが高強度で細胞によって発現される組織面積を表す。
【0069】
[0092]陰性マーカー発現に対するＲＯＩ候補は、ヒートマップ上で低い値を有するものと特定された関心領域を示し、即ち、マーカーに対して陽性である細胞の数が少ないか、又はマーカーが細胞によって発現されないか、又は低強度で発現される組織面積を表す。
【0070】
[0093]いくつかの実施形態では、関心領域候補は、適用される既定の閾値よりも高い値を有し、陰性マーカー発現面積に対応する（ステップ５２２）。いくつかの実施形態では、閾値は、画像内におけるピーク強度値の少なくとも約７５％である。他の実施形態では、閾値は、画像内におけるピーク強度値の７５％超過である。陽性マーカー発現によって、閾値化領域がマーカーの過剰発現に対して陽性であり、即ち、生物マーカーが、マーカー特異的な染料で染色されたとき、十分に高いピクセル強度値を誘導するのに十分な程度まで発現することを意味する。他の実施形態では、関心領域候補は、適用された既定の閾値よりも低い値を有し、陰性マーカー発現面積に対応する（ステップ５２３）。陰性マーカー発現によって、閾値化領域がマーカーの過剰発現に対して陰性であり、即ち、組織スライドの対応する部分において、生物マーカーが発現しないか又は弱くしか発現しないことを意味する。いくつかの実施形態では、閾値は、画像内におけるピーク強度値の約２５％以下である。他の実施形態では、閾値は、画像内におけるピーク強度値の約２５％未満である。
【0071】
[0094]他の実施形態では、局所極大フィルタがヒートマップに適用されて、局所極大フィルタ処理された画像が提供される（ステップ５２４）。
[0095]局所極大フィルタは、外部境界ピクセルが全て特定の強度値よりも低い強度値を有する、隣接ピクセル領域を特定する機能である。概して、局所極大フィルタは、結果の各ピクセルが、最大フィルタの核の下方に位置するソース画像からの最大ピクセル値の値を保持するようにすることによって画像を作成する、形態学的に非線形のタイプのフィルタである。核は、任意の形状及びサイズの幾何学的マスクであるが、この目的に対しては、対象となる特徴と同程度の寸法を有するように構築される。核は、腫瘍腺管、又は局所免疫反応を決定することができる腫瘍細胞の他の特徴群の平均サイズを有する、ディスク形状であることができる。
[0095]局所極大フィルタは、外部境界ピクセルが全て特定の強度値よりも低い強度値を有する、隣接ピクセル領域を特定する機能である。概して、局所極大フィルタは、結果の各ピクセルが、最大フィルタの核の下方に位置するソース画像からの最大ピクセル値の値を保持するようにすることによって画像を作成する、形態学的に非線形のタイプのフィルタである。核は、任意の形状及びサイズの幾何学的マスクであるが、この目的に対しては、対象となる特徴と同程度の寸法を有するように構築される。核は、腫瘍腺管、又は局所免疫反応を決定することができる腫瘍細胞の他の特徴群の平均サイズを有する、ディスク形状であることができる。
【0072】
[0096]局所極大フィルタは、画像に前記フィルタの核画像を重ね合わせること、核オーバーレイによって覆われた画像領域内の最大ピクセル強度を特定するため、核の幾何学情報を使用すること、並びに前記最大ピクセル強度を、局所極大フィルタの結果としての画像出力における前記画像領域の全ピクセルのピクセル強度として使用することを含んでもよい。例えば、核は、正方形形状を有し、マーカー特異的な画像の上を「スライド」してもよい３×３ピクセルのサイズを有するフレームであってもよい。それにより、各位置に対して、下にある９画像ピクセルの最小及び最大強度値が特定される。前記スライドする「フレーム」又は核の全ピクセルの強度が、（フィルタ特異的な）閾値強度値よりも高い場合、前記９ピクセルはそれぞれ、９ピクセルのいずれかに対して観察される最大強度値を割り当てられる。
【0073】
[0097]局所極大フィルタからの出力画像は、その領域の最大ピクセル値（即ち、最大強度値を有するピクセル）に等しい一定値を有する、核のような形状の島を有する傾向になる。局所極大フィルタを適用して視野を特定することに関する追加の情報及び例は、ＰＣＴ／ＥＰ／２０１５／０６２０１５（ＷＯ／２０１５／１８１３７１）、発明の名称「Ａｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ａｎａｌｙｚｉｎｇ Ａ Ｍｕｌｔｉ－Ｃｈａｎｎｅｌ Ｉｍａｇｅ Ｏｂｔａｉｎｅｄ Ｆｒｏｍ Ａ Ｂｉｏｌｏｇｉｃａｌ Ｔｉｓｓｕｅ Ｓａｍｐｌｅ Ｂｅｉｎｇ Ｓｔａｉｎｅｄ Ｂｙ Ｍｕｌｔｉｐｌｅ Ｓｔａｉｎ（複数の染料によって染色される生物組織試料から得られる多チャネル画像を解析するための画像処理方法及びシステム）」に開示されており、その開示の全体を参照により本明細書に組み込む。
【0074】
[0098]いくつかの実施形態では、局所極大フィルタ処理によって導き出される局所極大値はソートされ、所定数（「Ｋ」）の最高位の局所極大が、局所極大フィルタ処理された画像それぞれに対して選択される（ステップ５２５）。いくつかの実施形態では、返される所定数の局所極大は、マーカー特異的な画像チャネル又はそれぞれのヒートマップ当たり、約５～約２５の範囲の局所極大である。他の実施形態では、返される所定数の局所極大は、約５～約１５の範囲の局所極大である。更に他の実施形態では、返される所定数の局所極大は、約５～約１０の範囲である。
【0075】
[0099]いくつかの実施形態では、局所極大を取り囲む範囲が特定され、関心領域として使用される（ステップ５２６）。いくつかの実施形態では、Ｎ×Ｎピクセルのピクセルサイズを有する範囲が、所定数の最高位の局所極大それぞれの周りで定められ、それらＮ×Ｎピクセルの範囲（視野（ＦＯＶ））は関心領域候補として選択される。いくつかの実施形態では、Ｎは約５ピクセルから約２５ピクセルの範囲であってもよい。いくつかの実施形態では、Ｎ×Ｎピクセル範囲は１５２である。他の実施形態では、Ｎ×Ｎピクセル範囲は１８２である。更に他の実施形態では、Ｎ×Ｎピクセル範囲は２０２である。Ｎ×Ｎの範囲をそれぞれ有するマーカー発現のヒートマップからのＦＯＶ候補が、図６に示されている。いくつかの実施形態では、Ｎ×ＮのＦＯＶは、特定された局所極大の中心の周りに位置する。図５ａの文脈、及びＦＯＶの文脈では、パラメータ「Ｎ」は、本発明の実施形態におけるＦＯＶの１つの寸法に沿ったピクセルの数を表すが、例えば図２Ａの文脈におけるパラメータ「Ｎ」では、「Ｎ」は組織試料に適用されるマーカーの数を表すことに留意されたい。当然ながら、一方におけるマーカーの数、及びＦＩＶ寸法に沿ったピクセルの数は、互いに依存せず、互いに異なっていてもよい。
【0076】
[00100]ＲＯＩ候補を特定した後（ステップ２２２）、オーバーレイマスクが生成され（ステップ２２３）、各オーバーレイマスクは、マーカー発現の各ヒートマップから特定された１つ又は複数のＲＯＩ候補を含む。例えば、図９Ｂ及び９Ｃにおける第１及び第２の画像は、第１のマーカーに関連する第１の視野候補９９０に対するマスクと、第２のマーカーに関連する第２の視野候補９９１に対するマスクとを示している。各マスクは、図示されるように、１つのマーカーに関連する視野（又は関心領域）のみを示す。いくつかの実施形態では、オーバーレイマスクは、閾値を上回る画像ピクセルには１の値を、閾値を下回るピクセルには０の値を割り当てることによって生成される。いくつかの実施形態では、各マスクが異なる色又は陰影を割り当てられるので、異なるマスクが互いの上に重畳されると、潜在的な共存関心領域が可視化されるか又は別の方法で特定されてもよい。
【0077】
[00101]オーバーレイマスクがマーカー発現の各ヒートマップに対して作成された後、オーバーレイマスクは互いの上に重畳されてもよい。例えば、図９Ａは、２つの単一マーカーそれぞれに対する関心領域候補をそれぞれ提供する、２つのマスクの重畳を示している。当業者には理解されるように、様々なマスクの重畳によって、本明細書に記載するように、重なり合うＲＯＩ候補の可視化が可能になり、最終的に、１つ又は複数の共存ＲＯＩの計算が可能になる。図９Ｂ及び９Ｃ両方の第３の画像も、特定のマーカーに対するＦＯＶ候補９９０、９９１をそれぞれ提供する、２つのマスクの重畳を示しており、異なるマーカーからのＦＯＶ候補間の重なり合い９９２が示されている。いくつかの実施形態では、オーバーレイマスクは、本明細書に記載するように、マーカー発現の各ヒートマップ又はオーバーレイマスクからのＲＯＩ候補が共通座標系に位置合わせされた後で重畳される。
【0078】
[00102]生成されたオーバーレイマスクは、共存ＲＯＩの特定で使用される。いくつかの実施形態では、マーカーの全てに関連する全てのＲＯＩ候補が、共存ＲＯＩの特定のために選択され、したがって、全てのオーバーレイマスクが利用（重畳）される。他の実施形態では、特定のマーカーに対応するＲＯＩ候補のみが、１つ又は複数の共存ＲＯＩの特定のために選択され、したがって、選択されたマーカーに対応するオーバーレイマスクのみが利用（重畳）される。例として、３つの異なる免疫組織化学（ＩＨＣ）マーカーに対応して、３つの単一マーカーチャネル画像が入力として受信され、それらのＩＨＣマーカーのうち２つのみに対して共発現解析が求められた場合、共存モジュールは、それら２つの選択されたＩＨＣマーカーに対応するオーバーレイマスクのみを処理する。
【0079】
[00103]インターマーカー見当合わせモジュール
[00104]いくつかの実施形態では、また選択された１つ又は複数のＲＯＩ候補の特定に続いて、インターマーカー見当合わせモジュールを利用して、特定された関心領域候補それぞれが共通座標系に見当合わせされる（ステップ２２４）。インターマーカー見当合わせは、特定されたＲＯＩ候補が、連続した組織部分の画像から、即ち一連の単一画像から導き出された場合、又は多重画像と単一画像の組み合わせが使用される場合にのみ求められる。当業者であれば、分離された画像それぞれにおける細胞及び構造は各画像中の同一位置にあるので、多重画像から導き出された複数の単一マーカーチャネル画像を見当合わせする必要はないことを認識するであろう。
[00104]いくつかの実施形態では、また選択された１つ又は複数のＲＯＩ候補の特定に続いて、インターマーカー見当合わせモジュールを利用して、特定された関心領域候補それぞれが共通座標系に見当合わせされる（ステップ２２４）。インターマーカー見当合わせは、特定されたＲＯＩ候補が、連続した組織部分の画像から、即ち一連の単一画像から導き出された場合、又は多重画像と単一画像の組み合わせが使用される場合にのみ求められる。当業者であれば、分離された画像それぞれにおける細胞及び構造は各画像中の同一位置にあるので、多重画像から導き出された複数の単一マーカーチャネル画像を見当合わせする必要はないことを認識するであろう。
【0080】
[00105]インターマーカー見当合わせは、異なるデータセット、ここでは画像、又は画像内のマーカーを、１つの共通座標系へと変換するプロセスである。より具体的には、インターマーカー見当合わせは、２つ以上の画像を位置合わせするプロセスであり、概して、１つの画像を参照（参照画像もしくは固定画像とも呼ばれる）として指定し、参照と位置合わせされるように他の画像に幾何学的変換を適用することを伴う。幾何学的変換は、１つの画像における場所を別の画像における新しい場所にマッピングする。適切な幾何学的変換パラメータを決定するステップは、画像見当合わせプロセスのキーである。各画像の参照画像への変換を計算する方法は当業者には周知である。例えば、画像見当合わせアルゴリズムが、例えば、「１１ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ（ＩＳＢＩ）， ２０１４ ＩＥＥＥ， Ａｐｒｉｌ ２９ ２０１４－Ｍａｙ ２ ２０１４）に記載されており、その開示の全体を参照により本明細書に組み込む。画像見当合わせの詳細な方法について以下に概説する。
【0081】
[00106]いくつかの実施形態では、インターマーカー見当合わせプロセス（ステップ２２４）は、１つ又は複数のＲＯＩ候補を含む１つのヒートマップ又はヒートマップマスクを選択して、参照画像として役立つようにすることと、他のＲＯＩ候補を含む他のヒートマップ又はヒートマップマスクそれぞれの、参照画像の座標系への変換を計算することとを含む。全ての画像は、画像見当合わせを使用して、同じ座標系に対して位置合わせされてもよい（例えば、特定のマーカーを含む連続した組織部分又はスライドの場合、参照座標は、組織ブロックの中央にあるスライド部分であることができる）。したがって、各画像は、その古い座標系から新しい参照座標系へと位置合わせされてもよい。ヒートマップを位置合わせする変換パラメータは、ヒートマップ画像、ヒートマップ画像を生成するために使用された単一チャネルマーカー画像、又は単一チャネルマーカー画像を生成するために使用されたキャプチャ組織画像を見当合わせすることによって決定することができる。これらの画像は全て、それらの見当合わせについて説明するとき、デジタル入力画像と呼ばれる。
【0082】
[00107]インターマーカー見当合わせプロセスは、当該技術において周知であり、既知の方法のいずれかが本開示に適用されてもよい。いくつかの実施形態では、インターマーカー又は画像見当合わせは、２０１４年９月３０日付けのＷＯ／２０１５／０４９２３３、発明の名称「Ｌｉｎｅ－Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ Ｃｒｏｓｓ－Ｉｍａｇｅ Ａｎｎｏｔａｔｉｏｎ Ｄｅｖｉｃｅｓ， Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ（ラインベースの画像見当合わせ及び画像間アノテーションデバイス、システム、及び方法）」に記載されている方法を使用して行われ、その開示の全体を参照により本明細書に組み込む。ＷＯ／２０１５／０４９２３３は、単独で、又は細かい見当合わせ（ｆｉｎｅ ｒｅｇｉｓｔｒａｔｉｏｎ）プロセスと組み合わせて使用される、粗い見当合わせ（ｃｏａｒｓｅ ｒｅｇｉｓｔｒａｔｉｏｎ）プロセスを含む見当合わせプロセスを記載している。いくつかの実施形態では、粗い見当合わせプロセスは、位置合わせのためのデジタル画像を選択し、選択されたデジタル画像それぞれから前景画像マスクを生成し、結果の前景画像間の組織構造を一致させることを伴ってもよい。
【0083】
[00108]更なる実施形態では、前景画像マスクを生成することは、染色された組織部分のスライド画像全体から前景画像を生成し、ＯＴＳＵ閾値化を前景画像に適用して、バイナリ画像マスクを作成することを伴う。前景画像はグレースケール画像であってもよい。いくつかの実施形態では、前景画像及びそこから作られるバイナリ画像マスクはソフトに重み付けされ、即ち、連続強度値を備えたグレースケール画像である。他の更なる実施形態では、前景画像マスクを生成することは、バイナリ（任意選択でソフトに重み付けされた）画像マスクを染色された組織部分のスライド画像全体から生成し、勾配大きさ（ｇｒａｄｉｅｎｔ ｍａｇｎｉｔｕｄｅ）画像マスクを同じスライド画像全体から別個に生成し、ＯＴＳＵ閾値化を勾配画像マスクに適用して、バイナリ勾配大きさ画像マスクを作成し、バイナリＯＲ動作を使用してバイナリ（ソフトに重み付けされた）画像及びバイナリ勾配大きさ画像マスクを組み合わせて、前景画像マスクを生成することを伴う。当該分野で知られている前景画像マスク生成の他の方法が、代わりに適用されてもよい。
【0084】
[00109]「勾配大きさ画像マスク」は、本明細書で使用するとき、例えば、そのサイズが所与の閾値を超過する、かつ／又はその方向が許容された方向の所与の範囲内にない、強度勾配に割り当てられている全てのピクセルを隠す（「マスキングする」）画像マスクである。このように、勾配大きさ画像マスクを適用することにより、強い強度コントラストを有する試料構造、例えばメンブレンなどの上に位置するピクセルを選択的に含んでもよい画像が返される。
【0085】
[00110]「前景画像マスク」は、本明細書で使用するとき、例えば、組織試料に属さない全てのピクセルを隠す（「マスキングする」）画像マスクである。このように、前景画像マスクを適用することにより、非組織試料面積の（一般的にノイズがある）強度情報を含まない、「前景画像」が返される。
【0086】
[00111]実施形態によれば、前景画像及び／又は前景画像マスクの計算は、ＷＯ２０１４１４００７０に記載されているように行われ、その全体を参照により本明細書に含む。
[00112]いくつかの実施形態では、組織構造を一致させることは、結果の前景画像マスクそれぞれの境界から、ラインベースの特徴を計算することを伴う。これらのラインベースの特徴は、組織輪郭の局所セグメントを、それらの位置、曲率、方向、及び他の性質によって説明するために計算される。更に、第１の前景画像マスク上におけるライン特徴の第１のセットと、第２の前景画像マスク上におけるライン特徴の第２のセットとの間の全体的変換パラメータ（例えば、回転、拡大縮小、シフト）を計算することと、変換パラメータに基づいて、第１及び第２の画像を全体的に位置合わせすることとを含む。全体的変換パラメータは、回転、並進、及び拡大縮小を含んでもよく、第１の画像に適用されると、この第１の画像の組織が第２の画像の組織と重なり合う。
[00112]いくつかの実施形態では、組織構造を一致させることは、結果の前景画像マスクそれぞれの境界から、ラインベースの特徴を計算することを伴う。これらのラインベースの特徴は、組織輪郭の局所セグメントを、それらの位置、曲率、方向、及び他の性質によって説明するために計算される。更に、第１の前景画像マスク上におけるライン特徴の第１のセットと、第２の前景画像マスク上におけるライン特徴の第２のセットとの間の全体的変換パラメータ（例えば、回転、拡大縮小、シフト）を計算することと、変換パラメータに基づいて、第１及び第２の画像を全体的に位置合わせすることとを含む。全体的変換パラメータは、回転、並進、及び拡大縮小を含んでもよく、第１の画像に適用されると、この第１の画像の組織が第２の画像の組織と重なり合う。
【0087】
[00113]実施形態によれば、ラインベースの特徴はエッジに関連する特徴、例えばエッジマップである。エッジマップ及び全体的変換パラメータの計算は、例えば、全体が参照により含まれるＷＯ２０１４１４００７０に記載されている。
【0088】
[00114]別の更なる実施形態では、粗い見当合わせプロセスは、全体的変換パラメータに基づいて選択されたデジタル画像を、選択されたデジタル画像を包含してもよい、共通座標系にマッピングすることを含む。いくつかの実施形態では、細かい見当合わせプロセスは、粗い見当合わせプロセスで既に位置合わせされている一連のデジタル画像における第１のデジタル画像の第１の部分領域を特定することと、位置合わせされた一連のデジタル画像における第２のデジタル画像の第２の部分領域を特定することであって、第２の部分領域は第１の部分領域よりも大きく、第１の部分領域は共通座標系（「グリッド」とも呼ばれる）上で第２の部分領域内に実質的に位置することと、第２の部分領域内における第１の部分領域の最適化された場所を計算することとを伴ってもよい。
【0089】
[00115]これらの方法は、本明細書の図７に示されており、方法６００は開始ブロック６０２で始まる。ブロック６０４で、操作のために画像データ又はデジタル画像のセットが獲得される（例えば、データベースからスキャンもしくは選択される）。画像データの各セットは、例えば、単一患者の一連の隣接組織部分からの組織部分に対応する、画像データを含む。ブロック６０６で、単一画像の対のみが選択された場合、プロセスはブロック６１０に直接移る。単一を超える対の画像が選択された場合、ブロック６１０に移る前にブロック６０８で、選択画像セットはグループ化されて対にされる。いくつかの実施形態では、画像対は隣接した対として選択される。それにより、例えば、選択画像セットが１０個の平行な隣接したスライス（Ｌ１…Ｌ１０）を含む場合、Ｌ１及びＬ２は対としてグループ化され、Ｌ３及びＬ４は対としてグループ化され、その後も同様である。他方で、どの画像対が互いに最も類似しているかに関して情報が利用可能でない場合、いくつかの実施形態では、画像は、これらの画像の前景画像マスク及び勾配大きさ画像マスクの類似性にしたがってグループ化されて、互いに最も近い画像が対にされる。本発明の例示的な実施形態では、エッジ間／画像間距離が画像の対に利用される。いくつかの実施形態では、エッジベースの面取り部距離が、前景画像マスク又は勾配大きさ画像マスクの類似性を計算するために使用されてもよい。画像の対が、画像が粗く位置合わせされ結果が保存される粗い見当合わせプロセスを経ている場合、プロセスはブロック６１４に進む。別の方法では、ブロック６１２で、段落０１０７及びその後の段落に記載されているように、粗い見当合わせプロセスが選択された画像対に対して行われる。
【0090】
[00116]画像のうち２つ以上は、例えば、ＷＯ２０１４１４００７０に記載されているように、粗い見当合わせプロセスで位置合わせされる。
[00117]ブロック６１４に移って、選択され今度は見当合わせされる（位置合わせされる）画像は、単一のモニタ上で、又はいくつかのモニタにわたって拡散されて、共通座標系に表示され、画像が単一画像で重ね合わされるか、別個の画像として表示されるか、又はその両方である。ブロック６１６で、クライアントユーザは、ソース画像として、画像対から画像の１つを選択してもよい。ソース画像は所望のように既にアノテーションを付けられている場合、プロセスはブロック６２２に移る。別の方法では、クライアントユーザは、ブロック６２０で、所望のようにソース画像にアノテーションを付ける。ブロック６２０と実質的に同時に行われてもよい（又は行われなくてもよい）ブロック６２２で、アノテーションは対のうち他方の画像（標的画像）にマッピングされ、標的画像上で図式的に再現される。アノテーションが粗い見当合わせの前に行われる実施形態では、アノテーションは、画像対が見当合わせ（位置合わせ）されるのと実質的に同時に、ソース画像から標的画像へとマッピングされてもよい。ブロック６２４で、ユーザは、細かい見当合わせプロセスに取り組むか否かを選んでもよい。ユーザが、細かい見当合わせを行わずに結果を直接表示することを選んだ場合、プロセスはブロック６２６に移る。
[00117]ブロック６１４に移って、選択され今度は見当合わせされる（位置合わせされる）画像は、単一のモニタ上で、又はいくつかのモニタにわたって拡散されて、共通座標系に表示され、画像が単一画像で重ね合わされるか、別個の画像として表示されるか、又はその両方である。ブロック６１６で、クライアントユーザは、ソース画像として、画像対から画像の１つを選択してもよい。ソース画像は所望のように既にアノテーションを付けられている場合、プロセスはブロック６２２に移る。別の方法では、クライアントユーザは、ブロック６２０で、所望のようにソース画像にアノテーションを付ける。ブロック６２０と実質的に同時に行われてもよい（又は行われなくてもよい）ブロック６２２で、アノテーションは対のうち他方の画像（標的画像）にマッピングされ、標的画像上で図式的に再現される。アノテーションが粗い見当合わせの前に行われる実施形態では、アノテーションは、画像対が見当合わせ（位置合わせ）されるのと実質的に同時に、ソース画像から標的画像へとマッピングされてもよい。ブロック６２４で、ユーザは、細かい見当合わせプロセスに取り組むか否かを選んでもよい。ユーザが、細かい見当合わせを行わずに結果を直接表示することを選んだ場合、プロセスはブロック６２６に移る。
【0091】
[00118]別の方法として、ブロック６２４で、例えば段落０１０６、１１４で、本明細書に記載されている細かい見当合わせプロセスを、選択された画像対に対して行われ、例えば、マッピングされたアノテーションの場所及び／又は画像の位置合わせが最適化される。細かい見当合わせプロセスについて、以下で更に詳細に考察する。ブロック６２６で、アノテーションを付けられた画像対は、細かい見当合わせプロセスの結果と共に表示される（又は、細かい見当合わせが使用されない場合、アノテーションを付けられた画像対は、粗い見当合わせプロセスの結果と共にのみ表示されてもよい）。次に、方法は最終ブロック６２８で終了する。
【0092】
[00119]共存モジュール
[00120]マーカー発現のヒートマップそれぞれからの１つ又は複数の特定されたＲＯＩ候補を含む、オーバーレイマスクが生成された後（ステップ２２３）、共存モジュール１１３を稼働させて、オーバーレイマスク又は重畳されたマスクから１つ又は複数の共存ＲＯＩを特定する（ステップ２２５）。共存モジュールの出力は、本明細書に記載するように、更に下流の処理に使用されてもよい、１つ又は複数の共存ＲＯＩの特定である。いくつかの実施形態では、共存は、２つ以上の異なるマーカー又は標識間の空間的重なりの観察を指す。共存は、いくつかの実施形態では、マーカー又は標識間の関係を実証するために使用されてもよい。共存情報は、例えば、特定の細胞、特に免疫細胞の種類を自動的に特定するために使用されてもよい。腫瘍組織試料内の免疫細胞の種類及び場所に関する情報は、例えば、医用判断支援システムによって、もしくは電子画像解析システムによって、腫瘍進行予後を計算するか、又は腫瘍の特定の種類又はステージを特定するのに、自動で使用することができる。
[00120]マーカー発現のヒートマップそれぞれからの１つ又は複数の特定されたＲＯＩ候補を含む、オーバーレイマスクが生成された後（ステップ２２３）、共存モジュール１１３を稼働させて、オーバーレイマスク又は重畳されたマスクから１つ又は複数の共存ＲＯＩを特定する（ステップ２２５）。共存モジュールの出力は、本明細書に記載するように、更に下流の処理に使用されてもよい、１つ又は複数の共存ＲＯＩの特定である。いくつかの実施形態では、共存は、２つ以上の異なるマーカー又は標識間の空間的重なりの観察を指す。共存は、いくつかの実施形態では、マーカー又は標識間の関係を実証するために使用されてもよい。共存情報は、例えば、特定の細胞、特に免疫細胞の種類を自動的に特定するために使用されてもよい。腫瘍組織試料内の免疫細胞の種類及び場所に関する情報は、例えば、医用判断支援システムによって、もしくは電子画像解析システムによって、腫瘍進行予後を計算するか、又は腫瘍の特定の種類又はステージを特定するのに、自動で使用することができる。
【0093】
[00121]概して、共存ＲＯＩは、少なくとも部分的に互いに重なり合う異なるマーカーに対応する、特定された１つ又は複数のＲＯＩ候補を見つけることによって特定される。それら１つ又は複数の少なくとも部分的に重なり合うＲＯＩ候補が特定されると、重なりの量が重なり閾値と比較されて、それらの少なくとも部分的に重なり合うＲＯＩ候補が共存ＲＯＩとして適格であるか否かが決定される。
【0094】
[00122]図８を参照すると、共存モジュールは、少なくとも部分的に互いと重なり合う選択された１つ又は複数のＲＯＩ候補を見つけることによって、１つ又は複数の可能な共存ＲＯＩを計算する（ステップ８０１）。いくつかの実施形態では、少なくとも部分的に互いと重なり合う選択されたＲＯＩ候補は、オーバーレイマスクからのＲＯＩ候補を形態学的及び／又は論理的に処理することによって計算される。いくつかの実施形態では、形態学的処理は、１つ又は複数のＲＯＩ候補の共通部分及び合併を計算することを含む。例えば、共通部分面積は、それぞれのマーカー特異的な画像又はヒートマップにマッピングされてもよく、前記画像又はヒートマップのマッピングされた領域はそれぞれのＲＯＩとして使用されてもよい。共通部分及び合併の計算は、当業者には知られているような、開放、閉止、侵食、及び拡張を含む、標準的な形態学的動作の組み合わせを利用する。当然ながら、選択された１つ又は複数のＲＯＩ候補の重なり面積を計算する、任意の方法が利用されてもよい。例えば、固定の閾値を使用するとき、陽性及び陰性マーカーＲＯＩの両方は全ての組織にわたることができ、免疫細胞が「至るところに」存在する可能性があり、又は全く存在しない可能性がある。例えば、ＲＯＩは、ヒートマップ上のＫの最高値又はＫの最低値を含むＦＯＶであるように選ぶことができる。
【0095】
[00123]形態学的画像処理は、画像中の特徴の形状又は形態学に関連する非線形動作又は技術の集合である。形態学的技術は、構造化要素と呼ばれる小さい形状又はテンプレートを含む画像を調べる。構造化要素は、画像中の全ての可能な場所に位置付けられ、対応する近傍のピクセルと比較される。いくつかの動作は、要素が近傍内に「適合」するか否かを試験し、他の動作は、それが近傍と「衝突」又は交差するか否かを試験する。構造化要素がバイナリ画像に位置するとき、そのピクセルそれぞれは、構造化要素下の近傍における対応するピクセルと関連付けられる。構造化要素は、１に設定されたそのピクセルそれぞれに関して、対応する画像ピクセルも１である場合に、画像を適合させると言われる。同様に、構造化要素は、少なくとも１に設定されたそのピクセルの１つに関して、対応する画像ピクセルも１である場合に、画像に衝突する、即ち交差すると言われる。２つのセットＡ及びＢの共通部分は、Ｃ＝Ａ∩Ｂと表され、定義によって、両方のセットＡ及びＢに同時に属する全ての要素のセットである。同様に、２つのセットＡ及びＢの合併は、Ｃ＝Ａ∪Ｂと表され、定義によって、セットＡ、又はセットＢ、又は同時に両方のセットに属する全ての要素のセットである。
【0096】
[00124]いくつかの実施形態では、共通部分の面積（ピクセル）（又は重なりの面積）は、選択された（例えば、ユーザが選択した）画像チャネル及びそれぞれの画像特異的なＲＯＩの数を所与として、単一マーカー画像チャネルのヒートマップ上で特定されている全ての可能なＲＯＩ対に対して計算される（ステップ８０２）。それに加えて、合併の面積（ピクセル）は、それぞれの可能な共存ＲＯＩに対して計算される（ステップ８０３）。次に、可能な共存ＲＯＩそれぞれに対して、共通部分面積と合併面積との比が計算される（ステップ８０４）。次に、この計算された比は、重なり閾値と比較されて（ステップ８０５）、可能な共存ＲＯＩが更なる解析に適した共発現領域を構築しているか否かが決定される。重なり閾値は、例えば、異なる画像又はヒートマップの複数のＲＯＩ候補における共通部分面積と、前記ＲＯＩ候補の合併面積との比と比較される、構成可能及び／又は既定の閾値である。２つ以上のヒートマップからＲＯＩの重なりを見つけるため、単一マーカー画像チャネル１つ当たり１つのＲＯＩの全ての可能な組み合わせが試験され、重なりは、組み合わせにおける全てのＲＯＩの共通部分のピクセル数の比として定義され、それらの合併におけるピクセル数によって定義される。
【0097】
[00125]当業者であれば、重なり閾値はアッセイ毎に変動することがあり、適切な重なり閾値は、検出されているマーカーに基づいて選択されてもよいことを理解するであろう。いくつかの実施形態では、重なり閾値は、約０．５～約０．８の範囲（即ち、約５０％～約８０％の重なり）である。他の実施形態では、重なり閾値は、約０．５～約０．７の範囲（即ち、約５０％～約８０％の重なり）である。他の実施形態では、重なり閾値は０．７５（即ち、約７５％の重なり）である。更に他の実施形態では、重なり閾値は約０．５（即ち、５０％の重なり）超過である。
【0098】
[00126]計算された比が重なり閾値よりも大きい場合（ステップ８０６）、共発現解析のために共存ＲＯＩが選択される（ステップ８０７）。他方で、計算された比が重なり閾値よりも小さい場合（ステップ８０８）、共存ＲＯＩは拒絶され、共発現解析に使用されない（ステップ８０９）。
【0099】
[00127]例えば、図９Ａの明るい陰影の領域及び暗い陰影の領域によって示されるように、ＲＯＩ＿１（９８０）を単一マーカーチャネル画像１からの領域の１つとし、ＲＯＩ＿２（９８１）を単一マーカーチャネル画像２からの領域の１つとする。次に、比ＩＮＴＥＲＳＥＣＴ（ＲＯＩ＿１，ＲＯＩ＿２）／ＵＮＩＯＮ（ＲＯＩ＿１，ＲＯＩ＿２）を計算する。計算された比がオーバーレイ閾値（例えば、約７５％）よりも大きい場合、２つのＲＯＩは、マーカー１及び２に対する共発現領域（Ｍａｒｋｅｒ１＋，Ｍａｒｋｅｒ２＋）と見なされる。
【0100】
[00128]いくつかの実施形態では、関心領域は所定の固定サイズの面積である。いくつかの実施形態では、（２つ以上のＲＯＩの）合併面積は固定視野を表す固定ピクセル面積である。例えば、視野がＮ×Ｎピクセルのサイズを有する場合、合併面積はＮ×Ｎピクセルのサイズを有する面積となる。例えば、図９Ｂに示されるように、個々のマーカー画像１及び２は位置合わせされてもよく、検出され重ね合わされた視野（ＦＯＶ）候補であってもよい。例として、ＦＯＶのサイズをＮ×Ｎピクセルとし、ＦＯＶＳ＿１（９９０）及びＦＯＶＳ＿２（９９１）が、２つの個々のマーカーチャネル画像からの２つのＦＯＶマスク（例えば、明るい陰影によって示されるマスクＦＯＶＳ＿１及び暗い陰影によって示されるマスクＦＯＶＳ＿２）を表すものとする。重なり領域（９９２）は、ＩＮＴＥＲＳＥＣＴ（ＦＯＶＳ＿１，ＦＯＶＳ＿２）を使用して計算されて、図９Ｂの第３の画像における２つの円（９９３）によって示されるような、可能な共存ＦＯＶ位置が見出される。連結成分解析、即ち、互いに重畳されているマーカー特異的なヒートマップの幾何学解析を使用して、異なる画像における少なくとも部分的に互いに重なり合うＦＯＶの部分である、可能な共存領域の数が決定されてもよい。可能な共存領域それぞれに対して、比を（例えば、ＩＮＴＥＲＳＥＣＴ（ＦＯＶ＿１，ＦＯＶ＿２）／Ｎ＊Ｎによって）評価して、（Ｎ×Ｎピクセル）ＦＯＶ全体に対する重なり（共存）面積の比率が決定される。この例では、ＦＯＶ＿１及びＦＯＶ＿２はそれぞれ、図９Ｂの第３の画像の円における単一の明るい陰影の四角及び暗い陰影の四角など、マーカーチャネル画像１及び２からの個々のＦＯＶを指す。重なり領域（９９２）ＩＮＴＥＲＳＥＣＴ（ＦＯＶ＿１，ＦＯＶ＿２）は、図９Ｂの第４の画像において、黒い四角として示されている。計算された比が重なり閾値（例えば、約７５％）よりも大きい場合、２つの対応するＦＯＶは、選択される最終の共存ＦＯＶ（例えば、図９Ｂの第４の画像における黒い円内の２つのＦＯＶ）と見なされる。やはり、この例では、最終の共存ＦＯＶは、選択されたＩＨＣマーカーの共発現範囲を表す。
【0101】
[00129]陰性発現マーカーに対する制約を有する（即ち、マーカー特異的なヒートマップのピクセル強度を閾値を比較することによって決定できるような、画像の特定の点においてＭａｒｋｅｒ３が発現されないか、又は少量しか発現されないという追加の制約を有する）共存領域を、同様の方法で見出すことができる。ＲＯＩは、陽性及び陰性両方のマーカー発現に対して選択することができる。陽性マーカー発現のＲＯＩは、ヒートマップに対して高い値（例えば、強度閾値「陽性マーカー発現の画像面積」を超える）を有するものとして選択され、陰性マーカー発現のＲＯＩは、ヒートマップに対して低い値（例えば、強度閾値「陰性マーカー発現の画像面積」よりも低い）を有するものとして特定される。共存ＲＯＩを決定する方法は、陽性マーカー発現のＲＯＩ、陰性マーカー発現のＲＯＩ、又は陰性マーカー発現のＲＯＩを伴う陽性マーカー発現のＲＯＩに適用することができる。
【0102】
[00130]例えば、第１及び第２のマーカーが少なくとも最小レベルで発現され、第３の生物マーカーが最大発現レベル未満で発現されるという基準を満たす共存領域の特定は、次のようにして行われてもよい。Ｍａｒｋｅｒ１特異的なチャネル画像又はヒートマップを解析して、ピクセル強度値が第１のＭａｒｋｅｒ１特異的な閾値を上回る、１つ又は複数の第１のＲＯＩを特定する。前記特定された１つ又は複数の第１のＲＯＩを、ＲＯ＿１領域と呼ぶ。それに加えて、Ｍａｒｋｅｒ２特異的なチャネル画像又はヒートマップを解析して、ピクセル強度値が第２のＭａｒｋｅｒ２特異的な閾値を上回る、１つ又は複数の第２のＲＯＩを特定する。前記特定された１つ又は複数の第２のＲＯＩを、ＲＯＩ＿２領域と呼ぶ。
【0103】
[00131]それに加えて、Ｍａｒｋｅｒ３特異的なチャネル画像又はヒートマップを解析して、ピクセル強度値が第３のＭａｒｋｅｒ３特異的な閾値を下回る、１つ又は複数の第３のＲＯＩを特定する。前記特定された１つ又は複数の第２のＲＯＩを、Ｍ＿ｎｅｇ領域と呼ぶ。次に、実施形態によれば、可能な共存領域が、操作ＩＮＴＥＲＳＥＣＴ（ＲＯＩ＿１，ＲＯＩ＿２，Ｍ＿ｎｅｇ）を用いて計算されてもよい。次に、２つの画像面積のサイズ比ＩＮＴＥＲＳＥＣＴ（ＲＯＩ＿１，ＲＯＩ＿２，Ｍ＿ｎｅｇ）／ＵＮＩＯＮ（ＲＯＩ＿１，ＲＯＩ＿２，Ｍ＿ｎｅｇ）が計算されてもよい。計算された比が、既定のオーバーレイ閾値（例えば、約７５％）よりも大きいと決定された場合、共存ＲＯＩ、即ち共通部分面積に対応するＲＯＩは、陰性発現マーカー３に対する制約を有する（即ち、マーカー３は、全く発現されないか、又は最大量（Ｍａｒｋｅｒ１＋，Ｍａｒｋｅｒ２＋，Ｍａｒｋｅｒ３－）以下しか発現されないという制約を有する）マーカー１及びマーカー２に対する共発現領域を説明する。
【0104】
[00132]これは、関心領域が、上述したようなＮ×Ｎピクセル面積を有する固定視野を表す場合に、等しく適用可能である。上述したように、オーバーレイ比は、ＩＮＴＥＲＳＥＣＴ（ＦＯＶ１，ＦＯＶ２，Ｍ＿ｎｅｇ）／Ｎ＊Ｎによって計算されてもよく、オーバーレイ比はオーバーレイ閾値（例えば、約７５％）と比較されてもよい。オーバーレイ比がオーバーレイ閾値よりも大きい場合、２つのＦＯＶは、（Ｍａｒｋｅｒ１＋，Ｍａｒｋｅｒ２＋，Ｍａｒｋｅｒ３－）である陰性発現マーカー３に対する制約を有する、マーカー１及び２の共発現領域と見なされる。これは、図９Ｃに示されており、Ｍａｒｋｅｒ１＋，Ｍａｒｋｅｒ２＋，Ｍａｒｋｅｒ３－の共発現が図９Ｃの第４の画像の黒い円内に示され（９９５）、円外の共存ＦＯＶ（９９６）は、Ｍａｒｋｅｒ１＋，Ｍａｒｋｅｒ２＋，Ｍａｒｋｅｒ３＋の一例を示している。
【0105】
[00133]いくつかの実施形態では、重なり閾値は所定値であり、各共発現解析に対して特異的であってもよい。例えば、特定のアッセイの場合、共発現は、そのアッセイを構築
する各マーカーの密度又は濃度が他のアッセイよりも高いことに関連付けられてもよいことが可能である。又は、例えば、非特異的な背景の染色が、研究されている組織のタイプ又はＩＨＣマーカー／染料の性質のどちらかによって優勢である場合、より厳密なオーバーレイ閾値を要することがある。
する各マーカーの密度又は濃度が他のアッセイよりも高いことに関連付けられてもよいことが可能である。又は、例えば、非特異的な背景の染色が、研究されている組織のタイプ又はＩＨＣマーカー／染料の性質のどちらかによって優勢である場合、より厳密なオーバーレイ閾値を要することがある。
【0106】
[00134]単一マーカーチャネル画像への共存ＲＯＩの転送
[00135]１つ又は複数の共存関心領域が特定された後（ステップ２２５）、共存ＲＯＩは、複数の単一マーカーチャネル画像に逆マッピングされる（ステップ２２６）。このように、複数の単一マーカーチャネル画像それぞれの中における１つ又は複数の特定された共存ＲＯＩの位置が決定され、出力として提供される。いくつかの実施形態では、共存ＲＯＩは、複数の単一マーカーチャネル画像それぞれを高解像度にしたものへと転送されて返される。いくつかの実施形態では、本明細書に記載するインターマーカー見当合わせモジュールは、共存ＲＯＩの位置を単一マーカーチャネル画像へとマッピング又は転送するのに利用される。出力は、病理医又は細胞計数モジュールに対するものであり得る。
[00135]１つ又は複数の共存関心領域が特定された後（ステップ２２５）、共存ＲＯＩは、複数の単一マーカーチャネル画像に逆マッピングされる（ステップ２２６）。このように、複数の単一マーカーチャネル画像それぞれの中における１つ又は複数の特定された共存ＲＯＩの位置が決定され、出力として提供される。いくつかの実施形態では、共存ＲＯＩは、複数の単一マーカーチャネル画像それぞれを高解像度にしたものへと転送されて返される。いくつかの実施形態では、本明細書に記載するインターマーカー見当合わせモジュールは、共存ＲＯＩの位置を単一マーカーチャネル画像へとマッピング又は転送するのに利用される。出力は、病理医又は細胞計数モジュールに対するものであり得る。
【0107】
[00136]細胞計数モジュール
[00137]共存ＲＯＩの位置をマーカー発現の画像へと転送するのに続いて（ステップ２２５）、個々のマーカーを発現する細胞が計数又は推定されてもよい（ステップ２２７）。いくつかの実施形態では、細胞計数モジュール１１４を使用して自動化細胞計数が行われてもよい（ステップ２２７）。細胞計数後の出力は、マーカー発現の画像それぞれの各共存ＲＯＩなどにおける、各マーカーを発現する細胞の数の推定値である。
[00137]共存ＲＯＩの位置をマーカー発現の画像へと転送するのに続いて（ステップ２２５）、個々のマーカーを発現する細胞が計数又は推定されてもよい（ステップ２２７）。いくつかの実施形態では、細胞計数モジュール１１４を使用して自動化細胞計数が行われてもよい（ステップ２２７）。細胞計数後の出力は、マーカー発現の画像それぞれの各共存ＲＯＩなどにおける、各マーカーを発現する細胞の数の推定値である。
【0108】
[00138]自動化細胞計数方法は、当該分野において知られており、任意の既知の細胞計数方法が利用されてもよい。いくつかの実施形態では、細胞計数は、細胞出現の特徴の対称情報を捕捉する画像処理に基づいた技術を使用して実施される。他の実施形態では、構造化されたサポートベクタマシン（ＳＶＭ）などから学習される統計モデルの一致など、細胞検出のために機械学習技術を使用して、細胞様領域を特定してもよい。ほぼ細胞のサイズの領域内の画像値から抽出されそれを説明する特徴を使用して、ＳＶＭを訓練してもよい。
【0109】
[00139]更に他の実施形態では、細胞の計数は、ＰＣＴ／ＥＰ／２０１５／０６１２２６（ＷＯ／２０１５／１７７２６８）、発明の名称「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｓｔｒｕｃｔｕｒｅｓ ａｎｄ／ｏｒ Ｐａｔｔｅｒｎｓ ｉｎ Ｉｍａｇｅｓ（画像内の構造及び／又はパターンを検出するためのシステム及び方法）」に記載されているものなど、タスクに対して訓練されている畳み込みニューラルネットワークを使用して行われ、その開示の全体を参照により本明細書に組み込む。いくつかの実施形態では、関心領域、又は関心領域から得られる画像パッチが、関心領域又はそこから導き出される画像パッチ内に生物学的特徴が存在する蓋然性を決定するため、畳み込みニューラルネットワークに入力される。画像パッチは、最初に関心領域内における対象の場所を特定し、次にその対象の場所を含む画像パッチを抽出することによって、畳み込みニューラルネットワークに入力するように、関心領域から抽出されてもよい。
【0110】
[00140]より具体的には、ＰＣＴ／ＥＰ／２０１５／０６１２２６は、訓練画像又は標識を使用して特定の細胞構造及び特徴を認識するように訓練されてもよい、畳み込みニューラルネットワークについて記載している。ニューラルネットワークは、検出された構造が実際に細胞、メンブレン、背景などを表す蓋然性を出力する。これらの蓋然性に対して、オブジェクトの「場所」として使用される特定のピクセルを特定するために、非最大値抑制（ｎｏｎ－ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ）などの局所極大発見方法が行われてもよい。細胞の特定部分、例えば核のほぼ中心は、例示的に、観察下にある範囲、即ち画像パッチ内の、オブジェクトの「場所」として使用される。いくつかの実施形態では、細胞検出器は、細胞、細胞の部分、又は病理医などの訓練されたオペレータによって特定される他の細胞もしくは画像の特徴など、細胞構造に対するグランドトゥルースを使用して訓練される学習手段を備えてもよい。訓練された細胞検出器は、複数のタイプの細胞マーカー、又は核などの他の標的構造に対応する画像のチャネルにおいて、免疫細胞などの細胞構造を特定するために使用されてもよい。学習手段は、グランドトゥルースが標識付けされた複数の訓練画像を解析することによって、畳み込みニューラルネットワーク（ＣＮＮ）を生成することを含んでもよい。訓練に続いて、試験画像又は解析下の画像は、ＣＮＮにしたがって分類された１つ又は複数のチャネルをそれぞれ含む複数のパッチに分割されてもよく、画像内における細胞又は他の標的構造の存在を表す蓋然性マップが生成されてもよい。更に、非最大値抑制動作が行われ、蓋然性マップから標的構造の座標が得られてもよい。
【0111】
[00141]現在知られている、又は今後発見される、細胞計数の任意の方法が使用されてもよい。他の細胞計数方法が、Ｃｈｅｎ ｅｔ． ａｌ．、「Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｂａｓｅｄ Ａｕｔｏｍａｔｉｃ Ｉｍｍｕｎｅ Ｃｅｌｌ Ｄｅｔｅｃｔｉｏｎ ｆｏｒ Ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ Ｉｍａｇｅｓ（免疫組織化学画像のためのディープラーニングベースの自動免疫細胞検出）」（Ｇ． Ｗｕ ｅｔ ａｌ．（Ｅｄｓ．）：ＭＬＭＩ ２０１４， ＬＮＣＳ ８６７９， ｐｐ． １７－２４， ２０１４）によって記載されており、その開示の全体を参照により本明細書に組み込む。この方法は、ＩＨＣ染色スライドのデジタルスキャン画像における自動免疫細胞計数のための新規な方法に関連する。方法は、最初に、疎な色分離（ｓｐａｒｓｅ ｃｏｌｏｒ ｕｎｍｉｘｉｎｇ）技術を使用して、ＩＨＣ画像を異なる細胞構造に対応する複数の色チャネルへと分離する。そのため、検出の問題は、適切な細胞構造に対応する画像チャネルを使用して、ディープラーニングの枠組みへと体系化される。多数のＩＨＣスライドを含む臨床データセットに対して、アルゴリズムが評価される。他の実施形態では、方法は、Ｄｉｅｍ ｅｔ． ａｌ．、「Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ｆｏｒ Ａｃｃｕｒａｔｅｌｙ Ｃｏｕｎｔｉｎｇ ＣＤ４＋ ａｎｄ ＣＤ８＋ Ｔ Ｃｅｌｌｓ ｉｎ Ｈｕｍａｎ Ｔｉｓｓｕｅ（ヒト組織内のＣＤ４＋及びＣＤ８＋Ｔ細胞を正確に計数するための画像解析）」、Ｊｏｕｒｎａｌ ｏｆ Ｖｉｒｏｌｏｇｉｃａｌ Ｍｅｔｈｏｄｓ， Ｖｏｌ．２２２， １５ Ｓｅｐｔ ２０１５， ｐｐ． １１７－１２１によって記載されており、その開示の全体を参照により本明細書に組み込む。更に他の実施形態では、方法は、Ｈａｌａｍａ ｅｔ． ａｌ．、「Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｉｍｍｕｎｅ Ｃｅｌｌ Ｄｅｎｓｉｔｉｅｓ ｉｎ Ｉｍｍｕｎｅ Ｃｅｌｌ Ｃｏｎｇｌｏｍｅｒａｔｅｓ：Ａｎ Ａｐｐｒｏａｃｈ ｆｏｒ Ｈｉｇｈ－Ｔｈｒｏｕｇｈｐｕｔ Ｑｕａｎｔｉｆｉｃａｔｉｏｎ（免疫細胞集塊内の免疫細胞密度の推定：高スループット定量化のための手法）」、ＰＬＯＳ ｏｎｅ， Ｎｏｖｅｍｂｅｒ １６， ２００９（ＤＯＩ：１０．１３７１／ｊｏｕｒｎａｌ．ｐｏｎｅ．０００７８４７）によって開示されており、その開示の全体を参照により本明細書に組み込む。
【0112】
[00142]一般的に、細胞計数モジュールは、利用可能な描写情報の全量を解析の実施に使用できることを担保するため、最大解像度画像に対して実行される。
[00143]実施例
[00144]本明細書に記載する共発現解析から利益を得るＩＨＣアッセイの実施例は、以下を含む。
[00143]実施例
[00144]本明細書に記載する共発現解析から利益を得るＩＨＣアッセイの実施例は、以下を含む。
【0113】
[00145]（ＦｏｘＰ３＋，ＣＤ３＋，ＣＤ８－）
[00146]上記に特定したマーカーの共通部分は、ヘルパーＴ細胞又は免疫記憶細胞であると推定される、制御性Ｔ細胞又は免疫エフェクタ細胞を説明している。
[00146]上記に特定したマーカーの共通部分は、ヘルパーＴ細胞又は免疫記憶細胞であると推定される、制御性Ｔ細胞又は免疫エフェクタ細胞を説明している。
【0114】
[00147]（ＣＤ３＋，ＣＤ８＋）
[00148]上記に特定したマーカーの共通部分は、活性化された細胞傷害性Ｔ細胞を説明している。
[00148]上記に特定したマーカーの共通部分は、活性化された細胞傷害性Ｔ細胞を説明している。
【0115】
[00149]（ＣＤ３＋，ＣＤ８－，ＰＤ－Ｌ１＋）又は（ＣＤ８＋，ＰＤ－Ｌ１－）
[00150]上記に特定したマーカーの共通部分は、Ｐｄ－Ｌ１が抑制された抗腫瘍ＣＤ８＋細胞を有するＴ細胞を説明している。
[00150]上記に特定したマーカーの共通部分は、Ｐｄ－Ｌ１が抑制された抗腫瘍ＣＤ８＋細胞を有するＴ細胞を説明している。
【0116】
[00151]図１１は、（ＣＤ３＋，ＦｏｘＰ３＋）及び（ＣＤ８＋，ＦｏｘＰ３＋）の共存の実施例を示している。
[00152]図１０は、本開示の別の実施形態によるプロセスフローを示している。入力画像（１００１）は画像獲得システムから受信される。それに加えて、一連の低解像度マーカー画像（１００４）が画像獲得システムから受信される。マーカー画像は、高解像度画像を分離することによって得られてもよく、又は単一染料スライド画像として受信されてもよい。低解像度入力画像は、画像のどの部分が対象組織を含むかを示す、組織領域マスク（１００３）を計算するために使用される。低解像度マーカー画像は、ローパスフィルタに通されて、フィルタ処理されたマーカー画像（１００５）が作成される。次に、組織領域マスクは、ローパスフィルタ処理された画像に適用されて、対象でない領域が除外される（０に低減する）。その結果、各マーカーに対してマスクされたフィルタ処理済み画像（１００６）がもたらされる。局所最大フィルタは、最大フィルタ処理された画像に適用されて、局所極大が特定される（１００７）。上位のＫ局所極大が選択され（１００８）、各局所極大に対して視野が定義される（１００９）。次に、全ての画像を共通座標系へと転送し、重なり合う視野があれば重ねて組み合わせることによって、各画像のＦＯＶがマージされる（１０１０）。次に、マージされた視野は、元の画像座標系に転送されて返されて、解析のために高解像度入力画像から領域が抽出される。
[00152]図１０は、本開示の別の実施形態によるプロセスフローを示している。入力画像（１００１）は画像獲得システムから受信される。それに加えて、一連の低解像度マーカー画像（１００４）が画像獲得システムから受信される。マーカー画像は、高解像度画像を分離することによって得られてもよく、又は単一染料スライド画像として受信されてもよい。低解像度入力画像は、画像のどの部分が対象組織を含むかを示す、組織領域マスク（１００３）を計算するために使用される。低解像度マーカー画像は、ローパスフィルタに通されて、フィルタ処理されたマーカー画像（１００５）が作成される。次に、組織領域マスクは、ローパスフィルタ処理された画像に適用されて、対象でない領域が除外される（０に低減する）。その結果、各マーカーに対してマスクされたフィルタ処理済み画像（１００６）がもたらされる。局所最大フィルタは、最大フィルタ処理された画像に適用されて、局所極大が特定される（１００７）。上位のＫ局所極大が選択され（１００８）、各局所極大に対して視野が定義される（１００９）。次に、全ての画像を共通座標系へと転送し、重なり合う視野があれば重ねて組み合わせることによって、各画像のＦＯＶがマージされる（１０１０）。次に、マージされた視野は、元の画像座標系に転送されて返されて、解析のために高解像度入力画像から領域が抽出される。
【0117】
[00153]本開示の実施形態を実施するための他の構成要素
[00154]本発明のコンピュータシステムは、組織標本に対する１つ又は複数の調製プロセスを行うことができる、標本処理装置に結合されてもよい。調製プロセスとしては、非限定的に、標本の脱パラフィン化、標本の前処置（例えば、抗原賦活化を可能にし容易にする細胞の前処置）、標本の染色、抗原賦活化の実施、（標識付けを含む）免疫組織化学的染色もしくは他の反応の実施、及び／又はイン・サイチューのハイブリダイゼーション（例えば、ＳＩＳＨ、ＦＩＳＨなど）（標識付けを含む）染色又は他の反応の実施、並びに顕微鏡検査、微量分析、質量分析方法、又は他の解析方法のために標本を調製する他のプロセスを挙げることができる。
[00154]本発明のコンピュータシステムは、組織標本に対する１つ又は複数の調製プロセスを行うことができる、標本処理装置に結合されてもよい。調製プロセスとしては、非限定的に、標本の脱パラフィン化、標本の前処置（例えば、抗原賦活化を可能にし容易にする細胞の前処置）、標本の染色、抗原賦活化の実施、（標識付けを含む）免疫組織化学的染色もしくは他の反応の実施、及び／又はイン・サイチューのハイブリダイゼーション（例えば、ＳＩＳＨ、ＦＩＳＨなど）（標識付けを含む）染色又は他の反応の実施、並びに顕微鏡検査、微量分析、質量分析方法、又は他の解析方法のために標本を調製する他のプロセスを挙げることができる。
【0118】
[00155]標本は組織試料を含むことができる。組織の試料は、標的が中もしくは上に存在し得る、任意の液体、半固体、又は固体物質（もしくは材料）であることができる。特に、組織試料は、生物組織から得られた生物試料又は組織試料であることができる。組織は、生物内で類似の機能を行う相互接続された細胞の集合であることができる。いくつかの実施例では、生物試料は、被験者など、動物の対象から得られる。生物試料は、非限定的に、特にバクテリア、酵母、原生動物、アメーバなどの単細胞生物、多細胞生物（健康なもしくは見かけ上健康な被験者、又はがんなどの治療もしくは調査すべき状態もしくは疾患を患っている患者からの試料を含む、植物又は動物など）を含む任意の生物から得られる、それによって排出された、又はそれによって分泌された任意の固体もしくは流体試料であることができる。例えば、生物試料は、例えば血液、血漿、血清、尿、胆汁、腹水、唾液、脳脊髄液、房水もしくは硝子体液、又は任意の身体分泌物、濾出液、浸出物（例えば、膿瘍又は他の感染もしくは炎症部位から得られる流体）、あるいは関節（例えば、正常な関節もしくは疾患を患っている関節）から得られる流体から得られる、生物流体であることができる。生物試料はまた、任意の器官又は組織（腫瘍生検など、生検もしくは剖検標本を含む）から得られる試料であることができ、あるいは細胞（初代細胞であるか培養細胞であるかに関わらない）、又は任意の細胞、組織、もしくは器官から調製した媒質を含むことができる。いくつかの実施例では、生物試料は核抽出物である。特定の実施例では、試料は、細胞ペレット標品の部分から得ることができるものなど、品質管理試料である。他の実施例では、試料は試験試料である。例えば、試験試料は、対象から得られた生物試料から調製した、細胞、組織、又は細胞ペレット部分である。一実施例では、対象は、特定の状態もしくは疾患のリスクがあるか、又はそれを獲得している対象である。いくつかの実施形態では、標本は胸部組織である。
【0119】
[00156]処理装置は、固定剤を標本に適用することができる。固定剤としては、架橋剤（ホルムアルデヒド、パラホルムアルデヒド、及びグルタルアルデヒドなどのアルデヒド、並びに非アルデヒド系架橋剤など）、酸化剤（例えば、四酸化オスミウム及びクロム酸などの、金属イオン及び錯体）、タンパク質変性剤（例えば、酢酸、メタノール、及びエタノール）、未知のメカニズムの固定剤（例えば、塩化水銀、アセトン、及びピクリン酸）、組み合わせ試薬（例えば、カルノア固定剤、メタカン、ブアン液、Ｂ５固定剤、ロスマン液、及びゲンドル液）、マイクロ波、並びにその他の固定剤（例えば、排除体積固定剤及び水蒸気固定剤）を挙げることができる。
【0120】
[00157]標本がパラフィンに埋め込まれた試料である場合、試料は、適切な脱パラフィン化流体を使用して脱パラフィン化することができる。廃棄物除去剤が脱パラフィン化流体を除去した後、任意の数の物質を連続して標本に適用することができる。物質は、前処理（例えば、タンパク質の架橋、核酸の露出など）、変性、ハイブリダイゼーション、洗浄（例えば、ストリンジェント洗浄）、検出（例えば、可視もしくはマーカー分子をプローブにリンクする）、増幅（例えば、タンパク質、遺伝子などの増幅）、対比染色、封入などのためのものであり得る。
【0121】
[00158]標本処理装置は、広範囲の物質を標本に適用することができる。物質としては、非限定的に、染料、プローブ、試薬、リンス、及び／又はコンディショナーが挙げられる。物質は、流体（例えば、ガス、液体、もしくはガス／液体混合物）などであることができる。流体は、溶媒（極性溶媒、非極性溶媒など）、溶液（例えば、水性溶液、又は他のタイプの溶液）などであることができる。試薬としては、非限定的に、染料、湿潤剤、抗体（例えば、単クローン抗体、多クローン抗体など）、抗原回復液（例えば、水系もしくは非水系抗原回復液、抗原回復バッファなど）、あるいは他のものを挙げることができる。プローブは、検出可能な標識もしくはレポーター分子に付着された、単離された核酸又は単離された合成オリゴヌクレオチドであることができる。標識としては、放射活性同位体元素、酵素基質、補助因子、リガンド、化学発光剤又は蛍光剤、クロモゲン、ハプテン、及び酵素を挙げることができる。
【0122】
[00159]標本処理装置は、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．が販売しているＢＥＮＣＨＭＡＲＫ ＸＴ機器及びＳＹＭＰＨＯＮＹ機器など、自動化装置であることができる。Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．は、米国特許第５，６５０，３２７号、第５，６５４，２００号、第６，２９６，８０９号、第６，３５２，８６１号、第６，８２７，９０１号、及び第６，９４３，０２９号、並びに米国特許公開公報第２００３０２１１６３０号及び第２００４００５２６８５号を含む、自動化解析を行うシステム及び方法を開示している多数の米国特許の譲受人であり、それらのそれぞれの全体を参照により本明細書に組み込む。あるいは、標本は手動で処理することができる。
【0123】
[00160]標本が処理された後、ユーザは、標本を保持しているスライドを撮像装置へと移送することができる。ここで使用される撮像装置は、明視野画像装置スライドスキャナである。１つの明視野画像装置は、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．が販売しているｉＳｃａｎ Ｃｏｒｅｏ（商標）明視野スキャナである。自動化の実施形態では、撮像装置は、国際特許出願ＰＣＴ／ＵＳ２０１０／００２７７２（公開公報ＷＯ／２０１１／０４９６０８）、発明の名称「ＩＭＡＧＩＮＧ ＳＹＳＴＥＭ ＡＮＤ ＴＥＣＨＮＩＱＵＥＳ（撮像システム及び技法）」に開示されているような、又は２０１１年９月９日付けの米国特許出願第６１／５３３，１１４号、発明の名称「ＩＭＡＧＩＮＧ ＳＹＳＴＥＭＳ， ＣＡＳＳＥＴＴＥＳ， ＡＮＤ ＭＥＴＨＯＤＳ ＯＦ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ（撮像システム、カセット、及びそれを使用する方法）」に開示されているような、デジタル病理学用デバイスである。国際特許出願ＰＣＴ／ＵＳ２０１０／００２７７２（ＷＯ／２０１１／０４９６０８）及び米国特許出願第６１／５３３，１１４号は、それらの全体を参照により本明細書に組み込む。他の実施形態では、撮像装置は、顕微鏡に結合されたデジタルカメラを含む。
【0124】
[00161]撮像システム又は装置は、明視野顕微鏡システム、多スペクトル撮像（ＭＳＩ）システム、又は蛍光顕微鏡システムであってもよい。ここで使用される撮像システムはＭＳＩである。ＭＳＩは、一般に、ピクセルレベルで画像の空間分布にアクセスすることによって、コンピュータ化された顕微鏡ベースの撮像システムを用いて病理学的標本の解析を行う。様々な多スペクトル撮像システムが存在するが、これらのシステム全てに共通する動作上の側面は、多スペクトル画像を形成する能力である。多スペクトル画像は、電磁スペクトルにわたる特定の波長又は特定のスペクトル帯域幅の画像データを捕捉するものである。これらの波長は、色カメラ、例えばＲＧＢカメラによって、光学フィルタによって、又は例えば赤外線（ＩＲ）など、可視光範囲を超える波長の電磁放射を含む所定のスペクトル成分を選択することができる他の機器を使用することによって抜き出されてもよい。
【0125】
[00162]ＭＳＩは光学撮像システムを含んでもよく、その一部分は、所定数Ｎの離散的な光学バンドを定義するように調整可能である、スペクトル選択性のシステムを含む。光学システムは、広帯域光源を用いて光学検出器上へと伝達する際に照明される、組織試料を撮像するように適合されてもよい。光学撮像システムは、一実施形態では、例えば、顕微鏡などの拡大システムを含んでもよく、光学システムの単一の光学出力と空間的にほぼ位置合わせされる、単一の光学軸を有する。システムは、画像が異なる離散的なスペクトル帯で獲得されることなどを保証するように、スペクトル選択性のシステムが（例えば、コンピュータプロセッサを用いて）調節又は調整されているときに、組織の一連の画像を形成する。装置は更に、一連の獲得画像から、組織の少なくとも１つの視覚的に知覚可能な画像を表示させる、ディスプレイを含んでもよい。スペクトル選択性システムは、回折格子、薄膜干渉フィルタなどの光学フィルタの集合体、又はユーザ入力もしくはプリプログラムドプロセッサのコマンドに応答して、光源から試料を通して検出器に向かって伝送された光のスペクトルから特定の通過帯域を選択するように適合された、他の任意のシステムなど、光学分散要素を含んでもよい。
【0126】
[00163]代替の実現例では、スペクトル選択性システムは、Ｎ個の離散的なスペクトル帯に対応するいくつかの光学出力を定義する。このタイプのシステムは、伝送された光出力を光学システムから取り込み、特定されたスペクトル帯内にある試料を、この特定されたスペクトル帯に対応する光路に沿って検出器システム上へと結像するような形で、この光出力の少なくとも一部分をＮ個の空間的に異なる光路に沿って空間的にリダイレクトする。
【0127】
[00164]本明細書に記載する主題及び動作の実施形態は、デジタル電子回路類の形で、又は本明細書で開示される構造及びそれらの構造的等価物を含む、コンピュータソフトウェア、ファームウェア、もしくはハードウェアの形で、又はそれらのうち１つ又は複数の組み合わせで実現することができる。本明細書に記載する主題の実施形態は、データ処理装置によって実行されるように、又はその動作を制御するため、コンピュータ記憶媒体上で符号化された、１つ又は複数のコンピュータプログラムとして、即ちコンピュータプログラム命令の１つ又は複数のモジュールとして実現することができる。本明細書に記載するモジュールのいずれかは、プロセッサによって実行される論理を含んでもよい。「論理」は、本明細書で使用するとき、プロセッサの動作に影響を及ぼすように適用されてもよい、命令信号及び／又はデータの形態を有する、任意の情報を指す。ソフトウェアは論理の一例である。
【0128】
[00165]コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムもしくはシリアルアクセスメモリアレイ又はデバイス、あるいはそれらのうち１つ又は複数の組み合わせであることができ、又はそれらに含めることができる。更に、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人為的に生成された伝搬信号に符号化されたコンピュータプログラム命令のソース又は宛先であり得る。コンピュータ記憶媒体は、１つ又は複数の別個の物理的構成要素又は媒体（例えば、複数のＣＤ、ディスク、もしくは他の記憶デバイス）であることもでき、あるいはそれらに含めることができる。本明細書に記載する動作は、１つ又は複数のコンピュータ可読記憶デバイスに記憶されるか、又は他のソースから受信されるデータに対して、データ処理装置によって行われる動作として実現することができる。
【0129】
[00166]「プログラムドプロセッサ」という用語は、例として、プログラマブルマイクロプロセッサ、コンピュータ、システム・オン・チップ、又は前記の複数のもの、もしくは前記のものの組み合わせを含む、データを処理する全ての種類の装置、デバイス、及び機械を包含する。装置は、専用論理回路類、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）を含むことができる。装置はまた、ハードウェアに加えて、問題のコンピュータプログラムに対する実行環境を作成するコード、例えば、プロセッサファームウェアを構築するコード、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想機械、又はそれらのうち１つ又は複数の組み合わせを含むことができる。装置及び実行環境は、ウェブサービス、分散型コンピューティング、及びグリッドコンピューティング基盤など、様々な異なるコンピューティングモデル基盤を実現することができる。
【0130】
[00167]コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、もしくはコードとしても知られる）は、コンパイラ型もしくインタープリタ型言語、宣言型もしくは手続き型言語を含む、任意の形態のプログラミング言語で記述することができ、スタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、オブジェクト、もしくはコンピューティング環境で使用するのに適した他のユニットとしてなど、任意の形態で展開することができる。コンピュータプログラムは、必須ではないが、ファイルシステム内のファイルに対応してもよい。プログラムは、他のプログラムもしくはデータを保持するファイル（例えば、マークアップ言語文書の形で記憶された１つ又は複数のスクリプト）の一部分に、問題のプログラム専用の単一のファイルに、又は複数の調整されたファイル（例えば、１つ又は複数のモジュール、サブプログラム、もしくはコードの一部を記憶するファイル）に記憶することができる。コンピュータプログラムは、１つのコンピュータで、又は１つの場所に位置するか、もしくは複数の場所にわたって分配され、通信ネットワークによって相互接続された複数のコンピュータで、実行されるように展開することができる。
【0131】
[00168]本明細書に記載するプロセス及び論理フローは、１つ又は複数のプログラマブルプロセッサが１つ又は複数のコンピュータプログラムを実行して、入力データを操作し出力を生成することによってアクションを行うことによって行うことができる。プロセス及び論理フローはまた、専用論理回路類、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）によって行うことができ、また装置をそれらとして実現することもできる。
【0132】
[00169]コンピュータプログラムを実行するのに適したプロセッサとしては、例として、汎用及び専用両方のマイクロプロセッサ、並びに任意の種類のデジタルコンピュータにおける任意の１つ又は複数のプロセッサが挙げられる。一般に、プロセッサは、命令及びデータを、読出し専用メモリ又はランダムアクセスメモリ又は両方から受信する。コンピュータの必須要素は、命令にしたがってアクションを行うプロセッサ、並びに命令及びデータを記憶する１つ又は複数のメモリデバイスである。一般に、コンピュータはまた、データを記憶する１つ又は複数の大容量記憶デバイス、例えば磁気、磁気光学ディスク、もしくは光学ディスクを含み、あるいはそれらに対して動作可能に結合されて、それらとの間でデータの送受信を行う。しかしながら、コンピュータは必ずしもかかるデバイスを有さなくてもよい。更に、コンピュータは、例えば、いくつか例を挙げれば、携帯電話、携帯情報端末（ＰＤＡ）、携帯音声又は映像プレーヤー、ゲームコンソール、全地球測位システム（ＧＰＳ）受信器、又は可搬型記憶デバイス（例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）といった、別のデバイスに埋め込むことができる。コンピュータプログラム命令及びデータを記憶するのに適したデバイスとしては、例として、半導体メモリ素子（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス）、磁気ディスク（例えば、内蔵ハードディスク又はリムーバブルディスク）、磁気光学ディスク、並びにＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む、全ての形態の不揮発性メモリ、媒体及びメモリデバイスが挙げられる。プロセッサ及びメモリは、専用論理回路類によって補足するか、又はそれらに組み込むことができる。
【0133】
[00170]ユーザとのインタラクションのため、本明細書に記載する主題の実施形態は、情報をユーザに対して表示する表示デバイス、例えばＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）ディスプレイ、又はＯＬＥＤ（有機発光ダイオード）ディスプレイと、キーボードと、ユーザがコンピュータに入力を提供するために使用することができるポインティングデバイス、例えばマウス又はトラックボールとを有する、コンピュータ上で実現することができる。いくつかの実現例では、タッチスクリーンを使用して、情報を表示し、ユーザからの入力を受信することができる。他の種類のデバイスを使用して、同様にユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚的フィードバック、例えば視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであることができ、ユーザからの入力は、音響、発声、又は触覚入力を含む、任意の形態で受信することができる。それに加えて、コンピュータは、ユーザが使用するデバイスに文書を送信し、またデバイスから文書を受信することによって、例えば、ウェブブラウザから受信した要求に応答して、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することによって、ユーザとインタラクションすることができる。
【0134】
[00171]本明細書に記載する主題の実施形態は、例えばデータサーバとしてのバックエンドコンポーネントを含むか、又はミドルウェアコンポーネント、例えばアプリケーションサーバを含むか、又はフロントエンドコンポーネント、例えば、グラフィカルユーザインターフェースを有するクライアントコンピュータ、もしくはユーザが本明細書に記載する主題の実現例とインタラクションするのに用いることができるウェブブラウザを含むか、又はかかるバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの１つ又は複数の任意の組み合わせである、コンピューティングシステムの形で実現することができる。システムのコンポーネントは、デジタルデータ通信の任意の形態又は媒体、例えば通信ネットワークによって、相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）及び広域ネットワーク（「ＷＡＮ」）、インターネットワーク（例えば、インターネット）、及びピアツーピアネットワーク（例えば、アドホックピアツーピアネットワーク）が挙げられる。例えば、図１のネットワーク２０は１つ又は複数のローカルエリアネットワークを含むことができる。
【0135】
[00172]コンピューティングシステムは、任意の数のクライアント及びサーバを含むことができる。クライアント及びサーバは、一般的には互いに離れており、また一般的には通信ネットワークを通してインタラクションする。クライアントとサーバの関係は、それぞれのコンピュータ上で稼働し、クライアント・サーバの関係を互いに対して有するコンピュータプログラムによって生じる。いくつかの実施形態では、サーバは、（例えば、クライアントデバイスとインタラクションしているユーザに対してデータを表示し、そのユーザからのユーザ入力を受信する目的で）クライアントデバイスにデータ（例えば、ＨＴＭＬページ）を送信する。クライアントデバイスで生成されたデータ（例えば、ユーザのインタラクションの結果）は、サーバにおいてクライアントデバイスから受信することができる。
【0136】
[00173]本明細書における本発明を特定の実施形態を参照して記載してきたが、これらの実施形態は本発明の原理及び応用の単なる例示であることを理解されたい。したがって、例示の実施形態に対して多数の修正が行われてもよく、添付の特許請求の範囲によって定義されるような本発明の趣旨及び範囲から逸脱することなく、他の構成が考案されてもよいことが理解される。上記の明細書は、当業者が本発明を実践できるようにするのに十分であると見なされる。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
