特許 6763781 複数の染色で染色されている生物組織サンプルから取得されるマルチチャネル画像を分析するための画像処理方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6763781

(24)【登録日】2020年9月14日

(45)【発行日】2020年9月30日

(54)【発明の名称】複数の染色で染色されている生物組織サンプルから取得されるマルチチャネル画像を分析するための画像処理方法及びシステム

(51)【国際特許分類】

   G01N 33/48 20060101AFI20200917BHJP

   G06T 1/00 20060101ALI20200917BHJP

   G06T 5/50 20060101ALI20200917BHJP

   G01N 33/483 20060101ALI20200917BHJP

   G01N 33/53 20060101ALI20200917BHJP

   G01N 21/27 20060101ALI20200917BHJP

【ＦＩ】

   G01N33/48 P

   G06T1/00 295

   G06T5/50

   G01N33/483 C

   G01N33/53 Y

   G01N21/27 A

【請求項の数】9

【全頁数】27

(21)【出願番号】特願2016-568410(P2016-568410)

(86)(22)【出願日】2015年5月29日

(65)【公表番号】特表2017-529513(P2017-529513A)

(43)【公表日】2017年10月5日

(86)【国際出願番号】EP2015062015

(87)【国際公開番号】WO2015181371

(87)【国際公開日】20151203

【審査請求日】2018年5月2日

(31)【優先権主張番号】62/005,222

(32)【優先日】2014年5月30日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507179346

【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド

(73)【特許権者】

【識別番号】516343550

【氏名又は名称】プロヴィデンス・ヘルス・アンド・サービシーズ−オレゴン

(74)【代理人】

【識別番号】100140109

【弁理士】

【氏名又は名称】小野 新次郎

(74)【代理人】

【識別番号】100075270

【弁理士】

【氏名又は名称】小林 泰

(74)【代理人】

【識別番号】100101373

【弁理士】

【氏名又は名称】竹内 茂雄

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100147991

【弁理士】

【氏名又は名称】鳥居 健一

(72)【発明者】

【氏名】バーンズ，マイケル

(72)【発明者】

【氏名】チェン，ティーン

(72)【発明者】

【氏名】タブス，アリサ

(72)【発明者】

【氏名】ビフルコ，カルロ

【審査官】 草川 貴史

(56)【参考文献】

【文献】 特表２００８−５３９７６３（ＪＰ，Ａ）

【文献】 米国特許第０６４４９３８９（ＵＳ，Ｂ１）

【文献】 特表２０１０−５００５７１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ３３／４８−３３／９８

(57)【特許請求の範囲】

【請求項1】

複数の染色によって染色されている生物組織サンプルから取得されるマルチチャネル画像（２３１）を分析する画像処理方法であって、
ａ．前記マルチチャネル画像を分解し、チャネルごとに分解画像（２３２、２３８）を提供するステップと、
ｂ．前記分解画像の少なくとも１つ（２３２）を空間ローパスフィルタ処理する（２３４）ステップと、
ｃ．前記空間ローパスフィルタ処理された分解画像の前記少なくとも１つ（２３４；２３５）を局所最大値フィルタ処理する（２３６）ステップと、
ｄ．前記空間ローパスフィルタ処理されて局所最大値フィルタ処理された分解画像（２３６）の前記少なくとも１つを閾値化し（２３７）、隣接したピクセルの少なくとも１つのセット（２３９．１；２３９．４）を識別するステップと、
ｅ．前記マルチチャネル画像（２３１）の画像部分を、隣接したピクセルの前記セット（２３９．１；２３９．４）によって与えられる画像位置から抽出することによって、所定サイズ及び形状を有する視野（２４０．１、２４０．２；Ａ、Ｂ）を定めるステップと、
ｆ．少なくとも１つの生物学的パラメータを決定するために前記視野を分析するステップと、
を含み、
組織領域の識別のために前記分解画像（２３８）の別の１つをセグメンテーションし、組織領域マスク（２３３）を提供するステップと、
ステップｃ、ｄ又はｅの実行の前又は後に、前記組織マスクを用いて、前記マルチチャネル画像又は前記分解画像の前記少なくとも１つをマスキングするステップと、
をさらに含む、方法。

【請求項2】

前記分解画像の前記別の１つは、前記画像の前記１つによって表される染色に対する対比染色である前記複数の染色の１つを表す、請求項１に記載の方法。

【請求項3】

前記ステップｂからｅは、追加の視野の定義を生成する前記分解画像の少なくとも追加の１つのために実行され、前記視野及び前記追加の視野の空間的重なりの程度が、重なり閾値を上回る場合、ステップｆの実行前に、前記視野及び前記追加の視野をマージするステップをさらに含む、請求項１又は２に記載の方法。

【請求項4】

前記分析は、前記視野内の細胞の数を決定するために、細胞計数によって実行される、
請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記視野の前記分析は、前記視野内の生物学的特徴の存在の確率を決定するための畳み込みニューラルネットワーク（ＣＮＮ）によって実行される、請求項１から４のいずれか一項に記載の方法。

【請求項6】

データ分析は、前記少なくとも１つの生物学的パラメータを決定するために、前記視野内に含まれる画像データ上で実行され、前記データ分析は、クラスタ分析又は統計分析からなる群から選択される、請求項１から５のいずれか一項に記載の方法。

【請求項7】

− 前記生物組織サンプルを前記複数の染色で染色し、前記チャネルを提供するステップと、
− 画像センサ（１０２）を用いて前記マルチチャネル画像を取得するステップと、
をさらに含む、請求項１から６のいずれか一項に記載の方法。

【請求項8】

複数の染色によって染色されている生物組織サンプルから取得されるマルチチャネル画像を分析するための画像処理システムであって、処理部（１０５）を備え、前記処理部（１０５）は、
ａ）前記マルチチャネル画像を分解し、チャネルごとに分解画像（２３２、２３８）を提供するステップと、
ｂ）前記分解画像の少なくとも１つ（２３２）を空間ローパスフィルタ処理する（２３４）ステップと、
ｃ）前記空間ローパスフィルタ処理された分解画像の前記少なくとも１つ（２３４；２３５）を局所最大値フィルタ処理する（２３６）ステップと、
ｄ）前記空間ローパスフィルタ処理されて局所最大値フィルタ処理された分解画像（２３６）の前記少なくとも１つを閾値化し（２３７）、隣接したピクセルの少なくとも１つのセット（２３９．１；２３９．４）を識別するステップと、
ｅ）前記マルチチャネル画像（２３１）の画像部分を、隣接したピクセルの前記セット（２３９．１；２３９．４）によって与えられる画像位置から抽出することによって、所定サイズ及び形状を有する視野（２４０．１、２４０．２；Ａ、Ｂ）を定めるステップと、
ｆ）少なくとも１つの生物学的パラメータを決定するために前記視野を分析するステップと、
の実行のために構成される、画像処理システム。

【請求項9】

ステップｆの前記分析を実行するために、ユーザが前記視野の１つを選択又は非選択するための視野リスト（８８３）を表示するためのユーザインタフェースをさらに備える、請求項８に記載の画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

[0001]本開示は、医療診断のための画像化に関するものである。より詳しくは、本開示は、スライド画像全体における視野（ＦＯＶ）の自動選択に関するものである。

【背景技術】

【0002】

[0002]組織切片、血液、細胞培養などのような生物試料の分析において、生物試料は、染色の１つ又は複数の組合せで染色され、例えば、バイオマーカー、細胞又は細胞構造を識別し、結果として生じるアッセイは、さらなる分析のために視認又は画像化される。アッセイを観察することによって、疾患の診断、治療に対する反応の評価及び闘病のための新薬の開発を含むさまざまなプロセスが可能になる。アッセイは、タンパク質、タンパク小片、又は、以下ターゲット又はターゲット対象と称する試料内の他の関心対象と結合する抗体に接合される１つ又は複数の染色を含む。いくつかのバイオマーカーは、例えば、染色（例えば、しばしば使用される対比染色のヘマトキシリン）に対する固定関係を有し、一方、他のバイオマーカーに対して、染色が開発され、又は、新たなアッセイが形成されうる。染色の後、アッセイは、組織標本の内容のさらなる分析のために画像化されうる。スライド全体の画像は、典型的には、スライド全体画像又は単にスライド全体と呼ばれる。

【0003】

[0003]典型的には、免疫スコア計算において、科学者は、組織の一片を染色することを含むマルチプレックスアッセイ、又は、隣接する連続組織切片を染色することを含むシンプレックスアッセイを使用し、例えば、同一の組織塊内の複数のタンパク質又は核酸などを検出又は定量化する。利用可能な染色されたスライドを用いて、免疫学的データ、例えば、免疫細胞のタイプ、密度及び位置は、腫瘍組織サンプルから推定可能である。このデータが結腸直腸がんの患者生存を予測するために利用可能であり、重要な予後の役割を示すと報告された。

【0004】

[0004]免疫スコア計算のための従来のワークフローにおいて、専門家の読者、例えば病理学者又は生物学者は、初期ステップとして、顕微鏡の下のスライドを検査する、又は、走査／デジタル化されたディスプレイ上のスライドの画像を読み取ることによって、手動で代表的な視野（ＦＯＶ）又は関心領域（ＲＯＩ）を選択する。組織スライドが走査されるとき、走査画像は個々の読者によって視認され、ＦＯＶは読者の個人的好みに基づいて手動でマークされる。ＦＯＶを選択した後に、病理学者／読者は、選択されたＦＯＶ内の免疫細胞を手動で計数する。異なる読者が異なるＦＯＶを選択し、計数するので、ＦＯＶの手動選択及び計数は非常に主観的で、読者によって偏りが生ずる。それゆえ、免疫スコア研究は、もはや再現できない。

【0005】

[0005]ＥＰ２５４６８０２は、画像スタックの高度な共同分析を可能にするコレジストレーションされた（ｃｏ−ｒｅｇｉｓｔｅｒｅｄ）組織スライドから生成された人工のハイパースペクトル画像を特徴とする。コレジストレーションは、組織スライスの高解像度画像のタイルに実行され、画像対象の統計を用いて、縮小されたハイパースペクトル画像のピクセルを生成する。ハイパースペクトル画像を生成するためにデジタル画像を分析する方法は、２つのハイパースペクトル画像を結合し、第３のハイパースペクトル画像を生成する。

【0006】

[0006]他の例として、米国特許出願公開第２０１４／０１８０９７７号は、２つの段階を有する組織学的組織又は標本を分類することを特徴とする。第１段階では、方法はプロセッサを用いてオフラインのトレーニングを提供するステップを含み、その間、１つ又は複数の分類が、例に基づいてトレーニングされる。第２段階では、方法は、分類を未知の組織サンプルに適用し、特徴の第１のセットをすべての組織ユニットに対して抽出するステップと、スコアが最大の組織ユニットを発見することによって、特徴の次のセットを抽出するための組織ユニットを決定するステップと、停止基準が満たされるまで、又は、計算可能な特徴がなくなるまで繰り返すステップと、現在状態に基づいて組織レベルの決定を与えるステップと、を含む。

【0007】

[0007]Ｓｃｈｏｅｎｍｅｙｅｒにおいて、連続的に異なって染色された組織切片の定量的画像分析結果がコレジストレーションによって局所的に融和する自動化されたワークフロー。結果は、ハイパースペクトルの特徴を含む空間分解された特徴ベクトルである。多くの層（ハイパースペクトル）を有するヒートマップは、このデータから生成され、単一染色のみからは明らかでない複数の染色間の関係を明らかにする。

【0008】

[0008]Ｍｉｓｅｍｅｒにおいて、デジタル画像分析は、腫瘍間及び腫瘍内の異質性を評価し、タンパク質発現を組織学的特徴に関連させるために実行され、核クロマチン密度比率（ＣＤＲ）によって定義された腫瘍活性の病理組織的評価を含むものであった。腫瘍活性の病理学的評価及び平均核サイズ及びＣＤＲのデジタル評価のすべては、著しく相関していた。

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、このような課題を解決するものである。

【課題を解決するための手段】

【0010】

本発明は、独立請求項１及び９にそれぞれ記載されている、複数の染色によって染色されている生物組織サンプルから取得されるマルチチャネル画像を分析する画像処理方法及び画像処理システムに関するものである。さらなる実施形態は、従属請求項において与えられ、本発明のさらなる態様は、さらなる独立請求項において与えられる。

【0011】

[0009]本願明細書において理解される「生物組織サンプル」は、任意の生物サンプルであり、例えば解剖病理学のための人間又は動物の体から得られる外科標本である。生物サンプルは、前立腺の組織サンプル、胸部組織サンプル、結腸組織サンプル又は他の器官又は体の部位から得られる組織サンプルでもよい。

【0012】

[0010]本願明細書において理解される「マルチチャネル画像」は、異なる生物学的構造、例えば核及び組織構造が特定の蛍光色素によって同時に染色される生物組織サンプルから得られるデジタル画像を含み、特定の蛍光色素の各々は、マルチチャネル画像のチャネルの１つを構成している異なるスペクトル帯において蛍光を発する。生物組織サンプルは、複数の染色によって及び／又は染色及び対比染色によって染色されてもよく、後者は、「単一マーカー画像」とも称される。

【0013】

[0011]本願明細書において理解される「分解（アンミックスされた）画像（ｕｎｍｉｘｅｄ ｉｍａｇｅ）」は、グレー値又はマルチチャネル画像の１つのチャネルのために得られたスカラー画像を含む。マルチチャネル画像を分解することによって、チャネル当たり１つの分解画像が得られる。

【0014】

[0012]本願明細書において理解される「カラーチャネル」は、画像センサのチャネルである。例えば、画像センサは、３つのカラーチャネル、例えば赤（Ｒ）、緑（Ｇ）及び青（Ｂ）を有することができる。

【0015】

[0013]本願明細書において理解される「ヒートマップ」は、マトリックスに含まれる個々の値が色として描写されるデータのグラフ図である。
[0014]本願明細書において理解される「閾値化」は、所定の閾値を適用すること、又は、局所最大値をソートし、ソートされたリストを提供し、ソートされたリストの上位から所定数の局所最大値を選択することを含む。

【0016】

[0015]本願明細書において理解される「空間ローパスフィルタ処理」は、画像ピクセルの近傍におけるローパスフィルタ処理動作、特に線形又は非線形動作を実行する空間フィルタを用いた空間フィルタ処理を含む。特に、空間ローパスフィルタ処理は、畳み込みフィルタを適用することによって実行されてもよい。空間フィルタ処理は、従来技術（Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（デジタルイメージプロセッシング）、第３版、Ｒａｆａｅｌ Ｃ．、Ｇｏｎｚａｌｅｚ、Ｒｉｃｈａｒｄ Ｅ．Ｗｏｏｄｓ、１４５ページ、第３．４．１章参照）から公知である。

【0017】

[0016]本願明細書において理解される「局所最大値フィルタ処理」は、ピクセルがサブ画像領域の最大値に等しい場合、ピクセルが局所最大値であると考えられるフィルタ処理動作を含む。局所最大値フィルタ処理は、いわゆる最大値フィルタを適用することによって実行可能である（Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（デジタルイメージプロセッシング）、第３版、Ｒａｆａｅｌ Ｃ．、Ｇｏｎｚａｌｅｚ、Ｒｉｃｈａｒｄ Ｅ．Ｗｏｏｄｓ、３２６ページ、第５章参照）。

【0018】

[0017]本願明細書において理解される「視野（ＦＯＶ）」は、所定サイズ及び形状、例えば矩形の又は円形を有する画像部分を含む。
[0018]病理学者又は生物学者によってマルチチャネル画像の視野を手動でマークするという面倒な作業を回避し、それによって主観的な判断及び人為ミスも取り除くとともに、自動かつ信頼性が高い技術がマルチチャネル画像の視野を識別するために提供されるので、本発明の実施形態は特に有利である。空間ローパスフィルタ処理、局所最大値フィルタ処理及び閾値化動作は、高処理速度で実行可能なため、ユーザによって経験される計算労力及び待ち時間は、最小化可能である。これは、視野の定義が、マルチチャネル画像上で直接実行されるのではなく、高処理速度を可能にするフィルタ処理及び閾値化された画像に基づいて実行されるという事実に起因する。

【0019】

[0019]ステップｆにおける分析が最大解像度のマルチチャネル画像において実行され、空間ローパスフィルタ処理された分解画像において実行されないという点に留意されたい。利用できる画像情報の全体が分析の実行に利用可能であり、フィルタ動作、すなわち、ステップｂ、ｃ及びｄは、全体分析が実行されることになっている関連した視野の識別のためだけに機能するということを、これは保証する。

【0020】

[0020]本発明の他の実施形態に従って、分解画像の１つは、上述したように視野を定めるために処理され、分解画像の別の１つは、組織領域の識別のためにセグメンテーションされる（ｓｅｇｍｅｎｔｅｄ）。適切なセグメンテーション技術は、従来技術（Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（デジタルイメージプロセッシング）、第３版、Ｒａｆａｅｌ Ｃ．、Ｇｏｎｚａｌｅｚ、Ｒｉｃｈａｒｄ Ｅ．Ｗｏｏｄｓ、第１０章、６８９ページ及びＨａｎｄｂｏｏｋ ｏｆ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ，Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ａｎａｌｙｓｉｓ（メディカルイメージング、プロセッシング及び分析のハンドブック）、Ｉｓａａｃ Ｎ．Ｂａｎｋｍａｎ、Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ、２０００年、第２章参照）から、公知である。非組織領域は、分析のために関心がないので、非組織領域は、セグメンテーションによって取り除かれる。

【0021】

[0021]セグメンテーションは、これらの非組織領域が取り除かれるマスクを提供する。空間ローパスフィルタ処理又は局所最大値フィルタ処理又は閾値化動作の前又は後に、かつ、視野が定められる前又は後に、結果として生じる組織マスクは、分解画像に適用可能である。処理負荷をさらに低減するために、初期段階で、例えば空間ローパスフィルタ処理の実行前に組織マスクを適用する方が有利になりうる。

【0022】

[0022]本発明の一実施形態に従って、組織マスクを提供するためにセグメンテーションされる分解画像の別の１つは、請求項１のステップｂ−ｅに従って処理される分解画像によって表される染色に対する対比染色である１つの染色を表すチャネルから得られる。

【0023】

[0023]本発明の一実施形態に従って、視野は、分解画像の少なくとも２つのために定められる。２つの異なる分解画像において定められる視野は、同一又はほぼ同一の画像位置にある場合、マージ可能である。単一の視野が、共通の生物学的構造を識別する同一位置に配置された染色のために生ずるように、同一位置に配置可能な染色にとって、これは特に有利である。この種の視野をマージすることによって、処理負荷はさらに低減され、ステップｆの分析はマージされた視野のための一度だけ実行されればよい。さらに、２つの関連する結果ではなく、１つの分析結果のみが示されるので、病理学者又は生物学者にとって認識負担も低減される。実施形態に応じて、２つの視野は、視野の空間的重なりの程度が重なり閾値を上回る場合、マージされてもよい。

【0024】

[0024]本発明の実施形態に従って、視野の分析は、考慮されている視野内のマルチチャネル画像に示される生物学的細胞の細胞計数によって実行される。細胞計数は、視野に適用される適切な画像分析技術を用いて実行可能である。特に、細胞計数は、画像分類技術によって実行可能である。

【0025】

[0025]本発明の他の実施形態に従って、視野の分析は、トレーニングされた畳み込みニューラルネットワークを用いて、例えば、視野又は視野から得られる画像パッチを畳み込みニューラルネットワークに入力し、それぞれ視野又は画像パッチ内の生物学的特徴の存在確率を決定することによって実行される。最初に視野内の関心位置を識別し、次にこの関心位置を含む画像パッチを抽出することによって、画像パッチは、畳み込みニューラルネットワークへの入力のための視野から抽出されてもよい。

【0026】

[0026]本発明の他の実施形態に従って、分析は、データ分析、例えばクラスタ分析又は統計分析として、ステップｆにおいて視野に実行される。
[0027]本発明の他の態様に従って、複数の染色によって染色されている生物組織サンプルから取得されるマルチチャネル画像を分析するための画像処理システムは、本発明の方法を実行するように構成される。

【0027】

[0028]本開示は、スライド画像全体の各細胞マーカーの密度に基づいて、視野（ＦＯＶ）の自動選択のためのシステム及び方法を提供する。本願明細書に記載されている動作は、分解された多重スライドから、又は、個別に染色されたスライドから個々のマーカーのための画像を読み取るステップと、個々のマーカー画像から組織領域マスクを計算するステップと、を含む。ローパスフィルタを個々のマーカー画像チャネルに適用し、各マーカーのための候補ＦＯＶとして上位Ｋの最高強度領域をヒートマップから選択することによって、各マーカーのヒートマップが決定されてもよい。個々のマーカー画像からの候補ＦＯＶは、一緒にマージされる。マージすることは、最初にすべての個々のマーカー画像を共通座標系にレジストレーションし、形態的動作によってマージすることによって、入力設定又は選択に基づいて、ＦＯＶのすべてを一緒に同一座標系に加えること又は選択されたマーカー画像からのＦＯＶのみを加えることの一方又は両方を含んでもよい。その後、識別されたＦＯＶのすべては、逆レジストレーション（ｉｎｖｅｒｓｅ ｒｅｇｉｓｔｒａｔｉｏｎ）を用いて、元の画像に戻され、対応するＦＯＶ画像を高解像度で得る。本発明をいかなる理論又は機構にも制限することを望まずに、本発明のシステム及び方法は、再現可能で、人間の読者によって偏らず、より効率的であるという利点を提供することができる。

【0028】

[0029]複数の低解像度の単一画像マーカースライドを用いたＦＯＶの自動選択の本発明の方法は、ＦＯＶ選択プロセスの信頼性及び効率を大きく改善する。視野の選択を自動化することによって、同一の方法は、個々の読者の主観性を低減して適用される。さらに、ＦＯＶ選択を実行するための低解像度画像の使用は、計算効率をさらに改善し、分析者は、組織領域の分析へ迅速に進むことができる。いくつかの実施形態では、本開示は、より低解像度画像を使用し、ＦＯＶの計算を高速化する。画像が低解像度であるので、ヒートマップ及び組織領域マスクの計算は、コンピュータ的に非常に高速化される。これによって、ＦＯＶは、自動かつ高速に選択可能になり、組織サンプルの分析も高速化する。

【0029】

[0030]いくつかの実施形態では、本件開示は、スライド全体の自動分析の品質管理用システムを提供し、前記システムは、プロセッサ及びプロセッサに結合されたメモリを含み、前記メモリは、コンピュータ可読命令を格納し、前記コンピュータ可読命令は、前記プロセッサによって実行されるとき、前記プロセッサに、ＩＨＣスライドの画像の複数の候補視野（ＦＯＶ）の一部をマージするステップと、複数の候補視野のマージされた部分を画像に表示するステップと、を含む動作を実行させる。

【0030】

[0031]他の実施形態では、本発明は、生物組織サンプルの画像内の構造の自動検出の品質管理用システムを特徴とする。画像収集システム、プロセッサ及びプロセッサに結合されたメモリがシステムに含まれてもよい。メモリは、コンピュータ可読命令を格納することができ、コンピュータ可読命令は、プロセッサによって実行されるとき、プロセッサに例えば、画像収集システムからカラー画像を受け取るステップと、カラー分解動作を前記画像に適用し、関心がある混合されたカラーチャネル内の単一カラー画像を生成するステップと、空間周波数フィルタを単一カラー画像に適用するステップと、局所最大値フィルタをフィルタ処理カラーチャネル画像に適用するステップと、局所最大値フィルタ画像を閾値化し、関心領域を含むバイナリ画像を生成するステップと、分離されたバイナリ領域を候補視野（ＦＯＶ）として識別するステップと、のような動作を実行させる。

【0031】

[0032]いくつかの実施形態では、本開示は、プロセッサによって実行されるコンピュータ可読コードを格納する有形の非一時的コンピュータ可読媒体を提供し、プロセッサは、患者に関連付けられた複数の画像の各々から組織領域マスクを計算するステップと、組織領域マスクに基づき、複数の画像の各々のための複数の候補視野を備えるリストを生成するステップと、複数の候補視野（ＦＯＶ）の一部をマージするステップと、複数の候補視野のマージされた部分を複数の画像の１つ又は複数に表示するステップと、を含む動作を実行する。

【0032】

[0033]いくつかの実施形態では、本開示は、プロセッサによって実行されるコンピュータ可読コードを格納する有形の非一時的コンピュータ可読媒体を提供し、プロセッサは、各フォルダが患者に関連付けられた複数のバイオマーカーに対応する複数の画像を含む、画像フォルダのリストをロードするステップと、画像内で識別されるバイオマーカーの各々のためのヒートマップを表示するステップと、ユーザが、画像又はヒートマップの少なくとも１つからＦＯＶの数を選択するのを許可するステップと、を含む動作を実行する。

【0033】

[0034]他の実施形態では、本発明は、処理システムにより実行されるための、かつ、生物組織サンプル内の画像内の構造の自動検出のためのコンピュータ実行可能命令を有する有形の非一時的コンピュータ可読媒体を特徴とする。コンピュータ実行可能命令は、実行されるとき、処理システムに、画像収集システムからカラー画像を受け取るステップと、カラー分解動作を前記画像に適用し、関心がある混合されたカラーチャネル内の単一カラー画像を生成するステップと、空間周波数フィルタを単一カラー画像に適用するステップと、局所最大値フィルタをフィルタ処理カラーチャネル画像に適用するステップと、局所最大値フィルタ画像を閾値化し、関心領域を含むバイナリ画像を生成するステップと、分離されたバイナリの領域を候補視野（ＦＯＶ）として識別するステップと、のような動作を実行させることができる。

【0034】

[0035]本開示の他の実施形態は、生物組織サンプルの画像内の構造の自動検出のための方法を特徴とする。方法は、画像システムによって実行されてもよく、コンピューティングデバイスによって可読な媒体に格納されてもよい。これらの方法は、プロセッサによって実行される論理命令を含んでもよく、プロセッサは、カラー画像を受け取るステップと、カラー分解動作を画像に適用し、単一カラー画像（スカラー値又はグレースケール像とも称される）を生成するステップと、関心がある構造特徴に対応する空間的周波数が高められ、他のすべての空間的周波数が減少するように、空間周波数フィルタを単一カラー画像に適用するステップと、局所最大値フィルタのカーネルが単一カラー画像に適用される空間フィルタリングによって高められる特徴の空間範囲のオーダの空間範囲を有するように、局所最大値フィルタをフィルタ処理カラーチャネル画像に適用するステップと、局所最大値フィルタ画像を閾値化し、関心領域を含むバイナリ画像を生成するステップと、分離されたバイナリの領域を候補視野（ＦＯＶ）として識別するステップと、のような動作を実行する。いくつかの実施形態では、バイナリ画像は、画像内の複数の局所最大を識別し、識別された局所最大に基づいて、複数の候補ＦＯＶをさらに識別してもよい。他の実施態様では、複数の候補ＦＯＶは、画像内の他の強度値に対する強度値に関連付けられる。

【0035】

[0036]さらに他の実施形態では、動作は、複数の候補ＦＯＶを昇順又は降順でランク付けするステップと、所定数の複数の候補ＦＯＶを受け取り、出力するステップと、所定数のＦＯＶを最高強度領域から選択するステップと、をさらに含んでもよい。

【0036】

[0037]さらに、本発明は、高速に有意な診断指標を収集するのに驚くほど効果的であり、診断作業者は、診断による重要領域の予め選択された収集を高速に調べることができる。本発明をいかなる特定の動作又は機構にも制限せずに、局所最大値フィルタをフィルタ処理カラーチャネル画像に適用するステップの前の、空間的周波数フィルタ、例えばガウスフィルタ又は局所平均フィルタを単一カラー画像に適用するステップ（関心がある構造特徴に対応する空間的周波数は高められ、他のすべての空間的周波数は減少する）は、有意な診断指標のこの迅速な収集を可能にする。組織学スライドにおける有意な診断指標のコンピュータ実装収集に関する従来技術は、これらのステップを有さない。

【0037】

[0038]組織スライド画像は、多くの特徴を含み、そのうちの少数のみが、任意の特定の研究に関心がある。それらの関心領域は、選択的な染色取り込みによってもたらされる特定色を有することができる。それらは、広い空間範囲を有してもよい。重要なことに、非関心領域は、空間周波数フィルタリングを用いて、画像から除去することができるいくつかの特定の空間的周波数を有してもよい。この種のフィルタは、ローパスフィルタ、ハイパスフィルタ及びバンドパスフィルタを含むが、これらに限定されるものではない。より慎重に調整された空間周波数フィルタは、整合フィルタとして公知のフィルタでもよい。空間周波数フィルタの非限定的な例は、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、マルチバンドパスフィルタ及び整合フィルタを含むが、これらに限定されるものではない。この種のフィルタは、静的に定められてもよいし、適応的に生成されてもよい。

【0038】

[0039]それゆえ、関心領域を位置決めするプロセスにおいて、分解プロセスによって最初に、画像の主要なカラーチャネル、Ｒ、Ｇ及びＢに適用される線形演算として見られることができる適当な色を選択することは、有用である。空間周波数フィルタリングは、画像内の関心特徴を優先するためにもまた適用される。これらの動作は、両方とも線形演算であるので、いずれの順序で適用されてもよい。

【0039】

[0040]この領域選択と並行して、例えば、組織が存在するスライド画像の総領域のみを選択し、空の領域を排除するように、完全に異なって調整された空間周波数フィルタを用いて形成されるより幅広いセグメンテーションマスクが、存在してもよい。それゆえ、複数の異なる空間周波数フィルタは、同一の組織スライド画像に適用されてもよい。

【0040】

[0041]いったんフィルタ処理されると、関心領域は、局所最大値フィルタ、結果の各ピクセルに、最大フィルタのカーネルの下にあるソース画像から最大ピクセル値の値を保持させることによって、画像を生成する一種の形態学的な非線形フィルタを適用することによって位置決めされてもよい。カーネルは、任意の形状及びサイズの幾何学的なマスクであるが、この目的のために、関心特徴のオーダの寸法を有するように構成される。局所最大値フィルタからの出力画像は、カーネルのように形成される島を有し、その領域内の最大ピクセル値に等しい一定値を有する傾向がある。

【0041】

[0042]いくつかの実施形態では、局所最大値フィルタ画像の現在の構造を用いて、１のバイナリマスク値を、閾値を上回る対応するフィルタ画像ピクセルに割り当て、０の値を、閾値を下回る対応するフィルタ画像ピクセルに割り当てることによって、閾値は、フィルタ画像をバイナリマスクに変換するために適用されてもよい。結果は、領域としてラベル付け可能であり、計測可能な空間範囲を有する１の塊である。ともに、これらの領域ラベル、位置及び空間範囲は、関心領域（ＲＯＩ）又は視野（ＦＯＶ）の記録を提供する。

【図面の簡単な説明】

【0042】

【図1A】[0043]図１Ａは本開示の例示的実施形態に従うＦＯＶの自動選択のためのシステムを表す。

【図1B】図１Ｂは本開示の例示的実施形態に従うＦＯＶの自動選択のためのワークフローを表す。

【図2】[0044]本開示の例示的実施形態に従うヒートマップ計算を表す。

【図3】[0045]本開示の例示的実施形態に従う組織マスク計算を表す。

【図4】[0046]本開示の例示的実施形態に従う候補ＦＯＶを表す。

【図5】[0047]図５Ａは、本開示の例示的実施形態に従い、すべてのマーカーからＦＯＶをマージすることを表し、図５Ｂは、本開示の例示的実施形態に従い、選択されたマーカーからＦＯＶをマージすることを表す。

【図6】[0048]図６Ａ及び図６Ｂは本開示の例示的実施形態に従うＦＯＶの統合を表す。

【図7】[0049]本開示の例示的実施形態に従う、すべてのマーカービューを用いた画像分析のためのユーザインタフェースを表す。

【図8】[0050]本開示の例示的実施形態に従う、個々のマーカービューを用いた画像分析のためのユーザインタフェースを表す。

【図9】[0051]本開示の例示的実施形態に従う、免疫スコア計算のためのデジタル病理学ワークフローを表す。

【図10】[0052]本発明の本発明の例示的実施形態のためのプロセスフローチャートを表す。

【図11a】[0053]図１１ａは単一の染色マーカー画像から開始する、本発明の例示的実施形態のためのプロセスフローチャートを表す。

【図11b】図１１ｂは単一の染色マーカー画像から開始する、本発明の例示的実施形態のためのプロセスフローチャートを表す。

【図12】[0054]多重スライドから開始する、本発明の例示的実施形態のためのプロセスフローチャートを表す。

【図13】[0055]単一染色画像から開始する、本発明の例示的実施形態のためのプロセスフローチャートを表す。

【発明を実施するための形態】

【0043】

[0056]本発明は、スライド画像全体内の各細胞マーカーの密度に基づく視野（ＦＯＶ）の自動選択ためのシステム及び方法を特徴とする。本願明細書に記載されている動作は、分解された多重スライドから、又は、個別に染色されたスライドから個々のマーカーのための画像を読み取るステップと、個々のマーカー画像から組織領域マスクを計算するステップと、を含むが、これに限定されるものではない。各マーカーのヒートマップは、ローパスフィルタを、個々のマーカー画像チャネルに適用し、各マーカーのための候補ＦＯＶとして、上位Ｋの最高強度領域をヒートマップから選択することによって決定されてもよい。次に、個々のマーカー画像からの候補ＦＯＶは、一緒にマージされてもよい。マージすることは、最初にすべての個々のマーカー画像を共通座標系にレジストレーションし、形態的動作によってマージすることによって、入力設定又は選択に基づいて、ＦＯＶのすべてを一緒に同一座標系に加えること又は選択されたマーカー画像からのＦＯＶのみを加えることの一方又は両方を含んでもよい。その後、識別されたＦＯＶのすべては、逆レジストレーションを用いて、元の画像に戻され、対応するＦＯＶ画像を高解像度で得る。本発明をいかなる理論又は機構にも制限することを望まずに、本発明のシステム及び方法は、再現可能で、人間の読者によって偏らず、より効率的であるという利点を提供することができる。

【0044】

[0057]いくつかの実施形態では、スライド全体の自動分析の品質管理用システムは、画像収集システム（１０２）、プロセッサ（１０５）及びプロセッサ（１１０）に結合されたメモリを備える。メモリは、コンピュータ可読命令を格納するように構成され、コンピュータ可読命令は、プロセッサによって実行されるとき、プロセッサに以下の動作の１つ又は複数の動作、すなわち、画像、例えば、高解像度入力画像（２３１）を画像収集システム（１０２）から読み取るステップと、高解像度入力画像の低解像度バージョンを計算又は受け取るステップと、各画像マーカー画像が低解像度入力画像の単一カラーチャネル（２３２）である複数の低解像度画像マーカー画像を、画像収集システム（１０２）から読み取るステップと、低解像度入力画像に対応する組織領域マスク（２３３）を計算するステップと、各画像マーカー画像（１１４）のローパスフィルタ処理画像（２３４）を計算するステップと、マスクされフィルタ処理されたものを、ローパスフィルタ処理画像によって掛け合せられた組織領域マスクである各マスクされたフィルタ処理画像マーカー画像（１１３）のために生成するステップと、各マスクされたフィルタ処理画像（１１６）内の複数の候補視野（ＦＯＶ）を識別するステップと、画像マーカー画像（１１７）ごとに複数の候補ＦＯＶのサブセットを複数のマージされたＦＯＶにマージするステップと、複数の候補視野のマージされた部分を入力画像に表示するステップとを含む動作を実行させる（ただし、これらの動作に限定されるものではない）。

【0045】

[0058]いくつかの実施形態では、ヒートマップは、マスクされたフィルタ処理画像のために計算されてもよい。いくつかの実施形態では、ヒートマップは、色をマスクされたフィルタ処理画像に適用することを含み、低強度領域は、青色に割り当てられ、高強度領域は、黄色、橙色及び赤色に割り当てられる。任意の他の適切な色又は色の組合せが、低強度領域及び高強度領域に割り当てられるために用いられてもよい。

【0046】

[0059]いくつかの実施形態では、組織領域マスクの生成は、以下の動作の１つ又は複数の動作、すなわち、低解像度入力画像（３３６）の輝度（３３７）を計算するステップと、輝度画像（３３８）を生成するステップと、標準偏差フィルタを輝度画像（３３９）に適用するステップと、フィルタ処理輝度画像（３４０）を生成するステップと、所定の閾値を上回る輝度を有するピクセルが１に設定され、閾値を下回るピクセルが０に設定されるように、閾値をフィルタ処理輝度画像（３４１）に適用するステップと、組織領域マスク（３４２）を生成するステップと、の動作を含む（ただし、これらの動作に限定されるものではない）。

【0047】

[0060]いくつかの実施形態では、組織領域マスクは、高解像度入力画像から直接計算される。この場合、組織領域マスクは、フィルタ処理画像マーカー画像に適用される前に、低解像度画像に変換されてもよい。

【0048】

[0061]いくつかの実施形態では、画像マーカー画像は、多重スライドを分解する（１１１）ことによって得られ、分解モジュールは、基準カラーマトリックス（１１２）を用いて、どの色が個々のカラーチャネルに対応するかを決定する。他の実施態様では、画像マーカー画像は、単一染色スライドから得られる。

【0049】

[0062]いくつかの実施形態では、画像レジストレーションプロセスは、基準画像として機能する１つの画像マーカー画像を選択するステップと、基準画像の座標フレームに対する各画像マーカーの変換を計算するステップと、を含む。基準画像に対する各画像の変換を計算する方法は、当業者に周知である。他の実施態様では、画像が多重基準スライドを分解することによって得られる場合、すべての分解画像がすでに同一座標系にあるので、レジストレーションは必要ない。

【0050】

[0063]本開示は、視野（ＦＯＶ）の自動選択のためのシステム及び方法を提供する。いくつかの実施形態では、ＦＯＶ選択は、スライド画像全体内の各細胞マーカーの密度に基づく。本願明細書に記載されている動作は、分解された多重スライドから、又は、個別に染色されたスライドから個々のマーカーのための画像を読み取るステップと、個々のマーカー画像から組織領域マスクを計算するステップと、を含む。各マーカーのマスクされたフィルタ処理画像は、ローパスフィルタを個々のマーカー画像チャネルに適用し、組織領域マスクを適用することによって決定されてもよい。マスクされたフィルタ処理画像からの上位Ｋの最高強度領域は、各マーカーのための候補ＦＯＶとして選択される。個々のマーカー画像からの候補ＦＯＶは、一緒にマージされる。マージすることは、最初にすべての個々のマーカー画像を共通座標系にレジストレーションし、形態的動作によってマージすることによって、入力設定又は選択に基づいて、ＦＯＶのすべてを一緒に同一座標系に加えること又は選択されたマーカー画像からのＦＯＶのみを加えることの一方又は両方を含んでもよい。その後、識別されたＦＯＶのすべては、逆レジストレーションを用いて、元の画像に戻され、対応するＦＯＶ画像を高解像度で得る。本発明をいかなる理論又は機構にも制限することを望まずに、本発明のシステム及び方法は、再現可能で、人間の読者によって偏らず、より効率的であるという利点を提供することができる。その結果、本開示に従うＦＯＶの自動選択のためのデジタル病理学ワークフローは、病理学者又は他の評価部によってさらに分析されうる候補ＦＯＶを自動的に提供するコンピュータベースのＦＯＶ選択アルゴリズムを含む。

【0051】

[0064]本願明細書に記載されている動作は、例示目的のために、免疫細胞の識別に関連して、及び、免疫スコア計算用に記載されてきた。しかしながら、システム及び方法は、細胞又は生物試料の任意のタイプの画像に適用されてもよく、任意のタイプの細胞又は細胞群のタイプ、密度及び位置の決定に適用できる。本明細書において、「生物試料」及び「生物組織サンプル」という用語は、区別せずに用いられうる。さらに、がん組織及び免疫マーカーの他に、本開示は、任意の疾患又は非疾患状態の任意の生物試料又は腫瘍、及び、任意のタイプの染色を受けた生物試料の画像、例えば、蛍光及び非蛍染色で染色された生物試料の画像に適用できる。また、ステップの順序が本願明細書に記載されている順序から変化してもよいということを当業者は認めるであろう。

【0052】

[0065]図１Ａ−１Ｂは、それぞれ、本開示の例示的実施形態に従う、ＦＯＶの自動選択のためのシステム１００及びワークフローを表す。図１Ａを参照すると、システム１００は、メモリ１１０を備え、メモリ１１０は、コンピュータ１０１に結合されたプロセッサ１０５によって実行される複数の処理モジュール又は論理命令を格納する。画像収集システム１０２からの入力は、１つ又は複数の処理モジュールの実行をトリガすることができる。画像収集システム１０２は、カラーチャネル（例えばＲＧＢ）を有する画像センサを備えてもよい。プロセッサ１０５及びメモリ１１０の他に、コンピュータ１０１は、ユーザ入出力装置、例えばキーボード、マウス、スタイラス及びディスプレイ／タッチスクリーンもまた含む。以下の議論において説明するように、プロセッサ１０５は、メモリ１１０に格納される論理命令を実行し、１つ又は複数の染色（例えば、フルオロフォア、量子ドット、試薬、チラミド、ＤＡＰＩなど）によって染色されたスライド（生物試料、例えば組織サンプルを含む）の画像の１つ又は複数のＦＯＶを自動的に識別することを含む。

【0053】

[0066]画像収集システム１０２は、検出器システム、例えばＣＣＤ画像センサを有するＣＣＤ検出システム、又はスキャナ又はカメラ、例えばスペクトルカメラ、又は顕微鏡のカメラ又は顕微鏡及び／又は撮像素子を有するスライド全体スキャナを含むことができる（画像収集システムは上述した例に限定されない）。例えば、スキャナは生物試料（基板、例えばスライドに配置可能である）を走査することができ、画像はデジタル画像としてシステムのメモリに保存されてもよい。画像収集システム１０２から受信した入力情報は、ターゲット組織タイプ又は対象に関する情報を、染色及び／又は画像プラットフォームの識別と同様に含んでもよい。例えば、サンプルは、明視野画像のための発色染色又は蛍光画像のためのフルオロフォアに関連付けられた１つ又は複数の異なるバイオマーカーを含む染色アッセイの適用によって染色されてきてもよい。染色アッセイは、明視野画像のための発色染色、有機フルオロフォア、量子ドット、又は、蛍光画像のための量子ドットと一緒の有機フルオロフォア、又は、染色、バイオマーカー及び視覚装置又は画像装置の任意の他の組合せを用いることができる。さらに、典型的なサンプルは、染色アッセイをサンプルに適用する自動化された染色／アッセイプラットフォームにおいて処理され、染色サンプルを生ずる。入力情報は、特定の抗体分子のどれが及びいくつが、組織の特定の結合部位又はターゲット、例えば腫瘍マーカー又は特定の免疫細胞のバイオマーカーに結合するのかをさらに含むことができる。バイオマーカー及び／又はターゲットの選択は、システムに入力されてもよく、アッセイに適用されるべき染色の最適な組合せの決定を可能にする。システム１００に入力される追加の情報は、染色プラットフォームに関連する任意の情報を含むことができ、染色に使用される化学薬品の濃度、染色において組織に適用される化学薬品のための反応時間、及び／又は、組織の事前の分析条件、例えば組織年齢、固定方法、期間、サンプルが埋め込まれた方法、切断などを含む。画像データ及び他の入力情報は、直接送信されてもよいし、ネットワークを介して又はユーザが操作するコンピュータ１０１を介して提供されてもよい。

【0054】

[0067]分解モジュール１１１は、例えば、画像が多重画像である場合、画像を分解するように実行されてもよい。分解モジュール１１１は、画像を個々のマーカーカラーチャネルに分解する。分解モジュール１１１は、基準カラーマトリックスデータベース１１２から読み取り、基準カラーマトリックスを取得し、基準カラーマトリックスを使用し、分解動作を実行してもよい。画像が単一染色スライドである場合、画像は、ＦＯＶ選択のために直接用いられうる。いずれにせよ、ヒートマップ計算モジュール１１３は、個々のマーカー画像又は単一染色画像のためのヒートマップを評価するように実行されてもよい。ヒートマップは、さまざまな構造の密度又はバイオマーカーをスライド全体画像にマップする。これを達成するために、ヒートマップ計算モジュール１１３は、ローパスフィルタモジュール１１４によって処理されるローパスフィルタ処理画像に色を割り当てるような動作を実行してもよい。組織領域マスクもまた、ローパスフィルタ処理画像に適用されてもよい。ヒートマップは、ピクセルを、そのピクセルのそれぞれの密度に従って示し、それゆえ、各画像の細胞分布の密度に対応する。例えば、ヒートマップは、低密度ピクセルに使用する色より暖色で高密度ピクセルを示すことによって、高密度ピクセルと低密度ピクセルを区別し、ここで、「高密度ピクセル」とは、高いピクセル値を有するピクセルを意味する。局所最大値フィルタモジュール１１５は、局所最大値フィルタをローパスフィルタ処理画像に適用し、画像の局所最大値を取得するように実行されてもよい。その後、上位ＫのＦＯＶ選択モジュール１１６は、最高密度を有する上位Ｋ領域を局所最大値フィルタ処理画像から選択するように実行されてもよい。上位Ｋ領域は、各画像のための候補ＦＯＶに指定される。例えば、細胞は、高密度領域ではともに集まり、一方、低密度領域ではより散在してもよい。各画像からのＦＯＶは、マージＦＯＶモジュール１１７によって一緒にマージされ、マージＦＯＶモジュール１１７は、すべてのＦＯＶを取り出す、又は、選択されたマーカーのみからＦＯＶを取り出し、それらをマージするような動作を実行する。レジストレーションモジュール１１８は、すべての画像を同一座標系に移動するために呼び出され、その結果、ＦＯＶの座標を、同一座標系において直接加えることができる。

【0055】

[0068]上述したように、モジュールは、プロセッサ１０５によって実行される論理を含む。本願明細書において、及び、この開示全体にわたって用いられる「論理」とは、プロセッサの動作に影響を及ぼすために適用されうる命令信号及び／又はデータの形を有する任意の情報を意味する。ソフトウェアは、この種の論理の一例である。プロセッサの例は、コンピュータプロセッサ（処理ユニット）、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ及びマイクロコントローラなどである。論理は、コンピュータ可読媒体、例えばメモリ１１０に格納される信号から形成されてもよく、メモリ１１０は、例示的実施形態では、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能／電気的消去プログラム可能読取専用メモリ（ＥＰＲＯＭＳ／ＥＥＰＲＯＭＳ）、フラッシュメモリなどでもよい。論理は、デジタル及び／又はアナログハードウェア回路、例えば、論理的ＡＮＤ、ＯＲ、ＸＯＲ、ＮＡＮＤ、ＮＯＲ及び他の論理演算を備えるハードウェア回路もまた備えてもよい。論理は、ソフトウェア及びハードウェアの組合せから形成されてもよい。ネットワーク上で、論理は、サーバ又はサーバの複合体にプログラムされてもよい。特定の論理装置は、ネットワーク上の単一の論理位置に制限されるものではない。さらに、モジュールは、何ら特定の順番で実行される必要はない。各モジュールは、実行に必要なとき、他のモジュールを呼び出してもよい。

【0056】

[0069]図１Ｂには、ＦＯＶ選択のための例示的なワークフローが表される。図１Ｂにおいて、Ｎは、スライドに適用されるマーカーの数を表す。多重スライド１２１に対して、色分解１２２は、例えば、２０１３年６月３日に出願された特許出願第６１／８３０，６２０号及びＷＯ２０１４／１９５１９３Ａ１の「Ｉｍａｇｅ Ａｄａｐｔｉｖｅ Ｐｈｙｓｉｏｌｏｇｉｃａｌｌｙ Ｐｌａｕｓｉｂｌｅ Ｃｏｌｏｒ Ｓｅｐａｒａｔｉｏｎ（画像適応的な生理学的に妥当な色分離）」に開示される分解方法に従って実行され、その開示の全体は、参照によって本願明細書に取り込まれる。２０１４年２月２１日に出願され、名称が「Ｇｒｏｕｐ Ｓｐａｒｓｉｔｙ Ｍｏｄｅｌ ｆｏｒ Ｉｍａｇｅ Ｕｎｍｉｘｉｎｇ（画像分解のためのグループスパースモデル）」である特許出願第６１／９４３，２６５号及び２０１４年１２月１８日に出願されたＰＣＴ／ＥＰ２０１４／０７８３９２において開示された方法は、各マーカーのための画像１２３を得るために利用される例示的実施形態を開示し、両文献の開示の全体が、参照によって完全に本願明細書に取り込まれる。

【0057】

[0070]あるいは、画像が単一染色スライドである場合、各マーカーのための単一染色スライドの走査画像１２４は、ＦＯＶの自動選択システム、例えば図１Ａに表されるシステムへの入力として利用される。例えば、ヒートマップ計算動作が実行され、各マーカーの画像からホットスポット１２５を計算し、各マーカーのための上位の候補ＦＯＶ１２６を生成することができる。候補ＦＯＶ１２６は統合され１２７、最終的なＦＯＶリスト１２８を生成してもよい。最終的なＦＯＶリスト１２８は、病理学者が、生物試料、例えば、免疫細胞を評価するために利用する、選択のための可能なＦＯＶのリストを備える。

【0058】

[0071]本願明細書及びこの開示の全体にわたって用いられるように、ホットスポットは、高密度のマークされた（すなわち、染色された）細胞を含む領域であり、例えば、ホットスポットは、異なるタイプの画像及びマーカー、例えば、原位置ハイブリッド形成法（ＩＳＨ）マーカー、免疫組織化学（ＩＨＣ）マーカー、蛍光マーカー、量子ドットなどからの細胞とすることができる。本開示は、例としてＩＨＣ画像の免疫細胞を用いて、この特徴を示す（上述したように、本開示はＩＨＣ画像の免疫細胞に限定されるものではない）。本開示を考慮して、さまざまなアルゴリズムを用いて、当業者は、ホットスポットを見つけ出し、ホットスポットの自動選択を免疫スコア計算のモジュールとして使用することができる。本開示の例示的実施形態は、本願明細書に記載されているＦＯＶの自動選択動作を利用し、偏りのある手動で選択されたＦＯＶを回避するという課題を解決する。病理学者又は他の評価者にとって興味深いＦＯＶを自動的に識別するために、ヒートマップは、各マーカー又は単一マーカーを表している画像に対して、低解像度画像（例えば５倍ズーム画像）に基づいて計算される。

【0059】

[0072]図２は、本開示の例示的実施形態に従うヒートマップ計算を表す。図２に記載されている動作は、ヒートマップ計算がホットスポットを識別するためにどのように利用されるかを示す。例えば、入力画像２３１の単一マーカーチャネル２３２の場合、ローパスフィルタ処理画像２３４を用いてヒートマップ２３５を生成し、ヒートマップ２３５は、基本的にローパスフィルタ処理画像２３４を入力として受け取り、視覚化目的のためにそれの上位にカラーマップを適用する。例えば、赤色はローパスフィルタ処理画像の高強度ピクセルに対応し、青色は低強度ピクセルに対応してもよい。色及び／又は強度の他の表現は、この開示を考慮して当業者に明らかになりうる。組織領域マスク２３３は、組織領域を識別し、背景領域を除外することによって形成されてもよい。この識別は、画像分析動作、例えばエッジ検出などによって可能になってもよい。組織領域マスク２３３を用いて、画像内の非組織の背景雑音、例えば非組織領域を取り除く。

【0060】

[0073]図２に関して考慮される実施形態では、入力されたマルチチャネル画像２３１は、２つのチャネル、すなわち、ＦＰ３チャネル及びＨＴＸチャネルを提供する染色及びそのそれぞれの対比染色によって染色される。マルチチャネル画像２３１は、分解され、それぞれ、ＦＰ３チャネル及びＨＴＸチャネルの分解画像２３２及び２３８を提供する。

【0061】

[0074]分解画像２３２は、次に、空間ローパスフィルタによってローパスフィルタ処理され、ローパスフィルタ処理画像２３４を提供する。次に、ヒートマップ２３５は、視覚化目的のためのローパスフィルタ処理画像２３４に加えられてもよい。

【0062】

[0075]ローパスフィルタ処理画像２３４は、ヒートマップ２３５が加えられたか否かにかかわらず、次に、局所最大値フィルタ処理され、局所最大値フィルタ処理画像２３６を提供する。局所最大値フィルタ処理画像２３６は、多数の局所最大値２３９を備え、ここで考慮される例では、図２に示すように、５つの局所最大値２３９．１−２３９．５を備える。次に、例えば、局所最大値フィルタ処理画像２３６に閾値を適用することによって、閾値化動作が局所最大値フィルタ処理画像２３６に実行され、閾値化動作によって、この閾値を上回る局所最大値２３９．１及び２３９．４のみが取り除かれない。

【0063】

[0076]あるいは、局所最大値２３９は、ソートされたリストにランク付けされ、上位Ｋの局所最大値のいくつかのみが、リストから取り出され、ここで考慮される実施形態において例示的な目的でＫは２であり、その結果、局所最大値２３９．１及び２３９．４が生ずる。局所最大値２３９の各々は、隣接したピクセルのセットから成る。

【0064】

[0077]この閾値化動作は、閾値画像２３７を提供する。
[0078]閾値画像２３７の局所最大値２３９．１及び２３９．４の各々は、それぞれの視野２４０．１及び２４０．２の位置を定めてもよい。実施態様に応じて、これらの視野２４０．１及び２４０．２は、これらの視野が図６に関して後述するように次の処理動作の他の視野によってマージ可能か否かを検査するための候補視野でもよい。視野２４０．１及び２４０．２の位置は、閾値画像２３７及びその局所最大値によって定められる。しかしながら、視野の内容は、元のマルチチャネル画像２３１内のそれぞれの画像領域から取り出され、それぞれの視野の画像分析を実行するための完全な画像の情報内容を利用する。

【0065】

[0079]図３は、セグメンテーション法によって組織マスク２３３を計算するような、本開示の例示的実施形態に従う組織マスク計算を表す。組織ＲＧＢ画像のＲＧＢチャネル３３６の線形結合３３７が計算され、グレースケールの輝度画像３３８を作成する。Ｒ、Ｇ及びＢチャネルのための結合重み（例えば３３７の０．３、０．６、０．１）は、異なる応用に基づいて変更されうる。３ピクセル×３ピクセルの標準偏差フィルタ３３９は、輝度画像３３８に適用され、フィルタ処理輝度画像３４０を生ずる。ここで、フィルタサイズ（例えば３×３、５×５）は、異なる応用に基づいて変更されうる。組織マスク３４２は、フィルタ処理輝度画像３４０の閾値化３４１から得られるバイナリ画像である。例えば、組織マスク３４２は、１．５より大きいピクセル強度値を有する領域を備えてもよい。閾値化パラメータＭａｘＬｕｍ（例えば１．５、２．０、３．０）は、異なる応用に基づいて変化することができる。

【0066】

[0080]図４は、本開示の例示的実施形態に従う候補ＦＯＶを表す。候補ＦＯＶ４４３は、ヒートマップの上位Ｋの最高密度領域（ホットスポットとも呼ばれる）から選択される。例えば、Ｋは、５、１０、１５、２０などから選択可能である。

【0067】

[0081]局所最大値フィルタは、追加のヒートマップ２３５とともにローパスフィルタ処理画像２３４に適用され（図２参照）、局所最大値フィルタ処理画像２３６を提供する。ヒートマップ２３５が処理にとって必須ではなく、視覚化目的のために機能するということに留意されたい。局所最大値フィルタは、ピクセルの一定値の連結領域を、より低い値を有しているすべて外部境界ピクセルによって識別する関数である。それは、二次元画像に対して４つ又は８つの連結近傍を使用することができる。この機能の実装は、Ｍａｔｌａｂ（ｈｔｔｐ：／／ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏｍ／ｈｅｌｐ／ｉｍａｇｅｓ／ｒｅｆ／ｉｍｒｅｇｉｏｎａｌｍａｘ．ｈｔｍｌ）で利用できる。局所最大値は、連結領域において平均強度として得られる。局所最大値は、ソートされ、ホットスポットのランクを生じるソートされたリストを提供し、上位Ｋのホットスポットは、報告され、それゆえ局所最大値フィルタ処理画像を閾値化する。あるいは、所定の閾値が局所最大値フィルタ処理画像に適用され、閾値を上回るすべてのホットスポットが報告される。局所最大値フィルタ計算モジュールによって戻される領域は、局所最大値の位置である。

【0068】

[0082]本願明細書に記載されているように、異なるＦＯＶが異なるマーカー画像のために得られ、多重スライドの分解から、又は、単一染色スライドから生じてもよい。ＦＯＶは、統合され、診断中の患者ごとに、ＦＯＶの同一セットが異なるマーカーにわたって確実に参照される。ＦＯＶを統合するためのいくつかの考えられるオプションが存在する。図５Ａ−５Ｂは、それぞれ、本開示の例示的実施形態に従って、すべてのマーカーから、及び、選択されたマーカーからＦＯＶをマージすることを表す。例えば、図５Ａに示すように、異なるマーカー画像からのすべての候補ＦＯＶがマージされてもよい。あるいは、図５Ｂに示すように、異なるマーカー画像のための異なるＦＯＶが選択及びマージされてもよい。

【0069】

[0083]さらに、異なるマーカー画像のための異なるＦＯＶは、ユーザのニーズに基づいて独立して分析されてもよい。図６Ａ−６Ｂは、本開示の例示的実施形態に従うＦＯＶの統合を表す。図６Ａでは、すべてのＦＯＶが選択され、図６Ｂでは、特定のマーカーに対応するＦＯＶのみが選択される。各円６６１は、マーカーのための可能なＦＯＶを表す。各円６６１の各点６６２は、各ＦＯＶのための局所最大点を表す。各円６６１は、異なるマーカーを囲んでもよい。ライン６６３は、腫瘍領域と非腫瘍領域との間の分離に対応する。腫瘍領域の外側のＦＯＶ６６４は、モルフォロジー演算、例えば和集合及び共通集合によって除外される。最終的なＦＯＶ（すなわち、分析のために選択されるＦＯＶ）は、図５Ａ及び５Ｂの方法によって表されるように、各マーカーからのすべてのＦＯＶの和集合である。

【0070】

[0084]いくつかの実施形態では、ＦＯＶは、局所最大値の周りの長方形でもよい。他の実施態様では、ＦＯＶは、任意の形状でもよい。いくつかの実施形態では、ＦＯＶは、高輝度の領域の周りの境界でもよい。

【0071】

[0085]図６Ｂは、ユーザによる所定の課題のために最も重要なマーカーを特定し、選択されたマーカーに基づいてＦＯＶをマージすることを表す。例えば、ＰＦ３及びＣＤ８が最も重要なマーカーであると仮定する。単一マーカーのすべての画像は、同一座標系に、画像レジストレーションを使用して、整列配置されてもよい（例えば、基準座標は組織ブロックの中央のスライド部又は特定のマーカーを有するスライドとすることができる）。それゆえ、各画像は、その古い座標系から新規な基準座標系まで整列配置されてもよい。個々のマーカー画像から選択されたマーカー（例えばＦＰ３及びＣＤ８）のＦＯＶは、共通空間に整列配置されてもよく、モルフォロジー演算、例えば和集合及び共通集合を使用してマージされ、マージされたＦＯＶを得てもよい（図６ＢのＦＯＶ６６５）。図６Ｃは、モルフォロジー演算を示す。ＡがＣＤ８画像からのＦＯＶであり、ＢがＦＰ３画像からのＦＯＶであると仮定する。我々は、最初に、Ａ及びＢを同一座標系で重ね、Ａ及びＢの共通集合を計算することによって重なり領域Ｃを得る。我々は、次に、Ｃの領域とＡ（又はＢ）の領域との比率を評価する。比率が、以下「重なり閾値」と称する閾値（例えば０．６、０．８など）より大きい場合、我々はＦＯＶを選択し、さもなければ、我々はＦＯＶを破棄する。マージされたＦＯＶは、さらなる分析のために、逆レジストレーション（すなわち、新しい座標系でレジストレーションされた画像を、その元の古い座標系に整列配置する）を用いて、すべての単一マーカー画像に戻してマップされてもよい。腫瘍領域の外側のＦＯＶ６６４は、除外される。

【0072】

[0086]図７及び図８は、本開示の例示的実施形態に従って、すべてのマーカービュー及び個々のマーカービューを使用している画像分析のためのユーザインタフェースを表す。これらの例示的実施形態において、コンピューティングデバイスに関連付けられたユーザインタフェースは、ＦＯＶ選択を実行するために利用されてもよい。ユーザインタフェースは、オールマーカー機能（Ａｌｌ Ｍａｒｋｅｒ ｆｕｎｃｔｉｏｎａｌｉｔｉｅｓ）（図７）及びシングルマーカー機能（Ｓｉｎｇｌｅ Ｍａｒｋｅｒ Ｆｕｎｃｔｉｏｎａｌｉｔｉｅｓ）（図８）を有することができる。マーカー機能は、ユーザインタフェースの上部のタブから選択することによってアクセス可能である。図７に示すようにオールマーカー機能を使用するとき、すべてのマーカーが視認でき、ヒートマップ計算、ＦＯＶ選択、キーマーカー選択、レジストレーション及び逆レジストレーションが実行可能である。オールマーカービュー（すなわち、すべてのマーカーを並べて示すビュー）において、画像フォルダのリスト７７１をロードすること（ａ）のようなオプションが提供されてもよく、各フォルダは、同じケースのためのマルチプレックス及びシングル染色を含むすべての画像を含む。リストのすべての画像のバッチ処理が可能である。特徴パネル７７２に提供される他のオプションは、すべての画像のための軸を関連付け、対応する領域を見るために画像を同時に拡大縮小するすること（ｂ）、ＦＯＶの数を選択すること（ｃ）、画像を共通座標系に整列配置すること（ｄ）、及び、ＦＯＶを統合するために最も重要なマーカーをユーザが選択できること（ｅ）を含む。色は、ＦＯＶが生成されるマーカーを示して表されてもよい。提供されるさらなるオプションは、ユーザが、ヒートマップビューとＩＨＣビューとの間の切り替え可能なこと７７４、及び、各画像のヒートマップを計算すること７７３を含んでもよい。

【0073】

[0087]図８は、個別のマーカービュー又はシングルマーカービューを表し、各マーカーのための最終的に選択されたＦＯＶを表示する。このビューで提供される特徴は、スライド画像全体のサムネイル８８１を表示することを含んでもよく、ＦＯＶには、サムネイル画像内のボックスによって注釈が付けられ、ボックスの近くのテキスト番号は、ＦＯＶのインデックスを示す。他の特徴は、ユーザがＦＯＶリスト８８３から選択し、チェックボックスを用いて不必要なＦＯＶを削除し、選択されたＦＯＶ ８８２の高解像度画像を表示し、各ＦＯＶの画像をローカルフォルダに元の解像度で保存できること（ｄ）、及び、ユーザがラベルを各ＦＯＶに割り当てできること（ｅ）を含むことができる。ラベルは、ＦＯＶに関連付けられた領域、例えば周辺領域、腫瘍領域及びリンパ球領域などとすることができる。本願明細書に記載されている新しい特徴がこの開示を考慮して可能である限り、これらの代表的なインタフェースが、アプリケーションごとに異なりうること、さまざまなコンピューティング技術にわたって異なりうること、及び、異なるバージョンのインタフェースを使用してもよいことは、当業者によって認識されるものである。

【0074】

[0088]したがって、本願明細書に開示されるシステム及び方法が、ＦＯＶの自動選択を提供し、生物試料の分析にとって重要であり、組織分析スコアの計算、例えば免疫スコア計算に役立つことが見出された。本願明細書に開示される動作は、従来技術において公知の不利な点、例えば、ＦＯＶ選択が再現できず、人間読者の手動のＦＯＶ選択において偏るということを克服する。なぜなら、ＦＯＶの自動選択は、人間読者の手動の選択に依存することなく、コンピュータを介してＦＯＶを提供することが可能だからである。免疫細胞計数のような自動細胞計数とデータ分析とが組み合わされると、開示された動作によって、１つ又は複数の走査画像又は画像データを入力として取り入れ、最終的な臨床結果予測を出力する完全な自動ワークフローが可能になる。本願明細書に開示されるシステム及び方法が、ＦＯＶの自動選択を提供し、生物試料の分析にとって重要であり、例えば免疫スコア計算において、組織分析スコアの計算に役立つことが見出された。本願明細書に開示される動作は、従来技術において公知の不利な点、例えば、ＦＯＶ選択が再現できず、人間読者の手動のＦＯＶ選択において偏るということを克服する。なぜなら、ＦＯＶの自動選択は、人間読者の手動の選択に依存することなく、コンピュータを介してＦＯＶを提供することが可能だからである。自動免疫細胞計数とデータ分析とが組み合わされると、開示された動作によって、１つ又は複数の走査画像又は画像データを入力として取り入れ、最終的な臨床結果予測を出力する完全な自動ワークフローが可能になる。

【0075】

[0089]図９は、本開示の例示的実施形態に従う、免疫スコア計算のためのデジタル病理学ワークフローを表す。この実施形態は、本願明細書に開示されるＦＯＶの自動選択方法が免疫スコア計算ワークフローにおいてどのように利用されうるかを示す。例えば、スライドが走査され（９９１）、本願明細書に開示される動作に従って、ＦＯＶが選択（９９２）された後、各ＦＯＶにおいて異なるタイプの細胞の自動検出（９９３）が実行可能である。例えば、２０１４年５月２３日に出願された米国特許出願第６２／００２、６３３号及びＰＣＴ／ＥＰ２０１５／０６１２２６の「Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｃｅｌｌ Ｄｅｔｅｃｔｉｏｎ（細胞決定のための深層学習）」に開示される方法に従う自動の細胞検出技術は、細胞検出するために利用される例示的実施形態であり、上記文献は、その全体が参照によって本願明細書に取り込まれる。さらに、特徴（例えば、識別される細胞の数及び／又はタイプに関連する特徴）は、抽出可能であり（９９４）、各生物試料（例えば、組織サンプルなど）に対して検出された１つ又は複数の細胞に関連する。特徴は、組織画像内の異なる領域、例えば腫瘍領域及び周辺領域に関連する異なるＦＯＶにおける異なるタイプの細胞の数及び細胞の比率とすることができる。これらの特徴を用いて、分類をトレーニングし（９９５）（例えば、ランダムフォレスト及びサポートベクターマシン）、各ケースを異なる結果クラス（例えば、再発の可能性の有無）に分類することができる。

【0076】

[0090]図１０は、本発明の例示的実施形態のためのプロセスフローを表す。入力画像（１００１）は、画像収集システムから受け取られる。さらに、一連の低解像度マーカー画像（１００４）は、画像収集システムから受け取られる。マーカー画像は、高解像度画像の分解によって導出されてもよいし、単一染色スライド画像として受け取られてもよい。低解像度入力画像は、画像のどの部分が関心組織を含むかを示す組織領域マスクを計算するために用いられる（１００３）。低解像度画像マーカー画像は、ローパスフィルタを通過し、フィルタ処理画像マーカー画像を生成する（１００５）。次に、組織領域マスク（図２の組織マスク２３３参照）は、ローパスフィルタ処理画像に適用され、非関心領域をブロックする（０に減少する）。その結果、マスクされたフィルタ処理画像（１００６）が各マーカーのために得られる。局所最大値フィルタは、最大フィルタ処理画像に適用され、局所最大値を識別する（１００７）。上位Ｋの局所最大が選択され（１００８）、各局所最大値のために視野が定められる（１００９）。次に、すべての画像を共通の座標フレームに移動し、重ね、任意の重なり視野を結合することによって、各画像のためのＦＯＶがマージされる（１０１０）。次に、マージされた視野は、元の画像座標系に戻され、領域を高解像度入力画像から分析のために抽出する。

【0077】

[0091]図１１は、本発明の他の例示的実施形態のための異なるプロセスフローを示す。プロセスフローは、図１１ａに示すＦＯＶ生成ステップ（１１００）と、図１１ｂに示す視野マージステップ（１１２４）と、に分けられる。ＦＯＶ生成ステップにおいて、単一染色画像（１１０１）は、画像収集システムから受け取られる。画像は、ローパスフィルタ処理される（１１０２）。いくつかの実施形態では、画像は低解像度に変換されてもよく（１１０３）、これにより処理が速くなる。いくつかの実施形態では、単一カラーチャネルにすでに減少されていない場合、単一染色スライドから関心があるカラーチャネルを抽出するために分解ステップ（１１０４）が適用され、単一マーカー画像（１１０８）を生成してもよい。いくつかの実施形態では、ＨＴＸ画像（１１０５）もまた生成されてもよい。次に、単一マーカー画像は、セグメンテーションされ（１１０９）、関心特徴を識別する。セグメンテーション画像から、組織領域マスク（１１１０）が生成される。いくつかの実施形態では、単一マーカー画像は、単一マーカー画像内のさまざまな強度の領域に色を割り当てることによって、ヒートマップ（１１０７）を使用して視覚化されてもよい（１１０６）。次に、組織領域マスク（１１１０）は、単一マーカー画像（１１１１）に適用され、関心組織領域においてのみマーカー画像の強度を表示するフォアグラウンド画像（１１１２）を生成する。フォアグラウンド画像は、局所最大値フィルタ（１１１３）を通過し、強度のピークを識別する。候補ＦＯＶ座標は、局所最大値フィルタ処理画像の上位Ｋのピークとして識別される（１１１４）。最後に、各候補ＦＯＶ座標の周りの領域が定められ（１１１５）、候補ＦＯＶのリストを取得する（１１１６）。これらの動作は、単一染色スライドごとに実行される。

【0078】

[0092]ＦＯＶマージステップにおいて（１１２４）、さまざまな単一染色スライドのための候補ＦＯＶリストのすべてが取得される（１１１７）。１つの画像を基準画像として選択し、他の画像を基準画像に整合するように変換することによって、画像は、単一の座標フレームにレジストレーションされる（１１１８）。次に、候補ＦＯＶ座標は変換され、それに応じて、整列配置された候補ＦＯＶリストを取得する（１１１９）。次に、ＦＯＶは、重ねられ、かつ、マージされ（１１２０）、すべての画像のための統合ＦＯＶリストを取得する（１１２１）。次に、逆レジストレーションが実行され（１１２２）、統合ＦＯＶを、元の単一染色画像の元の座標系の各々に戻して変換する（１１２３）。次に、ＦＯＶは、元の単一染色スライドに表示されうる。

【0079】

[0093]図１２は、多重スライド（１２０１）を入力として使用する、本発明の代替実施形態のプロセスフローを示す。ＦＯＶ生成ステップにおいて、多重スライド（１２０１）は、画像収集システムから受け取られる。画像は、ローパスフィルタ処理される（１２０２）。いくつかの実施形態では、画像は低解像度に変換されてもよく（１２０３）、これにより、処理が速くなる。本実施形態では、多重スライドから関心があるカラーチャネルを抽出するために分解ステップ（１２０４）が適用され、複数の単一マーカー画像（１２０８）を生成する。いくつかの実施形態では、ＨＴＸ画像（１２０５）もまた生成されてもよい。次に、第１の単一マーカー画像は、セグメンテーションされ（１２０９）、関心特徴を識別する。セグメンテーション画像から、組織領域マスク（１２１０）が生成される。いくつかの実施形態では、単一マーカー画像は、単一マーカー画像内のさまざまな強度の領域に色を割り当てることによって、ヒートマップ（１２０７）を使用して視覚化されてもよい（１２６５）。次に、組織領域マスク（１２１０）は、単一マーカー画像（１２１０）に適用され、関心組織領域においてのみマーカー画像の強度を表示するフォアグラウンド画像（１２１２）を生成する。フォアグラウンド画像は、局所最大値フィルタ（１２１３）を通過し、強度のピークを識別する。候補ＦＯＶ座標は、局所最大値フィルタ処理画像の上位Ｋのピークとして識別される（１２１４）。最後に、各候補ＦＯＶ座標の周りの領域が定められ（１２１５）、候補ＦＯＶのリストを取得する（１２１６）。これらの動作は、単一染色スライドごとに順番に実行される。ＦＯＶマージステップは、図１１ｂのように進行する。

【0080】

[0094]図１３は、単一染色画像（１３０１）を入力として使用する、本発明の代替実施形態のさらに別のプロセスフローを示す。画像は、ローパスフィルタ処理される（１３０２）。いくつかの実施形態では、画像は低解像度に変換されてもよく（１３０３）、これにより処理が速くなる。いくつかの実施形態では、単一カラーチャネルにすでに減少されていない場合、単一染色スライドから関心があるカラーチャネルを抽出するために分解ステップ（１３０４）が適用され、単一マーカー画像（１３０８）を生成してもよい。いくつかの実施形態では、ＨＴＸ画像（１３０５）もまた生成されてもよい。他の実施態様では、単一マーカー画像は、単一マーカー画像内のさまざまな強度の領域に色を割り当てることによって、ヒートマップ（１３０７）を使用して視覚化されてもよい（１３０６）。一実施形態では、低解像度画像は、セグメンテーションされ（１３０９）、関心特徴を識別する。セグメンテーション画像から、組織領域マスク（１３１０）が生成され、次に、マスク動作（１３１１）はセグメンテーション画像に適用され、関心組織領域においてのみマーカー画像の強度を表示するフォアグラウンド画像（１３１２）を生成する。他の実施形態では、マスク動作（１３１１）は単一マーカー画像（１３０８）に適用され、フォアグラウンド画像（１３１２）を生成する。いずれの実施形態でも、フォアグラウンド画像（１３１２）は、局所最大値フィルタ（１３１３）を通過し、強度のピークを識別する。候補ＦＯＶ座標は、局所最大値フィルタ処理画像の上位Ｋのピークとして識別される（１３１４）。最後に、各候補ＦＯＶ座標の周りの領域が定められ（１３１５）、候補ＦＯＶのリストを取得する（１３１６）。これらの動作は、単一染色スライドごとに実行される。ＦＯＶマージステップは、図１１ｂのように進行する。

【0081】

[0095]ＦＯＶの自動選択のためのコンピュータ実装方法は、本発明に従って、例示的な目的のために、免疫細胞の識別に関連して、及び、免疫スコア計算用に記載されてきた。しかしながら、ＦＯＶの自動選択のためのコンピュータ実装方法は、本発明に従って、細胞の画像又は生物試料の画像の任意のタイプの画像にも適用でき、任意のタイプの細胞又は細胞群のためのタイプ、密度及び位置の決定に適用できる。さらに、医療用途、例えば解剖又は臨床病理学、前立腺／肺癌診断などの他に、本発明の方法は、他のタイプのサンプル、例えば地質学データ又は天文データなどの遠隔探査の分析に実行されてもよい。本願明細書に開示される動作は、ハードウェアグラフィックス処理ユニット（ＧＰＵ）に移植され、マルチスレッドの並列実装を可能にしてもよい。

【0082】

[0096]コンピュータは、典型的には、周知の構成要素、例えばプロセッサ、オペレーティングシステム、システムメモリ、メモリ記憶装置、入出力コントローラ、入出力装置及び表示装置を含む。多くの可能なコンピュータの設定及び構成要素が存在し、キャッシュメモリ、データバックアップユニット及び多くの他の装置を含んでもよいということは、当業者によって理解されるものである。入力装置の例は、キーボード、カーソルコントロールデバイス（例えば、マウス）、マイクロホン、スキャナなどを含む。出力装置の例は、表示装置（例えば、モニタ又はプロジェクタ）、スピーカ、プリンタ、ネットワークカードなどを含む。表示装置は視覚情報を提供する表示装置を含んでもよく、この情報は、典型的には、ピクセルアレイとして論理的に及び／又は物理的に構成されてもよい。入出力インタフェースを提供するためのさまざまな周知又は将来のソフトウェアプログラムのいずれかを備えてもよいインタフェースコントローラが含まれてもよい。例えば、インタフェースは、１つ又は複数のグラフィック描写をユーザに提供する「グラフィカルユーザインタフェース」（しばしばＧＵＩと称される）と一般に称されるものを含んでもよい。インタフェースは、典型的には、当業者に知られている選択又は入力の手段を用いて、ユーザ入力を受け入れることができる。インタフェースは、タッチスクリーン装置でもよい。同一又は代替実施形態において、コンピュータ上のアプリケーションは、「コマンドラインインタフェース」（しばしばＣＬＩと称される）と称されるものを含むインタフェースを使用してもよい。ＣＬＩは、典型的には、アプリケーションとユーザとの間のテキストベースの相互作用を提供する。典型的には、コマンドラインインタフェースは、表示装置を介してテキストのラインとして出力を表示し、入力を受け取る。例えば、いくつかの実施態様は、「シェル」と称されるもの、例えば、当業者に知られているＵｎｉｘ Ｓｈｅｌｌｓ又はＭｉｃｒｏｓｏｆｔ ．ＮＥＴ ｆｒａｍｅｗｏｒｋのようなオブジェクト指向タイププログラムアーキテクチャを使用するＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｐｏｗｅｒｓｈｅｌｌを含んでもよい。

【0083】

[0097]当業者は、インタフェースが１つ又は複数のＧＵＩ、ＣＬＩ又はそれらの組合せを含んでもよいということを認めるであろう。プロセッサは、市販のプロセッサ、例えば、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ製のＣｅｌｅｒｏｎ、Ｃｏｒｅ又はＰｅｎｔｉｕｍプロセッサ、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓ製のＳＰＡＲＣプロセッサ、ＡＭＤ Ｃｏｒｐｏｒａｔｉｏｎ製のＡｔｈｌｏｎ、Ｓｅｍｐｒｏｎ、Ｐｈｅｎｏｍ又はＯｐｔｅｒｏｎプロセッサを含んでもよいし、現在又は将来利用できる他のプロセッサの１つでもよい。プロセッサのいくつかの実施形態は、マルチコアプロセッサと呼ばれるものを含んでもよい、及び／又は、シングル又はマルチコア構成の並列処理技術を使用可能でもよい。例えば、マルチコアアーキテクチャは、典型的には、２つ以上のプロセッサ「実行コア」を備える。この例では、各実行コアは、マルチスレッドの並列実行を可能にする独立プロセッサとして実行してもよい。さらに、当業者は、プロセッサが３２又は６４ビットアーキテクチャと一般に称されるものにおいて構成されてもよいし、現在公知又は将来開発されうる他のアーキテクチャにおいて構成されてもよいということを認識するであろう。

【0084】

[0098]プロセッサは、典型的には、オペレーティングシステムを実行し、オペレーティングシステムは、例えば、Ｍｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎからのＷｉｎｄｏｗｓタイプのオペレーティングシステム、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｃｏｒｐ．からのＭａｃＯＳＸオペレーティングシステム、多くのベンダーから入手可能なＵｎｉｘ又はＬｉｎｕｘ（登録商標）−タイプオペレーティングシステム、又は、オープンソースと称されるもの、その他又は将来のオペレーティングシステム又はそれらの組合せでもよい。オペレーティングシステムは、ファームウェア及びハードウェアと周知の方法で連動し、プロセッサが、さまざまなプログラミング言語で記述されうるさまざまなコンピュータプログラムの機能を調整及び実行するのを支援する。オペレーティングシステムは、典型的には、プロセッサと協働し、コンピュータの他の構成要素の機能を調整及び実行する。オペレーティングシステムは、スケジューリング、入出力制御、ファイル及びデータ管理、メモリ管理及び通信制御及び関連サービス、周知の技術に従うすべてを提供する。

【0085】

[0099]システムメモリは、所望の情報を格納するために使用可能であり、かつ、コンピュータによってアクセス可能なさまざまな周知又は将来のメモリ記憶装置のいずれかを含むことができる。コンピュータ可読の記憶媒体は、情報、例えばコンピュータ可読命令、データ構造、プログラムモジュール又は他のデータの記憶のための任意の方法又は技術によって実装される揮発性及び不揮発性、取り外し可能及び取り外し不可能な媒体を含むことができる。例は、任意の一般に利用できるランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去プログラム可能読取専用メモリ（ＥＥＰＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、磁気媒体、例えば固有のハードディスク又はテープ、光媒体、例えば読取及び書込コンパクトディスク又は他のメモリ記憶装置を含む。メモリ記憶装置は、コンパクトディスクドライブ、テープドライブ、リムーバブルハードディスクドライブ、ＵＳＢ又はフラッシュドライブ又はディスケットドライブを含むさまざまな周知又は将来の装置のいずれかを含んでもよい。この種のタイプのメモリ記憶装置は、典型的には、プログラム記憶媒体、例えば、コンパクトディスク、磁気テープ、リムーバブルハードディスク、ＵＳＢ又はフラッシュドライブ又はフロッピーディスケットのそれぞれから読取り及び／又は書き込みをする。これらのプログラム記憶媒体、又は、現在使用中又は将来開発される他のプログラム記憶媒体のいずれかは、コンピュータプログラム製品とみなされてもよい。認識されるように、これらのプログラム記憶媒体は、典型的には、コンピュータソフトウェアプログラム及び／又はデータを格納する。コンピュータ制御論理とも呼ばれるコンピュータソフトウェアプログラムは、典型的には、システムメモリ及び／又はメモリ記憶装置と連動して使用されるプログラム記憶装置に格納される。いくつかの実施形態では、コンピュータプログラム製品は、格納される制御論理（プログラムコードを含むコンピュータソフトウェアプログラム）を有するコンピュータが使用可能な媒体を含んで記載される。制御論理は、プロセッサによって実行されるとき、プロセッサに本願明細書に記載されている機能を実行させる。他の実施態様では、いくつかの機能は、例えば、ハードウェア状態機械を用いるハードウェアにおいて主に実装される。本願明細書に記載されている機能を実行するためのハードウェア状態機械の実装は、当業者にとって明らかである。入出力コントローラは、人間又は機械であれ、ローカル又はリモートであれ、ユーザから情報を受け取り、処理するためのさまざまな周知の装置のいずれかを含むことができる。この種の装置は、例えば、モデムカード、ワイヤレスカード、ネットワークインタフェースカード、サウンドカード又はさまざまな周知の入力装置のいずれかのための他のタイプのコントローラを含む。出力コントローラは、人間又は機械であれ、ローカル又はリモートであれ、ユーザに情報を示すためのさまざまな周知の表示装置のいずれかのためのコントローラを含むことができる。現在記載されている実施形態において、コンピュータの機能要素は、システムバスを介して互いに通信する。コンピュータのいくつかの実施形態は、ネットワーク又は他のタイプの遠隔通信を用いて、いくつかの機能要素と通信することができる。当業者にとって明らかであるように、計器制御及び／又はデータ処理アプリケーションは、ソフトウェアで実装されている場合、システムメモリ及び／又はメモリ記憶装置にロードされ、これから実行されてもよい。計器制御及び／又はデータ処理アプリケーションのすべて又は一部は、読み出し専用メモリ又はメモリ記憶装置の類似の装置内に存在してもよく、この種の装置では、計器制御及び／又はデータ処理アプリケーションが入出力コントローラによって最初にロードされる必要はない。計器制御及び／又はデータ処理アプリケーション又はそれの一部は、実行に有利なように、プロセッサによって、周知の方法で、システムメモリに又はキャッシュメモリに又はその両方にロードされてもよいことは、当業者によって理解されるものである。また、コンピュータは、システムメモリに格納される１つ又は複数のライブラリファイル、実験データファイル及びインターネットクライアントを含むことができる。例えば、実験データは、１つ又は複数の実験又はアッセイに関連したデータ、例えば検出された信号値又は１つ又は複数のシーケンシングバイシンセシス（ｓｅｑｕｅｎｃｉｎｇ ｂｙ ｓｙｎｔｈｅｓｉｓ）（ＳＢＳ）実験又はプロセスに関連付けられた他の値を含むことができる。さらに、インターネットクライアントは、ネットワークを用いて他のコンピュータ上のリモートサービスにアクセスできるアプリケーションを含んでもよく、例えば「ウェブブラウザ」と一般に呼ばれものを備えてもよい。この例にでは、いくつかの一般に使用されたウェブブラウザは、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＭｉｃｒｏｓｏｆｔ Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ、Ｍｏｚｉｌｌａ ＣｏｒｐｏｒａｔｉｏｎからのＭｏｚｉｌｌａＦｉｒｅｆｏｘ、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｃｏｒｐ．からのＳａｆａｒｉ、Ｇｏｏｇｌｅ ＣｏｒｐｏｒａｔｉｏｎからのＧｏｏｇｌｅ Ｃｈｒｏｍｅ、又は、従来技術において現在公知の又は将来開発されるウェブブラウザの他のタイプを含む。また、同一又は他の実施形態において、インターネットクライアントは、ネットワークを介してリモート情報にアクセスできる専門ソフトウェアアプリケーション、例えば生物学的応用のためのデータ処理アプリケーションを含んでもよいし、その要素であってもよい。

【0086】

[00100]ネットワークは、当業者に周知のネットワークの多くのさまざまなタイプの１つ以上を含むことができる。例えば、ネットワークは、ＴＣＰ／ＩＰプロトコル群と一般に呼ばれるものを使用して通信してもよいローカル又はワイドエリアネットワークを含むことができる。ネットワークは、インターネットと一般に呼ばれる相互接続されたコンピュータネットワークの世界的システムを備えるネットワークを含んでもよいし、あるいは、さまざまなイントラネットアーキテクチャを含むこともできる。ネットワーク環境の一部のユーザが、「ファイアウォール」（パケットフィルタ又はボーダープロテクションデバイス（Ｂｏｒｄｅｒ Ｐｒｏｔｅｃｔｉｏｎ Ｄｅｖｉｃｅｓ）と呼ばれることもある）と一般に呼ばれるものを使用し、ハードウェア及び／又はソフトウェアシステムとの情報のトラフィックを制御するのを好むことがありうるということも当業者は認めるであろう。例えば、ファイアウォールは、ハードウェア又はソフトウェア要素又はいくつかのそれらの組合せを備えてもよく、典型的には、ユーザ、例えばネットワーク管理者などによって導入にされるセキュリティポリシーを実施するように設計されている。

【0087】

[00101]本開示の例示的実施形態の上述した開示は、図示及び説明のために示された。包括的であること又は本発明を開示された形のみに制限することは意図していない。本願明細書に記載されている実施形態の多くの変形及び修正は、上述した開示を考慮して当業者にとって明らかである。本発明の範囲は、本願明細書に添付された請求項及びそれらの等価物のみによって定義されるものである。

【0088】

[00102]さらに、本開示の代表的な実施形態を記載する際、明細書は、本開示の方法及び／又はプロセスをステップの特定の順序として提示してきたかもしれない。しかしながら、方法又はプロセスが本願明細書に記載されるステップの特定の順番に依存しない程度に、方法又はプロセスは、記載されているステップの特定の順序に限定されるべきではない。当業者が認識するように、ステップの他の順序も可能である。それゆえ、明細書に記載されるステップの特定の順番は、請求項に対する制限として解釈されるべきではない。さらに、本開示の方法及び／又はプロセスに向けた請求項は、記載された順序でそれらのステップが実行されることに限定されるべきではなく、順序が変化してもよく、順序が変化しても、本開示の主旨及び範囲に含まれることを当業者は容易に認めることができる。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10】

【図11a】

【図11b】

【図12】

【図13】