特許 7011036 組織標本の分析を支援するためのスライド画像のカラーデコンボリューションのためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-17

(45)【発行日】2022-01-26

(54)【発明の名称】組織標本の分析を支援するためのスライド画像のカラーデコンボリューションのためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/90 20170101AFI20220119BHJP

   G01N 21/27 20060101ALI20220119BHJP

   G06T 7/00 20170101ALI20220119BHJP

   G01N 33/48 20060101ALI20220119BHJP

【ＦＩ】

G06T7/90 C

G01N21/27 A

G06T7/00 630

G01N33/48 M

G01N33/48 Z

【請求項の数】 9

(21)【出願番号】P 2020505315

(86)(22)【出願日】2018-08-02

(65)【公表番号】

(43)【公表日】2020-10-22

(86)【国際出願番号】 EP2018070924

(87)【国際公開番号】W WO2019025515

(87)【国際公開日】2019-02-07

【審査請求日】2020-06-16

(31)【優先権主張番号】62/541,628

(32)【優先日】2017-08-04

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507179346

【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100120112

【氏名又は名称】中西 基晴

(74)【代理人】

【識別番号】100119781

【弁理士】

【氏名又は名称】中村 彰吾

(72)【発明者】

【氏名】チュッカ，スリニバス

(72)【発明者】

【氏名】ラン，ジョウ

【審査官】千葉 久博

(56)【参考文献】

【文献】特表２０１６－５３３４７５（ＪＰ，Ａ）

【文献】持木怜, 外4名，“ＧＭＭによる肌モデルを用いた背景にロバストな人物検出”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2005年10月21日，第105巻, 第375号，p.37-42

【文献】Xingyu Li, 外1名，"Circular Mixture Modeling of Color Distribution for Blind Stain Separation in Pathology Images"，IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS，米国，IEEE，2015年11月25日，第21巻, 第1号，p.150-161

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／９０

Ｇ０１Ｎ ２１／２７

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ３３／４８

(57)【特許請求の範囲】

【請求項1】

染色システムにより染色される生物学的標本のマルチカラーチャネル画像をデコンボリューションするための方法であって、前記画像は、規定されない基準染料ベクトルおよび染料成分画像を有し、前記方法は、
前記染色システムの染料変動性(stain variability)の事前分布知識(prior knowledge)を、初期基準染料ベクトルによって表される、知られた色ベクトル確率分布の形で取り入れるステップと、
前記初期基準染料ベクトルを用いて、前記基準染料ベクトルを決定するステップと、
前記決定された基準染料ベクトルを用いて、前記画像を、少なくとも２つの染料成分画像(stain component images)へとデコンボリューションするステップと
を含む、方法。

【請求項2】

染料変動性の事前分布知識を取り入れるステップは、Ｇａｕｓｓｉａｎ事前分布を、基準染料ベクトルとして割り当てるステップを含む、請求項１に記載の方法。

【請求項3】

前記Ｇａｕｓｓｉａｎ事前分布を、期待値最大化(Expectation-Maximization)（ＥＭ）モデルを使用して、２つの連続的なＥステップ、次いでＭステップにおいて反復して適用するステップをさらに含む、請求項２に記載の方法。

【請求項4】

前記２つの連続的なＥステップおよびＭステップが、反復して適用され続け、
収束に達すると、前記反復を終結させる、
請求項３に記載の方法。

【請求項5】

第１の染料ベクトルおよび第２の染料ベクトルのクロス積(cross-product)として、人
工潜在変数残余(artificial latent variable residue)（Ｒｅｓｉ）を定義することを、前記第１および第２の染料ベクトルとは独立的であるベクトルを生成するために行うことを含む、人工潜在変数を割り振るステップをさらに含む、請求項４に記載の方法。

【請求項6】

前記第１の染料ベクトルが、ヘマトキシリンベクトルを含み、前記第２の染料ベクトルは、エオシンベクトルを含む、請求項５に記載の方法。

【請求項7】

前記マルチカラーチャネル画像が、ヘマトキシリン（Ｈチャネル）画像およびエオシン（Ｅチャネル）画像へとデコンボリューションされる、請求項１から６のいずれかに記載の方法。

【請求項8】

組織分析システム（１００）の１つまたは複数のプロセッサ（１０２）により実行されるとき、前記組織分析システム（１００）に、請求項１から７のいずれか一項に記載の方法を遂行させる命令を含む非一時的コンピュータ可読媒体（１０５）。

【請求項9】

組織分析システム（１００）であって、１つまたは複数のプロセッサ（１０２）を備え、前記１つまたは複数のプロセッサ（１０２）により実行されるとき、前記組織分析システム（１００）に、請求項１から７のいずれか一項に記載の方法を遂行させる命令を記憶する少なくとも１つのメモリ（１０５）に結合される、組織分析システム（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

[0001]本開示は、一般的には、がん組織診断のためのデジタル病理においてのイメージングシステムおよび方法に関する。より詳細には、本開示は、アッセイにおいて、染料成分画像の推定、および生理学的に妥当な基準染料ベクトルの識別を同時に行うための、赤、緑、および青（ＲＧＢ）チャネル画像などのマルチカラーのチャネル画像としてデジタルに捕捉される、Ｈ＆Ｅ染色された（ｓｔａｉｎｅｄ）スライド画像のカラーデコンボリューションに関する。

【背景技術】

【0002】

[0002]組織切片、血液、細胞培養物、および同類のものなどの生物学的標本の分析において、生物学的標本は、スライド上に据え付けられ、染料およびバイオマーカの、１つまたは複数の組合せによって染色され、結果的に生じる組織スライドが、さらなる分析のために視認またはイメージングされる。組織スライドは、標本内のタンパク質、タンパク質断片、または他の標的に結合する抗体に接合される、フルオロフォアまたは色素原を内包する染料によって処置される、ヒト被験体からの組織切片などの生物学的標本を含み得る。

【0003】

[0003]組織スライドを観察することは、疾病の診断、治療に対する応答の評価、および、疾病に立ち向かうための新しい薬物の開発を含む、種々のプロセスを可能にする。組織スライドをスキャンすることを基に、カラーチャネルを含む画像データの複数個のチャネルが導出され、各々の観察されるチャネルは、複数個のシグナルの混合物を含む。

【0004】

[0004]アッセイ染色の最もよく目にする例の１つは、組織解剖情報を識別する助けとなる２つの染料を含むヘマトキシリン－エオシン（Ｈ＆Ｅ）染色である。Ｈ染料は主に、全体的に青い色によって細胞核を染色し、一方でＥ染料は主に、細胞質の全体的に淡紅色の染料として作用する。特殊染色アッセイは、組織内の標的物質を、それらの物質の化学的性質、生物学的性質、または病理学的性質に基づいて識別し得る。

【0005】

[0005]免疫組織化学（ＩＨＣ）アッセイは、本明細書において以降、標的と称される、標本内の関心のタンパク質、タンパク質断片、または他の構造に結合する抗体に接合される、１つまたは複数の染料を含む。標本内の標的を染料に結合する、抗体および他の化合物（または物質）は、本明細書においてバイオマーカと称される。

【0006】

[0006]Ｈ＆Ｅまたは特殊染色アッセイに対しては、バイオマーカは、染料（例えば、ヘマトキシリン対比染料）との固定された関係性を有し、しかるに、ＩＨＣアッセイに対しては、染料の選定が、バイオマーカに対して、新しいアッセイを開発および創出するために使用され得る。生物学的標本は、イメージングの前にアッセイによって準備される。単一の光源、一連の複数個の光源、または、入力スペクトルの任意の他の源を組織に当てることを基に、組織スライドは、観察者により、典型的には顕微鏡を通して評価され得るものであり、または、画像データが、さらなる処理のためにアッセイから獲得され得る。

【0007】

[0007]そのような獲得において、画像データの複数個のチャネル、例えばカラーチャネルが導出され、各々の観察されるチャネルは、複数個のシグナルの混合物を含み、各々のシグナルは、組織内の個別の染料発現を表し、シグナルの数は、組織を染色するために使用される染料の数に対応し、この画像データの処理は、画像データの観察される１つまたは複数のチャネルから特定の染料の局所的濃度を決定するために使用される、さらにはスペクトルアンミキシング、色分離、などと称されるカラーデコンボリューションの方法を含み得る。自動化された方法により処理される、ディスプレイ上で描写される画像データに対して、または、観察者により視認される組織スライドに対して、染色された組織の局所的外観と、付与された染料およびバイオマーカとの間の関係が、染色された組織内のバイオマーカ分布のモデルを決定するために決定され得る。

【0008】

[0008]一般的には、カラーデコンボリューションは、観察される１つまたは複数個のチャネルの中の特定の染料の濃度を決定するために使用される。スキャンされる画像の、各々の画素は、画像値のベクトル、または色ベクトルにより表され、各々の染料は、本明細書において基準ベクトルとも称される基準染料ベクトルに対応し、基準スペクトルとして知られる。画素においての染料の局所的濃度は、基準染料ベクトルのスケーリング因子により表される。

【0009】

[0009]しかしながら、従来のカラーデコンボリューション方法によれば、異なる濃度を伴う複数個の、同じ場所に配置される染料を内包する画素に対する色ベクトルは、すべての存在する染料の基準スペクトルの線形組合せであるとみなされる。典型的には、蛍光イメージングカラーチャネルは、直接的に画像ベクトルおよび基準スペクトルを提供する。明視野イメージングにおいて、染色された組織により放出される光強度は、光学密度空間へと変換され、そのことは、捕捉されたＲＧＢ画像データの対数変換であり、異なる染料の混合は、同じようにして、寄与する基準スペクトルの、線形の重み付けされた組合せにより表される。

【0010】

[0010]デコンボリューションプロセスは、染料固有チャネルを抽出して、標準タイプの組織および染料組合せに対してよく知られている基準スペクトルを使用して、個々の染料の局所的濃度を決定する。しかしながら、純粋な染料に対する基準スペクトルは、組織タイプ、染色および組織固定の間の、制御される、および制御されないプロセスパラメータによって変動する傾向がある。実例として、組織の古さ、染料の古さ、どのように組織が保管、脱水、固定、包埋、切断されたか、その他に基づく、組織タイプの中の変動が常に存する。これらの変動は、どのように染料が現れることになるかに影響力を及ぼすことがあり、アンミキシングプロセスの結果において、望まれない人工産物を結果的に生じさせることがある。結果として、想定される、固定され知られている基準ベクトルによって、線形行列方程式として色分解プロセスを表す従来の方法は、必ずしも、組織スライドの中の生理学的に妥当な染料成分画像を識別しないことがある。基準ベクトルが先験的に知られていないと想定されるとき、問題は、染料成分画像とともに基準染料ベクトルが推定されることを必要とする、非線形最適化問題である。

【0011】

[0011]この懸念は、３つのカラー（ＲＧＢ）チャネルを内包する明視野画像を、２チャネルＨ＆Ｅ成分画像へとデコンボリューションするときに明白になる。同様に、この懸念は、いくつものフィルタ受信器チャネル（例えば、１つの蛍光スキャナにおいて、１６チャネル）を内包する、知られており固定された基準ベクトルを想定して、マルチチャネル蛍光画像を、対応する染料成分画像へとデコンボリューションするときに、さらに悪化させられる。

【0012】

[0012]カラーデコンボリューション問題を解くためのよく目にする手法は、基準ベクトルが固定され知られているということを想定する。結果として、カラーデコンボリューション問題は、生理学的に妥当な染料成分画像を識別するために、各々の画素において線形行列方程式を解くように単純化される。後に続く刊行物に対して参照が為される。

【0013】

・Ｒｕｉｆｒｏｋ， Ａｒｎｏｕｔ Ｃ．、およびＤｅｎｎｉｓ Ａ． Ｊｏｈｎｓｔｏｎ。「Ｑｕａｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｈｉｓｔｏｃｈｅｍｉｃａｌ ｓｔａｉｎｉｎｇ ｂｙ ｃｏｌｏｒ ｄｅｃｏｎｖｏｌｕｔｉｏｎ」。Ａｎａｌｙｔｉｃａｌ ａｎｄ ｑｕａｎｔｉｔａｔｉｖｅ ｃｙｔｏｌｏｇｙ ａｎｄ ｈｉｓｔｏｌｏｇｙ ２３．４ （２００１）： ２９１～２９９。

【0014】

・Ｎｉｅｔｈａｍｍｅｒ， Ｍａｒｃら。「Ａｐｐｅａｒａｎｃｅ ｎｏｒｍａｌｉｚａｔｉｏｎ ｏｆ ｈｉｓｔｏｌｏｇｙ ｓｌｉｄｅｓ」。Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ。Ｓｐｒｉｎｇｅｒ Ｂｅｒｌｉｎ Ｈｅｉｄｅｌｂｅｒｇ、２０１０。

【0015】

[0013]しかしながら、基準染料ベクトルおよび染料成分画像の両方が知られておらず、両方が推定されることを必要とする状況において、カラーデコンボリューション方程式は非線形である。非線形方程式を解くための従来の解法は、２つの異なるタイプに分類され得る。第１のタイプは、反復様式で、基準ベクトルの数学的に最適な解、および、染料成分画像の両方が出力される、非負値行列因子分解（ＮＮＭＦ）方法の数学的別形を使用することである。第２のタイプは、画像分析方法を使って、最初に画像をセグメント化し、それらから基準ベクトルが推定される細胞対象外形および組織背景を近似的に識別し、引き続いて、線形方程式を解くことにより染料成分画像を計算することである。この手法の複数個の別形が、文献において提案されている。いずれの事例においても、非線形問題に対する数学的解は非一意的であり、かくして、取得される解は、物理的染色プロセスに対応する基準ベクトルを推定し、それらの基準ベクトルと整合することについては、制約も保証もされない。

【0016】

[0014]本開示の出現より前は、組織スライドの画像から、一意的な色基準ベクトルおよび染料成分画像を同時的に推定する手法は存しなかった。

【発明の概要】

【発明が解決しようとする課題】

【0017】

[0015]本開示は、中でも、基準染料ベクトルが、知られている色分布からサンプリングされると想定される、染色システム構成から取得される染料成分画像を推定することにより、組織画像をデコンボリューションするための組織分析システムおよび方法を提供することにより、前述の懸念に対処する。本組織分析システムは、本開示の方法を実現するために、プロセッサにより実行可能である、デジタルで符号化される命令を記憶するデジタル記憶媒体を含む。

【課題を解決するための手段】

【0018】

[0016]染色システムの染料変動性の事前分布（ｐｒｉｏｒ）知識が、初期基準染料ベクトル、および、それらのベクトルの変動性の統計的分布として取り入れられる。１つの実施形態において、入力画像の、基準染料ベクトルおよび染料成分画像の両方が、初期基準染料ベクトル分布に基づいて決定される。画像は、次いで、基準染料ベクトルおよび染料成分画像に基づいて、少なくとも２チャネル構成物染料成分画像へとデコンボリューションされる。

【0019】

[0017]染料変動性の事前分布知識は、Ｇａｕｓｓｉａｎ事前分布を、（行列フレームワークにおいての基準ベクトルとして）移行確率に関して割り当てることにより成功裏に取り入れられ得る。引き続いて、Ｇａｕｓｓｉａｎ事前分布は、収束が成し遂げられるまで、期待値最大化（ＥＭ）モデルを使用して、２つの連続的なＥステップ、次いでＭステップにおいて反復して適用され得る。

【0020】

[0018]別の実施形態によれば、人工潜在変数が、人工潜在変数残余（ａｒｔｉｆｉｃｉａｌ ｌａｔｅｎｔ ｖａｒｉａｂｌｅ ｒｅｓｉｄｕｅ）、Ｒｅｓｉを、ヘマトキシリンベクトルおよびエオシンベクトルのクロス積として含むことを、第１および第２の染料ベクトルとは独立的であるベクトルを生成するために行うように定義される。

【0021】

[0019]特定の例示的な実施形態において、本開示は、染色された生物学的Ｈ＆Ｅ組織試料から取得される、画素化されたＲＧＢデジタル画像のスペクトル／カラーデコンボリューションのための組織分析システムおよび方法を可能なものにする。デコンボリューション方法は、生物学的組織試料から取得される画像データを入力し、基準データをメモリから読み出すステップを含み、基準データは、各々の画素の染料色を記述するものであり得る。

【0022】

[0020]入力される画像の、各々の画素は、教師なし（ｕｎｓｕｐｅｒｖｉｓｅｄ）潜在変数へと分解され得るものであり、それらの潜在変数にＧａｕｓｓｉａｎ事前分布が、画像のデコンボリューションを監督するために適用され得る。人工潜在変数が、次いで、画像の中に内包される疑わしい不均質な画素に割り振られ、２つの監督される構成物デコンボリューションされたＨ＆Ｅ画像（または成分）が、分析またはさらなる処理のためにレンダリングされる。

【0023】

[0021]本特許または出願ファイルは、カラーで作成された少なくとも１つの図面を内包する。カラー図面を伴う本特許または特許出願公報の写しは、米国特許商標庁により、申請および必要な料金の納付を基に提供されることになる。

【0024】

[0022]本開示の様々な特徴、および、それらの特徴を成し遂げる様式が、後に続く説明、特許請求の範囲、および図面を参照して、より詳細に説明されることになる。

【図面の簡単な説明】

【0025】

【図1】[0023]本主題開示の例示的な実施形態による、画像デコンボリューションのためのコンピュータベースの自動化された組織分析システムを描写する図である。

【図2】[0024]本主題開示の例示的な実施形態による、２つのＨ＆Ｅ画像への、図１の組織分析システムによる、ＲＧＢ染色された画像のデコンボリューションのための作業フローを例解する図である。

【図3】[0025]本開示の例示的な実施形態による、Ｈ＆Ｅ画像（または成分）へのＲＧＢ画像のデコンボリューションの例解を描写する図である。

【発明を実施するための形態】

【0026】

[0026]例解の単純さおよび明確さのために、参照番号は、対応する、または類似する特徴を指示するために、図の間で再使用され得るということが察知されるであろう。
[0027]図１は、本主題開示の例示的な実施形態による、３チャネル染色されたスライドデジタルＲＧＢ組織画像２１０（図３）を、Ｈチャネル画像２９０およびＥチャネル画像２９１（図３）などの２チャネル成分画像へとデコンボリューションするためのコンピュータベースの自動化された分析システム１００を描写する。分析システム１００は、生物学的標本、例えば、スライド上に用意される組織を分析するのに適したものであり得る。本明細書において使用される際、用語「組織標本」は、スライド上に据え付けられ得る、組織切片、血液、細胞培養物、および同類の生物学的試料などの、任意のタイプの生物学的標本を包含する。

【0027】

[0028]組織画像は、例えば、組織試料の、ＲＧＢなどの（または、何らかの均等な色空間においては、ＣＹＭＫ、Ｌａｂ、ＹＵＶ ＨＳＶ、その他などの）マルチチャネルカラー画像、または、他のマルチチャネルカラー画像であり得る。特に、画像データは、組織画像を表すものである複数の画素からなる画素行列を含み得る。マルチチャネルカラー画像は、３から数個（例えば、蛍光システムにおいては１６）のカラーチャネルなどの、複数のカラーチャネルを含み得る。しかるがゆえに、各々の画素は、各々のカラーチャネルに対する、例えば、ＲＧＢ画像の赤、緑、および青チャネルの各々に対する色情報を含み得る。

【0028】

[0029]分析システム１００は、組織画像を表すものである画像データを記憶および処理し得る。本明細書において使用される際、用語「画像データ」は、一般的には本明細書においてイメージングモジュール１１０と称される、光学センサまたはセンサアレイなどによって、生物学的組織試料から獲得される画素の生画像データを包含する。分析システム１００は、ＲＧＢ組織画像２１０を表すものである複数の画素を記憶する、組織画像データ記憶モジュールまたはデータベース１７０を備え得る。

【0029】

[0030]データベース１７０は、色データ、例えば、染料の色を示す色データを記憶し得る。そのような色データは、さらには「基準データ」と称される。色データは、染料の、単一の周波数、または、特有のスペクトルプロファイルを記述するものであり得る。イメージングモジュール１１０は、複数の染料の各々に対する色データを記憶し得る。本文脈において、用語「染料」は、組織内のバイオマーカをマークする、すなわち「染色する」のに適した抗体、色素、または染料などの、任意のタイプのマーカの広範な意味で理解され得る。加えて、動詞「染色すること」は、組織への染料の付与に制限されるのではなく、同じように、組織内のバイオマーカをマークするための抗体または色素などの、任意のタイプのマーカに組織をさらすことを含み得る。

【0030】

[0031]本開示において、用語「マーカ」は、バイオマーカが、周辺の組織と、および／または、他のバイオマーカと差異化されることを可能とする、染料、色素、またはタグの意味で理解され得る。用語「バイオマーカ」は、個別の細胞タイプ、実例として免疫細胞の存在などの組織特徴、および、より詳細には、医学的症状を指し示す組織特徴の意味で理解され得る。バイオマーカは、組織特徴においての個別の分子、実例としてタンパク質の存在により識別可能であり得る。

【0031】

[0032]タグは、染色または着色され得る。タグは、抗体、例えば、個別のバイオマーカのタンパク質に対する親和性を有する抗体であり得る。マーカは、個別のバイオマーカに対する、例えば、個別のバイオマーカを指し示す個別の分子、タンパク質、細胞構造、または細胞に対する親和性を有し得る。マーカが親和性を有するバイオマーカは、それぞれのマーカに対して特異的または一意的であり得る。マーカは、組織、すなわち、組織内のバイオマーカを、色によってマークし得る。それぞれのマーカによりマークされる組織の色は、それぞれのマーカに対して特異的または一意的であり得る。

【0032】

[0033]分析システム１００は、コンピュータ１０１またはプロセッサ１０２により実行され得る、複数の処理モジュールまたは論理命令を含み得る。本明細書において理解されるような「モジュール」は、ハードウェアモジュールとして、または、それぞれの機能性を提供する、および、メモリ１０５内に（または、プロセッサ１０１によりアクセス可能であり得る別のメモリ内に）記憶され得る、ソフトウェア、命令コード、ハードウェアモジュール、もしくはそれらの組合せを包含するソフトウェアモジュールとして実現され得る。プロセッサ１０２およびメモリ１０５の他に、コンピュータ１０１は、さらには、キーボード、マウス、スタイラス、およびディスプレイ／タッチスクリーンなどの、ユーザ入力および出力デバイスを含むことができる。後に続く論考において解説されるであろうが、プロセッサ１０２は、メモリ１０５上に記憶される論理命令を実行し、画像分析および他の定量的な動作を遂行して、コンピュータ１０１を動作させるユーザに対しての、または、ネットワークを介しての、結果の出力を結果的に生じさせることができる。

【0033】

[0034]１つの実施形態において、イメージングモジュール１１０は、１つまたは複数のスキャンされたスライドからの画像データを、例えば、メモリ１０５またはデータベース１７０に提供し得る。画像データは、画像、ならびに、使用される特定の染料、および、画像が生成されたイメージングプラットフォームに関係付けられる任意の情報を含み得る。本開示は、染色された組織切片を示す、ＲＧＢデジタル画像２１０（図２）のセットに適用可能であり得る。スライドは、本明細書において、例解の目的のために、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ）によって染色されるように説明されるが、特殊染料、免疫組織化学（ＩＨＣ）、インサイツハイブリダイゼーション（ＩＳＨ）、または、明視野色素原もしくは蛍光マーカによる他の染色技術などの、他の染色方法が代替的に使用され得るということが明確であるはずである。ＲＧＢデジタル画像２１０は、視野画像、ラージエリアスキャン、またはホールスライドスキャンを創出する、明視野または蛍光イメージャにおいて創出され得る。

【0034】

[0035]関心の対象抽出モジュール１２０が、関心の対象の識別および抽出のために、フォローアップの自動化された画像分析を手助けするために実行され得る。１つの実施形態において、関心の対象は、組織標本の中のすべての細胞を含む。本開示は、組織細胞を関心の対象と称するが、本開示は、組織細胞に制限されず、例えば、腫瘍細胞、免疫細胞、もしくは間質細胞と同類の、組織上の細胞の選択へと、または、血管、リンパ管、腫瘍腺、気道、リンパ集合体、および他の対象と同類の、デジタル画像において描写されるさらなる関心の対象を含むように拡張され得るということが理解されるべきである。

【0035】

[0036]特徴抽出モジュール１３０が、例えば、知られている、または利用可能な画像処理方法を使用して、各個々の細胞の特徴を抽出および測定することにより、特徴抽出を手助けするために、異なる染料の基準ベクトルに対する確率分布をサンプリングおよび構築するために実行され得る。抽出されることになる例示的な細胞特徴は、細胞座標（または位置）、染色強度、染色応答、染料色、その他を含み得る。

【0036】

[0037]１つの実施形態において、ＲＧＢ組織スライド上の色外観は、後に続く式において反映されるように、２つの異なる源：染色システム変動性を反映する染料基準色ベクトル、および、根底にある生物学的組織変動性を反映する染料成分画像に起因し、後に続く式の各々の要素は行列を表す。

【0037】

［Ｒ、Ｇ、Ｂ組織スライド］＝［Ｈに対する色ベクトル、Ｅに対する色ベクトル］×［Ｈに対する染料成分画像、Ｅに対する染料成分画像］
[0038]染色システム変動性は、使用される試薬の特定のバッチ、固定時間、温度、および他のシステムパラメータの選定、ならびに、組織スライドをデジタル化するために使用される組織スライドスキャナなどの、染色プラットフォームにおいての典型的なシステム間の変動性であり得る。かくして、染色プロセスにおいての変動性は、個別の染色システム構成に固有である、いくらかの特定の限度の中の基準染料ベクトルのランダムな色変動を誘導する。

【0038】

[0039]基準染料ベクトルは知られていないが、特定の染色システム構成に対して、個別の組織スライドにおいての基準染料ベクトルが、知られている色ベクトル確率分布からのランダムにサンプリングされた観測値であると想定され得る。与えられた染色システムおよび使用される試薬（ＶＥＮＴＡＮＡ ＳｙｍｐｈｏｎｙまたはＶｅｎｔａｎａ ＨＥ ６００など）、ならびに、個別の組織スライドスキャナ（ＶＥＮＴＡＮＡ ｉＳｃａｎ ＨＴまたはｉＳｃａｎ Ｃｏｒｅｏなど）に対して、色ベクトル分布が、変動する条件のもとで染色およびデジタル化されたいくつもの組織スライドの訓練試料セットから、実験的に測定され、特性付けられ得る。

【0039】

[0040]等価的には、基準色ベクトルは、いくつもの組織スライドにおいて、細胞および組織背景のセットから手作業でサンプリングされ、サンプリングされた画素データに統計的パラメトリック確率モデルを適合させる。例えば、染料に対する３次元色ベクトル（ＲＧＢ）に対して、対応する色分布は、ＲＧＢまたは光学密度空間のいずれかにおいての３次元Ｇａｕｓｓｉａｎ分布であり得る。

【0040】

[0041]この目的のために、モジュール１４０は、記憶機構またはデータベース１７０内に記憶され得る染料変動性の事前分布知識を使用する。ＲＧＢデジタル画像２１０を生成するために使用される染料の製造者の特性は知られている（または、実験を通して獲得される）ので、これらの特性は、記憶機構またはデータベース１７０内に記憶され得るものであり、モジュール１４０により、事前分布Ｇａｕｓｓｉａｎ分布のパラメータセッティングとして使用される。染料変動性の事前分布知識は、Ｇａｕｓｓｉａｎ事前分布を、（行列フレームワークにおいての基準ベクトルとして）移行確率に関して割り当てることにより成功裏に取り入れられ得る。

【0041】

[0042]この特徴は、標準潜在変数分解（ＬＶＤ：Ｌａｔｅｎｔ Ｖａｒｉａｂｌｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）モデルからの新規の発展を表す。分析システム１００は、対象データを、教師なし潜在変数へと分解する。他の用語で言えば、分析システム１００は、確率的ＬＶＤモデルを実現することにより、ＲＧＢデジタル画像２１０（図２）に関するカラーデコンボリューションを作り上げる。ＬＶＤ色分解モデルは、後に続く式（１）により具象され得る。

【0042】

【数1】

【0043】

ただしＰ_ｎ（ｆ）は、第ｎのデータ（具体的には、画素）において特徴ｆ（例えば、特徴は、画素色（Ｒ、Ｇ、Ｂ）の光学密度変換であり得る）を引き出すことの確率を表し、Ｐ（ｆ｜ｚ）は、潜在変数ｚ（具体的には、ＨおよびＥ）を与えられたときのカラム固有の条件付き確率であり、Ｐ_ｎ（ｚ）は、第ｎのデータ（画素）に対する潜在変数の確率である。ここにおいて、Ｐ（ｆ｜ｚ）は、基準染料ベクトルを反映し、Ｐ_ｎ（ｚ）は、任意の第ｎの画素場所においての染料成分画像に比例する。そしてＰ_ｎ（ｆ）は、画素ＲＧＢ強度値の光学密度表現に比例する。Ｍ×Ｎの画像に対して、ｎの値は、１からＭ＊Ｎまでの範囲に及び、インデックスｚ、基準染料の、および、Ｈ＆Ｅ画像（２つのチャネル（ＨおよびＥ）が存するので）においての潜在変数ｚは、１および２の２つの離散値をとる。

【0044】

[0043]前述のＬＶＤモデル式（１）に基づいて、モジュール１４０は、後に続く式（２）により具象されるように、Ｇａｕｓｓｉａｎ事前分布を、特徴ｆを引き出すことの確率、Ｐ（ｆ｜ｚ）に割り当て得る。

【0045】

Ｐ（ｆ｜ｚ）～Ｎ（τ_ｚ，ｆ，ｑ_ｚ，ｆ） （２）
ただし、τ_ｚ，ｆおよびｑ_ｚ，ｆは、Ｇａｕｓｓｉａｎ分布の平均および標準偏差を表す。この分布は、個別の染色構成からの基準色分布を表すものである。この最終目標に対して、および、潜在変数を統計的に推定するために、モジュール１４０は、Ｇａｕｓｓｉａｎ事前分布を、後に続く式（３）および（４）による、期待値最大化（ＥＭ）アルゴリズムを使用して、２つの連続的なステップにおいて反復して適用し得る。
Ｅステップ：

【0046】

【数2】

【0047】

Ｍステップ：

【0048】

【数3】

【0049】

[0044]これらの２つのステップは、収束が成し遂げられるまで、Ｅステップによって開始して、反復して適用され続けることになり、その成し遂げられる時点において、反復は終結させられる。Ｐ_ｎ（ｚ｜ｆ）は、基準染料ベクトルの推定値である。

【0050】

[0045]前述の分析において、標準潜在変数分解は、データが、均質であり、ヘマトキシリン染料またはエオシン染料のいずれかとしてたやすく分類され得ない個々の領域（さらには異常または不均質な対象と称される）３００（図３）を省略して、単に基準染料ベクトルの線形組合せとして記述され得るということを想定する。例えば、これらの領域は、組織スライド上の透明ガラス背景、または、組織内の脂肪および内腔に対応する白色空間に対応する。この懸念に対処するために、分析システム１００のモジュール１５０が、人工潜在変数を、疑わしい不均質な対象３００に割り振る。人工潜在変数は、基準色の任意のものの線形組合せとして記述され得ない色に対応する。

【0051】

[0046]この最終目標に対して、ならびに、前述の式（１）および（２）に基づいて、モジュール１５０は、その基準確率がヘマトキシリン（Ｈ）ベクトルおよびエオシン（Ｅ）ベクトルのクロス積として定義される、人工潜在変数残余すなわち「Ｒｅｓｉ」を、ヘマトキシリン（Ｈ）ベクトルおよびエオシンベクトル

【0052】

【数4】

【0053】

の両方とは独立的であるベクトルを生成するために創出する。後に続く式（５）および（６）による、ＨおよびＥベクトルのクロス積：

【0054】

【数5】

【0055】

【数6】

【0056】

は、Ｒｅｓｉ∈Ｎ（Ｈ，Ｅ）という制約を伴う。
[0047]デコンボリューションされたＨ＆Ｅチャネルレンダリングモジュール１８０が、Ｈチャネル画像２９０およびＥチャネル画像２９１のレンダリングを完成し得るものであり、レンダリングされたＨ＆Ｅ画像２９０、２９１を、記憶またはさらなる処理のために記憶機構／データベース１７０に送信し得る。レンダリングされたＨ＆Ｅ画像２９０、２９１は、次いで、ローカルまたはリモートのいずれかの、ユーザステーション、サーバ、またはネットワークによりアクセスされ得る。

【0057】

[0048]図２をさらに参照すると、作業フロー２００は、染色された組織切片を伴うＲＧＢデジタル画像２１０のセットを、分析システム１００に、イメージングモジュール１１０を介して入力することができる。自動化された、半自動化された、または対話式の、画像分析方法またはアルゴリズムが、ＲＧＢデジタル画像２１０内で、あらゆる関心の対象、例えば、あらゆる画素を検出するために、ステップ２２０において使用され得る。

【0058】

[0049]ステップ２３０において、特徴抽出モジュール１３０が、各々の画素の色などの、所望される定量的な特徴を抽出するために実行され得る（ステップ２３０）。抽出された特徴に基づいて、モジュール１４０は、潜在変数を監督するために、記憶機構またはデータベース１７０内に記憶され得る、染料変動性の事前分布知識を使用する（ステップ２４０）。より早期に解説されたように、モジュール１４０は、Ｇａｕｓｓｉａｎ事前分布を、期待値最大化（ＥＭ）アルゴリズムを使用して、２つの連続的なＥステップ、次いでＭステップにおいて反復して適用し得る。これらの２つのステップは、収束が成し遂げられるまで、Ｅステップによって開始して、反復して適用され続けることになり、その成し遂げられる時点において、反復は終結させられる。

【0059】

[0050]ステップ２５０において、分析システム１００のモジュール１５０は、その基準確率がＥおよびＨのクロス積として定義される、人工潜在変数残余すなわち「Ｒｅｓｉ」を創出することにより、人工潜在変数を、疑わしい不均質な対象３００に割り振る。結果的に生じるデコンボリューションされたＨ＆Ｅ画像２９０、２９１が、次いで、レンダリングされ、評価または処理のために、記憶機構またはデータベース１７０内に記憶される。

【0060】

[0051]本明細書において説明されるフローチャートの各々において、方法のうちの１つまたは複数は、コンピュータ可読コードを内包するコンピュータ可読媒体の形で実施され得るものであり、そのことによって、コンピュータ可読コードがコンピューティングデバイス上で実行されるときに一連のステップが遂行されるようにする。一部の実現形態において、方法の所定のステップは、本発明の趣旨および範囲から外れることなく、組み合わされる、同時に、もしくは異なる順序で遂行される、または、ことによると省略される。かくして、方法ステップは、個別のシーケンスで説明および例解されるが、ステップの特定のシーケンスの使用は、本発明に関して何らかの制限を含意することの意味をもたされるものではない。変更が、本開示の趣旨または範囲から逸脱することなく、ステップのシーケンスに関して為され得る。個別のシーケンスの使用は、それゆえに、制限的な意味で解されるべきではなく、本開示の範囲は、添付される特許請求の範囲によってのみで定義される。

【0061】

[0052]当業者により察知されるであろうが、本開示の態様は、システム、方法、またはコンピュータプログラム製品として実施され得る。よって、本開示の態様は、完全にハードウェア実施形態、完全にソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、その他を含む）、または、ソフトウェアおよびハードウェア態様を組み合わせる実施形態の形式をとり得るものであり、それらの実施形態は、すべて一般的に、本明細書において「回路」、「モジュール」、または「システム」と称され得る。さらにまた、本開示の態様は、そこにおいて実施されるコンピュータ可読プログラムコードを有する１つまたは複数のコンピュータ可読媒体の形で実施されるコンピュータプログラム製品の形式をとり得る。

【0062】

[0053]さらに察知されるであろうが、本開示の実施形態においてのプロセスは、ソフトウェア、ファームウェア、またはハードウェアの任意の組合せを使用して実現され得る。ソフトウェアの形で本開示を実践することに対する予備的ステップとして、プログラミングコード（ソフトウェアであろうとファームウェアであろうと）は、典型的には、例えば、電子、磁気、光学、電磁、赤外、もしくは半導体の、システム、装置、もしくはデバイス、または、前述のものの任意の適した組合せの、ただしそれらに制限されない、１つまたは複数のコンピュータ可読記憶媒体内に記憶されることになる。コンピュータ可読記憶媒体のより具体的な例（非網羅的な列挙）は、後に続くもの：１つもしくは複数の電線を有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、または、前述のものの任意の適した組合せを含むことになる。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくはデバイスによる、または、それらと接続しての使用のためのプログラムを、内包または記憶することができる、任意の有形媒体であり得る。

【0063】

[0054]プログラミングコードを内包する製品は、記憶デバイスから直接的にコードを実行することによって、記憶デバイスからハードディスク、ＲＡＭ、その他などの別の記憶デバイス内へとコードをコピーすることによって、または、デジタルおよびアナログ通信リンクなどの伝送タイプ媒体を使用して遠隔実行のためのコードを伝送することによってのいずれかで使用される。本開示の方法は、本開示によるコードを内包する１つまたは複数の機械可読記憶デバイスを、適切な処理ハードウェアと組み合わせて、それらのデバイスに内包されるコードを実行することにより実践され得る。本開示を実践するための装置は、本開示によってコード化されたプログラムを内包する、または、それらのプログラムへのネットワークアクセスを有する、１つまたは複数の処理デバイスおよび記憶システムであり得る。

【0064】

[0055]コンピュータ可読信号媒体は、例えばベースバンド内で、または、搬送波の部分として、中で実施されるコンピュータ可読プログラムコードを伴う、伝搬させられるデータ信号を含み得る。そのような伝搬させられる信号は、電磁、光学、または、それらの任意の適した組合せを含むが、それらに制限されない、種々の形式の任意のものをとり得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではない、および、命令実行システム、装置、もしくはデバイスによる、または、それらと接続しての使用のためのプログラムを、伝達する、伝搬させる、または移送することができる、任意のコンピュータ可読媒体であり得る。

【0065】

[0056]コンピュータ可読媒体上で実施されるプログラムコードは、ワイヤレス、ワイヤライン、光学ファイバケーブル、Ｒ．Ｆ、その他、または、前述のものの任意の適した組合せを含むが、それらに制限されない、任意の適切な媒体を使用して伝送され得る。本開示の態様のための動作を履行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、または同類のものなどのオブジェクト指向プログラミング言語、および、「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組合せの形で書き表され得る。プログラムコードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアローンソフトウェアパッケージとして、部分的にユーザのコンピュータ上、および、部分的にリモートコンピュータ上で、または、完全にリモートコンピュータもしくはサーバ上で実行し得る。後の方のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通してユーザのコンピュータに接続され得るものであり、または、接続は、外部コンピュータに対して（例えば、インターネットサービスプロバイダを使用してインターネットを通して）為され得る。

【0066】

[0057]かくして、本開示の例解的な実施形態は、インストールされる（または実行される）ソフトウェアを伴う、十二分に機能的なコンピュータ（サーバ）システムの文脈において説明されるが、当業者は、本開示の例解的な実施形態のソフトウェア態様が、種々の形式でのプログラム製品として配布される能力があるということ、および、本開示の例解的な実施形態が、配布を実際に履行するために使用される媒体の個別のタイプに関係なく、等しく適用されるということを察知するであろうということは重要である。

【0067】

[0058]加えて、本開示は、例示的な実施形態を参照して説明されたが、本開示の範囲から逸脱することなく、様々な変更が為され得るものであり、均等物が、それらの実施形態の要素に対して代用され得るということが、当業者により理解されるであろう。さらにまた、多くの変更が、本開示の本質的な範囲から逸脱することなく、個別のシステム、デバイス、または、それらの構成要素を、本開示の教示に適合させるために為され得る。それゆえに、本開示は、本開示を履行するために開示される個別の実施形態に制限されないということ、ただし、本開示は、添付される特許請求の範囲の、範囲の中に該当するすべての実施形態を含むことになるということが意図される。

【0068】

[0059]本明細書において使用される際、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が別段に明確に指示しない限り、複数形もまた含むことを意図される。用語「備える・含む（３人称単数現在形）」および／または「備える・含む（現在分詞）」は、本明細書において使用されるとき、説述される特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指定するが、１つまたは複数の、他の特徴、整数、ステップ、動作、要素、構成要素、および／または、それらの群の、存在または追加を排除しないということが、さらに理解されるであろう。なおまた、用語、第１の、第２の、その他の使用は、何らかの順序または重要性を表象するものではなく、むしろ、用語、第１の、第２の、その他は、１つの要素を別のものと区別するために使用される。加えて、「ａ」、「ｂ」、ｃ」、「第１の」、「第２の」、および「第３の」などの列挙する用語は、説明の目的のために、本明細書において、および、添付される特許請求の範囲において使用されるものであり、相対的な重要性または有意性を、指示または含意することは意図されない。

【0069】

[0060]下記の特許請求の範囲においての、対応する構造、材料、行為、および、すべてのミーンズまたはステッププラスファンクション要素の均等物は、具体的に請求されるように、他の請求される要素と組み合わせて機能を遂行するための任意の構造、材料、または行為を含むことを意図される。本開示の説明は、例解および説明の目的のために提示されたが、網羅的であること、または、開示される形式での本開示に制限されることは意図されない。多くの変更および変形が、本開示の範囲および趣旨から逸脱することなく、当業者には明白であろう。実施形態は、本開示の原理および実践的な用途を最も良好に解説するために、ならびに、他の当業者が、思索される個別の使用に適するような様々な変更を伴う様々な実施形態のために本開示を理解することを可能にするために、選定および説明されたものである。

【図1】

【図2】

【図3】