▶ ヴィリニュス ウニヴェルシテタスの特許一覧 ▶ ユニベルシテ ドゥ カーン ノルマンディの特許一覧 ▶ アンスティチュ ナショナル ドゥ ラ サンテ エ ドゥ ラ ルシェルシュ メディカルの特許一覧 ▶ サントレ レジオナル フランソワ バクレシーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-29
(45)【発行日】2023-12-07
(54)【発明の名称】生物学的サンプルの画像に対するコンピュータ実装プロセス
(51)【国際特許分類】
G01N 33/48 20060101AFI20231130BHJP
G06T 7/00 20170101ALI20231130BHJP
G01N 33/483 20060101ALI20231130BHJP
G01N 33/53 20060101ALI20231130BHJP
【ＦＩ】
G01N33/48 P
G06T7/00 250
G06T7/00 630
G01N33/483 C
G01N33/48 M
G01N33/53 Y
【請求項の数】
14
(21)【出願番号】P 2021500949
(86)(22)【出願日】2019-06-27
(65)【公表番号】
(43)【公表日】2021-09-27
(86)【国際出願番号】 EP2019067180
(87)【国際公開番号】W WO2020011549
(87)【国際公開日】2020-01-16
【審査請求日】2022-06-21
(31)【優先権主張番号】18182961.5
(32)【優先日】2018-07-11
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】521009326
【氏名又は名称】ヴィリニュス ウニヴェルシテタス
(73)【特許権者】
【識別番号】515334773
【氏名又は名称】ユニベルシテ ドゥ カーン ノルマンディ
(73)【特許権者】
【識別番号】591100596
【氏名又は名称】アンスティチュ ナショナル ドゥ ラ サンテ エ ドゥ ラ ルシェルシュ メディカル
(73)【特許権者】
【識別番号】521009337
【氏名又は名称】サントレ レジオナル フランソワ バクレシー
(74)【代理人】
【識別番号】110000659
【氏名又は名称】弁理士法人広江アソシエイツ特許事務所
(72)【発明者】
【氏名】プーラン，ローラン
(72)【発明者】
【氏名】ロリナヴィシウス，アルビダス
(72)【発明者】
【氏名】プランクレーヌ，ベノワ
(72)【発明者】
【氏名】エリー，ニコラス
【審査官】下村 一石
(56)【参考文献】
【文献】特表２０１８－５１７２０９（ＪＰ，Ａ）
【文献】特開２００３－００４６０８（ＪＰ，Ａ）
【文献】特開２００４－１５１１０１（ＪＰ，Ａ）
【文献】特開２００６－１４８８７８（ＪＰ，Ａ）
【文献】米国特許出願公開第２００８／０１１８１２４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ３３／４８－３３／９８
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
生物学的サンプル（１０１）のデジタル画像のピクセルを分類するためのプロセス（１００）であって、（ａ）第１のデジタル画像（１０３）の各ピクセルに関連付けられた値Ｘ１を取得するために、前記生物学的サンプル（１０１）を表す前記第１のデジタル画像（１０３）を受信し（２０２）、前記第１のデジタル画像（１０３）および／またはさらなるデジタル画像（１０３ｂ）からの各ピクセルに対する少なくとも１つの他の値Ｘｉを取得する（２０２ｂ）ステップであって、ｉが２≦ｉ≦ｎの整数であり、ｎがｎ≧２の整数である、ステップと、
（ｂ）第２のデジタル画像（１０４）を取得するために、行列乗算、
【数9】
によって空間を変更する（２０３）ステップであって、Ｘが、値Ｘ１からＸｎを含むｎ行１列の行列であり、Ｉが、値Ｉ１からＩｍを含むｍ行１列の行列であり、ｍが２以上の整数であり、Ｉ１からＩｍが、前記第２のデジタル画像（１０４）の各ピクセルに関連付けられた値であり、Ａが、ｍ行ｎ列の行列である、ステップと、
（ｃ）前記第２のデジタル画像（１０４）の２以上のピクセルの、Ｉ １ の値と、Ｉｊとの値に基づいて、分類条件（１０５）を判定する（２０４）ステップであって、ここでＩ ｊ におけるｊはｊ＞１且つｊ≦ｍである、分類条件（１０５）を判定する（２０４）ステップと、
（ｄ）第１のクラス（１０６）における前記分類条件を満たす（１０５）前記第２のデジタル画像（１０４）のピクセルを分類する（２０５）ステップと、を備え、
ステップ（ｃ）が、
・１つまたは複数の分布のセット（１１１）を判定すること（２１１）であって、前記セット（１１１）が、Ｉ１の関数として前記第２のデジタル画像（１０４）内のピクセル数の少なくとも１つの分布を含み、且つ前記セット（１１１）が、Ｉｊの関数として前記第２のデジタル画像（１０４）内のピクセル数の少なくとも１つの分布を含み、ここでＩ ｊ におけるｊは、ｊ＞１且つｊ≦ｍである、ことと、
・少なくとも１つのフィッティングパラメータ（１１２）を判定するために前記セット（１１１）の分布をフィッティングすること（２１２）と、
・前記少なくとも１つのフィッティングパラメータ（１１２）から前記分類条件（１０５）を判定することと、を備える、プロセス。
【請求項2】
前記分布のセット（１１１）が、Ｉ１の関数である分布およびＩｊの関数である分布を含み、ここでＩ
ｊ
におけるｊは、ｊ＞１且つｊ≦ｍである、請求項１に記載のプロセス。
【請求項3】
前記分布のセット（１１１）が、Ｉ１の関数である第１の分布およびＩｊの関数である第２の分布とを含み、ここでＩ
ｊ
におけるｊは、ｊ＞１且つｊ≦ｍである、請求項１に記載のプロセス。
【請求項4】
現在分類されているピクセルの前記分類条件が、Ｉ１と、少なくとも１つのＩｊの前記現在分類されているピクセルの値に関連し、ここでＩ
ｊ
におけるｊは、ｊ＞１且つｊ≦ｍである、請求項１から３のいずれか一項に記載のプロセス。
【請求項5】
主成分分析による前記行列Ａの判定、独立成分分析による前記行列Ａの判定、または前記行列Ｘの因子分析による前記行列Ａの判定を備える、請求項１から４のいずれか一項に記載のプロセス。
【請求項6】
ｎ＝３、ｍ＝３、Ｘ１が、前記第１のデジタル画像（１０３）における赤色値Ｒであり、Ｘ２が、前記第１のデジタル画像（１０３）における緑色値Ｇであり、Ｘ３が、前記第１のデジタル画像（１０３）における青色値Ｂであり、【数10】
である、請求項１から５のいずれか一項に記載のプロセス。
【請求項7】
前記第１のデジタル画像（１０３）が、第１の染色技術にしたがって染色された前記生物学的サンプル（１０１）の少なくとも一部を示す、請求項１から６のいずれか一項に記載のプロセス。
【請求項8】
前記さらなるデジタル画像（１０３ｂ）が、第２の染色技術にしたがって染色された前記生物学的サンプル（１０１）の少なくとも一部を示す、請求項１から７に記載のプロセス。
【請求項9】
前記第１のデジタル画像（１０３）が、光学画像、蛍光の画像、または偏光の画像から取得される、請求項１から８のいずれか一項に記載のプロセス。
【請求項10】
Ｘ２が、前記さらなるデジタル画像（１０３ｂ）から取得され、ｉ＞２である少なくとも１つのＸｉが、他のデジタル画像から取得される、請求項１から９のいずれか一項に記載のプロセス。
【請求項11】
Ｘ１が、前記第１のデジタル画像（１０３）と他のデジタル画像との組み合わせから取得され、２≦ｉ≦ｎの少なくとも１つのＸｉが、前記さらなるデジタル画像（１０３ｂ）と前記他のデジタル画像との組み合わせから取得される、請求項１から１０のいずれか一項に記載のプロセス。
【請求項12】
請求項１から１１のいずれか一項に記載のプロセスを実行する手段を備えるデータ処理装置。
【請求項13】
プログラムがデータ処理装置によって実行されるときに、前記データ処理装置に請求項１から１１のいずれか一項に記載のプロセスを実行させる命令を備えるコンピュータプログラム。
【請求項14】
データ処理装置によって実行されると、前記データ処理装置に請求項１から１１のいずれか一項に記載のプロセスを実行させる命令を備えるコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生物学的サンプルのデジタル画像のピクセルを分類するためのコンピュータ実装プロセスに関する。
【背景技術】
【0002】
生物学的サンプルの画像の自動処理のためのプロセスが知られている。しかしながら、例えばそれらの色の関数としてのピクセルの自動分類は、通常、不十分である。例えば、ピクセルは、実際には染色されていない領域にあるのに対して、染色されているとして誤って分類されることが非常によくある。
非特許文献１は、生物学的画像セグメンテーションのための自動色空間選択について説明している。
非特許文献１は、生物学的画像セグメンテーションのための自動色空間選択について説明している。
【先行技術文献】
【非特許文献】
【0003】
【文献】ＭＥＡＳ－ＹＥＤＩＤ Ｖら：「Ａｕｔｏｍａｔｉｃ ｃｏｌｏｒ ｓｐａｃｅ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｂｉｏｌｏｇｉｃａｌ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ」，ＰＡＴＴＥＲＮ ＲＥＣＯＧＮＩＴＩＯＮ，２００４．ＩＣＰＲ２００４．ＰＲＯＣＥＥＤＩＮＧＳ ＯＦ ＴＨＥ１７ＴＨ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＣＯＮＦＥＲＥＮＣＥ ＯＮ ＣＡＭＢＲＩＤＧＥ，ＵＫ ＡＵＧ．２３－２６，２００４，ＰＩＳＣＡＴＡＷＡＹ，ＮＪ，ＵＳＡ．ＩＥＥＥ，ＬＯＳ ＡＬＡＭＩＴＯＳ，ＣＡ，ＵＳＡ，ｖｏｌ．３，２００４年８月２３日（２００４－０８－２３），５１４－５１７ページ
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、本発明の目的は、ピクセルの分類の精度を高めて、生物学的サンプルの画像を自動処理するためのプロセスを提供することである。
【課題を解決するための手段】
【0005】
第１の態様によれば、本発明の目的は、生物学的サンプルのデジタル画像のピクセルを分類するためのプロセスであって、
（ａ）第１のデジタル画像の各ピクセルに関連付けられた値Ｘ１を取得するために、生物学的サンプルを表す第１のデジタル画像を受信し、第１のデジタル画像および／またはさらなるデジタル画像から、各ピクセルについて少なくとも１つの他の値Ｘｉを取得するステップであって、ｉは２≦ｉ≦ｎなどの整数であり、ｎはｎ≧２などの整数である、ステップと、
（ｂ）第２のデジタル画像を取得するために、行列
の乗算によって空間を変更するステップであって、Ｘは値Ｘ１からＸｎを含むｎ行１列の行列であり、Ｉは値Ｉ１からＩｍを含むｍ行１列の行列であり、ｍは２以上の整数であり、Ｉ１からＩｍは、第２のデジタル画像の各ピクセルに関連付けられた値であり、Ａはｍ行ｎ列の行列である、ステップと、
（ｃ）Ｉ１の値と、ｊ＞１且つｊ≦ｍを有する第２のデジタル画像の少なくともいくつかのピクセルのＩｊの値とに基づいて分類条件を判定するステップと、
（ｄ）第１のクラスの分類条件を満たす第２のデジタル画像のピクセルを分類するステップと、を備え、
ステップ（ｃ）が、
・１つまたは複数の分布のセットを判定することであって、セットが、Ｉ１の関数として第２のデジタル画像内のピクセル数の少なくとも１つの分布を含み、セットが、ｊ＞１且つｊ≦ｍを有するＩｊの関数として第２のピクセル数の少なくとも１つの分布を含むことと、
・少なくとも１つのフィッティングパラメータを判定するためにセットの分布をフィッティングすることと、
・少なくとも１つのフィッティングパラメータから分類条件を判定することと、を備える、プロセスである。
（ａ）第１のデジタル画像の各ピクセルに関連付けられた値Ｘ１を取得するために、生物学的サンプルを表す第１のデジタル画像を受信し、第１のデジタル画像および／またはさらなるデジタル画像から、各ピクセルについて少なくとも１つの他の値Ｘｉを取得するステップであって、ｉは２≦ｉ≦ｎなどの整数であり、ｎはｎ≧２などの整数である、ステップと、
（ｂ）第２のデジタル画像を取得するために、行列
【数1】
（ｃ）Ｉ１の値と、ｊ＞１且つｊ≦ｍを有する第２のデジタル画像の少なくともいくつかのピクセルのＩｊの値とに基づいて分類条件を判定するステップと、
（ｄ）第１のクラスの分類条件を満たす第２のデジタル画像のピクセルを分類するステップと、を備え、
ステップ（ｃ）が、
・１つまたは複数の分布のセットを判定することであって、セットが、Ｉ１の関数として第２のデジタル画像内のピクセル数の少なくとも１つの分布を含み、セットが、ｊ＞１且つｊ≦ｍを有するＩｊの関数として第２のピクセル数の少なくとも１つの分布を含むことと、
・少なくとも１つのフィッティングパラメータを判定するためにセットの分布をフィッティングすることと、
・少なくとも１つのフィッティングパラメータから分類条件を判定することと、を備える、プロセスである。
【0006】
本発明にかかるプロセスでは、第１のデジタル画像のいくつかの色、または第１のデジタル画像の少なくとも１つの色およびさらなるデジタル画像の少なくとも１つの色が、第１のデジタル画像の各ピクセルについて、共通の行列Ｘに合成される。したがって、この行列は、第１の空間において、数学的に使いやすいツールで関連情報を合成する。次に、行列Ｘは、情報の処理が容易な第２の空間において情報を取得するように変換される。行列Ｉは、その変換から取得される。次に、分類条件を判定するために、行列Ｉの少なくとも２つの係数（すなわち、第２の空間の２つの次元）への分布のフィッティングを含む頻度分析が実行される。分類条件は、第２のデジタル画像のピクセルについてチェックされ、例えば、次々に考慮されて、それらを第１のクラスに分類する（または分類しない）。
【0007】
本発明において、分類条件の判定が、第２の空間におけるいくつかの次元からの情報を使用することは非常に興味深い。実際、この異なる情報源の交差により、特に信頼できる分類条件を取得することができる。
【0008】
ピクセルの値ＸｉおよびＩｊは、それらが本発明の全ての実施形態において実際の色でない場合であっても、「色」と呼ばれることができる。行列Ｘは、第１の色空間におけるピクセルを定義すると見なすことができ、行列Ｉは、第２の色空間におけるピクセルを定義すると見なすことができる。ピクセルの値Ｘｉとピクセルの値Ｉｊとの間の空間の変更は、色空間の変更と呼ばれることができる。
【0009】
ｉ≧２の少なくとも１つのＸｉがさらなるデジタル画像から取得されると、第１のデジタル画像およびさらなるデジタル画像からのピクセルは、第１のデジタル画像およびさらなるデジタル画像の構造またはオブジェクト間にオーバーレイが存在するように照合される。プロセスの入力として３つ以上の画像が使用される場合も、同じことが当てはまる。第１のデジタル画像およびさらなるデジタル画像がＸの値を判定するために使用される場合、第２のデジタル画像は、第１のデジタル画像およびさらなるデジタル画像から生じる情報の組み合わせである。
【0010】
本発明にかかる方法では、分類条件の判定は、行列Ｉの要素の少なくとも１つの関数として少なくとも１つの分布を考慮に入れる。分布は、１つまたは複数の分布のセットで構成される。セットの分布は、Ｉ１、ｆ（Ｉ１）の関数である。セットの分布は、Ｉｊ（ｍ≧ｊ＞１）の関数であり、分布は、Ｉ１の関数である［およびｆ（Ｉ１、Ｉ２）と書くことができる］分布と同じとすることができ、または、分布は、ｍ≧ｊ＞１を有するＩ１、ｇ（Ｉｊ）の関数ではない別の関数とすることができる。上記分布は、行列Ｉの他の係数の関数であってもよい。
【0011】
分布の使用は、色値の全範囲からの情報を考慮することを可能にする。例えば、Ｉ１の１次元分布と、Ｉ２もしくはＩ３またはｍ≧ｊ＞１の任意のＩｊの１次元分布が使用されることができ、または、Ｉ１およびＩ２もしくはＩ３、またはｍ≧ｊ＞１の任意のＩｊの２次元分布が使用されることができる。
【0012】
分類条件は、好ましくは、Ｉのいくつかの次元における考慮されたピクセルの値およびＩの次元における参照値を含む。
【0013】
好ましくは、分類条件は、Ｉ１およびＩｉにおいて考慮されるピクセルの値にともに関係する条件を含む。例えば、分類条件は、
とすることができる。ここで、Ｉ１
０、Ｉ２
０、およびＲは、ステップ（ｃ）から取得された参照値であり、Ｘ＝（Ｉ１、Ｉ２）は、考慮されるピクセルである。
【数2】
【0014】
フィッティングは、通常、ピクセルの色または染色に対応する色範囲を大まかに判定することを可能にする。フィッティングパラメータは、これらの色の範囲を定量化する。分類条件は、色の範囲間の分離を反映することが好ましい。
【0015】
本文書の枠内では、生物学的サンプルは、好ましくは、組織学的セクションまたは例えば、２～５μｍ間隔の複数の連続した組織学的セクションである。それはまた、例えば、生物学的組織、血液のサンプル、１つまたは複数の細胞などとすることができる。本発明にかかるプロセスは、組織学、細胞学、血液学などで使用されることができる。
【0016】
１つまたは複数の分布のセット、Ｉ１の関数としての第２のデジタル画像内のピクセル数の少なくとも１つの分布を含むセット、およびｍ≧ｊ＞１のＩｊの関数としての第２のデジタル画像内のピクセル数の少なくとも１つの分布を含むセットの判定は、頻度分析と呼ばれることがある。
【0017】
本発明にかかるプロセスは、ソフトウェアで実装するのが特に容易である。また、コンピュータなどの電子機器によって実行される場合も特に高速である。
【0018】
本方法は、別のさらなるステップ、例えば、特にステップ（ａ）と（ｂ）との間の画像処理の任意のさらなるステップを含むことができる。ステップ（ａ）と（ｂ）との間で解像度を増減するステップを実行することができる。次に、ステップ（ｂ）から（ｄ）は、最初に撮像された画像のピクセルとは別のサイズのピクセルに対して実行されることができる。
【0019】
プロセスのステップは、好ましくは、（ａ）、（ｂ）、（ｃ）、および（ｄ）の順序で実行される。しかしながら、例えば、ステップ（ｄ）の一部がステップ（ｃ）の一部の前に実行されることもできる。
【0020】
本発明にかかる方法は、任意の段階で、「関心部分」であるとして、第１のデジタル画像、さらなるデジタル画像、または第２のデジタル画像の少なくとも一部の選択を含むことができる。プロセスは、選択された部分でのみ続行することが好ましい。選択は、好ましくは、ステップ（ａ）と（ｂ）との間で実行される。例えば、本発明の実施形態では、ステップ（ａ）と（ｂ）との間、またはステップ（ａ）の前のステップは、生物学者またはソフトウェアが第１のデジタル画像上で１つまたは複数の関心領域を選択することを含む。これは、明らかに健全な領域およびアーティファクト（折り目、斑点、・・・）を削除するのに役立つことができる。次に、好ましくは、ステップ（ｂ）、（ｃ）、および（ｄ）は、関心領域に対してのみ実行される。
【0021】
本発明の実施形態では、ステップ（ａ）と（ｂ）との間の「関心部分」としての第１または第２のデジタル画像の少なくとも１つの部分の選択は、ピクセルのＲＧＢカラー値に基づいている。例えば、青、緑または赤のピクセルの色値の関数として閾値を含むことができる。これは、上皮に対応する関心領域が青色値の分布の閾値処理によって選択されることができる癌腫にとって特に興味深い。
【0022】
分類条件は、Ｉ１の値と、第２のデジタル画像の全てのピクセルのｍ≧ｊ＞１であるＩｊの値とに基づいて判定されることが好ましい。
【0023】
本文書の枠内では、デジタル画像は、ピクセルの行列である。いくつかのデジタル画像は、３つの色値が各ピクセルに関連付けられているカラーデジタル画像とすることができる。
【0024】
好ましくは、各ピクセルは、第１のデジタル画像および第２のデジタル画像に存在するが、第１および第２のデジタル画像では異なる値を有する。
【0025】
第１の画像では、赤の値、緑の値、青の値の３つの値が各ピクセルに関連付けられている。第１の画像は、赤、緑、青（ＲＧＢ）色空間である第１の色空間にあると言うことができる。第２の画像では、Ｉ１の値、Ｉ２の値、およびＩ３の値の３つの値が各ピクセルに関連付けられている。第２の画像は、第２の色空間にあると言うことができる。第２の色空間は、ＲＧＢ色空間ではない。第２の色空間は、Ｏｈｔａ色空間と呼ばれることができる。
【0026】
色値Ｉ１は、「強度」と呼ばれることができる。色値Ｉ２は、「赤対青」と呼ばれることができる。色値Ｉ３は「マゼンタ対緑」と呼ばれることができる。
【0027】
本文書の枠内では、分類条件は、いくつかの特定の条件を含むことができる。好ましくは、全ての特定の条件が満たされる場合、分類条件が満たされる。
【0028】
本文書の枠内では、分布は、好ましくはヒストグラムである。
【0029】
本発明の実施形態では、ステップ（ａ）、（ｂ）、（ｃ）および（ｄ）は、完全に自動化されている。
【0030】
本発明にかかるプロセスは、「染色された」、すなわち、任意の染色プロセスによって着色された、または自然に着色された生物学的サンプルに特に適している。染色プロセスは、例えば、タンパク質、ＤＮＡ、ＲＮＡ、細胞の分化の染色などに基づくことができる。染色プロセスは、染料による着色を含むことができ、および／または、すなわち、ヘマトキシリン、エオシン、サフランの場合、蛍光および／または可視光を含むことができる。染色プロセスは、色原体化合物を含むことができる。染色プロセスは、抗体／抗原反応を含むことができる。
【0031】
染色は、生物学または組織学、特に組織化学の任意の染色プロセスによって実行されることができる。染色は、好ましくは染色装置を用いて実行される。例えば、染色は、青（ヘマトキシリンによって対比染色された核）および茶（従来のペルオキシダーゼ／ＤＡＢ系によって免疫検出された様々な起源のタンパク質）とすることができる。例えば、染色は、増殖細胞（ｋｉ６７またはサイクリンＡの検出）、アポトーシス細胞（切断されたカスパーゼ３、切断されたサイトケラチン１８・・・）、膜抗原（成長因子受容体、接着受容体、死受容体・・・）、Ｂｃｌ－２ファミリータンパク質などの細胞質タンパク質、核抗原（転写因子・・・）などの検出を可能とすることができる。
【0032】
本発明の実施形態では、生物学的サンプルは、癌が疑われる組織片で採取された組織学的セクションである。
【0033】
ステップ（ａ）では、例えばカメラまたはスキャナを使用する任意のデジタル写真プロセスを使用することができる。画像は、好ましくは、完全な生物学的サンプルを表す。
【0034】
本発明の実施形態では、第１のクラスは、第１のタイプの構造または第１のタイプのオブジェクト、例えば腫瘍区画を表すものとして分類されるピクセルを含む。第１のクラスに分類されていないピクセルは、第１のタイプの構造またはオブジェクトを表していないと見なされる。例えば、第１クラスのピクセルは、「ラベル付き」、「着色済」、または「染色済」ピクセルに対応し、第１クラスに属さないピクセルは、「未着色」ピクセル、「未染色」ピクセル、または「背景」ピクセルと見なされる。
【0035】
第１のクラスのピクセルが第１の色で着色または染色されたピクセルに対応する一方で、第１のクラスに属さないピクセルが、未着色、未染色、または例えば別の色で染色されているなど別の色とすることができることも可能である。
【0036】
本発明の実施形態では、第１のデジタル画像を間質区画と腫瘍区画に分離するプロセスもまた、例えば、本発明にかかるピクセルを分類するためのプロセスと並行して実行される。そのような分離プロセスは、例えば、国際公開第２００４０８４１３５号パンフレットに記載されている。本発明の実施形態は、本発明にしたがってピクセルを分類するためのプロセスと、腫瘍区画に属する第１のクラスのピクセルを判定するステップとを含む。
【0037】
本発明にかかるプロセスの後、第１のクラスのピクセルは、さらなる分析のために使用されることができる。このさらなる分析は、ピクセル、好ましくは第１のクラスのピクセルのマクロピクセルへの割り当てを含むことができる。マクロピクセルは、好ましくは六角形である。割り当てはタイリングであることが好ましい。本発明の実施形態では、さらなる分析は、第１のクラスのピクセルおよび腫瘍区画に属するピクセルのマクロピクセルへの割り当てを含む。
【0038】
次に、マクロピクセルのヒストグラムが判定されることができる。それは、例えば腫瘍の分類や腫瘍の不均一性の研究に使用されることができる。
【0039】
本発明の実施形態では、ステップ（ｃ）は、さらなる分類条件を判定することを備え、ステップ（ｄ）は、さらなる分類条件を満たす第２のデジタル画像の第２のクラスのピクセルに分類することを備える。例えば、分類条件は、第２の画像の色空間における第１の範囲の色値に対応することができ、さらなる分類条件は、第２の画像の色空間における第２の範囲の色値に対応することができる。
【0040】
本発明の実施形態では、分布のセットは、Ｉ１の関数およびｍ≧ｊ＞１のＩｊの関数である分布を含む。この分布は、好ましくは、少なくとも２次元を有する。この分布は、例えば、ｍ次元のガウス分布の合計によってフィッティングされることができる。
【0041】
本発明の第１の実施形態では、分布のセットは、Ｉ１の関数およびｍ≧ｊ＞１のＩｊの関数であるいくつかの分布を含む。セットは、例えば、Ｉ１およびＩ２またはＩ１、Ｉ２およびＩ３に依存する４つの分布を含むことができる。
【0042】
本発明の第２の実施形態では、分布のセットは、Ｉ１の関数である第１の分布と、ｍ≧ｊ＞１のＩｊの関数である第２の分布とを含む。第１および第２の分布は、１次元とすることができる。
【0043】
本発明の実施形態では、考慮されるピクセルの分類条件は、Ｉ１、Ｉ２、およびＩ３のうちの少なくとも１つにおける考慮されるピクセルの値に関係する。
【0044】
これは、第２の色空間におけるそれらの値からピクセルを容易に分類することを可能にする。「考慮される」ピクセルは、現在分類されているピクセルである。
【0045】
好ましくは、分類条件は、Ｉ１、Ｉ２およびＩ３の少なくとも１つの閾値、またはＩ１、Ｉ２およびＩ３の少なくとも２つの組み合わせの閾値を含む。本発明の実施形態では、分類条件は、ピクセルが閾値よりも高いＩ１の値を有する必要があるということであり、閾値は、Ｉ１の分布から判定されている。
【0046】
本発明の実施形態では、分類条件は、Ｉ１における考慮されるピクセルの値、およびｍ≧ｊ＞１の少なくとも１つのＩｊにおける考慮されるピクセルの値に関係する。換言すれば、同じ次元がフィッティングおよび分類に使用される。
【0047】
好ましくは、分類条件は、Ｉ１の閾値およびＩ２およびＩ３の少なくとも１つの閾値、またはＩ１、Ｉ２およびＩ３の組み合わせの閾値を含む。本発明の実施形態では、分類条件は、ピクセルが、第１の閾値よりも高いＩ１の値および第２の閾値よりも高いＩ２の値を有する必要があるということであり、前記第１は、Ｉ１の分布から判定され、前記第１は、Ｉ２の分布から判定されている。
【0048】
本発明の実施形態では、経験的較正パラメータが分類条件の判定に使用され、経験的較正パラメータは、生物学的サンプルと同じ方法で調製された較正生物学的サンプルを生物学的実践者に示すことによって判定されている。
【0049】
いくつかの経験的較正パラメータが存在することができる。２つの経験的較正パラメータが存在することが好ましい。より好ましくは、Ｉ１に対応する１つの較正パラメータおよびＩｊに対応する１つの較正パラメータが存在し、Ｉｊは、分類条件を判定するために使用される色値である。経験的校正パラメータの判定は、特許請求の範囲に記載されたプロセスを使用する前に行うことができる。好ましくは、例えば、染色ツールおよび染色染料を含む調製条件は、較正生物学的サンプルの調製において、および特許請求の範囲に記載されたプロセスによって分析される生物学的サンプルの調製において同一である。「較正生物学的サンプル」はまた、「ダミー生物学的サンプル」と呼ばれることもある。経験的較正パラメータの使用は、どのピクセルを「着色済」および「未着色」と見なすかについての生物学的実践者の経験を考慮に入れることを可能にする。したがって、本発明にかかる分類プロセスを較正することが可能である。例えば、分類条件が閾値を含む場合、経験的較正パラメータの使用は、この閾値の値に影響を与えることができる。好ましくは、ステップ（ｃ）において使用される色値ごとに１つの較正パラメータがある。より好ましくは、Ｉ１に１つの較正パラメータがあり、Ｉ２またはＩ３に１つの較正パラメータがある。
【0050】
例えば、染色された組織学的セクションの場合、経験的較正パラメータの使用は、どのピクセルを「染色済」および「未染色」と見なすかについての組織学的実践者の経験を考慮に入れることを可能にする。そのような場合、「調製」は、好ましくは、染色を含む。
【0051】
分類条件の判定に経験的較正パラメータが使用される場合、少なくとも１つのフィッティングパラメータからの分類条件の判定においてそれを考慮に入れることが好ましい。
【0052】
本発明の実施形態では、セットの分布は、ガウス分布にフィッティングされる。
【0053】
少なくとも１つのフィッティングパラメータは、好ましくは、ガウス分布の平均を含む。少なくとも１つのフィッティングパラメータは、好ましくは、ガウス分布の平均および標準偏差を含む。少なくとも１つのフィッティングパラメータからの分類条件の判定は、好ましくは、平均および標準偏差の加重和を含む。分類条件の判定に経験的較正パラメータが使用される場合、それは、好ましくは、加重和の少なくとも１つの重みにおいて考慮に入れられる。
【0054】
本発明の実施形態では、フィッティングは、ガウス混合モデルを使用する。このモデルは、ヒストグラムの変化に特によく適応することができる。
【0055】
本発明の実施形態では、フィッティングは、最尤法を使用する。
【0056】
フィッティングはまた、平均二乗法などの別の方法によっても実行されることができる。本発明者らは、パラメータ推定がサブサンプリングされたピクセルセットから行われるため、最尤法の使用が他の方法よりも良好な結果を提供することを見出した。それは、特にワイドバーチャルスライド（ＷＳＩ）に非常によく適合される。
【0057】
例えば、フィッティングは、２次元ガウス関数の合計を使用して実行されることができる。
【0058】
本発明の実施形態では、プロセスは、分類条件を満たさない第２のデジタル画像の第２のクラスのピクセルに分類することを備える。
【0059】
例えば、これらのピクセルは、染色されていないと見なすことができ、または、別の色で染色されていると見なすことができ、または、別の色を有していると見なすことができる。本発明の実施形態では、分類条件を満たさないピクセルは、例えば、さらなる分類条件に基づいて、複数のクラスに分類される。したがって、第１のクラス（第１の色または第１の染色色）、第２のクラス（第２の色または第２の染色色）および第３のクラス（第３の色または染色なし）にピクセルを分類することが可能である。
【0060】
本発明の実施形態では、プロセスは、主成分分析、独立成分分析、または行列Ｘの因子分析からの行列Ａの判定を備える。実際、最も関連性の高い情報に焦点を当てる行列Ｉの係数に対するフィッティングを実行するために、関連情報を表す次元に焦点を当てることは興味深い。別の可能性は、行列Ａがプロセスの前に既知であるということである。
【0061】
Ｏｈｔａの実施形態と呼ばれる本発明の実施形態では、ｎ＝３、ｍ＝３、Ｘ１は、第１のデジタル画像における赤値Ｒであり、Ｘ２は、第１のデジタル画像における緑値Ｇであり、Ｘ３は、第１のデジタル画像における青値Ｂである。
【数3】
【0062】
本発明のＯｈｔａの実施形態では、ステップ（ｂ）の色空間の変更に使用される方程式は、Ｏｈｔａによって刊行物に示されているように、主成分分析に基づいている。したがって、「第２の色空間」または「Ｏｈｔａ色空間」と呼ばれることができる第２のデジタル画像の色空間において、色間の分離は、はるかに強い。したがって、本発明にかかるプロセスは、異なる色のピクセルを区別するのに特に適しており、それにより、その分類精度を向上させる。
【0063】
さらに、分類条件は、第２の色空間Ｉ１内のピクセルの強度、およびピクセルの少なくとも別の色値Ｉ２、Ｉ３に基づいているためである。Ｉ１の使用は、信号と背景とを区別するのに特に適している。Ｉ２またはＩ３の使用は、色を区別するのに特に適している。したがって、Ｉ１およびＩ２またはＩ３の使用は、補足的な情報編をもたらす。したがって、Ｉ１とＩ２またはＩ３の使用を組み合わせると、プロセスの精度の大幅な向上につながる。
【0064】
本発明者らは、Ｏｈｔａ空間におけるＩ１とＩ２および／またはＩ３との組み合わせが、例えば、茶色と青色を区別するのに特に効率的であり、他の色を区別することも非常に効率的であり得ることを示した。
【0065】
第１の画像では、赤の値、緑の値、青の値の３つの値が各ピクセルに関連付けられている。第１の画像は、赤、緑、青（ＲＧＢ）色空間である第１の色空間にあると言うことができる。第２の画像では、Ｉ１の値、Ｉ２の値、およびＩ３の値の３つの値が各ピクセルに関連付けられている。第２の画像は、第２の色空間にあると言うことができる。第２の色空間は、ＲＧＢ色空間ではない。第２の色空間は、Ｏｈｔａ色空間と呼ばれることができる。
【0066】
色値Ｉ１は、「強度」と呼ばれることができる。色値Ｉ２は、「赤対青」と呼ばれることができる。色値Ｉ３は「マゼンタ対緑」と呼ばれることができる。
【0067】
本発明の実施形態では、第１のデジタル画像は、第１の染色技術にしたがって染色された生物学的サンプルの少なくとも一部を示している。生物学的サンプルのこの部分は、好ましくは、第１の組織学的セクションである。第１のデジタル画像は、好ましくは、ＲＧＢである。例えば、それが蛍光の画像または偏光の画像である場合、第１のデジタル画像は、灰色のレベルとすることができる。
【0068】
本文書の枠内では、第１の染色技術は、好ましくは、着色に使用される化学物質によって第２の染色技術とは異なる。
【0069】
本発明の実施形態では、さらなるデジタル画像は、第２の染色技術にしたがって染色された生物学的サンプルの少なくとも一部を示している。そのような場合、本発明にかかるプロセスは、いくつかの染色技術によって提供される情報を組み合わせて、ピクセルの分類のための共通の条件または基準を取得することを可能にする。さらなるデジタル画像上に見える生物学的サンプルの部分は、第２の組織学的セクション、または染色されておらず、第２の染色技術にしたがって染色された第１の組織学的セクションとすることができる。
【0070】
本発明の実施形態では、第１のデジタル画像は、光学画像、蛍光画像、または偏光画像から取得される。本発明の枠内では、他の任意の撮像技術も可能である。さらなるデジタル画像は、光学画像、蛍光画像、または偏光画像のいずれかから取得されることができる。「から取得される」とは、デジタル画像が、光学画像、蛍光画像、偏光画像、これらの画像の少なくとも２つの組み合わせ、またはこれらの画像の少なくとも１つからの情報を含む画像とすることができることを意味する。「光学画像」は、好ましくは、可視光、より好ましくはカラーの画像を意味する。
【0071】
本発明の実施形態では、Ｘ２は、さらなるデジタル画像から取得され、ｉ＞２を有する少なくとも１つのＸｉは、他のデジタル画像から取得される。例えば、Ｘ２、Ｘ３およびＸ４は、さらなるデジタル画像に基礎を有することができ、Ｘ５、Ｘ６およびＸ７は、他のデジタル画像に基礎を有することができる。
【0072】
本発明の実施形態では、Ｘ１は、第１のデジタル画像と他のデジタル画像との組み合わせから取得され、２≦ｉ≦ｎについての少なくとも１つのＸｉは、さらなるデジタル画像と他のデジタル画像との組み合わせから取得される。例えば、第１のデジタル画像および他のデジタル画像からの情報を組み合わせて、Ｘ１、Ｘ２およびＸ３を与えることができ、さらなるデジタル画像および他のデジタル画像からの情報を組み合わせて、Ｘ４、Ｘ５およびＸ６を与えることができる。
【0073】
ステップ（ｃ）において判定された分類条件は、後に他の生物学的サンプルに再利用されることができる。
【0074】
本発明はまた、本発明の任意の実施形態にかかるプロセスを実行するための手段を備えるデータ処理装置に関する。
【0075】
本発明はまた、プログラムがデータ処理装置によって実行されるときに、データ処理装置に本発明の任意の実施形態にかかるプロセスを実行させる命令を備えるコンピュータプログラムに関する。データ処理装置は、コンピュータ、タブレット、スマートフォン、コントローラ、プロセッサとすることができ、任意のタイプの装置に含まれることができる。
【0076】
本発明はまた、データ処理装置によって実行されると、データ処理装置に本発明の任意の実施形態にかかるプロセスを実行させる命令を備えるコンピュータ可読媒体に関する。
【図面の簡単な説明】
【0077】
本発明をよりよく理解するために、ここで、例として、以下の添付の図面を参照する。
【図1a】本発明の実施形態にかかるピクセルを分類するためのプロセスの第１の例を示すフローチャートを示している。
【図1b】本発明の実施形態にかかるピクセルを分類するためのプロセスの第２の例を示すフローチャートを示している。
【図2】本発明にかかる分類条件の判定の例示的な実施形態を示すフローチャートである。
【図3】本発明にかかる少なくとも１つの経験的較正パラメータの判定の例示的な実施形態を示すフローチャートである。
【図4】本発明にかかる、分類条件を判定して第１のクラスのピクセルを分類するステップの例示的な実施形態を示すフローチャートである。
【図5】本発明の第１の実施形態の第１の例における第１のデジタル画像を示している。
【図7】本発明の第１の実施形態の第１の例における第１のヒストグラムを示している。
【図8】本発明の第１の実施形態の第１の例における第２のヒストグラムを示している。
【図9a】本発明の第１の実施形態の第１の例において組織学的実践者に提出された画像を示している。
【図10a】経験的較正パラメータなしで取得された「染色済」領域と「未染色」領域との間の境界を示している。
【図10b】本明細書に記載されている経験的較正パラメータを使用して取得された「染色済」領域と「未染色」領域との間の境界を示している。
【図11】本発明の第１の実施形態の第１の例における、本発明にかかる分類から得られた画像を示している。
【図12】本発明の第１の実施形態の第１の例におけるバイナリマスクを示している。
【図16】透過率の関数としてマクロピクセルの数を提供するヒストグラムを示している。
【図17】本発明の第１の実施形態の第２の例における第１のデジタル画像を示している。
【図19】本発明の第１の実施形態の第２の例における第１のヒストグラムを示している。
【図20】本発明の第１の実施形態の第２の例における第２のヒストグラムを示している。
【図21a】本発明の第１の実施形態の第２の例において組織学的実践者に提出された画像を示している。
【図22a】経験的較正パラメータなしで取得された「染色済」領域と「未染色」領域との間の境界を示している。
【図22b】本明細書に記載されている経験的較正パラメータを使用して取得された「染色済」領域と「未染色」領域との間の境界を示している。
【図23】本発明の第１の実施形態の第２の例における、本発明にかかる分類から得られた画像を示している。
【図24】本発明の第１の実施形態の第２の例におけるバイナリマスクを示している。
【図28】透過率の関数としてマクロピクセルの数を提供するヒストグラムを示している。
【図29】本発明の第２の実施形態の例における第１のデジタル画像を示している。
【図31a】本発明の第２の実施形態の例における２次元分布を示している。
【図35】それらのコラーゲンの量に対応する色のマクロピクセルを示している。
【図36】それらの細胞質の量に対応する色のマクロピクセルを示している。
【図37】それらのコラーゲンの量の関数としてのマクロピクセルの分布を示している。
【図38】それらの細胞質の量の関数としてのマクロピクセルの分布を示している。
【図39】本発明の例における第１のデジタル画像を示している。
【発明を実施するための形態】
【0078】
本発明は、特定の実施形態に関して、および特定の図面を参照して説明されるが、本発明は、それに限定されるものではない。記載されている図面は、概略図であり、非限定的である。図面において、いくつかの要素のサイズは、例示的な目的のために誇張され、縮尺どおりに描かれていない場合がある。
【0079】
さらにまた、明細書および特許請求の範囲における第１、第２、第３などの用語は、類似の要素を区別するために使用され、必ずしも連続的または時系列の順序を説明するために使用されるわけではない。これらの用語は、適切な状況下で交換可能であり、本発明の実施形態は、本明細書に記載または図示されている以外の順序で動作することができる。
【0080】
さらにまた、様々な実施形態は、「好ましい」と呼ばれるが、本発明の範囲を限定するものとしてではなく、本発明が実施されることができる例示的な方法として解釈されるべきである。
【0081】
特許請求の範囲で使用される「備える」という用語は、その後に列挙される要素またはステップに限定されると解釈されるべきではなく、他の要素やステップを除外するものではない。それは、言及されるように、記載された特徴、整数、ステップまたは構成要素の存在を指定するものとして解釈される必要があるが、１つ以上の他の特徴、整数、ステップもしくは構成要素、またはそれらのグループの存在または追加を排除するものではない。したがって、「ＡおよびＢを備える装置」という表現の範囲は、構成要素ＡおよびＢのみからなる装置に限定されるべきではなく、本発明に関して、装置の列挙された構成要素は、ＡおよびＢのみであり、さらに、クレームは、それらの構成要素の均等物を含むものとして解釈されるべきである。
【0082】
図では、同一または類似の要素が同じ符号によって参照される場合がある。
【0083】
図１ａは、さらなるデジタル画像が使用されない、本発明の実施形態にかかるピクセルを分類するためのプロセス１００の例を示すフローチャートを示している。好ましくは、生物学的サンプル１０１は、染色される２０１。結果は、染色された生物学的サンプル１０２である。次に、画像は、生物学的サンプル１０１の少なくとも一部または染色された生物学的サンプル１０２の少なくとも一部から作成され、染色の有無にかかわらず生物学的サンプル１０１の少なくとも一部を表す第１のデジタル画像１０３をデータ処理手段を備える装置に提供する２０２。
【0084】
第１のデジタル画像１０３は、ピクセルを含む。第１のデジタル画像１０３は、ｎ次元（ｎ≧２）を有する第１の空間にあり、各ピクセルは、Ｘ１からＸｎと呼ばれるｎ個の値を有する。Ｘを判定するために第１のデジタル画像１０３のみが使用される本発明の実施形態では、値Ｘ２からＸｎは、これらの値が第１のデジタル画像１０３に含まれるため、ステップ２０２において、値Ｘ１とともに取得される２０２ｂ。
【0085】
第１の空間は、好ましくは、色空間であり、より具体的には、ＲＧＢ色空間である。したがって、以下の３つの色値が第１のデジタル画像１０３の各ピクセルに関連付けられている：赤Ｒ（＝Ｘ１）の値、緑Ｇ（＝Ｘ２）の値、および青Ｂ（＝Ｘ３）の値。
【0086】
次に、プロセス１００にしたがって、例えば、第１のデジタル画像１０３のピクセルのＲＧＢ値から開始して、空間（または色空間）の変更２０３が実行される。色空間の変更２０３は、各ピクセルについて、以下の行列乗算を実行することによって、第２の色空間における第２のデジタル画像１０４を判定することを備える。
【数4】
【0087】
行列Ａは、全てのピクセルについて同じである。行列Ｉの成分Ｉ１からＩｍは、ｍ≧２である、第２のデジタル画像１０４のピクセルの値である。
【0088】
本発明のＯｈｔａの実施形態では、第２のデジタル画像１０４のピクセルの色値は、Ｉ１、Ｉ２、およびＩ３である。それらは、以下によって判定される。すなわち、
【数5】
【0089】
次に、分類条件１０５が判定される２０４。この判定２０４は、以下に基づいている：
・第２のデジタル画像１０４の少なくともいくつかのピクセルのＩ１の値、および
・第２のデジタル画像１０４の少なくともいくつかのピクセルの少なくとも１つのＩｊ（ｍ≧ｊ＞１）の値。
・第２のデジタル画像１０４の少なくともいくつかのピクセルのＩ１の値、および
・第２のデジタル画像１０４の少なくともいくつかのピクセルの少なくとも１つのＩｊ（ｍ≧ｊ＞１）の値。
【0090】
本発明のＯｈｔａの実施形態では、この判定２０４は、以下に基づいている：
・第２のデジタル画像１０４の少なくともいくつかのピクセルのＩ１の値、および
・第２のデジタル画像１０４の少なくともいくつかのピクセルのＩ２の値および／またはＩ３の値。
Ｉ１の値は、関心のあるピクセルを区別するのに特に役立つ。Ｉ２またはＩ３の値は、色や染色を区別するのに特に役立つ。Ｉ１とＩ２またはＩ３の組み合わせにより、関心のある着色済または染色済ピクセルを正確に判定することができる。
・第２のデジタル画像１０４の少なくともいくつかのピクセルのＩ１の値、および
・第２のデジタル画像１０４の少なくともいくつかのピクセルのＩ２の値および／またはＩ３の値。
Ｉ１の値は、関心のあるピクセルを区別するのに特に役立つ。Ｉ２またはＩ３の値は、色や染色を区別するのに特に役立つ。Ｉ１とＩ２またはＩ３の組み合わせにより、関心のある着色済または染色済ピクセルを正確に判定することができる。
【0091】
分類条件１０５は、好ましくは、着色済または染色済ピクセルのみが満たし、未染色ピクセルは、それを満たさないという条件を表すように判定される。
【0092】
次に、分類条件１０５を満たす第２のデジタル画像１０４のピクセルは、第１のクラス１０６に分類される。換言すれば、これらのピクセルは、第１のクラス１０６に属するピクセルとして選択される。
【0093】
本発明の実施形態では、第１のクラス１０６のピクセルを使用して、マスク、好ましくは二値画像またはグレースケールの画像である第３のデジタル画像を形成する。このバイナリ画像の第１の色は、第１のクラス１０６のピクセルに対応し、このバイナリ画像の第２の色は、第１のクラス１０６に属さないピクセルに対応する。
【0094】
本発明はまた、分類プロセス１００および以下のプロセスのうちの少なくとも１つを含む生物学的画像処理のためのプロセスに関する：
・少なくとも１つの経験的較正パラメータ１１３の判定（例えば、図３を参照）、
・第１のデジタル画像を間質区画および腫瘍区画に分離するプロセス、
・ピクセル、好ましくは第１のクラス１０６のピクセルのマクロピクセルへの割り当て、および
・第１のクラス１０６のピクセルに基づくさらなる分析。
・少なくとも１つの経験的較正パラメータ１１３の判定（例えば、図３を参照）、
・第１のデジタル画像を間質区画および腫瘍区画に分離するプロセス、
・ピクセル、好ましくは第１のクラス１０６のピクセルのマクロピクセルへの割り当て、および
・第１のクラス１０６のピクセルに基づくさらなる分析。
【0095】
本発明の実施形態では、第１のデジタル画像を間質区画および腫瘍区画に分離するプロセスは、第３のバイナリ画像と、腫瘍区画からのピクセルおよび選択された第１のクラスのピクセルのみに重ね合わせることができるバイナリマスクを判定する。
【0096】
好ましくは、それらの選択されたピクセルのみがマクロピクセルに分配され、および／または任意のさらなる分析に使用される。
【0097】
さらなる分析は、好ましくは、所与の特性を有するマクロピクセルの数の関数の統計分析を含む。
【0098】
図１ｂは、さらなるデジタル画像１０３ｂが使用される、本発明の実施形態にかかるピクセルを分類するためのプロセス１００の例を示すフローチャートを示している。好ましくは、生物学的サンプル１０１の第１の組織学的セクションは、第１の染色技術にしたがって染色される２０１。結果は、生物学的サンプル１０２の第１の染色された組織学的セクションである。次に、画像は、第１の組織学的セクションの少なくとも一部を表す第１のデジタル画像１０３を、データ処理手段を備える装置に提供するために、第１の組織学的セクションの少なくとも一部から作成される２０２。第１のデジタル画像１０３は、ピクセルを含む。各ピクセルは、少なくとも、第１のデジタル画像１０３において、Ｘ１と呼ばれる１つの値を有する。
【0099】
次に、または並行して、生物学的サンプル１０１の第２の組織学的セクションが、第２の染色技術にしたがって染色される２０１ｂ。結果は、生物学的サンプル１０２ｂの第２の染色された組織学的セクションである。次に、第２の組織学的セクションの少なくとも一部から画像が作成され、第２の組織学的セクションの少なくとも一部を表すさらなるデジタル画像１０３ｂを、データ処理手段を備える装置に提供する。さらなるデジタル画像１０３ｂは、そのピクセルに関連する値を含む。装置がさらなるデジタル画像１０３ｂを受信するときに装置によって取得される２０２ｂさらなるデジタル画像１０３ｂの各ピクセルに関連付けられた少なくとも１つの値Ｘｉ（ｉ＞１）が存在する。好ましくは、さらなるデジタル画像１０３ｂの各ピクセルは、第１のデジタル画像１０３の単一のピクセルに対応する。各ピクセルについて、第１のデジタル画像１０３から取得された値とさらなるデジタル画像１０３ｂから取得された値とを組み合わせた、前記ピクセルＸ＝（Ｘ１、・・・、Ｘｎ）Ｔの値の行列が存在する。
【0100】
次に、プロセスは、行列Ｘを使用して、図１ａを参照して説明したのと同様の方法でステップ２０３から２０５に進む。
【0101】
本発明の枠内で、第１のデジタル画像１０３および／またはさらなるデジタル画像１０３ｂが、光学画像（例えば、ＲＧＢ）、蛍光または偏光の画像から取得されることが可能である。実際には、いかなる種類の画像でも適している。
【0102】
図１ａのプロセスは、第１のデジタル画像１０３のみをデジタル処理の入力として考慮する。図１ｂのプロセスは、第１のデジタル画像１０３およびさらなるデジタル画像１０３ｂをデジタル処理のための入力と見なす。本発明の枠内で、少なくとも１つの他のデジタル画像もまた、Ｘの少なくとも１つの成分を取得するために使用されることが可能である。例えば、第１のデジタル画像１０３および他のデジタル画像を組み合わせてＸ１を取得することができる一方で、さらなるデジタル画像１０３ｂおよび他のデジタル画像を組み合わせてＸ２を取得することができる。そのような画像の組み合わせは、画像から最も関連性の高い情報を直接抽出するために、主成分分析を通じて実際に実行されることができる。
【0103】
図２は、本発明にかかる分類条件１０５の判定２０４の例示的な実施形態を示すフローチャートである。
【0104】
この例示的な実施形態によれば、１つまたは複数の分布のセット１１１が判定される２１１。セット１１１は、Ｉ１の関数として、第２のデジタル画像１０４内のピクセル数の少なくとも１つの分布を含む。セット１１１は、例えばＩ２またはＩ３である、ｍ≧ｊ＞１を有するＩｊの関数として、第２のデジタル画像１０４内のピクセル数の少なくとも１つの分布を含む。
【0105】
例えば、セット１１１は、Ｉ１の値の関数として第２のデジタル画像のピクセル数を表す第１のヒストグラムと、Ｉ２の値の関数として第２のデジタル画像のピクセル数を表す第２のヒストグラムとを含むことができる。
【0106】
次に、図２に示される実施形態では、セット１１１の分布は、これらのパラメトリック関数のパラメータ１１２を抽出するために、パラメトリック関数によってフィッティングされる２１２。
【0107】
次に、図２に示される実施形態では、パラメータ１１２に加えて、判定２０４は、分類条件１０５を計算するために、少なくとも１つの経験的較正パラメータ１１３を考慮に入れる２１３。
【0108】
本発明の実施形態では、ステップ２１１および２１２が実行されるが、ステップ２１３は実行されない。換言すれば、分類条件１０５は、経験的較正パラメータ１１３を使用せずに、分布のフィッティング２１２を用いて判定される。
【0109】
図３は、本発明にかかる少なくとも１つの経験的較正パラメータ１１３の判定３００の例示的な実施形態を示すフローチャートである。
【0110】
この例示的な実施形態によれば、較正生物学的サンプル３０１は、分類プロセス１００によって分析された生物学的サンプル１０２と同じ方法で染色または調製される４０１。それらは、染色または調製された較正生物学的サンプル３０２になる。次に、それらの画像がＲＧＢで撮像され４０２、画像の一部のピクセルにドットが配置される。次に、ドット３０３の付いた画像は、生物学的サンプルの解釈に使用される医師などの生物学的実践者に示される４０３。生物学的実践者は、染色の表示を与える。染色の表示は、例えば、どのドットを染色済／未染色である、または第１の色で染色されている／第２の色で染色されている／・・・／未染色であると生物学的実践者が見なすかを示すことができる。結果３０４は、ＲＧＢ値および染色または色の表示を伴う表の形式を有することができる。次に、経験的較正パラメータ１１３は、ＲＧＢ値および対応する染色または色の表示に基づいて判定される４０４。実践者のドットは、一方がラベル付き画像（または染色／カラー画像）用であり且つ他方がラベルなし画像用である２つのマスク（またはバイナリ画像）と交差する。ラベル付きドットがそのマスク（またはバイナリ画像）に関連付けられている場合、真としてカウントされ、そうでない場合は偽としてカウントされる。スコアは、第１および／または第２の較正パラメータを判定して計算される。
【0111】
図４は、本発明にかかる第１のクラス１０６において分類条件１０５を判定し２０４、ピクセルを分類する２０５ステップの例示的な実施形態を示すフローチャートである。図４の説明では、インデックスＪは、厳密に１よりも大きく、ｍ以下の整数であり、ｍは行列Ｉの要素数であることを理解されたい。
【0112】
当業者は、図４に並列として示されているステップのいくつかが、順次、またはその逆に実行されることができることを理解するであろう。
【0113】
この例示的な実施形態によれば、１つまたは複数の分布のセット１１１の判定２１１は、Ｉ１のヒストグラムである第１のヒストグラム６０１の判定５０１、およびＩｊのヒストグラムである第２のヒストグラム６０２の判定５０２を備える。セット１１１は、第１のヒストグラム６０１および第２のヒストグラム６０２を含む。
【0114】
次に、ステップ２１２において、第１のヒストグラム６０１は、第１のＩ１ガウス曲線および第２のＩ１ガウス曲線の合計を伴うガウス混合モデルを使用してフィッティングされる。第１のＩ１ガウス曲線は、Ｉ１スケールの染色／着色信号に対応し、第２のＩ１ガウス曲線は、Ｉ１スケールの背景に対応することが好ましい。通常、第１のＩ１ガウス曲線は、第２のＩ１ガウス曲線よりもはるかに高い値に到達する。第１のＩ１ガウス曲線は、以下のように記述される。
ここで、μ１およびσ１６０３は、フィッティングパラメータ１１２の一部である。
【数6】
ここで、μ１およびσ１６０３は、フィッティングパラメータ１１２の一部である。
【0115】
ステップ２１２において、第２のヒストグラムは、第１のＩｊガウス曲線および第２のＩｊガウス曲線の合計を伴うガウス混合モデルを使用してフィッティングされる。第１のＩｊガウス曲線は、Ｉｊスケールの染色／着色信号に対応し、第２のＩｊガウス曲線は、Ｉｊスケールの背景に対応することが好ましい。通常、第１のＩｊガウス曲線は、第２のＩｊガウス曲線よりもはるかに高い値に到達する。第１のＩｊガウス曲線は、以下のように記述される。
ここで、μｊおよびσｊ６０４は、フィッティングパラメータ１１２の一部である。
【数7】
ここで、μｊおよびσｊ６０４は、フィッティングパラメータ１１２の一部である。
【0116】
ステップ２１３において、第１の較正パラメータＩＴＣ１６０５は、第１の閾値ＩＴ１をＩＴ１＝μ１＋ＩＴＣ１＊σ１として判定するために考慮に入れられ（５０５）、第２の較正パラメータＩＴＣｊは、第２の閾値をＩＴｊ＝μｊ＋ＩＴＣｊ＊σｊとして判定するために考慮に入れられる（５０６）。
【0117】
分類条件１０５は、以下で構成される：
・Ｉ１＞ＩＴ１である第１の特定の条件６０７、および
・Ｉｊ＞ＩＴｊである第２の特定の条件６０８。
分類ステップ２０５は、以下を備える：
・第２のデジタル画像１０４のピクセルと第１の閾値ＩＴ１との比較５０７であり、Ｉ１＞ＩＴ１であるピクセル６０９のみを選択する、および
・選択されたピクセルと第２の閾値ＩＴｊとの比較５０８であり、Ｉｊ＞ＩＴｊであるピクセルのみを第１のクラス１０６に分類する。
・Ｉ１＞ＩＴ１である第１の特定の条件６０７、および
・Ｉｊ＞ＩＴｊである第２の特定の条件６０８。
分類ステップ２０５は、以下を備える：
・第２のデジタル画像１０４のピクセルと第１の閾値ＩＴ１との比較５０７であり、Ｉ１＞ＩＴ１であるピクセル６０９のみを選択する、および
・選択されたピクセルと第２の閾値ＩＴｊとの比較５０８であり、Ｉｊ＞ＩＴｊであるピクセルのみを第１のクラス１０６に分類する。
【0118】
図４は、本発明の第１の実施形態の例示的なプロセスである。本発明の第１の実施形態では、分布のセットは、Ｉ１におけるそれらの値の関数として第２のデジタル画像内のピクセル数を提供する第１の分布と、ｊ＞１を有するＩｊのそれらの値の関数としての第２のデジタル画像内のピクセル数を提供する第２の分布とを含む。本発明の第１の実施形態は、実施例１および２によって示されている。
【0119】
本発明の第２の実施形態によれば、分布のセットは、Ｉ１のそれらの値の関数として、および２≦ｊ≦ｍを有するＩｊのそれらの値の少なくとも１つの関数として、第２のデジタル画像内のピクセル数を提供する分布を含む。この多次元分布は、少なくとも２つまたは３つのガウス分布の合計にフィッティングすることが好ましい。フィッティングのためにガウス混合モデルを使用することができる。
【0120】
２次元以上では、フィッティングから生じるガウス分布を楕円によって表すことができる。例えば、染色済／着色済ピクセルに対応する第１の楕円、未染色／未着色ピクセルに対応する第２の楕円、および背景に対応する第３の楕円が存在することができる。楕円は、表面によって分類されることができる：表面が大きい楕円の優先度は低く、表面が小さい楕円の優先度は高い。楕円の長軸と短軸の長さを乗算で増減することにより、経験的較正パラメータを考慮に入れることができる。本発明の第２の実施形態は、実施例３によって示されている。
実施例１
実施例１
【0121】
【0122】
図５は、第１のデジタル画像１０３（図１）を示している。図６ａは、図５の第１のデジタル画像１０３の一部の拡大図である。図６ｂは、図６ａに示されている第１のデジタル画像１０３の部分に対応する第２のデジタル画像１０４（図１）の部分を示している。
【0123】
図７は、第１のＩ１ガウス曲線７０１および第２のＩ１ガウス曲線７０２の合計としてのフィッティングを伴う第１のヒストグラム６０１（図４）を示している。図８は、第１のＩ２ガウス曲線７０３および第２のＩ２ガウス曲線７０４の合計としてのフィッティングを伴う第２のヒストグラム６０２（図４）を示している。
【0124】
図９ａは、組織学的実践者（図３）に４０３を提出したときのドット７０５を伴う画像３０３を示している。図９ｂは、ドットを伴う画像３０３を示しており、ドットのタイプは、ドットによって示された点を染色済（薄い灰色のドット７０６）または未染色（暗い灰色のドット７０７）と組織学的実践者が見なしたかどうかを示している。さらに白い点は、組織学的実践者が、それらが染色されているかどうかを判断することができなかったピクセルに対応する。
【0125】
図１０ａは、経験的較正パラメータなしで取得された「染色済」領域と「未染色」領域との間の境界８０９ａを示している。図１０ｂは、本明細書に記載されるような経験的較正パラメータを使用して取得された「染色済」領域と「未染色」領域との間の境界８０９ｂを示している。ボックス７０８ａ、７０８ｂ、７０９ａ、７０９ｂにおいて、経験的較正パラメータの使用が分類を改善することが特に見られる。
【0126】
図１１は、分類２０５から得られた画像を示している：赤のピクセルは、第１のクラス１０６に属するピクセルであり、緑のピクセルは、第１のクラス１０６に属さないピクセルである。この実施例１で適用されたプロセスは、関心領域の選択を含み、黒いピクセルは、関心領域の一部とは見なされなかったものである。
【0127】
図１２は、白いピクセルが腫瘍区画に対応するバイナリマスクを示している。
【0128】
【0129】
【0130】
【0131】
図１６は、透過率の関数としてマクロピクセル数を提供するヒストグラムを示している。
実施例２
実施例２
【0132】
【0133】
図１７は、第１のデジタル画像１０３（図１）を示している。図１８ａは、図１７の第１のデジタル画像１０３の一部の拡大図である。図１８ｂは、図１８ａに示されている第１のデジタル画像１０３の部分に対応する第２のデジタル画像１０４（図１）の部分を示している。
【0134】
図１９は、第１のＩ１ガウス曲線７０１および第２のＩ１ガウス曲線７０２の合計としてのフィッティングを伴う第１のヒストグラム６０１（図４）を示している。図２０は、第１のＩ２ガウス曲線７０３および第２のＩ２ガウス曲線７０４の合計としてのフィッティングを伴う第２のヒストグラム６０２（図４）を示している。
【0135】
図２１ａは、組織学的実践者（図３）に４０３を提出したときのドット７０５を伴う画像３０３を示している。図２１ｂは、ドットを伴う画像３０３を示しており、ドットのタイプは、ドットによって示された点を染色済（薄い灰色のドット７０６）または未染色（暗い灰色のドット７０７）と組織学的実践者が見なしたかどうかを示している。さらに白い点は、生物学的実践者が、それらが染色されているかどうかを判断することができなかったピクセルに対応する。
【0136】
図２２ａは、経験的較正パラメータなしで取得された「染色済」領域と「未染色」領域との間の境界８０９ａを示している。図２２ｂは、本明細書に記載されるような経験的較正パラメータを使用して取得される「染色済」領域と「未染色」領域との間の境界８０９ｂを示している。ボックス７０８ａ、７０８ｂ、７０９ａ、７０９ｂにおいて、経験的較正パラメータの使用が分類を改善することが特に見られる。
【0137】
図２３は、分類２０５から得られた画像を示している：赤のピクセルは、第１のクラス１０６に属するピクセルであり、緑のピクセルは、第１のクラス１０６に属さないピクセルである。この実施例２で適用されたプロセスは、関心領域の選択を含み、黒いピクセルは、関心領域の一部とは見なされなかったものである。
【0138】
図２４は、白いピクセルが腫瘍区画に対応するバイナリマスクを示している。
【0139】
【0140】
【0141】
【0142】
図２８は、透過率の関数としてマクロピクセル数を提供するヒストグラムを示している。
実施例３
実施例３
【0143】
図２９から図３８は、本発明の第２の実施形態の例を示している。この例では、組織学的セクションの染色は、赤がコラーゲン線維に対応し、シアンが細胞質に対応し、紫が核に対応する三色を有する、ＲＧＢ３を使用して実行された。
【0144】
図２９は、第１のデジタル画像１０３（図１）を示している。図３０ａは、図２９の第１のデジタル画像１０３の一部の拡大図である。図３０ｂは、図３０ａに示されている第１のデジタル画像１０３の部分に対応する第２のデジタル画像１０４（図１）の部分を示している。
【0145】
図３１ａは、Ｉ１およびＩ２の関数としての２次元分布を示している。この２次元分布は、一連の分布を形成する。各ドット７１０は、第２の色空間におけるピクセルの値を表す。図３１ｂは、図３１ａの２次元分布にフィッティングする４つのガウス曲線を示している。第１の楕円７１１は、ＲＧＢ空間の赤に対応する。第２の楕円７１２は、ＲＧＢ空間の青に対応する。第３の楕円７１３は、ＲＧＢ空間の緑に対応する。第４の楕円７１４は、背景ピクセルに対応する。
【0146】
【0147】
【0148】
【0149】
図３５は、それらのコラーゲンの量に対応する色のマクロピクセルを示している。
【0150】
図３６は、それらの細胞質の量に対応する色のマクロピクセルを示している。
【0151】
図３７は、それらのコラーゲンの量の関数としてのマクロピクセルの分布を示している。
【0152】
図３８は、それらの細胞質の量の関数としてのマクロピクセルの分布を示している。
実施例４
実施例４
【0153】
【0154】
【0155】
本発明の可能な実施形態は、生物学的サンプル（１０１）のデジタル画像のピクセルを分類するためのプロセス（１００）であって、
（ａ）赤の値Ｒ、緑の値Ｇ、および青の値Ｂが第１のデジタル画像（１０３）の各ピクセルに関連付けられている、生物学的サンプル（１０１）を表す第１のデジタル画像（１０３）を受信するステップ（２０２）と、
（ｂ）第２のデジタル画像（１０４）を取得するために、式
によって色空間を変更するステップ（２０３）であって、Ｉ１、Ｉ２およびＩ３が、第２のデジタル画像（１０４）の各ピクセルに関連付けられた色値である、ステップと、
（ｃ）第２のデジタル画像（１０４）の少なくともいくつかのピクセルのＩ１の値およびＩ２および／またはＩ３の値に基づいて分類条件（１０５）を判定するステップ（２０４）と、
（ｄ）第１のクラス（１０６）における分類条件を満たす（１０５）第２のデジタル画像（１０４）のピクセルを分類するステップ（２０５）と、を備える、プロセスである。
このプロセスでは、ステップ（ｃ）が、
・１つまたは複数の分布のセット（１１１）を判定すること（２１１）であって、セット（１１１）が、Ｉ１の関数として第２のデジタル画像（１０４）内のピクセル数の少なくとも１つの分布を含み、セット（１１１）が、ｊ＝２または３を有するＩｊの関数として第２のデジタル画像（１０４）のピクセル数の少なくとも１つの分布を含む、ことと、
・少なくとも１つのフィッティングパラメータ（１１２）を判定するためにセット（１１１）の分布をフィッティングすること（２１２）と、
・少なくとも１つのフィッティングパラメータ（１１２）から分類条件（１０５）を判定することと、を備えることが好ましい。
（ａ）赤の値Ｒ、緑の値Ｇ、および青の値Ｂが第１のデジタル画像（１０３）の各ピクセルに関連付けられている、生物学的サンプル（１０１）を表す第１のデジタル画像（１０３）を受信するステップ（２０２）と、
（ｂ）第２のデジタル画像（１０４）を取得するために、式
【数8】
によって色空間を変更するステップ（２０３）であって、Ｉ１、Ｉ２およびＩ３が、第２のデジタル画像（１０４）の各ピクセルに関連付けられた色値である、ステップと、
（ｃ）第２のデジタル画像（１０４）の少なくともいくつかのピクセルのＩ１の値およびＩ２および／またはＩ３の値に基づいて分類条件（１０５）を判定するステップ（２０４）と、
（ｄ）第１のクラス（１０６）における分類条件を満たす（１０５）第２のデジタル画像（１０４）のピクセルを分類するステップ（２０５）と、を備える、プロセスである。
このプロセスでは、ステップ（ｃ）が、
・１つまたは複数の分布のセット（１１１）を判定すること（２１１）であって、セット（１１１）が、Ｉ１の関数として第２のデジタル画像（１０４）内のピクセル数の少なくとも１つの分布を含み、セット（１１１）が、ｊ＝２または３を有するＩｊの関数として第２のデジタル画像（１０４）のピクセル数の少なくとも１つの分布を含む、ことと、
・少なくとも１つのフィッティングパラメータ（１１２）を判定するためにセット（１１１）の分布をフィッティングすること（２１２）と、
・少なくとも１つのフィッティングパラメータ（１１２）から分類条件（１０５）を判定することと、を備えることが好ましい。
【0156】
換言すれば、本発明は、生物学的サンプル１０１のデジタル画像１０３を自動的に分析するためのコンピュータ実装プロセスに関する。このプロセスは、第１の色空間（例えば、ＲＧＢ）から第２の色空間（例えば、Ｏｈｔａ）への変更２０３を含む。次に、ピクセルを分類するために、第２の色空間のいくつかの次元を考慮してフィッティングが実行される。例えば、強度ならびに「赤対青」および「マゼンタ対緑」の少なくとも１つの色値を使用して、染色済または着色済ピクセルを選択する。
【0157】
本発明は、特定の実施形態に関して上述されてきたが、他の実施形態も可能であることは容易に理解されよう。
【図1a】
【図1b】
【図2】
【図3】
【図4】
【図5】
【図6a】
【図6b】
【図7】
【図8】
【図9a】
【図9b】
【図10a】
【図10b】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18a】
【図18b】
【図19】
【図20】
【図21a】
【図21b】
【図22a】
【図22b】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30a】
【図30b】
【図31a】
【図31b】
【図32】
【図33a】
【図33b】
【図34】
【図35-36】
【図37】
【図38】
【図39】
【図40】