特許 6192747 デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6192747

(24)【登録日】2017年8月18日

(45)【発行日】2017年9月6日

(54)【発明の名称】デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム

(51)【国際特許分類】

   C12M 1/34 20060101AFI20170828BHJP

   G01N 33/48 20060101ALI20170828BHJP

   G06T 7/00 20170101ALI20170828BHJP

   G06T 1/00 20060101ALI20170828BHJP

   G01N 33/483 20060101ALI20170828BHJP

   C12Q 1/04 20060101ALI20170828BHJP

   C12M 1/00 20060101ALI20170828BHJP

【ＦＩ】

   C12M1/34 B

   G01N33/48 M

   G06T7/00 350B

   G06T1/00 295

   G01N33/48 Z

   G01N33/483 C

   C12Q1/04

   C12M1/00 A

【請求項の数】15

【全頁数】23

(21)【出願番号】特願2015-562116(P2015-562116)

(86)(22)【出願日】2014年3月12日

(65)【公表番号】特表2016-518813(P2016-518813A)

(43)【公表日】2016年6月30日

(86)【国際出願番号】EP2014054808

(87)【国際公開番号】WO2014140085

(87)【国際公開日】20140918

【審査請求日】2015年12月3日

(31)【優先権主張番号】61/802,239

(32)【優先日】2013年3月15日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507179346

【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド

(74)【代理人】

【識別番号】100140109

【弁理士】

【氏名又は名称】小野 新次郎

(74)【代理人】

【識別番号】100075270

【弁理士】

【氏名又は名称】小林 泰

(74)【代理人】

【識別番号】100101373

【弁理士】

【氏名又は名称】竹内 茂雄

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100147991

【弁理士】

【氏名又は名称】鳥居 健一

(72)【発明者】

【氏名】チヴァテ，スジト・シッデシュワー

(72)【発明者】

【氏名】チュッカ，スリニヴァス

(72)【発明者】

【氏名】パティル，スハス・ハンマントラオ

(72)【発明者】

【氏名】サバタ，ビカシュ

(72)【発明者】

【氏名】サーカー，アニンディア

(72)【発明者】

【氏名】セルテル，オルケイ

【審査官】 福澤 洋光

(56)【参考文献】

【文献】 国際公開第２０１１／１２６４４２（ＷＯ，Ａ１）

【文献】 特表２００５−５２４０９０（ＪＰ，Ａ）

【文献】 国際公開第２０１０／１２３０４３（ＷＯ，Ａ１）

【文献】 DUNDAR M. M.，IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING，米国，IEEE SERVICE CENTER，２０１１年 ７月，V58 N7，P1977-1984

【文献】 M. VETA，PROCEEDINGS OF SPIE，２０１３年 ３月１１日，V8676，P867607-1 - 867607-7

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｃ１２Ｍ １／００−３／１０

Ｃ１２Ｑ １／００−３／００

ＣＡ／ＭＥＤＬＩＮＥ／ＢＩＯＳＩＳ／ＷＰＩＤＳ（ＳＴＮ）

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＰｕｂＭｅｄ

(57)【特許請求の範囲】

【請求項1】

組織データのデジタル化画像のホール・スライド解釈のために、プロセッサを含む計算システムによって実行される方法であって、
組織サンプルの複数のデジタル化画像を受け取るステップであって、各組織サンプルがグラウンド・トルース・スライドに対応する、ステップと、
前記複数のデジタル化画像の各々に対して、当該デジタル化画像に関連付けられた少なくとも１つの分類を受け取るステップと、
前記受け取った組織サンプルのデジタル化画像を使用して、組織−物体クラシファイアを訓練するステップと、
第１スライドに関連付けられたデータのデジタル化画像を受け取るステップであって、前記第１スライドがグラウンド・トルース・スライドではない、ステップと、
前記第１スライドに関連付けられたデータのデジタル化画像内において組織を自動的に識別するステップと、
前記第１スライド全体において前記識別された組織の全ての中で優勢染色(stain color)を識別または推定するステップと、
前記第１スライド全体において識別された組織内における複数の注釈付き領域の指示を受け取るステップと、
前記複数の注釈付き領域の各々に対して、
前記注釈付き領域内部において核シード・ポイントを検出するステップと、
前記検出された核シード・ポイント、および前記第１スライド全体において推定された優勢染色に少なくとも部分的に基づいて、前記注釈付き領域から物体を抽出するステップと、
前記抽出された物体の各々に対して、
前記注釈付き領域およびホール・スライド・コンテキストに少なくとも部分的に基づいて、局部特徴を計算するステップと、
前記注釈付き画像領域および前記ホール・スライド・コンテキストに少なくとも部分的に基づいて、全域特徴を計算するステップと、
前記計算した特徴および前記訓練された組織−物体クラシファイアに少なくとも部分的に基づいて、前記物体を分類するステップと
を含む、方法。

【請求項2】

請求項１記載の方法であって、更に、
前記注釈付き領域の各々に対して、
前記注釈付き領域に対するスコアを生成するステップと、
前記第１スライドに対するスコアを生成するステップと
を含む、方法。

【請求項3】

請求項１記載の方法において、各注釈付き領域内部において核シード・ポイントを検出するステップが、
前記注釈付き領域に対する画像勾配を生成するステップと、
前記生成した画像勾配に少なくとも部分的に基づいて、前記注釈付き領域に対して投票応答行列を生成するステップと、
前記生成した投票応答行列内において極大値を識別するステップと、
識別された極大値毎に、
前記極大値が閾値を超えるか否か判定するステップと、
前記極大値が閾値を超えると判定したことに応答して、対応する画素を核シード・ポイントとして識別するステップと、
前記極大値が前記閾値を超えないと判定したことに応答して、対応する画素を核シード・ポイントではないとして識別するステップと
を含む、方法。

【請求項4】

請求項１記載の方法において、各注釈付き領域から物体を抽出するステップが、
検出した核シード・ポイントに少なくとも部分的に基づいて、前記注釈付き領域のモザイクを生成するステップと、
検出した核シード・ポイント毎に、
前記核シード・ポイントを包含する前記モザイクの細胞を識別するステップと、
前記識別した細胞の少なくとも一部を物体として識別するステップと
を含む、方法。

【請求項5】

請求項１記載の方法であって、更に、
少なくとも１つの組織領域、少なくとも１つの間質領域、および少なくとも１つのリンパ球領域を、前記ホール・スライドにおいて識別するステップを含む、方法。

【請求項6】

請求項１記載の方法において、少なくとも１つの抽出した物体に対して計算された前記局部特徴が、前記少なくとも１つの抽出した物体の画像、前記少なくとも１つの抽出した物体の形状、および前記少なくとも１つの抽出した物体のサイズを含む、方法。

【請求項7】

スライド分析のために、プロセッサを含む計算システムによって実行される方法であって、
第１スライドに関連付けられたデータのデジタル化画像内において組織を識別するステップと、
前記識別した組織内において優勢色を識別するステップと、
前記識別した組織内における１つ以上の領域に対して注釈を受け取るステップと、
注釈を受けた前記領域の各々に対して、
前記識別した領域内において核シード・ポイントを検出するステップと、
前記識別した領域から物体を識別するステップと、
前記識別した物体の各々に対して、
前記識別した物体の特性を識別するステップと、
前記識別した物体の前記識別した特性に少なくとも部分的に基づいて、前記識別した物体を分類するために、訓練されたクラシファイアを使用するステップと
を含む、方法。

【請求項8】

請求項７記載の方法であって、更に、
前記識別した領域の各々に対して、
前記識別した領域に対してスコアを生成するステップと、
前記第１スライドに対してスコアを生成するステップと
を含む、方法。

【請求項9】

請求項７記載の方法であって、更に、
第２スライドに関連付けられたデータのデジタル化画像を受け取るステップと、
前記第２スライドに関連付けられたデータの前記デジタル画像内において組織を識別するステップと、
前記第２スライドに関連付けられ識別された前記組織内において優勢色を識別するステップと、
前記識別した優勢色に少なくとも部分的に基づいて、前記第２スライドに関連付けられ識別された前記組織内において複数の領域を識別するステップと、
前記第２スライドに関連付けられ識別された前記領域の各々に対して、
前記第２スライドに関連付けられ識別された前記領域内において核シード・ポイントを検出するステップと、
前記第２スライドに関連付けられ識別された前記領域から物体を抽出するステップと、
前記第２スライドに関連付けられ抽出された前記物体の各々に対して、
前記第２スライドに関連付けられ抽出された前記物体の特性を識別するステップと、
前記訓練されたクラシファイアを使用して、前記第２スライドに関連付けられ抽出された前記物体の前記識別した特性に少なくとも部分的に基づいて、前記第２スライドに関連付けられ抽出された前記物体を分類するステップと
を含む、方法。

【請求項10】

組織データのデジタル化画像内において物体を分類するシステムであって、
グラウンド・トルース・スライドに少なくとも部分的に基づいてクラシファイアを訓練する手段と、
第１スライドに関連付けられた組織データのデジタル化画像を受け取る手段であって、前記第１スライドがグラウンド・トルース・スライドではない、手段と、
前記第１スライドの前記組織データの全てを含む、前記デジタル化組織データを分析する手段であって、前記デジタル化組織データを分析する前記手段が、前記デジタル化組織データ内において優勢色を識別する手段と、前記デジタル化組織データ内において核シード・ポイントを検出する手段と、前記デジタル化組織データから物体を抽出する手段とを含む、手段と、
前記抽出した物体の各々を分類する手段と
を含む、システム。

【請求項11】

請求項１０記載のシステムであって、更に、
ユーザから、前記第１スライドの一部の選択を受け取る手段と、
前記第１スライドの前記選択された部分に対してスコアを生成する手段と、
を含む、システム。

【請求項12】

命令を格納するコンピュータ読み取り可能記憶媒体であって、前記命令が、プロセッサを有する計算システムによって実行されると、
スライドに関連付けられたデジタル化画像を受け取る動作と、
前記スライドに関連付けられた前記デジタル化画像内において優勢色を識別する動作と、
前記スライドに関連付けられた前記デジタル化画像内において核シード・ポイントを検出する動作と、
前記検出した核シード・ポイントに部分的に基づいて、前記スライドに関連付けられた前記デジタル化画像から物体を抽出する動作と、
前記抽出した物体の各々に対して、
前記抽出した物体の特性を識別する動作と、
組織サンプルのデジタル化画像に少なくとも部分的に基づいて訓練されたクラシファイアを使用して、前記抽出した物体の前記識別した特性に少なくとも部分的に基づいて、前記抽出した物体を分類する動作と
を含む動作を前記計算システムに実行させる、コンピュータ読み取り可能記憶媒体。

【請求項13】

組織データのデジタル化画像のホール・スライド解釈のために、プロセッサを含む計算システムによって実行される方法であって、
複数の組織サンプルのデジタル化画像を受け取るステップであって、各組織サンプルがグラウンド・トルース・スライドに対応する、ステップと、
前記複数のデジタル化画像の各々に対して、当該デジタル化画像に関連付けられた少なくとも１つの分類を受け取るステップと、
組織サンプルの前記受け取ったデジタル化画像を使用して、組織−物体クラシファイアを訓練するステップと、
第１スライドに関連付けられたデータのデジタル化画像を受け取るステップであって、前記第１スライドがグラウンド・トルース・スライドではない、ステップと、
前記第１スライドに関連付けられた前記データのデジタル化画像内において組織を識別するステップと、
前記識別した組織内において優勢色を識別するステップと、
前記識別した優勢色に少なくとも部分的に基づいて、前記識別した組織内において複数の領域を識別するステップと、
前記識別した領域の各々に対して、
前記識別した領域内において核シード・ポイントを検出するステップと、
前記識別した領域から物体を抽出するステップと、
前記抽出した物体の各々に対して、
前記抽出した物体の特性を識別するステップと、
前記訓練されたクラシファイアを使用して、前記抽出した物体の前記識別した特性に少なくとも部分的に基づいて、前記抽出した物体を分類するステップと
を含む、方法。

【請求項14】

命令を格納するコンピュータ読み取り可能媒体であって、前記命令が、プロセッサを有する計算システムによって実行されると、前記計算システムに方法を実行させ、前記方法が、
複数の組織サンプルのデジタル化画像を受け取るステップであって、各組織サンプルがグラウンド・トルース・スライドに対応する、ステップと、
前記複数のデジタル化画像の各々に対して、当該デジタル化画像に関連付けられた少なくとも１つの分類を受け取るステップと、
組織サンプルの前記受け取ったデジタル化画像を使用して、組織−物体クラシファイアを訓練するステップと、
第１スライドに関連付けられたデータのデジタル化画像を受け取るステップであって、前記第１スライドがグラウンド・トルース・スライドではない、ステップと、
前記第１スライドに関連付けられた前記データのデジタル化画像内において組織を識別するステップと、
前記第１スライド全体内の組織データに少なくとも部分的に基づいて、前記識別した組織内において優勢色を識別するステップと、
前記識別した優勢色に少なくとも部分的に基づいて、更に、前記第１スライド全体内における組織データに少なくとも部分的に基づいて、前記識別した組織内において複数の領域を識別するステップと、
前記識別した領域の各々に対して、
前記第１スライド全体内における組織データに少なくとも部分的に基づいて、前記識別した領域内において核シード・ポイントを検出するステップと、
前記第１スライド全体内における組織データに少なくとも部分的に基づいて、前記識別した領域から物体を抽出するステップと、
前記抽出した物体の各々に対して、
前記第１スライド全体内における組織データに少なくとも部分的に基づいて、前記抽出した物体の特性を識別するステップと、
前記訓練されたクラシファイアを使用して、前記抽出した物体の前記識別した特性および前記第１スライド全体内における組織データに少なくとも部分的に基づいて、前記抽出した物体を分類するステップと
を含む、方法。

【請求項15】

システムであって、
複数の組織サンプルのデジタル化画像を受け取る手段であって、各組織サンプルがグラウンド・トルース・スライドに対応する、手段と、
前記複数のデジタル化画像の各々に対して、当該デジタル化画像に関連付けられた少なくとも１つの分類を受け取る手段と、
組織サンプルの前記受け取ったデジタル化画像を使用して、クラシファイアを訓練する手段と、
第１スライドに関連付けられたデータのデジタル化画像を受け取る手段であって、前記第１スライドがグラウンド・トルース・スライドではない、手段と、
前記第１スライドに関連付けられた前記データのデジタル化画像内において組織を識別する手段と、
前記識別した組織内において優勢色を識別する手段と、
前記識別した優勢色に基づいて、前記識別した組織内において複数の領域を識別する手段と、
前記識別した領域の各々に対して、
前記識別した領域内において核シード・ポイントを検出し、
前記識別した領域から物体を抽出し、
前記抽出した物体の各々に対して、
前記抽出した物体の特性を識別し、
前記訓練されたクラシファイアを使用して、前記抽出した物体の前記識別した特性に基づいて、前記抽出した物体を分類する手段と
を含む、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書において開示する技術は、コンピュータに基づく試料分析器に関する。

【背景技術】

【0002】

乳癌は、今日最も頻繁に診断される癌の１つであり、女性の間で２番目の癌関連死の原因である。乳癌患者の臨床行動および予後を予測するための１つの指標に、対象の顕微鏡構造を差別化する能力を与える組織学的染料のような、免疫組織化学（ＩＨＣ）マーカで染色された切片組織サンプルの定性的および半定量的視覚検査に基づく、生検／外科手術サンプルの組織学的検査がある。バイオマーカは、腫瘍と特徴付けるため、そして臨床的成果を改善することができる最も適した処置および投薬を特定するために使用することができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

膜バイオマーカとは異なり、核バイオマーカは、細胞核におけるタンパク質と相互作用し、細胞核を染色する。染色細胞の色は、細胞に対する抗原（バイオマーカ）−抗体結合を示す。臨床的読み取りにおいて、病理医は陽性染色および陰性染色（例えば、青に着色された）核物体(nuclear object)の総数に対する陽性染色（例えば、茶色に着色された）核物体の比率を視覚的に検討し推定することによって、スライドに対するスコアを報告することが多い。臨床および研究用設定では、正確な測定には、陽性染色腫瘍細胞を特定することによって、腫瘍細胞を手作業で数える必要があり、これは非常に厄介な可能性がある。実際には、スライド・スコアは、病理医による「当て推量」に基づくことが多い。その結果、手作業のスコアは再現可能ではなく、更に読み手間および読み手内の著しいばらつきが生ずる。更に、実用上の理由のために、ホール・スライド(whole slide)の解釈は、病理医によって特定された少数の代表的視野（ＦＯＶ）、およびこれらの視野のみ内にある情報のみに基づく。生憎、この「代表的な」分析が、サンプリング・バイアスを誘発する可能性がある。

【課題を解決するための手段】

【0004】

開示する技術の少なくとも一部の実施形態は、組織試料スライド、例えば、免疫組織化学（ＩＨＣ）検定によって染色された試料を自動的に解釈し採点する撮像システムを目的とする。このシステムは、少なくとも部分的に、ホール・スライドに関連付けられた情報および特性に基づいて、画像の領域または画像全体（例えば、デジタル・ホール・スライド画像）を分析し、定量的分析のために特徴を選択する。ホール・スライド画像は、スライドの領域（例えば、標識、マーカ、および空白エリアを除くスライドの全領域）を含む組織の全てまたは実質的に全ての画像と見なされる。開示するシステムは、少なくとも部分的に、スライドの領域を含む組織に関連付けられたデータに関する情報に基づいて、スライドの領域（例えば、スライドの特定の組織領域）またはホール・スライドにおける細胞構造（例えば、核物体、核種(nuclei seed)）、および細胞を識別する。更に、開示するシステムは、細胞を数え、これらの細胞の種々のタイプの局部特徴および全域特徴を計算し、細胞のタイプを識別し、定量的分析を行うことができる。特徴計算は、スライドの注釈付き領域からの情報だけでなく、ホール・スライド（例えば、多数の倍率で分析されたスライドの組織含有領域）からの情報も使用することができる。本システムは、自動的に細胞を数えて分類し、少なくとも部分的にホール・スライド（即ち、スライドの組織含有領域の全て）に関連付けられた情報またはデータに基づいて選択された視野および／またはホール・スライドに少なくとも部分的に基づいて、画像および／またはスライド全体を採点することができる。採点は、スライドの解釈に使用することができる。例えば、本システムは、組織についての情報を判定し信頼性があり再現可能なスライド解釈によって補助するために、核物体を精度高く数えることができる。一実施形態では、本システムは、陽性染色核物体および／または陰性染色核物体を数えて、例えば、生体試料（例えば、腫瘍組織）を採点する。ある実施形態では、被験者からの試料の画像において対象特徴に標識するために、オーバーレイ画像が生成される。組織の採点は、組織サンプルに対する予後を予測するおよび／または生成するために行うことができる。

【0005】

ある実施形態では、病理医がスライド・スコアを承認または拒否することができる。スライド・スコアが拒否される場合、自動スコアを手作業のスコアと置き換えることができる（例えば、少なくとも部分的に視覚的検査に基づくスコア）。本システムは、マーカ、例えば、バイオマーカ毎に少なくとも部分的に１組の訓練スライドまたは基準スライドに基づいて訓練されたクラシファイアを有することができる。マーカに対する１組の訓練スライドは、全ての所望のデータ可変性を表すことができる。異なる複数組のスライドを使用して、マーカ毎にクラシファイアを訓練することができる。したがって、１つのマーカに対して、訓練後に１つのクラシファイアが得られる。異なるマーカから得られる画像データ間に可変性があるので、見られない検査データに対する処理能力(performance)向上を確保するように、異なるバイオマーカ毎に異なるクラシファイアを訓練することができ、検査データのバイオマーカ・タイプが分かる。訓練されたクラシファイアは、スライドの解釈のために、例えば、組織タイプ、染色プロトコル、およびその他の対象とする特徴における訓練データの可変性を最良に扱うにはどのようにすべきかについて少なくとも部分的に基づいて選択することができる。本システムは、少なくとも部分的にその領域内の情報、およびその領域の外側の情報に基づいて、画像の特定領域を分析することができる。

【0006】

ある実施形態では、多段階二進クラシファイアが陽性核および陰性核を識別することができる。陽性核は、陰性核、リンパ球、間質から区別することができる。加えて、陰性細胞およびリンパ球も間質から区別することができる。次いで、リンパ球が陰性核から区別される。更なる分類において、陽性細胞を背景細胞から区別することができる。例えば、陽性細胞が茶色に着色された核を有する場合、背景細胞は、細胞質顆粒紅潮(cytoplastmic blush)であるかもしれず、濾過して取り除くことができる。少なくとも部分的に陽性／陰性核の数に基づいて、スコア（例えば、ホール・スライド・スコア）を判定することができる。

【0007】

ある実施形態では、ホール・スライド解釈方法は、組織に対応するデジタル化ホール・スライド画像の部分を識別するステップを含む。少なくとも部分的に生体試料（例えば、組織）が載せられた基板（例えば、ガラス）の色特性、および組織に基づいて、対象の組織領域が識別される。シード・ポイント(seed points)が、識別された対象組織領域に対して検出され、組織核物体が、識別された領域から抽出される。抽出された組織物体の各々について、抽出された物体の特性が識別され、抽出された物体を分類するために、訓練されたクラシファイアを使用することができる。訓練されたクラシファイアは、ユーザ、内科医等によって修正することができる。異なるタイプの組織およびマーカを分析するために、異なる訓練されたクラシファイアを使用することができる。コンピュータ読み取り可能記憶媒体は、データ（例えば、クラシファイア、アルゴリズム等）および命令を格納することができ、命令が、プロセッサを有する計算システムによって実行されると、この計算システムにこのような方法を実行させることができる。

【0008】

更に他の実施形態では、組織データのデジタル化画像内において物体を分類するための教師学習システム(supervised learning system)は、少なくとも部分的にグラウンド・トルース・スライドに基づいてクラシファイアを訓練する手段と、入力スライドに関連付けられた組織データのデジタル化画像を受け取る手段と、デジタル化組織画像を分析する手段とを含む。デジタル化組織データを分析する手段は、デジタル化組織画像内において潜在的な核シード・ポイントを検出する手段と、デジタル化組織画像から物体を抽出する手段とを含むことができる。一実施形態では、本システムは、更に、抽出された物体の各々を分類する手段も含む。

【0009】

ある実施形態では、計算システムによって使用される方法は、組織スライド、例えば、ＩＨＣスライドのデジタル化画像の解釈を与えることができる。この方法は、基準訓練スライドの組織サンプルのデジタル化画像（例えば、グラウンド・トルースまたは訓練スライド）を受け取るステップを含む。ある実施形態では、１組の基準スライドが使用される。例えば、基準スライド画像は、分析しようとする組織と同じタイプの組織の画像とすることができる。本システムは、基準画像に関連付けられた既知の情報に少なくとも部分的に基づいて、組織、染色プロトコル、画像走査、およびアーチファクト源のデータ可変性のために観察されるデジタル化画像の可変性の特性について学習する。本システムは、少なくとも１つの分類方法を受け、組織サンプルのデジタル化画像を使用して、クラシファイアを訓練することができる。必要であればまたは望まれれば、追加の基準スライドを使用してクラシファイアを修正することができる。

【0010】

本システムは、ある実施形態では、被験者からのサンプルと共に、入力スライドに関連付けられたデータのデジタル化画像を受け取ることができる。ある実施形態では、スライドの採点は、例えば、２つのモードの内１つ、即ち、視野（ＦＯＶ）モードおよび自動化モードで行われる。ＦＯＶモードでは、病理医のようなユーザが、ホール・スライド画像におけるある数の領域（例えば、３つ以上の領域）の輪郭を辿るか、または「注釈を付け」、注釈が付けられた領域に関して、分析アルゴリズムが実行される。最終複合スコアが、少なくとも部分的に、全ての注釈付き領域において検出された陽性および陰性腫瘍核の数に基づいて得られる。自動化モードでは、対象エリア（ＡｏＩ）検出器がホール・スライド画像における組織領域を発見または識別するか、あるいは組織の注釈が、画像登録アルゴリズムのような、何らかの他の画像分析アルゴリズムによって自動的に生成される。画像登録アルゴリズムは、隣接する直列セクションからの注釈をＩＨＣ組織スライドにマッピングする。次いで、組織領域はタイルにセグメント化され、分類および核計数アルゴリズムが、組織を含む各タイルに関して実行される。加えて、組織を含む画像タイルに少なくとも部分的に基づいて、複合スコアを得ることができる。所与の画像において細胞を検出し、計数し、分類するための基礎方法論は同様であるが（画像は、ＡｏＩ検出の後にホール・スライド画像において、ユーザが注釈を付けた領域または自動的得られるタイルであってもよい）、２つのワークフローには少なくとも１つの相違がある。ＦｏＶモードは、ＦＯＶの選択に関して手作業の入力に頼り、一方自動化モードはそうではない。注釈ＦＯＶモードについては、図２に関して更に論じ、一方自動化モードについては図３に関して更に論ずる。識別された組織内における１つ以上の領域は、少なくとも部分的に優勢色に基づいて識別される。識別された領域について、識別された領域内におけるシード・ポイントが検出され、識別された領域から物体が抽出される。訓練されたクラシファイアが、抽出された物体の計算された特徴に少なくとも部分的に基づいて、抽出された物体（１つまたは複数）を分類するように、抽出された物体（１つ以上）の特徴が計算される。

【0011】

ある実施形態では、１つ以上の選択判断基準に少なくとも部分的に基づいて、試料の画像において特徴を自動的に識別するために、コンピュータ・システムをプログラミングすることができる。選択判断基準には、色特性、サンプル形態(morphology)（例えば、細胞成分形態、細胞形態、組織形態、解剖学的構造形態等）、組織特性（例えば、密度、組成等）、空間パラメータ（例えば、組織構造の配置、組織構造間の相対的な位置等）、画像特性パラメータ等に少なくとも部分的に基づく判断基準が含まれる。特徴が核である場合、選択判断基準は、限定ではなく、色特性、核形態（例えば、形状、寸法、組成等）、空間パラメータ（例えば、細胞構造における核の位置、核間の相対的な位置等）、画像特性、これらの組み合わせ等を含むことができる。候補の核を検出した後、分析された画像全体についてのスコアまたは情報を提供するために自動的にアルゴリズムを使用することができる。選択判断基準は、少なくとも部分的に基準画像に基づいて修正または決定することができる。例えば、染色された胸部組織の基準画像は、被験者からの胸部組織の画像の核を選択するために使用される選択判断基準を決定するために使用することができる。ある実施形態では、ユーザはスライド毎に対象エリアを削除することができる。例えば、ユーザは、画像の１つ以上のエリアが採点には相応しくないことを視覚的に判定することができる。

【0012】

ある実施形態では、本設備(facility)は、組織データのデジタル化画像のホール・スライド解釈方法を提供する。この方法は、組織サンプルの複数のデジタル化画像を受け取るステップを含む。各組織サンプルは、グラウンド・トルース・スライドに対応し、複数のデジタル化画像の各々に対して、少なくとも１つの分類がデジタル化画像に関連付けられる。更に、本設備は、受け取った組織サンプルのデジタル化画像を使用して、組織−物体クラシファイアを訓練するように構成される。第１スライドに関連付けられたデータのデジタル化画像を受け、第１スライドがグラウンド・トルース・スライドではない場合、本設備は、１）第１スライドに関連付けられたデータのデジタル画像内における組織、２）識別された組織内における優勢色、および３）識別された優勢色に少なくとも部分的に基づいて識別された組織内の領域を識別する。識別された領域の各々について、本設備は、識別された領域内においてシード・ポイントを検出し、識別された領域から物体を抽出する。更に、抽出された物体の各々について、本設備は、抽出された物体の特性を識別し、訓練されたクラシファイアを使用して、抽出された物体の識別された特性に少なくとも部分的に基づいて、抽出された物体を分類することができる。

【図面の簡単な説明】

【0013】

【図1】図１は、開示する技術の実施形態による、コンピュータに基づく試料分析システムおよび環境を示す。

【図2】図２は、開示する技術の実施形態によるクラシファイア構築コンポーネントの処理を示すブロック図である。

【図3】図３は、開示する技術の実施形態によるスライド分析コンポーネントの処理を示す流れ図である。

【図4A】図４Ａは、開示する技術の実施形態によるシード・ポイント検出コンポーネントの処理を示すブロック図である。

【図4B】図４Ｂは、開示する技術の実施形態にしたがって画像において実行される投票カーネル・プロセスの種々の段階における画像データおよび分析を示す。

【図4C】図４Ｃは、開示する技術の実施形態による画像勾配(image gradient)を表す。

【図5】図５は、開示する技術の実施形態による物体抽出コンポーネントの処理を示す流れ図である。

【発明を実施するための形態】

【0014】

本設備は、デジタル化病理学組織スライド内のける物体の自動検出、分類、および／または計数のための、学習に基づく画像分析手法を提供するシステムおよび方法を含むことができる。開示する技法は、異なる倍率で走査されたホール・スライド画像から計算されるホール・スライド・コンテキスト、および教師機械学習(supervised machine learning)の原理を利用して、スライド解釈プロセスを自動化し、臨床診断において補助することができる。本設備は、例えば、採点を画像の対象エリア、所与の視野（ＦＯＶ）、および／またはスライド全体またはスライドのグループに割り当てるために、陽性染色核物体、陰性染色核物体、組織（非細胞組織を含む）、または他の特徴を分類することができる。本設備は、ＦＯＶにおいて異なるタイプの細胞核を検出し、各細胞核を分類するように構成される。例えば、胸部組織サンプルを分析するために、本設備は細胞核を陽性染色核または陰性染色核として分類することができ、他の組織（例えば、間質、リンパ球等）を無視して、例えば、陽性／陰性率、Ｈ−スコア等に少なくとも部分的に基づいてスコアを決定することができる。ある実施形態では、本設備は、更に、異常なアーチファクトまたは「ジャンク」特徴も識別することができる。

【0015】

開示する検出および分類プロセスは、デジタル化ホール・スライド画像に広げて、ホール・スライドに対するスコアを生成することができる（例えば、対象領域を選択せずに、ホール・スライドからの情報に基づいて核を数えることによって）。本明細書において開示する技法を使用すると、本設備は、試料のタイプ、準備、サイズ、染料の色、物体サイズ（例えば、核サイズ）、形状のばらつき等のような、種々の可変性の起源に自動的に適応することができる。開示する技法は、タッチする物体または重複する物体、染色強度のばらつき、背景のばらつき、物体の形状、色、およびサイズのばらつき、ならびにその他の変数のコンテキストで実行することができる。

【0016】

ある実施形態では、本設備は、複数の「グラウンド・トルース」サンプル・スライドまたは訓練画像を使用して、多段階フレームワークにおける線形二進クラシファイアのような、物体クラシファイアを最初に訓練する。各グラウンド・トルース・スライドは、例えば、注釈付きＦＯＶを含むことができ、各注釈付きＦＯＶは、物体の位置(position)および場所(location)、ならびに色特性、形状およびサイズ特性、物体記述子特性、細胞質顆粒特性、物体間および密度特性(inter-object and density characteristics)等のような、これらの物体の種々の特性を識別する。病院および研究室の設定では、病理医はグラウンド・トルース・スライドに注釈を付け、これらのグラウンド・トルース・スライドを使用して物体クラシファイアを訓練することができる。代わりに、撮像機器の製造(manufacture)が、物体クラシファイアを訓練することもでき、この物体クラシファイアは、撮像機器と共に使用するために、診療所または研究室に供給される。

【0017】

グラウンド・トルース・スライドにおける物体毎に、グラウンド・トルース・データが物体のタイプ（例えば、陽性染色核物体、陰性染色核物体、間質、リンパ球）を識別することができる。グラウンド・トルース・スライドおよび関連する特性情報を使用して、本設備は、今後の物体分類に使用することができるクラシファイア・モデルを生成する。本設備は、各物体の種々の特性を計算または判定すること、および／または病理医のような専門家によって提供される特性データを使用することができ、特性情報を提供する。胸部癌腫における遺伝子状態についての解釈、ＩＨＣ解釈等のような、異なる解釈に対して物体クラシファイアを訓練するために、異なるグラウンド・トルース・スライドを使用することができる。

【0018】

本設備は、分析すべき病理組織スライド・データを走査しデジタル化した画像を受け取ることができる。スライド・データは拡大されてもよい（例えば、１×、２×、５×、２０×、４０×等）。本設備は、ＨＳＶ（色相、彩度、および値）に基づく画像セグメント化のような色画像セグメント化技法を使用して、ホール・スライドを背景領域（例えば、ガラス背景領域）および組織（前景）領域に分離することができる。このプロセスは、本設備が組織データ（対象データ）とスライドとの間で区別することを可能にする。ある実施形態では、本設備は、低い倍率レベル（例えば、１×または２×）で開始し、高い倍率レベル（例えば、４×、６×、１０×）を使用してセグメント化プロセスを精緻化し、微妙な組織領域が見失われる可能性を減らすために、様々なレベルの倍率でこのプロセスを実行する。ホール・スライド組織領域データ（即ち、計算された前景）に対応するデジタル化データを使用して、本設備は優勢染色(stain color)を識別する。例えば、ヘマトキシリン（青染料）およびＤＡＢ（ヂアミノベンジジン：茶色染料）系のＩＨＣ染色技法は、青の陰性染色核物体、青い間質、青いリンパ球、および茶色の陽性染色核物体を得ることができる。したがって、このタイプの染色により、本設備は青および茶色を優勢色として識別する。

【0019】

次に、本設備は、デジタル化スライド・データを優勢色空間上に投影する。優勢色空間は、スライド上に典型的に存在する染色(stain color)に対応する。以上の例を使用すると、デジタル化スライド・データは、十分に茶色いおよび十分に青い画素を識別する（例えば、閾値を超える茶色または青色空間における強度を有する）ために、青および茶色色空間にマッピングされる。異なるタイプの組織の異なるタイプの染料には、異なる閾値を使用することができる。閾値判定技法(thresholding techniques)を使用して、本設備は優勢色毎に閾値を設定することができ、優勢色投射および設定した閾値を使用して、優勢色の各々に対応する領域を識別する。このように、ホール・スライドからのデータは、２つの優勢色領域を検出および識別するために使用することができ、これによって、物体検出および分類のためのホール・スライド・コンテキストを与える。

【0020】

ある実施形態では、本設備は投票カーネル・プロセスを呼び出して、物体またはシード・ポイント、例えば、核物体または核シード・ポイントを、２つの優勢色領域内において識別する。シード・ポイントは、物体の内側にあると想定され、物体（例えば、核物体または他の対象特徴）を突き止めるための開始点である点とすることができる。言い換えると、シード識別は、物体についての近似中心点または他の内部点を識別することができる。図４Ａを参照して以下で更に詳しく論ずるが、シード物体を識別するために、本設備は、デジタル化スライド・データのグレースケール表現を生成することができ、次いでこのグレースケール表現から勾配情報を計算する。次いで、本設備は、既定の閾値を超える勾配強度を有する画素毎に、投票をその画素の局部近隣(local neighborhood)に振る(cast)ことによって、投票応答行列を生成する。局部近隣は、局部勾配方向および所定の距離または半径範囲に少なくとも部分的に基づいて判定される。続いて、投票応答行列内において、投票閾値を超える各極大値を、シード場所として識別することができる。例えば、並列で独立したステップにおいて、適応的閾値判定技法を組織データに適用し、暗い物体（例えば、細胞核）と他の物体（例えば、間質およびスライド背景）との間で区別し、物体前景マスクを生成することができる。物体前景マスクおよびシード場所は、前景画像のモザイク化バージョンを生成するために、組み合わせて使用され、モザイク化バージョンにおける画素または細胞の別個の各接続エリアは、別個の検出された物体または「ブロブ」に対応する。次いで、クラシファイア（例えば、既に訓練されているクラシファイア）を使用して、各「ブロブ」が分類され、陽性染色核物体、陰性染色核物体、間質、およびリンパ球の内１つ以上を識別する。一旦分類されたなら、検出された核物体は、スライドまたはスライド内の特定領域を採点するために使用することができる。このように、開示する技法は、ホール・スライド・コンテキストおよび機械学習技法を利用して、核物体検出および自動スライド採点を改良する。

【0021】

図１は、開示する技術の実施形態にしたがって組織試料を分析するためのコンピュータに基づくシステムおよび環境を示す。分析システム１００は、撮像装置１２０と、コンピュータ・システム１１０とを含む。試料支持顕微鏡スライドを撮像装置１２０に装填することができる。撮像装置１２０は、試料の画像を生成することができる。画像は、直接接続またはネットワーク１３０のいずれかを介して、コンピュータ・システム１１０に送られる。コンピュータ・システム１１０は、画像をユーザに表示する。コンピュータ・システム１１０は、物体を検出および分類し、ホール・スライドおよび／またはスライドの領域（例えば、ユーザが特定した領域）を採点することによって、ユーザ（例えば、病理医、細胞科学者、研究技師等）を補助することができる。

【0022】

撮像装置１２０は、限定ではなく、１つ以上の画像キャプチャ・デバイスを含むことができる。画像キャプチャ・デバイスは、限定ではなく、カメラ（例えば、アナログ・カメラ、デジタル・カメラ等）、光学素子（例えば、１つ以上のレンズ、センサ焦点レンズ群、顕微鏡対物レンズ等）、撮像センサ（例えば、電荷結合デバイス（ＣＣＤ）、相補型金属酸化物半導体（ＣＭＯＳ）撮像センサ等）、写真用フィルム等を含むことができる。デジタルの実施形態では、画像キャプチャ・デバイスは、即座の合焦を行うために協働する複数のレンズを含むことができる。ＣＣＤセンサは、試料のデジタル画像を取り込むことができる。デジタル画像を生成する１つの方法は、試料の少なくとも一部を含む顕微鏡スライドの領域を含む走査エリアを判定するステップを含む。走査エリアは、複数のスナップショットに分割されてもよい。画像は、スナップショットを組み合わせることによって生成することができる。ある実施形態では、撮像装置１２０は、試料全体の高解像度画像、および／またはスライドの実装エリア全体の画像を生成する。

【0023】

コンピュータ・システム１１０は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット等を含むことができ、デジタル電子回路、ファームウェア、ハードウェア、メモリ、コンピュータ記憶媒体、コンピュータ・プログラム、プロセッサ（プログラミングされたプロセッサを含む）等を含むことができ、デジタル画像を二進形態で格納することができる。また、画像を画素の行列に分割することもできる。画素は、ビット深度によって定められる、１つ以上のビットのデジタル値を含むことができる。デジタル値は、例えば、エネルギ、明るさ、色、強度、音、高度、または画像処理によって導出される分類値を表すことができる。非限定的なデジタル画像フォーマット例には、ビット・マップ、合同映像専門家集団（ＪＰＥＧ）、タグ付き画像ファイル・フォーマット（ＴＩＦＦ）、およびグラフィクス相互交換フォーマット（ＧＩＦ）、ならびに他のデジタル・データ・フォーマットが含まれるが、これらに限定されるのではない。

【0024】

ネットワーク１３０または直接接続は、撮像装置１２０およびコンピュータ・システム１１０を相互接続する。ネットワーク１３０は、限定ではなく、１つ以上のゲートウェイ、ルータ、ブリッジ、これらの組み合わせ等を含むことができる。ネットワーク１３０は、１つ以上のサーバおよび１つ以上のウェブサイトを含む。これらはユーザにアクセス可能であり、コンピュータ・システム１１０が利用することができる情報を送信および受信するために使用することができる。サーバは、限定ではなく、情報（例えば、デジタル画像、アルゴリズム、染色プロトコル等）を格納するために１つ以上の関連データベースを含むことができる。ネットワーク１３０は、送信制御プロトコル（ＴＣＰ）、ユーザ・データグラム・プロトコル（ＵＤＰ）、インターネット・プロトコル（ＩＰ）、およびその他のデータ・プロトコルを使用するデータ・ネットワークを含むことができるが、これらに限定されるのではない。コンピュータ・システム１１０は、本明細書において論じられる方法および技法を実行することができる。コンピュータ・システム１１０のコンポーネントおよび特徴は、開示する技術の他のコンポーネントおよび特徴と混合し一緒にすることができる。

【0025】

開示する技法が実現される計算デバイスは、中央処理ユニット、メモリ、入力デバイス（例えば、キーボードおよびポインティング・デバイス）、出力デバイス（例えば、ディスプレイ・デバイス）、および記憶デバイス（例えば、ディスク・ドライブ）を含むことができる。メモリおよび記憶デバイスは、コンピュータ読み取り可能媒体であり、本技術を実現するコンピュータ実行可能命令をエンコードすることができるコンピュータ読み取り可能媒体、例えば、命令を収容するコンピュータ読み取り可能媒体である。加えて、命令、データ構造、およびメッセージ構造は、通信リンク上の信号のような、データ送信媒体によって送信されてもよく、暗号化されてもよい。したがって、コンピュータ読み取り可能媒体は、データを格納することができるコンピュータ読み取り可能記憶媒体、およびデータを送信することができるコンピュータ読み取り可能送信媒体を含む。データは、限定ではなく、物体クラシファイア・ルーチン、グラウンド・トルース・スライド・データ（または他のタイプの基準画像）、基準画像、セグメント化ルーチン、採点プロトコル等を含むことができる。インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、二点間ダイアルアップ接続、セル・フォン・ネットワーク等のような、種々の通信リンクを使用することができる。

【0026】

開示する技法は、１つ以上のコンピュータまたは他のデバイスによって実行されるプログラム・モジュールのような、コンピュータ実行可能命令という一般的なコンテキストで説明することができる。一般に、プログラム・モジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含み、特定のタスクを実行するか、または特定の抽象データ型を実装する。通例、プログラム・モジュールの機能は、種々の実施形態において望まれる通りに、組み合わせることまたは分散することもできる。

【0027】

本明細書において説明する技術の多くの実施形態は、プログラマブル・コンピュータによって実行されるルーチンを含む、コンピュータ実行可能命令の形態を取ることができる。本技術の態様は、本明細書において示し説明する以外のコンピュータ・システム上でも実施できることは、当業者には認められよう。本技術の実施形態は、種々の動作環境において、そして種々の動作環境と共に実現することができる。種々の動作環境は、パーソナル・コンピュータ、サーバ・コンピュータ、ハンドヘルドまたはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベース・システム、プログラマブル消費者用電子機器、デジタル・カメラ、ネットワークＰＣ、ミニコンピュータ、メインフレーム・コンピュータ、以上のシステムまたはデバイスの内任意のものを含む計算環境等を含む。更に、本技術は、本明細書において説明するコンピュータ実行可能命令の内１つ以上を実行するように特別にプログラミング、構成、または構築された特殊目的コンピュータまたはデータ・プロセッサにおいて具体化することもできる。したがって、本明細書において通常に使用される場合、「コンピュータ」または「システム」という用語は、任意のデータ・プロセッサを指し、インターネット・アプライアンスおよびハンドヘルド・デバイスを含むことができる（パームトップ・コンピュータ、ウェアラブル・コンピュータ、セルラまたは移動体電話機、マルチプロセッサ・システム、プロセッサ・ベースまたはプログラマブル消費者用電子機器、ネットワーク・コンピュータ、ミニコンピュータ等を含む）。これらのコンピュータによって処理される情報は、ＣＲＴディスプレイまたはＬＣＤを含む、任意の適した表示媒体において提示することができる。ユーザは、画像およびスコアをこのようなディスプレイ上で見ることができる。

【0028】

また、本技術は、分散型環境において実施することもでき、この場合、タスクまたはモジュールは、通信ネットワークを介してリンクされたリモート処理デバイスによって実行される。分散型計算環境では、プログラム・モジュールまたはサブルーチンは、ローカルおよびリモート・メモリ記憶デバイスに配置されてもよい。本明細書において説明する技術の態様は、磁気または光読み取り可能またはリムーバブル・コンピュータ・ディスクを含むコンピュータ読み取り可能媒体上に格納または分散することができ、更にネットワークを通じて電子的に分散することもできる。データ構造、クラシファイア（例えば、訓練されたクラシファイア）、画像データ、基準画像、および本技術の態様に特定的なデータの送信も、本技術の範囲内に包含される。

【0029】

図２は、ある実施形態によるクラシファイア構築コンポーネント１１１の処理を示すブロック図である。本システムは、検出された物体を、例えば、陽性染色核物体、陰性染色核物体、間質、またはリンパ球として分類するために使用される物体クラシファイア・モデルを構築するために、クラシファイア構築コンポーネント１１１を呼び出す。ブロック２１０において、本コンポーネントはスライド・データを受け取る。受け取ったスライド・データは、本設備がモデルを生成するために使用する「グラウンド・トルース」スライドに対応することができる。ブロック２２０において、本コンポーネントは、スライド毎に注釈付きＦＯＶの指示というような、スライドについての情報を受け取る。各ＦＯＶは、１つ以上のタイプの物体を含む部分というような、ユーザにとって関心があるスライドの部分に対応することができる。各物体は、特定のスライド内における特定の場所、およびそれが陽性染色核物体、陰性染色核物体、間質、またはリンパ球のどれかという指示によって識別される。

【0030】

ブロック２３０において、本コンポーネントは、例えば、注釈付きＦＯＶおよびホール・スライド・コンテキストから計算された、色特性、形状およびサイズ特性（例えば、エリア、偏心性、正規化核サイズ、サイズ、延長(elongation)、形態）、物体記述子特性（例えば、投票強度(voting strength)、推定半径、核正規化平均勾配強度、勾配強度のヒストグラム、および方向）、細胞質顆粒特性、物体間および密度特性、ＦＯＶ毎またはスライド全体に対する優勢色特性、組織／間質／リンパ領域セグメント化等のような、物体毎の特性を受け取る。色特性は、限定ではなく、平均Ｌ×ａ×ｂ値（Ｌ×ａ×ｂ色空間）、ヘマトキシリン染料およびＤＡＢ染料成分、ＰＣ１比率（例えば、ホール・スライドにおける優勢ＩＨＣ染色(stain color)上へのＲＧＢ（赤、緑、青）の投射）、模様画像の特徴、ＤＡＢ（ヂアミノベンジジン）対ヘマトキシリン強度比、正規化着色(normalized color)、物体に対するＲＧＢ値の標準偏差、物体周囲のＲＧＢ強度の背景平均および標準偏差を含むことができる。物体間および密度特性は、限定ではなく、充填密度(packing density)、近隣核物体の分布、最も近い近隣物体の中心の数、近隣物体中心までの平均距離、全ての極方向における近隣核中心までのＭＡＤ（中央絶対偏差）距離等を含むことができる。細胞質顆粒特性は、限定ではなく、多重環状領域特徴（強度）、核強度との相違、核の色に対する多重環状領域色距離等を含むことができる。更に、各物体には、組織、間質、またはリンパ領域の内特定の１つに属する確率を、少なくとも部分的に領域セグメント化に基づいて指定することができる。

【0031】

ブロック２４０において、本コンポーネントは、以上で論じたような、各物体の特性を計算して、クラシファイア・モデルの生成に先立って、ユーザが提供した特性情報を増強または拡張する。各物体の種々の特性は、ユーザによって、グラウンド・トルース情報の一部として提供されてもよく、または一旦ユーザが物体を識別したなら本設備によって計算されてもよいことは、当業者には認められよう。

【0032】

ブロック２５０において、本コンポーネントは、多段階クラシファイア・フレームワーク、または他のフレームワークのような、クラシファイア・フレームワークを生成する。次いで、本コンポーネントは、格納のため、そしてデジタル化組織データにおいて物体を識別するための本設備による使用のために、生成したクラシファイア・フレームワークを戻す。

【0033】

図３は、ある実施形態におけるスライド分析コンポーネント１１２の処理を示す流れ図である。本システムは、取り込まれた分析対象スライド・データを分析するために、このコンポーネントを呼び出す。ブロック３０５において、本コンポーネントは、デジタル化組織データを含むスライド・データを受け取る。デジタル化組織データは、例えば、アリゾナ州、TucsonのVENTANA MEDICAL SYSTEMS（ベンタナ・メディカル・システムズ社）によるiSCAN COREO（商標）、または他の適した撮像機器によって生成することができる。ある実施形態では、デジタル化組織データは、IMAGING SYSTEM AND TECHNIQUES（撮像システムおよび技法）と題する国際特許出願第ＰＣＴ／ＵＳ２０１０／００２７７２（特許公開番号第ＷＯ／２０１１／０４９６０８号）に開示された撮像装置から得られる。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。他の実施形態では、デジタル化組織データは、顕微鏡に結合されたデジタル・カメラから得られる。

【0034】

ブロック３１０において、本コンポーネントは、画像セグメント化技法を実行して、デジタル化組織データと画像におけるスライドとの間で区別する。組織は前景に対応し、スライドは背景に対応する。ある実施形態では、本コンポーネントは分析される背景非組織エリアの量を限定しつつ対象エリア（ＡｏＩ）における全ての組織領域を検出するために、ホール・スライド画像においてＡｏＩを計算する。例えば、組織データおよび非組織または背景データの境界を判定するためには、広範囲の画像セグメント化技法（例えば、ＨＳＶ色に基づく画像セグメント化、研究所用画像セグメント化(Lab image segmentation)、平均シフト色画像セグメント化(mean-shift color image segmentation)、領域成長、レベル設定方法、高速マーチング法等）を使用することができる。セグメント化に少なくとも部分的に基づいて、本コンポーネントは組織前景マスクを生成することもできる。組織前景マスクは、組織データに対応するデジタル化スライド・データの部分を識別するために使用することができる。あるいは、本コンポーネントは、組織データに対応しないデジタル化スライド・データの部分を識別するために使用される背景マスクを生成することができる。

【0035】

ブロック３１５において、本コンポーネントは、前景データ（即ち、組織データ）の優勢色分析を実行する。優勢色分析は、限定ではなく、ａ）デジタル化スライド・データの全体にわたって組織データにおける優勢色を判定するステップと、ｂ）ＲＧＢ画像データを優勢色空間に投影するステップと、ｃ）優勢色空間において所定の閾値を超える強度値を有するデジタル化スライド・データの部分を識別するために、閾値判定技法（適応色閾値判定、オーツの方法、均衡型ヒストグラム閾値判定、またはその他の閾値判定技法）を実行するステップとを含む。例えば、優勢色が青および茶色である場合、本コンポーネントは、青および茶色空間において、閾値を超える強度値を有する部分を識別することができる。閾値は、ユーザによって設定されてもよく、または各色空間における色または強度の範囲に少なくとも部分的に基づいて、本コンポーネントによって設定されてもよい。例えば、閾値は、中央色または強度、平均色または強度、平均色または強度値から離れた（よりも上または下）、ある所定数の標準偏差になる色または強度等として定められてもよい。他の色分析技法を使用することもできる。

【0036】

ブロック３２０において、コンポーネント１１２は、例えば、色、模様、共起行列、マルチスケール・ハール特徴(multi-scale Haar features)、フィルタ・バンク等の内１つ以上に少なくとも部分的に基づいて、デジタル化組織データを腺および間質部分にセグメント化する。更に、本コンポーネントは、異なる部分を誤識別する確率を低下させるために、種々のスケール、解像度レベル、または倍率レベルで、セグメント化プロセスを実行することもできる。

【0037】

判断ブロック３２５において、ユーザが対象のＦＯＶを識別または選択した場合、コンポーネント１１２はブロック３２５に進む。そうでない場合、本コンポーネントはブロック３３０に進む。例えば、ユーザは選択ツール（例えば、マウス、ジョイスティック、ラッソ・ツールまたは１つ以上のキー・ストロークのようなアイコン、あるいは他のメカニズム）を使用して、ＦＯＶとして画像内に表示された組織の１つ以上の部分を選択することができる。これらの部分は、自動的に生成されるスライドのタイルの代わりに、またはこれに加えて使用することができる。

【0038】

ブロック３３０において、コンポーネント１１２は格子パターンを使用して、組織データに対応するスライドの部分をタイル化する(tile)。例えば、本コンポーネントは、ホール・スライド組織データ、またはその一部を、固定されたまたは設定された数のタイル（例えば、５×５格子、１０×１０格子、３×１０格子等）に少なくとも部分的に基づいて、タイル毎の画素数（例えば、６０画素×６０画素、１５０画素×１５０画素、３００画素×１０００画素等）タイル毎の寸法（例えば、１μｍ×１μｍ、１ｍｍ×１ｍｍ等）等 に少なくとも部分的に基づいて、タイル化することができる。ある実施形態では、本コンポーネントは、各タイルのサイズ／形状、および／または各次元に沿ったタイルの総数を定めるように、ユーザに促すこともできる。処理において、タイル化領域内にある個々のタイル画像情報、および異なる倍率で抽出されたホール・スライド・コンテキストからの情報、ならびに近隣スライドにおける画像情報が使用される。タイルに基づく処理は、注釈付きＦＯＶに基づくワークフローを使用するときには存在しないかもしれないコンテキスト感応特徴の使用を可能にする。例えば、タイルに基づく処理は、本コンポーネントが陰性腫瘍核とリンパ球との間で区別することを可能にすると考えられ、これは重要であり得る。リンパ球はクラスタ単位で発生するので、リンパ球コンテキストは、特定のＦＯＶにおいて適正に表現されることも、されないこともあり得る。対照的に、特定のタイルを検査するとき、追加のコンテキストおよび細胞密度の精緻化された推定を与えるために、その近隣タイルを考慮することができる。この追加のコンテキストは、リンパ球（一般に、高密度に詰め込まれる）と陰性腫瘍細胞との間で判別し易くすることができる。

【0039】

コンテキストに基づく分析が有用である他の態様は、ホール・スライド画像を最初に粗い解像度（例えば、２×）で検討できることである。初期タイル分析に基づいて、例えば、密度の濃いリンパ球クラスタの識別に少なくとも部分的に基づいて、近似領域セグメント化プロセスを実行することができる。したがって、一例として、青染色腫瘍核を探しつつ、検出されたリンパ球領域を破棄することができる。更に、信頼性がある間質領域識別が、間質領域において陰性核の計数を回避するのに役立つことができる。粗い解像度では、タイル分析は、信頼性のある間質領域の検出を実行するために、粗い模様に基づく特徴を発見することができる。つまり、注釈付きＦＯＶに基づくワークフローでは比較的単純なワークフローが得られるが、ホール・スライドに基づくワークフローはインテリジェントな画像分析のための多くの好機がある。例えば、コンテキスト（例えば、周囲のタイル）を使用すると、それらの相対的密度および他の特徴に少なくとも部分的に基づいて、例えば、青染色細胞（腫瘍核をリンパ球から判別することができる）を分類するための特別な情報を得られる。その結果、コンテキスト分析は、広い範囲のセグメント化プロセスを実行するために使用することができる。

【0040】

ブロック３３５から３５５において、本コンポーネントは各領域（即ち、ユーザが識別した対象ＦＯＶまたはブロック３３０において生成されたタイル）を巡回する(loop through)。ブロック３４０において、本コンポーネントはシード・ポイント検出コンポーネントを呼び出して、本コンポーネントが現在処理している領域内においてシードを識別する。ブロック３４５において、本コンポーネントは、物体抽出コンポーネントを呼び出して、本コンポーネントが現在処理している領域内において物体を識別する。ブロック３５０において、本コンポーネントは、図２にしたがって生成されたクラシファイアのようなクラシファイアを使用して、抽出した物体の各々を、陽性染色核物体、陰性染色核物体、間質、リンパ球、または外生ブロブ(extraneous blob)として分類する。ブロック３５５において、本コンポーネントは、次の領域があれば、それを選択し、次いで更なる処理のためにブロック３３５に戻る。ブロック３６０において、本コンポーネントは、例えば、陽性値（例えば、陽性および陰性染色核物体の総数に対する陽性染色核物体の比率）
を生成する、Ｈ−スコアを計算する、または他のメトリックを計算することによって、スライドに対するスコア、またはこのスライド内部にある１つ以上の領域に対するスコアを生成および格納または表示する。こうして、本コンポーネントの処理は終了する。ある実施形態では、本コンポーネントは、引き続きスライド・データを受けて分析するために、ブロック３０５に戻ってもよい。

【0041】

ある実施形態では、本設備は、スライドをタイル化し、次いでスライド内部において物体を検出および分類することによって、スライドを前処理することもできる。ユーザがスライド内部における１つ以上の特定領域またはＦＯＶの分析を実行することを望む場合、本設備は、１つ以上の特定領域またはＦＯＶに対して別個に識別および検出プロセスを実行するのではなく、これら１つ以上の特定領域またはＦＯＶと交差する前処理タイルの全てを識別し、交点、前処理タイルに少なくとも部分的に基づいて、分析を行うこともできる。更に、本設備は、精度を高めるために、可変レベルの粒度でタイル化および分析を実行することができる。本設備が物体を検出した後、本設備は更に物体、およびシード・ポイントまたは他の計算された特性のような、関連情報を表示することもできる。ユーザは、この表示された情報を使用して、スライドまたはＦＯＶの彼または彼女自身の評価を自動評価と比較し、自動プロセスおよび彼または彼女自身の評価双方の精度を測ることができる。開示する技法は、スライド解釈のために信頼性および再現性があるシステムおよび方法を提供し、ユーザ自身の評価を高める(augment)ために使用することができる。

【0042】

図４Ａは、ある実施形態におけるシード・ポイント検出コンポーネント１１３の処理を示すブロック図である。本設備は、組織データの指定領域内においてシード・ポイントの場所を識別するために、このコンポーネントを呼び出す。各シード・ポイントは潜在的な物体に対応する。本コンポーネントの処理は、先に論じたステップ３０５〜３２０において生成された画像情報に少なくとも部分的に基づき（例えば、組織前景マスク、優勢色分析、セグメント化）、したがって、ホール・スライドから生成されたコンテキストに部分的に基づく。本発明の実施形態例では、シード検出は、例えば、入力ＲＧＢ画像から計算された１つまたは２つのグレースケール画像上において行われる。一実施形態では、グレースケール画像は、入力ＲＧＢ画像から計算される。他の実施形態では、２つのグレースケール画像は、色ディコンボリューション・アルゴリズム（Ruifrok, A.C. & Johnston, D.A. (2001), "Quantification of histochemical staining by color deconvolution"（色ディコンボリューションによる組織化学染色の定量化）, Anal. Quant. Cytol. Histol. 23: 291-299）をＲＧＢ入力画像に適用することによって得られる、ヘマトキシリンおよびＤＡＢチャネル・グレー・スケール画像である。いずれも場合でも、同様の方法が使用される。ブロック４１０において、本コンポーネントは、指定領域のグレースケール表現から画像勾配を生成する。当業者には周知なように、画像勾配は、各画素において、各次元における強度変化を表す多次元ベクトルを表す。画像勾配は、行列または他のデータ構造の形態で格納することができる。図４Ｃは、ある実施形態における画像勾配を表す。図４Ｃにおける矢印の各々は、垂直および水平方向における強度変化を表す。

【0043】

ブロック４２０において、本コンポーネントは、投票カーネル・プロセスを使用して、投票応答行列を生成する。図４Ｂは、ある実施形態において、画像４７０上に実行される投票カーネル・プロセスの種々のステップにおける画像データおよび分析を示す。ある実施形態では、投票カーネル・プロセスは、放射相称に基づく特徴点検出技法(radial symmetry-based feature point detection technique)に少なくとも部分的に基づき、処理される組織領域に対する正規化勾配行列に依存する（例えば、Yang, Q., Parvin, B.: Perceptual Organization of Radial Symmetries（放射相称の知覚的編成）. Proc. of IEEE Int. Conf. on Computer Vision and Pattern Recognition (CVPR) 1 (2004), pp. 320-325を参照のこと。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする）。ここで、

【0044】

【数1】

【0045】

は画素位置ｐ_ｉにおける正規化勾配ベクトル（各勾配値は全ての画素にわたる最大勾配値によって除算される）に対応する。画像４７１は、ある数の画素の各々に対して描かれた勾配矢印によって、画像勾配を表す。投票カーネル・プロセスは、更に、物理的または画素単位で同等に指定されるｒ_ｍｉｎ、投票カーネルの最小予想半径値（例えば、１、２、３）、ｒ_ｍａｘ、前景画像に適用される距離変換θに少なくとも部分的に基づいて推定される投票カーネルに対する最大予想半径値（例えば、７、８、９）（例えば、Borgefors, Gunilla. "Distance Transformations in Digital Images"（デジタル画像における距離変換）、 Computer Vision, Graphics, and Image Processing, 34.3 (1986), pages 344-371。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする）、投票カーネルの角度範囲（例えば、π／４、π／８ラジアン）、およびτ_ｍａｇ、勾配強度閾値（例えば、０．１）に依存し、これらの各々は、投票カーネル・プロセスを実行する前に、ユーザまたは本設備によって定めることができる。更に、投票カーネル・プロセスは、投票行列Ｖ、半径行列Ｒを戻し、更に格納のために計数行列Ｃを維持する。これらの各々は、分析される組織領域における画素毎に１つのエントリを有し、各エントリは０に初期化される。カーネル・プロセス投票プロセスは、これらの画素ｐ_ｉを識別することによって処理を進める。ここで、

【0046】

【数2】

【0047】

である（即ち、画像勾配強度が勾配強度閾値以上である画素）。識別された画素の各々について、投票カーネル・プロセスは、次に、以下の式双方を満足する全ての画素ｐ_ｋを識別する。

【0048】

【数3】

【0049】

図４Ｂは、画素４７２に対して識別された画素ｐ_ｋに対応する領域４７３を示す。識別された画素ｐ_ｋ毎に、投票カーネル・プロセスは、Ｖ、Ｒ、およびＣを以下のように調節する。

【0050】

【数4】

【0051】

画像４７４は、画像４７０に対して計算されたサンプル投票行列Ｖを表す。画像４７０において、赤い画素は、投票が最大数である画素に対応し、投票数が減少するに連れて、画像はオレンジ、黄色、緑、青、および暗い青に移行することが示される。投票カーネル・プロセスは、画像４７４のような画像を生成しなくてもよく、代わりに、投票行列を数値の行列として生成してもよいことを、当業者は認めよう。一旦このプロセスが全ての識別されたｐ_ｉに対して完了したなら、投票カーネル・プロセスは、以下のようにＲを調節することができる。

【0052】

Ｒの全ての値に対して、

【0053】

【数5】

【0054】

ブロック４３０において、本コンポーネントは、投票行列Ｖ内における極大値を識別する。ブロック４４０〜４６０において、本コンポーネントは、極大値の各々を巡回して、その極大値がシード・ポイントに対応するか否か判定を行う。判断ブロック４５０において、極大値の投票値（即ち、極大値に対応する投票行列内における値）が投票閾値を超える場合、本コンポーネントはブロック４５５に進み、それ以外の場合、本コンポーネントはブロック４６０に進む。投票閾値は、ユーザによって予め定められてもよく、または本コンポーネントによって動的に計算されてもよい。例えば、本コンポーネントは、Ｖ内部にある値の全ての平均値および標準偏差のある数（例えば、０、１、２、２．５、３）、内部における中央投票値等に少なくとも部分的に基づいて、投票閾値を計算することができる。ブロック４５５において、本コンポーネントは、極大値をシード・ポイントとして識別し、シード・ポイントの指示を、領域およびスライド内におけるその場所と共に格納する。画像４７５は、識別されたシード・ポイントを赤いドットとして示す。ブロック４６０において、本コンポーネントは、次の極大値があれば、これを選択し、次いで更なる処理のために、ブロック４４０に戻る。一旦極大値の全てが処理されたなら、本コンポーネントは、格納および本設備による使用のために、識別されたシード・ポイントを戻す。

【0055】

図５は、ある実施形態における物体抽出コンポーネント１１４の処理を示す流れ図である。本設備は、本コンポーネントを呼び出して、物体に対応するシード・ポイント周囲の境界を識別する。本コンポーネントの処理は、以上で論じたステップ３０５〜３２０において生成された画像情報（例えば、組織前景マスク、優勢色分析、セグメント化）に少なくとも部分的に基づき、したがって、ホール・スライドから生成されたコンテキストに部分的に基づく。ブロック５１０において、本コンポーネントは、局部近隣強度分布よりも暗く全域閾値を超える画素を識別することによって、物体前景マスクを生成する。物体前景マスクは、例えば、強度値が組織の局在部分に対する平均強度値を超え、更に全域閾値（例えば、０．８５）を超える全ての画素（例えば、現在分析している領域内にある全ての画素）に１の値を割り当てることによって生成することができる。これらの判断基準を満たさない画素には、本コンポーネントは、０のような他の値を割り当てることができる。物体前景マスクは、本設備が、いずれの対象物体（例えば、陽性染色核物体、陰性染色核物体、間質、およびリンパ球）にも対応しそうもない弱い物体または偽りの物体を間引くことを可能にする。ブロック５２０において、本コンポーネントは、生成したマスクを、現在分析している領域のデジタル化組織データに適用する。ブロック５３０において、本コンポーネントは、現在分析している領域に対応するシード・ポイントを引き出す。ブロック５４０において、本コンポーネントは、引き出したシード・ポイントに少なくとも部分的に基づいて、前景画像のモザイク（例えば、ボロノイ・モザイク）データを生成し、前景画像データの内、シード・ポイントの各々に関連付けられた部分を識別する。ブロック５５０において、本コンポーネントは、シード・ポイント毎に、前景画像の内シード・ポイントに関連付けられた部分を、少なくとも部分的にモザイクに基づいて識別する。この部分、即ち、「ブロブ」は、シードと関連付けることができ、検出された物体の境界を定めることができる。ブロック５６０において、本コンポーネントは、場所および任意の数の特性に少なくとも部分的に基づいて、識別された物体の各々を特徴付ける。例えば、特性は、色特性、形状およびサイズ特性、物体記述子特性、細胞質顆粒特性、物体間および密度特性、または前述した特性の内任意のものを含む。これら識別された物体の各々は、格納、および先に論じたように訓練されたクラシファイアによる分類のために戻される。

【0056】

格納および処理のために、バー・コード、機械読み取り可能コード（例えば、一次元または多次元バー・コードまたはインフォグリフ（infoglyph)、ＲＦＩＤタグ、ブラッグ回折格子、磁気ストライプ、あるいはナノバーコード）、または他のタイプの電子的に検出可能な識別子を、例えば、スコアを特定のスライドと照合するために、スライドに付けることができる。分析システム（例えば、図１のシステム１００）がスコアを格納し、コンピュータ読み取り可能記憶媒体から呼び戻し、これらのスコアをユーザに表示することができる。加えてまたは代わりに、スライド内における組織に対して実行された分析のスコアまたは記録は、コンピュータ通信リンク（例えば、インターネット）を通じて、離れたコンピュータ・システムに、確認、格納、または分析のために送信することもできる。このような記録は、医療用研究のような種々の目的のために、他の組織サンプルの分析と組み合わせることができる。また、本システムは、患者の記録に含ませるために、組織分析に関する１つ以上の報告を作成することもできる。

【0057】

組織サンプルは、ターゲットが存在することができる任意の液体、半固体、または固体物質（または材料）とすることができる。組織は、有機体(organism)内において同様の機能を実行する、相互接続された細胞の集合体とすることができる。生体サンプルは、限定ではなく、とりわけ、バクテリア、イースト、原生動物、アメーバのような、単細胞有機体、多細胞有機体（健康なまたは見かけ上健康な人間の被験者(subject)、あるいは癌のような、診断または調査すべき状態または疾病に冒された人間の患者(patient)からのサンプルを含む、植物または動物等）を含む任意の生体有機体から得られる、排泄される、または分泌される任意の固体または流体サンプルとすることができる。例えば、生体サンプルは、例えば、血液、血漿、漿液、尿、胆汁、腹水、唾液、脳脊髄液、房水または硝子体液、あるいは任意の身体分泌物、濾出液、浸出液（例えば、膿瘍あるいは感染または炎症の任意の他の部位から得られた流体）、あるいは関節（例えば、正常な関節または疾病に冒された関節）から得られる液体から得られる生体体液とすることができる。また、生体サンプルは、任意の臓器または組織（腫瘍生検のような生検または検死試料を含む）から得られたサンプルとすることができ、あるいは細胞（初代細胞か培養細胞かは問わない）、または任意の細胞、組織、または臓器によって条件付けられた培養基を含むことができる。

【0058】

本明細書において開示した技法は、陽性染色核物体、陰性染色核物体、間質、およびリンパ球を含む、種々のタイプの物体間において識別および区別する方法を提供する。これらの技法は、異なる入力を考慮するためのユーザによる定期的な調節を必要とせず、データのばらつきを考慮する。尚、開示した技法は、他のタイプの物体を含むように、または視覚的に認識可能および区別可能である、全く異なる１組の物体に拡大できることは当業者には認められよう。

【0059】

以上のことから、本明細書では例示の目的に限って、本技術の具体的な実施形態について説明したが、本開示から逸脱することなく、種々の変更がなされてもよいことが認められよう。例えば、茶色および青染色について以上で説明したが、他の色が得られる染色技法も使用してもよいことは、当業者には認められよう。本設備は、追加のコンポーネントまたは特徴、および／または本明細書において説明したコンポーネントまたは特徴の異なる組み合わせを含むことができる。加えて、この新たな技術のある種の実施形態に関連付けられる利点について、これらの実施形態のコンテキストで説明したが、他の実施形態がこのような利点を明示することもでき、全ての実施形態が、本技術の範囲に該当するためにこのような利点を必ずしも明示する訳ではない。したがって、本開示および関連技術は、本明細書において明示的に示されず説明されなかった他の実施形態も包含することができる。以下の例は、本明細書において開示した技術の追加の実施形態について説明する。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】