知財求人 - 知財ポータルサイト「IP Force」
▶ ベンタナ メディカル システムズ， インコーポレイテッドの特許一覧
特許6799146視覚化されたスライド全域画像分析を提供するためのデジタル病理学システムおよび関連するワークフロー
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6799146
(24)【登録日】2020年11月24日
(45)【発行日】2020年12月9日
(54)【発明の名称】視覚化されたスライド全域画像分析を提供するためのデジタル病理学システムおよび関連するワークフロー
(51)【国際特許分類】
G01N 33/48 20060101AFI20201130BHJP
G06T 7/00 20170101ALI20201130BHJP
G01N 33/483 20060101ALI20201130BHJP
【ＦＩ】
G01N33/48 M
G06T7/00 630
G01N33/483 C
【請求項の数】22
【全頁数】25
(21)【出願番号】特願2019-513771(P2019-513771)
(86)(22)【出願日】2017年10月4日
(65)【公表番号】特表2019-533805(P2019-533805A)
(43)【公表日】2019年11月21日
(86)【国際出願番号】EP2017075113
(87)【国際公開番号】WO2018065434
(87)【国際公開日】20180412
【審査請求日】2019年3月11日
(31)【優先権主張番号】62/405,808
(32)【優先日】2016年10月7日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】507179346
【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド
(74)【代理人】
【識別番号】100140109
【弁理士】
【氏名又は名称】小野 新次郎
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100120112
【弁理士】
【氏名又は名称】中西 基晴
(74)【代理人】
【識別番号】100119781
【弁理士】
【氏名又は名称】中村 彰吾
(72)【発明者】
【氏名】バーンズ，マイケル
(72)【発明者】
【氏名】ブレドノ，イェルク
(72)【発明者】
【氏名】チュッカ，スリニヴァス
(72)【発明者】
【氏名】サーカー，アニンディア
(72)【発明者】
【氏名】スズエ，エレン
(72)【発明者】
【氏名】ギュッター，クリストフ
(72)【発明者】
【氏名】ロルサクル，アウラヌチ
【審査官】
三木 隆
(56)【参考文献】
【文献】
特表２０１６−５１１８４６（ＪＰ，Ａ）
【文献】
特表２０１５−５１２６１２（ＪＰ，Ａ）
【文献】
国際公開第２０１６／１２０４１８（ＷＯ，Ａ１）
【文献】
国際公開第２０１６／１０７８９６（ＷＯ，Ａ１）
【文献】
特表２０１６−５０７７５９（ＪＰ，Ａ）
【文献】
特開２０１３−１７４８２３（ＪＰ，Ａ）
【文献】
特表２０１６−５０４６７４（ＪＰ，Ａ）
【文献】
米国特許出願公開第２０１８／０２５３５９０（ＵＳ，Ａ１）
【文献】
米国特許出願公開第２０１２／０１４７０１０（ＵＳ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０１Ｎ ３３／４８
Ｇ０１Ｎ ３３／４８３
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
組織スライド全体と、前記組織スライド全体内に含まれている臨床的に関連する形態上のバイオマーカー発現(expressions)との定量分析を提供するためのデジタル病理学システム(100)であって、前記システムは、
前記組織スライド全体に亘ってバイオマーカー発現を特定するために、組織スライド全体を表す画像の第１の画像分析を実施する画像分析モジュール(210)と、
前記画像、及び、組織スライド全体に亘って特定されたバイオマーカー発現を示す第１の視覚オーバーレイを含む出力を生成する視覚化モジュール(220)と
を備え、
前記組織スライド全体の中の前記臨床的に関連する形態に対応する前記画像の部分のユーザ選択の受け付けに応答して、
前記画像分析モジュールが、前記画像の前記部分の中の個々の細胞のバイオマーカー発現レベルを得るために、前記画像の前記部分に対してのみ第２の画像分析を実施し、
前記視覚化モジュールが、前記画像の前記部分の細胞であって、当該細胞のバイオマーカー発現レベルが得られた細胞を含む第２の視覚オーバーレイを生成する、
デジタル病理学システム(100)。
前記組織スライド全体に亘ってバイオマーカー発現を特定するために、組織スライド全体を表す画像の第１の画像分析を実施する画像分析モジュール(210)と、
前記画像、及び、組織スライド全体に亘って特定されたバイオマーカー発現を示す第１の視覚オーバーレイを含む出力を生成する視覚化モジュール(220)と
を備え、
前記組織スライド全体の中の前記臨床的に関連する形態に対応する前記画像の部分のユーザ選択の受け付けに応答して、
前記画像分析モジュールが、前記画像の前記部分の中の個々の細胞のバイオマーカー発現レベルを得るために、前記画像の前記部分に対してのみ第２の画像分析を実施し、
前記視覚化モジュールが、前記画像の前記部分の細胞であって、当該細胞のバイオマーカー発現レベルが得られた細胞を含む第２の視覚オーバーレイを生成する、
デジタル病理学システム(100)。
【請求項2】
前記画像の前記部分に対する定量化可能なスコアのセットを生成することを更に含み、
前記定量化可能なスコアの前記セットが、前記細胞であって、当該細胞のバイオマーカー発現レベルが得られた細胞によって表される領域と、臨床的に関連する形態に対応する、全体の画像領域の間の比を示す、
請求項１に記載のデジタル病理学システム。
前記定量化可能なスコアの前記セットが、前記細胞であって、当該細胞のバイオマーカー発現レベルが得られた細胞によって表される領域と、臨床的に関連する形態に対応する、全体の画像領域の間の比を示す、
請求項１に記載のデジタル病理学システム。
【請求項3】
前記臨床的に関連する形態が、少なくとも１つの腫瘍エリアを含む、請求項１または２に記載のデジタル病理学システム(100)。
【請求項4】
前記臨床的に関連する形態が、複数の異なる固形腫瘍エリアを含む、請求項１または２に記載のデジタル病理学システム(100)。
【請求項5】
前記第２の視覚オーバーレイがオーバーレイマップを表現する、請求項１から４のいずれかに記載のデジタル病理学システム(100)。
【請求項6】
前記オーバーレイマップが、ヒートマップ、ロケーションマップ、および相関マップのうちの少なくとも１つを含む、請求項５に記載のデジタル病理学システム(100)。
【請求項7】
前記視覚化モジュール(220)が、ユーザ入力を受け付けることに応じて前記視覚オーバーレイを修正する、請求項１から６のいずれかに記載のデジタル病理学システム(100)。
【請求項8】
スキャナ(111)をさらに備え、
前記スキャナ(111)が、前記組織スライド全体を表す前記画像を生成するために前記組織スライド全体をスキャンし、
前記画像分析モジュール(210)が、前記スキャンされた画像の前記生成の後の、所定の時間内に、前記第１の画像分析を実施することによって、前記バイオマーカー発現が、前記画像の部分の前記ユーザ選択の前に特定される、
請求項１から７のいずれかに記載のデジタル病理学システム(100)。
前記スキャナ(111)が、前記組織スライド全体を表す前記画像を生成するために前記組織スライド全体をスキャンし、
前記画像分析モジュール(210)が、前記スキャンされた画像の前記生成の後の、所定の時間内に、前記第１の画像分析を実施することによって、前記バイオマーカー発現が、前記画像の部分の前記ユーザ選択の前に特定される、
請求項１から７のいずれかに記載のデジタル病理学システム(100)。
【請求項9】
前記第１の画像分析を実施することが、前記組織スライド全体の前記スキャンされた画像内の複数の細胞のロケーションおよびタイプを決定することを含む、請求項８に記載のデジタル病理学システム(100)。
【請求項10】
前記デジタル病理学システム(100)がデータベース(150)をさらに備え、前記画像分析モジュール(210)が、前記複数の細胞の前記決定されたロケーションおよびタイプを、前記画像の前記部分の前記ユーザ選択の後にアクセスされるように前記データベース(150)に記憶する、請求項９に記載のデジタル病理学システム(100)。
【請求項11】
前記第１のオーバーレイ画像が、前記複数の細胞の前記決定されたロケーションおよびタイプを含む、
請求項９に記載のデジタル病理学システム(100)。
請求項９に記載のデジタル病理学システム(100)。
【請求項12】
前記画像他の部分の他の選択を受け付けるアーテファクト抽出モジュールをさらに備え、
前記画像の前記他の部分が、前記第２の画像分析からの除外のための、不要な画像アーテファクトに対応し、前記不要な画像アーテファクトが、ひだ(fold)、間質分離(stroma separation)アーテファクト、又は、スペックル(speckling)のうちの少なくとも１つを含む、請求項１から１１のいずれかに記載のデジタル病理学システム(100)。
前記画像の前記他の部分が、前記第２の画像分析からの除外のための、不要な画像アーテファクトに対応し、前記不要な画像アーテファクトが、ひだ(fold)、間質分離(stroma separation)アーテファクト、又は、スペックル(speckling)のうちの少なくとも１つを含む、請求項１から１１のいずれかに記載のデジタル病理学システム(100)。
【請求項13】
前記第２の画像分析からの除外のための、不要な組織および染色内容物に対応する、前記画像の他の部分の他の選択を受け付ける、組織内容物抽出モジュール(240)をさらに備える、請求項１１に記載のデジタル病理学システム(100)。
【請求項14】
前記不要な組織および染色内容物が、少なくとも炭粉色素(anthracotic pigment)、壊死(necrosis)、又は、血管内の好中球(neutrophils)を含む、請求項１３に記載のデジタル病理学システム(100)。
【請求項15】
組織スライド全体と、前記組織スライド全体内に含まれている臨床的に関連する形態上のバイオマーカー発現との定量分析を提供するためのデジタル病理学方法であって、前記方法は、
前記組織スライド全体に亘るバイオマーカー発現を特定するために、組織スライド全体を表す画像の第１の画像分析を実施するステップと、
前記画像、及び、前記組織スライド全体に亘る、前記特定されたバイオマーカー発現を示す、第１の視覚オーバーレイを含む出力を生成するステップと、
前記組織スライド全体の中の臨床的に関連する形態に対応する、前記画像の部分のユーザ選択を受け付けるステップと、
前記画像の前記部分の前記ユーザ選択に応じて、前記画像の前記部分の中の個々の細胞のバイオマーカー発現レベルを得るために、前記画像の前記部分の第２の画像分析を実施するステップであって、前記第２の画像分析が、前記画像の前記部分に限定される、実施するステップと、
前記画像の前記部分の細胞であって、当該細胞のバイオマーカー発現レベルが得られた細胞を含む第２の視覚オーバーレイを生成するステップと、
を含む、デジタル病理学方法。
前記組織スライド全体に亘るバイオマーカー発現を特定するために、組織スライド全体を表す画像の第１の画像分析を実施するステップと、
前記画像、及び、前記組織スライド全体に亘る、前記特定されたバイオマーカー発現を示す、第１の視覚オーバーレイを含む出力を生成するステップと、
前記組織スライド全体の中の臨床的に関連する形態に対応する、前記画像の部分のユーザ選択を受け付けるステップと、
前記画像の前記部分の前記ユーザ選択に応じて、前記画像の前記部分の中の個々の細胞のバイオマーカー発現レベルを得るために、前記画像の前記部分の第２の画像分析を実施するステップであって、前記第２の画像分析が、前記画像の前記部分に限定される、実施するステップと、
前記画像の前記部分の細胞であって、当該細胞のバイオマーカー発現レベルが得られた細胞を含む第２の視覚オーバーレイを生成するステップと、
を含む、デジタル病理学方法。
【請求項16】
定量化可能なスコアのセットが、前記細胞であって、当該細胞のバイオマーカー発現レベルが得られた細胞によって表される領域と、前記臨床的に関連する形態に対応する合計画像領域の間の比を示す、請求項１５に記載のデジタル病理学方法。
【請求項17】
前記臨床的に関連する形態が、少なくとも１つの腫瘍エリアを含む、請求項１５または１６に記載のデジタル病理学方法。
【請求項18】
前記画像の前記部分が、腫瘍エリアを検出するように訓練されたニューラルネットワークによって前記組織スライド全体を処理することによって自動的に選択される、請求項１５から１７のいずれかに記載のデジタル病理学方法。
【請求項19】
前記第２の視覚オーバーレイがオーバーレイマップを表現する、請求項１５から１８のいずれかに記載のデジタル病理学方法。
【請求項20】
前記オーバーレイマップが、ヒートマップ、ロケーションマップ、または相関マップのうちのいずれか１つを含む、請求項１９に記載のデジタル病理学方法。
【請求項21】
前記第２の視覚オーバーレイ上へのユーザ入力を受け付けるステップと、
前記ユーザ入力によって特定された前記第２の視覚オーバーレイを修正するステップと、
をさらに含む、請求項１５から２０のいずれかに記載のデジタル病理学方法。
前記ユーザ入力によって特定された前記第２の視覚オーバーレイを修正するステップと、
をさらに含む、請求項１５から２０のいずれかに記載のデジタル病理学方法。
【請求項22】
組織スライド全体と、前記組織スライド全体内に含まれている臨床的に関連する形態上のバイオマーカー発現との定量分析を提供するためのプロセッサ可読媒体上にあるコンピュータプログラム製品であって、前記コンピュータプログラム製品が、プロセッサ実行可能命令コードを含み、
組織スライド全体に亘るバイオマーカー発現を特定するための、前記組織スライド全体を表す画像の第１の画像分析を実施するための命令コードの第１のセットと、
前記画像、及び、前記組織スライド全体に亘る前記特定されたバイオマーカー発現を示す第１の視覚オーバーレイ、を含む出力を生成するための命令コードの第２のセットと、
前記組織スライド全体の中の臨床的に関連する形態に対応する、前記画像の部分のユーザ選択を受け取るための命令コードの第３のセットと、
前記画像の前記部分の前記ユーザ選択に応じて、前記画像の前記部分の中の個々の細胞のバイオマーカー発現レベルを得るために、前記画像の部分に対してのみ第２の画像分析を実施するための命令コードの第４のセットと、
前記画像の前記部分の細胞であって、当該細胞のバイオマーカー発現レベルが得られた細胞を含む第２の視覚オーバーレイを生成するための命令コードの第５のセットと、
を備える、
コンピュータプログラム製品。
組織スライド全体に亘るバイオマーカー発現を特定するための、前記組織スライド全体を表す画像の第１の画像分析を実施するための命令コードの第１のセットと、
前記画像、及び、前記組織スライド全体に亘る前記特定されたバイオマーカー発現を示す第１の視覚オーバーレイ、を含む出力を生成するための命令コードの第２のセットと、
前記組織スライド全体の中の臨床的に関連する形態に対応する、前記画像の部分のユーザ選択を受け取るための命令コードの第３のセットと、
前記画像の前記部分の前記ユーザ選択に応じて、前記画像の前記部分の中の個々の細胞のバイオマーカー発現レベルを得るために、前記画像の部分に対してのみ第２の画像分析を実施するための命令コードの第４のセットと、
前記画像の前記部分の細胞であって、当該細胞のバイオマーカー発現レベルが得られた細胞を含む第２の視覚オーバーレイを生成するための命令コードの第５のセットと、
を備える、
コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
[0001]本発明は、一般に、スライド全域（ｗｈｏｌｅ−ｓｌｉｄｅ）画像の定量分析ならびにそれの直観的な視覚化（ｖｉｓｕａｌｉｚａｔｉｏｎ）を提供するためのワークフローをホストするデジタル病理学（ｄｉｇｉｔａｌ ｐａｔｈｏｌｏｇｙ）システムに関する。より詳細には、本ワークフローは、生体外診断を援助するためのバイオマーカー発現の精密な定量化を提供する。
【背景技術】
【0002】
[0002]デジタル病理学機器が、しばしば、顕微鏡スライドのデジタル画像を生成するために使用される。病理学者および組織科学技術者が、しばしば、組織サンプルに関する情報を取得し、臨床成果を改善するための最も適切な処置を特定するために、デジタル画像を視覚的に検査する。
【0003】
[0003]現在のデジタル病理学画像分析システムが、組織スライド（ｔｉｓｓｕｅ ｓｌｉｄｅ）または「仮想スライド（ｖｉｒｔｕａｌ ｓｌｉｄｅ）」の大量の高解像度デジタル画像を分析することがますます予想される。デジタル画像分析は、計算集約的であり、かなりの記憶域を必要とし、リアルタイム診断および対話実行のための能力を下げることが立証された。
【0004】
[0004]さらに、従来のデジタル病理学システムは、典型的に、概して視野（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）と呼ばれる、デジタルスライドの１つまたは複数の小さいエリアを分析する。デジタルスライドのそのような区分は、スライドに付着された組織全体の情報を表現する可能性が高いＦＯＶを慎重に選択することによって正しい解決策に近づくことにかなりの精神的労力をささげることをユーザまたは病理学者に強制する。
【0005】
[0005]現在のデジタル病理学システムは、それらの潜在的な利点にもかかわらず、組織スライド全体の迅速なリアルタイム定量分析ならびにそれの直観的な視覚化を提供することにおいて、所望の効率を達成しなかった。
【0006】
[0006]たとえば、限られた処理能力をもつ従来のデジタル画像化システムは、各視野のサイズを、約１，０００〜２，５００ピクセル、たとえば６０，０００〜１１０，０００ピクセルを含むことができるスライド全域画像のごく一部に制限し、たとえば０．５ＧＢから１．５ＧＢのメモリ空間を占有する。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本願発明の一実施例は、例えば、視覚化されたスライド全域画像分析を提供するためのデジタル病理学システムおよび関連するワークフローに関する。
【課題を解決するための手段】
【0008】
[0007]スライド全域画像分析が、治療、予後、または診断決定支援のための自動化された画像分析において広く適応されるようになることが予期される。したがって、本開示は、組織スライド全体の定量分析ならびに直観的な視覚化を実施するためのデジタル病理学システムにおいて使用するための効率的なスライド全域画像分析ワークフローについて説明する。
【0009】
[0008]より詳細には、本ワークフローは、病理学者が正確な生体外診断を提供するのを援助するためのバイオマーカー発現の精密な視覚定量化を効果的に提供する。[0009]
本デジタル病理学システムは、自動化されたデジタルスライド作成、管理、分析、および閲覧を提供する。それは、特定の形態、色、輝度、サイズ、パターン、および形状に基づく、臨床的関心組織および細胞の表示、検出、計数、検討、および分類における病理学者への援助として、生体外診断のために使用され得る。
【0010】
[0010]本デジタル病理学システムのワークフローは、組織サンプルを含んでいるスライド全体にわたる臨床的に関連する形態（ｃｌｉｎｉｃａｌｌｙ ｒｅｌｅｖａｎｔ ｍｏｒｐｈｏｌｏｇｙ）（たとえば、１つまたは複数の固形腫瘍エリア）を自動的にアウトラインするか、または病理学者などのユーザがそれを効率的にアウトラインすることを可能にすることができる。次いで、定量分析結果が、効率的および直観的に、（いくつかの場合には数千個または何百万個もの細胞を含んでいることがある）アウトラインされた臨床的に関連する形態全体について数秒以内にユーザに提供される。さらに、本ワークフローは、この莫大な量のデータの視覚化を効果的に可能にし、これは、診断を著しく改善し、バイオマーカー発現レベルについて情報および信頼性をユーザに提供する。
【0011】
[0011]本ワークフローは、ワークフローモジュール上に存在し得る。本ワークフローは、リモートまたはローカル病理学ワークステーション上で実行され得、ユーザとのインターフェースとして働き得る。ワークフローは、ユーザが症例を分析することを開始する前に、（１つまたは複数の）スライド全域画像を準備することによって開始し得る。この目的で、本デジタル病理学システムは、様々な倍率レベルにおいてユーザによって閲覧および評価され得るスライド全体のスキャンされたデジタル画像を収集し得る。
【0012】
[0012]一実施形態では、ユーザは、スライド全域画像を検討し、スライド全域画像中で、関連するエリアを関連しないエリアから手動で分離する。この目的で、ユーザは、たとえば、マウスなどの入力デバイスを使用して、またはタッチセンシティブディスプレイの場合には指を使用して、関連するエリアをアウトラインすることによって、１つまたは複数の関連するエリアを手動で選択するために本デジタル病理学システムに頼る。各アウトラインされた関連するエリアは、異なる倍率レベルにおいて閲覧され得る。選択された関連するエリアは、本明細書では「腫瘍エリア全域（ｗｈｏｌｅ ｔｕｍｏｒ ａｒｅａｓ）」または「臨床的に関連する形態」とも呼ばれて、選択された関連するエリア内に、随意の周囲の関心領域とともに腫瘍エリア全体（ｅｎｔｉｒｅ ｔｕｍｏｒ ａｒｅａｓ）を含める能力を示す。
【0013】
[0013]ユーザが、組織サンプル中の関連する関心エリアを定義および選択することについて、矩形などの特定の幾何学的形状によってもはや制限されないことが十分に明らかであるべきである。むしろ、本デジタル病理学システムは、関連する関心エリアの周りの境界を手動でスケッチすることによってなど、関連するエリアをアウトラインすることによって、ユーザが、組織サンプル中の大きい関連するエリアのフリーハンド選択を実施することを可能にする。
【0014】
[0014]他の手動選択方法が使用され得ることも理解されたい。一例として、ユーザは、スコアリングを必要とする関心エリアを指定するために、スライド全域デジタル画像にアノテーションを付けることを可能にされる。代替的に、関連するエリアの選択プロセスが、本デジタル病理学システムによって自動的に実施され得る。
【0015】
[0015]関連するエリアを選択するステップが完了されると、ユーザは、選択された関連するエリアの画像分析アルゴリズムを始動する画像分析モジュールを呼び出す。画像分析モジュールは、たとえば、陽性百分率免疫細胞スコア（ｐｅｒｃｅｎｔ ｐｏｓｉｔｉｖｅ ｉｍｍｕｎｅ ｃｅｌｌ ｓｃｏｒｅ）の形態の細胞検出および分類に基づく臨床スコアを提供する。一実施形態では、臨床スコアは０から１００にわたり、「０」は、発現の１つまたは複数の関心バイオマーカーの発現がないことを示し、「１００」は、１つまたは複数の関心バイオマーカーの全部の発現を示す。スコアリング結果は、診断（陽性／陰性）または処置決定を通知することなど、大量の生物学的情報を表現する。
【0016】
[0016]視覚化モジュールが、画像分析結果のコンピュータ生成されたオーバーレイを準備し、密度の表現として、最初に選択されたスライド全域画像の上へのスコアリング結果のユーザフレンドリな視覚レンダリングをユーザに提供する。オーバーレイは、ヒートマップ、ロケーションマップ、相関マップなど、１つまたは複数のマップを表現することができ、適用例に応じて色および／または線を使用して情報の変形態を示すことができる。
【0017】
[0017]視覚化モジュールによる視覚レンダリングを検討するときに、ユーザは、ひだ（ｆｏｌｄ）、間質（ｓｔｒｏｍａ）分離アーテファクト、スペックル（ｓｐｅｃｋｌｉｎｇ）、空白エリア（すなわち、実質的に組織が存在しないエリア）など、不要なアーテファクトを除去するためのアーテファクト抽出モジュールを随意に呼び出すことができる。アーテファクト除去は、アーテファクトを手動でアウトラインすることによって、または視覚レンダリングからアーテファクトエリアを検出、視覚化、および除外する自動化された方法に頼ることによって実施され得る。
【0018】
[0018]ユーザは、炭粉色素、壊死、血管内の好中球など、不要な組織または染色内容物を除去するための組織内容物抽出モジュールをさらに随意に呼び出すことができる。組織または染色内容物の除去は、関心エリアを手動でアウトラインすることによって、または組織内容物の検出および抽出の自動化された方法を採用することによって実施され得る。
【0019】
[0019]したがって、視覚レンダリングは、固形腫瘍エリアなど、ユーザによって選択された臨床的に関連するエリアに関係する、大きい、正確な、および特定の生物学的情報を表現することになるが、壊死、ならびに様々なアーテファクトおよび組織内容物など、ユーザによって無関係であると考えられるデータを除外する。視覚レンダリングは、認定された病理学者が、より正確な診断解釈を提供するのを支援することが予想される。
【0020】
[0020]ユーザは、次いで、視覚レンダリングを受け入れるべきなのか、部分的にまたは全体としてのいずれかで手動でそれをオーバーライドすべきなのかを決定する。オーバーライドが選択された場合、画像分析モジュール、アーテファクト抽出モジュール、および組織内容物抽出モジュールのうちのいずれか１つまたは複数の結果が選択的に無視され得、ユーザは、視覚化モジュールによって提供された視覚レンダリングの評価からそのユーザが導出した最終スコアを手動で入力する能力を提供される。
【0021】
[0021]本特許または出願ファイルは、少なくとも１つのカラーで作成された図面を含んでいる。（１つまたは複数の）色図面をもつ本特許または特許出願公開のコピーは、要求および必要な料金の支払いに応じて官庁によって提供される。
【0022】
[0022]本発明の様々な特徴およびそれらを達成する様式が、以下の説明、特許請求の範囲、および図面を参照しながら、より詳細に説明される。
【図面の簡単な説明】
【0023】
【図1】[0023]本発明の一実施形態による、スライド全域画像の視覚定量分析ならびにバイオマーカー発現の定量化の直観的な視覚化を提供するための、ネットワーク環境において動作し、ワークフローモジュール上に存在するワークフローをホストする、例示的なコンピュータベースのデジタル病理学システムを示す図である。
【図3】[0025]本発明の一実施形態による、ユーザが、スライド全域画像上ですべての固形腫瘍エリアを含む臨床的に関連する形態を効率的にアウトラインすることを可能にするための、図１および図２のワークフローモジュールの全体的な動作を示す、例示的な高レベルフローチャートである。
【図10】[0029]図１および図２のワークフローモジュールを呼び出すことに備えて、図６〜図９のスライド全域画像内に、臨床的に関連する形態または関連するエリアをキャプチャするために、ユーザによって追加される例示的なアノテーションを示すスクリーンショットである。
【図11】[0030]ユーザの低倍率におけるスライド全域パターンの理解ならびに高倍率における個々の細胞結果の理解を支援するオーバーレイをユーザに提供し、図１０の関連するエリアの定量スコアリングパターンをユーザにさらに提供する、図１および図２のワークフローモジュールによって実施される分析の視覚レンダリングを示す例示的なスクリーンショットである。
【図12】[0031]図を比較する能力と、図１および図２のワークフローモジュールによって提供された分析をより良く評価する能力とをユーザに提供するために、変動する倍率レベルにおいて、図１１の視覚レンダリングと図１０のアノテーション付きの図との間でトグルするために、ワークフローモジュールによってユーザに提供された能力を示す例示的なスクリーンショットである。
【図13】図を比較する能力と、図１および図２のワークフローモジュールによって提供された分析をより良く評価する能力とをユーザに提供するために、変動する倍率レベルにおいて、図１１の視覚レンダリングと図１０のアノテーション付きの図との間でトグルするために、ワークフローモジュールによってユーザに提供された能力を示す例示的なスクリーンショットである。
【図14】図を比較する能力と、図１および図２のワークフローモジュールによって提供された分析をより良く評価する能力とをユーザに提供するために、変動する倍率レベルにおいて、図１１の視覚レンダリングと図１０のアノテーション付きの図との間でトグルするために、ワークフローモジュールによってユーザに提供された能力を示す例示的なスクリーンショットである。
【図15】[0032]図１１の視覚レンダリング内の指定された臨床的に関連する形態の高倍率図を示す例示的なスクリーンショットであり、オーバーレイ中の個々のドットが、個々の分類された細胞をマークし、したがって、ユーザが、低倍率におけるスライド全域パターンと、極めて粒度の細かい比較のための高倍率における個々の細胞結果とを理解することを可能にする、図である。
【図16】[0033]図１および図２のワークフローモジュールによる視覚レンダリングのより良い認識を可能にするための、オーバーレイがＯＦＦにトグルされている、図１５と同じ臨床的に関連する形態の例示的なスクリーンショットである。
【図17】[0034]図１および図２のワークフローモジュールによるスコアリング評価を受け入れるか、オーバーライドするか、または変更するかのいずれかの能力をユーザに提供する、図１１の分析レンダリングの例示的なスクリーンショットである。
【図18】[0035]腫瘍の例示的なサンプル中のバイオマーカー発現を視覚化する、Ｈ＆Ｅスクリーンショット画像（Ａ）とＰＤ−Ｌ１スクリーンショット画像（Ｂ）との例示的な並列比較図であり、画像（Ｂ）がＰＤ−Ｌ１膀胱上のオーバーレイを示し、陽性エリアが色付きドットによって表現された、図である。
【図19】[0036]２倍倍率レベルにおける例示的な色付きオーバーレイの例示的なスクリーンショットである。
【図20】１０倍倍率レベルにおける例示的な色付きオーバーレイの例示的なスクリーンショットである。
【図21】[0037]本発明のスライド全域ヒートマップ視覚化プロセスの例示的な図である。
【図22】本発明のスライド全域ヒートマップ視覚化プロセスの例示的な図である。
【図23】本発明のスライド全域ヒートマップ視覚化プロセスの例示的な図である。
【図24】本発明のスライド全域ヒートマップ視覚化プロセスの例示的な図である。
【図25】本発明のスライド全域ヒートマップ視覚化プロセスの例示的な図である。
【図26】本発明のスライド全域ヒートマップ視覚化プロセスの例示的な図である。
【発明を実施するための形態】
【0024】
[0038]例示の簡潔および明快のために、参照番号は、対応するまたは類似する特徴を示すために図の間で再利用され得ることが諒解されよう。[0039]図１は、本発明の一実施形態による、スライド全域画像の視覚定量分析ならびにバイオマーカー発現の定量化の直観的な視覚化を提供するための、ネットワーク環境において動作する、コンピュータベースのデジタル病理学システム１００を示す。デジタル病理学システム１００は、ネットワーク１３０を介して複数のクライアントコンピュータシステム（またはユーザ局）１４０、１４２とインターフェースする。
【0025】
[0040]デジタル病理学システム１００は、特に、染色器（ｓｔａｉｎｅｒ）１１０と、スキャナ１１１と、ワークフローモジュール２００と、プロセッサまたはコンピュータ１２５とを含み得る。病理学者、組織科学技術者、または同様の専門家など、クライアントコンピュータシステム１４０、１４２のユーザは、リモートまたはローカルのいずれかで、リアルタイムベースで、スキャナ１１１およびワークフローモジュール２００の出力にアクセスし、それを閲覧し、それとインターフェースすることが可能であり得る。これらの出力は、代替的に、ネットワーク化されたデータベース１５０上で記憶およびアクセスされ得る。
【0026】
[0041]図２中でさらに詳述されるように、ワークフローモジュール２００は、概して、画像分析モジュール２１０と、視覚化モジュール２２０と、アーテファクト抽出モジュール２３０と、組織内容物抽出モジュール２４０とを含み得、それらの動作がより詳細に説明される。
【0027】
[0042]ワークフローモジュール２００は、プロセッサ１２５および１つまたは複数のユーザ局１４０、１４２上で実行されるワークフロー３００（図３）をホストし得る。ワークフロー３００は、ステップ３０５において、組織サンプルを染色することを含む、適切なアッセイガイドラインに従って（１つまたは複数の）デジタル病理学スライドを準備することによって開始する。例示的な実装形態では、たとえば、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ社によって開発されたＰＤ−Ｌ１（ＳＰ１４２）アッセイを採用することによって、ＰＤ−Ｌ１タンパク質の存在に対する免疫組織化学（ＩＨＣ）染色を使用して染色された組織切片（たとえば、ホルマリン固定パラフィン包埋（ＦＦＰＥ：ｆｏｒｍａｌｉｎ−ｆｉｘｅｄ，ｐａｒａｆｆｉｎ−ｅｍｂｅｄｄｅｄ）組織切片）を含んでいる、１つまたは複数の顕微鏡ガラススライドの画像が収集された。ＩＨＣスライドは、たとえば、同じくＶｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ社の製品のベンチマークＵＬＴＲＡ染色器（ＢｅｎｃｈＭａｒｋ ＵＬＴＲＡ ｓｔａｉｎｅｒ）１１０上で染色され得る。ＩＨＣスライドに加えて、いくつかの実施形態では、他のＩＨＣ染色、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ：ｈｅｍａｔｏｘｙｌｉｎ ａｎｄ ｅｏｓｉｎ）染色を用いてまたは他のタイプの染色技法を使用して染色され得る、同じ組織ブロックの隣接する組織切片を含んでいるスライドの追加のデジタル画像が収集され得る。
【0028】
[0043]ステップ３１０において、スキャナ１１１は、ユーザが症例を分析することを開始する前に、サンプル組織の（１つまたは複数の）スライド全域画像５００（図５）を収集する。スキャンされたデジタル画像５００は、様々な倍率レベルにおいてユーザによって閲覧および評価され得る。たとえば、スライドは、モノクロームまたは複数の色チャネル中の標本のデジタル画像５００を生成することができるＶＥＮＴＡＮＡ ｉＳｃａｎ ＨＴスライド全域スキャナ１１１にロードされ得る。このデジタル画像５００は、たとえば、データベース１５０に記憶され得る。バッチ制御もスキャンされ、検討のために利用可能であり得る。
【0029】
[0044]ステップ３１５において、ユーザは、ワークフローモジュール２００によって提供される画像分析の恩恵なしに、関連するエリア（または臨床的に関連する形態）６１０（図６）のデジタル画像を検討し得る。図６〜図９は、図１および図２のワークフローモジュール２００の呼出しより前の、異なる倍率レベルを使用したこの関連するエリア６１０の様々なスクリーンショット６００、７００、８００、９００を示す。ユーザがデジタル画像６００を検討するとき、ユーザは、スライドの全体的な陽性度を構築することと、染色された細胞の関連性を評価することとを始めることになる。ユーザは、次いで、腫瘍エリアなどの関連するエリアを定義（または特定）し、それに応じてスライド全域画像５００にアノテーションを付ける。いくつかの実施形態では、本開示の他の部分で説明されるように、関連するエリアは、ユーザの入力なしに自動的に特定され得る。
【0030】
[0045]ワークフローモジュール２００の画像分析モジュール２１０は、ステップ３２０において、スライド全体にわたる内容物を独立して分析することができる。いくつかの実施形態では、「スライド全体」を分析することは、少なくともいくつかの組織を含んでいるスライドのすべてのエリアを分析することを意味することができる。すなわち、いくつかの実施形態では、スライド全体を分析することが、自動的に、スライド全域画像内で組織（すなわち、生物学的材料）を含んでいないエリアを検出することと、そのようなエリアを分析から除外することと、少なくともいくつかの組織を含んでいるエリアのみを分析することとを含むことができる。
【0031】
[0046]画像分析モジュール２１０は、陽性百分率免疫細胞スコアの形態の細胞検出および分類に基づく最初の臨床スコアを提供することができる。好ましい実施形態では、臨床スコアは０から１００にわたり、「０」は、発現の１つまたは複数の関心バイオマーカーの発現がないことを示し、「１００」は、１つまたは複数の関心バイオマーカーの全部の発現を示す。スコアリング結果は、細胞タイプ、ロケーション、密度、形成など、大量の生物学的情報を表現する。
【0032】
[0047]図２１〜図２６に関してより詳細に後で説明されるように、視覚化モジュール２２０は、画像分析結果のコンピュータ生成されたオーバーレイを準備し、選択された臨床的に関連する形態上のバイオマーカー発現の密度の表現として、最初に選択されたスライド全域画像の上へのスコアリング結果のユーザフレンドリな視覚レンダリング（またはオーバーレイ）１１００（図１１）をユーザに提供する。オーバーレイは、ヒートマップ、ロケーションマップ、相関マップなど、１つまたは複数のマップを表現することができ、適用例に応じて情報の変形態を示すことができる。より詳細には、ワークフローモジュール２００は、バイオマーカー発現の精密な視覚定量化を含む、組織スライド全体の定量分析ならびにそれの直観的な視覚化を提供する。
【0033】
[0048]画像分析モジュール２１０は、典型的に、画像がスキャンされ、画像分析モジュール２１０に利用可能になった直後に、オフラインでスライド全体を分析する。分析は、スライド内のすべての関心オブジェクト（たとえば、細胞）のロケーションを決定することと、それらを分類すること（すなわち、それらのタイプを決定すること）と、関心オブジェクトに関係する任意の他の情報とともにロケーションおよび分類データをデータベース１５０に記憶することとを含み得る。
【0034】
[0049]スライド全体のサイズ、それが含んでいる量情報、および分析モジュール２１０の処理能力に応じて、上記で説明されたスライド全体の分析は、かなりの時間、時々１０分以上もの長い時間を要することがある。したがって、この分析を「オフラインで」行うこと（すなわち、スライド画像がスキャンされるとすぐに、スライドがユーザによって要求される前に分析を始めること）は、検討およびアノテーションのために初めてユーザが分析にアクセスする時間までには、分析が完了されることを可能にし得る。画像分析モジュール２１０は、アノテーションを追加すること、たとえば、関連する臨床的に関連する形態１０２０（図１０）の周りの境界１０１０を描画することなどによる、得られた分析とのユーザの対話を予期する。
【0035】
[0050]したがって、ユーザが、得られた分析と対話することを開始する時間までには、細胞の位置を特定することおよび細胞を分類することなど、すべての計算集約的なステップは、データベース１５０に結果が記憶されて完了され得、その場合、画像分析モジュール２１０は、事前計算された情報をデータベース１５０からロードし、定量化動作、たとえば、選択された臨床的に関連する形態内のあるタイプの細胞を定量化することを実施する必要があり得るにすぎない。そのような定量化動作は、定量化結果が極めて短い時間内に（たとえば、１秒内にまたは数秒内に）可視になる「リアルタイム」体感をユーザに提供するのに十分に迅速に実施され得る。
【0036】
[0051]いくつかの実施形態では、オフライン分析の一部として、画像分析モジュール２１０はまた、異なるタイプの特定されたオブジェクト（たとえば、細胞）に対応する１つまたは複数のスライド全域オーバーレイ画像を生成し、データベース１５０に記憶し得る。このようにして、ユーザが、臨床的に関連する形態の領域を選択したとき、画像分析モジュール２１０は、（１つまたは複数の）オーバーレイ画像を生成する代わりに、データベース１５０から事前生成された（１つまたは複数の）オーバーレイ画像をロードし、臨床的に関連する形態の選択された領域に対応する（１つまたは複数の）オーバーレイ画像の部分を表示し得る。
【0037】
[0052]ワークフロー３００のステップ３２５において、ユーザは、たとえば、ヒートマップオーバーレイをオンおよびオフにトグリングすることによって、および視覚レンダリング１１００の全体的なスライドスコアを複数の倍率において比較することによって、アノテーション付きのスライド全域画像５００（ステップ３１５）をスコアリングされた視覚レンダリング１１００（ステップ３２０）と比較する。図１０のスクリーンショット１０００に示されているように、ユーザは、次いで、関連する関心エリア１０２０（たとえば、固形腫瘍エリアおよび周囲領域）の周りに輪郭１０１０を描画することなどによって、視覚レンダリング１０００上の関連するエリア１０２０にアノテーションを付ける。
【0038】
[0053]輪郭１０１０は、輪郭１０１０内の関連するエリア１０２０に分析を排他的に限定するようにとの、ワークフローモジュール２００への命令を表現する。ワークフロー３００は、腫瘍全域レベルでの評価を必要とするので、ユーザのアノテーションは、すべての関連するまたは疑わしい腫瘍エリアをキャプチャするように描画される。ユーザは、輪郭１０１０内に包含すべき関連するエリアのユーザの理解を改善し続けるために、陰性コントロールまたはＨ＆Ｅを参照する必要があり得る。いくつかのエリアが、壊死の大きいエリアなど、スライド全域スコアに無関係な場合、ユーザは、それらの関連しないエリアを分析から除去するために、レンダリング１０００にアノテーションを付けるか、または代替的に１つまたは複数の除外視野を使用することができる。代替的に、オリジナルの輪郭１０１０は再描画され得る。
【0039】
[0054]ステップ３３０において、ユーザは、ワークフローモジュール２００の画像分析モジュール２１０および視覚化モジュール２２０に、分析およびレンダリングをアノテーション付きの関連するエリア１０２０に排他的に限定するように命令し、したがって、処理およびレンダリング時間を最小限に抑え、分析プロセスを促進するために、画像分析モジュール２１０上に組み込まれた画像分析アルゴリズムを呼び出し、ユーザアノテーション１０１０をそれにフォワーディングする。
【0040】
[0055]ステップ３３５において、ワークフローモジュール２００は、関連するエリア６１０（図６）のデジタル画像レンダリングに対して、ユーザ検討のための２つの主要な情報を生成することによって、ユーザの呼出しに応答する。第１の情報は、ワークフローモジュール２００が陽性ＰＤ−Ｌ１免疫細胞のロケーションを示す、オーバーレイ１１２０（図１１）を含む。このデータは、単一細胞分類レベルに基づき、したがって、任意の特定のエリアが、陽性ＩＣの高い密度を有するとき、色は、低い倍率において視覚化されるエリアを形成するように融合する。ユーザが、アノテーションオーバレイ１１２０をより高い倍率で閲覧するとき、個々のドットが、個々の分類された細胞をマークし、低い倍率においてスライド全域パターンを理解する能力と、また、極めて粒度の細かい比較のために高い倍率で個々の細胞結果を理解する能力とをユーザに与える。
【0041】
[0056]図１２のスクリーンショット１２００にさらに示されているように、このアノテーションオーバレイ１１２０は、オンおよびオフにトグルされ得、ユーザが、低い倍率レベルおよび高い倍率レベルにおいて、画像分析がないデジタル画像レンダリング１２００を、本発明の画像分析を含んでいるデジタル画像レンダリング１１００と比較することを可能にする。それぞれ、図１３、図１４のスクリーンショット１３００、１４００が参照される。これは、ワークフローモジュール２００が、どのように高い倍率において細胞を、ならびに低い倍率において染色の全体的なパターンを分類するかをユーザが理解することを可能にする。
【0042】
[0057]ワークフローモジュール２００によって提供される第２の情報は、ユーザが、画像分析結果を、（図１１のスクリーンショット１１００の左マージンに示されている）全体的なスライドメトリック（またはスコア）１１３０に対して比較することを可能にする。画像分析モジュール２１０は、関連する総腫瘍エリアに対する陽性免疫細胞エリアの累積比率であり、割合として表現される全体的な定量スコアを生成する。この計算は、アッセイについて実施するのと同じプロセスである。さらに、画像分析モジュール２１０はまた、陽性免疫細胞の総カウントおよび総腫瘍エリアを含む２つの他のメトリックを示す。免疫細胞カウントは、リンパ球ならびに他の関連する免疫細胞メトリック（すなわち、マクロファージ）の平均サイズに基づいてエリア概念に変換される。
【0043】
[0058]図１５のスクリーンショット１５００に関して、ユーザが、図１１のアノテーションオーバレイ１１２０をより高い倍率で閲覧するとき、個々のドット１５５５が、個々の分類された細胞をマークし、低い倍率においてスライド全域パターンを理解する能力と、また、極めて粒度の細かい比較のために高い倍率で個々の細胞結果を理解するための能力とをユーザに与える。
【0044】
[0059]図１６のスクリーンショット１６００にさらに示されているように、個々のドット１５５５を含むアノテーションオーバレイ１１２０は、オンおよびオフにトグルされ得、ユーザが、低い倍率レベルおよび高い倍率レベルにおいて、画像分析がないデジタル画像レンダリング１２００を、本発明の画像分析を含んでいるデジタル画像レンダリング１１００と比較することを可能にする。これは、画像分析モジュール２１０が、どのように高い倍率レベルにおいて細胞を、ならびに低い倍率レベルにおいて染色の全体的なパターンを分類するかをユーザが理解することを可能にする。
【0045】
[0060]ステップ３４０において、上記のユーザ比較検討に続いて、ユーザは、ステップ３３５において、ワークフローモジュール２００によって生成された結果を受け入れるべきかどうか、またはこれらの結果を手動で修正するのかオーバーライドするのかを決定する。
【0046】
[0061]オーバーライドまたは修正が選定され、実際にユーザによって実施された場合、ワークフロー３００は、ステップ３２５に進み、ユーザが最終のデジタルレンダリングに十分に満足するまでユーザ入力を反復し続ける。最終のデジタルレンダリングが、次いで、意図された目的のための専門プラクティショナー（ｐｒｏｆｅｓｓｉｏｎａｌ ｐｒａｃｔｉｔｉｏｎｅｒ）によって使用され得る。ユーザは、次いで、症例からサインアウトし、ワークフローモジュール２００によって提供された選択された結果が、報告に組み込まれる。
【0047】
[0062]図１８は、腫瘍の例示的なサンプル中のバイオマーカー発現を視覚化する、Ｈ＆Ｅスクリーンショット画像（Ａ）１８００（Ａ）とＰＤ−Ｌ１スクリーンショット画像（Ｂ）１８００（Ｂ）との並列の例示的な比較図であり、画像（Ｂ）がＰＤ−Ｌ１膀胱上のオーバーレイを示し、陽性エリアが色付きドットによって表現される。
【0048】
[0063]図１９および図２０は、それぞれ、２倍倍率レベルにおける例示的な色付きオーバーレイの例示的なスクリーンショット１９００（図１９）、および１０倍倍率レベルにおける例示的な色付きオーバーレイの例示的なスクリーンショット２０００（図２０）である。
【0049】
[0064]ここで図４を考慮すると、図４は、図４Ａおよび図４Ｂから構成され、本発明の代替実施形態による、図１および図２のワークフローモジュール２００上でホストされるワークフロー４００を表現する。ステップ３０５と同様に、ワークフロー４００は、ステップ４０５において、組織サンプルを染色することを含む、適切なアッセイガイドラインに従って（１つまたは複数の）デジタル病理学スライドを準備することによって開始する。
【0050】
[0065]ステップ４１０において、ステップ３１０と同様に、スキャナ１１１は、ユーザが症例を分析することを開始する前に、サンプル組織の（１つまたは複数の）スライド全域画像５００（図５）を収集する。スキャンされたデジタル画像５００は、様々な倍率レベルにおいてユーザによって閲覧および評価され得る。このデジタル画像５００は、データベース１５０上で記憶およびアクセスされ得る。バッチ制御もスキャンされ、検討のために利用可能である。
【0051】
[0066]ステップ４１５において、ユーザは、デジタル病理学システム１００にログインし、記憶された制御画像を検討する。さらに、ステップ４２０において、ユーザは、ワークフローモジュール２００によって提供される画像分析の恩恵なしに、染色されたスライドのデジタル画像５００を検討する。
【0052】
[0067]ステップ４２５において、ユーザは、スライド全域デジタル画像５００中で、関連するエリアを関連しないエリアから分離する。この目的で、ユーザは、たとえば、関連するエリアをアウトラインすることによって、関連する関心エリアを手動で選択するためにデジタル病理学システム１００を使用する。各関連するエリアは、異なる倍率レベルにおいて選択的に閲覧され得る。
【0053】
[0068]ユーザが、組織サンプル中の関連する関心エリアを定義および選択することについて、矩形などの特定の幾何学的形状によってもはや制限されないことが十分に明らかであるべきである。むしろ、本デジタル病理学システムは、図１０に関して前に説明されたように、関連する関心エリア１０２０の周りの境界１０１０を手動で描画することによってなど、これらの関連するエリアをアウトラインすることによって、ユーザが、組織サンプル中の大きい関連するエリアのフリーハンド選択を実施することを可能にする。
【0054】
[0069]他の手動選択方法が使用され得ることも理解されたい。一例として、ユーザは、スコアリングを必要とする関心エリアを指定するために、スライド全域デジタル画像にアノテーションを付けることを可能にされる。代替的に、関連するエリアの選択プロセスが、デジタル病理学システム１００によって自動的に実施され得る。たとえば、デジタル病理学システム１００は、（たとえば、腫瘍エリアを検出するように訓練されたニューラルネットワークを使用してなど、任意の知られている機械学習技法または深層学習技法に基づいて）腫瘍を含んでいるスライド全域デジタル画像内の１つまたは複数のエリアを自動的に検出し、そのような（１つまたは複数の）エリアを、関連するエリアとして指定し得る。
【0055】
[0070]関連するエリアの選択がステップ４２０において完了されると、ワークフロー４００はステップ４３０に進んで、選択された関連するエリア１０１０の画像分析アルゴリズムを始動するために、ユーザがワークフローモジュール２００の画像分析モジュール２１０を呼び出すことを可能にする。画像分析モジュール２１０は、０から１００にわたる、陽性百分率免疫細胞スコアの形態の細胞検出および分類に基づく臨床スコアを提供する。スコアリング結果は、細胞タイプ、ロケーション、密度、形成など、大量の生物学的情報を表現する。
【0056】
[0071]図４Ｂのステップ４３５において、視覚化モジュール２２０が、ユーザの命令に応答し、画像分析結果のコンピュータ生成されたオーバーレイ１１２０（図１１）を準備し、密度の表現として、最初に選択されたスライド全域画像の上へのスコアリング結果のユーザフレンドリな視覚レンダリング１１００をユーザに提供する。オーバーレイは、ステップ３３５に関して前に説明されたように、ヒートマップ、ロケーションマップ、相関マップなど、１つまたは複数のマップを表現することができ、適用例に応じて情報の変形態を示すことができる。
【0057】
[0072]ステップ４４０において、ユーザは、得られたスコアを検証し、必要に応じて、視覚レンダリング１１００にアノテーションを付ける。[0073]ステップ４４５において、ユーザは、ユーザが、ひだ、間質分離アーテファクト、スペックルなど、不要な画像アーテファクトを選択することを可能にするアーテファクト抽出モジュール２３０（図２）を呼び出す。この目的で、ユーザは、不要なアーテファクト（またはアーテファクトエリア）を手動でアウトラインすることによって、またはこれらの不要なアーテファクトを検出し視覚化する自動化された方法を実施することによって、選択を実施し得る。アーテファクト抽出モジュール２３０は、次いで、画像分析モジュール２１０および視覚化モジュール２２０による、得られた画像分析および視覚化から、不要なアーテファクトを除外する。
【0058】
[0074]ステップ４５０において、ユーザは、炭粉色素、壊死、血管内の好中球など、不要な組織および染色内容物の除去を可能にする組織内容物抽出モジュール２４０（図２）を呼び出す。この目的で、ユーザは、不要な内容物エリアを手動でアウトラインすることによって、またはこれらの不要な内容物エリアを検出し視覚化する自動化された方法を実施することによって、選択を実施し得る。組織内容物抽出モジュール２４０は、次いで、画像分析モジュール２１０および視覚化モジュール２２０による、得られた画像分析および視覚化から、不要なアーテファクトを除外する。
【0059】
[0075]決定ステップ４５５において、ユーザは、ワークフローモジュール２００によって生成されたスコアリング結果を受け入れるべきか否かを決定する。スコアリング結果が受け入れられた場合、ワークフローモジュール２００は、ステップ４６０においてデジタルレンダリングを確定する。ユーザは、次いで、症例からサインアウトし、ワークフローモジュール２００によって提供された選択された結果が、報告に組み込まれる。
【0060】
[0076]しかしながら、ユーザが、ステップ４５５において、スコアリング結果のオーバーライドまたは修正を選択した場合、ワークフロー４００は、ステップ４６５に進み、修正されたスコアを入力する。ワークフローモジュール２００は、ユーザが最終のデジタルレンダリングに十分に満足するまで、ユーザ入力を反復し続ける。次いで、最終のデジタルレンダリングが確定され、ワークフローモジュール２００によって提供された最終結果が、ステップ４６０において報告に組み込まれる。ユーザは、次いで、症例からサインアウトし、報告は、意図された目的のための専門プラクティショナーに利用可能にされることになる。
【0061】
[0077]本発明は、１つのタイプの細胞の検出および視覚化に限定されず、本発明は、むしろ、様々なタイプの細胞を含んでいる腫瘍エリア全体を分析することができることが明らかであるべきである。各タイプの細胞は、異なる色を用いて視覚化され得る。
【0062】
[0078]次に、図２１〜図２６に関して、本発明のスライド全域ヒートマップ視覚化プロセスが、より詳細に説明される。概して、スライド全域ヒートマップオーバーレイは、バイオマーカー発現のより大きい密度またはクラスタが発生するエリアを示すために、デジタル病理学画像を視覚化する方法である。ヒートマップ視覚化プロセスは、低画像倍率（たとえば、４倍）におけるズームファクタとは無関係にバイオマーカー発現の密度を視覚的に知覚する能力をユーザに提供する。スライド全域ヒートマップは、スライド全域画像からの細胞検出結果の密度を示すために、低倍率において生成される。色勾配が、次第に高くなる密度のエリアを示すために使用され、各細胞が密度値を割り当てられ、レイヤ全体が勾配を使用して視覚化される。個別の点の補間が、密度面と呼ばれる連続面を作成する。閲覧者によってデータがどのように解釈されるかに影響を及ぼす最終的な視覚化は主観的である。
【0063】
[0079]図２１〜図２４は、臨床的に関連する形態（またはユーザにとっての関心エリア）２１１１を含む、デジタル病理学画像２１００（図２１）の例を示す。図２１は、低倍率レベルにおける臨床的に関連する形態２１１１を示し、図２２は、この臨床的に関連する形態２１１１の極めて拡大された図を示す。臨床的に関連する形態２１１１は、概して正方形の形状を有するものとして示されているが、ユーザが、規則的な輪郭または不規則な輪郭のいずれかを使用して関心形態を選択し得ることを理解されたい。
【0064】
[0080]ワークフローモジュール２００の画像分析モジュール２１０上に組み込まれた画像分析アルゴリズムが、図２２の臨床的に関連する形態２１１１上で実施されて、緑色ドット２３２３として図２３に示されている細胞検出結果（またはマップ）２３００を提供する。スライド全域画像についての細胞検出結果を取得した後、細胞検出結果は、バイオマーカー発現の密度に対応するスライド全域ヒートマップ（またはヒートマップオーバーレイ）２４００（図２４）を生成するために使用される。図２４は、オリジナルのスライド全域画像２１００（図２１）上のスライド全域ヒートマップオーバーレイ２４００を示す。色勾配は、次第に高くなる密度のエリアを示すために使用される。
【0065】
[0081]バイオマーカー発現の密度を視覚化するヒートマップ概念に加えて、本発明は、スライド全域２１００内の複数の細胞タイプの検出および特定を可能にする視覚化プロセスについて説明する。組織中のバイオマーカー発現の量の指示を提供するために色を使用するのではなく、ここで、色は、腫瘍または免疫細胞などの細胞タイプと、それらが、あるバイオマーカーについて表すか否か、すなわち陽性か陰性かとを表現するために使用される。
【0066】
[0082]図２５、図２６は、本発明の画像分析アルゴリズムによって検出されたようにＰＤ−Ｌ１陽性免疫細胞ならびにＰＤ−Ｌ１陽性／陰性腫瘍細胞が視覚化された、膀胱および肺の癌組織についての例を視覚化する。この場合、各細胞タイプが、異なる色を割り当てられ、各細胞タイプの密度が、色強度勾配を使用することによって視覚化され、色強度勾配は、それぞれの細胞タイプの中心ロケーションからより遠くに離れたロケーションに、より低い色強度値を滑らかに割り当てる。したがって、高密度エリアは、連続的に強い色領域によって表現されることになり、混合細胞タイプのエリアは、周囲エリア中のすべての異なる細胞タイプの寄与から生じる新しい色によって表現されることになる。
【0067】
[0083]図２５は、ＰＤ−Ｌ１膀胱スライド２５００上で検出された陽性免疫細胞２５５０の一例を示す。これらの陽性免疫細胞２５５０は、緑色エリアによって表現される。図２６は、ＰＤ−Ｌ１陽性免疫細胞２６５０（緑色エリア）、ＰＤ−Ｌ１陽性腫瘍細胞２６５５（赤色エリア）、およびＰＤ−Ｌ１陰性免疫細胞２６６０（青色エリア）の一例を示す。ある細胞タイプのより高い密度のエリアは、群がっているように見え、混合エリアは、混合色のように見える。
【0068】
[0084]本明細書で説明されるフローチャートの各々において、方法のうちの１つまたは複数は、コンピュータ可読コードがコンピューティングデバイス上で実行されるとき、一連のステップが実施されるように、コンピュータ可読コードを含んでいるコンピュータ可読媒体において具現化され得る。いくつかの実装形態では、本発明の趣旨および範囲から逸脱することなく、方法のいくつかのステップが、組み合わせられるか、同時にまたは異なる順序で実施されるか、あるいは場合によっては省略される。したがって、方法ステップが特定のシーケンスにおいて説明および例示されるが、ステップの特定のシーケンスの使用は、本発明に対する限定を暗示することを意味しない。本発明の趣旨または範囲から逸脱することなく、ステップのシーケンスに関して変更が行われ得る。したがって、特定のシーケンスの使用は限定的な意味にとられるべきではなく、本発明の範囲は添付の特許請求の範囲のみによって定義される。
【0069】
[0085]当業者によって諒解されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具現化され得る。したがって、本発明の態様は、完全にハードウェアの実施形態、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェアの実施形態、またはソフトウェアとハードウェアの態様を組み合わせる実施形態の形態をとり得、それらはすべて、本明細書では概して「回路」、「モジュール」、または「システム」と呼ばれることがある。さらに、本発明の態様は、その上にコンピュータ可読プログラムコードが具現化された１つまたは複数のコンピュータ可読媒体内で具現化されるコンピュータプログラム製品の形態をとり得る。
【0070】
[0086]さらに諒解されるように、本発明の実施形態におけるプロセスは、ソフトウェア、ファームウェアまたはハードウェアの任意の組合せを使用して実装され得る。本発明をソフトウェアで実施することへの予備ステップとして、プログラミングコード（ソフトウェアかファームウェアかを問わず）は、一般に、１つまたは複数のコンピュータ可読記憶媒体、たとえば、限定はしないが、電子、磁気、光、電磁、赤外線、または半導体の、システム、装置、またはデバイス、あるいは上記の任意の好適な組合せに記憶される。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、以下、すなわち、１つまたは複数のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、ポータブルコンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記の任意の好適な組合せを含む。本明細書のコンテキストでは、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによってあるいはそれらに関連して使用するためのプログラムを含んでいるかまたは記憶することができる、任意の有形媒体であり得る。
【0071】
[0087]プログラミングコードを含んでいる製造品は、記憶デバイスから直接コードを実行することによって、記憶デバイスからハードディスク、ＲＡＭなどの別の記憶デバイスにコードをコピーすることによって、またはデジタルおよびアナログ通信リンクなどの送信タイプメディアを使用してリモート実行のためのコードを送信することによってのいずれかで使用される。本発明の方法は、本発明によるコードを含んでいる１つまたは複数の機械可読記憶デバイスを、その中に含まれているコードを実行するための適切な処理ハードウェアと組み合わせることによって実施され得る。本発明を実施するための装置は、本発明に従ってコーディングされた（１つまたは複数の）プログラムを含んでいるかまたはそれへのネットワークアクセスを有する、１つまたは複数の処理デバイスおよび記憶システムであり得る。
【0072】
[0088]コンピュータ可読信号媒体は、その中で、たとえばベースバンド内または搬送波の一部として、コンピュータ可読プログラムコードを具現化された伝搬されるデータ信号を含み得る。そのような伝搬される信号は、限定はしないが、電磁、光、またはそれらの任意の好適な組合せを含む、様々な形態のうちのいずれかをとり得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによってあるいはそれらに関連して使用するためのプログラムを通信し、伝搬させ、または搬送することができる任意のコンピュータ可読媒体であり得る。
【0073】
[0089]コンピュータ可読媒体上で具現化されるプログラムコードは、限定はしないが、ワイヤレス、ワイヤライン、光ファイバーケーブル、Ｒ．Ｆなど、または上記の任意の好適な組合せを含む、任意の適切な媒体を使用して送信され得る。本発明の態様のための動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組合せで書かれ得る。プログラムコードは、完全にユーザのコンピュータ上で実行するか、部分的にユーザのコンピュータ上で実行するか、スタンドアロンソフトウェアパッケージとして実行するか、部分的にユーザのコンピュータ上と部分的にリモートコンピュータ上とで実行するか、あるいは完全にリモートコンピュータまたはサーバ上で実行し得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む、任意のタイプのネットワークを通してユーザのコンピュータに接続され得、あるいは接続は、（たとえば、インターネットサービスプロバイダを使用してインターネットを通して）外部コンピュータに対して行われ得る。
【0074】
[0090]したがって、本発明の例示的な実施形態は、インストールされた（または実行される）ソフトウェアをもつ十分に機能的なコンピュータ（サーバ）システムのコンテキストにおいて説明されるが、本発明の例示的な実施形態のソフトウェア態様は、様々な形態のプログラム製品として配布されることが可能であることと、本発明の例示的な実施形態は、実際に配布を行うために使用されるメディアの特定のタイプにかかわらず等しく適用されることとを、当業者が理解するであろうことは重要である。
【0075】
[0091]さらに、本発明は、例示的な実施形態を参照しながら説明されたが、本発明の範囲から逸脱することなく、様々な変更が行われ得、均等物がそれらの要素と置換され得ることが、当業者によって理解されよう。さらに、本発明の本質的範囲から逸脱することなく、本発明の教示に、特定のシステム、デバイスまたはそれらの構成要素を適応させるために多くの変更が行われ得る。したがって、本発明は、本発明を行うために開示される特定の実施形態に限定されないが、本発明は、添付の特許請求の範囲内に入るすべての実施形態を含むことが意図される。
【0076】
[0092]本明細書で使用される単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が別段に明確に示すのでなければ、複数形をも含むことが意図される。さらに、本明細書で使用される「備える、含む（ｃｏｍｐｒｉｓｅｓ）」および／または「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、述べられた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を明示するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を排除しないことを理解されよう。その上、第１の、第２の、などという用語の使用は、いかなる順序または重要性をも示さず、むしろ、第１の、第２の、などという用語は、ある要素を別のものと区別するために使用される。さらに、「ａ」、「ｂ」、「ｃ」、「第１の」、「第２の」、および「第３の」などのリスト用語は、説明の目的で本明細書および添付の特許請求の範囲で使用され、相対的重要性または有意性を示すかまたは暗示することが意図されない。
【0077】
[0093]以下の特許請求の範囲における、対応する構造、材料、行為、およびすべての手段またはステップ＋機能要素の均等物は、詳細に請求されたように、他の請求された要素と組み合わせて機能を実施するための任意の構造、材料、または行為を含むことが意図される。本発明の説明は、例示および説明の目的で提示されており、網羅的であることまたは開示される形態における本発明に限定されることが意図されない。多くの変更および変形が、本発明の範囲および趣旨から逸脱することなく当業者に明らかであろう。本発明の原理および実際的適用例について最も良く説明し、他の当業者が、企図された特定の用途に好適であるような様々な変更を用いて、様々な実施形態について本発明を理解することを可能にするための、実施形態が選定され、説明された。