(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-24
(54)【発明の名称】組織画像の人工知能セグメンテーション
(51)【国際特許分類】
G06T 7/00 20170101AFI20220216BHJP
G01N 33/48 20060101ALI20220216BHJP
【ＦＩ】
G06T7/00 630
G06T7/00 350C
G01N33/48 M
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021538477
(86)(22)【出願日】2019-12-31
(85)【翻訳文提出日】2021-08-23
(86)【国際出願番号】 US2019069164
(87)【国際公開番号】W WO2020142566
(87)【国際公開日】2020-07-09
(31)【優先権主張番号】62/787,047
(32)【優先日】2018-12-31
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521286248
【氏名又は名称】テンプス ラブス，インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100117019
【弁理士】
【氏名又は名称】渡辺 陽一
(74)【代理人】
【識別番号】100141977
【弁理士】
【氏名又は名称】中島 勝
(74)【代理人】
【識別番号】100138210
【弁理士】
【氏名又は名称】池田 達則
(74)【代理人】
【識別番号】100166165
【弁理士】
【氏名又は名称】津田 英直
(72)【発明者】
【氏名】スティーブン イップ
(72)【発明者】
【氏名】アービン ホー
(72)【発明者】
【氏名】リンタオ シャー
(72)【発明者】
【氏名】ボレスロウ オシンスキー
【テーマコード（参考）】
2G045
5L096
【Ｆターム（参考）】
2G045AA24
2G045AA25
2G045AA26
2G045CA17
2G045CB01
2G045CB02
2G045FA19
2G045JA01
2G045JA03
5L096AA06
5L096BA03
5L096BA13
5L096DA02
5L096EA02
5L096FA02
5L096FA03
5L096FA04
5L096FA32
5L096FA59
5L096GA04
5L096GA05
5L096HA09
5L096HA11
5L096KA04
(57)【要約】
スライドのデジタル医療画像上にオーバーレイマップを生成するための技術が、提供され、細胞検出および組織分類プロセスを含む。技術は、医療画像を受信することと、タイルに画像を分離することと、マルチタイル分析に基づいて、タイル分類および組織分類を実施することと、を含む。技術はさらに、画像内の細胞オブジェクトを識別することと、画像を分離することと、細胞オブジェクトおよび細胞分類を識別するポリゴンを表示することと、を含む。生成されたディスプレイは、最初のデジタル画像の上にオーバーレイされ得る。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
スライドのデジタル画像上にオーバーレイマップを作成するための方法であって、前記デジタル画像を受信することと、
複数のタイルに、前記デジタル画像を分離することと、
マルチタイル分析に基づいて、前記複数のタイルの各タイル内に見える組織の大部分のクラスを識別することと、を含む、方法。
【請求項2】
前記画像内の各細胞の外縁のデジタルオーバーレイ図面を生成することをさらに含む、請求項１に記載の方法。
【請求項3】
前記デジタルオーバーレイ図面が、個々のピクセルの解像度レベルで作られる、請求項２に記載の方法。
【請求項4】
スライドのデジタル画像の組織分類のための方法であって、前記デジタル画像を受信することと、
前記デジタル画像内の組織領域のデジタルオーバーレイ図面を生成することと、
前記デジタルオーバーレイ図面において、前記組織領域上にタイルを表示し、各タイルの予測コンテンツを視覚的に識別して、前記デジタル画像を分類する分類マップを生成することと、を含む、方法。
【請求項5】
多重解像度完全畳み込みネットワークとして構成された分類モデルを使用して、各タイルの前記予測コンテンツを決定することであって、前記多重解像度完全畳み込みネットワークが、異なるズームレベルのデジタル画像で分類を実施するように構成されている、決定することをさらに含む、請求項４に記載の方法。
【請求項6】
分類モデルを使用して、タイルごとに、複数の分類から分類を決定することをさらに含む、請求項４に記載の方法。
【請求項7】
前記複数の分類が、腫瘍上皮、正常上皮、免疫、間質、壊死、血液、および脂肪を含む、請求項６に記載の方法。
【請求項8】
スライドのデジタル画像における細胞検出のための方法であって、前記デジタル画像を受信することと、
前記デジタル画像内の細胞オブジェクトを識別することと、
前記デジタル画像のデジタルオーバーレイ図面を生成することと、
前記デジタルオーバーレイ図面に、前記識別された細胞オブジェクトの各々の輪郭を描くポリゴンを表示することと、を含む、方法。
【請求項9】
前記細胞オブジェクトが、リンパ球細胞を含み、リンパ球細胞ではない、請求項８に記載の方法。
【請求項10】
前記細胞オブジェクトが、ＣＤ３、ＣＤ８、ＣＤ２０、パンサイトケラチン、および平滑筋アクチンを含む、請求項８に記載の方法。
【請求項11】
スライドのデジタル画像の組織分類のための方法であって、前記デジタル画像を受信することと、
複数のタイルに、前記デジタル画像を分割することと、
各タイルの予測クラスを決定することと、
前記デジタル画像内の複数の細胞オブジェクトを識別することと、
前記複数の細胞オブジェクトの各々について、予測クラスを決定することと、
前記複数の細胞オブジェクトのうちの１つに対応する前記複数のタイルの各々について、前記タイルの前記予測クラスの代わりに、前記対応する細胞オブジェクトの前記予測クラスを前記タイルに割り当てることと、を含む、方法。
【請求項12】
各タイルについて、第１のファイルに、タイルの位置および前記タイルの前記予測クラスを記憶することと、細胞オブジェクトごとに、第２のファイルに、前記細胞オブジェクトおよび前記細胞オブジェクトの前記予測クラスの輪郭を描くポリゴンを記憶することと、をさらに含む、請求項１１に記載の方法。
【請求項13】
前記デジタル画像のデジタルオーバーレイ図面を生成することであって、前記デジタルオーバーレイ図面が、各細胞オブジェクトの周囲にポリゴンを表示する細胞マスクである、生成することをさらに含む、請求項１１に記載の方法。
【請求項14】
前記デジタル画像のデジタルオーバーレイ図面を生成することであって、前記デジタルオーバーレイ図面が、前記複数のタイルおよび各タイルの前記予測クラスを表示する、組織学マスクである、生成することをさらに含む、請求項１１に記載の方法。
【請求項15】
前記デジタル画像のデジタルオーバーレイ図面を生成することと、前記デジタルオーバーレイ図面に、細胞オブジェクトに対応しない前記複数のタイルおよび各タイルの前記予測クラスを表示し、前記複数の細胞オブジェクトおよび各細胞オブジェクトの前記予測クラスを表示することと、をさらに含む、請求項１１に記載の方法。
【請求項16】
前記デジタル画像のデジタルオーバーレイ図面を生成することであって、前記デジタルオーバーレイ図面が、前記デジタル画像を含む、生成することと、前記デジタルオーバーレイ図面を表示することと、をさらに含む、請求項１１に記載の方法。
【請求項17】
前記デジタル画像のデジタルオーバーレイ図面を生成することであって、前記デジタルオーバーレイ図面が、前記デジタル画像の生成されたバージョンを含む、生成することと、前記デジタルオーバーレイ図面を表示することと、をさらに含む、請求項１１に記載の方法。
【請求項18】
前記デジタル画像の複数のデジタルオーバーレイ図面を生成することであって、各デジタルオーバーレイ図面が、異なる予測クラスに対応する、生成することと、前記複数のデジタルオーバーレイ図面のうちの１つを選択的に表示することと、をさらに含む、請求項１１に記載の方法。
【請求項19】
前記デジタル画像のデジタルオーバーレイ図面を生成することであって、前記デジタルオーバーレイ図面が、前記デジタル画像に対応する予測クラスのパーセンテージを含む、生成することをさらに含む、請求項１１に記載の方法。
【請求項20】
前記デジタル画像のデジタルオーバーレイ図面を生成することであって、前記デジタルオーバーレイ図面が、前記デジタル画像に対応する予測クラスの総数を含む、生成することをさらに含む、請求項１１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、米国特許法１１９条（ｅ）（１）の下で、２０１８年１２月３１日に出願された米国仮特許出願第６２／７８７，０４７号に対する優先権の利益を主張し、およびその出願日の利益を主張し、その全開示は参照により本明細書に組み込まれる。
本出願は、米国特許法１１９条（ｅ）（１）の下で、２０１８年１２月３１日に出願された米国仮特許出願第６２／７８７，０４７号に対する優先権の利益を主張し、およびその出願日の利益を主張し、その全開示は参照により本明細書に組み込まれる。
【0002】
本開示は、医療画像の分析のための技術、より具体的には、癌性組織の他の画像の組織学的スライドの分析のための技術に関する。
【背景技術】
【0003】
本明細書に提供される背景技術の記載は、本開示の文脈を一般的に提示する目的のためのものである。この背景技術のセクションに記載される範囲での現在名前が挙げられている発明者らの研究、および別の方法で出願時に従来技術と見なされない可能性がある記載の態様は、明示的にも黙示的にも本開示に対する従来技術とは認められない。
【0004】
患者の癌の診断、予後および治療評価において医療専門家をガイドするために、患者から腫瘍サンプルを抽出および検査することが一般的である。目視検査により、癌細胞の近くの健康な細胞との関係で腫瘍内の癌細胞の成長パターン、および腫瘍内の免疫細胞の存在を明らかにすることができる。病理学者、病理学チームのメンバー、他の訓練を受けた医療専門家、または他の人間の分析者は、ガラス顕微鏡スライドに取り付けられた腫瘍組織の薄いスライスを視覚的に分析して、組織の各領域を腫瘍サンプルに存在する多くの組織クラスのうちの１つとして分類する。この情報は、病理医が患者の癌腫瘍の特徴を判断するのに役立ち、治療の決定に役立つ可能性がある。病理医は、視覚的な近似に基づいて、スライドに１つ以上の数値スコアを割り当てることがよくある。顕微鏡スライド分析中に割り当てられた数値スコアには、腫瘍細胞によって形成される組織のパーセンテージである腫瘍純度が含まれる。
【0005】
腫瘍の特徴には、腫瘍の悪性度、腫瘍の純度、腫瘍の浸潤性の程度、腫瘍への免疫浸潤の程度、癌の病期、および腫瘍の解剖学的起源部位が含まれ、これは転移性腫瘍の診断および治療に特に重要である。癌に関するこれらの詳細は、医師が患者内の癌の進行を監視し、どの抗癌治療が患者の体から癌細胞を排除するのに成功する可能性が高いかを予測するのに役立ち得る。
【0006】
顕微鏡スライドを手動で分析するには時間がかかり、訓練を受けた医療専門家が必要である。さらに、数値スコアは概算で割り当てられるため、これらのスコアは主観的であり、定量的ではない。
【0007】
顕微鏡スライドの高解像度のデジタル画像により、人工知能を使用してスライドを分析し、組織の構成要素を組織クラスごとに分類することができる。
【0008】
畳み込みニューラルネットワーク（「ＣＮＮ」）は、各入力画像に１つのクラスラベルを割り当てることによってデジタル画像を分析する深層学習アルゴリズムである。しかしながら、スライドには、隣接する組織クラス間の境界を含む、複数のタイプの組織が含まれている。隣接する組織クラス間の境界および腫瘍細胞間の免疫細胞の存在を研究するために、部分的に異なる領域を異なる組織クラスとして分類する必要がある。従来のＣＮＮが複数の組織クラスを１つのスライド画像に割り当てるために、ＣＮＮは、組織クラスラベルの割り当てが必要な画像の各セクションを個別に処理する必要がある。画像の隣接するセクションが重なっているため、各セクションを個別に処理すると、冗長な計算が多数作成され、それは時間がかかる。
【0009】
完全畳み込みネットワーク（ＦＣＮ）は、画像を分析し、画像内の各ピクセルに分類ラベルを割り当てることができるため、ＦＣＮは、複数の分類を持つオブジェクトを表す画像の分析により役立つ。ＦＣＮは、元の画像内の分類された各オブジェクトの場所を示すオーバーレイマップを生成する。しかしながら、デジタルスライドを分析するＦＣＮ深層学習アルゴリズムでは、各ピクセルが組織クラスとしてラベル付けされた画像のデータセットを訓練する必要があり、実用化するには注釈時間および処理時間が多すぎる。スライドのデジタル画像では、画像の各縁は、１０，０００～１００，０００ピクセルを超える場合がある。完全な画像には、少なくとも１０，０００＾２～１００，０００＾２ピクセルが含まれる場合があり、これにより、大量の計算が必要になるため、アルゴリズムの実行時間が長くなる。ピクセル数が多いため、従来のＦＣＮを使用してスライドのデジタル画像をセグメント化することは不可能である。
【発明の概要】
【0010】
一例によれば、スライドのデジタル画像上にオーバーレイマップを作成するための方法は、デジタル画像を受信することと、デジタル画像を複数のタイルに分離することと、マルチタイル分析に基づいて、複数のタイルの各タイル内に見える組織の大部分のクラスを識別することと、を含む。
【0011】
いくつかの例では、方法は、画像内の各細胞の外縁のデジタルオーバーレイ図面を生成することを含む。
【0012】
いくつかの例では、デジタルオーバーレイ図面は、個々のピクセルの解像度レベルで作られる。
【0013】
別の例によれば、スライドのデジタル画像の組織分類のための方法は、デジタル画像を受信することと、デジタル画像内の組織領域のデジタルオーバーレイ図面を生成することと、デジタルオーバーレイ図面において、組織領域上にタイルを表示し、各タイルの予測コンテンツを視覚的に識別して、デジタル画像を分類する分類マップを生成することと、を含む。
【0014】
いくつかの例では、方法は、多重解像度完全畳み込みネットワークとして構成された分類モデルを使用して、各タイルの予測コンテンツを決定することであって、多重解像度完全畳み込みネットワークが、異なるズームレベルのデジタル画像で分類を実施するように構成されている、決定することをさらに含む。
【0015】
いくつかの例では、方法は、分類モデルを使用して、タイルごとに、複数の分類から分類を決定することをさらに含む。
【0016】
いくつかの例では、複数の分類は、腫瘍上皮、正常上皮、免疫、間質、壊死、血液、および脂肪を含む。
【0017】
さらに別の例によれば、スライドのデジタル画像における細胞検出のための方法は、デジタル画像を受信することと、デジタル画像内の細胞オブジェクトを識別することと、デジタル画像のデジタルオーバーレイ図面を生成することと、デジタルオーバーレイ図面に、識別された細胞オブジェクトの各々の輪郭を描くポリゴンを表示することと、を含む。
【0018】
いくつかの例では、細胞オブジェクトは、リンパ球細胞を含み、リンパ球細胞ではない。
【0019】
いくつかの例では、細胞オブジェクトは、ＣＤ３、ＣＤ８、ＣＤ２０、パンサイトケラチン、および平滑筋アクチンを含む。
【0020】
さらに別の例によれば、スライドのデジタル画像の組織分類のための方法は、デジタル画像を受信することと、複数のタイルに、デジタル画像を分割することと、各タイルの予測クラスを決定することと、デジタル画像内の複数の細胞オブジェクトを識別することと、複数の細胞オブジェクトの各々について、予測クラスを決定することと、複数の細胞オブジェクトのうちの１つに対応する複数のタイルの各々について、タイルの予測クラスの代わりに、対応する細胞オブジェクトの予測クラスをタイルに割り当てることと、を含む。
【0021】
いくつかの例では、方法は、各タイルについて、第１のファイルに、タイルの位置およびタイルの予測クラスを記憶することと、細胞オブジェクトごとに、第２のファイルに、細胞オブジェクトおよび細胞オブジェクトの予測クラスの輪郭を描くポリゴンを記憶することと、をさらに含む。
【0022】
いくつかの例では、方法は、デジタル画像のデジタルオーバーレイ図面を生成することであって、デジタルオーバーレイ図面が、各細胞オブジェクトの周囲にポリゴンを表示する細胞マスクである、生成することをさらに含む。
【0023】
いくつかの例では、方法は、デジタル画像のデジタルオーバーレイ図面を生成することであって、デジタルオーバーレイ図面が、複数のタイルおよび各タイルの予測クラスを表示する、組織学マスクである、生成することをさらに含む。
【0024】
いくつかの例では、方法は、デジタル画像のデジタルオーバーレイ図面を生成することと、デジタルオーバーレイ図面に、細胞オブジェクトに対応しない複数のタイルおよび各タイルの予測クラスを表示し、複数の細胞オブジェクトおよび各細胞オブジェクトの予測クラスを表示することと、をさらに含む。
【0025】
いくつかの例では、方法は、デジタル画像のデジタルオーバーレイ図面を生成することであって、デジタルオーバーレイ図面が、デジタル画像を含む、生成することと、デジタルオーバーレイ図面を表示することと、をさらに含む。
【0026】
いくつかの例では、方法は、デジタル画像のデジタルオーバーレイ図面を生成することであって、デジタルオーバーレイ図面が、デジタル画像の生成されたバージョンを含む、生成することと、デジタルオーバーレイ図面を表示することと、をさらに含む。
【0027】
いくつかの例では、方法は、デジタル画像の複数のデジタルオーバーレイ図面を生成することであって、各デジタルオーバーレイ図面が、異なる予測クラスに対応する、生成することと、複数のデジタルオーバーレイ図面のうちの１つを選択的に表示することと、をさらに含む。
【0028】
いくつかの例では、方法は、デジタル画像のデジタルオーバーレイ図面を生成することであって、デジタルオーバーレイ図面が、デジタル画像に対応する予測クラスのパーセンテージを含む、生成することをさらに含む。
【0029】
いくつかの例では、方法は、デジタル画像のデジタルオーバーレイ図面を生成することであって、デジタルオーバーレイ図面が、デジタル画像に対応する予測クラスの総数を含む、生成することをさらに含む。
【0030】
別の例によれば、システムはプロセッサを含み、コンピュータ可読メモリが提供され、メモリは、プロセッサによって実行されると、プロセッサに本明細書に記載の方法を実施させる命令を記憶する。
【0031】
一例によれば、システムは、プロセッサと、プロセッサによって実行されると、プロセッサに、デジタル画像を受信することと、複数のタイルに、デジタル画像を分離することと、マルチタイル分析に基づいて、複数のタイルの各タイル内に見える組織の大部分のクラスを識別することと、を行わせる命令を記憶するコンピュータ可読メモリと、を含む。
【0032】
一例によれば、システムは、プロセッサと、プロセッサによって実行されると、プロセッサに、デジタル画像を受信することと、デジタル画像内の組織領域のデジタルオーバーレイ図面を生成することと、デジタルオーバーレイ図面において、組織領域上にタイルを表示し、各タイルの予測コンテンツを視覚的に識別して、デジタル画像を分類する分類マップを生成することと、を行わせる命令を記憶するコンピュータ可読メモリと、を含む。
【0033】
一例によれば、システムは、プロセッサと、プロセッサによって実行されると、プロセッサに、デジタル画像を受信することと、デジタル画像内の細胞オブジェクトを識別することと、デジタル画像のデジタルオーバーレイ図面を生成することと、デジタルオーバーレイ図面に、識別された細胞オブジェクトの各々の輪郭を描くポリゴンを表示することと、を行わせる命令を記憶するコンピュータ可読メモリと、を含む。
【0034】
一例によれば、システムは、プロセッサと、プロセッサによって実行されると、プロセッサに、デジタル画像を受信することと、複数のタイルに、デジタル画像を分割することと、各タイルの予測クラスを決定することと、デジタル画像内の複数の細胞オブジェクトを識別することと、複数の細胞オブジェクトの各々について、予測クラスを決定することと、複数の細胞オブジェクトのうちの１つに対応する複数のタイルの各々について、タイルの予測クラスの代わりに、対応する細胞オブジェクトの予測クラスをタイルに割り当てることと、を行わせる命令を記憶するコンピュータ可読メモリと、を含む。
【図面の簡単な説明】
【0035】
以下に記載される図面は、本明細書で開示されるシステムおよび方法の様々な態様を示す。各図は、本システムおよび方法の態様の一例を示すことを理解されたい。
【0036】
【図1】例による、組織学スライドのデジタル画像の例を示す。
【図2】例による、デジタル組織セグメンタの概要である。
【図3A】例による、デジタル組織セグメンテーションによって作成された組織セグメンテーションオーバーレイマップを示す。
【図3B】例による、デジタル組織セグメンタによって作成された細胞外縁オーバーレイマップを示す。
【図3C】例による、デジタル組織セグメンタによって作成された腫瘍確率オーバーレイヒートマップマップを示す。
【図4】例による、組織セグメンテーションおよびマッピング分析のための組織学スライドのデジタル画像を準備するための方法のフローチャートである。
【図5A】各々、例による、組織学スライドのデジタル画像上の組織セグメンテーションのために使用される例示的なグリッドオーバーレイを示す。
【図5B】各々、例による、組織学スライドのデジタル画像上の組織セグメンテーションのために使用される例示的なグリッドオーバーレイを示す。
【図5C】各々、例による、組織学スライドのデジタル画像上の組織セグメンテーションのために使用される例示的なグリッドオーバーレイを示す。
【図6A】例による、例示的な組織セグメンテーションアルゴリズムの層を示す。
【図6B】例による、既知の画像分類アルゴリズムの層を例示的な組織セグメンテーションアルゴリズムと比較する。
【図6C】例による、２つの例示的な３次元フィルタ行列によって畳み込まれている例示的な３次元入力画像行列の層の視覚化である。
【図7】例による、リンパ球の検出（小さな赤い点）およびタイル分類を示す、例示的なグリッドオーバーレイを示す。
【図8】例による、細胞型ロケーターの例示的な訓練セット画像を示す。
【図9】例による、異なる免疫組織化学（ＩＨＣ）染色画像を使用してプログラムされたデスリガンド１（ＰＤ－Ｌ１）腫瘍陽性スコア（ＴＰＳ）を識別する、例示のオーバーレイマップの例を示す。
【図10】例による、本明細書の技術および方法を実施するためのデジタル組織画像セグメンタを有する例示のコンピュータ処理システムの概略図である。
【発明を実施するための形態】
【0037】
図１は、病理学スライドとしても知られている組織学スライドのデジタル画像の例を示す。一例では、デジタル画像は、組織学スライドを視覚的にキャプチャするスキャナーによって作成される。別の例では、デジタル画像は、顕微鏡に取り付けられたデジタルカメラによって作成される。組織学スライドは、２つの透明なガラス層でできており、２つのガラス層の間に組織のスライスが貼り付けられる。組織の薄いスライスは、例えば、約５ミクロンの厚さで、非常に薄くてもよい。組織は、ホルムアルデヒド、ホルマリン、およびパラフィンを含む、固定液で保存され得る。組織には、スライドに表示される多くの個々の生体細胞の組み合わせが含まれる。スキャナーは、フィリップスデジタル病理学スライドスキャナー、またはデジタル画像ファイルを作成することができる当技術分野で知られている任意のスキャナーを含み得る。
【0038】
一例では、組織スライスは、組織内の特定のタイプの細胞または細胞部分に付着する染色を含む。染色には、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ）染色、ならびに免疫組織化学（ＩＨＣ）染色が含まれる場合がある。ヘマトキシリンは、ＤＮＡに結合し、細胞の核を青または紫に見せるための染色である。エオシンは、タンパク質に結合し、細胞の残りの部分、つまり細胞質内部のすべてを赤またはピンクに見せるための染色である。ＩＨＣ染色は、多くの色のうちの１つを表示する分子と結合した抗体で構成される。抗体は、タンパク質または糖などの特定の分子を標的とするために、任意の表面形状に結合するように設計され得る。ＩＨＣ染色により、スライド上に存在する特定の標的分子のいくつかのコピーの近くに、選択した色の色素が集中する。腫瘍サンプルで一般的にいくつかの監視されるタンパク質には、プログラムされたデスリガンド１（ＰＤ－Ｌ１）が含まれ、腫瘍領域におけるその存在は、腫瘍が免疫療法に反応するかどうか、およびＴリンパ球免疫細胞に関連する分化クラスター３（ＣＤ３）を示すことができる。腫瘍領域におけるＣＤ３の存在は、腫瘍浸潤リンパ球に関連している可能性があり、これは、腫瘍が抗癌免疫療法を受けやすいことを示す可能性がある。
【0039】
いくつかの例では、スライドはまた、腫瘍サンプルからではない組織の追加の対照スライスを含み得、これは、染色プロセスの陽性および／または陰性対照として機能する。対照組織スライスは、ＩＨＣ染色のあるスライドでより一般的である。
【0040】
図２は、デジタル組織画像セグメンタ２０１の概要である。デジタル組織セグメンタ２０１は、スライドのデジタル画像を受信し、腫瘍サンプルのスライスを表示し、およびデジタル画像の各グリッドタイル内に見える組織の大部分のクラスを識別する高密度のグリッドベースのデジタルオーバーレイマップを作成する、計算方法および装置を含み得る。デジタル組織セグメンタ２０１はまた、個々のピクセルの解像度レベルで、スライド画像内の各細胞の外縁のデジタルオーバーレイ図面を生成することができる。
【0041】
別の例では、デジタル組織セグメンタ２０１は、デジタル放射線画像を受信し、およびデジタル画像の各グリッドタイル内に見える組織の大部分のクラスを識別する高密度のグリッドベースのデジタルオーバーレイマップを効率的に作成する、計算方法および装置である。放射線画像は、患者の体内の腫瘍を示す場合がある。放射線画像は、３次元（３Ｄ）であり得、デジタル組織セグメンタ２０１は、入力画像として３次元画像の２次元スライスを受信し得る。放射線画像には、Ｘ線、ＣＴスキャン、ＭＲＩ、超音波、ＰＥＴが含まれるが、これらに限定されない。
【0042】
図２に示されるデジタル組織セグメンタ２０１は、組織を有するデジタル画像の区域を検出し、組織を有するものと検出された区域の場所を含むデータを記憶するための組織検出器２０４を含む。組織検出器２０４は、組織区域場所データを、組織クラスタイルグリッドプロジェクタ２０８および細胞タイルグリッドプロジェクタ２１２に転送する。組織クラスタイルグリッドプロジェクタ２０８は、以下でさらに詳細に説明されるように、かつ図５Ａおよび図５Ｃを参照して、組織区域場所データを受信する。いくつかの組織クラスラベルの各々について、組織クラスロケーター２１６は、組織クラスラベルが各タイル内の画像を正確に説明する可能性を表すパーセンテージを計算して、各組織クラスがデジタル画像のどこに位置するかを決定する。タイルごとに、すべての組織クラスラベルに対して計算されたすべてのパーセンテージの合計が１になり、１００％を反映する。一例では、組織クラスロケーター２１６は、１つの組織クラスラベルを各タイルに割り当てて、各組織クラスがデジタル画像のどこに位置するかを決定する。組織クラスロケーターは、計算されたパーセンテージ、および各タイルに関連付けられた割り当てられた組織クラスラベルを記憶する。
【0043】
組織クラスの例には、腫瘍、間質、正常、免疫クラスター、壊死、過形成／異形成、赤血球、およびＩＨＣ染色標的分子の場合に陽性（ＩＨＣ染色の標的分子を含む）または陰性（その分子を含まない）である組織クラスまたは細胞型が挙げられるが、これらに限定されない。例には、腫瘍陽性、腫瘍陰性、リンパ球陽性、およびリンパ球陰性がまた挙げられる。グリッドベースのデジタルオーバーレイマップまたは個別のデジタルオーバーレイはまた、リンパ球、細胞傷害性Ｔ細胞、Ｂ細胞、ＮＫ細胞、マクロファージなどを含む、個々の免疫細胞を強調表示する場合がある。
【0044】
一例では、デジタル組織セグメンタ２０１は、画像内の多くのタイルを、個別に、および各タイルを囲む画像の部分と組み合わせて同時に分析する、マルチタイルアルゴリズムを含む。マルチタイルアルゴリズムは、個々のタイルのコンテンツおよびタイルを囲む画像の部分のコンテキストの両方をキャプチャする、マルチスケールでマルチ解像度の分析を実現することができる。マルチタイルアルゴリズムは、図５Ａ～図５Ｃならびに図６Ａおよび図６Ｂを参照してさらに説明される。２つの隣接するタイルを囲む画像の部分が重なるため、各タイルを周囲と個別に分析するのではなく、多くのタイルとその周囲を同時に分析すると、計算の冗長性が低下し、処理効率が向上する。
【0045】
一例では、デジタル組織セグメンタは、分析結果を３次元確率データ配列に記憶することができ、これは、分析されたタイルごとに１つの１次元データベクトルを含む。一例では、各データベクトルには、合計が１００％になるパーセンテージのリストが含まれ、各々は、各グリッドタイルが分析された組織クラスのうちの１つを含む確率を示す。他のベクトルに対するデータ配列の直交２次元平面内の各データベクトルの位置は、他のタイルに対するデジタル画像内のそのデータベクトルに関連付けられたタイルの位置に対応する。
【0046】
細胞型タイルグリッドプロジェクタは、組織区域場所データを受信し、図８に関してさらに詳細に説明されるように、組織を有する画像の区域に細胞型タイルグリッドを投影する。細胞型ロケーターは、各グリッド内のデジタル画像の各生物学的細胞を検出し、各細胞の外縁に輪郭を作り、各細胞を細胞型によって分類することができる。細胞型ロケーターは、各細胞の場所および細胞の外縁を含む各ピクセルを含むデータ、ならびに各細胞に割り当てられた細胞型ラベルを記憶する。
【0047】
オーバーレイマップジェネレータおよびメトリック計算機は、組織クラスロケーターから記憶された３次元確率データ配列を取得し、それを各タイルに割り当てられた組織クラスラベルを表示するオーバーレイマップに変換することができる。各タイルに割り当てられた組織クラスは、各組織クラスに固有の透明色として表示される場合がある。一例では、組織クラスオーバーレイマップは、ユーザーが選択した組織クラスの各グリッドタイルの確率を表示する。オーバーレイマップジェネレータおよびメトリック計算機はまた、記憶された細胞の場所およびタイプデータを細胞型ロケーターから取得し、画像全体または特定の組織クラスに割り当てられたタイルの細胞数に関連するメトリックを計算する。
【0048】
図３Ａおよび図３Ｂは、デジタル組織セグメンタ２０１によって作成されたデジタルオーバーレイの例を示す。図３Ａは、デジタル組織セグメンタ２０１のオーバーレイマップジェネレータによって作成された組織クラスオーバーレイマップを示す。図３Ｂは、デジタル組織セグメンタ２０１のオーバーレイマップジェネレータによって作成された細胞外縁オーバーレイマップを示す。オーバーレイマップジェネレータは、デジタルオーバーレイを、スライド画像を覆う透明または不透明の層として表示し、オーバーレイに表示されるスライド場所およびスライド画像がディスプレイ上の同じ場所にあるように位置合わせすることができる。オーバーレイマップの透明度は、様々であり得る。透明度は、ユーザーが調整可能である場合がある。オーバーレイマップジェネレータは、各組織クラスラベルに関連付けられるラベル付きタイルのパーセンテージ、各組織クラスに分類されたタイル数の比率、単一の組織クラスに分類されたすべてのグリッドタイルの総区域、および各組織クラスに分類されたタイルの区域の比率を報告する場合がある。図３Ｃは、別の例に従って、デジタル組織セグメンタによって作成された腫瘍確率オーバーレイヒートマップマップを示す。
【0049】
デジタル組織セグメンタ２０１はまた、ユーザー、スライド全体、単一のグリッドタイルのいずれかによって、各組織クラスの下に分類されたすべてのグリッドタイルまたは免疫細胞として分類される細胞によって、定義された区域に位置する、細胞の総数または細胞のパーセンテージを報告し得る。デジタル組織セグメンタ２０１はまた、腫瘍または任意の他の組織クラスとして分類された区域内に位置する免疫細胞として分類された細胞の数を報告し得る。
【0050】
一例では、デジタル組織セグメンタ２０１は、ＩＨＣ染色によって着色された細胞のパーセンテージを計算して、染色によって標的とされる分子を含む特定の細胞を強調表示することができる。細胞のパーセンテージは、組織クラス領域または細胞型（または細胞オブジェクト）に特有である場合がある。例えば、ＩＨＣ染色がプログラムされたデスリガンド１（ＰＤ－Ｌ１）タンパク質を標的とする場合、デジタル組織セグメンタ２０１は、ＰＤ－Ｌ１タンパク質を含む腫瘍組織クラスにおける癌細胞のパーセンテージを決定し得る。ＩＨＣ染色が分化３（ＣＤ３）タンパク質のクラスターを標的とする場合、デジタル組織セグメンタ２０１は、ＣＤ３を含むリンパ球または全細胞のパーセンテージを決定し得る。他の例では、デジタル組織セグメンタ２０１は、デジタル画像中のＣＤ８、ＣＤ２０、パンサイトケラチン、および／または平滑筋アクチンのパーセンテージを決定し得る。
【0051】
マップジェネレータおよびメトリック計算機２２４はまた、デジタルオーバーレイマップを作成し得、ＩＨＣ染色を含まないスライドのデジタル画像上に予測されたＩＨＣ染色を示す。一例では、組織クラスロケーター２１６は、ＨおよびＥ染色のみを含む入力画像に基づいて、特定の分子のＩＨＣ染色がスライド上のどこに存在するか、または特定のタンパク質を発現する細胞のパーセンテージを予測することができる。
【0052】
デジタル組織セグメンタ２０１によって生成されたデジタルオーバーレイおよび報告は、医療専門家が腫瘍の純度をより正確に推定し、腫瘍を囲む非腫瘍組織領域に突出する腫瘍細胞を有する浸潤性腫瘍を含む、関心のある領域または診断を特定することを支援するために使用され得る。それらはまた、治療を処方する際に医療専門家を支援することができる。例えば、腫瘍として分類された区域のリンパ球の数は、免疫療法が患者の癌の治療に成功するかどうかを予測することができる。
【0053】
デジタル組織セグメンタ２０１によって生成されたデジタルオーバーレイおよび報告を使用して、スライドサンプルが組織の遺伝子配列分析を成功させるのに十分な高品質の組織を有するかどうかを決定することもできる。スライド上の組織の遺伝子配列分析は、スライドに一定量の組織が含まれる場合、および／またはユーザー定義の組織量および腫瘍純度の閾値を超える腫瘍純度値がある場合に成功する可能性がある。一例では、デジタル組織セグメンタ２０１は、スライド上に存在する組織の量およびスライド上の組織の腫瘍純度に応じて、シーケンス分析のために受け入れられた、または拒否されたものとしてスライドをラベル付けすることができる。いくつかの例では、デジタル組織セグメンタ２０１は、腫瘍浸潤リンパ球（ＴＩＬＳ）を決定するように構成される。ＴＩＬＳプロセスおよびエンジンの例は、例えば、２０１９年８月２０日に出願された「Ｄｅｔｅｒｍｉｎｉｎｇ Ｔｈｅｒａｐｅｕｔｉｃ Ｔｕｍｏｒ－Ｉｎｆｉｌｔｒａｔｉｎｇ Ｌｙｍｐｈｏｃｙｔｅｓ（ＴＩＬＳ）ｆｒｏｍ Ｈｉｓｔｏｐａｔｈｏｌｏｇｙ Ｓｌｉｄｅ Ｉｍａｇｅｓ」と題する米国仮特許出願第６２／８８９，５２１号に開示されており、それは参照により、およびその全体がすべての目的のために本明細書に組み込まれる。
【0054】
デジタル組織セグメンタ２０１はまた、スライドを不確実であるとラベル付けして、病理学チームのメンバーである可能性がある訓練された分析者によって手動でレビューされることを推奨し得る。一例では、スライド上に存在する組織の量がユーザー定義の組織量の閾値にほぼ等しいか、またはユーザー定義の範囲内にある場合、デジタル組織セグメンタ２０１は、スライドを不確実としてラベル付けすることができる。一例では、スライド上に存在する組織の腫瘍純度がユーザー定義の腫瘍純度閾値にほぼ等しいか、またはユーザー定義の範囲内にある場合、デジタル組織セグメンタ２０１は、スライドを不確実としてラベル付けすることができる。
【0055】
一例では、オーバーレイマップジェネレータおよびメトリック計算機は、組織によって覆われた総区域を測定することによって、またはスライド上の細胞の数を数えることによって、スライド上の組織の量を計算する。スライド上の細胞の数は、スライド上に見える細胞核の数によって決定され得る。一例では、デジタル組織セグメンタ２０１は、腫瘍とラベル付けされたグリッド区域内の細胞核の数をスライド上の細胞核の総数で割ることによって、癌細胞である組織の割合を計算する。デジタル組織セグメンタ２０１は、腫瘍区域に位置するがリンパ球として特徴付けられる細胞に属する、細胞核または細胞の外縁を除外することができる。癌細胞である組織の割合は、サンプルの腫瘍純度として知られている。いくつかの例では、オーバーレイマップジェネレータおよびメトリック計算機は、例えば、組織全体内ではなく顕微解剖された組織区域内の腫瘍細胞の分率を計算することによって、整列した腫瘍純度を予測するように構成される。本明細書におけるこれらの技術は、病理学者からの腫瘍純度定義の１つまたは複数の定義を組み込んだ他の腫瘍純度モデルに構成され得る。
【0056】
一例では、デジタル組織セグメンタ２０１は、腫瘍純度を、ユーザーが選択した最小腫瘍純度閾値と比較し、デジタル画像内の細胞数を、ユーザーが選択した最小細胞閾値と比較し、両方の閾値を超えた場合にスライドを承認する。一例では、ユーザーが選択した最小腫瘍純度閾値は、０．２０、つまり２０％である。
【0057】
一例では、スライドには、スライド上で検出された組織によって覆われた総区域に第１の乗数値を掛け、スライド上でカウントされた細胞の数に第２の乗数値を掛け、これらの乗算の積を合計する、複合組織量スコアが与えられる。
【0058】
デジタル組織セグメンタ２０１は、腫瘍とラベル付けされたグリッド領域が空間的に統合されているか、または非腫瘍グリッド区域間で分散されているかどうかを計算することができる。デジタル組織セグメンタ２０１が腫瘍区域が空間的に統合されていると判断した場合、デジタル組織セグメンタ２０１は、腫瘍として分類されたスライド領域、および非腫瘍として分類されたスライド領域または非腫瘍として分類された区域内で、腫瘍として分類された区域の近位を分離する、推奨切断境界のデジタルオーバーレイを生成することができる。この推奨切断境界は、特に遺伝子配列分析のために、技術者がスライドを解剖してスライドから最大量の腫瘍または非腫瘍組織を分けることを支援するためのガイドになり得る。
【0059】
デジタル組織セグメンテーション２０１は、タイプ分類された細胞、組織クラス分類されたタイル、またはスライド上の視覚的に検出可能な特徴の間隔および密度に関する情報を計算および報告する、クラスタリングアルゴリズムを含み得る。例えば、これは、クラスタリングアルゴリズムおよびクラスター化するオブジェクトのセットを選択することで実現され得、出力は、定性的な説明または数値のいずれかになり得る。細胞の例示のクラスタリングアルゴリズムは、腫瘍細胞またはリンパ球の中心場所、各細胞グループのサイズ、および各細胞グループの中心間の距離などの、細胞の間隔情報が検出され、このような間隔情報は、さらなる結果関連の分析のために使用される。間隔情報には、免疫細胞、腫瘍細胞、またはその他の細胞の分布パターンおよびヒートマップが含まれる。これらのパターンには、クラスター化、分散、高密度、および存在しないものが含まれる場合がある。この情報は、免疫細胞および腫瘍細胞が一緒にクラスター化するかどうか、ならびにクラスター区域の何パーセンテージが重複するかを判断するのに役立ち、これにより、免疫浸潤および免疫療法に対する患者の反応を予測することが容易になり得る。
【0060】
デジタル組織セグメンタ２０１はまた、平均腫瘍細胞真円度、平均腫瘍細胞周囲長、および平均腫瘍核密度を計算および報告することができる。
【0061】
間隔情報には、腫瘍細胞および免疫細胞の混合レベルも含まれる。クラスタリングアルゴリズムは、所与のスライド上の２つの隣接する細胞が、２つの腫瘍細胞、２つの免疫細胞、または１つの腫瘍細胞および１つの免疫細胞のいずれかになる確率を計算することができる。
【0062】
クラスタリングアルゴリズムはまた、腫瘍として分類された区域の周囲に位置するいくつかの間質パターンの厚さを測定することができる。腫瘍領域を囲むこの間質の厚さは、治療に対する患者の反応の予測因子であり得る。
【0063】
デジタル組織セグメンタ２０１はまた、単一のスライド画像または多くのスライド画像から集約された各グリッドタイル内の以下の情報：赤、緑、青（ＲＧＢ）値、明度、色相、彩度、グレースケール、および染色デコンボリューションについて、平均、標準偏差、合計などを含む統計を計算および報告することができる。デコンボリューションには、ヘマトキシリン、エオシン、またはＩＨＣ染色を含む、いくつかの個々の染色または染色の組み合わせによって作成された視覚信号の除去が含まれる。
【0064】
デジタル組織セグメンタ２０１はまた、物理学および画像分析の分野からの既知の数式を組み込んで、各グリッドタイルの視覚的に検出可能な基本的な特徴を計算することができる。線、交互の明るさのパターン、および輪郭を描くことができる形状を含む視覚的に検出可能な基本的な特徴を組み合わせて、細胞サイズ、細胞の真円度、細胞の形状、およびテクスチャ特徴と呼ばれる染色パターンを含む、視覚的に検出可能な複雑な特徴を作成することができる。
【0065】
デジタル組織セグメンタ２０１によって生成されたデジタルオーバーレイ、報告、統計、および推定値は、患者の生存、腫瘍または免疫クラスターのＰＤ－Ｌ１状態、マイクロサテライト不安定性、ＴＩＬＳ％、および腫瘍の起源が不明または腫瘍が転移性である場合の腫瘍の起源を予測するのに役立ち得る。そのような状態情報のオーバーレイは、いくつかの例では、患者が特定の免疫療法にどれだけうまく反応するかについての例示された推定を提供することができる。オーバーレイ報告は、本質的にどのクラスの治療にも偏っていないため、例えば、細胞ベースの治療、ワクチン治療、およびサイトカイン治療を示すために使用され得る。視覚化された報告は、特定の免疫療法を識別する目的で、組織型、細胞型、ＴＩＬＳ％などをより適切に表示するように調整され得る。例えば、本明細書の技術は、特定の細胞型および腫瘍型の識別に必要な訓練データに適合させることができる。例えば、腫瘍のサブタイプを予測するために様々なモデルを選択することができる（１モデルは、浸潤性乳癌を発症するリスクが高いことに関連する乳癌の腫瘍のサブタイプであるＤＣＩＳを予測することができ、２モデルは、肺癌における扁平上皮癌対腺癌を予測することができる）。別の例は、リンパ球対形質細胞など、リンパ組織内の細胞のサブタイプを予測するようにモデルを調整することができることである。
【0066】
デジタル組織セグメンタ２０１は、腫瘍または別の組織クラスとして指定された区域において、スライド全体上の各タイプの免疫細胞の相対密度を計算することができる。免疫組織クラスには、リンパ球、細胞傷害性Ｔ細胞、Ｂ細胞、ＮＫ細胞、マクロファージなどが含まれる。
【0067】
一例では、組織学スライドをスキャンするか、さもなければデジタルでキャプチャする行為は、デジタル組織セグメンタ２０１を自動的にトリガーして、その組織学スライドのデジタル画像を分析する。
【0068】
一例では、デジタル組織セグメンタ２０１は、ユーザーが、組織クラスオーバーレイマップまたは細胞外縁オーバーレイマップ上の２つの組織クラス間の細胞外縁または境界を編集することを可能にし、変更されたマップを新しいオーバーレイとして保存する。
【0069】
図４は、組織分類およびマッピング分析のために組織学スライドのデジタル画像を準備するための方法のフローチャートである。
【0070】
一例では、デジタル組織セグメンタ２０１によって受信された各デジタル画像ファイルは、同じ画像コンテンツの複数のバージョンを含み、各バージョンは、異なる解像度を有する。ファイルは、これらのコピーをスタック層に記憶し、最大バイト数を含む最高解像度の画像が最下層になるように解像度別に配置する。これは、ピラミッド構造として知られている。一例では、最高解像度の画像は、デジタル画像ファイルを作成したスキャナーまたはカメラによって達成可能な最高解像度である。
【0071】
一例では、各デジタル画像ファイルはまた、各層の解像度を示すメタデータを含む。デジタル組織セグメンタ２０１は、このメタデータ内の各層の解像度を検出し、それをユーザーが選択した解像度基準と比較して、分析に最適な解像度を有する層を選択することができる。一例では、最適な解像度は、１ミクロン当たり１ピクセルである（４でダウンサンプリングされる）。
【0072】
一例では、デジタル組織セグメンタ２０１は、ミクロン当たり４ピクセルの最下層解像度を有するタグ付き画像ファイルフォーマット（ＴＩＦＦ）ファイルを受信する。ミクロン当たり４ピクセルのこの解像度は、「４０倍」の倍率の顕微鏡対物レンズによって達成される解像度に対応する。一例では、スライド上に組織が存在する可能性のある区域は、最大１００，０００×１００，０００ピクセルのサイズである。
【0073】
一例では、ＴＩＦＦファイルには約１０の層があり、各層の解像度は、その下の層の解像度の半分である。高解像度層の解像度が１ミクロン当たり４ピクセルである場合、その上の層の解像度は、１ミクロン当たり２ピクセルになる。上層の１ピクセルで表される区域は、下層の４ピクセルで表される区域のサイズであり、つまり、１つの上層ピクセルによって表される区域の各辺の長さは、１つの下層ピクセルによって表される区域の各辺の長さの２倍になる。
【0074】
各層は、その下の層の２倍のダウンサンプリングである場合がある。ダウンサンプリングは、元の画像よりも低い解像度値で元の画像の新しいバージョンを作成することができる方法である。最近隣、双一次、エルミート、ベル、ミッチェル、バイキュービック、およびランツォス（Ｌａｎｃｚｏｓ）再サンプリングを含む、ダウンサンプリングのための当技術分野で知られている多くの方法がある。
【0075】
一例では、２倍のダウンサンプリングは、高解像度層の正方形にある４つのピクセルのうち３つからの赤、緑、青（ＲＧＢ）の値が、４番目のピクセルからのＲＧＢ値に置き換えられ、４つの平均化されたピクセルと同じスペースを占める、上の層に新しいより大きなピクセルを作成することを意味する。
【0076】
一例では、デジタル画像ファイルは、最適な解像度の層または画像を含まない。この場合、デジタル組織セグメンタ２０１は、最適な解像度よりも高い解像度を有するファイルから画像を受信し、最適な解像度を達成する比率で画像をダウンサンプリングすることができる。
【0077】
一例では、最適な解像度は１ミクロン当たり２ピクセル、つまり「２０倍」の倍率であるが、ＴＩＦＦファイルの最下層は、１ミクロン当たり４ピクセルであり、各層は、その下の層と比較して４倍ダウンサンプリングされる。この場合、ＴＩＦＦファイルには４０倍の倍率の１つの層と、１０倍の倍率の次の層があるが、２０倍の倍率の層はない。この例では、デジタル組織セグメンタ２０１は、メタデータを読み取り、各層の解像度を最適な解像度と比較し、最適な解像度の層を見つけない。代わりに、デジタル組織セグメンタ２０１は、４０倍の倍率の層を検索し、次に、その層の画像を２倍のダウンサンプリング比でダウンサンプリングして、２０倍の倍率の最適な解像度を有する画像を作成する。
【0078】
デジタル組織セグメンタ２０１は、最適な解像度で画像を取得した後、画像を組織検出器２０４に送信し、組織検出器２０４は、腫瘍サンプル組織を描写する画像のすべての部分を見つけ、破片、ペンマーク、および他の非組織オブジェクトをデジタル的に除去する。
【0079】
一例では、組織検出器２０４は、画像の組織領域と非組織領域を区別し、ガウスぼかし除去を使用して、非組織オブジェクトを有するピクセルを編集する。一例では、腫瘍サンプル組織の一部ではないスライド上の任意の対照組織を、組織検出器によって検出して対照組織としてラベル付けするか、または下流のタイルグリッド投影から除外する必要がある対照組織として人間の分析者によって手動でラベル付けすることができる。
【0080】
非組織オブジェクトには、画像内のアーティファクト、マーキング、および破片が含まれる。破片には、ケラチン、視覚的に分析することができないひどく圧縮または粉砕された組織、およびサンプルで収集されなかったオブジェクトが含まれる。
【0081】
一例では、スライド画像は、組織検出器２０４が検出し、デジタル的に削除するマーカーインクまたは他の書き込みを含む。マーカーインクまたは他の書き込みは、組織上で透明である可能性があり、つまり、スライド上の組織がインクを通して見える可能性がある。各マーキングのインクは１色であるため、インクは、インクなしで染色された組織を含むピクセルと比較して、インクの下に染色された組織を含むピクセルのＲＧＢ値に一貫したシフトを引き起こす。
【0082】
一例では、組織検出器２０４は、スライド画像の残りの部分のＲＧＢ値とは異なるＲＧＢ値を有する部分を検出することによって、インクを含むスライド画像の部分を探し、ここで、２つの部分からのＲＧＢ値の差は一貫性がある。次に、組織検出器は、インク部分のピクセルのＲＧＢ値と非インク部分のピクセルとの差をインク部分のピクセルのＲＧＢ値から差し引いて、インクをデジタル的に削除することができる。
【0083】
一例では、組織検出器２０４は、局所変動性が低い画像内のピクセルを排除する。これらのピクセルは、組織スライスの焦点が合っていない、スライドの２つのガラス層の間に気泡が閉じ込められている、またはスライド上のペンマークによって引き起こされるアーティファクト、マーキング、またはぼやけた区域を表す。
【0084】
一例では、組織検出器２０４は、画像をグレースケール画像に変換することによって、これらのピクセルを除去し、グレースケール画像をガウスぼかしフィルタに通して、各ピクセルの元のグレースケール値をぼやけたグレースケール値に数学的に調整して、ぼやけた画像を作成する。他のフィルタを使用して、画像をぼかすことができる。次に、各ピクセルについて、組織検出器２０４は、元のグレースケール値からぼやけたグレースケール値を差し引いて、差分グレースケール値を作成する。一例では、ピクセルの差分グレースケール値がユーザー定義の閾値よりも小さい場合、ブラーフィルタが元のグレースケール値を大幅に変更せず、元の画像のピクセルがぼやけた領域にあったことを示す可能性がある。差分グレースケール値を閾値と比較して、非組織領域として指定することができるぼやけた領域がどこにあるかを示すバイナリマスクを作成することができる。マスクは画像のコピーであり得、ピクセル内の色、ＲＧＢ値、またはその他の値が調整されて、特定のタイプのオブジェクトの有無を示し、そのタイプのすべてのオブジェクトの場所を示す。例えば、バイナリマスクは、ピクセルがユーザー定義のブラー閾値未満の差分グレースケール値を有する場合に、各ピクセルのバイナリ値を０に設定し、ピクセルがユーザー定義のブラー閾値以上の差分グレースケール値を有する場合に、各ピクセルのバイナリ値を１に設定することによって生成され得る。ピクセルバイナリ値が０のバイナリマスクの領域は、非組織として指定される可能性のある元の画像のぼやけた区域を示す。
【0085】
組織検出器２０４はまた、画像内の極端な明るさまたは暗さをミュートまたは除去することができる。一例では、組織検出器２０４は、入力画像をグレースケール画像に変換し、各ピクセルは、ピクセルがどれだけ明るいかに応じて数値を受信する。一例では、グレースケール値の範囲は０～２５５であり、ここで、０は黒を表し、２５５は白を表す。輝度閾値を超えるグレースケール値を持つピクセルでは、組織検出器は、それらのピクセルのグレースケール値を輝度閾値に置き換える。グレースケール値が暗さの閾値を下回るピクセルの場合、組織検出器は、それらのピクセルのグレースケール値を暗さの閾値に置き換える。一例では、輝度閾値は、約２１０である。一例では、暗さの閾値は、約４５である。組織検出器は、新しいグレースケール値を持つ画像をデータファイルに記憶する。
【0086】
一例では、組織検出器２０４は、最初の分析後に残るアーティファクト、破片、またはマーキングについて、変更された画像を分析する。組織検出器は画像をスキャンし、特定の色、サイズ、または滑らかさを持つ残りのピクセルグループを非組織として分類する。
【0087】
一例では、スライドにはＨおよびＥ染色があり、スライド画像のほとんどの組織にはピンクの染色がある。この例では、組織検出器２０４は、オブジェクトを表すピクセルのＲＧＢ値によって決定されるように、ピンクまたは赤の色相のないすべてのオブジェクトを非組織として分類する。組織検出器２０４は、ピクセル内の任意の色または任意の色の欠如を解釈して、そのピクセル内の組織の有無を示すことができる。
【0088】
一例では、組織検出器２０４は、各オブジェクトのサイズおよび滑らかさを測定するために、画像内の各オブジェクトの輪郭を検出する。非常に暗いピクセルは破片である可能性があり、非常に明るいピクセルは背景である可能性があり、どちらも非組織オブジェクトである。したがって、組織検出器２０４は、画像をグレースケールに変換し、各ピクセルのグレースケール値を、明るすぎないまたは暗すぎないユーザーが決定した範囲の値の範囲と比較し、グレースケール値が範囲内にあるかどうかを判断して、各ピクセルに２つの数値のうちのいずれかが割り当てられたバイナリ画像を生成することによって、各オブジェクトの輪郭を検出することができる。
【0089】
例えば、画像を閾値化するために、組織検出器２０４は、各ピクセルのグレースケール値をユーザー定義の範囲の値と比較し、ユーザー定義の範囲外の各グレースケール値を値０に置き換え、およびユーザー定義の範囲内の各グレースケール値を値１に置き換えることができる。次に、組織検出器２０４は、値１を有する隣接するピクセルの各グループの外縁として、すべてのオブジェクトのすべての輪郭を描画する。閉じた輪郭はオブジェクトの存在を示し、組織検出器２０４は、各オブジェクトの輪郭内の区域を測定して、オブジェクトのサイズを測定する。
【0090】
一例では、スライド上の組織オブジェクトがスライドの外縁と接触する可能性は低く、組織検出器２０４は、スライドの縁と接触するすべてのオブジェクトを非組織として分類する。
【0091】
一例では、各オブジェクトのサイズを測定した後、組織検出器２０４は、すべてのオブジェクトのサイズをランク付けし、最大値を最大のオブジェクトのサイズとして指定する。組織検出器２０４は、各オブジェクトのサイズを最大のオブジェクトのサイズで除算し、結果として得られるサイズ商をユーザー定義のサイズ閾値と比較する。オブジェクトのサイズ商がユーザー定義のサイズ閾値よりも小さい場合、組織検出器２０４は、そのオブジェクトを非組織として指定する。一例では、ユーザー定義のサイズ閾値は、０．１である。
【0092】
各オブジェクトのサイズを測定する前に、組織検出器２０４は、最初に入力画像をダウンサンプリングして、組織オブジェクトの一部を非組織として指定する可能性を低減することができる。例えば、単一の組織オブジェクトは、より小さなサイズを有する１つ以上の追加の組織オブジェクト部分で囲まれた第１の組織オブジェクト部分として現れることがある。閾値化後、追加の組織オブジェクト部分は、ユーザー定義のサイズ閾値よりも小さいサイズ商を有する可能性があり、誤って非組織として指定される可能性がある。閾値化の前にダウンサンプリングすると、元の画像の値が０のピクセルで囲まれた値が１の隣接するピクセルの小さなグループが、値が１の近位の大きなピクセルのグループに含まれる。元の画像の値が１のピクセルで囲まれた値が０の隣接するピクセルの小さなグループが、値が０の近位の大きなピクセルのグループに含まれる場合も、逆のことが当てはまり得る。
【0093】
一例では、組織検出器２０４は、４０倍の倍率を有する画像を１６倍の比率でダウンサンプリングするので、結果として得られるダウンサンプリングされた画像の倍率は４０／１６倍であり、ダウンサンプリングされた画像の各ピクセルは、元の画像の１６ピクセルを表す。
【0094】
一例では、組織検出器２０４は、スライド上の各オブジェクトの境界を、オブジェクトの境界を示すゼロに等しいＲＧＢ値を有するピクセルに囲まれたゼロに等しくないバイナリ値またはＲＧＢ値を有するピクセルのクラスターとして検出する。境界を形成するピクセルが比較的直線上にある場合、組織検出器２０４は、オブジェクトを非組織として分類する。例えば、組織検出器２０４は、閉じた多角形で形状の輪郭を描く。ポリゴンの頂点の数がユーザー定義の最小頂点閾値より少ない場合、ポリゴンは、滑らかすぎる単純な無機形状であると見なされ、非組織としてマークされる。
【0095】
図５Ａ、図５Ｂ、および図５Ｃは、組織分類のための組織学スライドのデジタル画像上の例示的なグリッドオーバーレイを示す。図５Ａおよび図５Ｂは、多視野画像タイル入力がどのように見えるかの例を示している。図５Ａは、単一の中央の小さなタイルの予測結果を得るために使用される入力画像である。図５Ｂは、中央の小さなタイルの行列の予測結果を得るための画像の入力である。図５Ａおよび図５Ｂに示されるグリッドオーバーレイは、本明細書で、例えば図６Ａで説明されるように、ＰｈｉＮｅｔアーキテクチャによって実施される画像のタイリングを表している。図５Ａには、単一のタイル（ティール）およびその中央（黄色）が示されている。図５Ｂには、推論のためにＰｈｉＮｅｔアーキテクチャに実際に入力されるものであるタイルのグリッドが示されている。ＰｈｉＮｅｔアーキテクチャは、各タイルを並列に処理し、ここで、小さな黄色の中央の正方形の各々は、可能なクラスごとに確率を受け取る（本明細書で説明されるように合計は１００％になる）。図３Ａは、乳癌モデルの１つの可能な出力オーバーレイマップを示す。表示される可能性のあるモデルの数と同じ数のオーバーレイマップがある。例えば、技術に乳房、結腸直腸、および肺のモデルが含まれる場合、３つのオーバーレイマップを生成することができ、技術はまた、画像にオーバーレイされた単一のクラスのヒートマップ（確率マップ）を表示することができる。
【0096】
画像から非組織ピクセルを除去した後、組織検出器２０４は、組織を表す残りのピクセルの場所を含むデータを記憶する。一例では、場所は、グレースケールマスクである可能性がある残りのピクセルの画像、残りのピクセルを囲むポリゴンの各頂点の場所のリスト、および／または組織ピクセルの場所を示す他の座標として記憶される。
【0097】
組織クラスタイルグリッドプロジェクタ２０８は、組織を表すピクセルの場所を含むデータを受け取り、これらのピクセルの上にタイルグリッドをオーバーレイする。一例では、グリッドは、重なり合わない小さな正方形のタイルで構成される。
【0098】
組織クラスロケーター２１６は、各小さな正方形のタイルで表される画像に組織クラスラベルを割り当てる、組織分類アルゴリズム（図６Ａ～図６Ｃを参照）を含む。一例では、デジタル組織セグメンタ２０１は、各組織クラスが固有の色で表されるグリッドベースのデジタルオーバーレイマップを表示することによって、各小さな正方形のタイルに関連付けられた割り当てられた組織クラスラベルを報告することができる（図３Ａを参照）。
【0099】
タイルサイズが小さいと、組織クラスロケーター２１６が入力画像を分析するのに必要な時間が増加する可能性がある。あるいは、タイルサイズが大きいと、タイルに複数の組織クラスが含まれる可能性が高くなり、単一の組織クラスラベルをタイルに割り当てることが困難になる場合がある。この場合、組織クラスロケーター２１６は、他の組織クラスラベルと比較して、組織クラスラベルのうちの１つが小さな正方形のタイルで画像を記述する確率が高いと計算する代わりに、２つ以上の組織クラスラベルが単一の小さな正方形のタイルに正確に割り当てられる等しい確率を計算することができる。
【0100】
一例では、各小さな正方形のタイルの各辺は、約３２ミクロンの長さであり、約５～１０個の細胞が各小さな正方形のタイルに収まる。この小さなタイルサイズにより、アルゴリズムは、２つの異なる組織クラスを表す２つの隣接する小さな正方形のタイル領域間の境界を決定するときに、より空間的に正確な境界を作成することができる。一例では、小さな正方形のタイルの各辺は、１ミクロンまで短くすることができる。
【0101】
一例では、各タイルのサイズは、特定の数のピクセルを含むようにユーザーによって設定される。この例では、入力画像の解像度によって、ミクロン単位で測定されたタイルの各辺の長さが決まることになる。異なる解像度では、タイル辺のミクロンの長さが異なり、各タイルの細胞の数が異なる場合がある。
【0102】
アルゴリズムは、各小さな正方形のタイル内またはその近くにあるデジタル画像の部分の様々なピクセルデータパターンを認識し、それらの検出されたピクセルデータパターンに基づいて各小さな正方形のタイルに組織クラスラベルを割り当てる。一例では、小さな正方形のタイルを中心とする中程度の正方形のタイルは、その小さな正方形のタイルのラベル割り当てに寄与するのに十分に小さな正方形のタイルに近いスライド画像の区域を含む。
【0103】
一例では、中程度の正方形のタイルの各辺は、約４６６ミクロンの長さであり、各中程度の正方形のタイルには、約２２５（１５×１５）の小さな正方形のタイルが含まれる。一例では、この中程度のタイルサイズは、構造組織の特徴が単一の中程度のタイル内に収まり得る可能性を高め、中央の小さな正方形のタイルにラベルを付けるときにアルゴリズムにコンテキストを提供する。構造組織の特徴には、腺、管、血管、免疫クラスターなどが含まれる場合がある。
【0104】
一例では、この中程度のタイルサイズは、畳み込み中に発生する収縮を打ち消すために選択される。
【0105】
畳み込み中に、入力画像行列にフィルタ行列が乗算されて、結果行列が作成され、収縮とは、結果行列が入力画像行列よりも小さい場合を指す。畳み込み層のフィルタ行列の次元は、収縮によって失われる行および列の数に影響する。特定のＣＮＮを介して画像を処理することによって縮小によって失われる行列エントリの総数は、ＣＮＮの畳み込み層の数および各畳み込み層のフィルタ行列の次元に応じて計算され得る。（図６Ａ～図６Ｃを参照）
【0106】
図６Ｂに示される例では、組み合わせた畳み込み層は、行列の上部、下部、および２つの側縁から合計２１７の行列の行または列を失うので、中程度の正方形タイルは、小さな正方形のタイルに小さな正方形のタイルの両側に２１７のピクセルを加えたものに等しくなるように設定される。
【0107】
一例では、２つの隣接する小さな正方形のタイルが一辺を共有し、各々が中程度の正方形のタイルの中心にある。２つの中程度の正方形のタイルが重なっている。各中程度の正方形のタイルにある４６６＊４６６の小さなピクセルのうち、２つの中程度の正方形のタイルは、３２＊４６６のピクセルを除くすべてを共有する。一例では、アルゴリズムの各畳み込み層（図６Ａおよび図６Ｂを参照）は、アルゴリズムが２つの値のベクトル（２つの小さな正方形のタイルの各々に１つ）を生成するように、両方の中程度の正方形の区域を同時に分析する。
【0108】
値のベクトルには、各組織クラスラベルの確率値が含まれ、それは、小さな正方形のタイルがその組織クラスを表す可能性を示している。値のベクトルは行列に配置され、３次元の確率データ配列を形成する。他のベクトルに対する３次元確率データ配列内の各ベクトルの場所は、アルゴリズム分析に含まれる他の小さな正方形のタイルに対する、関連する小さな正方形のタイルの場所に対応する。
【0109】
この例では、各中程度の正方形のタイルの４６６×４６６（２１７、１５６）ピクセルの４３４×４３４（１８８、３５６）は、両方の中程度の正方形のタイルに共通である。両方の中程度の正方形のタイルを同時に分析することにより、アルゴリズムは効率を高める。
【0110】
一例では、アルゴリズムは、組織クラスラベルを受け取る１つの中央の小さな正方形のタイルを囲む多くの小さな正方形のタイルを各々が含む、複数の重なり合う中程度の正方形のタイルによって形成される大きなタイルを分析することによって、効率をさらに高めることができる。この例では、アルゴリズムは、小さな正方形のタイルごとに確率の１つのベクトルを含む３次元確率データ配列の形式で１つのデータ構造を生成し、３次元配列内のベクトルの場所は、大きなタイル内の小さなタイルの場所に対応する。
【0111】
組織クラスロケーター２１６は、この３次元確率データ配列を保存し、オーバーレイマップジェネレータ２２４は、各小さな正方形タイルの組織クラスラベル確率を組織クラスオーバーレイマップに変換する。一例では、オーバーレイマップジェネレータ２２４は、各ベクトルに記憶された確率を比較して、各小さな正方形のタイルに関連付けられた最大の確率値を決定することができる。その最大値に関連付けられた組織クラスラベルをその小さな正方形のタイルに割り当てることができ、割り当てられたラベルのみが、組織クラスオーバーレイマップに表示されることになる。
【0112】
一例では、大きな正方形のタイルについての組織クラスロケーター２１６の各層によって生成された行列は、グラフィックス処理ユニット（ＧＰＵ）メモリに記憶される。ＧＰＵメモリの容量および３次元確率データ配列の各エントリに必要なＧＰＵメモリの量によって、大きな正方形のタイルの可能な最大サイズが決まり得る。一例では、ＧＰＵメモリ容量は、２５０ＭＢであり、行列の各エントリには、４バイトのＧＰＵメモリが必要である。これにより、４，５３０ピクセル×４，５３０ピクセルの大きなタイルサイズが可能になり、次のように計算される。４バイト／エントリ＊各大きなタイルに４５３０＊４５３０＊３エントリ＝大きな正方形のタイルごとに２４６（約２５０）ＭＢのＧＰＵメモリが必要である。別の例では、行列の各エントリに、８バイトのＧＰＵメモリが必要である。この例では、１６ＧＢのＧＰＵは３２個の大きなタイルを同時に処理することができ、各大きなタイルのサイズは、４，５３０ピクセル×４，５３０ピクセルの寸法を有し、次のように計算される。３２個の大きなタイル＊８バイト／エントリ＊各大きなタイルに４５３０＊４５３０＊３エントリ＝１４．７（約１６）ＧＢのＧＰＵメモリが必要である。
【0113】
一例では、３次元確率データ配列の各エントリは、単精度浮動小数点形式（ｆｌｏａｔ３２）のデータエントリである。
【0114】
一例では、大きな正方形のタイルを形成する、重なり合わない小さな正方形のタイルが、１６，３８４（１２８２）ある。各小さな正方形のタイルは、各約４６６ピクセルの長さの辺を持つ中程度の正方形のタイルの中心である。小さな正方形のタイルは、各約４，０９６ピクセルの長さの辺を持つ大きな正方形のタイルの中央領域を形成する。中程度の正方形のタイルはすべて重なり合い、中央領域の４辺すべての周りに、幅が約２１７ピクセルの境界を作成する。境界を含め、各大きな正方形のタイルには、各約４，５３０ピクセルの長さの辺がある。（図５Ｃを参照）
【0115】
この例では、この大きな正方形のタイルサイズにより、同時計算が可能になり、冗長な計算のパーセンテージが９９％削減される。これは次のように計算することができる。まず、大きな正方形のタイルの内側にあるピクセルを選択する（大きな正方形のタイルの縁から少なくとも４３４ピクセルの任意のピクセル）。このモデルピクセルを中心として、中程度の正方形のタイル（縁当たり４６６ピクセル）のサイズの領域を構築する。次に、この構築された領域の中心にある小さな正方形のタイルの場合、モデルピクセルは、その小さな正方形のタイルの対応する中程度の正方形のタイル内に含まれる。大きな正方形のタイルの中に（４６６／３２）＾２＝約２１７のような小さな正方形のタイルがある。大きな正方形のタイルの内側にないピクセルの場合、この条件を満たす小さな正方形のタイルの数は少なくなる。選択した小さな正方形のタイルと大きな正方形のタイルの縁との間の距離が減少すると、数は直線的に減少し、次に、選択した小さな正方形のタイルとコーナーとの間の距離が減少すると、少数のピクセル（約０．００５％）は、単一の小さな正方形のタイルの分類にのみ貢献する。単一の大きな正方形のタイルで分類を実行するということは、各ピクセルの計算が小さな正方形のタイルごとに１回ではなく、１回だけ実行されることを意味する。したがって、冗長性は、ほぼ２１７分の１に削減される。一例では、スライドにいくつかの大きな正方形のタイルが含まれる可能性があり、各々が隣接するタイルとわずかに重なっている可能性があるため、冗長性は、完全に排除されるわけではない。
【0116】
冗長な計算パーセンテージの上限を設定することができる（この上限からのわずかな偏差は、組織を覆うために必要な大きな正方形のタイルの数と、これらのタイルの相対的な配置によって異なる）。冗長性のパーセンテージは１－１／ｒであり、式中、ｒは冗長性の比率であり、ｒは、（Ｔ／Ｎ＋１）（ｓｑｒｔ（Ｎ）＊Ｅ＋４３４）＾２／（ｓｑｒｔ（Ｔ）＊Ｅ＋４３４）＾２として計算され得、Ｔは、スライド上の小さな正方形のタイルの総数であり、Ｎは、大きな正方形のタイル当たりの小さな正方形のタイルの数であり、Ｅは、小さな正方形のタイルの縁サイズである。
【0117】
【0118】
一例では、組織クラスロケーター２１６は、畳み込みニューラルネットワーク（ＣＮＮ）、ピクセルデータパターンを認識するための訓練セットによって訓練された深層学習アルゴリズムを含む。
【0119】
一例では、組織クラスロケーター２１６は、既知のＣＮＮ ＲｅｓＮｅｔ－１８画像認識モデルに基づくタイル解像度の完全畳み込みネットワーク（ＦＣＮ）ブラックボックス深層学習モデルを含む。一例では、タイル解像度ＦＣＮは、ＰｈｉＮｅｔとして知られるマルチタイルアルゴリズムであり、その層が図６Ａに示される。
【0120】
図６Ｂは、左側のＲｅｓＮｅｔ－１８アルゴリズムと、図６Ａおよび図６Ｂの右半分に示されるタイル解像度ＦＣＮＰｈｉＮｅｔとの違いを示す。ＲｅｓＮｅｔ－１８アルゴリズムと比較して、デジタル組織セグメンタ２０１に含まれるタイル解像度ＦＣＮ ＰｈｉＮｅｔは、スキップ接続で１×１畳み込みの追加層を有し、スキップ接続で８倍のダウンサンプリングおよび信頼マップ層を有し、平均的なプーリング層を連結層に置き換え、完全に接続された（ｆｃＮ）層を１×１の畳み込みおよびソフトマックス層に置き換える。
【0121】
追加層は、分類タスクを分類セグメンテーションタスクに変換する。これは、画像全体を１つの組織クラスラベルとして受信して分類する代わりに、追加層により、タイル解像度ＦＣＮをユーザー定義グリッド内の各小さなタイルを組織クラスとして分類することが可能になることを意味する。
【0122】
これらの追加および置換層は、従来のピクセル解像度ＦＣＮの後の層で実施されるアップサンプリングを必要とせずに、ＣＮＮをタイル解像度ＦＣＮに変換する。アップサンプリングは、元の画像よりも高い解像度値で元の画像の新しいバージョンを作成することができる方法である。アップサンプリングは、時間と計算量の多いプロセスである。
【0123】
最近隣、双一次、エルミート、ベル、ミッチェル、バイキュービック、およびランツォス再サンプリングを含む、アップサンプリングのための当技術分野で既知の多くの方法がある。一例では、２倍のアップサンプリングは、赤、緑、青（ＲＧＢ）の値を持つピクセルが４つのピクセルに分割され、元のピクセルのＲＧＢ値と一致するように、３つの新しいピクセルのＲＧＢ値が選択され得ることを意味する。別の例では、３つの新しいピクセルのＲＧＢ値は、元のピクセルおよび隣接するピクセルに隣接するピクセルからのＲＧＢ値の平均として選択され得る。
【0124】
新しいピクセルのＲＧＢ値は、デジタルスライド画像によってキャプチャされた元のスライドの目に見える組織を正確に反映しない可能性があるため、アップサンプリングは、オーバーレイマップジェネレータ２２４によって生成される最終的な画像オーバーレイマップにエラーを導入する可能性がある。
【0125】
さらに、従来のピクセル解像度ＦＣＮには、各ピクセルにラベルが付けられた訓練データが必要であり、これは、時間がかかりすぎ、各個々のピクセルに組織クラスを識別するのに十分なコンテキスト情報が含まれないため、デジタル組織学スライドから作成することはできない。
【0126】
一例では、個々のピクセルにラベルを付ける代わりに、タイル解像度ＦＣＮは、小さな正方形のタイルでできた大きな正方形のタイルを分析するようにプログラムされ（図５Ｃを参照）、１つの組織クラス分類ラベルが各小さなタイルに描かれた組織クラスと一致する確率を各々が表す値の３Ｄ配列を生成する。
【0127】
当技術分野で知られている畳み込み層は、少なくとも１つの入力画像行列の少なくとも１つのフィルタ行列による乗算を実施する。後の最初の畳み込みでは、入力画像行列は、大きな正方形のタイル入力画像のすべてのピクセルの値を有し、そのピクセルの視覚データを表す（例えば、ＲＧＢの各チャネルの０～２５５の値）。
【0128】
フィルタ行列には、ユーザーが選択した次元があり、ユーザーが選択した、またはＣＮＮモデルの訓練中にバックプロパゲーションによって決定された重み値が含まれる場合がある。一例では、最初の畳み込み層では、フィルタ行列の寸法は、７×７であり、６４個のフィルタがある。フィルタ行列は、ある組織クラスを別の組織クラスから区別することができる、視覚パターンを表す場合がある。
【0129】
ＲＧＢ値が入力画像行列に入力される例では、入力画像行列およびフィルタ行列は、３次元になる。（図６Ｃを参照）
【0130】
各フィルタ行列に各入力画像行列を掛けて、結果行列を生成する。１つの畳み込み層のフィルタによって生成されたすべての結果行列を積み重ねて、行、列、および深さなどの次元を持つ３次元の結果行列を作成することができる。３Ｄ結果行列の最後の次元である深さは、フィルタ行列の数に等しい深さを有する。
【0131】
１つの畳み込み層からの結果行列は、次の畳み込み層の入力画像行列になる。
【0132】
「／ｎ」（ｎは数値）を含む畳み込み層のタイトルは、その層によって生成された結果行列のダウンサンプリング（プーリングとして既知）があることを示す。ｎは、ダウンサンプリングが発生する要因を示す。２倍のダウンサンプリングは、元の結果行列の半分の行および半分の列を持つダウンサンプリングされた結果行列が、結果行列の４つの値の２乗をそれらの値のうちの１つ、またはそれらの値から計算された統計に置き換えることによって作成されることを意味する。例えば、値の最小値、最大値、または平均値が、元の値に置き換わる場合がある。
【0133】
示されるアルゴリズムはまた、スキップ接続を追加する（図６Ａに、青い畳み込み層を連結層に直接的に接続する矢印の付いた黒い線として示される）。左側のスキップ接続には、８倍のダウンサンプリングが含まれ、右側のスキップ接続には、入力画像行列に各々１×１の次元を持つフィルタ行列を乗算する２つの畳み込み層が含まれる。これらの層のフィルタ行列は１×１の次元であるため、紫色の畳み込み層によって作成された結果行列の対応する確率ベクトルには、個々の小さな正方形のタイルのみが寄与する。これらの結果行列は、小さな視野を表す。
【0134】
他のすべての畳み込み層では、フィルタ行列の次元が大きいため、中程度の正方形のタイルの中央にある小さな正方形のタイルを含む各中程度の正方形のタイルのピクセルが、その小さな正方形のタイルに対応する結果行列の確率ベクトルに寄与することができる。これらの結果行列により、小さな正方形のタイルを囲むコンテキストピクセルデータパターンが、各組織クラスのラベルが小さな正方形のタイルに適用される確率に影響を与えることができる。これらの結果行列は、大きな視野を表す。
【0135】
スキップ接続の１×１畳み込み層により、アルゴリズムは、中央の小さな正方形のタイルのピクセルデータパターンを、周囲の中程度の正方形のタイルの残りのピクセルデータパターンよりも多かれ少なかれ重要であると見なすことができる。これは、訓練されたモデルが、連結層の間の中程度のタイルの畳み込み層（図６Ａの中央の列に示される）からの最終結果行列によって乗算される重みと比較して、訓練されたモデルがスキップ接続層（図６Ａの右側に示される）からの最終結果行列によって乗算される重みによって反映される。
【0136】
図６Ａの左側に示されるダウンサンプリングスキップ接続は、深さ６４の結果行列を作成する。５１２個のフィルタ行列を持つ３×３畳み込み層は、深さ５１２の結果行列を作成する。６４個のフィルタ行列を持つ１×１畳み込み層は、深さ６４の結果行列を作成する。これらの３つの結果行列はすべて、同じ数の行および同じ数の列を有する。連結層は、これら３つの結果行列を連結して、３つの連結行列と同じ行数、同じ列数、および深さ６４＋５１２＋６４（６４０）の最終結果行列を形成する。この最終結果行列は、ビュー行列の大小の焦点を組み合わせたものである。
【0137】
最終結果行列は、すべてのエントリに係数を乗算し、各深さに沿って積を合計することにより、２次元に平坦化することができる。各要素は、ユーザーが選択することも、モデル訓練中にバックプロパゲーションによって選択することもできる。平坦化しても、最終結果行列の行および列の数は変更されないが、深さは１に変更される。
【0138】
１×１畳み込み層は、最終結果行列を受け取り、それを１つ以上のフィルタ行列でフィルタ処理する。１×１畳み込み層には、訓練されたアルゴリズムの各組織クラスラベルに関連付けられた１つのフィルタ行列を含めることができる。この畳み込み層は、組織クラスラベルの数に等しい深さを有する３Ｄ結果行列を生成する。各深さは、１つのフィルタ行列に対応し、結果行列の深さに沿って、小さな正方形のタイルごとに確率ベクトルが存在する場合がある。この３Ｄ結果行列は、３次元確率データ配列であり、１×１畳み込み層は、この３Ｄ確率データ配列を記憶する。
【0139】
ソフトマックス層は、各確率ベクトルのすべての値を比較し、最大値に関連付けられた組織クラスを選択して、その組織クラスをその確率ベクトルに関連付けられた小さな正方形のタイルに割り当てることにより、３Ｄ確率データ配列から２次元確率行列を作成することができる。
【0140】
次に、記憶された３次元確率データアレイまたは２Ｄ確率行列を、図６Ａの最終信頼マップ層で組織クラスオーバーレイマップに変換して、組織クラスラベルを各タイルに効率的に割り当てることができる。
【0141】
一例では、収縮を打ち消すために、入力画像行列は、行列の４つの外縁すべてに行および列を追加し、追加された行および列の各値エントリはゼロである。これらの行および列は、パディングと呼ばれる。この場合、訓練データ入力行列は、ゼロに等しい値エントリを持つ同じ数の追加された行および列を有することになる。訓練データ入力行列のパディング行または列の数の違いは、組織クラスロケーター２１６が入力画像に正確にラベルを付けることを引き起こさないフィルタ行列の値をもたらすであろう。
【0142】
図６Ｂに示されるＦＣＮでは、入力画像行列の各側の２１７の合計外側の行または列は、灰色および青色の層のために、スキップ接続の前に収縮のために失われる。小さな正方形のタイルにあるピクセルのみが、緑色の層以降で作成された結果行列に対応するベクトルを有する。
【0143】
一例では、各中程度の正方形のタイルは、各中程度の正方形のタイルに対応する入力画像行列の周りにゼロの値エントリを有する行および列を追加することによってパディングされない。これは、ゼロが、組織クラスロケーター２１６が分析する必要がある隣接する中程度の正方形のタイルからの画像データ値を置き換えることが理由である。この場合、訓練データ入力行列もパディングされない。
【0144】
図６Ｃは、２つの例示的な３次元フィルタ行列によって畳み込まれている例示的な３次元入力画像行列の各深さの視覚化である。
【0145】
入力画像行列に各中程度の正方形のタイルのＲＧＢチャネルが含まれる例では、入力画像行列およびフィルタ行列は、３次元になる。３次元の１つでは、入力画像行列および各フィルタ行列は、赤チャネル用、緑チャネル用、および青チャネル用の３つの深度を有する。
【0146】
入力画像行列の赤のチャネル（第１の深さ）は、第１のフィルタ行列の対応する第１の深さで乗算される。緑のチャネル（第２の深さ）も同様の方法で乗算され、青のチャネル（第３の深さ）と同様に乗算される。次に、赤、緑、および青の積行列が合計されて、３次元結果行列の第１の深さが作成される。これは、各フィルタ行列に対して繰り返され、各フィルタに対応する３次元結果行列の追加の深さを作成する。
【0147】
組織クラスロケーター２１６に含まれるＣＮＮまたはＦＣＮを訓練するために、様々な訓練セットを使用することができる。
【0148】
一例では、訓練セットは、中程度の正方形のタイルのＪＰＥＧ画像を含み得、各々が、１ミクロン当たり約１ピクセルの解像度で組織学スライドの少なくとも５０のデジタル画像から取られた、その中央の小さな正方形のタイルに割り当てられた組織クラスラベルを有する。一例では、人間の分析者は、関連するすべての組織クラスの概要を示してラベルを付けたか、または各組織学スライドの各小さな正方形のタイルを非組織もしくは特定のタイプの細胞としてラベル付けした。組織のクラスには、腫瘍、間質、正常、免疫クラスター、壊死、過形成／異形成、および赤血球が含まれる場合がある。一例では、各中央の小さな正方形のタイルの各辺は、約３２ピクセルの長さである。
【0149】
一例では、訓練セット画像は、入力訓練画像行列に変換され、組織クラスロケーター２１６によって処理されて、組織クラスラベルを各訓練セット画像に割り当てる。組織クラスロケーター２１６が、人間の分析者によって追加された対応する注釈と一致するように訓練画像の検証セットに正確にラベルを付けない場合、深層学習ネットワークの各層の重みは、組織クラスロケーター２１６が訓練画像の検証セットのほとんどに正確にラベルを付けるまでのバックプロパゲーションによる確率的勾配降下によって自動的に調整され得る。
【0150】
一例では、訓練データセットには、複数のクラスがあり、ここで、各クラスは組織クラスを表す。その訓練セットは、デジタルスライド画像のコンテンツを認識して、様々なクラスに分類することができる、特定のハイパーパラメータ（エポック数、学習率など）を使用して固有のモデルを生成する。組織クラスには、腫瘍、間質、免疫クラスター、正常上皮、壊死、過形成／異形成、および赤血球が含まれる場合がある。一例では、各組織クラスに十分な訓練セットがある場合、モデルは、無制限の数の組織クラスを分類することができる。
【0151】
一例では、訓練セット画像は、注釈用のグレースケールマスクに変換され、ここで、マスク画像の異なる値（０～２５５）は異なるクラスを表す。
【0152】
各組織学スライドは、腫瘍の外観を含む視覚的特徴に大きな変化を示す可能性があるため、訓練セットには、分析する可能性のある様々なスライドのモデルをより適切に訓練するために、非常に異なるデジタルスライド画像が含まれる場合がある。
【0153】
訓練セットはまた、癌のタイプに特有のものである場合がある。この場合、特定の訓練セットでデジタル画像を生成したすべての組織学スライドには、同じタイプの癌からの腫瘍サンプルが含まれる。癌のタイプには、乳房、結腸直腸、肺、膵臓、肝臓、胃、皮膚などが含まれ得る。各訓練セットは、癌のタイプに特有の固有のモデルを作成する場合がある。各癌のタイプはまた、当技術分野で知られている癌のサブタイプに分割することができる。
【0154】
一例では、訓練セットは、組織学スライドペアから導出され得る。組織学スライドペアは、各々が組織の１つのスライスを有する２つの組織学スライドを含み、組織の２つのスライスは、腫瘍サンプルにおいて隣接していた。したがって、組織の２つのスライスは、実質的に類似する。ペアのスライドのうちの１つは、ＨおよびＥ染色のみで染色され、ペアのもう１つの別のスライドは、特定の分子ターゲットのＩＨＣ染色で染色される。ペアのスライドでＩＨＣ染色が現れる区域に対応するＨおよびＥ染色スライド上の区域は、特定の分子ターゲットを含むものとして人間の分析者によって注釈が付けられ、組織クラスロケーターは、訓練セットとして注釈付きのＨおよびＥスライドを受け取る。
【0155】
この場合、訓練された組織クラスロケーター２１６は、ＨおよびＥ染色組織のデジタル画像を受信して、所与の分子標的を含み得るタイルを予測し、オーバーレイマップジェネレータ２２４は、どのタイルが所与の分子を含むかを示すオーバーレイマップを生成する。一例では、オーバーレイの解像度は、個々の細胞のレベルにある。
【0156】
１つ以上の訓練セットによって訓練されたモデルによって生成されたオーバーレイは、デジタルスライド画像に注釈を付けて訓練セットのうちの１つに追加するために、人間の分析者によってレビューされ得る。
【0157】
アルゴリズムが検出するピクセルデータパターンは、視覚的に検出可能な特徴を表す場合がある。それらの視覚的に検出可能な特徴のいくつかの例には、色、テクスチャ、細胞サイズ、形状、および空間構成が含まれ得る。
【0158】
例えば、スライドの色は、コンテキスト情報を提供する。スライド上の紫色の区域は、細胞密度が高く、浸潤性腫瘍である可能性が高くなる。腫瘍はまた、線維形成反応において周囲の間質をより線維化させ、通常はピンク色の間質を青灰色に見せる。色の濃さはまた、特定のタイプの個々の細胞を識別するのに役立つ（例えば、リンパ球は、均一に非常に濃い青である）。
【0159】
テクスチャとは、細胞内の染色の分布を指す。ほとんどの腫瘍細胞は、粗く不均一な外観をしており、核内に明るいポケットおよび暗い核小体がある。多くの腫瘍細胞があるズームアウトされた視野は、この大まかな外観になる。多くの非腫瘍組織クラスには、各々特徴的な機能がある。さらに、ある領域に存在する組織クラスのパターンは、その領域に存在する組織または細胞構造のタイプを示すことができる。
【0160】
さらに、細胞サイズはしばしば組織クラスを示す。細胞がスライド上の他の場所の正常細胞より数倍大きい場合、それが腫瘍細胞である可能性が高くなる。
【0161】
個々の細胞の形状、特にそれらがどの程度円形であるかは、それらがどのタイプの細胞であるかを示すことができる。線維芽細胞（間質細胞）は、通常細長くて細いのに対し、リンパ球は、非常に丸い。腫瘍細胞は、より不規則な形をしている場合がある。
【0162】
細胞のグループの編成はまた、組織クラスを示すことができる。多くの場合、正常細胞は、構造化された認識可能なパターンで組織化されるが、腫瘍細胞は、より高密度で無秩序なクラスターで成長する。癌の各タイプおよびサブタイプは、組織の特徴に対する細胞の場所、互いに対する腫瘍細胞の間隔、幾何学的要素の形成などを含む、特定の成長パターンを有する腫瘍を生成する可能性がある。
【0163】
図７は、タイル分類および細胞分類を使用してＨ＆ＥスライドまたはＩＨＣスライドにラベルを付けるための第１の分類モデルの例を示す。示されるように、例示的なモデルオーバーレイは、リンパ球のクラスターを識別するための赤色のタイル、上皮細胞を識別するための緑色のタイル、および腫瘍細胞を識別するための濃い青色のタイルを含み得る。タイル分類は凡例に示されており、ＰｈｉＮｅｔモデルアーキテクチャを使用して生成される。ＵＮｅｔモデルアーキテクチャを使用して生成されたような、例示の細胞分類を示す細胞の凡例が表示される。いくつかの例では、タイルが予測されたタイル分類を有し、そのタイルが分類を有する識別された細胞（すなわち、細胞オブジェクト）に対応する場合、細胞分類は、セグメンタ２０１がタイル分類の代わりにそのタイルに細胞分類を割り当てるようにオーバーライドすることができる。別の例では、例示的なオーバーレイは、リンパ球のクラスターと他の組織に浸潤する個々のリンパ球とを区別するために、リンパ球を赤く着色することによって個々のリンパ球を表すことができる。一例では、腫瘍タイル内で検出された個々のリンパ球は、腫瘍浸潤リンパ球を表し、これは、濃い青色または緑色のタイル内の赤色の点である。
【0164】
一例では、細胞型ロケーター２２０は、各細胞の外縁を検出し、細胞の外縁を含むすべてのピクセルの座標を報告して、細胞外縁オーバーレイマップを作成するための少なくとも１つの細胞輪郭アルゴリズムを含む。（図２Ｂを参照）
【0165】
細胞型タイルグリッドプロジェクタ２１２は、組織学スライドのデジタル画像上にグリッドをオーバーレイすることができる。より小さなタイルサイズは、訓練データセット内のタイルの数を増やすことによって訓練データセットを改善し得、そして人間の分析者が細胞型ロケーター２２０を訓練する前に視覚的に検査することをより容易にし得る。タイルのサイズは、メモリの容量によって決まり得る。
【0166】
細胞型ロケーター２２０は、隣接するピクセル間の色および明るさの変化、ならびに色または明るさが変化する区域の形状を含む、特徴を認識し得る。細胞型ロケーター２２０はまた、検出された各細胞の中心の座標、および単一の検出された細胞を囲む多角形のすべての頂点の座標を報告することができる。細胞型ロケーター２２０は、放射状対称フィルタ、またはラプラシアン（Ｌａｐｌａｃｉａｎ）エッジフィルタまたはソーベル（Ｓｏｂｅｌ）エッジフィルタなどのエッジ検出器を含み得る。一例では、細胞型ロケーター２２０は、３クラスのセマンティックセグメンテーションＦＣＮモデルであるＵＮｅｔモデルである。
【0167】
一例では、ＵＮｅｔは３クラスのモデルであり、つまり、アルゴリズムは、各ピクセルを、すべての細胞の外部の背景、細胞の外縁、または細胞の内部のうちのいずれかに分類することができる。これにより、特に２つ以上の細胞が互いに重なり合う場合に、各個々の細胞のカウントが容易になる。一例では、腫瘍浸潤リンパ球は、腫瘍細胞と重なり合う。ピクセルに細胞の外縁が含まれるかどうかのみをラベル付けする従来の２クラスの細胞輪郭モデルでは、２つ以上の重なり合う細胞の各塊が、１つの細胞としてカウントされる。バイナリ分類（細胞対背景）を備える２クラスのＵＮｅｔモデルは、当技術分野で知られているが、３クラスのＵＮｅｔモデルでは、バイナリではないタイプの分類が可能であり、異なる損失関数を使用して適応させる必要がある。分類された結果は、細胞の外部、細胞の外縁、および細胞の内部を示すために、異なる値の行列として記憶され得る。訓練プロセスは、ＵＮｅｔモデルへの入力として元の画像とマスク画像を一緒にすることによって行われる（例えば、マスクは、０、１２８、および２５５のピクセル値を持つ画像である場合があり、ここで、０は、細胞の外部を表し、１２８は、細胞の外縁を表し、および２５５は、細胞の内部を表す）。
【0168】
一例では、２つのタイルにまたがる細胞が２回カウントされる可能性を回避するために、アルゴリズムは、平均細胞よりわずかに広い各タイルの４つの側面すべての周りにバッファを追加することができる。意図は、各タイルの中央のバッファされていない領域に表示される細胞のみをカウントすることである。この場合、タイルは、隣接するタイルの中央のバッファされていない領域が隣接し、重なり合わないように配置される。隣接するタイルは、それらのそれぞれのバッファ領域で重なり合う。
【0169】
一例では、細胞セグメンテーションアルゴリズムは、２つのＵＮｅｔモデルを含む。１つのＵＮｅｔモデルは、混合された組織クラスの画像パッチで訓練され得、ここで、人間の分析者は、各細胞の境界ポリゴンを強調表示し、組織クラスに従って各細胞を分類した。一例では、訓練データは、すべてのピクセルが細胞の内部、細胞の外縁、またはすべての細胞の外部である背景のいずれかとしてラベル付けされている、デジタルスライド画像を含む。別の例では、訓練データには、細胞の外縁を示すかどうかを示すために、すべてのピクセルに「はい」または「いいえ」のラベルが付けられたデジタルスライド画像が含まれる。ラベルは、対応する画像パッチと同じ形状の２次元行列であり得、ここで、各行列要素は、いくつかの値のうちの１つを取る（値の正確な数は、モデル内の固有のクラスの数によって決まる）。
【0170】
別のＵＮｅｔモデルは、単一の組織クラスの多くの細胞の画像、または１つの組織クラスの細胞のみがバイナリマスクで輪郭を描かれる多様な細胞セットの画像で訓練され得る。一例では、訓練セットは、第１の値を対象の細胞型を示すすべてのピクセルと関連付け、第２の値をすべての背景ピクセルに関連付け、および任意選択的に第３の値を各細胞の境界に沿ったピクセルに関連付けることによってラベル付けされる（２クラスモデルではなく３クラスモデルの場合）。視覚的には、このようにラベル付けされた画像は白黒画像として表示され、対象の組織クラスを示すすべてのピクセルは白になり、他のすべてのピクセルは黒になり、その逆も同様である。（図８を参照）例えば、画像は、ラベルが付けられたリンパ球のみを有し得る。このＵＮｅｔモデルは、その特定の細胞型の外縁を認識し、スライドのデジタル画像内のそのタイプの細胞にラベルを割り当てることができる。
【0171】
一例では、ＵＮｅｔモデルの代わりに非ＵＮｅｔモデルを使用して、第１のＵＮｅｔモデルによって検出された細胞にラベルを付けることができる。この非ＵＮｅｔモデルは、アーキテクチャが異なる別のＣＮＮ、またはランダムフォレストもしくはサポートベクターマシンなどの非深層学習モデルである可能性がある。
【0172】
一例では、細胞型ロケーター２２０によって生成された細胞ラベルは、組織クラスロケーター２１６によって生成された組織領域ラベルによって増強され得る。細胞が検出されたが、細胞型ロケーターによって特定のクラスにラベルが付けられていない場合、その細胞には、それが見つかった組織領域のラベルであるデフォルトのラベルが割り当てられる場合がある。
【0173】
一例では、両方の訓練セットの画像の解像度は、１ミクロン当たり２ピクセルである。
【0174】
説明したようにＰｈｉＮｅｔアーキテクチャを適用する本明細書の技術は、マイクロサテライト不安定性（ＭＳＩ）、コンセンサス分子サブタイプ（ＣＭＳ）、および他の分子バイオマーカーなどの他の指標を予測するためにも使用され得る。分類モデルは、患者の電子健康記録に含まれる可能性のある患者の他の特性など、他の追加情報を使用して、Ｈ＆Ｅスライドからこれらのバイオマーカーを予測するように訓練され得る。訓練されたＰｈｉＮｅｔアーキテクチャを使用して予測され得る他のバイオマーカーには、腫瘍のグレードおよび／またはステージ、腫瘍の起源（ＴＵＯの場合）、組織学的サブタイプ（腺癌および扁平上皮癌など）、細胞ベース、ワクチン、サイトカイン治療法などの他のバイオマーカーが含まれる）。
【0175】
さらに、本明細書に開示される例示的な実施形態が病理医によって調製されたＨ＆Ｅスライドで示される場合、同様のモデルが、ＩＨＣスライドについても生成され得る。例示的なＩＨＣオーバーレイは、細胞内のＰＤ－Ｌ１「存在」の状態に従ってタイルを分類することができる。例示的な実装形態では、図２のセグメンタ２０１のものと同様のデジタル組織セグメンタは、デジタルＰＤ－Ｌ１腫瘍陽性スコア（ＴＰＳ）予測子として構成され得る。一例では、このＰＤ－Ｌ１ ＴＰＳデジタル組織セグメンタは、図２のセグメンタ２０１のように、組織検出器、組織クラスタイルグリッドプロジェクタ、および組織クラスロケーターを含む。組織クラスロケーター２１６の出力は、予測されるＰＤ－Ｌ１ＴＰＳを決定するために、腫瘍＋タイルの数をカウントし、腫瘍タイルの総数（つまり、腫瘍＋タイルと腫瘍－タイルの合計）で割るように構成されたＰＤ－Ｌ１ ＴＰＳメトリック計算機およびオーバーレイマップジェネレータ（セグメンタ２０１の要素２２４を置き換える）に提供され得る。染色されたリンパ球の割合または全体的なマクロファージのパーセンテージなどの、他の量をまた計算することができる。この例のＰＤ－Ｌ１組織分類子は、血液、上皮、リンパ球＋、リンパ球－、マクロファージ＋、壊死、間質、腫瘍＋、腫瘍－を含む、任意の数のクラスを予測するように構成され得、ここで、「＋」は、陽性ＰＤ－Ｌ１発現を示し、「－」は、ＰＤ－Ｌ１発現がないことを示す。このように、いくつかの例では、ＰＤ－Ｌ１予測プロセスは、２つの主要なプロセスを実装するデジタル組織画像セグメンタによって実装され得る。まず、デジタル組織画像セグメンタは、ＩＨＣ画像にオーバーレイされた様々な組織クラスを予測する（つまり、本明細書で説明するＨ＆Ｅ画像を参照して説明したのと同様のプロセスであるが、クラスは異なる）。次に、デジタル組織画像セグメンタは、予測された腫瘍＋タイルの数をカウントし、それを腫瘍タイルの総数（つまり、腫瘍＋を腫瘍－に加えたもの）で割ることにより、ＰＤ－Ｌ１ ＴＰＳを取得する。このようなデジタルＰＤ－Ｌ１腫瘍陽性スコア（ＴＰＳ）予測子によって実施され得る例示のオーバーレイマッピングプロセスを図９に示しており、様々な予測された組織分類を示す。左側には、様々なＩＨＣ画像があり、右側には、ＩＨＣ画像にオーバーレイされた様々な組織分類の予測されたＴＰＳがある。
【0176】
図１０は、本明細書に記載の方法を実施するためのシステム１０００が、コンピューティングデバイス１００２を含み得、より具体的には、１つ以上の処理ユニット１００４（例えば、中央処理ユニット（ＣＰＵ））上、ならびに／またはＣＰＵおよび／もしくはＧＰＵのクラスターを含む１つ以上のグラフィカル処理ユニット（ＧＰＵ）１００６上に実装され得ることを示す。説明される特徴および機能は、コンピューティングデバイスの１つ以上の非一時的なコンピュータ可読媒体１００８に記憶され、それから実装され得る。コンピュータ可読媒体１００８は、例えば、本明細書に示され、かつ説明される方法および処理を実装するデジタル組織画像セグメンタ１０１２を含む、本明細書に記載される方法を実装する、オペレーティングシステム１０１０およびソフトウェアモジュール、または「エンジン」を含み得る。例示のプロセスには、組織検出、組織クラスタイルグリッド投影、細胞型タイルグリッド投影、組織クラスロケーター、細胞型ロケーター、オーバーレイマップジェネレータ、およびメトリック計算プロセスが含まれる。より一般的には、コンピュータ可読媒体１００８は、本明細書の技術を実装するためのエンジンのバッチ正規化プロセス命令を記憶することができる。コンピューティングデバイス１００２は、アマゾンウェブサービス（Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ）クラウドコンピューティングソリューションなどの分散コンピューティングシステムであり得る。コンピューティングデバイス１００２は、１つのネットワークアクセス可能な処理デバイス１０５０上に実装され得るか、または複数のそのようなデバイス１０５０、１０５２、１０５４などに分散され得る。
【0177】
コンピューティングデバイス１００２は、ポータブルパーソナルコンピュータ、スマートフォン、電子文書、タブレット、ならびに／もしくはデスクトップパーソナルコンピュータ、またはオーバーレイマップ、予測されたタイル分類および場所、予測された細胞の分類および場所などを通信するための他のコンピューティングデバイスとの間で通信するために、ネットワーク１０１６に通信可能に結合されたネットワークインターフェース１０１４を含む。そのような情報はまた、データベース１０２４に記憶され得る。コンピューティングデバイス１００２は、例えば、ジェネレータオーバーレイマップを表示するためのデジタルディスプレイ１０２０、ユーザー入力デバイス１０２２などのデバイスに接続されたＩ／Ｏインターフェース１０１８をさらに含む。ダッシュボードジェネレータ１０２６を使用して、ユーザーが生成されたオーバーレイマップ、予測分類などをレビュー、操作、および調整することを可能にするＧＵＩおよび／または他のデジタルディスプレイを生成することができる。
【0178】
エンジンの機能は、通信リンクを介して相互に接続された分散コンピューティングデバイスなどに実装され得る。他の例では、システムの機能は、示されるポータブルパーソナルコンピュータ、スマートフォン、電子文書、タブレット、およびデスクトップパーソナルコンピュータデバイスを含む、任意の数のデバイスに分散され得る。コンピューティングデバイス１００２は、ネットワーク１０１６および別のネットワークに通信可能に結合され得る。ネットワーク１０１６は、インターネットなどのパブリックネットワーク、研究機関もしくは企業のネットワークなどのプライベートネットワーク、またはそれらの任意の組み合わせであり得る。ネットワークには、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、セルラー、衛星、またはワイヤレスか有線かを問わず、その他のネットワークインフラストラクチャが含まれ得る。ネットワークは、インターネットプロトコル（ＩＰ）、伝送制御プロトコル（ＴＣＰ）、ユーザーデータグラムプロトコル（ＵＤＰ）、または他のタイプのプロトコルなどのパケットベースおよび／またはデータグラムベースのプロトコルを含む通信プロトコルを利用することができる。さらに、ネットワークは、例えば、スイッチ、ルーター、ゲートウェイ、アクセスポイント（示されるようなワイヤレスアクセスポイントなど）、ファイアウォール、基地局、リピーター、バックボーンデバイスなどのネットワーク通信を容易にし、および／またはネットワークのハードウェア基盤を形成する、多くのデバイスを含むことができる。
【0179】
コンピュータ可読媒体１００８は、本明細書の技術にコンピュータ（例えば、プロセッサ（複数可）およびＧＰＵ（複数可）を含む）をプログラミングするために、その上に記憶された実行可能なコンピュータ可読コードを含み得る。このようなコンピュータ可読記憶媒体の例には、ハードディスク、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、光記憶デバイス、磁気記憶デバイス、ＲＯＭ（読み取り専用メモリ）（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（プログラム可能な読み取り専用メモリ）（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（消去可能なプログラム可能な読み取り専用メモリ）（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（電気的消去可能なプログラム可能な読み取り専用メモリ）（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびフラッシュメモリが挙げられる。より一般的には、コンピューティングデバイスの処理ユニットは、ＣＰＵタイプの処理ユニット、ＧＰＵタイプの処理ユニット、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、別のクラスのデジタルシグナルプロセッサ（ＤＳＰ）、またはＣＰＵで駆動することができる他のハードウェアロジックコンポーネントを表すことができる。
【0180】
本明細書を通して、複数の事例は、単一の事例として記載された構成要素、動作、または構造を実装することができる。１つ以上の方法の個々の動作が別個の動作として例示および記載されるが、個々の動作のうちの１つ以上が同時に実行されてもよく、例示された順序で動作が実行される必要はない。例示的な構成内で別個の構成要素として提示された構造および機能は、組み合わされた構造または構成要素として実装されてもよい。同様に、単一構成要素として提示された構造および機能は、別個の構成要素または複数の構成要素として実装されてもよい。これらのおよび他の変形、変更、追加、および改善は、本明細書の主題の範囲内に含まれる。
【0181】
さらに、特定の実施形態は、ロジックまたは多数のルーチン、サブルーチン、アプリケーション、もしくは命令を含むものとして本明細書に記載される。これらはソフトウェア（例えば、機械可読媒体上または伝送信号中にて具現化されるコード）またはハードウェアのいずれかを構成することができる。ハードウェアでは、ルーチンなどは、特定の動作を実行することができる有形の単位であり、特定の方法で構成もしくは配置されることができる。例示的な実施形態では、１つ以上のコンピュータシステム（例えば、スタンドアローン、クライアント、もしくはサーバコンピュータシステム）、またはコンピュータシステムの１つ以上のハードウェアモジュール（例えば、プロセッサまたはプロセッサ群）は、ソフトウェア（例えば、アプリケーションまたはアプリケーションの一部）によって、本明細書に記載の特定の動作を実行するように動作するハードウェアモジュールとして構成されることができる。
【0182】
様々な実施形態では、ハードウェアモジュールは、機械的にまたは電子的に実装されることができる。例えば、ハードウェアモジュールは、特定の動作を実行するために、恒久的に構成された専用の回路またはロジック（例えば、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）などの特殊用途向けのプロセッサ）を含むことができる。ハードウェアモジュールはまた、特定の動作を実施するために、ソフトウェアによって一時的に構成されるプログラム可能なロジックまたは回路（例えば、プロセッサまたは他のプログラム可能なプロセッサ内に包含されるもの）を含むことができる。ハードウェアモジュールを機械的に実装するのか、専用かつ恒久的に構成された回路で実装するのか、または一時的に構成された回路で（例えばソフトウェアにより構成される）実装するのかどうかについては、コストおよび時間を考慮して決定されることができることが理解されよう。
【0183】
したがって、「ハードウェアモジュール」という用語は、有形エンティティを包含すると理解されるべきであり、ある特定の方法で動作するように、または本明細書に記載のある特定の動作を実行するように物理的に構築されるか、恒久的に構成される（例えば、ハードウェアに組み込まれる）か、または一時的に構成される（例えば、プログラムされる）エンティティということである。ハードウェアモジュールが一時的に構成される（例えば、プログラムされる）実施形態を考慮すると、ハードウェアモジュールの各々は、どの時点のインスタンスにおいても構成またはインスタンス化される必要はない。例えば、ハードウェアモジュールが、ソフトウェアを使用して構成されたプロセッサを含む場合には、プロセッサは、異なる時点においてそれぞれ異なるハードウェアモジュールとして構成され得る。したがって、ソフトウェアは、例えば、ある時点では特定のハードウェアモジュールを構成し、別の時点では別のハードウェアモジュールを構成するように、プロセッサを構成してもよい。
【0184】
ハードウェアモジュールは、他のハードウェアモジュールに情報を提供し、他のハードウェアモジュールから情報を受信することができる。したがって、記載されたハードウェアモジュールは、通信可能に結合されているとみなすことができる。複数のそのようなハードウェアモジュールが同時に存在する場合、通信は、ハードウェアモジュールを接続する信号伝送を介して（例えば、適切な回路およびバスを介して）達成されることができる。複数のハードウェアモジュールが異なる時間に構成またはインスタンス化される実施形態では、そのようなハードウェアモジュール間の通信は、例えば、複数のハードウェアモジュールがアクセスするメモリ構造内の情報の記憶および検索を介して達成されることができる。例えば、あるハードウェアモジュールは、動作を実行し、その動作の出力を当該ハードウェアモジュールが通信可能に結合しるメモリデバイスに記憶することができる。次いで、さらなるハードウェアモジュールが後にメモリデバイスにアクセスして、記憶された出力を検索して処理することができる。ハードウェアモジュールはまた、入力または出力デバイスとの通信を開始して、リソース（例えば、情報の収集）に対して動作することができる。
【0185】
本明細書に記載の例示的方法の様々な動作は、少なくとも部分的には、関連する動作を実行するように一時的に（例えば、ソフトウェアにより）構成されるか、または恒久的に構成される１つ以上のプロセッサによって実行されることができる。一時的に構成されるか、または恒久的に構成されるかにかかわらず、そのようなプロセッサは、１つ以上の動作または機能を実行するように動作するプロセッサ実装モジュールを構成することができる。本明細書において言及されるモジュールは、いくつかの例示的な実施形態においては、プロセッサ実装モジュールを含むことができる。
【0186】
同様に、本明細書に記載の方法またはルーチンは、少なくとも部分的にはプロセッサ実装型であり得る。例えば、ある方法の動作のうちの少なくとも一部は、１つ以上のプロセッサまたはプロセッサ実装ハードウェアモジュールによって実行されることができる。動作の一定の性能は、単一のマシン内に存在するのみならず、いくつかのマシンにわたって配備された１つ以上のプロセッサの間でも分散されることができる。いくつかの例示的な実施形態では、１つ以上のプロセッサは、（例えば、家庭環境内の、職場環境内の、またはサーバファームとして）単一の場所に位置することができるが、他の実施形態では、プロセッサは、多数の場所にわたって分散されてもよい。
【0187】
動作の一定の性能は、単一のマシン内に存在するのみならず、いくつかのマシンにわたって配備された１つ以上のプロセッサの間でも分散されることができる。いくつかの例示的な実施形態では、１つ以上のプロセッサまたはプロセッサ実装モジュールは、（例えば、家庭環境内の、職場環境内の、またはサーバファームとして）単一の場所に位置することができる。他の例示的な実施形態では、１つ以上のプロセッサまたはプロセッサ実装モジュールは、多数の場所にわたって分散されてもよい。
【0188】
特に指示しない限り、「ｐｒｏｃｅｓｓｉｎｇ」（処理する）、「ｃｏｍｐｕｔｉｎｇ」（処理／演算する）、「ｃａｌｃｕｌａｔｉｎｇ」（演算する）、「ｄｅｔｅｒｍｉｎｉｎｇ」（判定する）、「ｐｒｅｓｅｎｔｉｎｇ」（提示する）、「ｄｉｓｐｌａｙｉｎｇ」（表示する）などの言葉を使用する本明細書における考察は、１つ以上のメモリ（例えば、揮発性メモリ、不揮発性メモリ、もしくはこれらの組み合わせ）、レジスタ、または情報を受信、記憶、送信、もしくは表示する他のマシンコンポーネント内の物理的（例えば、電子的、磁気的、もしくは光学的）な量として表現されるデータを操作もしくは変換するマシン（例えば、コンピュータ）の動作または処理を意味し得る。
【0189】
本明細書に使用される際、「一実施形態」または「実施形態」に対する任意の言及は、実施形態と併せて説明された特定の要素、特徴、構造または特性が、少なくとも１つの実施形態に含められることを意味する。本明細書の様々な場所の「一実施形態では」という語句の出現は、必ずしもすべてが同一の実施形態を参照しているとは限らない。
【0190】
いくつかの実施形態は、「結合された」および「接続された」という表現をそれらの派生語とともに使用して説明されることができる。例えば、いくつかの実施形態は、２つ以上の要素が物理的または電気的に直接接触していることを示すために「結合された」という用語を使用して説明されることができる。しかしながら、「結合された」という用語は、２つ以上の要素は互いに直接接触しないが、それでも互いに協働または相互作用することも意味することができる。実施形態は、この文脈に限定されるものではない。
【0191】
本明細書に使用される際、「備える（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ、ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｓ、ｈａｖｉｎｇ）」という用語、またはそれらの任意の他の変形は、非排他的な包含を網羅することを意図する。例えば、要素のリストを含むプロセス、方法、物品、または装置は、必ずしもそれらの要素のみに限定されるものではなく、明示的に列挙されないか、またはかかるプロセス、方法、物品もしくは装置に固有の他の要素を含むことができる。さらに、明白に特段の記載がない限り、「または」は、排他的なまたはではなく、包括的なまたはであることを意味する。例えば、条件ＡまたはＢは、Ａが真（または存在）かつＢが偽（または存在しない）、Ａが偽（または存在しない）かつＢが真（または存在する）、ならびにＡおよびＢの双方が真である（または存在する）のうちのいずれか１つによって満たされる。
【0192】
加えて、「ａ」または「ａｎ」の使用は、本明細書の実施形態の要素および構成要素を説明するために用いられる。これは、単に便宜上、かつ説明の一般的な意味を与えるために行われる。この説明は、１つまたは少なくとも１つを含むように読み取られるべきであり、また単数は、そうでないことが意味されることが明白でない限り、複数を含む。
【0193】
この詳細な説明は、単に一例として解釈されるべきであり、すべての可能な実施形態を説明することは、不可能ではない場合でも非現実的であるので、すべての可能な実施形態を説明するものではない。現在の技術または本特許出願の出願日後に開発された技術のいずれかを使用して、多くの代替の実施形態を実装することができる。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9】
【図10】
【国際調査報告】