特開 2024-161519 リペルコーディングを使用して学習された細胞局在化および分類のための機械学習モデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024161519

(43)【公開日】2024-11-19

(54)【発明の名称】リペルコーディングを使用して学習された細胞局在化および分類のための機械学習モデル

(51)【国際特許分類】

   G06V 10/82 20220101AFI20241112BHJP

   G06T 7/00 20170101ALI20241112BHJP

   G06V 10/764 20220101ALI20241112BHJP

【ＦＩ】

G06V10/82

G06T7/00 630

G06T7/00 350C

G06V10/764

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024137511

(22)【出願日】2024-08-19

(62)【分割の表示】P 2023509709の分割

【原出願日】2021-08-12

(31)【優先権主張番号】63/065,268

(32)【優先日】2020-08-13

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】507179346

【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100161908

【弁理士】

【氏名又は名称】藤木 依子

(72)【発明者】

【氏名】マーティン，ジム・エフ

(72)【発明者】

【氏名】ムカジー，サタルパ

(72)【発明者】

【氏名】ニエ，ヤオ

(57)【要約】

【課題】デジタル病理画像の一部または全部を検出、特徴付け、または分類するために機械学習モデルを効果的に訓練する。
【解決手段】本開示の態様は、生物学的試料の画像にアクセスすることであって、画像が、バイオマーカーの染色パターンを含む細胞を表示する、画像にアクセスすることと、画像を機械学習モデルに入力することと、機械学習モデルによって、画像を、抽出された識別特徴を含む特徴表現に符号化することと、機械学習モデルによって、細胞の特徴および空間情報と、バイオマーカーの染色パターンとを、アップコンボリューションのシーケンスおよび特徴表現からの抽出された識別特徴を有する連結を介して、組み合わせることと、機械学習モデルによって、組み合わされた細胞の特徴および空間情報とバイオマーカーの染色パターンとに基づいて、画像内のバイオマーカーについての２つ以上のセグメンテーションマスクを生成することと、に関する。
【選択図】図６

【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、
生物学的試料についての画像にアクセスすることであって、前記画像が、バイオマーカーの染色パターンを含む細胞を表示する、画像にアクセスすることと、
前記画像を機械学習モデルに入力することであって、
前記機械学習モデルが、エンコーダおよびデコーダを含む畳み込みニューラルネットワークを含み、
前記エンコーダの１つ以上の層がスキップ接続を有する残余ブロックを含み、
前記機械学習モデルのパラメータが、訓練画像および前記訓練画像内の各バイオマーカーについてのラベルマスクから学習されたものであり、
前記ラベルマスクが、前記バイオマーカーのそれぞれのラベルと組み合わせてリペルコーディングを使用して生成された、
前記画像を機械学習モデルに入力することと、
前記機械学習モデルによって、前記画像を、抽出された識別特徴を含む特徴表現に符号化することと、
前記機械学習モデルによって、前記細胞の特徴および空間情報と、前記バイオマーカーの前記染色パターンとを、アップコンボリューションのシーケンスおよび前記特徴表現からの前記抽出された識別特徴を有する連結を介して、組み合わせることと、
前記機械学習モデルによって、組み合わされた前記細胞の前記特徴および空間情報と、前記バイオマーカーの前記染色パターンとに基づいて、前記画像内の前記バイオマーカーについての２つ以上のセグメンテーションマスクを生成することであって、前記２つ以上のセグメンテーションマスクが、前記バイオマーカーを発現している細胞についての陽性セグメンテーションマスクと、前記バイオマーカーを発現していない細胞についての陰性セグメンテーションマスクとを含む、２つ以上のセグメンテーションマスクを生成することと
を含む、方法。

【請求項2】

前記画像上に前記２つ以上のセグメンテーションマスクを重ね合わせてインスタンスセグメント化画像を生成することと、
前記インスタンスセグメント化画像を出力することと
をさらに含む、請求項１に記載の方法。

【請求項3】

ユーザによって、前記生物学的試料に関連付けられた被験者の診断を決定することをさらに含み、前記診断が、（ｉ）前記インスタンスセグメント化画像内で前記バイオマーカーを発現している前記細胞、および／または（ｉｉ）前記インスタンスセグメント化画像内で前記バイオマーカーを発現していない前記細胞、に基づいて決定される、請求項２に記載の方法。

【請求項4】

前記ユーザによって、（ｉ）前記インスタンスセグメント化画像内で前記バイオマーカーを発現している前記細胞、（ｉｉ）前記インスタンスセグメント化画像内で前記バイオマーカーを発現していない前記細胞、および／または（ｉｉｉ）前記被験者の前記診断、に基づいて、前記被験者に処置を施すことをさらに含む、請求項３に記載の方法。

【請求項5】

前記画像が、バイオマーカーおよび別のバイオマーカーの染色パターンを含む細胞を表示し、
前記機械学習モデルが、前記画像内の前記別のバイオマーカーについての２つ以上のセグメンテーションマスクを生成し、
前記別のバイオマーカーについての前記２つ以上のセグメンテーションマスクが、前記別のバイオマーカーを発現している細胞についての陽性セグメンテーションマスクと、前
記別のバイオマーカーを発現していない細胞についての陰性セグメンテーションマスクとを含む、請求項４に記載の方法。

【請求項6】

前記バイオマーカーおよび前記別のバイオマーカーのそれぞれの前記２つ以上のセグメンテーションマスクを前記画像上に重ね合わせてインスタンスセグメント化画像を生成することと、
前記インスタンスセグメント化画像を出力することと
をさらに含む、請求項５に記載の方法。

【請求項7】

前記ラベルマスクを生成することが、（ｉ）前記リペルコーディングを使用して各訓練画像内の細胞をコーディングすることであって、前記コーディングが細胞中心および前記細胞中心から離れた応答減衰によって表される周囲を含む、各訓練画像内の細胞をコーディングすることと、（ｉｉ）前記コーディングおよび前記バイオマーカーのそれぞれの前記ラベルに基づいて、前記画像内の前記バイオマーカーのそれぞれの２つ以上のラベルマスクを生成することと、を含む、請求項１に記載の方法。

【請求項8】

前記細胞の前記特徴および空間情報と前記バイオマーカーの前記染色パターンとを組み合わせることが、前記抽出された識別特徴を画素空間に投影することと、各画素空間を分類することと、を含み、前記分類することが、前記バイオマーカーの前記染色パターンに基づく前記細胞の細胞検出および分類を含む、請求項１に記載の方法。

【請求項9】

システムであって、
１つ以上のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに請求項１から８のいずれか一項に記載の方法のステップのいずれかを実行させる、非一時的コンピュータ可読記憶媒体と
を備える、システム。

【請求項10】

１つ以上のデータプロセッサに請求項１から８のいずれか一項に記載の方法のステップのいずれかを実行させるように構成された命令を含む、非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品。

【請求項11】

コンピュータ実装方法であって、
生物学的試料についての画像にアクセスすることであって、前記画像が、バイオマーカーの染色パターンを含む細胞を表示し、前記細胞が、（ｉ）細胞中心、および（ｉｉ）前記バイオマーカーの発現、を含む情報を提供するラベルによって注釈付けされる、画像にアクセスすることと、
前記画像のそれぞれについて２つ以上のリペルコーディングマスクを生成することであって、前記生成することが、（ｉ）リペルコーディングアルゴリズムを使用して画像内の前記細胞をコーディングすることであって、前記コーディングの出力が、前記細胞中心および前記細胞中心から離れた応答減衰によって表される周囲を含む初期細胞局在マスクである、画像内の前記細胞をコーディングすることと、（ｉｉ）前記バイオマーカーの前記発現に基づいて、前記ラベルを使用して前記初期細胞局在マスクをセグメント化して、前記細胞の各インスタンスを分類することと、（ｉｉｉ）前記セグメント化および前記細胞のインスタンスの分類に基づいて、前記初期細胞局在マスクを前記２つ以上のリペルコーディングマスクに分割することと、を含む、２つ以上のリペルコーディングマスクを生成することと、
前記２つ以上のリペルコーディングマスクを用いて前記画像のそれぞれをラベリングして、訓練画像のセットを生成することと、
前記訓練画像のセットに対して機械学習アルゴリズムを訓練して、機械学習モデルを生成することであって、前記訓練が、目的関数を最大化または最小化する細胞をセグメント化および分類するためのパラメータのセットを学習するための反復動作を実行することを含み、各反復が、前記パラメータのセットを使用する前記目的関数の値が前の反復における別のパラメータのセットを使用する前記目的関数の値よりも大きくまたは小さくなるような、前記機械学習アルゴリズムの前記パラメータのセットを見つけることを含み、前記目的関数が、前記機械学習アルゴリズムを使用して予測されたセグメンテーションマスクと前記画像についての前記２つ以上のリペルコーディングマスクとの間の差を測定するように構成される、前記訓練画像のセットに対して機械学習アルゴリズムを訓練して、機械学習モデルを生成することと、
前記機械学習モデルを提供することと
を含む、方法。

【請求項12】

前記２つ以上のリペルコーディングマスクが、前記バイオマーカーを発現している細胞についての陽性マスクおよび前記バイオマーカーを発現していない細胞についての陰性マスクを含む、請求項１１に記載の方法。

【請求項13】

訓練された前記機械学習モデルが、エンコーダおよびデコーダを含む畳み込みニューラルネットワークを含み、前記エンコーダの１つ以上の層が、スキップ接続を有する残差ブロックを含む、請求項１１に記載の方法。

【請求項14】

前記画像が、所定のサイズの画像パッチである、請求項１１に記載の方法。

【請求項15】

前記２つ以上のリペルコーディングマスクを前記所定のサイズのマスクパッチに分割することと、前記画像パッチのそれぞれを前記マスクパッチでラベリングして訓練画像のセットを生成することと、をさらに含む、請求項１４に記載の方法。

【請求項16】

システムであって、
１つ以上のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに請求項１１から１５のいずれか一項に記載の方法のステップのいずれかを実行させる、非一時的コンピュータ可読記憶媒体と
を備える、システム。

【請求項17】

１つ以上のデータプロセッサに請求項１１から１５のいずれか一項に記載の方法のステップのいずれかを実行させるように構成された命令を含む、非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年８月１３日に出願された米国仮特許出願第６３／０６５，２６８号の利益および優先権を主張し、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。

【0002】

分野
本開示は、デジタル病理、特に、デジタル病理画像の一部または全部を自動的に検出、特徴付けおよび／または分類するために機械学習モデルを効果的に訓練するためにリペルコーディングを使用するための技術に関する。

【背景技術】

【0003】

背景
デジタル病理学は、スライド（例えば、組織病理学または細胞病理学ガラススライド）をコンピュータ画面上で解釈可能なデジタル画像にスキャンすることを含む。デジタル画像内の組織および／または細胞は、その後、疾患の診断、治療に対する応答の評価、および疾患と戦うための薬剤の開発を含む様々な理由のために、デジタル病理画像分析によって検査され、および／または病理学者によって解釈されることができる。デジタル画像内の組織および／または細胞（実質的に透明である）を検査するために、病理スライドは、組織および／または細胞成分に選択的に結合する様々な染色アッセイ（例えば、免疫組織化学）を使用して調製されることができる。免疫蛍光（ＩＦ）は、抗原に対する蛍光色素に結合するアッセイを分析するための技術である。様々な波長に応答する複数のアッセイが同じスライドで利用されることができる。これらの多重化ＩＦスライドは、腫瘍微小環境の免疫状況の複雑性および不均一性、ならびに免疫療法に対する腫瘍の応答に対する潜在的な影響の理解を可能にする。いくつかのアッセイでは、組織中の染色剤に対する標的抗原は、バイオマーカーと呼ばれることがある。その後、染色された組織および／または細胞のデジタル画像に対してデジタル病理画像分析を実施して、生体組織中の抗原（例えば、腫瘍細胞などの様々な細胞を示すバイオマーカー）に対する染色を識別および定量することができる。

【0004】

機械学習技術は、細胞検出、計数、局在化、分類、および患者の予後などのデジタル病理画像分析において大きな将来性を示している。畳み込みニューラルネットワーク（ＣＮＮ）を含む機械学習技術を備えた多くのコンピューティングシステムが、細胞検出および分類などの画像分類およびデジタル病理画像分析のために提案されている。例えば、ＣＮＮは、隠れ層として一連の畳み込み層を有することができ、このネットワーク構造は、オブジェクト／画像分類およびデジタル病理画像分析のための表現特徴の抽出を可能にする。オブジェクト／画像分類に加えて、画像セグメンテーションのために機械学習技術も実装されている。画像セグメンテーションは、デジタル画像を複数のセグメント（画像オブジェクトとしても知られる画素のセット）に分割するプロセスである。セグメンテーションの目的は、画像の表現をより意味があり、より分析しやすいものに単純化および／または変更することである。例えば、画像セグメンテーションは、典型的には、画像内の細胞および境界（線、曲線など）などのオブジェクトを見つけるために使用される。大きなデータ（例えば、全スライド病理画像）のための画像セグメンテーションを実行するために、画像は最初に多くの小さなパッチに分割される。機械学習技術を備えたコンピューティングシステムは、これらのパッチを分類するように訓練され、同じクラス内の全てのパッチは、１つのセグメント化された領域に結合される。その後、機械学習技術がさらに実装
されて、セグメント化された領域に関連付けられた表現特徴に基づいて、セグメント化された領域（例えば、所与のバイオマーカーについての陽性細胞、所与のバイオマーカーについての陰性細胞、または染色発現を有しない細胞）を予測またはさらに分類することができる。

【発明の概要】

【0005】

概要
デジタル病理画像の一部または全部を自動的に検出、特徴付け、および／または分類するために機械学習モデルを効果的に訓練するためにリペルコーディングを使用するための方法、システム、およびコンピュータ可読記憶媒体が開示される。

【0006】

方法、システム、およびコンピュータ可読記憶媒体は、様々な方法で具現化されることができる。

【0007】

様々な実施形態では、コンピュータ実装方法は、生物学的試料についての画像にアクセスすることであって、画像が、バイオマーカーの染色パターンを含む細胞を表示する、画像にアクセスすることと、画像を機械学習モデルに入力することであって、機械学習モデルが、エンコーダおよびデコーダを含む畳み込みニューラルネットワークを含み、エンコーダの１つ以上の層が、スキップ接続を有する残余ブロックを含み、機械学習モデルのパラメータが、訓練画像および訓練画像内の各バイオマーカーについてのラベルマスクから学習されたものであり、ラベルマスクが、バイオマーカーのそれぞれのラベルと組み合わせてリペルコーディングを使用して生成された、画像を機械学習モデルに入力することと、機械学習モデルによって、画像を、抽出された識別特徴を含む特徴表現に符号化することと、機械学習モデルによって、細胞の特徴および空間情報と、バイオマーカーの染色パターンとを、アップコンボリューションのシーケンスおよび特徴表現からの抽出された識別特徴を有する連結を介して、組み合わせることと、機械学習モデルによって、組み合わされた細胞の特徴および空間情報と、バイオマーカーの染色パターンとに基づいて、画像内のバイオマーカーについての２つ以上のセグメンテーションマスクを生成することであって、２つ以上のセグメンテーションマスクが、バイオマーカーを発現している細胞についての陽性セグメンテーションマスクと、バイオマーカーを発現していない細胞についての陰性セグメンテーションマスクとを含む、２つ以上のセグメンテーションマスクを生成することと、を含む。

【0008】

いくつかの実施形態では、本方法は、インスタンスセグメント化画像を生成するために、画像上に２つ以上のセグメンテーションマスクを重ね合わせることと、インスタンスセグメント化画像を出力することと、をさらに含む。

【0009】

いくつかの実施形態では、本方法は、ユーザによって、生物学的試料に関連付けられた被験者の診断を決定することであって、診断が、（ｉ）インスタンスセグメント化画像内でバイオマーカーを発現している細胞、および／または（ｉｉ）インスタンスセグメント化画像内でバイオマーカーを発現していない細胞、に基づいて決定される、被験者の診断を決定することをさらに含む。

【0010】

いくつかの実施形態では、本方法は、（ｉ）インスタンスセグメント化画像内でバイオマーカーを発現した細胞、（ｉｉ）インスタンスセグメント化画像内でバイオマーカーを発現していない細胞、および／または（ｉｉｉ）被験者の診断、に基づいて、ユーザによって処置を被験者に施すことをさらに含む。

【0011】

いくつかの実施形態では、画像は、バイオマーカーおよび別のバイオマーカーの染色パターンを含む細胞を表示し、機械学習モデルは、画像内の別のバイオマーカーについての
２つ以上のセグメンテーションマスクを生成し、別のバイオマーカーについての２つ以上のセグメンテーションマスクは、別のバイオマーカーを発現している細胞についての陽性セグメンテーションマスクおよび別のバイオマーカーを発現していない細胞についての陰性セグメンテーションマスクを含む。

【0012】

いくつかの実施形態では、本方法は、バイオマーカーおよび別のバイオマーカーのそれぞれの２つ以上のセグメンテーションマスクを画像上に重ねて、インスタンスセグメント化画像を生成することと、インスタンスセグメント化画像を出力することと、をさらに含む。

【0013】

いくつかの実施形態では、ラベルマスクを生成することは、（ｉ）リペルコーディングを使用して各訓練画像内の細胞をコーディングすることであって、コーディングが細胞中心および細胞中心から離れた応答減衰によって表される周囲を含む、各訓練画像内の細胞をコーディングすることと、（ｉｉ）コーディングおよびバイオマーカーのそれぞれのラベルに基づいて、画像内のバイオマーカーのそれぞれの２つ以上のラベルマスクを生成することと、を含む。

【0014】

いくつかの実施形態では、細胞の特徴および空間情報とバイオマーカーの染色パターンとを組み合わせることは、抽出された識別特徴を画素空間に投影することと、各画素空間を分類することと、を含み、分類することは、バイオマーカーの染色パターンに基づく細胞の細胞検出および分類を含む。

【0015】

様々な実施形態では、Ａ コンピュータ実装方法は、生物学的試料の画像にアクセスすることであって、画像が、バイオマーカーの染色パターンを含む細胞を表示し、細胞が、（ｉ）細胞中心、および（ｉｉ）バイオマーカーの発現、を含む情報を提供するラベルによって注釈付けされる、画像にアクセスすることと、画像のそれぞれの２つ以上のリペルコーディングマスクを生成することであって、生成することが、（ｉ）リペルコーディングアルゴリズムを使用して画像内の細胞をコーディングすることであって、コーディングの出力が、細胞中心および細胞中心から離れた応答減衰によって表される周囲を含む初期細胞局在マスクである、画像内の細胞コーディングすることと、（ｉｉ）バイオマーカーの発現に基づいて、ラベルを使用して初期細胞局在マスクをセグメント化して、細胞の各インスタンスを分類することと、（ｉｉｉ）セグメント化および細胞のインスタンスの分類に基づいて初期細胞局在マスクを２つ以上のリペルコーディングマスクに分割することと、を含む、２つ以上のリペルコーディングマスクを生成することと、２つ以上のリペルコーディングマスクを用いて画像のそれぞれをラベリングして、訓練画像のセットを生成することと、訓練画像のセットに対して機械学習アルゴリズムを訓練して、機械学習モデルを生成することであって、訓練することが、目的関数を最大化または最小化する細胞をセグメント化および分類するためのパラメータのセットを学習するための反復動作を実行することを含み、各反復が、パラメータのセットを使用する目的関数の値が、前の反復における別のパラメータのセットを使用する目的関数の値よりも大きくまたは小さくなるような、機械学習アルゴリズムのパラメータのセットを見つけることを含み、目的関数が、機械学習アルゴリズムを使用して予測されたセグメンテーションマスクと画像についての２つ以上のリペルコーディングマスクとの間の差を測定するように構成される、訓練画像のセットに対して機械学習アルゴリズムを訓練して、機械学習モデルを生成することと、機械学習モデルを提供することと、を含む。

【0016】

いくつかの実施形態では、２つ以上のリペルコーディングマスクは、バイオマーカーを発現している細胞についての陽性マスクおよびバイオマーカーを発現していない細胞についての陰性マスクを含む。

【0017】

いくつかの実施形態では、訓練された機械学習モデルは、エンコーダおよびデコーダを含む畳み込みニューラルネットワークを含み、エンコーダの１つ以上の層は、スキップ接続を有する残差ブロックを含む。

【0018】

いくつかの実施形態では、画像は、所定のサイズの画像パッチである。

【0019】

いくつかの実施形態では、本方法は、２つ以上のリペルコーディングマスクを所定のサイズのマスクパッチに分割することと、画像パッチのそれぞれをマスクパッチでラベリングして訓練画像のセットを生成することと、をさらに含む。

【0020】

いくつかの実施形態では、本明細書に開示される１つ以上の技術の一部または全部を使用して訓練された機械学習モデルによって生成された結果に基づいて、ユーザによって被験者の診断を決定することと、診断に基づいて被験者に対して特定の処置を潜在的に選択、推奨および／または施すことと、を含む方法が提供される。

【0021】

いくつかの実施形態では、本明細書に開示される１つ以上の技術の一部または全部を使用して訓練された機械学習モデルによって生成された結果に基づいて、被験者を選択、推奨および／または施すための処置をユーザによって決定することを含む方法が提供される。

【0022】

いくつかの実施形態では、本明細書に開示される１つ以上の技術の一部または全部を使用して訓練された機械学習モデルによって生成された結果に基づいて、被験者が臨床試験に参加する資格があるか、または臨床試験において被験者を特定のコホートに割り当てる資格があるかどうかをユーザによって決定することを含む方法が提供される。

【0023】

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

【図面の簡単な説明】

【0024】

様々な実施形態の態様および特徴は、添付の図面を参照して例を説明することによってより明らかになるであろう。

【図1】本開示の様々な実施形態にかかる組織学的染色プロセスの例を示している。

【図2】本開示の様々な実施形態にかかる、機械学習モデルを使用してデジタル病理画像を処理するためのコンピューティング環境を示すブロック図を示している。

【図3】本開示の様々な実施形態にかかる、機械学習アルゴリズムを訓練する際に使用されるリペルコーディングマスクを生成するためのリペルコーディング方式を実装するためのプロセスを示すフローチャートを示している。

【図4】本開示の様々な実施形態にかかる生ドットラベルを有する注釈付き画像を示している。

【図5】本開示の様々な実施形態にかかる、初期細胞局在マスクを提供するためにリペルコーディングアルゴリズムによってコーディングされている画像を示している。

【図6】本開示の様々な実施形態にかかるバイオマーカー分割に使用される修正されたＵ－Ｎｅｔモデルを示している。

【図7】本開示の様々な実施形態にかかる、バイオマーカー発現パターンに基づいて細胞を局在化および分類するように機械学習アルゴリズムを訓練するためのプロセスを示すフローチャートを示している。

【図8-1】本開示の様々な実施形態にかかる、バイオマーカー発現パターンに基づいて細胞を局在化および分類するために機械学習モデルを使用するプロセスを示すフローチャートを示している。

【図8-2】本開示の様々な実施形態にかかる、バイオマーカー発現パターンに基づいて細胞を局在化および分類するために機械学習モデルを使用するプロセスを示すフローチャートを示している。

【図9】本開示の様々な実施形態にかかる、画像分析をサポートまたは改善するためにセグメンテーションマスクを適用するためのプロセスを示すフローチャートを示している。

【図10】本開示の様々な実施形態にかかるＰＤ１の異なるパターンを示している。

【図11】実施例１における訓練セットおよび検証セットの双方からの視覚的結果を示している。

【発明を実施するための形態】

【0025】

詳細な説明
特定の実施形態が説明されているが、これらの実施形態は例としてのみ提示されており、保護の範囲を限定することを意図するものではない。本明細書に記載された装置、方法、およびシステムは、様々な他の形態で具現化されることができる。さらにまた、保護の範囲から逸脱することなく、本明細書に記載の例示的な方法およびシステムの形態の様々な省略、置換、および変更を行うことができる。

【0026】

Ｉ．概要
本開示は、デジタル病理画像の一部または全部を検出、特徴付け、および／または分類するための技術を記載する。より具体的には、本開示のいくつかの実施形態は、リペルコーディングを使用して機械学習モデルを効果的に訓練し、生物学的試料画像内の細胞を自動的に検出、特徴付け、および／または分類して細胞分析をサポートまたは改善するための機械学習技術を提供する。

【0027】

細胞および組織試料中のバイオマーカーを特性付け、組織内および組織間のそのようなバイオマーカーの存在およびレベルの不均一性を測定する能力は、様々な疾患状態を理解し、特徴付けるため、および／または患者の疾患状態に対して利用可能な標的治療薬を適切に選択するための生物医学における貴重な情報を提供することができる。さらに、重要なバイオマーカーの異なる分布を有する組織内の領域を識別し、特徴付ける能力は、標的療法および併用療法の開発を知らせるための重要な情報を提供することができる。適切な併用療法の開発および選択もまた、再発の予防における重要な因子であり得る。

【0028】

デジタル画像からの異なるバイオマーカー発現レベルを有する細胞の自動検出および分類は、疾患の診断および処置のための情報のより迅速且つより正確な抽出の可能性を有する。ほとんどの細胞および組織はデジタル画像内で実質的に透明であるため、細胞および組織の視覚化を助けるために最新の実験室技術が開発されている。免疫蛍光法（ＩＦ）は、組織または細胞中の成分の可視化を助ける染色技術である。ＩＦは、抗体とフルオロフォアとの組み合わせを使用して、細胞または組織試料中の特定のタンパク質および細胞小器官をマークする。したがって、ＩＦ技術は、様々な種類の細胞の研究、細胞または組織試料中のタンパク質の追跡および局在化、ならびに細胞または組織試料中の生物学的構造の同定において広く使用されている。顕微鏡下で組織切片のＩＦ染色細胞を高倍率で評価すること、および／またはデジタル病理アルゴリズムを用いて生物学的試料のデジタル画像を自動的に分析することが可能である。多くの場合、全スライド分析では、染色された生物学的検体の評価は、染色された生物学的試料中の細胞または細胞構造を検出し、細胞または細胞構造の中心を局在化し、バイオマーカーの同定およびバイオマーカーパターン
の認識を行うことを必要とする。

【0029】

分析のために細胞が見えるようになった後、細胞検出および分類技術が望まれる。細胞検出および分類技術は、手製の特徴を使用することから機械学習ベースの検出技術に進化した。ほとんどの機械学習ベースの細胞検出および分類技術は、細胞分類器または検出器が画素空間で訓練され、標的細胞の位置および特徴がラベル付けされる古典的な特徴ベースの機械学習パイプラインを実装する。しかしながら、古典的な特徴ベースの機械学習を使用した正確な細胞検出および分類は、いくつかの理由で困難である。第一に、異なる細胞の形態は劇的に異なり、パラメトリックモデルは、異なる細胞標的に適合するように再設計および訓練されなければならない。第二に、同じ種類の細胞であっても、異なる調製およびイメージングプロトコルは異なる細胞外観をもたらす。より重要なことには、特定の種類の細胞（例えば、免疫細胞）は、群内でクラスタ化する傾向があり、細胞の密集または密度は、細胞と関連する特徴との間の境界を定義することを困難にする。細胞の密集または密度の問題は、細胞の検出だけでなく、分類の難易度も高める。

【0030】

これらの制限および問題に対処するために、本明細書に開示される様々な実施形態は、細胞分析をサポートまたは改善するために、生物学的試料画像内の細胞を自動的に検出、特徴付け、および／または分類するために機械学習モデルを効率的に訓練するためにリペルコーディングを使用するための機械学習技術に関する。細胞検出のための生データラベルのリペルコーディングは、典型的には細胞カウントに使用される近接コーディングに基づく。近接コーディングは、細胞中心に極大値を生成する。しかしながら、細胞検出では、隣接する細胞、特にグループでクラスタ化する傾向がある細胞を互いに区別することが課題である。近接コーディングはエントロピーに焦点を当てており、隣接細胞間の応答の谷は、通常、正確な細胞検出には十分に強くない。この課題を克服するために、リペルコーディングは、典型的な近接コーディングと比較して、隣接細胞間の応答の谷を増加させ、細胞中心で極大値をより正確に位置合わせするように構成される。本質的に、リペルコーディングは、可逆性を増加させる（エントロピーと可逆性との間のより良好なバランスを得る）方法で細胞の中心をコーディングし、これは、細胞をより読みやすいように区別し、ラベル付けされることを可能にする。

【0031】

さらに、リペルコーディングは、細胞に関連付けられた１つ以上の特性のそれぞれについて、画像ラベルに基づいてインテリジェントに細胞中心コーディングを適用して、リペルコーディングマスクを生成するように構成される。１つ以上の特性は、バイオマーカー染色パターン（例えば、明視野染色または免疫蛍光法（ＩＦ））、細胞の種類（例えば、腫瘍細胞、免疫細胞、組織細胞など）、核またはミトコンドリアなどの様々な細胞小器官の有無などとすることができる。例えば、単一のバイオマーカーについて染色された組織を考えると、リペルコーディングは、（ｉ）注釈によってバイオマーカーについて陽性と識別された細胞の中心をコーディングし、陽性細胞のリペルコーディングマスクを出力し、（ｉｉ）注釈によってバイオマーカーについて陰性と識別された細胞の中心をコーディングし、陰性細胞のリペルコーディングマスクを出力するように構成されることができる。次いで、リペルコーディングマスクが元の画像のラベルとして使用されて、機械学習モデルを効果的に訓練し、生物学的試料画像内の細胞を自動的に検出、特徴付け、および／または分類して、細胞分析をサポートまたは改善する。近接コーディングによってコーディングされた画像および／またはマスクに対して機械学習モデルを訓練する場合、訓練は、近接した細胞中心を一緒にマージして配置する傾向がある。一方、リペルコーディングによってコーディングされた画像および／またはマスクに対して機械学習モデルを訓練する場合、訓練は、細胞の中心の画素をより強調し（反発符号ラベルは細胞の中心でより強い画素を有する）、細胞中心間の画素をあまり強調しない（反発符号ラベルは細胞の周辺でより弱い画素を有する）傾向がある。結果として、リペルコーディングは、可逆性基準を強調し、細胞を検出することができるように機械学習モデルをより効果的に訓練する。

【0032】

さらに、対応する画像の実際のグラウンドトゥルース値であるリペルコーディングマスクは、画像が細胞を含むかどうか、含まれる場合、バイオマーカーパターンなどの各細胞がどこにどのような特性を有することができるかを示す。機械学習モデルは、画像を、細胞の抽出された識別特徴を含む特徴表現に符号化し、次いで、細胞の特徴および空間情報と、バイオマーカーの染色パターンとを、アップコンボリューションのシーケンスおよび特徴表現からの抽出された識別特徴を有する連結を介して、組み合わせる。機械学習モデルは、細胞の特徴および空間情報の組み合わせ、ならびにバイオマーカーの染色パターンに基づいて、画像内のバイオマーカーごとに２つ以上の確率またはセグメンテーションマスクを生成する。２つ以上の確率またはセグメンテーションマスクの細胞中心は、リペルコーディングに基づく極大検出によって抽出される。コスト関数は、出力確率またはセグメンテーションマスクと対応する画像のグラウンドトゥルース値（すなわち、リペルコーディングマスク）との間の差または距離を測定するために使用される。機械学習モデルを訓練する目的は、コスト関数を最小化または最大化するモデルパラメータ、重み、または構造を見つけることである。

【0033】

訓練されると、機械学習モデルは、画像内のバイオマーカー用のセグメンテーションマスクを自動的に生成するためのコンピュータ実装方法において使用されることができる。場合によっては、コンピュータ実装方法は、画像内の標的領域（例えば、腫瘍細胞）をセグメント化および分類するために画像分析アルゴリズムを実行する前の前処理の一部として実行される。他の例では、コンピュータ実装方法は、画像内の標的領域（例えば、腫瘍細胞）をセグメント化および分類するために画像分析アルゴリズムを実行した後、後処理の一部として実行される。しかしながら、当業者によって理解されるように、本明細書で説明される概念は、前処理または後処理手順に限定されず、様々な実施形態による画像分析処理全体に統合されてもよい。

【0034】

コンピュータ実装方法は、標的領域を学習および認識するための標準的な画像分析アルゴリズムを実行する前に、細胞または細胞核などの生物学的構造、およびＰＤ１などのバイオマーカーを自動的に検出するために２次元セグメント化モデル（修正されたＵ－Ｎｅｔ）を利用する畳み込みニューラルネットワーク（「ＣＮＮ」）アーキテクチャまたはモデルを含む機械学習モデルの使用を含むことができる。しかしながら、本開示は、細胞、細胞核、またはバイオマーカーのみをセグメント化することに限定されず、本明細書に記載の技術はまた、他の細胞小器官、例えばリボソーム、ミトコンドリアなどを区別するために適用されることができる。畳み込みニューラルネットワークアーキテクチャは、異なるバイオマーカー領域またはバイオマーカー陽性領域および陰性領域の予めラベル付けされた画像を使用して訓練されることができる。その結果、訓練された畳み込みニューラルネットワークのアーキテクチャまたはモデルが使用されて、画像を特徴表現に自動的に符号化することができ、次いで、画像分析アルゴリズムに画像を入力する前、入力中、または入力後に、全スライド分析からマスクされることができる。特徴表現および抽出された特徴は、バイオマーカーの空間情報とさらに組み合わされ、それに応じてバイオマーカーマスクが生成される。画像分析アルゴリズムは、分類タスクをさらに実行することができ、検出された細胞または細胞構造の分類ラベルを出力する。有利には、この提案されたアーキテクチャおよび技術は、画像分析アルゴリズムによる細胞検出およびバイオマーカー分類の精度を改善することができる。

【0035】

ＩＩ．定義
本明細書で使用される場合、動作が何かに「基づく」場合、これは、動作が何かの少なくとも一部に少なくとも部分的に基づくことを意味する。

【0036】

本明細書で使用される場合、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「およそ
（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、および「約（ａｂｏｕｔ）」という用語は、当業者によって理解されるように、大部分が指定されるものであるが、必ずしも完全には指定されないもの（および完全に指定されるものを含む）として定義される。任意の開示された実施形態では、「実質的に」、「およそ」、または「約」という用語は、指定されたものの「［パーセンテージ］以内」で置き換えられることができ、パーセンテージは、０．１、１、５、および１０％を含む。

【0037】

本明細書で使用される場合、「試料」、「生物学的試料」、「組織」、または「組織試料」という用語は、ウイルスを含む任意の生物から得られる生体分子（タンパク質、ペプチド、核酸、脂質、炭水化物、またはそれらの組み合わせなど）を含む任意の試料を指す。生物の他の例は、哺乳類（ヒト、ネコ、イヌ、ウマ、ウシ、およびブタなどの獣医動物、ならびにマウス、ラット、霊長類などの実験動物など）、昆虫、環形動物、クモ形類動物、有袋類、爬虫類、両生類、細菌、および菌類などを含む。生物学的試料は、組織試料（組織切片や組織の針生検など）、細胞試料（Ｐａｐ塗抹検体もしくは血液塗抹検体などの細胞学的塗抹検体、またはマイクロダイセクションによって得られた細胞の試料など）、または細胞分画、断片または細胞小器官（細胞を溶解し、遠心分離などによってそれらの成分を分離することによって得られる）を含む。生物学的試料の他の例は、血液、血清、尿、精液、糞便、脳脊髄液、間質液、粘膜、涙、汗、膿、生検組織（例えば、外科的生検または針生検によって得られる）、乳頭吸引物、耳垢、乳、膣液、唾液、ぬぐい液（頬スワブなど）、または最初の生物学的試料に由来する生体分子を含む任意の材料を含む。特定の実施形態では、本明細書で使用される「生物学的試料」という用語は、被験者から得られた腫瘍またはその一部から調製された試料（均質化または液化された試料など）を指す。

【0038】

本明細書で使用される場合、「生物学的材料」、「生物学的構造」または「細胞構造」という用語は、生物学的構造（例えば、細胞核、細胞膜、細胞質、染色体、ＤＮＡ、細胞、細胞塊など）の全体または一部を含む天然の材料または構造を指す。

【0039】

本明細書で使用される場合、「デジタル病理画像」は、染色された試料のデジタル画像を指す。

【0040】

本明細書で使用される場合、「細胞検出」という用語は、細胞または細胞構造（例えば、細胞核、細胞膜、細胞質、染色体、ＤＮＡ、細胞、細胞塊など）の検出を指す。

【0041】

本明細書で使用される場合、「標的領域」という用語は、画像分析プロセスで評価されることが意図された画像データを含む画像の領域を指す。標的領域は、画像分析プロセス（例えば、腫瘍細胞または染色発現）において分析されることが意図される画像の組織領域などの任意の領域を含む。

【0042】

本明細書で使用される場合、「タイル」または「タイル画像」という用語は、画像全体の一部または全スライドに対応する単一の画像を指す。いくつかの実施形態では、「タイル」または「タイル画像」は、全スライドスキャンの領域、または（ｘ，ｙ）画素寸法（例えば、１０００画素×１０００画素）を有する関心領域を指す。例えば、Ｍ列のタイルとＮ行のタイルとに分割された画像全体を考えてみると、Ｍ×Ｎモザイク内の各タイルは、画像全体の一部を含み、すなわち、位置ＭＩ、ＮＩのタイルは、画像の第１の部分を含み、位置Ｍ３、Ｎ４のタイルは、画像の第２の部分を含み、第１の部分と第２の部分とは異なる。いくつかの実施形態では、タイルは、それぞれ同じ寸法（画素サイズ×画素サイズ）を有することができる。

【0043】

本明細書で使用される場合、「パッチ」、「画像パッチ」、または「マスクパッチ」と
いう用語は、画像全体、スライド全体、またはマスク全体の一部に対応する画素のコンテナを指す。いくつかの実施形態では、「パッチ」、「画像パッチ」、または「マスクパッチ」は、画像またはマスクの領域、または（ｘ，ｙ）画素寸法（例えば、２５６画素×２５６画素）を有する関心領域を指す。例えば、１００画素×１００画素のパッチに分割された１０００画素×１０００画素の画像は、１０パッチを含むことになる（各パッチは、１０００画素を含む）。他の実施形態では、パッチは、（ｘ，ｙ）画素寸法を有し、１つ以上の画素を別の「パッチ」、「画像パッチ」、または「マスクパッチ」と共有する各「パッチ」、「画像パッチ」、または「マスクパッチ」と重なり合う。

【0044】

ＩＩＩ．デジタル病理画像の生成
組織学的染色は、関心対象の特徴を強調し、生物学的試料の切片化された組織または細胞のコントラストを高めるために広く使用されている。例えば、染色は、特定の種類の細胞をマークするために、および／または特定の種類の核酸および／またはタンパク質にフラグを立てて顕微鏡検査を支援するために使用されることができる。次いで、染色された試料が評価されて、試料中の目的の特徴の量（例えば、カウント、密度または発現レベルを含むことができる）および／または目的の特徴の１つ以上の特徴（例えば、互いに対する、または他の特徴、形状特性などに対する関心のある特徴の位置）を決定または推定することができる。組織学的染色のプロセスは、固定、処理、包埋、切片化、染色およびイメージングなどのいくつかの段階を含むことができる。

【0045】

いくつかの実施形態では、組織切片の免疫組織化学染色（例えば、明視野染色またはＩＦ）は、生物学的試料における特定のタンパク質の存在を特定するために使用される組織学的染色の一種である。例えば、特定のタンパク質（例えば、抗原）の発現レベルは、（ａ）特定の抗体タイプを有する試料の免疫組織化学分析を実行すること、および（ｂ）試料中のタンパク質の存在および／または発現レベルを決定することによって決定される。いくつかの実施形態では、免疫組織化学染色強度が、参照試料（例えば、対照細胞株染色試料、非癌性被験者からの組織試料、所定のレベルのタンパク質発現を有することが知られている参照試料）から求められる参照に対して求められる。

【0046】

図１は、組織学的染色プロセス１００の例を示している。組織学的染色プロセス１００の段階１１０は、試料を保存し、試料の分解を遅らせるために使用されることができる試料固定を含む。組織学において、固定は、一般に、化学組成を保持し、天然試料構造を保存し、細胞構造を分解から維持するために化学物質を使用する不可逆的なプロセスを指す。固定はまた、切片化のために細胞または組織を硬化させることができる。固定剤は、架橋タンパク質を使用して試料および細胞の保存を強化することができる。固定剤は、いくつかのタンパク質に結合して架橋し、脱水によって他のタンパク質を変性させることができ、これは組織を硬化させ、そうでなければ試料を分解する可能性がある酵素を不活性化することができる。固定剤はまた、細菌を死滅させることができる。

【0047】

固定剤は、例えば、調製された試料の灌流および浸漬によって投与されることができる。メタノール、ブイン固定剤および／またはホルムアルデヒド固定剤、例えば中性緩衝ホルマリン（ＮＢＦ）またはパラフィン－ホルマリン（パラホルムアルデヒド－ＰＦＡ）を含む様々な固定剤が使用されることができる。試料が液体試料（例えば、血液試料）である場合、試料がスライド上に塗抹され、固定前に乾燥されてもよい。

【0048】

固定プロセスは、組織学的試験の目的のために試料および細胞の構造を保存するのに役立つことができるが、固定は、組織抗原の秘匿化をもたらし、それによって抗原検出を減少させることがある。したがって、ホルマリンは、抗原を架橋し、エピトープをマスクすることができるため、固定は、一般に、免疫組織化学の制限因子と考えられる。場合によっては、固定された試料を無水シトラコン酸（可逆的タンパク質架橋剤）によって処理す
ることおよび加熱することを含む、架橋の効果を逆転させるための追加のプロセスが行われる。

【0049】

組織学的染色プロセス１００の段階１２０は、試料処理および包埋を含む。試料処理は、固定された試料（例えば、固定された組織試料）に、パラフィンワックスなどの適切な組織学的ワックスを浸透させることを含むことができる。組織学的ワックスは、水またはアルコールに不溶性であってもよいが、キシレンなどのパラフィン溶媒に可溶性であってもよい。したがって、組織内の水は、キシレンによって置換される必要があり得る。そうするために、試料中の水をアルコールで徐々に置換することによって試料が最初に脱水されることができ、これは組織を増加する濃度のエチルアルコール（例えば、０から約１００％）に通過させることによって達成されることができる。水がアルコールによって置き換えられた後、アルコールは、アルコールと混和性であるキシレンによって置き換えられてもよい。包埋は、試料を温パラフィンワックスに包埋することを含むことができる。パラフィンワックスはキシレンに可溶であり得るため、溶融ワックスは、キシレンによって充填され且つ以前に水によって充填されていた空間を充填することができる。ワックス充填試料が冷却されて、断面切断のためにミクロトームにクランプされることができる硬化ブロックを形成することができる。場合によっては、上記の例示的な手順からの逸脱は、抗体、化学物質、または他の固定剤の浸透の阻害をもたらすパラフィンワックスの浸透をもたらす。

【0050】

組織学的染色プロセス１００の段階１３０は、試料の切片化を含む。切片化は、検査のために顕微鏡スライド上に試料（例えば、包埋されて固定された組織試料）を取り付ける目的で、包埋ブロックから試料の薄いスライスを切断するプロセスである。切片化は、ミクロトームを使用して実行されることができる。場合によっては、組織はドライアイスまたはイソペンタン中で急速に凍結されることができ、次いで冷蔵キャビネット（例えば、クライオスタット）中でコールドナイフによって切断されることができる。液体窒素などの他の種類の冷却剤が使用されて組織を凍結させることができる。明視野顕微鏡および蛍光顕微鏡によって使用するための切片は、一般に、４～１０μｍ程度の厚さである。場合によっては、切片はエポキシ樹脂またはアクリル樹脂に埋め込まれることができ、これは、より薄い切片（例えば、＜２μｍ）が切断されることを可能にすることができる。次いで、切片は、１つ以上のガラススライドに取り付けられることができる。試料切片を保護するために、カバースリップが上部に配置されることができる。

【0051】

組織学的染色プロセス１００の段階１４０は、（組織試料または固定液体試料の切片の）染色を含む。染色の目的は、呈色反応によって異なる試料成分を同定することである。ほとんどの細胞は無色透明である。したがって、細胞を可視化するために組織学的切片を染色する必要があり得る。染色プロセスは、一般に、特定の化合物、構造、分子、または特徴（例えば、細胞内特徴）の存在を確認または定量するために、色素または染色剤を試料に添加することを含む。例えば、染色は、組織切片から特定のバイオマーカーを同定または強調するのに役立つことができる。他の例では、染色が使用されて、生物学的組織（例えば、筋線維または結合組織）、細胞集団（例えば、異なる血球）、または個々の細胞内の細胞小器官を同定または強調することができる。

【0052】

多くの染色溶液は水性である。したがって、組織切片を染色するためには、染色溶液が切片に適用される前に、ワックスが溶解され、水と置き換えられる（再水和）必要があり得る。例えば、切片は、キシレン、エチルアルコールの濃度を減少させること（約１００％から０％）、および水を順次通過させることができる。染色されると、切片は、再度脱水され、キシレンに入れられてもよい。次いで、切片は、キシレンに溶解された封入剤中の顕微鏡スライド上に取り付けられることができる。試料切片を保護するために、カバースリップが上部に配置されることができる。カバースリップの縁部の周りのキシレンの蒸
発は、封入剤を乾燥させ、カバースリップをスライドにしっかりと接合することができる。

【0053】

様々な種類の染色プロトコルが使用されて染色を行うことができる。例えば、例示的な免疫組織化学染色プロトコルは、インキュベーション中にスライドからの試薬の漏出を防ぐために試料（例えば、組織切片）の周りに疎水性バリアラインを使用すること、非特異的染色の内因性源（例えば、酵素、遊離アルデヒド基、免疫グロブリン、特異的染色を模倣し得る他の無関係な分子）を遮断するために組織切片を試薬で処理すること、組織への抗体および他の染色試薬の浸透を促進するために透過化緩衝液とともに試料をインキュベートすること、特定の温度（例えば、室温、６～８℃）で一定期間（例えば、１～２４時間）一次抗体とともに組織切片をインキュベートすること、洗浄緩衝液を使用して試料をすすぐこと、別の特定の温度（例えば、室温）で別の期間二次抗体とともに試料（組織切片）をインキュベートすること、水緩衝液を使用して試料を再びすすぐこと、すすいだ試料を色素原（例えば、ＤＡＢ）とともにインキュベートすること、および反応を停止させるために色素原を洗い流すことを含む。場合によっては、その後、対比染色が使用されて試料の全「ランドスケープ」を識別し、組織標的の検出に使用される主要な色の基準として機能する。対比染色剤は、例えば、ヘマトキシリン（青色から紫色の染色剤）、メチレンブルー（青色の染色剤）、トルイジンブルー（核深青色、多糖類ピンク色から赤色の染色剤）、核ファストレッド（Ｋｅｒｎｅｃｈｔｒｏｔ色素とも呼ばれ、赤色の染色剤）、メチルグリーン（緑色の染色剤）、非核発色性染色剤、例えばエオシン（ピンク色の染色剤）などを含むことができる。当業者は、他の免疫組織化学染色技術が実装されて染色を行うことができることを認識するであろう。

【0054】

別の例では、組織切片染色のためにＨ＆Ｅ染色プロトコルが実行されることができる。Ｈ＆Ｅ染色プロトコルは、金属塩または媒染剤と混合したヘマトキシリン染色剤を試料に適用することを含む。次いで、試料が弱酸溶液ですすがれて過剰な染色（分化）を除去し、続いて弱アルカリ水中で青みをつけることができる。ヘマトキシリンの適用後、試料がエオシンによって対比染色されることができる。他のＨ＆Ｅ染色技術が実装されることができることが理解されよう。

【0055】

いくつかの実施形態では、目的の特徴がどれであるかに応じて、様々な種類の染色が使用されて染色を行うことができる。例えば、ＤＡＢは、ＩＨＣ染色のための様々な組織切片に使用されることができ、ＤＡＢは、染色画像において関心のある特徴を表示する茶色をもたらす。別の例では、ＤＡＢ色がメラニン色素によってマスクされることができるため、アルカリホスファターゼ（ＡＰ）がＩＨＣ染色のための皮膚組織切片に使用されることができる。一次染色技術に関して、適用可能な染色は、例えば、好塩基性および好酸性染色、ヘマチンおよびヘマトキシリン、硝酸銀、三色染色などを含むことができる。酸性染料は、組織または細胞中のカチオン性または塩基性成分、例えばタンパク質および細胞質中の他の成分と反応することができる。塩基性色素は、組織または細胞中のアニオン性または酸性成分、例えば核酸と反応することができる。上記のように、染色系の一例はＨ＆Ｅである。エオシンは、負に帯電したピンク色の酸性染料とすることができ、ヘマトキシリンは、ヘマテインおよびアルミニウムイオンを含む紫色または青色の塩基性染料とすることができる。染色の他の例は、過ヨウ素酸－シッフ反応（ＰＡＳ）染色、マッソンのトリクローム、アルシアンブルー、ファンギーソン、レチキュリン染色などを含むことができる。いくつかの実施形態では、異なる種類の染色剤が組み合わせて使用されることができる。

【0056】

組織学的染色プロセス１００の段階１５０は、医用イメージングを含む。染色された試料を拡大するために、顕微鏡（例えば、電子顕微鏡または光学顕微鏡）が使用されることができる。例えば、光学顕微鏡は、約数百ナノメートルなど、１μｍ未満の分解能を有す
ることができる。ナノメートルまたはサブナノメートルの範囲でより細かい詳細を観察するために、電子顕微鏡が使用されることができる。イメージング装置（顕微鏡と組み合わされるか、または顕微鏡から分離される）は、拡大された生物学的試料を撮像して、いくつかの（例えば、１０から１６の間などの）チャネルを有するマルチチャネル画像（例えば、マルチチャネル蛍光）などの画像データを得る。イメージング装置は、限定されるものではないが、カメラ（例えば、アナログカメラ、デジタルカメラなど）、光学系（例えば、１つ以上のレンズ、センサフォーカスレンズ群、顕微鏡対物レンズなど）、イメージングセンサ（例えば、電荷結合素子（ＣＣＤ）、相補的金属酸化物半導体（ＣＭＯＳ）イメージセンサなど）、写真フィルムなどを含む。デジタル実施形態では、イメージング装置は、オンザフライフォーカシングを証明するために協働する複数のレンズを含むことができる。イメージセンサ、例えば、ＣＣＤセンサは、検体のデジタル画像を撮像することができる。いくつかの実施形態では、イメージング装置は、明視野イメージングシステム、マルチスペクトルイメージング（ＭＳＩ）システムまたは蛍光顕微鏡システムである。イメージング装置は、不可視電磁放射線（例えばＵＶ光）または他のイメージング技術を利用して画像を撮像することができる。例えば、イメージング装置は、顕微鏡と、顕微鏡によって拡大された画像を撮像するように構成されたカメラとを備えることができる。分析システムによって受信された画像データは、イメージング装置によって取り込まれた生画像データと同一であってもよく、および／または生画像データから導出されてもよい。

【0057】

段階１６０において、染色された切片の画像が記憶される。画像は、ローカル、リモート、および／またはクラウドサーバに記憶されることができる。各画像は、被験者の識別子および日付（例えば、試料が収集された日付および／または画像が撮像された日付）と関連付けて記憶されてもよい。画像は、さらに、別のシステム（例えば、病理学者に関連付けられたシステム、または自動化もしくは半自動化された画像分析システム）に送信されてもよい。

【0058】

プロセス１００に対する変更が企図されることが理解されよう。例えば、試料が液体試料である場合、段階１２０（処理および包埋）および／または段階１３０（切片化）は、プロセスから省略されてもよい。

【0059】

ＩＶ．デジタル病理画像変換の例示的なプロセスフロー
図２は、機械学習モデルを使用してデジタル病理画像を処理するためのコンピューティング環境２００を示すブロック図を示している。本明細書でさらに説明するように、デジタル病理画像を処理することは、デジタル病理画像を使用して機械学習アルゴリズムを訓練すること、またはデジタル病理画像の一部または全部を、機械学習アルゴリズム（すなわち、機械学習モデル）の訓練された（または部分的に訓練された）バージョンを使用して１つ以上の結果に変換することを含むことができる。

【0060】

図２に示すように、コンピューティング環境２００は、いくつかの段階、すなわち画像記憶段階２０５、前処理段階２１０、ラベリング段階２１５、訓練段階２２０、および結果生成段階２２５を含む。

【0061】

画像記憶段階２０５は、生物学的試料スライド（例えば、組織スライド）からまたは生物学的試料スライドの全体から予め選択された領域のデジタル画像２３５のセットを提供するために（例えば、前処理段階２１０によって）アクセスされる１つ以上の画像データストア２３０を含む。各画像データストア２３０に記憶され、画像記憶段階２１０においてアクセスされる各デジタル画像２３５は、図１に示すプロセス１００の一部または全部にしたがって生成されたデジタル病理画像を含むことができる。いくつかの実施形態では、各デジタル画像２３５は、１つ以上のスキャンされたスライドからの画像データを含む。デジタル画像２３５のそれぞれは、単一の検体および／または画像に対応する基礎とな
る画像データが収集された１日からの画像データに対応することができる。

【0062】

画像データは、画像、ならびに色チャネルまたは色波長チャネルに関する任意の情報、ならびに画像が生成されたイメージングプラットフォームに関する詳細を含むことができる。例えば、組織切片は、明視野イメージングのための発色性染色または蛍光イメージングのためのフルオロフォアに関連する１つ以上の異なるバイオマーカーを含む染色アッセイの適用によって染色される必要があり得る。染色アッセイは、明視野イメージングのための発色性染色、有機フルオロフォア、量子ドット、または有機フルオロフォアを、蛍光イメージングのための量子ドットと一緒に、または染色、バイオマーカー、および観察またはイメージング装置の任意の他の組み合わせを使用することができる。バイオマーカーの例は、エストロゲン受容体（ＥＲ）、ヒト上皮成長因子受容体２（ＨＥＲ２）、ヒトＫｉ－６７タンパク質、プロゲステロン受容体（ＰＲ）、プログラム細胞死タンパク質１（「ＰＤ１」）などのバイオマーカーを含み、ここで、組織切片は、ＥＲ、ＨＥＲ２、Ｋｉ－６７、ＰＲ、ＰＤ１などのそれぞれの結合剤（例えば、抗体）によって検出可能に標識される。いくつかの実施形態では、分類、スコアリング、コックスモデリングおよびリスク層別化などのデジタル画像およびデータ分析動作は、使用されているバイオマーカーの種類ならびに視野（ＦＯＶ）選択および注釈に依存する。さらに、典型的な組織切片は、組織切片に染色アッセイを適用する自動染色／アッセイプラットフォームで処理され、染色された試料が得られる。染色／アッセイプラットフォームとしての使用に適した様々な市販製品が市場に存在し、一例は、譲受人であるＶｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．のＶＥＮＴＡＮＡ ＳＹＭＰＨＯＮＹ製品である。染色された組織切片は、例えば、顕微鏡または顕微鏡および／またはイメージング構成要素を有するホールスライドスキャナ上のイメージングシステムに供給されることができ、一例は、譲受人であるＶｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．のＶＥＮＴＡＮＡ ｉＳｃａｎ Ｃｏｒｅｏ製品である。多重組織スライドは、同等の多重化スライドスキャナシステムでスキャンされることができる。イメージングシステムによって提供される追加の情報は、染色に使用される化学物質の濃度、染色において組織に適用される化学物質の反応時間、および／または組織の事前分析条件、例えば組織の年齢、固定方法、期間、切片がどのように埋め込まれたか、切断されたかなどを含む、染色プラットフォームに関する任意の情報を含むことができる。

【0063】

前処理段階２１０において、デジタル画像２３５のセットのうちのそれぞれ、複数、または全ては、対応する前処理画像２４０を生成するために、１つ以上の技術を使用して前処理される。前処理は、画像を切り取ることを含むことができる。場合によっては、前処理は、全ての特徴を同じスケール（例えば、同じサイズスケールまたは同じカラースケールまたは彩度スケール）にするための標準化または再スケーリング（例えば、正規化）をさらに含むことができる。特定の例では、画像は、所定の画素（例えば、２５００画素）の最小サイズ（幅または高さ）または所定の画素（例えば、３０００画素）の最大サイズ（幅または高さ）でサイズ変更され、任意に元のアスペクト比を維持する。前処理は、ノイズを除去することをさらに含んでもよい。例えば、画像は、ガウス関数またはガウスぼかしを適用することなどによって、望ましくないノイズを除去するために平滑化されてもよい。

【0064】

前処理画像２４０は、１つ以上の訓練画像、検証入力画像、およびラベルなし画像を含むことができる。訓練グループ、検証グループ、およびラベルなしグループに対応する前処理画像２４０は、同時にアクセスされる必要はないことを理解されたい。例えば、訓練および検証前処理画像２４０の初期セットは、機械学習アルゴリズム２５５を訓練するために最初にアクセスおよび使用されてもよく、ラベルなし入力画像要素は、続いてアクセスまたは受信され（例えば、単一または複数の後続の時間に）、訓練された機械学習モデル２６０によって使用されて所望の出力（例えば、細胞分類）を提供することができる。

【0065】

場合によっては、機械学習アルゴリズム２５５は、教師あり訓練を使用して訓練され、前処理画像２４０の一部または全ては、ラベリング段階２１５において、前処理画像２４０内の様々な生物学的物質および構造の（すなわち、「グランドトゥルース」）「正しい」解釈を識別するラベル２４５によって、手動、半自動、または自動的に部分的または完全にラベル付けされる。例えば、ラベル２４５は、（例えば）関心対象の特徴、細胞の分類、所与の細胞が特定の種類の細胞であるかどうかに関するバイナリ表示、前処理画像２４０（または前処理画像２４０を有する特定の領域）が特定の種類の表示（例えば、壊死またはアーチファクト）を含むかどうかに関するバイナリ表示、スライドレベルまたは領域固有の表示（例えば、特定の種類の細胞を識別する）のカテゴリ特徴、数（例えば、領域内の特定の種類の細胞の量、表示されたアーチファクトの量、または壊死領域の量を識別する）、１つ以上のバイオマーカーの有無などを識別することができる。場合によっては、ラベル２４５は位置を含む。例えば、ラベル２４５は、特定の種類の細胞の核の点位置または特定の種類の細胞の点位置（例えば、生ドットラベル）を識別することができる。別の例として、ラベル２４５は、表示された腫瘍、血管、壊死領域などの縁または境界を含むことができる。別の例として、ラベル２４５は、１つ以上の染色を使用して観察されたバイオマーカーパターンに基づいて識別された１つ以上のバイオマーカーを含むことができる。例えば、バイオマーカー、例えばプログラム細胞死タンパク質１（「ＰＤ１」）について染色された組織スライドは、組織におけるＰＤ１の発現レベルおよびパターンを考慮して、陽性細胞または陰性細胞のいずれかとして細胞をラベル付けするために観察および／または処理されることができる。関心対象の特徴に応じて、所与のラベル付けされた前処理画像２４０は、単一のラベル２４５または複数のラベル２４５に関連付けられることができる。後者の場合、各ラベル２４５は、（例えば）そのラベルが前処理画像２４５内のどの位置または部分に対応するかに関する指示に関連付けられてもよい。

【0066】

ラベリング段階２１５において割り当てられたラベル２４５は、人間のユーザ（例えば、病理学者または画像サイエンティスト）および／またはラベル２４５を定義するように構成されたアルゴリズム（例えば、注釈ツール）からの入力に基づいて識別されることができる。場合によっては、ラベリング段階２１５は、ユーザによって操作されるコンピューティング装置に、１つ以上の前処理画像２４０の一部または全部を送信および／または提示することを含むことができる。場合によっては、ラベリング段階２１５は、ユーザによって操作されるコンピューティング装置においてラベリングコントローラ２５０によって提示されるインターフェース（例えば、ＡＰＩを使用する）を利用することを含み、インターフェースは、関心対象の特徴についてラベル２４５を識別する入力を受け入れるための入力コンポーネントを含む。例えば、ラベリングのための画像または画像の領域（例えば、ＦＯＶ）の選択を可能にするユーザインターフェースが、ラベリングコントローラ２５０によって提供されてもよい。端末を操作するユーザは、ユーザインターフェースを使用して画像またはＦＯＶを選択することができる。既知または不規則な形状を指定すること、または解剖学的関心領域（例えば、腫瘍領域）を定義することなど、いくつかの画像またはＦＯＶ選択機構が提供されることができる。一例では、画像またはＦＯＶは、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ）染色の組み合わせによって染色されたＩＨＣスライド上で選択された全腫瘍領域である。画像またはＦＯＶの選択は、ユーザによって、またはＨ＆Ｅ組織スライド上の腫瘍領域分割などの自動画像分析アルゴリズムによって実行されることができる。例えば、ユーザは、画像またはＦＯＶがスライド全体もしくは腫瘍全体として、またはスライド全体もしくは腫瘍領域全体がセグメンテーションアルゴリズムを使用して画像またはＦＯＶとして自動的に指定されることができることを選択することができる。その後、端末を操作するユーザは、細胞上の点位置、細胞によって発現されるバイオマーカーについての陽性マーカー、細胞によって発現されないバイオマーカーについての陰性バイオマーカー、細胞の周囲の境界など、選択された画像またはＦＯＶに適用されるべき１つ以上のラベル２４５を選択することができる。

【0067】

場合によっては、インターフェースは、（例えば）テキスト命令および／または視覚化を介してユーザに伝達されることができる特定のラベル２４５がどのおよび／またはどの程度要求されているかを識別することができる。例えば、特定の色、サイズ、および／または記号は、ラベル２４５が他の表示に対して画像内の特定の表示（例えば、特定の細胞または領域または染色パターン）に対して要求されていることを表すことができる。複数の表示に対応するラベル２４５が要求される場合、インターフェースは、表示のそれぞれを同時に識別してもよく、または各表示を順次に識別してもよい（識別された１つの描写にラベルを提供すると、ラベル付けのための次の表示の識別がトリガされるように）。場合によっては、各画像は、ユーザが（例えば、特定の種類の）特定の数のラベル２４５を識別するまで提示される。例えば、ユーザが３つの異なるバイオマーカーの有無を識別するまで、所与のスライド全体の画像またはスライド全体の画像の所与のパッチが提示されることができ、その時点で、インターフェースは、異なるスライド全体の画像または異なるパッチの画像を提示することができる（例えば、閾値数の画像またはパッチがラベル付けされるまで）。したがって、場合によっては、インターフェースは、関心対象の特徴の不完全なサブセットのラベル２４５を要求および／または受け入れるように構成され、ユーザは、潜在的に多くの表示のうちのどれがラベル付けされるかを決定することができる。

【0068】

場合によっては、ラベリング段階２１５は、画像または画像内の関心領域の様々な特徴を半自動的または自動的にラベル付けするために、アノテーションアルゴリズムを実装するラベリングコントローラ２５０を含む。例えば、画像にわたる強度（例えば、前処理画像）が正規化または正則化されることができ、強度が閾値化またはフィルタリングされることができ、および／または（例えば、式（１）のようなオブジェクト、線、および／または形状を検出するように構成される）アルゴリズムが適用されることができる。次いで、各境界、点位置、または位置コーディングが関心対象の特徴として識別されることができる。場合によっては、メトリックは、関心対象の各特徴（例えば、関心対象の特徴を局在化する信頼度を示すメトリック）に関連付けられ、関心レベルはメトリックに基づいてスケーリングすることができる。本開示の態様によれば、注釈アルゴリズムは、関心対象の特徴を局在化する（例えば、オブジェクトが画像内のどこに正確に存在するかを局在化する）ためにコーディング方式を使用するように構成されることができる。関心対象の特徴を局在化することは、関心対象の特徴の点位置および／または境界を予測することを含むことができる。例えば、局在化は、表示された各細胞に対応する点位置を識別または予測すること、および／または表示された各細胞に対応する閉じた形状を識別または予測することを含んでもよい。特定の例では、局在化技術は、リペルコーディング方式を使用して生ドットラベルをマスク（例えば、細胞などのオブジェクトの位置のラベル２４５）にコーディングすることを含む。リペルコーディング方式は、以下のように定義される：

【数1】

ここで、

【数2】

は、画素（ｉ，ｊ）の最も近い細胞中心までの距離であり、

【数3】

は、画素（ｉ，ｊ）の２番目に近い細胞中心までの距離である。中間変数

【数4】

は、

【数5】

によって抑制される

【数6】

と解釈することができる。

【0069】

ラベルマスクは、バイオマーカーのそれぞれに対する注釈と組み合わせてリペルコーディング方式を使用して生成されることができる。例えば、局在化技術は、式（１）において定義されたリペルコーディングを使用して生ドットラベルを初期細胞局在マスク（例えば、細胞の位置についてのラベル２４５）にコーディングすること、バイオマーカー染色パターンに基づく１つ以上のバイオマーカーのラベル注釈を使用して初期細胞局在マスクをセグメント化すること、および各バイオマーカーの２つ以上のリペルコーディングマスク（例えば、陽性細胞用の１つのマスクおよび陰性細胞用の１つのマスク）を出力することを含むことができる。セグメント化は、インスタンスセグメント化であり、局在化のための画素レベル分類とともに、アルゴリズムは、クラスの各インスタンスを別々にさらに分類する（例えば、ＰＤ１については陽性細胞、ＰＤ１については陰性細胞、ＨＥＲ２については陽性細胞、ＨＥＲ２については陰性細胞など）。例えば、単一のバイオマーカーについて染色された組織を考えると、リペルコーディング方式は、（ｉ）注釈によってバイオマーカーについて陽性と識別された細胞の中心をコーディングし、陽性細胞のリペルコーディングマスクを出力し、（ｉｉ）注釈によってバイオマーカーについて陰性と識別された細胞の中心をコーディングし、陰性細胞のリペルコーディングマスクを出力するように構成されることができる。別の例として、２つのバイオマーカーについて染色された組織を考えると、リペルコーディングは、（ｉ）注釈によって第１のバイオマーカーについて陽性と識別された細胞の中心をコーディングし、陽性細胞のリペルコーディングマスクを出力し、（ｉｉ）注釈によって第１のバイオマーカーについて陰性と識別された細胞の中心をコーディングし、陰性細胞のリペルコーディングマスクを出力し、（ｉｉｉ）注釈によって第２のバイオマーカーについて陽性と識別された細胞の中心をコーディングし、陽性細胞のリペルコーディングマスクを出力し、（ｉｖ）注釈によって第２のバイオマーカーについて陰性と識別された細胞の中心をコーディングし、陰性細胞のリペルコーディングマスクを出力するように構成されることができる。別の例として、単一のバイオマーカーについて染色された組織を考えると、リペルコーディングは、（ｉ）注釈によってバイオマーカーについて陽性と識別された細胞の中心をコーディングし、陽性細胞（例えば、腫瘍細胞）のリペルコーディングマスクを出力し、（ｉｉ）注釈によってバイオマーカーについて陰性と識別された細胞の中心をコーディングし、陰性細胞（例えば、免疫細胞）のリペルコーディングマスクを出力し、および（ｉｉｉ）注釈によって組織細胞として識別された細胞の中心をコーディングし、組織細胞のリペルコーディングマスクを出力するように構成されることができる。

【0070】

場合によっては、ラベリングコントローラ２５０は、ユーザからの入力または注釈アル
ゴリズムにしたがって、第１のスライド上の画像またはＦＯＶに注釈を付け、注釈をスライドの残りの部分にマッピングする。定義されたＦＯＶに応じて、注釈付けおよび位置合わせのためのいくつかの方法が可能である。例えば、複数の連続スライドの中からＨ＆Ｅスライド上に注釈が付けられた腫瘍領域全体は、自動的に、またはユーザによってＶＩＲＴＵＯＳＯ／ＶＥＲＳＯ（商標）などのインターフェース上で選択されてもよい。他の組織スライドは同じ組織ブロックからの連続切片に対応するため、ラベリングコントローラ２５０は、マーカー間位置合わせ動作を実行して、Ｈ＆Ｅスライドからの腫瘍注釈全体をマッピングし、一連の残りのＩＨＣスライドのそれぞれに転送する。マーカー間の位置合わせのための例示的な方法は、２０１４年３月１２日に出願された同一出願人による同時係属中の国際公開第２０１４１４００７０号パンフレット、「Ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ ｃｒｏｓｓ－ｉｍａｇｅ ａｎｎｏｔａｔｉｏｎ ｄｅｖｉｃｅｓ，ｓｙｓｔｅｍｓ ａｎｄ ｍｅｔｈｏｄｓ」にさらに詳細に記載されており、これは、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。いくつかの実施形態では、画像位置合わせおよび全腫瘍注釈の生成のための任意の他の方法が使用されることができる。例えば、病理学者などの資格のある読影者は、任意の他のＩＨＣスライド上の全腫瘍領域に注釈を付け、ラベリングコントローラ２５０を実行して、他のデジタル化スライド上の全腫瘍注釈をマッピングすることができる。例えば、病理学者（または自動検出アルゴリズム）は、Ｈ＆Ｅスライド上の全腫瘍領域に注釈を付けて、全ての隣接する連続切片化されたＩＨＣスライドの分析をトリガして、全てのスライド上の注釈付き領域の全スライド腫瘍スコアを決定することができる。

【0071】

訓練段階２２０において、ラベル２４５および対応する前処理画像２４０は、機械学習アルゴリズム２５５を訓練するために訓練コントローラ２６５によって使用されることができる。場合によっては、機械学習アルゴリズム２５５は、ＣＮＮ、残差ニューラルネットワーク（「Ｒｅｓｎｅｔ」）によって置換された符号化層を有する修正されたＣＮＮ、またはＲｅｓｎｅｔによって置換された符号化および復号層を有する修正されたＣＮＮを含む。他の例では、機械学習アルゴリズム２５５は、２次元ＣＮＮ（「２ＤＣＮＮ」）、マスクＲ－ＣＮＮ、特徴ピラミッドネットワーク（ＦＰＮ）、動的時間伸縮（「ＤＴＷ」）技術、隠れマルコフモデル（「ＨＭＭ」）など、またはそのような技術のうちの１つ以上の組み合わせ、例えばＣＮＮ－ＨＭＭもしくはＭＣＮＮ（マルチスケール畳み込みニューラルネットワーク）などの、前処理画像２４０を局在化、分類、および／または分析するように構成された任意の適切な機械学習アルゴリズムとすることができる。コンピューティング環境２００は、同じ種類の機械学習アルゴリズム、または異なる細胞を検出および分類するように訓練された異なる種類の機械学習アルゴリズムを使用することができる。例えば、コンピューティング環境２００は、ＰＤ１を検出して分類するための第１の機械学習アルゴリズム（例えば、Ｕ－Ｎｅｔ）を含むことができる。コンピューティング環境２００はまた、分化クラスタ６８（「ＣＤ６８」）を検出および分類するための第２の機械学習アルゴリズム（例えば、２ＤＣＮＮ）を含むことができる。コンピューティング環境２００はまた、ＰＤ１およびＣＤ６８を組み合わせ検出および分類するための第３の機械学習アルゴリズム（例えば、Ｕ－Ｎｅｔ）を含むことができる。コンピューティング環境２００はまた、患者などの被験者の治療または予後のための疾患の診断のための第４の機械学習アルゴリズム（例えば、ＨＭＭ）を含むことができる。本開示にかかる他の例では、さらに他の種類の機械学習アルゴリズムが実装されることができる。

【0072】

いくつかの実施形態では、訓練段階は、訓練データ（例えば、ラベル２４５および対応する前処理画像２４０）に基づいて機械学習アルゴリズム２５５を訓練し、教師ありまたは教師なし訓練中に機械学習アルゴリズム２５５のパラメータを最適化するために集合的に使用されるパラメータデータストアおよび訓練者コントローラを含む。場合によっては、訓練プロセスは、機械学習アルゴリズム２５５のパラメータのセット（例えば、１つ以上の係数および／または重み）を学習するための反復動作を含む。各パラメータは、パラ
メータの値が訓練中に調整されるように、調整可能な変数とすることができる。例えば、コスト関数または目的関数は、表示された表現の正確な分類を最適化し、所与の種類の特徴の特徴付け（例えば、形状、サイズ、均一性などを特徴付ける）を最適化し、所与の種類の特徴の検出を最適化し、および／または所与の種類の特徴の正確な局在を最適化するように構成されることができる。各反復は、機械学習アルゴリズム２５５のコスト関数を最小化または最大化する機械学習アルゴリズム２５５のパラメータのセットを学習することを含むことができ、その結果、パラメータのセットを使用するコスト関数の値は、前の反復における別のパラメータのセットを使用するコスト関数の値よりも小さいまたは大きい。コスト関数は、機械学習アルゴリズム２５５を使用して予測された出力と訓練データに含まれるラベル２４５との間の差を測定するように構築されることができる。パラメータのセットが識別されると、機械学習アルゴリズム２５５が訓練され、設計された局在化および／または分類に利用されることができる。

【0073】

訓練の反復は、停止条件が満たされるまで継続する。訓練完了条件は、（例えば）所定の反復回数が完了したとき、試験もしくは検証に基づいて生成された統計値が所定の閾値（例えば、分類精度閾値）を超えたとき、信頼度測定基準（例えば、平均もしくは中央信頼性メトリック、または特定の値を上回る信頼性メトリックの割合）に基づいて生成された統計値が所定の信頼度閾値を超えたとき、および／または訓練レビューに関与していたユーザ装置が訓練コントローラ２６５によって実行された訓練アプリケーションを閉じたときに満たされるように構成されることができる。場合によっては、ユーザ装置からの対応する要求またはトリガ条件の受信に応答して、新たな訓練反復が開始されることができる（例えば、ドリフトは訓練された機械学習モデル２６０内で決定される）。

【0074】

次いで、（結果生成段階２２５において）訓練された機械学習モデル２６０が使用されて新たな前処理画像２４０を処理して、細胞中心および／または位置確率を予測する、細胞種類を分類する、細胞マスク（例えば、画像の画素ごとのセグメンテーションマスク）を生成する、患者などの被験者の疾患の診断もしくは予後を予測する、またはそれらの組み合わせなどの予測または推測を生成することができる。場合によっては、マスクは、１つ以上のバイオマーカーに関連付けられた示された細胞の位置を表示する。例えば、単一のバイオマーカーについて染色された組織を考えると、訓練された機械学習モデル２６０は、（ｉ）細胞の中心および／または位置を推測し、（ｉｉ）バイオマーカーに関連付けられた染色パターンの特徴に基づいて細胞を分類し、（ｉｉｉ）陽性細胞についての細胞検出マスクおよび陰性細胞についての細胞検出マスクを出力するように構成されることができる。別の例として、２つのバイオマーカーについて染色された組織を考えると、訓練された機械学習モデル２６０は、（ｉ）細胞の中心および／または位置を推測し、（ｉｉ）２つのバイオマーカーに関連付けられた染色パターンの特徴に基づいて細胞を分類し、（ｉｉｉ）第１のバイオマーカーについて陽性の細胞についての細胞検出マスク、第１のバイオマーカーについて陰性の細胞についての細胞検出マスク、第２のバイオマーカーについて陽性の細胞についての細胞検出マスク、および第２のバイオマーカーについて陰性の細胞についての細胞検出マスクを出力するように構成されることができる。別の例として、単一のバイオマーカーについて染色された組織を考えると、訓練された機械学習モデル２６０は、（ｉ）細胞の中心および／または位置を推測し、（ｉｉ）細胞の特徴およびバイオマーカーに関連付けられた染色パターンに基づいて細胞を分類し、（ｉｉｉ）陽性細胞についての細胞検出マスクおよび陰性細胞コードについての細胞検出マスク、ならびに組織細胞として分類されたマスク細胞を出力するように構成されることができる。

【0075】

場合によっては、分析コントローラ２８０は、基礎となる画像の処理を要求したエンティティに利用される分析結果２８５を生成する。分析結果２８５は、新たな前処理された画像２４０に重ね合わされた訓練された機械学習モデル２６０から出力されたマスクを含むことができる。追加的または代替的に、分析結果２８５は、全スライド腫瘍スコアなど
の訓練された機械学習モデルの出力から計算または決定された情報を含むことができる。例示的な実施形態では、組織スライドの自動分析は、譲受人であるＶＥＮＴＡＮＡのＦＤＡ認可済みの５１０（ｋ）承認アルゴリズムを使用する。代替的または追加的に、任意の他の自動化されたアルゴリズムが使用されて、画像の選択された領域（例えば、マスクされた画像）を分析し、スコアを生成することができる。いくつかの実施形態では、分析コントローラ２８０は、コンピューティング装置から受信した病理学者、医師、調査者（例えば、臨床試験に関連する）、患者、医療専門家などの指示にさらに応答することができる。場合によっては、コンピューティング装置からの通信は、特定の被験者のセットに表される各被験者の分析の反復を実行する要求に対応して、セットの各被験者の識別子を含む。コンピューティング装置は、機械学習モデルおよび／または分析コントローラ２８０の出力に基づいて分析をさらに実行することができ、および／または被験者に推奨される診断／処置を提供することができる。

【0076】

コンピューティング環境２００は、例示的なものであり、異なる段階を有するおよび／または異なる構成要素を使用するコンピューティング環境２００が考えられることが理解されよう。例えば、場合によっては、ネットワークは、アルゴリズムを訓練するために使用される画像および／またはモデルによって処理された画像が（例えば、画像データストアからの）生画像であるように、前処理段階２１０を省略することができる。別の例として、前処理段階２１０および訓練段階２２０のそれぞれは、本明細書に記載の１つ以上の動作を実行するためのコントローラを含むことができることが理解されよう。同様に、ラベリング段階２１５は、ラベリングコントローラ２５０に関連して表示されており、結果生成段階２２５は、分析コントローラ２８０に関連して表示されているが、各段階に関連するコントローラは、ラベルの生成および／または分析結果の生成以外の本明細書に記載の他の動作をさらにまたは代替的に促進することができる。さらに別の例として、図２に示すコンピューティング環境２００の表示は、（例えば、様々なインターフェースがどのように機能するかなどを定義した機械学習アルゴリズム２５５のアーキテクチャを選択した）プログラマに関連付けられた装置、（例えば、ラベリング段階２１５において）初期ラベルまたはラベルレビューを提供するユーザに関連付けられた装置、および所与の画像のモデル処理を要求するユーザ（初期ラベルまたはラベルレビューを提供したユーザと同じユーザまたは異なるユーザとすることができる）に関連付けられた装置の表示された表現を欠いている。これらの装置の表示がないにもかかわらず、コンピューティング環境２００は、装置のうちの１つ、複数、または全ての使用を含むことができ、実際には、初期ラベルまたはラベルレビューを提供する対応する複数のユーザに関連付けられた複数の装置、および／または様々な画像のモデル処理を要求する対応する複数のユーザに関連付けられた複数の装置の使用を含むことができる。

【0077】

Ｖ．自動化されたオブジェクトの局在化および分類のための技術
デジタル画像の自動インスタンスセグメント化（例えば、細胞の局在化および分類）は、生物医学産業における画像分析のための有意義な情報を提供し、疾患の診断および処置において重要な役割を果たす。例えば、生物学的試料中のＰＤ１の発現レベルおよびパターンに基づくプログラム細胞死タンパク質１（「ＰＤ１」）陽性細胞および陰性細胞の自動化された局在化および分類が使用されて、試料被験者の複雑な免疫学的状態および疾患の診断を決定することができる。細胞などのオブジェクトの生成されたセグメンテーションマスクの精度は、対応する機械学習モデルに依存し、機械学習モデルの性能は、機械学習アルゴリズムの訓練およびアーキテクチャに依存する。様々な実施形態では、機械学習モデルの性能は、画像で観察される様々なバイオマーカー染色パターンを考慮したリペルコーディング方式によって生成されたマスクによってラベル付けされた画像を使用して機械学習アルゴリズムを訓練することによって最適化される。さらに、いくつかの実施形態では、機械学習モデルの性能は、オブジェクトを局在化するだけでなく、マルチクラス分割のための複雑な特徴を把握するために、スキップ接続を有する残差ブロックを使用して
修正されたＵ－Ｎｅｔアーキテクチャを使用することによって最適化される。

【0078】

Ｖ．Ａ．オブジェクトの局在化および分類のための例示的なリペルコーディング方式
図３は、様々な実施形態にかかる、機械学習アルゴリズムを訓練する際に使用されるリペルコーディングマスクを生成するためにリペルコーディング方式を実装するためのプロセス３００を示すフローチャートを示している。図３に示すプロセス３００は、それぞれのシステム、ハードウェア、またはそれらの組み合わせの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）において実装されることができる。ソフトウェアは、非一時的記憶媒体（例えば、メモリ装置）に記憶されてもよい。図３に提示され、以下に説明されるプロセス３００は、例示的且つ非限定的であるように意図されている。図３は、特定のシーケンスまたは順序で行われる様々な処理ステップを示しているが、これに限定されるものではない。特定の代替実施形態では、ステップは、いくつかの異なる順序で実行されてもよく、またはいくつかのステップが並行して実行されてもよい。図１および図２に示す実施形態などの特定の実施形態では、図３に示す処理は、１つ以上の機械学習アルゴリズム（例えば、機械学習アルゴリズム２５５）による訓練のためのリペルコーディングマスクを生成するために、前処理またはラベリングサブシステム（例えば、コンピューティング環境２００）によって実行されることができる。

【0079】

プロセス３００は、ブロック３１０において開始し、生物学的試料の画像が、コンピューティング装置（例えば、図２に関して説明したコンピューティング環境２００のラベリングコントローラ２５０）によって取得またはアクセスされる。場合によっては、画像は、バイオマーカーに関連付けられた染色パターンを有する細胞を表示する。他の例では、画像は、複数のバイオマーカーに関連付けられた複数の染色パターンを有する細胞を表示する。画像は、生ドットラベルによって注釈付けされる。生ドットラベルは、（ｉ）細胞中心、および（ｉｉ）１つ以上のバイオマーカーの発現を含む情報を提供する。図４に示すように、画像４００は、各細胞の中心に配置された生ドットラベル４０５を含み、生ドットラベル４０５の色、記号、パターンなどは、１つ以上のバイオマーカーの発現を示す。「ｘ」ラベル４０５は、細胞がバイオマーカーについて陰性である（バイオマーカーを発現していない）ことを示す。「＋」ラベル４０５は、細胞がバイオマーカーについて陽性である（バイオマーカーを発現している）ことを示す。図２に関して説明したように、生ドットラベル４０５は、ユーザによって、または前処理段階において注釈ツールによって自動的に注釈付けされてもよい。

【0080】

ブロック３２０において、画像は、リペルコーディングアルゴリズムを使用して初期細胞局在マスクにコーディングされる。リペルコーディングアルゴリズムは、式（１）において定義される。リペルコーディングアルゴリズムは、画素とその最も近い細胞中心ラベルとの間の距離、および画素とその第２の最も近い細胞中心ラベルとの間の距離を計算する。各画素について、画素とその最も近い細胞中心ラベルとの間の距離、および画素とその２番目に近い細胞中心ラベルとの間の距離に基づいて擬似距離が計算される。擬似距離が閾値以上である場合、対応する画素には０の値が割り当てられる。そうでない場合、擬似距離にしたがって非ゼロ値が画素に割り当てられる。図５は、リペルコーディングアルゴリズムによってコーディングされている画像５００（例えば、図４に関して説明した画像４００）を示しており、これは、（高強度画素によって表される）細胞中心５１０と、応答減衰（低強度画素）によって表される周囲５１５とを含む初期細胞局在マスク５０５を細胞中心５１０から離れて出力する。

【0081】

ブロック３３０において、生ドットラベルを使用したバイオマーカー染色パターンに基づいて、初期細胞局在マスクがセグメント化される。セグメンテーションは、セグメンテーションアルゴリズムを使用して実行される。セグメント化は、インスタンスセグメント
化であり、局在化のための画素レベル分類とともに、セグメンテーションアルゴリズムは、クラスの各インスタンスを別々にさらに分類する（例えば、ＰＤ１については陽性細胞、ＰＤ１については陰性細胞、ＨＥＲ２については陽性細胞、ＨＥＲ２については陰性細胞など）。セグメント化アルゴリズムは、当該技術分野において知られている任意の既知のインスタンスセグメンテーション技術を実装することができる。例えば、場合によっては、セグメンテーションアルゴリズムは、生ドットラベルによって提供されるバイオマーカー情報に基づいてルール化され、細胞局在マスクをセグメント化する。他の例では、セグメンテーションアルゴリズムは、ｋ平均などのクラスタベースであり、生ドットラベルによって提供されるバイオマーカー情報に基づいて細胞局在マスクをセグメント化する。図５は、セグメント化された初期細胞局在マスク５０５がセグメント化されてセグメント化された細胞局在マスク５２０を生成し、ここで、各画素が、リペルコーディングアルゴリズムに基づいて特定のクラス（背景５２５または細胞５３０のいずれか）に属し、特定のバイオマーカークラス（バイオマーカー５３５について陰性またはバイオマーカー５４０について陽性のいずれか）が、セグメンテーションアルゴリズムに基づいて画像の各画素に割り当てられていることを示している。セグメンテーションアルゴリズムが最初に画像に適用されてセグメンテーションマスクを生成し、その後、リペルコーディングアルゴリズムがセグメンテーションマスクに適用されてセグメント化された細胞局在マスクを生成する場合、ブロック３２０および３３０の順序が逆にされることができることを理解されたい。

【0082】

ブロック３４０において、セグメント化された細胞局在マスクは、２つ以上の反発コーディングマスクに分割される。本質的に、セグメント化された細胞局在マスク内で表される各クラスは、それ自体の別個のリペルコーディングマスクに分割される。例えば、セグメント化された細胞局在マスクが２つのクラス：（１）バイオマーカーについて陽性の細胞、および（２）バイオマーカーについて陰性の細胞を有する場合、セグメント化された細胞局在マスクが２つの反発マスク：（１）バイオマーカーについて陽性の細胞についての１つのマスク、および（２）バイオマーカーについて陰性の細胞についての別のマスクに分割される。分割は、パラメータとして選択可能な様々なクラスを非表示または除去する画像処理アルゴリズムを使用して実行されてもよい。例えば、上記の例を続けると、バイオマーカーについて陽性の細胞についてのマスクは、セグメント化された細胞局在マスクからバイオマーカーについて陰性の細胞を隠すかまたは除去することによって生成されることができる。一方、バイオマーカーについて陰性の細胞についてのマスクは、セグメント化された細胞局在マスクからバイオマーカーについて陽性の細胞を隠すかまたは除去することによって生成されることができる。図５は、セグメント化された細胞局在マスク５２０が、２つのリペルコーディングマスク：（１）バイオマーカーについて陽性の細胞についての１つのマスク５４５、および（２）バイオマーカーについて陰性の細胞についての別のマスク５５０に分割されることを示している。

【0083】

Ｖ．Ｂ．インスタンスセグメンテーションのための例示的なＵ－Ｎｅｔ
修正されたＵ－Ｎｅｔモデルがバイオマーカーセグメンテーション方法において使用されて、入力画像（例えば、生物学的試料の１つ以上の画像）から複雑な特徴を個別に抽出し、高解像度の２次元セグメンテーションマスクを生成することができる。図６に示すように、修正されたＵ－Ｎｅｔモデル６００は、エンコーダ６０５およびデコーダ６１０を含むことができ、これは、Ｕ字形アーキテクチャを与える。エンコーダ６０５は、それぞれが正規化線形ユニット（ＲｅＬＵ）に続くスキップ接続を有する残余ブロックを備える１つ以上の層を有する畳み込み（例えば、３×３の畳み込み（パッドなしの畳み込み））の反復適用と、ダウンサンプリングのための最大プーリング演算（例えば、ストライド２の２×２最大プーリング）とを含むＣＮＮネットワークである。エンコーダ６０５の１つ以上の層は、スキップ接続を有する残余ブロックを含む。残差ブロックの助けを借りて、畳み込みの元の入力も畳み込みの出力に追加される。各ダウンサンプリングステップまた
はプーリング動作において、特徴チャネルの数は２倍にされることができる。符号化の間、画像データの空間情報は削減され、特徴情報は増加される。デコーダ６１０は、特徴とエンコーダ６０５からの空間情報とを組み合わせるＣＮＮネットワークである（エンコーダ６０５からの特徴マップのアップサンプリング）。特徴マップのアップサンプリングの後には、２次元セグメンテーションマスクを生成するために、チャネルの数を半分にするアップコンボリューション（アップサンプリング演算子）、エンコーダ６０５からの対応して切り取られた特徴マップとの連結、それぞれの後に正規化線形ユニット（ＲｅＬＵ）が続く畳み込み（例えば、２つの３×３畳み込み）の反復適用、および最終的な畳み込み（例えば、１×１畳み込み）が続く。デコーダ６１０の１つ以上の層はまた、スキップ接続を有する残差ブロックを含むことができることを理解されたい。局在化するために、エンコーダ６０５からの高解像度特徴は、デコーダ６１０からのアップサンプリングされた出力と組み合わされる。

【0084】

Ｖ．Ｃ．インスタンスセグメンテーションのための機械学習アルゴリズムを訓練するための技術
図７は、様々な実施形態にかかる、バイオマーカー発現パターンに基づいて細胞を局在化および分類するように機械学習アルゴリズム（例えば、修正されたＵ－Ｎｅｔ）を訓練するためのプロセス７００を示すフローチャートを示している。図７に示すプロセス７００は、それぞれのシステム、ハードウェア、またはそれらの組み合わせの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）において実装されることができる。ソフトウェアは、非一時的記憶媒体（例えば、メモリ装置）に記憶されてもよい。図７に提示され、以下に説明されるプロセス７００は、例示的且つ非限定的であるように意図されている。図７は、特定のシーケンスまたは順序で行われる様々な処理ステップを示しているが、これに限定されるものではない。特定の代替実施形態では、ステップは、いくつかの異なる順序で実行されてもよく、またはいくつかのステップが並行して実行されてもよい。図１および図２に示す実施形態などの特定の実施形態では、図７に示す処理は、訓練段階（例えば、アルゴリズム訓練２２０）の一部として実行されて、細胞を局在化する画素レベル分類（例えば、背景および細胞）と、バイオマーカー発現に基づいて細胞を分類するクラス（例えば、細胞）の各インスタンスの画素ごとのバイオマーカー発現分類とを含む予測またはセグメンテーションマスクを生成することができる。

【0085】

プロセス７００は、ブロック７０５において開始し、生物学的試料の訓練画像（例えば、図２に関して説明したコンピューティング環境２００の前処理画像２４０）がコンピューティング装置によって取得またはアクセスされる。場合によっては、訓練画像は、バイオマーカーに関連付けられた染色パターンを有する細胞を表示する。他の例では、訓練画像は、複数のバイオマーカーに関連付けられた複数の染色パターンを有する細胞を表示する。訓練画像には、リペルコーディングマスク（例えば、図３に関して説明したプロセス３００にしたがって生成されたリペルコーディングマスク）が注釈付けされる。リペルコーディングマスクは、（ｉ）細胞位置、および（ｉｉ）１つ以上のバイオマーカーに対する細胞の分類を含む、訓練画像に関する情報を提供する。

【0086】

ブロック７１０において、１つ以上の画像およびマスクラベルは、所定サイズの画像パッチに分割される。例えば、画像は、通常、ランダムなサイズを有し、修正されたＣＮＮなどの機械学習アルゴリズムは、正規化された画像サイズでよりよく学習し、したがって、訓練画像は、訓練を最適化するために特定のサイズを有する画像パッチに分割されることができる。いくつかの実施形態では、訓練画像は、６４画素×６４画素、１２８画素×１２８画素、２５６画素×２５６画素、または５１２画素×５１２画素の所定のサイズを有する画像パッチに分割される。訓練画像の分割は、リペルコーディングマスクが生成される前に実行されてもよく、したがって、その後に生成されるリペルコーディングマスク
は、対応する訓練画像のサイズと同じサイズを有する。あるいは、分割は、リペルコーディングマスクが生成された後に実行されてもよい。そのような場合、リペルコーディングマスクは前処理され、訓練画像の分割の前、後、または同時に訓練画像と同じ所定のサイズのマスクパッチに分割される。

【0087】

ブロック７１５において、機械学習アルゴリズムが画像パッチについて訓練される。場合によっては、機械学習アルゴリズムは、エンコーダおよびデコーダを含む修正されたＵ－Ｎｅｔであり、エンコーダの１つ以上の層は、スキップ接続（またはＲｅｓｎｅｔ）を有する残差ブロックを含む。訓練は、機械学習アルゴリズムのコスト関数を最小化または最大化する機械学習アルゴリズムのパラメータのセットを見つけるために反復動作を実行することを含むことができる。反復からの出力は、細胞を局在化する画素レベル分類（例えば、背景および細胞）と、バイオマーカー発現に基づいて細胞を分類するクラス（例えば、細胞）の各インスタンスの画素ごとのバイオマーカー発現分類とを含む予測またはセグメンテーションマスクである。各反復は、パラメータのセットを使用するコスト関数の値が前の反復におけるパラメータの別のセットを使用するコスト関数の値よりも小さくまたは大きくなるように、機械学習アルゴリズムのパラメータのセットを見つけることを含む。コストまたは目的関数は、（ｉ）画素ごとの予測画素レベル分類および予測バイオマーカー発現分類と、（ｉｉ）グラウンドトゥルースリペルコーディングマスクとの間の差を測定するように構築される。特定の場合では、コスト関数は、バイナリ交差エントロピー損失関数である。

【0088】

場合によっては、訓練は、所定のスケジュールにしたがって学習率を最大化または最小化することによって機械学習アルゴリズムの学習率を調整することをさらに含む。所定のスケジュールは、コスト関数を最適化するために所定数のエポックごとに学習率を所定の係数だけ低下させるステップ減衰スケジュールであってもよい。

【0089】

訓練の反復は、停止条件が満たされるまで継続する。訓練完了条件は、（例えば）所定の反復回数が完了したとき、試験もしくは検証に基づいて生成された統計値が所定の閾値（例えば、分類精度閾値）を超えたとき、信頼度測定基準（例えば、平均もしくは中央信頼性メトリック、または特定の値を上回る信頼性メトリックの割合）に基づいて生成された統計値が所定の信頼度閾値を超えたとき、および／または訓練レビューに関与していたユーザ装置が訓練アプリケーションを閉じたときに満たされるように構成されることができる。訓練の結果として、機械学習アルゴリズムは、バイオマーカー発現に基づいて細胞を分類するクラス（例えば、細胞）の各インスタンスについて、細胞を局在化する画素レベル分類（例えば、背景および細胞）および画素ごとのバイオマーカー発現分類を予測するために機械学習アルゴリズムによって使用される画像内の非線形関係を学習した。訓練の出力は、全ての反復からコスト関数の最小値またはコスト関数の最大値を導出した非線形関係に関連付けられたパラメータの学習されたセットを有する訓練された機械学習モデルを含む。

【0090】

ブロック７２０において、訓練された機械学習モデルが提供される。例えば、訓練された機械学習モデルは、図２に関して説明したように、画像分析環境において実行するために展開されることができる。

【0091】

Ｖ．Ｄ．機械学習モデルを使用したインスタンスセグメンテーションのための技術
図８は、様々な実施形態にかかる、バイオマーカー発現パターンに基づいて細胞を局在化および分類するために機械学習モデル（例えば、修正されたＵ－Ｎｅｔモデル）を使用するプロセス８００を示すフローチャートを示している。図８に示すプロセス８００は、それぞれのシステム、ハードウェア、またはそれらの組み合わせの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命
令、プログラム）において実装されることができる。ソフトウェアは、非一時的記憶媒体（例えば、メモリ装置）に記憶されてもよい。図８に提示され、以下に説明されるプロセス８００は、例示的且つ非限定的であるように意図されている。図８は、特定のシーケンスまたは順序で行われる様々な処理ステップを示しているが、これに限定されるものではない。特定の代替実施形態では、ステップは、いくつかの異なる順序で実行されてもよく、またはいくつかのステップが並行して実行されてもよい。図１および図２に示す実施形態などの特定の実施形態では、図８に示す処理は、結果生成段階（例えば、結果生成２８０）の一部として実行され、細胞を局在化する画素レベル分類（例えば、背景および細胞）と、バイオマーカー発現に基づいて細胞を分類するクラス（例えば、細胞）の各インスタンスの画素ごとのバイオマーカー発現分類とを含む予測またはセグメンテーションマスクを生成することができる。

【0092】

プロセス８００は、ブロック８０５において開始し、生物学的試料のための１つ以上の画像がアクセスまたは取得される。画像は、１つ以上のバイオマーカーの染色パターンを含む細胞を表示する。特定の場合では、１つ以上の画像は、バイオマーカーおよび別のバイオマーカーの染色パターンを含む細胞を表示する。図１に関して説明したように、画像は、生物学的試料中の特定のタンパク質および細胞小器官が分析システムで処理および分析するために見えるように、免疫化学染色技術（例えば、ＩＦ）によって前処理されることができる。いくつかの実施形態では、画像は、異なるバイオマーカーに関する情報がマルチチャネル分析または類似の技術のもとで報告されることができるように、抗体などの複数の染色剤または結合剤を使用して染色される。

【0093】

ブロック８１０において、１つ以上の画像は、所定サイズの画像パッチに分割されることができる。例えば、画像は、通常、ランダムなサイズを有し、修正されたＣＮＮなどの機械学習アルゴリズムは、正規化された画像サイズでよりよく学習し、したがって、画像は、分析を最適化するために特定のサイズを有する画像パッチに分割されることができる。いくつかの実施形態では、画像は、６４画素×６４画素、１２８画素×１２８画素、２５６画素×２５６画素、または５１２画素×５１２画素の所定のサイズを有する画像パッチに分割される。

【0094】

ブロック８１５において、１つ以上の画像または画像パッチは、さらなる分析のために機械学習モデルに入力される。場合によっては、機械学習モデルは、エンコーダおよびデコーダを含む修正されたＣＮＮ（例えば、Ｕ－Ｎｅｔ）モデルであり、エンコーダの１つ以上の層は、スキップ接続（またはＲｅｓｎｅｔ）を有する残差ブロックを含む。機械学習モデルは、（コンピューティング環境２００およびプロセス７００に関して詳細に説明したように）訓練画像および訓練画像内の各バイオマーカーに対する対応するラベルマスクから学習されたパラメータをさらに含む。ラベルマスクは、（コンピューティング環境２００およびプロセス３００に関して詳細に説明したように）バイオマーカーのそれぞれに対するラベルと組み合わせてリペルコーディング方式を使用して生成された。図３に関して記載したように、ラベルマスクを生成することは、（ｉ）リペルコーディングを使用して各訓練画像内の細胞をコーディングすることであって、コーディングが細胞中心および細胞中心から離れた応答減衰によって表される周囲を含む、各訓練画像内の細胞をコーディングすることと、（ｉｉ）コーディングおよびバイオマーカーのそれぞれのラベルに基づいて、画像内のバイオマーカーのそれぞれの２つ以上のラベルマスクを生成することと、を含む。

【0095】

ブロック８２０において、提供された機械学習モデルによって、抽出された識別特徴を含む特徴表現に、１つ以上の画像または画像パッチが符号化される。識別特徴（例えば、より低い解像度の特徴）は、細胞などの生物学的材料または生物学的構造に関連付けられることができる。機械学習モデルは、複数の異なるサブネットワーク内の複数の異なるレ
ベルで識別特徴への画像または画像パッチの符号化を実行することができ、各サブネットワークは、バイオマーカーの少なくとも１つの発現（例えば、陽性または陰性）と関連付けられる。

【0096】

ブロック８２５において、抽出された識別特徴は、細胞の特徴および空間情報と、画像または画像パッチ内のバイオマーカーの染色パターンとを、アップコンボリューションのシーケンスおよび識別特徴を有する連結を介して、組み合わされる。組み合わせは、抽出された識別特徴を画素空間（例えば、より高い解像度）に投影し、各画素空間を分類することによって実行されることができる。機械学習モデルによるデコーダは、複数の異なるサブネットワーク内の複数の異なるレベルで抽出された識別特徴の組み合わせおよび投影を実行することができる。特定の場合では、複数の異なるレベルは、アップサンプリング（すなわち、特徴次元を入力画像パッチの元のサイズに拡張する）および連結を実行し、続いて定期的な畳み込み演算を実行して、抽出された識別特徴を投影する。分類は、細胞検出およびバイオマーカーの染色パターンに基づく細胞の分類を含む。具体的には、分類は、細胞を局在化させる画素レベル分類（例えば、背景および細胞）と、バイオマーカー発現に基づいて細胞を分類するクラス（例えば、細胞）の各インスタンスの画素ごとのバイオマーカー発現分類とを含む。

【0097】

ブロック８３０において、組み合わされた細胞の特徴および空間情報ならびにバイオマーカーの染色パターンに基づいて、１つ以上のバイオマーカーのそれぞれの２つ以上のセグメンテーションマスクが生成され、出力される。２つ以上のセグメンテーションマスクは、バイオマーカーを発現している細胞についての陽性セグメンテーションマスクと、バイオマーカーを発現していない細胞についての陰性セグメンテーションマスクとを含む。場合によっては、セグメンテーションマスクは、各マスク上の各画素に、細胞の位置およびバイオマーカーの種類が発現される（または特定の発現基準に到達する）確率を表す値が割り当てられた高解像度画像パッチとして出力される。いくつかの実施形態では、セグメンテーションマスクは、２５６画素×２５６画素のサイズで出力され、各画素は、０から１の範囲の値を有し、０は、セグメンテーションマスクに対応するバイオマーカーが画素位置で発現されない（または発現基準に到達しない）ことを表し、１は、セグメンテーションマスクに対応するバイオマーカーが画素位置で発現される（または発現基準に到達する）ことを表す。

【0098】

任意のブロック８３５において、インスタンスセグメント化画像を生成するために、２つ以上のセグメンテーションマスクが１つ以上の画像または画像パッチに重ね合わせられることができる。場合によっては、重ね合わせアルゴリズムは、セグメンテーションマスク上の各画素の最大画素値を選択することと、インスタンスセグメント化画像上の対応する画素に最大値を割り当てることとを含むことができる。場合によっては、重ね合わせアルゴリズムは、各セグメンテーションマスク上の画素に重みを割り当てることと、各画素の重み付き画素値を結合することと、結合値をインスタンスセグメント化画像上の対応する画素に割り当てることとを含むことができる。重ね合わせアルゴリズムは、各画素値が１以下であることを確認するチェックステップをさらに含むことができる。重ね合わせアルゴリズムは、上述したアルゴリズムに限定されず、当業者に知られている任意のアルゴリズムとすることができることを理解されたい。

【0099】

ブロック８４０において、２つ以上のセグメンテーションマスクおよび／またはインスタンスセグメント化画像が出力される。例えば、２つ以上のセグメンテーションマスクおよび／またはインスタンスセグメント化画像は、ローカルに提示されるか、または別の装置に送信されてもよい。２つ以上のセグメンテーションマスクおよび／またはインスタンスセグメント化画像は、被験者の識別子とともに出力されてもよい。場合によっては、２つ以上のセグメンテーションマスクおよび／またはインスタンスセグメント化画像は、エ
ンドユーザまたは記憶装置に出力される。

【0100】

任意のブロック８４５において、生物学的試料に関連する被験者の診断が２つ以上のセグメンテーションマスクおよび／またはインスタンスセグメント化画像を使用して決定される。場合によっては、診断は、インスタンスセグメント化画像内のバイオマーカーを発現している細胞に基づいて決定される。場合によっては、診断は、例のセグメント化画像内でバイオマーカーを発現していない細胞に基づいて決定される。場合によっては、診断は、インスタンスセグメント化画像内でバイオマーカーを発現している細胞と、インスタンスセグメント化画像内でバイオマーカーを発現していない細胞との組み合わせに基づいて決定される。

【0101】

任意のブロック８５０において、処置が生物学的試料に関連付けられた被験者に施される。場合によっては、処置は、例のセグメント化画像内でバイオマーカーを発現している細胞に基づいて施される。場合によっては、処置は、例のセグメント化画像内でバイオマーカーを発現していない細胞に基づいて施される。場合によっては、処置は、ブロック８４５において決定された被験者の診断に基づいて施される。場合によっては、処置は、インスタンスセグメント化画像内でバイオマーカーを発現している細胞、インスタンスセグメント化画像内でバイオマーカーを発現していない細胞、およびブロック８４５において決定された被験者の診断の任意の組み合わせに基づいて施される。

【0102】

Ｖ．Ｅ．画像分析においてインスタンスセグメンテーションを使用するための技術
図９は、様々な実施形態にかかる、画像分析をサポートまたは改善するためにセグメンテーションマスクを適用するためのプロセス９００を示すフローチャートを示している。図９に示すプロセス９００は、それぞれのシステム、ハードウェア、またはそれらの組み合わせの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）において実装されることができる。ソフトウェアは、非一時的記憶媒体（例えば、メモリ装置）に記憶されてもよい。図９に提示され、以下に説明されるプロセス９００は、例示的且つ非限定的であるように意図されている。図９は、特定のシーケンスまたは順序で行われる様々な処理ステップを示しているが、これに限定されるものではない。特定の代替実施形態では、ステップは、いくつかの異なる順序で実行されてもよく、またはいくつかのステップが並行して実行されてもよい。図１および図２に示す実施形態などの特定の実施形態では、図９に示す処理は、結果生成段階（例えば、結果生成２２５）の一部として実行されて、画像分析をサポートまたは改善することができる。

【0103】

プロセス９００は、ブロック９０５において開始し、試料の複数の画像がアクセスされる。場合によっては、検体は、１つ以上のバイオマーカーについて染色される。いくつかの実施形態では、アクセスされる画像は、ＲＧＢ画像またはマルチスペクトル画像である。いくつかの実施形態では、アクセスされた画像は、メモリ装置に記憶される。画像は、イメージング装置（例えば、図１に関して説明したイメージング装置）を使用して、例えばリアルタイムで生成または取得されることができる。いくつかの実施形態では、画像は、本明細書に記載されたように、検体を保持する顕微鏡スライドの画像データを撮像することができる顕微鏡または他の機器からアクセスされる。いくつかの実施形態では、画像は、画像タイルを走査することができるものなどの２Ｄスキャナからアクセスされる。あるいは、画像は、以前に生成され（例えば、走査され）、メモリ装置に記憶された（または、その場合には、通信ネットワークを介してサーバから取得された）画像であってもよい。場合によっては、画像は、細胞などの生物学的材料または生物学的構造のための１つ以上のセグメンテーションマスクを含むインスタンスセグメント化画像である。インスタンスセグメント化画像は、プロセス８００および図８に関して説明したように、アクセスのために生成および／または取得されることができる。

【0104】

いくつかの実施形態では、アクセスされる画像は、多重画像であり、すなわち、受信される画像は、２つ以上の染色剤で染色された生物学的試料の画像である。これらの実施形態では、ブロック９１０において、さらなる処理の前に、各多重画像は、その構成チャネルに混合解除され、各混合解除チャネルは、特定の染色または信号に対応する。画像取得および／または混合解除に続いて、ブロック９１５～９４５において、画像または混合解除画像チャネル画像が画像分析アルゴリズムによって処理されて、細胞および／または核を識別および分類する。本明細書に記載のプロセスおよび分析アルゴリズムは、腫瘍細胞、非腫瘍細胞、間質細胞、リンパ球、非標的染色などの識別および分類を含む、入力画像内の特徴に基づいて様々な種類の細胞または細胞核を識別および分類するように適合されることができる。

【0105】

ブロック９１５において、候補核が識別される。いくつかの実施形態では、画像は、核中心（シード）を検出するため、および／または核をセグメント化するために画像分析に入力される。例えば、バイオマーカーで染色された画像内の複数の画素を識別することができ、これは、細胞の細胞質および細胞膜画素の同時識別のために入力画像の前景の複数の画素の１つ以上の色平面を考慮することを含む。場合によっては、画像は、分析されないか、または所与のバイオマーカーについて背景または陰性であると決定されない画像の部分、例えばスライド背景、図２～図８に関して説明したように所与のバイオマーカーを発現していない細胞、および／または画像の対比染色成分を除去するために前処理される。その後、デジタル画像の前景内の細胞質画素と細胞膜画素との間の閾値レベルが決定され、選択された画素および前景からのその所定数の隣接画素が処理されて、決定された閾値レベルに基づいて、選択された画素がデジタル画像内の細胞質画素、細胞膜画素、または遷移画素であるかどうかを決定する。いくつかの実施形態では、腫瘍核は、放射状対称性に基づく方法、ヘマトキシリン画像チャネルまたはバイオマーカー画像チャネルなどのＰａｒｖｉｎの放射状対称性に基づく方法を混合解除後に適用することによって自動的に識別される。

【0106】

ブロック９２０において、候補核から特徴が抽出される。特徴の少なくともいくつかは、腫瘍細胞または腫瘍細胞のクラスタなどの画像の標的領域内の生物学的材料または生物学的構造に関連付けられることができる。抽出は、セマンティックまたはインスタンスセグメンテーションが可能なマスクＲ－ＣＮＮなどの画像分析予測モデルによって実行されてもよい。例えば、候補核が識別された後、候補核は、腫瘍核を他の候補核（例えば、リンパ球核）から区別するために画像分析予測モデルによってさらに分析されることができる。特定の例では、他の候補核は、核および／または細胞の特定のクラスを識別する、例えばリンパ球核および間質核を識別するためのさらなるプロセスとすることができる。

【0107】

ブロック９２５において、標的領域内の生物学的物質または構造体は、候補核から抽出された特徴に基づいて、細胞または細胞核の種類に分類される。分類は、画像分析予測モデルによって行われてもよい。いくつかの実施形態では、学習された教師あり分類器が適用されて、候補核から腫瘍核を識別する。例えば、学習された教師あり分類器は、核特徴について訓練されて腫瘍核を識別し、次いで検査画像内の核候補を腫瘍核または非腫瘍核のいずれかとして分類するために適用されることができる。場合により、学習された教師あり分類器は、リンパ球核および間質核などの異なるクラスの非腫瘍核を区別するようにさらに訓練されてもよい。いくつかの実施形態では、腫瘍核を識別するために使用される学習された教師あり分類器は、ランダムフォレスト分類器である。例えば、ランダムフォレスト分類器は、（ｉ）腫瘍核と非腫瘍核の訓練セットを作成すること、（ｉｉ）各核の特徴を抽出すること、および（ｉｉｉ）抽出された特徴に基づいて腫瘍核と非腫瘍核を区別するようにランダムフォレスト分類器を訓練することによって訓練されることができる。次いで、訓練されたランダムフォレスト分類器が適用されて、試験画像内の核を腫瘍核
と非腫瘍核とに分類することができる。場合により、ランダムフォレスト分類器は、リンパ球核および間質核などの異なるクラスの非腫瘍核を区別するようにさらに訓練されてもよい。

【0108】

ブロック９３０において、標的領域のセグメンテーションマスクが予測され、生物学的物質または構造体の分類に基づいて出力される。セグメンテーションマスクは、画像分析予測モデルによって出力されてもよい。セグメンテーションマスクは、画像上に重ね合わせられて、標的領域マスク画像を生成することができる。

【0109】

任意のブロック９３５において、本明細書で詳細に説明するように、メトリックは、様々な識別された核、細胞、細胞のクラスタ、および／または生物学的物質もしくは構造体から導出される。場合によっては、分類された核、細胞、細胞のクラスタ、および／または生物学的物質もしくは構造体に含まれるかまたはそれらを取り囲む画素に様々な画像分析アルゴリズムを適用することによって、１つ以上のメトリックが計算されることができる。いくつかの実施形態では、メトリックは、疾患状態、面積、短軸および長軸の長さ、周囲長、半径、硬度などを含む。

【0110】

ブロック９４０において、非標的領域マスク画像が提供される。例えば、標的領域マスク画像または標的領域は、メモリ記憶装置に提供されてもよく、コンピューティング装置のディスプレイに提供されてもよく、ユーザインターフェースなどの１つ以上の種類の媒体でユーザに提供されてもよい。場合によっては、標的領域マスク画像を提供することは、関連するメトリックを提供することを含み、またはメトリックは別々に提供されてもよい。

【0111】

ＶＩ．実施例
実施例１．ＰＤ１を使用した実験
ＩｍａｇｅＮｅｔデータセットからの画像を使用して、機械機械学習モデルを訓練した。ＩｍａｇｅＮｅｔデータセットは、胃、膵臓、肺、乳房、結腸および膀胱を適応症として含む複数のＩＦ染色組織スライドを含んでいた。データセットは、スライド中の腫瘍、腫瘍周囲および正常組織領域をカバーする可変サイズ画像を含んでいた。画像の解像度は０．３２５μｍ／画素であった。画像は、式（１）に関して本明細書で説明したように、リペルコーディングを使用して前処理された。これらの画像およびマスクからパッチを抽出してモデルを訓練した。本実施例では、訓練画像パッチは、２５０画素×２５０画素のサイズを有していた。分類に使用したバイオマーカーはＰＤ１であった。このバイオマーカーは、主にリンパ球上に発現され、膜状（部分的または完全）、点状、核状、球状およびこれらのパターンの組み合わせを含む多数のパターンで現れる。ＰＤ１は、広範囲の強度で発現するパターンを示す。図１０は、ＰＤ１の異なる染色パターンを示している。

【0112】

本実験では、１５枚の異なるスライドから１００枚の画像を選択した。画像は、図６に関して説明したように、機械学習モデルに供給する前に、２５０画素×２５０画素のサイズのパッチに分割された。図１１は、訓練セットおよび検証セットの双方からの視覚的結果を示している。このモデルは、赤血球の発現に対する偽陽性を検出しなかった。表１は、訓練セットおよび検証セットの双方についてのＰＤ１＋およびＰＤ１－細胞の再現率および適合率を示している。

【表1】

【0113】

ＶＩＩ．さらなる考察
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示される１つ以上の方法の一部または全部、および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

【0114】

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者に任されてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

【0115】

その後の説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態のその後の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。

【0116】

実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施されることができることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8-1】

【図8-2】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2024-08-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、
生物学的試料についての画像にアクセスすることであって、前記画像が、バイオマーカーの染色パターンを含む細胞を表示する、ことと、
前記画像を訓練された機械学習モデルに入力することであって、
前記機械学習モデルが、エンコーダおよびデコーダを含む畳み込みニューラルネットワークを含み、
前記エンコーダの１つ以上の層がスキップ接続を有する残余ブロックを含み、
前記訓練された機械学習モデルのパラメータが、訓練画像および前記訓練画像内の各バイオマーカーについての対応するラベルマスクから学習されたものであり、
前記ラベルマスクが、前記バイオマーカーのそれぞれのラベルと組み合わせてリペルコーディング方式を使用して生成され、前記リペルコーディング方式を使用することは、前記訓練画像によって描写された細胞の細胞中心を識別する情報に基づいて、前記リペルコーディング方式を前記訓練画像に適用することを含む、ことと、
前記訓練された機械学習モデルによって、前記画像を、抽出された識別特徴を含む特徴表現に符号化することと、
前記訓練された機械学習モデルによって、前記生物学的試料の前記画像によって描写された前記細胞の特徴および空間情報と、前記バイオマーカーの前記染色パターンとを、アップコンボリューションのシーケンスおよび前記特徴表現からの前記抽出された識別特徴を有する連結を介して、組み合わせることと、
前記訓練された機械学習モデルによって、組み合わされた前記細胞の前記特徴および空間情報と、前記バイオマーカーの前記染色パターンとに基づいて、前記画像内の前記バイオマーカーについての２つ以上のセグメンテーションマスクを生成することであって、前記２つ以上のセグメンテーションマスクが、前記バイオマーカーを発現している前記画像の細胞についての陽性セグメンテーションマスクと、前記バイオマーカーを発現していない前記画像の細胞についての陰性セグメンテーションマスクとを含む、ことと
を含む、方法。

【請求項2】

前記画像上に前記２つ以上のセグメンテーションマスクを重ね合わせてインスタンスセグメント化画像を生成することと、
前記インスタンスセグメント化画像を出力することと
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記生物学的試料の前記画像が、バイオマーカーおよび別のバイオマーカーの染色パターンを含む細胞を表示し、
前記訓練された機械学習モデルが、前記画像内の前記別のバイオマーカーについての２つ以上のセグメンテーションマスクを生成し、
前記別のバイオマーカーについての前記２つ以上のセグメンテーションマスクが、前記別のバイオマーカーを発現している細胞についての陽性セグメンテーションマスクと、前
記別のバイオマーカーを発現していない細胞についての陰性セグメンテーションマスクとを含む、請求項２に記載のコンピュータ実装方法。

【請求項4】

前記バイオマーカーおよび前記別のバイオマーカーのそれぞれの前記２つ以上のセグメンテーションマスクを前記画像上に重ね合わせてインスタンスセグメント化画像を生成することと、
前記インスタンスセグメント化画像を出力することと
をさらに含む、請求項３に記載のコンピュータ実装方法。

【請求項5】

前記ラベルマスクが、（ｉ）前記リペルコーディングを使用して前記訓練画像のうちの各訓練画像内の細胞をコーディングすることであって、前記コーディングが細胞中心および前記細胞中心から離れた応答減衰によって表される周囲を含む、ことと、（ｉｉ）前記コーディングに少なくとも部分的に基づいて、前記画像内の前記バイオマーカーについて２つ以上のラベルマスクを生成することと、に基づいて生成される、請求項１に記載のコンピュータ実装方法。

【請求項6】

前記細胞の前記特徴および空間情報と前記バイオマーカーの前記染色パターンとを組み合わせることが、前記抽出された識別特徴を画素空間に投影することと、各画素空間を分類することと、を含み、前記分類することが、前記バイオマーカーの前記染色パターンに基づく前記細胞の細胞検出および分類を含む、請求項１に記載のコンピュータ実装方法。

【請求項7】

コンピュータ実装方法であって、
前記訓練された機械学習モデルは少なくとも部分的に、
生物学的試料についての画像にアクセスすることであって、前記画像が、バイオマーカーの染色パターンを含む細胞を表示し、前記細胞が、（ｉ）細胞中心、および（ｉｉ）前記バイオマーカーの発現、を含む情報を提供するラベルによって注釈付けされる、ことと、
前記画像のそれぞれについて２つ以上のリペルコーディングマスクを生成することであって、前記生成することが、（ｉ）リペルコーディングアルゴリズムを使用して画像内の前記細胞をコーディングすることであって、前記コーディングの出力が、前記細胞中心および前記細胞中心から離れた応答減衰によって表される周囲を含む初期細胞局在マスクである、画像内の前記細胞をコーディングすることと、（ｉｉ）前記バイオマーカーの前記発現に基づいて、前記ラベルを使用して前記初期細胞局在マスクをセグメント化して、前記細胞の各インスタンスを分類することと、（ｉｉｉ）前記セグメント化および前記細胞のインスタンスの分類に基づいて、前記初期細胞局在マスクを前記２つ以上のリペルコーディングマスクに分割することと、を含む、ことと、
前記２つ以上のリペルコーディングマスクを用いて前記画像のそれぞれをラベリングして、訓練画像のセットを生成することと、
前記訓練画像のセットに対して機械学習アルゴリズムを訓練して、前記訓練された機械学習モデルを生成することであって、前記訓練が、目的関数を最大化または最小化する細胞をセグメント化および分類するためのパラメータのセットを学習するための反復動作を実行することを含み、各反復が、前記パラメータのセットを使用する前記目的関数の値が前の反復における別のパラメータのセットを使用する前記目的関数の値よりも大きくまたは小さくなるような、前記機械学習アルゴリズムの前記パラメータのセットを見つけることを含み、前記目的関数が、前記機械学習アルゴリズムを使用して予測されたセグメンテーションマスクと前記画像についての前記２つ以上のリペルコーディングマスクとの間の差を測定するように構成される、ことと、
に基づいて訓練されたものである、請求項１に記載のコンピュータ実装方法。

【請求項8】

前記２つ以上のリペルコーディングマスクが、前記バイオマーカーを発現している細胞についての陽性マスクおよび前記バイオマーカーを発現していない細胞についての陰性マスクを含む、請求項７に記載のコンピュータ実装方法。

【請求項9】

訓練された前記機械学習モデルが、エンコーダおよびデコーダを含む畳み込みニューラルネットワークを含み、前記エンコーダの１つ以上の層が、スキップ接続を有する残差ブロックを含む、請求項７に記載のコンピュータ実装方法。

【請求項10】

前記画像が、所定のサイズの画像パッチである、請求項７に記載のコンピュータ実装方法。

【請求項11】

前記２つ以上のリペルコーディングマスクを前記所定のサイズのマスクパッチに分割することと、前記画像パッチのそれぞれを前記マスクパッチでラベリングして訓練画像のセットを生成することと、をさらに含む、請求項１０に記載のコンピュータ実装方法。

【請求項12】

システムであって、
１つ以上のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに請求項１から１１のいずれか一項に記載の方法のステップのいずれかを実行させる、非一時的コンピュータ可読記憶媒体と
を備える、システム。

【請求項13】

１つ以上のデータプロセッサに請求項１から１１のいずれか一項に記載のコンピュータ実装方法を実行させるように構成された命令を含むコンピュータプログラム。

【外国語明細書】