特表2024-543098組織染色に使用される組織内の解析前因子のデジタル解析
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-19
(54)【発明の名称】組織染色に使用される組織内の解析前因子のデジタル解析
(51)【国際特許分類】
G01N 33/48 20060101AFI20241112BHJP
G06T 7/00 20170101ALI20241112BHJP
【ＦＩ】
G01N33/48 M
G06T7/00 350C
G06T7/00 630
G01N33/48 P
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024529716
(86)(22)【出願日】2022-11-23
(85)【翻訳文提出日】2024-05-17
(86)【国際出願番号】 IB2022061331
(87)【国際公開番号】W WO2023095017
(87)【国際公開日】2023-06-01
(31)【優先権主張番号】63/282,249
(32)【優先日】2021-11-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】399117121
【氏名又は名称】アジレント・テクノロジーズ・インク
【氏名又は名称原語表記】ＡＧＩＬＥＮＴ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＩＮＣ．
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100180231
【弁理士】
【氏名又は名称】水島 亜希子
(72)【発明者】
【氏名】アイト，フレデリック
(72)【発明者】
【氏名】ベン－ダヴィド，オデッド
(72)【発明者】
【氏名】ヤコブセン，ラーズ・クリスティアン
【テーマコード（参考）】
2G045
5L096
【Ｆターム（参考）】
2G045AA24
2G045BB24
2G045CB01
2G045FB02
2G045FB03
2G045FB12
2G045JA01
5L096AA02
5L096AA06
5L096BA06
5L096BA13
5L096CA02
5L096DA02
5L096FA06
5L096HA11
5L096JA11
5L096KA04
5L096KA15
(57)【要約】
解析前因子機械学習モデルを訓練するコンピュータにより実施される方法であって、複数の記録の解析前訓練データセットを作成することであって、解析前記録が、少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドの画像、および少なくとも１つの解析前因子を表すグラウンドトゥルースラベルを含む、作成することと、ターゲット画像内に表された組織を処理するために使用される少なくとも１つのターゲット解析前因子の結果をターゲット画像の入力に応じて生成するために、解析前機械学習モデルを解析前訓練データセットにおいて訓練することと、を含むコンピュータにより実施される方法が提供される。
【特許請求の範囲】
【請求項1】
解析前因子機械学習モデルを訓練するコンピュータにより実施される方法であって、複数の記録の解析前訓練データセットを作成するステップであって、解析前記録が、
少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドの画像、および
前記少なくとも１つの解析前因子を表すグラウンドトゥルースラベル
を含む、ステップと、
ターゲット画像内に表された組織を処理するために使用される少なくとも１つのターゲット解析前因子の結果を前記ターゲット画像の入力に応じて生成するために、前記解析前訓練データセットにおいて前記解析前機械学習モデルを訓練するステップと、
を含む、コンピュータにより実施される方法。
【請求項2】
複数の記録の２次訓練データセットを作成するステップであって、２次記録が、前記少なくとも１つの解析前因子を用いて処理された前記被験者の病理組織の前記スライドの前記画像、
前記少なくとも１つの解析前因子、および
２次指示を表すグラウンドトゥルースラベルを
含む、ステップと、
ターゲット画像の入力、および前記ターゲット画像内に表された組織を処理するために使用される少なくとも１つのターゲット解析前因子に応じて、ターゲット２次指示の結果を生成するために前記２次訓練データセットにおいて２次機械学習モデルを訓練するステップと、
をさらに含む、請求項１に記載のコンピュータにより実施される方法。
【請求項3】
前記２次訓練データセットは、臨床指示訓練データセットを含み、前記２次指示は臨床指示を含み、前記２次機械学習モデルは、臨床機械学習モデルを含む、請求項２に記載のコンピュータにより実施される方法。
【請求項4】
前記臨床指示は、臨床スコア、医学的状態、および病理学的レポートを含む群から選択される、請求項３に記載のコンピュータにより実施される方法。
【請求項5】
前記臨床スコアに従って、および／または前記病理学的レポートに従って、前記医学的状態に有効な治療法を用いて前記被験者を治療することをさらに含む、請求項４に記載のコンピュータにより実施される方法。
【請求項6】
前記グラウンドトゥルースラベルは、タグ、メタデータ、画像、および前記画像を供給されたセグメンテーションモデルのセグメンテーション結果からなる群から選択される、請求項２から５のいずれか１項に記載のコンピュータにより実施される方法。
【請求項7】
前記２次機械学習モデルに供給される前記少なくとも１つの解析前因子の前記入力は、前記ターゲット画像を供給された前記解析前機械学習モデルの前記結果として取得される、請求項２から６のいずれか１項に記載のコンピュータにより実施される方法。
【請求項8】
前記解析前機械学習モデルと前記２次機械学習モデルとは、解析前因子の少なくとも共通の画像および共通のラベルを使用して共同で訓練される、請求項２から７のいずれか１項に記載のコンピュータにより実施される方法。
【請求項9】
前記２次記録の前記少なくとも１つの解析前因子は、前記少なくとも１つの解析前因子を用いて処理された前記被験者の病理組織の前記スライドの前記画像を供給された前記解析前機械学習モデルの隠れ層から抽出された少なくとも１つの特徴マップを含み、前記２次機械学習モデルは、前記ターゲット画像の入力および前記ターゲット画像を供給された前記解析前機械学習モデルの隠れ層から抽出されたターゲット特徴マップに応じて、前記ターゲット２次指示の前記結果を生成する、請求項２から８のいずれか１項に記載のコンピュータにより実施される方法。
【請求項10】
画像翻訳記録の２つ以上のセットを含む画像翻訳訓練データセットを作成するステップであって、画像翻訳記録のソースセットのソース画像翻訳記録は、
前記少なくとも１つの解析前因子を用いて処理された前記被験者の病理組織の前記スライドのソース画像、および
ソースラベルを表すグラウンドトゥルース
を含み、
画像翻訳記録のデスティネーションセットのデスティネーション画像翻訳記録は、
前記少なくとも１つの解析前因子を用いて処理された前記被験者の病理組織の前記スライドのデスティネーション画像、および
デスティネーションラベルを表すグラウンドトゥルース
を含む、ステップと、
画像翻訳記録の前記ソースセットの病理組織のスライドのターゲットソース画像を、画像翻訳記録の前記デスティネーションセットの病理組織のスライドの結果デスティネーションに変換するために、前記画像翻訳訓練データセットにおいて画像翻訳機械学習モデルを訓練するステップと、
をさらに含む、請求項１から９のいずれか１項に記載のコンピュータにより実施される方法。
【請求項11】
前記ソースラベルは、前記少なくとも１つの解析前因子を用いて異常に処理された病理組織を表し、前記デスティネーションラベルは、前記少なくとも１つの解析前因子を用いて正常に処理された病理組織を表す、請求項１０に記載のコンピュータにより実施される方法。
【請求項12】
前記ターゲットソース画像は、入力画像および異常に処理されたソース解析前因子を表す追加のメタデータ、ならびに正常に処理されたデスティネーション解析前因子を表すメタデータを含む、請求項１１に記載のコンピュータにより実施される方法。
【請求項13】
前記ターゲットソース画像は、入力画像を含み、前記入力画像の前記デスティネーションを推論するために使用される前記デスティネーションセットから基準画像を提供するステップをさらに含む、請求項１０から１２のいずれか１項に記載のコンピュータにより実施される方法。
【請求項14】
前記ソースセットは、前記ターゲット画像を供給された前記解析前機械学習モデルの前記結果として取得された前記少なくとも１つの解析前因子の入力に従って選択される、請求項１０から１３のいずれか１項に記載のコンピュータにより実施される方法。
【請求項15】
複数の記録の画像補正訓練データセットを作成するステップであって、画像補正記録が、前記少なくとも１つの解析前因子を用いて処理された前記被験者の病理組織の前記スライドの前記画像であって、前記少なくとも１つの解析前因子が異常として分類され、前記スライドの前記画像は、異常に処理された病理組織を表す、前記画像、
前記少なくとも１つの解析前因子、および
正常として分類された少なくとも１つの解析前因子を用いて処理された病理組織のスライドの正常な画像を表すグラウンドトゥルースラベル
を含む、ステップと、
異常として分類された少なくとも１つのターゲット解析前因子を用いて処理された前記スライドの前記ターゲット画像に応じて、正常として分類された前記少なくとも１つの解析前因子を用いて処理されたときに前記スライドのターゲット画像がどのように見えるかをシミュレートする病理組織のスライドの合成補正画像の結果を生成するために、画像補正機械学習モデルを前記画像補正訓練データセットにおいて訓練するステップと、
をさらに含む、請求項１から１４のいずれか１項に記載のコンピュータにより実施される方法。
【請求項16】
前記画像補正機械学習モデルに供給された前記少なくとも１つの解析前因子の前記入力は、前記ターゲット画像を供給された前記解析前機械学習モデルの前記結果として取得される、請求項１５に記載のコンピュータにより実施される方法。
【請求項17】
前記画像補正機械学習モデルと前記解析前機械学習モデルとは、解析前因子の共通の画像および共通のグラウンドトゥルースラベルを使用して共同で訓練される、請求項１５または請求項１６に記載のコンピュータにより実施される方法。
【請求項18】
少なくとも１つの解析前因子を用いて処理された被験者の病理組織の複数のラベルなし画像のラベルなし訓練データセットにおいて、自己教師ありおよび／または教師なし手法を使用してベースラインモデルを訓練するステップをさらに含み、訓練するステップは、前記解析前機械学習モデルを作成するために、前記解析前訓練データセットにおいて前記ベースラインモデルをさらに訓練するステップを含む、請求項１から１７のいずれか１項に記載のコンピュータにより実施される方法。
【請求項19】
前記少なくとも１つの解析前因子を表す前記グラウンドトゥルースラベルは、正しく適用された解析前因子または解析前因子の異常な適用を表すグラウンドトゥルースラベルを含み、訓練するステップは、誤って適用された解析前因子を表すアウトライヤとして画像を検出するために正しく適用された解析前因子としてラベル付けされたインライヤ画像の分布を学習するために、前記解析前機械学習モデルの実施を訓練するステップを含む、請求項１から１８のいずれか１項に記載のコンピュータにより実施される方法。
【請求項20】
事前訓練済み特徴抽出器を使用して前記画像から特徴を抽出するステップをさらに含み、前記解析前記録は、前記抽出された特徴を含み、前記事前訓練済み特徴抽出器は、前記解析前機械学習モデルに供給された抽出されたターゲット特徴を取得するために、前記ターゲット画像に適用される、請求項１から１９のいずれか１項に記載のコンピュータにより実施される方法。
【請求項21】
前記事前訓練済み特徴抽出器は、ニューラルネットワークとして実施され、前記抽出された特徴は、前記ニューラルネットワークが前記ターゲット画像を供給されるとき、前記ニューラルネットワークの分類層の前の少なくとも１つの特徴マップから取得される、請求項２０に記載のコンピュータにより実施される方法。
【請求項22】
前記ニューラルネットワークは、グラウンドトゥルース分類カテゴリを用いてラベル付けされた非組織画像の画像訓練データセットにおいて訓練される画像分類器である、請求項２１に記載のコンピュータにより実施される方法。
【請求項23】
前記ニューラルネットワークは、核のグラウンドトゥルースセグメンテーションを用いてラベル付けされた病理組織のスライドの画像のセグメンテーション訓練データセットにおいて訓練される核セグメンテーションネットワークである、請求項２２に記載のコンピュータにより実施される方法。
【請求項24】
前記画像から複数のパッチを抽出するステップをさらに含み、特徴を抽出するステップは、前記複数のパッチから特徴を抽出することを含む、請求項２０から２３のいずれか１項に記載のコンピュータにより実施される方法。
【請求項25】
各パッチについて、大局的最大プーリング層および／または大局的平均プーリング層を使用して、前記パッチから抽出された前記抽出された特徴を特徴ベクトルに低減させるステップをさらに含み、前記解析前記録は前記特徴ベクトルを含み、前記解析前機械学習は、前記ターゲット画像のパッチから抽出された特徴について計算された特徴ベクトルの前記入力に応じて、少なくとも１つのターゲット解析前因子の前記結果を生成する、請求項２４に記載のコンピュータにより実施される方法。
【請求項26】
各解析前記録について、前記画像内の核のセグメンテーションの結果を取得するために、前記画像を核セグメンテーション機械学習モデルに供給するステップと、前記セグメンテーションの前記結果に基づいて前記核の前記セグメンテーションの外部の画素を被覆するマスクを作成するステップと、被覆画像を作成するために、前記マスクを前記画像に適用するステップと、をさらに含み、前記解析前記録の前記画像は、前記被覆画像を含み、前記ターゲット画像から作成されたターゲット被覆画像は、前記解析前訓練データセットにおいて訓練される前記解析前機械学習モデルに供給される、請求項１から２５のいずれか１項に記載のコンピュータにより実施される方法。
【請求項27】
各解析前記録について、前記画像内の核のセグメンテーションの結果を取得するために、前記画像を核セグメンテーション機械学習モデルに供給するステップと、単一核パッチを作成するために、各セグメンテーションの周りの境界を切り取るステップと、をさらに含み、前記解析前記録の前記画像は、複数の単一核パッチを含み、前記ターゲット画像から作成された核のターゲットセグメンテーションが、前記解析前訓練データセットにおいて訓練される前記解析前機械学習モデルに供給される、請求項１から２６のいずれか１項に記載のコンピュータにより実施される方法。
【請求項28】
各解析前記録について、前記画像のカラーバージョンを前記画像のグレースケールバージョンに変換するステップをさらに含み、前記ターゲット画像のターゲットグレースケールバージョンが、前記解析前訓練データセットにおいて訓練される前記解析前機械学習モデルに供給される、請求項１から２７のいずれか１項に記載のコンピュータにより実施される方法。
【請求項29】
各解析前記録について、前記画像内の赤血球（ＲＢＣ）のセグメンテーションの結果および／またはＲＢＣを表すパッチを取得するために、前記画像を（ＲＢＣ）セグメンテーション機械学習モデルに供給するステップをさらに含み、前記解析前記録の前記画像は、ＲＢＣの前記セグメンテーションおよび／またはＲＢＣを表すパッチを含み、前記ターゲット画像からのＲＢＣのターゲットセグメンテーションおよび／またはＲＢＣを表すパッチは、前記解析前訓練データセットにおいて訓練される前記解析前機械学習モデルに供給される、請求項１から２８のいずれか１項に記載のコンピュータにより実施される方法。
【請求項30】
前記解析前機械学習モデルは、特定の分類カテゴリの各グラウンドトゥルース指示を用いてそれぞれラベル付けされた複数の画像を含む別の画像訓練データセットにおいて事前訓練され、前記事前訓練済み解析前訓練データセットは、前記解析前訓練データセットにおいてさらに訓練される、請求項１から２９のいずれか１項に記載のコンピュータにより実施される方法。
【請求項31】
前記解析前記録が、少なくとも１つの既知の解析前因子を表すメタデータをさらに含み、前記グラウンドトゥルースラベルは、少なくとも１つの未知の解析前因子のためのものであり、前記ターゲット画像と関連する少なくとも１つの既知の解析前因子は、前記解析前訓練データセットにおいて訓練される前記解析前機械学習モデルにさらに供給される、請求項１から３０のいずれか１項に記載のコンピュータにより実施される方法。
【請求項32】
前記少なくとも１つのターゲット解析前因子を取得するために、前記ターゲット画像の画素の相対的な重要性を表す解釈可能性マップを生成するために解釈可能性機械学習モデルを訓練するステップであって、前記ターゲット画像が低解像度である、ステップをさらに含み、前記ターゲット画像の複数の高解像度パッチをサンプリングするステップと、前記少なくとも１つのターゲット解析前因子を取得するために、前記複数の高解像度パッチを前記解析前機械学習モデルに供給するステップと、をさらに含む、請求項１から３１のいずれか１項に記載のコンピュータにより実施される方法。
【請求項33】
前記少なくとも１つの解析前因子は、固定時間を含む、請求項１から３２のいずれか１項に記載のコンピュータにより実施される方法。
【請求項34】
前記少なくとも１つの解析前因子は、前記ＦＦＰＥブロックを切断することによって取得された組織厚さを含む、請求項１から３３のいずれか１項に記載のコンピュータにより実施される方法。
【請求項35】
前記少なくとも１つの解析前因子は、固定剤タイプ、温虚血時間、冷虚血時間、前固定中の温度の持続時間と遅延時間、固定剤処方、固定剤濃度、固定剤ｐＨ、試薬の固定期間、固定剤調製源、組織と固定剤の体積比、固定方法、１次固定と２次固定の状態、後固定洗浄条件と持続時間、後固定保存試薬と持続時間、プロセッサのタイプ、整備と試薬交換の頻度、組織と試薬の体積比、共処理された試料の位置の数、脱水と透明化試薬、脱水と透明化温度、脱水と透明化の変化回数、脱水透明化持続時間、焼き時間、および温度からなる群から選択される、請求項１から３４のいずれか１項に記載のコンピュータにより実施される方法。
【請求項36】
前記少なくとも１つの解析前因子は、前記スライドの前記病理組織の染色の品質の指示である、請求項１から３５のいずれか１項に記載のコンピュータにより実施される方法。
【請求項37】
前記染色は、免疫組織化学（ＩＨＣ）染色、原位置ハイブリダイゼーション（ＩＳＨ）染色、蛍光ＩＳＨ（ＦＩＳＨ）、発色ＩＳＨ（ＣＩＳＨ）、シルバーＩＳＨ（ＳＩＳＨ）、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ）、ヘマトキシリン、アクリジンオレンジ、ビスマルクブラウン、カーマイン、クマシーブルー、クレシルバイオレット、クリスタルバイオレット、４’，６－ジアミジノ－２－フェニルインドール（「ＤＡＰＩ」）、エオシン、臭化エチジウムインターカレート、酸フクシン、ヘキスト染色、ヨウ素、マラカイトグリーン、メチルグリーン、メチレンブルー、ニュートラルレッド、ナイルブルー、ナイルレッド、四酸化オスミウム、ヨウ化プロピジウム、ローダミン、サフラニン、抗体ベースの染色、または、外部色素を使用せずに関心の特徴を強調する、ラマン分光法、近赤外（「ＮＩＲ」）分光法、自己蛍光イメージング、および位相イメージングを含むイメージング手法を使用して得られるラベルフリーイメージングマーカからなる群から選択される、請求項３６に記載のコンピュータにより実施される方法。
【請求項38】
前記スライドは、ホルマリン固定パラフィン包埋（ＦＦＰＥ）組織を含む、請求項１から３７のいずれか１項に記載のコンピュータにより実施される方法。
【請求項39】
被験者の病理組織のスライドのターゲット画像の少なくとも１つの解析前因子を取得するコンピュータにより実施される方法であって、ターゲット画像を解析前機械学習モデルに供給するステップであって、
前記解析前機械学習モデルは、複数の記録の解析前訓練データセットにおいて訓練され、解析前記録が、
少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドの画像、および
前記少なくとも１つの解析前因子を表すグラウンドトゥルースラベル
を含む、ステップと、
前記ターゲット画像内に表された前記病理組織を処理するために使用される少なくとも１つのターゲット解析前因子の結果を取得するステップと、
を含む、コンピュータにより実施される方法。
【請求項40】
前記ターゲット画像および前記少なくとも１つのターゲット解析前因子を２次機械学習モデルに供給するステップであって、前記２次機械学習モデルは、複数の記録の２次指示訓練データセットにおいて訓練され、２次指示記録が、
前記少なくとも１つの解析前因子を用いて処理された前記被験者の病理組織の前記スライドの前記画像、
前記少なくとも１つの解析前因子、および
前記２次指示を表すグラウンドトゥルースラベル
を含む、ステップと、
ターゲット２次指示の結果を取得するステップと、
をさらに含む、請求項３９に記載のコンピュータにより実施される方法。
【請求項41】
前記少なくとも１つのターゲット解析前因子を異常として分類することに応じて、前記ターゲット画像および前記少なくとも１つのターゲット解析前因子を画像補正機械学習モデルに供給するステップであって、前記画像補正機械学習モデルは、複数の記録の補正された画像訓練データセットにおいて訓練され、画像補正記録が、
前記少なくとも１つの解析前因子を用いて処理された前記被験者の病理組織の前記スライドの前記画像であって、前記少なくとも１つの解析前因子は異常として分類され、前記スライドの前記画像は異常に処理された病理組織を表す、前記画像、
前記少なくとも１つの解析前因子、および
正常として分類された少なくとも１つの解析前因子を用いて処理された病理組織のスライドの正常な画像を表すグラウンドトゥルースラベル
を含む、ステップと、
正常として分類された前記少なくとも１つの解析前因子を用いて処理されたときに、前記スライドの前記ターゲット画像がどのように見えるかをシミュレートする補正された画像の結果を取得するステップと、
をさらに含む、請求項３９または請求項４０に記載のコンピュータにより実施される方法。
【請求項42】
前記少なくとも１つのターゲット解析前因子を異常として分類することに応じて、前記ターゲット画像および前記少なくとも１つのターゲット解析前因子を画像翻訳機械学習モデルに供給するステップであって、前記画像翻訳機械学習モデルは、画像翻訳記録の２つ以上のセットを含む画像翻訳訓練データセットにおいて訓練され、
画像翻訳記録のソースセットのソース画像翻訳記録が、
前記少なくとも１つの解析前因子を用いて処理された前記被験者の病理組織の前記スライドのソース画像、および
ソースラベルを表すグラウンドトゥルース
を含み、
画像翻訳記録のデスティネーションセットのデスティネーション画像翻訳記録が、
前記少なくとも１つの解析前因子を用いて処理された前記被験者の病理組織の前記スライドのデスティネーション画像、および
デスティネーションラベルを表すグラウンドトゥルース
を含む、ステップと、
前記異常に処理されたターゲット画像の正常に処理された画像への変換である画像翻訳記録の前記デスティネーションセットの病理組織のスライドの結果デスティネーション画像を取得するステップと、
をさらに含む、請求項３９または請求項４０に記載のコンピュータにより実施される方法。
【請求項43】
解析前因子機械学習モデルを訓練するためのデバイスであって、コードを実行する少なくとも１つのハードウェアプロセッサを含み、前記コードは、
複数の記録の解析前訓練データセットを作成するステップであって、解析前記録が、
少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドの画像、および
前記少なくとも１つの解析前因子を表すグラウンドトゥルースラベル
を含む、ステップと、
ターゲット画像内に表された組織を処理するために使用される少なくとも１つのターゲット解析前因子の結果を前記ターゲット画像の前記入力に応じて生成するために、前記解析前訓練データセットにおいて前記解析前機械学習モデルを訓練するステップと、
のためのものである、デバイス。
【請求項44】
被験者の病理組織のスライドのターゲット画像の少なくとも１つの解析前因子を取得するためのデバイスであって、コードを実行する少なくとも１つのハードウェアプロセッサを含み、前記コードは、
前記ターゲット画像を解析前機械学習モデルに供給するステップであって、
前記解析前機械学習モデルは、複数の記録の解析前訓練データセットにおいて訓練され、解析前記録が、
少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドの画像、および
前記少なくとも１つの解析前因子を表すグラウンドトゥルースラベル
を含む、ステップと、
前記ターゲット画像内に表された前記病理組織を処理するために使用される少なくとも１つのターゲット解析前因子の結果を取得するステップと、
のためのものである、デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本出願は、２０２１年１１月２３日に出願された米国仮特許出願第６３／２８２，２４９号の優先権の利益を主張し、この出願の内容は、引用することにより本明細書の一部をなすものとする。
本出願は、２０２１年１１月２３日に出願された米国仮特許出願第６３／２８２，２４９号の優先権の利益を主張し、この出願の内容は、引用することにより本明細書の一部をなすものとする。
【0002】
本発明は、そのいくつかの実施形態において、解析前因子に関し、より詳細には、組織染色に使用される組織内の解析前因子の推定のためのシステムおよび方法に関するが、これに限定されない。
【背景技術】
【0003】
解析前因子（解析前変数とも呼ばれる）は、組織保存および組織染色のための組織ホルマリン固定およびパラフィン包埋の処理に影響を及ぼすことがある固定および処理変数を含む。
【発明の概要】
【0004】
第１態様によれば、解析前因子機械学習モデルを訓練するためのコンピュータにより実施される方法は、複数の記録の解析前訓練データセットを作成するステップであって、解析前記録は、少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドの画像、および少なくとも１つの解析前因子を表すグラウンドトゥルースラベルを含む、作成するステップと、ターゲット画像内に表された組織を処理するために使用される少なくとも１つのターゲット解析前因子の結果をターゲット画像の入力に応じて生成するために、解析前訓練データセットにおいて解析前機械学習モデルを訓練するステップと、を含む。
【0005】
第２態様によれば、被験者の病理組織のスライドのターゲット画像の少なくとも１つの解析前因子を取得するためのコンピュータにより実施される方法が、ターゲット画像を解析前機械学習モデルに供給するステップであって、解析前機械学習モデルは、複数の記録の解析前訓練データセットにおいて訓練され、解析前記録は、少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドの画像、および少なくとも１つの解析前因子を表すグラウンドトゥルースラベルを含む、供給するステップと、ターゲット画像に表された病理組織を処理するために使用される少なくとも１つのターゲット解析前因子の結果を取得するステップと、を含む。
【0006】
第３態様によれば、解析前因子機械学習モデルを訓練するためのデバイスは、複数の記録の解析前訓練データセットを作成するステップであって、解析前記録は、少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドの画像、および少なくとも１つの解析前因子を表すグラウンドトゥルースラベルを含む、作成するステップと、ターゲット画像内に表された組織を処理するために使用される少なくとも１つのターゲット解析前因子の結果をターゲット画像の入力に応じて生成するために、解析前訓練データセットにおいて解析前機械学習モデルを訓練するステップと、のためのコードを実行する少なくとも１つのハードウェアプロセッサを備える。
【0007】
第４態様によれば、被験者の病理組織のスライドのターゲット画像の少なくとも１つの解析前因子を取得するためのデバイスは、ターゲット画像を解析前機械学習モデルに供給するステップであって、解析前機械学習モデルは、複数の記録の解析前訓練データセットにおいて訓練され、解析前記録は、少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドの画像、および少なくとも１つの解析前因子を表すグラウンドトゥルースラベルを含む、供給するステップと、ターゲット画像内に表された病理組織を処理するために使用される少なくとも１つのターゲット解析前因子の結果を取得するステップと、のためのコードを実行するための少なくとも１つのハードウェアプロセッサを備える。
【0008】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、複数の記録の２次訓練データセットを作成するステップであって、２次記録は、少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドの画像、少なくとも１つの解析前因子、および２次指示を表すグラウンドトゥルースラベルを含む、作成するステップと、ターゲット画像の入力、およびターゲット画像内に表された組織を処理するために使用される少なくとも１つのターゲット解析前因子に応じて、ターゲット２次指示の結果を生成するために２次訓練データセットにおいて２次機械学習モデルを訓練するステップと、をさらに含む。
【0009】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、２次訓練データセットは、臨床指示訓練データセットを含み、２次指示は臨床指示を含み、２次機械学習モデルは、臨床機械学習モデルを含む。
【0010】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、臨床指示は、臨床スコア、医学的状態、および病理学的レポートを含む群から選択される。
【0011】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、臨床スコアに従って、および／または病理学的レポートに従って、医学的状態に有効な治療法を用いて被験者を治療するステップをさらに含む。
【0012】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、グラウンドトゥルースラベルは、タグ、メタデータ、画像、および画像を供給されたセグメンテーションモデルのセグメンテーション結果からなる群から選択される。
【0013】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、２次機械学習モデルに供給される少なくとも１つの解析前因子の入力は、ターゲット画像を供給された解析前機械学習モデルの結果として取得される。
【0014】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、解析前機械学習モデルと２次機械学習モデルとは、解析前因子の少なくとも共通の画像および共通のラベルを使用して共同で訓練される。
【0015】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、２次記録の少なくとも１つの解析前因子は、少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドの画像を供給された解析前機械学習モデルの隠れ層から抽出された少なくとも１つの特徴マップを含み、２次機械学習モデルは、ターゲット画像の入力およびターゲット画像を供給された解析前機械学習モデルの隠れ層から抽出されたターゲット特徴マップに応じて、ターゲット２次指示の結果を生成する。
【0016】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、画像翻訳記録の２つ以上のセットを含む画像翻訳訓練データセットを作成するステップであって、画像翻訳記録のソースセットのソース画像翻訳記録は、少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドのソース画像、およびソースラベルを表すグラウンドトゥルースを含み、画像翻訳記録のデスティネーションセットのデスティネーション画像翻訳記録は、少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドのデスティネーション画像、およびデスティネーションラベルを表すグラウンドトゥルースを含む、作成するステップと、画像翻訳記録のソースセットの病理組織のスライドのターゲットソース画像を、画像翻訳記録のデスティネーションセットの病理組織のスライドの結果デスティネーションに変換するために、画像翻訳訓練データセットにおいて画像翻訳機械学習モデルを訓練するステップと、を含む。
【0017】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、ソースラベルは、少なくとも１つの解析前因子を用いて異常に処理された病理組織を表し、デスティネーションラベルは、少なくとも１つの解析前因子を用いて正常に処理された病理組織を表す。
【0018】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、ターゲットソース画像は、入力画像および異常に処理されたソース解析前因子を表す追加のメタデータ、ならびに正常に処理されたデスティネーション解析前因子を表すメタデータを含む。
【0019】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、ターゲットソース画像は、入力画像を含み、入力画像のデスティネーションを推論するために使用されるデスティネーションセットから基準画像を提供するステップをさらに含む。
【0020】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、ソースセットは、ターゲット画像を供給された解析前機械学習モデルの結果として取得された少なくとも１つの解析前因子の入力に従って選択される。
【0021】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、複数の記録の画像補正訓練データセットを作成するステップであって、画像補正記録は、少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドの画像であって、少なくとも１つの解析前因子が異常として分類され、スライドの画像は、異常に処理された病理組織を表す、画像、少なくとも１つの解析前因子、および正常として分類された少なくとも１つの解析前因子を用いて処理された病理組織のスライドの正常な画像を表すグラウンドトゥルースラベルを含む、作成するステップと、異常として分類された少なくとも１つのターゲット解析前因子を用いて処理されたスライドのターゲット画像に応じて、正常として分類された少なくとも１つの解析前因子を用いて処理されたときにスライドのターゲット画像がどのように見えるかをシミュレートする病理組織のスライドの合成補正画像の結果を生成するために、画像補正機械学習モデルを画像補正訓練データセットにおいて訓練するステップと、をさらに含む。
【0022】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、画像補正機械学習モデルに供給された少なくとも１つの解析前因子の入力は、ターゲット画像を供給された解析前機械学習モデルの結果として取得される。
【0023】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、画像補正機械学習モデルと解析前機械学習モデルとは、解析前因子の共通の画像および共通のグラウンドトゥルースラベルを使用して共同で訓練される。
【0024】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、少なくとも１つの解析前因子を用いて処理された被験者の病理組織の複数のラベルなし画像のラベルなし訓練データセットにおいて、自己教師ありおよび／または教師なし手法を使用してベースラインモデルを訓練するステップをさらに含み、訓練するステップは、解析前機械学習モデルを作成するために、解析前訓練データセットにおいてベースラインモデルをさらに訓練するステップを含む。
【0025】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、少なくとも１つの解析前因子を表すグラウンドトゥルースラベルは、正しく適用された解析前因子または解析前因子の異常な適用を表すグラウンドトゥルースラベルを含み、訓練するステップは、誤って適用された解析前因子を表すアウトライヤとして画像を検出するために正しく適用された解析前因子としてラベル付けされたインライヤ画像の分布を学習するために、解析前機械学習モデルの実施を訓練するステップを含む。
【0026】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、事前訓練済み特徴抽出器を使用して画像から特徴を抽出するステップをさらに含み、解析前記録は、抽出された特徴を含み、事前訓練済み特徴抽出器が、解析前機械学習モデルに供給された抽出されたターゲット特徴を取得するために、ターゲット画像に適用される。
【0027】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、事前訓練済み特徴抽出器は、ニューラルネットワークとして実施され、抽出された特徴は、ニューラルネットワークがターゲット画像を供給されるとき、ニューラルネットワークの分類層の前の少なくとも１つの特徴マップから取得される。
【0028】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、ニューラルネットワークは、グラウンドトゥルース分類カテゴリを用いてラベル付けされた非組織画像の画像訓練データセットにおいて訓練される画像分類器である。
【0029】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、ニューラルネットワークは、核のグラウンドトゥルースセグメンテーションを用いてラベル付けされた病理組織のスライドの画像のセグメンテーション訓練データセットにおいて訓練される核セグメンテーションネットワークである。
【0030】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、画像から複数のパッチを抽出するステップをさらに含み、特徴を抽出するステップは、複数のパッチから特徴を抽出するステップを含む。
【0031】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、各パッチについて、大局的最大プーリング層および／または大局的平均プーリング層を使用して、パッチから抽出された抽出された特徴を特徴ベクトルに低減させることをさらに含み、解析前記録は特徴ベクトルを含み、解析前機械学習は、ターゲット画像のパッチから抽出された特徴について計算された特徴ベクトルの入力に応じて、少なくとも１つのターゲット解析前因子の結果を生成する。
【0032】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、各解析前記録について、画像内の核のセグメンテーションの結果を取得するために、画像を核セグメンテーション機械学習モデルに供給するステップと、セグメンテーションの結果に基づいて核のセグメンテーションの外部の画素を被覆するマスクを作成するステップと、被覆画像を作成するために、マスクを画像に適用するステップと、をさらに含み、解析前記録の画像は、被覆画像を含み、ターゲット画像から作成されたターゲット被覆画像が、解析前訓練データセットにおいて訓練される解析前機械学習モデルに供給される。
【0033】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、各解析前記録について、画像内の核のセグメンテーションの結果を取得するために、画像を核セグメンテーション機械学習モデルに供給するステップと、単一核パッチを作成するために、各セグメンテーションの周りの境界を切り取ることと、をさらに含み、解析前記録の画像は、複数の単一核パッチを含み、ターゲット画像から作成された核のターゲットセグメンテーションは、解析前訓練データセットにおいて訓練される解析前機械学習モデルに供給される。
【0034】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、各解析前記録について、画像のカラーバージョンを画像のグレースケールバージョンに変換するステップをさらに含み、ターゲット画像のターゲットグレースケールバージョンは、解析前訓練データセットにおいて訓練される解析前機械学習モデルに供給される。
【0035】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、各解析前記録について、画像内の赤血球（ＲＢＣ）のセグメンテーションの結果および／またはＲＢＣを表すパッチを取得するために、画像を（ＲＢＣ）セグメンテーション機械学習モデルに供給するステップをさらに含み、解析前記録の画像は、ＲＢＣのセグメンテーションおよび／またはＲＢＣを表すパッチを含み、ターゲット画像からのＲＢＣのターゲットセグメンテーションおよび／またはＲＢＣを表すパッチは、解析前訓練データセットにおいて訓練される解析前機械学習モデルに供給される。
【0036】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、解析前機械学習モデルは、特定の分類カテゴリの各グラウンドトゥルース指示を用いてそれぞれラベル付けされた複数の画像を含む別の画像訓練データセットにおいて事前訓練され、事前訓練済み解析前訓練データセットは、解析前訓練データセットにおいてさらに訓練される。
【0037】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、解析前記録は、少なくとも１つの既知の解析前因子を表すメタデータをさらに含み、グラウンドトゥルースラベルは、少なくとも１つの未知の解析前因子のためのものであり、ターゲット画像と関連する少なくとも１つの既知の解析前因子は、解析前訓練データセットにおいて訓練される解析前機械学習モデルにさらに供給される。
【0038】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、少なくとも１つのターゲット解析前因子を取得するために、ターゲット画像の画素の相対的な重要性を表す解釈可能性マップを生成するために解釈可能性機械学習モデルを訓練するステップであって、ターゲット画像は低解像度である、訓練するステップをさらに含み、ターゲット画像の複数の高解像度パッチをサンプリングするステップと、少なくとも１つのターゲット解析前因子を取得するために、複数の高解像度パッチを解析前機械学習モデルに供給するステップと、をさらに含む。
【0039】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、少なくとも１つの解析前因子は、固定時間を含む。
【0040】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、少なくとも１つの解析前因子は、ＦＦＰＥブロックを切断することによって取得された組織厚さを含む。
【0041】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、少なくとも１つの解析前因子は、固定剤タイプ、温虚血時間、冷虚血時間、前固定中の温度の持続時間と遅延時間、固定剤処方、固定剤濃度、固定剤ｐＨ、試薬の固定期間、固定剤調製源、組織と固定剤の体積比、固定方法、１次固定と２次固定の状態、後固定洗浄条件と持続時間、後固定保存試薬と持続時間、プロセッサのタイプ、整備と試薬交換の頻度、組織と試薬の体積比、共処理された試料の位置の数、脱水と透明化試薬、脱水と透明化温度、脱水と透明化の変化回数、脱水透明化持続時間、焼き時間、および温度からなる群から選択される。
【0042】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、少なくとも１つの解析前因子は、スライドの病理組織の染色の品質の指示である。
【0043】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、染色は、免疫組織化学（ＩＨＣ）染色、原位置ハイブリダイゼーション（ＩＳＨ）染色、蛍光ＩＳＨ（ＦＩＳＨ）、発色ＩＳＨ（ＣＩＳＨ）、シルバーＩＳＨ（ＳＩＳＨ）、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ）、ヘマトキシリン、アクリジンオレンジ、ビスマルクブラウン、カーマイン、クマシーブルー、クレシルバイオレット、クリスタルバイオレット、４’，６－ジアミジノ－２－フェニルインドール（「ＤＡＰＩ」）、エオシン、臭化エチジウムインターカレート、酸フクシン、ヘキスト染色、ヨウ素、マラカイトグリーン、メチルグリーン、メチレンブルー、ニュートラルレッド、ナイルブルー、ナイルレッド、四酸化オスミウム、ヨウ化プロピジウム、ローダミン、サフラニン、抗体ベースの染色、または、外部色素を使用せずに関心の特徴を強調する、ラマン分光法、近赤外（「ＮＩＲ」）分光法、自己蛍光イメージング、および位相イメージングを含むイメージング手法を使用して得られるラベルフリーイメージングマーカからなる群から選択される。
【0044】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、スライドは、ホルマリン固定パラフィン包埋（ＦＦＰＥ）組織を含む。
【0045】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、ターゲット画像および少なくとも１つのターゲット解析前因子を２次機械学習モデルに供給するステップであって、２次機械学習モデルは、複数の記録の２次指示訓練データセットにおいて訓練され、２次指示記録が、少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドの画像、少なくとも１つの解析前因子、および２次指示を表すグラウンドトゥルースラベルを含む、供給するステップと、ターゲット２次指示の結果を取得するステップと、をさらに含む。
【0046】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、少なくとも１つのターゲット解析前因子を異常として分類することに応じて、ターゲット画像および少なくとも１つのターゲット解析前因子を画像補正機械学習モデルに供給するステップであって、画像補正機械学習モデルは、複数の記録の補正された画像訓練データセットにおいて訓練され、画像補正記録は、少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドの画像であって、少なくとも１つの解析前因子は異常として分類され、スライドの画像は異常に処理された病理組織を表す、画像、少なくとも１つの解析前因子、および正常として分類された少なくとも１つの解析前因子を用いて処理された病理組織のスライドの正常な画像を表すグラウンドトゥルースラベルを含む、供給するステップと、正常として分類された少なくとも１つの解析前因子を用いて処理されたときにスライドのターゲット画像がどのように見えるかをシミュレートする補正された画像の結果を取得するステップと、をさらに含む。
【0047】
第１態様、第２態様、第３態様、および第４態様のさらなる実施形態では、少なくとも１つのターゲット解析前因子を異常として分類することに応じて、ターゲット画像および少なくとも１つのターゲット解析前因子を画像翻訳機械学習モデルに供給するステップであって、画像翻訳機械学習モデルは、画像翻訳記録の２つ以上のセットを含む画像翻訳訓練データセットにおいて訓練され、画像翻訳記録のソースセットのソース画像翻訳記録は、少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドのソース画像、およびソースラベルを表すグラウンドトゥルースを含み、画像翻訳記録のデスティネーションセットのデスティネーション画像翻訳記録は、少なくとも１つの解析前因子を用いて処理された被験者の病理組織のスライドのデスティネーション画像、およびデスティネーションラベルを表すグラウンドトゥルースを含む、供給するステップと、異常に処理されたターゲット画像の正常に処理された画像への変換である画像翻訳記録のデスティネーションセットの病理組織のスライドの結果デスティネーション画像を取得するステップと、をさらに含む。
【0048】
別段の規定がない限り、本明細書で使用されるすべての技術用語および／または科学用語は、本発明が関連する当業者によって一般的に理解されるのと同じ意味を有する。本明細書に記載のものと同様または同等の方法および材料が、本発明の実施形態の実施または試験において使用され得るが、例示的な方法および／または材料が以下に記載される。矛盾する場合には、規定を含む特許明細書が支配することになる。それに加えて、材料、方法および例は、例示的なものにすぎず、必ずしも限定することを意図するものではない。
【0049】
本発明のいくつかの実施形態が、本明細書では、例として添付図面を参照して説明される。ここで詳細に図面を特に参照すると、示された詳細は、例として、本発明の実施形態についての例示的な考察の目的のために強調されている。この点に関して、以下の図面を用いて行われた説明は、本発明の実施形態がどのように実施され得るかを当業者に明らかにする。
【図面の簡単な説明】
【0050】
【図1】本発明のいくつかの実施形態に従って組織サンプル（複数可）を描くターゲット画像（複数可）の入力に応じて解析前因子（複数可）の指示を取得するために、ターゲット画像の入力に応じておよび／またはＭＬモデル（複数可）を使用して、ターゲット画像内に表された組織を処理するために使用される解析前因子（複数可）の指示を生成するためのＭＬモデル（複数可）を訓練するためのシステムの構成要素についてのブロック図である。
【図2】本発明のいくつかの実施形態に従って、ターゲット画像の入力に応じてターゲット画像内に表された組織を処理するために使用される解析前因子（複数可）の指示を生成するためのＭＬモデル（複数可）を訓練するためのプロセスについてのフローチャートである。
【図3】本発明のいくつかの実施形態に従って、組織サンプル（複数可）を表すターゲット画像（複数可）の入力に応じて解析前因子（複数可）の指示を取得するためにＭＬモデル（複数可）を使用するためのプロセスについてのフローチャートである。
【図4】本発明のいくつかの実施形態に従って、異なる固定時間を有する組織サンプルのスライドを表す画像の例である。
【図5】本発明のいくつかの実施形態に従って、異なる固定時間を有する組織サンプルのスライドを表す別の例である。
【図6】本発明のいくつかの実施形態に従って、抽出された特徴を使用してＭＬモデルを訓練するプロセスを表す概略図である。
【図7】本発明のいくつかの実施形態に従って、核セグメンテーションＭＬモデルによってセグメント化されたセグメント化核を有する、１つまたは複数の解析前因子を用いて処理された組織の画像を表す図である。
【発明を実施するための形態】
【0051】
本発明は、そのいくつかの実施形態において、解析前因子に関し、より詳細には、組織学的染色に使用される組織内の解析前因子の推定のためのシステムおよび方法に関するが、これらに限定されない。
【0052】
本発明のいくつかの実施形態の一態様は、解析前因子機械学習モデルを訓練するためのシステム、方法、コンピューティングデバイス、および／またはコード命令（メモリに記憶され、１つまたは複数のハードウェアプロセッサによって実行可能である）に関する。複数の記録の解析前訓練データセットが作成される。解析前記録は、解析前因子（複数可）を用いて処理された被験者の病理組織のスライドの画像、および解析前因子（複数可）を表すグラウンドトゥルースラベルを含む。解析前機械学習モデルは、ターゲット画像の入力に応じてターゲット画像内に表された組織を処理するために使用されるターゲット解析前因子（複数可）の結果を生成するために、解析前訓練データセットにおいて訓練される。
【0053】
本発明のいくつかの実施形態の一態様は、被験者の病理組織のスライドのターゲット画像の解析前因子（複数可）を取得するためのシステム、方法、コンピューティングデバイス、および／またはコード命令（メモリに記憶されて、１つまたは複数のハードウェアプロセッサによって実行可能である）に関する。ターゲット画像は、解析前機械学習モデルに供給される。ターゲット画像を処理するために使用されるターゲット解析前因子（複数可）の結果が、解析前機械学習モデルから取得される。
【0054】
任意選択的に、解析前機械学習モデルからの結果として取得されたターゲット解析前因子（複数可）は、ターゲット画像と組み合わせて２次機械学習モデルに供給される。ターゲット２次指示の結果は、２次機械学習モデルの結果として取得される。２次機械学習モデルは、複数の記録を含む２次指示訓練データセットにおいて訓練されてもよい。２次指示記録は、解析前因子（複数可）を用いて処理された被験者の病理組織のスライドの画像、解析前因子（複数可）の指示、ならびに２次指示を表すグラウンドトゥルースラベル、たとえば、タグ、メタデータ、画像、および画像を供給されたセグメンテーションモデルのセグメンテーション結果を含む。２次訓練データセットは、臨床指示訓練データセットとして実施されてもよく、２次指示は、臨床指示として実施されてもよく、２次機械学習モデルは、臨床機械学習モデルとして実施されてもよい。
【0055】
任意選択的に、解析前機械学習モデルからの結果として取得されたターゲット解析前因子（複数可）が異常である、たとえば、ターゲット解析前因子（複数可）についての正しい値を表す範囲および／または閾値の外側にあると判定された場合に、ターゲット画像およびターゲット解析前因子（複数可）が画像補正機械学習モデルに供給される。正常として分類された解析前因子（複数可）を用いて処理されたときに、スライドのターゲット画像がどのように見えるかをシミュレートする補正された画像の結果が、画像補正機械学習モデルの結果として取得される。画像補正機械学習モデルは、複数の記録の画像補正訓練データセットにおいて訓練される。画像補正記録は、解析前因子（複数可）が異常として分類され、スライドの画像が異常に処理された病理組織を表している、解析前因子（複数可）を用いて処理された被験者の病理組織のスライドの画像と、解析前因子（複数可）の指示と、正常として分類された解析前因子（複数可）を用いて処理された病理組織のスライドの正常な画像を表すグラウンドトゥルースラベルと、を含む。
【0056】
その代替または追加として、解析前機械学習モデルからの結果として取得されたターゲット解析前因子（複数可）が異常であると判定された場合、ヒートマップ（たとえば、本明細書で説明されるような）および／またはスコア（たとえば、異常である確率）がディスプレイ上に提示されてもよい。ユーザは、画像をどのように解釈するべきか、および／または画像が破棄されるべきか否かを判定するのを助けるために、ヒートマップおよび／またはスコアを見てもよい。
【0057】
本明細書に記載のシステム、方法、装置（たとえば、コンピューティングデバイス）、および／またはコード命令（たとえば、データ記憶デバイス上に記憶されて１つまたは複数のハードウェアプロセッサによって実行可能な）のうちの少なくともいくつかの実施形態は、画像、たとえば病理組織のスライド画像全体内に表された処理する組織の解析前因子を判定するという技術的問題に対処する。本明細書に記載のシステム、方法、装置、および／またはコード命令のうちの少なくともいくつかの実施形態は、それらの組織標本を表す画像から組織を処理するために使用される解析前因子を判定することによって、組織標本の解析の技術分野および／または医療分野を改善する。本明細書に記載のシステム、方法、装置、および／またはコード命令のうちの少なくともいくつかの実施形態は、組織標本の画像の入力に応じて解析前因子（複数可）の結果を生成する機械学習モデル（複数可）を提供することによって、機械学習の技術分野を改善する。
【0058】
処理された組織、たとえば、免疫組織化学（ＩＨＣ）手法を使用して染色されたホルマリン固定パラフィン包埋（ＦＦＰＥ）組織試料が、世界中で臨床実験室および研究実験室において病理学者によって日常的に分析されている。しかしながら、最終のＩＨＣ染色の品質は、複数の解析前因子、たとえば、組織固定、作業変数、アッセイ有効性、および本明細書に記載の別のものに依存する。染色品質とは、１次染色と対比染色の両方についての染色強度および／または組織標本内の組織構造の外観を指すことがある。染色品質は、解析前作業流れを通して、組織標本内に保存された有限組織抗原の数によって主として影響を受け、このことは、たとえば、Ｋ．Ｂ．ＥｎｇｅｌとＨ．Ｍ．Ｍｏｏｒｅによる、“Ｅｆｆｅｃｔｓ ｏｆ ｐｒｅａｎａｌｙｔｉｃａｌ ｖａｒｉａｂｌｅｓ ｏｎ ｔｈｅ ｄｅｔｅｃｔｉｏｎ ｏｆ ｐｒｏｔｅｉｎｓ ｂｙ ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ ｉｎ ｆｏｒｍａｌｉｎ－ｆｉｘｅｄ，ｐａｒａｆｆｉｎ－ｅｍｂｅｄｄｅｄ ｔｉｓｓｕｅ”，Ａｒｃｈ Ｐａｔｈｏｌ Ｌａｂ Ｍｅｄ．２０１１；１３５（５）；５３７－４３（以下「Ｅｎｇｅｌ」）、および／またはＤ．Ｒ．ＢａｕｅｒとＭ．ＯｔｔｅｒとＤ．Ｒ Ｃｈａｆｉｎによる、“Ａ Ｎｅｗ Ｐａｒａｄｉｇｍ ｆｏｒ Ｔｉｓｓｕｅ Ｄｉａｇｎｏｓｔｉｃｓ：Ｔｏｏｌｓ ａｎｄ Ｔｅｃｈｎｉｑｕｅｓ ｔｏ Ｓｔａｎｄａｒｄｉｚｅ Ｔｉｓｓｕｅ Ｃｏｌｌｅｃｔｉｏｎ，Ｔｒａｎｓｐｏｒｔ，ａｎｄ Ｆｉｘａｔｉｏｎ”，Ｃｕｒｒｅｎｔ ｐａｔｈｏｂｉｏｌｏｇｙ ｒｅｐｏｒｔｓ，２０１８；Ｖｏｌ．６；１３５－１４３（以下「Ｂａｕｅｒ」）を参照して記載されており、これらは、参照によりその全体が本明細書に組み込まれる。
【0059】
解析前段階は、組織片が、細胞内での自己分解によって引き起こされる組織変性として血液供給部から除去されるとすぐに開始する。そのため、固定剤が使用されて、組織構造および抗原のうちの可能な限り多くを保存する。染色品質は、主として組織標本の固定過剰／固定不足に依存し、たとえば、固定不足の組織標本は、ＩＨＣ染色内に弱い染色信号を示し、このことを、たとえば、Ｂａｕｅｒが述べている。組織変性は、周囲環境内の温度上昇によってさらに加速され得ることにより、固定までの時間を良好な染色品質を得るための重要なパラメータにする。固定不良はまた、形態学的組織変化を生じさせる可能性があり、この変化は、手動のまたは自動化された癌診断に使用され得る重要な組織情報を除去することがある。標準的な解析前作業流れは存在せず、それで、たとえばＢａｕｅｒが述べているように、各パラメータがどのように最終染色品質に影響を及ぼし得るかについては既知ではない。標準化の欠如は、たとえば、Ｅｎｇｅｌおよび／またはＬａｎｎｇ，Ｍらによる“Ｑｕａｌｉｔｙ ａｓｓｅｓｓｍｅｎｔ ｏｆ Ｋｉ６７ ｓｔａｉｎｉｎｇ ｕｓｉｎｇ ｃｅｌｌ ｌｉｎｅ ｐｒｏｌｉｆｅｒａｔｉｏｎ ｉｎｄｅｘ ａｎｄ ｓｔａｉｎ ｉｎｔｅｎｓｉｔｙ ｆｅａｔｕｒｅｓ”，２０１９，Ｃｙｔｏｍｅｔｒｙ．Ｐａｒｔ Ａ：ｔｈｅ ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ａｎａｌｙｔｉｃａｌ Ｃｙｔｏｌｏｇｙ．９５，４，ｓ．３８１－３８８（以下「Ｌａｎｎｇ」）が記載されており、その全体が参照により本明細書に組み込まれているように、機関内および機関同士間の両方における染色プロトコルに著しい差を生じさせる。
【0060】
本明細書に記載のＭＬモデルは、画像内に表された組織を処理する際に使用される解析前因子を決定するための客観的および／または再現可能な手法を提供するものであり、解析前の組織収集作業流れを標準化するために、新たに開発された染色プロトコルの染色品質を評価するために、ならびに／あるいは疾患（たとえば、癌）診断および／または治療を改善するために使用されてもよい。たとえば、プロトコルに続いて、組織の画像がＭＬモデル（複数可）に供給されて、組織を処理するために使用される解析前因子が、正しい範囲内（もしくは閾値以上／以下）にあるか、あるいは異常（たとえば、正しい範囲の外側および／または閾値以上／以下）であるか否かを判定してもよい。組織学的に染色された組織標本についての評価に基づいた改善された臨床作業流れが、本明細書に記載の手法を使用することによって、解析前因子が調製された染色組織標本の品質にどの程度影響を及ぼすかを解析することによって得られることがあり、たとえば、最終の染色組織標本の画像および／または新たな組織標本における染色応答が、染色品質を評価するために使用されてもよい。ヒトである病理学者および／または自動的な癌（または別の疾患）診断プロセス（たとえば、コンピュータ上で実行するアプリケーション）が、診断を行う場合に予測される染色品質を考慮することがある。たとえば、染色品質が不良である場合には、診断がなされないか、不確定な診断がなされることがあり、染色品質が良好である場合には、高い確度で診断が行われることがある。染色品質評価ツールは、よりロバストな染色プロトコルおよび／または検査製品を開発するための絶対的標準染色品質評価として機能することがある。
【0061】
染色品質に及ぼす解析前因子の影響はまた、抗原依存性であり、いくつかのＩＨＣ染色が別のものよりも解析前変動に対してより敏感であるようにさせる。ＨＥＲ２は、最適な治療を決定するために乳癌診断において日常的に使用される感受性エピトープの例であり、このことは、たとえば、Ｂａｕｅｒおよび／またはＥ．Ｃ．Ｃｏｌｌｅｙ＆Ｒ．Ｈ．Ｓｔｅａｄによる“Ｆｉｘａｔｉｏｎ ａｎｄ Ｏｔｈｅｒ Ｐｒｅ－Ａｎａｌｙｔｉｃａｌ Ｆａｃｔｏｒｓ”，ｉｎ Ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｃａｌ ｓｔａｉｎｉｎｇ ｍｅｔｈｏｄｓ，ＩＨＣ Ｇｕｉｄｅｂｏｏｋ，ｃｈａｐｔｅｒ２，６ｔｈ ｅｄｉｔｉｏｎ，Ｄａｋｏ Ｄｅｎｍａｒｋ Ａ／Ｓ，Ａｎ Ａｇｉｌｅｎｔ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏｍｐａｎｙ（以下「Ｃｏｌｌｅｙ」）を参照して説明されている。しかしながら、不十分な染色は、ＨＥＲ２陽性組織構造において不十分な染色応答を生じさせる可能性があり、そのため病理学者によって検出されないことになる。解析前因子によって生じた染色変動は、たとえば、Ｅｎｇｅｌを参照して説明されるように、次いで、診断プロセスに直接影響を及ぼすことがあり、それによって、患者に関する治療および結果に直接影響を及ぼすことがある。
【0062】
技術的課題は、病理学者にとって、不十分な解析前処理から生じる組織変化を見つけるのが困難であることである。温虚血による広範囲の組織劣化は、たとえば、著しい形態学的変化を生成するが、固定過剰および固定不足から生じるわずかな差を認知することができるには病理学者からの専門知識を必要とする。病理学者が見つけ得る１つのパラメータは、赤血球の幾何学的形状であるけれども、この測定基準を評価することは一般的には行われておらず、その変化が軽微であるので、それらはまれにしか見つけられない。評価され得る別の判定基準は、有糸分裂事象の鮮明度であり、その理由は、固定過剰が有糸分裂性の核変化をわずかにぼやけさせるように見えるからである。
【0063】
本明細書に記載の少なくともいくつかの実施形態は、組織の標本の品質を評価するための標準的な手法を改善する。組織試料の品質管理測定についての従来手法は、手動ベースのものであって、解析前パラメータに関する問題を認識し、この従来の知識に基づいて組織標本に関する決定するのに十分であるように訓練されている病理学者に依存する。さらに、そのような手動アプローチは主観的であり、必ずしも再現可能ではない。対照的に、本明細書に記載の少なくともいくつかの実施形態は、機械学習モデルを使用して、組織標本についての自動的、客観的、再現可能、および／または正確な解析を提供することにより、組織の処理の際に使用される解析前因子を判定する。解析前因子は、固定時間が許容可能であるか否かの指示のような、組織標本の品質を表してもよい。本明細書に記載の機械学習モデル（複数可）に基づく実施形態は、解析をより主観的でないようにすることによって組織標本を評価する病理医の作業流れを有意に改善して、意思決定を改善することがある。
【0064】
多くの解析前変数のうち、組織固定時間（すなわち、特定の解析前因子）は、おそらくＩＨＣおよび原位置ハイブリッド形成（ＩＳＨ）染色の品質に最も有意な影響を有し、その理由は、それが抗原賦活化およびエピトープ結合のような多くの別の変数に影響を及ぼすからである。本明細書に記載の少なくともいくつかの実施形態は、たとえば、ＨＥＲ２染色された組織標本内の組織標本の画像に応じて、固定時間を予測する自動的、客観的、再現可能、および／または正確な手法を提供することを可能にする。染色品質は、予測された固定時間に従って決定されてもよい。たとえば、予測された固定時間が正しい範囲内にある場合の良好な染色品質と、予測された固定時間が異常な（たとえば、正しくない）固定時間を表す正しい範囲外にある場合の不良な染色品質とである。
【0065】
解析前条件を変化させることに基づいて染色品質を変化させるという帰結を考慮すると、染色における潜在的なバイアスについてエンドユーザに知らせることによって、エンドユーザがＩＨＣ染色をより良く解釈するのを助ける機能は、染色についての偽陽性／偽陰性解釈に起因する誤った患者治療に関するリスクを低減するのに役立つことになろう。場合によっては、固定過剰の場合について、前処理時間を増加させることは、固定過剰に関する問題を効果的に克服し得ることが知られている。その場合、明視野スライドスキャナ以外のさらなるハードウェアを導入することなく、所与の試料が、本明細書に記載の実施形態を使用して不足／過剰状態で固定されたことと、その試料についての修正された診断染色プロトコルが正確な結果を与えるのに必要であることと、を病理学者に知らせることが可能になるであろう。そのようなツールは、新たな診断検査の開発中に使用される、入来する生物組織の固定状態について限られた知識しか有しないという技術的に困難な開発を解決する場合がある。公式のガイドラインが固定を行う研究室によって一般的に使用されているが、これらは広い範囲を有し、組織密度、サイズおよび幾何学的形状が、組織試料の固定度に大きく影響する。本明細書に記載の実施形態を使用して組織の相対的な固定度を測定することの可能性により、短期的には、検査開発のための組織の選択についての客観的な扱い方を有することが可能であろう、したがって、よりロバストな染色プロトコルおよび診断製品の開発を可能にするであろう。
【0066】
本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、その適用において、以下の説明で述べられ、ならびに／あるいは、図面内におよび／または実施例に示される構成要素の構成および配列の詳細および／または方法に必ずしも限定されないことを理解されたい。本発明は、別の実施形態が可能であり、または様々な方法で実施または実行されることが可能である。
【0067】
本発明は、システム、方法、および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体（複数可）を含んでもよい。
【0068】
コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持および記憶し得る有形デバイスであり得る。コンピュータ可読記憶媒体としては、たとえば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または前述のものの任意の適切な組合せが挙げられるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、および前述のものの任意の適切な組合せを含む。本明細書で使用されるようなコンピュータ可読記憶媒体は、電波もしくは別の自由に伝搬する電磁波、導波路もしくは別の伝送媒体を伝搬する電磁波（たとえば、光ファイバケーブルを通過する光パルス）、または電線を通して伝送される電気信号のような一過性の信号自体であると解釈されるべきではない。
【0069】
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各コンピューティング／処理デバイスに、あるいはネットワーク、たとえば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、および／または無線ネットワークを介して外部コンピュータもしくは外部記憶デバイスに、ダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび／またはエッジサーバを備えてもよい。各コンピューティング／処理デバイス内のネットワークアダプタカードまたはネットワークインタフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令を各コンピューティング／処理デバイス内のコンピュータ可読記憶媒体内に記憶するために転送する。
【0070】
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、ステート設定データ、または、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは同様のプログラミング言語のような従来の手続き型プログラミング言語を含む、１つまたは複数のプログラム言語の任意の組合せで書かれたソースコードまたはオブジェクトコードのいずれかである。コンピュータ可読プログラム命令は、全部がユーザのコンピュータ上で、一部がスタンドアロンソフトウェアパッケージとしてユーザのコンピュータ上で、一部がユーザのコンピュータ上で、一部がリモートコンピュータ上で、あるいは全体がリモートコンピュータまたはサーバ上で実行してもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または接続は、外部コンピュータに対して（たとえば、インターネットサービスプロバイダを使用してインターネットを介して）なされてもよい。いくつかの実施形態では、たとえば、プログラム可能論理回路、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、またはプログラム可能論理アレイ（ＰＬＡ）を含む電子回路は、電子回路を個人用にするためにコンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行してもよく、本発明の態様を実行するためである。
【0071】
本発明の態様は、本発明の実施形態に従う方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書に記載されている。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図におけるブロックの組合せは、コンピュータ可読プログラム命令によって実施され得ることが理解されよう。
【0072】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または機械を作成するための別のプログラム可能データ処理装置のプロセッサに提供されることにより、コンピュータまたは別のプログラム可能データ処理装置のプロセッサを介して実行する命令が、フローチャートおよび／またはブロック図のブロックまたは複数のブロックにおいて指定された機能／動作を実施するための手段を作成する。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラム可能データ処理装置、および／または別のデバイスが特定の方法で機能するように誘導し得るコンピュータ可読記憶媒体に記憶されることにより、そこに記憶された命令を有するコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図のブロックまたは複数のブロックにおいて指定された機能／動作の態様を実施する命令を含む製品を備えてもよい。
【0073】
コンピュータ可読プログラム命令はまた、コンピュータ、別のプログラム可能データ処理装置、または別のデバイス上にロードされて、一連の動作ステップをコンピュータ、別のプログラム可能装置、または別のデバイス上で実行されるように生じさせ、コンピュータにより実施されるプロセスを生成させることにより、コンピュータ、別のプログラム可能装置、または別のデバイス上で実行する命令は、フローチャートおよび／またはブロック図のブロックもしくは複数のブロックにおいて指定された機能／動作を実施する。
【0074】
図面中のフローチャートおよびブロック図は、本発明の種々の実施形態に従う、システム、方法、およびコンピュータプログラム製品の可能な実施形態のアーキテクチャ、機能、および動作を表す。この点に関して、フローチャートまたはブロック図内の各ブロックは、指定された論理機能（複数可）を実施するための１つまたは複数の実行可能命令を備える、命令のモジュール、セグメント、または部分を表すことがある。いくつかの代替の実施形態では、ブロック内に示された機能は、図面に示された順序とは異なる順序で生じてもよい。たとえば、連続して示された２つのブロックは、実際には、実質的に並行して実行されてもよく、またはブロックは、ときには関与する機能に応じて逆の順序で実行されてもよい。また、ブロック図および／またはフローチャート図の各ブロック、ブロック図および／またはフローチャート図におけるブロックの組合せは、指定された機能または動作を行うか、または専用ハードウェアとコンピュータ命令の組合せを実行する専用ハードウェアベースのシステムによって実施され得る。
【0075】
ここで図１を参照すると、図１は、本発明のいくつかの実施形態に従って、ターゲット画像の入力に応じてターゲット画像内に表された組織を処理するために使用される解析前因子（複数可）の指示を生成するように、および／または組織標本（複数可）を表すターゲット画像（複数可）の入力に応じて解析前因子（複数可）の指示を取得するためにＭＬモデル（複数可）を使用するように、ＭＬモデル（複数可）を訓練するシステム１００の構成要素のブロック図である。また、図２を参照すると、図２は、本発明のいくつかの実施形態に従って、ターゲット画像の入力に応じてターゲット画像内に表された組織を処理するために使用される解析前因子（複数可）の指示を生成するように、ＭＬモデル（複数可）を訓練するための処理についてのフローチャートである。また、図３を参照すると、図３は、本発明のいくつかの実施形態に従って、組織標本（複数可）を表すターゲット画像（複数可）の入力に応じて解析前因子（複数可）の指示を取得するようにＭＬモデル（複数可）を使用するためのプロセスについてのフローチャートである。また、図４を参照すると、図４は、本発明のいくつかの実施形態に従って、異なる固定時間を有する組織標本のスライドを表す画像の一例である。また、図５を参照すると、図５は、本発明のいくつかの実施形態に従って、異なる固定時間を有する組織標本のスライドを表す別の例である。また、図６を参照すると、図６は、本発明のいくつかの実施形態に従って、抽出された特徴を使用してＭＬモデルを訓練するという処理６００を表す概略図である。ここで図７を参照すると、図７は、本発明のいくつかの実施形態に従って、核セグメンテーションＭＬモデルによってセグメント化されたセグメント化核７０４（明確にするために示された１つの核）を有する、１つまたは複数の解析前因子を用いて処理された組織の画像７０２を表す。
【0076】
ここで図４を再び参照すると、画像４０２は、２６時間の正常な固定時間を受けた、正常に固定された赤血球の標本を表す。対照的に、画像４０４は、１４３時間の過剰な固定時間を受けた、過剰に固定された赤血球の別の標本を表す。特に、画像が異なる細胞標本のものであるので、専門の病理医でさえ、画像４０４と画像４０２内の細胞を視覚的に識別することは困難である。したがって、画像４０４内の細胞が過剰に固定されており、一方、画像４０２内の細胞が正常に固定されていると判定することは困難である。本明細書で考察したように、場合によっては、固定時間を試行して決定するために、赤血球判定基準の幾何学的形状が計算され使用されてもよいが、この判定基準を評価することは、その変化は軽微であり、それらはまれにしか見つけられないので、よくあることではない。本明細書に記載の少なくともいくつかの実施形態では、訓練済みＭＬモデルは、画像４０２および／または４０４の入力に応じて、固定時間を表す、および／または固定時間が正常であるか異常であるかを表す、結果を生成する。
【0077】
ここで図５を再び参照すると、画像５０２は、２６時間の正常な固定時間を受けた、正常に固定された組織の標本を表す。対照的に、画像５０４は、１４３時間の超過固定時間を受けた、過剰に固定された組織の別の標本を表す。特に、画像が異なる細胞標本のものであるので、専門の病理医でさえ、画像５０４と画像５０２内の細胞を視覚的に識別することは困難である。したがって、画像５０４内の細胞が過剰に固定されており、一方、画像５０２内の細胞が正常に固定されていると判定することは困難である。本明細書で考察したように、場合によっては、固定時間を試行して決定するために、赤血球判定基準の幾何学的形状が計算され使用されてもよいが、この判定基準を評価することは、その変化は軽微であり、それらはまれにしか見つけられないので、よくあることではない。５０４におけるような固定過剰は、５０２における正常な固定と比較して有糸分裂性の核変化をわずかにぼやけさせるが、その変化を見つけることは困難である。本明細書に記載の少なくともいくつかの実施形態では、訓練済みＭＬモデルは、画像５０２および／または５０４の入力に応じて、固定時間を表す、および／または固定時間が正常であるか異常であるかを表す、結果を生成する。
【0078】
ここで図１を再び参照すると、システム１００は、任意選択的に、メモリ１０６に記憶されたコード命令１０６Ａおよび／または１０６Ｂを実行するコンピューティングデバイス１０４のハードウェアプロセッサ（複数可）１０２によって、図２～７を参照して記載された方法の行為を実施してもよい。
【0079】
コンピューティングデバイス１０４は、たとえば、クライアント端末、サーバ、仮想サーバ、実験室ワークステーション（たとえば、病理ワークステーション）、処置（たとえば、手術）室コンピュータおよび／またはサーバ、仮想マシン、コンピューティングクラウド、モバイルデバイス、デスクトップコンピュータ、シンクライアント、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルコンピュータ、メガネコンピュータ、および腕時計コンピュータとして実施されてもよい。コンピューティング１０４は、ときには、組織の標本の画像をユーザ（たとえば、病理学者）に提示するために、実験室ワークステーションおよび／または別のデバイスへの付加装置として実施される高度な視覚化ワークステーションを含んでもよい。
【0080】
コンピューティングデバイス１０４に基づくシステム１００の異なるアーキテクチャは、たとえば、中央サーバベースの実施形態、および／またはローカルベースの実施形態で実施されてもよい。
【0081】
中央サーバベースの実施形態の一例では、コンピューティングデバイス１０４は、図２～７を参照して記載された動作のうちの１つまたは複数を実行する、ローカルに記憶されたソフトウェアを含んでもよく、および／またはネットワーク１１０を介してサービス（たとえば、図２～７を参照して記載された動作のうちの１つまたは複数）を１つまたは複数のクライアント端末１０８（たとえば、遠隔に位置する実験室ワークステーション、遠隔画像保管通信システム（ＰＡＣＳ）サーバ、遠隔電子医療記録（ＥＭＲ）サーバ、遠隔画像保管サーバ、遠隔に位置する病理計算装置、デスクトップコンピュータのようなユーザのクライアント端末）に提供する１つまたは複数のサーバ（たとえば、ネットワークサーバ、ウェブサーバ、コンピューティングクラウド、仮想サーバ）として動作してもよく、該サービスとは、たとえば、サービスとしてのソフトウェア（ＳａａＳ）をクライアント端末（複数可）１０８に提供すること、ウェブブラウザおよび／または組織標本撮像ビューワアプリケーションへの追加としてクライアント端末（複数可）１０８へのローカルダウンロードのためのアプリケーションを提供すること、および／またはウェブブラウザを介するように、クライアント端末１０８へのリモートアクセスセッションを使用して機能を提供すること、である。一実施形態では、複数のクライアント端末１０８がそれぞれ、異なる撮像デバイス（複数可）１１２から組織標本の画像を取得する。複数のクライアント端末１０８のそれぞれは、画像をコンピューティングデバイス１０４に提供する。コンピューティングデバイスは、受信された画像（複数可）を１つまたは複数の機械学習モデル（複数可）１２２Ａに供給することにより、解析前因子（たとえば、推定された固定時間、および／または固定時間が正常であったか、もしくは異常であったか、たとえば、それが少なすぎる（すなわち、固定過剰）、または多すぎる（すなわち、固定過剰）であったか、ならびに本明細書に記載のような別のもの）を表す結果、ならびに／あるいは、本明細書に記載のような、２次的指示および／または補正された画像のような異なるＭＬモデルの別の結果、を取得してもよい。コンピューティングデバイス１０４から取得された結果は、たとえば、ディスプレイおよび／またはローカルストレージ内のストレージ上での提示、ならびに／あるいは診断アプリケーションのような別のプロセスへの供給のために、各クライアント端末１０８にそれぞれ提供されてもよい。機械学習モデル（複数可）１２２Ａの訓練は、組織標本の画像および／または１つまたは複数のクライアント端末（複数可）１０８、任意選択的に複数の異なるクライアント端末１０８から取得されたデータの注釈に基づいて、コンピューティングデバイス１０４によって中央で実行されてもよく、ならびに／あるいは別のデバイス（たとえば、サーバ（複数可）１１８）によって実行され、使用のためにコンピューティングデバイス１０４に提供されてもよい。
【0082】
ローカルベースの実施形態では、各コンピューティングデバイス１０４はそれぞれ、特定のユーザ、たとえば、特定の病理学者、ならびに／あるいは病院および／または病理検査室のような施設内のユーザのグループによって使用される。コンピューティングデバイス１０４は、たとえば、直接的におよび／または画像リポジトリ１１４（たとえば、ＰＡＣＳサーバ、クラウドストレージ、ハードディスク）を介して、撮像デバイス１１２から標本画像を受信する。注釈が、ユーザから受信され（たとえば、インタフェースを介して手動で入力され）てもよく、および／または、別のソースから、たとえば、組織の処理中に使用される解析前因子を表す組織処理デバイス（複数可）１５０によって出力されるメタデータから抽出されてもよい。画像が１つまたは複数の機械学習モデル（複数可）１２２Ａにローカルに供給され、本明細書に記載の１つまたは複数の結果（複数可）を取得してもよい。結果（複数可）は、たとえば、ディスプレイ１２６上に提示されてもよく、コンピューティングデバイス１０４のデータ記憶デバイス１２２にローカルに記憶されてもよく、および／またはデータ記憶デバイス１２２上にローカルに記憶されてもよい別のアプリケーションに供給されてもよい。機械学習モデル（複数可）１２２Ａの訓練は、各撮像デバイス１１２から取得された標本の画像および／またはデータの注釈に基づいて、各コンピューティングデバイス１０４それぞれによってローカルに実行されてもよく、たとえば、異なるユーザがそれぞれ、特定の処理プロトコルを使用しておよび／または特定の組織処理デバイス１５０を使用して処理された、ユーザによって使用される標本を使用して、機械学習モデル１２２Ａの独自のセットを訓練してもよく、ならびに／あるいは、異なる病理学検査室はそれぞれ、それ自体の特定の組織処理プロトコルを使用しておよび／またはそれ自体の特定の組織処理デバイス１５０を使用して処理されたそれら自体の画像を使用して、それら自体の機械学習モデルのセットを訓練してもよい。たとえば、骨髄生検の解析に特化した病理医は、骨髄に適した解析前因子を使用して処理された骨髄生検標本の画像においてＭＬモデルを訓練する。腎臓生検に特化した別の検査室は、腎臓組織に適した解析前因子を使用して処理された生検を介して取得された腎臓組織を表す画像においてＭＬモデルを訓練する。別の例では、訓練済み機械学習モデル（複数可）１２２Ａは、中央サーバのような別のデバイスから取得される。
【0083】
コンピューティングデバイス１０４は、１つまたは複数の撮像デバイス（複数可）１１２によってキャプチャされた組織標本の画像を受信する。例示的な撮像デバイス（複数可）１１２は、標準的なカラーチャネル（たとえば、赤色、緑色、青色）でのスキャナ走査、４つ以上のチャネルで画像を取得するマルチスペクトル撮像装置、共焦点顕微鏡、白黒撮像装置、および撮像センサを含む。
【0084】
任意選択的に、１つまた複数の組織処理デバイス１５０が、本明細書の記載のように決定されるように、既知であってもおよび／または未知であってもよい解析因子（複数可）を使用して組織を処理する。たとえば、次いで撮像デバイス１１２によって撮像される組織標本を固定、および／またはそれに染色を適用されたい。
【0085】
撮像デバイス（複数可）１１２は、標本の２次元（２Ｄ）画像、任意選択的にスライド画像全体を作成してもよい。
【0086】
撮像機械１１２によってキャプチャされた画像は、画像リポジトリ１１４、たとえば、ストレージサーバ（たとえば、ＰＡＣＳ、ＥＨＲサーバ）、コンピューティングクラウド、仮想メモリ、およびハードディスクに記憶されてもよい。
【0087】
訓練データセット（複数可）１２２Ｂが、本明細書の記載のように、キャプチャされた画像に基づいて作成されてもよい。
【0088】
機械学習モデル（複数可）１２２Ａは、本明細書の記載のように、訓練データセット（複数可）１２２Ｂにおいて訓練されてもよい。
【0089】
例示的なＭＬモデル（複数可）１２２Ａは、解析前ＭＬモデル、２次ＭＬモデル（たとえば、臨床ＭＬモデル）、画像補正ＭＬモデル、ならびに核セグメンテーションＭＬモデル、ＲＢＣセグメンテーションＭＬモデル、および／または（たとえば、図２の２０６を参照して記載のような）解釈可能性ＭＬモデルのような任意選択の事前処理ステップにおいて使用される別のＭＬモデルのうちの１つまたは複数を含む。
【0090】
本明細書に記載の機械学習モデルの例示的なアーキテクチャは、たとえば、統計的分類器および／または別の統計モデル、種々のアーキテクチャのニューラルネットワーク（たとえば、畳み込み、全結合、１つまたは複数の後続の結合層を有する１つまたは複数の畳み込み層、深層、エンコーダ－デコーダ、再帰、グラフ）、サポートベクタマシン（ＳＶＭ）、ロジスティック回帰、ｋ近傍、決定木、ブースティング、ランダムフォレスト、リグレッサ、および／または回帰、分類、次元削減、教師あり、教師なし、半教師あり、または強化学習を可能にする任意の別のコマーシャルもしくはオープンソースパッケージを含む。機械学習モデルは、教師あり手法および／または教師なし手法を使用して訓練されてもよい。
【0091】
本明細書に記載の機械学習モデルは、微回転させられるおよび／または更新され得る。骨髄生検のような特定のタイプの組織に対して訓練される既存の訓練済みＭＬモデルが、血液塗抹のような別のタイプの組織のための転移学習手法を使用して、別のＭＬモデルを訓練するための基礎として使用されてもよい。既存のＭＬモデルを使用することについての転移学習手法は、新たに訓練済みＭＬモデルの精度を向上させてもよく、および／または新たなＭＬモデルを訓練するための訓練データセットのサイズを低減してもよく、ならびに／あるいは新たなＭＬモデルを「最初から」訓練することについての標準的な手法よりも、新たなＭＬモデルを訓練するための時間を低減する、および／または計算リソースを低減する。
【0092】
コンピューティングデバイス１０４は、１つまたは複数の撮像インタフェース１２０を使用して、撮像デバイス１１２および／または画像リポジトリ１１４からの解析のための画像を受信してもよく、該撮像インタフェースとしては、たとえば、ワイヤ接続（たとえば、物理ポート）、ワイヤレス接続（たとえば、アンテナ）、ローカルバス、データ記憶デバイスの接続用ポート、ネットワークインタフェースカード、別の物理インタフェース実行、および／または仮想インタフェース（たとえば、ソフトウェアインタフェース、仮想プライベートネットワーク（ＶＰＮ）接続、アプリケーションプログラミングインタフェース（ＡＰＩ）、またはソフトウェア開発キット（ＳＤＫ））が挙げられる。その代替または追加として、コンピューティングデバイス１０４は、クライアント端末（複数可）１０８および／またはサーバ（複数可）１１８から画像を受信してもよい。
【0093】
ハードウェアプロセッサ（複数可）１０２は、たとえば、中央処理ユニット（複数可）（ＣＰＵ）、グラフィックス処理ユニット（複数可）（ＧＰＵ）、フィールドプログラム可能ゲートアレイ（複数可）（ＦＰＧＡ）、デジタル信号プロセッサ（複数可）（ＤＳＰ）、特定用途向け集積回路（複数可）（ＡＳＩＣ）として実施されてもよい。プロセッサ（複数可）１０２は、１つまたは複数のプロセッサ（同種または異種の）を含んでもよく、プロセッサは、クラスタとしておよび／または１つまたは複数のマルチコア処理ユニットとして、並列処理のために配列されてもよい。
【0094】
メモリ１０６（本明細書ではプログラムストア、および／またはデータ記憶デバイスとも呼ばれる）は、ハードウェアプロセッサ（複数可）１０２、たとえば、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、および／または記憶デバイス、たとえば、不揮発性メモリ、磁気媒体、半導体メモリデバイス、ハードドライブ、リムーバブル記憶装置、および光学媒体（たとえば、ＤＶＤ、ＣＤ－ＲＯＭ）によって実行するためのコード命令を記憶する。メモリ１０６は、図３～７を参照して記載される方法の１つまたは複数の行為および／または特徴を実施するコード１０６Ａおよび／または訓練コード１０６Ｂを記憶する。
【0095】
コンピューティングデバイス１０４は、データを記憶するためのデータ記憶デバイス１２２、たとえば、本明細書に記載のような機械学習モデル（複数可）１２２Ａ、および／または本明細書に記載のような機械学習モデル（複数可）１２２Ａを訓練するための訓練データセット１２２Ｂを含んでもよい。データ記憶デバイス１２２は、たとえば、メモリ、ローカルハードドライブ、リムーバブル記憶デバイス、光ディスク、記憶デバイスとして、ならびに／あるいは、リモートサーバおよび／またはコンピューティングクラウド（たとえば、ネットワーク１１０を介してアクセスされる）として実施されてもよい。データ記憶デバイス１２２内に記憶されたデータの実行コード部分は、プロセッサ（複数可）１０２による実行のためにメモリ１０６にロードされてもよいことに留意されたい。
【0096】
コンピューティングデバイス１０４は、ネットワーク１１０に接続するために、データインタフェース１２４、任意選択的にネットワークインタフェース、たとえば、ネットワークインタフェースカード、無線ネットワークに接続するための無線インタフェース、ネットワーク接続のためにケーブルに接続するための物理インタフェース、ソフトウェア内に実施された仮想インタフェース、ネットワーク接続のより高い層を提供するネットワーク通信ソフトウェア、および／または別の実施形態のうちの１つまたは複数を含んでもよい。コンピューティングデバイス１０４は、ネットワーク１１０を使用して１つまたは複数のリモートサーバ１１８にアクセスすることにより、たとえば、更新されたバージョンの機械学習モデル（複数可）１２２Ａ、コード１０６Ａ、訓練コード１０６Ｂ、および／または訓練データセット（複数可）１２２Ｂをダウンロードしてもよい。
【0097】
コンピューティングデバイス１０４は、ネットワーク１１０（または、直接リンク（たとえば、ケーブル、無線）、および／または間接リンク（たとえば、サーバのようなコンピューティングデバイスを介する、および／または記憶デバイスを介する）を介するような別の通信チャネル）を使用して、
＊たとえば、コンピューティングデバイス１０４が、本明細書の記載のように、画像解析サービス（たとえば、ＳａａＳ）をリモートラボ端末に提供するサーバとして作用するときのクライアント端末（複数可）１０８、
＊たとえば、本明細書の記載のように、処理のために異なる個人（たとえば、患者）からの標本の画像を記憶してもよい、ＰＡＣＳおよび／または電子医療記録と関連して実施されるサーバ１１８、
＊撮像デバイス１１２によってキャプチャされた標本の画像を記憶する画像リポジトリ１１４、
のうちの１つと通信してもよい。
＊たとえば、コンピューティングデバイス１０４が、本明細書の記載のように、画像解析サービス（たとえば、ＳａａＳ）をリモートラボ端末に提供するサーバとして作用するときのクライアント端末（複数可）１０８、
＊たとえば、本明細書の記載のように、処理のために異なる個人（たとえば、患者）からの標本の画像を記憶してもよい、ＰＡＣＳおよび／または電子医療記録と関連して実施されるサーバ１１８、
＊撮像デバイス１１２によってキャプチャされた標本の画像を記憶する画像リポジトリ１１４、
のうちの１つと通信してもよい。
【0098】
撮像インタフェース１２０およびデータインタフェース１２４は、２つの独立したインタフェース（たとえば、２つのネットワークポート）として、共通の物理インタフェース上の２つの仮想インタフェース（たとえば、共通のネットワークポート上の仮想ネットワーク）として存在してもよく、および／または単一のインタフェース（たとえば、ネットワークインタフェース）に一体化されてもよいことに留意されたい。
【0099】
コンピューティングデバイス１０４は、ユーザがデータを入力する（たとえば、画像の注釈のための解析前因子の手動入力）および／またはデータ（たとえば、ＭＬモデル（複数可）によって予測される解析前因子）を見るように設計された機構を含むユーザインタフェース１２６を含むか、またはそれと通信する。例示的なユーザインタフェース１２６は、たとえば、タッチスクリーン、ディスプレイ、キーボード、マウス、ならびにスピーカおよびマイクロフォンを使用する音声起動ソフトウェアのうちの１つまたは複数を含む。
【0100】
ここで図２を再び参照すると、２００において、組織の１つまたは複数の画像（たとえば、スライドの）、任意選択的に、少なくとも１つの解析前因子を用いて処理された、１人または複数の被験者の病理組織が、取得される、および／またはアクセスされる。
【0101】
異なる被験者から取得された組織標本をそれぞれ表す、複数のスライドの複数の画像が取得されてもよい。複数の画像は、同じ組織の異なるスライドからのものであってもよい。その代替または追加として、同じ被験者の異なる組織の異なるスライドからの複数の画像が取得される。画像は、異なる被験者から取得された同じタイプの組織標本のもの、たとえば、血液塗抹、骨髄生検、外科的に除去された腫瘍、および生検から抽出されたポリープであってもよい。提供および／または訓練済みＭＬモデル（複数可）は、１つのまたは各組織タイプ、またはその代替として、異なる患者からの異なる組織タイプを表す画像に対応してもよい。
【0102】
スライドにおける組織は、ホルマリン固定パラフィン包埋（ＦＦＰＥ）組織を含んでもよい。
【0103】
画像は、たとえば、画像をキャプチャする画像センサから、画像をキャプチャするスキャナから、または画像を記憶するサーバ（たとえば、ＰＡＣＳサーバ、ＥＭＲサーバ、病理サーバ）から取得されてもよい。たとえば、組織画像は、撮影装置によるキャプチャの後に、および／または画像が撮影装置によって走査された後に記憶され次第、解析に自動的に送られる。
【0104】
本明細書で使用されるとき、用語「画像」とは、スライド画像（ＷＳＩ）全体、および／またはＷＳＩから抽出されたパッチ、および／または標本の部分を指すことがある。たとえば、画像がＭＬモデルに供給されることを表す句は、ＭＬモデルに供給されるＷＳＩから抽出されたパッチを指すことがある。
【0105】
画像は、高倍率で、たとえば、約２０Ｘから４０Ｘまたは別の値の対物レンズに対して取得された標本であってもよい。そのような高倍率撮像は、たとえば、ギガピクセルサイズのオーダーで非常に大きい画像を作成してもよい。各大きい画像は、次に解析される、より小さいサイズのパッチに分割されてもよい。その代替として、大きい画像が全体として解析される。画像は、異なる軸方向（すなわち、ｚ軸）深さにおける異なるｘ－ｙ平面に沿って走査されてもよい。
【0106】
組織は、たとえば、生検処置、微細針吸引（ＦＮＡ）処置、コア生検処置、液体生検処置、結腸ポリープの除去のための結腸鏡検査、未知の塊の除去のための手術、良性癌の除去のための手術、悪性癌の除去のための手術、および／または医学的状態の治療のための手術の間に、取得される場合がある。組織は、流体、たとえば、尿、滑液、血液、および脳脊髄液から取得されてもよい。組織は、連結された細胞群、たとえば、組織学的スライドの形態のものであってもよい。組織は、流体、たとえば細胞学的標本内に懸濁された個々の細胞または細胞の塊の形態のものであってもよい。
【0107】
２０２において、範囲内の各画像内に表された組織の処理中に使用される解析前因子（複数可）の指示が取得および／またはアクセスされる、たとえば、自動的に抽出される（たとえば、サイド準備デバイスによって出力されるようなスライドと関連付けられたレコードから）、および／またはユーザによって手動で入力される。指示は、たとえば、メタデータ、タグ、および／または領域の値として記憶されてもよい。
【0108】
例示的な解析前因子としては、固定時間、ＦＦＰＥブロックの切断によって取得された組織厚、固定剤タイプ、温虚血時間、冷虚血時間、前固定中の温度の持続時間と遅延時間、固定剤処方、固定剤濃度、固定剤ｐＨ、試薬の固定期間、固定剤調製源、組織と固定剤の体積比、固定方法、１次固定と２次固定の状態、後固定洗浄条件と持続時間、後固定保存試薬と持続時間、プロセッサのタイプ、整備と試薬交換の頻度、組織と試薬の体積比、共処理された試料の位置の数、脱水と透明化試薬、脱水と透明化温度、脱水と透明化の変化回数、脱水透明化持続時間、焼き時間、および温度が挙げられる。
【0109】
解析前因子（複数可）は、スライドの染色品質の指示を含んでもよい。例示的な染色としては、ＩＨＣ染色、原位置ハイブリダイゼーション（ＩＳＨ）染色、蛍光ＩＳＨ（ＦＩＳＨ）のようなＩＳＨについての別の手法、発色ＩＳＨ（ＣＩＳＨ）、シルバーＩＳＨ（ＳＩＳＨ）など、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ）、ヘマトキシリン、アクリジンオレンジ、ビスマルクブラウン、カーマイン、クマシーブルー、クレシルバイオレット、クリスタルバイオレット、４’，６－ジアミジノ－２－フェニルインドール（「ＤＡＰＩ」）、エオシン、臭化エチジウムインターカレート、酸性フクシン、ヘキスト染色、ヨウ素、マラカイトグリーン、メチルグリーン、メチレンブルー、ニュートラルレッド、ナイルブルー、ナイルレッド、四酸化オスミウム、ヨウ化プロピジウム、ローダミン、サフラニン、抗体ベースの染色、または、ラベルフリーイメージングマーカ（これらは、ラマン分光法、近赤外「ＮＩＲ」分光法、自家蛍光イメージング、もしくは位相イメージングなどを非限定的に含む撮像技術の使用からもたらされてもよく、および／またこれらは外部染料などを使用せずに関心の特徴を強調するために使用されてもよい）および／またはその他である。場合によっては、ラベルフリーイメージング技術を使用する場合のコントラストは、蛍光染料または色原染料などの追加のマーカを用いずに生成されてもよい。
【0110】
２０４において、１つまたは複数の追加のデータ項目が、たとえば、自動的に（たとえば、各被験者の電子健康記録のような記録から抽出される）および／またはユーザによって手動で提供される被験者それぞれごとのように、取得および／またはアクセスされてもよい。追加のデータ項目は、たとえば、メタデータ、タグ、および／またはフィールドの値として記憶されてもよい。
【0111】
追加のデータ項目は、本明細書の記載のように、１つまたは複数のＭＬモデルを訓練するための訓練データセット（複数可）の記録（複数可）におけるグラウンドトゥルースとして機能してもよく、および／またはＭＬモデルへの入力として使用されてもよい。
【0112】
任意選択的に、追加のデータ項目は、各被験者に対する２次指示を含んでもよい。２次指示の例は、タグ、メタデータ、画像、および画像を供給されたセグメンテーションモデルのセグメンテーション結果を含む。第２指示は、臨床指示（たとえば、臨床指示ＭＬモデルを訓練するための臨床指示訓練データセットの臨床指示記録のための）、たとえば、臨床スコア（たとえば、全免疫細胞に対する特定の免疫細胞の比率、組織への癌の侵襲性の評点）、医学的状態の臨床診断（たとえば、悪性腫瘍、良性腫瘍、腺腫、肺癌）、および病理学的レポートであってもよい。
【0113】
その代替または追加として、追加のデータ項目は、各解析前因子（複数可）が正常として分類される（たとえば、正常に適用される）こと、または異常として分類されること（たとえば、誤って適用されること、誤った動作値、異常な適用）のいずれかの指示であってもよい。スライドの品質は、解析前因子（複数可）が正常または異常のいずれであるかに応じて決定される。たとえば、解析前因子（複数可）が、良質スライドを取得するのに適した正しい動作範囲として規定された範囲内にあるか否かということ、または解析前因子（複数可）が正しい動作範囲外にあり（すなわち、誤っており）、そのためスライドの品質が低下しているか否かということである。解析前因子（複数可）が正常または異常のいずれであるかの指示は、本明細書の記載のように、画像補正訓練データセットに含めるために、グラウンドトゥルースとして機能する正常な解析前因子を表す画像と、異常な解析前因子を表す別の画像とを選択するために使用されてもよい。
【0114】
その代替または追加として、追加のデータ項目は、未知の解析前因子（複数可）を表すメタデータであってもよい。各スライドの各画像について、いくつかの解析前因子（複数可）が既知であってもよく、いくつかの解析前因子（複数可）が未知であってもよい。
【0115】
２０６において、１つまたは複数の（たとえば、それぞれの各）画像が前処理されて、たとえば、パッチの抽出、特徴の抽出、核のセグメント化、色変換、ＲＢＣセグメンテーション、および解釈可能性マップの計算を行ってもよい。
【0116】
任意選択的に、特徴がそれぞれの画像から抽出される。特徴は、事前訓練済み特徴抽出器を使用して抽出されてもよい。抽出された特徴は、本明細書の記載のように、１つまたは複数のＭＬモデルを訓練するための訓練データセット（複数可）の記録（複数可）におけるグラウンドトゥルースとして機能してもよく、および／または、ＭＬモデルへの入力として使用されてもよい。
【0117】
事前訓練済み特徴抽出器は、ニューラルネットワーク（たとえば、ディープニューラルネットワーク）および／または別のＭＬモデルアーキテクチャおよび／または非ＭＬベースであってもよい別の特徴抽出アーキテクチャ（たとえば、スケール不変特徴変換（ＳＩＦＴ）および／または高速化ロバスト特徴（ＳＵＲＦ））として実施されてもよい。抽出された特徴は、ニューラルネットワークがターゲット画像を供給されると、ニューラルネットワークの分類層の前の少なくとも１つの特徴マップから取得される。たとえば、分類層の直前の層から、および／または、たとえば、学習済み表現の上部上の投影ヘッドを使用して、１つまたは複数のより深い層（複数可）から取得される。ニューラルネットワークは、たとえば、グラウンドトゥルース分類カテゴリを用いてラベル付けされた非組織画像の画像訓練データセットにおいて訓練される画像分類器であってもよい。その代替または追加として、ニューラルネットワークは、核および／または核小体のグラウンドトゥルースセグメンテーションを用いてラベル付けされた病理組織のスライドの画像のセグメンテーション訓練データセットにおいて訓練される核セグメンテーションネットワークである。ボトルネック層は、核セグメンテーションネットワークから抽出されてもよい。そのような実施例では、抽出された特徴は、ニューラルネットワークによって出力された、核セグメンテーションの核および／またはマスクのセグメンテーションである。その代替または追加として、別の特徴、たとえば、手で作成された特徴、および／または特徴探索プロセス（たとえば、ＳＩＦＴ、ＳＵＲＦ）によって自動的に識別された特徴が抽出されてもよい。
【0118】
その代替または追加として、パッチが画像から抽出される。スライド全体ではない、パッチが使用されることにより、訓練および／または推論中のコンピューティングデバイスの計算効率を高めることがある、すなわち、パッチがスライド画像全体よりも小さく、そのため、より小さい計算リソースがスライド画像全体にわたってパッチを処理するために必要とされる。場合によっては、同じ解析前因子（複数可）が、（たとえば、スライド上の）画像に示された組織標本全体に適用されてもよい。そのような場合、パッチについて解析前因子（複数可）を判定することは、画像全体についての解析前因子（複数可）を推論する。別の場合には、解析前因子は、（たとえば、スライド上の）画像の異なる領域に対して局所的に変化することがあり、たとえば、組織の厚さが変化することがあり、これは、局所解析前因子に影響を及ぼすことがあり、固定時間は局所的に変化することがあり、自己分解は局所的に変化することがある。そのような場合、同じ画像の異なるパッチは、解析前因子に対して変化する値を有してもよい。
【0119】
特徴が、たとえば、画像から抽出された特徴について本明細書に記載の手法を使用して、パッチから抽出されてもよい。パッチは、任意選択的に予め設定された倍率で予め設定されたサイズ（たとえば、長さおよび／または幅の画素数）を有する矩形であってもよい関心の領域（ＲＯＩ）から取得されてもよい。ＲＯＩは、ＷＳＩの領域であってもよい。パッチが、ＲＯＩをカバーするグリッド内で抽出されてもよい。パッチは、（たとえば、予め設定された重複量で）重複していてもよく、および／または重複していなくてもよい。パッチから抽出された特徴は、強化された特徴マップを作成するために一緒にステッチされてもよく、および／または個々の特徴として使用されてもよい。
【0120】
各画像および／または各パッチについて、各パッチおよび／または画像から抽出された特徴は、特徴ベクトルに低減されてもよい。低減は、たとえば、大局的最大プーリング層および／または大局的平均プーリング層を使用して行われてもよい。解析前記録（解析前ＭＬモデルを訓練するために使用される）は、特徴ベクトルを含んでもよい。任意選択的に、ニューラルネットワーク実施形態の訓練中に、解析前ＭＬモデル（たとえば、畳み込みニューラルネットワーク（ＣＮＮ）、全結合ネットワーク、およびアテンションベース（トランスフォーマ）ネットワーク）、畳み込み層（複数可）は、入力された特徴パッチにおいて直接動作してもよい。任意選択的に、ＭＬモデルの非ニューラルネットワーク実施形態（たとえば、勾配ブースティングツリー（ＧＢＴ）およびランダムフォレスト、その他のようなツリーベース手法）は、別の手法（たとえば、ＳＩＦＴ、ＳＵＲＦ）によって抽出された特徴に基づいて動作してもよい。解析前機械学習は、ターゲット画像のパッチから抽出された、および／またはターゲット画像から抽出される特徴について計算された特徴ベクトルの入力に応じて、ターゲット解析前因子の結果を生成する。
【0121】
ここで図６を再び参照すると、図５に記載の特徴は、図６を参照して記載の特徴として実施され、それと組み合わせられ、および／またはそれと置換されてもよい。６０２では、たとえば、図２の２００を参照して記載のように、１つまたは複数の解析前因子を用いて処理された組織標本の画像、任意選択的にスライド画像全体が取得される。画像内に表された組織を処理するために使用される解析前因子（複数可）を表すグラウンドトゥルースが、たとえば、図２の２０２を参照して記載されたように取得される。６０４では、組織の画像から、任意選択的にＲＯＩから、パッチが抽出される。６０６では、抽出される特徴が、たとえば、図２の２０６を参照して記載のように、特徴を抽出するためにパッチに適用される。６０８では、たとえば、図２の２０６を参照して記載のように、特徴マップが抽出されてもよい。６１０では、図２の２０８Ａを参照して記載のように、訓練データセットは、たとえば、特徴マップの記録および／またはグラウンドトゥルースを用いてラベル付けされる抽出された特徴を含む。６１２では、ＭＬモデルは、たとえば、図２の２０８Ｂを参照して記載のように、損失関数を使用して訓練される。その代替として、特徴６０６および／または６０８が省略され、その場合、６０４のパッチは、解析前因子（複数可）の各グラウンドトゥルース指示を用いてラベル付けされ、６１０の訓練データセットの記録内に含まれる。
【0122】
ここで図２の２０６を再び参照すると、その代替または追加として、画像が核セグメンテーション機械学習モデルに供給されることにより、画像内の核のセグメンテーションの結果を取得する。核のセグメンテーションの外部にある画素を被覆するマスクが、セグメンテーションの結果に基づいて作成されてもよい。マスクが画像に適用されて、被覆画像を生成する。被覆画像は、ＭＬモデル（複数可）（たとえば、解析前機械学習モデル）を訓練するための画像自体の代わりにおよび／またはそれに加えて記録（たとえば、解析前記録）内で使用されてもよい。推論中に、ターゲット画像から作成されたターゲット被覆画像が、訓練済み（たとえば、解析前）機械学習モデルに供給されることにより、たとえば、ターゲット解析前因子（複数可）を取得する。
【0123】
その代替または追加として、画像が核セグメンテーション機械学習モデルに供給されて、画像内の核のセグメンテーションの結果を取得すると、境界（たとえば、最小の境界矩形、または核の周囲から推論することを可能にするための別のコンテキスト）が、それぞれのセグメンテーションの周りに作られて、単一核パッチを作成してもよい。単一核パッチは、ＭＬモデル（複数可）（たとえば、解析前機械学習モデル）を訓練するための画像自体の代わりにおよび／またはそれに加えて記録（たとえば、解析前記録）内で使用されてもよい。推論中に、ターゲット画像から生成された核のターゲットセグメンテーションが、たとえば、訓練済み（たとえば、解析前）機械学習モデルに供給されることにより、ターゲット解析前因子を取得する。
【0124】
ここで図７を再び参照すると、１つまたは複数の解析前因子を用いて処理された組織の画像７０２が示されており、これは、核セグメンテーションＭＬモデルによってセグメント化されたセグメント化核７０４（明確にするために１つの核が示されている）を含む。核セグメンテーションＭＬモデルは、たとえば、核のグラウンドトゥルースセグメンテーションを用いてラベル付けされた細胞の画像の訓練データセットにおいて訓練されてもよい。核セグメンテーションＭＬモデルは、たとえば、セグメント化された核を識別するために細胞の色分布を解析する別の手法を使用して、セグメント化を計算してもよい。
【0125】
ここで図２の２０６を再び参照すると、その代替または追加として、画像のカラーバージョンが、画像のグレースケールバージョンに変換されている。グレースケール画像は、ＭＬモデル（複数可）（たとえば、解析前機械学習モデル）を訓練するためのカラー画像の代わりにおよび／またはそれに加えて、記録（たとえば、解析前記録）に使用されてもよい。推論中に、ターゲット画像のターゲットグレースケールバージョンが、たとえば、訓練済み（たとえば、解析前）機械学習モデルに供給されることにより、ターゲット解析前因子（複数可）を取得する。カラー画像の代わりにおよび／またはそれに加えて、グレースケール画像の使用は、ＭＬモデルが、たとえば、異なる染色、異なる撮像センサなどから生じる無関係な色変動を学習することを防ぐことがある。
【0126】
その代替としてまたは追加として、画像が赤血球（ＲＢＣ）セグメンテーション機械学習モデルに供給されて、画像内のＲＢＣのセグメンテーションの結果および／またはＲＢＣを表すパッチを取得する。ＲＢＣのセグメンテーションおよび／またはＲＢＣを表すパッチは、ＭＬモデル（複数可）（たとえば、解析前機械学習モデル）を訓練するために、画像自体の代わりにおよび／またはそれに加えて、記録（たとえば、解析前記録）内で使用されてもよい。推論中に、ターゲット画像からのＲＢＣのターゲットセグメンテーションおよび／またはＲＢＣを表すパッチが、たとえば、訓練済み（たとえば、解析前）機械学習モデルに供給されることにより、ターゲット解析前因子（複数可）を取得する。ＲＢＣは、固定プロセスに対してより敏感であり、それで、解析前因子が正常または異常のいずれであるかについての、たとえば、固定過剰および／または固定不足を表す、良好な指示であることがある。
【0127】
その代替としてまたは追加として、解釈可能性機械学習モデルが、ターゲット画像の画素の相対的な重要性を表す解釈可能性マップを生成するように訓練されることにより、ターゲット解析前因子を取得する。解釈可能性マップは、たとえば、アテンションマップ、確率マップ、および／またはクラス活性化マップとして実施されてもよい。解釈可能性マップを取得するために使用されるターゲット画像は、低解像度のものであってもよい。ターゲット画像の高解像度パッチが、次いで、低解像度ターゲット画像から計算された解釈可能性マップに従ってサンプリングされてもよい。高解像度パッチは、たとえば、Ｋ個のサンプリングされたパッチとして選択されてもよく、Ｋは、パッチの関連性ならびに／あるいはＫ最大関連性のものを選択することおよび／または標本の標本領域からすべてのパッチを選択せずに最大関連性のものを選択するように試みることのような別の考慮事項に基づいて、ＭＬモデルのハイパーパラメータを示す。別の例では、高解像度パッチは、閾値を上回る相対的有意性を有するものとして選択されてもよい。高解像度パッチは、ＭＬモデル（複数可）（たとえば、解析前機械学習モデル）を訓練するための画像自体の代わりにおよび／またはそれに加えて、記録（たとえば、解析前記録）内で使用されてもよい。推論中に、ターゲット画像から抽出された高解像度パッチは、訓練済み（たとえば、解析前）機械学習モードに供給されることにより、ターゲット解析前因子（複数可）を取得する。
【0128】
ここで図２を再び参照すると、２０８Ａ－Ｂ、２１０Ａ－Ｂ、および２１２Ａ－Ｂを参照して記載の特徴は、特徴２００－２０６において取得されたデータを使用して訓練されてもよい異なるＭＬモデルを表す。訓練は、損失関数、たとえば、標準クロスエントロピー損失関数を使用して実行されてもよい。
【0129】
２０８Ａでは、複数の記録の解析前訓練データセットが作成される。解析前記録は、解析前因子（複数可）を用いて処理された各被験者の（たとえば、解析前因子）組織のスライドの画像、解析前因子を表すグラウンドトゥルースラベル、任意選択的に２０４および／または２０６を参照して記載の別のデータを含む。別のデータは、画像に付加されるものであってもよく、および／または画像から抽出されたパッチのような画像の実施形態であってもよい。別のデータは、画像から抽出されたパッチ、画像から抽出された特徴、セグメント化された核、色変換された画像（たとえば、白黒画像）、ＲＢＣセグメンテーション、および解釈可能性マップ（複数可）のうちの１つまたは複数を含んでもよい。
【0130】
解析前記録は、２つのタイプの解析前因子、すなわち（ｉ）既知の解析前因子（複数可）と（ｉｉ）推論中に未知である（しかし訓練中は既知である）と予測される解析前因子（複数可）を表すメタデータをさらに含んでもよい。既知の解析前因子は、推論時間において未知である解析前因子（複数可）と関連付けられてもよい。推論中に、既知の解析前因子の値が、ＭＬモデルに供給され、未知の解析前因子（複数可）の値を判定するのを助けるように使用される。たとえば、解析前因子ＦＩＳＨは、固定過剰に非常に敏感である。推論中に、既知の解析前因子ＦＩＳＨは、ＭＬモデルに供給されて、ＭＬモデルが、そのような解析前因子（複数可）が未知である組織ブロック内での固定の程度および／または組織の自己分解の程度についての情報を推測するのを助けるために使用されてもよい。そのようなモデルを訓練するために、グラウンドトゥルースラベルは、推論中に未知である（しかし訓練中は既知である）と推測される解析前因子（複数可）についてのものである。
【0131】
２０８Ｂでは、解析前機械学習モデルは、ターゲット画像の入力に応じて、ターゲット画像内に表された組織を処理するために使用される解析前因子（複数可）の結果を生成するために、解析前訓練データセットにおいて訓練される。
【0132】
任意選択的に、解析前因子を表すグラウンドトゥルースラベルは、適用された解析前因子が正しく適用されたか否か、または解析前因子の適用が異常であるか否かを表すグラウンドトゥルースラベルを含む。そのような場合、機械学習モデルの実施形態は、誤って適用された解析前因子を表すアウトライヤとして画像を検出するために正しく適用された解析前因子としてラベル付けされたインライヤ画像の分布を学習するために訓練されてもよい。ＭＬモデルの実施形態は、たとえば、オートエンコーダ、変分オートエンコーダ（ＶＡＥ）、および敵対的生成ネットワーク（ＧＡＮ）などであってもよい。
【0133】
任意選択的に、解析前機械学習モデルは、それぞれが特定の分類カテゴリの各グラウンドトゥルース指示を用いてラベル付けされた画像を含む別の画像訓練データセットにおいて事前訓練される。事前訓練された解析前訓練データセットは、解析前訓練データセットにおいてさらに訓練される。
【0134】
２１０Ａでは、記録の２次指示訓練データセットが作成される。２次指示記録は、解析前因子（複数可）を用いて処理された各被験者の病理組織のスライドの各画像、解析前因子（複数可）の指示、および２次指示を表すグラウンドトゥルースラベル、ならびに任意選択的に、２０４および／または２０６を参照して記載の別のデータ（たとえば、２０８Ａに記載の例）を含む。
【0135】
任意選択的に、２次指示記録の解析前因子（複数可）は、解析前因子（複数可）を用いて処理された被験者の病理組織のスライドの画像を供給された解析前機械学習モデルの隠れ層（複数可）から抽出された少なくとも１つの特徴マップを含む。隠れ層（複数可）は、分類層の前の最後の層または別の層であってもよい１つまたは複数の層を含んでもよい。推論中に、２次機械学習モデルは、ターゲット画像の入力およびターゲット画像に供給された解析前機械学習モデルの隠れ層から抽出されたターゲット特徴マップに応じて、ターゲット２次指示の結果を生成する。
【0136】
２１０Ｂでは、２次機械学習モデルが、ターゲット画像およびターゲット画像内に表された組織を処理するために使用されるターゲット解析前因子（複数可）の入力に応じて、ターゲット２次指示の結果を生成するために、２次指示訓練データセットにおいて訓練される。ターゲット解析前因子（複数可）は、ターゲット画像を供給された解析前機械学習モデルの結果として取得されてもよい。
【0137】
２１２Ａでは、複数の記録の画像補正訓練データセットが作成される。画像補正記録は、解析前因子（複数可）を用いて処理された被験者の病理組織のスライドの画像を含む。記録は、異常に処理された病理組織を表すスライドの画像を含む。記録はまた、解析前因子（複数可）が異常として分類されるという指示を含む。解析前因子（複数可）が正常として分類される画像は、除外される。記録は、解析前因子（複数可）の指示をさらに含む。記録は、スライドの正常な画像のグラウンドトゥルースラベル（たとえば、異常なスライドと同じ組織、または異常としてラベル付けされたスライドと同様の組織であってもよい別の画像）、任意選択的に、正常として分類された解析前因子（複数可）を用いて処理された病理組織、をさらに含む。
【0138】
その代替としてまたは追加として、画像翻訳記録の２つ以上のセットの画像翻訳訓練データセットが作成され、それぞれのセットは、ソース画像翻訳記録のソースセットと、デスティネーション画像翻訳記録のデスティネーションセットと、を含む。セットは、解析前因子の分類によって分割されてもよい。画像翻訳記録のソースセットのソース画像翻訳記録は、解析前因子を用いて処理された被験者の病理組織のスライドのソース画像と、ソースラベルを表すグラウンドトゥルースとを含んでもよい。ソースラベルは、解析前因子を用いて異常に処理された病理組織を表してもよい。画像翻訳記録のデスティネーションセットのデスティネーション画像翻訳記録は、解析前因子を用いて処理された被験者の病理組織のスライドのデスティネーション画像、およびデスティネーションラベルを表すグラウンドトゥルースと、を含んでもよい。デスティネーションラベルは、解析前因子を用いて正常に処理された病理組織を表してもよい。
【0139】
２１２Ｂでは、画像補正機械学習モデルが、異常として分類されたターゲット解析前因子を用いて処理されたスライドのターゲット画像の入力に応じて、スライドのターゲット画像が正常として分類された解析前因子（複数可）を用いて処理されたときにどのように見えるかをシミュレートする病理組織のスライドの合成補正画像の結果を生成するために、画像補正訓練データセットにおいて訓練される。
【0140】
その代替としてまたは追加として、画像翻訳機械学習モデルが、画像翻訳訓練データセットにおいて訓練される。画像翻訳ＭＬモデルは、画像翻訳記録のソースセットの病理組織のスライドのターゲットソース画像を、画像翻訳記録のデスティネーションセットの病理組織のスライドの結果デスティネーションに変換するためのものである。
【0141】
画像補正ＭＬモデルおよび／または画像翻訳ＭＬモデルを実施するための例示的なアーキテクチャは、教師なし画像翻訳、自己教師あり画像翻訳、ＣｙｃｌｅＧＡＮ、ＳｔａｒＧＡＮ、教師なし画像間翻訳（ＵＮＩＴ）、およびマルチモーダル教師なし画像から画像間翻訳（ＭＵＮＩＴ）を含む。
【0142】
２１４では、解析前機械学習モデルと２次機械学習モデルとは、解析前因子の少なくとも共通の画像および共通のラベルを使用して一緒に（たとえば、端末間で）訓練されてもよい。たとえば、画像および／またはラベルのうちのいくつかは、共通であり、画像および／またはラベルのうちのいくつかは、解析前および２次ＭＬモデルの一方または両方に固有である。たとえば、固有の画像および／またはラベルが使用されながら、共通の画像および／またはラベルが、共同（たとえば、端末間）訓練のために使用されてもよく、２次結果が存在しないが、解析前因子（複数可）が存在して共同訓練を可能にする。
【0143】
２１６では、画像補正機械学習モデルと解析前機械学習モデルとは、解析前因子の共通の画像および共通のグラウンドトゥルースラベルを使用して共同で訓練されてもよい。
【0144】
２１８では、ベースラインモデルが、解析前因子（複数可）を用いて処理された被験者（複数可）の組織、または任意選択的に病理組織のラベルなし画像のラベルなし訓練データセットにおいて、自己教師ありおよび／または教師なし手法を使用して訓練されてもよい。ラベルなし画像は、本明細書に記載の記録内に使用されるものと同様の組織のもの、および／または異なる組織のものであってもよい。ラベルなし画像は、本明細書に記載の記録内に使用されるものと同様の解析前因子（複数可）および／またはそれらと異なる解析前因子の画像であってもよい。ベースラインモデルが、次いで、解析前機械学習モデルを作成するために、解析前訓練データセットにおいて訓練される。ベースラインモデルは、２次ＭＬモデルを作成するために、２次指示訓練データセットにおいて訓練されてもよいこと、および／または画像補正ＭＬモデルを作成するために、画像補正訓練データセットにおいて訓練されてもよいことに留意されたい。
【0145】
ベースラインモデルは、特徴抽出器を使用することへの代替として使用されてもよく、および／または特徴抽出器を使用することへの追加として使用されてもよい。特徴抽出は、交差検証方式の下での迅速な訓練に使用されてもよい。ベースラインモデル（たとえば、事前訓練済みネットワーク）が初期状態として使用され、ネットワーク層の部分または全部が訓練データセットを使用して訓練されるという微調整手順を使用することは、ネットワークがより低いレベルのより関連性のある特徴を学習することを可能にすることがある。
【0146】
ここで図３を再び参照すると、３０２では、ＭＬモデル（複数可）が、たとえば、図２を参照して記載のように訓練および／または提供される。ＭＬモデル（複数可）は、解析前ＭＬモデル、２次ＭＬモデル、画像補正ＭＬモデル、ならびに核セグメンテーションＭＬモデル、ＲＢＣセグメンテーションＭＬモデル、および／または解釈可能性ＭＬモデル（たとえば、図２の２０６を参照して記載のような）のような、任意選択の事前処理ステップで使用される別のＭＬモデルのうちの１つまたは複数を含む。
【0147】
３０４では、たとえば、図２の２００を参照して記載のように、被験者の組織、任意選択的に病理組織の標本のターゲット画像が取得および／またはアクセスされる。
【0148】
３０６では、たとえば、図２の２０６を参照して記載のように、ターゲット画像は、たとえば、パッチの抽出、特徴の抽出、核のセグメント化、色変換、ＲＢＣセグメンテーション、および解釈可能性マップの計算のうちの１つまたは複数によって事前処理されてもよい。事前処理は、図２を参照して記載のように、各ＭＬモデルを訓練するために使用される各訓練データセットのためのデータを取得するための、図２の２０６において行われる事前処理に対応する。
【0149】
３０８では、ターゲット画像（任意選択的に、事前処理された）が、解析前機械学習モデルに供給される。その代替または追加として、３０６を参照して記載のように取得される以下のうちの１つ以上が、解析前ＭＬモデル、すなわち、特徴の抽出、パッチ、セグメント化された核、変換されたカラー画像、ＲＢＣセグメンテーション、解釈可能性マップ、および／またはターゲット画像から取得される別のデータに供給される。
【0150】
３１０では、ターゲット画像を処理するために使用されるターゲット解析前因子（複数可）の結果が、解析前機械学習モデルから取得される。
【0151】
３１２では、ターゲット解析前因子（複数可）は、たとえば、ディスプレイ上に提示され、データ記憶デバイスに記憶され（たとえば、画像のタグとして）、ならびに／あるいは入力のための別のプロセスおよび／またはさらなる処理に転送される。
【0152】
その代替としてまたは追加として、３１４Ａでは、ターゲット画像、解析前因子（複数可）、および任意選択的に、３０６を参照して記載のように取得された１つまたは複数の追加のデータが、２次機械学習モデルに供給される。
【0153】
２次機械学習モデルに供給される解析前因子（複数可）の入力は、３１０を参照して記載のように、少なくともターゲット画像を供給された解析前機械学習モデルの結果として取得されてもよい。
【0154】
３１４Ｂでは、ターゲット２次指示の結果が、２次機械学習モデルから取得される。
【0155】
３１４Ｃでは、被験者は、ターゲット２次指示に従って、医学的状態に有効な治療法を用いて治療されてもよい。たとえば、２次スコアが閾値を上回る場合、被験者は化学療法を用いて治療されてもよい。
【0156】
３１６Ａでは、ターゲット解析前因子が異常として分類されることに応じて、ターゲット画像およびターゲット解析前因子（複数可）は、画像補正機械学習モデルおよび／または画像翻訳ＭＬモデルに供給される。
【0157】
解析前因子分類は、必ずしも二項、たとえば正常異常であるわけではないことに留意されたい。場合によっては、二項分類は、たとえば、解析前因子が組織全体、ブロックに適用されるとき、可逆的または増分的ではないとき、および／または特定の「正」または「誤」がなく、むしろ様々な可能性が存在するとき、必ずしも可能であるわけではない。特定の解析前因子に依存することがある、複数のカテゴリ、たとえば３つ以上の分類が存在することがある。たとえば、解析前因子が時間である場合、５つのカテゴリ、たとえば、０から９時間、９から２０時間、２０から６０時間、６０から１２０時間、および１２０時間超が存在してもよい。
【0158】
画像翻訳ＭＬモデルについて、ターゲットソース画像は、入力画像と、入力画像の状態を表すソース解析前因子を表す追加のメタデータとを含んでもよい。ソース解析前因子は、３１０におけるように取得された正常、異常、または別の分類結果のような取得された指示であってもよい。たとえば、ソース解析前因子は、異常な処理を表すことがある。別の任意選択のメタデータは、たとえば、正常に処理されている画像を生成するために、処理が２０から６０時間のような選択された分類カテゴリについて行われる画像を生成するために、生成される所望の結果画像に対するデスティネーション事前因子を表す。たとえば、ターゲットソース画像は、９から２０時間の解析前因子を有し、２０から６０時間を表す画像が望ましい。メタデータは、明示的であってもよく、たとえば、ユーザによって自動的に生成および／または選択されてもよい。メタデータは、デフォルトとして暗黙的であってもよい、たとえば、結果画像についての所望の解析前因子が、正常であるもの、または最適であるかそうでなければ「最良である」解析前因子であってもよい。その代替または追加として、明示的なメタデータが提供されない場合、ターゲットソース画像は、明示的なメタデータを有しない入力画像を含んでもよい。任意選択的に、デスティネーションセットからの基準画像が、入力画像のデスティネーションを推論するために使用される。
【0159】
様々なソースセットおよび／または様々な訓練セット、たとえば、様々な解析前因子を表す様々な訓練セットにおいて訓練される複数の画像翻訳ＭＬモデルおよび／または様々な画像補正ＭＬモデルが存在してもよい。たとえば、ターゲット画像を供給された解析前機械学習モデルの結果として取得される解析前因子の入力に従って、画像翻訳ＭＬモデルおよび／または画像補正ＭＬモデルが選択されてもよく、および／またはソースセットが選択されてもよい。
【0160】
ターゲット解析前因子は、たとえば、解析前ＭＬモデルの結果として取得されたターゲット解析前因子に規則のセットを適用することによって、正常または異常として分類されてもよい。別の例では、範囲および／または閾値を適用することは、ターゲット解析前因子についての正しい値を規定する。ターゲット解析前因子がその範囲内にまたは閾値以下（または閾値以上）であるときに、ターゲット解析前因子は正常として分類され、そしてターゲット解析前因子がその範囲外にまたは閾値以上（または閾値以下）であるときに、ターゲット解析前因子は異常として分類される。別の例では、解析前ＭＬモデルの結果は、ターゲット解析前因子が正常または異常のいずれとして分類されるかを表す分類ラベルを含んでもよい。そのような結果を取得するために、解析前訓練データセットの記録が、各記録の各解析前因子の正常または異常についてのグラウンドトゥルース指示を含んでもよい。
【0161】
画像補正機械学習モデルおよび／または画像翻訳ＭＬモデルに供給される解析前因子（複数可）の入力は、３１０を参照して記載のように、ターゲット画像を供給された解析前機械学習モデルの結果として取得されてもよい。
【0162】
３１６Ｂでは、正常として分類された解析前因子（複数可）を用いて処理されたときに、スライドのターゲット画像がどのように見えるかをシミュレートする補正された画像の結果が、画像補正機械学習モデルの結果として取得される。
【0163】
その代替または追加として、異常に処理されたターゲット画像の正常に処理された画像への変換である画像翻訳記録のデスティネーションセットの病理組織のスライドの結果デスティネーション画像が、画像翻訳ＭＬモデルから取得される。
【0164】
上記において概説され、以下の特許請求の範囲において請求されるような本発明の種々の実施形態、実施形態、および態様は、以下の実施例において、実験に基づくおよび／または計算されたサポートを見出す。
【実施例】
【0165】
ここで、上記の記載とともに、本発明のいくつかの実施形態および／または実施形態を非限定的な様式で示す以下の例を参照する。
【0166】
本発明者らは、本明細書の記載のように、組織の固定された標本の画像および／または画像から抽出された特徴に応じて、固定時間を表す結果を生成するように訓練される機械学習モデルの少なくともいくつかの実施形態を調査するための実験を行った。
【0167】
材料
新たに調製されたブタ組織からの組織へのアクセスがコペンハーゲン大学によって取得された。本明細書の記載のように、本発明者らは、固定時間が、染色品質の結果に及ぼす主要な作用因子であると考えた。そのため、本発明者らが虚血時間にわたって完全に制御可能であり、唯一の変数が中性緩衝ホルマリンにおける固定時間である訓練データセットを調整した。合計で１４４個のブロックを作成したが、これらは、試行回数３で行われた８個の異なる臓器系にわたる６つの異なる固定時間を示す。実現可能性について、切片標本を肝臓組織臓器系からのブロックから切断し、Ｄａｋｏ Ｃｏｖｅｒｓｔａｉｎｅｒ装置において標準化されたプロトコルを使用してエオシンとヘマトキシリン（Ｈ＆Ｅ）で染色した。標本をＰｈｉｌｌｉｐｓ ＵｌｔｒａＦａｓｔスライドスキャナにおいて走査して、スライド画像全体の訓練データセットを作成し、本発明者らは、それを本明細書に以下の記載の様々な機械学習計算手法を使用して試験した。本発明者らは、固定時間を区別することが可能であったいくつかのネットワークをうまく訓練した。
新たに調製されたブタ組織からの組織へのアクセスがコペンハーゲン大学によって取得された。本明細書の記載のように、本発明者らは、固定時間が、染色品質の結果に及ぼす主要な作用因子であると考えた。そのため、本発明者らが虚血時間にわたって完全に制御可能であり、唯一の変数が中性緩衝ホルマリンにおける固定時間である訓練データセットを調整した。合計で１４４個のブロックを作成したが、これらは、試行回数３で行われた８個の異なる臓器系にわたる６つの異なる固定時間を示す。実現可能性について、切片標本を肝臓組織臓器系からのブロックから切断し、Ｄａｋｏ Ｃｏｖｅｒｓｔａｉｎｅｒ装置において標準化されたプロトコルを使用してエオシンとヘマトキシリン（Ｈ＆Ｅ）で染色した。標本をＰｈｉｌｌｉｐｓ ＵｌｔｒａＦａｓｔスライドスキャナにおいて走査して、スライド画像全体の訓練データセットを作成し、本発明者らは、それを本明細書に以下の記載の様々な機械学習計算手法を使用して試験した。本発明者らは、固定時間を区別することが可能であったいくつかのネットワークをうまく訓練した。
【0168】
方法
本発明者らは、特徴が材料断面内にあるように調整された全体スライド画像（ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ（ＷＳＩ））から取り出されたパッチから抽出される第１特徴抽出手法を評価した。本明細書の記載のように、事前訓練済み特徴抽出器、たとえば、ディープニューラルネット、または何らかの別の特徴抽出機構を使用して、特徴を抽出した。次いで、これらの特徴を使用して、本明細書の記載のように固定時間を推論するために、分類および／または回帰モデルのような解析前機械学習モデルを訓練した。本発明者らは、特徴抽出のための２つの事前学習済みネットワークであるＲｅｓＮｅｔ１８およびＵＮｅｔを評価した。
本発明者らは、特徴が材料断面内にあるように調整された全体スライド画像（ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ（ＷＳＩ））から取り出されたパッチから抽出される第１特徴抽出手法を評価した。本明細書の記載のように、事前訓練済み特徴抽出器、たとえば、ディープニューラルネット、または何らかの別の特徴抽出機構を使用して、特徴を抽出した。次いで、これらの特徴を使用して、本明細書の記載のように固定時間を推論するために、分類および／または回帰モデルのような解析前機械学習モデルを訓練した。本発明者らは、特徴抽出のための２つの事前学習済みネットワークであるＲｅｓＮｅｔ１８およびＵＮｅｔを評価した。
【0169】
ＲｅｓＮｅｔ１８は、ＩｍａｇｅＮｅｔデータセットにおいて訓練される公に利用可能な画像分類器であり、本発明者らは、それから分類層の前に最後の特徴マップを抽出した。ＲｅｓＮｅｔ１８を用いて抽出されたパッチは、サイズ２２４ｘ２２４ｘ３のものであった。ＲｅｓＮｅｔ１８から抽出された特徴は、５１２のベクトル次元を有する。
【0170】
ＵＮｅｔは、本発明者らがボトルネック層をそれから抽出したカスタマイズされた訓練済み核セグメンテーションネットワークである。カスタマイズされたＵＮｅｔネットワークを使用して抽出されたパッチは、サイズ２５６ｘ２５６ｘ３のものであった。ＵＮｅｔから抽出された特徴は、２０４８のベクトル次元を有する。
【0171】
各全体スライド画像から、横に１０，０００から２０，０００画素の矩形の関心領域（ＲＯＩ）（倍率Ｘ４０）を抽出するために選択した。パッチを、ＲＯＩをカバーするグリッド内で抽出した。本発明者らは、部分的に重複するパッチと重複しないパッチの両方の抽出を試みた。各パッチの抽出された特徴は、抽出された特徴マップを作成するために一緒にステッチされるか、または個々の特徴として保存された。
【0172】
抽出された特徴または特徴マップを、５分割交差検証（ＣＶ）方式で訓練／検証データセットに分割した。各ＣＶ分割について、同じＷＳＩから抽出されたすべての特徴を、訓練のためにすべてまたは検証のためにすべてのいずれかで一緒に選択した。個々の特徴ではなく、むしろ特徴マップを抽出したならば、特徴マップを、重複しないまたは部分的に重複する特徴パッチのグリッドに訓練中に分割した。１ｘ１から２０ｘ２０までの空間次元の範囲に及ぶ様々な特徴パッチグリッドを使用した。
【0173】
本発明者らは、種々のアーキテクチャを用いてニューラルネットワークを訓練して、抽出されたデータセットを固定時間に従って分類した。本発明者らが探求したアーキテクチャは、畳み込みニューラルネットワーク（ＣＮＮ）および全結合ニューラルネットワーク（ＦＣＮＮ）であった。ＣＮＮは、１つまたは複数の後続の全結合層を有する１つまたは複数の畳み込み層から構成された。
【0174】
ＦＣＮＮを訓練するとき、各特徴パッチを、大局的最大プーリング層または大局的平均プーリング層のいずれかを使用して特徴ベクトルに空間的に縮小させた。ＣＮＮを訓練するとき、畳み込み層を、入力特徴パッチにおいて直接操作した。標準クロスエントロピー損失を使用してネットワークを訓練した。各検証分割のＦ１スコアを測定することによってモデル性能を評価したが、達成された分割にわたる最良の平均Ｆ１スコアは、～０．７であった。
【0175】
本発明者らはまた、ＷＳＩパッチが前の特徴抽出を用いずにカスタマイズされたＣＮＮに直接供給された代替パイプラインを評価する。最終層は、様々な固定時間のそれぞれについて出力を有する分類層であった。各ＷＳＩから、横に１０，０００から２０，０００画素の矩形の関心領域（ＲＯＩ）（倍率Ｘ４０）を抽出のために選択し、ＲＯＩ２５６ｘ２５６ＲＧＢパッチをカバーするグリッド内でパッチを抽出した。ＷＳＩスライドまたはパッチのランダム分布のいずれかに基づいて、訓練セットおよび検証セットにパッチを分割した。
【0176】
損失関数は、標準的クロスエントロピー損失であった。ランダムパッチ選択についての精度スコアは高く（＞９５％）、一方、検証／訓練分割がＷＳＩのレベルで行われたとき、それは有意に低く（＜６０％）、特徴抽出を使用して取得された結果に対応する。
【0177】
本発明の種々の実施形態についての記載は、例示の目的で提示されたが、それらは、網羅的であること、または開示された実施形態に限定されることを意図するものではない。多くの変更および変形が、記載された実施形態の範囲および趣旨から逸脱することなく、当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、実用的な適用、または市場に見られる技術に対する技術的改善を最もよく説明するために、または別の当業者が本明細書に開示された実施形態を理解することを可能にするために選択される。
【0178】
本出願から成就した特許の存続期間中に、多くの関連するＭＬモデルが開発され、ＭＬモデルという用語の範囲が、そのような新しい技術のすべてを先験的に含むことが意図されることが期待される。
【0179】
本明細書で使用されるとき、「約」という用語は、±１０％を指す。
【0180】
「備える」、「備えている」、「含む」、「含んでいる」、「有する」という用語およびそれらの同根語は、「含んでいるがこれに限定されないこと」を意味する。この用語は、「からなる」および「本質的にからなる」という用語を包含する。
【0181】
「本質的にからなる」という句は、構成物または方法が追加の要素および／またはステップを含んでもよいことを意味するが、ただし、追加の要素および／またはステップが、特許請求の範囲に記載の構成物または方法の基本的なおよび新規の特性を実質的に変更しない場合に限る。
【0182】
本明細書で使用される単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が別途明確に指示しない限り、複数への言及を含む。たとえば、「化合物」または「少なくとも１つの化合物」という用語は、複数の化合物を含んでもよく、これらの混合物を含む。
【0183】
「例示的な」という語は、本明細書では、「例、事例、または例証としての役割を果たす」ことを意味するように使用される。「例示的な」として記載された任意の実施形態は、別の実施形態よりも好ましいまたは有利である、および／または別の実施形態からの特徴の組み込みを除外すると必ずしも解釈されるべきではない。
【0184】
「任意選択的に」という語は、「いくつかの実施形態で提供され、別の実施形態では提供されない」ことを意味するために本明細書で使用される。本発明の任意の特定の実施形態は、複数の「任意選択の」特徴が競合しない限り、そのような特徴を含み得る。
【0185】
本出願全体を通して、本発明の種々の実施形態は、範囲フォーマットで提示されてもよい。範囲フォーマットにおける記載が、単に便宜および簡潔さのためのものであること、ならびに本発明の範囲に及ぼす柔軟性のない限界でないと解釈されるべきことを理解されるべきである。したがって、範囲についての説明は、すべての可能な部分範囲ならびにその範囲内の個々の数値を具体的に開示したと見なされるべきである。たとえば、１から６のような範囲についての記載は、１から３、１から４、１から５、２から４、２から６、３から６などのような具体的に開示された部分範囲、ならびに、その範囲内の個々の数、たとえば、１、２、３、４、５、および６を有すると考えられるべきである。このことは、範囲の幅に関わらず適用される。
【0186】
本明細書内で数値範囲が示されるときはいつでも、示された範囲内の任意の引用された数（分数または整数）を含むことが意味されている。第１指示数と第２指示数と「の間の範囲に及んでいる／及ぶ」、および第１指示数「から」第２指示数「までの範囲に及んでいる／及ぶ」という句は、本明細書で交換可能に使用され、そして第１および第２指示数ならびにその間にあるすべての分数および整数を含むことを意味する。
【0187】
明確にするために、別個の実施形態の文脈で記載されている本発明の特定の特徴はまた、単一の実施形態において組み合わせて提供されてもよいことを理解されたい。逆にいえば、簡潔にするために、単一の実施形態の文脈で記載された本発明の様々な特徴はまた、別々にもしくは任意の好適な部分的組合せで、または本発明の任意の別の記載の実施形態において適するように提供されてもよい。種々の実施形態の文脈で記載された特定の特徴は、実施形態がそれらの要素なしで動作不能でない限り、それらの実施形態の本質的な特徴と見なされるべきではない。
【0188】
本発明は、その特定の実施形態と関連して記載されてきたが、多くの代替、変更、および変形が当業者には明らかであろうことが明白である。したがって、添付の特許請求の範囲の趣旨および広い範囲内に入るそのような代替、変更および変形のすべてを包含することが意図されている。
【0189】
本明細書で言及されたすべての刊行物、特許および特許出願が、それぞれの個々の刊行物、特許または特許出願が、引用することにより本明細書の一部をなすものとするものとした場合、あたかも具体的および個別に述べられたかのように、明細書を参照することによってその全体が本明細書の一部をなすものとするべきであるということが出願人（複数可）の意図である。それに加えて、本出願におけるいずれの参照の引用または認定は、そのような参照が本発明の先行技術として利用可能であることの容認として解釈されるべきではない。節の見出しが使用されている程度まで、それらは必ずしも限定的であると解釈されるべきではない。それに加えて、本出願のいずれの優先権書類（複数可）もその全体が引用することにより本明細書の一部をなすものとする。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】