▶ ヴェリリー ライフ サイエンシズ エルエルシーの特許一覧
特表2024-507687デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-21
(54)【発明の名称】デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法
(51)【国際特許分類】
G01N 33/48 20060101AFI20240214BHJP
G06T 7/00 20170101ALI20240214BHJP
G06V 20/69 20220101ALI20240214BHJP
【ＦＩ】
G01N33/48 M
G01N33/48 P
G06T7/00 630
G06V20/69
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023545786
(86)(22)【出願日】2022-02-11
(85)【翻訳文提出日】2023-07-27
(86)【国際出願番号】 US2022070623
(87)【国際公開番号】W WO2022178497
(87)【国際公開日】2022-08-25
(31)【優先権主張番号】63/149,914
(32)【優先日】2021-02-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】516035068
【氏名又は名称】ヴェリリー ライフ サイエンシズ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】マーメル，クレイグ
(72)【発明者】
【氏名】チェン，ポ－シュアン
(72)【発明者】
【氏名】シュタイナー，デイビッド エフ．
(72)【発明者】
【氏名】ジャロエンスリ，ロナチャイ
(72)【発明者】
【氏名】ギャンブル，ポール
(72)【発明者】
【氏名】タン，フレイザー
【テーマコード（参考）】
2G045
5L096
【Ｆターム（参考）】
2G045AA24
2G045BB24
2G045CB01
2G045JA01
5L096BA06
5L096BA13
5L096FA35
5L096GA30
5L096KA04
(57)【要約】
デジタル化された病理サンプルにおけるバイオマーカー検出のための１つの例示の方法は、ヘマトキシリン・エオジン染色（「Ｈ＆Ｅ」）染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが画像の異なる部分を表す、画像パッチを受信することと、各画像パッチについて、第１の訓練された機械学習（「ＭＬ」）モデルを使用して、パッチバイオマーカーステータスを決定することと、第２の訓練されたＭＬモデルを使用して、画像パッチのパッチバイオマーカーステータスに基づいて、組織のサンプルに対する組織サンプルバイオマーカーステータスを決定することと、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
方法であって、ヘマトキシリン・エオジン染色（「Ｈ＆Ｅ」）染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチを受信することであって、各画像パッチが前記画像の異なる部分を表す、画像パッチを受信することと、
各画像パッチについて、第１の訓練された機械学習（「ＭＬ」）モデルを使用して、パッチバイオマーカーステータスを決定することと、
第２の訓練されたＭＬモデルを使用して、前記画像パッチの前記パッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する組織サンプルバイオマーカーステータスを決定することと、を含む、方法。
【請求項2】
前記パッチバイオマーカーステータスが、エストロゲン受容体（「ＥＲ」）陽性、ＥＲ陰性、プロゲステロン受容体（「ＰＲ」）陽性、ＰＲ陰性、ヒト上皮成長因子受容体２（「ＨＥＲ２」）陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つ以上を含み、かつ 前記組織サンプルバイオマーカーステータスが、ＥＲ陽性、ＥＲ陰性、ＰＲ陽性、ＰＲ陰性、ＨＥＲ２陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つ以上を含む、請求項１に記載の方法。
【請求項3】
前記パッチバイオマーカーステータスが、第１のパッチバイオマーカーステータスであり、かつ前記組織サンプルバイオマーカーステータスが、第１の組織サンプルバイオマーカーステータスであり、各画像パッチについて、第３の訓練されたＭＬモデルを使用して、第２のパッチバイオマーカーステータスを決定することと、
第４の訓練されたＭＬモデルを使用して、前記画像パッチの前記第２のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第２の組織サンプルバイオマーカーステータスを決定することと、
各画像パッチについて、第５の訓練されたＭＬモデルを使用して、第３のパッチバイオマーカーステータスを決定することと、
第６の訓練されたＭＬモデルを使用して、前記画像パッチの前記第３のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第３の組織サンプルバイオマーカーステータスを決定することと、を含む、請求項１または２に記載の方法。
【請求項4】
前記第１のパッチバイオマーカーステータスが、エストロゲン受容体（「ＥＲ」）陽性、ＥＲ陰性、または非浸潤がんのうちの１つを含み、前記第１の組織サンプルバイオマーカーステータスが、ＥＲ陽性ステータス、ＥＲ陰性ステータス、および非浸潤がんステータスを含み、
前記第２のパッチバイオマーカーステータスが、プロゲステロン受容体（「ＰＲ」）陽性ステータス、ＰＲ陰性ステータス、および非浸潤がんステータスを含み、
前記第２の組織サンプルバイオマーカーステータスが、ＰＲ陽性ステータス、ＰＲ陰性ステータス、または非浸潤がんステータスのうちの１つ以上を含み、
前記第３のパッチバイオマーカーステータスが、ヒト上皮成長因子受容体２（「ＨＥＲ２」）陽性ステータス、ＨＥＲ２陰性ステータス、および非浸潤がんステータスを含み、
前記第３の組織サンプルバイオマーカーステータスが、ＨＥＲ２陽性ステータス、ＨＥＲ２陰性ステータス、または非浸潤がんステータスのうちの１つ以上を含む、請求項３に記載の方法。
【請求項5】
前記画像パッチの前記パッチバイオマーカーステータスに基づいて１つ以上のヒストグラムを生成することをさらに含み、かつ前記第２の訓練されたＭＬモデルを使用して、前記組織の前記サンプルに対する前記組織サンプルバイオマーカーステータスを決定することが、前記１つ以上のヒストグラムに基づく、請求項１～４のいずれかに記載の方法。
【請求項6】
各パッチバイオマーカーステータスが、バイオマーカーに対応する、０％～１００％（端点を含む）の確率を含む、請求項１～５のいずれかに記載の方法。
【請求項7】
組織の前記サンプルに対する前記組織サンプルバイオマーカーステータスが、バイオマーカーに対応する、０％～１００％（端点を含む）の確率を含む、請求項１～６のいずれかに記載の方法。
【請求項8】
各パッチバイオマーカーステータスについて、前記それぞれのパッチバイオマーカーステータスを閾値ｔと比較することと、バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがｔ以上であることを決定することに応答して、前記パッチバイオマーカーステータスを、バイオマーカー陽性を含むとして決定することと、
バイオマーカー陰性に対するそれぞれのパッチバイオマーカーステータスがｔ以上であることを決定することに応答して、前記パッチバイオマーカーステータスを、バイオマーカー陰性を含むとして決定することと、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがｔ未満であり、かつバイオマーカー陰性に対する前記それぞれのパッチバイオマーカーステータスがｔ未満であると決定することに応答して、前記パッチバイオマーカーステータスを、非浸潤がんとして決定することと、をさらに含む、請求項１～７のいずれかに記載の方法。
【請求項9】
システムであって、非一時的コンピュータ可読媒体と、
前記非一時的コンピュータ可読媒体に通信可能に連結された１つ以上のプロセッサであって、前記１つ以上のプロセッサが、前記非一時的コンピュータ可読媒体内に記憶されたプロセッサ実行可能命令を実行して、前記１つ以上のプロセッサに、
ヘマトキシリン・エオジン染色（「Ｈ＆Ｅ」）染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが前記画像の異なる部分を表す、画像パッチを受信させ、
各画像パッチについて、第１の訓練された機械学習（「ＭＬ」）モデルを使用して、パッチバイオマーカーステータスを決定させ、かつ
第２の訓練されたＭＬモデルを使用して、前記画像パッチの前記パッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する組織サンプルバイオマーカーステータスを決定させるように構成される、プロセッサと、を備える、システム。
【請求項10】
前記パッチバイオマーカーステータスが、エストロゲン受容体（「ＥＲ」）陽性、ＥＲ陰性、プロゲステロン受容体（「ＰＲ」）陽性、ＰＲ陰性、ヒト上皮成長因子受容体２（「ＨＥＲ２」）陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含み、かつ前記組織サンプルバイオマーカーステータスが、ＥＲ陽性、ＥＲ陰性、ＰＲ陽性、ＰＲ陰性、ＨＥＲ２陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含む、請求項９に記載のシステム。
【請求項11】
前記パッチバイオマーカーステータスが、第１のパッチバイオマーカーステータスであり、また前記組織サンプルバイオマーカーステータスが、第１の組織サンプルバイオマーカーステータスであり、かつ前記１つ以上のプロセッサが、前記１つ以上のプロセッサに、0各画像パッチについて、第３の訓練されたＭＬモデルを使用して、第２のパッチバイオマーカーステータスを決定させ、
第４の訓練されたＭＬモデルを使用して、前記画像パッチの前記第２のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第２の組織サンプルバイオマーカーステータスを決定させ、
各画像パッチについて、第５の訓練されたＭＬモデルを使用して、第３のパッチバイオマーカーステータスを決定させ、
第６の訓練されたＭＬモデルを使用して、前記画像パッチの前記第３のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第３の組織サンプルバイオマーカーステータスを決定させるように構成された、前記非一時的コンピュータ可読媒体内に記憶されたさらなるプロセッサ実行可能命令を実行するように構成される、請求項９または１０に記載のシステム。
【請求項12】
前記第１のパッチバイオマーカーステータスが、エストロゲン受容体（「ＥＲ」）陽性、ＥＲ陰性、または非浸潤がんのうちの１つを含み、前記第１の組織サンプルバイオマーカーステータスが、ＥＲ陽性、ＥＲ陰性、または非浸潤がんのうちの１つを含み、
前記第２のパッチバイオマーカーステータスが、プロゲステロン受容体（「ＰＲ」）陽性、ＰＲ陰性、または非浸潤がんのうちの１つを含み、
前記第２の組織サンプルバイオマーカーステータスが、ＰＲ陽性、ＰＲ陰性、または非浸潤がんのうちの１つを含み、
前記第３のパッチバイオマーカーステータスが、ヒト上皮成長因子受容体２（「ＨＥＲ２」）陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含み、
前記第３の組織サンプルバイオマーカーステータスが、ＨＥＲ２陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含む、請求項１１に記載のシステム。
【請求項13】
前記１つ以上のプロセッサが、前記１つ以上のプロセッサに、前記画像パッチの前記パッチバイオマーカーステータスに基づいてヒストグラムを生成させ、かつ前記第２の訓練されたＭＬモデルを使用して、前記ヒストグラムに基づいて、組織の前記サンプルに対する前記組織サンプルバイオマーカーステータスを決定させるように構成された、前記非一時的コンピュータ可読媒体内に記憶された、さらなるプロセッサ実行可能命令を実行するように構成される、請求項９～１２のいずれかに記載のシステム。
【請求項14】
各パッチバイオマーカーステータスが０％～１００％（端点を含む）の確率を含む、請求項９～１３のいずれかに記載のシステム。
【請求項15】
組織の前記サンプルの前記組織サンプルバイオマーカーステータスが、０％～１００％の確率（端点を含む）を含む、請求項９～１４のいずれかに記載のシステム。
【請求項16】
前記１つ以上のプロセッサが、前記１つ以上のプロセッサに、各パッチバイオマーカーステータスについて、前記それぞれのパッチバイオマーカーステータスを閾値ｔと比較させ、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがｔ以上であるという決定に応答して、前記パッチバイオマーカーステータスを、バイオマーカー陽性を含むとして決定させ、
バイオマーカー陰性に対するそれぞれのパッチバイオマーカーステータスがｔ以上であるという決定に応答して、前記パッチバイオマーカーステータスを、バイオマーカー陰性を含むとして決定させ、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがｔ未満であり、かつバイオマーカー陰性に対するそれぞれのパッチバイオマーカーステータスがｔ未満であるという決定に応答して、非浸潤がんを含むとして前記パッチバイオマーカーステータスを決定させるように構成された、前記非一時的コンピュータ可読媒体内に記憶されたさらなるプロセッサ実行可能命令を実行するように構成される、請求項９～１５のいずれかに記載のシステム。
【請求項17】
プロセッサ実行可能命令を含む、非一時的コンピュータ可読媒体であって、プロセッサに、ヘマトキシリン・エオジン染色（「Ｈ＆Ｅ」）染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが前記画像の異なる部分を表す、画像パッチを受信させ、
各画像パッチについて、第１の訓練された機械学習（「ＭＬ」）モデルを使用して、パッチバイオマーカーステータスを決定させ、かつ
第２の訓練されたＭＬモデルを使用して、前記画像パッチの前記パッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する組織サンプルバイオマーカーステータスを決定させるように構成された、非一時的コンピュータ可読媒体。
【請求項18】
前記パッチバイオマーカーステータスが、エストロゲン受容体（「ＥＲ」）陽性、ＥＲ陰性、プロゲステロン受容体（「ＰＲ」）陽性、ＰＲ陰性、ヒト上皮成長因子受容体２（「ＨＥＲ２」）陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含み、かつ前記組織サンプルバイオマーカーステータスが、ＥＲ陽性、ＥＲ陰性、ＰＲ陽性、ＰＲ陰性、ＨＥＲ２陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含む、請求項１７に記載の非一時的コンピュータ可読媒体。
【請求項19】
前記パッチバイオマーカーステータスが、第１のパッチバイオマーカーステータスであり、また前記組織サンプルバイオマーカーステータスが、第１の組織サンプルバイオマーカーステータスであり、かつ前記プロセッサに、各画像パッチについて、第３の訓練されたＭＬモデルを使用して、第２のパッチバイオマーカーステータスを決定させ、
第４の訓練されたＭＬモデルを使用して、前記画像パッチの前記第２のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第２の組織サンプルバイオマーカーステータスを決定させ、
各画像パッチについて、第５の訓練されたＭＬモデルを使用して、第３のパッチバイオマーカーステータスを決定させ、
第６の訓練されたＭＬモデルを使用して、前記画像パッチの前記第３のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第３の組織サンプルバイオマーカーステータスを決定させるように構成された、プロセッサ実行可能命令をさらに含む、請求項１７または１８に記載の非一時的コンピュータ可読媒体。
【請求項20】
前記第１のパッチバイオマーカーステータスが、エストロゲン受容体（「ＥＲ」）陽性、ＥＲ陰性、または非浸潤がんのうちの１つを含み、前記第１の組織サンプルバイオマーカーステータスが、ＥＲ陽性、ＥＲ陰性、または非浸潤がんのうちの１つを含み、
前記第２のパッチバイオマーカーステータスが、プロゲステロン受容体（「ＰＲ」）陽性、ＰＲ陰性、または非浸潤がんのうちの１つを含み、
前記第２の組織サンプルバイオマーカーステータスが、ＰＲ陽性、ＰＲ陰性、または非浸潤がんのうちの１つを含み、
前記第３のパッチバイオマーカーステータスが、ヒト上皮成長因子受容体２（「ＨＥＲ２」）陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含み、
前記第３の組織サンプルバイオマーカーステータスが、ＨＥＲ２陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含む、請求項１９に記載の非一時的コンピュータ可読媒体。
【請求項21】
前記プロセッサに、前記画像パッチの前記パッチバイオマーカーステータスに基づいてヒストグラムを生成させ、かつ前記第２の訓練されたＭＬモデルを使用して、前記ヒストグラムに基づいて、組織の前記サンプルに対する前記組織サンプルバイオマーカーステータスを決定させるように構成された、プロセッサ実行可能命令をさらに含む、請求項１７～２０のいずれかに記載の非一時的コンピュータ可読媒体。
【請求項22】
各パッチバイオマーカーステータスが、０％～１００％（端点を含む）の確率を含む、請求項１７～２１のいずれかに記載の非一時的コンピュータ可読媒体。
【請求項23】
組織の前記サンプルに対する前記組織サンプルバイオマーカーステータスが、０％～１００％（端点を含む）の確率を含む、請求項１７～２２のいずれかに記載の非一時的コンピュータ可読媒体。
【請求項24】
前記プロセッサに、各パッチバイオマーカーステータスについて、前記それぞれのパッチバイオマーカーステータスを閾値ｔと比較させ、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがｔ以上であるという決定に応答して、前記パッチバイオマーカーステータスを、バイオマーカー陽性を含むとして決定させ、
バイオマーカー陰性に対するそれぞれのパッチバイオマーカーステータスがｔ以上であるという決定に応答して、前記パッチバイオマーカーステータスを、バイオマーカー陰性を含むとして決定させ、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがｔ未満であり、かつバイオマーカー陰性に対するそれぞれのパッチバイオマーカーステータスがｔ未満であるという決定に応答して、非浸潤がんを含むとして前記パッチバイオマーカーステータスを決定させるように構成されたプロセッサ実行可能命令をさらに含む、請求項１７～２３のいずれかに記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、概して、組織サンプル内のバイオマーカー検出に関し、より具体的には、デジタル化された病理サンプル内のバイオマーカー検出のためのシステムおよび方法に関する。
【背景技術】
【0002】
がんの存在を決定するための組織サンプルの解釈には、がんを示す可能性がある特徴の特定を含む相当な訓練および経験を必要とする。典型的に、病理学者は、組織の切片を含有するスライドを受け取り、スライド上の特徴を特定するために組織を検討し、そしてこれらの特徴ががん、例えば、腫瘍の存在を示す可能性が高いかどうかを決定する。加えて、病理学者は、がん性腫瘍を診断するために使用される可能性がある、１つ以上のタイプのがんのリスクを予測する可能性がある、または腫瘍に対して効果的である場合がある治療のタイプを示す可能性がある特徴、例えば、バイオマーカーも特定する場合がある。
【発明の概要】
【0003】
デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法に対する様々な実施例が記述される。デジタル化された病理サンプルにおけるバイオマーカー検出のための１つの例示の方法は、ヘマトキシリン・エオジン染色（「Ｈ＆Ｅ」）染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが画像の異なる部分を表す、画像パッチを受信することと、各画像パッチについて、第１の訓練された機械学習（「ＭＬ」）モデルを使用して、パッチバイオマーカーステータスを決定することと、第２の訓練されたＭＬモデルを使用して、画像パッチのパッチバイオマーカーステータスに基づいて、組織のサンプルに対する組織サンプルバイオマーカーステータスを決定することと、を含む。
【0004】
１つの例示のシステムは、非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体に通信可能に連結された１つ以上のプロセッサと、を含み、１つ以上のプロセッサは、１つ以上のプロセッサに、ヘマトキシリン・エオジン染色（「Ｈ＆Ｅ」）染色乳房組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが画像の異なる部分を表す、画像パッチを受信させ、各画像パッチについて、第１の訓練された機械学習（「ＭＬ」）モデルを使用して、パッチバイオマーカーステータスを決定させ、かつ第２の訓練されたＭＬモデルを使用して、画像パッチのパッチバイオマーカーステータスに基づいて、乳房組織のサンプルに対する組織サンプルバイオマーカーステータスを決定させるように構成された、非一時的コンピュータ可読媒体内に記憶されたプロセッサ実行可能命令を実行するように構成される。
【0005】
１つの例示の非一時的コンピュータ可読媒体は、プロセッサに、ヘマトキシリン・エオジン染色（「Ｈ＆Ｅ」）染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが画像の異なる部分を表す、画像パッチを受信させ、各画像パッチについて、第１の訓練された機械学習（「ＭＬ」）モデルを使用して、パッチバイオマーカーステータスを決定させ、かつ第２の訓練されたＭＬモデルを使用して、画像パッチのパッチバイオマーカーステータスに基づいて、組織のサンプルに対する組織サンプルバイオマーカーステータスを決定させるように構成されたプロセッサ実行可能命令を含む。
【0006】
これらの例示的な実施例は、本開示の範囲を限定または定義するためではなく、むしろその理解を補助するための実施例を提供するために述べられる。例示的な実施例は、「発明を実施するための形態」において考察され、これはさらなる記述を提供する。様々な実施例によって提供される利点は、本明細書を検討することによって、更に理解される場合がある。
【0007】
本明細書の中へと組み込まれ、またその一部を構成する添付図面は、１つ以上のある特定の実施例を例示し、そして実施例の記述とともに、特定の実施例の原理および実施を説明する役割を果たす。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
実施例は、デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法の文脈で本明細書に記述される。当業者であれば、以下の説明は例示に過ぎず、いかなる方法でも限定することを意図するものではないことを理解するであろう。ここで、添付図面に図示する実施例の実施について詳細に説明する。同じまたは同様のアイテムを参照するために、同じ参照標識が、図面および以下の記述全体を通して使用される。
【0010】
明瞭の目的で、本明細書に記述される実施例の日常的な特徴のすべてが示され、かつ記述されるわけではない。任意のこうした実際の実装の開発において、アプリケーション関連の制約およびビジネス関連の制約とのコンプライアンスなどの、開発者の具体的な目標を達成するために、当然、数多くの実装に特有な決定を行う必要があり、これらの具体的な目標は、実装毎に、また開発者毎に異なることが理解されるであろう。
【0011】
病理サンプル内のバイオマーカーの検出は困難である可能性があり、そしてサンプルをレビューする病理学者による解釈に供される可能性がある。例えば、検出プロセスには、サンプルの免疫組織化学（ＩＨＣ）染色が伴う可能性があり、病理学者はその後、顕微鏡下サンプルを直接的に、またはサンプルの捕捉された画像を介して、サンプルの拡大画像を見る。ＩＨＣ染色サンプルから、病理学者は、特定のバイオマーカーの存在（または不在）を示すサンプルの特徴を特定することができる。しかしながら、ＩＨＣ染色は、他のタイプの染色、例えばヘマトキシリン・エオジン（「Ｈ＆Ｅ」）染色より実質的に高価である可能性がある。さらに、ＩＨＣ染色は、すべての場所で容易には利用できない場合がある。これに対処するために、本開示は、ある特定のバイオマーカーを特定するためには、典型的に使用されない場合があるＨ＆Ｅ染色などの他の種類の染色を使用して、ある特定のバイオマーカーを検出することを可能にするシステムおよび方法を提供する。より一般的に、本開示は、特定のバイオマーカーを検出するために好ましい染色ではなく、特定の場所で容易に使用可能である、またはコスト効果の高い染色を使用して、バイオマーカーを認識するためにＭＬモデルを訓練および使用するやり方を提供する。
【0012】
バイオマーカー、例えば、ヒト乳房から取られた染色組織サンプル中のバイオマーカーを検出するための例示のシステムは、訓練された機械学習（「ＭＬ」）モデルを使用して、染色サンプルのデジタル化された画像を分析することを伴う。サンプルをデジタル化するために、組織の薄い切片を染色し、かつスライド上に位置付けられてもよく、ここでサンプルは、典型的に光学的な拡大を使用して撮像される。次いで、染色組織の画像は、いくつかの画像パッチへとセグメント化される。これらの画像パッチの各々は、１つのＭＬモデルへと入力され、これは画像パッチを分析して、特定のバイオマーカーが存在するかどうかを決定する。例えば、ＭＬモデルは、画像パッチにおけるエストロゲン受容体（「ＥＲ」）陽性または陰性の可能性を決定する場合がある。同様に、別のＭＬモデルを使用して、画像パッチにおける他のバイオマーカー、例えば、プロゲステロン受容体（「ＰＲ」）陽性もしくは陰性、またはヒト上皮成長因子受容体２（「ＨＥＲ２」）陽性もしくは陰性の存在を決定してもよい。
【0013】
モデルを訓練するために、病理学者は、ＩＨＣ染色組織サンプルの画像と、Ｈ＆Ｅ染色で染色同じ組織サンプルとを提示してもよい。病理学者は、次いで、Ｈ＆Ｅ染色組織の画像上に、ＩＨＣ染色組織上に位置する１つ以上の対象のバイオマーカーに対応する任意の場所を示すことができる。それ故に、Ｈ＆Ｅ染色サンプル内の領域は、１つ以上のバイオマーカーに対応するものとして特定することができる。次いで、Ｈ＆Ｅ染色サンプルをパッチへとセグメント化し、そしてパッチが特定された領域のうちの１つに収まるかどうかに基づいて、各パッチに標識を割り当てることができる。次いで、標識されたパッチを好適なＭＬモデルへとフィードして、モデルを訓練してもよい。この例示のシステムでは、３つの異なるＭＬモデルが訓練されている。１つはＥＲ陽性／陰性を検出するように訓練され、１つはＰＲ陽性／陰性を検出するように訓練され、そして１つはＨＥＲ２陽性／陰性を検出するように訓練される。それ故に、画像パッチの各々は、３つのモデルの各々に対して提示されてもよく、これはその後、対応するバイオマーカーが存在する可能性が高いかどうかを示す情報を出力する。例えば、ＥＲ陽性／陰性を検出するように訓練されたモデルは、３つの値を出力してもよい。すなわちパッチがＥＲ陽性を示す確率、パッチがＥＲ陰性を示す確率、およびパッチがＥＲ陽性もＥＲ陰性も示さない確率である。その他のモデルは、そのそれぞれのバイオマーカーに対して同じ種類の情報を出力する。
【0014】
様々なパッチが分析されると、ＭＬモデルのうちの１つからの情報は、組織サンプルを全体として分析するためにさらなるＭＬモデルへとフィードされてもよい。ＥＲ陽性／陰性に関して第１のＭＬモデルによって分析された様々なパッチについての情報に基づいて、第２のＭＬモデルは次いで、組織サンプルがＥＲ陽性であるか、またはＥＲ陰性であるかを決定することができる。同様に、他の２つのＭＬモデル、すなわち、上記で考察したＰＲモデルおよびＨＥＲ２モデルからの出力を、後続のＭＬモデルへとフィードして、組織サンプルがＰＲ陽性／陰性であるか、またはＨＥＲ２陽性／陰性であるかを決定することができる。これらの３つのＭＬモデルの出力を使用して、病理学者または他の医療従事者は、対応する患者に対して使用されてもよい潜在的な治療を決定することができる。
【0015】
これらの第２段階モデルの訓練は、上記で考察したのと類似のやり方で達成されてもよい。病理学者は、バイオマーカー陽性または陰性の領域を特定することに加えて、組織サンプルが全体としてバイオマーカー陽性または陰性であるかも特定することができる。次いで、様々なパッチから決定された情報を標識し、そしてＭＬモデルへと提供することができる。複数の異なる組織サンプルでこのプロセスを繰り返すことによって、ＭＬモデルを、画像パッチのバイオマーカー分析に基づいて、スライドがバイオマーカー陽性または陰性を示すかどうかを認識するように訓練することができる。
【0016】
こうした技法は、がん性組織内のバイオマーカーを特定するために、より安価でより容易に入手可能な染色の使用を可能にする場合がある。上記の実施例はＩＨＣおよびＨ＆Ｅを染色の例として使用したが、関与する組織のタイプ、特定するべきバイオマーカーのタイプ、および使用可能である可能性が高い染色のタイプに応じて、他の染色を使用してもよい。本開示による実施例はまた、病理学者間の変動性がほとんどない、がん性組織におけるバイオマーカーの特定、およびバイオマーカーを特定するためにはそうでなければ使用されない染色技法の使用も可能にする場合がある。病理学者は、最終的にシステムの出力をレビューしてその決定を確認してもよく、または病理学者は、自身の分析に対するチェックとして出力をレビューしてもよいが、システムが医療従事者の信頼を得たら、ある特定のバイオマーカーの存在（または不在）を決定し、それに応じて患者を治療するために、それを使用してもよい。
【0017】
この例示的な実施例は、本明細書で考察される一般的な主題を読者に紹介するために与えられ、また本開示は、この実施例に限定されない。以下のセクションでは、様々な追加的な非限定的実施例、およびデジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法の実施例を記述する。
【0018】
ここで図１を参照すると、図１は、染色組織サンプルを含むスライドの画像の例を示す。臨床環境において、病理学者は、染色組織サンプルを有するスライドをレビューして、特定のバイオマーカーがサンプル中に存在するか否かを決定してもよい。例えば、乳がんの診断精密検査および治療は、臨床バイオマーカーに依存し、ＥＲ、ＰＲ、およびＨＥＲ２に最も顕著に依存する。現在の臨床診療では、バイオマーカーステータスは、典型的に、上記で考察したように、染色組織の組織学的検査によって決定される。ＩＨＣ染色スライドの顕微鏡検査に際して、専門家は多くの場合各サンプルのバイオマーカーステータスを決定することができる。しかしながら、ＩＨＣ染色は高価である可能性があり、また必ずしも容易に入手可能ではない可能性がある。それ故に、Ｈ＆Ｅ染色などの他の種類の染色を使用してこうした分析を実施することが望ましいことになる。図１に示すスライドの例示の画像は、Ｈ＆Ｅ染色されており、そして本開示によるシステムおよび方法によって使用するためにさらに処理される。
【0019】
Ｈ＆Ｅ染色は（それだけでなく他のタイプの染色も）、乳がん組織のバイオマーカーを検出するために使用されないため、本開示によるシステムおよび方法は、染色組織サンプルの画像を受け入れ、そして特定のバイオマーカーが存在するかどうかを対象の染色物を使用して決定するために開発された。一部の事例では、染色はＩＨＣではない任意の種類のものとしてもよいが、一部の実施例では、システムはＩＨＣ染色組織を分析するために訓練されてもよい。図２および図３に図示したものなどの例示のシステムは、ＭＬを採用して、こうした組織サンプル内のバイオマーカーの存在を認識する。
【0020】
プロセスを開始するために、染色組織サンプルの画像は、好適な詳細のレベルまたは解像度で、任意の好適な撮像装置を使用して捕捉されてもよい。図１の例示の画像１００は、ピクセル当たりおおよそ２ミクロンの解像度で捕捉された。しかし、当然のことながら、任意の好適なサイズまたは解像度が採用されてもよい。
【0021】
組織サンプルの画像１００が得られると、システムは画像１００をいくつかの画像パッチ１２０、例えば、画像パッチ１２０ｎへとセグメント化する。この実施例では、画像１００は、おおよそ１平方ミリメートルのパッチを表す５１２×５１２ピクセルのパッチ（実寸に比例していない）へとセグメント化されているが、任意の好適なサイズまたはパッチの数を使用してもよい。
【0022】
ここで図２を参照すると、図２は、デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法のための例示のシステム２００を示す。図２に示すシステム２００は、２つの段階２１０、２２０を含む。段階１（２１０）は、図１に関して上記で考察したものなどの画像パッチを、入力として受け入れ、そして画像パッチに対するバイオマーカーステータスを出力する、訓練されたＭＬモデル２１２を含む。
【0023】
この実施例におけるＭＬモデルは、画像パッチおよびバイオマーカーの存在または不在を示す対応する訓練ラベルを使用して訓練されている。訓練画像パッチを得るために、従来のＩＨＣ染色乳がん組織サンプルを用いたスライドの画像を得た。同じ組織サンプルのＩＨＣ染色を洗い落し、望ましい染色、例えば、Ｈ＆Ｅ染色液で再染色し、そして撮像した。次いで、病理学者は、ＩＨＣ染色サンプルおよびＨ＆Ｅ染色サンプルの両方の画像を提示され、そしてＩＨＣ染色サンプルのレビューに基づいて、バイオマーカー陽性または陰性を示すＨ＆Ｅ染色サンプル内の領域を特定した。次いで、Ｈ＆Ｅ染色組織の画像を画像パッチへとセグメント化し、そしてその後、特定された領域内であるか、または領域の外側かに基づいて画像パッチを標識した。例示のシステム２００における第１のＭＬモデルは、２００事例にわたる５７６枚のスライドからの１２億１千万パッチを使用して訓練され、そして６４事例にわたる１８１枚のスライドからのすべてのパッチのテストセットで評価され、一方で、第２のＭＬモデルは、２６４事例からの２１３４枚のスライドを使用して訓練され、そして１２４９事例からの合計３２７４枚のスライドを含有するテストセットで評価された。しかしながら、任意の好適な訓練セットを採用してもよい。
【0024】
異なる実施例に従って、任意の好適なＭＬモデルが使用されてもよい。図２に示す例示のシステム２００は、２つの深い畳み込みニューラルネットワーク（「ＣＮＮ」）であるが、しかしながら、ＭＯＵＮＴＡＩＮ ＶＩＥＷ、ＣＡＬＩＦＯＲＮＩＡからのＧＯＯＧＬＥ ＬＬＣによって提供される残差ニューラルネットワーク（「Ｒｅｓｎｅｔ」）若しくはＮＡＳＮＥＴ、または回帰型ニューラルネットワーク、例えば、長・短期記憶（「ＬＳＴＭ」）モデル若しくはゲート付き回帰型ユニット（「ＧＲＵ」）モデル、などの他のＭＬモデルも使用する。ＭＬモデル２１２、２２２はまた、三次元ＣＮＮ（「３ＤＣＮＮ」）、動的時間反り（「ＤＴＷ」）技法、隠れマルコフモデル（「ＨＭＭ」）など、またはこうした技術のうちの１つ以上の組み合わせ、例えば、ＣＮＮ－ＨＭＭまたはＭＣＮＮ（マルチスケール畳み込みニューラルネットワーク）などの任意の他の好適なＭＬモデルとすることもできる。さらに、一部の実施例は、敵対的生成ネットワーク（「ＧＡＮ」）などの敵対的ネットワークを採用してもよく、またはＡＥＧＡＮまたは変分ＡＥＧＡＮ（「ＶＡＥＧＡＮ」）などのＭＬモデルと併せたオートエンコーダ（「ＡＥ」）を採用してもよい。さらに、２つの段階２１０、２２０は、同じまたは異なるタイプのＭＬモデルを採用してもよい。
【0025】
上記で考察したように、ＭＬモデル２１２は、画像パッチ２０２を入力として受け入れ、また各画像パッチ２０２に対して対応するバイオマーカーステータスを出力する。この実施例におけるバイオマーカーステータスは、３つの別個の値を有するタプルを含む。すなわちバイオマーカー陽性を示す確率、バイオマーカー陰性を示す確率、およびパッチが非侵襲性がんを示す確率（図中では「その他」と特定される）である。これらの確率は、いかなる丸み付け、または浮動小数点の不正確性があるにもかかわらず、合計で１００％または１（０～１のスケールの場合）である。それ故に、ＭＬモデルは、画像からセグメント化されたパッチの各々に対してタプルを出力する。これらのタプルは、各々が別個の値のうちの１つを表す、３つの異なる、すなわちバイオマーカー陽性、バイオマーカー陰性、および「その他」に対して各々１つの「ヒートマップ」の構成要素として視覚化されてもよい。こうしたヒートマップ２０５の実施例を図２に示し、そして画像パッチ２０４ａ～ｎのすべてについて３つのタプル値のうちの１つに対応する値を表す。ここでヒートマップ２０５は、バイオマーカーの陰性を示し、バイオマーカー陰性の低い確率は青色（またはグレースケールでは、黒色）領域によって表され、バイオマーカー陰性の高い確率は赤色（またはグレースケールでは、灰色）によって表される。その他の２つのヒートマップは図示されていないが、それらの値の視覚化を同様のやり方で提供する。
【0026】
段階２（２２０）は、段階１（２１０）の出力を受け入れ、そしてバイオマーカー陽性および陰性の画像レベル（または「スライドレベル」）の確率を決定する。本実施例では段階２におけるＭＬモデル２２２の訓練は、病理学者によって検討され、かつ標識されたＩＨＣ染色スライドに基づいて実施され、その後に、上記で一般的に考察したように、組織からの染色の洗浄と、望ましい染色、例えば、Ｈ＆Ｅ染色を使用した再染色とが続く。次いで、段階１の結果（２１０）を、対応する標識とともにＭＬモデル２２２へと提示することができる。好適な数の訓練スライドがＭＬモデル２２２に適用されるか、または出力の精度が所定の閾値を満たすと、ＭＬモデル２２２は、段階２（２２０）の一部として使用されてもよい。当然のことながら、ＭＬモデルを訓練することは、任意の好適な染色技法を使用して実施されてもよい。この実施例におけるＩＨＣおよびＨ＆Ｅ染色の使用は、例示である。
【0027】
この例示のシステム２００では、段階２（２２０）におけるＭＬモデル２２２は、段階１（２１０）からのヒートマップ２０５を使用せず、むしろ、パッチバイオマーカーステータス２０４が、段階２（２２０）のＭＬモデル２２２への入力として提供されるヒストグラムへとバケット化される。
【0028】
ここで図３を参照すると、図３は、パッチバイオマーカーステータスからヒストグラムのセットを生成するための例示のデータフローを示す。上記で考察したように、段階１（２１０）は、パッチごとのバイオマーカーステータスのヒートマップを出力し、各パッチは、値の三重項（バイオマーカー陽性、バイオマーカー陰性、その他）によって表される。ヒートマップ３１２、３１４を生成するために、陽性であるかまたは陰性であるかにかかわらず、各パッチについてのバイオマーカーステータスが閾値ｔと比較される。パッチバイオマーカーステータスがｔを満たすか、またはそれを超える場合、１の値が割り当てられか、そうでなければ０の値が割り当てられる。バイオマーカー陽性およびバイオマーカー陰性ヒストグラムに対するバケットは、例えば、５％、１０％、または任意の好適な幅を有する、等しいサイズ設定された確率範囲を使用して作り出される。次いで、各パッチは、バイオマーカー陽性または陰性のそれぞれの確率に基づいて、各ヒストグラムのバケットに割り当てられる。
【0029】
それぞれのバケットに対する各パッチの寄与は、上記で考察したように、そのパッチの確率がｔを満たすか、またはそれを超えるかどうかに基づく。この実施例では、ｔ＝０．４２である。それ故に、パッチ１がパッチバイオマーカーステータス（０．５７、０．２２、０．２１）を有する場合、ｔに基づいて（１、０、０）の値が割り当てられる。次いで、そのバイナリ値が、パッチバイオマーカーステータス確率に対応するヒストグラムバケットに追加される。この実施例では、ヒストグラムは１０％幅のバケットを採用する。それ故に、パッチ１は、バイオマーカー陽性ヒストグラム３１２のバケット０．５～０．５９に１を、そしてバイオマーカー陰性バケットのバケット０．２～０．２９に０を寄与する。各パッチは同様にバケット化され、そして２つのヒストグラム３１２、３１４に寄与する。この実施例では、閾値ｔを使用することの副次的効果は、０～０．０９、０．１～０．１９、０．２～０．２９、および０．３～０．３９の範囲のヒストグラムがすべてゼロになることである。
【0030】
当然のことながら、上記で考察したデータフローは一例に過ぎない。任意の好適なアプローチを使用して、段階２（２２０）のＭＬモデルのために好適なヒストグラムを生成してもよい。例えば、この実施例では閾値ｔが使用されたが、一部の実施例ではこうした閾値を採用しなくてもよい。さらに、陽性および陰性の両方のバイオマーカーに対して同じ閾値を使用したが、当然のことながら一部の例では異なる閾値が使用されてもよい。同様に、バケット幅は、任意の好適なサイズであってもよく、また一部の実施例では、等しい幅でなくてもよい。
【0031】
図２を再度参照すると、この実施例では、パッチバイオマーカーステータス２０４ａ～ｎは、ヒストグラムを生成するようにバケット化され、これは、パッチバイオマーカーステータスのよりコンパクトな表現を提供する場合がある。しかし、当然のことながら、パッチバイオマーカーステータスの任意の好適な表現が採用されてもよい。例えば、一部の実施例では、全解像度ヒートマップを段階２（２２０）のＭＬモデル２２２へと提供してもよい。別の方法として、ＭＬモデル出力をパラメータ化するための他のアプローチが、いくつかの実施例に従って使用されてもよい。
【0032】
図３のヒストグラム３１２、３１４によって表されるように、パッチバイオマーカーステータス２０４ａ～ｎがＭＬモデル２２２へと入力された後、ＭＬモデル２２２は、バイオマーカー陽性およびバイオマーカー陰性の確率２０６ａ～ｂを生成する。次いで、これらの２つの確率を使用して、組織サンプルが、バイオマーカー陽性であるか、バイオマーカー陰性であるか、またはその他であるかを決定してもよい。例えば、システム２００は、２つの確率２０６ａ～ｂを比較し、そして組織サンプルに対するバイオマーカーステータスを示すとして、より高い確率を選択してもよい。一部の実施例では、システム２００は、２つの確率を閾値と比較してもよく、また、確率２０６ａ～ｂのうちの１つが閾値を満たすか、または閾値を超える場合、システム２００は、どのバイオマーカーが閾値を満たすかに応じて、組織サンプルをバイオマーカー陽性または陰性として特定してもよい。別の方法として、いずれのバイオマーカー確率も閾値を満たさない場合、システム２００は、いずれのバイオマーカーも検出されないことを出力してもよい。
【0033】
ここで図４を参照すると、図４は、デジタル化された病理サンプルにおけるバイオマーカー検出のための例示のシステム４００を示す。例示のシステム４００は、データ記憶部４１２へのアクセスを有し、かつネットワーク４３０を介してサーバー４２０およびそのデータ記憶部４２２へと接続される、計算装置４１０を含む。この実施例では、計算装置４１０は、データ記憶部４１２からデジタル化された病理サンプルにアクセスし、そして図２に関して上述したシステム２００、または図５に関して後述するシステム５００を使用するなど、それらを分析のためにサーバー４２０へと提供する。分析が完了した後、サーバー４２０は、計算装置４１０へと結果を返し、または、例えば、医療従事者によって、後で読み出すためにそれらをデータ記憶部４２２内に記憶する。
【0034】
この実施例では、サーバー４２０は、例えば、病院または研究所などの医療提供者によって維持され、一方で、計算装置４１０は、例えば、病理学者のオフィスなどの医療オフィスに常駐する。それ故に、こうしたシステム４００は、遠隔の場所における医療提供者が、利用可能で、かつコスト効率の高い染色を用いて組織サンプルを得ること、および染色することを可能にする場合があり、またそれらのサンプルを、サンプルの分析を提供することができる遠隔のサーバー４２０へと提供してもよい。しかし、当然のことながら、本開示による例示のシステムは、遠隔の計算装置と通信することなく、それ自体が分析を実施してもよい計算装置４１０のみを含んでもよい。
【0035】
この例示のシステム４００によるシステムを実装するために、任意の好適な計算装置が、計算装置４１０またはサーバー４２０のために採用されてもよい。さらに、本実施例における計算装置４１０は、データ記憶部４１２からのデジタル化された病理サンプルにアクセスする一方で、一部の実施例では、計算装置４１０は、病理サンプルの画像を捕捉する撮像装置と通信してもよい。こうした構成は、計算装置が、病理サンプルの１つ以上の画像を捕捉し、そして画像を好適なＭＬモデルを使用して直ちに処理すること、または画像を分析のために遠隔の計算装置、例えば、サーバー４２０へと提供することを可能にしてもよい。
【0036】
ここで図５を参照すると、図５は、デジタル化された病理サンプルにおけるバイオマーカー検出のための例示のシステム５００を示す。この実施例では、システム５００は、図２に示す例示のシステム２００と同様に、２つの段階５１０、５２０を含む。しかしながら、この実施例では、各段階５１０、５２０は、３つのＭＬモデル５１２～５１６、５２２～５２６を含む。段階１の各モデル５１２～５１６は、異なるバイオマーカーを認識するように訓練されている。モデル５１２は、ＥＲ陽性または陰性を決定するように訓練され、モデル５１４は、ＰＲ陽性または陰性を決定するように訓練され、そしてモデル５１６は、ＨＥＲ２陽性または陰性を判定するように訓練されている。さらに、各々は、段階２（５２０）において対応するモデル５２２～５２６を有し、これは全組織サンプルに対するバイオマーカーステータスを決定するように訓練されている。ＭＬモデル５２２は、スライドレベルのＥＲ陽性または陰性を検出するように訓練され、ＭＬモデル５２４は、スライドレベルのＰＲ陽性または陰性を検出するように訓練され、ＭＬモデル５２６は、スライドレベルのＨＥＲ２陽性または陰性を検出するように訓練されている。
【0037】
示される実施例では、染色組織サンプル、例えば、Ｈ＆Ｅ染色組織サンプルの画像は、複数の画像パッチ５０２ａ～ｎへとセグメント化され、また各画像パッチのコピーは、段階１（５１０）において各ＭＬモデル５１２～５１６へと提供される。ＭＬモデル５１２～５１６は、バイオマーカー陽性、バイオマーカー陰性、またはその他のそれぞれについて各パッチ５０２ａ～ｎを評価し、そして対応するパッチバイオマーカーステータスを出力する。すなわち、ＥＲステータス５４４ａ～ｎ、ＰＲステータス５５４ａ～ｎ、およびＨＥＲ２ステータス５６４ａ～ｎである。図２に関して上記で考察したように、バイオマーカーステータスはヒートマップとして視覚化されてもよい。この例示のシステム５００では、バイオマーカーステータスを処理して、ＥＲ陽性／陰性、ＰＲ陽性／陰性、およびＨＥＲ２陽性／陰性に対して各々２つの、対応するヒストグラムを生成する。しかしながら、上記で考察したように、任意の好適な入力フォーマットが、段階２のＭＬモデル５２２～５２６のために使用されてもよい。
【0038】
生成されたヒストグラムは、段階２（５２０）において対応するＭＬモデル５２２～５２６へと入力される。ＭＬモデル５２２～５２６は、組織サンプルバイオマーカーステータス５４６～５６６として出力される、スライドレベルのバイオマーカー陽性または陰性を決定する。この実施例では、ＭＬモデル５２２～５２６は、各々２つの確率を出力する。すなわち、一方はバイオマーカー陽性を示すもの、そしてもう一方はバイオマーカー陰性を示すものである。一部の実施例は、それぞれのＭＬモデル５２２～５２６によって出力される確率に基づいて、スライドレベルのバイオマーカーステータスをさらに決定する。例えば、システム５００は、バイオマーカー陽性またはバイオマーカー陰性の確率のうちより大きいものを選択することによって、スライドレベルのバイオマーカーステータスを決定してもよい。一部の実施例では、システム５００は、スライドレベルのバイオマーカーステータス確率のうちの１つが閾値を超えるかどうかを決定することによって、スライドレベルのバイオマーカーステータスを決定してもよい。さらに、一部の実施例では、システム５００は、いずれのスライドレベルのバイオマーカーステータスも閾値確率を満たさないか、または両方とも閾値確率を満たす場合、いかなるバイオマーカーも存在しない、またはバイオマーカーステータスが決定的でないと決定してもよい。
【0039】
図５に示す例示のシステム５００は、単一の染色乳がん組織サンプルについて３つの異なるバイオマーカー（ＥＲ、ＰＲ、およびＨＥＲ２）を評価するために並列して実行される、３つの異なるバイオマーカー分析を採用する。それ故に、システム５００は、各バイオマーカーステータスの標識を臨床医に出力する能力を有し、臨床医は、次いで患者に対する治療の方針を決定することができる。別の方法として、病理学者は、システム５００を使用して、同じ患者からのＩＨＣ染色組織サンプルの分析を実施する前に、組織サンプルの自身の分析を二重にチェックしてもよく、または初期評価を提供してもよい。しかしながら、ＩＨＣ染色が、制限された供給の状態にある、利用不可能である、または過度に高価であるシナリオでは、システム５００は、より従来から利用可能な、また典型的により安価なＨ＆Ｅ染色を使用してバイオマーカーステータスを提供することができてもよい。
【0040】
ここで図６を参照すると、図６は、デジタル化された病理サンプルにおけるバイオマーカー検出のための例示の方法６００を示す。この例示の方法は、図５に示すシステム５００に関して記述するが、図２に示すシステム２００などの任意の好適なシステムが採用されてもよい。
【0041】
ブロック６１０において、システム５００は、組織サンプルを有するスライドの画像を受信する。この実施例では、システム５００は、Ｈ＆Ｅ染色乳がん組織サンプルを有するスライドの画像を受信するが、一部の実施例では、任意の好適な染色が使用されてもよい。さらに、当然のことながら、乳がん組織が本実施例で使用されているが、一部の実施例では、任意の好適な組織サンプルが使用されてもよい。
【0042】
この実施例では、システム５００は、その中に記憶された画像のコピーを有するメモリ装置から、組織サンプルの画像を受信する。しかしながら、一部の実施例では、システム５００は、撮像装置から、または医療提供者における計算装置などの遠隔の計算装置から画像を受信してもよい。１つのこうした実施例では、システム５００は、例えば、図４に示すように、クラウド環境などの医療提供者から遠隔のサーバーによって実行されてもよい。方法６００の完了に伴い、システム５００は、例えば、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネットなど、通信ネットワーク上でなど、結果を医療提供者に提供してもよい。
【0043】
ブロック６２０において、システム５００は、画像に対応する複数の画像パッチを受信し、ここで各画像パッチは画像の異なる部分を表す。この実施例では、画像全体が画像パッチ５０２ａ～ｎへとセグメント化されているが、一部の実施例では、画像の部分はセグメント化されない場合がある。例えば、染色の閾値レベルが欠落している画像の部分、例えば、染色が存在しないか、またはほとんどないことを示す色を有するピクセルは、セグメント化されない場合があり、または組織サンプルの境界の外側にあると特定されたピクセルは除外される場合がある。この実施例では、画像は、おおよそ５１２×５１２ピクセルのサイズの画像パッチを有する、ピクセル当たりおおよそ２ミクロンの解像度を有するが、任意の好適な解像度、または任意の好適な画像サイズもしくは画像パッチサイズを採用してもよい。
【0044】
ブロック６３０において、システム５００は、各画像パッチについて、第１の訓練されたＭＬモデル５１２を使用して、パッチバイオマーカーステータスを決定する。図５に関して上記で考察したように、ＭＬモデル５１２は、画像パッチに対するＥＲ陽性または陰性（または非浸潤がん）を検出するように訓練されている。それ故に、この実施例では、ＭＬモデルは、各画像パッチに対して３つの値を出力する。すなわち、ＥＲ陽性の確率、ＥＲ陰性の確率、および非浸潤がんの確率である。しかし、当然のことながら、一部の実施例では、ＭＬモデル５１２は、バイオマーカー陽性の確率およびバイオマーカー陰性の確率の２つの値のみを出力してもよい。さらに、一部の実施例では、どの指標がより高い確率を有するかを示す単一の値のみを出力してもよい。すなわちバイオマーカー陽性または陰性、または一部の事例では、いずれの確率も所定の閾値を満たさない場合の指標を出力してもよい。
【0045】
この例示の方法６００では、画像パッチに対して単一のバイオマーカーのみが分析されるが、当然のことながらＭＬモデル５１２～５１６などの、複数の訓練されたＭＬモデルを使用することによって、各パッチに対して複数の異なるバイオマーカーが決定されてもよい。これらは、並行して、または順次（または組み合わせ）で実行されてもよい。さらに、一部の実施例では、単一のＭＬモデルは、複数の異なるバイオマーカーに対するバイオマーカー陽性／陰性を認識するように訓練されてもよい。こうしたＭＬモデルを使用するシステムでは、より少ないＭＬモデルを使用してもよいが、特定の組織サンプルについて検出されるべきバイオマーカーに従って、任意の組み合わせまたは数のＭＬモデルを使用してもよい。
【0046】
ブロック６４０において、システム５００は、第２の訓練されたＭＬモデル５２２への入力を生成する。この実施例では、システム５００は、図３に関して考察した実施例に関して概して上述したように、第１のＭＬモデル５１２によって出力されるパッチバイオマーカーステータスを使用してヒストグラムを生成する。しかしながら、一部の実施例では、システム５００は、第２の訓練されたＭＬモデル５２２への入力を別々に生成することなく、または異なるパラメータ化技法を使用することによらずに、第１のＭＬモデル５２２から第２の訓練されたＭＬモデル５２２の入力への出力を提供してもよい。
【0047】
ブロック６５０において、システム５００は、第２の訓練されたＭＬモデル５２２を使用して、画像パッチのパッチバイオマーカーステータスに基づいて、乳房組織のサンプルに対する組織サンプルバイオマーカーステータスを決定する。図２および図５に関して上記で考察したように、第２の訓練されたＭＬモデル５２２は、スライドレベルのバイオマーカーステータスを決定し、そして２つの値を出力するように訓練されており、各１つはバイオマーカー陽性およびバイオマーカー陰性の確率を示す。一部の実施例では、システム５００は、バイオマーカー陽性および陰性の確率に基づいて、単一のスライドレベルのバイオマーカーステータスをさらに決定してもよい。例えば、システム５００は、２つの確率を比較し、そして組織サンプルのバイオマーカーステータスを示すとして、より高い確率を特定してもよい。一部の実施例では、システム５００は、２つの確率を閾値と比較してもよく、また確率のうちの１つは、閾値を満たす場合、そのバイオマーカーに対応するものとしてバイオマーカーステータスを決定する。さらに、いずれの確率も閾値を満たさない場合、システム５００は、バイオマーカーステータスが浸潤がんではないと決定してもよく、または、両方とも閾値を満たす場合、バイオマーカーステータスが決定的でないと決定してもよい。
【0048】
当然のことながら、上述の方法６００は、組織サンプルの単一の画像に対して複数回実行されてもよい。例えば、図５に示すシステム５００は、図５のＭＬモデルの３つの異なるセット５１２／５２２、５１４／５２４、５１６／５２６に対応して、方法６００を３回、評価されるべき各バイオマーカーに対して１回ずつ、実施してもよい。さらに、方法６００のこれらの異なる実行は、異なる実施例に従って並行して、または順次に実行されてもよい。
【0049】
ここで図７を参照すると、図７は、本開示による、デジタル化された病理サンプル内のバイオマーカー検出のための例示のシステムまたは方法での使用のために好適な例示の計算装置７００を示す。例示の計算装置７００は、１つ以上の通信バス７０２を使用して、メモリ７２０および計算装置７００の他の構成要素と通信する、プロセッサ７１０を含む。プロセッサ７１０は、図６に関して上述した例示の方法６００の一部またはすべてなどの、異なる実施例に従って、メモリ７２０内に記憶されたプロセッサ実行可能命令を実行して、デジタル化された病理サンプル内のバイオマーカー検出のための１つ以上の方法を実施するように構成される。この実施例では、メモリ７２０は、図２または図５に示す例示のシステムなどのバイオマーカー検出システム７６０を含む。加えて、計算装置７００はまた、ユーザ入力を受け入れるための、キーボード、マウス、タッチスクリーン、マイクなどの１つ以上のユーザ入力装置７５０も含むが、一部の実施例では、計算装置７００は、遠隔サーバーまたはクラウドサーバーなどの、こうしたユーザ入力装置がない場合がある。計算装置７００はまた、ユーザへと視覚出力を提供するための表示装置７４０も含む。
【0050】
計算装置７００はまた、通信インターフェース７４０も含む。一部の実施例では、通信インターフェース７３０は、ローカルエリアネットワーク（「ＬＡＮ」）、インターネットなどの広域ネットワーク（「ＷＡＮ」）、メトロポリタンエリアネットワーク（「ＭＡＮ」）、ポイントツーポイントまたはピアツーピア接続などを含む、１つ以上のネットワークを使用して通信を可能にする場合がある。他の装置との通信は、任意の好適なネットワーキングプロトコルを使用して達成されてもよい。例えば、１つの好適なネットワーキングプロトコルは、インターネットプロトコル（「ＩＰ」）、伝送制御プロトコル（「ＴＣＰ」）、ユーザデータグラムプロトコル（「ＵＤＰ」）、またはＴＣＰ／ＩＰもしくはＵＤＰ／ＩＰなどのそれらの組み合わせを含んでもよい。
【0051】
本明細書の方法およびシステムの一部の実施例は、様々な機械上で実行されるソフトウェアに関して記述されるが、方法およびシステムはまた、本開示による様々な方法を特異的に実行するための、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの、特異的に構成されたハードウェアとして実装されてもよい。例えば、実施例は、デジタル電子回路、またはコンピュータハードウェア、ファームウェア、ソフトウェア、もしくはそれらの組み合わせで実装することができる。一実施例では、装置は、一つまたは複数のプロセッサを含んでもよい。プロセッサは、プロセッサへと連結されたランダムアクセスメモリ（ＲＡＭ）などのコンピュータ可読媒体を含む。プロセッサは、１つ以上のコンピュータプログラムを実行するなどの、メモリ内に記憶されたコンピュータ実行可能なプログラム命令を実行する。こうしたプロセッサは、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および状態機械を含んでもよい。こうしたプロセッサは、ＰＬＣ、プログラマブル割り込みコントローラ（ＰＩＣ）、プログラマブル論理装置（ＰＬＤ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、電子プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはＥＥＰＲＯＭ）、またはその他の類似の装置などのプログラマブル電子装置をさらに備えてもよい。
【0052】
こうしたプロセッサは、プロセッサによって実行された時に、本開示による方法を、プロセッサによって実行または支援されるものとして、プロセッサに実施させることができる、プロセッサ実行可能命令を記憶してもよい、媒体（例えば、１つ以上の非一時的コンピュータ可読媒体）を備えてもよく、またはこうした媒体と通信してもよい。非一時的コンピュータ可読媒体の実施としては、ウェブサーバー内のプロセッサなどのプロセッサに、プロセッサ実行可能命令を提供する能力を有する、電子、光学、磁気、またはその他の記憶装置が挙げられる場合があるが、これらに限定されない。非一時的コンピュータ可読媒体の他の例としては、フロッピーディスク、ＣＤ－ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成されたプロセッサ、すべての光学媒体、すべての磁気テープもしくは他の磁気媒体、またはコンピュータプロセッサが読み取ることができる任意の他の媒体が挙げられるが、これらに限定されない。記述されるプロセッサおよびプロセッシングは、１つ以上の構造内にあってもよく、また１つ以上の構造を通して分散されてもよい。プロセッサは、本開示による方法（または方法の一部）を実行するためのコードを含んでもよい。
【0053】
一部の実施例の前述の記述は、例示および記述の目的のためにのみ提示されており、網羅的であるか、または開示された正確な形態に本開示を限定することを意図するものではない。本開示の趣旨および範囲から逸脱することなく、その数多くの修正および適合が当業者に明らかとなるであろう。
【0054】
実施例または実装への本明細書の言及は、実施例に関連して記述される特定の特徴、構造、動作、またはその他の特性が、本開示の少なくとも１つの実装に含まれる場合があることを意味する。本開示は、このように記述される特定の実施例または実装に制限されない。「１つの実施例では」、「ある実施例では」、「１つの実装では」、もしくは「ある実装では」という語句の出現、または本明細書内の様々な箇所でのその変形例は、必ずしも同じ実施例または実装を指すものではない。１つの実施例もしくは実装に関連して、本明細書に記述される任意の特定の特徴、構造、動作、またはその他の特性は、任意の他の実施例もしくは実装に関して記述される他の特徴、構造、動作、またはその他の特性と組み合わせられてもよい。
【0055】
「ｏｒ（または）」という用語の本明細書での使用は、包括的かつ排他的なＯＲ条件を包含することを意図する。言い換えれば、ＡまたはＢまたはＣは、特定の使用に対する必要に応じて、以下の代替的な組み合わせ：Ａ単独、Ｂ単独、Ｃ単独、ＡおよびＢのみ、ＡおよびＣのみ、ＢおよびＣのみ、ならびにＡおよびＢおよびＣのうちのいずれかまたはすべてを含む。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】