知財求人 - 知財ポータルサイト「IP Force」
▶ ベンタナ メディカル システムズ， インコーポレイテッドの特許一覧
特許7427080細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-25
(45)【発行日】2024-02-02
(54)【発明の名称】細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
(51)【国際特許分類】
G06V 10/82 20220101AFI20240126BHJP
G06V 20/69 20220101ALI20240126BHJP
G06T 7/00 20170101ALI20240126BHJP
G06N 3/04 20230101ALI20240126BHJP
G06N 3/08 20230101ALI20240126BHJP
G01N 33/48 20060101ALN20240126BHJP
【ＦＩ】
G06V10/82
G06V20/69
G06T7/00 630
G06T7/00 350C
G06N3/04
G06N3/08
G01N33/48 M
【請求項の数】
37
(21)【出願番号】P 2022516626
(86)(22)【出願日】2020-10-14
(65)【公表番号】
(43)【公表日】2022-11-15
(86)【国際出願番号】 US2020055550
(87)【国際公開番号】W WO2021076605
(87)【国際公開日】2021-04-22
【審査請求日】2022-03-15
(31)【優先権主張番号】62/914,966
(32)【優先日】2019-10-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507179346
【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100119781
【弁理士】
【氏名又は名称】中村 彰吾
(72)【発明者】
【氏名】ザー，アリレザ・チャマン
(72)【発明者】
【氏名】ニエ，ヤオ
【審査官】大塚 俊範
(56)【参考文献】
【文献】特開２００６－２７７３４９（ＪＰ，Ａ）
【文献】中国特許出願公開第１０９０３４３６５（ＣＮ，Ａ）
【文献】中国特許出願公開第１０９６６９９７３（ＣＮ，Ａ）
【文献】RAMESH, Nisha、外１名，Cell Segmentation Using a Similarity Interface With a Multi-Task Convolutional Neural Network，IEEE Journal of Biomedical and Health In formatics，IEEE，2018年12月07日，VOL. 23, NO. 4，pp.1457-1468，［2023年03月09日検索］，インターネット＜ＵＲＬ：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8567919&tag=1＞
【文献】QU, Hui、外６名，Weakly Supervised Deep Nuclei Segmentation using Points Annotation in Histopathology Images，Proceedings of Machine Learning Research 102，2019年07月08日，pp.390-400，［2023年03月09日検索］，インターネット＜ＵＲＬ：http://proceedings.mlr.press/v102/qu19a/qu19a.pdf＞
【文献】LIANG, Haoyi、外４名，Enhanced Center Coding for Cell Detection with Convolutional Neural Networks，Computer Vision and Pattern Recognition，ARXIV.ORG，2019年04月18日，pp.1-9，［2023年03月09日検索］，インターネット＜URL：https://arxiv.org/pdf/1904.08864.pdf＞
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ １０／８２
Ｇ０６Ｖ ２０／６９
Ｇ０６Ｔ ７／００
Ｇ０６Ｎ ３／０４
Ｇ０６Ｎ ３／０８
Ｇ０１Ｎ ３３／４８
(57)【特許請求の範囲】
【請求項1】
データ処理システムによって、１つ以上の細胞の複数の画像にアクセスすることと、前記データ処理システムによって、前記複数の画像から３つのラベルを抽出することであって、前記３つのラベルが、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用を使用して抽出される、３つのラベルを抽出することと、
前記データ処理システムのマルチタスクスケジューラによって、前記３つのラベルに対応する３つの損失関数に基づいて畳み込みニューラルネットワークモデルを訓練することであって、畳み込みニューラルネットワークモデルが複数のモデルパラメータを含む、畳み込みニューラルネットワークモデルを訓練することと、
前記畳み込みニューラルネットワークモデルによって、前記３つの損失関数を用いた前記訓練に基づいて、前記複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、
前記データ処理システムによって、前記核確率マップおよび前記背景確率マップを前記３つのラベルと比較することと、
前記データ処理システムによって、前記３つの損失関数を最小化するために、前記核確率マップおよび前記背景確率マップを前記３つのラベルと比較することに基づいて、前記複数のモデルパラメータを更新することと、
前記データ処理システムによって、更新された前記複数のモデルパラメータを有する訓練された畳み込みニューラルネットワークモデルを提供することと、
を含み、
前記訓練することが、訓練反復ごとに、前記マルチタスクスケジューラによって、前記３つの損失関数のうちの１つを選択することと、前記データ処理システムによって、選択された前記損失関数の勾配に基づいて前記畳み込みニューラルネットワークモデルの１つ以上の重みを更新することと、を含む、方法。
【請求項2】
前記複数の画像が核点ラベルを含む、請求項１に記載の方法。
【請求項3】
前記ボロノイ変換が、前記１つ以上の細胞間の稜線を抽出する、請求項１または２に記載の方法。
【請求項4】
前記ローカルクラスタリングが、前記ボロノイ変換によって作成された各細胞またはポリゴン内の各画素の前記核点ラベルまでの距離である距離変換特徴と連結されたＲＧＢチャネル色特徴に基づいて背景および核クラスタを局所的に抽出するためにｋ平均クラスタリングアルゴリズムを適用することを含む、請求項２に記載の方法。
【請求項5】
前記畳み込みニューラルネットワークモデルが、修正されたＵ－Ｎｅｔモデルを含む、請求項１～４のいずれか一項に記載の方法。
【請求項6】
前記損失関数が、【数1】
【数2】
【数3】
て前記マルチタスクスケジューラによって選択され、ここで、
【数4】
【請求項7】
前記核確率マップおよび前記背景確率マップを生成することが、前記核確率マップおよび前記背景確率マップ、セグメンテーションバイナリマスクおよび検出された細胞の座標にａｒｇｍａｘおよび極大値関数を適用することを含む、請求項１～６のいずれか一項に記載の方法。
【請求項8】
１つ以上のデータプロセッサに、動作を実行させるように構成された命令を含むコンピュータプログラムであって、前記動作が、データ処理システムによって、１つ以上の細胞の複数の画像にアクセスすることと、
前記データ処理システムによって、前記複数の画像から３つのラベルを抽出することであって、前記３つのラベルが、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用を使用して抽出される、３つのラベルを抽出することと、
前記データ処理システムのマルチタスクスケジューラによって、前記３つのラベルに対応する３つの損失関数に基づいて畳み込みニューラルネットワークモデルを訓練することであって、前記畳み込みニューラルネットワークモデルが複数のモデルパラメータを含む、畳み込みニューラルネットワークモデルを訓練することと、
前記畳み込みニューラルネットワークモデルによって、前記３つの損失関数を用いた前記訓練に基づいて、前記複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、
前記データ処理システムによって、前記核確率マップおよび前記背景確率マップを前記３つのラベルと比較することと、
前記データ処理システムによって、前記３つの損失関数を最小化するために、前記核確率マップおよび前記背景確率マップを前記３つのラベルと比較することに基づいて、前記複数のモデルパラメータを更新することと、
前記データ処理システムによって、更新された前記複数のモデルパラメータを有する訓練された畳み込みニューラルネットワークモデルを提供することと、
を含み、
前記訓練することが、訓練反復ごとに、前記マルチタスクスケジューラによって、前記３つの損失関数のうちの１つを選択することと、前記データ処理システムによって、選択された前記損失関数の勾配に基づいて前記畳み込みニューラルネットワークモデルの１つ以上の重みを更新することと、を含む、コンピュータプログラム。
【請求項9】
前記複数の画像が核点ラベルを含む、請求項８に記載のコンピュータプログラム。
【請求項10】
前記ボロノイ変換が、前記１つ以上の細胞間の稜線を抽出する、請求項８または９に記載のコンピュータプログラム。
【請求項11】
前記ローカルクラスタリングが、前記ボロノイ変換によって作成された各細胞またはポリゴン内の各画素の前記核点ラベルまでの距離である距離変換特徴と連結されたＲＧＢチャネル色特徴に基づいて背景および核クラスタを局所的に抽出するためにｋ平均クラスタリングアルゴリズムを適用することを含む、請求項９に記載のコンピュータプログラム。
【請求項12】
前記損失関数が、【数5】
【数6】
【数7】
【数8】
【請求項13】
前記核確率マップおよび前記背景確率マップを生成することが、前記核確率マップおよび前記背景確率マップ、セグメンテーションバイナリマスクおよび検出された細胞の座標にａｒｇｍａｘおよび極大値関数を適用することを含む、請求項８～１２のいずれか一項に記載のコンピュータプログラム。
【請求項14】
１つ以上のデータプロセッサと、前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに、動作を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、
を備え、前記動作が、
データ処理システムによって、１つ以上の細胞の複数の画像にアクセスすることと、
前記データ処理システムによって、前記複数の画像から３つのラベルを抽出することであって、前記３つのラベルが、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用を使用して抽出される、３つのラベルを抽出することと、
前記データ処理システムのマルチタスクスケジューラによって、前記３つのラベルに対応する３つの損失関数に基づいて畳み込みニューラルネットワークモデルを訓練することであって、前記畳み込みニューラルネットワークモデルが複数のモデルパラメータを含む、畳み込みニューラルネットワークモデルを訓練することと、
前記畳み込みニューラルネットワークモデルによって、前記３つの損失関数を用いた前記訓練に基づいて、前記複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、
前記データ処理システムによって、前記核確率マップおよび前記背景確率マップを前記３つのラベルと比較することと、
前記データ処理システムによって、前記３つの損失関数を最小化するために、前記核確率マップおよび前記背景確率マップを前記３つのラベルと比較することに基づいて、前記複数のモデルパラメータを更新することと、
前記データ処理システムによって、更新された前記複数のモデルパラメータを有する訓練された畳み込みニューラルネットワークモデルを提供することと、
を含み、
前記訓練することが、訓練反復ごとに、前記マルチタスクスケジューラによって、前記３つの損失関数のうちの１つを選択することと、前記データ処理システムによって、選択された前記損失関数の勾配に基づいて前記畳み込みニューラルネットワークモデルの１つ以上の重みを更新することと、を含む、システム。
【請求項15】
前記複数の画像が核点ラベルを含む、請求項１４に記載のシステム。
【請求項16】
前記ボロノイ変換が、前記１つ以上の細胞間の稜線を抽出する、請求項１５に記載のシステム。
【請求項17】
前記ローカルクラスタリングが、前記ボロノイ変換によって作成された各細胞またはポリゴン内の各画素の前記核点ラベルまでの距離である距離変換特徴と連結されたＲＧＢチャネル色特徴に基づいて背景および核クラスタを局所的に抽出するためにｋ平均クラスタリングアルゴリズムを適用することを含む、請求項１６に記載のシステム。
【請求項18】
前記損失関数が、【数9】
【数10】
【数11】
【数12】
【請求項19】
前記核確率マップおよび前記背景確率マップを生成することが、前記核確率マップおよび前記背景確率マップ、セグメンテーションバイナリマスクおよび検出された細胞の座標にａｒｇｍａｘおよび極大値関数を適用することを含む、請求項１４～１８のいずれか一項に記載のシステム。
【請求項20】
データ処理システムによって、１つ以上の細胞の複数の画像を取得することと、前記複数の画像を、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用に対応する少なくとも３つの損失関数の組み合わせを使用して構築された畳み込みニューラルネットワークモデルに入力することと、
前記畳み込みニューラルネットワークモデルによって、前記複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、
前記データ処理システムによって、前記核確率マップおよび前記背景確率マップを提供することと、
を含み、
前記畳み込みニューラルネットワークモデルが、前記ボロノイ変換、前記ローカルクラスタリング、および前記リペールコードの適用を使用して抽出された少なくとも３つのラベルを有する複数の医療画像を含む訓練データのセットを使用して識別された複数のモデルパラメータを含み、
前記複数のモデルパラメータが、前記少なくとも３つの損失関数を最小化することに基づいて前記訓練データのセットを使用して識別され、
前記訓練データのセットを使用することが、訓練反復ごとに、マルチタスクスケジューラによって、前記３つの損失関数のうちの１つを選択することと、前記データ処理システムによって、前記選択された損失関数の勾配に基づいて前記畳み込みニューラルネットワークモデルの前記複数のモデルパラメータのうちの１つ以上を更新することと、を含む、方法。
【請求項21】
前記ボロノイ変換が、前記１つ以上の細胞間の稜線を抽出する、請求項２０に記載の方法。
【請求項22】
前記ローカルクラスタリングが、前記ボロノイ変換によって作成された各細胞またはポリゴン内の各画素の核点ラベルまでの距離である距離変換特徴と連結されたＲＧＢチャネル色特徴に基づいて背景および核クラスタを局所的に抽出するためにｋ平均クラスタリングアルゴリズムを適用することを含む、請求項２０または２１に記載の方法。
【請求項23】
前記畳み込みニューラルネットワークモデルが、修正されたＵ－Ｎｅｔモデルを含む、請求項２０～２２のいずれか一項に記載の方法。
【請求項24】
前記損失関数が、【数13】
【数14】
【数15】
【数16】
【請求項25】
前記核確率マップおよび前記背景確率マップを生成および提供することが、前記核確率マップおよび前記背景確率マップ、セグメンテーションバイナリマスクおよび検出された細胞の座標にａｒｇｍａｘおよび極大値関数を適用することを含む、請求項２０～２４のいずれか一項に記載の方法。
【請求項26】
１つ以上のデータプロセッサに、動作を実行させるように構成された命令を含むコンピュータプログラムであって、前記動作が、データ処理システムによって、１つ以上の細胞の複数の画像を取得することと、
前記複数の画像を、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用に対応する少なくとも３つの損失関数の組み合わせを使用して構築された畳み込みニューラルネットワークモデルに入力することと、
前記畳み込みニューラルネットワークモデルによって、前記複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、
前記データ処理システムによって、前記核確率マップおよび前記背景確率マップを提供することと、
を含み、
前記畳み込みニューラルネットワークモデルが、前記ボロノイ変換、前記ローカルクラスタリング、および前記リペールコードの適用を使用して抽出された少なくとも３つのラベルを有する複数の医療画像を含む訓練データのセットを使用して識別された複数のモデルパラメータを含み、
前記複数のモデルパラメータが、前記少なくとも３つの損失関数を最小化することに基づいて前記訓練データのセットを使用して識別され、
前記訓練データのセットを使用することが、訓練反復ごとに、マルチタスクスケジューラによって、前記３つの損失関数のうちの１つを選択することと、前記データ処理システムによって、選択された前記損失関数の勾配に基づいて前記畳み込みニューラルネットワークモデルの前記複数のモデルパラメータのうちの１つ以上を更新することと、を含む、コンピュータプログラム。
【請求項27】
前記ボロノイ変換が、前記１つ以上の細胞間の稜線を抽出する、請求項２６に記載のコンピュータプログラム。
【請求項28】
前記ローカルクラスタリングが、前記ボロノイ変換によって作成された各細胞またはポリゴン内の各画素の核点ラベルまでの距離である距離変換特徴と連結されたＲＧＢチャネル色特徴に基づいて背景および核クラスタを局所的に抽出するためにｋ平均クラスタリングアルゴリズムを適用することを含む、請求項２６または２７に記載のコンピュータプログラム。
【請求項29】
前記畳み込みニューラルネットワークモデルが、修正されたＵ－Ｎｅｔモデルを含む、請求項２６～２８のいずれか一項に記載のコンピュータプログラム。
【請求項30】
前記損失関数が、【数17】
【数18】
【数19】
【数20】
【請求項31】
前記核確率マップおよび前記背景確率マップを生成および提供することが、前記核確率マップおよび前記背景確率マップ、セグメンテーションバイナリマスクおよび検出された細胞の座標にａｒｇｍａｘおよび極大値関数を適用することを含む、請求項２６～３０のいずれか一項に記載のコンピュータプログラム。
【請求項32】
１つ以上のデータプロセッサと、前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに、動作を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を備え、前記動作が、
データ処理システムによって、１つ以上の細胞の複数の画像を取得することと、
前記複数の画像を、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用に対応する少なくとも３つの損失関数の組み合わせを使用して構築された畳み込みニューラルネットワークモデルに入力することと、
前記畳み込みニューラルネットワークモデルによって、前記複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、
前記データ処理システムによって、前記核確率マップおよび前記背景確率マップを提供することと、を含み、
前記畳み込みニューラルネットワークモデルが、前記ボロノイ変換、前記ローカルクラスタリング、および前記リペールコードの適用を使用して抽出された少なくとも３つのラベルを有する複数の医療画像を含む訓練データのセットを使用して識別された複数のモデルパラメータを含み、
前記複数のモデルパラメータが、前記少なくとも３つの損失関数を最小化することに基づいて前記訓練データのセットを使用して識別され、
前記訓練データのセットを使用することが、訓練反復ごとに、マルチタスクスケジューラによって、前記３つの損失関数のうちの１つを選択することと、前記データ処理システムによって、選択された前記損失関数の勾配に基づいて前記畳み込みニューラルネットワークモデルの前記複数のモデルパラメータのうちの１つ以上を更新することと、を含む、システム。
【請求項33】
前記ボロノイ変換が、前記１つ以上の細胞間の稜線を抽出する、請求項３２に記載のシステム。
【請求項34】
前記ローカルクラスタリングが、前記ボロノイ変換によって作成された各細胞またはポリゴン内の各画素の核点ラベルまでの距離である距離変換特徴と連結されたＲＧＢチャネル色特徴に基づいて背景および核クラスタを局所的に抽出するためにｋ平均クラスタリングアルゴリズムを適用することを含む、請求項３２または３３に記載のシステム。
【請求項35】
前記畳み込みニューラルネットワークモデルが、修正されたＵ－Ｎｅｔモデルを含む、請求項３２～３４のいずれか一項に記載のシステム。
【請求項36】
前記損失関数が、【数21】
【数22】
【数23】
【数24】
【請求項37】
前記核確率マップおよび前記背景確率マップを生成および提供することが、前記核確率マップおよび前記背景確率マップ、セグメンテーションバイナリマスクおよび検出された細胞の座標にａｒｇｍａｘおよび極大値関数を適用することを含む、請求項３２～３６のいずれか一項に記載のシステム。
【発明の詳細な説明】
【関連出願】
【0001】
［関連出願への相互参照］
本出願は、２０１９年１０月１４日に出願された「ＷＥＡＫＬＹ ＳＵＰＥＲＶＩＳＥＤ ＭＵＬＴＩ－ＴＡＳＫ ＬＥＡＲＮＩＮＧ ＦＯＲ ＣＥＬＬ ＤＥＴＥＣＴＩＯＮ ＡＮＤ ＳＥＧＭＥＮＴＡＴＩＯＮ」という名称の米国仮特許出願第６２／９１４，９６６号の優先権および利益を主張し、その全内容は、あらゆる目的のために参照により本明細書に組み込まれる。
本願発明の一実施例は、例えば、細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習に関する。
本出願は、２０１９年１０月１４日に出願された「ＷＥＡＫＬＹ ＳＵＰＥＲＶＩＳＥＤ ＭＵＬＴＩ－ＴＡＳＫ ＬＥＡＲＮＩＮＧ ＦＯＲ ＣＥＬＬ ＤＥＴＥＣＴＩＯＮ ＡＮＤ ＳＥＧＭＥＮＴＡＴＩＯＮ」という名称の米国仮特許出願第６２／９１４，９６６号の優先権および利益を主張し、その全内容は、あらゆる目的のために参照により本明細書に組み込まれる。
本願発明の一実施例は、例えば、細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習に関する。
【技術分野】
【0002】
本開示は、生物学的画像分析に関し、特に、弱教師あり転移学習およびマルチタスクスケジューラを使用して細胞をセグメント化および検出するためのシステムおよび方法に関する。
【背景技術】
【0003】
組織切片、血液、細胞培養物などの生物学的検体の分析では、染色またはアッセイの１つ以上の組み合わせによって生物学的検体が染色されることが多く、次いで、染色された生物学的検体は、さらに分析するために観察またはイメージングされる。染色またはアッセイされた生物学的検体を観察することは、疾患の診断、処置に対する応答の評価、および疾患と戦うための新たな薬物の開発を含む様々なプロセスを可能にする。例えば、リンパ球、癌細胞、癌細胞核などの生物学的画像（例えば、組織病理画像）における特定のオブジェクトまたは構造の同定は、多くの場合、生物学的画像が得られた患者における疾患の等級付けまたは診断の前提条件である。これらのオブジェクトまたは構造の存在、程度、サイズ、形状および他の形態学的外観は、疾患の存在または重症度の重要な指標とすることができる。さらに、特定のオブジェクトまたは構造（細胞または細胞核など）の数または比率は、いくつかの疾患症状に対して診断的意義を有し、特定のオブジェクトまたは構造を正確に同定する必要性をさらに動機付ける。
【0004】
生物学的画像の取得では、画像データの複数のチャネル、例えばＲＧＢカラーチャネルが導出されることができ、各観察されたチャネルは、複数の信号の混合物を含む。この画像データの処理は、画像データの１つ以上の観察されたチャネルから特定の染色の濃度を判定するために使用される色分離、スペクトル非混合、色逆畳み込みなどの方法を含むことができる。ディスプレイ上に示される自動化された方法によって処理された画像データについて、または観察者によって観察されるアッセイについて、組織の色と染色の色との間の関係が判定されて、染色された組織におけるバイオマーカー分布のモデルを判定することができる。局所的な染色の存在および量は、組織において照会されるバイオマーカーの存在および濃度を示すことができる。免疫組織化学（ＩＨＣ）スライド染色は、組織切片の細胞中の特定のタンパク質（例えば、バイオマーカー）を同定するために利用されることができる１つの技術であり、生体組織中の癌性細胞および免疫細胞などの異なる種類の細胞の研究に広く使用されている。例えば、ＰＭＳ２ ＩＨＣ核染色結腸直腸癌（ＣＲＣ）画像では、様々な形状およびサイズ（例えば、細長く高度にクラスタ化された）で褐色に染色された陽性腫瘍核、淡褐色に弱く染色された陽性腫瘍核、および青色に染色された陰性腫瘍核を同定および／または定量して、Ｌｙｎｃｈ症候群（ＬＳ）患者をＤＮＡミスマッチ修復不全（ｄＭＭＲ）患者と区別することができる。
【発明の概要】
【0005】
様々な実施形態では、データ処理システムによって、１つ以上の細胞の複数の画像にアクセスすることと、データ処理システムによって、複数の画像から３つのラベルを抽出することであって、３つのラベルが、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用を使用して抽出される、３つのラベルを抽出することと、データ処理システムのマルチタスクスケジューラによって、３つのラベルに対応する３つの損失関数に基づいて畳み込みニューラルネットワークモデルを訓練することと、畳み込みニューラルネットワークモデルによって、３つの損失関数を用いた訓練に基づいて、複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、データ処理システムによって、核確率マップおよび背景確率マップを提供することと、を含む、コンピュータ実装方法が提供される。
【0006】
様々な実施形態では、データ処理システムによって、１つ以上の細胞の複数の画像にアクセスすることと、データ処理システムによって、複数の画像から３つのラベルを抽出することであって、３つのラベルが、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用を使用して抽出される、３つのラベルを抽出することと、データ処理システムのマルチタスクスケジューラによって、３つのラベルに対応する３つの損失関数に基づいて畳み込みニューラルネットワークモデルを訓練することであって、畳み込みニューラルネットワークモデルが複数のモデルパラメータを含む、畳み込みニューラルネットワークモデルを訓練することと、畳み込みニューラルネットワークモデルによって、３つの損失関数を用いた訓練に基づいて、複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、データ処理システムによって、核確率マップおよび背景確率マップを３つのラベルと比較することと、データ処理システムによって、３つの損失関数を最小化するために、核確率マップおよび背景確率マップを３つのラベルと比較することに基づいて、複数のモデルパラメータを更新することと、データ処理システムによって、更新された複数のモデルパラメータを有する訓練された畳み込みニューラルネットワークモデルを提供することと、を含む、コンピュータ実装方法が提供される。
【0007】
いくつかの実施形態では、複数の画像は、核点ラベルを含む。
【0008】
いくつかの実施形態では、ボロノイ変換は、１つ以上の細胞間の稜線を抽出する。
【0009】
いくつかの実施形態では、ローカルクラスタリングは、ボロノイ変換によって作成された各細胞またはポリゴン内の各画素の核点ラベルまでの距離である距離変換特徴と連結されたＲＧＢチャネル色特徴に基づいて背景および核クラスタを局所的に抽出するためにｋ平均クラスタリングアルゴリズムを適用することを含む。
【0010】
いくつかの実施形態では、畳み込みニューラルネットワークモデルは、修正されたＵ－Ｎｅｔモデルを含む。
【0011】
いくつかの実施形態では、訓練することは、訓練反復ごとに、マルチタスクスケジューラによって、３つの損失関数のうちの１つを選択することと、データ処理システムによって、選択された損失関数の勾配に基づいて畳み込みニューラルネットワークモデルの１つ以上の重みを更新することと、を含む。
【0012】
いくつかの実施形態では、損失関数は、
である場合にボロノイラベルに関連付けられた損失関数、
である場合にリペールラベルに関連付けられた損失関数、および
である場合にローカルクラスタラベルに関連付けられた損失関数を選択することに基づいてマルチタスクスケジューラによって選択され、ここで、
は、訓練反復のインデックスである。
【数1】
【数2】
【数3】
【数4】
【0013】
いくつかの実施形態では、核確率マップおよび背景確率マップを生成および提供することは、核確率マップおよび背景確率マップ、セグメンテーションバイナリマスクおよび検出された細胞の座標にａｒｇｍａｘおよび極大値関数を適用することを含む。
【0014】
様々な実施形態では、データ処理システムによって、１つ以上の細胞の複数の画像を取得することと、複数の画像を、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用に対応する少なくとも３つの損失関数の組み合わせを使用して構築された畳み込みニューラルネットワークモデルに入力することと、畳み込みニューラルネットワークモデルによって、複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、データ処理システムによって、核確率マップおよび背景確率マップを提供することと、を含む、コンピュータ実装方法が提供される。
【0015】
いくつかの実施形態では、ボロノイ変換は、１つ以上の細胞間の稜線を抽出する。
【0016】
いくつかの実施形態では、ローカルクラスタリングは、ボロノイ変換によって作成された各細胞またはポリゴン内の各画素の核点ラベルまでの距離である距離変換特徴と連結されたＲＧＢチャネル色特徴に基づいて背景および核クラスタを局所的に抽出するためにｋ平均クラスタリングアルゴリズムを適用することを含む。
【0017】
いくつかの実施形態では、畳み込みニューラルネットワークモデルは、修正されたＵ－Ｎｅｔモデルを含む。
【0018】
いくつかの実施形態では、畳み込みニューラルネットワークモデルは、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用を使用して抽出された少なくとも３つのラベルを有する複数の医療画像を含む訓練データのセットを使用して識別された複数のパラメータを含み、複数のモデルパラメータは、少なくとも３つの損失関数を最小化することに基づいて訓練データのセットを使用して識別される。
【0019】
いくつかの実施形態では、訓練データのセットを使用することは、訓練反復ごとに、マルチタスクスケジューラによって、３つの損失関数のうちの１つを選択することと、データ処理システムによって、選択された損失関数の勾配に基づいて畳み込みニューラルネットワークモデルの複数のパラメータのうちの１つ以上を更新することと、を含む。
【0020】
いくつかの実施形態では、損失関数は、
である場合にボロノイラベルに関連付けられた損失関数、
である場合にリペールラベルに関連付けられた損失関数、および
である場合にローカルクラスタラベルに関連付けられた損失関数を選択することに基づいてマルチタスクスケジューラによって選択され、ここで、
は、訓練反復のインデックスである。
【数5】
【数6】
【数7】
【数8】
【0021】
いくつかの実施形態では、核確率マップおよび背景確率マップを生成および提供することは、核確率マップおよび背景確率マップ、セグメンテーションバイナリマスクおよび検出された細胞の座標にａｒｇｍａｘおよび極大値関数を適用することを含む。
【0022】
いくつかの実施形態では、１つ以上のデータプロセッサと、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を含むシステムが提供される。
【0023】
いくつかの実施形態では、非一時的機械可読記憶媒体に有形に具現化され、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させるように構成された命令を含むコンピュータプログラム製品が提供される。
【0024】
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。
【0025】
本開示は、以下の添付の図面と併せて説明される：
【図面の簡単な説明】
【0026】
【図1】様々な実施形態にかかる、自動化された細胞セグメンテーションおよび検出のための例示的なコンピューティング環境を示している。
【図2】様々な実施形態にかかる、提案されたアルゴリズムの概要を示している。
【図3】様々な実施形態にかかる例示的なＵ－Ｎｅｔを示している。
【図4】様々な実施形態にかかる、提案されたローカルクラスタリングアルゴリズム対グローバルクラスタリングアルゴリズムの性能を示している。
【図5】以下の試料試験画像（左画像）、ＣＲＦなしの［１］で提案されたアルゴリズムに基づくオーバーレイされたセグメンテーションマスク（中央画像）、および本アルゴリズム（右画像）によるセグメンテーション性能を示している：（ａ）細長細胞を含む正常組織領域、（ｂ）高度にクラスタリングされた細胞を含む濾胞内領域、（ｃ）染色されていない細胞を含む正常組織領域、および（ｄ）様々な実施形態に従って弱くおよび強く染色された腫瘍領域。
【発明を実施するための形態】
【0027】
Ｉ．概要
本開示は、自動化された細胞セグメンテーションおよび検出のための技術を記載する。より具体的には、本開示の様々な実施形態は、転移学習およびマルチタスクスケジューラを使用して細胞をセグメント化および検出するためのシステムおよび方法を提供する。
本開示は、自動化された細胞セグメンテーションおよび検出のための技術を記載する。より具体的には、本開示の様々な実施形態は、転移学習およびマルチタスクスケジューラを使用して細胞をセグメント化および検出するためのシステムおよび方法を提供する。
【0028】
単一細胞のセグメンテーションおよび検出は、生物学的画像における病理の分析に向けた基本的なステップである。細胞の集団および密度、形態学的情報、ならびに染色品質メトリックは、診断目的および／または染色品質測定のために生物学的試料（例えば、組織スライド）中のセグメント化および検出された細胞から取得されることができる情報の例である。深層学習法に基づく細胞セグメンテーションにおける最近の研究は、色分離、スペクトル非混合、および色逆畳み込みなどの従来の画像処理方法と比較して、より良好な性能を報告している。ラベルを付けやすいオブジェクト（例えば、車、木、動物など）の分類およびセグメンテーションなどのタスクと比較して、細胞検出およびインスタンスセグメンテーションは、さらなる課題に直面する。例えば、染色された細胞は、背景に対するコントラストの大きな変動を有する。高度にクラスタリングされた細胞は、接触しているかまたは重なっている境界を有し、個別にセグメント化することが困難である。最も重要なことには、細胞インスタンスセグメンテーションのために画素レベルのグラウンドトゥルースを取得することは、極めて労働集約的である。
【0029】
これらの制限および問題に対処するために、本実施形態の自動化された単一細胞セグメンテーションおよび検出のための技術は、自動化されたエンドツーエンドの単一細胞セグメンテーションおよび検出のための弱教師ありマルチタスク学習アルゴリズムの使用を含む。本開示の１つの例示的な実施形態は、１つ以上の細胞の複数の画像にアクセスすることと、複数の画像から３つのラベルを抽出することであって、３つのラベルが、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用を使用して抽出される、３つのラベルを抽出することと、マルチタスクスケジューラによって、３つのラベルに対応する３つの損失関数に基づいて畳み込みニューラルネットワークモデルを訓練することと、畳み込みニューラルネットワークモデルによって、３つの損失関数を用いた訓練に基づいて複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、核確率マップおよび背景確率マップを提供することと、を含む方法に関する。特定の実施形態では、核確率マップおよび背景確率マップを生成および提供することは、核確率マップおよび背景確率マップ、セグメンテーションバイナリマスクおよび検出された細胞の座標にａｒｇｍａｘおよび極大値関数を適用することを含む。
【0030】
ＩＩ．定義
本明細書で使用される場合、動作が何かに「基づく」場合、これは、動作が何かの少なくとも一部に少なくとも部分的に基づくことを意味する。
本明細書で使用される場合、動作が何かに「基づく」場合、これは、動作が何かの少なくとも一部に少なくとも部分的に基づくことを意味する。
【0031】
本明細書で使用される場合、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「およそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、および「約（ａｂｏｕｔ）」という用語は、当業者によって理解されるように、大部分が指定されるものであるが、必ずしも完全には指定されないもの（および完全に指定されるものを含む）として定義される。任意の開示された実施形態では、「実質的に」、「およそ」、または「約」という用語は、指定されたものの「［パーセンテージ］以内」で置き換えられることができ、パーセンテージは、０．１、１、５、および１０％を含む。
【0032】
ＩＩＩ．自動化された細胞セグメンテーションおよび検出のための技術
画像セグメンテーションは、形状、サイズ、色などの異なる特徴の類似性を示す画像の類似部分を分離する手順である。細胞のセグメンテーションは、生物学的試料内の細胞のサイズおよび位置の視覚化を可能にし、細胞による染色取り込みの分析の基礎を提供することもできる。細胞セグメンテーションのゴールドスタンダードは、長い間手動セグメンテーションであり、これは時間がかかり、労働集約的であり、したがって大規模な研究には適していない。細胞セグメンテーションのプロセスを完全にまたは部分的に自動化しようとするかなりの研究が行われてきた。例えば、閾値処理、領域拡張、ファジークラスタリング、流域アルゴリズムの使用などの画像セグメンテーション技術は、異常細胞（例えば、癌性細胞）を正常細胞（例えば、リンパ球）から分離するために使用されてきた。それにもかかわらず、セグメンテーションのプロセスは、細胞の形状、位置、およびサイズの多様性のために依然として困難である。
画像セグメンテーションは、形状、サイズ、色などの異なる特徴の類似性を示す画像の類似部分を分離する手順である。細胞のセグメンテーションは、生物学的試料内の細胞のサイズおよび位置の視覚化を可能にし、細胞による染色取り込みの分析の基礎を提供することもできる。細胞セグメンテーションのゴールドスタンダードは、長い間手動セグメンテーションであり、これは時間がかかり、労働集約的であり、したがって大規模な研究には適していない。細胞セグメンテーションのプロセスを完全にまたは部分的に自動化しようとするかなりの研究が行われてきた。例えば、閾値処理、領域拡張、ファジークラスタリング、流域アルゴリズムの使用などの画像セグメンテーション技術は、異常細胞（例えば、癌性細胞）を正常細胞（例えば、リンパ球）から分離するために使用されてきた。それにもかかわらず、セグメンテーションのプロセスは、細胞の形状、位置、およびサイズの多様性のために依然として困難である。
【0033】
ボロノイ変換、色クラスタラベリング、およびリペールコードを使用して取得された画素レベルラベルからの情報を組み合わせるマルチタスクスケジューリング技術は、正確な細胞セグメンテーションおよび検出を改善するのに役立つことができる。
【0034】
本明細書では、畳み込みニューラルネットワーク（ＣＮＮ）を使用して画像（例えば、染色された組織の画像）から細胞をセグメント化して検出するモデルを組み込むエンドツーエンドの方法について説明する。開発されたモデルは、計算的に軽量であり、染色技術の変動性、癌細胞と正常細胞との間の極端な不均衡、および入力画像の不均一性に対応するように考案された。このモデルは、注釈付けの労力を増加させることなく、従来のアルゴリズムよりも改善された細胞セグメンテーションおよび検出の性能を有する。
【0035】
ＩＩＩ．Ａ．例示的なコンピューティング環境
図１は、様々な実施形態にかかる、深層畳み込みニューラルネットワークを使用した細胞セグメンテーションおよび検出のための例示的なコンピューティング環境１００を示している。コンピューティング環境１００は、畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練して実行するための深層ＣＮＮシステム１０５を含むことができる。より具体的には、ＣＮＮシステム１０５は、それぞれのＣＮＮモデルを訓練することができる分類器サブシステム１１０ａ－ｎを含むことができる。いくつかの実施形態では、分類器サブシステム１１０ａ－ｎに対応する各ＣＮＮモデルは、入力画像要素１１５ａ－ｎのセット内の１つ以上の画像（例えば、生物学的試料のスライド上の視野（ＦＯＶ）からの画像）に基づいて別々に訓練される。いくつかの実施形態では、入力画像要素１１５ａ－ｎのセットのそれぞれは、生物学的試料内の細胞を示す１つ以上のデジタル画像を含むことができる。入力画像要素１１５ａ－ｎのセットのそれぞれは、画像に対応する基礎となる画像データが収集された単一の被験者および１日に対応することができる。入力画像要素１１５ａ－ｎのセットは、１つ以上の訓練入力画像要素１１５ａ－ｄ、検証入力画像要素１１５ｅ－ｇ、およびラベルなし入力画像要素１１５ｈ－ｎを含むことができる。訓練グループ、検証グループ、およびラベル化されていないグループに対応する入力画像要素は、同時にアクセスされる必要はないことが理解されよう。例えば、初期訓練および検証入力画像要素は、最初にアクセスされ、モデルを訓練するために使用されてもよく、ラベル化されていない入力画像要素は、その後、モデルの試験のために（例えば、単一または複数の後続の時間に）アクセスまたは受信されてもよい。
図１は、様々な実施形態にかかる、深層畳み込みニューラルネットワークを使用した細胞セグメンテーションおよび検出のための例示的なコンピューティング環境１００を示している。コンピューティング環境１００は、畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練して実行するための深層ＣＮＮシステム１０５を含むことができる。より具体的には、ＣＮＮシステム１０５は、それぞれのＣＮＮモデルを訓練することができる分類器サブシステム１１０ａ－ｎを含むことができる。いくつかの実施形態では、分類器サブシステム１１０ａ－ｎに対応する各ＣＮＮモデルは、入力画像要素１１５ａ－ｎのセット内の１つ以上の画像（例えば、生物学的試料のスライド上の視野（ＦＯＶ）からの画像）に基づいて別々に訓練される。いくつかの実施形態では、入力画像要素１１５ａ－ｎのセットのそれぞれは、生物学的試料内の細胞を示す１つ以上のデジタル画像を含むことができる。入力画像要素１１５ａ－ｎのセットのそれぞれは、画像に対応する基礎となる画像データが収集された単一の被験者および１日に対応することができる。入力画像要素１１５ａ－ｎのセットは、１つ以上の訓練入力画像要素１１５ａ－ｄ、検証入力画像要素１１５ｅ－ｇ、およびラベルなし入力画像要素１１５ｈ－ｎを含むことができる。訓練グループ、検証グループ、およびラベル化されていないグループに対応する入力画像要素は、同時にアクセスされる必要はないことが理解されよう。例えば、初期訓練および検証入力画像要素は、最初にアクセスされ、モデルを訓練するために使用されてもよく、ラベル化されていない入力画像要素は、その後、モデルの試験のために（例えば、単一または複数の後続の時間に）アクセスまたは受信されてもよい。
【0036】
場合によっては、ＣＮＮモデルは、弱教師あり訓練を使用して訓練されることができ、訓練入力画像要素１１５ａ－ｄおよび検証入力画像要素１１５ｅ－ｇのそれぞれは、細胞（例えば、細胞の核の中心）の「正しい」解釈を識別する１つ以上の細胞点ラベルと関連付けられることができる。ＣＮＮモデルは、訓練入力画像要素１１５ａ－ｄ（および訓練の進行を監視するための検証入力画像要素１１５ｅ－ｈ）、１つ以上の損失関数、および／または勾配降下法を使用して訓練されることができる。
【0037】
いくつかの実施形態では、分類器サブシステム１１０ａ－ｎは、特徴抽出器１２０、パラメータデータストア１２５、分類器１３０、および訓練器１３５を含み、これらは、訓練データ（例えば、訓練入力画像要素１１５ａ－ｄ）に基づいてＣＮＮモデルを訓練し、弱教師訓練中にＣＮＮモデルのパラメータを最適化するためにまとめて使用される。いくつかの実施形態では、分類器サブシステム１１０ａ－ｎは、入力層において訓練入力画像要素１１５ａ－ｄから訓練データにアクセスする。特徴抽出器１２０は、訓練データを前処理して、訓練入力画像要素１１５ａ－ｄの関連する特徴（例えば、エッジ）を抽出することができる。様々な実施形態では、特徴抽出器１２０は、マルチタスクスケジューラを使用して細胞点ラベルに少なくとも３つの変換および／または符号化を適用して、細胞の特徴またはラベルを抽出するように実装される。少なくとも３つの変換および／または符号化は、稜線を抽出するためのボロノイ変換、核の画素レベルのラベルを抽出するためのローカルクラスタリング、および拡張中心符号化としてのリペールコードの適用を含むことができる。分類器１３０は、抽出された特徴を受信し、１つ以上のＣＮＮモデル内の隠れ層のセットに関連する重みに従って、特徴を、１つ以上の細胞をセグメント化して検出する１つ以上の出力メトリックに変換することができる。訓練器１３５は、訓練入力画像要素１１５ａ－ｄに対応する訓練データを使用して、１つ以上のパラメータの学習を容易にすることによって特徴抽出器１２０および／または分類器１３０を訓練することができる。例えば、訓練器１３５は、分類器１３０によって使用されるＣＮＮモデルの隠れ層のセットに関連付けられた重みの学習を容易にするために、バックプロパゲーション技術を使用することができる。バックプロパゲーションは、例えば、確率的勾配降下（ＳＧＤ）アルゴリズムを使用して、ボロノイ特徴、リペール特徴、および色クラスタ特徴からの損失のうちの１つ以上を使用して隠れ層のパラメータを累積的に更新することができる。学習されたパラメータは、例えば、重み、バイアス、および／または他の隠れ層関連パラメータを含むことができ、これらは、パラメータデータストア１２５に記憶されることができる。
【0038】
訓練されたＣＮＮモデルまたは訓練されたＣＮＮモデルのアンサンブル（「ＣＮＮアンサンブル」）が展開されて、ラベル化されていない入力画像要素１１５ｈ－ｎを処理し、１つ以上の細胞をセグメント化して検出することができる。より具体的には、特徴抽出器１２０の訓練バージョンは、分類器１３０の訓練バージョンによって処理されることができるラベルなし入力画像要素の特徴表現を生成することができる。いくつかの実施形態では、分類器サブシステム１１０ａ－ｎ内のＣＮＮモデルの拡張を活用する１つ以上の畳み込みブロック、畳み込み層、残差ブロック、またはピラミッド層に基づいて、ラベルなし入力画像要素１１５ｈ－ｎから画像特徴が抽出されることができる。特徴は、画像の特徴ベクトルなどの特徴表現に編成されることができる。ＣＮＮモデルは、ＣＮＮモデルの完全接続層を含む隠れ層におけるパラメータの分類およびその後の調整に基づいて特徴タイプを学習するように訓練されることができる。いくつかの実施形態では、畳み込みブロック、畳み込み層、残差ブロック、またはピラミッド層によって抽出された画像特徴は、１つ以上の画像処理動作が実行された（例えば、エッジ検出、鮮明画像分解）画像の１つ以上の部分を表す値の行列である特徴マップを含む。これらの特徴マップは、１つ以上の細胞に関する予測に対応するセグメンテーションマスクを出力する、ＣＮＮモデルの完全接続層による処理のために平坦化されることができる。
【0039】
例えば、入力画像要素は、ＣＮＮモデルの入力層に供給されることができる。入力層は、特定の画素に対応するノードを含むことができる。第１の隠れ層は、隠れノードのセットを含むことができ、隠れノードのそれぞれは、複数の入力層ノードに接続される。後続の隠れ層内のノードも同様に、複数の画素またはボクセルに対応する情報を受信するように構成されることができる。したがって、隠れ層は、複数の画素にわたって延びる特徴を検出するように学習するように構成されることができる。１つ以上の隠れ層のそれぞれは、畳み込みブロック、畳み込み層、残差ブロック、またはピラミッド層を含むことができる。ＣＮＮモデルは、１つ以上の完全接続層（例えば、ソフトマックス層）をさらに含むことができる。
【0040】
訓練入力画像要素１１５ａ－ｄ、検証入力画像要素１１５ｅ－ｇおよび／またはラベルなし入力画像要素１１５ｈ－ｎの少なくとも一部は、１つ以上のイメージングシステム１６０を使用して収集されてそこから受信されたデータを含むことができ、またはそこから導出されることができる。イメージングシステム１６０は、画像データ（例えば、スライドのＦＯＶ画像）を収集するように構成されたシステムを含むことができる。イメージングシステム１６０は、顕微鏡を含むことができる。顕微鏡は、スライドガラスなどの媒体上で染色された組織および／またはスライドの画像を撮像するように構成されることができる。場合によっては、訓練入力画像要素１１５ａ－ｄおよび／または検証入力画像要素１１５ｅ－ｇに関連付けられた細胞点ラベルは、受信されていてもよく、または１つ以上のプロバイダシステム１７０から受信されたデータから導出されてもよく、そのそれぞれは、特定の被験者に関連付けられた（例えば）医師、看護師、病院、薬剤師などに関連付けられてもよい。受信データは、（例えば）特定の被験者に対応する１つ以上の医療記録を含むことができる。医療記録は、（例えば）被験者に関連付けられた１つ以上の入力画像要素が収集された時間またはその後の定義された期間に対応する期間に関して、被験者が腫瘍を有したかどうか、および／または被験者の腫瘍の進行の段階を示す専門家の診断または特徴付けを示すことができる。受信データは、被験者に関連付けられた１つ以上の入力画像要素内の細胞または細胞核の中心の位置の画素をさらに含むことができる。したがって、医療記録は、各訓練／検証入力画像要素に関して、１つ以上の細胞点ラベルを識別することを含むことができるか、または識別するために使用されることができる。医療記録は、被験者が受けていた１つ以上の処置（例えば、薬物）および被験者が処置を受けていた期間のそれぞれをさらに示すことができる。場合によっては、１つ以上の分類器サブシステムに入力される画像は、プロバイダシステム１７０から受信される。例えば、プロバイダシステム１７０は、イメージングシステム１６０から画像を受信し、次いでその画像を（例えば、被験者識別子および１つ以上のラベルとともに）ＣＮＮシステム１０５に送信することができる。
【0041】
いくつかの実施形態では、イメージングシステム１６０のうちの１つ以上で受信または収集されたデータは、プロバイダシステム１７０のうちの１つ以上で受信または収集されたデータと集約されてもよい。例えば、ＣＮＮシステム１０５は、イメージングシステム１６０から受信した画像データをプロバイダシステム１７０から受信した細胞点ラベルデータと関連付けるために、被験者および／または期間の対応するまたは同一の識別子を識別することができる。ＣＮＮシステム１０５は、メタデータまたは自動画像分析をさらに使用してデータを処理し、どの分類器サブシステムに特定のデータ成分を供給するかを判定することができる。例えば、イメージングシステム１６０から受信した画像データは、複数のスライドおよび／またはアッセイに対応することができる。メタデータ、自動アライメントおよび／または画像処理は、各画像について、画像がどのスライドおよび／またはアッセイに対応するかを示すことができる。
【0042】
いくつかの実施形態では、コンピューティング環境１００は、ＣＮＮシステム１０５の１回以上の反復（例えば、各反復は、モデルの１回の実行および／またはモデルの出力の１回の生成に対応する）の性能を要求および／または調整しているユーザに関連付けられることができるユーザデバイス１８０をさらに含むことができる。ユーザは、医師、調査者（例えば、臨床試験に関連付けられた）、患者、医療専門家などに対応することができる。したがって、場合によっては、プロバイダシステム１７０は、ユーザデバイス１８０を含み、および／またはユーザデバイスとして機能してもよいことが理解されよう。各反復は、ユーザと異なる可能性がある（ただし、そうである必要はない）特定の被験者（例えば、人）に関連付けられてもよい。反復の要求は、特定の被験者に関する情報（例えば、識別されていない患者識別子などの被験者の名前または他の識別子）を含むおよび／または伴うことができる。反復の要求は、被験者に対応する入力画像データなどのデータを収集する１つ以上の他のシステムの識別子を含むことができる。場合によっては、ユーザデバイス１８０からの通信は、特定の被験者のセットに表された各被験者について反復を実行する要求に対応して、セットのそれぞれの識別子を含む。
【0043】
要求を受信すると、ＣＮＮシステム１０５は、ラベルなし入力画像要素の（例えば、被験者の識別子を含む）要求を、１つ以上の対応するイメージングシステム１６０および／またはプロバイダシステム１７０に送信することができる。次いで、訓練されたＣＮＮモデルまたはＣＮＮアンサンブルは、ラベル化されていない入力画像要素を処理して、１つ以上の細胞をセグメント化および検出することができる。識別された各被験者についての結果は、分類器サブシステム１１０ａ－ｎによって展開された１つ以上の訓練されたＣＮＮモデルからの細胞セグメント化および検出を含むことができるか、またはそれに基づくことができる。例えば、細胞セグメンテーションおよび検出は、１つ以上の訓練されたＣＮＮの完全接続層によって生成された出力を含むことができ、またはそれに基づくことができる。場合によっては、そのような出力は、（例えば）ソフトマックス関数を使用してさらに処理されてもよい。さらに、出力および／またはさらに処理された出力は、次いで、集約技術（例えば、ランダムフォレスト集約）を使用して集約され、１つ以上の被験者特有のメトリックを生成することができる。１つ以上の結果（例えば、アッセイ特異的出力および／または１つ以上の被験者特異的出力および／またはそれらの処理されたバージョンを含む）は、ユーザデバイス１８０に送信および／または利用されることができる。場合によっては、ＣＮＮシステム１０５とユーザデバイス１８０との間の通信の一部または全部は、ウェブサイトなどのネットワークおよびインターフェースを介して行われる。ＣＮＮシステム１０５は、認証分析に基づいて結果、データ、および／または処理リソースへのアクセスをゲーティングすることができることが理解されよう。
【0044】
明示的に示されていないが、コンピューティング環境１００は、開発者に関連付けられた開発者デバイスをさらに含むことができることが理解されよう。開発者デバイスからの通信は、ＣＮＮシステム１０５内の各ＣＮＮモデルにどのタイプの入力画像要素が使用されるべきか、使用されるべきニューラルネットワークの数、隠れ層およびハイパーパラメータの数を含む各ニューラルネットワークの構成、ならびにデータ要求がどのようにフォーマットされるべきか、および／またはどの訓練データが使用されるべきか（例えば、および訓練データへのアクセス方法）を示すことができる。
【0045】
ＩＩＩ．Ｂ．マルチタスクスケジューラ
図２は、細胞点ラベルに基づく画素レベルのラベル抽出と、損失スケジューラを使用し、ＲｅｓＮｅｔエンコーダを有するＵ－Ｎｅｔモデルに基づくマルチタスク深層学習方法とを含む予測アルゴリズムの概要を示している。いくつかの実施形態では、入力画像２０５は、画像ソース（例えば、図１に関して説明したように、イメージングシステム１６０またはプロバイダシステム１７０）から取得される。画像は、画素値の１つ以上の配列または行列として構成されることができる。所与の画素位置は、一般的な強度値および／または１つ以上の階調および／または色（例えば、ＲＧＢ値）のそれぞれに関連する強度値に（例えば）関連付けられることができる。入力画像２０５は、細胞の中心または細胞の核の中心にある１つ以上の画素を識別する細胞点ラベル２１０でラベル付けされることができる。
図２は、細胞点ラベルに基づく画素レベルのラベル抽出と、損失スケジューラを使用し、ＲｅｓＮｅｔエンコーダを有するＵ－Ｎｅｔモデルに基づくマルチタスク深層学習方法とを含む予測アルゴリズムの概要を示している。いくつかの実施形態では、入力画像２０５は、画像ソース（例えば、図１に関して説明したように、イメージングシステム１６０またはプロバイダシステム１７０）から取得される。画像は、画素値の１つ以上の配列または行列として構成されることができる。所与の画素位置は、一般的な強度値および／または１つ以上の階調および／または色（例えば、ＲＧＢ値）のそれぞれに関連する強度値に（例えば）関連付けられることができる。入力画像２０５は、細胞の中心または細胞の核の中心にある１つ以上の画素を識別する細胞点ラベル２１０でラベル付けされることができる。
【0046】
様々な実施形態では、以下の３つの変換／符号化が細胞点ラベル２１０に適用される：（ｉ）ボロノイ変換２１５、（ｉｉ）ローカルクラスタリング２２０、および（ｉｉｉ）リペールコード２２５。ボロノイ変換２１５は、細胞間の稜線を抽出し、各細胞の周囲にポリゴンを形成する。これらの線は、高度にクラスタリングされた細胞が一緒に併合されないようにするのに役立つ。ローカルクラスタリング２２０は、点ラベル、入力画像２０５、およびボロノイラベルに基づいて、核の画素レベルのラベルを抽出する。抽出された各ボロノイ細胞（ポリゴン）について、ｋ平均クラスタリングアルゴリズムが使用されて、ボロノイ細胞内の各画素の核点ラベルまでの距離である距離変換特徴と連結されたＲＧＢチャネル色特徴に基づいて背景および核クラスタを局所的に抽出する。このローカルｋ平均を使用して、点ラベルの周りに位置し、背景との高い局所色コントラストを有する核画素が抽出される。リペールコード２２５は、細胞についての拡張中心符号化として使用される（リペールコードは、Ｈ．Ｌｉａｎｇら、「Ｅｎｈａｎｃｅｄ Ｃｅｎｔｅｒ Ｃｏｄｉｎｇ ｆｏｒ Ｃｅｌｌ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１９０４．０８８６４（２０１９）に詳細に記載されており、これは、あらゆる目的のために本明細書に組み込まれる）。抽出されたリペールコード２２５は、背景画素がゼロ値を有するようにするために色クラスタマスクによって乗算されてもよい。
【0047】
次いで、抽出された３つのラベル、すなわちフィルタ処理されたリペール、ローカル色クラスタ、およびボロノイラベル（図２参照）が、Ｕ－Ｎｅｔモデル２３０の２つの出力チャネルである核および背景確率マップと比較される。この比較は、訓練プロセスにおける３つの損失ＬＲｅｐｅｌ、ＬＶｏｒ、およびＬＣｌｕｓｔによって行われる。場合によっては、実施例１に関して本明細書で詳細に記載される式（１－３）において定義されるように、バイナリラベル（ボロノイおよび色クラスタ）に交差エントロピー損失関数が使用され、リペールコードラベルに平均二乗誤差（ＭＳＥ）損失関数が使用された。それに基づいてモデル２３０が訓練されている３つの異なる損失があるため、損失が組み合わせられ、各訓練反復においてモデルの重みが更新される必要がある。マルチタスクスケジューラ２３５は、損失を組み合わせてモデル２３０の重みを更新するために使用される。場合によっては、各訓練反復において、３つの損失（ＬＲｅｐｅｌ、ＬＶｏｒ、およびＬＣｌｕｓｔ）のうちの１つが選択され、その特定の損失の勾配に基づいてモデルの重みが更新される。
が訓練反復のインデックスであると仮定される場合、スケジューラ２３５は、実施例１に関して本明細書で詳細に記載される式（４）において定義されるように、
である場合にボロノイ損失、
である場合にリペール損失、および
である場合に色クラスタ損失を選択する。
【数9】
【数10】
【数11】
【数12】
【0048】
ＩＩＩ．Ｃ．セグメンテーションおよび検出のための例示的なＵ－ＮＥＴ
セグメンテーションは、エンコーダ部分が、核および背景確率マップを生成するためにＩｍａｇｅＮｅｔデータセット上で事前訓練されたＲｅｓＮｅｔ５０の畳み込み層で置き換えられる修正されたＵ－Ｎｅｔを使用して、入力画像から個別に特徴を抽出する。図３に示すように、Ｕ－Ｎｅｔ３００は、縮小経路３０５および拡張経路３１０を含むことができ、これらは、それにＵ字形アーキテクチャを与える。縮小経路３０５は、畳み込み（例えば、３×３の畳み込み（パッドなしの畳み込み））の繰り返し適用を含むＣＮＮネットワークであり、それぞれの畳み込みの後に正規化線形ユニット（ＲｅＬＵ）およびダウンサンプリングのための最大プーリング演算（例えば、ストライド２の２×２最大プーリング）が続く。各ダウンサンプリングステップまたはプーリング動作において、特徴チャネルの数は２倍にされることができる。縮小の間、画像データの空間情報は縮小され、特徴情報は増加される。拡張経路３１０は、縮小経路３０５からの特徴および空間情報を組み合わせるＣＮＮネットワークである（縮小経路３０５からの特徴マップのアップサンプリング）。特徴マップのアップサンプリングの後には、チャネル数を半分にする一連のアップコンボリューション（アップサンプリング演算子）、縮小経路３０５からの対応して切り取られた特徴マップとの連結、それぞれが正規化線形ユニット（ＲｅＬＵ）の後に続く畳み込み（例えば、２つの３×３畳み込み）の反復適用、ならびに核および背景確率マップを生成するための最終的な畳み込み（例えば、１つの１×１畳み込み）が続く。局所化するために、縮小経路３０５からの高解像度特徴は、拡張経路３１０からのアップサンプリングされた出力と組み合わされる。Ｕ－Ｎｅｔ３００は、いかなる完全接続層もない各畳み込みの有効部分を使用し、すなわち、核および背景確率マップは、入力画像において完全なコンテキストが利用可能な画素のみを含み、縮小ブロック中に学習されたコンテキスト特徴と拡張ブロックで学習された位置特定特徴とをリンクするスキップ接続を使用する。
セグメンテーションは、エンコーダ部分が、核および背景確率マップを生成するためにＩｍａｇｅＮｅｔデータセット上で事前訓練されたＲｅｓＮｅｔ５０の畳み込み層で置き換えられる修正されたＵ－Ｎｅｔを使用して、入力画像から個別に特徴を抽出する。図３に示すように、Ｕ－Ｎｅｔ３００は、縮小経路３０５および拡張経路３１０を含むことができ、これらは、それにＵ字形アーキテクチャを与える。縮小経路３０５は、畳み込み（例えば、３×３の畳み込み（パッドなしの畳み込み））の繰り返し適用を含むＣＮＮネットワークであり、それぞれの畳み込みの後に正規化線形ユニット（ＲｅＬＵ）およびダウンサンプリングのための最大プーリング演算（例えば、ストライド２の２×２最大プーリング）が続く。各ダウンサンプリングステップまたはプーリング動作において、特徴チャネルの数は２倍にされることができる。縮小の間、画像データの空間情報は縮小され、特徴情報は増加される。拡張経路３１０は、縮小経路３０５からの特徴および空間情報を組み合わせるＣＮＮネットワークである（縮小経路３０５からの特徴マップのアップサンプリング）。特徴マップのアップサンプリングの後には、チャネル数を半分にする一連のアップコンボリューション（アップサンプリング演算子）、縮小経路３０５からの対応して切り取られた特徴マップとの連結、それぞれが正規化線形ユニット（ＲｅＬＵ）の後に続く畳み込み（例えば、２つの３×３畳み込み）の反復適用、ならびに核および背景確率マップを生成するための最終的な畳み込み（例えば、１つの１×１畳み込み）が続く。局所化するために、縮小経路３０５からの高解像度特徴は、拡張経路３１０からのアップサンプリングされた出力と組み合わされる。Ｕ－Ｎｅｔ３００は、いかなる完全接続層もない各畳み込みの有効部分を使用し、すなわち、核および背景確率マップは、入力画像において完全なコンテキストが利用可能な画素のみを含み、縮小ブロック中に学習されたコンテキスト特徴と拡張ブロックで学習された位置特定特徴とをリンクするスキップ接続を使用する。
【0049】
ＩＶ．実施例
様々な実施形態において実装されるシステムおよび方法は、以下の実施例を参照することによってよりよく理解されることができる。
様々な実施形態において実装されるシステムおよび方法は、以下の実施例を参照することによってよりよく理解されることができる。
【0050】
ＩＶ．Ａ．実施例１．－細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
細胞の検出およびセグメンテーションは、デジタル病理画像の下流の全ての分析にとって基本的である。しかしながら、単一細胞セグメンテーションのための画素レベルのグラウンドトゥルースを取得することは、極めて労働集約的である。この課題を克服するために、画像データから利用可能な点ラベルに基づいてボロノイ、リペール、およびローカル色クラスタラベルを抽出し、ボロノイ、リペール、およびローカル色クラスタラベルと転移学習（ＩｍａｇｅＮｅｔで事前訓練されたＲｅｓＮｅｔ）とを使用してＵ－Ｎｅｔモデルを訓練することによって、自動化されたエンドツーエンドの深層学習単一細胞検出およびセグメンテーションアルゴリズムが以下のように開発された。従来の細胞セグメンテーションおよび検出技術と比較して、設計されたアルゴリズムは、注釈付けの努力を増加させることなく、細胞検出およびセグメンテーションにおいて有意な改善を示す。
細胞の検出およびセグメンテーションは、デジタル病理画像の下流の全ての分析にとって基本的である。しかしながら、単一細胞セグメンテーションのための画素レベルのグラウンドトゥルースを取得することは、極めて労働集約的である。この課題を克服するために、画像データから利用可能な点ラベルに基づいてボロノイ、リペール、およびローカル色クラスタラベルを抽出し、ボロノイ、リペール、およびローカル色クラスタラベルと転移学習（ＩｍａｇｅＮｅｔで事前訓練されたＲｅｓＮｅｔ）とを使用してＵ－Ｎｅｔモデルを訓練することによって、自動化されたエンドツーエンドの深層学習単一細胞検出およびセグメンテーションアルゴリズムが以下のように開発された。従来の細胞セグメンテーションおよび検出技術と比較して、設計されたアルゴリズムは、注釈付けの努力を増加させることなく、細胞検出およびセグメンテーションにおいて有意な改善を示す。
【0051】
ＩＶ．Ｂ．データセット
設計したアルゴリズムは、免疫組織化学（ＩＨＣ）ＰＭＳ２染色結腸直腸癌および扁桃組織スライドで訓練され、検証され、試験された。データセットは、スライド内の腫瘍、腫瘍周囲、正常組織、濾胞内および濾胞間領域をカバーする、０．５μｍ／画素の解像度で２５６枚の５１２×５１２の画像を含む。このデータセットは、検出およびセグメンテーションタスクのための豊富な種類の核、例えば、疎なまたは高度にクラスタリングされた空間分布を有する、異なる形状およびサイズの陽性細胞（濃いまたは薄い茶色がかった染色）および陰性細胞（青みがかった染色）を有していた。
設計したアルゴリズムは、免疫組織化学（ＩＨＣ）ＰＭＳ２染色結腸直腸癌および扁桃組織スライドで訓練され、検証され、試験された。データセットは、スライド内の腫瘍、腫瘍周囲、正常組織、濾胞内および濾胞間領域をカバーする、０．５μｍ／画素の解像度で２５６枚の５１２×５１２の画像を含む。このデータセットは、検出およびセグメンテーションタスクのための豊富な種類の核、例えば、疎なまたは高度にクラスタリングされた空間分布を有する、異なる形状およびサイズの陽性細胞（濃いまたは薄い茶色がかった染色）および陰性細胞（青みがかった染色）を有していた。
【0052】
ＩＶ．Ｃ．前処理および増強
データセットは、訓練（８０％）、検証（１０％）、および試験（１０％）に分割され、各セットが全てのタイプの組織領域（例えば、腫瘍、腫瘍周囲組織、正常組織など）を有することを確認した。原画像から２５０×２５０画素の小パッチが抽出された。訓練セットのサイズを増加させるために、水平方向および垂直方向のフリップ、ランダムなサイズ変更、アフィン変換、回転およびトリミングを含むデータ増強を行った。これは、約３０００枚の小さい画像の訓練セットをもたらした。最後の前処理ステップとして、訓練セットは、平均減算およびＲＧＢチャネルの標準偏差による除算によって別々に正規化された。同じ正規化が検証および試験セットの画像に適用された。
データセットは、訓練（８０％）、検証（１０％）、および試験（１０％）に分割され、各セットが全てのタイプの組織領域（例えば、腫瘍、腫瘍周囲組織、正常組織など）を有することを確認した。原画像から２５０×２５０画素の小パッチが抽出された。訓練セットのサイズを増加させるために、水平方向および垂直方向のフリップ、ランダムなサイズ変更、アフィン変換、回転およびトリミングを含むデータ増強を行った。これは、約３０００枚の小さい画像の訓練セットをもたらした。最後の前処理ステップとして、訓練セットは、平均減算およびＲＧＢチャネルの標準偏差による除算によって別々に正規化された。同じ正規化が検証および試験セットの画像に適用された。
【0053】
ＩＶ．Ｄ．ラベル抽出
例示的な細胞セグメンテーションおよび検出の課題を克服するために、設計されたアルゴリズムは、弱教師あり方法で設計された。例えば、３つの変換／符号化が細胞点ラベル（例えば、ＦＯＶ内の各細胞の核の中心にある点ラベル）に適用された。（ｉ）ボロノイ変換、（ｉｉ）ローカルクラスタリング、および（ｉｉｉ）リペールコード。図２は、細胞点ラベルに基づく画素レベルのラベル抽出と、損失スケジューラを使用し、ＲｅｓＮｅｔエンコーダを有するＵ－Ｎｅｔモデルに基づくマルチタスク深層学習方法とを含む、設計されたアルゴリズムの概要を示している。ボロノイ変換は、細胞間の稜線を抽出し、各細胞の周囲にポリゴンを形成する。これらの線は、高度にクラスタリングされた細胞が一緒に併合されないようにするのに役立つ。ローカルクラスタリングは、点ラベル、原画像、およびボロノイラベルに基づいて、核の画素レベルのラベルを抽出する。抽出された各ボロノイ細胞（ポリゴン）について、ｋ平均クラスタリングアルゴリズムが使用されて、ボロノイ細胞内の各画素の核点ラベルまでの距離である距離変換特徴と連結されたＲＧＢチャネル色特徴に基づいて背景および核クラスタを局所的に抽出する。このローカルｋ平均を使用して、点ラベルの周りに位置し、背景との高い局所色コントラストを有する核画素が抽出される。従来のグローバル色クラスタリング技術と比較して、ローカルクラスタリング手法は、弱く染色された核の色クラスタラベルの品質を大幅に改善する。図４は、従来のセグメンテーションアルゴリズムにおいて使用されるグローバルクラスタリングアルゴリズムと比較した場合のローカルクラスタリングアルゴリズムの性能を示している。示されるように、弱く染色された細胞は、ローカルクラスタリングアプローチを通して十分に保持されたが、グローバルクラスタリングアプローチは、弱く染色された細胞の大部分を検出するのに失敗する。
例示的な細胞セグメンテーションおよび検出の課題を克服するために、設計されたアルゴリズムは、弱教師あり方法で設計された。例えば、３つの変換／符号化が細胞点ラベル（例えば、ＦＯＶ内の各細胞の核の中心にある点ラベル）に適用された。（ｉ）ボロノイ変換、（ｉｉ）ローカルクラスタリング、および（ｉｉｉ）リペールコード。図２は、細胞点ラベルに基づく画素レベルのラベル抽出と、損失スケジューラを使用し、ＲｅｓＮｅｔエンコーダを有するＵ－Ｎｅｔモデルに基づくマルチタスク深層学習方法とを含む、設計されたアルゴリズムの概要を示している。ボロノイ変換は、細胞間の稜線を抽出し、各細胞の周囲にポリゴンを形成する。これらの線は、高度にクラスタリングされた細胞が一緒に併合されないようにするのに役立つ。ローカルクラスタリングは、点ラベル、原画像、およびボロノイラベルに基づいて、核の画素レベルのラベルを抽出する。抽出された各ボロノイ細胞（ポリゴン）について、ｋ平均クラスタリングアルゴリズムが使用されて、ボロノイ細胞内の各画素の核点ラベルまでの距離である距離変換特徴と連結されたＲＧＢチャネル色特徴に基づいて背景および核クラスタを局所的に抽出する。このローカルｋ平均を使用して、点ラベルの周りに位置し、背景との高い局所色コントラストを有する核画素が抽出される。従来のグローバル色クラスタリング技術と比較して、ローカルクラスタリング手法は、弱く染色された核の色クラスタラベルの品質を大幅に改善する。図４は、従来のセグメンテーションアルゴリズムにおいて使用されるグローバルクラスタリングアルゴリズムと比較した場合のローカルクラスタリングアルゴリズムの性能を示している。示されるように、弱く染色された細胞は、ローカルクラスタリングアプローチを通して十分に保持されたが、グローバルクラスタリングアプローチは、弱く染色された細胞の大部分を検出するのに失敗する。
【0054】
リペール符号化は、ピークが細胞中心点ラベルに位置する２次元減衰関数を定義する細胞のための拡張中心符号化である（例えば、あらゆる目的のために本明細書に組み込まれる、Ｈ．Ｌｉａｎｇら、「Ｅｎｈａｎｃｅｄ Ｃｅｎｔｅｒ Ｃｏｄｉｎｇ ｆｏｒ Ｃｅｌｌ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１９０４．０８８６４（２０１９）を参照）。一般的に使用されるガウスおよび近接符号化と比較して、リペールコードは、隣接する細胞までの距離がより短い細胞に対してより速く減衰する。したがって、リペールコードは、セグメンテーションタスクにおけるより良好な細胞分離を促進すると同時に、検出タスクのためのより良好な中心位置特定を促進するために、設計されたアルゴリズムにおいて利用される。さらに、より良好な核境界描写を促進するために、抽出されたリペールコードは、ローカル画素クラスタリングラベルマスクと乗算されて、リペールコードマップにおいて背景画素が０値を有することを確実にし、これは、図２において「フィルタリングされたリペール」と呼ばれる。
【0055】
ＩＶ．Ｅ．モデル
Ｕ－Ｎｅｔモデルが使用され、エンコーダ部分は、ＩｍａｇｅＮｅｔデータセットで事前訓練されたＲｅｓＮｅｔ５０の畳み込み層で置き換えられた。例えば、あらゆる目的のために本明細書に組み込まれる、Ｏ．Ｒｏｎｎｅｂｅｒｇｅｒ、Ｐ．Ｆｉｓｃｈｅｒ、およびＴ．Ｂｒｏｘ、「Ｕ－ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｂｉｏｍｅｄｉｃａｌ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ ｉｍａｇｅ ｃｏｍｐｕｔｉｎｇ ａｎｄ ｃｏｍｐｕｔｅｒ－ａｓｓｉｓｔｅｄ ｉｎｔｅｒｖｅｎｔｉｏｎ．Ｓｐｒｉｎｇｅｒ，Ｃｈａｍ，２０１５；Ｋ．Ｈｅら、「Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ．２０１６；およびＯ．Ｒｕｓｓａｋｏｖｓｋｙら、「Ｉｍａｇｅｎｅｔ ｌａｒｇｅ ｓｃａｌｅ ｖｉｓｕａｌ ｒｅｃｏｇｎｉｔｉｏｎ ｃｈａｌｌｅｎｇｅ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ １１５．３（２０１５）：２１１－２５２を参照されたい。
Ｕ－Ｎｅｔモデルが使用され、エンコーダ部分は、ＩｍａｇｅＮｅｔデータセットで事前訓練されたＲｅｓＮｅｔ５０の畳み込み層で置き換えられた。例えば、あらゆる目的のために本明細書に組み込まれる、Ｏ．Ｒｏｎｎｅｂｅｒｇｅｒ、Ｐ．Ｆｉｓｃｈｅｒ、およびＴ．Ｂｒｏｘ、「Ｕ－ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｂｉｏｍｅｄｉｃａｌ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ ｉｍａｇｅ ｃｏｍｐｕｔｉｎｇ ａｎｄ ｃｏｍｐｕｔｅｒ－ａｓｓｉｓｔｅｄ ｉｎｔｅｒｖｅｎｔｉｏｎ．Ｓｐｒｉｎｇｅｒ，Ｃｈａｍ，２０１５；Ｋ．Ｈｅら、「Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ．２０１６；およびＯ．Ｒｕｓｓａｋｏｖｓｋｙら、「Ｉｍａｇｅｎｅｔ ｌａｒｇｅ ｓｃａｌｅ ｖｉｓｕａｌ ｒｅｃｏｇｎｉｔｉｏｎ ｃｈａｌｌｅｎｇｅ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ １１５．３（２０１５）：２１１－２５２を参照されたい。
【0056】
ＩＶ．Ｅ．マルチタスクスケジューラ
抽出された３つのラベル、すなわちフィルタ処理されたリペール、ローカルな色クラスタ、およびボロノイラベル（図２参照）が、Ｕ－Ｎｅｔモデルの２つの出力チャネルである核および背景確率マップと比較された。この比較は、以下の訓練プロセスにおける３つの損失によって行われた：式（１～３）において定義されるように、バイナリラベル（ボロノイおよび色クラスタ）には交差エントロピー損失関数が使用され、リペールコードラベルには平均二乗誤差（ＭＳＥ）損失関数が使用された：
（１）
（２）
（３）
ここで、ｏは、モデル出力確率マップであり、ｔは、対応するターゲット、すなわちボロノイ、リペール、またはローカル画素クラスタラベルである。（図１のボロノイ部分領域内の黒画素によって示されるように）ボロノイ損失関数において、赤線（背景として使用）と緑ドット（前景として使用）とによって示される画素のみが含まれるように、（２）の無視セットの画素は無視される。
抽出された３つのラベル、すなわちフィルタ処理されたリペール、ローカルな色クラスタ、およびボロノイラベル（図２参照）が、Ｕ－Ｎｅｔモデルの２つの出力チャネルである核および背景確率マップと比較された。この比較は、以下の訓練プロセスにおける３つの損失によって行われた：式（１～３）において定義されるように、バイナリラベル（ボロノイおよび色クラスタ）には交差エントロピー損失関数が使用され、リペールコードラベルには平均二乗誤差（ＭＳＥ）損失関数が使用された：
【数13】
【数14】
【数15】
ここで、ｏは、モデル出力確率マップであり、ｔは、対応するターゲット、すなわちボロノイ、リペール、またはローカル画素クラスタラベルである。（図１のボロノイ部分領域内の黒画素によって示されるように）ボロノイ損失関数において、赤線（背景として使用）と緑ドット（前景として使用）とによって示される画素のみが含まれるように、（２）の無視セットの画素は無視される。
【0057】
単一のモデルを訓練するために３つの異なる損失が使用されるため、各訓練反復においてモデルの重みを更新するためにそれらを組み合わせる戦略が必要である。マルチタスク学習問題の場合、タスクの性質が非常に異なる可能性があるため、ナイーブ加算は最適な解決策ではない場合がある。この問題に対処するために、マルチタスクスケジューラが提案されている。具体的には、各訓練反復では、３つの損失のうちの１つのみが、以下の規則を使用してモデル重みを更新するために使用される：以下の式（４）のように、
が訓練反復のインデックスであると仮定し、スケジューラは、
である場合にボロノイ損失、
である場合にリペール損失、および
である場合に色クラスタ損失を選択する。
（４）
ここで、
は、
回目の訓練反復において選択された損失であり、
は、
である場合に値
をとり、そうでない場合に
をとるインジケータ関数である。データセットは、各エポックに対して小バッチが抽出される前にランダムにシャッフルされたため、各データ点は、３つのタイプの損失／タスク全てに寄与する機会を有する。このマルチタスクスケジューラは、次のセクションで説明するように、従来のナイーブな損失の合計と比較して、個々のタスクごとにより良好な性能を示している。バイナリセグメンテーションマスクは、出力確率マップに適用されるａｒｇｍａｘ関数を使用して生成され、これは、画素値を、核の確率値が背景よりも高い場合には１に設定し、そうでない場合には０に設定する。さらに、細胞は、最大フィルタを使用して核出力確率マップにおいて２．５μｍの最小距離で極大値の位置を見つけることによって検出される（例えば、あらゆる目的のために本明細書に組み込まれる、Ｓ．ｖａｎ ｄｅｒ Ｗａｌｔら、「ｓｃｉｋｉｔ－ｉｍａｇｅ：Ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｉｎ Ｐｙｔｈｏｎ」、ＰｅｅｒＪ ２：ｅ４５３（２０１４）を参照されたい）。
【数16】
【数17】
【数18】
【数19】
【数20】
ここで、
【数21】
【数22】
【数23】
【数24】
【数25】
【数26】
【0058】
ＩＶ．Ｆ．セグメンテーションおよび検出の結果
セグメンテーションおよび検出を実行するために、８，１５０エポックの小さいバッチサイズ、および６０９００回の総訓練反復を使用して、モデルがＰｙＴｏｒｃｈにおいて訓練された（例えば、あらゆる目的のために本明細書に組み込まれる、Ａ．Ｐａｓｚｋｅら、「Ａｕｔｏｍａｔｉｃ Ｄｉｆｆｅｒｅｎｔｉａｔｉｏｎ ｉｎ ＰｙＴｏｒｃｈ」、ＮＩＰＳ Ａｕｔｏｄｉｆｆ Ｗｏｒｋｓｈｏｐ，２０１７を参照されたい）。Ｌ．Ｗｒｉｇｈｔ、「Ｎｅｗ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｏｐｔｉｍｉｚｅｒ，Ｒａｎｇｅｒ：Ｓｙｎｅｒｇｉｓｔｉｃ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ ＲＡｄａｍ＋ＬｏｏｋＡｈｅａｄ ｆｏｒ ｔｈｅ ｂｅｓｔ ｏｆ ｂｏｔｈ」（２０１９）に記載されているようなレンジオプティマイザが使用されて、パラメータを更新して訓練の性能を改善した。０．００１の学習率が使用された。リペールコードについて、Ｈ．Ｌｉａｎｇら、「Ｅｎｈａｎｃｅｄ Ｃｅｎｔｅｒ Ｃｏｄｉｎｇ ｆｏｒ Ｃｅｌｌ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１９０４．０８８６４（２０１９）の式（４）に基づいて、
、および
が使用された。
セグメンテーションおよび検出を実行するために、８，１５０エポックの小さいバッチサイズ、および６０９００回の総訓練反復を使用して、モデルがＰｙＴｏｒｃｈにおいて訓練された（例えば、あらゆる目的のために本明細書に組み込まれる、Ａ．Ｐａｓｚｋｅら、「Ａｕｔｏｍａｔｉｃ Ｄｉｆｆｅｒｅｎｔｉａｔｉｏｎ ｉｎ ＰｙＴｏｒｃｈ」、ＮＩＰＳ Ａｕｔｏｄｉｆｆ Ｗｏｒｋｓｈｏｐ，２０１７を参照されたい）。Ｌ．Ｗｒｉｇｈｔ、「Ｎｅｗ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｏｐｔｉｍｉｚｅｒ，Ｒａｎｇｅｒ：Ｓｙｎｅｒｇｉｓｔｉｃ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ ＲＡｄａｍ＋ＬｏｏｋＡｈｅａｄ ｆｏｒ ｔｈｅ ｂｅｓｔ ｏｆ ｂｏｔｈ」（２０１９）に記載されているようなレンジオプティマイザが使用されて、パラメータを更新して訓練の性能を改善した。０．００１の学習率が使用された。リペールコードについて、Ｈ．Ｌｉａｎｇら、「Ｅｎｈａｎｃｅｄ Ｃｅｎｔｅｒ Ｃｏｄｉｎｇ ｆｏｒ Ｃｅｌｌ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１９０４．０８８６４（２０１９）の式（４）に基づいて、
【数27】
【数28】
【0059】
設計されたアルゴリズムは、９２．９％の画素レベル精度、７９．１％の画素レベルＦ１スコア、０．７８４の物体レベルＤｉｃｅスコア、０．５９９の物体レベル集約Ｊａｃａｒｄインデックス（ＡＪＩ）スコア、９４．１％の検出適合率、９２．５％の検出再現率、および０．９９８の検出一致相関係数（ＣＣＣ、あらゆる目的のために本明細書に組み込まれる、Ｉ．Ｌａｗｒｅｎｃｅ、およびＫ．Ｌｉｎ、「Ａ ｃｏｎｃｏｒｄａｎｃｅ ｃｏｒｒｅｌａｔｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔ ｔｏ ｅｖａｌｕａｔｅ ｒｅｐｒｏｄｕｃｉｂｉｌｉｔｙ」、Ｂｉｏｍｅｔｒｉｃｓ（１９８９）：２５５－２６８において定義されるように、
を有していた。セグメンテーション性能メトリックは、あらゆる目的のために本明細書に組み込まれる、Ｈ．Ｑｕら、「Ｗｅａｋｌｙ Ｓｕｐｅｒｖｉｓｅｄ Ｄｅｅｐ Ｎｕｃｌｅｉ Ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ Ｐｏｉｎｔｓ Ａｎｎｏｔａｔｉｏｎ ｉｎ Ｈｉｓｔｏｐａｔｈｏｌｏｇｙ Ｉｍａｇｅｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ｗｉｔｈ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（ＩＭＤＬ），２０１９ ［１］において定義されるように使用された。検出適合率および再現率メトリックは、それぞれ、ＴＰ／（ＴＰ＋ＦＰ）およびＴＰ／（ＴＰ＋ＦＮ）として定義され、ここで、ＴＰ、ＦＰ、およびＦＮは、真陽性、偽陽性、および偽陰性の細胞の数である。Ｈ．Ｑｕら、「Ｗｅａｋｌｙ Ｓｕｐｅｒｖｉｓｅｄ Ｄｅｅｐ Ｎｕｃｌｅｉ Ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ Ｐｏｉｎｔｓ Ａｎｎｏｔａｔｉｏｎ ｉｎ Ｈｉｓｔｏｐａｔｈｏｌｏｇｙ Ｉｍａｇｅｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ｗｉｔｈ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（ＩＭＤＬ），２０１９における提案されたアルゴリズムと比較して、設計されたアルゴリズムは、注釈付けの努力を増加させることなく、細胞セグメンテーションおよび検出の著しい改善を示す。Ｈ．Ｑｕら、「Ｗｅａｋｌｙ Ｓｕｐｅｒｖｉｓｅｄ Ｄｅｅｐ Ｎｕｃｌｅｉ Ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ Ｐｏｉｎｔｓ Ａｎｎｏｔａｔｉｏｎ ｉｎ Ｈｉｓｔｏｐａｔｈｏｌｏｇｙ Ｉｍａｇｅｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ｗｉｔｈ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（ＩＭＤＬ），２０１９において使用された、条件付きランダムフィールド（ＣＲＦ）後処理ステップは除外される。
【数29】
【0060】
マルチタスクスケジューラ法の性能は、あらゆる目的のために本明細書に組み込まれる、Ａ．Ｋｅｎｄａｌｌ、Ｙ．Ｇａｌ、およびＲ．Ｃｉｐｏｌｌａ「Ｍｕｌｔｉ－ｔａｓｋ ｌｅａｒｎｉｎｇ ｕｓｉｎｇ ｕｎｃｅｒｔａｉｎｔｙ ｔｏ ｗｅｉｇｈ ｌｏｓｓｅｓ ｆｏｒ ｓｃｅｎｅ ｇｅｏｍｅｔｒｙ ａｎｄ ｓｅｍａｎｔｉｃｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．２０１８ ［２］において提案された不確実性を使用したマルチタスク学習法と個別に比較された。結果に基づいて、マルチタスクスケジューラ法は、学習可能な重みを有する追加の損失層が３つの損失を組み合わせるように定義されたタスク不確実性法と比較して、より良好な性能を示す。セグメンテーションおよび検出の結果は、以下の表１および２に要約される。
【0061】
図５は、いくつかの試料試験画像と、原画像上にオーバーレイされたセグメンテーションマスクとを含む、Ｈ．Ｑｕら、「Ｗｅａｋｌｙ Ｓｕｐｅｒｖｉｓｅｄ Ｄｅｅｐ Ｎｕｃｌｅｉ Ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ Ｐｏｉｎｔｓ Ａｎｎｏｔａｔｉｏｎ ｉｎ Ｈｉｓｔｏｐａｔｈｏｌｏｇｙ Ｉｍａｇｅｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ｗｉｔｈ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（ＩＭＤＬ），２０１９における提案されたアルゴリズムと比較した、設計されたアルゴリズムのインスタンスセグメンテーション性能を示している。具体的には、図５は、以下を示している：（ａ）細長細胞を有する対照領域、（ｂ）陰性腫瘍細胞を含む対照領域、（ｃ）高度にクラスタリングされた細胞を有する組織領域、および（ｄ）弱く十分に染色された細胞を有する腫瘍領域。アルゴリズムは、これらの様々なタイプの細胞のセグメンテーションにおいて良好に機能した。
【表1】
【表2】
【0062】
Ｖ．さらなる考察
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
【0063】
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。
【0064】
その後の説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態のその後の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。
【0065】
実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施されることができることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
