特表 2024-522343 ＤＰＩ ＡＩプラットフォームを用いた腫瘍細胞性の自動推定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-18

(54)【発明の名称】ＤＰＩ ＡＩプラットフォームを用いた腫瘍細胞性の自動推定

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240611BHJP

   G06V 10/82 20220101ALI20240611BHJP

   G06V 20/69 20220101ALI20240611BHJP

   G06T 7/11 20170101ALI20240611BHJP

   G01N 33/48 20060101ALI20240611BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

G06V20/69

G06T7/00 612

G06T7/11

G01N33/48 M

G01N33/48 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023572606

(86)(22)【出願日】2022-05-27

(85)【翻訳文提出日】2023-11-22

(86)【国際出願番号】 IB2022055033

(87)【国際公開番号】W WO2022263959

(87)【国際公開日】2022-12-22

(31)【優先権主張番号】17/348,436

(32)【優先日】2021-06-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】504257564

【氏名又は名称】ソニー コーポレイション オブ アメリカ

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(72)【発明者】

【氏名】ソン ビ

(72)【発明者】

【氏名】ホアン コ－カイ アルバート

(72)【発明者】

【氏名】リュウ ミン－チャン

【テーマコード（参考）】

2G045

5L096

【Ｆターム（参考）】

2G045AA26

2G045CB02

2G045JA03

5L096AA02

5L096AA06

5L096BA03

5L096BA06

5L096BA13

5L096EA02

5L096EA16

5L096EA43

5L096GA51

(57)【要約】

デジタル病理スライド画像における細胞性を自動的に推定する方法が、デジタル病理スライド画像から関心パッチを抽出することと、各パッチに対して、訓練された第１の深層畳み込みニューラルネットワーク（ＤＣＮＮ）を使用して動作して、パッチを０％の推定細胞性を有する正常なパッチ、又は０％よりも高いと概算される推定細胞性を有する疑わしいパッチ、のいずれかに分類することと、各疑わしいパッチに対して、深層順序回帰モデルを使用して訓練された第２のＤＣＮＮを使用して動作して、疑わしいパッチの推定細胞性スコアを決定することと、関心パッチの推定細胞性スコアを組み合わせて、デジタル病理スライド画像の推定細胞性をパッチ毎のレベルで提供することと、を含む。
【選択図】 図４

【特許請求の範囲】

【請求項1】

デジタル病理スライド画像における細胞性を自動的に推定する方法であって、
前記デジタル病理スライド画像から関心パッチを抽出することと、
前記抽出されたパッチの各々に対して、訓練された第１の深層畳み込みニューラルネットワーク（ＤＣＮＮ）を使用して動作して、前記パッチを０％の推定細胞性を有する正常なパッチ、又は０％よりも高いと概算される推定細胞性を有する疑わしいパッチ、のいずれかに分類することと、
前記疑わしいパッチの各々に対して、深層順序回帰モデルを使用して訓練された第２のＤＣＮＮを使用して動作して、前記疑わしいパッチの推定細胞性スコアを決定することと、
前記関心パッチの前記推定細胞性スコアを組み合わせて、前記デジタル病理スライド画像の推定細胞性をパッチ毎のレベルで提供することと、
を含むことを特徴とする方法。

【請求項2】

前記第１及び第２のＤＣＮＮは、第１及び第２の複数の訓練デジタル病理画像をそれぞれ入力として使用して訓練される、
請求項１に記載の方法。

【請求項3】

前記第１及び第２の複数の訓練デジタル病理画像の各々は、少なくとも部分的に１又は２以上の初期訓練デジタル病理画像のデータ拡張によって導出される、
請求項２に記載の方法。

【請求項4】

前記データ拡張は、フリッピング、回転及び色摂動のうちの少なくとも１つを含む、
請求項３に記載の方法。

【請求項5】

前記第２のＤＣＮＮを訓練することは、前記第２の複数の訓練デジタル病理画像内の各訓練デジタル病理画像について、
ＤＣＮＮモデルが前記訓練デジタル病理画像から画像特徴を抽出することと、
全結合出力層が前記抽出された画像特徴に対して動作して、前記訓練デジタル病理画像の中間レベル表現を生成することと、
Ｋ個の２値分類器のスタックが前記中間レベル表現に対して動作し、各２値分類器が、前記訓練デジタル病理画像の細胞性が前記２値分類器に固有のランクパーセンテージよりも高いかどうかを予測して序数出力を生成することと、
異なる分類器の出力に異なる形で重み付けする融合要素において前記２値分類器のスタックからのＫ個の２値出力を融合して、融合細胞性スコアを提供することと、
前記全結合出力層のパラメータ及び前記ＤＣＮＮモデルにおけるパラメータを、前記訓練デジタル病理画像のグランドトゥルース細胞性スコアによって決定される損失関数を最小化して、損失関数の最小化時に前記全結合出力層及びＤＣＮＮモデルの最終的な訓練パラメータセットが前記順序回帰モデルのために確立されるように反復的に調整することと、
を含む、請求項２に記載の方法。

【請求項6】

前記方法の正常な動作のために、核セグメンテーションも細胞セグメンテーションも必要でない、
請求項１に記載の方法。

【請求項7】

前記デジタル病理スライド画像は、ヘモトキシリン・エオジン（Ｈ＆Ｅ）染色された組織画像である、
請求項１に記載の方法。

【請求項8】

前記デジタル病理スライド画像の前記推定細胞性は、癌グレーディングの尺度として使用される、
請求項１に記載の方法。

【請求項9】

前記デジタル病理スライド画像は、患者からの組織を使用して作成され、
前記デジタル病理スライド画像の前記推定細胞性は、前記患者の臨床転帰の予測において使用される、
請求項１に記載の方法。

【請求項10】

デジタル病理スライド画像の細胞性を自動的に推定するように第１及び第２の深層畳み込みニューラルネットワークを訓練する方法であって、
前記第１の深層畳み込みニューラルネットワーク（ＤＣＮＮ）に入力される第１の複数の訓練デジタル病理画像の各々を、０％の推定細胞性を有する正常なもの、又は０％よりも高い概算細胞性を有する疑わしいものの、いずれかに分類するように前記第１のＤＣＮＮを訓練することと、
順序回帰モデルを使用して、第２の複数の訓練デジタル病理画像の各々の細胞性スコアを推定するように前記第２のＤＣＮＮを訓練することと、
を含むことを特徴とする方法。

【請求項11】

前記第２の複数の訓練デジタル病理画像の各々の全体的細胞性を推定するように前記第２のＤＣＮＮを訓練することは、各訓練デジタル病理画像について、
前記訓練デジタル病理画像の初期細胞性を推定するようにＤＣＮＮモデルを訓練することと、
前記訓練デジタル病理スライド画像から画像特徴を抽出することと、
前記抽出された画像特徴に対して、全結合出力層を使用して動作して、前記訓練デジタル病理画像の中間レベル表現を生成することと、
Ｋ個の２値分類器のスタックの各々を使用して、前記推定された初期細胞性を前記２値分類器に固有の閾値ランクパーセンテージと比較して、対応する２値出力を提供することと、
異なる分類器の出力に異なる形で重み付けする融合要素において前記２値分類器のスタックからのＫ個の２値出力を融合して、融合細胞性スコアを提供することと、
前記全結合出力層のパラメータ及び前記ＤＣＮＮモデルにおけるパラメータを、前記訓練デジタル病理画像のグランドトゥルース細胞性スコアによって決定される損失関数を最小化して、損失関数の最小化時に前記全結合出力層及びＤＣＮＮモデルの最終的な訓練パラメータセットが前記順序回帰モデルのために確立されるように反復的に調整することと、
を含む、請求項１０に記載の方法。

【請求項12】

前記損失関数は、前記２値分類器の出力のクロスエントロピーの総和を含む、
請求項１１に記載の方法。

【請求項13】

デジタル病理スライド画像における細胞性を自動的に推定する装置であって、
１又は２以上のプロセッサと、
１又は２以上の非一時的媒体に符号化された、前記１又は２以上のプロセッサによる実行のためのロジックと、
を備え、前記ロジックは、実行された時に、
前記デジタル病理スライド画像から関心パッチを抽出し、
前記抽出されたパッチの各々に対して、訓練された第１の深層畳み込みニューラルネットワーク（ＤＣＮＮ）を使用して動作して、前記パッチを０％の推定細胞性を有する正常なパッチ、又は０％よりも高いと概算される推定細胞性を有する疑わしいパッチ、のいずれかに分類し、
前記疑わしいパッチの各々に対して、深層順序回帰モデルを使用して訓練された第２のＤＣＮＮを使用して動作して、前記疑わしいパッチの推定細胞性スコアを決定し、
前記関心パッチの前記推定細胞性スコアを組み合わせて、前記デジタル病理スライド画像の推定細胞性をパッチ毎のレベルで提供する、
ように動作可能である、
ことを特徴とする装置。

【請求項14】

前記第１及び第２のＤＣＮＮは、第１及び第２の複数の訓練デジタル病理画像をそれぞれ入力として使用して訓練される、
請求項１３に記載の装置。

【請求項15】

前記第１及び第２の複数の訓練デジタル病理画像の各々は、少なくとも部分的に１又は２以上の初期訓練デジタル病理画像のデータ拡張によって導出される、
請求項１４に記載の装置。

【請求項16】

前記データ拡張は、フリッピング、回転及び色摂動のうちの少なくとも１つを含む、
請求項１５に記載の装置。

【請求項17】

前記方法の正常な動作のために、核セグメンテーションも細胞セグメンテーションも必要でない、
請求項１５に記載の装置。

【請求項18】

前記デジタル病理スライド画像は、ヘモトキシリン・エオジン（Ｈ＆Ｅ）染色された組織画像である、
請求項１３に記載の装置。

【請求項19】

前記デジタル病理スライド画像の前記推定細胞性は、癌グレーディングの尺度として使用される、
請求項１３に記載の装置。

【請求項20】

前記第２のＤＣＮＮを訓練することは、前記第２の複数の訓練デジタル病理画像内の各訓練デジタル病理画像について、
ＤＣＮＮモデルが前記訓練デジタル病理画像から画像特徴を抽出することと、
全結合出力層が前記抽出された画像特徴に対して動作して前記訓練デジタル病理画像の中間レベル表現を生成することと、
Ｋ個の２値分類器のスタックが前記中間レベル表現に対して動作し、各２値分類器が、前記訓練デジタル病理画像の細胞性が前記２値分類器に固有のランクパーセンテージよりも高いかどうかを予測して序数出力を生成することと、
異なる分類器の出力に異なる形で重み付けする融合要素において前記２値分類器のスタックからのＫ個の２値出力を融合して融合細胞性スコアを提供することと、
前記全結合出力層のパラメータ及び前記ＤＣＮＮモデルにおけるパラメータを、前記訓練デジタル病理画像のグランドトゥルース細胞性スコアによって決定される損失関数を最小化して、損失関数の最小化時に前記全結合出力層及びＤＣＮＮモデルの最終的な訓練パラメータセットが前記順序回帰モデルのために確立されるように反復的に調整することと、
を含む、請求項１４に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願との相互参照〕
本出願は、２０２１年６月１５日に出願された「ＤＰＩ ＡＩプラットフォームを用いた腫瘍細胞性の自動推定（ＡＵＴＯＭＡＴＩＣ ＥＳＴＩＭＡＴＩＯＮ ＯＦ ＴＵＭＯＲ ＣＥＬＬＵＬＡＲＩＴＹ ＵＳＩＮＧ Ａ ＤＰＩ ＡＩ ＰＬＡＴＦＯＲＭ）」という名称の米国特許出願第１７／３４８，４３６号（クライアント参照番号：ＳＹＰ３３９２１５ＵＳ０１）に基づく優先権を主張するものであり、この文献は全ての目的で本出願に完全に記載されているかのように全体が引用により本明細書に組み入れられる。

【背景技術】

【0002】

一般に、癌治療の分野では、より抜本的な外科的選択肢ではなく組織温存手術の実施を可能にするように腫瘍のダウンステージングを行う上で、手術前に治療薬を投与するネオアジュバント療法（ｎｅｏａｄｊｕｖａｎｔ ｔｈｅｒａｐｙ：ＮＡＴ）が非常に奏功している。例えば、女性に最も多い癌の１つである乳癌では、手術中に切除されたはずの正常な乳房組織の量をＮＡＴによって大幅に減少させることができる。

【0003】

ＮＡＴの実施後には、残存する癌組織の量、すなわち残存癌負荷又は残存腫瘍負荷がその個々の症例におけるＮＡＴの有効性の指標であり、この指標が長期生存のための有用な予後因子（ｐｒｏｇｎｏｓｔｉｃ）であることが分かっている。残存腫瘍を評価するための「ゴールドスタンダード」は、組織切片の病理学検査を行って、組織切片に正常細胞ではなく癌性細胞が見られる割合として定義される腫瘍細胞性を評価することである。

【0004】

現在の臨床診療では、（本開示の他の箇所では単純に「細胞性」と呼ぶこともある）腫瘍細胞性が、患者の組織試料を切片化して（通常はヘマトキシリン・エオジン、すなわちＨ＆Ｅで）染色した後に病理医がこれを検査することによって手動で推定される。図１に、Ｈ＆Ｅで染色した癌細胞を含む疑いのある組織１１０のスライスを周囲の正常組織１２０から除去して切片（図示の例ではＡ１～Ａ５）に分割し、これらの各々を対応するスライド（１４１～１４５など）上に装着して顕微鏡を通じて観察するプロセスの一部を概略的に示す。

【0005】

この時、病理医は、スライド上の組織切片の１又は２以上の領域を調べて、癌を含む残存腫瘍床領域（ｒｅｓｉｄｕａｌ ｔｕｍｏｒ ｂｅｄ ａｒｅａ）の割合を図２に示すセット２００などの標準的な細胞性基準と比較することができる。セット２００は、１％～３０％の細胞性値（ｃｅｌｌｕｌａｒｉｔｙ ｖａｌｕｅｓ）を有する組織切片について観察される顕微鏡視野（ｍｉｃｒｏｓｃｏｐｅ ｆｉｅｌｄｓ）の画像を図の左側に含み、これらの画像は、２１１～２１５の視野で見られるような集合パターンの染色細胞分布を示すサブセットと、２２１～２２５の視野で見られるような散在パターンの染色細胞分布を示すサブセットとを含む。セット２００は、右側に、４０％～９５％の高細胞性値を有する組織切片について観察される顕微鏡視野の画像も含む。これらの高範囲では、分布パターンを２つのタイプに区別することにそれほど意味がないため、視野２３１～２３７で見られるように各細胞性値につき１つの参照画像しか示していない。

【0006】

病理医は、観察される各組織切片の見た目を参照セットと比較して、その切片内の正常細胞に対して腫瘍細胞が占める面積の割合から細胞性の推定値を導き出すことができる。すなわち、図１の事例では、病理医がスライド１４１～１４５の各々につき１つずつの５つの「局所的」細胞性値を生成し、その後に組織試料１１０全体の平均的又は全体的細胞性を計算することができる。

【0007】

このようなそれぞれが一連の視覚的比較又は照合作業を伴う手動での細胞性推定には多大な時間を要する。さらに、異なる人々、すなわち異なる評価者によって手動で行われる推定の質及び信頼性は当然ながら評価者間の変動性に左右され、ＮＡＴ試験及び通常の患者ケアにおける予後推定力を低下させてしまう恐れがある。

【発明の概要】

【発明が解決しようとする課題】

【0008】

従って、手動性を抑えるとともに個々の病理医の技能及び一貫性に依存しない、時間効率の高い細胞性推定法が必要とされている。このような方法は、デジタル病理学の技術的進歩を利用して時間を節約し、人的エラーの影響を低減し、観察者間での合意を増やし、再現性及び診断精度を高めることが理想的である。

【課題を解決するための手段】

【0009】

実施形態は、一般にデジタル病理スライド画像における細胞性を自動的に推定するためのシステム及び方法に関する。１つの実施形態では、方法が、デジタル病理スライド画像から関心パッチを抽出することと、抽出されたパッチの各々に対して、訓練された第１の深層畳み込みニューラルネットワーク（ＤＣＮＮ）を使用して動作して、パッチを０％の推定細胞性を有する正常なパッチ、又は０％よりも高いと概算される推定細胞性を有する疑わしいパッチ、のいずれかに分類することと、疑わしいパッチの各々に対して、深層順序回帰モデルを使用して訓練された第２のＤＣＮＮを使用して動作して、疑わしいパッチの推定細胞性スコアを決定することと、関心パッチの推定細胞性スコアを組み合わせて、デジタル病理スライド画像の推定細胞性をパッチ毎のレベルで提供することと、を含む。

【0010】

別の実施形態では、デジタル病理スライド画像の細胞性を自動的に推定するように第１及び第２の深層畳み込みニューラルネットワークを訓練する方法が、第１の深層畳み込みニューラルネットワーク（ＤＣＮＮ）に入力される第１の複数の訓練デジタル病理画像の各々を、０％の推定細胞性を有する正常なもの、又は０％よりも高い概算細胞性を有する疑わしいものの、いずれかに分類するように第１のＤＣＮＮを訓練することと、順序回帰モデルを使用して、第２の複数の訓練デジタル病理画像の各々の細胞性スコアを推定するように第２のＤＣＮＮを訓練することと、を含む。

【0011】

さらに別の実施形態では、デジタル病理スライド画像における細胞性を自動的に推定する装置が、１又は２以上のプロセッサと、１又は２以上の非一時的媒体に符号化された、１又は２以上のプロセッサによる実行のためのロジックと、を含む。ロジックは、実行されると、デジタル病理スライド画像から関心パッチを抽出し、抽出されたパッチの各々に対して、訓練された第１の深層畳み込みニューラルネットワーク（ＤＣＮＮ）を使用して動作して、パッチを０％の推定細胞性を有する正常なパッチ、又は０％よりも高いと概算される推定細胞性を有する疑わしいパッチ、のいずれかに分類し、疑わしいパッチの各々に対して、深層順序回帰モデルを使用して訓練された第２のＤＣＮＮを使用して動作して、疑わしいパッチの推定細胞性スコアを決定し、関心パッチの推定細胞性スコアを組み合わせて、デジタル病理スライド画像の推定細胞性をパッチ毎のレベルで提供する、ように動作可能である。

【0012】

本明細書の残り部分及び添付図面を参照することにより、本明細書に開示する特定の実施形態の特質及び利点をさらに理解することができる。

【図面の簡単な説明】

【0013】

【図1】先行技術の手動細胞性推定に関与する一連のステップを示す図である。

【図2】先行技術の手動細胞数推定において使用される一連の参照視野を示す図である。

【図3】本発明のいくつかの実施形態による細胞性推定システムを概略的に示す図である。

【図4】本発明のいくつかの実施形態による細胞性推定法を示すフローチャートである。

【図5】本発明のいくつかの実施形態で使用できる拡張訓練画像セットを示す図である。

【図6】本発明のいくつかの実施形態で使用される順序回帰法を概略的に示す図である。

【図7】本発明のいくつかの実施形態で使用される順序回帰法の数学的詳細を示す図である。

【発明を実施するための形態】

【0014】

本明細書で説明する実施形態は、デジタル病理スライド画像における自動細胞性推定に関する。本発明は、後述する方法及びシステムに従って訓練されて動作するＤＰＩ ＡＩプラットフォームを使用して推定を実行する。

【0015】

図３に、本発明のいくつかの実施形態による細胞性推定のためのシステム３００を概略的に示す。システム入力３１０は、関心染色組織切片のデジタル病理スライド画像である。システム３００が実行する最初の動作は、３１０からパッチセット３２０を抽出して、パッチセット３２０の（３２０－Ｄなどの）各抽出されたパッチにおいて処理すべきデータ負荷を管理可能に低く抑えることである。いくつかの事例では、この抽出が、染色の気配を示さないパッチの領域を除外するバックグラウンド除去ステップを任意に含むことができる。

【0016】

抽出された各パッチは、図１の方法などの先行技術の方法における（例えば、スライド１４１のような）スライド上の組織の顕微鏡視野画像に概ね対応すると考えることができる。

【0017】

次の動作は、深層畳み込みニューラルネットワーク（ＤＣＮＮ）３３０にパッチを１つずつ供給することである。ＤＣＮＮ３３０は、比較的従来のＡＩ画像分類法を使用していずれかの入力パッチに対して動作して、その入力パッチを正常なパッチ、すなわち０％の推定細胞性を有するもの、又は疑わしいパッチ、すなわち比較的大まかな推定プロセスによって０％よりも高いと推定される細胞性を有するもののいずれかとして分類するように事前に訓練されたものである。訓練されたＤＣＮＮ３３０は、その後にシステム３００内で使用されて入力パッチを受け取ると、パッチが正常であると判定した場合にはＯＰＡにおいて出力を生成し、一方でパッチが疑わしいと判定した場合には出力ＯＰＢ上でこのパッチを送信する。ＤＣＮＮ３３０などの訓練されたＤＣＮＮは、細胞性が０％を超えるパッチを正常なものとして誤って分類しないという点で信頼することはできるが、少数の正常なパッチを疑わしいものとして誤って分類し、すなわちストリームＯＰＢ内のパッチのごく一部の細胞性が実際には０％であり、すなわち正常な場合もあることが実験的に判明している。従って、ＯＰＢパッチを説明するためには「癌性」という用語よりも「疑わしい」という用語の方が正確である。

【0018】

システム３００の定型動作では、ＯＰＢストリームが、（以下でさらに詳細に説明する）深層順序回帰モデルを使用していずれかの入力パッチに対して動作して対応する細胞性スコアを０％～１００％の範囲内で推定するように事前に訓練されたＤＣＮＮ３４０に疑わしいパッチを１つずつ供給する。訓練されたＤＣＮＮ３４０は、その後にシステム３００内で使用されて、ＯＰＢを通じて疑わしい入力パッチのストリームを受け取ると、各パッチの細胞性スコアを推定し、各パッチの対応する推定細胞性スコアを含む出力ストリームをＯＰＣにおいて生成する。

【0019】

このように、全ての入力パッチについて細胞性スコアを提供し、全スライド画像３１０全体にわたる詳細な分析を実行することができる。

【0020】

図４は、本発明のいくつかの実施形態による細胞性推定法４００におけるステップのフローチャートである。ステップ４１０において、図３に３１０として示すようなデジタル病理画像を入力する。ステップ４２０において、３１０に対してパッチ抽出処理を実行して任意に関心のない領域を除去し、残りの領域を（パッチ３２０Ｄのような）管理可能なデータ内容のパッチに分割する。

【0021】

ステップ４３０において、図３に３３０として示すような訓練されたＤＣＮＮが各パッチに対してさらに動作して、そのパッチを正常なもの、すなわちその細胞性が０％と推定されるもの、又は疑わしいもの、すなわちその細胞性が０％よりも高いと概算されるもののいずれかに分類する。ステップ４３５において各パッチの分類をチェックし、正常なものとして分類された各パッチにつき、ステップ４４０において対応する正常性の指示、すなわち０％の細胞性スコアを出力として提供する。図３で上述したように、このＤＣＮＮは、疑わしいパッチを正常なものとして誤って分類しない役割において非常に奏功していることが判明している従来のＡＩ画像分類法を使用して事前に訓練されたものと想定される。しかしながら、通常、これらの分類法は逆方向では相当な失敗率を有し、すなわちこれらの分類法が疑わしいものとして分類したパッチのかなりの割合（５％程度）の細胞性は実際には０％であり、理想的には正常なものとして分類されるべきであったものである。

【0022】

ステップ４３５において、疑わしいものとして分類されたにもかかわらず、実際には上述したように正常であるというわずかな可能性を有するパッチが見つかると、ステップ４３０において使用されるＤＣＮＮとは異なり、異なるパッチを見かけの細胞性に基づいて単独で異なるカテゴリーに割り当てるものではない順序回帰モデル法によって訓練された第２のＤＣＮＮがこのパッチに対して動作する。この第２のＤＣＮＮは、代わりにステップ４４５において各疑わしいパッチについて特定の細胞性スコアを推定するように動作し、この細胞性スコアがステップ４５０において出力として提供される。

【0023】

本発明の実施形態において使用される２つのＤＣＮＮの訓練は、これらのＤＣＮＮが後で処理すると予想される画像パッチのものと同様のサイズ及び画質の訓練ＤＰＩ画像を使用して行われる。図５に、何らかの信頼できる手段によって、通常は１人又は２人以上の専門病理医によって手動で評価されるグランドトゥルース細胞性（ｇｒｏｕｎｄ ｔｒｕｔｈ ｃｅｌｌｕｌａｒｉｔｙ）を有する（通常は関心臓器又は器官からの）染色組織切片から取り込まれた１つのこのような訓練画像５１１の例を示す。良好な訓練を行うのに十分な数のこのような画像を取得することは、機械学習の分野では「自然」画像を処理するための周知の技術であるデータ拡張（ｄａｔａ ａｕｇｍｅｎｔａｔｉｏｎ）によって容易になるが、本発明ではこの技術をＤＰＩ画像に適合させる。図５では、初期画像５１１が、色摂動（ｃｏｌｏｒ ｐｅｒｔｕｒｂａｔｉｏｎｓ）、回転、フリップなどの単純な画像操作によって５１１から導出される全体的画像バッチ５１０の「シード」画像として機能する。例えば、画像５１５は、５１１を１８０°回転させて明るさ及びコントラストを変化させることによって導出される。いくつかの事例では、このような調整に加えて又はこのような調整と組み合わせて、ぼかし又は他のタイプの画像劣化又は画像強調を採用することもできる。このような手段によって訓練画像セットを生成し、訓練入力として使用することで、各訓練画像を固有の組織切片画像から取得する必要なく、遭遇すると予想される細胞性範囲全体をカバーすることができる。

【0024】

いくつかの実施形態では、画像を正常なもの又は疑わしいものに分類するために使用されるＤＣＮＮ（すなわち、ＤＣＮＮ３３０の機能を果たすＤＣＮＮ）に、細胞性スコアの推定に使用されるＤＣＮＮ（すなわち、ＤＣＮＮ３４０の機能を果たすＤＣＮＮ）とは異なる訓練画像セットが使用され、前者のセットの方が後者よりも０％の細胞性の画像の割合が多いと考えられる。他の実施形態では、両タイプのＤＣＮＮに同じ訓練画像セットを使用することができる。

【0025】

システム３００のＤＣＮＮ３３０のような本発明のシステムの第１のＤＣＮＮの訓練では、当業者に周知のタイプの比較的簡単な反復プロセスが使用される。このＤＣＮＮの目的は、画像を正常なもの（細胞性０％）又は疑わしいもの（細胞性＞０％）のいずれかに単純に分類することであるため、訓練セットの各画像の初期分類を、その画像又はその画像の導出元であるシード画像のグランドトゥルースに基づく大まかな分類と比較し、その後に容認可能なマッチング率が達成されるまで内部ＤＣＮＮバックボーンの重み付け及び接続性パラメータを反復的に調整することができる。

【0026】

図３のＤＣＮＮ３４０のような本発明のシステムの第２のＤＣＮＮの訓練では全く異なる手法が採用される。画像の細胞数が１つの範囲に該当するか、それとも別の範囲に該当するかについての評価に基づいて画像を異なるカテゴリーに整理する分類手法の代わりに、一連の順序値を決定した後にこれらを組み合わせて各画像の特定の細胞性スコアの推定値を提供する中間ステップを伴う順序回帰手法が使用される。図６に、この手法を実行する方法の概要を示す。

【0027】

ＤＣＮＮモデル６３０に供給されるデジタル病理画像６１１について考察する。画像６１１は、（システム３００の３３０のような）本発明のシステムの第１のＤＣＮＮが疑わしいものとして分類したと考えられる画像を表す。ＤＣＮＮモデル６３０は、比較的従来の方法で画像６１１に対して動作して入力画像から画像特徴６５０を抽出する。このような特徴抽出法は、自然画像の処理ではよく知られているが、本発明ではこれをＤＰＩ画像の処理に適合させる。

【0028】

次に、このネットワークは、各出力層（又は２値分類器）が２つのニューロンを含んで２値分類タスクに対応するＫ個の出力層（６６０）のスタックに分岐する。ｋ番目のタスクは、入力画像の細胞性がランクＣ_kよりも大きいかどうかを予測することである。スタック６６０内の各２値分類器は、比較に応じて「１」又は「０」を出力する。例えば、１つの分類器は、入力画像６１１の細胞性が５％よりも高いと予測した場合に「１」を出力するのに対し、別の分類器は、入力画像６１１の細胞性が１０％よりも高いと予測した場合などに「１」を出力することができる。その後、異なる分類器の出力に異なる形で重み付けする融合要素６７０において、出力層６６０によって生成された２値出力（ｋ番目の分類器についてはＯＫ）を「融合」又は数学的に結合して融合細胞性スコア「ｃ」を提供する。この細胞性スコアを入力画像６１１のグランドトゥルース細胞性スコアと比較する際に、（図には破線で示す）反復プロセスを実行して、出力層６６０におけるパラメータ及びＤＣＮＮモデル６３０におけるパラメータを、２値分類器の損失関数を最適化するように調整することができる。この結果、これらのパラメータ及び重みが固定され、ＤＣＮＮが訓練されて融合スコアが望ましい出力であるとみなされる。

【0029】

図７に、本発明の１つの実施形態における２値分類器、融合要素及び損失関数の動作に関与する数学的詳細の一部を示す。方程式７０５は、（図６の６６０に対応する）出力層７６０におけるｋ番目の２値分類器の出力を表し、ここで、Ｃ_kは細胞性ランクを表し、ｃは入力画像の細胞性を表し、ｐ（ｃ＞Ｃ_k）は、ｃがＣ_kよりも大きい推定確率を表す。図６の６７０に対応する融合要素７７０は、方程式７１５に従って動作して融合細胞性スコア

を生成する。方程式７２５では、ニューラルネットワークモデルが最適化するように訓練される損失が一連の２値分類器のクロスエントロピーの総和として定められ、ここで、ｏｋは方程式７０５で定められるｋ番目の２値分類器の出力確率であり、ｙ_kはｋ番目の２値分類器のための入力画像のラベルであり、実際にはグランドトゥルースとの真／偽比較である。例えば、入力画像の細胞性ｃ＞Ｃ_kである場合にはｙ_k＝１であり、そうでなければｙ_k＝０である。その後、図６に破線で示すフィードバックループが、全結合出力層におけるパラメータ及びＤＣＮＮモデルのパラメータを調整することによって上述したように動作してこの損失を最小化する。

【0030】

本発明と、ＤＣＮＮを細胞推定の問題に適用する方法を含む先行技術の方法との間には、いくつかの非常に大きな違いがある。１つのこのような違いは、本発明では入力画像パッチの核セグメンテーション（ｎｕｃｌｅａｒ ｓｅｇｍｅｎｔａｔｉｏｎ）又は細胞セグメンテーション（ｃｅｌｌ ｓｅｇｍｅｎｔａｔｉｏｎ）を実行する必要がない点である。ほとんど全ての先行技術の方法は、初期ステップとしてこれらの一方又は両方に依存し、そこで画像パッチ内の全ての核（又は細胞）が特定され、正常な核／細胞と癌性の核／細胞とを区別するように分類され、さらに分析すべき対応する関心領域が定められる。本発明では、任意に発生し得る唯一の種類のセグメンテーションが、単純な背景除去ステップとして全腫瘍領域の周囲境界を定めて周辺領域を除去する大まかな腫瘍セグメンテーションである。核又は細胞ベースのセグメンテーションの必要性の回避は、本発明がもたらす貴重な単純化である。

【0031】

別の違いは、先行技術の方法は、核又は細胞セグメンテーションステップを回避するものも含めて、細胞性スコア、すなわち癌細胞によって占められていると思われる細胞領域の割合が、予め定められた一連のカテゴリー「ビン」内の１つと外観的に最も一致するものを発見することに基づいて割り当てられるタイプの分類に依存する点である。例えば、入力画像が、０～１００％の範囲内の他のいずれかの「ビン」内の画像よりも２０％±５％の範囲内のグランドトゥルース細胞性スコアを有する画像「の方に似ているように見える」場合、この入力画像の細胞性は２０％±５％であると推定される。本発明では、この種の回帰モデルによって訓練されたＤＣＮＮを使用する代わりに、順序回帰モデルに従って訓練されたＤＣＮＮから特定の細胞性スコアの直接的な推定値が提供される。

【0032】

本発明のシステムは、スタンドアロン型コンピュータソフトウェアの形態で実現することも、或いは既存の臨床ＣＡＤ（コンピュータ支援診断）システム上に展開することもできる。本明細書で説明した方法の応用例としては、ＮＡＴモニタリング及び生存予測以外に、癌グレーディングなどの他の画像ベースの評価タスクが挙げられる。

【0033】

特定の実施形態に関して説明を行ったが、これらの特定の実施形態は例示にすぎず、限定的なものではない。

【0034】

特定の実施形態のルーチンの実装には、Ｃ、Ｃ＋＋、Ｊａｖａ、アセンブリ言語などを含むいずれかの好適なプログラミング言語を使用することができる。手続き型又はオブジェクト指向型などの異なるプログラミング技術を使用することができる。これらのルーチンは、単一の処理装置又は複数のプロセッサ上で実行することができる。ステップ、動作又は計算については特定の順序で示しているかもしれないが、異なる特定の実施形態ではこの順序を変更することができる。いくつかの特定の実施形態では、本明細書において順次的なものとして示す複数のステップを同時に実行することもできる。

【0035】

特定の実施形態は、命令実行システム、装置、システム又はデバイスが使用する、或いはこれらに接続されたコンピュータ可読記憶媒体に実装することができる。特定の実施形態は、ソフトウェア又はハードウェア又はこれらの組み合わせにおける制御ロジックの形で実装することもできる。制御ロジックは、１又は２以上のプロセッサによって実行された時に、特定の実施形態において説明したことを実行することができる。

【0036】

特定の実施形態は、プログラムされた汎用デジタルコンピュータを使用することによって、特定用途向け集積回路、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、光学、化学、生物学、量子又はナノエンジニアリングシステム、コンポーネント及び機構を使用することによって実装することができる。一般に、特定の実施形態の機能は、当業で周知のあらゆる手段によって実現することができる。分散型のネットワーク化されたシステム、コンポーネント及び／又は回路を使用することもできる。データの通信又は転送は、有線、無線又は他のいずれかの手段によるものであることができる。

【0037】

また、特定の用途に従って有用である時には、図面／図に示す要素のうちの１つ又は２つ以上をより分離又は統合された形で実装し、或いはいくつかの事例では除去又は動作不能とすることもできると理解されるであろう。上述した方法のいずれかをコンピュータが実行できるようにする、機械可読媒体に記憶できるプログラム又はコードを実装することも本発明の趣旨及び範囲に含まれる。

【0038】

「プロセッサ」は、データ、信号又はその他の情報を処理するいずれかの好適なハードウェア及び／又はソフトウェアシステム、機構又はコンポーネントを含む。プロセッサは、汎用中央処理装置、複数の処理装置、機能を実現するための専用回路又はその他のシステムを有するシステムを含むことができる。処理は、地理的位置に制限される必要も、又は時間的制限を有する必要もない。例えば、プロセッサは、その機能を「リアルタイム」、「オフライン」、「バッチモード」などで実行することができる。処理の一部は、異なる（又は同じ）処理システムが異なる時点に異なる場所で実行することもできる。処理システムの例としては、サーバ、クライアント、エンドユーザ装置、ルータ、スイッチ、ネットワーク化されたストレージなどを挙げることができる。コンピュータは、メモリと通信するいずれかのプロセッサであることができる。メモリは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、磁気又は光ディスク、或いはプロセッサによって実行される命令を記憶するのに適したその他の非一時的媒体などのいずれかの好適なプロセッサ可読記憶媒体であることができる。

【0039】

本明細書及び以下の特許請求の範囲全体を通じて使用する「１つの（英文不定冠詞）」及び「その（英文定冠詞）」は、文脈において別途明確に示していない限り複数形の照応を含む。また、本明細書及び以下の特許請求の範囲全体を通じて使用する「～内（ｉｎ）」の意味は、文脈において別途明確に示していない限り、「～内（ｉｎ）」及び「～上（ｏｎ）」の意味を含む。

【0040】

以上、本明細書では特定の実施形態について説明したが、上述した開示では修正、様々な変更及び置換の自由が意図されており、いくつかの例では、記載した範囲及び趣旨から逸脱することなく、特定の実施形態のいくつかの特徴が対応する他の特徴の使用を伴わずに使用されると理解されたい。従って、特定の状況又は材料を基本的範囲及び趣旨に適合させるように多くの修正を行うことができる。

【符号の説明】

【0041】

４００ 細胞性推定法
４１０ デジタル病理画像を入力
４２０ デジタル病理画像からパッチを抽出
４３０ 第１のＤＣＮＮが細胞性に基づいて各パッチを正常なもの又は疑わしいものに分類
４３５ 正常？
４４０ 細胞性スコア０％を出力
４４５ 順序回帰法によって訓練された第２のＤＣＮＮが、第１のＤＣＮＮから送られた各疑わしいパッチの細胞性スコアを推定
４５０ 推定細胞性スコアを出力

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】