(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-30
(54)【発明の名称】化学療法に対する乳癌応答を予測するための、治療前の定量的超音波マルチパラメータ画像の深層学習
(51)【国際特許分類】
A61B 8/14 20060101AFI20250123BHJP
【FI】
A61B8/14
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024543987
(86)(22)【出願日】2023-01-23
(85)【翻訳文提出日】2024-09-20
(86)【国際出願番号】 CA2023050074
(87)【国際公開番号】W WO2023137563
(87)【国際公開日】2023-07-27
(32)【優先日】2022-01-24
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523485858
【氏名又は名称】サデギ-ナイニ,アリ
【氏名又は名称原語表記】SADEGHI-NAINI, Ali
(71)【出願人】
【識別番号】523485869
【氏名又は名称】タレガマル,ハミドレザ
【氏名又は名称原語表記】TALEGHAMAR, Hamidreza
(71)【出願人】
【識別番号】514125101
【氏名又は名称】サニーブルック リサーチ インスティテュート
(74)【代理人】
【識別番号】100099623
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100180231
【氏名又は名称】水島 亜希子
(72)【発明者】
【氏名】サデギ-ナイニ,アリ
(72)【発明者】
【氏名】タレガマル,ハミドレザ
(72)【発明者】
【氏名】チャルノータ,グレゴリー・ジェイ.
【テーマコード(参考)】
4C601
【Fターム(参考)】
4C601DD08
4C601EE09
4C601JC06
4C601JC15
4C601JC37
4C601KK47
(57)【要約】
定量的超音波(QUS)パラメータ画像および/またはBモード画像を用いて、ネオアジュバント化学療法(NAC)への乳癌応答を予測するためのシステムであって、システムは、未加工のRF信号を含む少なくとも1つの超音波データフレーム、および/または画像を取得するための撮像システムと、少なくとも1つの超音波データフレームを受信し、1つまたは複数の所定の規則を用いて、少なくとも1つの超音波データフレームの各々における関心領域(ROI)を特定する動作と、腫瘍についての少なくとも1つの定量的超音波(QUS)パラメータマップおよび/または処理されたBモード画像を生成する動作と、機械学習アーキテクチャの特徴ネットワークを用いて、QUSパラメータ画像および/またはBモード画像から最適特徴マップを抽出する動作と、腫瘍対象を、NACに対する応答者または非応答者に分類する動作と、を行うコンピュータシステムと、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
定量的超音波(QUS)パラメータ画像および/またはBモード画像を用いて、ネオアジュバント化学療法(NAC)への乳癌応答を予測するためのシステムであって、前記システムは、
未加工のRF信号を含む少なくとも1つの超音波データフレーム、および/または画像を取得するための撮像システムと、
ハードウェアプロセッサと、命令が符号化されたメモリデバイスとを備えるコンピュータシステムと
を備え、前記コンピュータシステムにおいて、前記命令は、前記ハードウェアプロセッサに、
前記少なくとも1つの超音波データフレームを受信し、1つまたは複数の所定の規則を用いて、前記少なくとも1つの超音波データフレームの各々における関心領域(ROI)を特定する動作であって、前記ROIは腫瘍を含み、前記ROIは自動的に特定されてもよい、動作と、
前記少なくとも1つの超音波データフレームから、前記腫瘍についての少なくとも1つの定量的超音波(QUS)パラメータマップおよび/または処理されたBモード画像を生成する動作と、
機械学習アーキテクチャの特徴ネットワークを用いて、前記QUSパラメータ画像および/またはBモード画像から最適特徴マップを抽出する動作と、
前記最適特徴マップを、前記機械学習アーキテクチャの予測ネットワークに入力する動作であって、前記特徴ネットワークから得られた前記最適化された特徴マップは、各腫瘍に関連付けられた全ての画像にわたって結合または平均化され、前記特徴および予測ネットワークは、エンドツーエンドシステムにおいて統合されてもよい、動作と、
前記QUSパラメータ画像および/またはBモード画像を前処理し、フォーマット設定して、深層学習モデルのためのトレーニングデータセットを生成する動作と、
前記特徴ネットワークをトレーニングして、単一のQUSパラメータ画像および/またはBモード画像のための前記最適特徴マップを生成する動作と、
前記エンドツーエンドシステムの場合、前記トレーニングデータセット内の各患者に関連付けられた特徴ベクトルが結合または平均化されたものを用いることによって、前記予測ネットワークをトレーニングする動作であって、前記統合された特徴および予測ネットワークが共にトレーニングされる、動作と、
腫瘍対象を、前記NACに対する応答者または非応答者に分類し、応答を、完全な応答、部分的応答、安定疾患、または進行疾患のうちの少なくとも1つとして分類する動作と
を実行させるためのものである、システム。
【請求項2】
前記少なくとも1つの超音波データフレームが、超音波Bモード画像および無線周波数(RF)データのうちの少なくとも1つを含む、請求項1に記載のシステム。
【請求項3】
前記パラメータマップが、前記関心領域全体を通じて、スライディングウィンドウ分析を用いて前記腫瘍の全ての撮像平面について生成される、請求項1に記載のシステム。
【請求項4】
スライディングウィンドウサイズは、前記スライディングウィンドウが、生成されるパラメータマップにおけるテクスチャを保持しながら、スペクトル分析のために軸方向における十分な超音波波長をカバーするように、等方性ピクセルを得るためのオーバラップサイズを有して選択される、請求項3に記載のシステム。
【請求項5】
前記機械学習アーキテクチャが、深層畳み込みニューラルネットワーク(DCNN)アーキテクチャ、深層学習アーキテクチャ、およびトランスフォーマアーキテクチャのうちの少なくとも1つを含む、請求項1に記載のシステム。
【請求項6】
前記深層畳み込みニューラルネットワーク(DCNN)アーキテクチャが、残差ネットワーク(ResNet)アーキテクチャを含む、請求項5に記載のシステム。
【請求項7】
前記深層畳み込みニューラルネットワーク(DCNN)アーキテクチャが、残差注意ネットワーク(RAN)アーキテクチャを含む、請求項5に記載のシステム。
【請求項8】
前記撮像システムが、超音波撮像システムである、請求項1~7のいずれか一項に記載のシステム。
【請求項9】
前記特徴ネットワークから得られた前記最適化された特徴マップが、各腫瘍に関連付けられた全てのパラメータ画像にわたって平均化される、請求項8に記載のシステム。
【請求項10】
前記平均化された、最適化された特徴マップが、その後、患者レベルにおける応答予測のために適合された前記予測ネットワークに入力される、請求項9に記載のシステム。
【請求項11】
前記予測ネットワークが、入力層と、中央層と、患者ごとの応答カテゴリ(応答者対非応答者)の確率を予測するために2の出力サイズを有する、端部におけるソフトマックス層とを有する、全結合層を含む、請求項10に記載のシステム。
【請求項12】
前記入力層が、平坦化特徴ベクトル(256)と同じサイズを含み、前記中央層が、100個のニューロンを含む、請求項11に記載のシステム。
【請求項13】
ドロップアウト層が、各層の後に、過剰適合を最小限にし、その汎化性能を向上させるために追加される、請求項12に記載のシステム。
【請求項14】
前記トレーニングセットの前記パラメータ画像が、パラメータ画像を再サンプリングして所定のピクセルサイズにすることによって前処理され、前記トレーニングセットの前記パラメータ画像におけるピクセル値が、トレーニング収束を促進するように(0 1)に正規化される、請求項1に記載のシステム。
【請求項15】
トレーニングセット正規化パラメータが、正規化のために用いられ、データ拡張が、前記トレーニングデータセットに対して適用される、請求項14に記載のシステム。
【請求項16】
前記トレーニングデータセットが、少なくとも、前記パラメータ画像を水平方向にフリップし、水平方向および垂直方向の双方でシフトさせることによって拡張される、請求項15に記載のシステム。
【請求項17】
前記特徴ネットワークが、前記パラメータ画像を前記特徴ネットワークに入力することによって、単一のQUSパラメータ画像について前記最適特徴マップを生成するようにトレーニングされる、請求項15に記載のシステム。
【請求項18】
前記最適特徴マップが、各撮像平面について、その対応するパラメータ画像を前記トレーニングされた特徴ネットワークにフィードすることによって取得される、請求項17に記載のシステム。
【請求項19】
前記最適特徴が、1Dベクトルに平坦化された、前記腫瘍の全ての2D撮像平面について計算され、その後、全腫瘍体積にわたって平均化され、前記予測ネットワークにおいて用いられる平均特徴ベクトルが得られる、請求項18に記載のシステム。
【請求項20】
前記予測ネットワークは、前記トレーニングデータセットにおける前記患者に関連付けられた、前記平均化された特徴ベクトルを用いてトレーニングされ、応答予測のために、独立した試験セットにわたって評価される、請求項19に記載のシステム。
【請求項21】
定量的超音波(QUS)パラメータ画像を用いて、ネオアジュバント化学療法(NAC)への応答を予測するための方法であって、前記方法は、
撮像システムを用いて、未加工のRF信号を含む少なくとも1つの超音波データフレーム、および/または画像を取得することと、
ハードウェアプロセッサと、命令が符号化されたメモリデバイスとを備えるコンピュータシステムを用いて、前記ハードウェアプロセッサに、
前記少なくとも1つの超音波データフレームを受信し、1つまたは複数の所定の規則を用いて、前記少なくとも1つの超音波データフレームの各々における関心領域(ROI)を特定する動作であって、前記ROIは腫瘍を含み、前記ROIは自動的に特定されてもよい、動作と、
前記少なくとも1つの超音波データフレームから、前記腫瘍についての少なくとも1つの定量的超音波(QUS)パラメータマップおよび/または処理されたBモード画像を生成する動作と、
機械学習アーキテクチャの特徴ネットワークを用いて、前記QUSパラメータ画像および/またはBモード画像から最適特徴マップを抽出する動作と、
前記最適特徴マップを、前記機械学習アーキテクチャの予測ネットワークに入力する動作であって、前記特徴ネットワークから得られた前記最適化された特徴マップは、各腫瘍に関連付けられた全ての画像にわたって結合または平均化され、前記特徴および予測ネットワークは、エンドツーエンドシステムにおいて統合されてもよい、動作と、
前記QUSパラメータ画像および/またはBモード画像を前処理し、フォーマット設定して、深層学習モデルのためのトレーニングデータセットを生成する動作と、
前記特徴ネットワークをトレーニングして、単一のQUSパラメータ画像および/またはBモード画像のための前記最適特徴マップを生成する動作と、
上述したエンドツーエンドシステムの場合、前記トレーニングデータセット内の各患者に関連付けられた特徴ベクトルが結合または平均化されたものを用いることによって、前記予測ネットワークをトレーニングする動作であって、前記統合された特徴および予測ネットワークは共にトレーニングされる、動作と、
腫瘍対象を、前記NACに対する応答者または非応答者に分類し、応答を、完全な応答、部分的応答、安定疾患、または進行疾患のうちの少なくとも1つとして分類する動作と
を実行させることと
を含む、方法。
【請求項22】
前記撮像システムが、超音波撮像である、請求項21に記載の方法。
【請求項23】
前記腫瘍が、乳癌、前立腺癌、肝癌、または甲状腺癌を含む癌に関連付けられるものである、請求項22に記載の方法。
【請求項24】
前記Bモード画像に関連付けられた前記RFフレームの各々について、前記少なくとも1つのQUSパラメータマップを前記生成することが、前記Bモード画像の各々の各画像平面について、少なくとも1つのQUSパラメータマップを生成することを含む、請求項21~23のいずれか一項に記載の方法。
【請求項25】
前記ROIが、腫瘍核および腫瘍境界を含む、請求項21~24のいずれか一項に記載の方法。
【請求項26】
前記ROI内の前記少なくとも1つのQUSパラメータマップおよび/またはBモード画像の各々における前記腫瘍からの特徴が、前記腫瘍を特徴付けするように抽出される、請求項25に記載の方法。
【請求項27】
前記特徴が、全ての画像平面について抽出され、その後、前記腫瘍の体積全体にわたって平均化される、請求項26に記載の方法。
【請求項28】
前記少なくとも1つのQUSパラメータマップを前記生成することが、前記ROIから取得された前記超音波RFデータの正規化されたパワースペクトルを計算することと、前記超音波RFデータの前記正規化されたパワースペクトルのQUSスペクトル分析、またはRF信号包絡線統計の分析によって、前記少なくとも1つのQUSパラメータを導出することとを含む、請求項27に記載の方法。
【請求項29】
腫瘍内領域が、前記少なくとも1つのパラメータマップおよび/またはBモード画像におけるピクセルレベルで特定される、請求項28に記載の方法。
【請求項30】
分類アルゴリズムが、教師(supervised)あり、教師なし、または強化機械学習アルゴリズムである、請求項21~29のいずれか一項に記載の方法。
【請求項31】
前記応答者および前記非応答者の分類が、臨床的および/または病理学的グラウンドトゥルース分類基準によって決定される、請求項21~30のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、治療前(pre-treatment)の定量的超音波(QUS)マルチパラメータ撮像を用いて、ネオアジュバント化学療法(NAC)に対する乳癌応答(breast cancer response)を予測するための、新規の深層学習(deep learning)ベースの方法に関する。
【背景技術】
【0002】
乳癌は、最も一般的な癌タイプであり、女性における癌関連死の一番の原因となっている[1]、[2]。2020年には、世界中で約230万の乳癌の症例が診断され、約70万人の女性が死亡した[1]。局所進行乳癌(LABC)は、毎年最大20%の新規症例を含む乳癌の攻撃的な亜型である[3]。LABCは、多くの場合、5cm超のサイズの腫瘍を有して特定され、場合によっては、皮膚および/または胸壁の関与を伴う。さらに、LABCは、炎症性乳癌または複数の陽性腋窩リンパ節を有すると診断された患者を含む[3][4]。
【0003】
LABCを有すると診断された患者は、5年で約48%の局所再発率を有する高いリスクの再燃および転移を被る[5]。異なる体系的かつ標的化されたレジメンが利用可能である状態で、ネオアジュバント化学療法(NAC)に続く手術が、現在LABC患者の標準的な治療とみなされている[6]~[9]。いくつかの場合、手術は、癌再発のリスクを低減するために、アジュバント放射線療法および/またはホルモン療法の後に行われる[4][6]。NACに対する応答は、患者の生存に高い相関を実証したが、完全な病理学的な応答は患者の30%未満に限定され、患者の約30%は、部分的にさえNACに応答しない[3]、[4]、[6]、[10]~[15]。NACに対する腫瘍病理学応答を決定するために、手術後組織病理学は、標準的な手法とみなされている[6]~[9]。しかしながら、手術後評価は、NACの調整またはサルベージ治療への切り替えに用いることができない。
【0004】
現在のところ、NACに対する腫瘍応答の監視は、大部分が、腫瘍サイズにおける変化を評価するための物理的検査または標準的解剖学的撮像に依存している。これらの方法の主な制限は、腫瘍の寸法における検出可能な変化が、通例、治療の数カ月後に明らかとなることであり、場合によっては、測定可能な変化が、NACに対する病理学的な応答にかかわらず、撮像において明らかとならない場合があることである[16]。NACに対する腫瘍応答の早期予測により、個々の患者にとって潜在的に手遅れとなる前に、レジメン、用量、および/または治療オプションのシーケンスを変更し、より効果的な治療または更にはサルベージ治療に切り替えることによって、治療の調整が可能になる[17]、[18]。LABC治療の個人化された戦略は、ネオアジュバント治療に対する腫瘍応答を改善し、患者を効果のない治療の不要な副作用から免れさせ、患者の全体的な生存率および生活品質を改善することが予期される。
【0005】
超音波は、外因性造影剤の注入なしで組織の物理的特性を特徴付け(characterization)するために適用できる、ポータブルで、高速で、コスト効率のよい撮像様式である。特に、定量的超音波(QUS)技法は、操作者に対する低い依存レベルで、機器設定と独立した組織生物物理学的特性の定量的尺度を導出するために導入された[19]。定量的超音波スペクトル技法は、根底にある組織から後方散乱された超音波無線周波数(RF)信号の周波数依存性を検査し、これを組織の微細構造の特徴付けに用いることができる[19]。ミッドバンドフィット(MBF)、スペクトル傾斜(SS)、スペクトル0MHz妨害(SI)、有効散乱直径(ESD)、および有効音響集中(EAC)を含むRF信号の正規化されたパワースペクトルの分析から導出されたQUSパラメータは、悪性の検出および特徴付け、肝組織の検査、および心血管疾患の検出において有望である[20]~[26]。
【0006】
QUSスペクトルパラメータが、様々な抗癌剤治療により生じる腫瘍細胞死を検出できることが示している[27]~[30]。また、いくつかの研究は、QUSパラメータマップから導出された手作業で作られた特徴を用いて、治療の終了時に特定される臨床的および病理学的な応答に対する高い相関を有して、治療開始前または治療開始後数週間以内に、ネオアジュバント化学療法に対する乳癌応答を予測および監視できることを実証した[31]~[34]。例えば、QUSスペクトルパラメータマップのテキスト特徴が、QUS平均値パラメータと比較して、化学療法に対する応答において、組織学的腫瘍細胞死に対し、より高い相関を有することが実証されている[35]。さらに、いくつかの研究は、早ければ治療の開始の1週間後にNACに対するLABC腫瘍応答を予測するというQUSパラメータ画像のテキスト特徴の潜在能力を明らかにした[36]~[38]。最近の研究において、Tadayyon他は、腫瘍核およびその境界の双方から導出された、手作業で作られたQUS特徴を用いて、治療の開始前に腫瘍応答予測の性能を改善できることを実証した[39]。
【0007】
深層学習手法は、医用画像分析の様々な用途において最近調査されてきている[40]、[41]。このような方法は、潜在的に、従来の機械学習技法に必要とされる、慎重に設計された手作業で作られた特徴を画像から抽出するプロセスを取り除くことができる。代わりに、深層学習フレームワークは、反復トレーニング手順中にデータ駆動型特徴マップを最適化する[42]。この文脈において、いくつかの研究は、磁気共鳴撮像(MRI)を用いて、乳癌患者におけるNAC治療応答予測のために深層畳み込みニューラルネットワーク(DCNN)を適合させることに関して行われてきた[43]~[45]。さらに、いくつかの研究は、癌分類のために乳房腫瘍の超音波画像を分析することにおけるDCNNの潜在能力を調査した。例えば、Byra他は、Nakagamiパラメータ画像を用いた乳房病変分類のための畳み込みニューラルネットワークの潜在能力を実証した[46]。以前の研究のいずれも、治療応答予測のためのQUSマルチパラメータ画像を用いた深層学習技法の有効性を調査していない。
【発明の概要】
【0008】
本開示の一態様において、定量的超音波(QUS)パラメータ画像および/またはBモード画像を用いて、ネオアジュバント化学療法(NAC)への乳癌応答を予測するためのシステムであって、システムは、
未加工のRF信号を含む少なくとも1つの超音波データフレーム、および/または画像を取得するための撮像システムと、
ハードウェアプロセッサと、命令が符号化されたメモリデバイスとを備えるコンピュータシステムであって、命令は、ハードウェアプロセッサに、
少なくとも1つの超音波データフレームを受信し、1つまたは複数の所定の規則を用いて、少なくとも1つの超音波データフレームの各々における関心領域(ROI)を特定する動作(operation)であって、ROIは腫瘍を含み、ROIは自動的に特定されてもよい、動作と、
少なくとも1つの超音波データフレームから、腫瘍についての少なくとも1つの定量的超音波(QUS)パラメータマップおよび/または処理されたBモード画像を生成する動作と、
機械学習アーキテクチャの特徴ネットワークを用いて、QUSパラメータ画像および/またはBモード画像から最適特徴マップを抽出する動作と、
最適特徴マップを、機械学習アーキテクチャの予測ネットワークに入力する動作であって、特徴ネットワークから得られ、最適化された特徴マップは、各腫瘍に関連付けられた全ての画像にわたって結合または平均化(averaged)され、特徴および予測ネットワークは、エンドツーエンドシステムにおいて統合されてもよい、動作と、
QUSパラメータ画像および/またはBモード画像を前処理し、フォーマット設定して、深層学習モデルのためのトレーニングデータセット(training dataset)を生成する動作と、
特徴ネットワークをトレーニング(training)して、単一のQUSパラメータ画像および/またはBモード画像のための最適特徴マップを生成する動作と、
上述したエンドツーエンドシステムの場合、トレーニングデータセット内の各患者に関連付けられた特徴ベクトルが結合または平均化されたものを用いることによって、予測ネットワークをトレーニングする動作であって、統合された特徴および予測ネットワークは共にトレーニングされる、動作と、
腫瘍対象を、NACに対する応答者または非応答者に分類し、応答を、完全な応答、部分的応答、安定疾患、または進行疾患のうちの少なくとも1つとして分類する動作と、
を実行させるためのものである、コンピュータシステムと、
を備える、システムが提供される。
【0009】
本開示の別の一態様において、定量的超音波(QUS)パラメータ画像を用いて、ネオアジュバント化学療法(NAC)への応答を予測するための方法であって、方法は、
撮像システムを用いて、未加工のRF信号を含む少なくとも1つの超音波データフレーム、および/または画像を取得することと、
ハードウェアプロセッサと、命令が符号化されたメモリデバイスとを備えるコンピュータシステムを用いて、ハードウェアプロセッサに、
少なくとも1つの超音波データフレームを受信し、1つまたは複数の所定の規則を用いて、少なくとも1つの超音波データフレームの各々における関心領域(ROI)を特定する動作であって、ROIは腫瘍を含み、ROIは自動的に特定されてもよい、動作と、
少なくとも1つの超音波データフレームから、腫瘍についての少なくとも1つの定量的超音波(QUS)パラメータマップおよび/または処理されたBモード画像を生成する動作と、
機械学習アーキテクチャの特徴ネットワークを用いて、QUSパラメータ画像および/またはBモード画像から最適特徴マップを抽出する動作と、
最適特徴マップを、機械学習アーキテクチャの予測ネットワークに入力する動作であって、特徴ネットワークから得られた最適化された特徴マップは、各腫瘍に関連付けられた全ての画像にわたって結合または平均化され、特徴および予測ネットワークは、エンドツーエンドシステムにおいて統合されてもよい、動作と、
QUSパラメータ画像および/またはBモード画像を前処理し、フォーマット設定して、深層学習モデルのためのトレーニングデータセットを生成する動作と、
特徴ネットワークをトレーニングして、単一のQUSパラメータ画像および/またはBモード画像のための最適特徴マップを生成する動作と、
上述したエンドツーエンドシステムの場合、トレーニングデータセット内の各患者に関連付けられた特徴ベクトルが結合または平均化されたものを用いることによって、予測ネットワークをトレーニングする動作であって、統合された特徴および予測ネットワークは共にトレーニングされる、動作と、
腫瘍対象を、NACに対する応答者または非応答者に分類し、応答を、完全な応答、部分的応答、安定疾患、または進行疾患のうちの少なくとも1つとして分類する動作と、
を実行させることと、
を含む、方法が提供される。
【0010】
有利には、治療前の定量的超音波(QUS)マルチパラメータ撮像を用いて、ネオアジュバント化学療法(NAC)に対する乳癌応答を予測するための、新規の深層学習ベースの方法が提供される。機械学習アーキテクチャは、深層畳み込みニューラルネットワーク(DCNN)アーキテクチャ、深層学習アーキテクチャ、およびトランスフォーマアーキテクチャのうちの少なくとも1つを含む。
【図面の簡単な説明】
【0011】
【
図1】治療前の定量的超音波(QUS)マルチパラメータ撮像を用いて、ネオアジュバント化学療法(NAC)に対する乳癌応答を予測するための、全体システムアーキテクチャ10の上位レベル図を示す。
【
図2】治療前の定量的超音波(QUS)マルチパラメータ撮像を用いた、ネオアジュバント化学療法(NAC)に対する乳癌応答のための、例示的なステップの概略を示すフローチャートを示す。
【
図3a-3c】
図3aは、特徴および予測ネットワークを実証する、応答予測のための深層学習フレームワークのスキームを示す。
図3bは、残差モジュール(residual module)を実証する、応答予測のための深層学習フレームワークのスキームを示す。
図3cは、注意モジュール(attention module)を実証する、応答予測のための深層学習フレームワークのスキームを示す。
【
図4a-4r】
図4aおよび
図4bは、超音波Bモード画像を示す。
図4c~
図4fは、NACに対する代表的な応答者および非応答者から治療前に取得されたBモード画像に対するMBFのパラメータオーバレイを示し、関連付けられたPDAマップは、ネットワークの決定に対する各パラメータ画像内の様々な領域の影響のレベルを視覚化し(表2におけるモデル4)、腫瘍核は、白い破線で輪郭を示している。
図4g~
図4jは、NACに対する代表的な応答者および非応答者から治療前に取得されたBモード画像に対するSIのパラメータオーバレイを示し、関連付けられたPDAマップは、ネットワークの決定に対する各パラメータ画像内の様々な領域の影響のレベルを視覚化し(表2におけるモデル4)、腫瘍核は、白い破線で輪郭を示している。
図4k~
図4nは、NACに対する代表的な応答者および非応答者から治療前に取得されたBモード画像に対するESDのパラメータオーバレイを示し、関連付けられたPDAマップは、ネットワークの決定に対する各パラメータ画像内の様々な領域の影響のレベルを視覚化し(表2におけるモデル4)、腫瘍核は、白い破線で輪郭を示している。
図4o~
図4rは、NACに対する代表的な応答者および非応答者から治療前に取得されたBモード画像に対するACのパラメータオーバレイを示し、関連付けられたPDAマップは、ネットワークの決定に対する各パラメータ画像内の様々な領域の影響のレベルを視覚化し(表2におけるモデル4)、腫瘍核は、白い破線で輪郭を示している。
【
図5a-5b】代表的な患者から得られた手術標本の組織病理学的画像を示す。
【
図6a-6d】表2における予測モデル1~4を用いて治療前に特定された検証セットおよび独立試験セットにおける応答性および非応答性患者について生成されたROC曲線を示す。
【
図7a-7e】治療後に、臨床的および組織学的判断基準に基づいて、および治療前に、表2に提示す4つの予測モデルを用いて特定された、応答者および非応答者の10年間無再発生存曲線を示す。
【発明を実施するための形態】
【0012】
以下、添付の図面を参照して詳細に説明する。図面および下記説明では、可能な限り、同一の参照符号が、同一または類似の要素を指すのに用いられる。本開示に係る実施形態が説明され得るが、変更、適合、および他の実施態様が可能である。例えば、図面に例示の要素に対して、置換、追加、または変更が可能であり、本明細書に記載の方法は、段階の置換、順序変更、または追加によって、開示す方法に対し変更可能である。よって、以下の詳細な説明は、本開示を限定するものではない。本開示の適切な範囲は、添付の特許請求の範囲によって定義される。
【0013】
また、本明細書に示し記載する特定の一実施態様は、本発明の例示であり、本発明の範囲の適用範囲をいかなる形であれ制限することを意図したものではない。実際に、簡略化のために、個々の動作構成要素の或る特定の部分構成要素、およびシステムの他の機能的態様は、本明細書に詳細に説明されない場合がある。さらに、本明細書に含まれる様々な図面に示す接続線は、様々な要素間の例示的な機能的関係および/または物理的結合を表すように意図される。多くの代替的な形態または追加の機能的関係または物理的接続は、実際のシステムにおいて存在する場合があることに留意されたい。
【0014】
図1を参照し、治療前の定量的超音波(QUS)マルチパラメータ撮像を用いて、ネオアジュバント化学療法(NAC)に対する乳癌応答を予測するための、全体システムアーキテクチャ10の上位レベル図を示す。画像は、1つまたは複数の撮像システム14から取得されてもよく、X線撮像システム、CT走査撮像システム、超音波撮像システム、MRI撮像システム、核医学撮像システム等の医用撮像機器を含んでもよい。1つまたは複数の撮像システム14によって捕捉された画像12は、デジタル表現としてレンダリングされ、コンピューティングデバイス16に記憶される。コンピューティングデバイス16は、グラフィック処理ユニット(GPU)等の1つまたは複数の処理ユニットを含んでもよい。1つの例において、コンピューティングデバイス16は、ネオアジュバント化学療法(NAC)、に対する乳癌応答を予測し、周辺スクリーン上でグラフィカルユーザインタフェース20またはカスタマイズされたプラグインを介して結果を出力するためのモデルを実施する。
【0015】
コンピューティングデバイス16は、画像12の記憶のための画像レポジトリ30を含む。画像レポジトリ30は、コンピュータ可読媒体、例えばハードディスクでもよい。代替的に、取得された画像14は、ストレージサーバ18またはコンピューティングクラウドに記憶されてもよい。画像レポジトリ30は、分析のための患者の画像、および/または以前に分析されおよび/または注釈を付けられたトレーニング画像も含んでもよい。
【0016】
用語「コンピューティングデバイス」は、データ処理ハードウェアを指し、例えば、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するためのあらゆる種類の装置、デバイス、およびマシンを包含する。装置は、専用論理回路部、例えば中央処理ユニット(CPU)40、GPU41(グラフィック処理ユニット)、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)とすることもでき、またはこれらを更に含むことができる。いくつかの実施態様において、データ処理装置および/または専用論理回路部は、ハードウェアベースおよび/またはソフトウェアベースでもよい。この装置は場合により、コンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの1つもしくは複数の組み合わせを構成するコードを含むことができる。
図1では、単一のCPU40を示しているが、コンピューティングデバイス16の特定の需要、要望、または特定の一実施に従って、2つ以上の処理ユニットが用いられてもよい。通常、GPU41は命令を実行し、データを操作して、コンピューティングデバイス16の動作を実行する。例えば、GPU41は、深層学習方法に関する計算を加速するように実施される。
【0017】
メモリ42は、コンピューティングデバイス16、および/またはシステム10の他の構成要素のためのデータを記憶する。
図1には単一のメモリ42が示しているが、コンピューティングデバイス16の特定のニーズ、要望、または特定の一実施に従って、2つ以上のメモリが用いられてもよい。メモリ42は、コンピューティングデバイス16の一体コンポーネントとして図示しているが、代替的な一実施態様にて、メモリ42は、コンピューティングデバイス16および/またはシステムの外部にあり得る。例えば、メモリ42は、コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体(適宜、一時的、または非一時的)を含み、例として、半導体メモリデバイス、例えば、消去可能プログラマブルリードオンリーメモリ(EPROM)、電気的消去可能プログラマブルリードオンリーメモリ(EEPROM)、およびフラッシュメモリデバイス、磁気ディスク、例えば、内蔵ハードディスクまたはリムーバブルディスク、光磁気ディスク、ならびにCD-ROM、DVD+/-R、DVD-RAM、DVD-ROMディスク、およびブルーレイディスクを含む、全ての形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。メモリ42は、ビジネスおよび/または動的情報、ならびに任意のパラメータ、変数、アルゴリズム、モデル、命令、ルール、制約、またはその参照を含む任意の他の適切な情報を記憶する、キャッシュ、クラス、フレームワーク、アプリケーション、バックアップデータ、ジョブ、ウェブページ、ウェブページテンプレート、データベーステーブル、レポジトリを含む、様々なオブジェクトまたはデータを記憶できる。加えて、メモリは、ログ、ポリシ、セキュリティまたはアクセスデータ、報告ファイルおよび他のもの等の任意の他の適切なデータを含んでもよい。プロセッサ40およびメモリ42は、専用論理回路によって補完するか、または専用論理回路に組み込むことができる。
【0018】
一例にて、メモリ42におけるアプリケーションは、特に、ネオアジュバント化学療法(NAC)に対する乳癌の応答を予測するためのモデリング計算を処理するために必要な機能に関して、コンピューティングデバイス16の特定の需要、要求または特定の一実施に従って機能を提供するアルゴリズム命令を含む。
【0019】
コンピューティングデバイス16は、キーパッド、キーボード、タッチスクリーン、マイクロフォン、音声認識デバイス、ユーザ情報を受理できる他のデバイス等の入力デバイス、ならびに/またはデジタルデータ、視覚および/もしくはオーディオ情報もしくはGUI20を含む、コンピューティングデバイス16の動作に関連付けられた情報を伝達する出力デバイスを接続できる入力/出力モジュール43を含むことができる。
【0020】
コンピューティングデバイス16は、コンピューティングデバイス16の特定の需要、要求または特定の一実施に従って用いられる、I/Oモジュール43の一部としてのインタフェースを含む。インタフェースは、ネットワーク44に接続された分散環境において他のシステムと通信するためのコンピューティングデバイス16によって用いられる。一般に、インタフェースは、適切な組み合わせでソフトウェアおよび/またはハードウェアで符号化され、ネットワーク44と通信するように動作可能なロジックを含む。より具体的には、インタフェースは、通信に関連する1つまたはそれ以上の通信プロトコルをサポートするソフトウェアを含むことができる。コンピューティングシステムの様々な構成要素は、アドレスバス、データバス、制御バスおよび周辺バス等の相互接続手段45によって接続される。
【0021】
クライアント端末46(例えば、遠隔に位置する放射線ワークステーション)は、ネオアジュバント化学療法(NAC)に対する乳癌の応答に関するサービスを要求し、通信ネットワーク44を介して結果にアクセスできる。したがって、コンピューティングデバイス16は、サービスとしてのソフトウェア(SaaS)をクライアント端末46に提供し、またはローカルダウンロード用のアプリケーションをクライアント端末46に提供し、および/またはウェブブラウザ等を介してリモートアクセスセッションを用いて、機能をクライアント端末46に提供できる。したがって、注釈付けされた医用データは、クライアント端末46からオンデマンドベースで医師にアクセス可能であり得る。システム10は、リンケージ、ならびに医用画像、ライブラリ、モデルおよびルール等の他のデータを記憶するデータ構造を含む、1つまたは複数のデータセットを維持するように構成されたデータストレージ47も含むことができる。データストレージ47は、数ある中でも、リレーショナルデータベース、フラットデータストレージ、非リレーショナルデータベースであってもよい。
【実施例】
【0022】
1つの研究として、QUSスペクトルマルチパラメータ画像に対するDCNN方法の有効性が、治療の開始前にNACに対するLABC応答を予測するために調査された。QUSスペクトルパラメータ画像が、治療前に、181人のLABC患者から取得された超音波データを用いて生成された。NACに対する患者の応答は、標準的な臨床的および病理学的基準を用いて手術の後に特定され、予測モデルの性能を評価するためのグラウンドトゥルースとして用いられた。データセットは、トレーニングセットと、独立した試験セットとにランダムに分割された。RAN[47]およびResNet[48]を含む異なるDCNNアーキテクチャが、展開されたフレームワークにおける特徴抽出のために調査された。実験のセットにおいて、腫瘍核から、ならびに核およびその境界から特徴マップが抽出された。異なる腫瘍断面における特徴を平均化した後、全結合ネットワークが応答予測のために利用された。
【0023】
[研究プロトコル]
研究は、サニーブルック保健科学センター(Sunnybrook Health Sciences Centre)(SHSC)、カナダ、Torontoの施設研究倫理委員会の認可によるガイドラインおよび規則に従って実施された。研究は、18~85歳のLABCと診断され、NAC、続いて手術が計画された全ての女性に開かれていた。181人の適格患者を、書面のインフォームドコンセントを得た後に研究に採用した。癌診断を確認し、腫瘍をグレード分類するために、各患者について核針生検が行われた。各患者について、罹患した乳房の磁気共鳴(MR)画像を用いて初期腫瘍サイズが決定された。NACの開始前に、標準化プロトコルに続いて、患者(腕が頭部より上にある仰臥位)から超音波Bモード画像および無線周波数(RF)データが取得された。3人の熟練した超音波検査者が超音波データの取得を担当した。NACの場合、患者の62.9%がドキソルビシン、シクロホスファミドを受け、その後パクリタキセル/ドセタキセルを受け(AC-T/D)、32.6%が5-フルオロウラシルエピルビシン、シクロホスファミド、その後ドセタキセルで処置され(FEC-D)、4.5%がパクリタキセルおよびシクロホスファミド(TC)で処置された。HER2+腫瘍を有する患者もトラスツズマブを受けた。患者は、治療後最大10年フォローアップされ、患者の臨床データが生存分析のために記録された。181人の患者のうち、約30%(n=50)が層化抽出法を通じてランダムに選択され、独立試験セットとして、未観測のまま保持され、残りの患者(n=131)はトレーニングセットとみなされ、予測モデルを展開および最適化するのに用いられた。
【0024】
[臨床的および病理学的な応答評価]
機関のガイドラインに従って、全ての患者がネオアジュバント化学療法の完了後に乳房手術を受けた。手術前に、残存腫瘍(residual tumor)のサイズがMRIを用いて決定された。NACに対する腫瘍の病理学的な応答を評価するために、標準的な組織病理学が手術標本に対し実行された。標本は、ヘマトキシリンおよびエオジン(H&E)を用いて染色され、可能な場合、全載5’’×7’’病理スライドにおいて調製された。載せられたスライドは、共焦点スキャナ(TISSUEscope、Huron Technologies、オンタリオ州Waterloo)を用いてデジタル化された。研究結果に盲目に保たれた有資格の病理学者が全ての病理学試料を検査した。固形腫瘍における応答評価基準(RECIST)[49]および組織病理学的判断基準[39][50]に基づく改変応答(MR)グレード分類システムを用いて、上述のように[51]、患者が応答者および非応答者の2つの群へと分類された。MRグレード分類システムにおいて、MRスコアは以下のように定義される。MR1:腫瘍サイズの縮小なし、MR2:腫瘍サイズの30%未満の縮小、MR3:腫瘍サイズの30%~90%の縮小または非常に低い残存腫瘍細胞充実性の組織病理学的な決定、MR4:腫瘍の90%を超える縮小、MR5:明白な腫瘍なしかつ腫瘍の部位からの切片中に同定可能な悪性細胞なし(乳管上皮内癌は存在し得る)。この研究において、1~2のMRスコア(腫瘍サイズの30%未満の縮小)を有する患者が非応答者とみなされ、3~5のMRスコア(腫瘍の30%以上の縮小または非常に低い残存腫瘍細胞充実性)を有する患者が応答者として決定された。これに従って、138および43人の患者がそれぞれ応答者および非応答者として特定された。
【0025】
図2に、治療前の定量的超音波(QUS)マルチパラメータ撮像を用いて、ネオアジュバント化学療法(NAC)に対する乳癌応答を予測するための、例示的なステップの概略を示すフローチャート200を示す。
【0026】
[データ取得]
ステップ202において、撮像システム14を用いて超音波RFデータが取得された。例えば、撮像システム14は、RFを可能にしたSonix RPシステム(商標)(Ultrasonix(商標)、カナダ、Vancouver)およびL14-5/60トランスデューサである。1つの例において、トランスデューサが、3~8MHzの-6dB帯域幅を有する約6MHzの中心周波数で動作され、RFデータが、40MHzのサンプリング周波数を用いて取得され、16ビット分解能でデジタル化された。各腫瘍について、超音波データが、乳房を横切る4~7個の画像平面で、およそ1cm間隔で取得された。焦点深度は、個々の患者の状況に応じて腫瘍の中心に設定された。超音波走査のための乳房領域は、患者の物理的検査により取得走査平面を決定した腫瘍学者によって指定されてもよい(ステップ204)。1つの例において、横方向および軸方向に沿った画像サイズは、それぞれ6cmおよび4~6cmであった。
【0027】
[QUSパラメータマップの生成]
ステップ206において、定量的超音波(QUS)技法を用いて、ネオアジュバント化学療法に対する乳癌の応答を予測および監視するためのパラメータマップが生成された。パラメータ画像を生成し、スライディングウィンドウ分析(後述)と併せてQUSスペクトル分析を実行し、MBF、SI、ESD、およびパラメータを導出した[23]、[24]。分析ウィンドウの全ての走査線について計算されたハニングでゲーティングしたRFデータのフーリエ変換にわたる平均化によって、平均パワースペクトルが得られた。基準ファントム法を用いて、平均パワースペクトルを正規化して、システム伝達関数およびトランスデューサービーム形成の効果を除去した[52]、[53]。基準ファントムは、ゼラチン中で微視的油滴の均一背景に包埋した5~30μmの直径のガラスビーズから構成されていた(医学物理学部(Medical Physics Department)、ウィスコンシン大学、米国)。基準ファントムは、0.576dB/MHz.cmの減衰係数および1488m/秒の音速パラメータを有していた。MBFおよびSIパラメータは、トランスデューサの-6dB帯域幅内の直線回帰分析を用いて推定された[23]、[54]、[55]。ESDおよびEACパラメータは、球状ガウス形状因子モデルを推定後方散乱係数に当てはめることによって導出された[56]、[57]。
【0028】
腫瘍ごとにQUSパラメータマップを生成するために、関連付けられたBモード画像を用いて、各走査平面において、専門の腫瘍学者の監督下でトレーニングを受けたスタッフにより、腫瘍核が手動で輪郭を描かれた。腫瘍境界の輪郭は、以前の研究の観察に基づいて、核の周りで5mmの厚さで自動的に生成された[39]。次に、関心領域(腫瘍核および境界)全体にわたるスライディングウィンドウ分析を用いて、2mm×2mmのサイズのウィンドウならびに横方向および軸方向の両方に95%のオーバラップを用いて、腫瘍の全ての撮像平面についてパラメータマップが生成された。各ウィンドウについて計算されたパラメータは、その中心に割り当てられた。スライディングウィンドウサイズは、スライディングウィンドウが、生成されるパラメータマップにおけるテクスチャを保持しながら、スペクトル分析のために軸方向における十分な超音波波長をカバーするように、等方性ピクセルを得るためのオーバラップサイズを有して選択された[58][59]。
【0029】
[深層学習モデル]
ステップ208において、応答予測のための深層学習フレームワークによってパラメータマップが受信された。
図3a~
図3cに、例示的な深層学習フレームワークのスキームを示す。例示的な一実施態様にて、深層学習フレームワークは、応答予測のために全結合ネットワークを用いて、パラメータ画像から最適特徴マップを抽出するための残差ネットワーク(ResNet)および残差注意ネットワーク(RAN)を含む2つのカスケード接続されたネットワークを含む。特徴マップは、腫瘍核のみから、ならびに核およびその境界から導出された。第1のネットワークは、バックボーンとしていくつかの畳み込み層を有する、QUSパラメータ画像から最適特徴マップを抽出するように適合された深層畳み込みニューラルネットワーク(DCNN)であり、本文書において、特徴ネットワークと呼ばれる。変更された残差ネットワークバージョン101(ResNet)[48]および変更された残差注意ネットワークバージョン56(RAN)[47]を含む2つの主要アーキテクチャが、この研究において、特徴ネットワークのバックボーンとして調査された。
図3a~
図3cに、応答予測のために最適特徴マップを抽出するために単一のパラメータ画像に対しこのネットワークをトレーニングする際に適用される、特徴ネットワークにおける畳み込み層(バックボーン)の後の全結合層を示す。また、
図3a~
図3cに、残差および注意モジュールを有する適合されたResNetおよびRANアーキテクチャを示す。ResNetアーキテクチャにおいて適用される残差モジュールにおいて、畳み込み層は、アイデンティティブランチを通じてスキップされ得る。この戦略は、ResNet等の超深層ネットワークが、過剰適合を回避し、未観測の試料に対し改善された性能を達成することを可能にする。RANアーキテクチャにおいて適用される注意モジュールにおいて、トランクブランチは、ネットワークを通過させることができる情報を決定するのに対し、マスクブランチは、通過されるべきトランクブランチからの情報量を決定する。したがって、モジュールは、より高い重量を有する重要な情報を通過させ、ネットワークの出力におけるより重要でない情報の影響を低減することが可能である。
【0030】
図3a~
図3cに示すように、特徴ネットワークから得られた最適化された特徴マップは、各腫瘍に関連付けられた全てのパラメータ画像にわたって平均化され、その後、患者レベル(以下で更に説明する)における応答予測のために適合された第2の全結合ネットワーク(予測ネットワーク)において用いられる(ステップ210)。予測ネットワークは、平坦化された特徴ベクトル(256)と同じサイズを有する入力層、100個のニューロンを有する中央層、および2の出力サイズを有する端部のソフトマックス層との2つの全結合層からなり、各患者について、応答カテゴリ(応答者対非応答者)の確率を予測する。このネットワークの第1および第2の層の後にドロップアウト層が加えられ、過剰適合を回避し、その汎化性能を向上させる。
【0031】
[前処理およびモデルトレーニング]
モデルをトレーニングする前に、パラメータ画像が前処理され、畳み込みモデルについて調整された(ステップ212)。トレーニングセットの約25%(31人の患者)が、ネットワークハイパーパラメータを最適化するための検証セットとしてランダムに選択された。パラメータ画像は、512×512ピクセルのサイズに再サンプリングされた。次に、トレーニングセットのパラメータ画像におけるピクセル値が、トレーニング収束を促進するために、(0 1)に正規化された。検証および試験セットの正規化のために、トレーニングセット正規化パラメータが用いられた。ネットワークトレーニングを改善し、比較的小さなトレーニングデータセットを有する問題を回避するために、トレーニングセットに対しデータ拡張が適用された。トレーニングデータを拡張するために、水平方向においてフリップすること、ならびに水平方向および垂直方向の双方においてシフトすること(画像サイズの最大シフト:30%)が確率的に適用された。
【0032】
次に、ステップ214において、特徴ネットワークは、モデルトレーニングの第1のステップにおいて、単一のQUSパラメータ画像のための最適特徴マップを生成するようにトレーニングされた。特徴ネットワークをトレーニングするために、トレーニングセットのパラメータ画像がネットワークにフィードされる一方で、各腫瘍の異なる撮像平面が、出力として腫瘍応答を有する独立した入力とみなされた。各撮像平面の最適特徴マップは、その対応するパラメータ画像をトレーニングされた特徴ネットワークにフィードすることによって取得された。患者ごとに、最適特徴マップは、1Dベクトルに平坦化された、腫瘍の全ての2D撮像平面について計算され、その後、全腫瘍体積にわたって平均化され、予測ネットワークにおいて用いられた、256×1のサイズを有する平均特徴ベクトルが得られた。この戦略は、様々なサイズ、したがって異なる数のQUSパラメータ画像を有する異なる腫瘍についてネットワークの入力サイズを標準化するために適用された。次に、ステップ216において、予測ネットワークは、トレーニングセットにおける患者に関連付けられた、平均化された特徴ベクトルを用いてトレーニングされ、応答予測のために、独立した試験セットにわたって評価された。ネットワークをトレーニングするために、データセット内の不均衡を計上するために非応答者対応答者についてC:1(C≧1;以下に説明するように最適化される)のコスト重み比を用いて、クロスエントロピーが損失関数として用いられた。ドロップアウト率(範囲:0.3~0.7)、隠れ全結合層の幅(範囲50~300)、学習率(範囲:0.1~0.00001)、コスト重量(範囲:1≦C≦10)およびバッチサイズ(範囲4~16)を含むネットワークハイパーパラメータが、検証セットを用いて最適化された。Adamおよび確率的勾配降下(SGD)法間でネットワークトレーニング最適化器を選択するために、検証セットを用いて予備実験が行われ、ここで、Adam最適化器が選択され、適用された[60]。モデルをトレーニングするための最適ハイパーパラメータは、以下の通りである:ドロップアウト率=0.5、学習率=0.0001、コスト重み=5、バッチサイズ=8。トレーニングプロセス中に検証セットに対するネットワークの性能を監視することによって過剰適合を回避するために早期停止が用いられた。
【0033】
[応答予測およびリスク評価]
DCNNフレームワークおよびその性能に対する入力が応答予測において比較される際、異なる実験において、腫瘍核のQUSマルチパラメータ画像(MBF、SI、ESDおよびEAC)、ならびに核およびその境界が調査された。異なる特徴ネットワークを有する深層学習モデルがトレーニングされ、トレーニングセットを用いて最適化された。最適化されたモデルの性能は、精度、感度、特異度およびROC分析を用いて、独立試験セットに対し評価された(ステップ218)。この研究において、感度は、非応答者として予測された非応答の比率を指し、特異度は、モデルによって応答者として正しく予測された、応答性患者の比率を指す。予測差分析(PDA)は、ネットワークの決定に対する入力QUSパラメータ画像の異なる領域の重要性を視覚化するために実行された[61]。この研究において適用された変更されたPDA手順の各々において、入力パラメータ画像のうちの1つの小さなパッチ(隣接パッチ間で50%のオーバラップを有する8×8のピクセル)が遮蔽された(ピクセル値がゼロにセットされた)。次に、モデルの予測(出力確率)における絶対的変化が、元のパラメータ画像の入力の場合と比較して計算され、ネットワークの決定に対する遮蔽されたパッチの影響とみなされた(ステップ220)。PDAマップは、画像にわたって遮蔽パッチを摺動させ、中心に推定される影響を割り当てることによって、各入力パラメータ画像について生成された。
【0034】
異なる再発のない生存を有するLABC患者を差別化する際の、展開された予測モデルの有効性が、Kaplan-Meier生存分析を通じて評価された。生存曲線は、治療前の各モデルの予測に基づいて、および治療後に臨床的および病理組織学的判断基準に基づいて特定された、応答者および非応答者について生成された。各実験において得られた2つの応答コホートの生存曲線間の統計的に有意な差について評価するために、ロングランク試験が適用された。
【0035】
[結果]
表1に、関与する患者の臨床的および病理組織学的特性を表す。患者は、5.2cmの平均初期腫瘍サイズ、および治療の終了時に2.5cmの平均残差腫瘍サイズを有した。MRグレード分類システムを用いると、治療の終了時に、患者の76.2%および23.8%がそれぞれ応答者および非応答者として特定された。
【0036】
【0037】
図4a~
図4rに、それぞれ代表的な応答性および非応答性患者から得られた超音波Bモード画像上に重ね合わされたMBF、SI、ESDおよびEACのQUSパラメータマップを示す。これらの代表的な画像において観測されるように、応答性および非応答性患者に関連付けられたQUSパラメータマップは、腫瘍核および境界内のピクセル値の異なる平均および空間パターンを実証した。図中には、応答予測についてのネットワークの決定に対する各画像内の異なる領域の相対的影響を視覚化する、これらのパラメータ画像に関連付けられたPDAマップも示す。
図5aおよび
図5bに、代表的な応答性および非応答性患者から取得された手術標本のH&E染色組織病理学画像を示す。応答性患者において、組織病理学的スライドにおいて明らかであるように、化学療法後、最小の腫瘍細胞性が腫瘍床内に留まった。対象的に、非応答性患者の組織病理学的画像は、通常、最小の化学療法効果で大きな残存疾患エリアを示した。
【0038】
表2に、検証および独立試験セットに対する異なる実験における応答予測結果を示す。
図6a~
図6dに、異なる予測モデルについての検証および試験セットに関連付けられたROCを示す。ResNetアーキテクチャをモデルのバックボーンとして用いて腫瘍核のパラメータ画像から特徴マップを抽出することにより、独立試験セットにおける0.77のAUCが得られた。入力パラメータ画像を、腫瘍核およびその境界を含めるように拡張することにより、このモデルのAUCが0.83に改善した。
【0039】
【0040】
RANアーキテクチャを用いて腫瘍核のパラメータ画像から抽出された特徴を適用することにより、結果として、独立した試験セットにおける80%の精度、および0.82のAUCが得られた。特徴抽出器としてResNetアーキテクチャを有するモデルと同様に、このモデルの全体性能は、入力パラメータ画像を、腫瘍境界を含むように拡張することによって改善した。特に、このモデルの結果として、独立した試験セットに対し、それぞれ88%および0.86の精度およびAUCで最良の予測性能が得られた。全てのモデルは、検証および試験セットに対し比較的類似の性能を実証した。これは、未観測の試料に対しトレーニングされたモデルの良好な汎用性を暗に意味する。
【0041】
図7a~
図7eに、治療後に、臨床的および組織学的判断基準に基づいて、および治療前に、表2に提示す4つの予測モデルを用いて特定された、応答者および非応答者の10年間無再発生存曲線を示す。生存分析は、治療後に特定された、応答者および非応答者の生存曲線間に統計的に有意な差(p値=0.030)を実証した。治療前に予測される応答コホートのうち、RANを特徴ネットワークとして有する予測モデルを用いて特定されたものは、統計的に有意な差を実証するか、または有意性に接近した。特に、腫瘍核のパラメータ画像を入力するモデルが有意な差(p値=0.058)に接近したのに対し、腫瘍境界まで延びた入力パラメータ画像を有するモデルは、2つの予測コホートの生存間の統計的に有意な差(p値=0.040)を実証した。治療前に他の2つのモデルによって特定された応答は、生存において有意な差を示さなかった。
【0042】
更に別の一実施態様において、テンソル処理ユニット(TPU)がGPU41に対する代替として用いられてもよく、これにより、モデルが実質的により高速で平滑な方式で実行されることが可能になる。TPUは、特にニューラルネットワーク機械学習のためのAIアクセラレータ特定用途向け集積回路(ASIC)である。
【0043】
本明細書に記載の主題および機能動作の実施は、デジタル電子回路で、有形に具現化されたコンピュータソフトウェアまたはファームウェアで、本明細書に開示の構造およびそれらの構造的均等物を含むコンピュータハードウェアで、またはそれらの1つもしくは複数の組合せによって、実施できる。本明細書に記載の主題の実施は、1つまたは複数のコンピュータプログラム、すなわち、データ処理装置による実行またはデータ処理装置の動作の制御のために有形非一時的コンピュータ記憶媒体上で符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実施できる。代替的に、または加えて、プログラム命令は、人工的に生成された伝播信号、例えばデータ処理装置による実行に適した受信機装置への伝送のために、情報を符号化するために生成される機械生成電気信号、光信号、または電磁信号において符号化できる。コンピュータストレージ媒体は、機械可読ストレージデバイス、機械可読ストレージ基板、ランダムもしくはシリアルアクセスメモリデバイス、またはそれらのうちの1つ以上の組み合わせとすることができる。
【0044】
プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、もしくはコードとも称され得る、またはそれらとして記述され得る、コンピュータプログラムは、コンパイル型言語もしくはインタープリタ型言語、または宣言型言語もしくは手続き型言語を含む任意の形式のプログラム言語で書かれ得て、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境で使用するのに適切な他のユニットとして配置することを含む任意の形式で配置され得る。コンピュータプログラムは、ファイルシステムの中のファイルに対応できるが、これは必須ではない。プログラムは、他のプログラムもしくはデータを保持するファイルの一部、例えば、マークアップ言語のドキュメントに記憶された1つもしくは複数のスクリプト、問題にしているプログラムに専用の単一のファイル、または複数の組織されたファイル、例えば、1つもしくは複数のモジュール、サブプログラム、もしくはコードの一部を記憶するファイルに記憶できる。コンピュータプログラムは、1つのコンピュータ上で、または1つの場所に置かれるか、もしくは複数の場所に分散され、通信ネットワークによって相互に接続される複数のコンピュータ上で実行されるように配置できる。様々な図に示すプログラムの部分は、様々なオブジェクト、方法、または他のプロセスを介して様々な構成および機能を実施する個々のモジュールとして示すが、プログラムは代わりに、適宜、いくつかのサブモジュール、サードパーティサービス、コンポーネント、ライブラリ等を含んでもよい。逆に、様々なコンポーネントの構成および機能は、適宜単一のコンポーネントに組み合わせることができる。
【0045】
本明細書に記載のプロセスおよび論理フローは、入力データに対して動作し、出力を生成することによって機能を実行するために、1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラマブルコンピュータによって実行できる。プロセスおよび論理フローは、専用論理回路、例えば、CPU、GPU、FPGA、またはASICによって実行することもでき、装置は、専用論理回路として実施することもできる。
【0046】
ユーザとのインタラクションを提供するために、本明細書に記載の主題の実施態様は、ユーザに対して情報を表示するためのディスプレイデバイス、例えば、CRT(陰極線管)またはLCD(液晶ディスプレイ)、LED(発光ダイオード)、またはプラズマモニタ、ならびにユーザがコンピュータに入力を与えることができるキーボードおよびポインティングデバイス、例えば、マウス、トラックボール、またはトラックパッドを有するコンピュータ上で実施できる。また、入力は、圧力感度を有するタブレットコンピュータ表面、静電容量または電気センシングを用いるマルチタッチスクリーン、または他のタイプのタッチスクリーン等のタッチスクリーンを用いてコンピュータに提供することもできる。他の種類のデバイスを用いて、ユーザとのインタラクションを提供することもできる。例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックとすることができ、ユーザからの入力は、音響、発話、または触覚による入力を含む任意の形態で受信できる。
【0047】
用語「グラフィカルユーザインタフェース」、すなわち「GUI」は、単数形または複数形において、1つまたはそれ以上のグラフィカルユーザインタフェースおよび特定のグラフィカルユーザインタフェースの各表示を記述するために使用できる。GUIは、情報を処理し、その情報結果をユーザに効率的に提示する、ウェブブラウザ、タッチスクリーン、またはコマンドラインインタフェース(CLI)を含むが、これらに限定されない、任意のグラフィカルユーザインタフェースを表すことができる。一般に、GUIは、複数のユーザインタフェース(UI)要素を含むことができ、いくつかまたは全てが、ユーザによって動作可能なインタラクティブフィールド、プルダウンリスト、ボタン等のウェブブラウザに関連する。これらおよび他のUI要素は、ウェブブラウザの機能に関連するか、またはそれを表すことができる。
【0048】
本明細書に記載の主題の実施態様は、例えばデータサーバとしてバックエンドコンポーネントを含むか、ミドルウェアコンポーネント、例えばアプリケーションサーバを含むか、フロントエンドコンポーネント、例えばユーザが本明細書に記載主題の実施とインタラクトできるグラフィカルユーザインタフェース、またはウェブブラウザを有するクライアントコンピュータを含むか、または1つまたは複数のそのようなバックエンドコンポーネント、ミドルウェアコンポーネントもしくはフロントエンドコンポーネントの任意の組合せを含むコンピューティングシステムにおいて実施できる。システム10のコンポーネントは、有線および/またはワイヤレスデジタルデータ通信、例えば通信ネットワーク44の任意の形態または媒体によって相互接続できる。通信ネットワークの例としては、ローカルエリアネットワーク(LAN)、無線アクセスネットワーク(RAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、ワイマックス(Worldwide Interoperability for Microwave Access、WIMAX)、例えば、802.11a/b/g/nもしくは802.20を用いるワイヤレスローカルエリアネットワーク(WLAN)、インターネットの全部もしくは一部、および/または1つもしくは複数の場所にある任意の他の単数もしくは複数の通信システム、ならびに自由空間光学ネットワークを含む。ネットワークは、例えば、インターネットプロトコル(IP)パケット、フレームリレーフレーム、非同期転送モード(ATM)セル、音声、ビデオ、データ、および/またはネットワークアドレス間の他の適切な情報を用いて通信できる。
【0049】
コンピューティングシステムは、パブリッシャ/サブスクライバアプリケーションを実行する、クライアントおよびサーバおよび/またはモノのインターネット(IOT)デバイスを含むことができる。クライアントおよびサーバは一般に、互いに離れた場所にあり、典型的には、通信ネットワークを介してインタラクトする。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行される、互いにクライアント-サーバ関係を有するコンピュータプログラムにより生じる。
【0050】
システム10に関連した、またはシステム10の外部の、ネットワーク44を介して通信する任意の数のコンピュータが存在できる。さらに、用語「クライアント」、「ユーザ」、および他の適切な用語は、本開示の範囲から逸脱することなく、適宜交換可能に用いることができる。
【0051】
別の一実施態様において、システム10は、ユーザ(シンクライアントの操作者)によるサービスプロバイダとのインタラクションを含む、最小限のリソース管理労力で、またはリソース管理労力なしで迅速にプロビジョニングおよび解放できる構成可能なコンピューティングリソース(例えば、サーバ、ストレージ、アプリケーションおよび/またはサービス)の共有プールにオンデマンドネットワークアクセスを提供することによって、クラウドコンピューティングモデルに従う。
【0052】
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性および動作を示す。なお、フローチャートまたはブロック図の各ブロックは、指定される論理機能を実装するための1つまたは複数の実行可能命令を含む、命令のモジュール、セグメント、または部分を表すことができる。いくつかの代替の実装形態では、ブロックに記載されている機能は、図に記載されている順序とは異なる順序で行われてもよい。例えば、連続して示している2つのブロックは、関与する機能性に応じて、実際には実質的に同時に実行されてよく、またはそれらのブロックは場合によっては逆の順序で実行されてもよい。ブロック図および/またはフローチャート図の各ブロック、およびブロック図および/またはフローチャート図におけるブロックの組合せは、指定される機能もしくは動作を実行するか、または専用ハードウェアとコンピュータ命令との組合せを遂行する専用ハードウェアベースのシステムによって実施され得ることにも留意されたい。
【0053】
特定の一実施形態に関して、有用性、他の利点および問題の解決手段が上述されてきた。しかしながら、利益、利点、課題に対する解決策、および、任意の利益、利点、または解決策が起こるかまたはより顕著になることを引き起こすことができる任意の要素は、任意のまたは全ての請求項の重要な、必要な、または必須の特徴または要素として解釈されるべきではない。本明細書において用いられるとき、「含む(comprises)」、「含んでいる(comprising)」という用語、またはこれらの任意の変形は、要素リストを含むプロセス、方法、物品、または装置がこれらの要素のみを含むのではなく、明示的に列挙されていない他の要素またはこのようなプロセス、方法、物品、もしくは装置に固有の他の要素を含み得るように、非排他的な包含を含むことが意図される。さらに、本明細書に記載のいずれの構成要素も、「不可欠」あるいは「必須」と明示的に記載されていない限り、必ずしも本発明の実施に必要なものではない。
【0054】
上述した本発明の例示的な実施形態の説明は、説明のために例示的な実施形態を示す添付の図面を参照する。これらの例示的な実施形態は、当業者が本発明を実施できる程度に詳細に記載されているが、他の一実施形態も実現され得ること、ならびに、本発明の趣旨および範囲から逸脱することなく、論理的および機械的変更を行い得ることを理解すべきである。例えば、任意の方法またはプロセス請求項内に示されたステップは、任意の順序で実施することができ、提示の順序に限定されるものではない。上記の詳細な説明は説明の目的のみであり、限定の目的ではなく、本発明の範囲は、上記の説明によって、添付の特許請求の範囲に関して定義される。
【0055】
[参考文献]
[1] H. Sung et al., “Global cancer statistics 2020: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries,” CA. Cancer J. Clin., Feb. 2021, doi: 10.3322/caac.21660.
[2] F. Bray, J. Ferlay, I. Soerjomataram, R. L. Siegel, L. A. Torre, and A. Jemal, “Global cancer statistics 2018: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries,” CA. Cancer J. Clin., vol. 68, no. 6, pp. 394-424, Nov. 2018, doi: 10.3322/caac.21492.
[3] S. H. Giordano, “Update on Locally Advanced Breast Cancer,” Oncologist, vol. 8, no. 6, pp. 521-530, Dec. 2003, doi: 10.1634/theoncologist.8-6-521.
[4] G. N. Hortobagyi, “Comprehensive management of locally advanced breast cancer.,” Cancer, vol. 66, no. 6 Suppl, pp. 1387-91, Sep. 1990, doi: 10.1002/1097-0142(19900915)66:14+<1387::aid-cncr2820661414>3.0.co;2-i.
[5] G. G et al., “Locally advanced non-metastatic breast cancer: analysis of prognostic factors in 125 patients homogeneously treated with a combined modality approach,” Eur. J. Cancer, vol. 31A, no. 9, pp. 1428-1433, 1995, doi: 10.1016/0959-8049(95)00199-S.
[6] S. J. Cleator, A. Makris, S. E. Ashley, R. Lal, and T. J. Powles, “Good clinical response of breast cancers to neoadjuvant chemoendocrine therapy is associated with improved overall survival.,” Ann. Oncol. Off. J. Eur. Soc. Med. Oncol., vol. 16, no. 2, pp. 267-72, Feb. 2005, doi: 10.1093/annonc/mdi049.
[7] V. Guarneri et al., “Prognostic value of pathologic complete response after primary chemotherapy in relation to hormone receptor status and other factors,” J. Clin. Oncol., vol. 24, no. 7, pp. 1037-1044, Mar. 2006, doi: 10.1200/JCO.2005.02.6914.
[8] B. T. Hennessy et al., “Outcome after pathologic complete eradication of cytologically proven breast cancer axillary node metastases following primary chemotherapy,” J. Clin. Oncol., vol. 23, no. 36, pp. 9304-9311, 2005, doi: 10.1200/JCO.2005.02.5023.
[9] J. B. Nikas, W. C. Low, and P. A. Burgio, “Prognosis of treatment response (pathological complete response) in breast cancer,” Biomark. Insights, vol. 7, pp. 59-70, May 2012, doi: 10.4137/BMI.S9387.
[10] B. Fisher et al., “Effect of preoperative chemotherapy on the outcome of women with operable breast cancer,” J. Clin. Oncol., vol. 16, no. 8, pp. 2672-2685, 1998, doi: 10.1200/JCO.1998.16.8.2672.
[11] S. H. Giordano, “Update on Locally Advanced Breast Cancer,” Oncologist, vol. 8, no. 6, pp. 521-530, 2003, doi: 10.1634/theoncologist.8-6-521.
[12] D. Sethi, R. Sen, J. Sen, S. Parshad, S. Khetarpal, and M. Garg, “Histopathologic changes following neoadjuvant chemotherapy in various malignancies,” Int. J. Appl. Basic Med. Res., vol. 2, no. 2, p. 111, 2012, doi: 10.4103/2229-516x.106353.
[13] S. Chuthapisith, J. M. Eremin, M. El-Sheemy, and O. Eremin, “Neoadjuvant chemotherapy in women with large and locally advanced breast cancer: Chemoresistance and prediction of response to drug therapy,” Surgeon, vol. 4, no. 4. Edinburgh University Press, pp. 211-219, 01-Aug-2006, doi: 10.1016/S1479-666X(06)80062-4.
[14] W. Haque, V. Verma, S. Hatch, V. Suzanne Klimberg, E. Brian Butler, and B. S. Teh, “Response rates and pathologic complete response by breast cancer molecular subtype following neoadjuvant chemotherapy,” Breast Cancer Res. Treat., vol. 170, no. 3, pp. 559-567, Aug. 2018, doi: 10.1007/s10549-018-4801-3.
[15] T. Byrski et al., “Pathologic complete response rates in young women with BRCA1-positive breast cancers after neoadjuvant chemotherapy,” J. Clin. Oncol., vol. 28, no. 3, pp. 375-379, Jan. 2010, doi: 10.1200/JCO.2008.20.7019.
[16] K. Brindle, “New approaches for imaging tumour responses to treatment,” Nature Reviews Cancer, vol. 8, no. 2. pp. 94-107, Feb-2008, doi: 10.1038/nrc2289.
[17] G. von Minckwitz et al., “S3-2: Neoadjuvant Chemotherapy Adapted by Interim Response Improves Overall Survival of Primary Breast Cancer Patients - Results of the GeparTrio Trial.,” in Cancer Research, 2011, vol. 71, no. 24, doi: 10.1158/0008-5472.sabcs11-s3-2.
[18] G. Von Minckwitz et al., “Neoadjuvant vinorelbine-capecitabine versus docetaxel-doxorubicin- cyclophosphamide in early nonresponsive breast cancer: Phase III randomized gepartrio trial,” J. Natl. Cancer Inst., vol. 100, no. 8, pp. 542-551, Apr. 2008, doi: 10.1093/jnci/djn085.
[19] J. Mamou and M. L. Oelze, Quantitative ultrasound in soft tissues. Springer Netherlands, 2013.
[20] E. J. Feleppa et al., “Typing of prostate tissue by ultrasonic spectrum analysis,” IEEE Trans. Ultrason. Ferroelectr. Freq. Control, vol. 43, no. 4, pp. 609-619, Jul. 1996, doi: 10.1109/58.503779.
[21] M. Yang, T. M. Krueger, J. G. Miller, and M. R. Holland, “Characterization of anisotropic myocardial backscatter using spectral slope, intercept and midband fit parameters,” Ultrason. Imaging, vol. 29, no. 2, pp. 122-134, Apr. 2007, doi: 10.1177/016173460702900204.
[22] D. J. Coleman, F. L. Lizzi, R. H. Silverman, L. Helson, J. H. Torpey, and M. J. Rondeau, “A model for acoustic characterization of intraocular tumors.,” Invest. Ophthalmol. Vis. Sci., vol. 26, no. 4, pp. 545-50, Apr. 1985.
[23] H. Tadayyon, A. Sadeghi-Naini, L. Wirtzfeld, F. C. Wright, and G. Czarnota, “Quantitative ultrasound characterization of locally advanced breast cancer by estimation of its scatterer properties,” Med. Phys., vol. 41, no. 012903, Jan. 2014, doi: 10.1118/1.4852875.
[24] H. Tadayyon, A. Sadeghi-Naini, and G. J. Czarnota, “Noninvasive characterization of locally advanced breast cancer using textural analysis of quantitative ultrasound parametric images,” Transl. Oncol., vol. 7, no. 6, pp. 759-767, 2014, doi: 10.1016/j.tranon.2014.10.007.
[25] A. Sadeghi-Naini et al., “Quantitative ultrasound spectroscopic imaging for characterization of disease extent in prostate cancer patients,” Transl. Oncol., vol. 8, no. 1, pp. 25-34, Feb. 2015, doi: 10.1016/j.tranon.2014.11.005.
[26] A. Guimond et al., “Quantitative ultrasonic tissue characterization as a new tool for continuous monitoring of chronic liver remodelling in mice,” Liver Int., vol. 27, no. 6, pp. 854-64, Aug. 2007, doi: 10.1111/j.1478-3231.2007.01493.x.
[27] B. Banihashemi, R. Vlad, B. Debeljevic, A. Giles, M. C. Kolios, and G. J. Czarnota, “Ultrasound imaging of apoptosis in tumor response: Novel preclinical monitoring of photodynamic therapy effects,” Cancer Res., vol. 68, no. 20, pp. 8590-8596, Oct. 2008, doi: 10.1158/0008-5472.CAN-08-0006.
[28] R. M. Vlad, S. Brand, A. Giles, M. C. Kolios, and G. J. Czarnota, “Quantitative ultrasound characterization of responses to radiotherapy in cancer mouse models,” Clin. Cancer Res., vol. 15, no. 6, pp. 2067-2075, Mar. 2009, doi: 10.1158/1078-0432.CCR-08-1970.
[29] G. J. Czarnota et al., “Tumor radiation response enhancement by acoustical stimulation of the vasculature,” Proc. Natl. Acad. Sci. U. S. A., vol. 109, no. 30, pp. E2033-E2041, Jul. 2012, doi: 10.1073/pnas.1200053109.
[30] A. Sadeghi-Naini et al., “Low-frequency quantitative ultrasound imaging of cell death in vivo,” Med. Phys., vol. 40, no. 8, p. 082901, Jul. 2013, doi: 10.1118/1.4812683.
[31] H. Tadayyon et al., “Quantitative ultrasound assessment of breast tumor response to chemotherapy using a multi-parameter approach,” Oncotarget, vol. 7, no. 29, pp. 45094-45111, Jul. 2016, doi: 10.18632/oncotarget.8862.
[32] L. Sannachi et al., “Non-invasive evaluation of breast cancer response to chemotherapy using quantitative ultrasonic backscatter parameters,” Med. Image Anal., vol. 20, no. 1, pp. 224-236, Feb. 2015, doi: 10.1016/j.media.2014.11.009.
[33] A. Sadeghi-Naini et al., “Quantitative ultrasound evaluation of tumor cell death response in locally advanced breast cancer patients receiving chemotherapy,” Clin. Cancer Res., vol. 19, no. 8, pp. 2163-2173, Apr. 2013, doi: 10.1158/1078-0432.CCR-12-2965.
[34] D. DiCenzo et al., “Quantitative ultrasound radiomics in predicting response to neoadjuvant chemotherapy in patients with locally advanced breast cancer: Results from multi‐institutional study,” Cancer Med., vol. 9, no. 16, pp. 5798-5806, Aug. 2020, doi: 10.1002/cam4.3255.
[35] A. Sadeghi-Naini et al., “Conventional frequency ultrasonic biomarkers of cancer treatment response in vivo,” Transl. Oncol., vol. 6, no. 3, pp. 234-243, 2013, doi: 10.1593/tlo.12385.
[36] A. Sadeghi-Naini et al., “Chemotherapy-Response Monitoring of Breast Cancer Patients Using Quantitative Ultrasound-Based Intra-Tumour Heterogeneities,” Sci. Rep., vol. 7, no. 10352, Dec. 2017, doi: 10.1038/s41598-017-09678-0.
[37] A. Sadeghi-Naini et al., “Early prediction of therapy responses and outcomes in breast cancer patients using quantitative ultrasound spectral texture,” Oncotarget, vol. 5, no. 11, pp. 3497-3511, 2014, doi: 10.18632/oncotarget.1950.
[38] A. Dasgupta et al., “Quantitative ultrasound radiomics using texture derivatives in prediction of treatment response to neo-adjuvant chemotherapy for locally advanced breast cancer,” Oncotarget, vol. 11, no. 42, pp. 3782-3792, Oct. 2020, doi: 10.18632/oncotarget.27742.
[39] H. Tadayyon et al., “A priori Prediction of Neoadjuvant Chemotherapy Response and Survival in Breast Cancer Patients using Quantitative Ultrasound,” Sci. Rep., vol. 7, no. 45733 (2017), Apr. 2017, doi: 10.1038/srep45733.
[40] D. Shen, G. Wu, and H.-I. Suk, Deep Learning in Medical Image Analysis. Elsevier, 2017.
[41] G. Litjens et al., “A survey on deep learning in medical image analysis,” Medical Image Analysis, vol. 42. pp. 60-88, 01-Dec-2017, doi: 10.1016/j.media.2017.07.005.
[42] I. Goodfellow, Y. Bengio, A. Courville, and Y. Bengio, “Deep learning,” 2016, doi: 10.4258/hir.2016.22.4.351.
[43] K. Ravichandran, N. Braman, A. Janowczyk, and A. Madabhushi, “A deep learning classifier for prediction of pathological complete response to neoadjuvant chemotherapy from baseline breast DCE-MRI,” in Medical Imaging 2018: Computer-Aided Diagnosis, 2018, vol. 10575, p. 11, doi: 10.1117/12.2294056.
[44] Y. Qu, H. Zhu, K. Cao, X. Li, M. Ye, and Y. Sun, “Prediction of pathological complete response to neoadjuvant chemotherapy in breast cancer using a deep learning (DL) method,” Thorac. Cancer, vol. 11, no. 3, pp. 651-658, Mar. 2020, doi: 10.1111/1759-7714.13309.
[45] R. Ha et al., “Prior to Initiation of Chemotherapy, Can We Predict Breast Tumor Response? Deep Learning Convolutional Neural Networks Approach Using a Breast MRI Tumor Dataset,” J. Digit. Imaging, vol. 32, no. 5, pp. 693-701, Oct. 2019, doi: 10.1007/s10278-018-0144-1.
[46] M. Byra, H. Piotrzkowska-Wroblewska, K. Dobruch-Sobczak, and A. Nowicki, “Combining Nakagami imaging and convolutional neural network for breast lesion classification,” in IEEE International Ultrasonics Symposium, IUS, 2017, pp. 1-4, doi: 10.1109/ULTSYM.2017.8092154.
[47] F. Wang et al., “Residual Attention Network for Image Classification,” Proc. - 30th IEEE Conf. Comput. Vis. Pattern Recognition, CVPR 2017, vol. 2017-January, pp. 6450-6458, Apr. 2017.
[48] K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2016, vol. 2016-December, pp. 770-778, doi: 10.1109/CVPR.2016.90.
[49] E. A. A. Eisenhauer et al., “New response evaluation criteria in solid tumours: Revised RECIST guideline (version 1.1),” Eur J Cancer, no. 14865, pp. 228-247, Jan. 2009, doi: 10.1016/j.ejca.2008.10.026.
[50] K. N. Ogston et al., “A new histological grading system to assess response of breast cancers to primary chemotherapy: prognostic significance and survival,” The Breast, vol. 12, no. 5, pp. 320-327, Oct. 2003, doi: 10.1016/S0960-9776(03)00106-1.
[51] H. Taleghamar, H. Moghadas-Dastjerdi, G. J. Czarnota, and A. Sadeghi-Naini, “Characterizing intra-tumor regions on quantitative ultrasound parametric images to predict breast cancer response to chemotherapy at pre-treatment,” Sci. Rep., vol. 11, no. 14865, Jul. 2021, doi: 10.1038/s41598-021-94004-y.
[52] Y. Labyed, T. A. Bigelow, and B. L. McFarlin, “Estimate of the attenuation coefficient using a clinical array transducer for the detection of cervical ripening in human pregnancy,” Ultrasonics, vol. 51, no. 1, pp. 34-39, Jan. 2011, doi: 10.1016/j.ultras.2010.05.005.
[53] L. X. Yao, J. A. Zagzebski, and E. L. Madsen, “Backscatter coefficient measurements using a reference phantom to extract depth-dependent instrumentation factors,” Ultrason. Imaging, vol. 12, no. 1, pp. 58-70, Jan. 1990, doi: 10.1016/0161-7346(90)90221-i.
[54] F. L. Lizzi et al., “Comparison of theoretical scattering results and ultrasonic data from clinical liver examinations,” Ultrasound Med. Biol., vol. 14, no. 5, pp. 377-385, 1988.
[55] M. F. Insana, R. F. Wagner, D. G. Brown, and T. J. Hall, “Describing small-scale structure in random media using pulse-echo ultrasound,” J. Acoust. Soc. Am., vol. 87, no. 1, pp. 179-92, Jan. 1990.
[56] M. L. Oelze, W. D. O’Brien, J. P. Blue, and J. F. Zachary, “Differentiation and characterization of rat mammary fibroadenomas and 4T1 mouse carcinomas using quantitative ultrasound imaging,” IEEE Trans. Med. Imaging, vol. 23, no. 6, pp. 764-771, Jun. 2004, doi: 10.1109/TMI.2004.826953.
[57] M. F. Insana and T. J. Hall, “Parametric ultrasound imaging from backscatter coefficient measurements: image formation and interpretation.,” Ultrason. Imaging, vol. 12, no. 4, pp. 245-67, Oct. 1990.
[58] A. Sadeghi-Naini et al., “Breast-Lesion Characterization using Textural Features of Quantitative Ultrasound Parametric Maps,” Sci. Rep., vol. 7, no. 13638, Dec. 2017, doi: 10.1038/S41598-017-13977-X.
[59] K. A. Topp, J. F. Zachary, and J. O’Brien, “Quantifying B-mode images of in vivo rat mammary tumors by the frequency dependence of backscatter,” J. Ultrasound Med., vol. 20, no. 6, pp. 605-612, 2001, doi: 10.7863/JUM.2001.20.6.605.
[60] D. P. Kingma and J. L. Ba, “Adam: A method for stochastic optimization,” in 3rd International Conference on Learning Representations, ICLR 2015 - Conference Track Proceedings, 2015.
[61] L. M. Zintgraf, T. S. Cohen, T. Adel, and M. Welling, “Visualizing Deep Neural Network Decisions: Prediction Difference Analysis,” 5th Int. Conf. Learn. Represent. ICLR 2017 - Conf. Track Proc., Feb. 2017.
[62] L. Sannachi et al., “Response monitoring of breast cancer patients receiving neoadjuvant chemotherapy using quantitative ultrasound, texture, and molecular features,” PLoS One, vol. 13, no. 1, p. e0189634, Jan. 2018, doi: 10.1371/journal.pone.0189634.
[63] M. Byra, A. Nowicki, H. Wroblewska-Piotrzkowska, and K. Dobruch-Sobczak, “Classification of breast lesions using segmented quantitative ultrasound maps of homodyned K distribution parameters,” Med. Phys., vol. 43, no. 10, pp. 5561-5569, Oct. 2016, doi: 10.1118/1.4962928.
[64] J. Wu, G. Gong, Y. Cui, and R. Li, “Intratumor partitioning and texture analysis of dynamic contrast-enhanced (DCE)-MRI identifies relevant tumor subregions to predict pathological response of breast cancer to neoadjuvant chemotherapy,” J. Magn. Reson. Imaging, vol. 44, no. 5, pp. 1107-1115, Nov. 2016, doi: 10.1002/jmri.25279.
[65] A. Sadeghi-Naini et al., “Early detection of chemotherapy-refractory patients by monitoring textural alterations in diffuse optical spectroscopic images,” Med. Phys., vol. 42, no. 11, pp. 6130-6146, Nov. 2015, doi: 10.1118/1.4931603.
[66] E. Karami et al., “Quantitative MRI Biomarkers of Stereotactic Radiotherapy Outcome in Brain Metastasis,” Sci. Rep., vol. 9, no. 19830, Dec. 2019, doi: 10.1038/s41598-019-56185-5.
[67] P. M. Lamb, N. M. Perry, S. J. Vinnicombe, and C. A. Wells, “Correlation between ultrasound characteristics, mammographic findings and histological grade in patients with invasive ductal carcinoma of the breast,” Clin. Radiol., vol. 55, no. 1, pp. 40-44, 2000, doi: 10.1053/crad.1999.0333.
[68] A. M. Fowler, D. A. Mankoff, and B. N. Joe, “Imaging Neoadjuvant Therapy Response in Breast Cancer,” Radiology, vol. 285, no. 2, pp. 358-375, Nov. 2017, doi: 10.1148/radiol.2017170180.
【国際調査報告】