特許 7621460 機械学習による免疫チェックポイント阻害剤反応予測による患者層別化のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-16

(45)【発行日】2025-01-24

(54)【発明の名称】機械学習による免疫チェックポイント阻害剤反応予測による患者層別化のためのシステムおよび方法

(51)【国際特許分類】

   G16H 30/00 20180101AFI20250117BHJP

【ＦＩ】

G16H30/00

【請求項の数】 17

(21)【出願番号】P 2023511968

(86)(22)【出願日】2021-08-26

(65)【公表番号】

(43)【公表日】2023-09-20

(86)【国際出願番号】 EP2021073600

(87)【国際公開番号】W WO2022043430

(87)【国際公開日】2022-03-03

【審査請求日】2023-03-03

(31)【優先権主張番号】63/071,062

(32)【優先日】2020-08-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】522173136

【氏名又は名称】メディアン・テクノロジーズ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ノザ・ブジェマー

(72)【発明者】

【氏名】ブノワ・ユエ

(72)【発明者】

【氏名】ヴラディミール・グロザ

(72)【発明者】

【氏名】ダニー・フランシス

【審査官】鹿野 博嗣

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０２５８２２３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０２１４１０５（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０７２２０５２３（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

複数の患者をこれらの患者の免疫療法反応に応じて層別化するためのラジオミクスの方法（100）であって、
前記複数の患者のうちの各患者について、
提供するステップであって、
少なくとも患者の身体部位のスライスの放射線画像のセット、および
前記患者に関する臨床メタデータ記録（臨床グラウンドトゥルース）
を提供するステップと、
前記放射線画像のセットの中から、第1の決定された病変がスキャンされた放射線画像を抽出するステップ（120）であって、次いでこれらの放射線画像が前記決定された第1の病変に関連する放射線画像のバッチに収集される、ステップと、
前記バッチの各放射線画像について、予めトレーニングされたディープニューラルネットワーク（DNN）モデルを実装することによって、前記放射線画像から少なくとも1つの数値スコアを抽出するために前記放射線画像の2D分析を実行するステップ（130）であって、前記少なくとも1つの数値スコアが、前記患者の前記免疫療法反応を予測するものとして知られているバイオマーカと相関しており、好ましくは前記バイオマーカも前記患者に関する前記臨床メタデータ記録に独立して提供される、ステップと、
前記放射線画像のバッチについて、患者レベルの数値スコアを決定するために、以前に抽出された前記数値スコアを集約するステップ（140）と、
予めトレーニングされた機械学習（ML）ベースの分類モデルを実装することによって、前記患者を、患者レベルの数値スコアが所定のしきい値未満の第1のクラスの患者と、患者レベルの数値スコアが前記所定のしきい値以上の第2のクラスの患者とのうちの1つに分類するステップ（150）と、
前記第1の決定された病変に関連付けられたスコアベクトルを決定するために、以前に決定された前記患者の前記分類を、前記患者に関する前記臨床メタデータ記録と相関させるステップ（160）と、
前記複数の患者の前記層別化をこれらの患者の免疫療法反応に応じて達成するステップと
を備える、方法（100）。

【請求項2】

前記複数のうちの少なくとも1人の患者について、
前記第1の決定された病変に関連付けられた前記少なくとも1人の患者の層別化の視覚的説明を生成するステップ（135、170、180）
をさらに含む、請求項1に記載の方法（100）。

【請求項3】

視覚的説明を生成するステップ（135、170、180）が、
前記バッチの各放射線画像に応じて、2Dヒートマップを生成するステップ（135）と、
前記2Dヒートマップおよび以前に決定された前記患者レベルの数値スコアに応じて、前記第1の決定された病変のスコアリングのための関連情報がどこにあるかを明らかにする前記第1の決定された病変の3D表現を含む体積ヒートマップを生成するステップ（170）と
を含む、請求項2に記載の方法（100）。

【請求項4】

前記第1の決定された病変に関連付けられた前記少なくとも1人の患者の層別化の前記視覚的説明を生成するように、前記少なくとも1人の患者に関する前記体積ヒートマップおよび前記臨床メタデータ記録に応じて、少なくとも1つの機械学習方法を使用してパターンまたは相関関係の視覚的マッチングおよび検索を行うステップ（180）
をさらに含む、請求項3に記載の方法（100）。

【請求項5】

前記ディープニューラルネットワーク（DNN）モデルが、分類（150）のために考慮されるべき前記しきい値を決定するために、患者のトレーニングコホートの放射線画像のセットに応じてトレーニングされる、請求項1から4のいずれか一項に記載の方法（100）。

【請求項6】

前記機械学習（ML）ベースの分類モデルが、前記患者に関する臨床メタデータ記録との相関を確立するための分類モデルを使用することによって、前記患者レベルの数値スコアに応じて、カットオフ値（低対高）に関してトレーニングされる、請求項1から5のいずれか一項に記載の方法（100）。

【請求項7】

前記バッチの各放射線画像の前記2D分析が、
ウィンドウ処理によって前記放射線画像を前処理するステップ（131）と、
予め前処理された前記放射線画像に応じて、前記第1の決定された病変に関連付けられた少なくとも1つのマルチチャネル病変パッチを生成するステップ（133）と、
前記少なくとも1つのマルチチャネル病変パッチに応じて、前記予めトレーニングされたディープニューラルネットワーク（DNN）モデルを実装するステップ（134）と
を含む、請求項1から6のいずれか一項に記載の方法（100）。

【請求項8】

前記前処理するステップ（131）の後に、
各前処理された放射線画像上に、前記第1の決定された病変のバウンディングボックスを定義するステップ（132）をさらに含み、
前記生成するステップ（133）が、前記定義されたバウンディングボックスに応じて実行されるようにする、請求項7に記載の方法（100）。

【請求項9】

前記実装するステップ（134）が、
予めトレーニングされた畳み込みニューラルネットワーク（CNN）モデルを実装することによって局所特徴を計算するステップ（1340）と、
計算された局所特徴の平均プーリングを行うステップ（1341）と、
ロジスティック回帰によって、前記平均プーリング(1341)が行われた局所特徴をスコアリングするステップ（1342）と
を含む、請求項7または8に記載の方法（100）。

【請求項10】

前記実装するステップ（134）が、
予めトレーニングされた畳み込みニューラルネットワーク（CNN）モデルを実装することによって局所特徴を計算するステップ（1340）と、
前記計算された局所特徴をアテンション機構で重み付けするステップ（13411）と、
重み付けされた局所特徴の平均プーリングを行うステップ（13412）と、
ロジスティック回帰によって、前記平均プーリング(13412)が行われた重み付けされた局所特徴をスコアリングするステップ（1342）と
を含む、請求項7または8に記載の方法（100）。

【請求項11】

前記相関させるステップ（160）が、前記患者が分類された前記クラスと前記臨床メタデータ記録との間のメトリック評価による比較関数を実装することによって実行される、請求項1から10のいずれか一項に記載の方法（100）。

【請求項12】

前記臨床メタデータ記録が、前記患者の免疫腫瘍学的反応の低値または高値を含む、請求項11に記載の方法（100）。

【請求項13】

前記メトリック評価が、前記患者レベルの数値スコアと、前記患者の前記免疫腫瘍学的反応の前記低値または高値との間で行われる、請求項12に記載の方法（100）。

【請求項14】

前記放射線画像が、
コンピュータ断層撮影（CT）画像、および
磁気共鳴画像法（MRI）によって取得されたMRI画像
のうちの少なくとも1つを含み、
必要に応じて、前記放射線画像が、非造影相、動脈相、門脈相、および遅延相のうちの1つの放射線画像である、
請求項1から13のいずれか一項に記載の方法（100）。

【請求項15】

前記放射線画像が、DICOM（Digital Imaging and Communications in Medicine）画像ファイルとして提供される、請求項1から14のいずれか一項に記載の方法（100）。

【請求項16】

2つ以上の決定された病変が前記放射線画像上でスキャンされ、少なくとも1つの別の決定された病変に対して前記方法（100）の前記ステップを繰り返し、次いで、前記第1の決定された病変に対して決定された前記スコアベクトルと、前記少なくとも1つの別の決定された病変に対して決定された前記スコアベクトルとを集約する、請求項1から15のいずれか一項に記載の方法（100）。

【請求項17】

少なくとも1つのデジタル処理装置によって実装されると、請求項1から13のいずれか一項に記載の方法（100）のステップを実行する命令を含むプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、2020年8月27日に出願された米国仮出願第63071062号の優先権を主張する。

【0002】

本開示は、概して、患者をこれらの患者の免疫療法反応に応じて層別化するためのラジオミクスの方法およびフレームワークに関する。

【0003】

本発明は、より詳細には、複数の患者をこれらの患者の免疫療法反応に応じて層別化するための自動ラジオミクスの方法に関する。

【背景技術】

【0004】

ラジオミクスは、例えばコンピュータ断層撮影（CT）、陽電子放射放出断層撮影（PET）または磁気共鳴画像法（MRI）で取得された様々な医用画像から、高スループットで定量的な画像特徴を抽出および分析することを指す。

【0005】

2010年代初頭に、ラジオミクスに適用されたAIは、所与のタスクについて十分に学習された特徴が、当時普及していた標準的な手作りのソリューションよりも適切であることが示されると、新たな関心の高まりにさらされてきた。それ以来、AIは著しい進歩を目の当たりにしてきた。

【0006】

特に、免疫腫瘍学（IO）の分野は、製薬会社の医薬品開発の効率および業績に直接影響を与える課題に繰り返し直面している。免疫腫瘍学の分野で直面する最も重要な課題の中には、免疫チェックポイント阻害剤（ICI）バイオマーカをモニタリングするための非侵襲的方法の開発、ならびにとりわけ全奏効率（ORR）を向上させるための、および医薬品開発を加速するための臨床試験において免疫療法に反応する患者を採用することがある。適切に「反応する」患者に適切な医薬品を送達するための努力の一環として、これらのICIマーカおよび患者情報の様々なパターンの統計的挙動と観察により、異なる集団コホートそれぞれに対して予測モデルを作成する可能性が強調された。

【0007】

1．古典的なラジオミクス特徴抽出方法と機械学習方法との組合せに基づいて、臨床バイオマーカおよび治療反応に関連付けすることができる画像バイオマーカを決定するためのいくつかの非侵襲的方法、および
2．深層学習された特徴に基づいて癌の予後のバイオマーカを決定するためのいくつかの非侵襲的方法
が存在する。

【0008】

第1の箇条書きされたタイプの方法の中でも、A．Chenらによる“A deep learning－facilitated radiomic solution for the prediction of lung lesion shrinkage in non－small cell lung cancer trials”と題された論文は、非小細胞肺癌治験における患者の肺CTスキャンから抽出されたラジオミクス特徴に基づいて肺病変反応を予測するための深層学習ベースのアプローチを開示している。前記アプローチは、様々な部位の肺病変を原発性病変と転移性病変とに分類することから始まる。次のステップは、肺病変の3Dボリュームを抽出するための自動セグメンテーションを含む。次いで、治療前のスキャンと初回の追跡検査の病変からラジオミクス特徴を抽出して、どの病変が治療中に直径が少なくとも30％縮小するかを予測し、このような縮小は、固形腫瘍における治療効果評価基準（RECIST）ガイドラインによって部分奏功として定義されている。最終的に、これまで見られなかった新しいデータに対して直径が30％収縮するかどうかを予測することができるように、ランダムフォレスト（RF）、勾配ブースティング、および多層パーセプトロン分類器モデルがそのようなケースに対してトレーニングされる。

【0009】

K．Taylorらによる“Radiomic response evaluation of recurrent or metastatic head and neck squamous cell cancer（R／M HNSCC）patients receiving pembrolizumab on KEYNOTE－012 study”と題され、Journal of Clinical Oncologyに掲載された別の論文は、免疫療法に対する病変レベルの反応（LLR）および全体的な反応（OR）に関連付けられたラジオミクス特徴を同定することを目的としている。この目的のために、ペンブロリズマブによる治療を受けた132人の患者の406個の病変について腫瘍および腫瘍周囲のラジオミクス特徴を抽出し、Pearson相関の高い抽出されたラジオミクス特徴を集約する。次いで、取得された各クラスタは、そのメドイドによって表現され、これがラジオミクス特徴の候補につながる。著者らは、これらのラジオミクス特徴の一部がLLRまたはORと有意に相関することを見出した。

【0010】

S．Trebeschiらによる“Predicting response to cancer immunotherapy using noninvasive radiomic biomarkers”と題され、Annals of Oncologyに掲載されたさらなる論文は、臨床バイオマーカに（主に間接的に）関連付けすることができる画像特徴を抽出することを目的としている。画像特徴は、標準的な方法と、抽出可能な画像特徴の固定された予め定義されたセットを提供する既存のライブラリ、すなわち、PyRadiomicsを介して抽出される。最終的な予測モデルは、このような画像特徴のセットに基づく。

【0011】

患者の選択および区別に使用されるモデルには、古典的な統計モデルまたは機械学習（ML）モデルの少なくとも2つの異なるアプローチがある。本研究では、最終的な結論のために、全生存率との間接的な症状（関連性）1つのみが考慮されている。さらに、追跡検査による追加のデータが収縮レベルを推定するために必要である。さらに、標準的なラジオミクス特徴は、病変の周囲の情報を考慮することなく、病変の全ボリュームおよび主にその境界から抽出されている。

【0012】

第2の箇条書きされたタイプの方法は、コンピュータビジョンの所与の問題に対処するために、どのような視覚的特徴が関連するかについてのいかなる事前知識も回避することを目的とする。癌の予後の文脈において、ディープモデルのパラメータは、予測しようとする臨床結果に直接相関する画像特徴を抽出するように、目的関数に関して最適化される。

【0013】

上記の第2の箇条書きされたタイプの方法の中でも、例えば、
1．S．Wangらによる“Deep learning provides a new computed tomography－based prognostic biomarker for recurrence prediction in high－grade serous ovarian cancer”と題され、Radiotherapy and Oncologyに掲載された論文、
2．A．Diamantらによる“Deep learning in head＆neck cancer outcome prediction”と題された論文、
3．Kenny H．Chaらによる“Bladder Cancer Treatment Response Assessment in CT using Radiomics with Deep－Learning”と題された論文、
4．Y．Xuらによる“Deep Learning Predicts Lung Cancer Treatment Response from Serial Medical Imaging”と題された論文、および
5．S．Hanらによる“The Classification of Renal Cancer in 3－Phase CT Images Using a Deep Learning Method”と題され、Journal of Digital Imagingに掲載された論文
を引用することができる。

【0014】

このような、深層学習された特徴に基づいて癌の予後のためのバイオマーカを決定するための非侵襲的方法には、いくつかの欠点がある。より詳細には、上で箇条書きされたような論文1、2、4および5による方法は、特徴が別のタスク（写真分類または画像圧縮）で学習されるため、癌の予後に直接最適化されない。論文3による方法では、ニューラルネットワークは、放射線科医によってより良好に行われるタスクでトレーニングされる。

【発明の概要】

【発明が解決しようとする課題】

【0015】

本発明の一般的な目的は、現況技術の少なくとも1つの欠点を軽減することを可能にする、複数の患者をこれらの患者の免疫療法反応に応じて層別化するための自動ラジオミクスの方法を提供することである。

【0016】

本発明の他の目的は、放射線科医が容易に行うことができないタスクを行うことを可能にするような方法を提供することである。

【0017】

本発明の別の目的は、適切な患者選択を与える、ならびに／または患者およびその治療反応をロバストに区別することができるラジオミクス特徴を取得するために柔軟であるような方法を提供することである。

【0018】

本発明の別の目的は、予め定義されていない、および／または関心のある臓器に依存しない、および／または臨床結果と強く相関する一部の画像特徴を抽出することを可能にするような方法を提供することである。

【課題を解決するための手段】

【0019】

本発明の第1の態様によると、複数の患者をこれらの患者の免疫療法反応に応じて層別化するためのラジオミクスの方法であって、
複数の患者のうちの各患者について、
少なくとも患者の身体部位のスライスの放射線画像のセット、および
患者に関する臨床メタデータ記録（臨床グラウンドトゥルース）
を提供するステップと、
前記放射線画像のセットの中から、第1の決定された病変がスキャンされた放射線画像を抽出するステップであって、次いでこれらの放射線画像が第1の決定された病変に関連する放射線画像のバッチに収集される、ステップと、
バッチの各放射線画像について、予めトレーニングされたディープニューラルネットワーク（DNN）モデルを実装することによって、放射線画像から少なくとも1つの数値スコアを抽出するために放射線画像の2D分析を実行するステップであって、前記少なくとも1つの数値スコアが、患者の免疫療法反応を予測するものとして知られているバイオマーカと相関しており、好ましくは前記バイオマーカも患者に関する前記臨床メタデータ記録に独立して提供されるステップと、
放射線画像のバッチについて、患者レベルの数値スコアを決定するために以前に抽出された数値スコアを集約するステップと、
予めトレーニングされた機械学習（ML）ベースのトレーニングされた分類モデルを実装することによって、前記患者を、患者レベルの数値スコアが所定のしきい値未満の第1のクラスの患者と、患者レベルの数値スコアが所定のしきい値以上の第2のクラスの患者とのうちの1つに分類するステップと、
決定された第1の病変に関連付けられたスコアベクトルを決定するために、以前に決定された前記患者の分類を、患者に関する臨床メタデータ記録と相関させるステップと、
を含み、このようにして、前記複数の患者の前記層別化をこれらの患者の免疫療法反応に応じて達成する、
方法が提供される。

【0020】

このように、免疫腫瘍学（IO）に反応する患者と反応しない患者とを層別化する新規な方法が提供される。この独自の方法は、十分にトレーニングされた自動AIベースのモデルにより抽出された深層学習された特徴に基づいており、従来のラジオミクス標準を超えて、患者ケアおよび医薬品開発の両方に機械学習ソリューションをより広く取り入れるための新しい展望を開くものである。

【0021】

最新の機械学習の進歩に基づいて、本明細書で提案される方法は、免疫腫瘍学療法に基づく治療に対する患者の腫瘍反応を非侵襲的に予測することを可能にする。以下で明らかになるように、本明細書で提案される方法は、予測するのに臓器全体および病変にとらわれない分析による早期ステージの状態に対してだけでなく、潜在的に、頭字語“RECIST 1．1”の下で知られている評価方法によって定義される奏功基準に従って、疾患にとらわれずステージにとらわれない予測を行う多臓器分析により進行した転移ステージに対しても機能する。

【0022】

本発明の第1の態様の一部の実施形態（例）によると、
本方法は、複数の患者のうちの少なくとも1人の患者について、
前記第1の決定された病変に関連付けられた前記少なくとも1人の患者の層別化の視覚的説明を生成するステップをさらに含む。視覚的説明を生成することからなるステップは、
バッチの各放射線画像に応じて、2Dヒートマップを生成するステップと、
2Dヒートマップおよび以前に決定された患者レベルの数値スコアに応じて、第1の決定された病変のスコアリングのための関連情報がどこにあるかを明らかにする第1の決定された病変の3D表現を含む体積ヒートマップを生成するステップと、任意選択で、
前記第1の決定された病変に関連付けられた前記少なくとも1人の患者の層別化の前記視覚的説明を生成するように、前記少なくとも1人の患者に関する体積ヒートマップおよび臨床メタデータ記録に応じて、少なくとも1つの機械学習方法を使用してパターンまたは相関関係の視覚的マッチングおよび検索を行うステップと、
を含み、
前記ディープニューラルネットワーク（DNN）モデルは、分類のために考慮されるべきしきい値を決定するために、患者のトレーニングコホートの放射線画像のセットに応じてトレーニングされてもよく、
前記機械学習（ML）ベースの分類モデルは、患者に関する臨床メタデータ記録との相関を確立するための分類モデルを使用することによって、前記患者レベルの数値スコアに応じて、カットオフ値（低対高）に関してトレーニングされ、
バッチの各放射線画像の2D分析は、
ウィンドウ処理によって放射線画像を前処理するステップと、
予め前処理された放射線画像に応じて、第1の決定された病変に関連付けられた少なくとも1つのマルチチャネル病変パッチを生成するステップと、
少なくとも1つのマルチチャネル病変パッチに応じて、前記予めトレーニングされたディープニューラルネットワーク（DNN）モデルを実装するステップと、
を含む。
本方法は、前処理ステップの後に、
各前処理された放射線画像上に、前記第1の決定された病変のバウンディングボックスを定義して、
生成ステップが、定義されたバウンディングボックスに応じて実行されるようにするステップをさらに含む。
（前記予めトレーニングされたDNNモデルの）実装ステップは、
予めトレーニングされた畳み込みニューラルネットワーク（CNN）モデルを実装することによって局所特徴を計算するステップと、
計算された局所特徴の平均プーリングを行うステップと、
ロジスティック回帰によって、プールされた局所特徴をスコアリングするステップと、
を含む。
最後の項目の代替として、（前記予めトレーニングされたDNNモデルの）実装ステップは、
予めトレーニングされた畳み込みニューラルネットワーク（CNN）モデルを実装することによって局所特徴を計算するステップと、
計算された局所特徴をアテンション機構で重み付けするステップと、
重み付けされた局所特徴の平均プーリングを行うステップと、
ロジスティック回帰によって、プールされた重み付けされた局所特徴をスコアリングするステップと、
を含み、
相関ステップは、患者が分類されたクラスと前記臨床メタデータ記録との間のメトリック評価による比較関数を実装することによって実行されてもよく、
臨床メタデータ記録は、患者の免疫腫瘍学反応の低値または高値を含むことができ、
最後の2つの項目によると、前記メトリック評価は、前記患者レベルの数値スコアと患者の免疫腫瘍学反応の前記低値または高値との間で実施され、
放射線画像上でスキャンされた2つ以上の決定された病変を用いて、本方法は、少なくとも1つの別の決定された病変に対して本方法のステップを繰り返し、次いで、第1の決定された病変に対して決定されたスコアベクトルと、前記少なくとも1つの別の決定された病変に対して決定されたスコアベクトルとを集約するステップをさらに含むことができる。

【0023】

本発明の第1の態様の一部の実施形態（例）によると、前記放射線画像は、
コンピュータ断層撮影（CT）画像、および
磁気共鳴画像法（MRI）によって取得されたMRI画像
のうちの少なくとも1つを含み、
必要に応じて、前記放射線画像は、非造影相、動脈相、門脈相、および遅延相のうちの1つの放射線画像である。

【0024】

本発明の第1の態様の一部の実施形態（例）によると、前記放射線画像は、DICOM（Digital Imaging and Communications in Medicine）画像ファイルとして提供される。

【0025】

本発明の第1の態様の一部の実施形態（例）によると、臨床メタデータ記録（臨床グラウンドトゥルース）は、前記複数の患者の各患者について取得された臨床グラウンドトゥルースから生成される。

【0026】

本発明の第1の態様の一部の実施形態（例）によると、本方法は、前記放射線画像を提供する前に、
前記放射線画像の品質を制御し、したがって、決定された値よりも優れた品質値を有する放射線画像を保持するステップをさらに含む。

【0027】

本発明のさらなる態様は、少なくとも1つのデジタル処理装置によって実装されると本発明の第1の態様による方法の少なくともステップを実行する命令を記憶する非一過性コンピュータ可読媒体、および／または少なくとも1つのデジタル処理装置によって実装されると本発明の第1の態様による方法の少なくともステップを実行する命令を含むコンピュータプログラム製品に関する。

【0028】

本明細書に開示される本発明の他の目的、特徴、および利点、ならびにそれらの種々の実施形態／態様は、以下の一部の例示的な実施形態の説明に照らして、明白となることがある。

【0029】

本開示の実施形態を詳細に参照し、その非限定的な例を添付の図面に示すことができる。一部の図は、図表の形態である場合がある。説明を明確にするために、図中のいくつかの要素は誇張されている場合があり、他の要素は省略されている場合がある。

【0030】

図面上に現れる任意の文章（凡例、注記、参照番号など）は、参照により本明細書に組み込まれる。

【図面の簡単な説明】

【0031】

【図1】本発明による方法の一実施形態のフローチャートである。

【図2】図1に示すような方法のステップの一実施形態のフローチャートであり、スライスごとの2D分析からなる。

【図3】図2に示すようなスライスごとの2D分析からなるステップの第1の例を概略的に示す図である。

【図4】図2に示すようなスライスごとの2D分析からなるステップの第2の例を概略的に示す図である。

【図5】転移ステージの患者のために特に設計された本発明による方法の一実施形態のフローチャートである。

【発明を実施するための形態】

【0032】

ラジオミクスは、診断画像、特に放射線画像から、ラジオミクス特徴と呼ばれる定量的特徴を抽出および分析するプロセスである。ラジオミクス特徴のクラスタは、「ラジオミクスシグネチャ」、すなわち言い換えると「画像シグネチャ」である。

【0033】

本発明によると、「スキャン」という用語は、少なくとも1つの医用画像技術から生成される放射線画像を提供する手順である。以下の2つの医用画像取得技術またはモダリティのうちの少なくとも1つを本発明のフレームワークにおいて使用することが特に予見される。
1）スキャン前に造影剤を注入した場合と注入しない場合の患者のコンピュータ断層撮影（CT）スキャン、および
2）磁気共鳴エラストグラフィ（MRE）とともに、スキャン前に造影剤を注入した場合と注入しない場合の磁気共鳴画像法（MRI）。

【0034】

非造影放射線画像は、スキャン前に患者に造影剤を注入することなく生成される。スキャン前に患者に造影剤を注入することで、造影放射線画像が生成される。造影剤は、スキャン中に、および潜在的に注入後の異なる決められた時間に、血管、臓器および組織のうちの選択された少なくとも1つをより見やすくするために、特定の領域を強調するように設計されることがある。したがって、造影放射線画像は、例えば、注入後の異なる決められた時間に同じ造影剤を使用することによって、または異なる造影剤を使用することによって、第1のスキャンステップ中に動脈相を強調し、第2のスキャンステップ中に門脈相を強調することを目的としたものである場合がある。上記で紹介した第1および第2のスキャンステップのうちの少なくとも1つに関して、対応するスキャンステップが、決められた期間だけ遅延されるため、本発明によるスキャン中に遅延相と呼ばれる別の相が観察される場合がある。遅延相のこのようなスキャンは、動脈および／または門脈相に関して他の特徴をより目立つようにするために、他の特定の領域を強調することを可能にすることができる。本発明によるスキャンのさらなるスキャンステップ中の遅延相の取得は、動脈相の取得および／または門脈相の取得のいずれかの後に行うことができる。

【0035】

本発明によるスキャンは、関心のある放射線画像を提供するために、上述の2つの医用画像技術のうちの1つを少なくとも1回実施することによって行われる一連のスキャンステップを含むことができる。

【0036】

目的関数とは、所与の問題において各変数が最適化されるべき値にどの程度寄与するかを示す。

【0037】

本発明によると、「機械学習」という用語は、明示的なプログラミングなしに分類を自動的に行うことができるコンピュータアルゴリズムを指す。コンピュータアルゴリズムは、トレーニングデータから前記数学的モデルを構築する。

【0038】

「臨床グラウンドトゥルース」または「臨床メタデータ」という用語は、身体検査、医学的検査、または臨床検査によって取得された患者に関するデータを指す。これには、各患者の年齢、性別、身長、体重、BMI、民族起源、医学的状態、危険因子、結節サイズ、IO反応（例えば、低値または高値）、治療タイプ、および腫瘍タイプのうちの少なくとも1つが含まれてもよい。

【0039】

ヒートマップ（または色分け図）とは、ある現象の大きさを2次元カラーレイアウトで表示するデータ可視化技術である。色の変化は、色相または強度によるものであってもよく、現象がどのようにクラスタ化されるか、または空間にわたって変化するかについて、読者に明白な視覚的手がかりを与える。

【0040】

「ウィンドウ処理」という用語は、コンピュータ断層撮影（CT）またはMRIスキャンにおいて画像を修正するために使用されるプロセスを指す。この処理は、より詳細には、グレーレベルの範囲を選択することによって、軟組織、または骨構造、または皮膚のいずれかを明らかにすることができる、CTまたはMRIスキャン撮影装置からの放射線画像を修正するための技術を指す。例えば、骨ウィンドウ、肺ウィンドウについての話である。

【0041】

「パッチ」という用語は、例えば前記放射線画像のウィンドウ処理によって定義されるような放射線画像の一部を指す。

【0042】

「マルチチャネル病変パッチ」という用語は、パッチのセットを表す多次元行列（深さ－高さ－幅）を指し、深さはチャネルの数を指し、高さおよび幅は病変パッチのサイズを指す。

【0043】

畳み込みニューラルネットワークでは、プーリングは、非線形ダウンサンプリングの一形態を指す。平均プーリングは、入力画像を矩形のセットに分割し、そのようなサブ領域ごとに、画素の平均値を出力する。

【0044】

画像レベルのラジオミクス特徴は、統計モデルの非常に有望な結果および高い性能を示すため、本発明者らは、人工知能（AI）および特に深層学習（DL）ベースのアルゴリズムが、免疫療法反応のための非侵襲的ラジオミクスバイオマーカに関連した、したがって、非侵襲的ラジオミクスバイオマーカとして機能することができる放射線学的特徴を自動的に定量化することができると仮定している。

【0045】

以下の詳細な方法は、予め定義された制約なしに画像特徴を抽出するために提案される。

【0046】

本明細書で提案される方法の好ましい実施形態のパイプライン全体が、添付の図1、図2、図3、および図4に示されている。

【0047】

図1は、患者をどのようにスコアリングし、分類するか、およびこれらの出力をどのように患者に説明することができるかを示す。これらのスコアリングおよび分類、ならびに潜在的には、説明出力は、例えば図2によって示されるように、スライスごとの2D分析によって導出される。この2D分析は、例示の目的で図3および図4にそれぞれ示される2つの方法で具現化することができるディープニューラルネットワークモデルを含む。

【0048】

図1は、本明細書で提案される方法の一実施形態のフローチャートを示す。

【0049】

図1に示す実施形態によると、本発明は、複数の患者をこれらの患者の免疫療法反応に応じて層別化する方法100を提供する。

【0050】

前記複数の患者のうちの各患者について、方法100は、
第1の決定された病変を示す臓器で構成される、腹部などの患者の身体部位のスライスの放射線画像と、
患者に関する臨床メタデータ記録（臨床グラウンドトゥルース）と、
を各患者に関連するデータとして提供すること（110）からなるステップを含む。

【0051】

前記放射線画像は、少なくとも以下のものの中から選択することができる。
コンピュータ断層撮影（CT）画像、および
磁気共鳴画像法（MRI）によって取得されたMRI画像。

【0052】

これらは、例えば、前記第1の決定された病変を特徴付けるアドホックパラメータを強調するために必要であると知られている相に応じて、非造影相、動脈相、門脈相および遅延相のうちの1つの放射線画像とすることができる。一般に、1回のスキャン中にスライスごとに少なくとも2つの放射線画像が提供され、前記少なくとも2つの放射線画像は互いに異なる相のものである。

【0053】

前記放射線画像は、DICOM（Digital Imaging and Communications in Medicine）画像ファイルとして提供されることが好ましい。

【0054】

前記放射線画像のそれぞれの品質は、提供される（110）前に制御されていてもよい。このような制御により、品質値が、決定されたしきい値よりも優れた放射線画像を保持することができる。

【0055】

複数の患者のそれぞれについて、彼／彼女の臨床メタデータ記録は、身体検査、医学的検査、または臨床検査によって取得された臨床グラウンドトゥルースから生成されてもよい。

【0056】

複数の患者のうちの各患者について常に、方法100は、前記放射線画像のセットのうち、第1の決定された病変がスキャンされた放射線画像を抽出または選択することからなるステップ（120）をさらに含む。次いで、これらの放射線画像は、決定された第1の病変に関連する放射線画像のバッチに収集される。

【0057】

次いで、方法100は、第1の決定された病変を含む各スライスに基づいて実行される2D分析からなるステップをさらに含む。より詳細には、バッチの各放射線画像について、前記ステップは、予めトレーニングされたディープニューラルネットワーク（DNN）モデルを実装することによって、バッチの各放射線画像から、患者の免疫療法反応を予測するものとして知られているバイオマーカと相関する少なくとも1つの数値スコアを、対応する画像特徴として抽出するための前記2D分析を実行するステップ（130）からなる。

【0058】

ここで、患者の免疫療法反応を予測するものとして知られている前記バイオマーカは、実際に現況技術から知られていてもよく、現在詳述されている方法100は、知られているバイオマーカのうちの任意の特定のバイオマーカに限定されないことに留意されたい。同様に、このようなバイオマーカと相関する前記少なくとも1つの数値スコアは、少なくとも現況技術から知られている通りである。必要に応じて、バイオマーカごとに2つ以上の数値スコアを抽出することができる。好ましくは、前記少なくとも1つの数値スコアは、患者に関する前記臨床メタデータ記録にも独立して提供されるバイオマーカと相関している。

【0059】

したがって、方法100は、一方では、患者が有することがある任意の種類の疾患の進展を追跡するための関連するバイオマーカを既に定義している最新の研究を利用することができ、他方では、将来の研究が当業者に提供する新しい知識を利用することによって改善することができる。したがって、想定されるバイオマーカについて、抽出することができる画像特徴の種類について、またはそのような抽出が実施される方法については、バイオマーカが患者の免疫療法反応を予測するものとして知られていなければならないこと、および抽出が前述のバッチの各放射線画像に基づいて行うことができるということを除いて、なんらの制限もない。

【0060】

前記ディープニューラルネットワーク（DNN）モデルに関しては、これを定義する命令に関する制限はない。これは、自家製のディープニューラルネットワーク（DNN）モデル、または既に知られているかもしくは将来提案され、上記で定義したような数値スコアの抽出を可能にするように設計された別のモデルであってもよい。

【0061】

前記ディープニューラルネットワーク（DNN）モデルは、トレーニングされなければならない。そのトレーニングは、患者のトレーニングコホートの放射線画像のセットに応じて実行されてもよい。このトレーニングは、以下で詳述されるように、その後の分類（150）のために考慮されるべきしきい値を決定することを可能にする場合がある。

【0062】

したがって、本出願の背景技術の部分で箇条書きされた第2のタイプの方法と同様に、提案された方法100により、コンピュータビジョンの所与の問題に対処するためにどのような視覚的特徴が関連するかについてのいかなる事前知識も回避することが可能になる。言い換えると、提案された方法100は、予め定義されていない、関心のある臓器に必ずしも依存しない画像特徴の抽出を包含し、一方で、経験豊富な放射線科医によって行われる肉眼分析によっては各放射線画像への抽出が容易でない、というよりもむしろ不可能である情報を利用する。

【0063】

図2は、図1に示す方法100のステップ130の一実施形態のフローチャートを示す。前記ステップ130は、前述のスライスごとの2D分析からなる。

【0064】

図2を参照すると、前述の2D分析は、以下のサブステップからなってもよい。最初に、各放射線画像は、少なくとも1つの予め定義された関連するウィンドウ処理を適用することによって前処理される（131）。次いで、前記第1の決定された病変の周囲の手動または自動のいずれかのバウンディングボックスが生成されてもよい（132）。場合によっては、放射線画像全体を選択することもできる。次いで、前処理された放射線画像と、適用可能な場合にはバウンディングボックスとを使用して、少なくとも1つのマルチチャネル病変パッチを生成する（133）。次いで、前記少なくとも1つのマルチチャネル病変パッチは、スコアを出力する深層モデルによって処理される（134）。ここで、このスコアをもたらす計算は、前記少なくとも1つのマルチチャネル病変パッチの最も情報量の多い領域を強調するヒートマップを生成すること（135）を目的としてさらに分析されてもよいことに留意されたい。

【0065】

図1に戻ると、方法100は、患者レベルの数値スコアを決定するために以前に抽出された数値スコアを集約することからなるステップ（140）をさらに含む。この数値スコアは、複数の患者のそれぞれについて定義される。これは、単一の実数値または複素数値を含むことができ、あるいは、行列、集合、リスト、またはベクトルの形態の数値スコアの集合から構成することができる。したがって、抽出された（130）数値スコアが集約される（140）フォーマットは、いくつかの既知の、自家製の、または将来のフォーマットの中から選択されてもよく、唯一の要件は、集約された数値スコアが、免疫療法に対する患者の反応を表し、その後の分類（150）のために考慮されるべき前述のしきい値と関連する方法で比較可能であるということである。

【0066】

上記の詳細な集約ステップ140の後、方法100は、前述の分類ステップ150を含む。このステップは、機械学習（ML）ベースの分類モデルを実装することによって、前記患者を、患者レベルの数値スコアが前記所定のしきい値未満の第1のクラスの患者と、患者レベルの数値スコアが所定のしきい値以上の第2のクラスの患者とのうちの1つに分類すること（150）からなる。

【0067】

したがって、複数の患者のそれぞれは、それぞれの患者の免疫療法反応に応じて分類される。

【0068】

さらに、方法100は、第1の決定された病変に関連付けられたスコアベクトルを決定するために、考慮される複数の患者のうちの所与の患者の分類を、前記所与の患者に関する臨床メタデータ記録と相関させることからなるステップ（160）をさらに含む。より詳細には、各臨床メタデータ記録は、患者の免疫腫瘍学的反応の臨床的に評価された値を含むことができる。この値は、単に「低」または「高」であってもよい。

【0069】

この結果は、ここで関係する技術分野において、患者の層別化として知られているタスクの1つである。実際には、複数の患者のそれぞれは、その放射線画像から抽出された深層学習された画像特徴だけでなく、その臨床グラウンドトゥルース（GT）との強い相関、または臨床グラウンドトゥルース（GT）において通常見出されるもののうちの少なくとも1つの関連情報も考慮に入れることによって、免疫療法反応の低値と高値とに層別化される。

【0070】

潜在的には、これが、従来技術と比べて、本明細書で提案された方法100によって達成可能な重要な利点を構成する場合であっても、本方法は、ラジオミクスのためのソフトウェアソリューションを開発するデータサイエンティスト、層別化された患者を担当する開業医、および層別化された患者自身のうちのいずれかに向けて、達成された層別化に関する視覚的説明を導出することをさらに可能にする場合がある。このような視覚的説明の導出の任意選択の態様は、関係するブロックが破線であるという事実によって図1に示されている。

【0071】

より詳細には、達成された層別化に関する前記視覚的説明は、
バッチの各放射線画像に応じて2Dヒートマップを生成するステップ（135）、次いで、
2Dヒートマップおよび以前に決定された患者レベルの数値スコアに応じて、第1の決定された病変のスコアリングのための関連情報がどこにあるかを明らかにする第1の決定された病変の3D表現を含む体積ヒートマップを生成するステップ（170）によって導出されてもよい。

【0072】

生成ステップ135については既に上述した。このステップは、上で詳述されたように2D分析130の直ぐ後に行うことができる。生成ステップ170は、前記患者レベルの数値スコアを知ることが必要であり、したがって、集約ステップ140の後に実施することができる。

【0073】

達成された層別化に関する前記視覚的説明の生成は、前記少なくとも1人の患者に関する体積ヒートマップおよび臨床メタデータ記録に応じて、パターンまたは相関関係の視覚的マッチングおよび検索からなるステップ180をさらに含んでもよい。

【0074】

したがって、前記2D分析の出力は2通りに分けられてもよく、すなわち、複数の患者について患者レベルの数値スコアが導出され、この（これらの）スコアの視覚的説明が、スキャンされた患者のスライスのどこにスコアリングのための関連情報があるかを明らかにするヒートマップを通じて提供されてもよい。

【0075】

図3は、図2に示すようなスライスごとの2D分析の実施例を概略的に示し、図4は、同じステップの別の実施例を概略的に示す。

【0076】

したがって、使用されるディープニューラルネットワークモデルの2つのバージョンが考慮されており、前記2つのバージョンが図3および図4にそれぞれ示されている。

【0077】

図3に示す第1のバージョンでは、局所特徴は、予めトレーニングされた畳み込みニューラルネットワーク（CNN）モデルを実装することによって計算され（1340）、次いで、これらを単に平均化することによって一緒にプールされ（1341）、その後、ロジスティック回帰によって、プールされた局所特徴をスコアリングする（1342）。

【0078】

図4に示す第2のバージョンでは、局所特徴の計算1340の後に、アテンション機構を使用して、前記局所特徴の重みを導出し（13411）、必要に応じて、これらの局所特徴は予めベクトル形式にされる。その場合、局所特徴は、加重平均によってプールされる（13412）。

【0079】

第1のバージョンは、第2のバージョンよりも少ないデータでトレーニングすることができる。しかしながら、第2のバージョンは、より高い性能につながる可能性があり、アテンション重みは、既に上述したその後の視覚的説明の生成のためのより多くの情報を提供することができる。

【0080】

上記を考慮すると、本発明の第1の態様による方法100は、免疫腫瘍学（IO）に反応する患者と反応しない患者の層別化を可能にすると思われる。

【0081】

本明細書で提案される方法100は、十分にトレーニングされた自動AIベースのモデルにより抽出された深層学習された特徴に基づいており、従来のラジオミクス標準を超えて、患者ケアおよび医薬品開発の両方に機械学習ソリューションをより広く取り入れるための新しい展望を開くものである。

【0082】

より詳細には、本明細書で提案される方法100は、免疫腫瘍学療法に基づく治療に対する患者の腫瘍反応を非侵襲的に予測することを可能にする。

【0083】

上記の詳細な説明を通して明らかなように、本明細書で提案される方法100は、予測するのに臓器全体および病変にとらわれない分析を通して早期ステージの状態に対して機能する。

【0084】

それにもかかわらず、本明細書で提案される方法100のさらなる実施形態の以下に与えられる説明で明らかになるように、本明細書で提案される方法100は、疾患にとらわれずステージにとらわれない予測を行う多臓器分析を通して、進行した転移ステージに対しても機能することができる。

【0085】

図5は、転移ステージの患者のために特に設計された本明細書で提案される方法100の一実施形態のフローチャートである。

【0086】

図5は、進行ステージ（同じ臓器または複数の臓器にいくつかの病変を伴う転移）の場合に、上記のプロセスが、前記いくつかの病変のうちの各病変に対して、またはその選択に対して展開することができることを示す。次いで、複数の病変分析のそれぞれからの結果を集約して、全体的な患者の反応を予測することができる。また、このような集約は、例えばRECIST 1．1の評価基準に従って行うことができる。

【0087】

より詳細には、患者レベルの数値スコアのセットと任意選択で2Dヒートマップの集約は、患者反応（値）を予測するための自動AIベースのMLモデルの実装を含むことができ、というよりもむしろRECIST評価基準メトリックを出力するように、取得された予測と所与のRECIST基準値との比較を含むことができる。

【0088】

本明細書で詳述される発明の実施形態および態様は、範囲を限定するものではなく、例示的かつ例証的であることが意図されているシステム、デバイス、および方法と関連して説明および例示される場合がある。具体的な構成および詳細は、本発明の理解を提供するために記載されることがある。しかしながら、本明細書に提示されている具体的な詳細の一部がなくても本発明を実施できることは当業者には明らかであるはずである。さらに、いくつかの周知のステップまたは構成要素は、説明を明瞭にするために一般的に記載されるだけであり、または省略されることさえある。

【0089】

プロセスによっては、一連の（連続した）ステップで提示および説明されることがある。連続したステップは例示的なものであり、ステップは、提示されたものとは異なる順序で実行されてもよく、記載されている一部のステップは省略されてもよく、一部の追加のステップはシーケンスから省略されてもよく、他の場所に記載されることがあることを理解されたい。

【0090】

先行特許、出版物および出願の開示を参照することができる。これらの出展からの文章および図面の一部が、本明細書に提示されることがあるが、本出願の開示とより円滑に調和するように修正、編集、またはコメントされてもよい。いかなる参考文献の引用または特定も、そのような参考文献が本開示に対する先行技術として利用可能であることを認めるものとして解釈されるべきではない。

【0091】

本明細書に記載される方法は、任意の形態の1つまたは複数のコンピュータ上で実装することができる。その構成要素は、専用アプリケーションとして、またはウェブベースのアーキテクチャを含むクライアント－サーバアーキテクチャで実装されてもよく、機能プログラム、コード、およびコードセグメントを含むことができる。コンピュータのいずれも、プロセッサと、プログラムデータを記憶し、それを実行するためのメモリと、ディスクドライブなどの永久記憶装置と、外部装置との通信を扱うための通信ポートと、ディスプレイ、キーボード、マウスなどを含むユーザインターフェース装置と、を含むことができる。何らかのソフトウェアまたはアルゴリズムが含まれる場合、それらは、プロセッサ上で実行可能なプログラム命令またはコンピュータ可読コードとして、読み取り専用メモリ（ROM）、ランダムアクセスメモリ（RAM）、CD－ROM、磁気テープ、フロッピーディスク、および光学データ記憶装置などのコンピュータ可読媒体上に記憶されてもよい。また、コンピュータ可読記録媒体は、コンピュータ可読コードが分散して記憶され実行されるように、ネットワークに結合されたコンピュータシステム上に分散されることができる。この媒体は、コンピュータによって読み取られ、メモリに記憶され、プロセッサによって実行することができる。

【0092】

本発明の様々な実施形態の原理の理解を促す目的で、図面に示された好ましい実施形態を参照し、本実施形態を説明するために特定の言語を使用した。しかしながら、この特定の言語によって本発明の範囲を限定することは意図されておらず、本発明は、当業者が通常思いつくすべての実施形態を包含するものと解釈されるべきである。

【0093】

本発明は、機能ブロックの構成要素および様々な処理ステップの観点から説明されることがある。このような機能ブロックは、指定された機能を実行するように構成された任意の数のハードウェアおよび／またはソフトウェア構成要素によって実現されてもよい。例えば、本発明は、1つもしくは複数のマイクロプロセッサまたは他の制御デバイスの制御下で様々な機能を実行することができる様々な集積回路構成要素、例えば、メモリ素子、処理素子、論理素子、ルックアップテーブルなどを使用することができる。同様に、本発明の要素がソフトウェアプログラミングまたはソフトウェア要素を使用して実装される場合、本発明は、C、C＋＋、Java、アセンブラなどの任意のプログラミングまたはスクリプト言語を用いて実装されてもよく、種々のアルゴリズムは、データ構造、オブジェクト、プロセス、ルーチン、または他のプログラミング要素の任意の組合せを用いて実装される。機能的態様は、1つまたは複数のプロセッサ上で実行されるアルゴリズムで実装されてもよい。さらに、本発明は、電子機器構成、信号処理および／または制御、データ処理などのための任意の数の従来の技術を採用することができる。

【符号の説明】

【0094】

100 方法

【図1】

【図2】

【図3】

【図4】

【図5】