IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アンスティチュート ナショナル デ ラ サンテ エ デ ラ リシェルシェ メディカルの特許一覧 ▶ ユニヴェルシテ ブレスト ブルターニュ オクシダンタルの特許一覧 ▶ サントル・オスピタリエ・レジオナル・エ・ユニベルシテール・ドゥ・ブレストの特許一覧 ▶ ユニヴェルシテ・ドゥ・ストラスブールの特許一覧 ▶ センター ナショナル デ ラ レシェルシェ サイエンティフィークの特許一覧

特表2024-541833インターベンショナルラジオロジーのための照射マップの準リアルタイム予測のためのデバイス及び方法
<>
  • 特表-インターベンショナルラジオロジーのための照射マップの準リアルタイム予測のためのデバイス及び方法 図1
  • 特表-インターベンショナルラジオロジーのための照射マップの準リアルタイム予測のためのデバイス及び方法 図2
  • 特表-インターベンショナルラジオロジーのための照射マップの準リアルタイム予測のためのデバイス及び方法 図3
  • 特表-インターベンショナルラジオロジーのための照射マップの準リアルタイム予測のためのデバイス及び方法 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-13
(54)【発明の名称】インターベンショナルラジオロジーのための照射マップの準リアルタイム予測のためのデバイス及び方法
(51)【国際特許分類】
   A61B 6/03 20060101AFI20241106BHJP
   G06Q 10/04 20230101ALI20241106BHJP
【FI】
A61B6/03 560Z
G06Q10/04
A61B6/03 577
A61B6/03 560T
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024522083
(86)(22)【出願日】2022-10-17
(85)【翻訳文提出日】2024-04-11
(86)【国際出願番号】 EP2022078786
(87)【国際公開番号】W WO2023066841
(87)【国際公開日】2023-04-27
(31)【優先権主張番号】21306474.4
(32)【優先日】2021-10-22
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.TENSORFLOW
2.BLUETOOTH
(71)【出願人】
【識別番号】523405465
【氏名又は名称】アンスティチュート ナショナル デ ラ サンテ エ デ ラ リシェルシェ メディカル
(71)【出願人】
【識別番号】523407034
【氏名又は名称】ユニヴェルシテ ブレスト ブルターニュ オクシダンタル
(71)【出願人】
【識別番号】520106334
【氏名又は名称】サントル・オスピタリエ・レジオナル・エ・ユニベルシテール・ドゥ・ブレスト
【氏名又は名称原語表記】CENTRE HOSPITALIER REGIONAL ET UNIVERSITAIRE DE BREST
(71)【出願人】
【識別番号】500262120
【氏名又は名称】ユニヴェルシテ・ドゥ・ストラスブール
【氏名又は名称原語表記】UNIVERSITE DE STRASBOURG
(71)【出願人】
【識別番号】504007888
【氏名又は名称】センター ナショナル デ ラ レシェルシェ サイエンティフィーク
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】ベール,ジュリアン
(72)【発明者】
【氏名】ヴィラ アリアス,マテオ
(72)【発明者】
【氏名】パドイ,ニコラス
(72)【発明者】
【氏名】ヴィスヴィキス,ディミトリス
【テーマコード(参考)】
4C093
5L010
【Fターム(参考)】
4C093AA22
4C093AA25
4C093CA34
4C093FF42
4C093FH07
5L010AA04
(57)【要約】
インターベンショナルラジオロジー中に患者の照射マップを取得するための方法であって、患者の介入エリアの第1の放射線画像(31)、及びインターベンショナルラジオロジーデバイスの第1の取得パラメータ(32)のデータを含む第1の入力テンソルと、当該第1の放射線画像(31)及び当該第1の取得パラメータ(32)からのシミュレーション(12)によって取得された照射マップ(33)に対応するラベルとの間の関連を含む学習セットを、ニューラルネットワーク(130)に提出することからなる学習段階と、当該インターベンショナルラジオロジーデバイス(21)の第2の取得パラメータ(32)のストリームの取得、所与の患者の第2の放射線画像(31)及び第2の取得パラメータのデータを含む第2の入力テンソルの作成、当該ニューラルネットワーク(130)への第2の入力ベクトルの提出、並びに照射マップ予測(34)の取り出しを含む、当該所与の患者に関する予測段階と、を含む、方法。
【特許請求の範囲】
【請求項1】
インターベンショナルラジオロジー中に患者の照射マップを取得するための方法であって、
-患者の介入エリアの第1の放射線画像(31)、及びインターベンショナルラジオロジーデバイスの第1の取得パラメータ(32)のデータを含む第1の入力テンソルと、前記第1の放射線画像(31)及び前記第1の取得パラメータ(32)からの、シミュレーションモジュール(12)によるシミュレーションによって取得された照射マップ(33)に対応するラベルとの間の関連を含む学習セットを、多層ニューラルネットワーク(130)に提出することからなる学習段階と、
-前記インターベンショナルラジオロジーデバイス(21)の第2の取得パラメータ(32)のストリームの取得、所与の患者の第2の放射線画像(31)及び前記第2の取得パラメータのデータを含む第2の入力テンソルの作成、前記ニューラルネットワーク(130)への第2の入力ベクトルの提出、並びに照射マップ予測(34)の取り出しを含む、前記所与の患者に関する予測段階と、を含む、方法。
【請求項2】
前記学習段階中に、前記学習セットの複数のデータが、第1の放射線画像(31)について、可能なパラメータの間で前記第1の取得パラメータを変化させることによって生成される(11)、請求項1に記載の方法。
【請求項3】
前記シミュレーションが、グラフィックスプロセッサに適合されたモンテカルロ法によって実施される、請求項1又は2に記載の方法。
【請求項4】
前記ニューラルネットワークが、U-Netタイプである、請求項1~3のいずれか一項に記載の方法。
【請求項5】
前記ニューラルネットワーク(130)が、前記第1又は第2の放射線画像の前記データを入力として有し、かつ前記ニューラルネットワーク(130)の出力が前記入力と同じサイズであるように、畳み込み及びプーリング層の第1の連続、並びに逆畳み込み及び畳み込み層の第2の連続を含む第1のサブネットワーク(131)であって、各逆畳み込み層の前記出力が、前記第1の連続において、対応する前記出力と連結される、第1のサブネットワーク(131)と、前記第1又は第2の取得パラメータをそれぞれ入力として有する第2のサブネットワーク(132)であって、前記第2のサブネットワーク(132)の出力が、前記第1の連続の最後の前記プーリング層の前記出力と連結される、第2のサブネットワーク(132)と、からなる、請求項4に記載の方法。
【請求項6】
前記入力テンソルが、第1の放射線画像(31)の前記データと前記第1の取得パラメータ(32)との連結である、請求項1~5のいずれか一項に記載の方法。
【請求項7】
前記放射線画像(31)が、コンピュータ断層撮影走査である、請求項1~6のいずれか一項に記載の方法。
【請求項8】
請求項1~7のいずれか一項に記載の方法を実施するための命令の機械実行可能プログラムを符号化する、コンピュータ可読媒体。
【請求項9】
少なくとも1つのシミュレーションモジュール(12)と、多層ニューラルネットワーク(130)を含む多層ニューラルネットワークモジュール(13)と、を備える、インターベンショナルラジオロジー中の患者の照射マップ(34)についての予測を取得するためのシステム(10)であって、前記システムが、
-学習段階において、患者の介入エリアの第1の放射線画像(31)、及びインターベ
ンショナルラジオロジーデバイスの第1の取得パラメータ(32)のデータを含む第1の入力テンソルと、前記第1の放射線画像(31)及び前記第1の取得パラメータ(32)に基づいて前記シミュレーションモジュール(12)から取得された照射マップ(33)に対応するラベルとの間の関連を含む学習セットを、前記多層ニューラルネットワーク(130)に提出することと、
-所与の患者に関する予測段階において、前記インターベンショナルラジオロジーデバイス(21)から第2の取得パラメータ(32)のストリームを取得し、前記所与の患者の第2の放射線画像(31)及び前記第2の取得パラメータのデータを含む第2の入力テンソルを作成し、前記ニューラルネットワーク(13)に第2の入力ベクトルを提出し、照射マップ(34)の予測を取り出すことと、を行うように適合されている、システム(10)。
【発明の詳細な説明】
【技術分野】
【0001】
様々な例示的な実施形態は、インターベンショナルラジオロジーに関する。
【0002】
本発明は、特に、介入環境の照射マップの準リアルタイム予測を可能にすることによって、このタイプの放射線に起因する照射に関連するリスクの防止に適用される。
【背景技術】
【0003】
インターベンショナルラジオロジーは、多数の病状の治療又は侵襲的診断を可能にする、放射線制御下で放射線科医によって実施される全ての医療処置を指す。したがって、インターベンショナルラジオロジーの原理は、診断(例えば、サンプリング)又は治療行為(治療、修復、閉鎖などを目的とする)を実行するために、体内に位置する病変にアクセスすることである。
【0004】
したがって、治療介入の文脈において、インターベンショナルラジオロジーは、特定の場合において、天然チャネルを介して、かつ外科的開口部を形成することなく、体内に介入することを可能にすることによって、従来の外科的処置の代替を表す。
【0005】
例えば、蛍光透視法、X線走査、超音波走査、MRI(磁気共鳴撮像)などの異なる技術が使用され得る。
【0006】
したがって、インターベンショナルラジオロジーは、体内から、処置の持続時間の間、人体の部分を照射することを伴う。したがって、それは、患者に放射線リスクをもたらす。したがって、X線への長期曝露は、決定論的な副作用(皮膚結合、脱毛、白内障など)及び非決定論的な副作用(特にがん)を引き起こし得る。
【0007】
国際放射線防護委員会(International Commission on Radiological Protection、I
CRP)及び他の団体は、インターベンショナルラジオロジー中の患者の線量制御の重要性を強調している。
【0008】
撮像システムは、面積線量(Dose Area Product、DAP)などの測定基準のリアルタ
イム測定のための機能を伴って商品化されている。そのようなシステムの例は、ToshibaのDose Tracking System、GE HealthcareのDoseMap、及びSiemensのCAREwatchである。
【0009】
しかしながら、これらのシステムは、患者の特定の解剖学的構造、又はインターベンショナルラジオロジーデバイスの位置及び配向さえも考慮していない。したがって、提供される情報は、必然的に近似のものとなる。更に、それらは、皮膚表面上のみの線量を推定している。
【0010】
提案の別のファミリーは、特にモンテカルロ法による、線量のより複雑なシミュレーションに基づく。シミュレーションは、患者及びX線デバイスを特徴付ける異なる入力パラメータを考慮し得るが、リアルタイムに適さない非常に高い計算時間に悩まされる。したがって、医師が処置中に患者に課される線量を制御することを可能にするそのようなアプローチを使用することは不可能である。
【0011】
グラフィックス処理ユニット(Graphics Processing Unit、GPU)などの専用コンピ
ューティングプロセッサ上でモンテカルロシミュレーション方法を展開することが提案されている。
【0012】
公開された論文の例は、Badal A,Badano A.<<Accelerating Monte Carlo simulations of photon transport in a voxelized geometry using a massively parallel graphics processing unit>>in Med Phys.2009 Nov;36(11):4878-80.doi:10.1118/1.3231824.PMID:19994495、又はJ.Bert,H.Perez-Ponce,Z.El Bitar,S.Jan,Y.Boursier,et al..<<Geant4-based Monte Carlo simulations on GPU for medical applications>>in Physics in Medicine and Biology,IOP Publishing,2013,58,pp.5593-5611。
【0013】
これらの提案は、実際に計算時間を短縮するが、第1の提案については10秒の桁数であり(更に、患者の特定の解剖学的構造を考慮しない)、第2の提案については2分であるため、リアルタイムには不適切なままである。
【0014】
多層ニューラルネットワークの分野における最近の進歩を利用する更なる提案が現れ始めている。これらとしては、Roser,P.,Zhong,X.,Birkhold,A.,Strobel,N.,Kowarschik,M.,Fahrig,R.,& Maier,A.(2019).「Physics-Driven Learning of X-ray Skin Dose Distribution in Interventional Procedures」in Medical physics,46,4654-4665が挙げられる。
【0015】
しかしながら、このアプローチもまた、いくつかの理由のために実行可能ではなく、それは、レイトレーシング前処理に依存しており、それもまた、計算時間に関して高価であり、リアルタイムに適さない。論文は、照射マップの計算に約2秒の時間を要することを示している。更に、推定の精度は、それが22%のピークで8%の平均誤差を与え、更に、マップが最も照射されたエリアに集中し、したがって、医師に提供される情報を低減されるため、あまり良好ではない。また、方法は、予測モデルの学習を進めるために、患者の各露出器官の三次元モデルに依存する。実際には、このタイプの情報は、広く利用可能ではなく、有効な予測モデルを構築するための学習セットの構築を妨げるだけであり得る。実際、論文では、学習は、3つの「ファントム」に対してのみ実施される。
【0016】
それゆえに、最新技術には、準リアルタイム、かつ十分な正確さの両方である解決策は存在しない。
【発明の概要】
【発明が解決しようとする課題】
【0017】
本発明の目的は、上述の欠点を少なくとも部分的に軽減する方法及びシステムを提供することである。
【0018】
より具体的には、実施形態によると、本発明は、リアルタイム又は準リアルタイムで、すなわち、医師が手術中に患者の照射を制御することを可能にする時間で、照射マップを提供することを目的とする。特に、医師は、照射マップを取得するために必要とされる時間によってその手術が妨げられることがない。したがって、医師は、動的に提供される情報に従って手術中に反応することができる。
【課題を解決するための手段】
【0019】
第1の例示的な実施形態では、インターベンショナルラジオロジー中に患者の照射マップを取得するための方法であって、
患者の介入エリアの第1の放射線画像、及びインターベンショナルラジオロジーデバイスの第1の取得パラメータのデータを含む第1の入力テンソルと、当該第1の放射線画像及び当該第1の取得パラメータからの、シミュレーションモジュールによるシミュレーションによって取得された照射マップに対応するラベルとの間の関連を含む学習セットを、多層ニューラルネットワークに提出することからなる学習段階と、
当該インターベンショナルラジオロジーデバイスの第2の取得パラメータのストリームの取得、所与の患者の第2の放射線画像及び第2の取得パラメータのデータを含む第2の入力テンソルの作成、当該ニューラルネットワークへの当該第2の入力ベクトルの提出、並びに照射マップ予測の取り出しを含む、当該所与の患者に関する予測段階と、を含む、方法が提供される。
【0020】
好ましい実施形態では、本発明は、以下の特徴のうちの1つ以上を含み、これらは、別々に、又は互いに部分的に組み合わせて、又は互いに全体的に組み合わせて使用され得る。
-学習段階中に、学習セットの複数のデータが、第1の放射線画像について、可能なパラメータの間で当該第1の取得パラメータを変化させることによって生成される。
-当該シミュレーションが、グラフィックスプロセッサに適合されたモンテカルロ法によって実施される。
-当該ニューラルネットワークが、U-Netタイプである。
-当該ニューラルネットワークが、当該第1又は第2の放射線画像のデータを入力として有し、かつ当該ニューラルネットワークの出力が当該入力と同じサイズであるように、畳み込み及びプーリング層の第1の連続、並びに逆畳み込み及び畳み込み層の第2の連続を含む第1のサブネットワークであって、各逆畳み込み層の出力が、当該第1の連続において、対応する出力と連結される、第1のサブネットワークと、当該第1又は第2の取得パラメータをそれぞれ入力として有する第2のサブネットワークであって、第2のサブネットワークの出力が、当該第1の連続の最後のプーリング層の出力と連結される、第2のサブネットワークと、からなる。
-当該入力テンソルが、第1の放射線画像の当該データと当該第1の取得パラメータとの連結である。
-当該放射線画像が、コンピュータ断層撮影走査である。
【0021】
他の実施形態によると、上記に説明された方法を実施するための命令の機械実行可能プログラムを符号化する、コンピュータ可読媒体に関する。
【0022】
他の実施形態によると、本発明は、少なくとも1つのシミュレーションモジュールと、多層ニューラルネットワークを含む多層ニューラルネットワークモジュールと、を備える、インターベンショナルラジオロジー中の患者の照射マップについての予測を取得するためのシステムであって、当該システムが、
学習段階において、患者の介入エリアの第1の放射線画像、及びインターベンショナルラジオロジーデバイスの第1の取得パラメータのデータを含む第1の入力テンソルと、当該第1の放射線画像及び当該第1の取得パラメータに基づいて当該シミュレーションモジュールから取得された照射マップに対応するラベルとの間の関連を含む学習セットを、当該多層ニューラルネットワークに提出することと、
所与の患者に関する予測段階において、当該インターベンショナルラジオロジーデバイスから第2の取得パラメータのストリームを取得し、当該所与の患者の第2の放射線画像及び当該第2の取得パラメータのデータを含む第2の入力テンソルを作成し、当該ニュー
ラルネットワークに当該第2の入力ベクトルを提出し、照射マップ予測を取り出すことと、を行うように適合されている、システムに関する。
【0023】
本発明の更なる特徴及び利点は、添付の図面を参照して例として与えられる、本発明の好ましい実施形態の以下の説明から明らかになるであろう。
【図面の簡単な説明】
【0024】
ここで、いくつかの実施形態が、単なる例として、添付の図面を参照して説明される。
図1】本発明の一実施形態による、学習段階のための機能アーキテクチャの一例を概略的に表す。
図2】本発明の一実施形態による、予測段階のための機能アーキテクチャの一例を概略的に例示する。
図3】古典的なニューラルネットワークの基本アーキテクチャを概略的に例示する。
図4】本発明の一実施形態による、多層ニューラルネットワークの一例を概略的に例示する。
【発明を実施するための形態】
【0025】
本発明の目的の1つは、所与の患者の放射線中に患者の照射マップを取得することにある。
【0026】
この照射マップは、照射の量又は線量を、インターベンショナルラジオロジーによって影響される患者の環境に含有される空間内の点と関連付ける。これらの点は、エリアの選択されたサンプリングに従って、程度の差はあるが多数である。
【0027】
照射マップは、インターベンショナルラジオロジーを伴う手術中に取得されたデータに基づく。
【0028】
本発明によると、照射マップは、取得されたデータに関連したままで、手術中に医師に対してその生成を可能にするのに十分な速さで取得される。言い換えると、データ取得時と照射マップの生成時との間に行われる照射は、無視できると考えられ得る。
【0029】
照射マップの生成は、医師が、手術中にこのマップによって表される情報に反応することを可能にし得る。これは、人間の医師が、測定されたデータから計算された照射マップに動的に反応することができるという意味で、リアルタイムと呼ばれ得る。
【0030】
本発明によると、照射マップの生成は、多層ニューラルネットワークによって構築される予測モデルに基づく。
【0031】
非常に高レベルの観点から、多層ニューラルネットワークは、ブラックボックスとして見られ得、その内部パラメータは、入力データ及び所望の出力(又は「ラベル」)の両方を提示することによって、学習(又は訓練)段階中に調整されなければならない。この所望の出力とネットワークの「天然」出力との間の誤差は、誤差を低減するためにパラメータが僅かに調整されることを可能にする。多数のそのような「入力データI所望の出力」対を提示することによって、ネットワークは、正しく反応し、新しいラベル付けされていない入力データが提示されたときに良好な出力を提供するように学習する。
【0032】
本発明の一実施形態によると、使用されるニューラルネットワークは、多層パーセプトロンであってもよい。他のニューラルネットワークアーキテクチャも可能であり得る。特に、畳み込みニューラルネットワークが使用され得る(ConvNet又はCNN)。
【0033】
多層パーセプトロンの一例が図3に示される。
【0034】
多層パーセプトロン(multilayer perceptron、MLP)は、情報が入力層Lから出
力層Lのみに流れるいくつかの層に編成された人工ニューラルネットワークの一種であり、したがって、フィードフォワードネットワークである。各層L、L、L...Lは、それぞれ、n、n、n...nの変数のニューロンからなる。最後の層のニューロン(「出力」と呼ばれる)は、ニューラルネットワークの出力であり、L層上に提供される入力に応答してモデルの予測を表す。
【0035】
多層パーセプトロンでは、各ニューロンni,jは、出力として次の層Li+1の全てのニューロンに接続される。逆に、それは、前の層Li-1内の全てのニューロンの出力を入力として受信する。図3では、明確化のために、いくつかの接続のみが、方向付き矢印によって表されている。
【0036】
各接続は、重みと関連付けられる。重みのセットは、ニューラルネットワークの内部パラメータを形成する。それらは、学習(又は訓練)段階中に決定されなければならず、次いで、一般化によって、L入力層上に提示される新しい入力ベクトルからの出力値の予測を可能にする。
【0037】
各ニューロンni,jは、古典的に、関連付けられた接続の重みによってこれらの入力の加重和を実施し、次いで、活性化関数をこの和に適用する。
【0038】
学習によってネットワークの内部パラメータ、閾値を決定するためのいくつかの技術が存在する。1つの例は、確率的勾配降下(Stochastic Gradient Descent、SGD)アル
ゴリズムであり、例えば、Le Cun,Yann A.,et al.「Efficient backprop.Neural networks:Tricks of the trade」,Springer Berlin Heidelberg,2012.9-48。別の例は、Diederik P.Kingma and Jimmy Lei Ba.「Adam:A method for stochastic optimization」.2014.arXiv:1412.6980v9に最初に説明されたADAM、又はTijmen Tieleman and Geoffrey Hinton,「Lecture 6.5-rmsprop:Divide the gradient by a running average of its recent
magnitude」,COURSERA:neural networks for
machine learning,4(2):26:31,2012で特に説明されるRMSpropである。
【0039】
また、照射マップを取得するプロセスは、多層ニューラルネットワークの内部パラメータを決定することを可能にする学習段階を含む。
【0040】
これらが決定されると、多層ニューラルネットワークは、介入(又は手術)中の予測段階で使用され得る予測モデルを構築する。
【0041】
図1は、本発明の一実施形態による、そのような学習段階を例示する。
【0042】
本発明によると、学習段階は、患者の介入エリアの放射線画像31、及びインターベンショナルラジオロジーデバイスの取得パラメータ32のデータを含む学習入力テンソル自体と、放射線画像31及びこれらの取得パラメータ32に基づいて、シミュレーションモジュール12によって、シミュレーションによって取得された照射マップ33に対応する
ラベルとの間の関連を含む学習セットに、多層ニューラルネットワーク13を提出することからなる。学習セットは、データベース又はデータリポジトリ20に記憶され得る。
【0043】
従来の様式では、この学習段階は、インターベンショナルラジオロジーを伴う手術の前に外部で実行される。
【0044】
学習段階は、放射線画像のセットに基づく。
【0045】
実施形態によると、放射線画像は、三次元画像である。
【0046】
しかしながら、いくつかの他の実施形態によると、他の選択肢が企図され得る。例えば、2D画像が考慮されてもよく、ラジオロジーデバイスによって捕捉される患者の介入エリアの体積は、2D画像のセットによって表され、それらの各々は、体積の層を表す。
【0047】
また、第4の次元が時間である4D画像も考慮され得る(ビデオストリーム)。
【0048】
実験は、3D画像を構成する一連の2D画像を逐次的に予測するよりも、多層ニューラルネットワークによって3D画像を一度に予測することが速かったことを示している。
【0049】
以下では、「三次元画像」という表現が好まれるが、本発明の特許の範囲は、2D及び4D画像も同様に包含する。
【0050】
放射線画像(例えば、三次元画像)は、インターベンショナルラジオロジーに関連する患者の介入エリア、すなわち、インターベンショナルラジオロジーが効果をもたらすことを目的とする患者の身体の場所を捕捉する。
【0051】
これらの放射線画像(例えば、三次元画像)は、異なる種類のものであってもよい。例えば、それは、CT走査又はコンピュータ断層撮影(computerised tomography、CT)
であってもよい。これは、組織によるX線の吸収を測定し、次いで、コンピュータ処理によってデジタル化し、解剖学的構造の2D又は3D画像を最終的に再構成することからなる医療撮像技術である。データを取得するために、患者にX線ビームの走査を受けさせることによって、断層撮影又は「スライス」分析技術が使用される。
【0052】
典型的には、そのような3D画像は、それを計画するために任意の介入(又は手術)の前に撮影される。それによって、多数のそのような3D画像を容易に取得して訓練セットを形成することが可能である。
【0053】
更に、これらの3D画像の各々について、手術に使用されるインターベンショナルラジオロジーデバイスの取得パラメータ32が関連付けられ得る。インターベンショナルラジオロジーデバイスが、これらの取得パラメータの関数である患者の介入エリアの略二次元の画像を取得するように設計される。
【0054】
実際には、インターベンショナルラジオロジーデバイスは、医師のための二次元画像ストリームを生成する。これらの画像は、介入前に取得された画像31とは異なることに留意すべきである。
【0055】
取得パラメータは、主に、インターベンショナルラジオロジーデバイスの3軸座標x、y、z、デバイスの配向の角度α、β、デバイスの管の電圧KVであり、αは、患者の長手方向軸を中心とした回転を表し得るが、βは、水平軸を中心とした回転を表し得る。
【0056】
インターベンショナルラジオロジーデバイスのタイプに応じて、他のパラメータが使用され得る。
【0057】
本発明によると、ニューラルネットワーク13の入力テンソルは、CT走査画像からのデータと取得パラメータ(x、y、z、α、β、KV)32とを連結することによって形成され得る。
【0058】
本発明の一実施形態によると、各三次元画像31について、可能なパラメータの間で取得パラメータ(x、y、z、α、β、KV)を変化させることによって複数の訓練セットデータが生成される。
【0059】
これを行うために、エクスカーション間隔は、パラメータx、y、z、α、β、KVの各々、及びそれぞれのサンプリングレートについて定義され得る。したがって、照射マップ33がシミュレートされ得る同じ画像に対して、多数の可能なパラメータ化が定義され得る。
【0060】
各三次元画像31/取得パラメータ32の対が、出力においてシミュレートされた照射マップ33を提供するシミュレータ12の入力において生成され得る。この照射マップ33は、ニューラルネットワーク13にラベルとして提出され得る。
【0061】
言い換えると、学習段階の各反復において、ニューラルネットワーク12は、
-三次元画像31及び取得パラメータ32を含み、
-この同じ三次元画像31及びこれらの同じ取得パラメータ32に基づいてシミュレートされた照射マップ33からなるラベルと関連付けられた、入力テンソルを備える。
【0062】
言い換えると、ニューラルネットワークは、対応する取得マップを含む三次元画像データと取得パラメータ(x、y、z、α、β、KV)32との間の相関を可能にする。
【0063】
本発明によると、ニューラルネットワークの入力テンソルは、インターベンショナルラジオロジーデバイスによって生成されたデータのみを含有する。この取得されたデータを他のデータに変換するために複雑な前処理が実施される必要はない(データの性質を変化させない、再スケーリング、再サンプリングなどの可能な単純な前処理は別として)。
【0064】
結果として、訓練セットは、構築が安価であり、単に三次元画像を取り出すことによって多数のラベル付きの例が生成され得る。この訓練セットは、本発明の実施形態に従って取得パラメータを変化させることによって更に強化され得る。
【0065】
上述のRoserらの論文に説明されている方法とは異なり、十分に大規模な学習ベースの構築を低速化することになる高価な前処理を展開する必要も、各患者器官のボクセル化された3Dモデルを取得する必要もない。後者の要件は、実際に、大規模学習ベースの構築にとって有害である。
【0066】
しかしながら、訓練ベースは、ニューラルネットワークがそのコスト関数を最小化する安定状態に収束することを可能にするのに十分な大きさであり、その結果、効果的な予測モデルを訓練し得ることが重要である。小さ過ぎる訓練ベースは、誤った若しくは非常に不正確な予測を与えるか、又は正しい予測を与えるが、訓練セットにおけるものと僅かに異なるだけの例(低減された一般化能力)を与えることになる。
【0067】
したがって、本発明を用いても、この学習段階を実施するために患者データを収集する利用可能なデータベースを利用することが可能である。
【0068】
例えば、膵臓のCT走査画像のデータベースが存在し、論文H.R.Roth,L.Lu,A.Farag,H.-C.Shin,J.Liu,E.Turkbey,R.M.Summers,「Data from Pancreas-CT」,2016に文書化されている。このデータベースは、0.7~1mmの深さで離隔された512×512ピクセルの82個の画像を含有する。このデータベースから、4分×4分×2分のボクセル解像度を有する三次元画像が再定義され得る。
【0069】
シミュレーションモジュール12は、三次元画像31によって定義されるような対象の介入エリアにおいて、インターベンショナルラジオロジーデバイスによって放出される粒子の挙動のシミュレーションを、その取得パラメータ32に従って実施し得る。
【0070】
このシミュレーションは、モンテカルロ法によるシミュレーションであってもよい。
【0071】
特に、それは、GPUに基づくモンテカルロ法によるシミュレーションであってもよい。例えば、Physics in Medicine and Biology,IOP
Publishing,2013,58,pp.5593-5611におけるJ.Bert,H.Perez-Ponce,Z.El Bitar,S.Jan,Y.Boursierらによる論文「Geant4-based Monte Carlo simulations on GPU for medical applications」に説明されているような「GPU GEant4-based Monte Carlo
Simulations」のためのGGEMSプラットフォームが使用され得る。GGEMSの目的は、様々な医療用途のシミュレーションのための柔軟なプラットフォームを提供することである。シミュレーションアルゴリズムはまた、GPU上で実行されるプラットフォームにより良好に適合するように修正され得る。
【0072】
本発明の方法の実験の具体的な場合において、インターベンショナルラジオロジーデバイスによって構築されるソースは、KV値の円錐放射線を形成するものとして定義され得る。各シミュレーションについて、10個の粒子の挙動が、NVDIA 1080 GTX TiタイプのGPU上で約6秒の時間でシミュレーションされ得る。
【0073】
本発明の一実施形態によると、取得パラメータは、結果として得られる訓練セットの母集団を増加させるために、画像毎に変更され得る。
【0074】
典型的には、角度α、βは、2°刻みでそれぞれ範囲[-50°、90°]、[-30°、+30°]で変化する。
【0075】
インターベンショナルラジオロジーデバイスの位置は、5cm刻みで3つのパラメータx、y、zに対して間隔[-30cm、+30cm]で変化し得る。
【0076】
最終的に、管電圧KVは、10kV刻みで範囲[80kV、120kV]で変化し得る。
【0077】
間隔及び刻みのこれらの値は、インターベンショナルラジオロジーデバイスの技術データを研究することによって、かつ医師(外科医、放射線科医など)からのフィードバックによって決定されている。
【0078】
シミュレーションモジュール12は、照射マップ33を提供する。この放射線マップは、シミュレートされた環境内の空間内の点を放射線量と関連付ける三次元画像である。
【0079】
シミュレートされた放射線マップ33は、ニューラルネットワークモジュール13によって実装されるニューラルネットワーク130のためのラベルを形成する。それ自体が既知である様式では、訓練は、ニューラルネットワーク130の出力を、入力テンソルの関数として計算して、その出力と、所望の出力である関連付けられたラベル又は照射マップとの間の距離を推定するコスト関数を測定することを伴う。コスト関数によって評価される、これらの2つの値(この場合、2つのテンソル)の間の差は、既に説明されたように、一般に勾配降下法によってニューラルネットワークのパラメータを修正するために使用される。
【0080】
本発明の一実施形態によると、コスト関数は、ニューラルネットワーク13の出力テンソルと照射マップによって表される所望の出力(ラベル)との間の平均二乗誤差の評価であってもよい。
【0081】
学習機構は、例えば、D.P.Kingma and J.Ba,「Adam:A Method for Stochastic Optimization」,CoRR,abs/1412.6980(2014)に説明されている、ADAMアルゴリズムによって最適化され得る。
【0082】
ニューラルネットワーク13は、Keras APIを使用してTensorFlowプラットフォーム上で実装され得る。
【0083】
本発明の一実施形態によると、ニューラルネットワークは、畳み込み自己符号化多層ニューラルネットワークである。
【0084】
より具体的には、ニューラルネットワークは、u-netタイプであってもよい。
【0085】
u-netニューラルネットワークは、Olaf Ronneberger,Philipp Fischer,Thomas Brox,「U-net:Convolutional networks for biomedical image segmentation」,in International Conference on Medical Image Computing and Computer-Assisted Intervention,pages 234-241,Springer,2015に最初に説明された畳み込みネットワークである。
【0086】
その後、3Dバージョンが、O.Cicek,A.Abdulkadir,S.S.Lienkamp,T.Brox,and O.Ronneberger,「3D U-net:learning dense volumetric segmentation from sparse annotation」in Lect.Ronneberger,「3D U-net:learning dense volumetric
segmentation from sparse annotation」in Lect.Notes Computing Science,vol.9901 LNCS,pages 424-432,2016で提案された。
【0087】
本発明の一実施形態によると、ニューラルネットワークは、3D U-netアーキテクチャに基づく。
【0088】
図4は、そのような実施形態の一例を例示する。
【0089】
特に、ニューラルネットワークモジュール13のニューラルネットワーク130は、3D u-netに対応する第1のサブネット131と、出力が第1のサブネット内で連結
される第2のサブネット132とから構成される。
【0090】
第1のサブネットワーク131自体は、符号化経路(又は縮小、若しくはサブサンプリング)を構築する層の第1の連続と、復号化経路(又は拡大、若しくはオーバーサンプリング)を構築する層の第2の連続と、を含む。
【0091】
符号化経路は、畳み込み層及びプーリング層の連続である。
【0092】
より具体的には、符号化経路は、2つの連続する3×3×3畳み込み層の連続を含み得、各々、その後にReLU活性化及び2×2×2 maxPooling層が続く。各サブサンプリング(又は符号化)段階において、フィルタ(又は特徴)の数は、2倍にされ、第1の畳み込みのための8から始まる。
【0093】
この符号化経路の第1の層は、三次元画像データ31によって形成されたテンソルを入力として受け取る。
【0094】
プーリング演算は、次元数を低減し、最も関連するフィルタ又は特徴を捕捉する。
【0095】
図4では、右への水平矢印は、これらの畳み込み演算に対応し、下向き矢印は、maxPooling演算に対応する。
【0096】
同様に、復号化経路(図4の右)は、逆畳み込み及び畳み込み層の連続を有する。
【0097】
例えば2×2×2の逆畳み込み(又は転置畳み込み、若しくはオーバーサンプリング)は、上向き矢印によって表されるが、一方で、例えば、3×3×3の畳み込みは、復号化チャネルと同様に右向き矢印によって表される。
【0098】
このようにして、入力31と同じサイズの出力(すなわち、照射マップ34)が取得され得る。
【0099】
このニューラルネットワークは、エンコーダ-デコーダネットワークのファミリーに関連するが、従来のアーキテクチャとは異なり、符号化経路と復号化経路との間に結合が存在する。より精密には、各逆畳み込み層の出力は、当該第1の連続における対応する出力と連結される。この結合は、図4の細い矢印によって表され、空のブロックは、復号化経路に連結される逆畳み込み層の出力を表す。
【0100】
この結合は、この情報が、微細な詳細を有する再構築の生成を可能にするため、符号化経路の低レベル層から復号化経路の高レベル層への詳細情報の転送を可能にする。
【0101】
図4に例示されるように、複数のプーリング(サブサンプリングを形成する)及びその後のオーバーサンプリング演算は、U字形(関数的)形態をネットワークに与え、ネットワークに「U-net」というその通常の名前を与える。
【0102】
符号化経路の最後の層及び復号化パスの最初の層もまた、ボトルネックを形成していると考えられ得る。
【0103】
この実施形態によると、ニューラルネットワークは、元来、このボトルネックのレベルで第1のサブネットワーク131に結合される第2のサブネットワーク132を含む。
【0104】
この第2のサブネット132は、インターベンショナルラジオロジーデバイスの取得パ
ラメータ32を入力として受け取る。
【0105】
この第2のサブネットワークは、アーキテクチャ上、数個の完全に接続された層(ここでは図4の3つ)のネットワークであり得る。出力テンソル133は、符号化経路の最後のプーリング層の出力と連結される。このテンソルは、それらの連結を可能にするために、この最後のプーリング層の出力テンソルと同じ数のユニット(19×12×15=3420)を有する。
【0106】
一実施形態によると、畳み込み及び逆畳み込み演算のためのフィルタ(又は「特徴」)の数は、リアルタイム要件に適合する、より高速な予測(予測段階における)を可能にするために、元の3D u-netと比較して8分の1に経験的に低減されている。しかしながら、プーリング演算の前にフィルタの数を2倍にするという考えは保持されている。
【0107】
一実施形態によると、u-net 3Dスキームと比較した別の顕著な特徴は、入力と同じサイズの出力を取得するためのパディング機構の使用である。
【0108】
パディングは、画像に適用される再帰的畳み込みプロセスのエッジ効果を回避することを目的とする。
【0109】
より精密には、画像エッジの周囲のピクセルは、畳み込みに起因して、処理されることができない。
【0110】
例えば、3×3×3の畳み込みフィルタの場合、処理後の画像の周囲のエッジは、1ピクセルのサイズで切り取られる。その結果、画像のサイズは、各畳み込みの後に各次元上で2画素だけ低減され、デコーダ経路上でこの次元を復元することは不可能である。
【0111】
これは、各畳み込み演算の前に入力画像にゼロパディングを適用することによって回避され得る。ゼロパディングは、画像のエッジの周囲にゼロ値を有する画素を追加することからなる。
【0112】
学習時間を最適化するために、異なる機構が実装され得る。
【0113】
例えば、訓練は、2つの部分段階に分割され得る。
【0114】
第1の部分段階では、可能なパラメータの間で取得パラメータを変化させることによって取得された複数の訓練セットデータのサブセットのみが使用される。このサブセットは、この複数のものよりも実質的に小さい。
【0115】
例えば、モジュール11は、この部分段階において、より少数のパラメータのみを生成するが、例えば、より大きい刻みサイズを使用して、好ましくは均一に分散される。
【0116】
例えば、配向角度は、10°刻みで変化し、ソースのx、y、z位置は、15cm刻みで変化し、管電圧KVは、40kV刻みで変化する。
【0117】
この第1の部分段階は、ニューラルネットワークの状態が許容可能な状態に迅速に収束することを可能にする。
【0118】
第2の部分段階では、訓練セット全体が使用される(すなわち、上記に示されたように、より小さい刻みを有する)。
【0119】
訓練セットは、介入の特定のエリアに固有であり、例えば、頭部及び頸部、胸部、骨盤などに対して特定の訓練セットが形成され得る。訓練セットは、頭部及び頸部、胸部、骨盤などのために形成され得る。訓練セットはまた、全身用に形成され得る。
【0120】
各訓練セットは、ニューラルネットワーク13の特定の状態につながる。この状態は、その全てのパラメータ(シナプス荷重など)の値によって具体化され、したがって、特定の予測モデルを構築する。
【0121】
一度構築されると、これらの予測モデル(ニューラルネットワーク13の状態)は、予測段階において使用するために記憶され得る。
【0122】
したがって、予測段階中、第1のステップは、予測モデルのライブラリから適切な予測モデルを選択することであり得る。このステップは、手動であってもよく、医師が介入エリアを選択し、これが、関連付けられた予測モデルの選択につながる。他の実施形態によると、このステップは、介入エリアの自動認識を可能にする画像認識アルゴリズムを適用することによって自動的であってもよい。
【0123】
この予測段階は、リアルタイム放射線マップを予測して、インターベンショナルラジオロジー中に医師を助けるか又はガイドするために、所与の患者に予測モデルを適用することからなる。
【0124】
この段階が図2に例示される。
【0125】
介入中、インターベンショナルラジオロジーデバイス21は、取得パラメータストリーム32を生成する。このストリームは、例えば、取得パラメータを放射線マップ生成システム10ラジオロジーに送信するサンプリングレートによって決定される。
【0126】
パラメータは、上記の6タプル(x、y、z、α、β、KV)、又はラジオロジーデバイスのタイプに固有のパラメータの任意のセットであってもよい。いずれにしても、これらのパラメータは、学習段階に使用されるパラメータと同じでなければならない。
【0127】
これらのパラメータは、医師の行動に応じて、介入中に経時的に進化する。それらの値は、患者の照射、特にパラメータ(x、y、z、α、β)については患者の面積、パラメータKVについては瞬時線量に影響する。
【0128】
更に、システム10は、所与の患者の放射線画像31、例えば、三次元データを含む入力テンソルを作成するために提供される。この放射線画像は、学習段階で使用されたものと同じ性質のものである。それは、データリポジトリ20に記憶された患者の術前画像、又はインターベンショナルラジオロジー手術中に取得された画像であってもよい。本発明によると、この画像は、手術中に一意であり得る(パラメータのみが経時的に変化する)。
【0129】
入力テンソルはまた、インターベンショナルラジオロジーデバイス21によって生成されたフローを取得するためのパラメータを含む。
【0130】
サンプリングは、この入力テンソルを構築するためにフローのサンプリングされた部分のみを受け取るように適用され得る。サンプリングは、予測毎の計算時間に基づいて決定され得る。
【0131】
この入力テンソルが作成され、ニューラルネットワーク13への入力として提出される
と、照射マップ34の予測が、ニューラルネットワーク13からの出力として取り出され得る。
【0132】
この照射マップ34は、学習段階中にラベルとして提供されるものと同じタイプのものである。特に、それは、インターベンショナルラジオロジー手術中の患者の介入エリアの単位体積当たりの推定された放射線量を提供し得る。
【0133】
この照射マップは、各ボクセルが照射線量と関連付けられている3D画像として見ることができる(古典的な3D画像におけるような比色データの代わりに)。
【0134】
本発明者らによって実行された実験的測定は、標準的なGPUグラフィックスカードを用いて、照射マップが70ms未満を要すると推定することを可能にした。
【0135】
この照射マップは、患者に対する医師の介入中に医師を支援するために使用され得る。
【0136】
具体的には、それは、画面上に表示され得、その結果、医師が処置中にそれを見ることができる。
【0137】
放射線量は、線量値の間隔毎に異なる色を関連付けることによって表され得る。
【0138】
新しいマップを計算する時間は非常に短いため、表示は、リフレッシュされ得(毎秒約15マップ)、その結果、表示されたマップは、医師の現在の時間に対応し、医師がリアルタイムでマップを監視することを可能にする。
【0139】
また、放射線量が介入エリアの特定の部分エリアに対して特定の所定の閾値を超えた場合、アラート(視覚的、聴覚的...)がトリガされ得る。
【0140】
例えば、関連付けられた放射線量が閾値を超えたため、又は放射線量の増加が多過ぎて、将来閾値を超える可能性があることを示唆しているため、問題となり得るエリアを視覚的に強調することが可能であり得る。
【0141】
いくつかの先行技術の提案とは対照的に、予測された放射線マップは、3Dマップである。言い換えると、放射線量の推定値は、皮膚表面についてのみならず、照射された器官及び身体部位の全体積についても取得され得る。
【0142】
更に、ニューラルネットワーク予測に固有の誤差は、非常に妥当であり、基準モンテカルロシミュレーションと比較して5%未満である。
【0143】
更に、上述されたように、本方法は、訓練段階で取得するのが容易である医療撮像データのみを使用するため、訓練セットは、ニューラルネットワークが良好に収束し、したがって、予測段階で良好な定性的性能を取得することを可能にするのに十分に大きい、身体の様々な部位について構築され得る。
【0144】
一実施形態では、システム10は、集中型サーバ内に共同設置されたか、又は分散サーバ内若しくはサーバのセットにわたって分散された回路のセットによって実装され得る。このサーバのセットは、「サーバファーム」又は「クラウドコンピューティング」構成を含み得る。このサーバはまた、手術室に位置する単一のコンピュータ上に実装されてもよい。
【0145】
このシステム10は、学習段階及び予測段階の両方において、患者の三次元画像を取り
出すために(手術が実施される患者の術前画像を取得するために)、遠隔サーバと通信する手段を有してもよい。
【0146】
システムはまた、特に取得パラメータを取り出すために、インターベンショナルラジオロジーデバイス21と通信する手段を有してもよい。
【0147】
これらの通信手段は、最新技術によるものであってもよい。特に、それらは、有線(イーサネット、USBなど)又は無線(Wi-Fi、Bluetooth、3G/4G/5Gセルラーなど)通信手段であってもよい。
【0148】
当然ながら、本発明は、説明及び表現された例及び実施形態に限定されず、特許請求の範囲によって定義される。特に、当業者が利用可能な多数の変形が可能である。
図1
図2
図3
図4
【国際調査報告】