知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-10
(54)【発明の名称】医用撮像における自動計画のための仮想基準マーキング
(51)【国際特許分類】
A61B 5/055 20060101AFI20240403BHJP
A61B 6/03 20060101ALI20240403BHJP
A61B 6/46 20240101ALI20240403BHJP
G01T 1/161 20060101ALN20240403BHJP
【ＦＩ】
A61B5/055 390
A61B5/055 380
A61B6/03 560T
A61B6/46 536Q
G01T1/161 D
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023562718
(86)(22)【出願日】2022-03-30
(85)【翻訳文提出日】2023-10-12
(86)【国際出願番号】 EP2022058421
(87)【国際公開番号】W WO2022218707
(87)【国際公開日】2022-10-20
(31)【優先権主張番号】21168111.9
(32)【優先日】2021-04-13
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＰＹＴＨＯＮ
３．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】ヴィー マニカンダ クリシュナン
(72)【発明者】
【氏名】クンデティ スリニヴァーサ ラオ
(72)【発明者】
【氏名】シャルマ サミット
【テーマコード（参考）】
4C093
4C096
4C188
【Ｆターム（参考）】
4C093AA22
4C093EE16
4C093FD03
4C093FF35
4C093FF37
4C093FG13
4C096AA18
4C096AA20
4C096AD14
4C096DC33
4C096DC40
4C096DD13
4C188EE02
4C188FF04
4C188FF07
(57)【要約】
本明細書では、対象者１００を描写した医用撮像データ１３６を取得するように構成された医用撮像システム１０２、３０２と、対象者の対象者画像１３８を取得するように構成されたカメラシステム１１４と、マシン実行可能命令１３０、医用撮像システムコマンド１３４、座標系マッピング、及び画像マーキングニューラルネットワーク１３２を記憶するメモリ１２６とを備える医療システム１００、３００、５００、６００が開示される。計算システム１２０によるマシン実行可能命令の実行は、計算システムに、医用撮像システムコマンドを用いて医用撮像システムを制御することによって、医用撮像データを取得すること（２００）と、医用撮像データの取得中に対象者画像を取得するようにカメラシステムを繰り返し制御すること（２０２）と、対象者画像を画像マーキングニューラルネットワークに入力することによって、仮想基準マーカのカメラシステム座標１４２を繰り返し受信すること（２０４）と、座標系マッピングを使用して仮想基準マーカのカメラシステム座標を仮想基準マーカの提供される撮像システム座標に繰り返し変換することによって、仮想基準マーカのセットの撮像システム座標を繰り返し提供すること（２０６）とを行わせる。
【特許請求の範囲】
【請求項1】
医用撮像システムとカメラシステムとメモリと計算システムとを備える医療システムであって、前記医用撮像システムは、画像システム座標系を有し、撮像ゾーンから対象者を描写した医用撮像データを取得し、
前記カメラシステムは、カメラ座標系を有し、前記医用撮像データの取得中に前記対象者の対象者画像を取得し、
前記メモリは、マシン実行可能命令、医用撮像システムコマンド、座標系マッピング、及び画像マーキングニューラルネットワークを記憶し、前記座標系マッピングが前記システム座標系と前記カメラ座標系との間のマッピングであり、前記画像マーキングニューラルネットワークが、前記対象者の所定の解剖学的領域を描写した入力画像を受信し、前記画像マーキングニューラルネットワークがさらに、前記入力画像を受信したことに応答して、前記入力画像内の仮想基準マーカのセットのカメラシステム座標を出力し、前記医用撮像システムコマンドが、前記医用撮像データを取得するように前記医用撮像システムを制御し、
前記計算システムは、前記医療システムを制御し、前記マシン実行可能命令の実行が、前記計算システムに、
前記医用撮像システムコマンドを用いて前記医用撮像システムを制御することによって、前記医用撮像データを取得することと、
前記医用撮像データの取得中に前記対象者画像を取得するように前記カメラシステムを繰り返し制御することと、
前記対象者画像を前記画像マーキングニューラルネットワークに入力することによって、前記仮想基準マーカの前記カメラシステム座標を繰り返し受信することと、
前記座標系マッピングを使用して前記仮想基準マーカの前記カメラシステム座標を仮想基準マーカの提供される撮像システム座標に繰り返し変換することによって、前記仮想基準マーカのセットの前記撮像システム座標を繰り返し提供することと
を行わせる、医療システム。
【請求項2】
前記マシン実行可能命令の実行がさらに、前記計算システムに、前記医用撮像データの取得を開始する前に初期医用画像を受信することと、
前記初期医用画像内で識別された選択された視野を受信することと、
前記仮想基準マーカの前記撮像システム座標と前記初期医用画像との間のレジストレーションを算出することと、
前記レジストレーションを使用して、選択された前記視野から前記医用撮像データを取得するためのパルスシーケンスコマンドを構成することと
を行わせる、請求項１に記載の医療システム。
【請求項3】
前記初期医用画像が、解剖学的アトラス画像、前記対象者のスカウトスキャン、及び前記対象者の以前の医用画像のうちのいずれか１つである、請求項２に記載の医療システム。
【請求項4】
前記マシン実行可能命令の実行がさらに、前記計算システムに、前記仮想基準マーカの前記撮像システム座標の変化に応答して、前記レジストレーションを使用して、選択された前記視野から前記医用撮像データを取得するように前記医用撮像システムコマンドを繰り返し調整することを行わせる、請求項２又は３に記載の医療システム。
【請求項5】
前記医用撮像システムコマンドが、選択された前記視野と前記仮想基準マーカの最新の撮像システム座標とが一致するように調整される、前記パルスシーケンスコマンドが、選択された前記視野と前記仮想基準マーカの前記撮像システム座標の速度を使用して決定される前記仮想基準マーカの前記撮像システム座標の予測された座標とが一致するように調整される、及び
それらの組合せ
のうちのいずれか１つである、請求項４に記載の医療システム。
【請求項6】
前記医療システムが、対象者の動きを描写したジャイロスコープデータを提供する対象者取付型ジャイロスコープをさらに備え、前記マシン実行可能命令の実行がさらに、前記計算システムに、前記対象者取付型ジャイロスコープから前記ジャイロスコープデータを繰り返し受信することと、
前記ジャイロスコープデータから対象者の加速度を繰り返し決定することと、
前記対象者の加速度を使用して、予測された仮想基準マーカ速度を繰り返し算出することと、
前記仮想基準マーカの最新の撮像システム座標及び予測された前記仮想基準マーカ速度を使用して、予測された仮想基準マーカ位置を繰り返し算出することと
を行わせる、請求項４に記載の医療システム。
【請求項7】
前記医療システムがディスプレイをさらに備え、前記マシン実行可能命令の実行がさらに、前記計算システムに、前記医用撮像データの前記取得の開始時に前記仮想基準マーカのセットの前記カメラシステム座標を受信することと、
前記取得の開始時に前記仮想基準マーカのセットの前記カメラシステム座標を使用して、初期対象者位置インジケータの位置を算出することと、
前記初期対象者位置インジケータを前記ディスプレイ上に永続的にレンダリングすることと、
前記仮想基準マーカのセットの前記カメラシステム座標を使用して、現在位置インジケータの位置を繰り返し算出することと、
前記現在対象者位置インジケータを前記ディスプレイ上に繰り返しレンダリングすることと
を行わせる、請求項１から６のいずれか一項に記載の医療システム。
【請求項8】
前記初期対象者位置インジケータが、前記取得の開始時に前記対象者画像に重ね合わされた前記出力カメラシステム座標を使用して位置決めされた前記仮想基準マーカのセットのレンダリングであり、前記現在対象者位置インジケータが、前記対象者画像に重ね合わされた前記カメラシステム座標を使用して位置決めされた前記仮想基準マーカのセットのレンダリングである、及び前記初期対象者位置インジケータが、前記取得の前記開始時に前記カメラシステム座標における前記仮想基準マーカのセットの組合せを使用して位置決めされた第１のオブジェクトであり、前記現在対象者位置インジケータが、前記カメラシステム座標における前記仮想基準マーカのセットの組合せを使用して位置決めされた第２のオブジェクトである、
のうちのいずれか１つである、請求項７に記載の医療システム。
【請求項9】
前記医用撮像データが部分的に取得され、前記マシン実行可能命令の実行がさらに、前記計算システムに、前記医用撮像データの前記部分のそれぞれが取得された時点で、前記仮想基準マーカの前記カメラシステム座標を使用して前記医用撮像データの前記部分のそれぞれを補正することを行わせる、請求項１から８のいずれか一項に記載の医療システム。
【請求項10】
前記医用撮像データの前記部分に対する前記補正が、剛体の回転及び／又は平行移動を実行することによる方法、並びに、医用撮像データの前記部分、及び前記医用撮像データの前記部分のそれぞれが取得された時点の前記仮想基準マーカの前記出力座標のうちの１つを受信したことに応答して、補正された医用撮像データを出力する医用画像データ補正ニューラルネットワークを使用することによる方法のうちのいずれか１つを使用して補正される、請求項９に記載の医療システム。
【請求項11】
前記マシン実行可能命令の実行がさらに、前記計算システムに、前記医用撮像データから臨床医用画像を再構築することを行わせる、請求項１から１０のいずれか一項に記載の医療システム。
【請求項12】
前記医療システムが、治療ゾーンを照射する放射線療法システムをさらに備え、前記治療ゾーンが前記撮像ゾーン内にあり、前記マシン実行可能命令の実行がさらに、前記計算システムに、前記治療ゾーンを照射するように前記放射線療法システムを制御する放射線療法制御コマンドを受信することと、
前記仮想基準マーカの前記撮像システム座標を前記臨床医用画像に対してレジストレーションすることと、
前記臨床医用画像内の前記治療ゾーンの位置を受信することと、
前記臨床医用画像内の前記治療ゾーンの前記位置と、前記臨床医用画像に対する前記仮想基準マーカの前記撮像システム座標の前記レジストレーションとを使用して、前記放射線療法制御コマンドを修正することと
を行わせる、請求項１１に記載のシステム。
【請求項13】
前記医用撮像データが、磁気共鳴撮像システム、コンピュータ断層撮影システム、陽電子放出断層撮影システム、単一光子放出断層撮影システム、磁気共鳴撮像システムと陽電子放出断層撮影システムとを組み合わせたもの、及びコンピュータ断層撮影システムと陽電子放出断層撮影システムとを組み合わせたもののうちのいずれか１つである、請求項１から１２のいずれか一項に記載の医療システム。
【請求項14】
医療システムを動作させる方法であって、医用撮像システムが、撮像ゾーンから対象者を描写した医用撮像データを取得し、前記医用撮像システムが画像システム座標系を有し、前記医療システムが、前記医用撮像データの取得中に前記対象者の対象者画像を取得するカメラシステムを備え、前記カメラシステムがカメラ座標系を有し、前記方法が、医用撮像システムコマンドを用いて前記医用撮像システムを制御することによって前記医用撮像データを取得するステップと、
前記医用撮像データの取得中に前記対象者画像を取得するようにカメラシステムを繰り返し制御するステップと、
前記対象者画像を画像マーキングニューラルネットワークに入力することによって、前記仮想基準マーカのカメラシステム座標を繰り返し受信するステップであって、前記画像マーキングニューラルネットワークが、前記対象者の所定の解剖学的領域を描写した入力画像を受信し、前記画像マーキングニューラルネットワークがさらに、前記入力画像を受信したことに応答して、前記入力画像内の仮想基準マーカのセットのカメラシステム座標を出力する、ステップと、
座標系マッピングを使用して、前記仮想基準マーカのセットの前記カメラシステム座標を前記仮想基準マーカの提供される撮像システム座標に繰り返し変換することによって、前記仮想基準マーカの撮像システム座標を繰り返し提供するステップであって、前記座標系マッピングが、前記撮像システム座標系と前記カメラ座標系との間のマッピングである、ステップと
を有する、方法。
【請求項15】
医療システムを制御する計算システムによって実行されるマシン実行可能命令を含むコンピュータプログラムであって、前記医療システムが、撮像ゾーンから対象者を描写した医用撮像データを取得する医用撮像システムを備え、前記医用撮像システムが画像システム座標系を有し、前記医療システムが、前記医用撮像データの取得中に対象者の対象者画像を取得するカメラシステムを備え、前記カメラシステムがカメラ座標系を有し、前記マシン実行可能命令の実行が、前記計算システムに、医用撮像システムコマンドを用いて前記医用撮像システムを制御することによって前記医用撮像データを取得することと、
前記医用撮像データの取得中に前記対象者画像を取得するように前記カメラシステムを繰り返し制御することと、
前記対象者画像を画像マーキングニューラルネットワークに入力することによって、前記仮想基準マーカのカメラシステム座標を繰り返し受信することであって、前記画像マーキングニューラルネットワークが、対象者の所定の解剖学的領域を描写した入力画像を受信し、前記画像マーキングニューラルネットワークがさらに、前記入力画像を受信したことに応答して、前記入力画像内の仮想基準マーカのセットのカメラシステム座標を出力する、前記カメラシステム座標を繰り返し受信することと、
座標系マッピングを使用して、前記仮想基準マーカのセットの前記カメラシステム座標を前記仮想基準マーカの提供される撮像システム座標に繰り返し変換することによって、前記仮想基準マーカの撮像システム座標を繰り返し提供することであって、前記座標系マッピングが、前記撮像システム座標系と前記カメラ座標系との間のマッピングである、前記撮像システム座標を繰り返し提供することと
を行わせる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医用撮像における基準マーキングの使用に関する。
【背景技術】
【0002】
磁気共鳴撮像（ＭＲＩ）、コンピュータ断層撮影、陽電子放出断層撮影、及び単一光子放出断層撮影などの様々な断層撮影医用撮像技法は、対象者の解剖学的構造の詳細な視覚化を可能にする。これらすべての撮像モダリティに共通する特徴は、医用画像を再構築するために必要な医用撮像データを取得するのに大幅に時間がかかることである。医用撮像データの取得中、対象者が自発的又は非自発的に移動し、その結果、画像の破損又はアーチファクトが生じる。対象者の動きを追跡して、対象者の動きの影響を軽減することができる。予測的動き補正の場合、医用撮像システムは、医用撮像データの取得中に対象者の動きを補償するように調整される。遡及的動き補正は、別の部類の技法であり、医用撮像データの取得中に対象者の動きが記録され、この記録された対象者の動きを使用して医用撮像データが補正され、補正された医用画像を再構築する。
【0003】
よく知られている技法は、基準マーカの使用である。基準マーカは、対象者の表面に適用されるマーカである。いくつかの例では、次いで、カメラを使用して基準マーカの位置を測定することができる。他の例では、医用撮像スキャナによって基準マーカの位置が直接記録される。磁気共鳴撮像では、磁気共鳴撮像測定によって直接検出され位置特定され得る基準マーカがある。基準マーカの欠点は、基準マーカを対象者の表面に適用するか、装着しなければならないことである。
【0004】
Ｓｌｉｐｓａｇｅｒ，Ｊａｋｏｂ Ｍ．他による学術論文「Ｍａｒｋｅｒｌｅｓｓ ｍｏｔｉｏｎ ｔｒａｃｋｉｎｇ ａｎｄ ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ ＰＥＴ，ＭＲＩ，ａｎｄ ｓｉｍｕｌｔａｎｅｏｕｓ ＰＥＴ／ＭＲＩ」Ｐｌｏｓ ｏｎｅ １４．４（２０１９）：ｅ０２１５５２４は、脳撮像の動き補正（ＭＣ）のためのＰＥＴ、ＭＲＩ、及びＰＥＴ／ＭＲＩ同時システムと互換性のあるマーカレス動きトラッカを開示している。ＰＥＴ及びＭＲＩとの互換性は、ボア内にビジョンエクステンダを配置し、すべての電子構成要素をボア外に設置することによって実現される。動きトラッカは、９４人の小児患者のスキャンを含む小児ＰＥＴ／ＭＲＩ研究中の臨床セットアップにおいて実証されている。ＰＥＴ ＭＣは、カスタマイズされたバージョンの多重取得フレーム法を使用してこれらのスキャンのうちの２つについて提示されている。動き認識ＭＲＩシーケンスを使用して、２人の健康な対象者のＭＲＩ取得の予測的ＭＣが実証されている。リアルタイムの動き推定は、追跡の信頼性を向上させるための追跡妥当性パラメータを伴う。
【0005】
Ｉ．Ｆｒｏｓｉｏらは、「Ａ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｂａｓｅｄ Ｍｅｔｈｏｄ ｆｏｒ Ｏｐｔｉｃａｌ Ｐａｔｉｅｎｔ Ｓｅｔ－ｕｐ Ｒｅｇｉｓｔｒａｔｉｏｎ ｉｎ Ｂｒｅａｓｔ Ｒａｄｉｏｔｈｅｒａｐｙ」、Ａｎｎａｌｓ ｏｆ Ｂｉｏｍｅｄｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ、ｖｏｌ．３４、ｎｏ．４、６７７～６８６頁（２００６）において、患者上のレーザースポットによって形成されたマーカの位置を分析する動き補償ニューラルネットワークアルゴリズムを有する放射線療法システムを開示している。
【発明の概要】
【0006】
本発明は、独立請求項において医療システム、コンピュータプログラム、及び方法を提供する。実施形態は従属請求項に記載されている。
【0007】
実施形態は、医用撮像システムによる医用撮像データの取得中に対象者を追跡する改良された手段を提供する。対象者の表面に基準マーカを配置する代わりに、画像マーキングニューラルネットワークを使用して、カメラシステムの座標系に仮想基準マーカのセットを提供する。次いで、座標系マッピングを使用して、仮想基準マーカのセットの位置を医用撮像システムの座標系に変換する。これは、様々な潜在的な利点を有する。第一に、対象者への基準マーカの適用が回避される。別の潜在的な利点は、物理的基準マーカを使用する多数のアルゴリズム及び技法を最小限の変更で使用できることである。仮想基準マーカの座標は、これらの既存のアルゴリズムに供給され得る。
【0008】
別の潜在的な利点は、上記で引用したＳｌｉｐｓｉｎｇｅｒの論文などの様々な人工知能（ＡＩ）システムを使用する従来のシステムが、ニューラルネットワークを使用して剛体平行移動を直接提供することである。これは、頭蓋骨内に器官が位置する脳などの領域の撮像に効果的である。しかしながら、Ｓｌｉｐｓｉｎｇｅｒにおいて開示された技法は、一般的に、他のタイプの撮像には適用できない。代わりに仮想基準マーカを提供すると、様々なタイプの動きに対処できる可能性を高めることが可能になる。例えば、対象者による呼吸及び心臓の動きによる胸部の膨張並びに収縮は、基準マーカによって処理することができるが、剛体平行移動では処理することができない。
【0009】
Ｓｌｉｐｓｉｎｇｅｒ他では、ＴＣＬ２動き追跡ソフトウェアパッケージ（ＴｒａｃＳｕｉｔｅ）が、反復最近傍点（ＩＣＰ：Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムを使用して患者の頭部の姿勢を推定する。頭部の姿勢は、ほとんどの動き補正の目的には十分なサンプルレートである３０Ｈｚの周波数で計算される。ＩＣＰ位置合せアルゴリズムは、剛体表面を追跡するという仮定を課す。咬合、素早い動き、又は顔の移動は、そのような剛体性の仮定に違反する。また、患者が視野（ＦＯＶ）の外に移動した場合、正確な追跡は不可能になる。したがって、追跡結果がどの程度信頼できるかを判断するために、推定された姿勢は、基準点群と突き合わせて分析される。
【0010】
本発明では、トラッカとしての仮想基準マーカは、点群と患者とをレジストレーションすることへの依存を解消する可変のマーカのセットである。これは、自由度依存性の障害を取り除くという利点を有しており、３方向補正によってシステムをよりロバストなものとする、すなわち、患者の移動、遡及的補正及び予測的補正について患者に通知するのに役立つ。
【0011】
一態様では、本発明は、医用撮像システムを備える医療システムを提供する。医用撮像システムは、撮像ゾーンから対象者を描写した医用撮像データを取得するように構成される。医用撮像システムは、例えば、断層撮影医用撮像システムである。医用撮像システムは、画像システム座標系を有する。すなわち、データは、医用画像システムに属する座標のセットに関して取得される。医療システムは、医用撮像データの取得中に対象者の対象者画像を取得するように構成されたカメラシステムをさらに備える。カメラシステムは、カメラ座標系を有する。
【0012】
様々な例では、カメラシステム座標は、使用されるカメラシステムのタイプに応じて異なる意味を有する。カメラシステムは、例えば、光学カメラシステム又は赤外線カメラシステムである。一般に、カメラシステムは、使用されている特定のタイプの医用撮像システムと互換性があり得るほとんどの３Ｄ又は２Ｄカメラシステムを使用して実装され得る。
【0013】
２次元カメラの場合、カメラ座標は、例えば、画像上の位置によるものである。他の例では、カメラシステムは、３次元カメラ又はステレオカメラである。その場合、３次元画像内の画像は、空間内の位置を示す。ステレオカメラは、２台の２次元カメラから構築される。医用撮像システムが磁気共鳴撮像（ＭＲＩ）システムと陽電子放出断層撮影（ＰＥＴ）システムとを組み合わせたものである場合、カメラは、磁気共鳴撮像と陽電子放出断層撮影との両方と互換性のある３次元カメラである。これは、ＰＥＴリングによる測定を妨げないようにカメラを配置することを含む。
【0014】
医療システムはさらに、マシン実行可能命令を記憶するメモリを備える。メモリはさらに、医用撮像システムコマンドを記憶する。メモリはさらに、座標系マッピングを記憶する。メモリはさらに、画像マーキングニューラルネットワークを記憶する。座標系マッピングは、システム座標系とカメラ座標系との間のマッピングである。これは、例えば、様々な例において様々なやり方で実装され得る。一例では、座標系マッピングは、それらの２つの間で算出するためのルックアップテーブル又は方程式である。
【0015】
画像マーキングニューラルネットワークは、対象者の所定の解剖学的領域を描写する入力画像を受信するように構成されたニューラルネットワークである。したがって、画像マーキングニューラルネットワークは、画像内のオブジェクトの位置を特定するように又は画像をセグメント化するように構成されたニューラルネットワークである。様々なタイプのニューラルネットワークが使用される。医用撮像では、Ｕ－ｎｅｔアーキテクチャを有するニューラルネットワークが、画像のセグメント化のためにしばしば使用されており、画像マーキングニューラルネットワークの実装に有用である。
【0016】
一例では、仮想基準マーカに対するよりロバストな予測を形成するために、Ｕ－Ｎｅｔアーキテクチャと主要点検出ニューラルネットワークとの組合せが使用される。このネットワークは、Ｍａｓｋ－ＲＣＮＮと同様に、セグメント化、回帰、及び主要点の位置／選択（仮想基準マーカの選択）という３つの異なるブロックを有する。これは、患者の動きが発生し得る場合に、代替点（代替基準マーカ）を選択する際のロバスト性をさらに高めるのに役立つ。セグメント化、主要点検出、及びランドマークの識別／選択に基づいてネットワークにこの冗長性を組み入れることにより、アルゴリズムの柔軟性を維持し、患者の移動に合わせて代替の基準点を用いて動作することができる。
【0017】
画像マーキングニューラルネットワークは、仮想基準マーカのセットのカメラシステム座標を出力するようにさらに構成される。仮想基準マーカのセットの座標は、入力画像に関して与えられ、入力画像を受信したことに応答して作成される。言い換えれば、入力画像は、画像マーキングニューラルネットワークに入力され、出力として仮想基準マーカのセットの座標がカメラ座標系に提供される。
【0018】
医用撮像システムコマンドは、医用撮像システムを制御して医用撮像データを取得するように構成される。これらの医用撮像システムコマンドは、例えば、異なる例では異なる形式をとる。医用撮像システムが磁気共鳴撮像システムである場合、医用撮像システムコマンドはパルスシーケンスコマンドである。医療システムは、医療システムを制御するように構成された計算システムをさらに備える。
【0019】
マシン実行可能命令の実行は、計算システムに、医用撮像システムコマンドを用いて医用撮像システムを制御することによって医用撮像データを取得することを行わせる。マシン実行可能命令の実行はさらに、計算システムに、医用撮像データの取得中に対象者画像を取得するようにカメラシステムを繰り返し制御することを行わせる。マシン実行可能命令の実行はさらに、計算システムに、対象者画像を画像マーキングニューラルネットワークに入力することによって仮想基準マーカのカメラシステム座標を繰り返し受信することを行わせる。マシン実行可能命令の実行はさらに、計算システムに、座標系マッピングを使用して仮想基準マーカのカメラシステム座標を仮想基準マーカの提供される撮像システム座標に繰り返し変換することによって、仮想基準マーカのセットの撮像システム座標を繰り返し提供することを行わせる。
【0020】
言い換えれば、医用撮像データが取得されるとき、カメラは、この医用撮像データの取得中に画像又は対象者画像を取得する。次いで、これが画像マーキングニューラルネットワークに入力され、画像マーキングニューラルネットワークは、カメラシステムの座標系で仮想基準マーカのセットの座標を作成する。次いで、これらの座標を医用撮像システムの座標系に変換するために、座標系マッピングが使用される。
【0021】
基準マーカの使用は、様々な医用撮像モダリティ、特に磁気共鳴撮像において一般的である。基準マーカの使用のよく知られた欠点は、撮像される対象者の表面又は衣服に基準マーカを適用する必要があり、その後これらの基準マーカの位置を検出する必要があることである。実施形態は、基準マーカを実際に使用することなく、医用撮像システムの座標系における仮想基準マーカの座標を提供することが可能であるという利点を有する。これにより、例えば、対象者の動きを補償するための既存のアルゴリズム及びプログラムを大幅に修正することなく使用することが可能になる。
【0022】
仮想基準マーカは、異なる例では異なる形式をとする。ある事例では、仮想基準マーカは、画像内の特定の位置を有するものとして識別されるマーカである。これらは、画像マーキングニューラルネットワークによって位置特定される。画像マーキングニューラルネットワークにおける「画像マーキング」という用語は、特定のニューラルネットワークを識別するためのラベルである。一例では、仮想基準マーカのセットのセットは、アイコンタクト、口角、又は顔の輪郭の周囲で検出される点群のセットである。他の例では、それらは、対象者の表面上に見える様々な解剖学的ランドマークである。他の例では、仮想基準マーカのセットは、複数の解剖学的ランドマーク間の関係によって決定される位置を有する。
【0023】
画像マーキングニューラルネットワークは、様々なやり方で訓練される。対象者の画像を準備し、これらの画像を手作業又はマシンによってマークアップして、基準マーカの位置を示すこともできる。次いで、画像マーキングニューラルネットワークは、例えば深層学習訓練アルゴリズムを使用して訓練され得る。
【0024】
一例では、ニューラルネットワークは、器官の自動３Ｄ深度セグメントラベルを予測するとともに以前の同様のラベルを現場で利用するために、自動セグメント化アルゴリズムに基づいて、既存の画像を用いて訓練される。このセグメント化を注意として使用することにより、可能性のある基準マーカが移動している場合でも、それらを推定することが可能である。強化学習アルゴリズムを使用して、位置を追跡し、特定の仮想基準マーカについて位置が提供されない又は見つからない場合、代替の最も近い基準点又は基準マーカを選択する。この２段階のネットワークは、工場と現場との両方で訓練され、現場データによる継続的な現場学習を可能にする。これは、例えば、上記で説明した主要点検出ニューラルネットワークを有するＵ－Ｎｅｔアーキテクチャに適用される。
【0025】
ニューラルネットワークはまた、仮想基準マーカが可変の挙動を有するように訓練され得る。例えば、物理的な基準マーカの場合、頭部を回転させると、異なる時点で異なる基準マーカを見ることができる。訓練中、異なる視野角で異なる仮想基準マーカが見えるように、対象者の異なるビューが構築され得る。この場合、画像マーキングニューラルネットワークによって提供される基準マーカの数は可変である。
【0026】
別の実施形態では、仮想基準マーカのセットは、所定の仮想基準マーカのセットである。例えば、仮想基準マーカは、点群のセットではなく、対象者の表面の解剖学的組織の位置との事前定義された関係を有することができる。画像マーキングニューラルネットワークは、医療技術者又は医師によって手動で所定の仮想基準マーカのセットでラベル付けされた対象者の画像を提供することによって訓練され得る。これは、頭部のような構造だけでなく、対象者の胸部領域などの他の解剖学的構造にも機能する。
【0027】
別の実施形態では、マシン実行可能命令の実行はさらに、計算システムに、医用撮像データの取得を開始する前に初期医用画像を受信することを行わせる。初期医用画像は、対象者の解剖学的領域を描写するものである。これは、例えば、対象者の又は対象者に隣接する若しくは対象者内の所定の解剖学的領域であり得る。マシン実行可能命令の実行はさらに、計算システムに、初期医用画像内で識別された選択された視野を受信することを行わせる。選択された視野は、例えば、医師によって撮像されることが望ましい領域であり得る。マシン実行可能命令の実行はさらに、計算システムに、仮想基準マーカの画像システム座標と初期医用画像との間のレジストレーションを算出することを行わせる。これはその後、撮像システム座標と初期医用画像との間の参照を提供する。これは、例えば、選択された視野を撮像する手段として使用される。
【0028】
マシン実行可能命令の実行はさらに、計算システムに、レジストレーションを使用して、選択された視野から医用撮像データを取得するためのパルスシーケンスコマンドを構成することを行わせる。この実施形態は、対象者によって撮像されるべき領域が仮想基準マーカを使用することによって決定されるので、有益である。これは、事前のスカウトスキャンを使用せずにデータを取得することを可能にする。これは、磁気共鳴画像などの初期医用画像を取得するために医療システムを正しく動作させる際の負担の軽減を実現する。
【0029】
別の実施形態では、初期医用画像は解剖学的アトラス画像である。この実施形態は、例えば、医師が自分の診療室内で着席し、対象者の診断を実施するために撮像することが望まれる指標領域を準備できるので、有益である。医師は、解剖学的アトラス画像を使用してこれを行うことができ、次いで、撮像を適切に実行するために、レジストレーションを使用して解剖学的アトラス画像が平行移動される。
【0030】
別の実施形態では、初期医用画像は対象者のスカウトスキャンである。この実施形態は、医用撮像データを取得するためにスカウトスキャンを使用して医療システムを自動的に構成するので、有益である。
【0031】
別の実施形態では、医用撮像システムは磁気共鳴撮像システムであり、初期医用画像はスカウトスキャンではない。その場合、この医療システムは、マーカレス及びスカウトレス磁気共鳴撮像システムとして実装される。
【0032】
別の実施形態では、初期医用画像は対象者の以前の医用画像である。例えば、以前の健康診断において異なる撮像モダリティを使用していても、医師は、より多くの又は異なる撮像プロトコルを実行することが望ましい領域を指示することができる。この以前の医用画像は、異なる撮像モダリティの画像である場合でも、基準マーカに対してレジストレーションされ、選択された視野の適切な撮像を可能にする。
【0033】
別の実施形態では、マシン実行可能命令の実行はさらに、計算システムに、仮想基準マーカの撮像システム座標の変化に応答して、レジストレーションを使用して、選択された視野から医用撮像データを取得するように医用撮像システムコマンドを繰り返し調整することを行わせる。仮想基準マーカの座標の変化は、対象者が移動したことを示す。対象者の動きを補償できるように、これを撮像システム座標に対してレジストレーションすることによって、選択された視野をどのように調整すべきかを推測する。これは、撮像プロセスに対する対象者の動きの影響を軽減するので、有益である。
【0034】
別の実施形態では、医用撮像システムコマンドは、選択された視野と仮想基準マーカの最新の撮像システム座標とが一致するように調整される。例えば、対象者が移動した場合、選択された視野の位置は、最新の座標と一致するように修正され得る。これは、撮像プロセスに対する動きの影響を軽減する効果を有する。
【0035】
別の実施形態では、パルスシーケンスコマンドは、選択された視野と仮想基準マーカの撮像システム座標の速度を使用して決定される仮想基準マーカの撮像システム座標の予測された座標とが一致するように調整される。例えば、仮想基準マーカの位置は、一定期間にわたって追跡され得る。その場合、特定の時点において、仮想基準マーカの速度を使用して、将来の仮想基準マーカの位置を予測することができる。これは、さらに、動きの影響を軽減する効果を有する。
【0036】
別の実施形態では、医療システムは、対象者の動きを描写したジャイロスコープデータを提供するように構成された対象者取付型ジャイロスコープをさらに備える。マシン実行可能命令の実行はさらに、計算システムに、対象者取付型ジャイロスコープからジャイロスコープデータを繰り返し受信することを行わせる。マシン実行可能命令の実行はさらに、計算システムに、ジャイロスコープデータから対象者の加速度を繰り返し決定することを行わせる。マシン実行可能命令の実行はさらに、計算システムに、対象者の加速度を使用して、予測された仮想基準マーカ速度を繰り返し算出することを行わせる。マシン実行可能命令の実行はさらに、計算システムに、仮想基準マーカの最新の撮像システム座標及び予測された仮想基準マーカ速度を使用して、予測された仮想基準マーカ位置を繰り返し算出することを行わせる。次いで、この予測された基準マーカの速度と位置を使用して、この推定又は予測された基準マーカ位置に基づいて、選択された視野の位置を補正する。これは、対象者の動きが画像品質に与える影響を軽減する効果を有する。
【0037】
別の実施形態では、医療システムは、ディスプレイをさらに備える。マシン実行可能命令の実行はさらに、計算システムに、医用撮像データの取得の開始時に仮想基準マーカのセットのカメラシステム座標を受信することを行わせる。マシン実行可能命令の実行はさらに、計算システムに、取得の開始時に仮想基準マーカのセットのカメラシステム座標を使用して、初期対象者位置インジケータの位置を算出することを行わせる。マシン実行可能命令の実行はさらに、計算システムに、初期対象者位置インジケータをディスプレイ上に永続的にレンダリングすることを行わせる。マシン実行可能命令の実行はさらに、計算システムに、仮想基準マーカのセットのカメラシステム座標を使用して、現在位置インジケータの位置を繰り返し算出することを行わせる。
【0038】
Ｓｌｉｐｓａｇｅｒ他で説明されているシステムの短所の１つは、スキャンが完了する前であっても患者に患者の位置補正を通知するためにこのシステムを利用しておらず、多くの失敗が発生しやすい厳格な点群テンプレートに大きく依存していることである。この実施形態は、上述の表示を提供することによってこの欠点を克服する。
【0039】
マシン実行可能命令の実行はさらに、計算システムに、現在対象者位置インジケータをディスプレイ上に繰り返しレンダリングすることを行わせる。この実施形態は、検査の過程で対象者の位置がどのように変化するかを監視するための非常に優れた視覚的な手がかり又はツールを提供するので、有利である。初期対象者位置インジケータが対象者の初期位置を示し、次いで、現在対象者位置インジケータが対象者の現在位置を表す。これは、いくつかの異なる状況において使用され得る。対象者がどのように自分自身が移動したかを見ることができるように、対象者に表示が提供され得る。現在対象者位置インジケータと初期対象者位置インジケータとの両方の表示は、対象者が自分自身の位置を初期位置に戻す際の補助でもある。この表示はまた、検査中に対象者がどの程度移動しているか又はどの程度移動していないかをオペレータが理解するための補助として、医療システムの動作中にオペレータに提供され得る。
【0040】
別の実施形態では、初期対象者位置インジケータは、取得の開始時に対象者画像に重ね合わされた出力カメラシステム座標を使用して位置決めされた仮想基準マーカのセットのレンダリングである。現在対象者位置インジケータは、現在又は最新の対象者画像に重ね合わされたカメラシステム座標を使用して位置決めされた仮想基準マーカのセット（現在又は最新）のレンダリングである。
【0041】
別の実施形態では、初期対象者位置インジケータは、取得の開始時に仮想基準マーカのセットとカメラシステム座標との組合せを使用して位置決めされた第１のオブジェクトであり、現在対象者位置インジケータは、仮想基準マーカのセットとカメラシステム座標との組合せを使用して位置決めされた第２のオブジェクトである。この場合、多種多様なオブジェクトが位置決めされ得る。例えば、これは、対象者及び仮想基準マーカの実際の画像である必要はない。この場合、これは、例えば、大まかに対象者を表す漫画的な画像である。他の場合、インジケータは、回転及び／又は平行移動されるオブジェクトである。
【0042】
別の実施形態では、表示は、仮想基準マーカとともに初期医用画像又は臨床医用画像のオーバーレイを示す。初期医用画像又は臨床医用画像は、例えば、解剖学的異変又は異常を表示する。オーバーレイ表示は、異常が存在する場合、対象者又はオペレータが異常の位置及び程度をより良く把握するのに役立つ。
【0043】
別の実施形態では、医用撮像データが部分的に取得される。マシン実行可能命令の実行はさらに、計算システムに、医用撮像データの部分のそれぞれが取得された時点で、仮想基準マーカのカメラシステム座標を使用して医用撮像データの部分のそれぞれを補正することを行わせる。この実施形態は、対象者の位置及び／又は移動についての医用撮像データの個々の部分の記録を提供するので、有益である。これは、医用撮像データを遡って補正するために使用される。
【0044】
別の実施形態では、医用撮像データの位置に対する補正は、剛体の回転及び／又は平行移動を実行することによる方法、並びに、医用撮像データの部分、及び医用撮像データの位置のそれぞれが取得された時点の仮想基準マーカの出力座標のうちの１つを受信したことに応答して、補正された医用撮像データを出力するように構成された医用撮像データ補正ニューラルネットワークを使用することによる方法のうちのいずれか１つを使用して補正される。これら２つの場合において、一方は、平行移動を使用して未加工の医用撮像データを補正することによって実行される。このためにニューラルネットワークも使用される。医用撮像データ補正ニューラルネットワークは、正しい医用撮像データを取得し、それを部分に分割し、移動の影響をシミュレートすることによって訓練される。例えば、測定値をｋ空間内で平行移動及び／又は回転させる。訓練用の参照データを使用して、正しい画像、又は正しいｋ空間データを有する画像を補正し、次いで、人工的に平行移動されたデータを訓練に使用する。
【0045】
別の実施形態では、マシン実行可能命令の実行はさらに、計算システムに、医用撮像データから臨床医用画像を再構築することを行わせる。
【0046】
別の実施形態では、医療システムは、治療ゾーンを照射するように構成された放射線療法システムをさらに備える。治療ゾーンは撮像ゾーン内にある。マシン実行可能命令の実行はさらに、計算システムに、治療ゾーンを照射するように放射線療法システムを制御するように構成された放射線療法制御コマンドを受信することを行わせる。マシン実行可能命令の実行はさらに、計算システムに、仮想基準マーカの撮像システム座標を臨床医用画像に対してレジストレーションすることを行わせる。マシン実行可能命令の実行はさらに、計算システムに、臨床医用画像内の治療ゾーンの位置を受信することを行わせる。マシン実行可能命令の実行はさらに、計算システムに、臨床医用画像内の治療ゾーンの位置と、臨床医用画像に対する仮想基準マーカの撮像システム座標のレジストレーションとを使用して、放射線療法制御コマンドを修正することを行わせる。この実施形態は、放射線療法システムのより正確な使用を提供するので、有益である。この実施形態は、放射線治療計画のセットアップ時間を短縮するという利点を有する。３Ｄリアルタイムカメラデータと以前のＣＴ及び／又はＭＲＩスキャンを使用して位置合せが行われるため、患者の位置合せのためにＣＴ及び／又はＭＲＩスキャンを行う必要がなくなる可能性がある。以前のＣＴ及び／又はＭＲＩスキャンは、初期医用画像として使用され得る。
【0047】
別の実施形態では、医用撮像システムは、磁気共鳴撮像システムである。
【0048】
別の実施形態では、医用撮像システムは、陽電子放出断層撮影システムとコンピュータ断層撮影システムとを組み合わせたものである。
【0049】
別の実施形態では、医用撮像システムは、陽電子放出断層撮影システムである。
【0050】
別の実施形態では、医用撮像システムは、単一光子放出断層撮影システムである。
【0051】
別の実施形態では、医用撮像システムは、陽電子放出断層撮影システムとコンピュータ断層撮影システムとを組み合わせたものである。
【0052】
別の実施形態では、医用撮像システムは、磁気共鳴撮像システムと陽電子放出断層撮影システムとを組み合わせたものである。
【0053】
別の態様では、本発明は、医療システムを動作させる方法を提供する。医療システムは、撮像ゾーンから対象者を描写した医用撮像データを取得するように構成される。医用撮像システムは、画像システム座標系を有する。医療システムは、医用撮像データの取得中に対象者の対象者画像を取得するように構成されたカメラシステムをさらに備える。カメラシステムは、カメラシステム座標系を有する。方法は、医用撮像システムコマンドを用いて医用撮像システムを制御することによって医用撮像データを取得するステップを有する。
【0054】
方法はさらに、医用撮像データの取得中に対象者画像を取得するようにカメラシステムを繰り返し制御するステップを有する。方法はさらに、対象者画像を画像マーキングニューラルネットワークに入力することによって、仮想基準マーカのカメラシステム座標を繰り返し受信するステップを有する。画像マーキングニューラルネットワークは、対象者の所定の解剖学的領域を描写した入力画像を入力として受信するように構成される。画像マーキングニューラルネットワークはさらに、入力画像を受信したことに応答して、入力画像内の仮想基準マーカのセットのカメラシステム座標を出力するように構成される。方法は、座標系マッピングを使用して、仮想基準マーカのセットのカメラシステム座標を仮想基準マーカの提供される画像システム座標に繰り返し変換することによって、仮想基準マーカの撮像システム座標を繰り返し提供するステップを有する。座標系マッピングは、システム座標系とカメラ座標系との間のマッピングである。
【0055】
別の態様では、本発明は、医療システムを制御する計算システムによって実行されるマシン実行可能命令を含むコンピュータプログラムを提供する。医療システムは、撮像ゾーンから対象者を描写した医用撮像データを取得するように構成された医用撮像システムを備える。医用撮像システムは、画像システム座標系を有する。医療システムは、医用撮像データの取得中に対象者の対象者画像を取得するように構成されたカメラシステムをさらに備える。カメラシステムは、カメラ座標系を有する。コンピュータプログラムは、画像マーキングニューラルネットワーク、医用撮像システムコマンド、及び／又は座標系マッピングも含む。
【0056】
マシン実行可能命令の実行は、計算システムに、医用撮像システムコマンドを用いて医用撮像システムを制御することによって医用撮像データを取得することを行わせる。マシン実行可能命令の実行はさらに、計算システムに、医用撮像データの取得中に対象者画像を取得するようにカメラシステムを繰り返し制御することを行わせる。マシン実行可能命令の実行はさらに、計算システムに、対象者画像を画像マーキングニューラルネットワークに入力することによって仮想基準マーカのカメラシステム座標を繰り返し受信することを行わせる。画像マーキングニューラルネットワークは、対象者の所定の解剖学的領域を描写した入力画像を受信するように構成される。画像マーキングニューラルネットワークはさらに、入力画像を受信したことに応答して、入力画像内の仮想基準マーカのカメラシステム座標を出力するように構成される。
【0057】
マシン実行可能命令の実行はさらに、計算システムに、座標系マッピングを使用して、仮想基準マーカのセットのカメラシステム座標を仮想基準マーカの提供される撮像システム座標に繰り返し変換することによって、仮想基準マーカの撮像システム座標を繰り返し提供することを行わせる。座標系マッピングは、撮像システム座標系とカメラ座標系との間のマップである。
【0058】
本発明の前述の実施形態のうちの１つ又は複数は、組み合わされた実施形態が相互に排他的でない限り、組み合わされてもよいことを理解されたい。
【0059】
当業者には明らかなように、本発明の態様は、装置、方法、又はコンピュータプログラム製品として具現化される。したがって、本発明の態様は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又は、本明細書ではすべて一般に「回路」、「モジュール」、若しくは「システム」と称されるソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形式をとる。さらに、本発明の態様は、コンピュータ実行可能コードが具現化された１つ又は複数のコンピュータ可読媒体において具現化されたコンピュータプログラム製品の形式をとる。
【0060】
１つ又は複数のコンピュータ可読媒体の任意の組合が利用される。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体である。本明細書で使用される「コンピュータ可読記憶媒体」は、コンピューティングデバイスのプロセッサ又は計算システムによって実行可能な命令を記憶する任意の有形記憶媒体を包含する。コンピュータ可読記憶媒体は、非一過性のコンピュータ可読記憶媒体と呼ばれる。コンピュータ可読記憶媒体は、有形のコンピュータ可読媒体とも呼ばれる。いくつかの実施形態では、コンピュータ可読記憶媒体は、コンピューティングデバイスの計算システムによってアクセスされることが可能なデータを記憶することも可能である。コンピュータ可読記憶媒体の例には、フロッピーディスク、磁気ハードディスクドライブ、ソリッドステートハードディスク、フラッシュメモリ、ＵＳＢサムドライブ、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、光ディスク、光磁気ディスク、及び計算システムのレジスタファイルが含まれるが、これらに限定されない。光ディスクの例には、コンパクトディスク（ＣＤ）及びデジタル多用途ディスク（ＤＶＤ）、例えば、ＣＤ－ＲＯＭ、ＣＤ－ＲＷ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＷ、又はＤＶＤ－Ｒディスクが含まれる。コンピュータ可読記憶媒体という用語は、ネットワーク又は通信リンクを介してコンピュータデバイスによってアクセスされることが可能な様々なタイプの記録媒体も指す。例えば、データは、モデム経由で、インターネット経由で、又はローカルエリアネットワーク経由で取り出される。コンピュータ可読媒体上に具現化されたコンピュータ実行可能コードは、無線、有線、光ファイバケーブル、ＲＦなど、又は前述の任意の好適な組合せを含むがこれらに限定されない任意の適切な媒体を使用して送信される。
【0061】
コンピュータ可読信号媒体は、例えばベースバンドにおいて又は搬送波の一部として、中にコンピュータ実行可能コードが具現化された伝搬データ信号を含む。そのような伝搬信号は、電磁気、光、又はそれらの任意の好適な組合せを含むがこれらに限定されない様々な形式のうちのいずれかをとる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを通信、伝搬、又は転送することができる任意のコンピュータ可読媒体である。
【0062】
「コンピュータメモリ」又は「メモリ」は、コンピュータ可読記憶媒体の一例である。コンピュータメモリは、計算システムに直接アクセス可能な任意のメモリである。「コンピュータストレージ」又は「ストレージ」は、コンピュータ可読記憶媒体のさらなる例である。コンピュータストレージは、任意の不揮発性コンピュータ可読記憶媒体である。いくつかの実施形態では、コンピュータストレージはまた、コンピュータメモリであるか、又はその逆も同様である。
【0063】
本明細書で使用される「計算システム」は、プログラム、マシン実行可能命令、又はコンピュータ実行可能コードを実行できる電子構成要素を包含する。「計算システム」の例を含む計算システムへの言及は、２つ以上の計算システム又は処理コアを含む可能性があると解釈されるべきである。計算システムは、例えばマルチコアプロセッサである。計算システムは、単一のコンピュータシステム内の計算システムの集合体、又は複数のコンピュータシステム間で分散された計算システムの集合体も指す。計算システムという用語は、それぞれがプロセッサ又は計算システムを備えるコンピューティングデバイスの集合体又はネットワークを指す可能性があると解釈されるべきである。マシン実行可能コード又は命令は、同じコンピューティングデバイス内にあるか若しくはさらには複数のコンピューティングデバイス全体に分散されている複数の計算システム又はプロセッサによって実行される。
【0064】
マシン実行可能命令又はコンピュータ実行可能コードは、プロセッサ若しくは他の計算システムに本発明の態様を実行させる命令又はプログラムを含む。本発明の態様のための動作を実施するためのコンピュータ実行可能コードは、Ｊａｖａ、Ｐｙｔｈｏｎ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向型プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ又は複数のプログラミング言語の任意の組合せで記述され、マシン実行可能命令にコンパイルされる。いくつかの事例では、コンピュータ実行可能コードは、高水準言語の形式又はプリコンパイルされた形式であり、マシン実行可能命令をオンザフライで生成するインタプリタと併せて使用される。他の事例では、マシン実行可能命令又はコンピュータ実行可能コードは、プログラマブル論理ゲートアレイ用のプログラミングの形式である。
【0065】
コンピュータ実行可能コードは、全体的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で且つ部分的にリモートコンピュータ上で、又は全体的にリモートコンピュータ又はサーバ上で実行される。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）若しくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続され、又は（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）外部コンピュータへの接続が行われる。
【0066】
本発明の態様は、本発明の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して説明される。フローチャート、図、及び／若しくはブロック図の各ブロック又はブロックの一部は、適用可能な場合、コンピュータ実行可能コードの形式のコンピュータプログラム命令によって実施され得ることを理解されたい。さらに、相互に排他的でない場合、異なるフローチャート、図、及び／又はブロック図におけるブロックの組合せが組み合わされることを理解されたい。これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置の計算システムを介して実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／作用を実施するための手段を作り出すように、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理装置の計算システムに提供されてマシンを作成する。
【0067】
これらのマシン実行可能命令又はコンピュータプログラム命令はまた、コンピュータ可読媒体に記憶された命令が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／作用を実施する命令を含む製造品を作成するように、コンピュータ、他のプログラム可能なデータ処理装置、又は他のデバイスに特定のやり方で機能するように指示できるコンピュータ可読媒体に記憶される。
【0068】
マシン実行可能命令又はコンピュータプログラム命令はまた、コンピュータ又は他のプログラム可能な装置上で実行される命令がフローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／作用を実施するためのプロセスを提供するようなコンピュータ実施プロセスを作成するように、コンピュータ、他のプログラム可能なデータ処理装置、又は他のデバイスにロードされて、コンピュータ、他のプログラム可能な装置、又は他のデバイス上で一連の動作ステップを実行させる。
【0069】
本明細書で使用される「ユーザインターフェース」は、ユーザ又はオペレータがコンピュータ又はコンピュータシステムと対話することを可能にするインターフェースである。「ユーザインターフェース」は、「ヒューマンインターフェースデバイス」とも称される。ユーザインターフェースは、オペレータに情報若しくはデータを提供し、且つ／又は、オペレータから情報若しくはデータを受信する。ユーザインターフェースは、オペレータからの入力をコンピュータが受信することを可能にし、コンピュータからユーザに出力を提供する。言い換えれば、ユーザインターフェースは、オペレータがコンピュータを制御又は操作することを可能にし、インターフェースは、コンピュータがオペレータの制御又は操作の効果を示すことを可能にする。ディスプレイ若しくはグラフィカルユーザインターフェース上でのデータ又は情報の表示は、情報をオペレータに提供する一例である。キーボード、マウス、トラックボール、タッチパッド、ポインティングスティック、グラフィックタブレット、ジョイスティック、ゲームパッド、ウェブカメラ、ヘッドセット、ペダル、ワイヤードグローブ、リモートコントロール、及び加速度計を通じてのデータの受信はすべて、オペレータからの情報又はデータの受信を可能にするユーザインターフェース構成要素の例である。
【0070】
本明細書で使用される「ハードウェアインターフェース」は、コンピュータシステムの計算システムが外部のコンピューティングデバイス及び／若しくは装置と対話すること並びに／又はそれらを制御することを可能にするインターフェースを包含する。ハードウェアインターフェースは、計算システムが外部のコンピューティングデバイス及び／又は装置に制御信号又は命令を送信することを可能にする。ハードウェアインターフェースは、計算システムが外部のコンピューティングデバイス及び／又は装置とデータを交換することも可能にする。ハードウェアインターフェースの例には、ユニバーサルシリアルバス、ＩＥＥＥ１３９４ポート、パラレルポート、ＩＥＥＥ１２８４ポート、シリアルポート、ＲＳ－２３２ポート、ＩＥＥＥ－４８８ポート、Ｂｌｕｅｔｏｏｔｈ接続、無線ローカルエリアネットワーク接続、ＴＣＰ／ＩＰ接続、イーサネット接続、制御電圧インターフェース、ＭＩＤＩインターフェース、アナログ入力インターフェース、及びデジタル入力インターフェースが含まれるが、これらに限定されない。
【0071】
本明細書で使用される「ディスプレイ」又は「表示デバイス」は、画像若しくはデータを表示するように適合された出力デバイス又はユーザインターフェースを包含する。ディスプレイは、視覚データ、音声データ、及び触覚データを出力する。ディスプレイの例には、コンピュータモニタ、テレビスクリーン、タッチスクリーン、触覚電子ディスプレイ、点字スクリーン、陰極線管（ＣＲＴ）、蓄電管、双安定ディスプレイ、電子ペーパー、ベクターディスプレイ、フラットパネルディスプレイ、真空蛍光ディスプレイ（ＶＦ）、発光ダイオード（ＬＥＤ）ディスプレイ、エレクトロルミネッセンスディスプレイ（ＥＬＤ）、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、プロジェクタ、及びヘッドマウントディスプレイが含まれるが、これらに限定されない。
【0072】
医用撮像データは、本明細書では、医用撮像システムによってもたらされる、対象者を描写する記録された測定値であると定義される。医用撮像データは、臨床医用画像と称される医用画像に再構築される。医用画像は、本明細書では、医用撮像データ内に含まれる解剖学的データの再構築された２次元又は３次元の視覚化されたものとして定義される。この視覚化は、コンピュータを使用して実行され得る。
【0073】
Ｋ空間データは、本明細書では、磁気共鳴撮像スキャン中に磁気共鳴装置のアンテナを使用して原子スピンによって放出された無線周波数信号の記録された測定値として定義される。Ｋ空間は、医用撮像データの一例である。
【0074】
磁気共鳴撮像（ＭＲＩ）画像又はＭＲ画像は、本明細書では、磁気共鳴撮像データ内に含まれる解剖学的データの再構築された２次元又は３次元の視覚化されたものであると定義される。この視覚化は、コンピュータを使用して実行され得る。
【0075】
以下では、図面を参照しながら、本発明の好ましい実施形態について単なる例として説明する。
【図面の簡単な説明】
【0076】
【図1】医療システムの一例を例示する図である。
【図3】医療システムのさらなる例を例示する図である。
【図4】医用撮像システムの取得中に医用撮像システムのオペレータ及び／又は対象者に提供される表示の一例を例示する図である。
【図5】医用撮像システムのさらなる例を例示する図である。
【図6】医療システムのさらなる例を例示する図である。
【図7】初期医用画像に対する仮想基準マーカのレジストレーションを例示する図である。
【図8】さらなる方法を例示するフローチャートを示す図である。
【図9】さらなる方法を例示するフローチャートを示す図である。
【図10】さらなる方法を例示するフローチャートを示す図である。
【図11】さらなる方法を例示するフローチャートを示す図である。
【図12】さらなる方法を例示するフローチャートを示す図である。
【図13】医療システムのさらなる例を例示する図である。
【発明を実施するための形態】
【0077】
これらの図中の同様の番号を付された要素は、同等の要素であるか、又は同じ機能を実行する。機能が同等である場合、すでに説明された要素は、必ずしも後の図で説明されるとは限らない。
【0078】
図１は、医療システム１００の一例を例示する。医療システム１００は、医用撮像システム１０２と、コンピュータ１０４とを備えるものとして示されている。コンピュータ１０４は、１つ又は複数の位置に配置された又は分散された１つ又は複数のコンピュータを表すよう意図されている。医用撮像システム１０２は、異なるタイプの医用撮像システムを代表するものであるよう意図されている。医用撮像システムは、例えば、磁気共鳴撮像システム、陽電子放出断層撮影システム、単一光子放出断層撮影システム、陽電子放出断層撮影システムとコンピュータ断層撮影システムとを組み合わせたもの、磁気共鳴撮像システムと陽電子放出断層撮影システムとを組み合わせたものとすることができる。医用撮像システム１０２は、対象者１１０を撮像するために医用撮像データを取得することが可能な撮像ゾーン１０６を有する。対象者１１０は、対象者支持体１１２上に横たわっているように示されており、少なくとも部分的に撮像ゾーン１０６内にある。この例では、医用撮像システム１０２は、制御可能な視野１０８を有する。医用撮像システム１０２内のカメラシステム１１４は、対象者１１０の解剖学的領域を撮像する。この例では、その領域は胸部領域である。
【0079】
コンピュータ１０４は、計算システム１２０を備えるものとして示されている。計算システム１２０は、１つ又は複数の位置に配置された１つ若しくは複数の処理コア又は計算システムを表すよう意図されている。例えば、コンピュータは、医用撮像システムに統合され得るか、又は、取り外し可能な様式で配置され得る。例えば、コンピュータは、プラグアンドプレイインターフェースとして既存の動き検出及び補正システムと統合され得るように実装され得る。
【0080】
計算システム１２０は、ハードウェアインターフェース１２２、任意選択的なユーザインターフェース１２４、及びメモリ１２６と通信しているものとして示されている。
【0081】
メモリ１２６は、マシン実行可能命令１３０を含むものとして示されている。マシン実行可能命令１３０は、計算システム１２０によって使用され、計算システム１２０が様々な制御並びにデータ処理タスク及び画像処理タスクを実行することを可能にする。メモリ１２６はさらに、画像マーキングニューラルネットワーク１３２を含むものとして示されている。画像マーキングニューラルネットワーク１３２は、対象者画像１３８を受信し、カメラシステム１１４の座標における仮想基準マーカのセットに対する座標のセットを出力する。
【0082】
メモリ１２６はさらに、医用撮像システムコマンド１３４のセットを含むものとして示されている。医用撮像システムコマンド１３４は、医用撮像データ１３６を取得するよう医用撮像システム１０２を制御するために計算システム１２０によって使用されるコマンドのセットである。医用撮像システム１０２が磁気共鳴撮像システムである場合、医用撮像システムコマンド１３４はパルスシーケンスコマンドであり、医用撮像データ１３６はｋ空間データである。
【0083】
メモリ１２６はさらに、カメラシステム１１４で取得された対象者画像１３８を含むものとして示されている。メモリ１２６はさらに、カメラ座標系内の座標を医用撮像システム１０２の座標系の座標にマッピングすることが可能である座標系マッピング１４０を含むものとして示されている。メモリ１２６はさらに、対象者画像１３８を入力として受信したこと応答して画像マーキングニューラルネットワーク１３２から受信された仮想基準マーカのセットのカメラシステム座標１４２のセットを含むものとして示されている。メモリ１２６はさらに、座標系マッピング１４０を使用して仮想基準マーカのセットのカメラシステム座標１４２を変換することによって算出された仮想基準マーカのセットの画像システム座標１４４を含むものとして示されている。メモリ１４６はさらに、医用撮像データ１３６から再構築された臨床画像１４６を含むものとして示されている。仮想基準マーカのセットのシステム座標１４４は、例えば、いくつかの異なるやり方で臨床画像１４６の品質を改善するために使用される。これは、対象者１１０の動きを追跡することによって医用撮像データ１３６の取得を修正するために使用され、また、再構築中に臨床画像１４６を遡って補正するために使用される。
【0084】
図２は、図１の医用撮像システム１００を動作させる方法を例示するフローチャートを示す。最初に、ステップ２００において、医用撮像システムコマンド１３４を用いて医用撮像システム１０２を制御することによって、医用撮像データ１３６が取得される。次に、ステップ２０２において、計算システム１２０は、医用撮像データの取得中に対象者画像１３８を取得するようにカメラシステム１１４を繰り返し制御する。ステップ２００は、少なくともステップ２０２と同時に行われると考えられる。ステップ２００は、ステップ２０４及びステップ２０６とも同時に行われる。ステップ２０４において、対象者画像１３８を画像マーキングニューラルネットワーク１３２に入力することによって、仮想基準マーカのセットのカメラシステム座標１４２が繰り返し受信される。次に、ステップ２０６において、座標系マッピング１４０を使用して、仮想基準マーカのセットのカメラシステム座標１４２を画像システム座標１４４に変換することによって、仮想基準マーカのセットの画像システム座標１４４が繰り返し取得される。次に、方法は決定ボックスであるステップ２０７に進み、質問は「取得は終了したか？」である。答えが「はい」の場合、方法はステップ２０８に進み、臨床画像１４６が再構築される。答えが「いいえ」の場合、方法はステップ２０２に再び戻り、取得が終了するまでステップ２０２、２０４、及び２０６が繰り返される。ステップ２００で開始された取得は、ステップ２０２、２０４、及び２０６が繰り返される限り継続される。
【0085】
図３は、医療システム３００のさらなる例を例示する。この例では、医用撮像システムは磁気共鳴撮像システム３０２である。磁気共鳴撮像システム３０２は、磁石３０４を備える。磁石３０４は、貫通するボア３０６を有する超電導円筒型磁石である。異なる型の磁石の使用も可能であり、例えば、分割円筒形磁石と、いわゆるオープン磁石との両方を使用することも可能である。分割円筒形磁石は、磁石の等面へのアクセスを可能にするためにクライオスタットが２つのセクションに分割されていることを除いて、標準的な円筒形磁石と同様であり、このような磁石は、例えば荷電粒子線治療と併用される。オープン磁石は、間に対象者を収容するのに十分な大きさの空間を有する上下にある２つの磁石セクションを有し、２つのセクションの配置はヘルムホルツコイルの配置と同様である。オープン磁石は、対象者の拘束が少ないため普及している。円筒形磁石のクライオスタットの内部には、超電導コイルの集合体がある。
【0086】
円筒形磁石３０４のボア３０６内には、磁気共鳴撮像を実行するのに十分な程度に磁場が強力且つ均一である撮像ゾーン１０６がある。撮像ゾーン１０６内に視野１０８が示されている。視野１０８に対してｋ空間データ（医用撮像データ１３６）が取得される。対象者１１０は、対象者１１０の少なくとも一部分が撮像ゾーン１０６内にあるように対象者支持体１１２によって支持されているものとして示されている。
【0087】
磁石のボア３０６内には、磁石３０４の撮像ゾーン１０６内の磁気スピンを空間的に符号化するための予備的な磁気共鳴データの取得に使用される磁場勾配コイル３１０のセットもある。磁場勾配コイル３１０は、磁場勾配コイル電源３１２に接続される。磁場勾配コイル３１０は代表的なものであるよう意図されている。典型的には、磁場勾配コイル３１０は、３つの直交空間方向で空間的に符号化するための３つの別個のコイルセットを含む。磁場勾配電源は、電流を磁場勾配コイルに供給する。磁場勾配コイル３１０に供給される電流は、時間の関数として制御され、ランプ状又はパルス状である。
【0088】
撮像ゾーン１０６には無線周波数コイル３１４が隣接しており、無線周波数コイル３１４は、撮像ゾーン１０６内の磁気スピンの向きを操作するとともに、同様に撮像ゾーン１０６内のスピンからの無線送信を受信するためのものである。無線周波数アンテナは、複数のコイル要素を含む。無線周波数アンテナは、チャネル又はアンテナとも称される。無線周波数コイル３１４は、無線周波数トランシーバ３１６に接続される。無線周波数コイル３１４及び無線周波数トランシーバ３１６は、別個の送信コイル及び受信コイル、並びに別個の送信機及び受信機に置き換えられる。無線周波数コイル３１４及び無線周波数トランシーバ３１６が代表的なものであることを理解されたい。無線周波数コイル３１４は、専用の送信アンテナ及び専用の受信アンテナも表すように意図されている。同様に、トランシーバ３１６は、別個の送信機及び受信機も表す。また、無線周波数コイル３１４は複数の受信／送信要素を有し、無線周波数トランシーバ３１６は複数の受信／送信チャネルを有する。例えば、ＳＥＮＳＥなどの並列撮像技法が実行される場合、無線周波数コイル３１４は複数のコイル要素を有する。
【0089】
カメラ１１４は、対象者１１０の関心領域を撮像している。この特定の例では、対象者１１０の胸部領域３２２が撮像される。頭部又は膝などの別の領域が撮像されている場合、カメラはこれらの領域を撮像する。磁石のボア３０６はまた、ディスプレイ３３０を有し、ディスプレイ３３０は、対象者１１０が移動後に自分の態勢を適切に整えるのに有用な初期対象者位置インジケータと後続位置インジケータとを表示するために、任意選択的に対象者１１０に提供される。対象者１１０はまた、任意選択的な対象者取付型ジャイロスコープ３３２を装着している。これは、対象者１１０の動きを追跡することが可能であり、速度、ひいては仮想基準マーカの経路を予測するのに有用である。
【0090】
対象者１１０は、対象者１１０の胸部領域が撮像ゾーン１０６内に配置されるように磁石１０６のボア内に配置されている。しかしながら、これは単なる例示にすぎない。対象者の頭部などの対象者１１０の他の領域も、カメラシステム１１４及び磁気共鳴撮像システム３０２によって撮像されるように配置される。
【0091】
トランシーバ３１６、勾配コントローラ３１２、カメラシステム１１４、及びディスプレイ３３０は、コンピュータシステム１０４のハードウェアインターフェース１１２２に接続されているものとして示されている。
【0092】
医療システム３００は、計画を立てるのにも有用である。メモリ１２６はさらに、初期医用画像３４０と、選択された視野３４２の選択結果とを含むものとして示されている。初期医用画像３４０は仮想基準マーカに対してレジストレーション３４４され、これは、視野１０８の位置決めを制御するために使用される。
【0093】
図４は、ディスプレイ３３０を実装する一つのやり方を例示する。この例では、検査が開始したときの対象者の位置を表す第１のオブジェクト４００がある。検査の過程で、カメラ１１４の座標系において仮想基準マーカの位置が追跡される。図４では、基準マーカの初期の位置及び後続の位置を表示する代わりに、第１のオブジェクト４００及び第２のオブジェクト４０２は、開始時及び現在の基準マーカの位置を表す。対象者が移動すると、第２のオブジェクト４０２が回転及び平行移動する。これは、例えば、自分の位置を変更したい対象者にとって有用である。第１のオブジェクト４００及び第２のオブジェクト４０２は、狭い場所では対象者にとってより理解しやすい。対象者が正しい位置に戻ると、第２のオブジェクト４０２は第１のオブジェクト４００の位置に戻る。
【0094】
図５は、医療システム５００のさらなる例を例示する。図５の医療システム５００は、追加として放射線療法システム５０２を備えることを除いて、図１に示されるものと同様である。放射線療法システム５０２は、治療ゾーン５０４を照射するように構成され、放射線療法制御コマンド５０６を使用して制御可能である。放射線療法制御コマンド５０６は、例えば、臨床画像１４６に対してレジストレーション（５０８）される。治療ゾーン５０４の位置は、臨床医用画像１４６内で明示され、次いで、治療ゾーン５０４の照射をより良く制御するように放射線療法制御コマンド５０６を修正するために使用される。医療システム５００は、図１に示すように、コンピュータ１０４とカメラ１１４とを含む。治療ゾーン５０４の位置及び任意の３Ｄ器官セグメンテーションは、他の実施形態でＦＯＶが指定されるのと同じやり方で、医用画像内で指定され得る。
【0095】
初期医用画像は、本明細書ではスカウト画像とも称され、ＭＲＩ検査などの医用撮像システム検査用の画像を計画するために使用される。スカウトは画像であり、実際のところスカウトは通常、３つの平面にある３～５枚の低解像度画像（２Ｄスカウト）又は３Ｄ低解像度スキャンであり、スキャンする予定の解剖学的組織をカバーするためにも使用される。スカウト画像は、例えば、ＰＥＴ、ＭＲ、ＣＴなどのような医療デバイスの診断シーケンスの視野を決定するために使用される。スカウトの計画は経験に基づいた推測であり、いくつかのスカウト画像があれば、信頼できるより高解像度の画像（臨床医用画像）を計画することができ、後続のすべての画像を同じ座標系で参照することができる。
【0096】
磁気共鳴撮像（ＭＲＩ）／ＰＥＴ／ＣＴ中の対象者の動きは、一部のシーケンスではＭＲＩスキャン時間が長くなるため、また患者の痛みによりオペレータがスキャンをやり直すことになるため、良好な高解像度スキャンを取得する際のさらなる問題である。提案されるソリューションは、例えば、患者の移動を自動的に計画及び追跡してその移動を自動的に補正する、マーカレスのＡＩベースのソリューションを提案する。また、提案されるマーカレスソリューションは、例えば、３ＤＲＧＢＤカメラ入力のようなこれらの外部動きセンサ入力の形状モデルベースのランドマークを、自動的に検出されるスカウト画像ランドマークとレジストレーションできるため、マーカ（仮想基準マーカ）を自動的に導出する。また、いくつかの例は、上記の入力を使用して実行時に、遡及的に軽微な器官動き補正を行うとともに、予測的に患者の主要な身体的移動を補正する、追跡及び計画制御システム（ＴＰＣＳ：ｔｒａｃｋｉｎｇ ａｎｄ ｐｌａｎｎｉｎｇ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ）を使用する。また、このソリューションは、実行時に光学、圧力のような様々な入力を分析して、実行時にロバストな患者の姿勢を推定し、実行中に患者へのフィードバック及び表示を提供する。また、この人工知能ベースの動き補正はリアルタイムであるため、画像品質を高めるだけでなく、高速且つ正確である。
【0097】
磁気共鳴撮像（ＭＲＩ）及び陽電子放出断層撮影（ＰＥＴ）は、多くの神経疾患の診断及び治療において非常に重要である。これらのモダリティは、独自の組織コントラストを提供するが、画像取得時間が長くなるため、患者の頭部の動きが重大な問題となる。患者の動きに起因する画像品質の低下は、臨床的に関連する特徴の検出の減少につながり、診断及び治療に悪影響を与える可能性がある。患者の動きにより、スキャナ１台あたりＭＲＩ検査のコストが年間１１５，０００ドル増加すると推定されている。現時点では、ＭＲＩ検査中の対象者の動きの問題がハードウェアの改良によって解決される兆しはない。撮像が加速される可能性は、生物学的制約によってますます制限されるようである。末梢神経刺激は勾配スイッチング速度を制限し、比吸収率（ＳＡＲ：ｓｐｅｃｉｆｉｃ ａｄｓｏｒｐｔｉｏｎ ｒａｔｅ）はＲＦ励起パルスの使用が制限し、Ｔ１及びＴ２緩和時間は、必要なコントラストに応じてシーケンスの繰り返し時間及びエコー時間を制約する。
【0098】
この問題は、鎮静剤及び麻酔が頻繁に使用される小児スキャンにおいて特に深刻であり、副作用につながる可能性がある。このような頭部の動きによる負の転帰を最小限に抑えるために、ＭＲＩ及びＰＥＴ再構築用の様々な動き補正（ＭＣ）方法が提案されている。ＭＲＩの場合、撮像視野（ＦＯＶ）座標系が取得中に継続的に更新される予測的ＭＣが、様々な追跡技法を使用して実証されている。遡及的ＭＲＩ ＭＣは、動き情報を使用して、動きによって引き起こされる誤差を補償するように再構築を遡及的に調整する。予測的ＭＣとは異なり、遡及的補正は、動き補正された画像の有無にかかわらず再構築を可能にする。動きを補償するように取得を動的に適合させることができないため、ＰＥＴでは遡及的ＭＣのみが可能である。しかしながら、ＭＣは、未加工リストモードデータのＭＣから再構築済みの画像フレームのＭＣまで、ＰＥＴ再構築の様々なフェーズで行われる可能性がある。これらのＭＣ方法は、一般に、スキャン中に正確な頭部の姿勢（位置及び向き）が認識しているという仮定に基づいている。
【0099】
動き情報は、取得された撮像データから直接、又はアドオン動き追跡システムを使用して、様々なソースを使用され得る。各手法は、精度、実装の複雑さ、及び追加のハードウェアの必要性に関して、独自のトレードオフを有する。撮像デバイス自体からの動きの推定は追加のハードウェアを必要としないが、データの取得及び再構築がさらに複雑になる可能性があり、同時に時間分解能及び空間分解能が制限される可能性がある。ＭＲＩのコンテキストでは、動きデータは、多くの場合、撮像取得に組み込まれるか又は「動きナビゲータ」としてインターリーブされるかのいずれかである冗長サンプリングパターンによって取得される。その一方、対象者に取り付けられたマーカを追跡するための様々な方法が提案されている。ＭＲＩの場合、マーカは、フィールドプローブ、アクティブマーカ、勾配センサ、及び光学ターゲットを含む。
【0100】
一般に、マーカ（基準マーカ）は対象者に取り付けられ、この課題に対処するために、これらのマーカごとに異なる取り付け方策が提示されている。マーカ剥がれのリスクを回避するための手段として、患者の頭部にスタンプを押すことも研究されている。しかしながら、スタンプ又は顔の特性のみからの特徴抽出は、計算コストが高いか又は不安定であり、遡及的補正に対してのみ実証されている。
【0101】
ＰＥＴにおけるデータ駆動型動き検出は有望な結果を示している。しかしながら、動きに起因する変化と、時間の経過に伴うトレーサ分布の機能的変化とを区別することは困難である。これらの方法は、動き推定の制限された時間分解能に類似している。ＰＥＴでは、ＭＲＩのように対象者への視線が受信コイルによって遮られないので光学マーカ追跡がいくぶん単純であるため、より柔軟なマーカ設計が可能になる。最後に、ＰＥＴ／ＭＲＩ同時システムは、ＭＲＩデータにおいて固有の動き情報を使用して両方のシステムの動きを推定することもできる。
【0102】
これまで、ＰＥＴスキャナとＭＲＩスキャナとの両方に対応するように設計された外付け動き追跡デバイスはなかった。ＭＲＩ用の既存のソリューションは、典型的には受信コイルへの取付けを必要とし、ＰＥＴ検出器の位置を考慮しない。逆に、ＰＥＴスキャナ用の動きトラッカは、ＭＲＩ環境で作用する強力な磁力に対応するように設計されていない。
【0103】
一例では、動きトラッカは、同期された光変調器及びカメラを使用して患者の顔又は他の解剖学的領域を連続的にスキャンする構造化光表面スキャナ（カメラシステム１１４）を使用したコンピュータビジョン技術に基づいている。この手法は、光学マーカの取り付けを必要としないため、マーカベースのソリューションと比較して臨床準備時間を短縮する。さらに、患者とのやり取りは必要ないため、患者の快適さを損なうことはない。さらに、この手法は、マーカの滑りによる追跡失敗も解消する。このシステムは、実際の患者の動き追跡が可能であり、追跡が信頼できること及び動き補正に不正確な追跡が使用されないことを保証するために、追跡妥当性パラメータ（ＴＶＰ：ｔｒａｃｋｉｎｇ ｖａｌｉｄｉｔｙ ｐａｒａｍｅｔｅｒ）が使用される。動き補正に不正確な追跡を使用すると、画像を補正するのではなく画像を劣化させることになり、これは、特に画像の補正が不可欠である予測的ＭＣの臨床用途には受け入れられない。追跡のロバスト性を保証するために、動き推定ごとにＴＶＰを計算し、リアルタイムで推定を承認又は拒否する。
【0104】
他の例は、環境から常に学習する強化学習を活用して、上記で説明したようにアルゴリズムに組み込まれた代替マーカ選択（代替仮想基準マーカ選択）を使用する。したがって、この手法は、Ｓａｇｅｒ ｐａｐｅｒによって引き起こされる制限を排除し、ＴＶＰの必要性を低減する。
【0105】
ＰＥＴ、ＳＰＥＣＴ、及びＣＴ脳スキャン中の頭部の動きは、アーチファクトを引き起こし、画像品質を低下させる可能性がある。動き補償はそのような劣化を劇的に低減することができるが、動き補償された脳撮像プロトコルは日常的な臨床で使用されていない。その理由としては、多忙な臨床ワークフローに容易に組み込むことができる実用的な頭部追跡方法がないことが考えられる。光学追跡は正確度の高い動き情報を提供するが、ほとんどの光学システムは、マーカベースであり、患者の頭部にマーカを取り付ける必要がある。取り付けられたマーカは、横たわる剛性の頭部の動きによって極めて容易に外れる可能性があり、より堅固な固定は、侵襲性の固定となる。
【0106】
一例では、マーカレス追跡システムは、ペアで配置され且つ顔の両側に向けられた４台のＣＣＤカメラを備える。データ取得中、４つの同期された画像を含むフレームが３０Ｈｚで継続的に収集される。３Ｄ頭部ランドマークを決定するために、フレームごとに特有の特徴が検出され、画像全体にわたって照合される。特徴が照合されると、システムはランドマークとそれに関連する記述子とのデータベースを構築する。このデータベースは、スキャン中に着実に増加し、追跡アルゴリズムによって頭部の姿勢の変化を推定するために使用される。
【0107】
マーカレス追跡を検証済みのマーカベースのシステムと比較するために、対象者は、大きなマーカが取り付けられた水泳帽又はヘッドバンドを装着する。首、衣服、及び髪などのエリアから背景の特徴を除去するには、画像エッジの周囲の固定マージンを拒否することによって基本的なマスクが形成されるストリップマスキング、及び１６個の顔ランドマークを使用して決定される顔マスキングなどの様々な背景マスキング手法が使用される。
【0108】
ストリップマスキングを使用する場合、姿勢計算のために５０～７０個の顔ランドマークが使用される。特徴照合プロセスは非常に信頼性が高く、偽一致はほとんど記録されなかった。また、濃い色の肌では一般にコントラストが低いため、システムが見つけた特徴は少なかったが、動きを追跡することは可能である。
【0109】
例は、スカウトランドマークと動きセンサ情報（例えば、ビジョンセンサからのＲＧＢＤ）との組合せを使用してＭＲ検査を計画することにより、前の方法とは異なる。レジストレーションされた特徴を追跡することに依存しており、現場のＡＩ患者はカメラを使用して人の外見的特徴を学習し、この方法を使用して人の計画された解剖学的特徴への影響を示唆する。これは、画像に対する解剖学的組織のレジストレーションに類似しているが、はるかに高速（リアルタイム）であるため、カメラ画像を考慮した解剖学的組織の事前推定として使用されて全体のスキャン時間を短縮し、またスキャン（ＭＲなど）の動き補正メカニズムとして使用されて患者と技師との両方にフィードバックを提供する。これはまた、患者に装着されたジャイロスコープのような他のセンサによって提供される情報を活用することによって、マーカレス手法の正確度を高める。患者は、様々な解剖学的組織の位置を容易に理解することができない。ＭＲスキャンと患者の３Ｄ光学スキャンとをオーバーレイすることにより、良好な患者エンゲージメントを促進することができる。
【0110】
図６は、磁気共鳴撮像システム３０２を備える医療システム６００のさらなる例を例示する。磁気共鳴撮像システムは、勾配システム６０２、パルスシーケンスサーバ６０４、データ取得サーバ６０６、取得コントローラ６０８、及び患者位置決めシステム６１０を有する。追跡及び計画制御システム６１６にデータを供給するビジョンプローブ６１２及びモーションプローブ６１４がある。追跡及び計画制御システム６１６は、磁気共鳴撮像データの取得を調整するためにデータを取得コントローラ６０８に供給する。追跡及び計画制御システム６１６は、適切な３Ｄ撮像のために勾配システムを制御するためにも使用される。追跡及び計画制御システム６１６はまた、データを仮想マーカフィードバックの形式で表示及びフィードバックシステム６１８に供給する。追跡及び計画制御システム６１６はまた、磁気共鳴画像を再構築する再構築システム６２０にデータを供給する。表示及びフィードバックシステム６１８は、例えばディスプレイ３３０を制御することができ、又は対象者１１０に指示を与えるオーディオシステム６２０を制御することもできる。再構築システム６２０はまた、表示及びフィードバックシステム６１８に画像を提供するとともにデータサーバ６２２にデータを提供し、データサーバ６２２は解剖学的アトラス６２４にデータを供給する。解剖学的アトラス６２４は、追跡及び計画制御システム６１６に基準形状モデルを提供するために使用される。
【0111】
図６は、ＭＲＩシステム３０２を医用撮像システムとして例示する。しかしながら、これは単なる例示的なものである。磁気共鳴撮像システム３０２の代わりに、他のタイプの医用撮像システムも代用される。医療システム６００全体は独立しており、以下の特徴のうちの１つ又は複数を含むマルチモダリティシステム及びマルチベンダシステムと連携することができる。
・追跡及び計画制御システム（マルチモダリティシステム及びマルチベンダシステム）
・追跡及び計画制御システム６１６：
・６２４は、プロセッサ（計算システム）に視覚及び動きの入力を提供する。
・強化学習システムは、適切な初期解剖学的モデルで初期化され、視覚及び動きの入力と初期解剖学的組織形状モデルと間のマッピングを作成する。
・磁石座標系でのＦＯＶの出力を提供する。
・出力は取得コントローラ６０８に供給され、取得コントローラ６０８は、患者位置システム６１０、勾配システム６０２を予測的に調整し、再構築システム６０４を遡及的に調整する。
・再構築システム６２０
・遡及的な動き補正
・解剖学的組織形状モデル６２４：
・初期計画を初期化するために、データサーバ６２２内の患者データを使用して、好適な解剖学的モデルが照合される。
・表示＆フィードバックシステム６１８
・追跡及び計画制御システム（マルチモダリティシステム及びマルチベンダシステム）
・追跡及び計画制御システム６１６：
・６２４は、プロセッサ（計算システム）に視覚及び動きの入力を提供する。
・強化学習システムは、適切な初期解剖学的モデルで初期化され、視覚及び動きの入力と初期解剖学的組織形状モデルと間のマッピングを作成する。
・磁石座標系でのＦＯＶの出力を提供する。
・出力は取得コントローラ６０８に供給され、取得コントローラ６０８は、患者位置システム６１０、勾配システム６０２を予測的に調整し、再構築システム６０４を遡及的に調整する。
・再構築システム６２０
・遡及的な動き補正
・解剖学的組織形状モデル６２４：
・初期計画を初期化するために、データサーバ６２２内の患者データを使用して、好適な解剖学的モデルが照合される。
・表示＆フィードバックシステム６１８
【0112】
図７は、いくつかの異なる画像を、第１の列７００、第２の列７０２、第３の列７０４、及び第４の列７０６の４つの列で示している。第１の列７００には、仮想基準マーカ７０８を有する対象者画像１３８が示されている。第２の列７０２には、初期医用画像３４０が表示されている。これらの画像は基準マーカ７０８も含み、これらの２つの間のレジストレーション３４４がある。選択された視野７１０も初期医用画像３４０上にマークされている。列７００の画像内の基準マーカの位置を使用して、第３の列７０４の画像上に選択された視野を位置決めすることができる。この列では、選択された視野７１０が対象者画像１３８に重ね合わせられる。列７０６には、列７０４の対応する視野７１０に対して取得された、いくつかのスカウト画像７１２がある。
【0113】
図８は、図６に描写された医療システム６００を使用する方法を例示する。方法はブロック８００で開始し、次いでステップ８０２に進み、頭部の３Ｄ光学画像が取得される。次いで、方法は、追跡及び計画制御システムであるブロック６１６を使用する。追跡及び計画制御システムは、最初にステップ８０４において、取得された光学画像上で計画及び位置特定アルゴリズムを実行する。次にステップ８０６において、視野が取得コントローラに送られ、取得コントローラは、勾配磁場を調整し、スキャンを開始する。次いで、方法はステップ８０８に進み、光学及び／又はジャイロスコープフィードバックを使用した予測的動き補正が行われる。次いで、方法は決定ボックス８１０に進む。「スキャンは完了したか？」がボックス８１０の質問であり、答えが「いいえ」の場合、方法はステップ８０８に再び戻り、スキャンが完了するまでこれが繰り返される。スキャンが完了すると、方法は再構築システム６２０の使用に進み、遡及的動き補正８１２が実行される。ブロック８１２の後、方法は、表示及びフィードバックシステムである図６のブロック６１８の使用に進む。例えば、音声コマンド又は視覚コマンドが対象者１１０に提供され得る。ブロック８０６からの視野も、フィードバックシステム６１８内のディスプレイに送られる。次いで、方法はステップ８１４で終了する。
【0114】
図９は、取得された光学画像に対する計画及び位置特定アルゴリズムの実行であるブロック８０４をより詳細に示すフローチャートを示す。ステップ９００において方法が開始する。次いで、方法は、ステップ９０２、また任意選択として同時にステップ９０４に進む。ステップ９０２において、頭部の３Ｄ光学画像領域が取得される。次いで、方法はブロック９０６に進む。任意選択的なステップ９０４において、３次元スカウト画像又はスカウト医用画像が取得される。ステップ９０６において、人工知能を使用して、取得された画像上の必須主要点が識別される。これは、画像マーキングニューラルネットワーク１３２を使用して仮想基準マーカのセットを識別することと同等である。次に、方法はステップ９０８に進み、予測された主要点又は仮想基準マーカを情報として使用して、視野が推定される。次いで、方法はステップ９１０に進み、視野パラメータがスキャナ位置決めシステムに送られる。次いで、説明はブロック９１２で終了する。
【0115】
図１０は、図８のブロック８０６の詳細をより詳細に例示するフローチャートである。方法はブロック１０００において開始し、ブロック１００２に進み、現在の視野パラメータが入力される。次いで、このデータはブロック１００４とブロック１００６との両方に提供される。ブロック１００４において、現在の視野パラメータを使用して追跡用の光学システムが初期化される。ブロック１００６において、ジャイロスコープデータが取得される。ブロック１００４は、動きが検出されるかどうかを判定するための質問ボックスであるブロック１００８に進む。動きが検出されない場合、方法は、再びボックス１００４及び１００６での実行に進む。ジャイロスコープを使用して動きが検出された場合、方法はブロック１０１２に進む。
【0116】
ブロック１００６はブロック１０１０に進む。これも、ジャイロスコープを使用して動きが検出されるかどうかの質問ボックスである。動きが検出されない場合、方法は、再びステップ１００４及び１００６に戻る。動きが検出された場合、方法はブロック１００８と同様にブロック１０１２に進む。ブロック１０１２において、光学データとともにジャイロスコープデータを使用して、新しい視野を推定する。ブロック１０１４において、現在の視野が更新され、スキャナ位置パラメータを調整する。ブロック１０１４が実行された後、方法は次いで、ブロック１００４及び１００６に戻る。
【0117】
図１１は、遡及的動き補正を例示しており、図８のブロック８１２をより細部まで説明するものである。最初に、ブロック１１００において方法が開始する。次いで、方法は、ＭＲＩ画像スキャンであるブロック１１０２に進む。ブロック１１０４において、磁気共鳴画像がｋ空間表現に変換される。ブロック１１０６において、数値ｎがランダムに選択され、磁気共鳴画像スキャン及び光学スキャンに剛体変換をｎ回ランダムに適用し、変換された画像から元のｋ空間への変換の発生時間に対応するｋ空間をグラフ化する。次いで、方法はブロック１１０８に進み、この修正されたｋ空間を用いて、磁気共鳴画像スキャンを再構築するようにニューラルネットワークが訓練される。ブロック１１１０において、この訓練済みのニューラルネットワークを使用して、実行時に画像を再構築する。次いで、方法はブロック１１１２で終了する。したがって、図１１の方法は、遡及的動き補正に使用するためのニューラルネットワークを訓練する１つのやり方を例示している。
【0118】
図１２は、図６のブロック６１８をより詳細に例示するフローチャートを示す。これは、表示及びフィードバックシステムに関する説明である。図１２に例示する方法は、ブロック１２００で開始し、次いで、ブロック１２０２とブロック１２０４との両方に続く。ブロック１２０２において、再構築システム６２０からのスキャン結果及び３Ｄ光学画像からの入力が提供される。次に、ブロック１２０２はブロック１２０６に進む。このステップでは、スキャン結果を患者の光学画像に重ね合わせるために、オーバーレイアルゴリズムが実行される。次いで、ブロックはステップ１２０８に進む。オーバーレイされた画像は、元の結果とともにディスプレイ又は印刷デバイスに送られる。ブロック１２０８の後、方法はブロック１２１０に進み、方法は終了する。並行ステップ１２０４は、追跡及び計画制御システム６１６からの仮想マーカ位置及び動き検出結果についての入力を提供することである。ブロック１２０４が終了した後、ブロック１２１２に進み、大幅な動きが検出された場合、患者又は対象者１１０の磁気共鳴オーディオシステムに指示が送られる。次いで、方法はブロック１２１４に進み、光学スキャンにオーバーレイされた仮想マーカは、放射線科医に、また任意選択として対象者に表示され、患者用の任意の利用可能な表示システムに送られる。
【0119】
【0120】
Ａ．図８に示すように、マーカレス追跡、スカウトレス計画システムについて以下で説明する。
・ＭＲスキャンの開始前。３Ｄ光学画像が撮影され、計画サブシステム８０４に供給される。
・計画サブシステムはＦＯＶパラメータを取得コントローラ６０８に出力し、それに応じて勾配磁場が調整される
・スキャンが始まり、動作が発生した場合、予測的動き補正サブシステム８０８が、ＦＯＶを調整するように取得コントローラにフィードバックを送信する。
・この監視及びフィードバックのプロセスは、スキャンが完了するまで継続される
・８１２を使用して、スキャン出力が再構築される
・スキャン出力はディスプレイシステム６１８に送られ、ディスプレイシステム６１８は、出力を患者にとって分かりやすくするために、スキャンと３Ｄ光学画像とをオーバーレイする
・ＭＲスキャンの開始前。３Ｄ光学画像が撮影され、計画サブシステム８０４に供給される。
・計画サブシステムはＦＯＶパラメータを取得コントローラ６０８に出力し、それに応じて勾配磁場が調整される
・スキャンが始まり、動作が発生した場合、予測的動き補正サブシステム８０８が、ＦＯＶを調整するように取得コントローラにフィードバックを送信する。
・この監視及びフィードバックのプロセスは、スキャンが完了するまで継続される
・８１２を使用して、スキャン出力が再構築される
・スキャン出力はディスプレイシステム６１８に送られ、ディスプレイシステム６１８は、出力を患者にとって分かりやすくするために、スキャンと３Ｄ光学画像とをオーバーレイする
【0121】
Ｂ．図９に示すように、計画システム８０４について以下で説明する。
ａ．計画システムは、カメラシステムから、取得された３Ｄ光学画像を受信し（９０２）、スカウトスキャンを受信する（９０４）
ｂ．光学画像及びスカウトスキャンから必須主要点が識別され、必須主要点は相互にレジストレーションされる（９０６）
ｃ．主要点を使用してＦＯＶが推定され、この領域が光学画像上にマークされて、仮想マーカが作成される（９０８）
ｄ．推定されたＦＯＶは取得コントローラシステムに送られ、取得コントローラシステムが勾配磁場を調整する（９１０）
ａ．計画システムは、カメラシステムから、取得された３Ｄ光学画像を受信し（９０２）、スカウトスキャンを受信する（９０４）
ｂ．光学画像及びスカウトスキャンから必須主要点が識別され、必須主要点は相互にレジストレーションされる（９０６）
ｃ．主要点を使用してＦＯＶが推定され、この領域が光学画像上にマークされて、仮想マーカが作成される（９０８）
ｄ．推定されたＦＯＶは取得コントローラシステムに送られ、取得コントローラシステムが勾配磁場を調整する（９１０）
【0122】
Ｃ．図１０に示すような予測的動き補正システム８０８。
１．取得コントローラ１００２からの入力として、現在のＦＯＶパラメータが得られる
２．これらのパラメータを使用して、光学追跡システム及びジャイロスコープ追跡システムを初期化する（１００４、１００６）
３．いずれかのシステムが動きを検出した場合、光学及びジャイロスコープデータを使用して新しいＦＯＶパラメータが計算され、これが、勾配磁場を調整する取得コントローラを更新する。
４．次いで、追跡システムは、新しいＦＯＶパラメータに従って再初期化される。
５．このプロセスはスキャンが完了するまで継続される
１．取得コントローラ１００２からの入力として、現在のＦＯＶパラメータが得られる
２．これらのパラメータを使用して、光学追跡システム及びジャイロスコープ追跡システムを初期化する（１００４、１００６）
３．いずれかのシステムが動きを検出した場合、光学及びジャイロスコープデータを使用して新しいＦＯＶパラメータが計算され、これが、勾配磁場を調整する取得コントローラを更新する。
４．次いで、追跡システムは、新しいＦＯＶパラメータに従って再初期化される。
５．このプロセスはスキャンが完了するまで継続される
【0123】
Ｄ．遡及的動き補正システム８１２
ａ．追加の入力として光信号を使用する
ｂ．再構築中にアルゴリズムがスキャンのノイズを除去するので、再構築後のノイズ除去ステップを排除することによって時間を節約する
ｉ．再構築アルゴリズムはニューラルネットワークに置き換えられる
ｉｉ．ニューラルネットワークは、剛体変換によって引き起こされるｋ空間の歪みに対してロバストになるように訓練される
ｉｉｉ．このロバスト性は、訓練プロセス中に剛体変換をシミュレートすることによってニューラルネットワークに導入される。シミュレーションは次のとおりである。
１．元画像がｋ空間表現に変換される
２．元画像及び対応する光学スキャンに剛体変換が適用される。
３．変換された画像は、ｋ空間表現に変換される。
４．一定数のスライス後、新しい光学スキャンが元の光学スキャンを置き換える。これは、一定時間ｔ後の患者の移動を示す。
５．時間ｔ後にサンプリングされたすべてのＫ空間点は、変換された画像から取得されたｋ空間で置き換えられる。
６．ステップ２～５をランダムな回数（２～１０回）だけ繰り返す。これらは移動がないことを示す。各移動は連続している
ｉｖ．ニューラルネットワークの再構築された画像は、標準のレジストレーションされた画像と同様の向きを有する。
ａ．追加の入力として光信号を使用する
ｂ．再構築中にアルゴリズムがスキャンのノイズを除去するので、再構築後のノイズ除去ステップを排除することによって時間を節約する
ｉ．再構築アルゴリズムはニューラルネットワークに置き換えられる
ｉｉ．ニューラルネットワークは、剛体変換によって引き起こされるｋ空間の歪みに対してロバストになるように訓練される
ｉｉｉ．このロバスト性は、訓練プロセス中に剛体変換をシミュレートすることによってニューラルネットワークに導入される。シミュレーションは次のとおりである。
１．元画像がｋ空間表現に変換される
２．元画像及び対応する光学スキャンに剛体変換が適用される。
３．変換された画像は、ｋ空間表現に変換される。
４．一定数のスライス後、新しい光学スキャンが元の光学スキャンを置き換える。これは、一定時間ｔ後の患者の移動を示す。
５．時間ｔ後にサンプリングされたすべてのＫ空間点は、変換された画像から取得されたｋ空間で置き換えられる。
６．ステップ２～５をランダムな回数（２～１０回）だけ繰り返す。これらは移動がないことを示す。各移動は連続している
ｉｖ．ニューラルネットワークの再構築された画像は、標準のレジストレーションされた画像と同様の向きを有する。
【0124】
Ｅ．図１２に示すように、表示＆フィードバックシステム６１８について以下で説明する。
ａ．表示経路（スキャン後）：
ｉ．ＭＲシステムからスキャン出力が取得され、光学システムから３Ｄ光学画像が取得される（１２０２）
ｉｉ．オーバーレイアルゴリズムを使用して、スキャン解剖学的組織と３Ｄ画像とをオーバーレイする（１２０６）
ｉｉｉ．このオーバーレイされた画像及びスキャンされた画像は、実際の閲覧／印刷のためにモニタ又は印刷デバイスに送られる（１２０８）
ｂ．患者フィードバック：ＭＲ機器及び患者へのオーディオシステムを使用して、スキャン中に患者が適切な向きを維持することを支援する指示とともに、仮想マーカオーバーレイが患者にフィードバックされる（１２０４、１２１２、１２１４）。任意選択として、将来的には、Ｇｏｏｇｌｅ Ｇｌａｓｓ、Ａｐｐｌｅ Ａｉｒ ｐｏｄｓのようなＭＲ互換の患者用商用機器を使用することができる。
ａ．表示経路（スキャン後）：
ｉ．ＭＲシステムからスキャン出力が取得され、光学システムから３Ｄ光学画像が取得される（１２０２）
ｉｉ．オーバーレイアルゴリズムを使用して、スキャン解剖学的組織と３Ｄ画像とをオーバーレイする（１２０６）
ｉｉｉ．このオーバーレイされた画像及びスキャンされた画像は、実際の閲覧／印刷のためにモニタ又は印刷デバイスに送られる（１２０８）
ｂ．患者フィードバック：ＭＲ機器及び患者へのオーディオシステムを使用して、スキャン中に患者が適切な向きを維持することを支援する指示とともに、仮想マーカオーバーレイが患者にフィードバックされる（１２０４、１２１２、１２１４）。任意選択として、将来的には、Ｇｏｏｇｌｅ Ｇｌａｓｓ、Ａｐｐｌｅ Ａｉｒ ｐｏｄｓのようなＭＲ互換の患者用商用機器を使用することができる。
【0125】
３．以下の特徴は、アルゴリズムの一部である。
・ＭＲ、ＣＴ、ＰＥＴなどの様々なモダリティ向けの光学スカウトレジストレーションスキャン：
・ＭＲ互換の従来型カメラ（３Ｄ）から参照座標系内の主要点を見出し、次いで、画像（ＭＲ画像と同様）に対応する解剖学的特徴を予測し、従来型カメラ形状で計画する。
・ポイントの１つは、異なる座標系間の変換である。カメラ座標、患者座標、及びＭＲＩ座標系は、
・患者動き推定及び補正（予測的と遡及的との両方）と、
・光学スカウトレジストレーション計画と
を解決する単一の座標系に変換される。
・正確な動き推定のために、ジャイロスコープを個別に含めるか又はカメラを結合する
・ＭＲＩ対応の手術計画－（事前に行われたＭＲスキャンをカメラから得られるライブ画像に映す／レジストレーションすることで、円滑且つ適切な手術を可能にする）
・様々な領域（脳と他の身体部分との両方）の実際の画像に関するスマートな計画－モデリングで衣服の態様もカバーする（ＩＲカメラも使用可能）－ＩＲカメラと３Ｄカメラと結合する。
・カメラは様々な位置に配置可能であり、テーブルに固定されるか又はコイルに取り付けられ得る
・ＭＲ、ＣＴ、ＰＥＴなどの様々なモダリティ向けの光学スカウトレジストレーションスキャン：
・ＭＲ互換の従来型カメラ（３Ｄ）から参照座標系内の主要点を見出し、次いで、画像（ＭＲ画像と同様）に対応する解剖学的特徴を予測し、従来型カメラ形状で計画する。
・ポイントの１つは、異なる座標系間の変換である。カメラ座標、患者座標、及びＭＲＩ座標系は、
・患者動き推定及び補正（予測的と遡及的との両方）と、
・光学スカウトレジストレーション計画と
を解決する単一の座標系に変換される。
・正確な動き推定のために、ジャイロスコープを個別に含めるか又はカメラを結合する
・ＭＲＩ対応の手術計画－（事前に行われたＭＲスキャンをカメラから得られるライブ画像に映す／レジストレーションすることで、円滑且つ適切な手術を可能にする）
・様々な領域（脳と他の身体部分との両方）の実際の画像に関するスマートな計画－モデリングで衣服の態様もカバーする（ＩＲカメラも使用可能）－ＩＲカメラと３Ｄカメラと結合する。
・カメラは様々な位置に配置可能であり、テーブルに固定されるか又はコイルに取り付けられ得る
【0126】
例は、以下の特徴のうちの１つ又は複数を含む。
１．光学スカウトレジストレーションされた計画及び動き補正されたスキャンのために、カメラ及びジャイロスコープを使用し、患者のより良い理解のためにＭＲスキャンと３Ｄ光学スキャンとをオーバーレイする。計画のためにスカウト画像とレジストレーションされた光学スキャンを使用する
２．光学画像に基づく追跡のために仮想マーカを作成する
ａ．計画のためにスカウト画像とレジストレーションされた光学スキャンを使用する。関節姿勢推定アルゴリズムが、仮想マーカの作成を可能にする。
ｂ．次いで、作成された仮想マーカは光学システムを使用して追跡される。これは、画像処理技法を使用して、作成された仮想マーカを光学スキャンと重ね合わせることによって行われる。
ｃ．動き検出用の光学システムは、モーションプローブからの情報によってさらに強化され、これにより正確度がさらに向上する。
３．光学画像に基づく遡及的動き補正と再構築とを組み合わせるアルゴリズム
ａ．過度の調整を避けるために、予測的動き補正は、遡及的動き補正システムによって補完される。予測的動き補正システムは、大きい偏差を扱う。大きい偏差が発生すると、予測的動き補正システムは勾配磁場の位置決めパラメータを変更して初期ＦＯＶと再度位置合せし、これに従って光学スキャンも再調整される。より小さい変化は、遡及的動き補正システムによって対処される。
ｂ．光学画像に基づく遡及的動き補正と再構築とを組み合わせた新規なアルゴリズムは、全体の時間を短縮するのに役立ち、またマーカレス追跡及び動き補正アルゴリズムに対する適切な補完を形成する。
４．オーバーレイ表示＆フィードバックシステムは、異常が存在する場合に患者、オペレータ、及び放射線科医がその異常の位置及び範囲をより適切に把握するのに役立つ。一般の患者がどこに問題が存在するかを特定するのに役立つユーザフレンドリな表示／音声システム（例えば、ｇｏｏｇｌｅ ｇｌａｓｓ／ａｐｐｌｅ ａｉｒ ｐｏｄｓのようなＭＲ互換デバイス）である。
５．また、ＡＩベースのモデルを使用して、データを訓練し、脳と解剖学的位置とをマッピングすることができる。これはシームレスな調査の作成に役立ち、全体のスキャン時間を短縮し、取得におけるＭＲＩスキャンワークフローを変更することができる。
６．腫瘍又は異変に対して３Ｄカメラベースの結合ＭＲＩスキャンを使用して、手術計画を大幅に修正することができる。知られている限りでは、この作業は医用スキャンにおいて、特にスカウトレス調査計画に対しては行われていない。
１．光学スカウトレジストレーションされた計画及び動き補正されたスキャンのために、カメラ及びジャイロスコープを使用し、患者のより良い理解のためにＭＲスキャンと３Ｄ光学スキャンとをオーバーレイする。計画のためにスカウト画像とレジストレーションされた光学スキャンを使用する
２．光学画像に基づく追跡のために仮想マーカを作成する
ａ．計画のためにスカウト画像とレジストレーションされた光学スキャンを使用する。関節姿勢推定アルゴリズムが、仮想マーカの作成を可能にする。
ｂ．次いで、作成された仮想マーカは光学システムを使用して追跡される。これは、画像処理技法を使用して、作成された仮想マーカを光学スキャンと重ね合わせることによって行われる。
ｃ．動き検出用の光学システムは、モーションプローブからの情報によってさらに強化され、これにより正確度がさらに向上する。
３．光学画像に基づく遡及的動き補正と再構築とを組み合わせるアルゴリズム
ａ．過度の調整を避けるために、予測的動き補正は、遡及的動き補正システムによって補完される。予測的動き補正システムは、大きい偏差を扱う。大きい偏差が発生すると、予測的動き補正システムは勾配磁場の位置決めパラメータを変更して初期ＦＯＶと再度位置合せし、これに従って光学スキャンも再調整される。より小さい変化は、遡及的動き補正システムによって対処される。
ｂ．光学画像に基づく遡及的動き補正と再構築とを組み合わせた新規なアルゴリズムは、全体の時間を短縮するのに役立ち、またマーカレス追跡及び動き補正アルゴリズムに対する適切な補完を形成する。
４．オーバーレイ表示＆フィードバックシステムは、異常が存在する場合に患者、オペレータ、及び放射線科医がその異常の位置及び範囲をより適切に把握するのに役立つ。一般の患者がどこに問題が存在するかを特定するのに役立つユーザフレンドリな表示／音声システム（例えば、ｇｏｏｇｌｅ ｇｌａｓｓ／ａｐｐｌｅ ａｉｒ ｐｏｄｓのようなＭＲ互換デバイス）である。
５．また、ＡＩベースのモデルを使用して、データを訓練し、脳と解剖学的位置とをマッピングすることができる。これはシームレスな調査の作成に役立ち、全体のスキャン時間を短縮し、取得におけるＭＲＩスキャンワークフローを変更することができる。
６．腫瘍又は異変に対して３Ｄカメラベースの結合ＭＲＩスキャンを使用して、手術計画を大幅に修正することができる。知られている限りでは、この作業は医用スキャンにおいて、特にスカウトレス調査計画に対しては行われていない。
【0127】
Ｆ．例は、以下の特徴及び／又は利点のうちの１つ又は複数を含む。
・実行時にマイナーな器官動き補正と主要な患者の身体的移動との両方を継続的に学習し、それを適用してスキャンでの補正を実行する。（６１６、８１２によって対処される）
・計画された部分解剖学的組織上の主要点を正確に検出及び追跡するために、患者非依存型学習の力を使用しない。（６２４によって対処される）
・センサとともに追加のマーカ機器を使用すると、全体的な動き補正コストがかかる（８０４によって対処される）
・マーカ機器によって引き起こされる患者の不快感は、本発明の仮想マーカの使用によって解消される。（８０４によって対処される）
・予測的動き補正では、予測的動き補正の使用を大きな動きの補正のみに限定するによって、不必要な補正が回避される。より小さい動きは遡及的動き補正システムを使用して補正される。（６１６及び６２０によって対処される）
・動き補正パラメータと再構築とを組み合わせて、全体の再構築時間を改善することができる。（６２０、８１２において対処される）
・オーバーレイ表示は、異常が存在する場合に、患者が患者ガイダンスによってその異常の位置及び範囲をより適切に把握するのに役立つ。（６１８によって対処される）
・実行時にマイナーな器官動き補正と主要な患者の身体的移動との両方を継続的に学習し、それを適用してスキャンでの補正を実行する。（６１６、８１２によって対処される）
・計画された部分解剖学的組織上の主要点を正確に検出及び追跡するために、患者非依存型学習の力を使用しない。（６２４によって対処される）
・センサとともに追加のマーカ機器を使用すると、全体的な動き補正コストがかかる（８０４によって対処される）
・マーカ機器によって引き起こされる患者の不快感は、本発明の仮想マーカの使用によって解消される。（８０４によって対処される）
・予測的動き補正では、予測的動き補正の使用を大きな動きの補正のみに限定するによって、不必要な補正が回避される。より小さい動きは遡及的動き補正システムを使用して補正される。（６１６及び６２０によって対処される）
・動き補正パラメータと再構築とを組み合わせて、全体の再構築時間を改善することができる。（６２０、８１２において対処される）
・オーバーレイ表示は、異常が存在する場合に、患者が患者ガイダンスによってその異常の位置及び範囲をより適切に把握するのに役立つ。（６１８によって対処される）
【0128】
Ｇ．本発明の応用は、以下のうちの１つ又は複数を含む。本発明の応用を以下に詳述する。
・光学撮像をスカウト画像とともに使用してＦＯＶ計画を実行し、それによって、プロセス全体をよりロバストにし、後続の動き追跡を容易にする。
・スキャン中の後続の光学追跡のために、仮想マーカを使用することができる。
・装着型ジャイロスコープを使用して、光学システムの動き推定の性能を向上させる。
・再構築と同時に行われる光学スキャンに基づく改善された遡及的動き補正により、時間が短縮される。これは、カメラ座標を使用した予測的動き補正を提供する。
・オーバーレイ表示は患者を支援する。オペレータ及び放射線科医は、異常が存在する場合、その位置及び範囲をより適切に把握する。
・光学撮像をスカウト画像とともに使用してＦＯＶ計画を実行し、それによって、プロセス全体をよりロバストにし、後続の動き追跡を容易にする。
・スキャン中の後続の光学追跡のために、仮想マーカを使用することができる。
・装着型ジャイロスコープを使用して、光学システムの動き推定の性能を向上させる。
・再構築と同時に行われる光学スキャンに基づく改善された遡及的動き補正により、時間が短縮される。これは、カメラ座標を使用した予測的動き補正を提供する。
・オーバーレイ表示は患者を支援する。オペレータ及び放射線科医は、異常が存在する場合、その位置及び範囲をより適切に把握する。
【0129】
図１３は、医療システム１３００のさらなる例を例示する。図１３の医療システム１３００は、いくつかの構成変更を除いて図１の医療システム１００と同様である。医療システム１３００は遠隔医療に好適である。医用撮像システム１０２は、ローカルコントローラ１３０２によって制御される。ローカルコントローラは、クラウドコンピューティングシステム１３０４（又はネットワーク接続）を介してコンピュータ１０４に接続されているものとして示されている。
【0130】
コンピュータ１０４は、ユーザインターフェース１３０６をさらに備えるものとして示されている。初期医用画像３４０が表示され、オペレータは、視野１０８の位置を選択することができる。仮想基準マーカと初期医用画像３０４との間のレジストレーション又は仮想基準マーカと視野１０８との間のレジストレーションを使用して、医用撮像データ１３６の取得が自動的に実行され得る。コンピュータ１０４のメモリ１２６は、図１のコンピュータ１０４と同じ内容を含むものとして示されている。しかしながら、コンピュータ１０４の機能性は、ローカルコントローラ１３０２に移行される。
【0131】
医用撮像システム１０２の遠隔制御を支援するために、ディスプレイ３３０が対象者１１０の視界内に提供される。ディスプレイ３３０は、対象者が自分の位置を決めて、検査中に動きを制限する際に自己制御を実行するために使用される。オペレータを支援するために、遠隔位置にもディスプレイが提供される。その場合、オペレータは、対象者の現在位置、及び検査中に対象者が動いているかどうかに関する知識を有する。
【0132】
本発明を図面及び前述の説明で詳細に図示及び説明してきたが、そのような図示及び説明は例証的又は例示的なものであり限定的なものではないと見なされるべきである。本発明は開示された実施形態に限定されない。
【0133】
特許請求された発明を実践する際に、図面、開示、及び添付の特許請求の範囲を検討することにより、開示された実施形態に対する他の変形形態が当業者によって理解及び実現され得る。特許請求の範囲において、「備える」という単語は、他の要素又はステップを除外するものではなく、単数形の要素は複数を除外するものではない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されているいくつかの項目の機能を果たす。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組合せが有利に用いられないことを示すものではない。コンピュータプログラムは、他のハードウェアとともに若しくは他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体などの好適な媒体に記憶／配布されるが、インターネット又は他の有線若しくは無線の電気通信システムを経由するなどの他の形式でも配布される。特許請求の範囲におけるいかなる参照符号も、範囲を限定するものと解釈されるべきではない。
【符号の説明】
【0134】
１００ 医療システム
１０２ 医用撮像システム
１０４ コンピュータ
１０６ 撮像ゾーン
１０８ 視野
１１０ 対象者
１１２ 対象者支持体
１１４ カメラシステム
１２０ 計算システム
１２２ ハードウェアインターフェース
１２４ ユーザインターフェース
１２６ メモリ
１３０ マシン実行可能命令
１３２ 画像マーキングニューラルネットワーク
１３４ 医用撮像システムコマンド
１３６ 医用撮像データ
１３８ 対象者画像
１４０ 座標系マッピング
１４２ 仮想基準マーカのセットのカメラシステム座標
１４４ 仮想基準マーカのセットの画像システム座標
１４６ 臨床画像
２００ 医用撮像システムコマンドを用いて医用撮像システムを制御することによって医用撮像データを取得する
２０２ 医用撮像データの取得中に対象者画像を取得するようにカメラシステムを繰り返し制御する
２０４ 対象者画像を画像マーキングニューラルネットワークに入力することによって、仮想基準マーカのカメラシステム座標を繰り返し受信する
２０６ 座標系マッピングを使用して仮想基準マーカのカメラシステム座標を仮想基準マーカの提供される撮像システム座標に繰り返し変換することによって、仮想基準マーカのセットの撮像システム座標を繰り返し提供する
２０７ 取得は終了したか？
２０８ 医用撮像データから臨床医用画像を再構築する
３００ 医療システム
３０２ 磁気共鳴撮像システム
３０４ 磁石
３０６ 磁石のボア
３１０ 磁場勾配コイル
３１２ 磁場勾配コイル電源
３１４ 無線周波数コイル
３１６ トランシーバ
３２２ 胸部領域
３３０ ディスプレイ
３３２ 対象者取付型ジャイロスコープ
３４０ 初期医用画像
３４２ 選択された視野
３４４ レジストレーション
４００ 第１のオブジェクト
４０２ 第２のオブジェクト
５００ 医療システム
５０２ 放射線療法システム
５０４ 治療ゾーン
５０６ 放射線療法制御コマンド
５０８ 臨床画像に対するレジストレーション
６００ 医療システム
６０２ 勾配システム
６０４ パルスシーケンスサーバ
６０６ データ取得サーバ
６０８ 取得コントローラ
６１０ 患者位置決めシステム
６１２ ビジョンプローブ
６１４ モーションプローブ
６１６ 追跡及び計画制御システム
７００ 第１の列
７０２ 第２の列
７０４ 第３の列
７０６ 第４の列
７０８ 仮想基準マーカ
７１０ 選択された視野
７１２ スカウト画像又は初期医用画像
８００ 開始
８０２ 頭部の３Ｄ光学画像を撮影する
８０４ 取得された光学画像上で計画及び位置特定アルゴリズムを実行する
８０６ 視野が取得コントローラに送られ、取得コントローラは、勾配磁場を調整し、スキャンを開始する
８０８ 光学式及びジャイロスコープのフィードバックを使用した予測的動き補正
８１０ スキャンは完了したか？
８１２ 遡及的動き補正
８１４ 終了
９００ 開始
９０２ 関心領域の３Ｄ光学画像を取得する
９０４ ３Ｄスカウト画像を取得する
９０６ ＡＩを使用して、取得された画像上の必須主要点を識別する
９０８ 予測された主要点情報を使用して視野を推定する
９１０ 視野パラメータをスキャナ位置決めシステムに送る
９１２ 終了
１０００ 開始
１００２ 入力：現在の視野パラメータ
１００４ 現在の視野パラメータを使用して追跡用の光学システムを初期化する
１００６ ジャイロスコープデータを取得する
１００８ 動きが検出されたか？
１０１０ 動きが検出されたか？
１０１２ ジャイロスコープデータ及び光学データを使用して新しい視野を推定する
１０１４ 現在の視野を更新し、スキャナ位置パラメータを調整する
１１００ 開始
１１０２ ＭＲＩ画像スキャン
１１０４ ＭＲ画像をｋ空間表現に変換する
１１０６ 数値ｎをランダムに選択する。ＭＲ画像スキャン及び光学スキャンに剛体変換をｎ回ランダムに適用し、変換された画像から元のＫ空間への変換の発生時間に対応するＫ空間をグラフ化する
１１０８ この修正されたｋ空間を用いて、ＭＲ画像スキャンを再構築するようにニューラルネットワークを訓練する
１１１０ この訓練済みのニューラルネットワークを使用して、実行時に画像を再構築する
１１１２ 終了
１２００ 開始
１２０２ 入力：６２０からのスキャナ結果、及び３Ｄ光学画像
１２０４ 入力：６１６からの仮想マーカ位置及び動き検出結果
１２０６ オーバーレイアルゴリズムを実行してスキャン結果を患者の光学画像に重ね合わせる
１２０８ オーバーレイされた画像を元の結果とともにディスプレイ／印刷デバイスに送る
１２１０ 終了
１２１２ 大幅な動きが検出された場合、患者のＭＲオーディオシステムに指示が送られる
１２１４ 光学スキャンにオーバーレイされた仮想マーカが、放射線科医に表示され、患者の任意の利用可能な表示システムに送られる
１３００ 医療システム
１３０２ ローカルコントローラ
１３０４ クラウド又はインターネット接続
１３０６ ユーザインターフェース
１０２ 医用撮像システム
１０４ コンピュータ
１０６ 撮像ゾーン
１０８ 視野
１１０ 対象者
１１２ 対象者支持体
１１４ カメラシステム
１２０ 計算システム
１２２ ハードウェアインターフェース
１２４ ユーザインターフェース
１２６ メモリ
１３０ マシン実行可能命令
１３２ 画像マーキングニューラルネットワーク
１３４ 医用撮像システムコマンド
１３６ 医用撮像データ
１３８ 対象者画像
１４０ 座標系マッピング
１４２ 仮想基準マーカのセットのカメラシステム座標
１４４ 仮想基準マーカのセットの画像システム座標
１４６ 臨床画像
２００ 医用撮像システムコマンドを用いて医用撮像システムを制御することによって医用撮像データを取得する
２０２ 医用撮像データの取得中に対象者画像を取得するようにカメラシステムを繰り返し制御する
２０４ 対象者画像を画像マーキングニューラルネットワークに入力することによって、仮想基準マーカのカメラシステム座標を繰り返し受信する
２０６ 座標系マッピングを使用して仮想基準マーカのカメラシステム座標を仮想基準マーカの提供される撮像システム座標に繰り返し変換することによって、仮想基準マーカのセットの撮像システム座標を繰り返し提供する
２０７ 取得は終了したか？
２０８ 医用撮像データから臨床医用画像を再構築する
３００ 医療システム
３０２ 磁気共鳴撮像システム
３０４ 磁石
３０６ 磁石のボア
３１０ 磁場勾配コイル
３１２ 磁場勾配コイル電源
３１４ 無線周波数コイル
３１６ トランシーバ
３２２ 胸部領域
３３０ ディスプレイ
３３２ 対象者取付型ジャイロスコープ
３４０ 初期医用画像
３４２ 選択された視野
３４４ レジストレーション
４００ 第１のオブジェクト
４０２ 第２のオブジェクト
５００ 医療システム
５０２ 放射線療法システム
５０４ 治療ゾーン
５０６ 放射線療法制御コマンド
５０８ 臨床画像に対するレジストレーション
６００ 医療システム
６０２ 勾配システム
６０４ パルスシーケンスサーバ
６０６ データ取得サーバ
６０８ 取得コントローラ
６１０ 患者位置決めシステム
６１２ ビジョンプローブ
６１４ モーションプローブ
６１６ 追跡及び計画制御システム
７００ 第１の列
７０２ 第２の列
７０４ 第３の列
７０６ 第４の列
７０８ 仮想基準マーカ
７１０ 選択された視野
７１２ スカウト画像又は初期医用画像
８００ 開始
８０２ 頭部の３Ｄ光学画像を撮影する
８０４ 取得された光学画像上で計画及び位置特定アルゴリズムを実行する
８０６ 視野が取得コントローラに送られ、取得コントローラは、勾配磁場を調整し、スキャンを開始する
８０８ 光学式及びジャイロスコープのフィードバックを使用した予測的動き補正
８１０ スキャンは完了したか？
８１２ 遡及的動き補正
８１４ 終了
９００ 開始
９０２ 関心領域の３Ｄ光学画像を取得する
９０４ ３Ｄスカウト画像を取得する
９０６ ＡＩを使用して、取得された画像上の必須主要点を識別する
９０８ 予測された主要点情報を使用して視野を推定する
９１０ 視野パラメータをスキャナ位置決めシステムに送る
９１２ 終了
１０００ 開始
１００２ 入力：現在の視野パラメータ
１００４ 現在の視野パラメータを使用して追跡用の光学システムを初期化する
１００６ ジャイロスコープデータを取得する
１００８ 動きが検出されたか？
１０１０ 動きが検出されたか？
１０１２ ジャイロスコープデータ及び光学データを使用して新しい視野を推定する
１０１４ 現在の視野を更新し、スキャナ位置パラメータを調整する
１１００ 開始
１１０２ ＭＲＩ画像スキャン
１１０４ ＭＲ画像をｋ空間表現に変換する
１１０６ 数値ｎをランダムに選択する。ＭＲ画像スキャン及び光学スキャンに剛体変換をｎ回ランダムに適用し、変換された画像から元のＫ空間への変換の発生時間に対応するＫ空間をグラフ化する
１１０８ この修正されたｋ空間を用いて、ＭＲ画像スキャンを再構築するようにニューラルネットワークを訓練する
１１１０ この訓練済みのニューラルネットワークを使用して、実行時に画像を再構築する
１１１２ 終了
１２００ 開始
１２０２ 入力：６２０からのスキャナ結果、及び３Ｄ光学画像
１２０４ 入力：６１６からの仮想マーカ位置及び動き検出結果
１２０６ オーバーレイアルゴリズムを実行してスキャン結果を患者の光学画像に重ね合わせる
１２０８ オーバーレイされた画像を元の結果とともにディスプレイ／印刷デバイスに送る
１２１０ 終了
１２１２ 大幅な動きが検出された場合、患者のＭＲオーディオシステムに指示が送られる
１２１４ 光学スキャンにオーバーレイされた仮想マーカが、放射線科医に表示され、患者の任意の利用可能な表示システムに送られる
１３００ 医療システム
１３０２ ローカルコントローラ
１３０４ クラウド又はインターネット接続
１３０６ ユーザインターフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【国際調査報告】