知財求人 - 知財ポータルサイト「IP Force」
特表2024-503926インターベンションＸ線撮影のための適応型コリメーション
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-29
(54)【発明の名称】インターベンションＸ線撮影のための適応型コリメーション
(51)【国際特許分類】
A61B 6/00 20240101AFI20240122BHJP
【ＦＩ】
A61B6/00 320Z
A61B6/00 360Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023545257
(86)(22)【出願日】2022-01-24
(85)【翻訳文提出日】2023-09-13
(86)【国際出願番号】 EP2022051436
(87)【国際公開番号】W WO2022161898
(87)【国際公開日】2022-08-04
(31)【優先権主張番号】63/142,167
(32)【優先日】2021-01-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】フレックスマン モリー ララ
(72)【発明者】
【氏名】クルーカー ヨヘン
(72)【発明者】
【氏名】パンセ アシシュ サトヤヴラト
(72)【発明者】
【氏名】トポレク グジェゴジ アンドレイ
【テーマコード（参考）】
4C093
【Ｆターム（参考）】
4C093AA08
4C093CA17
4C093CA34
4C093DA02
4C093DA03
4C093EC16
4C093EC28
4C093EC29
4C093EC33
4C093EE01
4C093FA13
4C093FA16
4C093FA32
4C093FA35
4C093FA36
4C093FA42
4C093FA43
4C093FA53
4C093FA54
4C093FB09
4C093FF16
4C093FF22
4C093FF28
4C093FG13
4C093FG16
(57)【要約】
Ｘ線撮影または放射線治療におけるコリメータの調整を容易にするためのシステムＳＹＳおよび関連する方法に。システムは、ｉ）入力画像、および／またはｉｉ）Ｘ線撮像装置ＩＡのコリメータＣＯＬのための部分的コリメータ設定を含むユーザ入力データを含む入力データを受信する入力インターフェースＩＮを備える。システムのコリメータ設定推定器ＣＳＥは、入力データに基づいてコリメータのための補完されたコリメータ設定を計算する。好ましくは、システムは機械学習を使用する。
【特許請求の範囲】
【請求項1】
Ｘ線撮影または放射線治療におけるコリメータの調整を容易にするためのシステムであって、前記システムは、Ｘ線撮像装置のコリメータのための第１のコリメータ設定を含むユーザ入力データを含む入力データを受信する入力インターフェースと、
前記入力データに基づいて前記コリメータのための第２のコリメータ設定を計算するコリメータ設定推定器とを備えた、システム。
【請求項2】
前記コリメータ設定推定器は、訓練された機械学習モデルとして実装されるか、または前記コリメータ設定推定器は、訓練された機械学習モデルによって提供される出力データに基づいて前記第２のコリメータ設定を計算する、請求項１に記載のシステム。
【請求項3】
前記機械学習モデルによって提供される前記出力データは、特徴マップを含むか、または前記特徴マップなどから導出されるヒートマップを含む、請求項２に記載のシステム。
【請求項4】
前記機械学習モデルは人工ニューラルネットワークである、請求項２または３に記載のシステム。
【請求項5】
前記コリメータ設定推定器は、特徴またはヒートマップを少なくとも１つのセグメントにセグメント化するセグメンタを含み、前記計算された第２のコリメータ設定はさらに前記セグメントに基づいている、請求項２から４のいずれか一項に記載のシステム。
【請求項6】
前記入力データは、前記Ｘ線撮像装置によって取得された少なくとも１つの入力画像をさらに含む、請求項１から５のいずれか一項に記載のシステム。
【請求項7】
前記第１のコリメータ設定は、ｉ）前記撮像装置によって取得された前記入力画像もしくはある入力画像、またはｉｉ）前記特徴マップもしくはヒートマップ内の幾何学的な点、曲線、または線の指定を含む、請求項１から６のいずれか一項に記載のシステム。
【請求項8】
前記システムは、前記ユーザ入力データを取り込むためのユーザ入力デバイスを備え、前記ユーザ入力デバイスは、グラフィカルユーザインターフェース、アイトラッキングデバイス、ジェスチャ検出デバイス、および音声プロセッサのうちの１つ以上を含む、請求項１から７のいずれか一項に記載のシステム。
【請求項9】
前記撮像装置は、複数の異なる撮像ジオメトリをとることができ、前記コリメータ設定推定器は、前記撮像装置が自身の撮像ジオメトリを変更することに応答して、前記第２のコリメータ設定を調整する、請求項１から８のいずれか一項に記載のシステム。
【請求項10】
前記第２のコリメータ設定パラメータは、コリメーションの緊密さを指定する、請求項１から９のいずれか一項に記載のシステム。
【請求項11】
請求項２から１０のいずれか一項に記載のシステムの前記機械学習モデルを訓練する、方法。
【請求項12】
前記方法は教師なしである、請求項１１に記載の方法。
【請求項13】
Ｘ線撮影または放射線治療におけるコリメータの調整を容易にするための方法であって、前記方法は、Ｘ線撮像装置のコリメータのための第１のコリメータ設定を含む入力データを受信するステップと、
前記入力データに基づいて、前記コリメータのための第２のコリメータ設定を計算するステップとを含む、方法。
【請求項14】
少なくとも１つの処理装置によって実行されると、前記処理装置に請求項１１から１３のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
【請求項15】
請求項１４に記載のコンピュータプログラムを保存するか、または前記事前に訓練された機械学習モデルの少なくとも一部を保存する、少なくとも１つのコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、Ｘ線撮影または放射線治療におけるコリメータ調整を容易にするシステムおよび方法、システムなどで使用される機械学習モデルを訓練する方法、コンピュータプログラム要素、並びにコンピュータ可読媒体に関する。
【背景技術】
【0002】
経皮的冠動脈インターベンション（ＰＣＩ）などの特定の医療インターベンションでは、臨床医がガイドワイヤやカテーテルなどの１つ以上の医療機器またはツールを患者に導入する必要がある場合がある。
【0003】
このインターベンションはＸ線撮影ガイダンス下で実行され得る。Ｘ線撮影ガイダンスでは、動画フィードを形成する一連の画像であり得る１つ以上の画像が撮像装置（「イメージャ」）によって取得され、臨床医（以下、「ユーザ」と呼ぶ）にリアルタイムで表示デバイス上に表示される。
【0004】
表示された画像により、ユーザは病変、器官、導入されたデバイス／器具、または一般に関心領域（「ＲＯＩ」）を検討することができる。最良の診断または治療結果を得るには、ＲＯＩを適切な姿勢で視覚化する必要があり、そのためにはイメージャの撮像ジオメトリを調整する必要がある。
【0005】
これらの、時には困難で要求の厳しいインターベンションの過程では、ユーザはあるＲＯＩから別のＲＯＩに切り替えなければならないことがあり、その場合、イメージャの撮像ジオメトリを再調整しなければならない可能性がある。例えば、ユーザは最初に冠状動脈のある枝の狭窄の治療を行い、その後、分岐部を治療する必要がある別の枝に切り替える可能性がある。あるいは、治療プロトコルは、ある器官から人体の全く異なる部分にある全く別の器官に切り替えることを要求する可能性がある。撮像ジオメトリの調整は、特に複数回必要な場合、面倒で時間がかかる。例えば、検査台またはＣアームの動作に時間がかかり、全体的な処置時間が長くなる。多くの場合、現在のＦＯＶを監視し、所望の撮像ＲＯＩに到達したかをオペレータが判断できるようにするために、検査台の移動中もＸ線撮影は継続する。したがって、処置中に発生するユーザおよび患者の総被ばく線量が増加する。
【0006】
撮像ジオメトリの変更は、イメージャのコリメータの調整を含み得る。コリメータは、イメージャの線ビームの形状および／またはサイズを制限することを可能にするデバイスである。したがって、イメージャの視野（「ＦＯＶ」）をＲＯＩ上に合わせることができる。
【0007】
Ｘ線ビームのコリメーションは、患者の線量および画質の両方にとって重要である。研究によると、必要最小限の視野に定期的にコリメートすることにより、患者およびユーザの被ばく線量が大幅に減少する。コリメータの設定変更はしばしば面倒で時間がかかる。
【0008】
ほとんどのＸ線システムでは、ユーザが手動でコリメーションを行う必要がある。現在、コリメーションでは、コリメーションを設定するために複数のユーザインタラクション工程が必要である。一部の撮像システムでは、位置決めおよび角度調整が必要な６つ以上の異なるコリメータ構成要素（例えば、４つのシャッターと２つのウェッジ）が存在し得る。ユーザは各構成要素について複数の物理アクチュエータ、またはタッチスクリーン上の複数の要素とインタラクトしなければならない可能性がある。
【0009】
ユーザが時間をかけてコリメータを最適に調整する場合、撮像対象のデバイス、ガントリ、または患者台／寝台の移動後にコリメータを再調整する必要がある可能性がある。当然、ユーザが初期コリメーション設定をより積極的または「厳密に」設定するほど、その設定を別の撮像ジオメトリで続けて使用できる可能性は低くなる。なぜなら、関心領域がＦＯＶ内に存在しなくなる可能性が高くなるためである。この一例は、デバイスが腕をのぼって体内に移動するに伴いデバイスにコリメートすることが有用である、橈骨動脈アクセス（ｒａｄｉａｌ ａｃｃｅｓｓ）中である。
【発明の概要】
【0010】
したがって、現在の撮像システムにおける上述の欠点の少なくとも１つまたは複数に対処する撮像支援システムが求められている可能性がある。
【0011】
本発明の目的は、独立請求項の主題によって解決され、さらなる実施形態は従属請求項に組み込まれる。以下に記載する本発明の側面は、関連する方法、コンピュータプログラム要素、およびコンピュータ可読媒体にも適用されることに留意されたい。
【0012】
第１の側面によれば、Ｘ線撮影または放射線治療におけるコリメータの調整を容易にするためのシステムが提供され、システムは、
Ｘ線撮像装置のコリメータのための第１のコリメータ設定を含むユーザ入力データを含む入力データを受信する入力インターフェースと、
入力データに基づいてコリメータのための第２のコリメータ設定を計算するコリメータ設定推定器とを備える。
Ｘ線撮像装置のコリメータのための第１のコリメータ設定を含むユーザ入力データを含む入力データを受信する入力インターフェースと、
入力データに基づいてコリメータのための第２のコリメータ設定を計算するコリメータ設定推定器とを備える。
【0013】
実施形態では、入力データは、Ｘ線撮像装置によって取得された少なくとも１つの入力画像をさらに含む。入力画像は、撮像装置の現在の視野における投影Ｘ線画像であってもよい。入力画像は、コリメータ設定が計算されて適用された後に取得される画像よりも低い線量で取得され得る。提案されるシステムでは、透視Ｘ線撮像が使用されることが好ましい。上記のような入力画像は１つだけで十分であるが、所与の投影方向について一連の入力画像を使用することもできる。この一連の画像には、最初のコリメートされていない画像と、早い時点でコリメートされた一連の画像とが含まれ得る。ユーザ入力データ、そのような入力画像内に指定され得、例えば、ユーザによって画像内にコリメータ線が指定され得る。線および画像は、第２のコリメータ設定を計算するために推定器によって一緒に処理され得る。第１のコリメータ設定を画像とともに提供すると、処理がよりロバストになる。
【0014】
第１のコリメータ設定は部分的または不完全である可能性があるが、第２のコリメータ設定は第１の部分的なコリメータ設定を完全にするか、または補完する。したがって、第１および第２のコリメータ設定は合わせて、ユーザの所望のコリメーションを達成するようにコリメータを制御するために使用できる完全なコリメータ設定を形成し得る。
【0015】
実施形態では、コリメータ設定推定器は、訓練された機械学習モデルとして実装される。一部のそのような実施形態では、第２のまたは完全化コリメータ設定が、機械学習モデルの最終層で回帰される。
【0016】
あるいは、コリメータ設定推定器は、訓練された機械学習モデルによって提供される出力データに基づいて、第２の／補完コリメータ設定を計算する。一部のそのような代替実施形態では、出力データは最終層によって提供されるのではなく、モデルの隠れ層による中間の内部出力として提供される。すなわち、そのような実施形態では、機械学習モデルによって生成される出力データには特徴マップが含まれる。特徴マップの計算は、非線形活性化関数が必ずしも使用されない、または活性化関数が別の方法で使用されるモデルの最終出力層で取得可能な出力とは対照的に、非線形活性化関数の使用を含み得る。
【0017】
実施形態では、機械学習モデルは人工ニューラルネットワークである。
【0018】
特徴マップには、分類または回帰タスクのための活性化マップ、またはヒートマップなどの導出された特徴マップが含まれる。
【0019】
一般に、特徴マップに捕捉された情報は、特定の層の重み活性化（例えば、畳み込みフィルタ）を表す。任意選択で、特徴マップは視覚化されてもよい。特徴マップは（入力）画像と同様のデータ構造で表現され得るが、特徴マップは画像とは異なるデータ型である。画像では、コントラストは、Ｘ線撮影における組織とＸ線との相互作用など、撮像対象（患者またはその一部）の物体が撮像信号とどのように相互作用するかを表す強度の変化によって与えられる。画像は画像領域のデータであるが、特徴マップは特徴領域のデータである。特徴マップ内の変動は、機械学習モデルのどの部分がどのように入力画像内の特徴および／または画像領域から抽象化された、より高いレベルの特徴に対して作用するのかを表す。例えば、特徴マップは、機械学習モデル／アルゴリズムによって、所与の階層内の所与の画像特徴に対してどのような関連性が（例えば、重みなどに関して）与えられるかを表す。一般に、特徴マップは、それらがＭＬモデル／アルゴリズムによって計算される元となる入力画像よりも高い次元を有する。特徴マップは機械学習モデルによって生成されるデータである。具体的には、特徴マップは一般に、入力に畳み込み演算を適用することによって生成される多次元データである。特徴マップは、画像領域から複数のレベル／階層の高次元に特徴を抽出または抽象化するのに適している可能性があり、画像領域から抽象化されて、例えば「特徴の特徴」または「特徴の特徴の特徴」と、使用される機械学習モデルの深さに応じて、より高い階層に進むに連れて同様に進む。特徴マップは、１Ｄ、２Ｄ、または３Ｄなどに次元を削減され得、また任意選択で、本明細書ではヒートマップとも呼ばれる導出された特徴マップを取得するために色分けされ得る。したがって、ヒートマップは後処理された特徴マップである。特徴マップの次元削減を実行するための後処理は、勾配ベースの手法などの加重総和、またはグローバルプーリング法などの単純な平坦化／リサンプリングを含み得る。ヒートマップは、訓練またはデプロイのいずれかにおいて、機械学習モデルが入力データをどのように操作／解釈するかをグローバルに表すために使用できる。
【0020】
実施形態では、モデルは、オートエンコーダなどのエンコーダ－デコーダモデルである。オートエンコーダはエンコーダ－デコーダの特殊なケースであり、元の入力が出力において再構築され、すなわち、入力空間が出力空間と同じである。エンコーダ－デコーダはより一般的で、エンコードされたデータを他の任意の所望の出力にデコードできる。
【0021】
実施形態では、コリメータ設定推定器は、特徴またはヒートマップを少なくとも１つのセグメントにセグメント化するセグメンタを含み、計算された補完または第２のコリメータ設定はさらにセグメントに基づいている。エンコーダ－デコーダ型ネットワークと連携するセグメンタは、好ましくは特徴マップを操作する一方、オートエンコーダ型ネットワークの場合、セグメンタは好ましくはヒートマップを操作する。オートエンコーダ型ネットワークでは、任意の隠れ層の特徴マップをセグメンテーションに使用できる。一般的なエンコーダ－デコーダ型ネットワークでは、最終層の特徴マップを使用することが好ましい。しかし、手前の層からの特徴マップにアクセスすることも想定されている。セグメンタは、特徴マップ／ヒートマップが色分けされている場合、色相、彩度などの色空間内の色パラメータを操作し得る。
【0022】
セグメンタ自体はＭＬモデルとして実装されてもよいし、または、ＳＩＦＴなどの従来の解析処理経路として構成されてもよい。
【0023】
セグメンタに特徴空間内の特徴マップまたはヒートマップを操作させると、回帰された画像を操作する場合と比較して、現実の状況で発生する可能性のある予測できない変動に対してよりロバストになる。特徴マップの代わりに最終出力データが使用される場合、そのようなセグメンテーションは特定のデータ型に非常に固有になる可能性が高い。しかし、特徴空間では、セグメンテーションは教師なしで自動的に検出されるため、データの変動に対してよりロバストになる。したがって、特徴マップをより汎用的に使用できる。
【0024】
エンドツーエンドのＭＬセグメンテーションの計算にはグラウンドトゥルースデータが必要な場合があるため、大きな時間およびコストがかかる。提案される実施形態ではセグメンテーションは特徴空間内で行われるため、セグメンテーションは、より単純である。特徴マップは色分けすることができるため、セグメンテーションは色の特性（色相、彩度など）に基づいて行うことができる。したがって、一部の実施形態では画像空間でのセグメンテーションが本明細書から除外されないが、本明細書では特徴空間でのセグメンテーションが好ましい。
【0025】
非線形活性化関数がバイナリセットではなく値域にマッピングすることから、特徴マップ内またはヒートマップに基づくセグメンテーションのエッジが滑らかになる可能性がある。特徴マップによって表される活性化関数の出力には、コリメータ設定として解釈できる滑らかな遷移が含まれており、コリメータの緊密さに関する情報を提供する可能性がある。
【0026】
ユーザ入力またはユーザによって提供される追加入力は、特徴マップ、セグメント化された特徴マップ、またはヒートマップに基づき得る。活性化関数の値域の一端に近い、またはそれに向かって値を選択することは、適度なコリメーションとして解釈され得る一方、値域の他端に近い選択は、より保守的な、すなわちより緊密なコリメータ選好を表す可能性がある。言い換えれば、本明細書では、一部の機械学習モデル（深層学習）によって提供される滑らかな活性化関数の出力がセグメンテーションのために利用される。活性化関数の生の出力（閾値処理なし）は、好ましくは、セグメンテーションのために使用される。
【0027】
実施形態では、第１の／部分的コリメータ設定は、撮像装置によって取得される入力画像、または活性化マップ内の幾何学的曲線または線の指定を含む。
【0028】
ユーザ入力は、１つ以上の点、１つ以上の平行線、斜線、または曲線を含み得る。この情報は、提案されるシステムおよび方法によってコリメータ設定空間内に投影される。ユーザ入力、または任意選択の追加ユーザ入力は、特徴マップ、セグメント化された特徴マップ、またはヒートマップ内の幾何学的要素（点、線、曲線）を示すことを含むことができる。ユーザ入力はスカラーであって、活性化関数の範囲内であり得ることから、コリメータ緊密さ設定を示すものとして解釈され、コリメータ緊密さ設定へと処理され得る。
【0029】
実施形態では、入力データは、Ｘ線撮像装置によって取得された入力画像をさらに含む。このような入力画像は、撮像装置の現在の視野を表し得る。このような入力画像の処理は、本明細書では、機械学習モデルが入力画像の処理に基づいて特徴マップまたはヒートマップを生成する、特徴マップまたはヒートマップベースの実施形態で想定されることが好ましい。その後、特徴マップまたはヒートマップが、任意選択で第１のまたは部分的なコリメータ設定としてセグメント化された特徴マップまたはヒートマップ内の１つ以上の要素をとして指定するユーザ入力に基づいて、セグメント化される。セグメンテーションおよびこのユーザ入力（または追加ユーザ入力）に基づいて、補完されたまたは第２のコリメータ設定が計算される。
【0030】
実施形態では、第２のコリメータ設定は、特徴マップまたはヒートマップの等値線として計算され得る。コリメーションの緊密さは、活性化関数の閾値を調整することによって調整することができる。
【0031】
コリメータ設定は、コリメータ線などの１つ以上のパラメータによって定められる。本明細書では第２のコリメータ設定も想定され、第１のコリメータ設定よりも改善され、洗練され、より具体的なコリメータ設定である。したがって、第１のコリメータ設定は、上記の一部の実施形態で想定されるような不完全なものではなく、大まかな推定として考えることができる。実施形態では、第１および／または第２のコリメータ設定パラメータはコリメーション緊密さを指定する。
【0032】
実施形態では、システムは、ユーザ入力データを取り込むためのユーザ入力デバイスを備える。ユーザ入力デバイスは、グラフィカルユーザインターフェース、アイトラッキングデバイス、ジェスチャ検出デバイス、および音声プロセッサのうちの任意の１つ以上を含むことができる。
【0033】
実施形態では、撮像装置は、複数の異なる撮像ジオメトリをとることができ、コリメータ設定推定器は、撮像装置が自身の撮像ジオメトリを変更することに応答して、補完されたコリメータ設定を調整する。これにより、ユーザは、撮像処置／インターベンション中に、頻繁かつ／または緊密なコリメーションでも迅速に設定できる。
【0034】
実施形態では、第２のコリメータ設定パラメータはコリメーション緊密さを指定する。
【0035】
実施形態では、コリメータ設定推定器は、更新された部分的コリメータ設定を入力インターフェースで受信することに基づいて、現在の補完されたコリメータ設定の緊密さを調整する。
【0036】
別の側面では、上記実施形態のいずれかに従ってシステムの機械学習モデルを訓練する方法が提供される。
【0037】
実施形態では、方法は教師なしであるが、教師ありスキームも本明細書から除外されない。
【0038】
別の側面によれば、Ｘ線撮影または放射線治療におけるコリメータの調整を容易にするための方法が提供され、方法は、
－ Ｘ線撮像装置のコリメータのための第１の（例えば、部分的な）コリメータ設定を含むユーザデータを受信するステップと、
－ 入力データに基づいてコリメータのための第２の（例えば、補完）コリメータ設定を計算するステップとを含む。
－ Ｘ線撮像装置のコリメータのための第１の（例えば、部分的な）コリメータ設定を含むユーザデータを受信するステップと、
－ 入力データに基づいてコリメータのための第２の（例えば、補完）コリメータ設定を計算するステップとを含む。
【0039】
補完されたコリメータ設定は、初期の部分的なコリメータ設定を補完し、合わせて補完された、または完全なコリメータ設定を形成する。
【0040】
提案されるシステムは、コリメータを迅速に設定することを可能にする。完全なパラメータ指定が必要とされないため、多忙な医療系ユーザの時間と労力を節約することができる。システムは、提供されたユーザデータおよび／または入力画像を利用してユーザの好みを推定し、それに応じて補完されたコリメータ設定パラメータを計算する。したがって、まったく同じシステムで、多数のユーザの個別の使用選好に対応できる。計算された補完されたコリメータ設定（パラメータ）には、ユーザが提供した設定（第１の設定）と、システムによって計算された追加の（第２の）設定が含まれており、好適なことに、これらが合わせて意図された完全なコリメータ設定を形成する。完全なコリメータ設定は、好ましくは一意的に、使用されるコリメータを調整することを可能にする。計算されたコリメータ設定は、コリメータを対称または非対称動作させるために使用され得る。
【0041】
特に、ユーザによるコリメータ緊密さの好みは、少なくとも提供された第１の／部分的なコリメータ設定に基づいてシステムによって導出され得る。設定はコリメータ設定パラメータによって定められ得る。補完されたコリメータ設定パラメータは、緊密さの選好を考慮して計算される。
【0042】
提案されるＭＬベースの構成は汎用的なものであり、用途固有ではない。患者の体内の特定の特徴、解剖学的構造／器官、またはデバイスを認識することに依存しない。本明細書で説明されるシステムは、コリメーションを設定するために使用される特徴が必ずしも事前に明示的に訓練されているわけではないため、任意の臨床用途（器官、装置など）について動作できる。これは、１本以上のコリメータ線などのユーザ提供入力が、特に入力画像と組み合わせて、ＭＬシステムがユーザの意図するコリメーションを適切に予測するのに十分なコンテキストをすでに提供していることが見出されたからである。さらに、このシステムの「ユーザインザループ」側面は、ユーザの負担を大幅に軽減しつつ、コリメーションの特異性を向上させることを可能にする。
【0043】
上記したコリメーションの容易化は、本明細書では主にＸ線撮影について想定されているが、これは他の用途、例えば、組織の病変部分の輪郭へのコリメーションが必要とされる放射線治療などを排除するものではない。この用途および他の用途では、コリメーションはＸ線投影撮像の場合のように２Ｄではなく３Ｄで行われ得る。
【0044】
「撮像ジオメトリ」：Ｘ線透視法または他のＸ線もしくは非Ｘ線撮像モダリティでは、これは、角度、回転角、平行移動などのうちの１つ以上（任意の組み合わせ）または全てを含み得る。一般に、撮像ジオメトリは、光軸や、Ｘ線源とＸ線検出器とを結ぶ仮想軸の位置または向きを変更する設定もしくは構成、および／または、さもなければ撮像対象に対して撮像ＦＯＶに空間的に影響を与える撮像ダリティ／装置の設定／構成（例えば、コリメータ設定）に関する。
【0045】
本明細書において「ユーザ」とは、撮像装置を操作する者をいう。
【0046】
「患者／物体」とは、人間、動物または植物、微生物（例えば、顕微鏡撮像において）などであり得るが、手荷物検査や非破壊物質検査などの無生物の「物体」に関連する場合もある。
【0047】
一般に、「機械学習コンポーネント」とは、「機械学習」（「ＭＬ」）アルゴリズムを実装する、またはその実装を容易にするコンピュータ化された構成である。機械学習モデルはＭＬ「モデル」に基づき得る。ＭＬコンポーネントはタスクを実行するように構成される。ＭＬアルゴリズムでは、訓練データが適切な分布を有すると仮定すると、（新しい）訓練データが訓練に使用されると、タスクのパフォーマンスが大幅に向上する。モデルは訓練データに基づいて調整される。パフォーマンスは、訓練されたモデルにテストデータを供給した際の客観的なテストによって測定され得る。パフォーマンスは、所与のテストデータに対して特定のエラー率を達成することを要求することによって定義されてもよい。Ｔ．Ｍ．Ｍｉｔｃｈｅｌｌによる“Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ”、ｐａｇｅ ２、ｓｅｃｔｉｏｎ １．１、ＭｃＧｒａｗ－Ｈｉｌｌ、１９９７を参照されたい。本明細書の主な目的は、コリメータ設定パラメータを暗示的または明示的に予測することである。
【図面の簡単な説明】
【0048】
本発明の例示的な実施形態を、以下の図面を参照しながら説明する。図面は縮尺通りではない。
【発明を実施するための形態】
【0049】
図１を参照すると、好ましくは医療インターベンションに関連して使用される、画像に基づく支援のための構成ＡＲの概略図が示されている。
【0050】
構成ＡＲは、ＲＯＩにおける患者の内部構造物のＸ線画像Ｉｔを取得するためにユーザによって操作可能な撮像装置ＩＡ、特にＸ線撮像装置を備える。ＲＯＩは人間の心臓、肺、または別の器官または器官のグループであり得る。
【0051】
画像Ｉｉは、本明細書ではフレームのシーケンスとも呼ばれ、表示デバイスＤＤ上に動画または動画フィードとしてリアルタイムでユーザに表示されるか、または必要に応じて静止画像として単独で表示され得る。
【0052】
撮像構成ＡＲは、ユーザがコリメータ設定を調整するのを支援するように構成されたユーザ支援システムＵＳＹＳをさらに備える。
【0053】
上記したように、撮像装置ＡＩおよびシステムＵＳＹＳは、本明細書の実施形態では主に、経皮的冠動脈インターベンション（ＰＣＩ）などの医療インターベンションを支援することが想定されている。他の医療インターベンションも想定され、必ずしも人間や動物の心臓に関連して実施されるわけではなく、非医療用途も想定される。このような非医療用途には、アクセスできない洞窟や配管システムで実施される検査や作業、または技術的な機器の検査に対する画像に基づく支援が含まれ得る。このような技術的な機器には、エンジンなど、肉眼では直接検査できず、動画フィードまたは静止画像を介して視覚検査できるように、遮蔽された関心領域へのアクセスを提供する撮像機器を必要とする他の複雑な機械が含まれ得る。
【0054】
まず撮像装置ＩＡにより詳細に言及すると、図１の例示的な実施形態に示されるように、ＣアームまたはＵアームタイプの撮像装置として構成され得る。図１の実施形態では、ＣアームシステムＩＡは天井ＣＬに取り付けられているが、全ての実施形態で必ずしもそうである必要はない。あるいは、撮像装置ＩＡは、床置きまたはスタンド設置型などであってもよい。さらなる例として、撮像装置は、車輪付きまたは軌道上に搭載されるなど、移動可能であってもよい。ガントリＧは、例えば、検出器Ｄと管ＸＸとの間に恒久的な物理的接続が存在しないか、または物理的接続が存在しない移動式Ｘ線装置では必要とされない。
【0055】
Ｘ線撮像装置は、Ｘ線検出器ＤおよびＸ線源ＸＳを備える。必ずしも全ての実施形態でそうであるわけではないが、一般に実施形態において、撮像装置は、Ｘ線検出器ＤおよびＸ線管などのＸ線源ＸＳを保持するガントリＧを有する。Ｘ線検出器ＤおよびＸ線源ＸＳは、ガントリＧ上に対向する空間関係で配置され、Ｘ線源とＸ線検出器との間に検査領域を形成する。関心領域がＩＳ撮像装置のほぼアイソセンターに位置するように、患者ＰＡＴがこの検査領域内に配置される。患者は、撮影中、検査台ＴＢ上に横たわる可能性がある。台ＴＢは、高さＨを調整可能であってもよく、Ｘ軸もしくはＹ軸、またはＸ軸およびＹ軸の両方に沿って並進可能であってもよく、一部の実施形態では１つ以上の傾斜軸について傾斜可能でもよい。
【0056】
撮像処置中、Ｘ線源ＸＳは、陽極と陰極との間に陰極電流および電圧を印加することによって作動され、陽極の焦点から放射されるＸ線ビームＸＢを生成する。ビームはＸ線源を出て、検査領域を通過し、したがって関心領域における、またはその周囲の患者の組織を通過し、Ｘ線検出器ＤのＸ線感応面に入射する。検出器ＤのＸ線感応面は、入射するＸ線を強度値に変換する複数の画素を含んでもよい。強度値は場所ごとに異なる可能性があり、このばらつきは、異なる組織タイプが局所的に異なる材料密度を有することに起因するＸ線ビームの減衰の差によって引き起こされる。
【0057】
検出器ＸＳでそのように記録された強度値は、カラーまたはグレー値パレットに従って画像値にマッピングされ、投影画像（または「フレーム」）を形成し得る。取得回路は、このようにして、撮像処置中の複数の異なる時点で複数の異なる投影画像のシーケンスを適切なフレームレートで取り込むように動作する。本明細書で想定される例示的なフレームレートは２０～３０ｆｐｓである。例えば、本明細書で想定される主なモダリティである蛍光透視法では、強度値は、黒からグレー値、白までの範囲の値にマッピングされ得る。画像値が暗いほど強度値は低くなる。Ｘ線撮影で一般的に使用されるような、低い強度値が明るい画像値にマッピングされる逆マッピングなどの他のマッピング方式が使用されてもよい。その他のマッピング方式を代わりに使用することもできる。本明細書では、Ｘ線撮影などで行われる単一または少数の静止画像の取得は除外されない。
【0058】
（一次）Ｘ線ビームの空間的な幅は、イメージャＩＡのＦｏＶを定める。視野内、つまりＸ線ビーム内に物体が存在または延在すると、検出器で局所的に検出されるＸ線の強度が変化する。視野は、ユーザリクエストによって、または自動的にイメージャＩＡの撮像ジオメトリを調整する、例えば、Ｘ線源を移動させる、患者を移動させる、コリメータＣＯＬもしくは上記要素の全てもしくは任意の一部を使用してビーム幅を拡大するもしくは狭めることによって、変更され得る。
【0059】
Ｘ線検出器は、表示デバイスＤＤに通信可能に結合されたデジタルフラットパネル検出器として構成され得る。フラットパネル検出器Ｄは直接変換型でも間接変換型でもよい。別の実施形態では、画像検出器は、ビデオカメラを介して表示デバイスに結合されたイメージインテンシファイアとして構成されてもよい。
【0060】
本明細書で主に想定される投影画像のコントラスト付与メカニズムは減衰であるが、他のコントラストメカニズムを追加でまたは代わりに利用する他の撮像技術、例えば、位相コントラストおよび／または暗視野撮影なども本明細書から除外されない。後者の２つの場合では、撮像装置は干渉計などの追加コンポーネントを含み得る。
【0061】
撮像装置は制御コンソールＣＣを含み、ユーザは制御コンソールを通じて、撮像処置をいつ開始および停止するか、特にＸ線源ＸＳをいつ作動するかを決定することができる。Ｘ線源の作動または停止を制御したり、またはグリッドスイッチを操作してＸ線ビームへの曝露を停止または再開したりするためのユーザインターフェースとして、ペダルがコンソールに結合され得る。
【0062】
一次Ｘ線ビーム（散乱放射線を除く）の主な伝播方向は、Ｘ線源の焦点（図示せず）から、Ｘ線検出器ＤのＸ線感応面の中心部分まで伸びる仮想線である光軸ＯＸによって定められる。光軸は空間的投影方向を定める。
【0063】
ナビゲーションにおいてユーザをより適切に支援するために、光軸の位置または空間的方向、つまり投影方向をユーザリクエストに応じて変更することができる。これは、一実施形態では、１つ軸、または好ましくは互いに垂直な２つの軸を中心として回転可能であるようにガントリを構成することによって実現できる。このような回転軸が２つある場合、光軸の変更について２自由度が可能になる。例えば、あるジオメトリでは、一方の回転軸は、図１の紙面奥側に伸びており、光軸を角度βだけ回転させることができる。もう一方の回転軸は、図１の紙面に平行であり、図１に概略的に示されているように、βとは独立して別の角度αだけ向きを変更できる。一般に、αの軸は「回転」を定義し、βの軸は「角度」を定義する。
【0064】
任意選択で、図１の両矢印Ｈで示すように、ガントリ自体の高さも変更可能であってもよい。また、光軸ＯＸは、ガントリを線に沿って移動させることによって平行移動され得る。光軸の位置および向きは、本明細書では、撮像ジオメトリを少なくとも部分的に定めるために言及され得る。言い換えれば、実施形態において本明細書で想定される撮像装置は、ユーザが撮像ジオメトリを変更することを可能にする。
【0065】
撮像ジオメトリの変更は、ユーザがジョイスティックまたは他の適切なユーザインターフェースＵＩＤを操作することによって要求され得る。ユーザインターフェースＵＩＤ’は、制御コンソールＣＣに結合されるか、または組み込まれ得る。
【0066】
撮像ジオメトリの変更の要求は、撮像装置に配置された、例えば、ガントリ、台ＴＢ、コリメータＣＯＬなどのうちの１つ以上に配置された適切なアクチュエータＡＣに制御信号を印加させることを含み得る。制御信号に応答してアクチュエータＡＣは撮像ジオメトリを変更する。アクチュエータＡ～Ｃは、電源によって給電されるか、またはハンドル、レバー、もしくは他のデバイスを介してユーザによって手動で給電される。アクチュエータＡ～Ｃは、純粋な自動、もしくはハイブリッドであってもよく、または半自動であってもよい。半自動の場合、ユーザがジョイスティックまたは他の制御デバイスなどのユーザインターフェースＵＩＤ’を操作するが、撮像ジオメトリの変更を実行するためにサーボモータなどの補助を受け得る。
【0067】
アクチュエータはエンコードされていてもいなくてもよい。エンコードされている場合、アクチュエータはポテンショメータなどのリニアエンコーダまたは角度エンコーダを含み得る。エンコーダにより、１つ以上のアクチュエータによって実行される画像ジオメトリの変化を追跡することができ、すなわち、撮像ジオメトリの変化に応じて変化する数値座標にマッピングできる。
【0068】
撮像ジオメトリを変更する他の選択肢には、検出器とＸ線源との間の距離を変更すること、および／または関心領域とＸ線検出器、よってＸ線源との間の距離を変更することが含まれ得る。後者の変更は、患者が横たわる検査台ＴＢの高さＨ’を変更することによって実行され得る。高さｈおよび／または線源と検出器との間の距離を変更することは、ある倍率での画像のスケール変更をもたらす可能性がある。
【0069】
撮像ジオメトリを変更するさらなる別の選択肢は、台の表面に平行な平面内で患者台ＴＢをＸ，Ｙ方向に平行移動することを含み得る。一方の方向は図１の紙面に平行であり、他方の方向は紙面奥側に伸びる。台は、１つ以上の軸を中心として傾斜可能であってもよい。撮像ジオメトリの変更に関与する撮像装置のコンポーネントは、本明細書では一般的に撮像ジオメトリコンポーネントと呼ばれることがあり、特に線源ＸＳ、ガントリ、検出器、コリメータＣＯＬ、台などのうちのいずれか１つ、複数、または全てを含む。
【0070】
一般に、撮像ジオメトリが変化すると、関心領域に対するＸ線源および／または検出器の空間的関係が変化する。加えて、または代わりに、コリメータの動作によって、または、例えば上記した台ＴＢの平行移動によって患者を移動させることによって、視野が変更され得る。
【0071】
ここで、ユーザ支援システムＵＳＹＳをより詳細に説明すると、これは、ユーザが撮像装置ＩＡのコリメータＣＯＬのコリメータ設定を調整するのを支援するように構成されている。
【0072】
一般に、コリメーション調整のために、ユーザ支援システムＵＳＹＳはユーザ入力デバイスＵＩＤと連携する。ユーザデバイスＵＩＤはグラフィカルユーザインターフェース（ＧＵＩ）を含み得る。ＧＵＩはユーザモニタＵＤに表示されてもよい。ユーザモニタＵＤは、取得された画像を表示するために使用されるディスプレイＤＤとは異なるものであってもなくてもよい。このようなＧＵＩベースのユーザ入力デバイスＵＩＤは、１つ以上のタッチスクリーンインターフェース（ＴＳＮ）を含み得る。ＧＵＩは、ユーザ表示デバイスＵＤ上に視覚化される１つ以上のグラフィックコンポーネントを含み得る。グラフィカルコンポーネントは、ユーザがタッチスクリーン操作またはポインタツールの使用によってインタラクトしてコリメータを調整することを可能にする、意匠化されたボタンなどのウィジェットを含み得る。ポインタツールはコンピュータマウスまたはスタイラスなどであってもよい。ユーザ入力デバイスＵＩＤはジェスチャ認識をサポートし得る。１つ以上のテキストボックスにテキストまたは英数字入力が取り込まれる、より慣用的なキーボードによるユーザ入力も想定されている。
【0073】
ＧＵＩベースの実施形態の代わりに、またはそれに加えて、コリメータ調整用のユーザ入力デバイスＵＩＤは、１つ以上の物理的な制御要素のセット、例えばレバー（例えば、ジョイスティック）、ボタン、または他の手動操作可能なアクチュエータなどを備えた制御パネルを（さらに）含んでもよい。このような手動操作可能な物理的制御要素を備えたユーザインターフェースは、ＴＳＯと呼ばれることもある。さらに他の実施形態では、ユーザインターフェースデバイスＵＩＤは、上記のものに加えて、またはその代わりに、アイトラッキングデバイス、ジェスチャトラッキングシステムなどの他のインターフェース選択肢をさらに含み得る。ユーザの音声コマンドベースの制御を可能にするために、音声キャプチャおよび解釈機能を備えたユーザインターフェースデバイスも想定される。実施形態では、ユーザ制御デバイスＵＩＤが拡張現実ＡＲシステムに組み込まれ得る。
【0074】
コリメータ調整ユーザデバイスＵＩＤは、少なくとも部分的にオペレータコンソールユニットＣＣに組み込まれ得る。ユニットＣＣは、無線または有線通信チャネルによって、撮像装置ＩＡのアクチュエータＡＣ、または撮像装置ＩＡの他のハードウェアもしくはソフトウェアコンポーネントに通信可能に結合される。
【0075】
簡潔に言えば、上記したように、本明細書で想定されるユーザ支援システムＵＳＹＳは、コリメータ調整ユーザインターフェースデバイスＵＩＤと通信可能である。具体的には、ユーザ支援システムＵＳＹＳは、ユーザインターフェースデバイスＵＩＤを介してユーザによって提供されたコリメータ設定リクエストを受け取る。コリメータ設定の少なくとも一部は、本明細書ではコリメータ設定パラメータｌと呼ばれる１つ以上のパラメータによって定義可能である。以下では、コリメータ設定パラメータｌが複数あるものとするが、これは本開示を限定するものではなく、単一のそのようなパラメータによって定義可能な設定も本明細書から除外されず、本明細書の実施形態において具体的に想定される。
【0076】
ユーザが提供したコリメータ設定パラメータｌは、ユーザ支援システムＵＳＹＳによって処理され、補完された、すなわち追加または改善されたコリメータパラメータ設定が計算される。さらに具体的には、ユーザ支援システムＵＳＹＳが完全な、または少なくとも補完されたコリメータ設定パラメータｌ’を計算することで、ユーザはコリメータ設定パラメータを部分的に定義するだけでよい可能性がある。システムＵＳＹＳは、
を満たすように、完全化コリメータ設定パラメータｌ＊を計算する。補完コリメータ設定パラメータｌ＊の計算は、ユーザによって提供される（初期の、おそらくは不完全な）コリメータ設定パラメータｌのセットの影響を受ける。このようにして完全にされたコリメータ設定パラメータｌ’は、コリメータ設定を明確に定義できるようにするか、または少なくともそのような設定の自由度を下げることを可能にする。
【数1】
【0077】
補完されたコリメータ設定ｌ’は、ユーザ表示デバイスＵＤまたは任意の他の表示デバイス（例えば、デバイスＤＤ）上に表示され得、任意選択で、撮像装置ＩＡによって取得された現在の画像と同時に表示され得る。例えば、補完されたコリメータ設定ｌ’は、現在の画像上に重ねられたオーバーレイグラフィック要素として表示されてもよい。追加でまたは代わりに、補完されたコリメータ設定パラメータｌ’は、適切なミドルウェアによって制御信号／コマンドに自動的に変換され、通信チャネルを介して撮像装置のアクチュエータＡ～Ｃに転送され、要求されたコリメータ設定をコリメータＣＯＬにおいて実行するようにアクチュエータが命令され得る。あるいは、計算された補完されたコリメータ設定パラメータｌ’は、ユーザが計算されたパラメータを承認するためのユーザインターフェース選択肢とともに表示されてもよい。制御信号／コマンドは、タッチスクリーン操作や他のユーザ入力などによるユーザによる承認があった場合にのみ送信される。
【0078】
したがって、ユーザ支援システムＵＳＹＳは、ユーザが時間および労力を削減することを可能にする。ユーザが労力および時間を費やしてコリメータ設定パラメータの完全なセットを指定するのではなく、システムＵＳＹＳがユーザのこのタスクを支援する。ユーザが提供する必要があるのは、コリメータ設定パラメータｌの場合によっては小さい一部分だけであり、提案されるシステムＵＳＹＳは、必要なコリメータ設定パラメータｌ＊の残りを予測する。したがって、経験があるかどうかに関係なく、ユーザはコリメータ設定をより迅速に調整できる可能性がある。一部の実施形態では、ある種の動的ループ制御サブシステムが、新しいユーザ定義されたコリメータ設定ｌが提供されるや否や、残りのコリメータ設定パラメータｌ＊を再調整する。システムは、ユーザがループの一部である閉ループ（「インループ」）と見なすことができる。コリメータを迅速に調整できる機能は、リアルタイムインターベンションにおいて、特に、撮像ジオメトリ（したがって視野）を頻繁に変更しなければならない可能性がある、例えば外傷環境などのストレス要因が高い場合において有益である可能性がある。
【0079】
図２を参照して、コリメータシステムＣＯＬをより詳細に説明する。
【0080】
図２Ａ）は、コリメータシステムＣＯＬの斜視図を示し、説明を容易にするために撮像装置ＩＡの他のコンポーネントが部分的に切り取られている。一般に、コリメータシステムＣＯＬは、線源ＸＳから発せられるＸ線ビームＸＢを修正するように構成される。具体的には、コリメータシステムＣＯＬは、この元のビームの形状および／またはサイズを修正して、撮像装置の視野の幅を定める。言い換えれば、コリメータは、台およびＣアームの姿勢など、残りの撮像ジオメトリ設定の現在のセットを考慮して、取得画像内でどれだけ「見える」かを定める。
【0081】
より具体的には、コリメータシステムＣＯＬは、光軸ＯＸの現在の姿勢に垂直な平面内のＸ線ビームの断面の形状およびサイズを変更するように動作可能である。このようなビームの修正は、患者およびユーザのＸ線量を削減できるようにするため、および現在関心のある領域／解剖学的構造（ＲＯＩ）のみが表示される、より集中した画像を取得できるようにするために、断面を制限することを含み得る。コリメータＣＯＬは、複数の放射線不透過性コリメータブレードＢＬのうちの１つ以上をビームＸＢ内に少なくとも部分的に配置することによって、Ｘ線ビームの断面を調整することを可能にする。例えば、鉛、タングステン、または他の高Ｚ材料から形成されるブレードＢＬは、本明細書では単に「ブレードＢＬ」と呼ぶ。
【0082】
ブレードＢＬは、所望の形状および／またはサイズの視野ＦＯＶを定めるために、１つ以上のアクチュエータＡＣによって電動化されることが好ましい。ブレードの動きにより、ユーザおよび／またはプロトコルの要求に応じてＦＯＶの形状およびサイズを動的に変更できる。ブレードＢＬは、１つ以上の軸に沿って回転可能であってもよい。しかし、一部の実施形態では、アクチュエータＡＣによって制御されるブレードの動きは、図２Ａ）に示すように、光軸ＯＸに垂直な平面Ｘ，Ｙ内の平行移動に限定される。図２Ａに示すように、そのようなブレードの複数のセットが、光軸ＯＸに沿って分離した状態で設けられてもよい。１つのブレードのセット（図２Ａ）では４つのブレードが示されているが、より多くてもより少なくてもよい）はシャッターとも称され得、撮像軸ＯＸに沿ってＸ線源ＸＳにより近い他方のブレードのセットは、本明細書では「ウェッジ」と称され得る。通常、本明細書ではシャッターとウェッジとを区別せず、特に指定しない限り、本明細書では両方を単に「ブレードＢＬ」と呼ぶ。
【0083】
図２Ｂ）は、コリメートされた視野ＦＯＶの光軸ＯＸ（図２Ｂの紙面に垂直に伸びる）に沿った平面図である。ブレードＢＬの影または放射線フットプリントはΠ（ＢＬ）として示されている。図２Ｂ）では、図２Ａ）と同様に４つのブレードＢＬが示されており、１つ、複数、または全ての側から視野を制限するために、ブレードの一部または全てが光軸に向かって移動可能である。したがって、ＦＯＶサイズは小さくなるが、ユーザの希望に応じて、コリメータブレードの一部または全てを後退させることでＦＯＶサイズを再び拡大（所与の倍率でのビームＸＢの本来の断面まで）することができる。対称コリメーション（図２Ｂに示されている）ではなく、非対称コリメーションも本明細書では想定されており、その場合、コリメータブレードのサブセットのみが作動してビームＸＢ内に移動する。非対称コリメーションでは、一部または各ブレードＢＬが、他のブレードのうちの１つ、一部、または全てから独立して移動され得る。
【0084】
図２Ｂの投影画像では、軸ＯＸに近いコリメータブレードの辺の投影が４本の線のセットとして表されている。コリメータブレードごとに１本の線であり、合わせて視野を画定している。これらの線は、本明細書では「コリメータ線」と呼ばれる。幾何学的には、これらの各線は２つのパラメータａｘ＋ｂで記述できる。検出器の投影面内に最大でＮ本のこのような幾何学的な線を有するシステムを、望ましいコリメータ設定を定めるための幾何学的デバイスとして使用することができる（ここれ、Ｎはブレードの数）。より具体的には、コリメータ線自体が、コリメータ設定パラメータを記述する１つの方法を表し得る。このため、本開示では、両者を指すのに記号「ｌ」を使用する。しかし、コリメータ設定パラメータの他の記述も想定され、例えば、制御コマンドおよび／またはブレードの位置／回転（基準姿勢に対して測定された長さ寸法および／または角度）、ユーザコントローラの位置（例えば、ジョイスティックの位置）などに関する記述が想定される。ユーザが指定可能／要求可能なコリメータ設定パラメータの厳密な性質は、ユーザ入力デバイスＵＩＤのタイプに依存し得る。しかし、コリメータ設定パラメータの性質に関係なく、これらは常に上記のようなコリメータ線のセットと等価であると見なすことができる。したがって、本明細書では、一般的にコリメータ設定パラメータ／コリメータ設定に言及するときであっても、そのようなコリメータ線を参照する。コリメータ設定パラメータを指定する他の方法も想定されるため、これは本明細書の開示を制限するものではない。そのような他のコリメータ設定パラメータフォーマットは、必ずしも全ての実施形態においてそのような線に変換されるわけではない。しかし、特にＧＵＩベースの場合、そのような線に関して、ユーザ入力デバイスＵＩＤを介したユーザによる指定は、本明細書の実施形態において具体的に想定される。他の実施形態では、指定がそのような線に関するものではない場合、適切なミドルウェアを使用してパラメータをコリメータ線のセットに変換し、その後システムＵＳＹＳへの入力として供給することができる。他の実施形態では、他のフォーマットのネイティブ処理も想定される。
【0085】
図２Ｃ）は、コリメーションの緊密さの概念を説明するために、コリメートされた視野の詳細図を示す。コリメーションの緊密さとは、図２Ｃ）に陰影で示されているように、コリメータ線と関心構造または関心領域ＲＯＩとの間に残るクリアランスまたは距離ｈを指す。関心領域の少なくとも一部のクリアランスｈが小さいほど、コリメーションは、より強い。極端な場合には、コリメータ線の少なくとも１つが、検出器Ｄによって記録された画像内の幾何学的構造内にキャプチャされた関心領域の接線を形成する。
【0086】
図２Ｂ）、Ｃ）の図面の平面は検出器Ｄの平面である。したがって、図２Ｂ）は、その平面において検出器によって取得される実際の投影画像の一部として解釈され得る。残りの撮像ジオメトリ設定、特に倍率（Ｘ線源ＸＳと検出器面Ｄとの間の距離）が与えられると、検出器面内の線を指定すれば、コリメータブレードのうちの１つまたは全てのコリメータ設定を一意に定めることができる。すなわち、現在の撮像ジオメトリ設定セットが与えられると、計算された補完されたコリメータ設定は、線のセットとして提供される場合、ミドルウェアによって対応するコマンドのセットに変換され得、計算されたコリメータ設定ｌ’を実行するようにアクチュエータＡＣを駆動するために使用され得る。
【0087】
したがって、本明細書の実施形態では、ユーザが、例えば、任意のベクトル（ｘ，ｙ）またはパラメータ表現内の単一または複数のパラメータを指定することによって、単一（または複数）のコリメータ線またはその一部分をタッチスクリーン上で単純に指示できることが想定される。例えば、角度表現などが使用されてもよい。例えば、ユーザは画像上の単一の幾何学的な点を選択する。コリメーション線の向きは、事前に定められた画像軸のうちの１つに対して垂直または平行であり得る。別の例では、ユーザは、コリメーション線と同一線上にある２つの幾何学的点を提供する。さらに別の例では、ユーザが単一の幾何学的点を提供し、最初に示された向きが向き角度を変更することによって調整される。あるいは、例えばユーザが線図形ジェスチャを実行することにより指定される。タッチスクリーンは、現在の画像または現在のＦＯＶの他の表現を表示することができる。このように指定された（幾何学的）線は、部分的なコリメータ設定ｌを構成し得る。これは、他の３つの検出器線などの補完のための残りを計算して、コリメータ設定パラメータの完全なセットｌ’を提供するために、提案されるシステムＵＳＹＳによって処理され得る。完全なセットを使用してアクチュエータを駆動することで、対応するコリメーションが実行できる。
【0088】
単に１つのコリメータ線またはその線の一部（その上記一部分）を指定することに加えて、またはその代わりに、ユーザは、関心領域の少なくとも一部を大まかな輪郭で指定してもよい。これらの２つの情報項目、すなわち、幾何学的な関心領域および少なくとも１つのコリメータ線は、実施形態では、完全なコリメータ調整に使用できるパラメータの完全なセットｌ’を計算するためにシステムＵＳＹＳによって使用され得る。
【0089】
補完されたコリメータ設定は、現在の画像上にオーバーレイグラフィックとしてオーバーレイされて、表示デバイスＤＤ、ＵＤ上にグラフィック表示され得る。計算された完全化パラメータｌ＊のみがそのように表示されてもよいし、または合わせたセット
が表示されてもよい。
【数2】
【0090】
上記したように、関心領域を任意選択のパラメータとして指定する場合、ユーザが関心領域を完全に囲む必要はない可能性がある。これは、実施形態では、現在の画像がシステムＵＳＹＳによって複数のセグメント構造に事前にセグメント化されており、ユーザは、タッチスクリーン操作などによって、所望のＲＯＩを表す所望のセグメントをわずか１つの点で識別するだけでよいからである。少なくとも部分的なＲＯＩ指定は、部分的なコリメータ線またはその一部と合わせて、補完されたコリメータ設定パラメータｌ’を計算するのに十分である。さらに重要なことは、本明細書で提案されているように、関心領域およびコリメータ線またはその一部分を指定するだけでなく、両者の間のクリアランス推定値δが定められることである。このクリアランス推定値は、実施形態では、システムによって、所望のコリメーション緊密さｈの指標として解釈され得る。推定されたコリメーション緊密さは残りのコリメータ線に自動的に適用され、必要な緊密さｈを有する完全なコリメータ設定ｌ’が定められる。他の実施形態では、ユーザは、コリメータ線またはその一部分を指定する代わりに、コリメータの緊密さ（ｔｉｇｈｔｎｅｓｓ）の尺度、例えば０～１の正規化値を単に指定する。このコリメーション緊密さの尺度に基づいて、システムＵＳＹＳによって完全なコリメータ設定パラメータｌ’が計算される。実施形態では、コリメーション緊密さパラメータδは、ユーザ入力と、予測セグメンテーションマスクまたは予測ヒートマップとから推定される。例えば、ｈは、コリメータ線と、最も高い活性化値（例えば、セグメンテーションマスクの値１、例えば図６参照）を有する最も近いフィーチャとの間の垂直距離を計算することによって推定できる（言い換えれば、ｈ＝０）。コリメータ緊密さについては、図６でさらに詳細に説明する。
【0091】
したがって、提案されるシステムＵＳＹＳは、完全なコリメータ設定ｌ’を計算するだけでなく、ユーザの好み、すなわち、提供されるユーザ入力内に暗示的に含まれる望ましいコリメーション緊密さを検出することもできる。必要なコリメーション緊密さはユーザの好み次第であり、したがってユーザごとに異なる可能性があることから、これにより、撮像装置ＩＡの動作を容易にすることがさらに可能になる。これは、複数のユーザが所与の撮像装置ＩＡを使用する臨床環境において重要である可能性がある。また、所与の医療処置中に、必要なコリメーション緊密さが変化する可能性がある。処置（例えば、インターベンション）の一部では非常に緊密なコリメーションが必要になる一方、処置の他の部分ではより緩いコリメーション方式の方が適切である可能性がある。
【0092】
また、一部の実施形態において本明細書で提案されるように、コリメータ設定は、イメージャＩＡの撮像ジオメトリの他の側面の変化に応じてリアルタイムで動的に調整される。例えば、システムＵＳＹＳに組み込まれたイベントハンドラ（図示せず）は、上記したように、角度形成や、台の位置／高さの変更などの撮像ジオメトリの他の側面を対象とした制御コマンドを傍受する。意図された撮像ジオメトリの変更を示すそのようなデータをイベントハンドラが傍受すると、このデータはシステムＵＳＹＳに転送され、現在のコリメータ設定が撮像ジオメトリ変更の結果としての新しい視野に対応するように調整されるように処理される。傍受されるデータは、コンソールＣＣのユーザインターフェース要素で生成される可能性が高い。例えば、そのような信号は、コリメーション撮像ジオメトリ以外の変更を要求するためにユーザによって操作されるジョイスティックまたは他のＵＩ要素によって生成され得る。好ましくは、この実施形態では、現在のコリメーション設定に係る同じコリメータ緊密さが維持されて、新しいＦＯＶに適用され、コリメーションパラメータに関するさらなるユーザ入力は必要とされない。別の例では、関心のある解剖学的構造の予想される見かけのドリフト（ａｐｐａｒｅｎｔ ｄｒｉｆｔ）を考慮するために、コリメータ緊密さは、撮像ジオメトリ（視野角、倍率などのいずれか）とともに変化する。この完全に自動的に提案される新しいコリメーション設定がユーザの好みに合わない場合、ユーザは再度、上記のように部分的なユーザ入力を提供することができる。したがって、システムＵＳＹＳは、新しい／更新された不足しているコリメータ設定パラメータ部分をｌ＊を計算して、新しいＦＯＶのためのコリメータ設定パラメータのフルセットｌ’を計算する。パラメータのフルセットはその後、必要に応じて、自動的に適用されるか、またはまず表示される。
【0093】
次に、提案されるユーザシステムＵＳＹＳをより詳細に示す図３のブロック図を参照する。本明細書で好ましい実施形態において提案されているように、システムＵＳＹＳは、機械学習を使用することによって実装される。特に、システムは、以下により詳細に説明するように、訓練データに基づいて訓練された、または事前訓練された機械学習モデルＭを備え得る。
【0094】
ここでは、システムが十分に訓練されており、パラメータが調整されていると仮定すると、訓練後のフェーズである展開中、システムＵＳＹＳの１つ以上の入力インターフェースＩＮは、ユーザインターフェースデバイスＵＩＤを介してユーザによって供給されるユーザ入力ｕを受け取る。
【0095】
ユーザ入力ｕは、上記したように、意図されたコリメータ設定パラメータｌの単なる部分的な指定を含み得るユーザ入力ｕは、コリメーション線の１つ以上の線区間を含み得る。複数のコリメーション線がユーザ入力ｕに含まれてもよい（しかし、全てではないことが好ましい）。追加で、または代わりに、コリメーション線は供給されず、意図されたコリメータ設定を指定するのに適した他のパラメータが供給される。例えば、ユーザが提供するコリメータ設定パラメータは、図２Ｃ）を参照して上記したように、コリメータ緊密さクリアランスδの定量化を含み得る。任意選択で、現在の検出器面内で検出器Ｄによって記録された、現在取得されたＸ線投影画像Ｉ０もインターフェースＩＮで受け取られる。上記したように、ユーザ入力は、ユーザがコリメートの対象として望む意図されたＲＯＩの部分的または完全な指定をさらに含むことができる。ユーザ入力は、既存のインターフェース（ＴＳＭまたはＴＳＯ）または他のインターフェース（ジェスチャ、アイトラッキング、音声、ＡＲなど）を介して生成された１つ以上のコリメーション位置またはシャッター位置を含み得る。
【0096】
次に、好ましくは現在の画像Ｉ０を含むユーザ入力ｕが、コリメータ設定推定器ＣＳＥによって処理され、提供された入力データから補完または改善されたコリメータ設定が計算される。これを行うために、コリメータ設定推定器ＣＳＥは、入力データｕの一部または全てが適用される訓練済み機械学習モデルＭを含む。一部の実施形態では、意図された完全にされたまたは改善されたコリメータ設定パラメータｌ’は、機械学習モデルＭ自体によってエンドツーエンドで計算される。言い換えれば、全ての計算が機械学習モデルＭによって行われる。しかし、以下で他の実施形態を説明する際により明らかになるように、これは全ての実施形態でそうであるとは限らない。
【0097】
以下でさらに詳細に説明するように、機械学習モデルＭは、様々なアーキテクチャの人工ニューラルネットワークとして構成することができる。好ましいタイプのアーキテクチャは、一連の層に配置された計算ノードを含む。エンドツーエンドの実施形態では、意図された出力が回帰結果に回帰される。回帰結果は、意図された完全にされた改善された推定コリメータ設定パラメータｌ’を表す。特に、回帰結果は、このモデルＭの最終層によって提供される。ユーザ入力は機械学習モデルによって処理され、提供されたユーザ入力および／または現在の入力画像Ｉ０内に埋め込まれた、意図されたコリメーション設定についてのユーザの好みが抽出される。
【0098】
しかし、そのようなＭＬベースのエンドツーエンドの実施形態は、全ての実施形態において必要とされるわけではない。具体的には、他の実施形態では、同様に機械学習が使用されるが、機械学習モデルの隠れ層で生成される内部データが、推定器ＣＳＥの他のコンポーネントによって処理され、結果が取得される。エンドツーエンドＭＬ実施形態のように、出力層で最終出力として供給されるデータを使用する代わりに、非エンドツーエンドＭＬ実施形態では、利用されるのは中間データである。この内部中間データには、特徴マップを含み得る。特徴マップは、モデルが入力データから抽出することができた、より潜在的な抽象パターンを表す。その性質上、内部特徴マップは、所与の隠れ層の一部である活性化関数の出力として、所与の隠れ層によって生成される。特徴マップは、画像コンテンツの抽象化として、特徴空間内の画像領域における様々な特徴の分布を表し得る。
【0099】
一部の非エンドツーエンドＭＬベースの実施形態では、特徴マップはセグメント化される。特に、特徴マップは、入力データまたは画像Ｉ０の特定の個別の特異性に対してよりロバストであることが分かった。したがって、実施形態では、この特徴マップが、補完されたコリメータ設定ｌ’を取得するためにモデルＭとは異なる計算コンポーネントによって処理される。実施形態では、特徴マップは再フォーマット化されてもよく、例えば、現在の画像Ｉ０にサイズが対応するようにリサンプリングされてもよい。例えば、特徴マップφは、リサンプリングされたか否かに関わらず、実施形態では解析画像セグメンタステージＳＥＧによって処理され得る。画像セグメンタＳＥＧは必ずしも機械学習法を使用するわけではない。より具体的には、実施形態では、セグメンタＳＥＧを訓練するために事前の訓練データは使用されない。しかし、セグメンタＳＥＧのＭＬベースの実施形態も想定される。一部の特徴マップは、色相、彩度、または明るさで色分けされ得、そのように色分けされた特徴マップが処理され、任意選択で表示される。本明細書で想定されている非ＭＬタイプのセグメンタには、ＳＩＦＴもしくは他の変換などの特徴ベースの検出、または単純な閾値ベースのセグメンテーション、色空間（色相または彩度、ピクセル強度）を使用したセグメンテーション、領域拡張アルゴリズムベースのセグメンテーションなどが含まれる。欠落しているコリメータ設定パラメータを計算するために特徴マップを解析またはセグメント化することにより、所望のコリメータ設定に関して意図されたユーザの好みをより良好にとらえることができる。本明細書で想定されるＭＬベースのセグメンタＳＥＧの一部の実施形態には深層学習セグメンタＳＥＤが含まれ、例えば、Ｕ‐Ｎｅｔアーキテクチャ、Ｍａｓｋ Ｒ‐ＣＮＮ、およびそれらの変種におけるものや、他の好ましくは完全畳み込みである人工ニューラルネットワークが含まれる。カラーエンコーディングが使用される場合、特徴マップまたはヒートマップに対して動作するセグメンタＳＥＧは、他の種類のセグメンテーションのようにエッジまたはピクセル強度を使用するのではなく、色／色相／彩度を使用し得る（本明細書では、カラーエンコーディングを使用しない実施形態も想定される）。
【0100】
より広義に言えば、機械学習モデルは３つの異なる空間、すなわち、ｉ）現在の画像Ｉ０によって表される画像空間を含む可能性のある入力空間、ｉｉ）特徴空間、およびｉｉｉ）コリメータパラメータ空間、を含む変換である。エンドツーエンドＭＬ実施形態では、結果は、入力空間から特徴空間を介するコリメータパラメータ空間への変換によって計算される。非エンドツーエンドＭＬ実施形態では、ＭＬは特徴空間への変換を実行するためにのみ使用される。このような非エンドツーエンド実施形態では、特徴空間内の特徴マップは、セグメンタＳＥＧなどの追加の計算コンポーネントによってアクセスされる。アクセスされた特徴マップは、追加の計算コンポーネントによって、コリメータパラメータ空間内の求められているコリメータパラメータに処理される。
【0101】
エンドツーエンドＭＬおよび非エンドツーエンドＭＬのいずれの実施形態においても、計算されたコリメータ設定パラメータｌ’が出力インターフェースＯＵＴで出力される。上記したように、出力結果ｌ’はコリメータのアクチュエータを自動的に駆動して、所望の推定コリメータ設定を適用するために使用できる。加えて、または代わりに、例えばコリメータ線の系に関するグラフィックレンダリングが表示装置ＵＤ、ＤＤ上に表示され得る。ビジュアライザＶＺコンポーネントは、結果のグラフィックレンダリングが現在の画像Ｉ０の上に重ねられたグラフィックオーバーレイを生成してもよい。さらに他の実施形態では、規制用のイベントログを用意するためにコリメータ設定パラメータがデータベースに保存されてもよく、またはコリメータ設定パラメータが別の方法で処理されてもよい。
【0102】
ここで図４を参照すると、変更可能な撮像ジオメトリを有する撮像装置によって画像が取得されるインターベンション中の異なる時点ｔ０、ｔ１、およびｔ２における、提案されるシステムの動作が示されている。
【0103】
初期時間ｔ０において、現在のフレームＩ０が取得される。ユーザは、例えばタッチスクリーン操作によって、部分的なコリメータ設定パラメータｌを指定する。例えば、ユーザは、４つの可能な線のうち、本明細書では
と称される単一のコリメーション線だけを指定する可能性がある。これに対する応答として、残りの補完コリメータ線ｌ＊＝ｌ１－３が、図３で説明したような機械学習コンポーネントＭを使用してシステムによって計算される。ユーザが提供した
および計算されたｌ１－３を含む完全なコリメータ設定が、ペインＢに示されるように、現在のＩ０の上に表示され得る。コリメータパラメータの完全なセット
、ｌ１－３は、これらのパラメータに対応するコリメータ設定を実行するようにアクチュエータＡ～Ｃを駆動するために使用され得る。
【数3】
【数4】
【数5】
【0104】
さらに、任意選択で、ペインＣに示すように、コリメータ設定は、ペインＣに斜線で示すウェッジの設定を含んでもよい。一方、ペインＡ、Ｂはシャッターを指す。後の時点ｔ１＞ｔ０で、ユーザは、現在のコリメータ設定パラメータのうちの１つ（単一の）または複数のパラメータを変更することを決定し得る。これはペインＤに示されており、ユーザが以前に指定したコリメータ線
を変更することによって、例えば、コリメータ線をシフトさせることによって実行される。これはペインＤでは、ユーザがコリメータ線を左にシフトさせることによって実行されたものとして示されている。このオプションを実装する例では、ドラッグアンドドロップによるタッチスクリーンの指ジェスチャ操作、またはコンピュータマウスの操作が使用されてもよい。
【数6】
【0105】
ペインＥに示すように、現在のコリメータ設定の１つ（または複数）への変更に応じて、残りのコリメータパラメータがそれに応じて調整される。複数の線が変更される場合、これは同時にまたは順次に実行され得る。
【0106】
ペインＦは、さらに後の時点ｔ２＞ｔ１での状況を示しており、現在の撮像ジオメトリが、例えば倍率の上昇またはガントリの向き変更などによって変更されている。コリメータ撮像ジオメトリ以外の変更のリクエストに応じて、好ましくは追加のユーザ入力無しで、関心領域を動的に追跡するようにコリメータ設定が調整される。その後、コリメータに関するさらなるユーザ入力が受信されると、コリメータの緊密さおよび／または残りのコリメータ設定パラメータが、ペインＡ、Ｂのように再計算される。
【0107】
次に、実施形態においてシステムＵＳＹＳによって使用され得る機械学習モデルＭのブロック図を示す図５を参照する。図５は、エンドツーエンドＭＬ変形例の実施形態である。具体的には、図５は、人工ニューラルネットワーク型のアーキテクチャにおける機械学習モデルのブロック図を示す。
【0108】
好ましくは、畳み込みネットワークＣＮＮが想定される。ネットワークは完全畳み込みであっても、部分的畳み込みであってもよく、１つ以上のより全結合された層を含んでもよい。あるいは、ネットワーク全体が全結合されていてもよい。一部または全ての層が回帰型であってもよい。追加の再帰層が含まれてもよい。図５の左側は、任意選択の領域ａと、部分的コリメータ設定パラメータｌとを含むユーザ入力ｕを示す。ネットワークは、図に示すようにフィードフォワードであってもよいが、代わりに回帰型であってもよい。
【0109】
ユーザ入力はＧＵＩを通じて提供され得る。現在の画像Ｉ０または一連の画像が表示され、ユーザは、１つ以上の（しかし、全てではないことが好ましい）意図されたコリメータ線を指定する。コリメータ線を指定することに加えて、またはその代わりに、例えば事前に定められた範囲内のスカラー値を指定することによって、コリメータの緊密さｈがユーザによって選択される。範囲の一端は緊密なコリメーション／接線コリメーションを示し、範囲の他方の端は、ＲＯＩから所与の最大距離におけるより許容的なコリメーションを示す。任意選択で、上記したように、意図された関心領域ａは、輪郭を描くことによって、または単に関心領域を定める１つ以上の点を示すことによって指定される。コリメータ線はＲＯＩと交差するか、または少なくとも接することが好ましい。このように、表示される線は、コリメーション線およびＲＯＩの少なくとも一部を示すため、二重の機能を有する。関心領域は、単一の入力画像または一連の画像（フレーム）上で指定されてもよい。このような一連のフレーム、すなわち動画フィードは、本明細書の実施形態において特に想定されるＸ線透視撮影動作において生成され得る。
【0110】
入力データｕは、ベクトル形式または行列形式などの適切な形式で提供される。入力データは、好ましくは、入力画像と、入力画像内に指定された１つ以上のコリメータ線とを含むが、ポインタツールまたはタッチスクリーンアクションなども含んでもよい。入力データは、ニューラルネットワークＭの入力層ＩＬで受信および処理される。その後、入力層の出力が順次ネットワークを通過する。データは、１つ以上の隠れ層Ｌ１～ＬＮによって処理され、最終的に出力層ＯＬによって回帰結果Ｒに回帰される。回帰結果Ｒは、推定の補完されたコリメータ設定パラメータを表す。出力は、幾何学的な線（例えば、コリメータ線の完全なセットを表す４本以上の線）の系を記述する係数の系（ａｉ、ｂｉ）として提供され得る。例えば、６組の係数（ａｉ、ｂｉ）（ｉ＝１．．６）の系を提供することで、４つのシャッターおよび２つのウェッジのためのコリメータ線を定めることができる。ａ’はｘ切片であり、ｂ’はｙ切片である。ウェッジなど、回転機能を持たないブレードのコリメータ線は、単一の係数ｂで記述される可能性がある。ブレードが回転可能な場合、基準向きが定められ得る。例えば、向きは、画像軸の１つに対して直交していると仮定され得る。したがって、回帰結果は、補完されたコリメータ設定パラメータを含む。特に、補完されたパラメータは、不完全な入力データ内で欠落していた１つ以上の線を含む。図５の右側には、補完された線が予測線ｌ’として模式的に示されている。したがって、図５は、ディープニューラルネットワークの一例を示す図であり、入力パラメータ（例えば、あるコリメーション変数とのユーザインタラクション）から抽出された画像ＲＯＩが与えられると、他のコリメーション設定パラメータを予測する。図５の例では、右側のコリメーション線を使用して上側のコリメーション線が予測される。
【0111】
入力層および隠れ層ＯＬ、Ｌ１～ＬＮは、ＲｅＬｕ（ｘ）、ａｒｃｔａｎ（ｘ）、またはシグモイドなどの非線形活性化関数を含むことが好ましい。一方、出力層ＯＬは、そのような非線形活性化関数を実装してもしなくてもよい。しかし、画像サイズは既知であるため、そのような非線形活性化関数を使用して層ＯＬでの出力を有限の既知の間隔、例えば単位間隔に制限すると有利である。活性化関数の傾きは滑らかさを定める（さらに以下。隠れ層のＲｅＬＵなどの活性化関数とは対照的に、出力層の活性化関数は、ネットワークが実行するタスク（例えば、回帰など）を定める。
【0112】
特徴マップφは、データがネットワークＬ１～ＬＮを通過する間に生成される。出力層によって生成される特徴マップが存在しないことが好ましい。いくつかのまたは各隠れ層で１つ以上の特徴マップが計算される。特徴マップは、それぞれのロジットをその隠れ層または他の隠れ層の活性化関数に送ることによって計算され得る。ロジットは、畳み込み演算子、または所与の隠れ層の構成に応じた他の演算子によって、手前の先行する層の特徴マップを処理した結果である。活性化関数がこの隠れ層のロジットに適用され、その隠れ層の特徴マップが計算される。この特徴マップは次の層に渡され、以下同様に続く。先行する層は別の隠れ層または入力層のいずれかである。このようにして、一連の特徴マップの生成物が生成され、生成物は層の深さとともに増加する。一般に、所与の層は複数の演算、例えば互いに異なる畳み込みを実装する可能性があるため、層ごとの特徴マップの数も深さとともに増加し、その数は一般に層の深さとともに増加する。
【0113】
所与の隠れ層における１つ以上の特徴マップは、以下ですぐに説明するように、非エンドツーエンドＭＬの実施形態において上記したように、セグメンタＳＥＧまたは他の計算コンポーネントによって処理され得る。
【0114】
具体的には、深層畳み込みニューラルネットワークが使用されることが好ましい。深さは主に隠れ層の数、またはリカレントネットワークでは隠れ層を通過する経路の数に依存する。図５のネットワークＭは、１つ以上の中間／隠れ層を含み得る。隠れ層の数、および深さは、用途の複雑さまたは訓練データが利用可能であるかに依存し得る。
【0115】
各層には、畳み込み演算子、バッチ正規化演算子、ドロップアウト、およびプーリングなどの演算子が１つ以上含まれ得る。各隠れ層、および一部の実施形態では入力層は、非線形活性化関数を実装するための演算子を含む（好ましくは出力層は含まない）。データがネットワークを通過すると、隠れ層によって多次元の特徴マップ、または一連の特徴マップが生成される。出力層ＯＬは、１つ以上の特徴マップを単一または一連の低次元埋め込みに変換する。グローバル平均プーリングまたはマップ平坦化技術が出力層で使用され、その後、回帰層が続く。上記のように、出力パラメータを制約するために、シグモイド活性化関数または他の非線形活性化関数が回帰層からの出力に適用されてもよい。
【0116】
通常、所与の深さに、および／またはネットワークの深さ全体にわたり、複数の特徴マップが存在する。好ましくは、最後の層（出力層ＯＬの前）は、上記で説明したようにセグメント化するためにセグメンタＳＥＧによってアクセスされる。しかし、代わりに、任意の隠れ層の特徴マップがアクセスされてもよい。アーキテクチャＭ内のより深く（入力層ＩＬから「遠位」）に位置する特徴マップが好ましい。これは、層が遠位になるほど、エンコードされる潜んでいるタスクの構造がより抽象的または複雑になるからである。
【0117】
次に、非エンドツーエンドＭＬ実装の実施形態のための機械学習モデルＭのブロック図を示す図６を参照する。この実施形態では、単一の画像Ｉ０または複数のＸ線画像が入力ｕ＝Ｉｊとして入力層に適用され、複数の層を介して伝播される。上記したように、特徴マップは隠れ層および／または出力層ＯＬで生成される。出力層ＯＬは回帰層であってもよい。この実施形態では、特徴マップは、特徴マップが生成される機械学習モデルＭの外部で（セグメンタＳＥＧまたは他のエンティティによって）別個に処理される。これは、特徴マップがそのように処理されず、代わりに出力層までずっと処理されるエンドツーエンドＭＬの実施形態とは対照的である。（最終）出力層ＯＬでは、複数の特徴マップが、例えば図５のモデルＭにおいて、回帰結果に結合される。このタイプの特徴マップベースの処理は、図５に示すネットワークでも実装することができるが、好ましい実施形態では、図８に概略的に示すように、オートエンコーダ（「ＡＥ」）タイプのネットワークが使用される。別の実施形態では、図６に概略的に示されるように、エンコーダ－デコーダ（ＥＣ－ＤＣ）タイプのネットワークが使用され得る。図６および図８では、回転した三角形の記号
および
はそれぞれ、演算子を使用して中間出力（ロジット）を生成する１つ以上の隠れ層のシーケンスを表す。それらの次元および／またはスパース性は、ネットワークの深さに応じて増減する。上記の図５のＭＬモデルでは（１つ以上の）入力画像は任意選択であったが、図６および図８の実施形態では、入力としてのそのような１つ以上の画像を提供することが好ましい。
【数7】
【数8】
【0118】
ここで、まずエンコーダ－デコーダ型のネットワークについて詳しく説明する。図６のネットワークからの出力が回帰パラメータのセットではなく特徴マップであることを除いて、図５のネットワークについて上記したことは全て同様に当てはまる。エンコーダ－デコーダの構成では、入力画像はまず、エンコーダ／デコーダネットワークのエンコーダコンポーネントＥＣによって、より低次元の表現ｘに変換される。このより低い次元および／またはより小さいサイズの表現を、本明細書では「コード」と呼ぶ。コードｘはその後、エンコーダＥＣと直列に配置されたデコーダＤＣコンポーネントによってアップサンプリングされる。これにより、中心の表現の次元／サイズが増加し、最終的には、出力画像の次元および／またはサイズが入力画像の次元および／またはサイズと一致する。したがって、「コード」は、縮小されても入力画像にデコードできるように、入力画像の特性または構造をコンパクトな形式に「エンコード」する。「サイズ／次元」という用語は、特徴マップまたは入力／出力画像のデータ構造内のエントリの数、および／またはそのようなエントリの位置を特定するためのインデックスのセットのベクトル長を指す。例えば、５０ｘ５０ピクセルの行列（例えば画像）は、４０ｘ４０または５０ｘ４０の画像よりも大きいサイズを有する。しかし、どちらも同じ次元を有する。３チャンネル画像５０ｘ５０ｘ３は、５０ｘ５０の２Ｄ画像よりも大きい次元（３Ｄ）を有する。３Ｄ画像にはより多くのデータ点があるため、サイズも大きくなる。また、エンコーダＥＣが、入力画像よりも大きいサイズおよび／または高次元のコードを生成して、過剰な（ｏｖｅｒ－ｃｏｍｐｌｅｔｅ）表現を育てるエンコーダ－デコーダの実施形態も想定される。この代替的な実施形態では、エンコーダＥＣは、より大きな次元および／またはサイズを有するが、よりスパース性が高いコードを生成してもよい。特に、過剰なコードおよびスパースなコードを促進するために、正則化メカニズム及び特別なコスト関数が使用され得る。エンコーダ部分は複数の隠れ層を含んでもよく、各隠れ層が畳み込み演算子を実装し、好ましくはさらに畳み込みの出力に適用される活性化関数を実装する。畳み込み演算子のストライドまたはステップ幅は、特徴マップのサイズ／次元の縮小を実現するために１より大きくてもよい。デコーダＤＣは、サイズ／次元を増加させるための演算子を実装する多数の隠れ層を含み得る。エンコーダＥＣ内の畳み込み演算子によって引き起こされる畳み込みの逆演算として本質的に作用する転置畳み込み演算子が使用されてもよい。畳み込み演算子は最初、ピクセルから、徐々に高くなるレベルの特徴へのマッピングを行うが、転置畳み込み演算は、特徴をピクセルおよび／またはより低いレベルの特徴にマッピングする。デコーダＤＣの隠れ層も活性化関数を実装し得る。機能的には、逆畳み込み演算子は、その後総和される畳み込み演算に関して定式化され得る。例えば、Ｍ Ｄ Ｚｅｉｌｅｒらによる”Ａｄａｐｔｉｖｅ Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｍｉｄ ａｎｄ Ｈｉｇｈ Ｌｅｖｅｌ Ｆｔｕｕｒｅ Ｌｅａｒｎｉｎｇ”、２０１１ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｂａｒｃｅｌｏｎａ、Ｓｐａｉｎのセクション２を参照されたい。
【0119】
ここで、特徴マップをより詳細に説明すると、これらは、入力画像Ｐｂのサイズに対応するようにサイズを拡大縮小され得る。特徴マップの計算に使用される活性化関数出力のおかげで、特徴マップ内のセグメンテーションの滑らかな境界部分が得られることがわかる。この滑らかな境界効果は、一部のセグメンテーションＣＮＮアーキテクチャで通常使用されるハードな閾値用に構成されていない、単位間隔［０，１］などの限られた範囲に非線形ではあるが滑らかにマッピングを行い得る、本明細書で想定されているクラスの活性化関数に起因する。一部のこのような滑らかな活性化関数は、範囲の両端に向かって傾きが０に近づき、範囲内の所与の位置（例えば０．５）で傾きが最大に、例えば約１になるＳ字型のプロファイルを有する。この所与の位置は、本明細書では活性化関数の閾値と呼ばれる。したがって、特徴マップでは、値は０から１まで変化し、特徴マップ内にエンコードされた自然なセグメンテーションの滑らかな境界部分を局所的に定める。これらのセグメンテーションは、ネットワークＭによる入力データの処理中に所与の特徴マップ内に出現し得る。特徴マップ内セグメンテーションは、入力データ内の上記の学習された潜在パターンを表す。ネットワークには隠れ層ごとに複数の特徴マップが含まれる可能性があり、そのような隠れ層が複数存在し得る。好ましくは、デコーダＤＣからの最後の特徴マップが使用される。あるいは、デコーダＤＣ経路内の任意の隠れ層における任意の特徴マップが使用されてもよい。
【0120】
図６のようなエンコーダ－デコーダ型の実施形態では、デコーダステージＤＣの最終層からの出力は、好ましくは、求められているコリメータ設定パラメータをセグメント化するための特徴マップとして使用される。しかし、デコーダＤＣの最終層からの特徴マップを必ずしも使用する必要はない可能性がある。なぜなら、デコーダステージＤＣの手前の上流層からの特徴マップを、入力の次元に一致するようにサイズ変更した後に使用できる可能性があるからである。それらの手前（または以後）の特徴マップは、最後のデコーダ層のｋ＝３層内にあることが好ましい。
【0121】
セグメンテーションの例における滑らかな境界部分は、図６ではδとして示されている。図６の右側に示されているように、この実施形態では滑らかな境界部分を使用して、補完コリメータ設定パラメータｌ＊を計算することができる。先に述べてきた実施形態と同様に、ユーザは依然として、例えばセグメント化された特徴マップにおいて、１つ以上のコリメータ線を指定することができるが、これは必ずしも必要ではない。代わりに、所望のコリメーション緊密さの指標が、特徴マップ内、例えばデコーダ経路からの最後の特徴マップ内の１つのセグメンテーションセグメントに関してユーザによって指定される。
【0122】
具体的には、境界部分δにおいて、ユーザはある点を定めるだけでよい。すると、これは活性化関数の出力値に対応し、この値は特徴マップ内に等値線を構築するためのアンカーポイントとして推定器ＣＳＥによって使用される。等値線は、意図されたコリメータ設定のコリメータ曲線を直接定める。コリメータ曲線は、上記の直線コリメータ線の系を得るために、近似線の系に分割されてもよい。しかし、放射線治療で使用されるマルチリーフコリメータの場合など、線に分割することは必ずしも必要ではない。このようなマルチリーフコリメータを使用すると、コリメータ曲線によって直線よりも良好に近似されたＦＯＶ形状を定めることができる。したがって、本明細書で想定される計算された補完されたコリメータ設定パラメータの指定および／または出力フォーマットは線に限定されず、高次多項式などの任意の曲線であってもよい。本明細書の実施形態では、線形および非線形曲線の区分的に定められた系も想定される。等値線の実施形態は、複雑な形状の病変組織へのコリメーションが必要な場合があるＣｙｂｅｒｋｎｉｆｅ（登録商標）システムなどの放射線送達デバイスで有利に使用され得る。
【0123】
上記した、特徴マップセグメントの境界部分における点の選択の代わりに、ユーザが、スライダまたは他の適切なユーザインターフェースやタッチスクリーンなどによって、活性化関数自体の閾値を調整してもよい。調整するたびに特徴マップが再計算され、様々なレベルの滑らかさを有する境界部分が生成される。調整された境界の滑らかさのレベルを有するセグメントのエッジのために特徴マップをセグメント化することによって、コリメーションの緊密さを制御することができる。特徴マップ内のセグメントは、コリメーションマスクとして解釈され得る。
【0124】
図６に示すような特徴マップ抽出に使用されるニューラルネットワークは、好ましくは、深層完全畳み込みネットワークである。本明細書では、Ｕ－Ｎｅｔ、Ｒ－ＣＮＮ、ＭａｓｋＲ－ＣＮＮなど、セグメンテーションタスクに適した任意のＮＮモデルが想定され得る。ネットワークがエンコーダ－デコーダアーキテクチャを有する場合、デコーダＤＣの最後の畳み込み層は、最後の特徴マップの値に適用されるシグモイド活性化関数を有することが好ましい。
【0125】
上記特徴マップに基づく処理のいずれにおいても、代わりにヒートマップを使用することができる。ヒートマップは、特徴マップを後処理することによって取得される特殊なタイプの特徴マップである。ヒートマップを導出するための後処理は、加重総和と、それに続く非線形活性化とを含み得る。ヒートマップは、関心領域を強調表示するための制御目的で表示される場合がある。ヒートマップの生成については、図８、図９でさらに詳細に説明する。
【0126】
図６で説明したエンコーダ－デコーダの構成は、図５に示す機械学習モデルと組み合わせて使用することもできることが理解されよう。この実施形態では、図６のネットワークによって生成された特徴マップが、入力画像Ｉ０の代わりに図５のネットワークへの入力として使用される。図５のネットワークの最後の層ＯＬによって供給される回帰出力が、コリメータ設定パラメータを生成する。
【0127】
ここで図７を参照すると、図７は、上述のＥＣ‐ＤＣ型ベースのＭＬシステム、具体的には図６のシステムによって得られる結果の図を示す。図７は、僧帽弁クリップ展開処置からの、選択されたＸ線透視画像の結果を示す。左から出発して、各行Ａ～ＣおよびＤ～Ｆはそれぞれ、入力画像、提案されるコリメーションマスク、ウェッジ（直交線）およびシャッター（斜線）のコリメータ線が示される位置を示す。ユーザは、活性化閾値を調整することによって、例えば０～１まで調整するか、または境界部分の値を選択し、上記したようにコリメータ線を等値線として計算することによって、示された位置を調整できる。
【0128】
エンコーダ－デコーダ型のネットワークは、教師ありで訓練される。各訓練の反復で、入力画像がネットワークに入力され、ネットワークによって「ソフト」コリメーションマスク（デコーダＤＣ経路からの最後の特徴マップ）が予測される。そしてこれは、事前に定義された損失関数を使用して、グラウンドトゥルースコリメーションマスクと比較される。損失関数の例としては、平均二乗誤差（ＭＳＥ）またはクロスエントロピー損失がある。ネットワークのパラメータは、グラウンドトゥルースコリメーションマスクと予測マスクの間で計算された差に基づいて自動的に調整される。調整されるパラメータには、中間層の重みおよびバイアスが含まれる。訓練プロセス中、損失の値は最小化され、特定の停止基準が満たされると停止される。グラウンドトゥルースコリメーションマスクは、医師などの専門家ユーザによって提供される。
【0129】
ここで図８を参照すると、図６で上述したものと同様の自動エンコーダ構成を使用した、非エンドツーエンドＭＬベースの実装の別の実施形態が示されている。モデルは、深層完全畳み込みネットワークであることが好ましい。必須ではないが、フィードフォワードアーキテクチャが使用されることが好ましい。
【0130】
オートエンコーダ型のネットワークは教師無しで訓練できるため、ＡＥ型のネットワークは図６のようなネットワークよりも好ましい。オートエンコーダの学習目的は、デコーダがその出力にてエンコーダ入力を複製して、潜んでいるデータ内の構造をエンコードすること、すなわちロバストな特徴マップを抽出することである。ＡＥベース以外の教師なし学習スキームも本明細書で想定されている。一部の代替的な実施形態で教師あり構成が使用される場合、学習目的は画像オブジェクトの分類など、任意のものであってもよい。好ましくは、教師あり学習は、出現することが合理的に予想され、提案されるコリメータ設定が対象とするインターベンション中に使用され得る画像オブジェクト（例えば、器官、器官の一部、またはカテーテルなどの医療器具／デバイスのフットプリント）の正当な分布を示すＸ線投影画像などの適用可能な画像に基づいている。上記の場合と同様に、システムは入力データに基づいて訓練され、エンコーダステージＥＣで受信された入力が、デコーダＤＣステージの出力で複製される。図６の実施形態では、単一のＸ線画像Ｉ０または複数のＸ線画像が入力ｕ＝Ｉｊとして入力層に適用され、モデルの複数の層を介して伝播される。
【0131】
上記したように、特徴マップは隠れ層で生成される。学習または訓練フェーズは最適化アルゴリズムに基づく。最適化は、１つ以上の反復サイクルｉ：＝ｉ＋１として実装することができ、この間に、ＡＥネットワークのパラメータを更新することによってコスト関数Ｌが改善される。コスト関数Ｌは、出力
と、入力Ｐｂとの間のずれを測定する。図８のシステムが十分に訓練されると、図９に示すようにデコーダ部分ＤＣは不要になり、エンコーダ部分ＥＣのみが保持される。本明細書で想定される任意のモデルの全ての実施形態と同様に、訓練は一回限りの動作であってもよいし、新しい訓練データが利用可能になると繰り返されてもよく、その時点で図８のようにデコーダＤＣステージが再び使用される。本明細書で説明するほとんどの訓練構成は、コスト関数が最小化される最適化として自然に定式化されているが、これは二重定式化の排除、すなわち効用関数の最大化を排除するものではない。
【数9】
【0132】
以下のようにして、訓練されたエンコーダＥＣが展開時に使用される。現在の画像Ｐｂが適用され、入力画像がエンコーダを通過するのに伴い、特徴マップがエンコーダ内で生成される。エンコーダ内の十分な数の層を通過した後、適切な特徴マップφが推定器ＣＳＥによってアクセスされる。例えば、通常は最小の次元を有するか、または最も高いスパース性を有するコードｘが、特別な特徴マップとしてアクセスされ得る。代わりに、エンコーダＥＣの上流層の特徴マップφがアクセスされてもよく、これは、特にヒートマップが特徴マップから計算される場合に好ましい。
【0133】
実施形態では、次いで、特徴マップ（例えば、φ＝ｘ）を処理するためにセグメンタＳＥＧによって特徴抽出アルゴリズムが使用され、セグメンテーションセグメントを定めるために特徴ｘ（φ）が抽出される。特徴抽出アルゴリズムは、解析（非ＭＬベース）またはＭＬベースであってもよい。任意の特徴抽出アルゴリズムを使用できる。
【0134】
具体的には、実施形態では、セグメンタＳＥＧは、エンコーダＥＣサブネットワークの最後の畳み込み層から抽出されたリサンプリングされた特徴マップを受け取ることが好ましい。リサンプリング演算は次元削減演算であり、例えば、多数の特徴マップまたは高次元特徴マップが１Ｄまたは２Ｄに縮小される。通常、リサンプリングは、次元が入力サイズと一致していることを保証するために特徴マップに適用される。
【0135】
図６のようなオートエンコーダ型の実施形態では、エンコーダステージＥＣの最後の層によって出力された特徴マップ（コードｘ）は、好ましくは、求められているコリメータ設定パラメータをセグメント化するための特徴マップとして使用される。図６のエンコーダ－デコーダ構成と同様に、必ずしもエンコーダＥＣの最後の層の特徴マップを使用する必要はない。手前の上流層の特徴マップが使用される可能性があり、また、デコーダステージＤＣの最初または最初のいくつかの後方の層からの特徴マップについても同様である。それらの手前または後方の特徴マップは、コードｘの最後のエンコーダ層のｋ＝３層内にあることが好ましい。
【0136】
実施形態では、特徴マップを使用する代わりに、本明細書ではヒートマップと呼ばれる、導出された特徴マップが使用される。一般に、ヒートマップは、導出または微分された特徴マップであり、その値は出力層ＯＬの最終出力のエントリに対する隠れ層の特定の特徴マップの適合性を表す。特徴マップをネットワークの特徴マップから抽出する手法は複数あり、その全てが本明細書で想定されている。一部の実施形態では、勾配ベースの手法を使用して特徴マップからヒートマップが抽出される。このような実施形態では、オートエンコーダのエンコーダＥＣ部分の隠れ（好ましくは畳み込み）層の１つに関してエンコーダＥＣによって出力された潜在変数（コードｘ）の勾配を、ＣＳＥの微分器が計算する。隠れ層は、オートエンコーダコードｘの前の最後の層、またはエンコーダＥＣ経路内の任意の中間隠れ層であることが好ましい。したがって、各フィルタ出力について勾配ベースの手法から計算された重みが取得される。次に、対応するフィルタ出力を重み付けして総和し、その後、特定の値を強化または制限するためにＲｅＬＵなどの活性化関数を適用することによって、ヒートマップが抽出される。あるいは、これは、グローバル平均プーリングまたは他のクロスチャネル演算（例えば、グローバル最大プーリングの後に非線形活性化関数）を単純に適用することによって、出力に重み付けをせずに実行されてもよい。結果は正規化され、必要に応じて入力画像の所望のサイズに合わせて拡大縮小され得る。他の方法、例えば、プレプリントａｒＸｉｖ：１６１０．０２３９１としてオンライン発行されたＲａｍｐｒａｓａａｔｈ Ｒ． Ｓｅｌｖａｒａｊｕらによる“Ｇｒａｄ－ＣＡＭ：Ｖｉｓｕａｌ Ｅｘｐｌａｎａｔｉｏｎｓ ｆｒｏｍ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ ｖｉａ Ｇｒａｄｉｅｎｔ－ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ”、２０１６などのＧｒａｄ－ＣＡＭ法が使用されてもよい。
【0137】
セグメンタＳＥＧは、ヒートマップを１つ以上のセグメントにセグメント化する。好ましくは、セグメント化演算は類似性に基づき得る。ｋ平均ピクセルクラスタリング、領域拡張、動的輪郭、単純な閾値処理、またはＵ－Ｎｅｔ、Ｒ－ＣＮＮ、マスクＲ－ＣＮＮに基づく機械学習法など、当技術分野で知られている任意のセグメンテーション法を使用することができる。実施形態におけるセグメンタＳＥＧについて想定される別のセグメンテーション手法は、例えば、ヒートマップの等値線上の一部の点または各点における勾配の大きさおよび方向を計算することによって、または隣接するピクセルの強度値に基づいて、ヒートマップの一部または各等値線について１つまたは複数の異なる記述子ｄｓ（図１０Ｄ参照）を計算することである。
【0138】
抽出された特徴／画像セグメントに基づいて、コリメータ設定パラメータｌ’を計算することができる。この計算は対話型であること、すなわちユーザ入力ｌに基づくことが望ましい。ユーザは上記と同様に、例えば、それぞれの画像セグメント内の単一の（または複数の）点を指定することによって、セグメント自体を個別に指定する。加えて、または代わりに、上記のように、所望のコリメータ緊密さクリアリングｈが提供される。加えて、または代わりに、所与の画像セグメントに関して、１つ以上の（ただし、全てではないことが好ましい）コリメータ線が示される。線は、関心のある画像セグメントと交差するか、または接し得る。線は、セグメント化された特徴マップの滑らかな境界部分を通過するように設定され得る。したがって、上記のように、線は画像セグメントを指定するだけでなく、コリメータの緊密さを定める。
【0139】
予測コリメータ設定パラメータは、生成されたセグメントを使用してシステムによって提案される。例えば、システムＵＳＹＳは、セグメントの輪郭によって定められる各多角形の接線のいくつかの候補を計算して、補完コリメータ線を計算することができる。各候補はコリメーション設定線を表し、よって、ｙ切片（パラメータｂ）および傾き（パラメータａ）によって定められる。例えば、接点はｙ切片であり、傾きはこの点での勾配の方向によって定められる。ユーザが提供する入力、すなわちコリメーション線設定は、候補のうちの１つへの近さに基づいてコリメーション緊密さを定める。残りのコリメーション設定線は、キーポイント記述子を使用して、そのような近位候補との類似性に基づいて選択される。
【0140】
図１０は、オートエンコーダ構成の事前に訓練されたエンコーダステージに基づいてコリメータパラメータを計算するための、上記特徴マップをベースとした処理を示す図である。Ａ）入力画像、例えば現在の取得画像Ｉ０はエンコーダステージＥＣによって処理され、Ｂ）特徴マップφが生成される。Ｃ）任意選択で入力画像のサイズに一致するようにサイズを再調整された特徴マップは、セグメント化可能な画像のように取り扱われる。特徴マップは、滑らかな境界部分を有するセグメントｂを含むことができる。Ｄ）勾配の大きさおよび位相、または他の特徴が特徴マップから抽出され得る。特徴マップはヒートマップに処理されてもよく、以後処理されるのは、（元の）特徴マップではなくヒートマップである。特徴マップのセグメント化されたセグメントは、特徴マップ上の各位置で、または、例えばｋ平均法クラスタリングアルゴリズムもしくは当技術分野で知られている他のアルゴリズム（閾値処理、領域成長、動的輪郭、色に基づく方法）を使用して抽出された特徴マップ内の各セグメントで計算されたキーポイント記述子とオーバーレイされてもよい。Ｅ）入力ｕは線（点線で示されている）として、好ましくは、対応する記述子で特徴マップと交差する線としてユーザによって提供される。下の行Ｆ）～Ｉ）はユーザシナリオを示している。Ｆ）例えば、ユーザは、コリメーション緊密さのレベルを定める可能性があるフィードバックを提供する。例えば、適度なコリメーション緊密さは、関心領域（例えば、器具の投影フットプリント）から遠く離れた線で表される。例えば、より高い緊密さレベルの場合、提供される線は器具のフットプリントにより近い。Ｈ）ウェッジおよびＩ）シャッターコリメーション線が提案され、拡張画像および元のＸ線画像のうちのいずれかまたは両方に重ねられ得る。拡張画像は、元のＸ線画像とヒートマップ／特徴マップを合成することによって取得される。
【0141】
図１１は、例えば図８から図１０で上述したように、オートエンコーダなどのニューラルネットワークアーキテクチャの特徴マップを処理することによって得られる結果を示す図である。Ｘ線画像は僧帽弁クリップの移植処置を表す。上の行（Ａ、Ｂ）では緊密なコリメーションが示されているのに対し、下の行（Ｃ、Ｄ）では適度なコリメーションが示されている。
【0142】
図５に従ってコリメーションパラメータを予測することは、特にユーザ入力が不正確である場合、ピクセルデータの小さなパッチ（ＲＯＩ指定データ「ａ」）からは実行できない可能性があることが理解され得る。あるいは、図５に従ってコリメーションパラメータを予測することは、用途固有である可能性がある。図６から図１０の特徴マップに基づく実施形態はこれに対処する。図６の実施形態は、好ましくは最後の特徴マップ上でセグメンテーション演算を使用する。この実施形態の考えられる欠点は、グラウンドトゥルースコリメーションマスクを必要とすることである。図８から図１０の実施形態では、まず特徴抽出が適用されて特徴マップから（リッチな）特徴が抽出され、コリメータ設定パラメータは、特徴マップとして表される抽出された特徴に基づく。図８から図１０の実施形態はグランドトゥルースを必要としないため、教師なしで訓練することができる。図６、図８の実施形態を比較すると、次のように要約できる。図６の実施形態はセグメンテーションネットワークを表す。デコーダＤＣからの最後の（または他の）特徴マップが、コリメーション線を計算するために使用される。図８の実施形態は特徴抽出ネットワークを表す。典型的にはエンコーダ経路（コードｘを含む）の中の、任意の隠れ層における任意の中間特徴層を使用してコリメーション線を計算することができる。
【0143】
ここで図１２を参照すると、図１２は、好ましくは上記機械学習モデルに基づいて、コリメータ調整を容易にする方法のフローチャートを示す。しかし、以下に説明するステップは、必ずしも上記モデルに結び付けられるわけではないことを理解されたい。代わりに、上記のように、任意のエンドツーエンドまたは非エンドツーエンドのＭＬモデルを使用でき、任意選択で、ＭＬを用いたまたは用いない特徴マップベースの追加処理が使用され得る。
【0144】
ステップＳ１２１０において、入力データが受信される。入力データには、現在のＸ線投影画像および／またはユーザによって供給されたデータが含まれ得る。ユーザデータは、グラフィカルユーザインターフェースなどの適切なユーザ入力デバイスによって供給される。ＧＵＩはタッチスクリーンベースなどであってもよい。あるいは、ユーザデータ入力データは、ボタン、ジョイスティック、レバー、ハンドルなどの物理的アクチュエータの操作によって、好ましくはエンコードされたトラッカー、眼球運動トラッキング、ジェスチャ認識などを使用して生成される。
【0145】
入力データは、０～１の単一の数値、または他の（有限の）範囲内のコリメータ緊密さパラメータを含み得る。加えて、または代わりに、入力データは、所望のコリメータ設定の不完全な記述を含むことが好ましい。例えば、ユーザ入力データは、好ましくはコリメーション設定を完全に指定するために必要な線の総数よりも少ない単一または複数のコリメータ線を含むことができる。本明細書では、そのような１つ以上のコリメータ線と同等なまたは対応する他の入力データも想定される。１つ以上のコリメータ線などのユーザ入力データは、入力画像内で指定されてもよい。
【0146】
ステップＳ１２２０で、入力データは、訓練データに基づいて事前に訓練された機械学習モデルを使用して処理される。ステップＳ１２２０は、機械学習モデルによってエンドツーエンドで実装することができる。入力データがモデルに供給されて、機械学習モデルの最終層において、適切に補完、改善、または他の方法で追加された所望のコリメーション設定を表す回帰結果が生成される。最終層での処理は活性化関数による処理を含まないことが好ましい。
【0147】
さらに、または代替的な実施形態では、機械学習モデルの最終層での活性化を用いずに生成された最終結果を使用するのではなく、代わりに、補完されたコリメータ設定パラメータｌ’を計算するためにステップＳ１２２０で使用される隠れ層の出力が使用される。出力は、隠れ層の特徴マップとして生成される。特徴マップの処理には、非線形活性化関数の使用が含まれ得る。所与の隠れ層の活性化関数がロジットに適用される。ロジットは、畳み込みまたは転置畳み込みなどの他の演算を使用して手前の層の出力を処理することによって取得される。
【0148】
この特徴マップベースの実施形態では、解析的非機械学習ベースのセグメント化アルゴリズムを使用して特徴マップまたはヒートマップをセグメント化することができる。特徴マップ／ヒートマップ自体は、ステップＳ１２１０で受信された入力画像と同じサイズを有するように適切にスケーリングされ得る。セグメンテーションには、特徴マップから特徴を抽出することが含まれてもよい。したがって、特徴マップは画像のように扱われ、処理される。セグメンテーション演算はＳＩＦＴなどの特徴ベースのものであってもよい。セグメンテーション演算により、特徴マップ内に個々のセグメントが取得され得る。
【0149】
このような特徴マップベースの実施形態では、補完されたコリメータ設定パラメータを計算するために使用されるのは、特徴マップのセグメント（スケーリングされた、またはされていない）である。実施形態では、セグメント化された特徴マップが計算されると、１つ以上のセグメントの指定に関する（さらなる）ユーザ入力がユーザから受信される。セグメントに基づいて、および任意選択で、初めに提供されたユーザ入力を使用して、コリメータ線などのコリメータ設定パラメータが計算される。コリメータ線は、指定されたセグメントのエッジとして計算され得る。エッジは、必要なコリメーション緊密さでコリメータ設定を提供するために、セグメントから必要なクリアランスを有するように計算され得る。活性化関数により、セグメントの境界は滑らかである可能性がある。さらなるユーザ入力は、滑らかな境界上のわずか１点の指定を含み得る。したがって、補完コリメータ線は、その点における特徴マップ値の境界部分の等値線として計算され得る。したがって、境界部分を越えてセグメントから遠ざかるにつれて一般に境界部分の値が減少するため、この値は緊密さパラメータを指定し得る。したがって、特徴マップ内にエンコードされた活性化関数の値は、所望のコリメータ緊密さの指標として本明細書では利用され得る。セグメントの部分の値は、上記のように、所望のセグメンテーションを見つけるために特徴マップ全体にわたって等値線を構築することによって使用され得る。あるいは、ユーザが隠れ層の活性化関数の閾値を調整して、境界遷移の滑らかさが異なる構造を備えた複数の異なる特徴マップのバージョンを生成することによって、所与の緊密さレベルのコリメータ線が取得される。したがって、このような構造をセグメント化すると、求められているコリメータ線を異なる緊密さで表す複数のエッジが得られる。
【0150】
したがって、実施形態では、（さらなる）入力は、所望のコリメータ緊密さを示す単なるスカラー値であり、次いで、この値を使用して、特徴マップから完全なコリメータ設定パラメータが計算される。ユーザ入力は、それぞれのセグメントの指定をさらに含み得る。
【0151】
ステップＳ１２３０では、計算されたセグメンテーション設定パラメータが出力され、ステップＳ１２１０で受け取った初期の現在の入力画像上に重ねて表示されるか、または、計算された補完されたコリメータ設定パラメータが撮像装置のコリメータブレードアクチュエータに適用されて、所望のコリメーションが実現される。
【0152】
ステップＳ１２４０で、現在の撮像ジオメトリがユーザによって変更されたかが確認される。変更されている場合、コリメータ設定は破棄され、前のステップＳ１２２０～Ｓ１２３０が繰り返されるが、繰り返しでは、新しい撮像ジオメトリの撮像装置によって取得された新しい視野を表す新しい画像に基づいてステップが実行される。
【0153】
入力が１つ以上の画像を含む図６から図１０などの実施形態では、これは、Ｃアームの位置、フッ素フレーバー、処置カード、処置フェーズの識別、画像内のデバイスの識別、プロトコル設定、システムログファイルなどのイメージャシステムＩＡの他のコンテキスト情報によってさらに強化され得る。このコンテキストデータは画像データと一緒に処理され得る。処理は、別個の層のストランド内で行うことができ、好ましくは、コンテキストデータに関する特徴マップを取得するために全結合されている。コンテキストデータに関する特徴マップは、画像データの処理中に生成される特徴マップと連結され得、その結果、マルチチャネル特徴マップが得られる可能性がある。
【0154】
図５、図６、および図８における上記モデルのいずれかにおいて、入力ｕは、上記のように単一の（現在の）画像Ｉ０を含むだけでなく、一連の画像を含み得る。一連の画像
は同一の取得において取得され、１つ以上の異なる前の時点での画像を表し得る。前の時点（例えば、所与のＸ線透視の実行のための）からの追加画像を含めることは、特に頻繁にＦＯＶを変更する撮像処置でパフォーマンスを向上させるのに有益である可能性がある。例えば、所与の投影方向についてＦＯＶが拡大または制限される再コリメーションでは、特定の画像特徴が再び表示されたり消えたりする可能性がある。しかし、同じ投影方向について前の時点の前の画像を使用すると、さもなければ消えてしまう特徴の一部を保持できるため、パフォーマンスが向上する。例えば、撮像の開始時（コリメーション前）には通常、大きなＦＯＶがある。コリメーションが適用されると、解剖学的構造の一部が消え、ＦＯＶが縮小する。したがって、特徴量が少なくなり、提案される方法の精度が低くなる可能性がある。前の１つ以上のフレーム（コリメーション前）を保持し、現在のＦＯＶについてこれらを同時圧縮すると、パフォーマンスおよび学習がより安定かつロバストになる。複数の画像フレーム処理を伴うそのような実施形態では、所与の実行についての特定の数の前のフレームが、現在のフレームを含む３Ｄ画像ブロックとして処理され得、１つの次元は時間を表す。マルチチャネル処理は、上記したようにコンテキストデータ処理に使用され得る。複数の画像フレーム処理を伴うそのような実施形態では、そのような時間依存データのより効率的な処理のためにリカレント層を使用することができる。
【数10】
【0155】
【0156】
まず図１３を参照すると、モデルＭを訓練するための訓練システムＴＳが示されている。訓練動作は、モデルパラメータ、すなわち、図５から図１０で論じたニューラルネットワークの重み、または他のニューラルネットワークタイプのモデルの重み、または非ニューラルネットワークタイプのＭＬモデルの重みを学習することを含む。
【0157】
訓練データはｋ組のデータ（ｘｋ，ｙｋ）で構成され、ｋは数十、数百、または数千に達する可能性がある。訓練データは、各ペアｋに対して、訓練入力データｘｋと、関連づけられたターゲットｙｋとを含む。したがって、訓練データは、特に図５または図６のモデルのような教師あり学習スキームの場合、ｋ個のペアで編成される。図５のモデルには、画像と、線パラメータのセット（ａｉ、ｂｉ）とからなるデータペアが必要である。一方、図６のモデルでは、画像と「ソフト」コリメーションマスクとからなるデータペアが必要である。コリメーションマスクのサイズは入力画像のサイズと一致する。しかし、本明細書では、図８から図１０で上述したオートエンコーダタイプのネットワークなどの教師なし学習スキームも想定されており、この場合、訓練データは、２つの同一の画像からなる「自明な」ペアとして構成される（例えば、（ｘｋ，ｘｋ）、ｘｋは画像）。
【0158】
教師あり学習の場合、訓練入力データｘｋは、以前の患者症例に対して取得された履歴Ｘ線投影画像データから取得され、例えばＨＩＳ（病院情報システム）のＰＡＣＳなどの画像リポジトリに保持される。ターゲットｙｋまたは「グラウンドトゥルース」は、例えばラベルを表し得る。
【0159】
例えば、図５または他の教師あり学習スキームによるモデルＭの訓練データセットは、複数の異なる処置から取得され、比較的多数の患者集団からサンプリングされた、比較的多数の好ましくは（独立した）異なる画像Ｉｋ（ｋ＝１・・・Ｎ＞＞３０）から生成され得る。グラウンドトゥルースデータは専門家ユーザによって生成され得る。各専門家ユーザは訓練画像を見て、所望のコリメータ設定パラメータを選択する。訓練画像には、履歴画像で表現されている完全なコリメーションを隠すことによって取得可能な部分的コリメータ設定が含まれ得る。したがって、専門家ユーザは、ラベルを付ける際に、専門知識を使用して欠落しているコリメーションパラメータを推測する。したがって、ラベル付け練習は「ゲーム」として組織および管理され得る。コリメータ設定パラメータは、コリメータブレードの位置を表すことができ、上述したようにコリメータ線の係数ａ、ｂを有するパラメータ方程式によって表すことができる。線は直線であっても曲線であってもよい。任意のサイズのピクセルのパッチをそれぞれの線の周囲で抽出し、パラメータ（ａ，ｂ）と組み合わせて、訓練入力画像に関連付けられた２タプルとしてメモリに保存できる。
【0160】
図６で説明したエンコーダーデコーダスキームでは、専門家ユーザが提供するコリメータ設定パラメータからコリメーションマスクが作成される。例えば、交差するコリメーション線によって包囲される可能な最大の領域を生成することによって作成される。図８で説明したオートエンコーダスキームでは、ラベルは必要なく、グラウンドトゥルースは訓練入力ｙｋ＝ｘｋに等しくなる。
【0161】
訓練にコンテキストデータが含まれる場合、図６に関連して上で説明したマルチストランドモデルなどにおいてそうであるように、任意のペアｋのターゲットｙｋには一般にコンテキストデータは含まれない。言い換えれば、コンテキストデータを使用した学習の場合、ペアは一般に（（ｘｋ，ｃ），ｙｋ）の形式を有し、非画像コンテキストデータｃは訓練入力ｘｋにのみ関連付けられ、ターゲットｙｋには関連付けられない。
【0162】
訓練段階では、図５から図１０に示すＣＮＮネットワークなどの機械学習モデルＭのアーキテクチャに、重みの初期セットが事前に設定される。重みを事前設定するために、ランダムな初期化、または同一に分配された訓練データによる合成もしくは独立上の事前訓練、または組み合わせが使用され得る。モデルＮＮの重みθはパラメータ化Ｍθを表し、訓練システムＴＳの目的は、訓練データ（ｘｋ，ｙｋ）ペアに基づいてパラメータθを最適化および調整することである。言い換えれば、学習は、コスト関数Ｆが最小化される最適化スキームとして数学的に定式化できるが、代わりに効用関数を最大化する二重定式化を使用することもできる。
【0163】
ここでコスト関数Ｆのパラダイムを仮定すると、これは集約された残差、すなわち、ニューラルネットワークモデルＮＮによって推定されたデータと、訓練データペアｋの一部または全てに係るターゲットとの間の誤差を測定する。
式（１）では、関数Ｍ（）は入力ｘに適用されたモデルＭの結果を示す。
【数11】
【0164】
具体的には、図５のネットワークＭは、入力データを欠落があるコリメータ線のパラメータに回帰するタスクで事前に訓練されている。したがって、回帰は、パラメトリックな方法でコリメータ線を定義する１つ以上の係数「ａ」（ｘ切片）および「ｂ」（ｙ切片）になり得る。ネットワーク図５は、予測された線と、ラベル付けタスクで専門家ユーザによって選択された可能性がある関連づけられたターゲット線とを比較するＭＳＥ損失関数Ｆを使用して訓練され得る。他のコスト関数が使用されてもよい。
【0165】
図６から図１０の特徴マップに基づく処理では、モデルＭはオートエンコーダであることが好ましく、そのタスクは入力画像をそれ自体に回帰することである。非オートエンコーダネットワークが特徴マップベースの処理に使用される場合、任意のネットワークＭを使用でき、これは、デプロイ中に遭遇する可能性が最も高いシナリオを表す訓練画像を使用して、任意のタスク分類または回帰上で訓練され得る。例えば、ネットワークＭを訓練して、ＴＥＥプローブやガイドワイヤなどのＸ線画像上の物体を画像検出することができる。この実施形態では、適切な深さの隠れ層からの内部特徴マップのみが使用されるため、タスクは無関係である。オートエンコーダでは、好ましい特徴マップはコードであり、エンコーダＥＣ部分の最後の畳み込み層で生成される特徴マップである。より具体的には、図６から図１０のオートエンコーダタイプのネットワークは、教師なし特徴学習パラダイムを使用して訓練されることが好ましい。エンコーダサブネットワークＥＣは、入力画像と一致するようにデコーダＤＣによってデコード可能な、低次元の潜在表現であるコードｘに縮減された最も適合性の高い特徴を学習すると仮定される。入力と出力との間の一貫性は、損失関数Ｆとして、平均二乗誤差（ＭＳＥ）、平均絶対誤差（ＭＡＥ）、構造的類似性（ＳＳＩＭ）、バイナリクロスエントロピー、敵対的損失、またはこれらの任意の組み合わせのいずれかを使用して最適化され得る。
【0166】
訓練では、訓練ペアの訓練入力データｘｋが、初期化されたネットワークＭを通される。具体的には、ｋ番目のペアの訓練入力ｘｋが入力ＩＬで受信され、モデルを通過し、出力訓練データＭθ（ｘ）として出力ＯＬで出力される。上記コスト関数Ｆ（例えば、ｐノルムまたは二乗差分など）のいずれかによって実装される適切な尺度｜｜・｜｜が、モデルＭによって生成される実際の訓練出力Ｍθ（ｘｋ）と、所望のターゲットｙｋとの間の差（本明細書では残差とも呼ばれる）を測定する。
【0167】
出力訓練データＭ（ｘｋ）は、適用される入力訓練画像データｘｋに関連付けられたターゲットｙｋの推定値である。一般に、この出力Ｍ（ｘｋ）と、現在考慮されているｋ番目のペアの関連づけられたターゲットｙｋとの間には誤差がある。逆方向／順方向伝播または他の勾配ベースの方法などの最適化スキームを使用して、モデルＭのパラメータθを調整し、考慮されているペア（ｘｋ，ｙｋ）、または完全な訓練データセットからの訓練ペアのサブセットの残差を減らすことができる。
【0168】
モデルのパラメータθが現在のペア（ｘｋ，ｙｋ）についてアップデータＵＰによって更新される第１のインナーループで１回以上の反復が行われた後、訓練システムＴＳは第２のアウターループに入り、次の訓練データペアｘｋ＋１，ｙｋ＋１が処理される。アップデータＵＰの構造は、使用される最適化スキームによって異なる。例えば、アップデータＵＰによって管理されるインナーループは、順方向／逆方向伝播アルゴリズムにおける１つ以上の順方向および逆方向経路によって実装され得る。パラメータを調整する間、目的関数を改善するために、現在のペアまでの全ての訓練ペアの集計された、例えば総和された残差が考慮される。集計された残差は、目的関数Ｆを、式（１）のように、各ペアの考慮された残基の一部または全ての平方残差の和として構成することによって形成され得る。二乗和の代わりに他の代数的組み合わせも想定されている。
【0169】
任意選択で、１つ以上のバッチ正規化演算子（「ＢＮ」、図示せず）が使用され得る。バッチ正規化演算子はモデルＭに組み込むことができ、例えば層内の１つ以上の畳み込み演算子に結合することができる。ＢＮ演算子を使用すると、勾配の消失効果、つまりモデルＭの学習フェーズにおける勾配ベースの学習アルゴリズム中に発生する前方経路と後方経路の繰り返しで勾配の大きさが徐々に減少することを軽減できる。バッチ正規化演算子ＢＮは訓練で使用され得るが、デプロイで使用されてもよい。
【0170】
図１３に示す訓練システムは、全ての学習スキーム、特に教師ありスキームに関して考慮できる。本明細書では、代替的な実施形態において教師なし学習スキームも想定され得る。ＧＰＵまたはＴＰＵを使用して訓練システムＴＳが実装され得る。
【0171】
完全に訓練された機械学習モジュールＭは、１つ以上のメモリまたはデータベースに保存され得、本明細書で提案されるユーザ支援システムＵＳＹＳで使用される事前訓練された機械学習モデルとして利用可能にされ得る。訓練済みモデルＭはクラウドサービスで利用可能であってもよい。アクセスは無料で提供することも、ライセンス支払いまたは使用量ごとの支払い方式で使用を許可することもできる。
【0172】
ここで図１４を参照すると、上記実施形態のいずれかにおいて機械学習モデルを訓練する方法のフローチャートが示されている。
【0173】
適切な訓練データセットが図１３で説明したように取得される。好ましくは、教師あり学習スキームが本明細書では想定されるが、教師なし学習設定も本明細書で想定されるため、これは必須ではない。
【0174】
教師あり学習では、訓練データは適切なデータ項目ペアを含み、各ペアは訓練入力データを含み、それに関連付けられたターゲット訓練出力データを含む。画像は、上述したように、ＰＡＣＳまたは他のデータリポジトリなどの過去の患者記録から取得することができる。
【0175】
引き続き図１４を参照すると、ステップＳ１４１０で、訓練データがペア（ｘｋ，ｙｋ）の形式で受信される。各ペアには、訓練入力ｘｋと関連づけられたターゲットｙｋが含まれる。ｘｋは上記の図１３で定義された通りである。
【0176】
ステップＳ１４２０で、訓練入力ｘｋが初期化された機械学習モデルＮＮに適用されて、訓練出力が生成される。
【0177】
関連づけられたターゲットｙｋからの訓練出力Ｍ（ｘｋ）のずれ、つまり残差がコスト関数Ｌによって定量化される。ステップＳ１４３０において、モデルの１つ以上のパラメータがインナーループにおける１回以上の反復で調整され、コスト関数が改善される。例えば、モデルパラメータは、コスト関数によって測定される残差を減少させるように調整される。パラメータは、特に人工ニューラルネットワークＭの重みを含む。
【0178】
次に、訓練方法は、アウターループでステップＳ１４１０に戻り、訓練データの次のペアが供給される。ステップＳ１４２０では、考慮される全てのペアの集計された残差が減少するように、特に最小化されるように、モデルのパラメータが調整される。コスト関数は集計された残差を定量化する。順方向ー逆方向伝播または同様の勾配ベースの技術をインナーループで使用することができる。
【0179】
より一般的には、モデルＮＮのパラメータは、コスト関数または効用関数のいずれかである目的関数Ｆを改善するように調整される。実施形態では、コスト関数は、集計された残差を測定するように構成される。実施形態では、残差の集計は、考慮される全てのペアの全てまたは一部の残差の総和によって実装される。特にオートエンコーダタイプのＮＮネットワーク実施形態において、教師なし学習が使用される場合、ｘｋ＝ｙｋであるペアは存在しないか、または「公称」ペアしか存在しない。
【0180】
方法は、好ましくは訓練を高速化するために並列処理が可能なプロセッサを有する、１つ以上の汎用処理ユニットＴＳ上で実装され得る。訓練システムＴＳのコンポーネントは、１つ以上のソフトウェアモジュールとして実装され得、イメージャＩＡに関連付けられたワークステーションなどの１つ以上の汎用処理ユニットＰＵ上で実行されるか、または複数のイメージャを含むグループに関連付けられたサーバコンピュータ上で実行され得る。
【0181】
システムＵＳＹＳおよび関連する方法は、主にＸ線撮影を参照して説明されているが、これは他の用途、例えば、放射線治療のためのコリメータ調整、例えば、マルチリーフコリメータまたはリニアアクセラレータデバイスなどの他の用途を排除するものではない。本明細書では、外部ビーム放射線治療または陽子線治療（例えば、眼科治療などにおける）のためのコリメーションも想定されている。
【0182】
画像システムＵＳＹＳのコンポーネントは、１つ以上のソフトウェアモジュールとして実装され得、イメージャＸＩに関連付けられたワークステーションなどの１つ以上の汎用処理ユニットＰＵ上で実行されるか、または複数のイメージャを含むグループに関連付けられたサーバコンピュータ上で実行され得る。
【0183】
あるいは、画像処理システムＩＰＳの一部または全てのコンポーネントが、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）などの適切にプログラムされたマイクロコントローラもしくはマイクロプロセッサなどのハードウェア内に配置されたり、またはハードワイヤードＩＣチップ、特定用途向け集積回路（ＡＳＩＣ）として配置されたり、撮像システムＸＩに組み込まれたりし得る。さらに別の実施形態では、画像処理システムＩＰＳは、部分的にソフトウェアおよび部分的にハードウェアの両方で実装することができる。
【0184】
画像処理システムＩＰＳの様々なコンポーネントは、単一のデータ処理ユニットＰＵ上に実装され得る。あるいは、いくつかのまたはより多くのコンポーネントが複数の異なる処理ユニットＰＵ上に実装され、処理ユニットは場合によっては分散アーキテクチャでリモート配置されており、クラウド環境またはクライアント－サーバ構成、Ｗｅｂホスト型サービスなどの適切な通信ネットワークにおいて接続可能である。これにより、単一の医療施設または複数の医療施設にわたって、地理的に分散した複数の撮像サイトにサービスを提供することができる。
【0185】
本明細書に記載される１つ以上の特徴は、コンピュータ可読媒体内にエンコードされた回路として、もしくはそのような回路を用いて、および／またはそれらの組み合わせで構成または実装され得る。回路は、ディスクリートおよび／または集積回路、システムオンチップ（ＳＯＣ）、およびこれらの組み合わせ、マシン、コンピュータシステム、プロセッサおよびメモリ、コンピュータプログラムを含み得る。
【0186】
本発明の他の例示的な実施形態では、適切なシステム上で、上述の実施形態のうちの１つに係る方法の方法ステップを実行するよう構成されることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。
【0187】
したがって、コンピュータプログラム要素は、本発明の実施形態の一部であってもよいコンピュータユニットに保存されてもよい。このコンピューティングユニットは、上記方法のステップを実行するよう、またはその実行を誘導するよう構成され得る。さらに、上記装置の構成要素を操作するよう構成されてもよい。コンピューティングユニットは、自動的に動作するようにかつ／またはユーザの指示を実行するように構成することができる。コンピュータプログラムは、データプロセッサの作業メモリにロードされてもよい。したがって、データプロセッサは、本発明の方法を実行するよう構成されてもよい。
【0188】
本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラム、および、更新によって既存のプログラムを、本発明を使用するプログラムに変更するコンピュータプログラムの両方をカバーする。
【0189】
さらに、コンピュータプログラム要素は、上記の方法の例示的な実施形態の手順を満たすために必要な全てのステップを提供することが可能であり得る。
【0190】
本発明のさらなる例示的実施形態によれば、上記のようなコンピュータプログラム要素が保存されたＣＤ－ＲＯＭ等のコンピュータ可読媒体が提示される。
【0191】
コンピュータプログラムは、他のハードウェアとともにまたは他のハードウェアの一部として供給される光学記憶媒体またはソリッドステート媒体等の適切な媒体（特に、必須ではないが、非一時的媒体）上で保存および／または分配されてもよいし、インターネットまたは他の有線もしくは無線テレコミュニケーションシステムを介して等の他の形態で分配されてもよい。
【0192】
しかし、コンピュータプログラムは、ワールドワイドウェブのようなネットワークを介して提供され、かかるネットワークからデータプロセッサの作業メモリにダウンロードされてもよい。本発明の他の例示的な実施形態によれば、コンピュータプログラム要素をダウンロード可能にするための媒体が提供され、コンピュータプログラム要素は、本発明の上記実施形態の１つによる方法を実行するように構成される。
【0193】
本発明の実施形態は、異なる主題を参照して説明されていることに留意されたい。特に、一部の実施形態は方法タイプのクレームを参照して記載される一方、他の実施形態は装置スタイプのクレームを参照して記載される。しかし、当業者は上記及び下記の説明から、特に明記されない限り、１つのタイプの主題に属する特徴の組み合わせに加えて、異なる主題に関連する特徴の任意の組み合わせが、この出願に開示される解されることを理解するであろう。ただし、機能の単純な相加以上の相乗効果を提供するよう全ての機能が組み合わせ可能である。
【0194】
本発明は、図面及び上記において詳細に図示及び記載されているが、かかる図示及び記載は説明的又は例示的であり、非限定的であると考えられるべきである。本発明は、開示の実施形態に限定されない。開示の実施形態の他の変形例が、図面、開示、及び従属請求項から、クレームされる発明に係る当業者によって理解及び実施され得る。
【0195】
特許請求の範囲において、「備える／含む」という用語は他の要素またはステップを排除するものではなく、単数形の要素は複数を除外しない。単一のプロセッサ又は他のユニットが、請求項に記載される複数のアイテムの機能を果たし得る。複数の手段が互いに異なる従属請求項に記載されているからといって、これらの手段の組み合わせが好適に使用することができないとは限らない。特許請求の範囲内のいかなる参照符号も、その範囲を限定するものと解釈されるべきではない。
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A)】
【図11B)】
【図11C)】
【図11D)】
【図12】
【図13】
【図14】
【国際調査報告】