IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コーニンクレッカ フィリップス エヌ ヴェの特許一覧

特表2024-536163診断用医用撮像におけるサーベイ走査に関する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-04
(54)【発明の名称】診断用医用撮像におけるサーベイ走査に関する方法
(51)【国際特許分類】
   A61B 6/03 20060101AFI20240927BHJP
【FI】
A61B6/03 560G
A61B6/03 560T
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024519373
(86)(22)【出願日】2022-09-29
(85)【翻訳文提出日】2024-04-15
(86)【国際出願番号】 EP2022077121
(87)【国際公開番号】W WO2023052507
(87)【国際公開日】2023-04-06
(31)【優先権主張番号】21200527.6
(32)【優先日】2021-10-01
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Koninklijke Philips N.V.
【住所又は居所原語表記】High Tech Campus 52, 5656 AG Eindhoven,Netherlands
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人M&Sパートナーズ
(72)【発明者】
【氏名】デシュパンデ リシケーシュ ナーラーヤンラーオ
(72)【発明者】
【氏名】シュミット ホルガー
(72)【発明者】
【氏名】セネガス ジュリアン トーマス
(72)【発明者】
【氏名】ゴトマン ショロモ
(72)【発明者】
【氏名】ネッシュ トーマス
(72)【発明者】
【氏名】ベルコルト マーティン
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA22
4C093BA10
4C093CA17
4C093FF42
4C093FF45
(57)【要約】
診断用の医用撮像におけるサーベイ走査に関する方法である。少なくとも1つの態様は、当初の3D画像データセット(例えば、サーベイ画像データセット)の処理に基づき、医用撮像装置のための取得パラメータの定義されたセットに従い、機械学習モデルを用いて、医用画像データのシミュレーションを生成するための方法に関する。

【特許請求の範囲】
【請求項1】
第1の画像データに基づき医用撮像走査データのプレビューをシミュレートするためのコンピュータ実施方法であって、前記コンピュータ実施方法は、
第1の走査で得られた患者の解剖学的構造の3D画像データである第1の画像データを、医用撮像装置から受け取るステップと、
前記解剖学的構造上で行われる以後の撮像走査のため、1つ又は複数の候補撮像走査パラメータの少なくとも第1のセットの指標を得るステップと、
データストアから機械学習モデルを読み出すステップであって、前記機械学習モデルは、画像間の変換を行うようにトレーニングされており、解剖学的構造の3D画像データセットの少なくとも部分集合を入力として受け取り、前記解剖学的構造のシミュレートされた画像データを出力として生成し、シミュレートされた前記画像データは、前記1つ又は複数の候補撮像走査パラメータの少なくとも第1のセットを用いて動作させた場合に前記医用撮像装置から取得される前記画像データの期待される外見をシミュレートする、読み出すステップと、
シミュレートされた画像データを得るために、前記機械学習モデルを使用して、前記第1の画像データを処理するステップと、
第2の走査において、撮像走査パラメータの第2のセットで前記医用撮像装置を使用して、前記解剖学的構造の第2の画像データを取得するステップであって、前記撮像走査パラメータの第2のセットは前記撮像走査パラメータの第1のセットと同一又は異なってもよい、第2の画像データを取得するステップと、
を有する、コンピュータ実施方法。
【請求項2】
前記第1の画像データは、前記第2の画像データより低い空間解像度を有する、及び/又は
前記第1の走査は前記第2の走査より低い放射線量を与える、請求項1に記載のコンピュータ実施方法。
【請求項3】
前記シミュレートされた画像データの視覚的表現を表示するようにユーザインターフェースを制御するステップを有する、請求項1又は2に記載のコンピュータ実施方法。
【請求項4】
前記機械学習モデルの複数のバージョンを記憶しているデータストアにアクセスするステップであって、各々のそれぞれのバージョンは、候補走査パラメータの異なるそれぞれのセットで動作させた前記医用撮像装置から取得された場合に、前記入力画像データの期待される外見をシミュレートするシミュレートされた画像データを出力するようにトレーニングされている、アクセスするステップと、
得られた前記候補撮像走査パラメータの少なくとも第1のセットに応じて、前記機械学習モデルの前記複数のバージョンの中の1つを前記データストアから読み出すステップと、
読み出された前記バージョンを、受け取られた前記第1の画像データに適用するステップと、
を有する、請求項1から3のいずれか一項に記載のコンピュータ実施方法。
【請求項5】
走査パラメータの各候補セットに対して、前記機械学習モデルの中の1つを前記データストアから読み出すステップと、前記機械学習モデルを前記走査パラメータの候補セットに適用するステップとに基づき、候補撮像走査パラメータの複数のセットの各々に対し、シミュレートされた画像データの複数のセットを生成するステップを有する、請求項4に記載のコンピュータ実施方法。
【請求項6】
シミュレートされた画像データの各セットの視覚的表現と、シミュレートされた画像データの各セットに対応する前記候補走査パラメータの指標とを表示するように、ユーザインターフェースを制御するステップと、
前記ユーザインターフェースから、前記走査パラメータの前記候補セットのうちの1つの候補セットのユーザによって示された選択を受け取るステップと、
を有し、前記第2の画像データを取得するために使用される前記走査パラメータの第2のセットは、前記ユーザ選択によって定義される、請求項5に記載のコンピュータ実施方法。
【請求項7】
前記走査パラメータの前記候補セットのうちの1つの候補セットの前記ユーザによって示された選択がシミュレートされた画像データの表示されたセットのうちの1つの表示されたセットのユーザ選択を通じて達成されるように、前記ユーザインターフェースを制御するステップを有する、請求項6に記載のコンピュータ実施方法。
【請求項8】
候補撮像走査パラメータのカスタムセットをユーザが定義することを可能にするユーザコントロールをユーザインターフェース上に提供するステップと、
候補撮像走査パラメータのユーザによって定義されたカスタムセットを、前記ユーザインターフェースから受け取るステップとを有し、
前記機械学習モデルを前記データストアから読み出すステップは、候補撮像走査パラメータの前記ユーザによって定義されたカスタムセットを用いて取得された画像データの前記外見をシミュレートするシミュレートされた画像データを生成するようにトレーニングされた機械学習モデルを読み出すステップを含み、
前記方法は、前記機械学習モデルから出力されたシミュレートされた前記画像データをユーザインターフェース上に表示するステップを更に有する、請求項1から7のいずれか一項に記載のコンピュータ実施方法。
【請求項9】
前記ユーザコントロールを経由する前記ユーザによる前記カスタム走査パラメータの変更は、前記カスタム走査パラメータを用いて取得された画像データの前記外見をシミュレートするようにトレーニングされた機械学習モデルを読み出すことによって、変更された前記カスタム走査パラメータに従って新たなシミュレートされた画像データの生成を自動的にトリガする、請求項8に記載のコンピュータ実施方法。
【請求項10】
シミュレートされた前記画像データに対する品質インジケータを導出するため、シミュレートされた前記画像データに品質評価を適用するステップを更に有する、請求項1から9のいずれか一項に記載のコンピュータ実施方法。
【請求項11】
シミュレートされた画像データの各々のセットに対する品質インジケータを導出するために、シミュレートされた画像データの各々のセットに品質評価を適用するステップと、
のシミュレートされた画像データの異なるセットに対する前記品質インジケータの比較に基づいて、前記候補走査パラメータのセットの中の1つを選択するステップとを有し、
前記走査パラメータの第2のセットは、前記選択に従って設定され、前記第2の画像データの取得は、前記選択の後で自動的にトリガされる、請求項5に従属する請求項10に記載のコンピュータ実施方法。
【請求項12】
シミュレートされた前記画像データの視覚的表現を表示するように、ユーザインターフェースを制御するステップと、
シミュレートされた前記画像データの表示の後で、前記ユーザインターフェースから、ユーザにより指示され調整された候補撮像走査パラメータのセットを受け取るステップとを更に有し、
受け取られ調整された前記候補撮像走査パラメータのセットは、前記走査パラメータの第2のセットとして使用される、請求項1から11のいずれか一項に記載のコンピュータ実施方法。
【請求項13】
前記機械学習モデルは深層学習機械学習モデルであり、好ましくは、前記機械学習モデルは敵対的生成ネットワーク(GAN)の使用を採用する、請求項1から12のいずれか一項に記載のコンピュータ実施方法。
【請求項14】
前記第1の候補走査パラメータを調整することにより前記第1の走査パラメータとは異なる第2の走査パラメータを導くステップを更に有し、
前記第2の走査パラメータを導くための前記第1の走査パラメータの調整は、ユーザインターフェースから受け取られたユーザ入力に応じて行われる、及び/又は
前記第2の走査パラメータを導くための前記第1の走査パラメータの調整は、自動化された調整動作によって少なくとも部分的に、例えば、シミュレートされた前記画像データの処理から導かれた品質評価インジケータに基づくなど、導かれシミュレートされた前記画像データに適用された処理に応じて行われる、請求項1から13のいずれか一項に記載のコンピュータ実施方法。
【請求項15】
前記方法は、シミュレートされた前記画像データの視覚的表現を表示するようにユーザインターフェースを制御するステップを有し、前記撮像走査パラメータの第2のセットはユーザ入力に基づいて決定される、及び/又は
前記方法は、シミュレートされた前記画像データに少なくとも部分的に基づいて前記第2の撮像走査パラメータを自動的に決定するステップを有する、
請求項1から14のいずれか一項に記載のコンピュータ実施方法。
【請求項16】
前記解剖学的構造に対する第1の角度位置からのビューを表す第1のビュー平面を横断する前記解剖学的構造のビューを表す第1の2D画像を生成し、前記解剖学的構造に対する第2の角度位置からのビューを表す第2のビュー平面を横断する前記解剖学的構造のビューを表す第2の2D画像を生成するように、前記患者の前記解剖学的構造のソース3D画像データを処理するステップと、
それぞれの関心解剖学的構造を各々が含む前記ソース画像データにおける1つ又は複数のボリュメトリック部分領域の指標を得るステップと、
前記1つ又は複数のボリュメトリック部分領域の各々に対し、前記ソース画像データから、前記それぞれの部分領域を通過する少なくとも第1及び第2の2Dスライスを抽出するステップであって、各々の2Dスライスは、前記第1及び第2の両方のビュー平面と直交する、抽出するステップと、
前記第1の2D画像、前記第2の2D画像、前記第1の2D画像と前記第2の2D画像との上に重ねられた各々のボリュメトリック部分領域の境界輪郭、及び生成された前記2Dスライスの各々の表現を表示するように、ユーザインターフェースを制御するステップと
を更に有する、請求項1から15のいずれか一項に記載のコンピュータ実施方法。
【請求項17】
前記ボリュメトリック部分領域のユーザにより示された調整を前記ユーザインターフェースから受け取るステップを更に含み、任意選択として、前記調整は、前記患者の解剖学的構造に対する前記ボリュメトリック部分領域の位置変化であるか、又は前記部分領域によって定義されるボリューム変化である、請求項16に記載のコンピュータ実施方法。
【請求項18】
前記部分領域への前記調整を前記ユーザが示すことに応答して、前記部分領域の前記表示された境界が前記ユーザにより示された調整に従い自動的に調整されるように、前記ユーザインターフェースを制御するステップを有する、請求項17に記載のコンピュータ実施方法。
【請求項19】
与えられた部分領域の前記ユーザにより示された調整の受け取りに応答して、各々のボリュメトリック部分領域を通過する新たな第1及び第2の2Dスライスを抽出するステップと、前記ユーザインターフェース上に以前に表示された前記2Dスライスの代わりに前記新たな2Dスライスを表示するステップとを更に有する、請求項17又は18に記載のコンピュータ実施方法。
【請求項20】
前記関心部分領域の指標を得るステップは、解剖学的な関心オブジェクトを検出するために前記ソース画像データに画像解析動作を適用するステップと、次に、前記画像データにおいて識別された前記解剖学的な関心オブジェクトの境界に応じて、ボリュメトリック部分領域を決定するステップとを有する、請求項16から19のいずれか一項に記載のコンピュータ実施方法。
【請求項21】
3Dソース画像データにおける関心スラブを識別するステップであって、前記3Dソース画像データは前記第1の画像データ又は前記シミュレートされた画像データであり、スラブとは前記ソース画像データにおける画像スライスの連続的なスタックから構成されるボリュメトリック領域である、識別するステップと、
前記関心スラブと対応する前記ソース画像データから、画像スライスのスタックを抽出するステップと、
前記関心スラブのボリュームレンダリングを生成するステップと、
前記ボリュームレンダリングをユーザインターフェース上に表示するステップと
を有する、請求項1から20のいずれか一項に記載のコンピュータ実施方法。
【請求項22】
前記ソース画像データにおける解剖学的な関心領域を識別するために、画像解析動作を適用するステップと、
前記画像データにおける前記スラブの位置と厚さとを前記解剖学的な関心領域の少なくとも一部と重複するように設定することにより、前記識別された解剖学的な関心領域に応じて、前記ソース画像データにおける前記関心スラブを識別するステップと
を更に有する、請求項21に記載のコンピュータ実施方法。
【請求項23】
前記ソース画像データは前記第1の画像データであり、
前記方法は、前記画像解析動作を適用するのに先立ち、前記第1の画像データにノイズ除去を適用するステップを更に有する、請求項22に記載のコンピュータ実施方法。
【請求項24】
医用撮像装置と動作的に結合されているプロセッサ上で実行されると前記プロセッサに請求項1から23のいずれか一項に記載のコンピュータ実施方法を行わせるコード手段を備える、コンピュータプログラム。
【請求項25】
使用の際に医用撮像装置と動作的に結合するための入力/出力と、
請求項1から23のいずれか一項に記載のコンピュータ実施方法を行うための1つ又は複数のプロセッサと、
を備え、前記第1の画像データは前記医用撮像装置の前記入力/出力で受け取られる、処理機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、診断のための医用撮像の分野に関し、特に、予備的なサーベイ走査データに基づく走査パラメータの最適化など、サーベイ走査データの取得及び使用に関する方法に関する。
【背景技術】
【0002】
医用撮像においては、臨床的な走査の計画は、当初のサービュー(「サーベイビュー」)走査に部分的に基づき、日常的に行われている。サーベイ走査は、典型的には、完全な走査よりも解像度が低く、よって、比較的迅速にキャプチャが可能であり、(放射線照射という形態の場合には)患者に対して、より低い放射線量を適用することになる。次に、サーベイ走査は、例えば使用される走査範囲の境界を含め、以後の診断用走査のために後に続く走査プロトコルのパラメータを設定するために、用いられることがあり得る。例えば、多くの場合に、サーベイ走査は、解剖学的構造の全体をキャプチャするために、スキャナ面積の全体的な空間範囲(又は、少なくとも、診断用走査において以後に使用されるよりも大きな範囲)に及び、それは、次に、後でキャプチャされる診断用走査において使用される走査範囲の境界を設定するのに使用される。
【0003】
サーベイ走査が日常的に使用される医用撮像形態の1つのクラスは、磁気共鳴(MR)撮像又はX線コンピュータ断層(CT)撮像など、断層撮影のための撮像である。
【0004】
例を挙げると、CT撮像の分野においては、関心臓器のCT画像取得のために、安全性を保証するのと同時に適切な品質を伴う診断用CT画像を取得するために患者に与えられる最適な放射線量に関し、異なるガイドライン及びプロトコルが存在する。様々な異なるファクタが、与えられる放射線量に影響し、取得される画像の品質に影響する。これらには、撮像装置の取得又は走査パラメータと、装置に対する患者の位置決めとが含まれる。技術者は、最適な放射線量を達成しながら、適切な診断用の品質を有する診断用のCT画像を取得するために、走査パラメータが適切に選択され患者が正しく位置決めされていることを保証する判断を、走査の開始時に下さなければならない。
【0005】
CT撮像においては、デュアル2Dサーベイ撮像(正面及び側面)に加えて、最新技術では、典型的な完全3D走査よりも相当に低い線量で3Dサーベイ画像を取得することも可能である。
【発明の概要】
【発明が解決しようとする課題】
【0006】
3Dサーベイ画像は2Dサーベイ画像より詳細な情報を明らかにすることが可能であるが、技術者は、管電圧、管電流又は再構成フィルタなど、いくつかの取得パラメータを手動で設定することを依然として要求される。サーベイ画像は、それ自体、これらのための最適値を決定することの直接的な補助にならない。
【課題を解決するための手段】
【0007】
本発明は、特許請求の範囲によって定義される。
【0008】
本発明の一態様による例に従うと、第1の画像データに基づき医用撮像走査データのプレビューをシミュレートするためのコンピュータ実施方法が提供され、このコンピュータ実施方法は、
患者の解剖学的構造の3D画像データである第1の画像データを、医用撮像装置から受け取るステップと、
解剖学的構造上で行われる以後の撮像走査のため、1つ又は複数の候補撮像走査パラメータの少なくとも第1のセットの指標を得るステップと、
データストアから機械学習モデルを読み出すステップであって、機械学習モデルは、画像間の変換を行うようにトレーニングされており、解剖学的構造の3D画像データセットの少なくとも部分集合を入力として受け取り、解剖学的構造のシミュレートされた画像データを出力として生成し、シミュレートされた画像データは、前記1つ又は複数の候補撮像走査パラメータの少なくとも第1のセットを用いて動作させた場合に医用撮像装置から取得される画像データの期待される外見をシミュレートする、読み出すステップと、
シミュレートされた画像データを得るために、機械学習モデルを使用して、第1の画像データを処理するステップと、
撮像走査パラメータの第2のセットで医用撮像装置を使用して、解剖学的構造の第2の画像データを取得するステップであって、撮像走査パラメータの第2のセットは撮像走査パラメータの第1のセットと同一である又は異なる、第2の画像データを取得するステップと、
を有する。
【0009】
よって、本発明の実施形態は、3Dサーベイ走査データに基づいて完全な診断用走査の外見をシミュレートするために、トレーニングされた機械学習モデルを使用することに基づく。これによって、オペレータが、画質又は解剖学的構造カバレッジを向上させるために、完全な走査を行うのに先立って走査パラメータを調整することが可能になる。
【0010】
第1の画像データは、第1の走査で得られる。第2の走査画像データは、第2の走査で得られる。
【0011】
先に言及された第1の画像データは、サーベイ走査データである。換言すると、第1の画像データは、サーベイ走査からの画像データである。第1の画像データは、第2の画像データよりも、低い空間解像度を有する。
【0012】
第2の撮像走査パラメータは、サーベイ走査ではない、すなわち診断用走査である第2の走査を実現させるように構成される。
【0013】
第2の撮像走査パラメータは、第1の画像データを得るために第1の走査で与えられるより高い放射線量を、患者に与え得る。換言すると、第1の走査は、第2の走査より低い放射線量を与える。
【0014】
撮像走査パラメータとは、画像データを取得するときの医用撮像装置のパラメータ又は設定を意味する。
【0015】
機械学習モデルは、走査パラメータの第1のセットに基づいて、又はそれに応じて読み出される、すなわち、走査パラメータの定義された第1のセットに従ってシミュレートされた画像データを生成するようにトレーニングされていることが知られている機械学習モデルが、読み出される。換言すると、走査パラメータのそのセットに対して適切にトレーニングされた機械学習モデルが、選択される。
【0016】
いくつかの実施形態では、この方法は、シミュレートされた画像データの視覚的表現を表示するように、ユーザインターフェースを制御するステップを有する。
【0017】
この方法は、機械学習モデルを、例えばデータストア上に記憶されたデータベースからのように、データストアから読み出すステップを有する。機械学習モデルは、データベースへの問合せに基づき、候補走査パラメータの少なくとも第1のセットに従って、データベースから読み出される。データベースは、同一の機械学習モデルの複数の異なる態様でトレーニングされたバージョンを記憶しており、各々が、撮像走査パラメータの異なるセットに従ってトレーニングされていて、すなわち、各々が、撮像走査パラメータの異なるセットを用いて取得された画像データの外見をシミュレートするようにトレーニングされている。読み出されたバージョンが、次に、受け取られた第1の画像データに適用される。
【0018】
いくつかの実施形態では、この方法は、走査パラメータの各候補セットに対して、機械学習モデルバージョンの中の1つをデータストアから読み出すステップと、機械学習モデルを走査パラメータの候補セットに適用するステップとに基づき、候補撮像走査パラメータの複数のセットの各々に対し、シミュレートされた画像データの複数のセットを生成するステップを有する。
【0019】
好ましくは、すべてのバージョンのモデルは、それらのトレーニング以外は、同一である。
【0020】
候補撮像走査パラメータの複数のセットは、この方法自体によって生成されることがあり得るし、又は、ユーザによって入力されることもあり得る。
【0021】
いくつかの実施形態では、撮像走査パラメータの第2のセットは、ユーザにより選択され得る。例えば、シミュレートされた画像データの複数のセットがユーザインターフェースを用いて表示され、撮像走査パラメータの複数の候補セットの中から1つの候補セットのユーザによる選択が受け取られる。いくつかの実施形態では、撮像走査パラメータの第2のセットは、シミュレートされた画像データの複数のセットに基づいて、自動的に選択される。これらの2つのアプローチに関するオプションは、以下でより詳細に概説される。
【0022】
いくつかの実施形態では、この方法は、シミュレートされた画像データの各セットの視覚的表現とシミュレートされた画像データの各セットに対応する候補走査パラメータの指標とを表示するように、ユーザインターフェースを制御するステップと、ユーザインターフェースから、走査パラメータの候補セットの中から1つの候補セットのユーザによって示された選択を受け取るステップとを有し、第2の画像データを取得するために使用される走査パラメータの第2のセットは、ユーザ選択によって定義される。
【0023】
この方法は、走査パラメータの候補セットの中から1つの候補セットのユーザによって示された選択がシミュレートされた画像データの表示されたセットの中の1つのユーザ選択を通じて達成されるように、ユーザインターフェースを制御するステップを有する。
【0024】
いくつかの実施形態では、この方法は、候補撮像走査パラメータのカスタムセットをユーザが定義することを可能にするユーザコントロールをユーザインターフェース上に提供するステップと、候補走査パラメータのユーザによって定義されたカスタムセットを、ユーザインターフェースから受け取るステップとを有しており、機械学習モデルをデータストアから読み出すステップは、候補走査パラメータのユーザによって定義されたカスタムセットを用いて取得された画像データの外見をシミュレートするシミュレートされた画像データを生成するようにトレーニングされた機械学習モデルを読み出すステップを含んでおり、この方法は、機械学習モデルから出力されたシミュレートされた画像データをユーザインターフェース上に表示するステップを更に有する。
【0025】
いくつかの実施形態では、この方法は、ユーザコントロールを経由するユーザによるカスタム走査パラメータの変更が、カスタム走査パラメータを用いて取得された画像データの外見をシミュレートするようにトレーニングされた機械学習モデルを読み出すことによって、変更されたカスタム走査パラメータに従って新たなシミュレートされた画像データの生成を自動的にトリガするように、構成されている。
【0026】
いくつかの実施形態では、この方法は、シミュレートされた画像データに対する品質インジケータを導出するため、シミュレートされた画像データに品質評価を適用するステップを更に有する。
【0027】
いくつかの実施形態では、この方法は、シミュレートされた画像データの各セットに対する品質インジケータを導出するため、シミュレートされた画像データの各セットに品質評価を適用するステップと、シミュレートされた画像データの異なるセットに対する品質インジケータの比較に基づいて、候補走査パラメータのセットの中から1つの候補走査パラメータを選択するステップとを有し、走査パラメータの第2のセットは、選択に従って設定され、第2の画像データの取得は、選択の後で自動的にトリガされる。
【0028】
いくつかの実施形態では、この方法は、シミュレートされた画像データの視覚的表現を表示するように、ユーザインターフェースを制御するステップと、シミュレートされた画像データの表示の後で、ユーザインターフェースから、ユーザにより指示され調整された候補撮像走査パラメータの1つのセットを受け取るステップとを更に有しており、受け取られ調整された候補撮像走査パラメータの1つのセットは、走査パラメータの第2のセットとして使用される。
【0029】
いくつかの実施形態では、第1の画像データは、共に3D画像データセットを形成する複数の2Dスライス画像を含む。機械学習モデルは、いくつかの実施形態では、2Dスライス画像を入力として受け取り、シミュレートされた2Dスライス画像を出力として生成するように、トレーニングされ得る。いくつかの実施形態では、機械学習モデルを用いた第1の画像データの処理のステップは、機械学習モデルを、第1の画像データの2Dスライス画像ノードの各々に機械学習モデルを適用するステップを有する。
【0030】
これは、結果的に、シミュレートされた3D画像データセットを共に形成するシミュレートされた2Dスライス画像の1つのセットを生じる。
【0031】
しかし、他の例では、機械学習モデルは、3D画像を受け取るようにトレーニングされ、このモデルからの出力は、シミュレートされた3D画像である。
【0032】
機械学習モデルは、深層学習機械学習モデルである。それは、深層学習人工ニューラルネットワークであり得る。
【0033】
1つの好適な実施形態では、機械学習モデルは、敵対的生成ネットワーク(GAN)の使用を含む、又はその使用を採用する。これは、トレーニングのための例を生成する又は拡張するためにトレーニングデータの当初のセットを使用する、教師なし機械学習アルゴリズム又はモデルのタイプである。GANは、データ拡張、セグメンテーション、及び画像変換など、複数の画像処理アプリケーションで使用されてきている。GANベースの画像変換のための最も人気のあるアーキテクチャの1つに、pix2pixがある。この技術において知られている他の適切なアーキテクチャは、CycleGANアーキテクチャである。
【0034】
いくつかの実施形態では、この方法は、第1の走査パラメータを調整することにより第1の走査パラメータとは異なる第2の走査パラメータを導くことによって、第2の走査パラメータを導くステップを更に有する。いくつかの実施形態では、これに加えて、第2の走査パラメータを導くための第1の走査パラメータの調整は、ユーザインターフェースから受け取られたユーザ入力に応じて行われる。追加的に又は代替的に、いくつかの実施形態では、第2の走査パラメータを導くための第1の走査パラメータの調整は、自動化された調整動作によって少なくとも部分的に、例えば、シミュレートされた画像データの処理から導かれた品質評価インジケータに基づくなど、導かれシミュレートされた画像データに適用された処理に応じて行われる。
【0035】
いくつかの実施形態では、この方法は、シミュレートされた画像データの視覚的表現を表示するようにユーザインターフェースを制御するステップを有し、撮像走査パラメータの第2のセットは、ユーザ入力に基づいて決定される。例えば、ユーザ入力は、ユーザインターフェースから受け取られる。ユーザ入力は、シミュレートされた画像データの表示の後で、ユーザインターフェースから受け取られる。
【0036】
いくつかの実施形態では、この方法は、シミュレートされた画像データに基づいて、第2の撮像走査パラメータを自動的に決定する又は選択するステップを有する。例えば、自動化された決定又は選択は、例えば品質評価を用いて、シミュレートされた画像データの処理に少なくとも部分的に基づく。
【0037】
次に、更なる方法が、概説される。これは、本発明の別個の態様を形成し得る、又は、既に概説された本発明の一実施形態を形成し得るのであって、本明細書において以下で説明される特徴は、既に概説された実施形態のいずれに従っても、これらと組み合わせることが可能である。
【0038】
この方法は、以下のステップ、すなわち、
解剖学的構造に対する第1の角度位置からのビューを表す第1のビュー平面を横断する解剖学的構造のビューを表す第1の2D画像を生成し、解剖学的構造に対して第2の角度位置からのビューを表す第2のビュー平面を横断する解剖学的構造のビューを表す第2の2D画像を生成するように、患者の解剖学的構造のソース3D画像データを処理するステップと、
それぞれの関心解剖学的構造を各々が含むソース画像データにおける1つ又は複数のボリュメトリック部分領域の指標を得るステップと、
1つ又は複数のボリュメトリック部分領域の各々に対し、ソース画像データから、それぞれの部分領域を通過するビューに対応し、それぞれの部分領域を通過する少なくとも第1及び第2の2Dスライスを抽出するステップであって、各々の2Dスライスは、第1及び第2の両方のビュー平面と直交する、抽出するステップと、
第1の2D画像、第2の2D画像、第1の2D画像と第2の2D画像との上に重ねられた各々のボリュメトリック部分領域の境界輪郭、及び生成された2Dスライスの各々の表現を表示するように、ユーザインターフェースを制御するステップと、
を更に有する。
【0039】
第1及び第2の2Dスライスは、これらのスライスに垂直な軸に沿った部分領域の長さに対して第1及び第2の位置の各々にあるスライスである。
【0040】
例を示すと、第1のビュー平面は、医用撮像装置の角度/回転軸に沿った第1の位置からのビューを表し、第2のビュー平面は、角度/回転軸に沿った第2の位置からのビューを表す。
【0041】
いくつかの実施形態では、ソース3D画像データは、先に言及された第1の3D画像データ(すなわち、サーベイ画像データ)であり得る。いくつかの実施形態では、それは、先に言及されたシミュレートされた画像データでもあり得る。
【0042】
これは、走査計画のために3D撮像データセットを利用するための極めて効率的な手段を提供する。実際に、この方法は画像の2つのセット、画像ボリュームを通過する第1の角度からの(上述された第1及び第2の2Dビュー平面を表す)1つのセットと、画像ボリュームを通過するが直交する角度からの異なった(上述された2Dスライスである)第2のセットとを提示するステップを有し、画像の第2のセットは、画像の第1のセットに示されているビューの部分領域を通過するスライスを表す。
【0043】
例えばボリュメトリックな部分領域とは、以後の完全な診断用走査の間に走査されることが計画されているボリュメトリック領域を表す。第1及び第2の2D画像とは、対象となる解剖学的構造の垂直軸の少なくとも一部に及ぶサーベイビューを表す。2Dスライスとは、診断用走査の一部として取得されることが計画されたスライス画像を表す。例えば、画像データは、断層撮影画像データであり、複数の2D画像スライスで構成される3D画像データセットを有する。いくつかの例では、第1及び第2の2D画像スライスの第1及び第2の位置は、それらのスライスと直交する軸に沿ったボリュメトリック領域の第1及び第2の(対向する)端部の各々における位置に対応する。換言すると、画像スライスは、ボリュメトリック領域の長さに沿った最初及び最後の画像スライスを表す。
【0044】
いくつかの実施形態では、第1及び第2の2D画像が、ボリュームレンダリング方法をソース3D画像データに適用することによって、生成される。いくつかの実施形態では、2Dスライスの各々が、3D画像データを通じて2Dスライスを抽出することによって、生成される。
【0045】
いくつかの例では、ボリュームレンダリング方法は、例えば最大値投影(MIP)又は平均値投影(AIP)のようなレイキャスティングなどの3D投影レンダリング方法である。2Dスライスの抽出とは、ソース3D画像データがボクセル値のボリュームを有する場合には、そのボリュームを通過する特定のスライスに沿ってボクセル値のスライスを抽出することを意味する。
【0046】
ボリュームレンダリング、又は3Dレンダリングは、3D画像データセットの2D投影を表示するのに使用される画像レンダリング技術である。3D画像は、ピクセルの通常のボリュメトリックグリッドとして理解することが可能である。3D表現を生成することは、複数のスライスからの画像データを用いる。1つの例示的な技術は、ボリューム光線投影であり、この場合、サンプリングレイが、画像平面に向かい(そして、潜在的に通過し)3D画像データセットを通過して概念的に投影され、画像平面における各々のピクセル値は、その上に投影されるそれぞれの光線と交差するピクセルのセットの値に基づいて、決定される。
【0047】
他の例では、2D画像の各々は、2D画像に含まれるそれぞれのビュー平面に及ぶソース画像データセット内部のボクセル値に基づいて、生成される。
【0048】
いくつかの実施形態では、この方法は、ボリュメトリック部分領域のユーザにより示された調整をユーザインターフェースから受け取るステップを更に含み、任意選択として、調整は、患者の解剖学的構造に対するボリュメトリック部分領域の位置変化であるか、又は部分領域によって定義されるボリューム変化である。
【0049】
いくつかの実施形態では、この方法は、部分領域への調整をユーザが示すことに応答して、部分領域の表示された境界がユーザにより示された調整に従い自動的に調整されるように、ユーザインターフェースを制御するステップを有する。このように、ユーザは、解剖学的構造の部分領域をグラフィカルに調整することが可能である。
【0050】
いくつかの例では、ユーザインターフェースは、タッチスクリーンディスプレイを備えており、ユーザにより示された調整は、例えば、解剖学的構造に対する部分領域の位置への調整を示すように境界をドラッグする、又は境界によって定義されるボリュームへの変化を示すように境界の一部をドラッグすることによって、タッチを経由して入力される。
【0051】
いくつかの実施形態では、与えられた部分領域のユーザにより示された調整の受け取りに応答して、この方法は、第1及び第2の位置の各々に対し、各々のボリュメトリック部分領域を通過する新たな2Dスライスを抽出するステップと、ユーザインターフェース上に以前に表示された2Dスライスの代わりに新たな2Dスライスを表示するステップと、を更に有する、
【0052】
いくつかの実施形態では、関心部分領域の指標を得るステップは、解剖学的な関心オブジェクトを検出するためにソース画像データに画像解析動作を適用するステップと、その後、画像データにおける識別された解剖学的な関心オブジェクトの境界に応じて、ボリュメトリック部分領域を決定するステップとを有する。画像解析動作は、解剖学的な画像セグメンテーションを含む。
【0053】
この方法は、ボリュメトリック部分領域の全部を共に含む1つ又は複数のボリュームの第2の3D画像データをキャプチャするように医用撮像装置を制御するステップを更に有する。
【0054】
次に、更なる方法が、概説される。これは、本発明の別個の態様を形成し得る、又は、既に概説された本発明の一実施形態を形成し得るのであって、本明細書において以下で説明される特徴は、既に概説された実施形態のいずれに従っても、これらと組み合わせることが可能である。
【0055】
この方法は、以下のステップ、すなわち、
3Dソース画像データにおける関心スラブを識別するステップであって、スラブとはソース画像データにおける画像スライスの連続的なスタックから構成されるボリュメトリック領域である、識別するステップと、
関心スラブと対応するソース画像データから、画像スライスのスタックを抽出するステップと、
関心スラブのボリュームレンダリングを生成するステップと、
ボリュームレンダリングをユーザインターフェース上に表示するステップと、
を有する。
【0056】
3Dソース画像データは、いくつかの実施形態では、先に言及された第1の画像データ(すなわち、サーベイ画像データ)であり得る。3Dソース画像データは、いくつかの実施形態では、先に言及されたシミュレートされた画像データであり得る。
【0057】
スラブとは、画像データにおけるボリュメトリックな関心ブロックである。
【0058】
ボリュームレンダリングは、3D投影レンダリングなど、直接的なボリュームレンダリング技術を採用し得る。3D投影レンダリングとは、レイキャスティング法を通じた、2D画像におけるボリュメトリックデータのレンダリングを意味する。最大値投影(MIP)と平均値投影(AIP)とが、例えば、2つの例である。
【0059】
いくつかの実施形態では、この方法は、ソース画像データにおける解剖学的な関心領域を識別するために、画像解析動作を適用するステップと、画像データにおけるスラブの位置と厚さとを解剖学的な関心領域の少なくとも一部と重複するように設定することにより、識別された解剖学的な関心領域に応じて、ソース画像データにおける関心スラブを識別するステップとを更に有する。
【0060】
例えば、この方法は、1つ又は複数の解剖学的目標を検出するために解剖学的画像セグメンテーションを使用するステップを含み得るが、ここで、解剖学的関心領域とは、解剖学的な関心領域によって占有される領域である。
【0061】
投影方向又は投影レンダリングの角度は、解剖学的画像セグメンテーションに応じて、設定され得る。例えば、スラブを通過して投影される光線の方向(すなわち、投影のために設定される観測者の視点)、及び/又は光線投影のために設定される画像平面は、例えば解剖学的構造の特定のビュー又は解剖学的構造の特定の部分を示すように、セグメンテーションに応じて決定され得る。
【0062】
いくつかの実施形態では、ソース画像データが第1の画像データである場合には、この方法は、画像解析動作を適用するのに先立ち、第1の画像データにノイズ除去を適用するステップを更に有する。
【0063】
本発明のこれらの及び他の態様は、以下で説明される実施形態から、そして以下で説明される実施形態を参照することで、明瞭になる。
【0064】
本発明をよりよく理解し、それがどのように実行されるかをより明瞭に示すために、ここで、以下の添付の図面が、例のみによって、参照される。
【図面の簡単な説明】
【0065】
図1】例示的な医用撮像装置を示す図である。
図2】1つ又は複数の実施形態による例示的なシステム及び処理機器のブロック図である。
図3】第1の例示的な機械学習アルゴリズムのための標準的なサーベイ画像データと比較された、例示的なシミュレートされた走査データの図解である。
図4】更なる例示的な機械学習アルゴリズムのための標準的なサーベイ画像データと比較された、例示的なシミュレートされた走査データの図解である。
図5】シミュレートされた画像データと3Dサーベイ画像データとの表現を表示するように制御される例示的なグラフィカルユーザインターフェース表示の図解である。
図6】ソース3D画像データの視覚化を表示するように制御される例示的なグラフィカルユーザインターフェース表示の図解であり、ここで、ソース3D画像データの視覚化は、第1及び第2の視角からの2つの2D画像ビューと、直交する視角からの解剖学的構造を通過する2Dスライスのセットとを含む。
図7】ソース3D画像データセットの選択されたスラブ領域の3Dレンダリングされたビューの生成の図解である。
図8】視覚化されるソース3D画像データセットの選択されたスラブ領域を表示するように制御される、グラフィカルユーザインターフェース表示の図解である。
【発明を実施するための形態】
【0066】
本発明が、図面を参照して説明される。
【0067】
詳細な説明と特定の例とは、装置、システム及び方法の例示的な実施形態を示しているのであるが、例示の目的のみのために意図され、本発明の範囲を限定することは意図されていない、ということが理解されるべきである。本発明の装置、システム及び方法のこれらの及び他の特徴、態様及び長所は、以下の説明、後述される特許請求の範囲及び添付の図面から、よりよく理解されることになるだろう。図面は単に概略的なものであって寸法通りではない、ということが理解されるべきである。また、同じ又は類似の部材を示すために同じ参照番号が複数の図面を横断して使用されていることも理解されるべきである。
【0068】
本発明は、診断のための医用撮像におけるサーベイ走査に関係する方法を提供する。少なくとも1つの態様は、医用撮像装置のための定義された取得パラメータのセットに従った当初の3D画像データセット(例えば、サーベイ画像データセット)の処理に基づき、機械学習モデルを使用して医用画像データのシミュレーションを生成するための方法に関する。少なくとも1つの態様は、以後の診断用走査計画を容易にするように、2D画像ビューの2つのセットを抽出することに基づき、第1の3D画像データセット(例えば、3Dサーベイ画像データセット、又はシミュレートされた3D画像データセット)を視覚化するための方法に関するのであるが、ここで、2D画像の第1のセットは、第1の方向軸に及ぶ解剖学的構造のビューを表し、2D画像ビューの第2のセットは、第1の方向軸と直交する第2の方向軸にわたって、前記第1の軸に沿って選択された異なる地点における解剖学的構造を通過するスライスのビューを表す。本発明の少なくとも1つの態様は、以後の診断用走査計画を容易にするように、第1の3D撮像データセットの3D部分領域を抽出して、その部分領域のボリュームレンダリングを生成することに基づき、第1の3D画像データセット(例えば、3Dサーベイ画像データセット、又はシミュレートされた3D画像データセット)を視覚化するための方法に関する。なお、部分領域とは、解剖学的構造を通過するスライスのスタックで構成されるスラブ領域であり得る。これらの態様は、組み合わされることがあり得るし、又は個別に提供されることもあり得る。
【0069】
これ以下で詳細に説明される本発明の様々な実施形態は、必ずしもそうであるとは限らないが、次の特徴の中の1つ又は複数を含む。
【0070】
少なくともいくつかの実施形態では、目的は、より低い解像度の3Dサーベイ走査からの画像データを入力データとして使用し、スキャナ取得設定の選択された1つのセットに基づいて、診断用走査データ(例えば、CTデータ)の外観をシミュレートしてプレビューするための自動アルゴリズムを提供することである。より低い解像度とは、このコンテキストでは、サーベイ走査(第1の走査)が、1つ又は複数の次元で、以後の診断用走査(第2の走査)よりも低い空間解像度を有することを意味する。
【0071】
例えば、CT撮像の場合であれば、これは、サーベイ(第1の)走査が診断用(第2の)走査よりも低い放射線量を与えることを意味する。
【0072】
少なくともいくつかの実施形態では、敵対的生成ネットワーク(GAN)ベースの画像変換アプローチが、3Dサーベイ画像から診断用画像をシミュレートするために使用される。
【0073】
少なくともいくつかの実施形態では、オペレータによって選択された走査パラメータの所与の1つのセットに対して、このアルゴリズムは、入力された3Dサーベイ画像データの処理に基づいて、結果的な走査画像のプレビューを生成する。
【0074】
以下で詳細に説明される本発明の様々な実施形態では、導かれたシミュレートされた画像データが、以下の機能の中の1つ又は複数のために用いられる。
【0075】
1つの機能は、第2の走査を取得するための走査パラメータの調整又は最適化のためのものである。例えば、技術者は、走査パラメータの複数の異なるセットに対してシミュレーションを生成し、その結果に基づき、走査パラメータの1つのセットを診断用走査のために選択する。したがって、異なる設定に対応するいくつかのプレビュー画像が、その技術者が(グラフィカルユーザインターフェースを使用して)プレビュー画像から直接的に選択することができ、それに従い、走査パラメータの対応する1つのセットを選択できるように、生成されることが可能であり得る。
【0076】
もう1つの機能は、第2の走査のための走査パラメータの自動化された選択を容易にすることである。診断用走査のために走査パラメータを選択するプロセスはシミュレートされた画像データの複数のセットの各々(各々が、異なる走査パラメータを用いてシミュレートされている)に画質解析アルゴリズムを適用し、画質に関する結果に基づいて第2の走査のための走査パラメータを選択することを通じて、自動化されることが可能である。走査パラメータの自動化された選択は、撮像パラメータの各対応するセットと関連する自動的に計算された放射線量を、追加的に考慮し得る。
【0077】
もう1つの機能は、医師による診断解析を直接的に補助し得る。
【0078】
いくつかの実施形態では、患者に搬送された推定放射線量(例えば、CT線量指標、線量と長さとの積、等価線量、又は他の線量計量)などの情報が、以後の診断用走査のための最適パラメータに関して十分な情報を得た上での決定をオペレータが下せるように、シミュレートされたプレビュー画像自体と共に、グラフィカルユーザインターフェース上に提示される。
【0079】
本発明の方法の実施形態は、医用撮像装置から画像データを受け取るステップを含む。
【0080】
本発明の発明概念の原理は、どのような特定のタイプの医用撮像装置と共に使用することにも、限定されない。しかし、それらの原理は、X線コンピュータ断層撮影(CT)走査及びMRI走査などの断層撮像に、最も有利に適用可能である。
【0081】
本発明の原理を図解することを補助するために、例示的な医用撮像装置が、図1に示されている。この図解における撮像装置10は、X線コンピュータ断層撮影(CT)スキャナである。
【0082】
撮像装置10は、ほぼ静止したガントリ102と回転ガントリ104とを含む。回転ガントリ104は、静止ガントリ102によって回転可能に支持されており、長手方向軸すなわちz軸を中心にして、検査領域106の周囲を回転する。
【0083】
カウチなどの患者サポート120が、検査領域106における人間の患者など、目標又は対象者を支持する。サポート120は、目標又は対象者をロードする、走査する、及び/又はアンロードするために、目標又は対象者を移動させるように構成されている。サポート120は、軸方向に沿って移動可能であり、すなわち、z軸又は長手方向軸の方向に沿って移動可能である。サポートを移動させることにより、サポートに対する(よって、それによって支持されている対象者に対する)回転ガントリの軸位置が変化する。
【0084】
X線管などの放射線源108は、回転ガントリ104によって回転可能に支持されている。放射線源108は、回転ガントリ104と共に回転し、検査領域106を横断する放射線を放出する。
【0085】
放射線感知性の検出器アレイ110は、検査領域106を横断して放射線源108と反対側の円弧に対向する。検出器アレイ110は、z軸方向に沿って延長する検出器の1つ又は複数の列を含み、検査領域106を横断する放射線を検出して、それを示す投影データを生成する。
【0086】
ガントリ104の回転により、対象者に対するスキャナの角度又は回転位置が変化し、z軸に沿ったサポートの移動により、対象者に対するスキャナの軸位置が変化する。
【0087】
典型的な走査は、走査プロトコルを用いて、事前に構成されることになる。走査プロトコルは、複数の走査パラメータを含む。走査パラメータは、とりわけ、スキャナの軸方向及び回転軸に対する走査の空間的範囲を定義する。例えば、走査パラメータは、例えば回転軸と軸方向軸との一方又は両方など、撮像装置の軸の1つ又は複数に沿った走査範囲の境界(すなわち、始点及び終点)を含む。走査範囲は、撮像データが走査の間にその上で取得される視野(FOV)を定義する。走査パラメータは、また、典型的には、例えば、管電流、管電圧、走査空間解像度、走査時間解像度、及び/又はファン角度を含む、いくつかの他のパラメータも含む。解像度パラメータは、ガントリ104の回転速度とガントリを通過するサポート120の軸方向移動の速度とによって、定義される。
【0088】
汎用コンピューティングシステム又はコンピュータが、オペレータコンソール112として機能し、マウス、キーボード、及び/又は類似物などの入力デバイス114と、ディスプレイモニタ、フィルマ又は類似物などの出力デバイス116とを含む。コンソールと入力デバイスと出力デバイスとが、ユーザインターフェース30を形成する。コンソール112により、オペレータがシステム100の動作を制御することが可能になる。
【0089】
再構成装置118は、投影データを処理して、ボリュメトリック画像データを再構成する。データは、出力デバイス116の1つ又は複数のディスプレイモニタを介して、表示されることができる。
【0090】
再構成装置118は、フィルタ補正逆投影(FBP)再構成、(画像領域及び/又は投影領域)ノイズ低減再構成アルゴリズム(例えば、逐次再構成)、及び/又は他のアルゴリズムを採用する。再構成装置118は、マイクロプロセッサを通じて実現可能であることが理解されるべきである。ここで、マイクロプロセッサは、物理メモリ及び他の非一時的媒体などのコンピュータ可読記憶媒体上にエンコード又は埋め込まれているコンピュータ可読命令を実行する。追加的に又は代替的に、マイクロプロセッサは、搬送波、信号及び他の一時的(又は、非一時的ではない)媒体によって運ばれるコンピュータ可読命令を実行することが可能である。
【0091】
図2は、本発明の1つ又は複数の実施形態による例示的なシステム8のブロック図を示している。このシステムは、医用撮像装置10との接続のために用いられる入力/出力(I/O)22又は通信モジュールを含む処理機器20を備えており、以下で説明されるコンピュータ実施方法のステップを遂行するように構成された1つ又は複数のプロセッサ(「proc」)24を更に備えている。このシステムが、医用撮像装置を備えていること、又は医用撮像装置が、このシステムの外部に存在し、このシステムと通信可能に結合されていることがあり得る。
【0092】
このシステムは、更に、処理機器20と通信可能に結合されているユーザインターフェース(UI)32を備えている。このユーザインターフェースは、視覚的出力をユーザに表示するためのスクリーンを備えたディスプレイを備えている。このユーザインターフェースは、グラフィカルユーザインターフェースを提供する。このユーザインターフェースは、また、音響出力など、他の感覚出力を生成するための手段も含む。このユーザインターフェースは、ディスプレイスクリーンと、ユーザ入力デバイスと、プロセッサとを備えたコンピュータコンソールである。ディスプレイスクリーンは、タッチスクリーンディスプレイであり、それによりユーザ入力デバイスを統合することもあり得る。或いは、ユーザ入力デバイスは、キーボード及び/又はポインタデバイス(例えば、マウスポインタ)を備えている。
【0093】
図1を参照して上述されたように、いくつかの場合には、撮像装置10は、それ自体のユーザインターフェース30を備えている。いくつかの場合には、この撮像装置のユーザインターフェースは、システムのユーザインターフェース32の役割を行うように使用される。他の例では、システムは、それ自体のユーザインターフェースを備えている。
【0094】
処理機器20は、それ自体により本発明のある態様を形成する。上述されたコンピュータ実施方法は、この処理機器が実現するように構成されているのであるが、本発明の他の独立の態様も形成する。
【0095】
本発明の少なくとも1セットの実施形態に従い医用撮像走査データのプレビューを第1の走査画像データに基づいてシミュレートするための例示的なコンピュータ実施方法が、この方法の特徴と異なる可能な実施形態とに関して更に解説する前に、ここで、概略として略述される。
【0096】
この方法は、患者の解剖学的構造の第1の画像データを、医用撮像装置10から受け取るステップを有しており、ここで、第1の画像データは、3D画像データである。第1の画像データは、例えば、サーベイ走査データである。この方法は、医用撮像装置に第1の画像データを取得させるための制御信号を発行するステップを有することがあり得るし、又は、この方法は、その取得が独立に制御された画像データを受動的に受け取るステップを有することもあり得る。
【0097】
この方法は、解剖学的構造上で行われる以後の撮像走査のため、1つ又は複数の候補撮像走査パラメータの少なくとも第1のセットの指標を得るステップを、更に含む。候補走査パラメータは、この方法によって導かれることがあり得るし、又は、例えばユーザインターフェースなどの外部ソースから受け取られることもあり得る。他の例では、それらは、データストアから読み出される場合もある。
【0098】
この方法は、データストアから機械学習モデルを読み出すステップを、更に有する。機械学習モデルは、画像間の変換を行うようにトレーニングされていて、解剖学的構造の3D画像データセットの少なくとも部分集合を入力として受け取り、解剖学的構造のシミュレートされた画像データを出力として生成する。シミュレートされた画像データは、前記候補走査パラメータの少なくとも第1のセットで動作させた場合に医用撮像装置から取得され得る画像データの期待される外見をシミュレートする。3D画像データセットの少なくとも部分集合を参照するということは、このモデルが、完全な3D画像データセットの受け取りを処理し、完全なシミュレートされた画像データセットを含む出力を生成するように構成され得ることを意味する。他の場合には、このモデルは、例えば、一度に、3D画像データセットの1つの2D画像スライスを受け取り、この特定の2Dスライスに対する出力シミュレーションを生成するように構成されており、この場合、ソース3D画像データセットのスライスは、一度に1つがモデルに与えられ、シミュレートされた3D画像データセットが、シミュレートされたスライス全体からコンパイルされる。異なるタイプの受け取られたデータセットをモデルが処理できるように、いずれの場合も処理可能なモデルアーキテクチャが存在すること、又はデータ処理アルゴリズムがコア機械学習アルゴリズムの周囲に容易に構築され得るということを、当業者は認識するだろう。機械学習モデルの詳細は、後で、更に概観される。
【0099】
この方法は、シミュレートされた画像データを得るため、機械学習モデルを使用して第1の画像データを処理するステップを、更に有する。
【0100】
この方法は、シミュレートされた画像データのデータ表現を生成するステップを更に有しているが、これは、例えば、エクスポートのため、及び/又は以後の処理ステップで更に使用するためのシミュレートされた画像データを含むデータパケットである。
【0101】
この方法は、撮像走査パラメータの第2のセットで医用撮像装置を使用して、解剖学的構造の第2の画像データを取得するステップを更に有するが、ここで、パラメータの第2のセットは、パラメータの第1のセットと同一であり得る又は異なり得る。
【0102】
少なくとも1つの実施形態では、この方法は、シミュレートされた画像データの視覚的表現を表示するようにユーザインターフェース32を制御するステップを更に有する。
【0103】
少なくとも1つの実施形態では、この方法は、第2の走査パラメータが第1の走査パラメータとは異なるように第1の走査パラメータを調整するステップを、更に有する。いくつかの実施形態では、第2の走査パラメータを導くための第1の走査パラメータの調整は、ユーザインターフェース32から受け取られたユーザ入力に応じて、行われる。追加的に又は代替的に、少なくともいくつかの実施形態では、第2の走査パラメータを導くための第1の走査パラメータの調整は、導かれるシミュレートされた画像データに適用される処理に応じて、例えばシミュレートされた画像データの処理から導かれる品質評価インジケータに基づいて、自動化された調整動作によって少なくとも部分的に行われる。
【0104】
上述された第1の3D画像データは、サーベイ走査である第1の走査を使用して取得される。第1の画像データは、例えば以後の第2の走査よりも低い空間解像度を有する。以後の第2の走査は、「完全走査」又は「診断用走査」と称され、これは、第1の(サーベイ)走査よりも高い解像度の画像データセットである。第1の画像データセットは、第2の画像データセットよりも(サイズが)少量の画像データを含む。
【0105】
この方法は、データストアから、例えばデータストア上に記憶されているデータベースから、機械学習モデルを読み出すステップを有する。機械学習モデルは、候補走査パラメータの少なくとも第1のセットに従ってデータベースに質問することに基づいて、データベースから読み出される。データベースは、同じ機械学習モデルの異なるトレーニングがされた複数のバージョンを記憶しており、それぞれのトレーニングは撮像走査パラメータの異なるセットに従って、すなわち、それぞれが、撮像走査パラメータの異なるセットで取得された画像データの外見をシミュレートするようにトレーニングされている。
【0106】
次に、本発明を例証するために、1つの例示的な実施態様を、詳細に概略する。
【0107】
この実施態様は、3Dサーベイ走査画像データからシミュレートされたプレビュー画像データへの画像間変換を実行するための、深層畳み込みニューラルネットワーク(CNN)に基づく。特に、敵対的生成ネットワークが、1つの好適なアーキテクチャである。
【0108】
導入を通じて、エンコーダ-デコーダベースの畳み込みニューラルネットワーク(CNN)アーキテクチャと敵対的生成ネットワーク(GAN)との形態における最近の進展が、多くの有望な画像間変換アプリケーションに至っている。
【0109】
畳み込みエンコーダ-デコーダネットワークは、セマンティックセグメンテーション又は輪郭セグメンテーションなど、稠密でピクセルワイズの予測を要求するタスクのために使用される標準的なネットワークである。エンコーダ-デコーダモデルは、シーケンス間の予測問題のためのリカレントニューラルネットワークを使用する方法である。このアプローチは、エンコーダと称される入力シーケンスをエンコードするためのものと、デコーダと称されるエンコードされた入力シーケンスをターゲットシーケンスにデコードするための第2のものという、2つのリカレントニューラルネットワークを含む。入力シーケンスは、全体が読み取られ、固定長の内部表現にエンコードされ得る。本出願では、すなわち画像間での変換では、シーケンスは、ピクセル値のシーケンスである。
【0110】
例えば、Medical image computing and computer-assisted intervention-MICCAI 2015-18th international conference Munich,Germany,October 5-9,2015,Proceedings,Part III;2015.p.234-41における、Ronneberger O,Fischer P,Brox T.による“U-net:Convolutional networks for biomedical image segmentation.”という論文が参照される。この論文は、生物医学における画像セグメンテーションのための深層畳み込みニューラルネットワークモデルについて説明している。
【0111】
敵対的生成ネットワーク(GAN)は、提供されたトレーニングデータセットの基礎にある確率分布を識別することを目指し、予測ネットワークを改良するために更に使用されることが可能な新たなトレーニングデータエントリを生成するために、これを使用する、機械学習モデルの1つのタイプである。機械学習の分野において、最も一般的なタイプの機械学習は、教師あり機械学習(supervised machine learning)である。ここでは、トレーニングデータのセットが、人間である監督者によって手動で構成され、この監督者は、その対応するグラウンドトゥルース又は予測モデルのターゲット出力を用いて、各々のトレーニングデータエントリにラベル付けする。そのようなモデルのトレーニングは、各々のトレーニングデータエントリに注釈するために、人間による入力の必要性に起因して、限定される。生成ネットワークとは、教師なしである機械学習のタイプであり、特に、教師ありの学習において可能であるよりもはるかに大きなトレーニング例のセットを作成するために開始トレーニングデータセットを計算論的に拡張させることが可能である。画像間での変換は、GANネットワークのための理想的なアプリケーションである。
【0112】
例えば、Communications of the ACM,November 2020,Vol.63 No.11,Pages 139-144における、Goodfellow I,et al.による”Generative adversarial nets.”という論文が参照される。この論文は、適切な敵対的生成ネットワークの構成の背後にある原理を、詳細に、概説している。セクション3は、特に、敵対的生成ネットワークの基本アーキテクチャを概説し、キーポイントに関して拡張する更なる参考資料も提供している。
【0113】
Proceedings of the 27th International Conference on Neural Information Processing Systems-Volume2(NIPS’14).MIT Press,Cambridge,MA,USA,2672-2680におけるGoodfellow,I,et alによる“Generative adversarial nets.”という論文は、敵対的生成ネットワークの構造に関する更なる説明を提供している。
【0114】
更に、Alotaibi,A.による論文“Deep Generative Adversarial Networks for Image-to-Image Translation:A Review.” Symmetry 2020,12(10),1705を参照する。この論文は、画像間変換のためのGANアルゴリズムの使用に関する詳細な概観を提供する。
【0115】
画像間の変換に使用するために知られている2つの有利なGANアーキテクチャは、pix2pix及びCycleGANである。pix2pixアーキテクチャは、利用可能なトレーニングデータがペアになっている場合により適切であり、CycleGANは、利用可能なトレーニングデータがペアになっていない場合により適切である。更に説明するため、本出願のコンテキストにおける目的はトレーニングされたGANベースの機械学習モデルが、サーベイ走査から3D画像データセット(又は、一度に1つが取られる、3D画像データセットからの個別的な2Dスライス)を入力として受け取り、特定の走査パラメータのセットでの完全な診断用走査においてキャプチャされた場合に同じ解剖学的構造の外見をシミュレートする3D画像データセット(又は1セットの2Dスライス)を出力として生じる、ということである。走査パラメータの特定のセットに対してこの画像間変換タスクを実行するように機械学習モデルをトレーニングするには、トレーニングデータは、第1の(サーベイ走査)画像データの複数のセットと、第2の(完全な診断用走査)画像データの複数のセットとを有し、このうちの後者は、適切なスキャナ設定のセットを用いてキャプチャされたものである。ここでのコンテキストにおいて、ペアになっているトレーニングデータとは、第2の画像データの各セットが、ペアの相手方である第1の画像データの複数セットの中から対応する1つのセットを有していること、つまり、そのサーベイ走査データのセットの後にキャプチャされた実際の診断用走査データを表すことを意味する。ペアになっていないトレーニングデータとは、第1のデータの複数のセットと第2のデータの複数のセットとが、すべて、異なる特定の個人の画像に関係することを意味するが、それにもかかわらず、モデルは、第1及び第2の画像データセットに共通のパターンを識別することができ、一方のクラスの画像データを他方のクラスにマッピングすることが可能な一般的なネットワークを生成することができる。CycleGANは、ペアになっていないトレーニングデータを処理することができる。
【0116】
P.Isola,J.et alによる、2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2017,pp.5967-5976における論文“Image-to-Image Translation with Conditional Adversarial Networks”が参照される。この論文は、pix2pixアーキテクチャについて、説明している。
【0117】
J.Zhu,T.Park,P.Isola及びA.A.Efrosによる、2017 IEEE International Conference on Computer Vision(ICCV),2017,pp.2242-2251における論文“Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks,”が参照される。この論文は、CycleGANアーキテクチャを説明している。
【0118】
これらの論文(Isola et al,及びZhu et al)は、本発明の実装形態において適用されるための適切なGANベースの機械学習アルゴリズムの完全な詳細を提供する。
【0119】
深層学習ネットワークは、CT画像とMRI画像を変換するなど、様態を横断する画像変換を行うのにさえも、使用されることが可能である。例えば、Jin CB,Kim H,Liu M,et al.によるDeep CT to MR Synthesis Using Paired and Unpaired Data.Sensors(Basel).2019;19(10):2361.が参照される。
【0120】
機械学習モデルを生成するためには、適切なモデルアーキテクチャ(例えば、上述されたpix2pix又はCycleGAN)がいったん選択されると、そのモデルは、特定の1セットの走査パラメータを用いてサーベイ走査データと診断用走査データとの間での必要とされる画像間変換を行うように、トレーニングされなければならない。
【0121】
当初のトレーニング用データセットは、患者の解剖学的構造のサーベイ走査の間と、走査パラメータセットの特定のセットを用いた完全な診断用走査との間に取得された実世界画像データから構成されることが可能である。このモデルは、解剖学的構造に特有の、すなわち特定の解剖学的構造領域だけの画像を変換するようにトレーニングされたものであり得る。これにより、若干は、より正確な結果に至る可能性があり得る。或いは、このモデルは、任意の解剖学的領域の画像データを処理することが可能な、解剖学的構造に特有ではない場合もあり得る。
【0122】
検証の目的で、例示的なGANベースの機械学習モデルが、pix2pix及びCycleGANアーキテクチャの各々を用いて、本発明の発明者らによって構築された。
【0123】
図3は、CycleGANアーキテクチャを用いて構築されたモデルを用いて、シミュレートされた画像データを生成するために画像から変換に適用した結果を図解している。このモデルは、胸部の解剖学的構造のための3Dサーベイ及び診断用CT画像のペア上でトレーニングされた。CycleGANネットワークによって要求される通りに、軸方向のスライスは、256x256のピクセルにサイズ変更され、輝度は0-255の範囲に正規化された。このCycleGANネットワークは、400エポックの間、バッチサイズ5で、9つのトレーニング用の対象者からの2D軸方向スライスのペアに対して、トレーニングされた。なお、1人の対象者からのデータが、検証のために保持された。
【0124】
図3(a)は、CTによる胸部3Dサーベイ画像の軸方向のスライスを示し、図3(b)は、機械学習モデルによって生成された、シミュレートされた診断用のCT画像を示している。図3(c)は、比較のために、元の診断用CT画像を示している(すなわち、図3(b)の画像は、この画像のシミュレーションである)。
【0125】
図4は、pix2pixアーキテクチャを用いて構成されたモデルを使用した場合の、同じテストケースに対する結果を図解している。図4(a)から(c)は、胸部の解剖学的構造の軸方向のスライスに対する結果を示し、他方で、図4(d)から(f)は、胸部の解剖学的構造の冠状スライスに対する結果を示している。
【0126】
図4(a)は、CTによる胸部3Dサーベイ画像を示す。図4(b)は、機械学習モデルによって生成された、シミュレートされた診断用のCT画像を示している。図4(c)は、比較のために、元の診断用CT画像を示している(すなわち、図4(b)の画像は、この画像のシミュレーションである)。
【0127】
図4(d)は、CTによる冠状面の胸部3Dサーベイ画像を示している。図4(e)は、機械学習モデルによって生成された、シミュレートされた診断用のCT画像を示している。図4(f)は、比較のために、元の診断用CT画像を示している(すなわち、図4(e)の画像は、この画像のシミュレーションである)。
【0128】
本発明の実施形態による方法は、第1の画像データに、候補撮像走査パラメータの特定のセットに従ってシミュレートされた第2の画像データを生成するようにトレーニングされた機械学習モデルを適用する。この方法は、例えば、適切にトレーニングされた機械学習モデルを読み出すために、データストアにアクセスするステップを有する。
【0129】
特に、少なくとも1組の実施形態によると、この方法は、複数のバージョンの機械学習モデルを記憶しているデータストアにアクセスするステップを有するのであるが、各それぞれのバージョンは、候補走査パラメータの異なる各セットで動作させた医用撮像装置から取得された場合には、入力画像データの期待される外見をシミュレートするシミュレートされた画像データを出力するようにトレーニングされている。この方法は、候補走査パラメータの得られた第1のセットに基づき、データストアから、得られた候補走査パラメータの少なくとも第1のセットに応じて、複数のバージョンの機械学習モデルの中の1つを読み出すステップを有する。読み出されたバージョンが、受け取られた第1の画像データに適用できる。
【0130】
走査パラメータの異なる特定の設定を用いて取得された画像データをシミュレートするようにトレーニングされた複数のバージョンの機械学習モデルを有するデータストアが、1つ又は複数の実施形態によるシステム8の一部を形成し得る。
【0131】
いくつかの実施形態では、完全な3D画像データセットの変換を扱うために、一度に1つの2Dスライスに対して変換が行われる。換言すると、第1の画像データは、共に3D画像データセットを形成する複数の2Dスライス画像を含み、機械学習モデルは、2Dスライス画像を入力として受け取り、シミュレートされた2Dスライス画像を出力として生成するようにトレーニングされ、機械学習モデルを用いて第1の画像データを処理するステップは、機械学習モデルを第1の画像データの2Dスライス画像の各々に適用するステップを有する。
【0132】
しかし、スライスごとの2Dアプリケーションは、本質的ではない。他の例では、機械学習モデルは、3D画像を受け取るようにトレーニングされ、その場合に、モデルからの出力は、シミュレートされた3D画像である。この3Dアプローチは、公刊されており、インターネットアドレス<https://github.com/neoamos/3d-pix2pix-CycleGAN>において、オープンソースとして利用可能である。
【0133】
以上では、GANアーキテクチャの使用についてある程度詳細に説明されてきたが、これは本質的でないことが理解されるだろう。他のタイプの機械学習アーキテクチャも、画像間の変換を達成するために、適用されることが可能である。例えば、他のタイプの畳み込みニューラルネットワークが使用されることもある。また、条件付き敵対的生成ネットワーク(cGAN)も使用される。
【0134】
本発明の実施形態を更に例証するために、次に、本発明の少なくとも1つの実施形態の実施態様のための例示的なワークフローが概説される。以下の説明ではCT画像データの使用が例示のために言及されるが、同一のステップが、機能を損失することなく、他のタイプの撮像様態からの画像データにも等しく適用可能であることを理解してほしい。
【0135】
3Dサーベイ走査が、特定の患者に対して、第1の3D画像データを取得するために行われる。サーベイ画像データに加えて、ターゲットとなる解剖学的構造、患者データ(例えば、人口学的な情報)、及び任意選択として撮像装置のためのデフォルトである1セットの取得設定など、完全な診断用走査をシミュレートすることに関する他の情報も、取得される。
【0136】
完全な診断用走査のための候補撮像走査パラメータの第1のセットが得られる。これは、ユーザによって、ユーザインターフェースにおいて入力されることが可能であるし、又はデフォルトである撮像走査パラメータのセットが使用されることも可能である。
【0137】
この情報に基づいて、複数の異なるバージョンの機械学習モデルを記憶しているデータストアが、候補走査パラメータの得られた第1のセットに基づいて問合せを受け、それに対応してトレーニングを受けたモデルがデータストアから選択され、プレビュー診断用CT画像を評価するために3Dサーベイ画像データに適用される。
【0138】
上述されたデータストアは、システム8によって構成されたデータストアであり得るし、又は、システム8の外部にあって、ネットワーク接続若しくはインターネット接続を介してアクセス可能である場合もあり得る。
【0139】
統合プレビュー診断用CT画像が、検討のために、ユーザインターフェース32のディスプレイスクリーン上で、技術者に提示される。技術者には、走査パラメータを調整するためのオプションが提供される。この方法は、シミュレートされた画像データの表示の後に、ユーザにより指示され調整された候補撮像走査パラメータのセットをユーザインターフェースから受け取るステップを有する。撮像走査パラメータの調整されたセットは、次に、走査パラメータの第2のセットとして使用される。
【0140】
調整可能な走査パラメータは、管電圧と管電流とを含み得る。これらを調整することにより、画質と放射線量との間の最適な妥協の選択が可能になる。調整可能な走査パラメータは、患者を仮想的に移動させ、それぞれの設定に対するシミュレートされたプレビューCT画像を提示することによる、患者の垂直方向でのセンタリングを含む。これにより、結果的に最適な画質と放射線量とが得られるカウチ位置の選択が可能になる。調整可能な走査パラメータは、画像の解像度設定も含む。調整可能な走査パラメータは、再構成フィルタの設定も含む。
【0141】
所望の走査パラメータのための統合されたプレビューCT画像を検討するときに、技術者には、ユーザインターフェース上のユーザコントロールを経由して、当初の走査パラメータのセットを受け入れて先に進むというオプションが提供され得る。技術者には、また、その走査パラメータを拒絶するというオプションも提供され得る。
【0142】
追加的に又は代替的に、技術者は、グラフィカルユーザインターフェース上に提供されているユーザコントロールのセットを経由して、走査パラメータを調整し、更新された走査パラメータに従って更新されシミュレートされた画像データを以後に生成させることが可能になる。
【0143】
例えば、いくつかの実施形態では、この方法は、候補撮像走査パラメータのカスタムセットをユーザが定義することを可能にするユーザコントロールをユーザインターフェース上に提供するステップと、ユーザインターフェースからユーザにより定義された候補走査パラメータのカスタムセットをユーザインターフェースから受け取るステップとを有し、機械学習モデルをデータストアから読み出すステップは、候補走査パラメータのユーザにより定義されたカスタムセットを用いて取得された画像データの外見をシミュレートするシミュレートされた画像データを生成するようにトレーニングされた機械学習モデルを読み出すステップを含む。この方法は、機械学習モデルから出力されたシミュレートされた画像データをユーザインターフェース上に表示するステップを更に含む。
【0144】
走査パラメータの異なる複数のセットに対する統合されたプレビューCT画像を検討した後で、技術者は、診断用CT画像取得のための最良の設定を選択できる。
【0145】
図5には、例示的なグラフィカルユーザインターフェースのディスプレイスクリーンを示す例が、図解されている。ユーザインターフェースは、元の第1の画像データ74(3Dサーベイ、すなわち「サービュー」画像データ)の1つのビューと、シミュレートされた画像データ76からレンダリングされた対応するビューとを表示するように、制御される。各々の場合で示されている2D画像は、例えば3D画像データセットを通過する特定の2Dスライスなど、それぞれの3D画像データセットから生成されたレンダリングされたビューであり、すなわち、ボリュームレンダリング(例えば、レイキャスティング技術を通じて生成される、投影レンダリング)である。ユーザインターフェースは、複数の撮像パラメータの各々をユーザが調整することを可能にするユーザコントロール78のセットを表示する。図解されている例では、これらは、管電流、管電圧、線量レベル、スライスの厚さ、再構成カーネル、及び撮像装置に対する解剖学的構造の垂直方向での中央位置である。図解されている例では、これらのユーザコントロールは、調整可能なスライダバーという形態を有するが、例えば異なるパラメータのために完全にカスタムな定量的な値を入力することができるテキストボックスなど、他のタイプのコントロールを用いることも可能である。
【0146】
好ましくは、本質的ではないが、ユーザコントロール78を経由してユーザがカスタムな走査パラメータを変更すると、これは、カスタムな走査パラメータを用いて取得された画像データの外見をシミュレートするようにトレーニングされた機械学習モデルを読み出すことにより、変更されたカスタムな走査パラメータによる新たなシミュレートされた画像データの生成を自動的にトリガする。提示されるシミュレートされた画像76は、それに従って、更新される。
【0147】
有利な例では、この方法は、シミュレートされた画像データのために品質インジケータを導くために、シミュレートされた画像データに品質評価を適用するステップを更に有する。こうして、走査パラメータの異なる設定に対して取得された統合プレビュー画像の品質が、定量化されることが可能になる。
【0148】
いくつかの例では、定量化された品質インジケータが、自動選択アルゴリズムによって利用されることが可能であるが、この場合、自動選択アルゴリズムは、走査パラメータの異なる設定に従ってシミュレートされた画像データの複数の異なるセットを自動的に生成し、最高品質のインジケータ値を結果的に生じる設定を選択する。
【0149】
よって、例えば、この方法は、候補撮像走査パラメータの複数のセットの各々に対してシミュレートされた画像データの複数のセットを自動的に生成するステップを有する。走査パラメータの各候補セットに対して、この方法は、データストアから機械学習モデルの(対応する走査パラメータのセットに従ってトレーニングされている)1つを読み出すステップと、シミュレートされた画像データセットを生成するために、その機械学習モデルを走査パラメータの候補セットに適用するステップとを有する。使用されることになる候補走査パラメータの複数のセットは、例えば、各々の調整可能なパラメータを規則的な量でインクリメントさせることによって、自動的に生成されるのであるが、その結果として、走査パラメータ空間にわたって、候補走査パラメータセットのフィールドが生じる。
【0150】
この方法は、次に、任意選択として、シミュレートされた画像データの各セットに対する品質インジケータを導くため、シミュレートされた画像データの各セットに品質評価を自動的に適用するステップを更に有する。この方法は、(最高品質のインジケータを用いて、シミュレートされた画像データを識別するために)シミュレートされた画像データの異なる複数のセットに対する品質インジケータの比較に基づいて候補走査パラメータの複数のセットの中から1つのセットを自動的に選択するステップを有する。走査パラメータの第2のセットは、この選択に従って設定される。
【0151】
いくつかの例では、ユーザインターフェースは、走査パラメータの選択されたセットの視覚的表現及び/又は選択された走査パラメータのセットに対応する対応のシミュレートされた画像データのレンダリングされたビューを表示して、ユーザ承認の選択されたセット、ユーザ拒絶の選択されたセット、又は走査パラメータの選択されたセットのユーザ調整を示す入力をユーザに促すように、制御され得る。第2の画像データは、ユーザ承認を示すユーザ入力のみに応答して、走査パラメータの選択されたセットに従って、取得される。ユーザがパラメータを調整する場合には、画像データの第2のセットは、調整されたパラメータに従って取得される。いくつかの例では、シミュレートされた画像データの更なるセットが、ユーザによって調整された走査パラメータに従って生成され、ユーザインターフェースのディスプレイスクリーン上でユーザに提示され、ユーザは、承認、拒絶及び/又は調整を、再び促される。
【0152】
他の例では、第2の画像データの取得は、最高品質というインジケータスコアを有する走査パラメータのセットが自動的に選択された後で、自動的にトリガされ得る。
【0153】
いくつかの実施形態では、走査パラメータの複数のセットの中から1つのセットを自動的に選択する代わりに、この方法は、シミュレートされた画像データの各々のセットの視覚的表現とシミュレートされた画像データの対応する候補走査パラメータの各セットの指標とを表示するように、ユーザインターフェースを制御するステップと、走査パラメータの複数のセット中から第2の画像データの取得のために使用されるべき1つのセットを選択するようにユーザに促すステップとを有し得る。この方法は、このように、ユーザインターフェースから、走査パラメータの候補セットの中からユーザにより示された選択である1つのセットを受け取るステップを有するのであって、ここで、第2の画像データを取得するために用いられる走査パラメータの第2のセットは、ユーザの選択によって定義される。
【0154】
いくつかの例では、この方法は、走査パラメータの複数の候補セットの中からユーザによって指示された1つのセットの選択が、シミュレートされた画像データの表示された複数のセットの中からユーザが1つのセットを選択することを通じて達成されるように、ユーザインターフェースを制御するステップを有する。例えば、ユーザには、シミュレートされた画像データの複数のセットの各々からレンダリングされたビューが提示され、これらの中から1つのセットを選択することによって、画像走査パラメータの対応するセットが選択される。
【0155】
生成されたシミュレーション画像は、また、患者の垂直方向でのセンタリングを含む患者の位置決めの最適化や、画像セグメンテーションにもかかわらず特に欠けている解剖学的構造の範囲の評価など、撮像ワークフローを最適化するためのいくつかの他の機能のために、有利に利用されることが可能である。3Dサーベイ画像から推論されたプレビューCTは、これらのアプリケーションにおいて、更なる改善のために採用され得る。
【0156】
特に、(通常、これらの目的のために使用される)3Dサーベイ画像におけるノイズパターンは、後で列挙するセグメンテーションの結果又は分類アプローチの品質を低下させるという危険性を生じさせ得る。3Dサーベイ画像領域から診断用撮像領域への画像変換は、結果として、画像の改善及びノイズ削減をもたらすことで、これらのアプローチを、エラーが少なく、より堅牢にする。
【0157】
シミュレートされた画像データの可能性がある更なる適用は以下の1つ又は複数を含み得る。
- 走査計画における使用:例えば、セグメンテーションアルゴリズムの適用を通じて、ターゲットとなる解剖学的構造が撮像視野の内部に全体として含まれているかどうかを決定することが可能である。
- ターゲットとなる解剖学的構造が部分的に欠けている空間的範囲(不完全な臓器カバレッジ)の評価における使用。換言すると、ターゲットとなる解剖学的構造が撮像視野によって完全にはカバーされていない場合には、画像セグメンテーションを通じて、撮像視野の外部にある解剖学的構造の欠けている部分の空間的範囲に関する評価が、行われることが可能である。
- 撮像装置に対する患者の垂直方向でのセンタリングの調整における使用。例えば、CT撮像のコンテキストにおいては、回転可能なガントリのアイソセンタに対する患者の垂直方向でのセンタリングの調整。
- 撮像視野における、その存在が不所望である1つ又は複数の所定の解剖学的特徴の存在検出での使用。例えば、これは、眼水晶体など感覚器官を含み得る。シミュレートされた画像データに基づいてそのような特徴が視野において検出される場合には、アラートが生成されることがあり得る。
【0158】
以上のアプリケーションの各々の場合に、専用のアルゴリズムが、その生成の後で、シミュレートされた画像データに適用される。例えば、技術者は、患者が適切に位置決めされていない場合には、警告され得る。いくつかの例では、最適な画質が獲得されるように、走査の開始及び終了位置など、訂正された走査パラメータが、技術者に提案されることもあり得る。
【0159】
また、3Dサーベイ画像データ又はシミュレートされた画像データのいずれであっても入力として受け取ることができる、特定用途向けのモデルをトレーニングすることも可能である。
【0160】
1つ又は複数の実施形態によると、シミュレートされた画像データは、造影剤の身体的な取り込みをシミュレートするのに、有利に使用され得る。例えば、医用撮像においては、患者の循環の動脈及び静脈部分を強調させるなどのために、造影剤が日常的に使用される。この目的のために、専用のシミュレーションアルゴリズムが開発され、シミュレートされた画像データに適用されることがあり得る。これにより、造影剤との関係で得られるだろう画像に対して特定の走査の設定がどのように影響するのかを、オペレータが予測して事前に計画することが可能になる。これにより、ボーラストラッキング手順の計画策定に確実性が追加され得る。なお、ボーラストラッキング手順の間に、投入された造影剤の流れをモニタするため、走査の間に反復的に撮像される対象関心領域(ROI)が、身体における1つ又は複数のランドマーク位置に対応するように、選択される。
【0161】
これらのROIを走査の前に位置決定するのは、強調されていないサーベイ画像だけを使用する場合には、経験不足の技術者にとって、困難であり得る。
【0162】
造影剤の取り込みは、例えば、血管の位置を検出するようにシミュレートされた画像データを処理し、次に、サーベイ画像において血管を表す領域に高い値を割り当てるように画像データを処理することによって、シミュレートすることが可能である。このようにして、血管のコントラスト強調は、単に、血管に対応することが検出された位置におけるピクセル/ボクセル値を変更することによって、人工的にシミュレートすることが可能である。
【0163】
いくつかの例では、これは、トレーニングされた機械学習アルゴリズムを使用することで、達成可能である。例えば、コントラスト強調シミュレーションは、同一の解剖学的構造画像のコントラストが強調されたバージョンとコントラストが強調されていないバージョンというペアを用い、機械学習アルゴリズムをトレーニングすることを通じて、容易化することができる。例えば、画像の各々のペアの一方は、造影剤の投入前の患者に関して取得された画像であり、他方は、造影剤が投入された後に取得された画像であり得る。造影剤の濃度、投入時間、又はコントラスト強調プロセスのいずれかの他のパラメータ又は変数をシミュレートするために、異なるモデルをトレーニングすることができる。すなわち、異なるモデルを、意図された線量及び意図されたタイミングに応じて、トレーニングして選択できる。これにより、仮想的なコントラスト強調が可能になる。
【0164】
シミュレートされた画像データは、走査のボックスプラニングの目的にも、使用され得る。
【0165】
ボックスプラニング又は走査プラニングとは、技術者がユーザインターフェースを使用してサービュー画像におけるターゲットとなる解剖学的構造の周囲にボックスを描く、コンピュータ実施方法であり、この方法では、ボックスが、システムによって、完全な診断用走査において画像が取得されるボリュメトリックエリアを定義するために、使用される。これにより、オペレータは、解剖学的構造の全体がボックスの中にカバーされていることを確認することによって、ターゲットとなる解剖学的構造が撮像FOVにおいて完全にカバーされるのを確認することが可能になる。この後に、(ターゲットとなる解剖学的構造が視野に含まれる)診断用のCT画像を取得することが続く。本発明の実施形態によって生成されるシミュレーションされた画像データは、ボックスプラニングにおけるサーベイデータの代わりに、オペレータによるボックスの素描として、有利に使用される。
【0166】
走査範囲の始点及び終点を選択する場合やFOVなど、以後の走査の計画策定を助ける第1の3D画像データ(サーベイ走査データ)を用いて行われることが可能な、他の有用な機能が存在する。
【0167】
これらの機能は、解剖学的構造の特定のビューの追加的視覚化を生成するように、第1の3D画像データ又はシミュレートされた画像データのいずれかを処理するステップと、これらを用いて、計画された以後の完全な走査のためのパラメータを調整するステップとを含む。
【0168】
次に、1つの例示的な方式について、詳細に概説する。これは、シミュレートされた画像データが生成される上述した方法の1つ又は複数との組合せとして用いられるし、又は、それ自体の著しい技術的長所を呈するために、それ単独でも採用される。
【0169】
導入としては、現時点では、サーベイ走査をキャプチャして解析するためには、異なるアプローチが存在する。非常に一般的には、2D走査データの1つ又は複数のセットのみが取得され、これらは、解剖学的構造を通過する特定の平面を表し、診断用走査を計画するために使用されることが可能である。例えば、CT走査の分野では、1つ又は複数のトポグラムをキャプチャするのが一般的であるが、これは、患者がガントリを通過して移動する間にX線管からの高速パルスを使用することによって得られる2次元のデジタルレントゲン写真である。これらは、CT撮像の分野では広く使用されており、したがって、臨床家によってよく理解されている。
【0170】
更には、例えば低線量ヘリカル走査など、3Dサーベイ走査からそのような画像を生成するために知られた技術が存在する。例えば、米国特許第9408578B2号を参照するが、これは、臨床の現場でコンピュータ断層撮影システムを用いた検査領域のスパイラル取得に基づきトポグラムを確立するための方法を記載している。これは、平行投影の技術を使用している。
【0171】
しかし、この方法においてヘリカル走査から生成される2D画像は、従来型のトモグラムと類似の長所を有している(したがって、医師たちに直ちによく理解される)が、それらは、同じ限界も有していて、3Dサーベイ走査の間に取得されるボリュメトリック画像データの完全な潜在性を活用していない。
【0172】
特に、従来型の2Dサーベイ画像では身体全体からデータが取得されるのであるが、それにより、計画策定のために必要とされる重要な解剖学的詳細を正確に識別することが困難になる場合がある。例えば、解剖学的構造上の走査範囲の始点及び終点、ターゲットとなるFOV(視野)、又は画像平面の角度を正確に事前に計画することは、可能でない。これにより、ユーザは、解剖学的構造の正しいカバレッジ及び向きを達成することを試みるため、走査が行われる前に「当て推量」に基づいて、これらの属性を手動で修正することになる。これは、走査手順に対する時間的負担と、結果における不確実性とを生じさせる。
【0173】
従来型2Dサーベイ画像のもう1つの短所は、走査手順の間のボーラストラッキングの計画策定が複雑であって、医師の技術と経験とに深刻に依存していることである。ボーラストラッキングとは、造影媒体などのインジケータ/マーカ材料であるボーラスが患者の体内に注入され、その経路がトラッキングされる手順である。通常、トラッキングのために必要とされる走査位置は、非常に一般的である。したがって、例えばCT撮像におけるような一般的な実務は、計画されている注入位置における1回の2Dサーベイ走査と、多くの場合、その位置を微調整するためにわずかに近接する位置での追加的な走査とを行うことである。次に、以後の臨床的走査でボーラスをトラッキングするためにキャプチャされるROIが、取得された最後の画像に基づいて設定される。
【0174】
以下で説明される方法は、異なる形式の視覚化を提供するために、3Dサーベイ画像データへの異なる処理アプローチを提供するのであって、この方法は、完全な臨床的走査のための計画策定プロセスにおいて、効率性の向上を提供する。下記の方法によると、取得されたサーベイ走査データのセットを用いて、計画策定手順の間に、上述された様々な異なる走査位置を正確に視覚化することが可能になることにより、ユーザの時間が節約でき、手動の作業が簡略化されると共に、ボーラストラッキングの場合の追加的なサーベイ走査が不要になる。放射線を用いる撮像様態の場合、これは、また、患者が露出される放射線量を減少させることにもなる。
【0175】
本発明の少なくとも1つの態様の1つ又は複数の実施形態によると、コンピュータ実施方法が提供され、この方法は、以下のステップ、すなわち、
解剖学的構造に対する第1の角度位置からのビューを表す第1のビュー平面を横断する解剖学的構造のビューを表す第1の2D画像を生成し、解剖学的構造に対する第2の角度位置からのビューを表す第2のビュー平面を横断する解剖学的構造のビューを表す第2の2D画像を生成するように、患者の解剖学的構造のソース3D画像データを処理するステップと、
それぞれの関心解剖学的構造を各々が含むソース画像データにおける1つ又は複数のボリュメトリック部分領域の指標を得るステップと、
1つ又は複数のボリュメトリック部分領域の各々に対し、ソース画像データから、それぞれの部分領域を通過する少なくとも1つの2Dスライスを抽出するステップであって、この少なくとも1つの2Dスライスは、第1及び第2の両方のビュー平面と直交する、抽出するステップと、
第1の2D画像、第2の2D画像、第1の2D画像と第2の2D画像との上に重ねられた各々のボリュメトリック部分領域の境界輪郭、及び生成された2Dスライスの各々の表現を表示するように、ユーザインターフェースを制御するステップと、
を有する。
【0176】
例によると、ソース3D画像データとは、サーベイ走査データであり得る。例えば、ソース3D画像データは、上述された第1の画像データ(すなわち、サーベイ走査データ)であるか、又はそれより前に論じられたシミュレートされた画像データであり得る。
【0177】
第1及び第2のビュー平面とは、長手方向又は軸方向の撮像軸に平行で、回転撮像軸に垂直な平面であり得る。2Dスライスは、長手方向又は軸方向の軸に垂直であり回転軸と平行(又は、放射軸と平行)な平面を定義し得る。
【0178】
このコンテキストでは、ソース3D画像データは、長手方向軸であるzと回転/円周軸であるφとを有する撮像ボリュームをカバーするものとして、よって円筒型又は管状の撮像ボリュームを定義するものとして、理解され得る。
【0179】
例により、第1のビュー平面は、医用撮像装置の角度/回転軸に沿った第1の位置からのビューを表し、第2のビュー平面は、角度/回転軸に沿った第2の位置からのビューを表す。第1の2D画像は、角度/回転撮像軸に沿った計画された走査範囲の始点からのビューを表す。第2の2D画像は、角度/回転撮像軸に沿った計画された走査範囲の終点からのビューを表す。
【0180】
第1のビュー平面は、冠状面を表す。
【0181】
第2のビュー平面は、矢状面を表す。
【0182】
2Dスライスは、軸方向のスライスビューであり、これは、長手方向軸又は軸方向の軸に沿ったビューを意味する。各々のボリュメトリック領域に対し、各々のボリュメトリック部分領域を通過する少なくとも第1及び第2の2Dスライスが生成される。これらは、いくつかの例では、これらの2Dスライスに垂直な軸に沿った部分領域の長さに対する第1及び第2の位置の各々においてボリュメトリック部分領域を通過するスライスである。例えば、これらは、いくつかの例では、ボリュメトリック部分領域をこの領域の開始及び終了位置の各々において通過するスライスであり、例えば、この領域上の走査範囲の計画されている始点及び終点に対応する。換言すると、これらは、ボリュメトリック部分領域をカバーする計画された走査範囲の少なくとも一部に沿って取得される、最初及び最後の計画された軸方向のスライスを表す。各々の2Dスライス画像によってカバーされる視野(FOV)は、ボリュメトリック部分領域の幅に対応する。この目的は、計画に基づいて生成される将来の臨床画像をユーザが「プレビューする」のを可能にすることである。
【0183】
いくつかの例では、少なくとも第3の2Dスライスが、ボリュメトリック部分領域の少なくとも1つに対して表示され、第1及び第2のスライスの間のそのボリュメトリック部分領域の長さに沿ったある位置におけるビューを表す。
【0184】
各々のボリュメトリック部分領域は、完全な診断用走査で画像データが取得されることが計画されている領域に対応する。換言すると、計画されている診断用走査は、識別されたボリュメトリック領域の中の1つ若しくは複数(又は全部)を取得するように設定されている。換言すると、各々のボリュメトリック部分領域は、以後の撮像走査において撮像データが取得されることになる領域を表す。各々の部分領域を撮像するステップは、ボリュメトリック部分領域の長さ方向の軸に沿って一連の画像スライスを再構成するための画像データを収録するステップを有しており、各々のスライスは、この長さ方向軸に対して垂直に向けられた平面である。この一連のスライス画像は、角度、始点/終点、FOV(視野)などの異なる幾何学的な性質に加えて、フィルタパラメータ、並びにスライスの厚さ及び/又はインクリメントなどの異なる再構成パラメータと共に、取得され再構成され得る。上述した方法に従って生成されたプレビュー画像は、これらの撮像パラメータの一部又は全部の計画策定を助けるように、有利に使用される。
【0185】
いくつかの実施形態では、第1及び第2の2D画像が、3D投影レンダリング方法などのボリュームレンダリング方法をソース3D画像データに適用することによって、生成される。しかし、これは本質的ではなく、2Dビュー平面画像は、第1及び第2のビュー平面の各々を横断するソース3D画像データのボクセル値に基づいて、生成され得る。
【0186】
2Dスライスの各々は、ソース3D画像データを通過する2Dスライスを抽出することによって、生成される。例えば、ソースデータは、一連の2Dスライスで構成されている断層撮影のボリュメトリック画像データセットであり、第1及び第2の2Dスライスの各々は、ボリュメトリックなデータセットのスライスの1つである。
【0187】
投影レンダリング方法とは、最大値投影(MIP)又は平均値投影(AIP)などのレイキャスティング方法を意味する。ソース3D画像データがボクセル値のボリュームを備えている場合には、2Dスライスの抽出とは、そのボリュームを通過する特定の平面に沿ってボクセル値のスライスを抽出することを意味する。
【0188】
更なる例証を挙げると、例示的なワークフローが、図6を参照して、以下で説明される。例証する目的のために、これは、CT撮像を参照して説明される。しかし、サンプルである原理は、例えば、MRI撮像など、どの他の断層撮像の様態にも適用可能である。
【0189】
医用撮像検査の最初には、第1の3D撮像データを取得するために、3Dサーベイ走査が行われる。このサーベイ走査は、例えば、超低線量のヘリカル走査など、低線量のCT走査であり得る。
【0190】
これから、第1のビュー平面を表す第1の2D画像84と第2のビュー平面を表す第2の2D画像86とが、生成される。これらは、撮像装置の軸方向又は長手方向軸に沿った完全な走査範囲に及ぶ統合トポグラム画像を表し、各々が、ある角度範囲に沿った特定の地点からのビューを表す。例えば、2つの2D画像は、与えられた角度方向に沿った与えられた一連の撮像の開始及び終了など、ある与えられた方向における一連の計画された撮像に沿った2つの地点における画像であり得る。これらは、計画された一連の撮像に従い、2つの画像(例えば、与えられた方向の一連の結果的な撮像の開始及び終点)、3つの画像(開始、終点、及び中間点)、又は3つ以上の画像であり得る。与えられた方向は、角度又は回転方向であり得る。
【0191】
関心対象であるボリュメトリック部分領域の指標が得られ、各々の境界輪郭88a、88b、88c、90a、90b、90cが、2つの2D画像平面84、86の各々の上の関連領域の周囲の重複された境界として、レンダリングされる。
【0192】
上述されたように、いくつかの場合には、ボリュメトリック部分領域が、予め定義された目標となる解剖学的構造に関する事前の知識を使用し、2つの2D統合トポグラムビュー84、86に適用された画像セグメンテーションに基づいて、2D画像84、86上に自動的に配置される。
【0193】
これに続き、ボリュメトリック部分領域88、90の各々を通過する2Dスライスが、ソース3D画像データから抽出され、ユーザインターフェースのディスプレイ上に82a、82bとして提示される。これらは、この部分領域に沿った第1及び第2の位置の各々における各それぞれの部分領域を通過するビューに対応する。特に、第1及び第2の位置は、ボリュメトリック部分領域に及ぶ走査範囲の始点及び終点に対応する。例えば、これらのスライスは、ボリュメトリック部分領域に及ぶ走査範囲の少なくとも一部の始点及び終点でキャプチャされるように計画されたスライスのプレビューを表す。これらの表示されたスライスは、したがって、ボリュメトリック部分領域に沿った一連の計画された画像の第1及び第2のスライスを表す。
【0194】
このように、このコンテキストでは、ボリュメトリック部分領域の周囲のバウンディングボックスの幅は、そのボリュメトリック部分領域においてキャプチャされる各々の画像スライスのFOVの幅を反映する。
【0195】
例を挙げると、図6を参照すると、この図には、ユーザインターフェースのディスプレイスクリーン上に、3つの識別されたボリュメトリック部分領域が表示されている。第1の88a、90aの部分領域は、対象者の頭部を含む。ボリュメトリック部分領域の第288b、90bは、対象者の胸部を含む。ボリュメトリック部分領域の第388c、90cは、対象者の腹部を含む。
【0196】
頭部88a、90aのボリュメトリック部分領域に対するプレビュー画像スライスは、82aで示されているプレビューボックスに示されている。対象者の胸部88b、90b及び腹部88c、90cの部分領域に対するプレビュー画像スライスは、82bに示されている。
【0197】
対象者の周囲の異なる回転位置を表す第1のビュー平面84と第2のビュー平面86との両方に対するボリュメトリック部分領域の輪郭を示すことにより、オペレータが、ボリュメトリック部分領域の完全な3Dの幾何学的構造/形状を見ることが可能になる。例えば、ボリュメトリック部分領域の傾斜角を見ることが可能である。例えば、頭部の部分領域ボックス88a、90aは、第2の平面ビュー86に対して傾斜している。
【0198】
いくつかの実施形態では、この方法は、ボリュメトリック部分領域のユーザにより示された調整のユーザによる入力が許容されるように、ユーザインターフェースを制御するステップを、有する。例えば、この調整とは、患者の解剖学的構造に対するボリュメトリック部分領域の位置を変更すること、又はそのサブ領域によって定義されたボリュームを変更することであり得る。
【0199】
いくつかの例では、この方法は、ユーザによる部分領域への調整の指示に応答して、部分領域の表示されている境界がユーザにより示された調整に従って自動的に調整されるように、ユーザインターフェースを制御するステップを有する。このようにして、ユーザは、解剖学的構造の部分領域をグラフィカルに調整することが可能である。
【0200】
例えば、ボリュメトリック部分領域への変化のユーザによる指標は、ボリュメトリック領域の周囲のスクリーン上に示されているアウトラインボックス88a、88b、88cの視覚的にレンダリングされた位置をユーザがドラッグすることによって、達成可能である。
【0201】
いくつかの例では、ユーザインターフェースは、タッチスクリーンディスプレイを備えていて、ユーザにより示された調整は、タッチを通じて、例えば、調整を示す境界を解剖学的構造に対する部分領域の位置にドラッグすること、又は変化を示す境界の一部を境界によって定義されるボリュームにドラッグすることを通じて、入力される。
【0202】
好ましくは、与えられた部分領域のユーザにより示された調整を受け取ることに応答して、この方法は、部分領域の長さに対する2つの位置のそれぞれに対してそれぞれのボリュメトリック部分領域を通過する新たな2Dスライスを抽出するステップと、ユーザインターフェース上に先に表示されていた2Dスライスの代わりに新たな2Dスライスを表示するステップと、を有する。
【0203】
換言するならば、2Dビュー平面画像84、86に対するボリュメトリック部分領域を表すボックス88、90をユーザが操作(例えば、移動、サイズ変更、回転)すると、プレビュースライス画像82a、82bがリアルタイムで再計算され、それにより、ユーザは、(必ずしも、画質はそうではないが)幾何学的配置に関する最終結果の外見を直ちにプレビューすることができる。
【0204】
ボーラストラッキングの場合には、ボーラストラッキングのために計画されている撮像位置は、ボリュメトリック部分領域の中の1つによって定義され、それにより、この位置を包囲する境界が、2つの2Dビュー平面84、86のそれぞれに対して表示され、トラッキング位置に対応する軸方向スライスが表示される。
【0205】
いくつかの例では、関心部分領域が、例えば解剖学的画像セグメンテーションなどの解剖学的画像解析を通じて、自動的に識別される。特に、関心部分領域の指標を得るステップは、解剖学的な関心目標を検出するために画像解析動作をソース画像データに適用するステップと、画像データにおける識別された解剖学的な関心目標の境界に応じてボリュメトリック部分領域を以後に決定するステップとを有する。
【0206】
いくつかの例では、第1の2D画像と第2の2D画像とが、予め定義された深度にあり第1及び第2の角度位置でビューと対応するソース3D画像データから2Dスライスを抽出することによって、生成される。或いは、第1の2D画像と第2の2D画像とは、例えば完全なソース3D画像データセットに適用される投影レンダリング方法など、ボリュームレンダリング方法によって、生成される。
【0207】
この方法は、ボリュメトリック部分領域のそれぞれに共に少なくとも及ぶ又はそれを含む1つ又は複数のボリュームの第2の3D画像データをキャプチャするように、医用撮像装置を制御するステップを、更に有する。
【0208】
上述の方法はX線CT走査の分野から取られた例を用いて例示されているが、それは、(非限定的な例としての)MRI走査など、他の3D撮像様態でのサーベイ走査にも、適用され得る。
【0209】
次に、更なる例示的な方式の詳細が、概観される。これは、上述された方法の中の1つ又は複数との組合せとして使用され得るのであり、例えば、シミュレートされた画像データが生成される方法、若しくは3Dサーベイ走査データが効果的に視覚化される方法であり、又は、それ自体の著しい技術的長所のために、単独でも採用され得る。
【0210】
導入により、CT撮像の分野におけるトポグラムなど、従来型の2Dサーベイ画像は、全体のボリュームを単一の画像に(X線ビームの方向に)有効に「圧縮」する。それにより、多くの解剖学的詳細は識別が困難になり、このことが、走査計画プロセスを劣化させる。
【0211】
3Dサーベイ画像は、画像データの全体のボリュームを提供するため、与えられた厚さを有するボリュメトリックスラブ又はブロック領域が、2Dサーベイ画像の代わりに、又はそれに追加されて、生成されることが可能である。スラブは、平均値投影(AIP)又は最小値投影(MIP)など、様々な3Dレンダリング技術を使用して、2D画像としての提示のためにレンダリングされることが可能である。これは、画質を著しく向上させる。
【0212】
例証として、首領域の従来型の2Dトポグラム画像(図7(a))と3Dサーベイ走査画像データセットから抽出された画像データのボリュメトリックスラブからレンダリングされた2D画像(図7(b))との間の比較を示す、図7を参照する。明らかなように、ボリュメトリックスラブからレンダリングされた2D画像では、画像の詳細が、はるかに、より精細である。
【0213】
こうして、本発明の少なくとも1つの態様の1つ又は複数の実施形態によると、
3Dソース画像データにおける関心スラブを識別するステップであって、スラブとはソース画像データにおける画像スライスの連続的なスタックから構成されるボリュメトリック領域である、識別するステップと、
関心スラブと対応するソース画像データから、画像スライスのスタックを抽出するステップと、
関心スラブのボリュームレンダリングを生成するステップと、
ボリュームレンダリングをユーザインターフェース上に表示するステップと、
を有するコンピュータ実施方法が提供される。
【0214】
3Dソース画像データは、例えば、サーベイ画像データである。それは、本開示で先に言及された、第1の画像データであり得る。それは、本開示で先に言及された、シミュレートされた画像データであり得る。
【0215】
スラブとは、画像データにおけるボリュメトリックな関心ブロックである。
【0216】
ボリュームレンダリングは、3D投影レンダリングなど、直接的なボリュームレンダリング技術を採用し得る。3D投影レンダリングとは、投影レイキャスティング法を通じての、2D画像におけるボリュメトリックデータのレンダリングを意味する。最大値投影(MIP)と平均値投影(AIP)とが、例えば、2つの例である。
【0217】
関心スラブによってカバーされる領域は、いくつかの例では、画像セグメンテーション技術を使用して自動的に検出される。
【0218】
よって、いくつかの実施形態によると、この方法は、ソース画像データにおける解剖学的な関心領域を識別するために、画像解析動作を適用するステップと、画像データにおけるスラブの位置と厚さとを解剖学的な関心領域の少なくとも一部と重複するように設定することにより、識別された解剖学的な関心領域に応じて、ソース画像データにおける関心スラブを識別するステップとを更に有する。解剖学的な関心領域とは、解剖学的な関心目標によって占有されている領域である。
【0219】
次に、例証により、この方式のための例示的なワークフローが、図8を参照して、以下で概説される。これは、特にCT撮像を参照して説明されるが、同じ原理が、例えばMRI撮像など、特に他の断層撮像の様態のような他の撮像の様態にも等しく適用されるということが理解されるべきである。
【0220】
検査の最初には、第1の3Dサーベイ画像データが取得される。例えば、いくつかの例では、これは、低容量のヘリカル走査であり得る。完全な軸方向の撮像次元に及ぶ(例えば、体軸方向(AP)及び横断方向のビューなどの)平面ビューを表す統合トポグラムを生成する代わりに、又はそれに加えて、ボリュメトリックなスラブ領域が選択され、そのスラブ領域の画像レンダリングが生成されて、ユーザインターフェース上に表示される。スラブ領域とは、解剖学的構造を通過する一連の軸方向スライス又は軸方向のスタックから構成されるボリュメトリック領域を意味する。スラブ領域は、最大値投影(MIP)又は平均値投影(AIP)などのボリュームレンダリング方法を通じて、レンダリングされることが可能である。解剖学的構造に対するスラブの位置及び厚さは、手動での設定が可能であり、予め定義されることも可能であり、又は自動化された解剖学的画像のセグメンテーションに基づいて自動的に決定され得る。いったんスラブに対する最初の位置が設定されても、その位置は、事後に、ユーザによって手動で調整されることもあり得る。
【0221】
スラブの最適な厚さ及び位置を定義するのは重要であって、すなわち、スラブが薄すぎる又は不正確に位置決めされている場合には、関心対象である解剖学的構造の一部がビューから排除されることがあり得る。スラブが厚すぎる場合には、解剖学的構造の本質的ではない部分が含まれることになり、それにより、投影レンダリングが適用されるときに、所望の解剖学的構造が曖昧になる虞がある。
【0222】
したがって、好適なアプローチは、(任意の自動化された解剖学的なセグメンテーションアルゴリズムを用いて)取得された3Dボリュームから目標となる解剖学的構造を自動的に識別し、次に、この解剖学的構造のある方向において検出されたバウンディングボックスを、スラブ領域の最適な位置及び厚さを評価するのに用いることである。例えば、矢状スラブの場合には、スラブの厚さは、対象者に対して左右方向に沿った目標(例えば、対象者の左右に対して)となる解剖学的構造の検出された境界の幅に基づいて、設定されることが可能である。
【0223】
いくつかの例では、スラブの厚さは、解剖学的構造の位置検出におけるいずれかの誤差も許容するように、前記幅に等しい厚さと更なる予め定義されたマージンとの合計に設定され得る。スラブの位置は、解剖学的構造の検出されたバウンディングボックスの中心に対して、その中心が配置されるように設定される。追加されるマージンは、異なる方向で異なり得るのであって、異なる解剖学的構造に対しても異なり得る。
【0224】
解剖学的構造の自動的に識別されたバウンディングボックス92を示す例が、図8に図解されている。図解されているように、スラブの厚さ94は、追加的なマージンが追加されることで、解剖学的構造のバウンディングボックスの幅より広く設定されている。
【0225】
当初の3Dサーベイ画像は、より低い放射線量を用いて取得されるので、理想であるよりも多くのノイズを含む。したがって、セグメンテーションアルゴリズムが最も効果的に機能するために、元々の取得されたサーベイ画像は、最初に、任意の適切なノイズ低減アルゴリズムを用いてノイズが低減される。
【0226】
よって、使用されるソース画像データが第1の画像データ(すなわち、サーベイ画像データ)である場合には、この方法は、任意選択として、画像解析動作を適用する前に、第1の画像データにノイズ低減を適用するステップを更に有する。
【0227】
以上で概説された様々な実施形態は、解剖学的画像解析の適用に言及している。解剖学的画像解析は、解剖学的画像セグメンテーションを有し得る。
【0228】
例によると、広範囲の異なる解剖学的セグメンテーションアプローチが、適用可能である。いくつかの例では、機械学習ベースのアプローチが使用される。例えば、特定の解剖学的構造の解剖学的セグメンテーションのためにトレーニングされた畳み込みニューラルネットワーク(CNN)が、使用されることがあり得る。更なる例を挙げると、目標検出アプローチを採用しているモデルベースのセグメンテーションや、マシンビジョン技術を採用するアプローチなど、より古典的アルゴリズムによるアプローチが、追加的又は代替的に使用されることもある。
【0229】
例を挙げると、畳み込みニューラルネットワークを利用する1つの適切な解剖学的セグメンテーションアプローチが、次の論文で解説されている。すなわち、<http://arxiv.org/abs/1505.04597>で入手可能な、O.Ronneberger,P.Fischer,及びT.Broxによる“U-Net:Convolutional Networks for Biomedical Image Segmentation,”arXiv:1505.04597[cs],May 2015である。
【0230】
更なる例を挙げると、畳み込みニューラルネットワークを利用するもう1つの適切な解剖学的セグメンテーションアプローチが、次の論文で解説されている。すなわち、Brosch,T.及びSaalbach,A.による“Foveal fully convolutional nets for multi-organ segmentation”in Medical Imaging 2018:Image Processing,Angelini,E.D.及びLandman,B.A.,eds.,10574,198-206,International Society for Optics and Photonics,SPIE(2018)である。
【0231】
更なる例を挙げると、マシンビジョン技術を使用したもう1つの適切な解剖学的セグメンテーションアプローチが、次の論文で解説されている。すなわち、Kaiming He et al,Mask R-CNN,arXiv eprint 1703.06870,2017である。
【0232】
更なる例を挙げると、マシンビジョン技術を使用したもう1つの適切な解剖学的セグメンテーションアプローチが、次の論文で解説されている。すなわち、Tsung-Yi Lin,Priya Goyal,Ross Girshick,Kaiming He及びPiotr DollarによるFocal Loss for Dense Object Detection,arXiv eprint 1708.02002,2017である。
【0233】
以上で概説された本発明の様々な実施形態は、3D画像データのボリュームレンダリング又は3Dレンダリングの実行に言及している。
【0234】
各々の場合において、本発明の実施形態により、広範囲な異なるボリュームレンダリング方法が使用される。
【0235】
好適な実施形態では、直接的なボリュームレンダリング方法が使用される。
【0236】
1つの好適な例は、ボリューム光線投影又はボリューム光線追跡である。これは、直接的なボリュームレンダリングの例である。ボリューム光線投影では、それぞれのサンプリング光線が、レンダリングされる画像における各々の所望のピクセルに対して生成される。観測者の視点が、定義される。各々の光線は、視点の投影中心で開始して、定義された画像平面上の画像ピクセルの中のそれぞれ1つを通過する。光線は、光線の経路に沿った規則的な間隔でサンプリングされ、光線が対応する撮像平面におけるそれぞれのピクセルに対するピクセル値を導くために、サンプリングされたピクセルのセットに対して、伝達関数が適用される。例を挙げると、ピクセル値は、グレイ値、RGB値、不透明値、又はいずれかの他の視覚的若しくはグラフィカル特性又は性質を表す値であり得る。ボリュームレンダリングのための伝達関数は、撮像データとして撮像される3D物体の所望の視覚的表現を生成するのに所望であるように構成され得る。
【0237】
例を挙げると、伝達関数は、3D画像データセットにおけるピクセルのピクセル値に応じて、各々の光線の経路に沿って遭遇されるピクセルに、異なる重みを適用する。この重み付けは、ピクセル値との関係では非線形に変動し得る。例えば、閾値が存在し得るのであって、それよりも上又は下では、非常に低い又はゼロである重み付けが適用される。これにより、例えば、最終的なボリュームレンダリング済みの画像における特定の組織タイプだけの選択的レンダリングが可能になる。
【0238】
本発明の更なる態様は、コード手段を備えたコンピュータプログラム製品を提供するのであって、このコード手段は、医用撮像装置と動作可能な様態で結合されたプロセッサ上で実行されると、本開示で説明されている方法のいずれかによる方法をプロセッサに行わせる。
【0239】
上述された本発明の実施形態は、処理機器を採用する。この処理機器は、一般に、単一のプロセッサ又は複数のプロセッサを備えている。それは、単一の包含デバイス、構造、若しくはユニットの中に配置されるか、又は複数のデバイス、構造、若しくはユニットの間に分散される。したがって、特定のステップ若しくはタスクを行うように適合された又は構成された処理機器への言及は、単独で又は組合せとして、複数の処理コンポーネントの中の1つ若しくは複数によって行われるそのステップ又はタスクに対応する。当業者は、そのような分散型の処理機器がどのようにして実施可能であるかを理解するはずである。処理機器は、データを受け取り更なるコンポーネントにデータを出力するための通信モジュール又は入力/出力を含む。
【0240】
処理機器の1つ又は複数のプロセッサは、ソフトウェア及び/又はハードウェアを用いて、要求される様々な機能を行うように、多くの様態で実施されることが可能である。プロセッサは、典型的には、ソフトウェア(例えば、マイクロコード)を使用して要求される機能を行うようにプログラムされる1つ又は複数のマイクロプロセッサを採用する。プロセッサは、いくつかの機能を行う専用のハードウェアと、プログラムされた1つ又は複数のマイクロプロセッサと、他の機能を行う関連の回路との組合せとして実施される。
【0241】
本開示の様々な実施形態において採用され得る回路の例には、これらには限定されないが、従来型のマイクロプロセッサ、特定用途向け集積回路(ASIC)、及びフィールドプログラマブルゲートアレイ(FPGA)が含まれる。
【0242】
様々な実施態様では、プロセッサは、RAM、PROM、EPROM、及びEEPROMのような揮発性及び不揮発性のコンピュータメモリなど、1つ又は複数の記憶媒体に関連し得る。記憶媒体は、1つ又は複数のプロセッサ及び/又はコントローラ上で実行されると、要求される機能を行う1つ又は複数のプログラムを用いて、エンコードすることができる。様々な記憶媒体は、プロセッサ又はコントローラの内部で固定されていることがあり得るし、又は、記憶媒体上に記憶された1つ又は複数のプログラムがプロセッサにロードされるように可搬でもあり得る。
【0243】
開示されている実施形態への変更は、当業者によって、特許請求の範囲に記載されている本発明を実践する際に、図面、本開示、及び添付の特許請求の範囲を検討することにより、理解され実現されることが可能である。特許請求の範囲において、「有する」という語は、他の要素又はステップを排除することはなく、単数形の要素は、複数を排除しない。
【0244】
単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されている複数の項目の機能を充足することがあり得る。
【0245】
ある手段が相互に独立な従属請求項に記載されているという事実があるとしても、それだけで、これらの手段の組合せが有利に使用されることが不可能であることを示すことはない。
【0246】
コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として提供される光学記憶媒体又はソリッドステート媒体など、適切な媒体上に記憶/配布され得るが、インターネットを経由して又は他の有線若しくは無線の通信システムを経由するなど、他の形態で配布されることもあり得る。
【0247】
「適合される」という用語が特許請求の範囲又は明細書で使用される場合には、「適合される」という用語は、「構成される」という用語と等しいことが意図されている、ということに注意されるべきである。
【0248】
特許請求の範囲におけるどの参照符号も、範囲を限定するものとして解釈されるべきでない。
図1
図2
図3(a)】
図3(b)】
図3(c)】
図4(a)】
図4(b)】
図4(c)】
図4(d)】
図4(e)】
図4(f)】
図5
図6
図7
図8
【国際調査報告】