(58)【調査した分野】(Int.Cl.,DB名)
前記処理ユニットは、ステップs2)を実行し、その結果、前記画像セットの前記2次元画像が前記身体領域の仮想スライスを表すようにする、請求項1乃至2のいずれか一項に記載の装置。
前記処理ユニットは、前記確率マップを決定するために、ガウシアンフィッティングを前記画像セットの前記2次元画像の前記確率スコアに適用するよう構成される、請求項1乃至3のいずれか一項に記載の装置。
前記処理ユニットは、アプリケータ・プレトレーニング分類方法をアプリケータ・プレトレーニング深層学習分類方法として提供するよう構成される、請求項1乃至8のいずれか一項に記載の装置。
前記アプリケータ・プレトレーニング分類方法は、アプリケータ・プレトレーニング畳み込みニューラルネットワーク分類方法である、請求項1乃至9のいずれか一項に記載の装置。
患者身体の身体領域の少なくとも1つの最終2次元画像を決定する画像システムであって、少なくとも1つの放射線源を固定するよう構成されるアプリケータが前記身体領域に挿入され、前記システムは、
超音波トランスデューサと、
請求項1乃至10のいずれか一項に記載の装置と、
を含み、
前記超音波トランスデューサは、前記身体領域の複数の2次元超音波画像を取得するよう構成され、
前記システムは、前記身体領域の3次元画像を、前記複数の2次元超音波画像に基づき決定するよう構成される、画像システム。
前記処理ユニットは、ステップs2)を実行し、その結果、交代される2次元超音波画像がそれぞれの画像セットに適合する場合、2次元画像が前記複数の2次元超音波画像のうちの1つと交代されるようにする、請求項11に記載の画像システム。
請求項1乃至12のいずれか一項に記載の装置を制御するコンピュータプログラムエレメントであって、処理ユニットにより実行されると、請求項13に記載の方法のステップを実行するよう適応される、コンピュータプログラムエレメント。
【発明の概要】
【0006】
3次元超音波体積内に関心オブジェクト、例えばアプリケータを有する必須スキャン平面を提供することにより、超音波体積が所要の臨床情報を有することを保証するために、効率的な方法を提供する必要がある。
【0007】
本発明の目的は、独立請求項の主題により解決される。ここで、更なる実施形態は、従属請求項に組み込まれる。
【0008】
留意すべきことに、以下に記載される本発明の態様は、機器、システム、方法、コンピュータプログラムエレメント、及びコンピュータ可読媒体にも適用する。
【0009】
少なくとも1つの最終2次元画像を決定する装置が提供され、前記装置は、入力インタフェースと、処理ユニットと、を含み、前記入力インタフェースは、患者身体の身体領域の3次元画像を受信するよう構成され、少なくとも1つの放射線源を固定するよう構成されるアプリケータが前記身体領域に挿入され、前記処理ユニットは、前記3次元画像内の初期方向をランダムに決定し、前記初期方向を表す信号を前記入力インタフェースを介して受信する又は所定方向を前記初期方向としてアクセスするよう構成され、前記処理ユニットは、ステップs1)からs4)の以下のシーケンス:s1)前記3次元画像内のセット方向(set direction)を、最初のシーケンスの前記初期方向に基づき又は前のシーケンスの間に決定された確率マップに基づき、決定し、s2)2次元画像の画像セットを前記3次元画像から抽出し、その結果、前記画像セットの前記2次元画像が前記セット方向と同軸に且つ続いて配置されるようにし、s3)アプリケータ・プレトレーニング分類方法を前記画像セットの前記2次元画像の各々に適用して、前記画像セットの前記2次元画像の各々について、前記画像セットのそれぞれの2次元画像の中で断面図で前記アプリケータの描写される、特に完全に描画される確率を示す確率スコアを生成し、s4)前記画像セットの前記2次元画像の前記確率スコアを前記セット方向に関して表す確率マップを決定する、を繰り返すよう構成され、前記処理ユニットは、最後のシーケンスを終了した後に、最高確率スコアに関連付けられた2次元画像を、特に前記最後のシーケンスの間に決定された画像セットから、前記最終2次元画像として決定するよう構成される。
【0010】
3次元画像は、3次元体積又は3次元スライスとも呼ばれてよい。
【0011】
本発明の基本的思想は、超音波測定により取得された知られている体積3次元身体領域を取り入れ、関心オブジェクト、つまりアプリケータの十分な説明を含むスライスを自動的に探すことである。第1ステップで、身体領域の3次元ニッチ(niche)は、スライスされたランダムに決定された方向である。スライスは、3次元身体領域の仮想スライスである。さらに、スライスは、互いに一定距離を有してよく、それらは同軸である。
【0012】
スライスのうちの少なくとも1つはアプリケータ画像の一部を含む。複数のスライスの確率マップを決定するとき、アプリケータの部分を含むスライスは、高い確率スコアを得る。確率スコアは、画像セットの2次元画像の確率マップ内に表される。
【0013】
確率マップに基づき、新しいスライスセットが新しい方向に生成される。該方向は、確率マップ分析に基づき決定される。新しい方向について、新しい確率マップが決定される。確率マップを決定するシーケンスは、確率マップが、対応する画像セットがアプリケータの十分に良好な表現を有するスライスを含むことを示すまで、繰り返される。
【0014】
医師が最適画像を見付けるために直交する平面を通じて閲覧するのに費やす時間は、本発明により削減される。さらに、アプリケータの長手軸の「平面内」ビューを有する2次元ビューを生成することが可能であり得る。
【0015】
一例によると、最終2次元画像は、最高確率スコアに関連付けられた2次元画像により、特に最後のシーケンスの間に決定された画像セットから、形成される。
【0016】
さらに、別の例では、処理ユニットは、ステップs2)を実行し、その結果、画像セットの2次元画像が身体領域の仮想スライスを表すようにする。効果として、画像と仮想スライスとの間の対応が提供される。
【0017】
特定の例では、処理ユニットは、確率マップを決定するために、ガウシアンフィッティングを画像セットの2次元画像の確率スコアに適用するよう構成される。効果として、確率は、セット方向又は2次元画像の数にそれぞれ関する確率スコアを表すガウス曲線を近似してよい。
【0018】
別の例によると、ステップs4)は、サブステップ:s4.1)現在画像セットの2次元画像の確率スコアのうちの最高確率スコアが、所定値より高い場合、又は、現在画像セットの2次元画像のうちの1つの2次元画像が、アプリケータを断面図で完全に描画する場合、シーケンスの繰り返しを終了するステップを含む。
【0019】
更なる例では、ステップs4)は、サブステップ:s4.2)標準偏差σを、現在シーケンスの間に決定された確率マップに基づき決定するステップ、及び、s4.3)少なくとも1つの前のシーケンスの間に決定された標準偏差σが全ての決定された標準偏差σに関する最小標準偏差σを表す場合、シーケンスの繰り返しを終了するステップを含む。効果として、標準偏差の値は、シーケンスの繰り返しの停止基準の基礎を提供してよい。
【0020】
更なる例によると、処理ユニットは、セット方向が確率マップに基づき決定される場合、ステップs1)を以下のサブステップ:s1.1)標準偏差σを確率マップに基づき決定し、s1.2)セット方向を標準偏差σに基づき決定する、と共に実行するよう構成される。効果として、セット方向を決定するステップは、反復最適化アルゴリズムに関連する(初期選択を除く)。
【0021】
更なる例示的実施形態によると、装置は、ステップs1)セット方向が確率マップに基づき決定される場合、ステップs1)を以下のサブステップ:s1.1)勾配バップを確率マップに基づき決定するステップ、及び、s1.2)セット方向を勾配マップに基づき決定するステップ、と共に実行するよう構成される処理ユニットを含む。
【0022】
別の例では、アプリケータ・プレトレーニング分類方法は、アプリケータ・プレトレーニング深層学習分類方法である。
【0023】
特定の例によると、アプリケータ・プレトレーニング分類方法は、アプリケータ・プレトレーニング畳み込みニューラルネットワーク分類方法である。
【0024】
本発明の第2の態様によると、患者身体の身体領域の少なくとも1つの最終2次元画像を決定する画像システムが提供され、少なくとも1つの放射線源を固定するよう構成されるアプリケータが前記身体領域に挿入され、前記システムは、超音波トランスデューサと、請求項1乃至10のいずれか一項に記載の装置と、を含み、前記超音波トランスデューサは、前記身体領域の複数の2次元超音波画像を取得するよう構成され、前記システムは、前記身体領域の3次元画像を、前記複数の2次元超音波画像に基づき決定するよう構成される。
【0025】
特定の例では、処理ユニットは、ステップs2)を実行し、その結果、交代される2次元超音波画像がそれぞれの画像セットに適合する場合、2次元画像が前記複数の2次元超音波画像のうちの1つ交代されるようにする。効果として、内挿アーチファクトが防止され又は低減され得る。
【0026】
本発明の第3の態様によると、少なくとも1つの最終2次元画像を決定する方法が提供され、前記方法は、a)患者身体の身体領域の3次元画像を提供するステップであって、少なくとも1つの放射線源を固定するよう構成されるアプリケータが前記身体領域に挿入される、ステップと、b)初期方向を提供するステップであって、特に前記3次元画像内の初期方向をランダムに決定する、ステップと、c)ステップs1)からs4)の以下のシーケンス:s1)処理ユニットにより、前記3次元画像内のセット方向を、最初のシーケンスの前記初期方向に基づき又は前のシーケンスの間に決定された確率マップに基づき、決定するステップ、s2)前記処理ユニットにより、2次元画像の画像セットを前記3次元画像から抽出し、その結果、前記画像セットの前記2次元画像が前記セット方向と同軸に且つ続いて配置されるようにする、ステップ、s3)前記処理ユニットにより、アプリケータ・プレトレーニング分類方法を前記画像セットの前記2次元画像の各々に適用するステップであって、前記画像セットの前記2次元画像の各々について、前記画像セットのそれぞれの2次元画像の中で断面図で前記アプリケータの描写される、特に完全に描画される確率を示す確率スコアを生成する、ステップ、s4)前記処理ユニットにより、前記画像セットの前記2次元画像の前記確率スコアを前記セット方向に関して表す確率マップを決定するステップ、を繰り返すステップと、d)前記処理ユニットにより、最後のシーケンスを終了した後に、最高確率スコアに関連付けられた2次元画像を、特に前記最後のシーケンスの間に決定された画像セットから、前記最終2次元画像として決定するステップと、を含む。
【0027】
方法は、d)処理ユニットにより、最後のシーケンスを終了した後に、最高確率スコアに関連付けられた2次元画像を、特に最後のシーケンスの間に決定された画像セットから、最終2次元画像として決定するステップ、を更に含む。
【0028】
ステップの順序に関し、ステップa)はステップd)の前に実行されることに留意する。ステップb)は、事前に計算され又は準備されてよい。ステップc)について、ステップa)及びb)が実行されていなければならない。ステップd)はステップc)の後に実行される。
【0029】
本発明の第4の態様によると、処理ユニットにより実行されると、前述の方法を実行するよう適応されるコンピュータプログラムエレメントが提供される。
【0030】
本発明の第5の態様によると、処理ユニットにより実行されると、前述の方法を実行するよう適応されるコンピュータプログラムエレメントを格納したコンピュータ可読媒体が提供される。
【0031】
本発明の上述の及び他の態様は、本願明細書に記載される実施形態から明らかであり、それらの実施形態を参照して教示される。
【発明を実施するための形態】
【0033】
少なくとも1つの最終2次元画像を決定する画像システム及び装置を更に記載する前に、少なくとも1つの最終2次元画像を決定する方法の例が
図3を参照して更に詳細に記載される。
【0034】
図3は、少なくとも1つの最終2次元画像を決定する方法100を示す。方法100は幾つかのステップを含む。
【0035】
第1ステップ101で、患者身体の身体領域の3次元画像が提供される。アプリケータは、少なくとも1つの放射線源を身体領域内に固定するために、患者身体に導入される。一例では、患者身体の身体領域の3次元画像は、超音波測定により取得される。さらに、患者身体の身体領域の3次元画像は、超音波測定により取得される2次元画像により決定されてよい。
【0036】
第2ステップ102で、及び3次元画像内の初期方向が提供される。一例では、初期方向はランダムに提供されてよい。これは、方法が、患者の身体領域の3次元画像内の任意の方向を提供できることを意味する。
【0037】
一例では、初期方向は、3次元画像の所定のデカルト方位のうちの1つとして決定される。
【0038】
更なる例では、初期方向は、初期方向を表す信号により提供されてよい。
【0039】
一例では、初期方向は、サーバ又はメモリ装置にアクセスすることにより提供されてよい。
【0040】
第3ステップ103では、ステップのシーケンスが開始され繰り返される。以下では、シーケンスのステップが記載される。
【0041】
第4ステップ104では、第1シーケンスの初期方向に基づく3次元画像内のセット方向(set-direction)が処理ユニットにより決定される。シーケンスの前のシーケンスが実行された場合、3次元画像内のセット方向は、前のシーケンスの少なくとも1つの確率マップに基づき決定される。これは、ステップ103に従いシーケンスを開始するとき、最初に第1シーケンスが開始されることを意味する。第1シーケンスでは、ステップ102で取得される初期方向は、以下のステップのセット方向を表す。第2シーケンスで開始し、つまり、シーケンスの第1の繰り返しでは、前のシーケンスのうちの少なくとも1つの確率マップが、シーケンスの第1の繰り返しのセット方向を決定するために使用される。
【0042】
一例では、第4ステップ104は、3次元画像のセット方向を、アプリケータのコンパクト表現をフェッチする確率マップに対する統計分析を通じて識別するサブステップを含んでよい。
【0043】
第5ステップ105で、2次元画像の画像セットは、3次元画像から処理ユニットにより抽出される。抽出が実行され、その結果、画像セットの2次元画像は、セット方向に同軸に及びその後に配置される。これは、患者の身体領域の3次元画像が、セット方向に沿ってセット方向に直交して平行平面セットにスライスされることを意味する。各平面は、それにより2次元画像を表す。複数の平面は、3次元画像からの2次元画像のセットを表す。
【0044】
一例では、画像セットの2次元画像は、身体領域の仮想スライスを表す。これは、3次元画像が仮想的にスライスされ、2次元画像を取得することを意味する。効果として、画像と仮想スライスとの間の対応が提供される。
【0045】
一例では、2次元画像は全部で3次元画像を表す。
【0046】
効果として、3次元画像は、各シーケンスの第5ステップ105の間に、2次元画像に分割される。したがって、それぞれの確率スコアの評価毎に、常に3次元画像全体が2次元画像を介して間接的に考えられる。
【0047】
第6ステップ106で、アプリケータ・プレトレーニング分類方法は、処理ユニットにより設定された画像の2次元画像の各々に、適用される。アプリケータ・プレトレーニング分類方法は、画像セットの2次元画像の各々の確率スコアを決定する。2次元画像について決定される確率スコアは、アプリケータが該2次元画像内に描写されている確率を示す。身体領域の3次元画像はアプリケータの画像を含むので、2次元画像はアプリケータの断面図の少なくとも一部を含み得る。最高確率スコアは、アプリケータの断面図がアプリケータの長手軸に沿うアプリケータの断面を示す場合に与えられる。ここで、長手軸はアプリケータ内部の最長の軸である。これは、2次元画像がアプリケータの長手軸を含む場合、アプリケータの完全断面が該2次元画像内に完全に示されることを意味する。
【0048】
最低確率スコアは、アプリケータ・プレトレーニング分類方法が対応する2次元画像内にアプリケータの画像のいかなる部分も発見しない場合に指定されてよい。
【0049】
一例では、アプリケータ・プレトレーニング分類方法は、アプリケータ・プレトレーニング深層学習分類方法である。
【0050】
別の例では、アプリケータ・プレトレーニング分類方法は、アプリケータ・プレトレーニング畳み込みニュ―ラルネットワーク位置特定方法である。
【0051】
更なる例では、アプリケータ・プレトレーニング分類方法は、グーグルネット(google net)アーキテクチャにより又はハイパーパラメータ微調整によりプレトレーニングされる。
【0052】
第7ステップ107で、処理ユニットは、セット方向に関し画像セットの2次元画像の確率スコアを表す確率マップを決定する。これは、確率スコアが、確率マップにマッピングされることを意味する。ここで、マップのx軸は、該確率スコアの2次元画像の位置を表し、y軸は、2次元画像についてアプリケータ・プレトレーニング分類方法により決定される確率スコアを表す。
【0053】
一例では、ガウシアンフィッティングが、確率マップを決定するために、画像セットの2次元画像の確率スコアに対して実行される。効果として、確率は、セット方向又は2次元画像の数にそれぞれ関する確率スコアを表すガウス曲線を近似してよい。
【0054】
例示的な実施形態では、第7ステップ107はサブステップ109を含む。
【0055】
サブステップ109で、現在画像セットの2次元画像の確率スコアの高い確率スコアが所定値より高い場合、シーケンスの繰り返しは終了される。代替として、現在画像の2次元画像のうちの1つの2次元画像が断面図でアプリケータを完全に描写する場合、シーケンスの繰り返しは終了される。これは、3次元画像のスライスがアプリケータの長手軸を含む、又はアプリケータの長手軸に少なくとも平行でありアプリケータの断面図を含む場合、シーケンスが終了されることを意味する。代替として、長手軸と3次元画像のスライスとの間の角度が特定閾より低く、その結果、スライスのうちの1つの確率スコアが所定閾値を超える場合も、シーケンスは終了される。
【0056】
一例では、それぞれの最高値に対応する2次元画像が断面図でアプリケータを少なくとも殆ど完全に描写すると想定できるように、所定値が選択され又は予め定められる。
【0057】
図4に示される更なる例示的な実施形態では、第7ステップ107はサブステップ110及び111を更に含む。
【0058】
ステップ110で、確率マップに基づく標準偏差σが現在シーケンスを用いて決定される。これは、現在シーケンスの確率マップの確率スコアの最大値が決定されることを意味する。次に、該最大値からの複数の率スコアの標準偏差σが決定される。
【0059】
第8ステップ111で、決定した標準偏差σが全ての決定した標準偏差σに関して最小標準偏差σを表す場合、シーケンスの繰り返しが終了される。したがって、現在シーケンスの決定した標準偏差σは、前のシーケンスの決定した標準偏差σと比較される。前のシーケンスのうちの1つが全てのシーケンスに関して最小標準偏差σを含む場合、つまり、現在シーケンスの標準偏差σが前のシーケンスのうちの1つより高い場合、シーケンスの繰り返しが停止される。
【0060】
効果として、標準偏差の値は、シーケンスの繰り返しの停止基準の基礎を提供してよい。
【0061】
ステップ104〜107は、第3ステップ103の繰り返しシーケンスの部分である。一例では、シーケンスは、複数回繰り返されてよい。各シーケンスにおいて、改良されたセット方向が決定されてよい。該方向に沿って、2次元画像のセットが(同じ)3次元画像から抽出される。各画像に関連付けられた確率は、それぞれの2次元画像内のアプリケータの指示のコンパクト性に関する情報を提供してよい。確率は、2次元画像の確率に基づき決定されてよい。次のシーケンスにおいて、この確率マップが、新しいセット方向を決定するために考慮されてよい。したがって、セット方向の最適化が達成され得る。効果として、最適又は最も良いセット方向に沿って取得された画像は、それぞれ、アプリケータの(非常に)コンパクトな表現を示す少なくとも1つの2次元画像を含み得る。したがって、少なくとも1つの画像は、完全なアプリケータの断面図を示し得る。
【0062】
ステップ108で、処理ユニットは、最後のシーケンスを終了した後に、最高確率スコアに関連付けられた2次元画像から、最終2次元画像を決定する。
【0063】
一例では、最高確率スコアは、最後のシーケンスの画像セットから決定される。これは、処理ユニットが、最後のシーケンスからの最高確率スコアを有する2次元画像を最終2次元画像として指定することを意味する。これは、最終2次元画像が、当該方法により発見されるアプリケータの最良断面図を含むことを意味する。最終2次元画像は、患者の身体領域内のアプリケータの位置を示すために職員に提示されてよい。
【0064】
一例では、確率は、ガウシアン確率マップを表してよい。ここで、標準偏差はシーケンスからシーケンスへと減少する。したがって、最後のシーケンスの間に決定された確率マップは、最高確率スコアの決定される2次元画像を含み得る。
【0065】
一例では、確率に基づきセット方向を決定するステップは、反復最適化アルゴリズム、特に勾配降下アルゴリズムの適用に関連してよい。
【0066】
さらに、一例では、最終2次元画像は、画像セットの最高確率スコアに関連付けられた2次元画像により形成されてよい。
【0067】
図5Aは、第4ステップ104の例示的な実施形態を示す。この実施形態では、ステップ104は、サブステップ112及び113を含む。ステップ112及び113は、セット方向が少なくとも1つの前のシーケンスの確率マップに基づき決定される場合にのみ、実行される。
【0068】
ステップ112で、確率マップに基づく標準偏差σが決定される。
【0069】
ステップ113で、セット方向は、標準偏差σに基づき決定される。
【0070】
標準偏差σが高い場合、現在シーケンスのセット方向は、前のシーケンスのセット方向から高い量だけ逸脱する。つまり、現在シーケンスのセット方向と前のシーケンスのセット方向との間の角度が大きい。標準偏差σが低い場合、現在シーケンスのセット方向は、前のシーケンスのセット方向からあまり逸脱しない。つまり、現在シーケンスのセット方向と前のシーケンスのセット方向との間の角度が小さい。
【0071】
図5Bは、ステップ104の別の実施形態を示す。この実施形態では、ステップ104は、サブステップ114及び115を含む。ステップ114及び115は、セット方向が確率マップに基づき決定される場合にのみ、実行される。
【0072】
ステップ114で、確率マップに基づく勾配マップが決定される。これは、3次元画像の隣接する2次元画像の確率スコアの間の勾配値が決定されることを意味する。勾配マップは、複数の決定された勾配値を含み、それらを3次元画像内の対応する2次元画像の位置にマッピングする。
【0073】
ステップ115で、セット方向は、勾配マップに基づき決定される。これは、隣接する2次元画像の確率スコアの間の大きな変化を示す高い勾配値がセット方向に沿って大きな領域に分布している場合、現在シーケンスのセット方向が、前のシーケンスのセット方向から大きな量だけ逸脱することを意味する。つまり、2つの段階の方向間の角度が大きい。隣接する2次元画像の確率スコアの間の大きな勾配値がセット方向に沿って小さな領域に分布している場合、現在シーケンスの方向が、前のシーケンスのセット方向からあまり逸脱しないことを意味する。つまり、2つの段階の方向間の角度が小さい。
【0074】
図1は、画像システム1を示す。画像システム1は、超音波トランスデューサ4、及び少なくとも1つの最終2次元画像を決定する装置2を含む。
【0075】
超音波トランスデューサ4は、超音波により患者の身体領域を画像化するよう構成される。超音波トランスデューサ4は、身体領域の2次元超音波画像のセットを提供する。超音波トランスデューサ4により提供される画像は、システム1により該身体領域の3次元画像5に変換される。患者身体の身体領域のこの3次元画像5には、アプリケータ6の画像が示され得る。
【0076】
装置2は、入力インタフェース21、及び処理ユニット22を含む。
【0077】
出力インタフェース21は、患者身体の身体領域の3次元画像5を受信するよう構成される。3次元画像5は、アプリケータ6の画像を含み得る。3次元画像は、3次元体積又は3次元スライスとも呼ばれてよい。
【0078】
処理ユニット22は、コンピュータプログラムエレメント3を実行するよう構成される。コンピュータプログラムエレメント3は、上述の方法100のステップ104〜107を実行するよう構成されてよい。
【0079】
図2を参照すると、一例では、処理ユニット22は、3次元画像5内の初期方向11をランダムに決定するよう構成される。
【0080】
別の例では、処理ユニット22は、入力インタフェース21を介して初期方向11を表す信号を受信する。したがって、ユーザは、所望の初期方向11を入力インタフェース21を介して入力してよい。
【0081】
更なる例では、処理ユニット22は、初期方向11として所定方向にアクセスしてよい。所定方向は、例えば、処理ユニット22又は別の場所に格納されてよい。
【0082】
特定の例では、処理ユニット22は、3次元画像の所定のデカルト方位のうちの1つを初期方向11として決定するよう構成される。
【0083】
さらに、処理ユニット22は、3次元画像5内のセット方向12を、最初のシーケンスの初期方向11に基づき又は前のシーケンスの間に決定された確率マップ8に基づき、決定するよう構成される。
【0084】
一例では、上述のステップ104は、3次元画像のセット方向を、アプリケータのコンパクト表現をフェッチする確率マップに対する統計分析を通じて識別するサブステップを含んでよい。
【0085】
処理ユニット22の例示的な実施形態では、処理ユニット22は、セット方向12が少なくとも1つの前のシーケンスの確率マップ8に基づき決定される場合にのみ実行される、セット方向12を決定するサブステップを含む。
【0086】
先ず、処理ユニット22は、確率マップ8に基づき標準偏差σを決定する。
【0087】
処理ユニット22は、セット方向12を標準偏差σに基づき決定する。標準偏差σが高い場合、現在シーケンスのセット方向12は、前のシーケンスのセット方向12から高い量だけ逸脱する。つまり、現在シーケンスのセット方向12と前のシーケンスのセット方向12との間の角度が大きい。標準偏差σが低い場合、現在シーケンスのセット方向12は、前のシーケンスのセット方向12からあまり逸脱しない。つまり、現在シーケンスのセット方向12と前のシーケンスのセット方向12との間の角度が小さい。
【0088】
効果として、セット方向12を決定するステップは、反復最適化アルゴリズムに関連する(初期選択を除く)。
【0089】
処理ユニット22の別の例示的な実施形態では、処理ユニット22は、セット方向12が前のシーケンスの確率マップ8に基づき決定される場合にのみ実行される、代替サブステップを含む。
【0090】
先ず、処理ユニット22は、確率マップ8に基づき勾配マップ13を決定する。これは、3次元画像5の隣接する2次元画像7の確率スコア9の間の勾配値14が決定されることを意味する。勾配マップ13は、複数の決定された勾配値14を含み、それらを3次元画像5内の対応する2次元画像7の位置にマッピングする。
【0091】
次のステップで、処理ユニット22は、セット方向12を勾配マップ13に基づき決定する。これは、高い勾配値14の分布が多数の2次元画像7をカバーする、つまりセット方向12に沿って延びる領域をカバーする場合、現在シーケンスのセット方向12が、前のシーケンスのセット方向12から逸脱する、つまり、現在及び前のシーケンスの2つのセット方向12の間の角度が大きいことを意味する。2次元画像7の間の勾配値14の分布が小さい、又はセット方向12に沿って狭い領域に分布する場合、現在シーケンスのセット方向12が、前のシーケンスのセット方向12からあまり逸脱しないことを意味する。つまり、2つのセット方向12の間の角度が小さい。
【0092】
さらに、処理ユニット22は、2次元画像7の画像セットを3次元画像5から抽出し画像化する。その結果、画像セットの2次元画像7は、セット方向12に同軸に続けて配置される。一例では、処理ユニット22による抽出は、2次元画像7が身体領域の仮想スライスを表すように実行される。
【0093】
効果として、画像と仮想スライスとの間の対応が提供される。
【0094】
一例では、処理ユニット22は、2次元画像7の画像セットを抽出するよう構成される。その結果、2次元画像7が全体で3次元画像5を表す。
【0095】
効果として、3次元画像5は、各シーケンスの2次元画像7の抽出の間に、2次元画像7に分割される。したがって、それぞれの確率スコア9の評価毎に、常に3次元画像5全体が2次元画像7を介して間接的に考えられる。
【0096】
次に、処理ユニット22は、アプリケータ・プレトレーニング分類方法を、アプリケータ6が画像セットのそれぞれの2次元画像7内に断面図で描写されている確率を示す画像セットの2次元画像7の各々に適用する。
【0097】
一例では、アプリケータ・プレトレーニング分類方法は、アプリケータ・プレトレーニング深層学習分類方法である。
【0098】
更なる例では、アプリケータ・プレトレーニング分類方法は、アプリケータ・プレトレーニング畳み込みニューラルネットワーク分類方法である。
【0099】
特定の例では、アプリケータ・プレトレーニング分類方法は、グーグルネット(google net)アーキテクチャにより又はハイパーパラメータ微調整によりプレトレーニングされる。
【0100】
さらに、処理ユニット22は、セット方向12に関し画像セットの2次元画像7の確率スコア9を表す確率マップ8を決定する。一例では、処理ユニット22は、確率マップ8を決定するために、ガウシアンフィッティングを画像セットの2次元画像7の確率スコア9に適用する。
【0101】
効果として、確率は、セット方向12又は2次元画像7の数にそれぞれ関する確率スコア9を表すガウス曲線を近似する。
【0102】
一例では、処理ユニットは、上述のシーケンスを複数回繰り返してよい。各シーケンスにおいて、改良されたセット方向12が決定されてよい。該方向に沿って、2次元画像7のセットが(同じ)3次元画像5から抽出される。各画像に関連付けられた確率は、それぞれの2次元画像7内のアプリケータ6の指示のコンパクト性に関する情報を提供してよい。確率は、2次元画像7の確率に基づき決定されてよい。次のシーケンスにおいて、この確率マップ8が、新しいセット方向12を決定するために考慮されてよい。したがって、セット方向12の最適化が達成され得る。効果として、最適又は最も良いセット方向12に沿って取得された画像は、それぞれ、アプリケータ6の(非常に)コンパクトな表現を示す少なくとも1つの2次元画像7を含み得る。したがって、少なくとも1つの画像は、完全なアプリケータ6の断面図を示し得る。
【0103】
例示的な実施形態では、処理ユニット22は、現在画像セットの2次元画像7の確率スコア8の高い確率スコア9が所定値より高い場合、シーケンスの繰り返し、つまりシーケンスの繰り返しを終了するよう構成される。代替として、処理ユニット22は、現在画像セットの2次元画像7のうちの1つの2次元画像7が断面図でアプリケータ6を完全に描写する場合、シーケンスの繰り返しを終了する。これは、3次元画像5のスライスがアプリケータ6の長手軸15を含む、又はアプリケータ6の長手軸15に少なくとも平行でありアプリケータ6の断面図を含む場合、シーケンスが終了されることを意味する。代替として、長手軸15と3次元画像5のスライスとの間の角度が特定閾より低く、その結果、スライスのうちの1つの確率スコア9が所定閾値を超える場合も、シーケンスは終了される。
【0104】
一例では、それぞれの最高値に対応する2次元画像7が断面図でアプリケータ6を少なくとも殆ど完全に描写すると想定できるように、所定値が選択され又は予め定められる。
【0105】
処理ユニット22の更なる実施形態では、処理ユニット22は、現在シーケンスの確率マップ8に基づき標準偏差σを決定する。これは、現在シーケンスの確率マップ8の確率スコア9の最大値が決定されることを意味する。次に、該最大値からの複数の率スコア9の標準偏差σが決定される。
【0106】
次に、処理ユニット22は、決定した標準偏差σが全ての決定した標準偏差σに関して最小標準偏差σを表す場合、シーケンスの繰り返しを停止する。したがって、現在シーケンスの決定した標準偏差σは、前のシーケンスの決定した標準偏差σと比較される。前のシーケンスのうちの1つが全てのシーケンスに関して最小標準偏差σを含む場合、つまり、現在シーケンスの標準偏差σが前のシーケンスのうちの1つより高い場合、シーケンスの繰り返しが停止される。
【0107】
効果として、標準偏差σの値は、シーケンスの繰り返しの停止基準の基礎を提供してよい。
【0108】
最後のシーケンスを終了した後に、処理ユニット22は、最高確率スコア9に関連付けられた2次元画像7を最終2次元画像として決定する。最終2次元画像は、最高確率スコア9に関連付けられた2次元画像7により形成されてよい。
【0109】
一例によると、最終2次元画像は、最高確率スコア9に関連付けられた2次元画像7により、最後のシーケンスの間に決定された画像セットから、形成される。
【0110】
一例では、確率は、ガウシアン確率マップを表してよい。ここで、標準偏差σはシーケンスからシーケンスへと減少する。したがって、最後のシーケンスの間に決定された確率マップ8は、最高確率スコア9の決定される2次元画像7を含み得る。
【0111】
一例では、確率に基づきセット方向12を決定するステップは、反復最適化アルゴリズム、特に勾配降下アルゴリズムの適用に関連してよい。
【0112】
図2は、開始及び繰り返しシーケンスのシーケンスa)、b)、及びc)を更に例示的に示す。シーケンスa)は開始シーケンスである。処理ユニット22により決定される初期方向11は、セット方向12を決定するために使用される。
【0113】
次に、患者の身体領域の3次元画像5は、仮想的にスライスされ、ここで3次元画像5はアプリケータ6の画像を含む。スライシングは、セット方向12に沿って実行され、2次元画像7のセットを生じる。スライシング面は平行であり、等距離にあってよい。
【0114】
シーケンスa)で、全ての決定された2次元画像7は、アプリケータ6の画像の小さな断面を含む。したがって、アプリケータ・プレトレーニング分類方法は、2次元画像7の各々に確率スコア9を提供する。これは、シーケンスa)の確率マップ9に示される。
【0115】
シーケンスb)で、セット方向12は、シーケンスa)及びBのセット方向12の間の角度が大きくなるように選択される。シーケンスb)のセット方向12は、
図2の紙面の内部へ向かう。
【0116】
シーケンスb)で取得された2次元画像7は、アプリケータ6の断面の画像を全て含まない。アプリケータ・プレトレーニング分類方法は、したがって、低確率スコア9を、アプリケータ6のなんらかの断面図を含まないこれらの2次元画像7に指定する。アプリケータ6の断面図の一部を含むシーケンスb)のこれらの2次元画像7は、シーケンスa)の2次元画像7より高い確率スコア9を得る。
【0117】
シーケンスb)の結果として生じる確率マップ8は、シーケンスa)の確率マップ8より、確率スコア9のより詰まった分布を示す。
【0118】
シーケンスc)は、後のシーケンスを示す。つまり、シーケンスb)とシーケンスc)との間に、複数の繰り返しシーケンスが実行されてよい。シーケンスc)のセット方向12は、処理ステップにより決定されている。シーケンスc)で、単一の2次元画像7’のみが、アプリケータ6の断面図を含む。残りの2次元画像7は、アプリケータ6の画像のいかなる部分も含まない。
【0119】
したがって、シーケンスc)の確率マップ8は、単一の2次元画像7’の位置で、確率スコア9のピークを示す。ピークにおける確率スコア9は非常に高い。残りの確率スコアは、対応する2次元画像7がアプリケータ6の画像のいかなる部分も含まないので、低い。
【0120】
単一の2次元画像7’は、ユーザに提示される最終2次元画像を形成するために選択されてよい。
【0121】
一例では、システム11は、交代される2次元超音波画像がそれぞれの画像セットに適合する場合、2次元画像7が複数の2次元超音波画像のうちの1つと交代されるように、構成される。
【0122】
効果として、内挿アーチファクトが防止され又は低減される。さらに、以上の説明で用語「装置」が使用されたが、用語「装置」が言及されるときは常に、これが実際には完全な装置を表す場合があるが、装置の単なる一部も表し得ることが理解される。
【0123】
本発明の方法を参照して提供された全ての例及び説明をここで繰り返さないが、本発明の機器及びシステムは、上述の方法のステップを実行するよう構成されることが意図されることが理解される。したがって、全ての上述の例及び説明は、方法を参照して提供されたが、機器及び/又はシステムにより実施されることも意図される。これは、例えば、適切なハードウェア及び/又はソフトウェアにより達成できる。
【0124】
装置を参照して提供された全ての説明、例、特徴、及び/又は利点をここで繰り返さないが、本発明の方法は、装置が方法のステップを実行するよう構成されることが意図される。したがって、全ての上述の例、説明、特徴、及び/又は利点は、装置を参照して提供されたが、方法と同様に提供されることが意図される。
【0125】
本発明の更なる例によると、処理ユニットにより実行されると、上述の方法100を実行するよう適応されるコンピュータプログラムエレメント3が提供される。
【0126】
本発明の更なる例によると、
図6に示されるコンピュータ可読媒体10であって、処理ユニットにより実行されると、上述の方法100を実行するよう適応されるコンピュータプログラムエレメント3を格納したコンピュータ可読媒体が提供される。
【0127】
コンピュータプログラムエレメント3は、本発明の一実施形態の部分でもあり得るコンピュータユニットに格納されてよい。このコンピューティングユニットは、上述の方法のステップを実行する又は実行を誘起するよう適応されてよい。
【0128】
さらに、上述の機器のコンポーネントを作動するために適応されてよい。
【0129】
コンピューティングユニットは、自動的に作動するよう及び/又はユーザの命令を実行するよう適応できる。コンピュータプログラムは、データプロセッサのワーキングメモリにロードされてよい。データプロセッサは、したがって、本発明の方法を実行するよう実装されてよい。
【0130】
留意すべきことに、本発明の実施形態は、異なる主題を参照して記載された。特に、幾つかの実施形態は挿入部分を参照して記載され、他の実施形態は機器を参照して記載された。しかしながら、当業者は、以上から、特に断らない限り、ある主題に属する特徴のいかなる組合せに加えて、異なる主題に関連する特徴の間のいかなる組合せも本願により開示されるものと見なされることを理解する。しかしながら、全ての特徴は結合でき、特徴の単純な和より大きな相乗効果を提供する。
【0131】
本発明は図面及び上述の説明で詳細に説明されたが、このような図面及び説明は説明及び例であり、本発明を限定するものではない。本発明は開示された実施形態に限定されない。開示された実施形態の他の変形は、図面、詳細な説明、及び従属請求項を読むことにより、当業者に理解され請求項に記載された発明を実施する際に実施されうる。
【0132】
留意すべき点は、用語「有する(comprising)」は他の要素又は段階を排除しないこと、及び単数を表す語(a、an)は複数を排除しないことである。単一のプロセッサ又は他のユニットが、請求の範囲に記載された幾つかのアイテムの機能を満たしてよい。特定の量が相互に異なる従属請求項に記載されるという事実は、これらの量の組合せが有利に用いることが出来ないことを示すものではない。請求項中のいかなる参照符号も請求の範囲又は本発明の範囲を制限するものと考えられるべきではない。