【課題を解決するための手段】
【0005】
本発明の目的は独立クレームの主題によって解決される。さらなる実施形態は従属クレームに組み込まれる。
【0006】
本発明の下記の態様は2D断面スライス画像を処理する方法、2D断面スライス画像を後処理するための医療システム、コンピュータプログラム要素及びコンピュータ可読媒体に等しく当てはまることが留意されるべきである。
【0007】
本発明の一態様によれば、3D画像ボリュームデータセットを規定する2D断面スライス画像を後処理するための装置が提供される。装置は、
グラフィカルユーザインターフェースコントローラ、
2Dセグメンター、及び
3Dセグメンターを有する。
【0008】
グラフィカルユーザインターフェースコントローラは画面上での表示のためにグラフィカルユーザインターフェースを生成するように構成される。ユーザインターフェースはそのように表示されるとき、2Dスライスの中から初期スライスを画面上に表示するインタラクティブな第1のウィンドウウィジェットを有する。スライスは関心オブジェクトの断面を示し、ウィンドウウィジェットはユーザが、表示された初期スライス上のどこでも単一初期点の位置データをポインタツールによって指定することを可能にするように構成される。
【0009】
2Dセグメンターはユーザがそうして位置データを指定することに応答して、指定された単一初期点を通過する若しくはそこから開始する曲線セグメンテーションラインをスライスにわたって計算することによって、表示された初期スライスを2Dセグメント化するように構成される。
【0010】
グラフィカルユーザインターフェースコントローラはさらに、初期スライス上にオーバーレイされる計算されたセグメンテーションラインを第1のウィンドウウィジェットでの表示のために生成するように構成される。
【0011】
3Dセグメンターはユーザ要求に応答して、計算されたセグメンテーションラインを(幾何若しくは断面)制約として使用することによって3D画像ボリュームを構成する複数の2Dスライスにわたってオブジェクトの3Dセグメンテーションを計算するように構成される。
【0012】
グラフィカルユーザインターフェースコントローラはさらに、そうして計算された3Dセグメンテーションの少なくとも一部を画面上での表示のために生成するように構成される。
【0013】
装置は、装置が提案したセグメンテーション結果が納得のいくものでないことがわかる場合、インタラクティブ2D及び3Dセグメンテーションレビューを提供する。
【0014】
装置は例えば肺のスライス画像の、肺葉フットプリントをあらわす画像部分への2Dセグメンテーションを容易にもたらすことも可能にする。そして3D画像ボリュームにわたる肺の3Dフットプリントの3Dセグメンテーションが、前に計算された2Dセグメンテーションによって規定される境界制約から計算される。2Dセグメンテーションは肺の裂線(fissure lines)をあらわすセグメンテーションラインと、肺のフットプリント境界をアウトラインする輪郭を含み得る。そしてセグメンテーションラインは輪郭の一部と一緒に肺葉フットプリントセグメントを形成する。
【0015】
2Dセグメンテーションが計算され、そしてGUIコントローラはウィンドウウィジェットにそれらの表示をもたらす。ユーザ"クリック"が、半自動的に生成された2Dセグメンテーションを承認してはじめて、承認された2Dセグメンテーションに基づいて3Dセグメンテーションが計算される。そのため装置は、ユーザがどの2Dセグメンテーションから3Dセグメンテーションが構築されるべきかを決定することができるようにする。ユーザが依然として2Dセグメンテーションのための初期点を提供しなければならないので、装置は全自動というよりも半自動である。しかしながらユーザによって指定される必要があるのは単一点のみである。装置はこの単一初期点に基づく2Dセグメンテーションを実施するので、わずかのユーザインタラクションが必要であり、ユーザの注意散漫を最小限に抑えながら迅速なワークフローが確保される。
【0016】
本発明の一実施形態によれば、計算されたセグメンテーションラインはユーザが3Dセグメンテーションを要求するとバッファに保存される。ユーザが新たな初期点を指定すると、セグメンターは新たな初期点を通過する新たなセグメンテーションラインを計算する。そして新たに計算されたセグメンテーションラインは初期スライス上にオーバーレイされて第1のウィンドウウィジェットに前に計算されたセグメンテーションラインと一緒に表示される。ユーザが新たな3Dセグメンテーションの計算を要求すると、新たなセグメンテーションラインも前のセグメンテーションラインと一緒にバッファに保存される。そしてセグメンターはそうしてバッファされたセグメンテーションラインの両方を制約として使用してオブジェクトの新たな3Dセグメンテーションを計算する。そしてグラフィカルユーザインターフェースコントローラは肺の新たに計算された3D肺葉セグメンテーションを表示するように画面を更新する。
【0017】
ユーザが、表示されたスライス上に目に見える裂線付近にマウスカーソルを位置付けた後、マウスクリックは1秒未満の計算/CPU時間で2Dセグメンテーションと、そうして計算された2Dセグメンテーションラインの即時グラフィカルレンダリングを第1のウィンドウウィジェットにおいてもたらす。ユーザがマウス位置を再度変更すると、新たな2Dセグメンテーション解が提案され表示される。
【0018】
ユーザは、2Dセグメンテーション結果に満足する場合、現在表示されている2Dセグメンテーションをマウスクリックによって承認し得る。マウスクリックは現在見えているスライスの2Dセグメンテーションの、確認済み2Dセグメントのバッファへの追加をもたらす。2Dセグメンテーションのバッファリングはユーザがまだセグメンテーションを後でレビューすることを可能にし、3Dセグメンテーションの各ランが今までのところユーザが承認した2Dセグメンテーションの全てを考慮することを可能にする。一実施形態によれば、2Dセグメンテーションは肺の輪郭アウトラインと一緒に裂線セグメンテーションラインを含む。2Dセグメンテーションのバッファリングはそうして計算された2Dセグメンテーションによって2Dセグメント化されるスライスへの参照をバッファリングすることを含む。
【0019】
提案された2D裂セグメントをユーザが承認すると、3Dセグメンテーションの更新された3D解が、新たに承認された2Dセグメンテーションの各々に対して表示される。従ってユーザはより多くの2Dセグメンテーションを段階的に承認することによって、3Dセグメンテーション解の質、すなわち肺及びその肺葉の真の幾何学構造への"忠実性"を連続的に改良することができる。その結果肺の実フットプリントに忠実な3Dセグメンテーションが比較的短時間で得られる。
【0020】
本発明の一態様によれば、グラフィカルユーザインターフェースコントローラは第2のウィンドウウィジェットでの表示のためにそのように計算された3Dセグメンテーションを生成するように構成される。コントローラはスライスワイズ(slice‐wise)2Dセグメンテーションの表示のために使用される第1のウィンドウウィジェットと異なる第2のウィンドウウィジェットにおいて3Dセグメンテーションの表示をもたらす。
【0021】
そうして生成されたグラフィカルユーザインターフェースは"2ペイン"であり、スーパーウィンドウウィジェット("コンテナ")内部に表示されるGUIコンポーネントとして第1及び第2のウィンドウウィジェットを含むか、又は各々が画面平面全体を互いに独立してマウスクリック及びドラッグインタラクションによってシフトされ得る、二つの個別ウィンドウに関して画面上のこうした共通ウィンドウなしに表示され得る。別の実施形態では単一スライス2Dセグメンテーション若しくは3Dセグメンテーションの一部としてのスライスのいずれかを表示する単一ウィンドウGUIが代替的に使用される。
【0022】
一実施形態によれば、グラフィカルユーザインターフェースコントローラはそうして計算された3Dセグメンテーションの3Dレンダリングを表示のために生成するように構成される。
【0023】
3Dセグメンテーションの表示は、フル3Dの、インタラクティブに回転可能な、3Dレンダリングが表示される点で完全であり得るか、若しくは表示は、3Dセグメンテーションのスライスワイズ2D断面の一つが表示される点で部分的であり得る。
【0024】
本発明の一実施形態によれば、ポインタツールはコンピュータマウスであり、位置データ若しくは新たな位置データの指定はマウスクリックイベントを用いずに、マウスがユーザによって動かされるときにマウスによって生成される位置記録を用いることによってもたらされる。対照的に、3Dセグメンテーション及び2Dセグメンテーションのバッファリングに対するユーザ要求はマウスクリック及び位置記録の使用の両方によってもたらされる。
【0025】
ポインタツール(コンピュータマウス若しくはライトペン若しくは同様のもの)を介する装置とのユーザ要求インタラクションはゼロクリック実施によってさらに最小化され、その結果これまで以上に競争の激しい臨床環境において迅速なワークフローをさらにもう一度促進する。2Dセグメンテーションは単にマウスカーソルを選択されたスライスリフォーマットの上に"重ねる"ことによってユーザに提案される。
【0026】
ユーザにとって一見ほぼ同時に起こり、現在表示されている2Dセグメンテーションを承認するためのマウスクリックによってトリガされて、3D画像ボリュームにわたる肺のフットプリントの3Dセグメンテーションが計算され、そして少なくとも部分的に表示される。
【0027】
本発明の一実施形態によれば、セグメンターは要求された3Dセグメンテーションに加えて少なくとも一つの追加サンプル3Dセグメンテーションを計算するように構成される。サンプル3Dセグメンテーションは、計算に使用されない若しくは要求された3Dセグメンテーションの一部を形成しない3Dボリューム内の少なくとも一つのサンプル領域に基づく。装置はさらに要求された3Dセグメンテーションをサンプル3Dセグメンテーションと比較して偏差値を確立するように構成されるコンパレータを有する。コンパレータは、偏差値が設定可能な閾値を超えるときに、そのように特定されたサンプル領域の断面を示すスライスを表示するように第1のウィンドウウィジェットを更新するためのコマンドをグラフィカルユーザインターフェースコントローラに発するように構成される。
【0028】
この機能は高い若しくは最高の"アルゴリズム曖昧性(ambiguity)"の3D領域を含む3Dボリュームのスライスの中からのスライス若しくはリフォーマットへユーザの注意を自動的に向けることを可能にする。これは、現在表示されている3Dセグメンテーションの3D計算にこの領域が含まれていた場合に、現在表示されている3Dセグメンテーションからの最大(プリセット値より大きい)偏差を生じたであろう領域である。偏差は各3Dセグメンテーションを形成する3D画像ボリューム部分を比較することを可能にする適切な偏差尺度に関して測定される。
【0029】
最大の若しくは大きな対数曖昧性を持つ肺領域を特定するために、使用された3Dセグメンテーションアルゴリズムの決定木における内部決定ノード若しくは決定点が分析される。アルゴリズムにおける関連する内部決定点は、もしこの点におけるアルゴリズムが、現在見られている3Dセグメンテーションをもたらしたものと異なる経路に沿って実行されたとしたら、3Dセグメンテーション結果における変化をもたらしたであろうものである。一実施形態によれば決定点分析は、単に一つだけでなく、アルゴリズムによって解かれる関数の極小値の異なるものと関連する複数の3Dセグメンテーション解を探ることによって実施され得る。
【0030】
3Dセグメンテーションアルゴリズムの分析はバックグラウンドで実行され、一旦完了すると、そのように確立された高曖昧性の領域を通るスライスを前のスライスの代わりに表示するようにスライスワイズ表示のための第1のウィンドウウィジェットが更新されるか若しくはリセットされる。一実施形態によればスライスは領域とその中心で交差するように選択される。この選択は最大曖昧性の領域の表示をもたらすようにスクロールすること及び場合により回転を含む。そしてユーザは高い若しくは最高曖昧性の領域を示す現在表示されているスライスをマウスクリックによって承認し、バッファへ追加することができる。そしてスライスは3Dセグメンテーションのための有効な制約として使用される。
【0031】
装置はユーザが他の3Dセグメンテーション解の一部若しくは全部をサンプリングすることを可能にするので、医学的に最も適切な解に対する最終決定は実にユーザ次第である。事実上、ユーザは現在の3Dセグメンテーション問題への解のために3D画像ボリュームの全体をより完全に"サンプリングする"ように3Dセグメンテーションアルゴリズムの実行を制御することができる。
【0032】
本発明にかかる装置は、ユーザができる限り少ないユーザアクションで、提案された3Dスライスセグメンテーションを楽にレビューすることを可能にする。ユーザは、さもなければ考慮されなかったかもしれない2Dセグメンテーションのためのスライスを装置が提案することによって、場合によりさらによい3Dセグメンテーション解の発見を支援される。3Dボリュームセットにわたる解空間がよりよくサンプリングされるので、ユーザが検査される肺の完全な生理学的幾何学構造をとらえる可能性がその結果増加され得る。ユーザは肺若しくは関心オブジェクトの真の幾何学形状についての情報を実際に追加する2Dスライスによって3Dセグメンテーションの計算を有意義に制約するようにガイドされる。手短に言えば、装置はインタラクティブなアルゴリズム曖昧性ガイド3Dセグメンテーションを提供する。
【0033】
装置はCOPD及び肺がん応用のためのスクリーニング診断及び治療モニタリングのためのイメージングワークステーション及びPACSにおいて使用され得る。
【0034】
定義
セグメンテーションとはスライス中のこれまでの非構造化ピクセル若しくはボクセル情報のピクセル若しくはボクセル領域への分割である。その結果領域は独立してオブジェクトとして処理されることができる。そして画像中の各ピクセル若しくはボクセルはオブジェクトの内部若しくは外部のいずれかであると言える。画像が分割されている各オブジェクト若しくは複数のオブジェクトは"セグメンテーション"とよばれる。
【0035】
領域が単一スライスの画像スライス平面に限定される場合、セグメンテーションは2Dであると言える。そのときセグメンテーションは一つ以上の曲線境界によって規定され得る。
【0036】
領域が3D画像ボリューム内のスライスの集合に広がる場合、セグメンテーションは3Dであると言え、そのとき3Dセグメンテーションはそれらのスライスの各々における2Dセグメンテーションによって規定される。そのとき3Dセグメンテーションは一つ以上の面によって規定され得る。3D若しくは2Dセグメンテーションを規定する面若しくは曲線は"セグメンテーション"若しくは"セグメンテーション面"若しくは"セグメンテーションライン"と同様によばれる。
【0037】
画像中の実オブジェクトのフットプリントは一緒にそのオブジェクトをあらわすピクセル若しくはボクセルのセットである。
【0038】
アルゴリズムの決定木における決定ノードは、そのノードにおいて適切な3Dセグメンテーションのための解が一つよりも多く存在する場合曖昧であり、アルゴリズムは少なくとも二つの可能な実行経路の一つに沿って進行し、解の一つを出力する。
【0039】
曖昧決定点の概念の延長で、3D画像ボリュームの領域は3Dセグメンテーション解の一つの一部を成すが他の解の一部を成さない場合曖昧であるとよばれる。最終的に、その領域を持つ3Dセグメンテーションがその領域を持たないいかなる他の3Dセグメンテーションよりも大きく現在表示されている3Dセグメンテーションから逸脱する場合、領域は他より高い曖昧性を持つ。
【0040】
本発明の実施形態例は以下の図面を参照して以下に記載される。