(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6620172
(24)【登録日】2019年11月22日
(45)【発行日】2019年12月11日
(54)【発明の名称】画像データをハンドリングするためのシステム及び方法
(51)【国際特許分類】
A61B 6/03 20060101AFI20191202BHJP
A61B 5/00 20060101ALI20191202BHJP
【FI】
A61B6/03 360J
A61B5/00 G
【請求項の数】14
【全頁数】16
(21)【出願番号】特願2017-566113(P2017-566113)
(86)(22)【出願日】2016年6月23日
(65)【公表番号】特表2018-538010(P2018-538010A)
(43)【公表日】2018年12月27日
(86)【国際出願番号】EP2016064516
(87)【国際公開番号】WO2016207271
(87)【国際公開日】20161229
【審査請求日】2019年3月4日
(31)【優先権主張番号】EP15173679.0
(32)【優先日】2015年6月24日
(33)【優先権主張国】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】516027694
【氏名又は名称】レイサーチ ラボラトリーズ,エービー
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】ウェイストランド,オラ
【審査官】
松岡 智也
(56)【参考文献】
【文献】
特表2014−511714(JP,A)
【文献】
特開2007−283108(JP,A)
【文献】
欧州特許出願公開第02648160(EP,A1)
【文献】
Xiao Han, et al.,“A morphing active surface model for automatic re-contouring in 4D radiotherapy”,Proceedings of SPIE,米国,2007年 3月 8日,Vol.6512,p.65123H-1-65123H-9
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00 − 6/14
A61B 5/00 − 5/01
G06T 1/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
画像ハンドリングシステム(100)であって、
変形し得る物理エンティティのリファレンス画像(IMG13D)、前記物理エンティティのターゲット画像(IMG23D)、および前記リファレンス画像(IMG13D)の第1のボリュームを定義する第1の関心領域(ROI13D)を受信するように構成されたデータ処理ユニット(110)であって、前記第1のボリュームは、リファレンス画像要素を示し、前記リファレンス画像(IMG13D)、前記ターゲット画像(IMG23D)、および前記第1の関心領域(ROI13D)が、各々それぞれの三次元データセットを含む、データ処理ユニット(110)と、
ユーザコマンド(c1;c2)を受信するように構成された少なくとも1つのデータ入力ユニット(131、132)と、
前記リファレンス画像(IMG13D)、前記ターゲット画像(IMG23D)、および前記第1の関心領域(ROI13D)を反映するグラフィックデータ(GD)を提示するように構成されたディスプレイユニット(140)、
を備え、
さらに前記データ処理ユニット(110)が、
前記ユーザコマンド(c1;c2)に応答して、前記ターゲット画像(IMG23D)を介して第1の平面(P1)内の第1の輪郭(C12D)を定義するように構成され、前記第1の輪郭(C12D)は、前記ターゲット画像(IMG23D)のターゲット画像要素(IE3D)の第1の辺縁(IEB1)の少なくとも一部と位置合わせされ、前記ターゲット画像要素(IE3D)は、前記リファレンス画像(IMG13D)の前記リファレンス画像要素に対応し、前記ターゲット画像要素(IE3D)の前記第1の辺縁(IEB1)が特定の器官のアウトラインを示し、
前記ターゲット画像(IMG23D)の第2のボリュームを定義する第2の関心領域(ROI23D)を決定するように構成され、前記第2の関心領域(ROI23D)は、前記第1の輪郭(C12D)、前記ターゲット画像(IMG23D)、及び前記第1の関心領域(ROI13D)に基づいて決定され、かつ
前記第1の関心領域(ROI13D)と前記第2の関心領域(ROI23D)との関係性を記述するベクトルフィールド(VF1→2)を計算するように構成され、前記ベクトルフィールド(VF1→2)を介して前記第1の関心領域(ROI13D)を変換することによって前記第2の関心領域(ROI23D)を得ることができる、
画像ハンドリングシステム(100)。
【請求項2】
前記データ処理ユニット(110)が、さらに
前記第1の関心領域(ROI13D)及び前記ベクトルフィールド(VF1→2)に基づいて前記第2の関心領域(ROI23D)を生成するように構成され、かつ
前記ディスプレイユニット(140)上に提示するためのグラフィックデータ(GP)を生成するように構成され、前記グラフィックデータ(GP)は、前記ターゲット画像(IMG23D)上にオーバーレイされた前記第2の関心領域(ROI23D)を反映する、
請求項1に記載の画像ハンドリングシステム(100)。
【請求項3】
前記データ処理ユニット(110)が、
さらなるユーザコマンド(c1;c2)を受信し、これに応答して、前記ターゲット画像(IMG23D)を介して第2の平面(P2)内の第2の輪郭(C22D)を定義し、前記第2の輪郭(C22D)は、前記ターゲット画像(IMG23D)の前記ターゲット画像要素(IE3D)の第2の辺縁(IEB2)の少なくとも一部と位置合わせされ、前記ターゲット画像要素(IE3D)の前記第2の辺縁(IEB2)が、特定の器官のアウトラインを示し、かつ
前記第2の輪郭(C22D)に基づいて前記第2の関心領域(ROI23D)を決定する、
ようにさらに構成される、
請求項2に記載の画像ハンドリングシステム(100)。
【請求項4】
前記データ処理ユニット(110)が、前記第1の輪郭(C12D)に適用された非線形最適化アルゴリズムおよび前記第2の関心領域(ROI23D)と前記第1の平面(P1)との交点に基づいて、前記第2の関心領域(ROI23D)を決定するように構成され、ここで前記非線形最適化アルゴリズムは、前記第1の輪郭(C12D)からの前記第2の関心領域(ROI23D)の偏差にペナルティを課すように構成される、
請求項1〜3のいずれか一項に記載の画像ハンドリングシステム(100)。
【請求項5】
前記第2の関心領域(ROI23D)が三角形メッシュによって表され、
前記非線形最適化アルゴリズムが、
前記第2の関心領域(ROI23D)と前記第1の平面(P1)との交点の組を計算し、前記交点の組における各交点(V0)は、平均値座標を用いて前記交点(V0)の近傍に存在する8つのボクセル中心(V1、V2、V3、V4、V5、V6、V7、V8)の凸結合によって計算され、かつ
各計算された交点と前記第1の輪郭(C12D)との間のユークリッド距離に二次元距離変換を適用する、
ように構成される、
請求項4に記載の画像ハンドリングシステム(100)。
【請求項6】
前記第2の関心領域(ROI23D)が三角形メッシュによって表され、
前記非線形最適化アルゴリズムが、
前記第2の関心領域(ROI23D)と前記第1の平面(P1)との交点の組を計算し、かつ前記交点の組における各交点に関して、
前記第2の関心領域(ROI23D)から前記第1の平面(P1)への法線投影を決定し、前記法線投影は所定の長さのインターバル内で延び、前記所定の長さ内で前記法線が前記第1の輪郭(C12D)と接触点で交わる場合、前記接触点は、更新された第2の関心領域の仮の限界点として含まれ、かつ
ストップ基準が満たされるまで、前記更新された第2の関心領域に基づいて前記決定するステップを繰り返す、
ように構成される、
請求項4に記載の画像ハンドリングシステム(100)。
【請求項7】
画像をハンドリングする方法であって、
変形し得る物理エンティティのリファレンス画像(IMG13D)を受信するステップと、
前記物理エンティティのターゲット画像(IMG23D)を受信するステップと、
前記リファレンス画像(IMG13D)における第1のボリュームを定義する第1の関心領域(ROI13D)を受信するステップであって、前記第1のボリュームは、リファレンス画像要素を示し、前記リファレンス画像(IMG13D)、前記ターゲット画像(IMG23D)、および前記第1の関心領域(ROI13D)が、各々それぞれの三次元データセットを含む、ステップと、
少なくとも1つのデータ入力ユニット(131、132)を介してユーザコマンド(c1;c2)を受信するステップと、
ディスプレイユニット(140)上にグラフィックデータ(GD)を提示するステップであって、前記グラフィックデータ(GD)は、前記リファレンス画像(IMG13D)、前記ターゲット画像(IMG23D)、及び前記第1の関心領域(ROI13D)を反映する、ステップ
を含み、
さらに前記方法が、
前記ユーザコマンド(c1;c2)に応答して、前記ターゲット画像(IMG23D)を通る第1の平面(P1)内の第1の輪郭(C12D)を定義するステップであって、前記第1の輪郭(C12D)は、前記ターゲット画像(IMG23D)におけるターゲット画像要素(IE3D)の第1の辺縁(IEB1)の少なくとも一部と位置合わせされ、前記ターゲット画像要素(IE3D)は、前記リファレンス画像(IMG13D)における前記リファレンス画像要素に対応し、前記ターゲット画像要素(IE3D)の前記第1の辺縁(IEB1)が、特定の器官のアウトラインを示す、ステップと、
前記ターゲット画像(IMG23D)における第2のボリュームを定義する第2の関心領域(ROI23D)を決定するステップであって、前記第2の関心領域(ROI23D)は、前記第1の輪郭(C12D)、前記ターゲット画像(IMG23D)、及び前記第1の関心領域(ROI13D)に基づいて決定される、ステップと、および
前記第1の関心領域(ROI13D)と前記第2の関心領域(ROI23D)との関係性を記述するベクトルフィールド(VF1→2)を計算するステップであって、前記ベクトルフィールド(VF1→2)を介して前記第1の関心領域(ROI13D)を変換することによって前記第2の関心領域(ROI23D)を得ることができるステップ
をさらに含む、
方法。
【請求項8】
前記第1の関心領域(ROI13D)及び前記ベクトルフィールド(VF1→2)に基づいて前記第2の関心領域(ROI23D)を生成するステップと、
前記ディスプレイユニット(140)上に提示するためのグラフィックデータ(GP)を生成するステップであって、前記グラフィックデータ(GP)は、前記ターゲット画像(IMG23D)上にオーバーレイされた前記第2の関心領域(ROI23D)を反映する、ステップ
をさらに含む、
請求項7に記載の方法。
【請求項9】
さらなるユーザコマンド(c1;c2)を受信するステップであって、これに応答して、前記ターゲット画像(IMG23D)を通る第2の平面(P2)内の第2の輪郭(C22D)を定義するステップと、前記第2の輪郭(C22D)は、前記ターゲット画像(IMG23D)における前記ターゲット画像要素(IE3D)の第2の辺縁(IEB2)の少なくとも一部と位置合わせされる、ステップと、および
前記第2の輪郭(C22D)にさらに基づいて前記第2の関心領域(ROI23D)を決定するステップであって、前記ターゲット画像要素(IE3D)の前記第2の辺縁(IEB2)が、特定の器官のアウトラインを示す、ステップ、
をさらに含む、
請求項7または請求項8に記載の方法。
【請求項10】
前記第1の輪郭(C12D)に適用された非線形最適化アルゴリズム及び前記第2の関心領域(ROI23D)と前記第1の平面(P1)との交点に基づいて前記第2の関心領域(ROI23D)を決定するステップであって、前記非線形最適化アルゴリズムは、前記第1の輪郭(C12D)からの前記第2の関心領域(ROI23D)の偏差にペナルティを課すように構成される、ステップ、
をさらに含む、
請求項7〜請求項9のいずれか一項に記載の方法。
【請求項11】
前記第2の関心領域(ROI23D)が三角形メッシュによって表され、かつ
前記方法が、
前記第2の関心領域(ROI23D)と前記第1の平面(P1)との交点の組を計算するステップであって、前記交点の組における各交点(V0)は、平均値座標を用いて前記交点(V0)の近傍に存在する8つのボクセル中心(V1、V2、V3、V4、V5、V6、V7、V8)の凸結合によって計算されるステップと、および
各計算された交点と前記第1の輪郭(C12D)との間のユークリッド距離に二次元距離変換を適用するステップ、
を含む、
請求項10に記載の方法。
【請求項12】
前記第2の関心領域(ROI23D)が三角形メッシュによって表され、
前記方法が、
前記第2の関心領域(ROI23D)と前記第1の平面(P1)との交点の組を計算するステップと、
前記交点の組における各交点に関して、
前記第2の関心領域(ROI23D)から前記第1の平面(P1)への法線投影を決定するステップであって、前記法線投影は所定の長さのインターバル内で延び、前記所定の長さ内で前記法線が前記第1の輪郭(C12D)と接触点で交わる場合、前記接触点は、更新された第2の関心領域の仮の限界点として含まれる、ステップと、
ストップ基準が満たされるまで、前記更新された第2の関心領域に基づいて前記決定するステップを繰り返すステップ、
を含む、
請求項10に記載の方法。
【請求項13】
少なくとも1つのプロセッサ上で実行されるときに請求項7〜請求項12のいずれか一項に記載の方法を行うためのソフトウェアを含む、前記少なくとも1つのプロセッサのメモリ(115)にロード可能なコンピュータプログラム製品(SW)。
【請求項14】
少なくとも1つのプロセッサによって実行されるときに前記少なくとも1つのプロセッサに請求項7〜請求項12のいずれか一項に記載の方法を行わせる命令を含む、プロセッサ可読媒体(115)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、三次元3D画像の処理に関する。より具体的には、本発明は、請求項1のプリアンブルに係る画像ハンドリングシステム及び対応する方法に関する。本発明はまた、コンピュータプログラム製品及びプロセッサ可読媒体に関する。
【背景技術】
【0002】
或るタイプの3Dイメージングでは、特に医療分野では、物体/被検者の第1の画像、第2の画像、及び任意のその後の画像のすべてにおける1つ又は複数の特定のアイテムを識別できることが重要である。例えば、放射線治療セッションを行う前に登録された第1のコンピュータ断層撮影CT画像において患者の肝臓が定義される場合がある。次いで、医師は治療の効果を確かめることに関心をもつ。この目的のために、治療セッション後に登録された第2の画像において肝臓を適切に識別できることが重要である。第2の画像において、肝臓は第1の画像とは異なる形状を有する場合がある。治療されるべき腫瘍組織が肝臓にあると仮定すると、照射がそのように器官を若干変形させたかもしれない。しかしながら、胃の内容物が異なること、患者が僅かに異なる位置をとること、及び/又は第2の画像を登録するときに異なるイメージング機器が用いられたことだけでも変形がなぜ生じたかの説明となり得る。いずれにしても、対応する第1の画像においてなされた識別に基づいて第2の画像における器官、例えば肝臓のボリューム境界を識別することは、普通は決して容易なことではない。データセットは3Dであるため、器官又は構造体の識別は、しばしば手動のプロセスであり、オペレータは、関心あるボリューム全体を通るセグメントごとに、それぞれの像平面内の該当する境界を定義しなければならない。
【0003】
WO2012/069965は、画像診断装置から第1のプランニング画像の組を受信し、自動セグメント化ツール又は手動セグメント化ツールと放射線治療プランニングシステムを用いて第1の放射線治療計画を生成するプランニングモジュールを含む、放射線治療プランニングシステムを説明する。第1の放射線治療計画が1つ又は複数の治療セッションに適用された後で、第2のプランニング画像の組が生成される。プランニングモジュールが、変形し得る画像の登録アルゴリズムを用いてプランニング画像の組を登録し、対応する変形マップを生成し、該変形マップが、セグメント化された第1のプランニング画像の組のセグメント化された関心物体(objects of interest)OOIに適用されることにより、該関心物体が第2のプランニング画像の組上に伝搬される。変形マップは、伝搬されたOOI位置と実際のOOI位置との偏差に従って以下の2ステップで補正される。1)関心領域輪郭補正及び/又は関心位置のランドマーク点などの伝搬されたOOIの手動補正及び/又は自動補正が行われる、2)これらの局所OOI補正から補正された全体変形マップが生成される。補正された変形マップは、第1の放射線治療計画に適用され、累積放射線マップが、第1の放射線治療計画で実施された治療セッション中に各OOIに累積した放射線を描画する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
前述のソリューションは、高品質の最終結果を提供し得るが、適用される戦略は、第1の画像から第2の画像へのOOIの変換を記述する変形マップ、すなわち、ベクトルフィールドを得るために完全な3Dボリュームが手動で定義されなければならないので、比較的非能率的であり、時間がかかる。
【0005】
したがって、本発明の目的は、上記の問題を改善すること、つまり、改良された画像ハンドリングソリューションを提供することである。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、目的は、前述の画像ハンドリングシステムによって達成され、この場合、データ処理ユニットは、ユーザコマンドに応答して、ターゲット画像を通る第1の平面内の第1の輪郭を定義するようにさらに構成される。ここで、このようなユーザコマンドは、第1の輪郭がターゲット画像におけるターゲット画像要素の辺縁の少なくとも一部と位置合わせされるように入力されると仮定する。さらにまた、ターゲット画像要素は、リファレンス画像におけるリファレンス画像要素に対応すると仮定する。加えて、データ処理ユニットは、ターゲット画像における第2のボリュームを定義する第2の関心領域を決定するようにさらに構成される。第2の関心領域は、第1の輪郭、ターゲット画像、及び第1の関心領域に基づいてデータ処理ユニットによって決定される。
【0007】
この画像ハンドリングシステムは、ターゲット画像における関心領域の3Dの完全な手動登録を必要としないことから有利である。実際には、多くの場合、ユーザは、第1の平面内のターゲット画像要素の辺縁の一部に沿った第1の輪郭を定義するだけで十分である。
【0008】
本発明のこの態様の1つの好ましい実施形態によれば、データ処理ユニットは、第1の関心領域と第2の関心領域との関係性を記述するベクトルフィールドを計算するようにさらに構成される。ベクトルフィールドは、ベクトルフィールドを介して第1の関心領域を変換することによって第2の関心領域を得ることができるような特性を有する。これは、適切な関係性が見出されていることの便利な再確認を可能にするので有利である。すなわち、第1の関心領域をとりあげ、ベクトルフィールドを介してこれを変換する場合、結果的にターゲット画像における第2のボリュームと一致する第2の領域が得られるであろう。したがって、オペレータは、第1の関心領域の変換されたバージョンをターゲット画像の画像データと比較することによってデータ品質を視覚的に調べることができる。
【0009】
その結果、本発明のこの態様の別の好ましい実施形態によれば、データ処理ユニットは、第1の関心領域及びベクトルフィールドに基づいて第2の関心領域を生成するようにさらに構成される。データ処理ユニットはまた、ディスプレイユニット上に提示するためのグラフィックデータを生成するように構成され、グラフィックデータは、ターゲット画像上にオーバーレイされた第2の関心領域を反映する。このようにして、ベクトルフィールドの品質と、これにより第2の関心領域に関連したデータ品質も直接的に確認することになる。
【0010】
本発明のこの態様のまた別の好ましい実施形態によれば、データ処理ユニットは、さらなるユーザコマンドを受信し、これに応答して、ターゲット画像を通る第2の平面内の第2の輪郭を定義するようにさらに構成される。上記と同様に、第2の輪郭も、ターゲット画像におけるターゲット画像要素の辺縁の少なくとも一部と位置合わせされると仮定する。次いで、第2の輪郭にさらに基づいて、データ処理ユニットは、第2の関心領域を決定するように構成される。したがって、ユーザは、元のベクトルフィールドのどのような短所も非常に直観的に調整することができる。
【0011】
本発明のこの態様のさらに別の好ましい実施形態によれば、データ処理ユニットは、第1の輪郭に適用された非線形最適化アルゴリズム及び第2の関心領域と第1の平面との交点(intersection)に基づいて第2の関心領域を決定するように構成される。非線形最適化アルゴリズムは、第1の輪郭からの第2の関心領域の偏差にペナルティを課すように構成される。これにより、第2の関心領域を効率よく高精度に生成することができる。
【0012】
本発明のこの態様のさらに好ましい実施形態によれば、第2の関心領域は三角形メッシュによって表されると仮定する。ここで、非線形最適化アルゴリズムは、第2の関心領域と第1の平面との交点の組を計算することを含み、交点の組における各交点は、平均値座標を用いて交点の近傍に存在する8つのボクセル中心の凸結合によって計算される。非線形最適化アルゴリズムは、各計算された交点と第1の輪郭との間のユークリッド距離に二次元距離変換を適用することを含む。したがって、アルゴリズムは、第1の平面内のユーザにより定義される輪郭の3Dの態様を考慮に入れている。これは、提案されたシステムの効率及び正確度をさらに向上し得る。
【0013】
本発明のこの態様の別の好ましい実施形態によれば、第2の関心領域も三角形メッシュによって表されると仮定し、非線形最適化アルゴリズムは、第2の関心領域と第1の平面との交点の組を計算することを含む。ここで、しかしながら、交点の組における各交点に関して、第2の関心領域から第1の平面への法線投影が決定される。法線投影は、所定の長さのインターバル内で延びる。所定の長さ内で法線が第1の輪郭と接触点(juncture)で交わる場合、当該接触点は、更新された第2の関心領域の仮の限界点(tentative delimitation point)として含まれる。決定するステップは、次いで、ストップ基準が満たされるまで、更新された第2の関心領域に基づいて繰り返される。その結果、アルゴリズムはまた、しかし本発明の前述の実施形態とは異なる様態で、第1の平面内のユーザにより定義される輪郭の3D態様を考慮に入れている。
【0014】
本発明の別の態様によれば、目的は、前述の方法によって達成され、該方法は、ユーザコマンドに応答して、ターゲット画像を通る第1の平面内の第1の輪郭を定義することを含む。ここで、ユーザコマンドは、第1の輪郭がターゲット画像におけるターゲット画像要素の辺縁の少なくとも一部と位置合わせされるように入力されると仮定する。ターゲット画像要素は、リファレンス画像におけるリファレンス画像要素に対応する。この方法は、ターゲット画像における第2のボリュームを定義する第2の関心領域を決定することをさらに含む。第2の関心領域は、第1の輪郭、ターゲット画像、及び第1の関心領域に基づいて決定される。この方法の利点並びにその好ましい実施形態は、提案されたシステムに関連した上記の説明から明らかである。
【0015】
本発明のさらなる態様によれば、目的は、コンピュータ上で実行されるときに上記の提案された方法のステップを行うためのソフトウェアを含む、コンピュータのメモリにロード可能なコンピュータプログラム製品によって達成される。
【0016】
本発明の別の態様によれば、目的は、少なくとも1つのプロセッサによって実行されるときに少なくとも1つのプロセッサに提案された方法を行わせる命令を格納しているプロセッサ可読媒体によって達成される。
【0017】
本発明のさらなる利点、有益な特徴、及び用途は、以下の説明及び従属請求項から明らかとなる。
【0018】
ここで本発明を、添付の図面を参照しながら、例として開示される好ましい実施形態によってより綿密に説明する。
【図面の簡単な説明】
【0019】
【
図1】本発明の一実施形態に係る画像ハンドリングシステムのブロック図である。
【
図2】ターゲット画像における第1の平面内の第1の輪郭の第1の例を画像要素の辺縁及び第1の輪郭の例と共に示す図である。
【
図3】
図3a及び
図3bは、本発明の一実施形態に従ってリファレンス画像における第1の関心領域からターゲット画像における第2の関心ボリュームがどのようにして得られるかを例示する図である。
【
図4】ターゲット画像における第2の平面内の第1の輪郭の第2の例を画像要素の辺縁及び第1の輪郭の別の例と共に例示する図である。
【
図5】ターゲット画像における第2の平面内の第1の輪郭の第2の例が、関心領域が第2のボリュームと一致するように更新されている状況を例示する図である。
【
図6】本発明の一実施形態に従って8つのボクセル中心の凸結合に基づいて第1の平面との交点がどのようにして計算されるかを例示する図である。
【
図7】
図7a及び
図7bは、本発明の一実施形態に従って第2の関心領域がユーザにより定義される輪郭にどのようにして繰り返し適合されるかを例示する図である。
【
図8】画像をハンドリングするための本発明に係る一般的方法を例示する流れ図である。
【発明を実施するための形態】
【0020】
最初に、本発明の一実施形態に係る画像ハンドリングシステム100のブロック図を示す
図1と、ターゲット画像における第1の平面内の第1の輪郭の第1の例を画像要素の辺縁及び第1の輪郭の例と共に示す
図2を参照する。
【0021】
提案される画像ハンドリングシステム100は、データ処理ユニット110と、少なくとも1つのデータ入力ユニット131及び132と、ディスプレイユニット140を含む。
【0022】
データ処理ユニット110は、例えば、患者の器官又は身体構造体を表す変形し得る物理エンティティのリファレンス画像
IMG13Dを受信するように構成される。リファレンス画像
IMG13Dは、通常、X線コンピュータ断層撮影装置、磁気共鳴装置(例えば、磁気共鳴画像法MRI、核磁気共鳴画像法NMRI、又は磁気共鳴断層撮影法MRTを用いる)、超音波カメラ、又はコーンビームコンピュータ断層撮影法CBCTスキャナによって登録され得る比較的多数のボクセルを含んでいる3Dデータセットである。
【0023】
データ処理ユニット110はまた、物理エンティティのターゲット画像
IMG23Dを受信するように構成され、ターゲット画像
IMG23Dは、同様に、しかし必ずしもリファレンス画像
IMG13Dを生成するのに用いたのと同じ装置又は同じタイプの装置ではないが、通常は、例えば、X線コンピュータ断層撮影装置、磁気共鳴装置(例えば、磁気共鳴画像法MRI、核磁気共鳴画像法NMRI、又は磁気共鳴断層撮影法MRTを用いる)、又は超音波カメラによって登録された比較的多数のボクセルを含んでいる3Dデータセットである。
【0024】
加えて、データ処理ユニット110は、リファレンス画像
IMG13Dにおける第1のボリュームを定義する第1の関心領域(region of interest)
ROI13Dを受信するように構成される。第1の関心領域
ROI13Dは、例えば、患者の個々の器官、器官系、組織、又はいくつかの他の身体構造体の限界境界に対応するリファレンス画像
IMG13D上の特定の領域を定義するリファレンス画像要素を表す。リファレンス画像
IMG13D及びターゲット画像
IMG23Dと同様に、第1の関心領域
ROI13Dは、ボクセルによって表され得る3Dデータセットである。しかしながら、第1の関心領域
ROI13Dは、普通は、人間オペレータ、例えば、放射線科医によって手動で定義されているデータセットである。特定の由来に関係なく、第1の関心領域
ROI13D、リファレンス画像
IMG13D、及びターゲット画像
IMG23Dは、1つ又は複数のデータインターフェースを介してデータ処理ユニット110に送られる。
【0025】
ディスプレイユニット140は、リファレンス画像
IMG13D、ターゲット画像
IMG23D、及び第1の関心領域
ROI13Dを反映するグラフィックデータGDを提示するように構成される。したがって、ユーザ、例えば放射線科医は、コンピュータへのユーザコマンドを生成するための任意の公知の入力部材、例えば、キーボード131及び/又はコンピュータマウス132によって表され得る少なくとも1つのデータ入力ユニット131及び132を介してコマンドを入力することによって、好ましくは選択されたビューから見られる場合に対話形式で、画像データを視覚的に検査することができる。
【0026】
少なくとも1つのデータ入力ユニット131及び132は、それぞれユーザコマンドc1及びc2を受信するように構成される。ユーザコマンドc1及び/又はc2に応答して、データ処理ユニット110は、好ましくはディスプレイユニット140上に提示されたターゲット画像
IMG23Dのビューに対応するターゲット画像
IMG23Dを通る第1の平面内の第1の輪郭(contour)
C12Dを定義するように構成される。ここで、ユーザコマンドc1及び/又はc2は、第1の輪郭
C12Dがターゲット画像
IMG23Dにおけるターゲット画像要素(image element)
IE3Dの第1の辺縁(border)IEB1(例えば、特定の器官のアウトライン)の少なくとも一部と位置合わせされるように生成されると仮定する。いずれにしても、ターゲット画像要素
IE3Dは、リファレンス画像
IMG13Dにおけるリファレンス画像要素に対応する。
【0027】
データ処理ユニット110は、ターゲット画像
IMG23Dにおける第2のボリュームを定義する第2の関心領域
ROI23Dを決定するようにさらに構成される。本発明によれば、第2の関心領域
ROI23Dは、第1の輪郭
C12D、ターゲット画像
IMG23D、及び第1の関心領域
ROI13Dに基づいて決定される。
【0028】
図3a及び
図3bは、リファレンス画像
ROI13Dにおける第1の関心領域
ROI13Dからターゲット画像
IMG23Dにおける第2の関心領域
ROI23Dがどのようにして得られるかを例示する。
【0029】
本発明の一実施形態によれば、データ処理ユニット110は、第1の関心領域
ROI13Dと第2の関心領域
ROI23Dとの関係性を記述するベクトルフィールド
VF1→2を計算するようにさらに構成される。ベクトルフィールド
VF1→2は、ベクトルフィールド
VF1→2を介して第1の関心領域
ROI13Dを変換することによって第2の関心領域
ROI23Dを得ることができるような特性を有する。言い換えれば、第2の関心領域
ROI23Dは、例えば、第1の関心領域
ROI13Dにベクトルフィールド
VF1→2をかけることによって生成することができる。
【0030】
さらに好ましくは、データ処理ユニット110は、第1の関心領域
ROI13D及びベクトルフィールド
VF1→2に基づいて第2の関心領域
ROI23Dを生成するように構成される。次いで、データ処理ユニット110は、好ましくは、グラフィックデータGPがターゲット画像
IMG23D上にオーバーレイされた第2の関心領域
ROI23Dを反映するように、ディスプレイユニット140上に提示するためのグラフィックデータGPを生成するように構成される。その結果、ユーザは、ベクトルフィールド
VF1→2(したがって第2の関心領域
ROI23Dも)がターゲット画像
IMG23Dにおける器官、器官系、組織、身体構造体などの十分に正確な定義であるか否かを再確認することができる。ベクトルフィールド
VF1→2が容認できないほど不正確であることが判明するならば、ユーザがデータ品質を改善する手段を有することが望ましい。
【0031】
この目的のために、本発明の一実施形態によれば、データ処理ユニット110は、少なくとも1つのデータ入力ユニット131及び/又は132のそれぞれを介してさらなるユーザコマンドc1及び/又はc2を受信するようにさらに構成される。これに応答して、データ処理ユニット110は、
図4に例示されるようにターゲット画像
IMG23Dを通る第2の平面P2内の第2の輪郭
C22Dを定義するように構成される。また、ユーザコマンドc1/c2は、第2の輪郭
C22Dがターゲット画像
IMG23Dにおけるターゲット画像要素
IE3Dの第2の辺縁IEB2の少なくとも一部と位置合わせされるように生成されると仮定する。その後、データ処理ユニット110は、第2の輪郭
C22Dにさらに基づいて第2の関心領域
ROI23Dを決定するように構成される。
図5は、元の第2の関心領域
ROI23Dを更新された第2の関心領域
ROI2’3Dへ調整する例を示す。
【0032】
第2の関心領域
ROI23Dを前述のように補正/調整するときに、データ処理ユニット110は、
図6、
図7a、及び
図7bを参照して後述する戦略のうちの1つ又は複数を適用することができる。
【0033】
図6は、本発明の一実施形態に従って8つのボクセル中心V1、V2、V3、V4、V5、V6、V7、及びV8の凸結合に基づいて第2の関心領域
ROI23Dと第1の平面P1又は第2の平面P2との交点V0がどのようにして計算されるかを例示する。
図6では、交点V0の周りの内側ボックスは、ここでは、その内部でのデータ値が1及び同一であり、且つグラフィックデータGPがディスプレイユニット140上の特定の強度及び/又は色相によって表され得るボリュームを表す。
【0034】
コンピュータグラフィックス並びに医療データのコンピュータ支援画像処理では一般的な慣習であるように、第2の関心領域
ROI23Dは三角形メッシュによって表されると仮定する。好ましくは、これは第1の関心領域
ROI13Dにも当てはまる。もちろん、上記の第1の平面又は第2の平面がどのように配向されるかに関係なく、第2の関心領域
ROI23Dと第1の平面又は第2の平面との交点の多くは、三角形メッシュ表現での三角形の角のうちの1つとは異なる点に生じるであろう。言い換えれば、交わりラインは、第2の関心領域
ROI23Dを記述するベクトルフィールドの多数のボクセル中心を通らないであろう。したがって、特定の交点が計算されなければならない。
【0035】
本発明の一実施形態によれば、この計算は、輪郭(すなわち
C12D又は
C22D)からの偏差にペナルティを課す項を含んでいる非線形最適化問題として公式化される。ここで、二次元距離変換が以下のように用いられる。
【0036】
三角形メッシュによって表される第2の関心領域
ROI23Dに関する平面P1又はP2内の輪郭
C12D又は
C22Dが定義されており、第2の関心領域
ROI23Dは三角形メッシュによって表され、平面P1又はP2は第2の関心領域
ROI23Dと交わるものとする。第2の関心領域
ROI23Dの縁の組を定義し、この場合、交点はEとして生じる。
【0037】
Eにおける各縁に関して、平面P1又はP2との交点を計算する。前述のように、結果的に得られる交点の組は、ベクトルフィールドのボクセル中心に通常は存在しない。交点をベクトルフィールドの観点で表すために、各交点V0は、平均値座標を用いて交点V0の近傍に存在する8つのボクセル中心V1、V2、V3、V4、V5、V6、V7、及びV8の凸結合によって計算される。このような点を仮想点v
iと呼び、ここで、
【数1】
である。
【0038】
距離変換D(x)が、輪郭上でD(x)=0であり、他では>0であるように、平面P1又はP2内の輪郭
C12D又は
C22Dに関して計算される。これにより、D(x)は、ユークリッド距離を輪郭
C12D又は
C22Dへ近づける。
【0039】
輪郭
C12D又は
C22Dからの偏差にペナルティを課す非線形項は、次のように書くことができる。
【数2】
【0040】
図7a及び
図7bは、第1の平面P1又は第2の平面P2と第2の関心領域
ROI23Dとの交点がそれに従って計算され得る、代替的な、すなわち、輪郭
C12D又は
C22Dに対する外部反復並びに内部反復を実行する反復プロセスによる戦略を例示する。
【0041】
この場合も、第2の関心領域
ROI23Dは三角形メッシュによって表される。ここで、輪郭
C12D又は
C22Dに起因する目的関数の非線形項は、主反復中は不変であり、主反復間で更新される。前述の戦略からの用語を用いると、違いは、輪郭
C12D又は
C22Dと平面P1又はP2との各交点
viに関して、法線
Niが縁の角での頂点法線の補間によって計算されることである。
【0042】
次いで、法線
Niが、平面P1又はP2上に投影され、長さLのインターバルの投影された法線に沿ってサーチが行われる。輪郭
C12D又は
C22Dとの交点
tiが見つかる場合、これは非線形関数に加えられる:
【数3】
【0043】
ここで、重み
wiは、1である場合があり、又は重み
wiは、ほぼ直角な交わりが比較的高い重みをもたらし、ほぼ平行な交わりが比較的低い重みをもたらすような様態で、輪郭
C12D又は
C22Dと交わる角度に依存する場合がある。
【0044】
図7a及び
図7bは、反復iの長さLのインターバル内で交点
tiが見つかる状況の例を示し、したがって、対応する交点
vi+1が、手順のその後の反復における輪郭
C12Dに含まれる。
【0045】
反復に関するストップ基準が定義され、ストップ基準は、好ましくは発見的方法から選択される。例えば、ストップ基準は、新しい交点
tiの数が減少する(すなわち、その後の反復i+1においてより低くなる)場合に、及び/又は交点
tiの数が1つの反復から別の反復にかけてほぼ同じままであり始める場合に、満たされると考えられ得る。
【0046】
データ処理ユニット110は、好ましくは、コンピュータプログラム製品SWが少なくとも1つのプロセッサ上で実行されるときにデータ処理ユニット110における少なくとも1つのプロセッサに前述のアクションを実行させるためのソフトウェアを含むコンピュータプログラム製品SWを記憶しているメモリユニット115を含む又はこれと通信接続する。
【0047】
要約するために、
図8の流れ図を参照して、画像データ及びユーザコマンドを処理するときに本発明に係るデータ処理ユニット110において実行される一般的方法をここで説明する。
【0048】
第1のステップ810は、変形し得る物理エンティティのリファレンス画像
IMG13Dが受信されているかをチェックし、受信されている場合、ステップ820が後続する。受信されていない場合、手順はループバックし、ステップ810にとどまる。リファレンス画像
IMG13Dは、例えば、コンピュータ断層撮影装置又は類似の装置によって登録された比較的多数のボクセルによって表される3Dデータセットである。
【0049】
ステップ820は、変形し得る物理エンティティのターゲット画像
IMG23D、すなわち、リファレンス画像
IMG13Dによって表される同じ物体/被検者の別の画像が受信されているかをチェックする。ステップ820においてターゲット画像
IMG23Dが受信される場合、ステップ830が後続する。受信されない場合、手順はループバックし、ステップ820にとどまる。ターゲット画像
IMG23Dは、例えば、コンピュータ断層撮影装置又は類似の装置によって登録された比較的多数のボクセルによって表される3Dデータセットである。
【0050】
ステップ830は、1つ又は複数のデータ入力ユニット(例えば、コンピュータマウス及び/又はキーボード)を介してユーザコマンドが受信されているかをチェックし、該ユーザコマンドは、ターゲット画像
IMG23Dを通る第1の平面内の第1の輪郭
C12Dを定義することを目的として入力されると仮定される。このようなユーザコマンドが受信される場合、ステップ840が後続する。受信されない場合、手順はループバックし、ステップ830にとどまる。
【0051】
ステップは、第1の関心領域
ROI13Dが受信されているかをチェックし、受信されている場合、ステップ850が後続する。受信されていない場合、手順はループバックし、ステップ840にとどまる。第1の関心領域
ROI13Dは、リファレンス画像
IMG13Dにおける第1のボリュームを定義し、第1のボリュームは、リファレンス画像要素、例えば患者の特定の器官/構造体を表す。第1の関心領域
ROI13Dは、好ましくは、オペレータによって手動で定義され得るボクセルによって表される3Dデータセットである。
【0052】
ステップ810〜840の正確な順序は重要ではなく、ユーザコマンドがターゲット画像
IMG23Dの後に受信されるという条件で本発明に従って変化し得ることに留意されたい。すなわち、ユーザコマンドは、ターゲット画像
IMG23Dに基づいて入力される。
【0053】
ステップ850において、ユーザコマンドに応答して、ターゲット画像
IMG23Dを通る第1の平面内の第1の輪郭
C12Dが定義される。第1の輪郭
C12Dは、ターゲット画像
IMG23Dにおけるターゲット画像要素
IE3Dの辺縁IEB1又はIEB2の少なくとも一部と位置合わせされると仮定される。ターゲット画像要素
IE3Dは、リファレンス画像
IMG13Dにおけるリファレンス画像要素に対応する。
【0054】
その後、ステップ860において、ターゲット画像
IMG23Dにおける第2のボリュームを定義する第2の関心領域
ROI23Dが決定される。第2の関心領域
ROI23Dは、第1の輪郭
C12D、ターゲット画像
IMG23D、及び第1の関心領域
ROI13Dに基づいて決定される。好ましくは、第2の関心領域
ROI23Dを決定することに関連して、グラフィックデータGDがディスプレイユニット上に提示され、グラフィックデータGDは、ターゲット画像
IMG23D及び第2の関心領域
ROI23Dを反映する。
【0055】
その後、手順が終了する。しかしながら、本発明の好ましい実施形態によれば、例えば、ターゲット画像
IMG23Dを通る第2の平面P2内の第2の輪郭
C22Dを定義することによって、ターゲット画像
IMG23Dにおける第2の関心領域
ROI23Dと変形し得る物理エンティティとの間の何らかの不一致を調整するためのさらなるコマンドをユーザが入力することができる入力インターフェースがユーザに提供される。
【0056】
図8を参照して前述したプロセスステップ並びに任意のその後のステップのすべては、プログラムされたコンピュータ装置によって制御されてよい。さらに、図面を参照して前述した本発明の実施形態は、コンピュータ装置及びコンピュータ装置で行われるプロセスを含むが、本発明はまた、本発明を実現するように適合されたコンピュータプログラム、特に、キャリア上の又はキャリア内のコンピュータプログラムに拡張される。プログラムは、ソースコード、オブジェクトコード、部分的にコンパイルされた形態などのソースコードとオブジェクトコードの中間のコードの形態、又は本発明に係るプロセスの実施に用いるのに適した任意の他の形態であり得る。プログラムは、オペレーティングシステムの一部であってよく、又は別個のアプリケーションであってよい。キャリアは、プログラムを搬送することができる任意のエンティティ又はデバイスであり得る。例えば、キャリアは、フラッシュメモリ、ROM(読出し専用メモリ)、例えば、DVD(デジタルビデオ/バーサタイルディスク)、CD(コンパクトディスク)、又は半導体ROM、EPROM(消去可能プログラム可能読出し専用メモリ)、EEPROM(電気的消去可能プログラム可能読出し専用メモリ)、又は磁気記録媒体、例えば、フロッピーディスク又はハードディスクなどの記憶媒体を含む場合がある。さらに、キャリアは、無線によって又は他の手段によって電気ケーブル又は光学ケーブルを介して伝達され得る電気又は光信号などの伝送可能キャリアであり得る。プログラムが、ケーブル又は他のデバイス又は手段によって直接伝達され得る信号で具体化されるときに、キャリアは、このようなケーブル又はデバイス又は手段によって構成され得る。代替的に、キャリアは、プログラムが組み込まれる集積回路であってよく、集積回路は、該当するプロセスを実行する又は実行に用いるように適合される。
【0057】
本明細書で用いられるときの「備える、含む(comprises/comprising)」という用語は、表記された特徴、整数、ステップ、又はコンポーネントの存在を明記するために採用される。しかしながら、この用語は、1つ又は複数のさらなる特徴、整数、ステップ、又はコンポーネント、又はそのグループの存在又は追加を排除しない。
【0058】
本発明は、図面で説明された実施形態に限られるものではなく、請求項の範囲内で自由に変化し得る。