特許 6981726 手術決定支援用のインコンテキストフォトリアリスティック三次元視覚化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6981726

(24)【登録日】2021年11月22日

(45)【発行日】2021年12月17日

(54)【発明の名称】手術決定支援用のインコンテキストフォトリアリスティック三次元視覚化

(51)【国際特許分類】

   A61B 6/03 20060101AFI20211206BHJP

   A61B 5/055 20060101ALI20211206BHJP

   G06T 1/00 20060101ALI20211206BHJP

   G06T 15/08 20110101ALI20211206BHJP

【ＦＩ】

   A61B6/03 360G

   A61B6/03 360D

   A61B6/03 360Q

   A61B5/055 380

   G06T1/00 290B

   G06T15/08

【請求項の数】11

【外国語出願】

【全頁数】14

(21)【出願番号】特願2018-94673(P2018-94673)

(22)【出願日】2018年5月16日

(65)【公開番号】特開2019-5558(P2019-5558A)

(43)【公開日】2019年1月17日

【審査請求日】2018年8月3日

【審判番号】不服2020-6622(P2020-6622/J1)

【審判請求日】2020年5月15日

(31)【優先権主張番号】15/610,804

(32)【優先日】2017年6月1日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516308401

【氏名又は名称】シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

(74)【代理人】

【識別番号】100075166

【弁理士】

【氏名又は名称】山口 巖

(74)【代理人】

【識別番号】100133167

【弁理士】

【氏名又は名称】山本 浩

(74)【代理人】

【識別番号】100169627

【弁理士】

【氏名又は名称】竹本 美奈

(72)【発明者】

【氏名】シュテファン アスマン

(72)【発明者】

【氏名】クラウス エンゲル

(72)【発明者】

【氏名】カロイアン ペトコフ

(72)【発明者】

【氏名】ルース ジェイ．ソエニウス

(72)【発明者】

【氏名】ダフニー ユー

【合議体】

【審判長】 三崎 仁

【審判官】 蔵田 真彦

【審判官】 井上 博之

(56)【参考文献】

【文献】 特開２０１１−２００６２５（ＪＰ，Ａ）

【文献】 特許第６０５１１５８（ＪＰ，Ｂ２）

【文献】 特開２００７−２２２６２９（ＪＰ，Ａ）

【文献】 特開２０１５−１１４７７５（ＪＰ，Ａ）

【文献】 特開２０１６−２０２２４７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００７／０２２９５００（ＵＳ，Ａ１）

【文献】 特表２００２−５０３８５５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

A61B6/00-6/14, 5/055

G06T1/00-1/40, 3/00-5/50, 9/00-9/40

(57)【特許請求の範囲】

【請求項1】

画像データセットを視覚化する方法であって、前記視覚化データセットが、少なくとも第１のオブジェクト（１）と第２のオブジェクト（２）とを有する三次元構成を表示し、
前記第１のオブジェクト（１）に第１組の分類パラメータ（ｐ＿１）を割り当てるステップ（２１）と、
前記第２のオブジェクト（２）に前記第１組の分類パラメータ（ｐ＿１）と異なる第２組の分類パラメータ（ｐ＿２）を割り当てるステップ（２１）と、
クリッピング要素（１０）によって、前記医用画像データセットを第１のサブ領域（１１）と第２のサブ領域（１２）に分割するステップ（２２）と、
レイキャスティング法によって前記三次元構成の視覚化を提供するステップ（２３）と、
レイ経路に沿ったサンプリング点が前記第２のサブ領域（１２）内にあり、かつ非コンテキストモードが選択された場合に、前記第２のサブ領域（１２）内にあるサンプリング点を無視するステップ（２５）と、
前記第１組の分類パラメータ（ｐ＿１）を前記第１のサブ領域（１１）内のサンプリング点に適用するステップ（２５）と、
インコンテキストモードが選択された場合に、前記第２組の分類パラメータ（ｐ＿２）を前記第２のサブ領域（１２）内のサンプリング点に適用するステップ（２５）と、
を含み、
前記第１組の分類パラメータ（ｐ＿１）が前記第１のオブジェクト（１）を視覚化するための前記第１のサブ領域（１１）に適用され、前記第１組の分類パラメータ（ｐ＿１）と異なる前記第２組の分類パラメータ（ｐ＿２）が前記第２のオブジェクト（２）を視覚化するための前記第２のサブ領域（１２）に適用され、
前記クリッピング要素（１０）上にあるサンプリング点のサンプリング繰り返し回数が、前記第２のサブ領域（１２）内及び前記第１のサブ領域（１１）内の少なくとも一方にあるサンプリング点のサンプリング繰り返し回数よりも多い、
方法。

【請求項2】

前記第１組の分類パラメータ（ｐ＿１）及び前記第２組の分類パラメータ（ｐ＿２）の少なくとも一方のパラメータが材料パラメータであり、
前記材料パラメータは前記画像データセットのボリューム要素に割り当てられたパラメータであり、
前記材料パラメータは、
組織又は領域密度重量を特定するパラメータ、及び
組織又は領域固有の、拡散、光沢、反射、屈折、透過度、放射率、及び位相関数のうち少なくとも１つを特定するパラメータ、
のうちの少なくとも１つである、請求項１に記載の方法。

【請求項3】

速度及びメモリを最適化しかつ色統一性を確保するために前記第１のサブ領域（１１）と前記第２のサブ領域（１２）両方のレイキャスティング法に、同じクラシファイヤリソースを適用可能であり、
前記クラシファイヤリソースは、前記画像データセットの対応強度値を、明るさ、強度、色、透明度又は不透明度値にマッピングする基本色パレットであり、
前記第１のサブ領域（１１）及び前記第２のサブ領域（１２）のそれぞれの、
不透明度と、
拡散、光沢、反射、屈折、透過度、放射率、及び位相関数、のうちの少なくとも１つである材料特性値、
のみが変更される、請求項２に記載の方法。

【請求項4】

ＭＰＲモード（２５）が提供され、前記ＭＰＲモードで、前記クリッピング要素（１０）上に多断面変換（ＭＰＲ）が付加的に示される、請求項１から３のいずれかに記載の方法。

【請求項5】

前記クリッピング要素（１０）が移動可能である、請求項１から４のいずれかに記載の方法。

【請求項6】

準備ステップでデータセットが選択され、前記データセットが、画像データセット及びメタデータ情報を含む、請求項１から５のいずれかに記載の方法。

【請求項7】

前記第１組の分類パラメータ（ｐ＿１）及び前記第２組の分類パラメータ（ｐ＿２）を割り当てるステップが、自動的に実行される、請求項１から６のいずれかに記載の方法。

【請求項8】

前記画像データセットが前記第１のサブ領域（１１）と前記第２のサブ領域（１２）に自動的に分割される、請求項１から７のいずれかに記載の方法。

【請求項9】

前記分類パラメータが前記メタデータ情報に基づくかワークフローによって選択される、請求項１から８のいずれかに記載の方法。

【請求項10】

画像データセットを視覚化するためのシステムであって、前記視覚化データセットが、少なくとも第１のオブジェクト（１）及び前記第１のオブジェクト（１）とは異なる第２のオブジェクト（２）がある三次元構成を表示し、
第１組の分類パラメータ（ｐ＿１）を前記第１のオブジェクト（１）に割り当て、
第２組の分類パラメータ（ｐ＿２）を前記第２のオブジェクト（２）に割り当て、
クリッピング要素（１０）によって、前記表示可能なボリュームを第１のサブ領域（１１）と第２のサブ領域（１２）に分割し、
レイキャスティング法によって前記三次元構成の視覚化を提供し、
レイ経路に沿ったサンプリング点が前記第２のサブ領域（１２）内にあり、かつ非コンテキストモードが選択された場合に、前記第２のサブ領域（１２）内にあるサンプリング点を無視し、
前記第１組の分類パラメータ（ｐ＿１）を前記第１のサブ領域（１１）内のサンプリング点に適用し、
インコンテキストモードが選択された場合に、前記第２組の分類パラメータ（ｐ＿２）を前記第２のサブ領域（１２）内のサンプリング点に適用し、
レイキャスティング法によって前記三次元構成の前記視覚化を提供し、前記第１組の分類パラメータ（ｐ＿１）が、前記第１のサブ領域（１１）に適用され、前記第２組の分類パラメータ（ｐ＿２）が前記第２のサブ領域（１２）に適用され、
前記クリッピング要素（１０）上にあるサンプリング点のサンプリング繰り返し回数が、前記第２のサブ領域（１２）内及び前記第１のサブ領域（１１）内の少なくとも一方にあるサンプリング点のサンプリング繰り返し回数よりも多くなるように構成された装置を含むシステム。

【請求項11】

プログラマブル装置のメモリにロードされる、請求項１から９のいずれかに記載の方法のステップを実行するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データセット、詳細には医用画像データセットを視覚化するための方法、画像データセットを視覚化するためのシステム、及びコンピュータプログラム製品について述べる。

【背景技術】

【0002】

詳細には、方法は、３次元（３Ｄ）又は４次元（４Ｄ）医用画像内の複数の関心構造物を互いの状況下で効率的に視覚化することに取り組む。例えば、方法は、栄養血管系又は埋没物を、腫瘍を含む臓器との状況下で視覚化するように適用されうる。１つ以上の医用画像データセットをソースデータとして使用できる。例えば、医用画像データセットは、コンピュータトモグラフィ（ＣＴ）又は磁気共鳴（ＭＲ）によって生成される。

【0003】

そのような医用画像データセットのボリューム視覚化は、解剖学的構造を３Ｄ／４Ｄで検査する手段を提供する。ボリューム視覚化方法の強力なツールは、様々な強度（intensity）クラシファイヤを使用して、データセット内の組織と構造物を選択し、各強度を、対応色、不透過度及び材料特性値（例えば、拡散、光沢、反射、屈折、透過度、放射率、位相関数）にマッピングする。パストレーシングなどの１つの高度なボリューム視覚化方法により、分類値が、照明モデルと相互作用する利用材料特性に基づく複雑な経路に沿って蓄積されて、含まれる組織と臓器に関するよりフォトリアリスティックな印象を表現する。また、この方法は、レイキャスティングなどの別のより単純なボリューム視覚化方法と共に使用されてもよく、その場合、分類値がビューイングレイに沿って蓄積され、その結果として、蓄積された色値及び／又は不透過値が、オブジェクトの視覚化面上で知覚される。

【0004】

臓器内に埋まった腫瘍など、それぞれ分類された組織又は構造物内の一部分は、更に、関心領域を画定しその外側の閉塞領域を除去することによって明らかにされる。例えば、単純なクリッピング面が、特に効果的かつ効率的である。クリッピング面がひとつの半空間を関心領域として画定し、他の半空間内の領域が切り抜かれる。クリッピング面の位置及び／又は向きは、画像データセットの視覚化される部分を決定する。したがって、ユーザは、平面を移動させて検索して臓器内の内部を調査できる。しかしながら、同時に、クリッピング面は、関心構造物の一部分も除去し、従って、ユーザは、複数の構造物（例えば、臓器のまわりの血管）の相対的位置決めの情報を失う。しかしながら、臓器の隣り又は近くにある血管の位置が、手術中の処置の自由を制限するので、この情報は、特に関心が高いものである。

【0005】

あるいは、複数の部分及び構造物（例えば、腫瘍及びそれぞれの栄養血管）を同時に表示するために、最新技術は、セグメント化を提案する。これは、各関心構造物がボクセルごとに明示的に決定されることを意味する。しかしながら、この方法は、微細血管を摘出するにはしばしば不十分な解像度で、異常で罹患した解剖学的組織を自動的にセグメント化するのが難しいので、長たらしく時間がかかる。更に、セグメント化が失敗したときは手動の編集を必要とする。

【発明の概要】

【課題を解決するための手段】

【0006】

したがって、本発明の目的は、複数の埋め込み構造物を互いの状況で視覚化するための改善された方法を提供することである。

【0007】

この目的は、請求項１による画像データセットを視覚化する方法、請求項１３による画像データセットを視覚化するシステム、及び請求項１４によるコンピュータプログラム製品によって達成される。

【0008】

本発明の第１の態様により、画像データセット（詳細には、医用画像データセット）を視覚化するための方法が提供され、視覚化データセットは、少なくとも第１のオブジェクトと第２のオブジェクトを有する三次元構成を表示し、
第１組のパラメータ（即ち、参照組のパラメータ）を第１のオブジェクトに割り当てるステップと、
第２組のパラメータ（即ち、インコンテキスト組の分類パラメータ）を第２のオブジェクトに割り当てるステップと、
医用画像データセットを、第１のサブ領域（即ち、参照サブ領域）と第２のサブ領域（即ち、インコンテキストサブ領域、詳細には関心領域）に分割するステップと、
三次元構成の視覚化をボリュームレンダリング法（ＶＲＭ）によって、詳細には、レイキャスティング法又はボリュームパストレーシング法によって提供するステップとを含み、第１組のパラメータが、第１のオブジェクトを視覚化するための第１のサブ領域に適用され、第２組のパラメータが、第２のオブジェクトを視覚化するための第２のサブ領域に適用される。

【0009】

最新技術とは対照的に、本発明による方法は、第２のオブジェクトの第２のサブ領域内にある部分を切り抜く代わりに、第２のオブジェクト又は少なくとも第２のオブジェクトの第２のサブ領域内の部分を視覚化することを可能にする。詳細には、第２のサブ領域内で第１のオブジェクトの少なくとも一部分が、同時に切り抜かれる。換言すると、本発明による方法により、視覚化データが、一方では、第１のオブジェクトの第１の視覚化サブ領域内にある部分を、詳細には画面上に示し、他方では同時に、第２のオブジェクトの第２の視覚化サブ領域内にある部分を、詳細には画面上に示す。プロセッサが提供され、プロセッサは、少なくとも、ボリュームレンダリング法（ＶＲＭ）によって三次元構成の視覚化を提供するように構成され、第１のオブジェクトの第１の視覚化サブ領域内の視覚化部分と、第２のオブジェクトの第２の視覚化サブ領域内の視覚化部分を、ワークステーションの画面などの画面上に表示することが好ましい。詳細には、第１の視覚化サブ領域と第２の視覚化サブ領域は、画面上に互いに隣接する。その結果、第１のオブジェクトの内部構造（例えば、肝臓などの臓器の内部構造）を第１の仮想化サブ領域内に表示でき、同時に、第２のオブジェクトの少なくとも一部分が、第１のオブジェクトと第２のオブジェクトの間の相対位置を識別するために第２の視覚化サブ領域内で視覚化される。第１のオブジェクトは、好ましくは臓器であり、第２のオブジェクトは、血管又は埋没物である。また、第２のオブジェクトが、第１のオブジェクト（即ち、臓器）内にある腫瘍であることが考えられる。詳細には、第１のオブジェクトと第２のオブジェクトが、第１のサブ領域と第２のサブ領域の上に延在する。明瞭にするために、熟練者は、本発明が第１のオブジェクトと第２のオブジェクトに限定されず、任意数のオブジェクトに拡張されうることを理解されたい。

【0010】

一般に、第１組のパラメータ及び／又は第２組のパラメータが、ボリュームレンダリング法の一部であり、即ち、これらのパラメータは、ボリュームレンダリング法に組み込まれ、ボリュームレンダリング法の出力に影響を及ぼしうる。第１組のパラメータ及び／又は第２組のパラメータを、第１のオブジェクト及び／又は第２のオブジェクトの画像化特徴（ハウンズフィールドスケールで対応するレンジのような特徴）に適応させることによって、第１のサブ領域内の第１のオブジェクトと第２のサブ領域内の第２のオブジェクト上に視覚化プロセス（詳細には、ボリュームレンダリング法）を集中できる。詳細には、所定の照明及びカメラパラメータ化においてレイ経路がボリューム内に進められるとき、クリッピング、分類及び照明の複合効果が蓄積される。第１組のパラメータが第１のオブジェクトに最適化され、第２組のパラメータが第２のオブジェクトに最適化されることが好ましい。詳細には、用語「最適化」は、ボリュームレンダリング法（ＶＲＭ）によって第１のオブジェクトの値がゼロでなくなり、第２のオブジェクトの値がほとんどゼロになるように、第１組のパラメータが選択されることを意味する。例えば、第１のパラメータセットと第２のパラメータセットは、第１のオブジェクトと第２のオブジェクトにそれぞれ割り当てられた様々なハウンズフィールドのレンジに基づいて選択される。

【0011】

第２のサブ領域は、画像データセットの、第１のオブジェクト内で見えるように切り抜かれた部分を表わすことが好ましい。更に、画像データセットは、コンピュータトモグラフィ（ＣＴ）又は磁気共鳴（ＭＲ）によって生成されたデータセットなどの医用画像データセットであることが好ましい。例えば、データセットは、三次元又は四次元データセットである。それにより、データセットは、第１のオブジェクトと第２のオブジェクトの各ボリューム要素の密度（即ち、密度値）を含む。密度は、物理的密度、光学的密度、屈折率及び／又は強度値、色、透明性及び／又は不透過値でよく、スカラー値、ベクトル又はテンソルとして示されうる。

【0012】

第１のオブジェクトの空間関係とコンテキスト（即ち、第２のオブジェクトの位置）を知ることによって、外科医は、血管を傷つけることなく、最良角度でオブジェクトに近づくことを決定できる。更に、外科医は、患者が手術可能かどうかを早く決定でき、また患者に、行っていることとリスクが何かを示すことができる。更に、難しい事例で未熟な外科医と学生を訓練できる。

【0013】

本発明の更に有利な実施形態及び特徴は、以下の記述で明らかにされるように、従属クレームによって示される。本明細書に記載されていない更なる実施形態を示すために、必要に応じて、様々な請求カテゴリの特徴が組み合わされうる。

【0014】

好ましい実施形態によれば、第１のサブ領域と第２のサブ領域両方のボリュームレンダリング法に、１組のクラシファイヤリソースが使用される。同じクラシファイヤリソースを使用することによって、メモリ使用量とコンピュータメモリ内へのフェッチ量が最小化され、したがって、描写速度を改善する。用語「クラシファイヤリソース」は、本発明の文脈では、画像データセットの対応強度値を、明るさ、強度、色、透明度及び／又は不透明度値にマッピングする基本色パレットを表す。クラシファイヤを適用することによって、様々な強度値によって特徴付けられる内部構造が見えるようになる。この手法で、速度とメモリが最適化され、領域全体に色統一性がよりよく確保される。更に、実行時に適用される各サブ領域の様々な種類のオフセットと材料を有する同じクラシファイヤリソースを使用することによって、ボリュームレンダリング法は、領域ごとに完全に独立したリソースセットの使用よりも単純化され、利用可能な計算時間を利用して、パストレーシングアルゴリズムでより高品質な対話型画像を実行でき、その結果、より正確なフォトリアリスティック描写が生成される。

【0015】

好ましい実施形態では、第１組のパラメータ及び／又は第２組のパラメータのパラメータが、材料パラメータ（即ち、分類パラメータ）である。材料パラメータは、例えば、画像データセットのボリューム要素に割り当てられた組織若しくは領域密度重量、又は組織若しくは領域固有の拡散、光沢、反射、屈折、透過度、放射率、位相関数を定義するパラメータである。

【0016】

画像データセットが、クリッピング要素（詳細には、クリッピング面）によって第１のサブ領域と第２のサブ領域に分割されることが好ましい。それにより、クリッピング要素は、第１のサブ領域と第２のサブ領域の境界を画定し、クリッピング要素は、詳細には、画面上の第１の視覚化サブ領域と第２の視覚化サブ領域を分割する視覚化されたクリッピング面を指す。詳細には、クリッピング要素は、第１のオブジェクトの視覚化部分が画面上に表示されないように配置され方向付けされる。換言すると、クリッピング要素は、内部構造又は第１のオブジェクトを分析するために第１のオブジェクト内を通る。また、クリッピング要素又は視覚化クリッピング要素が、少なくとも部分的に曲げられることが考えられる。例えば、クリッピング要素の輪郭が、第１及び／又は第２のオブジェクトの形状に適応される。ユーザがクリッピング要素の好きな輪郭を選択できることが好ましい。また、このクリッピング要素に加えて更に他のクリッピング要素が提供されることが考えられる。したがって、例えば、第１のオブジェクトの一部分をクリッピング要素によって切り抜くことに加えて、第２のオブジェクトの一部分を更に他のクリッピング要素によって切り抜くことができる。

【0017】

好ましい実施形態によれば、
第１組のパラメータを第１のサブ領域内にあるサンプリング点に割り当てるステップ、及び／又は、
第２組のパラメータを第２のサブボリューム内にあるサンプリング点に割り当てるステップを含むボリュームレンダリング法が提供される。そのようなボリュームレンダリング法は、パストレーシングボリュームレンダリング法としても知られ、レイ経路をボリューム内に進めてレイ経路に沿って各交差サンプリング点をサンプリングし、レイ経路は、ボリューム内の構造物ではね返るか透過するか反射し、最終的に光に遭遇したときに見えるようになる。

【0018】

好ましくは、ボリュームレンダリング法は、更に、
サンプリング点が第２のサブ領域内にあり、かつ詳細には非コンテキストモードが選択されている場合に、レイ経路に沿ったサンプリング点を無視するステップと、
第１のサブ領域内のサンプリング点に第１組の分類パラメータを適用するステップと、
詳細にはインコンテキストモードが選択された場合に、第２組の分類パラメータを第２のサブ領域内のサンプリング点に適用するステップとを含む。

【0019】

したがって、第２の視覚化サブ領域内の第２のオブジェクトを選択的に表示でき有利である。詳細には、第２のオブジェクトの視覚化部分は、非コンテキストモードでは、視覚化された第２のサブ領域内に表示されず、コンテキストモードでは、視覚化された第２のサブ領域内に表示される。従って、例えば、第２の視覚化サブ領域内の第２のオブジェクトの部分が、第１のオブジェクトの第１の視覚化サブ領域内の部分のビューを妨げるとき、ユーザは、非コンテキストモードとコンテキストモードを切り替えることができる。

【0020】

複雑な照明効果を含むために、更に、各サンプリング点又は画像化データセットのボリューム要素における散乱イベント（散乱光の方向が統計的に分散された）を考慮できる。好ましくは、散乱イベントが、モンテカルロシミュレーションによって実現され、最終照明値は、複数の光線の各照明値の統計的平均化の結果である。

【0021】

好ましくは、ＭＰＲモードが提供され、ＭＰＲモードでは、多断面変換（ＭＰＲ）が、クリッピング要素（詳細には、クリッピング面）上に付加的に示され、好ましくは選択的不透過値がＭＰＲモード描写ステップ中であることが好ましい。一般に、多断面変換は、第１及び／又は第２の臓器の二次元断面として視覚化され、断面は、第１及び／又は第２のオブジェクトのクリッピング要素の現在位置に対応する。詳細には、半透明埋め込みＭＰＲは、放射線技師（ＭＰＲの二次元断面ビューに使用される）と外科医（三次元視覚化に使用される）の両方に対応するために、クリッピング要素の表面、好ましくはクリッピング面上にマッピングされる。サンプリング点がクリッピング要素上にある場合、ＭＰＲモードステップで不透過値が確認される。不透過値に基づいて、ＭＰＲサンプリング点が見えるかどうかが決定される。例えば、ＭＰＲがサンプリング点で完全に不透明なとき、ＭＰＲ値が、サンプリング点における経路に適用される。ＭＰＲが半透明の場合は、ＭＰＲ値が記憶され、レイがその経路をボリューム内に続ける。その経路を終了した後で、記憶されたＭＰＲ値が、ＭＰＲ透過度値を表わすために終了経路に割り当てられた値と組み合わされる。また、クリッピング面の現在位置又は向きに対応する二次元断面が別々に表示されることが考えられる。例えば、現在のクリッピング要素の二セクション断面は、ボリューム視覚化の隣りに表示される。

【0022】

好ましい実施形態では、クリッピング要素が移動可能であり、サンプリングの量が、クリッピング要素（１０）の移動中に減少されることが好ましい。クリッピング要素を移動させることによって、第１のサブ領域と第２のサブ領域を変化させ、従って第１の視覚化サブ領域と第２の視覚化サブ領域を変化させうる。プロセッサは、ユーザがクリッピング要素をシフト又は回転できるか、クリッピング要素が自動的にシフト又は回転されるように構成されることが好ましい。したがって、平面がシフトされるときにオブジェクト内を検索するために、よく知られているスクロール及び「メルトスルー」効果が提供される。更に、プロセッサは、視覚化された三次元構成を回転させるように構成される。

【0023】

クリッピング要素上にあるサンプリング点のサンプリング繰り返しは、第２のサブ領域及び／又は第１のサブ領域内にあるサンプリング点のサンプリング繰り返しよりも大きいことが好ましい。詳細には、クリッピング要素上にＭＰＲのクリーンでノイズの少ないビューを達成し、従ってクリーンなメルトスルー効果を達成するために、ＭＰＲステップが正確に実行される。クリッピング要素の後ろで繰り返す繰り返しの数を少なくすることによって、クリッピング要素の後ろのオブジェクトはノイズが多くなるが、クリッピング要素の近く又はその上の視覚化構造が正確になる。更に、第１のオブジェクト及び／又は第２のオブジェクトが、境界におけるより高い精度を保証するためにクリッピング要素の近くにあるとき、バイナリサーチなどの改良が行われることが考えられる。

【0024】

別の好ましい実施形態では、準備ステップでデータセットが選択され、データセットは、画像データセットとメタデータ情報を含む。メタデータ情報を組み込むことによって、追加情報をプロセッサに提供できる。追加情報は、例えば、第１のオブジェクト及び／又は第２のオブジェクトに関する情報、患者又は疾病に関する情報を含む。プロセッサは、画像データセットを視覚化する方法が自動的に適応されるように構成されることが好ましい。また、データセットがメタデータ情報を含まない場合に、メタデータ情報を組み込むためのワークフローが提供されることが考えられる。

【0025】

好ましくは、用語「自動的に」は、例えばトレーニングされたニューラルネットから得られた検出器が、スキャンタイプ（例えば、動脈、静脈、門脈、コントラストタイプ）などの関連メタデータ情報を検出するために使用されることを示す。詳細には、検出は、ラベル付き画像データセットの調査によるトレーニングに基づく。従って、より信頼できるメタデータ情報を使用して、デフォルトセットのパラメータの微調整、例えば、血管系が動脈相データセットなどの高コントラストを含むかどうかに基づいて、第１と第２の領域のクラシファイヤパラメータ間の関係と変化量を自動的に決定できる。

【0026】

本発明の別の実施形態によれば、第１組のパラメータと第２組のパラメータの割り当ては、好ましくはメタデータ情報に基づいて自動的に実行される。第１のオブジェクトにはデフォルトの第１組のパラメータがあり、第２のオブジェクトにはデフォルトの第２組のパラメータがあることが好ましい。これらのデフォルトセットのパラメータは、メタデータ情報が第１及び／又は第２のオブジェクトを示すときに、プロセッサによってデフォルトで使用される。この方法を個別の画像データセットとその特定の特性に適応させるために、ユーザは、デフォルトセットのパラメータを修正できることが好ましい。

【0027】

更に他の好ましい実施形態では、好ましくはメタデータ情報と詳細には画像内の特徴に基づいて、画像データセットが、第１のサブ領域と第２のサブ領域に自動的に分割される。例えば、メタデータ情報は、臓器内の腫瘍の位置を含み、クリッピング要素は、クリッピング要素が腫瘍の最良ビューを得るために第１のオブジェクトを適正位置で分割するように方向付けされる。クリッピング要素の位置及び／又は向きの選択は、トレーニングされたネットワークのデータベースに基づいており、データベースは、類似の事例でクリッピング要素の位置及び／又は向きを含むことが好ましい。また、クリッピング要素の輪郭が、詳細には検出器の使用によって、メタデータ情報に基づいて自動的に選択されることが考えられる。

【0028】

例えば、医用画像ヘッダ及び他の添付情報からの指示などのメタデータ情報が提供され、この情報は、画像内容と共に、第１の臓器を識別し、画像データセットを第１のサブ領域と第２のサブ領域に自動分割するために使用される。次に、腫瘍などの潜在的疾病が、第１の臓器の分析、詳細には強度テクスチャ分析を実行することによって大雑把に識別される。最後に、クリッピング面が、前向きで識別腫瘍に対して所望位置に位置決めされ、周囲の血管（即ち、第２のオブジェクト）が表示される。

【0029】

別の好ましい実施形態では、分類パラメータが、メタデータ情報に基づいて又はワークフローによって選択される。

【0030】

本発明の別の態様は、画像データセット（詳細には、医用画像データセット）を視覚化するためのシステムであり、視覚化データセットは、少なくとも第１のオブジェクトと第２のオブジェクトがある三次元構成を表示し、
第１組の分類パラメータを第１のオブジェクトに割り当て、
第２組の分類パラメータを第２のオブジェクトに割り当て、
表示可能なボリュームを第１のサブ領域と第２のサブ領域に分割し、
ボリュームレンダリング法（詳細には、パストレーシング法）によって三次元構成の視覚化を提供するよう構成された装置を含んでおり、第１組の分類パラメータが第１のサブ領域に適用され、第２組の分類パラメータが第２のサブ領域に適用される。システムは、プロセッサ、画面などの表示装置、及び／又は人間機械インタフェースとしての入力装置を含むことが好ましい。

【0031】

本発明の別の態様は、コンピュータプログラム製品がプログラマブル装置のメモリにロードされたときに本発明による方法のステップを実行するためのコンピュータプログラム製品である。

【0032】

更に他の利点及び特徴は、添付図面を参照して本発明による分析方法の以下の好ましい実施形態の以下の説明から明らかになる。個々の実施形態の個々の特徴は、本発明の範囲内で互いに組み合わされうる。

【図面の簡単な説明】

【0033】

【図1】本発明による三次元構成を視覚化する方法の好ましい実施形態を概略的に示す図である。

【図2】画像データセットを視覚化する方法の更に他の好ましい実施形態を示す図である。

【図3】本発明による視覚化三次元構成を示す図である。

【発明を実施するための形態】

【0034】

図１に、画像データセット（詳細には、三次元画像データセット）を視覚化する方法が概略的に示される。好ましくは、この方法は、第１のオブジェクト１と、第１のオブジェクト１とは異なる第２のオブジェクト２を視覚化するために使用され、第１のオブジェクト１と第２のオブジェクト２は、三次元構成で互いに配列される。画像データセットは、ＣＴ又はＭＲ画像によって生成された三次元医用画像セットであることが好ましい。例えば、第１のオブジェクト１は、肝臓などの臓器を表わし、第２のオブジェクト２は、血管又は装置（埋没物など）を表わす。そのような血管又は装置は、手術の際に潜在切除領域の近くに埋め込まれることが多い。換言すると、第１のオブジェクト１と第２のオブジェクト２は、互いにすぐ隣りに配置されることが多い。

【0035】

ＣＴ又はＭＲＴ画像のボリューム視覚化は、外科医が解剖学的構造物を三次元で確認する手段を提供する。それにより、ボリューム視覚化に利用されるボリュームレンダリング法は、典型的には、画像データセットのボリューム要素に割り当てられた密度などの値を選択し、次にこの値を特定の色及び不透過値にマッピングする伝達関数ｔｆを使用する。レイキャスティング法により、色及び不透過値が、ビューイングレイに沿った幾つかのサンプリング点にわたって蓄積され、その結果として、蓄積された色が、視覚化された第１のオブジェクトと視覚化された第２のオブジェクトの面上で知覚される。それにより、各サンプリング点は、画像データセットのボリューム要素に対応する。

【0036】

第１のオブジェクト１内（例えば、臓器内）の内部部分は、クリッピング要素１０（例えば、クリッピング面）を位置決めしかつ／又は方向付けすることによって明らかにされうる。そのようなクリップ面は、腫瘍内を検索して第１のオブジェクト１（即ち、臓器）内の腫瘍の位置を識別するために使用されうる。しかしながら、腫瘍に移動することによって、クリッピング要素１０は、血管（即ち、第２のオブジェクト２）も切り抜く。従って、外科医は、腫瘍に対する血管の位置を確認できない。

【0037】

あるいは、各画素がそれぞれ第１のオブジェクト１又は第２のオブジェクト２に割り当てられる画像セグメント化が実行されうる。この結果、臓器、腫瘍及び血管の空間関係を示すビューが得られるが、比較的退屈で時間がかかる。更に、自動画像処理が失敗したときは手動の編集を必要とする。

【0038】

画像処理時間を著しく長くすることなく第１のオブジェクト１と第２のオブジェクト２の空間関係を視覚化するために、方法は、
第１組のパラメータｐ＿１を第１のオブジェクト１（例えば、臓器）に割り当てるステップ２１と、
第２組のパラメータｐ＿２を第２のオブジェクト２（例えば、血管又は埋没物）に割り当てるステップ２１と、
第１のサブ領域１１と第２のサブ領域１２内の画像データセットを、好ましくはクリッピング要素１０によって分割するステップ２２と、
ボリュームレンダリング法（ＶＲＭ）によって（詳細には、レイキャスティング法によって）三次元構成の視覚化を提供するステップとを含み、第１組のパラメータｐ＿１が、第１のオブジェクト１を視覚化するための第１のサブ領域１１に適用され、第２組のパラメータｐ＿２が、第２のオブジェクト２を視覚化するための第２のサブ領域１２に適用される方法が提供される。この方法は、第１のオブジェクトの視覚化部分が、第１のサブ領域１１に対応する第１の視覚化サブ領域１１’内に表され、第２のオブジェクト２の視覚化部分が、第２のサブ領域１２に対応する第２の視覚化サブ領域１２’内に表されることが好ましい。

【0039】

詳細には、ボリュームレンダリング法（ＶＲＭ）は、第１のサブ領域と第２のサブ領域の両方に適用される。第１組のパラメータｐ＿１は、第１のオブジェクト１を視覚化するために最適化され、第２組のパラメータｐ＿２は、第２のオブジェクト２を視覚化するために最適化されることが好ましい。その結果、第１のオブジェクト１が、第１の視覚化サブ領域１１’内に表示され、第２のオブジェクトが同時に、第２の視覚化サブ領域１２’に表示され、第１のオブジェクト１が、第２の視覚化サブ領域１２’内で切り抜かれる。即ち、第２のオブジェクト２、又は第２のオブジェクト２の第２のサブ領域１２内にある部分を、第１の視覚化サブ領域１１’内の第１のオブジェクト１の視覚化に追加できると有利であり、第１のオブジェクト１が部分的に切り抜かれる。したがって、外科医は、第１のオブジェクト１と第２のオブジェクト２の互いの空間関係を確認し、同時に第１のオブジェクト１の内部構造に関する情報を得る。

【0040】

例えば、第１のオブジェクト１と第２のオブジェクト２は、ハウンズフィールドスケールで値が互いに異なる。例えば、ハウンズフィールドスケールで第１のオブジェクト１に対する関連値に対応する第１の範囲は、ハウンズフィールドスケールで第２のオブジェクト２に対する関連値に対応する第２の範囲と異なる。このように、第１の範囲に基づく第１のパラメータセットｐ＿１と、第２の範囲に基づく第２のパラメータセットｐ＿２が選択される。その結果、第１のサブ領域１１に適用される分類は、第１の範囲の強度を有する強度値だけをマッピングし、第２のサブ領域１２に適用される分類は、第２の範囲の密度を有する密度値だけをマッピングする。有利には、第１のサブ領域１１と第２のサブ領域１２の両方に同じクラシファイヤリソースが使用され、従って、第２の視覚化サブ領域１２’内には第２のオブジェクト２が表示され第１のオブジェクト１が表示されない。

【0041】

図２で、本発明により画像データセットを視覚化する方法の更なる好ましい実施形態が示される。好ましくは、レイキャスティング法又はパストレーシングを利用したボリュームレンダリング法が使用される。そのようなレイキャスティング法又はパストレーシングを利用したボリュームレンダリング法は、レイ経路をボリューム内で前進させて、レイ経路に沿った各交差サンプリング点をサンプリングする。レイキャスティング法で使用される様々な分類を具体化するために、以下のステップが提供されることが好ましい。
画像データセットを第１のサブ領域１１と第２のサブ領域１２に分割するステップ２２の後で、表示ボリュームのサンプリング点が、クリッピング要素１０及び／又は更に他のクリッピング要素によって切り抜かれるかを確認するステップ２３、
クリッピング要素及び／又は更に他のクリッピング要素の識別（ＩＤ）をサンプリング点に割り当てるステップ２４、及び／又は、
第１組の分類パラメータ又は第２組の分類パラメータをサンプリング点に割り当てるステップ２４が提供されることが好ましい。

【0042】

画像データセット内のそれぞれのサンプリング点又はボリューム要素を第１のサブ領域１１又は第２のサブ領域１２に割り当てることによって、各サンプリング点がラベル付けされる。結果として、画像データセットを視覚化する方法を様々なモードで実行できる。例えば、第２のオブジェクト２のクリッピング要素１０及び更に他のクリッピング要素によって切り抜かれた部分を隠すことができ、第２のオブジェクト２の更に他のクリッピング要素だけによって切り抜かれた部分を表示できる。したがって、ユーザは、特に個別の画像データセットの特別要件に応じて、視覚化を自分の好みに適応させることができる。

【0043】

更に、非コンテキストモードとコンテキストモードを選択でき、したがって、実施形態は、第１のオブジェクト１と第２のオブジェクト２を画面上に表示するステップ２６の前に、
サンプリング点が、クリッピング要素１０及び／又は更に他のクリッピング要素によって切り抜かれ、かつ非コンテキストモードが選択された場合に、サンプリング点を無視するステップ２５と、
インコンテキストモードが選択された場合に、第１組の分類パラメータｐ＿１を、第１のサブ領域１２内のサンプリング点に適用するステップ２５と、
インコンテキストモードが選択された場合に、第２組の分類パラメータｐ＿２を第２のサブ領域１２内のサンプリング点に適用するステップ２５とを含む。

【0044】

したがって、第２のオブジェクトの一部分が、コンテキストモードで表示され、非コンテキストモードでは表示されない。

【0045】

ＭＰＲモードが提供され、多断面変換（multiplanar reformation）（即ち、二次元断面１４）が、クリッピング要素１０上に更に示されることが好ましい。サンプリング点がクリッピング要素１０上にある場合、ＭＰＲモードステップで不透過値が確認される。不透過値に基づいて、サンプリング点がレイキャスティング法に寄与するかどうかが決定される。例えば、ＭＰＲが関連サンプリング点で完全に不透明なときは、ＭＰＲ値が、サンプリング点における経路に適用される。ＭＰＲが半透明の場合、ＭＰＲ値が記憶され、レイは、その経路をボリューム内で続ける。その経路を終了した後、記憶されたＭＰＲ値が、ＭＰＲ透過値を表わすために終了経路に割り当てられた値と組み合わされる。

【0046】

更に、方法は、データセットが選択される準備ステップ２０を含むことが好ましい。そのようなデータセットは、画像データセット、並びに画像データセットを指定するメタデータ情報（詳細には、第１のオブジェクト１と第２のオブジェクト２）を含む。メタデータ情報は、コンピュータメイン又はグラフィックプロセッサユニットメモリなど、プロセッサを有する分析装置又は検出器によって選択されることが好ましい。詳細には、メタデータ情報に基づいて、又はユーザに情報を提供させるワークフローによって、後の描写ステップに適用する１組の描写パラメータが選択される。そのような描写パラメータは、好ましくは、照明パラメータ、カメラパラメータ、及び分類パラメータなどのパストレースボリュームレンダリングパラメータを含む。照明パラメータの例は、使用される照明のタイプ、光マップ又は光源の数、及び／又は光源の方向である。カメラパラメータの例は、位置、カメラの向き、視界、絞り、被写界深度、又は露出である。分類パラメータの例は、色及び透明度、密度、材料特性（例えば、拡散、光沢、反射、屈折、透過度、放射率、位相関数）、又は各画素の強度、のマッピングである。

【0047】

好ましくは、第１組のパラメータｐ＿１及び／又は第２組のパラメータｐ＿２は、分類パラメータであり、第１組の分類パラメータが第１のオブジェクト１に最適化され、第２組の分類パラメータが第２のオブジェクト２に最適化される。

【0048】

図３に、第１のオブジェクト１と第２のオブジェクト２の視覚化三次元構成が示され、第１の視覚化サブ領域１１’と第２の視覚化サブ領域１２’が示される。詳細には、図３は、ＨＣＣ肝臓腫瘍４を含む肝臓３のＣＴデータセットの実例を示す。クリッピング面１０は、肝臓３（真ん中左側）の一部が切り抜かれるように選択される。結果として、肝臓３の非切り抜き部分が、第１の視覚化サブ領域１１’に表示され、一方、肝臓腫瘍４と周囲の血管（即ち、第２のオブジェクト２）が、第２の視覚化サブ領域１２’内に維持され表示される。腫瘍４は、実際に肝臓３内にあり、肝臓３の非切り抜き部分の上に雲のように現われる。血管は、特に腫瘍栄養動脈を示す。更に、クリッピング要素１０（詳細には、肝臓３内を通るクリッピング面）の現在位置と向きに対応する多断面変換（即ち、二次元断面１４）が、第１の視覚化サブ領域と第２の視覚化サブ領域によって表わされたボリューム視覚化と共に示される。

【0049】

本発明を形式又は好ましい実施形態及びその変形で開示したが、本発明の範囲から逸脱せずに多数の追加の修正及び変形が行えることを理解されよう。

【0050】

分かりやすくするために、本明細書全体にわたる「ａ」及び「ａｎ」の使用は、複数を除外せず、「含む（comprising）」は他のステップ又は要素を除外しないことを理解されたい。

【符号の説明】

【0051】

１，２ オブジェクト
１０ クリッピング要素
１１，１２ サブ領域

【図1】

【図2】

【図3】