特表 2024-537061 ３Ｄ医用画像データを分析するための方法、コンピュータプログラム、及び３Ｄ医用画像データ評価デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-10

(54)【発明の名称】３Ｄ医用画像データを分析するための方法、コンピュータプログラム、及び３Ｄ医用画像データ評価デバイス

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241003BHJP

   G06F 3/04845 20220101ALI20241003BHJP

   G16H 30/00 20180101ALI20241003BHJP

【ＦＩ】

G06T19/00 A

G06F3/04845

G16H30/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024519372

(86)(22)【出願日】2022-09-07

(85)【翻訳文提出日】2024-03-28

(86)【国際出願番号】 EP2022074807

(87)【国際公開番号】W WO2023052057

(87)【国際公開日】2023-04-06

(31)【優先権主張番号】21200080.6

(32)【優先日】2021-09-30

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ヒッシュリッヒ ニクラス ドメニク マリア

(72)【発明者】

【氏名】ヒッシュリッヒ デイヴィッド ヴィンセント ギュンター

(72)【発明者】

【氏名】シュレッケンベルク マルクス

【テーマコード（参考）】

5B050

5E555

5L099

【Ｆターム（参考）】

5B050AA02

5B050BA03

5B050BA09

5B050BA12

5B050CA07

5B050CA08

5B050EA26

5B050FA02

5B050FA05

5B050FA06

5E555AA26

5E555AA29

5E555BA02

5E555BB02

5E555BB08

5E555BC04

5E555BE17

5E555CA24

5E555CB02

5E555CB45

5E555CC05

5E555DA08

5E555DB53

5E555DC30

5E555FA00

5L099AA26

(57)【要約】

３Ｄ医用画像情報を表示及び分析するための方法が提供される。この方法は、解剖学的構造の３Ｄ医用画像データを受け取るステップと、解剖学的構造の３Ｄレンダリング１を３Ｄ医用画像データに基づいて生成するステップと、視覚化環境１０において３Ｄレンダリング１をユーザ２０に表示するステップと、３Ｄレンダリング１上又は内の第１のポイント４を示すユーザのコマンドを受け取るステップと、第１のポイント４に対応する視覚化環境１０における位置に２Ｄフレーム２を設けるステップであって、２Ｄフレーム２の第１の側がユーザ２０に面している、２Ｄフレームを設けるステップと、２Ｄフレーム２内のＭＰＲビュー３を表示するステップであって、ＭＰＲビュー３が、２Ｄフレーム２の位置における３Ｄ医用画像データに基づいており、２Ｄフレーム２のサイズに対応するようにサイズ設定される、ＭＰＲビューを表示するステップと、３Ｄレンダリング１を部分的に切り落とすためにユーザ２０と２Ｄフレーム２の第１の側との間に透明な切り取り体９を設けるステップとを有する。さらに、コンピュータプログラム及び３Ｄ医用画像情報評価デバイスが提供される。

【特許請求の範囲】

【請求項1】

３Ｄ医用画像データを分析するための方法であって、
解剖学的構造の３Ｄ医用画像データを受け取るステップと、
前記解剖学的構造の３Ｄレンダリングを前記３Ｄ医用画像データに基づいて生成するステップと、
視覚化環境において前記３Ｄレンダリングをユーザに表示するステップと、
前記３Ｄレンダリング上又は前記３Ｄレンダリング内の第１のポイントを示すユーザのコマンドを受け取るステップと、
前記第１のポイントに対応する前記視覚化環境の位置に２Ｄフレームを設けるステップであって、前記２Ｄフレームの第１の側が前記ユーザに面している、前記２Ｄフレームを設けるステップと、
前記２Ｄフレーム内のＭＰＲビューを表示するステップであって、前記ＭＰＲビューが、前記２Ｄフレームの前記位置における前記３Ｄ医用画像データに基づいており、前記２Ｄフレームのサイズに対応するようにサイズ設定される、前記ＭＰＲビューを表示するステップと、
前記３Ｄレンダリングを部分的に切り落とすために前記ユーザと前記２Ｄフレームの前記第１の側との間に透明な切り取り体を設けるステップと、
前記視覚化環境における前記２Ｄフレームの前記サイズを変更するためにユーザのコマンドを受け取るステップであって、前記２Ｄフレーム内の前記ＭＰＲビューが前記２Ｄフレームの新しいサイズに更新され、前記透明な切り取り体のサイズが前記２Ｄフレームの前記新しいサイズに適応される、前記コマンドを受け取るステップと
を有する、方法。

【請求項2】

前記２Ｄフレームの前記第１の側が、前記ユーザの視線方向に対して少なくとも実質的に直交するように前記ユーザに面している、請求項１に記載の方法。

【請求項3】

前記切り取り体が、前記２Ｄフレームの前記第１の側と前記ユーザとの間で前記３Ｄレンダリングを切り落とすために、前記２Ｄフレームに直接隣接して位置づけられるか、又は
前記切り取り体が、前記２Ｄフレームに直接隣接しておらず、前記切り取り体から前記２Ｄフレームまでの最短距離と、前記２Ｄフレームの外周との間の比が、０．１から０．９の間であり、好ましくは、０．１と０．６との間であり、最も好ましくは、０．１と０．４との間である、請求項１又は２に記載の方法。

【請求項4】

前記視覚化環境における前記２Ｄフレームの前記位置を変更するためにユーザのコマンドを受け取るステップであって、前記２Ｄフレーム内の前記ＭＰＲビューが前記２Ｄフレームの新しい位置に更新され、前記透明な切り取り体の位置が前記２Ｄフレームの前記新しい位置に適応される、前記コマンドを受け取るステップをさらに有する、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記２Ｄフレームが、前記３Ｄレンダリングを通って２次元に延びる分析面に設けられ、前記２Ｄフレームが、前記分析面の一部のみをカバーする、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記透明な切り取り体が、適応可能な断面を有し、前記方法は、前記断面のサイズが前記２Ｄフレームからの距離の増加とともに変化する比を示すユーザのコマンドを受け取るステップをさらに有する、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記方法は、
前記３Ｄレンダリングが前記視覚化環境内で新しい位置及び／又は向きを有するように前記３Ｄレンダリングを回転及び／又は移動させるためにユーザのコマンドを受け取るステップであって、前記２Ｄフレーム内の前記ＭＰＲビューが前記３Ｄレンダリングの前記新しい位置に対応して更新され、及び／又は前記切り取り体の前記形状及び／又はサイズが、前記３Ｄレンダリングの前記新しい位置に対応して更新される、前記コマンドを受け取るステップ
をさらに有する、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記３Ｄレンダリング上又は前記３Ｄレンダリング内の第２のポイントを示すユーザのコマンドを受け取るステップと、
前記第２のポイントに対応する前記視覚化環境の位置に第２の２Ｄフレームを設けるステップであって、前記第２の２Ｄフレームの第１の側が前記ユーザに面しており、前記第２の２Ｄフレームが、好ましくは、前記ユーザの視線方向に対して少なくとも実質的に直交する、前記第２の２Ｄフレームを設けるステップと、
前記第２の２Ｄフレーム内の第２のＭＰＲビューを表示するステップであって、前記第２のＭＰＲビューが、前記第２の２Ｄフレームの位置における前記３Ｄ医用画像データに基づいており、前記第２の２Ｄフレームのサイズに対応するようにサイズ設定される、前記第２のＭＰＲビューを表示するステップと、
前記３Ｄレンダリングを部分的に切り落とすために前記ユーザと前記第２の２Ｄフレームの前記第１の側との間に第２の透明な切り取り体を設けるステップと
をさらに有する、請求項１から７のいずれか一項に記載の方法。

【請求項9】

少なくとも１つの前記２Ｄフレームの形状及び／又はサイズを個々に変更するためにユーザのコマンドを受け取るステップをさらに有する、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記ユーザによって設定された前記第１のポイントで始まる測定経路に沿った測定を示すユーザのコマンドを受け取るステップであって、前記２Ｄフレームが、前記第１のポイント及び前記測定経路を取り囲み、前記２Ｄフレームのサイズ及び／又は形状を前記測定経路に動的に適応させる、前記コマンドを受け取るステップと、
前記測定経路が終了する位置を示すユーザのコマンドを受け取るステップと
をさらに有する、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記視覚化環境が、ＶＲ環境又はＡＲ環境である、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記方法が、前記３Ｄレンダリング全体を通って延びる切り取り面を設け、前記切り取り面の一方の側で前記３Ｄレンダリングを切り落とすためにユーザのコマンドを受け取るステップをさらに有し、前記切り取り面が、前記視覚化環境内に個々の向き及び位置を有する、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

前記方法が、
前記３Ｄ医用画像情報から自動的に表面モデルをセグメント化するステップであって、前記表面モデルが前記解剖学的構造の少なくとも一部に対応する、前記表面モデルをセグメント化するステップと、
前記視覚化環境内で表面モデルを表示するステップと、
前記表面モデルを前記２Ｄフレーム内のＭＰＲビューに適合させるためにユーザのコマンドを受け取るステップと
をさらに有する、請求項１から１２のいずれか一項に記載の方法。

【請求項14】

プロセッサによって実行されたとき、前記プロセッサが請求項１から１３のいずれか一項に記載の方法を実行することを可能にするプログラムコード命令を含む、コンピュータプログラム。

【請求項15】

請求項１から１３のいずれか一項に記載の方法を実行するための３Ｄ医用画像情報評価デバイスであって、前記３Ｄ医用画像情報評価デバイスが、
３Ｄ医用画像情報を受け取るためのインタフェースと、
請求項１から１３のいずれか一項に記載の方法を実行するための計算ユニットと、
前記視覚化環境を設け、少なくとも前記３Ｄレンダリング及び前記２Ｄフレームを表示するための視覚化デバイスと、
を含む、３Ｄ医用画像情報評価デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３Ｄ医用画像データを分析するための方法、コンピュータプログラム、及び３Ｄ医用画像データ評価デバイスに関する。

【背景技術】

【0002】

３Ｄ超音波（ＵＳ）、コンピュータ断層撮影（ＣＴ）、磁気共鳴イメージング（ＭＲＩ）、３Ｄ心エコー（３ＤＥ）、及び心臓コンピュータ断層撮影（ＣＣＴ）などのような人間又は動物の体の３次元（３Ｄ）医用画像データを取得する複数のモダリティがある。取得した３Ｄ医用画像データを表示する１つのやり方は、それを、３Ｄ画像データのレンダリングによって生成された３Ｄボリュームとして視覚化することである。それゆえに、視覚化された３Ｄボリュームは、３Ｄレンダリングとも呼ばれる。３Ｄレンダリングは、仮想現実環境（ＶＲ）又は拡張現実環境（ＡＲ）において２次元（２Ｄ）スクリーン上に表示される。特に、消費者に優しいＡＲ／ＶＲヘッドセットの今後の開発により、ユーザは、仮想空間に踏み込むことができ、２つの別々のスクリーンと、左眼及び右眼のための２つの別々に計算された画像とを有するヘッドセットを使用して、３Ｄボリュームを「真の３Ｄ」で立体視的に見ることが可能になる。これは、非常に正確に追跡されるハンドコントローラ又はハンドトラッキングと組み合わせて、３Ｄコンテンツとの極めて自然な対話を可能にする。医療用３Ｄデータイメージングでは、従来のイメージングと比較して、ＶＲ分析は、より速いナビゲーションと、バラツキの少ない正確な測定とに関連する。

【0003】

いずれにしても、多平面再構成（ＭＰＲ）面を用いた３Ｄボリュームレンダリング又はナビゲーションは、医療３Ｄデータを見るための２つの最も一般的なやり方である。ＭＰＲは、データセットの「グラウンドトゥルース」であると見なされ、３Ｄボリュームを通る切断された特定の面を表示し、測定を行うために使用される。他方、ＶＲ分析と組み合わせた３Ｄボリュームレンダリングは、データセットの立体的視覚化を行うが、３Ｄボリュームレンダリングでの測定は、選ばれたボリューム閾値に対して非常に敏感であり、潜在的に、不正確な測定及び誤った臨床的結論をもたらす。

【0004】

仮想現実環境では、ボリュームレンダリング及びＭＰＲが同時に表示される。しかしながら、不透明なＭＰＲ面は、しばしば、その背後の３Ｄボリューム（すなわち、解剖学的構造）の視野を妨げるか、又はその逆であるという問題がある。

【0005】

それゆえに、３Ｄボリュームの視覚的概観機能をＭＰＲの正確な測定機能と最適に組み合わせる解決策を有することが望ましい。

【0006】

米国特許出願公開第２００７ ２２９５００ Ａ１号は、直接的なボリュームレンダリングとＭＰＲレンダリングとの組合せを使用して、周囲材料との関連でＭＰＲ画像をレンダリングする方法を示している。ＭＰＲをシフトさせることによって、ユーザは、切開区域を対話形式で変更して、画像ボリュームの内部を明らかにする。

【0007】

ＷＯ２０１７／２１２０６３Ａ１は、ユーザが、３次元データセットのボリュームレンダリングを視覚化し、ボリュームレンダリングを操作して、３Ｄデータセット内のＭＰＲ面を動的に選択し、選択されたＭＰＲ面でＢモード画像を生成することを可能にするユーザインタフェースを備える医療イメージング及び視覚化システムを示している。

【0008】

米国特許出願公開第２０１２／０３０８０９５Ａ１号は、調査中の領域の環境に関連する診断関連医療情報に関して、画像としてのオブジェクトのボリュームデータの視覚化を調節するためのシステムを示している。したがって、少なくとも１つのスライス領域が、ボリュームデータ内のスライス情報に基づいて指定される。ボリュームデータの第１のマッピングが、少なくとも１つのスライス領域をディスプレイ上で視覚化するために使用される。第１のマッピングとは異なる第２のマッピングが、スライス領域に隣接する領域を視覚化するために使用される。

【0009】

しかしながら、不透明なＭＰＲ面は、しばしば、その背後にある解剖学的構造の視野を妨げ、それにより、不正確に位置づけられたＭＰＲ面の設定、したがって、不正確な測定のリスクが直ちに高まるという問題が依然として残る。

【発明の概要】

【発明が解決しようとする課題】

【0010】

それゆえに、本発明の目的は、データセットの正確な測定又は分析を可能にしながら３Ｄ医用画像データの全体的な視覚化を提供することである。

【課題を解決するための手段】

【0011】

この目的は、請求項１に記載の特徴を含む３Ｄ医用画像情報を分析するための方法によって、請求項１４に記載の特徴を含むコンピュータプログラムによって、及び請求項１５に記載の特徴を含む３Ｄ医用画像情報評価デバイスによって解決される。

【0012】

本発明の一態様によれば、
３Ｄ医用画像情報を分析するための方法が提供され、この方法は、
解剖学的構造の３Ｄ医用画像データを受け取るステップと、
解剖学的構造の３Ｄレンダリングを３Ｄ医用画像データに基づいて生成するステップと、
視覚化環境において３Ｄレンダリングをユーザに表示するステップと、
３Ｄレンダリング上又は３Ｄレンダリング内の第１のポイントを示すユーザのコマンドを受け取るステップと、
第１のポイントに対応する視覚化環境における位置に２Ｄフレームを設けるステップであり、２Ｄフレームの第１の側がユーザに面している、設けるステップと、
２Ｄフレーム内のＭＰＲビューを表示するステップであって、ＭＰＲビューが、２Ｄフレームの位置における３Ｄ医用画像情報に基づいており、２Ｄフレームのサイズに対応するようにサイズ設定される、ＭＰＲビューを表示するステップと、
３Ｄレンダリングを部分的に切り落とすためにユーザと２Ｄフレームの第１の側との間に透明な切り取り体を設けるステップと
を有する。

【0013】

最新技術とは対照的に、本発明は、３Ｄ医用画像情報を分析するために３Ｄレンダリング及びＭＰＲビューの両方を使用する異なる手法を提供する。先行技術では、３Ｄレンダリング又はＭＰＲビューのいずれかが、医用画像情報を分析するために使用されるが、本発明では、３Ｄレンダリング及びＭＰＲビューの両方が、３Ｄ医用画像情報を全体的に分析するために同時に使用される。すなわち、先行技術では、両方の方法が交互に使用されていた。したがって、各分析方法の利点が、３Ｄ医用画像情報の分析プロセスを改善するために組み合わされる。

【0014】

特に、ＭＰＲビューが示される２Ｄフレームは、３Ｄレンダリングに完全には重ね合わされることなしに、３Ｄレンダリングのどこにでも位置づけられる。特に、２Ｄフレームのまわりの３Ｄレンダリングは依然として見える（すなわち、３Ｄレンダリングは、２Ｄフレームによって完全には隠されない）。したがって、ユーザは、依然として、３Ｄレンダリングを見ることによって３Ｄ医用画像情報の空間的な概観を得る。これは、３Ｄレンダリング内のＭＰＲビューの位置が臨床決定にとって重要であり、３Ｄレンダリング内のＭＰＲビューの正しい位置を選択するために高レベルの経験と空間的想像力が必要とされるので非常に誤りやすいゆえに重要である。本発明によれば、ユーザは、２Ｄフレームを正しく位置づけるためにＭＰＲビュー及び３Ｄレンダリングの両方を見ることにより改善された向きを有する。好ましくは、ＭＰＲビューによってカバーされる（すなわち、２Ｄフレーム内の）区域は、３Ｄレンダリングよりも小さく、３Ｄ医用画像情報の非常に限定されたセクションを表す。言い換えれば、ＭＰＲビューの可視の区域は、２Ｄフレームの区域に限定される。

【0015】

例えば、ユーザは、より良い向きを得るために、及び３Ｄレンダリング内で２Ｄフレームを正確に位置づけるために、３Ｄレンダリングを回転又は移動させる。言い換えれば、ユーザは、３Ｄレンダリングを使用して自分自身の向きを合わせ、それにより、３Ｄレンダリングのこの領域（例えば、関心領域）を詳細に分析するために３Ｄレンダリングの適切な位置に２Ｄフレームを正確に設ける。切り取り体により、ユーザは、ＭＰＲビューのほとんど遮られていないビューを有する。すなわち、３Ｄレンダリングは、切断されていない３Ｄレンダリングの一部をユーザが依然として見るように、単に部分的に切り落とされる。すなわち、３Ｄレンダリングは、２Ｄフレーム内のＭＰＲビューのほとんど遮られていないビューを提供するように切り落とされる。したがって、３Ｄ医用画像データの分析は、ユーザが３Ｄレンダリング及びＭＰＲビューの両方を同時に見ることができるので単純化され、より直観的にされ、その結果、ユーザは、依然として、３Ｄレンダリング全体を概観しながら、ＭＰＲビューを詳細に分析することができる。

【0016】

３Ｄ医用画像データは、例えばＤＩＣＯＭ規格のデジタル画像として、すなわち、各ボクセルがグレースケール値を含むボクセルの３次元アレイを含むデジタル画像として提供される。そのような３Ｄ医用画像データは、一般に、例えば、ＭＲ、コンピュータ断層撮影（ＣＴ）、陽電子放射断層撮影（ＰＥＴ）、又は超音波（ＵＳ）などの医療イメージングモダリティを使用して、解剖学的構造を含む視野から得られている。解剖学的構造が心臓である場合、超音波及び特に経食道心エコー検査（ＴＥＥ）が有利に使用される。例えば、３Ｄ医用画像データは、４次元（４Ｄ）医用画像データを得るために一定期間にわたって取得され、ここで、第４の次元は時間である。この場合、４Ｄ医用画像データからの１つの３Ｄ画像は、以下では「フレーム」とも呼ばれる。３Ｄ画像は、動的に動いている解剖学的構造の円滑な表現を可能にするために、例えば、５～１００画像／秒、好ましくは、２０～６０画像／秒のフレームレートで取得される。期間は、通常、循環的運動の少なくとも１つのサイクル、例えば少なくとも１つの心拍である。３Ｄ医用画像データは、医用画像データを取得したモダリティから直接受け取られるか、又は臨床画像データベースから受け取られる。

【0017】

３Ｄレンダリングの生成は、閾値範囲内の特定のボクセルのみを表示するために、調節可能な閾値を使用する。色シェーディング及び特殊照明技法が、２Ｄスクリーン上に奥行きの印象を作り出すために使用される。３Ｄレンダリングは、例えば、参照により本明細書に組み込まれる米国特許出願公開第２００５／０２５３８４１ Ａ１号に記載されているように、当技術分野で知られているボリュームレンダリング技法を使用して実行されるボリュームレンダリングプロセスによって生成される。通常、ボリュームレンダリングを実行するには、空間におけるカメラ位置及び視線方向を定義する必要がある。この位置は、ユーザの観視位置に対応する。さらに、いくつかの技法は、すべてのボクセルの不透明度及び色を定義する。一般的な技法は、ボリュームレイキャスティングである。この技法では、光線が、所望の画像ピクセルごとに生成される。単純なカメラモデルを使用して、光線は、カメラの投影の中心（通常、観視位置又は視点）から始まり、カメラとレンダリングされるべきボリュームとの間に浮かぶ仮想画像平面上の画像ピクセルを通過する。次いで、光線は、ボリュームの全体にわたって規則的な間隔又は適応された間隔でサンプリングされる。データは、各サンプルポイントで補間され、伝達関数が、ＲＧＢＡサンプルを形成するために適用され、結果が、光線の累積ＲＧＢＡに追加され、プロセスは、光線がボリュームを出て行くまで繰り返される。プロセスが、スクリーン上のすべての画像ピクセルに対して繰り返されて、完成された画像が形成される。３Ｄレンダリングは、視覚化された３次元ボリュームと考えられる。

【0018】

ボリュームレンダリングは、Ｃｈａｒｌｅｓ Ｈ． Ｈａｎｓｅｎ及びＣｈｒｉｓｔｏｐｈｅｒ Ｒ． Ｊｏｈｎｓｏｎによって編集された「Ｔｈｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｈａｎｄｂｏｏｋ」、Ｅｌｓｅｖｉｅｒ Ｂｕｔｔｅｒｗｏｒｔｈ Ｈｅｉｎｅｍａｎｎ ２００５に記載された、特に、１２７頁から始まるＡｒｉｅ Ｋａｕｆｍａｎｎによる「Ｏｖｅｒｖｉｅｗ ｏｆ Ｖｏｌｕｍｅ Ｒｅｎｄｅｒｉｎｇ」に記載された技法によって実行され、これは、参照により本明細書に組み込まれる。

【0019】

視覚化環境は、座標Ｘ、Ｙ、及びＺ（世界座標）を有する視覚化座標系によって定義される。加えて、３Ｄレンダリングは、座標Ｘ’、Ｙ’、及びＺ’（オブジェクト座標）を有するオブジェクト座標系で定義される。その上、３Ｄ医用画像データは、座標Ｘ”、Ｙ”、及びＺ”（３Ｄ医用画像座標）を有する元座標系に対して定義される。座標系は、互いに対してシフトされる。その結果、３Ｄレンダリング、２Ｄフレーム、表面モードなどのオブジェクトは、互いに対してシフトされるように、別々の座標系で定義される。他方、ユーザの観視位置は、視覚化座標系によって定義される。

【0020】

視覚化環境は、ＶＲ／ＡＲ視覚化環境又は非ＶＲ視覚化環境である。非ＶＲ視覚化環境では、ユーザによって使用される入力ツールは、キーボード、ポインティングデバイス、例えば、マウス、トラックボール、タッチパッド、又はタッチ感知ディスプレイなどであり、これらは、通常、スクリーン上に表示されるボタン、スライダなどを含むインタラクティブパネルとともに使用される。そのようなボタン又はスライダは、例えば、ユーザによって指又はポインティングデバイスを用いて作動され、例えば、ユーザは、入力ツールを作動させるためにスクリーン上のカーソルを移動させる。そのような入力ツールによって、ユーザは、例えば、視覚化をズームイン及びズームアウトし、３Ｄレンダリングの閾値、平滑化、照明、及びコントラストなどの視覚化パラメータ／設定を適応させ、シネモードを開始及び保持し、３Ｄレンダリング及び／又はＭＰＲビューに関する測定を実行する。特に有用な実施形態では、入力ツールにより、ユーザは、解剖学的構造上のポイントを設定し測定を行うことができる。例えば、ユーザは、３Ｄレンダリング及び／又はＭＰＲビュー上の２つのポイントを選択し、そのようなポイントの間の距離が自動的に計算される。この特徴は、介入を計画するときに、例えば、インプラントを選ぶときに有用である。いくつかの実施形態では、ユーザは、ポインティングデバイス、すなわち、マウス、又はタッチ感知ディスプレイ上のタッチによって、視覚化されたオブジェクトを「掴み」、それによって、それを移動又は傾斜させることができる。オブジェクトは、シミュレートされたインプラント、又は患者に個々に合致されなければならない他のオブジェクトでもよい。

【0021】

ＶＲ環境では、そのような入力ツールは、好ましくは、ユーザが少なくともハンドジェスチャによって仮想現実環境内のオブジェクトを掴んで移動させることができる仮想コントローラによって実現される。このコンテキストにおける「移動」は、回転も意味する。ＶＲコントローラにより、さらに、ユーザは、ＶＲオブジェクトのサイズ及び／又は形状を変更することができる。さらに、ＶＲコントローラは、ユーザが選択を行うボタン又はスライダを含む。ＶＲ環境において、ＶＲヘッドセットを装着し、一方の手に少なくとも１つのＶＲコントローラを（好ましくは、各々の手にＶＲコントローラを）保持するユーザは、ＶＲ環境において、３ＤレンダリングとＭＰＲビューとからなる解剖学的構造の静的な又は動的な視覚化を見る。好ましくは、ユーザはまた、現在の手の位置及び向きに対応する位置及び向きでコントローラを見る。したがって、ＶＲ環境により、ユーザは、コントローラを視覚化の方に移動させ、特定のボタンを押すことによってコントローラを掴み、現実世界のオブジェクトの場合のように、視覚化されたオブジェクトをユーザの手の動きにより移動及び／又は回転させることができる。それによって、ユーザは、視覚化されたオブジェクトを正しく直観的に見て分析するために、１８個の自由度（ＶＲヘッドセットと２つのＶＲコントローラの各々とに対して、６つの自由度、すなわち、３つの回転と３つの平行移動の自由度）を有する。これは、オブジェクトと対話する自然なやり方に非常によく似ている。

【0022】

例えば、上述のユーザのアクションのいずれかによって、コマンドは、３Ｄ医用画像データを分析しているユーザによって発行される。コマンドは、
ａ）３Ｄ医用画像データを分析するワークフローの開始、
ｂ）ポインティングデバイス（例えば、マウス、ＶＲコントローラ、タッチパッド、トラックパッド、トラックホイールなど）のポインタを視覚化環境内の特定の位置に移動させ、ボタンを押し、及び／又は事前定義された一定期間その位置にとどまること、
ｃ）ユーザによって行われるジェスチャ、及び／又は
ｄ）底部（例えば、仮想底部）を押すこと
である。

【0023】

いずれにしても、コマンドは、上述で定義した座標系のうちの少なくとも１つの内の空間位置を有する第１のポイントの定義をもたらす。例えば、第１のポイントは、元座標系Ｘ”、Ｙ”、及びＺ”内に定義され、次いで、オブジェクト座標系Ｘ’、Ｙ’、及びＺ’に変換される。すなわち、第１のポイントは、視覚化環境内の所定の座標に位置づけられる。好ましくは、座標は、視覚化環境内の空間位置（ｘ座標，ｙ座標，ｚ座標）を定義する。

【0024】

ケースａ）は、プロセッサを含むコンピュータ又は他のマシン上でこの方法を実行することの開始を含む。すなわち、コマンドは、この方法の実行を開始するコマンドである。この場合、ユーザによって示された第１のポイントは、視覚化環境内の座標Ｘ、Ｙ、及びＺによって視覚化座標系内に定義された所定の位置を有する。好ましくは、座標は、視覚化環境内の空間位置を定義する。これにより、ユーザは、この方法の実行を開始すると直ちに分析を行うことができる。これは、ワークフローを特にユーザフレンドリにする。加えて、ワークフローは、ユーザが解剖学的構造の距離、面積、表面、などを測定したいときにユーザによって作動される測定ワークフローである。したがって、第１のポイント（それゆえに、２Ｄフレーム）は、ユーザが特定のワークフローを実行したい（例えば、測定を実行したい）場合にのみ視覚化環境に設けられる。そのようなコマンドまで、視覚化環境内に２Ｄフレームは存在せず、ユーザは、いかなる障害もなく全３Ｄレンダリングを見る。それゆえに、ユーザは、特定のワークフローの実行を開始する前に３Ｄレンダリング全体の印象を得る。第１のポイントの初期位置は、この方法を開始する前に設定される。

【0025】

ケースｂ）は、第１のポイントの位置を直接示すコマンドを能動的に発行することと見なされる。例えば、ユーザは、コントローラ（ＶＲ環境の場合の）又は他のポインティングデバイスを視覚化環境内の特定の空間位置に移動させ、その位置に達したとき、コントローラ上のボタンを押す。代替として、ユーザは、ポインティングデバイス（マウス、トラックパッドなど）のポインタをそのような位置に移動させ、ボタンを作動させる。それに応じて、第１のポイントは、座標系のうちの少なくとも１つの内に定義される。これにより、ユーザは、コマンドがいつ与えられるか、及び第１のポイントが視覚化環境内のどこに配置されるかを能動的に制御するができる。すなわち、第１のポイントが定義されるべき空間位置は、ユーザによって直接及び個々に制御される。それゆえに、個々の作業プロセスが提供される。

【0026】

ケースｃ）は、この方法が実行されるシステムによって認識される、ユーザによる所定のジェスチャ（例えば、頭のうなずき、１つ又は２つの腕による動き、など）である。したがって、ユーザのそのようなジェスチャを認識するために、受信器が設けられる。システムがＶＲヘッドセットを含む場合、受信器はヘッドセット内に設けられる。代替として又は追加として、ユーザによるジェスチャを受け取るように構成されたカメラが設けられる。ケースｃ）では、ユーザによって指定された第１のポイントは視覚化環境内の所与の空間位置であるか、又は空間位置はジェスチャ自体によって導き出される。例えば、ジェスチャは、視覚化環境内の空間位置を指定する。

【0027】

第１のポイントに応じて、２Ｄフレームが、視覚化環境内に設けられる。すなわち、第１のポイントに基づいて、２Ｄフレームの空間位置は、第１のポイントの位置から直接又は間接的に導き出される。２Ｄフレームは、３Ｄレンダリング上又は内に設けられる。言い換えれば、３Ｄレンダリングは、３Ｄ医用画像データに含まれる解剖学的構造を示す。したがって、３Ｄレンダリングは、輪郭を有する閉じたボリュームである。２Ｄフレームは、３Ｄレンダリングの表面上に（すなわち、閉じたボリュームの表面上に）あるか、３Ｄレンダリングの内にあるか、３Ｄレンダリングの外側にあるか、又は３Ｄレンダリングの部分的に内側に及び部分的に外側にある。

【0028】

ケースｄ）では、ユーザは、第１のポイントの空間位置を直接定義することなしに、第１のポイントを発行するなどのための仮想ボタンをたたく。この場合、第１のポイントは、最初に、視覚化座標系の座標Ｘ、Ｙ、及びＺによって定義される。例えば、これは、ユーザが、２Ｄフレームを３Ｄレンダリング内のどこに正確に位置づけるべきかを知らず、最初に、３Ｄレンダリング内のそのような位置を見つけるために所定の位置にＭＰＲビューがあるようにしたい場合に行われる。

【0029】

２Ｄフレームは、２次元でのみ拡張する。すなわち、２Ｄフレームは、第３の方向（例えば、深さ方向又はｚ方向）には拡張しない。代替として、２Ｄフレームは、ＭＰＲビューと同じ厚さ（例えば、ＭＰＲスライスと同じ厚さ）を有する。言い換えれば、２Ｄフレームは、ＭＰＲビューと同じ寸法を有する。２Ｄフレームは、ピクチャフレームと考えられ、ピクチャは、ＭＰＲビューであり、２Ｄフレームの位置をより良く示すために細い線又は縁によって取り囲まれる。上述のａ）～ｄ）のいずれかと組み合わされる、視覚化環境内に２Ｄフレームを設けるための少なくとも４つの実施態様がある。
Ｉ）２Ｄフレームは、ユーザのコマンドによって示された第１のポイントを中心とする。すなわち、２Ｄフレームは、２Ｄフレームの重心が第１のポイントの位置にあるように位置づけられる。
ＩＩ）上述のように、２Ｄフレームは、ユーザのコマンドによって示された第１のポイントを中心とする。さらに、第１のポイントは、３Ｄレンダリングと同じ座標系内に（例えば、オブジェクト座標系内に）固定された空間位置を有する。言い換えれば、３Ｄレンダリングが移動及び／又は回転される場合、第１のポイント、したがって、２Ｄフレームも移動される。すなわち、２Ｄフレームの３つの自由度（上下、前後、左右）が、３Ｄレンダリングに対して固定される。しかしながら、２Ｄフレームは、依然として、３つの自由度、すなわち、ロール、ヨー、及び／又はピッチで移動される。これは、解剖学的構造の特定の部分を検査すべき場合に有利である。したがって、ユーザは、コマンドによって第１のポイントをそのようなセクションに位置づけ、２Ｄフレームは、３Ｄレンダリングの回転又は移動に関係なく、その特定の位置に設けられる。加えて、２Ｄフレームは、視覚化環境内に位置づけられ、２つのポイントは、オブジェクト座標系に対して固定される。これらのポイントのうちの１つは、第１のポイントであり、第２のポイントは、２Ｄフレームがユーザに面しているように定義される。したがって、２Ｄフレームは、回転の自由度でのみ移動される。これにより、それは、ユーザにとって特に容易であるが、その理由は、ユーザが２Ｄフレーム内のＭＰＲビューの分析を直ちに開始することができるからである。
ＩＩＩ）上述のように、２Ｄフレームは、ユーザのコマンドによって示された第１のポイントを中心とする。さらに、ユーザと２Ｄフレームとの間の距離が決定される。そのような距離は、ユーザの仮想位置から２Ｄフレームまでの距離である。特に、この距離は、ユーザと２Ｄフレームの重心との間の距離であるか、又は２Ｄフレームのすべてのポイントとユーザとの間の平均距離である。言い換えれば、２Ｄフレームは、ユーザの観視位置と同じ座標系（例えば、視覚化座標系）で定義される。さらなる検査プロセスでは、ユーザと２Ｄフレームとの間の距離は固定される。これは、ユーザが３Ｄレンダリングに対する位置を変更するかどうかにかかわらず、２Ｄフレームが常にユーザから同じ距離を有するので、２Ｄフレームがユーザのヘッドアップディスプレイと考えられることを意味する。これは、視覚化環境内での極めて直観的なナビゲーションを可能にし、大きい３Ｄ医用画像データを見るときに特に有利である。これは、上述のｄ）との組み合わせで特に有用である。
ＩＶ）上述のように、２Ｄフレームは、ユーザのコマンドによって示された第１のポイントを中心とする。次いで、２Ｄフレームの位置は、視覚化座標系Ｘ、Ｙ、及びＺの座標に固定される。言い換えれば、３Ｄレンダリングは、移動される、回転される、などである。しかし、２Ｄフレームは、視覚化座標系Ｘ、Ｙ、及びＺの座標に固定される。特に、３Ｄレンダリング（オブジェクト座標系によって定義される）は、２Ｄフレームの位置に影響を及ぼすことなく、２Ｄフレームを通してドラッグされる。

【0030】

２Ｄフレームは、多角形の外側輪郭（例えば、長方形、直方体、三角形など）を有する。代替として、２Ｄフレームは、丸い輪郭（例えば円、楕円など）を有する。さらに、２Ｄフレームは、所定のサイズを有する。すなわち、２Ｄフレームは、所定の２次元空間を囲む。所定のサイズは、コマンドを示す前にユーザによって手動で設定されるか、又は３Ｄ医用画像データのサイズに依存して自動的に設定される。例えば、サイズは、２Ｄフレームが初期視覚化における３Ｄレンダリングの面積の少なくとも１～２０％、好ましくは４～１０％をカバーするように設定される。３Ｄレンダリングの面積は、３Ｄ医用画像データがレンダリングされる画像平面の面積に対応する。代替として、２Ｄフレームの初期サイズは、３Ｄ医用画像データに対応する直方体の一方の側の面積の１～２０％、好ましくは４～１０％である。この結果、２Ｄフレームが３Ｄ医用画像データに自動的に適応されるので、作業フローが円滑に実行される。

【0031】

どんな場合でも、２Ｄフレームは適応可能である。すなわち、２Ｄフレームのサイズ及び／又は形状は、２Ｄフレームが視覚化環境に設けられた後に調節される。例えば、ユーザは、関心領域を２Ｄフレームで十分にカバーするとともに、３Ｄレンダリングが２Ｄフレームのまわりで十分に見えるように、２Ｄフレームのサイズ及び／又は形状を増加又は減少させる。したがって、２Ｄフレームの構成は、個々のユーザの選好に個々に適応される。

【0032】

さらに、２Ｄフレームは仮想ハンドルを有してもよい。ハンドルは、やはり視覚化環境内に示される仮想制御パネルである。特に、ユーザは、仮想制御パネルを操作することによって２Ｄフレームのさらなる設定を変更することができる。例えば、ＭＰＲビューの視覚化特性は、仮想制御パネルを介して設定される（例えば、輝度、コントラストなど）。ハンドルを使用して、ユーザは、視覚化環境内の２Ｄフレームの位置を変更する。言い換えれば、ユーザは、ハンドルを仮想的に握り、視覚化環境内で３次元のうちのいずれかにおいて２Ｄフレームを自由に移動させる。例えば、ユーザは、２Ｄフレームを３Ｄレンダリングを通して前後、上下、及び左右に移動させる。加えて、ユーザは、追加として又は代替として、３つの回転自由度すべてを使用して、２Ｄフレームを移動させる。

【0033】

２Ｄフレームは、ユーザが２Ｄフレーム内に示されているもの（例えば、ＭＰＲビュー）を見るようにユーザに面している。すなわち、２Ｄフレームは、ユーザが２Ｄフレームの１つの縁部しか見ないような向きではない。好ましくは、２Ｄフレームは、それを設ける際に、それがユーザに面しているように自動的に向けられる。２Ｄフレームが設けられるとき、２Ｄフレームの初期の向きは常に同じである。初期の向きは、各ユーザによって事前決定される。すなわち、幾人かのユーザは、分析プロセスを開始する前に２Ｄフレームの独自の向きを個々に設定する。したがって、この方法は、各ユーザの選好に従って個別化される。次いで、２Ｄフレームの向きが、分析プロセスを実行しているユーザに応じて用意される。さらに、この向きは、ユーザが３Ｄ医用画像データを分析している間、実時間でユーザによって調節される。これにより、ユーザは、個人的な選好に最もよく適するように視野を設定することができる。例えば、最初には、１つの回転自由度（すなわち、ロール）は、固定されるか、又は０°と５°との間の範囲においてのみ移動可能である。すなわち、２Ｄフレームは、２つの回転自由度（すなわち、ヨー及びピッチ）で移動可能である。したがって、２Ｄフレームがランダムに移動しない場合、ユーザはより良好な概観を有するので、操作性が改善される。特に、２Ｄフレームが非円形形状を有する場合、ワークフローはより効率的である。

【0034】

ＭＰＲビューは、２Ｄフレーム内に表示される。ＭＰＲビューは、２Ｄフレームの特定の位置における３Ｄ医用画像データから直接導き出される。すなわち、２Ｄフレームが３Ｄレンダリングに対して（及び／又は３Ｄ医用画像データに対して）移動される場合、ＭＰＲビューは、３Ｄ医用画像データに基づいて更新される。ＭＰＲビューは、３Ｄ医用画像データにおいて２Ｄフレームの位置及び向きで切断された平面のすべてのグレー値（又は補間されたグレー値）を表示し、３Ｄ医用画像データの「グラウンドトゥルース」として見られる。すなわち、ＭＰＲビューにおいて、情報は、３Ｄレンダリングの閾値のような様々な表示調節によって失われることはない。この結果、ＭＰＲビューは、患者から取得された３Ｄ医用画像データに正確に対応する。その結果、ＭＰＲビューで行われる測定は、利用可能な最良の情報に基づく。ＭＰＲビューは、多平面再構成によって生成され、多平面再構成は、通常、ピクセル値の補間、好ましくは、最近傍補間を使用して、３Ｄ医用画像データをある解剖学的平面（通常、横断面）から他の（直交又は傾斜）平面に変換するプロセスである。それは、薄いスライス並びに突起に使用される。例えば、ＭＰＲビューは、走査の方向に直交していないので、気管支の解剖学的構造を示すのに適切に適合する。さらに、曲面ＭＰＲビューは血管の評価に使用される。このタイプの再構築は、血管の屈曲を真っ直ぐにするのに役立ち、それによって、１つのＭＰＲビュー又は多数のＭＰＲビューにより血管全体を視覚化するのに役立つ。血管が「真っ直ぐにされた」後、断面積、長さのような測定が行われる。それは、外科的処置の術前評価において非常に役立つ。その上、ＭＰＲビューは不透明である。すなわち、ユーザは、ＭＰＲビューの背後にあるものを見ることができない。

【0035】

言い換えれば、ＭＰＲビューは、３Ｄ医用画像データの特定の部分をより詳細に見るために使用される。ＭＰＲビューは、前記解剖学的特徴を含むが、好ましくは、関心のある解剖学的特徴よりあまり多くを含まない、すなわち、ＭＰＲビューは、できるだけ小さく、関心のある特徴を囲むのに十分な丁度の大きさである。言い換えれば、ＭＰＲビューの（すなわち、さらに、２Ｄフレームの）位置、サイズ、及び／又は形状は、３Ｄ画像データのシーケンスの場合には、好ましくは、画像のシーケンス全体にわたって、関心のある解剖学的特徴の位置、サイズ、向き、及び／又は形状をできるだけ厳密に一致させるように適応される。特に、ＭＰＲビューは、３Ｄレンダリングと比較して、より小さい観視区域（例えば、２～２０％）を占める。すなわち、観視区域を見ている人は、ＭＰＲビュー及び３Ｄレンダリングの両方を同時に見る。例えば、３Ｄレンダリングは、解剖学的構造の表現であり、関心のある解剖学的特徴は、前記解剖学的構造の一部又はそれに隣接する一部である。一例として、ＭＰＲビューは、ユーザの視線方向において３Ｄレンダリングの１／５未満をカバーする。この結果、ユーザは、解剖学的構造の概観を有し、ＭＰＲビューが正確にどこに位置づけられているかを認識する。したがって、ＭＰＲビュー内の測定の前のＭＰＲビューの置き間違いが防止される。

【0036】

ＭＰＲビューは、３Ｄ医用画像データに基づいており、したがって、常に、３Ｄレンダリングの閾値の調節又は他のパラメータの調節に関わりなく使用可能なすべての情報を含む。

【0037】

有用な実施形態によれば、上述のような入力ツールにより、ユーザは、３Ｄレンダリングにおける平面を選択することができる。次いで、この方法は、好ましくは、シーケンスの３次元医用画像の少なくとも１つの選択された平面の多平面再構成（ＭＰＲ）を、特に、選択された平面に対応する３次元視覚化環境内の位置に表示するステップを有する３Ｄレンダリングに加えてＭＰＲビューを表示することにより、ユーザは、解剖学的構造をより詳細に見ることができる。仮想現実環境では、１８個の自由度（ＶＲヘッドセット及び２つのコントローラ）のおかげで、３Ｄレンダリングにおける接触可能な／把握可能なＭＰＲビューの正しい位置づけが非常に高速で検証可能であり、ＭＰＲビュー上又はボリュームレンダリングされた部分内の（すなわち、３Ｄレンダリング内の）測定は、より精密でより信頼できるものになる。

【0038】

切り取り体又はクリッピング体は、ボリュームを有するが、ユーザがそれを通して見ることができるように透明である本体である。言い換えれば、切り取り体内のボクセルは、ゼロのグレースケール値を有するように設定される。別の実施形態では、切り取り体内のすべてのボクセルは、ボリュームレンダリングから除外され、存在しないものとして扱われる。この場合、０の閾値であっても、３Ｄレンダリングは、切り取り体内に存在しない。切り取り体は、切り取り体のボリュームを囲む外観面によって画定される。すなわち、ボリューム内に位置づけられる３Ｄレンダリングの部分が切り取られる（すなわち、切り欠かれる）。切り取り体の位置は、２Ｄフレームの位置に対して決定される。すなわち、２Ｄフレームが設けられる（上述を参照）ところならどこでも、切り取り体もまた設けられる。したがって、ユーザは、２Ｄフレーム（すなわち、２Ｄフレーム内に示されたＭＰＲビュー）を容易に見え得る。視覚化環境において２つ以上の２Ｄフレームがある場合、視覚化環境において同じ数の切り取り体がある。言い換えれば、切り取り体は、２Ｄフレームの第１の側とユーザとの間で３Ｄレンダリングを部分的に切り落とす。すなわち、切り取り体は、３Ｄレンダリングを通って２Ｄフレームまでの一種のトンネルを形成する。ユーザは、前記トンネルを通して２Ｄフレームを見る。これにより、ユーザは、２Ｄフレームに表示されたＭＰＲビューを容易に見ることができ、さらに、２Ｄフレームのまわりの３Ｄレンダリングを見ることができる。さらに、切り取り体は、そのサイズ、形状、及び／又は位置を２Ｄフレームの位置に適応させる。例えば、２Ｄフレームが移動された場合、切り取り体は、それに応じて、ユーザが依然として２Ｄフレームにおいて遮られていないビューを有するように移動される。したがって、３Ｄレンダリングが移動及び／又は回転された場合、切り取り体は、ユーザが２Ｄフレームにおいて遮られていないビューを有するように適応する。すなわち、２Ｄフレームが３Ｄレンダリングの中にさらに移動された場合、切り取り体は、ユーザが２Ｄフレームにおいて遮られていないビューを有するように、第１の側で３Ｄレンダリングを部分的に切り取るためにそのサイズを拡大する。切り取り体はまた、そのサイズ及び形状を２Ｄフレームのサイズ及び形状にそれぞれ適応させる。さらに、３Ｄレンダリング及び切り取り体は、ユーザの動き（すなわち、ユーザの観察方向の変化）、及び／又は２Ｄフレームのサイズ／形状／位置に基づいて、即座に更新される（例えば、６０～９０更新／秒）。

【0039】

本発明は、通常は解剖学的構造の一部である関心のある特定の解剖学的特徴を見て分析するのに特に有用である。そのような関心のある特徴は、特に、３Ｄレンダリングのビューの全面的な視線よりも小さい関心のあるボリューム（ＶＯＩ）に含まれる。それは、解剖学的構造を構成する臓器の一部、特に、心臓弁などの複雑な解剖学的構造を有する一部である。有用な実施形態では、関心のある解剖学的特徴は、僧帽弁、三尖弁、大動脈弁、又は肺動脈弁である。他の実施形態では、関心のある解剖学的特徴は、心腔、又は冠状血管などの他の重要な血管、又は腫瘍などの別の構造である。

【0040】

ユーザが関心のある解剖学的特徴を見て分析することができるようにするために、視覚化環境は、少なくとも２つの異なる種類の視覚化／描写を視覚化するために用意される。これらは、同じ座標系にある、すなわち、それらは、互いに関して正しい相対的空間位置及び向きで表示される。少なくとも２つの視覚化されるオブジェクトは次の通りである。
（ｉ）３Ｄ医用画像データの３Ｄレンダリング。それによって、ユーザは、３Ｄ医用画像データに含まれる解剖学的構造全体の詳細で遮られていないビューを与えられる。有用な実施形態では、閾値、平滑化などのボリュームレンダリングのための選択された設定／パラメータは、自動的に及び／又はユーザによって手動で調節される。
（ｉｉ）第２に、２Ｄフレーム内に示されたＭＰＲビュー。それによって、ユーザは、２Ｄフレームの特定の位置における３Ｄ医用画像データのさらなる詳細な情報が与えられる。例えば、２Ｄフレーム内のＭＰＲビューを検査することによって僧帽弁を分析する場合、ユーザは、同時に、心臓の周囲の部分、例えば、左室流出路（ＬＶＯＴ）の経過を追うことができる。これは、弁置換、例えば、ＬＶＯＴが閉塞されない経カテーテル的大動脈弁植え込み（ＴＡＶＩ）又は経カテーテル大動脈弁置換（ＴＡＶＲ）又は僧帽弁の置換などの介入処置を計画する場合に重要である。

【0041】

好ましくは、２Ｄフレームの第１の側は、ユーザの視線方向に対して少なくとも実質的に直交するようにユーザに面している。実質的に直交するとは、ユーザの視線方向、すなわち、３Ｄレンダリングの視線方向に対して、８０°～１００°の間、好ましくは、８８°～９２°の間の角度で向けられると考えられる。この範囲では、２Ｄフレーム（したがって、ＭＰＲビュー）は、ユーザにとって都合よく見える。他方、２Ｄフレームが、上述で定義された範囲外の角度で傾けられた場合、２Ｄフレームに表示されるＭＰＲビューは、ＭＰＲビューの傾斜に起因して正しく見えない。さらに、そのような傾けられた２Ｄフレームで行われた測定はかなり不正確である。上述で定義された第１の範囲は、特に、３Ｄレンダリング内に２Ｄフレームを正しく位置づけるためのＭＰＲビューの十分な可視性を提供する。第２の範囲は、正確な測定のためのＭＰＲビューの有利な向きを提供する。上述のように、２Ｄフレームは、ユーザが視線方向を変更する、及び／又は２Ｄフレームが移動されるかどうかにかかわらず、常にそれ自体を上述の範囲内で向けられるように自動的にユーザの方に向く。これは、ユーザが２Ｄフレームの正しい位置合せについて心配する必要がなく、しかし、３Ｄレンダリングの分析に最も適するように機能するのでユーザの操作性を簡単にする。加えて、ユーザは、事前定義されたビューがＭＰＲビューによって示されるようにコマンドを発行する。言い換えれば、そのようなコマンドを受け取ると同時に、３Ｄレンダリングは、事前定義されたビューが２Ｄフレーム内のＭＰＲビューによって示されるように自動的に回転される。そのような事前定義されたビューは、胸骨傍長軸ビュー、胸骨傍短軸ビュー（すなわち、胸骨傍長軸ビューに対して３Ｄレンダリングの９０°の回転）、二腔ビュー、三腔ビュー、及び／又は四腔ビューである。

【0042】

一実施形態によれば、切り取り体は、２Ｄフレームの第１の側とユーザとの間で３Ｄレンダリングを切り落とすように、２Ｄフレームに直接隣接して位置づけられる。この場合、２Ｄフレームとユーザの間に位置づけられた３Ｄレンダリングの任意の部分が切り欠かれる（切り落とされる）。したがって、ＭＰＲビュー全体がユーザに見える。言い換えれば、３Ｄレンダリングのどの部分も、２Ｄフレーム内のＭＰＲビュー全体の直接的な観視を妨害しない。これは、ＭＰＲビューが非常に詳細に分析されるべき場合に特に有用である。例えば、測定又は他の分析方法は、ＭＰＲビューにおいて容易に実行される。したがって、そのような動作は、２Ｄフレームの第１の側とユーザとの間の３Ｄレンダリングの部分によって妨げられない。

【0043】

代替の実施形態によれば、切り取り体は、２Ｄフレームに直接隣接せず、切り取り体から２Ｄフレームまでの最短距離と、２Ｄフレームの外周の長さとの間の比は、０．１～０．９の間、好ましくは０．１と０．６との間、及び最も好ましくは０．１と０．４との間である。言い換えれば、切り取り体は、２Ｄフレームまで延びず、そのため、２Ｄフレームに直接隣接しない。すなわち、３Ｄレンダリングの一部が、２Ｄフレームの第１の側とユーザとの間に位置づけられる。例えば、３Ｄレンダリングの一部は、ＭＰＲビューを通って延びる。簡単にするために、ＭＰＲビューは、ベースと考えられ、３Ｄレンダリングの一部がそのベースから切り取り体の始まりまで設置される。そのような設置の範囲は、２Ｄフレームと切り取り体との間の距離によって定義される。この場合、ユーザは、ＭＰＲビューと、ＭＰＲビューの位置における３Ｄレンダリングの一部とを見る。上述で定義された範囲は、２Ｄフレームの外周に対して２Ｄフレームの第１の側からユーザの方への３Ｄレンダリングの拡張を定義する。言い換えれば、外周が大きいほど、第１の側での３Ｄレンダリングの拡張が大きくなる。これは、ユーザが大きい２Ｄフレームを作り出す場合、ユーザがかなり小さい２Ｄフレームを作り出す場合よりもユーザが３Ｄ表現の大きい部分も見るので有用である。この結果、３Ｄレンダリングの拡張は、ユーザによって設定された２Ｄフレームのサイズに適応する。

【0044】

０．１～０．９の範囲は、２Ｄフレームを位置づけるのに特に有用である。３Ｄレンダリングの一部がＭＰＲビューを通って延びるので、ユーザは、２Ｄフレームを視覚化環境に正しく配置するために自分自身を容易に方向づける。ＭＰＲビューは不透明であるので、２Ｄフレームの第１の側の３Ｄレンダリングの一部の可視性は、２Ｄフレームの背後に（すなわち、２Ｄフレームの第２の側に）何があるかをユーザが知るのに役立つ。その結果、２Ｄフレームを正しく位置づけるために必要な２Ｄフレームの前後の移動が少なくなる。

【0045】

加えて、０．１～０．６の範囲は、提供される追加のモデルが解剖学的構造に合致するかどうかをチェックするのに特に有用である。モデルは、人間又は動物の体に挿入することを意図した人工心臓弁、ペースメーカ、又は他の器具などの医療用器具を表す表面モデルである。モデルは、ハンドルを有しており、ハンドルにより、ユーザは、モデル又はモデルの一部を解剖学的構造に適応させることができる。３Ｄレンダリングが２Ｄフレームの第１の側で部分的に見えることは役立つ。

【0046】

０．１から０．４の範囲は、３Ｄ医用画像データに対する３Ｄレンダリングの閾値を較正するのに特に有用である。３Ｄレンダリングの視覚化は閾値設定に依存することに留意されたい。それゆえに、ＭＰＲビューは、３Ｄ医用画像データに最もよく合致する閾値設定を見つけるために３Ｄレンダリングを較正するのに使用される。上述の範囲では、ＭＰＲビューを通る３Ｄレンダリングの拡張はほんのわずかである。これにより、ユーザは、２Ｄフレームの第１の側からＭＰＲビューによって表される輪郭まで構築する３Ｄレンダリングを調節することができる。すなわち、３Ｄレンダリングの閾値は、２Ｄフレームの第１の側から立ち上がる３ＤレンダリングがＭＰＲビューに示された解剖学的構造の輪郭と整合するまで変更される。それに応じて、３Ｄ医用画像データを最もよく表す閾値が容易に設定される。別の実施形態によれば、切り取り体と２Ｄフレームとの間の距離は、可変的に調節される。したがって、各ユーザは、３Ｄレンダリングが２Ｄフレームの第１の側でどれだけ延びるかを個々に調節する。

【0047】

この方法は、視覚化環境における２Ｄフレームのサイズを変更するためにユーザのコマンドを受け取るステップであり、２Ｄフレーム内のＭＰＲビューが２Ｄフレームの新しいサイズに更新され、透明な切り取り体のサイズが２Ｄフレームの新しいサイズに適応される、受け取るステップをさらに有する。

【0048】

好ましくは、この方法は、視覚化環境における２Ｄフレームの位置を変更するためにユーザのコマンドを受け取るステップであり、２Ｄフレーム内のＭＰＲビューが２Ｄフレームの新しい位置に更新され、透明な切り取り体の位置が２Ｄフレームの新しい位置に適応される、受け取るステップをさらに有する。ユーザのコマンドは、視覚化環境内に２Ｄフレームを設けるための上述のコマンドと同様である。例えば、２Ｄフレームは、仮想ハンドルを有し、２Ｄフレームは、仮想ハンドルで握られ、視覚化環境を通して移動される。さらに、ユーザは、２Ｄフレームが位置づけられるべき座標を入力する。そのような入力は、キーボード又は任意の他の入力媒体を使用することによって実現される。加えて、２Ｄ画像は、回転、及び／又は拡大若しくは縮小される。２Ｄフレーム内に示されたＭＰＲビューは、３Ｄ医用画像データに対する２Ｄフレームの新しい位置及び／又はサイズに基づいて自動的に更新される。更新されたＭＰＲビューは、依然として、３Ｄ医用画像データに基づく。それゆえに、３Ｄレンダリングの不正確さのＭＰＲビューへの伝達が避けられる。すなわち、少なくとも１つの２Ｄフレームは、ユーザの視線方向とは無関係に、ユーザに面する固定した向きを有し、２Ｄフレーム内のＭＰＲビューは、３Ｄレンダリングが２Ｄフレームに対して移動されたときに、又はその逆であるときに、自動的に更新される。

【0049】

好ましくは、２Ｄフレームは、３Ｄレンダリングを通って２次元に延びる分析面に設けられ、２Ｄフレームは、分析面の一部のみをカバーする。分析面は、ユーザの視野が分析面によって妨げられないように透明である。２Ｄフレームは、分析面の上にあるか、又は分析面と平行である。２Ｄフレームは３Ｄレンダリングの一部のみをカバーするので、２Ｄフレームは分析面よりも小さい。

【0050】

一実施形態によれば、透明な切り取り体は、適応可能な断面を有し、この方法は、断面のサイズが２Ｄフレームからの距離の増加とともに変化する比を示すユーザのコマンドを受け取るステップをさらに有する。上述のように、切り取り体は、２Ｄフレームとユーザとの間に延びるボリュームを画定する。切り取り体のボリュームが存在するところならどこでも、３Ｄレンダリングは切り取られる。さらに、切り取り体は、追加として、表面モデルなどのような、２Ｄフレームとユーザとの間の視覚化環境内に表示された任意の要素を切り落とす。切り取り体は透明であるので、ユーザは、それを通して２Ｄフレーム、したがって、２Ｄフレームに表示されたＭＰＲビューを見る。切り取り体は、切り取り体を形成するように互いに積み重ねられた複数の断面によって画定され、各断面は２Ｄフレームと平行である。１つの実施形態では、切り取り体は、一定の断面を有する、すなわち、各断面は同じ寸法を有する。言い換えれば、切り取り体は、円筒形状を有する。別の実施形態では、断面は、異なる寸法を有する。このようにして、断面を変化させることによって、形の異なる切り取り体が実現される。本発明の一実施形態によれば、断面は、検査の実行中に切り取り体の形状を変更するように適応可能である。すなわち、ユーザは、切り取り体の形状及び／又は寸法を変更するようにコマンドを発行する。初期設定として、切り取り体のすべての断面は同じ寸法を有する。この場合、２Ｄフレームに最も近い遠位断面及びユーザの観視位置に最も近い近位断面は、同じ寸法を有する。しかしながら、断面の任意の他の構成が、初期設定として設定されてもよい。例えば、切断体は、漏斗形状を有する。すなわち、遠位断面は、最も小さい断面であり、近位断面に向かう各断面は前の断面よりも大きい。これは、逆方向の他のやり方も可能であり、近位断面が最も小さい。それゆえに、切り取り体は、ユーザの選好及び実行される検査の種類に適応される。例えば、空間的な方向づけのために、できるだけ小さい切り取り体を有する（３Ｄレンダリングのできるだけ多くを見るように、しかしＭＰＲビューも見るように）ことは有利である。

【0051】

さらに、遠位断面は、２Ｄフレームと同じ形状及び寸法を有する。したがって、２Ｄフレームが切り取り体を通してユーザに容易に見えることが保証される。さらに、切り取り体は、形状が変更され、次いで、初期位置に戻される。切り取り体の変更により、例えば、切り取り体は、形状を連続的に変更し、初期位置に連続的に戻るような動きを与えられる。したがって、ユーザは、解剖学的構造全体の非常に良好な空間的印象を得る。加えて、切り取り体は、２Ｄフレームの第１の側の３Ｄレンダリングからすべてのものが切り取られるまでサイズを連続的に拡大する。この場合、ユーザは、分析面の表面全体に面する。これは、解剖学的構造の測定を行うか又は解剖学的構造の２Ｄビューを得るのに有利である。

【0052】

好ましくは、この方法は、３Ｄレンダリングが視覚化環境内で新しい位置及び／又は向きを有するように３Ｄレンダリングを回転及び／又は移動させるためにユーザのコマンドを受け取るステップであって、２Ｄフレーム内のＭＰＲビューが、３Ｄレンダリングの新しい位置に対応して更新され、及び／又は切り取り体の形状及び／又はサイズが、３Ｄレンダリングの新しい位置に対応して更新される、コマンドを受け取るステップをさらに有する。すなわち、３Ｄレンダリングは、ユーザによって移動及び／又は回転される。これは、解剖学的構造の後部の解剖学的構造の特徴を検査するために必要である。さらに、３Ｄレンダリングを移動させることにより、ユーザの３Ｄ認識が改善される。上述のように、２Ｄフレームは、オプションＩ）～ＩＶ）のうちの１つに従って視覚化環境内に設けられる（上述の概要を参照）。２Ｄフレームが３Ｄレンダリングに固定されていない（ケースＩＩのような）場合、２Ｄフレームは、３Ｄレンダリングが移動及び／又は回転される間、その位置にとどまる。しかしながら、２Ｄフレーム内のＭＰＲビューは、３Ｄレンダリングが２Ｄフレームに対して移動及び／又は回転されたときに更新される。同様に、切り取り体も更新される。すなわち、３Ｄレンダリングの移動及び／又は回転により、第１の側の（すなわち、ユーザと２Ｄフレームとの間の）３Ｄレンダリングのより大きな部分が、ＭＰＲビューの可視性を提供するために切り欠かれる必要がある。したがって、切り取り体は、２Ｄフレームの第１の側における３Ｄレンダリングのより大きい部分を切り落とすように、形状及び／又は寸法を適応される。この結果、２Ｄフレームに対する３Ｄレンダリングの位置と無関係に、ユーザが常にＭＰＲビューへの良好なビューを有する円滑なワークフローが達せられる。加えて、ＭＰＲビューは、３Ｄ医用画像に基づいて（すなわち、グラウンドトゥルースに基づいて）常に更新される。

【0053】

好ましくは、この方法は、
第２のポイントに対応する視覚化環境における位置に第２の２Ｄフレームを設けるステップであって、第２の２Ｄフレームの第１の側がユーザに面しており、第２の２Ｄフレームが、好ましくは、ユーザの視線方向に対して少なくとも実質的に直交する、第２の２Ｄフレームを設けるステップと、
第２の２Ｄフレーム内の第２のＭＰＲビューを表示するステップであって、第２のＭＰＲビューが、第２の２Ｄフレームの位置における３Ｄ医用画像情報に基づいており、第２の２Ｄフレームのサイズに対応するようにサイズ設定される、第２のＭＰＲビューを表示するステップと、
３Ｄレンダリングを部分的に切り落とすためにユーザと第２の２Ｄフレームの第１の側との間に第２の透明な切り取り体を設けるステップと
をさらに有する。第２の２Ｄフレーム及び／又は第２の切り取り体は、上述の第１の２Ｄフレーム及び第１の切り取り体と同じ特性を有する。これは、第２の２Ｄフレーム及び／又は第２の切り取り体の発行についても当てはまる。さらに、さらなる２Ｄフレームが視覚化環境に追加される。例えば、３つ、４つ、５つ、及び６つの２Ｄフレームが設けられる。

【0054】

さらなる２Ｄフレームは、離間している解剖学的構造の２つの小さい特徴を分析及び比較するのに有用である。この場合、解剖学的構造の概観が保証されるとともに、同時に、特徴が非常に詳細に検査される。

【0055】

好ましくは、この方法は、少なくとも１つの２Ｄフレームの形状及び／又はサイズを個々に変更するためにユーザのコマンドを受け取るステップをさらに有する。すなわち、各２Ｄフレームは、個々に適応される（すなわち、２Ｄフレームの形状及び／又はサイズは変更される）。したがって、２Ｄフレームは、検査中のそれぞれの特徴のサイズに適応される。例えば、断面の形状は、円形から多角形に変更され、逆の場合も同様である。さらに、第３、第４、及び第５のフレームが設けられる。言い換えれば、第１の２Ｄフレームと同じ特性を有する複数の２Ｄフレームが設けられ、及び／又は複数の２Ｄフレームが、第１の２Ｄフレームと同様に設けられる。

【0056】

好ましくは、この方法は、
ユーザによって設定された第１のポイントで始まる測定経路に沿った測定を示すユーザのコマンドを受け取るステップであって、２Ｄフレームが、第１のポイント及び測定経路を取り囲み、２Ｄフレームのサイズ及び／又は形状を測定経路に動的に適応させる、コマンドを受け取るステップと、
測定経路が終了する位置を示すユーザのコマンドを受け取るステップと
をさらに有する。したがって、ユーザは測定モードに入る。このモードでは、ユーザは、第１の２Ｄフレームを設けるために第１のポイントを示すコマンドを発行する。測定は、第１のポイントで開始される。次いで、ユーザは、距離が測定されるべき第２のポイントを示す。このようにして、心臓弁又は血管の直径が測定される。例えば、ユーザは、ポインティングデバイスのボタンを押して、第１のポイントの位置を示す。次いで、ユーザは、ボタンを押しつけながら、第２のポイントまでポインティングデバイスを移動させる。第２のポイントを達すると同時に、ユーザは、ボタンを解放して、第２のポイントの位置を示す。

【0057】

さらに、２Ｄフレームは、上述のように第１の位置に設けられる。加えて、２Ｄフレームは、測定経路をカバーするように第２のポイントまでそれ自体を伸ばす。この結果、２Ｄフレームが、測定の後に作り出され、第１のポイント及び第２のポイント、並びに第１のポイントと第２のポイントとの間の空間をカバーする。この場合、ユーザは、第２のポイント（例えば、血管又は空洞の境界）をよりよく見つけるために２Ｄフレーム内のＭＰＲビューを見る。その結果、測定の品質が改善される。

【0058】

単一のポイントが設定される場合、このポイントによって画定された２Ｄフレームは、依然として、３つの回転自由度（ロール、ピッチ、ヨー）のすべてのまわりに回転する。第２のポイントが２Ｄフレームに対して画定されるとすぐに、これらの自由度のうちの２つが外され、２Ｄフレーム領域は、１つの軸のまわりにのみ回転する。第３のポイントが設定される場合、２Ｄフレームは、剛性であり、自由度は大きくならない。すなわち、透明な切り取り体のみが、３Ｄレンダリングの回転及び／又は移動に、又はいつでもこの剛性の２Ｄフレーム（すなわち、ＭＰＲビュー）を自由に見ることができるようにするためのユーザの観視位置の変更に適合する。

【0059】

代替として、２つの２Ｄフレームが、第１のポイント（測定の開始）に１つ、及び第２のポイント（測定のターゲット）に１つ設けられる。この場合、２つのポイントの中間では、３Ｄレンダリングは依然として見える。それゆえに、ユーザは、ポイント間の空間を空間的に十分に理解する。２つのポイントがユーザによって設定される場合、これらの２つのポイント間の最短距離は、その都度自動的に測定される。第１のポイントの２Ｄフレームを設けるために使用される第１のポイントは、測定のための開始点として使用される第１のポイントと同じである。代替として、これらのポイントは、ユーザによって別々に指定され得る別々のポイントである。好ましくは、視覚化環境は、ＶＲ環境又はＡＲ環境である。有用な実施形態によれば、３次元視覚化環境は、仮想現実環境である。「仮想現実」とは、描かれた構造の真の３次元体験を提供するコンピュータ生成視覚化を意味する。したがって、本発明の仮想現実（ＶＲ）環境は、特に視覚フィードバックを提供するが、さらに、聴覚などの他のタイプの感覚フィードバックを可能にする。ＶＲ環境はまた、拡張現実環境であり、ユーザは、依然として、現実環境を見ているが、ＶＲオブジェクト（例えば、ボリュームレンダリング及び動的モデル）が、現実オブジェクト、又は現実世界オブジェクトが仮想シーンに重ね合わされている複合現実にオーバーレイされるか又は重ね合わされる。ボリュームレンダリングされたＶＯＩ及び動的モデルの視覚化は、一緒に、視覚化されたオブジェクト、好ましくは、仮想現実オブジェクトを形成する。

【0060】

仮想現実環境は、一般に、立体画像をユーザに提示することによって、すなわち、各眼が異なる画像を見て、その結果、脳が２つの異なる画像を真の３次元シーンに組み立てることによって実現される。そのような両眼画像は、仮想現実ヘッドセット若しくは多重投影環境などのＶＲディスプレイ上に、又はシャッタ眼鏡に関連して２つの画像を断続的に示すスクリーン上に提示される。

【0061】

ＶＲ環境では、ボリュームレンダリングされたＶＯＩ又は動的モデルは、立体レンダリングによって表示され、そこで、ボリュームレンダリングされた（又は他の方法でレンダリングされた）視覚化／画像が、わずかな空間的オフセットを有する２つの観視位置のために、すなわち、左眼のための１つの視野位置と右眼のための１つの視野位置のために２回計算される。２つのこのように計算された視覚化が、例えば、ＶＲヘッドセットで各々の目に１つずつユーザに示されると、ユーザは、真の３次元（ＶＲ）印象を得る。それによって、ボリュームレンダリングされたＶＯＩ及び動的表面モデルは、ＶＲにおいて変換され、見られ、分析される。

【0062】

好ましい実施形態では、本発明のＶＲ環境を使用する人は、人工世界を「見回し」、その中で動き回り、仮想オブジェクト、特徴、又はアイテムと対話することができる。この効果は、一般に、各眼の前に小さいスクリーンがあるヘッドマウントディスプレイを含むＶＲヘッドセットによって作り出されるが、多数の大きいスクリーンを備えた特別に設計された部屋によっても作り出される。ユーザがＶＲ環境内で動き回るためには、視覚化がユーザの頭の動きと一致して移動しているように、位置及び向きの情報が、ヘッドセットによって、ＶＲ環境を生成する電子デバイス（例えば、ヘッドセット内のコンピュータ又は処理ユニット）に送られなければならない。ユーザがＶＲ環境内の仮想特徴と対話するために、手の動きも追跡されなければならず、それは、ハンドヘルドＶＲコントローラによって行われる。しかしながら、この最後の機能は、ユーザが仮想シーン内で歩き回るために位置／向きの情報の送り出すことと同様にオプションである。

【0063】

仮想現実環境は、ユーザが解剖学的構造の真の３次元ビューを得るので、視覚化されたオブジェクトをユーザが大きな自信をもって見て分析するという利点を提供する。さらに、ユーザは、視覚化されたオブジェクトを歩き回り、場合によっては、さらに踏み込むので、ユーザは、視覚化されたオブジェクト（例えば、人間の心臓の視覚化）を、ユーザの前の空間を完全に埋め尽くすように非常に大きい倍率で表示させる。それゆえに、ユーザは、特に良好な概観を得、高い正確度で測定を行う。さらに、ユーザ入力イベントの取扱いは、ＶＲ環境では特に容易で直観的である。２次元スクリーン上ではかなり扱いにくいオブジェクトの回転及び／又はボリュームレンダリングされたＶＯＩの設定の調節などのアクションは、ＶＲコントローラを使用するＶＲ環境では非常に直観的で高速である。

【0064】

しかしながら、本発明は、非ＶＲ視覚化環境でも有利に使用される。ＶＲ（仮想現実）が明確に言及されていない場合、本明細書に記載の特徴及び実施形態は、ＶＲ視覚化環境及び非ＶＲ視覚化環境の両方に有用である。

【0065】

好ましくは、この方法は、３Ｄレンダリング全体を通って延びる切り取り面を設け、切り取り面の一方の側で３Ｄレンダリングを切り取るためにユーザのコマンドを受け取るステップであって、切り取り面が、視覚化環境内に個々の向き及び位置を有する、コマンドを受け取るステップをさらに有する。切り取り面の一方の側において、少なくとも３Ｄレンダリングが切り取られる。加えて、視覚化環境内の他のモデル又は視覚化が、切り取り面の一方の側で切り欠かれる。言い換えれば、切り取り面は、視覚化環境内の２Ｄ境界を表し、切り取り面の一方の側では、３Ｄレンダリングなどのオブジェクトがマッピングされるが、他方の側では、少なくとも３Ｄレンダリングが切り取られるか又は切り抜かれる。切り取り面は、視覚化環境の全体にわたって２次元での拡張を有する。したがって、３Ｄレンダリングの境界が正確に決定されていない場合でさえ、３Ｄレンダリングのすべての部分が切り欠かれることが保証される。代替として、切り取り面は、単に３Ｄレンダリングの全体にわたって延びる。これは、視覚化環境内の他の視覚化が、依然として、ユーザに見えることを保証する。切り取り面は、ユーザのコマンドに基づいて自由に移動される。すなわち、ユーザに面している２Ｄフレームとは対照的に、切り取り面は、視覚化環境内に自由に位置づけられ、及び／又は方向づけられる。例えば、ユーザは、第１の方向で３Ｄレンダリングを見ており、第１の方向に対して直交する第２の方向で３Ｄレンダリングを部分的に切り取る。この結果、ユーザは、検査に必要な効率的なサイズまで３Ｄレンダリングを縮小する。これは、検査をさらに簡単にし、３Ｄ医用画像データの重要な部分の明瞭な視覚化を保証する。

【0066】

好ましくは、この方法は、
表面モデルを３Ｄ医用画像データから自動的にセグメント化するステップであって、表面モデルが解剖学的構造の少なくとも一部に対応する、セグメント化するステップと、
視覚化環境内で表面モデルを表示するステップと、
表面モデルを２Ｄフレーム内のＭＰＲビューに適合させるためにユーザのコマンドを受け取るステップと
をさらに有する。例えば、表面モデルは、３Ｄ医用画像データから自動的にセグメント化される。すなわち、３Ｄ医用画像データに基づいて、心臓の心室が、表面モデルによって少なくとも部分的に表される。次いで、表面モデルは、さらなる検査又は計画作業のために使用される。それゆえに、表面モデルはできるだけ最良に３Ｄ医用画像データを表すことが好ましい。表面モデルが３Ｄ医用画像データに合致しているかどうかをチェックする１つのやり方は、表面モデルを３Ｄレンダリングと比較することである。しかしながら、どの閾値が設定されているかによって３Ｄレンダリングが決まるレンダリングプロセスに起因して、３Ｄレンダリングには不正確さがある。他方、ＭＰＲビューのみの使用は、空間的方向づけがユーザにとって容易ではないので複雑である。本実施形態によれば、表面モデルは、３Ｄレンダリング及びＭＰＲビュー（２Ｄフレーム内に示される）の両方を使用することによってチェックされる。例えば、ユーザは、視覚化環境内で３Ｄレンダリング及び２Ｄフレームに加えて表面モデルを表示するためにコマンドを発行する。次いで、ユーザは、ＭＰＲビューが少なくとも部分的に表面モデル上にあるように２Ｄフレームを位置づける。その結果、ユーザは、表面モデルがＭＰＲビューによって示されたそれぞれの特徴（例えば、境界）に対応するかどうかをチェックする。３Ｄレンダリングが２Ｄフレームのまわりに見えるので、ユーザは容易に自身の向きを合わせることができる。したがって、表面モデルは、効率的で正確なやり方でチェックされる。別の実施形態によれば、ユーザは、３Ｄ医用画像データと完全に一致するように表面モデルを調節する。例えば、ユーザは、３Ｄ医用画像データと一致するように表面モデルを移動又は調節する。このコンテキストでは、例えば、表面モデルの形状及びサイズを画定する制御ポイントが移動される。

【0067】

別の態様によれば、本発明は、プロセッサによって実行されたとき、プロセッサが本発明の方法を実行できるようにするプログラムコード命令を含むコンピュータプログラムを提供する。コンピュータプログラムは、任意のコード、特に、コンピュータグラフィックアプリケーション、特に、ＶＲプログラミングに適したコードとすることができる。

【0068】

さらなる態様では、本発明は、上述で定義されたコンピュータプログラムを含むコンピュータ可読媒体を対象とする。コンピュータ可読媒体は、任意のデジタルデータストレージデバイス、例えば、ＵＳＢスティック、ハードディスク、ＣＤ－ＲＯＭ、ＳＤカード、又はＳＳＤカードなどである。当然、コンピュータプログラムは、顧客に提供するためにそのようなコンピュータ可読媒体に格納される必要はなく、インターネットを介してダウンロード可能であってもよい。

【0069】

別の態様によれば、本発明は、本発明の方法を実行するように構成された３Ｄ医用画像データ評価デバイスを提供し、評価デバイスは、
３Ｄ医用画像情報を受け取るためのインタフェースと、
本発明の方法を実行するための計算ユニットと、
視覚化環境を提供し、少なくとも３Ｄレンダリング及び２Ｄフレームを表示するための視覚化デバイスと
を含む。

【0070】

本明細書に記載のすべての実施形態は、コンピュータスクリーン、タブレットコンピュータ、又はディスプレイで実現される「従来の」視覚化環境、並びにＶＲ環境の両方に適用可能である。しかしながら、ＶＲ環境は、真の３Ｄビュー及び最も直観的な／高速のユーザ体験／操作を提供し、並びに視覚化されたオブジェクトに対してユーザが移動させることができる６個、１２個、又は１８個の自由度を提供するので特に有利である。

【0071】

好ましくは、本発明による方法は、ディスプレイ、特に、ＶＲヘッドセットなどのＶＲディスプレイ、又は投写型ディスプレイを制御することができる電子デバイスに組み込まれているプロセッサによって実行される。そのようなデジタルデバイスは、コンピュータ、ＰＣ、サーバ、テレビジョンセット、タブレットコンピュータ、スマートフォン、ラップトップ、ハンドヘルドデバイスなどである。プロセッサはまた、クラウドコンピュータ、ワークステーション、又は医療画像デバイス、特に超音波スキャナの制御コンソールの一部である。

【0072】

上述の実施形態の個々の特徴は、他の実施形態と、又は他の実施形態の他の特徴と組み合わされて、新しい実施形態が形成され得る。個々の特徴に関して述べた効果は、そのような新しい実施形態にも当てはまる。さらに、方法に関して述べた利点及び構成は、デバイスにも当てはまり、逆の場合も同様である。

【0073】

次に、添付の図を参照して、本発明の有用な実施形態を説明する。同様の要素又は特徴は、図において同じ参照符号で示される。

【図面の簡単な説明】

【0074】

【図1】先行技術の概略の視覚化を示す図である。

【図2】先行技術の概略の視覚化を示す図である。

【図3】本発明の一実施形態による３Ｄレンダリング及びＭＰＲビューを示す概略図である。

【図4】本発明の一実施形態による測定プロセスの概略図である。

【図5】本発明の別の実施形態による測定プロセスの概略図である。

【図6】本発明の一実施形態による分析プロセスの概略図である。

【図7】本発明の別の実施形態による分析プロセスの概略図である。

【図8】本発明の別の実施形態による分析プロセスの概略図である。

【図9】本発明の別の実施形態による分析プロセスの概略図である。

【図10A】本発明の一実施形態による、異なる閾値を用いた３Ｄレンダリングと分析プロセスとの概略図である。

【図10B】本発明の一実施形態による、異なる閾値を用いた３Ｄレンダリングと分析プロセスとの概略図である。

【図11】本発明の一実施形態による較正プロセスの概略図である。

【図12】本発明の一実施形態による適応プロセスの概略図である。

【図13】本発明の一実施形態による３Ｄ医用画像データ評価デバイスの概略図である。

【図14】本発明の別の実施形態による３Ｄ医用画像データ評価デバイスの概略図である。

【発明を実施するための形態】

【0075】

図１は、最先端の視覚化方法を示す。特に、図１には、３Ｄレンダリング１０１と、３Ｄレンダリング１０１を通って延びるＭＰＲビュー１００とが示されている。ＭＰＲビュー１００の前方では、３Ｄレンダリングは、ＭＰＲビュー１００を見ているユーザには見えない。ＭＰＲビュー１００の背後では、３Ｄレンダリングはまた、義務づけられたＭＰＲビュー１００のために見えない。したがって、ユーザは、３Ｄレンダリング１０１を使用して自身の向きを定めることがほとんどできない。

【0076】

図２はまた、最先端の視覚化方法を示す。この場合、３Ｄレンダリング１００は、ＭＰＲビュー１００の前で切り欠かれない。しかしながら、３Ｄレンダリング１０１は、ＭＰＲビュー１００の明瞭なビューを妨げる。この場合、ユーザは、自身を３Ｄレンダリング１０１に向けることができるが、ＭＰＲビュー１００をほとんど見ることができない。

【0077】

図３は、本発明の一実施形態による視覚化方法を示す。特に、図３には、視覚化環境１０における３Ｄレンダリング１が示されている。視覚化環境１０内に、ＭＰＲビュー３が示される２Ｄフレーム２が設けられる。図３は、ユーザの視点に対応する。２Ｄフレーム２は、ユーザに面するように設けられる。言い換えれば、２Ｄフレーム２は、ユーザが常に２Ｄフレーム２内のＭＰＲビュー３を見るように、視覚化環境内に配置され向きを合わされる。２Ｄフレーム２及び／又は３Ｄレンダリング１は、互いに対して移動及び／又は回転される。それにもかかわらず、２Ｄフレーム２は、自動的に、ユーザに面しているようにそれ自体の向きを合わせる。加えて、ユーザは、観視方向を変更することがあり、この場合でさえ、２Ｄフレーム２は、ユーザに面しているようにそれ自体の向きを合わせ、ユーザは、ＭＰＲビュー３を見ることができる。さらに、２Ｄフレーム２が３Ｄレンダリング１に対する位置を変更するときはいつでも、２Ｄフレーム２内に示されるＭＰＲビュー３は、新しい相対位置に基づいて更新される。ＭＰＲビューが、３Ｄ医用画像データに基づいて決定され、それにより、３Ｄ医用画像データのグラウンドトゥルースを表すことに留意されたい。本実施形態では、視覚化環境１０は、ＶＲ環境であり、ユーザは、少なくとも１つのコントローラ１１を使用して本方法を制御する。さらに、本実施形態では、２Ｄフレーム２は、長方形形状を有する。しかしながら、２Ｄフレーム２は、実行されるべき検査に最も適している他の形状を有することもできる。その上、２Ｄフレーム２を把握することによって、ユーザは２Ｄフレーム２のサイズを調節する。すなわち、２Ｄフレーム２は、ユーザの選好に応じて拡大又は縮小される。ＭＰＲビュー３の遮られていないビューを常に有するように、２Ｄフレーム２の第１の側で３Ｄレンダリングを少なくとも部分的に切り取る切り取り体８（図７を参照）が設けられる。この結果、ユーザは、２Ｄフレーム２を３Ｄレンダリング１内にどれくらい深く移動させるかにかかわらずＭＰＲビュー３を見ることができる。加えて、図３には、３つの座標系が示されている。視覚化座標系は、ユーザ及びユーザのコントローラ１１の観視位置が定義される座標Ｘ、Ｙ、及びＺを定義する。次いで、３Ｄレンダリング１と２Ｄフレーム２とが定義されるオブジェクト座標系Ｘ’、Ｙ’、及びＺ’が定義される。最後に、３Ｄ医用画像データが定義される元座標系Ｘ”、Ｙ”、及びＺ”が設けられる。本実施形態では、座標系は、互いに対して回転及び／又は移動される。説明を簡単にするために、さらなる図では、座標系は示されていないが、同様に存在する。

【0078】

図４は、本発明の別の実施形態による視覚化方法を示す４つの副図を示す。具体的には、図４．１において、ユーザによって設定された第１のポイント４が、さらに、測定の開始ポイントである。すなわち、第１のポイント４は、測定経路５の開始ポイントである。加えて、２Ｄフレーム２が、ＭＰＲビュー３内の第１のポイント４を示すように視覚化環境１０内に設けられる。次いで、ユーザは、測定経路５を延ばす（図４．２を参照）。２Ｄフレーム２、したがって、ＭＰＲビュー３が、測定経路５の伸張に応じて適応される。次いで、図４．３において、測定されるべき血管の境界が、ＭＰＲビュー３内に見える。それゆえに、ユーザは、第２のポイント６を境界上に正確に設ける。このようにして、測定経路は、第１のポイント４と第２のポイント６との間に延びる。図４．４において、完成した測定経路５が、ＭＰＲビュー３によって示される。次いで、ユーザは、２Ｄフレーム２を個々に調節する。例えば、ユーザは、測定経路５の近傍のより良好な印象を得るために２Ｄフレームを拡大又は縮小する。

【0079】

図５は、本発明の別の実施形態による視覚化方法を示す。図５の方法は、２Ｄフレーム２が測定経路に沿って延ばされるのではなく、第１のポイント４に設けられた第１の２Ｄフレーム２と第２のポイント６に設けられた第２の２Ｄフレーム７とが存在するという点で、図４の方法とは異なる。第１の２Ｄフレーム２は第１のＭＰＲビュー３を示し、第２の２Ｄフレーム７は第２のＭＰＲビュー８を示す。このようにして、測定経路５は、３Ｄレンダリング１を通って延びる。この場合、ユーザは、第１のポイント及び第２のポイントを、第１の２Ｄフレーム２及び第２の２Ｄフレーム７内にこれらの位置を見ることにより依然として正確に設定するが、さらに、ユーザが第１のポイント４と第２のポイント６との間の３Ｄレンダリング１の空間的拡張を見るので、３Ｄレンダリング１の空間的拡張の向上した印象を有する。第２の２Ｄフレーム７は第１の２Ｄフレームと同じ特性を有することに留意されたい。加えて、第２のポイント６は、第１のポイント４と同じようにユーザによって発行される。

【0080】

図６は、本発明の一実施形態によるさらなる分析方法を示す。上述のように、本実施形態では、視覚化環境はＶＲ環境である。ユーザは、コントローラ１１を使用してコマンドを制御する。本実施形態では、ユーザは、２Ｄフレームが視覚化環境内に設けられる分析モードに入る。説明を簡易にするために、２Ｄフレーム２は、卓球ラケットと見なされる。言い換えれば、２Ｄフレーム２は、ユーザが２Ｄフレーム２を仮想的に握るハンドルを有する。したがって、２Ｄフレーム２はコントローラ１１に固定され、その結果、２Ｄフレーム２は、コントローラ１１を単に動かすことによって容易に移動及び／又は回転される。このようにして、ユーザは、コントローラ１１を３Ｄレンダリング１を通して仮想的に動かし、例えば、特定の特徴を探索する。上述のように、ＭＰＲビュー３は、２Ｄフレーム２内に示され、３Ｄレンダリング１に対する２Ｄフレーム２のそれぞれの位置に自動的に適応される。

【0081】

図７は、本発明の別の実施形態による分析プロセスの概略図を示す。図７の方法は、実質的に、図３に示した方法に対応する。図７において、シーンは側面図で示される。したがって、切り取り体９が見られる。切り取り体９は、３Ｄレンダリングを切り欠くように２Ｄフレーム２の第１の側に設けられる。それゆえに、ユーザ２０は、２Ｄフレーム２内のＭＰＲビュー３の遮られていないビューを有する。加えて、この実施形態では、２Ｄフレーム２は、図６に関連して上述したように、ユーザ２０のコントローラ１１に仮想的に固定される。上述のように、２Ｄフレームは、特徴を見つけ、第１の測定ポイント４を位置づけるために、３Ｄレンダリング１を通して移動される。切り取り体は、適応可能な形状を有する。すなわち、ユーザ２０の視線方向に直交し、切り取り体９を画定する断面は、個々の形状及びサイズを有する。本実施形態では、切り取り体９は、ユーザが２Ｄフレーム２内のＭＰＲビュー３の遮られていないビューを有するようにサイズ合わせされ形作られる。すなわち、切り取り体は、３Ｄレンダリング１に対する２Ｄフレーム２の新しい位置に適応する。要約すると、切り取り体９及びＭＰＲビュー３の両方は、ユーザ２０へのＭＰＲビュー３の可視性を確実にするために、２Ｄフレーム２の新しい位置に適合する。

【0082】

図８は、基本的に図７に対応するが、第２のＭＰＲビュー８を示す第２の２Ｄフレーム７が設けられることが異なる。したがって、第２の切り取り体１２が、さらに、第２の２Ｄフレーム７の第１の側に設けられる。上述のように、各２Ｄフレーム２、７は、ユーザに面するように向きを合わされる。したがって、各切り取り体９、１２はまた、ユーザ２０に向けられるように向きを合わされる（すなわち、サイズ合わせされ形作られる）。言い換えれば、各切り取り体は、ユーザ２０がそれぞれのＭＰＲビュー３、８の遮られていないビューを有するように設けられる。それゆえに、切り取り体９、１２は、２つの２Ｄフレーム２、７が、視覚化環境内で異なる空間位置に位置づけられる場合、異なるサイズ及び形状を有する。

【0083】

図９は、基本的には図７に対応するが、２Ｄフレーム２が図３の実施形態のように別の形状を有することが異なる。加えて、切り取り体９は、テーパ形状を有し、ユーザ２０に最も近い切り取り体９の断面は、２Ｄフレーム２に最も近い切り取り体９の断面と比較して大きいサイズを有する。したがって、ユーザ２０は、切り取り体９の壁のところで３Ｄレンダリング１を見る。これは、３Ｄレンダリングによって示された解剖学的構造をよりよく理解するためのさらなる情報を当業者に提供する。

【0084】

図１０Ａ及び図１０Ｂは、本発明の一実施形態による、異なる閾値を用いた３Ｄレンダリング１と分析プロセスとの概略図である。図１０Ａには、ゼロの閾値を有する上述のような３Ｄレンダリング１が示される。すなわち、すべてのボクセルが３Ｄレンダリング１において見える。したがって、解剖学的構造は、３Ｄレンダリングにおいてユーザ１０にはほとんど見えない。それにもかかわらず、２Ｄフレーム２、７に示されるＭＰＲビュー３、８は、切り取り体９、１２が３Ｄレンダリング１を切り欠いているので見える。加えて、第１のポイント４、第２のポイント６、及び測定経路５が、図１０Ａ及び図１０Ｂにおいて見える。図１０Ｂでは、閾値は、８９／２２５の値に設定される。すなわち、８９より高く２２５より低い値を有するすべてのボクセルが、３Ｄレンダリング１を生成するようにレンダリングされる。この結果、解剖学的構造はより良く推測される。この例は、３Ｄレンダリング１が閾値設定にどれくらい敏感に反応するかを示すことが意図されている。他方、ＭＰＲビュー３、８は、３Ｄ医用画像データのグラウンドトゥルースを表し、ＭＰＲビュー３、８の有意味性を悪化させるいかなる設定にも依存しない。それゆえに、両方の表示フォーマットの本発明の組合せは、計り知れない正確度とオペレータの利便性とを示す。

【0085】

さらに、本発明のさらなる実施形態によれば、ＭＰＲビュー３、８の正確さが、３Ｄレンダリング１を較正するために使用される。図１１には、３Ｄレンダリング１が示される。さらに、ＭＰＲビュー３が示された２Ｄフレーム２が提供される。先に説明した実施形態とは対照的に、本実施形態では、切り取り体（図１１には示されていない）は２Ｄフレーム２まで達しない。他方、切り取り体８は、３Ｄレンダリングが、部分的に、２Ｄフレーム２を通って、したがって、ＭＰＲビュー３を通って達することを可能にする。言い換えれば、切り取り体は、２Ｄフレームから事前定義された距離だけ離間される。これにより、ユーザ２０は、ＭＰＲビュー３と、２Ｄフレームの第１の側からユーザに向かって達することが許容される３Ｄレンダリング１の一部とを見ることが保証される（すなわち、これは、切り取り体の第１の側までの切り取り体の距離に依存する）。

【0086】

本実施形態では、ユーザは、ＭＰＲビュー３を、２Ｄフレームの第１の側の３Ｄ医用画像データの白黒表現として見る。加えて、ユーザは、２Ｄフレームの第１の側から組み立てられている３Ｄレンダリング（すなわち、２Ｄフレームを通って延びる３Ｄレンダリング１）を見る。３Ｄレンダリング１とＭＰＲビューとの交点の外側輪郭が、ＭＰＲビューに基づいて３Ｄレンダリングの閾値を較正するために使用される。言い換えれば、閾値は、交点の前記外側輪郭がＭＰＲビューに示された輪郭と合致するように適応される。この結果、閾値は、３Ｄレンダリング１が解剖学的構造を正しく表すように決定される。これは、３Ｄ医用画像データの分析の正確度をさらに改善する。

【0087】

図１２において、本発明のさらなる実施形態が概略的に示される。本実施形態は、図７の実施形態に実質的に対応するが、本実施形態では表面モデル１３が視覚化環境１０内に示されていることが異なる。表面モデル１３は、３Ｄ医用画像データに基づいて自動的に生成される。表面モデル１３は、解剖学的構造の特徴に対応するように生成されている。ＭＰＲビュー３を使用して、ユーザ２０は、表面モデル１３が実際に前記特徴に正しく対応することを確認する。

【0088】

図１３は、本発明の非ＶＲ実施形態によるユーザインタフェースを示す。この設定では、視覚化環境１０は、従来のコンピュータスクリーン２３上にあり、視覚化は、単に２次元のスクリーン２３上のレンダリングである。スクリーンは、ユーザが３Ｄレンダリング１、２Ｄフレーム２などを傾ける、ズームする、動かす、又は別のやり方で操作することを可能にするボタン及びスライダのパネル２４を含む。さらに、そのようなユーザインタフェースでは、３Ｄレンダリング及びＭＰＲビュー３を有することは有用なツールである。ディスプレイは、プロセッサ２６及びハードディスク２７を含むＰＣなどのコンピュータ２５によって制御される。ユーザインタフェースは、キーボード２８及び／又はマウス２９などの入力ツールを有する。

【0089】

しかしながら、好ましい実施形態では、ユーザインタフェースは、図１４に示されるような仮想現実インタフェースである。そのようなインタフェースは、ユーザ２０によって装着された仮想現実ヘッドセット２１によって実現される。ヘッドセット２１は、ケーブル又は無線接続を介してコンピュータ２５に接続される。そのような仮想現実ヘッドセット２１は、眼ごとに別個の内部ディスプレイ、並びにヘッドの動きを追跡する位置センサ２２を含む。そのようなヘッドセットは、拡張現実環境を提示すべき場合にはカメラをさらに含む。さらに、ユーザ２０は、ＶＲコントローラ１１を手に持っており、コントローラ１１は、位置センサ（図示せず）並びにボタン又は他の入力要素をさらに含む。そのような仮想現実コントローラ１１により、ユーザは、視覚化環境に表示されたオブジェクトを掴んで動かすことができる。ＶＲヘッドセットは、例えば、ＨＴＣ ＶＩＶＥヘッドセット及び対応するＶＲコントローラである。

【0090】

本発明が、図面及び前述の説明において詳細に図示及び説明されたが、そのような図及び説明は、例証的又は例示的なものであり、記述的なものではないと考えられるべきであり、本発明は、開示された実施形態に限定されない。

【符号の説明】

【0091】

１ ３Ｄレンダリング
２、７ ２Ｄフレーム
３、８ ＭＰＲ視覚化
４ 第１のポイント
５ 測定経路
６ 第２のポイント
９、１２ 切り取り体
１１ コントローラ
１３ 表面モデル
２０ ユーザ
２１ ヘッドセット
２２ 位置センサ
２３ コンピュータスクリーン
２４ パネル
２５ コンピュータ
２６ プロセッサ
２７ ハードディスク
２８ キーボード
２９ マウス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【国際調査報告】