特許 7624975 仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法、コンピュータプログラム、ユーザインターフェース、およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-23

(45)【発行日】2025-01-31

(54)【発明の名称】仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法、コンピュータプログラム、ユーザインターフェース、およびシステム

(51)【国際特許分類】

   G16H 30/00 20180101AFI20250124BHJP

【ＦＩ】

G16H30/00

【請求項の数】 15

(21)【出願番号】P 2022513881

(86)(22)【出願日】2020-08-28

(65)【公表番号】

(43)【公表日】2022-11-14

(86)【国際出願番号】 EP2020074132

(87)【国際公開番号】W WO2021043684

(87)【国際公開日】2021-03-11

【審査請求日】2023-08-25

(31)【優先権主張番号】19195018.7

(32)【優先日】2019-09-03

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】シュレッケンベルク マルクス

(72)【発明者】

【氏名】ヒッシュリッヒ ニクラス

(72)【発明者】

【氏名】シュメルス ゲオルク

【審査官】鹿野 博嗣

(56)【参考文献】

【文献】特表２０１１－５２７７６０（ＪＰ，Ａ）

【文献】特開２００７－１４１２４５（ＪＰ，Ａ）

【文献】国際公開第２０１９／００６２０２（ＷＯ，Ａ１）

【文献】特開２０１８－２０６４０５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法であって、
前記医用画像データは少なくとも２人のユーザによって分析され、
各ユーザは独自のワークスペースを有し、前記ワークスペースはＸＲワークスペースであり、
前記方法は、
３Ｄまたは４Ｄ画像情報を含む医用画像データを提供するステップと、
前記医用画像データを各ユーザの前記ワークスペースにロードし、前記医用画像データの視覚化表現を各ユーザに同時に表示するステップと、
各ユーザが、個別に、そして互いに独立して、前記医用画像データの前記視覚化表現を変更し、各ユーザの各ワークスペースにおいて前記医用画像データの個別視覚化表現を得ることを可能にするステップと、
現実のツールまたは仮想のツールを使用して、少なくとも１人のユーザが、自身のワークスペースにおいて前記医用画像データの分析プロセスを実行することを可能にするステップであって、前記分析プロセスの実行は、少なくとも一つの他のワークスペースと共有されない、ステップと、
前記分析プロセスが実行された前記ワークスペースにおいて前記分析プロセスの結果を表示するステップと、
前記分析プロセスの前記結果を少なくとも１つの他のワークスペースとリアルタイムで同期させることで、各ワークスペースが、前記医用画像データのそれぞれの個別視覚化表現において前記分析プロセスの前記結果を表示するステップとを含む、方法。

【請求項2】

前記医用画像データの前記分析プロセスは、少なくとも２人のユーザによって同時に実行される、請求項１に記載の仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法。

【請求項3】

前記分析プロセスの前記結果を表示するステップは、ユーザによって自身のワークスペースで選択的かつ個別に有効化または無効化され得る、請求項１または２に記載の仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法。

【請求項4】

少なくとも１つのワークスペースがＡＲワークスペースまたはＭＲワークスペースであり、
前記ＡＲワークスペースまたは前記ＭＲワークスペース内の少なくとも１つの視覚化パラメータ、特に、前記医用画像データの前記視覚化表現および／または前記分析プロセスの前記結果の透明度および／または色は、前記ユーザが、現実環境に重ねられた前記医用画像データの前記視覚化表現および／または前記分析プロセスの前記結果を目標コントラストで見ることができるように自動的に調整される、請求項１から３のいずれか一項に記載の仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法。

【請求項5】

各ワークスペースは、前記医用画像データの前記視覚化表現および前記分析プロセスの前記結果が表示される独自の仮想環境を有し、
前記方法は、
各ユーザが個別に、かつ独立して、前記仮想環境の透明度および／または色を設定することによって、前記仮想環境の視覚化パラメータを調整し、前記ワークスペース内のコントラストを調整することを可能にするステップをさらに含む、請求項１から４のいずれか一項に記載の仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法。

【請求項6】

前記仮想環境は少なくとも１つの仮想制御要素を含む、請求項５に記載の仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法。

【請求項7】

各ユーザが個別に、かつ独立して前記医用画像データの前記視覚化表現を変更することを可能にするステップは、前記ワークスペース内の物体を掴むことによって、ハンドジェスチャーを使用して前記視覚化表現の前記変更を実行するためにコントローラを使用することを含む、請求項１から６のいずれか一項に記載の仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法。

【請求項8】

各ユーザが個別に、かつ独立して前記医用画像データの前記視覚化表現を変更することを可能にするステップは、前記視覚化表現を回転させる、前記視覚化表現の一部を切り取る、前記視覚化表現のレンダリングパラメータを変更する、前記視覚化表現の画像設定を変更する、前記視覚化表現のコントラストを変更する、前記視覚化表現のボクセル強度閾値を変更する、および／または前記視覚化表現のサイズを変更するように前記視覚化表現を操作することを含む、請求項１から７のいずれか一項に記載の仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法。

【請求項9】

少なくとも１人のユーザは、別のユーザによって行われた前記医用画像データの前記視覚化表現の前記変更を採用し得る、または
１人のユーザは、前記医用画像データの前記視覚化表現の自身の変更を採用することを少なくとも１人の他のユーザに強制し得る、請求項１から８のいずれか一項に記載の仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法。

【請求項10】

少なくとも１人のユーザが、自身のワークスペースにおいて前記医用画像データの分析プロセスを実行することを可能にするステップは、３Ｄ測定値を取得すること、ＭＰＲモードを実行すること、および／または注釈を挿入することをさらに含む、請求項１から９のいずれか一項に記載の仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法。

【請求項11】

少なくとも１人のユーザが、自身のワークスペースにおいて前記医用画像データの前記分析プロセスを実行することを可能にするステップは、医療機器、具体的にはインプラントの動作位置を決定するために、前記医用画像データの前記視覚化表現内に前記医療機器の少なくとも１つのモデルを配置することをさらに含み、
前記医療機器の前記モデルの前記動作位置は、４Ｄ画像情報と組み合わせて、動作中の前記医療機器を動的に視覚化することによって決定される、請求項１から１０のいずれか一項に記載の仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法。

【請求項12】

プロセッサによって実行されると、前記プロセッサが請求項１から１１のいずれか一項に記載の方法を実行することを可能にするプログラムコード命令を含む、コンピュータプログラム。

【請求項13】

請求項１から１１のいずれか一項に記載の方法の実行において使用されるユーザインターフェースであって、前記ユーザインターフェースは、
医用画像データの視覚化表現、および分析プロセスの結果をワークスペースにおいてリアルタイムでユーザに表示するためのＸＲ表示デバイス、特にＶＲヘッドセットを含み、
前記ワークスペースはＸＲワークスペースであり、
前記ワークスペースは、前記医用画像データの前記視覚化表現および前記分析プロセスの前記結果が表示される仮想環境を含み、
前記ユーザインターフェースはさらに、前記ユーザのジェスチャーによってコマンドを入力するために前記方法の実行中に使用されるように構成された、トラッキングされるコントローラを含み、前記コマンドは、
前記分析プロセスの前記結果の前記表示を選択的かつ個別に有効化または無効化することを含む、ユーザインターフェース。

【請求項14】

前記コマンドはさらに、
前記仮想環境の透明度および／または色を設定することによって、前記ユーザの前記ワークスペース内のコントラストを個別に、かつ独立して調整することを含む、請求項１３に記載のユーザインターフェース。

【請求項15】

仮想マルチユーザコラボレーションにおいて医用画像データを分析するためのシステムであって、
請求項１から１１のいずれか一項に記載の方法を実行するプロセッサと、
前記プロセッサに接続された、少なくとも請求項１３または１４に記載のユーザインターフェースとを含む、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法、該方法に関連するコンピュータプログラム、該方法で使用されるユーザインターフェース、および該方法を実行するように構成されたシステムに関する。

【背景技術】

【0002】

医用イメージング技術は、人体または動物の体の三次元（３Ｄ）、場合によっては四次元（４Ｄ）の医用画像データを提供する。しかし、通常、画像データは二次元（２Ｄ）画面上で観察および分析される。したがって、医用画像データが２Ｄ画面上で分析および解釈される場合、３Ｄまたは４Ｄで提供される医用画像データ上に表現される解剖学的構造間の相対的な空間的関係を誤解するおそれが常に存在する。具体的には、複数人からなる専門家のチームが同じ医用画像データを同時に分析している場合、空間的関係の理解および解釈を誤り、結果として誤った臨床判断が下されるおそれが高い。

【0003】

マイクロプロセッサ、カメラ、およびセンサの分野における最近の発展により、手頃な価格の消費者向けＶＲヘッドセットが実現され、マスマーケットに広く受け入れられている。仮想現実（ＶＲ）テクノロジーは、仮想環境への完全な没入と３Ｄコンテンツの立体３Ｄ表現とをユーザに提供する。

【0004】

主にゲームおよびエンターテインメント業界によって推進されてきた、トラッキングされるヘッドセットとハンドコントローラ（合わせて１８自由度）を介する非常に直感的な制御により、仮想物体と非常に自然にインタラクトすることができ、利便性や使いやすさが向上する。既存のマルチユーザＶＲアプリケーションはアバターベースであり、複数のユーザが同時に同じシーンにいる状態で、例えば物体のモデルを操作することができる。残念ながら、これらのアバターベースのマルチユーザソリューションは、仮想３Ｄデータセット、物体（例えば、切断面）、および測定値を有意義かつ時間効率的に評価することが求められる専門的な医用ＶＲコラボレーションのより厳しい要件に十分に適合していない。また、既知の技術は、個別に３Ｄコンテンツを分析および評価する必要がある専門家のユーザ（例えば、臨床医）には不適当であるように思われる。したがって、ＶＲの可能性を最大限に活用することができ、かつ、同一の３Ｄデータセットに対して複数人の臨床医が、ＶＲ環境が提供する全ての利点とともに効率的かつ同時に作業することを可能にするマルチユーザＶＲコラボレーションソリューションが望まれている。さらに、専門家ユーザチームのコラボレーション効率を高めるために、各ユーザによる分析および評価の結果を双方向的に、および自動的に共有することが望ましいであろう。

【0005】

Ｄａｖｉｄ Ｗ．Ｓｈａｔｔｕｃｋは、“ＶＲ－ｆｒａｍｅｗｏｒｋ ｆｏｒ ｍｕｌｔｉｕｓｅｒ ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ ｅｎｖｉｒｏｎｍｅｎｔ ｆｏｒ ｖｉｓｕａｌｉｚｉｎｇ ｎｅｕｒｏｉｍａｇｉｎｇ ｄａｔａ”、Ｈｅａｌｔｈｃａｒｅ Ｔｅｃｈｎｏｌｏｇｙ Ｌｅｔｔｅｒｓ、受付日：２０１８年８月１３日、受領日：２０１８年８月２０日において、１人のユーザがサーバとしてシステム表示を管理するクライアントサーバモデルを利用することで、ＶＲフレームワークが、同じ仮想空間内で動作する複数人の同時ユーザをサポートできると述べている。各ユーザのＶＲ環境は、ユーザのヘッドセットに接続された個々のネットワークコンピュータによって駆動される。各クライアントコンピュータは、ローカルドライブまたは共有ネットワークドライブ上に存在する、表示されるデータのコピーへのアクセスを有し得る。サーバはＴＣＰ／ＩＰポートでクライアントをリッスンし、各クライアントとのネットワーク接続を確立する。クライアントが接続されると、サーバは、ビュー状態情報を有する小さなデータオブジェクトを定期的に送信し、各クライアントはこの情報を用いて表示を更新する。このオブジェクトは、回転、スケール、ボリューム位置、および切断面など、ビューを同期させるために必要なデータを含む。各クライアントは、ヘッドセットおよびコントローラのための姿勢情報をサーバに送信し、サーバは、これらの情報を表示のために他のクライアントにブロードキャストする。個々のクライアントビューには、システム内の他のユーザのヘッドセットおよびコントローラのモデルがレンダリングされる。これは、ユーザが互いに直接インタラクトすることを可能にするとともに、共有物理空間で作業するユーザ間の現実世界での衝突を回避するのにも役立つ。

【0006】

Ｋｌａｕｓ Ｅｎｇｅｌは、“Ｔｅｘｔｕｒｅ－ｂａｓｅｄ Ｖｏｌｕｍｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｕｓｅｒｓ ｏｎ ｔｈｅ Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ”において、放射線データへのリモートアクセスを可能にし、マルチユーザ環境をサポートするテクスチャベースのボリューム視覚化ツールを開示している。このツールは、異種ネットワークにおいて三次元医用ボリュームデータセットの共有表示および共有操作を可能にする。サーバから複数の異なるクライアントマシンにボリュームデータセットが送信され、ＪＡＶＡ（登録商標）対応Ｗｅｂブラウザを使用してローカルに視覚化される。ネットワークトラフィックを削減するために、データ削減および圧縮スキームが提案されている。このアプリケーションは、インタラクティブに動かすことができる視点依存および直交クリッピング平面を可能にする。クライアント側では、ユーザは視覚化セッションに参加し、視点および他の視覚化パラメータを同期することによって、ボリュームデータセットに対する同じビューを得ることができる。視覚化された表示にタグを配置することによって、他のユーザのためにデータセットの興味深い部分にマークを付けることができる。コラボレーションをサポートするために、ユーザはチャットアプレットを用いて、または既存のビデオ会議ツールを使用することによって通信を行う。

【0007】

Ｄｉｅｔｅｒ Ｓｃｈｍａｌｓｔｉｅｇは、“Ｂｒｉｄｇｉｎｇ Ｍｕｌｔｉｐｌｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｄｉｍｅｎｓｉｏｎｓ ｗｉｔｈ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ”において、プロダクティビティ環境に真の３Ｄインタラクションを組み込むために共同拡張現実を使用する実験的ユーザインターフェースシステムを開示している。このコンセプトは、複数のユーザ、複数のホストプラットフォーム、複数のディスプレイタイプ、複数の並行アプリケーション、およびマルチコンテキスト（すなわち、３Ｄドキュメント）インターフェースを異種分散環境に含めることによって複数のユーザインターフェース次元をブリッジすることに拡張される。コンテキストは、ライブアプリケーションを３Ｄ（視覚的）データおよび他のデータとともにカプセル化し、一方、ロケールは幾何学的参照系を編成するために使用される。幾何学的関係（ロケール）を意味的関係（コンテキスト）から分離することにより、ディスプレイの構成に大きな柔軟性がもたらされる。複数のユーザが別々のホストで作業している。複数のユーザはコンテキストを共有できるが、スクリーンフォーマットや個人的な好みに応じてコンテキスト表現（３Ｄウィンドウ）を任意にレイアウトできる。これは、３Ｄウィンドウの位置はロケール境界を越えて共有されないことから、別々のロケールを定めることで可能になる。言い換えれば、１つの共有物体を複数のユーザが異なる視点から見ることができる。

【0008】

ＥＰ３４９６０４６Ａ１は、少なくとも２人のインタラクティブ観察者のグループのために、少なくとも１つの表示媒体上に医用画像データを表示する方法に関する。方法は、患者の特定の検査領域の少なくとも１つの３Ｄまたは４Ｄ画像データセットを含む医用画像データを提供するステップと、インタラクティブな仮想環境において医用画像データを表示する可能性を提供するステップとを有し、各インタラクティブ観察者は各自の仮想位置を有する。また、各インタラクティブ観察者は、他の観察者から独立して、自分の仮想位置、および任意選択で自分の視線角度を変更することができる。

【0009】

ＵＳ２０１４／００３３０５２Ａ１はホログラムを表示するための方法およびシステムを開示している。１つの例示的な実施形態は、光源と、光源から画像生成ユニットに接近する光との相互作用により画像を生成する画像生成ユニットと、接眼レンズと、画像からの光を接眼レンズの表面に向けるミラーとを備えるシステムを提供する。接眼レンズの表面は、平面曲線を回転軸を中心に少なくとも１８０°回転させることによって形成された回転体の形状を有する。結果として、様々な側面から見ることができるホログラムが生成される。さらに、ホログラムはユーザによって操作され得る。

【0010】

しかし、上記問題は解決されておらず、すなわち、１人以上のユーザのコマンドに基づいてユーザの分析結果をユーザ間でアクティブに共有する必要があるため、コラボレーションの効率は大きく向上されない。結果として、他のユーザが取得した関連情報をユーザに提供するのに反復的な作業工程が必要になる。

【発明の概要】

【発明が解決しようとする課題】

【0011】

したがって、本発明は、各ユーザが自身のワークスペースにおいて医用画像データの視覚化を完全に管理すると同時に、コラボレーションの効率は高く保たれる、すなわち、専門家ユーザチームが同じ医用画像データについて同時に作業することができる、仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法を提供することを目的とする。本発明の他の目的によれば、個々の作業の選択可能な部分がユーザ間で自動的に共有され得る。本発明はまた、それぞれのコンピュータプログラム、上記方法の実行に使用されるように構成されたユーザインターフェース、およびユーザが依然として医用画像データの視覚化を完全に管理することを可能にする、３Ｄ医用画像データとインタラクトするための仮想コラボレーションのためのシステムを提供することを目的とする。

【課題を解決するための手段】

【0012】

上記懸念のうちの１つまたは複数に対してより良い対処をするために、本発明の第１の態様では、請求項１において医用画像データを分析するための方法が提示される。従属請求項には有用な実施形態が記載されている。

【0013】

この第１の態様によれば、本発明は、仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法を対象とし、
医用画像データは少なくとも２人のユーザによって分析され、
各ユーザは独自のワークスペースを有し、ワークスペースはＸＲワークスペースであり、
方法は、
３Ｄまたは４Ｄ画像情報を含む医用画像データを提供するステップと、
医用画像データを各ユーザのワークスペースにロードし、医用画像データの視覚化表現を各ユーザに同時に表示するステップと、
各ユーザが、個別に、そして互いに独立して、医用画像データの視覚化表現を変更し、各ユーザの各ワークスペースにおいて医用画像データの個別視覚化表現を得ることを可能にするステップと、
少なくとも１人のユーザが、自身のワークスペースにおいて医用画像データの分析プロセスを実行することを可能にするステップと、
分析プロセスが実行されたワークスペースにおいて分析プロセスの結果を表示するステップと、
分析プロセスの結果を少なくとも１つの他のワークスペースとリアルタイムで同期させることで、各ワークスペースが、医用画像データのそれぞれの個別視覚化表現において分析プロセスの結果を表示するステップとを含む。

【0014】

本発明のコンテキストにおいて、ＸＲとの用語は、少なくとも仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、およびシネマティックリアリティ（ＣＲ）を含む総称であるＸリアリティまたはクロスリアリティを表す。ＸＲは、テクノロジーによって実装される、しばしば現実世界の物体と組み合わせられる仮想環境、または、現実世界と仮想環境もしくは物体との組み合わせの体験として定められる。Ｘリアリティは、仮想現実（ＶＲ）、複合現実（ＭＲ）、拡張現実（ＡＲ）、シネマティックリアリティ（ＣＲ）のためのコンテンツ作成を可能にする多様なハードウェアおよびソフトウェア、例えば感覚インターフェース、アプリケーション、およびインフラストラクチャなどを包含する。ユーザはこれらのツールを使用して、デジタルな物体を物理的な世界に持ち込み、物理的な世界の物体をデジタルな世界に持ち込むことによって新しい形の現実を生成する。本明細書では、ＸＲはＶＲ、ＡＲ、またはＭＲなどの様々なテクノロジーを指す。多くの場合、Ｘリアリティを提供するために、特に、左右の目に対してわずかに異なる画像を表示する画面またはメガネを使用することによって、描写される構造の真の三次元体験を提供するコンピュータ生成視覚化表現が実現される。また、多くの場合、ユーザはジェスチャーやその他の動作、例えばＸＲ内を歩き回ったり、仮想物体を掴むことによってＸＲとインタラクトし得る。本発明のＸＲは特に視覚的フィードバックを提供し得るが、他のタイプの感覚フィードバック、例えば聴覚または触覚フィードバックをユーザに提供してもよい。好ましくは、本発明のＸＲは、ユーザに感覚フィードバックを提供するために、ユーザのジェスチャー（例えば、ユーザの指、腕、脚、および／または頭のジェスチャー）または動きのみを入力として使用する。特に、本発明は、ユーザに上記フィードバックを提供するためにアイトラッカーを必要としない可能性がある。すなわち、本発明の視覚化表現は、そのようなアイトラッカーを設ける必要なく、複数の異なる視点位置からユーザに示され得る。

【0015】

ＶＲでは、通常、現実環境はユーザには見えず、仮想世界で完全に覆われている。この効果は通常、目の前方に配置される小さな画面を備えたヘッドマウントディスプレイからなるＶＲヘッドセットによって作成されるが、複数の大きな画面を備えた特別に設計された部屋によって作成することも可能である。仮想現実機器を使用している人は、人工世界を見回したり、人工世界の中で動き回ったり、仮想のフィーチャまたはアイテムとインタラクトしたりすることができる。

【0016】

一般に、複合現実（ＭＲ）は現実世界と仮想世界を融合させて作られる新しい環境および視覚化表現であり、物理的な物体とデジタルな物体がリアルタイムで共存し、インタラクトする。より具体的には、ＭＲは、テクノロジーによって作成される、仮想物体と組み合わせられた現実環境の体験として定められ、例えば、ＶＲヘッドセットがヘッドセットのカメラを使用して、少なくとも部分的に現実環境に対応する仮想現実を作成する。したがって、仮想物体が現実環境の正しい位置に重ねられ、場合によっては現実の物体を隠したり、逆に隠されたりし得る。ＡＲでは引き続き現実世界を見ることができ、現実環境の上に仮想物体が重ねられる（すなわち、被せられる）。この効果は、ユーザが現実環境を見ることを可能にするが、メガネを介して仮想物体を現実環境上に重ねることができるよう、カメラを使用して現実環境の３Ｄモデルを形成する、Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓなどの特殊なメガネによって作成され得る。

【0017】

したがって、ＭＲまたはＡＲは、表示される視覚化表現の背景として現実環境を含み得る。例えば、それぞれＡＲメガネをかけている２人のユーザが同じ部屋におり、両ユーザは医用画像データの独自の個別ビューを有しつつ（すなわち、各ユーザが医用画像データの独自の視覚化表現を有しつつ）、現実世界およびＡＲにおいて互いにインタラクトすることができる。

【0018】

視覚化表現は、現実の物体（例えば、人間または動物の心臓）をかたどったもの（すなわち、画像）であり得る。すなわち、視覚化表現は現実の物体を表すモデルであり、視覚化表現のパラメータは現実の物体に対して変更され得る（例えば、大きさ、コントラスト、色、部分的に拡大された領域など）。医用画像データを視覚化するために、ボリュームレイキャスティングの技術が使用されてもよい。この技術では所望の画素ごとに光線が生成される。単純なカメラモデルを使用すると、光線はカメラの投影中心（通常は視点位置またはアイポイント）から出発し、カメラとレンダリングされるボリュームとの間に浮かぶ仮想平面上の画素を通過する。光線は、一定の、または調整される間隔で、ボリューム全体にわたりサンプリングされる。データは各サンプル点で補間され、伝達関数を適用することでＲＧＢＡサンプルが形成され、その結果が光線の累積ＲＧＢＡに加えられ、光線がボリュームを出るまでこのプロセスが繰り返される。このプロセスを画面上の全てのピクセルに対して繰り返することで完全な視覚化表現が形成される。

【0019】

例えば、医用画像データはボリュームレンダリングを使用して視覚化され得る。視覚化表現のボリュームレンダリングは、参照により本明細書に援用される、Ｃｈａｒｌｅｓ Ｈ．ＨａｎｓｅｎおよびＣｈｒｉｓｔｏｐｈｅｒ Ｒ．Ｊｏｈｎｓｏｎによって編集された“Ｔｈｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｈａｎｄｂｏｏｋ”、Ｅｌｓｅｖｉｅｒ Ｂｕｔｔｅｒｗｏｒｔｈ Ｈｅｉｎｅｍａｎｎ（２００５）、特に、１２７頁から始まるＡｒｉｅ Ｋａｕｆｍａｎｎによる“Ｏｖｅｒｖｉｅｗ ｏｆ Ｖｏｌｕｍｅ Ｒｅｎｄｅｒｉｎｇ”の章に記載されている技術によって実施され得る。

【0020】

技術的には、ＸＲは、ユーザに立体画像を提示することによって実現され、すなわち、左右の目に対して異なる画像が表示され、脳は２つの異なる画像を組み合わせて真の三次元シーンを作成する。このような両眼画像は任意のＸＲディスプレイ上に、例えば、ＶＲヘッドセット、ＡＲメガネ、もしくはマルチプロジェクション環境、またはシャッターメガネとともに使用される、２つの画像を断続的に表示する画面上に表示され得る。ＸＲにおいて、視覚化表現は立体視レンダリングによって表示され得る。視覚化表現は、わずかな空間オフセットを有する２つの視点位置、すなわち、左眼用の１つの視点位置および右眼用の１つの視点位置のために２度計算される。このように計算された２つの視覚化表現が、例えばＶＲヘッドセットにおいて、ユーザの左右の目に対してそれぞれ表示されると、ユーザは真の三次元（ＶＲ）であるという印象を受ける。これにより、ＸＲにおいて視覚化表現を変換、観察、および分析することができる。ＸＲは、ＸＲを使用しているユーザが人工世界を見回したり、人工世界の中で動き回ったり、仮想の物体、フィーチャ、またはアイテムとインタラクトすることを可能にする。この効果は通常、左右の目の前方に配置される小さな画面を有するヘッドマウントディスプレイを備えたＸＲヘッドセットによって作成されるが、複数の大きな画面を備えた特別に設計された部屋によって作成することも可能である。ユーザがＸＲ内を動き回るには、視覚化表現がユーザの頭の動きに合わせて動くよう、ヘッドセットによって位置および向きの情報をＸＲ生成電子デバイス（例えば、コンピュータ）に送信する必要がある。

【0021】

医用画像データは、各ＸＲワークスペースにおいて視覚化表現として視覚化されるように動的にレンダリング（例えば、ボリュームレンダリングまたはサーフェスレンダリング）され得る。より詳細には、ボリュームレンダリングは、空間強度データ（すなわち、ボクセルデータ）に基づき得る。医用画像データの解像度に応じて、空間内の各点または空間内の領域について強度データが存在し得る。言い換えれば、ボリュームレンダリングでは利用可能な各画像データ情報がレンダリングされ、かなり高い計算能力が必要とされる。一方、サーフェスレンダリングでは１つの「レイヤー」（すなわち、可視表面）のみがレンダリングされ、レイヤーの背後に存在する画像データはレンダリングされない。サーフェスレンダリングされた医用画像データは、複数の三角形の表面からなるコンピュータグラフィカルモデルであり得る。その結果、サーフェスレンダリングの場合、要求される計算能力はより少ない。十分な視覚化データ密度を提供しつつ、レンダリング処理中の効率を高めるために、関心領域はボリュームレンダリングの方法を使用してレンダリングし、周辺領域はサーフェスレンダリングの方法を使用してレンダリングするように両技術が組み合わせられてもよい。

【0022】

ある好ましい実施形態では、医用画像データはボリュームレンダリング物体を使用して視覚化され、これは、より複雑な解剖学的構造または非常に個別な構造、例えば弁尖、狭窄、石灰化、バイオプロテーゼ、もしくは腱索断裂などに適しているという利点を有する。代わりにまたは追加で、医用画像データは、解剖学的構造の少なくとも一部の動的なコンピュータ生成モデルを使用して視覚化されてもよい。このようなモデルは、解剖学的構造のより単純なバージョン／抽象化を示すという利点、解剖学的構造のナビゲーションおよび解釈を容易にするという利点、および医用画像データの品質にあまり依存しないという利点を有する。モデル（すなわち、解剖学的構造を簡略化したもの）は、解剖学的構造内の特定の界面、例えば血管または心腔の血液－組織界面の三角形メッシュ表面モデルであり得る。モデルは、各フレームの線または表面を張る複数の点を含み得る。また、モデルは数学モデル、例えば、スプライン曲線によって張られた表面または立体などのパラメータ化されたモデルであり得る。モデルは動的であり。すなわち、モデルは期間にわたり解剖学的構造の動きに追従する。動的モデルの目的は、過度に多い細部によってユーザの視界を遮ることなく、解剖学的構造の少なくとも一部、例えば動いている心臓の１つまたは複数の心腔を視覚化することである。したがって、そのような簡略化されたモデルは、例えば、解剖学的構造の特定の部分についてインターベンションの計画を立てたり、測定を行ったりする際にユーザに指針を提供するのに有用である。動的３Ｄモデルの３Ｄ視覚化表現は、典型的には、動的形状またはサーフェスモデルのレンダリングであり、レンダリングは、シェーディング、レイキャスティング、およびアンビエントオクルージョンなどのコンピュータグラフィックスで実現可能な技術によって実行され得る。ボリュームレンダリングは、例えば、参照により本明細書に援用されるＵＳ２００５／０２５３８４１Ａ１に記載されているような当該技術分野で知られている任意のボリュームレンダリング技術によって実行され得る。

【0023】

また、医用画像データは解剖学的構造の情報を含み、解剖学的構造は、人体または動物の体の器官または器官の一部、例えば心臓であってもよく、血管または骨構造であってもよい。より詳細には、医用画像データは、３Ｄ座標系内の点を含む３Ｄ散布図を含み、ここで、各点は３Ｄ座標系内に各自のｘ、ｙ、およびｚ成分を有する。上記で概説されたものに加えて、医用画像データはデジタル画像データ、例えばＤＩＣＯＭ規格のデジタル画像データ、すなわち、ボクセルの３次元アレイを含み、各ボクセルがグレースケール値を有するデジタル画像データを含み得る。そのような医用データ（３Ｄ医用画像）は、ＭＲ、コンピュータ断層撮影（ＣＴ）、ポジトロン断層撮影（ＰＥＴ）、または超音波（ＵＳ）などの医用イメージングモダリティを使用して、動的解剖学的構造を含む視野から取得され得る。解剖学的構造が心臓である場合、超音波、特に三次元心エコーが好適に使用され得る。すなわち、異なる医用画像データは、異なる周波数を有する超音波画像、異なる加速電圧を有するコンピュータ断層撮影、または造影剤を含む／含まない画像から導出され得る。さらに、医用画像データは４Ｄ医用画像データを含み、ここで、第４の次元は時間である。以下、４Ｄ医用画像を形成する３Ｄ画像の時系列からの１つの３Ｄ画像は「フレーム」とも呼ばれ得る。すなわち、４Ｄ医用画像データは時間経過に伴う３Ｄ画像の視覚化表現を含み、つまり、視覚化表現のシーケンスが、例えば６０～１００の視覚化表現／秒のフレームレートで動的に表示される。すなわち、４Ｄ医用画像データは、例えば患者の胸部の動作を視覚化するために、動画として（すなわち、シネモードで）視覚化され得る。４Ｄ医用画像データが視覚化される場合、シーケンスは映画のようにレンダリングされ得る。動的に動く解剖学的構造の滑らかな表現を可能にするために、３Ｄ画像は、例えば５～１００画像／秒のフレームレート、好ましくは３０画像／秒を上回るレートで取得され得る。医用画像データは、さらなる医用および／または管理情報、例えば患者の情報や、現在行われている治療などを含み得る。医用画像データは複数の画像データを含み、複数の画像データは好ましくは、互いに重ねることができるように空間内で互いにレジストレーションされる。各ユーザは自身のワークスペースに表示される画像データを選択することができる。したがって、医用画像データは、全ユーザによって共有され得る共有コンテンツと見なされ得る。共有コンテンツは生データ、例えばデジタル画像データ、および／または、３Ｄ座標系内の複数の点を含む３Ｄ散布図を含み得る。さらに、または代わりに、共有コンテンツは、医用画像データに基づくスライス、セグメンテーション、またはサーフェスモデルなど、前処理されたデータを含み得る。そのような前処理されたデータはモデルデータと見なされ得る。したがって、各ワークスペース内の視覚化表現は生データ（すなわち３Ｄデータ）の視覚化表現およびモデルデータ（すなわち前処理されたデータ）の視覚化表現を含み得る。モデルデータと生データとを共有コンテンツとして組み合わせることにより、各ワークスペースで処理される、通常は複雑である生データが少なくなり、大きな計算能力を要することなく、通常のパソコンを使用してコラボレーションを行うことができる。言い換えれば、前処理されたデータを生成するために必要な負荷の重い計算が一元的に実行され、その結果が共有コンテンツとして各ユーザに提供され得る。各ワークスペースで共有コンテンツを提供することにより、ユーザに、コラボレーション中に議論される問題の全体像を提供することができる。例えば、最も重要な器官または器官の一部（すなわち、関心領域）の視覚化には生データが使用され、関心領域の周囲の視覚化にはモデルデータが使用され得る。例えば、心臓弁を視覚化するのに生データが使用され、心臓の残りの部分を視覚化するのにモデルデータが使用されてもよい。結果として、視覚化の最適な効率を得ることができる。また、生データの視覚化表現のみを見るために、各ユーザがモデルデータを個別にオフ／オンに切り替えてもよい。結果として、各ユーザは、自身が医用画像データを分析するために両方の視覚化表現を必要とするか否かを個別に決定できる。

【0024】

医用イメージングモダリティは、毎秒最大３０のボリューム（すなわち、検査対象領域を表す医用画像データ）を取得可能であってもよく、したがって、新しい医用画像データが利用可能になるたびに、レンダリングされる３Ｄ物体が更新され得る。言い換えれば、レンダリングされる３Ｄ物体は動的に更新され得る。これは、コラボレーションが行われている間に同時に患者が検査される場合、例えば患者が緊急を要する状態にある場合、特に有用である。

【0025】

なお、各ユーザは他の全てのユーザと同じ医用画像データを共有することに留意されたい。また、分析プロセスの結果は全ユーザによって共有される医用画像データに結合されるため、分析プロセスの結果も他の全てのユーザによって共有される。一方、各ワークスペースで表示される視覚化表現は、医用画像データの個別ビューを得るためにユーザによって個別に変更され得る。言い換えれば、本発明によれば、医用画像データおよび分析プロセスの結果は同一で全てのユーザによって共有され、このコンテンツの表示（すなわち、医用画像データおよび結果の視覚化）はユーザ自身に委ねられる。その結果、本発明によれば、各ユーザは、自身が望むように医用画像データを調べる上で最大限の自由を有すると同時に、他のユーザの分析プロセスの結果がリアルタイムで各自のパーソナライズされた視覚化表現内に（すなわち、医用画像データの各自の個別ビュー内に）表示される。したがって、医用画像データおよび分析プロセスの結果は、各ワークスペースでの医用画像データの視覚化表現から切り離されている。言い換えれば、各ユーザが医用画像データの自身の個別ビューを有する一方で、医用画像データおよび結果は全ユーザで同じである。

【0026】

ユーザはコラボレーションセッションの参加者であり、具体的には医師であり得る。例えば、学際的心臓チーム（ＩＨＴ）が本発明を使用し、チームは、インターベンショナルカーディオロジスト、心臓血管外科医、ケア／看護師コーディネーター、ＯＲ／カテーテル室看護師、イメージングの専門家、および心臓麻酔科医からなり得る。各ユーザは独自のＸＲワークスペースを使用する。あるいは、例えば１人のユーザが教師で、別のユーザが生徒であるような事例では、少なくとも２人のユーザが同じワークスペースを共有し得る。

【0027】

各ＸＲワークスペースはケーブルまたは無線接続を介して別のＸＲワークスペースに物理的に接続されていてもよい。各ワークスペースはプロセッサを含む独自のパーソナルコンピュータを有し得る。各コンピュータはクライアントコンピュータとして機能し得る。あるいは、少なくとも一部のワークスペースが１つのクライアントコンピュータの一部であってもよい。すなわち、複数のＸＲワークスペースが異なる場所に存在していてもよく、または、例えば同じ部屋に設けられていてもよい。

【0028】

各ユーザが個別に、かつ互いに独立してユーザのＸＲワークスペースにおける視覚化表現を変更することを可能にするステップは、他のユーザが、別のＸＲワークスペースで視覚化表現（すなわち、医用画像データの個別ビュー）がどのように変更されたかを知ることがないように実行される。具体的には、空間内の視点位置および視線方向が変更され得る。また、３Ｄ医用画像データを切断する平面（本明細書では「切断面」と呼ばれる）の位置または向きや、そのような平面を視覚化表現において表示するモードが個別に調整されてもよい。例えば、ユーザは、以下に述べるいくつかのいわゆる「切断面」モードのうちの１つを選択し得る。あるモードでは切断面は表示されず、別のモードでは切断面は３Ｄ画像ボリュームを切断し、画像コンテンツ上に重ねられる。別のモードでは、切断面は、３Ｄ画像データの対応する多断面再構成（ＭＰＲ）を表示する。さらに、視覚化表現の不透明度および色が変更され得る。一般に、視覚化表現の視覚化パラメータ、例えばボリュームレンダリングパラメータは変更され得る。具体的には、視覚化パラメータは閾値、不透明度、およびコントラストなどを含み得る。さらに、視覚化表現は「ライブ」で、すなわち、視覚化表現を見ながら即座に調整され得る。

【0029】

本発明の一態様によれば、分析プロセスの結果が少なくとも１つの他のワークスペースとリアルタイムで同期され、各ワークスペースは、医用画像データのそれぞれの個別視覚化表現において分析プロセスの結果を表示する。分析プロセスの結果は、全ユーザによって共有される医用画像データに属するため（上記の概略的説明も参照されたい）、この場合の同期とは、分析プロセスで得られたデータをそれぞれのワークスペースから共有医用画像データに送ることを意味する。すなわち、分析プロセスの結果は、作成されると同時に他の全てのユーザに表示される。言い換えれば、分析プロセスが行われた直後に、他の各ユーザは結果を各自の医用画像データの視覚化表現において見ることができる。例えば、各ユーザは、自身の医用画像データの視覚化表現において、他のユーザの注釈をライブで見る。これにより、複数のユーザ間での医用画像データの「引き渡し」が廃止され、結果としてユーザ間のインタラクションが少なくなり、測定結果および注釈をより素早く共有することができる。

【0030】

一実施形態によれば、例えば各ユーザの「アバター」を表示することによる、他のユーザの位置および／または視線方向を示す視覚化表現以外の表示はワークスペース内に示されない。したがって、視覚化表現の一部がそのような表示によって覆われたり、かつ／または妨げられたりするおそれがない。

【0031】

例えば、分析プロセスの実行は、視覚化表現内の平面の選択を含み得る。その場合、プロセスは、好ましくは、視覚化表現の選択された平面の多断面再構成（ＭＰＲ）を表示するステップ、特に、選択された平面に対応する三次元視覚化環境内の位置において表示するステップを含む。多断面再構成は、いくつかの元となる画像平面から再構成された画像である。例えば、ＣＴでは通常、横断面像のスタックが取得される。また、分析プロセスにおいて、ユーザは僧帽弁の直径を測定し、それに基づきライブラリから最適な弁を選択し得る。したがって、横方向とは異なる向きの画像のスタックと交差する断面を表示する場合、ユーザは所望の向きを選択し、例えば、様々な横方向スライス内のそれぞれの最も近いピクセルから補間を行うことによって、ＭＰＲが作成される。視覚化表現に加えてＭＰＲを表示することによって、ユーザは解剖学的構造をより詳細に見ることができる。仮想現実環境では、１８自由度（ＸＲヘッドセットおよび２つのコントローラ）のおかげで、掴むことが可能なＭＰＲ平面を３Ｄボリューム内で非常に素早く正しい位置に配置することができ、配置は検証可能であり、また、ＭＰＲ平面上または視覚化表現内での測定がより正確かつ信頼できるものになる。また、分析プロセスは、各ユーザによって自身のワークスペースで個別に実行され得る。すなわち、分析プロセスの実行は他のユーザ間で共有されない。例えば、分析プロセス中のワークスペース内での現実のツール（例えば、コントローラまたはユーザが保持する別の現実の物体）または仮想のツール（例えば、仮想の巻き尺、または分析プロセスの実行に使用される物体の視覚化表現）の動きまたは軌道は、分析プロセスが実行されるワークスペース内でのみ視覚化されてもよい。したがって、測定結果のみが全ユーザ間で共有され得る。すなわち、分析プロセスの間、ユーザは、他のユーザが分析プロセスを実行することにより、自身の個別分析プロセスを実行する際に気を取られたり、邪魔されたりすることはない。また、分析プロセスが少なくとも２人のユーザによって同時に実行されてもよい。分析プロセス中に実行される操作（すなわち、サブステップ）はユーザ間で共有されないため、ユーザは分析プロセスの実行において互いを妨害しない。例えば、２人以上のユーザが、互いの邪魔をすることなく、人間の心臓の僧帽弁の直径を同時に測定し得る。

【0032】

なお、例えば分析プロセスの結果が利用可能であることを各ユーザに通知するために、分析プロセスの結果のみが各ワークスペースで共有および視覚化されることに留意されたい。さらに、各ユーザは、視覚化表現のフィーチャを分析するために自身のアプローチを他の全てのユーザに対してすぐに示さず、自分のペースおよび精度で各自の分析プロセスを実行することができる。例えば、ユーザは、分析結果を全てのユーザ間で共有する前に、自身の個別視覚化表現を分析するためのいくつかの異なる方法を試してもよい。したがって、各ユーザは、他のユーザによって観察されることなく、各自のやり方で分析プロセスを実行する自由を有する。結果として、各ユーザの作業雰囲気が改善され、分析プロセスの結果の精度が向上する可能性がある。例えば、分析プロセスを実行したユーザが自分のパフォーマンスに満足できない場合、ユーザは、他のユーザに過剰な情報（すなわち、不適当な測定結果）を提供することなく、分析プロセスを再度行うことができる。好ましくは、ユーザは、他の全てのユーザ（すなわち、ワークスペース）との分析プロセス結果の同期を開始するために、該ユーザが自身の分析プロセスを終えたか否かを知らせる合図を送ることができる。合図は仮想ボタンを押したり、または分析プロセスを終了することによって実行されてもよい。例えば、ユーザは、分析プロセス中に使用される仮想ツールを無効化することによって分析プロセスが終了したことを知らせ得る。

【0033】

例えば、分析プロセスの結果は、医用画像データの視覚化表現のフィーチャの少なくとも１つの測定結果、例えば距離、直径、または厚さであり得る。より詳細には、測定結果は、距離測定が開始されるべき第１の位置の第１のドット（始点）、距離測定が終了されるべき第２の位置の第２のドット（終点）、および第１のドットと第２のドットとを結ぶ線によって表示され得る。具体的には、分析プロセスの結果は三次元注釈、例えば、ユーザによって自身のワークスペース内でフリーハンドで描かれ得る３Ｄの線であってもよい。言い換えれば、分析プロセスの結果は、平面オブジェクトではなく、３つの次元のうちのいずれかにおいて延在する３Ｄ座標系内の３Ｄオブジェクトであってもよい。例えば、ユーザは心臓を通る血流をさかのぼったり、冠状動脈の進路をたどったりしてもよい。

【0034】

本発明の第１の態様は、各ユーザが、医用画像データの各自の好みの視覚化表現を生成できるという利点、すなわち、各ユーザが、医用画像データの各自の個別ビューを有するという利点を提供する。さらに、各ユーザは独自のやり方（例えば、個々の視線方向、切断面位置、閾値、および速さ）で医用画像データの視覚化表現を分析し、および見ることができ、すなわち、他のユーザと比較して、一部のユーザは特定の手順により多くの時間を必要とする可能性がある。視覚化表現内にはアバターが存在しないため、そのようなアバターの背後に医用画像データの一部が隠れることはない。また、経験の浅いユーザは、自分では理解できない主題をより良く理解するために、別のユーザが作成した結果をリアルタイムで追うことができる。

【0035】

さらに、ユーザは医用画像データによって表される解剖学的構造の真の三次元ビューを取得するので、ＸＲは、ユーザが自信を持って視覚化表現を見るおよび分析することができるという利点を提供する。さらに、ユーザは視覚化された物体（例えば、人間の心臓の視覚化表現）の周りを歩き回ることができ、場合によってはその中に入ることさえできるので、ユーザは、ユーザの前方の空間を完全に埋めるように、視覚化された物体を非常に大きな倍率で表示することができる。したがって、ユーザは特に優れた概観を有し、高い精度で測定を行うことができる。また、ＸＲではユーザ入力イベントの取り扱いが特に容易かつ直感的である。物体の回転や視覚化表現の設定の調整など、二次元画面上では相当にやりにくい可能性がある動作が、ＸＲでは、好ましくはＸＲコントローラを使用して、非常に直感的で素早い可能性がある。

【0036】

一実施形態では、医用画像データは人間の心臓の画像、好ましくは４Ｄ画像を含む。

【0037】

本発明は低侵襲心臓手術、例えば心臓弁の手術または心臓弁置換術などの計画を立てる際に特に有用であり得る。経カテーテル弁置換術などの新しい低侵襲手術は、以前は手術不能または開心術に適さないと考えられていた患者のために使用できる。一部の経カテーテル弁置換術（例えば、ＴＡＶＲ）は完全に折りたたみ可能な生体弁を使用する。しかし、これらのインターベンションを成功させるには、新しい弁が適切に機能し、左心室流出路（ＬＶＯＴ）または冠動脈を妨げることがないよう、存在する病理／幾何学的形状を完全に分析および理解するとともに、新しい弁の選択、サイズ設定、および配置を慎重に行うことが重要である。これはＶｉＶ（ｖａｌｖｅ－ｉｎ－ｖａｌｖｅ）インターベンションに特に当てはまる。これにより、低侵襲ＶｉＶを用いて機能不全の弁（生体僧帽弁であり得る）が新しい弁に置き換えられる。これにより、新しい弁が古い弁の内側に配置され、展開するにつれて古い弁が置き換えられる。したがって、弁を正しく配置されること、および正しい大きさを有することが重要である。特に、新しい僧帽弁がＬＶＯＴを妨げないことが重要である。したがって、ＶｉＶインターベンション計画の場合、医用画像データは僧帽弁、ＬＶＯＴ、および左心室を含む。

【0038】

本発明のある好ましい実施形態では、分析プロセスの結果の表示は、ユーザによって自身のワークスペースにおいて選択的かつ個別に有効化および無効化され得る。

【0039】

分析プロセスの各結果は、医用画像データが定義される３Ｄ座標系内の特定の位置に配置され得る（すなわち、位置はｘ、ｙ、およびｚ座標によって定義され得る）。すなわち、結果は医用画像データに対して特定の位置に配置され得る。医用画像データおよび結果は全ユーザによって共有されるため、ユーザが視覚化表現（すなわち、医用画像データの個別ビュー）をどのように個別に変更したかによらず、結果は各ワークスペース内に表示される。ワークスペースに表示されている他の物体を結果が覆う可能性を下げるために、結果は比較的細い線で視覚化されてもよい。それでも、結果が視覚化表現および／または他の結果の一部を覆う状況が生じ得る。したがって、本発明の上記実施形態によれば、結果は消えるように無効化され、結果の後ろに位置する物体への視界が提供され得る。

【0040】

各ユーザは関心領域に関して異なる点に注目する可能性があるため、各ユーザが、どの結果が関心領域への十分な視界を妨げ、したがって無効化されるべきかを個別に決定できることは重要である。すなわち、各ユーザは、自身または他のユーザによって作成された結果を選択的に無効化し得る。また、結果の有効化または無効化は少なくとも１つの他のワークスペースに影響を及ぼさない可能性があり、結果の有効化および無効化は各ワークスペースで独立して実行され得る。さらに、上記方法は、結果の背後に配置された物体を結果を通して見ることができるよう、ユーザが結果の透明度を調整することを可能にし得る。特に、結果が無効化された後、ユーザは結果を再度有効化し、自身のワークスペース内で結果を再表示してもよい。このため、結果が元々配置されていた場所の情報をユーザに提供するために、無効化された状態の結果は小さな矢印などで示されてもよい。その結果、ユーザは結果を再度有効化するために結果を容易に取り戻すことができる。

【0041】

本実施形態によれば、各ユーザが視覚化表現（すなわち、医用画像データの個別ビュー）および結果の両方を、作業性に関する自身の要求を満たすように正確に個別調整できるという点で、各作業空間における視覚化表現はさらに個別化され得る。

【0042】

本発明の他の好ましい実施形態では、少なくとも１つのワークスペースはＡＲワークスペースであり得る。すなわち、現実環境がワークスペースの背景として見える状態で、視覚化および結果の両方がワークスペースに表示される。例えば、現実環境はユーザの周辺領域（例えば、手術室または診療所）であり得る。さらに一実施形態によれば、ＡＲワークスペース内の少なくとも１つの視覚化パラメータ、特に、医用画像データの視覚化表現および／または分析プロセスの結果の透明度および／または色は、ユーザが、現実環境に重ねられた医用画像データの視覚化表現および／または分析プロセスの結果を目標コントラストで見ることができるように自動的に調整され得る。

【0043】

より詳細には、視覚化パラメータは、医用画像データおよび／または結果がどのように視覚化されるかを定める値であり得る。したがって、これらの値を変更すると、それに応じて視覚化も変化する。例えば、視覚化パラメータは透明度の値、すなわち物体の透明さの値を含み得る。例えば、物体の透明度が低い場合、物体で覆われている領域は見えない。一方、物体の透明度が高い場合、物体で覆われている領域は少なくともわずかに見える可能性がある。また、視覚化パラメータは視覚化表現の色、すなわち、視覚化の色相または色調を含み得る。より詳細には、色相は色の主要な特性（カラー・アピアランス・パラメータとも呼ばれる）の１つである。色相は通常、単一の数値（色空間座標図（例えば、色度図）またはカラーホイールの中心または中性点または軸を中心とした角度位置にしばしば対応する）によって、または、その主波長もしくはその補色の主波長によって定量的に表すことができる。他のカラー・アピアランス・パラメータはカラフルネス、彩度（強度またはクロマとも呼ばれる）、明度、および輝度である。本実施形態では、とりわけ、これらのパラメータは、ワークスペース内で目標コントラストを実現するために自動的に調整され得る。目標コントラストは最適コントラストとも呼ばれる。ワークスペース内のコントラストは、ワークスペース内の最も明るい点と最も暗い点と間の差として定義され、ＡＲワークスペースでは現実環境も考慮される。また、ワークスペース内のコントラストはコントラスト比またはダイナミックレンジとして定義されてもよい。医用画像データの視覚化表現および／または結果は、ＡＲワークスペース内のコントラストが目標コントラストになるように調整され得る。言い換えれば、現実環境（背景）が比較的明るい場合、全体のコントラストを目標コントラストまで下げるために視覚化表現および／または結果の輝度も上昇させられる。目標コントラストは、視覚化表現の検出可能性および目立ちやすさに関して最も適切であるとして定義された所定の値であってもよい。あるいは、目標コントラストは、ユーザの個人的な好みを満たすようにユーザが個別に調整および／または設定してもよい。

【0044】

一実施形態によれば、各ワークスペースは、医用画像データの視覚化表現および分析プロセスの結果が表示される独自の仮想環境を有し得る。仮想環境は視覚化表現が表示される背景であり得る。さらに、上記実施形態によれば、方法は、各ユーザが個別に、かつ独立して、好ましくは仮想環境の透明度および／または色を設定することによって、仮想環境の視覚化パラメータを調整し、ワークスペース内のコントラストを調整することを可能にするステップをさらに含み得る。仮想環境は視覚化表現が前に配置される背景であり得る。言い換えれば、仮想環境は視覚化表現を取り巻く周辺であってもよい。例えば、ＶＲワークスペースが使用される場合、仮想環境は、ユーザに快適な作業環境を提供するために、定められた色および明るさを有する有色サーフェスを含み得る。すなわち、目標コントラストとなるようなワークスペース内のコントラストを提供するように仮想環境が調整され得る。さらに、ユーザは仮想環境を個別に調整し得る。また、ＡＲワークスペースが使用される場合、現実環境もワークスペース内の背景として表示される。しかし、ＡＲワークスペースであっても、ユーザが現実環境を見ることができるように特定の透明度を有する仮想環境を有し得る。しかし、ワークスペース内のコントラストが目標コントラストになるよう、非常に明るい現実環境を暗くするために仮想環境の透明度の値が調整可能であってもよい。これは、ＡＲワークスペースが手術室などの比較的明るい環境で使用される場合に特に有用である。言い換えれば、ＡＲワークスペースの仮想環境は、現実環境を認識することを可能にしつつ、ユーザが、ＡＲワークスペースを現実環境の条件に自動的に適合させることを可能にする。さらに、ＡＲワークスペースを現実環境の様々な照明条件に容易に適合させることができる。結果として、現実環境の照明状態によらずＡＲワークスペースを適切に使用することができる。

【0045】

好適には、仮想環境は少なくとも１つの仮想制御要素を含み得る。例えば、仮想制御要素はスライドバーおよび／またはボタンであってもよい。制御要素は、視覚化表現の変更などの方法ステップを実行するために、並びに／または、画像の保存、医用画像データのロード、および他のユーザとの通信などの他の管理処理を実施するために使用され得る。また、制御要素は、いくつかの所定の制御コマンドが列挙されているドロップダウンメニューを提供し得る。

【0046】

他の好ましい実施形態では、各ユーザが個別に、かつ独立して医用画像データの視覚化表現を変更することを可能にするステップは、ユーザがワークスペース内の仮想フィーチャとインタラクトするためにＶＲコントローラを使用することを含み得る。具体的には、視覚化表現を変更するためにハンドジェスチャーが使用され、好ましくは、ワークスペース内の物体を掴むことによって使用される。ＸＲワークスペースにおいて、ＸＲヘッドセットを装着し、少なくとも１つのコントローラを一方の手に持っている（好ましくは、それぞれの手にコントローラを持っている）ユーザは、視覚化表現とともにコントローラを見ることができる。コントローラは、ボタン、トラックボール、タッチパッドなどのさらなる操作要素を含むハンドヘルドデバイスであり得る。ＶＲワークスペースが使用される場合、コントローラがＶＲワークスペース内のどこに配置されているかをユーザに知らせるために、ＶＲワークスペース内にコントローラの表示（例えば、仮想コントローラ）が描写されてもよい。好ましくは、ユーザはまた、現在の手の位置および向きに対応する位置および向きで仮想コントローラを見ることができる。したがって、ＸＲワークスペースは、ユーザがコントローラを視覚化表現に向けて動かし、特定のボタンを押すことでそれを掴み、現実世界の物体についてそうするように、手の動きによって視覚化された物体を移動および／または回転させることを可能にする。これにより、ユーザは１８自由度（ＸＲヘッドセットおよび２つのコントローラのそれぞれについて６自由度、すなわち、３回転自由度および３並進自由度）を有し、視覚化された物体を正しく直感的に観察および分析できる。これは物体との普通のインタラクションと良く似ている。コントローラの動きはトラッキングされ、表示の対応する動きがＶＲワークスペース内で視覚化され得る。一方、ＡＲワークスペースを使用する場合、現実のコントローラが見えたままであってもよい。しかし、ＡＲワークスペースであっても、コントローラをより目立ちやすくするために仮想コントローラが視覚化されてもよい。

【0047】

位置情報は、少なくとも１つのセンサ、例えばコントローラ内に設けられた加速度センサによって取得され得る。より一般的には、１つまたは複数のコントローラの位置および／または向きがＶＲヘッドセット上のカメラによってトラッキングされる。センサまたはカメラによって出力されたデータは、データを処理するプロセッサに入力され、コントローラおよび仮想コントローラの視覚化表現の操作によって実行されるコマンドが制御され得る。また、センサの出力に応じて、プロセッサはジェスチャーが遅いか速いかを決定してもよい。また、回転運動が検出されてもよい。結果として、プロセッサは対応する処理を実行し得る。

【0048】

コントローラによって実行される操作は、視覚化表現のズームイン／ズームアウト、ワークスペース内の視覚化表現の縮小／拡大、視覚化パラメータおよびレンダリング設定／パラメータの調整、並びに／または表示されている物体、特に医用画像データの視覚化表現を掴むことを含み得る。

【0049】

さらに、コントローラはユーザによって行われるハンドジェスチャー、例えば、何かを掴むジェスチャー、ズームインジェスチャー（２本の指が近づく）、ズームアウトジェスチャー（２本の指が離れる）、およびワイプジェスチャなどを受け取り得る。また、例えば、視覚化表現がコントローラを使用して仮想的に掴まれ、回転または移動されてもよい。ＸＲワークスペースにおいて、現実のコントローラが仮想コントローラとして視覚化され、ユーザがハンドジェスチャーによってワークスペース内の物体を少なくとも掴んで動かすことを可能にしてもよい。この文脈での「動く」や「移動」は回転を意味し得る。コントローラはまた、ユーザがワークスペース内の物体、特に視覚化表現の大きさおよび／または形状を変更することを可能にし得る。ある有用な実施形態によれば、上記コントローラは、ユーザが視覚化表現の位置、大きさ、形状、および／または向きのうちの任意の１つまたは複数を変更することを可能にする。特に、視覚化表現（すなわち、医用画像データの個別ビュー）の位置および／または向きが調整され得る。しかし、ある有用な実施形態では、視覚化表現をより良く分析するために視覚化表現の大きさも変更され得る。好ましくは、そのような調整は、現実世界の物体についてそうするように、ハンドジェスチャーによって視覚化表現を掴み、その位置、大きさ、および／または向きを変更することによってコントローラを使用して行われる。ある有用な実施形態によれば、コントローラは、ユーザがジェスチャー制御によってパラメータを調整することを可能にする。例えば、ユーザはＸＲワークスペース内で手の動きを用いて特定のパラメータに触れることによってそのパラメータを選択する。次に、ユーザはジェスチャーを使用して、例えば仮想スライダーを操作したり、または、コントローラを水平に（または垂直に）動かすことでスライダーを参照せずにパラメータを調整したりし得る。適切なパラメータが視覚化表現に関連付けられていて、ボリュームレンダリング閾値、スムージング、照明強度、大きさ、視覚化される物体の不透明度、およびシネモードの開始／停止などから選択されてもよい。

【0050】

その結果、ユーザは、例えば物体を動かす、または操作要素を操作するなどの操作をＡＲ／ＶＲワークスペース内で直感的に行うことができ、そのようなコラボレーションの効率を高めることができる。

【0051】

また、有用な実施形態では、ワークスペースは、視覚化表現の照明に影響を及ぼすように、ユーザがワークスペース内で掴んで動かすことができるランプを備え得る。有用な実施形態では、シーンの明るさ、特に移動可能なランプの明るさが調整され得る。また、ランプの位置を調整することにより、視覚化表現を照らす方向が変更され得る。これは、視覚化された解剖学的構造のキャビティを照らすのに特に役立つ。

【0052】

好ましくは、各ユーザが個別に、かつ独立して医用画像データの視覚化表現を変更することを可能にするステップは、視覚化表現を回転させる、視覚化表現の一部を切り取る、視覚化表現のレンダリングパラメータを変更する、視覚化表現の画像設定を変更する、視覚化表現のコントラストを変更する、視覚化表現のボクセル強度閾値を変更する、および／または視覚化表現のサイズを変更するように視覚化表現を操作することを含む。言い換えれば、視覚化表現は操作され、例えば、ユーザが視覚化表現の別の部分または領域を見たい場合は回転される。すなわち、各ユーザは医用画像データの独自の個別ビューを有する。同様に、各ユーザは個別に、そのユーザにとって関心のある視覚化表現の部分のみを表示する視覚化表現を取得するために、視覚化表現の一部を切り取ってもよい。視覚化表現のレンダリングパラメータはレンダリングの種類（すなわち、ボリュームレンダリングおよび／またはサーフェスレンダリング）を含み、画像設定はサーフェスの色およびシェーディングオプション（すなわち、空間内の光源の位置）を含み得る。また、ユーザは、医用画像データがスライスとして、または他の形式で視覚化されるように自身の個別視覚化表現の設定を構成し得る。また、医用画像データが平面図、右斜め前から見た図、左斜め前から見た図、背面図、底面図、および斜視図などの形で表示される複数の異なる視覚化表現のプリセットが存在してもよい。プリセットは予め設定されていてもよいし、各ユーザによって事前に定められてもよい。

【0053】

好適には、少なくとも１人のユーザは、別のユーザによって行われた医用画像データの視覚化表現の変更を採用し得る。すなわち、別のユーザの視覚化表現（すなわち、医用画像データの個別ビュー）を採用することにより、該視覚化表現が少なくとも１人の他のユーザのワークスペースに送られ、少なくとも２人のユーザが医用画像データの同じ個別ビューを有するようになる。この処理は、経験豊かなユーザ（例えば、教師）が現在、他のユーザ（例えば、生徒）に何かを説明している場合に特に有用である。結果として、他のユーザはより経験豊かなユーザから学ぶことができる可能性がある。言い換えれば、経験豊かなユーザと同じ医用画像データの個別ビューが１人または複数の他のユーザに提供される。個別ビューがどのように変更されたかをユーザに示すために、ある個別ビューから別の個別ビューへの切り替えは連続的に実行されてもよい。あるいは、個別ビュー間の切り替えは、切り替えを鳥瞰図として視覚化することによって示されてもよく、すなわち、個別ビュー間の変更が上面図として示される。

【0054】

あるいは、あるユーザが、医用画像データの視覚化表現の自身の変更を採用することを少なくとも１人の他のユーザに強制してもよい。すなわち、該ユーザは他のユーザにちょうど自分が見ているものを見させる（すなわち、同じ個別ビューを持たせる）ことができ、これは、あるユーザが他のユーザにワークフローの特定の部分を見せたい場合に特に適している可能性がある。したがって、コラボレーションの効率が向上する。他の好ましい実施形態では、１人のユーザのみが、医用画像データの視覚化表現のどの変更が他のユーザと共有され得るかを決定でき（すなわち、該ユーザはプレゼンターおよび／または教師であり得る）、一方で、他のユーザは機能が制限されており、医用画像データの視覚化表現の変更を共有することは許可されない可能性がある（例えば、該ユーザは参加者および／または生徒であり得る）。

【0055】

他の好ましい実施形態では、少なくとも１人のユーザが自身のワークスペースで医用画像データの分析プロセスを実行することを可能にするステップは、３Ｄ測定を行うこと、ＭＰＲモードを実行すること、および／または注釈を挿入することをさらに含み得る。すなわち、分析プロセスの結果は、視覚化表現の特定の側面に関する１つまたは複数の注釈、例えば、以前に実行された治療の背景情報や、異常に関連するユーザのコメントなどであり得る。結果は全ユーザによって共有される医用画像データに属するため、各結果は各ワークスペース内に細い線でリアルタイムに視覚化され得る。すなわち、結果が取得された直後に各ユーザが自身の個別ビューで結果を見ることになる。３Ｄ測定結果は３Ｄ次元空間における測定結果、すなわち、ｘ座標、ｙ座標、およびｚ座標のそれぞれにおいて互いに異なる２点間の距離であり得る。また、３Ｄ測定は、例えば、空間内の複数の点、例えば、僧帽弁輪などの不規則な形状の物体に沿った複数の点によって張られる距離を測定することによって、非平面の不規則な形状を有する物体をトレースすることを含み得る。このような非平面測定は２Ｄ画面上では実行できないが、本発明のＸＲワークスペースでは容易に実行できる。ＭＰＲモードは、二次元画像再構成の手法である多断面再構成であり得る。ＭＰＲでは、解剖学的向きに関してユーザを助けるために、横断面から前頭面、矢状面、斜めの断面、または湾曲した断面が計算および表示される。例えば、斜めの断面は心臓のイメージング（四腔像、短軸断面）に有用であり、複数回曲がっている構造に沿った湾曲した再構成は、血管（例えば、冠状動脈）または尿管の表現のために有用である。高品質のＭＰＲ再構成を取得するには、小さい層厚で重なった（例えば、ＣＴによって取得された）医用画像データを取得する必要がある。さらに、画像再構成中のステップアーチファクトを防ぐために小さい層厚を選択すべきである。いくつかの層を足し合わせることによって画像ノイズを減らすことができる。閾値処理は、関心領域の視覚化を改善するために各ボクセルの閾値境界を調整することであり得る。

【0056】

好ましくは、少なくとも１人のユーザが、自身のワークスペースにおいて医用画像データの分析プロセスを実行することを可能にするステップは、医療機器、具体的にはインプラントの動作位置を決定するために、医用画像データの視覚化表現内に医療機器の少なくとも１つのモデルを配置することをさらに含み得る。医療機器のモデルはコンピュータ・グラフィック・オブジェクトであり得る。すなわち、医療機器のモデルがＸＲワークスペース内に追加で表示されてもよい。医療機器は人体または動物の体内に配置されるインプラントまたは任意の他のデバイスであり得る。コンピュータ・グラフィック・オブジェクトは、例えば幾何学的データの表現、例えば頂点によって定義される３Ｄ構造、例えば多面体である。コンピュータ・グラフィック・オブジェクトは、好ましくは、解剖学的構造の動きにロックされ、すなわち、任意の１つのフレーム内の視覚化表現に対して特定の位置に特定の向きで一旦配置される。ユーザがシネモードを開始すると、視覚化表現を制御するプロセッサは、視覚化表現に対する医療機器の相対位置および向きを記憶し、この相対位置および向きを維持する。医療機器が新しい弁を表す場合、そのような新しい弁は弁輪、例えば僧帽弁輪の動きにロックされ得る。好ましくは、これは３Ｄスペックルを使用して実行され得る。これにより、心周期全体にわたる重要な動的情報が提供され、弁を動作位置に最適に配置することができ（すなわち、最適位置に）、それによって流出の妨害を回避または低減することができる。また、ユーザは、コントローラを使用して、視覚化表現に対してコンピュータ・グラフィック・オブジェクトを動かしたり傾けたりすることができる。これにより、ユーザは測定を行うだけでなく、選択されたインプラント（例えば、置換弁）またはインプラントのサイズが解剖学的機構（例えば、僧帽弁）に適合するか否かを「試す」ことができる。例えば、ユーザはライブラリから最も合う弁を選択し、その弁、またはその弁に対応するコンピュータ・グラフィック・オブジェクトを視覚化表現内に配置して初期点検を行うことができる。ある有用な実施形態では、コンピュータ・グラフィック・オブジェクトは医療機器のＣＡＤモデルに対応し、例えば、医療機器の設計および／または製造に使用されたＣＡＤモデル、または、より好ましくは医療機器の簡略化されたモデル、例えば心臓弁の簡略化されたモデルに対応する。

【0057】

別の実施形態では、低侵襲インターベンションはほぼ常にＸ線透視制御下で行われることから、コンピュータ・グラフィック・オブジェクトは、インターベンショナルＸ線画像（透視画像）上での医療機器の概観と類似する。したがって、ユーザはシーンを三次元で視覚化しても、透視画像上でインプラントがどのように写るかを知ることができる。コンピュータ・グラフィック・オブジェクトは好ましくは三次元であり、例えばインプラントの簡略化されたモデルであり、例えば金網、または単純な表面の集合によって定められた物体の形態のモデルであり得る。

【0058】

本発明のある好ましい実施形態によれば、医療機器のモデルの動作位置は、好ましくは４Ｄ画像情報と組み合わせて、動作中の医療機器を動的に視覚化することによって決定される。言い換えれば、医療機器（例えば、人工僧帽弁）のモデルを意図される位置に配置した状態で、動作中の調査対象物、例えば心臓を視覚化するために４Ｄ医用画像データ（すなわち、例えば、シネモードでの３Ｄ医用画像データのシーケンス）が使用される。（例えば心拍中の）医療機器の動的な動きは、トラッキングされた４Ｄ画像データに基づき得る。例えば、医療機器とインタラクトする特定の目印が３Ｄ画像データのシーケンスにわたってトラッキングされ、それに応じて医療機器の仮想位置が調整される。そして、ユーザは、検査中、医療機器の該特定のモデルが該特定の解剖学的構造とともにどのように動作するかを調べることができる。

【0059】

要約すると、第１の態様に係る本発明は、医用画像データおよび分析プロセスの結果が全ユーザによって共有される一方、各ユーザが依然として各自のワークスペース内に医用画像データの独自の個別ビュー（すなわち、医用画像データの独自の複製／視覚化表現）を有する相互接続通信コンセプトを提供する、場所を問わないＸＲコラボレーションツールを提供する。

【0060】

本発明の第２の態様によれば、請求項１２の特徴を含むコンピュータプログラムが提供される。該コンピュータプログラムは、プロセッサによって実行されると、プロセッサが上記方法を実行することを可能にするプログラムコード命令を含む。コンピュータプログラムは任意のコード、特に、コンピュータ・グラフィック・アプリケーションに適したコード、特に、ＸＲプログラミングに適したコードであり得る。

【0061】

また、上記コンピュータプログラムを含むコンピュータ可読媒体が提供され得る。コンピュータ可読媒体はＵＳＢスティック、ハードディスク、ＣＤ－ＲＯＭ、ＳＤカード、またはＳＳＤカードなどの任意のデジタル記憶装置であり得る。当然のことながら、コンピュータプログラムは消費者向けのコンピュータ可読媒体上に保存される必要はなく、インターネットを介してダウンロード可能であってもよい。

【0062】

好ましくは、本発明に係る方法は、ディスプレイ、特にＸＲヘッドセットなどのＸＲディスプレイまたは投影ディスプレイを制御可能な任意の電子デバイスに組み込まれ得るプロセッサによって実行される。そのようなデジタル機器はコンピュータ、ＰＣ、サーバ、テレビ、タブレットコンピュータ、スマートフォン、ラップトップ、またはハンドヘルドデバイスなどであり得る。プロセッサはまた、クラウドコンピュータ、ワークステーション、または医用画像デバイス（特に超音波スキャナ）の制御コンソールの一部であり得る。

【0063】

本発明の第３の態様によれば、上記方法の実行において使用されるように構成されたユーザインターフェースが提供され、該ユーザインターフェースは、
医用画像データの視覚化表現、および分析プロセスの結果をワークスペースにおいてリアルタイムでユーザに表示するためのＸＲ表示デバイス、特にＶＲヘッドセットを含み、
ワークスペースはＸＲワークスペースであり、
ワークスペースは、医用画像データの視覚化表現および分析プロセスの結果が表示される仮想環境を含み、
ユーザインターフェースはさらに、ユーザのジェスチャーによってコマンドを入力するために方法の実行中に使用されるように構成された、トラッキングされるコントローラを含み、コマンドは、
分析プロセスの結果の表示を選択的かつ個別に有効化または無効化することを含む。

【0064】

本発明に係る方法に関連して説明されている有用な実施形態の任意の特徴がユーザインターフェースにも適用される。

【0065】

ユーザインターフェースは、例えば、少なくとも画面またはディスプレイ、および、ユーザが、例えば視覚化パラメータ／設定を調整する、ズーミング、注釈付け、および／または視覚化表現を動かす、もしくは傾けることによって、ディスプレイのコンテンツとインタラクトすることを可能にする入力要素、例えばＸＲコントローラおよび／またはボタンもしくはスライダーを通常は含むシステムである。

【0066】

好ましくは、コマンドはさらに、好ましくは仮想環境の透明度および／または色を設定することによって、ユーザのワークスペース内のコントラストを個別に、かつ独立して調整することを含み得る。

【0067】

本発明の第４の態様によれば、仮想マルチユーザコラボレーションにおいて医用画像データを分析するためのシステムが提供され、システムは、上記方法を実行するように構成されたプロセッサと、プロセッサに接続された少なくとも２つの上記ユーザインターフェースとを含む。

【0068】

本発明に係る方法に関連して説明されている有用な実施形態の任意の特徴が該システムにも適用される。

【0069】

仮想現実環境は市販されているＶＲ機器、例えば、ＶＲヘッドセットと、２つのＶＲコントローラと、２つのポジショントラッカーとを含むＨＴＣ ＶＩＶＥ Ｐｒｏ ＶＲシステム（台湾、桃園市３３０、ＨＴＣ Ｃｏｒｐｏｒａｔｉｏｎ製）、またはＯｃｕｌｕｓ Ｒｉｆｔ Ｓ（Ｆａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ，ＬＬＣ、Ｏｃｕｌｕｓ）などを使用して実現され得る。ヘッドセット自体によってポジショントラッキング機能が提供されるため、このヘッドセットは室内に別個のポジショントラッカーを必要としない。

【図面の簡単な説明】

【0070】

以下、本発明の有用な実施形態について、添付図面を参照しながら説明する。図中、類似する要素または機能には同じ参照符号が付されている。

【図1】図１は、人間の心臓の概略的な断面図を示す（四腔像）。

【図2】図２は、医用画像のシーケンスの概略図を示す。

【図3】図３は、本発明の一実施形態に係る仮想マルチユーザコラボレーションの原理を概略的に説明する図である。

【図4】図４は、本発明の一実施形態に係るユーザインターフェースを示す。

【図5】図５は、本発明の一実施形態に係る方法を示すフロー図を示す。

【発明を実施するための形態】

【0071】

仮想マルチユーザコラボレーションにおいて医用画像データを分析するための本発明に係る方法の好ましい適用例をより良く視覚化するために、図１は人間の心臓１の構造を示す。肺から来る血液は左心房２に流れ込み、そこから僧帽弁３を通って左心室４に流れ込む。さらに、血液はそこから大動脈弁５を通って大動脈６に送り出される。この部分は左心室流出路（ＬＶＯＴ）とも呼ばれる。胴体から来る血液は右心房７に流れ込み、そこから三尖弁８を通って右心室９に送り出される。さらに、血液はそこから肺動脈弁１０を通って肺動脈１１に送り出される。心臓壁１２は、心腔２、４、７、および９を取り囲む筋肉組織で構成されている。左心室と右心室とは中隔１３によって分離されている。図１から、心臓は複雑な形状を有し、さらに心拍とともに絶えず動いていること、すなわち、動的な解剖学的構造であることがわかる。したがって、弁置換術の計画を立てるために僧帽弁３などの複雑な構造を分析することは困難であり、誤りを伴いやすい。すなわち、図１の心臓１は、ＭＲ、コンピュータ断層撮影（ＣＴ）、ポジトロン断層撮影（ＰＥＴ）、超音波（ＵＳ）、または経食道心エコー検査（ＴＥＥ）によって得られた３Ｄ医用画像データの例を表す。４Ｄ医用画像データを得るには、時間が第４の次元として使用される。

【0072】

図２は、医用画像データに基づく心臓１の超音波画像シーケンスＭ_１、Ｍ_２、Ｍ_３、・・・Ｍ_Ｚの概略図を示す。Ｚは１つの心周期の間、すなわち、時間Ｔの間に取得される画像の数であり、ここで、Ｔは約０．５～１．５秒である。簡略化するために、図面は二次元画像を示しているが、本発明によれば、各時点ｔ_ｉにおいて三次元画像が取得される。三次元医用画像は二次元画像のスタックによって形成され得る。四次元医用画像は、連続して順に表示される複数の三次元医用画像によって形成され得る。そのような画像シーケンスＭ_１、Ｍ_２、Ｍ_３、・・・Ｍ_Ｚは、例えばＴＥＥプローブを用いて、動いている心臓の心エコーを行うことよって取得され得る。医用画像シーケンスＭ_１、Ｍ_２、Ｍ_３、・・・Ｍ_Ｚは４Ｄ医用画像データを表す。

【0073】

本発明の一実施形態では、学際的心臓チーム（ＩＨＴ）が心臓手術を予定しており、実際の手術前に複雑な側面について議論することになっている。ＩＨＴの全ての参加者が患者の解剖学的構造、および予定される処置を同じように理解していることを確認するために、チームは仮想マルチユーザコラボレーションの予定を立てた。コラボレーション中、チームの各メンバーは異なる場所にいる。ＩＨＴは、インターベンショナルカーディオロジストＣ、心臓麻酔医Ａ、ＯＲ／カテーテル室看護師Ｎ、および心臓外科医Ｓからなる。図３は、本発明の実施形態に係る仮想マルチユーザコラボレーションの原理を概略的に示す。

【0074】

図３に示されるように、各参加者／ユーザは各自のワークスペースＷＳを有する。３Ｄまたは４Ｄ医用画像データ３４は、各ワークスペース３０で視覚化されるように提供およびロードされる。その結果、医用画像データ３４の個別視覚化表現３２がワークスペースごとに生成および提供される。言い換えれば、各ユーザは医用画像データ３４の独自の個別ビュー３２を有する。その後、各ユーザは視覚化表現について作業を始める。まず、各ユーザは、医用画像データの視覚化を分析するための自身の要求を満たすよう、視覚化表現３４を変更する。

【0075】

異なるユーザがデータセットを表示および分析する態様（ズームレベル、閾値／コントラスト／明度設定、好みの視線角度など）には大きな個人差がある。したがって、各ユーザは、医用画像データ３４の視覚化表現の独自の分離されたコピー３２を有し、コントローラ３６を使用してサイズ変更、回転、移動、および画像設定変更を行うことができる。この操作／ビュー設定部分は他のユーザには伝送されない。例えば、インターベンショナルカーディオロジストＣは、視覚化表現を約４０ｃｍのサイズで頭から約５０ｃｍ離れた位置に表示すること、僧帽弁４の弁尖が消えるように設定された高い閾値、および左心房２から僧帽弁４を通って左心室４に向かう視線方向を好む。一方、心臓麻酔科医Ａは、視覚化表現内に自身の頭を動かすることができるよう、視覚化表現をできるだけ大きく（１００～１２０ｃｍ）表示すること、弁尖が見やすいように設定された、より低い閾値、および二腔像における側方からの視線方向を好む。また、ＯＲ／カテーテル室看護師Ｎおよび心臓外科医Ｓは、視覚化表現上のさらなる個別ビューを好む。視覚化表現３２のこの変更は、個別視覚化表現（すなわち、医用画像データの個別ビュー）を得るために、各ユーザによって個別に、かつ独立して実行される。なお、他のユーザによる医用画像データの個別ビューの変更はどのユーザにも見られない。

【0076】

また、利用可能な新しい測定値によって医用画像データが変化する場合、医用画像データに基づく視覚化表現は自動的に更新される。すなわち、各ワークスペース３０において、全ユーザによって共有される医用画像データに基づいて視覚化表現が更新される。新しい医用画像データが利用可能となるもう１つの理由は、例えば患者が緊急を要する状態の場合、患者の臓器が分析されるのと同時にコラボレーションが行われ、取得されたデータが直接提供されるためである。さらに、各ユーザは自身のワークスペース３０において、視覚化表現がどのバージョンの医用画像データに基づいているかを見ることができる。また、各ユーザは、異なるバージョンの視覚化表現間を個別に変更し得る。

【0077】

その後、分析プロセスが開始され、各ユーザは、医用画像データの個別のビューを有しつつ、自身のワークスペース３０で分析プロセスを行う。すなわち、各ユーザは、コントローラを使用して、自身のワークスペース３０内での分析プロセスの結果である独自の測定結果／注釈を作成する。言い換えれば、各ユーザは、分析プロセスの結果を自身のワークスペース３０を介して医用画像データに直接加えるという形で医用画像データを制御する。同時に、コントローラを介して入力された測定値／注釈は、全ユーザによって共有される医用画像データに送信される。その結果、各ユーザは、自身の医用画像データの視覚化表現において、他のユーザの測定値／注釈をライブで見ることになる。結果として、各ユーザは、他のユーザの測定値／注釈をすぐに見るおよび受け取ることができ、場合によっては自身のアプローチに利用し得る。

【0078】

例えば、同じ画像データセットが４人のユーザ全員に同時に表示される。各ユーザ（Ｃ、Ａ、Ｎ、およびＳ）は独自の測定結果および注釈を作成する。各ユーザは、画像データセットの独自の視覚化表現において、他のユーザの注釈をライブで見る。一例として、カーディオロジストＣおよび外科医Ｓは、どの処置が正しいかについて異なる考えを持っている可能性があるが、両方のアプローチを見た麻酔科医Ａは、ＳのアプローチとＮのアプローチを有意義に組み合わせた別のアイデアを有する。本発明の方法を使用する場合、ＳおよびＮは異なる測定結果および注釈を作成し、Ａはこれらの両方を見ることができる。したがって、Ａは、画像データセットの独自の視覚化表現上に自身の改善された提案を注釈付けすることができる。各ユーザに対して、Ａの新しい注釈が独自のモデル／視覚化表現上にライブで表示され、各ユーザはこれに同意する。これにより、学際的心臓チームはより効率的にミーティングを行うことができる。

【0079】

測定値／注釈は、全ユーザによって共有される医用画像データ３４に直接送られる（すなわち、同期される）ので、測定値／注釈は、別のユーザのワークスペース３０内の視覚化表現の一部を隠したり覆ったりする可能性がある。したがって、あるユーザのワークスペース３０において視覚化表現の一部が隠されている、および／または覆われている場合、ユーザはその測定値／注釈を無効化し得る。あるいは、ユーザは透明になるように測定値／注釈を調整し得る。

【0080】

すなわち、本発明によれば、コラボレーション中、より少ない不必要なインタラクション、測定値／注釈の共有がより速くなり、また、ＶＲセッションの参加者の人数に関係なく、各ユーザは関心領域のビューに関して制約を受けない。また、解剖学的構造の理解は個人個人で異なるため、医用３Ｄデータセット内の基準点および構造に関する認識の相違は、必然的に、観察者間のばらつき、異なる測定（処置）、異なる仮定、および解剖学的相関の異なる解釈をもたらす。しかし、本発明によれば、各ユーザは、作業を行う上での自身の好みに応じて視覚化表現を個別に変更することができるので、これらの事象は回避される。さらに、ユーザは、表示に関する自身の個人的な好みに応じて取り扱ったり、調整することが可能な自身の個別ビューにおいて、自身および他のユーザの変更をライブで見ることができる。

【0081】

本発明の他の実施形態では、少なくとも１つのワークスペース３０はＡＲワークスペースである。言い換えれば、ユーザが視覚化表現および現実環境の両方を見るという点を除き、処理は先述の実施形態の処理と同じである。現実環境は視覚化表現の背景を形成する。本実施形態では、ユーザが視覚化表現を十分に見て分析できるようにするために、ＡＲワークスペースは、視覚化表現と現実環境との間に差し込まれた仮想環境を有する。結果として、仮想環境の不透明度を上げることにより、現実環境を遮ることができる。結果として、ＡＲワークスペース３０は、ワークスペース３０内の目標コントラストを提供するように仮想背景の不透明度／透明度を自動的に設定し得る。ＡＲワークプレースは、ユーザが同時に現実環境で人（例えば、患者）とインタラクトする場合に特に有用である。また、仮想環境は変化する光の状態に自動的に適合する。あるいは、他の実施形態では、各ユーザは、自身の要求および／または好みを満たすように仮想環境を個別に調整し得る。

【0082】

他の実施形態によれば、ユーザは各自の個別ビューを、別のユーザ、例えば、教室の生徒に医療機器の重要な測定または配置を示す教師と同期させることができる。すなわち、視覚化表現に対する個別ビュー３２がコラボレーションの１人または複数の他の参加者と共有される。ユーザは、最適な視点位置に位置取り、他の（例えば、より経験豊かな）ユーザが特定の測定もしくは注釈付けを行う、または人工心臓弁などのデバイスの最適位置を決定するために、視覚化表現内の該デバイスを位置決めするところをライブで、かつリアル３Ｄで見ることができる。例えば、「教師」はまず、生徒が特定の注釈付け／測定をどのように行うかを（生徒の視点から）観察し、そして、例えば厳密に教師自身の視点からインターベンションまたは測定の特定の部分を実演したい場合、１人または複数の生徒の個別ビューを自身の個別ビューと同期させ得る。この事例では、ＧｏＴｏＭｅｅｔｉｎｇと同様、１人のユーザが司会の役割を担い（「プレゼンター／教師」）、他の全ての参加者（「参加者／生徒」）はより制限された機能を有する。

【0083】

ある好ましい実施形態では、ユーザインターフェースは、図４に示されるように、ＶＲインターフェースである。そのようなインターフェースは、ユーザ８０が着用する仮想現実ヘッドセット８２によって実現される。ヘッドセット８２は、ケーブルまたは無線接続を介してコンピュータ７２に接続される。そのような仮想現実ヘッドセット８２は左右の目ごとに別々の内部ディスプレイと、頭の動きを追跡する位置センサ８４とを含む。拡張現実環境が提示されるべき場合、ヘッドセットはさらにカメラを含み得る。また、ユーザ８０はＶＲコントローラ８６を手に持っている。コントローラ８６も位置センサ（不図示）を備えており、さらにボタンまたは他の入力要素を含む。そのような仮想現実コントローラ８６は、ユーザが仮想現実環境５０内に表示された物体を掴んで動かすことを可能にする。ＶＲヘッドセットは、例えば、ＨＴＣ ＶＩＶＥヘッドセットおよび対応するＶＲコントローラであり得る。

【0084】

図５は、本発明の一実施形態に係る方法を示すフロー図を示す。ステップ９０において、例えば、動いている心臓を示す３Ｄまたは４Ｄ画像情報を含む医用画像データが提供される。４Ｄ医用画像データが提供される場合、シーケンスは、１つの心拍に対応する期間にわたる。ステップ９２において、医用画像データが各ユーザのワークスペース３０にロードされ、例えば、ボリュームレンダリングまたはサーフェスレンダリングされた視覚化表現を生成することによって、各ユーザに医用画像データの視覚化表現が同時に表示される。ステップ９４において、各ユーザは、個別に、そして互いに独立して、医用画像データの視覚化表現を変更し、各ユーザの各ワークスペース３０において医用画像データの個別視覚化表現（すなわち、医用画像データの各自の個別ビュー）を得ることができる。ステップ９６において、少なくとも１人のユーザは、自身のワークスペース３０において医用画像データの分析プロセスを実行することができる。そのような分析プロセスは、３Ｄ座標系において配置される測定値および注釈の作成を行うことを含む。ステップ９８において、分析プロセスが実行されたワークスペース３０において分析プロセスの結果が表示される。ステップ１００において、分析プロセスの結果が少なくとも１つの他のワークスペース３０とリアルタイムで同期され、各ワークスペース３０は、医用画像データのそれぞれの個別視覚化表現において分析プロセスの結果を表示する。ステップ９６～１００は同時に実行され、すなわち、ステップ９６で作成された測定結果および注釈は、各ユーザによって共有される医用画像データ３４に直接実装されるため、測定結果および注釈は各ワークスペースで直接見ることができる。

【0085】

本発明を図面および上記において詳細に図示および記載したが、かかる図示および記載は、記述的ではなく説明的または例示的であると考えられるべきである。本発明は開示の実施形態に限定されない。

【図1】

【図2】

【図3】

【図4】

【図5】