特表 2021-533940 放射線科医向けの仮想ツールキット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2021-533940(P2021-533940A)

(43)【公表日】2021年12月9日

(54)【発明の名称】放射線科医向けの仮想ツールキット

(51)【国際特許分類】

   A61B 6/03 20060101AFI20211112BHJP

   A61B 34/10 20160101ALI20211112BHJP

【ＦＩ】

   A61B6/03 360Z

   A61B34/10

【審査請求】未請求

【予備審査請求】有

【全頁数】46

(21)【出願番号】特願2021-510084(P2021-510084)

(86)(22)【出願日】2019年8月23日

(85)【翻訳文提出日】2021年2月22日

(86)【国際出願番号】US2019047891

(87)【国際公開番号】WO2020041693

(87)【国際公開日】20200227

(31)【優先権主張番号】62/722,513

(32)【優先日】2018年8月24日

(33)【優先権主張国】US

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】520384323

【氏名又は名称】ダグラス，デイヴィッド，バイロン

(71)【出願人】

【識別番号】520277106

【氏名又は名称】ダグラス，ロバート，イー．

(71)【出願人】

【識別番号】520277117

【氏名又は名称】ダグラス，キャスリーン，エム．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ダグラス，デイヴィッド バイロン

(72)【発明者】

【氏名】ダグラス，ロバート エドウィン

(72)【発明者】

【氏名】ダグラス，キャスリーン メアリー

【テーマコード（参考）】

4C093

【Ｆターム（参考）】

4C093AA22

4C093AA26

4C093CA15

4C093DA02

4C093FF35

4C093FF42

4C093FF50

4C093FG13

(57)【要約】

三次元医用画像ボリュームの様相を操作するために仮想ツールが使用される。仮想ツールは、画像ボリュームとジオレジストレーションされる。画像ボリュームの提示は、仮想ツールの使用に応答して画像プロセッサによって操作される。仮想ツールは、画像ボリュームの分析を支援するために使用され得る。仮想ツールは、仮想焦点ペン、仮想３Ｄカーソル、仮想トランスポートビューア、仮想ペデスタル、仮想ナイフ、仮想カテーテル、仮想ロードサイン、仮想アブレーションツール、仮想テーブル、仮想造影剤ツール、及び仮想アイコンを含み得る。

【特許請求の範囲】

【請求項1】

画像処理システムにロードされた選択した三次元画像ボリュームに対して、ユーザ入力に応答して、一群の利用可能な仮想ツールから、仮想ツールのセットを選択し、
前記選択したセットの各仮想ツールを前記三次元画像ボリュームとジオレジストレーションし、
前記仮想ツールのセットのうちの仮想ツールの操作に応答して前記三次元画像ボリュームを操作する、
ことを有する方法。

【請求項2】

仮想焦点ペン、仮想３Ｄカーソル、仮想トランスポートビューア、仮想ペデスタル、仮想ナイフ、仮想カテーテル、仮想ロードサイン、仮想アブレーションツール、仮想テーブル、仮想造影剤ツール、及び仮想アイコンを含む前記一群の利用可能な仮想ツールから、前記仮想ツールのセットを選択する、ことを有する請求項１に記載の方法。

【請求項3】

前記仮想ツールのセットは仮想焦点ペンを含み、当該方法は、前記三次元画像ボリュームの一部をハイライトし且つ注釈を付加することによって、前記仮想焦点ペンに応答して前記三次元画像ボリュームを操作することを有する、請求項１に記載の方法。

【請求項4】

前記仮想焦点ペンの先端に隣接する三次元画像ボリュームボクセルを変更する、ことを有する請求項３に記載の方法。

【請求項5】

前記仮想ツールのセットは仮想ナイフを含み、当該方法は、前記三次元画像ボリュームからのボクセルを隔てること及びボクセルの位置を変化させることからなる群のうちの少なくとも一方で、前記仮想ナイフに応答して前記三次元画像ボリュームを操作することを有する、請求項１に記載の方法。

【請求項6】

前記仮想ツールのセットは仮想トランスポートビューアを含み、当該方法は、前記三次元画像ボリュームの中空構造内で前記仮想トランスポートビューアを移動させ且つ前記仮想トランスポートビューアの視点からの画像を提示することによって、前記仮想トランスポートビューアに応答して前記三次元画像ボリュームを操作することを有する、請求項１に記載の方法。

【請求項7】

前記仮想トランスポートビューアを用いて仮想的な結腸内視鏡検査を実行する、ことを有する請求項６に記載の方法。

【請求項8】

前記仮想ツールのセットは仮想造影剤を含み、当該方法は、視認可能な動くボクセルを前記三次元画像ボリュームに挿入することによって、前記仮想造影剤に応答して前記三次元画像ボリュームを操作することを有する、請求項１に記載の方法。

【請求項9】

前記動くボクセルのうちの異なるものにデータユニット（例えば、ハンスフィールドユニット）値を割り当てる、ことを有する請求項８に記載の方法。

【請求項10】

前記仮想ツールのセットのうちの仮想ツールの操作に応答して前記三次元画像ボリュームを操作することは、外殻ごとに繰り返すようにして臓器の外殻のボクセルを除去することを有する、請求項１に記載の方法。

【請求項11】

前記仮想ツールのセットのうちの仮想ツールの操作に応答して前記三次元画像ボリュームを操作することは、近接した関心組織を該関心組織の複数のボクセルの座標を調整することによって離間させることを有する、請求項１に記載の方法。

【請求項12】

前記仮想ツールのセットは仮想テーブルを含み、当該方法は、前記三次元画像ボリュームの複数の部分を前記仮想テーブルの仮想収納箱に配することによって、前記仮想テーブルに応答して前記三次元画像ボリュームを操作することを有する、請求項１に記載の方法。

【請求項13】

前記仮想ツールのセットは仮想カテーテルを含み、当該方法は、前記仮想カテーテルの移動を、選択された血管内の柱状の血液ボクセルに制限することによって、前記仮想カテーテルに応答して前記三次元画像ボリュームを操作することを有する、請求項１に記載の方法。

【請求項14】

前記三次元画像ボリュームのうちの選択されたサブボリュームに関連する情報を自動的に表示する、ことを有する請求項１に記載の方法。

【請求項15】

患者のメタデータ及び医用画像ボリュームを取得することが促された現在状態、患者の病歴、検査結果、及び病理学的結果を表示する、ことを有する請求項１４に記載の方法。

【請求項16】

仮想フロントガラスを用いて前記情報を表示する、ことを有する請求項１４に記載の方法。

【請求項17】

仮想ロードサインを用いて測定基準までの距離を表示する、ことを有する請求項１に記載の方法。

【請求項18】

視点を示す視覚的な補助アイコンを表示する、ことを有する請求項１に記載の方法。

【請求項19】

人工知能アルゴリズムによって検出された所見を示す視覚的な補助アイコンを表示する、ことを有する請求項１に記載の方法。

【請求項20】

撮像ボリュームに関係付けられる（例えば、表示されているサブボリュームの前記三次元画像ボリュームに対する位置を示す）ように変更された視覚的な補助アイコンを表示する、ことを有する請求項１に記載の方法。

【請求項21】

含ボリューム三次元カーソルを用いて少なくとも１つのサブボリュームを選択する、ことを有する請求項１に記載の方法。

【請求項22】

サブボリュームの所定のリストの複数のサブボリュームから前記サブボリュームを選択する、ことを有する請求項２１に記載の方法。

【請求項23】

前記リストの前記複数のサブボリュームの各々を順次に表示する、ことを有する請求項２２に記載の方法。

【請求項24】

シーケンシャルサーチパターン座標によって定められる複数のサブボリュームから前記サブボリュームを選択する、ことを有する請求項２１に記載の方法。

【請求項25】

ランダムサーチパターン座標によって定められる複数のサブボリュームから前記サブボリュームを選択する、ことを有する請求項２１に記載の方法。

【請求項26】

前記三次元画像ボリュームを操作することは、ボクセルサイズを変更すること、ボクセル形状を変更すること、ボクセル位置を変更すること、ボクセル方向を変更すること、ボクセル内部パラメータを変更すること、ボクセルを作成すること、及びボクセルを除去すること、のうちの少なくとも１つを有する、請求項１に記載の方法。

【請求項27】

前記三次元画像ボリュームを操作することは、関心サブボリュームを、共通の特性に基づいて、複数の部分に分割することを有する、請求項１に記載の方法。

【請求項28】

前記三次元画像ボリュームを操作することは、分解図を生成することを有し、前記三次元画像のセグメント化された複数の構造が、前記三次元画像ボリューム内の点から遠ざかるように移動される、請求項１に記載の方法。

【請求項29】

ヒトの眼が観察することを補助するために仮想アイトラッカー記号を使用する、ことを有する請求項１に記載の方法。

【請求項30】

ヒトの眼が跳躍性運動を行って１つの位置から別の位置へとジャンプすることができるように、空間的に離隔した位置で前記仮想アイトラッカー記号を出現及び消滅させる、ことを有する請求項２９に記載の方法。

【請求項31】

ヒトの眼が滑らかな追跡を行うことができるように、前記仮想アイトラッカー記号を経路に沿って滑らかに移動させる、ことを有する請求項２９に記載の方法。

【請求項32】

画像処理システムを有し、
前記画像処理システムは、前記画像処理システムにロードされた選択した三次元画像ボリュームに対して、ユーザ入力に応答して、一群の利用可能な仮想ツールからの選択に関する仮想ツールのセットを提示し且つ該選択されたセットの各仮想ツールを前記三次元画像ボリュームとジオレジストレーションするインタフェースと、前記仮想ツールのセットのうちの仮想ツールの操作に応答して前記三次元画像ボリュームを操作する画像プロセッサと、を有する、
装置。

【請求項33】

前記仮想ツールのセットは、仮想焦点ペン、仮想３Ｄカーソル、仮想トランスポートビューア、仮想ペデスタル、仮想ナイフ、仮想カテーテル、仮想ロードサイン、仮想アブレーションツール、仮想テーブル、仮想造影剤ツール、及び仮想アイコンを含む前記一群の利用可能な仮想ツールから選択される、請求項３２に記載の装置。

【請求項34】

前記仮想ツールのセットは仮想焦点ペンを含み、前記画像プロセッサは、前記三次元画像ボリュームの一部をハイライトし且つ注釈を付加することによって、前記仮想焦点ペンに応答して前記三次元画像ボリュームを操作する、請求項３２に記載の装置。

【請求項35】

前記画像プロセッサは、前記仮想焦点ペンの先端に隣接する三次元画像ボリュームボクセルを変更する、請求項３４に記載の装置。

【請求項36】

前記仮想ツールのセットは仮想ナイフを含み、前記画像プロセッサは、前記三次元画像ボリュームからのボクセルを隔てること及びボクセルの位置を変化させることからなる群のうちの少なくとも一方で、前記仮想ナイフに応答して前記三次元画像ボリュームを操作する、請求項３２に記載の装置。

【請求項37】

前記仮想ツールのセットは仮想トランスポートビューアを含み、前記画像プロセッサは、前記三次元画像ボリュームの中空構造内で前記仮想トランスポートビューアを移動させ且つ前記仮想トランスポートビューアの視点からの画像を提示することによって、前記仮想トランスポートビューアに応答して前記三次元画像ボリュームを操作する、請求項３２に記載の装置。

【請求項38】

前記仮想トランスポートビューアは、前記インタフェースを介して仮想的な結腸内視鏡検査を実行するために使用される、請求項３７に記載の装置。

【請求項39】

前記仮想ツールのセットは仮想造影剤を含み、前記画像プロセッサは、視認可能な動くボクセルを前記三次元画像ボリュームに挿入することによって、前記仮想造影剤に応答して前記三次元画像ボリュームを操作する、請求項３２に記載の装置。

【請求項40】

前記画像プロセッサは、前記動くボクセルのうちの異なるものに異なるデータユニット（例えば、ハンスフィールドユニット）を割り当てる、請求項３９に記載の装置。

【請求項41】

前記画像プロセッサは、外殻ごとに繰り返すようにして臓器の外殻のボクセルを除去することによって、前記仮想ツールのセットのうちの仮想ツールの操作に応答して前記三次元画像ボリュームを操作する、請求項３２に記載の装置。

【請求項42】

前記画像プロセッサは、近接した関心組織を該関心組織の複数のボクセルの座標を調整することによって離間させることによって、前記仮想ツールのセットのうちの仮想ツールの操作に応答して前記三次元画像ボリュームを操作する、請求項３２に記載の装置。

【請求項43】

前記仮想ツールのセットは仮想テーブルを含み、前記画像プロセッサは、前記三次元画像ボリュームの複数の部分を前記仮想テーブルの仮想収納箱に配することによって、前記仮想テーブルに応答して前記三次元画像ボリュームを操作する、請求項３２に記載の装置。

【請求項44】

前記仮想ツールのセットは仮想カテーテルを含み、前記画像プロセッサは、前記仮想カテーテルの移動を、選択された血管内の柱状の血液ボクセルに制限することによって、前記仮想カテーテルに応答して前記三次元画像ボリュームを操作する、請求項３２に記載の装置。

【請求項45】

前記インタフェースが、前記三次元画像ボリュームのうちの選択されたサブボリュームに関連する情報を自動的に表示する、ことを有する請求項３２に記載の装置。

【請求項46】

前記インタフェースが、患者のメタデータ及び医用画像ボリュームを取得することが促された現在状態、患者の病歴、検査結果、及び病理学的結果を表示する、ことを有する請求項４５に記載の装置。

【請求項47】

前記インタフェースが、仮想フロントガラスを用いて前記情報を表示する、ことを有する請求項４５に記載の装置。

【請求項48】

前記インタフェースが、仮想ロードサインを用いて測定基準までの距離を表示する、ことを有する請求項４５に記載の装置。

【請求項49】

前記インタフェースが、視点を示す視覚的な補助アイコンを表示する、ことを有する請求項３２に記載の装置。

【請求項50】

前記インタフェースが、人工知能アルゴリズムによって検出された所見を示す視覚的な補助アイコンを表示する、ことを有する請求項３２に記載の装置。

【請求項51】

前記インタフェースが、撮像ボリュームに関係付けられる（例えば、表示されているサブボリュームの前記三次元画像ボリュームに対する位置を示す）ように変更された視覚的な補助アイコンを表示する、ことを有する請求項３２に記載の装置。

【請求項52】

前記インタフェースが、含ボリューム三次元カーソルを用いた少なくとも１つのサブボリュームの選択を受信する、ことを有する請求項３２に記載の装置。

【請求項53】

前記選択されたサブボリュームは、所定のリストの複数のサブボリュームのうちの１つである、請求項５２に記載の装置。

【請求項54】

前記インタフェースが、前記リストの前記複数のサブボリュームの各々を順次に表示する、ことを有する請求項５３に記載の装置。

【請求項55】

前記選択されたサブボリュームは、シーケンシャルサーチパターン座標によって定められる複数のサブボリュームのうちの１つである、請求項５２に記載の装置。

【請求項56】

前記選択されたサブボリュームは、ランダムサーチパターン座標によって定められる複数のサブボリュームのうちの１つである、請求項５２に記載の装置。

【請求項57】

前記画像プロセッサが前記三次元画像ボリュームを操作することは、ボクセルサイズを変更すること、ボクセル形状を変更すること、ボクセル位置を変更すること、ボクセル方向を変更すること、ボクセル内部パラメータを変更すること、ボクセルを作成すること、及びボクセルを除去すること、のうちの少なくとも１つを有する、請求項３２に記載の装置。

【請求項58】

前記画像プロセッサは、関心サブボリュームを、共通の特性に基づいて、複数の部分に分割することによって、前記三次元画像ボリュームを操作する、請求項３２に記載の装置。

【請求項59】

前記画像プロセッサは、分解図を生成することによって前記三次元画像ボリュームを操作し、前記三次元画像のセグメント化された複数の構造が、前記三次元画像ボリューム内の点から遠ざかるように移動される、請求項３２に記載の装置。

【請求項60】

前記インタフェースは仮想アイトラッカー記号を有する、請求項３２に記載の装置。

【請求項61】

前記仮想アイトラッカー記号は、ヒトの眼が跳躍性運動を行って１つの位置から別の位置へとジャンプすることができるように、空間的に離隔した位置で出現及び消滅する、請求項６０に記載の装置。

【請求項62】

前記仮想アイトラッカー記号は、経路に沿って滑らかに移動する、請求項６０に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

この開示の態様は、概して、ボリューム医用画像の表示に関する。

【背景技術】

【0002】

伝統的に、コンピュータ断層撮影（ＣＴ）及び磁気共鳴撮像（ＭＲＩ）のスキャンは、放射線科医によってスライス・バイ・スライス（slice-by-slice）アプローチで観察される。診断放射線医学における最近の進歩は、仮想現実、複合現実又は拡張現実ヘッドセットの使用を通じての医用画像の真の３Ｄ観察を提供し、ボリューム・バイ・ボリューム（volume-by-volume）アプローチ及びインタラクティブな含ボリューム３Ｄカーソル（volume subtending 3D cursor）の使用を可能にしてきた（援用するMETHOD AND APPARATUS FOR THREE DIMENSIONAL VIEWING OF IMAGESなる特許文献１；援用するMETHOD AND APPARATUS FOR THREE DIMENSIONAL VIEWING OF IMAGESなる特許文献２；及び非特許文献１を参照されたい）。インタラクティブな含ボリューム３Ｄカーソルは、撮像データセット内のサブボリュームのいっそう綿密な検査において、より大きな可能性を提供する。他の最近の進歩は、援用するINTERACTIVE VOXEL MANIPULATION IN VOLUMETRIC MEDICAL IMAGING FOR VIRTUAL MOTION, DEFORMABLE TISSUE, AND VIRTUAL RADIOLOGICAL DISSECTIONなる米国特許出願第１６／１９５，２５１号を含み、これは、複雑な構造の可視化及び理解を改善するために多様な組織操作を実行する能力を提供するものである。さらには、ボリュームを操作して表示を向上させるために、ジオレジストレーションされる医用撮像ツールのセットが開発されている（USING GEO-REGISTERED TOOLS TO MANIPULATE THREE-DIMENSIONAL MEDICAL IMAGESなる米国特許出願第１６／５２４，２７５号を参照されたい）。しかしながら、放射線科医がボリューム医用画像とインタラクトできることには、依然として特有の制限がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許第８３８４７７１号明細書

【特許文献2】米国特許第９９８０６９１号明細書

【非特許文献】

【0004】

【非特許文献1】Douglas, D. B., Wilke, C. A., Gibson, J. D., Boone, J. M., & Wintermark, M. (2017). Augmented Reality: Advances in Diagnostic Imaging. Multimodal Technologies and Interaction, 1(4), 29)

【発明の概要】

【0005】

この文書にて言及される全ての例、態様、及び特徴は、技術的に可能なやり方で組み合わされることができる。

【0006】

一部の態様によれば、方法は、画像処理システムにロードされた選択した三次元医用画像ボリュームに対して、ユーザ入力に応答して、一群の利用可能な仮想ツールから、仮想ツールのセットを選択し、選択したセットの各仮想ツールを三次元画像ボリュームとジオレジストレーションし、仮想ツールのセットのうちの仮想ツールの操作に応答して三次元画像ボリュームを操作する、ことを有する。一部の実装は、仮想焦点ペン、仮想３Ｄカーソル、仮想トランスポートビューア、仮想ペデスタル、仮想ナイフ、仮想カテーテル、仮想ロードサイン、仮想アブレーションツール、仮想テーブル、仮想造影剤ツール、及び仮想アイコンを含む一群の利用可能な仮想ツールから、仮想ツールのセットを選択する、ことを有する。一部の実装は、三次元画像ボリュームの一部をハイライトし且つ書き込まれた注釈を付加することによって、仮想焦点ペンに応答して三次元画像ボリュームを操作することを有する。一部の実装は、仮想焦点ペンの先端に隣接する三次元画像ボリュームボクセルを変更することを有する。一部の実装は、三次元画像ボリュームからの組織を隔てることによって、仮想ナイフに応答して三次元画像ボリュームを操作することを有する。一部の実装は、三次元画像ボリュームの中空構造内で仮想トランスポートビューアを移動させ且つ仮想トランスポートビューアの視点からの画像を提示することによって、仮想トランスポートビューアに応答して三次元画像ボリュームを操作することを有する。一部の実装は、仮想トランスポートビューアを用いて仮想的な結腸内視鏡検査を実行することを有する。一部の実装は、視認可能な動くボクセルを三次元画像ボリュームに挿入することによって、仮想造影剤に応答して三次元画像ボリュームを操作することを有する。一部の実装は、動くボクセルのうちの異なるものに異なる密度値を割り当てることを有する。一部の実装は、殻（シェル）ごとに繰り返すようにして行われ得るものである臓器の外殻のボクセルの除去によって、仮想ツールのセットのうちの仮想ツールの操作に応答して三次元画像ボリュームを操作することを有する。一部の実装は、近接した関心組織を該関心組織の複数のボクセルの座標を調整することによって離間させることによって、仮想ツールのセットのうちの仮想ツールの操作に応答して三次元画像ボリュームを操作することを有する。一部の実装は、関心組織を仮想テーブルの仮想収納箱（ストレージビン）に配することによって、仮想テーブルに応答して三次元画像ボリュームを操作することを有する。一部の実装は、仮想カテーテルの移動を、選択された血管内の柱状の血液ボクセルに制限することによって、仮想カテーテルに応答して三次元画像ボリュームを操作することを有する。一部の実装は、三次元画像ボリュームのうちの選択されたサブボリュームに関連する情報を自動的に表示することを有する。一部の実装は、患者のメタデータ及び医用画像ボリュームを取得することが促された現在状態、患者の病歴、検査結果、及び病理学的結果を表示することを有する。一部の実装は、仮想フロントガラスを用いて情報を表示することを有する。一部の実装は、仮想ロードサインを用いて測定基準までの距離を表示することを有する。一部の実装は、視点を示す視覚的な補助アイコンを表示することを有する。一部の実装は、人工知能アルゴリズムによって検出された所見を示す視覚的な補助アイコンを表示する、ことを有する。一部の実装は、表示されているサブボリュームの三次元医用画像ボリューム又は患者の身体に対する位置を示す視覚的な補助アイコンを表示することを有する。一部の実装は、含ボリューム三次元カーソルを用いてサブボリュームを選択することを有する。一部の実装は、サブボリュームの所定のリストの複数のサブボリュームからサブボリュームを選択することを有する。一部の実装は、リストの複数のサブボリュームの各々を順次に表示することを有する。一部の実装は、シーケンシャルサーチパターン座標によって定められる複数のサブボリュームからサブボリュームを選択することを有する。一部の実装は、ランダムサーチパターン座標によって定められる複数のサブボリュームからサブボリュームを選択することを有する。一部の実装において、三次元画像ボリュームを操作することは、ボクセルサイズを変更すること、ボクセル形状を変更すること、ボクセル位置を変更すること、ボクセル方向を変更すること、ボクセル内部パラメータを変更すること、ボクセルを作成すること、及びボクセルを除去すること、のうちの少なくとも１つを有する。一部の実装において、三次元画像ボリュームを操作することは、関心サブボリュームを、共通の特性に基づいて、複数の部分に分割することを有する。一部の実装において、三次元画像ボリュームを操作することは、各々が中心点に接触する複数の拡大された立方体を作成することによって、分解図を生成することを有する。一部の実装は、ヒトの眼が観察することを補助するために仮想アイトラッカー記号を使用することを有する。一部の実装は、ヒトの眼が跳躍性運動を行って１つの位置から別の位置へとジャンプすることができるように、空間的に離隔した位置で仮想アイトラッカー記号を出現及び消滅させることを有する。一部の実装は、ヒトの眼が滑らかな追跡を行うことができるように、仮想アイトラッカー記号を経路に沿って滑らかに移動させることを有する。

【0007】

一部の態様によれば、装置は、画像処理システムを有し、画像処理システムは、画像処理システムにロードされた選択した三次元医用画像ボリュームに対して、ユーザ入力に応答して、一群の利用可能な仮想ツールからの選択に関する仮想ツールのセットを提示し且つ該選択されたセットの各仮想ツールを三次元画像ボリュームとジオレジストレーションするインタフェースと、仮想ツールのセットのうちの仮想ツールの操作に応答して三次元画像ボリュームを操作する画像プロセッサと、を有する。一部の実装において、仮想ツールのセットは、仮想焦点ペン、仮想３Ｄカーソル、仮想トランスポートビューア、仮想ペデスタル、仮想ナイフ、仮想カテーテル、仮想ロードサイン、仮想アブレーションツール、仮想テーブル、仮想造影剤ツール、及び仮想アイコンを含む一群の利用可能な仮想ツールから選択される。一部の実装において、仮想ツールのセットは仮想焦点ペンを含み、画像プロセッサは、三次元画像ボリュームの一部をハイライトし且つ書き込まれた注釈を付加することによって、仮想焦点ペンに応答して三次元画像ボリュームを操作する。一部の実装において、画像プロセッサは、仮想焦点ペンの先端に隣接する三次元画像ボリュームボクセルを変更する。一部の実装において、仮想ツールのセットは仮想ナイフを含み、画像プロセッサは、三次元画像ボリュームからのボクセル（例えば、組織タイプのボクセル）を隔てる又は操作する（例えば、その位置を変化させる）ことによって、仮想ナイフに応答して三次元画像ボリュームを操作する。一部の実装において、仮想ツールのセットは仮想トランスポートビューアを含み、画像プロセッサは、三次元画像ボリュームの中空構造内で仮想トランスポートビューアを移動させ且つ仮想トランスポートビューアの視点からの画像を提示することによって、仮想トランスポートビューアに応答して三次元画像ボリュームを操作する。一部の実装において、仮想トランスポートビューアは、インタフェースを介して仮想的な結腸内視鏡検査を実行するために使用される。一部の実装において、仮想ツールのセットは仮想造影剤を含み、画像プロセッサは、視認可能な動くボクセルを三次元画像ボリュームに挿入することによって、仮想造影剤に応答して三次元画像ボリュームを操作する。一部の実装において、画像プロセッサは、動くボクセルのうちの異なるものに異なる密度値を割り当てる。一部の実装において、画像プロセッサは、臓器の外殻のボクセルを除去することによって、仮想ツールのセットのうちの仮想ツールの操作に応答して三次元画像ボリュームを操作する。一部の実装において、画像プロセッサは、近接した関心組織を該関心組織の複数のボクセルの座標を調整することによって離間させることによって、仮想ツールのセットのうちの仮想ツールの操作に応答して三次元画像ボリュームを操作する。一部の実装において、仮想ツールのセットは仮想テーブルを含み、画像プロセッサは、関心組織を仮想テーブルの仮想収納箱に配することによって、仮想テーブルに応答して三次元画像ボリュームを操作する。一部の実装において、仮想ツールのセットは仮想カテーテルを含み、画像プロセッサは、仮想カテーテルの移動を、選択された血管内の柱状の血液ボクセルに制限することによって、仮想カテーテルに応答して三次元画像ボリュームを操作する。一部の実装において、インタフェースが、三次元画像ボリュームのうちの選択されたサブボリュームに関連する情報を自動的に表示する。一部の実装において、インタフェースが、患者のメタデータ及び医用画像ボリュームを取得することが促された現在状態、患者の病歴、検査結果、及び病理学的結果を表示する。一部の実装は、インタフェースが仮想フロントガラスを用いて情報を表示することを有する。一部の実装は、インタフェースが仮想ロードサインを用いて測定基準までの距離を表示することを有する、一部の実装は、インタフェースが視点を示す視覚的な補助アイコンを表示することを有する。一部の実装は、インタフェースが、人工知能アルゴリズムによって検出された所見を示す視覚的な補助アイコンを表示することを有する。一部の実装は、インタフェースが、表示されているサブボリュームの三次元医用画像ボリューム又は患者の身体に対する位置を示す視覚的な補助アイコンを表示する、ことを有する。一部の実装は、インタフェースが、含ボリューム三次元カーソルを用いた少なくとも１つのサブボリュームの選択を受信する、ことを有する。一部の実装において、選択されたサブボリュームは、所定のリストの複数のサブボリュームのうちの１つである。一部の実装は、インタフェースがリストの複数のサブボリュームの各々を順次に表示することを有する。一部の実装において、選択されたサブボリュームは、シーケンシャルサーチパターン座標によって定められる複数のサブボリュームのうちの１つである。一部の実装において、選択されたサブボリュームは、ランダムサーチパターン座標によって定められる複数のサブボリュームのうちの１つである。一部の実装において、画像プロセッサが三次元画像ボリュームを操作することは、ボクセルサイズを変更すること、ボクセル形状を変更すること、ボクセル位置を変更すること、ボクセル方向を変更すること、ボクセル内部パラメータを変更すること、ボクセルを作成すること、及びボクセルを除去すること、のうちの少なくとも１つを有する。一部の実装において、画像プロセッサは、関心サブボリュームを、共通の特性に基づいて、複数の部分に分割することによって、三次元画像ボリュームを操作する。一部の実装において、画像プロセッサは、各々が中心点に接触する複数の拡大された立方体を作成することにより、分解図を生成することによって、三次元画像ボリュームを操作する。一部の実装において、インタフェースは仮想アイトラッカー記号を有する。一部の実装において、仮想アイトラッカー記号は、ヒトの眼が跳躍性運動を行って１つの位置から別の位置へとジャンプすることができるように、空間的に離隔した位置で出現及び消滅する。一部の実装において、仮想アイトラッカー記号は、経路に沿って滑らかに移動する。

【0008】

一部の実装において、強化された医用画像解析のための仮想ツールキットを実装するソフトウェアを用意するための方法及び装置が使用され、これは、以下のステップ、すなわち、チェックリストに従ってボリューム医用撮像データセットをロードし、医用画像を３Ｄボリュームに変換するとともに仮想ツールキットをインポートし、ジオレジストレーションされたボリューム医用画像との／内での各仮想ツールのレジストレーション及び較正を実行し、（例えば、援用するPROCESSING 3D MEDICAL IMAGES TO ENHANCE VISUALIZATIONなる米国特許出願第１５／９０４，０９２号及び上記米国特許出願第１６／１９５，２５１号並びに本開示にて教示される先進的な観察オプションに記載されるような）フィルタリング、セグメンテーション及びボクセル操作を実行し、全ての時間ステップについて、上のステップにて列挙された仮想ツールキットの移動及び操作に従った表示を提供し、決定ポイントが到達され、そこで、チェックリストが完成した場合には次のステップに進むことができ、検査が完了していない場合には先行ステップに戻り、そして最終的に、医療セット全体のレビューが完了した場合に、検査が終了されるとともに、レポートが作成されてファイルされる。

【0009】

装置は、ＩＯ装置と、該ＩＯ装置と通信する画像プロセッサとを有し、画像プロセッサは、コンピュータ読み取り可能な非一時的な媒体に格納されたプログラムを有し、該プログラムは、異なる組織タイプへのボクセルのセグメンテーションを実行するための命令と、ボクセル操作を実行するための命令と、少なくとも１つの追加ボクセルの作成及びそれの医用撮像データセットへの挿入のための命令と、医用撮像データセットへのボクセルを除去するための命令と、上のユーザ変更された放射線画像に対してボクセル注釈を実行するための命令と、レビューのための記録ステップに対する命令と、を有する。

【0010】

一部の実施形態において、仮想ツール操作はまた、コントローラ／ジョイスティック入力を介して遂行されることができる。一部の実装において、コントローラ／ジョイスティック入力は、３Ｄカーソルに、大きさ、形状、又は方向（ロール、ピッチ、ヨー）を変えるように指示することができる。一部の実装において、コントローラ／ジョイスティック入力は、左目及び右目の視点に、３Ｄカーソルに向かって内側に又は該カーソルから離れるようにズームされるように指示することができる。一部の実装において、コントローラ／ジョイスティック入力は、焦点への収束を指示することができる。一部の実装において、コントローラ／ジョイスティック入力は、頭部ディスプレイユニット内で３Ｄカーソルを上昇若しくは下降させること、又は３Ｄカーソルを左右に移動させることを指示することができる。一部の実装において、コントローラ／ジョイスティック入力は３Ｄカーソルの色を変えることができる。一部の実装において、コントローラ／ジョイスティック入力は、フィルタリング、セグメンテーション、シーケンシング、統計分析及び報告を呼び出すことができ、これらは米国特許出願第１５／９０４，０９２号に記載されており、それを援用する。一部の実装において、コントローラ／ジョイスティック入力は、関心ボリューム全体を通しての仮想焦点ペンの移動を指示することができる。一部の実装において、コントローラ／ジョイスティック／キーボード入力は、関心ボリューム内の１つ以上の３Ｄカーソルの注釈を指示することができる。一部の実装において、コントローラ／ジョイスティック入力は、放射線科医を複雑な検査のための自身のチェックリストアプローチに体系化されたままとするために、ボリューム医用撮像に関連するアイコンオプションを指示することができる。一部の実装において、３Ｄ医用画像を提示することは、ジョイスティック及び機能ボタンで構成される医療関係者が３Ｄ医用画像をレビューするのための改良されたユーザコントローラインタフェースの方法を有する。機能は、以下に限られないが、３Ｄカーソルとインタフェースするときに以下を含む：３Ｄカーソルの方向をロール、ピッチ、ヨーで変更する；医療関係者の視点を３Ｄカーソルのズームインする及び該カーソルからズームアウトする；収束を発動させる；ヘッドセット上で表示されるところに関して３Ｄカーソルを上下させる；３Ｄカーソルの大きさ、形状、及び色を変更する；フィルタリング、セグメンテーション、シーケンシング、統計、及び報告の処理を呼び出す；仮想焦点ペン及びその移動制御を呼び出す；関心領域内の１つ以上の３Ｄカーソルに注釈を付ける；アイコンオプションを呼び出す；及び関心ある高度な表示オプション（例えば、分解、切除、スライスタイプのビュー）を呼び出す。仮想ツールの代表的なサンプルは、以下に限られないが、仮想焦点ペン、仮想３Ｄカーソル、仮想トランスポートビューア、仮想ペデスタル、仮想ナイフ、仮想カテーテル、仮想ロードサイン、仮想アブレーション、仮想テーブル、仮想造影剤、及び仮想アイコンを含む。多くの他の仮想ツールが可能であり、それらは、以下に限られないが、ドリル、カップ、ストリング、ミラー、レンズ、金属デバイス、非金属デバイス、及び医療関係者、建設作業者又はエンジニアによって一般的に使用される他のツールを含む。

【0011】

一部の実装において、ボリューム医用画像のレビューを行う医療関係者は、それによって仮想放射線科医アシスタントタイプアイコンが表示されるプロセスを呼び出し得る。仮想放射線科医アシスタントタイプアイコンの目的は、とりわけ：検査を行っている医療関係者が医療機関のチェックリスト上のどこにあって、次が何であるか；（１つ以上の）医用画像を取得する引き金となる患者のメタデータ及び現在状態；患者の病歴；検査結果；存在する場合の人工知能（ＡＩ）ルーチンの適用からの結果及び状態のインジケータ、に関する全ての関連／重要な情報を描くことである。この実装において、レビューを行う医療関係者は、如何なる時にも仮想フロントガラス（ウィンドシールド）の表示を命令し得る。この実装において、レビューを行う医療関係者はまた、フロントガラス上に示されるアイテムを変更し得る。

【0012】

一部の実装において、仮想ツールは、ボクセル変更を指示することができる。ボクセル操作の例は、ボクセルのサイズ、形状、位置、方向、又は内部パラメータを変えることを含む。さらに、仮想ツールの指示にてボクセルを作成又は削除することができる。

【0013】

一部の実施形態において、医用撮像ボリューム内の関心構造の視覚化を強化するために、仮想焦点ペンを利用される。一部の実装において、焦点ペンは、異常を含んでいるかもしれない構造内の領域を指すために使用されることができる。一部の実装において、焦点ペンは、記号（例えば、矢印）を用いて関心領域を指すことができる。一部の実装において、ボリュームデータ内に注記を書き込むことができる。一部の実装において、焦点ペンの先端から特定の距離だけ離れた組織の透明さを変更すると共に、焦点ペンのポイントに近接したボクセルをハイライトすることができる。一部の実装において、焦点ペンは３Ｄカーソルと共に使用されることができる。

【0014】

一部の実施形態において、ヒトが構造を観察することを容易にするために、仮想アイトラッカー記号が３Ｄ医用撮像データセットと共に使用される。一部の実施形態において、仮想アイトラッカー記号は、ヒトの眼が跳躍性運動を行って１つの位置から別の位置へとジャンプすることができるように、空間的に離隔した位置で出現及び消滅する。他の一実施形態において、仮想アイトラッカー記号は、ヒトの眼が滑らかな追跡を行うことができるように、連続して視認可能であり、経路に沿った滑らかな動きを持つ。仮想アイトラッカー記号は、以下に限られないが、仮想ツール（例えば、仮想焦点ペン）、ジオレジストレーションされたツール、又は予めプログラムされたシーケンスによって制御されることができる。

【0015】

一部の実装において、仮想ナイフを、ボリューム医用画像とコレジストレーションして、医用撮像ボリューム内で仮想組織を切断するために使用することができる。更なる一実装において、仮想ナイフは、移動可能なジオレジストレーションポイント（例えば、仮想ナイフの先端）を有し、仮想ナイフの切断面を指し示す追加ポイント、及び制御ユニットが、Ｘ、Ｙ、Ｚ座標系、並びにナイフのロール、ピッチ、及びヨーにおける変化を提供する。仮想ナイフは、以下に限られないが、以下のように使用され得る：医用画像を見る医療関係者が、仮想ナイフを拾い上げ、それを現在関心ある３Ｄデジタル構造に移動させ、次いで、仮想ナイフを３Ｄジオレジストレーションされた構造に通し、そして、それが３Ｄジオレジストレーションされた構造を通り抜けたときに仮想ナイフによって作り出された表面の外側（医用画像を見る医療関係者によって予め選択された仮想ナイフの側）にある組織が削除され（又は傍らに取りのけられ）得る。更なる実装において、仮想ナイフは、厳密なレジストレーションポイント（例えば、ジオレジストレーションされるナイフの先端）、ナイフの切断面を指し示す追加のジオレジストレーションポイントを有する。一部の実装において、触覚又は聴覚フィードバックをユーザに提供することができる。

【0016】

一部の実装において、３Ｄ医用画像を提示することは、視覚的トランスポートツールを使用して血管中でのライドを達成することで医用画像を見ることを支援する方法を有する。更なる一実装において、患者内の血管構造の観察を最適化するために、視覚的トランスポートツールと共に仮想カテーテルが使用され得る。手順例は、以下に限られないが、血管構造及び１つ以上のステントの挿入の潜在的必要性の評価においてトンネル内のライドが使用され得ることを含む。このケースにおいて、血管エントリのライドは、鼠径部を通って、総大腿動脈へ、外腸骨動脈へ、総腸骨動脈へ、腹部大動脈へ、胸部大動脈へ、大動脈弓へ、そして最終的に関心冠動脈へとし得る。そして、医用画像を見る医療関係者が３Ｄヘッドセットから見たときに血管内を移動して見えるように可視化する。血管内の血液はデジタル的に取り去られることができ、仮想的な光が血管壁上で輝き得る。血管構造内の収縮物がトンネルの狭窄として現れ、収縮物のＸ、Ｙ、Ｚ座標が記録される。医用画像を見る医療関係者はいつでも、血管構造を全体として、示された血管内のライドの現在位置と共に見ることができる。一部の実装において、内部構造の最適な観察が達成されるように、血管の直径を拡大してボクセルを操作し得る。一部の実装において、３Ｄ医用画像を提示することは、血管内の３Ｄジオレジストレーションされたライドからなる医用画像を観察することを支援する方法を有する。更なる実装において、このトンネル内の３Ｄジオレジストレーションされたライドは、SMART OPERATING ROOM EQUIPPED WITH SMART SURGICAL DEVICESなる米国特許出願第１５／９４９，２０２号及びIMPLANTABLE MARKERS TO AID SURGICAL OPERATIONSなる米国特許出願第１６／５０９，５９２号に記載されるような患者のジオレジストレーションとともに使用される。介入者は、３Ｄヘッドマウントディスプレイを用いたジオレジストレーションされた３Ｄシステムと介入手術で現在利用可能な標準ディスプレイとの間で行ったり来たり切り替え得る。これは、術前プランニング中に特定されたしめ収縮物を略リアルタイムで観察することを可能にする。さらに、クリティカルなジャンクションに近づいているときに略リアルタイムで警告が与えられ得る。

【0017】

一部の実装において、ボリューム医用画像を提示することは、仮想カテーテルで構成される医用画像を見ることを支援する方法を有する。更なる実装において、仮想カテーテルは、患者内の血管構造の３Ｄデジタル画像と共に使用され得る。更なる実装において、カテーテルは総移動距離を継続的に計算することができ、総移動距離は、表示され得るとともに、後のレビューのために時間タグ付けされ記録され得る。仮想カテーテルは、以下に限られないが例えば脳動脈瘤の治療などの介入手順の術前プランニング中に使用されてもよい。動脈瘤の治療における仮想カテーテルの実装は、以下の通りとし得る：例えば患者の鼠径部から総大腿動脈、次いで外腸骨動脈、次いで総腸骨動脈、次いで腹部大動脈、次いで胸部大動脈、次いで腕頭動脈、次いで総頸動脈、次いで内頚動脈、次いで中大脳動脈、そして最終的に動脈瘤へなど、予め決められた箇所で仮想カテーテルを３Ｄデジタル血管構造に挿入する。介入者が注意を払う必要がある各交差部のために拡張現実距離マーカーが３Ｄ仮想カテーテルに付加されて１つの血管から別の血管へと変化するように準備され、重要な全ての血管分岐連結点のスクリーンキャプチャが、座標系Ｘ−Ｙ、Ｘ−Ｚ、及びＹ−Ｚ平面における現在経路からの角度変化を注釈付けられ得る。

【0018】

一部の実装において、３Ｄ医用画像を提示することは、３Ｄデジタル画像内での分解からなる医用画像を見ることを支援する方法を有する。更なる実装において、医用画像を見る医療関係者は（例えば、米国特許出願第１５／９０４，０９２号に概説されるセグメンテーション技術を用いて）、それらの共通の特徴（例えば、同等のハンスフィールドユニット）に基づいて、関心ある３Ｄデジタルボリュームを複数の部分へと分割し得る。そして、医用画像を見る医療関係者は、分解の原点として作用することになる３Ｄデジタルボリューム内の点（理想的には、３Ｄデジタルボリュームの中心近くであり且つセグメント化されたサブボリューム間）を選択し得る。すると、あたかも爆発が起こったかのように３Ｄデジタルのサブボリュームを分離し得る複数の方法がある。それらの方法のうちの１つは、以下に限られないが、次の通りである：各々が中心点に接し且つ各々がＸ、Ｙ、Ｚ軸に平行な８つの大きな立方体を作成する（例えば、第１の立方体はＸにおいて正、Ｙにおいて正、Ｚにおいて正であり、第２の立方体はＸにおいて正、Ｙにおいて負、Ｚにおいて正であるとすることができ、等々）。そして、医用画像を見る医療関係者が、中心点に近いサブボリュームについての距離係数を確立し、より遠く離れたサブボリュームには大きい距離係数を確立する。そして、サブボリュームの中心ボクセルがどの立方体の中にあるかに基づいて、これらの係数が３Ｄデジタル画像の各特定のサブボリューム内の全てのボクセルに適用される（なお、上述の第１の立方体では、その中心ボクセルがこの立方体に入る全てのサブボリュームで、そのサブボリューム内のボクセルのＸ、Ｙ、Ｚ座標が、正のＸ、正のＹ、正のＺ方向に、指定の係数だけ増加する。第２の立方体内のサブボリュームでは、増加は正のＸ、負のＹ、正のＺ方向である。）。医用画像を見る医療関係者は、検査の過程において、係数を変更してサブボリューム間の隔たりを変化させる。

【0019】

一部の実装において、仮想トランスポートプロセスビューアは、結腸内視鏡検査に先立って使用され得る。仮想トランスポートビューアプロセスの下で、患者は、先ず結腸のＣＴスキャンを受け、ＣＴ ２Ｄスライスから結腸の３Ｄボリュームが作成され（米国特許第８，３８４，７７１号）、セグメンテーション（米国特許出願第１５／９０４，０９２号）が結腸の内容物（例えば、空気、排泄物）を識別し、減算が結腸の内容物を抽出し、そしてそうする際に、結腸が元の形状を維持したまま、ポリープが視認可能になり、そして、仮想プラットフォームが挿入されて、結腸内で前後左右の検査を行うことを可能にする。３Ｄ観察の容易さのために、結腸の直径を、ボクセル操作（米国特許出願第１６／１９５，２５１号）により、拡大された結腸の中心点から最適な直径まで増加させることができる。ポリープが発見されなかった場合、患者は、引き続き健康状態が良好であると確信して家に帰ることができ、患者は、結腸内視鏡検査の不快感及び不安感を免れたことになり、結腸内視鏡検査の費用が回避される。そうでない場合には、治療が必要であることが知られることになる。結腸内視鏡検査を免れた者が仮想トランスポートビューアプロセスに尻込みすることはなさそうであるとともに、早期に検出される症例の割合が増加することになる。それにより、全住民の総体的な健康が向上される。

【0020】

一部の実装において、結腸のボリューム医用画像のレビューを行う医療関係者は、仮想結腸内視鏡検査が実行されるプロセスを呼び出し得る。この実装では、造影剤を用いる／用いない結腸のＣＴスキャンが実行される。次いで、ＣＴ ２Ｄスライスから３Ｄ仮想画像が構築される（米国特許第８，３８４，７７１号）。セグメンテーション（米国特許出願第１５／９０４，０９２号）が実行され、結腸の外側の組織が取り去られる。また、結腸内の組織でない内容物も取り去られる。そして、ポリープを見えなくし得るヒダが引き伸ばされ、それにより、ヒダ状の結腸組織によってポリープが見えなくなることがなくなるように、結腸が‘ストレッチ’される。このストレッチプロセスは、米国特許出願第１６／１９５，２５１号に記載されるようなボクセル操作を含む。この引き伸ばされた直線状の仮想結腸が、この図に示されるようにヘッドディスプレイユニットを介して内部構造を見ることができるように、長さ軸に沿って２つに分割される。

【0021】

一部の実装において、３Ｄ医用画像を提示することは、血管系への仮想造影剤の挿入からなる医用画像を見ることを支援する方法を有する。更なる実装において、仮想造影剤は、患者内の血管構造の３Ｄデジタル画像と共に使用され得る。手順例は、以下に限られないが、肺塞栓症においてのような閉塞の探索を含む。この例において、時間ステップ式に仮想造影剤を受け入れる血管が選択される。仮想造影剤の挿入は、あたかもそれが実際に血管に入れられているかのような方法及び速さで行われ得る。時間ステップの継続時間は、医用画像を見る医療関係者の制御下にあり、造影剤の流れの再生と共に‘フリーズフレーム’が利用可能である。医用画像を見る医療関係者に表示される３Ｄ画像から、仮想造影剤を受け入れる血管ではない近傍の（場合により、部分的に一致する）血管が抽出され得る。

【0022】

一部の実装において、３Ｄ医用画像を提示することは、アブレーション技術からなる医用画像を見ることを支援する方法を有する。更なる実装において、アブレーション技術は、上記のように３Ｄカーソルによってトランスポートされる３Ｄデジタル構造と共に使用され得る。アブレーション技術の基礎をなす方法は、以下に限られないが、以下の手順からなる：先ず、医用画像を見る医療関係者にとって関心のある臓器の外‘殻’を決定する（例えば、米国特許出願第１５／９０４，０９２号に概説されるセグメンテーション技術を用いて）；外表面のボクセルの全てから順に１ボクセル深さだけ除去し、医用画像を見る医療関係者の方向の組織の残りの外側層上でこのステップを何度か繰り返し；あるいは、Ｘ、Ｙ、Ｚ座標系において１つの層を選択し（例えば、最も大きいＺ座標を持つＸ−Ｙ層を選択してその層を除去し、医用画像を見る医療関係者の方向の残りの３Ｄデジタルボリューム上でこのステップを何度か繰り返す）。このプロセスは、何度も繰り返されることができ、外殻が除去されるたびに、僅かに小さい体積が残される。そして、このプロセスが再び繰り返され、新たな、より小さくなった外殻がもう一度除去され、更に小さくなったボリュームが残され、そして続けられる。

【0023】

一部の実装において、仮想ツールを使用することで、密集した関心組織の位置を、それらの組織の離隔距離が、ボクセル操作（例えば、様々な透明度の追加のボクセルの挿入）と、関心組織の座標の同時調整と、を通して増加され得るように変えることができる。

【0024】

一部の実施形態において、サブボリュームごとに観察するアプローチが可能にされる。サブボリュームは、様々な数又は組み合わせのボクセルからなることができる。

【0025】

一部の実装において、３Ｄ医用画像を提示することは、関心ボリューム中での３Ｄカーソルの動きをシーケンス化する方法を有する。シーケンスは、以下に限られないが、例えば、３Ｄカーソルを０＿Ｘ、０＿Ｙ、０＿Ｚ座標に位置させて開始し、３ＤカーソルをＸ方向に動かすようにＸを増加させ、Ｘの最大値まで増加させ続け、次いで、Ｘを０Ｘ座標へと減らし戻してＹを増加させ得る。これが、Ｘ−Ｙ平面内で、それが完了するまで続き、その後、Ｚが増加され、このプロセスが完了まで続く。増分させることは、関心ボリューム全体がレビューされたことになるまで続けられる。１つの増加から別の増加へと変えることは、医用画像をレビューする医療関係者によって制御される。さらに、３Ｄカーソルの中身のレビュー中に、疑わしい組織が検出された場合、医療関係者は、更なるレビューのために３Ｄカーソルに注釈を付け得る。さらに、医療関係者は、いつでも、関心ボリューム内の３Ｄカーソルがある位置、及び既に検査された関心ボリュームを表示することを選択し得る。疑わしい組織が２つ以上の３Ｄカーソル内に現れた場合、それらの３Ｄカーソルの総体が同時に表示され得る。一部の実装において、３Ｄ仮想医用画像をレビューする医療関係者は、あるタイプの探索パターンを呼び出し得る。一部の実装において、順次探索パターンが選択され得る。順次探索の一例は、以下に限られないが、仮想フロントガラスワイパー探索である。このタイプの探索パターンは、徹底的な探索が行われることを確保する助けとなる。一部の実装において、関心あり得るアイテムを調べることに基づくランダムパターンである。例えば臓器の透明度を変化させること及び疑似色を使用することなどの画像処理の助けが、関心あり得るアイテムを特定する助けとなり得る（米国特許第８，３８４，７７１号）。このタイプの探索パターンは、レビュープロセスを促進させることができる。どちらのタイプの探索パターンも、３Ｄカーソルを使用する（METHOD AND APPARATUS FOR THREE DIMENSIONAL VIEWING OF IMAGESなる米国特許第９，９８０，６９１号、及びINTERACTIVE 3D CURSOR FOR USE IN MEDICAL IMAGINGなる米国特許出願第１５／８７８，４６３号）。なお、元の２Ｄフォーマットで医用画像をレビューするとき、レビューしている個人の跳躍性運動に従って眼が１つのスポットから別のスポットへとジャンプし、スライスのかなりの部分が観察されないことがあり、その結果、小さい塊が見逃されることがある。３Ｄカーソルの使用においては、それらの小さい塊が提示画像のいっそう大きい部分に及び、検出の確率が比例的に増加する。

【0026】

一部の実装において、ボリューム医用画像のレビューを行う医療関係者は、３Ｄカーソルに包み込まれる（ボリューム全体のうちの）サブボリュームの選択の段階的（ステップ・バイ・ステップ）プロセス（米国特許第９，９８０，６９１号及び米国特許出願第１５／８７８，４６３号）を使用してボリューム医用画像が検査されるプロセスを呼び出し得る。各３Ｄカーソルの中身が独立にレビューされる。さらに、この段階的プロセスが完了した後に、ボリューム全体が検査されたかについての疑問が生じることがある。この実装において、検査された３Ｄカーソルの各々に含まれるボリュームが合計され、元の総ボリュームから取り去られる。これは、元のボリュームの一部が見逃されることをもたらし得る。この実装において、それら見逃された部分が、レビューを行う医療関係者に強調表示され、医療関係者は見逃された部分をレビューして調べることを続けるように警告され得る。この実装の下では、２Ｄスライス検査プロセスと比較して、小さい塊の検出率が上昇することになる。この実装の下では、より徹底的な検査が行われたことになる。一部の実装において、３Ｄ医用画像を提示することは、関心ボリュームの中での３Ｄカーソルの移動をシーケンス化する方法を有する。シーケンス化は、以下に限られないが、例えば、３Ｄカーソルを０＿Ｘ、０＿Ｙ、０＿Ｚ座標に位置させて開始し、３ＤカーソルをＸ方向に動かすようにＸを増加させ、Ｘの最大値まで増加させ続け、次いで、Ｘを０Ｘ座標へと減らし戻してＹを増加させ得る。これが、Ｘ−Ｙ平面内で、それが完了するまで続き、その後、Ｚが増加され、このプロセスが完了まで続く。増分させることは、関心ボリューム全体がレビューされたことになるまで続けられる。１つの増加から別の増加へと変えることは、医用画像をレビューする医療関係者によって制御される。さらに、３Ｄカーソルの中身のレビュー中に、疑わしい組織が検出された場合、医療関係者は、更なるレビューのために３Ｄカーソルに注釈を付け得る。さらに、医療関係者は、いつでも、関心ボリューム内の３Ｄカーソルがある位置、及び既に検査された関心ボリュームを表示することを選択し得る。疑わしい組織が２つ以上の３Ｄカーソル内に現れた場合、それらの３Ｄカーソルの総体が同時に表示され得る。

【0027】

一部の実装において、位置確認を容易にするために、医用撮像ボリュームの表示と共に仮想アイコンが使用され得る。一例として、臓器（例えば、肝臓）の小領域の綿密な検査中に、３Ｄカーソルが正確には臓器内のどこに位置するかについて少し見当識を失うことがあり得る。故に、アイコンが、検査の観察中に常に位置確認を補助し得る。他の一実施形態において、矢印の注釈マーカーが、当初の観察視点から現在の観察視点までの経路を示すことができる。代わりの一実施形態では、ユーザを迅速に適応させるために、自動再センタリング技術を使用してもよい。

【0028】

一部の実装において、仮想テーブルが、テーブル上に仮想収納箱を持つツールキットに付加され得る。現在検査中であって懸念／関心ある組織を含む仮想医用画像の（１つ以上の）サブボリュームが、（１つ以上の）仮想収納箱内に配され得る。サブボリュームの箱（ビン）は、医療機関のチェックリスト項目に対応し得る。一部の実装において、レビューする医療関係者と治療関係者との双方によってアクセスされ得る緊急箱を追加してもよく、それにより、これら関係者間の協力を支援し促進させ得る。一部の実装において、箱を通じて自動的にシーケンス化し、項目を抽出し、それらの項目をレポートに追加することによって、レポート作成が促進され得る。追加された項目（例えば、問題の組織を含む注釈付きの図）は、レポートの質及び完全性の双方を高める。放射線科医は、何か異常なことを発見した場合はいつでも、それをレポートの仮想テーブルに載せる。レポートの仮想テーブル上に配される項目は、異常所見を含む２Ｄスライス又は３Ｄボリュームを含み得る。放射線科医は、仮想テーブル及び仮想箱のサイズを決定するオプションを持つ。共同作業のために、一人の放射線科医が、ある項目を、別の放射線科医のテーブル又は箱に渡すことができる。

【0029】

一部の実装において、放射線科レポートは、仮想ツールによって処理された画像を含み得る。

【図面の簡単な説明】

【0030】

この特許ファイル又は出願ファイルは、カラー作成された少なくとも１の図を含む。（１つ以上の）カラーの図を有するこの特許公開又は特許出願公開の写しは、請求及び必要な手数料の納付を受けて庁によって提供されることになる。

【図1】医用撮像検査の表示を最適化するための仮想ツールの使用に関するフロー図を示している。

【図2】図１のプロセスを実装する装置を示している。

【図3】ボリューム医用画像を観察する際の仮想ツールキットオプションを示している。

【図4】撮像検査の解釈中に放射線科医に関連情報を届けるフロー図及びヘッドアップディスプレイタイプのアイコンの一例を示している。ヘッドアップディスプレイは、仮想フロントガラス（ウィンドシールド）（航空機における‘ヘッドアップ’ディスプレイに類似する）を指し、これは、検査プロセス中にいつでも呼び出すことができ、単一の仮想フロントガラス上に、患者の症例全体に関連する項目、及び／又は医療機関のチェックリストで検査される特定の項目を表示する。代わりに、それは、仮想放射線アシスタントタイプアイコンとして参照されることができる。

【図5】ボクセル変更につながる仮想ツールキット入力のフロー図及び説明を示している。

【図6】仮想ツールとのインタラクションに基づくボクセル操作を示している。

【図7】可変の表示パターンを有する仮想アイトラッカー記号を示している。

【図8】内部構造の観察促進を可能にするように既存の３Ｄ医用撮像ボリュームから組織を‘切り離す’ために医療関係者によって使用され得るものである仮想ナイフを示している。

【図9】視覚的トランスポートツールを用いた仮想血管中での仮想ライドを示している。

【図10】仮想アイコンの助けを借りて患者内の血管構造のボリューム医用画像と共に使用され得る仮想カテーテルを示している。

【図11】３Ｄ医用画像の複数の別々の臓器への分解の背後にある３Ｄ医用画像及び技術例の一般的概念を示している。

【図12】より正確な仮想コロノグラフィレビューを行うための仮想トランスポートビューアの使用を示している。

【図13】ボクセル操作を通じて１つの長い直線状のチューブであるようにストレッチされた大腸の結腸部分を含む仮想３Ｄボリューム医用画像の一部を示している。その後、チューブ内の中身がセグメント化され、チューブから取り除かれる。そして、最終的に、チューブは長さ軸に沿って分割され、内部の結腸構造の観察を可能にするように開かれる。

【図14】仮想造影剤の挿入及び血管系の中でのその流れを示している。

【図15】とりわけ、３Ｄカーソル内の３Ｄデジタル構造と共に使用され得るアブレーション技術を示している。これは、臓器の内部構造及び要素の注意深い検査を可能にする。

【図16】ボクセル操作をガイドする仮想焦点ペンを示している。

【図17】総撮像ボリューム及び複数タイプのサブボリュームを示している。

【図18】ランダムパターンでの関心ボリューム中の３Ｄカーソルの移動のシーケンス化を示している。

【図19】医用画像の観察の秩序立てられたパターン（例えば、連続的な仮想フロントガラスワイパータイプのパターン）の一例を示している。

【図20】レビューされるべき関心ボリュームと、見逃されたレビュー意図領域が、レビューを行う医療関係者に強調表示され得るプロセスとを示している。これら特定されたサブボリュームがその後にレビューされ、それにより、レビューの完全性が確保される。

【図21】３Ｄ仮想カーソルの位置を体内のおおよその位置に含めた人間のアイコンを示している。

【図22】チェックリストカテゴリによって格納される疑わしい組織の仮想画像を格納するための仮想可動テーブルを示している。

【図23】仮想ツールで処理された画像を含む放射線科レポートのサンプルを示している。

【発明を実施するための形態】

【0031】

ここに記載される一部の態様、特徴、及び実装は、例えばコンピュータ、電子部品、放射線学コンポーネント、光学コンポーネントなどのマシン、及び例えばコンピュータ実装されたステップなどのプロセスを含み得る。当業者に明らかになることには、コンピュータ実装されたステップは、コンピュータ実行可能命令として、非一時的なコンピュータ読み取り可能媒体上に格納され得る。また、当業者によって理解されることには、コンピュータ実行可能命令は、多様な有形のプロセッサデバイス上で実行され得る。説明の容易さのために、コンピュータ又はデータストレージシステムの一部とし得る全てのステップ、デバイス又はコンポーネントがここに記載されるわけではない。当業者は、本開示の教示及び当業者に一般的に利用可能な知識に鑑みて、そのようなステップ、デバイス及びコンポーネントを認識することになる。従って、対応するマシン及びプロセスが可能であり、開示の範囲内にある。

【0032】

図１は、医用撮像検査の表示を最適化するためのジオレジストレーションされたツールの使用に関するフロー図を示している。ステップＡ １００にて、チェックリストに従ってボリューム医用撮像データセットをロードし、医用画像を３Ｄボリュームに変換し、仮想ツールキットをインポートする。ステップＢ １０２にて、ジオレジストレーションされたボリューム医用画像との／内での各仮想ツールのレジストレーション及び較正を実行する。ステップＣ １０４にて、援用する米国特許出願第１５／９０４，０９２号及び米国特許出願第１６／１９５，２５１号並びにこの開示にて説明される先進的な観察オプションに従った、フィルタリング、セグメンテーション及びボクセル操作を実行する。ステップＤ １０６にて、全ての時間ステップについて、上のステップにて列挙された仮想ツールキットの移動及び操作に従った表示を提供する。ステップＥ １０８にて、ユーザは、“チェックリストのこの要素の検査は完了しているか？”という質問に回答しなければならない。回答がノー １１０である場合、ユーザはステップＤ １０６へと進むべきである。回答がイエス １１４である場合、放射線科医はステップＦ １１６に進み、チェックリストに従って次の医用画像のセットをレビューすべきである。そして、放射線科医は、ステップＧ １１８に進んで、“レビューは完了しているか？”という質問に回答すべきである。回答がノー １２０である場合、放射線科医はステップＡ １００に進む（１２２）べきである。回答がイエス１２４である場合、放射線科医は終了（１２６）すべきである。

【0033】

図２は、図１に示したプロセスを実装する装置を示している。放射線学撮像システム２００（例えば、Ｘ線、超音波、ＣＴ（コンピュータ断層撮影）、ＰＥＴ（陽電子放出型断層撮影）、又はＭＲＩ（磁気共鳴撮像））を用いて、関心ある解剖学的構造２０４の２Ｄ医用画像２０２が生成される。２Ｄ医用画像２０２は、プロセッサ２０８（例えば、ＣＰＵ及びＧＰＵ）、揮発性メモリ２１０（例えば、ＲＡＭ）、及び不揮発性ストレージ２１２（例えば、ＨＤＤ及びＳＳＤ）を含むものである画像プロセッサ２０６に提供される。画像プロセッサ上で走るプログラム２１４が、図１に記載されたステップのうちの１つ以上を実装する。３Ｄ医用画像が、２Ｄ医用画像から生成され、ＩＯ装置２１６上に表示される。ＩＯ装置２１６は、仮想現実ヘッドセット、複合現実ヘッドセット、拡張現実ヘッドセット、モニタ、タブレットコンピュータ、ＰＤＡ（携帯情報端末）、携帯電話、又は多種多様な装置のいずれかを、単独又は組み合わせで含み得る。ＩＯ装置２１６は、タッチスクリーンを含んでもよく、また、例えばキーボード、マウス、及び様々な入力を受け取るための様々な機器のいずれかなどの、外部装置（２１８によって表している）からの入力を受け入れてもよい。しかしながら、例えばプログラム２１４によって、一部の又は全ての入力が自動化されてもよい。最後に、図３及びこの特許の残りの部分で更に説明するように、一連の仮想ツール２２０が実装され、それらが、医療関係者による医用画像の観察を支援する。

【0034】

図３は、ボリューム医用画像を観察する際の仮想ツールキットオプションを示している。この図には、仮想ツールの使用を通じて利用可能な表示オプションのうちの代表的な例が示されている。それによって仮想ツールをガイド／選択することができるオプションがディスプレイに提示され、ユーザが所望のオプションをクリックする。この図の中心において、仮想ツール３００（すなわち、仮想焦点ペン）は、医用撮像ボリューム内でジオレジストレーションされている。仮想焦点ペンは、３Ｄカーソル３０４の内側に位置する仮想３Ｄ医用画像３０２を含む領域内に重ね合わされる。ボタン（例えば、キーボード上）と仮想ツールの動きとを一緒に結合して、３Ｄカーソル３０４のサイズを決定することができる（例えば、３Ｄカーソル３０４の中心を選択し、次いで、半径に対応するように仮想焦点ペン３００をある距離だけ動かす）。ユーザは、左目ディスプレイ３０８及び右目ディスプレイ３１０を有するヘッドセット３０６（例えば、拡張現実、複合現実又は仮想現実グラス）を用いて、仮想ツールを見る。仮想焦点ペンは、医用撮像ボリューム３０２の特定のスポット（例えば、コーナー）にタッチすることによって、仮想画像内でレジストレーションされることができる。表示目的で、医療関係者は、ディスプレイ内に焦点ペンの先端のみを示すように、所望のように焦点ペンの先端を拡大するように、及び／又は焦点ペンの仮想画像をその全体において、それがボリューム内で方向を合わせられるように選択することができる。仮想焦点ペン３００の動きは、医用画像を見る医療関係者によって制御される。仮想焦点ペン３００は、滑らかな追跡眼球運動が必要な場合に有用である。例えば、滑らかな追跡眼球運動は、何らかの閉塞について動脈を調べるときに必要であり、動脈に沿ってトレースして閉塞を探すように仮想焦点ペンを使用する。跳躍性眼球運動は、動脈の一部を跳び越えてしまって深刻な閉塞が検出されないことをもたらすことがあり、故に、仮想焦点ペン３００は、この探索パターンを補助するのに役立ち得る。
複数の色／形状の仮想焦点ペン３００を使用して、動脈及び静脈の異なる流れをトレースしてもよい。上の画像では、仮想ツールの位置及び向きが関心ボリュームに対して変化している。仮想焦点ペンは、関心ボリューム３１４に対して当初の位置及び向き３１２で示される。次いで、ユーザは、仮想焦点ペンを、関心ボリューム３１４に対して、後続の位置及び向き３１６へと動かすことができる。時計回りに進んで、次に、仮想焦点ペン３１８は、ヘッドディスプレイユニット３２２から当初距離で関心ボリューム３２０を掴み取ることを行っている。次いで、仮想焦点ペン３２４は、視覚化改善のために、関心領域３２６をヘッドディスプレイユニット３２２に近づけるように引っ張っている。代わりに、関心ボリューム３２０は、焦点ペン３１８によって、他の位置又は向きに動かされてもよい。次に、検査している仮想画像３３０（例えば、頸動脈）の一部の上に又は隣に、固定的又は動的に仮想ドットを配することができる。例えば、血管構造の最も重要な部分を見るために眼が短い距離だけジャンプする跳躍性運動による観察を支援するために、ドットは、血管構造に沿った複数のスポットで出現及び消滅することができる。時点＃１で第１の仮想ドット３３２が出現し、この時点では視野内に他の仮想ドットは示されない。時点＃２で第２の仮想ドット３３４が出現し、この時点では視野内に他の仮想ドットは示されない。時点＃３で第３の仮想ドット３３６が出現し、この時点では視野内に他の仮想ドットは示されない。時点＃４で第４の仮想ドット３３８が出現し、この時点では視野内に他の仮想ドットは示されない。代わりに、ヒトの眼が血管構造の滑らかな追跡及び促進された観察を行うのを助けるために、仮想ドット３４２が仮想画像３４０（例えば、頸動脈）の一部に沿って移動してもよい。次に、仮想焦点ペン３４４は、焦点３４６への輻輳を行うために使用されている。左目視点３４８が示されている。左目の眺め角度を示す直線３５０も示されている。右目視点３５２が示されている。右目の眺め角度を示す直線３５４も示されている。なお、左目視点３４８からの眺め角度３５０及び右目視点３５２からの眺め角度３５４は輻輳点３４６で交差する。次に、仮想ナイフ３５６を用いることにより仮想切開が行われ、大動脈３５８及び肺動脈３６０を切断されて、心臓３６４の残りの部分から離される。なお、切断面３６２が示されている。次に、仮想カテーテル３６６が、医用撮像ボリューム内で大動脈３６８を通して配置されている。なお、医療関係者をガイドするための仮想ロードサイン（道路標識）３７０が示されている。焦点ペン３７２が示されている。点線の青い線３７４は、所望のカテーテル軌道であり、これは、異なる時間設定におけるものとし得る。仮想カテーテル３６６は、血管系を通して引っ張られることができる。血管内ライドタイプの表示３７６が、所望経路を点線の赤い円３７８でハイライトして示されている。最後の３つの例は、仮想ツールによって可能にされる高度な表示オプションを示している。臓器が分離される分解タイプの表示が示されており、ここでは、様々な臓器が離隔されている。例えば、大動脈３８０、左腎臓３８２、膵臓３８４及び肝臓３８６を含む種々の腹部臓器間の間隔の量が増加される。次に、仮想アブレーションが行われ、仮想組織の外殻３９０が、複数の時点にわたって順次に除去される。仮想アブレーションが実行される解剖学的構造は、アブレーションを指示するのを助けるために３Ｄカーソル３８８内に置かれることができる。最後に、中空臓器の内側のポリープ３９４を含む内側面をより注意深く検査することができるように、例えば結腸３９２などの構造をスライスして（例えば、仮想ナイフを用いて）開くことができる。この態様を達成するにはボクセル操作が必要とされる。

【0035】

図４は、撮像検査の解釈中に放射線科医に関連情報を届けるフロー図及びヘッドアップディスプレイタイプのアイコンの一例を示している。先ず、放射線画像の解釈を補助するために仮想フロントガラス４０６をどのように使用することができるかを示すフロー図を説明する。第１のステップ４００は、放射線科医（又は他の医療関係者）がレポート上でチェックリスト項目を動かすものである。第２のステップ４０２は、仮想アシスタントタイプのアイコン（仮想フロントガラス４０６としても知られる）が関連情報を表示するものである。第３のステップ４０４は、放射線科医が仮想アシスタントタイプのアイコン表示をレビューし、画像をレビューし、レポートのそのセクションを入力するものである。ヘッドアップディスプレイは、仮想フロントガラス４０６（航空機における‘ヘッドアップ’ディスプレイに類似する）を指し、これは、検査プロセス中にいつでも呼び出すことができ、単一の仮想フロントガラス上に、患者の症例全体に関連する項目、及び／又は医療機関のチェックリストで検査される特定の項目を表示する。仮想ボリューム医用画像のレビューの過程において、仮想フロントガラスを呼び出すことは、医療関係者がレビューを行うことを補助し得る。レビューに関連する質問は：チェックリスト上で次は何であるか；医用画像を取得することのきっかけは何であったか；現在の状態の既往歴は存在するか；検査結果はどのようなものか；人工知能ルーチンが適用されている場合に、結果及び列挙されたものはどのようなものであったか、を含み得る。この図には、仮想フロントガラス４０６の一例を示している。チェックリスト例では、一部の項目が調べられていて、他の項目が残っている。年齢、性別、現在の状態、及び現在の状態に関連する既往歴。もしあれば、ＡＩルーチンの適用からの結果及び状態のインジケータ。もしあれば、病理、撮像及び検査の結果データも示される。なお、検査を行う者にとって他の項目も関心があることがあり、この図に示したものは例である。また、全ての関連情報を仮想フロントガラス４０６上に有することは、患者が放射線科ＰＡＣＳシステムから電子医療レポートシステムに行く必要がなく、重要な情報は全てそこにあり、検査を行う者の命令でいつでも表示されることができるので、医療関係者の時間を節約することができることに留意されたい。

【0036】

図５は、ボクセル変更につながる仮想ツールキット入力のフロー図及び説明を示している。なお、ボクセルは、サイズ、形状、位置、向き、又は内部パラメータにおいて操作されることができる。さらに、仮想ツールの方向でボクセルを作成又は削除することができる。元のボクセル５００が示されている。元のボクセル５００のサイズを小さくして、より小さいボクセル５０２を生み出すことができる。元のボクセル５００のサイズを大きくして、より大きいボクセル５０４を生み出すことができる。８個のより小さいボクセル５０６が生成されるように、８個のより小さいボクセル５０６の各々が元のボクセル５００の体積の８分の１を持つように、元の立方体形状のボクセル５００を変更することができる。元のボクセル５００を除去５０８することもできる。元のボクセル５００の内部データユニット（例えば、グレイスケール値）を変更５１０することができる。更なる内部データユニット（例えば、テクスチャ、組織タイプ特性など）を追加５１２することができる。元のボクセルの向きを変更５１４することができる。元のボクセル５１６の位置をシフトさせることができ（すなわち、ボクセルが移動される）、これは、元のボクセル５１６のｘ、ｙ、ｚ座標５１８を、シフトされたボクセル５２０の新たなｘ、ｙ、ｚ座標５２２に変更して、それが特定のｘ距離５２４、ｙ距離５２６及びｚ距離５２８だけ移動されたようにすることによって実行されることができる。元のボクセル５００の形状を変化させて、例えば、立方体から八面体５３０又は円筒５３２の形状に変えることができる。

【0037】

図６は、仮想ツールとのインタラクションに基づくボクセル操作を示している。図Ａは、関心ボリューム６０２を含んだ３Ｄカーソル６００を示している。この関心ボリュームは均一な中間の灰色であることに留意されたい。また、仮想ツール（すなわち、このケースでは仮想焦点ペン）６０４の先端６０６が、関心ボリューム６０２の外側に位置していることにも留意されたい。図Ｂは、仮想ツール（すなわち、このケースでは焦点ペン）６１２の位置及び向きの変化を伴う関心ボリューム６１０を含んだ３Ｄカーソル６０８を示しており、ここでは、仮想ツールの先端６１４を含む仮想ツールの部分が仮想３Ｄカーソル６０８及び関心ボリューム（例えば、ボリューム医用画像から選択された組織を含む）６１０の両方に入っている。仮想ツール６１２の先端６１４に近接した複数のボクセル６１６が明るい灰色に変更／ハイライトされていることに留意されたい。また、仮想焦点ペン６１２によってハイライトされた組織６１６及び仮想焦点ペン６１２それ自体をいっそう良好に視覚化するように、３Ｄカーソル６０８内の組織６１０の透明度が変わっていることにも留意されたい。図Ｃは、仮想焦点ペン６１８の位置及び向きの別の変化、並びに近傍ボクセル６２０の視覚的外観の対応する変化を示している。関心ボリューム６２４を含んだ３Ｄカーソル６２２は、仮想ツール６１８（すなわち、このケースでは焦点ペン）６１８の位置及び向きにおける更なる変化（図６Ｂと比較して）を伴っており、ここでは、仮想ツールの先端６２６を含む仮想ツール６１８の部分が、仮想３Ｄカーソル６２２及び関心ボリューム（例えば、ボリューム医用画像から選択された組織を含む）６２４の両方に入っている。仮想ツール６１８の先端６２６に近接した複数のボクセル６２０が明るい灰色に変更／ハイライトされていることに留意されたい。また、仮想焦点ペン６１８によってハイライトされた組織６２０及び仮想焦点ペン６１８それ自体をいっそう良好に視覚化するように、３Ｄカーソル６２２内の組織６２４の透明度が（図６Ａと比較して）変わっていることにも留意されたい。これは、関心ボリューム内の仮想ツールの正確な位置について放射線科医を補助するように機能する。

【0038】

図７は、可変の表示パターンを有する仮想アイトラッカー記号を示している。ヒトの眼は、固定物から固定物へと素早く切り替わるように跳躍性運動を行うことができる。図７Ａは、複数の時点にわたって複数の位置に仮想アイトラッカー記号７０１（例えば、青いドット）を有する頸動脈分岐部７００を示している。第１の時点７０２において、仮想アイトラッカー記号７０１は、頸動脈分岐部７００の総頸動脈７０４部分の下部に位置している。第２の時点７０６において、仮想アイトラッカー記号７０１は、頸動脈分岐部７００の頸動脈弁７０８部分に位置している。第３の時点７１０において、仮想アイトラッカー記号７０１は、頸動脈分岐部７００の内頸動脈７１２部分の中部に位置している。第４の時点７１４において、仮想アイトラッカー記号７０１は、頸動脈分岐部７００の外頸動脈７１６部分に位置している。これは、新たなスポットの動きを検出するときに眼が新たな位置の各々にジャンプすることができるように、ヒトの眼の動きを支援する。このようなシステムは、ヒトが視線追跡記号を見たことを保証するために、視線追跡システムと結合されてもよい。ユーザは、ＩＯ装置によって１つの仮想アイトラッカー記号の消滅及び別の仮想アイトラッカー記号の出現を制御することができる。図７Ｂは、頸動脈分岐部７００の総頸動脈７２０部分の下部に位置する仮想アイトラッカー記号７１８を示している。多数の時間ステップにわたって、仮想アイトラッカードット７１８は内頸動脈に至るまで滑らかに移動し、時点＃Ｎにおいて、仮想トラッカードット７１８は、例えば内頸動脈７２２の中間部分などの最終目的地に到達する。例えば、ユーザは、毎秒６０フレームのフレームレート及び２ｃｍ／秒の移動レートを選択し得る。仮想トラッカードットが進む距離が、特定のセグメントに関する合計時間を決める。高いフレームレートは、ヒトの眼の滑らかな視線追跡及びユーザによって跳び越される領域の潜在的回避を容易にし、より総合的な観察につながる。仮想アイトレーサドット７１８は、数多くの形状、サイズ、色、運動速度などをとることができる。

【0039】

図８は、内部構造の観察促進を可能にするように既存の３Ｄ医用撮像ボリュームから‘組織を切り離す’ために医療関係者によって使用され得るものである仮想ナイフを示している。この例において、仮想ナイフは、患者の心臓を調べるために使用される。このタスクは、心臓の３Ｄ医療ボリュームを包み込む３Ｄカーソルと協力して実行される。図８Ａは、仮想ナイフ８００を、仮想切断面８０２及び関連する（１つ以上の）レジストレーションポイント８０４とともに示している。医用画像を見る医療関係者は、仮想ナイフ８００をピックアップし、それを、心臓の外部の組織が取り去られて３Ｄカーソル８０８に包み込まれた心臓８０６として示される関心ボリュームへと移動させ得る。図８Ｂは、組織８１０（すなわち、大動脈及び肺動脈）の部分が切断され、そしてずらされるように、切断面８０２及びレジストレーションポイント８０４を備えたナイフ８００を関心３Ｄボリューム８０６に通すことを示している。図８Ｃは、医療関係者が大動脈弁８１２及び肺動脈弁８１４を覗き込むことを可能にするための大動脈及び肺動脈の除去を示している。更なる切り分けが三尖弁（図示せず）の調査を可能にしてもよい。最終的に、心臓のいっそう進んだ観察を提供する仮想ツールキットと協力して、４Ｄデータセットを観察することができる。

【0040】

図９は、視覚的トランスポートツールを用いた血管中での仮想ライドを示している。仮想トランスポートツールは、それによって医療関係者が中空構造内を移動し、その中の状態を可視化することができる手段／経路である。仮想トランスポートツールは、単独で、又は仮想カテーテルと共に使用されることができる。仮想トランスポートツールは、患者内の血管構造の内部の３Ｄデジタル画像を生成するために、又は血管状態を治療する介入者を訓練するために、仮想カテーテルと共に使用され得る。仮想トランスポートツールは、血管内で何が前方にあるかの見通しを提供する。この例では、血管が示されている。血管内の血液がデジタル的に取り去られ、トンネル内の現在の視野からある距離だけ前方の血管壁上で仮想的な光が輝くことができ、収縮物のＸ、Ｙ、Ｚ座標が記録される。なお、セグメンテーションプロセス中に血管から血液が除去されるが、血管構造は残ることになる。これは、仮想トランスポートツールが、血管の内部構造を不明瞭にせずに可視化することを可能にする。典型的に、仮想トランスポートツールは、血管の中心内にあって、前方を見ることになる。なお、視点の中心は血管の中心内にあるが、実際の見え方は、左目と右目の見え方に従ってオフセットされることになる。医用画像を見る医療関係者は、３Ｄヘッドセット（例えば、拡張現実）から見たときに血管内を移動して見えるように可視化し得る。なお、ボクセル操作（援用する米国特許出願第１６／１９５，２５１号）に従って表示を向上させるように仮想血管の直径を拡大することが可能である。例えとして、小さいパイプの中を見るのは難しいし、大きいトンネルの全ての部分をその中から同時に見るのも難しいと言うことができ、故に、トンネルの大きさを調節することができることは、多大な観察の柔軟性を提供する。ユーザが異常な状態を特定した場合、ユーザは、その状態を調べるために異なる位置及び向きをとることができる。表示される血管の距離は医療関係者によって選択され、構造の照明強度も医療関係者によって選択される。これらの技術の使用によって見込まれる一般的な臨床応用は、頸動脈アテローム硬化性プラークの測定（例えば、狭窄領域における管腔と狭窄の長さとを測定することであり、これは、例えば北米症候性頚動脈内膜摘除試験（ＮＡＳＣＥＴ）測定技術などの現行方法よりも良好な、ステントの種類及び配置を決定するメトリックであることが分かっているとし得る）を含む。一例として、特定の長さにわたる管腔内の小さい容積は、現行方法と比較して良好な、病態及び介入に関するインジケータである。各血管の管腔のローリング計算が、医療専門家に提供されるメトリックを用いて実行される。例えば、このライドは、血管構造及びステント挿入の潜在的必要性の評価において使用され得る。如何なる時にも、医用画像を見る医療関係者は、血管内での現在のライド位置をアイコンによって示して、血管構造を全体として見ることができる。図Ａは、プラークのない血液消去した正常な血管内表面９００を示している。この最も大きい円９００は、現在の観察位置における血管の内面を表している。内粘膜表面の組織９０１が示されている。中くらいの大きさの点線の円９０２は、例えば現在の観察位置から５ｃｍなど、現在の観察位置から中間距離の位置における血管の内面を表している。最も小さい点線の円９０４は、現在の観察位置からユーザが見ることができる最も遠い距離を表している。例えば両矢印９０６といった仮想マーカーが、例えば、血管の現在位置９００から、血管内の見え得る最遠位置９０４までの、１０ｃｍなど、アクティブに見えている血管内の長さを指し示し得る。仮想ロードサイン９０８が、例えば“腕頭動脈まで３０．０ｃｍ”など、重要な交差までの距離を有する。図Ｂは、アテローム性プラークに起因する血管腔の狭窄と、測定結果の記述を提供するロードサインとを示している。この最も大きい円９１０は、現在の観察位置における血管の内面を表している。内粘膜表面の組織９１１が示されている。中くらいの大きさの点線の円９１２は、例えば現在の観察位置から５ｃｍなど、現在の観察位置から中間距離の位置における血管の内面を表している。なお、２時の位置における中間円９１２の部分９１６は、内側に出っ張るように示されている。中間円９１２の丸い部分と、内側に向かって出っ張る中間円の部分９１６との両方が、現在の観察位置から５ｃｍに位置する。従って、９１２及び９１６を含む点線の全体が現在の観察位置から５ｃｍに位置しており、故に、それは“等距離線”を表している。最も小さい点線の円９１４は、例えば現在の観察位置から１０ｃｍなど、現在の観察位置からユーザが見ることができる最も遠い距離を表している。例えば大きい両矢印９１８といった仮想マーカーが、例えば、血管の現在位置９１０から、血管内の見え得る最遠位置９１４までの、１０ｃｍなど、アクティブに見えている血管内の長さを指し示し得る。点線の期待位置（プラーク／狭窄なしと仮定して５ｃｍの距離だけ離れた境界を定める）から、より内側に５ｃｍ離れて位置する実際の位置９１６まで、小さめの両矢印９２０が示されている。留意されたいことには、特定の“等距離線”の半径が小さくなるとき、それは狭窄の領域を指し示す。留意されたいことには、特定の“等密度線”の半径が大きくなるとき、それは膨張／拡張症／動脈瘤の領域を指し示す。また、言及しておくことには、別の仮想ロードサイン９２０が、“２時の位置を中心とした３０％のアテローム性動脈硬化狭窄から離れること５．０ｃｍ”と述べている。ここでの時計の系は、狭窄の位置をどのように記述し得るかの一例である。図Ｃは、３本の血管の分岐合流部に近づいている視覚的トランスポートツールを示している。事前プランニングにおいて、医療専門家は、これらの血管のうちのどれにカテーテルを入れるべきかを選択することができ、その血管が、カテーテルの正しい経路の検証のために疑似色でハイライトされ得る。最も大きい円９２２は、現在の観察位置における血管の内面を表している。内粘膜表面の組織９２３が示されている。３時の位置の中くらいの大きさの半円９２４は、進入すべき所望の選択肢である分枝血管（例えば、内頸動脈）を表している。９時の位置の中くらいの大きさの半円９２６は、進入すべき第２の選択肢であるがこのシナリオ例では望まれていない更なる分枝血管（例えば、外頸動脈）を表している。赤い点線９２８が、入ることを望んでいる分岐を医療関係者に知らせる助けとなる視覚的な手掛かりとして画像上に表示される仮想ツールの一例として示されている。仮想ロードサイン９３０が示されており、これは、“頸動脈分岐部から離れること５．０ｃｍ。内頸動脈に入るべく３時に向かって進め。”と述べている。

【0041】

図１０は、仮想アイコンの助けを借りて患者内の血管構造のボリューム医用画像と共に使用され得るものである仮想カテーテルを示している。例えば、３Ｄ仮想カテーテルは、例えば重要な距離又は角度の測定値を取得するなどの介入手術の術前プランニングにおいて使用され得る。この図の介入手順では、動脈瘤の治療に３Ｄ仮想カテーテルが使用される。図Ａは、青い実線１０００を、右鼠径部領域に位置し、総大腿動脈にて入って右外腸骨動脈へ、そして大動脈へと延びるカテーテルとして示している。カテーテルの先端１００２は、小さい黒塗りの円である。なお、横断された経路を実線として示し、計画経路を破線１００４で示している。計画ルートは、医療関係者が標的と従っている特定の血管内の位置マーカーの配置を介して遂行され得る。そのような位置マーカーは、所望の経路に沿った中間地点、又は最終的な標的病変１００６（例えば、脳動脈瘤）に位置することができる。これらの位置マーカーが配置された後、マーカーを接続する経路にマーキング（例えば、青い点線）することができる。そして、青い点線に沿って測定を行うことができる。測定結果を用いて、ロードサイン１００８を表示して、実際の介入医療処置で使用されるべき血管分岐連結部までの距離を医療関係者に知らせることができる。留意されたいことには、例えば２Ｄ又は３Ｄオブジェクトなどの仮想アイコン１０１０も示されている。図Ｂは、胸部大動脈内まで延びている仮想カテーテル１０１２を示している。図示のように、破線１０１６はカテーテルの所望の経路を表しており、これは、腕頭動脈、次いで総頸動脈、次いで内頸動脈、次いで中大脳動脈を通って、最終的に動脈瘤１０１８に入っている。ロードサインを表示して、実際の介入医療処置で使用されるべき血管分岐連結部までの距離を医療関係者に知らせることができる。介入者が注意を払う必要がある各交差部のために拡張現実距離マーカーが３Ｄ仮想カテーテルに付加されて１つの血管から別の血管へと変化するように準備さる。重要な全ての血管分岐連結点のスクリーンキャプチャが、座標系Ｘ−Ｙ、Ｘ−Ｚ、及びＹ−Ｚ平面における現在経路からの角度変化を注釈付けられ得る。図Ｃは、血管分岐連結部の拡大図を示しており、該血管分岐連結部では、複数経路のオプションが発生しており、医療関係者は、カテーテルを正しい血管へと動かすことにおいて注意を払わなければならない。下行胸部大動脈１０２２、腕頭動脈１０２４、左総頸動脈１０２６、左鎖骨下動脈１０２８、及び上行胸部大動脈１０３０が示されている。仮想カテーテル１０３２が示されている。仮想カテーテルの先端１０３４が示される。青色の点線１０３６は、所望のカテーテル経路を表している。

【0042】

図１１は、３Ｄ医用画像の複数の別々の臓器への分解の背後にある３Ｄ医用画像及び技術例の一般的概念を示している。医用画像を見る医療関係者は（例えば、援用する米国特許出願第１５／９０４，０９２号に概説されるセグメンテーション技術を用いて）、それらの共通の特徴（例えば、同等のハンスフィールドユニット、解剖学的アトラスなど）に基づいて、関心ある３Ｄデジタルボリュームを複数の部分へと分割し得る。この図では、キーとなる臓器を個別に検査することが望みである一般的なプロセスが示されている。そのようなプロセスは、例えば、画像レビューチェックリスト上の項目に従って構築され得る。図Ａは、腹部内の臓器の一般化された説明図を示している。肝臓１１００、右副腎１１０２、右腎臓１１０４、下大静脈１１０６、右腸骨静脈１１０８、脾臓１１１０、大動脈１１１２、膵臓１１１４、左副腎１１１６、左腎臓１１１８、胃腸管１１２０及び左腸骨動脈１１２２が示されている。このプロセスは、隣接する臓器からの視覚的干渉なしに個々の検査を容易にするために、これらの臓器をＸ、Ｙ、Ｚ方向において胴体の略中心の点から外向きに展開することである。図Ｂは、セグメンテーションが適用された後の臓器を示しており、セグメンテーションプロセスを示すために臓器の周りに破線を描いている。肝臓１１２４、右副腎１１２６、右腎臓１１２８、下大静脈１１３０、右腸骨静脈１１３２、脾臓１１３４、大動脈１１３６、膵臓１１３８、左副腎１１４０、左腎臓１１４２、胃腸管１１４４、及び左腸骨動脈１１４６が示されている。なお、破線は、よりよくセグメンテーションを示すために示されている。図Ｃは分解図を示している。臓器の座標（Ｘ，Ｙ，Ｚ）が、破線によって示される新しい位置へと変更される。この概念の実装のためのソフトウェアは、これに限られないが、以下の手順である。医用画像を見る医療関係者が、分解の原点として作用することになるものである３Ｄデジタルボリューム内の点（理想的には、３Ｄデジタルボリュームの中心近くであり且つセグメント化されたサブボリューム間）を選択し得る。肝臓１１４８、右副腎１１５０、右腎臓１１５２、下大静脈及び腸骨静脈１１５４、膵臓１１５６、胃腸管１１５８、脾臓１１６０、左腎臓１１６２、左副腎１１６４、大動脈及び腸骨動脈１１６６が示されている。図Ｄは、あたかも爆発が起こったかのように３Ｄデジタルのサブボリュームを分離し得る複数の方法のうちの１つを示している。それらの方法のうちの１つは、以下に限られないが、次の通りである：各々が中心点に接し且つ各々がＸ、Ｙ、Ｚ軸に平行な８つの大きな立方体１１６８を作成する（例えば、第１の立方体はＸにおいて正、Ｙにおいて正、Ｚにおいて正であり、第２の立方体はＸにおいて正、Ｙにおいて負、Ｚにおいて正であるとすることができ、等々）。そして、医用画像を見る医療関係者が、中心点に近いサブボリュームについての距離係数を確立し、より遠く離れたサブボリュームには大きい距離係数を確立する。そして、サブボリュームの中心ボクセルがどの立方体の中にあるかに基づいて、これらの係数が３Ｄデジタル画像の各特定のサブボリューム内の全てのボクセルに適用される（なお、上述の第１の立方体では、その中心ボクセルがこの立方体に入る全てのサブボリュームで、そのサブボリューム内のボクセルのＸ、Ｙ、Ｚ座標が、正のＸ、正のＹ、正のＺ方向に、指定の係数だけ増加する。第２の立方体内のサブボリュームでは、増加は正のＸ、負のＹ、正のＺ方向である。）。医用画像を見る医療関係者は、検査の過程において、係数を変更してサブボリューム間の隔たりを変化させる。例えば、中程度の隔たり１１７０が示されている。代わるものとして、より大きい隔たり１１７２が示されている。

【0043】

図１２は、より正確な仮想コロノグラフィレビューを行うための仮想トランスポートビューアの使用を示している。一般大衆の間では、不快な準備（例えば、大量の液体を飲むこと）及び処置中の不安な期間に起因して、結腸内視鏡検査を受けることを避ける傾向がある。代替策の１つは仮想コロノグラフィーを受けることであり、それにおいては、ＣＴスキャンが行われ、結腸の内粘膜表面がレビューされる。ポリープが発見されない場合、治療段階は不要である。しかしながら、ポリープが発見された場合には、いくらか後の日に、準備段階が繰り返され、そして、ポリープを除去するために治療段階（すなわち、結腸内視鏡検査）が行われる。この図では、結腸の内側を観察してポリープが存在するかを判定するために、仮想トランスポートビューアが使用されている。何も存在しなければ、全てが問題なく、結腸内視鏡検査のための準備は必要とされない。ポリープが存在する場合には、それらを仮想トランスポートビューアによって検出することができ、その後、必要な準備とそれに続く治療を進めることができる。仮想トランスポートビューアプロセスの下で、患者は、以下を受けるプロセスを辿ることになる：先ず、結腸のＣＴスキャンを受け、ＣＴ ２Ｄスライスから結腸の３Ｄボリュームが作成され（援用する米国特許第８，３８４，７７１号）、セグメンテーション（援用する米国特許出願第１５／９０４，０９２号）が結腸を識別し、減算が結腸の内容物（例えば、空気、排泄物）を抽出する。そうする際に、結腸は元の形状を維持したままであり、そして、仮想トランスポートが挿入されて、結腸内で前後左右の検査を行うことを可能にする。この検査手法は、前方視専用カメラの挿入時に起こり得るヒダによってポリープが塞がれる問題を防ぐ。ポリープが発見されなかった場合、患者は、引き続き健康状態が良好であると確信して家に帰ることができ、患者は、準備段階並びに結腸内視鏡検査又は準備＋空気挿入段階の不快感及び不安感を免れたことになる。図１２Ａは、プラークのない、空気及び排泄物を消去した結腸の内表面の表示を示している。この最も大きい円１２００は、現在の観察位置における結腸の内面を表している。内粘膜表面の組織１２０１が示されている。中くらいの大きさの点線の円１２０２は、例えば現在の観察位置から５ｃｍなど、現在の観察位置から中間距離の位置における結腸の内面を表している。最も小さい点線の円１２０４は、現在の観察位置からユーザが見ることができる最も遠い距離を表している。例えば両矢印１２０６といった仮想マーカーが、例えば、結腸の現在位置１２００から、結腸内の見え得る最遠位置１２０４までの、１０ｃｍなど、アクティブに見えている結腸内の長さを指し示し得る。仮想ロードサイン１２０８が、例えば“回盲部まで２０ｃｍ”など、重要な交差までの距離を有する。図１２Ｂは、３つのポリープを有した、空気及び排泄物を消去した結腸の内表面の表示を示している。この最も大きい円１２１０は、現在の観察位置における結腸の内面を表している。内粘膜表面の組織１２１１が示されている。中くらいの大きさの点線の円１２１２は、例えば現在の観察位置から５ｃｍなど、現在の観察位置から中間距離の位置における結腸の内面を表している。最も小さい点線の円１２１４は、現在の観察位置からユーザが見ることができる最も遠い距離を表している。例えば両矢印１２１６といった仮想マーカーが、例えば、結腸の現在位置１２１０から、結腸内の見え得る最遠位置１２１４までの、１０ｃｍなど、アクティブに見えている結腸内の長さを指し示し得る。絨毛ポリープ１２１８が示されている。例えば“１０時の位置の絨毛ポリープまで３ｃｍ”など、重要なランドマークまでの距離を有する仮想ロードサイン１２２０が示されている。無茎性ポリープ１２２２が示されている。例えば“４時の位置の無茎性ポリープまで７ｃｍ”など、重要なランドマークまでの距離を有する仮想ロードサイン１２２４が示されている。

【0044】

図１３は、ボクセル操作を通じて１つの長い直線状のチューブであるようにストレッチされた大腸の結腸部分を含む仮想３Ｄボリューム医用画像の一部を示している。その後、チューブ内の中身がセグメント化され、チューブから取り除かれる。そして、最終的に、チューブは長さ軸に沿って分割され、内部構造の観察を可能にするように開かれる。結腸の内部構造を物理的に調べる方法が存在し、準備、結腸を満たして拡張するための空気の挿入、ライトを備えたカメラの挿入及びこのシステムの、内部構造を観察して記録するための結腸の長さに沿って移動を伴う。その後、レンダリングされたＴＶ録画を医療関係者及び患者に提示することができる。レンダリングされたＴＶ録画の限界は、結腸に沿ったヒダによってポリープがＴＶビューから塞がれ得ることである。さらに、ポリープが発見された場合、患者は後日、結腸内視鏡検査のために戻らなければならず、それは、別の準備と、後のポリープ組織の除去とを必要とする。この仮想プロセスにおいて呼び出されるプロセスは、予備検査において不快な準備段階を必要としない。このプロセスでは、造影剤を用いる／用いない結腸のＣＴ撮像が実行される。次いで、ＣＴ ２Ｄスライスから３Ｄ仮想画像が構築される（援用する米国特許第８，３８４，７７１号）。セグメンテーション（米国特許出願第１５／９０４，０９２号）が実行され、結腸の外側の組織が取り去られる。また、結腸内の組織でない内容物も取り去られる。そして、ポリープを見えなくし得るヒダが引き伸ばされ、それにより、ヒダ状の結腸組織によってポリープが見えなくなることがないように、結腸が‘ストレッチ’される。このストレッチプロセスは、米国特許出願第１６／１９５，２５１号に記載されるようなボクセル操作を含む。この引き伸ばされた直線状の仮想結腸が、この図に示されるようにヘッドディスプレイユニットを介して内部構造を見ることができるように、長さ軸に沿って２つに分割される。中空臓器の結腸１３００が真っ直ぐにされる。真っ直ぐにした後、結腸を、本のように開き１３０２、上から粘膜表面の内側を見ることができる。開いた後、第１のポリープは、第１ハーフ部分１３０４及び第２ハーフ部分１３０５の半分に切断されて示されている。第２のポリープは、完全１３０６なまま示されている。代わりに、結腸を本のように開いて引き離し、それを平ら１３０８にして、上から粘膜表面の内側を見てもよい。開いた後、第１のポリープは、第１ハーフ部分１３０９及び第２ハーフ部分１３１０の半分に切断されて示されている。第２のポリープは、完全１３１２なまま示されている。結腸が平らにされるとき、ヘッドセット上での３Ｄ表示でポリープがいっそう飛び出すことになる。

【0045】

図１４は、仮想造影剤の挿入及び血管系の中でのその流れを示している。最初に、罹患した血管内の血液が取り去られる。上の行では、血管は正常で非病的状態にあり、仮想造影剤を配することによって正常な血流が示される。血管の近位部分１４００、血管１の中間部分４０１ａ及び１４０１ｂ、並びに血管の遠位部分１４０２ａ、１４０２ｂ及び１４０２ｃが示されている。従って、仮想造影剤が挿入されると、それは、撮像されることになる正常な血流を模倣することになる。当初の時点１４０４、後続の時点１４０６、及び最終的な時点１４０８を含む３つの時点が示されている。当初の時点１４０４では、そもそもの血液ボクセルの全てが取り去られており、仮想造影剤は挿入されていない。後続の時点１４０６では、灰色で示す仮想造影剤１４１０が血管の近位部分１４００及び血管の中間部分１４０１ａ及び１４０１ｂに挿入されているが、血管の遠位部分１４０２ａ、１４０２ｂ及び１４０２ｃには仮想造影剤は挿入されていない（仮想造影剤の欠如が白色で示されている）。最終的な時点１４０８では、灰色で示す仮想造影剤１４１２が、血管の近位部分１４００、血管の中間部分１４０１ａ及び１４０１ｂ、並びに血管の遠位部分１４０２ａ、１４０２ｂ及び１４０２ｃに挿入されている。下の行では、血管は病的状態にある（すなわち、遠位動脈枝のうちの１つに血栓１４１３が詰まっている）。ここでも、血管の近位部分１４００、血管の中間部分１４０１ａ及び１４０１ｂ、並びに血管の遠位部分１４０２ａ、１４０２ｂ及び１４０２ｃが示されている。従って、血栓１４１３が存在するので、仮想造影剤が挿入されると、仮想造影剤は、変化した血流パターンを模倣することになる。当初の時点１４１４、後続の時点１４１６、及び最終的な時点１４１８を含む３つの時点が示されている。当初の時点１４１４では、そもそもの血液ボクセルの全てが取り去られており、仮想造影剤は挿入されていない。後続の時点１４１６では、灰色で示す仮想造影剤１４１０が血管の近位部分１４００及び血管の中間部分１４０１ａ及び１４０１ｂに挿入されているが、血管の遠位部分１４０２ａ、１４０２ｂ及び１４０２ｃには仮想造影剤は挿入されていない（仮想造影剤の欠如が白色で示されている）。最終的な時点１４１８では、灰色で示す仮想造影剤１４１２が、血管の近位部分１４００、血管の中間部分１４０１ａ及び１４０１ｂ、並びに血管の遠位分枝のうちの２つ１４０２ｂ及び１４０２ｃに挿入されているが、血管の遠位部分のうちの１つ１４０２ａは、血栓１４１３によって詰まっているため、仮想造影剤１４１２で充ちていない。従って、血栓が存在する場合、それは、閉塞タイプの対話型ボクセルパラメータを割り当てられる。この図では、仮想造影剤の挿入が、血管の正常な設定と、血管の変更された設定（すなわち、血栓を有する）とで示されている。なお、仮想造影剤は、近位から遠位へと、血栓の地点に至るまでは進むことができるが、血栓を越えて進むことはできない。残りの分枝は、仮想造影剤の挿入を経験する。従って、閉塞タイプの対話型ボクセルパラメータを割り当てることは、仮想造影剤の流れを止める。代わりに、外科用クリップ閉塞タイプの対話型ボクセルパラメータが使用されてもよい。

【0046】

図１５は、とりわけ、３Ｄカーソル内の３Ｄデジタル構造と共に使用され得るアブレーション技術を示している。これは、臓器の内部の注意深い検査を可能にする。アブレーション技術の基礎をなす方法は、以下に限られないが、以下の手順からなる：図１５Ａは、医用画像を見る医療関係者にとって関心のある臓器の外‘殻’を（例えば、米国特許出願第１５／９０４，０９２号に概説されるセグメンテーション技術を用いて）決定するものであるプロセスの第１のステップを示している（注：この図では、３Ｄカーソル１５０２（米国特許第９，９８０，６９１号）に包み込まれた肝臓１５００が示されている。肝臓の外殻を決定するため、３Ｄカーソル内の中心ボクセル１５０４から、外向き方向１５０６に、肝組織のセグメント化された表面まで進むことができる。代わりに、３Ｄカーソルの面から内向き方向１５０８に、肝組織のセグメント化表面に到達する距離まで進んでもよい。このプロセスは、肝臓の外部の組織が取り去られることを可能にする）。図１５Ｂは、外表面のボクセルの全てから順に１ボクセル深さだけ除去するものであるプロセスの次のステップを示している。例えば、ボクセルの外殻が黒色１５１０で示されている。そして、医用画像を見る医療関係者の方向の組織の残りの外側層上でこのステップを何度か繰り返す。あるいは、Ｘ、Ｙ、Ｚ座標系において１つの層を選択し（例えば、最も大きいＺ座標を持つＸ−Ｙ層を選択してその層を除去し、医用画像を見る医療関係者の方向の残りの３Ｄデジタルボリューム上でこのステップを何度か繰り返す）。図１５Ｃは、層が取り去られるにつれて内部の組織タイプが明らかになるものであるプロセスの次のステップを示している。元の外殻１５１２が示されている。Ｎステップのアブレーション後の殻１５１４が示されている。なお、それによってボクセルを表示する方法は、優先されないボクセルについては薄い表示又は半透明の表示とするのに対して、優先されるボクセルについては薄い表示としないことを含み得る。図１５Ｄでは、正常な肝組織は切除され、異常な肝組織が残っている。元の外殻１５１６が示されていることに留意されたい。この例では、アブレーションプロセス後に、限局性結節性過形成１５１８と呼ばれる良性病変が明らかにされている。限局性結節性過形成１５１８は、低減衰中心瘢痕１５２０の特徴的な撮像フィーチャとともに示されている。このようなプロセスは、固形臓器の内部の腫瘍の観察に関して、各スライス上で探索するプロセスと比較して、より有用な方法である。なお、アブレーションステップの繰り返しの結果として、肝組織の体積が元の体積から減少している。

【0047】

図１６は、ボクセル操作をガイドする仮想焦点ペンを示している。仮想焦点ペンの動きは、医用画像を見る医療関係者によって制御される。この図は、間隔の近い、重なり合った、区別しにくい血管間の距離を大きくすること、及び血管間の距離を大きくするプロセスを示している。複数の血管が共に近接した部位の脳内で動静脈奇形が発生する場合、これらの血管のうちのどれに治療材料を注入すべきかを特定するのは困難である。距離をデジタル的に大きくすることは、注入に適切な血管を特定する助けとなり得る。２つの状態を論じることとする。１つ目として、非血管組織が血管同士を隔てている。２つ目として、血管を隔てる非血管組織が殆ど又は全くなく、幾つかの血管がかたまっている（クラスターとなっている）。異なるタイプの組織が血管を隔てている場合、ａ）セグメンテーションして、関心ボリューム内に存在する組織のタイプを決定し、ｂ）非血液タイプ及び非血管タイプの全ての組織について、体積を倍数因子分又は相加因子分だけ拡大し、ｃ）非血液タイプ及び非血管タイプの組織の拡大に合わせて血液及び血管の座標を調節する。次に、クラスターを説明するために、ｄ）セグメンテーションを行って、どのボクセルが主に血液であり、どのボクセルが組織（すなわち、血管）であるかを決定し、ｅ）組織ボクセルを一時的に除去し、ｃ）次いで、血液ボクセルの全ての座標に対して倍数因子（又は相加因子）を使用し、ｆ）血管に平滑化ルーチンを適用し（オプション）、ｇ）血液ボクセルを組織の管で包み込む。医用画像を見る医療関係者のためのディスプレイが、拡大された血管構造を示し、それによって処置を容易にする。放射線医学で遭遇する問題の１つは、複数の複雑な解剖学的構造の間の関係を理解するのが難しいことである。一例は脳の動静脈奇形（arteriovenous malformation；ＡＶＭ）である。複雑な脳ＡＶＭは、複数の曲がりくねった栄養動脈、動脈瘤を伴う病巣の絡み合い、及び複数の流出静脈で構成され得る。この複雑な構造の正確な解剖学的構造を理解するのは極めて困難である。以下のようにプロセスを説明する。第１のステップ１６００にて、ユーザが隔てることを望む関心構造を特定する。このケースでは、隔てることが望まれる構造は、互いに極めて近接している２つのピンク色の血管である。ユーザは、仮想焦点ペンの先端を２つの血管の間の空間に移動させる。なお、このプロセスは、後に複製されて被操作組織タイプとして挿入されることになるボクセルの位置を示すものである仮想赤色ドットを設置している。第２のステップ１６０２にて、２つの関心構造の間の組織特性（例えば、脳脊髄液）を特徴付ける。第３のステップ１６０４にて、２つの血管の間の距離が増加するように、ボクセル操作（例えば、追加の脳脊髄液タイプのボクセルの挿入）を実行し、同時に２つの血管の位置を変化させる。第１の血管１６０６及び第２の血管１６０８は間隔が小さく、脳脊髄液タイプのボクセル１６１０の薄片のみを介在させている。仮想ポインタ１６１２が示されている。仮想ポインタの先端１６１４も示されている。操作されることになる撮像ボリューム内の位置をマークする仮想記号（例えば、赤色ドット１６１６）も示されている。次いで、２つの関心構造の間の組織特性（例えば、脳脊髄液）に、特定の組織特性を割り当てることができる。これを図示するために、これらのボクセルの各々の境界が水色１６１８に変更されている。なお、この時点では、第１の血管１６０６及び第２の血管１６０８は依然として互いに近接して配置されている。そして、第１の血管１６０６を第２の血管１６０８から隔てるために、追加の三列の脳脊髄液ボクセル１６２０、１６２２、及び１６２４が挿入される。留意されたいことには、第１の血管１６０６と第２の血管１６０８との間の間隔が増加されている。これは、間隔の小さい構造間の関係を見て理解することをいっそう良好にできることで、もはや３Ｄ観察が向上され得るという点で有用である。

【0048】

図１７は、総撮像ボリューム及び複数タイプのサブボリュームを示している。放射線医学で伝統的に用いられてきたスライス・バイ・スライスアプローチとは対照的に、我々はここでサブボリューム・バイ・サブボリュームアプローチを提示する。なお、米国特許第８，３８４，７７１号に記載されているように、複数のスライスがボリュームを構築するように配置される。第１に、医療専門家（又はコンピュータプログラム）が、第１組の２Ｄスライス１７００と第２組の２Ｄスライス１７０４との間の境界をマークする特定のスポット１７０２を選択し得る。第２に、医療専門家（又はコンピュータプログラム）が、第２組の２Ｄスライス１７０４と第３組の２Ｄスライス１７０８との間の境界をマークする特定のスポット１７０６を選択し得る。特定のサブボリュームに関するスライスが決定されると、そのサブボリュームが、２Ｄスライスのスタックから引き出されて、観察及び分析され得る。この図では、第１組の２Ｄ画像１７００から作成される第１のサブボリューム１７１０が、第１組の２Ｄ画像１７００の側に上方に引っ張られている。第２組の２Ｄ画像１７０４から作成される第２のサブボリューム１７１２が、第２組の２Ｄ画像１７０４の側に引っ張られている。第３組の２Ｄ画像１７０８から生成される第３のサブボリューム１７１４が、第３組の２Ｄ画像の側にそれに対して下方に引っ張られている。留意されたいことには、スタックの境界を割り当てることは複数の方法で行われ得る。例えば、都合の良いサブボリュームサイズ（例えば、２０個の２Ｄスライス）を選択し、それに従ってサブボリュームを分割する（例えば、スライス１−２０がサブボリューム＃１に割り当てられ、スライス２１−４０がサブボリューム＃２に割り当てられるなど）。各スタック内のスライスの数は様々とし得る。代わりに、ユーザは、仮想ペンを使用して、例えばポイント１７０２及び１７０６などの境界に触れてそれらを選択してもよい。総撮像ボリュームを、様々なサイズの数多くの異なる組み合わせのサブボリュームに分割することができ、それらを、数多くの異なる角度から観察することができる（米国特許第８，３８４，７７１号）。この例において、サブボリュームは、スライスの集合を構成することで作成され得る。

【0049】

図１８は、ランダムパターンでの関心ボリューム中の３Ｄカーソルの移動のシーケンス化を示している。ランダムパターンは、関心あり得る項目に基づいて使用され、レビューする医療関係者は、仮想医用画像ボリュームの全体を一度に見て、例えば透明度を変えること及び検査される臓器の公称密度とは異なる密度の構造に疑似色を適用することなどの技術を適用することができる。そして、レビューする者は、詳細な検査のために、関心あり得る様々なオブジェクトに合わせて３Ｄカーソルの移動及びサイズ変更を行うことができる。この図には、スキャンされる総ボリューム１８００が示されている。３Ｄカーソル内に表示される第１のサブボリュームが、第１の時点１８０２で示される。その後、３Ｄカーソルが方向１８０４に移動される。第２のサイズ変更された３Ｄカーソル内に表示される後続サブボリュームが、後続の時点１８０６に示される。その後、３Ｄカーソルが方向１８０８に移動される。第２のサイズ変更された３Ｄカーソル内に表示される後続サブボリュームが、後続の時点１８１０に示される。その後、３Ｄカーソルが方向１８１２に移動される。第２のサイズ変更された３Ｄカーソル内に表示される後続サブボリュームが、後続の時点１８１４に示される。この図は、関心組織の例を観察するために３Ｄカーソルを何度も移動及びサイズ変更することを示している。このタイプの探索パターンはレビュープロセスを促進させることができる。この探索パターンは、３Ｄカーソル（米国特許第９，９８０，６９１号及び米国特許出願第１５／８７８，４６３号）を使用する。なお、元の２Ｄフォーマットで医用画像をレビューする場合には、レビューする人の跳躍性運動経路に従って眼が１つのスポットから別のスポットへとジャンプし、スライスのかなりの部分が観察されないことがあり、その結果、小さい塊が見逃されることがある。３Ｄカーソルの使用では、小さい所見が、提示された画像のいっそう大きい部分に及び、検出の確率が比例的に増加する。このようなランダム探索パターンが表示される場合、コンピュータプログラムは、総ボリュームのうちの表示済みの部分及び総ボリュームのうちの未表示の部分を追跡する。総ボリュームの何らかの部分が３Ｄカーソルによって表示されていない場合、プログラムはユーザにそれらの領域を観察するように気付かせる。一部の実装において、自動化されたパターンでサブボリュームが医療関係者に表示され、それは、以下に限られないが、フロントガラスワイパーパターン又はレイヤ・バイ・レイヤパターンを含む。任意の時点で、３Ｄカーソル、及び／又は３Ｄカーソル内のサブボリュームを、後のレビューのために、仮想可動テーブルにコピー・アンド・ペーストすることができる。例えば、放射線科医は、最初に、異常の可能性がある又は明らかに異常である所見の全てを片付けることを望むことがある。次いで、放射線科医は、異常所見の各々を、後の期間に非常に詳細に調べることを望むことがある。異常な撮像所見が特定される都度、放射線科医は異常所見を３Ｄカーソル内に置き、異常所見の全体がサブボリュームに含まれる（例えば、肝重の全体が、サブボリュームの境界を画成する３Ｄカーソルに含まれる）ことを確認し得る。次いで、そのサブボリュームを仮想バケツ又は仮想３Ｄクリップボードに取り置く。そして、総撮像ボリュームの残りの部分をレビューする。総撮像ボリュームの全体が取り除かれ、全ての異常サブボリュームが仮想バケツ又は仮想３Ｄクリップボードに置かれると、放射線科医は仮想バケツ又は仮想３Ｄクリップボードの中にあるボリュームの精密な検査を開始する。

【0050】

図１９は、医用画像の観察の秩序立てられたパターン（例えば、連続的な仮想フロントガラスワイパータイプのパターン）の一例を示している。ｘ方向１９００、ｙ方向１９０２及びｚ方向１９０４が示されている。総撮像ボリューム１９０６が示されている。仮想フロントガラスワイパーは、カーソルが複数の秩序立てられたやり方で移動する複数の実装を持つことができる。図示のように、最初の時点の３Ｄカーソル内で検査される第１のサブボリューム１９０８が示されており、３Ｄカーソルの座標の１つが位置（０，０，０） １９１０に１つのコーナーを有している。３Ｄカーソルは、先ず、破線の矢印１９１２によって示されるように３ＤカーソルのＸ方向が増加し且つｙ座標及びｚ座標が不変であって、この移動方向に沿ったサブボリュームが最適化されるように移動する。従って、このパターンは、Ｙ及びＺ座標を一定に保ちながらＸ座標を連続的に増加させる。３Ｄカーソルのコーナーが総撮像ボリューム１９０６の最大のｘ値に達すると、３Ｄカーソルは、破線の矢印１９１６によって示されるように３Ｄカーソルのｙ方向が増加し且つｘ座標及びｚ座標が不変であって、この移動方向に沿ったサブボリュームが最適化され得るように動かされる。従って、Ｘ座標の最大値に達すると、ｙ座標がある増分だけ増加され、Ｘ座標が、最小Ｘ座標に達するまで連続的に減少され、その後、Ｙ座標が再び増分される。そして、３Ｄカーソルをｘ方向１９００及びｙ方向１９０２に移動させるこのプロセスが、総撮像ボリューム１９０６の底部層が３Ｄカーソルによって完全に検査されたことになるポイントまで繰り返される１９１８。このプレーンが完了すると、Ｚ座標が増分される。３Ｄカーソルは、ｚ方向１９０４に上方にシフトされる１９２０。なお、この秩序立てられた探索パターンの間に、異常１９２２が特定の３Ｄカーソル位置１９２４で発見され得る。このような異常は、更なる分析のために仮想バケツ又は仮想３Ｄ可動テーブルに配されることができる。１９２６に示されるように、総撮像ボリューム内の全てのサブボリュームが検査され、３Ｄカーソルがその最終スポット１９２８に到達するまで、総撮像ボリューム１９０６の中での３Ｄカーソルの何度もの更なる秩序立てられた移動が行われ得る。フロントガラスパターンの一バリエーションは、最初の行が完了した後にパターンがＹ座標の増分を伴ってＸ座標の増分を再開する‘フライバック’である。このタイプの探索パターンは、徹底的な検査が実行されたことになることを保証する助けとなる。この探索パターンは、３Ｄカーソル（米国特許第９，９８０，６９１号及び米国特許出願第１５／８７８，４６３号）を使用する。なお、元の２Ｄフォーマットで医用画像をレビューする場合には、レビューする人の跳躍性運動経路に従って眼が１つのスポットから別のスポットへとジャンプし、スライスのかなりの部分が観察されないことがあり、その結果、小さい塊が見逃されることがある。３Ｄカーソルの使用では、それら小さい塊が、提示された画像のいっそう大きい部分に及び、検出の確率が比例的に増加する。一部の実装において、自動化されたパターンでサブボリュームが医療関係者に表示され、それは、以下に限られないが、フロントガラスワイパーパターン又はレイヤ・バイ・レイヤパターンを含む。関心ボリュームの中での自動化された探索パターンは、検出の確率を増加させることが分かり得る。この図では、３Ｄカーソルが関心ボリューム中を移動するように、自動化された探索パターンが示されている。なお、塊は後のサブボリューム内で特定されている。関心ボリュームの中での将来の自動化された探索パターンが、（フロントガラスワイパーと同様に）各レイヤ内で行きつ戻りつ行われ、そして、次のレイヤ内で行きつ戻りつ行われる。

【0051】

図２０は、レビューされるべき関心ボリュームと、見逃されたレビュー意図領域が、レビューを行う医療関係者に強調表示され得るプロセスとを示している。これら特定されたサブボリュームがその後にレビューされ、それにより、レビューの完全性が確保される。このプロセスは、（例えば、医療機関のチェックリストに従って）検査されるボリュームに順次に踏み込むよう、３Ｄカーソル（米国特許第９，９８０，６９１号及び米国特許出願第１５／８７８，４６３号）の使用による関心ボリュームのサブボリュームの順次の選択を呼び出す。さらに、この段階的プロセスが完了した後に、ボリューム全体が検査されたかについての疑問が生じることがある。この実装において、検査された３Ｄカーソルの各々に含まれるボリュームが合計され、元の総ボリュームから取り去られる。これは、レビューが意図されていた元ボリュームの一部を見逃すことをもたらし得る。この実装において、それら見逃された部分が、レビューを行う医療関係者に強調表示され、医療関係者は見逃された部分をレビューして調べることを続けるように警告され得る。なお、元の２Ｄフォーマットで医用画像をレビューする場合には、レビューする人の跳躍性運動経路に従って眼が１つのスポットから別のスポットへとジャンプし、スライスのかなりの部分が観察されないことがあり、その結果、小さい塊が見逃されることがある。３Ｄカーソルの使用では、それら小さい塊が、提示された画像のいっそう大きい部分に及び、検出の確率が比例的に増加する。この図は、関心臓器中での３Ｄカーソルの移動のシーケンス化を例示している。関心ボリューム（すなわち、肝臓）２０００が示されている。時点＃１に表示されたサブボリューム２００２が示されている。３Ｄカーソルが、例えば図１９にて説明したように、関心ボリューム２０００中で秩序立てられたやり方で移動２００４する。時点＃Ｎで、最後のサブボリューム２００６が表示される。医用画像の表示の制御（例えば、１つから別の１つへの増分変化）は、医療関係者によって制御される。代わりに、米国特許出願第１６／５２４，２７５号に記載されるように、ユーザが、ジョイスティック又は他のジオレジストレーションされたツールによって、３Ｄカーソルの移動制御を行ってもよい。最終的に、３Ｄカーソル内で表示されたボリュームが追跡され、後の時点で（すなわち、検査の完了の前に）レビューされ得る。サブボリュームのサイズは、がんに対するルーチンスクリーニングのインジケーションに基づいて変化する。また、経時的な３Ｄカーソルの位置を記録し、表示されたサブボリュームを総ボリュームと比較することは、医療専門家に未だ表示されていないサブボリューム２００８に対処することを可能にする。あるいは、表示されたサブボリュームをボリューム全体から引き去ることで、どのサブボリュームが未だ表示されていないかを決定することが可能である。なお、構造の少しの領域２００８が見逃されても（すなわち、３Ｄカーソルボリュームに含められなかったとしても）、これらは追跡されることができ、放射線科医は、検査の完了前にこれらの領域をレビューする選択肢を持つ。これらの見逃されたサブボリューム２００８は、新しい位置に移動されて検査されることができる。他の一実施形態において、ユーザは、３Ｄカーソルのサイズ、カーソルの移動速度を選択することができ、コンピュータが、チェックリスト項目について関心ボリューム中で自動化された移動を実行する。臓器が目立たない場合、立方体内のサブボリュームは、撮像された構造が目立たないように変化される（例えば、消去される、ハンスフィールドユニットにて変化されるなど）ことができる。

【0052】

図２１は、３Ｄ仮想カーソルの位置を体内のおおよその位置に含めた人間のアイコンを示している。このアイコンは、３Ｄ医用画像の表示を観察することに併せて使用され得る。医療関係者が医用画像を見ることによるボリュームの検査の過程において、正確に体内のどこが関心／懸念のある組織であるかを正しく判断し直すために、アイコンを素早く参照することが有用であり得る。このアイコンはまた、医療関係者間での議論にも役立つものである。図２１Ａには、前方を向いた垂直位置にある身体のアイコン２１００が示されている。このアイコンは、検査されているサブボリュームの輪郭を記されている（マークアップされている）。このようなマークアップは、これらに限られないが以下を含む：発注元の医師によって指し示された懸念領域のマークアップ；放射線科医がアクティブに作業しているボリュームセグメントのマークアップ（例えば、放射線科医がチェックリスト上の肝臓項目について盛んに作業しており、そこで、セグメント化された肝臓がアイコン上でマークアップされる）；放射線科医によって検査されているサブボリュームのマークアップ（例えば、放射線科医が、含ボリューム３Ｄカーソルの境界内の肝臓の中のサブボリュームについて盛んに作業している）；アイコンに関する視点のマークアップ。例えば、発注元の医師は、懸念領域を指し示す（例えば、METHOD OF CREATING A COMPUTER-GENERATED PATIENT SPECIFIC IMAGEなる米国仮特許出願第６２／８４３，６１２号に記載されるように、患者特定画像を放射線科医に送る）ことができ、その領域が仮想アイコン２１０２上でマークアップされ得る。次に、放射線科医がアクティブに作業しているセグメント化されたボリューム２１０４（例えば、肝臓）がマークアップされ得る。次に、３Ｄカーソル２１０６内のサブボリュームがマークアップされ得る。アイコンの外に追加の記号が示されてもよい。例えば、当初の視点を表すために当初視点記号２１０８が示される。移動記号２１１０が、当初視点記号２１０８によって表される当初の視点から後続視点記号２１１２によって表される後続の視点への位置の変化を表す。図２１Ｂには、３Ｄカーソル２１１８の左目ビューを有する左目ディスプレイ２１１６と、３Ｄカーソル２１２２の右目ビューを有する右目ディスプレイ２１２０と、を備えたユーザの拡張現実ヘッドセット２１１４が示されている。なお、マークアップされた３Ｄアイコン２１２４の左目ビューは左目ディスプレイ２１１６に示され、マークアップされた３Ｄアイコン２１２６の右目ビューは右目ディスプレイに示される。従って、検査されているサブボリュームの輪郭は、アイコンのマークアップのうちの１つとし得る。人体アイコン内の（１つ以上の）３Ｄカーソルのおおよその位置は、アイコンの別のマークアップ例である。身体の向きは、アイコンを表示するか否かと同様に、医用画像を見る医療関係者の制御下にある。例えば、アイコンは、回転され、平行移動され、曲げられ（望まれる場合には対応するボクセル操作を伴う）、又は放射線科医によって指示されるように他の変更を受け得る。また、３Ｄカーソルのマークアップアイコンを診断用２Ｄ放射線モニタに追加することが行われてもよい。医用画像を見る医療関係者が、３Ｄカーソルに含まれる組織を回転、傾斜、及びズームするとき、現在の視点が当初の視点に対してどこにあるかを見えることが有用であり得る（例えば、ボクセルの位置が、ロール、ピッチ、及び／又はヨーのコマンドを通して、当初の向きから新たな向きに変更されている）。この図は、当初の視点から始まって現在の視点で終わる湾曲した矢印を示している。アイコンを表示するか否かは、医用画像を見る医療関係者の制御下にある。３Ｄカーソルのアイコンは、回転されて異なる視点から観察されるものとなっている３Ｄカーソルの中身を表示し、現在の位置及び視点が元の位置に対してどこにあるかを同時に見えることは有用である。

【0053】

図２２は、チェックリストカテゴリによって格納される疑わしい組織の仮想画像を格納するための仮想可動テーブルを示している。この図は、医療機関のチェックリスト上の項目に対応する仮想収納箱（ストレージビン）２２０２に加えて、緊急項目に関する箱２２０４、及び全般／種々雑多箱２２０６（例えば、画像アーチファクト、教示事例、品質改善など）が上に存在する仮想可動テーブル２２００を示している。緊急箱２２０４は、クリティカルな、時間に敏感な情報の項目についての所見を置くために使用され得る。仮想可動テーブルは、ユーザが、拡張現実ヘッドセット上で、放射線科医が現在作業している撮像ボリュームの脇に当該仮想可動テーブルを眺め得るという意味で移動式である。そして、放射線科医は、それが作業スペースに都合の良いものであるように、それを移動又はサイズ変更し得る。医療関係者が重要と考える項目が、レビューされるチェックリストの項目に従ってそれぞれの仮想箱に‘ドラッグ・アンド・プレース’される。重要な項目を有しない箱については、項目が追加されるときに消え去る記述‘注目に値しない’がレポートのチェックリスト項目上にあり、放射線科医はチェックリストのその項目を適切な記述で置き換える。レビューする者に加えて、医療処置関係者は、クリティカルな項目を含んだ‘緊急箱’について注意喚起され、それへのアクセスを与えられる。これらの項目は、迅速処理を基本に、治療する者及びレビューする者の双方によって共同レビューされ得る。収納箱を備えたこのテーブルは、レポートの作成を容易にするとともに、レポートの質及び網羅性を高める。現行の報告は、名目上、単語記述のみに限られている。このプロセスの下では、問題の組織を含む注釈付き図が追加され得る。

【0054】

図２３は、仮想ツールで処理された画像を含む放射線科レポートのサンプルを示している。留意されたいことには、放射線科レポートのサンプル２３００は、３Ｄカーソル及び異常の画像所見を含んでいる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【手続補正書】

【提出日】2021年2月25日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

第１の有体オブジェクトに対して仮想オブジェクトをジオレジストレーションし、前記仮想オブジェクトは、物理空間内の位置座標によって特徴付けられ、前記第１の有体オブジェクトの位置の変化が、前記仮想オブジェクトの位置の変化に対応し、前記第１の有体オブジェクトの向きの変化が、前記仮想オブジェクトの向きの変化に対応し、
ユーザの手に保持されるように構成される第２の有体オブジェクトに対して仮想ツールをジオレジストレーションし、前記仮想ツールは、前記物理空間内の位置座標によって特徴付けられ、前記第２の有体オブジェクトの位置の変化が、前記仮想ツールの位置の変化に対応し、前記第２の有体オブジェクトの向きの変化が、前記仮想ツールの向きの変化に対応し、
前記第１の有体オブジェクトの前記位置及び前記向きを追跡し、
前記第１の有体オブジェクトの前記位置及び前記向きの追跡された変化に対応する前記仮想オブジェクトの前記位置及び前記向きの変化を計算し、
前記第２の有体オブジェクトの前記位置及び前記向きを追跡し、
前記第２の有体オブジェクトの前記位置及び前記向きの追跡された変化に対応する前記仮想ツールの前記位置及び前記向きの変化を計算し、
前記仮想オブジェクト内への前記仮想ツールの配置を指し示す前記仮想オブジェクト及び前記仮想ツールの前記位置及び前記向きの計算された変化に応答して、前記仮想オブジェクトを操作し、前記仮想オブジェクトを当該操作することは、前記仮想オブジェクトの三次元構造を変化させて、操作された仮想オブジェクトを作成することを有し、
前記操作された仮想オブジェクトを、拡張現実ヘッドディスプレイユニットを介して前記ユーザに表示する、
ことを有する方法。

【請求項2】

仮想焦点ペン、仮想３Ｄカーソル、仮想トランスポートビューア、仮想ペデスタル、仮想ナイフ、仮想カテーテル、仮想ロードサイン、仮想アブレーションツール、仮想テーブル、仮想造影剤ツール、及び仮想アイコンを含む一群の利用可能な仮想ツールから、前記仮想ツールを選択する、ことを有する請求項１に記載の方法。

【請求項3】

前記仮想ツールは仮想焦点ペンを含み、当該方法は、前記三次元画像構造の一部をハイライトし且つ注釈を付加することによって、前記仮想焦点ペンに応答して前記三次元画像構造を操作することを有する、請求項１に記載の方法。

【請求項4】

前記仮想焦点ペンの先端に隣接する三次元画像構造ボクセルを変更する、ことを有する請求項３に記載の方法。

【請求項5】

前記仮想ツールは仮想ナイフを含み、当該方法は、ボクセルを隔てること又はボクセルの位置を変化させることによって、前記仮想ナイフに応答して前記三次元画像構造を操作することを有する、請求項１に記載の方法。

【請求項6】

前記仮想ツールは仮想トランスポートビューアを含み、当該方法は、前記三次元画像構造の中空構造内で前記仮想トランスポートビューアを移動させ且つ前記仮想トランスポートビューアの視点からの画像を提示することによって、前記仮想トランスポートビューアに応答して前記三次元画像構造を操作することを有する、請求項１に記載の方法。

【請求項7】

前記仮想トランスポートビューアを用いて仮想的な結腸内視鏡検査を実行する、ことを有する請求項６に記載の方法。

【請求項8】

前記仮想ツールは仮想造影剤を含み、当該方法は、視認可能な動くボクセルを前記三次元画像構造に挿入することによって、前記仮想造影剤に応答して前記三次元画像構造を操作することを有する、請求項１に記載の方法。

【請求項9】

前記動くボクセルのうちの異なるものに測定ユニット値を割り当てる、ことを有する請求項８に記載の方法。

【請求項10】

外殻ごとに繰り返すようにして臓器の外殻のボクセルを除去することによって、前記仮想ツールの操作に応答して前記三次元画像構造を操作する、ことを有する請求項１に記載の方法。

【請求項11】

近接した関心組織を該関心組織の複数のボクセルの座標を調整することによって離間させることにより、前記仮想ツールの操作に応答して前記三次元画像構造を操作する、ことを有する請求項１に記載の方法。

【請求項12】

前記仮想ツールは仮想テーブルを含み、当該方法は、前記三次元画像構造の複数の部分を前記仮想テーブルの仮想収納箱に配することによって、前記仮想テーブルに応答して前記三次元画像構造を操作することを有する、請求項１に記載の方法。

【請求項13】

前記仮想ツールは仮想カテーテルを含み、当該方法は、前記仮想カテーテルの移動を、選択された血管内の柱状の血液ボクセルに制限することによって、前記仮想カテーテルに応答して前記三次元画像構造を操作することを有する、請求項１に記載の方法。

【請求項14】

前記三次元画像構造のうちの選択されたサブボリュームに関連する情報を自動的に表示する、ことを有する請求項１に記載の方法。

【請求項15】

患者メタデータ及び医用画像ボリュームを取得することが促された現在状態、患者病歴、検査結果、及び病理学的結果を表示する、ことを有する請求項１４に記載の方法。

【請求項16】

仮想フロントガラスを用いて情報を表示する、ことを有する請求項１に記載の方法。

【請求項17】

仮想ロードサインを用いて測定基準までの距離を表示する、ことを有する請求項１に記載の方法。

【請求項18】

視点を示す視覚的な補助アイコンを表示する、ことを有する請求項１に記載の方法。

【請求項19】

人工知能アルゴリズムによって検出された所見を示す視覚的な補助アイコンを表示する、ことを有する請求項１に記載の方法。

【請求項20】

撮像ボリュームに関係付けられるように変更された視覚的な補助アイコンを表示する、ことを有する請求項１に記載の方法。

【請求項21】

含ボリューム三次元カーソルを用いて少なくとも１つのサブボリュームを選択する、ことを有する請求項１に記載の方法。

【請求項22】

サブボリュームの所定のリストの複数のサブボリュームから前記サブボリュームを選択する、ことを有する請求項２１に記載の方法。

【請求項23】

前記リストの前記複数のサブボリュームの各々を順次に表示する、ことを有する請求項２２に記載の方法。

【請求項24】

シーケンシャルサーチパターン座標によって定められる複数のサブボリュームから前記サブボリュームを選択する、ことを有する請求項２１に記載の方法。

【請求項25】

ランダムサーチパターン座標によって定められる複数のサブボリュームから前記サブボリュームを選択する、ことを有する請求項２１に記載の方法。

【請求項26】

ボクセルサイズを変更すること、ボクセル形状を変更すること、ボクセル位置を変更すること、ボクセル方向を変更すること、ボクセル内部パラメータを変更すること、ボクセルを作成すること、及びボクセルを除去すること、のうちの少なくとも１つによって、前記三次元画像構造を操作する、ことを有する請求項１に記載の方法。

【請求項27】

前記三次元画像構造を操作することは、関心サブボリュームを、共通の特性に基づいて、複数の部分に分割することを有する、請求項１に記載の方法。

【請求項28】

前記三次元画像構造を操作することは、分解図を生成することを有し、前記三次元画像のセグメント化された複数の構造が、前記三次元画像構造内の点から遠ざかるように移動される、請求項１に記載の方法。

【請求項29】

ヒトの眼が観察することを補助するために仮想アイトラッカー記号を使用する、ことを有する請求項１に記載の方法。

【請求項30】

ヒトの眼が跳躍性運動を行って１つの位置から別の位置へとジャンプすることができるように、空間的に離隔した位置で前記仮想アイトラッカー記号を出現及び消滅させる、ことを有する請求項２９に記載の方法。

【請求項31】

ヒトの眼が滑らかな追跡を行うことができるように、前記仮想アイトラッカー記号を経路に沿って滑らかに移動させる、ことを有する請求項２９に記載の方法。

【請求項32】

インタフェースを有する画像処理システムを有し、
前記インタフェースは、
第１の有体オブジェクトに対して仮想オブジェクトをジオレジストレーションし、前記仮想オブジェクトは、物理空間内の位置座標によって特徴付けられ、前記第１の有体オブジェクトの位置の変化が、前記仮想オブジェクトの位置の変化に対応し、前記第１の有体オブジェクトの向きの変化が、前記仮想オブジェクトの向きの変化に対応し、
ユーザの手に保持されるように構成される第２の有体オブジェクトに対して仮想ツールをジオレジストレーションし、前記仮想ツールは、前記物理空間内の位置座標によって特徴付けられ、前記第２の有体オブジェクトの位置の変化が、前記仮想ツールの位置の変化に対応し、前記第２の有体オブジェクトの向きの変化が、前記仮想ツールの向きの変化に対応し、
前記第１の有体オブジェクトの前記位置及び前記向きを追跡し、
前記第１の有体オブジェクトの前記位置及び前記向きの追跡された変化に対応する前記仮想オブジェクトの前記位置及び前記向きの変化を計算し、
前記第２の有体オブジェクトの前記位置及び前記向きを追跡し、
前記第２の有体オブジェクトの前記位置及び前記向きの追跡された変化に対応する前記仮想ツールの前記位置及び前記向きの変化を計算し、
前記仮想オブジェクト内への前記仮想ツールの配置を指し示す前記仮想オブジェクト及び前記仮想ツールの前記位置及び前記向きの計算された変化に応答して、前記仮想オブジェクトを操作し、前記仮想オブジェクトを当該操作することは、前記仮想オブジェクトの三次元構造を変化させて、操作された仮想オブジェクトを作成することを有し、
前記操作された仮想オブジェクトを、拡張現実ヘッドディスプレイユニットを介して前記ユーザに表示する、
ように構成されている、
装置。

【請求項33】

前記インタフェースは、仮想焦点ペン、仮想３Ｄカーソル、仮想トランスポートビューア、仮想ペデスタル、仮想ナイフ、仮想カテーテル、仮想ロードサイン、仮想アブレーションツール、仮想テーブル、仮想造影剤ツール、及び仮想アイコンを含む一群の利用可能な仮想ツールを有する、請求項３２に記載の装置。

【請求項34】

前記仮想ツールは仮想焦点ペンを含み、前記インタフェースは、前記三次元画像構造の一部をハイライトし且つ注釈を付加することによって、前記仮想焦点ペンに応答して前記三次元画像構造を操作する、請求項３２に記載の装置。

【請求項35】

前記インタフェースは、前記仮想焦点ペンの先端に隣接する三次元画像構造ボクセルを変更する、請求項３４に記載の装置。

【請求項36】

前記仮想ツールは仮想ナイフを含み、前記インタフェースは、ボクセルを隔てること又はボクセルの位置を変化させることによって、前記仮想ナイフに応答して前記三次元画像構造を操作する、請求項３２に記載の装置。

【請求項37】

前記仮想ツールは仮想トランスポートビューアを含み、前記インタフェースは、前記三次元画像構造の中空構造内で前記仮想トランスポートビューアを移動させ且つ前記仮想トランスポートビューアの視点からの画像を提示することによって、前記仮想トランスポートビューアに応答して前記三次元画像構造を操作する、請求項３２に記載の装置。

【請求項38】

前記仮想トランスポートビューアは、仮想的な結腸内視鏡検査を実行するように構成される、請求項３７に記載の装置。

【請求項39】

前記仮想ツールは仮想造影剤を含み、前記インタフェースは、視認可能な動くボクセルを前記三次元画像構造に挿入することによって、前記仮想造影剤に応答して前記三次元画像構造を操作する、請求項３２に記載の装置。

【請求項40】

前記インタフェースは、前記動くボクセルのうちの異なるものに測定ユニット値を割り当てる、請求項３９に記載の装置。

【請求項41】

前記インタフェースは、外殻ごとに繰り返すようにして臓器の外殻のボクセルを除去することによって、前記仮想ツールの操作に応答して前記三次元画像構造を操作する、請求項３２に記載の装置。

【請求項42】

前記インタフェースは、近接した関心組織を該関心組織の複数のボクセルの座標を調整することによって離間させることによって、前記仮想ツールの操作に応答して前記三次元画像構造を操作する、請求項３２に記載の装置。

【請求項43】

前記仮想ツールは仮想テーブルを含み、前記インタフェースは、前記三次元画像構造の複数の部分を前記仮想テーブルの仮想収納箱に配することによって、前記仮想テーブルに応答して前記三次元画像構造を操作する、請求項３２に記載の装置。

【請求項44】

前記仮想ツールは仮想カテーテルを含み、前記インタフェースは、前記仮想カテーテルの移動を、選択された血管内の柱状の血液ボクセルに制限することによって、前記仮想カテーテルに応答して前記三次元画像構造を操作する、請求項３２に記載の装置。

【請求項45】

前記インタフェースは、前記三次元画像構造のうちの選択されたサブボリュームに関連する情報を自動的に表示する、請求項３２に記載の装置。

【請求項46】

前記インタフェースは、患者メタデータ及び医用画像ボリュームを取得することが促された現在状態、患者病歴、検査結果、及び病理学的結果を表示する、請求項４５に記載の装置。

【請求項47】

前記インタフェースは、仮想フロントガラスを用いて情報を表示する、請求項３２に記載の装置。

【請求項48】

前記インタフェースは、仮想ロードサインを用いて測定基準までの距離を表示する、請求項３２に記載の装置。

【請求項49】

前記インタフェースは、視点を示す視覚的な補助アイコンを表示する、請求項３２に記載の装置。

【請求項50】

前記インタフェースは、人工知能アルゴリズムによって検出された所見を示す視覚的な補助アイコンを表示する、請求項３２に記載の装置。

【請求項51】

前記インタフェースは、撮像ボリュームに関係付けられるように変更された視覚的な補助アイコンを表示する、請求項３２に記載の装置。

【請求項52】

前記インタフェースは、少なくとも１つのサブボリュームを選択するように適応された含ボリューム三次元カーソルを有する、請求項３２に記載の装置。

【請求項53】

前記インタフェースは、所定のリストの複数のサブボリュームから前記サブボリュームを選択するように適応される、請求項５２に記載の装置。

【請求項54】

前記インタフェースは、前記リストの前記複数のサブボリュームの各々を順次に表示するように適応される、請求項５３に記載の装置。

【請求項55】

前記インタフェースは、シーケンシャルサーチパターン座標によって定められる複数のサブボリュームから前記サブボリュームを選択するように適応される、請求項５２に記載の装置。

【請求項56】

前記インタフェースは、ランダムサーチパターン座標によって定められる複数のサブボリュームから前記サブボリュームを選択するように適応される、請求項５２に記載の装置。

【請求項57】

前記インタフェースは、ボクセルサイズを変更すること、ボクセル形状を変更すること、ボクセル位置を変更すること、ボクセル方向を変更すること、ボクセル内部パラメータを変更すること、ボクセルを作成すること、及びボクセルを除去すること、のうちの少なくとも１つによって前記三次元画像構造を操作する、請求項３２に記載の装置。

【請求項58】

前記三次元画像構造の操作は、関心サブボリュームの、共通の特性に基づく、複数の部分への分割を有する、請求項３２に記載の装置。

【請求項59】

前記三次元画像構造の操作は、分解図の生成を有し、前記三次元画像のセグメント化された複数の構造が、前記三次元画像構造内の点から遠ざかるように移動される、請求項３２に記載の装置。

【請求項60】

前記インタフェースは、ヒトの眼による観察を補助する仮想アイトラッカー記号を使用する、請求項３２に記載の装置。

【請求項61】

前記インタフェースは、ヒトの眼が跳躍性運動を行って１つの位置から別の位置へとジャンプすることができるように、前記仮想アイトラッカー記号に、空間的に離隔した位置で出現及び消滅させる、請求項６０に記載の装置。

【請求項62】

前記インタフェースは、ヒトの眼が滑らかな追跡を行うことができるように、前記仮想アイトラッカー記号に、経路に沿って滑らかに移動させる、請求項６０に記載の装置。

【国際調査報告】