(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-25
(45)【発行日】2024-10-03
(54)【発明の名称】介入手術を実行するためのライブ3Dホログラフィックガイダンス及びナビゲーション
(51)【国際特許分類】
A61B 34/20 20160101AFI20240926BHJP
A61B 6/12 20060101ALI20240926BHJP
A61B 8/00 20060101ALI20240926BHJP
【FI】
A61B34/20
A61B6/12
A61B8/00
(21)【出願番号】P 2023020369
(22)【出願日】2023-02-13
(62)【分割の表示】P 2020562652の分割
【原出願日】2019-05-10
【審査請求日】2023-03-15
(32)【優先日】2019-05-07
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】504291867
【氏名又は名称】ザ クリーヴランド クリニック ファウンデーション
【氏名又は名称原語表記】THE CLEVELAND CLINIC FOUNDATION
(74)【代理人】
【識別番号】100128347
【氏名又は名称】西内 盛二
(72)【発明者】
【氏名】ヤーノフ,ジェフリー エイチ.
(72)【発明者】
【氏名】ウエスト,カール
(72)【発明者】
【氏名】アル-ニマー,サラ
【審査官】近藤 裕之
(56)【参考文献】
【文献】国際公開第2018/195456(WO,A1)
【文献】米国特許出願公開第2014/0193053(US,A1)
【文献】米国特許出願公開第2017/0202633(US,A1)
【文献】米国特許出願公開第2013/0303887(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 34/20
A61B 6/12
A61B 8/00
(57)【特許請求の範囲】
【請求項1】
システムであって、
計算装置及びヘッドマウント装置を備え、
前記計算装置は物理的患者の術前3Dコンピュータ断層撮影(CT)画像データから導出されたデジタル解剖学的対象を記憶するためのメモリを有し、前記CT画像データがCT座標系の3D座標で示され、
前記メモリは、物理的患者の解剖学的変化を補正するように構成され、前記術前3D CT画像データとライブ超音波画像ストリームとの間の位置合わせを改善するように構成された平行移動補正の命令を含み、
前記ヘッドマウント装置はプロセッサ、ヘッドマウントディスプレイ及び頭部追跡機構を有し、
前記頭部追跡機構は電磁追跡システムであり、手術からのナビゲーションシステムの3Dデカルト座標で示されるライブ追跡データを受信し、前記ライブ追跡データが超音波システムに接続される追跡された物理的超音波トランスデューサ/プローブと、追跡された物理的介入装置/器具と、前記物理的患者の特定解剖位置での物理的な基準位置センサーとの位置及び方向を含むことと、
前記超音波システムに接続される前記物理的超音波トランスデューサ/プローブから取得した前記ライブ超音波画像ストリームを受信することと、
前記ライブ超音波画像ストリームをヘッドセット座標系に変換することと、
前記ライブ追跡データをヘッドセット座標系に変換することと、
前記ヘッドマウントディスプレイに前記ライブ超音波画像ストリームの前記ヘッドセット座標系におけるライブホログラフィック投影を表示し、前記超音波画像ストリームの前記ライブホログラフィック投影が前記トランスデューサ/プローブの追跡位置及び方向に基づくものであり、前記ライブホログラフィック投影が頭部追跡機構を利用して評価した操作者のビューに一致するようにスケーリングされることと、
前記計算装置において前記デジタル解剖学的対象を検索することと、
前記デジタル解剖学的対象を前記CT座標系の3D座標から前記ヘッドセット座標系に変換すること
により、前記ヘッドマウントディスプレイでホログラフィック解剖学的対象を投影することと、
3Dベクトルによって前記ヘッドセット座標系における前記
ホログラフィック解剖学的対象を平行移動して、前記手術期間の前記物理的患者のライブ解剖学的運動を補正して前記追跡された物理的介入装置/器具を補正するようにし、前記3Dベクトルが前記ライブ画像ストリームの前記ライブホログラフィック投影上の3Dポイント位置及び前記ヘッドセット座標系に記憶される術前CT画像データ内の対応点に基づいて計算したものであることと、
前記ヘッドマウントディスプレイにホログラフィック可視化を表示し、前記ホログラフィック可視化は
、共位置合わせされた、前記追跡された物理的介入装置/器具のホログラフィック表示、前記ライブ超音波画像ストリームの
前記ライブホログラフィック投影及び前記ホログラフィック解剖学的
対象を含み、前記ホログラフィック可視化を利用して前記追跡された物理的超音波トランスデューサ/プローブを
設置して前記物理的介入装置/器具を治療目標にガイダンスすることとに用いられるシステム。
【請求項2】
前記ライブ追跡データは電磁センサーコイルの電磁追跡及び/又は反射マーカーの光学追跡に基づくものであり、
前記電磁センサーコイル及び/又は前記反射マーカーが前記追跡された物理的超音波トランスデューサ/プローブ、前記追跡された物理的介入装置/器具及び前記物理的な基準位置センサーの内部及び/又は上方に位置する請求項1に記載のシステム。
【請求項3】
前記ホログラフィック可視化は、前記患者の物理的解剖学的構造、前記超音波トランスデューサ/プローブ及び前記物理的介入装置/器具に
重なるように前記患者に立体的に投影される請求項1に記載のシステム。
【請求項4】
操作者の入力を受信した場合、前記ヘッドマウント装置によって前記患者の物理的解剖学的構造及び/又は前記物理的超音波トランスデューサ/プローブ及び/又は前記物理的介入装置/器具に
重ならないように前記ホログラフィック可視化を投影するとともに、前記
ライブ超音波画像ストリームの前記ライブホログラフィック投影、前記ホログラフィック解剖学的対象、及び前記追跡された物理的介入装置/器具のホログラフィック表示の共位置合わせを維持することを更に含む請求項3に記載のシステム。
【請求項5】
操作者の入力を受信した場合、、前記ヘッドマウント装置によって前記ヘッドマウント装置からの追跡データに基づいて、常に前記操作者に面するように前記
ホログラフィック可視化を連続して再整列することを更に含む請求項3に記載のシステム。
【請求項6】
前記
ホログラフィック可視化が前記物理的解剖学的構造に対して平行移動、回転及び/又はスケーリングされる場合、ホログラフィック光線、前記ライブ超音波画像ストリームの前記
ライブホログラフィック投影、
及び前記ホログラフィック解剖学的対象の共位置合わせを維持することを更に含む請求項3に記載のシステム。
【請求項7】
前記ホログラフィック光線と前記ライブ超音波画像ストリームの前記
ライブホログラフィック投影との
交差点が球状交点として表示される請求項6に記載のシステム。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本願は、2018年5月7日に提出した、発明の名称「REAL-TIME(LIVE)3D HOLOGRAPHIC GUIDANCE AND NAVIGATION FOR PERFORMING INTERVENTIONAL PROCEDURES」、出願番号第62/667,687号の米国仮出願の優先権を主張する。本願は、更に、2019年5月7日に提出した、発明の名称「LIVE 3D HOLOGRAPHIC GUIDANCE AND NAVIGATION FOR PERFORMING INTERVENTIONAL PROCEDURES」、出願番号第16/405,875号の米国特許出願の優先権を主張する。これらの出願の全内容は、すべての目的のために参照により本明細書に援用される。
【技術分野】
【0002】
本開示は全体的に介入手術に関し、より具体的に、介入手術を実行するためのライブ三次元(3D)ホログラフィックガイダンス及びナビゲーションを提供するシステム及び方法に関する。
【背景技術】
【0003】
画像ガイダンスは一般的に介入手術期間に医療手術に使用される介入器具/装置が患者の解剖学的構造を通って目標位置に到達する追跡を指す。患者の解剖学的構造は術前及び/又は術中画像で示され、且つ追跡された介入器具/装置が術前及び/又は術後画像に位置合わせされる。広範囲の診断及び治療手術に対して、超音波検査によって介入器具/装置を追跡することができる。ところが、超音波検査によって介入器具/装置を追跡することは画像ガイダンスを複雑にする。まず、超音波検査は患者の体内の介入器具/装置を追跡しかできず、介入器具/装置が患者の体に入る前に介入器具/装置を追跡することができない。患者の体に入ると、超音波プローブと、介入装置/器具と、目標位置と超音波プローブのイメージング面との間の関係が不明確になり、介入器具/装置と目標位置との位置合わせが複雑になる可能性がある。また、伝統的に、目標位置及び介入器具/装置の画像がテーブルサイドの平面2Dモニターに表示されており、これは介入器具の操作性を更に複雑化した。例えば、2Dディスプレイによって医療専門家が器具/装置の位置及び目標位置に対する器具/装置の軌跡を、器具の経路を補正するために必要な物理的軌跡に平行移動するように調整することができ、医療手術において、このような2Dから3Dまでの知能的な平行移動が相当に困難である。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は介入手術を実行するためのライブ三次元(3D)ホログラフィックガイダンス及びナビゲーションを提供するシステム及び方法に関する。
【課題を解決するための手段】
【0005】
一態様では、本開示は介入手術を実行するためのライブ3Dホログラフィックガイダンスを提供する方法を含んでもよい。該方法はプロセッサと頭部追跡機構とを有するヘッドマウント装置により実行されてもよく、該ヘッドマウント装置はナビゲーションシステムの3Dデカルト座標で示されるライブ追跡データを受信することができる。ライブ追跡データは、超音波システムに接続される追跡された物理的超音波トランスデューサ/プローブと、追跡された物理的介入装置/器具と、物理的患者上の特定解剖位置での物理的な基準位置センサーとの位置及び方向を含んでもよい。物理的なヘッドマウント装置は、超音波システムに接続される物理的超音波トランスデューサ/プローブから取得したライブ画像ストリームを受信することができ、ライブ追跡データをヘッドセット座標系に変換し、且つライブ画像ストリームのヘッドセット座標系におけるライブホログラフィック投影を表示する。超音波画像ストリームは追跡された物理的超音波プローブ/トランスデューサからプローブ/トランスデューサの追跡位置及び追跡方向に沿って拡張される。ライブホログラフィック投影は頭部追跡機構を利用して評価した操作者のビューに一致するように物理的解剖学的構造にスケーリングされる。次に、物理的なヘッドマウント装置は物理的患者の術前3Dコンピュータ断層撮影(CT)画像データから導出されたデジタル解剖学的対象を検索することができ、デジタル解剖学的対象を3D CT座標系からヘッドセット座標系に変換し、ライブ画像ストリームのライブホログラフィック投影上の3Dポイント位置及びヘッドセット座標系に記憶される術前CT画像データ内の対応点に基づいて計算した3Dベクトルによってヘッドセット座標系における解剖学的対象を平行移動して、物理的患者の解剖学的変化を補正するようにし、ホログラフィック可視化を表示し、ホログラフィック可視化はライブ超音波画像ストリームの位置合わせ後のホログラフィック投影及びCTから導出されたホログラフィック解剖学的対象に一致する追跡された物理的介入装置/器具のホログラフィック表示を含む。頭部追跡機構により決定される視点から3つのホログラフィック投影を利用して追跡された物理的超音波プローブをナビゲーションして物理的介入装置/器具を治療目標にガイダンスする。
【0006】
他の態様では、本開示は介入手術を実行するためのライブ3Dホログラフィックガイダンスを提供するシステムを含んでもよい。該システムは計算装置を備え、該計算装置はメモリを有し、該メモリは物理的患者の術前3Dコンピュータ断層撮影(CT)画像データから導出されたデジタル解剖学的対象を記憶する。CT画像データがCT座標系の3D座標で示される。システムは更にヘッドマウント装置を備え、該ヘッドマウント装置は、プロセッサ及び頭部追跡機構を有し、ナビゲーションシステムの3Dデカルト座標で示されるライブ追跡データを受信し、ライブ追跡データが超音波システムに接続される追跡された物理的超音波トランスデューサ/プローブと、追跡された物理的介入装置/器具と、物理的患者上の特定解剖位置での物理的な基準位置センサーとの位置及び方向を含み、超音波システムに接続される物理的超音波トランスデューサ/プローブから取得したライブ画像ストリームを受信し、ライブ追跡データをヘッドセット座標系に変換し、ライブ画像ストリームのヘッドセット座標系におけるライブホログラフィック投影を表示し、超音波画像ストリームが追跡された物理的超音波プローブ/トランスデューサからプローブ/トランスデューサの追跡位置及び追跡方向に沿って拡張され、ライブホログラフィック投影が頭部追跡機構を利用して評価した操作者のビューに一致するようにスケーリングされ、デジタル解剖学的対象を検索し、デジタル解剖学的対象をCT座標系の3D座標からヘッドセット座標系に変換し、ライブ画像ストリームのライブホログラフィック投影上の3Dポイント位置及びヘッドセット座標系に記憶される術前CT画像データ内の対応点に基づいて計算した3Dベクトルによってヘッドセット座標系における解剖学的対象を平行移動して、物理的患者の解剖学的変化を補正するようにし、ホログラフィック可視化を表示し、ホログラフィック可視化がライブ超音波画像ストリームの位置合わせ後のホログラフィック投影及びCTから導出されたホログラフィック解剖学的対象に一致する追跡された物理的介入装置/器具のホログラフィック表示を含み、頭部追跡機構により決定される視点から、3つのホログラフィック投影を利用して追跡された物理的超音波プローブを位置特定して物理的介入装置/器具を治療目標にガイダンスする。
【図面の簡単な説明】
【0007】
図面を参照しながら以下の説明を読むことにより、本開示の上記特徴及び他の特徴は当業者にとって明らかになる。
【0008】
【
図1】
図1は本開示の一態様に係る介入手術を実行するためのライブ三次元(3D)ホログラフィックガイダンス及びナビゲーションを提供するシステムの例を示すブロック図である。
【
図2】
図2は
図1におけるヘッドマウント装置の例を示すブロック図である。
【
図3】
図3は本開示の他の態様に係る介入手術を実行するためのライブ3Dホログラフィックガイダンス及びナビゲーションを提供する例示的な方法の一部を示すフローチャートである。
【
図4】
図4は本開示の他の態様に係る介入手術を実行するためのライブ3Dホログラフィックガイダンス及びナビゲーションを提供する例示的な方法の別の部分を示すフローチャートである。
【
図5】
図5はライブ3Dホログラフィックガイダンスに使用される部材の画像である。
【
図6】
図6はライブ3Dホログラフィックガイダンスの例示的な使用を示す画像である。
【
図7】
図7は例示的なヘッドマウント装置の画像である。
【発明を実施するための形態】
【0009】
I.定義
特に定義しない限り、本明細書に使用されるすべての専門用語は当業者が一般的に理解するものと同じ意味を有する。
【0010】
本開示のコンテクストにおいて、上下の文脈において他の意味を明確に示していない限り、単数形式の「1つ」及び「該」は複数形式も含むように意図されている。
【0011】
本明細書に使用される用語「含む」は述べられた特徴、ステップ、操作、素子及び/又は部材の存在を特定することができるが、1つ又は複数の他の特徴、ステップ、操作、素子、部材及び/又はグループの存在又は追加を排除しない。
【0012】
本明細書に使用される用語「及び/又は」は関連する列挙したアイテムのうちの1つ又は複数の任意又は全部の組み合わせを含んでもよい。
【0013】
また、用語「第1」、「第2」等は本明細書において様々な素子を説明することに用いられてもよいが、これらの素子はこれらの用語により制限されるべきではない。これらの用語は一方の素子と他方の素子とを区別することに用いられる。これにより、本開示の教示を逸脱せずに、以下に検討する「第1」素子は「第2」素子と称されてもよい。特に指摘しない限り、操作(又は、動作/ステップ)の順序は特許請求の範囲又は図面における順序に限らない。
【0014】
本明細書に使用される用語「介入手術」は患者の体に入った診断又は治療に使用される医療手術を指す。介入手術は経皮的非血管手術(例えば、神経ブロック、生検、腫瘍アブレーション等)、経皮的血管手術(例えば、ステントグラフト術、仮想組織学、フラクショナルフローリザーブ等)又は開腹手術(例えば、僧帽弁置換、三尖弁置換、低侵襲手術等)であってもよい。
【0015】
本明細書に使用される用語「介入器具/装置」及び「介入装置/器具」は介入手術を容易にするために患者の体内に使用されるいかなるツールを指す。
【0016】
本明細書に使用される用語「追跡データ」はナビゲーションシステムによって追跡座標系で測定される、1つ又は複数の対象に対する観察に関連する情報を指し、且つ動きを受けてもしなくてもよい。対象には超音波システムに接続される追跡された物理的超音波トランスデューサ/プローブ、追跡された物理的介入装置/器具、物理的な基準位置センサー等を含んでもよい。
【0017】
本明細書に使用される用語「追跡座標系」は1つ又は複数の数字を使用して特定追跡システムに特有の点又は他の幾何学的要素の位置を決定する3Dデカルト座標系を指す。例えば、追跡座標系は標準3Dデカルト座標系を回転、スケーリング等をしてなるものであってもよい。
【0018】
本明細書に使用される用語「ヘッドマウント装置」又は「ヘッドセット」は頭部に着用するように構成される表示装置を指し、1つ又は複数の目の前に1つ又は複数の表示光学デバイス(レンズを含む)を有する。ヘッドマウント装置の例はマイクロソフトHoloLensである。
【0019】
本明細書に使用される用語「ヘッドセット座標系」又は「世界座標系」は1つ又は複数の数字を使用して特定ヘッドマウント装置システムに特有の点又は他の幾何学的要素の位置を決定する3Dデカルト座標系を指す。例えば、ヘッドセット座標系は標準3Dデカルト座標系を回転、スケーリング等をしてなるものであってもよい。
【0020】
本明細書に使用される用語「イメージングストリーム」は患者の体の一部のリアルタイムな超音波検査画像を指す。
【0021】
本明細書に使用される用語「解剖学的対象」は患者の体の一部の術前CT画像の離散部分を指す。いくつかの場合、解剖学的対象は場合によっては元の術前CT画像から取得されている。
【0022】
本明細書に使用される用語「CT座標系」は1つ又は複数の数字を使用して特定CTイメージングシステムに特有の点又は他の幾何学的要素の位置を決定する3Dデカルト座標系を指す。例えば、イメージング座標系は標準3Dデカルト座標系を回転、スケーリング等をしてなるものであってもよい。
【0023】
本明細書に使用される用語「ホログラム」、「ホログラフィック投影」又は「ホログラフィック表示」はヘッドセットのレンズに投影されるコンピュータ生成画像を指す。一般的に、ホログラムは(拡張現実(AR)で)合成的に生成でき、物理的現実とは関係ない。
【0024】
本明細書に使用される用語「物理的」は真実のものを指す。物理的なものはホログラフィックではない(又は、コンピュータで生成されたものではない)。
【0025】
本明細書に使用される用語「二次元」又は「2D」は2つの物理的次元で示されるものを指す。
【0026】
本明細書に使用される用語「三次元」又は「3D」は3つの物理的次元で示されるものを指す。「4D」である要素(例えば、3D+時間次元)は、三次元又は3Dの定義に含まれる。
【0027】
本明細書に使用される用語「リアルタイム」及び「ライブ」は過程又はイベントが発生した実際の時間を指す。つまり、リアルタイムイベントはライブで行われる(結果がフィードバックとして直ちに利用できるように、ミリ秒以内)。例えば、リアルタイムイベントはイベントが発生してから100ミリ秒内に表示できる。
【0028】
本明細書に使用される用語「深さ」は画像の患者の体内での深さの指標(例えば、センチメートルを単位とする)を指してもよい。深さはスケールに関連してもよい。
【0029】
本明細書に使用される用語「被験者」及び「患者」は交換可能に使用されてもよく、且ついかなる脊椎動物を指す。
【0030】
II.概要
本開示は全体的に介入器具/装置が患者の体を通ってガイダンス又はナビゲーションされる介入手術に関する。従来、超音波検査(本明細書において、「超音波」、「超音波走査」、「エコー」及び類似の用語とも呼ばれる)によって介入器具/装置を追跡して画像ガイダンスを複雑化することとなり、これは、少なくとも、超音波検査が患者の体内の介入器具/装置しか追跡できず、介入器具/装置が患者の体に入る前に介入器具/装置を追跡できず、患者の体に入ると、超音波プローブと、介入装置/器具と、目標位置と超音波プローブのイメージング面との間の関係が不明確になり、介入器具/装置と目標位置との位置合わせが複雑になる可能性がある、且つ、従来、目標位置及び介入器具/装置の画像がテーブルサイドの平面2Dモニターに表示されており、このため、介入器具の操作性を更に複雑化した(例えば、医療専門家は器具/装置の位置及び目標位置に対する器具/装置の軌跡を、器具の経路を補正するために必要な物理的軌跡に平行移動するように調整するように要求される)。本開示は超音波検査によって患者の体を通る介入器具/装置を追跡することによる従来の複雑性を低減した。実際に、本開示は超音波ガイダンスの介入手術を実行するためのライブ三次元(3D)ホログラフィックガイダンス及びナビゲーションを提供するシステム及び方法を説明する。
【0031】
3Dホログラフィック可視化はライブ超音波画像ストリームのホログラフィック投影及び術前画像から導出されたホログラフィック解剖学的対象と一致して表示される追跡された介入器具/装置のホログラフィック表示(すべてのデータが共有ホログラフィック座標系に変換される)を含んでもよい。特に、患者の解剖学的変化(例えば、呼吸)に適応するよう、ライブ超音波画像ストリーム(「ライブ画像ストリーム」とも呼ばれる)のライブホログラフィック投影上の3Dポイント位置及びヘッドセット座標系に記憶される術前CT画像データ内の対応点に基づいて計算した3Dベクトルによって解剖学的対象を平行移動する。
【0032】
III.
システム
本開示の一態様はシステム10(
図1)を含んでもよく、該システム10は患者(「物理的」患者とも呼ばれる)に対して介入手術を実行するためのライブ三次元(3D)ホログラフィックガイダンス及びナビゲーションを提供する。介入手術はイメージングモード(例えば、超音波検査、コンピュータ断層撮影等)を使用してガイダンスを提供するいかなる手術であってもよい。特に、介入器具の3Dホログラフィックガイダンス及びナビゲーションは2つのイメージングモードの融合(ライブ超音波画像及び術前コンピュータ断層撮影イメージングの融合)を含むことができる。例えば、超音波検査は患者の体に入った診断又は治療に関わるいかなる介入手術をガイダンスすることに用いられてもよく、該介入手術は経皮的非血管手術(例えば、神経ブロック、生検、腫瘍アブレーション等)、経皮的血管手術(例えば、ステントグラフト術、仮想組織学、フラクショナルフローリザーブ等)及び開腹手術(例えば、僧帽弁置換、三尖弁置換、低侵襲手術等)を含む。超音波検査によって介入装置をガイダンスするいかなる手術にライブ3Dホログラフィックガイダンス及びナビゲーションを提供することができる。
【0033】
システム10は拡張現実3Dホログラフィック表示を使用してライブ3Dホログラフィックガイダンス及びナビゲーションを提供することができ、従来の2Dガイダンスを代替したり、他の方式で従来の2Dガイダンスを強化したりすることができる。システム10はヘッドマウント装置1を備えてもよく、該ヘッドマウント装置1は計算装置13及び14から受信された患者特定及び介入手術特定のデータに基づいて拡張現実3Dホログラフィック表示を生成するように構成されてもよい。注意されるべきのように、計算装置13及び14は独立した装置(いずれもヘッドマウント装置1に位置するもの、一方がヘッドマウント装置1に位置するが他方がヘッドマウント装置1を離れるもの、いずれもヘッドマウント装置1を離れるもの等)であってもよいが、同一装置の一部であってもよい。例として、ヘッドマウント装置は光学シースルーデバイスであってもよい。
【0034】
計算装置13は超音波システム12(ライブ画像ストリームデータ)及びナビゲーションシステム11(追跡データ)からデータを受信することができる。計算装置13は有線接続及び/又は無線接続により超音波システム12及びナビゲーションシステム11に結合されてもよい。計算装置13は更に有線接続及び/又は無線接続によりヘッドマウント装置1に結合されてもよい。計算装置13とナビゲーションシステム11、超音波システム12及びヘッドマウント装置との接続は互いに独立していることができることを理解されたい。
【0035】
超音波システム12は介入手術期間に超音波トランスデューサ/プローブ(「物理的」超音波トランスデューサ/プローブとも呼ばれる)へ超音波信号を送信して超音波トランスデューサ/プローブT/Pからライブ画像ストリームを受信して、計算装置13にライブ画像ストリームを提供することができる。例えば、超音波トランスデューサ/プローブT/PはB型プローブ、線形プローブ、血管内超音波プローブ又はいかなる他のタイプの超音波トランスデューサ又はプローブであってもよい。ライブ画像ストリームは2Dであってもよい。計算装置13はライブ画像ストリームのライブデータを伝送するように構成される有線接続及び/又は無線接続により超音波システム12に結合されてもよい。例えば、ライブデータストリームはHDMI接続によって超音波システム12と計算装置13との間に伝送され得る。
【0036】
ナビゲーションシステム11は追跡装置T/PS、IDS及びLS(「物理的」追跡装置とも称ばれる)に関連するライブ追跡データを含む信号を受信して、ライブ追跡データを計算装置13に送信することができる。1つ又は複数の追跡装置T/PSは超音波トランスデューサ/プローブT/P上及び/又は内に位置してもよい。1つ又は複数の追跡装置IDSは介入手術期間に使用される介入装置ID上及び/又は内に位置してもよい。1つ又は複数の追跡装置LSは患者の体の上及び/又は近傍の固定点に位置してもよい。例えば、1つ又は複数の追跡装置LSは患者の体の基準位置に位置してもよい。他の例として、1つ又は複数の追跡装置LSは患者の体の外部の位置に位置してもよい。別の例として、1つ又は複数の追跡装置LSは患者の体の基準位置及び患者の体の外部の位置に位置してもよい。追跡データは複数の追跡装置T/PS、IDS及びLSのそれぞれからの位置情報及び方向情報(いずれも三次元である)を含んでもよい。ナビゲーションシステム11は追跡のための信号を生成する(例えば、部材からの信号に基づいて追跡データを生成することができる)ための部材を備えてもよい。例えば、部材は電磁場を生成することができる電磁(EM)フィールドジェネレーターと、追跡データを生成することで応答するセンサー(例えば、コイルセンサー)である追跡装置T/PS、IDS及びLSとを含んでもよい。他の例として、部材は光発生器と、追跡データを提供するように光学的に追跡する反射マーカーであり得る追跡装置T/PS、IDS及びLSとを含んでもよい。計算装置13は追跡データのライブデータを伝送するように構成される有線接続及び/又は無線接続によりナビゲーションシステム11に結合されてもよい。例えば、追跡データは直列接続によりナビゲーションシステム11と計算装置13との間に伝送されてもよい。注意されるべきのように、本明細書に記載のナビゲーションシステム11は基準マーカーを用いる追跡を利用してもよい。理解されるべきのように、本開示の趣旨を逸脱しない限り、他のナビゲーション及び追跡メカニズムを用いてもよい。
【0037】
計算装置14は患者の解剖学的構造に関連する術前データ(例えば、例えば画像分離により術前コンピュータ断層撮影PCT画像及び/又は術前コンピュータ断層撮影画像PCTから導出された解剖学的対象AO)をヘッドマウント装置1に提供することができる。例えば、解剖学的対象AOは患者の体の一部のCTに基づくホログラムであってもよい。計算装置14は有線接続及び/又は無線接続によりヘッドマウント装置に接続されてもよい。いくつかの場合、計算装置14(又は、他の計算装置)は治療計画に関連する情報をヘッドマウント装置1に提供することができ、該治療計画が介入手術に関連する。治療計画に応じて、ヘッドマウント装置1は手術部位への投影、動的位置合わせ、計画及び追跡したHLR、並びに介入手術の発生のためのホログラフィック領域を提供することができる。
【0038】
ヘッドマウント装置1の表示は
図2に示される。ヘッドマウント装置1は非一時的メモリ2及び処理ユニット3(1つ又は複数のハードウェアプロセッサを有してもよい)を備えてもよく、ホログラフィック表示の生成及び表示を補助するよう、処理ユニット3は非一時的メモリ2にアクセスしてその中に記憶される命令を実行することができる。例えば、非一時的メモリ2は変換7、平行移動補正8(又は、調整)及びホログラフィック投影9等の命令を記憶することができ、これらの命令が処理ユニット3により実行されてもよい。ヘッドマウント装置1は更に計算装置13及び14と双方向通信を行う入力/出力(I/O)4を備えてもよい。また、ヘッドマウント装置1は3Dホログラムの表示を促進することができるプロジェクターを備えてもよい。さらに、ヘッドマウント装置1は、更に、ヘッドマウント装置1を着用しているある人の頭の運動に基づいて様々な動作の実行を補助することができる頭部追跡機構6を備えてもよい。ヘッドマウント装置1は更に他の部材、例えばカメラ及び/又は他の可視化及び/又は記録素子を備えてもよい。
【0039】
以下、ヘッドマウント装置1の操作の例を説明する。I/O4(無線送信機及び/又は受信機であってもよい)を介して、ヘッドマウント装置1は計算装置13からのライブ追跡データ及びライブ画像ストリーム、並びに計算装置14からの術前データ(例えば、術前コンピュータ断層撮影PCT画像及び/又は術前コンピュータ断層撮影PCT及び/又は治療計画から導出された解剖学的対象AO)を受信することができる。ライブ追跡データは追跡座標系の座標の形式を用いる。少なくとも一部の術前データは一般的にCT座標系の座標の形式を用いる。
【0040】
非一時的メモリ2に記憶されて処理ユニット3により実行される変換7の命令は受信されたすべてのデータを共有座標系(ヘッドセット座標系)に変換することができる。例えば、ライブ追跡データは追跡座標系の座標からヘッドセット座標系の共有座標に変換されてもよく、術前データはCT座標系の座標からヘッドセット座標系の共有座標に変換されてもよい。
【0041】
非一時的メモリ2に記憶されて処理ユニット3により実行されるホログラフィック投影9の命令は拡張現実3Dホログラフィック表示を生成することに用いられてもよい。拡張現実3Dホログラフィック表示はライブホログラフィック画像ストリームのヘッドセット座標系におけるライブホログラフィック投影を含んでもよい。患者の物理的解剖学的構造との一致性を維持するよう、ライブ画像ストリームは局所回転、平行移動及びスケーリングを利用して予め較正され、自動的に再較正されてもよい。例えば、ライブ画像ストリームのライブホログラフィック投影は追跡された物理的超音波プローブ/トランスデューサからプローブ/トランスデューサの追跡位置及び追跡方向に沿って拡張されてもよく、且つライブホログラフィック投影は頭部追跡機構を利用して評価した操作者のビューに一致する物理的解剖学的構造にスケーリングされてもよい。拡張現実3Dホログラフィック表示は更にライブホログラフィック投影に位置合わせされる解剖学的対象のホログラフィック投影を含んでもよい。ホログラフィック超音波平面を遮らない場合に可視化を行うことを可能にするように、解剖学的対象を投影することができる。拡張現実3Dホログラフィック表示はライブ超音波画像ストリームの位置合わせ後のホログラフィック投影に一致する追跡された物理的介入装置/器具のホログラフィック表示を含んでもよく、それはまた、解剖学的対象の位置合わせ後のホログラフィック投影に一致してもよい。
【0042】
患者の解剖学的構造の少なくとも一部に対応する手術部位に関連する参照図形(治療計画に基づくものであってもよい)及び他のガイダンス制御図形を利用して追跡された物理的介入装置のホログラフィック表示を表示することができる。参照図形及びガイダンス制御図形はガイダンス(例えば、視覚的ガイダンス(図示、タイプ、注釈等)及び/又は聴覚的ガイダンス)を提供することができ、ホログラフィックガイダンスを使用して(3D解剖ホログラフィック投影及び介入装置の3Dホログラフィック表示を使用して)物理的介入装置が患者の解剖学的構造を通ることを追跡する。例えば、参照図形に関連する線(又は、図形)とガイダンス制御図形に関連する線(又は、図形)とが交差する場合、物理的介入装置は物理的介入装置が血管系内に置かれるように促進する軌跡に位置合わせされてもよい。これは目標位置又は方向からの距離及び/又は角度偏差を報告するホログラフィック注釈に伴い得る。参照図形及びガイダンス制御図形はイベントにより駆動されるガイダンスを提供することができる。例えば、ステントが患者の血管系内に位置する場合、参照図形及びガイダンス制御図形はステントが移動するにつれて聴覚及び/又は視覚的ガイダンスを提供することができる。ステントが移動するにつれて患者の血管ツリーを通って、ビープ音によってステントが目標位置に接近することを示してもよい。同様に、図形はステントの位置及び方向のライブ注釈を提供し、及び/又は目標位置との交差を示すことができる。つまり、イベント駆動型ガイダンスは1つ又は複数のイベントにより駆動される信号を使用して、それらがいつ正しい軌道に位置するかをユーザーに通知することができる。
【0043】
プロジェクター5サブシステムは拡張現実3Dホログラフィック表示を表示することができる。例えば、3Dホログラフィック表示は患者の物理的解剖学的構造に一致するように、可視化として患者に立体的に投影されてもよい。可視化は頭部追跡機構6からの入力及び/又は聴覚入力によりスケーリング及び/又は移動され得る。また、視点は頭部追跡機構6(加速度計、ジャイロスコープ及び/又は磁力計によりヘッドマウントディスプレイ1内の頭部を追跡することができる)からの入力によって決定されてもよい。操作者の入力を受信した場合、ヘッドマウント装置により投影され、可視化は患者の物理的解剖学的構造及び/又は物理的超音波トランスデューサ/プローブ及び/又は物理的介入装置に一致しないように表示され得るとともに、ホログラフィック投影の共位置合わせを維持する。他の操作者の入力を受信した場合、可視化は頭部追跡機構6からの追跡データに基づいて連続して再整列し、仮想表示を再配向するようにし、その表示を常に操作者に面するようにすることができる。他の操作者の入力を受信した場合、可視化は物理的解剖学的構造に対して平行移動、回転及び/又はスケーリングされてもよく、且つ素子は共位置合わせされてもよい。超音波トランスデューサ/プローブ(T/P)及び介入装置(ID)をナビゲーションする際に操作者の手と目の協調を維持するよう、ホログラフィックシーンの回転を制限又は防止することができる。入力に基づき、追跡された物理的超音波プローブ(T/P)は物理的介入装置/器具(ID)が治療目標に到達するように追跡及びガイダンスすることに用いられてもよい(術前計画情報により決定される)。
【0044】
物理的患者の解剖学的変化(例えば、呼吸運動、患者の総運動等)に対して補正を行うよう、非一時的メモリ2に記憶されて処理ユニット3により実行される平行移動補正8の命令は術前データに使用されてもよい。CTと超音波との位置合わせを改善するために、平行移動補正8の命令は3D平行移動及び調節の実行を補助する。例として、平行移動8の命令は術前CT画像とライブ超音波画像との位置合わせを強化することに用いられてもよい。ヘッドセット座標系における術前解剖学的対象(AO)は3Dベクトルにより平行移動されてもよく、該3Dベクトルはヘッドセット座標系におけるライブ画像ストリームのライブホログラフィック投影上の3Dポイント位置及びヘッドセット座標系における術前CT画像データ内の対応点に基づいて計算したものである。ポイント位置は操作者の入力のライブ超音波画像におけるホログラフィック投影に基づいて識別・位置特定されてもよい。例えば、該ポイントはイメージングされた腫瘍又は血管断面の中心であってもよい。
【0045】
IV.
方法
本開示の他の態様は超音波ガイダンスの介入手術を実行するためのライブ3Dホログラフィックガイダンス及びナビゲーションを提供する方法を含んでもよい。該方法は一部の方法30及び40として
図3及び
図4に分けられる。方法30及び40はハードウェアにより実行され、例えば上記
図1及び
図2におけるヘッドマウント装置1により実行されてもよい。
【0046】
方法30及び40は例示的なフローチャートを有するフローチャートとして例示される。簡単のために、方法30及び40は順に実行されるように説明されるが、理解・把握されるべきのように、いくつかのステップが異なる順序で行われ、及び/又は本明細書に説明される他のステップと同時に行われてもよいため、本開示は例示的な順序により制限されない。且つ、すべての例示的な態様は方法30及び40を実施するために必要とされるわけではない。また、方法30及び40を実施する1つ又は複数の素子、例えば
図1及び
図2におけるヘッドマウント装置1は、ホログラフィック画像ガイダンスを促進することができる頭部追跡機構、非一時的メモリ及び1つ又は複数のプロセッサを備えてもよい。
【0047】
図3には、超音波ガイダンスの介入手術を実行するためのライブ3Dホログラフィックガイダンス及びナビゲーションを提供する方法の一部である方法30を示す。ステップ32では、(ヘッドマウント装置1によって)ナビゲーションシステムの3Dデカルト座標で示されるライブデータ(例えば、ナビゲーションシステム11がヘッドマウント装置1に提供した超音波トランスデューサプローブT/PS上のセンサー、介入装置IDS上/内のセンサー、及び基準位置LSでのセンサーからのライブ追跡データ)を受信することができる。注意されるべきのように、本明細書に記載のナビゲーションシステム11は基準マーカーを用いる追跡を利用してもよい。理解されるべきのように、本開示の趣旨を逸脱しない限り、他のナビゲーション及び追跡メカニズムを用いてもよい。ステップ34では、(ヘッドマウント装置1によって)ライブ追跡データをヘッドセット座標系に変換することができる。ステップ36では、(ヘッドマウント装置1によって)(超音波トランスデューサ/プローブT/Pから取得した)ライブ画像ストリームを受信することができる。ステップ38では、(ヘッドマウント装置1によって)ライブ画像ストリームのヘッドセット座標系におけるライブホログラフィック投影(ライブ追跡データの少なくとも一部により決定される)を介入装置のヘッドセット座標系における他のライブホログラフィック表示とともに表示することができる。
【0048】
超音波ガイダンスの介入手術を実行するためのライブ3Dホログラフィックガイダンス及びナビゲーションを提供する方法は、
図4における方法40に継続する。ステップ42では、(ヘッドマウント装置1によって)患者の術前コンピュータ断層撮影(例えば、PCT)画像データ(例えば、画像分離により)から導出されたデジタル解剖学的対象(例えば、AO)を受信することができる。ステップ44では、(ヘッドマウント装置1によって)デジタル解剖学的対象をヘッドセット座標系に変換することができる。ステップ46では、患者の解剖学的変化を補正するよう、(ヘッドマウント装置1によって)3Dベクトルによってヘッドセット座標系におけるデジタル解剖学的対象を平行移動することができる。3Dベクトルはユーザーがホログラフィック超音波から選択したホログラフィック解剖学的対象に関連する3Dポイントに基づくものであってもよい。ステップ48では、(ヘッドマウント装置1によって)3Dホログラフィック可視化を表示してホログラフィックガイダンスに使用することができる。3Dホログラフィック可視化はライブ超音波ストリームの3Dホログラフィック投影及びデジタル解剖学的対象の3Dホログラフィック投影に位置合わせされる介入装置/器具の3D表示を含んでもよい。可視化は患者の物理的解剖学的構造に一致するように、可視化として患者に立体的に投影されてもよい。可視化は頭部追跡機構6からの入力及び/又は聴覚入力によりスケーリング及び/又は移動されてもよい。介入装置が患者の解剖学的構造を通るようにガイダンスするために、可視化は更にガイダンス制御図形及び/又は参照図形を含んでもよい。
【0049】
V.
例示的な設置
図5~
図7には
図1におけるシステム10の台式実験の使用を示す。
図5には外科手術に使用される腹部を有する人体模型本体を示す。4つの位置センサー(LS)は患者の体の基準位置に配置される。更に超音波プローブ及び外科器具を提供し、それらがいずれも追跡センサー(T/PS及びIDS)を有する。
図6にはホログラフィック表示と組み合わせられる
図5における素子の使用を示す。
図7にはマイクロソフトHoloLensを示し、該マイクロソフトHoloLensはヘッドマウント装置1として使用され、
図6におけるホログラフィック表示を提供することに用いられる。以下、例に使用できる技術を検討する。
【0050】
VI.例示的な技術
ホログラフィック超音波平面上のユーザーの指定した3Dポイント位置
操作者はホログラフィック超音波平面上にポイントを位置特定することができる。カーソル位置は平面上の位置を「注視」することで調節されてもよい。操作者が同じ位置を一定期間注視すれば、該位置にペレットを置いてもよい。例えば、該位置はホログラフィック超音波平面(HUP)に投影された腫瘍の中心であってもよい。
【0051】
HUP上のポイント位置Phupは以下の組織標的バリデーションテストに使用されてもよい。3Dポイントも介入器具HLR、物理先端から前記器具の軌跡に沿って外向きに延在する線分とHUPとの交点に位置すると仮定すれば、この2つのポイントの距離を計算してホログラフィックテキストで報告することができる。
【0052】
共通ソース点でのライブ超音波に対するCT位置合わせ補正
ポイント位置P
hupは2つのホログラフィックイメージングタイプ、例えば超音波(リアルタイム平面)及びCT(術前3D容積)を空間的に位置合わせすることに用いられてもよい。腫瘍の中心P
TCTは術前処理段階に位置特定されてもよい。CT及びHUPが手術を始める際にいずれもHoloLens(
図7を参照)座標に変換されるため、CTから導出されたホログラム(分離された腫瘍を含んでもよいだけでなく、更に器官及び血管を含んでもよい)はP
TCT-P
hupとして計算したベクトルP
hupによって平行移動されてもよい。CT画像の平行移動距離を記録することができる。CTデータセットが1つ以上の腫瘍を含む場合、各腫瘍は関連する中心点を有し、そうすると、腫瘍特定の方式で位置合わせ補正を実行してもよい。より一般的に、超音波及びCTホログラムから識別された共通ソース点及び特徴は剛性アフィン変換によりCTとUS画像ホログラムとの位置合わせを改善することに用いられてもよく、ひいては弾性(非剛性)変換を用いてもよい。
【0053】
融合された(CT/US/HLR)ホログラフィックデカルト容積のスケールアップ
拡張及び複合現実(AR/MR)に対して、患者特定のホログラム及び装置のホログラムは一般的に互いに(ホログラフィック座標の形式で)位置合わせされ、次に患者に立体的に投影される(患者に位置合わせされる)が、従来の画像ガイダンスシステムは物理的解剖及び装置画像と表示される解剖及び装置画像との対応関係を確立したが、患者ではなく2Dモニターに表示される。ホログラムを物理空間(患者の座標)に一致するために、それらを同じ(すなわち、同一)尺度にしなければならない。装置及び解剖(HUPを含む)ホログラムを患者に投影することは、1)装置を目標組織にナビゲーションするための最適な目と手の協調、2)独立した2Dモニターから画像を観察する必要がない、3)拡張現実と物理的現実との一致性の利点を有する。いくつかのアプリケーションに対して、特に光学シースルーデバイス(OSD)に対してホログラフィックコンテンツの改良された3D可視化を提供することができる。OSDに対して、ホログラムを可視化するための品質はその背景により決定され、且ついくつかの場合に患者への投影が最適でない場合がある。
【0054】
患者に投影されたホログラムは(例えば、患者の前/上方の空間に)平行移動されて一箇所に(2倍に)スケーリングされてもよく、該箇所は改良された背景を有し、又は、1)装置とマルチモードホログラムとの位置合わせ、2)装置を目標にナビゲーションする目と手の協調を維持すると同時に、より快適になる。ホログラムがスケーリング・平行移動される場合、目と手の協調が維持されるが、ホログラムが患者に投影される時のように関連しない。ホログラムは物理的解剖学的構造に対して回転され得るが、目と手の協調を更に関連付けないようにする。例えば、ホログラフィック超音波平面は操作者の観察方向に従って回転され、つまり常に操作者に向かってもよい。これは目と手の協調を破壊するが、操作者は2Dディスプレイが固定位置に位置する場合に前記ディスプレイを繰り返し見ることに邪魔する。
【0055】
操作者は任意選択でスケールアップ/平行移動/回転したビューと患者の投影とを繰り返し切り換えることができる。これはヘッドマウントディスプレイ(例えば、ホログラフィックダッシュボード)上の音声命令又は他の入力を利用して実施してもよい。
【0056】
アンスケールホログラフィック超音波平面の深さの調節
超音波装置の深さ調節ノブは画像のスケールを制御・変更する。深さを(例えば、8cmまで)増加すると、超音波画像がスケーリングされ2Dモニターに表示されて、画像の垂直長さ(例えば、1024ピクセル)を8cmに対応する。従って、本明細書に使用されるキャプチャされたフレーム画像も8cmの深さに対応する。このような場合、深さを調節することによりHUPをスケーリングしなければならない。
【0057】
これはヘッドマウントディスプレイ上の音声命令に基づいて行ってもよい。操作者は他の用語(例えば、「8」又は「10」)の深さを指定して深さの設定を指定してもよい。ホログラフィックが患者に投影される場合、HUPのスケール及び物理フィールドを維持する(同一スケール要素を仮定する)。
【0058】
ホログラフィック画像平面の物理的トランスデューサへの較正
超音波トランスデューサに対してホログラフィック超音波平面HUPを位置特定するために、製造中に調節可能な6自由度変換を提供することができ、HUPを物理的トランスデューサから正確に拡張させる。6つのスライドバーの入力は変換を交互に決定することに用いられてもよい。スライドバーからの変換は超音波アレイの中心先端を位置特定することに用いられる。3軸回転及び3軸平行移動の調節を行うようにホログラフィックラインでHUPを描く。各トランスデューサタイプ及びメーカーのために追跡されたトランスデューサの6自由度変換を記憶することができる。超音波画像が超音波プローブに対応するものに変換される。
【0059】
ホログラフィックCT及び超音波可視化のため方法
HUPと3D CTとを組み合わせる場合、CTホログラム(分離に基づく)結果はHUP上のエコー病変(VIDEO:SCALE UP ADJ CT)を潜在的にファジーにする恐れがある。これは、透明材料をCTに基づくホログラム(例えば、腫瘍、器官及び血管)に使用することで防止できる。他の方法としては、表面をワイヤフレームシェーダーに投影し、CTホログラムに一致するようにエコー病変を観察することを可能にする。別の方法としては、HUP上のエコー特徴を観察するよう、CTに基づくホログラムを開いたり、閉じたりする。
【0060】
以上の説明によれば、当業者が改良、変更や修正を理解するであろう。このような改良、変更や修正は当業者の技術の範囲内であり、且つ添付の特許請求の範囲によって保護されるものであることが意図されている。本明細書に援用されるすべての特許、特許出願及び公報の全内容は、いずれも参照により本明細書に援用される。