特表 2023-548773 自動セグメンテーション及びレジストレーション・システム並びに方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-21

(54)【発明の名称】自動セグメンテーション及びレジストレーション・システム並びに方法

(51)【国際特許分類】

   A61B 6/00 20060101AFI20231114BHJP

   A61B 8/14 20060101ALI20231114BHJP

   A61B 6/03 20060101ALI20231114BHJP

   A61B 34/10 20160101ALI20231114BHJP

【ＦＩ】

A61B6/00 360B

A61B8/14

A61B6/03 360Q

A61B6/03 377

A61B6/00 370

A61B34/10

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023522762

(86)(22)【出願日】2021-10-20

(85)【翻訳文提出日】2023-05-22

(86)【国際出願番号】 US2021055754

(87)【国際公開番号】W WO2022087070

(87)【国際公開日】2022-04-28

(31)【優先権主張番号】63/093,904

(32)【優先日】2020-10-20

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522215584

【氏名又は名称】メディビュー エックスアール、インコーポレイテッド

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】ブラック、ジョン

【テーマコード（参考）】

4C093

4C601

【Ｆターム（参考）】

4C093AA01

4C093AA22

4C093FF35

4C093FF37

4C093FF41

4C601EE04

4C601JC20

4C601LL33

(57)【要約】

医療処置を行うためのホログラフィック拡張現実可視化及びガイダンス・システム１００は、使用者に手術情報１５４を表示するための拡張現実システム１０２を含む。手術情報１５４は、解剖学的構造１９６の術前データ１５８と、術中データ１６０と、融合データ１６２とを含むことができる。コンピュータ・システム１０６は、拡張現実システム１０２と通信しており、術前データ１５８と術中データ１６０とをマージすることによって、融合データ１６２を選択的に生成し、術前データ１５８と術中データ１６０との間の差異によって解剖学的構造１９６の変形を識別し、手術情報１５４を拡張現実システム１０２に送信し、変形エンジン１５０に従って解剖学的構造１９６の変形をリアルタイムで補正するように構成されている。

【特許請求の範囲】

【請求項1】

使用者が被術者の解剖学的構造に医療処置を行うためのホログラフィック拡張現実可視化及びガイダンス・システムであって、
複数の手術情報を前記使用者に示すように構成された拡張現実システムであり、前記複数の手術情報が、前記解剖学的構造の術前データ、前記解剖学的構造の術中データ、及び前記解剖学的構造の融合データのうちの少なくとも１つを含む、拡張現実システムと、
前記拡張現実システムと通信しているコンピュータ・システムであって、変形エンジンを有するコンピュータ・システムと、
を含み、
前記コンピュータ・システムが、前記術前データ及び前記術中データをマージすることによって、前記融合データを選択的に生成し、前記術前データと前記術中データとの間の差異によって前記解剖学的構造の変形を識別し、前記融合データを含む前記複数の手術情報を前記拡張現実システムに送信し、前記変形エンジンに従って前記解剖学的構造の前記変形をリアルタイムで補正する、ホログラフィック拡張現実可視化及びガイダンス・システム。

【請求項2】

前記変形エンジンは、前記コンピュータ・システムが前記複数の手術情報を前記拡張現実システムに送信する前に、人工知能及び機械学習を通して、前記術前データを前記術中データと整合することによって、前記解剖学的構造の前記変形を自動的に補正する、請求項１に記載のシステム。

【請求項3】

前記変形エンジンは、使用者が前記術前データを前記術中データと手動で整合できるようにすることによって、前記解剖学的構造の前記変形を手動で補正する、請求項１に記載のシステム。

【請求項4】

前記コンピュータ・システムが、前記解剖学的構造の特性に基づいて前記術前データに上限境界条件及び下限境界条件を設定するように構成されたグラフィックス及び物理エンジンを含む、請求項１に記載のシステム。

【請求項5】

前記コンピュータ・システムが、前記術前データ上に前記術中データを重ね合わせることによって前記融合データを生成する、請求項１に記載のシステム。

【請求項6】

前記コンピュータ・システムが、前記術中データ上に前記術前データを重ね合わせることによって前記融合データを生成する、請求項１に記載のシステム。

【請求項7】

使用者が患者に医療処置を行う際のホログラフィック拡張現実可視化及びガイダンスのための方法であって、
拡張現実環境における前記患者の複数の手術情報を表示するように構成された拡張現実システムと、第１のホログラフィック画像取得システムと、第２のホログラフィック画像取得システムと、変形エンジンを有するコンピュータ・システムとを有するシステムを提供するステップと、
前記第１のホログラフィック画像取得システムによって、前記患者から術前データを取得するステップと、
前記第２のホログラフィック画像取得システムによって、前記患者から術中データを取得するステップと、
前記術前データを前記複数の手術情報に選択的に登録するステップと、
前記術中データを前記複数の手術情報に選択的に登録するステップと、
前記コンピュータ・システムによって融合データを選択的に生成するステップと、
前記術前データが前記術中データと整合しない前記変形エンジンに従って、前記術前データを選択的に調整するステップと、
前記コンピュータ・システムによって、前記複数の手術情報を前記拡張現実システムに送信するステップと、
前記拡張現実システムによって前記術中データを選択的に表示し、前記術中データにより、使用者が患者の身体をナビゲートすることが可能になるステップと、
前記拡張現実システムによって前記術前データを選択的に表示し、前記術中データにより、前記使用者が前記患者の前記身体をナビゲートすることが実質的に可能にならないステップと、
前記拡張現実システムによって前記融合データを選択的に表示し、前記術前データ及び前記術中データの両方により、前記使用者が前記患者の前記身体をナビゲートすることが可能になるステップと、
前記使用者によって、前記複数の手術情報をリアルタイムで選択的に調整するステップと
を含む、方法。

【請求項8】

前記第１のホログラフィック画像取得システムが、コンピュータ断層撮影（ＣＴ）装置、コーン・ビーム・コンピュータ断層撮影（ＣＢＣＴ）装置、磁気共鳴撮像（ＭＲＩ）装置、透過Ｘ線撮影装置、陽電子放出断層撮影法（ＰＥＴ）装置、容積式超音波及びＸ線透視システム、並びに、それらの組合せから成るグループから選択される、請求項７に記載の方法。

【請求項9】

前記第２のホログラフィック画像取得システムが、一般的な超音波、経食道超音波、内視鏡超音波、ポイント・オブ・ケア超音波、超音波心エコー図（ＥＣＧ）撮像装置、Ｘ線透視装置、経胸壁心エコー図（ＴＴＥ）、経食道心エコー図（ＴＥＥ）、心臓内心エコー図（ＩＣＥ）、及び、それらの組合せから成るグループから選択される、請求項７に記載の方法。

【請求項10】

前記コンピュータ・システムが、前記術前データの特性に基づいて前記術前データに上限境界条件及び下限境界条件を設定するように構成されたグラフィックス及び物理エンジンを含む、請求項７に記載の方法。

【請求項11】

使用者が患者に医療処置を行う際のホログラフィック拡張現実可視化及びガイダンスのための方法であって、
コンピュータ・システムを提供するステップと、
前記患者の解剖学的構造の術前データを取り込むステップと、
前記医療処置中にプローブによって前記患者の前記解剖学的構造の術中データを取り込むステップと、
前記術前データと前記術中データとを相互参照するステップと、
前記医療処置中に、前記術前データをリアルタイムでセグメント化するステップと、
前記医療処置中に、前記コンピュータ・システムによって、前記セグメント化された術前データ及び前記術中データをリアルタイムで登録するステップと、
前記登録ステップに続いて、前記コンピュータ・システムによって、前記セグメント化された術前データ及び前記術中データをリアルタイムで拡張現実システムに送信するステップと、
前記医療処置中に、前記拡張現実システムによって、前記送信されたセグメント化された術前データ及び前記術中データをリアルタイムで表示するステップと
を含む、方法。

【請求項12】

前記コンピュータ・システムによって、前記術前データ内の前記解剖学的構造のプロファイルの変形を識別するステップをさらに含む、請求項１１に記載の方法。

【請求項13】

前記コンピュータ・システムが、人工知能及び機械学習を通して前記術前データを前記術中データと整合することによって、前記解剖学的構造の前記識別された変形を自動的に補正するように構成された変形エンジンを含む、請求項１２に記載の方法。

【請求項14】

前記コンピュータ・システムは、前記使用者が前記術前データを前記術中データと手動で整合させることを可能にするように構成された変形エンジンを含む、請求項１２に記載の方法。

【請求項15】

前記コンピュータ・システムが、前記解剖学的構造の特性に基づいて前記術前データに上限境界条件及び下限境界条件を設定するように構成されたグラフィックス及び物理エンジンを含む、請求項１２に記載の方法。

【請求項16】

前記コンピュータ・システムが、前記上限境界条件及び下限境界条件内で、使用者が前記術前データを前記術中データと手動で整合させることを可能にすることによって、前記解剖学的構造の前記識別された変形を調整するように構成された変形エンジンを含む、請求項１５に記載の方法。

【請求項17】

前記術前データを取り込むステップが、コンピュータ断層撮影画像データを取り込むステップを含む、請求項１１に記載の方法。

【請求項18】

前記術前データと前記術中データとの間の差異を識別するために、前記術中データを前記術前データ上に重ね合わせるステップをさらに含む、請求項１１に記載の方法。

【請求項19】

前記術前データと前記術中データとの間の差異を識別するために、前記術前データを前記術中データ上に重ね合わせるステップをさらに含む、請求項１１に記載の方法。

【請求項20】

前記術中データを取り込むステップは、超音波画像を取り込むステップを含む、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２０年１０月２０日に出願された、米国特許仮出願第６３／０９３，９０４号の優先権及び利益を主張する。上記の出願の開示は、参照により本明細書に組み込まれる。

【0002】

本開示は、拡張現実の適用例に関し、より詳細には、拡張現実を採用する医療適用例に関する。

【背景技術】

【0003】

このセクションは、必ずしも従来技術とは限らない、本開示に関係する背景情報を提供する。

【0004】

画像誘導式手術は、患者の解剖学的部位についてさまざまな医療処置を行うための標準的技法になっている。画像誘導式手術は、医療行為者などの使用者を援助するために、術中データを術前データと視覚的に相関させることができる。画像誘導式手術の使用は、これらの処置の安全性及び成功率を高めることができる。画像誘導式手術は、拡張現実技術を使用することによって、さらに強化することができる。拡張現実は、現実世界に存在する１つ又は複数の機能がコンピュータにより生成された知覚情報によって、場合によっては、複数の感覚モダリティを越えて強化される現実世界環境のインタラクティブ体験を含むことができる。医療現場では、これらの拡張現実技術は、患者の治療環境における現実環境を強化するのに有用であり得る。例えば、使用者は、医療処置を行っている間、視線を変える必要なく、患者の同じ視野内でコンテンツ固有の情報を見ることができる。

【0005】

医用画像セグメンテーション技術は、診断、治療計画、インターベンション計画、及び経過観察からの臨床画像ワークフローをサポートするために使用することができる。解剖学的対象物又は構造のセグメンテーションは、モーション・トラッキング、診断及び定量化などの多くの医用画像の業務に必要である。医用画像レジストレーションは、コンピュータ断層撮影（ＣＴ：ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）、コーン・ビーム・コンピュータ断層撮影（ＣＢＣＴ：ｃｏｎｅ ｂｅａｍ ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）、磁気共鳴撮像（ＭＲＩ：ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）システム、陽電子放出断層撮影（ＰＥＴ：ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ）、及び、Ｘ線透視撮像など、さまざまな医用画像モダリティで解剖学的対象物又は構造を検出するために使用される。

【0006】

超音波システムは、リアルタイムの撮像部品を提供することができる。しかしながら、構造のエコー源性により、重要構造の画質が悪くなる可能性がある。最新の超音波撮像では、臨床画像の品質は、インターベンショナルな処置のための正確な診断及びナビゲーションのために重要である。エコー源性は、エコーを跳ね返すための、例えば、超音波検査で信号を返すための構造の能力である。音響エコーを跳ね返す面が、増加した音波を反射するときに、エコー源性は、より高くなる。より高いエコー源性を有する組織は、「超エコー源性（ｈｙｐｅｒｅｃｈｏｇｅｎｉｃ）」と呼ばれ、通常は、超音波画像では、より明るい色で表される。対照的に、より低いエコー源性を有する組織は、「低エコー源性（ｈｙｐｏｅｃｈｏｇｅｎｉｃ）」と呼ばれ、通常は、より暗い色で表される。エコー源性のない領域は「無エコー源性（ａｎｅｃｈｏｇｅｎｉｃ）」と呼ばれ、通常は、完全に暗く表示される。

【0007】

望ましくないことに、構造のエコー源性は、医療処置中の重要構造及び／又は死角の撮像が不十分になる可能性がある。さらに、妨害構造のせいで、シャドウイングや、使用者が超音波プローブの正しい角度を得ることができないことなどの他の要因により、医療処置中に、他の問題の中でもとりわけ画質が低下する可能性がある。既知の解決策の１つは、他のイメージング・モダリティから術前画像を取得することである。しかしながら、術前画像に頼ると、超音波などの術中画像の利点が失われる可能性がある。使用者は、術前画像及び術中画像の両方を使用することを選択できるが、異なる画像間を行ったり来たりすることは困難であり、時間がかかる場合がある。さらに、身体の特定の解剖学的構造は、多数の異なる要因により、経時的に変形又は変化し得る。望ましくないことに、術前画像が取り込まれた後に変形又は変化する解剖学的構造により、術中画像は、術前画像とは異なって見えることがある。

【0008】

シャドウイングを生成するか、又は超音波プローブの角度化を阻害する低エコー源性構造又は妨害構造などのリアルタイムの撮像制限に不利に影響するかもしれない医療処置を行うために、可視化及びガイダンス・システム並びに方法が、引き続き必要とされている。望ましくは、そのシステム及び方法は、変形可能な解剖学的構造に合わせて調整することができる。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】米国特許出願公開第２０１８／０３０３５６３号

【特許文献2】米国特許出願第１７／１１０，９９１号

【特許文献3】米国特許出願第１７／１１７，８４１号

【発明の概要】

【課題を解決するための手段】

【0010】

本開示によれば、術前画像が取り込まれた後に変形又は変化したセグメント化された解剖学的構造の変形補正を可能にし、画質を向上させる、使用者が患者に医療処置を行う際のホログラフィック拡張現実可視化及びガイダンスのためのシステム及び方法が、驚くべきことに発見された。

【0011】

ある実施例では、医療処置を行うためのホログラフィック拡張現実可視化及びガイダンス・システムは、使用者に手術情報を表示するための拡張現実システムを含む。手術情報は、解剖学的構造の術前データと、術中データと、融合データとを含み得る。コンピュータ・システムは、拡張現実システムと通信しており、術前データと術中データとをマージすることによって融合データを選択的に生成し、術前データと術中データとの間の差異によって解剖学的構造の変形を識別し、手術情報を拡張現実システムに送信し、変形エンジンに従って解剖学的構造の変形をリアルタイムで補正するように構成される。

【0012】

一実例では、変形エンジンは、コンピュータ・システムが複数の手術情報を拡張現実システムに送信する前に、人工知能及び機械学習を通して術前データを術中データと整合させることによって、解剖学的構造の変形を自動的に補正する。別の実例では、変形エンジンは、使用者が手動で術前データを術中データと整合させるのを可能にすることによって、解剖学的構造の変形を手動で補正する。他のさまざまな実例では、コンピュータ・システムは、解剖学的構造の特性に基づいて術前データに上限境界条件及び下限境界条件を設定するように構成されたグラフィックス及び物理エンジンを含む。コンピュータ・システムは、術前データに術中データを重ね合わせるか、又は、術中データに術前データを重ね合わせることによって融合データを生成することができる。

【0013】

別の実施例では、使用者が患者に医療処置を行う際のホログラフィック拡張現実可視化及びガイダンスのための方法は、拡張現実環境における患者の複数の手術情報を表示するように構成された拡張現実システムと、第１のホログラフィック画像取得システムと、第２のホログラフィック画像取得システムと、変形エンジンを有するコンピュータ・システムとを有するシステムを提供することを含む。患者からの術前データは、第１のホログラフィック画像取得システムによって取得することができる。患者からの術中データは、第２のホログラフィック画像取得システムによって取得することができる。複数の手術情報に術前データを選択的に登録することができる。複数の手術情報に術中データを選択的に登録することができる。融合データは、コンピュータ・システムによって選択的に生成することができる。術前データは、変形エンジンに従って選択的に調整することができ、変形エンジンでは、術前データは術中データと整合しない。複数の手術情報は、コンピュータ・システムによって拡張現実システムに送信することができる。術中データは、拡張現実システムによって選択的に表示することができ、そこでは、術中データによって、使用者は患者の身体をナビゲートすることが可能になる。術前データは、拡張現実システムによって選択的に表示することができ、そこでは、術中データによって、使用者は実質的に患者の身体をナビゲートすることができない。融合データは、拡張現実システムによって選択的に表示することができ、そこでは、術前データと術中データとの両方によって、使用者は患者の身体をナビゲートすることが可能になる。複数の手術情報は、リアルタイムで、使用者によって選択的に調整され得る。

【0014】

本明細書で提供されるシステム及び方法は、さまざまな態様を含むことができる。ある実施例では、第１のホログラフィック画像取得システムは、コンピュータ断層撮影（ＣＴ）
装置、コーン・ビーム・コンピュータ断層撮影（ＣＢＣＴ）装置、磁気共鳴撮像（ＭＲＩ）装置、保護Ｘ線撮影装置、陽電子放出断層撮影（ＰＥＴ）装置、及び、Ｘ線透視システム、並びに、それらの組合せから成るグループから選択することができる。ある実施例では、第２のホログラフィック画像取得システムは、一般的な超音波、経食道超音波、内視鏡超音波、ポイント・オブ・ケア超音波、超音波心エコー図（ＥＣＧ：ｅｃｈｏｃａｒｄｉｏｇｒａｍ）撮像装置、Ｘ線透視装置、経胸壁心エコー図（ＴＴＥ：ｔｒａｎｓｔｈｏｒａｃｉｃ ｅｃｈｏｃａｒｄｉｏｇｒａｍ）、経食道心エコー図（ＴＥＥ：ｔｒａｎｓｅｓｏｐｈａｇｅａｌ ｅｃｈｏｃａｒｄｉｏｇｒａｍ）、心臓内心エコー図（ＩＣＥ：ｉｎｔｒａｃａｒｄｉａｃ ｅｃｈｏｃａｒｄｉｏｇｒａｍ）、及び、それらの組合せから成るグループから選択することができる。ある実施例では、コンピュータ・システムは、術前データの特性に基づいて術前データに上限境界条件及び下限境界条件を設定するように構成されたグラフィックス及び物理エンジンを含むことができる。

【0015】

別の実施例では、使用者が患者に医療処置を行う際のホログラフィック拡張現実可視化及びガイダンスのための方法は、コンピュータ・システムを提供するステップと、患者の解剖学的構造の術前データを取り込むステップと、医療処置中にプローブを用いて患者の解剖学的構造の術中データを取り込むステップとを含む。術前データ及び術中データは、相互参照され得る。次に、術前データは、医療処置中にリアルタイムでセグメント化され、その後、セグメント化された術前データ及び術中データは、医療処置中にリアルタイムでコンピュータ・システムによって登録される。次に、セグメント化された術前データ及び術中データは、コンピュータ・システムによって、リアルタイムで拡張現実システムに送信される。術前データ及び術中データは、医療処置中に、リアルタイムで拡張現実システムによって表示される。

【0016】

本明細書で提供されるシステム及び方法は、さまざまな態様を含むことができる。ある実施例では、方法は、コンピュータ・システムによって、術前データにおける解剖学的構造のプロファイルの変形を識別するステップを含むことができる。ある実施例では、コンピュータ・システムは、人工知能及び機械学習を通して術前データと術中データとを整合させることによって、解剖学的構造の識別された変形を自動的に補正するように構成された変形エンジンを含むことができる。或いは、変形エンジンは、使用者が手動で術前データを術中データと整合させることを可能にするように構成される。ある実施例では、コンピュータ・システムは、解剖学的構造の特性に基づいて術前データに上限境界条件及び下限境界条件を設定するように構成されたグラフィックス及び物理エンジンを含む。ある実施例では、コンピュータ・システムは、上限境界条件及び下限境界条件内で、使用者が手動で術前データを術中データと整合させることを可能にすることによって解剖学的構造の識別された変形を調整するように構成された変形エンジンを含む。ある実施例では、術前データを取り込むステップは、コンピュータ断層撮影画像データを取り込むステップを含むことができ、及び／又は、術中データを取り込むステップは、超音波画像を取り込むステップを含むことができる。この方法は、術前データと術中データとの間で起こり得る変化を識別するために、術前データに術中データを重ね合わせるステップ、及び／又は、術前データと術中データとの間で起こり得る変化を識別するために術中データに術前データを重ね合わせるステップを含むことができる。

【0017】

適用可能なさらなる領域は、本明細書で提供される説明から明らかになるであろう。説明及び特定の実例は、例示のみを目的とすることを意図しており、本開示の範囲を限定することを意図していないことを理解されたい。

【0018】

本明細書に記載の図面は、選択された実施例の例示の目的のみを意図しており、すべての可能な実施形態ではなく、本開示の範囲を限定することを意図していない。

【図面の簡単な説明】

【0019】

【図1】本開示のある実施例による、拡張現実システム、撮像システム、測定システム、及びコンピュータ・システムを示す、システムの概略図である。

【図2】本開示による追跡対象器具の概略図である。

【図3】本開示によるヘッドマウント・デバイスの側面図である。

【図4a】本開示による自動セグメンテーション及びレジストレーション・プロセスを概略的に示す。

【図4b】本開示による自動セグメンテーション及びレジストレーション・プロセスを概略的に示す。

【図4c】本開示による自動セグメンテーション及びレジストレーション・プロセスを概略的に示す。

【図5】本開示による術中データに重ね合わされた術前データを概略的に示す。

【図6】ある実施例による、拡張現実環境内で表示される融合データを示す、動作中のシステムを概略的に示す。

【図7】本開示による術前データに重ね合わされた術中データを概略的に示す。

【図8】自動セグメンテーション及びレジストレーションのためのシステムを使用する方法を示すフローチャートである。

【発明を実施するための形態】

【0020】

以下の技術の説明は、１つ又は複数の発明の主題、製造及び使用の性質上、例示的なものに過ぎず、本出願において、若しくは、本出願に対する優先権を主張する出願済みであり得るような他の出願において、又は、そこから発行された特許において主張される任意の特定の発明の範囲、適用例、若しくは使用を限定する意図はない。開示される方法に関して、提示されるステップの順序は、本質的に例示的であり、したがって、あるステップが同時に実施され得る場合を含めて、ステップの順序は、さまざまな実施例において異なっていてもよい。本明細書で使用される「１つの（ａ）」及び「１つの（ａｎ）」という用語は、そのアイテムが「少なくとも１つ」存在することを示し、可能な場合、複数のそのようなアイテムが存在し得る。別段に明確に示された場合を除いて、この説明におけるすべての数量は、「約（ａｂｏｕｔ）」という語によって修飾されるものと理解されるべきであり、すべての幾何学的及び空間記述語は、技術の最も広い範囲を説明する際に、「実質的に」という語によって修飾されるものと理解されるべきである。「約」という用語は、数値に適用されたとき、計算又は測定が、（値の正確さへのある程度の接近、値に近似的に又は合理的に近い、ほぼを伴う）値の何らかのわずかな不正確さを許容することを示す。何らかの理由で、「約」及び／又は「実質的に」によって提供される不正確さが、この通常の意味を用いて当技術分野において別段に理解されない場合、本明細書で使用される「約」及び／又は「実質的に」は、測定の通常の方法から又はそのようなパラメータを使用して生じ得る変形形態を少なくとも示す。

【0021】

含む（ｉｎｃｌｕｄｉｎｇ）、含んでいる（ｃｏｎｔａｉｎｉｎｇ）、又は有する（ｈａｖｉｎｇ）などの非限定的用語の類義語として、「備える（ｃｏｍｐｒｉｓｉｎｇ）」というオープンエンドの用語が、本技術の実施例を説明及び主張するために本明細書で使用されるが、実施例は、代替的に「から成る（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」又は「から主として成る（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」などのより限定的な用語を使用して説明され得る。これにより、材料、構成要素、又はプロセス・ステップを具陳する所与の実施例について、本技術は、具体的に、そのような追加の材料、構成要素又はプロセスが、本出願において明示的に具陳されないにもかかわらず、（それらから成るための）追加の材料、構成要素又はプロセスを除く、及び（それらから主として成るための）実施例の重大な性質に影響を及ぼす追加の材料、構成要素又はプロセスを除くそのような材料、構成要素、又はプロセス・ステップから成る又はそれらから主として成る実施例をも含む。

【0022】

範囲の開示は、別段に規定されていない限り、終了点を含み、範囲全体内のすべての別個の値及びさらなる分割された範囲を含む。これにより、例えば、「ＡからＢまで」又は「約Ａから約Ｂまで」の範囲は、Ａ及びＢを含む。（量、重量パーセンテージなど）特定のパラメータのための値及び値の範囲の開示は、本明細書で有用な他の値及び値の範囲を排除するものではない。所与のパラメータのための２つ以上の特定の例示された値は、パラメータのために主張され得る値の範囲のための終了点を定義し得ることが想定される。例えば、パラメータＸが、値Ａを有するように本明細書で例示され、値Ｚを有するようにも例示された場合、パラメータＸは、約Ａから約Ｚまでの値の範囲を有し得ることが想定される。同様に、パラメータのための値の２つ以上の範囲の開示は（そのような範囲が、入れ子になっているのか、重複しているのか、別個であるのかにかかわらず）、開示される範囲の終了点を使用して主張され得る値のための範囲のすべての可能な組合せを包括することが想定される。例えば、パラメータＸが、１～１０、若しくは２～９、又は３～８の範囲内の値を有すると本明細書で例示された場合、パラメータＸは、１～９、１～８、１～３、１～２、２～１０、２～８、２～３、３～１０、３～９などを含む値の他の範囲を有し得ることも想定される。

【0023】

要素又は層が、別の要素若しくは層「の上にある（ｏｎ）」か、それ「に係合される（ｅｎｇａｇｅｄ ｔｏ）」か、それ「に接続される（ｃｏｎｎｅｃｔｅｄ ｔｏ）」か、又はそれ「に結合される（ｃｏｕｐｌｅｄ ｔｏ）」といわれるとき、要素若しくは層は、直接的に別の要素若しくは層の上にあるか、それに係合されるか、それに接続されるか、又はそれに結合され得るか、或いは介在要素又は層が存在し得る。対照的に、要素が、別の要素若しくは層「の直接上にある（ｄｉｒｅｃｔｌｙ ｏｎ）」か、それ「に直接的に係合される（ｄｉｒｅｃｔｌｙ ｅｎｇａｇｅｄ ｔｏ）」か、それ「に直接的に接続される（ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ ｔｏ）」か、又はそれ「に直接的に結合される（ｄｉｒｅｃｔｌｙ ｃｏｕｐｌｅｄ ｔｏ）」といわれるとき、存在する介入要素又は層がないことがある。要素の間の関係を説明するために使用される他の単語は、同様の方法で解釈されるべきである（例えば、「の間（ｂｅｔｗｅｅｎ）」に対して「直接的に～の間（ｄｉｒｅｃｔｌｙ ｂｅｔｗｅｅｎ）」、「隣接する（ａｄｊａｃｅｎｔ）」に対して「直接的に隣接する（ｄｉｒｅｃｔｌｙ ａｄｊａｃｅｎｔ）」など）。本明細書で使用される「及び／又は」という用語は、関連する列挙されたアイテムのうちの１つ又は複数のありとあらゆる組合せを含む。

【0024】

第１の、第２の、第３のなどという用語は、さまざまな要素、構成要素、領域、層及び／又はセクションを説明するために本明細書で使用され得るが、これらの要素、構成要素、領域、層及び／又はセクションは、これらの用語によって限定されるべきではない。これらの用語は、ある要素、構成要素、領域、層又はセクションを別の領域、層、又はセクションから区別するためにのみ使用することができる。「第１の」、「第２の」などの用語及び他の数値用語は、本明細書で使用されるとき、コンテキストによって明確に示されない限り、配列又は順序を暗示しない。これにより、以下で論じられる第１の要素、構成要素、領域、層、又はセクションは、実例の実施例の教示から逸脱することなく、第２の要素、構成要素、領域、層、又はセクションと呼ばれ得る。

【0025】

「内側（ｉｎｎｅｒ）」、「外側（ｏｕｔｅｒ）」、「の下に（ｂｅｎｅａｔｈ）」、「の下方に（ｂｅｌｏｗ）」、「下側（ｌｏｗｅｒ）」、「の上方に（ａｂｏｖｅ）」、「上側（ｕｐｐｅｒ）」など、空間的相対用語は、図中に図示されているように、ある要素又は特徴の、別の要素又は特徴との関係を説明するために、説明しやすいように本明細書で使用され得る。空間的相対用語は、図中に描かれている配向に加えて、使用中又は動作中のデバイスの異なる配向を包含することを意図し得る。例えば、図中のデバイスがひっくり返された場合、他の要素又は特徴「の下方に」又はそれ「の下に」あると説明された要素は、他の要素又は特徴「の上方に」配向されることになる。これにより、「の下方に」という実例の用語は、上方及び下方の配向の両方を包含することができる。デバイスは、別段に配向される（９０度回転される又は他の配向状態にある）ことがあり、本明細書で使用される空間的相対記述語は、相応に解釈されるべきである。

【0026】

この詳細な説明で引用されている特許、特許出願、及び科学文献を含むすべての文書は、別段の明示的に示されない限り、参照により本明細書に組み込まれる。参照により組み込まれた文書とこの詳細な説明との間に矛盾又は曖昧さが存在する可能性がある場合、本詳細な説明が制御を行う。

【0027】

本明細書で使用される「解剖学的構造」という用語は、神経、血管、腫瘍、結合組織、及び癌性腫瘍と含むことができる。解剖学的構造はまた、本開示の範囲内で、患者の身体内の他の構造を含むことができることを認識されたい。

【0028】

本明細書で使用される「経皮的（ｐｅｒｃｕｔａｎｅｏｕｓ）」という用語は、皮膚を通して作られるか、行われるか、又はもたらされる何らかのものを指す。

【0029】

本明細書で使用される「経皮的医療処置（ｐｅｒｃｕｔａｎｅｏｕｓ ｍｅｄｉｃａｌ ｐｒｏｃｅｄｕｒｅ）」という用語は、内部臓器又は組織が（一般的に外科用メスを用いて）露出される開放式アプローチを使用することによってではなく、皮膚の針穿刺を介して内部臓器又は組織にアクセスすることを指す。

【0030】

本明細書で使用される「非血管」という用語は、「経皮的医療処置」とともに使用されるとき、経皮的にアクセスされる血管系とは別個の被術者の身体の任意の部分に対して実施される医療処置を指す。経皮的医療処置の実例は、生検、組織切除、寒冷療法処置、近接照射療法処置、血管内処置、排液処置、整形外科処置、疼痛管理処置、椎骨形成処置、椎弓根／スクリュー配置処置、ガイドワイヤ配置処置、仙腸関節固定処置、訓練処置などを含むことができる。

【0031】

本明細書で使用される「血管内」という用語は、「経皮的医療処置」とともに使用されるとき、経皮的にアクセスされる血管（又はリンパ系）に対して実施される医療処置を指す。血管内経皮的医療処置の実例は、動脈瘤修復、ステント・グラフト／配置、脈管内人工補綴物の配置、ワイヤの配置、カテーテル法、フィルタ配置、血管形成術などを含むことができる。

【0032】

本明細書で使用される「介入デバイス」又は「追跡対象器具」という用語は、非血管経皮的医療処置中に使用される医療機器を指す。

【0033】

本明細書で使用される「追跡システム」という用語は、動きを受ける１つ又は複数の対象物を観察し、さらなる処理のために追跡座標系における追跡データ（例えば、場所データ、配向データなど）の時間的に順序付けされたシーケンスを供給するために使用される何らかのものを指す。一実例として、追跡システムは、介入デバイスが患者の身体を通って移動するとき、センサコイルを装備した介入デバイスを観察することができる電磁追跡システムであり得る。

【0034】

本明細書で使用される「追跡データ」という用語は、動きを受ける１つ又は複数の対象物の観察に関係する追跡システムによって記録された情報を指す。

【0035】

本明細書で使用される「追跡座標系」という用語は、特定の追跡システムに固有の点又は他の幾何学的要素の位置を決定するために１つ又は複数の数を使用する３Ｄ直交座標系を指す。例えば、追跡座標系は、標準的な３Ｄ直交座標系から回転、スケーリングなどされ得る。

【0036】

本明細書で使用される「ヘッドマウント・デバイス」又は「ヘッドセット」又は「ＨＭＤ」という用語は、１つ又は複数の眼の前に（レンズを含む）１つ又は複数のディスプレイ・オプティクスを有する、頭に装着されるように構成されたディスプレイ・デバイスを指す。これらの用語は、「拡張現実システム」という用語でなお一層一般的に呼ばれる場合があるが、「拡張現実システム」という用語は、頭に装着されるように構成されたディスプレイ・デバイスに限定されないことを認識されたい。いくつかの事例では、ヘッドマウント・デバイスは、非一時的メモリ及び処理ユニットをも含むことができる。好適なヘッドマウント・デバイスの実例は、Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ（登録商標）である。

【0037】

本明細書で使用される「撮像システム」、「画像取得装置」、「画像取得システム」などという用語は、患者の身体の内部の視覚表現を作成する技術を指す。例えば、撮像システムは、コンピュータ断層撮影（ＣＴ）システム、Ｘ線透視システム、磁気共鳴撮像（ＭＲＩ）システム、超音波（ＵＳ：ｕｌｔｒａｓｏｕｎｄ）システムなどであり得る。

【0038】

本明細書で使用される「座標系」又は「拡張現実システム座標系」という用語は、特定の拡張現実システム、又はそれが属する画像取得システムに固有の点又は他の幾何学的要素の位置を決定するために１つ又は複数の数を使用する３Ｄ直交座標系を指す。例えば、ヘッドセット座標系は、標準的な３Ｄ直交座標系から回転、スケーリングなどされ得る。

【0039】

本明細書で使用される「画像データ」又は「画像データセット」又は「撮像データ」という用語は、患者の身体の内部の観察に関係する撮像システムによって３Ｄに記録された情報を指す。例えば、「画像データ」又は「画像データセット」は、例えば、医療におけるデジタル画像及び通信（ＤＩＣＯＭ：Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）規格又は他の関連する撮像規格に従ってフォーマットされたデータによって表現された、断層画像など、処理された２次元若しくは３次元画像又はモデルを含むことができる。

【0040】

本明細書で使用される「撮像座標系」又は「画像取得システム座標系」という用語は、特定の撮像システムに固有の点又は他の幾何学的要素の位置を決定するために１つ又は複数の数を使用する３Ｄ直交座標系を指す。例えば、撮像座標系は、標準的な３Ｄ直交座標系から回転、スケーリングなどされ得る。

【0041】

本明細書で使用される「ホログラム」、「ホログラフィック」、「ホログラフィック投影」、又は「ホログラフィック表現」という用語は、ヘッドセットのレンズに投影されたコンピュータ生成画像を指す。一般的に、ホログラムは、（拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）において）合成的に生成することができ、物理的現実に関係しない。

【0042】

本明細書で使用される「物理的」という用語は、実在的な何らかのものを指す。物理的である何らかのものは、ホログラフィックではない（又はコンピュータ生成されていない）。

【0043】

本明細書で使用される「２次元」又は「２Ｄ」という用語は、２つの物理的次元で表現された何らかのものを指す。

【0044】

本明細書で使用される「３次元」又は「３Ｄ」という用語は、３つの物理的次元で表現された何らかのものを指す。「４Ｄ」（例えば、３Ｄ＋時間次元及び／又は運動次元）である要素は、３次元又は３Ｄの定義に包含される。

【0045】

本明細書で使用される「統合された」という用語は、２つのものが連結又は協調されていることを指すことができる。例えば、コイルセンサは、介入デバイスと統合され得る。

【0046】

本明細書で使用される「自由度（ｄｅｇｒｅｅ－ｏｆ－ｆｒｅｅｄｏｍ）」又は「ＤＯＦ」という用語は、いくつかの単独で変動するファクタを指す。例えば、追跡システムは、６つの自由度（又は６ＤＯＦ）、すなわち、３Ｄ点及び回転の３次元を有することができる。

【0047】

本明細書で使用される「リアルタイム」という用語は、プロセス又はイベントがその間に起こる実際の時間を指す。言い換えれば、リアルタイム・イベントは、（結果がフィードバックとして直ちに利用可能であるようにミリ秒内で）ライブで行われる。例えば、リアルタイム・イベントは、イベントが起こってから１００ミリ秒以内に表すことができる。

【0048】

本明細書で使用される「被術者」及び「患者」という用語は、互換的に使用され、任意の脊椎動物を指すことができる。

【0049】

本明細書で使用される「レジストレーション」という用語は、追跡データ及び身体画像データを共通座標系に変えるステップと、処置中に物理的な患者の身体に対して画像及び情報のホログラフィック表示を作成するステップとを指し、例えば、Ｗｅｓｔらの米国特許出願公開第２０１８／０３０３５６３号、また出願人の共有の、Ｂｌａｃｋらの米国特許出願第１７／１１０，９９１号及びＭａｒｔｉｎ ＩＩＩらの米国特許出願第１７／１１７，８４１号においてもさらに説明されており、それらの開示全体は、参照により本明細書に組み込まれる。

【0050】

図１を参照すると、使用者が患者の解剖部位に医療処置を行う際のホログラフィック拡張現実可視化及びガイダンスのためのシステム１００は、拡張現実システム１０２、追跡対象器具１０４、コンピュータ・システム１０６、及び第１の画像取得システム１０８を含む。ある実施例では、システム１００は、第２の画像取得システム１１０、変形エンジン１５０、グラフィック及び医薬エンジン１５２、及び／又は複数の手術情報１５４をさらに含み得る。拡張現実システム１０２、追跡対象器具１０４、第１の画像取得システム１０８、及び第２の画像取得システム１１０の各々は、例えば、コンピュータ・ネットワーク１１２を介してコンピュータ・システム１０６と選択的に又は永続的に通信していることがある。システム１００とともに使用するための他の好適な器具、ツール、機器、サブシステムなど、及び、システム１００の構成要素の間の通信の有線及び無線手段を含む他のネットワーク手段も、必要に応じて当業者によって採用され得る。

【0051】

図２を参照すると、追跡対象器具１０４は、追跡対象器具１０４の場所及び配向の両方がコンピュータ・システム１０６によって決定され得るようにセンサ化（ｓｅｎｓｏｒｉｚｅ）された、介入デバイスである。特に、追跡対象器具１０４は、長い可撓管など、細長い本体を有し、複数の部分１１４、１１６、１１８、１２０が、細長い本体の長さに沿って配設され、それらは、各々、複数のセンサ１１５、１１７、１１９、１２１のうちの１つを有することができる。例えば、追跡対象器具１０４は、先端部分１１４、上部部分１１６、中間部分１１８、及び下部部分１２０を有することができる。先端センサ１１５は、追跡対象器具１０４の先端部分１１４に配設され得る。上部部分センサ１１７は、追跡対象器具１０４の上部部分１１６に配設され得る。中間部分センサ１１９は、追跡対象器具１０４の中間部分１１８に配設され得る。下部部分センサ１２１は、追跡対象器具１０４の下部部分１２０に配設され得る。センサ１１５、１１７、１１９、１２１の各々は、コンピュータ・システム１０６と通信しているか、又はその他の方法でコンピュータ・システム１０６によって検出可能である。

【0052】

先端センサ１１５によって提供される追跡は、これが、追跡対象器具１０４のための予め選択された基準点として使用者によって使用され得るので、特に有益であることを認識されたい。予め選択された基準点は、拡張現実システム１０２によって生成され得るホログラフィック光線など、（図１に示されており、「１４２」として本明細書で説明される）軌道ホログラムのためのアンカー固定点となるように構成される。ホログラフィック光線は、本明細書でさらに説明されるように、好ましい経路又は軌道に沿った追跡対象器具１０４の位置合わせ及び移動で使用者を支援し得る。当業者はまた、本開示の範囲内で任意の数の予め選択された基準点を選択し得ることを認識されたい。ある実施例では、予め選択された基準点は、医療処置中に使用者によってリアルタイムで調整することができ、或いは、必要に応じて他のセンサ１１５、１１７、１１９、１２１のうちの１つ又は複数に基づくことができる。

【0053】

ある実例では、センサ１１５、１１７、１１９、１２１は、コンピュータ・システム１０６の部分であり、及び／又は、物理的追跡対象器具１０４の場所及び配向を検出するためにコンピュータ・システム１０６によって使用され得る、電磁（ＥＭ：ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ）追跡システムの部分であり得る。例えば、センサ１１５、１１７、１１９、１２１は、１つ又は複数のセンサコイルを含み得る。コンピュータ・システム１０６は、１つ又は複数のセンサコイルを検出し、検出に応答して（例えば、６つの自由度をもつ）追跡データを提供することができる。例えば、追跡データは、リアルタイム３Ｄ位置データ及びリアルタイム３Ｄ配向データを含むことができる。コンピュータ・システム１０６の追跡システムはまた、位置合わせマーカー又は他の撮像ターゲット上に配置された１つ又は複数のセンサなど、物理的な追跡対象器具１０４又は物理的な介入デバイス上に配置されないコイルセンサを検出することができる。

【0054】

さらに、センサ１１５、１１７、１１９、１２１は、追跡対象器具１０４の角速度及び加速度など、追跡対象器具１０４のさまざまな追加情報を査定するように構成することができる。角速度及び加速度を決定するのに好適なセンサ１１５、１１７、１１９、１２１の非限定的な実例は、加速度計、ジャイロスコープ、電磁センサ、及び光学追跡センサを含む。とりわけ、電磁センサの使用は、見通し線制限がない小さい対象物のより正確なリアルタイムの対象物追跡を可能にする。

【0055】

光学追跡システムなど、他の好適な追跡システムは、拡張現実システム１０２及びコンピュータ・システム１０６と連携して使用され得る。追跡対象器具１０４が、無線で、又は拡張現実システム１０２及びコンピュータ・システム１０６との有線接続を通して、送信によって通信し得る実施例が企図される。当業者は、必要に応じて、混合タイプのセンサ１１５、１１７、１１９、１２１を採用し得ることも認識されたい。

【0056】

追跡対象器具１０４は、以下の態様を含むことができ、その態様は、実施される医療処置のタイプ、患者の解剖部位、及び／又は実施される医療処置の特定のステップに左右され得る。追跡対象器具１０４の非限定的な実例は、カテーテルと、整形外科用ツールと、インプラントを設置、調整、又は除去するために使用されるツールと、切除プローブと、腹腔鏡検査器具及び／又は介入ツールとを含む。当業者は、本開示の範囲内で、所望の処置又は所望の処置の特定のステップに応じて、追跡対象器具１０４のために他の好適な介入デバイスを採用することができる。

【0057】

改めて図１を参照すると、第１の画像取得システム１０８は、患者から第１のホログラフィック画像データセット１２２を取得するように構成され得る。特に、第１の画像取得システム１０８は、手術前に患者から第１のホログラフィック画像データセット１２２を取得するように構成され得る。ある実施例では、第１の画像取得システム１０８は、コンピュータ断層撮影（ＣＴ）装置、コーン・ビーム・コンピュータ断層撮影（ＣＢＣＴ）装置、磁気共鳴撮像（ＭＲＩ）装置、透過Ｘ線撮影装置、陽電子放出断層撮影（ＰＥＴ）装置、並びに、容積式超音波及びＸ線透視システムのうちの１つを含むことができる。第１の画像取得システム１０８のための他の好適なタイプの器具類も、必要に応じて採用され得る。第１の画像取得システム１０８は、同じ又は異なる撮像手段による融合画像を含む複数の画像取得を含むことがさらに可能であり、したがって、第１の画像データセット１２２は、同じ又は異なる撮像手段から複数及び／又は融合画像を含むことができる。

【0058】

同じように、第２の画像取得システム１１０は、患者から第２のホログラフィック画像データセット１２４を取得するように構成され得る。特に、第２の画像取得システム１１０は、手術中に、最も具体的には、処置が着手されているときにリアルタイムで、患者から第２のホログラフィック画像データセット１２４を取得するように構成され得る。ある実施例では、第２の画像取得システム１１０は、一般的な超音波、経食道超音波、内視鏡超音波、ポイント・オブ・ケア超音波、超音波心エコー図（ＥＣＧ）撮像装置、Ｘ線透視装置、及び他のアクティブ又はリアルタイムの撮像システムを含む、１つ又は複数の超音波システムを含むことができる。さらなる実施例は、第２のホログラフィック画像データセット１２４が、経胸壁心エコー図（ＴＴＥ）、経食道心エコー図（ＴＥＥ）、及び心臓内心エコー図（ＩＣＥ）のうちの１つを含む所定のモダリティによって取得され得るものを含む。第２の画像取得システム１１０のための他の好適なタイプの器具類及びモダリティもまた、必要に応じて採用され得る。第２の画像取得システム１１０は、同じ又は異なる撮像手段による融合画像を含む複数の画像取得を含むことがさらに可能であり、したがって、第２の画像データセット１２４は、同じ又は異なる撮像手段から複数及び／又は融合画像を含むことができる。

【0059】

第１の画像取得システム１０８及び第２の画像取得システム１１０の両方の使用が本明細書で示され、説明されるが、第１の画像取得システム１０８及び第２の画像取得システム１１０のうちの一方又は他方のみが採用される実施例が、本開示の範囲内に入ると見なされる。

【0060】

引き続き図１を参照すると、コンピュータ・システム１０６は、ホログラフィック拡張現実可視化及びガイダンスのためのシステム１００の動作に関連する機能を実行するように構成されたプロセッサ１２６を含むことができる。プロセッサ１２６は、１つ又は複数のタイプの汎用又は特定の目的のプロセッサを含むことができる。ある実施例では、複数のプロセッサ１２６が利用され得る。プロセッサ１２６は、非限定的な実例として、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、及びマルチコア・プロセッサ・アーキテクチャに基づくプロセッサのうちの１つ又は複数を含み得る。

【0061】

コンピュータ・システム１０６は、有形で非一時的な機械可読命令１３０を記憶することができるメモリ１２８を含むことができる。メモリ１２８は、１つ又は複数のタイプのメモリを含むことができ、ローカル・アプリケーション環境に適した任意のタイプを含むことができる。実例は、メモリ１２８が、半導体ベースのメモリ・デバイス、磁気メモリ・デバイス及びシステム、光学メモリ・デバイス及びシステム、固定メモリ、並びに取外し可能なメモリなど、揮発性及び／又は不揮発性データ記憶技術のさまざまな実施形態を含み得るものを含む。例えば、メモリ１２８は、ランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読取り専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、磁気ディスク若しくは光ディスクなどのスタティック・ストレージ、ハード・ディスク・ドライブ（ＨＤＤ：ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、又は任意の他のタイプの非一時的機械若しくはコンピュータ可読媒体のうちの１つ又は複数、及び、前述のタイプのメモリの組合せを含むことができる。メモリ１２８に記憶された命令は、プロセッサ１２６によって実行されたとき、システム１００が本明細書で説明されるタスクを実行することを可能にする、プログラム命令又はコンピュータ・プログラム・コードを含むことができる。

【0062】

機械可読命令１３０は、１つ又は複数のさまざまなモジュールを含み得る。このようなモジュールは、機能的論理、ハードウェア論理、電子回路、ソフトウェア・モジュールなどのうちの１つ又は複数として実装され得る。モジュールは、必要に応じて、拡張現実システム・モジュール、画像取得モジュール、器具追跡モジュール、画像データセット登録モジュール、ホログラム・レンダリング・モジュール、画像登録モジュール、軌道ホログラム・レンダリング・モジュール、及び／又は他の好適なモジュールのうちの１つ又は複数を含み得る。

【0063】

コンピュータ・システム１０６は、例えば、ネットワーク１１２を介して、拡張現実システム１０２、追跡対象器具１０４、第１の画像取得システム１０８、及び第２の画像取得システム１１０と通信することができ、本明細書でさらに説明されるように、使用者が患者の解剖部位で医療処置を行う際に、ホログラフィック拡張現実可視化及びガイダンスのためのさまざまな方法に従って動作するように機械可読命令１３０によって構成することができる。コンピュータ・システム１０６は、拡張現実システム１０２とは別々に設けられ、拡張現実システム１０２から離間していることがあるか、又は、必要に応じて単一の一体型ユニットとして拡張現実システム１０２とともに設けられるか、又は、他のシステムと統合することができる。

【0064】

システム１００のネットワーク１１２は、非限定的な実例として、ＬＴＥ若しくは５Ｇなどの無線アクセス・ネットワーク、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、インターネットなどのワイド・エリア・ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、又は無線ＬＡＮ（ＷＬＡＮ：ｗｉｒｅｌｅｓｓ ＬＡＮ）を含む様々な無線及び有線通信ネットワークを含み得ることを認識されたい。このようなネットワークの実例は限定を意図するものではないこと、並びに、本開示の範囲は、システム１００の１つ又は複数のコンピューティング・プラットフォームが、無線及び有線通信ネットワークの組合せを含む、いくつかの他の通信結合を介して動作可能に連結され得る実施形態を含むことが認識されよう。システム１００の１つ又は複数の構成要素及び補助構成要素は、無線又は有線接続を介してネットワーク化された環境と通信するように構成され得る。ある実施例では、１つ又は複数のコンピューティング・プラットフォームは、無線又は有線接続を介して互いに直接的に通信するように構成され得る。さまざまなコンピューティング・プラットフォーム及びネットワーク・デバイスの実例は、スマートフォン、装着可能なデバイス、タブレット、ラップトップ・コンピュータ、デスクトップ・コンピュータ、モノのインターネット（ＩｏＴ：Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）デバイス、又は、スタンドアロン・サーバ、ネットワーク化されたサーバ、若しくはサーバのアレイなどの、他のモバイル若しくは固定デバイスを含み得るが、これらに限定されない。

【0065】

ある実施例では、コンピュータ・システム１０６は、追跡対象器具データセット１３２を提供するために、複数のセンサ１１５、１１７、１１９、１２１を使用して追跡対象器具１０４を追跡するように構成され得る。追跡対象器具データセット１３２は、メモリ１２８を使用して記憶され得る。特に、追跡対象器具データセット１３２は、例えば、物理的空間における追跡対象器具１０４の場所及び配向を含み得る。

【0066】

コンピュータ・システム１０６は、本明細書でも説明されるように、第１の画像取得システム１０８からの第１のホログラフィック画像データセット１２２、及びコンピュータ・システム１０６によって取得された追跡対象器具データセット１３２を、患者とレジストレーションするように構成され得る。

【0067】

図３を参照し、図１を引き続き参照すると、拡張現実システム１０２は、本開示によるシステム１００の動作中に、複数のホログラム１３４、１３６、１３８、１４０、１４２をレンダリングするように構成され得る。特に、拡張現実システム１０２は、複合現実（ＭＲ：ｍｉｘｅｄ ｒｅａｌｉｔｙ）ディスプレイを含むことができる。例えば、ＭＲディスプレイは、図３で示すように、ＭＲスマート・グラス又はＭＲヘッドマウント・ディスプレイ１０３を含み得る。拡張現実システム１０２の非限定的な実例は、Ｍａｇｉｃ Ｌｅａｐ Ｏｎｅ（登録商標）又はＭｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ（登録商標）を含み得る。他のタイプのＭＲディスプレイは、それらが現実世界の対象物上にホログラムを含むコンピュータ生成画像を重ね合わせることが可能である限り、拡張現実システム１０２のために使用され得ることを認識されたい。現実世界の対象物の非限定的な実例は、患者の身体、手術台、又は空きスペースを含む。さらに、拡張現実システム１０２は、ヘッドマウント・ディスプレイ１０３を含むものとして主に説明されるが、ヘッドマウントではないが、ホログラム１３４、１３６、１３８、１４０を生成して現実世界ビューの上にそれらを重ね合わせることが可能である他のタイプのディスプレイが必要に応じて採用されてもよいことを理解されたい。

【0068】

拡張現実システム１０２及びコンピュータ・システム１０６は、単一の構成要素に統合することも、ローカル・ネットワーク１１２を介して通信する別個の構成要素とすることもできる。拡張現実システム１０２が、コンピュータ・システム１０６と統合されていないか、又はコンピュータ・システム１０６を含んでいない事例では、拡張現実システム１０２は、追加の非一時的メモリと、ホログラム１３４、１３６、１３８、１４０、１４２のレンダリング又は生成を補助することができる（１つ又は複数のハードウェア・プロセッサを含み得る）処理ユニットとをさらに含み得ることを認識されたい。拡張現実システム１０２はまた、１つ又は複数の画像を記録するための記録手段若しくはカメラと、ホログラム１３４、１３６、１３８、１４０、１４２の可視化を生成／表示するための１つ又は複数の画像生成構成要素、並びに／又は、他の可視化及び／若しくは記録要素とを含むことができる。同様に、拡張現実システム１０２は、コンピュータ・システム１０６がローカルであるか、拡張現実システム１０２からリモートであるかにかかわらず、１つ又は複数の非拡張ビュー、ホログラム１３４、１３６、１３８、１４０、１４２、及び／又は複合現実ビューの画像、記録、及び／又はビデオを、記憶若しくは記録のためにコンピュータ・システム１０６に送信することができる。

【0069】

ある実施例では、拡張現実システム１０２は、１つ又は複数の位置センサ１４４をも含み得ることを認識されたい。拡張現実システム１０２の１つ又は複数の位置センサ１４４は、拡張現実システム１０２の３次元（３Ｄ：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）空間における近似位置、配向、角速度、及び加速度など、拡張現実システム１０２のためのさまざまな位置情報を決定するように構成され得る。例えば、これは、ホログラフィック像が手術中に使用者の視野内に正確に表示されることを可能にすることを理解されたい。位置センサ１４４の非限定的な実例は、加速度計、ジャイロスコープ、電磁センサ、及び／又は光学追跡センサを含む。当業者は、例えば、拡張現実システム１０２が使用されている処置又は状況によって必要とされる、拡張現実システム１０２の異なるタイプ及び数位置センサ１４４を採用し得ることをさらに認識されたい。

【0070】

図１に示すように、例えば、拡張現実システム１０２によって生成されたホログラム１３４、１３６、１３８、１４０、１４２は、第１のホログラム１３４、追跡対象器具ホログラム１３６、第２のホログラム１３８、アニメーション化されたホログラム１４０、及び軌道ホログラム１４２のうちの１つ又は複数を含み得る。拡張現実システム１０２によって生成された第１のホログラム１３４は、患者からの第１のホログラフィック画像データセット１２２に基づき得る。拡張現実システム１０２によって生成された追跡対象器具ホログラム１３６は、追跡対象器具データセット１３２に基づき得る。拡張現実システム１０２によって生成された第２のホログラム１３８は、第２のホログラフィック画像データセット１２４に基づき得る。アニメーション化されたホログラム１４０は、本明細書で説明されるように、アニメーション化されたホログラム・データセット１４８を提供するための、第２のホログラフィック画像データセット１２４のコンピュータ・システム１０６による処理に基づき得る。軌道ホログラム１４２は、本明細書で説明されるように、手動又は自動のいずれかで選択されてコンピュータ・システム１０６のメモリ１２８に記憶され得る軌道データセット１４６に基づき得る。

【0071】

図４ａ～図７を参照すると、拡張現実システム１０２はまた、複数の手術情報１５４を使用者に示すように構成することができる。コンピュータ・システム１０６は、拡張現実システム１０２と通信することができる。コンピュータ・システム１０６は、使用者及び／又は他の医療従事者による人手によって、又は、メモリ１２８内に符号化された機械可読命令１３０に基づいて自動的に、のいずれかで、手術情報１５４を記憶及び生成するように構成され得る。例えば、手術情報１５４は、アルゴリズム、人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｉｇｅｎｃｅ）プロトコル、又は他の使用者入力データ若しくはしきい値によってなど、追跡対象器具１０４のセンサ決定位置及び／又は配向に応じて拡張現実システム１０２において生成され得る。さらに、コンピュータ・システム１０６は、使用者がリアルタイムで複数の手術情報１５４を選択的に調整することを可能にするようにさらに構成され得る。望ましくは、これにより、どの情報が表示されるかを選択する自由を使用者に与えることができる。例えば、使用者は、軌道ホログラム１４２の位置又は配向を調整することができる。さらに、使用者は、手術情報１５４又はデータのうちのいずれがアクティブに示されているかを決めることができる。手術情報１５４の他の設定及び属性が、本開示の範囲内で、リアルタイムで使用者によって調整され得ることを認識されたい。さらに、当業者は、本開示の範囲内で、コンピュータ・システム１０６内の他の機能を採用することができることを認識されたい。

【0072】

拡張現実システム１０２は、拡張現実システム１０２の周囲の環境の現実世界ビューを取り込むように構成することができる。拡張現実システム１０２は、現実世界ビューを遮断し、複数の手術情報とともに使用者に現実世界ビューを再表示する。複数の手術情報１５４は、現実世界の対象物上に重ね合わされたホログラフィック投影であり得る。現実世界の対象物の非限定的な実例は、患者の身体、手術台、又は空きスペースを含む。複数の手術情報１５４は、本開示の範囲内で、他の現実世界の対象物上に重ね合わせることができることを認識されたい。拡張現実システム１０２は、患者の解剖部位の１つ又は複数の部分、追跡対象器具１０４、若しくはさまざまなホログラム１３４、１３６、１３８、１４０、１４２などのさまざまな現実世界の対象物に隣接して、並びに、現実世界の対象物に重ねられて、又は現実世界の対象物を強調して、使用者の視野内に手術情報１５４を投影することができる。手術情報１５４は、例えば、採用される軌道のためのリアルタイムのナビゲーション命令又はガイダンスを含むことができる。拡張現実システム１０２は、追跡対象器具１０４などのさまざまな現実世界の対象物上、又は追跡対象器具１０４に隣接する領域内、並びに、必要に応じて、レンダリングされたさまざまなホログラム１３４、１３６、１３８、１４０、１４２上に、手術情報１５４を重ね合わせることができる。有利には、そのような手術情報１５４又は詳細の生成により、使用者は、同じ視野内で患者及び複数の手術情報１５４を同時に見ることができる。また、手術情報１５４又は詳細をさまざまなホログラム１３４、１３６、１３８、１４０、１４２とともに生成することにより、使用者は、手術中に、追跡対象器具１０４を計画し、サイズを決め、又は予め方向付けすることができる。

【0073】

図４ａ～図４ｃに示すように、１つの特定の実例では、超音波処置からの超音波画像１５６は、器具１０４、すなわち超音波プローブから放射されるコーンとして直接重ね合わせることができる。有利には、これにより、使用者は、使用者の視野外のモニタに目をやる必要なく、器具１０４と同じ視野内で超音波画像１５６を見ることができる。器具１０４の非限定的な実例は、インプラント、針、超音波プローブ、カテーテル、ステント、機械心臓値、及び生体心臓弁を含む。当業者は、本開示の範囲内で異なるタイプの器具を採用することができることを認識されたい。

【0074】

図４ａ～図４ｃを引き続き参照すると、複数の手術情報１５４は、術前データ１５８、術中データ１６０、及び融合データ１６２のうちの少なくとも１つを有することができる。術前データ１５８は、例えば、第１のホログラフィック画像取得システム１０８と、さまざまなソースから取得、処理、及び／又はコメントされたデータとを使用して、医療処置の前に取得された患者に関する情報を含むことができる。術前データ１５８の実施例は、さまざまな画像、融合画像、コメント付き画像、及び、患者の解剖部位の１つ又は複数のマーカー又はフラグ付きポイント又は部分を含む。術前データ１５８の非限定的な実例は、コンピュータ断層撮影（ＣＴ）画像、コーン・ビーム・コンピュータ断層撮影（ＣＢＣＴ）画像、磁気共鳴撮像（ＭＲＩ）、陽電子放出断層撮影（ＰＥＴ）画像、及び／又は、容積式超音波及びＸ線透視画像に関する静止画像又は記録を含む。術前データ１５８は、必要に応じて、他の診断医療処置、撮像モダリティ、及びモデリング・システムからの情報を含むことができることを認識されたい。

【0075】

術前データ１５８は、以前の医療処置及び／又は撮像で得られた術前データ１５８に基づいて、医療処置中に使用者に参考及びガイドを提供するように構成することができる。拡張現実システム１０２は、患者の身体上に術前データ１５８を表示し、投影された術前データ１５８を位置合わせすることができるので、それは、患者の正しい解剖学的構造と相関し、対応する。望ましくは、これにより、使用者は、患者の身体をナビゲートするための参考として、術前データ１５８を使用することができる。

【0076】

図５を参照すると、術前データ１５８は、術中データ１６０の欠陥により、術前データ１５８のほうがナビゲーション・ガイドに適している場合、表示することができる。例えば、超音波画像１５６が身体の特定の解剖学的構造を検出することができない場合、術前データ１５８は、代わりに、術前データ１５８からの画像を使用して、特定の解剖学的構造を示すように表示することができる。図５に示すように、解剖学的構造は、超音波画像１５６内に妨害領域１６４を形成しており、それによって検出不能な標的解剖学的構造１６６（例えば、肝臓の肝静脈）をレンダリングする。拡張現実システム１０２は、肝臓の肝静脈の術前ＣＴ画像（術前データ１５８）を検索し、低品質のライブ超音波画像ストリーム（術中データ１６０）上に術前画像１５８を重ね合わせ、使用者の視野内にホログラフィック可視化を表示することができる。ホログラフィック可視化は、ライブ超音波画像ストリーム（術中データ１６０）の登録されたホログラフィック投影と一致する追跡対象器具１０４（例えば、介入デバイス）のホログラフィック表現と、ＣＴから得られた肝静脈のホログラフィック画像（術前データ１５８）とを含む。このホログラフィック可視化は、介入デバイス又は追跡対象器具１０４を標的解剖学的構造にナビゲート及びガイドするために使用される。

【0077】

本開示の範囲内で、術前データ１５８が使用者に表示される他の状況があり得ることを認識されたい。さらに、当業者は、必要に応じて、術前データ１５８を表示するために、異なる表面及び空きスペースを選択できることを認識されたい。

【0078】

術中データ１６０は、例えば、第２のホログラフィック画像取得システム１１０を使用して、医療処置中を含むリアルタイムで取得された患者に関する情報及び患者の解剖部位に関する情報を含むことができる。例えば、術前データ１５８に関する診断医療処置は、現在の医療処置と同時に行われ、術中データ１６０としてリアルタイムで収集及び使用され得る。例えば、リアルタイム超音波画像１５６は、取得され、第２のホログラフィック画像取得システム１１０に統合することができ、第２のホログラフィック画像取得システム１１０と連携して、リアルタイムで静的又は移動可能なリアルタイム・ビューを提供することができる。当業者は、必要に応じて、術中データ１６０のために他のソースからの他の情報を採用できることを認識されたい。

【0079】

術中データ１６０は、医療処置中にリアルタイムで取得される、医療処置中の参考情報を使用者に提供するように構成することができる。拡張現実システム１０２は、患者の身体上に術中データ１６０を表示することができる。さらに、拡張現実システム１０２は、投影された術中データ１６０を位置合わせすることができるので、それは、患者の正しい解剖学的構造と相関し、対応する。

【0080】

図７を参照すると、術中データ１６０は、術前画像と、医療処置中に生じる画像との間で生じ得る変化を識別するために、術前データ１５８上に重ね合わせることができる。さらに、術中のデータ１６０は、術中データ１６０のほうがナビゲーション・ガイドに適している場合、表示することができる。例えば、超音波画像１５６は、患者の身体の最新の画像を提供することができる。本開示の範囲内で、術中データ１６０が使用者に表示される他の状況があり得ることを認識されたい。さらに、術中データ１６０は、異なる表面及び空きスペース上に投影することができることを認識されたい。

【0081】

さらに、システム１００は、術前データ１５８と術中データ１６０との間の関係を相関させ、確立することができる。例えば、図７に示すヘム・ライン１６８は、第１の終点１７０と第２の終点１７２との間の測定を可能にする。第１の終点１７０は、超音波画像１５６（術中データ１６０）内に配置され、第２の終点１７２は、ＣＴスキャン（術前データ１５８）内に配置される。望ましくは、これにより、使用者は、術前データ１５８及び術中データ１６０を同時に見ることができるだけでなく、両方のデータ・タイプからの材料を使用して、診断手順を実行することができる。

【0082】

融合データ１６２は、術前データ１５８と術中データ１６０とをマージすることによって生成される静止画像及び記録などの情報を含むことができる。望ましくは、融合データ１６２は、より簡潔で近似した画像及びアニメーションを使用者に提示することができる。融合データ１６２は、本開示の範囲内で他のタイプの情報を含むことができることを認識されたい。

【0083】

融合データ１６２は、術前データ１５８及び術中データ１６０の両方に基づいて、医療処置中に参考情報を使用者に提供するように構成することができる。ある事例では、データの融合は、手動式で実行することができる。別の事例では、コンピュータ・システム１０６は、例えば、機械可読命令１３０に記載された１つ又は複数のアルゴリズムを使用して、又は、人工知能（ＡＩ）を介して、融合データ１６２を生成し、複数の手術情報１５４を拡張現実システム１０２に送信するように構成することができる。いくつかの事例では、これは、有線接続によって行うことができる。他の事例では、これは、無線で行うことができる。コンピュータ・システム１０６は、本開示の範囲内で、他の方法及びプロセスを使用して複数の手術情報１５４を送信することができることを認識されたい。

【0084】

拡張現実システム１０２は、患者の身体上で融合データ１６２を表示することができる。さらに、拡張現実システム１０２は、投影された融合データ１６２を位置合わせすることができるので、それは、患者の正しい解剖学的構造と相関し、対応する。例えば、図７に示すように、拡張現実システム１０２は、融合データ１６２を表示しているので、ＣＴスキャン（術前データ１５８）は、患者の身体上に重ね合わされ、患者の身体に位置合わせされる一方で、超音波画像（術中データ１６０）は、ＣＴスキャン（術前データ１５８）上に課される。他の事例では、融合データ１６２は、術前データ１５８と術中データ１０とを同時に表示するだけである。本開示の範囲内で、融合データ１６２が使用者に表示される他の状況があり得ることを認識されたい。さらに、融合データ１６２は、異なる表面及び空きスペース上に投影することができることを認識されたい。

【0085】

図４ａ～図４ｃを再び参照すると、ホログラフィック拡張現実可視化及びガイダンスのためのシステム１００は、自動セグメンテーション及びレジストレーション・プロセス２００を含む。特に、自動セグメンテーション及びレジストレーション・プロセス２００は、元の術前スキャン（術前データ１５８）を自動的にセグメントに分割し、各セグメントを術前データ１５８に登録することができる。望ましくは、システム１００は、必要に応じて、元の術前スキャン全体の代わりに各セグメントを表示することができる。

【0086】

図４ａを参照すると、自動セグメンテーション及びレジストレーション・プロセス２００は、放射線源１７６を含むＣＢＣＴ撮像システム１７４と、放射線源１７６の反対側に配置された画像検出器１７８とを採用する。放射線源１７６は、ビーム軸に沿って、及びアイソセンタ１８２に向かってＸ線１８０のビームを放出し、それによって放射線源１７６と画像検出器１７８との間に介在する患者１８６の標的体積１８４に放射線を送達する。画像検出器１７８は、標的体積１８４を通過するＸ線１８０を受け取り、受け取ったＸ線１８０に基づいて術前ＣＴスキャン画像を生成する。ＣＴスキャン画像は、患者の標的解剖学的構造のＣＢＣＴホログラフィック表現（術前データ１５８）を生成するために使用される。

【0087】

図４ｂでは、術前ＣＴスキャン画像１５８は、術中データ１６０、例えば、超音波プローブ１８８から放出されるコーンとして重ね合わされる超音波画像１５６を用いて、患者の現在位置と比較される。術前スキャンは、自動的にセグメント１９０に分割される。次に、各セグメントは、術前データ１５８内に登録される。術前スキャンからのセグメント１９０は、訓練データセットを作成して、解剖学的構造をリアルタイムでセグメント化及び登録することができる。一実例では、自動セグメンテーション及びレジストレーション・プロセス２００は、人工知能（ＡＩ）及び機械学習を使用して達成することができる。特に、ＡＩは、訓練データセットからのボクセル・ベースのセグメンテーション及び再構成を含むことができる。特定の閾値は、術前データ１５８からの画像を、術前データ１５８からの画像内の各解剖学的構造に対応するセグメント１９０に分割するために、ＡＩモデルによって決定することができる。解剖学的構造及び病理学的状態は、そのアルゴリズムにおけるその特徴のパターン認識及び調整を通して、正常な状態から識別される。このように、これらのタイプのデータ処理は、ボクセルの特徴付けに基づいて正常な解剖学的構造から異常を識別することができる。自動セグメンテーション及びレジストレーション・プロセス２００は、さらに、超音波プローブ１８８から放出される超音波画像１５６から１つ又は複数の術中画像１６０を取得することができ、術中画像１６０とセグメント１９０とを術前データ１５８内に共に登録することができ、それにより、ＡＩモデルは、新しいセグメント化されたデータセットを構築することができる。

【0088】

図４ｃを参照すると、術前セグメント（術前データ１５８）及び術中画像（術中データ１６０）を共に登録することにより、術前データ１５８及び術中データ１６０をマージして、３Ｄ表現１９２を再構成するためのベースラインを提供する融合データ１６２を生成することができ、３Ｄ表現１９２は、拡張現実システム１０２内で１つ又は複数のホログラムとして投影することができる。

【0089】

図１を再び参照すると、コンピュータ・システム１０６は、医療処置中に患者の身体内の対応する解剖学的構造に術前データ１５８を整合させるように構成された変形エンジン１５０を有することができる。前述のように、コンピュータ・システム１０６は、術前データ１５８と術中データ１６０とをマージすることによって融合データ１６２を選択的に生成し、術前データ１５８と術中データ１６０との間の差異によって解剖学的構造の変形を識別し、融合データ１６２を拡張現実システム１０２に送信することができるように構成することができる。変形エンジン１５０により、人工知能及び機械学習を通して、解剖学的構造の変形をリアルタイムで手動又は自動で補正することができる。変形エンジン１５０は、人工知能及び機械学習を通して、術前データを術中データと整合させることによって、解剖学的構造の変形を自動的に補正することができる。さらに、変形エンジン１５０は、使用者が手動で術前データを術中データと整合させることを可能にすることによって、解剖学的構造の変形を手動で補正する。

【0090】

特に、変形エンジン１５０が無い場合、術前データ１５８は、患者の身体内の解剖学的構造が変形したり、位置を変更したりすることによって、対応する解剖学的構造とずれることがある。解剖学的構造は、術前データ１５８が収集された時点から大幅に変形したり、位置が変わったりする可能性がある。望ましくは、変形エンジン１５０は、セグメント化された術前データ１５８又はセグメント化されていない術前データを含み得る術前データ１５８の位置を、対応する解剖学的構造と整合するように更新する。

【0091】

図６を参照すると、手術中、変形エンジン１５０は、術前データ１５８及び術中データ１６０の座標系をマージする。変形エンジン１５０はまた、基準点１９４として使用される術前データ１５８内の重要な解剖学的構造１９６を識別及び登録する。これは、手動で、又はＡＩを通して、解剖学的構造のエコー源性プロファイルを識別するステップを含む。例えば、組織タイプに関連付けられた特定のボクセルは、ＡＩ及び機械学習を使用して識別及び登録することができる。次いで、変形エンジン１５０は、術中データ１６０におけるこれらの基準点１９４を識別し、その差異を術前データ１５８と比較する。術中データ１６０と術前データ１５８との間の差異は、図６に矢印として表される解剖学的構造の変形及び空間的配置における変化を含むことができる。しかしながら、当業者は、本開示の範囲内で、他の差異を識別することができることを認識されたい。

【0092】

差異が識別されると、変形エンジン１５０は、術前データ１５８を対応する解剖学的構造１９６に位置合わせするために、術前データ１５８を変更、変形又は変化させることによって変形を補正することができる。場合によっては、使用者は、術前データ１５８を対応する解剖学的構造１９６に位置合わせするために、術前データ１５８を手動で変更、変形又は変化させることができる。例えば、変形エンジン１５０により、使用者は、術前データ１５８内の解剖学的構造プロファイル１９８上で識別された各基準点１９４を引っ張って、術中データ１６０内の解剖学的構造１９６上で識別された対応する基準点１９５と整合させることができる。望ましくは、これにより、周囲の重要構造又は標的経路の画像を微細化することができ、その結果、医療処置中の精度が改善することになる。

【0093】

いくつかの実例では、コンピュータ・システム１０６はまた、標準的なグラフィックス及び物理エンジン１５２を含むことができる。標準的なグラフィック及び物理エンジンは、術前データ１５８又は解剖学的構造の特性に基づいて、術前データ１５８に上限境界条件及び下限境界条件を設定することができる。有利には、これにより、術前データ１５８を実質的に歪ませることなく、リアルタイム補正を可能にすることができる。当業者は、必要に応じて、術前データ１５８を操作するために他のグラフィック・エンジン、医薬エンジン、及びシミュレーションを採用することができることを認識されたい。

【0094】

医療処置を行う際のホログラフィック拡張現実可視化及びガイダンスのための方法３００は、図８に示されている。方法３００は、システム１００を提供するステップ３０２を含む。次に、ステップ３０４で、術前データ１５８は、複数の手術情報に選択的に登録することができる。次に、ステップ３０６で、術中データ１６０は、複数の手術情報に選択的に登録することができる。次に、ステップ３０８で、コンピュータ・システム１０６は、融合データ１６２を生成する。前述のように、融合データ１６２は、自動又は手動で生成することができる。次に、術前データ１５８は、ステップ３１０で、変形エンジン１５０に従って選択的に調整することができ、変形エンジン１５０では、術前データ１５８が術中データ１６０と整合しない。次に、ステップ３１２で、コンピュータ・システム１０６は、複数の手術情報１５４を拡張現実システム１０２に送信する。次に、拡張現実システム１０２は、ステップ３１４で、術中データ１６０を選択的に表示し、術中データ１６０によって使用者が患者の身体をナビゲートすることが可能になる。次に、ステップ３１６で、拡張現実システム１０２は、術前データ１５８を選択的に表示し、そこでは、術中データ１６０によって使用者が実質的に患者の身体をナビゲートすることは可能ではない。次に、ステップ３１８で、拡張現実システム１０２は、融合データ１６２を選択的に表示し、そこでは、術前データ１５８及び術中データ１６０の両方により、使用者が患者の身体をナビゲートすることが可能になる。次に、ステップ３２０で、使用者は、複数の手術情報１５４をリアルタイムで選択的に調整することができる。

【0095】

有利には、システム１００及び方法２００、３００は、使用者のために向上された画像を提供することができる。特に、術前データ１５８、術中データ１６０、及び融合データ１６２を含む複数の手術情報は、使用者のために向上された画像を提供することができる。さらに、変形エンジン１５０は、変形可能な解剖学的構造を調整することができる。

【0096】

本発明を説明する目的で特定の代表的な実施例及び詳細を示してきたが、本開示の範囲から逸脱することなく、さまざまな変更を行うことができ、以下の添付の特許請求の範囲にさらに記載されていることは、当業者には明らかであろう。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図4c】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】