特表 2024-540039 超音波プローブの複合現実ガイダンス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-31

(54)【発明の名称】超音波プローブの複合現実ガイダンス

(51)【国際特許分類】

   A61B 8/00 20060101AFI20241024BHJP

   A61B 6/03 20060101ALI20241024BHJP

【ＦＩ】

A61B8/00

A61B6/03 560G

A61B6/03 577

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024525140

(86)(22)【出願日】2022-10-25

(85)【翻訳文提出日】2024-06-21

(86)【国際出願番号】 US2022047772

(87)【国際公開番号】W WO2023076308

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】63/273,008

(32)【優先日】2021-10-28

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521418414

【氏名又は名称】ホウメディカ・オステオニクス・コーポレイション

【氏名又は名称原語表記】Ｈｏｗｍｅｄｉｃａ Ｏｓｔｅｏｎｉｃｓ Ｃｏｒｐ．

【住所又は居所原語表記】３２５ Ｃｏｒｐｏｒａｔｅ Ｄｒｉｖｅ Ｍａｈｗａｈ， ＮＪ ０７４３０， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】シャウィ、ジャン

【テーマコード（参考）】

4C093

4C601

【Ｆターム（参考）】

4C093AA22

4C093AA26

4C093FF42

4C601BB03

4C601DD10

4C601DD14

4C601EE11

4C601GA06

4C601GA18

4C601GA25

4C601JC08

4C601JC15

4C601KK38

4C601KK46

4C601LL33

(57)【要約】

超音波プローブの複合現実（ＭＲ）ガイダンスのための技法及びシステムについて説明する。本システムは、患者の骨を描出する参照データを取得し、超音波プローブの物理的位置を決定し、超音波プローブによって生成された第１の超音波データに基づいて、参照データにおいて描出された患者の骨の仮想位置を患者の骨の対応する物理的位置と位置合わせする位置合わせデータを生成し、参照データ、位置合わせデータ、及び超音波プローブの物理的位置に基づいて仮想ガイダンスを生成し、ここにおいて、仮想ガイダンスは、超音波プローブが患者の軟部組織構造に関する情報を提供する第２の超音波データを生成することができる目標ポジションに対して超音波プローブがどのようにポジショニングされるかに関するガイダンスを臨床医に提供し、ＭＲ可視化デバイスに、仮想ガイダンスを臨床医に出力させることができる。
【選択図】図６

【特許請求の範囲】

【請求項1】

患者の骨を描出する参照データを取得することと、
超音波プローブの物理的位置を決定することと、
前記超音波プローブによって生成された第１の超音波データに基づいて、前記参照データにおいて描出された前記患者の骨の仮想位置を前記患者の骨の対応する物理的位置と位置合わせする位置合わせデータを生成することと、
前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて仮想ガイダンスを生成することと、ここにおいて、前記仮想ガイダンスは、前記超音波プローブが前記患者の軟部組織構造に関する情報を提供する第２の超音波データを生成することができる目標ポジションに対して前記超音波プローブがどのようにポジショニングされるかに関するガイダンスを臨床医に提供し、
頭部装着型複合現実（ＭＲ）可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることと、
を備える、方法。

【請求項2】

前記超音波プローブの前記物理的位置は、前記超音波プローブが前記第１の超音波データを生成した物理的位置であり、
前記位置合わせデータを生成することは、
前記第１の超音波データに基づく超音波画像を取得することと、
前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することと、
前記超音波プローブと前記超音波画像において描出された前記骨の一部分との間の空間変位を記述する変位データを生成することと、
前記超音波プローブの前記物理的位置及び前記変位データに基づいて前記位置合わせデータを生成することと、
を備える、請求項１に記載の方法。

【請求項3】

前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することは、
前記超音波画像において描出された前記骨の曲線を特徴付ける曲線データを生成することと、
前記参照データにおいて描出された前記骨を、前記超音波画像において描出された前記骨の曲線にマッチする曲線を求めて探索することと、
を備える、請求項２に記載の方法。

【請求項4】

前記超音波プローブの前記物理的位置を決定することは、前記ＭＲ可視化デバイスの１つ又は複数のセンサからのデータに基づいて前記超音波プローブの前記物理的位置を決定することを備える、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記参照データは、前記骨の複数のコンピュータ断層撮影（ＣＴ）画像を備える、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記参照データは、前記骨の３次元モデルを備える、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記仮想ガイダンスを生成することは、前記臨床医が前記超音波プローブを移動させるべき方向を示す仮想方向要素を生成することを備える、請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記ＭＲ可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることは、前記仮想ガイダンスが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記仮想ガイダンスを出力させることを備える、請求項１～７のいずれか一項に記載の方法。

【請求項9】

前記位置合わせデータは、第１の位置合わせデータであり、
前記仮想ガイダンスを生成することは、
前記参照データに基づく前記軟部組織構造の推定モデルを取得することと、
前記第１の位置合わせデータに基づいて、前記軟部組織構造の前記推定モデル上の仮想位置と前記骨の対応する物理的位置とを位置合わせする第２の位置合わせデータを生成することと、
前記第２の位置合わせデータ及び前記超音波プローブの前記物理的位置に基づいて、前記超音波プローブが前記目標ポジションにくるように前記超音波プローブを移動させる方向を決定することと、
を備える、請求項１～８のいずれか一項に記載の方法。

【請求項10】

前記軟部組織構造の前記推定モデルを取得することは、前記参照データに基づいて、前記軟部組織構造の統計的形状モデルとして前記軟部組織構造の前記推定モデルを生成することを備える、請求項９に記載の方法。

【請求項11】

前記軟部組織構造は、腱、靱帯、筋肉、軟骨、又は血管のうちの１つである、請求項１～１０のいずれか一項に記載の方法。

【請求項12】

前記目標ポジションは、第１の目標ポジションであり、
前記仮想ガイダンスは、第１の仮想ガイダンスであり、前記方法は、
前記第２の超音波データを取得することと、
前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて第２の仮想ガイダンスを決定することと、ここにおいて、前記第２の仮想ガイダンスは、前記超音波プローブが前記患者の前記軟部組織構造に関する追加の情報を提供する第３の超音波データを生成するための第２の目標ポジションにくるように前記超音波プローブをどのように移動させるべきかを前記臨床医に指示し、
前記ＭＲ可視化デバイスに、前記第２の仮想ガイダンスを前記臨床医に出力させることと、
を更に備える、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

前記方法は、前記骨のモデル及び前記軟部組織構造のモデルが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記骨の前記モデル及び前記軟部組織構造の前記モデルを出力させることを更に備える、請求項１～１２のいずれか一項に記載の方法。

【請求項14】

前記仮想ガイダンスは、前記超音波プローブが前記第２の超音波データを生成するための前記目標ポジションにくるように前記患者に対する前記超音波プローブの角度をどのように調整すべきかを示す、請求項１３に記載の方法。

【請求項15】

患者の骨を描出する参照データを格納するように構成されたメモリと、
処理回路と、
を備えるシステムであって、前記処理回路は、
超音波プローブの物理的位置を決定することと、
前記超音波プローブによって生成された第１の超音波データに基づいて、前記参照データにおいて描出された前記患者の骨の仮想位置を前記患者の骨の対応する物理的位置と位置合わせする位置合わせデータを生成することと、
前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて仮想ガイダンスを生成することと、ここにおいて、前記仮想ガイダンスは、前記超音波プローブが前記患者の軟部組織構造に関する情報を提供する第２の超音波データを生成するための目標ポジションにくるように前記超音波プローブをどのように移動させるべきかを臨床医に指示し、
頭部装着型複合現実（ＭＲ）可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることと、
を行うように構成されている、システム。

【請求項16】

前記超音波プローブの前記物理的位置は、前記超音波プローブが前記第１の超音波データを生成した物理的位置であり、
前記処理回路は、前記位置合わせデータを生成することの一環として、
前記第１の超音波データに基づく超音波画像を取得することと、
前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することと、
前記超音波プローブと前記超音波画像において描出された前記骨の一部分との間の空間変位を記述する変位データを生成することと、
前記超音波プローブの前記物理的位置及び前記変位データに基づいて前記位置合わせデータを生成することと、
を行うように構成されている、請求項１５に記載のシステム。

【請求項17】

前記処理回路は、前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することの一環として、
前記超音波画像において描出された前記骨の曲線を特徴付ける曲線データを生成することと、
前記参照データにおいて描出された前記骨を、前記超音波画像において描出された前記骨の曲線にマッチする曲線を求めて探索することと、
を行うように構成されている、請求項１６に記載のシステム。

【請求項18】

前記処理回路は、前記超音波プローブの前記物理的位置を決定することの一環として、前記ＭＲ可視化デバイスの１つ又は複数のセンサからのデータに基づいて前記超音波プローブの前記物理的位置を決定するように構成されている、請求項１５～１７のいずれか一項に記載のシステム。

【請求項19】

前記参照データは、前記骨の複数のコンピュータ断層撮影（ＣＴ）画像を備える、請求項１５～１８のいずれか一項に記載のシステム。

【請求項20】

前記参照データは、前記骨の３次元モデルを備える、請求項１５～１９のいずれか一項に記載のシステム。

【請求項21】

前記処理回路は、前記仮想ガイダンスを生成することの一環として、前記臨床医が前記超音波プローブを移動させるべき方向を示す仮想方向要素を生成するように構成されている、請求項１５～２０のいずれか一項に記載のシステム。

【請求項22】

前記処理回路は、前記ＭＲ可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることの一環として、前記仮想ガイダンスが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記仮想ガイダンスを出力させるように構成されている、請求項２１に記載のシステム。

【請求項23】

前記位置合わせデータは、第１の位置合わせデータであり、
前記処理回路は、前記仮想ガイダンスを生成することの一環として、
前記参照データに基づく前記軟部組織構造の推定モデルを取得することと、
前記第１の位置合わせデータに基づいて、前記軟部組織構造の前記推定モデル上の仮想位置と前記骨の対応する物理的位置とを位置合わせする第２の位置合わせデータを生成することと、
前記第２の位置合わせデータ及び前記超音波プローブの前記物理的位置に基づいて、前記超音波プローブが前記目標ポジションにくるように前記超音波プローブを移動させる方向を決定することと、
を行うように構成されている、請求項１５～２２のいずれか一項に記載のシステム。

【請求項24】

前記処理回路は、前記軟部組織構造の前記推定モデルを取得することの一環として、前記参照データに基づいて、前記軟部組織構造の統計的形状モデルとして前記軟部組織構造の前記推定モデルを生成するように構成されている、請求項２３に記載のシステム。

【請求項25】

前記軟部組織構造は、腱、靱帯、筋肉、軟骨、又は血管のうちの１つである、請求項１５～２４のいずれか一項に記載のシステム。

【請求項26】

前記目標ポジションは、第１の目標ポジションであり、
前記仮想ガイダンスは、第１の仮想ガイダンスであり、前記処理回路は、
前記第２の超音波データを取得することと、
前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて第２の仮想ガイダンスを決定することと、ここにおいて、前記第２の仮想ガイダンスは、前記超音波プローブが前記患者の前記軟部組織構造に関する追加の情報を提供する第３の超音波データを生成するための第２の目標ポジションにくるように前記超音波プローブをどのように移動させるべきかを前記臨床医に指示し、
前記ＭＲ可視化デバイスに、前記第２の仮想ガイダンスを前記臨床医に出力させることと、
を行うように更に構成されている、請求項１５～２５のいずれか一項に記載のシステム。

【請求項27】

前記処理回路は、前記骨のモデル及び前記軟部組織構造のモデルが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記骨の前記モデル及び前記軟部組織構造の前記モデルを出力させるように更に構成されている、請求項１５～２６のいずれか一項に記載のシステム。

【請求項28】

前記仮想ガイダンスは、前記超音波プローブが前記第２の超音波データを生成するための前記目標ポジションにくるように前記患者に対する前記超音波プローブの角度をどのように調整すべきかを示す、請求項２７に記載のシステム。

【請求項29】

実行されると、処理回路に、請求項１～１４のいずれか一項に記載の方法を実施させる命令を記憶した、コンピュータ可読媒体。

【請求項30】

請求項１～１４のいずれか一項に記載の方法を実施するための手段を備える、システム。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本願は、２０２１年１０月２８日に出願された米国仮特許出願第６３／２７３，００８号の利益を主張するものであり、その内容全体が参照により組み込まれる。

【背景技術】

【0002】

[0002] 手術を計画及び実施すること、状態を診断すること、又は他のタイプの医療タスクを実施することは、患者の解剖学的構造に関する情報を得ることを伴い得る。患者の解剖学的構造に関する情報は、患者の骨に関する情報、例えば、患者の骨のサイズ、形状、及びポジションなどを含み得る。更に、患者の解剖学的構造に関する情報は、患者の様々な軟部組織構造に関する情報、例えば、筋肉、腱、靱帯、軟骨、支帯、血管などの位置及び質なども含み得る。患者の骨と患者の軟部組織構造の両方に関する高品質の情報を得ることは、異なるスキルセットを伴う場合がある。

【発明の概要】

【0003】

[0003] 本開示は、整形外科手術などの手術に関わる軟部組織構造に関する情報を得るために臨床医が超音波プローブをポジショニングするのを助けるために複合現実（ＭＲ）ガイダンスが使用される技法について説明する。本明細書に記載されるように、コンピューティングシステムが、患者の少なくとも１つの骨を描出する参照データを取得し得る。例示的なタイプの参照データには、１つ又は複数のコンピュータ断層撮影（ＣＴ）画像、磁気共鳴像（ＭＲＩ）画像、核磁気共鳴（ＮＭＲ）画像などが含まれ得る。更に、コンピューティングシステムは、仮想ガイダンスを生成するために参照データを使用し得る。仮想ガイダンスは、超音波プローブが患者の軟部組織構造に関する情報を提供する第２の超音波データを生成することができる目標ポジションに対して超音波プローブがどのようにポジショニングされるかに関するガイダンスを臨床医に提供する。例えば、仮想ガイダンスは、超音波プローブが患者の軟部組織構造に関する情報を提供する超音波データを生成するための目標ポジションにくるように超音波プローブをどのように移動させるべきかを臨床医に指示し得る。コンピューティングシステムは、頭部装着型ＭＲ可視化デバイスに、仮想ガイダンスを臨床医に出力させ得る。

【0004】

[0004] １つの例では、本開示は、方法について説明し、本方法は、患者の骨を描出する参照データを取得することと、超音波プローブの物理的位置を決定することと、超音波プローブによって生成された第１の超音波データに基づいて、参照データにおいて描出された患者の骨の仮想位置を患者の骨の対応する物理的位置と位置合わせする位置合わせデータを生成することと、参照データ、位置合わせデータ、及び超音波プローブの物理的位置に基づいて仮想ガイダンスを生成することと、ここにおいて、仮想ガイダンスは、超音波プローブが患者の軟部組織構造に関する情報を提供する第２の超音波データを生成することができる目標ポジションに対して超音波プローブがどのようにポジショニングされるかに関するガイダンスを臨床医に提供し、頭部装着型複合現実（ＭＲ）可視化デバイスに、仮想ガイダンスを臨床医に出力させることと、を備える。

【0005】

[0005] 別の例では、本開示は、システムについて説明し、本システムは、患者の骨を描出する参照データを格納するように構成されたメモリと、処理回路と、を備え、処理回路は、超音波プローブの物理的位置を決定することと、超音波プローブによって生成された第１の超音波データに基づいて、参照データにおいて描出された患者の骨の仮想位置を患者の骨の対応する物理的位置と位置合わせする位置合わせデータを生成することと、参照データ、位置合わせデータ、及び超音波プローブの物理的位置に基づいて仮想ガイダンスを生成することと、ここにおいて、仮想ガイダンスは、超音波プローブが患者の軟部組織構造に関する情報を提供する第２の超音波データを生成することができる目標ポジションに対して超音波プローブがどのようにポジショニングされるかに関するガイダンスを臨床医に提供し、頭部装着型複合現実（ＭＲ）可視化デバイスに、仮想ガイダンスを臨床医に出力させることと、を行うように構成されている。

【0006】

[0006] 本開示の様々な例の詳細が、添付図面及び以下の説明に記載されている。様々な特徴、目的、及び利点が、説明、図面、及び特許請求の範囲から明らかとなる。

【図面の簡単な説明】

【0007】

【図1】[0007] 本開示の１つ又は複数の技法が実施され得る例示的なシステムを例示する概念図である。

【図2】[0008] 本開示の１つ又は複数の技法に係る例示的なコンピューティングシステムを例示する概念図である。

【図3】[0009] 本開示の１つ又は複数の技法に係るシステムの例示的な動作を例示するフローチャートである。

【図4】[0010] 本開示の１つ又は複数の技法に係る、位置合わせデータを生成するためのシステムの例示的な動作を例示するフローチャートである。

【図5】[0011] 本開示の１つ又は複数の技法に係る曲線のマッチングを例示する概念図である。

【図6】[0012] 本開示の１つ又は複数の技法に係る、患者の肩の超音波検査中の例示的な仮想ガイダンスを例示する概念図である。

【発明を実施するための形態】

【0008】

[0013] 外科医などの臨床医は、手術などの医療タスクの実施前、その間、又はその後に、患者の骨及び軟部組織についての情報を得る必要があり得る。例えば、肩関節置換術を計画するとき、外科医は、肩甲骨、上腕骨、及び回旋腱板筋についての情報を得る必要があり得る。コンピュータ断層撮影（ＣＴ）画像、及びＣＴ画像に基づいて生成された３次元（３Ｄ）モデルは、患者の骨の高精度な描出を提供する。しかしながら、ＣＴ画像は、ほとんどの軟部組織構造を容易に通り抜けるＸ線を使用して生成されるので、ＣＴ画像は、多くの場合、患者の軟部組織構造についての高品質の情報を提供することはできない。一方、超音波画像は、軟部組織構造についての高品質の情報を提供することはできるが、ＣＴ画像よりも精度が低い骨についての情報を提供する。

【0009】

[0014] 臨床医は、高品質の超音波画像を取得するように超音波プローブをポジショニングする能力を会得するために、専門的な訓練が必要になり得る。例えば、訓練を受けていない臨床医が、特定の筋肉又は腱についての有用な情報を収集するために超音波プローブをポジショニングすることは困難であり得る。したがって、訓練された超音波技師が必要であることにより、手術の実施に関連するコスト及び遅延が増加し得る。超音波プローブをポジショニングするために、ロボット式プローブポジショニングシステムが開発されている。しかしながら、そのようなロボット式プローブポジショニングシステムへのアクセスは限られており、高価であり得る。更に、ロボット式プローブポジショニングシステムは、目障りで手術中に外科医の邪魔になる場合がある。

【0010】

[0015] 本開示は、医療タスクのための情報を収集するために超音波プローブを使用するプロセスを改善することができる技法について説明する。本明細書に記載のように、コンピューティングシステムは、患者の骨を描出する参照データを取得し得る。参照データは、骨の１つ又は複数のＣＴ画像（例えば、複数のＣＴ画像）、骨の３次元（３Ｄ）モデル、又は患者の骨を描出する別のタイプの医用画像を含み得る。更に、コンピューティングシステムは、超音波プローブの物理的位置を決定し得る。コンピューティングシステムは、超音波プローブによって生成された第１の超音波データに基づいて、参照データにおいて描出された患者の骨の仮想位置を患者の骨の対応する物理的位置と位置合わせする位置合わせデータを生成し得る。更に、コンピューティングシステムは、参照データ、位置合わせデータ、及び超音波プローブの物理的位置に基づいて仮想ガイダンスを生成し得る。仮想ガイダンスは、超音波プローブが患者の軟部組織構造に関する情報を提供する第２の超音波データを生成することができる目標ポジションに対して超音波プローブがどのようにポジショニングされるかに関するガイダンスを臨床医に提供し得る。例えば、仮想ガイダンスは、超音波プローブが患者の軟部組織構造に関する情報を提供する第２の超音波データを生成するための目標ポジションにくるように超音波プローブをどのように移動させるべきかを臨床医に指示し得る。コンピューティングシステムはまた、頭部装着型複合現実（ＭＲ）可視化デバイスに、仮想ガイダンスを臨床医に出力させ得る。このようにして、臨床医は、患者を見ることと仮想ガイダンスを見ることの両方を行うことができ得る。このようにして仮想ガイダンスを使用することは、臨床医が軟部組織構造についての情報を取得する助けとなり得る。

【0011】

[0016] 更に、いくつかの例では、コンピューティングシステムは、超音波プローブによって生成されたデータに基づいて軟部組織構造の仮想モデル（例えば、２次元（２Ｄ）又は３Ｄモデル）を生成し得る。ＭＲ可視化デバイスは、軟部組織構造の仮想モデルが軟部組織構造の実際の位置で患者に重ね合わされているように臨床医に見えるように、軟部組織構造の仮想モデルを出力し得る。ＭＲ可視化デバイスはまた、患者の仮想の骨が、患者の骨の実際の位置で患者に重ね合わされているように臨床医に見えるように、患者の１つ又は複数の骨の仮想モデルを出力し得る。このようにして、臨床医は、患者の隠れた軟部組織構造及び骨の位置を容易に把握することができ得る。いくつかの例では、コンピューティングシステムは、軟部組織構造の仮想モデル及び骨の仮想モデルを出力し、軟部組織構造の仮想モデル及び骨の仮想モデルをモニタ上に表示させ得る。そのような例では、臨床医は、これらの仮想モデルを術前計画などの様々な目的のために使用することができる。

【0012】

[0017] 図１は、本開示の１つ又は複数の技法が実施され得る例示的なシステム１００を例示する概念図である。図１の例では、システム１００は、１つ又は複数のコンピューティングデバイス１０２、ＭＲ可視化デバイス１０４、超音波プローブ１０６、及び医用画像システム１０８を含む。臨床医１１０は、テーブル１１４上にポジショニングされた患者１１２に対して検査を実施するために超音波プローブ１０６を使用している。臨床医１１０は、外科医、看護師、技師、医学生、医師、又は他のタイプの医療専門家若しくは関係者であり得る。臨床医１１０及び患者１１２は、システム１００の一部を形成しない。ＭＲ可視化デバイス１０４は、患者１１２のポジションを決定するために、マーカ１１６Ａ、１１６Ｂ（まとめて「マーカ１１６」という）を使用し得る。図１の例は、臨床医１１０が患者１１２の肩に対して超音波検査を実施するのを示しているが、本開示の技法は、足、足首、膝、臀部、肘、脊椎、手首、手、胸など、患者１１２の身体の他の部分に関して適用可能であり得る。

【0013】

[0018] 一般に、臨床医１１０は、患者１１２の皮膚に超音波プローブ１０６をポジショニングすることによって超音波検査を実施する。超音波プローブ１０６は、超音波を生成し、戻ってくる超音波を検出する。戻ってくる超音波は、超音波プローブ１０６によって生成された超音波の反射を含み得る。超音波プローブ１０６は、検出された戻ってきた超音波に基づいてデータを生成し得る。超音波プローブ１０６によって生成されたデータは、例えば、超音波プローブ１０６、コンピューティングデバイス１０２、又は別のデバイス若しくはシステムによって、超音波画像を生成するように処理され得る。いくつかの例では、超音波プローブ１０６は、戻ってくる超音波を、超音波の進行方向に直交して配向された単一平面に沿って検出するリニアアレイ超音波プローブである。リニアアレイ超音波プローブは、２Ｄ超音波画像を生成し得る。いくつかの例では、超音波プローブ１０６は、例えば、超音波トランスデューサのリニアアレイを回転させることによって、３Ｄ超音波を実施するように構成され得る。

【0014】

[0019] ＭＲ可視化デバイス１０４は、ＭＲ可視化物を臨床医１１０に表示するために様々な可視化技法を使用し得る。ＭＲ可視化物は、現実世界のオブジェクトと同時にユーザが見ることができる１つ又は複数の仮想オブジェクトを備え得る。したがって、臨床医１１０が見るものは、現実のオブジェクトと仮想のオブジェクトの混合したものである。

【0015】

[0020] ＭＲ可視化デバイス１０４は、ＭＲ可視化物を提示するための様々なタイプのデバイスを備え得る。例えば、いくつかの例では、ＭＲ可視化デバイス１０４は、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ（アメリカ合衆国ワシントン州レドモンド）から入手可能なＨＯＬＯＬＥＮＳ２ヘッドセットなどのＭｉｃｒｏｓｏｆｔ ＨＯＬＯＬＥＮＳ（商標）ヘッドセット、又は例えば導波路を含む同様のＭＲ可視化デバイスなどの同様のデバイスであり得る。ＨＯＬＯＬＥＮＳ（商標）デバイスは、ユーザがホログラフィックレンズを通して現実世界シーンの、すなわち現実世界環境の実際のオブジェクトを見ることを可能にしながら、ホログラフィックレンズ又は導波路を介して３Ｄ仮想オブジェクトを提示するために使用され得る。いくつかの例では、ＭＲ可視化デバイス１０４は、ホログラフィックプロジェクタ、頭部装着型スマートフォン、専用ＭＲ可視化デバイス、又はＭＲ可視化物を提示するための別のタイプのデバイスであり得る。いくつかの例では、ＭＲ可視化デバイス１０４は、ＭＲ可視化デバイス１０４の処理機能の少なくとも一部を実施する頭部装着型ユニット及びバックパックユニットを含む。他の例では、ＭＲ可視化デバイス１０４のすべての機能が、頭部装着型ユニットに存在するハードウェアによって実施される。システム１００によって実施されるアクションの本開示における説明は、システム１００の１つ又は複数のコンピューティングデバイス１０２、ＭＲ可視化デバイス１０４、又は１つ又は複数のコンピューティングデバイスとＭＲ可視化デバイス１０４との組合せによって実施され得る。

【0016】

[0021] システム１００のコンピューティングタスクを実施する処理回路は、コンピューティングデバイス１０２、ＭＲ可視化デバイス１０４、超音波プローブ１０６、及び／又は他のコンピューティングデバイスのうちの１つ又は複数の間で分散され得る。更に、いくつかの例では、システム１００は、複数のＭＲ可視化デバイスを含み得る。コンピューティングデバイス１０２は、サーバコンピュータ、パーソナルコンピュータ、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、及び他のタイプのコンピューティングデバイスを含み得る。コンピューティングデバイス１０２は、１つ又は複数のワイヤード又はワイヤレス通信リンクを介してＭＲ可視化デバイス１０４と通信し得る。図１の例では、稲妻１１８は、コンピューティングデバイス１０２とＭＲ可視化デバイス１０４との間のワイヤレス通信リンクを表す。

【0017】

[0022] 本開示の１つ又は複数の技法によれば、システム１００は、患者１１２の１つ又は複数の骨を描出する参照データを取得し得る。医用画像システム１０８が、参照データを生成し得る。医用画像システム１０８は、超音波検査の前に参照データを生成し得る。いくつかの例では、医用画像システム１０８は、コンピュータ断層撮影（ＣＴ）データを生成する。他の例では、医用画像システム１０８は、磁気共鳴像（ＭＲＩ）データ又は他のタイプの医用画像を生成し得る。

【0018】

[0023] 更に、システム１００は、超音波プローブ１０６と骨との間の空間的関係を決定し得る。換言すれば、システム１００は、超音波プローブ１０６が患者１１２の実際の骨に対してどこにあるかを決定し得る。システム１００は、参照データと、超音波プローブ１０６によって生成された超音波データとに基づいて、この空間的関係を決定し得る。超音波プローブ１０６は、患者１１２に対して超音波プローブ１０６を使用している間に超音波データを生成する。超音波データは超音波画像を含んでもよいし、又はシステム１００が、超音波プローブ１０６によって生成された超音波データに基づいて超音波画像を生成してもよい。

【0019】

[0024] 超音波プローブ１０６と骨との間の空間的関係を決定することの一環として、システム１００は、超音波プローブ１０６の現在の物理的位置を決定し得る。超音波プローブ１０６の現在の物理的位置は、現実世界の座標系における座標に関して表現され得る。現実世界の座標系は、患者１１２の物理的環境内のポジションを表現し得る。いくつかの例では、システム１００は、超音波プローブ１０６の現在の物理的位置を決定するために、ＭＲ可視化デバイス１０４に含まれる１つ又は複数のセンサ（例えば、深度センサ、可視光センサなど）からのデータを使用する。いくつかの例では、システム１００は、超音波プローブ１０６の現在の物理的位置を決定するために、検査室にある１つ又は複数の他のセンサからのデータを使用し得る。いくつかの例では、超音波プローブ１０６に取り付けられた１つ又は複数のマーカが、システム１００が超音波プローブ１０６の現在の物理的位置を決定する助けとなる。

【0020】

[0025] いくつかの例では、超音波プローブ１０６と骨との間の空間的関係を決定するために、システム１００は、超音波プローブ１０６によって生成された超音波データに基づく１つ又は複数の超音波画像を取得し得る。超音波画像は、超音波プローブ１０６の検出平面（又は軸）と位置が揃えられたスライスにおける患者１１２内の構造を表し得る。一般に、超音波プローブ１０６のトランスデューサは、患者１１２の皮膚上に超音波のパルスを放出する。いくつかの例では、超音波プローブ１０６によって生成された超音波が患者１１２の内部に透過するのを増加させるために、患者１１２の皮膚にジェルが塗布され得る。超音波のパルスが患者１１２内の第１の構造（例えば、筋肉、腱、靭帯、血管、軟骨、骨など）にぶつかると、第１の構造は、パルスの超音波の一部分を反射して超音波プローブ１０６のトランスデューサに向かって戻すことができ、次いで、超音波プローブは、超音波の反射された部分を検出することができる。しかしながら、第１の構造は、パルスの超音波の一部分を、第１の構造を通して透過させることもできる。第２の構造が、第１の構造を透過したパルスの超音波の一部分を反射することができ、パルスの超音波の別の部分を透過させることができ、以後同様である。患者１１２を通る超音波の１つ又は複数の推定された進行速度に基づいて、及び構造によって反射された超音波が超音波プローブ１０６のトランスデューサに戻って到達するのに必要な時間に基づいて、超音波プローブ１０６のトランスデューサからの構造の距離が推定され得る。

【0021】

[0026] システム１００は、患者１１２内の構造までの推定距離に基づく超音波画像を取得し得る。例えば、超音波画像は、超音波プローブ１０６のトランスデューサからの距離に対応するピクセルを含み得る。典型的な超音波画像では、超音波を反射する構造の距離に対応するピクセルは白色で示され、他のピクセルは暗いままである。

【0022】

[0027] 超音波プローブ１０６がリニアアレイ超音波プローブである例では、超音波プローブ１０６は、超音波プローブ１０６の検出平面に沿う単一のラインに配置されたトランスデューサのアレイを含む。トランスデューサは、扇形状に配置され得る。したがって、リニアアレイ超音波プローブによって生成される超音波画像は、検出平面と位置が揃えられた、患者１１２の扇形状のスライス内の構造を表し得る。いくつかの例では、患者１１２の円錐形状部分の３Ｄ超音波画像は、超音波プローブ１０６のトランスデューサのリニアアレイを回転させることによって生成され得る。

【0023】

[0028] 超音波画像において表される構造は、軟部組織構造及び骨を含み得る。システム１００は、参照データにおいて表された骨と同じ外形を有する超音波画像において表された構造を特定するために、超音波画像を分析し得る。例えば、システム１００は、超音波画像において表された構造の曲線を特定するために、超音波画像を分析し得る。システム１００は、次いで、その曲線を参照データにおいて表された骨の曲線にマッチさせることを試み得る。システム１００がマッチを発見した場合、超音波画像において表された構造は、参照データにおいて表された骨である可能性が高い。

【0024】

[0029] 更に、システム１００がマッチを発見した場合、システム１００は、骨の現実世界の座標を決定し得る。システム１００は、（超音波画像を使用して決定された）超音波プローブ１０６からの骨までの距離と、超音波プローブ１０６の現実世界の座標とに基づいて、骨の現実世界の座標を決定し得る。参照データにおいて描出された骨の地点は、仮想座標系によって定義され得る。システム１００は、参照データにおいて表された骨の曲線を超音波画像において表された骨の曲線とマッチさせることができるので、システム１００は、したがって、参照データの仮想座標系と現実世界の座標系との関係を決定することができる。換言すれば、システム１００は、参照データを現実世界の座標系と位置合わせする位置合わせデータを生成し得る。

【0025】

[0030] 参照データを現実世界の座標系と位置合わせした後、システム１００は、参照データ、位置合わせデータ、超音波プローブ１０６の物理的位置に基づいて仮想ガイダンスを生成し得る。仮想ガイダンスは、超音波プローブ１０６が患者の軟部組織構造に関する情報を提供する超音波データを生成することができる目標ポジションに対して超音波プローブ１０６がどのようにポジショニングされるかに関するガイダンスを臨床医１１０に提供し得る。例えば、仮想ガイダンスは、超音波プローブ１０６が患者１１２の軟部組織構造に関する情報を提供する超音波データを生成するための目標ポジションにくるように超音波プローブ１０６をどのように移動させるべきかを臨床医１１０に指示し得る。いくつかの例では、仮想ガイダンスは、超音波プローブ１０６が目標ポジションに現在ポジショニングされているという情報を臨床医１１０に提供し得る。システム１００は、次いで、ＭＲ可視化デバイス１０４に、仮想ガイダンスを臨床医１１０に出力させ得る。

【0026】

[0031] システム１００は、様々なタイプの仮想ガイダンスを生成し得る。例えば、臨床医１１０は、肩関節置換術の準備をしていてよい。この例では、臨床医１１０は、関節窩プロテーゼ及び／又は上腕骨プロテーゼをどのように選択して移植すべきかを決定するときに、様々な軟部組織構造の特性を考慮に入れる必要があり得る。例えば、回旋腱板筋（例えば、棘上筋、棘下筋、小円筋、及び肩甲下筋）に弛緩があれば、解剖学的全肩関節形成術ではなくリバース型全肩関節形成術の使用が示唆され得る。したがって、この例では、臨床医１１０が回旋腱板筋の位置及びサイズを理解することは有益であり得る。患者１１２の２Ｄスライスを表す単一の超音波画像は、回旋腱板筋の縁を示し得るが、臨床医１１０が患者１１２の回旋腱板筋の位置及びサイズを理解することを可能にするほど十分な回旋腱板筋全体を示さない場合がある。したがって、この例では、システム１００によって生成される仮想ガイダンスは、超音波プローブ１０６が患者１１２の回旋腱板筋に関する情報をより多く提供する超音波データを生成することができる１つ又は複数のポジションに超音波プローブ１０６をどのように移動させるべきかを臨床医１１０に指示し得る。

【0027】

[0032] 上述のように、システム１００は、参照データに基づいて仮想ガイダンスを生成し得る。一般に、参照データは、超音波プローブ１０６によって生成できるものよりも完全かつ正確な骨の表現を提供する。一般に、システム１００は、参照データにおいて表された骨の形状及びポジションに基づいて、様々な軟部組織構造のポジションを予測することができる。したがって、参照データと超音波プローブ１０６の両方が現実世界の座標系と位置合わせされるので、システム１００は、超音波プローブ１０６が患者１１２の軟部組織構造に関する情報を提供する超音波データを生成することができる目標ポジションに対して超音波プローブ１０６がどのようにポジショニングされるかに関するガイダンスを臨床医１１０に提供する仮想ガイダンスを生成することができる。例えば、仮想ガイダンスは、軟部組織構造の予測された位置に超音波プローブ１０６を移動させるように臨床医１１０に指示し得る。システム１００は、臨床医１１０が超音波プローブ１０６をポジションからポジションに移動させると、仮想ガイダンスを更新し得る。したがって、臨床医１１０は、超音波プローブ１０６が超音波データを生成することができるように超音波プローブ１０６をどのように移動させるべきかについてのリアルタイムフィードバックを取得することができる。このようにして、超音波プローブ１０６は、臨床医１１０に関係のある軟部組織構造の部分に関する超音波データを生成し得る。

【0028】

[0033] いくつかの例では、システム１００は、軟部組織構造に関する超音波データに基づいて、患者１１２の軟部組織構造の仮想モデルを生成し得る。例えば、１つの例では、仮想ガイダンスは、超音波プローブ１０６を患者１１２の皮膚に沿って軟部組織構造の予測された位置の上にスライドさせるように臨床医１１０に指示し得る。システム１００は、臨床医１１０が超音波プローブ１０６を軟部組織構造の予測された位置の上にスライドさせると、超音波プローブ１０６によって生成された超音波データに基づく一連の超音波画像を取得し得る。システム１００は、軟部組織構造に対応する超音波画像の部分を分離するために超音波画像をセグメント化し得る。いくつかの例では、システム１００は、軟部組織構造に対応する超音波画像の部分を分離するように超音波画像をセグメント化するために、機械学習（ＭＬ）ベースのコンピュータビジョン技法（例えば、畳み込みニューラルネットワーク）を使用し得る。システム１００は、次いで、軟部組織構造に対応する超音波画像の部分を処理して、軟部組織構造の仮想モデルを形成し得る。

【0029】

[0034] ＭＲ可視化デバイス１０４は、軟部組織構造の仮想モデルが軟部組織構造の実際の位置で患者１１２に重ね合わされているように臨床医１１０に見えるように、軟部組織構造の仮想モデルを出力し得る。ＭＲ可視化デバイス１０４はまた、骨の仮想骨が患者１１２の骨の実際の位置で患者１１２に重ね合わされているように臨床医１１０に見えるように、患者１１２の１つ又は複数の骨の仮想モデルを出力し得る。このようにして、臨床医１１０は、患者１１２の隠れた軟部組織構造及び骨の位置を容易に把握することができ得る。ＭＲ可視化デバイス１０４上で軟部組織構造及び骨の仮想モデルを見ることができることは、手術中に特に有益であり得る。

【0030】

[0035] 図２は、本開示の１つ又は複数の技法に係る例示的なコンピューティングシステム２００を例示する概念図である。図２のコンピューティングシステム２００の構成要素は、コンピューティングデバイス１０２（図１）、ＭＲ可視化デバイス１０４、又は超音波プローブ１０６のうちの１つに含まれ得る。図２の例では、コンピューティングシステム２００は、処理回路２０２、メモリ２０４、通信インターフェース２０６、及びディスプレイ２０８を含む。

【0031】

[0036] 処理回路２０２の例には、１つ又は複数のマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ハードウェア、又はそれらの任意の組合せが含まれる。一般に、処理回路２０２は、固定機能回路、プログラマブル回路、又はそれらの組合せとして実装され得る。固定機能回路とは、特定の機能を提供し、かつ行うことができる動作に関して予め設定されている回路を指す。プログラマブル回路とは、様々なタスクを行い、行うことができる動作において柔軟な機能を提供するようにプログラムされ得る回路を指す。例えば、プログラマブル回路は、ソフトウェア又はファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェア又はファームウェアを実行し得る。固定機能回路は、（例えば、パラメータを受信又はパラメータを出力するための）ソフトウェア命令を行い実行し得るが、固定機能回路が行う動作のタイプは一般に不変である。いくつかの例では、ユニットの１つ又は複数は、別個の回路ブロック（固定機能又はプログラマブル）であってよく、いくつかの例では、１つ又は複数のユニットは、集積回路であってよい。

【0032】

[0037] 処理回路２０２は、プログラマブル回路から形成される、算術論理演算ユニット（ＡＬＵ）、初等関数ユニット（ＥＦＵ）、デジタル回路、アナログ回路、及び／又はプログラマブルコアを含み得る。プログラマブル回路によって実行されるソフトウェアを使用して処理回路２０２の動作が行われる例では、メモリ２０４は、処理回路２０２が受け取り実行するソフトウェアのオブジェクトコードを記憶していてもよいし、又は処理回路２０２内の別のメモリ（図示せず）がそのような命令を記憶していてもよい。ソフトウェアの例には、手術計画のために設計されたソフトウェアが含まれる。処理回路２０２は、本開示においてコンピューティングシステム２００に帰するアクションを行い得る。

【0033】

[0038] メモリ２０４は、処理回路２０２によって使用される様々なタイプのデータを記憶し得る。メモリ２０４は、同期動的ランダムアクセスメモリ（ＤＲＡＭ）（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、又は他のタイプのメモリデバイスを含むＤＲＡＭなどの様々なメモリデバイスのうちのいずれかを含み得る。ディスプレイ２０８の例には、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は別のタイプのディスプレイデバイスが含まれる。

【0034】

[0039] 通信インターフェース２０６は、コンピューティングシステム２００が、１つ又は複数の通信リンク又はネットワークを介して、ＭＲ可視化デバイス１０４、医用画像システム１０８、又は他のデバイスにデータ及び命令を出力し、それらからデータ及び命令を受信することを可能にする。通信インターフェース２０６は、コンピューティングシステム２００がＭＲ可視化デバイス１０４などの他のコンピューティングシステム及びデバイスに（例えば、ワイヤレスに又はワイヤを使用して）通信することを可能にするハードウェア回路であり得る。例示的なネットワークは、インターネットなどの１つ又は複数のワイドエリアネットワーク、及びローカルエリアネットワークなどを含む様々なタイプの通信ネットワークを含む得る。いくつかの例では、ネットワークは、ワイヤード及び／又はワイヤレス通信リンクを含み得る。

【0035】

[0040] 図２の例では、メモリ２０４は、参照データ２１０と、ポジショニングデータ２１２と、超音波データ２１４と、位置合わせデータ２１５と、計画データ２１６と、仮想ガイダンスデータ２１８とを格納する。更に、図２の例では、メモリ２０４は、位置合わせユニット２２０と、仮想ガイダンスユニット２２２と、仮想モデリングユニット２２４とを格納する。他の例では、メモリ２０４は、より多くの、より少ない、又は異なるタイプのデータ又はユニットを格納し得る。更に、図２の例に例示されるデータ及びユニットは、説明を目的として提供されており、データが実際にはどのように格納されるか、又はソフトウェアが実際にはどのように実装されるかを表していない場合がある。位置合わせユニット２２０、仮想ガイダンスユニット２２２、及び仮想モデリングユニット２２４は、処理回路２０２によって実行可能な命令を備え得る。説明し易くするために、本開示は、処理回路２０２が位置合わせユニット２２０、仮想ガイダンスユニット２２２、仮想モデリングユニット２２４の命令を実行すると、位置合わせユニット２２０、仮想ガイダンスユニット２２２、仮想モデリングユニット２２４が様々なアクションを実施するものとして説明し得る。

【0036】

[0041] 一般に、参照データ２１０は、患者１１２の１つ又は複数の骨を描出する、以前に取得されたデータを含む。例えば、参照データ２１０は、骨の１つ又は複数のＣＴ画像を含み得る。いくつかの例では、参照データ２１０は、骨の３次元モデルを含み得る。骨の３次元モデルは、複数のＣＴ画像に基づいて生成され得る。コンピューティングシステム２００は、医用画像システム１０８又は別のソースから参照データ２１０を取得し得る。例えば、コンピューティングシステム２００は、医用画像システム１０８若しくは別のソースから受信されたデータに基づいて参照データ２１０を生成してもよいし、又はコンピューティングシステム２００は、医用画像システム１０８若しくは別のソースから参照データ２１０を受信してもよい。

【0037】

[0042] ポジショニングデータ２１２は、超音波プローブ１０６、患者１１２、及び／又は他の現実世界のオブジェクトの位置を示すデータを含み得る。コンピューティングシステム２００は、ＭＲ可視化デバイス１０４及び／又は他のデバイス上に位置する深度センサ又はカメラなどの１つ又は複数のセンサに基づくポジショニングデータ２１２を取得し得る。超音波データ２１４は、超音波プローブ１０６によって生成された超音波画像又は他のタイプのデータを含み得る。いくつかの例では、コンピューティングシステム２００は、超音波画像を生成するために、超音波プローブ１０６によって生成されたデータを使用し得る。計画データ２１６は、医療タスクの計画に関連するデータを含み得る。例えば、計画データ２１６は、どの軟部組織構造が医療タスクに関係があるかを示し得る。

【0038】

[0043] 本願の他の箇所で詳述するように、位置合わせユニット２２０は、超音波プローブ１０６の物理的位置を決定し得る。更に、位置合わせユニット２２０は、超音波プローブ１０６によって生成された第１の超音波データに基づいて、参照データ２１０において描出された患者１１２の骨の仮想位置を患者１１２の骨の対応する物理的位置と位置合わせする位置合わせデータを生成し得る。仮想ガイダンスユニット２２２は、参照データ２１０、位置合わせデータ２１５、及び超音波プローブ１０６の物理的位置（例えば、ポジショニングデータ２１２）に基づいて、仮想ガイダンスデータ２１８を生成し得る。仮想ガイダンスデータ２１８は、超音波プローブ１０６が患者の軟部組織構造に関する情報を提供する超音波データを生成することができる目標ポジションに対して超音波プローブ１０６がどのようにポジショニングされるかに関するガイダンスを臨床医１１０に提供し得る。例えば、仮想ガイダンスデータ２１８は、超音波プローブ１０６が患者１１２の軟部組織構造に関する情報を提供する超音波データを生成するための目標ポジションにくるように超音波プローブ１０６をどのように移動させるべきかを臨床医１１０に指示し得る。仮想ガイダンスユニット２２２は、ＭＲ可視化デバイス１０４に、仮想ガイダンスを臨床医１１０に出力させ得る。仮想モデリングユニット２２４は、仮想モデルを生成してよく、いくつかの例では、ＭＲ可視化デバイス１０４に仮想モデルを出力させ得る。

【0039】

[0044] 図３は、本開示の１つ又は複数の技法に係るシステム１００の例示的な動作を例示するフローチャートである。本開示のフローチャートは、例示的な動作を例示する。他の例では、動作は、より多くの、より少ない、又は異なるアクションを含み得る。

【0040】

[0045] 図３の例では、コンピューティングシステム２００が、患者１１２の少なくとも１つの骨を描出する参照データ２１０を取得し得る（３００）。本開示の他の箇所で説明するように、コンピューティングシステム２００は、医用画像システム１０８又は別のソースから参照データ２１０を取得し得る。

【0041】

[0046] 更に、位置合わせユニット２２０が、超音波プローブ１０６の物理的位置を決定し得る（３０２）。いくつかの例では、位置合わせユニット２２０は、ＭＲ可視化デバイス１０４の１つ又は複数のセンサからのデータに基づいて超音波プローブ１０６の物理的位置を決定し得る。例えば、ＭＲ可視化デバイス１０４は、１つ又は複数の可視光カメラ及び深度センサを含み得る。深度センサは、深度センサから超音波プローブ１０６などのオブジェクトまでの距離を検出するように構成され得る。深度センサは、様々な方法の１つで実装され得る。例えば、深度センサは、赤外光エミッタ及び検出器を含み得る。赤外光エミッタは、赤外光のパルスを放出し得る。赤外光の反射が、深度センサの検出器によって検出される。深度センサは、赤外光のパルスの、オブジェクトまで行きオブジェクトから検出器まで戻る飛行時間に基づいて、深度センサからオブジェクトまでの距離を決定し得る。いくつかの例では、位置合わせユニット２２０は、超音波プローブ１０６を特定するために可視光センサからの信号を使用するように構成され得る。いくつかの例では、ＭＲ可視化デバイス１０４の可視光センサからの信号に基づいて超音波プローブ１０６を特定する位置合わせユニット２２０の能力を高めるために、光学マーカが超音波プローブ１０６に取り付けられていてもよい。他のタイプのデバイスとは対照的に、ＭＲ可視化デバイス１０４のセンサからのデータに基づいて超音波プローブ１０６の位置を決定することは、ＭＲ可視化デバイス１０４のセンサからのデータを使用することにより、滅菌又は他の方法で遮蔽する必要があり得る別のオブジェクトが手術室になければならない必要性をなくすことができるので、有利であり得る。更に、ＭＲ可視化デバイス１０４のセンサからのデータを使用することは、ＭＲ可視化デバイス１０４のセンサが、超音波プローブ１０６を使用する臨床医１１０の視点から超音波プローブ１０６を検出できるので有利であり得る。したがって、臨床医１１０は、他のセンサから超音波プローブ１０６が見えることを妨げない。

【0042】

[0047] 位置合わせユニット２２０は、現実世界の座標系における座標に関する超音波プローブ１０６の物理的位置を示し得る。現実世界の座標系は、ＭＲ可視化デバイス１０４及び患者１１２の物理的環境におけるオブジェクトの位置を記述する座標系であり得る。ＭＲ可視化デバイス１０４は、ＳＬＡＭ（Simultaneous Localization and Mapping）アルゴリズムを実施することによって、現実世界の座標系を確立し得る。ＳＬＡＭアルゴリズムはまた、現実世界の座標系に関するＭＲ可視化デバイス１０４の現在のポジションを決定する。

【0043】

[0048] 位置合わせユニット２２０は、超音波プローブ１０６によって生成された超音波データに基づいて、参照データ２１０において描出された患者１１２の骨の仮想位置を患者１１２の骨の対応する物理的位置と位置合わせする位置合わせデータを生成し得る（３０４）。位置合わせユニット２２０は、様々な方法のうちの１つで位置合わせデータを生成し得る。例えば、本開示の他の箇所で詳述する図４は、位置合わせデータを生成するためのシステムの例示的な動作を例示するフローチャートである。

【0044】

[0049] 更に、仮想ガイダンスユニット２２２は、参照データ２１０、位置合わせデータ２１５、及び超音波プローブ１０６の物理的位置に基づいて、仮想ガイダンスを生成し得る（３０６）。仮想ガイダンスは、超音波プローブ１０６が患者の軟部組織構造に関する情報を提供する超音波データを生成することができる目標ポジションに対して超音波プローブ１０６がどのようにポジショニングされるかに関するガイダンスを臨床医１１０に提供し得る。例えば、仮想ガイダンスは、超音波プローブ１０６が患者１１２の軟部組織構造に関する情報を提供する超音波データを生成するための目標ポジションにくるように超音波プローブ１０６をどのように移動させるべきかを臨床医１１０に指示し得る。

【0045】

[0050] 計画データ２１６（図２）は、臨床医１１０が患者１１２に関して従うべき計画を記述するデータ情報を含み得る。いくつかの例では、計画データ２１６は、患者１１２に対する手術を準備して行うためのプロセスを記述する手術計画データを含み得る。いくつかの例では、計画データ２１６は、患者１１２の超音波検査のみに限定され得る。いずれの場合でも、計画データ２１６は、超音波検査中にどの軟部組織構造が走査されるべきかを示し得る。例えば、計画データ２１６は、超音波検査中に棘上筋が走査されるべきことを示し得る。超音波検査中に軟部組織構造が走査されるべきであることを示す計画データ２１６を踏まえて、仮想モデリングユニット２２４は、参照データに基づく軟部組織構造の推定モデルを取得（例えば、生成又は受信）し得る。例えば、仮想モデリングユニット２２４は、軟部組織構造の推定モデルの基礎として、参照データ２１０において描出された骨の統計的形状モデルを使用し得る。換言すれば、仮想ガイダンスユニット２２２は、参照データ２１０に基づいて、軟部組織構造の統計的形状モデル（ＳＳＭ）として軟部組織構造の推定モデルを生成し得る。大まかにいうと、仮想モデリングユニット２２４が、軟部組織構造の推定モデルを生成するために統計的形状モデルを使用するとき、仮想モデリングユニット２２４は、軟部組織構造の予想されるサイズ及び形状を決定するために、骨に関する統計を使用し得る。

【0046】

[0051] いくつかの例では、統計的形状モデルは、機械学習（ＭＬ）モデルを使用して実装される。例えば、ＭＬモデルがニューラルネットワークである例では、仮想モデリングユニット２２４は、軟部組織構造の推定モデル（又は軟部組織構造を特徴付けるのに十分な他のデータ）を出力として生成するようにニューラルネットワークを訓練し得る。ニューラルネットワークへの入力は、１つ又は複数の骨に関する情報（例えば、骨のモデル、１つ又は複数の骨を特徴付けるデータ）、患者人口統計データ、及び／又は他のタイプのデータを含み得る。ニューラルネットワークは、多くの人からのデータに基づいて訓練され得る。したがって、ニューラルネットワークによって生成された軟部組織構造の推定モデルは、他の多くの人の対応する軟部組織構造及び骨を所与とした軟部組織構造の予測であると見なされ得る。

【0047】

[0052] 更に、仮想ガイダンスユニット２２２は、参照データ２１０において描出された患者１１２の骨の仮想位置を患者１１２の骨の対応する物理的位置と位置合わせする位置合わせデータに基づいて、軟部組織構造の推定モデル上の仮想位置と骨の対応する物理的位置とを位置合わせする追加の位置合わせデータ（例えば、第２の位置合わせデータ）を生成し得る。例えば、仮想ガイダンスユニット２２２は、軟部組織構造の骨への予想される付着点の、参照データ２１０において描出された骨上の位置を決定し得る。更に、この例では、仮想ガイダンスユニット２２２は、軟部組織構造の推定モデルにおいて、軟部組織構造の骨への対応する付着点を決定し得る。仮想ガイダンスユニット２２２は、参照データ２１０において描出された患者１１２の骨の仮想位置を患者１１２の骨の対応する物理的位置と位置合わせする第１の位置合わせデータを有するので、仮想ガイダンスユニット２２２は、したがって、軟部組織構造の推定モデル上のポジションが参照データ２１０において描出された患者１１２の骨の仮想位置にどのように関連するかを仮想座標系によって決定し、したがって、軟部組織構造の推定モデル上のポジションが現実世界の座標系（すなわち、患者の骨の物理的位置）にどのように関連するかを仮想座標系によって決定することができる。

【0048】

[0053] 更に、仮想ガイダンスユニット２２２は、追加の位置合わせデータ及び超音波プローブ１０６の物理的位置に基づいて、超音波プローブ１０６が目標ポジションにくるように超音波プローブ１０６を移動させる方向を決定し得る。いくつかの例では、方向は、患者１１２の皮膚を横切る超音波プローブ１０６の横方向の移動であり得る。いくつかの例では、方向は、超音波プローブ１０６の回転であり得る。いくつかの例では、方向は、患者１１２の皮膚の表面に対する超音波プローブ１０６の角度の変化であり得る。

【0049】

[0054] いくつかの例では、仮想ガイダンスを生成するために、仮想ガイダンスユニット２２２は、超音波検査中に軟部組織構造のどの部分が走査されたかを追跡し得る。例えば、仮想ガイダンスユニット２２２は、軟部組織構造の推定モデルのどの表面がまだ超音波プローブ１０６の検出平面内にきていないかを決定し得る。次いで、仮想ガイダンスユニット２２２は、軟部組織構造の走査されていない部分が超音波プローブ１０６の検出平面内にくるように超音波プローブ１０６がポジショニングされるように臨床医１１０に命じる仮想ガイダンスを生成し得る。したがって、軟部組織構造の十分な部分が走査されたとき、軟部組織構造の超音波検査は完了し得る。軟部組織構造のある部分を走査するために、仮想ガイダンスユニット２２２は、超音波プローブ１０６を回転又は傾斜させるように臨床医１１０に指示する仮想ガイダンスを生成し得ることに留意されたい。したがって、いくつかの例では、超音波プローブ１０６をどのように移動させるべきかを臨床医１１０に指示する仮想ガイダンスは、超音波プローブ１０６が追加の超音波データを生成するための目標ポジションにくるように患者１１２に対する超音波プローブ１０６の角度をどのように調整すべきかを示す。いくつかの例では、仮想ガイダンスは、超音波プローブ１０６が追加の超音波データを生成するための正しい角度にあることを臨床医１１０に示し得る。

【0050】

[0055] 更に、仮想ガイダンスユニット２２２は、ＭＲ可視化デバイス１０４に、仮想ガイダンスを臨床医１１０に出力させ得る（３０８）。例えば、仮想ガイダンスユニット２２２は、ＭＲ可視化デバイス１０４に仮想ガイダンスを表示するように指示する信号をＭＲ可視化デバイス１０４に送り得る。いくつかの例では、仮想ガイダンスユニット２２２は、仮想ガイダンスが患者１１２に重ね合わされているように臨床医１１０に見えるように、ＭＲ可視化デバイス１０４に仮想ガイダンスを出力させ得る。

【0051】

[0056] いくつかの例では、仮想ガイダンスユニット２２２は、更新された仮想ガイダンスを生成し得る（３１０）。更新された仮想ガイダンスは、超音波プローブ１０６が軟部組織構造又は異なる軟部組織構造に関する追加の超音波データを生成することができるように、超音波プローブ１０６を次の目標ポジションに移動させるように臨床医１１０に指示し得る。いくつかの例では、更新された仮想ガイダンスは、超音波プローブ１０６が次の目標ポジションにまだきていないことを臨床医１１０に示し得る。仮想ガイダンスユニット２２２は、次いで、ＭＲ可視化デバイス１０４に、更新された仮想ガイダンスを表示させ得る（３０８）。このプロセスは、超音波プローブ１０６が十分な超音波データを生成するまで継続し得る。このようにして、仮想ガイダンスが第１の仮想ガイダンスと見なされる場合、仮想ガイダンスユニット２２２は、第２の超音波データを取得し、参照データ、位置合わせデータ、及び超音波プローブ１０６の物理的位置に基づいて第２の仮想ガイダンスを決定し得る。いくつかの例では、第２の仮想ガイダンスは、超音波プローブ１０６が患者１１２の軟部組織構造に関する追加の情報を提供する第３の超音波データを生成するための第２の目標ポジションにくるように超音波プローブ１０６をどのように移動させるべきかを臨床医１１０に指示し得る。いくつかの例では、第２の仮想ガイダンスは、超音波プローブ１０６が第２の目標ポジションにあるかどうかを示し得る。仮想ガイダンスユニット２２２は、次いで、ＭＲ可視化デバイスに、第２の仮想ガイダンスを臨床医１１０に出力させ得る。

【0052】

[0057] 仮想ガイダンスユニット２２２は、超音波プローブ１０６が目標ポジションにあるときに超音波プローブ１０６によって生成された第２の超音波データに基づいて、更新された仮想ガイダンスを生成し得る。例えば、仮想ガイダンスユニット２２２は、超音波プローブ１０６が目標ポジションにあるときに超音波プローブ１０６によって生成された超音波データに基づいて、軟部組織構造の推定モデルを精緻化し得る。この例では、仮想ガイダンスユニット２２２は、精緻化された推定モデルに基づいて、更新された仮想ガイダンスを生成し得る。

【0053】

[0058] 仮想ガイダンスユニット２２２は、様々な方法で推定モデルを精緻化し得る。例えば、仮想ガイダンスユニット２２２は、人工ニューラルネットワークなどの機械学習（ＭＬ）モデルを実装し得る。ＭＬモデルへの入力は、軟部組織構造の３Ｄモデルを表すデータと、超音波データから導出されたデータとを含み得る。軟部組織構造の初期３Ｄモデルは、参照データと、いくつかの例では、患者１１２の年齢、性別、体重、及び他の特性などの他の要因とに基づいて、統計的形状モデルを使用して生成され得る。ＭＬモデルの出力は、軟部組織構造の更新された３Ｄモデルを表すデータを含み得る。超音波データから導出されるデータは、軟部組織構造の測定されたポジション、軟部組織構造の厚さ、軟部組織構造の密度、及びシステム１００が第２の超音波データから導出することができる他のタイプの情報を示すデータを含み得る。その後、仮想ガイダンスユニット２２２がより多くの新しい超音波データを取得すると、仮想ガイダンスユニット２２２は、軟部組織構造の更新された３Ｄモデル、及び新しい超音波データに基づくデータを、人工ニューラルネットワークへの入力として使用し得る。人工ニューラルネットワークは、畳み込みニューラルネットワーク又は全結合ディープニューラルネットワークなどの様々なタイプの人工ニューラルネットワークであり得る。いくつかの例では、仮想ガイダンスユニット２２２は、得られた超音波画像間の境界を検出するために画像スティッチング技法を使用し得る。いくつかの例では、仮想ガイダンスユニット２２２は、超音波画像間で共有される特徴を検出するために特徴ベースの検出器を使用し得る。例示的な特徴ベースの検出器は、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）、ＰＨＯＷ（Pyramidal Histogram of Visual Words）を含む。

【0054】

[0059] 図４は、本開示の１つ又は複数の技法に係る、位置合わせデータを生成するためのコンピューティングシステム２００の例示的な動作を例示するフローチャートである。図４の例では、位置合わせユニット２２０は、超音波データに基づく超音波画像を取得し得る（４００）。超音波プローブ１０６は、超音波プローブ１０６が初期の物理的位置にある間に超音波データを生成し得る。

【0055】

[0060] 更に、位置合わせユニット２２０は、参照データ２１０において描出された骨の一部分に対応する、超音波画像において描出された骨の一部分を決定し得る（４０２）。いくつかの例では、参照データ２１０において描出された骨の一部分に対応する超音波画像において描出された骨の一部分を決定するために、位置合わせユニット２２０は、曲線マッチングプロセスを実施し得る。曲線マッチングプロセスの例については、図５の例に関連して以下で説明する。他の例では、位置合わせユニット２２０は、曲線マッチングプロセスを実施するために、深層学習又は畳み込みニューラルネットワークを使用し得る。いくつかの例では、位置合わせユニット２２０は、超音波画像内のテクスチャを特徴付ける特徴ベクトルを決定するためにウェーブレット変換を使用し得る。位置合わせユニット２２０は、１つ又は複数の分解レベルでのウェーブレット変換によって特徴ベクトルの要素を形成し得る。位置合わせユニット２２０は、異なる超音波画像内の構造を認識するために特徴ベクトルを使用し得る分類器を実装し得る。

【0056】

[0061] 更に、図４の例では、位置合わせユニット２２０は、超音波プローブ１０６と超音波画像において描出された骨の一部分との間の空間変位を記述する変位データを生成し得る（４０４）。例えば、位置合わせユニット２２０は、超音波プローブ１０６のトランスデューサと、超音波を反射してトランスデューサに戻した骨の一部分の位置との間の、超音波プローブ１０６の検出平面における変位を示す成分を含む変位ベクトルを生成し得る。いくつかの例では、成分は、超音波プローブ１０６のトランスデューサのアレイの中線に対するトランスデューサの角度を示す距離値及び角度値を含み得る。いくつかの例では、成分は、超音波プローブ１０６のトランスデューサのアレイの中線に直交する線に沿った骨の位置の変位を示す第１の値と、超音波プローブ１０６のトランスデューサのアレイの中線に沿った骨の位置の変位を示す第２の値とを含み得る。

【0057】

[0062] 位置合わせユニット２２０は、超音波プローブ１０６の初期の物理的位置及び変位データに基づいて位置合わせデータを生成し得る（４０６）。例えば、超音波プローブ１０６の初期の物理的位置は、現実世界の座標に関して表され得る。この例では、変位データも、現実世界の座標で表現されてもよいし、又は現実世界の座標に変換されてもよい。したがって、骨の位置は、超音波プローブ１０６と変位データの現実世界の座標を加算することによって、現実世界の座標に関して表現され得る。更に、位置合わせユニット２２０は、参照データにおける骨の対応する位置の仮想座標（すなわち、位置合わせデータにおけるポジションを定義する座標）を決定し得る。したがって、位置合わせユニット２２０は、骨の位置の現実世界の座標と、参照データにおける骨の対応する位置の仮想座標との関係を決定することによって、位置合わせデータを生成し得る。

【0058】

[0063] 図５は、本開示の１つ又は複数の技法に係る曲線のマッチングを例示する概念図である。図５の例は、超音波画像５００及び参照データ５０２を示す。参照データ５０２は、患者１１２の肩甲骨の参照モデル５０４を含む。参照モデル５０４は、肩甲骨の３次元モデルであり得る。図５では肩甲骨に関連して説明されているが、図５に関連して説明されているプロセスは、他の骨、例えば、骨盤、上腕骨、脛骨、腓骨、大腿骨、膝蓋骨、橈骨、尺骨、距骨、中足骨、指骨、楔状骨、立方骨、踵骨、手根骨などに適用可能であり得る。

【0059】

[0064] 参照データ５０２において描出された骨（例えば、肩甲骨）の一部分に対応する超音波画像５００において描出された骨の一部分を決定するために、位置合わせユニット２２０は、超音波画像５００において描出された骨の曲線５０６を特徴付ける曲線データを生成し得る。曲線５０６は、超音波プローブ１０６の検出平面に沿って見た骨の外面に対応し得る。位置合わせユニット２２０は、次いで、参照データ５０２において描出された骨を、超音波画像５００において描出された骨の曲線にマッチする曲線を求めて探索し得る。換言すれば、位置合わせユニット２２０は、超音波画像５００において描出された骨の曲線にマッチする曲線を特定するために参照データ５０２を分析し得る。

【0060】

[0065] 曲線データを生成するために、位置合わせユニット２２０は、超音波画像５００にエッジ検出アルゴリズムを適用し得る。エッジ検出アルゴリズムは、超音波画像５００内のエッジを検出する。位置合わせユニット２２０は、Ｃａｎｎｙエッジ検出器、２次エッジ検出器、又は別のエッジ検出アルゴリズムなどの、様々な既知のエッジ検出アルゴリズムのうちの１つ又は複数を適用し得る。位置合わせユニット２２０は、次いで、検出されたエッジに対して曲線当てはめを実施してよく、例えば、位置合わせユニット２２０は、曲線当てはめを実施するために多項式回帰又は他のタイプの回帰を実施し得る。更に、位置合わせユニット２２０は、参照モデルを複数の角度で通る複数のスライスに沿って得られた参照モデル５０４の表面に対して曲線当てはめを実施し得る。位置合わせ参照データ５０２において描出された骨を超音波画像５００において描出された骨の曲線にマッチする曲線を求めて探索することの一環として、位置合わせユニット２２０は、曲線５０６を参照モデル５０４の表面の曲線と比較し得る。例えば、位置合わせユニット２２０は、曲線５０６及び参照モデル５０４の表面の曲線に対して多項式回帰を実施することによって生成された多項式関数の係数を比較し得る。図５の例では、位置合わせユニット２２０は、参照モデル５０４上の曲線５０８が超音波画像５００内の曲線５０６に対応すると決定し得る。

【0061】

[0066] 曲線５０６及び５０８は線であり、単一の点ではないので、位置合わせユニット２２０は、したがって、超音波画像５００において描出された骨に対する参照モデル５０４の回転を決定し得る。位置合わせユニット２２０は、超音波画像５００において描出された患者１１２の骨の仮想位置を患者１１２の骨の対応する物理的位置と位置合わせする位置合わせデータを生成することの一環として、超音波画像５００において描出された骨に対する参照モデル５０４の回転を使用し得る。いくつかの例では、位置合わせデータを生成することは、変換行列を生成することを含む。

【0062】

[0067] 図６は、本開示の１つ又は複数の技法に係る、患者１１２の肩の超音波検査中の例示的な仮想ガイダンスを例示する概念図である。図６の例では、臨床医１１０は、患者１１２の皮膚に超音波プローブ１０６を当てがう。図６の例では、臨床医１１０の手のみが示されている。

【0063】

[0068] ＭＲ可視化デバイス１０４（図６の例には図示せず）が、患者１１２の肩甲骨を表す肩甲骨モデル６００を表示する。肩甲骨モデル６００は、仮想モデルであり、患者１１２の実際の肩甲骨に対応する位置にポジショニングされる。仮想モデリングユニット２２４（図２）が、患者１１２の肩甲骨を描出する参照データに基づいて肩甲骨モデル６００を生成し得る。

【0064】

[0069] 更に、ＭＲ可視化デバイス１０４は、患者１１２の棘上筋を表す棘上筋モデル６０２を表示する。棘上筋モデル６０２は、仮想モデルであり、患者１１２の実際の棘上筋に対応する位置にポジショニングされる。仮想モデリングユニット２２４が、参照データ２１０に基づいて棘上筋モデル６０２を生成し得る。例えば、仮想モデリングユニット２２４は、棘上筋モデル６０２を生成する統計的形状モデリングプロセスを実施するために、参照データ２１０において描出された骨のパラメータを使用し得る。棘上筋モデル６０２の提示は、一種の仮想ガイダンスであり得る。いくつかの例では、仮想モデリングユニット２２４は、例えば、本開示の他の箇所で説明するように、超音波プローブ１０６によって生成された超音波データ２１４に基づいて棘上筋モデル６０２を精緻化し得る。このようにして、仮想ガイダンスユニット２２２は、骨のモデル及び軟部組織構造のモデルが患者に重ね合わされているように臨床医に見えるように、ＭＲ可視化デバイス１０４に骨のモデル及び軟部組織構造のモデルを出力させ得る。

【0065】

[0070] ＭＲ可視化デバイス１０４は、臨床医１１０が超音波プローブ１０６をどのように移動させるべきかを示す仮想方向要素６０４を表示し得る。例えば、仮想方向要素６０４は、患者１１２の棘上筋についての情報をより多く提供する超音波データを生成するために、臨床医１１０が超音波プローブ１０６をどのように移動させるべきかを示し得る。具体的には、図６の例では、仮想方向要素６０４は、臨床医１１０が超音波プローブ１０６を内側に移動させるべきであることを示す。更に、図６の例に示すように、ＭＲ可視化デバイス１０４は、仮想方向要素６０４が患者１１２に重ね合わされているように臨床医１１０に見えるように、仮想方向要素６０４（又は他の仮想ガイダンス）を表示し得る。患者１１２に重ね合わされた仮想方向要素６０４（及び／又は他の仮想ガイダンス）を表示することにより、臨床医１１０が超音波プローブ１０６をどのように移動させるべきかを理解することが容易になり得る。他の例では、ＭＲ可視化デバイス１０４は、臨床医１１０の視野内の別の位置に仮想方向要素６０４（又は他の仮想ガイダンス）を表示し得る。

【0066】

[0071] いくつかの例では、超音波プローブ１０６をどのように移動させるべきかを臨床医１１０に指示する仮想ガイダンスは、例えば図６の例に示すように、患者１１２の皮膚を横切って横方向に超音波プローブ１０６を移動させるように臨床医１１０に指示し得る。いくつかの例では、超音波プローブ１０６をどのように移動させるべきかを臨床医１１０に指示する仮想ガイダンスは、超音波プローブ１０６を回転させるように臨床医１１０に指示し得る。いくつかの例では、超音波プローブ１０６をどのように移動させるべきかを臨床医１１０に指示する仮想ガイダンスは、超音波プローブ１０６が患者１１２の皮膚に接触する角度を変更するように臨床医１１０に指示し得る。超音波プローブ１０６の回転角度又は皮膚接触角度を変更することにより、超音波プローブ１０６が患者１１２の内部構造についての情報をより多く収集することが可能になり得る。

【0067】

[0072] 以下は、本開示の１つ又は複数の技法に係る例の非限定的なセットである。

【0068】

[0073] 態様１： 患者の骨を描出する参照データを取得することと、超音波プローブの物理的位置を決定することと、前記超音波プローブによって生成された第１の超音波データに基づいて、前記参照データにおいて描出された前記患者の骨の仮想位置を前記患者の骨の対応する物理的位置と位置合わせする位置合わせデータを生成することと、前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて仮想ガイダンスを生成することと、ここにおいて、前記仮想ガイダンスは、前記超音波プローブが前記患者の軟部組織構造に関する情報を提供する第２の超音波データを生成することができる目標ポジションに対して前記超音波プローブがどのようにポジショニングされるかに関するガイダンスを臨床医に提供し、頭部装着型複合現実（ＭＲ）可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることと、を含む、方法。

【0069】

[0074] 態様２： 前記超音波プローブの前記物理的位置は、前記超音波プローブが前記第１の超音波データを生成した物理的位置であり、前記位置合わせデータを生成することは、前記第１の超音波データに基づく超音波画像を取得することと、前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することと、前記超音波プローブと前記超音波画像において描出された前記骨の一部分との間の空間変位を記述する変位データを生成することと、前記超音波プローブの前記物理的位置及び前記変位データに基づいて前記位置合わせデータを生成することと、を備える、態様１に記載の方法。

【0070】

[0075] 態様３： 前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することは、前記超音波画像において描出された前記骨の曲線を特徴付ける曲線データを生成することと、前記参照データにおいて描出された前記骨を、前記超音波画像において描出された前記骨の曲線にマッチする曲線を求めて探索することと、を備える、態様２に記載の方法。

【0071】

[0076] 態様４： 前記超音波プローブの前記物理的位置を決定することは、前記ＭＲ可視化デバイスの１つ又は複数のセンサからのデータに基づいて前記超音波プローブの前記物理的位置を決定することを備える、態様１～３のいずれかに記載の方法。

【0072】

[0077] 態様５： 前記参照データは、前記骨の複数のコンピュータ断層撮影（ＣＴ）画像を備える、態様１～４のいずれかに記載の方法。

【0073】

[0078] 態様６： 前記参照データは、前記骨の３次元モデルを備える、態様１～５のいずれかに記載の方法。

【0074】

[0079] 態様７： 前記仮想ガイダンスを生成することは、前記臨床医が前記超音波プローブを移動させるべき方向を示す仮想方向要素を生成することを備える、態様１～６のいずれかに記載の方法。

【0075】

[0080] 態様８： 前記ＭＲ可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることは、前記仮想ガイダンスが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記仮想ガイダンスを出力させることを備える、態様１～７のいずれかに記載の方法。

【0076】

[0081] 態様９： 前記位置合わせデータは、第１の位置合わせデータであり、前記仮想ガイダンスを生成することは、前記参照データに基づく前記軟部組織構造の推定モデルを取得することと、前記第１の位置合わせデータに基づいて、前記軟部組織構造の前記推定モデル上の仮想位置と前記骨の対応する物理的位置とを位置合わせする第２の位置合わせデータを生成することと、前記第２の位置合わせデータ及び前記超音波プローブの前記物理的位置に基づいて、前記超音波プローブが前記目標ポジションにくるように前記超音波プローブを移動させる方向を決定することと、を備える、態様１～８のいずれかに記載の方法。

【0077】

[0082] 態様１０： 前記軟部組織構造の前記推定モデルを取得することは、前記参照データに基づいて、前記軟部組織構造の統計的形状モデルとして前記軟部組織構造の前記推定モデルを生成することを備える、態様９に記載の方法。

【0078】

[0083] 態様１１： 前記軟部組織構造は、腱、靱帯、筋肉、軟骨、又は血管のうちの１つである、態様１～１０のいずれかに記載の方法。

【0079】

[0084] 態様１２： 前記目標ポジションは、第１の目標ポジションであり、前記仮想ガイダンスは、第１の仮想ガイダンスであり、前記方法は、前記第２の超音波データを取得することと、前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて第２の仮想ガイダンスを決定することと、ここにおいて、前記第２の仮想ガイダンスは、前記超音波プローブが前記患者の前記軟部組織構造に関する追加の情報を提供する第３の超音波データを生成するための第２の目標ポジションにくるように前記超音波プローブをどのように移動させるべきかを前記臨床医に指示し、前記ＭＲ可視化デバイスに、前記第２の仮想ガイダンスを前記臨床医に出力させることと、を更に備える、態様１～１１のいずれかに記載の方法。

【0080】

[0085] 態様１３： 前記方法は、前記骨のモデル及び前記軟部組織構造のモデルが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記骨の前記モデル及び前記軟部組織構造の前記モデルを出力させることを更に備える、態様１～１２のいずれかに記載の方法。

【0081】

[0086] 態様１４： 前記仮想ガイダンスは、前記超音波プローブが前記第２の超音波データを生成するための前記目標ポジションにくるように前記患者に対する前記超音波プローブの角度をどのように調整すべきかを示す、態様１３に記載の方法。

【0082】

[0087] 態様１５： 患者の骨を描出する参照データを格納するように構成されたメモリと、処理回路と、を含むシステムであって、前記処理回路は、超音波プローブの物理的位置を決定することと、前記超音波プローブによって生成された第１の超音波データに基づいて、前記参照データにおいて描出された前記患者の骨の仮想位置を前記患者の前記骨の対応する物理的位置と位置合わせする位置合わせデータを生成することと、前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて仮想ガイダンスを生成することと、ここにおいて、前記仮想ガイダンスは、前記超音波プローブが前記患者の軟部組織構造に関する情報を提供する第２の超音波データを生成するための目標ポジションにくるように前記超音波プローブをどのように移動させるべきかを臨床医に指示し、頭部装着型複合現実（ＭＲ）可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることと、を行うように構成されている、システム。

【0083】

[0088] 態様１６： 前記超音波プローブの前記物理的位置は、前記超音波プローブが前記第１の超音波データを生成した物理的位置であり、前記処理回路は、前記位置合わせデータを生成することの一環として、前記第１の超音波データに基づく超音波画像を取得することと、前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することと、前記超音波プローブと前記超音波画像において描出された前記骨の一部分との間の空間変位を記述する変位データを生成することと、前記超音波プローブの前記物理的位置及び前記変位データに基づいて前記位置合わせデータを生成することと、を行うように構成されている、態様１５に記載のシステム。

【0084】

[0089] 態様１７： 前記処理回路は、前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することの一環として、前記超音波画像において描出された前記骨の曲線を特徴付ける曲線データを生成することと、前記参照データにおいて描出された前記骨を、前記超音波画像において描出された前記骨の曲線にマッチする曲線を求めて探索することと、を行うように構成されている、態様１６に記載のシステム。

【0085】

[0090] 態様１８： 前記処理回路は、前記超音波プローブの前記物理的位置を決定することの一環として、前記ＭＲ可視化デバイスの１つ又は複数のセンサからのデータに基づいて前記超音波プローブの前記物理的位置を決定するように構成されている、態様１５～１７のいずれかに記載のシステム。

【0086】

[0091] 態様１９： 前記参照データは、前記骨の複数のコンピュータ断層撮影（ＣＴ）画像を備える、態様１５～１８のいずれかに記載のシステム。

【0087】

[0092] 態様２０： 前記参照データは、前記骨の３次元モデルを備える、態様１５～１９のいずれかに記載のシステム。

【0088】

[0093] 態様２１： 前記処理回路は、前記仮想ガイダンスを生成することの一環として、前記臨床医が前記超音波プローブを移動させるべき方向を示す仮想方向要素を生成するように構成されている、態様１５～２０のいずれかに記載のシステム。

【0089】

[0094] 態様２２： 前記処理回路は、前記ＭＲ可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることの一環として、前記仮想ガイダンスが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記仮想ガイダンスを出力させるように構成されている、態様２１に記載のシステム。

【0090】

[0095] 態様２３： 前記位置合わせデータは、第１の位置合わせデータであり、前記処理回路は、前記仮想ガイダンスを生成することの一環として、前記参照データに基づく前記軟部組織構造の推定モデルを取得することと、前記第１の位置合わせデータに基づいて、前記軟部組織構造の前記推定モデル上の仮想位置と前記骨の対応する物理的位置とを位置合わせする第２の位置合わせデータを生成することと、前記第２の位置合わせデータ及び前記超音波プローブの前記物理的位置に基づいて、前記超音波プローブが前記目標ポジションにくるように前記超音波プローブを移動させる方向を決定することと、を行うように構成されている、態様１５～２２のいずれかに記載のシステム。

【0091】

[0096] 態様２４： 前記処理回路は、前記軟部組織構造の前記推定モデルを取得することの一環として、前記参照データに基づいて、前記軟部組織構造の統計的形状モデルとして前記軟部組織構造の前記推定モデルを生成するように構成されている、態様２３に記載のシステム。

【0092】

[0097] 態様２５： 前記軟部組織構造は、腱、靱帯、筋肉、軟骨、又は血管のうちの１つである、態様１５～２４のいずれかに記載のシステム。

【0093】

[0098] 態様２６： 前記目標ポジションは、第１の目標ポジションであり、前記仮想ガイダンスは、第１の仮想ガイダンスであり、前記処理回路は、前記第２の超音波データを取得することと、前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて第２の仮想ガイダンスを決定することと、ここにおいて、前記第２の仮想ガイダンスは、前記超音波プローブが前記患者の前記軟部組織構造に関する追加の情報を提供する第３の超音波データを生成するための第２の目標ポジションにくるように前記超音波プローブをどのように移動させるべきかを前記臨床医に指示し、前記ＭＲ可視化デバイスに、前記第２の仮想ガイダンスを前記臨床医に出力させることと、を行うように更に構成されている、態様１５～２５のいずれかに記載のシステム。

【0094】

[0099] 態様２７： 前記処理回路は、前記骨のモデル及び前記軟部組織構造のモデルが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記骨の前記モデル及び前記軟部組織構造の前記モデルを出力させるように更に構成されている、態様１５～２６のいずれかに記載のシステム。

【0095】

[0100] 態様２８： 前記仮想ガイダンスは、前記超音波プローブが前記第２の超音波データを生成するための前記目標ポジションにくるように前記患者に対する前記超音波プローブの角度をどのように調整すべきかを示す、態様２７に記載のシステム。

【0096】

[0101] 態様２９： 実行されると、処理回路に、態様１～１４のいずれかに記載の方法を実施させる命令を記憶した、コンピュータ可読媒体。

【0097】

[0102] 態様３０： 態様１～１４のいずれかに記載の方法を実施するための手段を備える、システム。

【0098】

[0103] 本技法は、限られた数の例に関連して開示されているが、本開示の恩恵にあずかる当業者であれば、そこからの多数の修正例及び変形例を理解するであろう。例えば、説明された例の任意の妥当な組合せを実施できることが企図される。添付の特許請求の範囲は、そのような修正例及び変形例を本発明の真の要旨及び範囲内に入るものとして網羅することを意図するものである。

【0099】

[0104] 例に応じて、本明細書に記載のいずれかの技法の特定の動作又はイベントを異なる順序で行うことができ、追加、統合、又は完全に除外してもよい（例えば、説明されたすべての動作又はイベントが本技法の実施に必要であるわけではない）ことを認識されたい。更に、特定の例では、動作又はイベントは、連続的ではなくむしろ、例えば、マルチスレッド処理、割込み処理、又は複数のプロセッサにより同時に行われてよい。

【0100】

[0105] １つ又は複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組合せにおいて実装され得る。ソフトウェアにおいて実装される場合、これら機能は、１つ又は複数の命令若しくはコードとして、コンピュータ可読媒体上に記憶され、又は送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、又は、例えば通信プロトコルにしたがって、コンピュータプログラムの１つの場所から別の場所への転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、又は（２）信号若しくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コード、及び／又はデータ構造を検索するために、１つ又は複数のコンピュータ若しくは１つ又は複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

【0101】

[0106] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭ若しくは他の光ディスクストレージ、磁気ディスクストレージ、又は他の磁気記憶デバイス、フラッシュメモリ、又はデータ構造若しくは命令の形態で所望のプログラムコードを記憶するために使用されてよく、かつコンピュータによってアクセスされてよい他の任意の媒体を備え得る。また、任意の接続を、適切にコンピュータ可読媒体と称する。例えば、命令が、ウェブサイト、サーバ、又は他の遠隔ソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的な媒体を含まず、代わりに非一時的な有形記憶媒体を対象とすることを理解されたい。ディスク（disk）及びディスク（disc）は、本明細書で使用されるとき、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、及びブルーレイディスクを含み、ディスク（disk）は通常データを磁気的に再生するが、ディスク（disc）はレーザーを用いて光学的にデータを再生する。上記の組合せもまた、コンピュータ可読媒体の範囲内に含まれるものとする。

【0102】

[0107] 本開示で説明される動作は、１つ又は複数のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は他の同等の集積論理回路若しくは離散論理回路などの、固定機能処理回路、プログラマブル回路、又はそれらの組合せとして実装され得る１つ又は複数のプロセッサによって行われ得る。固定機能回路とは、特定の機能を提供し、かつ行うことができる動作に関して予め設定されている回路を指す。プログラマブル回路とは、様々なタスクを行い、行うことができる動作において柔軟な機能を提供するようにプログラムされ得る回路を指す。例えば、プログラマブル回路は、ソフトウェア又はファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェア又はファームウェアによって指定される命令を実行し得る。固定機能回路は、（例えば、パラメータを受信又はパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が行う動作のタイプは一般に不変である。したがって、「プロセッサ」及び「処理回路」という用語は、本明細書で使用されるとき、前述の構造又は本明細書に記載の技法の実装に好適な他の任意の構造のいずれかを指し得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2024-06-21

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

患者の骨を描出する参照データを取得することと、
超音波プローブの物理的位置を決定することと、
前記超音波プローブによって生成された第１の超音波データに基づいて、前記参照データにおいて描出された前記患者の骨の仮想位置を前記患者の骨の対応する物理的位置と位置合わせする位置合わせデータを生成することと、
前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて仮想ガイダンスを生成することと、ここにおいて、前記仮想ガイダンスは、前記超音波プローブが前記患者の軟部組織構造に関する情報を提供する第２の超音波データを生成することができる目標ポジションに対して前記超音波プローブがどのようにポジショニングされるかに関するガイダンスを臨床医に提供し、
頭部装着型複合現実（ＭＲ）可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることと、
を備える、方法。

【請求項2】

前記超音波プローブの前記物理的位置は、前記超音波プローブが前記第１の超音波データを生成した物理的位置であり、
前記位置合わせデータを生成することは、
前記第１の超音波データに基づく超音波画像を取得することと、
前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することと、
前記超音波プローブと前記超音波画像において描出された前記骨の一部分との間の空間変位を記述する変位データを生成することと、
前記超音波プローブの前記物理的位置及び前記変位データに基づいて前記位置合わせデータを生成することと、
を備える、請求項１に記載の方法。

【請求項3】

前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することは、
前記超音波画像において描出された前記骨の曲線を特徴付ける曲線データを生成することと、
前記参照データにおいて描出された前記骨を、前記超音波画像において描出された前記骨の曲線にマッチする曲線を求めて探索することと、
を備える、請求項２に記載の方法。

【請求項4】

前記超音波プローブの前記物理的位置を決定することは、前記ＭＲ可視化デバイスの１つ又は複数のセンサからのデータに基づいて前記超音波プローブの前記物理的位置を決定することを備える、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記参照データは、前記骨の複数のコンピュータ断層撮影（ＣＴ）画像を備える、請求項１～３のいずれか一項に記載の方法。

【請求項6】

前記参照データは、前記骨の３次元モデルを備える、請求項１～３のいずれか一項に記載の方法。

【請求項7】

前記仮想ガイダンスを生成することは、前記臨床医が前記超音波プローブを移動させるべき方向を示す仮想方向要素を生成することを備える、請求項１～３のいずれか一項に記載の方法。

【請求項8】

前記ＭＲ可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることは、前記仮想ガイダンスが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記仮想ガイダンスを出力させることを備える、請求項１～３のいずれか一項に記載の方法。

【請求項9】

前記位置合わせデータは、第１の位置合わせデータであり、
前記仮想ガイダンスを生成することは、
前記参照データに基づく前記軟部組織構造の推定モデルを取得することと、
前記第１の位置合わせデータに基づいて、前記軟部組織構造の前記推定モデル上の仮想位置と前記骨の対応する物理的位置とを位置合わせする第２の位置合わせデータを生成することと、
前記第２の位置合わせデータ及び前記超音波プローブの前記物理的位置に基づいて、前記超音波プローブが前記目標ポジションにくるように前記超音波プローブを移動させる方向を決定することと、
を備える、請求項１～３のいずれか一項に記載の方法。

【請求項10】

前記軟部組織構造の前記推定モデルを取得することは、前記参照データに基づいて、前記軟部組織構造の統計的形状モデルとして前記軟部組織構造の前記推定モデルを生成することを備える、請求項９に記載の方法。

【請求項11】

前記軟部組織構造は、腱、靱帯、筋肉、軟骨、又は血管のうちの１つである、請求項１～３のいずれか一項に記載の方法。

【請求項12】

前記目標ポジションは、第１の目標ポジションであり、
前記仮想ガイダンスは、第１の仮想ガイダンスであり、前記方法は、
前記第２の超音波データを取得することと、
前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて第２の仮想ガイダンスを決定することと、ここにおいて、前記第２の仮想ガイダンスは、前記超音波プローブが前記患者の前記軟部組織構造に関する追加の情報を提供する第３の超音波データを生成するための第２の目標ポジションにくるように前記超音波プローブをどのように移動させるべきかを前記臨床医に指示し、
前記ＭＲ可視化デバイスに、前記第２の仮想ガイダンスを前記臨床医に出力させることと、
を更に備える、請求項１～３のいずれか一項に記載の方法。

【請求項13】

前記方法は、前記骨のモデル及び前記軟部組織構造のモデルが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記骨の前記モデル及び前記軟部組織構造の前記モデルを出力させることを更に備える、請求項１～３のいずれか一項に記載の方法。

【請求項14】

前記仮想ガイダンスは、前記超音波プローブが前記第２の超音波データを生成するための前記目標ポジションにくるように前記患者に対する前記超音波プローブの角度をどのように調整すべきかを示す、請求項１３に記載の方法。

【請求項15】

患者の骨を描出する参照データを格納するように構成されたメモリと、
処理回路と、
を備えるシステムであって、前記処理回路は、
超音波プローブの物理的位置を決定することと、
前記超音波プローブによって生成された第１の超音波データに基づいて、前記参照データにおいて描出された前記患者の骨の仮想位置を前記患者の骨の対応する物理的位置と位置合わせする位置合わせデータを生成することと、
前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて仮想ガイダンスを生成することと、ここにおいて、前記仮想ガイダンスは、前記超音波プローブが前記患者の軟部組織構造に関する情報を提供する第２の超音波データを生成するための目標ポジションにくるように前記超音波プローブをどのように移動させるべきかを臨床医に指示し、
頭部装着型複合現実（ＭＲ）可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることと、
を行うように構成されている、システム。

【請求項16】

前記超音波プローブの前記物理的位置は、前記超音波プローブが前記第１の超音波データを生成した物理的位置であり、
前記処理回路は、前記位置合わせデータを生成することの一環として、
前記第１の超音波データに基づく超音波画像を取得することと、
前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することと、
前記超音波プローブと前記超音波画像において描出された前記骨の一部分との間の空間変位を記述する変位データを生成することと、
前記超音波プローブの前記物理的位置及び前記変位データに基づいて前記位置合わせデータを生成することと、
を行うように構成されている、請求項１５に記載のシステム。

【請求項17】

前記処理回路は、前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することの一環として、
前記超音波画像において描出された前記骨の曲線を特徴付ける曲線データを生成することと、
前記参照データにおいて描出された前記骨を、前記超音波画像において描出された前記骨の曲線にマッチする曲線を求めて探索することと、
を行うように構成されている、請求項１６に記載のシステム。

【請求項18】

前記処理回路は、前記超音波プローブの前記物理的位置を決定することの一環として、前記ＭＲ可視化デバイスの１つ又は複数のセンサからのデータに基づいて前記超音波プローブの前記物理的位置を決定するように構成されている、請求項１５～１７のいずれか一項に記載のシステム。

【請求項19】

前記参照データは、前記骨の複数のコンピュータ断層撮影（ＣＴ）画像を備える、請求項１５～１７のいずれか一項に記載のシステム。

【請求項20】

前記参照データは、前記骨の３次元モデルを備える、請求項１５～１７のいずれか一項に記載のシステム。

【請求項21】

前記処理回路は、前記仮想ガイダンスを生成することの一環として、前記臨床医が前記超音波プローブを移動させるべき方向を示す仮想方向要素を生成するように構成されている、請求項１５～１７のいずれか一項に記載のシステム。

【請求項22】

前記処理回路は、前記ＭＲ可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることの一環として、前記仮想ガイダンスが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記仮想ガイダンスを出力させるように構成されている、請求項２１に記載のシステム。

【請求項23】

前記位置合わせデータは、第１の位置合わせデータであり、
前記処理回路は、前記仮想ガイダンスを生成することの一環として、
前記参照データに基づく前記軟部組織構造の推定モデルを取得することと、
前記第１の位置合わせデータに基づいて、前記軟部組織構造の前記推定モデル上の仮想位置と前記骨の対応する物理的位置とを位置合わせする第２の位置合わせデータを生成することと、
前記第２の位置合わせデータ及び前記超音波プローブの前記物理的位置に基づいて、前記超音波プローブが前記目標ポジションにくるように前記超音波プローブを移動させる方向を決定することと、
を行うように構成されている、請求項１５～１７のいずれか一項に記載のシステム。

【請求項24】

前記処理回路は、前記軟部組織構造の前記推定モデルを取得することの一環として、前記参照データに基づいて、前記軟部組織構造の統計的形状モデルとして前記軟部組織構造の前記推定モデルを生成するように構成されている、請求項２３に記載のシステム。

【請求項25】

前記軟部組織構造は、腱、靱帯、筋肉、軟骨、又は血管のうちの１つである、請求項１５～１７のいずれか一項に記載のシステム。

【請求項26】

前記目標ポジションは、第１の目標ポジションであり、
前記仮想ガイダンスは、第１の仮想ガイダンスであり、前記処理回路は、
前記第２の超音波データを取得することと、
前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて第２の仮想ガイダンスを決定することと、ここにおいて、前記第２の仮想ガイダンスは、前記超音波プローブが前記患者の前記軟部組織構造に関する追加の情報を提供する第３の超音波データを生成するための第２の目標ポジションにくるように前記超音波プローブをどのように移動させるべきかを前記臨床医に指示し、
前記ＭＲ可視化デバイスに、前記第２の仮想ガイダンスを前記臨床医に出力させることと、
を行うように更に構成されている、請求項１５～１７のいずれか一項に記載のシステム。

【請求項27】

前記処理回路は、前記骨のモデル及び前記軟部組織構造のモデルが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記骨の前記モデル及び前記軟部組織構造の前記モデルを出力させるように更に構成されている、請求項１５～１７のいずれか一項に記載のシステム。

【請求項28】

前記仮想ガイダンスは、前記超音波プローブが前記第２の超音波データを生成するための前記目標ポジションにくるように前記患者に対する前記超音波プローブの角度をどのように調整すべきかを示す、請求項２７に記載のシステム。

【請求項29】

実行されると、処理回路に、
患者の骨を描出する参照データを取得することと、
超音波プローブの物理的位置を決定することと、
前記超音波プローブによって生成された第１の超音波データに基づいて、前記参照データにおいて描出された前記患者の骨の仮想位置を前記患者の骨の対応する物理的位置と位置合わせする位置合わせデータを生成することと、
前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて仮想ガイダンスを生成することと、ここにおいて、前記仮想ガイダンスは、前記超音波プローブが前記患者の軟部組織構造に関する情報を提供する第２の超音波データを生成することができる目標ポジションに対して前記超音波プローブがどのようにポジショニングされるかに関するガイダンスを臨床医に提供し、
頭部装着型複合現実（ＭＲ）可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることと、
を行わせる命令を記憶した、コンピュータ可読媒体。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０１０２

【補正方法】変更

【補正の内容】

【0102】

[0107] 本開示で説明される動作は、１つ又は複数のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は他の同等の集積論理回路若しくは離散論理回路などの、固定機能処理回路、プログラマブル回路、又はそれらの組合せとして実装され得る１つ又は複数のプロセッサによって行われ得る。固定機能回路とは、特定の機能を提供し、かつ行うことができる動作に関して予め設定されている回路を指す。プログラマブル回路とは、様々なタスクを行い、行うことができる動作において柔軟な機能を提供するようにプログラムされ得る回路を指す。例えば、プログラマブル回路は、ソフトウェア又はファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェア又はファームウェアによって指定される命令を実行し得る。固定機能回路は、（例えば、パラメータを受信又はパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が行う動作のタイプは一般に不変である。したがって、「プロセッサ」及び「処理回路」という用語は、本明細書で使用されるとき、前述の構造又は本明細書に記載の技法の実装に好適な他の任意の構造のいずれかを指し得る。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
［１］ 患者の骨を描出する参照データを取得することと、
超音波プローブの物理的位置を決定することと、
前記超音波プローブによって生成された第１の超音波データに基づいて、前記参照データにおいて描出された前記患者の骨の仮想位置を前記患者の骨の対応する物理的位置と位置合わせする位置合わせデータを生成することと、
前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて仮想ガイダンスを生成することと、ここにおいて、前記仮想ガイダンスは、前記超音波プローブが前記患者の軟部組織構造に関する情報を提供する第２の超音波データを生成することができる目標ポジションに対して前記超音波プローブがどのようにポジショニングされるかに関するガイダンスを臨床医に提供し、
頭部装着型複合現実（ＭＲ）可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることと、
を備える、方法。
［２］ 前記超音波プローブの前記物理的位置は、前記超音波プローブが前記第１の超音波データを生成した物理的位置であり、
前記位置合わせデータを生成することは、
前記第１の超音波データに基づく超音波画像を取得することと、
前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することと、
前記超音波プローブと前記超音波画像において描出された前記骨の一部分との間の空間変位を記述する変位データを生成することと、
前記超音波プローブの前記物理的位置及び前記変位データに基づいて前記位置合わせデータを生成することと、
を備える、［１］に記載の方法。
［３］ 前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することは、
前記超音波画像において描出された前記骨の曲線を特徴付ける曲線データを生成することと、
前記参照データにおいて描出された前記骨を、前記超音波画像において描出された前記骨の曲線にマッチする曲線を求めて探索することと、
を備える、［２］に記載の方法。
［４］ 前記超音波プローブの前記物理的位置を決定することは、前記ＭＲ可視化デバイスの１つ又は複数のセンサからのデータに基づいて前記超音波プローブの前記物理的位置を決定することを備える、［１］～［３］のいずれか一項に記載の方法。
［５］ 前記参照データは、前記骨の複数のコンピュータ断層撮影（ＣＴ）画像を備える、［１］～［４］のいずれか一項に記載の方法。
［６］ 前記参照データは、前記骨の３次元モデルを備える、［１］～［５］のいずれか一項に記載の方法。
［７］ 前記仮想ガイダンスを生成することは、前記臨床医が前記超音波プローブを移動させるべき方向を示す仮想方向要素を生成することを備える、［１］～［６］のいずれか一項に記載の方法。
［８］ 前記ＭＲ可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることは、前記仮想ガイダンスが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記仮想ガイダンスを出力させることを備える、［１］～［７］のいずれか一項に記載の方法。
［９］ 前記位置合わせデータは、第１の位置合わせデータであり、
前記仮想ガイダンスを生成することは、
前記参照データに基づく前記軟部組織構造の推定モデルを取得することと、
前記第１の位置合わせデータに基づいて、前記軟部組織構造の前記推定モデル上の仮想位置と前記骨の対応する物理的位置とを位置合わせする第２の位置合わせデータを生成することと、
前記第２の位置合わせデータ及び前記超音波プローブの前記物理的位置に基づいて、前記超音波プローブが前記目標ポジションにくるように前記超音波プローブを移動させる方向を決定することと、
を備える、［１］～［８］のいずれか一項に記載の方法。
［１０］ 前記軟部組織構造の前記推定モデルを取得することは、前記参照データに基づいて、前記軟部組織構造の統計的形状モデルとして前記軟部組織構造の前記推定モデルを生成することを備える、［９］に記載の方法。
［１１］ 前記軟部組織構造は、腱、靱帯、筋肉、軟骨、又は血管のうちの１つである、［１］～［１０］のいずれか一項に記載の方法。
［１２］ 前記目標ポジションは、第１の目標ポジションであり、
前記仮想ガイダンスは、第１の仮想ガイダンスであり、前記方法は、
前記第２の超音波データを取得することと、
前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて第２の仮想ガイダンスを決定することと、ここにおいて、前記第２の仮想ガイダンスは、前記超音波プローブが前記患者の前記軟部組織構造に関する追加の情報を提供する第３の超音波データを生成するための第２の目標ポジションにくるように前記超音波プローブをどのように移動させるべきかを前記臨床医に指示し、
前記ＭＲ可視化デバイスに、前記第２の仮想ガイダンスを前記臨床医に出力させることと、
を更に備える、［１］～［１１］のいずれか一項に記載の方法。
［１３］ 前記方法は、前記骨のモデル及び前記軟部組織構造のモデルが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記骨の前記モデル及び前記軟部組織構造の前記モデルを出力させることを更に備える、［１］～［１２］のいずれか一項に記載の方法。
［１４］ 前記仮想ガイダンスは、前記超音波プローブが前記第２の超音波データを生成するための前記目標ポジションにくるように前記患者に対する前記超音波プローブの角度をどのように調整すべきかを示す、［１３］に記載の方法。
［１５］ 患者の骨を描出する参照データを格納するように構成されたメモリと、
処理回路と、
を備えるシステムであって、前記処理回路は、
超音波プローブの物理的位置を決定することと、
前記超音波プローブによって生成された第１の超音波データに基づいて、前記参照データにおいて描出された前記患者の骨の仮想位置を前記患者の骨の対応する物理的位置と位置合わせする位置合わせデータを生成することと、
前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて仮想ガイダンスを生成することと、ここにおいて、前記仮想ガイダンスは、前記超音波プローブが前記患者の軟部組織構造に関する情報を提供する第２の超音波データを生成するための目標ポジションにくるように前記超音波プローブをどのように移動させるべきかを臨床医に指示し、
頭部装着型複合現実（ＭＲ）可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることと、
を行うように構成されている、システム。
［１６］ 前記超音波プローブの前記物理的位置は、前記超音波プローブが前記第１の超音波データを生成した物理的位置であり、
前記処理回路は、前記位置合わせデータを生成することの一環として、
前記第１の超音波データに基づく超音波画像を取得することと、
前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することと、
前記超音波プローブと前記超音波画像において描出された前記骨の一部分との間の空間変位を記述する変位データを生成することと、
前記超音波プローブの前記物理的位置及び前記変位データに基づいて前記位置合わせデータを生成することと、
を行うように構成されている、［１５］に記載のシステム。
［１７］ 前記処理回路は、前記参照データにおいて描出された前記骨の一部分に対応する、前記超音波画像において描出された前記骨の一部分を決定することの一環として、
前記超音波画像において描出された前記骨の曲線を特徴付ける曲線データを生成することと、
前記参照データにおいて描出された前記骨を、前記超音波画像において描出された前記骨の曲線にマッチする曲線を求めて探索することと、
を行うように構成されている、［１６］に記載のシステム。
［１８］ 前記処理回路は、前記超音波プローブの前記物理的位置を決定することの一環として、前記ＭＲ可視化デバイスの１つ又は複数のセンサからのデータに基づいて前記超音波プローブの前記物理的位置を決定するように構成されている、［１５］～［１７］のいずれか一項に記載のシステム。
［１９］ 前記参照データは、前記骨の複数のコンピュータ断層撮影（ＣＴ）画像を備える、［１５］～［１８］のいずれか一項に記載のシステム。
［２０］ 前記参照データは、前記骨の３次元モデルを備える、［１５］～［１９］のいずれか一項に記載のシステム。
［２１］ 前記処理回路は、前記仮想ガイダンスを生成することの一環として、前記臨床医が前記超音波プローブを移動させるべき方向を示す仮想方向要素を生成するように構成されている、［１５］～［２０］のいずれか一項に記載のシステム。
［２２］ 前記処理回路は、前記ＭＲ可視化デバイスに、前記仮想ガイダンスを前記臨床医に出力させることの一環として、前記仮想ガイダンスが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記仮想ガイダンスを出力させるように構成されている、［２１］に記載のシステム。
［２３］ 前記位置合わせデータは、第１の位置合わせデータであり、
前記処理回路は、前記仮想ガイダンスを生成することの一環として、
前記参照データに基づく前記軟部組織構造の推定モデルを取得することと、
前記第１の位置合わせデータに基づいて、前記軟部組織構造の前記推定モデル上の仮想位置と前記骨の対応する物理的位置とを位置合わせする第２の位置合わせデータを生成することと、
前記第２の位置合わせデータ及び前記超音波プローブの前記物理的位置に基づいて、前記超音波プローブが前記目標ポジションにくるように前記超音波プローブを移動させる方向を決定することと、
を行うように構成されている、［１５］～［２２］のいずれか一項に記載のシステム。
［２４］ 前記処理回路は、前記軟部組織構造の前記推定モデルを取得することの一環として、前記参照データに基づいて、前記軟部組織構造の統計的形状モデルとして前記軟部組織構造の前記推定モデルを生成するように構成されている、［２３］に記載のシステム。
［２５］ 前記軟部組織構造は、腱、靱帯、筋肉、軟骨、又は血管のうちの１つである、［１５］～［２４］のいずれか一項に記載のシステム。
［２６］ 前記目標ポジションは、第１の目標ポジションであり、
前記仮想ガイダンスは、第１の仮想ガイダンスであり、前記処理回路は、
前記第２の超音波データを取得することと、
前記参照データ、前記位置合わせデータ、及び前記超音波プローブの前記物理的位置に基づいて第２の仮想ガイダンスを決定することと、ここにおいて、前記第２の仮想ガイダンスは、前記超音波プローブが前記患者の前記軟部組織構造に関する追加の情報を提供する第３の超音波データを生成するための第２の目標ポジションにくるように前記超音波プローブをどのように移動させるべきかを前記臨床医に指示し、
前記ＭＲ可視化デバイスに、前記第２の仮想ガイダンスを前記臨床医に出力させることと、
を行うように更に構成されている、［１５］～［２５］のいずれか一項に記載のシステム。
［２７］ 前記処理回路は、前記骨のモデル及び前記軟部組織構造のモデルが前記患者に重ね合わされているように前記臨床医に見えるように、前記ＭＲ可視化デバイスに前記骨の前記モデル及び前記軟部組織構造の前記モデルを出力させるように更に構成されている、［１５］～［２６］のいずれか一項に記載のシステム。
［２８］ 前記仮想ガイダンスは、前記超音波プローブが前記第２の超音波データを生成するための前記目標ポジションにくるように前記患者に対する前記超音波プローブの角度をどのように調整すべきかを示す、［２７］に記載のシステム。
［２９］ 実行されると、処理回路に、［１］～［１４］のいずれか一項に記載の方法を実施させる命令を記憶した、コンピュータ可読媒体。
［３０］ ［１］～［１４］のいずれか一項に記載の方法を実施するための手段を備える、システム。

【国際調査報告】