特表 2025-506521 インプラント設置ガイドと方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-03-11

(54)【発明の名称】インプラント設置ガイドと方法

(51)【国際特許分類】

   A61B 34/10 20160101AFI20250304BHJP

   A61B 34/20 20160101ALI20250304BHJP

【ＦＩ】

A61B34/10

A61B34/20

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024548438

(86)(22)【出願日】2023-02-16

(85)【翻訳文提出日】2024-10-11

(86)【国際出願番号】 US2023062713

(87)【国際公開番号】W WO2023159104

(87)【国際公開日】2023-08-24

(31)【優先権主張番号】63/268,070

(32)【優先日】2022-02-16

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

(71)【出願人】

【識別番号】522369979

【氏名又は名称】モノグラム・オーサピディクス・インコーポレイテッド

【氏名又は名称原語表記】Ｍｏｎｏｇｒａｍ Ｏｒｔｈｏｐａｅｄｉｃｓ Ｉｎｃ．

(71)【出願人】

【識別番号】509059941

【氏名又は名称】アイカーン・スクール・オブ・メディシン・アット・マウント・サイナイ

【氏名又は名称原語表記】ＩＣＡＨＮ ＳＣＨＯＯＬ ＯＦ ＭＥＤＩＣＩＮＥ ＡＴ ＭＯＵＮＴ ＳＩＮＡＩ

【住所又は居所原語表記】Ｏｎｅ Ｇｕｓｔａｖｅ Ｌ．Ｌｅｖｙ Ｐｌａｃｅ，Ｎｅｗ Ｙｏｒｋ，ＮＹ １００２９ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100163902

【弁理士】

【氏名又は名称】市川 奈月

(72)【発明者】

【氏名】シャマエイ，カムラン

(72)【発明者】

【氏名】ユニス，ダグラス ビー

(57)【要約】

外科手術中に適切な物体配置を容易にすることは、外科手術環境で物体が移動する際に物体の位置および場所を追跡して、患者の解剖学的構造に対する物体の所望の位置／配置に物体を位置および配置することと、ＡＲ要素が外科手術環境のビューに重なるようにディスプレイ装置に拡張現実（ＡＲ）要素を表示して、患者の解剖学的構造に対する物体の適切な位置および配置を支援することと、ディスプレイ装置に物体が希望の位置および配置に移動されたことを視覚的に示すことを含む。

【特許請求の範囲】

【請求項1】

コンピュータで実行される方法であって、
患者の解剖学的構造に対して、位置決めおよび配置（positioned and placed）されるべき物理対象物の所望の位置および配置（position and placement）を決定することと、
ディスプレイ装置に、手術環境のビューに重ねて拡張現実（ＡＲ）要素を提示することと、
前記患者の解剖学的構造に対する物理対象物の位置および場所を決定するため、前記物理対象物が前記手術環境内で移動されるときに、前記物理対象物の位置および場所を追跡することと、
物理対象物の所望の位置および場所に一致する物理対象物の位置および配置に基づいて、物理対象物が患者の解剖学的構造に対する所望の位置および場所に移動されたことを前記ディスプレイ装置に視覚的に示すことと、
を含み、
前記所望の位置および配置は、前記患者の手術計画によって規定され、
前記手術環境は、前記患者の解剖学的構造を含み、
前記ＡＲ要素を物理対象物の所望の位置および配置に配置して、前記位置および配置を提示することは、前記患者の解剖学的構造に対する前記物理対象物の適切な配置を容易にする
方法。

【請求項2】

前記患者の解剖学的構造の描写を含む前記手術環境のビューを描写するビデオストリームを取得することと、
前記ビデオストリームを前記ディスプレイ装置に提示することと、
をさらに含み、
前記ディスプレイ装置に前記ＡＲ要素を提示することは、前記ビデオストリームを拡張し、前記ビデオストリームに描写されるように前記患者の解剖学的構造に対応させて前記物理対象物を配置するための所望の位置および配置に前記ＡＲ要素を含む
請求項１に記載の方法。

【請求項3】

前記ビデオストリームを提示する一部として、および、前記物理対象物が前記患者の解剖学的構造に対して位置決めされるときに、前記ＡＲ要素が提示される前記手術環境の領域に拡大（zooming-in）することをさらに含む、
請求項２に記載の方法。

【請求項4】

前記ディスプレイ装置は、ユーザが前記手術環境のビューを見るための透明ディスプレイを備え、
前記ＡＲ要素は前記透明ディスプレイに提示され、前記透明ディスプレイを通して前記ユーザの前記手術環境のビューを拡張する
請求項１に記載の方法。

【請求項5】

前記透明ディスプレイは、スマートウェアラブルグラスデバイスの一部として提供される
請求項４に記載の方法。

【請求項6】

前記視覚的に示すことは、前記ディスプレイ装置の前記ＡＲ要素の視覚的表示を変更することを含む
請求項１、２、３、４または５に記載の方法。

【請求項7】

前記ＡＲ要素は、最初は少なくとも部分的に第１の色またはパターンであり、
前記視覚的に示すことは、前記第１の色またはパターンを別の色またはパターンに変更することを含む
請求項６に記載の方法。

【請求項8】

前記物理対象物の位置および場所を追跡することは、
前記物理対象物の１つ以上のマーカ、
前記物理対象物の既知の形状に基づいてビュー内の前記物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または
前記物理対象物に対して固定された既知の場所を持つ少なくとも１つの他の物理対象物の位置の追跡すること、
のうち少なくとも１つを使用して実行される
請求項１、２、３、４または５に記載の方法。

【請求項9】

前記手術環境における前記患者の解剖学的構造の場所および位置を追跡することをさらに含み、
前記患者の解剖学的構造が位置変更されることに基づいて、前記ＡＲ要素を提示して、前記ＡＲ要素を位置変更し、前記患者の解剖学的構造に対して配置されるべき前記物理対象物の所望の位置および配置に前記ＡＲ要素を維持する
請求項１、２、３、４、または５に記載の方法。

【請求項10】

前記手術計画は、患者の解剖学的構造に対する１つ以上の所望の切断を含み、
前記方法は、
前記患者の解剖学的構造に対して前記１つ以上の所望の切断が行われたことを判定し、
さらに、前記物理対象物の前記所望の位置および配置を判定すること、および、実行された前記１つ以上の所望の切断に基づいて前記ＡＲ要素を提示すること、を実行する
請求項１、２、３、４または５に記載の方法。

【請求項11】

前記ＡＲ要素は第１のＡＲ要素であり、
前記方法はさらに、前記手術環境のビューにおいて、前記物理対象物に重ね合わされる第２のＡＲ要素を前記ディスプレイ装置に提示することを含む
請求項１、２、３、４または５に記載の方法。

【請求項12】

前記物理対象物はインプラントである
請求項１、２、３、４、または５に記載の方法。

【請求項13】

前記ＡＲ要素は前記物理対象物のデジタルモデルである
請求項１、２、３、４、または５に記載の方法。

【請求項14】

メモリおよび前記メモリと通信するプロセッサとを含むコンピュータシステムであって、
患者の解剖学的構造に対して、位置決めおよび配置（positioned and placed）されるべき物理対象物の所望の位置および配置（position and placement）を決定することと、
ディスプレイ装置に、手術環境のビューに重ねて拡張現実（ＡＲ）要素を提示することと、
前記患者の解剖学的構造に対する物理対象物の位置および場所を決定するため、前記物理対象物が前記手術環境内で移動されるときに、前記物理対象物の位置および場所を追跡することと、
物理対象物の所望の位置および場所に一致する物理対象物の位置および配置に基づいて、物理対象物が患者の解剖学的構造に対する所望の位置および場所に移動されたことを前記ディスプレイ装置に視覚的に示すことと、
を含む方法を実行させるコンピュータシステムであって、
前記所望の位置および配置は、前記患者の手術計画によって規定され、
前記手術環境は、前記患者の解剖学的構造を含み、
前記ＡＲ要素を物理対象物の所望の位置および配置に配置して、前記位置および配置を提示することは、前記患者の解剖学的構造に対する前記物理対象物の適切な配置を容易にする
コンピュータシステム。

【請求項15】

前記方法は、
前記患者の解剖学的構造の描写を含む前記手術環境のビューを描写するビデオストリームを取得することと、
前記ビデオストリームを前記ディスプレイ装置に提示することと、
をさらに含み、
前記ディスプレイ装置に前記ＡＲ要素を提示することは、前記ビデオストリームを拡張し、前記ビデオストリームに描写されるように前記患者の解剖学的構造に対して前記物理対象物を配置するための所望の位置および配置に前記ＡＲ要素を含む
請求項１４に記載のコンピュータシステム。

【請求項16】

前記ビデオストリームを提示する一部として、および、前記物理対象物が前記患者の解剖学的構造に対して位置決めされるときに、前記ＡＲ要素が提示される前記手術環境の領域に拡大することをさらに含む、
請求項１５に記載のコンピュータシステム。

【請求項17】

前記ディスプレイ装置は、ユーザが前記手術環境のビューを見るための透明ディスプレイを備え、
前記ＡＲ要素は前記透明ディスプレイに提示され、前記透明ディスプレイを通して前記ユーザの前記手術環境のビューを拡張する
請求項１４に記載のコンピュータシステム。

【請求項18】

前記透明ディスプレイは、スマートウェアラブルグラスデバイスの一部として提供される
請求項１７に記載のコンピュータシステム。

【請求項19】

前記視覚的に示すことは、前記ディスプレイ装置の前記ＡＲ要素の視覚的表示を変更することを含む
請求項１４、１５、１６、１７または１８に記載のコンピュータシステム。

【請求項20】

前記ＡＲ要素は、最初は少なくとも部分的に第１の色またはパターンであり、
前記視覚的に示すことは、前記第１の色またはパターンを別の色またはパターンに変更することを含む
請求項１９に記載のコンピュータシステム。

【請求項21】

前記物理対象物の位置および場所を追跡することは、
前記物理対象物の１つ以上のマーカ、
前記物理対象物の既知の形状に基づいてビュー内の前記物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または
前記物理対象物に対して固定された既知の場所を持つ少なくとも１つの他の物理対象物の位置の追跡すること、
のうち少なくとも１つを使用して実行される
請求項１４、１５、１６、１７または１８に記載のコンピュータシステム。

【請求項22】

前記方法は、
前記手術環境における前記患者の解剖学的構造の場所および位置を追跡することをさらに含み、
前記患者の解剖学的構造が位置変更されることに基づいて、前記ＡＲ要素を提示して、前記ＡＲ要素を位置変更し、前記患者の解剖学的構造に対して配置されるべき前記物理対象物の所望の位置および配置に前記ＡＲ要素を維持する
請求項１４、１５、１６、１７または１８に記載のコンピュータシステム。

【請求項23】

前記手術計画は、患者の解剖学的構造に対する１つ以上の所望の切断を含み、
前記方法は、
前記患者の解剖学的構造に対して前記１つ以上の所望の切断が行われたことを判定し、
さらに、前記物理対象物の前記所望の位置および配置を判定すること、および、実行された前記１つ以上の所望の切断に基づいて前記ＡＲ要素を提示すること、を実行する
請求項１４、１５、１６、１７または１８に記載のコンピュータシステム。

【請求項24】

前記ＡＲ要素は第１のＡＲ要素であり、
前記方法はさらに、前記手術環境のビューにおいて、前記物理対象物に重ね合わされる第２のＡＲ要素を前記ディスプレイ装置に提示することを含む
請求項１４、１５、１６、１７または１８に記載のコンピュータシステム。

【請求項25】

前記物理対象物はインプラントである
請求項１４、１５、１６、１７または１８に記載のコンピュータシステム。

【請求項26】

前記ＡＲ要素は前記物理対象物のデジタルモデルである
請求項１４、１５、１６、１７または１８に記載のコンピュータシステム。

【請求項27】

処理回路によって読み取り可能で、処理回路によって実行される方法を実行する命令を記憶するコンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、
前記方法は
患者の解剖学的構造に対して、位置決めおよび配置（positioned and placed）されるべき物理対象物の所望の位置および配置（position and placement）を決定することと、
ディスプレイ装置に、手術環境のビューに重ねて拡張現実（ＡＲ）要素を提示することと、
前記患者の解剖学的構造に対する物理対象物の位置および場所を決定するため、前記物理対象物が前記手術環境内で移動されるときに、前記物理対象物の位置および場所を追跡することと、
物理対象物の所望の位置および場所に一致する物理対象物の位置および配置に基づいて、物理対象物が患者の解剖学的構造に対する所望の位置および場所に移動されたことを前記ディスプレイ装置に視覚的に示すことと、
を含み、
前記所望の位置および配置は、前記患者の手術計画によって規定され、
前記手術環境は、前記患者の解剖学的構造を含み、
前記ＡＲ要素を物理対象物の所望の位置および配置に配置して、前記位置および配置を提示することは、前記患者の解剖学的構造に対する前記物理対象物の適切な配置を容易にする
コンピュータプログラム製品。

【請求項28】

前記方法は、
前記患者の解剖学的構造の描写を含む前記手術環境のビューを描写するビデオストリームを取得することと、
前記ビデオストリームを前記ディスプレイ装置に提示することと、
をさらに含み、
前記ディスプレイ装置に前記ＡＲ要素を提示することは、前記ビデオストリームを拡張し、前記ビデオストリームに描写されるように前記患者の解剖学的構造に対して前記物理対象物を配置するための所望の位置および配置に前記ＡＲ要素を含む
請求項２７に記載のコンピュータプログラム製品。

【請求項29】

前記ビデオストリームを提示する一部として、および、前記物理対象物が前記患者の解剖学的構造に対して位置決めされるときに、前記ＡＲ要素が提示される前記手術環境の領域に拡大することをさらに含む、
請求項２８に記載のコンピュータプログラム製品。

【請求項30】

前記ディスプレイ装置は、ユーザが前記手術環境のビューを見るための透明ディスプレイを備え、
前記ＡＲ要素は前記透明ディスプレイに提示され、前記透明ディスプレイを通して前記ユーザの前記手術環境のビューを拡張する
請求項２７に記載のコンピュータプログラム製品。

【請求項31】

前記透明ディスプレイは、スマートウェアラブルグラスデバイスの一部として提供される
請求項３０に記載のコンピュータプログラム製品。

【請求項32】

前記視覚的に示すことは、前記ディスプレイ装置の前記ＡＲ要素の視覚的表示を変更することを含む
請求項２７、２８、２９、３０または３１に記載のコンピュータプログラム製品。

【請求項33】

前記ＡＲ要素は、最初は少なくとも部分的に第１の色またはパターンであり、
前記視覚的に示すことは、前記第１の色またはパターンを別の色またはパターンに変更することを含む
請求項２７、２８、２９、３０または３１に記載のコンピュータプログラム製品。

【請求項34】

前記物理対象物の位置および場所を追跡することは、
前記物理対象物の１つ以上のマーカ、
前記物理対象物の既知の形状に基づいてビュー内の前記物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または
前記物理対象物に対して固定された既知の場所を持つ少なくとも１つの他の物理対象物の位置の追跡すること、
のうち少なくとも１つを使用して実行される
請求項２７、２８、２９、３０または３１に記載のコンピュータプログラム製品。

【請求項35】

前記方法は、
前記手術環境における前記患者の解剖学的構造の場所および位置を追跡することをさらに含み、
前記患者の解剖学的構造が位置変更されることに基づいて、前記ＡＲ要素を提示して、前記ＡＲ要素を位置変更し、前記患者の解剖学的構造に対して配置されるべき前記物理対象物の所望の位置および配置に前記ＡＲ要素を維持する
請求項２７、２８、２９、３０または３１に記載のコンピュータプログラム製品。

【請求項36】

前記手術計画は、患者の解剖学的構造に対する１つ以上の所望の切断を含み、
前記方法は、
前記患者の解剖学的構造に対して前記１つ以上の所望の切断が行われたことを判定し、
さらに、前記物理対象物の前記所望の位置および配置を判定すること、および、実行された前記１つ以上の所望の切断に基づいて前記ＡＲ要素を提示すること、を実行する
請求項２７、２８、２９、３０または３１に記載のコンピュータプログラム製品。

【請求項37】

前記ＡＲ要素は第１のＡＲ要素であり、
前記方法はさらに、前記手術環境のビューにおいて、前記物理対象物に重ね合わされる第２のＡＲ要素を前記ディスプレイ装置に提示することを含む
請求項２７、２８、２９、３０または３１に記載のコンピュータプログラム製品。

【請求項38】

前記物理対象物はインプラントである
請求項２７、２８、２９、３０または３１に記載のコンピュータプログラム製品。

【請求項39】

前記ＡＲ要素は前記物理対象物のデジタルモデルである
請求項２７、２８、２９、３０または３１に記載のコンピュータプログラム製品。

【請求項40】

コンピュータで実行される方法であって、
手術環境内で物理対象物が移動されるときに、前記手術環境内の前記物理対象物の位置および場所（position and location）を追跡することと、
ディスプレイ装置に、前記手術環境のビューに前記物理対象物を重ねた拡張現実（ＡＲ）要素を提示することと、
前記物理対象物の位置および場所が前記物理対象物の所望の位置および配置と一致していることに基づいて、前記物理対象物が患者の解剖学的構造に対して前記所望の位置および配置に移動されたことを前記ディスプレイ装置に視覚的に示すことと、
を含み、
前記ビューは、前記物理対象物と、前記患者の手術計画によって指示された前記物理対象物の所望の位置および配置に従って前記物理対象物が位置決めおよび配置される前記患者の解剖学的構造とを示し、
前記提示は、前記追跡に基づいて、前記手術環境内で前記物理対象物が移動されるときに前記ビュー内で前記物理対象物を重ねる前記ＡＲ要素を維持する
方法。

【請求項41】

前記患者の解剖学的構造の描写を含む前記手術環境のビューを描写するビデオストリームを取得することと、
前記ディスプレイ装置に前記ビデオストリームを提示することと、
をさらに含み、
前記ディスプレイ装置に前記ＡＲ要素を提示することは、前記ビデオストリームを拡張し、前記手術環境のビュー内の前記物理対象物に重ねて表示されるＡＲ要素を含む
請求項４０に記載の方法。

【請求項42】

前記ビデオストリームを提示する一部として、および、前記物理対象物が前記患者の解剖学的構造に対して位置決めされるときに、前記手術環境の領域を拡大して、前記物理対象物の前記所望の位置と配置を表示することをさらに含む
請求項４１に記載の方法。

【請求項43】

前記ディスプレイ装置は、ユーザが前記手術環境のビューを見るための透明ディスプレイを備え、
前記ＡＲ要素は前記透明ディスプレイに提示され、前記透明ディスプレイを通して前記ユーザの前記手術環境のビューを拡張する
請求項４０に記載の方法。

【請求項44】

前記透明ディスプレイは、スマートウェアラブルグラスデバイスの一部として提供される
請求項４３に記載の方法。

【請求項45】

前記視覚的に示すことは、前記ディスプレイ装置の前記ＡＲ要素の視覚的表示を変更することを含む
請求項４０、４１、４２、４４または４４に記載の方法。

【請求項46】

前記ＡＲ要素は、最初は少なくとも部分的に第１の色またはパターンであり、
前記視覚的に示すことは、前記第１の色またはパターンを別の色またはパターンに変更することを含む
請求項４５に記載の方法。

【請求項47】

前記物理対象物の位置および場所を追跡することは、
前記物理対象物の１つ以上のマーカ、
前記物理対象物の既知の形状に基づいてビュー内の前記物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または
前記物理対象物に対して固定された既知の場所を持つ少なくとも１つの他の物理対象物の位置の追跡すること、
のうち少なくとも１つを使用して実行される
請求項４０、４１、４２、４４または４４に記載の方法。

【請求項48】

前記ＡＲ要素は第１のＡＲ要素であり、
前記方法は、前記所望の位置または配置の前記物理対象物に前記患者の解剖学的構造に対して位置決めまたは配置される第２のＡＲ要素を前記ディスプレイ装置に提示することをさらに含む
請求項４０、４１、４２、４４または４４に記載の方法。

【請求項49】

前記ＡＲ要素は前記物理対象物のデジタルモデルである
請求項４０、４１、４２、４４または４４に記載の方法。

【請求項50】

前記物理対象物はインプラントである
請求項４０、４１、４２、４４または４４に記載の方法。

【請求項51】

メモリおよび前記メモリと通信するプロセッサとを含むコンピュータシステムであって、
手術環境内で物理対象物が移動されるときに、前記手術環境内の前記物理対象物の位置および場所（position and location）を追跡することと、
ディスプレイ装置に、前記手術環境のビューに前記物理対象物を重ねた拡張現実（ＡＲ）要素を提示することと、
前記物理対象物の位置および場所が前記物理対象物の所望の位置および配置と一致していることに基づいて、前記物理対象物が患者の解剖学的構造に対して前記所望の位置および配置に移動されたことを前記ディスプレイ装置に視覚的に示すことと、
を含む方法を実行させるコンピュータシステムであって、
前記ビューは、前記物理対象物と、前記患者の手術計画によって指示された前記物理対象物の所望の位置および配置に従って前記物理対象物が位置決めおよび配置される前記患者の解剖学的構造とを示し、
前記提示は、前記追跡に基づいて、前記手術環境内で前記物理対象物が移動されるときに前記ビュー内で前記物理対象物を重ねる前記ＡＲ要素を維持する、
コンピュータシステム。

【請求項52】

前記方法は、
前記患者の解剖学的構造の描写を含む前記手術環境のビューを描写するビデオストリームを取得することと、
前記ディスプレイ装置に前記ビデオストリームを提示することと、
をさらに含み、
前記ディスプレイ装置に前記ＡＲ要素を提示することは、前記ビデオストリームを拡張し、前記手術環境のビュー内の前記物理対象物に重ねて表示されるＡＲ要素を含む
請求項５１に記載のコンピュータシステム。

【請求項53】

前記ビデオストリームを提示する一部として、および、前記物理対象物が前記患者の解剖学的構造に対して位置決めされるときに、前記手術環境の領域を拡大して、前記物理対象物の前記所望の位置と配置を表示することをさらに含む、
請求項５２に記載のコンピュータシステム。

【請求項54】

前記ディスプレイ装置は、ユーザが前記手術環境のビューを見るための透明ディスプレイを備え、
前記ＡＲ要素は前記透明ディスプレイに提示され、前記透明ディスプレイを通して前記ユーザの前記手術環境のビューを拡張する
請求項５１に記載のコンピュータシステム。

【請求項55】

前記透明ディスプレイは、スマートウェアラブルグラスデバイスの一部として提供される
請求項５４に記載のコンピュータシステム。

【請求項56】

前記視覚的に示すことは、前記ディスプレイ装置の前記ＡＲ要素の視覚的表示を変更することを含む
請求項５１、５２、５３、５４または５５に記載のコンピュータシステム。

【請求項57】

前記ＡＲ要素は、最初は少なくとも部分的に第１の色またはパターンであり、
前記視覚的に示すことは、前記第１の色またはパターンを別の色またはパターンに変更することを含む
請求項５６に記載のコンピュータシステム。

【請求項58】

前記物理対象物の位置および場所を追跡することは、
前記物理対象物の１つ以上のマーカ、
前記物理対象物の既知の形状に基づいてビュー内の前記物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または
前記物理対象物に対して固定された既知の場所を持つ少なくとも１つの他の物理対象物の位置の追跡すること、
のうち少なくとも１つを使用して実行される
請求項５１、５２、５３、５４または５５に記載のコンピュータシステム。

【請求項59】

前記ＡＲ要素は第１のＡＲ要素であり、
前記方法は、前記所望の位置または配置の前記物理対象物に前記患者の解剖学的構造に対して位置決めまたは配置される第２のＡＲ要素を前記ディスプレイ装置に提示することをさらに含む
請求項５１、５２、５３、５４または５５に記載のコンピュータシステム。

【請求項60】

前記ＡＲ要素は前記物理対象物のデジタルモデルである
請求項５１、５２、５３、５４または５５に記載のコンピュータシステム。

【請求項61】

前記物理対象物はインプラントである
請求項５１、５２、５３、５４または５５に記載のコンピュータシステム。

【請求項62】

処理回路によって読み取り可能で、処理回路によって実行される方法を実行する命令を記憶するコンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、
前記方法は
手術環境内で物理対象物が移動されるときに、前記手術環境内の前記物理対象物の位置および場所（position and location）を追跡することと、
ディスプレイ装置に、前記手術環境のビューに前記物理対象物を重ねた拡張現実（ＡＲ）要素を提示することと、
前記物理対象物の位置および場所が前記物理対象物の所望の位置および配置と一致していることに基づいて、前記物理対象物が患者の解剖学的構造に対して前記所望の位置および配置に移動されたことを前記ディスプレイ装置に視覚的に示すことと、
を含み、
前記ビューは、前記物理対象物と、前記患者の手術計画によって指示された前記物理対象物の所望の位置および配置に従って前記物理対象物が位置決めおよび配置される前記患者の解剖学的構造とを示し、
前記提示は、前記追跡に基づいて、前記手術環境内で前記物理対象物が移動されるときに前記ビュー内で前記物理対象物を重ねる前記ＡＲ要素を維持する、
コンピュータプログラム製品。

【請求項63】

前記方法は、
前記患者の解剖学的構造の描写を含む前記手術環境のビューを描写するビデオストリームを取得することと、
前記ディスプレイ装置に前記ビデオストリームを提示することと、
をさらに含み、
前記ディスプレイ装置に前記ＡＲ要素を提示することは、前記ビデオストリームを拡張し、前記手術環境のビュー内の前記物理対象物に重ねて表示されるＡＲ要素を含む
請求項６２に記載のコンピュータプログラム製品。

【請求項64】

前記方法は、前記ビデオストリームを提示する一部として、および、前記物理対象物が前記患者の解剖学的構造に対して位置決めされるときに、前記手術環境の領域を拡大して、前記物理対象物の前記所望の位置と配置を表示することさらに含む
請求項６３に記載のコンピュータプログラム製品。

【請求項65】

前記ディスプレイ装置は、ユーザが前記手術環境のビューを見るための透明ディスプレイを備え、
前記ＡＲ要素は前記透明ディスプレイに提示され、前記透明ディスプレイを通して前記ユーザの前記手術環境のビューを拡張する
請求項６２に記載のコンピュータプログラム製品。

【請求項66】

前記透明ディスプレイは、スマートウェアラブルグラスデバイスの一部として提供される
請求項６５に記載のコンピュータプログラム製品。

【請求項67】

前記視覚的に示すことは、前記ディスプレイ装置の前記ＡＲ要素の視覚的表示を変更することを含む
請求項６２、６３、６４、６５または６６に記載のコンピュータプログラム製品。

【請求項68】

前記ＡＲ要素は、最初は少なくとも部分的に第１の色またはパターンであり、
前記視覚的に示すことは、前記第１の色またはパターンを別の色またはパターンに変更することを含む
請求項６７に記載のコンピュータプログラム製品。

【請求項69】

前記物理対象物の位置および場所を追跡することは、
前記物理対象物の１つ以上のマーカ、
前記物理対象物の既知の形状に基づいてビュー内の前記物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または
前記物理対象物に対して固定された既知の場所を持つ少なくとも１つの他の物理対象物の位置の追跡すること、
のうち少なくとも１つを使用して実行される
請求項６２、６３、６４、６５または６６に記載のコンピュータプログラム製品。

【請求項70】

前記ＡＲ要素は第１のＡＲ要素であり、
前記方法は、前記所望の位置または配置の前記物理対象物に前記患者の解剖学的構造に対して位置決めまたは配置される第２のＡＲ要素を前記ディスプレイ装置に提示することをさらに含む
請求項６２、６３、６４、６５、または６６に記載のコンピュータプログラム製品。

【請求項71】

前記ＡＲ要素は前記物理対象物のデジタルモデルである
請求項６２、６３、６４、６５、または６６に記載のコンピュータプログラム製品。

【請求項72】

前記物理対象物はインプラントである
請求項Ｂ２３、Ｂ２４、Ｂ２５、Ｂ２６またはＢ２７に記載のコンピュータプログラム製品。

【発明の詳細な説明】

【背景技術】

【0001】

再建手術の目的は、インプラントと接合するために切断された患者の骨にインプラントを正確に配置することである。ナビゲーションおよびロボット工学を含む精巧な器具を使用して、適切に骨を切断する。

【発明の概要】

【0002】

第１実施形態では、コンピュータで実行される方法を提供することで、従来技術の欠点が克服され、追加の利点が提供される。方法は、患者の解剖学的構造に対して、位置決めおよび配置（positioned and placed）されるべき物理対象物の所望の位置および配置（position and placement）を決定することと、ディスプレイ装置に、手術環境のビューに重ねて拡張現実（ＡＲ）要素を提示することと、患者の解剖学的構造に対する物理対象物の位置および場所を決定するため、物理対象物が手術環境内で移動されるときに、物理対象物の位置および場所を追跡することと、物理対象物の所望の位置および場所に一致する物理対象物の位置および配置に基づいて、物理対象物が患者の解剖学的構造に対する所望の位置および場所に移動されたことをディスプレイ装置に視覚的に示すことを含む。所望の位置および配置は、患者の手術計画によって規定される。手術環境は、患者の解剖学的構造を含む。ＡＲ要素を物理対象物の所望の位置および配置に配置して、位置および配置を提示することは、患者の解剖学的構造に対する物理対象物の適切な配置を容易にする。

【0003】

実施形態では、方法は、任意で、患者の解剖学的構造の描写を含む手術環境のビューを描写するビデオストリームを取得することと、ディスプレイ装置にビデオストリームを提示することをさらに含む。ディスプレイ装置にＡＲ要素を提示することは、ビデオストリームを拡張し、ビデオストリームに描写されるように患者の解剖学的構造に対して物理対象物を配置するための所望の位置および配置にＡＲ要素を含む。

【0004】

実施形態では、方法は、任意で、ビデオストリームを提示する一部として、および、物理対象物が患者の解剖学的構造に対して位置決めされるときに、ＡＲ要素が提示される手術環境の領域に拡大（zooming-in）することをさらに含む。

【0005】

実施形態では、ディスプレイは、任意で、ユーザが前記手術環境のビューを見るための透明ディスプレイを含み、ＡＲ要素は透明ディスプレイ装置に提示され、透明ディスプレイを通してユーザの手術環境のビューを拡張する。

【0006】

実施形態では、透明ディスプレイは、任意で、スマートウェアラブルグラスデバイスの一部として提供される。

【0007】

実施形態では、視覚的に示すことは、任意で、ディスプレイ装置のＡＲ要素の視覚的表示を変更することを含む。

【0008】

実施形態では、ＡＲ要素は、任意で、最初は少なくとも部分的に第１の色またはパターンであり、視覚的に示すことは、第１の色またはパターンを別の色またはパターンに変更することを含む。

【0009】

実施形態では、物理対象物の位置および場所を追跡することは、任意で、物理対象物の１つ以上のマーカ、物理対象物の既知の形状に基づいてビュー内の物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または、物理対象物に対して固定された既知の場所を持つ少なくとも１つの他の物理対象物の位置の追跡すること、のうち少なくとも１つを使用して実行される。

【0010】

実施形態では、方法は、任意で、手術環境における患者の解剖学的構造の場所および位置を追跡することをさらに含み、患者の解剖学的構造が位置変更されることに基づいて、ＡＲ要素を提示して、ＡＲ要素を位置変更し、患者の解剖学的構造に対して配置されるべき物理対象物の所望の位置および配置にＡＲ要素を維持することができる。

【0011】

実施形態では、手術計画は、任意で、患者の解剖学的構造に対する１つ以上の所望の切断を含み、方法は、患者の解剖学的構造に対して１つ以上の所望の切断が行われたことを判定し、さらに、物理対象物の所望の位置および配置を判定すること、および、実行された１つ以上の所望の切断に基づいてＡＲ要素を提示すること、を実行する。

【0012】

実施形態では、ＡＲ要素は、任意で、第１のＡＲ要素であり、方法はさらに、手術環境のビューにおいて、物理対象物に重ね合わされる第２のＡＲ要素をディスプレイ装置に提示することを含む。

【0013】

実施形態では、物理対象物は、任意で、インプラントである。

【0014】

実施形態では、ＡＲ要素は、任意で、物理対象物のデジタルモデルである。

【0015】

代替の実施形態では、メモリおよびメモリと通信するプロセッサとを含むコンピュータシステムが提供される。コンピュータシステムは、前述の方法のいずれかを実行するように構成される。他の代替の実施形態では、処理回路によって読み取り可能で、前述の方法のいずれかを実行するために処理回路によって実行される命令を記憶するコンピュータ可読記憶媒体を含むコンピュータプログラム製品が提供される。

【0016】

追加的に、または、代替的に、第２の実施形態では、コンピュータで実行される方法を提供することで、従来技術の欠点が克服され、追加の利点が提供される。方法は、手術環境内で物理対象物が移動されるときに、手術環境内の物理対象物の位置および場所（position and location）を追跡することと、ディスプレイ装置に、手術環境のビューで物理対象物を重ねた拡張現実（ＡＲ）要素を提示することと、物理対象物の位置および場所が物理対象物の所望の位置および配置と一致していることに基づいて、物理対象物が患者の解剖学的構造に対応させて所望の位置および配置に移動されたことをディスプレイ装置に視覚的に示すことを含む。ビューは、物理対象物と、患者の手術計画によって指示された物理対象物の所望の位置および配置に従って物理対象物が位置決めおよび配置される前記患者の解剖学的構造とを示す。記提示は、追跡に基づいて、手術環境内で物理対象物が移動されるときにビュー内で物理対象物を重ねるＡＲ要素を維持する。

【0017】

実施形態では、方法は、任意で、患者の解剖学的構造の描写を含む手術環境のビューを描写するビデオストリームを取得することと、ディスプレイ装置にビデオストリームを提示することと、をさらに含み、ディスプレイ装置にＡＲ要素を提示することは、ビデオストリームを拡張し、手術環境のビュー内の物理対象物に重ねて表示されるＡＲ要素を含む。

【0018】

実施形態では、方法は、任意で、ビデオストリームを提示する一部として、および、物理対象物が患者の解剖学的構造に対して位置決めされるときに、手術環境の領域を拡大して、物理対象物の所望の位置と配置を表示することをさらに含む。

【0019】

実施形態では、ディスプレイ装置は、任意で、ユーザが手術環境のビューを見るための透明ディスプレイを備え、ＡＲ要素は透明ディスプレイに提示され、透明ディスプレイを通してユーザの手術環境のビューを拡張する。

【0020】

実施形態では、透明ディスプレイは、任意で、スマートウェアラブルグラスデバイスの一部として提供される。

【0021】

実施形態では、視覚的に示すことは、任意で、ディスプレイ装置のＡＲ要素の視覚的表示を変更することを含む。

【0022】

実施形態では、ＡＲ要素は、任意で、最初は少なくとも部分的に第１の色またはパターンであり、視覚的に示すことは、第１の色またはパターンを別の色またはパターンに変更することを含む。

【0023】

実施形態では、物理対象物の位置および場所を追跡することは、任意で、物理対象物の１つ以上のマーカ、物理対象物の既知の形状に基づいてビュー内の物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または、物理対象物に対して固定された既知の場所を持つ少なくとも１つの他の物理対象物の位置の追跡すること、のうち少なくとも１つを使用して実行される。

【0024】

実施形態では、ＡＲ要素は、任意で、第１のＡＲ要素であり、方法は、所望の位置または配置の物理対象物に患者の解剖学的構造に対して位置決めまたは配置される第２のＡＲ要素をディスプレイ装置に提示することをさらに含む。

【0025】

実施形態では、ＡＲ要素は、任意で、物理対象物のデジタルモデルである。

【0026】

実施形態では、物理対象物は、任意で、インプラントである。

【0027】

代替の実施形態では、メモリおよびメモリと通信するプロセッサとを含むコンピュータシステムが提供される。コンピュータシステムは、前述の方法のいずれかを実行するように構成される。他の代替の実施形態では、処理回路によって読み取り可能で、前述の方法のいずれかを実行するために処理回路によって実行される命令を記憶するコンピュータ可読記憶媒体を含むコンピュータプログラム製品が提供される。

【0028】

本明細書で説明する概念を通じて、追加の特徴および利点が実現される。

【0029】

本明細書に記載の態様は特に指摘されており、明確に主張することができ、本開示の目的、特徴、および利点は、添付の図面と併せて本明細書の詳細な説明から明らかである。

【図面の簡単な説明】

【0030】

【図1A】図１Ａ～１Ｈおよび２は、本明細書に記載の態様を使用または組み込むための環境の一例を示す。

【図1B】図１Ａ～１Ｈおよび２は、本明細書に記載の態様を使用または組み込むための環境の一例を示す。

【図1C】図１Ａ～１Ｈおよび２は、本明細書に記載の態様を使用または組み込むための環境の一例を示す。

【図1D】図１Ａ～１Ｈおよび２は、本明細書に記載の態様を使用または組み込むための環境の一例を示す。

【図1E】図１Ａ～１Ｈおよび２は、本明細書に記載の態様を使用または組み込むための環境の一例を示す。

【図1F】図１Ａ～１Ｈおよび２は、本明細書に記載の態様を使用または組み込むための環境の一例を示す。

【図1G】図１Ａ～１Ｈおよび２は、本明細書に記載の態様を使用または組み込むための環境の一例を示す。

【図1H】図１Ａ～１Ｈおよび２は、本明細書に記載の態様を使用または組み込むための環境の一例を示す。

【図2】図１Ａ～１Ｈおよび２は、本明細書に記載の態様を使用または組み込むための環境の一例を示す。

【0031】

【図3】図３は、本明細書に記載の態様を組み込むおよび／または使用するコンピュータシステムおよび関連する装置の一例を示す。

【0032】

【図4】図４は、スマートアイウェアデバイスの一例を示す。

【0033】

【図5】図５および６は、本明細書に記載の態様に従って、外科手術中に患者の解剖学的構造に対して物体を追跡し、位置し、および／または配置するプロセスの一例を示す。

【図6】図５および６は、本明細書に記載の態様に従って、外科手術中に患者の解剖学的構造に対して物体を追跡し、位置し、および／または配置するプロセスの一例を示す。

【発明を実施するための形態】

【0034】

正確な骨の切断を行うための努力にもかかわらず、外科医および／またはロボットが切断を行った後の骨へのインプラントの配置は、依然として非常に主観的であり、外科医のスキルに左右される。限定されない例として、外科医は、ナビゲーション付き外科用ロボットに関連付けられたガイダンスアプリケーションを使用して、定義された外科計画に基づいてインプラントを仮想的に配置して関連する切断を実行することができる。しかし、外科医が切断を終えると、計画された配置に対するインプラントの配置の正確さを保証する方法はなく、骨へのインプラントの配置プロセスは外科医のスキルに左右され、不正確である。１つの問題は、外科医が現在、外科計画で指示された意図された計画された位置にインプラントを配置したか否かを知る方法がないことである。正確な切断を行うために多大な努力が払われているが、現在、外科医は、ほとんどまたは全くガイダンスなしに、それらの切断にインプラントを手動で配置している。

【0035】

本明細書に記載の態様は、外科手術中に、より正確なインプラント配置、例えばインプラントの計画された配置に近く、より一致する配置を行うために外科医および／またはロボット器具を支援する新規な方法を提案する。

【0036】

第１の実施例において、方法は、手術背景のＲＧＢストリーム（例えばビデオストリーム）上に／その一部としてインプラントを配置する場所および位置を表示するために、拡張オーバーレイ（例えば拡張現実（ＡＲ）オーバーレイ）の使用を提案する。このようなＡＲオーバーレイは、レンダリングされたインプラントボリュームを、不透明度（例えば、固体または半透明）の可変かつ選択可能なレベルで提示することができる。インプラント表現は、計画された仮想配置によって指示された位置で骨に投影することができる。これは、外科医が骨モデルオーバーレイを実際の骨に合わせる登録オーバーレイに類似し得るが、外科医は、ソフトウェアの支援を受けて、切断された骨の上にＡＲオーバーレイとして表示されるターゲットに、配置されるインプラントを合わせる必要があり得る。

【0037】

図１Ａを参照すると、１００は、手術が進行中の手術環境のストリーム／ビューの一例を示す。ビューはカメラフィード／ストリームによって提供され、コンピュータシステムは、ビューの上にＡＲ要素をオーバーレイ／重ね合わせ、ＡＲ要素を含むビュー（すなわち、「拡張ビュー」）を表示画面に表示することができる。追加的に、または、代替え的に、ユーザ（外科医など）は、スマートグラスまたはその他のウェアラブル装置を着用し、透明ディスプレイ（アクティブディスプレイが組み込まれた透明レンズなど）を通じて環境を見ることができ、ＡＲ要素を透明ディスプレイに表示して、ユーザに拡張ビューを提供することができる。

【0038】

ビュー１００は、固定された追跡アレイ１０２と、患者の上脚部１０４および下脚部１０６をそれぞれ示す。登録プロセスで対象の正確な位置を識別するために使用され得る登録プローブ１１０は、この例では大腿骨１０６の端にプローブチップ１１２が位置決めされている。図１Ａは、プローブ１１０の軸を表す中心軸線として、プローブ１１０から（この例では、プローブチップ１１２から）大腿骨の端に向かって伸びるガイドライン１１４（白などの所定の色で表示）も示される。このガイドライン１１４は、外科医に拡張現実（ＡＲ）要素として提示され、外科医がプローブを適切に方向付けるのに役立つ。たとえば、このラインが患者の骨の中心軸にできるだけ近くまで伸びて、患者の股関節の中心を指すようにするなどである。これを利用して、プローブと実際の患者の骨との間の同軸アライメントを容易にすることができる。

【0039】

図１Ａは、環境のビュー１００に、特に、インプラントの計画された仮想配置によって指示された位置、例えば患者の骨に隣接／上に配置されたＡＲ要素として提示されたインプラントモデル１２０も示す。患者の解剖学的構造が位置変更される場合、インプラントモデル１２０は位置変更することができる。これは、患者の骨などの固定物体の空間内の位置が追跡アレイ１０２の位置に基づいてわかっているためである。

【0040】

図１Ｂは、外科医に見える別のビュー１４０の一例を示す。このビューは、ディスプレイに提示することができる（図１Ｃのディスプレイ１４１のように）。骨１４２の位置は、骨に取り付けられた剛性マーカ／アレイ（図示せず）を使用して追跡できるため、追跡データを受信／処理するコンピュータシステムは、骨が空間内のどこにあるかを正確に把握できる。さらに、コンピュータシステムは、骨にどのような切断が行われ、切断がロボットによって実行される場合など、切断が正確にどこにあるかを把握できる。図１Ｄを参照すると、ＡＲオーバーレイ１５０がディスプレイのビューに追加され、インプラントを位置決めする正確な場所が示され、外科医はディスプレイを見てこの位置を特定できる。超高解像度カメラ（たとえば、８Ｋ以上の解像度）を使用すると、外科医は必要に応じてビューを拡大表示して、図１Ｅに示すように、インプラントの意図された位置をより明確かつ正確に特定できる。外科医は、ＡＲオーバーレイ１５０を拡大表示しながら、物理的なインプラント（ビューで表示され得る）を配置して、インプラントの位置をＡＲオーバーレイの位置（インプラントの正確で適切な位置と見なされる）に一致させることができる。

【0041】

追加または代替の実施形態では、空間内の物理的インプラントの位置が追跡される。インプラントのＡＲモデルは、ビュー内のインプラントのオーバーレイとして表され、インプラントが患者の骨に隣接して／骨上の適切な位置になるまで、ビュー内で第１の色および／またはパターンで表示され、その時点でインプラントのＡＲオーバーレイは、適切な配置を示すために別の色および／またはパターンに変更される。より一般的には、インプラントのＡＲモデルに関連付けられた視覚インジケータは、インプラントが適切な位置にない場合と比較して、実際の物理的インプラントが患者の解剖学的構造に対して適切な位置に移動されたことを示すことができる。インプラントの位置および場所は、ＡＲオーバーレイによって示し得、インプラントの位置および場所は、任意の所望のアプローチを使用して決定し得る。１つのアプローチは、インプラントに着脱可能なマーカを貼り付けて、インプラントを追跡可能にし得る。さらに、または代わりに、形状マッチングアルゴリズムを使用して、シーン内のインプラントを識別し、追跡し得る（ＲＧＢカメラの利点）。

【0042】

後者の点に関して、図１Ｆ～１Ｈを参照すると、物体形状に基づく追跡の例が示されている。環境１５８は、物体（例えば、インプラント）１６０を有する患者の解剖学的構造１６５（例えば、骨）を含む。ここで、物体１６０は骨１６５に固定されているが、物体１６０が実際に患者の解剖学的構造に固定されているか否かに関係なく、物体の追跡を行うことができる。マーカーレス追跡を提供することができ、その場合、物体１６０の形状に基づいて空間内の物体１６０の位置を追跡することができる（例えば、ＲＧＢカメラからのストリームに基づいて）。物体１６０は、ビュー１５９で示されるように、環境の仮想描写を示すディスプレイにＡＲオーバーレイ１７０（この例では点描で描かれているが、色で塗りつぶしてその形状と周囲を完成させることもできる）として描くこともできる。

【0043】

ビュー内の物体の正確な位置は、固定追跡アレイ１０３の既知の位置に少なくとも部分的に基づいて、および／または、物体１６０の場合は、環境内の他の形状とは一意で識別可能であると予想される形状マッチングアルゴリズムを使用して、物体を追跡することによって、知ることができる。図１Ｆの垂直線１６６および１６７（黄色などの第１色で表示できる）は、便宜上、環境１５８内の物体１６０の第１の位置と、ビュー１５９内のＡＲモデル１７０の対応する第１の位置をそれぞれ示すために表示される。図１Ｇは、物体１６０が異なる位置に移動された後のビューを示す（この例では、物体１６０が固定されている骨１６５が移動したため）。図１Ｇの垂直線１６８および１６９は、環境１５８内の物体１６０の第２の位置と、ビュー１５９内のＡＲモデル１７０の対応する第２の位置をそれぞれ示すために便宜上示されている。移動後の垂直線１６８および１６９は、第１の色とは異なる第２の色（たとえば緑色）で表示できる。したがって、ＡＲモデル１７０は、仮想オーバーレイとして、実際の空間における物体１６０の更新された位置と動きを反映するために使用できる。インプラント配置の特定の実施形態では、インプラントは骨の上に置かれ、その形状に基づいて追跡され、ディスプレイにＡＲ要素として表示されながら位置決めされる（例えば、図１Ｆ～１Ｈのドット／点描）。インプラントが目的の位置にある場合（手術計画におけるインプラントの正確な仮想配置に基づいてプログラム／計算によって決定される場合など）、ＡＲオーバーレイの色または他の視覚的表示、またはＡＲオーバーレイに関連付けられている色または他の視覚的表示をある色（または表示）から別の色に変更して、インプラントが適切に配置および配置されていることを外科医に示すことができる。

【0044】

図２は、ＡＲオーバーレイ２２０が別の色（明るい黄色など）に変化して、外科医がインプラント（ここでは、ＡＲオーバーレイ２２０に覆われ、見えない）を適切な位置に配置したことを視聴者に示す例を示す。

【0045】

さらに別の実施形態では、インプラントを保持する器具を追跡することができる。インプラントが所定の位置に移動すると、器具に対するインプラントの位置は固定されたままになるため、たとえば、器具に反射マーカを取り付けて、器具のＩＲ追跡、ひいてはインプラントの追跡も行うことができる。

【0046】

いくつかの態様によれば、精度が向上し、ユーザエクスペリエンスが向上する。外科医は、もはや自分の判断のみに頼ってインプラントを切断した骨に配置する必要がなくなり、手術計画に基づいてインプラントを正確に配置することができる。これは、手術計画に基づいてインプラントを配置する必要があるナビゲート手術またはロボット手術のいずれにも役立ち得る。本明細書で説明する例は、骨上／骨に対するインプラント配置に関連しているが、ここで説明する態様は、より一般的には、患者の解剖学的構造上／解剖学的構造に対する物体（例えばインプラント）の配置に適用される。

【0047】

ここで説明するプロセスは、例えば、カメラシステム、追跡システム、および／またはＡＲシステムである、またはそれらと通信している１つ以上のシステムなど、１つ以上のコンピュータシステムによって単独でまたは集合的に実行することができる。図３は、ここで説明する態様を組み込むおよび／または使用するそのようなコンピュータシステムおよび関連装置の一例を示す。コンピュータシステムは、ここでは、データ処理装置／システム、コンピューティング装置／システム／ノード、または単にコンピュータと呼ばれることもある。コンピュータシステムは、例えば、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ（米国カリフォルニア州サンタクララ）やＡＲＭ Ｈｏｌｄｉｎｇｓ ｐｌｃ（英国イングランドケンブリッジ）が提供するものなど、さまざまなシステムアーキテクチャおよび／または命令セットアーキテクチャの１つ以上に基づき得る。

【0048】

図３は、外部装置３１２と通信するコンピュータシステム３００を示す。コンピュータシステム３００は、１つ以上のプロセッサ３０２（例えば、中央処理装置（ＣＰＵ））を含む。プロセッサは、命令の実行に使用される機能コンポーネント（キャッシュやメインメモリなどの場所からプログラム命令をフェッチする機能コンポーネント、プログラム命令をデコードする機能コンポーネント、プログラム命令を実行する機能コンポーネント、命令実行のためにメモリにアクセスする機能コンポーネント、実行された命令の結果を書き込む機能コンポーネントなど）を含むことができる。プロセッサ３０２は、１つ以上の機能コンポーネントによって使用されるレジスタも含むことができる。コンピュータシステム３００は、メモリ３０４、入出力（I／O）装置３０８、およびＩ／Ｏインタフェース３１０も含み、これらは１つ以上のバスおよび／またはその他の接続を介してプロセッサ３０２および相互に接続し得る。バス接続は、メモリバスまたはメモリコントローラ、周辺バス、高速グラフィックスポート、およびさまざまなバスアーキテクチャのいずれかを使用するプロセッサまたはローカルバスを含む、いくつかの種類のバス構造の１つ以上を表す。例として、限定されないが、このようなアーキテクチャは、業界標準アーキテクチャ（ＩＳＡ）、マイクロチャネルアーキテクチャ（ＭＣＡ）、拡張ＩＳＡ（ＥＩＳＡ）、ビデオエレクトロニクス標準協会（ＶＥＳＡ）ローカルバス、および周辺コンポーネント相互接続（ＰＣＩ）を含む。

【0049】

メモリ３０４は、例えば、プログラム命令の実行に使用されるメインまたはシステムメモリ（たとえば、ランダムアクセスメモリ）、ハードドライブ、フラッシュメディア、または光学メディアなどの記憶装置、および／またはキャッシュメモリなどを含むことができる。メモリ３０４は、たとえば、プロセッサ３０２のローカルキャッシュ（例えば、Ｌ１キャッシュ、Ｌ２キャッシュなど）に結合される共有キャッシュなどのキャッシュを含むことができる。さらに、メモリ３０４は、１つ以上のプロセッサによって実行されるときに、本明細書で説明する実施形態の機能を実行するように構成されたプログラムモジュール、命令、コードなどのセット（たとえば、少なくとも１つ）を含む少なくとも１つのコンピュータプログラム製品であり得る、またはこれらを含み得る。

【0050】

メモリ３０４は、オペレーティングシステム３０５および、本明細書で説明する態様を実行するために実行される１つ以上のコンピュータプログラム／アプリケーションなどの他のコンピュータプログラム３０６を格納することができる。具体的には、プログラム／アプリケーションは、本明細書で説明する態様の実施形態の機能を実行するように構成できるコンピュータ読み取り可能なプログラム命令を含むことができる。

【0051】

Ｉ／Ｏ装置３０８の例は、限定されないが、マイクロフォン、スピーカー、全地球測位システム（ＧＰＳ）装置、ＲＧＢカメラおよび／またはＩＲカメラ、ライト、加速度計、ジャイロスコープ、磁力計、光、近接性、心拍数、体温および／または周囲温度、血圧、および／または皮膚抵抗を感知するように構成されたセンサ装置、登録プローブ、およびアクティビティモニターを含む。図示するように、Ｉ／Ｏ装置はコンピュータシステムに組み込まれるが、一部の実施形態では、Ｉ／Ｏ装置は、１つ以上のＩ／Ｏインタフェース３１０を介してコンピュータシステムに接続された外部装置（３１２）とみなされ得る。

【0052】

コンピュータシステム３００は、１つ以上のＩ／Ｏインタフェース３１０を介して１つ以上の外部装置３１２と通信し得る。外部装置の例は、キーボード、ポインティングデバイス、ディスプレイ、および／またはユーザがコンピュータシステム３００と対話できるようにするその他の装置などを含む。その他の外部装置の例は、コンピュータシステム３００が１つ以上の他のコンピューティングシステムまたはプリンタなどの周辺装置と通信できるようにする装置などを含む。ネットワークインタフェース／アダプタは、コンピュータシステム３００がローカルエリアネットワーク（ＬＡＮ）、一般的なワイドエリアネットワーク（ＷＡＮ）、および／またはパブリックネットワーク（例えば、インターネット）などの１つ以上のネットワークと通信できるようにするＩ／Ｏインタフェースの例であり、他のコンピューティング装置またはシステム、記憶装置などとの通信を可能にする。イーサネットベース（Ｗｉ-Ｆｉなど）のインタフェースやＢｌｕｅｔｏｏｔｈ（登録商標）アダプタは、コンピュータシステムで現在使用されているネットワークアダプタの種類のあくまでも一例である（ＢＬＵＥＴＯＯＴＨは、米国ワシントン州カークランドのＢｌｕｅｔｏｏｔｈ ＳＩＧ, Ｉｎｃ. の登録商標である）。

【0053】

Ｉ／Ｏインタフェース３１０と外部装置３１２との間の通信は、イーサネットベースの有線または無線接続などの有線および／または無線通信リンク３１１を介して行われる。無線接続の例は、セルラー、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近接ベース、近距離、またはその他のタイプの無線接続を含む。より一般的には、通信リンク３１１は、データを通信する任意の適切な無線および／または有線通信リンクであり得る。

【0054】

特定の外部装置３１２は、１つ以上のプログラム、１つ以上のコンピュータ読み取り可能なプログラム命令、および／またはデータなどを保存することができる１つ以上のデータストレージデバイスを含み得る。コンピュータシステム３００は、取り外し可能/取り外し不可能、揮発性／不揮発性のコンピュータシステムストレージメディアを含み、および／またはそれに接続され、通信してもよい（たとえば、コンピュータシステムの外部装置として）。例えば、取り外し不可能な不揮発性磁気媒体（通常「ハードドライブ」と呼ばれる）、取り外し可能な不揮発性磁気ディスク（例えば「フロッピーディスク」）の読み取りおよび書き込みを行う磁気ディスクドライブ、および／または取り外し可能な不揮発性光ディスク（例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、またはその他の光媒体）の読み取りまたは書き込みを行う光ディスクドライブを含み得、および／またはこれらに結合され得る。

【0055】

コンピュータシステム３００は、他の多数の汎用または特殊用途のコンピューティングシステム環境または構成で動作可能である。コンピュータシステム３００は、様々な形態をとることができ、そのよく知られた例としては、限定されないが、パーソナルコンピュータ（ＰＣ）システム、メッセージングサーバーなどのサーバーコンピュータシステム、シンクライアント、シッククライアント、ワークステーション、ラップトップ、ハンドヘルドデバイス、スマートフォン、タブレット、ウェアラブル装置などのモバイルデバイス／コンピュータ、マルチプロセッサシステム、マイクロプロセッサベースのシステム、テレフォニーデバイス、ネットワークアプライアンス（エッジアプライアンスなど）、仮想化デバイス、ストレージコントローラ、セットトップボックス、プログラム可能な民生用電子機器、ネットワークＰＣ、ミニコンピュータシステム、メインフレームコンピュータシステム、および上記のシステムまたは装置のいずれかを含む分散クラウドコンピューティング環境などを含む。

【0056】

図４は、本明細書に記載の態様を組み込んで使用するコンピュータシステムの他の例を示す。図４は、例えば、デバイスの着用者にＡＲ要素を提示することを容易にするウェアラブルスマートグラスデバイスなどの、アイウェアベースのウェアラブル装置の例を示す。装置４００は、上述のコンピュータシステム３００に含み得るのと同じタイプのコンポーネントの多くを含むことができる。図４の例では、装置４００は、デバイスユーザの頭部に装着できるように構成されている。装置は、装置がユーザの頭部で作動位置にあるときに、ユーザの周辺視野の視線内に配置されるディスプレイ４０２を含む。適切なディスプレイは、例えば、ＬＣＤ、ＣＲＴ、またはＯＬＥＤディスプレイ技術を利用できる。レンズ４１４は、任意で、レンズの内側および／または外側の表面に画像やその他のコンテンツを表示できるアクティブ半透明ディスプレイを含むことができる。これにより、このコンテンツをユーザの視線に直接投影し、レンズを通して環境に対するユーザの視界の少なくとも一部をオーバーレイすることができる。本明細書で説明する特定の実施形態では、レンズディスプレイに表示されるコンテンツは、手術環境／手術室を描写するカメラからのストリームをオーバーレイするＡＲ要素である。

【0057】

装置４００は、ユーザが装置の機能を制御するためにタッチジェスチャを入力できるようにするタッチ入力部４０４も含む。このようなジェスチャは、コマンド、たとえば写真を撮るコマンド、または特定のサービスを起動するコマンドとして解釈できる。装置４００は、装置の機能を制御するボタン４０６も含む。機能の例は、装置のロック、シャットダウン、またはスタンバイモードまたはスリープモードへの切り替えを含む。

【0058】

カメラ４０８など、画像やビデオをキャプチャするために使用できるさまざまな他の入力装置が提供される。カメラは、例えばシーンの画像／ビデオを撮影するために、装着者の周囲の画像／ビデオを取得するために装置で使用できる。さらに、カメラは、ユーザの視線の方向を追跡してユーザが見ている場所を確認し、まばたきや動きなどのユーザのその他の目の活動を追跡するためにも使用し得る。

【0059】

１つ以上のマイクロフォン、近接センサ、光センサ、加速度計、スピーカー、ＧＰＳ装置、および／または他の入力装置（ラベルなし）が、例えばハウジング４１０内にさらに設けられ得る。ハウジング４１０は、プロセッサ、メモリ、および／または通信装置（例えば、セルラー、短距離無線（例えば、Ｂｌｕｅｔｏｏｔｈ）、またはリモート装置に接続するためのＷｉ－Ｆｉ回路）を含む電子回路などの他の電子部品も含むことができる。ハウジング４１０は、装置４００の部品に電力を供給するためのバッテリなどの電源をさらに含むことができる。追加的に、または代替え的に、そのような回路またはバッテリは、そのような部品を収容するために拡大されてもよい拡大端部４１２に含み得る。拡大端部４１２、または装置４００の他の部分は、装置４００を電源（バッテリを再充電するため）および／またはコンピュータなどの他の外部装置に接続するために使用される物理ポート（図示せず）も含むことができる。このような物理ポートは、ユニバーサルシリアルバス（ＵＳＢ）などの任意の標準化されたタイプまたは独自のタイプにすることができる。

【0060】

本発明の態様は、システム、方法、および／またはコンピュータプログラム製品であり得、いずれも、本明細書で説明する態様を実行または促進するように構成し得る。これらの方法およびその他の方法を実行するように構成されたコンピュータシステム、およびこれらの方法およびその他の方法を実行するための実行命令を格納するコンピュータ読み取り可能な記憶媒体を含むコンピュータプログラム製品も提供される。

【0061】

いくつかの実施形態では、本発明の態様は、コンピュータプログラム製品の形を取ることができ、コンピュータ読み取り可能な媒体として具体化し得る。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能なプログラムコード／命令が格納される有形の記憶装置／媒体である。コンピュータ読み取り可能な媒体の一例は、限定されないが、電子、磁気、光、または半導体の記憶装置またはシステム、または前述の任意の組み合わせを含む。コンピュータ読み取り可能な媒体の例示的な実施形態は、ハードドライブまたはその他の大容量記憶装置、配線を有する電気接続、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、ＥＰＲＯＭまたはフラッシュメモリなどの消去可能プログラム可能読み取り専用メモリ、光ファイバー、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）やデジタル多用途ディスク（ＤＶＤ）などのポータブルコンピュータディスク／ディスケット、光記憶装置、磁気記憶装置、またはこれらの任意の組み合わせを含む。コンピュータ読み取り可能な媒体は、プロセッサ、処理ユニットなどによって読み取り可能であり、媒体からデータ（たとえば、命令）を取得して実行する。特定の例では、コンピュータプログラム製品は、本明細書で説明されている１つ以上の態様を提供および促進するコンピュータ読み取り可能なプログラムコードを含む／格納する１つ以上のコンピュータ読み取り可能な媒体であるか、またはそれを含む。

【0062】

前述のように、コンピュータ読み取り可能な媒体に含まれ、または記憶されているプログラム命令は、コンピュータシステムのプロセッサなどのさまざまな適切なコンポーネントのいずれかによって取得および実行され、コンピュータシステムを特定の方法で動作および機能させることができる。本明細書で説明されている態様を実行、達成、または促進する操作を実行するこのようなプログラム命令は、任意のプログラミング言語で記述するか、または任意のプログラミング言語で記述されたコードからコンパイルすることができる。一部の実施形態では、このようなプログラミング言語は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａなどのオブジェクト指向および／または手続き型プログラミング言語を含む。

【0063】

プログラムコードは、１つ以上のプロセッサによる実行のために取得された１つ以上のプログラム命令を含むことができる。コンピュータプログラム命令は、例えば１つ以上のコンピュータシステムの１つ以上のプロセッサに提供されて、機械を生成することができ、１つ以上のプロセッサによって実行されると、プログラム命令は、本明細書に記載のフローチャートおよび／またはブロック図に記述された動作または機能などの本発明の態様を実行、達成、または促進する。したがって、本明細書に図示および記述されたフローチャート図および／またはブロック図の各ブロック、またはブロックの組み合わせは、いくつかの実施形態では、コンピュータプログラム命令によって実装することができる。

【0064】

図５および図６は、本明細書に記載の態様に従って、外科手術中に患者の解剖学的構造に対して物体を追跡、位置特定、および／または配置するための例示的なプロセスを示す。このプロセスは、本明細書で論じられた態様を実行するソフトウェアを実行するコンピュータシステム、例えば、図３および図４を参照して上記で説明したようなコンピュータシステムによって実行することができる。

【0065】

まず図５を参照すると、拡張現実（ＡＲ）を対象（例えば、インプラント）の所望の位置に維持し、対象が正しく配置されたときに視覚的に示すことに重点を置いたプロセスが提示される。このプロセスは、患者の解剖学的構造に対して位置決めおよび配置される物理対象物の所望の位置および配置を決定すること（５０２）を含む。実施形態では、所望の位置および配置は、患者の手術計画によって決定される。物理対象物は、一例としてインプラントであり得る。

【0066】

プロセスは、ディスプレイ装置に、手術環境のビューに重ねて拡張現実（ＡＲ）要素を提示すること（５０４）によって続行けられる。手術環境は、患者の解剖学的構造を含む。ＡＲ要素を提示して、ＡＲ要素が物理対象物の所望の位置および配置に位置および配置され、患者の解剖学的構造に対して物理対象物を適切に配置できるようになる。実施形態では、ＡＲ要素は、物理対象物のデジタルモデルである。

【0067】

実施形態では、プロセスは、患者の解剖学的構造の描写を含む手術環境のビューを描写するビデオストリームを取得し、ディスプレイ装置にビデオストリームを表示する。ＡＲ要素をディスプレイ装置に表示することで、ビデオストリームに描写されている患者の解剖学的構造に対して物理対象物を配置する所望の位置および配置にＡＲ要素を含むようにビデオストリームを拡張することができる。一例では、ビデオストリームの表示の一部として、および物理対象物が患者の解剖学的構造に対して配置されると、プロセスは、ＡＲ要素が提示される手術環境の領域に拡大（zoom-in）することができる。

【0068】

追加的に、または代替的に、実施形態では、ディスプレイ装置は、ユーザが手術環境のビューを見るための透明ディスプレイを含むことができる。ＡＲ要素は透明ディスプレイに表示され、透明ディスプレイを通してユーザの手術環境のビューを拡張することができる。実施形態では、透明ディスプレイは、スマートウェアラブルグラスデバイスの一部として提供される。

【0069】

図５で続いて、プロセスは、手術環境内で物理対象物が移動される（例えば、患者の解剖学的構造に対して物理対象物の位置および配置するために移動される）ときに、物理対象物の位置および場所を追跡する（５０６）。実施形態では、物理対象物の位置および場所の追跡は、物理対象物上の１つ以上のマーカ、物理対象物の既知の形状に基づいてビュー内の物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または物理対象物に対して固定された既知の位置を持つ少なくとも１つの他の物理対象物の位置の追跡のうちの少なくとも１つを使用して実行される。

【0070】

任意で、プロセスは、手術環境における患者の解剖学的構造の位置および配置を追跡すること（５０８）を含む。これらの実施形態では、患者の解剖学的構造が位置変更されることに基づいて、ＡＲ要素を提示することにより、ＡＲ要素が位置変更され、患者の解剖学的構造に対して配置されるべき物理対象物の所望の位置および配置にＡＲ要素が維持される。

【0071】

追跡５０６（および任意で５０８）は、物理対象物の位置および場所が物理対象物の所望の位置および配置と一致するか否かのチェック／判定を伴って、連続的／実質的に連続的に実行することができる。物理対象物の位置および場所が物理対象物の所望の位置および配置と一致することに基づいて、プロセスは、物理対象物が患者の解剖学的構造に対して所望の位置および配置に移動されたことをディスプレイ装置に視覚的に示す（５１０）ことができる。実施形態では、視覚的に示すことは、ディスプレイ装置のＡＲ要素の視覚的表示を変更することを含む。例えば、ＡＲ要素は、最初は少なくとも部分的に第１の色またはパターンであり、視覚的に示すことは、第１の色またはパターンを別の色またはパターンに変更することを含むことができる。

【0072】

実施形態では、手術計画は、患者の解剖学的構造に対する１つ以上の所望の切開を含み、プロセスは、患者の解剖学的構造に対して１つ以上の所望の切開が行われたことを判定し、さらに判定５０２および提示５０４、すなわち、物理対象物の所望の位置および配置を判定し、行われた１１つ以上の所望の切開に基づいてＡＲ要素を提示する。

【0073】

いくつかの実施形態では、ＡＲ要素は第１のＡＲ要素であり、プロセスは、手術環境のビューで物理対象物をオーバーレイする第２のＡＲ要素をディスプレイ装置に表示することをさらに含むことができる。

【0074】

ここで図６を参照すると、ＡＲ要素が対象（例えば、インプラント）を所定の位置に移動すると、対象を追跡／オーバーレイし、所定の位置に移動すると正しい配置を視覚的に示すことに重点を置いたプロセスが提示されている。プロセスは、物理対象物が手術環境内で移動されるときに、手術環境内の物理対象物の位置および場所を追跡する（６０２）ことを含む。実施形態では、物理対象物はインプラントである。実施形態では、物理対象物の位置および場所の追跡は、物理対象物上の１つ以上のマーカ、物理対象物の既知の形状に基づいてビュー内の物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または物理対象物に対して固定された既知の位置を持つ少なくとも１つの他の物理対象物の位置の追跡のうちの少なくとも１つを使用して実行される。

【0075】

図６で続けると、プロセスは、ディスプレイ装置に、手術環境のビューで物理対象物をオーバーレイする拡張現実（ＡＲ）要素を提示する（６０４）。ビューは、物理対象物と、患者の手術計画によって指示された物理対象物の所望の位置および配置に従って物理対象物が位置決めおよび配置されるべき患者の解剖学的構造とを示す。提示は、追跡に基づいて、物理対象物が手術環境内で移動されるときに、ビュー内で物理対象物をオーバーレイするＡＲ要素を維持することができる。実施形態では、ＡＲ要素は物理対象物のデジタルモデルである。

【0076】

実施形態では、プロセスは、患者の解剖学的構造の描写を含む手術環境のビューを描写するビデオストリームを取得し、ディスプレイ装置にビデオストリームを提示する。ディスプレイ装置でのＡＲ要素の提示は、ビデオストリームを拡張して、手術環境のビューで物理対象物をオーバーレイするＡＲ要素を含むことができる。一例では、ビデオストリームの提示の一部として、物理対象物が患者の解剖学的構造に対して位置決めされると、プロセスは、物理対象物の所望の位置および配置を示す手術環境の領域に拡大することができます。

【0077】

追加的に、または代替的に、実施形態では、ディスプレイ装置は、ユーザが手術環境のビューを見るための透明ディスプレイを含むことができる。ＡＲ要素は透明ディスプレイに表示され、透明ディスプレイを介したユーザの手術環境のビューを拡張することができる。実施形態では、透明ディスプレイは、スマートウェアラブルグラスデバイスの一部として提供される。

【0078】

追跡６０２および提示６０４は、物理対象物の位置および場所が物理対象物の所望の位置および配置と一致するか否かのチェック／判定を伴って、連続的／実質的に連続的に実行することができる。物理対象物の所望の位置および配置と一致する物理対象物の位置および場所に基づいて、プロセスは、物理対象物が患者の解剖学的構造に対して所望の位置および配置に移動されたことをディスプレイ装置で視覚的に示すことができる（６０６）。実施形態では、視覚的に示すことは、ディスプレイ装置のＡＲ要素の視覚的表示を変更することを含む。例えば、ＡＲ要素は、最初は少なくとも部分的に第１の色またはパターンであり、視覚的に示すことは、第１の色またはパターンを別の色またはパターンに変更することを含むことができる。

【0079】

いくつかの実施形態では、ＡＲ要素は第１のＡＲ要素であり、プロセスは、物理対象物の所望の位置および配置を示すために、患者の解剖学的構造に対して位置決めおよび配置された第２のＡＲ要素をディスプレイ装置に提示することをさらに含むことができる。

【0080】

上記ではさまざまな実施形態について説明しているが、これらは単なる例である。

【0081】

本明細書で説明されているように、本開示の実施形態の小さなサンプルを提供する。

【0082】

Ａ１．以下含むコンピュータで実行される方法。患者の解剖学的構造に対して、位置決めおよび配置（positioned and placed）されるべき物理対象物の所望の位置および配置（position and placement）を決定することと、ディスプレイ装置に、手術環境のビューに重ねて拡張現実（ＡＲ）要素を提示することと、物理対象物が手術環境内で移動されるときに、物理対象物の位置および場所を追跡し、患者の解剖学的構造に対する物理対象物の位置および場所を決定および配置することと、物理対象物の所望の位置および場所に一致する物理対象物の位置および配置に基づいて、物理対象物が患者の解剖学的構造に対する所望の位置および場所に移動されたことをディスプレイ装置に視覚的に示すこと。所望の位置および配置は、患者の手術計画によって規定される。手術環境は、患者の解剖学的構造を含む。ＡＲ要素を物理対象物の所望の位置および配置に配置して、位置および配置を提示することは、患者の解剖学的構造に対する物理対象物の適切な配置を容易にする。

【0083】

Ａ２．Ａ１の方法であって、患者の解剖学的構造の描写を含む手術環境のビューを描写するビデオストリームを取得することと、ディスプレイ装置にビデオストリームを提示することをさらに含む。ディスプレイ装置にＡＲ要素を提示することは、ビデオストリームを拡張し、ビデオストリームに描写されるように患者の解剖学的構造に対して物理対象物を配置するための所望の位置および配置にＡＲ要素を含む。

【0084】

Ａ３．Ａ２の方法であって、ビデオストリームを提示する一部として、および、物理対象物が患者の解剖学的構造に対して位置決めされるときに、ＡＲ要素が提示される手術環境の領域に拡大（zooming-in）することをさらに含む。

【0085】

Ａ４．Ａ１の方法であって、ディスプレイ装置は、ユーザが前記手術環境のビューを見るための透明ディスプレイを含み、ＡＲ要素は透明ディスプレイに提示され、透明ディスプレイを通してユーザの手術環境のビューを拡張する。

【0086】

Ａ５．Ａ４の方法であって、透明ディスプレイは、スマートウェアラブルグラスデバイスの一部として提供される。

【0087】

Ａ６．Ａ１、Ａ２、Ａ３、Ａ４またはＡ５の方法であって、視覚的に示すことは、ディスプレイ装置のＡＲ要素の視覚的表示を変更することを含む。

【0088】

Ａ７．Ａ６の方法であって、ＡＲ要素は、最初は少なくとも部分的に第１の色またはパターンであり、視覚的に示すことは、第１の色またはパターンを別の色またはパターンに変更することを含む。

【0089】

Ａ８．Ａ１、Ａ２、Ａ３、Ａ４またはＡ５の方法であって、物理対象物の位置および場所を追跡することは、物理対象物の１つ以上のマーカ、物理対象物の既知の形状に基づいてビュー内の物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または、物理対象物に対して固定された既知の場所を持つ少なくとも１つの他の物理対象物の位置の追跡すること、のうち少なくとも１つを使用して実行される。

【0090】

Ａ９．Ａ１、Ａ２、Ａ３、Ａ４またはＡ５の方法であって、方法は、手術環境における患者の解剖学的構造の場所および位置を追跡することをさらに含み、患者の解剖学的構造が位置変更されることに基づいて、ＡＲ要素を提示して、ＡＲ要素を位置変更し、患者の解剖学的構造に対して配置されるべき物理対象物の所望の位置および配置にＡＲ要素を維持する。

【0091】

Ａ１０．Ａ１、Ａ２、Ａ３、Ａ４またはＡ５の方法であって、手術計画は、患者の解剖学的構造に対する１つ以上の所望の切断を含み、方法は、患者の解剖学的構造に対して１つ以上の所望の切断が行われたことを判定し、さらに、物理対象物の所望の位置および配置を判定すること、および、実行された１つ以上の所望の切断に基づいてＡＲ要素を提示すること、を実行する。

【0092】

Ａ１１．Ａ１、Ａ２、Ａ３、Ａ４またはＡ５の方法であって、ＡＲ要素は、第１のＡＲ要素であり、方法はさらに、手術環境のビューにおいて、物理対象物に重ね合わされる第２のＡＲ要素をディスプレイ装置に提示することを含む。

【0093】

Ａ１２．Ａ１、Ａ２、Ａ３、Ａ４またはＡ５の方法であって、物理対象物は、インプラントである。

【0094】

Ａ１３．Ａ１、Ａ２、Ａ３、Ａ４またはＡ５の方法であって、ＡＲ要素は、物理対象物のデジタルモデルである。

【0095】

Ａ１４.メモリおよびメモリと通信するプロセッサとを含むコンピュータシステムであって、以下を含む方法を実行させるコンピュータシステム。患者の解剖学的構造に対して、位置決めおよび配置（positioned and placed）されるべき物理対象物の所望の位置および配置（position and placement）を決定することと、ディスプレイ装置に、手術環境のビューに重ねて拡張現実（ＡＲ）要素を提示することと、物理対象物が手術環境内で移動されるときに、物理対象物の位置および場所を追跡し、患者の解剖学的構造に対する物理対象物の位置および場所を決定および配置することと、物理対象物の所望の位置および場所に一致する物理対象物の位置および配置に基づいて、物理対象物が患者の解剖学的構造に対する所望の位置および場所に移動されたことをディスプレイ装置に視覚的に示すこと。所望の位置および配置は、患者の手術計画によって規定される。手術環境は、患者の解剖学的構造を含む。ＡＲ要素を物理対象物の所望の位置および配置に配置して、位置および配置を提示することは、患者の解剖学的構造に対する物理対象物の適切な配置を容易にする。

【0096】

Ａ１５．Ａ１４のコンピュータシステムであって、方法は、患者の解剖学的構造の描写を含む手術環境のビューを描写するビデオストリームを取得することと、ディスプレイ装置にビデオストリームを提示することをさらに含む。ディスプレイ装置にＡＲ要素を提示することは、ビデオストリームを拡張し、ビデオストリームに描写されるように患者の解剖学的構造に対して物理対象物を配置するための所望の位置および配置にＡＲ要素を含む。

【0097】

Ａ１６．Ａ１５のコンピュータシステムであって、ビデオストリームを提示する一部として、および、物理対象物が患者の解剖学的構造に対して位置決めされるときに、ＡＲ要素が提示される手術環境の領域に拡大することをさらに含む。

【0098】

Ａ１７．Ａ１４のコンピュータシステムであって、ディスプレイ装置は、ユーザが前記手術環境のビューを見るための透明ディスプレイを含み、ＡＲ要素は透明ディスプレイに提示され、透明ディスプレイを通してユーザの手術環境のビューを拡張する。

【0099】

Ａ１８．Ａ１７のコンピュータシステムであって、透明ディスプレイは、スマートウェアラブルグラスデバイスの一部として提供される。

【0100】

Ａ１９．Ａ１４、Ａ１５、Ａ１６、Ａ１７またはＡ１８のコンピュータシステムであって、視覚的に示すことは、ディスプレイ装置のＡＲ要素の視覚的表示を変更することを含む。

【0101】

Ａ２０．Ａ１９のコンピュータシステムであって、ＡＲ要素は、最初は少なくとも部分的に第１の色またはパターンであり、視覚的に示すことは、第１の色またはパターンを別の色またはパターンに変更することを含む。

【0102】

Ａ２１．Ａ１４、Ａ１５、Ａ１６、Ａ１７またはＡ１８のコンピュータシステムであって、物理対象物の位置および場所を追跡することは、物理対象物の１つ以上のマーカ、物理対象物の既知の形状に基づいてビュー内の物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または、物理対象物に対して固定された既知の場所を持つ少なくとも１つの他の物理対象物の位置の追跡すること、のうち少なくとも１つを使用して実行される。

【0103】

Ａ２２．Ａ１４、Ａ１５、Ａ１６、Ａ１７またはＡ１８のコンピュータシステムであって、方法は、手術環境における患者の解剖学的構造の場所および位置を追跡することをさらに含み、患者の解剖学的構造が位置変更されることに基づいて、ＡＲ要素を提示して、ＡＲ要素を位置変更し、患者の解剖学的構造に対して配置されるべき物理対象物の所望の位置および配置にＡＲ要素を維持する。

【0104】

Ａ２３．Ａ１４、Ａ１５、Ａ１６、Ａ１７またはＡ１８のコンピュータシステムであって、手術計画は、患者の解剖学的構造に対する１つ以上の所望の切断を含み、方法は、患者の解剖学的構造に対して１つ以上の所望の切断が行われたことを判定し、さらに、物理対象物の所望の位置および配置を判定すること、および、実行された１つ以上の所望の切断に基づいてＡＲ要素を提示すること、を実行する。

【0105】

Ａ２４．Ａ１４、Ａ１５、Ａ１６、Ａ１７またはＡ１８のコンピュータシステムであって、ＡＲ要素は、第１のＡＲ要素であり、方法はさらに、手術環境のビューにおいて、物理対象物に重ね合わされる第２のＡＲ要素をディスプレイ装置に提示することを含む。

【0106】

Ａ２４．Ａ１４、Ａ１５、Ａ１６、Ａ１７またはＡ１８のコンピュータシステムであって、物理対象物は、インプラントである。

【0107】

Ａ２６．Ａ１４、Ａ１５、Ａ１６、Ａ１７またはＡ１８のコンピュータシステムであって、ＡＲ要素は、物理対象物のデジタルモデルである。

【0108】

Ａ２７．コンピュータプログラム製品であって、処理回路によって読み取り可能で、処理回路によって実行される、以下を含む方法を実行する命令を記憶するコンピュータ可読記憶媒体を備える。患者の解剖学的構造に対して、位置決めおよび配置（positioned and placed）されるべき物理対象物の所望の位置および配置（position and placement）を決定することと、ディスプレイ装置に、手術環境のビューに重ねて拡張現実（ＡＲ）要素を提示することと、物理対象物が手術環境内で移動されるときに、物理対象物の位置および場所を追跡し、患者の解剖学的構造に対する物理対象物の位置および場所を決定および配置することと、物理対象物の所望の位置および場所に一致する物理対象物の位置および配置に基づいて、物理対象物が患者の解剖学的構造に対する所望の位置および場所に移動されたことをディスプレイ装置に視覚的に示すこと。所望の位置および配置は、患者の手術計画によって規定される。手術環境は、患者の解剖学的構造を含む。ＡＲ要素を物理対象物の所望の位置および配置に配置して、位置および配置を提示することは、患者の解剖学的構造に対する物理対象物の適切な配置を容易にする。

【0109】

Ａ２８．Ａ２７のコンピュータプログラム製品であって、方法は、患者の解剖学的構造の描写を含む手術環境のビューを描写するビデオストリームを取得することと、ディスプレイ装置にビデオストリームを提示することをさらに含む。ディスプレイ装置にＡＲ要素を提示することは、ビデオストリームを拡張し、ビデオストリームに描写されるように患者の解剖学的構造に対して物理対象物を配置するための所望の位置および配置にＡＲ要素を含む。

【0110】

Ａ２９．Ａ２８のコンピュータプログラム製品であって、ビデオストリームを提示する一部として、および、物理対象物が患者の解剖学的構造に対して位置決めされるときに、ＡＲ要素が提示される手術環境の領域に拡大（zooming-in）することをさらに含む。

【0111】

Ａ３０．Ａ２７のコンピュータプログラム製品であって、ディスプレイ装置は、ユーザが前記手術環境のビューを見るための透明ディスプレイを含み、ＡＲ要素は透明ディスプレイに提示され、透明ディスプレイを通してユーザの手術環境のビューを拡張する。

【0112】

Ａ３１．Ａ３０のコンピュータプログラム製品であって、透明ディスプレイは、スマートウェアラブルグラスデバイスの一部として提供される。

【0113】

Ａ３２．Ａ２７、Ａ２８、Ａ２９、Ａ３０またはＡ３１のコンピュータプログラム製品であって、視覚的に示すことは、ディスプレイ装置のＡＲ要素の視覚的表示を変更することを含む。

【0114】

Ａ３３．Ａ３２のコンピュータプログラム製品であって、ＡＲ要素は、最初は少なくとも部分的に第１の色またはパターンであり、視覚的に示すことは、第１の色またはパターンを別の色またはパターンに変更することを含む。

【0115】

Ａ３４．Ａ２７、Ａ２８、Ａ２９、Ａ３０またはＡ３１のコンピュータプログラム製品であって、物理対象物の位置および場所を追跡することは、物理対象物の１つ以上のマーカ、物理対象物の既知の形状に基づいてビュー内の物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または、物理対象物に対して固定された既知の場所を持つ少なくとも１つの他の物理対象物の位置の追跡すること、のうち少なくとも１つを使用して実行される。

【0116】

Ａ３５．Ａ２７、Ａ２８、Ａ２９、Ａ３０またはＡ３１のコンピュータプログラム製品であって、方法は、手術環境における患者の解剖学的構造の場所および位置を追跡することをさらに含み、患者の解剖学的構造が位置変更されることに基づいて、ＡＲ要素を提示して、ＡＲ要素を位置変更し、患者の解剖学的構造に対して位置決めされるべき物理対象物の所望の位置および配置にＡＲ要素を維持する。

【0117】

Ａ３６．Ａ２７、Ａ２８、Ａ２９、Ａ３０またはＡ３１のコンピュータプログラム製品であって、手術計画は、患者の解剖学的構造に対する１つ以上の所望の切断を含み、方法は、患者の解剖学的構造に対して１つ以上の所望の切断が行われたことを判定し、さらに、物理対象物の所望の位置および配置を判定すること、および、実行された１つ以上の所望の切断に基づいてＡＲ要素を提示すること、を実行する。

【0118】

Ａ３７．Ａ２７、Ａ２８、Ａ２９、Ａ３０またはＡ３１のコンピュータプログラム製品であって、ＡＲ要素は、第１のＡＲ要素であり、方法はさらに、手術環境のビューにおいて、物理対象物に重ね合わされる第２のＡＲ要素をディスプレイ装置に提示することを含む。

【0119】

Ａ３８．Ａ２７、Ａ２８、Ａ２９、Ａ３０またはＡ３１のコンピュータプログラム製品であって、物理対象物はインプラントである。

【0120】

Ａ３９．Ａ２７、Ａ２８、Ａ２９、Ａ３０またはＡ３１のコンピュータプログラム製品であって、ＡＲ要素は物理対象物のデジタルモデルである。

【0121】

Ｂ１．以下を含むコンピュータで実行される方法。手術環境内で物理対象物が移動されるときに、手術環境内の物理対象物の位置および場所（position and location）を追跡することと、ディスプレイ装置に、手術環境のビューに物理対象物を重ねた拡張現実（ＡＲ）要素を提示することと、物理対象物の位置および場所が物理対象物の所望の位置および配置と一致していることに基づいて、物理対象物が患者の解剖学的構造に対して所望の位置および配置に移動されたことをディスプレイ装置に視覚的に示すことを含む。ビューは、物理対象物と、患者の手術計画によって指示された物理対象物の所望の位置および配置に従って物理対象物が位置決めおよび配置される前記患者の解剖学的構造とを示す。記提示は、追跡に基づいて、手術環境内で物理対象物が移動されるときにビュー内で物理対象物を重ねるＡＲ要素を維持する。

【0122】

Ｂ２．Ｂ１の方法であって、患者の解剖学的構造の描写を含む手術環境のビューを描写するビデオストリームを取得することと、ディスプレイ装置にビデオストリームを提示することと、をさらに含み、ディスプレイ装置にＡＲ要素を提示することは、ビデオストリームを拡張し、手術環境のビュー内の物理対象物に重ねて表示されるＡＲ要素を含む。

【0123】

Ｂ３．Ｂ２の方法であって、ビデオストリームを提示する一部として、および、物理対象物が患者の解剖学的構造に対して位置決めされるときに、手術環境の領域を拡大して、物理対象物の所望の位置と配置を表示することをさらに含む。

【0124】

Ｂ４．Ｂ１の方法であって、ディスプレイ装置は、ユーザが手術環境のビューを見るための透明ディスプレイを備え、ＡＲ要素は透明ディスプレイに提示され、透明ディスプレイを通してユーザの手術環境のビューを拡張する。

【0125】

Ｂ５．Ｂ４の方法であって、透明ディスプレイは、スマートウェアラブルグラスデバイスの一部として提供される。

【0126】

Ｂ６．Ｂ１、Ｂ２、Ｂ３、Ｂ４またはＢ５の方法であって、視覚的に示すことは、ディスプレイ装置のＡＲ要素の視覚的表示を変更することを含む。

【0127】

Ｂ７．Ｂ６の方法であって、ＡＲ要素は、最初は少なくとも部分的に第１の色またはパターンであり、視覚的に示すことは、第１の色またはパターンを別の色またはパターンに変更することを含む。

【0128】

Ｂ８．Ｂ１、Ｂ２、Ｂ３、Ｂ４またはＢ５の方法であって、物理対象物の位置および場所を追跡することは、物理対象物の１つ以上のマーカ、物理対象物の既知の形状に基づいてビュー内の物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または、物理対象物に対して固定された既知の場所を持つ少なくとも１つの他の物理対象物の位置の追跡すること、のうち少なくとも１つを使用して実行される。

【0129】

Ｂ９．Ｂ１、Ｂ２、Ｂ３、Ｂ４またはＢ５の方法であって、ＡＲ要素は第１の ＡＲ要素であり、方法は、所望の位置または配置の物理対象物に患者の解剖学的構造に対して位置決めまたは配置される第２のＡＲ要素をディスプレイ装置に提示することをさらに含む。

【0130】

Ｂ１０．Ｂ１、Ｂ２、Ｂ３、Ｂ４またはＢ５の方法であって、ＡＲ要素は、物理対象物のデジタルモデルである。

【0131】

Ｂ１０．Ｂ１、Ｂ２、Ｂ３、Ｂ４またはＢ５の方法であって、物理的物体は、インプラントである。

【0132】

Ｂ１２．メモリおよびメモリと通信するプロセッサとを含むコンピュータシステムであって、以下を含む方法を実行させるコンピュータシステム。手術環境内で物理対象物が移動されるときに、手術環境内の物理対象物の位置および場所を追跡することと、ディスプレイ装置に、手術環境のビューで物理対象物を重ねて拡張現実（ＡＲ）要素を提示することと、物理対象物の位置および場所が物理対象物所望の位置および配置と一致していることに基づいて、物理対象物が患者の解剖学的構造に対して所望の位置および配置に移動されたことをディスプレイ装置に視覚的に示すことを含む。ビューは、物理対象物と、患者の手術計画によって指示された物理対象物の所望の位置および配置に従って物理対象物が位置決めおよび配置される前記患者の解剖学的構造とを示す。提示は、追跡に基づいて、手術環境内で物理対象物が移動されるときにビュー内で物理対象物を重ねるＡＲ要素を維持する。

【0133】

Ｂ１３．Ｂ１２のコンピュータシステムであって、患者の解剖学的構造の描写を含む手術環境のビューを描写するビデオストリームを取得することと、ディスプレイ装置にビデオストリームを提示することと、をさらに含み、ディスプレイ装置にＡＲ要素を提示することは、ビデオストリームを拡張し、手術環境のビュー内の物理対象物に重ねて表示されるＡＲ要素を含む。

【0134】

Ｂ１４．Ｂ１３のコンピュータシステムであって、方法は、ビデオストリームを提示する一部として、および、物理対象物が患者の解剖学的構造に対して位置決めされるときに、手術環境の領域を拡大して、物理対象物の所望の位置と配置を表示することをさらに含む。

【0135】

Ｂ１５．Ｂ１２のコンピュータシステムであって、ディスプレイ装置は、ユーザが手術環境のビューを見るための透明ディスプレイを備え、ＡＲ要素は透明ディスプレイに提示され、透明ディスプレイを通してユーザの手術環境のビューを拡張する。

【0136】

Ｂ１６．Ｂ１５のコンピュータシステムであって、透明ディスプレイは、スマートウェアラブルグラスデバイスの一部として提供される。

【0137】

Ｂ１７．Ｂ１２、Ｂ１３、Ｂ１４、Ｂ１５またはＢ１６のコンピュータシステムであって、視覚的に示すことは、ディスプレイ装置のＡＲ要素の視覚的表示を変更することを含む。

【0138】

Ｂ１８．Ｂ１７のコンピュータシステムであって、ＡＲ要素は、最初は少なくとも部分的に第１の色またはパターンであり、視覚的に示すことは、第１の色またはパターンを別の色またはパターンに変更することを含む。

【0139】

Ｂ１９．Ｂ１２、Ｂ１３、Ｂ１４、Ｂ１５またはＢ１６のコンピュータシステムであって、物理対象物の位置および場所を追跡することは、物理対象物の１つ以上のマーカ、物理対象物の既知の形状に基づいてビュー内の物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または、物理対象物に対して固定された既知の場所を持つ少なくとも１つの他の物理対象物の位置の追跡すること、のうち少なくとも１つを使用して実行される。

【0140】

Ｂ２０．Ｂ１２、Ｂ１３、Ｂ１４、Ｂ１５またはＢ１６のコンピュータシステムであって、ＡＲ要素は第１の ＡＲ要素であり、方法は、所望の位置または配置の物理対象物に患者の解剖学的構造に対して位置決めまたは配置される第２のＡＲ要素をディスプレイ装置に提示することをさらに含む。

【0141】

Ｂ２１．Ｂ１２、Ｂ１３、Ｂ１４、Ｂ１５またはＢ１６のコンピュータシステムであって、ＡＲ要素は、物理対象物のデジタルモデルである。

【0142】

Ｂ２２．Ｂ１２、Ｂ１３、Ｂ１４、Ｂ１５またはＢ１６のコンピュータシステムであって、物理対象物はインプラントである。

【0143】

Ｂ２３．コンピュータプログラム製品であって、処理回路によって読み取り可能で、処理回路によって実行される、以下を含む方法を実行する命令を記憶するコンピュータ可読記憶媒体を備える。方法は、手術環境内で物理対象物が移動されるときに、手術環境内の物理対象物の位置および場所を追跡することと、ディスプレイ装置に、手術環境のビューで物理対象物を重ねて拡張現実（ＡＲ）要素を提示することと、物理対象物の位置および場所が物理対象物所望の位置および配置と一致していることに基づいて、物理対象物が患者の解剖学的構造に対応させて所望の位置および配置に移動されたことをディスプレイ装置に視覚的に示すことを含む。ビューは、物理対象物と、患者の手術計画によって指示された物理対象物の所望の位置および配置に従って物理対象物が位置決めおよび配置される前記患者の解剖学的構造とを示す。記提示は、追跡に基づいて、手術環境内で物理対象物が移動されるときにビュー内で物理対象物を重ねるＡＲ要素を維持する。

【0144】

Ｂ２４．Ｂ２３のコンピュータプログラム製品であって、方法は、患者の解剖学的構造の描写を含む手術環境のビューを描写するビデオストリームを取得することと、ディスプレイ装置にビデオストリームを提示することと、をさらに含み、ディスプレイ装置にＡＲ要素を提示することは、ビデオストリームを拡張し、手術環境のビュー内の物理対象物に重ねて表示されるＡＲ要素を含む。

【0145】

Ｂ２５．Ｂ２５のコンピュータプログラム製品であって、方法は、ビデオストリームを提示する一部として、および、物理対象物が患者の解剖学的構造に対して位置決めされるときに、手術環境の領域を拡大して、物理対象物の所望の位置と配置を表示することをさらに含む。

【0146】

Ｂ２６．Ｂ２３のコンピュータプログラム製品であって、ディスプレイは、ユーザが手術環境のビューを見るための透明ディスプレイ装置を備え、ＡＲ要素は透明ディスプレイに提示され、透明ディスプレイを通してユーザの手術環境のビューを拡張する。

【0147】

Ｂ２７．Ｂ２６のコンピュータプログラム製品であって、透明ディスプレイは、スマートウェアラブルグラスデバイスの一部として提供される。

【0148】

Ｂ２８．Ｂ２３、Ｂ２４、Ｂ２５、Ｂ２６またはＢ２７のコンピュータプログラム製品であって、視覚的に示すことは、ディスプレイ装置のＡＲ要素の視覚的表示を変更することを含む。

【0149】

Ｂ２９．Ｂ２８のコンピュータプログラム製品であって、ＡＲ要素は、最初は少なくとも部分的に第１の色またはパターンであり、視覚的に示すことは、第１の色またはパターンを別の色またはパターンに変更することを含む。

【0150】

Ｂ３０．Ｂ２３、Ｂ２４、Ｂ２５、Ｂ２６またはＢ２７のコンピュータプログラム製品であって、物理対象物の位置および場所を追跡することは、任意で、物理対象物の１つ以上のマーカ、物理対象物の既知の形状に基づいてビュー内の物理対象物の位置および場所を識別する形状マッチングアルゴリズム、または、物理対象物に対して固定された既知の場所を持つ少なくとも１つの他の物理対象物の位置の追跡すること、のうち少なくとも１つを使用して実行される。

【0151】

Ｂ３１．Ｂ２３、Ｂ２４、Ｂ２５、Ｂ２６またはＢ２７のコンピュータプログラム製品であって、ＡＲ要素は、第１のＡＲ要素であり、方法は、所望の位置または配置の物理対象物に患者の解剖学的構造に対して位置決めまたは配置される第２のＡＲ要素をディスプレイ装置に提示することをさらに含む。

【0152】

Ｂ３２．Ｂ２３、Ｂ２４、Ｂ２５、Ｂ２６またはＢ２７のコンピュータプログラム製品であって、ＡＲ要素は、物理対象物のデジタルモデルである。

【0153】

Ｂ３３．Ｂ２３、Ｂ２４、Ｂ２５、Ｂ２６またはＢ２７のコンピュータプログラム製品であって、物理対象物は、インプラントである。

【0154】

本明細書で使用される用語は、特定の実施形態を説明するためだけのものであり、限定するものではない。本明細書で使用されている単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈から明らかに別の意味が示されていない限り、複数形も含むものとする。さらに、本明細書で使用されている用語「ｃｏｍｐｒｉｓｅｓ」および／または「ｃｏｍｐｒｉｓｉｎｇ」は、記載されている特徴、整数、ステップ、操作、要素、および／または構成要素の存在を特定するが、１つ以上の他の特徴、整数、ステップ、操作、要素、構成要素、および／またはそれらのグループの存在または追加を排除するものではないことが理解される。

【0155】

以下の請求項におけるすべての手段またはステッププラスファンクション要素の対応する構造、材料、行為、および同等物（存在する場合）は、具体的に請求されている他の請求された要素と組み合わせて機能を実行するためのあらゆる構造、材料、または行為を含むものとする。１つ以上の実施形態の説明は、例示および説明の目的で提示されているが、網羅的であること、または開示された形式に限定されることを意図していない。当業者には、多くの変更および変形が明らかであろう。本実施形態は、さまざまな態様と実際の応用を最もよく説明し、また、当業者が、想定される特定の用途に適したさまざまな変更を加えたさまざまな実施形態を理解できるようにするために選択され、説明されている。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図1F】

【図1G】

【図1H】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】