特表 2024-541906 手技指導及び訓練装置、方法、及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-13

(54)【発明の名称】手技指導及び訓練装置、方法、及びシステム

(51)【国際特許分類】

   G09B 23/28 20060101AFI20241106BHJP

   G09B 19/00 20060101ALI20241106BHJP

【ＦＩ】

G09B23/28

G09B19/00 Z

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024524475

(86)(22)【出願日】2022-10-24

(85)【翻訳文提出日】2024-06-18

(86)【国際出願番号】 US2022047604

(87)【国際公開番号】W WO2023069782

(87)【国際公開日】2023-04-27

(31)【優先権主張番号】63/341,234

(32)【優先日】2022-05-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/271,153

(32)【優先日】2021-10-23

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】521021317

【氏名又は名称】シミュレーテッド イナニメイト モデルズ エルエルシー

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】ストーン、ネルソン

(72)【発明者】

【氏名】グリフィス、スティーブン

(72)【発明者】

【氏名】ストーン、ジョナサン

【テーマコード（参考）】

2C032

【Ｆターム（参考）】

2C032CA06

(57)【要約】

一実施例において、外科研修生が、遠隔に位置し、同様のＡＲヘッドセットを持っているトレーナと、音声通信及び視覚的通信を行う、拡張現実ヘッドセットを用いた現実的な手法で、実際の手術中に専門的な臨床指導を受けるか、又は解剖学的モデル上で外科技術の練習をすることができる、手技訓練装置、方法、及びシステム。システムの独自の機能には、研修生及びトレーナのＡＲヘッドセットに、手術部位の生の画像又は静止画像を供給することが含まれ、イメージングは、医療デバイス又は他のデバイス、例えば、超音波から、デバイス媒体ハブを通じて供給される。画像は、外科医の視野に表示されるため、外科医は、自分の手、患者又はモデル、及びイメージングを同時に見ることができる。

【特許請求の範囲】

【請求項1】

研修生と遠隔にいる手技のトレーナとの間の通信を行うシステムであって、
ａ）前記研修生及び遠隔にいるトレーナがそれぞれ着用可能な、第１及び第２のヘッドセットであって、前記ヘッドセットのそれぞれが、少なくとも２つの閲覧範囲の、着用者による視覚化が同時にできるよう動作可能な閲覧枠を有し、第１の閲覧範囲が、前記着用者が、前記着用者に隣り合って位置する生の手技現場を見ることを可能にする、シースルー・レンズであり、第２の閲覧範囲が、前記ヘッドセットが電子信号として受信する画像である、第１及び第２のヘッドセットと、
ｂ）前記第１及び第２のヘッドセットにそれぞれ接続された、第１及び第２のデバイス接続ハブであって、前記ハブのそれぞれが、少なくとも１つのイメージング・デバイスから画像を受信するよう動作可能である、第１及び第２のデバイス接続ハブと、
ｃ）電気通信の操作性を有し、前記第１及び第２のヘッドセットのそれぞれがアクセス可能であり、前記画像を前記第２の閲覧範囲に投影するよう動作可能な、ソフトウェア・プログラムと
を備える、システム。

【請求項2】

前記第１及び第２の閲覧範囲が、位置的に、前記閲覧枠内で、垂直方向又は水平方向のうちの一方に、互いに隣り合って配置される、請求項１に記載のシステム。

【請求項3】

前記第１及び第２のデバイス接続ハブがそれぞれ、前記少なくとも１つのイメージング・デバイスから受信した前記画像に対して、信号処理を実行するよう動作可能である、請求項１に記載のシステム。

【請求項4】

前記手技が、患者に対する外科手術である、請求項１に記載のシステム。

【請求項5】

前記ソフトウェアが、前記トレーナが、前記トレーナのヘッドセットから１人又は複数の研修生のヘッドセットへ、画像を送信できるよう動作可能である、請求項１に記載のシステム。

【請求項6】

前記ソフトウェアが、前記トレーナが、１人又は複数の研修生のヘッドセットへ、電子データ・ファイルを送信できるよう動作可能である、請求項１に記載のシステム。

【請求項7】

前記電子データ・ファイルが、テキスト及びビデオの一方又は両方を含む、請求項６に記載のシステム。

【請求項8】

前記ソフトウェアが、前記トレーナが、１人又は複数の研修生のヘッドセットの前記第１及び第２の閲覧範囲のうちのいずれかを、選択的に閲覧できるよう動作可能である、請求項１に記載のシステム。

【請求項9】

前記ソフトウェアが、前記トレーナが、前記選択された研修生の１つ又は複数の閲覧範囲を、選択されていない研修生のヘッドセットの閲覧範囲に表示させることができるよう動作可能である、請求項８に記載のシステム。

【請求項10】

前記ヘッドセットが、拡張現実ヘッドセットである、請求項１に記載のシステム。

【請求項11】

前記研修生とトレーナとの間の選択的な音声通信をさらに備える、請求項１に記載のシステム。

【請求項12】

前記音声通信が、それぞれの前記ヘッドセットにつながっている、請求項１０に記載のシステム。

【請求項13】

一方又は両方のヘッドセットに電子的に接続された、１つ又は複数のカメラをさらに備える、請求項１に記載のシステム。

【請求項14】

前記１つ又は複数のカメラが、それぞれのヘッドセット上に配置される、請求項１３に記載のシステム。

【請求項15】

３人以上の研修生が使用するための、３つ以上のヘッドセットをさらに備える、請求項１に記載のシステム。

【請求項16】

前記ＡＲソフトウェアが、ＡＲヘッドセットの画像解像度、色バランス、画像切出し、サイズ変更、配置、拡大縮小、ミラーリング、回転、並びに水平及び垂直反転のうちの１つ又は複数を、選択的に制御するよう動作可能である、請求項１に記載のシステム。

【請求項17】

手技中にデバイス画像の閲覧を可能にするシステムであって、
ａ）少なくとも２つの閲覧範囲の、着用者による視覚化ができるよう動作可能な、閲覧枠及びソフトウェア・プログラムを有するＡＲヘッドセットであって、第１の閲覧範囲が、前記着用者が、前記着用者に隣り合って位置する生の手技現場を見ることを可能にする、シースルー・レンズであり、第２の閲覧範囲が、前記ヘッドセットが電子信号として受信する画像を表示する、ＡＲヘッドセットと、
ｂ）前記ヘッドセットに接続され、少なくとも１つのイメージング・デバイスから画像を受信するよう動作可能である、デバイス接続ハブと、
ｃ）前記画像を前記第２の閲覧範囲に投影するよう動作可能な前記ソフトウェア・プログラムと
を備える、システム。

【請求項18】

前記着用者が研修生であり、前記システムが、前記ＡＲヘッドセットに電子的に接続された１つ又は複数のカメラをさらに備え、これにより、遠隔に位置するトレーナが、視覚ディスプレイ上で前記研修生の行為を閲覧することができる、請求項１７に記載のシステム。

【請求項19】

前記ＡＲヘッドセットが、
ａ）レーザ・ポインタ機能、
ｂ）１つ又は複数のイメージング・デバイス（カメラ）、
ｃ）３６０度カメラ、
ｄ）デジタル・ルーペ、
ｅ）照射ヘッドランプ、
ｆ）シースルー光学系、
ｇ）イメージング・ハブを介した複数のイメージング・フィード、及び
ｈ）医療器械による複数のデータ・フィード
のうちの１つ又は複数をさらに備える、請求項１７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

この出願は、２０２１年１０月２３日に出願された米国仮特許出願第６３／２７１，１５３号、及び２０２２年５月１２日に出願された米国仮特許出願第６３，３４１，２３４号の利益を主張し、その全体が参照により本明細書に含まれる。

【0002】

本発明は、１人の施術者に手技指導を行い、且つ／又は本明細書で「研修生」及び「トレーナ」と呼ばれる、少なくとも２人の間で訓練する装置、システム、及び方法に関する。本発明は、多種多様な技術分野（その実例については、下記でさらに説明することにする）に広く適用可能であるが、本発明の一実施例において、非限定的な実例では、手術部位のイメージング及び電気通信ソフトウェアを備えた拡張現実（「ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ」）ヘッドセットなどの、ヒューマン・コンピュータ・インターフェース（「ＨＣＩ：ｈｕｍａｎ ｃｏｍｐｕｔｅｒ ｉｎｔｅｒｆａｃｅ」）を利用して、遠隔で外科訓練、試験監督、及び／又は臨床指導する装置、システム、及び方法を提供する。研修生は、本発明の訓練の実施例では、非限定的な実例として、医学生、外科研修医、又は必ずしも熟練しているわけではないか、若しくは単にスキルをリフレッシュしたい、新しい手技を学習している経験豊富な外科医の場合があり、「トレーナ」は、非限定的な実例として、実行されている手技に熟練した外科医、教授、又は医療販売員の場合がある。研修生及びトレーナは、地理的に別の場所にいる場合もあれば、いない場合もあり、任意選択で、複数の研修生及び／又はトレーナが、システム内で同時に作業する場合がある。本発明の臨床指導の実施例において、１人の施術者が、本発明の装置、システム、及び方法を使用して、患者から目をそらす必要なく、手技を指導することができる。

【背景技術】

【0003】

外科訓練は現在、人工身体及び臓器モデルに対して行うこと、並びに生きている人間及び動物と、死んでいる人間及び動物との両方に対して直接行うことを含む、様々なやり方で行われている。外科手術の研修生に対する専門家の指導は、必要であるにもかかわらず、現在利用可能な外科訓練方法が不足していることは明らかであり、より効率的且つ効果的な外科訓練方法が必要とされている。

【0004】

医療施術者が、外科手術又は他の医療手技中に継続的に監視しなければならない、多数のデータ・ポイントがあることが知られている。手術では、麻酔科医及び看護師などの手術チームのメンバが、外科医に、患者の生体情報及び状態を定期的に口頭で示す場合がある。外科医は、こうした場合、手術部位から目をそらす必要なく、かかる口頭情報を受け取ることができる。最小侵襲性手術中に外科医が参照するために、術前に、手技の前に閲覧できるか、若しくは手技中に外科医に対して同報通信され得る、行われた患者の臓器のイメージングなどの他の患者のデータ、又は手術中に手術室で患者に対して実行されるイメージングは、外科医が、手技中に個人的に閲覧する必要がある。イメージングは通常、コンピュータ・モニタなどに表示されるため、外科医は、モニタを閲覧するときに手術部位から目をそらす必要がある（これは、１人の施術者が１人の患者に手技を実行する場合にも当てはまる）。これは、不必要に長い手術時間、及び外科医が、モニタ上の画像を閲覧するために患者及び手から目をそらさなければならないため、断続的に手術部位から気をそらすことによる、潜在的な手術ミスにつながる可能性があるので、理想的ではない。

【発明の概要】

【課題を解決するための手段】

【0005】

本発明の例示的な実施例において、好ましい実施例では、シースルー光学ディスプレイ及びイメージング・アレイを備える拡張現実（ＡＲ）ヘッドセット、イメージング・デバイス電子機器用ハブ、並びに電気通信及びＡＲディスプレイの制御を可能にするソフトウェアである、ヒューマン・コンピュータ・インターフェースの形態の３つの主要な構成要素を利用する、外科訓練装置、方法、及びシステムが提供される。

【0006】

本発明の一実施例は、１人の施術者が、例えば臨床現場において、人工モデル又は実際の患者に対して使用するが、本発明は、本明細書では、トレーナ及び１人又は複数の研修生が関与する、本発明の訓練の実施例を参照しながら説明することにする。

【0007】

トレーナ及び１人又は複数の研修生のそれぞれは、自身のそれぞれのＡＲヘッドセット、イメージング・デバイス・ハブ、及びソフトウェアを備える。トレーナ及び各研修生はまた、全員が同じ種類のイメージング・デバイスを使用して同じ外科手術を実行しているように、すべて実質的に同じである、自身のイメージング・デバイス及び手術部位も備える。

【0008】

トレーナ及び各研修生は、それぞれがシースルー光学パネルを備え、シースルー光学パネル上に、又はシースルー光学パネルに隣り合って、１つ又は複数の変更可能な画像閲覧領域を有する、それぞれのＡＲヘッドセットを通して、自身の手術部位を閲覧することができる。

【0009】

トレーナは、各研修生のＡＲヘッドセットの画像ディスプレイを制御することができる。トレーナは、手技中に、トレーナのＡＲヘッドセットの画像で、研修生が研修生のＡＲヘッドセットで見ているものを見るよう、選択することができる。トレーナはまた、トレーナの手術部位でトレーナが見ているもの（「トレーナのビュー」）を、研修生のＡＲヘッドセットで表示するようにも選択でき、これにより研修生は、トレーナが手技を実際にやってみせる様子を実見することができる。トレーナは、他のビデオ及び／又はテキスト資料を、１つ又は複数の研修生のＡＲヘッドセットへ送信するよう選択することもできる。トレーナは、特定の状況では、トレーナと研修生との両方の画像を、視野（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）内に並べて表示するよう選択できるため、両方が、同時に実行している作業を、互いに実見することができる。

【0010】

ＡＲヘッドセットは、研修生とトレーナとの間の双方向通信を可能にする、スピーカ及びマイクを備えていてもよい。電子制御ポインティング・デバイスも備えることができ、これによりトレーナは、トレーナの手、手術部位、及び／又は研修生への教導が必要な複数のデバイスのうちのいずれでも、選択的に強調表示することができる。研修生も、ポインティング・デバイスを備えることができ、これにより研修生は、トレーナとの議論のために、関心領域の画像を強調表示することができる。ポインティング・デバイスは、ヘッドセットに取り付けられ、外部の対象物若しくは場所を強調表示するか、又はトレーナ若しくは研修生のいずれかが、コントローラによって、通常はモニタに画像を表示するデバイスによって生成されている生の画像上に、電子的に重畳することができる。

【0011】

手術部位の生の又は静的なイメージングは、研修生及びトレーナのＡＲヘッドセットに表示することができ、イメージングは、医療デバイス又は他のデバイス（例えば、超音波）から、デバイス・ハブを通して供給される。画像は、トレーナ及び／又は研修生の視野に表示されるため、トレーナ及び／又は研修生は、自分の手、患者（又はモデル）、及びイメージングを同時に見ることができる。制御することにより、通常は、それぞれのＡＲヘッドセット上のイメージングを、トレーナによるコマンドで切り替えることができ、これによりトレーナは、例えば、トレーナの手術部位の画像（例えば、トレーナ自身のモデル上の）を研修生のＡＲヘッドセットに配信し、正しい手技を示すことができる。研修生が、トレーナによる正しい手技のイメージングを閲覧すると、イメージング源を研修生の手術部位に切り替えて戻すことができ、研修生はこれにより、手技を続行することができる。

【0012】

外科手術中の、又はモデル上での、教導又は生の臨床支援により、手技を記録し、記録を、機械学習モデル及びクラスごとに分けることができるため、半教師あり学習及び／又は教師なし学習が可能となる。機械学習モデルが作成された後、外科手術中に、自動での指導及び／又は警告を与えることができる。こうした記録は、加えて、証明又は質保証に使用でき、下記で説明する視線（ＬＯＳ：ｌｉｎｅ ｏｆ ｓｉｇｈｔ）技術、及びソフトウェアで作成され、トレーナ又は他のユーザによって制御される、画像（例えば、手の上に重ねられた生の超音波）の位置を使用して、記録することができる。本明細書で使用される「重ねられた」という用語は、２つ以上の閲覧範囲の重ね合わせた配置を意味するのではなく、２つ以上の閲覧範囲の隣り合う配置（例えば、垂直、水平、対角などの任意の方向の）を表すことを、意味することに留意されたい。

【0013】

デバイス接続ハブは、１つ又は複数の医療イメージング源、或いはＥＫＧ（同時に複数を含む）、カメラ、又は手術若しくはその他の複雑な手技中に使用される他の周辺機器などの、他の非イメージング・デバイスについての、プラグアンドプレイ接続を可能にする。プラグアンドプレイ接続は、有線接続されるか、又は接続を開始するためのクイック・レスポンス、すなわち「ＱＲ：Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ」コードなど、いくつの技術でも使用した無線接続を介して可能である。

【0014】

研修生の、接続されたデバイスとの生の（リアルタイムの）相互作用（イメージング・アレイのデータ）は、研修生のそれぞれのＡＲヘッドセットを介して、トレーナのＡＲヘッドセットのシースルー光学ディスプレイ、従来のコンピュータ・ディスプレイ、又は頭部着用型モニタの、反射又は屈折部分を通して研修生の行為を見ている、遠隔に位置するトレーナのＡＲヘッドセットに同報通信することができる。こうした追加のディスプレイは、トレーナの、研修生の、又は遠隔にある現場に配置して、閲覧することができる。

【0015】

ソフトウェア（本明細書では、「遠隔訓練プラットフォーム（ＲＴＰ：ｒｅｍｏｔｅ ｔｒａｉｎｉｎｇ ｐｌａｔｆｏｒｍ）」又は「ＲＴＰソフトウェア」と呼ばれることがある）は、術野のビューを妨げず、これによりトレーナ及び研修生の、こうしたデバイスとの相互作用を最大限に活用するために、ＲＴＰソフトウェアで、ＲＴＰソフトウェアを介して、又はコントローラを通じて行われる制御によって、選択的に配置できる前述の画像、ビデオ、及び／又は他のフィードの同時表示を可能にする。本明細書で、ＲＴＰソフトウェアに含まれるものとして説明されているすべての機能は、ビデオ通信を通じて備えるか、又はコントローラ内に収めることができる。

【0016】

ＲＴＰソフトウェアはまた、トレーナが、１人又は複数の研修生のＡＲディスプレイに、手術シナリオの重要なビデオ、イメージング、及び／又はテキスト／注釈コンテンツを選択的に送り、且つ／又は再生することも可能にする。

【0017】

画像又は他の選択されたコンテンツは、ＡＲヘッドセットに提示することができるため、生々しいビューを表す。例えば、ＺＯＯＭなどの現在利用可能な電気通信ソフトウェアにより、ビデオ画像を、水平又は垂直のタイルとして表示することができる。本発明によれば、トレーナは、ソフトウェアによって提供される制御により、様々な画像を配置する能力を持ち、これによりデバイス画像は、トレーナの手のビューの上方の、邪魔にならない所にある。外科医は、これにより、さもなければ手術部位の露出部分に隠れている（体内の）画像を閲覧できると同時に、決して手術部位から目をそらす必要なく、手技を実行している外科医自身の手を見ることもできる。この最後のケースのシナリオでは、生の画像が、手の上方に表示されるように視覚的に配置される（重ねられる）ため、両方の臨床医が、シースルー映像（この内部画像を生成する、モデル又は患者の超音波画像）を有し、手技を実行しながら自分の手を実見する。この空間的配置が、トレーナと研修生との両方に、観血的手術を行っているような印象を与える。

【0018】

ＡＲヘッドセットのイメージング・アレイは、本発明の一実施例では、トレーナ又は研修生の視野（「ＦＯＶ」）の周囲の３６０度ビューを再構成するよう動作可能であってもよく、トレーナ又は研修生がそれぞれ、研修生又はトレーナの位置の周囲を仮想的に「歩く」ことが可能となるため、他の人の作業及び他の人が見ているものをリアルタイムで観察することができる。この機能により、トレーナ又は研修生は、仮想的に、他の人と一緒に部屋に置かれる。

【0019】

本発明のさらなる目的、利点、及び新規の態様は、以下の説明で部分的に記載することとし、添付の図を検討すると、本発明を実施する者には部分的に明らかとなろう。

【0020】

この発明の上記で言及した機能及び利点、他の機能及び利点、並びにそれらを達成する手法は、添付図面と共に本発明の以下の説明を参照することによって明らかとなり、より適切に理解されよう。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施例の概略図である。

【図2】レーザ照射を有するＡＲヘッドセットを備えた施術者、トレーナ、又は研修生の上面図を示す、簡略図である。

【図3】本発明の一実施例の装置、システム、及び方法を利用して外科手術を実行する施術者、トレーナ、又は研修生の概略図である。

【図4】様々に可能な、ＡＲヘッドセットの閲覧範囲のレイアウトを示す図である。

【図5】様々に可能な、ＡＲヘッドセットの閲覧範囲のレイアウトを示す図である。

【図6】様々に可能な、ＡＲヘッドセットの閲覧範囲のレイアウトを示す図である。

【図7】様々に可能な、ＡＲヘッドセットの閲覧範囲のレイアウトを示す図である。

【図8】１人のトレーナが、複数の研修生を同時に訓練することを示す、簡略図である。

【図9】それぞれのＡＲヘッドセットを備えたトレーナ及び研修生が、研修生ビュー・モードを使用して外科手術を実行していることを示す、簡略図である。

【図10】それぞれのＡＲヘッドセットを備えたトレーナ及び研修生が、トレーナビュー・モードを使用して外科手術を実行していることを示す、簡略図である。

【図11】図７のＡＲヘッドセットの一実例を示す、簡略図である。

【図12】ＡＲヘッドセットを通して見たＡＲヘッドセットのＦＯＶと、ＦＯＶ内のＡＯＩを指すレーザ・スポットとを示す、簡略図である。

【図13】視線視野（ＬＯＳＦＯＶ：Ｌｉｎｅ ｏｆ Ｓｉｇｈｔ Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）内に投影された、角括弧の付いたＡＯＩを示す、簡略図である。

【図14】ＡＯＩがＦＯＶ内の中心にあることを示し、またＬＯＳ教導ポイント（ＬＯＳＩＰ：Ｌｉｎｅ ｏｆ Ｓｉｇｈｔ ｉｎｓｔｒｕｃｔｉｏｎ ｐｏｉｎｔ）がＦＯＶの中心にあり、頭部着用型ディスプレイを着用している人が、ＦＯＶ内の完全な中心にＡＯＩを有していることを示す、簡略図である。

【図15】ＡＯＩがＦＯＶ内で中心を外れて左下にあることを示し、またＬＯＳＩＰがＦＯＶの左下の象限にあることを示し、これは、頭部着用型ディスプレイを着用している人が、ＦＯＶ内の中央に位置していないことを示す、簡略図である。

【図16】バーコードの機械追跡を利用して、ＡＯＩをＦＯＶの中心に合わせる仕組みを示す、簡略図である。

【図17】ヘッドセットの着用者に提示されている、ＡＯＩのズーム・インしたビューを表す部分領域を示す、視野全体の簡略図である。

【図18】着用者がＡＲモードで観察していることを意味する、機械的シェード機構が引っ込められた状態（図の上半分）を示す、簡略図である。図の下半分は、シェードが展開された状態を示しており、着用者が仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）モードを利用していることを意味する。

【図19】ＡＲ導波路の輻輳角、及び関心角度までの距離を示す、簡略図である。

【図20】図に示す距離センサによって、ＦＯＶまでの距離が感知される、輻輳点を示す簡略図である。

【図21】レーザ照射器を制御でき、ＶＲモードでポインタを、ノブをＣＷ又はＣＣＷに回すことにより、Ｘ－Ｙ方向に関心領域へ導き、またノブを押しながらＣＷ及びＣＣＷに回すことによりそれぞれ、Ｚ寸法内に収まり、Ｚ寸法から外れるように導くこともできる、ベルト着用型組込みコントローラを示す簡略図である。

【図22】内視鏡に取り付けられたデジタル・カメラから収集された画像上に表示できる、ポインタを示す簡略図である。トレーナが、ビデオ画像上の特定の領域を強調表示することを可能にし、ソフトウェアによって、又はコントローラの専用の位置から制御することができる。

【発明を実施するための形態】

【0022】

図１を参照すると、本発明の好ましい実施例では、シースルー光学ディスプレイ及びイメージング・アレイを備える拡張現実（ＡＲ）ヘッドセット１２、デバイス電子機器用ハブ１４、及び電気通信ソフトウェア１６の形態の３つの主要な構成要素を利用する、全体的に参照番号１０で示す外科訓練装置、システム、及び方法が提供される。臨床現場で１人の施術者が関与する実施例では、必要なものは、関連するデバイス接続ハブを備えた単一のＡＲヘッドセットと、ＡＲヘッドセット及びデバイス接続ハブに接続する、ＲＴＰソフトウェアを実行するコンピュータだけである。訓練の実施例では、１人又は複数の研修生を伴うトレーナにはそれぞれ、下記でより完全に説明するように、ＡＲヘッドセット、デバイス接続ハブ、及びＲＴＰソフトウェアを実行するコンピュータが与えられる。

【0023】

ＡＲヘッドセット１２は、それぞれのＡＲヘッドセットを着用した１人又は複数の研修生Ｔ２、Ｔ３、～ＴＮが、トレーナＴ１のイメージング・アレイを通してトレーナＴ１が見ているものを見ることを可能にし、また各研修生Ｔ２、Ｔ３、～ＴＮが、訓練資料及び／又はトレーナＴ１の視点を閲覧することを可能にする。

【0024】

各ＡＲヘッドセット１２（Ｔ１、Ｔ２、Ｔ３、～ＴＮのそれぞれに１つ）は、トレーナＴ１と各研修生との間の双方向通信を可能にする、スピーカ１２ａ及びマイク１２ｂを備えてもよい。それぞれのトレーナ／研修生のＡＲヘッドセットは、図面内では、トレーナＴ１及び各研修生Ｔ２、Ｔ３、～ＴＮのＡＲヘッドセットをそれぞれ示すために、１２－Ｔ１、１２－Ｔ２、１２－Ｔ３などの表記で特定される。

【0025】

各ＡＲヘッドセット１２は、図２に見られるそれぞれのデバイス接続ハブ又は「ＤＣＨ」１４に結合されている。各ＤＣＨ１４は、手術又はその他の複雑な手技中に使用される、１つ又は複数の医療デバイス又は他のデバイス（２つ以上のデバイスを同時に動作させることが含まれ得る）、カメラ、イメージング・デバイス又は他の周辺デバイスについての、プラグアンドプレイ接続を可能にする。デバイスは、本明細書に示し、説明している特定の実施例では、図２に見られるように、デバイスのプラグ１６ａを受容するＤＣＨ１４のプラグ受口１４ａに接続された、超音波ワンド１６である。

【0026】

ＤＣＨ１４は、特に医療施設内では、医療施設の標準コンピュータ・セキュリティ・プロトコルにより、ファイアウォールより後ろにある可能性があるので、ことが好ましくはローカル・ソフトウェアを実行する組込みデバイスであり得る。ＤＣＨソフトウェアは、図２に見られるように、クラウドＣでホスティングされるＣＩ／ＣＤ（Ｃｏｎｔｉｎｕｏｕｓ Ｉｎｔｅｇｒａｔｉｏｎ：継続的インテグレーション／Ｃｏｎｔｉｎｕｏｕｓ Ｄｅｖｅｌｏｐｍｅｎｔ：継続的開発）サーバを通じて更新されるＤＣＨソフトウェアの定期的なダウンロードを受信するために、クラウドＣに接続することができる。

【0027】

研修生（Ｔ２、Ｔ３、～ＴＮのうちの１人又は複数）の、デバイス１６などの接続されたデバイスとの生の（リアルタイムの）相互作用（イメージング・アレイのデータ）は、研修生のそれぞれのＡＲヘッドセット１２－Ｔ２を介して、トレーナのＡＲヘッドセット１２－Ｔ１の光学ディスプレイ又は従来のコンピュータ・ディスプレイを通して研修生Ｔ２の行為を見ている、遠隔に位置するトレーナＴ１のＡＲヘッドセット１２－Ｔ１に同報通信することができる。

【0028】

ＲＴＰソフトウェアは、術野のビューを妨げず、これによりトレーナ及び研修生の、前記デバイスとの相互作用を最大限に活用するために、ＡＲヘッドセット内に選択的に配置され得る、前述の画像及び／又はビデオ・フィードの同時表示を可能にする。

【0029】

ＲＴＰソフトウェアはまた、トレーナが、研修生のＡＲディスプレイに、手術シナリオの重要なビデオ、イメージング、及び／又はテキスト／注釈コンテンツを選択的に送り、且つ／又は再生することも可能にする。

【0030】

ＡＲヘッドセットのイメージング・アレイは、本発明の一実施例では、トレーナ又は研修生の視野の周囲の３６０度ビューを再構成するよう動作可能であってもよく、トレーナ又は研修生がそれぞれ、研修生又はトレーナの位置の周囲を仮想的に「歩く」ことが可能となるため、他の人の作業及び他の人が見ているものをリアルタイムで観察することができる。この機能により、トレーナ又は研修生は、仮想的に、他の人と一緒の部屋に置かれる。

【0031】

ＡＲヘッドセット１２は、以下の機能又はその同等物のいずれか１つ又は複数を備えることができるが、そのすべてを備えることが好ましい。
１Ｋ、２Ｋ、４Ｋ、８Ｋ、又はより高い解像度の、単眼又は双眼シースルー光学系を備えた、投影型ディスプレイ導波路
ＷｉＦｉ及びＢｌｕｅｔｏｏｔｈ接続（又は、超音波、熱イメージング、音波などの他の接続方法、若しくは電磁スペクトル内の他の接続方法）
デジタル・カメラ
シングル・コア又はマルチ・コアの組込みＣＰＵ又はＧＰＵ
右目若しくは左目用単眼双眼鏡又は左右の双眼鏡
触覚フィードバック
音声制御
組込みＯＳ
ノイズ・キャンセル対応マイク
マーキング機能及び再生機能を備えた、オン・ボード・ビデオ記録媒体

【0032】

ＡＲヘッドセット１２は、例えば、ダウンロードされたソフトウェア・アプリケーション（「アプリ」）であるＲＴＰソフトウェア１６を実行する、コンピュータ、スマート・フォン、タブレット、又は他のコンピューティング・デバイスの形態であり得るコンピューティング・デバイス１７に、有線又は無線で接続することができる。ＲＴＰソフトウェア１６はまた、「クラウド」Ｃにおいて遠隔で提供され、ソフトウェア・アズ・ア・サービス（ＳａａＳ：Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）としてユーザに提供されてもよい。タブレット、ラップトップ、デスク・トップ、仮想デスク・トップ、スマート・フォンなど、他のどんな種類のコンピュータも使用でき、ＲＴＰソフトウェアをインストールするか、又はＳａａＳとしてアクセスすることができる。ＲＴＰソフトウェア１６は、デバイス１７、別個のモニタ（図示せず）、及び／又はＡＲヘッドセット１２上で、ログイン画面をユーザに提示するようプログラムされてもよく、ユーザは、後で読出し及び／又は再生するために、ユーザの生の臨床セッション又は外科訓練セッションのデータを記憶する、パスワードで保護されたデータ・ファイルを有することができる。ＲＴＰソフトウェア１６は、他のサーバ及び／又はネットワークに接続でき、これにより、ユーザのＲＴＰソフトウェア・ファイルを、例えば、ユーザの医学校又は医療デバイスの会社のサーバ上に提供される、ユーザ個人（例えば、学生）のデータ・ファイルに接続することができる。したがって、ユーザが模擬外科訓練に費やした時間は、ユーザの授業履修単位又は他の目的のために、記録することができる。

【0033】

デバイス接続ハブ１４の要素を備える、アーキテクチャ全体の例示的な実施例には、以下が含まれるが、これらに限定されるものではない。

【0034】

使用例１ － ＡＲヘッドセット１２は、ラップトップ／デスクトップ・コンピュータの周辺機器であり、シースルー光学系は、拡張ディスプレイであり、ヘッドセットのカメラは、ウェブカメラのようなものである。

【0035】

１Ａ．１（ヘッドセット）：双方向通信有線又は無線リンクを備え、ラップトップ／デスクトップ・コンピュータとの双方向通信を備え、ＡＲヘッドセットとの双方向通信を備える、インターネットＡＲクラウド。

【0036】

１Ａ．２（ハブ）：双方向通信有線又は無線リンクを備え、ラップトップ／デスクトップ・コンピュータとの双方向通信を備え、デバイス接続ハブとの双方向通信を備える、インターネット・クラウド。

【0037】

使用例２ － ラップトップ／デスクトップ・コンピュータなしで、ＡＲヘッドセットはハブに直接接続されている。

【0038】

２Ａ：有線又は無線リンクとの双方向通信を備え、有線又は無線リンクとの双方向通信を備える、ハブとの双方向通信を具備し、組込みコンピュータを備える、ＡＲヘッドセットとの双方向通信を具備する、インターネット・クラウド。

【0039】

２Ｂ：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備え有線又は無線リンクとの双方向通信を備える、ハブとの双方向通信を具備し、ＡＲヘッドセットとの双方向通信を備える、インターネット・クラウド。

【0040】

２Ｃ．１：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備える、ハブとの双方向通信を具備する、インターネット・クラウド。

【0041】

２Ｃ．２：有線又は無線リンクとの双方向通信を備え、ＡＲヘッドセットとの双方向通信を備える、インターネット・クラウド。

【0042】

使用例３ － 内部施設のサーバへの、縮退モード（ｄｅｇｒａｄａｔｉｏｎ ｍｏｄｅ）での直接接続を備える、独立型臨床医療デバイス。

【0043】

３Ａ：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備え有線又は無線リンクとの双方向通信を備える、ハブとの双方向通信を具備し、ＡＲヘッドセットとの双方向通信を備える、施設内部のサーバ（ファイアウォールで保護されたインターネット接続が利用可能であると仮定する）。

【0044】

３Ｂ：組込みコンピュータを備え有線又は無線リンクとの双方向通信を備える、有線又は無線リンク・ハブとの双方向通信を具備し、ＡＲヘッドセットとの双方向通信を備える、施設内部のサーバ（ファイアウォールで保護されたインターネット接続が利用可能であると仮定する）。

【0045】

３Ｃ：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備え有線又は無線リンクとの双方向通信を備える、ハブとの双方向通信を具備し、組込みコンピュータを備える、ＡＲヘッドセットとの双方向通信を具備する、施設内部のサーバ（ファイアウォールで保護されたインターネット接続が利用可能であると仮定する）。

【0046】

３Ｄ．１：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備える、ＡＲヘッドセットとの双方向通信を具備する、施設内部のサーバ（ファイアウォールで保護されたインターネット接続が利用可能であると仮定する）。

【0047】

３Ｄ．２：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備える、ハブとの双方向通信を具備する、施設内部のサーバ（ファイアウォールで保護されたインターネット接続が利用可能であると仮定する）。

【0048】

使用例４ － 統合サーバ（ｆｅｄｅｒａｔｅｄ ｓｅｒｖｅｒ）（隠名の画像及び／又はデータが記憶され得るか、又は読み出され得るサーバ。主に機械学習モデルの構築に使用されるが、他の用途もあり得る）への、縮退モードでの直接接続を備える、独立型臨床医療デバイス。

【0049】

４Ａ：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備え有線又は無線リンクとの双方向通信を備える、ハブとの双方向通信を具備し、ＡＲヘッドセットとの双方向通信を備える、統合サーバ（ファイアウォールで保護されたインターネット接続が利用可能であると仮定する）。

【0050】

４Ｂ：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備え有線又は無線リンクとの双方向通信を備える、ハブとの双方向通信を具備し、ＡＲヘッドセットとの双方向通信を備える、統合サーバ（ファイアウォールで保護されたインターネット接続が利用可能であると仮定する）。

【0051】

４Ｃ：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備え有線又は無線リンクとの双方向通信を備える、ハブとの双方向通信を具備し、組込みコンピュータを備える、ＡＲヘッドセットとの双方向通信を具備する、統合サーバ（ファイアウォールで保護されたインターネット接続が利用可能であると仮定する）。

【0052】

４Ｄ．１：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備える、ＡＲヘッドセットとの双方向通信を具備する、統合サーバ（ファイアウォールで保護されたインターネット接続が利用可能であると仮定する）。

【0053】

４Ｄ．２：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備える、ハブとの双方向通信を具備する、統合サーバ（ファイアウォールで保護されたインターネット接続が利用可能であると仮定する）。

【0054】

使用例５ － 上記で説明したシースルー映像を可能にし、統合サーバへの縮退モードでの直接接続を備える、独立型臨床医療デバイス。

【0055】

５Ａ：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備え有線又は無線リンクとの双方向通信を備える、ハブとの双方向通信を具備し、ＡＲヘッドセットとの双方向通信を備える、統合及び内部サーバ（ファイアウォールで保護されたインターネット接続が利用可能であると仮定する）。

【0056】

５Ｂ：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備え有線又は無線リンクとの双方向通信を備える、ハブとの双方向通信を具備し、ＡＲヘッドセットとの双方向通信を備える、統合及び内部サーバ（ファイアウォールで保護されたインターネット接続が利用可能であると仮定する）。

【0057】

５Ｃ：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備え有線又は無線リンクとの双方向通信を備える、ハブとの双方向通信を具備し、組込みコンピュータを備える、ＡＲヘッドセットとの双方向通信を具備する、統合及び内部サーバ（ファイアウォールで保護されたインターネット接続が利用可能であると仮定する）。

【0058】

５Ｄ．１：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備える、ＡＲヘッドセットとの双方向通信を具備する、統合及び内部サーバ（ファイアウォールで保護されたインターネット接続が利用可能であると仮定する）。

【0059】

５Ｄ．２：有線又は無線リンクとの双方向通信を備え、組込みコンピュータを備える、ハブとの双方向通信を具備する、統合及び内部サーバ（ファイアウォールで保護されたインターネット接続が利用可能であると仮定する）。

【0060】

デバイス接続ハブにリアルタイムの画像ビデオ・フィードを行うことができる画像デバイスには、例えば、超音波、内視鏡、腹腔鏡などが含まれる。これらの同じデバイスは、必要に応じて、静止画像の取込みを行うこともできる。様々な理由により外科手術室内で使用できない場合がある、静止画像を供給できるデバイス、及び本発明に関連する、かかるリアルタイム画像及び静止画像の使用については、下記でさらに論じる。

【0061】

ＡＲヘッドセット上の画像ディスプレイは、様々な手技／専門分野について別様に、制御及び配置することができる。例えば、デバイス画像は、ＡＲビュー・パネルの上端に隣り合って配置され得、一方、シースルー光学系は、ＡＲビュー・パネルの下端に隣り合って配置される（図９の研修生Ｔ２及び図１０のトレーナＴ１参照）。デバイス画像とシースルー光学系とが、並んで配置されてもよい（図６参照）。さらに、複数のデバイス画像（例えば、２つの相異なるデバイスからの）が、ビュー・パネル上に表示されてもよい（図７参照）。

【0062】

ソフトウェアによって提供される制御は、研修生及び／又はトレーナ（若しくは１人の施術者）が、様々なデバイス画像と、他の視角的フィード（例えば、トレーナによって研修生へ送信されるか、又はデータベースＤ（図１）から読み出される、ビデオ・フィードなど）と、シースルー光学系及び別のビデオ・フィードの画像ビューの配置オプションとの間を、切り替えることを可能にし得る。

【0063】

かかる制御は、ユーザが、例えば、画像切出し、サイズ変更、解像度調整、色バランス調整、拡大縮小、ミラーリング、回転、及び水平又は垂直画像反転などの画像調整を実行することを可能にし得る。

【0064】

手技中に使用できないデバイスについては、画像は手技前又は手技中に取得され、デバイス接続ハブに電子的に送信されるか、又はさもなければダウンロードされ、研修生及び／又はトレーナの要求に応じて読み出されてもよい。さらに、一部のイメージング・デバイスは移動式であり、外科手術室内に持ち込まれ、手技の一時停止中に使用されてもよい（例えば、Ｘ線機器及びスキャナ）。

【0065】

研修生及び／又はトレーナが、静止画像及びリアルタイム画像フィードのうちの一方又は両方のモダリティを選択できるようにするための、制御が提供されてもよい。

【0066】

本発明は、したがって、研修生と遠隔にいる手技のトレーナとの間の通信を行うシステムを提供し、システムは、
ａ）研修生及び遠隔にいるトレーナがそれぞれ着用可能な、第１及び第２のヘッドセットであって、ヘッドセットのそれぞれは、少なくとも２つの閲覧範囲の、着用者による視覚化が同時にできるよう動作可能な閲覧枠を有し、第１の閲覧範囲は、着用者が、着用者に隣り合って位置する生の手技現場を見ることを可能にする、シースルー・レンズであり、第２の閲覧範囲は、ヘッドセットが電子信号として受信する画像である、第１及び第２のヘッドセットと、
ｂ）第１及び第２のヘッドセットにそれぞれ接続された、第１及び第２のデバイス接続ハブであって、ハブのそれぞれが、少なくとも１つのイメージング・デバイスから画像を受信するよう動作可能である、第１及び第２のデバイス接続ハブと、
ｃ）電気通信の操作性を有し、第１及び第２のヘッドセットのそれぞれがアクセス可能であり、画像を第２の閲覧範囲に投影するよう動作可能な、ソフトウェア・プログラムとを備える。

【0067】

第１及び第２の閲覧範囲は、位置的に、ＡＲヘッドセットの閲覧枠内で、垂直方向又は水平方向のうちの一方に、互いに隣り合って配置され得る。

【0068】

第１及び第２のデバイス接続ハブ、並びに／又はそれぞれのＡＲヘッドセットは、少なくとも１つのイメージング・デバイスから受信した画像に対して信号処理を実行するよう動作可能な、ソフトウェアにつながることができる。

【0069】

実行されている手技は、患者に対する外科手術であってもよい。

【0070】

ソフトウェアは、トレーナが、トレーナのヘッドセットから１人又は複数の研修生のヘッドセットへ、画像を送信できるよう動作可能であってもよい。

【0071】

ソフトウェアは、トレーナが、１人又は複数の研修生のヘッドセットへ、電子データ・ファイルを送信できるよう動作可能であってもよく、電子データ・ファイルには、テキスト及びビデオの一方又は両方が含まれ得る。

【0072】

ソフトウェアは、トレーナが、１人又は複数の研修生のヘッドセットの第１及び第２の閲覧範囲のうちのいずれかを、選択的に閲覧できるよう動作可能であってもよい。

【0073】

ソフトウェアは、トレーナが、選択された研修生の１つ又は複数の閲覧範囲を、選択されていない研修生のヘッドセットの閲覧範囲に表示させることができるよう、動作可能であってもよい。

【0074】

ヘッドセットは、拡張現実ヘッドセット、又は仮想現実と拡張現実との組合せであり得る。

【0075】

ソフトウェアは、研修生とトレーナとの間の選択的な音声通信ができるよう動作可能であってもよく、音声通信は、それぞれのヘッドセットにつながっていてもよい。
ａ）１つ又は複数のカメラは、一方又は両方のヘッドセットに電子的に接続することができる。
ｂ）１つ又は複数のカメラは、それぞれのヘッドセット上に配置することができる。
ｃ）３人以上の研修生が使用するために、３つ以上のヘッドセットが備えられてもよい。
ＡＲヘッドセットのソフトウェアは、ＡＲヘッドセットの画像解像度、色バランス、画像切出し、サイズ変更、配置、拡大縮小、ミラーリング、回転、並びに水平及び垂直反転のうちの１つ又は複数を、選択的に制御するよう動作可能に提供されてもよい。

【0076】

ここで図１２～図２１に注目すると、本発明は、さらなる実施例において、遠隔で外科訓練を行う例示的な場合に、拡張現実（ＡＲ）ヘッドセットの２次元（２Ｄ：ｔｗｏ ｄｉｍｅｎｓｉｏｎａｌ）又は３次元（３Ｄ：ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ）ビデオ表示での使用を、術野の視線（ＬＯＳ）内の関心領域（ＡＯＩ：ａｒｅａ ｏｆ ｉｎｔｅｒｅｓｔ）を強調表示する手段を実現することにより強化する。さらに、ＡＯＩが、常に術野の視線の範囲内になるように追跡する方法が、遠隔にいる学生又はインストラクタへ送信される。ヘッドセット及び眼鏡は、術野又はＡＯＩの照射及び／又は拡大に使用され、一度にただ１つの単機能ヘッドセットしか着用できないので、ＡＲヘッドセットのさらなる機能強化が必要である。さらなる機能強化は、ＡＲヘッドセットを仮想現実（ＶＲ）に変換する機能を含み、内視鏡などの遠隔にあるカメラを閲覧しながら作業を実行する場合、又は当面の作業について、手技を現地で実行する前に、教導ビデオを視聴する場合に、いくつかの重要な利点がある。これらの機能の範囲は、通常、互いに排他的である。

【0077】

外科医は、既に眼前ディスプレイ及び視線カメラを着用しているので、これらの機能を組み合わせて変更でき、これにより、頭部着用型ディスプレイの実用性及び機能性が向上する。本発明は、したがって、さらなる実施例において、これらの機能を実現する多機能ヘッドセットを含む。上記で説明し、下記でさらに説明するこれらの機能は、例えば保守、製造現場、法執行状況、又は厳格に順序付けされた手技の際に、あらゆる種類の手技に関する作業環境を強化するよう設計されている。さらに、コントローラは、上記で説明した実施例の機能として役立つ、ネイティブＲＴＰソフトウェアに加えて、特定のアプリケーション用ソフトウェアを有することができる。例えば、歯科用デジタル再構成ソフトウェアをコントローラ内に組み込むことができ、これによりユーザは、ヘッドセットを、シースルー映像機能を備えた付属モニタとして使用し、歯科用スキャナを動作させて、装具を作製する目的で口のデジタル再構成を生成することができる。

【0078】

図３及び図１２に注目すると、ＡＲヘッドセット１２は、レーザ・スポット２４がＡＲヘッドセット１２を通して見られる視野（ＦＯＶ）内の関心領域（ＡＯＩ）を指す、レーザ・ポインタ２３を備えることができる。ヘッドセット１２に取り付けられ、ヘッドセットのカメラ１３と位置合わせされた物理的レーザ照射方法は、同様に取り付けられた２Ｄ又は３ＤカメラのＦＯＶが、目標となる領域内にある視覚的インジケータを、トレーナと研修生との両者に提示するため、両者は互いに、関心領域（ＡＯＩ）を示すことができる。指導を行うために、ＬＯＳの中心を単一の点として照射し、着用者がＡＯＩの、２Ｄ又は３ＤのＦＯＶの中心を見るように、視覚的に指図することができる。さらにこれにより、ヘッドセット１２を着用したインストラクタ／トレーナは、環境内の特定の要素、ＡＯＩ、及びＦＯＶを指し、教導を改善することができる。

【0079】

ヘッドマウント・カメラのＦＯＶが、確実に目的物の上にあるようにすること、及びＦＯＶが遠隔にいる学生／研修生に送信されていることを、インストラクタ／トレーナが確認できるようにすることが望ましい。物理的に取り付けられたポインティング機構は、いくつかの相異なる物理的技法によって実現することができる。物理的に取り付けられたポインティング機構は、例えば、可視光、音、又は熱手段の形態をとることができ、この場合ヘッドセットは、着用者に適切なフィードバックを与えるために、ポインティング機構をシースルー光学系の可視スペクトルに変換するよう動作可能な、キュー受信機を備える。

【0080】

表示は、上記で説明した物理的形態又はエネルギーではなく、ヘッドアップ・ディスプレイ、シースルー・ディスプレイにおける仮想的な表示であってもよい。ポインタは、ＡＯＩの縁の内側の、括弧の形であってもよく、そのためプレゼンタは、ポインタがカメラのＦＯＶ内にあることを認識する。この表示方法は、任意の形状の括弧、又は単一のインジケータ・ポインタのドット、すなわち「視線教導ポイント」（ＬＯＳＩＰ）であってもよい。

【0081】

さらなる実施例では、ＦＯＶの４隅が、ＡＯＩを覆うか又は取り囲む幾何形状で、ＡＯＩを「括弧内に入れる」ことが可能である。例えば、ＡＯＩを強調表示する角括弧、円、楕円、若しくは複雑な多角形、又は対象物の外形など、任意の好適な形状を使用することができる。

【0082】

図１３は、ＡＯＩがＦＯＶ内に位置する状態で、ＡＲヘッドセット１２内に投影され得る４隅の括弧１０１によって、ＦＯＶを視覚的に画成するオプションを示している。

【0083】

図１４は、ＡＯＩがＦＯＶ内の中心に置かれ、ＬＯＳ教導ポイント（「ＬＯＳＩＰ」）がＦＯＶの中心にあることが、ヘッドマウント・ディスプレイ２４を着用している人が、ＦＯＶ内の完全な中心に置かれたＡＯＩを有していることを示す、実施例を示している。

【0084】

さらに別の実施例では、ＡＯＩの物理的な場所の中心ＬＯＳを覆うか又は中心ＬＯＳを指す、固定の物理的又は仮想マーカを使用する代わりに、画像処理又は機械学習方法が、カメラのＦＯＶを検出された対象物の中心に合わせるために、例えば手袋の先端、バーコード、又は他の追跡可能な対象物の形態で実現されてもよい。

【0085】

ポインタは、さらに別の実施例では、定規又は他の測定デバイスとして作用でき、Ｘ－Ｙ又はＸ－Ｙ－Ｚ方向に機能することができる。

【0086】

図１５は、ＡＯＩがＦＯＶ内で中心を外れて左下にある実施例を示し、さらに、ＬＯＳＩＰがＦＯＶの左下の象限にあることを示し、これは、ヘッドセット１２を着用している人がヘッドマウント・ディスプレイ２４をＦＯＶ内の中央に置いていないことを示している。

【0087】

ＦＯＶの中心は、上記で提案した方法で検出できるので、どこにカメラが向けられていても、ＦＯＶの中心の場所を着用者に示す、方向矢印を使用するか、又は小さい仮想の長方形又は円形のＬＯＳＩＰを表示することによって、検出された対象物に対して、ＦＯＶを中心に合わせるよう着用者に指図することが可能である。着用者に、頭を左、右、上、又は下に動かして見るよう指図する、視覚的に認識可能な矢印など、方向を提示する他の手段が使用されてもよい。

【0088】

図１６は、ＡＯＩ（例えば、人体模型）上に配置されたバーコード１０３、機械、又は他のアイテム若しくはデバイスを、トレーナの注意をそのスポットに向けるために、機械追跡を利用して、ＡＯＩをＦＯＶの中心に合わせる仕組みを示す、簡略図である。研修生がトレーナに特定の場所、例えば超音波機器のボタンを示したいが、研修生とトレーナとの両方が、同じ場所を見ていることを確実にするために、ヘッドセットに組み込まれた光学台又はレーザを手動で調整したくはない場合には。関心のある各場所に、バーコード１０３又は他のインジケータを付けることができ、これにより、研修生のヘッドセットがその場所を認識し、トレーナが確実に同じスポットを見ているように、ヘッドセットを調整するようになる。これを実現するには、バーコード１０３がヘッドセット１２内の要素によって認識されるフィードバック・ループが必要であり、次いでその場所がビューの中心の内側になるように、光学台及びレーザを機械的に調整することになる。この機能の一実例として、レーザがバーコード１０３に向けられ、次いでヘッドセット１２内の受信機を作動させる信号（光、電磁気、又はその他）が送られ、次に、信号がモータに送信され、ギアを作動させ、ヘッドセットを移動させることで、その場所をＦＯＶの中心に置くことができる。モータは、スライド、タブ、その他を含む、いくつの機構でも作動させることができる。機械的なギアに加えて、磁石又は他の電磁作用によって動きを開始することもできる。一実施例では、研修生は、レーザをその場所の中心に位置するように保ちながら、コントローラのボタンを押す必要がある場合がある。ヘッドセットが、適切な構成に達すると（光学台とレーザとの両方の動き）、研修生は、ボタンを放す。別の実施例では、研修生は、ボタンを押す機能を表す、ソフトウェアによって作動する手のジェスチャを使用することができる。

【0089】

さらに別の実施例では、拡大を実現させる光学的手段を使用するのではなく、機能強化されたＡＲヘッドセットが、ＡＯＩを表示するのに、広角レンズ・カメラによって得られるデジタル・ズームと、高メガピクセル・ベースのズームとの、選択的な使用を有する。例えば、１００メガピクセルのデジタル・カメラを、１８０度の広角レンズと共に使用した場合、２０００ピクセル×１０００ピクセルの画像は、利用可能な閲覧領域の２パーセント（２％）しか占有しない。図１７は、ＦＯＶ全体が、長方形の外形１０５によって画定され、ヘッドセット１２を通して閲覧できるＡＯＩのズーム・インしたビューを有する、注目される部分領域１０７を含む実施例を示している。

【0090】

ヘッドマウント・カメラの画像は、シースルー光学系に表示される場合、ＡＯＩの拡大を可能にする「デジタル・ルーペ」として作用することができる。多機能ヘッドセットにルーペ機能を追加し、このようにして、外科的ＡＯＩを拡大するＡＲヘッドセットを実現することができる。この機能は、例えば、製造、機械的組立て／修理、又は法執行を含む他の分野における、他の多くの用途で有用であり得る。

【0091】

さらに別の実施例では、多機能ヘッドマウント・ディスプレイに追加される別の機能には、ＦＯＶ内の９５パーセント（９５％）未満の光しか着用者の目に到達できない、機械的な黒色の背景を使用することにより、ハイブリッドＡＲ／ＶＲシステムを作り出す機能が含まれる。黒色の背景カバーは、眼前ディスプレイのＬＯＳ内に挿入される。これにより、ユーザは、ＡＲシステムをＶＲシステムに切り替えることができる。ＶＲシステムは、環境に邪魔されることなく、作業を実行する前に遠隔にあるカメラ及び／又は内視鏡カメラを閲覧するか、又は教導ビデオを視聴するなどの作業に有用である。図１８は、着用者がＡＲモードで観察していることを意味する、機械的シェード機構１０９が引っ込められた状態（図の上半分）を示す、簡略図である。図の下半分は、シェード機構１０９が展開された状態を示しており、着用者がＶＲモデルを利用していることを意味する。

【0092】

多機能ヘッドセット１２は、別の実施例では、頭部着用型カメラ、例えば内視鏡、超音波、ＭＲＩ、Ｘ線、熱イメージングなど、現地での手技に関連するイメージングを含む、着用者に関連するビデオ・フィードのすべてに対する制御を有することができる。これらのビデオ・フィードは、通常電気通信ソフトウェアで使用される、遠隔の仮想カメラ入力として提示されるため、遠隔にいる参加者へ、物理的な場所から離れて実行されている手技の多面的なビューを提示することができる。

【0093】

一実施例では、ビデオ・フィードを、好ましい位置に選択的に配置するよう動作可能な、組込みコントローラが備えられる。ビデオ・フィードの数及び配置を制御するのに、ラップトップを使用する代わりに、組込みコントローラ１１３を示す簡略図である図２１に見られるように、ヘッドセット１２のベルト着用型コントローラが使用されてもよく、ベルト着用型コントローラは、例えば、ＶＲモードで、ノブを時計回り（「ＣＷ：ｃｌｏｃｋｗｉｓｅ」）又は反時計回り（「ＣＣＷ：ｃｏｕｎｔｅｒ－ｃｌｏｃｋｗｉｓｅ」）に回すことにより、レーザ・ポインタをＸ－Ｙ方向にＡＯＩまで導き、またノブを押しながらＣＷ及びＣＣＷに回すことによりそれぞれ、Ｚ寸法内に収まり、Ｚ寸法から外れるように導く、レーザ・ポインタ２３（図３）の選択的制御を含む、１つ又は複数の機能又は機能の組合せを実行するよう動作可能である。さらなるオプションは、手のジェスチャ、又はＸ－Ｙ若しくはＸ－Ｙ－Ｚコントローラを使用することによるものでもよい。この機能もまた、ウェブカメラをバーコード、又は疑似臓器若しくは臓器系の収納筐体（ｅｎｃａｓｅｍｅｎｔ ｅｎｃｌｏｓｕｒｅ）などの、独特の物理的対象物に向けることにより、自動化することができる。

【0094】

別の実施例では、シースルー光導波路の輻輳を調整するための内蔵機構を備えることができる。ウェブカメラ、所望の距離にある点、及び距離センサを使用し、自動で、又はコントローラの押しボタンによって手動で、輻輳点を調整する。レンズは次いで、その点に輻輳するよう角度をなすことになる。レンズの角度を変更するには、レンズを物理的に動かすための機械的機能が必要となろう。これを行う仕組みは、［００８７］で説明されている。視度の補正は、画像を所望の補正値まで歪ませることにより、電子的に実行することができる。視度又は輻輳度のいずれかの補正値は、人体模型の筐体又はケースに埋め込まれたロゴ上にエンコードすることができる。図１９は、ＡＲ導波路の左右の輻輳角、及びＡＯＩまでの距離を示す簡略図である。図２０は、ヘッドセット１２に取り付けられ得る距離センサ１１１によって、ＦＯＶまでの距離が感知される、輻輳点「ＣＰ：ｃｏｎｖｅｒｇｅｎｃｅ ｐｏｉｎｔ」を示す、簡略図である。

【0095】

内視鏡を使用する場合、上記で説明したように、ベルト着用型パックに対して手のジェスチャ又はＸ－Ｙコントローラを使用し、ビデオ内の特定の機能を強調表示するか又は指すことができる。レーザ・インジケータを備えたウェブカメラは、人体模型／身体の外側で良好に機能するが、依然として、扱いにくく遅い注釈に頼ることが必要な場合がある。例えば、膀胱鏡検査を実行している学生の研修生が、小さな病変に気づき、トレーナが同じ病変を見ていることを認識できるように、その病変が強調表示されることを望んでいるとする。手のジェスチャを使用するか、又はベルト着用型コントローラ上でＸ－Ｙ又はＸ－Ｙ－Ｚコントローラを使用することにより、ビデオ・フィード上の所望の場所に注釈を付けることができる。

【0096】

図２０は、図に示す距離センサによって、ＦＯＶまでの距離が感知される、輻輳点を示す簡略図である。

【0097】

図２１は、レーザ照射器を制御でき、ＶＲモードで、ノブをＣＷ又はＣＣＷに回すことにより、ポインタをＸ－Ｙ方向に関心領域まで導き、またノブを押しながらＣＷ及びＣＣＷに回すことによりそれぞれ、Ｚ寸法内に収まり、Ｚ寸法から外れるように導くこともできる、ベルト着用型組込みコントローラを示す簡略図である。

【0098】

図２２は、内視鏡に取り付けられたデジタル・カメラから収集された画像上に表示できる、ポインタを示す簡略図である。ポインタは、トレーナが、ビデオ画像上の特定の領域を強調表示することを可能にし、ソフトウェアによって、又はコントローラの専用の位置から制御することができる。

【0099】

本発明の装置、方法、及びシステムを、本発明の特定の好ましい実施例を参照しながら図示し、説明してきたが、当業者には、説明した、本発明の精神及び範囲から逸脱することなく、形態及び詳細の様々な変更が行われ得ることが、理解されよう。本発明は、例えば、本明細書では外科手術の範疇で説明しているが、本発明は、高度な技術を必要とする他の分野の取組み（例えば、廃棄物処理、建設、水中作業、戦術行動など）にも適用できることを理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【国際調査報告】