▶ グローバス メディカル インコーポレイティッドの特許一覧
特許7376533外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡バー
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-30
(45)【発行日】2023-11-08
(54)【発明の名称】外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡バー
(51)【国際特許分類】
A61B 34/20 20160101AFI20231031BHJP
【ＦＩ】
A61B34/20
【請求項の数】
14
(21)【出願番号】P 2021096720
(22)【出願日】2021-06-09
(65)【公開番号】P2021194539
(43)【公開日】2021-12-27
【審査請求日】2021-06-09
(31)【優先権主張番号】16/896,424
(32)【優先日】2020-06-09
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507400686
【氏名又は名称】グローバス メディカル インコーポレイティッド
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】トーマス キャロウェイ
(72)【発明者】
【氏名】レオニド ナイマーク
【審査官】和田 将彦
(56)【参考文献】
【文献】特表２０２０－５０７３８３（ＪＰ，Ａ）
【文献】米国特許第０７２２４４７２（ＵＳ，Ｂ２）
【文献】米国特許出願公開第２０１９／００３８３６２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／０３８７１４９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３４／２０
(57)【特許請求の範囲】
【請求項1】
外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡システムのカメラ追跡バーであって、前記カメラ追跡バーが、第１の解像度、第１の視野を有し、前記カメラ追跡バー上で、第１のベースライン距離だけ離間されているステレオ追跡カメラの第１のセットと、
第２の解像度、第２の視野を有し、前記カメラ追跡バー上で、前記第１のベースライン距離よりも小さい第２のベースライン距離だけ離間されているステレオ追跡カメラの第２のセットであって、
ステレオ追跡カメラの前記第２のセットが、ステレオ追跡カメラの前記第１のセットの間に位置決めされ、ステレオ追跡カメラの前記第２のセットの前記解像度および／または前記視野が、ステレオ追跡カメラの前記第１のセットの前記解像度および／または前記視野とは異なる、ステレオ追跡カメラの第２のセットと、
ステレオ追跡カメラの前記第１のセットおよびステレオ追跡カメラの前記第２のセットから、カメラ追跡サブシステムに、ビデオストリームを提供するように構成された通信インターフェースと、を含み、
３軸ジャイロスコープおよび３軸加速度計を含む高速慣性測定ユニットをさらに含み、
前記カメラ追跡サブシステムは、ステレオ追跡カメラの前記第１のセットおよびステレオ追跡カメラの前記第２のセットからの前記ビデオストリーム内の参照アレイの基準の姿勢を判定するものであり、
前記慣性測定ユニットが、前記カメラ追跡バーの測定された動きを示す動きデータを出力するように構成され、前記通信インターフェースが、前記動きデータを前記カメラ追跡サブシステムに提供するようにさらに構成されている、
カメラ追跡バー。
【請求項2】
ステレオ追跡カメラの前記第１のセットの各々が、前記カメラ追跡バーの表面に取り付けられ、第１の角度で互いに向かって内側に角度付けられ、ステレオ追跡カメラの前記第２のセットの各々が、前記カメラ追跡バーの表面に取り付けられ、前記第１の角度とは異なる第２の角度で互いに向かって内側に角度付けられている、請求項１に記載のカメラ追跡バー。
【請求項3】
前記慣性測定ユニットが、前記動きデータに、前記３軸ジャイロスコープの角速度の測定値、および前記３軸加速度計の線形加速度の測定値を含めるように構成されている、請求項１に記載のカメラ追跡バー。
【請求項4】
前記カメラ追跡バーに沿って離間され、コンピュータプラットフォームに少なくとも１つのオーディオストリームを提供するように接続されている複数のマイクロフォンを含むマイクロフォンアレイをさらに含み、前記コンピュータプラットフォームが、前記少なくとも１つのオーディオストリームを記録する、
前記少なくとも１つのオーディオストリームに内包されている音声コマンドを特定して、前記音声コマンドのうちの特定された音声コマンドに関連付けられている定義された動作を選択的にトリガする、
前記少なくとも１つのオーディオストリームに内包されている周囲ノイズレベルを測定する、および
前記複数のマイクロフォンによって提供される少なくとも２つのオーディオストリームに内包されている音源の場所を三角測量する、のうちの少なくとも１つを実行するように構成されている、請求項１に記載のカメラ追跡バー。
【請求項5】
ステレオ追跡カメラの前記第１のセットの前記第１の解像度および前記第１の視野が、少なくとも１０ピクセル×１０ピクセル、かつ３０ピクセル×３０ピクセル以下のピクセルアレイにわたって延在する、外科手術中に姿勢決めされた参照アレイを撮像している前記ビデオストリーム内のフレームを出力するように構成されている、請求項１に記載のカメラ追跡バー。
【請求項6】
ステレオ追跡カメラの前記第２のセットの前記第２の解像度および前記第２の視野が、少なくとも１０ピクセル×１０ピクセル、かつ３０ピクセル×３０ピクセル以下のピクセルアレイにわたって延在する前記参照アレイを撮像している前記ビデオストリーム内のフレームを出力するように構成されている、請求項５に記載のカメラ追跡バー。
【請求項7】
前記第１の解像度が、７メガピクセルであり、前記第１の視野は、５０度であり、前記第１のベースライン距離は、０．５メートルであり、前記第２の解像度が、１．５メガピクセルであり、前記第２の視野は、８５度であり、前記第２のベースライン距離は、０．４メートルである、請求項６に記載のカメラ追跡バー。
【請求項8】
ステレオ追跡カメラの前記第１のセットの各々の周りに位置決めされた近赤外線イルミネータのセットと、ステレオ追跡カメラの前記第１のセットのうちの少なくとも１つによって検出された周囲光レベルが周囲光閾値未満であるときに、前記イルミネータをオンにし、前記近赤外線イルミネータをオンにすることに応答して、可視光カメラの較正ファイルからの値を使用したステレオ追跡カメラの前記第１のセットからのビデオの処理を停止し、近赤外光カメラの較正ファイルからの値を使用したステレオ追跡カメラの前記第１のセットからのビデオの処理を開始するように動作可能に構成された少なくとも１つのプロセッサと、をさらに含む、請求項１に記載のカメラ追跡バー。
【請求項9】
ステレオ追跡カメラの前記第１のセットが、可視光の狭波長帯域および近赤外光の別の狭波長帯域を通過させるように構成されたデュアルパスフィルタを含み、前記カメラ追跡サブシステムが、可視光の狭波長帯域および近赤外光の他の狭波長帯域をキャプチャする前記ビデオストリーム内の参照アレイの再帰反射基準の姿勢を追跡するように構成されている、請求項８に記載のカメラ追跡バー。
【請求項10】
ステレオ追跡カメラの前記第１のセットの各々の周りに位置決めされた、主に１つの色を放出するイルミネータのセットと、ステレオ追跡カメラの前記第１のセットのうちの少なくとも１つによって検出された周囲光レベルが周囲光閾値未満であるときに、前記イルミネータをオンにし、前記イルミネータをオンにすることに応答して、周囲光カメラの較正ファイルからの値を使用したステレオ追跡カメラの前記第１のセットからのビデオの処理を停止し、色付き光カメラの較正ファイルからの値を使用したステレオ追跡カメラの前記第１のセットからのビデオの処理を開始するように動作可能に構成された少なくとも１つのプロセッサと、をさらに含む、請求項１に記載のカメラ追跡バー。
【請求項11】
外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡システムであって、前記カメラ追跡システムが、カメラ追跡バーであって、
第１の解像度、第１の視野を有し、前記カメラ追跡バー上で、第１のベースライン距離だけ離間されているステレオ追跡カメラの第１のセット、および
第２の解像度、第２の視野を有し、前記カメラ追跡バー上で、前記第１のベースライン距離よりも小さい第２のベースライン距離だけ離間されているステレオ追跡カメラの第２のセットであって、
ステレオ追跡カメラの前記第２のセットが、ステレオ追跡カメラの前記第１のセットの間に位置決めされ、ステレオ追跡カメラの前記第２のセットの前記解像度および／または前記視野が、ステレオ追跡カメラの前記第１のセットの前記解像度および／または前記視野とは異なる、ステレオ追跡カメラの第２のセット、を含む、カメラ追跡バーと、
ステレオ追跡カメラの前記第１のセットおよびステレオ追跡カメラの前記第２のセットからのビデオストリーム内の参照アレイの基準の姿勢を判定するように構成されたカメラ追跡サブシステムと、を含み、
前記カメラ追跡バーが、ステレオ追跡カメラの前記第１のセットの各々の周りに位置決めされた近赤外線イルミネータのセット、および、ステレオ追跡カメラの前記第１のセットのうちの少なくとも１つによって検出された周囲光レベルが周囲光閾値未満であるときに、前記イルミネータをオンにし（２９００）、前記近赤外線イルミネータをオンにすることに応答して、可視光カメラの較正ファイルからの値を使用したステレオ追跡カメラの前記第１のセットからのビデオの処理を停止し、近赤外光カメラの較正ファイルからの値を使用したステレオ追跡カメラの前記第１のセットからのビデオの処理を開始するように動作可能に構成された少なくとも１つのプロセッサ、をさらに含む、
カメラ追跡システム。
【請求項12】
ステレオ追跡カメラの前記第１のセットの前記第１の解像度および前記第１の視野が、少なくとも１０ピクセル×１０ピクセル、かつ３０ピクセル×３０ピクセル以下のピクセルアレイにわたって延在する、外科手術中に姿勢決めされた参照アレイを撮像している前記ビデオストリーム内のフレームを出力するように構成され、ステレオ追跡カメラの前記第２のセットの前記第２の解像度および前記第２の視野が、少なくとも１０ピクセル×１０ピクセル、かつ３０ピクセル×３０ピクセル以下のピクセルアレイにわたって延在する前記参照アレイを撮像している前記ビデオストリーム内のフレームを出力するように構成されている、請求項１１に記載のカメラ追跡システム。
【請求項13】
ステレオ追跡カメラの前記第１のセットが、可視光の狭波長帯域および近赤外光の別の狭波長帯域を通過させるように構成されたデュアルパスフィルタを含み、前記カメラ追跡サブシステムが、可視光の狭波長帯域および近赤外光の他の狭波長帯域をキャプチャする前記ビデオストリーム内の参照アレイの再帰反射基準の姿勢を追跡するように構成されている、請求項１１に記載のカメラ追跡システム。
【請求項14】
外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡システムであって、前記カメラ追跡システムが、
カメラ追跡バーであって、
第１の解像度、第１の視野を有し、前記カメラ追跡バー上で、第１のベースライン距離だけ離間されているステレオ追跡カメラの第１のセット、および
第２の解像度、第２の視野を有し、前記カメラ追跡バー上で、前記第１のベースライン距離よりも小さい第２のベースライン距離だけ離間されているステレオ追跡カメラの第２のセットであって、
ステレオ追跡カメラの前記第２のセットが、ステレオ追跡カメラの前記第１のセットの間に位置決めされ、ステレオ追跡カメラの前記第２のセットの前記解像度および／または前記視野が、ステレオ追跡カメラの前記第１のセットの前記解像度および／または前記視野とは異なる、ステレオ追跡カメラの第２のセット、を含む、カメラ追跡バーと、
ステレオ追跡カメラの前記第１のセットおよびステレオ追跡カメラの前記第２のセットからのビデオストリーム内の参照アレイの基準の姿勢を判定するように構成されたカメラ追跡サブシステムと、を含み、
前記カメラ追跡バーが、ステレオ追跡カメラの前記第１のセットの各々の周りに位置決めされた、主に１つの色を放出するイルミネータのセット、および、ステレオ追跡カメラの前記第１のセットのうちの少なくとも１つによって検出された周囲光レベルが周囲光閾値未満であるときに、前記イルミネータをオンにし、前記イルミネータをオンにすることに応答して、周囲光カメラの較正ファイルからの値を使用したステレオ追跡カメラの前記第１のセットからのビデオの処理を停止し、色付き光カメラの較正ファイルからの値を使用したステレオ追跡カメラの前記第１のセットからのビデオの処理を開始するように動作可能に構成された少なくとも１つのプロセッサ、をさらに含む、カメラ追跡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療デバイスおよびシステム、より具体的には、外科手術中のコンピュータ支援ナビゲーションに使用されるカメラ追跡システムに関する。
【背景技術】
【0002】
外科手術中のコンピュータ支援ナビゲーションは、患者の解剖学的構造の医用画像に関連する外科手術ツールの現在の姿勢のコンピュータ化された視覚化を外科医に提供することができる。コンピュータ支援ナビゲーション用のカメラ追跡システムは、１つ以上のステレオカメラシステムを使用して、外科手術中に、外科医または他のユーザによって位置決めされている外科手術ツールに取り付けられた基準のセットを追跡する。動的参照アレイとも呼ばれる基準のセットにより、カメラ追跡システムは、外科医に表示するために、医用画像内の解剖学的構造に対する、および患者に対する外科手術ツールの姿勢を判定することができる。これにより、外科医は、リアルタイムの姿勢フィードバックを使用して、外科手術的処置中に外科手術ツールをナビゲートすることができる。
【0003】
既存のナビゲーションシステムを使用したナビゲート下での外科手術的処置は、追跡される対象がカメラシステムの追跡領域外に移動したり、介入する人員および／または機器によってカメラの画面から遮られたりすると、断続的な一時停止を引き起こすイベントを起こしやすい。ナビゲーションシステムの追跡精度を向上させる必要がある。
【発明の概要】
【0004】
発明が解決しようとする課題
本明細書に開示されている様々な実施形態は、外科手術中のコンピュータ支援ナビゲーションにおける向上を対象としている。
本明細書に開示されている様々な実施形態は、外科手術中のコンピュータ支援ナビゲーションにおける向上を対象としている。
【0005】
いくつかの実施形態は、外科手術中のコンピュータ支援ナビゲーションのために開示されているカメラ追跡システムのカメラ追跡バーを対象としている。カメラ追跡バーは、第１の解像度、第１の視野を有し、カメラ追跡バー上で、第１のベースライン距離だけ離間されているステレオ追跡カメラの第１のセットを含む。カメラ追跡バーはまた、第２の解像度、第２の視野を有し、カメラ追跡バー上で、第１のベースライン距離よりも小さい第２のベースライン距離だけ離間されたステレオ追跡カメラの第２のセットを含む。ステレオ追跡カメラの第２のセットは、ステレオ追跡カメラの第１のセットの間に位置決めされ、ステレオ追跡カメラの第２のセットの解像度および／または視野は、ステレオ追跡カメラの第１のセットの解像度および／または視野とは異なる。カメラ追跡バーはまた、ステレオ追跡カメラの第１のセットおよびステレオ追跡カメラの第２のセットから、カメラ追跡サブシステムに、ビデオストリームを提供するように構成された通信インターフェースを含む。
【0006】
カメラ追跡システムによって実行される動作および方法の関連する実施形態が開示されている。
【0007】
実施形態にかかる他のカメラ追跡バー、カメラ追跡システム、コンピュータプログラム製品、および方法は、以下の図面および詳細な説明を検討する際に当業者にとって明らかであるか、または明らかになるであろう。そのような全てのカメラ追跡バー、カメラ追跡システム、コンピュータプログラム製品、および方法は、本説明に含まれ、本開示の範囲内にあり、添付の特許請求の範囲によって保護されることが意図される。さらに、本明細書に開示される全ての実施形態が別々に実装されても、任意の方法および／または組み合わせで組み合わされてもよいことが意図される。
【図面の簡単な説明】
【0008】
本開示のさらなる理解を提供するために含まれ、且つ本出願に組み込まれてその一部を構成する添付の図面は、本発明の概念の特定の非限定的な実施形態を例示する。図面では、以下のとおりである。
【図1】本開示のいくつかの実施形態による、外科手術システムの一実施形態を例示している。
【図4】ロボットアームに接続可能であり、本開示のいくつかの実施形態に従って構成されている、エンドエフェクタの一実施形態を示す。
【図5】外科手術ロボットおよびカメラシステムが患者の周りに配置されている医療手術を例示している。
【図8】本開示のいくつかの実施形態による、外科手術ロボットのいくつかの電気構成要素のブロック図を示す。
【図9】本開示のいくつかの実施形態による、カメラ追跡システムおよび／または外科手術ロボットに運用上接続され得る、コンピュータプラットフォームに接続された撮像デバイスを含む外科手術システムの構成要素のブロック図を示す。
【図10】本開示のいくつかの実施形態による、外科手術ロボットと組み合わせて使用され得るＣ－Ａｒｍ撮像デバイスの一実施形態を示す。
【図11】本開示のいくつかの実施形態による、外科手術ロボットと組み合わせて使用され得るＯ－Ａｒｍ撮像デバイスの一実施形態を示す。
【図12】本開示のいくつかの実施形態に従って働くＸＲヘッドセットと補助追跡バーとの対を含む、外科手術システムの構成要素のブロック図ビューを示す。
【図13】本開示のいくつかの実施形態に従って構成されているＸＲヘッドセットを示す。
【図14】本開示のいくつかの実施形態による、コンピュータプラットフォーム、撮像デバイス、および／または外科手術ロボットに作動的に接続され得る、ＸＲヘッドセットの電気構成要素を示す。
【図15】本開示のいくつかの実施形態による、ＸＲヘッドセットの光学構成要素の配置を示すブロック図を示す。
【図16】本開示のいくつかの実施形態による、医療処置中にナビゲーション補助を提供して、外科手術ツールを巧みに操るためのＸＲヘッドセットの表示画面を通したビュー例を示す。
【図17】本開示のいくつかの実施形態に従って構成されている２対のステレオカメラを有する補助追跡バーの構成例を示す。
【図18】本開示のいくつかの実施形態に従って集合的に動作する１対のＸＲヘッドセットおよび補助追跡バーにおける追跡カメラを含む外科手術システムのコンポーネントのブロック図を示す。
【図19】本開示のいくつかの実施形態による、開示されたカメラ追跡バーの主要なコンポーネントのいくつかの実施形態を示す。
【図20】本開示のいくつかの実施形態による、ステレオ追跡カメラの第１のセットによって生成される追跡ボリュームを示す。
【図21】本開示のいくつかの実施形態による、ステレオ追跡カメラの第１のセットによって生成される追跡ボリュームを示す。
【図22】本開示のいくつかの実施形態による、ステレオ追跡カメラの第２のセットによって生成される追跡ボリュームを示す。
【図23】本開示のいくつかの実施形態による、ステレオ追跡カメラの第２のセットによって生成される追跡ボリュームを示す。
【図24】本開示のいくつかの実施形態による、ステレオ追跡カメラの第１のセットおよび第２のステレオ追跡カメラのセットについてシミュレートされた三角測量精度を示す。
【図25】本開示のいくつかの実施形態による、ステレオ追跡カメラの第１のセットおよび第２のステレオ追跡カメラのセットについてシミュレートされた三角測量精度を示す。
【図26】本開示のいくつかの実施形態による、ステレオ追跡カメラの第１および第２のセットによって出力されたビデオフレームに適用されるデュエルパスフィルタを示す。
【図27】本開示のいくつかの実施形態による、再帰反射球をその上に有する再帰反射追跡アレイを示す。
【図28】本開示のいくつかの実施形態による、カメラ追跡サブシステムによって実行される動作のフローチャートを示す。
【図29】本開示のいくつかの実施形態による、カメラ追跡サブシステムによって実行される動作のフローチャートを示す。
【発明を実施するための形態】
【0009】
ここで、本発明の概念の例示的な実施形態が示されている添付の図面を参照して、本発明の概念を以下でより完全に説明する。しかしながら、本発明の概念は、多くの異なる形態で具体化されてもよく、本明細書に記載される実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態は、本開示が徹底的且つ完全であり、様々な本発明の概念の範囲を当業者に完全に伝えるように提供される。これらの実施形態が相互に排他的ではないことにも留意されたい。１つの実施形態からのコンポーネントが、別の実施形態に存在するか、または別の実施形態で使用されると暗に想定されることができる。
【0010】
本明細書に開示されている様々な実施形態は、外科手術中のコンピュータ支援ナビゲーションにおける向上を対象としている。第１の解像度、第１の視野を有し、カメラ追跡バー上で、第１のベースライン距離だけ離間されているステレオ追跡カメラの第１のセットを含む、カメラ追跡システムのカメラ追跡バーが開示されている。カメラ追跡バーはまた、第２の解像度、第２の視野を有し、カメラ追跡バー上で、第１のベースライン距離よりも小さい第２のベースライン距離だけ離間されているステレオ追跡カメラの第２のセットを含む。ステレオ追跡カメラの第２のセットは、ステレオ追跡カメラの第１のセットの間に位置決めされ、ステレオ追跡カメラの第２のセットの解像度および／または視野は、ステレオ追跡カメラの第１のセットの解像度および／または視野とは異なる。カメラ追跡バーはまた、ステレオ追跡カメラの第１のセットおよびステレオ追跡カメラの第２のセットから、カメラ追跡サブシステムに、ビデオストリームを提供するように構成された通信インターフェースを含む。カメラ追跡バーが、外科手術中のコンピュータ支援ナビゲーションのためにオブジェクトの向上された追跡を提供することを可能にする様々なカメラ構成および動作が開示されている。
【0011】
図１は、本開示のいくつかの実施形態にかかる外科手術システム２の実施形態を示している。整形外科手術または他の外科手術的処置の実施前に、例えば、図１０のＣアーム撮像デバイス１０４または図１１のＯアーム撮像デバイス１０６を使用して、またはコンピュータ断層撮影（ＣＴ）画像もしくはＭＲＩなどの別の医療撮像デバイスから、患者の計画された外科手術エリアの三次元（「３Ｄ」）画像スキャンを行い得る。このスキャンは、術前（例えば、最も一般的には処置の数週間前）または術中に行うことができる。ただし、外科手術システム２の様々な実施形態に応じて、知られているいずれの３Ｄ画像スキャンまたは２Ｄ画像スキャンも使用され得る。画像スキャンは、カメラ追跡システムコンポーネント６を含み得る外科手術システム９００のコンピュータプラットフォーム９１０（図９）、外科手術ロボット４（例えば、図１のロボット２）、撮像デバイス（例えば、Ｃ－Ａｒｍ １０４、Ｏ－Ａｒｍ １０６など）、および患者の画像スキャンを格納するための画像データベース９５０など、外科手術システム２と通信するコンピュータプラットフォームに送信される。コンピュータプラットフォーム９１０（図９）の表示デバイス上の画像スキャンを考察する外科医は、患者の解剖学的構造体への外科手術的処置中に使用される外科手術ツールに対して目標姿勢を定義する外科手術計画を起こす。ツールとも呼ばれる例示的な外科手術ツールとして、ドリル、スクリュードライバ、のこぎり、開創器、および、スクリュー、スペーサ、椎体間固定デバイス、プレート、ロッドなどのインプラントを挙げることができるが、これらに限定されるものではない。いくつかの実施形態では、ターゲット平面を画定する外科手術平面は、ディスプレイデバイスに表示される３Ｄ画像スキャンで計画される。
【0012】
本明細書で使用される場合、「姿勢」という用語は、別のオブジェクトおよび／または定義された座標系に対する、あるオブジェクト（例えば、動的参照アレイ、エンドエフェクタ、外科手術ツール、解剖学的構造など）の位置および／または回転角度を指す。したがって、姿勢は、別のオブジェクトおよび／または定義された座標系に対するあるオブジェクトの多次元位置のみに基づいて、別のオブジェクトおよび／または定義された座標系に対するオブジェクトの多次元回転角度のみに基づいて、または多次元位置と多次元回転角度との組み合わせに基づいて定義されることができる。したがって、「姿勢」という用語は、位置、回転角度、またはそれらの組み合わせを指すために使用される。
【0013】
図１の外科手術システム２は、例えば、ツールを保持すること、使用するためにツールを位置合わせすること、ツールを使用すること、ツールを誘導すること、および／またはツールを位置決めすることによって、医療処置中に外科医を支援することができる。いくつかの実施形態では、外科手術システム２は、外科手術ロボット４と、カメラ追跡システムコンポーネント６と、を含む。外科手術ロボット４とカメラ追跡システムコンポーネント６とを機械的に結合する機能により、外科手術システム２を単一のユニットとして操作し、移動することが可能になり、外科手術システム２は、面積の小さいフットプリントを有することが可能になり、狭い通路および曲がり角を通る動きをより容易にすることが可能になり、ならびにより狭い面積内のストレージを可能にすることができる。
【0014】
外科手術的処置は、外科手術システム２を医療ストレージから医療処置室まで移動させることで開始することができる。外科手術システム２は、出入口、ホール、およびエレベータから医療処置室に到達するまでずっと操作されることができる。部屋の中で、外科手術システム２は、２つの分離した別個のシステム、外科手術ロボット４およびカメラ追跡システムコンポーネント６に、物理的に分離されることができる。外科手術ロボット４は、医療従事者を適切に支援するために、任意の好適な場所で患者に隣接して位置決めされることができる。カメラ追跡システムコンポーネント６は、患者の基部、患者の肩、または、外科手術ロボット４および患者の部分の現在の姿勢と追跡位置の姿勢の移動とを追跡するのに好適な任意の他の場所に位置決めされることができる。外科手術ロボット４およびカメラ追跡システムコンポーネント６は、オンボード電源によって電力供給され、および／または外部壁コンセントに差し込まれることができる。
【0015】
外科手術ロボット４を使用して、医療処置中にツールを保持および／または使用することによって外科医を支援することができる。ツールを適切に利用および保持するために、外科手術ロボット４は、適切に機能する複数のモータ、コンピュータ、および／またはアクチュエータに依存することができる。図１に示されるように、ロボット本体８は、複数のモータ、コンピュータ、および／またはアクチュエータが外科手術ロボット４内に固設されることができる構造として作用することができる。ロボット本体８はまた、ロボット伸縮式支持アーム１６に支持を与えることができる。ロボット本体８のサイズは、取り付けられたコンポーネントを支持する強固なプラットフォームを提供することができ、且つ取り付けられたコンポーネントを動作させることができる複数のモータ、コンピュータ、および／またはアクチュエータを収容し、隠し、且つ保護することができる。
【0016】
ロボット基部１０は、外科手術ロボット４の下部支持として作用することができる。いくつかの実施形態では、ロボット基部１０は、ロボット本体８を支持することができ、且つロボット本体８を複数の動力付きホイール１２に取り付けることができる。ホイールへのこの取り付けにより、ロボット本体８は、空間内を効率的に移動することができる。ロボット基部１０は、ロボット本体８の長さおよび幅方向に延びていてもよい。ロボット基部１０は、約２インチ～約１０インチの高さとすることができる。ロボット基部１０は、動力付きホイール１２を被覆、保護、および支持することができる。
【0017】
いくつかの実施形態では、図１に示されるように、少なくとも１つの動力付きホイール１２をロボット基部１０に取り付けることができる。動力付きホイール１２は、任意の場所でロボット基部１０に取り付けられることができる。各個々の動力付きホイール１２は、任意の方向に垂直軸を中心として回転することができる。モータは、動力付きホイール１２の上、その中、またはそれに隣接して配設されることができる。このモータにより、外科手術システム２を任意の場所へと操作し、外科手術システム２を安定化し、および／または水平にすることができる。動力付きホイール１２内またはそれに隣接して位置するロッドは、モータによって表面に押し込まれることができる。ロッドは、描かれていないが、外科手術システム２を持ち上げるのに適したいずれの金属からも作られ得る。ロッドは、外科手術システム２を持ち上げることができる動力付きホイール１０を、患者との関係で外科手術システム２の向きを水平にする、またはそうでなければ固定するのに必要ないずれの高さにも、持ち上げることができる。各車輪のロッドによって小さな接触範囲にわたって支持される、外科手術システム２の重さが、外科手術システム２が医療処置中に動くことを防ぐ。この堅固な位置決めは、オブジェクトおよび／または人々が偶発的に外科手術システム２を移動させることを阻止することができる。
【0018】
外科手術システム２の移動を、ロボットレール材１４を使用して容易にすることができる。ロボットレール材１４は、ロボット本体８を把持することなく、外科手術システム２を移動させる能力を人に提供する。図１に示されるように、ロボットレール材１４は、ロボット本体８の長さ方向にロボット本体８よりも短く延びていてもよく、および／またはロボット本体８の長さよりも長く延びていてもよい。ロボットレール材１４は、ロボット本体８に対する保護をさらに備え、オブジェクトおよび／または従事者がロボット本体８に接触すること、ぶつかること、または衝突することを阻止することができる。
【0019】
ロボット本体８は、以下で「ＳＣＡＲＡ」と呼ばれる、選択的コンプライアンス多関節ロボットアームに支持を与えることができる。ＳＣＡＲＡ２４は、ロボットアームの再現性およびコンパクトさゆえに、外科手術システム２内で使用するのに都合の良いものであり得る。ＳＣＡＲＡのコンパクトさは、医療専門家が、過度の動き回りや範囲を限定することなく、医療処置を行うことを可能にし得るさらなるスペースを医療処置内に与えることができる。ＳＣＡＲＡ２４は、ロボット伸縮式支持体１６、ロボット支持アーム１８、および／またはロボットアーム２０を含むことができる。ロボット伸縮式支持体１６は、ロボット本体８に沿って配設されることができる。図１に示されるように、ロボット伸縮式支持体１６は、ＳＣＡＲＡ２４およびディスプレイ３４のための支持を提供することができる。いくつかの実施形態では、ロボット伸縮式支持体１６は、垂直方向に延在および収縮することができる。ロボット伸縮式支持体１６の本体は、本体に加えられる応力および重量を支持するように構成された任意の幅および／または高さとすることができる。
【0020】
いくつかの実施形態では、医療従事者は、医療従事者によって提出されたコマンドを介してＳＣＡＲＡ２４を移動させることができる。コマンドは、以下にさらに詳細に説明するように、ディスプレイ３４、タブレット、および／またはＸＲヘッドセット（例えば、図９のヘッドセット９２０）で受信した入力を源とし得る。ＸＲヘッドセットは、医療従事者が、ディスプレイ３４またはタブレットなどの他のいずれかの表示装置を参照する必要をなくすることができ、これにより、ＳＣＡＲＡ ２４がディスプレイ３４および／またはタブレットなしで構成されることを可能にする。コマンドは、スイッチの押し下げおよび／または複数のスイッチの押し下げによって生成されることができ、および／または以下にさらに詳細に説明するように、ＸＲヘッドセットによって感知されるハンドジェスチャコマンドおよび／またはボイスコマンドに基づいて生成されることができる。
【0021】
図５に示されるように、起動アセンブリ６０は、スイッチおよび／または複数のスイッチを含むことができる。起動アセンブリ６０は、移動コマンドをＳＣＡＲＡ２４に送信して、オペレータがＳＣＡＲＡ２４を手動で操作することを可能にするように動作可能とすることができる。スイッチまたは複数のスイッチが押し下げられると、医療従事者は、加えられた手の移動を介してＳＣＡＲＡ２４を移動させる能力を有することができる。これに代えて、またはこれに加えて、オペレータは、以下にさらに詳細に説明するように、ＸＲヘッドセットによって検知されるハンドジェスチャコマンドおよび／またはボイスコマンドを介してＳＣＡＲＡ２４の移動を制御することができる。さらに、ＳＣＡＲＡ２４が動くことを求めるコマンドを受信していない場合、ＳＣＡＲＡ２４は、従事者および／または他の物体による偶発的な動きを防ぐように所定位置にロックされることができる。所定の位置にロックすることにより、ＳＣＡＲＡ２４は、エンドエフェクタ２６が医療処置中に外科手術ツールを誘導することができる堅固なプラットフォームを提供する。
【0022】
ロボット支持アーム１８は、様々な機構によってロボット伸縮式支持体１６に接続されることができる。いくつかの実施形態では、図１および図２に最もよく見られるように、ロボット支持アーム１８は、ロボット伸縮式支持体１６に対して任意の方向に回転する。ロボット支持アーム１８は、ロボット伸縮式支持体１６の周りで３６０度回転することができる。ロボットアーム２０は、任意の好適な位置で、ロボット支持アーム１８に対して任意の方向への回転を可能にする様々な機構によって、ロボット支持アーム１８に接続することができる。一実施形態では、ロボットアーム２０は、ロボット支持アーム１８に対して３６０度回転することができる。この自由回転により、オペレータは、外科手術計画に従ってロボットアーム２０を位置決めすることができる。
【0023】
図４および図５に示されるエンドエフェクタ２６は、任意の好適な場所でロボットアーム２０に取り付けられることができる。エンドエフェクタ２６は、外科手術ロボット４によって位置決めされたロボットアーム２０のエンドエフェクタカプラ２２に取り付けられるように構成されることができる。例示的なエンドエフェクタ２６は、外科手術的処置が実施される解剖学的構造に対して挿入された外科手術ツールの移動を誘導する管状ガイドを含む。
【0024】
いくつかの実施形態では、動的参照アレイ５２は、エンドエフェクタ２６に取り付けられている。本明細書で「ＤＲＡ」および「参照アレイ」とも呼ばれる動的参照アレイは、手術室内の従事者によって着用されている１つ以上のＸＲヘッドセット、エンドエフェクタ、外科手術ロボット、ナビゲートされる外科手術的処置における外科手術ツール、および患者の解剖学的構造（例えば、骨）上に取り付けまたは形成されることができる剛体、マーカ、または他の指標とすることができる。カメラ追跡システムコンポーネント６または他の３Ｄ位置特定システムと組み合わされるコンピュータプラットフォーム９１０は、ＤＲＡの姿勢（例えば、位置および回転の向き）をリアルタイムで追跡するように構成されている。ＤＲＡは、図示されたボールの配置など、基準を含むことができる。ＤＲＡの３Ｄ座標のこの追跡により、外科手術システム２は、図５の患者５０の目標の解剖学的構造に関連する任意の多次元空間におけるＤＲＡの姿勢を判定することができる。
【0025】
図１に示されるように、光インジケータ２８は、ＳＣＡＲＡ２４の頂部上に位置決めされることができる。光インジケータ２８は、外科手術システム２が現在動作している「状況」を示すために、任意のタイプの光として照明することができる。いくつかの実施形態では、光は、光インジケータ２８の周りにリングを形成することができるＬＥＤ電球によって生成されることができる。光インジケータ２８は、光インジケータ２８の全体にわたって光を輝かせることができる完全に透過性の材料を含むことができる。光インジケータ２８は、下部ディスプレイ支持体３０に取り付けられることができる。下部ディスプレイ支持体３０は、図２に示されるように、オペレータが、適切ないずれの場所にもディスプレイ３４をうまく移動させるのを可能にすることができる。下部ディスプレイ支持体３０は、任意の好適な機構によって光インジケータ２８に取り付けられることができる。いくつかの実施形態では、下部ディスプレイ支持体３０は、光インジケータ２８を中心として回転することができるか、または光インジケータ２８に堅固に取り付けられることができる。上部ディスプレイ支持体３２は、任意の好適な機構によって下部ディスプレイ支持体３０に取り付けられることができる。
【0026】
いくつかの実施形態では、タブレットをディスプレイ３４と併せて、および／またはディスプレイ３４なしで使用することができる。タブレットは、ディスプレイ３４の代わりに上部ディスプレイ支持体３２上に配設されてもよく、医療手術中に上部ディスプレイ支持体３２から取り外し可能であってもよい。さらに、タブレットは、ディスプレイ３４と通信することができる。タブレットは、任意の適切な無線接続および／または有線接続によって、外科手術ロボット４に接続することが可能であり得る。実施形態によっては、タブレットは、医療手術中、外科手術システム２をプログラムし、および／または制御することが可能であり得る。タブレットを用いて外科手術システム２を制御しているとき、全ての入力および出力コマンドをディスプレイ３４上で複製することができる。タブレットの使用により、オペレータは、患者５０の周りを移動し、および／または外科手術ロボット４まで移動する必要なしに、外科手術ロボット４を操作することができる。
【0027】
以下に説明するように、いくつかの実施形態では、外科医および／または他の従事者は、ディスプレイ３４および／またはタブレットと組み合わせて使用されることができるＸＲヘッドセットを着用することができるか、またはＸＲヘッドは、ディスプレイ３４および／またはタブレットの使用の必要性を排除することができる。
【0028】
図３Ａおよび図５に示されるように、カメラ追跡システムコンポーネント６は、有線または無線の通信ネットワークを介して外科手術ロボット４と協働する。図１、図３、および図５を参照すると、カメラ追跡システムコンポーネント６は、外科手術ロボット４と同様のいくつかのコンポーネントを含むことができる。例えば、カメラ本体３６は、ロボット本体８に見られる機能性をもたらすことができる。ロボット本体８は、カメラ４６が取り付けられる補助追跡バーを提供することができる。ロボット本体８内の構造も、カメラ追跡システムコンポーネント６を動作させるために使用される電子機器、通信デバイス、および電源のための支持を提供することができる。カメラ本体３６は、ロボット本体８と同じ材料で作製されることができる。カメラ追跡システムコンポーネント６は、無線および／または有線のネットワークによってＸＲヘッドセット、タブレット、および／またはディスプレイ３４と直接通信して、ＸＲヘッドセット、タブレット、および／またはディスプレイ３４がカメラ追跡システムコンポーネント６の機能を制御することを可能にすることができる。
【0029】
カメラ本体３６は、カメラ基部３８によって支持される。カメラ基部３８は、ロボット基部１０として機能することができる。図１の実施形態では、カメラ基部３８は、ロボット基部１０よりも広くてもよい。カメラ基部３８の幅は、カメラ追跡システムコンポーネント６が外科手術ロボット４と接続することを可能にすることができる。図１に示されるように、カメラ基部３８の幅は、外側ロボット基部１０を固定するのに十分に広くすることができる。カメラ追跡システムコンポーネント６と外科手術ロボット４とが接続されているとき、カメラ基部３８の追加の幅は、外科手術システム２の追加の操作性と外科手術システム２の支持を可能にすることができる。
【0030】
ロボット基部１０と同様に、複数の動力付きホイール１２がカメラ基部３８に取り付けられることができる。動力付きホイール１２により、カメラ追跡システムコンポーネント６は、ロボット基部１０および動力付きホイール１２の動作と同様に、患者５０に対して固定された向きを安定化して水平にするか、またはそれを設定することができる。この安定化により、カメラ追跡システムコンポーネント６が医療処置中に移動することを防止することができ、図３Ａおよび図５に示されるように、補助追跡バー上のカメラ４６が、ＸＲヘッドセットおよび／または外科手術ロボット４に接続されたＤＲＡの軌跡を見失うこと、および／または指定されたエリア５６内の解剖学的構造５４および／またはツール５８に接続された１つ以上のＤＲＡ５２の軌跡を見失うことを阻止することができる。追跡のこの安定性と維持は、カメラ追跡システムコンポーネント６で効果的に動作する外科手術ロボット４の能力を強化する。さらに、広いカメラ基部３８は、カメラ追跡システムコンポーネント６に追加の支持を提供することができる。具体的には、図３Ａおよび図５に示されるように、幅広のカメラ基部３８により、カメラ４６が患者の上に配設されたときに、カメラ追跡システムコンポーネント６が転倒するのを防止することができる。
【0031】
カメラ伸縮式支持体４０は、補助追跡バー上のカメラ４６を支持することができる。実施形態によっては、伸縮式支持体４０は、垂直方向にカメラ４６を上げるまたは下げることができる。カメラハンドル４８は、任意の好適な位置でカメラ伸縮式支持体４０に取り付けられることができ、オペレータが医療手術の前にカメラ追跡システムコンポーネント６を計画された位置に移動させることを可能にするように構成されることができる。実施形態によっては、カメラハンドル４８は、カメラ伸縮式支持体４０を上げ下げするのに使用される。カメラハンドル４８は、ボタン、スイッチ、レバー、および／またはそれらの任意の組み合わせの押し下げによって、カメラ伸縮式支持体４０の上昇および下降を実施することができる。
【0032】
下部カメラ支持アーム４２は、任意の好適な場所でカメラ伸縮式支持体４０に取り付けることができ、実施形態では、図１に示されるように、下部カメラ支持アーム４２は、伸縮式支持体４０の周りで３６０度回転することができる。この自由な回転により、オペレータは、カメラ４６を任意の好適な場所に位置決めすることができる。下部カメラ支持アーム４２は、任意の好適な機構によって伸縮式支持体４０に接続することができる。下部カメラ支持アーム４２を使用して、カメラ４６に支持を与えることができる。カメラ４６は、任意の適切な機構によって下部カメラ支持アーム４２に取り付けられることができる。カメラ４６は、カメラ４６と下部カメラ支持アーム４２との間の取り付け面積で任意の方向に旋回することができる。実施形態では、湾曲レール４４は、下部カメラ支持アーム４２上に配設されることができる。
【0033】
湾曲レール４４は、下部カメラ支持アーム４２上の任意の好適な場所に配設されることができる。図３Ａに示されるように、湾曲レール４４は、任意の好適な機構によって下部カメラ支持アーム４２に取り付けることができる。湾曲レール４４は、適切ないずれの形状であってもよく、適切な形状は、三日月形、円形、卵形、楕円形、および／またはそれらの任意の組み合わせとすることができる。カメラ４６は、湾曲レール４４に沿って移動可能に配置されることができる。カメラ４６は、例えば、ローラ、ブラケット、ブレース、モータ、および／またはそれらの任意の組み合わせによって湾曲レール４４に取り付けることができる。モータおよびローラは、図示されていないが、湾曲レール４４に沿ってカメラ４６を動かすのに使用されることができる。図３Ａに示されるように、医療処置中、ある物体により、カメラ４６が追跡される１つ以上のＤＲＡを見るのを妨げられる場合、モータが、これに反応して、湾曲レール４４に沿ってカメラ４６を動かすことができる。この電動化された動きにより、カメラ４６は、カメラ追跡システムコンポーネント６を移動させることなく、オブジェクトによってもはや妨げられない新たな位置に移動することができる。カメラ４６が１つ以上の追跡されるＤＲＡを視認することが妨げられている間、カメラ追跡システムコンポーネント６は、停止信号を外科手術ロボット４、ＸＲヘッドセット、ディスプレイ３４、および／またはタブレットに送信することができる。停止信号は、カメラ４６が追跡されるＤＲＡ５２を再取得するまで、および／またはＸＲヘッドセットを着用しているおよび／またはディスプレイ３４および／またはタブレットを視認しているオペレータに警告することができるまで、ＳＣＡＲＡ２４が移動することを防止することができる。このＳＣＡＲＡ２４は、カメラ追跡システムがＤＲＡの追跡を再開することができるまで、ベースおよび／またはエンドエフェクタカプラ２２のさらなる移動を停止することによって、停止信号の受信に応答するように構成されることができる。
【0034】
図３Ｂおよび図３Ｃは、図１の外科手術システムとともに使用されることができるか、または外科手術ロボットとは独立して使用されることができる別のカメラ追跡システムコンポーネント６’の正面図および等角図を示している。例えば、カメラ追跡システムコンポーネント６’は、ロボットガイダンスの使用を伴わないナビゲートされる外科手術を提供するために使用されることができる。図３Ｂおよび図３Ｃのカメラ追跡システムコンポーネント６’と図３Ａのカメラ追跡システムコンポーネント６との違いの１つは、図３Ｂおよび図３Ｃのカメラ追跡システムコンポーネント６’が、コンピュータプラットフォーム９１０を運搬するハウジングを含むことである。コンピュータプラットフォーム９１０は、ＤＲＡを追跡するカメラ追跡作業を行い、ディスプレイデバイス、例えばＸＲヘッドセットおよび／または他の表示デバイスに外科手術ナビゲーション情報を提供する、ナビゲーション式外科手術を行い、また本明細書に開示されている他の計算演算を行うように構成されることができる。したがって、コンピュータプラットフォーム９１０は、図１４の１つ以上のナビゲーションコンピュータなどのナビゲーションコンピュータを含むことができる。
【0035】
図６は、医療手術に使用される図５の外科手術システムのコンポーネントのブロック図を示している。図６を参照すると、補助的な追跡バーの追跡カメラ４６は、ナビゲーション視野６００を有し、この場合、患者に取り付けられた参照アレイ６０２のポーズ（例えば、位置および向き）、外科手術器具に取り付けられた参照アレイ６０４、およびロボットアーム２０が、追跡される。追跡カメラ４６は、以下に記載される動作を実行するように構成されたコンピュータプラットフォーム９１０を含む、図３Ｂおよび図３Ｃのカメラ追跡システムコンポーネント６’の一部とすることができる。参照アレイは、既知のパターンで光を反射することによって追跡を可能にし、それがデコードされて、外科手術ロボット４の追跡サブシステムによってそれぞれのポーズを判定する。患者の参照アレイ６０２と補助的な追跡バーの追跡カメラ４６との間の視線が（例えば、医療従事者、器具などによって）遮断された場合、外科手術器具のさらなるナビゲーションを実行することができない可能性があり、応答通知は、ロボットアーム２０および外科手術ロボット４のさらなる移動を一時的に停止し、ディスプレイ３４に警告を表示し、および／または医療従事者に可聴警告を与えることができる。ディスプレイ３４は、外科医６１０および助手６１２がアクセス可能であるが、視認するには、患者から頭部の向きを逸らし、眼の焦点を異なる距離および場所に変化させる必要がある。ナビゲーションソフトウェアは、外科医からの音声指示に基づいて、技術従事者６１４によって制御されることができる。
【0036】
図７は、外科手術システム２のナビゲーション機能を使用するときに、外科手術ロボット４によって図５および図６のディスプレイ３４に表示されることができる様々な表示画面を示している。表示画面は、限定ではなく、展開される外科手術計画に基づき、かつ／または追跡対象基準配列の姿勢、外科手術的処置の様々な段階を制御するための様々なユーザ選択可能メニュー、および仮想的に投影されたインプラントの寸法パラメータ（例えば、長さ、幅、および／または直径）に基づき、解剖学的構造体に対して表示画面で位置付けられる器具のモデルの重なりグラフィカル表現の患者Ｘ線写真を含み得る。
【0037】
ナビゲートされる外科手術のために、外科手術の術前計画、例えば、インプラント配置、および計画された外科手術的処置中の１人または複数のユーザにナビゲーション情報を提供するためのコンピュータプラットフォーム９１０への計画の電子転送を可能にする、以下に記載される様々な処理コンポーネント（例えば、コンピュータプラットフォーム９１０）および関連付けられたソフトウェアが提供される。
【0038】
ロボットナビゲーションのために、外科手術の術前計画、例えば、インプラント配置、および外科手術ロボット４への計画の電子転送を可能にする、以下に記載される様々な処理コンポーネント（例えば、コンピュータプラットフォーム９１０）および関連付けられたソフトウェアが提供される。外科手術ロボット４は、計画を使用して、ロボットアーム２０および接続されたエンドエフェクタ２６を誘導して、計画された外科手術的処置のステップのための患者の解剖学的構造に対する外科手術ツールの目標姿勢を提供する。
【0039】
以下の様々な実施形態は、外科医６１０、助手６１２、および／または他の医療従事者が着用できる１つ以上のＸＲヘッドセットを使用して、外科手術ロボット、カメラ追跡システムコンポーネント６／６’、および／または手術室の他の医療機器から情報を受信し、および／またはこれらに制御コマンドを提供するための改善されたユーザインターフェースを提供することを対象とする。
【0040】
図８は、本開示のいくつかの実施形態にかかる、外科手術ロボット４のいくつかの電気的コンポーネントのブロック図を示している。図８を参照すると、ロードセル（図示せず）は、エンドエフェクタカプラ２２に加えられた力を追跡するように構成されることができる。実施形態によっては、ロードセルは、複数のモータ８５０、８５１、８５２、８５３、および／または８５４と通信することができる。ロードセルが力を検知するのに従って、加えられた力の程度に関する情報が、１つのスイッチアレイおよび／または複数のスイッチアレイからコントローラ８４６に配信されることができる。コントローラ８４６は、ロードセルから力情報を取得し、力情報をスイッチアルゴリズムで処理することができる。スイッチアルゴリズムは、モータドライバ８４２を制御するのにコントローラ８４６によって使用される。モータドライバ８４２は、モータ８５０、８５１、８５２、８５３、および８５４のうちの１つ以上の働きを制御する。モータドライバ８４２は、特定のモータに、例えば、モータを介してロードセルによって測定された等しい量の力を生成するように指示することができる。いくつかの実施形態では、生成される力は、コントローラ８４６の指示どおりに、複数のモータ、例えば、８５０～８５４から生じることができる。さらに、モータドライバ８４２は、コントローラ８４６から入力を受信することができる。コントローラ８４６は、ロードセルによって検知された力の方向に関する情報をロードセルから受信することができる。コントローラ８４６は、この情報を、モーションコントローラアルゴリズムを使用して処理することができる。このアルゴリズムは、特定のモータドライバ８４２に情報を提供するのに使用されることができる。力の方向を再現するために、コントローラ８４６は、あるモータドライバ８４２を有効にする、かつ／または無効にすることができる。コントローラ８４６は、１つ以上のモータ、例えば８５０～８５４のうちの１つ以上を、ロードセルによって感知された力の方向にエンドエフェクタ２６の動きを誘導するように制御することができる。この力によって制御される運動により、オペレータは、ＳＣＡＲＡ２４および受動的なエンドエフェクタ２６を楽に、かつ／またはほとんど抵抗なく移動させ得る。医療スタッフによる使用に適したいずれの姿勢にも（すなわち、定義された３次元（「３Ｄ」）直交基準軸に対する場所および角度方向）エンドエフェクタ２６を位置付けるように、エンドエフェクタ２６を動かすことができる。
【0041】
図５に最もよく例示されている起動アセンブリ６０は、エンドエフェクタカプラ２２を包むブレスレットの形態をなすことができる。起動アセンブリ６０は、ＳＣＡＲＡ２４の任意の部分、エンドエフェクタカプラ２２の任意の部分に位置することができ、医療従事者および／またはそれらの任意の組み合わせによって着用される（および無線で通信する）ことができる。起動アセンブリ６０は、一次ボタンおよび二次ボタンを備えることができる。
【0042】
一次ボタンを押し下げることにより、オペレータは、ＳＣＡＲＡ２４およびエンドエフェクタカプラ２２を移動させることが可能であり得る。一実施形態によれば、一旦設置されると、ＳＣＡＲＡ２４およびエンドエフェクタカプラ２２は、オペレータがＳＣＡＲＡ２４およびエンドエフェクタカプラ２２を移動させるように外科手術ロボット４をプログラムするまで移動しないことが可能であるか、または一次ボタンを使用して移動される。例によっては、ＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２がオペレータコマンドに応答するようになる前に、少なくとも２つの非隣接の一次起動スイッチの押下が必要となり得る。少なくとも２つの一次起動スイッチを押し下げることにより、医療処置中のＳＣＡＲＡ２４およびエンドエフェクタカプラ２２の偶発的な移動を防止することができる。
【0043】
一次ボタンによって起動されると、ロードセルは、オペレータ、すなわち、医療従事者によってエンドエフェクタカプラ２２に及ぼされる力の大きさおよび／または方向を測定することができる。この情報は、１つ以上のモータ、例えば、ＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２を動かすのに使用され得るＳＣＡＲＡ ２４内の８５０～８５４のうちの１つ以上に転送され得る。ロードセルによって測定された力の大きさおよび方向に関する情報によって、１つ以上のモータ、例えば８５０～８５４のうちの１つ以上に、ＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２をロードセルによって感知されたのと同じ方向に移動させることができる。この力制御型の動きにより、モータがＳＣＡＲＡ２４およびエンドエフェクタカプラ２２を移動させるのと同時に、オペレータがＳＣＡＲＡ２４およびエンドエフェクタカプラ２２を移動させるため、オペレータは、楽に、且つ大きな労力なしに、ＳＣＡＲＡ２４およびエンドエフェクタカプラ２２を移動することが可能になり得る。
【0044】
いくつかの例では、二次ボタンは、「選択」デバイスとしてオペレータによって使用されることができる。医療手術中、外科手術ロボット４は、ＸＲヘッドセット９２０、ディスプレイ３４および／または光インジケータ２８によって特定の状況を医療従事者に通知することができる。ＸＲヘッドセット９２０は、それぞれ、シースルー表示画面上に画像を表示して、シースルー表示画面を通して視認可能な実世界のオブジェクト上にオーバーレイされるエクステンデッドリアリティ画像を形成するように構成されている。医療従事者は、外科手術ロボット４によって、機能、モードを選択し、および／または外科手術システム２の状況を評価するように促されることがある。二次ボタンを１回押し下げることにより、特定の機能、モードが起動され、および／またはＸＲヘッドセット９２０、ディスプレイ３４、および／もしくは光インジケータ２８を介して医療従事者に伝達される情報が確認されることができる。これに加えて、二次ボタンを素早く連続して複数回押し下げると、追加の機能、モードを起動し、および／またはＸＲヘッドセット９２０、ディスプレイ３４、および／もしくは光インジケータ２８を介して医療従事者に伝達される情報を選択することができる。
【0045】
図８をさらに参照すると、外科手術ロボット４の電気的コンポーネントは、プラットフォームサブシステム８０２、コンピュータサブシステム８２０、運動制御サブシステム８４０、および追跡サブシステム８３０を含む。プラットフォームサブシステム８０２は、バッテリ８０６、配電モジュール８０４、コネクタパネル８０８、および充電ステーション８１０を含む。コンピュータサブシステム８２０は、コンピュータ８２２、ディスプレイ８２４、およびスピーカ８２６を含む。運動制御サブシステム８４０は、ドライバ回路８４２、モータ８５０、８５１、８５２、８５３、８５４、安定化装置８５５、８５６、８５７、８５８、エンドエフェクタコネクタ８４４、およびコントローラ８４６を含む。追跡サブシステム８３０は、位置センサ８３２、およびカメラコンバータ８３４を含む。外科手術ロボット４はまた、取り外し可能なフットペダル８８０、および取り外し可能なタブレットコンピュータ８９０を含むことができる。
【0046】
入力電力は、配電モジュール８０４に提供されることができる電源を介して外科手術ロボット４に供給される。配電モジュール８０４は、入力電力を受け取り、外科手術ロボット４の他のモジュール、コンポーネント、およびサブシステムに供給される様々な電源電圧を起こすように構成されている。配電モジュール８０４は、例えば、モータ８５０～８５４およびエンドエフェクタカプラ８４４に給電するために、コンピュータ８２２、ディスプレイ８２４、スピーカ８２６、ドライバ８４２などの他の構成要素に提供され得、またカメラコンバータ８３４および外科手術ロボット４用の他のコンポーネントに供給され得る、様々な電圧供給を、コネクタパネル８０８に、もたらすように構成され得る。配電モジュール８０４はまた、配電モジュール８０４が入力電力から電力を受け取らない場合、一時的な電力源としての役割を果たすバッテリ８０６に接続され得る。他の場合には、配電モジュール８０４は、バッテリ８０６を充電するのに役立つ場合がある。
【0047】
コネクタパネル８０８は、異なるデバイスおよびコンポーネントを外科手術ロボット４ならびに／または関連付けられたコンポーネントおよびモジュールに接続するのに役立つことができる。コネクタパネル８０８は、異なるコンポーネントからの配線または接続部を受容する１つ以上のポートを含むことができる。例えば、コネクタパネル８０８は、外科手術ロボット４を他の機器に接地することができる接地端子ポートと、フットペダル８８０を接続するポートと、位置センサ８３２、カメラコンバータ８３４、およびカメラ追跡バー８７０を含むことができる追跡サブシステム８３０に接続するポートと、を有することができる。コネクタパネル８０８はまた、コンピュータ８２２などの他のコンポーネントへのＵＳＢ、Ｅｔｈｅｒｎｅｔ、ＨＤＭＩ通信を可能にする他のポートを含むことができる。いくつかの実施形態によれば、コネクタパネル８０８は、１つ以上のＸＲヘッドセット９２０を追跡サブシステム８３０および／またはコンピュータサブシステム８２０に動作可能に接続するための有線および／または無線インターフェースを含むことができる。
【0048】
制御パネル８１６は、外科手術ロボット４の動作を制御し、および／またはオペレータが観察するための外科手術ロボット４からの情報を提供する、様々なボタンまたはインジケータを提供することができる。例えば、制御パネル８１６は、外科手術ロボット４の電源をオンオフするボタン、垂直柱１６を上げ下げするボタン、キャスタ１２に係合して外科手術ロボット４が物理的に動かないようにするように設計され得る安定化装置８５５～８５８を上げ下げするボタンを含み得る。他のボタンは、すべてのモータ電源を取り外し、機械式ブレーキを掛けて、すべての動きが起こらないようにし得る、緊急時に、外科手術ロボット４を止めることができる。制御パネル８１６は、ラインパワー表示器などの特定のシステム状態、またはバッテリ８０６の充電状態を手術者に通知する表示器も備え得る。いくつかの実施形態によれば、１つ以上のＸＲヘッドセット９２０は、例えばコネクタパネル８０８を介して、外科手術ロボット４の働きを制御するよう、かつ／またはＸＲヘッドセット９２０を装着している人による観察対象の外科手術ロボット４によって生成された情報を受信し、表示するよう、伝達することができる。
【0049】
コンピュータサブシステム８２０のコンピュータ８２２は、外科手術ロボット４の割り当てられた機能を動作させるためのオペレーティングシステムおよびソフトウェアを含む。コンピュータ８２２は、情報をオペレータに表示するために、他のコンポーネント（例えば、追跡サブシステム８３０、プラットフォームサブシステム８０２、および／または運動制御サブシステム８４０）から情報を受信して処理することができる。さらに、コンピュータサブシステム８２０は、スピーカ８２６を介してオペレータに出力を提供することができる。スピーカは、外科手術ロボットの一部とすることができるか、ＸＲヘッドセット９２０の一部とすることができるか、または外科手術システム２の別のコンポーネント内にあることができる。ディスプレイ８２４は、図１および図２に示されるディスプレイ３４に対応することができる。
【0050】
追跡サブシステム８３０は、位置センサ８３２、およびカメラコンバータ８３４を含むことができる。追跡サブシステム８３０は、図３のカメラ追跡システムコンポーネント６に対応することができる。カメラ追跡カメラ８７０は、位置センサ８３２とともに動作して、ＤＲＡ５２の姿勢を判定する。この追跡は、ＬＥＤまたは反射基準（マーカとも呼ばれる）などのＤＲＡ５２の能動的または受動的な要素の場所をそれぞれ追跡する赤外線または可視光技術の使用を含む、本開示に矛盾しない様式で行うことができる。
【0051】
追跡サブシステム８３０およびコンピュータサブシステム８２０の機能的動作は、図３Ａおよび図３Ｂのカメラ追跡システムコンポーネント６’によって運搬できるコンピュータプラットフォーム９１０に含めることができる。追跡サブシステム８３０は、追跡対象のＤＲＡの姿勢、例えば場所および角度向きを確定するように構成されることができる。コンピュータプラットフォーム９１０はまた、判定された姿勢を使用して、計画された外科手術的処置中に、位置登録された患者画像および／または追跡される解剖学的構造に対する追跡されるツールの動きを誘導するナビゲーション情報をユーザに提供するように構成されたナビゲーションコントローラを含むことができる。コンピュータプラットフォーム９１０は、図３Ｂおよび図３Ｃのディスプレイ、および／または１つ以上のＸＲヘッドセット９２０に情報を表示することができる。コンピュータプラットフォーム９１０は、外科手術ロボットとともに使用される場合、図８のコンピュータサブシステム８２０および他のサブシステムと通信して、エンドエフェクタ２６の動きを制御するように構成され得る。例えば、以下に説明するように、コンピュータプラットフォーム９１０は、患者の解剖学的構造体、外科手術ツール、ユーザの手などのグラフィカル表現を、表示されたサイズ、形状、色、および／または１つ以上の追跡対象のＤＲＡの確定された姿勢に基づき制御されている姿勢で、生成することができ、表示されるグラフィカル表現は、経時で、確定された姿勢の変化を追跡するように動的に修正され得る。
【0052】
モーション制御サブシステム８４０は、垂直柱１６、上部アーム１８、下部アーム２０を物理的に移動させるか、またはエンドエフェクタカプラ２２を回転させるように構成させることができる。物理的な移動は、１つ以上のモータ８５０～８５４の使用を通して行われ得る。例えば、モータ８５０は、垂直柱１６を垂直に上げるまたは下げるように構成され得る。モータ８５１は、図２に示されるように、垂直柱１６との係合箇所の周りに、上部アーム１８を横方向に動かすように構成され得る。モータ８５２は、図２に示されるように、上部アーム１８との係合点の周りに下部アーム２０を横方向に動かすように構成されることができる。モータ８５３および８５４は、３次元軸の周りに沿った並進の動きおよび回転をもたらすようにエンドエフェクタカプラ２２を動かすように構成されることができる。図９に示されるコンピュータプラットフォーム９１０は、エンドエフェクタカプラ２２の動きを誘導するコントローラ８４６に制御入力を与えて、エンドエフェクタカプラ２２に接続されている受動エンドエフェクタを、予定の外科手術的処置中に手術される解剖学的構造体に対する予定の姿勢（すなわち、定義された３Ｄ直交基準軸に対する場所および角度向き）で位置付けることができる。モーション制御サブシステム８４０は、一体型位置センサ（例えば、エンコーダ）を使用して、エンドエフェクタカプラ２２および／またはエンドエフェクタ２６の位置を測定するように構成され得る。
【0053】
図９は、本開示のいくつかの実施形態による、カメラ追跡システムコンポーネント６（図３Ａ）もしくは６’（図３Ｂ、図３Ｃ）に、かつ／または外科手術ロボット４に、運用上接続され得るコンピュータプラットフォーム９１０に接続された撮像デバイス（例えば、Ｃ－Ａｒｍ １０４、Ｏ－Ａｒｍ １０６など）を含む外科手術システムの構成要素のブロック図を示す。これに代えて、コンピュータプラットフォーム９１０によって実行されるものとして本明細書に開示される少なくともいくつかの動作は、追加的または代替的に、外科手術システムのコンポーネントによって実行されることができる。
【0054】
図９を参照すると、コンピュータプラットフォーム９１０は、ディスプレイ９１２、少なくとも１つのプロセッサ回路９１４（簡潔にするためにプロセッサとも呼ばれる）、コンピュータ可読プログラムコード９１８を内包する少なくとも１つのメモリ回路９１６（簡潔にするためにメモリとも呼ばれる）、および少なくとも１つのネットワークインターフェース９０２（簡潔にするためにネットワークインターフェースとも呼ばれる）を含む。ディスプレイ９１２は、本開示のいくつかの実施形態にかかるＸＲヘッドセット９２０の一部とすることができる。ネットワークインターフェース９０２は、図１０のＣアーム撮像デバイス１０４、図１１のＯアーム撮像デバイス１０６、別の医療撮像デバイス、患者の医療画像を内包する画像データベース９５０、外科手術ロボット４のコンポーネント、および／または他の電子機器に接続するように構成されることができる。
【0055】
外科手術ロボット４とともに使用される場合、ディスプレイ９１２は、図２のディスプレイ３４、および／または図８のタブレット８９０、および／または外科手術ロボット４に動作可能に接続されたＸＲヘッドセット９２０に対応することができ、ネットワークインターフェース９０２は、図８のプラットフォームネットワークインターフェース８１２に対応することができ、プロセッサ９１４は、図８のコンピュータ８２２に対応することができる。ＸＲヘッドセット９２０のネットワークインターフェース９０２は、有線ネットワーク、例えば、シンワイヤＥｔｈｅｒｎｅｔを介して、および／または１つ以上の無線通信プロトコル、例えば、ＷＬＡＮ、３ＧＰＰ ４Ｇおよび／または５Ｇ（新無線）セルラー通信規格などに従って無線ＲＦ送受信リンクを介して通信するように構成されることができる。
【0056】
プロセッサ９１４は、汎用および／または専用プロセッサ、例えば、マイクロプロセッサおよび／またはデジタル信号プロセッサなどの１つ以上のデータ処理回路を含むことができる。プロセッサ９１４は、メモリ９１６内のコンピュータ可読プログラムコード９１８を実行して、外科手術計画、ナビゲートされる外科手術、および／またはロボット外科手術のために実行されるものとして本明細書に記載される動作の一部または全てを含むことができる動作を実行するように構成されている。
【0057】
コンピュータプラットフォーム９１０は、外科手術計画機能性を提供するように構成されることができる。プロセッサ９１４は、撮像デバイス１０４および１０６のうちの一方から、かつ／またはネットワークインターフェース９０２を通して画像データベース９５０から受信した解剖学的構造、例えば椎骨の画像を、ディスプレイデバイス９１２に、かつ／またはＸＲヘッドセット９２０に、表示するように働くことができる。プロセッサ９１４は、例えば、術者が接触して予定の処置のためのディスプレイ９１２の場所を選択することによって、またはマウスベースのカーソルを使用して予定の処置ための場所を定義することによって、１つ以上の画像に示される解剖学的構造が、外科手術的処置、例えばねじの配置を経るべき場所に関する術者の定義を受信する。画像がＸＲヘッドセット９２０に表示される場合、ＸＲヘッドセットは、着用者によって形成されたジェスチャベースのコマンドで検知するように、および／または着用者によって話されたボイスベースのコマンドを検知するように構成されることができ、これを使用してメニュー項目間の選択を制御し、および／または以下にさらに詳述するように、ＸＲヘッドセット９２０にオブジェクトがどのように表示されるかを制御することができる。
【0058】
コンピュータプラットフォーム９１０は、股関節の中心、角度の中心、自然な目印（例えば、上顆軸、ホワイトサイド線、後顆軸など）などを確定する様々な角度の測定のような、膝の外科手術に特に有用であり得る解剖学的構造測定を可能にするように構成され得る。自動である測定もあり得、人間の入力または補助を伴う測定もあり得る。コンピュータプラットフォーム９１０は、手術者が、サイズおよび位置合わせの選択を含む、患者に対して正しいインプラントの選択を入力するのを可能にするように構成され得る。コンピュータプラットフォーム９１０は、ＣＴ画像または他の医療画像に対して自動または半自動（人間の入力を伴う）のセグメント化（画像処理）を行うように構成されることができる。患者の外科手術計画は、外科手術ロボット４による検索のために、データベース９５０に対応することができるクラウドベースのサーバに記憶されることができる。
【0059】
整形外科手術中、例えば、外科医は、コンピュータ画面（例えば、タッチスクリーン）、または、例えば、エクステンデッドリアリティ（「ＸＲ」）ヘッドセット９２０を介したＸＲの相互作用（例えば、ハンドジェスチャベースのコマンドおよび／または音声ベースのコマンド）を使用して、どこを切断するか（例えば、後部大腿骨、脛骨近位部など）を選択することができる。コンピュータプラットフォーム９１０は、外科手術的処置を実行するために外科医に視覚的ガイダンスを提供するナビゲーション情報を生成することができる。外科手術ロボット４とともに使用される場合、コンピュータプラットフォーム９１０は、外科手術ロボット４がエンドエフェクタ２６を目標姿勢に自動的に移動させて、外科手術ツールが目標場所に整列されて解剖学的構造に対する外科手術的処置を実行するようにすることを可能にするガイダンスを提供することができる。
【0060】
いくつかの実施形態では、外科手術システム９００は、２つのＤＲＡを使用して、患者の脛骨に接続されたもの、および患者の大腿骨に接続されたものなど、患者の生体構造の位置を追跡することができる。システム９００は、見当合わせおよび確認に、標準ナビゲート式器具（例えば、脊椎外科手術にＧｌｏｂｕｓ ＥｘｃｅｌｓｉｕｓＧＰＳシステムで使用されるものと同様のポインタ）を使用し得る。
【0061】
ナビゲートされる外科手術で特に難しい作業は、３Ｄ解剖学的構造の２Ｄ表現であるコンピュータ画面上で外科医が作業を実行するのに苦労する脊椎、膝、および他の解剖学的構造におけるインプラントの位置を計画する方法である。システム９００は、ＸＲヘッドセット９２０を使用して、解剖学的構造および候補インプラントデバイスのコンピュータで生成された３次元（３Ｄ）表現を表示することによって、この問題に対処することが可能である。コンピュータで生成された表現は、コンピュータプラットフォーム９１０のガイダンスの下で、表示画面上で互いに対してスケーリングおよび姿勢決めされ、ＸＲヘッドセット９２０を介して視認される間、外科医によって操作されることができる。外科医は、例えば、ＸＲヘッドセット９２０によって感知されるハンドジェスチャベースのコマンドおよび／またはボイスベースのコマンドを使用して、解剖学的構造、インプラント、外科手術ツールなどの、表示された、コンピュータで生成された表現を操作することができる。
【0062】
例えば、外科医は、仮想インプラント上の表示された仮想ハンドルを視認することができ、仮想ハンドルを操作し（例えば、つかんで移動させ）て、仮想インプラントを所望の姿勢に移動させ、解剖学的構造のグラフィック表現に対する計画されたインプラントの配置を調整することができる。その後、外科手術中に、コンピュータプラットフォーム９１０は、インプラントを挿入するための外科手術計画により正確に従い、かつ／または解剖学的構造体に対して別の外科手術処置を行う外科医の能力を促進するナビゲーション情報をＸＲヘッドセット９２０を通して表示することができる。外科手術的処置が骨除去を伴う場合、骨除去の進行、例えば切込みの深さが、ＸＲヘッドセット９２０を介してリアルタイムで表示されることができる。ＸＲヘッドセット９２０を介して表示されることができる他の特徴として、関節運動の範囲に沿った間隙または靭帯のバランス、関節運動の範囲に沿ったインプラントの接触線、色または他のグラフィックレンダリングによる靭帯の緊張および／または弛緩などを挙げることができるが、これらに限定されるものではない。
【0063】
いくつかの実施形態では、コンピュータプラットフォーム９１０は、標準の外科手術ツールおよび／またはインプラント、例えば、後方安定化インプラントおよび十字型保持インプラント、セメント固定およびセメントレスインプラント、例えば、膝関節全置換もしくは部分置換術、および／または股関節置換術、および／または外傷に関連した外科手術のための是正システムの使用を計画することを可能にすることができる。
【0064】
自動撮像システムをコンピュータプラットフォーム９１０と連携して使用して、解剖学的構造の術前、術中、術後、および／またはリアルタイムの画像データを取得することができる。自動撮像システムの例が、図１０および１１に示されている。実施形態によっては、自動撮像システムは、Ｃ－ａｒｍ １０４（図１０）撮像デバイスまたはＯ－ａｒｍ（登録商標）１０６（図１１）である（Ｏ－ａｒｍ（登録商標）の著作権は、米国コロラド州ルイスビルに事業所を置くＭｅｄｔｒｏｎｉｃ Ｎａｖｉｇａｔｉｏｎ，Ｉｎｃ．に帰属する）。Ｘ線システムにおいて要求され得る患者の頻繁な手作業による再位置付けを必要とせずに、いくつかの異なる位置から患者のＸ線写真を撮ることが望ましいであろう。Ｃアーム１０４のＸ線診断機器は、頻繁な手動による再位置決めの問題を解決することができ、外科手術および他の介在する処置の医療分野でよく知られている場合がある。図１０に示されるように、Ｃアームは、「Ｃ」形状の対向する遠位端１１２で終端する細長いＣ形状の部材を含む。Ｃ形状の部材は、Ｘ線源１１４および画像受信器１１６に取り付けられている。アームのＣアーム１０４内の空間は、Ｘ線支持構造からの干渉が実質的にない状態で医師が患者に付き添う余地を提供する。
【0065】
Ｃアームは、２つの自由度でのアームの回転の動きを可能にするように装着されている（すなわち、球面運動での２つの直交軸を中心として）。Ｃアームは、Ｘ線支持構造に摺動可能に装着され、これにより、Ｃアームの曲率中心を中心とした周回回転方向の動きが可能になり、Ｘ線源１１４および画像受信器１１６を垂直および／または水平方向に選択的に向けることを可能にすることができる。Ｃアームはまた、横方向（すなわち、患者の幅および長さの双方に対するＸ線源１１４および画像受信器１１６の選択的に調節可能な位置決めを可能にする周回方向に対して直交方向）に回転可能であってもよい。Ｃアーム装置の球面回転の態様により、医師は、撮像されている特定の解剖学的状況に関して決定された最適な角度で患者のＸ線を撮影することができる。
【0066】
図１１に例示されているＯ－ａｒｍ（登録商標）１０６は、例示されていない画像キャプチャ部分を取り囲むことができるガントリハウジング１２４を含む。画像キャプチャ部分は、Ｘ線源および／または放射部分と、Ｘ線受信および／または画像受信部分と、を含み、これらを互いに約１８０度に配設し、画像キャプチャ部分の追跡に対してロータ（例示せず）上に装着することができる。画像キャプチャ部分は、画像取得中に３６０度回転するように動作可能であってもよい。画像キャプチャ部分は、中心点および／または軸を中心として回転することができ、患者の画像データが複数の方向から、または複数の平面で取得されることを可能にする。
【0067】
ガントリハウジング１２４を備えたＯ－ａｒｍ（登録商標）１０６は、撮像される物体の周りに位置決めするための中央開口部と、ガントリハウジング１２４の内部の周りで回転可能な放射線源と、を有し、放射線源は、複数の異なる投影角度から放射線を投影するように適合され得る。検出器システムは、投射角ごとに放射線を検出して、物体画像を複数の投射平面から擬似同時的に取得するように適合されている。ガントリは、カンチレバー様式で、車輪を備えた車輪付き移動式カートなどの支持構造Ｏ－ａｒｍ（登録商標）支持構造体に取り付けられ得る。位置決めユニットは、好ましくはコンピュータ化された運動制御システムの制御下で、ガントリを計画された位置および向きに並進および／または傾斜させる。ガントリは、ガントリ上で互いに対向して配設された供給源および検出器を含むことができる。供給源および検出器は、供給源および検出器を互いに協調させてガントリの内部の周りで回転させることができる電動ロータに固設されることができる。供給源は、ガントリの内側に位置する目標オブジェクトの多平面撮像のために、部分的および／または完全に３６０度の回転にわたって複数の位置および向きでパルス化されることができる。ガントリは、ロータが回転するときにロータを誘導するためのレールおよび軸受けシステムをさらに備えることができ、このシステムは、供給源および検出器を担持することができる。Ｏ－ａｒｍ（登録商標）１０６およびＣアーム１０４の両方および／またはいずれかを自動撮像システムとして使用して、患者をスキャンし、情報を外科手術システム２に送ることができる。
【0068】
撮像システムによってキャプチャされた画像は、ＸＲヘッドセット９２０および／またはコンピュータプラットフォーム９１０の別のディスプレイデバイス、外科手術ロボット４、および／または外科手術システム９００の別のコンポーネントに表示されることができる。ＸＲヘッドセット９２０は、例えば、コンピュータプラットフォーム９１０を介して、撮像デバイス１０４および／または１０６のうちの１つ以上、および／または画像データベース９５０に接続されて、それらからの画像を表示することができる。ユーザは、ＸＲヘッドセット９２０を介して制御入力、例えば、ジェスチャおよび／またはボイスベースのコマンドを提供して、撮像デバイス１０４および／または１０６および／または画像データベース９５０のうちの１つ以上の動作を制御することができる。
【0069】
図１２は、図１３に示されるＸＲヘッドセット９２０に対応し、且つ本開示のいくつかの実施形態に従って動作することができるＸＲヘッドセット９２０（ヘッドマウントディスプレイＨＭＤ１およびＨＭＤ２）の対を含む外科手術システムの構成要素のブロック図を示している。
【0070】
図１２の例示的なシナリオを参照すると、助手６１２および外科医６１０は、双方とも、それぞれＸＲヘッドセット９２０を着用している。助手６１２がＸＲヘッドセット９２０を着用することは任意である。ＸＲヘッドセット９２０は、着用者が、以下にさらに記載するように、外科手術的処置に関連した情報を視認し、および情報とインタラクトすることができるインタラクティブな環境を提供するように構成されている。このインタラクティブなＸＲベースの環境は、図６に示される技術従事者６１４が手術室に存在する必要性を排除することができ、図６に示されるディスプレイ３４の使用の必要性を排除することができる。各ＸＲヘッドセット９２０は、外科手術ツール、患者の解剖学的構造、エンドエフェクタ２６、および／または他の機器に取り付けられたＤＲＡまたは他の参照アレイの追加の追跡ソースを提供するように構成された１つ以上のカメラを含むことができる。図１２の例では、ＸＲヘッドセット９２０は、ＤＲＡおよび他のオブジェクトを追跡するための視野（ＦＯＶ）１２０２を有し、ＸＲヘッドセット９２０は、ＤＲＡおよび他のオブジェクトを追跡するためのＦＯＶ１２０２と部分的に重なるＦＯＶ１２１２を有し、追跡カメラ４６は、ＤＲＡおよび他のオブジェクトを追跡するために、ＦＯＶ１２０２および１２１２と部分的に重複する別のＦＯＶ６００を有する。
【0071】
１つ以上のカメラが、追跡されるオブジェクト、例えば外科手術ツールに取り付けられたＤＲＡを視認するのを妨げられているが、ＤＲＡが１つ以上の他のカメラを視野に入れている場合、追跡サブシステム８３０および／またはナビゲーションコントローラ８２８は、ナビゲーションを喪失せずにシームレスにオブジェクトを追跡し続けることができる。これに加えて、１つのカメラの観点からＤＲＡが部分的に隠れているが、ＤＲＡ全体が複数のカメラソースを介して視認可能である場合、カメラの追跡入力を統合して、ＤＲＡのナビゲーションを続けることができる。ＸＲヘッドセットおよび／または追跡カメラ４６のうちの１つは、ＸＲヘッドセットの別の１つでＤＲＡを視認および追跡して、コンピュータプラットフォーム９１０（図９および図１４）、追跡サブシステム８３０、および／または別のコンピューティングコンポーネントを有効にして、１つ以上の定義された座標系、例えば、ＸＲヘッドセット９２０、追跡カメラ４６の座標系、ならびに／または患者、テーブル、および／もしくは部屋に対して定義された別の座標系に対するＤＲＡの姿勢を判定することができる。
【0072】
ＸＲヘッドセット９２０は、ビデオ、写真、および／または他の受信情報を表示するように、および／または神経モニタリング、顕微鏡、ビデオカメラ、および麻酔システムを含むがこれらに限定されない手術室内の様々な機器を制御するコマンドを提供するように動作可能に接続されることができる。様々な機器からのデータは、例えば、患者のバイタルサインまたは顕微鏡フィードの表示など、ヘッドセット内で処理および表示されることができる。
例示的なＸＲヘッドセットコンポーネントと、ナビゲートされた外科手術、外科手術ロボット、およびその他の機器への統合
図１３は、本開示のいくつかの実施形態に従って構成されたＸＲヘッドセット９２０を示している。ＸＲヘッドセットは、ＸＲヘッドセットを着用者の頭に固定するように構成されたヘッドバンド１３０６、ヘッドバンド１３０６によって支持された電子部品エンクロージャ１３０４、および電子部品エンクロージャ１３０４から横方向にわたって下向きに延在する表示画面１３０２を含む。表示画面１３０２は、シースルーＬＣＤディスプレイデバイス、またはディスプレイデバイスによって着用者の目に向けて投影された画像を反射する半反射レンズとすることができる。ヘッドセットの片側または両側に配置された既知の間隔を空けて、例えばドットなどのＤＲＡ基準１３１０のセットがペイントされるかまたは取り付けられる。ヘッドセットのＤＲＡは、補助的な追跡バーの追跡カメラがヘッドセット９２０のポーズを追跡することを可能にし、および／または別のＸＲヘッドセットがヘッドセット９２０のポーズを追跡することを可能にする。
例示的なＸＲヘッドセットコンポーネントと、ナビゲートされた外科手術、外科手術ロボット、およびその他の機器への統合
図１３は、本開示のいくつかの実施形態に従って構成されたＸＲヘッドセット９２０を示している。ＸＲヘッドセットは、ＸＲヘッドセットを着用者の頭に固定するように構成されたヘッドバンド１３０６、ヘッドバンド１３０６によって支持された電子部品エンクロージャ１３０４、および電子部品エンクロージャ１３０４から横方向にわたって下向きに延在する表示画面１３０２を含む。表示画面１３０２は、シースルーＬＣＤディスプレイデバイス、またはディスプレイデバイスによって着用者の目に向けて投影された画像を反射する半反射レンズとすることができる。ヘッドセットの片側または両側に配置された既知の間隔を空けて、例えばドットなどのＤＲＡ基準１３１０のセットがペイントされるかまたは取り付けられる。ヘッドセットのＤＲＡは、補助的な追跡バーの追跡カメラがヘッドセット９２０のポーズを追跡することを可能にし、および／または別のＸＲヘッドセットがヘッドセット９２０のポーズを追跡することを可能にする。
【0073】
表示画面１３０２は、ディスプレイデバイスの表示パネルからユーザの目に向けて光を反射する、コンバイナとも呼ばれるシースルー表示画面として働く。ディスプレイパネルを、電子的コンポーネントエンクロージャとユーザの頭との間に位置させることができ、ユーザの眼に向けた反射のために、表示画面１３０２に向けて仮想コンテンツを投影するように角度付けすることができる。表示画面１３０２が、半透明かつ半反射であることにより、ユーザは、実世界シーンのユーザのビューに重ね合わされた反射仮想コンテンツを見ることができる。表示画面１３０２は、下側横方向バンドよりも高い不透明度を有する図示の上側横方向バンドなど、異なる不透明度領域を有することができる。表示画面１３０２の不透明度は、実世界シーンからユーザの眼に通過する光の量を調整するために電子的に制御されることができる。表示画面１３０２の高不透明度構成は、実世界シーンの薄暗いビュー上に重ねられた高コントラストの仮想画像をもたらす。表示画面１３０２の低不透明度構成は、実世界シーンのよりクリアなビュー上にオーバーレイされた、よりかすかな仮想画像をもたらすことができる。不透明度は、表示画面１３０２の表面に不透明な材料を適用することによって制御されることができる。
【0074】
いくつかの実施形態によれば、外科手術システムは、ＸＲヘッドセット９２０およびＸＲヘッドセットコントローラ、例えば、図１４のコントローラ１４３０を含む。ＸＲヘッドセット９２０は、外科手術的処置中にユーザが着用するように構成されており、ＸＲ画像を表示するように、またユーザが見る対象の実世界シーンの少なくとも一部がそれを透過するのを可能にするように構成されているシースルー表示画面１３０２を有する。ＸＲヘッドセット９２０は、ユーザがシースルー表示画面１３０２を見るときに、ユーザの目のうちの少なくとも１つと実世界シーンとの間に位置付けられた不透明度フィルタも含む。不透明フィルタは、実世界場面からの光に不透明性を与えるように構成されている。ＸＲヘッドセットコントローラは、ナビゲーションコントローラ、例えば、図１４のコントローラ８２８Ａ、８２８Ｂ、および／または８２８Ｃと通信して、解剖学的構造体に対する外科手術的処置中にユーザにガイダンスを提供するナビゲーションコントローラからナビゲーション情報を受信するように構成され、シースルー表示画面１３０２上に表示する対象のナビゲーション情報に基づいて、ＸＲ画像を生成するようにさらに構成されている。
【0075】
表示画面１３０２の不透明度は、表示画面１３０２の上部から下向きの距離でより連続的に変化する不透明度を有する勾配として構成されることができる。勾配の最も暗い点は、表示画面１３０２の上部に位置することができ、不透明度が透明になるか、または存在しなくなるまで、表示画面１３０２上でさらに下方へと徐々に不透明度が低くなる。例示的なさらなる実施形態では、勾配は、表示画面１３０２のほぼ眼の中央のレベルで、約９０％の不透明度から完全に透明に変化することができる。ヘッドセットが適切に調整および配置されている場合、眼の中央のレベルは、ユーザが真っ直ぐに見るポイントに対応し、勾配の端部は、眼の「水平」線に位置する。勾配の暗い部分は、仮想コンテンツの鮮明でクリアなビジュアルを可能にし、頭上の手術室ライトの邪魔な輝度を遮断するのに役立つ。
【0076】
このように不透明フィルタを使用することにより、ＸＲヘッドセット９２０は、表示画面１３０２の上部に沿って実世界の場面からの光を実質的または完全に遮断することによって、仮想現実（ＶＲ）の能力を与え、かつ表示画面１３０２の中央または下部に沿ってＡＲ能力を与えることが可能になる。これにより、使用者は、必要に応じてＡＲを半透明にできるようになり、処置の最中において患者のクリアな光学系の解剖学的構造が可能になる。表示画面１３０２を、より一定の不透明性バンドに代えてグラジエントとして構成することにより、着用者は、実世界の場面の輝度と、上向きのビューと下向きのビューとの間のより急速なシフト中などに、別様であれば眼を緊張させ得る被写界深度の急峻な変化を経験することなく、よりＶＲタイプのビューからよりＡＲタイプのビューへとより自然な移行を経ることができるようになる。
【0077】
ディスプレイパネルおよび表示画面１３０２は、広視野のシースルーＸＲディスプレイシステムを提供するように構成されることができる。例示的な一構成では、それらは、ユーザが仮想コンテンツを視認するための５５°の垂直範囲を備えた８０°の対角視野（ＦＯＶ）を提供する。他の対角ＦＯＶ角度および垂直カバレッジ角度は、異なるサイズのディスプレイパネル、異なる曲率レンズ、および／またはディスプレイパネルと湾曲表示画面１３０２との間の異なる距離および角度の向きを介して提供されることができる。
【0078】
図１４は、コンピュータプラットフォーム９１０に、Ｃアーム撮像デバイス１０４、Ｏアーム撮像デバイス１０６などの撮像デバイスのうちの１つ以上および／または画像データベース９５０に、および／または本開示の様々な実施形態にかかる外科手術ロボット８００に動作可能に接続させることができるＸＲヘッドセット９２０の電気的コンポーネントを例示している。
【0079】
ＸＲヘッドセット９２０は、ナビゲートされる外科手術的処置を実行するための改善されたヒューマンインターフェースを提供する。ＸＲヘッドセット９２０は、例えば、コンピュータプラットフォーム９１０を介して、以下のうちの１つ以上を含むがこれらに限定されない機能を提供するように構成されることができる：ハンドジェスチャベースのコマンドおよび／または音声ベースのコマンドの識別、ディスプレイデバイス１４５０上のＸＲグラフィカルオブジェクトの表示。ディスプレイデバイス１４５０は、表示されたＸＲグラフィカルオブジェクトを表示画面１３０２に投影するビデオプロジェクタ、フラットパネルディスプレイなどとすることができる。ユーザは、ＸＲグラフィカルオブジェクトを、表示画面１３０２（図１３）を通して見られる特定の実世界物体に固定されたオーバーレイとして見ることができる。ＸＲヘッドセット９２０は、追加的または代替的に、１つ以上のＸＲヘッドセット９２０に取り付けられたカメラおよび他のカメラからのビデオフィードを、表示画面１４５０に表示するように構成させることができる。
【0080】
ＸＲヘッドセット９２０の電気的コンポーネントは、複数のカメラ１４４０、マイクロフォン１４４２、ジェスチャセンサ１４４４、ポーズセンサ（例えば、慣性測定ユニット（ＩＭＵ））１４４６、ディスプレイデバイス１４５０を含むディスプレイモジュール１４４８、および無線／有線通信インターフェース１４５２を含むことができる。以下に説明するように、ＸＲヘッドセットのカメラ１４４０は、可視光取り込みカメラ、近赤外線取り込みカメラ、または双方の組み合わせとすることができる。
【0081】
カメラ１４４０は、カメラ１４４０の視野内部で実行される使用者の手のジェスチャの識別のために取り込むことによって、ジェスチャセンサ１４４４として動作するように構成させることができる。代替として、ジェスチャセンサ１４４４は、近接センサ、および／またはジェスチャセンサ１４４４に近接して行われるハンドジェスチャを感知し、かつ／または物理的接触、例えばセンサまたはエンクロージャ１３０４を軽くたたくことを感知するタッチセンサであり得る。姿勢センサ１４４６、例えばＩＭＵには、１つ以上の定義された座標軸に沿ったＸＲヘッドセット９２０の回転および／または加速を感知することができる多軸加速度計、傾斜センサ、および／または別のセンサが含まれ得る。これらの電気的コンポーネントのいくつかまたは全ては、コンポーネントエンクロージャ１３０４に内包されることができるか、または腰もしくは肩などの他の箇所で着用されるように構成された別のエンクロージャに内包されることができる。
【0082】
上で説明したように、外科手術システム２は、カメラ追跡システムコンポーネント６／６’と、コンピュータプラットフォーム９１０の一部とすることができる追跡サブシステム８３０とを含む。外科手術システムは、撮像デバイス（例えば、Ｃ－ａｒｍ １０４、Ｏ－ａｒｍ １０６、および／または画像データベース９５０）および／または外科手術ロボット４を含み得る。追跡サブシステム８３０は、解剖学的構造体、エンドエフェクタ、外科手術ツールなどに取り付けられたＤＲＡの姿勢を確定するように構成されている。ナビゲーションコントローラ８２８は、例えば、外科手術的処置が解剖学的構造体に対して外科手術ツールを使用して行われる個所を定義する、図９のコンピュータプラットフォーム９１０によって果たされる外科手術計画立案機能からの外科手術計画に基づき、また、追跡サブシステム８３０によって確定された解剖学的構造体の姿勢に基づき、解剖学的構造体対する外科手術ツールの目標姿勢を確定するように構成されている。ナビゲーションコントローラ８２８は、さらに、外科手術ツールの目標姿勢、解剖学的構造の姿勢、および外科手術ツールおよび／またはエンドエフェクタの姿勢に基づいて操舵情報を生成するように構成されることができ、ここで、操舵情報は、外科手術計画を実行するために外科手術ツールおよび／または外科手術ロボットのエンドエフェクタが移動される必要がある場合を示す。ＸＲヘッドセット９２０の様々なカメラ１４４０は、ＤＲＡ、ユーザの手などの姿勢を追跡するために、カメラ追跡システムコンポーネント６／６’に接続されることができる。
【0083】
ＸＲヘッドセット９２０の電気的コンポーネントは、有線／無線インターフェース１４５２を介してコンピュータプラットフォーム９１０の電気的コンポーネントに動作可能に接続させることができる。ＸＲヘッドセット９２０の電気的コンポーネントは、例えば、様々な撮像デバイス、例えば、Ｃアーム撮像デバイス１０４、Ｉ／Ｏアーム撮像デバイス１０６、画像データベース９５０に、および／または有線／無線インターフェース１４５２を介して他の医療機器に対して、コンピュータプラットフォーム９１０を介して動作可能に接続させることができるか、または直接接続させることができる。
【0084】
外科手術システム２は、さらに、ＸＲヘッドセット９２０、コンピュータプラットフォーム９１０、および／または有線ケーブルおよび／または無線通信リンクで接続された別のシステムコンポーネントに常駐することができる少なくとも１つのＸＲヘッドセットコントローラ１４３０（簡潔にするために「ＸＲヘッドセットコントローラ」とも呼ばれる）を含む。様々な機能性は、ＸＲヘッドセットコントローラ１４３０によって実行されるソフトウェアによって与えられている。ＸＲヘッドセットコントローラ１４３０は、解剖学的構造に対する外科手術的処置中に使用者にガイダンスを提示するナビゲーションコントローラ８２８からナビゲーション情報を受信するように構成されており、シースルーの表示画面１３０２での投影のためのディスプレイデバイス１４５０での表示のために、ナビゲーション情報に基づいてＸＲ画像を生成するように構成されている。
【0085】
表示画面（「シースルーの表示画面」とも呼ばれる）１３０２に対するディスプレイデバイス１４５０の構成は、ＸＲヘッドセット９２０を装着している使用者が、実世界にあるように見えるＸＲ画像を、表示画面１３０２を介して見るようにＸＲ画像を表示するように構成されている。表示画面１３０２は、ユーザの眼の前のヘッドバンド１３０６によって位置決めされることができる。
【0086】
ＸＲヘッドセットコントローラ１４３０は、表示画面１３０２を視認する間、ユーザの頭またはユーザの体の他の箇所に着用されるように構成されたハウジング内にあることができるか、または表示画面１３０２に通信可能に接続されている間に表示画面１３０２を視認しているユーザから遠隔に位置することができる。ＸＲヘッドセットコントローラ１４３０は、カメラ１４４０、マイクロフォン１４２、および／または姿勢センサ１４４６からの信号伝達を運用上処理するように構成され得、表示画面１３０２でユーザが見る対象のＸＲ画像を表示デバイス１４５０上に表示するように接続されている。したがって、ＸＲヘッドセット９２０内の回路ブロックとして示されるＸＲヘッドセットコントローラ１４３０は、ＸＲヘッドセット９２０の他の図示の構成要素に使用可能に接続されているが、必ずしも共通のハウジング（例えば、図１３の電子構成要素エンクロージャ１３０４）内に常駐するとは限らないか、またはそうでなければユーザによって移動可能であると理解されるべきである。例えば、ＸＲヘッドセットコントローラ１４３０は、ひいては図３Ｂおよび図３Ｃに示されるコンピュータ追跡システムコンポーネント６’のハウジング内に存在することができるコンピュータプラットフォーム９１０内に存在することができる。
ＸＲヘッドセットコンポーネントの光学配置の例
図１５は、本開示のいくつかの実施形態にかかる、ＸＲヘッドセット９２０の光学コンポーネントの配置を示すブロック図を示している。図１５を参照すると、ディスプレイデバイス１４５０は、そこからの光がＸＲ画像１５００として表示画面１３０２に向けて投影されるＸＲヘッドセットコントローラ１４３０によって生成されたＸＲ画像を表示するように構成されている。表示画面１３０２は、ＸＲ画像１５００の光と実世界シーン１５０２からの光とを組み合わせて、ユーザの眼１５１０に向けられる合成拡張ビュー１５０４となるように構成されている。このように構成された表示画面１３０２は、シースルー表示画面として動作する。ＸＲヘッドセット９２０は、任意の複数の追跡カメラ１４４０を含むことができる。カメラ１４４０は、可視光キャプチャカメラ、近赤外線キャプチャカメラ、または双方の組み合わせとすることができる。
ＸＲヘッドセットを介した使用者のビューの例
ＸＲヘッドセットの動作は、２Ｄ画像および３Ｄモデルの両方を表示画面１３０２に表示することができる。２Ｄ画像は、好ましくは、表示画面１３０２のより不透明なバンド（上側バンド）に表示されることができ、３Ｄモデルは、より好ましくは、環境領域として別途知られる、表示画面１３０２のより透明なバンド（下側バンド）に表示されることができる。表示画面１３０２が終了する下側バンドの下方において、着用者は、手術室の遮るもののないビューを有する。ＸＲコンテンツが表示画面１３０２に表示されている場合、流動的であり得ることに留意されたい。３Ｄコンテンツが表示されている場合、コンテンツに対するヘッドセットの位置に応じて、不透明なバンドに移動することができ、２Ｄコンテンツが表示されている場合、透明なバンドに配置されて実世界に安定することができる。さらに、表示画面１３０２全体を電子制御下で暗くして、ヘッドセットを外科手術計画では仮想現実に変換し、または医療処置の最中に完全に透明に変換することができる。上で説明したように、ＸＲヘッドセット９２０および関連付けられた動作は、ナビゲートされる処置をサポートするだけでなく、ロボットにより支援される処置と組み合わせて実行させることができる。
ＸＲヘッドセットコンポーネントの光学配置の例
図１５は、本開示のいくつかの実施形態にかかる、ＸＲヘッドセット９２０の光学コンポーネントの配置を示すブロック図を示している。図１５を参照すると、ディスプレイデバイス１４５０は、そこからの光がＸＲ画像１５００として表示画面１３０２に向けて投影されるＸＲヘッドセットコントローラ１４３０によって生成されたＸＲ画像を表示するように構成されている。表示画面１３０２は、ＸＲ画像１５００の光と実世界シーン１５０２からの光とを組み合わせて、ユーザの眼１５１０に向けられる合成拡張ビュー１５０４となるように構成されている。このように構成された表示画面１３０２は、シースルー表示画面として動作する。ＸＲヘッドセット９２０は、任意の複数の追跡カメラ１４４０を含むことができる。カメラ１４４０は、可視光キャプチャカメラ、近赤外線キャプチャカメラ、または双方の組み合わせとすることができる。
ＸＲヘッドセットを介した使用者のビューの例
ＸＲヘッドセットの動作は、２Ｄ画像および３Ｄモデルの両方を表示画面１３０２に表示することができる。２Ｄ画像は、好ましくは、表示画面１３０２のより不透明なバンド（上側バンド）に表示されることができ、３Ｄモデルは、より好ましくは、環境領域として別途知られる、表示画面１３０２のより透明なバンド（下側バンド）に表示されることができる。表示画面１３０２が終了する下側バンドの下方において、着用者は、手術室の遮るもののないビューを有する。ＸＲコンテンツが表示画面１３０２に表示されている場合、流動的であり得ることに留意されたい。３Ｄコンテンツが表示されている場合、コンテンツに対するヘッドセットの位置に応じて、不透明なバンドに移動することができ、２Ｄコンテンツが表示されている場合、透明なバンドに配置されて実世界に安定することができる。さらに、表示画面１３０２全体を電子制御下で暗くして、ヘッドセットを外科手術計画では仮想現実に変換し、または医療処置の最中に完全に透明に変換することができる。上で説明したように、ＸＲヘッドセット９２０および関連付けられた動作は、ナビゲートされる処置をサポートするだけでなく、ロボットにより支援される処置と組み合わせて実行させることができる。
【0087】
図１６は、本開示のいくつかの実施形態にかかる、医療処置中に外科手術ツール１６０２を操作しているユーザにナビゲーション支援をもたらすためのＸＲヘッドセット９２０の表示画面１３０２を介した例示的な図を示している。図１６を参照すると、外科手術ツール１６０２に接続された動的基準配列１６３０および１６３２がカメラ１４４０（図１５）および／または４６（図６）の視野内になるように、外科手術ツール１６０２が、追跡対象解剖学的構造体の近くにされると、ツールのグラフィカル表現１６００が、解剖学的構造体のグラフィカル表現１６１０との関係で２Ｄ画像および／または３Ｄ画像で表示され得る。ユーザは、見たグラフィカル表現を使用して、ツールのグラフィカル表現２０００から解剖学的構造体のグラフィカル表現１６１０を通って延在するとして示され得る、外科手術ツール１６０２の軌跡１６２０を調整することができる。ＸＲヘッドセット９２０は、テキスト情報および他の対象１６４０も表示することができる。表示された表示画面を横切って延びる破線１６５０は、異なる不透明度のレベルの上側および下側帯域との間の例示的な分割を表す。
【0088】
表示画面１３０２に表示されることができる他のタイプのＸＲ画像（仮想コンテンツ）は、これらに限定されるものではないが、以下のいずれか１つ以上を含むことができる：
１）患者の解剖学的構造の２Ｄの軸方向、矢状、および／または冠状のビュー、
２）予定の追跡対象ツール対、その時の追跡対象のツールと、外科手術インプラント場所との重ね合わせ、
３）術前画像のギャラリー、
４）顕微鏡および他の同様のシステム、またはリモートビデオ会議からのビデオ送り、
５）オプションおよび構成の設定およびボタン
６）外科手術計画情報による患者の解剖学的構造の浮遊３Ｄモデル、
７）浮遊する患者の解剖学的構造に関連する外科手術器具のリアルタイム追跡、
８）指示およびガイダンスを有する患者の解剖学的構造の拡張オーバーレイ、および
９）外科手術機器の拡張オーバーレイ。
追跡システムコンポーネント用のカメラの例示的な構成
図１７は、本開示のいくつかの実施形態に従って構成された２対のステレオ追跡カメラを有する補助的な追跡バー４６の例示的な構成を示している。補助的な追跡バー４６は、図３Ａ、図３Ｂ、および図３Ｃのカメラ追跡システムコンポーネントの一部である。一実施形態にかかる、ステレオ追跡カメラは、間隔を置いて配置された可視光取り込みカメラのステレオ対と、間隔を空けて配置された近赤外線取り込みカメラの別のステレオ対とを含む。あるいは、可視光取り込みカメラの１つのステレオ対のみ、または近赤外線取り込みカメラの１つのステレオ対のみ、補助的な追跡バー４６において使用させることができる。任意の複数の近赤外線および／または可視光カメラを使用することができる。
ポーズ測定連鎖
上で説明したように、ナビゲートされた外科手術は、例えば、カメラ追跡システムにとって既知の方法で配置されたディスクまたは球などの間隔を空けた基準を含む取り付けられたＤＲＡの姿勢を判定することなどによる、外科手術器具のコンピュータビジョン追跡および姿勢（例えば、６自由度座標系における位置および向き）の判定を含むことができる。コンピュータビジョンは、近赤外線および／または可視光をキャプチャするように構成された、間隔を空けて配置された追跡カメラ、例えばステレオカメラを使用する。このシナリオでは、（１）精度、（２）堅牢性、および（３）外科手術的処置間の人間工学という、最適化について共同で競合している３つのパラメータがある。
１）患者の解剖学的構造の２Ｄの軸方向、矢状、および／または冠状のビュー、
２）予定の追跡対象ツール対、その時の追跡対象のツールと、外科手術インプラント場所との重ね合わせ、
３）術前画像のギャラリー、
４）顕微鏡および他の同様のシステム、またはリモートビデオ会議からのビデオ送り、
５）オプションおよび構成の設定およびボタン
６）外科手術計画情報による患者の解剖学的構造の浮遊３Ｄモデル、
７）浮遊する患者の解剖学的構造に関連する外科手術器具のリアルタイム追跡、
８）指示およびガイダンスを有する患者の解剖学的構造の拡張オーバーレイ、および
９）外科手術機器の拡張オーバーレイ。
追跡システムコンポーネント用のカメラの例示的な構成
図１７は、本開示のいくつかの実施形態に従って構成された２対のステレオ追跡カメラを有する補助的な追跡バー４６の例示的な構成を示している。補助的な追跡バー４６は、図３Ａ、図３Ｂ、および図３Ｃのカメラ追跡システムコンポーネントの一部である。一実施形態にかかる、ステレオ追跡カメラは、間隔を置いて配置された可視光取り込みカメラのステレオ対と、間隔を空けて配置された近赤外線取り込みカメラの別のステレオ対とを含む。あるいは、可視光取り込みカメラの１つのステレオ対のみ、または近赤外線取り込みカメラの１つのステレオ対のみ、補助的な追跡バー４６において使用させることができる。任意の複数の近赤外線および／または可視光カメラを使用することができる。
ポーズ測定連鎖
上で説明したように、ナビゲートされた外科手術は、例えば、カメラ追跡システムにとって既知の方法で配置されたディスクまたは球などの間隔を空けた基準を含む取り付けられたＤＲＡの姿勢を判定することなどによる、外科手術器具のコンピュータビジョン追跡および姿勢（例えば、６自由度座標系における位置および向き）の判定を含むことができる。コンピュータビジョンは、近赤外線および／または可視光をキャプチャするように構成された、間隔を空けて配置された追跡カメラ、例えばステレオカメラを使用する。このシナリオでは、（１）精度、（２）堅牢性、および（３）外科手術的処置間の人間工学という、最適化について共同で競合している３つのパラメータがある。
【0089】
コンピュータ動作は、１つ以上のＸＲヘッドセットに取り付けられた追加の追跡カメラを組み込むことによって、上記の３つのパラメータの１つ以上の最適化を改善することができる方法で測定された姿勢を組み合わせる（連鎖する）ことができる。図１７に示されるように、本開示のいくつかの実施形態に従って、可視光追跡カメラのステレオ対および近赤外線追跡カメラの別のステレオ対を、カメラ追跡システムコンポーネントの補助追跡バーに取り付けることができる。完全に観察された、または部分的に観察された（例えば、ＤＲＡのすべてよりも少ない基準が、１対のステレオカメラによって見られる場合）ＤＲＡのポーズを分析し、観察されたポーズまたは部分的なポーズを、ナビゲート下での外科手術の間の精度、堅牢性、および／または人間工学を向上させることができる方法で組み合わせる、動作アルゴリズムが開示される。
【0090】
上で説明したように、ＸＲヘッドセットは、コンピュータで生成されたＸＲ画像によって、実世界の場面を拡張するように構成させることができる。ＸＲヘッドセットは、ユーザが組み合わせて視認するために、実世界の場面からの光が通過することを可能にするシースルーの表示画面に、コンピュータで生成されたＸＲ画像を表示することにより、ＸＲ表示環境を実現するように構成させることができる。あるいは、ＸＲヘッドセットは、実世界の場面からの光が、表示されたＸＲ画像の視認経路に沿ってユーザにより直接視認されるのを防止または実質的に防止することによって、ＶＲ表示環境を実現するように構成させることができる。ＸＲヘッドセットは、ＡＲおよびＶＲ表示環境の双方を提供するように構成されることができる。ある実施形態においては、高不透明度帯域と位置の揃ったＸＲ画像にＶＲ表示環境がもたらされ、低不透明度帯域と位置の揃ったＸＲ画像にＡＲ表示環境がもたらされるように、シースルーの表示画面と実世界の場面との間に配置された実質的に不透明度が異なる横方向帯域によって、ＡＲおよびＶＲ両方の表示環境がもたらされる。別の実施形態では、ＡＲおよびＶＲの表示環境の両方が、使用者が見るＸＲ画像と組み合わせるために実世界の場面からの光がシースルーの表示画面をどのくらい透過するかを可変的に抑制する不透明フィルタのコンピュータ調整式制御によってもたらされている。したがって、ＸＲヘッドセットはまた、ＡＲヘッドセットまたはＶＲヘッドセットと呼ばれることもできる。
【0091】
上でも説明したように、ＸＲヘッドセットは、外科手術器具、患者の解剖学的構造、他のＸＲヘッドセット、および／またはロボットエンドエフェクタに接続されたＤＲＡの基準を追跡するように構成された近赤外線追跡カメラおよび／または可視光追跡カメラを含むことができる。ＸＲヘッドセットで近赤外線追跡および／または可視光追跡を使用すると、単一の補助的な追跡バーのカメラが提示することができるものを超える追加の追跡ボリュームカバレッジが提示される。既存の補助的な追跡バーに近赤外線追跡カメラを追加すると、ヘッドセットの位置を可視光よりも堅牢に追跡することができるが、精度は低くなる。可視光追跡座標系および近赤外線追跡座標系を機械的に較正することにより、ステレオマッチングを使用して３ＤのＤＲＡ基準三角測量作業を行うように座標系を十分に位置合わせし、可視光追跡座標系と近赤外線追跡座標系との間のＤＲＡ基準のポーズを、共同で特定することができるようになる。可視光追跡座標系および近赤外線追跡座標系の両方を使用すると、（ａ）座標系を１つ使用すると特定されないツールを特定すること、（ｂ）ポーズ追跡精度の向上、（ｃ）外科手術器具、患者の解剖学的構造、および／またはロボットエンドエフェクタの追跡を見失うことなく、より広い範囲の動きを可能にすること、および（ｄ）ナビゲート下の外科手術器具と同じ座標系でＸＲヘッドセットを自然に追跡すること、のうちのいずれか１つ以上が可能になり得る。
【0092】
図１８は、ＸＲヘッドセット９２０の対の追跡カメラ（ヘッドマウントディスプレイＨＭＤ１およびＨＭＤ２）およびコンピュータプラットフォーム９１０を収容するカメラ追跡システムコンポーネント６’のカメラ追跡バーの追跡カメラを含む外科手術システムのコンポーネントのブロック図を示している。コンピュータプラットフォーム９１０は、図１４に先に示したように、追跡サブシステム８３０、ナビゲーションコントローラ８２８、およびＸＲヘッドセットコントローラ１４３０を含むことができる。
【0093】
図１８の外科手術システムを参照すると、外科医および助手は、双方とも、それぞれが図１３に示すように構成されることができる追跡カメラを含む場合、ＸＲヘッドセットＨＭＤ１ ９２０およびＨＭＤ２ ９２０をそれぞれ着用している。助手がＸＲヘッドセットＨＭＤ２ ９２０を着用することは任意である。
【0094】
ＸＲヘッドセットＨＭＤ１ ９２０およびＨＭＤ２ ９２０と補助追跡バー上の追跡カメラ４６との組み合わせは、コンピュータプラットフォーム９１０と連動して、患者参照アレイ（Ｒ）、ロボットエンドエフェクタ（Ｅ）、および外科手術ツール（Ｔ）または器具の例示的なオブジェクトをより確実に追跡することができる。ＸＲヘッドセットＨＭＤ１ ９２０およびＨＭＤ２ ９２０と、補助追跡バー上の追跡カメラ４６によって提供される、異なる視点からの重なり合うビューを図１２に示す。
【0095】
図１８においてラベル付けされている各項目は、固有の座標系を表している。座標系ラベルの説明は、以下のとおりである：
Ａ＝第２のヘッドセットＨＭＤ２ ９２０の可視光座標系、
Ｎ３＝第２のヘッドセットＨＭＤ２ ９２０のＮＩＲ座標系、
Ｓ＝主ヘッドセットＨＭＤ１ ９２０の可視光座標系、
Ｎ２＝主ヘッドセットＨＭＤ１ ９２０のＮＩＲ座標系、
Ｎ＝補助ナビゲーションバー４６のＮＩＲ座標系、
Ｖ＝補助ナビゲーションバー４６の可視光座標系、
Ｒ＝患者参照基準アレイ６０２のＮＩＲ座標系、
Ｔ＝追跡されたツール６０４のＮＩＲ座標系、
Ｅ＝ロボットアーム２０上の追跡されたロボットエンドエフェクタのＮＩＲ座標系、および
Ｗ＝安定した重力ベクトルを有する慣性的にナビゲートされる世界座標系。
Ａ＝第２のヘッドセットＨＭＤ２ ９２０の可視光座標系、
Ｎ３＝第２のヘッドセットＨＭＤ２ ９２０のＮＩＲ座標系、
Ｓ＝主ヘッドセットＨＭＤ１ ９２０の可視光座標系、
Ｎ２＝主ヘッドセットＨＭＤ１ ９２０のＮＩＲ座標系、
Ｎ＝補助ナビゲーションバー４６のＮＩＲ座標系、
Ｖ＝補助ナビゲーションバー４６の可視光座標系、
Ｒ＝患者参照基準アレイ６０２のＮＩＲ座標系、
Ｔ＝追跡されたツール６０４のＮＩＲ座標系、
Ｅ＝ロボットアーム２０上の追跡されたロボットエンドエフェクタのＮＩＲ座標系、および
Ｗ＝安定した重力ベクトルを有する慣性的にナビゲートされる世界座標系。
【0096】
これらのラベル付けされたオブジェクトの一部（およびひいては座標系）の空間的関係は、製造プロセス中、機器が手術室に設置されているとき、および／または外科手術的処置が実行される前に測定および較正されることができる。開示されたシステムでは、以下の座標系が較正される：
【0097】
【数1】
【0098】
、
ここで、「Ｔ」という用語は、示された２つの座標系間の６自由度（６ＤＯＦ）の均一変換として定義される。したがって、例えば、用語
ここで、「Ｔ」という用語は、示された２つの座標系間の６自由度（６ＤＯＦ）の均一変換として定義される。したがって、例えば、用語
【0099】
【数2】
【0100】
は、主ヘッドセットＨＭＤ１ ９２０の可視光座標系と主ヘッドセットＨＭＤ１ ９２０のＮＩＲ座標系との間の６ＤＯＦの均一変換である。
【0101】
一実施形態では、ＸＲヘッドセットＨＭＤ１ ９２０およびＨＭＤ２ ９２０は、図１３に示される参照アレイ基準１３１０など、それらにペイントされるかまたは他の方法で取り付けられた受動可視光基準（座標系ＳおよびＡ）を有する。追跡カメラは、これらの受動基準（座標系Ｎ２およびＮ３）に合わせて空間的に較正される。
【0102】
上で説明したように、ＸＲヘッドセットＨＭＤ１ ９２０およびＨＭＤ２ ９２０上のカメラ、ならびに補助追跡バー上の追跡カメラ４６は、部分的に重なり合う視野を有する。ＸＲヘッドセットＨＭＤ１ ９２０の１つ以上のカメラが、例えば追跡されるツール（Ｔ）などの追跡されるオブジェクトに取り付けられたＤＲＡの表示を妨げられているが、ＤＲＡが他のＸＲヘッドセットＨＭＤ２ ９２０のカメラおよび／または補助追跡バー上の追跡カメラ４６を表示している場合、コンピュータプラットフォーム９１０は、ナビゲーションを失うことなく、ＤＲＡをシームレスに追跡し続けることができる。これに加えて、ＸＲヘッドセットＨＭＤ１ ９２０のカメラの視点からＤＲＡが部分的に閉塞しているが、ＤＲＡ全体が他のＸＲヘッドセットＨＭＤ２ ９２０のカメラおよび／または補助追跡バー上の追跡カメラ４６を介して見える場合、カメラの追跡入力をマージして、ＤＲＡのナビゲーションを続行することができる。
【0103】
より具体的には、様々な座標系は、ＸＲヘッドセットＨＭＤ１ ９２０およびＨＭＤ２ ９２０ならびに補助追跡バー上の追跡カメラ４６によって提供される様々なカメラシステムを独立して観察することにより、一体に連鎖されることができる。例えば、ＸＲヘッドセットＨＭＤ１ ９２０およびＨＭＤ２ ９２０のそれぞれは、ロボットエンドエフェクタ（Ｅ）の仮想拡張を必要とする場合がある。１つのＸＲヘッドセットＨＭＤ１ ９２０（Ｎ２）および補助追跡バー（Ｎ）上の追跡カメラ４６は、（Ｅ）を見ることができるが、おそらく他のＸＲヘッドセットＨＭＤ２ ９２０（Ｎ３）は見ることができない。（Ｎ３）に対する（Ｅ）の位置は、いくつかの異なる動作方法の１つを介して計算されることができる。患者参照（Ｒ）から姿勢の連鎖を実行する一実施形態にかかる動作。患者参照（Ｒ）が（Ｎ３）と（Ｎ）または（Ｎ２）のいずれかによって見られる場合、（Ｎ３）に対する（Ｅ）の姿勢は、以下の２つの式のいずれかによって直接解くことができる。
【0104】
【数3】
【0105】
この姿勢連鎖の鍵となるのは、各連鎖の最後にあるフレーム間の関係が推測されることである（下方に丸で囲まれて移動される）。連鎖は、任意の長さとすることができ、複数のステレオカメラシステム（例えば、Ｎ、Ｎ２、Ｎ３）を有することによって有効にされる。
【0106】
カメラ追跡システムは、外科手術的処置中に、第１の追跡カメラ（例えば、Ｎ３）および第２の追跡カメラ（例えば、Ｎ２）から追跡されるオブジェクトに関連する追跡情報を受信するように構成されることができる。カメラ追跡システムは、第１のオブジェクト（例えば、Ｒ）の姿勢を示す第１の追跡カメラ（例えば、Ｎ３）からの第１のオブジェクト追跡情報に基づいて、第１のオブジェクト（例えば、Ｒ）座標系と、第１の追跡カメラ（例えば、Ｎ３）座標系との間の第１の姿勢変換
（例えば、
（例えば、
【0107】
【数4】
【0108】
）
を判定することができる。カメラ追跡システムは、第１のオブジェクト（例えば、Ｒ）の姿勢を示す第２の追跡カメラ（例えば、Ｎ２）からの第１のオブジェクト追跡情報に基づいて、第１のオブジェクト（例えば、Ｒ）座標系と、第２の追跡カメラ（例えば、Ｎ２）座標系との間の第２の姿勢変換
（例えば、
を判定することができる。カメラ追跡システムは、第１のオブジェクト（例えば、Ｒ）の姿勢を示す第２の追跡カメラ（例えば、Ｎ２）からの第１のオブジェクト追跡情報に基づいて、第１のオブジェクト（例えば、Ｒ）座標系と、第２の追跡カメラ（例えば、Ｎ２）座標系との間の第２の姿勢変換
（例えば、
【0109】
【数5】
【0110】
）
を判定することができる。カメラ追跡システムは、第２のオブジェクト（例えば、Ｅ）の姿勢を示す第２の追跡カメラ（例えば、Ｎ２）からの第２のオブジェクト追跡情報に基づいて、第２のオブジェクト（例えば、Ｅ）座標系と、第２の追跡カメラ（例えば、Ｎ２）座標系との間の第３の姿勢変換
（例えば、
を判定することができる。カメラ追跡システムは、第２のオブジェクト（例えば、Ｅ）の姿勢を示す第２の追跡カメラ（例えば、Ｎ２）からの第２のオブジェクト追跡情報に基づいて、第２のオブジェクト（例えば、Ｅ）座標系と、第２の追跡カメラ（例えば、Ｎ２）座標系との間の第３の姿勢変換
（例えば、
【0111】
【数6】
【0112】
）
を判定することができる。カメラ追跡システムは、第１、第２、および第３の姿勢変換の組み合わせに基づいて、第２のオブジェクト（例えば、Ｅ）座標系と、第１の追跡カメラ（例えば、Ｎ３）座標系との間の第４の姿勢変換
（例えば、
を判定することができる。カメラ追跡システムは、第１、第２、および第３の姿勢変換の組み合わせに基づいて、第２のオブジェクト（例えば、Ｅ）座標系と、第１の追跡カメラ（例えば、Ｎ３）座標系との間の第４の姿勢変換
（例えば、
【0113】
【数7】
【0114】
）
を判定することができる。
を判定することができる。
【0115】
いくつかのさらなる実施形態では、カメラシステムは、第４の姿勢変換を介した追跡情報の処理に基づいて、第２のオブジェクト（例えば、Ｅ）および第１の追跡カメラシステム（例えば、Ｎ３）座標系の姿勢をさらに判定することができる。
【0116】
様々なカメラシステムの視野が重複しているため、カメラ追跡システムは、第１のカメラが第２のオブジェクト（例えば、Ｅ）を見るのを妨げられたときに、第１の追跡カメラ（例えば、Ｎ３）に対する第２のオブジェクト（例えば、Ｅ）の姿勢を判定することができる。例えば、いくつかの実施形態では、カメラ追跡システムは、第２のオブジェクト（例えば、Ｅ）の姿勢を示す第１の追跡カメラ（例えば、Ｎ３）からの追跡情報を使用せずに、第２のオブジェクト（例えば、Ｅ）座標系と、第１の追跡カメラ（例えば、Ｎ３）座標系との間の第４の姿勢変換
（例えば、
（例えば、
【0117】
【数8】
【0118】
）
を判定するようにさらに構成される。
を判定するようにさらに構成される。
【0119】
カメラ追跡システムは、複数のカメラシステムからの同期された画像をマージすることによって、より高い追跡精度を達成することができる。例えば、カメラ追跡システムは、複数の視点（第１および第２の追跡カメラ）からの第２のオブジェクト（例えば、Ｅ）の同期画像をマージすることによって、第１の追跡カメラ（例えば、Ｎ３）に対する第２のオブジェクト（例えば、Ｅ）の姿勢を判定することができ、それぞれのカメラの精度仕様に基づいて判定されることができる重み付けを使用することができる。より具体的には、カメラ追跡システムは、第２のオブジェクト（例えば、Ｅ）の姿勢を示す第１の追跡カメラ（例えば、Ｎ３）からの第２のオブジェクト追跡情報に基づいて、さらに、第１、第２、および第３の姿勢変換の組み合わせの結果に基づいて、第２のオブジェクト（例えば、Ｅ）座標系と、第１の追跡カメラ（例えば、Ｎ３）座標系との間の第４の姿勢変換
（例えば、
（例えば、
【0120】
【数9】
【0121】
）
を判定するようにさらに構成されることができる。
を判定するようにさらに構成されることができる。
【0122】
外科手術システムは、ＸＲヘッドセットのシースルー表示画面上に、第４の姿勢変換に基づいて判定される姿勢を有するＸＲ画像を表示するように構成されることができる。カメラ追跡システムは、第１および第２の追跡カメラからの第１のオブジェクト追跡情報ならびに第２の追跡カメラからの第２のオブジェクト追跡情報の第４の姿勢変換を介した処理に基づいてシースルー表示画面上に提示される第２のオブジェクト（例えば、Ｅ）のグラフィカル表現としてＸＲ画像を生成するようにさらに構成されることができる。
【0123】
上で説明したように、カメラ追跡システムは、追跡情報を受信するために第１の追跡カメラ（例えば、Ｎ３）および第２の追跡カメラ（例えば、Ｎ２）に通信可能に接続され、第１、第２、第３、および第４の姿勢変換の判定を実行するように構成されたナビゲーションコントローラ８２８を含むことができる。
外科手術ナビゲーション用の５カメラ追跡バー
今日、異なるステレオ、または３つのカメラ追跡バー（ナビゲーションバーとも呼ばれる）が存在するが、本明細書では、カメラ追跡バーが、外科手術中のコンピュータ支援ナビゲーションのためのオブジェクトの追跡の向上を提供できるように、設計、構成、較正、および使用される５つのカメラを含むことができるカメラ追跡バーについて説明する。
外科手術ナビゲーション用の５カメラ追跡バー
今日、異なるステレオ、または３つのカメラ追跡バー（ナビゲーションバーとも呼ばれる）が存在するが、本明細書では、カメラ追跡バーが、外科手術中のコンピュータ支援ナビゲーションのためのオブジェクトの追跡の向上を提供できるように、設計、構成、較正、および使用される５つのカメラを含むことができるカメラ追跡バーについて説明する。
【0124】
高速慣性測定ユニット（３軸ジャイロスコープおよび３軸加速度計）を含めることで、現在の最先端を超える追加の機能が可能になる。
【0125】
カメラ追跡バーは、いくつかの実施形態に従って、器具、エンドエフェクタ、および直接的な患者の解剖学的構造の追跡のために、周囲の可視光を使用する。近赤外線（ＮＩＲ）イルミネータ回路もまた、ＮＩＲ照明を検出可能な５つのカメラのうちの少なくとも１つとともに含まれている。照明は、暗い環境での追跡や、画像センサの露出が非常に低い場合に法線面からの再帰反射面の区別に役立ち得る。追加のカメラ（わずか２つのステレオを超える）は、オブジェクトの追跡を遂行できるボリュームを増加させる。これにより、追跡ボリュームが少ないことから、外科手術スタッフが、カメラ追跡バーを頻繁に再位置決めせざるを得なかったり、オブジェクト追跡が失われたり、ナビゲートされる外科手術動作が予期せず中断されたりする現在のシステムの問題の影響が軽減される。
【0126】
周囲光からの可視光追跡は、画像センサに必要なダイナミックレンジが高いため、難しい場合がある。簡単に言えば、明るい光やスポットライトの中心と周辺のエリアとの間には照明に大きな違いがある。複数のステレオ対を有することにより、異なる露出で同時に、光学マーカの検出および追跡が可能になる。３つ以上のステレオカメラを含めることはまた、ポイント三角測量のあいまいさを取り除き、これは、事実上、「干渉」が少ないことを意味する。
【0127】
図１９は、開示されたカメラ追跡バーの主要なコンポーネントのいくつかの実施形態を示している。
【0128】
本開示の様々な実施形態では、カメラ追跡バーは、図１９に示されるように、ステレオ追跡カメラ１９００の第１のセット、追跡カメラ１９１０の第２のセット、および通信インターフェース１９７０を含む。
【0129】
ステレオ追跡カメラ１９００の第１のセットは、最も外側のステレオカメラである。ステレオ追跡カメラ１９００の第１のセットの解像度、レンズの視野、ベースライン１９０５（ステレオ追跡カメラの第１のセット間の分離）、および取り付け角度はすべて、各々が精度、視力、および支持されているステレオ追跡ボリュームに影響を与えるので、用途に合わせて調整される。ベースラインが広いほど、三角測量と奥行き知覚の精度が向上するが、カメラが離れているほど、より遠くのオブジェクトのエラーが多くなる。
【0130】
いくつかの実施形態では、カメラ追跡バーはまた、元の対のすぐ内側に、追跡カメラ１９１０の第２のセットを含む。これらのカメラは、通常の追跡エリアの外側で追跡されたオブジェクトを検出するために、より広い視野を有し、内側に角度付けされることができる。ステレオ追跡カメラ１９１０の第２のセットの解像度、レンズの視野、ベースライン１９１５（ステレオ追跡カメラの第１のセット間の分離）、および取り付け角度はすべて、各々が精度、視力、および支持されているステレオ追跡ボリュームに影響を与えるので、用途に合わせて調整される。
【0131】
いくつかの実施形態では、外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡システムのカメラ追跡バーは、第１の解像度、第１の視野を有し、カメラ追跡バー上で、第１のベースライン距離１９０５だけ離間されているステレオ追跡カメラ１９００の第１のセットを含む。カメラ追跡バーはまた、第２の解像度、第２の視野を有し、カメラ追跡バー上で、第１のベースライン距離１９０５よりも小さい第２のベースライン距離１９１５だけ離間されているステレオ追跡カメラ１９１０の第２のセットを含む。ステレオ追跡カメラ１９１０の第２のセットは、ステレオ追跡カメラ１９００の第１のセットの間に位置決めされ、ステレオ追跡カメラ１９１０の第２のセットの解像度および／または視野は、ステレオ追跡カメラ１９００の第１のセットの解像度および／または視野とは異なる。カメラ追跡バーはまた、ステレオ追跡カメラ１９００の第１のセットおよびステレオ追跡カメラ１９１０の第２のセットから、カメラ追跡サブシステムに、ビデオストリームを提供するように構成された通信インターフェース１９７０を含む。
【0132】
いくつかの実施形態では、ステレオ追跡カメラ１９００の第１のセットの各々は、カメラ追跡バーの表面に取り付けられ、第１の角度で互いに向かって内側に角度付けられ、ステレオ追跡カメラ１９１０の第２のセットの各々は、カメラ追跡バーの表面に取り付けられ、第１の角度とは異なる第２の角度で互いに向かって内側に角度付けられている。
【0133】
いくつかの実施形態では、カラーカメラ１９２０またはカラーカメラのセットが、記録またはトレーニングの目的で含まれ得る。ここで含まれるカラーカメラは、他の４つのカメラと十分に較正されているため、追跡されるオブジェクトに色情報を追加して、追跡されるオブジェクトの構成間の認識および区別を向上させることができる。
【0134】
いくつかの実施形態では、カメラ追跡バーはまた、高速慣性測定ユニット（ＩＭＵ）１９４０を含み得る。ＩＭＵ１９４０は、カメラの動きと追跡されるオブジェクトの動きとを自動的に区別することを可能にする。ＩＭＵは、動きおよび重力による角速度および線形加速度を測定する。このＩＭＵは、カメラの動きと追跡されるオブジェクトの動きとを区別するために使用されるだけでなく、重力に対するカメラおよびすべての追跡される器具の正確な推定値を提供する。ＩＭＵ１９４０は、３軸ジャイロスコープおよび３軸加速度計を含み得る。ＩＭＵ１９４０は、カメラ追跡バーの測定された動きを示す動きデータを出力するように構成され、通信インターフェースは、動きデータをカメラ追跡サブシステムに提供するようにさらに構成されている。慣性測定ユニットは、動きデータに、３軸ジャイロスコープの角速度の測定値および３軸加速度計の線形加速度の測定値を含めるように構成され得る。カメラ追跡バーは、ビデオストリームの向きおよび動きデータの測定値を、重力参照に対して一致させるように構成されたプロセッサをさらに含み得る。
【0135】
いくつかの実施形態では、カメラ追跡バーはまた、カメラ追跡バーに沿って離間され、コンピュータプラットフォームに少なくとも１つのオーディオストリームを提供するように接続された複数のマイクロフォンを含むマイクロフォンアレイ１９５０を含み得る。コンピュータプラットフォームは、少なくとも１つのオーディオストリームを記録すること、少なくとも１つのオーディオストリームに内包されている音声コマンドを特定して、音声コマンドのうちの特定された音声コマンドに関連付けられている定義された動作を選択的にトリガすること、少なくとも１つのオーディオストリームに内包されている周囲ノイズレベルを測定すること、および複数のマイクロフォンによって提供される少なくとも２つのオーディオストリームに内包されている音源の場所を三角測量すること、のうちの少なくとも１つを行うように構成されている。
【0136】
いくつかの実施形態では、マイクロフォンアレイ１９５０は、トレーニング、音声コマンドのトリガリング、周囲ノイズレベルの測定、および音が来る場所の三角測量のために音声を記録するために、追跡バーに組み込まれている。マイクロフォンアレイ１９５０はまた、深層学習用のデータを収集するためにも使用できる。背景の会話、および、高速ドリルやのこぎりなどの機器のノイズを、状況全体に対して測定、検出、およびタイムスタンプ付けをすることができる。
【0137】
カメラ追跡バーは、動的参照アレイ上のディスクまたは再帰反射球を追跡するために使用できる。個々の追跡カメラの解像度、視野、ベースライン距離、および取り付け角度はすべて、少なくとも１０ピクセル×１０ピクセルで、３０ピクセル×３０ピクセル以下のピクセルアレイなどの理想的なピクセル密度のディスクまたは再帰反射球を検出するために最適化されている。
【0138】
いくつかの実施形態では、ステレオ追跡カメラ１９００の第１のセットの第１の解像度および第１の視野は、少なくとも１０ピクセル×１０ピクセル、かつ３０ピクセル×３０ピクセル以下のピクセルアレイにわたって延在する、外科手術中に姿勢決めされた参照アレイを撮像しているビデオストリーム内のフレームを出力するように構成されている。
【0139】
いくつかのさらなる実施形態では、ステレオ追跡カメラ１９１０の第２のセットの第２の解像度および第２の視野は、少なくとも１０ピクセル×１０ピクセル、かつ３０ピクセル×３０ピクセル以下のピクセルアレイにわたって延在する参照アレイを撮像しているビデオストリーム内のフレームを出力するように構成されている。
【0140】
いくつかのさらなる実施形態では、第１の解像度は、７メガピクセルであり、第１の視野は、５０度であり、第１のベースライン距離１９０５は、０．５メートルであり、第２の解像度は、１．５メガピクセルであり、第２の視野は、８５度であり、第２のベースライン距離１９１５は、０．４メートルである。
【0141】
いくつかの実施形態では、カメラ追跡バーはまた、ステレオ追跡カメラの第１のセットの各々の周りに位置決めされた近赤外線イルミネータのセットと、ステレオ追跡カメラの第１のセットのうちの少なくとも１つによって検出された周囲光レベルが周囲光閾値未満であるときに、イルミネータをオンにし、近赤外線イルミネータをオンにすることに応答して、可視光カメラの較正ファイルからの値を使用したステレオ追跡カメラの第１のセットからのビデオの処理を停止し、近赤外光カメラの較正ファイルからの値を使用したステレオ追跡カメラの第１のセットからのビデオの処理を開始するように動作可能に構成された少なくとも１つのプロセッサと、を含む。
【0142】
いくつかの実施形態では、カメラ追跡バーはまた、ステレオ追跡カメラの第１のセットの各々の周りに位置決めされた、主に１つの色を放出するイルミネータのセットと、ステレオ追跡カメラの第１のセットのうちの少なくとも１つによって検出された周囲光レベルが周囲光閾値未満であるときに、イルミネータをオンにし、近赤外線イルミネータをオンにすることに応答して、周囲光カメラの較正ファイルからの値を使用したステレオ追跡カメラの第１のセットからのビデオの処理を停止し、色付き光カメラの較正ファイルからの値を使用したステレオ追跡カメラの第１のセットからのビデオの処理を開始するように動作可能に構成された少なくとも１つのプロセッサと、を含む。
【0143】
いくつかの実施形態では、ステレオ追跡カメラの第１のセットは、ステレオ追跡カメラの第２のセットとは異なるセンサ露出速度を有するように構成されている。さらに、センサ露出は、追跡カメラ１９００および１９１０の対ごとに異なる可能性があり、存在するすべてのものを検出する確率を向上させ、影および他の周囲の照明異常に対するロバスト性を向上させる。
【0144】
いくつかの実施形態では、ステレオ追跡カメラの第１のセットおよびステレオ追跡カメラの第２のセットによって出力されるビデオフレームは、浮動小数点ゲートアレイによって出力される共通の同期化信号によって同期される。追跡カメラ１９００、１９１０、および１９２０のすべては、浮動小数点ゲートアレイ、ＦＰＧＡによって同期され（１９６０）、その結果、異なるセンサからのデータが時間的に一致させられる。この同期化信号は、ナビゲーションバーから出力されるため、追加の外部センサが、同じ瞬間に対応する情報をキャプチャすることができる。
【0145】
図２０および図２１は、ステレオ追跡カメラ１９００の第１のセットによって生成される追跡ボリュームを示している。いくつかの実施形態では、ステレオ追跡カメラ１９００の第１のセットは、幅４１３ミリメートル×高さ４２７ミリメートルの第１の近接場三次元ボリュームピラミッド、および幅１６１９ミリメートル×高さ１４６３ミリメートルの第１の遠距離場三次元ボリュームピラミッドを有する第１の追跡ボリュームを提供するように構成されている。
【0146】
図２２および図２３は、ステレオ追跡カメラ１９１０の第２のセットによって生成される追跡ボリュームを示している。ボリュームおよび精度を調整するために、レンズの視野および角度を調整することができる。この例示的な実施形態では、内側のカメラは、それ自体ではそれほど正確に追跡しないが、はるかに大きな追跡ボリュームをカバーし、検出率および一般的な認識を大幅に向上させる。内側の対は、はるかに近くを追跡することができ、範囲ははるかに大きなボリュームを有することに留意されたい。いくつかの実施形態では、ステレオ追跡カメラ１９１０の第２のセットは、幅５８５ミリメートル×高さ１０２０ミリメートルの第２の近接場三次元ボリュームピラミッド、および幅２２２７ミリメートル×高さ４５８９ミリメートルの第２の遠距離場三次元ボリュームピラミッドを有する第２の追跡ボリュームを提供するように構成されている。
【0147】
図２４および図２５は、ステレオ追跡カメラの第１のセットおよびステレオ追跡カメラの第２のセットのシミュレートされた三角測量精度を示している。シミュレートされた追跡精度は、２つのステレオ対の各々の追跡されたオブジェクトの場所の関数として示されている。実験結果が、この予測された三角測量精度に非常に近いことが証明されている。
【0148】
図２６は、ステレオ追跡カメラ１９００および１９１０の第１および第２のセットによって出力されたビデオフレームに適用されるデュエルパスフィルタを示している。デュエルパスフィルタにより、カメラ追跡システムは、狭い赤外線、ＮＩＲ、および可視光の追跡を実行することができる。いくつかの実施形態では、ステレオ追跡カメラの第１のセットは、可視光の狭波長帯域および近赤外光の別の狭波長帯域を通過させるように構成されたデュアルパスフィルタを含む。カメラ追跡サブシステムは、可視光の狭波長帯域および近赤外光の他の狭波長帯域をキャプチャするビデオストリーム内の参照アレイの再帰反射基準の姿勢を追跡するように構成されている。
【0149】
図２６を参照すると、ステレオカメラの対うちの１つに、ＮＩＲ照明（例えば、８５０ナノメートル）を含めることで、低周囲光条件での追跡が可能になると同時に、可視光マシンビジョンアプリケーションも可能になる。これは、図２６に示すように、２つの波長の光を通過させることによって達成される。
【0150】
図２７は、再帰反射球をその上に有する再帰反射追跡アレイを示している。図２６のデュエルバンドパスフィルタによって、図２７に示される球など、明確な可視光の境界がない再帰反射オブジェクトを追跡することができる。純粋なＮＩＲトラッカは、光の混入を減らすために照明に合致するＮＩＲスペクトルのみを通過させ、白いＮＩＲＬＥＤまたは反射オブジェクトを有する黒い画像を効果的に追跡する。可視光スペクトルを通過させることで、カメラは、ＬＥＤや反射オブジェクトのみでなくそれ以外のものを撮像することができ、明るい照明条件での好ましい追跡方法である。カメラの露出を下げることにより、クリーンなエッジがない再帰反射球の撮像が向上される。
【0151】
図２８は、以下の実施形態でさらに詳細に論じられるように、カメラ追跡サブシステムによって実行される動作のフローチャートを示す。
【0152】
他の様々な実施形態では、外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡システムは、カメラ追跡バーを含む。カメラ追跡バーは、第１の解像度、第１の視野を有し、カメラ追跡バー上で、第１のベースライン距離だけ離間されているステレオ追跡カメラの第１のセットを含む。カメラ追跡バーはまた、第２の解像度、第２の視野を有し、カメラ追跡バー上で、第１のベースライン距離よりも小さい第２のベースライン距離だけ離間されているステレオ追跡カメラの第２のセットを含む。ステレオ追跡カメラの第２のセットは、ステレオ追跡カメラの第１のセットの間に位置決めされ、ステレオ追跡カメラの第２のセットの解像度および／または視野は、ステレオ追跡カメラの第１のセットの解像度および／または視野とは異なる。カメラ追跡バーはまた、ステレオ追跡カメラの第１のセットおよびステレオ追跡カメラの第２のセットからのビデオストリーム内の参照アレイの基準の姿勢を判定する（２８００）ように構成されたカメラ追跡サブシステムを含む。
【0153】
上記実施形態のうちのいくつかでは、カメラ追跡サブシステムは、参照アレイの基準の姿勢を判定するときに、動きデータによって示されるカメラ追跡バーの動きを相殺する（２８０２）ようにさらに構成される。
【0154】
いくつかの実施形態では、ステレオ追跡カメラの第１のセットの第１の解像度および第１の視野は、少なくとも１０ピクセル×１０ピクセル、かつ、３０ピクセル×３０ピクセル以下のピクセルアレイにわたって延在する、外科手術中に姿勢決めされた参照アレイを撮像しているビデオストリーム内のフレームを出力するように構成されている。ステレオ追跡カメラの第２のセットの第２の解像度および第２の視野は、少なくとも１０ピクセル×１０ピクセル、かつ３０ピクセル×３０ピクセル以下のピクセルアレイにわたって延在する参照アレイを撮像しているビデオストリーム内のフレームを出力するように構成されている。
【0155】
図２９は、以下の実施形態でさらに詳細に論じられるように、カメラ追跡バーのプロセッサによって実行される動作のフローチャートを示す。
【0156】
いくつかの実施形態では、カメラ追跡バーは、ステレオ追跡カメラの第１のセットの各々の周りに位置決めされた近赤外線イルミネータのセットと、ステレオ追跡カメラの第１のセットのうちの少なくとも１つによって検出された周囲光レベルが周囲光閾値未満であるときに、イルミネータをオンにし（２９００）、近赤外線イルミネータをオンにすることに応答して、可視光カメラの較正ファイルからの値を使用したステレオ追跡カメラの第１のセットからのビデオの処理を停止し（２９０２）、近赤外光カメラの較正ファイルからの値を使用したステレオ追跡カメラの第１のセットからのビデオの処理を開始する（２９０４）ように動作可能に構成された少なくとも１つのプロセッサと、をさらに含む。
【0157】
いくつかの実施形態では、ステレオ追跡カメラの第１のセットは、可視光の狭波長帯域および近赤外光の別の狭波長帯域を通過させるように構成されたデュアルパスフィルタを含む。カメラ追跡サブシステムは、可視光の狭波長帯域および近赤外光の他の狭波長帯域をキャプチャするビデオストリーム内の参照アレイの再帰反射基準の姿勢を追跡する（２９０６）ように構成されている。
【0158】
いくつかの実施形態では、カメラ追跡バーは、ステレオ追跡カメラの第１のセットの各々の周りに位置決めされた、主に１つの色を放出するイルミネータのセットと、ステレオ追跡カメラの第１のセットのうちの少なくとも１つによって検出された周囲光レベルが周囲光閾値未満であるときに、イルミネータをオンにし、近赤外線イルミネータをオンにすることに応答して、周囲光カメラの較正ファイルからの値を使用したステレオ追跡カメラの第１のセットからのビデオの処理を停止し、色付き光カメラの較正ファイルからの値を使用したステレオ追跡カメラの第１のセットからのビデオの処理を開始するように動作可能に構成された少なくとも１つのプロセッサと、をさらに含む。
さらなる定義および実施形態：
本発明の概念の様々な実施形態の上記の説明において、本明細書において使用される用語は、特定の実施形態を説明することのみを目的とし、本発明の概念を限定することを意図しないことを理解されたい。別様に定義されない限り、本明細書において使用される全ての用語（技術用語および科学用語を含む）は、本発明の概念が属する技術の当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書に定義されるものなどの用語が、本明細書および関連する技術分野の背景におけるそれらの意味に矛盾しない意味を有するものとして解釈されるべきであり、本明細書で明確にそのように定義された理想化された意味、または過度に形式的な意味では解釈されないことがさらに理解されるであろう。
さらなる定義および実施形態：
本発明の概念の様々な実施形態の上記の説明において、本明細書において使用される用語は、特定の実施形態を説明することのみを目的とし、本発明の概念を限定することを意図しないことを理解されたい。別様に定義されない限り、本明細書において使用される全ての用語（技術用語および科学用語を含む）は、本発明の概念が属する技術の当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書に定義されるものなどの用語が、本明細書および関連する技術分野の背景におけるそれらの意味に矛盾しない意味を有するものとして解釈されるべきであり、本明細書で明確にそのように定義された理想化された意味、または過度に形式的な意味では解釈されないことがさらに理解されるであろう。
【0159】
ある要素が別の要素に対して「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変異型であるように参照される場合、その要素は、他の要素に直接接続、結合、もしくは応答することができるか、または介在する要素が存在してもよい。対照的に、ある要素が別の要素に対して「直接接続された（ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ）」、「直接結合された（ｄｉｒｅｃｔｌｙ ｃｏｕｐｌｅｄ）」、「直接応答する（ｄｉｒｅｃｔｌｙ ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変異型であるように参照される場合、介在する要素は存在しない。同様の符号は、全体を通して同様の要素を指す。さらにまた、本明細書において使用される場合、「結合された（ｃｏｕｐｌｅｄ）」、「接続された（ｃｏｎｎｅｃｔｅｄ）」、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変異型は、無線で結合、接続、または応答することを含むことができる。本明細書において使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈がそうでないことを明確に示さない限り、複数形も含むことを意図している。周知の機能または構造は、簡潔さおよび／または明確さのために詳細に説明されない場合がある。「および／または」という用語は、関連する列挙された項目のうちの１つ以上のいずれかおよび全ての組み合わせを含む。
【0160】
本明細書では、第１、第２、第３などの用語を使用して様々な要素／動作を説明することがあるが、これらの要素／動作は、これらの用語によって限定されるべきではないことが理解されよう。これらの用語は、ある要素／動作を他の要素／動作から区別するためにのみ使用される。したがって、いくつかの実施形態における第１の要素／動作は、本発明の概念の教示から逸脱することなく、他の実施形態における第２の要素／動作と呼ぶことができる。同じ参照番号または同じ参照符号は、明細書全体を通して同じまたは類似の要素を示す。
【0161】
本明細書において使用される場合、「備える（ｃｏｍｐｒｉｓｅ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｉｎｃｌｕｄｅ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「有する（ｈａｖｅ）」、「有する（ｈａｓ）」、「有する（ｈａｖｉｎｇ）」という用語、またはそれらの変異型は、限定がなく、１つ以上の記された特徴、整数、要素、ステップ、コンポーネント、または機能を含むが、１つ以上の他の特徴、整数、要素、ステップ、コンポーネント、機能、またはそれらのグループの存在もしくは追加を排除するものではない。さらにまた、本明細書において使用される場合、ラテン語の「例えば（ｅｘｅｍｐｌｉ ｇｒａｔｉａ）」から派生した一般的な略語「例えば（ｅ．ｇ．）」は、前述の項目の全般的な例（複数可）を紹介または指定するために使用されてもよく、かかる項目を限定することを意図するものではない。ラテン語の「すなわち（ｉｄ ｅｓｔ）」から派生した一般的な略語「すなわち（ｉ．ｅ．）」は、より全般的な列挙から特定の項目を指定するために使用されてもよい。
【0162】
例示的な実施形態は、コンピュータ実装方法、装置（システムおよび／もしくはデバイス）、ならびに／またはコンピュータプログラム製品を示すブロック図および／またはフローチャート図を参照して本明細書において説明される。ブロック図および／またはフローチャート図のブロック、ならびにブロック図および／またはフローチャート図におけるブロックの組み合わせは、１つ以上のコンピュータ回路によって実行されるコンピュータプログラム命令によって実装されることができることが理解される。これらのコンピュータプログラム命令を汎用コンピュータ回路、専用コンピュータ回路、および／または他のプログラム可能なデータ処理回路のプロセッサ回路に提供して機械を生成することができ、それにより、コンピュータのプロセッサおよび／または他のプログラム可能なデータ処理装置を介して実行される命令は、トランジスタ、メモリの場所に記憶された値、およびかかる回路網内の他のハードウェアコンポーネントを変換および制御して、ブロック図および／またはフローチャートブロック（複数可）において指定された機能／作用を実装し、且つそれによって、ブロック図および／またはフローチャートブロック（複数可）において指定された機能／作用を実装するための手段（機能）および／または構造を作り出す。
【0163】
これらのコンピュータプログラム命令はまた、コンピュータ可読媒体に記憶された命令がブロック図および／またはフローチャートブロックまたは複数のブロックにおいて指定された機能／作用を実装する命令を含む製造物品を製造するように、コンピュータまたは他のプログラム可能なデータ処理装置が特定の方法で機能するように指示することができる有形のコンピュータ可読媒体に記憶されてもよい。したがって、本発明の概念の実施形態は、集合的に「回路網」、「モジュール」、またはそれらの変異型と称されることができる、デジタル信号プロセッサなどのプロセッサで動作するハードウェアおよび／またはソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）で具体化されることができる。
【0164】
また、いくつかの代替実装形態では、ブロックに記載されている機能／作用が、フローチャートに記載されている順序とは異なる順序で発生する場合があることにも留意されたい。例えば、連続して示されている２つのブロックは、関与する機能／作用に応じて、実際には実質的に同時に実行されてもよいかまたはブロックが逆の順序で実行されてもよい。さらに、フローチャートおよび／またはブロック図の所与のブロックの機能は、複数のブロックに分離されてもよく、および／またはフローチャートおよび／またはブロック図の２つ以上のブロックの機能は、少なくとも部分的に統合されてもよい。最後に、本発明の概念の範囲から逸脱することなく、図示されているブロックの間に他のブロックが追加／挿入されてもよく、および／またはブロックまたは動作が省略されてもよい。さらに、いくつかの図は、通信の主要な方向を示すために通信経路上に矢印を含んでいるが、通信は、描かれた矢印と反対の方向で発生する場合があることを理解されたい。
【0165】
本発明の概念の原理から実質的に逸脱することなく、実施形態に対して多くの変更および修正を行うことができる。すべてのこのような変更および修正は、本発明概念の範囲内で本明細書に含まれることが意図されている。したがって、上で開示された発明の対象は、限定的ではなく例示的であると見なされるべきであり、付け加えられた実施形態の例は、本発明概念の趣旨および範囲内にあるすべてのこのような修正、強化、および他の実施形態に及ぶことが意図されている。したがって、法律によって許される最大限の範囲で、本発明概念の範囲は、以下の実施形態の例およびそれらの均等物を含む本開示の最も広い許容可能な解釈によって決定されるべきであり、前述の発明を実施するための形態に制限または限定されるものではないとする。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
