知財求人 - 知財ポータルサイト「IP Force」
特開2022-169764ロボット外科処置中に物理的オブジェクトの識別と追跡を行うシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022169764
(43)【公開日】2022-11-09
(54)【発明の名称】ロボット外科処置中に物理的オブジェクトの識別と追跡を行うシステムおよび方法
(51)【国際特許分類】
A61B 34/20 20160101AFI20221101BHJP
【ＦＩ】
A61B34/20
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2022137689
(22)【出願日】2022-08-31
(62)【分割の表示】P 2018561490の分割
【原出願日】2017-05-23
(31)【優先権主張番号】62/340,176
(32)【優先日】2016-05-23
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】507280594
【氏名又は名称】マコ サージカル コーポレーション
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100180231
【弁理士】
【氏名又は名称】水島 亜希子
(72)【発明者】
【氏名】レスラー，パトリック
(57)【要約】 （修正有）
【課題】外科処置中に、標的部位の近くにある物理的オブジェクトを追跡するためのナビゲーションシステムおよび方法を提供する。
【解決手段】ナビゲーションシステムは、ロボット装置と、ロボット装置に取り付けられた器具とを備えている。ロボット装置または器具には、ビジョン装置が取り付けられており、ビジョン装置が複数のビジョンデータセットを生成する。ビジョンデータセットは、複数の視点から物理的オブジェクトを取り込んだものである。コンピュータシステムは、ビジョンデータセットにおいて識別可能な物理的オブジェクトの１つ以上の特徴に基づいて、物理的オブジェクトに仮想オブジェクトを関連付ける。仮想オブジェクトは、器具の仮想境界を少なくとも部分的に規定する。
【選択図】図３
【解決手段】ナビゲーションシステムは、ロボット装置と、ロボット装置に取り付けられた器具とを備えている。ロボット装置または器具には、ビジョン装置が取り付けられており、ビジョン装置が複数のビジョンデータセットを生成する。ビジョンデータセットは、複数の視点から物理的オブジェクトを取り込んだものである。コンピュータシステムは、ビジョンデータセットにおいて識別可能な物理的オブジェクトの１つ以上の特徴に基づいて、物理的オブジェクトに仮想オブジェクトを関連付ける。仮想オブジェクトは、器具の仮想境界を少なくとも部分的に規定する。
【選択図】図３
【特許請求の範囲】
【請求項1】
物理的オブジェクトを追跡するためのナビゲーションシステムであって、
ロボット装置と、
前記ロボット装置に取り付け可能な器具と、
前記ロボット装置と共に動かすことができるように、前記ロボット装置と前記器具のう
ちいずれか一方に取り付けられるビジョン装置であって、前記ロボット装置を動かした場
合に前記ビジョン装置が複数の自由度で動かされることによって可能となる複数の視点か
ら取り込んだ前記物理的オブジェクトの複数のビジョンデータセットを生成するように構
成されているビジョン装置と、
前記ビジョン装置と通信を行うコンピュータシステムであって、前記ビジョンデータセ
ットにおいて識別可能な前記物理的オブジェクトの１つ以上の特徴に基づいて、前記物理
的オブジェクトに、前記器具の仮想境界を少なくとも部分的に規定する仮想オブジェクト
を関連付けるように構成されている少なくとも１つのプロセッサを有するコンピュータシ
ステムと
を備えるナビゲーションシステム。
ロボット装置と、
前記ロボット装置に取り付け可能な器具と、
前記ロボット装置と共に動かすことができるように、前記ロボット装置と前記器具のう
ちいずれか一方に取り付けられるビジョン装置であって、前記ロボット装置を動かした場
合に前記ビジョン装置が複数の自由度で動かされることによって可能となる複数の視点か
ら取り込んだ前記物理的オブジェクトの複数のビジョンデータセットを生成するように構
成されているビジョン装置と、
前記ビジョン装置と通信を行うコンピュータシステムであって、前記ビジョンデータセ
ットにおいて識別可能な前記物理的オブジェクトの１つ以上の特徴に基づいて、前記物理
的オブジェクトに、前記器具の仮想境界を少なくとも部分的に規定する仮想オブジェクト
を関連付けるように構成されている少なくとも１つのプロセッサを有するコンピュータシ
ステムと
を備えるナビゲーションシステム。
【請求項2】
前記ビジョン装置がカメラを備えている、請求項１に記載のナビゲーションシステム。
【請求項3】
前記コンピュータシステムが、前記ビジョンデータセットの生成時に前記ビジョン装置
がとる各場所での前記ビジョン装置の位置および向きを追跡するように構成されている、
請求項１または２に記載のナビゲーションシステム。
がとる各場所での前記ビジョン装置の位置および向きを追跡するように構成されている、
請求項１または２に記載のナビゲーションシステム。
【請求項4】
前記コンピュータシステムが、前記物理的オブジェクトの前記１つ以上の特徴に基づい
て、前記物理的オブジェクトの固有性を特定するように構成されている、請求項１～３の
いずれか１項に記載のナビゲーションシステム。
て、前記物理的オブジェクトの固有性を特定するように構成されている、請求項１～３の
いずれか１項に記載のナビゲーションシステム。
【請求項5】
前記コンピュータシステムが、前記物理的オブジェクトの固有性に基づいて、前記物理
的オブジェクトに前記仮想オブジェクトを関連付けるように構成されている、請求項４に
記載のナビゲーションシステム。
的オブジェクトに前記仮想オブジェクトを関連付けるように構成されている、請求項４に
記載のナビゲーションシステム。
【請求項6】
前記仮想オブジェクトが、３次元モデル、２次元の面、点群、ボクセル立体、メッシュ
面、平面、線、単点のうちの１つ以上を含んでいる、請求項５に記載のナビゲーションシ
ステム。
面、平面、線、単点のうちの１つ以上を含んでいる、請求項５に記載のナビゲーションシ
ステム。
【請求項7】
前記１つ以上の特徴が、前記ビジョンデータセットにおいて識別可能な特徴セットを含
み、
前記コンピュータシステムが前記特徴セットの位置および向きを特定して、前記物理的
オブジェクトに関連付けられた第１の座標系の位置および向きを確立するように構成され
ている、請求項１～６のいずれか１項に記載のナビゲーションシステム。
み、
前記コンピュータシステムが前記特徴セットの位置および向きを特定して、前記物理的
オブジェクトに関連付けられた第１の座標系の位置および向きを確立するように構成され
ている、請求項１～６のいずれか１項に記載のナビゲーションシステム。
【請求項8】
前記ビジョン装置が、前記ロボット装置と前記器具のうちいずれか一方に対して固定さ
れて、前記ビジョンデータセットを前記ロボット装置と前記器具のうちの前記一方の第２
の座標系に変換することができる、請求項７に記載のナビゲーションシステム。
れて、前記ビジョンデータセットを前記ロボット装置と前記器具のうちの前記一方の第２
の座標系に変換することができる、請求項７に記載のナビゲーションシステム。
【請求項9】
前記コンピュータシステムが座標変換器を備えており、
前記座標変換器は、前記第１の座標系と前記第２の座標系とのうちの１つを、前記コン
ピュータシステムが前記物理的オブジェクトに対する前記器具の相対的な動きを追跡する
ことができるように変換するように構成されている、請求項８に記載のナビゲーションシ
ステム。
前記座標変換器は、前記第１の座標系と前記第２の座標系とのうちの１つを、前記コン
ピュータシステムが前記物理的オブジェクトに対する前記器具の相対的な動きを追跡する
ことができるように変換するように構成されている、請求項８に記載のナビゲーションシ
ステム。
【請求項10】
前記コンピュータシステムが、前記物理的オブジェクトに対する前記器具の相対的な動
きを追跡することによって、前記物理的オブジェクトを避けながら標的部位の組織を治療
する前記器具の動きを可能とするように構成されている、請求項９に記載のナビゲーショ
ンシステム。
きを追跡することによって、前記物理的オブジェクトを避けながら標的部位の組織を治療
する前記器具の動きを可能とするように構成されている、請求項９に記載のナビゲーショ
ンシステム。
【請求項11】
前記コンピュータシステムが、前記１つ以上の特徴に基づいて、前記物理的オブジェク
トに関連する情報を特定するように構成されている、請求項１～１０のいずれか１項に記
載のナビゲーションシステム。
トに関連する情報を特定するように構成されている、請求項１～１０のいずれか１項に記
載のナビゲーションシステム。
【請求項12】
前記情報が、物理的オブジェクト識別情報と、物理的オブジェクトの種類と、物理的オ
ブジェクトの大きさと、物理的オブジェクトの寸法と、物理的オブジェクトのシリアル番
号と、物理的オブジェクトの製造業者と、仮想オブジェクト識別情報と、仮想オブジェク
トの種類と、仮想オブジェクトの大きさと、仮想オブジェクトの寸法とのうちの１つ以上
を含んでいる、請求項１１に記載のナビゲーションシステム。
ブジェクトの大きさと、物理的オブジェクトの寸法と、物理的オブジェクトのシリアル番
号と、物理的オブジェクトの製造業者と、仮想オブジェクト識別情報と、仮想オブジェク
トの種類と、仮想オブジェクトの大きさと、仮想オブジェクトの寸法とのうちの１つ以上
を含んでいる、請求項１１に記載のナビゲーションシステム。
【請求項13】
前記仮想オブジェクトが、ナビゲーションポインタと前記器具のうち少なくとも一方に
よって定義される、請求項１～１２のいずれか１項に記載のナビゲーションシステム。
よって定義される、請求項１～１２のいずれか１項に記載のナビゲーションシステム。
【請求項14】
前記ロボット装置は、自律モードで動作するように構成され、
前記ロボット装置が前記自律モードで動作している場合には、前記ビジョン装置が自律
的に動く、請求項１～１３のいずれか１項に記載のナビゲーションシステム。
前記ロボット装置が前記自律モードで動作している場合には、前記ビジョン装置が自律
的に動く、請求項１～１３のいずれか１項に記載のナビゲーションシステム。
【請求項15】
ロボット装置と、前記ロボット装置に取り付け可能な器具と、ビジョン装置と、少なく
とも１つのプロセッサを有するコンピュータシステムを利用して、標的部位に対して物理
的オブジェクトを追跡する方法であって、
前記ロボット装置の動きの結果得られる前記ビジョン装置の動きに応じて、複数の視点
から取り込んだ前記物理的オブジェクトの複数のビジョンデータセットを生成するステッ
プと、
前記ビジョンデータセットにおいて識別可能な前記物理的オブジェクトの１つ以上の特
徴に基づいて、前記物理的オブジェクトに、前記器具の仮想境界を部分的に規定する仮想
オブジェクトを関連付けるステップと
を含む方法。
とも１つのプロセッサを有するコンピュータシステムを利用して、標的部位に対して物理
的オブジェクトを追跡する方法であって、
前記ロボット装置の動きの結果得られる前記ビジョン装置の動きに応じて、複数の視点
から取り込んだ前記物理的オブジェクトの複数のビジョンデータセットを生成するステッ
プと、
前記ビジョンデータセットにおいて識別可能な前記物理的オブジェクトの１つ以上の特
徴に基づいて、前記物理的オブジェクトに、前記器具の仮想境界を部分的に規定する仮想
オブジェクトを関連付けるステップと
を含む方法。
【請求項16】
前記ビジョン装置がカメラを備えている、請求項１５に記載の方法。
【請求項17】
前記ビジョンデータセットの生成時に前記ビジョン装置がとる各場所での前記ビジョン
装置の位置および向きを追跡することを含む、請求項１５または１６に記載の方法。
装置の位置および向きを追跡することを含む、請求項１５または１６に記載の方法。
【請求項18】
前記物理的オブジェクトの前記１つ以上の特徴に基づいて、前記物理的オブジェクトの
固有性を特定することを含む、請求項１５～１７のいずれか１項に記載の方法。
固有性を特定することを含む、請求項１５～１７のいずれか１項に記載の方法。
【請求項19】
前記物理的オブジェクトの固有性に基づいて、前記物理的オブジェクトに前記仮想オブ
ジェクトを関連付けることを含む、請求項１８に記載の方法。
ジェクトを関連付けることを含む、請求項１８に記載の方法。
【請求項20】
前記仮想オブジェクトが、３次元モデル、２次元の面、点群、ボクセル立体、メッシュ
面、平面、線、単点のうちの１つ以上を含んでいる、請求項１９に記載の方法。
面、平面、線、単点のうちの１つ以上を含んでいる、請求項１９に記載の方法。
【請求項21】
前記ビジョンデータセットにおいて識別可能な特徴セットの位置および向きを特定して
、前記物理的オブジェクトに関連付けられた第１の座標系の位置および向きを確立するこ
とを含む、請求項１５～２０のいずれか１項に記載の方法。
、前記物理的オブジェクトに関連付けられた第１の座標系の位置および向きを確立するこ
とを含む、請求項１５～２０のいずれか１項に記載の方法。
【請求項22】
前記ビジョンデータセットを前記ロボット装置と前記器具のうちの一方の第２の座標系
に変換することを含む、請求項２１に記載の方法。
に変換することを含む、請求項２１に記載の方法。
【請求項23】
前記第１および第２の座標系のうち１つを、前記コンピュータシステムが前記物理的オ
ブジェクトに対する前記器具の相対的な動きを追跡することができるように変換すること
を含む、請求項２２に記載の方法。
ブジェクトに対する前記器具の相対的な動きを追跡することができるように変換すること
を含む、請求項２２に記載の方法。
【請求項24】
前記物理的オブジェクトに対する前記器具の相対的な動きを追跡することによって、前
記物理的オブジェクトを避けながら標的部位の組織を治療する前記器具の動きを可能とす
ることを含む、請求項２３に記載の方法。
記物理的オブジェクトを避けながら標的部位の組織を治療する前記器具の動きを可能とす
ることを含む、請求項２３に記載の方法。
【請求項25】
前記１つ以上の特徴に基づいて、前記物理的オブジェクトに関連する情報を特定するこ
とを含む、請求項１５～２４のいずれか１項に記載の方法。
とを含む、請求項１５～２４のいずれか１項に記載の方法。
【請求項26】
前記情報が、物理的オブジェクト識別情報、物理的オブジェクトの種類、物理的オブジ
ェクトの大きさ、物理的オブジェクトの寸法、物理的オブジェクトのシリアル番号、物理
的オブジェクトの製造業者、仮想オブジェクト識別情報、仮想オブジェクトの種類、仮想
オブジェクトの大きさ、および仮想オブジェクトの寸法のうちの１つ以上を含んでいる、
請求項２５に記載の方法。
ェクトの大きさ、物理的オブジェクトの寸法、物理的オブジェクトのシリアル番号、物理
的オブジェクトの製造業者、仮想オブジェクト識別情報、仮想オブジェクトの種類、仮想
オブジェクトの大きさ、および仮想オブジェクトの寸法のうちの１つ以上を含んでいる、
請求項２５に記載の方法。
【請求項27】
ナビゲーションポインタと前記器具のうち少なくとも一方によって前記仮想オブジェク
トを定義することを含む、請求項１５～２６のいずれか１項に記載の方法。
トを定義することを含む、請求項１５～２６のいずれか１項に記載の方法。
【請求項28】
前記ロボット装置を自律的に動かすことによって、前記ビジョン装置が自律的に動いて
前記ビジョンデータセットを取り込むようにすることを含む、請求項１５～２７のいずれ
か１項に記載の方法。
前記ビジョンデータセットを取り込むようにすることを含む、請求項１５～２７のいずれ
か１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本出願は２０１６年５月２３日に出願した米国特許仮出願第６２／３４０１７６号の優
先権の利益を主張するものであり、そのすべての開示内容は引用することによって本明細
書の一部をなすものとする。
本出願は２０１６年５月２３日に出願した米国特許仮出願第６２／３４０１７６号の優
先権の利益を主張するものであり、そのすべての開示内容は引用することによって本明細
書の一部をなすものとする。
【0002】
本発明は、一般に、ロボット外科処置中に物理的オブジェクトの識別と追跡を行うシス
テムおよび方法に関する。
テムおよび方法に関する。
【背景技術】
【0003】
ナビゲーションシステムは、ユーザがオブジェクト（対象物）の位置を正確に特定する
ことを支援するものである。例えば、ナビゲーションシステムは、工業用途や、航空宇宙
用途、医療用途で使用されている。医療分野においては、ナビゲーションシステムは、外
科医が患者の標的部位に対して外科器具を正確に配置するのを支援する。通常、標的部位
は、組織除去などの何らかの形の治療を必要としている部位である。従来のナビゲーショ
ンシステムでは、複数のトラッカと協働するローカライザを使用して、例えば除去すべき
骨の体積などの、外科器具や標的部位に関連する位置データ、向きデータまたはその両方
のデータが提供されている。通常、ローカライザは、トラッカを視野に収めるように配置
される。各トラッカは、外科器具や患者と一緒に動くように外科器具や患者に対して固定
される。患者に取り付けられるトラッカの多くは、治療中の骨に対して取り付けられるが
、骨が硬質であるため、標的部位に対するトラッカの固定的な関係が維持される。そして
、外科器具と患者に対してそれぞれ別個のトラッカを使用することによって、外科器具の
治療端を標的部位に正確に配置することが可能となる。
ことを支援するものである。例えば、ナビゲーションシステムは、工業用途や、航空宇宙
用途、医療用途で使用されている。医療分野においては、ナビゲーションシステムは、外
科医が患者の標的部位に対して外科器具を正確に配置するのを支援する。通常、標的部位
は、組織除去などの何らかの形の治療を必要としている部位である。従来のナビゲーショ
ンシステムでは、複数のトラッカと協働するローカライザを使用して、例えば除去すべき
骨の体積などの、外科器具や標的部位に関連する位置データ、向きデータまたはその両方
のデータが提供されている。通常、ローカライザは、トラッカを視野に収めるように配置
される。各トラッカは、外科器具や患者と一緒に動くように外科器具や患者に対して固定
される。患者に取り付けられるトラッカの多くは、治療中の骨に対して取り付けられるが
、骨が硬質であるため、標的部位に対するトラッカの固定的な関係が維持される。そして
、外科器具と患者に対してそれぞれ別個のトラッカを使用することによって、外科器具の
治療端を標的部位に正確に配置することが可能となる。
【0004】
標的部位の近くには、開創器などの、外科手術中に避けるべき物理的オブジェクト（ph
ysical object）が配置される場合が多い。こうした開創器などの物理的オブジェクトは
、例えば、トラッカを別途用いることによって、外科器具と同じ方法で追跡することもで
きるが、開創器などの物理的オブジェクト用にトラッカを追加すれば、特に、ローカライ
ザの追跡対象のオブジェクトの数が増えてしまうなどのため、ナビゲーションシステムの
コストや複雑性の大幅な増大につながりかねない。さらに、こうした物理的オブジェクト
は通常、器具や患者に関連付けられたトラッカに対して動くことができるため、上述のよ
うなトラッカを基準に、これらの追加の物理的オブジェクトを追跡するのは容易ではない
。この点に関してこれまで、ローカライザに取り付けるなどの方法でローカライザに対し
て固定されたビデオカメラで取り込んだ画像に対して、オブジェクト認識技術を適用する
ことによって、これら追加の物理的オブジェクトを追跡することが提案されている。しか
しながら、この手法は、計算量が多く、難しい可能性がある。
ysical object）が配置される場合が多い。こうした開創器などの物理的オブジェクトは
、例えば、トラッカを別途用いることによって、外科器具と同じ方法で追跡することもで
きるが、開創器などの物理的オブジェクト用にトラッカを追加すれば、特に、ローカライ
ザの追跡対象のオブジェクトの数が増えてしまうなどのため、ナビゲーションシステムの
コストや複雑性の大幅な増大につながりかねない。さらに、こうした物理的オブジェクト
は通常、器具や患者に関連付けられたトラッカに対して動くことができるため、上述のよ
うなトラッカを基準に、これらの追加の物理的オブジェクトを追跡するのは容易ではない
。この点に関してこれまで、ローカライザに取り付けるなどの方法でローカライザに対し
て固定されたビデオカメラで取り込んだ画像に対して、オブジェクト認識技術を適用する
ことによって、これら追加の物理的オブジェクトを追跡することが提案されている。しか
しながら、この手法は、計算量が多く、難しい可能性がある。
【0005】
ロボット外科手術中、特にロボット装置の自律動作中においては、ナビゲーションシス
テムが標的部位の近くにあるすべての物理的オブジェクトの位置を識別できていなければ
、これらの物理的オブジェクトを避けることは難しい。従って、現在、ロボット装置は、
そのような物理的オブジェクトとの衝突がないかを監視し、衝突時には、例えば衝突を示
すフォーストルクセンサからのフィードバックに依拠して停止するように制御されている
。しかしながら、この場合、衝突が発生して初めてロボット装置が停止されるため望まし
くない。衝突の結果、ツールが損傷してしまうか、あるいは例えば、回転バーまたは鋸が
開創器に当たるなどの衝突によって、破片が生じて患者を危険にさらしてしまう可能性も
ある。また、物理的オブジェクトとの衝突によって、外科処置が長引く可能性もある。外
科処置の長時間化は、患者の全身麻酔時間の延長につながる可能性があり、あるいは他の
形で外科処置に伴うリスクを増大させる可能性もある。
テムが標的部位の近くにあるすべての物理的オブジェクトの位置を識別できていなければ
、これらの物理的オブジェクトを避けることは難しい。従って、現在、ロボット装置は、
そのような物理的オブジェクトとの衝突がないかを監視し、衝突時には、例えば衝突を示
すフォーストルクセンサからのフィードバックに依拠して停止するように制御されている
。しかしながら、この場合、衝突が発生して初めてロボット装置が停止されるため望まし
くない。衝突の結果、ツールが損傷してしまうか、あるいは例えば、回転バーまたは鋸が
開創器に当たるなどの衝突によって、破片が生じて患者を危険にさらしてしまう可能性も
ある。また、物理的オブジェクトとの衝突によって、外科処置が長引く可能性もある。外
科処置の長時間化は、患者の全身麻酔時間の延長につながる可能性があり、あるいは他の
形で外科処置に伴うリスクを増大させる可能性もある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
従って、本技術分野においては、ロボット外科手術中の物理的オブジェクトの識別と追
跡に対処するシステムおよび方法が必要とされている。
跡に対処するシステムおよび方法が必要とされている。
【課題を解決するための手段】
【0007】
一実施形態では、外科処置中に、標的部位の近くにある物理的オブジェクトを追跡する
ためのナビゲーションシステムが提供される。ナビゲーションシステムは、ロボット装置
と、ロボット装置に取り付け可能な器具とを備えている。ロボット装置または器具のうち
いずれか一方には、ロボット装置と共に動かすことができるようにビジョン装置が取り付
けられている。ビジョン装置は、複数のビジョンデータセットを生成するように構成され
ている。ビジョンデータセットは、ロボット装置を動かした場合にビジョン装置が複数の
自由度で動かされることによって可能となる複数の視点から物理的オブジェクトを取り込
んだものである。コンピュータシステムは、ビジョン装置と通信を行う。コンピュータシ
ステムは、ビジョンデータセットにおいて識別可能な物理的オブジェクトの１つ以上の特
徴に基づいて、物理的オブジェクトに、仮想オブジェクトを関連付けるように構成されて
いる少なくとも１つのプロセッサを有している。仮想オブジェクトは、器具の仮想境界を
少なくとも部分的に規定する。
ためのナビゲーションシステムが提供される。ナビゲーションシステムは、ロボット装置
と、ロボット装置に取り付け可能な器具とを備えている。ロボット装置または器具のうち
いずれか一方には、ロボット装置と共に動かすことができるようにビジョン装置が取り付
けられている。ビジョン装置は、複数のビジョンデータセットを生成するように構成され
ている。ビジョンデータセットは、ロボット装置を動かした場合にビジョン装置が複数の
自由度で動かされることによって可能となる複数の視点から物理的オブジェクトを取り込
んだものである。コンピュータシステムは、ビジョン装置と通信を行う。コンピュータシ
ステムは、ビジョンデータセットにおいて識別可能な物理的オブジェクトの１つ以上の特
徴に基づいて、物理的オブジェクトに、仮想オブジェクトを関連付けるように構成されて
いる少なくとも１つのプロセッサを有している。仮想オブジェクトは、器具の仮想境界を
少なくとも部分的に規定する。
【0008】
他の実施形態では、物理的オブジェクトを追跡する方法が提供される。本方法は、ロボ
ット装置の動きの結果得られるビジョン装置の動きに応じて、複数のビジョンデータセッ
トを生成するステップを含む。ビジョン装置の動きの結果、複数の視点から物理的オブジ
ェクトのビジョンデータセットが取り込まれる。また、本方法は、ビジョンデータセット
において識別可能な物理的オブジェクトの１つ以上の特徴に基づいて、物理的オブジェク
トに仮想オブジェクトを関連付けるステップをさらに含む。仮想オブジェクトは、器具の
仮想境界を規定する。
ット装置の動きの結果得られるビジョン装置の動きに応じて、複数のビジョンデータセッ
トを生成するステップを含む。ビジョン装置の動きの結果、複数の視点から物理的オブジ
ェクトのビジョンデータセットが取り込まれる。また、本方法は、ビジョンデータセット
において識別可能な物理的オブジェクトの１つ以上の特徴に基づいて、物理的オブジェク
トに仮想オブジェクトを関連付けるステップをさらに含む。仮想オブジェクトは、器具の
仮想境界を規定する。
【発明の効果】
【0009】
上述のシステムおよび方法によって、いくつかの利点が得られる。例えば、１つ以上の
特徴を有する物理的オブジェクトに対してビジョン装置を動かすことにより、コンピュー
タシステムは、物理的オブジェクトの識別および位置特定を行うと共に、物理的オブジェ
クトに対する器具の相対的な動きを追跡することが可能となる。物理的オブジェクトの位
置推定には、ビジョン装置によって取得する１つのビジョンデータセット（例えば、１つ
の画像）で十分である場合があるかもしれないが、その場合には、それ以降の複数のビジ
ョンデータセットは追跡結果の向上に用いることができる。これは、外科処置時に器具を
使って標的部位を治療している間、物理的オブジェクトを避けるのに役立つ場合がある。
さらに、可動性のあるロボット装置または器具にビジョン装置を取り付けることによって
、例えば、異なる複数の視点からの複数のビデオのコマのような、異なる複数の視点から
物理的オブジェクトの複数のビジョンデータセットを取得する手法を活用した低コストの
ビジョン装置を利用することができる。そしてこれにより、高コストのトラッカを別途設
ける必要なしに、これらの物理的オブジェクトの追跡が可能となる。
特徴を有する物理的オブジェクトに対してビジョン装置を動かすことにより、コンピュー
タシステムは、物理的オブジェクトの識別および位置特定を行うと共に、物理的オブジェ
クトに対する器具の相対的な動きを追跡することが可能となる。物理的オブジェクトの位
置推定には、ビジョン装置によって取得する１つのビジョンデータセット（例えば、１つ
の画像）で十分である場合があるかもしれないが、その場合には、それ以降の複数のビジ
ョンデータセットは追跡結果の向上に用いることができる。これは、外科処置時に器具を
使って標的部位を治療している間、物理的オブジェクトを避けるのに役立つ場合がある。
さらに、可動性のあるロボット装置または器具にビジョン装置を取り付けることによって
、例えば、異なる複数の視点からの複数のビデオのコマのような、異なる複数の視点から
物理的オブジェクトの複数のビジョンデータセットを取得する手法を活用した低コストの
ビジョン装置を利用することができる。そしてこれにより、高コストのトラッカを別途設
ける必要なしに、これらの物理的オブジェクトの追跡が可能となる。
【0010】
本発明の利点は、以下の詳細な説明を添付の図面と関連させて考察することにより、よ
りよく理解され、容易に理解されるであろう。
りよく理解され、容易に理解されるであろう。
【図面の簡単な説明】
【0011】
【図1】ロボット装置と、ローカライザと、ビジョン装置とを備えるロボット外科手術システムを示す斜視図である。
【図2】ロボット外科手術システムを制御するための制御システムを示す模式図である。
【図3】ロボット外科手術システムで使用される複数の座標系を示す斜視図である。
【図4】ビジョン装置によって視認される物理的オブジェクトと共に外科手術部位を示す説明図である。
【図5】物理的オブジェクト上の特徴の一例を示す図である。
【図6】物理的オブジェクト上の特徴の他の例を示す図である。
【図7】符号化された特徴を含む、特徴群の一例を示す図である。
【図8】符号化された特徴を含む、特徴セットの一例を示す図である。
【図9】物理的オブジェクトに関連付けられた仮想オブジェクトを示す説明図である。
【図10】本発明の方法によって実行されるステップのフローチャートである。
【発明を実施するための形態】
【0012】
図１には、患者２２を治療するためのシステム２０が示されている。図１では、システ
ム２０が、医療施設の手術室などの外科環境にある状態を示している。図示の実施形態に
おいて、システム２０は、機械加工ステーション２４と、案内ステーション２６とを備え
ている。案内ステーション２６は、手術室内の様々なオブジェクト（対象物）の動きを追
跡するように設定されている。そのようなオブジェクトとしては、例えば、外科器具３０
や、患者の大腿骨Ｆ、患者の脛骨Ｔなどが挙げられる。案内ステーション２６は、それら
の相対的な位置および向きをユーザに表示する目的のため、そして場合によっては、大腿
骨標的部位ＴＳなどの標的部位に対する外科器具３０の動きを制御または制限する目的の
ために、これらのオブジェクトを追跡する。図１では、外科器具３０を機械加工ステーシ
ョン２４の一部として示している。
ム２０が、医療施設の手術室などの外科環境にある状態を示している。図示の実施形態に
おいて、システム２０は、機械加工ステーション２４と、案内ステーション２６とを備え
ている。案内ステーション２６は、手術室内の様々なオブジェクト（対象物）の動きを追
跡するように設定されている。そのようなオブジェクトとしては、例えば、外科器具３０
や、患者の大腿骨Ｆ、患者の脛骨Ｔなどが挙げられる。案内ステーション２６は、それら
の相対的な位置および向きをユーザに表示する目的のため、そして場合によっては、大腿
骨標的部位ＴＳなどの標的部位に対する外科器具３０の動きを制御または制限する目的の
ために、これらのオブジェクトを追跡する。図１では、外科器具３０を機械加工ステーシ
ョン２４の一部として示している。
【0013】
案内ステーション２６は、ナビゲーションコンピュータ３４を収容するナビゲーション
カートアセンブリ３２を備えている。ナビゲーションインターフェースは、ナビゲーショ
ンコンピュータ３４と動作可能に通信を行う。ナビゲーションインターフェースは、滅菌
環境の外に設置するように適合された第１のディスプレイ３６と、滅菌環境の中に設置す
るように適合された第２のディスプレイ３８とを備えている。ディスプレイ３６，３８は
、ナビゲーションカートアセンブリ３２に調整可能に取り付けられている。キーボードや
マウスなどの第１の入力装置４０や第２の入力装置４２を使用して、ナビゲーションコン
ピュータ３４に情報を入力するか、あるいは、ナビゲーションコンピュータ３４の何らか
の特性に対して他の選択や制御を行うことができる。なお、入力装置としては、タッチス
クリーン（図示せず）や音声駆動などの他の入力装置も考えられる。
カートアセンブリ３２を備えている。ナビゲーションインターフェースは、ナビゲーショ
ンコンピュータ３４と動作可能に通信を行う。ナビゲーションインターフェースは、滅菌
環境の外に設置するように適合された第１のディスプレイ３６と、滅菌環境の中に設置す
るように適合された第２のディスプレイ３８とを備えている。ディスプレイ３６，３８は
、ナビゲーションカートアセンブリ３２に調整可能に取り付けられている。キーボードや
マウスなどの第１の入力装置４０や第２の入力装置４２を使用して、ナビゲーションコン
ピュータ３４に情報を入力するか、あるいは、ナビゲーションコンピュータ３４の何らか
の特性に対して他の選択や制御を行うことができる。なお、入力装置としては、タッチス
クリーン（図示せず）や音声駆動などの他の入力装置も考えられる。
【0014】
ローカライザ４４は、ナビゲーションコンピュータ３４と通信を行う。図示の実施形態
では、ローカライザ４４は光学ローカライザであり、ローカライザカメラユニット４６を
備えている。ローカライザカメラユニット４６は、１つ以上の光学位置センサ５０を収容
する外部ケーシング４８を有している。いくつかの実施形態では、少なくとも２つの光学
センサ５０が使用され、好ましくは、３つまたはそれ以上の光学センサ５０が使用される
。光学センサ５０は、３つの別体の電荷結合素子（ＣＣＤ）であってもよい。一実施形態
では、３つの１次元ＣＣＤが使用される。なお、他の実施形態では、それぞれが１つまた
は２つ以上の別体のＣＣＤを有する、複数の別体のローカライザカメラユニットを、手術
室内の各所に配置することもできることを理解されたい。ＣＣＤによって赤外線信号が検
出される。さらに、ローカライザ４４が異なるモダリティを採用していてもよく、電磁ロ
ーカライザや、ＲＦローカライザ、超音波ローカライザ、あるいはオブジェクトの追跡が
可能な他の従来のローカライザであってもよい。
では、ローカライザ４４は光学ローカライザであり、ローカライザカメラユニット４６を
備えている。ローカライザカメラユニット４６は、１つ以上の光学位置センサ５０を収容
する外部ケーシング４８を有している。いくつかの実施形態では、少なくとも２つの光学
センサ５０が使用され、好ましくは、３つまたはそれ以上の光学センサ５０が使用される
。光学センサ５０は、３つの別体の電荷結合素子（ＣＣＤ）であってもよい。一実施形態
では、３つの１次元ＣＣＤが使用される。なお、他の実施形態では、それぞれが１つまた
は２つ以上の別体のＣＣＤを有する、複数の別体のローカライザカメラユニットを、手術
室内の各所に配置することもできることを理解されたい。ＣＣＤによって赤外線信号が検
出される。さらに、ローカライザ４４が異なるモダリティを採用していてもよく、電磁ロ
ーカライザや、ＲＦローカライザ、超音波ローカライザ、あるいはオブジェクトの追跡が
可能な他の従来のローカライザであってもよい。
【0015】
ローカライザカメラユニット４６は調整可能なアームに取り付けられ、後述するトラッ
カを光学センサ５０の（理想的には障害物がない）視野に収められるように光学センサ５
０が位置決めされる。いくつかの実施形態では、ローカライザカメラユニット４６は、回
転関節を中心に回転することによって、少なくとも１つの自由度で調整可能とされている
。他の実施形態では、ローカライザカメラユニット４６は、約２つ以上の自由度で調整可
能とされている。
カを光学センサ５０の（理想的には障害物がない）視野に収められるように光学センサ５
０が位置決めされる。いくつかの実施形態では、ローカライザカメラユニット４６は、回
転関節を中心に回転することによって、少なくとも１つの自由度で調整可能とされている
。他の実施形態では、ローカライザカメラユニット４６は、約２つ以上の自由度で調整可
能とされている。
【0016】
ローカライザカメラユニット４６は、光学センサ５０と通信して光学センサ５０から信
号を受信するローカライザカメラコントローラ５２を備えている。ローカライザカメラコ
ントローラ５２は、有線接続または無線接続（図示せず）のいずれかを介してナビゲーシ
ョンコンピュータ３４と通信を行う。そのような接続の１つとして、高速通信およびアイ
ソクロナスリアルタイムデータ転送用のシリアルバスインターフェース規格であるＩＥＥ
Ｅ１３９４インターフェースを挙げることができる。接続には、企業独自のプロトコルを
使用することもできる。他の実施形態では、光学センサ５０は、ナビゲーションコンピュ
ータ３４と直接通信を行う。
号を受信するローカライザカメラコントローラ５２を備えている。ローカライザカメラコ
ントローラ５２は、有線接続または無線接続（図示せず）のいずれかを介してナビゲーシ
ョンコンピュータ３４と通信を行う。そのような接続の１つとして、高速通信およびアイ
ソクロナスリアルタイムデータ転送用のシリアルバスインターフェース規格であるＩＥＥ
Ｅ１３９４インターフェースを挙げることができる。接続には、企業独自のプロトコルを
使用することもできる。他の実施形態では、光学センサ５０は、ナビゲーションコンピュ
ータ３４と直接通信を行う。
【0017】
オブジェクトを追跡する目的のため、位置や向きの信号、データ、あるいはその両方が
、ナビゲーションコンピュータ３４に送信される。ナビゲーションカートアセンブリ３２
、ディスプレイ３６，３８、およびローカライザカメラユニット４６は、２０１０年５月
２５日に「Surgery System（外科手術システム）」の名称で発行されているMalackowski
他による米国特許第７７２５１６２号明細書に記載されているものと同様のものであって
もよい。なお、同文献は、引用することによって本明細書の一部をなすものとする。
、ナビゲーションコンピュータ３４に送信される。ナビゲーションカートアセンブリ３２
、ディスプレイ３６，３８、およびローカライザカメラユニット４６は、２０１０年５月
２５日に「Surgery System（外科手術システム）」の名称で発行されているMalackowski
他による米国特許第７７２５１６２号明細書に記載されているものと同様のものであって
もよい。なお、同文献は、引用することによって本明細書の一部をなすものとする。
【0018】
ナビゲーションコンピュータ３４は、いずれも本明細書に記載の機能を実行するために
必要な、ディスプレイ３６，３８と、中央処理装置（ＣＰＵ）などのプロセッサ６２と、
メモリ（図示せず）と、（内部または外部の）記憶装置（図示せず）とを有している。ナ
ビゲーションコンピュータ３４には、以下に説明するようなソフトウェアがロードされる
。このソフトウェアは、ローカライザカメラユニット４６から受信した信号を、ローカラ
イザが追跡中のオブジェクトの位置および向きを表すローカライザデータに変換するもの
である。ナビゲーションコンピュータ３４は、（ローカルエリアネットワーク（ＬＡＮ）
、インターネットなどの）コンピュータネットワークとの間で、有線通信または無線通信
を行うことができる。また、ナビゲーションコンピュータ３４には、ユニバーサルシリア
ルバス（ＵＳＢ）インターフェースや、ＣＤ?ＲＯＭまたはＳＤカードなどのデータ担持
媒体の読取装置などの１つ以上のデータインターフェースを設けることができる。そして
、内部記憶装置、外部記憶装置、またはその両方を、撮像装置で撮影した患者画像の画像
データを格納するように構成することができる。あるいは、これに代えてまたは加えて、
そのような画像データを、コンピュータネットワークを介して（例えばダウンロードなど
によって）受信することもできる。さらに、内部記憶装置、外部記憶装置、またはその両
方を、本明細書に記載の様々な項目の較正データや情報を格納するように構成することも
できる。このような較正データや情報によって、システム２０の事前知識が構成されるが
、以下では、この較正データの様々な例についてより詳細に説明する。当然ながら、シス
テム２０の事前知識は、これに代えてまたは加えて、他の情報項目を含むこともできる。
必要な、ディスプレイ３６，３８と、中央処理装置（ＣＰＵ）などのプロセッサ６２と、
メモリ（図示せず）と、（内部または外部の）記憶装置（図示せず）とを有している。ナ
ビゲーションコンピュータ３４には、以下に説明するようなソフトウェアがロードされる
。このソフトウェアは、ローカライザカメラユニット４６から受信した信号を、ローカラ
イザが追跡中のオブジェクトの位置および向きを表すローカライザデータに変換するもの
である。ナビゲーションコンピュータ３４は、（ローカルエリアネットワーク（ＬＡＮ）
、インターネットなどの）コンピュータネットワークとの間で、有線通信または無線通信
を行うことができる。また、ナビゲーションコンピュータ３４には、ユニバーサルシリア
ルバス（ＵＳＢ）インターフェースや、ＣＤ?ＲＯＭまたはＳＤカードなどのデータ担持
媒体の読取装置などの１つ以上のデータインターフェースを設けることができる。そして
、内部記憶装置、外部記憶装置、またはその両方を、撮像装置で撮影した患者画像の画像
データを格納するように構成することができる。あるいは、これに代えてまたは加えて、
そのような画像データを、コンピュータネットワークを介して（例えばダウンロードなど
によって）受信することもできる。さらに、内部記憶装置、外部記憶装置、またはその両
方を、本明細書に記載の様々な項目の較正データや情報を格納するように構成することも
できる。このような較正データや情報によって、システム２０の事前知識が構成されるが
、以下では、この較正データの様々な例についてより詳細に説明する。当然ながら、シス
テム２０の事前知識は、これに代えてまたは加えて、他の情報項目を含むこともできる。
【0019】
案内ステーション２６は、複数の追跡装置（本明細書では「トラッカ」とも呼ぶ）５４
，５６，５８と協働して動作することができる。図示の実施形態では、１つのトラッカ５
４が患者の大腿骨Ｆにしっかりと貼り付けられ、別のトラッカ５６が患者の脛骨Ｔにしっ
かりと貼り付けられている。すなわち、トラッカ５４，５６は、それぞれ骨の各部にしっ
かりと貼り付けられている。トラッカ５４，５６は、米国特許第７７２５１６２号明細書
に示される方法で、大腿骨Ｆおよび脛骨Ｔに取り付けることができる。なお、同文献は、
引用することによって本明細書の一部をなすものとする。また、トラッカ５４，５６を、
２０１４年１月１６日に「Navigation Systems and Methods for Indicating and Reduci
ng Line-of-Sight Errors（視線誤差を表示・低減するためのナビゲーションシステムお
よび方法）」の名称で出願されている米国特許出願公開第２０１４／０２００６２１号明
細書に示されているトラッカと同様に取り付けることもできる。同文献も、引用すること
によって本明細書の一部をなすものとする。さらに別の実施形態では、トラッカ５４，５
６を他の生体構造に取り付けることもできる。
，５６，５８と協働して動作することができる。図示の実施形態では、１つのトラッカ５
４が患者の大腿骨Ｆにしっかりと貼り付けられ、別のトラッカ５６が患者の脛骨Ｔにしっ
かりと貼り付けられている。すなわち、トラッカ５４，５６は、それぞれ骨の各部にしっ
かりと貼り付けられている。トラッカ５４，５６は、米国特許第７７２５１６２号明細書
に示される方法で、大腿骨Ｆおよび脛骨Ｔに取り付けることができる。なお、同文献は、
引用することによって本明細書の一部をなすものとする。また、トラッカ５４，５６を、
２０１４年１月１６日に「Navigation Systems and Methods for Indicating and Reduci
ng Line-of-Sight Errors（視線誤差を表示・低減するためのナビゲーションシステムお
よび方法）」の名称で出願されている米国特許出願公開第２０１４／０２００６２１号明
細書に示されているトラッカと同様に取り付けることもできる。同文献も、引用すること
によって本明細書の一部をなすものとする。さらに別の実施形態では、トラッカ５４，５
６を他の生体構造に取り付けることもできる。
【0020】
器具トラッカ５８は、外科器具３０にしっかりと取り付けられる。器具トラッカ５８は
、製造時に外科器具３０に内蔵してもよく、あるいは外科処置の準備中に外科器具３０に
別途取り付けてもよい。器具トラッカ５８が追跡する外科器具３０の治療端としては、回
転バー（回転切削器）や電気アブレーションチップ、超音波チップ、矢状鋸刃などの治療
エレメントが含まれ得る。
、製造時に外科器具３０に内蔵してもよく、あるいは外科処置の準備中に外科器具３０に
別途取り付けてもよい。器具トラッカ５８が追跡する外科器具３０の治療端としては、回
転バー（回転切削器）や電気アブレーションチップ、超音波チップ、矢状鋸刃などの治療
エレメントが含まれ得る。
【0021】
トラッカ５４，５６，５８は、内蔵電池で駆動することができるほか、ナビゲーション
コンピュータ３４を介して給電を受けるリードを有することもできる。なお、ナビゲーシ
ョンコンピュータ３４は、ローカライザカメラユニット４６と同様に、外部電力で給電さ
れるのが好ましい。
コンピュータ３４を介して給電を受けるリードを有することもできる。なお、ナビゲーシ
ョンコンピュータ３４は、ローカライザカメラユニット４６と同様に、外部電力で給電さ
れるのが好ましい。
【0022】
図示の実施形態では、外科器具３０は、機械加工ステーション２４のマニピュレータ６
６に取り付けられている。マニピュレータ６６は、ロボット装置またはロボットアームと
も呼ばれるものである。そのような装置は、「Surgical Manipulator Capable of Contro
lling a Surgical Instrument in Multiple Modes（複数のモードで外科器具を制御可能
な外科マニピュレータ）」の名称で発行されている米国特許第９１１９６５５号明細書に
示されている。同文献の開示内容は、引用することによって本明細書の一部をなすものと
する。外科器具３０は、医療処置や外科処置を行うのに有用な任意の外科器具（ツールと
も呼ぶ）であり得る。外科器具３０は、切削器具、電気外科器具、超音波器具、リーマ、
インパクタ、矢状鋸などの器具であってもよい。いくつかの実施形態では、複数の外科器
具を使用して患者の治療が行われ、それぞれがローカライザ４４によって個別に追跡され
る。
６に取り付けられている。マニピュレータ６６は、ロボット装置またはロボットアームと
も呼ばれるものである。そのような装置は、「Surgical Manipulator Capable of Contro
lling a Surgical Instrument in Multiple Modes（複数のモードで外科器具を制御可能
な外科マニピュレータ）」の名称で発行されている米国特許第９１１９６５５号明細書に
示されている。同文献の開示内容は、引用することによって本明細書の一部をなすものと
する。外科器具３０は、医療処置や外科処置を行うのに有用な任意の外科器具（ツールと
も呼ぶ）であり得る。外科器具３０は、切削器具、電気外科器具、超音波器具、リーマ、
インパクタ、矢状鋸などの器具であってもよい。いくつかの実施形態では、複数の外科器
具を使用して患者の治療が行われ、それぞれがローカライザ４４によって個別に追跡され
る。
【0023】
トラッカ５４，５６，５８からの光信号は、ローカライザ４４の光学センサ５０によっ
て受信される。図示の実施形態では、トラッカ５４，５６，５８は能動トラッカである。
この実施形態では、各トラッカ５４，５６，５８は、光学センサ５０に光信号を送信する
少なくとも３つの能動追跡素子（能動追跡マーカ）を有している。例えば、能動マーカは
、赤外線などの光を送信する発光ダイオード（ＬＥＤ）６０であってもよい。光学センサ
５０は、好ましくは１００Ｈｚ以上、より好ましくは３００Ｈｚ以上、最も好ましくは５
００Ｈｚ以上のサンプリングレートを有する。いくつかの実施形態では、光学センサ５０
は、８０００Ｈｚのサンプリングレートを有する。サンプリングレートは、ＬＥＤ６０か
ら順次発信される光信号を光学センサ５０が受信する速度である。いくつかの実施形態で
は、ＬＥＤ６０からの光信号は、各トラッカ５４，５６，５８に対して異なる速度で発信
される。
て受信される。図示の実施形態では、トラッカ５４，５６，５８は能動トラッカである。
この実施形態では、各トラッカ５４，５６，５８は、光学センサ５０に光信号を送信する
少なくとも３つの能動追跡素子（能動追跡マーカ）を有している。例えば、能動マーカは
、赤外線などの光を送信する発光ダイオード（ＬＥＤ）６０であってもよい。光学センサ
５０は、好ましくは１００Ｈｚ以上、より好ましくは３００Ｈｚ以上、最も好ましくは５
００Ｈｚ以上のサンプリングレートを有する。いくつかの実施形態では、光学センサ５０
は、８０００Ｈｚのサンプリングレートを有する。サンプリングレートは、ＬＥＤ６０か
ら順次発信される光信号を光学センサ５０が受信する速度である。いくつかの実施形態で
は、ＬＥＤ６０からの光信号は、各トラッカ５４，５６，５８に対して異なる速度で発信
される。
【0024】
ここで図２を参照して、各ＬＥＤ６０はトラッカコントローラ６１に接続されている。
トラッカコントローラ６１は、対応するトラッカ５４，５６，５８のハウジングに配置さ
れて、ナビゲーションコンピュータ３４との間でデータを送受信するものである。一実施
形態では、トラッカコントローラ６１は、ナビゲーションコンピュータ３４との有線接続
を介して数メガバイト／秒程度でデータを送信する。他の実施形態では、無線接続を用い
ることもできる。これらの実施形態では、ナビゲーションコンピュータ３４は、トラッカ
コントローラ６１からのデータを受信する送受信機（図示せず）を有している。
トラッカコントローラ６１は、対応するトラッカ５４，５６，５８のハウジングに配置さ
れて、ナビゲーションコンピュータ３４との間でデータを送受信するものである。一実施
形態では、トラッカコントローラ６１は、ナビゲーションコンピュータ３４との有線接続
を介して数メガバイト／秒程度でデータを送信する。他の実施形態では、無線接続を用い
ることもできる。これらの実施形態では、ナビゲーションコンピュータ３４は、トラッカ
コントローラ６１からのデータを受信する送受信機（図示せず）を有している。
【0025】
他の実施形態では、トラッカ５４，５６，５８は、ローカライザカメラユニット４６か
らの光を反射する反射器などの受動マーカ（図示せず）を有していてもよい。反射された
光は、光学センサ５０によって受信される。なお、能動構成あるいは受動構成については
、当該技術分野において公知である。
らの光を反射する反射器などの受動マーカ（図示せず）を有していてもよい。反射された
光は、光学センサ５０によって受信される。なお、能動構成あるいは受動構成については
、当該技術分野において公知である。
【0026】
いくつかの実施形態では、２０１５年４月１４日に「Navigation System Including Op
tical and Non-Optical Sensors（光学センサと非光学センサとを備えるナビゲーション
システム）」の名称で発行されているWuによる米国特許第９００８７５７号明細書に示さ
れているトラッカなどのように、トラッカ５４，５６，５８は、ジャイロセンサと加速度
センサとをさらに備えている。なお、同文献は、引用することによって本明細書の一部を
なすものとする。
tical and Non-Optical Sensors（光学センサと非光学センサとを備えるナビゲーション
システム）」の名称で発行されているWuによる米国特許第９００８７５７号明細書に示さ
れているトラッカなどのように、トラッカ５４，５６，５８は、ジャイロセンサと加速度
センサとをさらに備えている。なお、同文献は、引用することによって本明細書の一部を
なすものとする。
【0027】
ナビゲーションコンピュータ３４は、ナビゲーションプロセッサ６２を備えている。ナ
ビゲーションプロセッサ６２は、ナビゲーションコンピュータ３４の動作を制御するため
の１つ以上のプロセッサを備え得ることを理解されたい。これらのプロセッサは、任意の
種類のマイクロプロセッサまたはマルチプロセッサシステムであってもよい。いずれの実
施形態においても、「プロセッサ」という用語によって、実施形態の範囲を１つのプロセ
ッサに限定することは意図していない。
ビゲーションプロセッサ６２は、ナビゲーションコンピュータ３４の動作を制御するため
の１つ以上のプロセッサを備え得ることを理解されたい。これらのプロセッサは、任意の
種類のマイクロプロセッサまたはマルチプロセッサシステムであってもよい。いずれの実
施形態においても、「プロセッサ」という用語によって、実施形態の範囲を１つのプロセ
ッサに限定することは意図していない。
【0028】
ローカライザカメラユニット４６は、トラッカ５４，５６，５８のＬＥＤ６０から光学
信号を受信し、ローカライザ４４に対するトラッカ５４，５６，５８のＬＥＤ６０の位置
に関する信号をナビゲーションプロセッサ６２に出力する。受信した光学信号（いくつか
の実施形態では、これに加えて非光学信号）に基づいて、ナビゲーションプロセッサ６２
は、三角測量法などの公知の手法によって、ローカライザ４４に対するトラッカ５４，５
６，５８の相対的な位置および向きを示すデータを生成する。いくつかの実施形態では、
このデータは、ローカライザカメラコントローラ５２によって生成され、ナビゲーション
コンピュータ３４に送信される。
信号を受信し、ローカライザ４４に対するトラッカ５４，５６，５８のＬＥＤ６０の位置
に関する信号をナビゲーションプロセッサ６２に出力する。受信した光学信号（いくつか
の実施形態では、これに加えて非光学信号）に基づいて、ナビゲーションプロセッサ６２
は、三角測量法などの公知の手法によって、ローカライザ４４に対するトラッカ５４，５
６，５８の相対的な位置および向きを示すデータを生成する。いくつかの実施形態では、
このデータは、ローカライザカメラコントローラ５２によって生成され、ナビゲーション
コンピュータ３４に送信される。
【0029】
外科処置が開始される前に、ナビゲーションプロセッサ６２には、追加のデータがロー
ドされる。ナビゲーションプロセッサ６２は、トラッカ５４，５６，５８の位置および向
きと、事前にロードされたデータとに基づいて、大腿骨標的部位ＴＳなどの、外科器具３
０の治療端を当てるべき標的部位に対する治療端の位置（例えば、外科バーの重心など）
や、外科器具３０の向きを決定する。いくつかの実施形態では、ナビゲーションプロセッ
サ６２がこれらのデータをマニピュレータコントローラ６４に転送する。これに対し、マ
ニピュレータコントローラ６４は、これらのデータを使用して、「Surgical Manipulator
Capable of Controlling a Surgical Instrument in Multiple Modes（複数のモードで
外科器具を制御可能な外科マニピュレータ）」の名称で発行されている米国特許第９１１
９６５５号明細書に記載されているように、マニピュレータ６６を制御することができる
。なお、同文献の開示内容は、引用することによって本明細書の一部をなすものとする。
一実施形態では、マニピュレータ６６は、外科医が設定した仮想境界内に留まるように制
御される。本明細書に記載の実施形態では、そのような仮想境界の１つによって、外科器
具３０で除去すべき大腿骨Ｆの物質の体積が規定されている。つまり、仮想境界とは、外
科器具３０の治療端がその内部に留まるべき境界のことである。マニピュレータ６６は、
「Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple
Modes（複数のモードで外科器具を制御可能な外科マニピュレータ）」の名称で発行され
ている米国特許第９１１９６５５号明細書に記載されているように、ユーザが器具３０を
掴んで操作することによって器具３０を動かす手動操作モードで動作するように制御する
ことも、あるいは自律的に動作するように制御することもできる。なお、同文献の開示内
容は、引用することによって本明細書の一部をなすものとする。
ドされる。ナビゲーションプロセッサ６２は、トラッカ５４，５６，５８の位置および向
きと、事前にロードされたデータとに基づいて、大腿骨標的部位ＴＳなどの、外科器具３
０の治療端を当てるべき標的部位に対する治療端の位置（例えば、外科バーの重心など）
や、外科器具３０の向きを決定する。いくつかの実施形態では、ナビゲーションプロセッ
サ６２がこれらのデータをマニピュレータコントローラ６４に転送する。これに対し、マ
ニピュレータコントローラ６４は、これらのデータを使用して、「Surgical Manipulator
Capable of Controlling a Surgical Instrument in Multiple Modes（複数のモードで
外科器具を制御可能な外科マニピュレータ）」の名称で発行されている米国特許第９１１
９６５５号明細書に記載されているように、マニピュレータ６６を制御することができる
。なお、同文献の開示内容は、引用することによって本明細書の一部をなすものとする。
一実施形態では、マニピュレータ６６は、外科医が設定した仮想境界内に留まるように制
御される。本明細書に記載の実施形態では、そのような仮想境界の１つによって、外科器
具３０で除去すべき大腿骨Ｆの物質の体積が規定されている。つまり、仮想境界とは、外
科器具３０の治療端がその内部に留まるべき境界のことである。マニピュレータ６６は、
「Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple
Modes（複数のモードで外科器具を制御可能な外科マニピュレータ）」の名称で発行され
ている米国特許第９１１９６５５号明細書に記載されているように、ユーザが器具３０を
掴んで操作することによって器具３０を動かす手動操作モードで動作するように制御する
ことも、あるいは自律的に動作するように制御することもできる。なお、同文献の開示内
容は、引用することによって本明細書の一部をなすものとする。
【0030】
ナビゲーションプロセッサ６２はまた、治療端の標的部位に対する相対位置を示す画像
信号を生成する。これらの画像信号は、ディスプレイ３６，３８に印加される。これらの
信号に基づいてディスプレイ３６，３８は、外科医やスタッフが、治療端の標的部位に対
する相対位置を仮想的に見ることを可能にする複数の画像を生成する。多くの場合、ある
時点における１つの標的部位に対する治療端の位置が、これら複数の画像で示される。例
えば、大腿骨Ｆと脛骨Ｔの両方を治療する外科処置の場合、大腿骨Ｆからの物質除去を行
っている間は、大腿骨標的部位ＴＳと、大腿骨標的部位ＴＳに対する外科器具３０の治療
端の相対位置とを視覚的に示すことができる。同様に、ユーザが大腿骨Ｆからの物質の除
去を終えて、脛骨Ｔからの物質除去ができる状態になると、ディスプレイ３６，３８は、
外科器具３０の治療端の、脛骨Ｔに関連する標的部位に対する位置のみを示すことができ
る。
信号を生成する。これらの画像信号は、ディスプレイ３６，３８に印加される。これらの
信号に基づいてディスプレイ３６，３８は、外科医やスタッフが、治療端の標的部位に対
する相対位置を仮想的に見ることを可能にする複数の画像を生成する。多くの場合、ある
時点における１つの標的部位に対する治療端の位置が、これら複数の画像で示される。例
えば、大腿骨Ｆと脛骨Ｔの両方を治療する外科処置の場合、大腿骨Ｆからの物質除去を行
っている間は、大腿骨標的部位ＴＳと、大腿骨標的部位ＴＳに対する外科器具３０の治療
端の相対位置とを視覚的に示すことができる。同様に、ユーザが大腿骨Ｆからの物質の除
去を終えて、脛骨Ｔからの物質除去ができる状態になると、ディスプレイ３６，３８は、
外科器具３０の治療端の、脛骨Ｔに関連する標的部位に対する位置のみを示すことができ
る。
【0031】
ここで図３を参照して、オブジェクトの追跡は、主に、ローカライザ座標系ＬＣＬＺを
参照して行われる。ローカライザ座標系ＬＣＬＺは、原点と向き（ｘ軸、ｙ軸、ｚ軸の組
）とを有している。処置中の目標の１つに、ローカライザ座標系ＬＣＬＺを既知の位置に
保つことが挙げられる。ローカライザカメラユニット４６に取り付けた加速度センサ（図
示せず）を使用して、外科手術の担当者が不注意でローカライザカメラユニット４６にぶ
つかってしまった場合に起こり得るような、ローカライザ座標系ＬＣＬＺの突発的な動き
や予想外の動きを追跡することができる。
参照して行われる。ローカライザ座標系ＬＣＬＺは、原点と向き（ｘ軸、ｙ軸、ｚ軸の組
）とを有している。処置中の目標の１つに、ローカライザ座標系ＬＣＬＺを既知の位置に
保つことが挙げられる。ローカライザカメラユニット４６に取り付けた加速度センサ（図
示せず）を使用して、外科手術の担当者が不注意でローカライザカメラユニット４６にぶ
つかってしまった場合に起こり得るような、ローカライザ座標系ＬＣＬＺの突発的な動き
や予想外の動きを追跡することができる。
【0032】
ローカライザ座標系ＬＣＬＺとは別に、トラッカ５４，５６，５８および追跡対象のオ
ブジェクトもまた、それぞれ固有の座標系を有する。例えば、トラッカ５４，５６，５８
は、それぞれ、骨トラッカ座標系ＢＴＲＫ１、骨トラッカ座標系ＢＴＲＫ２、および器具
トラッカ座標系ＴＬＴＲを有している。
ブジェクトもまた、それぞれ固有の座標系を有する。例えば、トラッカ５４，５６，５８
は、それぞれ、骨トラッカ座標系ＢＴＲＫ１、骨トラッカ座標系ＢＴＲＫ２、および器具
トラッカ座標系ＴＬＴＲを有している。
【0033】
図示の実施形態では、案内ステーション２６は、骨にしっかりと取り付けられた骨トラ
ッカ５４，５６の位置を監視することによって、患者の大腿骨Ｆと脛骨Ｔの位置を監視す
る。大腿骨の座標系はＦＢＯＮＥ、脛骨の座標系はＴＢＯＮＥであり、それぞれ、骨トラ
ッカ５４，５６がしっかりと取り付けられている骨の座標系である。
ッカ５４，５６の位置を監視することによって、患者の大腿骨Ｆと脛骨Ｔの位置を監視す
る。大腿骨の座標系はＦＢＯＮＥ、脛骨の座標系はＴＢＯＮＥであり、それぞれ、骨トラ
ッカ５４，５６がしっかりと取り付けられている骨の座標系である。
【0034】
外科器具３０による治療の対象である標的部位は、仮想オブジェクトによって定義され
る。図示の実施形態では、大腿骨標的部位ＴＳが大腿骨Ｆに関連付けられている。もちろ
ん、脛骨Ｔの標的部位などの他のいくつかの標的部位も可能であり、それぞれの標的部位
が、各標的部位に固有の別個の仮想オブジェクトによって定義される。標的部位を表す仮
想オブジェクトは、治療対象の物質の体積や、外科器具３０の軌道、外科器具３０で切断
する平面、穿孔する穴などを定義するように、ユーザが術前に設定することができる。図
示の実施形態では、仮想オブジェクトＶＢ（図９参照）は、大腿骨Ｆから除去すべき物質
の体積を定義する。場合によっては、仮想オブジェクトは、術中すなわち外科処置の最中
に設定されたり、再設定されたりする。なお、以下では、整形外科処置に関連して説明を
行っているが、本明細書に記載のシステムおよび方法は、任意の種類の外科処置にも同様
に適していることを理解されたい。
る。図示の実施形態では、大腿骨標的部位ＴＳが大腿骨Ｆに関連付けられている。もちろ
ん、脛骨Ｔの標的部位などの他のいくつかの標的部位も可能であり、それぞれの標的部位
が、各標的部位に固有の別個の仮想オブジェクトによって定義される。標的部位を表す仮
想オブジェクトは、治療対象の物質の体積や、外科器具３０の軌道、外科器具３０で切断
する平面、穿孔する穴などを定義するように、ユーザが術前に設定することができる。図
示の実施形態では、仮想オブジェクトＶＢ（図９参照）は、大腿骨Ｆから除去すべき物質
の体積を定義する。場合によっては、仮想オブジェクトは、術中すなわち外科処置の最中
に設定されたり、再設定されたりする。なお、以下では、整形外科処置に関連して説明を
行っているが、本明細書に記載のシステムおよび方法は、任意の種類の外科処置にも同様
に適していることを理解されたい。
【0035】
処置が開始される前に、大腿骨Ｆと脛骨Ｔの（あるいは他の実施形態の場合、他の組織
または構造の）術前画像などの、関心対象の生体構造の術前画像が生成される。これらの
画像は、患者の生体構造のＭＲＩスキャン、放射線スキャン、またはコンピュータ断層撮
影（ＣＴ）スキャンによるものであってもよい。これらの画像を使用して、大腿骨Ｆおよ
び脛骨Ｔの仮想モデル、外科器具３０による治療の対象となる他の生体構造の仮想モデル
、あるいはそれらすべての仮想モデルなどの関心対象の生体構造の仮想モデルが構築され
る。また、ナビゲーションポインタなどの適切な装置を用いて、大腿骨Ｆや脛骨Ｔなどの
治療対象の生体構造の表面上の点を取り込むなどの方法によって、このような仮想モデル
を術中に生成することもできる。取り込んだ点をコンパイルし、点の間の隙間を埋めるこ
とによって、仮想モデルを生成する。また、このような点の集合体を標準骨モデルと複合
することにより、標準骨モデルを関心対象の生体構造により適合するように変形すること
もできる。
または構造の）術前画像などの、関心対象の生体構造の術前画像が生成される。これらの
画像は、患者の生体構造のＭＲＩスキャン、放射線スキャン、またはコンピュータ断層撮
影（ＣＴ）スキャンによるものであってもよい。これらの画像を使用して、大腿骨Ｆおよ
び脛骨Ｔの仮想モデル、外科器具３０による治療の対象となる他の生体構造の仮想モデル
、あるいはそれらすべての仮想モデルなどの関心対象の生体構造の仮想モデルが構築され
る。また、ナビゲーションポインタなどの適切な装置を用いて、大腿骨Ｆや脛骨Ｔなどの
治療対象の生体構造の表面上の点を取り込むなどの方法によって、このような仮想モデル
を術中に生成することもできる。取り込んだ点をコンパイルし、点の間の隙間を埋めるこ
とによって、仮想モデルを生成する。また、このような点の集合体を標準骨モデルと複合
することにより、標準骨モデルを関心対象の生体構造により適合するように変形すること
もできる。
【0036】
多くの場合、仮想モデルは、治療中の生体構造の全体あるいは治療対象の生体構造の少
なくとも一部を表すデータと、標的部位を定義する仮想オブジェクトを表すデータとを含
む３Ｄモデルである。図示の実施形態では、大腿骨の仮想モデルＶＭは、大腿骨Ｆの一部
と仮想オブジェクトＶＢとを表すモデルデータを含む３Ｄモデルである（図９参照）。仮
想オブジェクトＶＢは、標的部位ＴＳと、外科処置中に大腿骨Ｆから除去すべき物質の体
積とを定義している。仮想オブジェクトは、仮想モデル内で定義することができ、メッシ
ュ面や、ＣＳＧ（constructive solid geometry）モデル、ボクセルで表現できるほか、
他の仮想オブジェクト表現技術を用いて表現することもできる。
なくとも一部を表すデータと、標的部位を定義する仮想オブジェクトを表すデータとを含
む３Ｄモデルである。図示の実施形態では、大腿骨の仮想モデルＶＭは、大腿骨Ｆの一部
と仮想オブジェクトＶＢとを表すモデルデータを含む３Ｄモデルである（図９参照）。仮
想オブジェクトＶＢは、標的部位ＴＳと、外科処置中に大腿骨Ｆから除去すべき物質の体
積とを定義している。仮想オブジェクトは、仮想モデル内で定義することができ、メッシ
ュ面や、ＣＳＧ（constructive solid geometry）モデル、ボクセルで表現できるほか、
他の仮想オブジェクト表現技術を用いて表現することもできる。
【0037】
術前画像、仮想モデル、あるいはそのすべては、当技術分野において公知の方法を用い
て、大腿骨座標系ＦＢＯＮＥと脛骨座標系ＴＢＯＮＥとにマッピングされる。これらの術
前画像、仮想モデル、あるいはそのすべては、大腿骨座標系ＦＢＯＮＥと脛骨座標系ＴＢ
ＯＮＥに対して固定される。術前画像を撮る代わりに、運動学的な検討や骨の追跡などの
方法によって手術室で治療計画を立案することもできる。また、同様の方法を用いて上述
の３Ｄ仮想モデルを生成することもできる。
て、大腿骨座標系ＦＢＯＮＥと脛骨座標系ＴＢＯＮＥとにマッピングされる。これらの術
前画像、仮想モデル、あるいはそのすべては、大腿骨座標系ＦＢＯＮＥと脛骨座標系ＴＢ
ＯＮＥに対して固定される。術前画像を撮る代わりに、運動学的な検討や骨の追跡などの
方法によって手術室で治療計画を立案することもできる。また、同様の方法を用いて上述
の３Ｄ仮想モデルを生成することもできる。
【0038】
本明細書に記載の処置においては、その初期段階において、骨トラッカ５４，５６が患
者の骨にしっかりと貼り付けられる。座標系ＦＢＯＮＥと座標系ＴＢＯＮＥの姿勢（位置
および向き）は、それぞれ座標系ＢＴＲＫ１と座標系ＢＴＲＫ２とにマッピングされる。
一実施形態では、固有のトラッカＰＴ（図１参照）を有する、引用することによって本明
細書の一部をなすMalackowski他による米国特許第７７２５１６２号明細書に開示されて
いるようなポインタ器具Ｐ（図１参照）を使用して、大腿骨座標系ＦＢＯＮＥと脛骨座標
系ＴＢＯＮＥとを、骨トラッカ座標系ＢＴＲＫ１，ＢＴＲＫ２にそれぞれ登録する。これ
らの骨とそのトラッカ５４，５６との間に固定的な関係を確立させると、大腿骨座標系Ｆ
ＢＯＮＥにおける大腿骨Ｆの位置および向きは骨トラッカ座標系ＢＴＲＫ１に、脛骨座標
系ＴＢＯＮＥにおける脛骨Ｔの位置および向きは骨トラッカ座標系ＢＴＲＫ２にそれぞれ
変換され、ローカライザカメラユニット４６は、トラッカ５４，５６を追跡することによ
って、大腿骨Ｆや脛骨Ｔを追跡することができる。姿勢を記述したこれらのデータは、マ
ニピュレータコントローラ６４およびナビゲーションプロセッサ６２と一体のメモリに格
納される。
者の骨にしっかりと貼り付けられる。座標系ＦＢＯＮＥと座標系ＴＢＯＮＥの姿勢（位置
および向き）は、それぞれ座標系ＢＴＲＫ１と座標系ＢＴＲＫ２とにマッピングされる。
一実施形態では、固有のトラッカＰＴ（図１参照）を有する、引用することによって本明
細書の一部をなすMalackowski他による米国特許第７７２５１６２号明細書に開示されて
いるようなポインタ器具Ｐ（図１参照）を使用して、大腿骨座標系ＦＢＯＮＥと脛骨座標
系ＴＢＯＮＥとを、骨トラッカ座標系ＢＴＲＫ１，ＢＴＲＫ２にそれぞれ登録する。これ
らの骨とそのトラッカ５４，５６との間に固定的な関係を確立させると、大腿骨座標系Ｆ
ＢＯＮＥにおける大腿骨Ｆの位置および向きは骨トラッカ座標系ＢＴＲＫ１に、脛骨座標
系ＴＢＯＮＥにおける脛骨Ｔの位置および向きは骨トラッカ座標系ＢＴＲＫ２にそれぞれ
変換され、ローカライザカメラユニット４６は、トラッカ５４，５６を追跡することによ
って、大腿骨Ｆや脛骨Ｔを追跡することができる。姿勢を記述したこれらのデータは、マ
ニピュレータコントローラ６４およびナビゲーションプロセッサ６２と一体のメモリに格
納される。
【0039】
外科器具３０の治療端（エネルギーアプリケータの遠位端とも呼ぶ）は、固有の座標系
ＥＡＰＰを有している。例えば、座標系ＥＡＰＰの原点が、外科切削バーの重心を表して
いてもよい。処置が開始される前に、座標系ＥＡＰＰの姿勢は、器具トラッカ座標系ＴＬ
ＴＲの姿勢に対して固定される。これにより、これらの座標系ＥＡＰＰ，ＴＬＴＲの互い
に対して相対的な姿勢が特定される。これらの姿勢を記述したデータは、マニピュレータ
コントローラ６４およびナビゲーションプロセッサ６２と一体のメモリに格納される。
ＥＡＰＰを有している。例えば、座標系ＥＡＰＰの原点が、外科切削バーの重心を表して
いてもよい。処置が開始される前に、座標系ＥＡＰＰの姿勢は、器具トラッカ座標系ＴＬ
ＴＲの姿勢に対して固定される。これにより、これらの座標系ＥＡＰＰ，ＴＬＴＲの互い
に対して相対的な姿勢が特定される。これらの姿勢を記述したデータは、マニピュレータ
コントローラ６４およびナビゲーションプロセッサ６２と一体のメモリに格納される。
【0040】
ここで図２を参照して、ローカライズエンジン１００は、ナビゲーションコンピュータ
３４の一部とみなすことができるソフトウェアモジュールである。ローカライズエンジン
１００のコンポーネントは、ナビゲーションプロセッサ６２上で実行される。ローカライ
ズエンジン１００は、マニピュレータコントローラ６４、ナビゲーションプロセッサ６２
、またはこれら両方の上で実行されてもよい。
３４の一部とみなすことができるソフトウェアモジュールである。ローカライズエンジン
１００のコンポーネントは、ナビゲーションプロセッサ６２上で実行される。ローカライ
ズエンジン１００は、マニピュレータコントローラ６４、ナビゲーションプロセッサ６２
、またはこれら両方の上で実行されてもよい。
【0041】
ローカライズエンジン１００は、ローカライザカメラコントローラ５２からの光学ベー
スの信号と、いくつかの実施形態ではこれに加えて、トラッカコントローラ６１からの非
光学ベースの信号とを入力として受信する。これらの信号に基づいて、ローカライズエン
ジン１００は、ローカライザ座標系ＬＣＬＺにおける骨トラッカ座標系ＢＴＲＫ１，ＢＴ
ＲＫ２の姿勢を特定する。また、ローカライズエンジン１００は、器具トラッカ５８につ
いても同様の信号を受信し、これらの信号に基づいて、ローカライザ座標系ＬＣＬＺにお
ける器具トラッカ座標系ＴＬＴＲの姿勢を特定する。
スの信号と、いくつかの実施形態ではこれに加えて、トラッカコントローラ６１からの非
光学ベースの信号とを入力として受信する。これらの信号に基づいて、ローカライズエン
ジン１００は、ローカライザ座標系ＬＣＬＺにおける骨トラッカ座標系ＢＴＲＫ１，ＢＴ
ＲＫ２の姿勢を特定する。また、ローカライズエンジン１００は、器具トラッカ５８につ
いても同様の信号を受信し、これらの信号に基づいて、ローカライザ座標系ＬＣＬＺにお
ける器具トラッカ座標系ＴＬＴＲの姿勢を特定する。
【0042】
ローカライズエンジン１００は、トラッカ５４，５６，５８の姿勢を表す信号を座標変
換器１０２に転送する。座標変換器１０２は、ナビゲーションプロセッサ６２上で動作す
るソフトウェアモジュールである。座標変換器１０２は、術前画像と骨トラッカ５４，５
６の関係を定義したデータ、患者の各仮想モデルと骨トラッカ５４，５６の関係を定義し
たデータ、あるいはこれらの関係をすべて定義したデータを参照する。座標変換器１０２
はまた、器具トラッカ５８に対する外科器具３０の治療端の姿勢を示すデータも格納する
。仮想オブジェクトと各仮想モデルとが分かれている場合には、座標変換器１０２は仮想
オブジェクトを定義するデータも参照する。
換器１０２に転送する。座標変換器１０２は、ナビゲーションプロセッサ６２上で動作す
るソフトウェアモジュールである。座標変換器１０２は、術前画像と骨トラッカ５４，５
６の関係を定義したデータ、患者の各仮想モデルと骨トラッカ５４，５６の関係を定義し
たデータ、あるいはこれらの関係をすべて定義したデータを参照する。座標変換器１０２
はまた、器具トラッカ５８に対する外科器具３０の治療端の姿勢を示すデータも格納する
。仮想オブジェクトと各仮想モデルとが分かれている場合には、座標変換器１０２は仮想
オブジェクトを定義するデータも参照する。
【0043】
処置の最中、座標変換器１０２は、トラッカ５４，５６，５８のローカライザ４４に対
する相対的な姿勢を示すデータを受信する。これらのデータと事前にロードされたデータ
とに基づいて、座標変換器１０２は、座標系ＥＡＰＰと骨座標系ＦＢＯＮＥ，ＴＢＯＮＥ
のローカライザ座標系ＬＣＬＺに対する相対的な位置および向きを示すデータを生成する
。
する相対的な姿勢を示すデータを受信する。これらのデータと事前にロードされたデータ
とに基づいて、座標変換器１０２は、座標系ＥＡＰＰと骨座標系ＦＢＯＮＥ，ＴＢＯＮＥ
のローカライザ座標系ＬＣＬＺに対する相対的な位置および向きを示すデータを生成する
。
【0044】
その結果、座標変換器１０２は、外科器具３０の治療端を当てている標的部位に対する
治療端の位置および向きを示すデータを生成する。これらのデータを表す画像信号は、デ
ィスプレイ３６，３８に転送され、外科医およびスタッフがこの情報を見ることが可能と
なる。特定の実施形態では、これらのデータを表す他の信号をマニピュレータコントロー
ラ６４に転送して、マニピュレータ６６を案内し、外科器具３０がそれに応じた動きをす
るようにすることができる。従って、このデータは、他の仮想オブジェクトに対する外科
器具３０の治療端の相対的な仮想位置を示すものでもあり、例えば、仮想ツールオブジェ
クトＶＩなどの別個の仮想オブジェクトとしてモデリングすることもできる。
治療端の位置および向きを示すデータを生成する。これらのデータを表す画像信号は、デ
ィスプレイ３６，３８に転送され、外科医およびスタッフがこの情報を見ることが可能と
なる。特定の実施形態では、これらのデータを表す他の信号をマニピュレータコントロー
ラ６４に転送して、マニピュレータ６６を案内し、外科器具３０がそれに応じた動きをす
るようにすることができる。従って、このデータは、他の仮想オブジェクトに対する外科
器具３０の治療端の相対的な仮想位置を示すものでもあり、例えば、仮想ツールオブジェ
クトＶＩなどの別個の仮想オブジェクトとしてモデリングすることもできる。
【0045】
ここで図１を再び参照して、案内ステーション２６はビジョン装置７２をさらに備えて
いる。図示の実施形態では、ビジョン装置は外科器具３０に取り付けられている。他の実
施形態では、ビジョン装置７２をロボットアームに取り付けることができ、例えば、ロボ
ットアームの遠位端に取り付けることもできる。ビジョン装置７２は、好ましくは、障害
物がない視野に標的部位を収めるように配置される。ビジョン装置７２は、ナビゲーショ
ンコンピュータ３４と動作可能に通信を行うビジョンコントローラ７３（図２を参照）を
有している。ビジョン装置７２は、撮像装置またはデジタル撮像装置とも呼ばれるもので
ある。ビジョン装置７２は、外部ハウジング７６を有し、１つ以上の画像センサ７８（図
２を参照）を支持するカメラ１６０を備えることができる。画像センサ７８は、ＣＭＯＳ
センサなどの適切なセンサの形態をとることができる。
いる。図示の実施形態では、ビジョン装置は外科器具３０に取り付けられている。他の実
施形態では、ビジョン装置７２をロボットアームに取り付けることができ、例えば、ロボ
ットアームの遠位端に取り付けることもできる。ビジョン装置７２は、好ましくは、障害
物がない視野に標的部位を収めるように配置される。ビジョン装置７２は、ナビゲーショ
ンコンピュータ３４と動作可能に通信を行うビジョンコントローラ７３（図２を参照）を
有している。ビジョン装置７２は、撮像装置またはデジタル撮像装置とも呼ばれるもので
ある。ビジョン装置７２は、外部ハウジング７６を有し、１つ以上の画像センサ７８（図
２を参照）を支持するカメラ１６０を備えることができる。画像センサ７８は、ＣＭＯＳ
センサなどの適切なセンサの形態をとることができる。
【0046】
ナビゲーションコンピュータ３４は、ビジョンコントローラ７３と通信して、ビジョン
コントローラ７３からカメラ１６０のビジョンデータセットを受信する。ビジョンデータ
セットは、ビジョン座標系ＶＩＳ（図３を参照）上に配置される。ビジョンデータセット
は、カメラ１６０の患者に対する動きに合わせてカメラ１６０が取り込んだ、ビジョン座
標系ＶＩＳ内のデータ点の集合である。これらのデータ点は、ｘｙｚ座標によって定義さ
れ、ビジョンデータファイルとして保存（または格納）することができる。
コントローラ７３からカメラ１６０のビジョンデータセットを受信する。ビジョンデータ
セットは、ビジョン座標系ＶＩＳ（図３を参照）上に配置される。ビジョンデータセット
は、カメラ１６０の患者に対する動きに合わせてカメラ１６０が取り込んだ、ビジョン座
標系ＶＩＳ内のデータ点の集合である。これらのデータ点は、ｘｙｚ座標によって定義さ
れ、ビジョンデータファイルとして保存（または格納）することができる。
【0047】
図４に示すように、標的部位の近くには、大腿骨Ｆ、脛骨Ｔ、および外科器具３０以外
に、複数の物理的オブジェクトが存在する。このような物理的オブジェクトは、開創器、
洗浄吸引器、手術ガイド、切開部周りの皮膚などの種類の物理的オブジェクトを含み得る
。本明細書に記載の実施形態では、ナビゲーションコンピュータ３４とマニピュレータコ
ントローラ６４の少なくとも一方がこれらの物理的オブジェクトを識別、追跡して、これ
により、システム２０が、外科器具３０や、大腿骨Ｆ、脛骨Ｔ、標的部位の近くにあるす
べての物理的オブジェクトの相対位置を特定して、例えば、外科処置の間に外科器具３０
が物理的オブジェクトを避けられるようにしている。他の実施形態では、物理的オブジェ
クトがツールガイドである場合などの特定の状況においては、外科器具３０が１つ以上の
物理的オブジェクトと係合することができるように、物理的オブジェクトを識別、追跡す
ることが望ましい場合もある。説明の便宜上、図示では、物理的オブジェクトを開創器１
６２として示している。
に、複数の物理的オブジェクトが存在する。このような物理的オブジェクトは、開創器、
洗浄吸引器、手術ガイド、切開部周りの皮膚などの種類の物理的オブジェクトを含み得る
。本明細書に記載の実施形態では、ナビゲーションコンピュータ３４とマニピュレータコ
ントローラ６４の少なくとも一方がこれらの物理的オブジェクトを識別、追跡して、これ
により、システム２０が、外科器具３０や、大腿骨Ｆ、脛骨Ｔ、標的部位の近くにあるす
べての物理的オブジェクトの相対位置を特定して、例えば、外科処置の間に外科器具３０
が物理的オブジェクトを避けられるようにしている。他の実施形態では、物理的オブジェ
クトがツールガイドである場合などの特定の状況においては、外科器具３０が１つ以上の
物理的オブジェクトと係合することができるように、物理的オブジェクトを識別、追跡す
ることが望ましい場合もある。説明の便宜上、図示では、物理的オブジェクトを開創器１
６２として示している。
【0048】
図４を参照すると、各物理的オブジェクトは、特徴セット１７０を規定する複数の特徴
を備えており、これにより、外科処置の間に、ナビゲーションコンピュータ３４とマニピ
ュレータコントローラ６４の少なくとも一方が、カメラ１６０によって物理的オブジェク
トを識別、追跡することができる。特徴セット１７０は、カメラ１６０で撮影したビジョ
ンデータセットにおいて識別可能な複数の特徴を含んでいる。また、識別のため、ナビゲ
ーションコンピュータ３４とマニピュレータコントローラ６４の少なくとも一方が、パタ
ーン認識機能を有している。システム２０は、検出対象の特徴の配置や符号化方式などの
特性についての事前知識を有している。
を備えており、これにより、外科処置の間に、ナビゲーションコンピュータ３４とマニピ
ュレータコントローラ６４の少なくとも一方が、カメラ１６０によって物理的オブジェク
トを識別、追跡することができる。特徴セット１７０は、カメラ１６０で撮影したビジョ
ンデータセットにおいて識別可能な複数の特徴を含んでいる。また、識別のため、ナビゲ
ーションコンピュータ３４とマニピュレータコントローラ６４の少なくとも一方が、パタ
ーン認識機能を有している。システム２０は、検出対象の特徴の配置や符号化方式などの
特性についての事前知識を有している。
【0049】
これらの特徴の１つ以上を、（例えば、カメラ１６０によって検出される放射線の放射
などの）能動マーキングとしてもよい。これに加えてまたは代えて、これらの特徴の１つ
以上を受動マーキングとすることもできる。受動マーキングは反射性であってもよく、あ
るいは非反射性であってもよい。受動マーキングは、印字やシールなどを、（例えば、切
開部の周りのまたは隣接する患者の皮膚や他の場所などの）物理的オブジェクトの任意の
硬い（例えば平面状の）基材や柔らかい基材上に施すことによって実現することができる
。また、物理的オブジェクト表面のコーティングや、物理的オブジェクトに作られている
表面粗さによって、特徴を定義することもできる。一方、システム２０は、（例えば、較
正情報の形などで）特徴に関する事前知識を有している。事前知識は、いくつかの異なる
種類の物理的オブジェクトについての、特徴符号化方式や特徴間の相対的な位置のうちの
１つ以上に関するものであってよい。また、事前知識として得られる特徴は、例えば、物
理的オブジェクトの基材上に刻印や印字によって施された受動マーキングであってもよく
、あるいは能動マーキングであってもよい。事前知識として得られる特徴として、切開部
周りに印字シールなどの受動マーキングを施す場合には、切開口周りの皮膚などの組織を
避けて器具３０を制御することができるように、この受動マーキングは、リング状に配置
されるなど、切開口に関連付けられていると理解される適切な場所に配置されると理解し
てよい。
などの）能動マーキングとしてもよい。これに加えてまたは代えて、これらの特徴の１つ
以上を受動マーキングとすることもできる。受動マーキングは反射性であってもよく、あ
るいは非反射性であってもよい。受動マーキングは、印字やシールなどを、（例えば、切
開部の周りのまたは隣接する患者の皮膚や他の場所などの）物理的オブジェクトの任意の
硬い（例えば平面状の）基材や柔らかい基材上に施すことによって実現することができる
。また、物理的オブジェクト表面のコーティングや、物理的オブジェクトに作られている
表面粗さによって、特徴を定義することもできる。一方、システム２０は、（例えば、較
正情報の形などで）特徴に関する事前知識を有している。事前知識は、いくつかの異なる
種類の物理的オブジェクトについての、特徴符号化方式や特徴間の相対的な位置のうちの
１つ以上に関するものであってよい。また、事前知識として得られる特徴は、例えば、物
理的オブジェクトの基材上に刻印や印字によって施された受動マーキングであってもよく
、あるいは能動マーキングであってもよい。事前知識として得られる特徴として、切開部
周りに印字シールなどの受動マーキングを施す場合には、切開口周りの皮膚などの組織を
避けて器具３０を制御することができるように、この受動マーキングは、リング状に配置
されるなど、切開口に関連付けられていると理解される適切な場所に配置されると理解し
てよい。
【0050】
カメラ１６０は、各ビジョンデータセットが特徴セット１７０を構成する特徴の少なく
とも一部を含むように、２方向以上の異なる視点からビジョンデータセットを取得するよ
うに構成されている。ここで、カメラ１６０の動きは、ビジョンデータセットの収集時に
おけるロボット装置と器具３０の少なくとも一方の患者に対する動きの結果として得られ
るものである。このような動きは、ロボット装置と器具３０の少なくとも一方の手動操作
による場合もあれば、ロボット装置と器具３０の少なくとも一方の自律的な動きによる場
合もある。例えば、カメラ１６０は、（例えば、ビデオの各コマのような）連続ビデオデ
ータストリームの形でビジョンデータセットを提供可能なビデオカメラとして実現するこ
とができる。一変形例では、ロボット装置が自律的な動きをする間、ロボット装置が器具
３０と一緒にカメラ１６０を動かすことができるように、カメラ１６０は器具３０に固く
取り付けられる。他の変形例では、カメラ１６０は、ロボット装置と器具３０の少なくと
も一方の手動操作によって器具３０と一緒に動かされるように、器具３０に固く取り付け
られる。カメラ１６０を外科器具３０に取り付ける場合、カメラ１６０は、物理的オブジ
ェクトと、外科器具３０が狙う患者の表面とを包含する視野を有する。例えば、外科器具
３０の長手方向軸が患者に向けられている場合、カメラ１６０の視野は外科器具３０の長
手方向軸に沿って延在することができる。
とも一部を含むように、２方向以上の異なる視点からビジョンデータセットを取得するよ
うに構成されている。ここで、カメラ１６０の動きは、ビジョンデータセットの収集時に
おけるロボット装置と器具３０の少なくとも一方の患者に対する動きの結果として得られ
るものである。このような動きは、ロボット装置と器具３０の少なくとも一方の手動操作
による場合もあれば、ロボット装置と器具３０の少なくとも一方の自律的な動きによる場
合もある。例えば、カメラ１６０は、（例えば、ビデオの各コマのような）連続ビデオデ
ータストリームの形でビジョンデータセットを提供可能なビデオカメラとして実現するこ
とができる。一変形例では、ロボット装置が自律的な動きをする間、ロボット装置が器具
３０と一緒にカメラ１６０を動かすことができるように、カメラ１６０は器具３０に固く
取り付けられる。他の変形例では、カメラ１６０は、ロボット装置と器具３０の少なくと
も一方の手動操作によって器具３０と一緒に動かされるように、器具３０に固く取り付け
られる。カメラ１６０を外科器具３０に取り付ける場合、カメラ１６０は、物理的オブジ
ェクトと、外科器具３０が狙う患者の表面とを包含する視野を有する。例えば、外科器具
３０の長手方向軸が患者に向けられている場合、カメラ１６０の視野は外科器具３０の長
手方向軸に沿って延在することができる。
【0051】
カメラ１６０を外科器具３０に一体化することによって、カメラ１６０のビジョン座標
系ＶＩＳの器具トラッカ座標系ＴＬＴＲへの較正が容易になることを理解されたい。この
較正は、例えば製造時に較正データを定めるなどの方法によって、製造時に行うことがで
きるほか、従来の較正方法を用いて処置の開始前に行うこともできる。従って、ローカラ
イザ座標系ＬＣＬＺに対するビジョン座標系ＶＩＳの姿勢は、外科器具３０に関連付けら
れた器具トラッカ５８を使用して、上述の変換方法により特定することができる。そして
これにより、ビジョン座標系ＶＩＳのローカライザ座標系ＬＣＬＺへの変換やその逆方向
の変換も行うことができる。姿勢を記述したこれらのデータは、マニピュレータコントロ
ーラ６４およびナビゲーションプロセッサ６２と一体のメモリに格納される。
系ＶＩＳの器具トラッカ座標系ＴＬＴＲへの較正が容易になることを理解されたい。この
較正は、例えば製造時に較正データを定めるなどの方法によって、製造時に行うことがで
きるほか、従来の較正方法を用いて処置の開始前に行うこともできる。従って、ローカラ
イザ座標系ＬＣＬＺに対するビジョン座標系ＶＩＳの姿勢は、外科器具３０に関連付けら
れた器具トラッカ５８を使用して、上述の変換方法により特定することができる。そして
これにより、ビジョン座標系ＶＩＳのローカライザ座標系ＬＣＬＺへの変換やその逆方向
の変換も行うことができる。姿勢を記述したこれらのデータは、マニピュレータコントロ
ーラ６４およびナビゲーションプロセッサ６２と一体のメモリに格納される。
【0052】
カメラ１６０が、外科器具３０ではなくロボット装置に取り付けられる実施形態などの
他の実施形態においては、カメラ１６０が、ハウジング７６に固く取り付けられたビジョ
ン装置トラッカ（図示せず）を有していてもよく、これによりビジョン座標系ＶＩＳとロ
ーカライザ座標系ＬＣＬＺとの間に確固たる関係を構築することができる。例えば、座標
変換器１０２に、ビジョン装置トラッカの座標系とビジョン座標系ＶＩＳとの間の関係を
定義するデータを予めロードしておき、座標変換器１０２は、このデータを使用し、ロー
カライザ座標系ＬＣＬＺ内のビジョン装置トラッカの位置および向きに基づいて、ビジョ
ン座標系ＶＩＳをローカライザ座標系ＬＣＬＺに変換することができる。あるいは、ジョ
イントエンコーダや、ロボット装置の基部に取り付けたロボット基部トラッカ（図示せず
）などによって、ロボット装置の追跡をローカライザ座標系ＬＣＬＺにおいて別途行って
いる場合、（例えば、較正工程によって）カメラ１６０をロボット基部トラッカと関連付
けることができる。この場合、カメラ１６０に別途トラッカを設ける必要性はなくなる。
そして、ロボット装置の基部が動かず、ロボット基部トラッカが見えている限り、ローカ
ライザ４４はカメラ１６０の位置および向きを決定することができる。
他の実施形態においては、カメラ１６０が、ハウジング７６に固く取り付けられたビジョ
ン装置トラッカ（図示せず）を有していてもよく、これによりビジョン座標系ＶＩＳとロ
ーカライザ座標系ＬＣＬＺとの間に確固たる関係を構築することができる。例えば、座標
変換器１０２に、ビジョン装置トラッカの座標系とビジョン座標系ＶＩＳとの間の関係を
定義するデータを予めロードしておき、座標変換器１０２は、このデータを使用し、ロー
カライザ座標系ＬＣＬＺ内のビジョン装置トラッカの位置および向きに基づいて、ビジョ
ン座標系ＶＩＳをローカライザ座標系ＬＣＬＺに変換することができる。あるいは、ジョ
イントエンコーダや、ロボット装置の基部に取り付けたロボット基部トラッカ（図示せず
）などによって、ロボット装置の追跡をローカライザ座標系ＬＣＬＺにおいて別途行って
いる場合、（例えば、較正工程によって）カメラ１６０をロボット基部トラッカと関連付
けることができる。この場合、カメラ１６０に別途トラッカを設ける必要性はなくなる。
そして、ロボット装置の基部が動かず、ロボット基部トラッカが見えている限り、ローカ
ライザ４４はカメラ１６０の位置および向きを決定することができる。
【0053】
ナビゲーションコンピュータ３４は、カメラ１６０から受信したビジョンデータセット
を外部または内部の記憶装置に格納するように構成され得る。上述したように、これらの
ビジョンデータセットはビデオデータストリームの形で受信することができ、ナビゲーシ
ョンプロセッサ６２による処理に備えて少なくとも一時的に格納される。そのような処理
として、例えば、受信したビジョンデータセットに含まれる１つ以上の特徴を（例えば、
位置特定や復号などによって）識別するためのパターン認識を挙げることができる。
を外部または内部の記憶装置に格納するように構成され得る。上述したように、これらの
ビジョンデータセットはビデオデータストリームの形で受信することができ、ナビゲーシ
ョンプロセッサ６２による処理に備えて少なくとも一時的に格納される。そのような処理
として、例えば、受信したビジョンデータセットに含まれる１つ以上の特徴を（例えば、
位置特定や復号などによって）識別するためのパターン認識を挙げることができる。
【0054】
一実施形態では、ナビゲーションプロセッサ６２は、パターン認識技術を使用して、ま
ずビジョンデータセットに含まれる複数の特徴を識別し、そしてビジョン座標系ＶＩＳに
おける各特徴の座標を（例えば、キーポイント座標などの形で）特定する。ここで、較正
データとしてカメラ１６０の投影モデルを格納しておき、この投影モデルを利用して、カ
メラ１６０が提供するビジョンデータセットにおいて識別された１つ以上の特徴に対する
カメラ１６０の位置を特定することができる（例えば、米国特許出願公開第２００８／０
２０８０４１号明細書を参照のこと。なお、同文献は、引用することによって本明細書の
一部をなすものとする。）特定の投影モデルの基礎となる変換パラメータは、各カメラの
製造業者、またはシステム２０の販売業者から提供され得る。また、変換パラメータは、
現場に設置された較正治具で推定することができるほか、特定のカメラ機種向けに標準化
されていてもよい。いくつかの実施態様では、適切なインターフェースを介してカメラ１
６０自体によって（例えば、現在選択中のズームレベルに応じてリアルタイムで）変換パ
ラメータが提供される場合もある。
ずビジョンデータセットに含まれる複数の特徴を識別し、そしてビジョン座標系ＶＩＳに
おける各特徴の座標を（例えば、キーポイント座標などの形で）特定する。ここで、較正
データとしてカメラ１６０の投影モデルを格納しておき、この投影モデルを利用して、カ
メラ１６０が提供するビジョンデータセットにおいて識別された１つ以上の特徴に対する
カメラ１６０の位置を特定することができる（例えば、米国特許出願公開第２００８／０
２０８０４１号明細書を参照のこと。なお、同文献は、引用することによって本明細書の
一部をなすものとする。）特定の投影モデルの基礎となる変換パラメータは、各カメラの
製造業者、またはシステム２０の販売業者から提供され得る。また、変換パラメータは、
現場に設置された較正治具で推定することができるほか、特定のカメラ機種向けに標準化
されていてもよい。いくつかの実施態様では、適切なインターフェースを介してカメラ１
６０自体によって（例えば、現在選択中のズームレベルに応じてリアルタイムで）変換パ
ラメータが提供される場合もある。
【0055】
また較正データとして、特徴セット１７０に関する情報も、例えばナビゲーションコン
ピュータ３４の内部記憶装置などに提供される。このような情報は、各特徴の相対位置や
各特徴に適用された符号化方式を含み得る。各特徴の既知の相対位置と、カメラ１６０で
撮影した（例えば、画像などの）ビジョンデータセットにおける（すなわち、ビジョンデ
ータセットが関連付けられたビジョン座標系ＶＩＳにおける）各特徴の（投影像の）相対
位置とに基づいて、当該ビジョン座標系ＶＩＳを、関心対象の物理的オブジェクトの物理
的オブジェクト座標系ＰＯＣＳ（図３参照）などの、各特徴の座標が与えられる任意の参
照系に変換する逆透視投影を行うことにより、さらなる変換の変換パラメータを（例えば
、リアルタイムで）特定することができる。このような変換を、カメラ１６０の変換Ｔ１
で示す。カメラ１６０の変換Ｔ１の変換パラメータは、各特徴ｊについて、それぞれ以下
の方程式系を解くことによって求められる。
Ｍｊ，１６０＝Ｔ２・Ｔ１－１・Ｍｊ，ｃａｌ
ピュータ３４の内部記憶装置などに提供される。このような情報は、各特徴の相対位置や
各特徴に適用された符号化方式を含み得る。各特徴の既知の相対位置と、カメラ１６０で
撮影した（例えば、画像などの）ビジョンデータセットにおける（すなわち、ビジョンデ
ータセットが関連付けられたビジョン座標系ＶＩＳにおける）各特徴の（投影像の）相対
位置とに基づいて、当該ビジョン座標系ＶＩＳを、関心対象の物理的オブジェクトの物理
的オブジェクト座標系ＰＯＣＳ（図３参照）などの、各特徴の座標が与えられる任意の参
照系に変換する逆透視投影を行うことにより、さらなる変換の変換パラメータを（例えば
、リアルタイムで）特定することができる。このような変換を、カメラ１６０の変換Ｔ１
で示す。カメラ１６０の変換Ｔ１の変換パラメータは、各特徴ｊについて、それぞれ以下
の方程式系を解くことによって求められる。
Ｍｊ，１６０＝Ｔ２・Ｔ１－１・Ｍｊ，ｃａｌ
【0056】
式中、Ｍｊ，１６０は、カメラ１６０のビジョンデータセット（例えば、ビデオの１コ
マ）において撮像された特徴ｊであり、ビジョン座標系ＶＩＳに関連した座標を有してい
る。Ｍｊ，ｃａｌは、較正データとして提供される特徴ｊの指標（例えば、キーポイント
）であり、物理的オブジェクト座標系ＰＯＣＳに関連した座標を有している。そして、第
２の変換Ｔ２は、カメラ１６０とそれに関連付けられたビジョン座標系ＶＩＳとの間の変
換パラメータを指定するものである。
マ）において撮像された特徴ｊであり、ビジョン座標系ＶＩＳに関連した座標を有してい
る。Ｍｊ，ｃａｌは、較正データとして提供される特徴ｊの指標（例えば、キーポイント
）であり、物理的オブジェクト座標系ＰＯＣＳに関連した座標を有している。そして、第
２の変換Ｔ２は、カメラ１６０とそれに関連付けられたビジョン座標系ＶＩＳとの間の変
換パラメータを指定するものである。
【0057】
なお、上述の逆透視投影は、カメラ姿勢推定と呼ばれる場合があるほか、あるいはカメ
ラ姿勢推定との関連で行われるものである。図４に示す実施形態では、個々の特徴は黒い
点で記号化されている。また、複数の符号化された特徴（coded feature）を利用するこ
ともできる。各特徴は、固有のＱＲ方式の拡張符号を含む２次元の拡張部（extension）
を有することができる（ＱＲ方式の拡張符号の場合、各特徴が重なっていても問題ない）
。図５では、ある１つの拡張特徴（extended feature）１７０Ａが白いリング内にある状
態を図示しており、この場合、リングの中心が特徴のキーポイントとなる。一般に、各拡
張特徴によって、その特徴の位置（座標）を示す特定のキーポイントまたは中心を規定す
ることができる。コンピュータ画像認識（computer vision）の分野において、特徴（fea
ture）という用語は、キーポイントの周辺（すなわちの特徴の拡張部）を記述するものと
もみなされる。図６は、例示的なリング形状の拡張特徴についてのキーポイントの概念を
模式的に示す図である。このキーポイントの概念を、図５に示す種類の特徴に対して、容
易に拡大適用できることが理解されるであろう。また、代替的な実施形態では、個々の特
徴を他の方法で規定したり、符号化したりすることもできることが理解されるであろう。
例えば、図７において複数の特徴１７０Ｂで示すように、異なる数のダッシュを使ったり
、あるいはダッシュとドットの異なる組み合わせを使ったりして、各リングをダッシュ表
示することもできる。別の例として、色分けによって符号化した円またはドットを使用し
てもよい。特定の実施態様では、物理的オブジェクト上で平坦な面（すなわち平面）を成
す狭い領域内にある個々の特徴をグループ化することもできる。個々の特徴の間の相対位
置、ならびに（個々の特徴間の区別を可能にする）各特徴の符号化方式は、較正データと
して格納しておくことができる。
ラ姿勢推定との関連で行われるものである。図４に示す実施形態では、個々の特徴は黒い
点で記号化されている。また、複数の符号化された特徴（coded feature）を利用するこ
ともできる。各特徴は、固有のＱＲ方式の拡張符号を含む２次元の拡張部（extension）
を有することができる（ＱＲ方式の拡張符号の場合、各特徴が重なっていても問題ない）
。図５では、ある１つの拡張特徴（extended feature）１７０Ａが白いリング内にある状
態を図示しており、この場合、リングの中心が特徴のキーポイントとなる。一般に、各拡
張特徴によって、その特徴の位置（座標）を示す特定のキーポイントまたは中心を規定す
ることができる。コンピュータ画像認識（computer vision）の分野において、特徴（fea
ture）という用語は、キーポイントの周辺（すなわちの特徴の拡張部）を記述するものと
もみなされる。図６は、例示的なリング形状の拡張特徴についてのキーポイントの概念を
模式的に示す図である。このキーポイントの概念を、図５に示す種類の特徴に対して、容
易に拡大適用できることが理解されるであろう。また、代替的な実施形態では、個々の特
徴を他の方法で規定したり、符号化したりすることもできることが理解されるであろう。
例えば、図７において複数の特徴１７０Ｂで示すように、異なる数のダッシュを使ったり
、あるいはダッシュとドットの異なる組み合わせを使ったりして、各リングをダッシュ表
示することもできる。別の例として、色分けによって符号化した円またはドットを使用し
てもよい。特定の実施態様では、物理的オブジェクト上で平坦な面（すなわち平面）を成
す狭い領域内にある個々の特徴をグループ化することもできる。個々の特徴の間の相対位
置、ならびに（個々の特徴間の区別を可能にする）各特徴の符号化方式は、較正データと
して格納しておくことができる。
【0058】
本実施形態では、図８に示すように、物理的オブジェクトの２次元表面上に（いくつか
の黒エリアといくつかの白エリアとの組み合わせの形で）設けられた特徴１７０Ｃによっ
て、物理的オブジェクト座標系ＰＯＣＳが定義される。すなわち、これらの特徴１７０Ｃ
が、物理的オブジェクト座標系ＰＯＣＳ全体に広がっている。これは、カメラ１６０から
受信したビジョンデータセットにおいて、物理的オブジェクトの表面上に定められた特徴
（トラッカ特徴とも呼ぶ）の識別、復号が行われれば、直ちに、物理的オブジェクト座標
系ＰＯＣＳと、この物理的オブジェクト座標系ＰＯＣＳ内のこれら特徴の座標とを一緒に
特定できることを意味する。また、通常、システム２０は、物理的オブジェクトの上に設
けられる各特徴の相対位置と符号化方式に関する事前知識も（較正データの形で）有する
ことになる。
の黒エリアといくつかの白エリアとの組み合わせの形で）設けられた特徴１７０Ｃによっ
て、物理的オブジェクト座標系ＰＯＣＳが定義される。すなわち、これらの特徴１７０Ｃ
が、物理的オブジェクト座標系ＰＯＣＳ全体に広がっている。これは、カメラ１６０から
受信したビジョンデータセットにおいて、物理的オブジェクトの表面上に定められた特徴
（トラッカ特徴とも呼ぶ）の識別、復号が行われれば、直ちに、物理的オブジェクト座標
系ＰＯＣＳと、この物理的オブジェクト座標系ＰＯＣＳ内のこれら特徴の座標とを一緒に
特定できることを意味する。また、通常、システム２０は、物理的オブジェクトの上に設
けられる各特徴の相対位置と符号化方式に関する事前知識も（較正データの形で）有する
ことになる。
【0059】
トラッカ特徴は、ナビゲーションコンピュータ３４とマニピュレータコントローラ６４
の少なくとも一方が、各トラッカ特徴のパターン認識や各特徴に埋め込まれた符号化され
た情報の利用などによって、各特徴に基づいて物理的オブジェクトの識別あるいは物理的
オブジェクトに関する情報の識別ができるように、一意に設定されるか、これに加えてま
たは代えて符号化されている。そのような情報には、物理的オブジェクト識別情報、物理
的オブジェクトの種類、物理的オブジェクトの大きさ、物理的オブジェクトの寸法、物理
的オブジェクトのシリアル番号、および物理的オブジェクトの製造業者のうちの１つ以上
が含まれ得る。
の少なくとも一方が、各トラッカ特徴のパターン認識や各特徴に埋め込まれた符号化され
た情報の利用などによって、各特徴に基づいて物理的オブジェクトの識別あるいは物理的
オブジェクトに関する情報の識別ができるように、一意に設定されるか、これに加えてま
たは代えて符号化されている。そのような情報には、物理的オブジェクト識別情報、物理
的オブジェクトの種類、物理的オブジェクトの大きさ、物理的オブジェクトの寸法、物理
的オブジェクトのシリアル番号、および物理的オブジェクトの製造業者のうちの１つ以上
が含まれ得る。
【0060】
図９を参照すると、ある物理的オブジェクトが識別されると、ナビゲーションコンピュ
ータ３４とマニピュレータコントローラ６４の少なくとも一方が、メモリ内の、例えば物
理的オブジェクトデータベースなどから、この識別された物理的オブジェクトに関連付け
られた仮想オブジェクト１６４を物理的オブジェクト座標系ＰＯＣＳ内に読み出すことが
できる。あるいは、物理的オブジェクト上の各特徴を、仮想オブジェクト識別情報、仮想
オブジェクトの種類、仮想オブジェクトの大きさ、または仮想オブジェクトの寸法などの
仮想オブジェクトに関する情報で符号化してもよい。例えば、ナビゲーションコンピュー
タ３４に格納した物理的オブジェクトデータベースを、いくつかの異なる製造業者が製造
した、いくつかの異なる種類の、そしていくつかの異なる大きさと構成の複数の物理的オ
ブジェクトで構成することができる。そして、各特徴に埋め込まれた符号化された情報に
よって、ナビゲーションコンピュータ３４は、ビジョンデータセット内に視認される物理
的オブジェクトの各特徴に基づいて、この特定の物理的オブジェクトに関する具体的な細
部を識別し、この物理的オブジェクトに関連付けられた特定の仮想オブジェクトを読み出
すことが可能となる。従って、例えば、物理的オブジェクトがある特定のサイズの開創器
であると識別された場合、これに関連付けられた仮想オブジェクトはそれと同程度のサイ
ズであり得る。
ータ３４とマニピュレータコントローラ６４の少なくとも一方が、メモリ内の、例えば物
理的オブジェクトデータベースなどから、この識別された物理的オブジェクトに関連付け
られた仮想オブジェクト１６４を物理的オブジェクト座標系ＰＯＣＳ内に読み出すことが
できる。あるいは、物理的オブジェクト上の各特徴を、仮想オブジェクト識別情報、仮想
オブジェクトの種類、仮想オブジェクトの大きさ、または仮想オブジェクトの寸法などの
仮想オブジェクトに関する情報で符号化してもよい。例えば、ナビゲーションコンピュー
タ３４に格納した物理的オブジェクトデータベースを、いくつかの異なる製造業者が製造
した、いくつかの異なる種類の、そしていくつかの異なる大きさと構成の複数の物理的オ
ブジェクトで構成することができる。そして、各特徴に埋め込まれた符号化された情報に
よって、ナビゲーションコンピュータ３４は、ビジョンデータセット内に視認される物理
的オブジェクトの各特徴に基づいて、この特定の物理的オブジェクトに関する具体的な細
部を識別し、この物理的オブジェクトに関連付けられた特定の仮想オブジェクトを読み出
すことが可能となる。従って、例えば、物理的オブジェクトがある特定のサイズの開創器
であると識別された場合、これに関連付けられた仮想オブジェクトはそれと同程度のサイ
ズであり得る。
【0061】
物理的オブジェクト座標系ＰＯＣＳ内の特徴座標をビジョン座標系ＶＩＳに変換するこ
とにより、仮想オブジェクト１６４をビジョン座標系ＶＩＳに変換することもできる。ま
た（図９に示すように）、仮想オブジェクト１６４をローカライザ座標系ＬＣＬＺにさら
に変換して、外科器具３０の動きを、仮想オブジェクト１６４に対して追跡することもで
きる。この点に関して、仮想オブジェクト１６４は、特徴座標に対して事前に定義されて
いる。例えば、開創器の場合、各開創器の特徴に応じて定められた関連モデルデータを有
する複数の開創器の仮想オブジェクトが、３次元モデルとして製造時に事前に定義されて
おり、これにより、物理的オブジェクト座標系ＰＯＣＳにおいて、対象の仮想オブジェク
トの位置および向きを知ることができる。
とにより、仮想オブジェクト１６４をビジョン座標系ＶＩＳに変換することもできる。ま
た（図９に示すように）、仮想オブジェクト１６４をローカライザ座標系ＬＣＬＺにさら
に変換して、外科器具３０の動きを、仮想オブジェクト１６４に対して追跡することもで
きる。この点に関して、仮想オブジェクト１６４は、特徴座標に対して事前に定義されて
いる。例えば、開創器の場合、各開創器の特徴に応じて定められた関連モデルデータを有
する複数の開創器の仮想オブジェクトが、３次元モデルとして製造時に事前に定義されて
おり、これにより、物理的オブジェクト座標系ＰＯＣＳにおいて、対象の仮想オブジェク
トの位置および向きを知ることができる。
【0062】
代替的な実施形態では、ユーザがナビゲーションポインタまたは外科器具３０を使用し
て仮想オブジェクト１６４を定義することができ、この場合、外科器具３０の座標が既知
であることから、物理的オブジェクトに対する仮想オブジェクト１６４の事前知識は不要
となる。よってこの場合、ユーザは、ナビゲーションポインタを用いて輪郭線を描画する
だけで、「進入禁止（no-fly）」ゾーンの、例えば点、線、体積、面積などを定義するこ
とができる。そして、こうしてトレースした（輪郭線を描画した）ゾーンによって、仮想
オブジェクト１６４の追跡のために使用されている１つ以上の特徴に関連して、仮想オブ
ジェクト１６４が構築される。
て仮想オブジェクト１６４を定義することができ、この場合、外科器具３０の座標が既知
であることから、物理的オブジェクトに対する仮想オブジェクト１６４の事前知識は不要
となる。よってこの場合、ユーザは、ナビゲーションポインタを用いて輪郭線を描画する
だけで、「進入禁止（no-fly）」ゾーンの、例えば点、線、体積、面積などを定義するこ
とができる。そして、こうしてトレースした（輪郭線を描画した）ゾーンによって、仮想
オブジェクト１６４の追跡のために使用されている１つ以上の特徴に関連して、仮想オブ
ジェクト１６４が構築される。
【0063】
仮想オブジェクト１６４は、開創器１６２が占める空間などの、外科手術中に避けるべ
き立体領域や平面領域を定義することができる。図９に示すように、仮想オブジェクト１
６４は、ローカライザ座標系ＬＣＬＺにおいて標的部位ＴＳの外部に定義されてもよい。
また他の実施形態では、仮想オブジェクトの一部が標的部位ＴＳの外部に存在してもよい
。仮想オブジェクト１６４は、ナビゲーションプロセッサ６２によって処理されて、ディ
スプレイ３６，３８上に表示され、ユーザに示される。これによりユーザは、標的部位Ｔ
Ｓや、例えば開創器１６２などの仮想オブジェクト１６４に対する外科器具３０の位置お
よび向きを視覚的に捉えることができる。場合によっては、仮想オブジェクト１６４は、
３次元モデル、２次元の面、点群、ボクセル立体、メッシュ面、平面、線、単点のうちの
１つ以上を含む。
き立体領域や平面領域を定義することができる。図９に示すように、仮想オブジェクト１
６４は、ローカライザ座標系ＬＣＬＺにおいて標的部位ＴＳの外部に定義されてもよい。
また他の実施形態では、仮想オブジェクトの一部が標的部位ＴＳの外部に存在してもよい
。仮想オブジェクト１６４は、ナビゲーションプロセッサ６２によって処理されて、ディ
スプレイ３６，３８上に表示され、ユーザに示される。これによりユーザは、標的部位Ｔ
Ｓや、例えば開創器１６２などの仮想オブジェクト１６４に対する外科器具３０の位置お
よび向きを視覚的に捉えることができる。場合によっては、仮想オブジェクト１６４は、
３次元モデル、２次元の面、点群、ボクセル立体、メッシュ面、平面、線、単点のうちの
１つ以上を含む。
【0064】
なお、標的部位ＴＳの近くにある組織の中には弾力性や柔軟性を有するものがあり、そ
のような弾力性や柔軟性のため、外科処置の間に、開創器１６２などの物理的オブジェク
トが標的部位ＴＳに対して動く可能性がある。これを受けて、システム２０は、ローカラ
イザ座標系ＬＣＬＺなどの関心対象の座標系において、例えば開創器１６２に関連付けら
れた仮想オブジェクト１６４などの仮想オブジェクトについて特定した姿勢を、定期的に
最新のものに更新する。このような仮想オブジェクトの姿勢の更新は、ローカライザが行
う、トラッカ５４，５６，５８の姿勢の更新と同じ頻度で行われてもよく、マニピュレー
タコントローラ６４が行う、ツール経路に沿った外科器具の新たな指令位置の計算と同じ
頻度で行われてもよく、あるいは、任意の他の適切な頻度で行われてもよい。場合によっ
ては、一部の物理的オブジェクトの姿勢の更新を、他の物理的オブジェクトよりも遅くす
ることもできる。例えば、外科器具３０の位置把握がより重要である場合があるため、開
創器１６２の位置の更新頻度を、標的部位ＴＳに対する外科器具３０の位置の更新頻度よ
りも低くすることもできる。
のような弾力性や柔軟性のため、外科処置の間に、開創器１６２などの物理的オブジェク
トが標的部位ＴＳに対して動く可能性がある。これを受けて、システム２０は、ローカラ
イザ座標系ＬＣＬＺなどの関心対象の座標系において、例えば開創器１６２に関連付けら
れた仮想オブジェクト１６４などの仮想オブジェクトについて特定した姿勢を、定期的に
最新のものに更新する。このような仮想オブジェクトの姿勢の更新は、ローカライザが行
う、トラッカ５４，５６，５８の姿勢の更新と同じ頻度で行われてもよく、マニピュレー
タコントローラ６４が行う、ツール経路に沿った外科器具の新たな指令位置の計算と同じ
頻度で行われてもよく、あるいは、任意の他の適切な頻度で行われてもよい。場合によっ
ては、一部の物理的オブジェクトの姿勢の更新を、他の物理的オブジェクトよりも遅くす
ることもできる。例えば、外科器具３０の位置把握がより重要である場合があるため、開
創器１６２の位置の更新頻度を、標的部位ＴＳに対する外科器具３０の位置の更新頻度よ
りも低くすることもできる。
【0065】
いくつかの実施形態では、仮想オブジェクトを、複数の物理的オブジェクトの位置に基
づいて作成することもできる。例えば、２つ以上の開創器１６２の位置によって、仮想切
開部１６８（図９を参照）を図示のように定義することができる。この場合の仮想切開部
１６８は、開創器１６２が描く輪郭を境界とする仮想開口部となり得る。従って、開創器
１６２に調整が加えられる度に、仮想切開部１６８の構成は変化し得る。つまり、仮想切
開部１６８は動的な性質を有しており、形状が変化する可能性があるが、本明細書に記載
のナビゲーション技術を用いれば、仮想切開部１６８が、新たなビジョンデータセットで
絶えず更新されるため、外科処置の間に標的部位ＴＳの近くで変化が生じたとしても、器
具３０は、物理的オブジェクト（つまり、当該物理的オブジェクトに関連付けられた仮想
オブジェクトが定義する境界）を避けることできる。
づいて作成することもできる。例えば、２つ以上の開創器１６２の位置によって、仮想切
開部１６８（図９を参照）を図示のように定義することができる。この場合の仮想切開部
１６８は、開創器１６２が描く輪郭を境界とする仮想開口部となり得る。従って、開創器
１６２に調整が加えられる度に、仮想切開部１６８の構成は変化し得る。つまり、仮想切
開部１６８は動的な性質を有しており、形状が変化する可能性があるが、本明細書に記載
のナビゲーション技術を用いれば、仮想切開部１６８が、新たなビジョンデータセットで
絶えず更新されるため、外科処置の間に標的部位ＴＳの近くで変化が生じたとしても、器
具３０は、物理的オブジェクト（つまり、当該物理的オブジェクトに関連付けられた仮想
オブジェクトが定義する境界）を避けることできる。
【0066】
仮想オブジェクトは避けるべき立体領域または境界を定義することができることから、
仮想オブジェクトによって、外科器具３０の治療端が進入できない「進入禁止」ゾーンを
作成することもできる。「進入禁止」ゾーンは、標的部位の近くに位置する、繊細な生体
的構造や、硬い構造、軟組織、骨のような温存すべき部位や、他のツールなどに関連付け
ることができる。マニピュレータ６６は、ローカライザ座標系ＬＣＬＺなどの共通座標系
における仮想オブジェクトの位置を把握しているため、マニピュレータ６６が自律モード
で動作している場合には、マニピュレータ６６が、仮想オブジェクトを避けるように外科
器具３０の位置決めを制御して、標的部位の近くに位置する、繊細な生体的構造や、硬い
構造、軟組織、骨のような温存すべき部位や、他のツールなどを避けることができる。一
方、ロボット装置と器具３０の少なくとも一方を手動操作している場合には、「進入禁止
」ゾーンは、触覚境界として機能し、ユーザが器具３０を「進入禁止」ゾーンに入れてし
まうのを防ぐ触覚フィードバックをユーザに与える。例えば、各物理的オブジェクトが開
創器である場合、開創器の仮想３次元モデルの形をとる仮想オブジェクトが、各物理的オ
ブジェクトに関連付けられて設けられる。この物理的オブジェクトは、カメラ１６０によ
って追跡されているため、開創器に対する外科器具３０の治療端の相対的な動きを追跡す
ることによって、この物理的オブジェクトを避けることが可能となる。そして、もし開創
器の１つが外科器具３０のツール経路上に位置しているようなことがあれば、マニピュレ
ータコントローラ６４が、当該ツール経路に調整を加えるか、あるいは外科器具３０の動
きを停止させることができる。あるいは、手動操作モードの場合であれば、そのままでは
ロボット装置と器具３０の少なくとも一方が開創器の１つと衝突してしまうような動きが
あれば、マニピュレータコントローラ６４がその動きを制限または停止することができる
。これは、手動操作中に器具３０が「進入禁止」ゾーンに差し掛かると、マニピュレータ
コントローラ６４が、関節モータ、ブレーキなどのうち１つ以上を能動的に作動させて、
ユーザへの触覚フィードバックを生成するなどの方法で行われる。同様に、例えば開創器
の１つなどの物理的オブジェクトが、計画されたツール経路の妨げとなっている場合には
、ナビゲーションシステムが、それをユーザに警告して、当該物理的オブジェクトを移動
するようにユーザに通知することもできる。
仮想オブジェクトによって、外科器具３０の治療端が進入できない「進入禁止」ゾーンを
作成することもできる。「進入禁止」ゾーンは、標的部位の近くに位置する、繊細な生体
的構造や、硬い構造、軟組織、骨のような温存すべき部位や、他のツールなどに関連付け
ることができる。マニピュレータ６６は、ローカライザ座標系ＬＣＬＺなどの共通座標系
における仮想オブジェクトの位置を把握しているため、マニピュレータ６６が自律モード
で動作している場合には、マニピュレータ６６が、仮想オブジェクトを避けるように外科
器具３０の位置決めを制御して、標的部位の近くに位置する、繊細な生体的構造や、硬い
構造、軟組織、骨のような温存すべき部位や、他のツールなどを避けることができる。一
方、ロボット装置と器具３０の少なくとも一方を手動操作している場合には、「進入禁止
」ゾーンは、触覚境界として機能し、ユーザが器具３０を「進入禁止」ゾーンに入れてし
まうのを防ぐ触覚フィードバックをユーザに与える。例えば、各物理的オブジェクトが開
創器である場合、開創器の仮想３次元モデルの形をとる仮想オブジェクトが、各物理的オ
ブジェクトに関連付けられて設けられる。この物理的オブジェクトは、カメラ１６０によ
って追跡されているため、開創器に対する外科器具３０の治療端の相対的な動きを追跡す
ることによって、この物理的オブジェクトを避けることが可能となる。そして、もし開創
器の１つが外科器具３０のツール経路上に位置しているようなことがあれば、マニピュレ
ータコントローラ６４が、当該ツール経路に調整を加えるか、あるいは外科器具３０の動
きを停止させることができる。あるいは、手動操作モードの場合であれば、そのままでは
ロボット装置と器具３０の少なくとも一方が開創器の１つと衝突してしまうような動きが
あれば、マニピュレータコントローラ６４がその動きを制限または停止することができる
。これは、手動操作中に器具３０が「進入禁止」ゾーンに差し掛かると、マニピュレータ
コントローラ６４が、関節モータ、ブレーキなどのうち１つ以上を能動的に作動させて、
ユーザへの触覚フィードバックを生成するなどの方法で行われる。同様に、例えば開創器
の１つなどの物理的オブジェクトが、計画されたツール経路の妨げとなっている場合には
、ナビゲーションシステムが、それをユーザに警告して、当該物理的オブジェクトを移動
するようにユーザに通知することもできる。
【0067】
ここで図１０を参照すると、図１０は、標的部位を基準に物理的オブジェクトを追跡す
る方法の一実施形態を示している。この実施形態では、ロボット装置を自律モードで動作
させている。第１のステップ３００では、標的部位を治療するために外科器具３０が標的
部位に対して自律的に動かされることによって、カメラ１６０が標的部位の近くの物理的
オブジェクトに対して相対的に動かされる。さらに、カメラ１６０自身も、物理的オブジ
ェクトに対して自律的に動き、ステップ３０２で、複数の視点から取得した物理的オブジ
ェクトのビジョンデータセットを生成する（ただし、１方向の視点のみで十分な場合もあ
る）。そして、ビジョンデータセットは、ビジョン座標系ＶＩＳ上で定義される。
る方法の一実施形態を示している。この実施形態では、ロボット装置を自律モードで動作
させている。第１のステップ３００では、標的部位を治療するために外科器具３０が標的
部位に対して自律的に動かされることによって、カメラ１６０が標的部位の近くの物理的
オブジェクトに対して相対的に動かされる。さらに、カメラ１６０自身も、物理的オブジ
ェクトに対して自律的に動き、ステップ３０２で、複数の視点から取得した物理的オブジ
ェクトのビジョンデータセットを生成する（ただし、１方向の視点のみで十分な場合もあ
る）。そして、ビジョンデータセットは、ビジョン座標系ＶＩＳ上で定義される。
【0068】
ステップ３０４では、１つ以上の特徴、好ましくは少なくとも３つまたは４つの特徴が
ビジョンデータセット内で識別される。そして、ステップ３０６で、カメラ１６０がビジ
ョン座標系ＶＩＳにおける各特徴の特徴座標を特定することができるように、これらの特
徴を特徴セット１７０にグループ化してしてもよい。そして、これらの特徴や他の視覚的
識別子（一部の実施形態では、これらは符号化されている）が、パターン認識技術を使用
して認識される。この認識に基づいて、ステップ３１０では、ナビゲーションコンピュー
タ３４とマニピュレータコントローラ６４の少なくとも一方によって、物理的オブジェク
トに関する情報を取り込むことができる。この情報には、例えば、特徴座標に対する物理
的オブジェクト座標系ＰＯＣＳの位置および向きが含まれ得る。
ビジョンデータセット内で識別される。そして、ステップ３０６で、カメラ１６０がビジ
ョン座標系ＶＩＳにおける各特徴の特徴座標を特定することができるように、これらの特
徴を特徴セット１７０にグループ化してしてもよい。そして、これらの特徴や他の視覚的
識別子（一部の実施形態では、これらは符号化されている）が、パターン認識技術を使用
して認識される。この認識に基づいて、ステップ３１０では、ナビゲーションコンピュー
タ３４とマニピュレータコントローラ６４の少なくとも一方によって、物理的オブジェク
トに関する情報を取り込むことができる。この情報には、例えば、特徴座標に対する物理
的オブジェクト座標系ＰＯＣＳの位置および向きが含まれ得る。
【0069】
そして、ステップ３１２では、座標変換器１０２によって、物理的オブジェクト座標系
ＰＯＣＳを、ビジョン座標系ＶＩＳに変換し、そしてさらにローカライザ座標系ＬＣＬＺ
に変換することができる。ステップ３１４では、仮想オブジェクトが物理的オブジェクト
に関連付けられる。仮想オブジェクトは、メモリから読み出されて、物理的オブジェクト
座標系ＰＯＣＳで定義され、さらに上述の座標変換によって、ビジョン座標系ＶＩＳに対
して定義され、その後、ローカライザ座標系ＬＣＬＺに対して定義される。ステップ３１
６では、マニピュレータコントローラ６４は、マニピュレータ６６やこれに取り付けられ
た外科器具３０の自律的な動きを制御することによって、外科器具３０が物理的オブジェ
クトを避けるか、または物理的オブジェクトが規定する他の制限事項を満たすことができ
るようにする。
ＰＯＣＳを、ビジョン座標系ＶＩＳに変換し、そしてさらにローカライザ座標系ＬＣＬＺ
に変換することができる。ステップ３１４では、仮想オブジェクトが物理的オブジェクト
に関連付けられる。仮想オブジェクトは、メモリから読み出されて、物理的オブジェクト
座標系ＰＯＣＳで定義され、さらに上述の座標変換によって、ビジョン座標系ＶＩＳに対
して定義され、その後、ローカライザ座標系ＬＣＬＺに対して定義される。ステップ３１
６では、マニピュレータコントローラ６４は、マニピュレータ６６やこれに取り付けられ
た外科器具３０の自律的な動きを制御することによって、外科器具３０が物理的オブジェ
クトを避けるか、または物理的オブジェクトが規定する他の制限事項を満たすことができ
るようにする。
【0070】
なお、上記では、物理的オブジェクトに関連付けた仮想オブジェクトを、ローカライザ
座標系ＬＣＬＺに変換して、外科器具３０の治療端および標的部位を基準に物理的オブジ
ェクトを追跡しているが、マニピュレータ座標系ＭＮＰＬなどの任意の共通座標系を使用
して、外科器具３０と、標的部位と、物理的オブジェクトとの間の相対的な動きや姿勢を
追跡することができることも理解されたい。
座標系ＬＣＬＺに変換して、外科器具３０の治療端および標的部位を基準に物理的オブジ
ェクトを追跡しているが、マニピュレータ座標系ＭＮＰＬなどの任意の共通座標系を使用
して、外科器具３０と、標的部位と、物理的オブジェクトとの間の相対的な動きや姿勢を
追跡することができることも理解されたい。
【0071】
当業者であれば理解するように、本実施形態の各態様は、コンピュータ可読プログラム
コードが埋め込まれた１つ以上のコンピュータ可読媒体という形で実施されるコンピュー
タプログラム製品の形態をとることがある。本明細書に記載の方法を実行するための命令
またはコードを含むコンピュータソフトウェアは、（例えば、ＲＯＭ、固定メモリ、着脱
式メモリなどの）関連メモリデバイスの１つ以上に格納しておき、利用準備が整えば、（
例えばＲＡＭに）一部または全体をロードして、ＣＰＵが実行してもよい。そのようなソ
フトウェアとしては、ファームウェア、常駐ソフトウェア、マイクロコードなどを挙げる
ことができるが、これらに限定されない。
コードが埋め込まれた１つ以上のコンピュータ可読媒体という形で実施されるコンピュー
タプログラム製品の形態をとることがある。本明細書に記載の方法を実行するための命令
またはコードを含むコンピュータソフトウェアは、（例えば、ＲＯＭ、固定メモリ、着脱
式メモリなどの）関連メモリデバイスの１つ以上に格納しておき、利用準備が整えば、（
例えばＲＡＭに）一部または全体をロードして、ＣＰＵが実行してもよい。そのようなソ
フトウェアとしては、ファームウェア、常駐ソフトウェア、マイクロコードなどを挙げる
ことができるが、これらに限定されない。
【0072】
他の実施形態では、物理的オブジェクトの特徴座標やモデルの特定を、ＳｆＭ（Struct
ure from Motion）技術やＳＬＡＭ（Simultaneous Localization and Mapping）技術、姿
勢推定技術のうち１つ以上の技術を用いて行うことができる。例えば、ＳＬＡＭは、特徴
群に対して適用することができる。また他の例として、ＳｆＭによって、異なる複数の視
点から取得したビジョンデータセットにおいて識別可能な個々の特徴（必ずしも特徴群で
なくてもよい）それぞれについて特徴の軌跡を構築することができる。そして、これら個
々の特徴の軌跡に対して、（カメラの）異なる複数の視点に基づいた三角測量を適用する
ことができる。三角測量を利用して、（例えば、物理的オブジェクト座標系上で）特徴座
標を３次元に復元し、そして場合によっては最適化することもできる。
ure from Motion）技術やＳＬＡＭ（Simultaneous Localization and Mapping）技術、姿
勢推定技術のうち１つ以上の技術を用いて行うことができる。例えば、ＳＬＡＭは、特徴
群に対して適用することができる。また他の例として、ＳｆＭによって、異なる複数の視
点から取得したビジョンデータセットにおいて識別可能な個々の特徴（必ずしも特徴群で
なくてもよい）それぞれについて特徴の軌跡を構築することができる。そして、これら個
々の特徴の軌跡に対して、（カメラの）異なる複数の視点に基づいた三角測量を適用する
ことができる。三角測量を利用して、（例えば、物理的オブジェクト座標系上で）特徴座
標を３次元に復元し、そして場合によっては最適化することもできる。
【0073】
以上のように、いくつかの実施形態について説明してきたが、本明細書の実施形態は、
本発明を包括的に説明することを意図したものではなく、また本発明を特定の形態に限定
することを意図したものでもない。上述の記載において使用した用語は、限定的なもので
はなく記述的なものであることを意図している。また、上述の教示に基づいて多くの変更
および変形が可能であり、上述において具体的に記載したものとは異なる方法によって本
発明を実施することも可能である。
本発明を包括的に説明することを意図したものではなく、また本発明を特定の形態に限定
することを意図したものでもない。上述の記載において使用した用語は、限定的なもので
はなく記述的なものであることを意図している。また、上述の教示に基づいて多くの変更
および変形が可能であり、上述において具体的に記載したものとは異なる方法によって本
発明を実施することも可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2022-09-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
物理的オブジェクトを追跡するためのシステムであって、
ロボット装置と、
組織を処理するように構成されている、前記ロボット装置に取り付け可能な器具と、
前記ロボット装置と共に動かすことができるように、前記ロボット装置および前記器具のうちいずれか一方に取り付けられるビジョン装置であって、前記ロボット装置を動かしている間に、該ビジョン装置が複数の自由度で動かされることによって可能となる複数の視点から取り込んだ前記物理的オブジェクトの複数のビジョンデータセットを生成するように構成されているビジョン装置と、
少なくとも１つのプロセッサを有し、前記ビジョン装置と通信を行う１つ以上のコントローラであって、前記ビジョンデータセットにおいて識別可能な前記物理的オブジェクトの１つ以上の特徴に基づいて、前記物理的オブジェクトに、前記物理的オブジェクトに対する前記ロボット装置の動きに対する制限を規定する仮想境界を少なくとも部分的に規定する仮想オブジェクトを関連付けるように構成されている１つ以上のコントローラと
を備えてなる、物理的オブジェクトを追跡するためのシステム。
ロボット装置と、
組織を処理するように構成されている、前記ロボット装置に取り付け可能な器具と、
前記ロボット装置と共に動かすことができるように、前記ロボット装置および前記器具のうちいずれか一方に取り付けられるビジョン装置であって、前記ロボット装置を動かしている間に、該ビジョン装置が複数の自由度で動かされることによって可能となる複数の視点から取り込んだ前記物理的オブジェクトの複数のビジョンデータセットを生成するように構成されているビジョン装置と、
少なくとも１つのプロセッサを有し、前記ビジョン装置と通信を行う１つ以上のコントローラであって、前記ビジョンデータセットにおいて識別可能な前記物理的オブジェクトの１つ以上の特徴に基づいて、前記物理的オブジェクトに、前記物理的オブジェクトに対する前記ロボット装置の動きに対する制限を規定する仮想境界を少なくとも部分的に規定する仮想オブジェクトを関連付けるように構成されている１つ以上のコントローラと
を備えてなる、物理的オブジェクトを追跡するためのシステム。
【請求項2】
前記１つ以上のコントローラは前記ロボット装置とさらに通信を行い、前記ロボット装置は前記ロボット装置の動きを可能にする１つ以上のアクチュエータをさらに含み、前記１つ以上のコントローラは、前記ロボット装置の位置および向きを、前記仮想オブジェクトの位置および向きに対して比較するようにさらに構成される、請求項１に記載のシステム。
【請求項3】
前記ロボット装置の位置および向きを前記仮想オブジェクトの位置および向きに対して比較することに基づいて、前記１つ以上のコントローラは、前記ロボット装置が前記仮想境界を超えないように前記物理的オブジェクトに対する前記ロボット装置の動きを制限するように、前記１つ以上のアクチュエータを制御するようにさらに構成される、請求項２に記載のシステム。
【請求項4】
前記ビジョン装置はカメラを含む、請求項１に記載のシステム。
【請求項5】
前記１つ以上のコントローラは、前記ビジョンデータセットが生成される前記ビジョン装置の各位置において、前記ビジョン装置の位置および向きを追跡するように構成される、請求項１に記載のシステム。
【請求項6】
前記１つ以上のコントローラは、前記物理的オブジェクトの１つ以上の特徴に基づいて前記物理的オブジェクトの固有性を決定し、前記物理的オブジェクトの固有性に基づいて前記仮想オブジェクトを前記物理的オブジェクトと関連付けるように構成される、請求項１に記載のシステム。
【請求項7】
前記１つ以上の特徴は、前記ビジョンデータセットにおいて識別可能な特徴のセットを含み、前記１つ以上のコントローラは、前記特徴のセットの位置および向きを決定して、前記物理的オブジェクトに関連する第１の座標系の位置および向きを確立するように構成される、請求項１に記載のシステム。
【請求項8】
前記ロボット装置および前記機器のうちの一方の第２の座標系へと前記ビジョンデータセットが変換可能であるように、前記ビジョン装置は、前記ロボット装置および前記機器のうちの一方に対して固定され、前記１つ以上のコントローラは、前記物理的オブジェクトに対する前記ロボット装置の動きを追跡できるように前記座標系の１つを変換するように構成された座標変換器を含む、請求項７に記載のシステム。
【請求項9】
前記１つ以上のコントローラは、前記１つ以上の特徴に基づいて前記物理的オブジェクトに関連する情報を決定するように構成されており、該情報は、物理的オブジェクト識別情報、物理的オブジェクトの種類、物理的オブジェクトの大きさ、物理的オブジェクトの寸法、物理的オブジェクトのシリアル番号、物理的オブジェクトの製造業者、仮想オブジェクト識別情報、仮想オブジェクトの種類、仮想オブジェクトの大きさ、および仮想オブジェクトの寸法の１以上のものを含む、請求項１に記載のシステム。
【請求項10】
前記ロボット装置は、前記ロボット装置が自律モードで動作している場合には、前記ビジョン装置が自律的に動くように自律モードで動作するように構成される、請求項１に記載のシステム。
【請求項11】
ロボット装置と、組織を治療するように構成され、該ロボット装置に取り付け可能な器具と、該ロボット装置および前記器具のうち一方に取り付けられ、該ロボット装置と共に動くことができるビジョン装置と、該ビジョン装置と通信を行う、少なくとも一つのプロセッサを有する１つ以上のコントローラとを含むシステムを利用して、物理的オブジェクトを追跡するための方法であって、
前記ロボット装置の動きに起因する前記ビジョン装置の動きに応じて、前記物理的オブジェクトの複数の視点から取り込んだビジョンデータセットを、前記ビジョン装置を利用して生成するステップと、
前記１つ以上のコントローラにより、前記ビジョンデータセットにおいて識別可能な前記物理的オブジェクトの１つ以上の特徴に基づいて、前記物理的オブジェクトに、前記物理的オブジェクトに対する前記ロボット装置の動きに対する制限を規定する仮想境界を規定する仮想オブジェクトを関連付けるステップと
を含んでなる、物理的オブジェクトを追跡するための方法。
前記ロボット装置の動きに起因する前記ビジョン装置の動きに応じて、前記物理的オブジェクトの複数の視点から取り込んだビジョンデータセットを、前記ビジョン装置を利用して生成するステップと、
前記１つ以上のコントローラにより、前記ビジョンデータセットにおいて識別可能な前記物理的オブジェクトの１つ以上の特徴に基づいて、前記物理的オブジェクトに、前記物理的オブジェクトに対する前記ロボット装置の動きに対する制限を規定する仮想境界を規定する仮想オブジェクトを関連付けるステップと
を含んでなる、物理的オブジェクトを追跡するための方法。
【請求項12】
前記１つ以上のコントローラは前記ロボット装置と通信を行い、前記ロボット装置は前記ロボット装置の動きを可能にする１つ以上のアクチュエータをさらに備え、前記１つ以上のコントローラを利用して、前記ロボット装置の位置および向きを、前記仮想オブジェクトの位置および向きに対して比較するステップをさらに含む、請求項１１に記載の方法。
【請求項13】
前記ロボット装置の位置および向きを前記仮想オブジェクトの位置および向きに対して比較することに基づいて、前記１つ以上のコントローラを利用して、前記ロボット装置が前記仮想境界を超えないように前記物理的オブジェクトに対する前記ロボット装置の動きを制限するために、前記１つ以上のアクチュエータを制御するステップをさらに含む、請求項１２に記載の方法。
【請求項14】
前記ビジョンデータセットが生成される前記ビジョン装置の各位置において、前記ビジョン装置の位置および向きを追跡することを含む、請求項１１に記載の方法。
【請求項15】
前記物理的オブジェクトの１つ以上の特徴に基づいて、前記物理的オブジェクトの固有性を決定するステップと、
前記物理的オブジェクトの固有性に基づいて、前記仮想オブジェクトを前記物理的オブジェクトに関連付けるステップと
を含む、請求項１１に記載の方法。
前記物理的オブジェクトの固有性に基づいて、前記仮想オブジェクトを前記物理的オブジェクトに関連付けるステップと
を含む、請求項１１に記載の方法。
【請求項16】
前記ビジョンデータセットにおいて識別可能な特徴のセットの位置および向きを決定して、前記物理的オブジェクトに関連する第１の座標系の位置および向きを確立するステップを含む、請求項１１に記載の方法。
【請求項17】
前記ロボット装置および前記器具のうちの一方の第２の座標系へと前記ビジョンデータセットを変換するステップと、
前記座標系のうちの１つを変換して、前記１つ以上のコントローラが前記物理的オブジェクトに対する前記ロボット装置の動きを追跡することを可能にするステップと
を含む、請求項１６に記載の方法。
前記座標系のうちの１つを変換して、前記１つ以上のコントローラが前記物理的オブジェクトに対する前記ロボット装置の動きを追跡することを可能にするステップと
を含む、請求項１６に記載の方法。
【請求項18】
前記１つ以上の特徴に基づいて前記物理的オブジェクトに関連する情報を決定するステップを含み、該情報は、物理的オブジェクト識別情報、物理的オブジェクトの種類、物理的オブジェクトの大きさ、物理的オブジェクトの寸法、物理的オブジェクトのシリアル番号、物理的オブジェクトの製造業者、仮想オブジェクト識別情報、仮想オブジェクトの種類、仮想オブジェクトの大きさ、及び仮想オブジェクトの寸法のうちの１つ以上を含む、請求項１１に記載の方法。
【請求項19】
前記ビジョン装置が自律的に動いて前記ビジョンデータセットを取り込むように、前記ロボット装置を自律的に動かすステップを含む、請求項１１に記載の方法。
【請求項20】
ロボット装置と、該ロボット装置に取り付け可能な器具と、該ロボット装置と共に動くことができるように、該ロボット装置および前記器具のうちの一方に取り付けられたビジョン装置と、該ロボット装置および前記ビジョン装置と通信を行う、少なくとも１つのプロセッサを有する１つ以上のコントローラとを含むシステムを操作する方法であって、
前記ロボット装置の動きに起因する前記ビジョン装置の動きに応じて、物理的オブジェクトの複数の視点から取り込んだビジョンデータセットを、前記ビジョン装置を利用して生成するステップと、
前記１つ以上のコントローラを利用して、前記ビジョンデータセットにおいて識別可能な物理オブジェクトの１つ以上の特徴に基づいて、前記物理的オブジェクトに、仮想境界を定義する仮想オブジェクトを関連付けるステップと、
前記１つ以上のコントローラを利用して、前記仮想境界を利用することによって前記物理的オブジェクトに対する前記ロボット装置の動きを制限するステップと
を含んでなる方法。
前記ロボット装置の動きに起因する前記ビジョン装置の動きに応じて、物理的オブジェクトの複数の視点から取り込んだビジョンデータセットを、前記ビジョン装置を利用して生成するステップと、
前記１つ以上のコントローラを利用して、前記ビジョンデータセットにおいて識別可能な物理オブジェクトの１つ以上の特徴に基づいて、前記物理的オブジェクトに、仮想境界を定義する仮想オブジェクトを関連付けるステップと、
前記１つ以上のコントローラを利用して、前記仮想境界を利用することによって前記物理的オブジェクトに対する前記ロボット装置の動きを制限するステップと
を含んでなる方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【0073】
以上のように、いくつかの実施形態について説明してきたが、本明細書の実施形態は、本発明を包括的に説明することを意図したものではなく、また本発明を特定の形態に限定することを意図したものでもない。上述の記載において使用した用語は、限定的なものではなく記述的なものであることを意図している。また、上述の教示に基づいて多くの変更および変形が可能であり、上述において具体的に記載したものとは異なる方法によって本発明を実施することも可能である。
なお、本願の出願当初の開示事項を維持するために、本願の出願当初の請求項１～28の記載内容を以下に追加する。
（請求項１）
物理的オブジェクトを追跡するためのナビゲーションシステムであって、
ロボット装置と、
前記ロボット装置に取り付け可能な器具と、
前記ロボット装置と共に動かすことができるように、前記ロボット装置と前記器具のうちいずれか一方に取り付けられるビジョン装置であって、前記ロボット装置を動かした場合に前記ビジョン装置が複数の自由度で動かされることによって可能となる複数の視点から取り込んだ前記物理的オブジェクトの複数のビジョンデータセットを生成するように構成されているビジョン装置と、
前記ビジョン装置と通信を行うコンピュータシステムであって、前記ビジョンデータセットにおいて識別可能な前記物理的オブジェクトの１つ以上の特徴に基づいて、前記物理的オブジェクトに、前記器具の仮想境界を少なくとも部分的に規定する仮想オブジェクトを関連付けるように構成されている少なくとも１つのプロセッサを有するコンピュータシステムと
を備えるナビゲーションシステム。
（請求項２）
前記ビジョン装置がカメラを備えている、請求項１に記載のナビゲーションシステム。
（請求項３）
前記コンピュータシステムが、前記ビジョンデータセットの生成時に前記ビジョン装置がとる各場所での前記ビジョン装置の位置および向きを追跡するように構成されている、請求項１または２に記載のナビゲーションシステム。
（請求項４）
前記コンピュータシステムが、前記物理的オブジェクトの前記１つ以上の特徴に基づいて、前記物理的オブジェクトの固有性を特定するように構成されている、請求項１～３のいずれか１項に記載のナビゲーションシステム。
（請求項５）
前記コンピュータシステムが、前記物理的オブジェクトの固有性に基づいて、前記物理的オブジェクトに前記仮想オブジェクトを関連付けるように構成されている、請求項４に記載のナビゲーションシステム。
（請求項６）
前記仮想オブジェクトが、３次元モデル、２次元の面、点群、ボクセル立体、メッシュ面、平面、線、単点のうちの１つ以上を含んでいる、請求項５に記載のナビゲーションシステム。
（請求項７）
前記１つ以上の特徴が、前記ビジョンデータセットにおいて識別可能な特徴セットを含み、
前記コンピュータシステムが前記特徴セットの位置および向きを特定して、前記物理的オブジェクトに関連付けられた第１の座標系の位置および向きを確立するように構成されている、請求項１～６のいずれか１項に記載のナビゲーションシステム。
（請求項８）
前記ビジョン装置が、前記ロボット装置と前記器具のうちいずれか一方に対して固定されて、前記ビジョンデータセットを前記ロボット装置と前記器具のうちの前記一方の第２の座標系に変換することができる、請求項７に記載のナビゲーションシステム。
（請求項９）
前記コンピュータシステムが座標変換器を備えており、
前記座標変換器は、前記第１の座標系と前記第２の座標系とのうちの１つを、前記コンピュータシステムが前記物理的オブジェクトに対する前記器具の相対的な動きを追跡することができるように変換するように構成されている、請求項８に記載のナビゲーションシステム。
（請求項１０）
前記コンピュータシステムが、前記物理的オブジェクトに対する前記器具の相対的な動きを追跡することによって、前記物理的オブジェクトを避けながら標的部位の組織を治療する前記器具の動きを可能とするように構成されている、請求項９に記載のナビゲーションシステム。
（請求項１１）
前記コンピュータシステムが、前記１つ以上の特徴に基づいて、前記物理的オブジェクトに関連する情報を特定するように構成されている、請求項１～１０のいずれか１項に記載のナビゲーションシステム。
（請求項１２）
前記情報が、物理的オブジェクト識別情報と、物理的オブジェクトの種類と、物理的オブジェクトの大きさと、物理的オブジェクトの寸法と、物理的オブジェクトのシリアル番号と、物理的オブジェクトの製造業者と、仮想オブジェクト識別情報と、仮想オブジェクトの種類と、仮想オブジェクトの大きさと、仮想オブジェクトの寸法とのうちの１つ以上を含んでいる、請求項１１に記載のナビゲーションシステム。
（請求項１３）
前記仮想オブジェクトが、ナビゲーションポインタと前記器具のうち少なくとも一方によって定義される、請求項１～１２のいずれか１項に記載のナビゲーションシステム。
（請求項１４）
前記ロボット装置は、自律モードで動作するように構成され、
前記ロボット装置が前記自律モードで動作している場合には、前記ビジョン装置が自律的に動く、請求項１～１３のいずれか１項に記載のナビゲーションシステム。
（請求項１５）
ロボット装置と、前記ロボット装置に取り付け可能な器具と、ビジョン装置と、少なくとも１つのプロセッサを有するコンピュータシステムを利用して、標的部位に対して物理的オブジェクトを追跡する方法であって、
前記ロボット装置の動きの結果得られる前記ビジョン装置の動きに応じて、複数の視点から取り込んだ前記物理的オブジェクトの複数のビジョンデータセットを生成するステップと、
前記ビジョンデータセットにおいて識別可能な前記物理的オブジェクトの１つ以上の特徴に基づいて、前記物理的オブジェクトに、前記器具の仮想境界を部分的に規定する仮想オブジェクトを関連付けるステップと
を含む方法。
（請求項１６）
前記ビジョン装置がカメラを備えている、請求項１５に記載の方法。
（請求項１７）
前記ビジョンデータセットの生成時に前記ビジョン装置がとる各場所での前記ビジョン装置の位置および向きを追跡することを含む、請求項１５または１６に記載の方法。
（請求項１８）
前記物理的オブジェクトの前記１つ以上の特徴に基づいて、前記物理的オブジェクトの固有性を特定することを含む、請求項１５～１７のいずれか１項に記載の方法。
（請求項１９）
前記物理的オブジェクトの固有性に基づいて、前記物理的オブジェクトに前記仮想オブジェクトを関連付けることを含む、請求項１８に記載の方法。
（請求項２０）
前記仮想オブジェクトが、３次元モデル、２次元の面、点群、ボクセル立体、メッシュ面、平面、線、単点のうちの１つ以上を含んでいる、請求項１９に記載の方法。
（請求項２１）
前記ビジョンデータセットにおいて識別可能な特徴セットの位置および向きを特定して、前記物理的オブジェクトに関連付けられた第１の座標系の位置および向きを確立することを含む、請求項１５～２０のいずれか１項に記載の方法。
（請求項２２）
前記ビジョンデータセットを前記ロボット装置と前記器具のうちの一方の第２の座標系に変換することを含む、請求項２１に記載の方法。
（請求項２３）
前記第１および第２の座標系のうち１つを、前記コンピュータシステムが前記物理的オブジェクトに対する前記器具の相対的な動きを追跡することができるように変換することを含む、請求項２２に記載の方法。
（請求項２４）
前記物理的オブジェクトに対する前記器具の相対的な動きを追跡することによって、前記物理的オブジェクトを避けながら標的部位の組織を治療する前記器具の動きを可能とすることを含む、請求項２３に記載の方法。
（請求項２５）
前記１つ以上の特徴に基づいて、前記物理的オブジェクトに関連する情報を特定することを含む、請求項１５～２４のいずれか１項に記載の方法。
（請求項２６）
前記情報が、物理的オブジェクト識別情報、物理的オブジェクトの種類、物理的オブジェクトの大きさ、物理的オブジェクトの寸法、物理的オブジェクトのシリアル番号、物理的オブジェクトの製造業者、仮想オブジェクト識別情報、仮想オブジェクトの種類、仮想オブジェクトの大きさ、および仮想オブジェクトの寸法のうちの１つ以上を含んでいる、請求項２５に記載の方法。
（請求項２７）
ナビゲーションポインタと前記器具のうち少なくとも一方によって前記仮想オブジェクトを定義することを含む、請求項１５～２６のいずれか１項に記載の方法。
（請求項２８）
前記ロボット装置を自律的に動かすことによって、前記ビジョン装置が自律的に動いて前記ビジョンデータセットを取り込むようにすることを含む、請求項１５～２７のいずれか１項に記載の方法。
なお、本願の出願当初の開示事項を維持するために、本願の出願当初の請求項１～28の記載内容を以下に追加する。
（請求項１）
物理的オブジェクトを追跡するためのナビゲーションシステムであって、
ロボット装置と、
前記ロボット装置に取り付け可能な器具と、
前記ロボット装置と共に動かすことができるように、前記ロボット装置と前記器具のうちいずれか一方に取り付けられるビジョン装置であって、前記ロボット装置を動かした場合に前記ビジョン装置が複数の自由度で動かされることによって可能となる複数の視点から取り込んだ前記物理的オブジェクトの複数のビジョンデータセットを生成するように構成されているビジョン装置と、
前記ビジョン装置と通信を行うコンピュータシステムであって、前記ビジョンデータセットにおいて識別可能な前記物理的オブジェクトの１つ以上の特徴に基づいて、前記物理的オブジェクトに、前記器具の仮想境界を少なくとも部分的に規定する仮想オブジェクトを関連付けるように構成されている少なくとも１つのプロセッサを有するコンピュータシステムと
を備えるナビゲーションシステム。
（請求項２）
前記ビジョン装置がカメラを備えている、請求項１に記載のナビゲーションシステム。
（請求項３）
前記コンピュータシステムが、前記ビジョンデータセットの生成時に前記ビジョン装置がとる各場所での前記ビジョン装置の位置および向きを追跡するように構成されている、請求項１または２に記載のナビゲーションシステム。
（請求項４）
前記コンピュータシステムが、前記物理的オブジェクトの前記１つ以上の特徴に基づいて、前記物理的オブジェクトの固有性を特定するように構成されている、請求項１～３のいずれか１項に記載のナビゲーションシステム。
（請求項５）
前記コンピュータシステムが、前記物理的オブジェクトの固有性に基づいて、前記物理的オブジェクトに前記仮想オブジェクトを関連付けるように構成されている、請求項４に記載のナビゲーションシステム。
（請求項６）
前記仮想オブジェクトが、３次元モデル、２次元の面、点群、ボクセル立体、メッシュ面、平面、線、単点のうちの１つ以上を含んでいる、請求項５に記載のナビゲーションシステム。
（請求項７）
前記１つ以上の特徴が、前記ビジョンデータセットにおいて識別可能な特徴セットを含み、
前記コンピュータシステムが前記特徴セットの位置および向きを特定して、前記物理的オブジェクトに関連付けられた第１の座標系の位置および向きを確立するように構成されている、請求項１～６のいずれか１項に記載のナビゲーションシステム。
（請求項８）
前記ビジョン装置が、前記ロボット装置と前記器具のうちいずれか一方に対して固定されて、前記ビジョンデータセットを前記ロボット装置と前記器具のうちの前記一方の第２の座標系に変換することができる、請求項７に記載のナビゲーションシステム。
（請求項９）
前記コンピュータシステムが座標変換器を備えており、
前記座標変換器は、前記第１の座標系と前記第２の座標系とのうちの１つを、前記コンピュータシステムが前記物理的オブジェクトに対する前記器具の相対的な動きを追跡することができるように変換するように構成されている、請求項８に記載のナビゲーションシステム。
（請求項１０）
前記コンピュータシステムが、前記物理的オブジェクトに対する前記器具の相対的な動きを追跡することによって、前記物理的オブジェクトを避けながら標的部位の組織を治療する前記器具の動きを可能とするように構成されている、請求項９に記載のナビゲーションシステム。
（請求項１１）
前記コンピュータシステムが、前記１つ以上の特徴に基づいて、前記物理的オブジェクトに関連する情報を特定するように構成されている、請求項１～１０のいずれか１項に記載のナビゲーションシステム。
（請求項１２）
前記情報が、物理的オブジェクト識別情報と、物理的オブジェクトの種類と、物理的オブジェクトの大きさと、物理的オブジェクトの寸法と、物理的オブジェクトのシリアル番号と、物理的オブジェクトの製造業者と、仮想オブジェクト識別情報と、仮想オブジェクトの種類と、仮想オブジェクトの大きさと、仮想オブジェクトの寸法とのうちの１つ以上を含んでいる、請求項１１に記載のナビゲーションシステム。
（請求項１３）
前記仮想オブジェクトが、ナビゲーションポインタと前記器具のうち少なくとも一方によって定義される、請求項１～１２のいずれか１項に記載のナビゲーションシステム。
（請求項１４）
前記ロボット装置は、自律モードで動作するように構成され、
前記ロボット装置が前記自律モードで動作している場合には、前記ビジョン装置が自律的に動く、請求項１～１３のいずれか１項に記載のナビゲーションシステム。
（請求項１５）
ロボット装置と、前記ロボット装置に取り付け可能な器具と、ビジョン装置と、少なくとも１つのプロセッサを有するコンピュータシステムを利用して、標的部位に対して物理的オブジェクトを追跡する方法であって、
前記ロボット装置の動きの結果得られる前記ビジョン装置の動きに応じて、複数の視点から取り込んだ前記物理的オブジェクトの複数のビジョンデータセットを生成するステップと、
前記ビジョンデータセットにおいて識別可能な前記物理的オブジェクトの１つ以上の特徴に基づいて、前記物理的オブジェクトに、前記器具の仮想境界を部分的に規定する仮想オブジェクトを関連付けるステップと
を含む方法。
（請求項１６）
前記ビジョン装置がカメラを備えている、請求項１５に記載の方法。
（請求項１７）
前記ビジョンデータセットの生成時に前記ビジョン装置がとる各場所での前記ビジョン装置の位置および向きを追跡することを含む、請求項１５または１６に記載の方法。
（請求項１８）
前記物理的オブジェクトの前記１つ以上の特徴に基づいて、前記物理的オブジェクトの固有性を特定することを含む、請求項１５～１７のいずれか１項に記載の方法。
（請求項１９）
前記物理的オブジェクトの固有性に基づいて、前記物理的オブジェクトに前記仮想オブジェクトを関連付けることを含む、請求項１８に記載の方法。
（請求項２０）
前記仮想オブジェクトが、３次元モデル、２次元の面、点群、ボクセル立体、メッシュ面、平面、線、単点のうちの１つ以上を含んでいる、請求項１９に記載の方法。
（請求項２１）
前記ビジョンデータセットにおいて識別可能な特徴セットの位置および向きを特定して、前記物理的オブジェクトに関連付けられた第１の座標系の位置および向きを確立することを含む、請求項１５～２０のいずれか１項に記載の方法。
（請求項２２）
前記ビジョンデータセットを前記ロボット装置と前記器具のうちの一方の第２の座標系に変換することを含む、請求項２１に記載の方法。
（請求項２３）
前記第１および第２の座標系のうち１つを、前記コンピュータシステムが前記物理的オブジェクトに対する前記器具の相対的な動きを追跡することができるように変換することを含む、請求項２２に記載の方法。
（請求項２４）
前記物理的オブジェクトに対する前記器具の相対的な動きを追跡することによって、前記物理的オブジェクトを避けながら標的部位の組織を治療する前記器具の動きを可能とすることを含む、請求項２３に記載の方法。
（請求項２５）
前記１つ以上の特徴に基づいて、前記物理的オブジェクトに関連する情報を特定することを含む、請求項１５～２４のいずれか１項に記載の方法。
（請求項２６）
前記情報が、物理的オブジェクト識別情報、物理的オブジェクトの種類、物理的オブジェクトの大きさ、物理的オブジェクトの寸法、物理的オブジェクトのシリアル番号、物理的オブジェクトの製造業者、仮想オブジェクト識別情報、仮想オブジェクトの種類、仮想オブジェクトの大きさ、および仮想オブジェクトの寸法のうちの１つ以上を含んでいる、請求項２５に記載の方法。
（請求項２７）
ナビゲーションポインタと前記器具のうち少なくとも一方によって前記仮想オブジェクトを定義することを含む、請求項１５～２６のいずれか１項に記載の方法。
（請求項２８）
前記ロボット装置を自律的に動かすことによって、前記ビジョン装置が自律的に動いて前記ビジョンデータセットを取り込むようにすることを含む、請求項１５～２７のいずれか１項に記載の方法。