特許 5701306 マーカーを使用する画像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5701306

(24)【登録日】2015年2月27日

(45)【発行日】2015年4月15日

(54)【発明の名称】マーカーを使用する画像システム

(51)【国際特許分類】

   A61B 19/00 20060101AFI20150326BHJP

【ＦＩ】

   A61B19/00 502

【請求項の数】7

【全頁数】15

(21)【出願番号】特願2012-534505(P2012-534505)

(86)(22)【出願日】2010年10月19日

(65)【公表番号】特表2013-508039(P2013-508039A)

(43)【公表日】2013年3月7日

(86)【国際出願番号】CA2010001641

(87)【国際公開番号】WO2011047467

(87)【国際公開日】20110428

【審査請求日】2013年9月26日

(31)【優先権主張番号】61/253,330

(32)【優先日】2009年10月20日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】510318860

【氏名又は名称】イムリス インク．

(74)【代理人】

【識別番号】100082072

【弁理士】

【氏名又は名称】清原 義博

(72)【発明者】

【氏名】シェアラー，ショーン

(72)【発明者】

【氏名】スカース，ゴードン

(72)【発明者】

【氏名】ロビンス，スティーブン

【審査官】 佐藤 智弥

(56)【参考文献】

【文献】 国際公開第２００９／１０７７０３（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００４／０００２６４２（ＵＳ，Ａ１）

【文献】 米国特許第５７９２１４７（ＵＳ，Ａ）

【文献】 特表２００８−５４１９６６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １９／００

(57)【特許請求の範囲】

【請求項1】

外科的ロボットシステムであって、前記外科的ロボットシステムは、
その少なくとも幾つかが可動式である、前記外科的ロボットシステムで使用される複数の要素と、
可動式の要素の移動を追跡するための画像システムとを含み、
前記画像システムは、
複数のマーカーを備え、前記可動式の要素の各々には該マーカーの少なくとも１つが物理的に取り付けられ、該マーカーは前記可動式の要素と共に移動し得るように可動式の要素に取り付けられ、
その少なくとも１つに該可動式の要素の各々が物理的に取り付けられた、
視界において光を検出し、それに反応する出力を提供するための、検出器アレイを有する少なくとも１つのカメラを含む、可視光を検出するためのカメラシステム、
該出力を分析するように配されたプロセッサーを含み、
ここで、該マーカーの各々は、該プロセッサーによって分析される該検出器アレイによって検出可能であるパターンを含み、
ここで、該パターンは、前記マーカーのおのおのに、中心を囲む少なくとも４つの領域を含み、かつ該中心で重なり、ここで各領域は隣接する領域のおのおのに対し対照のコントラストを有し、その結果、該プロセッサーが前記中心によって定義される特定位置を検出することができる第１の構成要素を含み、
ここで、前記マーカーの各々の上のパターンは一つの中心のみを定義し、
ここで、該マーカーの各々の上の該パターンは一連の離間した複数のバーによって形成された第２の構成要素を含み、該第２の構成要素は該複数のバー同士の間の空間に対して対照のコントラストを有し、前記複数のバーは、該プロセッサーが各々のマーカーと他のマーカーを区別するために、他のマーカーとは異なるマーカーのコード化でプロセッサーによって読み取り可能な符号を提供し、
ここで、前記複数のバーが前記第１の構成要素を囲む環とその中心で構成され、該環の周りを角度で離間されてなることを特徴とする、システム。

【請求項2】

前記環は長軸をもつ楕円を形成し、その結果前記プロセッサーは該長軸を用いて前記中心の周りの前記パターンの回転の角度を検出することができることを特徴とする、請求項１に記載のシステム。

【請求項3】

前記マーカーは、前記検出器アレイ及び前記プロセッサーが、前記マーカーの並進運動及び回転の位置を識別し決定することができるように配されることを特徴とする、請求項１又は２に記載のシステム。

【請求項4】

前記第２の構成要素は、前記マーカー上の異なる色の領域によって提供される色彩情報の使用を含むことを特徴とする、請求項１乃至３のいずれか１項に記載のシステム。

【請求項5】

前記プロセッサーは、前記複数のマーカーの各々の閉塞の領域を検出するために、および、プロセス制御のための入力として閉塞の領域の検出を用いるために配されることを特徴とする、請求項１乃至４のいずれか１項に記載のシステム。

【請求項6】

前記環が円である請求項１乃至５のいずれか１項に記載のシステム。

【請求項7】

前記環が楕円である請求項１乃至５のいずれか１項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マーカーを検出するための、可視光に反応するカメラを有するマーカーを使用する、画像システムに関する。このシステムは、例えば、視界の対象の位置を見つけるために使用され得る。本発明は、対象が手術道具である場合の、画像誘導手術(IGS)に使用するためのこのような検出システムに特に関連するが、必ずしも関連しているわけではない。

【0002】

IGSのための画像は、MRI、CT、X線、PET、Angioおよび超音波を含む、任意の様式から得られ得る。

【0003】

画像システムは、外科的システム又は非外科的システムにおいて使用され得る。

【背景技術】

【0004】

画像誘導手術システム(IGS)は、外科医に空間的情報を提供する。典型的に、IGSは、手術道具の端部又は部分が、人体内又は人体のまわりのどこにあるかを外科医に示すために使用される。例えば、脳外科手術中に、道具の一端は、外科医の手にあり得、道具の他端は、通常目に見えないとき、患者の内部にあり得る。IGSシステムは、人体の外部にある道具の一端を見つけ、道具の他端がどこにあるかを(道具形状から)計算し、その後、脳の内部の前の画像によってツールの位置を記録する。

【0005】

Claron Technology Incに2005年12月20日に発行された、米国特許第6,978,167号(Dekel)は、座標基準フレームにおいて置換え可能な手術道具などの対象の姿勢を検出及び追跡する方法を開示する。マーカー上の可視性のターゲットパターンは、暗領域及び明領域が光学的に検出可能な複数の端部の接合部で交わる特徴点を提供するために、一連の暗及び明の対照領域を含む。該方法及びシステムは、対照領域の間の対照の変化を使用して、まず端部を見つけることにより特徴点の位置を決定し、その後、複数の端部の接合部を決定する。立体デジタルカメラは、ターゲットパターンの1対のデジタル画像、及び特徴点の間の関係性を含む一連の基準特性を包含するマーカーテンプレートを生成する。

【0006】

本特許は、対照をなす領域の接合部での特徴点を検出するための方法を詳細に開示し、本特許の詳細が引用によって本明細書に組み込まれるか、又は該方法の更なる詳細のために引用され得るように、該方法は、特に、本明細書に適用可能である。

【0007】

Northern Digital Incに1998年10月27日に発行された、米国特許第5,828,770号(Leis)は、空間位置を決定するためのシステムを開示し、実時間における対象の角度方向は、センサー部及び検出可能なエネルギーを放射する複数のマーカーを有するように提供される。マーカーは、初期のマーカー識別モードで起動される。このようなシステムでは、マーカーは、マーカー識別モード中に各々が一意的に識別されてきたため、相対的なマーカー形状が知られており、後に続くマーカー追跡モード中に同時に起動され、検出され、追跡される。

【0008】

Northern Digital Incに1999年7月13日に発行された、米国特許第5,923,417号(Leis)は、能動的ターゲットによって放射されたエネルギー及び受動的ターゲットによって反射されたエネルギーの両方の検出のための、共通のエネルギー検出器を含む、同様のシステムを開示する。

【0009】

既存の最先端技術の追跡技術は、2mmの範囲における精度を有することが要求される。これらのデバイスは、典型的に、赤外線または他の非可視の光学追跡技術を使用し、追跡される道具の角度を有する低下した能力、追跡のための基準フレームの位置を決める際の困難性、追跡する視界と比較した追跡基準器（reference）の位置決めの不正確さ、及び不正確さを引き起こす汚染物質（inaccuracies causes be contaminants）(例えば、IR追跡球体上の指紋など)を含む、多くの制限を受ける。これらの共通問題は、手術中に道具を追跡する際の乏しい有用性及び不正確さにつながる。

【0010】

複数のマーカーに依存することで、システム誤差(より大きな不正確さ)が増加し、追跡されるデバイスの設置面積/サイズが増大し、追跡されるデバイスの乏しいエルゴノミックス設計につながり得る。動作追跡アプリケーション(呼吸運動追跡)における複数の一般的なマーカーを使用することで、動作追跡における不正確さにつながり得る追跡システムに運動上の制約を与えかねない。

【0011】

今日の市場で利用可能な標準マーカー(IR球体又はX点)は、単一のマーカー(1つのIR球体又はX点)を、対象/デバイスを追跡するのに使用することができる、各マーカーに関係する十分な情報を有していない。この情報は、追跡システムが単一のマーカーの並進運動情報を測定することを可能にするだけであり、なぜなら、該システムは、球体又は対称パターンから回転情報を測定できないからである。追跡システムにはまた、1つのマーカーと別のマーカーを区別することに関する問題を有し、そのため、追跡システムの視界において複数の一般的なマーカーを含むことで、各マーカーの独自性及びそれに関係する対象を一意的に決定するという問題が生まれる。対象が停止中であると、システムは、どの対象が各マーカーに関係するかを決定し得るが、対象が移動中であると、システムは、1つのマーカーと別のマーカーを区別することに関して問題を有する。

【0012】

これらのマーカーが追跡システムにおいて使用されるために、複数のマーカーが、独特な幾何パターンにおいて使用され、構成されなければならない。各独特なパターン及び関係するマーカーは、追跡される必要のある対象に付けられる。これは、追跡システムが、複数のマーカーを使用して、対象を識別し追跡することを可能にする。パターンを構築するために複数のマーカーを使用することには、いくつかの欠点がある。最初の欠点は、パターンのサイズが、追跡される対象の設置面積を増大させるということであり、その有用性に影響を与え得る。第2の欠点は、追跡されるデバイスに関係する大きなマーカーパターンがあるために、デバイスのエルゴノミックス設計が影響を受けるということである。最後の欠点は、追跡される対象の位置及び方向を検出する精度が低下しかねないことである。追跡される対象の精度は、それに関係するマーカー及びパターンの形状を検出する際の精度に関連する。各マーカーには、それぞれ、関係する誤差があり、複数のマーカーが使用されるとき、この誤差はパターンの形状によって増大し、拡大しかねない。

【発明の概要】

【課題を解決するための手段】

【0013】

本発明の1つの目的は、マーカーの視覚的なコード化を提供する画像システムを提供することである。

【0014】

本発明の最初の態様によると、
複数のマーカー；
視界において光を検出し、それに反応する出力を提供するための、検出器アレイを有する少なくとも1つのカメラを含む、可視光を検出するためのカメラシステム；
出力を分析するように配されたプロセッサー；を含む、画像システムが提供され、
ここで、各マーカーは、プロセッサーによって分析される検出器アレイによって検出可能であるパターンを含み；
ここで、パターンは、プロセッサーがマーカー上の三次元の特定位置を検出することができるように配された第1の構成要素を含み；及び
各マーカーのパターンは、プロセッサーが各マーカーと他のマーカーを識別することができるようなコード化を提供するように配された、システムの他のマーカーとは異なる第2の構成要素を含む。

【0015】

本発明の第2の態様によると、
複数のマーカー;
視界において光を検出し、それに反応する出力を提供するための、検出器アレイを有する少なくとも1つのカメラを含む、可視光を検出するためのカメラシステム；
出力を分析するように配されたプロセッサー；を含む、画像システムが提供され、
ここで、各マーカーは、プロセッサーによって分析される検出器アレイによって検出可能であるパターンを含み； 及び
ここで、パターンは、プロセッサーがマーカー上の三次元の特定位置を検出することができるように配された第1の構成要素を含み；及び
ここで、パターンは、プロセッサーが特定位置のまわりのパターンの回転の角度を検出することができるように配された、特定位置のまわりに配された第2の構成要素を含む。

【0016】

本発明の第3の態様によると、
複数のマーカー；
視界において光を検出し、それに反応する出力を提供するための、検出器アレイを有する少なくとも1つのカメラを含む、可視光を検出するためのカメラシステム；
出力を分析するように配されたプロセッサー；を含む、画像システムが提供され、
ここで、各マーカーは、プロセッサーによって分析される検出器アレイによって検出可能であるパターンを含み； 及び
プロセッサーは、ユーザーによる、画像におけるマーカーの選択された1つの閉塞（occlusion）の領域を検出し、閉塞を、プロセス制御のための入力として使用するために配される。

【0017】

上に定義される配置においてマーカーを視覚的にコード化する多くの技術及び方法がある。
1. 簡単な解決法は、チェッカーボードマーカーのまわりの一連の異なるサイズの曲線分を使用することである(Example Marker Complex Patternsの絵を参照)。線分の長さ及び数に基づいて、マーカーはコード化される。円形マーカーの回転情報を得るために、線分を含む環上の1点は、マーカーの起点となるようにラベル付けされる。マーカーの回転情報を向上させるために、マーカーは、起点として指定されている伸長された側面の最も細い点とともに伸長され得る(Example Marker Complex Patterns - isometric View 又は Ellipsoidal)。
2. 視覚的にマーカーをコード化する別の技術は、小さな目立たない2Dバーコードでマーカーを囲むことある。バーコードは、マーカーIDを包含し、マーカーの形状は回転情報を提供するだろう。
3. マーカーはまた、マーカーにおいて小突起又はくぼみ、または他の領域に対して隆起した又はくぼんだマーカーの領域を使用することによって、3Dでコード化され得る。これらの3Dの特徴は、これらの隆起した又はくぼんだ特徴によって提供されているマーカーIDを有する同じマーカーパターンを使用することに柔軟性を与える。
4. 提供されるコード化技術は、黒色及び白色のマーカーのためのみであった。マーカーはまた、色彩情報を使用して、コード化され得る(Example Marker Complex Patterns - Colorsを参照)。色彩情報は、マーカーコード化に別の次元を加える。

【0018】

視覚的にコード化されたマーカーは、任意のカメラ技術において使用され得、カメラは、単色、フルカラー、又は単色チャネルの任意の1つ(赤、緑又は青)であり得る。

【0019】

それらはまた、受動的照明(例えばりん光)、能動的照明(例えばLED光)の使用によって、異なる光条件で使用され得る。照明は、マーカーが準最適な照明条件で識別される可能性を増加させる。

【0020】

これらのマーカーは、単なる手術道具に限定されず、それらは、ブーム、MRI、Cアーム及びライトなどの、他の外科的及び非外科的な機器に適用され得る。マーカーはまた、エンドエフェクターの正確な位置を知ることが重大であり、エンドエフェクターの場所（real estate）が限定される、外科的ロボットシステムにおいて利用され得る。

【0021】

光学マーカーを視覚的にコード化することは、システムが単一のマーカーの使用によって、対象又はターゲットを追跡することを可能にする。現行システムは、対象を追跡するために幾何学的パターンで配された複数のマーカーに依存する。単一のマーカーは、(それが大きな幾何学的パターンを必要としないため)より小さな追跡のための設置面積につながり、システムの全体的な精度を改善し得る。精度は、画像ノイズによる影響を受け、あらゆるマーカーには、このノイズが原因で、それに関係する誤差が生じる。複数のマーカーが使用されるとき、誤差は増大し、複数のマーカーが幾何学的パターンで配されるとき、この誤差は拡大しかねない。それ故、単一のマーカーの使用は、画像ノイズの効果を低減することによって、システムの精度を改善し得る。

【0022】

コード化されたマーカーはまた、システムがマーカーの位置及び方向を識別することをより簡単にする。患者の腹部に置かれる多数のマーカーがある呼吸運動追跡上の適用を考えると、システムが、同じパターンで自動的にマーカーを識別し、追跡するのは難しい。システムがこれらのマーカーを追跡するために、マーカー移動は、1つの更新当たり、小さな値に制限される。

【0023】

マーカーがどれだけ遠くに移動したとしても、このシステムが、任意の所望時間に各々の固有のマーカーを識別し、追跡し得るため、コード化されたマーカーの使用は、この制限を取り除く。

【0024】

本明細書の配置は、共通の欠損に対処する外科的な追跡システムにおいて使用され得、これは、より良いワークフロー及びより高い平均的な精度につながる。システムは、1以上の光学カメラ、光学マーカーを含む1以上の光学基準器、異なる光学マーカーを含む追跡するためのデバイス、及び追跡計算を行い、結果を表示する、コンピューター処理能力から成るデバイスの外科的な追跡に合わせた光学追跡システムを含む。追跡されるデバイスは、限定されないが、医療道具(例えばプローブ)、医療用具(例えば顕微鏡、カテーテルなど)、及び他のデバイス(ブーム、ライト、カートなど)を含む。患者の位置及び運動も、追跡され得る。

【0025】

光学追跡は、光学的に識別され得るパターンを含む、平らな追跡マーカー(例えばIRのための球体の代わりに)の使用を可能にする。これらのマーカーをうまく識別するために、パターンは、うまく識別されなければならない。これは、パターンを検出するための基準を含む。球体などの形状を識別するための基準が、複合パターンを識別することと本質的にそれほど区別されないため、これは、集団の中心を識別する技術(例えば赤外線)よりも実質的に堅固である。また、他の追跡技術(例えば赤外線)に悪影響を及ぼしかねない、(例えば設置面積からの)追跡マーカーに混入する流体は、たとえ目に見えていない時でも、マーカーパターンの識別基準が満たされなければならないために、光学マーカーに同じ負の効果を与えない。したがって、光学マーカーは、手術中に存在する混入する流体に対してより堅固であるように設計され得る。

【0026】

マーカーパターンはまた、正方形(例えば「チェッカーボード」)、円、環、及び楕円体の組み合せを含む、複合形状を含み得る。それらはまた、黒色及び白色であるか、またはそのパターンにおける異なる時点でのモノクロ階調のいずれか、及び/又は他の色を含み得る。それらはまた、3D形状(例えば立方体など)の面上に生じ得る。これらの複合パターンは、検出のロバスト性及び全体的な精度を増加させるために好都合に使用され得る。

【0027】

光学マーカーに基づいた追跡システムはまた、患者の運動を追跡するために使用され得る。例えば、患者の胸に平らな光学マーカーのパターンを重ねることによって、呼吸器運動は3Dで追跡され得る。これは、運動を相互に関連付ける画像処理(例えばMR画像)を引き起こし、また、画像データの後処理中の呼吸器運動のために修正するために使用され得る。他の患者の運動は、例えば、手又は頭の移動も追跡され得る。

【0028】

平らな追跡マーカーの使用は、実質的に、道具から突出するマーカーほど目立たず、その結果、それらは、目に見えて検出可能であり(例えば赤外線)、したがって、これは、ある形状のこのようなマーカーの各セットが180度に増えるように、2つ以上の分離した場所において道具のまわりの平らな突起を使用することによって、追跡システムに識別可能な道具を設計するように好都合に使用され得る。例は、各々が180度離れる2つの平面、各々が60度離れる3つの平面、各々が45度離れる4つの平面を含む。これは、道具が任意の回転方向でうまく追跡されることを可能にする。

【0029】

異なる方向では、丸いマーカーは、任意の追跡可能な対象(例えば基準器、道具、デバイスなど)のための360度の回転範囲を与えるために、平らなマーカーの代わりに使用され得る。

【0030】

異なる条件で光学マーカーの識別を助けるために、マーカーにおけるパターンは、アクティブ照明 (例えばマーカーの背後における光)によって照らされ得、及び/又はマーカーは、識別のそれらの可能性を増加させるために向上され得る(例えばりん光)。さらに、光学マーカーパターンは、それらの検出性を更に増加させるために、マーカーパターン内で特異的に向上され得、これは、同じ又は異なるパターンを含む別々のマーカー上に特異的に適用され得る。

【0031】

1以上のカメラの移動を可能にするために、追跡基準器が使用され得る。もしマーカーパターンが平らであると、追跡基準器は、平らな追跡パターンを含み得る。しかしながら、手術のために基準器に付けられ得る対象(例えば頭部固定デバイス)が、追跡システムの有効性とは無関係に、手術の有効性を最適化する角度で、手術野において置かれ得るため、基準器は、追跡のために準最適である角度で置かれ得る。これは、異なる角度でいくつかの平面を有する光学追跡基準器によって対処され得、各平面は、光学追跡システムによって識別可能である、独特な又は同じパターンのいずれかを含む。これにより、アセンブリーとしての基準フレームは、準最適な角度で取り付けられ得、その設計によって、アセンブリー内で1以上の最適な角度をさらし、その方向における光学追跡基準器として作用する。さらに、そのように記載される基準器は、異なる最適な位置(例えば追跡視界の近く)に取り付けられ得、光学基準器の精度を更に増加させる。基準器はまた、基準器の1以上の側面又は平面上に追跡パターンを含み得、このパターンは、任意の他の側面又は平面と同じであり得るか、または異なり得る。

【0032】

1つ又は更なる光学基準器はまた、更なる基準器（複数可）が、1以上のカメラとは異なる最適な視角を可能にする異なる角度及び方向で置かれ得るため、より高い精度での更なる追跡範囲を提供するために、好都合に使用され得る。さらに、単一の基準器が、追跡性能を妨げて移動され得るため、更なる基準器は、この移動を識別し、追跡精度が影響を受けることを警告する（warm）ために使用され得る。また、もし1以上の（if or more）基準器がまとめて使用されると、基準器の少なくとも2つの相対的位置が、その後、主要な基準器を引継ぎ得る。

【0033】

より詳細に以下に記載された配置は、1以上の以下の特徴及び利点を提供し得る：
- 複数の一般的なマーカーの使用に関係する問題に対処する光学追跡システムのために視覚的なコード化されたマーカーを提供すること。
- 複数の一般的なマーカーを使用する追跡システムに関係する問題を解決する、視覚的なコード化されたマーカー。これは、追跡システムが視界における各マーカーを容易に識別することを可能にし、1つのマーカーと別のマーカーを区別する際の問題を解決する。
- 各マーカーが、ここでは独特であるため、各マーカーには、ここで、それに関係する十分な情報があり、追跡システムは、各マーカーの並進運動位置及び回転位置を測定することができる。
- システムが、各マーカーを独自に識別することができるため、追跡される対象ごとに、1つのマーカーだけが必要とされる。これは、対象の全体的な設置面積が減少され得ることを意味し、対象のエルゴノミックス設計は、改善され得、最も重要なことに、精度が単一のマーカーを検出する誤差のみに依存するため、対象の位置を検出する全体的な精度は改善される。
- 視覚的にコード化されるマーカーは、追跡システムがそれを識別することを可能にする、固有のパターン及び／又は形状を含む。
- 追跡道具(異なる方向でプローブをうまく追跡しそうなシステム)の360度の回転範囲。
- 異なる照明条件でそれらの識別を可能にする、光学マーカーの照明(能動又は受動)。
- 単一の幾何学的形状よりもむしろ複合パターンと一致する基準による、手術のための追跡マーカーの識別のロバスト性。このようなマーカーはまた、流体の存在下で、マーカーのより強力な局在性を可能にする。
- 追跡のより良いワークフロー及びより高い精度を促進するための、異なる特有の構成及び位置を各々が有する、複数の基準器。これは、頭部固定デバイスの異なる方向付けを可能にする、マーカーの異なる角度を有する各基準器を含み得る。
- 複数のカメラは、各カメラからの検出を平均化することで精度を増加させ、有効視野を増加させるために光学的に使用され得る。
- 患者の運動(例えば呼吸器運動)を追跡するために使用され得る。
- 複数のカメラ及び複数の基準器は、精度を増加させるために一緒に使用され得る。
- 単一のマーカーは、多くのマーカーの代わりに使用され得る。
- 単一のコード化されたマーカーは、空間位置及び回転位置を提供し得る。利用可能な十分な情報がないため、単一のコード化されていないマーカーは、この位置を提供することができない。
- 単一のコード化されたマーカーは、単一の幾何学的形状よりもむしろ複合パターンと一致する基準により、手術のための追跡マーカーの識別のロバスト性を提供し得る。このようなマーカーはまた、流体の存在下で、マーカーのより強力な局在性を可能にする。
- 色彩情報を活用することができるため、より多くの固有のマーカーを生じさせる。
- エンドエフェクター精度を増加させるために、外科的なロボットシステムにおいて使用され得る。
- システムは異なる照明条件に対して堅固である。

【図面の簡単な説明】

【0034】

本発明の1つの実施形態は、ここで、以下の添付の図面に関連して記載される。

【0035】

【図1】図1は、例示されるような手術道具などの対象の位置及び方向を検出するための、本発明によるシステムの概略図である。

【図2】図2は、図1のシステムにおいて使用されるようなマーカーの1つの実施形態の正面図を示す。

【図3】図3は、図1のシステムにおいて使用されるようなマーカーの1つの実施形態の正面図を示す。

【図4】図4は、図1のシステムにおいて使用されるようなマーカーの1つの実施形態の正面図を示す。

【図5】図5は、図1のシステムにおいて使用されるようなマーカーの更なる実施形態の正面図を示す。

【図6】図6は、マーカーの1つを選択し、ユーザーによる情報を入力し、そのパターンの一部を閉塞するようにマーカーを指さすために使用される一連のマーカーの正面図を示す。

【0036】

図面において、参照の類似する文字は、図において対応する部分を示す。

【発明を実施するための形態】

【0037】

図1を参照すると、追跡システム（10）は、限定されないが、手術場面又は視界（19）において患者の組織（1）の一部に関連して追跡された手術道具（13）などの、対象（15）に付けられたマーカー（14）の相対的な位置及び方向を追跡するために使用される、光センサーアセンブリー（12）を有する。該センサーアセンブリー（12）は、第1の視界（5A）を有する第1のデジタルビデオカメラセンサー（5）及び第2の部分的に重なる視界（6A）を有する第2のデジタルビデオカメラセンサー（6）を有する、ステレオセンサーである。所望されるのであれば、2つのカメラ（5）及び（6）より多いカメラも使用され得る。この目的のための適切なセンサー又は検出器アレイは、市販で入手可能である。このようなカメラは、典型的に、あらかじめ較正されて送達されることによって、画像の各々における画素位置を、共通のセンサー3D空間における対応する線形の光線方程式に関連させる。

【0038】

互いに関連するカメラ（5）及び（6）の位置及び方向は、カメラを支持フレーム（16）に堅く取り付けることによって固定され、その結果、重なる視界（5A）、（6A）を提供する。患者の組織（1）及び道具（13）を含む（視界19）に対する視界（5A）、（6A）の方向及び近接性に対して、調節能力を提供する調節可能な接合部によって、支持フレーム（16）は、固定された支持部（16A）にしっかりと取り付けられる。カメラ（5）及び（6）は、それぞれの視界（5A）、（6A）内に含まれる視界ベクトルの複数の線を有する。照明（18）のソースは、既存の部屋照明又は日光などの、場面に既に存在する可視光を補足する、光エネルギーを含み得る。

【0039】

マーカー（14）は、より詳細に以下に記載されるように、道具（3）にしっかり連結され、その結果、マーカー（14）の投射画像は、対応する視界（5A）、（6A）に位置するとき、カメラ（5）及び（6）によって感知され得る。該カメラ（5）及び（6）は、場面（19）におけるすべてのアイテムの投射を記録する。これらの画像投影は、視線（31）及び（33）に対して典型的に垂直に方向付けられる。例えば、マーカーを表わす投射画像は、それぞれ、カメラ（5）及び（6）によって記録される。マーカー（14）の投射画像を表わす一連の画像強度信号（38）は、カメラ（5）及び（6）によってコンピューター（21）に転送され、ここで、信号（20）は、各マーカー（14）の中心の三次元の位置を計算するように処理される。これらの信号（20）は、場面（19）に存在するすべての対象（15）及びマーカー（14）のための投射画像の画像画素情報を含む。投射画像が、典型的に、カメラセンサー（5）及び（6）の内部でセンサー平面(図示せず)上に形成されるように位置付けられることが留意される。従って、道具（13）が、手術中の外科的な場面（19）において組織（1）のまわりを、又はシミュレートされた計画手順のために解剖モデル(図示せず)のまわりを移動する際に、組織（1）の位置に関連した、道具（13）の先端（13A）の位置及び方向は、マーカー（14）と先端（13A）の間の既知の空間的関係性を使用して、コンピューター（21）のプロセッサー（22）によって決定される。位置及び方向の情報は、信号（20）に含まれる画素の画像強度値を使用して計算される。この方法において、視界（19）を通って予測不可能に移動するとき、特別にマークされた道具（13）の方向は追跡される。組織（1）及び道具（13）の方向は、固定された支持部（16A）などの、固定された基準点に関連して、決定され得る。

【0040】

プロセッサー（22）は、ディスプレイ（23）に、およびキーボード、マウス、又は他の適切なデバイスなどの、ユーザー入力デバイス（24）に連結される。組織（1）に関して道具（13）の相対的な空間位置の測定と関係する工程又はアルゴリズムを実行する、インストラクションをプロセッサー（22）に提供するために、さらに、ディスプレイ（23）上の組織（1）及び道具（13）の画像の表示をモニタリングするために、コンピューターに読み込み可能な記憶媒体（25）は、プロセッサー（22）に連結される。

【0041】

図2、3及び4に示されるように、マーカー（14）の更なる詳細が提供される。対象マーカー（14）の各々は、マーカー（14）の表面に現われる可視の高コントラストパターンである、ターゲットパターン（14A）から構成される。各可視のターゲットパターン（14A）は、ターゲットパターン（14A）における可視光反射率の配置である1つの特徴点（14B）を有し、それは、ターゲットパターン（14A）及び特徴点（14B）が、マーカー（14）の広範囲の回転角度、サイズおよび照明条件の下で、コンピューターシステム（21）及びプロセッサー（22）によって実行される方向検出アルゴリズムを使用して、容易に検出されるように配される。

【0042】

特徴点（14B）は、交互にある、暗い色の領域（27）及び明るい色の領域（28）の間で形成された直線の端部（26）の交差点として定義される。このような交差点は、一般に画像において自然に生じず、好ましくは、場面（19）においてマーカー（14）を見る際に、カメラセンサー（5）及び（6）が遭遇し得る、すべての視角、倍率、ぶれ、及び視点の歪みの下で、直線の端部（26）の交差点である、それらのパターン特性を維持する。

【0043】

これらの特徴点（14B）はまた、方向検出アルゴリズムを使用して、画像における広範囲の潜在的な出現から検出可能である。例えば、特徴点（14B）を囲む円に沿って工程を踏むことで、定数の交互の強度の山及び谷を与え、各々のこのような山と谷の対の間の最も強力な端部での強度勾配の方向は、円に対して実質的に接線となる。強度勾配の山及び谷は、円内に位置付けられた、暗い色の対照領域（27）及び明るい色の対照領域（28）の交互配列から結果として生じる。

【0044】

したがって、パターンは、プロセッサーがマーカー上の特定位置、即ち、マーカーの中心を定義する特徴点（14B）を検出することができるように配された第1の構成要素（26）及び（27）を含む。本発明の配置において、マーカーは、単一の特徴点（14B）だけで作動させることができる。

【0045】

パターンは、関係するマーカー（14）に特有であるように配され、それにより、システムの他のマーカーとは異なる、第2の構成要素（30）をさらに含む。プロセッサーが、関係するマーカーを他のマーカーと区別することができるように、第2の構成要素は配される。図2、3及び4に示されるように、第2の構成要素は、特徴点（14B）のまわりで部分的に又は全面的に伸張する、アレイ（31）に配される。示される実施形態において、アレイ（31）は、特徴点（14B）上の中心にある完全な環として、特徴点（14B）のまわりで十分に伸張する。第2の構成要素（30）は、その位置又は特徴点（14B）のまわりに集中した、異なる幅の、一連の明るい色のバー（30A）及び暗い色のバー（30B）を定義する。したがって、これらは、その位置のまわりに集中した、異なるサイズ曲線分を形成し、これは、典型的な2Dバーコードなどの、線分の長さ及び数に基づいたコード化を可能にする。

【0046】

スキャンされ分析される構成要素が、特徴点（14B）に集中したアレイ又は環に配されるという事実は、プロセッサーによって定義された分析システムが、第1の工程としての特徴点（14B）を見つけ、その後、見つけられた特徴点（14B）によって定義される中心のまわりの構成要素を捜すことを可能にする。

【0047】

図6に示されるように、パターン（30）はまた、プロセッサーがその位置のまわりのパターンの回転角度を検出することができるように、基準線（30D）を定義するように配された特徴点（14B）のまわりで配された、アレイの構成要素を含む。したがって、分析システムは、パターン（30）上で基準線（30D）を見つけることができ、検出器アレイにおける名目上の軸に対する、この基準線の回転の角度を測定することができる。

【0048】

図6において、パターン（30）は、反対側面（30F）に対して、その位置のまわりの回転を決定するための軸を定義する、側面上のより大きな次元（30E）を定義するように、その位置の1つの側面にオフセットされる（offset）。したがって、該システムは、特徴点（14B）のまわりのアレイを捜し、固有のマーカーを定義するコード化されたデータのために、及びその後、基準線（30D）の位置及び方向のために、それを分析する。

【0049】

このように、検出器アレイ及びプロセッサーがマーカーの並進運動及び回転の位置を識別し測定することができるように、マーカーは配される。

【0050】

図3に示されるように、独自にマーカーを識別し、及び/又はマーカーの角度位置を検出するために、パターン（14A）及び/又はパターン（30）において色彩情報を使用する代替のコード化システムが示される。

【0051】

カメラ（5）及び（6）において使用されるカメラ技術は、単色、フルカラーであり得、又は色チャネルの1つのみを使用することができる。

【0052】

対象は、示されるような手術道具であり得る。対象はまた、ブーム、MRI、Cアーム及びライトなどの、非外科的な機器であり得る。対象はまた、エンドエフェクターの正確な位置を知ることが重大であり、エンドエフェクターの場所が限定される、外科的ロボットシステムの構成要素であり得る。

【0053】

マーカーは、好ましくは、マーカー面の共通の平らな平面に位置付けられる、パターン（patters）を有して示されるような平らなディスクである。しかしながら、マーカーはまた、湾曲した面又は球状の面であり得る。

【0054】

図5は、図1のシステムにおいて使用されるような、マーカーの更なる実施形態の正面図を示し、ここで、マーカーの正面図の一部は、隆起するか又はくぼみ、その結果、三次元情報は、隆起した及び/又はくぼんだ部分を検出することによって使用され得ることで、独自にマーカーを識別し、及び/又はマーカーの角度位置を検出する。したがって、三次元情報は、マーカー上のリリーフの隆起した領域（RA）及び/又はくぼんだ領域（RE）によって提供される。

【0055】

図6において、マーカーの選択された1つに触れ、それを指さすユーザーによって選択され得る、一連のマーカー（14）が提供される。プロセッサーは、一連のマーカーの各々を、プロセス制御のための入力として識別する情報を使用するように配される。これは、バーチャルキーボードのために、又はジェスチャーコントロールのために使用され得る。

【0056】

したがって、プロセッサーは、画像においてマーカーの閉塞の領域（A）を決定することによって、例えば、カメラシステムが、画像においてマーカーの全体をこれ以上見ることができないような、マーカー上のユーザーの指の位置などによって、どのマーカーが選択されているかを検出するように配される。マーカーの配置及び識別が、ユーザーによる選択前にシステムによって実行されることが認識される。システムによってダイアログ表示することで、又は必要に応じて、ユーザーは、プロセッサーによって検出され、システムのプログラミングに従ってスイッチ又はキーストロークなどの入力として使用される、示されるようなマーカーの1つの部分を閉塞する。

【0057】

また、マーカー（28）の閉塞は、マーカー上の閉塞の領域を移動させるように行動するユーザーによって、音量調節などの、傾斜入力又は可変入力（graded or variable input）を入力するために使用され得る。例えば、ユーザーは、マーカーの中心のまわりで指を回転させ得ることで、マーカーによって示される値の増加又は減少の程度を入力する。プロセッサーは、移動を検出し、プロセス制御のための入力として移動を使用するように配される。

【0058】

様々な修正が、上記されるような本明細書において作成され得、同様の多くの明らかに広く異なった実施形態が、このような精神及び範囲から逸脱することなく、請求項の精神及び範囲内で作成され得るため、付随の明細書に含まれるすべての事柄は、例示目的のみとして解釈され、限定する意味において解釈されないことが意図される。

【図2】

【図3】

【図4】

【図5】

【図6】

【図1】