特開 2019-113393 オプティカルトラッキングシステム及びオプティカルトラッキング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-113393(P2019-113393A)

(43)【公開日】2019年7月11日

(54)【発明の名称】オプティカルトラッキングシステム及びオプティカルトラッキング方法

(51)【国際特許分類】

   G01B 11/00 20060101AFI20190621BHJP

   G01B 11/27 20060101ALI20190621BHJP

【ＦＩ】

   G01B11/00 A

   G01B11/27 H

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

【全頁数】26

(21)【出願番号】特願2017-246445(P2017-246445)

(22)【出願日】2017年12月22日

(11)【特許番号】特許第6475311号(P6475311)

(45)【特許公報発行日】2019年2月27日

(31)【優先権主張番号】10-2017-0176503

(32)【優先日】2017年12月20日

(33)【優先権主張国】KR

(71)【出願人】

【識別番号】506414749

【氏名又は名称】コー・ヤング・テクノロジー・インコーポレーテッド

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】洪徳和

(72)【発明者】

【氏名】李仁元

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA01

2F065AA31

2F065BB27

2F065DD03

2F065FF04

2F065JJ19

2F065JJ26

2F065LL04

2F065LL46

2F065QQ24

2F065QQ25

2F065QQ31

2F065RR06

(57)【要約】      （修正有）

【課題】マーカーの位置及び姿勢をトラッキングするオプティカルトラッキングシステムを提供する。
【解決手段】マーカー１０は目的物に付着され得、内部に形成されているパターン面１５及びパターン面が無限大の焦点距離を有する第１結像部１１０により結像されるように開口１３に形成された光学系１２を含む。プロセッサ１４０は開口を通じて見えるパターン面の一部が第１結像部により結像された第１イメージに基づいてマーカーの姿勢を決定し、互いに異なる方向で開口を通じて放出された出射光が無限大の焦点距離よりも近い焦点距離を有する第２及び第３結像部１２０、１３０により結像された第２イメージ及び第３イメージに基づいてマーカーの位置を決定するプロセッサを含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

マーカーの位置及び姿勢をトラッキングするオプティカルトラッキングシステムであって、
前記マーカーは目的物に付着され得、開口に形成された光学系を通じて内部に形成されているパターン面が見えるように構成され、
前記開口を通じて見える前記パターン面の一部が無限大の焦点距離で結像された第１イメージに基づいて前記マーカーの姿勢を決定し、互いに異なる方向で前記開口を通じて放出された出射光が前記無限大の焦点距離よりも近い焦点距離でそれぞれ結像された第２イメージ及び第３イメージに基づいて前記マーカーの位置を決定するプロセッサを含む、オプティカルトラッキングシステム。

【請求項2】

前記プロセッサは、
前記開口を通じて見える前記パターン面の一部が前記無限大の焦点距離で結像された前記第１イメージに基づいて前記マーカーの姿勢を決定する姿勢トラッキング部と、
互いに異なる方向で前記開口を通じて放出された出射光が前記無限大の焦点距離よりも近い焦点距離でそれぞれ結像された前記第２イメージ及び前記第３イメージに基づいて前記マーカーの位置を決定する位置トラッキング部とを含む、請求項１に記載のオプティカルトラッキングシステム。

【請求項3】

前記第１イメージは、前記無限大の焦点距離で結像されて前記パターン面の一部が識別可能に結像されたパターンイメージを含み、
前記第２イメージ及び前記第３イメージは、前記目的物の位置を含む所定の範囲の焦点距離で結像されて互いに異なる方向に向かう出射光が結像された出射光イメージを含む、
請求項１に記載のオプティカルトラッキングシステム。

【請求項4】

前記姿勢トラッキング部は、前記パターン面の全領域内で前記パターンイメージの位置を決定し、前記決定された位置に基づいて前記目的物の姿勢を決定する、請求項３に記載のオプティカルトラッキングシステム。

【請求項5】

前記位置トラッキング部は、前記第２イメージ及び前記第３イメージ内に結像された前記出射光イメージの基準座標をそれぞれ決定し、前記それぞれ決定された基準座標に基づいて前記目的物の位置を決定する、請求項３に記載のオプティカルトラッキングシステム。

【請求項6】

前記位置トラッキング部は、前記第２イメージ及び前記第３イメージに結像された前記出射光イメージの基準座標の間の差に基づいて、前記マーカーの３次元空間上の位置を決定する、請求項５に記載のオプティカルトラッキングシステム。

【請求項7】

ライトフィールドイメージを生成するライトフィールドカメラで構成された第１結像部をさらに含み、
前記第１結像部は、パターンイメージを含むように前記ライトフィールドイメージから無限大の焦点距離で結像された前記第１イメージを抽出するように構成される、請求項１に記載のオプティカルトラッキングシステム。

【請求項8】

前記第１結像部は、前記ライトフィールドイメージから出射光イメージを含むように前記無限大の焦点距離よりも近い焦点距離で結像された第４イメージを抽出するように構成され、
前記プロセッサは、前記第２イメージ、前記第３イメージ及び前記第４イメージに基づいて前記マーカーの位置を決定する、請求項７に記載のオプティカルトラッキングシステム。

【請求項9】

マーカーの位置及び姿勢をトラッキングするオプティカルトラッキングシステムであって、
前記マーカーは目的物に付着され得、開口に形成された光学系を通じて内部に形成されているパターン面が見えるように構成され、
無限大の焦点距離で前記パターン面の一部を含む第１イメージを結像する第１結像部と、
前記無限大の焦点距離よりも近い焦点距離で前記開口を通じて第１方向に放出された出射光が結像された出射光イメージを含む第２イメージを結像する第２結像部と、
前記無限大の焦点距離よりも近い焦点距離で前記開口を通じて前記第１方向と異なる第２方向に放出された出射光が結像された出射光イメージを含む第３イメージを結像する第３結像部と、
前記第１イメージに基づいて前記マーカーの姿勢を決定し、前記第２イメージ及び第３イメージに基づいて前記マーカーの位置を決定するプロセッサとを含むオプティカルトラッキングシステム。

【請求項10】

前記第１結像部及び前記第２結像部のそれぞれはライトフィールドイメージを生成するライトフィールドカメラで構成され、
前記第１結像部は前記ライトフィールドイメージから前記無限大の焦点距離よりも近い焦点距離で結像された第４イメージを抽出するように構成され、前記第２結像部は前記ライトフィールドイメージから無限大の焦点距離よりも近い焦点距離で結像された前記第２イメージを抽出するように構成され、
前記プロセッサは、前記第２イメージ、前記第３イメージ及び前記第４イメージに基づいて前記マーカーの位置を決定する、請求項９に記載のオプティカルトラッキングシステム。

【請求項11】

前記第１結像部は、前記第２結像部及び前記第３結像部の地面からの高さとは異なる高さを有するように配置され、前記地面に向かう方向を基準に前記第２結像部及び前記第３結像部の間に配置される、請求項９に記載のオプティカルトラッキングシステム。

【請求項12】

マーカーの位置及び姿勢をトラッキングするオプティカルトラッキング方法であって、
前記マーカーは目的物に付着され得、開口に形成された光学系を通じて内部に形成されているパターン面が見えるように構成され、
無限大の焦点距離で前記開口を通じて見える前記パターン面の一部がパターンイメージとして結像された第１イメージに基づいて前記マーカーの姿勢を決定する段階と、
前記無限大の焦点距離よりも近い焦点距離で前記開口を通じて互いに異なる方向に放出された出射光がそれぞれ出射光イメージとして結像された第２イメージ及び第３イメージに基づいて前記マーカーの位置を決定する段階とを含む、オプティカルトラッキング方法。

【請求項13】

前記マーカーの姿勢を決定する段階は、
前記パターン面の全領域内で前記第１イメージに含まれた前記パターンイメージの位置を決定する段階と、
前記決定された位置に基づいて前記目的物の姿勢を決定する段階とを含む、請求項１２に記載のオプティカルトラッキング方法。

【請求項14】

前記マーカーの位置を決定する段階は、
前記第２イメージ及び前記第３イメージ内に結像された前記出射光イメージの基準座標をそれぞれ決定する段階と、
前記それぞれ決定された基準座標及び前記出射光が指向する方向の間の幾何学的関係を用いて前記目的物の位置を決定する段階とを含む、請求項１２に記載のオプティカルトラッキング方法。

【請求項15】

前記開口を通じて見える前記パターン面の一部を含むライトフィールドイメージを生成する段階と、
前記ライトフィールドイメージから前記パターンイメージを含むように前記無限大の焦点距離で結像された前記第１イメージを抽出し、出射光イメージを含むように前記無限大の焦点距離よりも近い焦点距離で結像された第４イメージを抽出する段階と、
前記第２イメージ、前記第３イメージ及び前記第４イメージに基づいて前記マーカーの位置を決定する段階とをさらに含む、請求項１２に記載のオプティカルトラッキング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、オプティカルトラッキングシステム及びオプティカルトラッキング方法に関するものである。

【0002】

本開示は中小企業庁のＷＣ３００プロジェクト技術開発支援の一環として実行された研究から導出されたものである。［課題固有番号：Ｓ２４８２６７２、研究課題名：整合精度１ｍｍ以下の手術用ナビゲーション融合頭鏡部手術ロボットシステム開発］

【背景技術】

【0003】

目的物をトラッキングするための方法として、オプティカルトラッキングシステムが用いられる。最近は手術の誤り発生の危険を最小化しながら精密な手術を行うために、手術ロボットまたは手術道具の位置（locationまたはcoordinate）及び姿勢（postureまたはorientation）をトラッキングし、そのトラッキング結果を手術に活用する方法が用いられている。目的物の位置は、例えば、直交座標系のＸ、Ｙ、Ｚ軸上における座標のような空間座標で定義され得る。目的物の姿勢は、ロール（roll）、ピッチ（pitch）、ヨー（yaw）で定義され得る。目的物の正確なトラッキングのために、上記で説明したような目的物の６自由度（Degree of Freedom）に該当する位置及び姿勢を正確に把握することが重要である。

【0004】

オプティカルトラッキングシステムでは、例えば、マーカー（marker）という基準体を目的物に付着した後、このマーカーをトラッキングすることにより、目的物の位置及び姿勢が測定され得る。オプティカルトラッキングシステムでは、例えば、カメラのような結像装置を用いてマーカーの一部を撮影し、これを読み出す過程を経る。この過程で、多様な要因により、撮影されたイメージの一部（例えば、境界部分）がぼけたり不明確に示され得る。このようなイメージに基づいてマーカーをトラッキングする場合、推定された目的物の位置及び姿勢と実際の目的物の位置及び姿勢との間に差が発生し得る。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示が解決しようとする課題は、目的物の位置及び姿勢をさらに正確に測定できるオプティカルトラッキングシステム及び方法を提供する。例えば、本開示による一実施例は、マーカーに対して３つのイメージを撮影し、撮影された３つのイメージを基に目的物の位置及び姿勢を測定するオプティカルトラッキングシステム及び方法を提供することができる。

【課題を解決するための手段】

【0006】

本開示の一実施例によるマーカーの位置及び姿勢をトラッキングするオプティカルトラッキングシステムであって、マーカーは目的物に付着され得、開口に形成されている光学系を通じて内部に形成されているパターン面が見えるように構成され、開口を通じて見えるパターン面の一部が無限大の焦点距離で結像された第１イメージに基づいてマーカーの姿勢を決定し、互いに異なる方向で開口を通じて放出された出射光が無限大の焦点距離よりも近い焦点距離でそれぞれ結像された第２イメージ及び第３イメージに基づいてマーカーの位置を決定するプロセッサを含むことができる。

【0007】

一実施例によれば、プロセッサは、開口を通じて見えるパターン面の一部が無限大の焦点距離で結像された第１イメージに基づいてマーカーの姿勢を決定する姿勢トラッキング部と、互いに異なる方向で開口を通じて放出された出射光が無限大の焦点距離よりも近い焦点距離でそれぞれ結像された第２及び第３イメージに基づいてマーカーの位置を決定する位置トラッキング部を含むことができる。

【0008】

一実施例によれば、第１イメージは無限大の焦点距離で結像されてパターン面の一部が識別可能に結像されたパターンイメージを含み、第２及び第３イメージは目的物の位置を含む所定の範囲の焦点距離で結像されて互いに異なる方向に向かう出射光が結像された出射光イメージを含むことができる。

【0009】

一実施例によれば、姿勢トラッキング部はパターン面の全領域内でパターンイメージの位置を決定し、決定された位置に基づいて目的物の姿勢を決定することができる。

【0010】

一実施例によれば、位置トラッキング部は第２及び第３イメージ内に結像された出射光イメージの基準座標をそれぞれ決定し、それぞれ決定された基準座標に基づいて目的物の位置を決定することができる。

【0011】

一実施例によれば、位置トラッキング部は第２及び第３イメージに結像された出射光イメージの基準座標の間の差（disparity）に基づいてマーカーの３次元空間上の位置を決定することができる。

【0012】

一実施例によれば、ライトフィールドイメージを生成するライトフィールドカメラで構成された第１結像部をさらに含み、第１結像部はパターンイメージを含むようにライトフィールドイメージから無限大の焦点距離で結像された第１イメージを抽出するように構成され得る。

【0013】

一実施例によれば、第１結像部はライトフィールドイメージから出射光イメージを含むように無限大の焦点距離よりも近い焦点距離で結像された第４イメージを抽出するように構成され、プロセッサは第２イメージ、第３イメージ及び第４イメージに基づいてマーカーの位置を決定することができる。

【0014】

本開示の他の実施例によるマーカーの位置及び姿勢をトラッキングするオプティカルトラッキングシステムであって、マーカーは目的物に付着され得、開口に形成されている光学系を通じて内部に形成されているパターン面が見えるように構成され、無限大の焦点距離でパターン面の一部を含む第１イメージを結像する第１結像部と、無限大の焦点距離よりも近い焦点距離で開口を通じて第１方向に放出された出射光が結像された出射光イメージを含む第２イメージを結像する第２結像部と、無限大の焦点距離よりも近い焦点距離で開口を通じて第１方向と異なる第２方向に放出された出射光が結像された出射光イメージを含む第３イメージを結像する第３結像部と、第１イメージに基づいてマーカーの姿勢を決定し、第２イメージ及び第３イメージに基づいてマーカーの位置を決定するプロセッサとを含むことができる。

【0015】

一実施例によれば、第１結像部及び第２結像部それぞれはライトフィールドイメージを生成するライトフィールドカメラで構成され、第１結像部はライトフィールドイメージから無限大の焦点距離よりも近い焦点距離で結像された第４イメージを抽出するように構成され、第２結像部はライトフィールドイメージから無限大の焦点距離よりも近い焦点距離で結像された第２イメージを抽出するように構成され、プロセッサは第２イメージ、第３イメージ及び第４イメージに基づいてマーカーの位置を決定することができる。

【0016】

一実施例によれば、第１結像部は、第２及び第３結像部の地面からの高さと異なる高さを有するように配置され、地面に向かう方向を基準に第２及び第３結像部の間に配置され得る。

【0017】

本開示のまた他の実施例によるマーカーの位置及び姿勢をトラッキングするオプティカルトラッキング方法であって、マーカーは目的物に付着され得、開口に形成された光学系を通じて内部に形成されているパターン面が見えるように構成され、無限大の焦点距離で開口を通じて見えるパターン面の一部がパターンイメージとして結像された第１イメージに基づいてマーカーの姿勢を決定する段階と、無限大の焦点距離よりも近い焦点距離で開口を通じて互いに異なる方向に放出された出射光がそれぞれ出射光イメージとして結像された第２イメージ及び第３イメージに基づいてマーカーの位置を決定する段階とを含むことができる。

【0018】

一実施例によれば、マーカーの姿勢を決定する段階は、パターン面の全領域内で第１イメージに含まれたパターンイメージの位置を決定する段階と、決定された位置に基づいて目的物の姿勢を決定する段階とを含むことができる。

【0019】

一実施例によれば、マーカーの位置を決定する段階は、第２及び第３イメージ内に結像された出射光イメージの基準座標をそれぞれ決定する段階と、それぞれ決定された基準座標及び出射光が指向する方向の間の幾何学的関係を用いて目的物の位置を決定する段階とを含むことができる。

【0020】

一実施例によれば、開口を通じて見えるパターン面の一部を含むライトフィールドイメージを生成する段階と、ライトフィールドイメージからパターンイメージを含むように無限大の焦点距離で結像された第１イメージを抽出し、出射光イメージを含むように無限大の焦点距離よりも近い焦点距離で結像された第４イメージを抽出する段階と、第２イメージ、第３イメージ及び第４イメージに基づいてマーカーの位置を決定する段階とをさらに含むことができる。

【発明の効果】

【0021】

本開示の実施例によれば、目的物に付着されたマーカーの姿勢及び位置を同時にトラッキングすることができる。また、マーカーの姿勢及び位置に対するトラッキングの正確度を向上させることができ、オプティカルトラッキングシステムの精度を向上させることができる。

【図面の簡単な説明】

【0022】

【図1】本開示の一実施例によるオプティカルトラッキングシステムが手術に用いられている例を示す図である。

【図2】本開示の一実施例によるオプティカルトラッキングシステムのブロック図である。

【図3】本開示の一実施例により結像部がマーカーの開口部から放出される反射光をそれぞれの方向から撮影する例を示す図である。

【図4】本開示の一実施例により結像部で結像されたイメージを説明するための図である。

【図5】本開示の一実施例によりオプティカルトラッキングシステムの３つの結像部で結像された３つのイメージに基づいてマーカーの姿勢及び位置を決定する方法を説明するための図である。

【図6】図５に示す第１結像部で結像された第１イメージの例示的な様子を説明するための図である。

【図7】図５に示す第２結像部で結像された第２イメージの例示的な様子を説明するための図である。

【図8】図５に示す第３結像部で結像された第３イメージの例示的な様子を説明するための図である。

【図9】本開示の一実施例によるオプティカルトラッキングシステムの１つの結像部がライトフィールドカメラで構成される例を示す図である。

【図10】図９に示すオプティカルトラッキングシステムの３つの結像部で結像されたイメージに基づいてマーカーの姿勢及び位置を決定する方法を説明するための図である。

【図11】本開示の一実施例によるオプティカルトラッキングシステムの２つの結像部がライトフィールドカメラで構成される例を示す図である。

【図12】図１１に示すオプティカルトラッキングシステムの３つの結像部で結像されたイメージに基づいてマーカーの姿勢及び位置を決定する方法を説明するための図である。

【図13】本開示の他の実施例によるオプティカルトラッキング方法を示すフローチャートである。

【図14】図１３に示すオプティカルトラッキング方法において、マーカーの姿勢を決定する段階を示すフローチャートである。

【図15】図１３に示すオプティカルトラッキング方法において、マーカーの位置を決定する段階を示すフローチャートである。

【図16】図１３に示すオプティカルトラッキング方法において、ライトフィールドイメージを用いる例を示すフローチャートである。

【発明を実施するための形態】

【0023】

本開示の実施例は、本開示を説明するための目的で例示されたものである。本開示の実施例は、多様な形態で実施されることができ、本開示が下記に提示された実施例やこれらの実施例に関する具体的な説明に限定されるものと解釈してはならない。

【0024】

本開示で用いられる用語「部」は、ソフトウェア、ＦＰＧＡ（field-programmable gate array）、ＡＳＩＣ（application specific integrated circuit）及び独立的に作動する装置のようなハードウェア構成要素を意味する。しかし、「部」は、ハードウェア及びソフトウェアに限定されるものではなく、「部」は、アドレッシングできる格納媒体にあるように構成されてもよく、１つまたはそれ以上のプロセッサを再生させるように構成されてもよい。よって、一例として「部」はソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセッサ、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素と「部」内で提供される機能はさらに小さい数の構成要素及び「部」に結合したり追加の構成要素と「部」にさらに分離され得る。

【0025】

本開示で用いられる全ての技術的用語及び科学的用語は、別途に定義されていない限り、本開示の属する技術分野で通常の知識を有する者に一般に理解される意味を有する。本開示で用いられる全ての用語は本開示をより明確に説明するための目的で選択されたものであり、本開示の範囲を制限するために選択されたものではない。

【0026】

本開示で記述された単数形の表現は、異なって言及しない以上、複数形の表現もともに含むことができ、これは請求項に記載された単数形の表現にも同様に適用される。

【0027】

本開示の多様な実施例で用いられた「第１」、「第２」などの表現は、複数の構成要素を相互に区分するために用いるものに過ぎず、当該構成要素の順序または重要度を限定するものではない。

【0028】

本開示で用いられる「含む」及び「有する」という表現は、当該表現が含まれる文句または文章において特に異なって言及されない限り、他の実施例を含む可能性を内包する開放型用語（open-ended terms）と理解されなければならない。

【0029】

本開示で「〜に基づいて」という表現は、当該表現が含まれる文句で記述される決定または判断の行為または動作に影響を与える１つ以上の因子を記述するのに用いられ、この表現は決定または判断の行為または動作に影響を与える追加の因子を排除しない。

【0030】

本開示において、ある構成要素が他の構成要素に「連結されて」いるとか、「接続されて」いると言及されたときには、前記ある構成要素が前記他の構成要素に直接的に連結されているか、または接続されていてもよいが、前記ある構成要素と前記他の構成要素の間に新たな他の構成要素が存在してもよいと理解されるべきである。

【0031】

以下、添付した図面を参照して、本開示の実施例を詳細に説明する。図面上の同一の構成要素に対しては同一の参照符号を用い、同一の構成要素について重複する説明は省略する。

【0032】

＜オプティカルトラッキングシステム＞
図１は、本開示の一実施例によるオプティカルトラッキングシステム１が手術に用いられている例を示す。図示のように、医師Ｄ（doctor）は、手術道具２０と、結像装置１００とを含むオプティカルトラッキングシステム１を活用して患者Ｐ（patient）に対する手術を行うことができる。医師Ｄが用いている手術道具２０にはマーカー１０が付着され得、患者Ｐの患部のような目的物にも他のマーカー３０が付着され得る。オプティカルトラッキングシステム１の結像装置１００は、マーカー１０及び／又は３０に形成されたパターンの全部または一部に対するパターンイメージを結像（capture）及び取得することができる。パターンイメージは、結像装置１００の結像部に含まれたイメージセンサが出力するイメージのフレーム内の一部領域に結像され得る。

【0033】

パターンイメージが取得されると、パターンイメージからマーカーのパターンを構成する基本単位として、サブパターンのうちの少なくとも１つが抽出され得る。一実施例において、抽出された少なくとも１つのサブパターンの全パターン内における位置が決定され、決定されたサブパターンの全パターン内の位置に基づいてマーカー１０及び／又は３０の姿勢が決定され得る。ここで、マーカー１０及び／又は３０の姿勢は、マーカー１０及び／又は３０の結像装置１００に対する相対的な３次元的方向ないし方位を意味することができる。

【0034】

一実施例では、結像装置１００は、３つの結像部を含むことができ、結像部それぞれは、例えば、マーカー１０及び／又は３０の少なくとも一部に対するイメージの形成が可能なカメラになり得る。さらに詳しくは、結像部それぞれは、例えば、マーカー１０及び／又は３０の開口（aperture）から各結像部に向かう光からイメージをそれぞれ形成することができる。

【0035】

いずれか１つのマーカー１０及び／又は３０の位置は、３つのカメラにより結像された３つのイメージのうち、ステレオスコピック関係を有する２つのイメージに基づいた三角法（triangulation）を用いて決定され得る。

【0036】

このようにマーカー１０及び／又は３０の位置及び姿勢が取得されれば、マーカー１０及び／又は３０とこのマーカー１０及び／又は３０が付着された目的物との間の幾何学的関係に基づいて、マーカー１０及び／又は３０が付着された目的物の位置及び姿勢が決定され得る。

【0037】

以下で詳細に説明するように、本開示の一実施例によるオプティカルトラッキングシステム１によれば、少なくとも１つのマーカーを用いて目的物の６自由度に該当する位置及び姿勢が決定され得る。

【0038】

本開示のオプティカルトラッキングシステム１によれば、１つのマーカー１０が目的物である手術道具２０に付着された場合にも、マーカー１０に形成されたパターンに基づいて目的物の位置及び姿勢がトラッキングされ得る。よって、手術道具２０には軽量または小型のマーカー１０が付着され得、医者Ｄはマーカー１０の大きさ及び重さに対する負担なしでマーカーが付着された手術道具２０を用いて手術を行うことができる。

【0039】

以上で説明した一実施例では、本開示によるマーカー及びオプティカルトラッキングシステム１は、医師が患者に対して手術を行う例に適用されたが、マーカーを用いて目的物の位置及び姿勢を決定する他の多様な例にも適用され得る。例えば、本開示によるマーカー及びオプティカルトラッキングシステムは、手術ロボットを活用して患者に対して手術を行う場合に、手術ロボットに付着された手術道具の位置及び姿勢を決定するのに用いられ得る。他の例において、本開示によるマーカー及びオプティカルトラッキングシステムは、作業者または作業ロボットが特定の道具を活用して特定の目的物に対して特定の作業を行う場合に、その道具及び／又は目的物の位置及び姿勢を決定するのに用いられ得る。以下では、図１及び図２の例を通じて概略的に説明した本開示のマーカー及びオプティカルトラッキングシステムの多様な実施例についてさらに具体的に説明する。

【0040】

図２は本開示の一実施例によるオプティカルトラッキングシステム１のブロック図である。

【0041】

オプティカルトラッキングシステム１において、結像装置１００は、マーカー１０の少なくとも一部を含む複数のイメージを撮影し、プロセッサ１４０は結像装置１００から前記複数のイメージを受信してこれに基づいてマーカー１０の位置及び姿勢をトラッキングすることができる。

【0042】

一実施例において、マーカー１０は、パターンが形成されているパターン面１５及びマーカー１０の外部から見た方向に沿って固有に示されるパターンの少なくとも一部がマーカー１０の外部から識別（または視覚的に認知）できるように構成された、レンズのような、光学系１２を含むことができる。

【0043】

マーカー１０の外形１１は、パターン面１５及びレンズのような光学系１２の設置が容易な形状を有することができる。例えば、マーカー１０の外形１１は、全体的に曲面状を有することができる。この場合、パターンが形成されているパターン面１５は曲面状の内部面または外部面の少なくとも一部に実現され得る。光学系１２は、曲面状の内部面のうちパターン面１５と対向する開口１３に実現され得、例えば、曲面状を有し得る。他の実施例において、マーカー１０の外形１１は、六面体またはシリンダ状であり得る。マーカー１０の外形１１がシリンダ状である場合、シリンダ状の一端部に形成された開口１３には光学系１２が設けられ得、対向する他端部にはパターン面１５が設けられ得る。このような構成でパターン面１５に形成されたパターンは、光学系１２を通じて外部から視覚的に識別され得る。

【0044】

一実施例において、マーカー１０が結像装置１００の視野角ＦＯＶ内に位置しており、光学系１２が結像装置１００に向かって配列される時、結像装置１００は、開口１３に位置した光学系１２を通じて識別されるパターン面１５の少なくとも一部を結像することができる。

【0045】

一実施例において、結像装置１００は互いに並列的に作動する第１〜第３結像部１１０、１２０、１３０を含むことができる。第１〜第３結像部１１０、１２０、１３０のうち１つの結像部（例えば、第１結像部１１０はマーカー１０のパターン面１５の少なくとも一部を撮像することができ、残りの２つの結像部（例えば、第２及び第３結像部１２０、１３０））はそれぞれマーカー１０の開口１３から出る出射光を撮像することができる。また、第１〜第３結像部１１０、１２０、１３０は同軸照明カメラの構成を有することができる。

【0046】

第１結像部１１０の光学系はマーカー１０の開口１３に形成された光学系１２と無限光学系を形成することができる。また、第１結像部１１０の光学系は、焦点を無限大の焦点距離に形成することができる。よって、第１結像部１１０はマーカー１０の開口１３を通じて見えるパターン面１５の一部を含むイメージを結像することができる。第２及び第３結像部１２０、１３０の光学系は、焦点を無限大の焦点距離よりも近い焦点距離に形成することができる。よって、第２及び第３結像部１２０、１３０は、マーカー１０の開口１３から放出される出射光が撮像されたイメージを結像することができる。

【0047】

無限大の焦点距離は、例えば、結像装置１００を基準としてマーカー１０より非常に遠い位置に対応する距離を意味することができる。また、無限大の焦点距離よりも近い焦点距離（以下、「近い焦点距離」という）は、目的物の位置を含む所定の範囲の焦点距離になり得る。即ち、マーカー１０は目的物に付着されるので、無限大の焦点距離よりも近い焦点距離は、マーカー１０の位置を含む所定の範囲の焦点距離になり得る。

【0048】

一実施例において、それぞれの第１〜第３結像部１１０、１２０、１３０は、マーカー１０に向かって互いに異なる方向に指向され得る。第１結像部１１０は、地面に向かう方向を基準に第２及び第３結像部１２０、１３０の間に配置され得る。また、第２及び第３結像部１２０、１３０はステレオスコピック関係を有するように、水平式（平行）または交差式（収束）で配置され得る。

【0049】

一実施例において、それぞれの第１〜第３結像部１１０、１２０、１３０は、１つのイメージを撮影することができ、例えば、デジタルカメラと同じ構造を有することができる。第１〜第３結像部１１０、１２０、１３０はそれぞれレンズ１１１、１２１、１３１及びイメージセンサ１１２、１２２、１３２を含むことができる。それぞれのイメージセンサ１１２、１２２、１３２は、対応するレンズ１１１、１２１、１３１から入ってくる光を１つのイメージとして結像することができる。

【0050】

一実施例において、レンズ１１１、１２１、１３１はマーカーから入ってくる光を集光することができる。レンズ１１１、１２１、１３１は、マーカーから入ってくる光が１つのポイントに集光されるように１つの焦点距離を有する凸レンズになり得る。レンズ１１１、１２１、１３１が複数のレンズなどを用いて実現された場合には、公知された薄レンズ理論（thin lens theory）により複数のレンズを１つの薄いレンズで定義することができる。これにより、レンズ１１１、１２１、１３１の直径、焦点距離及び中心は、このように定義された１つの薄いレンズの直径、焦点距離及び中心としてそれぞれ示すことができる。

【0051】

一実施例において、それぞれのイメージセンサ１１２、１２２、１３２はレンズを通過した光をセンシングして、１つのイメージを取得することができる。それぞれのイメージセンサ１１２、１２２、１３２は、任意の物体の結像イメージを取得するように構成された任意の種類の少なくとも１つの結像素子を含むことができ、例えば、ＣＣＤ（charge-coupled device）センサまたはＣＭＯＳ（complementary metal-oxide semiconductor）センサを含むことができる。また、イメージセンサ１１２、１２２、１３２は複数の画素（fixel）で構成され得る。

【0052】

一実施例において、それぞれの第１〜第３結像部１１０、１２０、１３０は、パターン面１５がマーカー１０の外部からよく識別されるように光学系１２を通じて結像装置１００に入射される光を補強するために、マーカー１０またはパターンに向かって光を照射する少なくとも１つの光源１１４、１２４、１３４を含むことができる。この場合、マーカー１０はパッシブマーカー（passive marker）として動作することができる。また、第１〜第３結像部１１０、１２０、１３０それぞれは、光源１１４、１２４、１３４から発生した光をレンズ１１１、１２１、１３１を通じてマーカー１０に照射するビームスプリッタ１１３、１２３、１３３を含むことができる。

【0053】

図２では光源１１４、１２４、１３４が第１〜第３結像部１１０、１２０、１３０それぞれの内部に配置されるように示されているが、これに限定されるのではなく、結像装置１００の外部に配置されることも可能である。他の実施例によれば、光源はマーカー１０の内部からパターン面１５の前面または後面に対して光を照射するように設置され得る。この場合、マーカー１０はアクティブマーカー（active marker）として動作することができる。

【0054】

一実施例において、オプティカルトラッキングシステム１が手術ナビゲーションシステム（surgical navigation system）のような手術システム内で動作する場合に、マーカー１０は、手術道具、手術ロボットの一部または患者の患部を含む少なくとも１つの目的物に付着され得る。また、複数のマーカーが用いられる場合には、マーカーの位置及び姿勢が順次または同時にトラッキングされ得る。

【0055】

一実施例において、プロセッサ１４０は、開口１３を通じて見えるパターン面１５の一部と無限大の焦点距離で結像した第１イメージに基づいてマーカー１０の姿勢を決定する姿勢トラッキング部１４２と、互いに異なる方向で開口１３を通じて放出された出射光を近い焦点距離でそれぞれ結像した第２及び第３イメージに基づいてマーカー１０の位置を決定する位置トラッキング部１４１と、複数のマーカーの位置及び姿勢をトラッキングするためにそれぞれの目的物に付着されたマーカーをマーカーのＩＤを通じて区別するＩＤ識別部１４３を含むことができる。ＩＤ識別部１４３は、第１イメージに含まれたパターンイメージからマーカー１０のＩＤを識別できる。

【0056】

さらに他の実施例によれば、オプティカルトラッキングシステム１は、予め決定された幾何学的関係を有する２つのマーカーの位置及び姿勢をトラッキングできる。例えば、オプティカルトラッキングシステム１は、図１に示す手術道具２０に付着されたマーカー１０及び患者の頭に付着されたマーカー３０の位置及び姿勢を同時にトラッキングできる。オプティカルトラッキングシステムは、結像装置を通じて２つのマーカーにそれぞれ形成されたパターンのパターンイメージを取得することができる。２つのマーカーの位置は、予め決定された幾何学的関係、及びパターンイメージ上におけるパターンの少なくとも一部の位置と、各マーカー上におけるパターンの少なくとも一部の位置との間の関係に基づいて決定され得る。マーカーの姿勢は先に説明した方式と同一の方式で決定され得る。

【0057】

一実施例において、マーカー１０は、オプティカルトラッキングシステム１によりその位置及び姿勢が測定される、目的物に付着されたり、その目的物の全体または一部として実現され得る。マーカー１０の位置及び姿勢を測定することにより、マーカー１０が付着された目的物の位置及び姿勢が測定され得る。また、マーカー１０と目的物は予め定められた幾何学的関係を有することができる。

【0058】

図３は、本開示の一実施例により結像部がマーカーの開口部から放出される反射光をそれぞれの方向で撮影する例を示す図である。

【0059】

一実施例において、第１結像部２７０は、マーカー２１０と無限光学系を形成することができる。パターン２５５が形成されているパターン面２５０は、パターンイメージが光学系２２０を通じて平行出射光Ｌ１の形で第１結像部２７０に伝達されるようにマーカー２１０内部に配置され得る。第１結像部２７０に含まれたイメージセンサの被写体深度はマーカー２１０の光学系２２０によりパターンイメージが形成されるように、マーカー２１０の位置よりも遠い地点または無限大地点で所定の有限な範囲を包括するように設定され得る。この場合、第１結像部２７０に含まれたイメージセンサは、マーカー２１０の動きに応じてマーカー２１０からの距離が変化することとは関係なく、マーカー２１０に形成されたパターンの一部に関するパターンイメージを結像することができる。また、第１結像部２７０は、マーカーが遠くなったり近くなる場合にも、深度または倍率の調整なしでパターンイメージを結像することができる。よって、以上のように無限光学系が構成された場合には、マーカー２１０が結像装置からどれほど離れて位置しても、第１結像部２７０により結像されたパターンイメージからパターンの少なくとも一部が識別され得る。他の実施例において、パターン面２５０がマーカー２１０内に配置される場合、マーカー２１０の光学系２２０が第１及び第２結像部２７０、２８０それぞれの光学系レンズ２７５、２８５とともに無限光学系を構成することができる。

【0060】

一実施例において、第２及び第３結像部２８０、２９０は互いに異なる方向でそれぞれマーカー２１０の開口２３０を通じて放出された出射光が撮像された第２イメージ及び第３イメージを結像することができる。即ち、マーカー２１０から反射された光Ｌ２、Ｌ３は第２及び第３結像部２８０、２９０のレンズ２８５、２９５を通過して第２及び第３結像部２８０、２９０に含まれたイメージセンサで結像され得る。また、第２及び第３結像部２８０、２９０のレンズ２８５、２９５とマーカー２１０の光学系２２０は無限光学系を形成せず、この場合、第２及び第３イメージ内でパターンは読み出し可能な形で結像されないこともある。また、第２及び第３結像部２８０、２９０のレンズ２８５、２９５は、開口２３０から放出された出射光を結像するために、マーカー２１０の第２及び第３結像部２８０、２９０の前に焦点を形成でき、第２及び第３イメージ内で撮像された出射光の位置が明確に識別され得る。

【0061】

一実施例において、パターン２５５はパターン全体に対して各サブパターンの位置が固有に決定されるように形成されるので、そのパターンのパターンイメージからパターン全体に対する各サブパターンの位置に関する情報を抽出することができる。具体的には、パターン２５５は繰り返し的に配列された非周期的シーケンス（aperiodic sequences）を含むことができる。例えば、各非周期的シーケンスはＰＲＢＳ（Pseudo-Random Binary Sequence）であってもよく、さらに詳しくは、デブルーインシーケンス（De Bruijn Sequence）であってもよい。ここで、「非周期的シーケンス」とは、上述したように最大化された自己相関性を有したり、該当シーケンスに含まれた複数のサブシーケンスが周期的な方式で配列されないことを意味し得る。また、パターン２５５は、マーカーのＩＤを提供できるように形成され得る。

【0062】

図４は、本開示の一実施例により結像部で結像されたイメージ３００を説明するための図である。

【0063】

一実施例において、結像部はマーカーが付着された目的物（例えば、手術道具）の位置及び姿勢を決定するためにマーカーに形成されたパターンの少なくとも一部を結像できる。マーカーと目的物との間には、予め定められた幾何学的関係が存在し得、マーカーの姿勢がトラッキングされた場合、目的物との予め定められた幾何学的関係を用いて目的物の姿勢をトラッキングできる。

【0064】

マーカーと無限光学系を形成する結像部は、イメージセンサが実際に結像されたイメージ３００から所定のイメージ処理（image process）された補正イメージ（correction image）を取得できる。結像されたイメージ３００は、パターン部分の周辺が完全に暗く結像されずに結像装置の視野角に位置した物がぼやけて見える程度である。イメージ処理は、例えば、結像されたイメージで明るい部分と暗い部分の差をさらに強化する作業になり得る。

【0065】

一実施例において、結像されたイメージ３００は、所定の位置に形成されるパターンイメージ３２０を含むことができる。パターンイメージ３２０を囲む仮想の（imaginary）境界部分３３０は、マーカーの開口の位置と対応することができ、パターンイメージ３２０及び周辺部分３１０を区分することができる。パターンイメージ３２０に含まれたサブパターン３５０は、プロセッサの姿勢決定部でパターンウィンドウ３４０を通じて読み出すことができる。また、原本イメージ（図示せず）からイメージ処理を行なった後には、図４に示す結像されたイメージ３００よりパターンイメージ３２０が目立ち、周辺部分３１０は黒くなり、境界部分３３０はぼやけて結像される。

【0066】

結像されたイメージ３００でパターンイメージ３２０を除いた周辺部分３１０は、パターンイメージ３２０に対応するマーカーのパターン面より相対的に暗い部分であって、イメージがない形態（例えば、ブラックアウト（black out）された状態）で結像され得る。即ち、結像部のイメージセンサは、被写体深度が形成されていない領域及び相対的に光量が少ない部分を暗く結像し、暗く結像した部分が周辺部分３１０になり得る。また、マーカーの光学系と無限光学系を形成する結像部のイメージセンサは、被写体深度が遠距離ないし無限大に合わせられているので、マーカーが運用される範囲内の近距離の物体は全て甚だしくブラー（blur）となり得る。また、マーカーの開口から出る出射光が周辺光に比べて相対的に非常に明るいので、結像されたイメージ３００内でパターンイメージ３２０は著しく目立ち得る。もし、マーカーの撮像に用いられる光を照明とフィルタリングを通じて統制したのであれば、結像されたイメージ３００内でパターンイメージ３２０と周辺部分３１０の明るさの差がさらに大きくなり得る。

【0067】

一実施例において、オプティカルトラッキングシステムの結像部がマーカーに形成されているパターン面から反射された出射光をパターンイメージ３２０として結像すれば、プロセッサの姿勢決定部はパターンイメージ３２０に含まれた各サブパターン３５０の全体パターン内における位置に基づいてマーカーの姿勢を決定できる。例えば、結像されたパターンイメージ３２０に図３に示すパターン２５５の一部が含まれ得、プロセッサは結像部から結像されたイメージ３００を受信してイメージ補正を行った後、読み出されたパターンイメージ３２０内でパターンウィンドウ３４０を通じてサブパターン３５０を識別できる。パターンウィンドウ３４０の大きさは、サブパターン３５０の大きさと同じであるか、さらに大きいこともある。即ち、プロセッサの姿勢トラッキング部は、全体パターン内で該当サブパターンの位置を決定でき、このように決定されたサブパターンの位置に基づいて、マーカーの姿勢を決定できる。

【0068】

図５は、本開示の一実施例によりオプティカルトラッキングシステムの３つの結像部４１０、４２０、４３０で結像された３つのイメージ４５０、４６０、４７０に基づいてマーカー４０５の姿勢及び位置を決定する方法を説明するための図である。

【0069】

一実施例において、マーカー４０５は、パターン面及び開口を含むことができる。パターン面は、パターンが形成されて少なくとも一部が曲面に形成され得る。光学系が形成された開口は、マーカー４０５の外部から見た方向に沿って固有に示されるパターンの少なくとも一部がマーカー４０５の外部から識別されるように構成され得る。

【0070】

一実施例において、マーカー４０５は第１〜第３結像部４１０、４２０、４３０の視野角内に位置し、それぞれの第１〜第３結像部４１０、４２０、４３０はマーカー４０５の開口から互いに異なる方向に出る出射光を撮像して第１〜第３イメージ４５０、４６０、４７０を結像できる。また、第１結像部４１０の光学系はマーカー４０５の光学系と無限光学系を形成でき、第１結像部４１０は無限大の焦点距離で結像された第１イメージ４５０を結像できる。また、第２及び第３結像部４２０、４３０の光学系は近距離に焦点を形成でき、第２及び第３結像部４２０、４３０はそれぞれ近い焦点距離で結像された第２及び第３イメージ４６０、４７０を結像できる。

【0071】

第１イメージ４５０の深度は、無限大の焦点距離に該当する位置を中心に所定の有限の範囲に形成され得る。また、第２及び第３イメージ４６０、４７０の深度は、近い焦点距離に該当する位置を中心に所定の有限の範囲に形成され得る。即ち、２及び第３イメージ４６０、４７０の深度は、マーカー４０５の位置を中心に所定の有限の範囲に形成され得る。

【0072】

一実施例において、第１〜第３結像部４１０、４２０、４３０は互いに異なる位置に配置され得る。また、第１〜第３結像部４１０、４２０、４３０は、光学系がマーカーを指向するように予め定められた位置に配置され得る。例えば、第１結像部４１０は、図５に示すＸ軸方向を基準に第２及び第３結像部４２０、４３０の間に配置され得る。また、第１〜第３結像部４１０、４２０、４３０のうち少なくとも２つの結像部は、Ｘ軸方向に互いに同一の間隔で離隔され得る。例えば、第１結像部４１０と第２結像部４２０との間隔は、第１結像部４１０と第３結像部４３０との間の間隔と同一であり得る。また、第２及び第３結像部４２０、４３０はＸ軸方向に一定の間隔Ｄ_ｘを置いて離隔され得、Ｙ軸方向に地面から同一の高さを有するように予め定められた位置に配置され得る。

【0073】

一実施例において、マーカー４０５と無限光学系を形成する第１結像部４１０は、第２及び第３結像部４２０、４３０とは異なる高さを有するように予め定められた位置に配置され得る。例えば、第１結像部４１０は、第２及び第３結像部４２０、４３０より一定の高さＤ_ｙだけ高い位置に配置され得る。オプティカルトラッキングシステムにおいて、例えば、マーカーが複数提供される場合、それぞれのマーカーを正確に区別しなければ精度を向上させることができない。上述のように、第１結像部４１０を第２及び第３結像部４２０、４３０をＸ軸方向に連結する基準線（base line）よりＹ軸方向に高い位置に配置させる場合、マーカーそれぞれを区分するためのアルゴリズムがさらに簡潔になり得る。即ち、ステレオ相関性（stereo correspondence）の比較領域を減らすことができ、これにより相関性の一致（correspondence matching）の強健性（robustness）が向上し得る。

【0074】

一実施例において、第１結像部４１０は、マーカー４０５と無限光学系を形成した状態でパターン面の一部を含む第１イメージ４５０を結像でき、第２及び第３結像部４２０、４３０のそれぞれは、マーカー４０５の開口から出た出射光を撮像してそれぞれ第２及び第３イメージ４６０、４７０を結像できる。よって、第１イメージ４５０ではパターンイメージ４６５が読み出し可能に結像でき、第２及び第３イメージ４６０、４７０においてマーカーの開口を通じて放出された出射光が結像された開口領域４６５、４７５は鮮明に結像され得る。

【0075】

一実施例において、プロセッサ４４０の姿勢トラッキング部は、第１イメージ４５０に基づいて目的物の姿勢をトラッキングできる。具体的には、姿勢トラッキング部は、パターンの全領域内で第１イメージ４５０に含まれたパターンの一部の位置を決定し、決定された位置に基づいて目的物の姿勢を決定できる。一実施例において、姿勢トラッキング部はパターンの一部に含まれたサブパターンを読み出してパターンの一部の位置を決定できる。まず、第１イメージ４５０に結像されたパターンイメージからマーカーのトラッキングのための情報を抽出するために、姿勢トラッキング部はパターンイメージからサブパターンを読み出すことができる。その後、姿勢トラッキング部は、読み出された各サブパターンの全体パターン内における位置（座標）を計算することができる。

【0076】

一実施例において、プロセッサ４４０の位置トラッキング部は、第２及び第３イメージ４６０、４７０に基づいて目的物の位置をトラッキングできる。具体的には、位置トラッキング部は、第２及び第３イメージ４６０、４７０に含まれた開口領域４６５、４７５の基準座標をそれぞれ決定し、それぞれ決定された基準座標及び第２及び第３結像部４２０、４３０がマーカーで指向した方向

【数1】

間の幾何学的関係を用いて目的物の位置を決定できる。開口領域４６５、４７５の基準座標は、例えば、開口領域４６５、４７５の中心座標になり得る。

【0077】

一実施例において、位置トラッキング部は三角法を用いてマーカーの位置を決定することができる。例えば、位置トラッキング部は、第２及び第３結像部４２０、４３０それぞれにより結像された第２及び第３イメージ４６０、４７０から開口領域４６５、４７５の基準座標を抽出した後、この基準座標に基づいた三角法を用いてマーカーの位置を計算することができる。さらに詳しくは、位置トラッキング部は、各パターンイメージ上で結像された開口領域の基準座標と、第２及び第３結像部４２０、４３０の間の予め定められた間隔Ｄ_ｘ、互いに異なる位置にある第２及び第３結像部４２０、４３０がマーカーに向かう方向

【数2】

間の幾何学的関係を用いてマーカーの位置を計算することができる。

【0078】

図６は、図５に示す第１結像部４１０で結像された第１イメージ４５０の様子を例示的に示す図である。

【0079】

第１イメージ４５０は、マーカー４０５と無限光学系を形成した第１結像部４１０により結像されたイメージとなり得る。第１イメージ４５０は、図３に示すパターン２５５の一部を含み、その部分に焦点が形成されたパターンイメージ４５５を含むことができる。また、図５に示すＸ軸方向に第１結像部４１０が第２及び第３結像部４２０、４３０の間に配置される場合、パターンイメージ４５５は第１イメージ４５０内で第２及び第３イメージ４６０、４７０の開口領域４６５、４７５が形成される位置の間に配置され得る。

【0080】

第１イメージ４５０内でパターンイメージ４５５の位置は横方向の距離Ｘ１及び縦方向の距離Ｙ１で定義され得る。横方向の距離Ｘ１は、第１イメージ４５０の左側端部及びパターンイメージ４５５の間の最短距離を意味し、縦方向の距離Ｙ１は、第１イメージ４５０の上端及びパターンイメージ４５５の間の最短距離を意味し得る。また、第１結像部４１０が第２及び第３結像部４２０、４３０とは地面から異なる高さに配置される場合、パターンイメージ４５５の縦方向の距離Ｙ１は開口領域４６５、４７５の縦方向の距離とは相異し得る。

【0081】

第１イメージ４５０において、パターンイメージ４５５を囲む境界部分４５６は、マーカーの開口に対応し得る。マーカーの開口の縁部を通過して放出される出射光は、出射光が開口を通る時、回折、内部反射、開口のビネッティング、または、焦点深度などの理由で、カメラに撮られる時にはぼうっとぼやけた（blurred）形態で結像され得る。よって、境界部分４５６がぼやけて形成されるので、周辺部分４５７と区別があまりつかなくなり得る。また、周辺部分４５７は、パターンイメージ４５５に比べて相対的に非常に暗い部分としてイメージ処理過程でイメージがない形態（例えば、ブラックアウト（black out）された状態）に補正され得る。よって、プロセッサ４４０の位置トラッキング部がパターンイメージ４５５の基準座標を測定する場合、境界部分４５６がぼやけて結像される現象のため、誤差を発生させ得るので、位置トラッキング部は第２及び第３イメージ４６０、４７０内で明確に結像された開口領域４６５、４７５の基準座標に基づいてマーカーの位置をトラッキングできる。

【0082】

一実施例において、図５に示すプロセッサ４４０の姿勢トラッキング部は、第１イメージ４５０からパターンイメージ４５５の読み出しが可能なので、パターンイメージ４５５を用いてマーカーの姿勢を判断し、マーカーと目的物との相対的な関係を用いて目的物の姿勢をトラッキングできる。一実施例において、プロセッサ４４０は、パターンウィンドウを通じてパターンイメージ４５５から少なくとも１つのサブパターンを抽出し、サブパターンの全体パターン内における位置を計算し、これに基づいてマーカーの姿勢を決定することができる。例えば、プロセッサ４４０は、１つのサブパターンに基づいてマーカーの姿勢を計算することができる。

【0083】

図７は、図５に示す第２結像部４２０で結像された第２イメージ４６０の様子を例示的に示す図であり、図８は、図５に示す第３結像部４３０で結像された第３イメージ４７０の様子を例示的に示す図である。

【0084】

第２及び第３イメージ４６０、４７０は、マーカーと無限光学系を形成せずに近い焦点距離でイメージを結像するので、パターン面が識別可能ではない形態で出射光が結像され得る。即ち、マーカーの開口領域４６５、４７５は円形のディスク（disk）状を有し得、周辺部分４６７、４７７よりも明るく結像され得る。他の実施例において、マーカーの入口の形状が円形ではなく他の形状（例えば、多角形の形状）を有する場合、マーカーの開口領域４６５、４７５は上記他の形状に対応する形状を有し得る。

【0085】

第２及び第３イメージ４６０、４７０において、マーカーの開口領域４６５、４７５は、周辺部分４６７、４７７と明確に区別可能に結像され得る。よって、第２及び第３イメージ４６０、４７０内でマーカーの開口領域４６５、４７５の位置が識別され得る。一実施例において、プロセッサ４４０の位置トラッキング部は、マーカーの開口領域４６５、４７５を囲む周辺部分４６７、４７７と区分される境界（boundary）を判断し、これに基づいて第２及び第３イメージ４６０、４７０内におけるマーカーの開口領域４６５、４７５の基準座標４６６、４７６を決定することができる。例えば、基準座標４６６、４７６はマーカーの開口領域４６５、４７５の中心座標に該当し得る。

【0086】

第２及び第３イメージ４６０、４７０内でそれぞれのマーカーの開口領域４６５、４７５の位置は、横方向の距離Ｘ２、Ｘ３及び縦方向の距離Ｙ２、Ｙ３で定義され得る。横方向の距離Ｘ２、Ｘ３は、第２及び第３イメージ４６０、４７０の左側端部及びマーカーの開口領域４６５、４７５の間の最短距離を意味し、縦方向の距離Ｙ２、Ｙ３は、第２及び第３イメージ４６０、４７０の上端及びマーカーの開口領域４６５、４７５の間の最短距離を意味し得る。

【0087】

図５を参考すると、第２結像部４２０は、第１結像部４１０に比べてＸ軸（−）方向に偏った位置に配置され得るので、第２イメージ４６０の開口領域４６５の横方向の距離Ｘ２は、第１イメージ４５０のパターンイメージ４５５の横方向の距離Ｘ１よりも小さくなり得る。また、第２結像部４２０は、第１結像部４１０に比べて地面から低いか、高い位置に配置され得るので、第２イメージ４６０の開口領域４６５の縦方向の距離Ｈ２は、第１イメージ４５０のパターンイメージ４５５の縦方向の距離Ｈ１とは異なることもある。

【0088】

第３結像部４３０は、第１結像部４１０に比べてＸ軸（＋）方向に偏った位置に配置され得るので、第３イメージ４７０の開口領域４５５の横方向の距離Ｘ３は、第１イメージ４５０のパターンイメージ４５５の横方向の距離Ｘ１よりも大きくなり得る。また、第３結像部４３０は、第１結像部４１０に比べて地面から低いか、高い位置に配置され得るので、第３イメージ４７０の開口領域４５５の縦方向の距離Ｙ３は、第１イメージ４５０のパターンイメージ４５５の縦方向の距離Ｙ１とは異なる。また、第２及び第３結像部４２０、４３０が地面から同一の高さに配置される場合、第２及び第３イメージ４６０、４７０内で開口領域４６５、４７５の縦方向の長さＹ２、Ｙ３は互いに同一であり得る。

【0089】

第２及び第３結像部４２０、４３０及びマーカーは、実質的に三角形の形態を形成するので、第２及び第３イメージ４６０、４７０の開口領域４６５、４７５の横方向の距離Ｘ２、Ｘ３は互いに大きさが異なり、前記横方向の距離Ｘ２、Ｘ３は、常時的に差（disparity）を示し得る。例えば、図７及び８を参考にすると、横方向の距離Ｘ２と横方向の距離Ｘ３との差はプラス値を示し得る。また、前記差から第２及び第３結像部４２０、４３０は、ステレオスコピックを構成することができる。図５を参考にすると、第２及び第３結像部４２０、４３０は予め定められた距離Ｄ_ｘで離隔され得、プロセッサ４４０の位置トラッキング部は、三角測定法を用いる過程で、上記差及び予め定められた距離Ｄ_ｘを用いてマーカーの位置を決定することができる。

【0090】

一実施例において、図５を参考にして、プロセッサ４４０の位置トラッキング部は、第２及び第３イメージ４６０、４７０に含まれたマーカーの開口領域４６５、４７５の基準座標４６６、４７６をそれぞれ決定し、それぞれ決定された基準座標４６６、４７６及び第２及び第３結像部４２０、４３０がマーカーで指向した方向

【数3】

間の幾何学的関係を用いて目的物の位置を決定することができる。

【0091】

図９は、本開示の一実施例によるオプティカルトラッキングシステムの１つの結像部がライトフィールドカメラで構成される例を示す図であり、図１０は、図９に示すオプティカルトラッキングシステムの３つの結像部で結像されたイメージに基づいてマーカーの姿勢及び位置を決定する方法を説明するための図である。上述した実施例で説明された内容と重複する説明は省略する。

【0092】

一実施例において、オプティカルトラッキングシステムは、パターン面５０７及びパターン面５０７が見えるように構成された光学系５０６が形成されたマーカー５０５、第１結像部５１０、第２結像部５２０及び第３結像部５３０を含む結像装置５００と、位置トラッキング部５２１、姿勢トラッキング部５４２及びＩＤ識別部５４３を含むプロセッサ５４０とを含むことができる。第１結像部５１０は、ライトフィールドカメラの構造を有し得る。ライトフィールドカメラは、被写体を撮影した後に被写体深度を事後的に決定し、互いに異なる被写体深度を有するイメージを組み合わせるように構成され得る。よって、ライトフィールドカメラのイメージセンサは、事後的であると共に可変的な被写体深度を有することができる。また、ライトフィールドカメラで生成するライトフィールドイメージは、光の色情報及び方向情報を共に保存する複数の単位イメージを含むことができる。

【0093】

ライトフィールドカメラの構造を有する第１結像部５１０は、レンズ５１１とイメージセンサ５１２との間に配置されて複数のマイクロレンズが配列されたレンズアレイ５１５を含むことができる。また、イメージセンサ５１２は、それぞれのマイクロレンズに対応する領域に区分され得る。第１結像部５１０が実現するライトフィールドカメラは、無限大位置に置かれたパターン面５０７の一部を明確に撮像できるように、被写体深度が遠距離ないし無限大のイメージを合成した第１イメージ５５０をプロセッサ５４０に伝送することができる。

【0094】

他の実施例において、第１結像部２７０は、複数の単位イメージを用いて再焦点（refocusing）過程を進めることができる。再焦点過程でライトフィールドイメージのピクセルのうち所望の被写体深度及びそれにより逆算される光経路ないし方向に相応するピクセルの色情報を組み合わせて所望の深度のイメージを新たに抽出することができる。これによりパターンイメージが鮮明に識別可能な第１イメージ５５０を生成することができる。

【0095】

第２及び第３結像部５２０、５３０のそれぞれは、マーカー５０５の開口５０６から互いに異なる方向に放出された出射光が結像された第２イメージ５６０及び第３イメージ５７０を結像できる。マーカー５０５から反射された光は、第２及び第３結像部５２０、５３０のレンズ５２１、５３２を通過してイメージセンサ５２２、５３２で結像され得る。また、第２及び第３結像部５２０、５３０のレンズ５２１、５３１及びマーカー５０５の光学系５０６は、無限光学系を形成せず、この場合、第２及び第３イメージ５６０、５７０内でパターン面５０７の一部は、読み出し可能な形で結像されないこともある。よって、第２及び第３イメージ５６０、５７０内で開口領域５６５、５７５の位置が明確に識別され得る。

【0096】

一実施例において、プロセッサ５４０の姿勢トラッキング部５４２は、第１イメージ５５０に基づいて目的物の姿勢をトラッキングできる。具体的には、姿勢トラッキング部５４２は、パターンの全領域内で第１イメージ４５０に含まれたパターンの一部の位置を決定し、決定された位置に基づいて目的物の姿勢を決定することができる。

【0097】

プロセッサ５４０の位置トラッキング部５４１は、三角測定法を用いてマーカーの位置を決定することができる。ライトフィールドカメラの構造を有する第１結像部５１０は、撮像したライトフィールドイメージから出射光イメージを含むように近い焦点距離で結像された第４イメージ５８０を抽出するように構成され得る。第４イメージ５８０内には開口領域５８５の位置が明確に識別されるように鮮明に結像され得る。

【0098】

一実施例において、位置トラッキング部５４１は、第１〜第３結像部５１０、５２０、５３０のそれぞれにより結像された第２〜第４イメージ５６０、５７０、５８０から開口領域５６５、５７５、５８５の基準座標を抽出した後、３つの基準座標に基づいた三角測定法を用いてマーカーの位置を計算することができる。さらに詳しくは、位置トラッキング部５４１は、３つの基準座標と、第１〜第３結像部５１０、５２０、５３０の間の予め定められた間隔、互いに異なる位置にある第１〜第３結像部５１０、５２０、５３０がマーカーに向かう方向

【数4】

間の幾何学的関係を用いてマーカーの位置を計算することができる。

【0099】

図１１は、本開示の一実施例によるオプティカルトラッキングシステムの２つの結像部がライトフィールドカメラで構成される例を示す図であり、図１２は、図１１に示すオプティカルトラッキングシステムの３つの結像部で結像されたイメージに基づいてマーカーの姿勢及び位置を決定する方法を説明するための図である。上述した実施例で説明された内容と重複する説明は省略する。

【0100】

一実施例において、オプティカルトラッキングシステムは、パターン面６０７及びパターン面６０７が見えるように構成された光学系６０６が形成されたマーカー６０５と、第１結像部６１０、第２結像部６２０及び第３結像部６３０を含む結像装置６００と、位置トラッキング部６４１、姿勢トラッキング部６４２及びＩＤ識別部６４３を含むプロセッサ６４０とを含むことができる。それぞれの第１及び第２結像部６１０、６２０は、ライトフィールドカメラの構造を有することができる。

【0101】

それぞれライトフィールドカメラの構造を有する第１及び第２結像部６１０、６２０は、レンズ６１１、６２１とイメージセンサ６１２、６２２との間に配置されて複数のマイクロレンズが配列されたレンズアレイ６１５、６２５を含むことができる。また、イメージセンサ６１２、６２２は、それぞれのマイクロレンズに対応する領域に区分され得る。第１及び第２結像部６１０、６２０は、無限大位置に置かれたパターン面６０７の一部を明確に撮像できるように、被写体深度が遠距離ないし無限大のイメージを合成した第１イメージ６５０及び／又は第５イメージ６９０をプロセッサ６４０に伝送することができる。

【0102】

第２及び第３結像部６２０、６３０のそれぞれは、マーカー６０５の開口６０６から互いに異なる方向に放出される出射光が結像された第２イメージ６６０及び第３イメージ６７０を結像できる。一実施例において、第２結像部６２０は、撮像するライトフィールドイメージから近い焦点距離で結像されるように抽出された第２イメージ６６０をプロセッサ６４０に伝送することができる。マーカー６０５から反射された光は、第２及び第３結像部６２０、６３０のレンズ６２１、６３２を通過してイメージセンサ６２２、６３２で結像され得る。第２及び第３イメージ６６０、６７０内で開口領域６６５、６７５の位置は、明確に識別され得る。

【0103】

一実施例において、プロセッサ６４０の姿勢トラッキング部６４２は、第１イメージ６５０に結像されたパターンイメージ６５５に基づいて目的物の姿勢をトラッキングできる。他の実施例において、姿勢トラッキング部６４２は、第５イメージ６９０に結像されたパターンイメージ６９５に基づいて目的物の姿勢をトラッキングできる。具体的には、姿勢トラッキング部５４２は、パターンの全領域内で第１イメージ６５０または第５イメージ６９０に含まれたパターンの一部の位置を決定し、決定された位置に基づいて目的物の姿勢を決定することができる。他の実施例において、姿勢トラッキング部６４２は、第１イメージ６５０に基づいて決定した目的物の姿勢及び第５イメージ６９０に基づいて決定した目的物の姿勢の平均値に基づいて、目的物の姿勢をトラッキングできる。

【0104】

一実施例において、プロセッサ６４０の位置トラッキング部６４１は、三角測定法を用いてマーカーの位置を決定することができる。ライトフィールドカメラの構造を有する第１結像部６１０は、撮像したライトフィールドイメージから出射光イメージを含むように近い焦点距離で結像された第４イメージ６８０を抽出するように構成され得る。第４イメージ６８０内には、開口領域６８５の位置が明確に識別されるように鮮明に結像され得る。例えば、位置トラッキング部６４１は、第１〜第３結像部６１０、６２０、６３０のそれぞれにより結像された第２〜第４イメージ６６０、６７０、６８０から開口領域６６５、６７５、６８５の基準座標を抽出した後、３つの基準座標に基づいた三角測定法を用いてマーカーの位置を計算することができる。さらに詳しくは、位置トラッキング部６４１は、３つの基準座標と、第１〜第３結像部６１０、６２０、６３０の間の予め定められた間隔、互いに異なる位置にある第１〜第３結像部６１０、６２０、６３０がマーカーに向かう方向

【数5】

間の幾何学的関係を用いてマーカーの位置を計算することができる。

【0105】

＜マーカーをトラッキングする方法＞
図１３は本開示の他の実施例によるオプティカルトラッキング方法（Ｓ１２００）を示すフローチャートである。以下、各段階について図面を参照してさらに詳しくマーカーをトラッキングする方法が説明される。

【0106】

パターン面及び開口を含むマーカーを目的物に付着することができる。図１及び２を参照すると、マーカー１０は手術道具２０の端部に付着され得る。また、マーカー１０の開口１３は常時的に結像装置１００に向かうように配置され得る。

【0107】

まず、段階Ｓ１２１０において、図５を参考にすると、無限大の焦点距離で開口を通じて見えるパターン面の一部がパターンイメージとして結像された第１イメージ４５０に基づいてマーカーの姿勢を決定することができる。次の段階Ｓ１２２０では、無限大の焦点距離よりも近い焦点距離で開口を通じて互いに異なる方向から放出された出射光がそれぞれ出射光イメージとして結像された第２イメージ及び第３イメージ４６０、４７０に基づいてマーカーの位置を決定することができる。

【0108】

オプティカルトラッキング方法（Ｓ１２００）において、プロセッサ４４０は、マーカーの姿勢及びマーカーの位置を同時に決定することができる。他の実施例において、プロセッサ４４０は、マーカーの姿勢を決定する前にマーカーの位置を決定したり、マーカーの姿勢を決定してマーカーの位置を決定することができる。

【0109】

図１４は、図１３に示すオプティカルトラッキング方法において、マーカーの姿勢を決定する段階Ｓ１２１０を示すフローチャートであり、図１５は、図１３に示すオプティカルトラッキング方法において、マーカーの位置を決定する段階Ｓ１２２０を示すフローチャートである。

【0110】

一実施例において、段階Ｓ１２１０は、次のように進められ得る。図５を参考にすると、まず、パターン面の全領域内で第１イメージ４５０に含まれたパターンイメージ４５５の位置を決定する（Ｓ１２１１）。次に、決定された位置に基づいて目的物の姿勢を決定することができる（Ｓ１２１２）。

【0111】

一実施例において、段階Ｓ１２２０は、次のように進められ得る。まず、第２及び第３イメージ４６０、４７０内に結像された出射光イメージの基準座標をそれぞれ決定し（Ｓ１２２１）、それぞれ決定された基準座標及び出射光が指向する方向間の幾何学的関係を用いて目的物の位置を決定することができる（Ｓ１２２２）。

【0112】

一実施例において、プロセッサ４４０は、マーカーの位置及び姿勢を並列的に処理して決定することができる。即ち、第１〜第３イメージ４５０、４６０、４７０が同時に結像されるので、プロセッサ４４０はこれを一時に処理して目的物の姿勢及び位置は同時に決定され得る。

【0113】

図１６は、図１３に示すオプティカルトラッキング方法において、ライトフィールドイメージを用いる例を示すフローチャートである。

【0114】

図１０を参考にすると、まず、開口を通じて見えるパターン面の一部を含むライトフィールドイメージを生成することができる（Ｓ１２３０）。次に、ライトフィールドイメージから無限大の焦点距離で結像されてパターンイメージを含む第１イメージ５５０を抽出し、近い焦点距離で結像されて出射光イメージを含む第４イメージ５８０を抽出することができる（Ｓ１２４０）。次に、第２イメージ、第３イメージ及び第４イメージ５６０、５７０、５８０に基づいてマーカーの位置を決定することができる（Ｓ１２５０）。

【0115】

段階Ｓ１２５０において、プロセッサは、３つイメージに含まれた出射光イメージの基準芯座標と、結像部がマーカーに向かう方向の間の幾何学的関係を用いた三角法に基づいてマーカーの位置を決定することができる。以上、実施例では、三角法を用いてマーカーの位置が決定されたが、これに限定されるのではなく、三角法ではなく他の位置決め方法が用いられ得る。

【0116】

前記方法は特定の実施例を通じて説明されたが、前記方法はまたコンピュータで読み出すことができる記録媒体にコンピュータが読み出すことができるコードとして実現することが可能である。コンピュータが読み出すことができる記録媒体はコンピュータシステムにより読まれることができるデータが格納される全ての種類の記録装置を含む。コンピュータが読み出すことができる記録媒体の例としてはＣＤ−ＲＯＭ、ＵＳＢなどの格納装置があり、また、コンピュータが読み出すことができる記録媒体はネットワークで連結されたコンピュータシステムに分散し、分散方式でコンピュータが読み出すことができるコードが格納されて実行され得る。そして、前記実施例を実現するための機能的な（functional）プログラム、コード及びコードセグメントは本開示の属する技術分野のプログラマにより容易に推論され得る。

【0117】

本開示では本開示が一部実施例と関連して説明されたが、本開示の属する技術分野の当業者が理解することができる本開示の思想及び範囲を逸脱しない範囲で多様な変形及び変更がなされるという点を理解すべきである。また、そのような変形及び変更は本開示に添付の請求の範囲内に属すると考えられるべきである。

【符号の説明】

【0118】

１：オプティカルトラッキングシステム
１０：マーカー
１００：結像装置
１１０、２７０、４１０、５１０：第１結像部
１２０、２８０、４２０、５２０：第２結像部
１３０、２９０、４３０、５３０：第３結像部
１４０、４４０：プロセッサ
４５０、５５０、６５０：第１イメージ
４６０、５６０、６６０：第２イメージ
４７０、５７０、６７０：第３イメージ
５８０、６８０：第４イメージ
６９０：第５イメージ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】