(58)【調査した分野】(Int.Cl.,DB名)
患者に対する施術前に予め取得された3次元画像を用いて患者や前記患者を施術するための施術道具をトラッキングするためのオプティカルトラッキングシステム(optical tracking system)において、
前記患者に相対的に配置されて前記患者から離隔している物体に固定付着された基準マーカー(marker)部と、
前記3次元画像に対応する前記患者の所定部位に対して3次元形状を測定する形状測定部と、
前記基準マーカー部及び前記形状測定部をそれぞれトラッキングできるように前記基準マーカー部及び前記形状測定部をセンシング(sensing)するトラッキングセンサ部と、
前記トラッキングセンサ部でセンシングされた結果に基づいて前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部と前記トラッキングセンサ部との間の座標変換関係を取得し、前記形状測定部で測定された結果に基づいて前記患者の所定部位と前記形状測定部との間の座標変換関係を取得し、前記取得された座標変換関係から前記基準マーカー部に対して相対的な前記患者の座標系を定義する処理部と
を含むオプティカルトラッキングシステム。
前記処理部は、前記患者に対する施術前に予め取得された3次元画像の座標系及び前記基準マーカー部に対して相対的に定義された前記患者の座標系を、前記形状測定部で測定された3次元形状に基づいて整合することを特徴とする、請求項1に記載のオプティカルトラッキングシステム。
前記処理部は、前記患者に対する施術前に予め取得された3次元画像の座標系及び前記患者に対して相対的に定義された前記施術道具の座標系を、前記3次元画像の座標系及び前記患者の座標系の整合結果に基づいて整合することを特徴とする、請求項5に記載のオプティカルトラッキングシステム。
【発明の概要】
【発明が解決しようとする課題】
【0009】
従って、本発明が解決しようとする課題は、より短時間に少ない費用で、正確かつ容易に患者や施術道具をトラッキングできるオプティカルトラッキングシステムを提供するものである。
【0010】
本発明が解決しようとする他の課題は、より短時間に少ない費用で、正確かつ容易に患者や施術道具をトラッキングできるオプティカルトラッキングシステムの整合方法を提供するものである。
【課題を解決するための手段】
【0011】
本発明の例示的な一実施例によるオプティカルトラッキングシステム(optical tracking system)は、患者に対する施術前に予め取得された3次元画像を用いて患者や前記患者を施術するための施術道具をトラッキングするために提供される。前記オプティカルトラッキングシステムは、基準マーカー(marker)部、形状測定部、トラッキングセンサ部及び処理部を含む。前記基準マーカー部は、前記患者に相対的に固定配置される。前記形状測定部は、前記3次元画像に対応する前記患者の所定部位に対して3次元形状を測定する。前記トラッキングセンサ部は、前記基準マーカー部及び前記形状測定部をそれぞれトラッキングできるように前記基準マーカー部及び前記形状測定部をセンシング(sensing)する。前記処理部は、前記トラッキングセンサ部でセンシングされた結果に基づいて前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部と前記トラッキングセンサ部との間の座標変換関係を取得し、前記形状測定部で測定された結果に基づいて前記患者の所定部位と前記形状測定部との間の座標変換関係を取得し、前記取得された座標変換関係から前記基準マーカー部に対して相対的な前記患者の座標系を定義する。
【0012】
一実施例によれば、前記形状測定部は、前記3次元画像に対応する前記患者の所定部位に対して3次元形状を測定する測定装置及び前記測定装置に設けられたマーカーを含み得、前記トラッキングセンサ部は、前記形状測定部のマーカーをセンシングすることができる。前記処理部は、前記形状測定部のマーカーと前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部の前記測定装置と前記マーカーの間の座標変換関係を取得することができる。
【0013】
例えば、前記座標変換関係は、座標変換行列で表されることができ、前記処理部は、下記の数式により前記基準マーカー部に対して相対的な前記患者の座標系を定義することができる。
(PRは、前記基準マーカー部に対する前記患者の座標変換行列、T1は、前記トラッキングセンサ部に対する前記基準マーカー部の座標変換行列、T2は、前記トラッキングセンサ部に対する前記形状測定部のマーカーの座標変換行列、T3は、前記形状測定部のマーカーに対する測定装置の座標変換行列、T4は、前記形状測定部の測定装置に対する前記患者の座標変換行列)
【0014】
例えば、前記トラッキングセンサ部は、前記トラッキングセンサ部に対する前記基準マーカー部の座標変換行列(T1)及び前記トラッキングセンサ部に対する前記形状測定部のマーカーの座標変換行列(T2)を取得するための情報を測定することができ、前記形状測定部は、前記形状測定部の測定装置に対する前記患者の座標変換行列(T4)を取得するための情報を測定することができる。前記処理部は、前記測定された情報を用いて前記座標変換行列(T1、T2、T4)を取得し、前記取得された座標変換行列(T1、T2、T4)から前記形状測定部のマーカーに対する測定装置の座標変換行列(T3)及び前記基準マーカー部に対する前記患者の座標変換行列(PR)を算出することができる。前記トラッキングセンサ部及び前記形状測定部の測定は2回以上実行することができる。
【0015】
一実施例によれば、前記処理部は、前記患者に対する施術前に予め取得された3次元画像の座標系及び前記基準マーカー部に対して相対的に定義された前記患者の座標系を前記形状測定部で測定された3次元形状に基づいて整合することができる。
【0016】
前記オプティカルトラッキングシステムは、マーカーを含み、前記患者を施術するための施術道具をさらに含み得る。前記トラッキングセンサ部は、前記施術道具のマーカーをトラッキングできるように前記施術道具のマーカーをセンシングすることができ、前記処理部は、前記トラッキングセンサ部でセンシングされた結果に基づいて前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記施術道具のマーカーと前記トラッキングセンサ部との間の座標変換関係を取得し、前記取得された座標変換関係及び前記基準マーカー部に対して相対的に定義された前記患者の座標系を用いて前記患者に対して相対的な前記施術道具の座標系を定義することができる。
【0017】
一実施例によれば、前記処理部は、前記患者に対する施術前に予め取得された3次元画像の座標系及び前記患者に対して相対的に定義された前記施術道具の座標系を、前記3次元画像の座標系及び前記患者の座標系の整合結果に基づいて整合することができる。
【0018】
前記処理部は、前記患者が動く場合、自動または手動で前記患者の座標系を再定義することができる。
【0019】
本発明の例示的な他の実施例によるオプティカルトラッキングシステムの座標系整合方法は、患者に対する施術前に前記患者の3次元画像を取得する段階と、前記患者に相対的に固定配置された基準マーカー部及び前記3次元画像に対応する前記患者の所定部位に対して3次元形状を測定する形状測定部をトラッキングセンサ部によりセンシングする段階と、前記トラッキングセンサ部でセンシングされた結果に基づいて前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部と前記トラッキングセンサ部の間の座標変換関係を取得し、前記形状測定部で測定された結果に基づいて前記患者の所定部位と前記形状測定部との間の座標変換関係を取得する段階と、前記取得された座標変換関係から前記基準マーカー部に対して相対的な前記患者の座標系を定義する段階とを含む。
【0020】
一実施例によれば、前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部と前記トラッキングセンサ部との間の座標変換関係を取得し、前記患者の所定部位と前記形状測定部との間の座標変換関係を取得する段階は、前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部のマーカーと前記トラッキングセンサ部との間の座標変換関係を取得する段階と、前記形状測定部の前記測定装置と前記マーカーとの間の座標変換関係を取得する段階と、前記患者と前記形状測定部の前記測定装置との間の座標変換関係を取得する段階とを含み得る。
【0021】
前記トラッキングシステムの座標系整合方法は、前記取得された座標変換関係から前記基準マーカー部に対して相対的な前記患者の座標系を定義する段階後に、前記取得された3次元画像の座標系及び前記定義された前記患者の座標系を前記形状測定部で測定された3次元形状に基づいて整合する段階をさらに含み得る。
【0022】
前記トラッキングシステムの座標系整合方法は、前記取得された3次元画像の座標系及び前記定義された前記患者の座標系を整合する段階後に、前記患者を施術するための施術道具のマーカーをセンシングする段階と、前記トラッキングセンサ部でセンシングされた結果に基づいて前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記施術道具のマーカーと前記トラッキングセンサ部との間の座標変換関係を取得する段階と、前記取得された座標変換関係及び前記基準マーカー部に対して相対的に定義された前記患者の座標系を用いて前記患者に対して相対的な前記施術道具の座標系を定義する段階とをさらに含み得る。
【0023】
前記トラッキングシステムの座標系整合方法は、前記患者に対して相対的な前記施術道具の座標系を定義する段階後に、前記取得された3次元画像の座標系及び前記定義された前記施術道具の座標系を前記3次元画像の座標系及び前記患者の座標系の整合結果に基づいて整合する段階をさらに含み得る。
【0024】
前記患者が動く場合、前記患者に相対的に固定配置された基準マーカー部及び前記3次元画像に対応する前記患者の所定部位に対して3次元形状を測定する形状測定部をトラッキングセンサ部によりセンシングする段階以下は繰り返し実行することができる。
【発明の効果】
【0025】
本発明によれば、オプティカルトラッキングシステムが形状測定部を備え、患者の所定部位に対して3次元形状を測定し、トラッキングセンサ部で前記形状測定部と基準マーカー部をセンシングすることにより、これらの間の座標変換関係から前記基準マーカー部に対して相対的な前記患者の座標系を定義することができ、施術時にリアルタイムで前記患者及び施術道具をトラッキングできる。
【0026】
また、前記基準マーカー部に対して相対的な前記患者の座標系を定義する過程が容易に再実行され得るので、前記患者が動いたり姿勢が変わる場合にも、正確に座標系を再設定することができ、前記患者及び前記施術道具をリアルタイムで正確にトラッキングできる。
【0027】
また、施術時に測定された前記患者の3次元形状自体を標識に整合が可能なので、動的参照装置(DRB)を患者に直接付着しなくても、施術前に予め取得された3次元画像の座標系と施術時にリアルタイムで移動され得る患者の座標系及び施術道具の座標系を互いに整合することができる。また、事前に前記3次元画像を取得する時にも、前記動的参照装置を付着する必要がなく、いつでも座標系の再設定及び再整合が可能なので、前記基準マーカー部は、前記患者に対して厳格に固定される必要もない。
【0028】
従って、マーカーを患者に直接付着することで引き起こされる患者の苦痛と誤差、手術前にスタンプを製作しなければならない等の作業の煩わしさと多くの所要時間及び費用等のような従来技術の問題を解決することができる。
【0029】
即ち、別途の準備過程なしに手術室内で迅速に患者の座標系を設定して、画像整合を行うことができるので、より短時間及び少ない費用で正確かつ容易に患者の座標系及び施術道具の座標系設定及び画像整合が可能で、患者に直接付着される動的参照装置(DRB)を省略して患者に直接操作を加えなくてもよく、患者の苦痛及び副作用を軽減することができる。
【発明を実施するための形態】
【0031】
本発明は多様な変更を加えることができ、多様な形態を有することができるところ、特定実施例を図面に例示して本文に詳細に説明する。しかし、これは本発明を特定の開示形態に対して限定しようというものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むと理解されるべきである。
【0032】
第1、第2等の用語は、多様な構成要素を説明するのに用いられるが、前記構成要素は、前記用語により限定されてはならない。前記用語は1つの構成要素を他の構成要素から区別する目的でのみ用いられる。例えば、本発明の権利範囲を逸脱せず、第1構成要素は第2構成要素と命名され得、同様に第2構成要素も第1構成要素と命名され得る。
【0033】
本出願で用いた用語は、単に特定の実施例を説明するために用いられたもので、本発明を限定しようという意図ではない。単数の表現は文脈上明確に異なって言及しない以上、複数の表現を含む。本出願で、「含む」または「有する」などの用語は、明細書に記載された特徴、数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものが存在することを指定しようというものであって、1つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものの存在または付加の可能性を予め排除しないと理解されなければならない。
【0034】
別に定義されない限り、技術的であったり科学的な用語を含めてここで用いられる全ての用語は、本発明の属する技術分野で通常の知識を有する者に一般に理解されるものと同一の意味を有する。
【0035】
一般に用いられる辞典に定義されている用語は、関連技術の文脈上有する意味と一致する意味を有すると解釈されるべきで、本出願で明確に定義していない限り、理想的であったり過度に形式的な意味に解釈されない。
【0036】
以下、添付した図面を参照して、本発明の好ましい実施例をより詳細に説明する。
【0037】
図1は、本発明の一実施例によるオプティカルトラッキングシステムを示す概念図である。
【0038】
本発明の一実施例によるオプティカルトラッキングシステム(optical tracking system)は、患者に対する施術前に予め取得された3次元画像を用いて患者や前記患者を施術するための施術道具をトラッキングするために提供される。
【0039】
前記3次元画像は、前記患者10に対する施術前に予め取得された画像であって、前記患者10に対する施術時に基準画像として活用され得る。ここで、前記施術は、手術を含む患者に対する医療的治療行為全体を含む。例えば、前記3次元画像は、診断及び治療のために病院で一般に取得するCT(コンピュータ断層撮影、computed tomography)画像を含み得る。これとは異なり、前記3次元画像はMRI(磁気共鳴画像、magnetic resonance imaging)などのような他の3次元画像を含み得る。また、ここで前記3次元画像は、CT画像のように直接撮影された画像を操作したり再構成した画像も含む概念であって、実際の施術時に広く活用される多平面再構成画像及び3次元再構成画像も全て含む概念である。
【0040】
図1を参照すると、前記オプティカルトラッキングシステム100は、基準マーカー(marker)部110、形状測定部120、トラッキングセンサ部130及び処理部140を含む。
【0041】
前記基準マーカー部110は、患者10に相対的に固定配置される。
【0042】
前記基準マーカー部110には、マーカー112が設けられ、前記マーカー112は後述されるトラッキングセンサ部130でセンシングが可能にエネルギーまたは信号を発生させ得る。例えば、前記基準マーカー部110には、複数のマーカーが設けられ、所定のパターンが形成された1つのマーカーが設けられることもできる。
【0043】
前記基準マーカー部110は、従来の動的参照装置(DRB)と対応するが、前記基準マーカー部110は、従来の動的参照装置と異なって整合の基準にならないので、CT、MRIのような前記3次元画像を撮影する時、これを前記患者10に付着する必要がない。また、従来の動的参照装置は、必ず前記患者10に直接付着されなければならず、前記患者10に厳格に固定されなければならないのに対し、前記基準マーカー部110は、前記患者10に直接付着されてもよいが、前記患者10に相対的に固定されさえすればよいので、手術室のベッドなど他の固定物体に付着され得、前記患者10に厳格に固定される必要がない。
【0044】
前記形状測定部120は、前記3次元画像に対応する前記患者10の所定部位に対して3次元形状を測定する。
【0045】
一実施例によれば、前記形状測定部120は、測定装置122及びマーカー124を含み得る。
【0046】
前記測定装置122は、前記3次元画像に対応する前記患者10の所定部位に対して3次元形状を測定する。一実施例によれば、前記測定装置122は、格子パターン光を前記患者10の所定部位に照射し、前記格子パターン光による前記患者10の所定部位に対する反射イメージを取得した後、前記取得された反射イメージにバケットアルゴリズム(bucket algorithm)を適用して3次元形状を測定できる。また、前記測定された3次元形状から3次元画像を取得することができる。
【0047】
前記マーカー124は、前記測定装置122に設けられる。前記マーカー124は、後述するトラッキングセンサ部130でセンシングが可能にエネルギーまたは信号を発生させ得る。例えば、前記形状測定部120には、複数のマーカーが設けられ、所定のパターンが形成された1つのマーカーが設けられることもある。
【0048】
前記トラッキングセンサ部130は、前記基準マーカー部110及び前記形状測定部120をそれぞれトラッキングできるように前記基準マーカー部110及び前記形状測定部120をセンシング(sensing)する。
【0049】
例えば、前記トラッキングセンサ部130は、前記基準マーカー部110のマーカー112をセンシングすることができ、前記形状測定部120のマーカー124をセンシングすることができる。これにより、前記基準マーカー部110の位置及び/又は姿勢が分かり、前記形状測定部120の位置及び/又は姿勢が分かる。
【0050】
前記処理部140は、例えば、コンピュータまたはコンピュータの中央処理装置を含み得る。
【0051】
前記処理部140は、前記トラッキングセンサ部130でセンシングされた結果に基づいて前記基準マーカー部110と前記トラッキングセンサ部130との間の座標変換関係及び前記形状測定部120と前記トラッキングセンサ部130との間の座標変換関係を取得する。また、前記処理部140は、前記形状測定部120で測定された結果に基づいて前記患者10の所定部位と前記形状測定部120との間の座標変換関係を取得する。ここで、前記座標変換関係は、例えば、行列形態で定義され得る。
【0052】
前記処理部140は、前記取得された座標変換関係から前記基準マーカー部110に対し相対的な前記患者10の座標系を定義する。例えば、前記座標系は、行列形態で定義され得る。
【0053】
一方、前記形状測定部120の前記測定装置122の測定位置と前記形状測定部120のマーカー124の位置は多少差があるので、正確な座標系の定義のために前記測定装置122と前記マーカー124との間の位置差による誤差をキャリブレーション(calibration)することもできる。これにより、前記処理部140は、前記形状測定部120のマーカー124と前記トラッキングセンサ部130との間の座標変換関係及び前記形状測定部120の前記測定装置122と前記マーカー124との間の座標変換関係を別個に取得することができる。
【0054】
例えば、前記座標変換関係は、座標変換行列で表され得る。
【0055】
以下、前記座標変換関係を用いて前記患者10の座標系を定義するための前記オプティカルトラッキングシステム100のモデリング設定及び解決過程を図面を参照してより詳細に説明する。
【0056】
図2は、
図1のオプティカルトラッキングシステムのモデリング過程を説明するための概念図である。
【0057】
図2を参照すると、前記オプティカルトラッキングシステム100は、前記座標変換関係を座標変換行列T1、T2、T3、T4及びPRでそれぞれ示すことができる。
【0058】
ここで、PRは、前記基準マーカー部110に対する前記患者10の座標変換行列、T1は、前記トラッキングセンサ部130に対する前記基準マーカー部110の座標変換行列、T2は、前記トラッキングセンサ部130に対する前記形状測定部120のマーカー124の座標変換行列、T3は、前記形状測定部120のマーカー124に対する測定装置122の座標変換行列、T4は、前記形状測定部120の測定装置122に対する前記患者10の座標変換行列を意味する。
【0059】
前記基準マーカー部110に対する前記患者10の座標変換行列PRを
図2に示された矢印方向に基づいて閉ループ(closed loop)を形成するようにT1、T2、T3及びT4で示ると、数式1が得られる。
【0061】
一方、前記トラッキングセンサ部130から前記患者10まで互いに異なる2つの経路を閉ループになるように形成して数式2を得た後、これを変形しても同一の結果である数式1が得られる。
【0063】
前記処理部140は、数式1(または、数式2)により座標変換行列PRを取得することにより、前記基準マーカー部110に対し相対的な前記患者10の座標系を定義することができる。
【0064】
例えば、前記トラッキングセンサ部130は、前記トラッキングセンサ部130に対する前記基準マーカー部110の座標変換行列T1及び前記トラッキングセンサ部130に対する前記形状測定部120のマーカーの座標変換行列T2を取得するための情報を測定することができ、前記形状測定部120は、前記形状測定部120の測定装置に対する前記患者10の座標変換行列T4を取得するための情報を測定することができる。前記処理部140は、前記測定された情報を用いて座標変換行列T1、T2、T4を取得することができ、前記取得された座標変換行列T1、T2、T4から前記形状測定部120のマーカー122に対する測定装置124の座標変換行列T3及び前記基準マーカー部110に対する前記患者10の座標変換行列PRを算出することができる。
【0065】
具体的には、前記座標変換行列T3、PRは、下記のような数学的方式を適用して取得され得、前記処理部140は、このような数学的方式を具現して前記座標変換行列T3、PRを算出することができる。
【0066】
まず、前記座標変換行列を回転変換部分Rと位置変換部分tを含むように構成した後、これを数式2に代入して整理すると数式3が得られる。
【0068】
数式3を整理すると、数式4が得られる。
【0070】
数式4の各成分を等式で表せば、数式5及び数式6が得られる。
【0073】
数式5において、R
TTを定義して数式5を整理すると、数式7が得られる。
【0075】
また、数式6において、t
TTを追加で定義して数式6を整理すると、数式8が得られる。
【0077】
数式7及び数式8において、回転変換行列Rは3×3形態を有し、位置変換行列tは3×1形態を有するので、数式7から3×3行列の各成分に対する式である9つの方程式が得られ、数式8から3×1行列の各成分に対する式である3つの方程式が得られる。
【0078】
数式7においてR
TTの全ての成分(即ち、R
T1及びR
T2の全ての成分)及びR
T4の全ての成分を先に説明された測定から分かり、数式8においてこれに加えてt
T4の全ての成分が分かるので、未知数はR
PRとR
T3それぞれの9つの成分と、t
PRとt
T4のそれぞれの3つの成分などいずれも24個である。
【0079】
数式7及び数式8は、いずれも24個の未知数を含む12個の方程式なので、2回以上の測定で、より正確な解を求めることができ、これにより、前記トラッキングセンサ部130及び前記形状測定部120の測定は2回以上行われ得る。
【0080】
従って、前記のように測定された座標変換関係を用いて前記患者10の座標系を定義することができる。
【0081】
前記座標変換行列T3、PRを取得するために上述した数学的方式は他の方式により代替することもできる。例えば、前記処理部140は、デュアルクォータニオン(dual quaternion)方式を応用して、前記座標変換行列T3、PRを算出することができる。
【0082】
具体的には、まず先に記述した数式1から下記の数式9が得られ、数式9を変形して下記の数式10が得られる。
【0085】
数式10を展開し、高次項を除去すると、数式11が得られる。
【0087】
数式9と数式11をそれぞれデュアルクォータニオン方式を応用して変形すると、下記の数式12と下記の数式13が得られる。
【0090】
数式12及び数式13を行列方程式の形態に変形すると、下記の数式14が得られ、数式14から前記座標変換行列T3、PRを算出することができる。
【0092】
一方、前記処理部140は、前記患者10に対する施術前に予め取得された3次元画像の座標系及び前記基準マーカー部110に対し相対的に定義された前記患者10の座標系を前記形状測定部120で測定された3次元形状に基づいて整合することができる。
【0093】
具体的には、前記患者10に直接マーカーまたはマーカーに相当する構造物を付着し、これに基づいて3次元画像の座標系と患者の座標系を整合する代わりに、前記のように取得された3次元形状(または、これから得られる3次元画像)の座標系と前記3次元画像の座標系を、前記3次元形状自体を標識にして整合する(natural landmark)。
【0094】
このように、前記処理部140は、前記座標変換関係から前記基準マーカー部110に対し相対的な前記患者10の座標系を定義することができ、施術時にリアルタイムで前記患者10をトラッキングできる。
【0095】
一方、前記基準マーカー部110に対し相対的な前記患者10の座標系を定義する過程は自動で、あるいは使用者により手動で容易に再実行され得る。即ち、前記処理部140は、前記患者10が動く場合、自動または手動で前記患者の座標系を再定義することができる。この時、前記患者10が直接動く場合ではなくても、前記患者10と前記基準マーカー部110との間の距離が変わる場合には、前記患者10が動く場合とみなすことができる。
【0096】
前記処理部140が前記基準マーカー部110に対し相対的な前記患者10の座標系を定義する過程は自動で、あるいは使用者により手動で容易に再実行され得る。
【0097】
従って、前記患者10が動いたり姿勢が変わる場合、前記座標系を定義する過程を再実行することにより、正確に座標系を再設定することができる(変化したPRの取得)。
【0098】
一実施例によれば、前記オプティカルトラッキングシステム100は、前記患者10の動きを感知する動き感知部(図示せず)を含み得、これを別途に含む代わりに、前記トラッキングセンサ部130で前記患者10の動きを感知することができる。前記動き感知部または前記トラッキングセンサ部130で前記患者10の動きを感知すると、前記処理部140は、前記座標系を定義する過程を再実行することにより、前記座標系を再設定することができる。
【0099】
これにより、前記基準マーカー部110に対し相対的な前記患者10の座標系をリアルタイムで定義することができるので、施術中に患者が動いたり姿勢が変わる場合にも、リアルタイムで前記患者10を正確にトラッキングできる。
【0100】
また、施術時に測定された3次元形状自体を標識に整合が可能なので、前記患者10にマーカーまたはマーカーに対応する構造物のような動的参照装置(DRB)を患者に直接付着しなくても、施術前に予め取得された3次元画像の座標系と施術時にリアルタイムで移動され得る患者10の座標系を互いに整合することができる。また、事前に前記3次元画像を取得する時にも、前記動的参照装置を付着する必要がなく、いつでも座標系の再設定及び再整合が可能なので、前記基準マーカー部110は、前記患者10に対し厳格に固定される必要もない。
【0101】
従って、マーカーを患者に直接付着することで引き起こされる患者の苦痛と誤差、手術前にスタンプを製作しなければならない等の作業の煩わしさと多くの所要時間及び費用等のような従来技術の問題を解決することができる。即ち、別途の準備過程なしに手術室内で迅速に患者の座標系を設定して画像整合を行うことができるので、より短時間及び少ない費用で正確かつ容易に患者の座標系設定及び画像整合が可能であり、患者に直接付着される動的参照装置(DRB)を省略して患者に直接操作を加えなくてもよいので、患者の苦痛及び副作用を軽減することができる。
【0102】
図3は、
図1のオプティカルトラッキングシステムで施術道具のトラッキング及び整合を説明するための概念図である。
【0103】
図3を参照すると、前記オプティカルトラッキングシステム100は、施術道具150をさらに含み得る。
【0104】
前記施術道具150は、前記患者10を施術するための道具であって、マーカー152を含む。前記マーカー152と前記マーカー112は、前記トラッキングセンサ部130でセンシングが可能にエネルギーまたは信号を発生させ得る。例えば、前記マーカー152は複数に形成され得、パターン情報を含むこともできる。
【0105】
前記トラッキングセンサ部130は、前記施術道具150のマーカー152をセンシングして前記施術道具150をトラッキングできる。
【0106】
前記処理部140は、前記トラッキングセンサ部130でセンシングされた結果に基づいて前記基準マーカー部110と前記トラッキングセンサ部130との間の座標変換関係及び前記施術道具150のマーカー152と前記トラッキングセンサ部130との間の座標変換関係を取得する。ここで、前記座標変換関係は、例えば、行列形態で定義され得、座標変換行列で表されることができる。
【0107】
前記処理部140は、前記取得された座標変換関係及び前記基準マーカー部110に対し相対的に定義された前記患者10の座標系を用いて前記患者10に対し相対的な前記施術道具150の座標系を定義することができる。例えば、前記座標系は行列形態で定義され得る。
【0108】
前記基準マーカー部110は、前記患者10に相対的に固定配置されているので、先に
図1及び
図2で説明された前記基準マーカー部110に対し相対的に定義された前記患者10の座標系を用いることができる。即ち、前記基準マーカー部110に対する前記患者10の座標変換行列PRを用いて、前記トラッキングセンサ130でセンシングして算出される座標変換行列T1’及びT2’を用いると、数式1及び数式2で変形された下記の数式15によって前記患者10に対し相対的に定義された前記施術道具150の座標変換行列T5が分かる。
【0110】
従って、前記のように測定された座標変換関係を用いて前記患者10に対し相対的な前記施術道具150の座標系を定義することができる。
【0111】
図3及び数式15において、前記施術道具150の座標変換行列T5は、前記マーカー152に基づいて示されているが、トラッキングが必要な地点、例えば、前記施術道具150の端部154に基づいて座標変換行列を定義することができる。即ち、前記座標変換行列T5を前記施術道具150のマーカー152に対する端部154の座標変換行列T3’及び前記施術道具150の端部154に対する前記患者10の座標変換行列T4’を用いて定義することができ(T5=T3’T4’)、この場合、T3’は、前記施術道具150の幾何学的形状から分かるので、前記患者10に対し相対的な前記施術道具150の座標系を前記端部154に基づいて定義することができる。
【0112】
一方、前記処理部140は、前記患者10に対する施術前に予め取得された3次元画像の座標系及び前記患者10に対し相対的に定義された前記施術道具150の座標系を前記3次元画像の座標系及び前記患者の座標系の整合結果に基づいて整合することができる。
【0113】
即ち、
図1及び
図2で説明された通り、前記患者10に対する施術前に予め取得された3次元画像の座標系及び前記基準マーカー部110に対し相対的に定義された前記患者10の座標系を前記形状測定部120で測定された3次元形状に基づいて整合することができ、前記で説明された通り、前記患者10に対し相対的な施術道具150の座標系を定義することができるので、これにより前記患者10に対する施術前に予め取得された3次元画像の座標系及び前記患者10に対し相対的に定義された前記施術道具150の座標系を互いに整合することができる。
【0114】
前記オプティカルトラッキングシステム100は、前記処理部140と連結されたディスプレイ部(図示せず)をさらに含み得る。前記ディスプレイ部は、前記施術前に予め取得された3次元画像、前記形状測定部120で測定された3次元形状に関する画像、前記施術道具150に対する画像、前記画像が整合されたオーバーラップ画像などがディスプレイされ得る。
【0115】
このように、前記処理部140は、前記座標変換関係から前記患者10に対し相対的な前記施術道具150の座標系を定義することができ、施術時にリアルタイムで前記施術道具150をトラッキングできる。
【0116】
一方、前記基準マーカー部110に対し相対的な前記患者10の座標系を定義する過程は自動で、あるいは使用者により手動で容易に再実行され得る。即ち、前記処理部140は、前記患者10が動く場合、自動または手動で前記患者の座標系を再定義できる。この時、前記患者10が直接動く場合ではなくても、前記患者10と前記基準マーカー部110との間の距離が変わる場合には、前記患者10が動く場合とみなすことができる。
【0117】
従って、前記患者10が動いたり姿勢が変わる場合、前記座標系を定義する過程を再実行することにより、正確に座標系を再設定することができる(変化したPRの取得)。また、前記処理部140は、前記患者10に対し相対的な前記施術道具150の座標系も再設定することができ、施術時にリアルタイムで前記施術道具150をトラッキングできる。
【0118】
これにより、前記基準マーカー部110に対し相対的な前記患者10の座標系をリアルタイムで定義することができるので、施術中に患者が動いたり姿勢が変わる場合にも、リアルタイムで前記施術道具150を正確にトラッキングできる。
【0119】
また、前記患者10にマーカーまたはマーカーに相当する構造物のような動的参照装置DRBを患者に直接付着しなくても、施術前に予め取得された3次元画像の座標系と施術時にリアルタイムで移動する施術道具150の座標系を互いに整合することができる。また、事前に前記3次元画像を取得する時にも、前記動的参照装置を付着する必要がなく、いつでも座標系の再設定及び再整合が可能なので、前記基準マーカー部110は、前記患者10に対し厳格に固定される必要もない。
【0120】
従って、マーカーを患者に直接付着することで引き起こされる患者の苦痛と誤差、手術前にスタンプを製作しなければならない等の作業の煩わしさと多くの所要時間及び費用等とのような従来技術の問題を解決することができる。即ち、別途の準備過程なしに手術室内で迅速に施術道具の座標系を設定して画像整合を行うことができるので、より短時間及び少ない費用で正確かつ容易に施術道具の座標系設定及び画像整合が可能であり、患者に直接付着される動的参照装置DRBを省略して、患者に直接操作を加えなくてもよいので、患者の苦痛及び副作用を軽減することができる。
【0121】
以下、前記したオプティカルトラッキングシステム100を用いて施術前に予め撮影される3次元画像の座標系と、患者の患部と施術機構が位置する施術時の実際の世界の座標系を整合する過程を図面を参照として説明する。
【0122】
図4は、本発明の一実施例によるオプティカルトラッキングシステムの座標系整合方法を示したフローチャートである。
【0123】
図1〜
図4を参照すると、まず、患者10に対する施術前に前記患者10の3次元画像、例えば、CT画像を取得する(S110)。
【0124】
前記のように施術前に予め取得したCT画像のような3次元画像(これを再構成した画像を含む)を、例えば、コンピュータに格納することができる。
【0125】
続いて、次の通り施術時の過程が行われる。
【0126】
まず、前記患者10に相対的に固定配置された基準マーカー部110及び前記3次元画像に対応する前記患者10の所定部位に対して3次元形状を測定する形状測定部120をトラッキングセンサ部130によりセンシングする(S120)。
【0127】
次に、前記トラッキングセンサ部130でセンシングされた結果に基づいて前記基準マーカー部110と前記トラッキングセンサ部130との間の座標変換関係及び前記形状測定部120と前記トラッキングセンサ部130との間の座標変換関係を取得し、前記形状測定部120で測定された結果に基づいて前記患者10の所定部位と前記形状測定部120との間の座標変換関係を取得する(S130)。
【0128】
この時、前記基準マーカー部110と前記トラッキングセンサ部130との間の座標変換関係及び前記形状測定部120のマーカーと前記トラッキングセンサ部130との間の座標変換関係を取得し、前記形状測定部120の前記測定装置122と前記マーカー124との間の座標変換関係を取得し、前記患者10と前記形状測定部120の前記測定装置122との間の座標変換関係を取得することができる。
【0129】
続いて、前記取得された座標変換関係から前記基準マーカー部110に対し相対的な前記患者10の座標系を定義する(S140)。
【0130】
次に、前記取得された3次元画像の座標系及び前記定義された前記患者10の座標系を、前記形状測定部120で測定された3次元形状に基づいて整合することができる(S150)。
【0131】
このように、前記患者10の座標系を前記基準マーカー部110に対し相対的に定義し、予め取得されたCT画像のような3次元画像の座標系と前記患者10の座標系を整合することができる。
【0132】
医師のような施術者にマーカー152が付着された施術道具150が提供され、前記施術者は、前記患者10を施術するための前記施術道具150を直接あるいは手術ロボットなどの装備を用いて運用する。前記施術道具150に対しては、次の通りトラッキングのための過程が行われる。
【0133】
前記トラッキングセンサ部130は、前記施術道具150のマーカー152をセンシングする(S160)。
【0134】
続いて、前記トラッキングセンサ部130でセンシングされた結果に基づいて前記基準マーカー部110と前記トラッキングセンサ部130との間の座標変換関係及び前記施術道具150のマーカー152と前記トラッキングセンサ部130との間の座標変換関係を取得する(S170)。
【0135】
次に、前記取得された座標変換関係及び前記基準マーカー部110に対し相対的に定義された前記患者10の座標系を用いて、前記患者10に対し相対的な前記施術道具150の座標系を定義する(S180)。
【0136】
続いて、前記取得された3次元画像の座標系及び前記定義された前記施術道具150の座標系を、前記3次元画像の座標系及び前記患者の座標系の整合結果に基づいて整合する(S190)。
【0137】
このように、前記患者10を施術するための施術道具150の座標系を前記患者10に対し相対的に定義し、予め取得されたCT画像のような3次元画像の座標系と前記施術道具10の座標系を整合することができる。
【0138】
一方、前記患者10が動く場合、自動または手動で前記患者の座標系を再定義することができるので、先の前記形状測定部120をトラッキングセンサ部130によりセンシングする過程(S120)以下を繰り返すことができる。この時、前記患者10が直接動く場合ではなくても、前記患者10と前記基準マーカー部110との間の距離が変わる場合には、前記患者10が動く場合とみなすことができる。
【0139】
本実施例では、前記オプティカルトラッキングシステム100の座標系整合方法を
図4のフローチャートを参照として簡略に説明しているが、前記オプティカルトラッキングシステム100の具体的な動作は先に
図1〜
図3で説明された内容と実質的に同一なので、重複する詳細な説明は省略する。
【0140】
本発明によれば、オプティカルトラッキングシステムが形状測定部を備えて患者の所定部位に対して3次元形状を測定し、トラッキングセンサ部で前記形状測定部と基準マーカー部をセンシングすることにより、これらの間の座標変換関係から前記基準マーカー部に対して相対的な前記患者の座標系を定義することができ、施術時にリアルタイムで前記患者及び施術道具をトラッキングできる。
【0141】
また、前記基準マーカー部に対して相対的な前記患者の座標系を定義する過程が容易に再実行され得るので、前記患者が動いたり姿勢が変わる場合にも、正確に座標系を再設定することができ、前記患者及び前記施術道具をリアルタイムで正確にトラッキングできる。
【0142】
また、施術時に測定された前記患者の3次元形状自体を標識に整合が可能なので、動的参照装置(DRB)を患者に直接付着しなくても施術前に予め取得された3次元画像の座標系と施術時にリアルタイムで移動され得る患者の座標系及び施術道具の座標系を互いに整合することができる。また、事前に前記3次元画像を取得する時にも前記動的参照装置を付着する必要がなく、いつでも座標系の再設定及び再整合が可能なので、前記基準マーカー部は、前記患者に対して厳格に固定される必要もない。
【0143】
従って、マーカーを患者に直接付着することで引き起こされる患者の苦痛と誤差、手術前にスタンプを製作しなければならない等の作業の煩わしさと多くの所要時間及び費用等のような従来技術の問題を解決することができる。
【0144】
即ち、別途の準備過程なしに手術室内で迅速に患者の座標系を設定して画像整合を行うことができるので、より短時間及び少ない費用で正確かつ容易に患者の座標系及び施術道具の座標系設定及び画像整合が可能で、患者に直接付着される動的参照装置(DRB)を省略して患者に直接操作を加えなくてもよいので、患者の苦痛及び副作用を軽減することができる。
【0145】
前述した本発明の詳細な説明では、本発明の好ましい実施例を参照して説明したが、当該技術分野の熟練した当業者または当該技術分野に通常の知識を有する者であれば、後述される特許請求の範囲に記載された本発明の思想及び技術領域から逸脱しない範囲内で本発明を多様に修正及び変更させることができるものである。従って、前述した説明及び下記の図面は、本発明の技術思想を限定するわけではなく本発明を例示するものと解釈されるべきである。