IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キュレクソ インコーポレイテッドの特許一覧

特許7341567ロボットの位置ガイド装置、及びそれを含むシステム
<>
  • 特許-ロボットの位置ガイド装置、及びそれを含むシステム 図1
  • 特許-ロボットの位置ガイド装置、及びそれを含むシステム 図2
  • 特許-ロボットの位置ガイド装置、及びそれを含むシステム 図3
  • 特許-ロボットの位置ガイド装置、及びそれを含むシステム 図4
  • 特許-ロボットの位置ガイド装置、及びそれを含むシステム 図5
  • 特許-ロボットの位置ガイド装置、及びそれを含むシステム 図6
  • 特許-ロボットの位置ガイド装置、及びそれを含むシステム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-01
(45)【発行日】2023-09-11
(54)【発明の名称】ロボットの位置ガイド装置、及びそれを含むシステム
(51)【国際特許分類】
   A61B 34/20 20160101AFI20230904BHJP
【FI】
A61B34/20
【請求項の数】 9
(21)【出願番号】P 2022513627
(86)(22)【出願日】2020-09-03
(65)【公表番号】
(43)【公表日】2022-10-28
(86)【国際出願番号】 KR2020011895
(87)【国際公開番号】W WO2021045546
(87)【国際公開日】2021-03-11
【審査請求日】2022-02-28
(31)【優先権主張番号】10-2019-0109922
(32)【優先日】2019-09-05
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】517402229
【氏名又は名称】キュレクソ インコーポレイテッド
【氏名又は名称原語表記】CUREXO, INC.
(74)【代理人】
【識別番号】110001737
【氏名又は名称】弁理士法人スズエ国際特許事務所
(72)【発明者】
【氏名】キム、ボン・オー
(72)【発明者】
【氏名】キム、スー・ジョン
(72)【発明者】
【氏名】キム、グン・ユン
(72)【発明者】
【氏名】ハン、ヨン・ヒー
(72)【発明者】
【氏名】リム、ヒユン・スー
【審査官】近藤 裕之
(56)【参考文献】
【文献】韓国公開特許第10-2016-0069180(KR,A)
【文献】韓国公開特許第10-2018-0113512(KR,A)
【文献】特表2019-508134(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 34/20
(57)【特許請求の範囲】
【請求項1】
ロボットの位置ガイド装置において、
手術対象体に取り付けられた対象体マーカーを含む画像を手術前の手術対象体に関する手術対象画像と整合し、前記手術対象体に取り付けられた対象体マーカーと前記手術対象体との間の位置及び姿勢に関する相関関係を導出する手術対象体整合部と、
手術ロボットに取り付けられたロボットマーカーを含む画像に基づいて、前記ロボットマーカーと前記手術ロボットとの間の位置及び姿勢に関する相関関係を導出し、前記ロボットマーカーと予め設定された手術可能領域との間の位置及び姿勢に関する相関関係を導出するロボット整合部と、
前記対象体マーカーと前記ロボットマーカーの位置及び姿勢情報に基づいて、前記手術対象体と前記手術可能領域との間の位置及び姿勢に関する相関関係を導出する手術領域確認部と、
前記手術対象体と前記手術可能領域との間の位置及び姿勢の相関関係に関するガイド情報をグラフィックで生成するGUI生成部と、
前記ガイド情報を画像で表示する表示部とを含み、
前記手術可能領域は、手術可能姿勢領域と手術可能位置領域とを含み、
前記ガイド情報は、前記手術対象体の姿勢が手術可能姿勢領域に属するか否かを表示する第1のメニュー画面と、前記手術対象体の位置が手術可能位置領域に属するか否かを表示する第2のメニュー画面とを含むことを特徴とするロボットの位置ガイド装置。
【請求項2】
前記ガイド情報は、前記手術対象体の位置と前記手術可能領域原点との間の離隔距離情報を含み、
前記手術可能領域原点は、手術ロボットの位置及び姿勢情報に基づいて計算されることを特徴とする請求項1に記載のロボットの位置ガイド装置。
【請求項3】
前記第2のメニュー画面における前記手術対象体の位置は、前記手術対象体に関して予め計画された手術経路に基づいて、前記手術対象体における前記手術経路の原点を基準に前記手術経路に含まれる領域を含んで表現されることを特徴とする請求項1に記載のロボットの位置ガイド装置。
【請求項4】
前記手術可能領域は、手術ロボットの位置及び姿勢情報に基づいて計算されて、
前記手術可能位置領域は手術可能領域の原点を基準に一定の体積を有するように形成され、前記手術可能位置領域は前記ロボットの姿勢に基づいて決定されることを特徴とする請求項3に記載のロボットの位置ガイド装置。
【請求項5】
ロボットの位置ガイドシステムにおいて、
手術ロボットに取り付けられたロボットマーカーと、手術対象体に取り付けられた対象体マーカーの位置と姿勢を追跡するための追跡器と、
手術前に取得した手術対象体に関する手術対象画像を保存するメモリ部と、
前記手術対象画像に基づいて手術対象体に取り付けられた前記対象体マーカーと手術対象体との間の位置及び姿勢に関する相関関係を導出する手術対象体整合部と、
前記ロボットマーカーと前記手術ロボットとの間の位置及び姿勢に関する相関関係を導出し、前記ロボットマーカーと予め設定された手術可能領域との間の位置及び姿勢に関する相関関係を導出するロボット整合部と、
前記追跡器によって取得された前記対象体マーカーと前記ロボットマーカーの位置及び姿勢情報に基づいて、前記手術対象体と前記手術可能領域との間の位置及び姿勢に関する相関関係を導出する手術領域確認部と、
前記手術対象体と前記手術可能領域との間の位置及び姿勢の相関関係に関するガイド情報をグラフィックで生成するGUI生成部と、
前記ガイド情報を画像で表示する表示部と、
前記手術対象体と前記手術可能領域との間の位置及び姿勢の相関関係に関するガイド情報をグラフィックで生成するGUI生成部と、
前記ガイド情報を画像で表示する表示部とを含み、
前記手術可能領域は、手術可能姿勢領域と手術可能位置領域を含んで、
前記ガイド情報は、前記手術対象体の姿勢が手術可能姿勢領域に属するか否かを表示する第1のメニュー画面と、前記手術対象体の位置が手術可能位置領域に属するか否かを表示する第2のメニュー画面とを含むことを特徴とするロボットの位置ガイドシステム。
【請求項6】
ロボットの位置ガイド装置において、
外部から信号を受信するための信号受信部と、
画像を画面に表示するための表示部と、
制御部を含み、
上記制御部は、
術対象体に取り付けられた対象体マーカーを含む画像を、手術前の手術対象体に関する手術対象画像と整合して、手術対象体に取り付けられた対象体マーカーと前記手術対象体との間の位置及び姿勢に関する相関関係を導出する手段と、
手術ロボットに取り付けられたロボットマーカーを含む画像に基づいて、前記ロボットマーカーと前記手術ロボットとの間の位置及び姿勢に関する相関関係を導出し、前記ロボットマーカーと予め設定された手術可能領域との間の位置及び姿勢に関する相関関係を導出する手段と、
前記対象体マーカーと前記ロボットマーカーの位置及び姿勢情報に基づいて、前記手術対象体と前記手術可能領域との間の位置及び姿勢に関する相関関係を導出する手段と、
前記手術対象体と前記手術可能領域との間の位置及び姿勢の相関関係に関するガイド情報をグラフィックで生成して前記表示部に画像で表示する手段とを有し、
前記手術可能領域は、手術可能姿勢領域と手術可能位置領域を含んで、
前記ガイド情報は、前記手術対象体の姿勢が手術可能姿勢領域に属するか否かを表示する第1のメニュー画面と、前記手術対象体の位置が手術可能位置領域に属するか否かを表示する第2のメニュー画面とを含むことを特徴とするロボットの位置ガイド装置。
【請求項7】
ロボットの位置ガイド装置において、
外部から信号を受信するための信号受信部と、
画像を画面に表示するための表示部と、
制御部を含み、
上記制御部は、
術ロボットに取り付けられたロボットマーカーを含む画像に基づいて、前記ロボットマーカーと前記手術ロボットとの間の位置及び姿勢に関する相関関係を導出し、前記ロボットマーカーと予め設定された手術可能領域との間の位置及び姿勢に関する相関関係を導出する手段と、
手術対象体に取り付けられた対象体マーカーを含む画像を、手術前の手術対象体に関する手術対象画像と整合して、前記手術対象体に取り付けられた対象体マーカーと前記手術対象体との間の位置及び姿勢に関する相関関係を導出する手段と、
前記対象体マーカーと前記ロボットマーカーの位置及び姿勢情報に基づいて、前記手術対象体と前記手術可能領域との間の位置及び姿勢に関する相関関係を導出する手段と、
前記手術対象体と前記手術可能領域との間の位置及び姿勢の相関に関するガイド情報をグラフィックで生成して前記表示部に画像で表示する手段とを有し、
前記手術可能領域は、手術可能姿勢領域と手術可能位置領域を含んで、
前記ガイド情報は、前記手術対象体の姿勢が手術可能姿勢領域に属するか否かを表示する第1のメニュー画面と、前記手術対象体の位置が手術可能位置領域に属するか否かを表示する第2のメニュー画面とを含むことを特徴とするロボットの位置ガイド装置。
【請求項8】
前記第2のメニュー画面における前記手術対象体の位置は、前記手術対象体に関して予め計画された手術経路に基づいて、前記手術対象体における前記手術経路の原点を基準に前記手術経路に含まれる領域を含んで表現されることを特徴とする請求項6又は7に記載のロボットの位置ガイド装置。
【請求項9】
前記手術可能領域は、前記手術ロボットの位置及び姿勢情報に基づいて算出されて,
前記手術可能位置領域は、手術可能領域の原点を基準に一定の体積を有するように形成され、前記手術可能位置領域は、前記ロボットの姿勢に基づいて決定されることを特徴とする請求項6又は7に記載のロボットの位置ガイド装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はロボットの位置ガイド装置、その方法、及びそれを含むシステムに関し、より具体的には、手術対象体とロボットの位置及び姿勢に応じた手術可能領域を導出して手術対象体とロボットの位置及び姿勢をガイドできる装置、方法、及びシステムに関する。
【背景技術】
【0002】
近年、医療技術の発達によりロボットとコンピュータシステムを用いたナビゲーション手術が活発に導入されており、人工関節手術の分野でもこのような手術が適用されている。
【0003】
膝関節の場合、外傷や様々な感染、疾患による痛み及び行動障害が発生すると整形外科的手術を介して関節の全体や部分に置換術を用いて治療を行い、この中に約10~30%の患者は膝内側ジョイントの摩耗が発生するようになって膝関節部分置換手術を行う。
【0004】
このような整形外科関節手術に使われるロボットの中では、全手術過程を自動的に行うロボットがあり、このような手術ロボットは予め計画された経路に沿って人の介入なしに自動的に骨を切削する。
【0005】
従来、整形外科手術ロボットを用いた膝関節手術を行う際、予め手術経路を決定し、手術対象体に光学式マーカーを取り付けて、光学センサーにて光学式マーカーの位置と姿勢をトラッキングして、手術経路に沿って患者位置とロボットの位置を監視して手術を進める。
【0006】
一方、手術ロボットの位置と姿勢または骨の位置と姿勢に応じて、手術経路がロボットのアームのエンドエフェクタが到達できない領域にあったり、移動経路に沿って移動中にロボット機構学的にエラーが発生しかねない。
【0007】
ところで、ロボットの手術可能領域は、ロボットの位置決めに応じた開始点を決定しなければならないことがわかるので、手術中にロボットが要求される手術位置に到達できなくなり、手術が中断する問題が発生する可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、上記のような問題を解決するために提案されたものであり、手術前にロボットが手術経路に沿って手術可能な位置と姿勢にあるか否かを確認することができるシステム及び方法を提供することを目的とする。
【0009】
また、本発明は、上記のような問題を解決するために提案されたものであり、ロボットが手術可能な領域に位置するように位置と姿勢をガイドできるシステム及び方法を提供することを目的とする。
【0010】
また、本発明は、上記のような問題を解決するために提案されたものであり、ロボットが手術可能な位置領域と姿勢領域に手術対象体が位置するように位置及び姿勢をガイドできるシステム及び方法を提供することに目的がある。
【課題を解決するための手段】
【0011】
上記のような目的を達成するためのロボット位置ガイド装置は、手術対象体に取り付けられた対象体マーカーを含む画像を手術前の手術対象体に関する手術対象画像と整合し、前記手術対象体に取り付けられた対象体マーカーと前記手術対象体との間の位置及び姿勢に関する相関関係を導出する手術対象体整合部と、手術ロボットに取り付けられたロボットマーカーを含む画像に基づいて、前記ロボットマーカーと前記手術ロボットとの間の位置及び姿勢に関する相関関係を導出し、前記ロボットマーカーと予め設定された手術可能領域との間の位置及び姿勢に関する相関関係を導出するロボット整合部と、前記対象体マーカーと前記ロボットマーカーの位置及び姿勢情報に基づいて、前記手術対象体と前記手術可能領域との間の位置及び姿勢に関する相関関係を導出する手術領域確認部と、前記手術対象体と前記手術可能領域との間の位置及び姿勢の相関関係に関するガイド情報をグラフィックで生成するGUI生成部と、前記ガイド情報を画像で表示する表示部とを含み、前記手術可能領域は、手術可能姿勢領域と手術可能位置領域とを含み、前記ガイド情報は、前記手術対象体の姿勢が手術可能姿勢領域に属するか否かを表示する第1のメニュー画面と、前記手術対象体の位置が手術可能位置領域に属するか否かを表示する第2のメニュー画面とを含む。
【0013】
上記のような目的を達成するためのロボットの位置ガイドシステムは、手術ロボットに取り付けられたロボットマーカーと、手術対象体に取り付けられた対象マーカーの位置と姿勢を追跡するための追跡器と、手術前に取得した手術対象体に関する手術対象画像を保存するメモリ部と、前記手術対象画像に基づいて手術対象体に取り付けられた前記対象体マーカーと手術対象体との間の位置及び姿勢に関する相関関係を導出する手術対象体整合部と、前記ロボットマーカーと前記手術ロボットとの間の位置及び姿勢に関する相関関係を導出し、前記ロボットマーカーと予め設定された手術可能領域との間の位置及び姿勢に関する相関関係を導出するロボット整合部と、前記追跡器によって取得された前記対象マーカーと前記ロボットマーカーの位置及び姿勢情報に基づいて、前記手術対象体と前記手術可能領域との間の位置及び姿勢に関する相関関係を導出する手術領域確認部と、前記手術対象体と前記手術可能領域との間の位置及び姿勢の相関関係に関するガイド情報をグラフィックで生成するGUI生成部と、前記ガイド情報を画像で表示する表示部と、前記手術対象体と前記手術可能領域との間の位置及び姿勢の相関関係に関するガイド情報をグラフィックで生成するGUI生成部と、前記ガイド情報を画像で表示する表示部とを含み、前記手術可能領域は、手術可能姿勢領域と手術可能位置領域を含んで、前記ガイド情報は、前記手術対象体の姿勢が手術可能姿勢領域に属するか否かを表示する第1のメニュー画面と、前記手術対象体の位置が手術可能位置領域に属するか否かを表示する第2のメニュー画面とを含む。
【発明の効果】
【0014】
以上、説明したように、本発明によれば、手術対象体の位置と姿勢が手術ロボットの手術可能領域に属するか否かが分かることができる。さらに、本発明によれば、ロボットを手術可能な位置及び姿勢に移動するようにガイドすることにより、手術中断のリスクを最小化できる。また、本発明によれば、ロボットが手術可能な姿勢で手術対象体の姿勢を知らせることにより、手術を円滑に行うことができる。
【図面の簡単な説明】
【0015】
図1】本発明の一実施形態に係るロボットの位置ガイドシステムを概略的に示す図である。
図2】本発明の一実施形態に係る位置ガイド装置の制御ブロック図である。
図3】本発明の一実施形態に係る手術対象体整合部の動作を説明するための図である。
図4】本発明の一実施形態に係るロボット整合部の動作を説明するための図である。
図5】本発明の一実施形態に係る手術領域確認部の動作を説明するための図である。
図6】本発明の一実施形態に係るGUI生成部が生成したガイド情報の一例を示す図である。
図7】本発明の一実施形態に係るロボット位置ガイド装置による位置ガイド方法を説明するためのフローチャートである。
【発明を実施するための形態】
【0016】
以下、図面を参照して本発明の好ましい実施形態について説明する。ただし、以下の説明及び添付図面において本発明の要旨をぼかすことができる公知の機能又は構成の詳細な説明は省略する。なお、図面全体にわたって同一の構成要素は、なるべく同一の参照番号で示されていることに留意すべきである。
【0017】
以下において説明される本明細書及び特許請求の範囲で使用される用語や単語は、通常または辞書の意味に限定されて解釈されるべきではなく、発明者は、その発明を最良の方法で説明するための用語の概念として適切に定義することができるという原則に基づいて、本発明の技術的思想に合致する意味と概念として解釈されるべきである。したがって、本明細書に記載された実施形態と図面に示された構成は、本発明の最も好ましい一実施形態に過ぎず、本発明の技術的思想を全て代弁するものではないので、本出願時点においてこれらを置き換えることができる様々な等価物と変形例があり得ることを理解すべきである。
【0018】
以下、図1乃至図5を参照して、本発明の一実施形態に係るロボットの位置ガイドシステム及び装置について説明する。
【0019】
図1は、本発明の一実施形態に係るロボットの位置ガイドシステムを概略的に示す。図1を参照すると、本発明の一実施形態に係るロボットの位置ガイドシステムは、手術対象体1、2に取り付けられた対象体マーカー10、20(bone marker)と、手術ロボット30と、追跡器40と、位置ガイド装置100とを含む。
【0020】
手術対象体1、2は手術の対象を意味するものであり、本発明の実施形態においては、手術対象体が大腿骨1(Femur)と脛骨2(Tibia)の膝関節であって、対象体マーカー10、20は大腿骨1と脛骨2にそれぞれ取り付けられたものを一例として説明する。
【0021】
手術ロボット30は、関節手術のためのものであり、ロボットベースとアームとを含み、アームのエンドエフェクタに切削工具が位置することができる。手術ロボット30のベースにはロボットマーカー31が取り付けられる。
【0022】
対象体マーカー10,20とロボットマーカー31は光学式マーカーを用いることができ、中心点を基準に異なる方向の枝状のバー(bar)の3個または4個が形成され、バーの端部にはそれぞれ高反射のボールマーカーを形成することができる。
【0023】
追跡器40は、手術ロボット30に取り付けられたロボットマーカー31と手術対象体1,2に取り付けられた対象体マーカー10,20の位置と姿勢を追跡するためのものであり、3次元空間座標上のマーカーの位置及び姿勢を感知して、後述する位置ガイド装置100に伝達する。本発明の実施形態における追跡器40は、光学追跡システム(OTS、Optical Tracking System)で具現されたものを一例として説明する。
【0024】
位置ガイド装置100は、追跡器40から入力される信号を受信して手術対象体1,2の整合と手術ロボット30の整合を行い、手術対象体1,2と手術ロボット30の手術可能領域との間の位置/姿勢に関する相関関係を導出して手術ロボット30の位置をガイドするためのものであり、図1に示すように、コンピュータ又はマイクロプロセッサとディスプレイを含めて具現することができる。図1おいては、位置ガイド装置100が手術ロボット30と分離されて別途の装置で具現されるように示されているが、場合によっては位置ガイド装置100のコンピュータ又はマイクロプロセッサが手術ロボット30の内に設けられ、位置ガイド装置のディスプレイは追跡器40に接続されて一緒に設けられることもできる。この場合、手術ロボット30内の位置ガイド装置100は追跡器40に接続されてマーカーの位置/姿勢情報を受信し、それを処理してディスプレイに提供する。
【0025】
図2は、本発明の一実施形態に係る位置ガイド装置100の制御ブロック図である。図2を参照すると、本発明の一実施形態に係る位置ガイド装置100は、信号受信部110と、ユーザ入力部120と、表示部130と、メモリ部140と、制御部150とを含む。
【0026】
信号受信部110は、外部から信号を受信するためのものであり、例えば、外部機器との接続のためのHDMI(登録商標)(High Definition Multimedia Interface)コネクタ11、ディサブ(D-sub)コネクタ、またはインターネット網を有線/無線通信ネットワークと接続するための通信モジュールを含むことができる。信号受信部110は、追跡器40と手術ロボット30との連動のための有無線通信モジュールを含むことができる。
【0027】
ユーザ入力部120は、ユーザからコマンドを受信して後述する制御部150に伝達するためのものであり、キーボード、マウス、又はボタンなどの様々なユーザ入力手段の中の少なくとも一つを含むことができる。
【0028】
表示部130は画像を画面に表示するためのものであり、液晶ディスプレイ(LCD、Liquid Crystal Display)パネル、発光ダイオード(LED、Light Emitting Diode)パネル、有機発光ダイオード(OLED、Organic Light Emitting Diode)パネルなどで具現することができる。
【0029】
メモリ部140は、位置ガイド装置100の様々なOS、ミドルウェア、プラットフォーム、及び各種のアプリケーションを保存することができ、プログラムコード及び信号処理された画像信号、音声信号及びデータを保存することができる。メモリ部140は、手術前に取得した手術対象体に関する手術対象画像、例えば患者のCT画像などを保存する。メモリ部140は、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)、RAM(Random Access Memory)などで具現することができる。
【0030】
制御部150は、ユーザ入力部120を介して入力されたユーザのコマンドまたは内部プログラムにより位置ガイド装置100の全体的な制御を担当する。制御部150は、信号処理及び制御のためのコンピュータプログラムコード及びコンピュータプログラムを実行するマイクロプロセッサを含めて具現することができる。制御部150は、信号受信部110を介して追跡器40から受信した位置/姿勢情報を用いて画像の整合及び位置の追跡を行い、手術対象体と手術ロボット30の手術可能領域との関係を導出してユーザに手術ロボット30の位置と姿勢をガイドするためのガイド情報を提供する。
【0031】
図2を参照すると、制御部150は、手術対象体整合部151と、ロボット整合部153と、手術領域確認部155と、GUI生成部157とを含む。
【0032】
手術対象体整合部151は、画像の整合を介して手術対象体1,2に取り付けられた対象体マーカー10、20と手術対象体1、2との間の位置/姿勢に関する相関関係を導出する。手術対象体に対象体マーカー10、20を取り付けた後、プローブ(probe)を用いて手術対象体及び対象体マーカー10、20の位置及び姿勢を認識させる。手術対象体整合部151は、追跡器40を介してプローブが指示した位置及び姿勢に関する光学画像を受信し、メモリ部140に予め保存された患者の3Dデータ、例えばCT画像と整合を行って、対象体マーカー10、20と手術対象体との間の位置/姿勢に関する相関関係を導出することができる。手術対象整合部151は、画像整合のためのソフトウェアアルゴリズムで具現することができる。
【0033】
図3は、本発明の一実施形態に係る手術対象体整合部151の整合方法を説明するための図である。図3を参照すると、手術対象体は大腿骨1と脛骨2の膝関節であり、対象体マーカー10、20は大腿骨1と脛骨2に取り付けられている。
【0034】
図3において、FIC(Femur Implant Coordinate)は大腿骨インプラントの原点(FIO、Femur Implant Origin)の位置と姿勢を基準とする座標系を意味して、FMC(Femur Marker Coordinate)は大腿骨マーカー10の位置と姿勢を基準とする座標系を意味する。ここで、大腿骨インプラントの原点とは、大腿骨の手術経路、すなわち切削経路の原点を意味する。
【0035】
手術対象体整合部151は、プローブを大腿骨1の複数のポイントに接触させて掻きながら大腿骨1と大腿骨マーカー10の位置及び姿勢情報を取得し、これをCT画像と整合し、大腿骨マーカー10の大腿骨インプラント原点(FIO)の位置/姿勢に関する相関関係、例えば大腿骨マーカー10の座標系と大腿骨インプラント原点(FIO)を基準とする座標系(FIC)との間の位置/姿勢に関する座標変換系としての変換行列FIを導出することができる。これにより、制御部150は追跡器40から大腿骨マーカー10の位置と姿勢情報を取得すると、大腿骨マーカー10の位置と姿勢情報に手術対象体整合部151で導出した変換行列FIを乗算して、大腿骨1のインプラントの原点をはじめて大腿骨1の位置と姿勢を導出することができる。
【0036】
図3において、TIC(Tibia Implant Coordinate)は脛骨2のインプラント原点(TIO,Tibia Implant Origin)の位置と姿勢を基準とする座標系を意味し、TMC(Tibia Marker Coordinate)は脛骨マーカー20の位置と姿勢を基準とする座標系を意味する。ここで、脛骨2のインプラントの原点は、手術経路、すなわち切削経路の原点を意味する。
【0037】
手術対象体整合部151は、プローブを脛骨2の複数のポイントに接触させて掻きながら脛骨2と脛骨マーカー20の位置及び姿勢情報を取得し、これをCT画像と整合し、脛骨マーカー20と脛骨インプラントの原点(TIO、Tibia Implant Origin)との間の位置/姿勢の相関関係、例えば、脛骨マーカー20の座標系と脛骨インプラント原点を基準とする座標系との間の位置/姿勢に関する座標変換関係である変換行列TIを導出する。これにより、制御部150は追跡器40から脛骨マーカー20に関する位置と姿勢情報を取得すると、脛骨マーカー20の位置と姿勢情報に手術対象体整合部151で導出した変換行列TIを乗算して、脛骨2のインプラント原点をはじめて脛骨2の位置と姿勢を導出することができる。
【0038】
ここで、手術対象体である大腿骨1と脛骨2の位置及び姿勢は、インプラント原点を基準とした手術経路(例えば、切削経路)を含む意味として大腿骨1と脛骨2の手術経路上の複数のポイントの位置及び姿勢を含むことができる。本明細書において、「手術対象体」とは、大腿骨1と脛骨2などの手術対象における広義の意味としても用いられ、手術対象体のインプラント原点の位置及び姿勢、又はインプラント原点を基準とした手術経路を含むインプラント手術部位を示す協議の意味としても使用される。
【0039】
ロボット整合部153は、手術ロボット30に設けられたロボットマーカー31と手術ロボット30との間の位置及び姿勢に関する相関関係を導出し、ロボットマーカー31と予め設定された手術可能領域との間の位置及び姿勢に関する相関関係を導出する。ロボット整合部153は、位置整合のためのソフトウェアアルゴリズムを含めて具現することができる。
【0040】
図4は、本発明の一実施形態に係るロボット整合部153の動作を説明するための図である。図4を参照すると、RC(Robot Coordinate)はロボット座標原点(RO、Robot Coordinate Origin)を基準とするロボット基準座標系であり、WSC(Work Space Coordinate)は手術ロボット30の手術可能領域原点(WS, Work Space)の座標系を意味し、RMC(Robot Marker Coordinate)はロボットマーカー31の座標系を意味する。手術ロボット30の手術可能領域WSは手術ロボット30の位置と姿勢によって決定される領域であり、手術ロボット30と手術可能領域との間の位置/姿勢の相関関係はロボット座標系原点から予め定義されており、例えばロボット座標系原点に対する手術可能領域の座標変換関係として変換行列ROWS値を有する。
【0041】
ここで、手術可能領域は、手術ロボットの位置及び姿勢情報に基づいて算出される予め定義された領域であり、手術可能姿勢領域と手術可能位置領域を含む。手術可能位置領域は、手術可能領域の原点を基準に一定の距離または一定の体積を有するように定義された空間領域を意味し、手術可能位置領域はロボット30の姿勢に基づいて決定される。例えば、手術可能領域の原点は手術ロボット30の位置から予め定義された位置として算出され、手術可能位置領域はそれから一定の体積を有する領域として設定される。また、手術可能領域の原点の姿勢はロボットベースの姿勢と同一のものに設定され、手術可能姿勢領域は原点の姿勢(すなわち、ロボットベースの姿勢)から手術可能姿勢範囲を考慮して一定の姿勢範囲として設定されることができる。例えば、手術可能領域は、ロボットアームに取り付けられる手術ツールの可能な位置及び姿勢領域としてロボットベースを基準に定義することができる。
【0042】
ロボット整合部153は、整合を介してロボットマーカー31と手術ロボット30の原点との間の位置関係、すなわち、ロボットマーカー31の座標係と手術ロボット30の座標係と間の位置/姿勢の座標変換関係である変換行列RMROを導出する。ロボット整合部153は、追跡器40を介して手術ロボット30の位置とロボットマーカー31の位置を登録し、その相関関係を導出することができる。ロボット整合部153は、ロボットのアームにロボットマーカー31を取り付け、ロボットアームを動かしながらロボットマーカー31の位置及び姿勢を追跡器40を介して追跡することにより、ロボットベースの位置/姿勢とロボットマーカー31の位置/姿勢との間の相関関係である変換行列RMROを導出することができる。
【0043】
ロボット整合部153は、ロボットマーカー31に対するロボット座標原点の変換行列RMROと手術ロボット30の原点に対する手術可能領域の変換行列ROWSに基づいてロボットマーカー31と手術可能領域との間の位置/姿勢の相関関係を導出する。これを数式で表すと以下の通りである。
【0044】
[数1]
RMWS RMROROWS
【0045】
ここで、RMWSはロボットマーカー31に対する手術可能領域の変換行列を意味し、RMROはロボットマーカー31に関する手術ロボット30の原点の変換行列を意味し、ROWSは手術ロボット30の原点に関する手術可能領域の変換行列を意味する。
【0046】
これにより、制御部150は追跡器40からロボットマーカー31の位置と姿勢情報を取得し、ロボットマーカー31の位置と姿勢情報にロボット整合部153から導出した変換行列RMWSを乗算して手術ロボット30の手術可能領域の原点の位置及び姿勢を導出することができる。制御部150は手術可能領域の原点の位置及び姿勢から、手術可能位置領域と姿勢領域を導出する。上述したように、手術可能領域は、手術可能領域の原点から一定の体積を有するように定義された手術可能位置領域と、手術ロボット30の姿勢に応じた手術可能姿勢領域を意味するものであり、手術ロボット30の位置や姿勢によって決定することができる。
【0047】
手術領域確認部155は、対象体マーカー10、20とロボットマーカー31の位置及び姿勢情報に基づいて、手術対象体1,2と前記手術可能領域との間の位置/姿勢に関する相関関係を導出する。手術領域確認部155は位置/姿勢の変換及び算出のためのソフトウェアアルゴリズムによって具現することができる。
【0048】
図5は、本発明の一実施形態に係る手術領域確認部155の動作を説明するための図である。
【0049】
手術領域確認部155は、大腿骨1と脛骨2に取り付けられた対象体マーカー10,20と手術ロボット30のベースに取り付けられたロボットマーカー31に関する位置及び姿勢情報を追跡器40を介して取得し、それを用いて手術ロボット30の手術可能領域と手術対象体1,2の位置/姿勢の相関関係を確認する。
【0050】
手術領域確認部155は、追跡器40からロボットマーカー31と対象体マーカー10、20の位置及び姿勢情報を取得する。図5において、OTCは追跡器40の座標系を意味し、RMC(Robot Marker Coordinate)はロボットマーカー31の座標系、FMC(Femur Marker Coordinate)は大腿骨マーカー10の座標系、TMC(Tibia Marker Coordinate)は脛骨マーカー20の座標系を意味する。追跡器40から取得される大腿骨マーカー10と脛骨マーカー20の位置/姿勢情報はいずれも追跡器40の座標系を基準にして取得した値として追跡器40の座標系とロボットマーカー31及び対象体マーカー10,20の座標系変換関係OTSRMOTSTMOTSFMに基づいて、ロボットマーカー31と対象体マーカー10、20の位置が追跡器40の座標系を基準に変換されることができる。
【0051】
手術領域確認部155は、追跡器40の座標系を基準に変換された大腿骨マーカー10の位置及び姿勢情報に、上述した手術対象体整合部151で算出した大腿骨マーカー10に対する大腿骨インプラント原点(FIO)との間の相関関係である変換行列FIを乗算して追跡器40の座標系を基準とした大腿骨1の位置と姿勢を導出する。
【0052】
同じ方法で、手術領域確認部155は、追跡器40の座標系を基準に変換された脛骨マーカー20の位置及び姿勢情報に、上述した手術対象体整合部151で算出した脛骨マーカー20に対する脛骨インプラント原点との間の位置/姿勢の相関関係である変換行列TIを乗算して追跡器40の座標系を基準とした脛骨2の位置と姿勢を導出する。
【0053】
手術領域確認部155は、追跡器40の座標系を基準に変換されたロボットマーカー31の位置及び姿勢情報に、上述したロボット整合部153で算出したロボットマーカー31に対する手術可能領域の相関関係である変換行列RMWSを乗算して、追跡器40の座標系を基準とした手術可能領域の原点の位置(手術可能位置領域)及び姿勢(手術可能姿勢領域)を導出する。
【0054】
大腿骨1及び脛骨2の位置/姿勢、手術可能領域の位置/姿勢はいずれも追跡器40の座標系を基準とした値であり、手術領域確認部155はこれらの値に基づいて大腿骨1及び脛骨2と手術可能領域との間の位置/姿勢に関する相関関係を導出することができる。図5を参照すると、手術領域確認部155は、手術可能領域に関する大腿骨と脛骨の位置及び姿勢の相関関係、例えば位置変換関係である変換行列WSFICWSTICを導出する。
【0055】
図3乃至図5において、大腿骨1のインプラント原点と脛骨2のインプラント原点とは、手術経路、すなわち切削経路の原点を意味する。手術経路は手術前に予め計画されるものであり、大腿骨1と脛骨2の切削範囲やインプラントの種類などに応じて異なるように設定されることができる。手術経路、例えば切削経路に関する情報は予め保存されるが、手術経路に沿うインプラント原点の位置と姿勢は、手術対象体と手術ロボット30の位置/姿勢に応じて相対的に定義される。
【0056】
上記のような過程を通じて、本発明においては手術ロボット30の位置/姿勢に応じた手術可能領域と、手術対象体1,2の位置/姿勢に応じた手術経路、例えば手術経路の原点の位置/姿勢を算出し、それらの相関関係を算出する。
【0057】
GUI生成部157は、手術対象体1,2の位置/姿勢と、手術可能位置領域/姿勢領域との間の相関関係に関するガイド情報をグラフィックで生成して表示部130に伝達する。GUI生成部157は、データを処理して画像で生成するグラフィック処理モジュール、例えばグラフィックカードを含むことができる。図6は、本発明の一実施形態に係るGUI生成部157が生成して表示部130に表示されるガイド情報の一例を示す。図6を参照すると、ガイド情報は、手術対象体1,2の姿勢が手術可能姿勢領域に属するか否かを表示する第1のメニュー画面201と、前記手術対象体の位置が手術可能位置領域に属するか否かを表示する第2のメニュー画面202と、手術ロボット30の移動方向を表示する第3のメニュー画面203とを含む。また、ガイド情報は、第2のメニュー画面のように、手術対象体の位置と手術可能領域との間の離隔距離情報を視覚的に表示することができる。
【0058】
第1のメニュー画面201を見ると、手術対象体1,2の姿勢(回転角度)が手術可能姿勢領域に属しているかをグラフィックで表示する。第1のメニュー画面201において、点201aは現在の大腿骨1と脛骨2の姿勢(回転角度)を表し、色で表現されたバー201bは手術可能姿勢領域を表す。したがって、ユーザは、大腿骨1と脛骨2の姿勢(回転角度)を表示する点201aが手術可能姿勢領域を表示する色のバー201b内にあるか否かを確認しながら、手術対象体1,2の姿勢または手術ロボット30の姿勢を手術可能姿勢に属するように適切に調整することができる。第1のメニュー画面201に示すように、手術対象体1,2の姿勢は3軸、例えばX軸、Y軸、Z軸に関する回転角度としてAngle1、Angle2、Angle3の3つの姿勢でそれぞれ表示される。
【0059】
第2のメニュー画面202を見ると、手術対象体1,2の位置と手術可能領域WSの位置関係が示されている。位置関係は、前面や平面など様々な位置から見た位置関係を示しており、手術可能領域に手術対象体1,2が位置するように手術ロボット30を移動させることができるようにガイドする。図6において、手術対象体1,2の位置は、手術対象体1,2のインプラント原点を含めて、予め計画された手術経路に基づいて手術対象体1,2における前記手術経路の原点を基準に手術経路に含まれる領域を含めて表すことができる。
【0060】
第3のメニュー画面203は、手術対象体1,2とロボットの移動方向を図式化して表示しており、現在の手術対象体1,2の位置と手術ロボット30の位置関係に基づいてロボットの移動方向を前後及び左右方向の矢印を活性化する方式で表示することができる。ユーザは、第3のメニュー画面で視覚的に表示する手術ロボット30の前後及び左右の矢印の移動方向に応じて手術ロボット30を移動させることにより、手術対象体1,2が手術可能領域WSに属するようにガイドすることができる。
【0061】
ここで、手術可能領域WSと手術対象体1,2の位置及び姿勢の相関関係は、ロボットの座標系を基準として表示されることができる。
【0062】
このように、本発明は、手術ロボット30の位置/姿勢に応じた手術可能領域(例えば、手術可能位置領域、手術可能姿勢領域)と、手術対象体1,2の位置/姿勢に応じた手術経路の位置/姿勢の相関関係情報をグラフィックで表示することにより、ユーザは、手術対象体1,2が実際の手術作業領域(例えば、手術経路)が手術可能領域内に位置するように、手術対象体1,2と手術ロボット30の位置及び姿勢を調整するようにガイドすることができる。
【0063】
図7は、本発明の一実施形態に係るロボット位置ガイド装置100による位置ガイド方法を説明するためのフローチャートである。上記の実施形態と重複する説明は省略する。
【0064】
図7を参照すると、本発明の一実施形態に係るロボットの位置ガイド方法は、まず、プローブを用いて対象体マーカー10、20と手術対象体1,2の位置を認識する過程を通じて、手術前に予め取得した患者のCT画像と整合を行う(S10)。このような整合過程を通じて、対象体マーカー10、20と手術対象体1,2との間の位置/姿勢に関する相関関係を導出する(S11)。また、ロボットマーカー31と手術ロボット30との整合過程を通じて、ロボットマーカー31と手術ロボット30との間の位置/姿勢に関する相関関係を導出する(S12)。そして、手術ロボット30の位置/姿勢によって予め定義された手術可能領域との相関関係を用いて、ロボットマーカー31と手術可能領域との相関関係を導出する(S13)。
【0065】
追跡器40を介して対象体マーカー10、20及びロボットマーカー31の位置及び姿勢を取得し(S14)、上述した整合過程で算出した対象体マーカー10、20と手術対象体1,2の位置及び姿勢の相関関係、及びロボットマーカー31と手術可能領域との間の位置及び姿勢の相関関係を用いて、手術対象体1,2の位置/姿勢と手術可能領域との位置及び姿勢の相関関係を導出する(S15)。
【0066】
GUI生成部157は、算出した相関関係を手術ロボット30(又は手術対象体)の位置及び姿勢をガイドするガイド情報で生成し(S16)、表示部130はガイド情報を画像で表示する(S17)。
【0067】
もし、手術ロボット30の位置/姿勢又は手術対象体1,2の位置/姿勢が調整される場合(S18)、ロボットの位置ガイド装置100は、追跡器40を介して変更された対象体マーカ10、20、又はロボットマーカー31の位置/姿勢情報を受信して上述したS14~S17ステップを行って、変更された位置/姿勢に応じたガイド情報を再び生成して表示する(S17)。
【0068】
他の実施形態に係ると、上述した図7において、ロボット整合過程(S12~S14)は、手術対象体整合過程(S10、S11)より先に行うことができる。
【0069】
上記の過程を通じて、手術対象体1,2の位置/姿勢が手術可能領域内に属することを確認した後、安全に手術を開始することができる。このように、本発明に係ると、手術ロボット30が手術可能な位置及び姿勢に移動するようにガイドすることにより、手術中断のリスクを最小化できる。上述の実施形態においては、ロボットの手術可能領域(位置領域、姿勢領域)と手術対象体1,2との間の位置/姿勢の相関関係を導出して、これを視覚的に表示することとして説明したが、他の実施形態に係ると、手術ロボット30の位置/姿勢と手術対象体1,2の位置/姿勢の相関関係を導出してこれを視覚的に表示することもできる。
【0070】
手術可能領域は、手術ロボット30の位置及び姿勢に応じて決定される領域であるので、上述した実施形態と同じ変換過程を通じて手術ロボット30の位置/姿勢と手術対象体1,2の位置/姿勢の相関関係を導出することができる。例えば、手術可能領域の代わりにロボットベースの位置及び姿勢を導出し、手術対象体1,2の位置/姿勢に応じた手術可能なロボットベースの位置/姿勢領域と現在のロボットの位置/姿勢を示すことにより、ユーザが目標位置へロボットを移動するようにガイドできる。
以下に、本願出願時の特許請求の範囲に記載された発明を付記する。
[1]ロボットの位置ガイド装置において、
手術対象体に取り付けられた対象体マーカーを含む画像を手術前の手術対象体に関する手術対象画像と整合し、前記手術対象体に取り付けられた対象体マーカーと前記手術対象体との間の位置及び姿勢に関する相関関係を導出する手術対象体整合部と、
手術ロボットに取り付けられたロボットマーカーを含む画像に基づいて、前記ロボットマーカーと前記手術ロボットとの間の位置及び姿勢に関する相関関係を導出し、前記ロボットマーカーと予め設定された手術可能領域との間の位置及び姿勢に関する相関関係を導出するロボット整合部と、
前記対象体マーカーと前記ロボットマーカーの位置及び姿勢情報に基づいて、前記手術対象体と前記手術可能領域との間の位置及び姿勢に関する相関関係を導出する手術領域確認部を含むことを特徴とするロボットの位置ガイド装置。
[2]前記手術対象体と前記手術可能領域との間の位置及び姿勢の相関関係に関するガイド情報をグラフィックで生成するGUI生成部と、
前記ガイド情報を画像で表示する表示部をさらに含むことを特徴とする[1]に記載のロボットの位置ガイド装置。
[3]前記ガイド情報は、前記手術対象体の位置と前記手術可能領域との間の離隔距離情報を含むことを特徴とする[2]に記載のロボットの位置ガイド装置。
[4]前記手術可能領域は、手術可能姿勢領域と手術可能位置領域を含んで、
前記ガイド情報は、前記手術対象体の姿勢が手術可能姿勢領域に属するか否かを表示する第1のメニュー画面と、前記手術対象体の位置が手術可能位置領域に属するか否かを表示する第2のメニュー画面とを含むことを特徴とする[2]または[3]に記載のロボットの位置ガイド装置。
[5]前記第2のメニュー画面における前記手術対象体の位置は、前記手術対象体に関して予め計画された手術経路に基づいて、前記手術対象体における前記手術経路の原点を基準に前記手術経路に含まれる領域を含んで表現されることを特徴とする[4]に記載のロボットの位置ガイド装置。
[6]前記手術可能領域は、手術ロボットの位置及び姿勢情報に基づいて計算されて,
前記手術可能位置領域は手術可能領域の原点を基準に一定の体積を有するように形成され、前記手術可能位置領域は前記ロボットの姿勢に基づいて決定されることを特徴とする[5]に記載のロボットの位置ガイド装置。
[7]ロボットの位置ガイドシステムにおいて、
手術ロボットに取り付けられたロボットマーカーと、手術対象体に取り付けられた対象マーカーの位置と姿勢を追跡するための追跡器と、
手術前に取得した手術対象体に関する手術対象画像を保存するメモリ部と、
前記手術対象画像に基づいて手術対象体に取り付けられた前記対象体マーカーと手術対象体との間の位置及び姿勢に関する相関関係を導出する手術対象体整合部と、
前記ロボットマーカーと前記手術ロボットとの間の位置及び姿勢に関する相関関係を導出し、前記ロボットマーカーと予め設定された手術可能領域との間の位置及び姿勢に関する相関関係を導出するロボット整合部と、
前記追跡器によって取得された前記対象マーカーと前記ロボットマーカーの位置及び姿勢情報に基づいて、前記手術対象体と前記手術可能領域との間の位置及び姿勢に関する相関関係を導出する手術領域確認部と、
前記手術対象体と前記手術可能領域との間の位置及び姿勢の相関関係に関するガイド情報をグラフィックで生成するGUI生成部と、
前記ガイド情報を画像で表示する表示部を含むことを特徴とするロボットの位置ガイドシステム。
[8]ロボットの位置ガイド方法において、
手術対象体に取り付けられた対象体マーカーを含む画像を、手術前の手術対象体に関する手術対象画像と整合して、手術対象体に取り付けられた対象体マーカーと前記手術対象体との間の位置及び姿勢に関する相関関係を導出する、ステップと、
手術ロボットに取り付けられたマーカーを含む画像に基づいて、前記ロボットマーカーと前記手術ロボットとの間の位置及び姿勢に関する相関関係を導出し、前記ロボットマーカーと予め設定された手術可能領域との間の位置及び姿勢に関する相関関係を導出する、ステップと、
前記対象マーカーと前記ロボットマーカーの位置及び姿勢情報に基づいて、前記手術対象体と前記手術可能領域との間の位置及び姿勢に関する相関関係を導出する、ステップと
前記手術対象体と前記手術可能領域との間の位置及び姿勢の相関関係に関するガイド情報をグラフィックで生成して画像で表示する、ステップを含むことを特徴とするロボットの位置ガイド方法。
[9]ロボットの位置ガイド方法において、
手術ロボットに取り付けられたマーカーを含む画像に基づいて、前記ロボットマーカーと前記手術ロボットとの間の位置及び姿勢に関する相関関係を導出し、前記ロボットマーカーと予め設定された手術可能領域との間の位置及び姿勢に関する相関関係を導出する、ステップと、
手術対象体に取り付けられた対象体マーカーを含む画像を、手術前の手術対象体に関する手術対象画像と整合して、前記手術対象体に取り付けられた対象体マーカーと前記手術対象体との間の位置及び姿勢に関する相関関係を導出する、ステップと、
前記対象マーカーと前記ロボットマーカーの位置及び姿勢情報に基づいて、前記手術対象と前記手術可能領域との間の位置及び姿勢に関する相関関係を導出する、ステップと、
前記手術対象体と前記手術可能領域との間の位置及び姿勢の相関に関するガイド情報をグラフィックで生成して画像で表示する、ステップを含むことを特徴とするロボットの位置ガイド方法。
[10]前記手術可能領域は、手術可能姿勢領域と手術可能位置領域とを含んで、
前記ガイド情報は、前記手術対象体の姿勢が手術可能姿勢領域に属するか否かを表示する第1のメニュー画面と、前記手術対象体の位置が手術可能位置領域に属するか否かを表示する第2のメニュー画面とを含むことを特徴とする[8]または[9]に記載のロボットの位置ガイド方法。
[11]前記第2のメニュー画面における前記手術対象体の位置は、前記手術対象体に関して予め計画された手術経路に基づいて、前記手術対象体における前記手術経路の原点を基準に前記手術経路に含まれる領域を含んで表現されることを特徴とする[10]に記載のロボットの位置ガイド方法。
[12]前記手術可能領域は、前記手術ロボットの位置及び姿勢情報に基づいて算出されて,
前記手術可能位置領域は、手術可能領域の原点を基準に一定の体積を有するように形成され、前記手術可能位置領域は、前記ロボットの姿勢に基づいて決定されることを特徴とする[10] に記載のロボットの位置ガイド方法。
図1
図2
図3
図4
図5
図6
図7