(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の医療用ロボットシステムでは、スレーブアームの操作感とカーソルの操作感とが極端に異なるので、マスタ入力デバイスによってスレーブアームを動作させるモードとポインティングデバイスとしてマスタ入力デバイスを使用するモードとを切り替えたときに、切り替えた先のモードにおける操作感に操作者が慣れるまでは操作者が違和感を覚える可能性がある。
【0006】
本発明は、上述した事情に鑑みてなされたものであって、その目的は、違和感なく操作できる医療用マニピュレータシステムを提供することである。
【課題を解決するための手段】
【0007】
上記課題を解決するために、この発明は以下の手段を提案している。
本発明
一態様は、操作指令を発するマスタマニピュレータと、処置対象に対して処置を行う術具が取り付けられたスレーブマニピュレータと、前記スレーブマニピュレータの一部および前記処置対象を含む第一画像を取得する第一画像構成装置と、前記第一画像とは異なる画像であって前記スレーブマニピュレータの一部に相当する
仮想マニピュレータの画像を含む第二画像を構成する第二画像構成装置と、前記第一画像
と前記第二画像
とのいずれか一方を表示する表示装置と、前記第一画像と前記第二画像とからいずれか一方の画像が選択される選択手段と、
前記第一画像構成装置と前記仮想マニピュレータとのいずれか一方を前記選択手段による選択に基づいて切り替えて前記マスタマニピュレータによる操作対象に設定する選択部と、前記選択手段により選択された画像の前記表示装置上における座標系と前記マスタマニピュレータの操作上の座標系とが一致するように前記マスタマニピュレータが発する前記操作指令を変換して新たな指令とする変換手段と、
前記選択部よって前記第一画像構成装置が操作対象に設定されている場合に前記新たな指令に従って前記スレーブマニピュレータを動作させる駆動手段と、を備え、前記第二画像構成装置は、
前記選択部よって前記仮想マニピュレータが操作対象に設定されている場合に前記仮想マニピュレータの画像が前記マスタマニピュレータによる操作に対応した姿勢及び動作が反映された画像となるように前記第二画像を生成する画像加工部を有する、ことを特徴とする医療用マニピュレータシステ
ムである。
【0008】
また、前記第一画像構成装置は内視鏡装置であり、前記第二画像構成装置は、前記新たな指令に従って前記スレーブマニピュレータが動作しているかのように表示される仮想マニピュレータ画像を生成し、前記処置対象が画像化されたベース画像に前記仮想マニピュレータ画像を合成することにより前記第二画像を生成することが好ましい。
【0009】
また、前記第二画像構成装置は、前記マスタマニピュレータからの前記操作指令に基づいて前記ベース画像を更新して視点を変更してもよい。
【0010】
また、本発明の医療用マニピュレータシステムは、前記処置対象に対する処置作業中に前記処置対象を画像化する検査装置とともに使用され、前記第二画像構成装置は、前記ベース画像として、前記処置作業中に前記検査装置によって画像化された画像を用いてもよい。
また、前記検査装置は、前記スレーブマニピュレータに設けられていてもよい。
【発明の効果】
【0011】
本発明によれば、違和感なく操作できる医療用マニピュレータシステムを提供することができる。
【発明を実施するための形態】
【0013】
(第1実施形態)
本発明の第1実施形態の医療用マニピュレータシステム1について説明する。
図1は、本実施形態の医療用マニピュレータシステムを示す全体図である。
図2は、医療用マニピュレータシステムのブロック図である。
図1および
図2に示すように、医療用マニピュレータシステム1は、マスタマニピュレータ2、スレーブマニピュレータ7、表示装置10、及び制御装置20を備えて構成されている。
【0014】
マスタマニピュレータ2は、操作者Opの動きをスレーブマニピュレータ7に伝達するために設けられており、操作者Opによって動かされるマスタアーム3と、表示装置10に表示される画像を切り替えるスイッチ6(選択手段)とを備える。
【0015】
マスタアーム3は、スレーブマニピュレータ7及び術具110の可動範囲に合わせて移動可能な多軸構造を有している。さらに、マスタアーム3には、マスタアーム3の位置及び姿勢の変化量を電気信号として発する変位センサ4と、後述するマスタ制御部22からの駆動信号に従ってマスタアーム3を動作させるアーム駆動部5とが取り付けられている。
【0016】
変位センサ4が発した電気信号は、制御装置20へ出力され、スレーブマニピュレータ7を動作させるための操作指令となっている。このように、マスタマニピュレータ2は、操作者Opによる操作を受け付け、操作者Opによる操作に基づいた操作指令を発する。
【0017】
スイッチ6は、押されることで所定の切り替え信号を制御装置20へ出力するようになっている。
図1ではスイッチ6はマニピュレータ近傍の床面に配置されているが、入力機構は特に制限はなく、各種スイッチを適宜選択してよい。
【0018】
スレーブマニピュレータ7は、内視鏡装置100(第一画像構成装置)及び術具110がそれぞれ取り付けられたスレーブアーム8と、内視鏡装置100、術具110、及びスレーブアーム8をそれぞれ動作させるアクチュエータ9(駆動手段)とを備える。内視鏡装置100、術具110、及びスレーブアーム8を動作させるアクチュエータ9は、何れも制御装置20から出力される駆動信号に従って動作する。
【0019】
スレーブマニピュレータ7に設けられた内視鏡装置100は、スレーブマニピュレータ7の一部および処置対象を含む画像(第一画像)を取得する画像取得部101を有している。本実施形態では、第一画像に含まれるスレーブマニピュレータ7の一部とは、術具110の一部やスレーブアーム8の一部を指す。すなわち、画像取得部101によって、スレーブマニピュレータ7を用いて処置対象物に対して処置を行っている状態の画像を取得することができる。本実施形態では、内視鏡装置100は、立体視可能な2画像を取得して表示装置10に電気信号として出力する。
【0020】
スレーブマニピュレータ7に設けられた術具110は、画像取得部101の視野内で処置対象物に対して処置を行う目的で設けられている。術具110の種類は特に限定されず、処置の内容に応じて公知の術具を適宜採用することができる。また、術具110は、スレーブマニピュレータ7に取付可能な術具には限られず、スレーブマニピュレータ7と協動する術具であってもよい。
【0021】
表示装置10は、マスタマニピュレータ2と同じ土台に取り付けられており、操作者Opの前方に設置されている。表示装置10は、画像取得部101によって取得された2画像に基づいて立体視可能な画像を生成する画像処理部11と、たとえば液晶パネルや有機ELパネルなどからなる表示パネル12とを備え、立体画像を構成可能な2画像を表示することができる。本実施形態では、表示装置10には、画像取得部101によって取得された2画像を両眼のそれぞれに振り分ける3Dメガネ13が付属している。医療用マニピュレータシステム1の操作者Opは、3Dメガネ13を装着し、表示パネル12に表示された画像を3Dメガネ13を介して立体画像として見ることができる。なお、表示パネル12は、裸眼立体視に対応したパネルでもよく、この場合には3Dメガネ13が表示装置10に付属している必要はない。
【0022】
図1および
図2に示すように、制御装置20は、主制御部21と、切替部24と、検査画像検索システム30(第二画像構成装置)とを備える。
【0023】
主制御部21は、マスタマニピュレータ2、切替部24、及び検査画像検索システム30に信号線を介して電気的に接続されており、マスタ制御部22及びスレーブ制御部23を備える。
【0024】
マスタ制御部22には、マスタマニピュレータ2から発せられた操作指令が入力される。また、マスタ制御部22は、入力された操作指令をスレーブ制御部23へ出力する。さらに、マスタ制御部22は、表示装置10に表示されたスレーブマニピュレータ7および後述する仮想マニピュレータ40先端部の姿勢に対応して、アーム駆動部5に駆動信号を出力することによりマスタアーム3先端部(把持部)の姿勢を変換する。
【0025】
スレーブ制御部23には、マスタ制御部22から発せられた操作指令が入力される。また、スレーブ制御部23は、操作指令に従ってスレーブマニピュレータ7を動作させる駆動信号を切替部24へ出力する。詳細は後述するが、スレーブ制御部23から出力される駆動信号は、切替部24において内容(座標系)が変換されてスレーブマニピュレータ7へ出力される場合がある。
【0026】
切替部24は、スレーブマニピュレータ7に設けられた内視鏡装置100と後述する仮想マニピュレータ40に設けられた仮想内視鏡41との何れか一方を操作対象として選択する選択部25と、選択部25によって選択された操作対象に対する駆動信号の座標系を変換する変換手段26と、変換手段26によって座標系が変換された駆動信号を操作対象へ出力する信号出力部27とを備える。なお、仮想マニピュレータ40は、検査画像検索システム30によって生成され、表示装置10に画像として表示される仮想的なマニピュレータである。
【0027】
選択部25は、スイッチ6と電気的に接続されており、スイッチ6が押されるたびに内視鏡装置100と仮想内視鏡41とを切り替えて操作対象に設定する。選択部25において操作対象として内視鏡装置100が選択されているときには、内視鏡装置100の画像取得部101によって取得された画像が表示装置10に出力される。選択部25において操作対象として仮想内視鏡41が選択されているときには、検査画像検索システム30によって構成された画像が表示装置10に出力される。
【0028】
変換手段26は、選択された操作対象が表示装置10の表示パネル12に表示された状態における表示画面上の座標系と、マスタマニピュレータ2の操作上の座標系とが一致するように、駆動信号の座標系を変換する。表示画面上における座標系とは、表示パネル12に表示された画像を3Dメガネ13を用いて見たときに構成される立体画像における3次元の座標系である。
変換手段26によって座標系が変換された駆動信号は、マスタマニピュレータ2から発せられた操作指令とは座標系が異なる新たな指令となる。
【0029】
操作対象が内視鏡装置100である場合には、内視鏡装置100及び術具110に対して信号出力部27から駆動信号が出力される。また、操作対象が仮想内視鏡41である場合には、信号出力部27から検査画像検索システム30へ駆動信号が出力される。
【0030】
検査画像検索システム30は、処置対象となる患者などを検査したときに得られた情報を画像化し、仮想マニピュレータ40の画像とともに表示装置10へ出力するシステムである。
図2に示すように、検査画像検索システム30は、患者などを検査したときに得られた情報が記憶されたデータサーバ31と、データサーバ31に記憶された情報に基づいたベース画像を構成する画像構成部32と、画像構成部32によって構成された画像を加工する画像加工部33と、画像加工部33により加工された画像を表示装置10へ出力する画像出力部34とを備える。
【0031】
データサーバ31には、処置対象となる患者に対して術前に行なわれた超音波画像診断によって得られた画像(超音波画像)が蓄積されている。
【0032】
画像構成部32は、データサーバ31に蓄積された超音波画像に基づいて、三次元画像からなるベース画像を構成する。また、画像構成部32には、切替部24から出力された駆動信号が入力される。
画像構成部32は、切替部24から出力される駆動信号に対応してベース画像を更新する。たとえば、操作者Opがマスタマニピュレータ2を用いて仮想内視鏡41を移動させたり仮想内視鏡41の姿勢を変えたりしたときに、画像構成部32は、仮想内視鏡41による視点を別の位置や角度に変更したかのように見える画像を新たなベース画像とする。
【0033】
画像加工部33は、変換手段26からの駆動信号に規定された姿勢及び動作に対応する立体視可能な仮想的なマニピュレータの画像(仮想マニピュレータ画像)を所定のデータベースから選択する。仮想マニピュレータ画像は、スレーブアーム8の一部や術具110の一部の画像若しくはこれらを模した画像を含んだ画像であり、マスタマニピュレータ2による操作に対応した姿勢及び動作が反映された画像である。
画像加工部33は、仮想マニピュレータ画像をベース画像に重ね合わせることにより、ベース画像上で仮想マニピュレータ40がマスタマニピュレータ2の操作に基づいて動作しているかのように見える画像(第二画像)を生成する。
さらに、画像加工部33は、生成された第二画像を画像出力部34へ出力する。
【0034】
画像出力部34は、画像加工部33から出力された第二画像を一時記憶し、一時記憶された第二画像を所定のフレームレートで表示装置10へ順次出力する。これにより、表示装置10では、変換手段26によって変換された駆動信号(新たな指令)に従って仮想マニピュレータ40が動作しているように見える立体動画が表示される。
【0035】
本実施形態の医療用マニピュレータシステム1の作用について説明する。
図3は、医療用マニピュレータシステム1の使用時の動作を説明するための図である。
図1に示すように、医療用マニピュレータシステム1の使用時には、操作者Opは、3Dメガネ13を装着し、表示装置10の表示パネル12に表示される画像を見ながら処置対象物に対する処置を行う。スイッチ6を押下することにより、スレーブマニピュレータ7に設けられた内視鏡装置100の画像取得部101(
図2参照)によって取得された術中の患者の画像(第一画像、
図1参照)と、術前の検査によって得られた超音波画像に基づいた画像(第二画像、
図3参照)とを切り替えて表示パネル12に表示することができる。
【0036】
第一画像には、スレーブマニピュレータ7の実物の画像が含まれており、第二画像には、画像加工部33によって選択された仮想マニピュレータ40の画像が含まれている。
第一画像が表示されているときには、表示装置10上におけるスレーブマニピュレータ7の座標系とマスタマニピュレータ2の操作上の座標系は一致している。さらに、第二画像が表示されているときは、表示装置10上における仮想マニピュレータ40の座標系とマスタマニピュレータ2の操作上の座標系は一致している。このため、操作者Opは、スレーブマニピュレータ7及び仮想マニピュレータ40を違和感なく切り替えて動作させることができる。
【0037】
また、画像構成部32において、マスタマニピュレータ2の動作に対応してベース画像を更新することにより、立体視可能な画像である第二画像において所望の位置に仮想内視鏡41を移動させているかのように操作者Opに認識させることができ、実物の内視鏡装置100を使用している場合におけるマスタマニピュレータ2の操作と同様の操作で術前の検査画像を見ることができる。その結果、第一画像に表示されている情報と第二画像に表示されている画像を直感的に対比することができ、効率よく作業をすることができる。
【0038】
(変形例1)
次に、上述の第1実施形態の変形例について
図1及び
図2を参照して説明する。
本変形例では、検査画像検索システム30の構成が異なっている。
データサーバ31には、処置対象となる患者に対して術前に行なわれたX線によるコンピュータ断層撮影(CT)によって得られた画像(CT画像)が蓄積されている。
画像構成部32は、データサーバ31に蓄積されたCT画像に基づいて、三次元画像からなるベース画像を構成する。
本変形例では、ベース画像がCT画像に基づいている点以外は上述の実施形態と同様である。
このような構成であっても、上述の実施形態と同様の効果を奏する。
【0039】
(変形例2)
次に、上述の第1実施形態の他の変形例について
図1及び
図2を参照して説明する。
本変形例では、検査画像検索システム30の構成が異なっている。
データサーバ31には、処置対象となる患者に対して術前に行なわれた核磁気共鳴画像法(MRI)によって得られた画像(MRI画像)が蓄積されている。
画像構成部32は、データサーバ31に蓄積されたMRI画像から、操作者Opによって選択された一枚のスライス画像を検索してベース画像を構成する。ベース画像の選択方法としては、たとえば、ベース画像の候補となるスライス画像を表示装置10に複数表示させ、マスタアーム3を動かすことによって1つのスライス画像を選択させる方法が挙げられる。
本変形例では、ベース画像がMRI画像のスライス画像である点以外は上述の実施形態及び変形例1と同様である。
このような構成であっても、上述の実施形態と同様の効果を奏する。
【0040】
また、MRI画像はスライス画像(2次元)に限らず、上述の変形例1と同様の方法で三次元画像を構成してもよい。このような構成であっても、上述の実施形態と同様の効果を奏する。
【0041】
また、検査画像検索システム30内のデータサーバ31には患者の検査情報でなく、一般的な人体の解剖モデル等の3次元(もしくは2次元)のCGデータを取り込んでもよい。このような構成であっても、上述の実施形態と同様の効果を奏する。
【0042】
(第2実施形態)
次に、本発明の第2実施形態の医療用マニピュレータシステム1について説明する。
図4は、本実施形態の医療用マニピュレータシステムの一部の構成を示すブロック図である。
図4に示すように、本実施形態の医療用マニピュレータシステム1Aは、検査画像検索システム30に術中検査装置35が接続されている点が異なっている。
【0043】
術中検査装置35は、たとえば超音波内視鏡、蛍光内視鏡、リアルタイム断層撮影装置、リアルタイムMRI装置などの装置であり、スレーブマニピュレータ7に取り付けられたり、スレーブマニピュレータ7ともに処置対象となる患者の近傍に配置されたりする。術中検査装置35は、術中に患者に対して観察や検査などを行い、観察や検査の結果得られた情報をデータサーバ31に記憶させる。これにより、検査画像検索システム30は、術中検査装置35によって取得された情報に基づいて画像構成部32においてベース画像を構成し、第1実施形態と同様に画像加工部33においてベース画像に仮想マニピュレータ画像を重ね合わせて第二画像を構成する。
【0044】
本実施形態の医療用マニピュレータシステム1Aによれば、患者に対して処置を行っている最中に、内視鏡装置100とは異なる装置である術中検査装置35によって患者の情報を取得し、当該情報に基づいて構成された第二画像を直ちに表示装置10に表示することができる。
【0045】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
たとえば、第1、第2実施形態で用いる術前、術中の検査装置または医用画像は、X線やMRIに限らず、シンチグラフィやポジトロ断層法(PET)、蛍光透視、赤外イメージング、血液撮影システム等、公知の検査装置であればその方法は限らない。これらの場合も、上述の実施形態と同様の効果を奏する。
【0046】
また、表示装置10には、医療用マニピュレータシステム1、1Aの動作モードを設定したりするためのボタンやアイコンなどを含む操作画面、文書や図などの画像、または心電図などの医療情報などを第二画像として表示させることができる。この場合にも、マスタアーム3の操作により第二画像を操作することができる。
【0047】
また、表示装置としてヘッドマウントディスプレイが採用されてもよい。
【0048】
また、検査画像検索システム30は、マスタアーム3が特定の動作をしたときに特定の操作入力があったと判定するジェスチャー入力機能を備えていてもよい。
【0049】
また、上述の各実施形態では、表示パネル12上に表示される画像をスイッチ6を用いて切り替える例を示したが、表示パネル12を複数備える表示装置を採用し、第一画像と第二画像を別の表示パネル12に表示させるようになっていてもよい。この場合には、上記第1実施形態と同様のスイッチ6を備えていてもよいが、切替部24には、スイッチ6に代えて、操作者Opがどちらの表示パネル12を見ているかを判定する判定手段が設けられていることが好ましい。判定手段は、操作者Opの顔の向きや視線の向きを検出するためのセンサを有することが好ましい。
【0050】
また、上述の第1実施形態ではマスタアーム3先端部(把持部)の姿勢を調整するためのアーム駆動部5が設けられている例を示したが、アーム駆動部を有しておらず操作者が手動でマスタアーム3の姿勢を調整できる構成であってもよい。
また、光学式トラッキングセンサなどのモーションセンサで、マスタアームを有することなくマスタ把持部の位置・姿勢を検出する入力装置であってもよい。この場合も、操作者が手動でマスタ把持部の姿勢を調整する。
【0051】
また、上述の各実施形態及び各変形例において示した構成要素は適宜に組み合わせて構成することが可能である。