【国等の委託研究の成果に係る記載事項】(出願人による申告)平成24年度、文部科学省、イノベーションシステム整備事業、大学発新産業創出拠点プロジェクト(START)、「気体の超精密制御技術を基盤とした低侵襲手術支援ロボットシステムの開発」、産業技術力強化法第19条の適用を受ける特許出願
(58)【調査した分野】(Int.Cl.,DB名)
主操作装置を操作する操作者の所定の指の腹を平面とみなしたときの指先平面における所定の大きさの正方形の頂点それぞれの位置に力を加えるように配置された4つの加力部と、
前記主操作装置での操作に対応して遠隔で動作制御される従操作装置が遠隔操作対象物から受けている反力のベクトルを、前記指先平面に正射影した後、前記正方形の中心から各頂点までの4つの方向のうちの直交する2つの方向を向く2つの直交ベクトルに分解し、前記分解した2つの直交ベクトルの2つの方向それぞれに対応する2つの前記加力部から加える力の大きさとして、前記2つの直交ベクトルの大きさの比と同じ大きさの比の力を決定し、前記決定した大きさの比の力に関する制御信号を前記4つの加力部に送信する制御部と、
を備えることを特徴とする指先刺激システム。
【発明を実施するための形態】
【0010】
以下、本発明を実施するための形態(以下、実施形態と称する。)に係る指先刺激システムについて、図面を参照しながら説明する。なお、本実施形態の指先刺激システムは、例えば、腹腔鏡手術ロボットに適用される。
【0011】
(指先刺激システムSの構成)
図1に示すように、指先刺激システムSは、マニピュレータ1(従操作装置)、力センサ2、スレーブコンピュータ3、マスタコンピュータ4、力覚提示装置5(主操作装置)、コンプレッサ6、圧力調整部7、サーボ弁8(空気量調節部)、ノズル9(加力部)を備えて構成される。なお、
図2では、力覚提示装置5、ノズル9などの構造を示しており、以下の説明で、
図1を参照する際に
図2も適宜参照する。
【0012】
マニピュレータ1は、スレーブコンピュータ3から受信した、力覚提示装置5の操作者の指の位置情報などに基いて、その位置情報に対応する動きを遠隔操作対象物に対して行う。
力センサ2は、マニピュレータ1が遠隔操作対象物から受けている反力を検出し、その力情報(反力の情報)をスレーブコンピュータ3に伝達する。
スレーブコンピュータ3は、マニピュレータ1を制御したり、力センサ2から力情報(反力の情報)を受信したり、マスタコンピュータ4と各種情報を送受信したりする。
【0013】
マスタコンピュータ4は、記憶部41、入力部42および制御部43を備えて構成される。
記憶部41は、情報を記憶する手段であり、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)等によって実現することができる。記憶部41は、例えば、制御部43による演算処理に必要な各種情報を記憶する。
入力部42は、マスタコンピュータ4に情報を入力する手段であり、例えば、キーボードやマウスである。
【0014】
制御部43は、各種演算処理を行う手段であり、例えば、CPU(Central Processing Unit)によって実現することができる。制御部43は、空気噴流量算出部431と入力電圧決定部432とを備えているが、それらの演算処理内容については後記する。
なお、マスタコンピュータ4は、通信部、表示部なども備えているが、
図1においてそれらの図示は省略している。
【0015】
力覚提示装置5は、本実施形態では、PHANTOM Omni(センサブル・テクノロジーズ社製)を用いる。この力覚提示装置5は、基部51、球体部52、および、2関節のアーム53を備えて構成され(
図2参照)、6自由度の位置姿勢入力(位置検出)と3自由度の反力提示(力覚フィードバック。反力の大きさの提示)が可能である。また、位置分解能は0.055mm、最大提示反力は3.3Nである。
【0016】
コンプレッサ6は、圧力調整部7に空気を送る。
圧力調整部7は、いわゆるレギュレータであり、コンプレッサ6からの空気の圧力を調整して4つのサーボ弁8に送る。
4つのサーボ弁8は、4本のノズル9それぞれから出る空気量を調節する。
【0017】
ノズル9は、ノズルA,B,CおよびDの4本からなる。ノズルA,B,CおよびDは、力覚提示装置5を操作する操作者の所定の指(例えば人差し指)の腹におけるそれぞれ異なる箇所に空気を噴きつける。人の指は非常に敏感であるので、空気を噴きつけられると、人はその強さを敏感に察知することができる。具体的には、
図2に示すように、4本のノズル9それぞれは、直径1mmであり、指の腹を平面とみなしたときの指先平面における、所定の大きさの正方形(例えば一辺が8mmの正方形)の頂点それぞれの位置に空気を噴きつけるように配置される。また、ノズルA,B,CおよびDは、それぞれ、個別のホース(
図2では図示省略)によって4つのサーボ弁8それぞれと接続されている。
【0018】
なお、操作者が力覚提示装置5を操作する場合に、指固定部91(主操作装置の一部)に載せて固定した指と各ノズル9の先端との間の距離は、1〜10mm程度であることが望ましい。指と各ノズル9とが密着しているとノズル9の先端から空気が出にくい。また、指と各ノズル9との距離が大きすぎると、指で各ノズル9からの空気噴流の刺激を感じにくい。
【0019】
このように、本実施形態では、力覚提示装置5のアーム53の先端に指固定部91および4本のノズル9を取り付けることにより、指固定部91に指を載せて固定した操作者に対して、各ノズル9からの空気噴流を用いて、力の方向を提示することができる(詳細は後記)。なお、その際、同時に、力覚提示装置5によって、操作者に、力の大きさも提示することができる。
【0020】
(動作制御内容)
操作者が力覚提示装置5を操作する場合、マスタコンピュータ4の制御部43の空気噴流量算出部431は、力センサ2で検出する、マニピュレータ1が遠隔操作対象物から受けている反力の方向に基いて、4本のノズル9それぞれから出る空気量を決定する。詳しくは、空気噴流量算出部431は、その反力のベクトルを、指先平面に正射影した後、前記した正方形の中心から各頂点までの4つの方向のうちの直交する2つの方向を向く2つの直交ベクトルに分解し、前記分解した2つの直交ベクトルの2つの方向それぞれに対応する2本のノズル9から出る空気量として、前記2つの直交ベクトルの大きさの比と同じ大きさの比の空気量を決定する。これについて、
図3を用いて説明する。
【0021】
まず、提示する反力を、操作者の指の腹を平面とみなしたときの指先平面FPに正射影してf’とすると、f’は次式のようになる。
f’=s’a+t’b
aとbは正規直交ベクトルであり、s’とt’はスカラである。
図3に示すように、ベクトルaは各ノズル9の先端の中心からノズルAの方を向いており、ベクトルbは各ノズル9の先端の中心からノズルBの方を向いている。なお、以下、近似的に、各ノズル9の先端が指先平面FP上にあるものとして説明する。
【0022】
次に、単位ベクトルfを以下のように定義する。
【数1】
ここで、sとtはスカラであり、√(s
2+t
2)=1である。
【0023】
最後に、各ノズル9からの空気噴流の流量Q
ref(Q
refA〜Q
refD)を次のように決定する。
ノズルAからの空気噴流量:Q
refA= s・Q
max
ノズルBからの空気噴流量:Q
refB= t・Q
max
ノズルCからの空気噴流量:Q
refC=−s・Q
max
ノズルDからの空気噴流量:Q
refD=−t・Q
max
ここで、Q
maxは最大流量を表し、Q
refが負のときは流量を0とする。
【0024】
このようにして、空気噴流量算出部431が4本のノズル9それぞれから出る空気量を決定した後、入力電圧決定部432は、記憶部41に予め記憶されている空気流量と各サーボ弁8への入力電圧との関係を示す関数に基いて入力電圧を決定し、その入力電圧の情報を各サーボ弁8に送信する。
そして、各サーボ弁8は、その入力電圧の情報に基いて各ノズル9から出る空気の量を調節する。
【0025】
これにより、操作者は、空気噴流の出ているノズル9の位置および流量から、反力の大きさに関係なく、反力の方向を指で感じることができる。つまり、単位ベクトルfを計算することで、反力の大きさに関係なく、空気噴流の強さを一定にすることができる。したがって、例えば、反力の大きさが小さくても、空気噴流の強さは一定なので、操作者に、空気噴流による反力の方向を提示することができる。
【0026】
(実験)
本実施形態における指先刺激システムSを用いた空気噴流刺激による力の方向提示の有効性を検証するため、湾曲針(略U字型の針)を用いた縫合実験を行った。
【0027】
<実験手順>
図4に示すように、まず、スポンジSPに、入マークM1と出マークM2を10mmあけてペンで書く。そして、操作者は、力覚提示装置5を操作することでマニピュレータ1を動かし、湾曲針Nの先端を入マークM1から刺し、出マークM2から出そうと試みる。このとき、操作者は、湾曲針Nの先端を入マークM1に刺した後は、湾曲針Nの先端が見えないので、出マークM2から湾曲針Nの先端を出すためには、指の感覚だけが頼りである。操作者は、なるべく正確に出マークM2から湾曲針Nの先端を出すように意識する。そして、湾曲針Nの先端が実際に出てきた位置と出マークM2の距離を測定し、評価する。
【0028】
被験者は20代の男性3名であり、全員、利き手の右手で力覚提示装置5の操作をした。実験の前に1時間ほど力覚提示装置5を用いて針を刺す練習をした後、空気噴流刺激を与えた場合と与えない場合の実験を5回ずつ交互に、計10回ずつ行った。
図5(a)は、正しい方向(図の左方向)に力を入れて湾曲針Nを動かしている場合で、ノズルA,Bから同量の空気噴流が出ていることを示している。
【0029】
一方、
図5(b)は、正しい方向から少しずれた方向(図の左下方向)に力を入れて湾曲針Nを動かしている場合で、ノズルAよりもノズルBから強い空気噴流が出ていることを示している。操作者は、ノズルA,Bからの空気噴流の強さの違いを指で知覚することで、力の入れ方を微調整して湾曲針Nの軌道を微調整することができる。
【0030】
<実験結果(湾曲針Nの軌道)>
図6(a)は、空気噴流刺激なしの場合の湾曲針の先端の軌道の一例(代表例)を示す。また、
図6(b)は、空気噴流刺激ありの場合の湾曲針の先端の軌道の一例(代表例)を示す。なお、両図において、横軸は
図4のx方向に対応し、縦軸は
図4のy方向に対応している。そして、(x,y)=(0,0)の位置が入マークM1に対応し、(x,y)=(−10,0)の位置が出マークM2に対応している。
【0031】
図6(a)、(b)から、空気噴流刺激が与えられていないとき(
図6(a))には湾曲針Nの先端の軌道が大きくずれてしまっているが、空気噴流刺激が与えられているとき(
図6(b))は湾曲針Nの先端の軌道が理想軌道に近いことがわかる。
【0032】
<実験結果(出マークM2と湾曲針Nの距離)>
図7は、出マークM2と湾曲針Nの先端が出てきた位置の距離の平均(棒グラフ)と標準偏差(エラーバー)を示す。
図7から、全ての被験者について、空気噴流刺激ありのほうが、距離の平均が小さいことがわかる。また、各被験者の結果にt検定を行ったところ、p値は次のようになった。
【0033】
被験者Aのp値・・・0.044
被験者Bのp値・・・0.018
被験者Cのp値・・・0.022
【0034】
全ての被験者のp値が0.05以下であるため、空気噴流刺激が与えられている場合と与えられていない場合では有意な差があると言える。
したがって、空気噴流刺激によって力の方向を提示することにより、湾曲針Nの先端の軌道を微調整して目標位置(出マークM2)に向かってより正確に操作することができるようになったと考えられる。
【0035】
(変形例1)
制御部43は、さらに、空気を出さない2つのノズル9(
図5の例ではノズルC,D)それぞれから、ノズルA〜Dの先端部を頂点とする正方形の中心を挟んで逆側のノズル(
図5の例では、ノズルCに対応するノズルB、ノズルDに対応するノズルA)から出す空気量と同じ量の空気を吸引するように、各サーボ弁8を制御するようにしてもよい。そうすれば、指に対して、反力の方向をより明確に伝えることができる。
【0036】
(変形例2)
また、指先刺激システムSは、各ノズル9から出る空気の温度を調節する温度調節部(ヒータなど)を、さらに備えてもよい。そして、制御部43は、例えば、遠隔操作対象物の温度、および、マニピュレータ1が遠隔操作対象物から受けている反力の大きさ、のいずれかに基いて、各ノズル9から出る空気の温度を調節するように温度調節部を制御するようにしてもよい。
【0037】
例えば、各ノズル9から出る空気の温度を、遠隔操作対象物の温度と同じにすれば、操作者は、指に当たる空気の温度から、遠隔操作対象物(手術中の臓器など)の異常な発熱などを知ることができる。
また、例えば、各ノズル9から出る空気の温度を、マニピュレータ1が遠隔操作対象物から受けている反力の大きさに比例するようにすれば、力覚提示装置5による操作者への力の大きさの提示を省略できる。
なお、各ノズル9から出る空気の温度は、同じであってもよいし、別々であってもよい。
【0038】
(変形例3)
また、指への刺激は、空気でなくてもよく、例えば、電気刺激やピンアレイや振動などを用いた手法で実現してもよい。その場合、複数のノズルの代わりに、マニピュレータ1を操作する操作者の所定の指の腹におけるそれぞれ異なる箇所に力を加える複数の加力部を用いることになる。
【0039】
そして、マスタコンピュータ4の制御部43は、力覚提示装置5での操作に対応して遠隔で動作制御されるマニピュレータ1が遠隔操作対象物から受けている反力の方向に基いて、前記複数の加力部それぞれから加える力の大きさを決定し、その決定した力の大きさに関する制御信号を前記複数の加力部に送信すればよい。
【0040】
その際、例えば、加力部の個数は4つであり、4つの加力部が、マニピュレータ1を操作する操作者の所定の指の腹を平面とみなしたときの指先平面における所定の大きさの正方形の頂点それぞれの位置に力を加えるように配置されていればよい。
そして、制御部43は、マニピュレータ1が遠隔操作対象物から受けている反力のベクトルを、前記正方形の中心から各頂点までの4つの方向のうちの直交する2つの方向を向く2つの直交ベクトルに分解し、その分解した2つの直交ベクトルの2つの方向それぞれに対応する2つの加力部から加える力の大きさとして、前記2つの直交ベクトルの大きさの比と同じ大きさの比の力を決定し、その決定した大きさの比の力に関する制御信号を前記4つの加力部に送信すればよい。
【0041】
以上で本実施形態の説明を終えるが、本発明の態様はこれらに限定されるものではない。
例えば、ノズル9の数は、4つでなくても、2つ以上で、力覚提示装置5の操作者に反力の方向を伝達できるようになっていれば、いくつでもよい。例えば、上記実施形態における正方形に対応する4つのノズル9の配置に対して、その正方形の中心にもう1つ別のノズル9を加えてもよい。
【0042】
また、ノズル9の数が4つの場合でも、その4つのノズル9の先端が構成する形状は、正方形に限定されず、ひし形、長方形など、他の形状であってもよい。
【0043】
また、指固定部91に取り付けられている4本のノズル9は、操作者ごとの指の形状の違いに対応して、各ノズル9の先端から指の腹までの距離を調節できるように、ねじなどによって高さが変更可能な構造としてもよい。
【0044】
また、スレーブコンピュータ3やマスタコンピュータ4で遠隔操作対象物からの反力を認識する手法として、特許文献1の技術と同様に、力センサ2を用いる代わりに、例えば、マニピュレータ1で用いる空気圧アクチュエータにかかる遠隔操作対象物からの反力に基いて、マニピュレータ1の先端部分にかかる反力のベクトルを推定する手法を用いてもよい。つまり、制御部43は、力覚提示装置5での操作に対応して遠隔で動作制御されるマニピュレータ1が遠隔操作対象物から受けている反力の方向に基いて、複数のノズル9それぞれから出る空気量を決定するが、その反力の方向の情報は、スレーブコンピュータ3から受け取ってもよいし、あるいは、スレーブコンピュータ3から受け取ったマニピュレータ1の状態量などに基いて算出して用いてもよい。
その他、具体的な構成や処理について、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。