(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025018551
(43)【公開日】2025-02-06
(54)【発明の名称】遠隔医療支援システム、遠隔医療支援方法、及びプログラム
(51)【国際特許分類】
A61B 5/00 20060101AFI20250130BHJP
B25J 3/00 20060101ALI20250130BHJP
【FI】
A61B5/00 101L
B25J3/00 A
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023122347
(22)【出願日】2023-07-27
(71)【出願人】
【識別番号】317006683
【氏名又は名称】地方独立行政法人神奈川県立産業技術総合研究所
(71)【出願人】
【識別番号】598121341
【氏名又は名称】慶應義塾
(71)【出願人】
【識別番号】516331889
【氏名又は名称】モーションリブ株式会社
(71)【出願人】
【識別番号】523285867
【氏名又は名称】医療法人社団日米会
(71)【出願人】
【識別番号】504182255
【氏名又は名称】国立大学法人横浜国立大学
(74)【代理人】
【識別番号】100127384
【弁理士】
【氏名又は名称】坊野 康博
(74)【代理人】
【識別番号】100152054
【弁理士】
【氏名又は名称】仲野 孝雅
(72)【発明者】
【氏名】下野 誠通
(72)【発明者】
【氏名】松永 卓也
(72)【発明者】
【氏名】大西 公平
(72)【発明者】
【氏名】溝口 貴弘
(72)【発明者】
【氏名】行形 毅
(72)【発明者】
【氏名】宇井 恵美
【テーマコード(参考)】
3C707
4C117
【Fターム(参考)】
3C707AS35
3C707BS21
3C707KS16
3C707KS21
3C707KS22
3C707KS23
3C707KS24
3C707KS33
3C707KS39
3C707KT02
3C707KV01
4C117XB11
4C117XC02
4C117XE27
4C117XE29
4C117XE43
4C117XE46
4C117XG16
4C117XH16
4C117XM12
(57)【要約】
【課題】遠隔から医療行為を伴う診断を行う場合に、より適切に診断を支援する。
【解決手段】遠隔医療支援システム1は、作業機構25と、操作機構15と、動作制御部313と、提示部314と、を備える。作業機構25は、被検者への触診を含む医療行為を行うための機構である。操作機構15は、作業機構25に対する遠隔操作を操作者から受け付ける機構である。動作制御部313は、操作機構15が受け付けた遠隔操作に応じて、作業機構25の動作を制御すると共に、作業機構25が被検者へ接触したことに応じて作業機構25に与えられた反力を、操作機構15を介して操作者に力触覚として伝達する。提示部314は、作業機構側で取得された、医療行為に基づく診断を支援する支援情報を、操作者に提示する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
被検者への触診を含む医療行為を行うための作業機構と、
前記作業機構に対する遠隔操作を操作者から受け付ける操作機構と、
前記操作機構が受け付けた遠隔操作に応じて、前記作業機構の動作を制御すると共に、前記作業機構が前記被検者へ接触したことに応じて前記作業機構に与えられた反力を、前記操作機構を介して前記操作者に力触覚として伝達する動作制御手段と、
前記作業機構側で取得された、前記医療行為に基づく診断を支援する支援情報を、前記操作者に提示する支援情報提示手段と、
を備えることを特徴とする遠隔医療支援システム。
【請求項2】
前記動作制御手段及び前記支援情報提示手段がデータを送受信するために用いる通信経路の通信品質を監視する監視手段と、
前記監視手段が監視した通信品質に応じて、前記データを送受信する態様を異ならせる通信制御手段と、
をさらに備えることを特徴とする請求項1に記載の遠隔医療支援システム。
【請求項3】
前記通信制御手段は、
前記監視手段が監視した通信品質が、予め定められた通信品質を満たしている場合には、前記データを時系列で即時に送受信する態様とし、
前記監視手段が監視した通信品質が、予め定められた通信品質を満たしていない場合には、前記データを時系列で蓄積してから、該蓄積したデータをまとめて送受信する態様とする、
ことを特徴とする請求項2に記載の遠隔医療支援システム。
【請求項4】
前記監視手段が監視した通信品質が、通信の実行が困難な通信品質の場合に、前記作業機構に与えられた反力及び前記支援情報の何れか又は双方に基づいて、前記医療行為に基づく診断に関する解析を行い、該解析結果を、前記作業機構側に提示する解析結果提示手段、
をさらに備えることを特徴とする請求項2又は3に記載の遠隔医療支援システム。
【請求項5】
前記動作制御手段は、
前記監視手段が監視した通信品質が、予め定められた通信品質を満たしていない場合には、前記操作機構が受け付けた遠隔操作に応じた前記作業機構の動作を抑制する、
ことを特徴とする請求項2又は3に記載の遠隔医療支援システム。
【請求項6】
前記作業機構には、前記被検者の状態を測定するための測定機器が装着され、
前記支援情報には、前記測定機器による測定結果を示す情報が少なくとも含まれる、
ことを特徴とする請求項1乃至3の何れか1項に記載の遠隔医療支援システム。
【請求項7】
前記動作制御手段は、
前記操作機構が前記操作者から受け付けた遠隔操作に代えて、前記作業機構が他の操作者から直接受け付けた操作に応じて、前記作業機構の動作を制御すると共に、前記作業機構が前記被検者へ接触したことに応じて前記作業機構に与えられた反力を、前記操作機構を介して前記操作者に力触覚として伝達する、
ことを特徴とする請求項1乃至3の何れか1項に記載の遠隔医療支援システム。
【請求項8】
被検者への触診を含む医療行為を行うための作業機構と、前記作業機構に対する遠隔操作を操作者から受け付ける操作機構と、を備えたシステムが行う遠隔医療支援方法であって、
前記操作機構が受け付けた遠隔操作に応じて、前記作業機構の動作を制御すると共に、前記作業機構が前記被検者へ接触したことに応じて前記作業機構に与えられた反力を、前記操作機構を介して前記操作者に力触覚として伝達する動作制御ステップと、
前記作業機構側で取得された、前記医療行為に基づく診断を支援する支援情報を、前記操作者に提示する支援情報提示ステップと、
を含むことを特徴とする遠隔医療支援方法。
【請求項9】
被検者への触診を含む医療行為を行うための作業機構と、前記作業機構に対する遠隔操作を操作者から受け付ける操作機構と、を備えたシステムを制御するコンピュータに、
前記操作機構が受け付けた遠隔操作に応じて、前記作業機構の動作を制御すると共に、前記作業機構が前記被検者へ接触したことに応じて前記作業機構に与えられた反力を、前記操作機構を介して前記操作者に力触覚として伝達する動作制御機能と、
前記作業機構側で取得された、前記医療行為に基づく診断を支援する支援情報を、前記操作者に提示する支援情報提示機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔医療支援システム、遠隔医療支援方法、及びプログラムに関する。
【背景技術】
【0002】
医療の現場において、罹患の疑いのある被検者は、自ら医療施設に赴いて、医師等の医療従事者の診断を受けることが通常である。この場合、医師等の医療従事者は、触診、打診、視診、及び聴診といった多様な観点から被検者を診断する。
しかしながら、医療施設の混雑状況等の事情によっては即時に診断を受けられない場合もある。また、緊急搬送中に診断を受ける場合や、在宅医療で診断を受ける場合、あるいは緊急時のトリアージを行う場合等において、経験を積んだ医療従事者の診断をその場で受けるのは、困難なことが実情である。
例えば、超音波(US:Ultrasonography)を用いた医療機器による診断を適切に行うには、医療従事者の経験等に依るところもあり、このような経験者が常時現場に配置され、いつでも診断できるということは医療従事者の人的リソース等を考慮すると現実的ではない。
【0003】
このような状況を考慮して、遠隔操作により医療行為を支援するという技術の一例が特許文献1に開示されている。特許文献1に開示の技術では、操作者によって過剰な速度での操作が行われた場合であっても、遠隔操作対象のロボットアームの挙動は過剰な速度にはならないよう制御することで、医療従事者の作業を支援するとされている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、医療行為は、高い作業精度が要求される作業である。そのため、特許文献1に開示の技術のように、単にロボットアームの挙動が過剰な速度とならないように制御するのみでは、要求される作業精度を満たすことは困難と考えられる。
すなわち、医療従事者が、遠隔から、例えば、触診、打診、視診、及び聴診といった様々な観点での診断を行うためには、未だ改善の余地があると言える。
【0006】
本発明は、このような状況に鑑みてなされたものである。そして、本発明の課題は、遠隔から医療行為を伴う診断を行う場合に、より適切に診断を支援することである。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明の一実施形態に係る遠隔医療支援システムは、
被検者への触診を含む医療行為を行うための作業機構と、
前記作業機構に対する遠隔操作を操作者から受け付ける操作機構と、
前記操作機構が受け付けた遠隔操作に応じて、前記作業機構の動作を制御すると共に、前記作業機構が前記被検者へ接触したことに応じて前記作業機構に与えられた反力を、前記操作機構を介して前記操作者に力触覚として伝達する動作制御手段と、
前記作業機構側で取得された、前記医療行為に基づく診断を支援する支援情報を、前記操作者に提示する支援情報提示手段と、
を備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、遠隔から医療行為を伴う診断を行う場合に、より適切に診断を支援することができる。
【図面の簡単な説明】
【0009】
【
図1】本実施形態に係る遠隔医療支援システム1の全体構成を示す模式図である。
【
図2】操作装置10と、作業装置20のハードウェア構成を示すブロック図である。
【
図3】操作装置10と、作業装置20の構成例について示す斜視図である。
【
図4】主制御装置30や副制御装置40のハードウェア構成の一例である、ハードウェア構成700を示すブロック図である。
【
図5】主制御装置30の機能的構成を示すブロック図である。
【
図6】通信制御テーブルのデータ構造の一例を示すテーブルである。
【
図7】動作制御部313の制御アルゴリズムを示すブロック図である。
【
図8】副制御装置40の機能的構成を示すブロック図である。
【
図9】遠隔医療支援システム1が実行する動作制御処理の流れを説明するフローチャートである。
【
図10】遠隔医療支援システム1が実行する遠隔医療支援処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【0010】
以下、添付の図面を参照して本発明の実施形態の一例について説明する。
【0011】
[システム構成]
図1は、本実施形態に係る遠隔医療支援システム1の全体構成を示す模式図である。
図1に示すように、遠隔医療支援システム1は、例えば、病院等の医療施設等である「操作側」と、緊急搬送中の救急車の車内等である「作業側」に分散して設置される。
具体的に、操作側において、遠隔医療支援システム1は、操作装置10、主制御装置30、ディスプレイ30a、及びカメラ30bを含む。一方で、作業側において、遠隔医療支援システム1は、作業装置20、副制御装置40、ディスプレイ40a、及びカメラ40bを含む。
【0012】
また、操作側と、作業側のそれぞれにおいて各装置は相互に通信可能に接続される。この通信は、有線あるいは無線の何れであってもよいし、通信方式についても限定されない。加えて、主制御装置30と副制御装置40は、ネットワークNを介して相互に遠隔通信を行うことも可能である。ただし、このネットワークNは、インターネット等の公衆網であり、所定の通信速度が保証された帯域保証型のネットワークではなく、所定の通信速度が保証されないベストエフォート(best effort)型のネットワークである。
【0013】
また
図1には、操作側に操作者を図示すると共に、作業側に補助者及び被検者を図示する。操作者は、操作装置10を遠隔操作して作業装置20を動作させることにより、被検者に対する医療行為を行う。この操作者は、例えば、この医療行為についての経験を積んだ、専門医や日本超音波学会公認の超音波検査士等である。また、補助者は、例えば、この医療行為についての経験が浅い、かかりつけ医や救急隊等の専門外の医療スタッフである。さらに、被検者は、疾病に罹患している(あるいは罹患の疑いがある)、又は怪我をしている人物であって、この医療行為を受けることで、操作者が診断を下す対象となる人物である。なお、被検者は、例えば、妊婦や慢性疾患の罹患者のように、定期的な検診や経過観察が必要な人物であってもよい。
【0014】
本実施形態では、「上り方向」として図示するように、補助者が、操作者に対して被検者のへの医療行為の実行を依頼する。また、「下り方向」として図示するように、この依頼に応じて、操作者は、遠隔操作により被検者への医療行為を実行する。
【0015】
このような遠隔医療支援システム1において、操作装置10は、マスタ装置として動作することにより、操作者からの操作を受け付ける機構を駆動する。一方で、作業装置20は、スレーブ装置として動作することにより、被検者への触診を含む医療行為を実行する機構を駆動する。ここで、被検者への触診を含む医療行為とは、非侵襲的な触診等の医療行為全般を含むものである。例えば、作業装置20が、直接的にあるいは装着された他の部材等を介して間接的に被験者に接触することで、このような被検者への触診を含む医療行為が実現される。なお、作業装置20により、このような触診を含む医療行為が行われる際に、触診を含まない医療行為がさらに行われてもよいし、行われなくてもよい。
この場合に、主制御装置30は、操作装置10が駆動する機構と、作業装置20が駆動する機構との間で、力触覚を伝達する制御(バイラテラル制御)を行う。これにより、操作装置10に対する操作者の操作(位置と力の入力)が、作業装置20が駆動する機構に伝達されると共に、作業装置20からの反力(位置と力の応答)が、操作装置10が駆動する機構に力触覚として伝達される。
【0016】
また、ディスプレイ30a及びディスプレイ40aは、画像を表示する機能と、スピーカとしての機能を含んでいる。また、カメラ30b及びカメラ40bは、画像を撮像する機能と、マイクとしての機能を含んでいる。
そして、カメラ40bにより撮像及び集音された作業側の画像や音、あるいは、医療行為により測定された測定結果等は、ネットワークNを介して操作側のディスプレイ30aから再生される。また同様にして、カメラ30bにより撮像及び集音された操作側の画像や音、あるいは、医療行為により測定された測定結果等は、ネットワークNを介して操作側のディスプレイ40aから再生される。
【0017】
これにより、操作者は、伝達される力触覚以外に加えて、他の感覚(例えば、視覚や聴覚)にも基づいて、診断のための医療行為を行うことができる。つまり、遠隔医療支援システム1は、遠隔から診断を行う医療従事者に対して、多様な観点(例えば、触診、打診、視診、及び聴診)からの診断を可能としている。
従って、遠隔医療支援システム1によれば、遠隔から医療行為を伴う診断を行う場合に、より適切に診断を支援する、という課題を解決することができる。
以上が、本実施形態の概略である。
【0018】
[装置構成]
次に、遠隔医療支援システム1に含まれる各装置の構成について説明する。
図2は、操作装置10と、作業装置20のハードウェア構成を示すブロック図である。
図2に示すように、操作装置10は、操作機構15を駆動するためのアクチュエータ12と、アクチュエータ12を駆動するドライバ11と、アクチュエータ12による駆動で移動される操作機構15の可動部の位置を検出する位置センサ13と、を備えている。また、操作装置10は、これらドライバ11や、位置センサ13が、主制御装置30との間で通信を行うための通信部14と、操作機構15も備えている。
【0019】
一方で、作業装置20も同様に、作業機構25を駆動するためのアクチュエータ22と、アクチュエータ22を駆動するドライバ21と、アクチュエータ22による駆動で移動される作業機構25の可動部の位置を検出する位置センサ23と、を備えている。作業装置20は、ドライバ21や、位置センサ23が、副制御装置40との間で通信を行うための通信部24と、作業機構25も備えている。
【0020】
この場合に、位置センサ13が検出する操作機構15の可動部の位置とは、例えば、操作機構15の可動部の所定の部位の位置である。ただし、操作機構15の可動部の位置に代えて、操作機構15を操作する操作者の所定の部位の位置を用いることとしてもよい。
また、位置センサ23が検出する作業機構25の可動部の位置とは、例えば、作業機構25の可動部の所定の部位の位置である。ただし、作業機構25の可動部の位置に代えて、作業機構25が被検者に接触する所定の部位の位置(例えば、作業機構25の先端部の位置)を用いることとしてもよい。
【0021】
また、本実施形態では、これら操作機構15の可動部の位置や、作業機構25の可動部の位置に代えて、各アクチュエータの出力軸の回転角度を各アクチュエータに内蔵されたロータリーエンコーダによって検出することとしてもよい。すなわち、本実施形態において、位置の概念には角度(例えば、アクチュエータの出力軸の回転角度等)が含まれるものとし、位置に関する情報には、位置、角度、速度、角速度、加速度及び角加速度が含まれるものとする。また、位置と速度(又は加速度)あるいは角度と角速度(又は角加速度)は、微積分演算により置換可能なパラメータであるため、位置あるいは角度に関する処理を行う場合、適宜、速度あるいは角速度等に置換してから処理を行うことが可能である。また、図中では、操作装置10や作業装置20において、各ドライバ、各アクチュエータ、及び各位置センサを一系統のみ図示しているが、操作機構15や作業機構25の数や、それぞれのアクチュエータの数に応じて、これらを複数系統設けることができる。
【0022】
このような構成において、主制御装置30は、位置センサ13や位置センサ23が検出した位置に基づいて、ドライバ11やドライバ21に対して制御指令を出力することにより、マスタ装置である操作装置10の操作機構15と、スレーブ装置である作業装置20の作業機構25との間で力触覚を伝達するバイラテラル制御を実現する。なお、この場合に副制御装置40は、位置センサ23が検出した位置や、主制御装置30が出力したドライバ21に対する制御指令を中継する役割を果たす。
なお、この力触覚を伝達する制御(バイラテラル制御)を実現するための具体的なアルゴリズムについては、
図7を参照して後述する。
【0023】
図3は、操作装置10と、作業装置20の構成例について示す斜視図である。これら操作装置10及び作業装置20において、その形状や構造は特に限定されないが、本実施形態では、一例として、操作装置10及び作業装置20は同等の形状及び構造をしており、操作機構15と作業機構25の機能のみが異なることを想定する。なお、
図3では、
図2に示したハードウェア構成(ここでは、ドライバ11,21、アクチュエータ12,22、位置センサ13,23、及び通信部14,24)については図示を省略する。
【0024】
操作装置10及び作業装置20は、エンドエフェクタによって所定の作業を行うために、ベースとエンドエフェクタとを接続する複数(ここでは、3本)のリンクシャフトを含んだリンク機構を有する装置として実現される。図示するように、このリンク機構は、水平面におけるX方向と、水平面においてX方向と直交するY方向と、X方向及びY方向の双方と直交するZ方向(すなわち、鉛直方向)と、に移動可能な3軸の構造であり、サーボモータやエアシリンダ等で実現されるアクチュエータ12,22が駆動することにより、エンドエフェクタを三次元的に移動させることができる。
【0025】
この場合に、操作装置10及び作業装置20のベースは、操作側や作業側の天井や壁面、あるいは作業台等に固定される。また、操作装置10の先端には、エンドエフェクタとして操作機構15が装着される。本実施形態では、一例として、この操作機構15は、超音波プローブを模した形状に構成されたダミーのデバイスであることを想定する。この操作機構15は、超音波プローブとしての機能を有する必要はなく、例えば、音響レンズや振動子といった構成要素を内部に備えていなくてもよい。ただし、実際に超音波プローブを利用する場合と同様の感覚で遠隔操作を行えるように、表面の質感や重量については、実際の超音波プローブと同様にすることが望ましい。
【0026】
一方で、作業装置20の先端には、エンドエフェクタとして作業機構25が装着される。本実施形態では、一例として、この作業機構25は、医療現場において通常に用いられる超音波プローブであることを想定する。作業機構25は、被検者の身体に接触した状態で所定方向に動かされることで、反射した超音波を受信し、これに基づいた画像データ(以下、「超音波画像」と称する。)を生成することができる。超音波画像は、作業側のディスプレイ30aにて再生され、操作者は、この超音波画像を参照することで、被検者の臓器や胎児の様子を観察することができる。
【0027】
なお、
図3に示した構成は、あくまで一例である。例えば、操作装置10及び作業装置20は、互いに異なる構造であってもよいし、パラレルリンク機構ではなく、シリアルリンク機構であってもよいし、その軸数も限定されない。例えば、より自由度の高い6軸としたり、より簡易な構成で実現できる2軸としたりしてもよい。また、例えば、手で直接接触して触診を行う場合を想定して、操作者が装着する多指型のデバイスを操作装置10とし、被検者に接触するロボットマニピュレーターを作業装置20としてもよい。また、操作装置10及び作業装置20は、本実施形態特有の構成として実現してもよいが、汎用のロボットアーム等で実現するようにしてもよい。さらに、エンドエフェクタである操作機構15や作業装置20は、超音波プローブにかぎらず、これ以外の医療機器と、その医療機器を模した構成のダミーのデバイスとしてもよい。この場合に、種々の医療機器を脱着可能とし、状況に応じて異なる医療機器(及びその医療機器を模した構成のダミーのデバイス)をエンドエフェクタとして交換可能としてもよい。
【0028】
図4は、主制御装置30や副制御装置40のハードウェア構成の一例である、ハードウェア構成700を示すブロック図である。
図4に示すように、このハードウェア構成700は、プロセッサ701と、ROM(Read Only Memory)702と、RAM(Random Access Memory)703と、バス704と、入力部705と、出力部706と、記憶部707と、通信部708と、ドライブ709と、を備えている。
【0029】
プロセッサ701は、ROM702に記録されているプログラム、又は、記憶部707からRAM703にロードされたプログラムに従って各種の処理を実行する。
RAM703には、プロセッサ701が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0030】
プロセッサ701、ROM702及びRAM703は、バス704を介して相互に接続されている。バス704には、入力部705、出力部706、記憶部707、通信部708及びドライブ709が接続されている。
【0031】
入力部705は、マウスやキーボード等の入力装置を備え、主制御装置30や副制御装置40に対する各種情報の入力を受け付ける。この場合、主制御装置30の入力部705は、カメラ30bにより撮像及び集音された操作側の画像や音等の入力も受け付ける。一方で、副制御装置40の入力部705は、カメラ40bにより撮像及び集音された作業側の画像や音、さらに作業機構25の測定結果(例えば、測定結果を示す超音波画像)等の入力も受け付ける。
【0032】
出力部706は、ディスプレイやスピーカ等で構成され、画像や音を出力する。この場合、主制御装置30の出力部706は、ネットワークNを介して受信された作業側の画像や音や測定結果等をディスプレイ30aから出力する。一方で、副制御装置40の出力部706は、ネットワークNを介して受信された操作側の画像や音や測定結果等をディスプレイ40aから出力する。
記憶部707は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各サーバで管理される各種データを記憶する。
通信部708は、ネットワークを介して他の装置との間で行う通信を制御する。
【0033】
ドライブ709には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア750が適宜装着される。ドライブ709によってリムーバブルメディア750から読み出されたプログラムは、必要に応じて記憶部707にインストールされる。
なお、上記ハードウェア構成は、主制御装置30や副制御装置40の基本的構成であり、一部のハードウェアを備えない構成としたり、付加的なハードウェアを備えたり、ハードウェアの実装形態を変更したりすることができる。
【0034】
このようなハードウェア構成を有する主制御装置30及び副制御装置40は、協働することによって、「動作制御処理」や、「遠隔医療支援処理」を行う。
ここで、動作制御処理は、操作装置10が駆動する操作機構15と、作業装置20が駆動する作業機構25との間で、力触覚を伝達する制御(バイラテラル制御)を行うことで、各機構の動作を制御する一連の処理である。
また、遠隔医療支援処理は、動作制御処理を利用して、操作者の遠隔医療における遠隔操作を支援する一連の処理である。なお、動作制御処理は、遠隔医療支援処理のサブルーチンとして実現される。
【0035】
図5は、主制御装置30の機能的構成を示すブロック図である。
上記の動作制御処理や遠隔医療支援処理が行われる場合、
図5に示すように、プロセッサ701において、監視部311と、通信制御部312と、動作制御部313と、提示部314と、が機能する。また、記憶部707には、通信制御テーブル記憶部371と、履歴データ記憶部372と、が形成される。
以下で特に言及しない場合も含め、これら機能ブロック間では、処理を実現するために必要なデータを、適切なタイミングで適宜送受信する。
【0036】
監視部311は、主制御装置30と、副制御装置40がデータを送受信するために用いる通信経路の通信品質を監視する。ここで、通信経路にはネットワークNが含まれるが、上述したように、このネットワークNは、所定の通信速度が保証されないベストエフォート型のネットワークである。そのため、ネットワークNにおける通信品質は一定ではない。そこで、監視部311は、様々な指標に基づいて、通信品質を示す値を監視する。
【0037】
例えば、監視部311は、主制御装置30と副制御装置40との間で、セグメント送信とACK受信を行い、これらの送受信に要したラウンドトリップタイムの値を監視する。他にも、例えば、監視部311は、主制御装置30と副制御装置40との間で、時刻同期のためにデータ送信時の時刻を送信するデータの送信パラメータに含めて通信を行っているような場合には、受信したデータに含まれる送信時の時刻と受信時の時刻との差分から通信遅延時間を求めて監視する。
あるいは、監視部311は、ネットワークでパケットが損失する割合を示すパケット損失率の値や、ネットワーク遅延の揺らぎを示すジッタの値を計測して、監視する。
なお、これらの様々な指標に基づいた、通信品質を示す値の計測方法については、当業者にとってよく知られているので、ここでの詳細な説明は省略する。
【0038】
そして、監視部311は、これら監視した値を、通信品質の監視結果として通信制御部312に対して出力する。なお、通信制御部312が何れの値を監視結果として通信制御部312に出力するのかについては、利用するネットワークNの特性等を考慮して、適宜設定しておくことができる。
【0039】
通信制御部312は、監視部311が監視した通信品質に応じて、データを送受信する通信態様(いわば、通信モード)を異ならせる。これにより、通信品質が一定ではない環境下であっても、その通信品質に応じた、様々な態様でデータを送受信して医療行為を支援することができる。
このように、通信態様を異ならせる基準や、通信態様の具体的な内容については、例えば、通信制御テーブルとして予め規定されており、通信制御テーブル記憶部371に記憶されている。すなわち、通信制御テーブル記憶部371は、通信制御テーブルを記憶する記憶部として機能する。
【0040】
図6は、通信制御テーブルのデータ構造の一例を示すテーブルである。本テーブルでは、通信態様毎に行が設けられる。また、各列には各通信態様に対応した設定内容が格納される。本実施形態では、一例として第1通信態様~第3通信態様という3つの通信態様が存在することを想定する。ただし、これは一例に過ぎず、より多くの通信態様を段階的に設けてもよいし、通信態様を2つのみとしてもよい。
【0041】
通信制御部312は、監視部311が監視した通信品質に応じて、通信態様を選択し、選択した通信態様に沿った方法で、ネットワークNを介した操作装置10と作業装置20との通信を実行するように制御する。この場合、通信態様の選択基準としては、例えば、監視部311が監視した通信品質と予め設定した閾値とを比較することが考えられる。例えば、監視部311が監視した通信品質を示す値が、通信品質が良好であるほど高い値を示すものであるとする。この場合、例えば、監視した値が、第1閾値(図中「XX」)以上の値であれば、第1通信態様が選択される。また、例えば、監視した値が、第1閾値(図中「XX」)未満、且つ、第2閾値(図中「YY」)以上の値であれば、第2通信態様が選択される。さらに、例えば、監視した値が、第2閾値(図中「YY」)未満の値であれば、第3通信態様が選択される。なお、監視部311が監視した通信品質を示す値が、通信品質が良好であるほど低い値を示すものである場合には、通信品質を示す値と閾値との大小関係は上記とは逆の関係になる。
【0042】
本実施形態では、第1通信態様は、予め定められた通信品質を満たしている場合であること(すなわち、通信品質が良好なこと)を想定している。また、第1通信態様では、リアルタイムで双方向に力触覚の伝達を行う。そこで、第1閾値は、このようなリアルタイムで双方向に力触覚の伝達を行うことが十分な通信品質に対応した値とする。例えば、監視するのが通信遅延時間であれば、20[ms]を第1閾値として、これ未満の遅延時間であれば第1通信態様を選択するようにする。あるいは、監視するのがランダムなパケットロスであれば、20[%]を第1閾値として、これ未満のパケットロスであれば第1通信態様を選択するようにする。なお、このような20[ms]や20[%]という値は、第1閾値として設定できる値の一例に過ぎない。本実施形態を実装する環境や、実際に行われる医療行為の内容や、操作者が要求する精度といった各種の基準に基づいて、任意の値を第1閾値として設定することができる。
【0043】
また、第2通信態様は、通信可能な状態であるが予め定められた通信品質を満たしていない場合である。さらに、第3通信態様は、通信が不可能な状態、あるいは通信が極めて困難な状態である。そこで、第2閾値は、この境界を基準にして決定することができる。なお、これらの閾値は、あくまで例示に過ぎず、遠隔操作により行われる医療行為の種類や、要求される精度等に応じて、適切な値を設定することが可能である。
通信制御部312は、このようにして、監視部311が監視した通信品質に応じて、通信態様を選択すると、通信制御テーブルに規定されている方法で、ネットワークNを介した操作装置10と作業装置20との通信を実行するように制御する。この場合、図示するように、第1通信態様であれば、力触覚情報、視覚情報、及び聴覚情報の全てを即時(すなわち、リアルタイム)、且つ、双方向で送受信する。
【0044】
ここで、力触覚情報は、操作装置10が駆動する操作機構15と、作業装置20が駆動する作業機構25との間で、力触覚を伝達する制御(バイラテラル制御)を行うために用いられるパラメータの値である。例えば、力触覚情報は、位置センサ13や位置センサ23が検出した位置を示す値や、主制御装置30が算出したドライバ11やドライバ21に対する制御指令値である。他にも、例えば、速度、加速度、力、インピーダンス等を示す値を力触覚情報に含ませるようにしてもよい。
また、視覚情報は、カメラ30bやカメラ40bにより撮影された、操作側の操作者の表情や、作業側の被検者の表情や医療行為の対象部位の画像や、作業機構25等で測定した測定結果(例えば、測定結果を示す超音波画像)等の画像や、補助者が副制御装置40に入力した患者の属性(例えば、年齢や性別や症状)を示すテキスト等の情報である。
さらに、聴覚情報は、カメラ30bやカメラ40bにより集音された、操作側の操作者の音声や、作業側の被検者の音声や、作業機構25等で測定した測定結果(例えば、測定結果を示す被検者の心音)等である。なお、この視覚情報や聴覚情報の少なくとも一部は、本発明の「支援情報」に相当する。
【0045】
第1通信態様の場合、これらの力触覚情報、視覚情報、及び聴覚情報の全てを時系列で、即時、且つ、双方向に送受信するので、例えば、これらの提示を受けた操作者は、遠隔操作に基づいた、実際の患者からの反力を力触覚として触覚で感じることができる。また、これと共に、並行して、各種の視覚情報や聴覚情報を、視覚や聴覚で感じることができる。これにより、本実施形態では、遠隔から診断を行う操作者に対して、多様な観点(例えば、触診、打診、視診、及び聴診)からの診断を可能としている。
【0046】
例えば、超音波プローブを用いた医療行為の場合、超音波プローブにより測定された超音波画像を視覚で目視することで、診断を行うことが重要となる。そのためには、前提として、超音波プローブを被検者の対象部位に適切な力加減で接触させ、適切に移動(例えば、所定の方向への往復運動)させる必要がある。しかしながら、このように適切に接触させて適切に移動させることは容易ではなく、操作者(例えば、医師)の経験に基づいた手技が必要となる。そして、仮に不適切な方法で、超音波プローブを用いた場合には、そもそも超音波画像そのものが不正確なものとなり、誤診につながるおそれがある。しかしながら、第1通信態様では、力触覚情報の伝達により、この手技を実行することを支援できると共に、並行して視覚情報である超音波画像も提示することが可能となる。そのため、操作者は、触覚により適切に手技が実行できていることを確認しながら、視覚により超音波画像を目視して診断を行うことができる。すなわち、仮に作業側に経験の浅い補助者しかいない場合であっても、操作側の操作者は自身で遠隔操作を行うことで、あたかも実際に被検者に対面して医療行為を行っているのと同じ状態で、医療行為を実行することが可能となる。
【0047】
また、操作者は、超音波画像の取得とは関わりなく、超音波プローブを意図的に押し当てて、それに対する被検者の反応に基づいて、診断を行う場合もある。例えば、被検者が激しい痛みを感じている場合には、腹膜炎のおそれがある等の方法で診断を行う場合である。本実施形態では、押し当てた強さを力触覚として伝達できると共に、その際の被検者の反応を示す、被検者の表情といった視覚情報や、被検者の音声といった聴覚情報も提示できるので、このような方法での診断を行うことも可能となる。
【0048】
他にも、例えば、視覚情報や聴覚情報として、操作側の操作者の表情や音声と、作業側の補助者の表情や音声を送受信することで、操作者と補助者とのコミュニケーションをとるようにしてもよい。また、例えば、被検者の医療行為の対象部位の画像や作業機構25の先端の画像等を提示することで、遠隔操作を行うこと自体を支援するようにしてもよい。
【0049】
第2通信態様の場合、これらの力触覚情報、視覚情報、及び聴覚情報の全てを時系列で作業装置20に蓄積する。すなわち、取得したこれらの情報そのもの(生データ)を逐次送信するのではなく、これらを蓄積してデータファイルとする。そして、このデータファイルをまとめて送信する。なお、第2通信態様では、通信品質を考慮して、作業側から操作側へのデータファイルの送信を行うが、操作側から作業側への送信は取りやめる。すなわち、片方向通信とする。
【0050】
この場合、例えば、作業装置20を予め定められた軌道で動作させ、これにより得られた力触覚情報や、視覚情報や聴覚情報を、操作側に送信する。これにより、操作者は、リアルタイムではなく、時間が非同期となり力触覚情報等の各情報の伝達に多少の遅延が生じるものの、作業側で得られた各情報を的確に感じることができ、これらの情報に基づいて診断を行うことができる。これに加えて、例えば、携帯電話網を利用してスマートフォン等で、操作者と、補助者や被検者がコミュニケーションをとることで、さらに診断を支援するようにしてもよい。作業装置20を予め定められた軌道で動作させることは、例えば、その動作を実現するための力触覚情報を予め副制御装置40に記憶させておき、これを作業装置20に対して出力することで実現するようにしてもよい。あるいは、補助者が操作者の指示等に応じて、作業装置20を直接操作することで、実現するようにしてもよい。
【0051】
第3通信態様の場合、これらの力触覚情報、視覚情報、及び聴覚情報の全てについて送受信を取り止める。この場合、補助者は、例えば、より通信環境が良好な場所に移動を試みたり、近隣の医療施設に患者を搬送することを試みたりする。また、これに加えて、作業装置20にて取得した力触覚情報や視覚情報を、作業側の副制御装置40にて統計的な手法や機械学習等によって解析することで、補助者に依存することなく診断のための解析を行うようにしてもよい。
【0052】
この場合、統計的な手法とは、例えば、過去に様々な被検者を対象として蓄積した力触覚情報や視覚情報といった統計的な情報に基づいて決定された、ルールベースで診断をするというものである。また、この場合、機械学習とは、例えば、上記のような過去の統計的な情報を入力とし、その際の診断結果を出力とした学習モデルを予め構築しておくというものである。この学習モデルに、現在診断対象としている被検者の情報を入力することで、診断をすることができる。すなわち、通信途絶して、スタンドアローンとなった状態であっても、操作者や補助者を支援することができる。
【0053】
以上、監視部311による通信品質の監視や、通信制御部312による通信態様の選択について説明をした。なお、これらの処理は、遠隔医療支援処理を実行する当初に行うだけでもよいし、その後に、通信品質が変動することも考慮して周期的に行うようにしてもよい。また、通信品質に基づいて自動的に通信態様を選択するのみならず、操作者や補助者の操作に応じて、手動で通信態様を選択するようにしてもよい。例えば、第1通信態様を選択していたが、通信品質が悪化してきて、操作者が遠隔操作に違和感を覚えた場合には、操作者が手動で第2通信態様等に切り替えるようにしてもよい。あるいは、対応可能な操作者が見つからない場合には第3通信態様とし、その後、対応可能な操作者が見つかった場合に、補助者が手動で第1通信態様等に切り替えるようにしてもよい。
また、通信態様に関する設定内容ついて、通信制御テーブルというテーブル形式で管理していたが、他のデータ形式で管理するようにしてもよい。
【0054】
このように、本実施形態によれば、通信品質が一定ではない様々な環境下であっても、その通信品質に応じた態様で、医療行為を伴う診断を支援することができる。
【0055】
図5に戻り、動作制御部313は、操作装置10が駆動する操作機構15と、作業装置20が駆動する作業機構25との間で力触覚を伝達する制御を行うことで、各機構の動作を制御する。
この制御を実現するために、第1通信態様等において通信制御部312は、制御を実現するための力触覚情報を取得する。例えば、通信制御部312は、位置センサ13,23からアクチュエータ12,22による駆動で移動される各機構の可動部の位置(具体的には、位置又は角度)を取得する。通信制御部312によって取得された位置等の物理量データは、力触覚伝達のアルゴリズムにおいて、操作装置10や作業装置20が駆動する各機構の動作の基準値として用いられる。
【0056】
図7は、動作制御部313の制御アルゴリズムを示すブロック図である。
図7に示すように、動作制御部313に実装されるアルゴリズムは、機能別力・速度割当変換ブロックFTと、理想力源ブロックFCと、理想速度(位置)源ブロックPCと、逆変換ブロックIFTとを含む制御則として表される。
図7に示す制御アルゴリズムは、本願の出願人を構成する慶應義塾が保有する特許権の特許公報(特許第6382203号公報)に記載されているものであり、当該特許公報に記載された各種制御アルゴリズムは、本実施形態においても適宜利用することができる。なお、本実施形態において、制御対象システムCSにおける、マスタ装置は操作装置10によって構成され、スレーブ装置は作業装置20によって構成される。
【0057】
機能別力・速度割当変換ブロックFTは、制御対象システムCSの機能に応じて設定される速度(位置)及び力の領域への制御エネルギーの変換を定義するブロックである。具体的には、機能別力・速度割当変換ブロックFTでは、制御対象システムCSの機能の基準となる値(基準値)と、アクチュエータ12,22による駆動で移動される各機構の可動部の現在位置(又は現在角度)とを入力とする座標変換が定義されている。この座標変換は、一般に、基準値及び現在位置(現在角度)を要素とする入力ベクトルを位置(角度)の制御目標値を算出するための位置(角度)からなる出力ベクトルに変換すると共に、基準値及び現在の力を要素とする入力ベクトルを力の制御目標値を算出するための力からなる出力ベクトルに変換するものである。
【0058】
機能別力・速度割当変換ブロックFTにおける座標変換を、力触覚の伝達機能を表す内容に設定することにより、操作装置10と作業装置20との間における力触覚の伝達機能を実現したり、力触覚を伝達する動作を、操作装置10を用いることなく作業装置20で再現したりすることができる。また、機能別力・速度割当変換ブロックFTにおける座標変換において、変換行列の要素に係数を設定することにより、位置(角度)あるいは力のスケーリングを行ったりすることができる。
【0059】
すなわち、本実施形態においては、機能別力・速度割当変換ブロックFTにおいて、アクチュエータ12,22による駆動で移動される各機構の可動部の単体の変数(実空間上の変数)を、力触覚伝達機能を表現するシステム全体の変数群(座標変換後の空間上の変数)に“変換”し、位置(角度)の制御エネルギーと力の制御エネルギーとに制御エネルギーを割り当てる。すなわち、機能別力・速度割当変換ブロックFTに設定される座標変換は、位置(角度)と力とが互いに関連する実空間の座標(斜交座標)を位置(角度)と力とが互いに独立した仮想空間の座標(直交座標)に変換するものである。そのため、アクチュエータ12,22による駆動で移動される各機構の可動部の単体の変数(実空間上の変数)のまま制御を行う場合と比較して、位置(角度)の制御エネルギーと力の制御エネルギーとを独立に与えること、すなわち、位置(角度)と力とを独立に制御することが可能となっている。
【0060】
本実施形態においては、例えば、操作装置10が出力する位置(角度)及び力を制御する場合、アクチュエータ12による駆動で移動される各機構の可動部の位置(角度)及びこれらの位置(角度)から算出される力の入力と、位置(角度)及び力の制御の基準となる基準値とにおいて、位置(角度)の差がゼロ、力の和がゼロ(逆向きに等しい力が出力される)となることを条件として、座標変換後の空間における状態値の演算を行うことができる。ただし、位置(角度)及び力の制御の基準となる基準値は、作業装置20におけるアクチュエータ22による駆動で移動される各機構の可動部の位置(角度)及びこれらの位置(角度)から算出される力である。
【0061】
同様に、本実施形態において、例えば、作業装置20が出力する位置(角度)及び力を制御する場合、アクチュエータ22による駆動で移動される各機構の可動部の位置(角度)及びこれらの位置(角度)から算出される力の入力と、位置(角度)及び力の制御の基準となる基準値とにおいて、位置(角度)の差がゼロ、力の和がゼロ(逆向きに等しい力が出力される)となることを条件として、座標変換後の空間における状態値の演算を行うことができる。ただし、位置(角度)及び力の制御の基準となる基準値は、操作装置10におけるアクチュエータ12による駆動で移動される各機構の可動部の位置(角度)及びこれらの位置(角度)から算出される力である。
【0062】
理想力源ブロックFCは、機能別力・速度割当変換ブロックFTによって定義された座標変換に従って、力の領域における演算を行うブロックである。理想力源ブロックFCにおいては、機能別力・速度割当変換ブロックFTによって定義された座標変換に基づく演算を行う際の力に関する目標値が設定されている。この目標値は、実現される機能に応じて固定値又は可変値として設定される。例えば、基準値が示す機能と同様の機能を実現する場合には、目標値としてゼロを設定したり、スケーリングを行う場合には、基準値が示す機能を表す情報を拡大・縮小した値を設定したりできる。また、理想力源ブロックFCは、力の領域における演算によって決定される力のエネルギーに対し、上限値を設定することができる。力のエネルギーの上限値を設定することで、例えば、作業装置20が、被検者に対して接触する際の接触力の制限を与えることとなり、作業機構25等が被検者の身体に過度に強く押し当てられることを抑制できる。
【0063】
理想速度(位置)源ブロックPCは、機能別力・速度割当変換ブロックFTによって定義された座標変換に従って、位置(角度)の領域における演算を行うブロックである。理想速度(位置)源ブロックPCにおいては、機能別力・速度割当変換ブロックFTによって定義された座標変換に基づく演算を行う際の位置(角度)に関する目標値が設定されている。この目標値は、実現される機能に応じて固定値又は可変値として設定される。例えば、基準値が示す機能と同様の機能を実現する場合には、目標値としてゼロを設定したり、スケーリングを行う場合には、再現する機能を示す情報を拡大・縮小した値を設定したりできる。また、理想速度(位置)源ブロックPCは、位置(角度)の領域における演算によって決定される力のエネルギーに対し、上限値を設定することができる。位置(角度)のエネルギーの上限値を設定することは、作業装置20が進退する距離の制限を与えることとなり、作業機構25等が被検者の身体に過度に強く押し当てられることを抑制できる。
【0064】
逆変換ブロックIFTは、位置(角度)及び力の領域の値を制御対象システムCSへの入力の領域の値(例えば、電圧値又は電流値等)に逆変換する(すなわち、実空間の指令値を決定する)ブロックである。
このような制御アルゴリズムの下、主制御装置30には、位置センサ13,23によって検出された時系列の位置(角度)の検出値が入力される。この時系列の位置(角度)の検出値は、アクチュエータ12,22の動作を表すものであり、主制御装置30は、入力された位置(角度)及びこれらの位置(角度)から導出された力に対して、力触覚を伝達する座標変換を適用する。
【0065】
図5に戻り、提示部314は、通信制御部312が作業側からネットワークNを介した通信で取得した各種情報を操作者に対して提示する。提示は、例えば、視覚情報や聴覚情報を、出力部706を介してディスプレイ30aから再生させることで実現される。作業者に対して、これら情報を再生することで、作業者の診断を支援することができる。
【0066】
履歴データ記憶部372は、通信制御部312が取得した各種情報等を履歴データとして記憶する。履歴データ記憶部372が記憶した履歴データは、医療行為に伴うログとして活用することができる。例えば、医療行為の成否や医療行為に要した時間を解析するために活用することができる。あるいは、遠隔操作による医療行為の経験が少ない操作者等に、遠隔操作の手順を教えるための教材等として活用することができる。
【0067】
図8は、副制御装置40の機能的構成を示すブロック図である。
上記の動作制御処理や遠隔医療支援処理が行われる場合、
図8に示すように、プロセッサ701において、通信制御部411と、データ蓄積部412と、解析部413と、提示部414と、が機能する。また、記憶部707には、通信制御テーブル記憶部471と、履歴データ記憶部472と、が形成される。
以下で特に言及しない場合も含め、これら機能ブロック間では、処理を実現するために必要なデータを、適切なタイミングで適宜送受信する。
【0068】
通信制御部411は、主制御装置30の通信制御部312に相当する部分である。通信制御部411は、主制御装置30の通信制御部312から選択すべき通信態様を通知される。この選択すべき通信態様は、主制御装置30の通信制御部312が選択した通信態様と同一の通信態様である。また、通信制御部411は、これに応じて通信態様を選択すると、通信制御テーブル記憶部471が記憶する通信制御テーブルに規定された内容で、主制御装置30の通信制御部312との間で力触覚情報や視覚情報や聴覚情報を送受信する。ただし、上述したように、通信態様によっては、これら情報の送受信は行われない。
【0069】
通信制御テーブル記憶部471は、通信制御テーブルを記憶する記憶部として機能する。通信制御テーブル記憶部471が記憶する通信制御テーブルは、通信制御テーブル記憶部371が記憶する通信制御テーブルと同一のものである。
【0070】
データ蓄積部412は、第2通信態様が選択された場合に機能し、送信すべき力触覚情報、視覚情報、及び聴覚情報の全てを時系列で作業装置20に蓄積する。すなわち、取得したこれらの情報そのもの(生データ)を蓄積してデータファイルとする。この場合、データ蓄積部412は、RAM703の記憶領域を利用して蓄積を行ってもよいし、記憶部707の記憶領域を利用して蓄積を行ってもよい。そして、通信制御部411は、周期的なタイミング等でこのデータファイルをまとめて送信する。これにより、操作者は、リアルタイムではなく、時間の誤差はあるものの、作業側で得られた各情報を感じることができ、これらの情報に基づいて診断を行うことができる。
【0071】
解析部413は、第3通信態様が選択された場合に機能し、作業装置20にて取得した力触覚情報や視覚情報を、統計的な手法や機械学習等によって解析する。これにより、補助者に依存することなく診断のための解析を行うことができる。なお、解析を行うための、統計的な手法や機械学習等の具体的な内容については、上述した通りである。
【0072】
提示部414は、データ蓄積部412が操作側からネットワークNを介した通信で取得した各種情報を補助者や被検者に対して提示する。また、提示部414は、解析部413による解析結果についても、補助者や被検者に対して提示する。提示は、例えば、視覚情報や聴覚情報を、出力部706を介してディスプレイ40aから再生させることで実現される。補助者や被検者に対して、これら情報を再生することで、補助者や被検者を支援することができる。
【0073】
履歴データ記憶部472は、データ蓄積部412が取得した各種情報等を履歴データとして記憶する。履歴データ記憶部472が記憶した履歴データは、医療行為に伴うログとして活用することができる点は、主制御装置30の履歴データ記憶部372が記憶した履歴データと同様である。
次に、遠隔医療支援システム1により行われる各処理の処理内容の詳細について説明をする。
【0074】
[動作制御処理]
図9は、遠隔医療支援システム1が実行する動作制御処理の流れを説明するフローチャートである。動作制御処理は、遠隔医療支援処理におけるサブルーチンとして実行される。
【0075】
ステップS1において、動作制御部313は、アクチュエータによる駆動で移動される対象となる機構の可動部の位置(角度)を取得する。本実施形態では、移動される対象となる機構は、操作機構15及び作業機構25である。この場合、動作制御部313は、これらの機構に対応する位置を、通信制御部312を介して、位置センサ13と、位置センサ23から取得する。
【0076】
ステップS2において、動作制御部313は、実空間の入力ベクトルを仮想空間のベクトルに変換する。
ステップS3において、動作制御部313は、速度(位置)の領域における演算及び力の領域における演算を実行する。
【0077】
ステップS4において、動作制御部313は、速度(位置)及び力の領域の値を制御対象システムCSへの入力の領域の値(実空間のベクトル)に逆変換する。
ステップS5において、動作制御部313は、アクチュエータ12及びアクチュエータ22の指令値を出力する。これにより本処理は、終了となる。ただし、第1通信態様が行われている限りは、本処理は継続的に行われることになる。すなわち、実際には、第1通信態様が行われている限りは、本処理のステップS1からステップS5は繰り返し行われる。
【0078】
以上説明した動作制御処理によれば、操作装置10が駆動する操作機構15と、作業装置20が駆動する作業機構25との間で、力触覚を伝達する制御(バイラテラル制御)を行うことで、各機構の動作を制御することができる。
【0079】
[遠隔医療支援処理]
図10は、遠隔医療支援システム1が実行する遠隔医療支援処理の流れを説明するフローチャートである。遠隔医療支援処理は、操作装置10や主制御装置30が、操作者や補助者といったユーザによる遠隔医療支援処理の開始指示操作を受け付けたことに伴い実行される。
【0080】
ステップS11において、監視部311は、主制御装置30と、副制御装置40がデータを送受信するために用いる通信経路の通信品質を監視する。
ステップS12において、通信制御部312は、監視部311が監視した通信品質に応じて、通信態様を選択する。
【0081】
ステップS13において、通信制御部312は、選択した通信態様が何れの通信態様であるか判定する。選択した通信態様が第1通信態様の場合は、ステップS13において「第1通信態様」と判定され、処理はステップS14に進む。また、選択した通信態様が第2通信態様の場合は、ステップS13において「第2通信態様」と判定され、処理はステップS17に進む。さらに、選択した通信態様が第3通信態様の場合は、ステップS13において「第3通信態様」と判定され、処理はステップS20に進む。
【0082】
ステップS14において、通信制御部312と、第1通信態様を選択したことを通知された通信制御部411とは、力触覚情報、視覚情報、及び聴覚情報の全てを時系列で、即時、且つ、双方向に送受信する。
ステップS15において、動作制御部313は、サブルーチンとして上述した動作制御処理を実行する。なお、この動作制御処理は、第1通信態様が行われる間、繰り返し実行される。
ステップS16において、提示部314及び提示部414は、視覚情報や聴覚情報といった各種の情報を提示する。
【0083】
ステップS17において、データ蓄積部412は、送信すべき力触覚情報、視覚情報、及び聴覚情報の全てを時系列で作業装置20に蓄積してデータファイルとする。
ステップS18において、通信制御部411は、蓄積したデータファイルをまとめて送信する。
ステップS19において、提示部314は、視覚情報や聴覚情報といった各種の情報を提示する。なお、この場合に、動作制御部313が受信した力触覚情報に基づいて、操作機構15を介して力触覚を操作者に伝達するようにしてもよい。
【0084】
ステップS20において、解析部413は、作業装置20にて取得した力触覚情報や視覚情報を、統計的な手法や機械学習等によって解析する。
ステップS21において、提示部414は、解析部413による解析結果を、補助者や被検者に対して提示する。
【0085】
ステップS22において、通信制御部312は、手動での通信態様の切り替え操作を受け付けたか否かを判定する。手動での通信態様の切り替え操作を受け付けた場合は、ステップS22においてYesと判定され、処理はステップS23に進む。一方で、手動での通信態様の切り替え操作を受け付けてない場合は、ステップS22においてNoと判定され、処理はステップS24に進む。
ステップS23において、通信制御部312は、受け付けた切り替え操作に応じて、通信態様を選択する。その後、処理はステップS13に戻り、選択されている通信態様に基づいた処理が継続する。
【0086】
ステップS24において、監視部311は、通信品質を再度監視するか否かを判定する。監視部311は、例えば、前回の監視から所定時間が経過したことや、操作者や補助者から再度の監視を指示する旨の操作を受け付けたことを条件に、通信品質を再度監視する。通信品質を再度監視する場合は、ステップS24においてYesと判定され、処理はステップS11に戻り、通信品質の再度の監視から繰り返される。一方で、通信品質を再度監視しない場合は、ステップS24においてNoと判定され、処理はステップS25に進む。
【0087】
ステップS25において、通信制御部312は、本処理を終了するか否かを判定する。例えば、操作者や補助者から本処理の終了を指示する旨の操作を受け付けたことを条件に、本処理は終了する。本処理は終了する場合は、ステップS25においてYesと判定され、本処理は終了する。一方で、本処理を終了しない場合は、ステップSにおいてNoと判定され、処理はステップS13に戻り、選択されている通信態様に基づいた処理が継続する。
【0088】
以上説明した、遠隔医療支援処理によれば、動作制御処理を利用して、操作者の遠隔医療支援作業における遠隔操作を支援することができる。
【0089】
このように、遠隔医療支援システム1では、操作機構15が受け付けた遠隔操作に応じて、作業機構25の動作を制御すると共に、作業機構25が被検者へ接触したことに応じて作業機構25に与えられた反力を、操作機構15を介して操作者に力触覚として伝達する。すなわち、操作機構15と、作業機構25との間で力触覚を伝達する制御(すなわち、バイラテラル制御)を行うことができる。これにより、操作者は、あたかも直接被検者に対面して医療行為を行う場合と同様に、力触覚に基づいて診断のための医療行為を行うことができる。これに加えて、提示部314は、作業機構側で取得された、医療行為に基づく診断を支援する支援情報を、操作者に提示する。そのため、操作者は、力触覚以外の他の感覚(例えば、視覚や聴覚)にも基づいて、診断のための医療行為を行うことができる。
つまり、遠隔医療支援システム1は、遠隔から診断を行う医療従事者に対して、多様な観点(例えば、触診、打診、視診、及び聴診)からの診断を可能としている。
従って、遠隔医療支援システム1によれば、遠隔から医療行為を伴う診断を行う場合に、より適切に診断を支援することができる。
【0090】
[変形例]
以上、本発明の実施形態について説明したが、この実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明は、本発明の要旨を逸脱しない範囲で、その他の様々な実施形態を取ることが可能である共に、省略及び置換等種々の変形を行うことができる。
【0091】
[変形例1]
上述した実施形態では、病院等の医療施設である操作側に操作者が存在し、救急車の車内等である作業側に補助者及び被検者が存在する状況を想定した。しかしながら、本発明の適用範囲は、これに限らず様々な状況に対して適用することができる。
例えば、操作側がある医療施設である場合に、作業側が被検者の自宅や他の医療施設であってもよい。あるいは、操作側がある医療施設である場合に、作業側が同じ医療施設の別室であってもよい。これにより、実行される医療行為の経験を積んだ医療従事者が、その医療施設に存在しない場合(例えば、専門とする診療科が異なる場合)や、経験を積んだ医療従事者の人数が不足している場合や、自宅診療を行う場合であっても、本発明を適用することが可能となる。
【0092】
また、ネットワークNを介した通信が可能であれば、操作側と作業側の離間している距離について制限はなく、例えば、操作側と作業側がそれぞれ国内の他の県に存在する場合や、国内と国外に存在するような場合にも、本発明を適用することができる。例えば、国内や国外において、災害等が発生した場合に、災害等が発生していない遠隔地からトリアージを行うようなことができる。
さらに、操作側と作業側は、一対一の関係で対応していてもよいが、一対多の関係で対応していてもよい。これにより、1人の操作者が並行して、あるいは時間をずらして、複数の被検者に対して医療行為を伴う診断を実行することができる。
【0093】
[変形例2]
上述した実施形態では、3つの通信態様を設けることを想定していたが、これに限られず、より多くの通信態様を段階的に設けてもよい。
この場合、例えば、第1通信態様をさらに段階的に区分し、通信品質が良好な場合には、動作制御部313の制御アルゴリズムにより実現できる上限の性能が発揮できるように、力触覚の伝達を行うようにする。その後、通信品質が多少悪化してきた場合には、作業装置20の動作を抑制すること(すなわち、力触覚の伝達を抑制すること)で、動作の安定化を図るようにする。例えば、動作制御部313の制御における制御ゲインを下げることで、力触覚を伝達する感度が低下するものの動作の安定化を図ることができる。また、これに代えて、例えば、作業装置20が想定外の動作をしないように、作業装置20の力や速度に制限をかけることや、作業装置20の動作を強制的に停止するようにしてもよい。
【0094】
また、他にも、例えば第1通信態様や第2通信態様をさらに区分して、通信品質が低下してきた場合には、通信量を低下させるために力触覚情報はリアルタイムに伝達するが、視覚情報や聴覚情報についてはデータファイルとして、遅れて送信する等の方法をとるようにしてもよい。
【0095】
さらに、他にも、第1通信態様や第2通信態様であっても、操作者の診断の一助となるように、解析部413が解析を行って、この解析結果を操作者に対して提示するようにしてもよい。あるいは、操作側の主制御装置30にも、解析部413と同様の機能ブロックを設け、操作側においても解析を行うようにしてもよい。
【0096】
[変形例3]
上述した実施形態では、操作装置10と、主制御装置30とを異なる装置として実現していた。これに限らず、例えば、操作装置10と、主制御装置30とを一体の装置として実現して、操作側に設置するようにしてもよい。
あるいは、作業装置20と、主制御装置30とを一体の装置として実現して、作業側に設置するようにしてもよい。
【0097】
あるいは、主制御装置30の動作制御部313が行っていた力触覚の伝達の制御を、操作装置10と、作業装置20とで、それぞれ分散して行うようにしてもよい。この場合、各装置に動作制御用の機能ブロックを追加する。そして、各装置の動作制御用の機能ブロックは、自装置のセンサでの検出値と他装置のセンサでの検出値とを取得した上で、上述した主制御装置30と同様の制御アルゴリズムに基づいて、自装置のドライバに対して指令値を出力する。このようにして、他装置との間での力触覚の伝達を実現するようにしてもよい。
なお、上述した変形例1~変形例3については、これらを適宜組み合わせて、別途の変形例とすることも可能である。
【0098】
[構成例]
以上のように、本実施形態に係る遠隔医療支援システム1は、作業機構25と、操作機構15と、動作制御部313と、提示部314と、を備える。
作業機構25は、被検者への触診を含む医療行為を行うための機構である。
操作機構15は、作業機構25に対する遠隔操作を操作者から受け付ける機構である。
動作制御部313は、操作機構15が受け付けた遠隔操作に応じて、作業機構25の動作を制御すると共に、作業機構25が被検者へ接触したことに応じて作業機構25に与えられた反力を、操作機構15を介して操作者に力触覚として伝達する。
提示部314は、作業機構側で取得された、医療行為に基づく診断を支援する支援情報を、操作者に提示する。
このように、遠隔医療支援システム1では、操作機構15が受け付けた遠隔操作に応じて、作業機構25の動作を制御すると共に、作業機構25が被検者へ接触したことに応じて作業機構25に与えられた反力を、操作機構15を介して操作者に力触覚として伝達する。すなわち、操作機構15と、作業機構25との間で力触覚を伝達する制御(すなわち、バイラテラル制御)を行うことができる。これにより、操作者は、あたかも直接被検者に対面して医療行為を行う場合と同様に、力触覚に基づいて診断のための医療行為を行うことができる。これに加えて、提示部314は、作業機構側で取得された、医療行為に基づく診断を支援する支援情報を、操作者に提示する。そのため、操作者は、力触覚以外の他の感覚(例えば、視覚や聴覚)にも基づいて、診断のための医療行為を行うことができる。
つまり、遠隔医療支援システム1は、遠隔から診断を行う医療従事者に対して、多様な観点(例えば、触診、打診、視診、及び聴診)からの診断を可能としている。
従って、遠隔医療支援システム1によれば、遠隔から医療行為を伴う診断を行う場合に、より適切に診断を支援することができる。
【0099】
遠隔医療支援システム1は、監視部311と、通信制御部312と、をさらに備える。
監視部311は、動作制御部313及び提示部314がデータを送受信するために用いる通信経路の通信品質を監視する。
通信制御部312は、監視部311が監視した通信品質に応じて、データを送受信する態様を異ならせる。
これにより、通信品質が一定ではない様々な環境下であっても、その通信品質に応じた態様でデータを送受信することができる。
【0100】
通信制御部312は、
監視部311が監視した通信品質が、予め定められた通信品質を満たしている場合には、データを時系列で即時に送受信する態様とし、
監視部311が監視した通信品質が、予め定められた通信品質を満たしていない場合には、データを時系列で蓄積してから、該蓄積したデータをまとめて送受信する態様とする。
これにより、通信品質に応じて最適な手段で、データを送受信することができる。
【0101】
遠隔医療支援システム1は、提示部414をさらに備える。
提示部414は、監視部311が監視した通信品質が、通信の実行が困難な通信品質の場合に、作業機構25に与えられた反力及び支援情報の何れか又は双方に基づいて、医療行為に基づく診断に関する解析を行い、該解析結果を、作業機構側に提示する。
これにより、通信の実行が困難な状況であっても、作業機構側のユーザ(例えば、補助者)を支援することができる。
【0102】
動作制御部313は、
監視部311が監視した通信品質が、予め定められた通信品質を満たしていない場合には、操作機構15が受け付けた遠隔操作に応じた作業機構25の動作を抑制する。
これにより、通信品質の影響を抑制し、作業機構25が想定外の動作をすることを防止的できる。
【0103】
作業機構25には、被検者の状態を測定するための測定機器が装着され、
支援情報には、測定機器による測定結果を示す情報が少なくとも含まれる。
これにより、遠隔操作を行う操作者は、測定機器の測定結果を得られるのみならず、測定が適切に実行できるように測定機器を遠隔操作できているのかを認識することができる。
【0104】
動作制御部313は、
操作機構15が操作者から受け付けた遠隔操作に代えて、作業機構25が他の操作者から直接受け付けた操作に応じて、作業機構25の動作を制御すると共に、作業機構25が被検者へ接触したことに応じて作業機構25に与えられた反力を、操作機構15を介して操作者に力触覚として伝達する。
これにより、遠隔操作が困難な場合等であっても、操作者は、実際に被検者に触れた際の力触覚に基づいて診断を行うことができる。
【0105】
[ハードウェアやソフトウェアによる機能の実現]
上述した実施形態による一連の処理を実行させる機能は、ハードウェアにより実現することもできるし、ソフトウェアにより実現することもできるし、これらの組み合わせにより実現することもできる。換言すると、上述した一連の処理を実行する機能が、遠隔医療支援システム1の何れかにおいて実現されていれば足り、この機能をどのような態様で実現するのかについては、特に限定されない。
【0106】
例えば、上述した一連の処理を実行する機能を、演算処理を実行するプロセッサによって実現する場合、この演算処理を実行するプロセッサは、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)又はFPGA(Field-Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
【0107】
また、例えば、上述した一連の処理を実行する機能を、ソフトウェアにより実現する場合、そのソフトウェアを構成するプログラムは、ネットワーク又は記録媒体を介してコンピュータにインストールされる。この場合、コンピュータは、専用のハードウェアが組み込まれているコンピュータであってもよいし、プログラムをインストールすることで所定の機能を実行することが可能な汎用のコンピュータ(例えば、汎用のパーソナルコンピュータ等の電子機器一般)であってもよい。また、プログラムを記述するステップは、その順序に沿って時系列的に行われる処理のみを含んでいてもよいが、並列的あるいは個別に実行される処理を含んでいてもよい。また、プログラムを記述するステップは、本発明の要旨を逸脱しない範囲内において、任意の順番に実行されてよい。
【0108】
このようなプログラムを記録した記録媒体は、コンピュータ本体とは別に配布されることによりユーザに提供されてもよく、コンピュータ本体に予め組み込まれた状態でユーザに提供されてもよい。この場合、コンピュータ本体とは別に配布される記憶媒体は、例えば、リムーバブルメディア750であって、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)、あるいはBlu-ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、例えば、MD(Mini Disc)等により構成される。また、コンピュータ本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている記憶部707であって、HDD(hard disk drive)やSSD(Solid State Drive)により構成される。
【符号の説明】
【0109】
1 遠隔医療支援システム、10 操作装置、11,21 ドライバ、12,22 アクチュエータ、13,23 位置センサ、14,24,708 通信部、15 操作機構、20 作業装置、25 作業機構、311 監視部、312,411 通信制御部、313 動作制御部、314,414 提示部、371,471 通信制御テーブル記憶部、372,472 履歴データ記憶部、412 データ蓄積部、413 解析部、700 ハードウェア構成、700 制御装置、701 プロセッサ、702 ROM、703 RAM、704 バス、705 入力部、706 出力部、707 記憶部、709 ドライブ、750 リムーバブルメディア、CS 制御対象システム、FT 力・速度割当変換ブロック、FC 理想力源ブロック、PC 理想速度(位置)源ブロック、IFT 逆変換ブロック