(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-03
(45)【発行日】2023-08-14
(54)【発明の名称】手術支援ロボットの遠隔支援方法、および遠隔支援システム
(51)【国際特許分類】
G16H 40/67 20180101AFI20230804BHJP
A61B 34/35 20160101ALI20230804BHJP
【FI】
G16H40/67
A61B34/35
(21)【出願番号】P 2018190527
(22)【出願日】2018-10-06
【審査請求日】2021-08-19
(73)【特許権者】
【識別番号】390014960
【氏名又は名称】シスメックス株式会社
(73)【特許権者】
【識別番号】514063179
【氏名又は名称】株式会社メディカロイド
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】大橋 政尚
(72)【発明者】
【氏名】須藤 武彦
(72)【発明者】
【氏名】伊藤 翔子
(72)【発明者】
【氏名】井田 城太
(72)【発明者】
【氏名】福田 泰之
【審査官】吉田 誠
(56)【参考文献】
【文献】特開2017-104456(JP,A)
【文献】特開2003-022326(JP,A)
【文献】Q&A48 一気にわかる Linuxカーネル,日経Linux 第17巻 第11号,日本,日経BP社 Nikkei Business Publications,Inc.,2015年10月08日,第17巻第11号,第34頁
(58)【調査した分野】(Int.Cl.,DB名)
G16H 10/00-80/00
A61B 34/35
(57)【特許請求の範囲】
【請求項1】
手術支援ロボットの遠隔支援業務を行うため
のサーバ装置にて、
医療スタッフの操作により前記手術支援ロボットおよび
前記手術支援ロボットが設置された施設で使用される第1端末装置の少なくとも1つから送信された、
前記サーバ装置と前記手術支援ロボットおよび前記第1端末装置の少なくとも一つとの間、および、前記サーバ装置と前記遠隔支援業務を行うための第2端末装置との間の双方向通信を要求するリクエストを受信することにより、所定のイベントを検出し、
前記所定のイベントが検出されると、
前記サーバ装置から前記第2端末装置に対して前記双方向通信の可否についての問合せを送信し、
前記サーバ装置にて、前記遠隔支援業務を行うサービス員の操作に応じて前記第2端末装置から送信される前記双方向通信を許可する応答を受信した場合、前記双方向通信を確立する処理を行い、
前記サーバ装置から
、前記双方向通信が確立された前記手術支援ロボットおよび前記
第1端末装置の少なくとも1つ
と前記第2端末装置とのいずれか一方にて入力され前記サーバ装置に送信された音声、画像、およびテキストの少なくとも1つを
、他方へ配信する、手術支援ロボットの遠隔支援方法。
【請求項2】
前記手術支援ロボットが撮影した画像を含む前記
手術支援ロボットの稼働に関する稼働情報を前記サーバ装置にて受信する、請求項1に記載の手術支援ロボットの遠隔支援方法。
【請求項3】
前記手術支援ロボットが設置された居室内を撮影するカメラが撮影した画像を前記サーバ装置にてさらに受信する、請求項1または2に記載の手術支援ロボットの遠隔支援方法。
【請求項4】
前記受信した画像に重畳表示させるデータを前記サーバ装置にて受信する、請求項2または3に記載の手術支援ロボットの遠隔支援方法。
【請求項5】
前記所定のイベントが検出された後、前記サーバ装置から前記手術支援ロボットおよび前記
第1端末装置の少なくとも1つに対して、前記データが重畳表示された画像を配信する、請求項4に記載の手術支援ロボットの遠隔支援方法。
【請求項6】
前記サーバ装置は、前記
手術支援ロボットの稼働に関する稼働情報に基づき前記所定のイベントを検出する、請求項1から5のいずれか1項に記載の手術支援ロボットの遠隔支援方法。
【請求項7】
前記サーバ装置は、前記受信した画像に基づき前記所定のイベントを検出する、請求項2から5のいずれか1項に記載の手術支援ロボットの遠隔支援方法。
【請求項8】
手術支援ロボットの遠隔支援業務を行うためのサーバ装置と、
前記サーバ装置からの情報を受信するために前記サーバ装置と通信する通信制御装置と、を備え、
前記サーバ装置は、
医療スタッフの操作により前記手術支援ロボットおよび前記手術支援ロボットが設置された施設で使用される第1端末装置の少なくとも1つから送信された、前記サーバ装置と前記手術支援ロボットおよび前記第1端末装置の少なくとも一つとの間、および、前記サーバ装置と前記遠隔支援業務を行うための第2端末装置との間の双方向通信を要求するリクエストを受信することにより所定のイベントを検出すると、
前記第2端末装置に対して双方向通信の可否についての問合せを送信し、前記遠隔支援業務を行うサービス員の操作に応じて前記第2端末装置から送信される前記双方向通信を許可する応答を受信した場合、前記双方向通信を確立する処理を行
う、
遠隔支援システム。
【請求項9】
前記サーバ装置は、前記手術支援ロボットの複数と通信接続される、請求項8に記載の遠隔支援システム。
【請求項10】
前記手術支援ロボットは、内視鏡が取り付けられた第1マニピュレータと手術器具が取り付けられた第2マニピュレータとを有する患者側装置、および、前記第1マニピュレータおよび前記第2マニピュレータを遠隔操作する遠隔操作装置を備え、
前記患者側装置および前記遠隔操作装置の少なくとも1つは、前記通信制御装置と通信可能に接続されている、請求項8または9に記載の遠隔支援システム。
【請求項11】
前記手術支援ロボットは、内視鏡が取り付けられた第1マニピュレータを有する第1患者側装置、手術器具が取り付けられた第2マニピュレータを有する第2患者側装置、および、前記第1マニピュレータおよび前記第2マニピュレータを遠隔操作する遠隔操作装置を備え、
前記第1患者側装置、前記第2患者側装置、および前記遠隔操作装置の少なくとも1つは、前記通信制御装置と通信可能に接続されている、請求項8または9に記載の遠隔支援システム。
【請求項12】
前記手術支援ロボットは、さらに前記内視鏡が撮影した画像に画像処理を施す画像処理装置を備え、
前記画像処理装置は、前記サーバ装置と通信可能に接続され、
前記サーバ装置は、前記サーバ装置と前記第2端末装置と
の間、および、前記サーバ装置と前記画像処理装置との間に
前記双方向通信を確立する処理
を行う、請求項10または11に記載の遠隔支援システム。
【請求項13】
前記手術支援ロボットは、患者を載置する天板と前記天板を移動させるためのマニピュレータとを有するロボット手術台、および、前記ロボット手術台を操作するための操作装置を備え、
前記ロボット手術台、前記操作装置、および前記第1端末装置の少なくとも1つは、前記サーバ装置と通信可能に接続され、
前記サーバ装置は、前記サーバ装置と前記第2端末装置と
の間、並びに、
前記サーバ装置と前記ロボット手術台、前記操作装置、および前記第1端末装置の少なくとも1つとの間に
前記双方向通信を確立する処理
を行う、請求項8または9に記載の遠隔支援システム。
【請求項14】
前記手術支援ロボットは、前記手術支援ロボットと通信可能に接続される操作部、または、前記手術支援ロボットに設けられた操作部に対する所定操作を契機として、前記リクエストを前記サーバ装置に送信する、請求項8に記載の遠隔支援システム。
【請求項15】
前記サーバ装置は、
前記双方向通信が確立した前記手術支援ロボットおよび前記第1端末装置の少なくとも1つと前記第2端末装置とのいずれかにて入力され前記サーバ装置に送信された音声、画像、およびテキストの少なくとも1つを、他方へ配信するように構成されている、請求項8に記載の遠隔支援システム。
【請求項16】
前記サーバ装置は、前記手術支援ロボットが設置された居室の状況を撮影する撮影装置にて撮影された画像を受信し、
前記サーバ装置と前記手術支援ロボットおよび前記第1端末装置の少なくとも一つとの間、および、前記サーバ装置と前記第2端末装置との間に双方向通信が確立したときに、前記受信した画像を少なくとも前記第2端末装置に配信するように構成されている、請求項8から15のいずれか1項に記載の遠隔支援システム。
【請求項17】
前記
通信制御装置は、前記撮影装置にて撮影された画像を前記サーバ装置に送信
し、
前記通信制御装置は、当該画像に人物を特定できる特定可能情報が映っているか否かを検査し、前記特定可能情報が映っている場合は、前記画像に対して前記特定可能情報を視覚的に不明瞭化する画像処理を施した画像を前記サーバ装置に送信するように構成されている、請求項16に記載の遠隔支援システム。
【請求項18】
前記
通信制御装置は、通信ネットワークと通信可能に接続され、前記撮影装置にて撮影された画像を前記サーバ装置に送信
し、
前記通信制御装置は、前記通信ネットワークの通信負荷を監視し、前記通信負荷に応じて前記画像のフレームレートを調整するように構成されている、請求項16に記載の遠隔支援システム。
【請求項19】
前記サーバ装置は、前記手術支援ロボットに取り付けられた内視鏡にて撮影された画像を受信し、
前記サーバ装置と前記手術支援ロボットおよび前記第1端末装置の少なくとも一つとの間、および、前記サーバ装置と前記第2端末装置との間に双方向通信が確立したときに、前記受信した画像を少なくとも前記第2端末装置に配信する、請求項8または9に記載の遠隔支援システム。
【請求項20】
前記サーバ装置は、
前記サーバ装置と前記手術支援ロボットおよび前記第1端末装置の少なくとも一つとの間、および、前記サーバ装置と前記第2端末装置との間に双方向通信が確立したときに、前記手術支援ロボットが設置された居室の状況を撮影するカメラにて撮影された画像、および、前記手術支援ロボットに取り付けられた内視鏡にて撮影された画像の両方を、少なくとも前記第2端末装置に配信するように構成されている、請求項8から15のいずれか1項に記載の遠隔支援システム。
【請求項21】
前記第2端末装置は、前記サーバ装置から配信された前記画像の両方を同時にモニタに表示する、請求項20に記載の遠隔支援システム。
【請求項22】
前記サーバ装置は、
前記双方向通信が確立した前記第2端末装置に前記画像を配信している場合において、当該第2端末装置にて当該画像に重畳表示させるデータが入力されたとき、当該データを前記手術支援ロボットおよび前記第1端末装置の少なくとも1つへ配信する、請求項18から21のいずれか1項に記載の遠隔支援システム。
【請求項23】
前記サーバ装置は、前記
手術支援ロボットの稼働に関する稼働情報を記憶装置に格納するデータ格納部を備え、
前記第1端末装置または前記第2端末装置からの要求に対する応答として、該要求に応じて前記記憶装置から読み出した前記稼働情報を要求元に送信するデータ提供部を備える、請求項8から22のいずれか1項に記載の遠隔支援システム。
【請求項24】
前記データ提供部は、前記読み出した前記稼働情報にエラーが含まれる場合、該エラーに関する通知を前記要求元に送信する、請求項23に記載の遠隔支援システム。
【請求項25】
前記第1端末装置および前記第2端末装置は、パーソナルコンピュータ、タブレット端末、およびスマートフォンのいずれかである、請求項8から24のいずれか1項に記載の遠隔支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、手術支援ロボットの遠隔支援方法等に関する。
【背景技術】
【0002】
近年、腹腔鏡などの手術において手術支援ロボットが用いられており、手術支援ロボットに対する緻密なサポートを行う必要性が増している。特許文献1には、予防保守のために医療用ロボットを監視する方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許出願公開第2012/0330613号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に開示された方法を含む従来手法による手術支援ロボットに対する遠隔支援では、手術支援ロボットの稼働状況に関するログデータ(テキストデータ)をリモートサーバにて収集し、解析する。手術支援ロボットにトラブルが発生した場合、コールセンタの担当者は医療機関から電話連絡を受け、手術支援ロボットのログデータの解析結果を見ながらトラブルの詳細を把握するようにしている。しかしながら、トラブルの詳細の把握ができない場合があり、その場合にはサービス員Sが現場(例えば手術支援ロボットが設置されている手術室)に立ち会わなければならないことがある。この場合、トラブルの発生から解消までに時間を要することから、迅速性の観点で問題があった。
【0005】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、手術支援ロボットを用いた手術等を行う現場に対し、短時間でトラブルの詳細を把握することができ迅速に且つ適切な遠隔支援を行うことができる遠隔支援方法および遠隔支援システムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の一態様に係る手術支援ロボットの遠隔支援方法は、手術支援ロボット(20)の稼働に関する稼働情報を、手術支援ロボット(20)の遠隔支援業務を行うためのサーバ装置(40)にて受信し、所定のイベントが検出されると、サーバ装置(40)から手術支援ロボット(20)および端末装置(25)の少なくとも1つに対して、音声、画像、およびテキストの少なくとも1つを配信する。
【0007】
また、本発明の別の態様に係る手術支援ロボットの遠隔支援方法は、手術支援ロボット(20)および手術支援ロボット(20)が設置された居室内を撮影するカメラ(24)の少なくとも1つが撮影した画像のフレームレートを調整し、フレームレートが調整された前記画像を、手術支援ロボット(20)の遠隔支援業務を行うためのサーバ装置(40)に送信する。
【0008】
また、本発明の別の態様に係る手術支援ロボットの遠隔支援方法は、手術支援ロボット(20)および手術支援ロボット(20)が設置された居室内を撮影するカメラ(24)の少なくとも1つが撮影した画像に対して、人物を特定できる特定情報を視覚的に不明瞭化する画像処理を施し、前記画像処理が施された画像を手術支援ロボット(20)の遠隔支援業務を行うためのサーバ装置(40)に送信する。
【0009】
また、本発明の別の態様に係る遠隔支援システムは、手術支援ロボット(20)の遠隔支援業務を行うためのサーバ装置(40)と、手術支援ロボット(20)の稼働に関する稼働情報をサーバ装置(40)に送信するとともにサーバ装置(40)からの情報を受信するためにサーバ装置(40)と通信する通信制御装置(261)と、を備え、サーバ装置(40)は、前記所定のイベントを検出すると、手術支援ロボット(20)および手術支援ロボット(20)が設置された施設で使用される第1端末装置(25)の少なくとも一つと、手術支援ロボット(20)の遠隔支援業務を行うための第2端末装置(42)との間に双方向通信を確立する処理を行う。
【発明の効果】
【0010】
本発明によれば、手術支援ロボットを用いた手術等を行う現場に対し、短時間でトラブルの詳細を把握することができ迅速に且つ適切な遠隔支援を行うことができる。
【図面の簡単な説明】
【0011】
【
図1】実施形態1に係る遠隔支援方法を実現する遠隔支援システムを含む構成を示す図である。
【
図2】実施形態1に係る遠隔支援方法において双方向通信が可能となるまでの処理の流れの概要を示す図である。
【
図3】手術支援ロボットを構成する、患者側装置、遠隔操作装置、画像処理装置、およびシステム連携装置の概略を示す図である。
【
図5】データ取得部が行う処理の概要を示す図である。
【
図6】データ加工部が行う処理の概要を示す図である。
【
図7】データ送信部が行う処理の概要を示す図である。
【
図9】データ格納部が行う処理の概要を示す図である。
【
図10】通信制御部による双方向通信の確立処理の概要を示す図である。
【
図11】ネットワークカメラにて撮影した画像に異常事態を検出したことにより双方向通信が確立された端末装置にて入力されたデータが配信される処理の流れの一例を示す図である。
【
図12】端末装置間に双方向通信が確立された状態で画像の配信が行われる処理の流れの一例を示す図である。
【
図13】データ提供部が行う処理の概要を示す図である。
【
図14】データ解析部が行う処理の概要を示す図である。
【
図15】コールセンタの端末装置の表示画面の一例を示す模式図である。
【
図16】医療関連施設の端末装置の表示画面の一例を示す模式図である。
【
図17】
図15および
図16に示した表示画面にデータが重畳表示された状態の一例を示す模式図である。
【
図18】実施形態2に係る遠隔支援方法を実現する構成要素の概略構成を示す図である。
【
図19】実施形態3に係る手術支援ロボットの概略を示す図である。
【
図20】実施形態4に係る手術支援ロボットの概略を示す図である。
【発明を実施するための形態】
【0012】
〔実施形態1〕
本発明の一実施形態について、
図1~
図10に基づいて説明すると以下のとおりである。
【0013】
図1および
図2を参照しながら、本実施形態について説明する。手術支援ロボット20を用いる手術やトレーニングが行われる病院や医療研究機関等である医療関連施設2に対して遠隔支援業務を行うコールセンタ4の従業員(以下では「サービス員S」と称する)が、医療関連施設2の医師や医療従事者(以下では「医療スタッフM」と称する)を迅速に且つ適切に遠隔支援する。
【0014】
コールセンタ4は、複数の医療関連施設2に対する遠隔支援業務を行うことを想定しており、
図1では、複数の医療関連施設2の各々を医療関連施設2A、医療関連施設2B、・・・と表記している。医療関連施設2A、医療関連施設2B、・・・、を区別しないときは単に医療関連施設2と称する。
【0015】
本実施形態の主な特徴は、通常時においては、医療関連施設2の手術支援ロボット20の稼働情報(後述する)およびネットワークカメラ24が撮影した画像の少なくとも1つがコールセンタ4のサーバ装置40へ送信されるという一方向の通信のみが行われているところ、所定のイベント(後述する)が発生したときは、コールセンタ4の端末装置25と、医療関連施設2の装置(手術支援ロボット20、端末装置25、ネットワークカメラ24の少なくとも1つ)との間で双方向通信が可能となることにある。
【0016】
図2を参照しながら、双方向通信が可能となるまでの処理の流れについて説明する。まず、通常時においては、手術支援ロボット20の稼働情報は通信制御装置261を介してサーバ装置40へ送信され、記憶装置41に格納される(S11~S13)。同様に、ネットワークカメラ24が撮影した画像は通信制御装置261を介してサーバ装置40へ送信され、記憶装置41に格納される(S14~S16)。
【0017】
次に、イベントの一例として、手術支援ロボット20にて医療スタッフMから双方向通信を要求する操作を受け付けると(S17)、双方向通信の確立を要求するリクエストが手術支援ロボット20から通信制御装置261を介してサーバ装置40へ送信される(S18~S19)。サーバ装置40にてリクエストが受信されると(S20)、サーバ装置40からコールセンタ4の端末装置42に対して、双方向通信の可否についての問合せが送信される(S21)。端末装置42では、受信した問合せをモニタに出力する(S22)。端末装置42を使用するサービス員Sから問合せに対する応答が入力されると、端末装置42はサーバ装置40へ応答を送信する(S23~S24)。双方向通信を許可する応答であった場合(S25にてYES)、サーバ装置40は、リクエストを送信した手術支援ロボット20に対して、双方向通信が許可された旨の通知(以下では「許可通知」と称する)を送信する(S26~S28)。このように、双方向通信の確立を要求するリクエストを送信し(S18)、その応答として許可通知を受信した段階で(S28)、双方向通信が確立される。
【0018】
双方向通信が確立された以後は、端末装置42にて入力されサーバ装置40に送信されたデータ(例えば、音声、画像、およびテキストの少なくとも1つ)が、サーバ装置40および通信制御装置261を介して手術支援ロボット20に送信される(S29~S32)。また、双方向通信が確立されている期間にサーバ装置40が受信したデータは、双方向通信時のログとして、記憶装置41に格納される(S33)。
【0019】
なお、
図2では、手術支援ロボット20にて双方向通信を要求する操作を受け付け、その結果、手術支援ロボット20と端末装置42との間で双方向通信が確立される例を示したが、端末装置25にて双方向通信を要求する操作を受け付けた場合は、同様の処理を経て、端末装置25と端末装置42との間で双方向通信が確立される。
【0020】
次に、
図1、
図3~
図14を参照しながら、本実施形態に係る遠隔支援方法を実現する構成要素の各々について説明する。
【0021】
〔医療関連施設2〕
医療関連施設2内にはLAN(local area network)(以下では「施設内LAN」と称する)が配設されている。施設内LANは外部ネットワーク3と通信可能に接続されている。施設内LANには、手術支援ロボット20、端末装置25、ネットワークカメラ24、および通信制御装置261が通信可能に接続されている。なお、通信制御装置261はネットワークサービスシステム26を構成する主要装置である。
【0022】
〔手術支援ロボット20〕
手術支援ロボット20は医療関連施設2の手術室(居室)内に設置される。手術支援ロボット20は、医療器具が取り付けられた患者側装置21、患者側装置21に取り付けられた医療器具を遠隔操作する遠隔操作装置22、および、医療器具の一つである内視鏡201bが撮影した画像を処理する画像処理装置23を備えるとともに、患者側装置21、遠隔操作装置22、および画像処理装置23と、通信制御装置261との通信を仲介するシステム連携装置27を備えている。
【0023】
患者側装置21によって実行されるべき動作指令が医療スタッフMにより遠隔操作装置22に入力されると、遠隔操作装置22は、患者側装置21のコントローラ206に動作指令を送信する。コントローラ206は患者側装置21の動作制御を行うコンピュータである。そして、患者側装置21は、遠隔操作装置22から送信された動作指令に応答して、複数の手術マニピュレータ201にそれぞれ把持された手術器具および内視鏡等の医療器具を操作する。これにより、低侵襲手術が行なわれる。
【0024】
患者側装置21は、患者Pが横たわる手術台300の傍らに配置される。患者側装置21が有する手術マニピュレータ201のうちの1つ(第1マニピュレータ)が内視鏡201bを把持し、その他の手術マニピュレータ201(第2マニピュレータ)が手術器具であるインストゥルメント201aを把持する。インストゥルメント201aを把持する手術マニピュレータ201がインストゥルメントアーム201Aとして機能し、内視鏡201bを把持する手術マニピュレータ201がカメラアーム201Bとして機能する。各インストゥルメントアーム201Aおよびカメラアーム201Bは、プラットホーム203に支持されている。複数の手術マニピュレータ201は複数の関節を有し、それぞれの関節には、サーボモータを含む駆動部と、エンコーダ等の位置検出器とが設けられている。手術マニピュレータ201は、コントローラ206を介して与えられた駆動信号により手術マニピュレータ201に取り付けられた医療器具が所望の動作を行うように制御されるように構成されている。
プラットホーム203は、手術支援ロボット20が設置される居室(典型的には手術室)の床に載置されたポジショナ202に支持されている。ポジショナ202は、患者Pが横たわる手術台300に対して位置決めされた後、プラットホーム203および複数の手術マニピュレータ201を、手術準備を行う位置に移動させるように構成されている。患者側装置21に設けられたタッチパネル207から入力することによりポジショナ202、プラットホーム203および手術マニピュレータ201の移動が行われる。
【0025】
インストゥルメントアーム201Aには、その先端部にインストゥルメント201aが着脱可能に取り付けられる。インストゥルメント201aは、インストゥルメントアーム201Aに取り付けられるハウジングと細長形状のシャフトの先端部に設けられたエンドエフェクタを備えている。エンドエフェクタとして、例えば、把持鉗子、シザーズ、フック、高周波ナイフ、スネアワイヤ、クランプ、ステイプラーが挙げられるが、これらに限られるものではなく、各種の処置具を適用することができる。インストゥルメントアーム201Aは、患者Pの体表に留置したトロカーを介して患者Pの体内に導入され、インストゥルメント201aのエンドエフェクタが手術部位の近傍に配置される。
【0026】
カメラアーム201Bには、その先端部に内視鏡201bが着脱可能に取り付けられる。カメラアーム201Bは、患者Pの体表に留置したトロカーを介して患者Pの体内に導入され、これにより内視鏡201bが手術部位の近傍に配置され、患者Pの体腔内を撮影する。内視鏡201bが撮影した画像は、画像処理装置23により画像処理が施されたうえで、遠隔操作装置22のモニタ221に表示される。医療スタッフMはモニタ221に表示される画像を見ながら動作指令を遠隔操作装置22に入力する。
【0027】
また、内視鏡201bが撮影した画像は、画像処理装置23により画像処理が施されたうえで、システム連携装置27から通信制御装置261を介してサーバ装置40に送信される。後述するとおり、サーバ装置40に送信するにあたり、個人情報保護の観点から、通信制御装置261にて画像領域の一部をマスクする画像処理を施したり、必要に応じて送信を制限できることが好ましい。
【0028】
また、内視鏡201bが撮影した画像は、画像処理装置23により画像処理が施されたうえで、画像処理装置23に接続されたモニタ231に表示されてもよい。これにより、遠隔操作装置22を操作していない医療スタッフMも内視鏡201bが撮影した画像を見ることができる。
【0029】
遠隔操作装置22は、手術マニピュレータ201に取り付けられた医療器具を医療スタッフMが操作するための装置である。遠隔操作装置22は、操作ハンドル233と、操作ペダル部234と、モニタ221が設けられている。操作ハンドル233は、手術マニピュレータ201が支持する医療器具を医療スタッフMが遠隔操作するために設けられている。操作ハンドル233は、医療スタッフMの右手で操作される右手用ハンドルおよび左手で操作される左手用ハンドルから構成される。例えば、右手用ハンドルでインストゥルメントアーム201Aのインストゥルメント201aを操作し、左手用ハンドルで別のインストゥルメントアーム201Aのインストゥルメント201aを操作することができる。操作ペダル部234には複数の操作ペダルが設けられており、右手ハンドルで操作されているインストゥルメント201aの機能を実行する操作ペダル、左手ハンドルで操作されているインストゥルメント201aの機能を実行する操作ペダル、カメラアーム201Bを操作ハンドルで操作するための操作ペダルなどが設けられている。すなわち、遠隔操作装置22は、医療スタッフMによって操作ハンドル233および操作ペダル部234を用いて入力された、インストゥルメント201aおよび内視鏡201bによって実行されるべき動作指令を、患者側装置21のコントローラ206へ送信可能に構成されている。
【0030】
システム連携装置27はコンピュータであり、コンピュータが通常有する機能を具備している。システム連携装置27は施設内LANと通信可能に接続している。システム連携装置27は、患者側装置21、遠隔操作装置22、および画像処理装置23と、通信制御装置261との通信を仲介する。システム連携装置27は、API(application program interface)を搭載しており、このAPIを用いることにより、通信制御装置261からの要求に応じて、手術支援ロボット20の稼働に関する情報(以下では「稼働情報」と称する)を、患者側装置21、遠隔操作装置22、および画像処理装置23から取得するとともに、取得した稼働情報を通信制御装置261に送信する。システム連携装置27が稼働情報を通信制御装置261に送信するタイミングは、取得後直ちに(リアルタイムに)送信してもよいし、ある程度のデータ量が蓄積されてから送信してもよい。稼働情報の典型例を次の(1)~(13)に示す。
【0031】
(1)発生したエラーに関する情報(エラーコード、発生部位、発生日時など)
(2)遠隔操作装置22に入力された動作指令に関する情報
(3)遠隔操作装置22に取り付けられた各種センサの出力値
(4)患者側装置21に取り付けられた各種センサの出力値
(5)患者側装置21の各駆動部の軸値および電流値
(6)内視鏡201bにて撮影した画像
(7)画像処理装置23で処理した画像
(8)システム起動時に行われる動作チェックの結果
(9)搭載されているソフトウェアのバージョン情報
(10)オペレーションモード(術式/部位)
(11)ステータスを示す情報(発光部の点灯状況)
(12)消耗品に関する情報、およびその動作回数
(13)患者側装置21および遠隔操作装置22を移動させるための電動アシスト機器の充電に関する情報
上記(1)~(13)は例示であり、稼働情報がこれらに限られるものではない。
【0032】
なお、サーバ装置40にて所定のイベントが検出されていない段階では、手術支援ロボット20からサーバ装置40に稼働情報を送信するにあたり、手術支援ロボット20とサーバ装置40との間は単方向通信が確立されている。
【0033】
〔ネットワークサービスシステム26〕
ネットワークサービスシステム26は、医療関連施設2内の装置に対して各種ネットワークサービスを提供する。そのために、ネットワークサービスシステム26には各種のAPIが用意されている。
【0034】
ネットワークサービスシステム26は通信制御装置261を備えている。通信制御装置261はコンピュータであり、コンピュータが通常有する機能を具備している。
図4に示すとおり、通信制御装置261は、CPU(central processing unit)である制御部262を備えており、制御部262で動作するソフトウェアにて実現される機能として、データ取得部263、データ加工部264、およびデータ送信部265を含んでいる。
【0035】
データ取得部263は、手術支援ロボット20の稼働情報を取得する。この機能は、システム連携装置27に搭載されているAPIを呼び出すことにより実現する。また、データ取得部263は、ネットワークカメラ24が撮影した画像を取得する。
【0036】
データ取得部263が行う処理の概要について
図5を参照しながら説明する。データ取得部263は、所定時間が経過する毎に(S111にてYES)、システム連携装置27に搭載されているデータ取得用APIを呼び出す(S112)。このAPIを介して、データ取得部263は手術支援ロボット20の稼働情報を取得する(S113)。
【0037】
データ加工部264は次に示す機能を有している。
【0038】
(機能1)個人情報のマスク
ネットワークカメラ24が撮影した画像や内視鏡201bが撮影した画像を通信制御装置261を介して配信する場合において、人物を特定できる情報(人物の顔など)(以下では「特定可能情報」と称する)が映っている場合には、個人情報保護の観点から、特定可能情報をマスクする画像処理(モザイクをかける等により視覚的に不明瞭化する処理)を施すことが望ましい。そこで、データ加工部264は、配信する画像に特定可能情報が映っているか否かを検査し、特定可能情報が映っている場合は、画像に対して特定可能情報をマスクする画像処理を施す。
【0039】
(機能2)フレームレートの調整
通信制御装置261を介してサーバ装置40に配信する映像のデータサイズが、施設内LANの回線速度に対して大きいほど映像配信に時間を要し、遅延の原因となる。そこで、データ加工部264は、配信する映像の秒間コマ数(フレームレート)を小さくするように調整する(つまりフレームを間引く)。具体的には、秒間コマ数を6コマとする。なお、データ加工部264は、施設内LANおよび外部ネットワーク3の通信負荷を監視し、通信負荷に応じて映像の秒間コマ数を小さくするように調整してもよい。
【0040】
(機能3)映像の解析、および解析結果の配信
ネットワークカメラ24が撮影した映像を通信制御装置261を介してサーバ装置40へ配信する場合において、施設内LANに通信負荷がかかると、施設内LANに接続する各種医療システムの動作に影響を与えるおそれがある。そこで、データ加工部264は、配信する映像に写る人の動きを解析する。そして、データ送信部265によるサーバ装置40への送信対象は、解析結果として得られるテキストデータのみとする。これにより、映像を配信する場合と比べて施設内LANの通信負荷を軽減することができる。ここで「人の動きの解析」とは、例えば、通信制御装置261に搭載されたAI(artificial intelligence)が解析対象である映像に映る人の動きを骨格(棒状のモデル)に置き換え、その関節の動きを数値化することなどを指す。
【0041】
(機能4)各種センサの出力値などのテキストデータの加工(集約)
データ加工部264は、例えば、手術支援ロボット20から1秒間隔で取得する各種センサの出力値などのテキストデータを、1時間単位の平均値や1日単位の平均値などに集約してもよい。これにより、データ送信部265によるサーバ装置40への送信において、1回当たりの送信量および送信頻度が低減されるため、外部ネットワーク3の通信負荷を軽減することができる。
【0042】
データ加工部264が行う処理の概要について
図6を参照しながら説明する。サーバ装置40へ映像を配信する場合(S211にてYES)、データ加工部264は、配信する映像のフレームレートを調整する(S212)。次に、データ加工部264は、配信する画像に特定可能情報が映っている場合(S213にてYES)、画像に対して特定可能情報を不明瞭化する画像処理を施す(S214)。次に、データ加工部264は、配信する画像に人が写っている場合(S215にてYES)、人の動きを解析する(S216)。次に、データ加工部264は、送信対象のデータを集約することが設定されている場合(S217にてYES)、送信対象のデータを集約する(S218)。
【0043】
データ送信部265は、データ取得部263にて取得したデータ、および、データ加工部264にて加工したデータをサーバ装置40へ送信する。さらに、データ送信部265は、データの送信を制限できるように構成されていてもよい。具体的には、映像に含まれる音声のみを送信しないようにしたり、映像および音声の両方を送信しないようにする。これにより不必要なデータ送信を避けることができる。
【0044】
データ送信部265が行う処理の概要について
図7を参照しながら説明する。データ取得部263にてデータが取得された、または、データ加工部264にてデータが加工されたとき(S311にてYES)、当該データが送信制限の対象でなければ(S312にてNO)、そのままデータを送信する(S313)。一方、当該データが送信制限の対象であれば(S312にてYES)、データの送信を制限する(S314)。
【0045】
〔端末装置25〕
端末装置25は、手術支援ロボット20が設置された居室で医療スタッフMが使用するコンピュータ端末である。端末装置25の典型例は、パーソナルコンピュータ(personal computer)、タブレット端末、スマートフォン等である。端末装置25は、他装置との通信機能、キーボード等のデータ入力機能、モニタ等のデータ表示機能、マイク等の音声入力機能、スピーカ等の音声出力機能等の、コンピュータ端末が通常備える機能を有している。
【0046】
端末装置25は、施設内LANと通信可能に接続され、Webアプリケーションを介してネットワークサービスシステム26にアクセスする。例えば、端末装置25は、通信制御装置261を介してコールセンタ4の記憶装置41に格納されているデータ(例えば、手術支援ロボット20の稼働情報)を取得し、取得したデータをモニタに表示する。
【0047】
端末装置25は、医療スタッフMから、端末装置42との双方向通信を要求する操作を受け付け可能である。端末装置25は、当該操作に応じたリクエストをサーバ装置40に送信する。当該操作の一例は、モニタに表示されたボタンのクリックや、マイクへの音声入力であるが、これらに限られるものではない。
【0048】
端末装置25は、サーバ装置40との双方向通信が確立された端末装置42との間で双方向コミュニケーション(例えば、音声通話、ビデオ通話、チャットなど)を行うための各種機能を実行可能である。つまり、端末装置25は、双方向コミュニケーションを行うために入力されたデータ(以下では「コミュニケーションデータ」と称する)を、端末装置42との間で共有するために通信制御装置261を介してサーバ装置40に送信する一方、端末装置42に入力されたコミュニケーションデータをサーバ装置40から通信制御装置261を介して受信し出力する。コミュニケーションデータの一例は、音声通話を行う場合は音声、ビデオ通話を行う場合は音声付き映像、チャットを行う場合はテキストデータ、ホワイトボード機能を用いたデータ共有を行う場合はペイントツールにより描かれるグラフィック等であるが、これらに限られるものではない。
【0049】
〔ネットワークカメラ24〕
ネットワークカメラ24は、手術支援ロボット20が設置される居室に設置され、居室の状況を映像または静止画像で撮影する撮影装置である。映像は音声付きであることが好ましい。撮影対象は、居室内全体であってもよいし、患者側装置21であってもよいし、特定の医療スタッフMであってもよい。ネットワークカメラ24は、外部からの指示に従ってチルトおよびズームを任意に調整可能であることが好ましい。
【0050】
ネットワークカメラ24が撮影した画像は、通信制御装置261を介してサーバ装置40に送信される。前述したとおり、サーバ装置40に画像を送信するにあたり、個人情報保護の観点から、通信制御装置261にて画像領域の一部(例えば、患者Pの顔)をマスクする等の画像処理を施したり、必要に応じて送信を制限できることが好ましい。また、ネットワークカメラ24が撮影した映像をサーバ装置40に送信するにあたり、通信制御装置261にて映像のフレームレートを調整してもよい。
【0051】
〔コールセンタ4〕
コールセンタ4は、医療関連施設2と異なる施設であり、医療関連施設2に対する遠隔支援業務を行うための施設である。コールセンタ4内にはLAN(以下では「コールセンタ内LAN」と称する)が配設されている。コールセンタ内LANは外部ネットワーク3と通信可能に接続されている。コールセンタ内LANには、サーバ装置40、記憶装置41、および端末装置42が通信可能に接続されている。
【0052】
〔サーバ装置40〕
サーバ装置40はコンピュータであり、コンピュータが通常有する機能を具備している。サーバ装置40はコールセンタ内LANに通信可能に接続されている。
図8に示すとおり、サーバ装置40は、CPUである制御部400を備えており、制御部400で動作するソフトウェアにて実現される機能として、データ格納部401、通信制御部402、データ提供部403、およびデータ解析部404を含んでいる。
【0053】
〔データ格納部401〕
データ格納部401は、手術支援ロボット20、ネットワークカメラ24、端末装置25、および端末装置42からサーバ装置40に送信されたデータを記憶装置41に格納する。データ格納部401が記憶装置41に格納するデータの典型例は次の(1)~(5)である。
【0054】
(1)手術支援ロボット20の稼働情報
(2)内視鏡201bが撮影した画像
(3)ネットワークカメラ24が撮影した画像
(4)端末装置25から受信しデータ(音声、画像、テキスト、およびグラフィック等の各種データ)
(5)端末装置42から受信したデータ(音声、画像、テキスト、およびグラフィック等の各種データ)
また、データ格納部401は、双方向通信が確立されている期間において、双方向通信が確立している装置からサーバ装置40に送信されたデータを、双方向通信のログとして記憶装置41に格納する。
【0055】
データ格納部401が行う処理の概要について
図9を参照しながら説明する。サーバ装置40にてデータを受信すると(S411にてYES)、データ格納部401は、受信したデータを記憶装置41に格納する(S412)。また、双方向通信が確立されている期間であれば(S413にてYES)、双方向通信のログとして記憶装置41に格納する(S414)。
【0056】
〔通信制御部402〕
(通信確立処理)
通信制御部402は、サーバ装置40と、サーバ装置40と通信可能に接続する装置との通信を制御するものであり、単方向通信および双方向通信を確立する処理を行う。
【0057】
通信制御部402による双方向通信の確立処理の概要について
図10を参照しながら説明する。通信制御部402による双方向通信の確立処理は、双方向通信を要求するリクエストを受信することにより開始される。リクエストを受信すると(S511にてYES)、双方向通信の要求先へ問合せを送信する(S512)。その問合せに対して双方向通信を許可する応答があった場合(S513にてYES)、要求元へ許可通知を送信する(S514)。これにより双方向通信が確立する。一方、問合せに対して双方向通信を拒否する応答があった場合(S513にてNO)、双方向通信が拒否された旨の通知(以下では「拒否通知」と称する)を要求元へ送信する(S515)。この場合、双方向通信は確立しない。なお、双方向通信の確立処理には周知技術を用いるため、詳細については記載を省略する。また、リアルタイムなデータ共有を可能とするために双方向通信は全二重通信であることが好ましい。
【0058】
なお、通信制御部402は、複数の双方向通信を並列に確立可能である。具体的には、同じ医療関連施設2内に設置された複数の手術支援ロボット20と端末装置42との間に双方向通信を確立することが可能である。また、異なる医療関連施設2に設置された複数の手術支援ロボット20と端末装置42との間に双方向通信を確立することも可能である。
【0059】
通信制御部402が双方向通信を確立する処理を行うトリガは、所定のイベントの検出である。所定のイベントの典型例を次の(イベント例1)~(イベント例5)に示す。
【0060】
(イベント例1)手術支援ロボット20または端末装置25から双方向通信を要求する操作が行われたことにより送信されたリクエストをサーバ装置40にて受信。
【0061】
このリクエストは、医療スタッフMにより双方向通信を要求する操作が行われた手術支援ロボット20または端末装置25からサーバ装置40に送信される。手術支援ロボット20に何らかの故障やエラーなどの異常が発生した場合、医療スタッフMはサービス員Sの支援を必要とする可能性が高い。したがって、サーバ装置40と手術支援ロボット20および端末装置25の少なくとも1つとの間、および、サーバ装置40と端末装置42との間に双方向通信を確立することが有用である。
【0062】
医療スタッフMが行う操作の一例は、手術支援ロボット20と通信可能に接続される操作部、または、手術支援ロボット20に設けられた操作部に対する操作である。例えば、遠隔操作装置22の近辺(例えば遠隔操作装置22を操作する医療スタッフMの手元)に設けられるスイッチ222の押下、または、患者側装置21に設けられたタッチパネル207に表示されたボタンのタッチである。前者は主に遠隔操作装置22を操作する医療スタッフMが行い、後者は主に患者側装置21の付近にいる医療スタッフMが行う。この操作を契機として、手術支援ロボット20のコントローラ206は、双方向通信を要求するリクエストをサーバ装置40に送信する。リクエストを検出した通信制御部402は、(1)サーバ装置40とリクエストを送信した手術支援ロボット20および端末装置25の少なくとも1つとの間、および、(2)サーバ装置40と端末装置42との間に、双方向通信を確立する処理を行う。
【0063】
医療スタッフMが行う操作の他の一例は、端末装置25のモニタに表示されたボタンのクリックである。この場合のリクエストは端末装置25からサーバ装置40に送信される。リクエストを検出した通信制御部402は、(1)サーバ装置40とリクエストを送信した端末装置25および手術支援ロボット20の少なくとも1つとの間、および、(2)サーバ装置40と端末装置42との間に、双方向通信を確立する処理を行う。
【0064】
医療スタッフMが行う操作のさらなる他の一例は、手術支援ロボット20または端末装置25への、双方向通信の確立を求める音声の入力である。
【0065】
(イベント例2)端末装置42から双方向通信を要求する操作が行われたことにより送信されたリクエストをサーバ装置40にて受信。
【0066】
このリクエストは、サービス員Sにより双方向通信を要求する操作が行われた端末装置42からサーバ装置40に送信される。この操作は、手術支援ロボット20の異常等を検知したサービス員Sが医療スタッフMを支援すべきであると判断したときに行われる。例えば、手術支援ロボット20の稼働情報にエラーや故障などを示す異常値が含まれる場合、医療スタッフMはサービス員Sの支援を必要とする可能性がある。したがって、サーバ装置40と端末装置42との間、および、サーバ装置40と手術支援ロボット20および端末装置25の少なくとも1つとの間に双方向通信を確立することが有用である。
【0067】
稼働情報に含まれる異常値の典型例は、インストゥルメントアーム201Aおよびカメラアーム201Bが互いに干渉して動かない状態であることが推察される軸値および電流値や、手術支援ロボット20の再起動が必要であることを示すエラーコードなどである。
【0068】
サービス員Sが行う操作の一例は、端末装置42において、遠隔操作すべき手術支援ロボット20の指定である。リクエストは端末装置42からサーバ装置40に送信される。リクエストを検出した通信制御部402は、(1)サーバ装置40とリクエストを送信した端末装置42との間、および、(2)サーバ装置40と指定された手術支援ロボット20および端末装置25の少なくとも1つとの間に、双方向通信を確立する処理を行う。
【0069】
サービス員Sが行う操作の他の一例は、端末装置42において、支援すべき医療スタッフMの端末装置25の指定である。この場合もリクエストは端末装置42からサーバ装置40に送信される。リクエストを検出した通信制御部402は、(1)サーバ装置40とリクエストを送信した端末装置42との間、および、(2)サーバ装置40と指定された端末装置25および手術支援ロボット20の少なくとも1つとの間に、双方向通信を確立する処理を行う。
【0070】
(イベント例3)稼働情報に含まれる異常値の検出。
【0071】
稼働情報に含まれる異常値の典型例は、前述したとおり、インストゥルメントアーム201Aおよびカメラアーム201Bが互いに干渉して動かない状態であることが推察される軸値および電流値や、手術支援ロボット20の再起動が必要であることを示すエラーコードなどである。この場合、医療スタッフMはサービス員Sの支援を必要とする可能性がある。よって、サービス員Sは、迅速に、医療スタッフMとのデータ共有、または、手術支援ロボット20の遠隔操作が行えることが好ましい。
【0072】
この場合、通信制御部402は、(1)サーバ装置40と、ネットワークカメラ24と同じ医療関連施設2に配置された端末装置25および手術支援ロボット20の少なくとも1つとの間、および、(2)サーバ装置40と端末装置42との間に、双方向通信を確立する処理を行う。
【0073】
(イベント例4)ネットワークカメラ24にて撮影された映像の画像解析に基づく異常事態の検出(具体的には、医療スタッフMの非常行動の検出)。
【0074】
非常行動とは、例えば、通常時と異なる行動(急に慌ただしく動き回る等)や、非常機器を操作する行動(例えば、特定電話機を操作する行動など)である。この場合、医療スタッフMはサービス員Sの支援を必要とする可能性がある。よって、サービス員Sは、迅速に、医療スタッフMとのデータ共有、または、手術支援ロボット20の遠隔操作が行えることが好ましい。
【0075】
この場合、通信制御部402は、(1)サーバ装置40と、ネットワークカメラ24と同じ医療関連施設2に配置された端末装置25および手術支援ロボット20の少なくとも1つとの間、および、(2)サーバ装置40と端末装置42との間に、双方向通信を確立する処理を行う。
【0076】
(イベント例5)ネットワークカメラ24にて撮影された映像の音声解析に基づく異常事態の検出(具体的には、特定のフレーズ、または、閾値を超える音量や周波数の検出)。
【0077】
コールセンタ4に助けを求めるフレーズが検出されたり、閾値を超える音量や周波数が検出される場合、何らかの問題が発生したことに起因して発話がなされた可能性が高く、医療スタッフMはサービス員Sの支援を必要とする可能性が高い。よって、サービス員Sは、迅速に、医療スタッフMとのデータ共有、または、手術支援ロボット20の遠隔操作が行えることが好ましい。
【0078】
この場合、通信制御部402は、(1)サーバ装置40と、ネットワークカメラ24と同じ医療関連施設2に配置された端末装置25および手術支援ロボット20の少なくとも1つとの間、および、(2)サーバ装置40と端末装置42との間に、双方向通信を確立する処理を行う。
【0079】
(データ配信処理)
通信制御部402は、双方向通信が確立された装置からサーバ装置40に送信された各種データを、双方向通信が確立された相手先の装置に対して配信する。配信例を次の(配信例1)~(配信例7)に示す。
【0080】
(配信例1)通信制御部402は、双方向通信が確立している手術支援ロボット20および端末装置25の少なくとも1つと、端末装置42とのいずれかにて入力されサーバ装置40に送信されたデータ(音声、画像、およびテキストの少なくとも1つ)を、他方へ配信する。これにより、医療スタッフMとサービス員Sとの間で助言や指示を迅速に共有することができるため、サービス員Sが現場で立ち会って支援する場合と同等の効果が得られる。なお、データ提供部403にて端末装置42に対して手術支援ロボット20の稼働情報を常時送信していれば、サービス員Sは、双方向通信が確立される以前に提供済みの稼働情報に基づきトラブルの原因や対処方法を推定することができるため、双方向通信が確立された直後から迅速かつ適切に支援することができる。
【0081】
一例として、前述したイベント例3またはイベント例4により双方向通信が確立されて配信例1が行われる処理の流れの一例について、
図11を参照しながら説明する。ネットワークカメラ24にて撮影された画像が通信制御装置261を介してサーバ装置40へ送信される(S41、S42)。サーバ装置40にて画像を受信し(S43)、通信制御部402が異常事態を検出すると(S44にてYES)、サーバ装置40と手術支援ロボット20および端末装置25の少なくとも1つとの間、およびサーバ装置40と端末装置42との間に双方向通信の確立処理を行う(S45)。双方向通信の確立処理は前述のとおりであるため詳細は省略している。双方向通信が確立した後、端末装置42にて入力されサーバ装置40に送信されたデータは、通信制御部402から、手術支援ロボット20および端末装置25の少なくとも1つへ送信される(S46~S47)。このとき、データ格納部401は、送信データを双方向通信のログとして記憶装置41に格納する(S48)。通信制御装置261を介してデータを受信した手術支援ロボット20および端末装置25の少なくとも1つは、当該データを出力する(S49~S50)。同様に、手術支援ロボット20または端末装置25にて入力されサーバ装置40に送信されたデータは、通信制御部402から端末装置42へ送信され(S51~S53)、端末装置42は受信したデータを出力する(S55)。このとき、データ格納部401は、送信データを双方向通信のログとして記憶装置41に格納する(S54)。なお、双方向通信が全二重通信である場合、S46~S50と、S51~S55とは並列可能である。
【0082】
(配信例2)通信制御部402は、双方向通信が確立したときに、ネットワークカメラ24にて撮影されサーバ装置40にて受信した画像を、少なくとも端末装置42に配信することが好ましい。端末装置42は、当該配信された画像をモニタに表示する。これにより、サービス員Sが現場で立ち会う場合と同等またはそれ以上に、医療スタッフMとサービス員Sとの間で手術室の現況を視覚的に共有することができるため、サービス員Sは適切に支援することができる。なお、画像の配信先として端末装置25を加えてもよい。
【0083】
(配信例3)通信制御部402は、双方向通信が確立したときに、内視鏡201bにて撮影されサーバ装置40にて受信した画像を、少なくとも端末装置42に配信することが好ましい。端末装置42は、当該配信された画像をモニタに表示する。これにより、サービス員Sが現場で立ち会う場合と同等またはそれ以上に、医療スタッフMとサービス員Sとの間で患者Pの体腔内の状況を視覚的に共有することができるため、サービス員Sは適切に支援することができる。なお、画像の配信先として端末装置25を加えてもよい。
【0084】
(配信例4)配信例2に示した配信および配信例3に示した配信を同時に行うことが好ましい。つまり、ネットワークカメラ24にて撮影されサーバ装置40にて受信した画像、および、内視鏡201bにて撮影されサーバ装置40にて受信した画像を、少なくとも端末装置42に配信することが好ましい。端末装置42は、当該配信された画像の両方を同時にモニタに表示する。これにより、サービス員Sは、手術室の現況および患者Pの体腔内の状況を同時に確認することができるため、サービス員Sは適切に支援することができる。なお、画像の配信先として端末装置25を加えてもよい。
【0085】
(配信例5)双方向通信が確立している端末装置42に対して、通信制御部402が、画像(ネットワークカメラ24にて撮影された画像、および内視鏡201bにて撮影された画像の少なくとも1つ)を配信しており、端末装置42のモニタに当該画像が表示されているものとする。さらに、通信制御部402が当該画像を、双方向通信が確立している手術支援ロボット20および端末装置25の少なくとも1つに対しても配信しており、手術支援ロボット20が備えるモニタ(患者側装置21に設けられたタッチパネル207、画像処理装置23に接続されたモニタ231)または端末装置42のモニタに当該画像が表示されているものとする。この場合において、端末装置42にて、当該画像に重畳表示させるデータ(例えば、画像の表示領域においてペイントツールにより描画されるグラフィック)が入力されたとき、当該データはサーバ装置40に送信される。そして、通信制御部402は、当該データを双方向通信が確立している手術支援ロボット20および端末装置25の少なくとも1つへ配信する。当該データを受信した手術支援ロボット20は、通信制御部402から配信されモニタに表示している画像に、当該データを重畳表示する。同様に、当該データを受信した端末装置25は、通信制御部402から配信されモニタに表示している画像に、当該データを重畳表示する。これにより、医療スタッフMおよびサービス員Sの双方が、データが重畳表示された画像を共有することができる。したがって、例えば、端末装置42にて画像中の注目すべき箇所にマーキングを描画することにより、医療スタッフMおよびサービス員Sの双方が注目すべき箇所を容易に共有することができる。
【0086】
例として、サーバ装置40と手術支援ロボット20および端末装置25との間、並びに、サーバ装置40と端末装置42との間に双方向通信が確立された状態で、配信例2~5が行われる処理の流れの一例について
図12を参照しながら説明する。まず、ネットワークカメラ24および内視鏡201bの少なくとも1つにて撮影された画像が通信制御装置261を介してサーバ装置40へ送信される(S61、S62)。サーバ装置40にて画像を受信すると(S63)、通信制御部402は、双方向通信が確立された端末装置42へ画像を配信するとともに、手術支援ロボット20および端末装置25に当該画像を配信する(S64)。手術支援ロボット20および端末装置25は通信制御装置261を介して送信された画像をモニタに表示する(S65、S66)。端末装置42も同様に画像をモニタに表示する(S67)。これにより、手術支援ロボット20、端末装置25および端末装置42の各モニタに画像が表示される。このとき、データ格納部401は、送信画像を、双方向通信のログとして記憶装置41に格納する(S68)。次に、端末装置42のサービス員Sにより、画像に重畳表示させるデータが入力された場合(S69)、当該データはサーバ装置40にて受信され(S70)、通信制御部402は当該データを通信制御装置261を介して手術支援ロボット20および端末装置25へ配信する(S71、S73)。当該データを受信した手術支援ロボット20および端末装置25は、当該データを重畳表示した画像をモニタに表示する(S74)。データ格納部401は当該データを重畳表示した画像を、双方向通信のログとして記憶装置41に格納する(S72)。
【0087】
(配信例6)通信制御部402は、端末装置42にて入力されサーバ装置40に送信された手術支援ロボット20に対する動作指令や警報出力指示を、手術支援ロボット20へ配信する。これにより、サービス員Sが迅速に手術支援ロボット20を遠隔操作できる。
【0088】
(配信例7)手術支援ロボット20にて、音声、画像、およびテキスト等のデータを入力可能である場合、通信制御部402は、手術支援ロボット20にて入力されサーバ装置40に送信された当該データを、端末装置42へ配信してもよい。反対に、手術支援ロボット20にて、音声、画像、およびテキスト等のデータを出力可能である場合、通信制御部402は、端末装置42にて入力されサーバ装置40に送信された当該データを、手術支援ロボット20へ配信してもよい。これにより、端末装置25を用いなくとも医療スタッフMとサービス員Sとのコミュニケーションが可能となる。
【0089】
〔データ提供部403〕
データ提供部403は、端末装置25からの要求に応じたデータを要求元の端末装置25に送信する。同様に、データ提供部403は、端末装置42からの要求に応じたデータを要求元の端末装置42に提供する。そのために、データ提供部403には各種のAPIが用意されている。端末装置25および端末装置42へ提供するデータの典型例は、記憶装置41に格納されたデータであり、特に、手術支援ロボット20の稼働情報、ネットワークカメラ24にて撮影された画像、内視鏡201bにて撮影された画像である。
【0090】
なお、データ提供部403は、手術支援ロボット20から受信した稼働情報を端末装置42に常時送信することが好ましい。これにより、サービス員Sは、端末装置42にて手術支援ロボット20の状況を常時監視することができる。したがって、サービス員Sは、双方向通信が確立される前から手術支援ロボット20の稼働情報に基づきトラブルの原因や対処方法を事前に確認することができるため、医療スタッフMとの双方向コミュニケーションを開始した直後から迅速かつ適切に支援することができる。
【0091】
提供するデータにエラーが含まれる場合、データ提供部403は、エラーに関する通知を要求元の端末装置25または端末装置42に送信する。エラーに関する通知には、エラーの対処方法が含まれていてもよい。エラーの対処方法とは、例えば、電子取扱説明書における該当箇所をリンク先とするハイパーリンクや、蓄積されている対処方法に関する情報のうち必要情報のみを動的に集約したデータなどであるが、これらに限られるものではない。
【0092】
なお、データ提供部403は、提供するデータをデータ解析部404により統計的に解析したうえで送信してもよいし、提供するデータの表示形式を整えたうえで送信してもよい。
【0093】
データ提供部403が行う処理の概要について
図13を参照しながら説明する。端末装置25または端末装置42からデータの提供要求があったとき(S611にてYES)、データ提供部403は記憶装置41から要求対象データを取得する(S612)。ここで、取得したデータにエラーが含まれていなければ(S613にてNO)、そのまま要求元へデータを提供する(S614)。一方、取得したデータにエラーが含まれている場合(S613にてYES)、エラーに関する通知を要求元へ送信する(S615)。
図13では、これに引き続き要求元へデータを提供しているが(S614)、エラーの内容に応じて要求元へのデータ提供は省略してもよい。
【0094】
〔データ解析部404〕
データ解析部404は、端末装置25または端末装置42からの要求に応じて各種データの解析を行い、解析結果を要求元に送信する。そのために、データ提供部403には解析用の各種APIが用意されている。解析対象となるデータの典型例は、記憶装置41に格納されているデータ(典型的には、手術支援ロボット20の稼働情報)である。
【0095】
データ解析部404が行う処理の概要について
図14を参照しながら説明する。端末装置25または端末装置42からのデータの解析要求があったとき(S711にてYES)、データ解析部404は、対象データを解析するためのAPIを選択し(S712)、解析を実行する(S713)。そして、解析結果を要求元に送信する(S714)。
【0096】
〔端末装置42〕
端末装置42は、コールセンタ4のサービス員Sがコールセンタ4内で使用するコンピュータ端末である。端末装置42の典型例は、パーソナルコンピュータ、タブレット端末、スマートフォン等である。端末装置42は、コールセンタ4内LANを介してサーバ装置40と通信可能に接続される。
【0097】
なお、端末装置42は、他装置との通信機能、キーボード等のデータ入力機能、モニタ等のデータ表示機能、マイク等の音声入力機能、スピーカ等の音声出力機能等の、コンピュータ端末が通常備える機能を有している。
【0098】
端末装置42は、サーバ装置40を介して記憶装置41に格納されているデータ(典型的には、手術支援ロボット20の稼働情報)を取得し、取得したデータをモニタに表示する。
【0099】
端末装置42は、サービス員Sから、手術支援ロボット20または端末装置25との双方向通信を要求する操作を受け付け可能である。端末装置42は、当該操作に応じたリクエストをサーバ装置40に送信する。当該操作の一例は、モニタに表示されたボタンのクリックや、マイクへの音声入力であるが、これらに限られるものではない。
【0100】
端末装置42は、双方向通信が確立された端末装置25との間で双方向コミュニケーションおよびデータ共有を行うための各種機能を実行可能である。つまり、端末装置42は、コミュニケーションデータを、端末装置25との間で共有するためにサーバ装置40に送信する一方、端末装置25に入力されたコミュニケーションデータをサーバ装置40から受信する。
【0101】
端末装置42は、双方向通信が確立された手術支援ロボット20に対する指令を受け付け可能である。当該指示の一例は、手術支援ロボット20からの警報出力指令や、手術支援ロボット20を遠隔操作するための動作指令である。
【0102】
端末装置42は、双方向通信が確立された手術支援ロボット20の遠隔操作装置22のモニタ221に表示される画面を取得し、端末装置42のモニタに表示することができる。
【0103】
手術支援ロボット20が、音声、画像、およびテキスト等のデータを出力する出力部を備える場合、端末装置42は、双方向通信が確立された手術支援ロボット20に対し、当該データをサーバ装置40経由で配信してもよい。
【0104】
〔記憶装置41〕
記憶装置41は各種データを記憶する装置であり、ハードディスク等の磁気ディスク等である。
【0105】
〔画面例〕
図15~
図17を参照しながら、端末装置42および端末装置25の各モニタの表示画面の一例について説明する。
図15は端末装置42のモニタの表示画面の一例を示す模式図である。
図16は端末装置25のモニタの表示画面の一例を示す模式図である。
【0106】
ここでは、サーバ装置40と端末装置42および端末装置25との間に双方向通信が確立しているものとする。また、ネットワークカメラ24にて撮影された手術室の画像、および、内視鏡201bにて撮影された患者Pの体腔内の画像が、通信制御部402から端末装置42と端末装置25とに配信されているものとする。
【0107】
配信された手術室の画像は、端末装置42のモニタの表示領域A1(
図15参照)、および、端末装置25のモニタの表示領域B1(
図16参照)に表示されている。当該画像には患者側装置21および遠隔操作装置22が写っている。
【0108】
また、配信された患者Pの体腔内の画像は、端末装置42のモニタの表示領域A2(
図15参照)、および、端末装置25のモニタの表示領域B2(
図16参照)に表示されている。当該画像には、患者Pの体内に導入された2つのインストゥルメント201aおよび手術部位Rが写っている。
【0109】
このように、端末装置42のモニタおよび端末装置25のモニタの双方に同じ画像が同時に表示されている。これにより、医療スタッフMおよびサービス員Sの双方は、サービス員Sが現場に立ち会う場合と同等またはそれ以上に、手術室の現況および患者Pの体腔内の現況について共有することができるため、サービス員Sは医療スタッフMに対して適切に支援することができる。
【0110】
また、
図15に示す表示領域A3には、記憶装置41から取得した手術支援ロボット20の各々の稼働情報が、手術支援ロボット20毎に表示されている。具体的には、ステータス(Status)、居室名(Lab Name)、モデル(Model)、シリアル番号(Serial No.)、最新更新日時(Last update)、最新エラー(Latest Error)、オペレーションモード(OP Mode)が表示されるとともに、アクション(Action)、部位情報(Parts Info.)、供給情報(Supply Info.)、セルフチェック(Self Check)、リモートビュー(Remote View)に関する詳細画面を表示するためのボタン(Browse)が表示されている。また、
図15に示す表示領域A4には、A病院1号室に設置された手術支援ロボット20の各部位(Parts)の情報が詳細に表示されている(Command Value、Actual Value、Current、Difference)。サービス員Sはこれらの稼働情報を閲覧することにより、さらに的確な支援を行うことができる。
【0111】
図17は、
図15および
図16に示した表示画面の状態において、端末装置25および端末装置42のいずれか一方にて、画像に重畳表示させるデータが描画された表示画面の一例を示す模式図である。
図17は、端末装置25および端末装置42のいずれか一方にてペイントツール等を用いて描画されたマーキングMKが、双方の表示画面において画像に重畳表示されている様子を示している。このように、双方向通信が確立している端末装置25および端末装置42のいずれか一方にて、画像に重畳させるデータを描画すると、通信制御部402による配信により、端末装置42および端末装置25の双方のモニタにおいて当該データが重畳表示された画像が共有される。これにより、医療スタッフMおよびサービス員Sは、例えば画像中の注目すべき箇所を容易に共有することができる。
【0112】
[変形例]
患者側装置21には、タッチパネル207の他に、音声入出力装置や画像出力装置が設けられてもよい。これらにより、患者側装置21にて双方向通信の確立を要求する操作が可能であるとともに、双方向通信の確立後に、患者側装置21を使用する医療スタッフMと端末装置42を使用するサービス員Sとの間で双方向コミュニケーションおよびデータ共有が可能である。
【0113】
同様に、遠隔操作装置22には、モニタ221の他に、入力操作を受け付ける操作装置や音声入出力装置や画像出力装置が設けられてもよい。これらにより、遠隔操作装置22にて双方向通信の確立を要求する操作が可能であるとともに、双方向通信の確立後に、遠隔操作装置22を使用する医療スタッフMと端末装置42を使用するサービス員Sとの間で双方向コミュニケーションおよびデータ共有が可能である。
【0114】
同様に、画像処理装置23には、モニタ231の他に、入力操作を受け付ける操作装置や音声入出力装置や画像出力装置が接続されてもよい。これらにより、画像処理装置23にて双方向通信の確立を要求する操作が可能であるとともに、双方向通信の確立後に、画像処理装置23を使用する医療スタッフMと端末装置42を使用するサービス員Sとの間で双方向コミュニケーションおよびデータ共有が可能である。
【0115】
端末装置25は、通常、施設内LANと通信可能に接続されるが、施設内LANを介さずに外部ネットワーク3と通信可能に接続されてもよい。
【0116】
〔実施形態2〕
上述した実施形態では、サーバ装置40がコールセンタ4に設置される構成例を説明したが、サーバ装置40の配置場所はこれに限られない。
図18に示すとおり、本実施形態に係る医療関連施設2bは、サーバ装置40および記憶装置41が設置されている点が実施形態1の医療関連施設2と異なる。サーバ装置40および記憶装置41は、医療関連施設2bに配設されたLANと通信可能に接続されている。また、本実施形態に係るコールセンタ4bは、サーバ装置40および記憶装置41が設置されていない点が実施形態1のコールセンタ4と異なる。
【0117】
本実施形態では、医療関連施設2b内の各装置とサーバ装置40とのデータの送受信は、LANを介して行われる。また、コールセンタ4bの記憶装置41および端末装置42とサーバ装置40とのデータの送受信は、外部ネットワーク3を介して行われる。
【0118】
〔実施形態3〕
上述した実施形態では、手術支援ロボット20が、複数の手術マニピュレータ201を有する1台の患者側装置21を備える構成例を示したが、手術支援ロボット20の構成はこれに限られない。例えば、患者側装置21に代えて複数の患者側装置を備え、当該複数の患者側装置のそれぞれが内視鏡や鉗子などの手術器具が取り付けられたマニピュレータを備える構成であってもよい。
【0119】
本実施形態に係る手術支援ロボット20bを
図19に示す。手術支援ロボット20bは、患者側装置21に代えて、患者Pを載置する手術台の天板214に取り付けられた3台の患者側装置を備えている点が手術支援ロボット20と異なる。具体的には、手術支援ロボット20bは、内視鏡が取り付けられた手術マニピュレータ(第1マニピュレータ)を有する第1患者側装置211と、鉗子などの手術器具が取り付けられた手術マニピュレータ(第2マニピュレータ)を有する第2患者側装置212および第3患者側装置213とを備えている。手術支援ロボット20bでは、遠隔操作装置22は、第1患者側装置211の手術マニピュレータが把持する内視鏡により実行されるべき動作指令を第1患者側装置211のコントローラに送信することにより、第1患者側装置211の手術マニピュレータを遠隔操作する。同様に、遠隔操作装置22は、第2患者側装置212の手術マニピュレータが把持する手術器具により実行されるべき動作指令を第2患者側装置212のコントローラに送信することにより、第2患者側装置212の手術マニピュレータを遠隔操作する。同様に、遠隔操作装置22は、第3患者側装置213の手術マニピュレータが把持する手術器具により実行されるべき動作指令を第3患者側装置213のコントローラに送信することにより、第3患者側装置213の手術マニピュレータを遠隔操作する。
【0120】
本実施形態では、通信制御部402は、サーバ装置40と、手術支援ロボット20b(第1患者側装置211、第2患者側装置212、第3患者側装置213、遠隔操作装置22、画像処理装置23)、および端末装置25の少なくとも1つとの間に双方向通信を確立する処理を行う。
【0121】
〔実施形態4〕
上述した実施形態では、手術支援ロボット20および20bが、患者側装置21・211・212・213、遠隔操作装置22、および画像処理装置23を備える構成例を示したが、手術支援ロボット20の構成はこれに限られない。
【0122】
本実施形態に係る手術支援ロボット20cを
図20に示す。手術支援ロボット20cは、ロボット手術台225および操作装置226を備えている。ロボット手術台225は、患者を載置する天板223と、天板223を移動させるためのマニピュレータ224とを有する。マニピュレータ224は、一端が床に固定され他端が天板223を支持している。操作装置226は、ロボット手術台225を操作するためのモバイル端末である。操作装置226は、マニピュレータ224の移動方向を指示するためのボタン227を備えている。操作装置226は、ボタン227にて入力された指示をロボット手術台225のコントローラに送信する。マニピュレータ224はコントローラが受信した指示に従って移動し、所望の位置に天板223を位置づける。
【0123】
操作装置226には、双方向通信を要求するための連絡用ボタン228が設けられている。医療スタッフMが連絡用ボタン228を押下することにより、双方向通信を要求するリクエストが操作装置226からサーバ装置40に送信される。本実施形態では、通信制御部402は、サーバ装置40と、手術支援ロボット20c(ロボット手術台225および操作装置226)、および端末装置25の少なくとも1つとの間に双方向通信を確立する処理を行う。
【0124】
なお、操作装置226は、画像、音声、テキスト等のデータを入出力可能であり、双方向通信の確立後に、操作装置226を使用する医療スタッフMと端末装置42を使用するサービス員Sとの双方向コミュニケーションおよびデータ共有が可能となる。画像およびテキストはモニタ229に出力される。
【0125】
〔付記事項1〕
医療スタッフMがサービス員Sによる支援を必要とするタイミングは、手術支援ロボット20が稼働している期間(つまり、手術中やトレーニング中)のみならず、手術支援ロボット20が稼働していない期間にも起こり得る。例えば、患者側装置21、遠隔操作装置22、および画像処理装置23が有線で接続される場合において、手術前の準備や手術後の片づけの際に、これらの配線に関してサービス員Sの支援を求めたい場合がある。したがって、手術支援ロボット20が稼働していない期間においても双方向通信を確立し、医療スタッフMとサービス員Sとの間で双方向コミュニケーションを行ってもよい。
【0126】
〔付記事項2〕
双方向通信は、2つの装置間で行われる形態、および、複数の装置間で行われる形態がある。前者の典型例は、サービス員Sが1つの医療関連施設2を遠隔支援するケース(つまり、1対1の関係)において好適であり、この場合、1つの端末装置42と、手術支援ロボット20または端末装置42との間で双方向通信が行われる。後者の典型例は、手術支援ロボット20のトレーニングにおいて指導者が複数のトレーニング対象者をリモートトレーニングするケース(つまり、1対多の関係)において好適であり、この場合、1つの端末装置42と、複数の手術支援ロボット20との間で双方向通信が行われる。
【0127】
〔付記事項3〕
サーバ装置40は、必ずしも実施形態1のようにコールセンタ4の施設内に設置される必要はなく、コールセンタ4の外部に設置され、外部ネットワーク3を介してコールセンタ4と通信接続されるように実現されてもよい。
【0128】
〔付記事項4〕
上述した実施形態において通信制御装置261が有する機能の全てを、必ずしも通信制御装置261内に備える必要はない。例えば、内視鏡201bおよびネットワークカメラ24の少なくとも1つが撮影した画像に対して、人物を特定できる特定情報を視覚的に不明瞭化する画像処理をする機能、内視鏡201bおよびネットワークカメラ24の少なくとも1つが撮影した画像のフレームレートを調整する機能を、手術支援ロボット20またはサーバ装置40が有してもよい。
【0129】
〔付記事項5〕
上述した実施形態では、双方向通信を要求するリクエストをサーバ装置40にて受信することによって、コールセンタ4から医療関連施設2への通信が可能になることを説明したが、無論、非常時には、双方向通信を要求するリクエストを送信せずとも、コールセンタ4から医療関連施設2へ通信可能であることはいうまでもない。
【0130】
〔ソフトウェアによる実現〕
手術支援ロボット20・20b・20cの制御ブロック(特に、システム連携装置27)、通信制御装置261の制御ブロック(特に、制御部262)、およびサーバ装置40の制御ブロック(特に、制御部400)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
【0131】
後者の場合、手術支援ロボット20・20b・20c、通信制御装置261、およびサーバ装置40は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPUやGPU(Graphics Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0132】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0133】
2 医療関連施設
3 外部ネットワーク
4 コールセンタ
20、20b、20c 手術支援ロボット
21 患者側装置
22 遠隔操作装置
23 画像処理装置
24 ネットワークカメラ(カメラ)
25 端末装置(第1端末装置)
27 システム連携装置
40 サーバ装置
41 記憶装置
42 端末装置(第2端末装置)
201 手術マニピュレータ(第1マニピュレータ、第2マニピュレータ)
201b 内視鏡
206 コントローラ
211 第1患者側装置
212 第2患者側装置
223 天板
224 マニピュレータ
225 ロボット手術台
226 操作装置
261 通信制御装置
401 データ格納部
402 通信制御部
403 データ提供部
404 データ解析部