IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社メディカロイドの特許一覧

特開2024-48946遠隔手術支援システムおよび指導医側操作装置
<>
  • 特開-遠隔手術支援システムおよび指導医側操作装置 図1
  • 特開-遠隔手術支援システムおよび指導医側操作装置 図2
  • 特開-遠隔手術支援システムおよび指導医側操作装置 図3
  • 特開-遠隔手術支援システムおよび指導医側操作装置 図4
  • 特開-遠隔手術支援システムおよび指導医側操作装置 図5
  • 特開-遠隔手術支援システムおよび指導医側操作装置 図6
  • 特開-遠隔手術支援システムおよび指導医側操作装置 図7
  • 特開-遠隔手術支援システムおよび指導医側操作装置 図8
  • 特開-遠隔手術支援システムおよび指導医側操作装置 図9
  • 特開-遠隔手術支援システムおよび指導医側操作装置 図10
  • 特開-遠隔手術支援システムおよび指導医側操作装置 図11
  • 特開-遠隔手術支援システムおよび指導医側操作装置 図12
  • 特開-遠隔手術支援システムおよび指導医側操作装置 図13
  • 特開-遠隔手術支援システムおよび指導医側操作装置 図14
  • 特開-遠隔手術支援システムおよび指導医側操作装置 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024048946
(43)【公開日】2024-04-09
(54)【発明の名称】遠隔手術支援システムおよび指導医側操作装置
(51)【国際特許分類】
   A61B 34/35 20160101AFI20240402BHJP
   G09B 19/00 20060101ALI20240402BHJP
【FI】
A61B34/35
G09B19/00 Z
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022155134
(22)【出願日】2022-09-28
(71)【出願人】
【識別番号】514063179
【氏名又は名称】株式会社メディカロイド
(74)【代理人】
【識別番号】100104433
【弁理士】
【氏名又は名称】宮園 博一
(74)【代理人】
【識別番号】100172362
【弁理士】
【氏名又は名称】田中 達哉
(72)【発明者】
【氏名】大橋 政尚
(72)【発明者】
【氏名】北辻 博明
(57)【要約】      (修正有)
【課題】指導医が指導医側操作装置と外科手術ロボットとの間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置から外科手術ロボットの操作を行うことが可能な遠隔手術支援システムを提供する。
【解決手段】この遠隔手術支援システム100は、第1施設B1に設置された、外科手術ロボット1と、医師側操作装置2と、第1施設B1とは異なる第2施設B2に設置され、外部ネットワークNを介して外科手術ロボット1を指導医A2が操作するための指導医側操作装置3と、制御装置と、を備える。そして、制御装置は、指導医側操作装置3と外科手術ロボット1との間の通信の状態を取得し、制御装置は、制御装置により取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースを内視鏡画像に重畳してスコープ型表示装置34に表示する。
【選択図】図1
【特許請求の範囲】
【請求項1】
第1施設に設置され、内視鏡を保持する第1マニピュレータアームと手術器具を保持する第2マニピュレータアームとを含む外科手術ロボットと、
前記第1施設に設置され、医師が前記第1マニピュレータアームおよび前記第2マニピュレータアームを操作するための医師側操作装置と、
前記第1施設とは異なる第2施設に設置され、外部ネットワークを介して前記外科手術ロボットを指導医が操作するための指導医側操作装置と、
1つまたは複数の制御装置と、を備え、
前記医師側操作装置は、前記内視鏡により取得した内視鏡画像を表示するための第1表示部と、前記第1マニピュレータアームおよび前記第2マニピュレータアームを操作するための第1操作ハンドルと、を含み、
前記指導医側操作装置は、前記外部ネットワークを介して送信された前記内視鏡画像を表示するための第2表示部と、前記第1マニピュレータアームおよび前記第2マニピュレータアームを操作するための第2操作ハンドルと、を含み、
前記制御装置は、前記指導医側操作装置と前記外科手術ロボットとの間の通信の状態を取得し、取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースを前記内視鏡画像に重畳して前記第2表示部に表示するように構成されている、遠隔手術支援システム。
【請求項2】
前記通信の状態に関する情報を含むグラフィカルユーザインターフェースは、通信の遅延時間、通信の遅延の程度を表すアイコン、および、通信の遅延の程度を表す色による表示のうち少なくとも1つを含む、請求項1に記載の遠隔手術支援システム。
【請求項3】
前記遅延の程度を表す色は、前記遅延時間が許容値以下であることを示す第1の色と、前記遅延時間が前記許容値を第1の所定値以下の範囲で超えていることを示す第2の色と、前記遅延時間が前記許容値を前記第1の所定値よりも超えていることを示す第3の色と、を含む、請求項2に記載の遠隔手術支援システム。
【請求項4】
前記通信の状態に関する情報は、遅延時間の経時変化を示す情報を含む、請求項1に記載の遠隔手術支援システム。
【請求項5】
前記遅延時間の経時変化を示す情報は、遅延時間の傾向を示すグラフを含む、請求項4に記載の遠隔手術支援システム。
【請求項6】
前記制御装置は、前記第1施設に配置されており、前記グラフィカルユーザインターフェースを重畳した前記内視鏡画像を、前記外部ネットワークを介して前記第2表示部に表示する、請求項1に記載の遠隔手術支援システム。
【請求項7】
前記制御装置は、前記グラフィカルユーザインターフェースを重畳した前記内視鏡画像を、前記第1表示部に表示する、請求項6に記載の遠隔手術支援システム。
【請求項8】
前記医師側操作装置および前記指導医側操作装置のうち少なくとも1つは、前記外科手術ロボットを操作するための操作権限を切り替える切替部を含む、請求項1に記載の遠隔手術支援システム。
【請求項9】
前記切替部は、前記第1操作ハンドルおよび前記第2操作ハンドルのうち少なくとも1つに設けられた切替えスイッチを有する、請求項8に記載の遠隔手術支援システム。
【請求項10】
前記医師側操作装置および前記指導医側操作装置のうち少なくとも1つは、アームレストを含み、
前記切替部は、前記アームレストに配置されたタッチパネルを有する、請求項8に記載の遠隔手術支援システム。
【請求項11】
前記第2施設に配置され、前記内視鏡により取得され、前記外部ネットワークを介して送信された前記内視鏡画像を表示するための第3表示部をさらに備え、
前記第1表示部および前記第2表示部は没入型のスコープ型表示装置であり、前記第3表示部は、フラットパネル表示装置または湾曲パネル表示装置である、請求項1に記載の遠隔手術支援システム。
【請求項12】
前記医師側操作装置は、第1音声通信部をさらに含み、
前記指導医側操作装置は、前記第1音声通信部と音声通信を行うための第2音声通信部および第3音声通信部をさらに含み、
前記第3音声通信部は、前記第2音声通信部よりも前記第3表示部に近い位置に配置され、
前記第2音声通信部は、前記第3音声通信部よりも前記第2表示部に近い位置に配置される、請求項11に記載の遠隔手術支援システム。
【請求項13】
前記制御装置は、少なくとも第2音声通信部に、前記通信の状態に対応した音または音声メッセージを通知する、請求項12に記載の遠隔手術支援システム。
【請求項14】
前記制御装置は、前記通信の状態に対応して少なくとも第2操作ハンドルを振動させることにより、前記通信の状態を通知する、請求項1に記載の遠隔手術支援システム。
【請求項15】
第1施設に設置された医師側操作装置と外科手術ロボットとを含む手術システムの前記外科手術ロボットを、外部ネットワークを介して操作するために、前記第1施設とは異なる第2施設に設置された指導医側操作装置であって、
前記外科手術ロボットは、内視鏡を保持する第1マニピュレータアームと、手術器具を保持する第2マニピュレータアームとを含み、
前記医師側操作装置は、前記内視鏡により取得した内視鏡画像を表示するための第1表示部と、前記第1マニピュレータアームおよび前記第2マニピュレータアームを操作するための第1操作ハンドルと、を含み、
前記指導医側操作装置は、前記外部ネットワークを介して送信された前記内視鏡画像を表示するための第2表示部と、前記第1マニピュレータアームおよび前記第2マニピュレータアームを操作するための第2操作ハンドルと、を備え、
前記第2表示部は、前記指導医側操作装置と前記外科手術ロボットとの間の通信の状態に関する情報を含むグラフィカルユーザインターフェースが重畳された前記内視鏡画像を表示する、指導医側操作装置。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、遠隔手術支援システムおよび指導医側操作装置に関し、特に、指導医により指導しながら手術を行うための遠隔手術支援システムおよび指導医側操作装置に関する。
【背景技術】
【0002】
従来、指導医により指導しながら手術を行うためのロボットシステムが知られている(たとえば、特許文献1参照)。
【0003】
上記特許文献1には、外科医マスター制御ステーションと、指導者マスター制御ステーションと、外科医マスター制御ステーションおよび指導者マスター制御ステーションにより操作される手術ロボットとを備えるロボットシステムが開示されている。このロボットシステムでは、外科医マスター制御ステーションと指導者マスター制御ステーションの間で外科医と指導者とがヘッドセットを用いて音声通信することにより指導者が外科医に指導しながら手術が行われる。また、このロボットシステムでは、外科医マスター制御ステーションと指導者マスター制御ステーションとは、手術ロボットが設置されている施設と同じ施設に配置されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007-181670号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献1に記載のロボットシステムでは、外科医マスター制御ステーションと指導者マスター制御ステーションとは、手術ロボットが設置されている施設と同じ施設に配置されている。このため、指導者は、手術が行われている施設に行かなければ手術の指導を行うことができないため、指導者が遠隔にいる場合には、ロボットシステムによる手術の指導を行うことが困難である。そこで、指導者が遠隔によりロボットシステムによる手術の指導を行うために、指導者の操作装置と手術ロボットとをネットワークを介して接続することが考えられる。この場合、指導者の操作装置と手術ロボットとの間の通信の状態によって操作の遅延などの影響を受ける場合がある。この場合、指導者が通信の状態に起因する遅延などの影響のために、手術ロボットの操作を円滑に行うことが困難になる。
【0006】
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、指導医が指導医側操作装置と外科手術ロボットとの間の通信の状態を把握しながら、指導医が通信の状態に合わせて遠隔により指導医側操作装置から外科手術ロボットの操作を行うことが可能な遠隔手術支援システムおよび指導医側操作装置を提供することである。
【課題を解決するための手段】
【0007】
この発明の第1の局面による遠隔手術支援システムは、第1施設に設置され、内視鏡を保持する第1マニピュレータアームと手術器具を保持する第2マニピュレータアームとを含む外科手術ロボットと、第1施設に設置され、医師が第1マニピュレータアームおよび第2マニピュレータアームを操作するための医師側操作装置と、第1施設とは異なる第2施設に設置され、外部ネットワークを介して外科手術ロボットを指導医が操作するための指導医側操作装置と、1つまたは複数の制御装置と、を備え、医師側操作装置は、内視鏡により取得した内視鏡画像を表示するための第1表示部と、第1マニピュレータアームおよび第2マニピュレータアームを操作するための第1操作ハンドルと、を含み、指導医側操作装置は、外部ネットワークを介して送信された内視鏡画像を表示するための第2表示部と、第1マニピュレータアームおよび第2マニピュレータアームを操作するための第2操作ハンドルと、を含み、制御装置は、指導医側操作装置と外科手術ロボットとの間の通信の状態を取得し、取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースを内視鏡画像に重畳して第2表示部に表示するように構成されている。
【0008】
この発明の第1の局面による遠隔手術支援システムでは、上記のように、制御装置は、指導医側操作装置と外科手術ロボットとの間の通信の状態を取得し、取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースを内視鏡画像に重畳して第2表示部に表示する。これにより、外部ネットワークを介して指導医側操作装置と外科手術ロボットとを遠隔により接続した場合に、通信状態により操作の遅延などが生じる場合でも、第2表示部に表示される通信の状態に関する情報を含むグラフィカルユーザインターフェースにより、通信の状態を指導医が容易に確認することができる。その結果、指導医が指導医側操作装置と外科手術ロボットとの間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置から外科手術ロボットの操作を行うことができる。
【0009】
この発明の第2の局面による指導医側操作装置は、第1施設に設置された医師側操作装置と外科手術ロボットとを含む手術システムの外科手術ロボットを、外部ネットワークを介して操作するために、第1施設とは異なる第2施設に設置された指導医側操作装置であって、外科手術ロボットは、内視鏡を保持する第1マニピュレータアームと、手術器具を保持する第2マニピュレータアームとを含み、医師側操作装置は、内視鏡により取得した内視鏡画像を表示するための第1表示部と、第1マニピュレータアームおよび第2マニピュレータアームを操作するための第1操作ハンドルと、を含み、指導医側操作装置は、外部ネットワークを介して送信された内視鏡画像を表示するための第2表示部と、第1マニピュレータアームおよび第2マニピュレータアームを操作するための第2操作ハンドルと、を備え、第2表示部は、指導医側操作装置と外科手術ロボットとの間の通信の状態に関する情報を含むグラフィカルユーザインターフェースが重畳された内視鏡画像を表示する。
【0010】
この発明の第2の局面による指導医側操作装置では、上記のように、第2表示部は、指導医側操作装置と外科手術ロボットとの間の通信の状態に関する情報を含むグラフィカルユーザインターフェースが重畳された内視鏡画像を表示する。これにより、外部ネットワークを介して指導医側操作装置と外科手術ロボットとを遠隔により接続した場合に、通信状態により操作の遅延などが生じる場合でも、第2表示部に表示される通信の状態に関する情報を含むグラフィカルユーザインターフェースにより、通信の状態を指導医が容易に確認することができる。その結果、指導医が指導医側操作装置と外科手術ロボットとの間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置から外科手術ロボットの操作を行うことができる。
【発明の効果】
【0011】
本発明によれば、指導医が指導医側操作装置と外科手術ロボットとの間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置から外科手術ロボットの操作を行うことができる。
【図面の簡単な説明】
【0012】
図1】一実施形態による遠隔手術支援システムの構成を示す図である。
図2】一実施形態による外科手術ロボットを示す図である。
図3】一実施形態による医師側操作装置および指導医側操作装置を示す図である。
図4】一実施形態による遠隔手術支援システムの構成を示すブロック図である。
図5】一実施形態による遠隔手術支援システムのスコープ型表示装置を示した図である。
図6】一実施形態による遠隔手術支援システムの通信に関する構成を示すブロック図である。
図7】一実施形態による遠隔手術支援システムの表示画面の一例を示す図である。
図8】一実施形態による通信に関する情報の第1表示例を示す図である。
図9】一実施形態による通信に関する情報の第2表示例を示す図である。
図10】一実施形態による通信に関する情報の第3表示例を示す図である。
図11】一実施形態による通信に関する情報の第4表示例を示す図である。
図12】一実施形態による通信に関する情報の第5表示例を示す図である。
図13】一実施形態による通信に関する情報の第6表示例を示す図である。
図14】一実施形態による通信に関する情報の第7表示例を示す図である。
図15】一実施形態による通信状態取得処理を説明するためのフローチャートである。
【発明を実施するための形態】
【0013】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【0014】
図1図15を参照して、一実施形態による遠隔手術支援システム100の構成について説明する。
【0015】
図1に示すように、遠隔手術支援システム100は、患者Pが載置された手術台101の近傍に設置された外科手術ロボット1と、外科手術ロボット1を医師A1が操作するための医師側操作装置2と、外部ネットワークNを介して外科手術ロボット1を指導医A2が操作するための指導医側操作装置3とを備える。外科手術ロボット1と医師側操作装置2とは、第1施設B1に設置されている。指導医側操作装置3は、第1施設B1とは異なる第2施設B2に設置されている。第1施設B1では、外科手術ロボット1の近くに手術スタッフとして助手A3が配置されている。また、第1施設B1には、助手A3と情報共有するための情報共有装置4が設置されている。また、第2施設B2では、指導医側操作装置3の近くに遠隔手術スタッフとして臨床工学技士A4が配置されている。
【0016】
図2に示すように、外科手術ロボット1は、内視鏡5を保持する1つのマニピュレータアーム11と、手術器具6を保持する複数(3つ)のマニピュレータアーム12とを備える。内視鏡5は、患者Pの内部の手術部位を撮像する。手術器具6は、鉗子などのエンドエフェクタが先端に取り付けられている。また、医師側操作装置2および指導医側操作装置3は、マニピュレータアーム11および12を操作するために設けられている。なお、マニピュレータアーム11および12は、それぞれ、特許請求の範囲の「第1マニピュレータアーム」および「第2マニピュレータアーム」の一例である。
【0017】
外科手術ロボット1は、第1施設B1の手術室内に配置されている。また、外科手術ロボット1は、医療用台車13と、ポジショナ14と、アームベース15とを備える。外科手術ロボット1は、医療用台車13により移動可能に構成されている。医療用台車13には、外科手術ロボット1の動作を制御する制御装置16が設けられている。制御装置16は、医師側操作装置2または指導医側操作装置3に入力された指令に基づいて、外科手術ロボット1の動作を制御する。制御装置16は、プログラムを実行するCPUなどの処理部と、プログラムが格納されたメモリなどの記憶部とを含んでいる。なお、制御装置16は、特許請求の範囲の「制御装置」の一例である。
【0018】
また、医療用台車13には、入力装置17が設けられている。入力装置17は、主に施術前に手術の準備を行うために、マニピュレータアーム11、マニピュレータアーム12、ポジショナ14、および、アームベース15の移動や姿勢の変更の操作を受け付けるように構成されている。
【0019】
ポジショナ14は、たとえば、7軸多関節ロボットにより構成されている。また、ポジショナ14は、医療用台車13上に配置されている。ポジショナ14は、アームベース15を移動させる。具体的には、ポジショナ14は、アームベース15の位置を3次元に移動させるように構成されている。
【0020】
アームベース15は、ポジショナ14の先端に取り付けられている。また、マニピュレータアーム11およびマニピュレータアーム12は、各々の根元部がアームベース15に取り付けられている。アームベース15、マニピュレータアーム11、および、マニピュレータアーム12は、滅菌ドレープにより覆われて使用される。
【0021】
図1に示すように、医師側操作装置2は、たとえば、第1施設B1の手術室の中または手術室の外に配置されている。また、医師側操作装置2は、医師側操作装置本体2aを備える。図3に示すように、医師側操作装置本体2aは、操作ハンドル21と、フットペダル22と、タッチパネル23と、スコープ型表示装置24と、アームレスト25と、音声通信装置26と、センサ27と、制御装置28と、支持アーム30とを備える。なお、操作ハンドル21は、特許請求の範囲の「第1操作ハンドル」の一例である。また、タッチパネル23は、特許請求の範囲の「切替部」の一例である。また、スコープ型表示装置24は、特許請求の範囲の「第1表示部」の一例である。また、音声通信装置26は、特許請求の範囲の「第1音声通信部」の一例である。
【0022】
操作ハンドル21は、操作者(医師A1)が指令を入力するための操作用のハンドルを構成する。操作ハンドル21は、操作者(医師A1)がマニピュレータアーム11および12(内視鏡5および手術器具6)を操作するために設けられている。また、操作ハンドル21は、マニピュレータアーム11および12(内視鏡5および手術器具6)に対する操作量を受け付ける。操作ハンドル21は、操作者(医師A1)の左手により操作される左手用操作ハンドル21Lと、操作者(医師A1)の右手により操作される右手用操作ハンドル21Rとの一対の操作ハンドルを含む。操作ハンドル21Lで一つのマニピュレータアーム12に保持された手術器具6を操作し、操作ハンドル21Rで他のマニピュレータアーム12に保持された手術器具6を操作する。
【0023】
また、操作ハンドル21は、操作ハンドル21によって受け付けられた操作量に対して内視鏡5および手術器具6の移動量が変更(スケーリング)される。たとえば、移動量の倍率が1/2倍に設定されている場合、内視鏡5および手術器具6は、操作ハンドル21の移動距離の1/2の移動距離を移動するよう制御される。これによって、精細な手術を精確に行うことができる。
【0024】
フットペダル22は、内視鏡5および手術器具6に関する機能を実行するための複数のペダルを含む。複数のペダルは、たとえば、凝固ペダルと、切断ペダルと、カメラペダルと、クラッチペダルとを含む。複数のペダルは、操作者(医師A1)の足により操作される。カメラペダルが操作されると操作ハンドル21でマニピュレータアーム11に保持された内視鏡を移動させることができる。このとき操作ハンドル21Lと操作ハンドル21Rの両方で内視鏡を操作して移動させる。タッチパネル23は、医師側操作装置2に関する設定操作を受け付ける。タッチパネル23は、アームレスト25に配置されている。スコープ型表示装置24は、内視鏡5で取得された内視鏡画像(図7参照)を表示する。スコープ型表示装置24は、操作者(医師A1)のみが表示された画像を見ることが可能な没入型の表示装置である。操作者(医師A1)は、スコープ型表示装置24により患部を視認しながら、操作ハンドル21およびフットペダル22を操作する。支持アーム30は、スコープ型表示装置24の高さを医師などの操作者の顔の高さに合わせて調整できるようにスコープ型表示装置24を支持する。
【0025】
アームレスト25は、バー状に形成されており、操作ハンドル21を操作する際に操作者(医師A1)が腕を置くことが可能なように構成されている。音声通信装置26は、操作者(医師A1)がスコープ型表示装置24を覗き込んだ状態で指導医側操作装置3の後述する音声通信装置36と音声通信することができる位置に配置されている。具体的には、音声通信装置26は、操作者(医師A1)がスコープ型表示装置24を覗き込んだ状態で操作者(医師A1)の頭部の近くに位置するように配置されている。音声通信装置26は、スコープ型表示装置24に一体的に配置されており、支持アーム30によって一体的に高さ調整ができる。
【0026】
センサ27は、スコープ型表示装置24が覗き込まれている使用状態であるか否かを検出するように構成されている。センサ27は、操作者(医師A1)がスコープ型表示装置24を覗き込んだ状態で操作者(医師A1)の頭部を検出可能な位置に配置されている。センサ27は、スコープ型表示装置24に一体的に配置されている。制御装置28は、医師側操作装置2の動作を制御する。制御装置28は、プログラムを実行するCPUなどの処理部と、プログラムが格納されたメモリなどの記憶部とを含んでいる。
【0027】
以上、医師側操作装置2について説明したが、指導医側操作装置3についても医師側操作装置2と同様の構造になっている。すなわち、図4に示すように、指導医側操作装置3は、指導医側操作装置本体3aを備える。指導医側操作装置本体3aは、操作ハンドル31と、フットペダル32と、タッチパネル33と、スコープ型表示装置34と、アームレスト35と、音声通信装置36と、センサ37と、制御装置38と、支持アーム30とを備える。スコープ型表示装置34は、外部ネットワークN(図1参照)を介して送信された内視鏡画像(図7参照)を表示する。また、医師側操作装置2と指導医側操作装置3とは基本的に同じ仕様であるが、タッチパネル23(33)を介して、通常モードと遠隔モードとが切り替えられて使用される。なお、操作ハンドル31は、特許請求の範囲の「第2操作ハンドル」の一例である。また、タッチパネル33は、特許請求の範囲の「切替部」の一例である。また、スコープ型表示装置34は、特許請求の範囲の「第2表示部」の一例である。また、音声通信装置36は、特許請求の範囲の「第2音声通信部」の一例である。
【0028】
図1および図4に示すように、指導医側操作装置3は、外部ネットワークNを介して送信された内視鏡画像(図7参照)を表示するタッチパネル表示装置51と、音声通信装置26と音声通信を行うため、スコープ型表示装置34よりもタッチパネル表示装置51の近くに配置された音声通信装置52とを備える。なお、タッチパネル表示装置51は、特許請求の範囲の「第3表示部」の一例である。また、制御装置43は、特許請求の範囲の「制御装置」の一例である。音声通信装置52は、特許請求の範囲の「第3音声通信部」の一例である。
【0029】
タッチパネル表示装置51と音声通信装置52とは、指導医側操作装置本体3aとは独立したユニットとして、指導医側操作装置本体3aの近くに配置されている。タッチパネル表示装置51は、たとえば、タッチパネル機能を有する表示装置である。また、タッチパネル表示装置51は、フラットパネル表示装置または湾曲パネル表示装置である。指導医A2は、指またはタッチパネル用のペンなどを使用して、タッチパネル表示装置51に指示入力を受け付けさせることにより、指導用の画像を生成させる。指導用の画像は、たとえば、線、円または矢印などであり得る。
【0030】
図4および図5に示すように、音声通信装置26、音声通信装置36および音声通信装置52は、それぞれマイクロフォン(261、361、521)とスピーカー(262、362、522)とを含む。マイクロフォン261(361、521)は、音声入力を受け付ける。スピーカー262(362、522)は、音声を出力する。また、図5に示すように、スピーカー262(362)は、操作者(医師A1または指導医A2)がスコープ型表示装置24(34)を覗き込んだ状態で操作者の耳に近い位置に配置されている。また、マイクロフォン261(361)は、操作者(医師A1または指導医A2)がスコープ型表示装置24(34)を覗き込んだ状態で操作者の口に近い位置に配置されている。また、マイクロフォン261(361)およびスピーカー262(362)は、スコープ型表示装置24(34)に一体的に配置されている。
【0031】
音声通信装置52は、タッチパネル表示装置51に一体的に配置されている。音声通信装置52は、たとえば、マイクロフォン521およびスピーカー522がタッチパネル表示装置51に内蔵されている。なお、図1では、タッチパネル表示装置51と音声通信装置52とを別々に図示している。
【0032】
また、医師側操作装置2は、指導医側操作装置3と同様のユニットを備える。すなわち、医師側操作装置2は、内視鏡画像(図7参照)を表示するタッチパネル表示装置61と、音声通信装置36および52と音声通信を行うため、スコープ型表示装置24よりもタッチパネル表示装置61の近くに配置された音声通信装置62と、を備える。タッチパネル表示装置61を設けることにより、術中に医師A1と指導医A2との間で双方向にアノテーションを行うことができる。
【0033】
タッチパネル表示装置61と音声通信装置62とは、医師側操作装置本体2aとは独立したユニットとして、医師側操作装置本体2aの近くに配置されている。タッチパネル表示装置61は、たとえば、タッチパネル機能を有するフラットパネル表示装置または湾曲パネル表示装置である。
【0034】
また、音声通信装置62は、マイクロフォン621とスピーカー622とを含む。マイクロフォン621は、音声入力を受け付ける。スピーカー622は、音声を出力する。また、音声通信装置62は、タッチパネル表示装置61に一体的に配置されている。音声通信装置62は、たとえば、マイクロフォン621およびスピーカー622がタッチパネル表示装置61に内蔵されている。なお、図1では、タッチパネル表示装置61と音声通信装置62とを別々に図示している。
【0035】
図1および図4に示すように、情報共有装置4は、移動可能なモニタカートである。情報共有装置4は、内視鏡5(図2参照)で取得された内視鏡画像(図7参照)を表示するための表示装置41と、医師側操作装置2の音声通信装置26と音声通信を行うための音声通信装置42と、を備える。また、情報共有装置4は、医師側操作装置2よりも外科手術ロボット1の近くに配置される。これにより、外科手術ロボット1の近くに手術スタッフとして配置された助手A3が、内視鏡画像を確認したり、医師A1と対話することができる。また、音声通信装置42は、音声通信装置36および音声通信装置52の両方と音声通信を行うことが可能である。これにより、外科手術ロボット1の近くに手術スタッフとして配置された助手A3と医師A1との対話を、指導医A2および臨床工学技士A4にも聞かせることができる。また、助手A3が指導医A2および臨床工学技士A4と対話することもできる。また、音声通信装置42は、マイクロフォン421とスピーカー422とを含む。マイクロフォン421は、音声入力を受け付ける。スピーカー422は、音声を出力する。また、表示装置41は、たとえば、フラットパネル表示装置または湾曲パネル表示装置である。
【0036】
また、情報共有装置4には、制御装置43が配置されている。制御装置43は、画像処理を行う。制御装置43は、プログラムを実行するCPUなどの処理部と、プログラムが格納されたメモリなどの記憶部とを含んでいる。また、制御装置43は、第1施設B1に配置されている。
【0037】
なお、制御装置43は、スコープ型表示装置24、スコープ型表示装置34、表示装置41、タッチパネル表示装置51、および、タッチパネル表示装置61の各表示装置に、同じ画像を表示する。すなわち、スコープ型表示装置24、スコープ型表示装置34、表示装置41、タッチパネル表示装置51、および、タッチパネル表示装置61の各表示装置には、同じ内視鏡画像が表示される。
【0038】
図3図5に示すように、指導医側操作装置3は、上記のように、スコープ型表示装置34が覗き込まれている使用状態であるか否かを検出するセンサ37を備える。制御装置16は、センサ37によって使用状態が検出されていない場合に、操作ハンドル31によるマニピュレータアーム11および12の操作を禁止し、センサ37によって使用状態が検出されている場合に、操作ハンドル31によるマニピュレータアーム11および12の操作を許可する。制御装置16は、センサ37によって使用状態が検出されていない場合に、操作ハンドル31による入力を受け付けないことにより、マニピュレータアーム11および12の操作を禁止する。また、制御装置16は、センサ37によって使用状態が検出されている場合に、操作ハンドル31による所定の入力を受け付けることにより、操作ハンドル31にマニピュレータアーム12を操作可能に接続する。
【0039】
なお、医師側操作装置2についても同様である。すなわち、制御装置16は、センサ27によって使用状態が検出されていない場合に、操作ハンドル21によるマニピュレータアーム11および12の操作を禁止し、センサ27によって使用状態が検出されている場合に、操作ハンドル21による所定の入力を受け付けることにより、操作ハンドル21にマニピュレータアーム12を操作可能に接続する。
【0040】
医師側操作装置2および指導医側操作装置3は、外科手術ロボット1を操作するための操作権限を切り替える切替部を備える。切替部は、アームレスト25および35に配置されている。切替部は、アームレスト25(35)に配置されたタッチパネル23(33)である。これにより、アームレスト25(35)に配置されたタッチパネル23(33)の操作により、外科手術ロボット1の操作を医師側操作装置2および指導医側操作装置3の間でより容易に切り替えることができる。また、切替部は、操作ハンドル21(31)に切り替えスイッチとして設けられていてもよい。これにより、操作ハンドル21または操作ハンドル31に設けられた切替スイッチにより、外科手術ロボット1の操作を医師側操作装置2および指導医側操作装置3の間でより容易に切り替えることができる。
【0041】
図5に示すように、第1施設B1に設置された外科手術ロボット1、医師側操作装置2および情報共有装置4と、第2施設B2に設置された指導医側操作装置3とは、外部ネットワークNを介して接続されている。具体的には、第1施設B1には、情報共有装置4により生成された画像を送信可能なデータに変換するエンコーダ71と、ハブ72と、ルータ73とが設けられている。また、第2施設B2には、送信されたデータを画像に復元するデコーダ81と、ハブ82と、ルータ83とが設けられている。
【0042】
内視鏡5により取得した画像は、情報共有装置4に入力される。情報共有装置4では、図7に示されるように表示エリアg1、g2、g3、g4およびg5を有するグラフィカルユーザインターフェースG1を生成し、内視鏡の画像に重畳する。表示エリアg1は、操作ハンドル21Rで操作されている手術器具6の情報を表示し、表示エリアg2は、交換用手術器具6の情報を表示し、表示エリアg3は、操作ハンドル21Lで操作されている手術器具6の情報を表示し、表示エリアg4は、カメラペダルの操作の情報を表示し、表示エリアg5は、クラッチペダルの操作の情報を表示する。情報共有装置4によりグラフィカルユーザインターフェースG1の重畳された内視鏡の画像は、表示装置41に表示されるとともに、医師側操作装置2に送られてスコープ型表示装置24に表示される。また、情報共有装置4により生成されたグラフィカルユーザインターフェースG1が重畳された内視鏡の画像は、エンコーダ71に送られて送信可能なデータに変換される。エンコーダ71により変換されたデータは、ハブ72およびルータ73を介して、外部ネットワークNにより第2施設B2に送られる。第2施設B2では、変換されたデータは、ルータ83およびハブ82を介してデコーダ81に送られる。デコーダ81では、受信したデータを復元してグラフィカルユーザインターフェースG1が重畳された内視鏡の画像にして、指導医側操作装置3に送られてスコープ型表示装置34に表示される。
【0043】
第1施設B1の医師側操作装置2による操作により、操作に基づく信号が外科手術ロボット1に送られて、手術器具6および内視鏡5が動作する。
【0044】
第2施設B2の指導医側操作装置3による操作により、操作に基づく信号が、ハブ82、ルータ83、外部ネットワークN、ルータ73、ハブ72を介して、外科手術ロボット1に送られて、手術器具6および内視鏡5が動作する。
【0045】
また、第1施設B1に設置された医師側操作装置2、情報共有装置4および音声通信装置62と、第2施設B2に設置された指導医側操作装置3および音声通信装置52との間の音声通信は、ハブ72、ルータ73、外部ネットワークN、ルータ83およびハブ82を介して、情報が送受信される。
【0046】
ここで、本実施形態では、制御装置16は、指導医側操作装置3と外科手術ロボット1との間の通信の状態を取得する。そして、図7図14に示すように、制御装置43は、制御装置16により取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースG1を生成し、内視鏡画像に重畳してスコープ型表示装置34に表示する。
【0047】
これにより、外部ネットワークNを介して指導医側操作装置3と外科手術ロボット1とを遠隔により接続した場合に、通信状態により操作の遅延などが生じる場合でも、スコープ型表示装置34に表示される通信の状態に関する情報を含むグラフィカルユーザインターフェースG1により、通信の状態を指導医A2が容易に確認することができる。その結果、指導医A2が指導医側操作装置3と外科手術ロボット1との間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置3から外科手術ロボット1の操作を行うことができる。例えば、操作の遅延が生じている場合、指導医A2は、どの程度遅延が生じているかをグラフィカルユーザインターフェースG1により認識し、それを考慮しながら外科手術ロボット1の操作を行うことができる。
【0048】
また、制御装置43は、第1施設B1に配置されており、グラフィカルユーザインターフェースG1を重畳した内視鏡画像を、外部ネットワークNを介してスコープ型表示装置34に表示する。これにより、手術が行われている第1施設B1に配置された制御装置43により、グラフィカルユーザインターフェースG1を内視鏡画像に重畳する処理を行うので、内視鏡画像に対して遅延なくグラフィカルユーザインターフェースG1を重畳することができる。
【0049】
また、制御装置43は、グラフィカルユーザインターフェースG1を重畳した内視鏡画像を、医師側操作装置2のスコープ型表示装置24に表示する。これにより、指導医A2のみならず手術が行われている側の医師A1も、通信の状態を把握することができるので、指導医A2と医師A1との間において情報の認識の差が生じるのを抑制することができる。
【0050】
また、制御装置43は、グラフィカルユーザインターフェースG1を重畳した内視鏡画像を、第1施設B1のタッチパネル表示装置61および情報共有装置4の表示装置41および第2施設B2のタッチパネル表示装置51に表示する。これにより、第1施設B1の助手A3や臨床工学技士、第2施設B2の臨床工学技士も通信の状態を視覚的に把握することができる。
【0051】
通信の状態に関する情報を含むグラフィカルユーザインターフェースG1は、通信の遅延時間、通信の遅延の程度を表すアイコン、および、通信の遅延の程度を表す色による表示のうち少なくとも1つを含む。これにより、通信の遅延時間、通信の遅延の程度を表すアイコンまたは通信の遅延の程度を表す色により、指導医A2が通信の遅延の状態を容易に視覚的に把握することができる。
【0052】
たとえば、通信の状態に関する情報を含むグラフィカルユーザインターフェースG1は、図7に示すように、スコープ型表示装置34の画面の上方の中央付近のエリアG1aに表示される。
【0053】
たとえば、グラフィカルユーザインターフェースG1は、図8に示すように、通信の遅延時間を示す表示G2を、数値として表示してもよい。
【0054】
また、図9図11に示すように、遅延の程度を表す色の表示G3a、G3b、G3cは、遅延時間が許容値以下であることを示す第1の色(図9参照)と、遅延時間が許容値を第1の所定値以下の範囲で超えていることを示す第2の色(図10参照)と、遅延時間が許容値を第1の所定値よりも超えていることを示す第3の色(図11参照)と、を含んでいてもよい。これにより、通信の遅延時間に応じて段階的に表示される色が変わるので、指導医A2が現在の通信の遅延の程度を色により直感的に把握することができる。
【0055】
たとえば、遅延の程度が小さいことを示す第1の色を緑色や青色にして、遅延の程度が中程度であることを示す第2の色を黄色にして、遅延の程度が大きいことを示す第3の色を赤色にする。
【0056】
また、図12に示すように、通信の状態に関する情報は、遅延時間の経時変化を示す情報の表示G4を含んでいてもよい。これにより、遅延時間の経時変化の情報を確認することにより、通信の遅延の状態の傾向を指導医A2が容易に把握することができる。この場合、遅延時間の経時変化を示す情報は、遅延時間の傾向を示すグラフを含んでいてもよい。これにより、グラフ表示により、通信の遅延の状態の傾向を指導医A2が視覚的に容易に把握することができる。また、このグラフ表示において、図12に示すように、遅延の程度に応じて異なる色によりグラフを表示してもよい。
【0057】
また、図13に示すように、グラフィカルユーザインターフェースG1は、スコープ型表示装置34の画面を取り囲むエリアG1bに表示されてもよい。
【0058】
また、図14に示すように、グラフィカルユーザインターフェースG1は、スコープ型表示装置34の画面の上辺近傍のエリアG1cに表示されてもよい。
【0059】
制御装置16は、指導医側操作装置3と外科手術ロボット1との間の通信の状態を、ハブ72(82)の通信状態を監視する装置から取得してもよい。また、制御装置16は、指導医側操作装置3と外科手術ロボット1との間の通信の状態を、ルータ73(83)から取得してもよい。また、制御装置16は、指導医側操作装置3と外科手術ロボット1との間の通信の状態を、デコーダ81から取得してもよい。
【0060】
(通信状態取得処理)
たとえば、制御装置16は、図15に示す通信状態取得処理により、ルータ83により回線性能情報を取得するように制御する。
【0061】
図15のステップS1において、ルータ83からPingコマンドをルータ73に送信する。Pingコマンドを送信する際に、以下のオプションを設定してもよい。なお、オプションの設定は、固定ではなく変更することも可能である。オプションの設定は、たとえば、送信先(ルータ73)、繰り返し回数、繰り返し間隔(ミリ秒単位)、計測用パケットの内容、および、計測用パケットのサイズ(バイト単位)を含む。
【0062】
ステップS2において、Pingコマンドの結果をルータ73が受信する。ステップS3において、ルータ73により受信結果の加工が行われる。受信結果が加工されたデータは、たとえば、計測日、計測時間、平均パフォーマンス値、パケットの損失値が含まれる。
【0063】
ステップS4において、通信状態が制御装置16に送信される。これにより、制御装置16が通信状態を取得する。
【0064】
(本実施形態の効果)
本実施形態では、以下のような効果を得ることができる。
【0065】
本実施形態では、上記のように、制御装置16は、指導医側操作装置3と外科手術ロボット1との間の通信の状態を取得する。制御装置43は、制御装置16により取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースG1を内視鏡画像に重畳して第2施設B2のスコープ型表示装置34に表示する。これにより、外部ネットワークNを介して指導医側操作装置3と外科手術ロボット1とを遠隔により接続した場合に、通信状態により操作の遅延などが生じる場合でも、スコープ型表示装置34に表示される通信の状態に関する情報を含むグラフィカルユーザインターフェースG1により、通信の状態を指導医A2が容易に確認することができる。その結果、指導医A2が指導医側操作装置3と外科手術ロボット1との間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置3から外科手術ロボット1の操作を行うことができる。
【0066】
(変形例)
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
【0067】
たとえば、上記実施形態では、医師側操作装置と指導医側操作装置との両方が、タッチパネル表示装置および音声通信装置を備える例を示したが、本発明はこれに限られない。たとえば、指導医側操作装置のみが、タッチパネル表示装置および音声通信装置を備えていてもよい。
【0068】
また、上記実施形態では、複数の制御装置により、本発明の制御処理を行う例を示したが、本発明はこれに限られない。たとえば、1つの制御装置により、本発明の制御処理を行ってもよい。
【0069】
また、上記実施形態では、本発明の第1表示部および第2表示部として、スコープ型表示装置を設ける例を示したが、本発明はこれに限られない。たとえば、本発明の第1表示部および第2表示部として、スコープ型表示装置以外の湾曲パネル表示装置またはフラットパネル表示装置などを設けてもよい。
【0070】
また、上記実施形態では、医師側操作装置および指導医側操作装置の両方に、外科手術ロボットを操作するための操作権限を切り替える切替部が設けられている構成の例を示したが、本発明はこれに限られない。本発明では、たとえば、医師側操作装置および指導医側操作装置の一方に、外科手術ロボットを操作するための操作権限を切り替える切替部が設けられていてもよい。
【0071】
また、上記実施形態では、通信の状態に関する情報を含むグラフィカルユーザインターフェースG1を表示することにより通信の状態を通知する例を示したが、本発明はこれに限られない。たとえば、通信の状態に関する情報を含むグラフィカルユーザインターフェースG1の表示に加えて、音声通信装置36を使用して音や音声メッセージで通信の状態を通知してもよい。音で通知する場合は、「ピー」、「ピピー」、「ピピピー」のように段階分けをすることで通信の遅延具合を通知し、音声で通知する場合は「回線の遅延が大きくなっております」などのメッセージを流すことで、指導医A2に通知するとともにその周囲にいる臨床工学技士A4にも通知することができる。さらに、音声通信装置26および音声通信装置42を使用して音や音声メッセージで通信の状態を医師A1や助手A3に通知してもよい。また、通信の状態に関する情報を含むグラフィカルユーザインターフェースG1の表示に加えて、操作ハンドル31や操作ハンドル21を振動させて通信の状態を通知してもよい。振動で通知する場合は、振動の大きさを段階分けすることで通信の遅延具合を通知することができる。
【0072】
また、上記実施形態では、情報共有装置の音声通信装置を設けて、音声通信を行う構成の例を示したが、本発明はこれに限られない。本発明では、外科手術ロボットに音声通信装置を設けて、音声通信を行ってもよい。
【0073】
また、上記実施形態では、第2施設B2に指導医側操作装置3を設置する例を示したが、本発明はこれに限られない。本発明では、第2施設B2に医師側操作装置と外科手術ロボットを配置し、モード選択より通常モードが選択された場合は、第2施設B2の医師側操作装置によって第2施設B2の外科手術ロボットを操作するようにし、モード選択より遠隔モードが選択された場合は、第2施設B2の医師側操作装置を指導医側操作装置として機能させ、第2施設B2の医師側操作装置によって第1施設B1の外科手術ロボットを操作するようにしても良い。
【0074】
[態様]
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
【0075】
(項目1)
第1施設に設置され、内視鏡を保持する第1マニピュレータアームと手術器具を保持する第2マニピュレータアームとを含む外科手術ロボットと、
前記第1施設に設置され、医師が前記第1マニピュレータアームおよび前記第2マニピュレータアームを操作するための医師側操作装置と、
前記第1施設とは異なる第2施設に設置され、外部ネットワークを介して前記外科手術ロボットを指導医が操作するための指導医側操作装置と、
1つまたは複数の制御装置と、を備え、
前記医師側操作装置は、前記内視鏡により取得した内視鏡画像を表示するための第1表示部と、前記第1マニピュレータアームおよび前記第2マニピュレータアームを操作するための第1操作ハンドルと、を含み、
前記指導医側操作装置は、前記外部ネットワークを介して送信された前記内視鏡画像を表示するための第2表示部と、前記第1マニピュレータアームおよび前記第2マニピュレータアームを操作するための第2操作ハンドルと、を含み、
前記制御装置は、前記指導医側操作装置と前記外科手術ロボットとの間の通信の状態を取得し、取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースを前記内視鏡画像に重畳して前記第2表示部に表示するように構成されている、遠隔手術支援システム。
【0076】
(項目2)
前記通信の状態に関する情報を含むグラフィカルユーザインターフェースは、通信の遅延時間、通信の遅延の程度を表すアイコン、および、通信の遅延の程度を表す色による表示のうち少なくとも1つを含む、項目1に記載の遠隔手術支援システム。
【0077】
(項目3)
前記遅延の程度を表す色は、前記遅延時間が許容値以下であることを示す第1の色と、前記遅延時間が前記許容値を第1の所定値以下の範囲で超えていることを示す第2の色と、前記遅延時間が前記許容値を前記第1の所定値よりも超えていることを示す第3の色と、を含む、項目2に記載の遠隔手術支援システム。
【0078】
(項目4)
前記通信の状態に関する情報は、遅延時間の経時変化を示す情報を含む、項目1~3のいずれか1項に記載の遠隔手術支援システム。
【0079】
(項目5)
前記遅延時間の経時変化を示す情報は、遅延時間の傾向を示すグラフを含む、項目4に記載の遠隔手術支援システム。
【0080】
(項目6)
前記制御装置は、前記第1施設に配置されており、前記グラフィカルユーザインターフェースを重畳した前記内視鏡画像を、前記外部ネットワークを介して前記第2表示部に表示する、項目1~5のいずれか1項に記載の遠隔手術支援システム。
【0081】
(項目7)
前記制御装置は、前記グラフィカルユーザインターフェースを重畳した前記内視鏡画像を、前記第1表示部に表示する、項目6に記載の遠隔手術支援システム。
【0082】
(項目8)
前記医師側操作装置および前記指導医側操作装置のうち少なくとも1つは、前記外科手術ロボットを操作するための操作権限を切り替える切替部を含む、項目1~7のいずれか1項に記載の遠隔手術支援システム。
【0083】
(項目9)
前記切替部は、前記第1操作ハンドルおよび前記第2操作ハンドルのうち少なくとも1つに設けられた切替えスイッチを有する、項目8に記載の遠隔手術支援システム。
【0084】
(項目10)
前記医師側操作装置および前記指導医側操作装置のうち少なくとも1つは、アームレストを含み、
前記切替部は、前記アームレストに配置されたタッチパネルを有する、項目8または9に記載の遠隔手術支援システム。
【0085】
(項目11)
前記第2施設に配置され、前記内視鏡により取得され、前記外部ネットワークを介して送信された前記内視鏡画像を表示するための第3表示部をさらに備え、
前記第1表示部および前記第2表示部は没入型のスコープ型表示装置であり、前記第3表示部は、フラットパネル表示装置または湾曲パネル表示装置である、項目1~10のいずれか1項に記載の遠隔手術支援システム。
【0086】
(項目12)
前記医師側操作装置は、第1音声通信部をさらに含み、
前記指導医側操作装置は、前記第1音声通信部と音声通信を行うための第2音声通信部および第3音声通信部をさらに含み、
前記第3音声通信部は、前記第2音声通信部よりも前記第3表示部に近い位置に配置され、
前記第2音声通信部は、前記第3音声通信部よりも前記第2表示部に近い位置に配置される、項目11に記載の遠隔手術支援システム。
【0087】
(項目13)
前記制御装置は、少なくとも第2音声通信部に、前記通信の状態に対応した音または音声メッセージを通知する、項目12に記載の遠隔手術支援システム。
【0088】
(項目14)
前記制御装置は、前記通信の状態に対応して少なくとも第2操作ハンドルを振動させることにより、前記通信の状態を通知する、項目1~13のいずれか1項に記載の遠隔手術支援システム。
【0089】
(項目15)
第1施設に設置された医師側操作装置と外科手術ロボットとを含む手術システムの前記外科手術ロボットを、外部ネットワークを介して操作するために、前記第1施設とは異なる第2施設に設置された指導医側操作装置であって、
前記外科手術ロボットは、内視鏡を保持する第1マニピュレータアームと、手術器具を保持する第2マニピュレータアームとを含み、
前記医師側操作装置は、前記内視鏡により取得した内視鏡画像を表示するための第1表示部と、前記第1マニピュレータアームおよび前記第2マニピュレータアームを操作するための第1操作ハンドルと、を含み、
前記指導医側操作装置は、前記外部ネットワークを介して送信された前記内視鏡画像を表示するための第2表示部と、前記第1マニピュレータアームおよび前記第2マニピュレータアームを操作するための第2操作ハンドルと、を備え、
前記第2表示部は、前記指導医側操作装置と前記外科手術ロボットとの間の通信の状態に関する情報を含むグラフィカルユーザインターフェースが重畳された前記内視鏡画像を表示する、指導医側操作装置。
【符号の説明】
【0090】
1 外科手術ロボット
2 医師側操作装置
3 指導医側操作装置
5 内視鏡
6 手術器具
11 マニピュレータアーム(第1マニピュレータアーム)
12 マニピュレータアーム(第2マニピュレータアーム)
16 制御装置
21 操作ハンドル(第1操作ハンドル)
23 タッチパネル(切替部)
25 アームレスト
24 スコープ型表示装置(第1表示部)
26 音声通信装置(第1音声通信部)
31 操作ハンドル(第2操作ハンドル)
33 タッチパネル(切替部)
34 スコープ型表示装置(第2表示部)
35 アームレスト
36 音声通信装置(第2音声通信部)
43 制御装置(制御装置)
51 タッチパネル表示装置(第3表示部)
52 音声通信装置(第3音声通信部)
100 遠隔手術支援システム
A1 医師
A2 指導医
B1 第1施設
B2 第2施設
G1 グラフィカルユーザインターフェース
N 外部ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
【手続補正書】
【提出日】2023-09-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第1手術器具を保持する第1マニピュレータアーム、第2手術器具を保持する第2マニピュレータアーム、内視鏡を保持する第3マニピュレータアーム、および、医師が前記第1~第3マニピュレータアームを操作するための医師側操作装置を備えており、第1施設に設置された手術システムと、
前記第1施設とは異なる第2施設に設置され、外部ネットワークを介して前記第1~第3マニピュレータアームを指導医が操作するための指導医側操作装置と、
1つまたは複数の制御装置と、を備え、
前記医師側操作装置は、前記内視鏡により取得した内視鏡画像を表示するための第1表示部を含み、
前記指導医側操作装置は、前記外部ネットワークを介して送信された前記内視鏡画像を表示するための第2表示部を含み、
前記制御装置は、前記指導医側操作装置と前記手術システムとの間の通信の状態を取得し、取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースを前記内視鏡画像に重畳して前記第2表示部に表示するように構成されている、遠隔手術支援システム。
【請求項2】
前記通信の状態に関する情報を含むグラフィカルユーザインターフェースは、通信の遅延時間、通信の遅延の程度を表すアイコン、および、通信の遅延の程度を表す色による表示のうち少なくとも1つを含む、請求項1に記載の遠隔手術支援システム。
【請求項3】
前記遅延の程度を表す色は、前記遅延時間が許容値以下であることを示す第1の色と、前記遅延時間が前記許容値を第1の所定値以下の範囲で超えていることを示す第2の色と、前記遅延時間が前記許容値を前記第1の所定値よりも超えていることを示す第3の色と、を含む、請求項2に記載の遠隔手術支援システム。
【請求項4】
前記通信の状態に関する情報は、遅延時間の経時変化を示す情報を含む、請求項1に記載の遠隔手術支援システム。
【請求項5】
前記遅延時間の経時変化を示す情報は、遅延時間の傾向を示すグラフを含む、請求項4に記載の遠隔手術支援システム。
【請求項6】
前記制御装置は、前記第1施設に配置されており、前記グラフィカルユーザインターフェースを重畳した前記内視鏡画像を、前記外部ネットワークを介して前記第2表示部に表示する、請求項1に記載の遠隔手術支援システム。
【請求項7】
前記制御装置は、前記グラフィカルユーザインターフェースを重畳した前記内視鏡画像を、前記第1表示部に表示する、請求項6に記載の遠隔手術支援システム。
【請求項8】
前記医師側操作装置および前記指導医側操作装置のうち少なくとも1つは、前記第1~第3マニピュレータアームを操作するための操作権限を切り替える切替部を含む、請求項1に記載の遠隔手術支援システム。
【請求項9】
前記第2施設に配置され、前記内視鏡により取得され、前記外部ネットワークを介して送信された前記内視鏡画像を表示するための第3表示部をさらに備え、
前記第1表示部および前記第2表示部は没入型のスコープ型表示装置であり、前記第3表示部は、フラットパネル表示装置または湾曲パネル表示装置である、請求項1に記載の遠隔手術支援システム。
【請求項10】
前記医師側操作装置は、第1音声通信部をさらに含み、
前記指導医側操作装置は、前記第1音声通信部と音声通信を行うための第2音声通信部および第3音声通信部をさらに含み、
前記第3音声通信部は、前記第2音声通信部よりも前記第3表示部に近い位置に配置され、
前記第2音声通信部は、前記第3音声通信部よりも前記第2表示部に近い位置に配置される、請求項に記載の遠隔手術支援システム。
【請求項11】
前記制御装置は、少なくとも前記第2音声通信部に、前記通信の状態に対応した音または音声メッセージを通知する、請求項10に記載の遠隔手術支援システム。
【請求項12】
前記医師側操作装置は、前記第1~第3マニピュレータアームを操作するための複数の第1操作ハンドルを備えており、
前記指導医側操作装置は、前記指導医が前記第1~第3マニピュレータアームを操作するための複数の第2操作ハンドルを備えており、
前記制御装置は、前記通信の状態に対応して少なくとも前記第2操作ハンドルを振動させることにより、前記通信の状態を通知する、請求項1に記載の遠隔手術支援システム。
【請求項13】
前記手術システムは、前記第1~第3マニピュレータアームを支持する外科手術ロボットを備える、請求項1に記載の遠隔手術支援システム。
【請求項14】
医師側操作装置と、第1手術器具を保持する第1マニピュレータアームと、第2手術器具を保持する第2マニピュレータアームと、内視鏡を保持する第3マニピュレータアームとを含み、第1施設に設置された手術システムの前記第1~第3マニピュレータアームを、外部ネットワークを介して操作するために、前記第1施設とは異なる第2施設に設置された指導医側操作装置であって、
記医師側操作装置は、前記内視鏡により取得した内視鏡画像を表示するための第1表示部を含み、
前記指導医側操作装置は、前記外部ネットワークを介して送信された前記内視鏡画像を表示するための第2表示部を備え、
前記第2表示部は、前記指導医側操作装置と前記手術システムとの間の通信の状態に関する情報を含むグラフィカルユーザインターフェースが重畳された前記内視鏡画像を表示する、指導医側操作装置。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0006
【補正方法】変更
【補正の内容】
【0006】
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、指導医が指導医側操作装置と手術システムとの間の通信の状態を把握しながら、指導医が通信の状態に合わせて遠隔により指導医側操作装置から手術システムの操作を行うことが可能な遠隔手術支援システムおよび指導医側操作装置を提供することである。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
この発明の第1の局面による遠隔手術支援システムは、第1手術器具を保持する第1マニピュレータアーム、第2手術器具を保持する第2マニピュレータアーム、内視鏡を保持する第3マニピュレータアーム、および、医師が第1~第3マニピュレータアームを操作するための医師側操作装置を備えており、第1施設に設置された手術システムと、第1施設とは異なる第2施設に設置され、外部ネットワークを介して第1~第3マニピュレータアームを指導医が操作するための指導医側操作装置と、1つまたは複数の制御装置と、を備え、医師側操作装置は、内視鏡により取得した内視鏡画像を表示するための第1表示部を含み、指導医側操作装置は、外部ネットワークを介して送信された内視鏡画像を表示するための第2表示部を含み、制御装置は、指導医側操作装置と手術システムとの間の通信の状態を取得し、取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースを内視鏡画像に重畳して第2表示部に表示するように構成されている。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】変更
【補正の内容】
【0008】
この発明の第1の局面による遠隔手術支援システムでは、上記のように、制御装置は、指導医側操作装置と手術システムとの間の通信の状態を取得し、取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースを内視鏡画像に重畳して第2表示部に表示する。これにより、外部ネットワークを介して指導医側操作装置と手術システムとを遠隔により接続した場合に、通信状態により操作の遅延などが生じる場合でも、第2表示部に表示される通信の状態に関する情報を含むグラフィカルユーザインターフェースにより、通信の状態を指導医が容易に確認することができる。その結果、指導医が指導医側操作装置と手術システムとの間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置から手術システムの操作を行うことができる。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0009
【補正方法】変更
【補正の内容】
【0009】
この発明の第2の局面による指導医側操作装置は、医師側操作装置と、第1手術器具を保持する第1マニピュレータアームと、第2手術器具を保持する第2マニピュレータアームと、内視鏡を保持する第3マニピュレータアームとを含み、第1施設に設置された手術システムの前記第1~第3マニピュレータアームを、外部ネットワークを介して操作するために、第1施設とは異なる第2施設に設置された指導医側操作装置であって、医師側操作装置は、内視鏡により取得した内視鏡画像を表示するための第1表示部を含み、指導医側操作装置は、外部ネットワークを介して送信された内視鏡画像を表示するための第2表示部を備え、第2表示部は、指導医側操作装置と手術システムとの間の通信の状態に関する情報を含むグラフィカルユーザインターフェースが重畳された内視鏡画像を表示する。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0010
【補正方法】変更
【補正の内容】
【0010】
この発明の第2の局面による指導医側操作装置では、上記のように、第2表示部は、指導医側操作装置と手術システムとの間の通信の状態に関する情報を含むグラフィカルユーザインターフェースが重畳された内視鏡画像を表示する。これにより、外部ネットワークを介して指導医側操作装置と手術システムとを遠隔により接続した場合に、通信状態により操作の遅延などが生じる場合でも、第2表示部に表示される通信の状態に関する情報を含むグラフィカルユーザインターフェースにより、通信の状態を指導医が容易に確認することができる。その結果、指導医が指導医側操作装置と手術システムとの間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置から手術システムの操作を行うことができる。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0011
【補正方法】変更
【補正の内容】
【0011】
本発明によれば、指導医が指導医側操作装置と手術システムとの間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置から手術システムの操作を行うことができる。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0016
【補正方法】変更
【補正の内容】
【0016】
図2に示すように、外科手術ロボット1は、内視鏡5を保持する1つのマニピュレータアーム11と、手術器具6を保持する複数(3つ)のマニピュレータアーム12とを備える。内視鏡5は、患者Pの内部の手術部位を撮像する。手術器具6は、鉗子などのエンドエフェクタが先端に取り付けられている。また、医師側操作装置2および指導医側操作装置3は、マニピュレータアーム11および12を操作するために設けられている。なお、マニピュレータアーム11は、「第3マニピュレータアーム」の一例であり、マニピュレータアーム12は、特許請求の範囲の「第1マニピュレータアーム」および「第2マニピュレータアーム」の一例である。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0041
【補正方法】変更
【補正の内容】
【0041】
に示すように、第1施設B1に設置された外科手術ロボット1、医師側操作装置2および情報共有装置4と、第2施設B2に設置された指導医側操作装置3とは、外部ネットワークNを介して接続されている。具体的には、第1施設B1には、情報共有装置4により生成された画像を送信可能なデータに変換するエンコーダ71と、ハブ72と、ルータ73とが設けられている。また、第2施設B2には、送信されたデータを画像に復元するデコーダ81と、ハブ82と、ルータ83とが設けられている。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】0090
【補正方法】変更
【補正の内容】
【0090】
1 外科手術ロボット
2 医師側操作装置
3 指導医側操作装置
5 内視鏡
6 手術器具
11 マニピュレータアーム(第マニピュレータアーム)
12 マニピュレータアーム(第1マニピュレータアーム、第2マニピュレータアーム)
16 制御装置
21 操作ハンドル(第1操作ハンドル)
23 タッチパネル(切替部)
25 アームレスト
24 スコープ型表示装置(第1表示部)
26 音声通信装置(第1音声通信部)
31 操作ハンドル(第2操作ハンドル)
33 タッチパネル(切替部)
34 スコープ型表示装置(第2表示部)
35 アームレスト
36 音声通信装置(第2音声通信部)
43 制御装置(制御装置)
51 タッチパネル表示装置(第3表示部)
52 音声通信装置(第3音声通信部)
100 遠隔手術支援システム
A1 医師
A2 指導医
B1 第1施設
B2 第2施設
G1 グラフィカルユーザインターフェース
N 外部ネットワーク