特開 2023-183966 手術用ロボットを用いた手術画像の提供方法および情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023183966

(43)【公開日】2023-12-28

(54)【発明の名称】手術用ロボットを用いた手術画像の提供方法および情報処理システム

(51)【国際特許分類】

   A61B 34/10 20160101AFI20231221BHJP

   A61B 34/35 20160101ALI20231221BHJP

【ＦＩ】

A61B34/10

A61B34/35

【審査請求】未請求

【請求項の数】24

【出願形態】ＯＬ

(21)【出願番号】P 2022097809

(22)【出願日】2022-06-17

(71)【出願人】

【識別番号】390014960

【氏名又は名称】シスメックス株式会社

(74)【代理人】

【識別番号】100111383

【弁理士】

【氏名又は名称】芝野 正雅

(74)【代理人】

【識別番号】100170922

【弁理士】

【氏名又は名称】大橋 誠

(72)【発明者】

【氏名】大橋 政尚

(72)【発明者】

【氏名】北山 豊

(72)【発明者】

【氏名】石野 恵子

(72)【発明者】

【氏名】池田 有沙

(57)【要約】

【課題】手術用ロボットまたは手術器具の動作と、そのための操作対象の操作とを容易かつ正確に確認できる手術用ロボットを用いた手術画像の提供方法および情報処理システムを提供する。
【解決手段】手術用ロボットを用いた手術画像の提供方法において、オペレータが操作装置２の操作対象を操作することによって変化する操作対象の状態を示す状態ログを取得し、状態ログに基づいて、操作対象に対するオペレータの操作を視覚化した再構成画像を生成し、手術用ロボットまたは手術器具の動作を示す動作画像と、再構成画像とを関連付けた手術画像を提供する。
【選択図】図９

【特許請求の範囲】

【請求項1】

手術器具が取り付けられたアーム装置と、前記アーム装置を駆動するためにオペレータが操作する操作装置とを備えた手術用ロボットによる手術の画像を提供する手術用ロボットを用いた手術画像の提供方法であって、
前記オペレータが前記操作装置の操作対象を操作することによって変化する前記操作対象の状態を示す状態ログを取得し、
前記状態ログに基づいて、前記操作対象に対する前記オペレータの操作を視覚化した再構成画像を生成し、
前記手術用ロボットまたは前記手術器具の動作を示す動作画像と、前記再構成画像とを関連付けた手術画像を提供する、手術用ロボットを用いた手術画像の提供方法。

【請求項2】

前記操作対象は、前記オペレータの操作に応じて移動され、
前記状態ログは、前記操作対象の状態を検知する状態検知器の出力に基づく情報を含む、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項3】

前記操作対象は、前記オペレータの操作に応じて移動され、
前記再構成画像は、前記オペレータの操作による前記操作対象の移動の度合いを模式的に示す模式画像を含む、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項4】

前記模式画像は、前記操作対象が移動する平面上の前記操作対象を模式化した画像である、
請求項３に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項5】

前記操作対象は、前記オペレータの操作に応じて移動され、
前記再構成画像は、前記オペレータの操作による前記操作対象の移動の度合いを数値で示す画像を含む、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項6】

前記手術器具は電気器具を含み、
前記操作対象は、前記アーム装置に取り付けられた前記電気器具への通電および非通電を切り替える操作子を含み、
前記状態ログは、前記操作子による通電および非通電の切り替えを示す情報を含み、
前記再構成画像は、前記操作子が操作されていた期間を模式的に示す画像を含む、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項7】

前記操作対象は、前記オペレータが内視鏡画像を観察するための表示部を含み、
前記状態ログは、前記表示部への前記オペレータの接近を検知するセンサの出力に基づく情報を含み、
前記再構成画像は、前記表示部への前記オペレータの接近の継続期間および中断期間を模式的に示す画像を含む、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項8】

前記再構成画像は、前記操作対象に対する操作タイミングを模式的に示す画像を含む、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項9】

前記操作対象に対する操作準備の状態を検知するセンサからの出力に基づいて、前記操作準備の状態を模式的に示す第２の再構成画像を生成する工程をさらに含み、
前記手術画像において、前記動作画像と、前記第２の再構成画像とが関連付けられる、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項10】

前記操作対象に対する操作により駆動される前記アーム装置の動作部の動作ログを取得する工程と、
前記動作ログに基づいて前記動作部の駆動状態を視覚化した第３の再構成画像を生成する工程と、をさらに含み、
前記手術画像において、前記動作画像と、前記第３の再構成画像とが関連付けられる、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項11】

前記操作装置は、前記操作対象と、前記オペレータが前記操作対象に接触して操作することに連動して移動する第２の操作対象と、を含み、
前記動作画像は、前記状態ログに基づいて、前記操作対象および前記第２の操作対象の移動を全体的に視覚化した画像を含む、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項12】

全期間の前記動作画像のうち既に視聴された前記動作画像の部分および視聴回数を示す情報を提供する工程をさらに含む、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項13】

前記手術器具は鉗子を含み、
前記操作対象は、前記アーム装置に取り付けられた前記鉗子の先端を開閉させるための操作部である、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項14】

前記アーム装置に対する前記鉗子の着脱を検出するセンサの出力に基づいて、前記鉗子の装着の有無を時系列で示す情報を提供する工程をさらに含む、
請求項１３に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項15】

前記アーム装置に装着されている前記手術器具の種類を示す情報を提供する工程をさらに含む、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項16】

前記操作対象は、前記操作装置のフットペダルである、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項17】

前記フットペダルは、右足用のフットペダル、および、左足用のフットペダルを含む、
請求項１６に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項18】

前記手術器具は鉗子を含み、
前記操作対象は、前記アーム装置を駆動して前記鉗子を動作させるためのハンドコントローラの操作部およびフットペダルを含み、
前記再構成画像は、前記操作部に対する操作を視覚化した第１画像と、前記フットペダルに対する操作を視覚化した第２画像と、を含み、
前記手術画像において、前記第１画像が前記第２画像よりも上方に配置される、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項19】

前記手術画像を提供する工程において、前記動作画像および前記再構成画像を経時的に変化させる、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項20】

前記手術画像を提供する工程において、前記動作画像と前記再構成画像とを互いに同期させる、
請求項１９に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項21】

経時的に変化する前記手術画像の表示中に任意の時点の指定を受け付ける工程と、
指定された時点の前記手術画像を自動的に保存する工程と、をさらに含む、
請求項１９に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項22】

経時的に変化する前記手術画像の表示中に任意の時点の指定を受け付ける工程と、
指定された時点の再生指示を受け付ける工程と、
前記再生指示に基づき前記指定された時点の前後所定の期間の前記手術画像を再生する工程と、をさらに含む、
請求項１９に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項23】

前記手術画像において、前記動作画像と、前記アーム装置が設置された手術室、前記操作装置、患者の腹部、器材庫および前記手術室につながる廊下の少なくとも一つを撮影するカメラから得られる画像と、が関連付けられる、
請求項１に記載の手術用ロボットを用いた手術画像の提供方法。

【請求項24】

手術器具が取り付けられた手術用ロボットのアーム装置を駆動するためにオペレータが操作する操作装置の操作対象を前記オペレータが操作することによって変化する前記操作対象の状態を示す状態ログを記憶する記憶装置と、
前記記憶装置に記憶された前記状態ログに基づいて、前記操作対象に対する前記オペレータの操作を視覚化した再構成画像を生成し、前記手術用ロボットまたは前記手術器具の動作を示す動作画像と、前記再構成画像とを関連付けた手術画像を提供する情報処理装置と、を備える、情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手術用ロボットを用いた手術画像の提供方法および情報処理システムに関する。

【背景技術】

【0002】

従来、手術用ロボットを用いた外科手術が行われている。手術用ロボットは、コンソール（操作装置）と手術ロボットアーム（アーム装置）とを備える。手術ロボットアームには手術器具が装着されており、オペレータがコンソールを操作することによって手術ロボットアームおよび手術器具が動作する。患者が安心して手術を受けられるように、どのオペレータであってもコンソールを操作するスキルの熟練度を高めていけることが望ましい。

【0003】

以下の特許文献１には、手術室において行われる手術用ロボットを用いた外科手術の様子を深度カメラ（depth camera）により撮影および記憶し、手術後に撮像画像を模式化した画像を再生可能にしたシステムが記載されている。また特許文献１のシステムは、手術ロボットアームの状態、コンソールのハンドヘルド入力装置（handheld UID）の状態などの履歴をシステムデータとして記憶する。記憶されたシステムデータは、ロボットアームおよび手術器具の位置、向き、移動を再構成し、撮像画像を模式化するために使用される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０２１／２４７０５０号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１のシステムでは、手術用ロボットによる外科手術の様子を撮像した画像を模式化した画像を確認できるだけであり、オペレータがコンソールを手術中にどのように操作していたかを確認することは困難である。

【0006】

かかる課題に鑑み、本発明は、手術用ロボットまたは手術器具の動作と、そのための操作対象の操作とを容易かつ正確に確認できる手術用ロボットを用いた手術画像の提供方法および情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、手術器具（１２１～１２４）が取り付けられたアーム装置（１）と、アーム装置（１）を駆動するためにオペレータが操作する操作装置（２）とを備えた手術用ロボット（４）による手術の画像（４００）を提供する手術用ロボット（４）を用いた手術画像（４００）の提供方法であって、オペレータが操作装置（２）の操作対象（２２１、２３１～２３７、２１１）を操作することによって変化する操作対象（２２１、２３１～２３７、２１１）の状態を示す状態ログを取得し（Ｓ１）、状態ログに基づいて、操作対象（２２１、２３１～２３７、２１１）に対するオペレータの操作を視覚化した再構成画像（４３２ａ、４３２ｂ、４３４、４３５、４４０）を生成し（Ｓ２）、手術用ロボット（４）または手術器具（１２１～１２４）の動作を示す動作画像（４０１～４０４）と、再構成画像（４３２ａ、４３２ｂ、４３４、４３５、４４０）とを関連付けた手術画像（４００）を提供する（Ｓ５）。

【0008】

本発明の手術用ロボットを用いた手術画像の提供方法によれば、観察者は、動作画像と再構成画像とを参照することにより、手術用ロボットまたは手術器具の動作と、そのための操作対象の操作とを、容易かつ正確に確認できる。

【0009】

本発明の情報処理システム（５）は、手術器具（１２１～１２４）が取り付けられた手術用ロボット（４）のアーム装置（１）を駆動するためにオペレータが操作する操作装置（２）の操作対象（２２１、２３１～２３７、２１１）をオペレータが操作することによって変化する操作対象（２２１、２３１～２３７、２１１）の状態を示す状態ログを記憶する記憶装置（３１０）と、記憶装置（３１０）に記憶された状態ログに基づいて、操作対象（２２１、２３１～２３７、２１１）に対するオペレータの操作を視覚化した再構成画像（４３２ａ、４３２ｂ、４３４、４３５、４４０）を生成し、手術用ロボット（４）または手術器具（１２１～１２４）の動作を示す動作画像（４０１～４０４）と、再構成画像（４３２ａ、４３２ｂ、４３４、４３５、４４０）とを関連付けた手術画像（４００）を提供する情報処理装置（３２０）と、を備える。

【0010】

本発明の情報処理システムによれば、観察者は、動作画像と再構成画像とを参照することにより、手術用ロボットまたは手術器具の動作と、そのための操作対象の操作とを、容易かつ正確に確認できる。

【発明の効果】

【0011】

本発明によれば、手術用ロボットまたは手術器具の動作と、そのための操作対象の操作とを容易かつ正確に確認できる。

【図面の簡単な説明】

【0012】

【図1】図１は、実施形態に係る、手術用ロボットの構成を示すブロック図である。

【図2】図２は、実施形態に係る、アーム装置の外観を示す斜視図である。

【図3】図３は、実施形態に係る、操作装置の外観を示す斜視図である。

【図4】図４は、実施形態に係る、ハンドコントローラの外観を示す斜視図である。

【図5】図５は、実施形態に係る、フットユニットの外観を示す斜視図である。

【図6】図６は、実施形態に係る、オペレータが操作装置を使用している状態を示す斜視図である。

【図7】図７は、実施形態に係る、制御装置の構成を示すブロック図である。

【図8】図８は、実施形態に係る、情報処理システムの構成を示すブロック図である。

【図9】図９は、実施形態に係る、手術用ロボットおよび情報処理システム等の接続および各装置間で送受信される情報の概要を示す図である。

【図10】図１０は、実施形態に係る、情報処理装置の利用形態を示すブロック図である。

【図11】図１１は、実施形態に係る、アーム装置の構成を示すブロック図である。

【図12】図１２は、実施形態に係る、操作装置の構成を示すブロック図である。

【図13】図１３は、実施形態に係る、操作装置から制御装置に送信される状態ログを構成する現在値を例示的に示す図である。

【図14】図１４は、実施形態に係る、状態ログの一例を示す図である。

【図15】図１５は、実施形態に係る、アーム装置から制御装置に送信される動作ログを構成する現在値を例示的に示す図である。

【図16】図１６は、実施形態に係る、動作ログの一例を示す図である。

【図17】図１７は、実施形態に係る、手術画像の構成を模式的に示す図である。

【図18】図１８は、実施形態に係る、手術画像の構成を模式的に示す図である。

【図19】図１９は、実施形態に係る、内視鏡画像の構成を模式的に示す拡大図である。

【図20】図２０は、実施形態に係る、手術器具の使用記録を示す画像等の構成を模式的に示す図である。

【図21】図２１は、実施形態に係る、情報表示領域の構成を模式的に示す拡大図である。

【図22】図２２は、実施形態に係る、フットペダルの状態に関する画像の構成および遷移を模式的に示す図である。

【図23】図２３は、実施形態に係る、フットペダルの状態に関する画像の構成および遷移を模式的に示す図である。

【図24】図２４は、実施形態に係る、情報表示領域の構成を模式的に示す拡大図である。

【図25】図２５は、実施形態に係る、手術画像において栞挿入ボタンが操作された場合に表示される編集画像の構成を模式的に示す図である。

【図26】図２６は、実施形態に係る、先に手描きの画像が挿入される場合の手術画像の構成を模式的に示す図である。

【図27】図２７は、実施形態に係る、手術画像の生成に必要な情報を受信する処理を示すフローチャートである。

【図28】図２８は、実施形態に係る、手術画像を生成する処理を示すフローチャートである。

【図29】図２９は、実施形態に係る、付加情報の追加処理の詳細を示すフローチャートである。

【図30】図３０は、実施形態に係る、栞の追加によるスクリーンショットの記憶に関する処理を示すフローチャートである。

【図31】図３１は、実施形態に係る、スクリーンショットの表示および栞位置前後の再生に関する処理を示すフローチャートである。

【図32】図３２は、実施形態の変更例に係る、操作装置を撮影した画像、患者の腹部を撮影した画像、器材庫を撮影した画像および手術室に繋がる廊下を撮影した画像を模式的に示す図である。

【図33】図３３は、実施形態の変更例に係る、手術画像の構成を模式的に示す図である。

【発明を実施するための形態】

【0013】

図１は、手術用ロボット４の構成を示すブロック図である。

【0014】

手術用ロボット４は、内視鏡手術に用いられる装置である。手術用ロボット４は、アーム装置１と、操作装置２と、アーム装置１および操作装置２を制御する制御装置３と、を備える。制御装置３は、アーム装置１に内蔵されている。制御装置３を内蔵したアーム装置１と操作装置２とは同じ施設内に設置されていてもよいし、ネットワークを介して異なる施設に設置されていてもよい。

【0015】

図２は、アーム装置１の外観を示す斜視図である。

【0016】

アーム装置１は、内視鏡および鉗子を装着可能な複数のアームを備えた患者側の装置である。アーム装置１は、操作装置２が医師であるオペレータにより操作されることにより制御装置３から送信される駆動指示に従って動作する。

【0017】

アーム装置１は、ベース１０１と、操作部１０２と、ベースアーム１０３と、支持部１０４と、アーム１１１～１１４と、を備える。アーム１１１～１１４には、それぞれ、手術器具１２１～１２４が着脱可能に取り付けられる。

【0018】

操作部１０２は、ベース１０１に設置されており、表示部および入力部を含む。オペレータは、操作部１０２の表示部を見ながら、操作部１０２の入力部を操作して、アーム装置１のアーム１１１～１１４の移動速度等を設定する。ベースアーム１０３は、その後端がベース１０１に設置され、複数の関節を備えるアームである。支持部１０４は、その上面がベースアーム１０３の先端に回動可能に接続されており、ベースアーム１０３の先端の移動に伴って移動するとともに、ベースアーム１０３の先端の軸を中心に回動する。

【0019】

アーム１１１～１１４は、その上端が支持部１０４の下面に設置されている。アーム１１１～１１４は、それぞれ、１２本の軸および軸間の関節を備えたアームである。アーム１１１～１１４の下端には、手術器具を着脱できるように構成された支持具が設けられており、当該支持具に手術器具１２１～１２４が装着される。

【0020】

手術器具１２１～１２４は、細長い軸部１２１ａ～１２４ａを備えており、内視鏡手術の際に、手術器具１２１～１２４の軸部１２１ａ～１２４ａが、患者の腹部に挿入された案内管（トロカール）を介して患者の体内に挿入される。本実施形態では、手術器具１２１、１２３、１２４は鉗子であり、手術器具（鉗子）１２１、１２４はいわゆる把持鉗子である。手術器具（鉗子）１２３は、いわゆる電気メスであり、先端に切開および凝固が可能なハンド部を備える。手術器具１２２は、内視鏡である。手術器具（内視鏡）１２２は、例えば、３Ｄビデオスコープである。以下、手術器具１２２を、「内視鏡１２２」ともよぶ。

【0021】

なお、鉗子は、把持鉗子に限らず、止血鉗子、または剥離・結紮鉗子等の他の種類の鉗子でもよいし、電気メスのような電気器具でもよい。手術器具１２１～１２４は、内視鏡手術の途中で、必要に応じて異なる種類の手術器具に交換されてもよい。

【0022】

図３は、操作装置２の外観を示す斜視図である。

【0023】

操作装置２は、内視鏡手術の際に医師であるオペレータが操作することによりアーム装置１を駆動するためのオペレータ側の装置である。

【0024】

操作装置２は、ベース２０１と、支持部２０２と、枠部材２０３と、操作パネル２０４と、ビューアユニット２１０と、２つのハンドコントローラ２２０と、フットユニット２３０と、を備える。

【0025】

支持部２０２は、上下に移動可能となるようにベース２０１の上部に設置されている。枠部材２０３は、支持部２０２に設置されている。操作パネル２０４は、枠部材２０３の前方中央の上面に設置されている。操作パネル２０４の左右には、オペレータがハンドコントローラ２２０を操作する際に肘を乗せるためのアームレスト２０３ａが形成されている。アームレスト２０３ａの高さは、ベース２０１に対して支持部２０２を上下に移動することにより変更できる。

【0026】

ビューアユニット２１０は、支持部２０２の上面に設置されたアーム２１３の先端に支持されており、アーム２１３の関節が回動することにより高さを変更可能である。ビューアユニット２１０は、表示部（以下、ビューアとよぶ）２１１およびヘッドセンサ２１２を備える。ビューア２１１は、内視鏡１２２により撮影された映像（内視鏡画像）を表示する。ヘッドセンサ２１２は、ビューア２１１の手前の領域を挟むように設けられており、透過型の光電センサである。オペレータがビューア２１１を覗き込むと、オペレータの頭部がビューア２１１に接近し、ヘッドセンサ２１２の間が遮光され、オペレータがビューア２１１を見ている状態が検知される。

【0027】

２つのハンドコントローラ２２０は、それぞれ７本の軸および軸間の関節を備え、支持部２０２に設置されている。左および右のハンドコントローラ２２０は、それぞれ、オペレータが左手および右手を用いてアーム装置１のアーム１１１～１１４を操作するための入力装置である。ハンドコントローラ２２０の構成については、追って図４を参照して説明する。

【0028】

フットユニット２３０は、ベース２０１の下部前側に、前後に移動可能となるように設置されている。フットユニット２３０は、オペレータが左足および右足を用いてアーム装置１を操作するための入力装置である。フットユニット２３０の構成については、追って図５を参照して説明する。オペレータは、操作パネル２０４を操作することにより、アームレスト２０３ａの高さ、ビューアユニット２１０の高さ、フットユニット２３０の前後方向の位置などの、操作装置２の設定を変更できる。

【0029】

図４は、ハンドコントローラ２２０の外観を示す斜視図である。

【0030】

２つのハンドコントローラ２２０は、左右方向に対称に構成されている。ハンドコントローラ２２０は、操作部２２１と、６つの可動部２２２～２２６と、を備える。

【0031】

操作部２２１は、支軸２２１ａと、一対の可動板２２１ｂと、一対の面ファスナー２２１ｃと、を備える。操作部２２１は、オペレータが手指を用いて直接操作する部分であり、オペレータが接触して操作する操作対象である。

【0032】

支軸２２１ａは、可動部２２２に設置された円柱形状の部材である。一対の可動板２２１ｂは、支軸２２１ａを挟むように設けられた板形状の部材である。可動板２２１ｂは、可動部２２２に近い方の端部が支軸２２１ａに対して接近および離間するよう、支軸２２１ａに設置されている。面ファスナー２２１ｃは、可動板２２１ｂに設置されている。操作部２２１は、一対の可動板２２１ｂの開閉角度を検出するためのエンコーダ２６１（図１２参照）と、可動部２２２に対する操作部２２１の回転量を検出するためのエンコーダ２７１（図１２参照）とを備えている。

【0033】

可動部２２２～２２６は、操作部２２１と支持部２０２とを接続するアームを構成する。可動部２２２～２２６は、オペレータが接触して操作しない部分であり、オペレータが操作部２２１を介して間接的に操作する部分である。可動部２２２～２２６が構成するアームの各関節は、隣り合う２つの可動部が軸回転することにより構成される。可動部２２２～２２６は、それぞれ、操作部２２１とは反対側に隣り合う可動部に対する当該可動部の回転量を検出するためのエンコーダ２７２～２７６（図１２参照）を備えている。すなわち、エンコーダ２７１～２７６は、ハンドコントローラ２２０が備える７本の軸の一端に１つずつ設けられている。

【0034】

なお、可動部の回転量の検出には、必ずしもエンコーダが用いられる必要はなく、エンコーダまたはセンサ等、検出対象の位置、回転量、角度、有無等の状態を検知する各種の状態検知器を用いることができる。

【0035】

手術を始める前に、オペレータは、一対の可動板２２１ｂを挟むように、親指および人差し指を一対の可動板２２１ｂに押し当てる。この状態で、面ファスナー２２１ｃが、一対の可動板２２１ｂを挟む親指および人差し指に留められる。これにより、左手の親指および人差し指が左のハンドコントローラ２２０の操作部２２１に固定され、右手の親指および人差し指が右のハンドコントローラ２２０の操作部２２１に固定される。なお、一対の可動板２２１ｂを挟む指は、親指および人差し指に限らず、オペレータ自身が操作しやすいように選択されればよい。例えば、一対の可動板２２１ｂを挟む指は、親指および中指でもよい。

【0036】

手術時にオペレータが操作部２２１を移動させる操作を行うと、ハンドコントローラ２２０の各関節は、操作部２２１の動きに応じて軸回転する。そして、エンコーダ２７１～２７６の出力値に基づいて、アーム装置１の対象となるアームが駆動され、当該アームに装着された手術器具が移動する。また、対象となるアームに鉗子が装着されている場合、手術時にオペレータが操作部２２１の一対の可動板２２１ｂを開閉させる操作を行うと、操作部２２１のエンコーダ２６１の出力値に基づいて、当該アームに装着された鉗子の先端部が開閉するように駆動される。

【0037】

図５は、フットユニット２３０の外観を示す斜視図である。

【0038】

フットユニット２３０は、フットペダル２３１～２３７と、フットセンサ２４１～２４８と、を備える。

【0039】

オペレータは、フットペダル２３１～２３７を足で踏むことにより、アーム装置１を動作させるための入力を行う。すなわち、フットペダル２３１～２３７は、所定の入力を行うための操作子である。フットペダル２３４～２３７は、対象となるアームに電気メスが装着されている場合、当該電気メスの通電および非通電の切り替えを行うための操作子である。

【0040】

フットペダル２３１は、フットペダル２３１が踏まれることにより、右のハンドコントローラ２２０で動作させる手術器具が、手術器具１２３、１２４のいずれかに切り替えられる。フットペダル２３２は、クラッチペダルである。フットペダル２３２が踏まれている間、ハンドコントローラ２２０の動作が、アーム装置１に伝達されなくなる。フットペダル２３３は、カメラペダルである。フットペダル２３３が踏まれている間、両方のハンドコントローラ２２０で内視鏡１２２を装着したアームの操作が可能になる。

【0041】

フットペダル２３４、２３６は、切開ペダルである。フットペダル２３４、２３６が踏まれている間、鉗子（電気メス）により切開が可能となるよう鉗子（電気メス）の先端に高周波が付与される。フットペダル２３５、２３７は、凝固ペダルである。フットペダル２３５、２３７が踏まれている間、鉗子（電気メス）により凝固が可能となるよう鉗子（電気メス）の先端に高周波が付与される。

【0042】

また、フットペダル２３１～２３７は、それぞれ、当該フットペダルが踏まれたか否かを検出するためのリミットセンサ２８１～２８７（図１２参照）を備えている。これにより、フットペダル２３１～２３７が踏まれているか否かが検出される。

【0043】

フットセンサ２４１～２４８は、オペレータの足の位置を検出するための反射型の光電センサである。フットセンサ２４１～２４４により、左足がフットペダル２３１～２３３に位置づけられているか否かが検出され、フットセンサ２４５～２４８により、右足がフットペダル２３４～２３７に位置づけられているか否かが検出される。詳細には、フットセンサ２４１～２４８により、足がフットペダルの前方にある状態、フットペダルの上方にある状態およびフットペダルを踏んでいる状態を含むホバー状態と、足がフットユニット２３０内にない非ホバー状態とが、検出される。

【0044】

図６は、オペレータが操作装置２を使用している状態を示す斜視図である。

【0045】

手術の開始前に、手術器具１２１～１２４の下方に、手術台に横たわった患者が位置づけられ、患者の腹部に案内管（トロカール）が挿入され、案内管（トロカール）を介して手術器具１２１～１２４が患者の体内に挿入される。オペレータは、椅子に座った状態で、両腕をアームレスト２０３ａに置き、両足をフットユニット２３０内部または前方に置く。オペレータは、面ファスナー２２１ｃ（図４参照）を用いて、親指および人差し指を可動板２２１ｂに固定する。そして、オペレータは、頭をビューアユニット２１０の中に入れ、ビューア２１１を覗き込む。ヘッドセンサ２１２によりオペレータの頭がビューアユニット２１０内に位置づけられたことが検知されると、操作装置２によるアーム装置１の操作が可能になる。

【0046】

手術が開始されると、オペレータは、左右の操作部２２１（図４参照）を操作して、鉗子に把持動作させる把持操作を入力したり、鉗子の先端を移動させる移動操作を入力したりする。オペレータが操作装置２に対して入力した操作に応じて、アーム装置１のアーム１１１～１１４および手術器具１２１～１２４が駆動される。こうして、各種の手術が行われる。

【0047】

オペレータは、手術室にいる補助者に対して指示を出す場合や、休憩する場合、および、手術を終了する場合などに、ビューアユニット２１０から頭を離す。ヘッドセンサ２１２によりオペレータの頭がビューアユニット２１０内に位置づけられていないことが検知されると、操作装置２によるアーム装置１の操作ができなくなる。これにより、アーム装置１の誤動作が防止される。

【0048】

図７は、制御装置３の構成を示すブロック図である。

【0049】

制御装置３は、制御部３１、記憶部３２および通信部３３を備える。制御部３１は、例えば、ＣＰＵにより構成される。制御部３１は、記憶部３２に記憶されたコンピュータプログラムを実行することにより、制御装置３のハードウェアの各部を制御するとともに、各種の処理を実行する。記憶部３２は、例えば、ＳＳＤやＨＤＤなどにより構成される。通信部３３は、所定の通信規格に基づいてアーム装置１、操作装置２および記憶装置３１０（図８参照）と通信可能な通信インターフェースを備える。

【0050】

図８は、情報処理システム５の構成を示すブロック図である。

【0051】

情報処理システム５は、記憶装置３１０と、情報処理装置３２０と、を備える。ネットワーク３３０は、例えばインターネットである。

【0052】

記憶装置３１０は、制御部３１１、記憶部３１２および通信部３１３を備える。制御部３１１は、例えば、ＣＰＵにより構成される。制御部３１１は、記憶部３１２に記憶されたコンピュータプログラムを実行することにより、記憶装置３１０のハードウェアの各部を制御するとともに、各種の処理を実行する。記憶部３１２は、例えば、ＳＳＤやＨＤＤなどにより構成される。記憶装置３１０は、ネットワーク３３０を介して、情報処理装置３２０と通信可能に接続されている。通信部３１３は、例えばイーサネット、Ｗｉ－Ｆｉなどの所定の通信規格に基づいて情報処理装置３２０、制御装置３、後述する映像処理装置３０２および手術室カメラ３０１（図９参照）と通信可能な通信インターフェースを備える。

【0053】

情報処理装置３２０は、制御部３２１、記憶部３２２および通信部３２３を備える。制御部３２１は、例えば、ＣＰＵにより構成される。制御部３２１は、記憶部３２２に記憶されたコンピュータプログラムを実行することにより、情報処理装置３２０のハードウェアの各部を制御するとともに、各種の処理を実行する。記憶部３２２は、例えば、ＳＳＤやＨＤＤなどにより構成される。通信部３２３は、例えばイーサネット、Ｗｉ－Ｆｉなどの所定の通信規格に基づいて記憶装置３１０および観察端末３４０（図１０参照）と通信可能な通信インターフェースを備える。

【0054】

図９は、手術用ロボット４および情報処理システム５等の接続および各装置間で送受信される情報の概要を示す図である。

【0055】

手術室内には、アーム装置１、操作装置２、制御装置３、アーム装置１に取り付けられた内視鏡１２２、内視鏡１２２により得られる映像を処理する映像処理装置３０２、手術室全体を撮像する手術室カメラ３０１、および記憶装置３１０が配置される。制御装置３、映像処理装置３０２、および手術室カメラ３０１は、記憶装置３１０と通信可能に接続される。情報処理装置３２０は、手術室外の例えばクラウド環境に設置され、記憶装置３１０と通信可能に接続される。

【0056】

なお、操作装置２および記憶装置３１０は、必ずしも手術室内に設置されなくてもよく、施設内の他の部屋に設置されてもよい。

【0057】

手術室カメラ３０１は、記憶装置３１０からの要求に基づき、撮影した映像（手術室画像）を記憶装置３１０に送信する。内視鏡１２２は、映像処理装置３０２に接続されている。映像処理装置３０２は、内視鏡１２２が撮影した映像（内視鏡画像）を操作装置２に送信する。映像処理装置３０２は、記憶装置３１０からの要求に基づき、内視鏡１２２が撮像したした内視鏡画像を記憶装置３１０に送信する。操作装置２は、映像処理装置３０２から受信した内視鏡画像を、ビューア２１１（図３参照）に表示する。

【0058】

上述したように、医師であるオペレータは、操作装置２を操作してアーム装置１を駆動し、手術を行う。

【0059】

このとき、操作装置２は、オペレータの操作に応じてリアルタイムに、すなわち、エンコーダ２６１、２７１～２７６およびリミットセンサ２８１～２８７（図１２参照）が出力を発生するたびに、発生された出力に基づく駆動指示を制御装置３に送信する。また操作装置２は、オペレータの操作によって変化する操作装置２の操作対象の状態を示す現在値を、所定の時間間隔（例えば１秒間隔）で制御装置３に送信する。制御装置３は、記憶装置３１０からの要求に基づき、操作装置２から受信した複数の現在値から生成した状態ログを、記憶装置３１０に送信する。制御装置３は、操作装置２から受信した駆動指示をアーム装置１用に変換し、変換した駆動指示をリアルタイムで、すなわち、操作装置２から駆動指示を受信するたびに、アーム装置１に送信する。これにより、アーム装置１は、操作装置２に対するオペレータの操作に応じて動作する。アーム装置１は、アーム１１１～１１４等の動作を示す現在値を、所定の時間間隔（例えば１秒間隔）で制御装置３に送信する。制御装置３は、記憶装置３１０からの要求に基づき、アーム装置１から受信した現在値から生成した動作ログを、記憶装置３１０に送信する。

【0060】

記憶装置３１０は、制御装置３から受信した状態ログおよび動作ログを、記憶部３１２に記憶する。また、記憶装置３１０は、手術室カメラ３０１から受信した映像（手術室画像）および映像処理装置３０２から受信した映像（内視鏡画像）を、記憶部３１２に記憶する。手術室画像、内視鏡画像、状態ログおよび動作ログの受信は、所定の期間、例えば、手術が行われる手術室の利用が開始されてから終了するまで継続される。記憶装置３１０は、記憶部３１２に記憶した手術室画像、内視鏡画像、状態ログおよび動作ログを、リアルタイムで情報処理装置３２０に送信する。

【0061】

なお、記憶装置３１０の制御部３１１は、必要に応じて、記憶部３１２に記憶した手術室画像を加工してもよい。例えば、制御部３１１は、手術室画像に含まれる人物、患者の個人情報の推定につながる情報等にぼかし処理を施し、人物および個人情報を特定できないようにしてもよい。

【0062】

情報処理装置３２０は、記憶装置３１０から受信した手術室画像、内視鏡画像、状態ログおよび動作ログを、記憶部３２２に記憶する。情報処理装置３２０は、観察端末３４０（図１０参照）からの要求に応じて、手術室画像と、内視鏡画像と、状態ログに基づく再構成画像と、動作ログに基づく再構成画像とを含む手術画像を生成し、観察端末３４０に送信する。

【0063】

操作装置２の操作を学習しようとする観察者は、熟練したオペレータ（熟練者）の操作を操作装置２の横で見ているだけでは、十分に操作を学習することは難しい。例えば、操作対象（操作部２２１やフットペダル２３１～２３７）への視界が操作装置２の一部によって遮られると、観察者は、実際にどのような操作が行われているかを把握できない。また、複数の操作対象が同時に操作されている場合、観察者は、複数の操作対象を視野に収めなければならず、複数の操作を把握することが困難になる。

【0064】

さらに、操作部２２１の一対の可動板２２１ｂが僅かに開閉された場合、どの程度の操作が行われたかを操作部２２１を見て把握することは困難である。また、フットペダル２３１～２３７の前方または上方に足が位置づけられた場合、手術室画像や内視鏡画像を見ているだけでは、このような操作準備の状態を把握できない。

【0065】

これに対し、本実施形態では、手術室画像と、内視鏡画像と、状態ログに基づく再構成画像と、動作ログに基づく再構成画像とを含む手術画像が、観察者が利用する観察端末３４０（図１０参照）に送信される。状態ログに基づく再構成画像には、操作装置２の操作対象に対するオペレータの操作を視覚化した画像が含まれる。観察端末３４０の表示部３４３には、操作装置２の操作対象に対するオペレータの操作を視覚化した画像が表示される。観察者は、この画像を、手術用ロボット４（アーム装置１および／または操作装置２）の動作および／または手術器具１２１～１２４の動作を示す画像とともに参照することにより、手術用ロボット４または手術器具１２１～１２４の動作と、そのための操作対象の操作とを学習できる。

【0066】

図１０は、情報処理装置３２０の利用形態を示すブロック図である。

【0067】

観察端末３４０は、熟練者による操作装置２の操作を学習しようとする観察者が操作するコンピュータである。観察端末３４０は、制御部３４１と、記憶部３４２と、表示部３４３と、入力部３４４と、通信部３４５と、を備える。

【0068】

制御部３４１は、例えば、ＣＰＵにより構成される。制御部３４１は、記憶部３４２に記憶されたコンピュータプログラムを実行することにより、観察端末３４０のハードウェアの各部を制御するとともに、各種の処理を実行する。記憶部３４２は、例えば、ＳＳＤやＨＤＤなどにより構成される。表示部３４３は、例えば、液晶ディスプレイにより構成される。入力部３４４は、例えば、キーボードやマウスにより構成される。表示部３４３および入力部３４４は、タッチパネル式ディスプレイにより構成されてもよい。通信部３４５は、例えばイーサネット、Ｗｉ－Ｆｉなどの所定の通信規格に基づいて情報処理装置３２０と通信可能な通信インターフェースを備える。

【0069】

観察端末３４０の制御部３４１は、ウェブブラウザや所定のアプリケーションを実行することにより、情報処理装置３２０から操作装置２の操作を学ぶための手術画像を取得する。そして、制御部３４１は、取得した手術画像を表示部３４３に表示する。観察者は、表示部３４３に表示される手術画像を参照し、医師であるオペレータによる操作装置２の操作を学習する。表示部３４３に表示される手術画像については、追って図１７以降を参照して説明する。

【0070】

図１１は、アーム装置１の構成を示すブロック図である。

【0071】

アーム装置１は、制御部１３１と、記憶部１３２と、通信部１３３と、複数の動作部１４０と、センサ１５１～１５４と、を備える。

【0072】

制御部１３１は、例えば、ＦＰＧＡまたはＣＰＵにより構成される。記憶部１３２は、例えば、ＲＯＭおよびＲＡＭにより構成される。通信部１３３は、所定の通信規格に基づいて制御装置３と通信可能な通信インターフェースを備える。

【0073】

動作部１４０は、アーム装置１のベースアーム１０３およびアーム１１１～１１４の各動作部分に対応する。動作部１４０は、例えば、アームの１つの関節部分に対応する。各動作部１４０は、モータ１４１およびエンコーダ１４２を備える。モータ１４１は、ステッピングモータである。エンコーダ１４２は、モータ１４１の駆動量を出力する。エンコーダ１４２は、各アーム１１１～１１４が備える１２本の軸の一端に１つずつ設けられている。

【0074】

センサ１５１～１５４は、それぞれ、アーム１１１～１１４に設置されており、アーム１１１～１１４に対する手術器具の着脱を検出する。センサ１５１～１５４は、例えば、手術器具がアームに対して電気的に接続されたことを検出するセンサでもよく、手術器具が物理的に着脱されたことを検出する光電センサでもよい。

【0075】

アーム装置１に装着される手術器具には、当該手術器具の名称およびシリアル番号が付されている。アーム１１１～１１４に手術器具が装着されると、制御部１３１は、手術器具に付された名称およびシリアル番号を、記憶部１３２に記憶する。

【0076】

制御部１３１は、通信部１３３を介して制御装置３から受信した駆動指示（図９参照）に基づいて、対応する動作部１４０のモータ１４１を駆動する。また、制御部１３１は、エンコーダ１４２の出力値に基づく動作ログを構成する現在値と、センサ１５１～１５４の検出信号と、手術器具１２１～１２４の名称およびシリアル番号を、通信部１３３を介して制御装置３に送信する。動作ログと、センサ１５１～１５４の検出信号と、手術器具１２１～１２４の名称およびシリアル番号とは、制御装置３から記憶装置３１０を介して、情報処理装置３２０に送信され、情報処理装置３２０の記憶部３２２に記憶される。

【0077】

図１２は、操作装置２の構成を示すブロック図である。

【0078】

操作装置２は、制御部２５１と、記憶部２５２と、通信部２５３と、ビューア２１１と、ヘッドセンサ２１２と、操作部２２１と、可動部２２２～２２６と、フットペダル２３１～２３７と、フットセンサ２４１～２４８と、を備える。図１２には、便宜上、左右のうち一方のハンドコントローラ２２０の構成が示されている。

【0079】

制御部２５１は、例えば、ＦＰＧＡまたはＣＰＵにより構成される。記憶部２５２は、例えば、ＲＯＭおよびＲＡＭにより構成される。通信部２５３は、所定の通信規格に基づいて内視鏡１２２および制御装置３と通信可能な通信インターフェースを備える。

【0080】

操作部２２１は、エンコーダ２６１、２７１を備える。可動部２２２～２２６は、それぞれ、エンコーダ２７２～２７６を備える。フットペダル２３１～２３７は、それぞれ、リミットセンサ２８１～２８７を備える。エンコーダ２６１、２７１～２７６は、対応する部分の移動量または回転量を出力する。

【0081】

具体的には、操作部２２１のエンコーダ２６１は、操作部２２１の一対の可動板２２１ｂ（図４参照）が押し込まれた量を出力する。エンコーダ２７１～２７６は、それぞれ、操作部２２１と可動部２２２との間の回転量、可動部２２２、２２３の間の回転量、可動部２２３、２２４の間の回転量、可動部２２４、２２５の間の回転量、可動部２２５、２２６の間の回転量、および、可動部２２６と支持部２０２（図３参照）との間の回転量を出力する。リミットセンサ２８１～２８７は、それぞれ、フットペダル２３１～２３７が踏まれたか否かを検出する。リミットセンサ２８４～２８７の検出信号は、フットペダル２３４～２３７による通電および非通電の切り替えを示す情報である。

【0082】

制御部２５１は、映像処理装置３０２から受信した内視鏡画像をビューア２１１に表示する。制御部２５１は、エンコーダ２６１、２７１～２７６の出力値と、リミットセンサ２８１～２８７の検出信号とに基づく状態ログを構成する現在値を、通信部２５３を介して制御装置３に送信する。状態ログは、制御装置３から記憶装置３１０を介して、情報処理装置３２０に送信され、情報処理装置３２０の記憶部３２２に記憶される。

【0083】

図１３は、操作装置２から制御装置３に送信される状態ログを構成する現在値を例示的に示す図である。図１３に示すような現在値が現在時刻とともに所定期間、所定間隔で記憶された情報が、状態ログとなる。

【0084】

図１３に示す例では、各部の現在の状態を示す現在値として、左右のハンドコントローラ２２０に対応するエンコーダ２６１、２７１～２７６の出力値と、左の操作部２２１に対応するエンコーダ２６１の出力値から算出された一対の可動板２２１ｂの間の角度、および、右の操作部２２１に対応するエンコーダ２６１の出力値から算出された一対の可動板２２１ｂの間の角度を含む。一対の可動板２２１ｂの間の角度は、操作装置２の制御部２５１により算出される。

【0085】

図１３において、ハンドコントローラ（右）の１＿１軸～１＿７軸の現在値は、それぞれ右のハンドコントローラ２２０が備える７本の軸の一端に設けられたエンコーダ２７１～２７６の出力値を示す。ハンドコントローラ（右）の１＿グリップ角度の現在値は、右の操作部２２１に対応するエンコーダ２６１の出力値から算出された一対の可動板２２１ｂの間の角度を示す。同様に、ハンドコントローラ（左）の１＿１軸～１＿７軸の現在値は、それぞれ左のハンドコントローラ２２０が備える７本の軸の一端に設けられたエンコーダ２７１～２７６の出力値を示す。ハンドコントローラ（左）の１＿グリップ角度の現在値は、左の操作部２２１に対応するエンコーダ２６１の出力値から算出された一対の可動板２２１ｂの間の角度を示す。状態ログを構成する現在値には、フットペダル２３１～２３７に対応するリミットセンサ２８１～２８７の検出信号と、フットセンサ２４１～２４８の検出信号と、ヘッドセンサ２１２の検出信号も含まれる。

【0086】

操作装置２の制御部２５１は、このような現在値を、例えば１秒間隔で制御装置３に送信する。制御装置３は、受信した複数の現在値と各現在値に対応する複数の現在時刻とのセットを状態ログとし、記憶部３２に記憶する。

【0087】

図１４は、状態ログの一例を示す図である。図１４は、左の操作部２２１に対応するエンコーダ２６１の出力値から算出された一対の可動板２２１ｂの間の角度の状態ログを示しており、所定期間内の１秒ごとの現在時刻と、その現在時刻における現在値（角度）を含む。

【0088】

図１５は、アーム装置１から制御装置３に送信される動作ログを構成する現在値を例示的に示す図である。図１５に示すような現在値が現在時刻とともに所定期間、所定間隔で記憶された情報が、動作ログとなる。図１５では、便宜上、アーム１１１の各部およびアーム１１２の一部に対応する現在値が図示されている。

【0089】

図１５において、オペレーションアーム１の１＿１軸～１＿１２軸の現在値は、それぞれアーム１１１が備える１２本の軸の一端に設けられたエンコーダ１４２の出力値を示す。同様に、オペレーションアーム２の２＿１軸～２＿１２軸の現在値は、それぞれアーム１１２が備える１２本の軸の一端に設けられたエンコーダ１４２の出力値を示す（図１５において、２＿５軸～２＿１２軸の現在値は省略されている）。

【0090】

制御装置３は、操作装置２から駆動指示を受信すると、受信した駆動指示を、アーム装置１用に変換処理し、アーム装置１に送信する。アーム装置１は、受信した駆動指示に基づき、各モータ１４１を駆動する。

【0091】

動作ログを構成する現在値は、各部の現在値として、駆動指示に基づいて動作した各モータ１４１の動作量を示す各エンコーダ１４２の出力値を含む。

【0092】

アーム装置１の制御部１３１は、このような現在値を、例えば１秒間隔で制御装置３に送信する。制御装置３は、受信した複数の現在値と各現在値に対応する複数の現在時刻とのセットを動作ログとし、記憶部１３２に記憶する。

【0093】

図１６は、動作ログの一例を示す図である。図１６は、アーム１１１の所定の可動部におけるモータの動作量の動作ログを示しており、所定期間内の１秒ごとの現在時刻と、その現在時刻における現在値（動作量）を含む。

【0094】

次に、観察端末３４０（図１０参照）の表示部３４３に表示される画像について説明する。

【0095】

情報処理装置３２０の制御部３２１は、観察端末３４０から指示情報を受信すると、記憶部３２２に記憶した内視鏡画像および手術室画像を観察端末３４０に送信するとともに、記憶部３２２に記憶した状態ログおよび動作ログに基づく各種の画像および情報を生成し、観察端末３４０に送信する。観察端末３４０は、内視鏡画像および手術室画像と、状態ログおよび動作ログに基づく各種の情報とを含む手術画像４００を、表示部３４３に表示する。観察端末３４０の表示部３４３における手術画像４００の表示は、情報処理装置３２０から全期間の画像および情報を受信した後に表示を開始する、いわゆるダウンロード再生であってもよいし、情報処理装置３２０から画像および情報を受信しながら表示する、いわゆるストリーミング再生であってもよい。

【0096】

表示部３４３に表示される各画像は、情報処理装置３２０から観察端末３４０に送信された画像に限らない。表示部３４３に表示される画像は、観察端末３４０の制御部３４１が、情報処理装置３２０から受信した状態ログや動作ログに基づいて生成した画像でもよい。

【0097】

図１７は、手術画像４００の構成を模式的に示す図である。

【0098】

手術画像４００は、内視鏡画像４０１と、手術室画像４０２と、模式画像４０３、４０４と、表示切替ボタン４１１、４１２と、動画コントロール領域４２０と、情報表示領域４３０と、を備える。また、手術画像４００は、この他、ヘッドセンサ２１２の情報を示す画像４４０と、手術器具の使用記録を示す画像４５０と、視聴回数を示す画像４６０と、を備える。画像４４０、４５０、４６０については、追って図２０を参照して説明する。

【0099】

図１７に示すように、内視鏡画像４０１、手術室画像４０２および模式画像４０３、４０４は、いずれも動画である。模式画像４０３は、アーム装置１の動作ログに基づいて、アーム装置１の各部の動作状態が３次元的に構成された動画である。模式画像４０４は、操作装置２の状態ログに基づいて、操作装置２のハンドコントローラ２２０の動作状態が３次元的に構成された動画である。これら４つの動画は、互いに同期しており、同時刻における状態を示している。

【0100】

表示切替ボタン４１１、４１２は、４つの動画（内視鏡画像４０１、手術室画像４０２および模式画像４０３、４０４）を並べて表示させるモードと、４つの動画のうち１つを拡大表示させるモードとを切り替えるためのボタンである。表示切替ボタン４１１が操作されると、図１７に示すように４つの動画が並べて表示され、表示切替ボタン４１２が操作されると、図１８に示すように１つの動画が拡大表示される。

【0101】

なお、表示切替ボタン４１１が操作されると、４つの動画をどの位置に配置するかを設定するための画面が表示され、この画面に対する設定により、図１７に示すように、４つの動画を所望の位置に表示できる。また、表示切替ボタン４１２が操作されると、４つの動画のうちどの動画を配置するかを設定するための画面が表示され、この画面に対する設定により、図１８に示すように、４つの動画のうち所望の１つの動画を表示できる。

【0102】

図１９は、内視鏡画像４０１の構成を模式的に示す拡大図である。

【0103】

内視鏡画像４０１には、アーム装置１のアーム１１１～１１４に装着された手術器具１２１～１２４の情報を示す表示エリア４０１ａ～４０１ｅが、内視鏡１２２により撮像された画像とともに合わせて表示される。内視鏡画像４０１は、操作装置２のビューア２１１に表示される画像と同じ画像である。

【0104】

表示エリア４０１ａは、クラッチペダルであるフットペダル２３２の操作状態を示す。フットペダル２３２に対して足が位置づけられると、表示エリア４０１ａの外周に色が付与される。フットペダル２３２が踏まれると、表示エリア４０１ａの内部に色が付される。表示エリア４０１ｂは、内視鏡１２２が装着されたアームを操作するためのフットペダル２３３の操作状態を示す。フットペダル２３３に対して足が位置づけられると、表示エリア４０１ｂの外周に色が付され、フットペダル２３３が踏まれると、表示エリア４０１ｂの内部に色が付される。

【0105】

表示エリア４０１ｃは、鉗子（電気メス）を操作するためのフットペダル２３４、２３５の操作状態を示す。フットペダル２３４または２３５に対して足が位置づけられると、表示エリア４０１ｃの外周に色が付され、フットペダル２３４が踏まれると、表示エリア４０１ｃの内部に第１の色が付され、フットペダル２３５が踏まれると、表示エリア４０１ｃの内部に第２の色が付される。第１の色は、例えば水色であり、第２の色は例えば黄色である。

【0106】

表示エリア４０１ｄは、鉗子（電気メス）を操作するためのフットペダル２３６、２３７の操作状態を示し、表示エリア４０１ｅは、他の鉗子（電気メス）を操作するためのフットペダル２３６、２３７の操作状態を示す。上述したように、フットペダル２３１が踏まれるたびに、フットペダル２３６、２３７の対象が、鉗子１２３、１２４の間で切り替えられる。フットペダル２３６または２３７に対して足が位置づけられると、表示エリア４０１ｄ、４０１ｅのうち対象となる表示エリアの外周に色が付され、フットペダル２３６が踏まれると、表示エリア４０１ｄ、４０１ｅのうち対象となる表示エリアの内部に第１の色が付され、フットペダル２３７が踏まれると、表示エリア４０１ｄ、４０１ｅのうち対象となる表示エリアの内部に第２の色が付される。

【0107】

また、表示エリア４０１ｃ～４０１ｅには、アーム１１１、１１３、１１４に装着された手術器具１２１、１２３、１２４の情報として、例えば、名称が表示される。手術器具の装着の有無および手術器具の名称は、センサ１５１～１５４の検出信号と、アーム１１１～１１４への装着時に取得された手術器具１２１～１２４の名称およびシリアル番号とに基づいて生成される。

【0108】

観察者は、内視鏡画像４０１内の表示エリア４０１ａ～４０１ｅを参照することにより、フットペダル２３２～２３７の操作状態を把握でき、アーム１１１～１１４にどのような手術器具が装着されているかを把握できる。

【0109】

また、図１９に示すように、内視鏡画像４０１内には、内視鏡画像４０１の領域を４分割する分割線４０１ｆを表示させることもできる。これにより、観察者は、分割線４０１ｆで分割された４つの領域をガイドとして、各手術器具がどの領域に位置づけられているかを参照し、手術の状況に応じて各手術器具をどのような配置を行い、どのように移動させればよいかを学習できる。

【0110】

図１７に戻り、動画コントロール領域４２０は、再生ボタン４２１と、再生位置マーク４２２と、再生速度設定ボタン４２３と、注意喚起マーク４２４と、栞挿入ボタン４２５と、栞マーク４２６と、編集開始ボタン４２７と、を備える。

【0111】

再生ボタン４２１が操作されると、内視鏡画像４０１、手術室画像４０２および模式画像４０３、４０４の再生および一時停止が切り替えられる。

【0112】

再生位置マーク４２２は、タイムライン４２０ａ上における、内視鏡画像４０１、手術室画像４０２および模式画像４０３、４０４の再生位置を示すマークである。再生位置マーク４２２を操作することにより、再生位置を変更できる。再生速度設定ボタン４２３が操作されると、サブメニューが開かれ、サブメニュー内で再生速度を設定できる。注意喚起マーク４２４は、例えば手術用ロボット４でエラーが生じたタイムライン４２０ａ上の位置など、観察者への注意喚起を要するイベントが発生したタイムライン４２０ａ上の位置を示す。

【0113】

栞挿入ボタン４２５が操作されると、再生位置マーク４２２の位置に栞マーク４２６が追加される。また、栞挿入ボタン４２５が操作された時点での、手術画像４００のスクリーンショットが情報処理装置３２０の記憶部３２２に記憶される。手術画像４００のスクリーンショットの記憶については、追って図２５を参照して説明する。

【0114】

編集開始ボタン４２７が操作されると、観察者は手術画像４００に対してクリックやドラッグの操作を行うことにより、文字や図形を書き込むことができる。この状態で栞挿入ボタン４２５が操作されると、手術画像４００内に書き込まれた文字や図形とともに、手術画像４００のスクリーンショットが情報処理装置３２０の記憶部３２２に記憶される。編集開始ボタン４２７により手術画像４００内に文字や図形が書き込み可能となることについては、追って図２６を参照して説明する。

【0115】

図２０は、手術画像４００内に表示される画像４４０、４５０、４６０の構成を模式的に示す図である。

【0116】

画像４４０、４５０、４６０内の帯領域は、図１７に示した動画コントロール領域４２０内のタイムライン４２０ａに対応する。

【0117】

ヘッドセンサ２１２の情報を示す画像４４０の帯領域には、黒で表示された部分と、白で表示された部分とが含まれる。黒で表示された部分は、ヘッドセンサ２１２によりオペレータがビューア２１１を覗き込んでいる状態、すなわち、ビューア２１１へのオペレータの接近が検知された状態を示している。白で表示された部分は、ヘッドセンサ２１２によりオペレータがビューア２１１を覗き込んでいない状態、すなわち、ビューア２１１へのオペレータの接近が検知されなかった状態を示している。

【0118】

手術器具の使用記録を示す画像４５０には、１～４の番号が付された帯領域が含まれる。１～４番の帯領域は、それぞれ、アーム１１１～１１４に対応している。帯領域内のハッチングが付された領域は、アーム１１１～１１４に装着された鉗子または内視鏡の種類および装着期間を示している。図２０に示す例では、１、３番の帯領域によれば、アーム１１１、１１３に装着された鉗子が、手術の途中で交換されていることが分かる。２番の帯領域によれば、アーム１１２に装着された内視鏡１２２が、手術の後半付近で何度か取り外されていることが分かる。この理由は、内視鏡１２２のヘッド部分の曇りを拭き取るために、内視鏡１２２がアーム１１２から取り外されたためである。４番の帯領域によれば、アーム１１４に装着された鉗子１２４が、一度も外されなかったことが分かる。

【0119】

また、画像４５０内の帯領域の上にマウス等のカーソルが重ねられると、４番の帯領域に示すように、カーソルが重ねられた時刻位置で装着されていた鉗子または内視鏡の名称と、当該鉗子または内視鏡の使用時間帯とを含む手術器具情報４５１が表示される。

【0120】

視聴回数を示す画像４６０の帯領域には、濃淡が異なる領域が含まれる。この濃淡は、各位置における観察者の視聴回数を示している。例えば、白で表示された部分は、この部分に対する観察者の視聴回数が０回であることを示し、濃度が１段階濃くなるにつれて、視聴回数が所定の回数だけ上昇していることを示している。

【0121】

また、画像４６０内の帯領域の上にマウス等のカーソルが重ねられると、カーソルが重ねられた時刻位置の視聴回数を示す視聴回数情報４６１が表示される。

【0122】

図２１は、操作情報タブが選択されている場合の、情報表示領域４３０の構成を模式的に示す拡大図である。

【0123】

情報表示領域４３０の表示内容は、内視鏡画像４０１、手術室画像４０２および模式画像４０３、４０４の再生位置に同期して表示される。

【0124】

操作情報タブが選択されている場合、情報表示領域４３０は、表示選択領域４３１と、２つの画像４３２ａと、２つの画像４３２ｂと、２つの画像４３３ａと、２つの画像４３３ｂと、２つの画像４３４と、画像４３５～４３７と、を備える。画像４３２ａ、４３２ｂ、４３３ａ、４３３ｂ、４３４は、情報表示領域４３０内において、左右に配置されている。

【0125】

左の画像４３２ａは、左のハンドコントローラ２２０の一対の可動板２２１ｂの押し込み状態を模式的に示しており、右の画像４３２ａは、右のハンドコントローラ２２０の一対の可動板２２１ｂの押し込み状態を模式的に示している。左の画像４３２ｂは、左のハンドコントローラ２２０の一対の可動板２２１ｂの押し込み量に対応する角度を示しており、右の画像４３２ｂは、右のハンドコントローラ２２０の一対の可動板２２１ｂの押し込み量に対応する角度を示している。画像４３２ａ、４３２ｂは、状態ログに基づいて生成される。観察者は、画像４３２ａ、４３２ｂを参照することにより、操作部２２１の一対の可動板２２１ｂがどの程度開閉しているのかを把握できる。

【0126】

左右の画像４３３ａは、それぞれ、左右のハンドコントローラ２２０で操作される鉗子の先端の挟み込み状態を示している。左右の画像４３３ｂは、それぞれ、左右のハンドコントローラ２２０で操作される鉗子の挟み込み量に対応する角度を示している。画像４３３ａ、４３３ｂは、動作ログに基づいて生成される。観察者は、画像４３３ａ、４３３ｂを参照することにより、対応する鉗子の先端がどの程度開閉しているかを把握できる。

【0127】

左の画像４３４は、フットペダル２３４、２３５の踏み込み状態に対応するグラフを示しており、右の画像４３４は、フットペダル２３６、２３７の踏み込み状態に対応するグラフを示している。画像４３４において、ＯＮはフットペダルが踏まれている状態を示しており、ＯＦＦはフットペダルが踏まれていない状態を示している。画像４３４は、過去に遡って３０秒間の踏み込み状態を示している。画像４３４は、状態ログに基づいて生成される。観察者は、左の画像４３４を参照することにより、フットペダル２３４、２３５が踏まれたタイミングおよび期間を把握でき、右の画像４３４を参照することにより、フットペダル２３６、２３７が踏まれたタイミングおよび期間を把握できる。

【0128】

画像４３５は、フットユニット２３０におけるオペレータの足の位置と、フットペダル２３１～２３７の踏み込み状態とを模式的に示す。画像４３５は、状態ログに基づいて生成される。

【0129】

図２２、２３は、画像４３５の構成および遷移を模式的に示す図である。

【0130】

図２２に示すように、画像４３５は、フットペダル２３１～２３７に対応するペダル画像４７１～４７７と、足の待機状態に応じて表示される足画像４８１と、を備える。

【0131】

情報処理装置３２０の制御部３２１は、フットセンサ２４１～２４８の検出信号に基づいて、フットペダル２３１～２３７ごとに、ホバー状態と非ホバー状態を判定する。上述したように、ホバー状態は、足がフットペダルの前方にある状態と、フットペダルの上方にある状態と、フットペダルを踏んでいる状態と、を含み、非ホバー状態は、足がフットユニット２３０内にない状態を含む。制御部３２１は、リミットセンサ２８１～２８７の検出信号に基づいて、フットペダル２３１～２３７ごとに、踏み込まれているか否かを判定する。そして、制御部３２１は、判定結果に基づいて画像４３５を生成する。

【0132】

図２２の上段に示すように、左右の足がフットユニット２３０内に位置づけられていない場合、ペダル画像４７１～４７７が、通常の枠線の太さで表示され、足画像４８１は表示されない。これにより、フットペダル２３１～２３７に対して、両足が操作および操作準備の状態でないことが分かる。

【0133】

図２２の上段の状態から、足がフットペダルの前方または上方に位置づけられると、図２２の下段に示すように、足画像４８１が表示される。図２２の下段に示す例では、２つの足画像４８１が、それぞれ、ペダル画像４７３、４７５の前方に位置づけられている。これにより、左足がフットペダル２３３の前方または上方に位置づけられており、右足がフットペダル２３５の前方または上方に位置づけられていることが分かる。また、フットペダル２３３、２３５に対して、両足が操作準備の状態であることが分かる。

【0134】

図２２の下段の状態から、フットペダルが踏み込まれると、図２３の上段に示すように、対応するペダル画像の外周に色が付される。図２３の上段に示す例では、ペダル画像４７７の外周に色が付されている。これにより、フットペダル２３７が踏み込まれていることが分かる。

【0135】

図２３の上段の状態から、フットペダル２３３が踏み込まれると、図２３の下段に示すように、ペダル画像４７３の外周に色が付される。また、図２３の下段の状態では、右足がフットユニット２３０の外に移動したため、右足に対応する足画像４８１がない。これにより、右足が操作準備の状態ではないことが分かる。

【0136】

観察者は、画像４３５内のペダル画像４７１～４７７および足画像４８１を参照することにより、フットペダル２３１～２３７に対する操作および操作準備の状態を把握できる。

【0137】

図２１に戻り、画像４３６は、ヘッドセンサ２１２に基づく検出結果と、ヘッドセンサ２１２によりオペレータがビューア２１１を覗き込んだ時間の累積時間とを示す。画像４３６は、状態ログに基づいて生成される。観察者は、画像４３６を参照することにより、オペレータがビューア２１１を覗き込んでいるか否か、および、手術中に累積でどれだけビューア２１１を覗き込んでいるかを把握できる。

【0138】

画像４３７は、アーム装置１のアーム１１１～１１４に装着された手術器具１２１～１２４の名称およびシリアル番号を示す。画像４３７は、センサ１５１～１５４の検出信号と、アーム１１１～１１４への装着時に取得された手術器具１２１～１２４の名称およびシリアル番号とに基づいて生成される。観察者は、画像４３７を参照することにより、現在の手術器具１２１～１２４の名称およびシリアル番号を把握できる。

【0139】

図２４は、設定情報タブが選択されている場合の、情報表示領域４３０の構成を模式的に示す拡大図である。

【0140】

設定情報タブが選択されている場合、情報表示領域４３０は、表示選択領域４３１と、画像４３８、４３９と、を備える。

【0141】

画像４３８は、アーム１１１～１１４に装着された手術器具１２１～１２４の各ピボット位置を模式的に示す画像である。ピボット位置とは、アーム１１１～１１４の移動に応じて手術器具が移動する際に、手術器具と、当該手術器具が装着されているアームとの相対位置が変わらない手術器具における位置のことである。手術器具１２１～１２４は、ピボット位置を支点にしてアーム１１１～１１４により移動される。画像４３８には、各ピボット位置の間の距離が示されている。

【0142】

画像４３９は、操作装置２の設定を示す画像である。画像４３９は、オペレータが操作部２２１を操作する際の負荷（ハンドコントローラ２２０の重さ）と、ハンドコントローラ２２０の移動量と実際の手術器具の移動量との比（スケーリング）と、アームレスト２０３ａの高さと、フットユニット２３０の前後方向の位置（奥行き）と、を示している。

【0143】

観察者は、画像４３８、４３９を参照することにより、手術器具１２１～１２４のピボット位置および操作装置２の設定を把握できる。

【0144】

なお、表示選択領域４３１が、操作情報および設定情報以外の他のタブを備え、他のタブが選択されることにより、情報表示領域４３０に様々な情報が表示されてもよい。例えば、手術に関係する他の機器の情報が表示されてもよい。

【0145】

図２５は、手術画像４００において栞挿入ボタン４２５が操作された場合に表示される編集画像５００の構成を模式的に示す図である。

【0146】

手術画像４００において栞挿入ボタン４２５が操作されると、その時点における手術画像４００が、スクリーンショット５０２として情報処理装置３２０の記憶部３２２に自動的に保存される。

【0147】

編集画像５００は、栞表示領域５０１と、スクリーンショット５０２と、編集ツール領域５０３と、テキスト入力領域５０４と、閉じるボタン５１１と、ループ再生ボタン５１２と、を備える。

【0148】

栞表示領域５０１は、設定された栞に対応する栞項目５０１ａを表示する。栞項目５０１ａが操作されると、栞項目５０１ａが選択状態となり、選択された栞項目５０１ａに対応するスクリーンショット５０２、画像５０２ａおよびテキスト５０４ａが表示される。手術画像４００において栞挿入ボタン４２５が操作され編集画像５００が表示された場合、栞項目５０１ａが選択された状態となる。また、栞項目５０１ａ内のゴミ箱マークが操作されると、対応する栞が削除される。

【0149】

スクリーンショット５０２は、選択された栞項目５０１ａに対応する手術画像４００のスクリーンショットである。観察者は、スクリーンショット５０２上でマウスをドラッグすると、スクリーンショット５０２に対して手描きの画像５０２ａを挿入できる。また、観察者は、編集ツール領域５０３の各種ボタンやスライダーを操作することにより、スクリーンショット５０２に書き込む図形の色や線の太さ等を変更できる。観察者は、テキスト入力領域５０４を選択した上で、キーボードを介して文字を入力することにより、当該栞項目５０１ａに対してテキスト５０４ａを追加できる。

【0150】

閉じるボタン５１１が操作されると、スクリーンショット５０２と関連付けて、編集画像５００内で設定した画像５０２ａおよびテキスト５０４ａが、情報処理装置３２０の記憶部３２２に記憶される。その後、編集画像５００が閉じられ、再び手術画像４００が表示される。スクリーンショット５０２、画像５０２ａおよびテキスト５０４ａが保存されることにより、観察者は、その後に保存した内容を参照することで、オペレータによる操作を円滑に学習できる。

【0151】

ループ再生ボタン５１２が操作されると、閉じるボタン５１１と同様、スクリーンショット５０２と関連付けて、編集画像５００内で設定した画像５０２ａおよびテキスト５０４ａが、情報処理装置３２０の記憶部３２２に記憶され、編集画像５００が閉じられて再び手術画像４００が表示される。この場合、さらに、手術画像４００において、編集画像５００が閉じられる際に選択されていた栞項目５０１ａに対応する栞の前後（例えば、±５秒）の動画が繰り返し再生される。これにより、観察者は、重点的に学習したい場面について、各画像を繰り返し参照して学習を円滑に進めることができる。

【0152】

なお、ループ再生ボタン５１２が操作されたときの動画の繰り返し再生回数は特に限定されず、観察者が再生終了の指示をするまで再生を繰り返してもよいし、予め設定された繰返し回数で再生を終了してもよい。また、当該動画は必ずしも繰返し再生される必要は無く、１回再生されると終了してもよい。

【0153】

観察端末３４０を用いて講義が行われる場合、講師は、手描きの画像５０２ａを挿入することにより、画像５０２ａが示す部分に、講義の受講者を注目させることができる。これにより、受講者は、オペレータによる操作を円滑に学習できる。

【0154】

図２５では、手術画像４００において栞挿入ボタン４２５が操作された後で、スクリーンショット５０２に対して手描きの画像５０２ａが挿入される場合について説明したが、手術画像４００において先に手描きの画像を挿入することもできる。

【0155】

図２６は、先に手描きの画像４９１が挿入される場合の手術画像４００の構成を模式的に示す図である。

【0156】

図１７、１８に示す手術画像４００において、編集開始ボタン４２７が操作されると、図２６に示すように、手術画像４００において、動画コントロール領域４２０内に編集開始ボタン４２７に代えて編集ツール領域４２８が表示される。編集ツール領域４２８は、手描きの線の色を変更するためのアイコンと、書き込みを終了させるための終了アイコンとを備える。

【0157】

観察者は、図２６に示す手術画像４００において、マウスを操作して手描きの画像４９１を挿入し、栞挿入ボタン４２５を操作する。これにより、手術画像４００のスクリーンショット５０２と、手描きの画像４９１とが、情報処理装置３２０の記憶部３２２に自動的に保存される。そして、手描きの画像４９１が挿入された状態のスクリーンショット５０２を含む編集画像５００が表示される。なお、手描きの画像４９１の挿入は、手術画像４００の再生中に行われてもよいし、手術画像４００の再生を一旦停止した状態で行われてもよい。

【0158】

次に、図２７～３０を参照して、情報処理装置３２０の制御部３２１が行う処理を説明する。

【0159】

図２７は、手術画像４００の生成に必要な情報を受信する処理を示すフローチャートである。

【0160】

ステップＳ１において、情報処理装置３２０の制御部３２１は、記憶装置３１０からリアルタイムで送信された内視鏡画像、手術室画像、状態ログおよび動作ログを受信し、記憶部３２２に記憶する。状態ログには、エンコーダ２６１の出力に基づく操作部２２１の状態（グリップ角度）を示すログ、エンコーダ２７２～２７６の夫々の出力に基づく可動部２２２～２２６の状態（移動量）を示すログ、リミットセンサ２８１～２８７の夫々の出力に基づくフットペダル２３１～２３７の状態（例えば、通電または非通電）を示すログ、ヘッドセンサ２１２の出力に基づくビューア２１１の状態（ビューアへのオペレータの接近の有無）を示すログが含まれる。動作ログには、エンコーダ１４２の出力に基づくアーム装置１の動作部１４０の動作（動作量）を示すログが含まれる。

【0161】

図２８は、手術画像４００を生成する処理を示すフローチャートである。図２８の各処理は、観察端末３４０からの要求に応じて実行される。

【0162】

ステップＳ２において、制御部３２１は、状態ログおよび動作ログに基づいて、第１～第３の再構成画像を生成する。第１の再構成画像は、オペレータが接触して操作する操作対象（操作部２２１、フットペダル２３１～２３７およびビューア２１１）に対する操作を視覚化した画像４３２ａ、４３２ｂ、４３４、４３５、４４０を含む。第２の再構成画像は、操作対象（フットペダル２３１～２３７）に対する操作準備の状態（足がフットペダルの前方または上方に位置づけられた状態）を模式的に示す画像４３５を含む。第３の再構成画像は、アーム装置１のアームに装着された鉗子の動作を視覚化した画像４３３ａ、４３３ｂを含む。

【0163】

また、ステップＳ２において、制御部３２１は、状態ログのうち、操作部２２１の状態（グリップ角度；図１３において、ハンドコントローラ（右）の１＿グリップ角度およびハンドコントローラ（左）の１＿グリップ角度）を示すログおよび可動部２２２～２２６の状態（移動量；図１３において、ハンドコントローラ（右）の１＿１軸～１＿７軸およびハンドコントローラ（左）の１＿１軸～１＿７軸）を示すログ基づいて模式画像４０４を生成し、動作ログに基づいて模式画像４０３を生成する。

【0164】

ステップＳ３において、制御部３２１は、内視鏡画像４０１、手術室画像４０２およびステップＳ２で生成した模式画像４０３、４０４と、ステップＳ２で生成した第１～第３の再構成画像とに基づいて手術画像４００を生成する。ステップＳ４において、制御部３２１は、ステップＳ３で生成した手術画像４００に付加情報を追加する。

【0165】

図２９は、図２８のステップＳ４の付加情報の追加処理の詳細を示すフローチャートである。

【0166】

ステップＳ１１において、情報処理装置３２０の制御部３２１は、全期間の内視鏡画像４０１のうち既に視聴された内視鏡画像４０１の部分および視聴回数を示す情報（図２０の視聴回数を示す画像４６０）を、手術画像４００に追加する。ステップＳ１２において、制御部３２１は、手術器具１２１～１２４の装着の有無を時系列で示す情報（図２０の手術器具の使用記録を示す画像４５０）、および、手術器具の種類を示す情報（図２０の手術器具情報４５１および図２１の画像４３７）を、手術画像４００に追加する。

【0167】

図２８に戻り、ステップＳ５において、制御部３２１は、ステップＳ４で付加情報を追加した手術画像４００を、観察端末３４０に対して提供する。なお、制御部３２１は、所定期間の内視鏡画像、手術室画像、状態ログ、および動作ログについてステップＳ１～Ｓ４の処理を実行した後、ステップＳ５の処理を実行する。制御部３２１は、観察端末３４０から手術画像４００の表示を終了する指示を受信するまで、ステップＳ１～Ｓ５の処理を繰り返し実行し、終了指示を受信すると、図２８の処理を終了する。

【0168】

なお、制御部３２１は、全期間の内視鏡画像、手術室画像、状態ログ、および動作ログについてステップＳ１～Ｓ４の処理を実行した後、ステップＳ５の処理を実行してもよい。この場合、ステップＳ１～Ｓ５の繰り返し処理は不要である。

【0169】

図２８の処理では、制御部３２１は、ステップＳ５の手術画像４００を提供する工程において、観察端末３４０の表示部３４３に、内視鏡画像４０１、手術室画像４０２、模式画像４０３、４０４、動画コントロール領域４２０、情報表示領域４３０内の各画像、および、画像４４０、４５０、４６０が、経時的に変化しつつ互いに同期されて表示される画像（動画）を提供する。

【0170】

図３０は、栞の追加によるスクリーンショット５０２の記憶に関する処理を示すフローチャートである。

【0171】

ステップＳ２１において、情報処理装置３２０の制御部３２１は、栞挿入ボタン４２５が操作されたか否かを判定する。栞挿入ボタン４２５が操作された場合、ステップＳ２２において、制御部３２１は、内視鏡画像４０１の再生位置、および、栞挿入ボタン４２５が操作された時点の手術画像４００のスクリーンショットを記憶する。ステップＳ２３において、制御部３２１は、観察端末３４０から手術画像４００の再生を終了する指示を受信したか否かを判定する。制御部３２１は、終了指示を受信していない場合、処理をステップＳ２１に戻し、終了指示を受信した場合、図３０の処理を終了する。

【0172】

図３１は、スクリーンショット５０２の表示および栞位置前後の再生に関する処理を示すフローチャートである。

【0173】

ステップＳ３１において、情報処理装置３２０の制御部３２１は、栞が選択されたか否かを判定する。栞の選択は、編集画像５００において栞項目５０１ａが操作されること、手術画像４００において栞マーク４２６が操作されること、および、手術画像４００において栞挿入ボタン４２５が操作されること、により実行される。

【0174】

栞が選択された場合、ステップＳ３２において、制御部３２１は、対象となるスクリーンショット５０２と、当該スクリーンショット５０２に関連付けられた手描きの画像５０２ａ、４９１およびテキスト５０４ａを、観察端末３４０に対して提供する。これにより、図２５に示したように、観察端末３４０の表示部３４３に、スクリーンショット５０２、画像５０２ａ、４９１およびテキスト５０４ａを含む編集画像５００が表示される。

【0175】

ステップＳ３３において、制御部３２１は、編集画像５００のループ再生ボタン５１２が操作されたか否かを判定する。ループ再生ボタン５１２が操作された場合、編集画像５００が閉じられ、手術画像４００が表示される。そして、ステップＳ３４において、制御部３２１は、選択された栞位置の前後所定期間（例えば、－５秒から＋５秒まで）の間を繰り返し再生するよう、観察端末３４０に情報を送信する。すなわち、例えば、選択された栞位置±５秒が、観察端末３４０においてループ再生される。ループ再生ボタン５１２が操作されていない場合、処理がステップＳ３５に進められる。

【0176】

ステップＳ３５において、制御部３２１は、編集画像５００の閉じるボタン５１１が操作されたか否かを判定する。閉じるボタン５１１が操作されていない場合、制御部３２１は、処理をステップＳ３３に戻す。閉じるボタン５１１が操作された場合、編集画像５００が閉じられ、手術画像４００が表示される。こうして、図３１の処理が終了する。

【0177】

＜実施形態の効果＞
情報処理装置３２０の制御部３２１は、オペレータが操作装置２の操作部２２１（図４参照）、フットペダル２３１～２３７（図５参照）およびビューア２１１（図３参照）（操作対象）を操作することによって変化する操作対象の状態を示す状態ログ（図１３参照）を取得し（図２７のステップＳ１）、状態ログに基づいて、操作対象に対するオペレータの操作を視覚化した画像４３２ａ、４３２ｂ、４３４、４３５（図２１参照）および画像４４０（図２０参照）（再構成画像）を生成し（ステップＳ２）、手術用ロボット４または手術器具１２１～１２４（図２参照）の動作を示す内視鏡画像４０１、手術室画像４０２および模式画像４０３、４０４（図１７参照）（動作画像）と、再構成画像と、を関連付けた手術画像４００（図１７、１８参照）を提供する（図２８のステップＳ５）。

【0178】

観察者は、動作画像と再構成画像とを参照することにより、手術用ロボット４または手術器具１２１～１２４の動作と、そのための操作対象の操作とを、容易かつ正確に確認できる。

【0179】

操作部２２１（操作対象）は、オペレータの操作に応じて移動され、状態ログは、操作部２２１（操作対象）の状態を検知するエンコーダ２６１およびセンサ等（状態検知器）の出力に基づく情報（位置、回転量、角度、有無等）を含む。この構成によれば、操作装置２の操作対象の状態を検知するエンコーダ２６１等の出力を用いることにより、オペレータが実際に操作対象をどのように移動させたかを視覚化した画像４３２ａ、４３２ｂ（再構成画像）を生成できる。

【0180】

操作部２２１（操作対象）は、オペレータの操作に応じて移動され、再構成画像は、オペレータの操作による操作部２２１（操作対象）の移動の度合いを模式的に示す画像４３２ａ（図２１参照）（模式画像）を含む。この構成によれば、オペレータによる微妙な操作加減を模式的に視覚化でき、観察者は、オペレータが操作部２２１をどの程度移動させていたのかを直観的に把握できる。これにより、例えば、未熟者であっても、熟練者による微妙な操作を画像４３２ａにより確認することで、熟練した操作対象の操作スキルを円滑に習得できる。

【0181】

画像４３２ａ（模式画像）は、操作部２２１の一対の可動板２２１ｂ（操作対象）が移動する平面上の操作対象を模式化した画像である。この構成によれば、観察者は、画像４３２ａを参照することにより、一対の可動板２２１ｂの移動平面上における移動量を正確に確認できるため、一対の可動板２２１ｂの移動をより正確に把握できる。

【0182】

再構成画像は、オペレータの操作による操作部２２１（操作対象）の移動の度合いを数値で示す画像４３２ｂ（図２１参照）を含む。この構成によれば、オペレータが操作対象をどの程度移動させていたかを、例えば、操作対象が移動した距離や角度により定量的に示すことができ、観察者は、操作対象の移動の度合いを定量的に把握できる。これにより、観察者は、効率的且つ正確に操作対象の操作を学ぶことができ、熟練者の手技を再現しやすくなる。

【0183】

操作対象は、アーム装置１に取り付けられた鉗子（電気器具）への通電および非通電を切り替えるフットペダル２３４～２３７（操作子）を含み、状態ログは、フットペダル２３４～２３７（操作子）による通電および非通電の切り替えを示す情報を含み、再構成画像は、フットペダル２３４～２３７（操作子）が操作されていた期間を模式的に示す画像４３４（図２１参照）を含む。この構成によれば、観察端末３４０を利用する観察者は、内視鏡画像４０１に示された鉗子（電気器具）による患部の施術において、オペレータが散発的に電気器具に通電したのか、ある程度の期間に渡って連続的に電気器具に通電したのかを把握できる。これにより、観察者は、電気メス等の電気器具を用いて患部を切開し、または凝固させる際に、電気器具にどのような通電操作を行えばよいかを学習できる。

【0184】

操作対象は、オペレータが内視鏡画像４０１を観察するためのビューア２１１（表示部）を含み、状態ログは、ビューア２１１へのオペレータの接近を検知するヘッドセンサ２１２（センサ）の出力に基づく情報を含み、再構成画像は、ビューア２１１へのオペレータの接近の継続期間および中断期間を模式的に示す画像４４０（図２０参照）を含む。ビューア２１１へのオペレータの接近の継続期間は、オペレータがビューア２１１の画像を視聴して施術いることを示唆し、中断期間は、オペレータがビューア２１１の画像を視聴せず、施術を中断していることを示唆する。この構成によれば、観察者は、画像４４０を参照することで、オペレータによる施術のインターバルを把握できる。これにより、観察者は、内視鏡画像４０１に示された施術がどのような状態になった場合に、施術を中断して、補助者に対する指示や鉗子の交換、休息等を行えばよいかを学習できる。

【0185】

再構成画像は、フットペダル２３１～２３７（操作対象）に対する操作タイミングを模式的に示す画像４３４、４３５を含む。操作タイミングは、画像４３４において信号値がＯＮになったタイミング、および、画像４３５内のペダル画像４７１～４７７（図２３参照）の外周に色が付されたタイミングにより示される。この構成によれば、観察者は、内視鏡画像４０１に示された施術において、どのようなタイミングでオペレータが操作対象を操作したかを、容易に把握できる。

【0186】

図２８のステップＳ２は、フットペダル２３１～２３７（操作対象）に対する操作準備の状態を検知するフットセンサ２４１～２４８（センサ）からの出力に基づいて、操作準備の状態を模式的に示す画像４３５（第２の再構成画像）を生成する工程を含む。手術画像４００において、動作画像と第２の再構成画像とが関連付けられる。図２２の下段に示すように、足画像４８１が表示され、当該足画像４８１に対応するペダル画像の外周に色が付されていない場合、対応するフットペダルに対して足が操作準備の状態であることが分かる。この処理によれば、観察者は、内視鏡画像４０１に示された施術において、どのようなタイミングでオペレータがフットペダル２３１～２３７に対する操作の準備を行ったかを、容易に把握できる。

【0187】

図２７のステップＳ１は、操作部２２１（操作対象）に対する操作により駆動されるアーム装置１の動作部１４０の動作ログを取得する工程を含み、図２８のステップＳ２は、動作ログに基づいて動作部１４０の駆動状態を視覚化した画像４３３ａ、４３３ｂ（第３の再構成画像）を生成する工程を含む。手術画像４００において、内視鏡画像４０１、手術室画像４０２および模式画像４０３、４０４（動作画像）と、第３の再構成画像とが関連付けられる。この処理によれば、観察者は、オペレータによる操作部２２１の操作と、この操作に応じてアーム装置１の動作部１４０が実際にどのように駆動されるかを比較できる。

【0188】

操作装置２は、操作部２２１（操作対象）と、オペレータが操作部２２１（操作対象）に接触して操作することに連動して移動する可動部２２２～２２６（第２の操作対象）と、を含む。動作画像は、状態ログに基づいて、操作部２２１および可動部２２２～２２６の移動を全体的に視覚化した模式画像４０４を含む。この処理によれば、観察者は、例えば、画像４３２ａ、４３２ｂ（再構成画像）と合わせて模式画像４０４を参照することにより、オペレータによる操作によって実際にハンドコントローラ２２０がどのように動作したかを円滑に確認できる。

【0189】

情報処理装置３２０の制御部３２１は、全期間の動作画像のうち既に視聴された動作画像の部分および視聴回数を示す情報として、図２０の視聴回数に関する画像４６０を手術画像４００に追加し（図２９のステップＳ１１）、画像４６０が追加された手術画像４００を提供する（図２８のステップＳ５）。この処理によれば、観察者は、難解な手技や操作が行われた工程等、これまでに頻繁に参照された手術の工程を把握できる。これにより、観察者は、手技および操作対象に対する操作を効率的に学習できる。

【0190】

オペレータが接触して操作する操作対象は、アーム装置１に取り付けられた鉗子の先端を開閉させるための操作部２２１である。この構成によれば、観察者は、熟練者の手による操作対象の操作を把握でき、手技に対する熟練者の操作を再現しやすくなる。

【0191】

情報処理装置３２０の制御部３２１は、アーム装置１に対する手術器具１２１～１２４の着脱を検出するセンサ１５１～１５４の出力に基づいて、手術器具１２１～１２４の装着の有無を時系列で示す情報として、図２０の手術器具の使用記録に関する画像４５０を手術画像４００に追加し（図２９のステップＳ１２）、画像４５０が追加された手術画像４００を提供する（図２８のステップＳ５）。この処理によれば、観察者は、内視鏡画像４０１に示された施術において、アーム装置１に対する手術器具１２１～１２４の着脱や交換のタイミングを把握できる。これにより、観察者は、手術器具１２１～１２４を用いた熟練者の手技を再現しやすくなる。

【0192】

情報処理装置３２０の制御部３２１は、アーム装置１に装着されている手術器具１２１～１２４の種類を示す情報として、図２０の手術器具情報４５１および図２１の画像４３７を手術画像４００に追加し（図２９のステップＳ１２）、手術器具情報４５１および画像４３７が追加された手術画像４００を提供する（図２８のステップＳ５）。この処理によれば、観察者は、施術の進行状況に応じてどのような手術器具が用いられたかを把握できる。これにより、観察者は、手術器具１２１～１２４を用いた熟練者の手技を再現しやすくなる。

【0193】

オペレータが接触して操作する操作対象は、操作装置２のフットペダル２３１～２３７である。この構成によれば、観察者は、熟練者の足による操作対象の操作を把握でき、足による熟練者の操作を再現しやすくなる。例えば、フットペダル２３３によってハンドコントローラ２２０の操作を内視鏡１２２のアングル調整に切り替える場合、観察者は、画像４３５（再構成画像）を参照して、どの程度こまめに内視鏡１２２のアングルを調整しているかを把握できる。

【0194】

フットペダルは、右足用のフットペダル２３４～２３７、および、左足用のフットペダル２３１～２３３を含む。観察者は、左右の足によるフットペダル２３１～２３７の操作を把握できる。

【0195】

オペレータが接触して操作する操作対象は、アーム装置１に取り付けられた手術器具１２１～１２４を動作させるためのハンドコントローラ２２０の操作部２２１およびフットペダル２３１～２３７を含み、再構成画像は、操作部２２１に対する操作を視覚化した画像４３２ａ、４３２ｂ（第１画像）と、フットペダル２３１～２３７に対する操作を視覚化した画像４３４、４３５（第２画像）と、を含む。手術画像４００において、図２１に示すように、画像４３２ａ、４３２ｂ（第１画像）が画像４３５（第２画像）よりも上方に配置される。この構成によれば、オペレータの手足の上下位置と、手術画像４００における操作対象の上下位置とが一致するため、観察者は、オペレータによる操作をより円滑に学習できる。

【0196】

情報処理装置３２０の制御部３２１は、手術画像を提供する工程（図２８のステップＳ５）において、内視鏡画像４０１、手術室画像４０２および模式画像４０３、４０４（動作画像）と、画像４３２ａ、４３２ｂ、４３４、４３５（再構成画像）とを経時的に変化させる。この処理によれば、観察者は、手術の進行に伴う操作対象の操作を、経時的に変化する動作画像および再構成画像、すなわち動画により円滑に把握できる。

【0197】

情報処理装置３２０の制御部３２１は、手術画像４００を提供する工程（図２８のステップＳ５）において、内視鏡画像４０１、手術室画像４０２および模式画像４０３、４０４（動作画像）と、画像４３２ａ、４３２ｂ、４３４、４３５（再構成画像）とを互いに同期させる。この処理によれば、観察者は、動作画像に示された施術に対応する操作対象の操作を円滑に確認できる。

【0198】

情報処理装置３２０の制御部３２１は、経時的に変化する手術画像４００の表示中に、栞挿入ボタン４２５を介して任意の時点の指定を受け付け（図３０のステップＳ２１）、指定された時点のスクリーンショット５０２（手術画像４００）を自動的に保存する（ステップＳ２２）。観察者は、経時的に変化する手術画像４００の表示中に、任意の時点で手術画像４００を保存できるため、施術時の操作を円滑に学習できる。

【0199】

例えば、オペレータの操作が早く、内視鏡画像４０１、手術室画像４０２および模式画像４０３、４０４（動作画像）と画像４３２ａ、４３２ｂ、４３４、４３５（再構成画像）とを円滑に見比べることができないような場合、観察者は、図２５に示したように、その時点の手術画像４００に対応するスクリーンショット５０２を保存することができる。また、手術後に、観察者が手術画像４００を参照しながら熟練者からレクチャーを受け、図２５、２６に示したように熟練者が手術画像４００に対して書き込み等を行った場合、観察者は、手術画像４００に対応するスクリーンショット５０２とともに、書き込みに対応する画像５０２ａ、４９１も保存できる。これにより、観察者は、保存したスクリーンショット５０２をその後に参照することで、施術に対する操作を円滑に学習できる。

【0200】

情報処理装置３２０の制御部３２１は、経時的に変化する手術画像４００の表示中に、栞挿入ボタン４２５を介して任意の時点の指定を受け付け（図３０のステップＳ２１）、ループ再生ボタン５１２を介して指定された時点の再生指示を受け付け（図３１のステップＳ３３）、再生指示に基づき指定された時点の前後所定の期間の手術画像４００を再生する（ステップＳ３４）。この処理によれば、観察者は、経時的に変化する手術画像４００の表示中の任意の時点で指定を行うことで、その時点付近の動作画像および再構成画像を、再生により確認できる。例えば、オペレータの操作が早く、動作画像と再構成画像とを円滑に見比べることができないような場合、観察者は、その時点を指定することで、その時点付近の動作画像および再構成画像を、再生により確認できる。これにより、観察者は、施術に対する操作を円滑に学習できる。

【0201】

図１７に示したように、手術画像４００において、内視鏡画像４０１および模式画像４０３、４０４（動作画像）と、アーム装置１が設置された手術室を撮影する手術室カメラ３０１から得られる手術室画像４０２とが関連付けられる。なお、図３２に示すように、操作装置２を撮影した画像４０５、患者の腹部を撮影した画像４０６、器材庫を撮影した画像４０７および手術室に繋がる廊下を撮影した画像４０８などがカメラにより撮影され、画像４０５～４０８が、手術画像４００において動作画像とともに表示されてもよい。この場合の画像４０５～４０８は、動作画像と同時に撮影された動画である。

【0202】

上記のように、手術画像４００において、内視鏡画像４０１および模式画像４０３、４０４（動作画像）と、アーム装置１が設置された手術室、操作装置２、患者の腹部、器材庫および手術室につながる廊下の少なくとも一つを撮影するカメラから得られる画像と、が関連付けられることにより、観察者は、動作画像に示された施術の進行状況に応じて、手術室、操作装置２、患者の腹部、器材庫および廊下がどのような状況にあるかを確認できる。例えば、観察者は、手術室における補助者からの補助および動作、操作装置２のハンドコントローラ２２０の各関節の角度、患者の腹部における案内管（トロカール）の角度、および、器材庫または廊下における補助者の出入りや移動が、施術の進行状況に応じてどのような状況にあるのかを確認できる。これにより、観察者は、施術の際の自身およびチームの行動をさらに学習できる。

【0203】

図８に示した情報処理システム５は、記憶装置３１０および情報処理装置３２０を備える。記憶装置３１０は、手術器具１２１～１２４が取り付けられた手術用ロボット４のアーム装置１の動作を制御するための操作装置２の操作対象をオペレータが操作することによって変化する操作対象の状態を示す状態ログを記憶する。操作対象は、例えば、操作部２２１（図４参照）、フットペダル２３１～２３７（図５参照）およびビューア２１１（図３参照）である。情報処理装置３２０は、記憶装置３１０に記憶された状態ログに基づいて、操作対象に対するオペレータの操作を視覚化した画像４３２ａ、４３２ｂ、４３４、４３５、４４０（再構成画像）を生成し、手術用ロボット４または手術器具１２１～１２４の動作を示す内視鏡画像４０１、手術室画像４０２および模式画像４０３、４０４（動作画像）と、再構成画像とを関連付けた手術画像４００を提供する。

【0204】

この構成によれば、観察者は、動作画像と再構成画像とを参照することにより、手術用ロボット４または手術器具１２１～１２４の動作と、そのための操作対象の操作とを、容易かつ正確に確認できる。

【0205】

＜変更例＞
上記実施形態では、オペレータの操作による操作部２２１の移動の度合いを示す画像４３２ａ（図２１参照）には、一対の可動板２２１ｂの模式図が示され、この模式図における一対の可動板２２１ｂの開き度合いが、操作部２２１の操作に応じて描画された。しかしながら、これに限らず、一対の可動板２２１ｂの模式図に代えて、画像４３２ａに、一対の可動板２２１ｂの開き度合いを模式的に示すメーターが表示されてもよい。

【0206】

画像４３２ａは、操作部２２１の一対の可動板２２１ｂ（操作対象）を２次元的かつ模式的に示す画像であったが、これに代えて、可動板２２１ｂ（操作対象）を３次元的かつ模式的に示す画像であってもよい。

【0207】

上記実施形態では、図２１に示した画像４３４は、左右のハンドコントローラ２２０に対応するフットペダルの踏み込み状態をＯＮまたはＯＦＦで示したが、これに限らず、フットペダルがＯＮになることにより対応する電気メスに印加されるエネルギーの強さを示す出力値が表示されてもよい。この場合、フットペダルがＯＮのときに電気メスに印加されるエネルギーの強さを、エネルギージェネレータの設定によって手術中に変更可能であってもよい。例えば、フットペダルがＯＮのときに電気メスに印加されるエネルギーの強さがＶ１に設定されている場合、フットペダルが踏まれている間は画像４３４のグラフの高さがＶ１となり、フットペダルがＯＮのときに電気メスに印加されるエネルギーの強さがＶ２（＞Ｖ１）に設定されている場合、フットペダルが踏まれている間は画像４３４のグラフの高さがＶ２となり、フットペダルが踏まれていないときは画像４３４のグラフの高さが０となる。

【0208】

上記実施形態では、図２１に示した画像４３４には、状態ログに基づいてフットペダル２３４～２３７の踏み込み状態が示されたが、これに加えて、動作ログに基づいて実際に鉗子に印加される電圧のＯＮまたはＯＦＦが示されてもよい。

【0209】

上記実施形態では、内視鏡画像４０１、手術室画像４０２および模式画像４０３、４０４は、経時的かつ連続的に変化する画像、すなわち動画であり、手術画像４００の他の部分の表示も、経時的かつ連続的に変化した。しかしながら、これに限らず、手術画像４００の各部は、所定の時間間隔（例えば、数秒間隔）で変化する複数の静止画（コマ送り動画）であってもよい。また、図２５のループ再生ボタン５１２により繰り返し再生が行われる場合も、手術画像４００の各部は、コマ送り動画であってもよい。

【0210】

上記実施形態では、内視鏡画像４０１、手術室画像４０２および模式画像４０３、４０４（動作画像）と、画像４３２ａ、４３２ｂ、４３４、４３５（再構成画像）とは、互いに同期していたが、動作画像と再構成画像とが関連付けられていれば、互いに同期していなくてもよい。例えば、再構成画像が、動作画像に比べて少し遅れて表示されてもよい。すなわち、再構成画像の表示対象となる時刻が、動作画像の表示対象となる時刻より遅れていてもよい。再構成画像の遅延時間は、観察者が学習しやすいように調整できてもよい。これにより、観察者は、動作画像を見た後で、視線を再構成画像に移動し、直前に動作画像で見た操作を再構成画像で確認できる。

【0211】

同様に、上記実施形態の変更例では、画像４０５～４０８（図３２参照）が、動作画像および再構成画像と同期していたが、動作画像および／または再構成画像と同期しなくてもよい。また、画像４０５～４０８は、動作画像および／または再構成画像の全期間の動画である必要はなく、所定期間のみが表示されてもよい。

【0212】

上記実施形態では、栞挿入ボタン４２５により手術画像４００に対応するスクリーンショット５０２が、情報処理装置３２０の記憶部３２２に保存されたが、これに限らず、観察端末３４０の記憶部３４２に保存されてもよい。

【0213】

上記実施形態では、記憶装置３１０に記憶された手術室画像、内視鏡画像、動作ログおよび状態ログが、手術中にリアルタイムで情報処理装置３２０に送信されたが、手術後に送信されてもよい。

【0214】

上記実施形態では、手術画像４００は、画像４０１～４０４、画像４３２ａ～４３５等を含んでいたが、手術画像４００は、画像４０１～４０４（動作画像）のうち少なくとも１つと、画像４３２ａ、４３２ｂ、４３４、４３５、４４０（オペレータの操作を視覚化した再構成画像）のうちの少なくとも１つを含んでいればよい。この場合も、観察者は、動作画像と再構成画像とを参照することにより、手術用ロボット４または手術器具１２１～１２４の動作と、そのための操作対象の操作とを、容易かつ正確に確認できる。

【0215】

上記実施形態では、状態ログおよび動作ログは、所定の時間間隔で取得された現在値で構成されているが、これには限定されない。例えば、制御部１３１または制御部２５１は、エンコーダまたはセンサが値または信号を出力するたびに、その値または信号を現在値として取得し、状態ログおよび動作ログの少なくとも一方が、それらの現在値により構成されていてもよい。

【0216】

上記実施形態では、手術画像４００の情報表示領域４３０には、操作情報タブと設定情報タブが表示されていたが、さらに、エラー情報タブが表示されてもよい。

【0217】

図３３は、エラー情報タブが選択されている場合の、手術画像４００を示す図である。

【0218】

図３３に示すように、エラー情報タブが選択されると、エラーの発生履歴に応じてエラー情報６００が表示される。また、エラー情報６００のいずれかが選択されると（図３３の例では、４番目（最下行）のエラー情報６００が選択されている）、選択されたエラーのエラーメッセージやエラー発生日時などを含む詳細情報６００ａが表示される。また、選択されたエラー情報６００に対応する注意喚起マーク４２４が、動画コントロール領域４２０内で強調表示される。また、再生位置マーク４２２を注意喚起マーク４２４の位置に移動させることで、発生したエラーの対象となった装置（本例では、アーム装置１）のエラー発生時点の静止画４０３ａが表示される。静止画４０３ａは、模式画像４０３（動画）のエラー発生時点における画像である。これにより、観察者は、いつ、どのようなエラーが発生し、エラー発生時点において、エラーの対象となった装置がどのような動作状態であったかを容易に把握することができる。

【0219】

また、図３３において、観察者は、再生位置マーク４２２を注意喚起マーク４２４の位置に移動させた後、操作情報タブを操作して、情報表示領域４３０に図２１と同様の情報を表示させることもできる。これにより、観察者は、エラー発生時点における静止画４０３ａを見つつ、そのときのオペレータの操作を視覚化した再構成画像を参照できるため、エラー発生時点でのオペレータの操作を詳細に把握できる。

【0220】

本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。

【符号の説明】

【0221】

１ アーム装置
２ 操作装置
４ 手術用ロボット
５ 情報処理システム
１２１ 手術器具（鉗子）
１２２ 手術器具
１２３ 手術器具（鉗子、電気器具）
１２４ 手術器具（鉗子）
１４０ 動作部
１５１～１５４ センサ
２１１ ビューア（操作対象、表示部）
２１２ ヘッドセンサ（センサ）
２２０ ハンドコントローラ
２２１ 操作部（操作対象）
２２１ｂ 可動板（操作対象）
２２２～２２６ 可動部（第２の操作対象）
２３１～２３３ フットペダル（操作対象）
２３４～２３７ フットペダル（操作対象、操作子）
２６１ エンコーダ（状態検知器）
３０１ 手術室カメラ（カメラ）
３１０ 記憶装置
３２０ 情報処理装置
４００ 手術画像
４０１ 内視鏡画像（動作画像）
４０２ 手術室画像（動作画像、画像）
４０３、４０４ 模式画像（動作画像）
４０５～４０８ 画像
４３２ａ 画像（再構成画像、模式画像、第１画像）
４３２ｂ 画像（再構成画像、第１画像）
４３３ａ、４３３ｂ 画像（第３の再構成画像）
４３４ 画像（再構成画像、第２画像）
４３５ 画像（再構成画像、第２の再構成画像、第２画像）
４４０ 画像（再構成画像）
４５０ 画像（情報）
４６０ 画像（情報）
５０２ スクリーンショット（手術画像）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】