特許 7439603 可視化装置、可視化方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】可視化装置、可視化方法、およびプログラム

(51)【国際特許分類】

   A61B 34/20 20160101AFI20240220BHJP

   A61B 34/30 20160101ALI20240220BHJP

【ＦＩ】

A61B34/20

A61B34/30

【請求項の数】 7

(21)【出願番号】P 2020050930

(22)【出願日】2020-03-23

(65)【公開番号】P2021146045

(43)【公開日】2021-09-27

【審査請求日】2023-02-22

(73)【特許権者】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】森本 哲郎

(72)【発明者】

【氏名】深田 隆之

【審査官】木村 立人

(56)【参考文献】

【文献】特開２０１９－２０８７３７（ＪＰ，Ａ）

【文献】特表２０１７－５１３５５０（ＪＰ，Ａ）

【文献】国際公開第２０２０／０４８５１１（ＷＯ，Ａ１）

【文献】特開２０１６－７７５７４（ＪＰ，Ａ）

【文献】特表２０２０－５０８２００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １７／００ ― ９０／９８

(57)【特許請求の範囲】

【請求項1】

手術台に対して高さ方向に固定された撮像部の撮像結果に基づいて、手術台に設けられた手術台マーカーの位置と、患者の体に付されるシートに設けられた人体マーカーの位置とを検出する位置検出部と、
前記手術台マーカーおよび前記人体マーカーの相対的な位置関係と、前記患者の姿勢とを対応付けた姿勢特定情報を取得する取得部と、
前記位置検出部の検出結果と、前記取得部によって取得された前記姿勢特定情報とに基づいて、前記患者の姿勢を特定する特定部と、
前記患者の基準姿勢における前記患者の外形と前記患者の患部との配置を示す配置情報を参照し、前記特定部によって特定された姿勢に応じた前記患部の仮想画像を表示部に表示させる制御部と、
を備え、
前記制御部は、前記患部の仮想画像を、前記患部以外の部位を示す仮想画像とは異なる表示態様で表示させる、
可視化装置。

【請求項2】

前記配置情報は、前記患者の体を撮像した断層画像から得られる前記患部の位置と、前記基準姿勢における前記患者の外形とに基づく情報である、
請求項１に記載の可視化装置。

【請求項3】

手術支援ロボットが有するアームには、アームマーカーが付され、
前記アームの先端には、操作ツールが設けられ、
前記位置検出部は、前記アームマーカーの位置を検出し、
前記制御部は、前記位置検出部によって検出された前記アームマーカーの位置に基づいて前記操作ツールの仮想画像を表示させる、
請求項１または２に記載の可視化装置。

【請求項4】

前記シートは、前記患者の体側の面に粘着剤が付されるシートである、
請求項１～３のいずれか一項に記載の可視化装置。

【請求項5】

前記シートは、前記患者の関節部分に付される、
請求項１～４のいずれか一項に記載の可視化装置。

【請求項6】

位置検出部が、手術台に対して高さ方向に固定された撮像部の撮像結果に基づいて、手術台に設けられた手術台マーカーの位置と、患者の体に付されるシートに設けられた人体マーカーの位置とを検出し、
取得部が、前記手術台マーカーおよび前記人体マーカーの相対的な位置関係と、前記患者の姿勢とを対応付けた姿勢特定情報を取得し、
特定部が、前記位置検出部の検出結果と、前記取得部によって取得された前記姿勢特定情報とに基づいて、前記患者の姿勢を特定し、
制御部が、前記患者の基準姿勢における前記患者の外形と前記患者の患部との配置を示す配置情報を参照し、前記特定部によって特定された姿勢に応じた前記患部の仮想画像を表示部に表示させ、前記患部の仮想画像を、前記患部以外の部位を示す仮想画像とは異なる表示態様で表示させる、
可視化方法。

【請求項7】

コンピュータを、
手術台に対して高さ方向に固定された撮像部の撮像結果に基づいて、手術台に設けられた手術台マーカーの位置と、患者の体に付されるシートに設けられた人体マーカーの位置とを検出する位置検出手段、
前記手術台マーカーおよび前記人体マーカーの相対的な位置関係と、前記患者の姿勢とを対応付けた姿勢特定情報を取得する取得手段、
前記位置検出手段の検出結果と、前記取得手段によって取得された前記姿勢特定情報とに基づいて、前記患者の姿勢を特定する特定手段、
前記患者の基準姿勢における前記患者の外形と前記患者の患部との配置を示す配置情報を参照し、前記特定手段によって特定された姿勢に応じた前記患部の仮想画像を表示部に表示させる制御手段、
として機能させ、
前記制御手段は、前記患部の仮想画像を、前記患部以外の部位を示す仮想画像とは異なる表示態様で表示させる、
ためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、可視化装置、可視化方法、およびプログラムに関する。

【背景技術】

【0002】

近年、医療分野において内視鏡やロボットを用いた腹腔鏡手術（「低侵襲外科手術」ともいう）が行われている。腹腔鏡手術では、モニターに患部や鉗子等が表示されるものの、視認可能な領域が狭いため、手術や療法を行う術者には解剖学的な知見や、経験による難しい判断などが必要とされる。関連する技術として、鉗子等の操作ツールの位置を表す画像を表示し、当該画像に操作ツールの移動の限界を表す画像を重ね合わせて表示することなどが行われている（例えば、下記特許文献１参照）。

【0003】

また、センシング技術やデジタル化技術の向上により、ＭＲＩ（Magnetic Resonance Imaging）やＣＴ（Computed Tomography）によって計測された患部（人体情報）を解析し、診断に役立てることなども行われている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１７６８４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、モニター内の視認可能な領域が狭いため、手術に関する作業を効率的に行えないことがある、という課題があった。

【0006】

本発明は、このような事情に鑑みてなされたもので、その目的は、手術に関する作業効率の向上を図ることができる、可視化装置、可視化方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0007】

本発明の可視化装置は、手術台に対して高さ方向に固定された撮像部の撮像結果に基づいて、手術台に設けられた手術台マーカーの位置と、患者の体に付されるシートに設けられた人体マーカーの位置とを検出する位置検出部と、前記手術台マーカーおよび前記人体マーカーの相対的な位置関係と、前記患者の姿勢とを対応付けた姿勢特定情報を取得する取得部と、前記位置検出部の検出結果と、前記取得部によって取得された前記姿勢特定情報とに基づいて、前記患者の姿勢を特定する特定部と、前記患者の基準姿勢における前記患者の外形と前記患者の患部との配置を示す配置情報を参照し、前記特定部によって特定された姿勢に応じた前記患部の仮想画像を表示部に表示させる制御部と、を備え、前記制御部は、前記患部の仮想画像を、前記患部以外の部位を示す仮想画像とは異なる表示態様で表示させる、可視化装置ある。

【0008】

本発明の可視化方法は、位置検出部が、手術台に対して高さ方向に固定された撮像部の撮像結果に基づいて、手術台に設けられた手術台マーカーの位置と、患者の体に付されるシートに設けられた人体マーカーの位置とを検出し、取得部が、前記手術台マーカーおよび前記人体マーカーの相対的な位置関係と、前記患者の姿勢とを対応付けた姿勢特定情報を取得し、特定部が、前記位置検出部の検出結果と、前記取得部によって取得された前記姿勢特定情報とに基づいて、前記患者の姿勢を特定し、制御部が、前記患者の基準姿勢における前記患者の外形と前記患者の患部との配置を示す配置情報を参照し、前記特定部によって特定された姿勢に応じた前記患部の仮想画像を表示部に表示させ、前記患部の仮想画像を、前記患部以外の部位を示す仮想画像とは異なる表示態様で表示させる、可視化方法である。

【0009】

本発明のプログラムは、コンピュータを、手術台に対して高さ方向に固定された撮像部の撮像結果に基づいて、手術台に設けられた手術台マーカーの位置と、患者の体に付されるシートに設けられた人体マーカーの位置とを検出する位置検出手段、前記手術台マーカーおよび前記人体マーカーの相対的な位置関係と、前記患者の姿勢とを対応付けた姿勢特定情報を取得する取得手段、前記位置検出手段の検出結果と、前記取得手段によって取得された前記姿勢特定情報とに基づいて、前記患者の姿勢を特定する特定手段、前記患者の基準姿勢における前記患者の外形と前記患者の患部との配置を示す配置情報を参照し、前記特定手段によって特定された姿勢に応じた前記患部の仮想画像を表示部に表示させる制御手段、として機能させ、前記制御手段は、前記患部の仮想画像を、前記患部以外の部位を示す仮想画像とは異なる表示態様で表示させる、ためのプログラムである。

【発明の効果】

【0010】

本発明によれば、手術に関する作業効率の向上を図ることができる。

【図面の簡単な説明】

【0011】

【図1】可視化システムＳｔの構成の一例を示す説明図である。

【図2】可視化装置１５０のハードウェア構成の一例を示す説明図である。

【図3】可視化システムＳｔにおける手術の工程の一例を示す説明図である。

【図4】手術支援ロボット１００と手術台１３０とに付されるマーカーの配置例を示す説明図である。

【図5】人体に付される人体マーカーの配置例を示す説明図である。

【図6】アームマーカー４０２、手術台マーカー４１１および人体マーカー５０１の拡大図である。

【図7】人体（患者５００）と、手術台１３０および手術支援ロボット１００とのキャリブレーションの一例を示す説明図である。

【図8】人体と患部とのキャリブレーションの一例を示す説明図である。

【図9】術前準備の工程を示す説明図である。

【図10】キャリブレーションを行う際の手順を示す説明図である。

【図11】撮像結果が示す格子線６００の変化の一例を示す説明図である。

【図12】患者５００の姿勢に応じて変化する患者内部の仮想画像の一例を示す説明図である。

【図13】マスター装置１１０のモニター１１２に表示される画面の一例を示す説明図である。

【図14】ディスプレイ１５１に表示される、鉗子４００および患部８１０の仮想画像の一例を示す説明図である。

【図15】仮想画像の視点の切り替えを示す説明図である。

【図16】鉗子４００と患部８１０との距離に応じた報知の一例を示す説明図である。

【図17】可視化装置１５０が行う仮想画像の表示処理の一例を示すフローチャートである。

【図18】仮想画像のＧＵＩの一例を示す説明図である。

【図19】メモリ２０４に保存した再生用仮想画像を再生させる処理の一例を示すフローチャートである。

【図20】手術台マーカーの他の一例を示す説明図である。

【発明を実施するための形態】

【0012】

以下、実施形態の可視化装置、可視化方法、およびプログラムを、図面を参照しながら説明する。

【0013】

図１は、可視化システムＳｔの構成の一例を示す説明図である。図１に示す可視化システムＳｔは、病院等の医療機関の手術室に配置され、内視鏡やロボットを用いた腹腔鏡手術（「低侵襲外科手術」ともいう）に用いられる手術用のシステムである。腹腔鏡手術は、手術時の患者へのダメージの低減化を図ることができる手術である。近年では、手術支援ロボット１００を用いた腹腔鏡手術が増加している。

【0014】

ここで、この腹腔鏡手術に対して、従来から、開腹手術が行われている。開腹手術では、腹部を２０～３０ｃｍ切開し、術者が腹部に直接手を入れて手術が行われる。このため、開腹手術では、傷跡が大きくなり、痛みも多く、回復も遅いため、入院期間が長くなる傾向にある。

【0015】

一方で、腹腔鏡手術では、腹部に５～１２ｍｍの穴を数カ所開け、手術支援ロボット１００のアーム１２１の先端に、はさみ、電気メス、ピンセットなどが付いた棒状の特殊な操作ツール（例えば鉗子）が腹部に挿入される。そして、モニター１１２に映し出された患部（胃、大腸、胆嚢、前立腺などの臓器や、周囲のリンパ節）の切除が行われる。

【0016】

腹腔鏡手術では、傷跡が小さく、痛みも少なく、回復も早いため、早期の退院が可能になる。また、腹腔鏡手術では、内視鏡を用いて、患部を拡大して見ることができるため、細かな組織の違いなどを見分けながら手術することも可能である。このため、腹腔鏡手術では、緻密な作業を安全に行うことが可能である。このような背景から、近年では、開腹手術からロボットによる腹腔鏡手術への置き換えが急速に進んでいる。

【0017】

腹腔鏡手術では、術者は、モニター１１２に映し出された画面を見ながら操作を行う。モニター１１２に映し出される画像は視野が狭いことから、術者には解剖学的な知見や、経験による難しい判断などが必要とされる。

【0018】

そこで、本実施形態では、鉗子や患部の３次元の仮想画像（以下、単に「仮想画像」という場合がある。）を生成して、ディスプレイ１５１に表示する。これにより、術者（医師）と、術者をサポートする看護師とを含む医療スタッフに、操作ツールや患部の位置を的確に通知することを可能にする。以下、本実施形態の可視化システムＳｔについて詳細に説明する。

【0019】

図１に示すように、可視化システムＳｔは、手術支援ロボット１００と、手術台１３０と、カメラ１４０と、可視化装置１５０とを備える。手術支援ロボット１００は、マスター装置１１０と、スレーブ装置１２０とを備える。マスター装置１１０は、術者（医師）が操作する装置である。マスター装置１１０は、操作部１１１と、モニター１１２とを備える。操作部１１１は、術者から操作を受け付ける。モニター１１２は、アーム１２１に設けられた内視鏡の撮像結果（鉗子や患部）を表示する。モニター１１２は、術者のみが閲覧可能な表示部である。術中において、術者は、ほぼモニター１１２を閲覧して、手術を行う。

【0020】

スレーブ装置１２０は、複数（例えば３つ）のアーム１２１を備える。複数のアーム１２１の先端には、内視鏡や鉗子が取り付けられている。アーム１２１は、操作部１１１が受け付けた操作に応じた動作を行う。例えば、操作部１１１が内視鏡の位置や鉗子の位置を移動させるための操作を受け付けると、アーム１２１は、当該操作に応じた動作を行う。このため、操作部１１１が受け付けた操作に応じて、アーム１２１が患部を切除したり、縫合したりする。

【0021】

手術台１３０は、手術中に患者が乗る寝台である。手術台１３０は、前後左右に傾動可能である。このため、手術台１３０は、例えば、患者の頭部側と足元側との高さを相違させたり、患者が仰向きになった状態で右側と左側との高さを相違させたりすることが可能である。

【0022】

ここで、詳細については、図４～図７を用いて後述するが、手術台１３０には、手術台の位置を検出可能なマーカー（以下「手術台マーカー」という）が設けられている。また、アーム１２１には、アーム１２１の位置が検出可能なマーカー（以下「アームマーカー」という）が設けられている。また、手術台１３０に乗る患者には、患者の姿勢を検出可能なマーカー（以下「人体マーカー」という）が設けられている。人体マーカーは、患者の体に付される非変形シートに設けられている。

【0023】

カメラ１４０は、各マーカーを撮像する。カメラ１４０は、撮像結果を可視化装置１５０へ出力する。

【0024】

ディスプレイ１５１は、モニター１１２よりも表示面積の大きい表示部である。また、ディスプレイ１５１は、術者以外の医療スタッフも閲覧可能な表示部である。ディスプレイ１５１は、複数配置されていてもよい。

【0025】

可視化装置１５０は、ＭＲＩ（Magnetic Resonance Imaging）やＣＴ（Computed Tomography）などの断層画像から得られる患部の仮想画像をディスプレイ１５１に表示する。可視化装置１５０は、鉗子の仮想画像を生成し、生成した仮想画像を患部の仮想画像とともにディスプレイ１５１に表示する。

【0026】

次に、図２を用いて、可視化装置１５０のハードウェア構成について説明する。
図２は、可視化装置１５０のハードウェア構成の一例を示す説明図である。図２に示すように、可視化装置１５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、メモリ２０４と、通信部２０５と、入力デバイス２０６と、出力デバイス２０７とを備える、これらは、バス２２０を介して相互に接続されている。

【0027】

ＣＰＵ２０１は、中央演算処理装置であり、ＲＯＭ２０２に記憶されているプログラムを読み出して実行することにより、可視化装置１５０の動作を制御する。
ＲＯＭ２０２は、読み出し専用メモリであり、プログラムをはじめとしてＣＰＵ２０１が利用する各種の情報を記憶する。

【0028】

ＲＡＭ２０３は、読み出し書き込みメモリであり、種々の情報を記憶する。例えば、ＲＡＭ２０３は、ＲＯＭ２０２やメモリ２０４から読みだした情報や、外部から取得した情報や、処理において生成した情報等を記憶する。

【0029】

メモリ２０４は、種々の情報を記憶する。メモリ２０４は、例えば、ディスプレイ１５１に表示された鉗子や患部の仮想画像（動画）を記憶する。メモリ２０４は、ＲＯＭ２０２に代えて、ＣＰＵ２０１が実行するプログラム等を記憶してもよい。また、メモリ２０４は、ＲＡＭ２０３に代えて、ＲＯＭ２０２から読み出した情報や、外部から取得した情報や、処理において生成した情報等を記憶してもよい。

【0030】

通信部２０５は、通信回線を通じてネットワークに接続され、ネットワークを介して、他の装置（例えば、手術支援ロボット１００やカメラ１４０）に接続される。通信部２０５は、ネットワークと内部のインターフェースを司り、他の装置からのデータの入出力を制御する。なお、ネットワークは、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネットなどである。

【0031】

入力デバイス２０６は、文字、数字、各種指示などのデータの入力を行う。入力デバイス２０６は、例えば、キーボードやマウスなどである。また、入力デバイス２０６は、音声を入力するマイクや、ユーザの操作によって文字、数字、各種指示などを入力するタッチパネルを含んでもよい。

【0032】

出力デバイス２０７は、画像を表示するディスプレイ１５１を含む。また、出力デバイス２０７は、音声を出力するスピーカや、シートに画像等を印刷するプリンター装置などを含んでもよい。

【0033】

次に、図３を用いて、可視化システムＳｔにおける手術の工程について説明する。
図３は、可視化システムＳｔにおける手術の工程の一例を示す説明図である。図３では、手術支援ロボットの手術フロー３００と、可視化装置の（ＶＲ（Virtual Reality）ナビゲーター）の操作フロー３２０とを示す。ＶＲナビゲーターは、可視化装置１５０がＲＯＭ２０２に記憶されている所定のプログラムを実行することによって起動するソフトウェアである。図３においては、前立腺を全摘出する手術を例に挙げて説明する。

【0034】

まず、手術支援ロボット１００の操作開始前における準備として、手術支援ロボット１００の手術フロー３００のステップＳ３０１～Ｓ３０６について説明する。手術支援ロボット１００の手術フロー３００において、まず、患者は、全身麻酔される（ステップＳ３０１）。そして、患者の腹部に、５～２０ｍｍの穴が６カ所開けられる（ステップＳ３０２）。次に、当該穴から、鉗子や内視鏡を入れるためのポートが挿入される（ステップＳ３０３）。

【0035】

そして、腹部に炭酸ガスを注入して腹部を膨らませて腹腔内に空間を作る気腹を行う（ステップＳ３０４）。さらに、頭側が低くなるように手術台１３０を２０～３０度傾ける（ステップＳ３０５）。そして、ポートに、手術支援ロボット１００のアーム１２１をドッキングする（ステップＳ３０６）。

【0036】

次に、可視化装置１５０の準備として、可視化装置１５０のＶＲナビゲーターの操作フロー３２０のステップＳ３２１～Ｓ３２６について説明する。ＶＲナビゲーターの操作フロー３２０において、まず、医療スタッフによる事前作業として、仮想画像における使用部位の選択や、状況の事前準備（シーンプリセット）などを行う（ステップＳ３２１）。そして、可視化装置１５０は、ＶＲナビゲーターを起動する（ステップＳ３２２）。

【0037】

次に、可視化装置１５０は、手術メタデータの読み込みを行う（ステップＳ３２３）。手術メタデータは、患部の仮想画像を表示させるためのデータを含む。具体的には、手術メタデータは、例えば、以下（１）～（４）のデータを含む。
（１）ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）データ：具体的には、患者の個人情報、検査番号、撮影情報、ＣＴ画像やＭＲＩ画像などを含むデータある。ＤＩＣＯＭとは、ＣＴやＭＲＩなどの医療用画像のフォーマットと、これらを扱う医療用画像機器との間の通信プロトコルの標準規格である。
（２）人体および患部の３次元画像データ：具体的には、ＤＩＣＯＭデータに含まれるＣＴ画像やＭＲＩ画像などの断層画像を用いて描出された人体および患部のボリュームデータや、人体および患部のポリゴンデータなどを含むデータである。
（３）ビジュアル設定データ：具体的には、患部の位置合わせや患部の視点設定などが行われたデータである。
（４）復元データ：ＤＩＣＯＭデータに含まれる患者の個人情報を復元したデータである。

【0038】

手術メタデータを読み込むと、次に、可視化装置１５０は、手術台１３０と、手術支援ロボット１００とのキャリブレーションを行う（ステップＳ３２４）。手術台１３０と、手術支援ロボット１００とのキャリブレーションの詳細については、図４を用いて後述する。

【0039】

そして、可視化装置１５０は、人体（患者）と、手術台１３０および手術支援ロボット１００とのキャリブレーションを行う（ステップＳ３２５）。人体（患者）と、手術台１３０および手術支援ロボット１００とのキャリブレーションの詳細については、図７を用いて後述する。

【0040】

次に、可視化装置１５０は、３次元画像データにおける患部と人体（患者）とのキャリブレーションを行う（ステップＳ３２６）。３次元画像データにおける患部と人体とのキャリブレーションには、例えば、公知のＩＣＰ（Iterative Closest Point）アルゴリズムが用いられる。なお、ステップＳ３２５のキャリブレーションは、ステップＳ３２６のキャリブレーションよりも後に行ってもよい。患部と人体とのキャリブレーションの詳細については、図８を用いて後述する。
以上により、手術支援ロボット１００の操作開始前における準備を終える。

【0041】

この後、手術支援ロボット１００の手術フロー３００に示すように、手術の開始となる（ステップＳ３０７）。そして、内視鏡や手術用鉗子などを体内に挿入される（ステップＳ３０８）。次に、スレーブ装置１２０（鉗子）は、術者による操作部１１１の操作に応じて、前立腺と膀胱との間を離断する（ステップＳ３０９）。そして、スレーブ装置１２０（鉗子）は、操作部１１１の操作に応じて、前立腺と直腸との間を剥がし、勃起神経を温存して、最後に尿道を切断する(ステップＳ３１０)。

【0042】

そして、病状によっては、操作部１１１の操作に応じてスレーブ装置１２０（鉗子）は、操作部１１１の操作に応じて、骨盤内のリンパ節を摘出するリンパ節郭清を行う（ステップＳ３１１）。次に、スレーブ装置１２０（鉗子）は、後に、穴の一つから体外に前立腺を回収するために、操作部１１１の操作に応じて、体内でビニール袋に前立腺を収容させる（ステップＳ３１２）。そして、スレーブ装置１２０（鉗子）は、操作部１１１の操作に応じて、膀胱と尿道との吻合（血管や神経などが互いに連絡をもつようにすること）を行い、尿道カテーテルを挿入する（ステップＳ３１３）。

【0043】

さらに、スレーブ装置１２０（鉗子）は、操作部１１１の操作に応じて、体内に溜まる血液や体液を外に出したり、術後の出血の具合を観察したりするためのドレーン（管）を体内に留置する（ステップＳ３１４）。そして、全ての穴を閉じて（ステップＳ３１５）、手術が完了する（ステップＳ３１６）。

【0044】

一方で、可視化装置１５０は、手術支援ロボット１００による手術が開始されると、手術部位の全体を確認できる仮想画像（標本データ）をディスプレイ１５１に表示する（ステップＳ３２７）。そして、操作部１１１の操作に応じて鉗子が体内に挿入されると、可視化装置１５０は、仮想画像の録画をスタートする（ステップＳ３２８）。仮想画像の録画において、可視化装置１５０は、メモリ２０４に仮想画像の画像データを記憶する。

【0045】

そして、手術支援ロボット１００において、前立腺と膀胱との間が離断されると、可視化装置１５０は、ＭＲＩデータを参照し、立腺と膀胱との間の離断位置を確認し、確認した内容に応じた仮想画像を表示する（ステップＳ３２９）。そして、手術支援ロボット１００において、前立腺と直腸の間が剥がされて尿道が切断されると、可視化装置１５０は、ＭＲＩデータを参照し、前立腺と直腸間との位置を確認するとともに、尿道の位置を確認し、確認した内容に応じた仮想画像を表示する（ステップＳ３３０）。また、手術支援ロボット１００において、骨盤内のリンパ節郭清が行われると、可視化装置１５０は、ＭＲＩデータを参照し、骨盤内のリンパ節の位置を確認し、確認した内容に応じた画像を表示する（ステップＳ３３１）。

【0046】

また、手術支援ロボット１００において、体内でビニール袋に前立腺が収容されると、可視化装置１５０は、ＭＲＩデータを参照し、前立腺の収容状況を確認し、確認した内容に応じた画像を表示する（ステップＳ３３２）。また、手術支援ロボット１００において、膀胱と尿道が吻合され、尿道カテーテルが挿入されると、可視化装置１５０は、ＭＲＩデータを参照し、膀胱と尿道との位置を確認し、確認した内容に応じた画像を表示する（ステップＳ３３３）。

【0047】

そして、手術支援ロボット１００において、ドレーンが体内に留置されると、可視化装置１５０は、ＭＲＩデータを参照し、ドレーン位置を確認し、確認した内容に応じた画像を表示する（ステップＳ３３４）。次に、手術支援ロボット１００において、全ての穴が閉じられると、可視化装置１５０は、録画を終了する（ステップＳ３３５）。そして、手術支援ロボット１００において、手術が完了すると、可視化装置１５０は、ＶＲナビゲーターを終了する（ステップＳ３３６）。

【0048】

次に、図４を用いて、手術支援ロボット１００と、手術台１３０とのキャリブレーション（位置合わせ）について説明する。まず、可視化装置１５０が予め記憶している情報について説明する。可視化装置１５０は、手術台１３０に関する位置情報や、手術支援ロボット１００に関する位置情報を記憶する。手術台１３０に関する位置情報は、手術台１３０の寸法、形状などを含む情報。手術支援ロボット１００に関する位置情報は、手術台１３０に対する手術支援ロボット１００の形状、距離、角度を含む情報である。また、手術支援ロボット１００に関する位置情報は、アーム１２１の形状、長さ、関節の角度などを含む情報である。

【0049】

図４は、手術支援ロボット１００と手術台１３０とに付されるマーカーの配置例を示す説明図である。詳細については図６を用いて後述するが、各マーカーには、位置を特定するためのマークや格子線が形成されている。図４に示すように、アーム１２１は、３つのアーム１２１ａ～１２１ｃを含む。アーム１２１ａおよびアーム１２１ｂには、鉗子４００が取り付けられており、また、アームマーカー４０２が付されている。アーム１２１ｃには、内視鏡４０１が取り付けられており、また、アームマーカー４０２が付されている。

【0050】

手術台１３０には、複数（図示では４つ）の手術台マーカー４１１が付されている。手術台１３０は、患者が乗ったとしても、撓まないものと仮定し、すなわち、変形しないものとする。このため、手術台マーカー４１１についても、変形はないものとする。また、手術台マーカー４１１は、手術台１３０の隅など、患者が乗らない部位に付されているものとする。なお、手術台１３０は、頭部側が２０～３０度低くなるように傾いているものとする。

【0051】

また、手術台１３０の面に対して高さ方向（天井の方向）には、カメラ１４０が固定して配置されている。カメラ１４０は、アームマーカー４０２および手術台マーカー４１１を撮像する。カメラ１４０は、アームマーカー４０２および手術台マーカー４１１の格子線や位置を特定するためのマーク（図６のポジション特定マーク６０１）を撮像する。カメラ１４０は、アームマーカー４０２および手術台マーカー４１１を撮像すると、撮像結果を可視化装置１５０へ出力する。

【0052】

可視化装置１５０は、カメラ１４０から出力された撮像結果を用いて、キャリブレーションを行う。具体的には、このキャリブレーションは、例えば、手術台マーカー４１１と、アームマーカー４０２との相対的な位置関係を示す初期位置（以下「アーム初期位置」という。）を確定させることである。より具体的には、このキャリブレーションは、アーム初期位置として、アームマーカー４０２に設けられる各マークと、手術台マーカー４１１に設けられる各マークとを対応付け、また、各格子線の間隔を記憶しておくことである。

【0053】

可視化装置１５０は、アーム初期位置が確定すると、その後に、アーム１２１が変位した場合に、アーム初期位置を基準にすることにより、アーム１２１がどの位置に変位したかを推定することが可能になる。具体的には、可視化装置１５０は、カメラ１４０から逐次出力される手術台マーカー４１１およびアームマーカー４０２の検出結果を用いて、アーム初期位置を基準にして、術中に変化するアーム１２１ａ～１２１ｃの位置を推定することが可能である。

【0054】

なお、本実施形態において、手術台１３０（手術台マーカー４１１）は、変位しない。このため、アーム初期位置は、手術台１３０を基準にして確定される初期位置である。なお、手術台１３０が変位する構成としてもよく、この場合、可視化装置１５０は、手術台１３０の変位量を考慮して、アーム１２１の変位を推定すればよい。

【0055】

また、可視化装置１５０は、手術支援ロボット１００から、アーム１２１および鉗子４００の位置や動きなどの動作を示す操作情報を受信する。操作情報は、アーム１２１および鉗子４００のそれぞれの座標、形状、関節の角度などの情報を含む。可視化装置１５０は、操作情報を用いて、術中に変化するアーム１２１ａ～１２１ｃの位置を特定することが可能である。

【0056】

次に、図５を用いて、人体（患者５００）に付される人体マーカーの配置例について説明する。
図５は、人体に付される人体マーカーの配置例を示す説明図である。図５に示すように、患者５００の人体表面には、人体マーカー５０１（５０１ａ～５０１ｄ）が付されている。人体マーカー５０１は、非伸縮性のシート状に形成されたマーカーであり、表面に格子線を有する。人体マーカー５０１は、患者５００の姿勢に追従するものの、伸縮しないシートから成る。人体マーカー５０１は、人体側の面に粘着剤が付されており、人体表面に密着して付されている。

【0057】

胸部人体マーカー５０１ａは、胸部に付されている。腹部人体マーカー５０１ｂは、腹部に付されており、具体的には、手術部位の周辺の付されている。また、腹部人体マーカー５０１ｂには、ポートを挿入するための開口部５１０が設けられている。右膝部人体マーカー５０１ｃは、右膝部に付されている。左膝部人体マーカー５０１ｄは、左膝部に付されている。

【0058】

次に、図６を用いて、各マーカー（アームマーカー４０２、手術台マーカー４１１および人体マーカー５０１）の一例について説明する。
図６は、アームマーカー４０２、手術台マーカー４１１および人体マーカー５０１の拡大図である。なお、以下では、人体マーカー５０１を例に挙げて説明するが、他のマーカーについても同様の構成である。図６に示すように、人体マーカー５０１は、格子線６００と、ポジション特定マーク６０１（６０１ａ～６０１ｄ）とを有する。

【0059】

ポジション特定マーク６０１は、自身を識別するための識別領域６１０を有する。識別領域６１０は、内側の円を示す内側識別領域６１１と、外側の円を示す外側識別領域６１２とによって形成される。内側識別領域６１１は、４等分された４つのマーキング領域を有する。外側識別領域６１２は、４等分された４つのマーキング領域を有する。各マーキング領域は、マークを付した表示態様と、マークを付さない表示態様とをとり得る。このため、内側識別領域６１１および外側識別領域６１２は、それぞれ、１６通りの表示態様をとり得る。したがって、ポジション特定マーク６０１は、内側識別領域６１１が有する１６通りの表示態様と、外側識別領域６１２が有する１６通りの表示態様とにより、２５６（１６×１６：２の８乗）通りの表示態様をとり得る。

【0060】

なお、内側識別領域６１１および外側識別領域６１２の各マーキング領域の表示態様は、マークの有無といった２種類の表示態様に限らず、例えば、マークの模様や色を変えることにより、３種類以上（ｎ種類）の表示態様とすることも可能である。また、内側識別領域６１１および外側識別領域６１２のマーキング領域の数は、それぞれ４つに限らず、それぞれ５つ以上（ｍ種類）とすることも可能である。このようにすることにより、ポジション特定マーク６０１がとり得る表示態様を増加させることが可能である。

【0061】

図６に示す各ポジション特定マーク６０１について、具体的に説明する。ポジション特定マーク６０１ａは、内側識別領域６１１のうち右下のマーキング領域にマークが付され、外側識別領域６１２にマークが付されていない表示態様である。ポジション特定マーク６０１ｂは、内側識別領域６１１のうち左下のマーキング領域にマークが付され、また、外側識別領域６１２のうち右上のマーキング領域にマークが付された表示態様である。ポジション特定マーク６０１ｃは、内側識別領域６１１のうち左上のマーキング領域にマークが付され、外側識別領域６１２のうち左上のマーキング領域にマークが付された表示態様である。ポジション特定マーク６０１ｄは、内側識別領域６１１にマークが付されておらず、外側識別領域６１２のうち右下のマーキング領域と左下のマーキング領域とにマークが付された表示態様である。

【0062】

カメラ１４０は、ポジション特定マーク６０１と格子線６００とを撮像する。可視化装置１５０は、カメラ１４０の撮像結果を用いて、ポジション特定マーク６０１の位置や格子線の間隔を解析する。これにより、可視化装置１５０は、患者５００の人体表面の変位や、アーム１２１の変位を推定することが可能である。なお、ポジション特定マーク６０１の大きさは、カメラ１４０によって撮像可能な範囲内の大きさであればよい。

【0063】

次に、図７を用いて、人体（患者５００）と、手術台１３０および手術支援ロボット１００とのキャリブレーションについて説明する。
図７は、人体（患者５００）と、手術台１３０および手術支援ロボット１００とのキャリブレーションの一例を示す説明図である。図７に示すように、手術台１３０には、患者５００が乗っている。手術台１３０は、頭部側が２０～３０度低くなるように傾いている。患者５００は、基準姿勢で寝ている。この状態で、カメラ１４０ａは、人体マーカー５０１を撮像する。カメラ１４０ａは、人体マーカー５０１を撮像すると、撮像結果を可視化装置１５０へ出力する。

【0064】

可視化装置１５０は、カメラ１４０ａから出力された人体マーカー５０１の撮像結果を用いて、キャリブレーションを行う。具体的には、このキャリブレーションは、例えば、手術台マーカー４１１と、人体マーカー５０１との相対的な位置関係を示す初期位置（以下「患者初期位置」という。）を確定させることである。より具体的には、このキャリブレーションは、患者初期位置として、人体マーカー５０１に設けられる各マークと、手術台マーカー４１１に設けられる各マークとを対応付け、また、各格子線の間隔を記憶しておくことである。

【0065】

可視化装置１５０は、患者初期位置が確定すると、その後に、患者５００の人体表面が変位した場合に、患者初期位置を基準にすることにより、患者５００がどのような姿勢になったかを推定することが可能になる。また、可視化装置１５０は、手術台マーカー４１１および人体マーカー５０１の相対的な位置関係と、患者５００の姿勢とを対応付けた姿勢特定情報を記憶する。可視化装置は、姿勢特定情報を参照することにより、手術台マーカー４１１と人体マーカー５０１との相対的な位置関係から患者の姿勢を推定することが可能である。

【0066】

なお、本実施形態において、手術台１３０（手術台マーカー４１１）は、変位しない。このため、患者初期位置は、手術台１３０を基準にして確定される初期位置である。なお、手術台１３０が変位する構成としてもよく、この場合、可視化装置１５０は、手術台１３０の変位量を考慮して、患者５００の姿勢を推定すればよい。

【0067】

次に、図８を用いて、人体（患者５００）と患部とのキャリブレーションについて説明する。図８は、人体と患部とのキャリブレーションの一例を示す説明図である。図８では、説明の便宜上、胴部の断面を示す２次元の画像（例えば、ＭＲＩ画像）を示している。図８に示すように、ＭＲＩ画像には、患者５００の外形８００と、患部８１０とが表示されている。可視化装置１５０は、当該２次元の画像から、３次元の画像（ポリゴンデータ）を抽出することが可能である。具体的には、可視化装置１５０は、人体の３次元の外形データと、患部８１０の３次元の画像データ（以下「患部画像データ」という。）を抽出する。なお、２次元の画像から、３次元の画像を抽出する技術については、公知技術であるため、説明を省略する。

【0068】

可視化装置１５０は、人体の３次元の外形データと、患部画像データとを用いて、キャリブレーションを行う。このキャリブレーションは、基準姿勢における外形データと、患部画像データとを位置合わせすることである。具体的には、キャリブレーションは、例えば、ＩＣＰアルゴリズムを用いて、人体の外形データの各部（各頂点）を示すポリゴンデータと、患部画像データの各部（各頂点）を示すポリゴンデータとの各位置を調整しながら、両者を対応付けることである。なお、キャリブレーションは、医療スタッフの確認のもと、医療スタッフの操作を受け付けながら行われる。

【0069】

患者５００と患部８１０とのキャリブレーションが行われたデータ（以下「配置情報」という）は、メモリ２０４に記憶される。なお、２次元の画像から、３次元の画像を抽出は、可視化装置１５０によって行われることに限らず、他の装置によって行われてもよい。この場合、可視化装置１５０は、３次元画像の情報を他の装置から取得するようにすればよい。

【0070】

可視化装置１５０は、人体と患部８１０とのキャリブレーションが完了すると、その後に、患者５００の姿勢が変位したとしても、姿勢に応じた患部８１０の形状を推定することが可能になる。具体的には、可視化装置１５０は、配置情報を参照することにより、術中に変化する患者５００の姿勢に応じた患部８１０の形状を推定することが可能である。

【0071】

次に、図９を用いて、術前準備の工程について説明する。
図９は、術前準備の工程を示す説明図である。図９に示すように、可視化装置１５０は、ＶＲナビゲーターの起動後に、手術メタデータを読み込む（ステップＳ９０１）。そして、医療スタッフは、カメラ１４０に手術台マーカー４１１を撮像させる（ステップＳ９０２）。さらに、医療スタッフは、カメラ１４０にアームマーカー４０２を撮像させる（ステップＳ９０３）。可視化装置１５０は、カメラ１４０から出力される撮像結果を用いて、手術台１３０と、手術支援ロボット１００との位置合わせ（キャリブレーション）を行う（ステップＳ９０４）。

【0072】

さらに、医療スタッフは、カメラ１４０ａに、手術台の上に乗っている患者５００の人体マーカー５０１を撮像させる（ステップＳ９０５）。可視化装置１５０は、カメラ１４０ａから出力される撮像結果を用いて、手術台１３０と、患者５００との位置合わせ（キャリブレーション）を行う（ステップＳ９０６）。

【0073】

そして、可視化装置１５０は、人体の外形データが示す、患者５００の人体の外部形状のガイドを表示する（ステップＳ９０７）。次に、可視化装置１５０は、患部画像データを用いて、患者５００の内部形状（患部８１０の形状）を推定する（ステップＳ９０８）。そして、可視化装置１５０は、患者５００のボリュームおよび患部８１０のポリゴンの形状を変形させる（ステップＳ９０９）。

【0074】

次に、医療スタッフの操作に応じて、患者５００のボリュームと、患部８１０のポリゴンと、患者５００の外部形状のガイドとの位置合わせが行われる（ステップＳ９１０）。そして、可視化装置１５０は、位置合わせされたデータ（配置情報）の表示を行い（ステップＳ９１１）、術前準備を完了する。

【0075】

次に、図１０を用いて、術前準備におけるキャリブレーションを行う際の手順について説明する。
図１０は、キャリブレーションを行う際の手順を示す説明図である。図１０に示すように、医療スタッフは、手術台１３０に手術台マーカー４１１を貼付する（ステップＳ１００１）。そして、医療スタッフは、アーム１２１にアームマーカー４０２を貼付する（ステップＳ１００２）。

【0076】

次に、カメラ１４０は、医療スタッフの操作に応じて、手術台マーカー４１１を撮像する（ステップＳ１００３）。そして、カメラ１４０は、医療スタッフの操作に応じて、アームマーカー４０２を撮像する（ステップＳ１００４）。可視化装置１５０は、カメラ１４０の撮像結果を用いて、手術支援ロボット１００と、手術台１３０との位置合わせを行う（ステップＳ１００５）。

【0077】

次に、医療スタッフは、患者５００の人体に人体マーカー５０１を貼付する（ステップＳ１００６）。そして、カメラ１４０は、医療スタッフの操作に応じて、手術台１３０上の患者５００に貼付されている人体マーカー５０１を撮像する（ステップＳ１００７）。そして、可視化装置１５０は、カメラ１４０の撮像結果を用いて、患者５００と、手術台１３０および手術支援ロボット１００との位置合わせを行う（ステップＳ１００８）。

【0078】

次に、可視化装置１５０は、ＭＲＩデータを取得する（ステップＳ１００９）。そして、可視化装置１５０は、患者５００の基準姿勢における人体の外形データと、患部８１０の患部画像データとの位置合わせを行い（ステップＳ１０１０）、一連の手順を終了する。

【0079】

次に、図１１を用いて、患者５００が姿勢を変えた際に撮像結果が示す格子線６００の変化の一例について説明する。
図１１は、撮像結果が示す格子線６００の変化の一例を示す説明図である。図１１において、人体マーカー５０１の格子線６００ａは、ある姿勢（例えば、基準姿勢）における撮像結果を示す。人体マーカー５０１の格子線６００ｂは、例えば、患者５００の姿勢が仰向きの姿勢から、別の姿勢になった際の撮像結果を示す。患者５００の姿勢が変化すると、撮像結果（人体マーカー５０１の格子線６００の間隔）も変化する。

【0080】

ここで、可視化装置１５０は、メモリ２０４に姿勢特定情報を記憶している。姿勢特定情報は、格子線６００の位置および間隔と、姿勢とを対応付けた情報である。具体的には、姿勢特定情報は、手術台１３０（手術台マーカー４１１）を基準にして、ポジション特定マーク６０１に応じた格子線６００の間隔と、姿勢とを対応付けた情報である。また、姿勢特定情報は、人体マーカー５０１が貼付される位置（胸部、腹部および膝部）ごとの情報である。姿勢特定情報は、例えば、各患者５００に固有の情報である。例えば、術前に、手術台１３０（手術台マーカー４１１）を基準にして、患者５００の姿勢（仰向き、横向き等）ごとの各位置の人体マーカー５０１（格子線６００）を撮像しておき、この撮像結果から、姿勢特定情報を得るようにすればよい。

【0081】

なお、姿勢特定情報に含まれる格子線の間隔は、基準姿勢における格子線６００の間隔と、他の姿勢におけるに格子線６００の間隔との差分であってもよい。このような姿勢特定情報を用いるようにしても、可視化装置１５０は、基準姿勢における格子線と、撮像結果から得られる格子線との差分に基づいて、患者５００の姿勢を特定することが可能である。

【0082】

なお、姿勢特定情報は、患者５００に固有の情報ではなく、例えば、体型ごとに分類される情報でもよい。言い換えれば、可視化装置１５０は、体型の姿勢特定情報をメモリ２０４に記憶しておいてもよい。そして、可視化装置１５０は、患者５００の体型に応じた姿勢特定情報を得るようにしてもよい。この場合、可視化装置１５０は、ＭＲＩ画像等を用いて自身の判断で、患者５００に近い体型の姿勢特定情報を選択してもよいし、医療スタッフの操作に応じて、患者５００に近い体型の姿勢特定情報を選択してもよい。

【0083】

可視化装置１５０は、カメラ１４０によって撮像されたポジション特定マーク６０１の位置および格子線６００の間隔と、姿勢特定情報が示すポジション特定マーク６０１に応じた格子線の間隔とを比較することにより、患者５００の姿勢を特定することが可能である。

【0084】

次に、図１２を用いて、患者５００の姿勢に応じて変化する患者内部の仮想画像の一例について説明する。
図１２は、患者５００の姿勢に応じて変化する患者内部の仮想画像の一例を示す説明図である。図１２に示す患者内部の仮想画像１２００（１２００ａ、１２００ｂ）は、ディスプレイ１５１に表示される画像である。図１２において、仮想画像１２００ａは、格子線６００ａ（図１１参照）が撮像された際の（例えば、基準姿勢の際の）患者内部の仮想画像を示す。また、仮想画像１２００ｂは、格子線６００ｂが撮像された際の（姿勢が変化した際）の患者内部の仮想画像を示す。図１２において各矢印が結ぶ部位は、それぞれ対応するポリゴンデータを示す。

【0085】

可視化装置１５０は、格子線６００の撮像結果から特定した姿勢に応じて、仮想画像１２００を変化させてディスプレイ１５１に表示する。なお、仮想画像１２００ａ、１２００ｂは、いずれも視点を同じにした画像である。ただし、詳細については後述するが、仮想画像１２００ａ、１２００ｂの視点は、いずれも切り替えて表示することが可能である。

【0086】

次に、図１３を用いて、手術支援ロボット１００のマスター装置１１０が備えるモニター１１２に表示される画面について説明する。
図１３は、マスター装置１１０のモニター１１２に表示される画面の一例を示す説明図である。図１３に示す画像は、内視鏡４０１によって撮像された実画像（２次元の画像）である。具体的に説明すると、モニター１１２には、鉗子４００と、患部８１０とが表示されている。術者は、モニター１１２に表示される画像を見ながら、操作部１１１を操作する。

【0087】

モニター１１２に表示される画像は、見える方向が一方向であり、また、見える範囲も限られている。このため、モニター１１２に映っていない部位を、鉗子４００で傷つけたとしても、把握できないといった不具合が生じることがある。また、モニター１１２に表示される画像は、２次元の画像であり、すなわち、立体的な画像ではないため、遠近感を把握できず、鉗子４００の操作性が低下することがあるといった不具合が生じることがある。

【0088】

一方で、本実施形態では、図１４に示すように、モニター１１２とは別に、ディスプレイ１５１に３次元の仮想画像を表示するため、このような不具合を解消することが可能である。
図１４は、ディスプレイ１５１に表示される、鉗子４００および患部８１０の仮想画像の一例を示す説明図である。図１４に示すように、ディスプレイ１５１には、鉗子画像１４００と、患部画像１４１０と、臓器画像１４２０とを含む仮想画像が表示されている。鉗子画像１４００は、鉗子４００を示す３次元の仮想画像である。患部画像１４１０は、患部８１０を示す３次元の仮想画像である。臓器画像１４２０は、患部８１０以外の他の臓器を示す３次元の仮想画像である。

【0089】

患部画像１４１０は、主患部画像１４１１と、副患部画像１４１２、１４１３とを含む。主患部画像１４１１は、直接の手術の対象となる主患部に対応する部位の仮想画像である。副患部画像１４１２、１４１３は、主患部との関連性の高い部位であり、例えば、鉗子４００の接触等に注意を払わなければならない部位である。主患部画像１４１１および副患部画像１４１２、１４１３は、それぞれ、臓器画像１４２０とは異なる表示態様で表示されている。

【0090】

例えば、主患部画像１４１１の表示態様は、他の画像の表示態様に比べて、最も把握しやすい表示態様である。具体的には、主患部画像１４１１の表示態様は、最も注意を惹く表示態様や、目立つ表示態様や、見やすい表示態様であればよい。また、臓器画像１４２０の表示態様は、他の画像の表示態様に比べて、最も注意を惹かない表示態様や、目立たない表示態様や、見にくい表示態様であればよい。また、副患部画像１４１２、１４１３は、臓器画像１４２０の表示態様に比べて、注意を惹く表示態様や、目立つ表示態様や、見やすい表示態様であればよい。

【0091】

ディスプレイ１５１に表示される各仮想画像は、モニター１１２に表示される画像に比べて、見える範囲が広い。具体的には、ディスプレイ１５１には、モニター１１２では表示されない部位についても、仮想画像として表示される。また、術者は、術中にモニター１１２から目を外して、ディスプレイ１５１を閲覧することも可能である。

【0092】

このため、術者が副患部や他の臓器を鉗子４００で傷つけてしまうようなことを抑えることができる。例えば、看護師また、ディスプレイ１５１に表示される仮想画像は、３次元の画像であるため、医療スタッフは遠近感を把握することができ、鉗子４００の操作性を向上させることができる。また、術者以外の医療スタッフも、手術の進行を把握することができる。

【0093】

次に、図１５を用いて、仮想画像の視点の切り替えについて説明する。
図１５は、仮想画像の視点の切り替えを示す説明図である。図１５（Ａ）は、視点を切り替える前の画像である。医療スタッフが可視化装置１５０の入力デバイス２０６を操作して、視点の切り替え操作を行うと、仮想画像の視点が切り替わる。なお、詳細については図１８を用いて後述するが、ディスプレイ１５１には、視点の切り替えを選択することが可能なグラフィカルインターフェースが表示されている。

【0094】

図１５（Ｂ）は、視点を切り替えた後の画像である。本実施形態では、ディスプレイ１５１に表示される画像は、３次元の画像であり、３６０°のいずれの角度からも、視点を切り替えることが可能である。また、それぞれの部位を、拡大表示したり、縮小表示したりすることも可能である。

【0095】

このように、ディスプレイ１５１に表示される仮想画像は、モニター１１２に表示される画像とは異なり、どの角度からも表示可能である。このため、副患部や他の臓器を、鉗子４００で傷つけてしまうようなことをより抑えることができる。また、鉗子４００の操作性をより向上させることができる。

【0096】

次に、鉗子４００と患部８１０との距離に応じた報知について説明する。可視化装置１５０は、カメラ１４０による各種マーカーの撮像結果や、手術支援ロボット１００から出力されるアーム１２１および鉗子４００の操作情報を用いることにより、鉗子４００と患部８１０との位置関係を特定することができる。このため、可視化装置１５０は、図１６に示すように、鉗子４００と患部８１０との距離に応じた報知を行うことが可能である。

【0097】

図１６は、鉗子４００と患部８１０との距離に応じた報知の一例を示す説明図である。図１６に示すように、可視化装置１５０は、鉗子４００が患部８１０に近づくと、鉗子画像１４００が患部画像１４１０に近付くように表示する。また、可視化装置１５０は、アームマーカー４０２の検出結果や、アーム１２１および鉗子４００の操作情報や、患部８１０のポリゴンデータ等を用いて、鉗子４００と患部８１０との距離を算出することが可能である。この算出結果を用いて、可視化装置１５０は、報知画像１６００を表示する。報知画像１６００は、鉗子４００と患部８１０との距離が所定値以下となった場合に表示される。また、報知画像１６００は、鉗子４００と患部８１０との距離を示している。

【0098】

なお、報知画像１６００は、鉗子４００と患部８１０との距離に応じた表示態様であってもよい。例えば、報知画像１６００は、鉗子４００が患部８１０に近付くにしたがって、表示領域が大きくする画像としたり、目立つ色の文字画像としたりしてもよい。また、可視化装置１５０は、鉗子４００が患部８１０に接触すると、当該接触を示す報知を行う。

【0099】

可視化装置１５０は、鉗子４００が患部８１０に接触すると、鉗子４００と患部８１０との接触時における患部８１０の変形量を患部画像１４１０に反映させる。これについて、具体的に説明する。鉗子４００は、エアーコンプレッサーの空気圧を駆動源として動作する。また、鉗子４００の根幹部には、空気圧アクチュエーターが設けられている。鉗子４００が患部８１０に接触すると、空気圧アクチュエーターが接触力（反力）を検出する。空気圧アクチュエーターが接触力を検出すると、スレーブ装置１２０は、当該検出結果（接触力情報）を、マスター装置１１０を介して可視化装置１５０へ出力する。

【0100】

可視化装置１５０は、マスター装置１１０から受信した接触力情報が示す接触力を、患部画像１４１０に反映させて表示することが可能である。具体的には、可視化装置１５０は、接触力に応じた患部画像１４１０の変形量を推定し、推定した変形量に応じた画像をディスプレイ１５１に表示すればよい。例えば、可視化装置１５０は、接触力が大きいほど、患部画像１４１０の変形量を大きくした画像を表示すればよい。

【0101】

なお、同じ接触力でも、臓器に応じて表面の窪み方が異なることが想定される。具体的には、同じ接触力でも、窪みのない面に対して、緩やかに窪む場合と、鋭く窪む場合とがあることが想定される。このため、可視化装置１５０は、予め臓器ごとに、接触力と窪み方とを対応付けた情報をメモリ２０４に記憶しておいてもよい。そして、可視化装置１５０は、当該情報を参照して、臓器ごとに、接触力に応じた窪み方を抽出して、窪み方に応じた仮想画像をディスプレイ１５１に表示すればよい。

【0102】

次に、図１７を用いて、可視化装置１５０が行う仮想画像の表示処理について説明する。
図１７は、可視化装置１５０が行う仮想画像の表示処理の一例を示すフローチャートである。図１７において、可視化装置１５０は、全てのキャリブレーションが完了したか否かを判断する（ステップＳ１７０１）。全てのキャリブレーションとは、アーム１２１と手術台１３０とのキャリブレーション、人体とアーム１２１および手術台１３０とのキャリブレーション、人体と患部８１０とのキャリブレーションである。

【0103】

可視化装置１５０は、全てのキャリブレーションが完了するまで待機する（ステップＳ１７０１：ＮＯ）。可視化装置１５０は、全てのキャリブレーションが完了すると場合（ステップＳ１７０１：ＹＥＳ）、人体マーカー５０１（図６の格子線６００の間隔）の検出結果に変化（図１１参照）があるか否かを判断する（ステップＳ１７０２）。人体マーカー５０１の検出結果に変化がない場合（ステップＳ１７０２：ＮＯ）、可視化装置１５０は、ステップＳ１７０４に進む。人体マーカー５０１の検出結果に変化がある場合（ステップＳ１７０２：ＹＥＳ）、可視化装置１５０は、当該変化に応じた仮想画像（図１４に示した、鉗子画像１４００、患部画像１４１０、臓器画像１４２０）をディスプレイ１５１に表示する（ステップＳ１７０３）。

【0104】

そして、可視化装置１５０は、鉗子４００と患部８１０との距離が所定値以下になったか否かを判断する（ステップＳ１７０４）。可視化装置１５０は、鉗子４００と患部８１０との距離が所定値以下になっていない場合（ステップＳ１７０４：ＮＯ）、ステップＳ１７０６に進む。可視化装置１５０は、鉗子４００と患部８１０との距離が所定値以下になった場合（ステップＳ１７０４：ＹＥＳ）、報知画像１６００（図１６参照）を表示する（ステップＳ１７０５）。

【0105】

そして、可視化装置１５０は、鉗子４００が患部８１０に接触したか否かを判断する（ステップＳ１７０６）。ステップＳ１７０６では、具体的には、鉗子４００の根幹部に設けられている空気圧アクチュエーターによる接触力の検出結果を、マスター装置１１０から受信したか否かを判断する。鉗子４００が患部８１０に接触していない場合（ステップＳ１７０６：ＮＯ）、可視化装置１５０は、ステップＳ１７０９に進む。鉗子４００が患部８１０に接触した場合（ステップＳ１７０６：ＹＥＳ）、可視化装置１５０は、患部８１０の変形量を推定する（ステップＳ１７０７）。

【0106】

そして、可視化装置１５０は、接触力に応じて、仮想画像（患部画像１４１０）を変形させて表示する（ステップＳ１７０８）。次に、可視化装置１５０は、入力デバイス２０６（図１８のグラフィカルインターフェース）が表示の変更の指示を受け付けたか否かを判断する（ステップＳ１７０９）。表示の変更の指示は、視点切り替えの指示や、拡大縮小の指示などである。表示の変更を受け付けない場合（ステップＳ１７０９：ＮＯ）、可視化装置１５０は、ステップＳ１７１１に進む。一方、表示の変更を受け付けた場合（ステップＳ１７０９：ＹＥＳ）、可視化装置１５０は、指示内容に応じた仮想画像（図１５（Ｂ）参照）を表示する（ステップＳ１７１０）。

【0107】

そして、可視化装置１５０は、仮想画像の表示が終了であるか否かを判断する（ステップＳ１７１１）。仮想画像の表示が終了ではない場合（ステップＳ１７１１：ＮＯ）、可視化装置１５０は、ステップＳ１７０２に戻る。仮想画像の表示が終了である場合（ステップＳ１７１１：ＹＥＳ）、可視化装置１５０は、本手術における、一連のアーム１２１（鉗子４００）の操作情報と、一連の仮想画像とを関連付けてメモリ２０４に保存し（ステップＳ１７１２）、一連の処理を終了する。なお、一連のアーム１２１の操作情報は、術中に、マスター装置１１０の操作部１１１が受け付けた一連の操作内容を示す情報である。また、以下において、メモリ２０４に保存された一連の仮想画像は、「再生用仮想画像」という場合がある。

【0108】

次に、図１８を用いて、グラフィカルインターフェース（以下ＧＵＩ（Graphical User Interface）という）について説明する。
図１８は、仮想画像のＧＵＩの一例を示す説明図である。図１８に示すように、ディスプレイ１５１には、鉗子画像１４００と、患部画像１４１０と、ＧＵＩ１８００とが表示されている。ＧＵＩ１８００は、術前、術中、および術後のいずれにおいても表示可能である。ＧＵＩ１８００は、患部指定表示１８０１と、ツール指定表示１８０２と、視点モード指定表示１８０３と、視点切り替え指示表示１８０４とを含む。

【0109】

患部指定表示１８０１は、患部８１０の指定を受け付けるボタンである。例えば、医療スタッフがいずれかの患部８１０を指定すると、指定された患部８１０に応じた患部画像１４１０が表示される。例えば、患部指定表示１８０１は、事前作業としての、仮想画像における使用部位の選択を受け付けたり、受け付けた患部８１０の再生用仮想画像の再生を受け付けたりする。

【0110】

ツール指定表示１８０２は、鉗子４００および内視鏡４０１を含む操作ツールの表示の指定を受け付けるボタンである。ツール指定表示１８０２のうち、操作ツールが指定されると、指定された操作ツールが仮想画像として表示される。このため、医療スタッフの操作に応じて、鉗子画像１４００を表示させないようにしたり、内視鏡の仮想画像を表示させないようにしたりすることが可能になっている。

【0111】

視点モード指定表示１８０３は、視点モードの指定を受け付けるボタンである。例えば、視点モード指定表示１８０３は、視点を固定するモードや、視点が患部画像１４１０を周回するように見せる動的な視点とするモードなどの指定を受け付ける。

【0112】

視点切り替え指示表示１８０４は、視点の切り替えを受け付けるボタンである。例えば、視点切り替え指示表示１８０４は、患部画像１４１０を俯瞰する視点や、正面からの視点や、横からの視点などの指定を受け付ける。また、視点切り替え指示表示１８０４は、拡大縮小の指定なども受け付ける。

【0113】

次に、メモリ２０４に保存された再生用仮想画像が再生可能であることについて説明する。可視化装置１５０は、メモリ２０４に保存された再生用仮想画像をディスプレイ１５１に再生することが可能である。再生用仮想画像の再生時にも、可視化装置１５０は、視点を切り替えたり、拡大縮小して表示したりすることが可能である。

【0114】

また、可視化装置１５０は、ディスプレイ１５１に表示する仮想画像を用いて、新人医師等のトレーニング用のトレーニングモードを行うことも可能である。例えば、可視化装置１５０は、新人医師等がマスター装置１１０の操作部１１１を操作した内容（以下「訓練操作情報」という）に基づいて、鉗子画像１４００を生成して、ディスプレイ１５１に表示することが可能である。

【0115】

また、新人医師等のトレーニングにおいて、再生用仮想画像を用いることも可能である。具体的には、可視化装置１５０は、再生用仮想画像とともに、訓練操作情報に基づく鉗子画像１４００をディスプレイ１５１に表示することも可能である。

【0116】

また、再生用仮想画像に対応する操作情報（以下「再生用操作情報」という場合がある。）と、訓練操作情報との比較結果を表示するようにしてもよい。例えば、訓練操作情報が示す鉗子４００の位置と、再生用操作情報が示す鉗子４００の位置とが、所定距離以上離れた場合に、警告を表示するようにしてもよい。また、可視化装置１５０は、訓練操作情報に基づく鉗子画像１４００と、再生用操作情報に基づく鉗子画像１４００とを、同時にディスプレイ１５１に表示するようにしてもよい。この場合、訓練操作情報に基づく鉗子画像１４００と、再生用操作情報に基づく鉗子画像１４００とは、異なる表示態様で表示されてもよい。

【0117】

次に、図１９を用いて、メモリ２０４に保存した再生用仮想画像を再生させる処理について説明する。
図１９は、メモリ２０４に保存した再生用仮想画像を再生させる処理の一例を示すフローチャートである。図１９において、可視化装置１５０は、トレーニングモードの開始であるか否かを判断する（ステップＳ１９０１）。可視化装置１５０は、トレーニングモードの開始になるまで待機する（ステップＳ１９０１：ＮＯ）。トレーニングモードの開始になると（ステップＳ１９０１：ＹＥＳ）、可視化装置１５０は、メモリ２０４に保存した再生用仮想画像の再生を開始する（ステップＳ１９０２）。

【0118】

そして、可視化装置１５０は、新人医師等が操作部１１１を操作した内容を示す訓練操作情報をマスター装置１１０から取得する（ステップＳ１９０３）。次に、可視化装置１５０は、表示中の再生用仮想画像に重ねて、訓練操作情報に基づく鉗子画像１４００を表示する（ステップＳ１９０４）。そして、可視化装置１５０は、再生用操作情報と、訓練操作情報とを比較する（ステップＳ１９０５）。具体的には、可視化装置１５０は、訓練操作情報が示す鉗子４００の位置と、再生用操作情報が示す鉗子４００の位置とを比較する。

【0119】

当該比較の結果、可視化装置１５０は、訓練操作情報が示す鉗子４００の位置と、再生用操作情報が示す鉗子４００の位置とが所定距離以上離れたか否かを判断する（ステップＳ１９０６）。訓練操作情報が示す鉗子４００の位置と、再生用操作情報が示す鉗子４００の位置とが所定距離以上離れていない場合（ステップＳ１９０６：ＮＯ）、可視化装置１５０は、ステップＳ１９０８へ進む。訓練操作情報が示す鉗子４００の位置と、再生用操作情報が示す鉗子４００の位置とが所定距離以上離れた場合（ステップＳ１９０６：ＹＥＳ）、可視化装置１５０は、警告を表示する（ステップＳ１９０７）。

【0120】

そして、可視化装置１５０は、トレーニングモードが終了したか否かを判断する（ステップＳ１９０８）。トレーニングモードが終了していない場合（ステップＳ１９０８：ＮＯ）、可視化装置１５０は、ステップＳ１９０３に戻る。トレーニングモードが終了した場合（ステップＳ１９０８：ＹＥＳ）、そのまま処理を終了する。

【0121】

次に、図２０を用いて、手術台マーカーの他の一例について説明する。
図２０は、手術台マーカーの他の一例を示す説明図である。図２０に示すように、手術台１３０には、複数（図示では４つ）の手術台マーカー２０００が付されている。手術台マーカー２０００の形状は、キューブ状である。これにより、カメラ１４０による多方面からの撮像が可能になる。また、手術台マーカー２０００は、手術台１３０上の患者５００が乗る面に対して、天井方向に変位して配置されている。これにより、患者５００が手術台１３０に乗った場合でも、患者５００によってカメラ１４０と手術台マーカー２０００とを結ぶ領域が遮られることを抑えることができる。

【0122】

次に、本実施形態に係る可視化装置１５０の機能的構成について説明する。まず、手術台１３０に対する患者５００の姿勢の変化に応じた患部画像１４１０の表示を行う構成について説明する。可視化装置１５０は、位置検出部と、特定部と、制御部とを備える。各部は、ＣＰＵ２０１によって実現される。すなわち、ＣＰＵ２０１がＲＯＭに記憶されているプログラムを実行することにより、各部を実現する。

【0123】

位置検出部は、手術台１３０に設けられた手術台マーカー４１１の位置と、患者５００の体に付される非伸縮性のシートに設けられた人体マーカー５０１の位置とを検出する。具体的には、位置検出部は、カメラ１４０によって撮像された撮像結果に基づいて、手術台マーカー４１１の位置と、人体マーカー５０１の位置とを検出する。

【0124】

特定部は、位置検出部によって検出された手術台マーカー４１１の位置と、人体マーカー５０１の位置との検出結果に基づいて、患者５００の姿勢を特定する。具体的には、特定部は、姿勢特定情報を参照し、手術台マーカー４１１と人体マーカー５０１との相対的な位置関係から患者の姿勢を推定する。

【0125】

制御部は、配置情報を参照し、特定部によって特定された姿勢に応じた患部８１０の仮想画像（患部画像１４１０）を表示部（ディスプレイ１５１）に表示させる。配置情報は、人体と患部８１０とのキャリブレーション（位置合わせ）が行われた両者の配置関係を示すデータである。具体的には、配置情報は、患者５００の基準姿勢における患者５００の外形と、当該患者５００の患部８１０との配置を示す情報である。より具体的には、配置情報は、ＭＲＩ画像等の患者５００の体を撮像した断層画像から得られる患部８１０の位置と、基準姿勢における外形の位置とに基づく情報である。なお、人体と患部８１０とのキャリブレーションにおいて、人体マーカー５０１の検出結果を用いるようにしてもよい。すなわち、人体マーカー５０１によって撮像される各位置と、患部８１０の各位置とを対応付けて両者の位置関係を得るようにしてもよい。

【0126】

このように、本実施形態では、手術台１３０に対する患者５００の姿勢の変化に応じた患部画像１４１０をディスプレイ１５１に表示するようにした。これにより、術中に患者５００の姿勢が変わったとしても、術者および術者以外の医療スタッフは、患部８１０の状況を把握することができる。したがって、本実施形態に係る可視化装置１５０によれば、術者の操作を効率よく支援することができるとともに、術中の医療スタッフの作業効率を向上させることができる。したがって、手術支援ロボット１００を用いた手術に関する作業効率を大幅に向上させることができる。

【0127】

次に、操作ツール（鉗子４００等）の仮想画像の表示について説明する。アーム１２１には、アームマーカー４０２が付されている。また、アーム１２１の先端には、操作ツールが設けられている。本実施形態において、操作ツールは、鉗子４００および内視鏡４０１である。ただし、操作ツールは、これらに限らず、ピンセット、持針器、グラスパーなど、他の外科用の器具を含む。

【0128】

位置検出部は、アームマーカー４０２の位置を検出する。制御部は、位置検出部によって検出されたアームマーカー４０２の位置に基づいて鉗子４００および内視鏡４０１の仮想画像（鉗子画像１４００等）を表示させる。また、本実施形態では、鉗子４００および内視鏡４０１の仮想画像を表示させるにあたり、操作情報も用いられる。操作情報は、アーム１２１および鉗子４００の位置や動きなどの動作を示す情報であり、手術支援ロボット１００から受信する情報である。制御部は、操作情報と、位置検出部による検出結果とに基づいて、鉗子４００および内視鏡４０１の仮想画像を表示させる。なお、制御部は、アームマーカー４０２の位置と、操作情報とのうち、少なくとも一方の情報に基づいて、鉗子４００および内視鏡４０１の仮想画像を表示してもよい。

【0129】

このように、本実施形態では、患部画像１４１０とともに、鉗子画像１４００をディスプレイ１５１に表示することができるため、患部８１０以外の他の臓器を、鉗子４００で傷つけてしまうことを抑えることができる。したがって、鉗子４００の操作性をより向上させることができるため、術中の作業効率の向上を図ることができる。

【0130】

また、本実施形態において、人体マーカー５０１を付したシートは、患者５００の体に密着させるために、患者５００の体側の面に粘着剤が付されている。これにより、患者５００の姿勢の推定精度を向上させることができる。

【0131】

また、本実施形態において、当該シートは、患者の向きや位置をより的確に把握することができるという観点から、患者５００の関節部分（例えば膝部）に付される。これにより、患者５００の姿勢の推定精度を向上させることができる。

【0132】

次に、患者５００の姿勢に応じた患部８１０とアーム１２１との仮想画像の表示を行う機能的構成について説明する。可視化装置１５０は、姿勢情報取得部と、相対位置情報取得部と、制御部と、接触力情報取得部と、再生部と、操作情報取得部とを備える。各部は、ＣＰＵ２０１によって実現される。すなわち、ＣＰＵ２０１がＲＯＭに記憶されているプログラムを実行することにより、各部を実現する。また、可視化装置１５０は、受付部と、記憶部とを備える。受付部は、例えば、入力デバイス２０６によって実現される。記憶部は、メモリ２０４によって実現される。

【0133】

姿勢情報取得部は、患者５００の姿勢を示す姿勢情報を取得する。姿勢情報は、手術台マーカー４１１の位置と、人体マーカー５０１の位置とに基づく情報である。姿勢情報は、特定部によって患者５００の姿勢が特定されることによって得られる情報である。

【0134】

相対位置情報取得部は、患者５００の患部８１０と、鉗子４００との相対位置を示す相対位置情報を取得する。相対位置情報は、各部（患者５００、患部８１０、手術台１３０およびアーム１２１）の相対位置に基づく情報である。具体的に説明すると、患者５００と患部８１０との相対位置は、患者５００（人体）と患部８１０とのキャリブレーション（図８参照）によって得られる。また、患者５００（人体）と、手術台１３０との相対位置は、人体マーカー５０１と手術台マーカー４１１との撮像結果から得られる。アーム１２１と、手術台１３０との相対位置は、アームマーカー４０２と手術台マーカー４１１との撮像結果から得られる。これらの相対位置に基づいて、患部８１０と鉗子４００との相対位置を示す相対位置情報が得られる。

【0135】

制御部は、配置情報を参照し、姿勢情報が示す患者５００の姿勢と、相対位置情報が示す相対位置とに応じた患部８１０および鉗子４００の仮想画像を表示部に表示させる。具体的には、制御部は、患者５００の姿勢が変わると、当該姿勢に応じた患部８１０と鉗子４００との仮想画像（患部画像１４１０および鉗子画像１４００）を表示させる。

【0136】

このように、本実施形態では、患部８１０および鉗子４００の相対位置と、患者５００の姿勢とに応じた鉗子画像１４００および患部画像１４１０をディスプレイ１５１に表示するようにした。これにより、術中に患者５００の姿勢や鉗子４００の位置が変わったとしても、術者および術者以外の医療スタッフも患部８１０の状況を把握することができる。したがって、本実施形態に係る可視化装置１５０によれば、術者の操作を効率よく支援することができるとともに、術中の医療スタッフの作業効率を向上させることができる。したがって、手術支援ロボット１００を用いた手術に関する作業効率を大幅に向上させることができる。

【0137】

また、本実施形態において、制御部は、図１４に示したように、患部８１０を示す仮想画像を、患部８１０以外の部位を示す仮想画像とは異なる表示態様で表示させる。これにより、患部画像１４１０をわかりやすい表示態様で表示することができるため、手術中の作業効率をより向上させることができる。

【0138】

また、本実施形態において、制御部は、図１６に示したように、患部８１０と鉗子４００との距離を推定し、当該距離に応じた報知を行う。なお、各種報知は、ディスプレイ１５１上の表示であるが、音声による報知や、音声と表示とによる報知としてもよい。これにより、術者が行う手術に係る操作を適切に支援することができる。

【0139】

また、制御部は、患部８１０と鉗子４００とが接触したことを推定した場合に、その旨を示す報知を行う。これにより、術者が行う手術に係る操作を適切に支援することができる。

【0140】

また、接触力情報取得部は、鉗子４００と患部８１０との接触力を示す接触力情報を手術支援ロボット１００から取得する。制御部は、接触力情報が示す接触力に基づいて、鉗子４００と患部８１０との接触時における患部８１０の変形量を反映させた仮想画像（患部画像１４１０）をディスプレイ１５１に表示させる。これにより、より現実的な仮想画像を表示することができる。

【0141】

また、受付部は、図１８に示したように、ＧＵＩ１８００を表示し、医療スタッフ等のユーザから、仮想画像の表示に関する指示を受け付ける。制御部は、受付部によって受け付けられた指示に応じた仮想画像をディスプレイ１５１に表示する。これにより、医療スタッフが所望する視点や大きさで仮想画像を表示することができる。したがって、術者が行う手術に係る操作をより適切に支援することができる。

【0142】

また、記憶部は、ディスプレイ１５１に表示された一連の仮想画像と、鉗子４００の一連の操作情報と関連付けた再生用仮想画像を記憶する。再生部は、記憶部に記憶された再生用仮想画像を再生する。再生部は、医療スタッフの操作に応じて、再生用仮想画像を再生可能である。例えば、再生部は、手術中に数秒前や数分前の再生用仮想画像を再生することも可能である。これにより、術者が行う手術に係る操作をより適切に支援することができる。また、再生部は、術後に再生用仮想画像を再生することも可能である。これにより、術後に、再生用仮想画像が閲覧することにより、その後の手術に役立てることができる。

【0143】

操作情報取得部は、手術中とは異なる訓練中（トレーニングモード中）のアーム１２１の操作を示す訓練操作情報を取得する。制御部は、訓練操作情報が示す仮想画像と、再生部によって再生される再生用仮想画像とをディスプレイ１５１に表示させる。これにより、手術中に表示した仮想画像を用いて、新人医師等のトレーニングに役立てることができる。したがって、仮想画像を有効活用することができる。

【0144】

なお、以上に説明した可視化装置１５０を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録し、そのプログラムをコンピュータシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0145】

１００…手術支援ロボット
１１１…操作部
１１２…モニター
１２０…スレーブ装置
１２１…アーム
１３０…手術台
１４０…カメラ
１５０…可視化装置
１５１…ディスプレイ
２０１…ＣＰＵ
２０２…ＲＯＭ
２０３…ＲＡＭ
２０４…メモリ
２０５…通信部
２０６…入力デバイス
２０７…出力デバイス
４００…鉗子
４０１…内視鏡
４０２…アームマーカー
４１１、２０００…手術台マーカー
５００…患者
５０１…人体マーカー
６００…格子線
６０１…ポジション特定マーク
１４００…鉗子画像
１４１０…患部画像
１６００…報知画像
１８００…ＧＵＩ
Ｓｔ…可視化システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】