6867654 医用ロボットシステムの力覚表示装置および力覚表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6867654

(24)【登録日】2021年4月13日

(45)【発行日】2021年5月12日

(54)【発明の名称】医用ロボットシステムの力覚表示装置および力覚表示方法

(51)【国際特許分類】

   A61B 34/35 20160101AFI20210426BHJP

【ＦＩ】

   A61B34/35

【請求項の数】6

【全頁数】34

(21)【出願番号】特願2019-48547(P2019-48547)

(22)【出願日】2019年3月15日

(65)【公開番号】特開2020-146373(P2020-146373A)

(43)【公開日】2020年9月17日

【審査請求日】2020年9月28日

【早期審査対象出願】

(73)【特許権者】

【識別番号】515075692

【氏名又は名称】リバーフィールド株式会社

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際特許業務法人

(72)【発明者】

【氏名】原口 大輔

(72)【発明者】

【氏名】田中 靖志

(72)【発明者】

【氏名】古澤 悠貴

【審査官】 山口 賢一

(56)【参考文献】

【文献】 国際公開第２０１８／００８１０６（ＷＯ，Ａ１）

【文献】 特開２００７−０２９２３２（ＪＰ，Ａ）

【文献】 特表２０１７−５１４５５５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１８／０２５００８６（ＵＳ，Ａ１）

【文献】 国際公開第２０１９／０２３０２０（ＷＯ，Ａ１）

【文献】 特表２００５−５１０２８９（ＪＰ，Ａ）

【文献】 特開２０１８−１５８１０４（ＪＰ，Ａ）

【文献】 国際公開第２０１７／１２２３２２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３４／３５

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／０２

Ｇ０９Ｇ ５／１４

(57)【特許請求の範囲】

【請求項1】

術具および当該術具を支持するスレーブ装置の少なくとも一方に働く外力を操作者に知覚可能に表示する装置であって、
前記術具および前記スレーブ装置の少なくとも一方の２ヶ所以上で測定された外力の測定信号が入力される入力部と、
前記測定信号に基づいて、前記術具の操作に関する情報を表示する第１表示領域とは異なる位置に設定された第２表示領域に、前記外力が測定された箇所と関連を付けて当該外力の情報を画像として表示する画像情報を作成する画像生成部と、
前記画像情報を表示する表示部に向けて、作成された前記画像情報を出力する出力部と、
が設けられ、
前記スレーブ装置は複数であって、
前記画像生成部は、前記第２表示領域に前記スレーブ装置ごとに前記外力として表示する前記画像を内側に表示するサブ領域を設け、
前記画像生成部は、前記サブ領域の形状、および、前記サブ領域の少なくとも一部の色彩により、複数の前記スレーブ装置を識別可能とする前記画像情報を作成することを特徴とする医用ロボットシステムの力覚表示装置。

【請求項2】

前記画像生成部は、前記外力の値の大きさを当該外力として表示する前記画像の色、形状、および、面積の少なくとも１つとして表現する前記画像情報を作成することを特徴とする請求項１記載の医用ロボットシステムの力覚表示装置。

【請求項3】

前記入力部には、前記スレーブ装置に把持されている前記術具の種類を表す種類情報が入力され、
前記画像生成部は、前記種類情報に基づいて、前記サブ領域に前記術具の形状を表す画像を含む前記画像情報を作成することを特徴とする請求項１または２に記載の医用ロボットシステムの力覚表示装置。

【請求項4】

棒状に延びる前記スレーブ装置の一方の端部に前記術具が配置され、前記スレーブ装置の前記一方の端部近傍には、前記術具の姿勢を変更可能とする関節部が設けられ、
前記入力部に入力される前記測定信号は、前記関節部に作用する力に関する関節測定信号、および、前記スレーブ装置における前記関節部以外の箇所に作用する外力に関するアーム測定信号が含まれ、
前記画像生成部は、前記関節情報および前記アーム情報に基づいて、前記関節部に作用する力に関する情報、および、前記スレーブ装置における前記関節部以外の箇所に作用する外力に関する情報を表示する前記画像情報を作成することを特徴とする請求項１から３のいずれか１項に記載の医用ロボットシステムの力覚表示装置。

【請求項5】

前記入力部に入力される前記測定信号には、前記術具に作用する力に関する術具測定信号が含まれ、
前記画像生成部は、前記術具測定信号に基づいて、前記術具に作用する力に関する情報を表示する前記画像情報を作成することを特徴とする請求項４記載の医用ロボットシステムの力覚表示装置。

【請求項6】

術具および当該術具を支持するスレーブ装置の少なくとも一方に働く外力を操作者に知覚可能に表示する表示方法であって、
前記術具および前記スレーブ装置の少なくとも一方の２ヶ所以上で測定された外力の測定信号が入力される入力ステップと、
前記測定信号に基づいて、前記術具の操作に関する情報を表示する第１表示領域とは異なる位置に設定された第２表示領域に、前記外力が測定された箇所と関連を付けて当該外力の情報を画像として表示する画像情報を作成する画像生成ステップと、
前記画像情報を表示する表示部に向けて、作成された前記画像情報を出力する出力ステップと、
を有することを特徴とする医用ロボットシステムの力覚表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医用ロボットシステムの力覚表示装置および力覚表示方法に関する。

【背景技術】

【0002】

近年、手術支援に用いられる医用ロボットを用いた内視鏡外科手術が普及しつつある。内視鏡外科手術では、医用ロボットに取り付けられた腹腔鏡や内視鏡、鉗子など（以下、「術具」とも表記する。）が用いられる。

【0003】

医用ロボットは医師による術具の遠隔操作が可能である。また、直観的な操作が可能な医用ロボットも提案されている。さらに、正確性や安全性を高めることを目的として、医用ロボットを操作する医師に対して、術具に作用する外力を伝える力覚提示が可能な医用ロボットも提案されている（例えば、特許文献１および２参照。）。

【0004】

特許文献１には、医療用具により受けた測定された応力に従って、ハプティックコントロールから触覚フィードバックを受ける内容や、ニードルに受けた応力の感触を有するようにモニタ上に測定された応力等を表示する内容が開示されている。

【0005】

特許文献２には、触覚フィードバックで生成された情報に基づいて３Ｄ（３次元）触覚表現を更新する内容が開示されている。具体的には、外科器具が患者の骨と接触していると判定されるとき、患者の状態の３Ｄ表現、例えば、３Ｄ図示表現及び／または３Ｄ触覚表現を更新する内容が記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特表２００５−５１０２８９号公報

【特許文献2】特開２０１８−１５８１０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

力覚の提示方法が、操作を行う医師の手への触覚による提示の場合、操作を行っている医師が直感的に力覚を把握できるという利点がある。その一方で、触覚への提示の強さが同じであっても、受け取る医師が異なると強さの感じ方が異なる場合があり、正確性に欠けるおそれがあった。また、操作を行う医師に対してのみ力覚が提示され、他の医師などへの提示がされないため、第三者によるリアルタイムチェックや、客観性の確保が難しいという問題があった。

【0008】

特許文献１および２に開示されている技術のように、モニタ上に測定された応力等（力覚）を表示する方法では、上述のような第三者によるリアルタイムチェックや、客観性の確保は、比較的容易になるという利点がある。しかしながら、面積の限られたモニタ上に、内視鏡などにより撮像された映像や画像とともに力覚を表示するため、力覚が把握しにくい等の問題が生じるおそれがあった。特に、複数の異なる力覚を表示させると、この問題が顕著になるという問題があった。

【0009】

本発明は、上記の課題を解決するためになされたものであって、医用ロボットシステムにおける操作の正確性や安全性を高めることが容易な医用ロボットシステムの力覚表示装置および力覚表示方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本発明は、以下の手段を提供する。
本発明の第１の態様に係る医用ロボットシステムの力覚表示装置は、術具および当該術具を支持するスレーブ装置の少なくとも一方に働く外力を操作者に知覚可能に表示する装置であって、前記術具および前記スレーブ装置の少なくとも一方の２ヶ所以上で測定された外力の測定信号が入力される入力部と、前記測定信号に基づいて、前記術具の操作に関する情報を表示する第１表示領域とは異なる第２表示領域に、前記外力が測定された箇所と関連を付けて当該外力の情報を画像として表示する画像情報を作成する画像生成部と、前記画像情報を表示する表示部に向けて、作成された前記画像情報を出力する出力部と、が設けられていることを特徴とする。

【0011】

本発明の第２の態様に係る医用ロボットシステムの力覚表示方法は、術具および当該術具を支持するスレーブ装置の少なくとも一方に働く外力を操作者に知覚可能に表示する表示方法であって、前記術具および前記スレーブ装置の少なくとも一方の２ヶ所以上で測定された外力の測定信号が入力される入力ステップと、前記測定信号に基づいて、前記術具の操作に関する情報を表示する第１表示領域とは異なる第２表示領域に、前記外力が測定された箇所と関連を付けて当該外力の情報を画像として表示する画像情報を作成する画像生成ステップと、前記画像情報を表示する表示部に向けて、作成された前記画像情報を出力する出力ステップと、を有することを特徴とする。

【0012】

本発明の第１の態様に係る力覚表示装置、および、第２の態様に係る力覚表示方法によれば、外力が測定された箇所と関連を付けて当該外力の情報を画像として表示する画像情報を作成し、表示部に画像情報を表示させることができる。言い換えると、表示されている外力の情報が、どの箇所で測定されたか識別可能な態様で表示することができる。

【0013】

また、第１表示領域とは異なる第２表示領域に外力の情報を画像として表示するため、第１表示領域に重ねて外力の情報を表示する場合と比較して、表示されている外力の情報を把握しやすくなる。また、第１表示領域に表示される術具に関する情報の視認を妨げにくくなる。

【0014】

上記発明の第１の態様において前記画像生成部は、前記外力の値の大きさを当該外力として表示する前記画像の色、形状、および、面積の少なくとも１つとして表現する前記画像情報を作成することが好ましい。

【0015】

このように外力の値の大きさを色、形状、及び面積の少なくとも１つを用いて表現することにより、数値で外力の値の大きさを表現する場合と比較して、外力の値の大きさを直感的に把握しやすくなる。

【0016】

上記発明の第１の態様において前記スレーブ装置は複数であって、前記画像生成部は、前記第２表示領域に前記スレーブ装置ごとに前記外力として表示する前記画像を内側に表示するサブ領域を設けていることが好ましい。

【0017】

このようにスレーブ装置毎に設けられたサブ領域の内側に、当該スレーブ装置で測定された外力を表示することにより、複数のスレーブ装置が設けられている場合であっても、表示されている外力の情報が、どのスレーブ装置で測定された外力の情報か把握しやすくなる。

【0018】

上記発明の第１の態様において前記画像生成部は、前記サブ領域の形状、および、少なくとも一部の色彩により、複数の前記スレーブ装置を識別可能とする前記画像情報を作成することが好ましい。

【0019】

このようにスレーブ装置毎にサブ領域の形状、および、少なくとも一部の色彩を異ならせることにより、表示されている外力の情報が、どのスレーブ装置で測定された外力の情報か把握しやすくなる。

【0020】

上記発明の第１の態様において前記入力部には、前記スレーブ装置に把持されている前記術具の種類を表す種類情報が入力され、前記画像生成部は、前記種類情報に基づいて、前記サブ領域に前記術具の形状を表す画像を含む前記画像情報を作成することが好ましい。

【0021】

このようにスレーブ装置に把持されている術具の形状を表す画像をサブ領域に表示することにより、表示されている外力の情報が、どの術具を把持しているスレーブ装置で測定された外力の情報か把握しやすくなる。

【0022】

上記発明の第１の態様においては、棒状に延びる前記スレーブ装置の一方の端部に前記術具が配置され、前記スレーブ装置の前記一方の端部近傍には、前記術具の姿勢を変更可能とする関節部が設けられ、前記入力部に入力される前記測定信号は、前記関節部に作用する力に関する関節測定信号、および、前記スレーブ装置における前記関節部以外の箇所に作用する外力に関するアーム測定信号が含まれ、前記画像生成部は、前記関節情報および前記アーム情報に基づいて、前記関節部に作用する力に関する情報、および、前記スレーブ装置における前記関節部以外の箇所に作用する外力に関する情報を表示する前記画像情報を作成することが好ましい。

【0023】

このように関節部に作用する力と、スレーブ装置における関節部以外の箇所に作用する外力に関する情報を表示することにより、１箇所に作用する外力などを表示する場合と比較して、操作しているスレーブ装置の状況を把握しやすくなる。例えば、スレーブ装置同士が接触した場合には、スレーブ装置における関節部以外の箇所（例えばシャフト）に接触による外力が作用する。この外力に関する情報が表示されるため、操作者はスレーブ装置同士が接触したことを把握することができる。

【0024】

上記発明の第１の態様においては、前記入力部に入力される前記測定信号には、前記術具に作用する力に関する術具測定信号が含まれ、前記画像生成部は、前記術具測定信号に基づいて、前記術具に作用する力に関する情報を表示する前記画像情報を作成することが好ましい。

【0025】

このように術具に作用する力に関する情報を表示することにより、術具の操作状況を把握しやすくなる。例えば、術具が鉗子である場合には、鉗子を閉じて対象物を挟んで把持する際の把持力が表示される。また、鉗子を開いて対象物を剥離させる際の剥離力も表示される。

【発明の効果】

【0026】

本発明の第１の態様に係る力覚表示装置、および、第２の態様に係る力覚表示方法によれば、外力が測定された箇所と関連を付けて当該外力の情報を画像として表示する画像情報を作成し、表示部に画像情報を表示させることにより、医用ロボットシステムにおける操作の正確性や安全性を高めることが容易になるという効果を奏する。

【図面の簡単な説明】

【0027】

【図1】本発明の第１の実施形態に係る医用ロボットシステムの構成を説明するブロック図である。

【図2】図１のスレーブユニットに設けられるカートリッジの構成を説明する斜視図である。

【図3】図１の制御装置における力覚の表示に関する制御を説明するフローチャートである。

【図4】図４（ａ）は図１の表示装置における表示の態様を説明する模式図であり、図４（ｂ）は他の態様を説明する模式図であり、図４（ｃ）はさらに他の態様を説明する模式図である。

【図5】図１の表示装置における別の表示の態様を説明する模式図である。

【図6】力覚表示部における表示態様を説明する模式図である。

【図7】図７（ａ）は剥離表示態様を説明する図であり、図７（ｂ）は把持表示態様を説明する図であり、図７（ｃ）は力を測定していない場合の表示態様を説明する図である。

【図8】本発明の第１の実施形態の第１変形例に係る医用ロボットシステムの構成を説明するブロック図である。

【図9】図８の表示装置における表示の態様を説明する模式図である。

【図10】本発明の第１の実施形態の第２変形例に係る医用ロボットシステムの構成を説明するブロック図である。

【図11】図１１（ａ）は、第１表示装置における表示の態様を説明する模式図であり、図１１（ｂ）は、第２表示装置における表示の態様を説明する模式図である。

【図12】本発明の第２の実施形態に係る医用ロボットシステムの構成を説明するブロック図である。

【図13】図１２のスレーブユニットの構成を説明するブロック図である。

【図14】図１２の表示装置における表示の態様を説明する模式図である。

【図15】図１４の第１力覚表示部、第２力覚表示部、第３力覚表示部における表示態様を説明する模式図である。

【図16】本発明の第２の実施形態の第１変形例に係る医用ロボットシステムの構成を説明するブロック図である。

【図17】図１６の表示装置における第１力覚表示部、第２力覚表示部、第３力覚表示部における表示態様を説明する模式図である。

【図18】本発明の第２の実施形態の第２変形例に係る医用ロボットシステムの構成を説明するブロック図である。

【図19】図１８の表示装置における第１力覚表示部、第２力覚表示部、第３力覚表示部における表示態様を説明する模式図である。

【図20】本発明の第２の実施形態の第３変形例に係る医用ロボットシステムの構成を説明するブロック図である。

【図21】図２０の表示装置における第１力覚表示部、第２力覚表示部、第３力覚表示部における表示態様を説明する模式図である。

【図22】本発明の第２の実施形態の第４変形例に係る医用ロボットシステムの構成を説明するブロック図である。

【図23】図２２の表示装置における第１力覚表示部、第２力覚表示部、第３力覚表示部における表示態様を説明する模式図である。

【発明を実施するための形態】

【0028】

〔第１の実施形態〕
以下、本発明の第１の実施形態に係る医用ロボットシステム１ついて図１から図７を参照しながら説明する。本実施形態の医用ロボットシステム１は、手術支援に用いられるものである。例えば、内視鏡外科手術の支援に用いて好適なものである。

【0029】

医用ロボットシステム１には、図１に示すように、スレーブユニット（スレーブ装置）１０と、内視鏡ユニット２０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）５０と、表示装置（表示部）６０と、が主に設けられている。

【0030】

スレーブユニット１０は、図１および図２に示すように、内視鏡外科手術に用いられる鉗子などの術具１４を支持するものであり、操作ユニット３０に入力される操作に従って術具１４の位置および姿勢の少なくとも一方を制御するものである。また、術具１４が鉗子である場合には鉗子を開閉駆動するものである。

【0031】

本実施形態では、スレーブユニット１０が、第１スレーブ装置（スレーブ装置）１０Ａ、および、第２スレーブ装置（スレーブ装置）１０Ｂを有している例に適用して説明する。なお、スレーブユニット１０が有しているスレーブ装置の数は、２つよりも多くてもよいし、少なくてもよい。

【0032】

本実施形態では、第１スレーブ装置１０Ａ、および、第２スレーブ装置１０Ｂがロボットアームである例に適用して説明する。さらに第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂは同じ構成を有し、同種の術具１４を支持するものである例に適用して説明する。

【0033】

なお、第１スレーブ装置１０Ａ、および、第２スレーブ装置１０Ｂは術具１４の位置および姿勢の少なくとも一方を制御するもの、または、術具１４としての鉗子の開閉駆動できるものであればよく、アーム状の構成を有していなくてもよい。

【0034】

第１スレーブ装置１０Ａ、および、第２スレーブ装置１０Ｂには、図２に示すように、カートリッジ１１と、シャフト１２と、関節部１３と、が少なくとも設けられている。なお、カートリッジ１１、シャフト１２、および、関節部１３において第１スレーブ装置１０Ａに設けられたものか、第２スレーブ装置１０Ｂに設けられたものか区別する必要がない場合には、カートリッジ１１、シャフト１２、および、関節部１３と表記する。第１スレーブ装置１０Ａに設けられたものか、第２スレーブ装置１０Ｂに設けられたものか区別する場合には、それぞれ、カートリッジ１１Ａ、シャフト１２Ａおよび関節部１３Ａと、カートリッジ１１Ｂ、シャフト１２Ｂおよび関節部１３Ｂと表記する。

【0035】

カートリッジ１１は、シャフト１２、関節部１３、および、術具１４を支持するものである。本実施形態では、カートリッジ１１が立方体状の形状を有している例に適用して説明する。

【0036】

カートリッジ１１には、シャフト１２、関節部１３、および、術具１４の少なくとも１つを駆動する空気圧アクチュエータなどの駆動源が収納されていてもよい。また、シャフト１２に加わる外力を測定するシャフトセンサ１５、関節部１３に加わる外力を測定する関節センサ１６、術具１４である鉗子により外部へ加えられる開閉の力を測定する術具センサ１７の少なくとも１つが収納されていてもよい。

【0037】

なお、シャフトセンサ１５、関節センサ１６および術具センサ１７において第１スレーブ装置１０Ａに設けられたものか、第２スレーブ装置１０Ｂに設けられたものか区別する必要がない場合には、シャフトセンサ１５、関節センサ１６および術具センサ１７と表記する。第１スレーブ装置１０Ａに設けられたものか、第２スレーブ装置１０Ｂに設けられたものか区別する場合には、それぞれ、シャフトセンサ１５Ａ、関節センサ１６Ａおよび術具センサ１７Ａと、シャフトセンサ１５Ｂ、関節センサ１６Ｂおよび術具センサ１７Ｂと表記する。

【0038】

シャフト１２は、カートリッジ１１から延びる円筒状または円柱状に形成された部材である。シャフト１２は、カートリッジ１１に対して自身の中心軸線まわりに回転可能に配置されている。なお、シャフト１２は、円筒状または円柱状に形成されてもよいし、角柱
状に形成されてもよい。

【0039】

関節部１３は、術具１４を支持するとともに、屈曲することにより術具１４の位置や姿勢を制御するものである。関節部１３は、シャフト１２と術具１４との間に位置するものである。言い換えると、関節部１３の一方の端部は、シャフト１２におけるカートリッジ１１から離れた側の端部と隣接し、他方の端部は術具１４と隣接している。なお、関節部１３の構成としては、屈曲を可能とする公知の構成を用いることができ、具体的な構成を限定するものではない。

【0040】

内視鏡ユニット２０は、図１に示すように、内視鏡外科手術を行う際に用いられる映像または画像を取得するものである。具体的には、患者の体腔内であって手術の対象である領域の映像または画像を取得するものである。取得した映像または画像の情報は、制御装置５０へ出力される。なお、内視鏡ユニット２０としては、映像または画像の情報を出力できるものであればよく、その構成を限定するものではない。

【0041】

操作ユニット３０は、スレーブユニット１０の制御に用いられるものである。具体的には、第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂを操作して内視鏡外科手術を行う際に用いられるものである。

【0042】

操作ユニット３０には、ハンド操作部３１およびフット操作部３５が主に設けられている。ハンド操作部３１は、医用ロボットシステム１の操作者（例えば、内視鏡外科手術の術者）が手を用いてスレーブユニット１０の動きを入力する際に用いるものである。

【0043】

ハンド操作部３１には、操作者の右手に対応する右手用操作部３２と、左手に対応する左手用操作部３３と、が主に設けられている。右手用操作部３２および左手用操作部３３は、操作者から入力された情報を信号に変換して制御部５２へ出力するものである。また、右手用操作部３２および左手用操作部３３は、制御部５２から入力された制御信号に基づいて、操作者に対して力覚を提示するものである。

【0044】

なお、右手用操作部３２および左手用操作部３３としては、公知の構成および方式のものを用いることができ、構成および方式を限定するものではない。また、ハンド操作部３１は、上述のように右手用操作部３２および左手用操作部３３の両者を有していてもよいし、右手用操作部３２および左手用操作部３３の一方のみを有してもよい。

【0045】

フット操作部３５は、操作者が足を用いてスレーブユニット１０の動きや機能を操作する際に用いるものである。フット操作部３５には、第１フットスイッチ３６と、第２フットスイッチ３７と、第３フットスイッチ３８とが主に設けられている。第１フットスイッチ３６、第２フットスイッチ３７、第３フットスイッチ３８は、操作者が足で踏むことにより操作されるスイッチである。

【0046】

例えば、術具１４へ高周波電流の供給および停止や、スレーブユニット１０の制御モードの切り替えなど、を例示することができる。なお、フット操作部３５による操作の種類や内容は、公知の種類や内容であればよく、種類や内容を限定するものではない。またフット操作部３５は、上述のように３つのフットスイッチを有していてもよいし、３つよりも少ないフットスイッチを有していてもよいし、３つよりも多いフットスイッチを有していてもよい。

【0047】

発音装置４０は、操作者を含む内視鏡外科手術に関与する関係者の少なくとも一部に対して、制御装置５０から入力される制御信号に基づいて音を発するものである。音を発生させる構成等は、公知の構成等を用いることができ、特に限定するものではない。

【0048】

制御装置５０は、スレーブユニット１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。

【0049】

制御装置５０は、図１に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部５３、および、出力部５４として機能させるものである。

【0050】

入力部５１は、外部から信号が入力されるものである。具体的には、入力部５１は、操作ユニット３０と操作内容に関する信号が入力可能に接続され、内視鏡ユニット２０と映像や画像の信号が入力可能に接続されている。

【0051】

さらに、入力部５１は、シャフト１２に加わる外力を測定するシャフトセンサ１５、関節部１３に加わる外力を測定する関節センサ１６、および、術具１４である鉗子により外部へ加えられる開閉の力を測定する術具センサ１７と、測定信号が入力可能に接続されている。

【0052】

なお、シャフトセンサ１５、関節センサ１６、および、術具センサ１７が配置されている位置は、それぞれの測定対象の外力が測定できる位置であればよく、その位置を限定するものではない。また、シャフトセンサ１５、関節センサ１６、および、術具センサ１７により外力を測定する方式は、公知の方式を用いることができ、特に限定するものではない。

【0053】

制御部５２は、スレーブユニット１０および術具１４の動作や、機能の発揮を制御する信号を生成するものである。制御信号は、操作ユニット３０から入力される操作に関する信号に基づいて生成されるものである。

【0054】

画像生成部５３は、表示装置６０に表示される映像や画像の情報である画像情報を生成するものである。具体的には、内視鏡ユニット２０から入力される映像や画像の信号、および、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。画像情報の内容については後述する。

【0055】

出力部５４は、制御部５２において生成された制御信号および画像生成部５３において生成された画像情報を出力するものである。出力部５４は、スレーブユニット１０および術具１４と制御信号の出力が可能に接続され、表示装置６０と画像情報が出力可能に接続されている。

【0056】

表示装置６０は、制御装置５０から出力された画像情報に基づいて、映像や画像を表示するものである。表示装置６０は、内視鏡外科手術の術者を含めた手術の関係者に対して表示を行うものである。表示装置６０としては、映像や画像を表示する公知の方式や構成を用いることができ、方式や構成を限定するものではない。

【0057】

次に、上記の構成からなる医用ロボットシステム１における制御、具体的には力覚の表示に関する制御について説明する。まず、制御装置５０における演算処理の流れを、図３を参照しながら説明し、その後に表示する内容について説明する。

【0058】

制御装置５０に電力が供給されると、図３に示すように、制御装置５０は、タイマカウ
ンタが所定時間に達したか否かを判定する処理を行う（Ｓ１１）。本実施形態では、所定時間が２００ｍｓである例に適用して説明する。なお所定時間は、上述のように２００ｍｓであってもよいし、２００ｍｓよりも長くても、短くてもよい。

【0059】

タイマカウンタが所定時間に達していないと判定された場合（ＮＯの場合）には、制御装置５０は、再びＳ１１の判定処理を行う。
タイマカウンタが所定時間に達したと判定された場合（ＹＥＳの場合）には、制御装置５０は、シャフト１２に働く外力を検出したか否かを判定する処理を行う（Ｓ１２：入力ステップ）。言い換えると、入力部５１にシャフトセンサ１５から力の測定信号であるアーム測定信号が入力しているか否かを判定する処理を行う。

【0060】

シャフト１２に働く外力を検出したと判定された場合（ＹＥＳの場合）には、制御装置５０は、検知した外力を力覚として提示する制御信号を生成する処理を行う（Ｓ１３）。検出した外力は、シャフトセンサ１５により測定された力の大きさである。検出された外力は、シャフトセンサ１５から出力される測定信号に基づいて推定される。

【0061】

具体的には、測定信号を出力したシャフトセンサ１５が設けられたスレーブ装置に対応するハンド操作部３１に、検出した外力を力覚として提示させる処理を行う。例えば、測定信号を出力したシャフトセンサ１５が、第１スレーブ装置１０Ａのシャフト１２に作用する力を測定するものである場合には、第１スレーブ装置１０Ａの操作に用いられるハンド操作部３１（右手用操作部３２または左手用操作部３３）に、検出した外力を力覚として提示させる処理を行う。

【0062】

さらに、入力された測定信号に基づいて推定される力の大きさに応じて、提示する力覚の強さを設定する処理を行う。対応するハンド操作部３１は、制御装置５０から出力される制御信号に基づいて、シャフトセンサ１５に作用する力に応じた力覚を操作者に提示する。

【0063】

Ｓ１３の処理が終了すると、制御装置５０は検知した外力（外力に関する情報）を、視覚を用いて把握できる情報として提示する処理を行う（Ｓ１４：画像生成ステップ、出力ステップ）。具体的には、測定信号を出力したシャフトセンサ１５が設けられたスレーブ装置に対応するとともに、入力された測定信号に基づいて推定される力の大きさに応じた映像や画像を表示させる画像情報を生成する処理を行う。画像情報を生成する処理の内容については後述する。生成された画像情報は表示装置６０へ出力される。表示装置６０は入力された画像情報に基づいて映像や画像を表示する。

【0064】

Ｓ１４の処理が終了すると、または、Ｓ１２においてシャフト１２に働く外力が検出されない判定がされた場合（ＮＯの場合）には、制御装置５０は、関節部１３に働く外力を検出したか否かを判定する処理を行う（Ｓ１５：入力ステップ）。言い換えると、入力部５１に関節センサ１６から力の測定信号である関節測定信号が入力しているか否かを判定する処理を行う。

【0065】

関節部１３に働く外力を検出したと判定された場合（ＹＥＳの場合）には、制御装置５０は、検知した外力を力覚として提示する制御信号を生成する処理を行う（Ｓ１６）。検出した外力は、関節センサ１６により測定された力の大きさである。検出された外力は、関節センサ１６から出力される測定信号に基づいて推定される。

【0066】

具体的には、測定信号を出力した関節センサ１６が設けられたスレーブ装置に対応するハンド操作部３１に、検出した外力を力覚として提示させる処理を行う。さらに、入力された測定信号に基づいて推定される力の大きさに応じて、提示する力覚の強さを設定する
処理を行う。対応するハンド操作部３１は、制御装置５０から出力される制御信号に基づいて、関節センサ１６に作用する力に応じた力覚を操作者に提示する。

【0067】

Ｓ１６の処理が終了すると、制御装置５０は検知した外力（力に関する情報）を、視覚を用いて把握できる情報として提示する処理を行う（Ｓ１７：画像生成ステップ、出力ステップ）。具体的には、測定信号を出力した関節センサ１６が設けられたスレーブ装置に対応するとともに、入力された測定信号に基づいて推定される力の大きさに応じた映像や画像を表示させる画像情報を生成する処理を行う。画像情報を生成する処理の内容については後述する。生成された画像情報は表示装置６０へ出力される。表示装置６０は入力された画像情報に基づいて映像や画像を表示する。

【0068】

Ｓ１７の処理が終了すると、または、Ｓ１５において関節部１３に働く外力が検出されない判定がされた場合（ＮＯの場合）には、制御装置５０は、術具１４に働く外力を検出したか否かを判定する処理を行う（Ｓ１８：入力ステップ）。言い換えると、入力部５１に術具センサ１７から力の測定信号である術具測定信号が入力しているか否かを判定する処理を行う。

【0069】

術具１４に働く外力を検出したと判定された場合（ＹＥＳの場合）には、制御装置５０は、検知した外力を力覚として提示する制御信号を生成する処理を行う（Ｓ１９）。検出した外力は、術具センサ１７により測定された力（具体的には、鉗子が把持する力、または、剥離する力）の大きさである。検出された外力は、術具センサ１７から出力される測定信号に基づいて推定される。

【0070】

具体的には、測定信号を出力した術具センサ１７が設けられたスレーブ装置に対応するハンド操作部３１に、検出した外力を力覚として提示させる処理を行う。さらに、入力された測定信号に基づいて推定される力の大きさに応じて、提示する力覚の強さを設定する処理を行う。対応するハンド操作部３１は、制御装置５０から出力される制御信号に基づいて、術具センサ１７に作用する力に応じた力覚を操作者に提示する。

【0071】

Ｓ１９の処理が終了すると、制御装置５０は検知した外力（術具に作用する力に関する情報）を、視覚を用いて把握できる情報として提示する処理を行う（Ｓ２０：画像生成ステップ、出力ステップ）。具体的には、測定信号を出力した術具センサ１７が設けられたスレーブ装置に対応するとともに、入力された測定信号に基づいて推定される力の大きさに応じた映像や画像を表示させる画像情報を生成する処理を行う。画像情報を生成する処理の内容については後述する。生成された画像情報は表示装置６０へ出力される。表示装置６０は入力された画像情報に基づいて映像や画像を表示する。

【0072】

Ｓ２０の処理が終了すると、制御装置５０はタイマカウンタを０にリセットする処理を行う（Ｓ２１）。リセットの処理が終了すると、制御装置５０はＳ１１に戻り、上述の処理を繰り返し行う。例えば、少なくとも、医用ロボットシステム１による内視鏡外科手術の支援が行われている期間は、上述の処理の繰り返しが行われる。

【0073】

次に画像生成部５３において生成される画像情報について説明する。具体的には、表示装置６０における表示の態様について説明する。図４（ａ）は、本実施形態の画像生成部５３により生成された画像情報に基づいて、表示装置６０が表示する態様を説明する模式図である。

【0074】

画像生成部５３は、図４（ａ）に示すように、表示装置６０における表示面に、左右方向の中央である内視鏡画像表示部（第１表示領域）６１を設定するとともに、内視鏡画像表示部６１の左下に第１力覚表示部（第２表示領域）６２と、右上に第２力覚表示部（第
２表示領域）６３とを設定する。

【0075】

内視鏡画像表示部６１は、第１力覚表示部６２および第２力覚表示部６３よりも広い面積を有する領域である。画像生成部５３は、内視鏡ユニット２０から入力された映像または画像の情報を内視鏡画像表示部６１に表示させる画像情報を生成する。

【0076】

第１力覚表示部６２および第２力覚表示部６３は、内視鏡画像表示部６１よりも狭い面積を有する領域である。画像生成部５３は、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。

【0077】

第１力覚表示部６２および第２力覚表示部６３は、枠により他の領域と区画されるものであり、区画された内部にシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づく表示が行われる。本実施形態の第１力覚表示部６２および第２力覚表示部６３は、同じ矩形状に形成された同色の枠を有している。第１力覚表示部６２および第２力覚表示部６３における表示態様については後述する。

【0078】

本実施形態では、第１力覚表示部６２は、第１スレーブ装置１０Ａに対応するシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて表示が行われる領域であり、第２力覚表示部６３は、第２スレーブ装置１０Ｂに対応するシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて表示が行われる領域である例に適用して説明する。

【0079】

なお、第１力覚表示部６２が第２スレーブ装置１０Ｂに対応するシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて表示が行われる領域であり、第２力覚表示部６３が第１スレーブ装置１０Ａに対応するシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて表示が行われる領域であってもよい。

【0080】

なお、本実施形態では、第１力覚表示部６２が表示装置６０における表示面の左下に位置し、第２力覚表示部６３が右上に位置する例に適用して説明するが、図４（ｂ）に示すように、第１力覚表示部６２が表示面の左上に位置し、第２力覚表示部６３が右下に位置してもよいし、図４（ｃ）に示すように、第１力覚表示部６２が表示面の左側中央のやや上に位置し、第２力覚表示部６３が右側中央のやや下に位置してもよい。

【0081】

また、本実施形態では第１力覚表示部６２および第２力覚表示部６３が、同じ矩形状に形成された同色の枠を有している例に適用して説明したが、第１力覚表示部６２および第２力覚表示部６３が異なる形状に形成された枠を有していてもよい。例えば、図５に示すように、第１力覚表示部６２が矩形状に形成された枠を有し、第２力覚表示部６３が楕円状に形成された枠を有していてもよい。

【0082】

さらに本実施形態では第１力覚表示部６２および第２力覚表示部６３が、同じ色の枠を有している例に適用して説明したが、第１力覚表示部６２および第２力覚表示部６３が異なる色の枠を有していてもよい。

【0083】

次に第１力覚表示部６２および第２力覚表示部６３における表示態様について説明する。なお、第１力覚表示部６２および第２力覚表示部６３における表示態様は同じであるため、代表して第１力覚表示部６２における表示態様について説明し、第２力覚表示部６３における表示態様の説明は省略する。また、第１力覚表示部６２および第２力覚表示部６３は、互いに区別が容易になるように第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂの名称が表示されてもよい。

【0084】

第１力覚表示部６２の表示態様は、図６に示す通りである。つまり、第１力覚表示部６２には、第１スレーブ装置１０Ａのシャフト１２、関節部１３および術具１４の３次元モデルが表示される。つまり、３次元モデルのシャフト１２ｍ、３次元モデルの関節部１３ｍおよび３次元モデルの術具１４ｍが表示される。３次元モデルは、実際のシャフト１２の姿勢や、関節部１３の屈曲状態が反映して表示されるものである。

【0085】

なお、３次元モデルにおける術具１４ｍの形状は、入力部５１を介して入力される術具１４の種類を表す種類情報に基づいて決められる。制御装置５０には、術具１４の種類を表す種類情報と、表示される３次元モデルにおける術具１４ｍの形状と、が対応付けして記憶されている。画像生成部５３は、入力された種類情報に対応付けされた術具１４ｍの形状の情報を取得し、３次元モデルを表示する画像情報を生成する。

【0086】

なお、入力部５１を介して入力される種類情報は、医用ロボットシステム１のセッティングを行う作業者や、内視鏡外科手術を行う術者などが入力する情報であってもよいし、取付けられた術具１４の種類を検知するセンサから出力される検知信号であってもよい。

【0087】

３次元モデルにおけるシャフト１２ｍの部分には、シャフトセンサ１５から入力される信号に基づいて、力の大きさ、および、力の向きを示す円錐状の図形１５ｆが表示される。また、３次元モデルにおける関節部１３ｍの部分には、関節センサ１６から入力される信号に基づいて、力の大きさ、および、力の向きを示す円錐状の図形１６ｆが表示される。

【0088】

本実施形態では、円錐状の図形の底面から頂点までの距離が力の大きさに対応する例に適用して説明する。また、力の大きさに応じて円錐状の図形を表示する色が変化する。例えば、力が大きくなるに伴い、緑、黄および赤に変化する。さらに、本実施形態では、円錐状の図形の底面から頂点に向かう方向が力の向きを表す例に適用して説明する。

【0089】

３次元モデルにおける術具１４に隣接する領域、例えば術具１４の先端側に隣接する領域には、術具センサ１７から入力される信号に基づいて、術具１４である鉗子が閉じる力の大きさ、または、開く力の大きさを示す帯状の図形が表示される。

【0090】

本実施形態では、図７（ａ）に示すように、帯状図形１４ｆの長さが予め定められた基準指標１４ｓよりも長くする剥離表示態様で表示することで、術具１４である鉗子が開く力を表現する。また、図７（ｂ）に示すように、基準指標１４ｓよりも帯状図形１４ｆの長さを短くする把持表示態様で表示することで術具１４が閉じる力を表現する例に適用して説明する。

【0091】

また、力の大きさに応じて帯状図形１４ｆと基準指標１４ｓの長さの差を変化させ、当該長さの差により力の大きさを表示する。例えば、力が大きくなると当該長さの差を大きく表示し、力が小さくなると当該長さの差が小さく表示される。

【0092】

または、力の大きさに応じて帯状図形１４ｆの色を変化させてもよい。例えば、力が大きくなるに伴い、緑、黄および赤に変化する。術具センサ１７が力を測定していない場合には、図７（ｃ）に示すように、帯状図形１４ｆは基準指標１４ｓと同じ長さで表示され、かつ、白色で表示される。

【0093】

上記の構成の制御装置５０によれば、外力が測定された箇所と関連を付けて当該外力の情報を画像として表示する画像情報を作成し、表示装置６０に画像情報を表示させることができる。言い換えると、表示されている外力の情報が、どの箇所で測定されたか識別可
能な態様で表示することができる。

【0094】

また、内視鏡画像表示部６１とは異なる第１力覚表示部６２と第２力覚表示部６３に外力の情報を画像として表示するため、内視鏡画像表示部６１に重ねて外力の情報を表示する場合と比較して、表示されている外力の情報を把握しやすくなる。また、内視鏡画像表示部６１に表示されるシャフト１２や、関節部１３や、術具１４に働く力の視認を妨げにくくなる。

【0095】

外力の値の大きさを色、形状、及び面積の少なくとも１つを用いて表現することにより、数値で外力の値の大きさを表現する場合と比較して、外力の値の大きさを直感的に把握しやすくなる。

【0096】

関節部１３に作用する力と、第１スレーブ装置１０Ａ、第２スレーブ装置１０Ｂにおける関節部１３以外の箇所であるシャフト１２に作用する外力に関する情報を表示することにより、１箇所（例えば関節部１３のみ）に作用する外力などを表示する場合と比較して、操作している第１スレーブ装置１０Ａ、第２スレーブ装置１０Ｂの状況を把握しやすくなる。

【0097】

例えば、第１スレーブ装置１０Ａと第２スレーブ装置１０Ｂとが接触した場合には、第１スレーブ装置１０Ａと第２スレーブ装置１０Ｂとにおける関節部１３以外の箇所（例えばシャフト１２）に接触による外力が作用する。この外力に関する情報が表示されるため、操作者は第１スレーブ装置１０Ａと第２スレーブ装置１０Ｂとが接触したことを把握することができる。

【0098】

術具１４に作用する力に関する情報として、鉗子が開く力（剥離する力）の情報と、鉗子が閉じる力（把持する力）の情報を表示することにより、術具１４の操作状況を把握しやすくなる。

【0099】

第１スレーブ装置１０Ａと第２スレーブ装置１０Ｂに把持されている術具１４の形状を表す画像を表示することにより、表示されている外力の情報が、第１スレーブ装置１０Ａで測定された外力の情報か、第２スレーブ装置１０Ｂで測定された外力の情報かを把握しやすくなる。

【0100】

このように基準指標１４ｓと比較して帯状図形１４ｆの長さを変えて、把持力に関する情報なのか、剥離力に関する情報なのかを表示することにより、情報の視認が行いやすくなる。また、帯状図形１４ｆの長さと、基準指標１４ｓとの差の大きさを把持力の大きさ、または、剥離力の大きさとして表示することにより、把持力の大きさや、剥離力の大きさの視認が行いやすくなる。

【0101】

このように術具センサ１７が測定する力の大きさに基づいて帯状図形１４ｆの色あるいは色彩を変化させることにより、術具１４における力の大きさを把握しやすくなる。そのため、表示されている把持力や、剥離力の大きさを把握しやすくなる。

【0102】

〔第１の実施形態の第１変形例〕
次に、本発明の第１の実施形態の第１変形例に係る医用ロボットシステムについて図８および図９を参照しながら説明する。本変形例の医用ロボットシステムの基本構成は、第１の実施形態と同様であるが、第１の実施形態とは、内視鏡ユニットが設けられていない点が異なっている。よって、本変形例においては、図８および図９を用いて力覚の表示に関連するものについて説明し、その他の説明を省略する。

【0103】

本変形例の医用ロボットシステム１０１には、図８に示すように、スレーブユニット１０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）１５０と、表示装置６０と、が主に設けられている。

【0104】

制御装置１５０は、スレーブユニット１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。

【0105】

制御装置１５０は、図８に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部１５３、および、出力部５４として機能させるものである。

【0106】

画像生成部１５３は、表示装置６０に表示される映像や画像の情報である画像情報を生成するものである。具体的には、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて画像情報を生成するものである。第１の実施形態の画像生成部５３とは、内視鏡ユニット２０から入力される映像や画像の信号に基づく画像情報を生成しない点が異なる。

【0107】

次に、上記の構成からなる医用ロボットシステム１０１における制御について説明する。なお、制御装置１５０における力覚の表示に関する制御については第１の実施形態と同様であるため、その説明を省略する。

【0108】

次に画像生成部１５３において生成される画像情報について説明する。具体的には、表示装置６０における表示の態様について説明する。図９は、本変形例の画像生成部１５３により生成された画像信号に基づいて、表示装置６０が表示する態様を説明する模式図である。

【0109】

画像生成部１５３は、図９に示すように、表示装置６０における表示面を左右に分割した左側に第１力覚表示部（第２表示領域）１６２を設定し、右側に第２力覚表示部（第２表示領域）１６３を設定する。言い換えると、第１の実施形態と比較すると、表示装置６０の表示面に内視鏡画像表示部６１が設定されていない点が異なる。

【0110】

なお、本変形例では、表示面を左右に分割する例に適用して説明したが、上下に分割してもよく、分割する態様を限定するものではない。また、本変形例では第１力覚表示部１６２の表示面積と、第２力覚表示部１６３の表示面積が等しい例に適用して説明するが、第１力覚表示部１６２の表示面積が第２力覚表示部１６３の表示面積よりも小さくてもよいし、大きくてもよい。

【0111】

さらに、本変形例では第１力覚表示部１６２および第２力覚表示部１６３が共に同じ矩形状の枠で囲われている例に適用して説明するが、第１力覚表示部１６２および第２力覚表示部１６３の枠が異なる形状であってもよいし、矩形状以外の形状であってもよく、特に限定するものではない。また、第１力覚表示部１６２および第２力覚表示部１６３の枠の色が同じ色であってもよいし、異なる色であってもよい。

【0112】

本変形例の第１力覚表示部１６２および第２力覚表示部１６３における表示態様は、第１の実施形態の第１力覚表示部６２および第２力覚表示部６３における表示態様と同様であるため、その説明を省略する。

【0113】

上記の制御装置１５０によれば、内視鏡ユニット２０が必須の構成ではないため、第１の実施形態の医用ロボットシステム１と比較して、内視鏡ユニット２０を用いない手術にも医用ロボットシステム１０１を用いやすくなる。

【0114】

〔第１の実施形態の第２変形例〕
次に、本発明の第１の実施形態の第２変形例に係る医用ロボットシステムについて図１０および図１１を参照しながら説明する。本変形例の医用ロボットシステムおよび力覚表示装置の基本構成は、第１の実施形態と同様であるが、第１の実施形態とは、設けられている表示装置の数が異なっている。よって、本変形例においては、図１０および図１１を用いて力覚の表示に関連するものについて説明し、その他の説明を省略する。

【0115】

本変形例の医用ロボットシステム２０１には、図１０に示すように、スレーブユニット１０と、内視鏡ユニット２０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）２５０と、第１表示装置（表示部）２６０Ａおよび第２表示装置（表示部）２６０Ｂと、が主に設けられている。

【0116】

制御装置２５０は、スレーブユニット１０の動作等や、発音装置４０における発音を制御するものであり、第１表示装置２６０Ａおよび第２表示装置２６０Ｂに表示される内容や表示される態様を制御するものである。

【0117】

制御装置２５０は、図１０に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部２５３、および、出力部５４として機能させるものである。

【0118】

制御装置２５０は、スレーブユニット１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。

【0119】

画像生成部２５３は、第１表示装置２６０Ａおよび第２表示装置２６０Ｂに表示される映像や画像の情報である画像情報を生成するものである。具体的には、内視鏡ユニット２０から入力される映像や画像の信号に基づいて第１表示装置２６０Ａへ出力する画像情報を生成し、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、第２表示装置２６０Ｂへ出力する画像情報を生成するものである。画像情報の内容については後述する。

【0120】

第１表示装置２６０Ａおよび第２表示装置２６０Ｂは、制御装置２５０から出力された画像情報に基づいて、映像や画像を表示するものである。第１表示装置２６０Ａおよび第２表示装置２６０Ｂは、内視鏡外科手術の術者を含めた手術の関係者に対して表示を行うものである。第１表示装置２６０Ａおよび第２表示装置２６０Ｂとしては、映像や画像を表示する公知の方式や構成を用いることができ、方式や構成を限定するものではない。

【0121】

なお第１表示装置２６０Ａおよび第２表示装置２６０Ｂは、同じ大きさの表示面を有する者であってもよいし、一方が他方よりも大きな表示面を有する者であってもよい。また、映像や画像を表示する方式や構成が同じであってもよいし、異なっていてもよい。

【0122】

次に、上記の構成からなる医用ロボットシステム２０１における制御について説明する。なお、制御装置２５０における力覚の表示に関する制御については第１の実施形態と同様であるため、その説明を省略する。

【0123】

次に画像生成部２５３において生成される画像情報について説明する。具体的には、第１表示装置２６０Ａおよび第２表示装置２６０Ｂにおける表示の態様について説明する。図１１は、本変形例の画像生成部２５３により生成された画像信号に基づいて、第１表示装置２６０Ａおよび第２表示装置２６０Ｂが表示する態様を説明する模式図である。

【0124】

画像生成部２５３は、図１０（ａ）に示すように、第１表示装置２６０Ａにおける表示面に内視鏡画像表示部（第１表示領域）２６１を設定する。また、第２表示装置２６０Ｂを左右に分割した左側に第１力覚表示部（第２表示領域）２６２を設定し、右側に第２力覚表示部（第２表示領域）２６３を設定する。

【0125】

なお本変形例では、第１表示装置２６０Ａに内視鏡画像表示部２６１を設定し、第２表示装置２６０Ｂに第１力覚表示部２６２および第２力覚表示部２６３を設定する例に適用して説明するが、第１表示装置２６０Ａに第１力覚表示部２６２および第２力覚表示部２６３を設定し、第２表示装置２６０Ｂに内視鏡画像表示部２６１を設定してもよい。

【0126】

上記の制御装置２５０によれば、内視鏡画像表示部２６１が設定される表示装置と、第１力覚表示部２６２および第２力覚表示部２６３が設定される表示装置とが異なるため、内視鏡画像の視認性や、力覚表示の視認性を向上させやすい。

【0127】

〔第２の実施形態〕
次に、本発明の第２の実施形態に係る医用ロボットシステムおよび力覚表示装置ついて図１２から図１５を参照しながら説明する。本実施形態の医用ロボットシステムおよび力覚表示装置の基本構成は、第１の実施形態と同様であるが、第１の実施形態とは、スレーブユニットの構成および力覚表示の態様が異なっている。よって、本実施形態においては、図１２から図１５を用いてスレーブユニットの構成および力覚表示の態様について説明し、その他の説明を省略する。

【0128】

本実施形態の医用ロボットシステム３０１には、図１２に示すように、スレーブユニット（スレーブ装置）３１０と、内視鏡ユニット２０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）３５０と、表示装置６０と、が主に設けられている。

【0129】

スレーブユニット３１０は、第１の実施形態のスレーブユニット１０と同様に、内視鏡外科手術に用いられる鉗子などの術具１４を支持するものであり、操作ユニット３０に入力される操作に従って術具１４の位置および姿勢の少なくとも一方を制御するものである。また、術具１４が鉗子である場合には鉗子を開閉駆動するものである。

【0130】

本実施形態では、スレーブユニット３１０が、第１スレーブ装置１０Ａと、および、第２スレーブ装置１０Ｂと、第３スレーブ装置（スレーブ装置）１０Ｃと、を有している例に適用して説明する。

【0131】

本実施形態では、第１スレーブ装置１０Ａ、第２スレーブ装置１０Ｂ、および、第３スレーブ装置１０Ｃがロボットアームである例に適用して説明する。さらに第３スレーブ装置１０Ｃが、第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂと同じ構成を有し、同種の術具１４を支持するものである例に適用して説明する。

【0132】

なお、第３スレーブ装置１０Ｃは、第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂと同様に、術具１４の位置および姿勢の少なくとも一方を制御するもの、または、術具１４としての鉗子の開閉駆動できるものであればよく、アーム状の構成を有していなくてもよい。

【0133】

第３スレーブ装置１０Ｃには、第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂと同様に、カートリッジ１１と、シャフト１２と、関節部１３と、が少なくとも設けられている（図２参照。）。なお、カートリッジ１１、シャフト１２、および、関節部１３において第１スレーブ装置１０Ａ、第２スレーブ装置１０Ｂ、および、第３スレーブ装置１０Ｃのいずれかに設けられたものか区別する必要がない場合には、カートリッジ１１、シャフト１２、および、関節部１３と表記する。

【0134】

第１スレーブ装置１０Ａに設けられたものか、第２スレーブ装置１０Ｂに設けられたものか、第３スレーブ装置１０Ｃに設けられたものか区別する場合には、それぞれ、カートリッジ１１Ａ、シャフト１２Ａおよび関節部１３Ａと、カートリッジ１１Ｂ、シャフト１２Ｂおよび関節部１３Ｂと、カートリッジ１１Ｃ、シャフト１２Ｃおよび関節部１３Ｃと表記する。

【0135】

さらに図１３に示すように、第３スレーブ装置１０Ｃには、第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂと同様に、シャフト１２に加わる外力を測定するシャフトセンサ１５、関節部１３に加わる外力を測定する関節センサ１６、術具１４である鉗子により外部へ加えられる開閉の力を測定する術具センサ１７が設けられている。

【0136】

なお、シャフトセンサ１５、関節センサ１６および術具センサ１７において第３スレーブ装置１０Ｃに設けられたものを区別する場合には、シャフトセンサ１５Ｃ、関節センサ１６Ｃおよび術具センサ１７Ｃと表記する。

【0137】

制御装置３５０は、スレーブユニット３１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。

【0138】

制御装置３５０は、図１２に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部３５３、および、出力部５４として機能させるものである。

【0139】

画像生成部３５３は、表示装置６０に表示される映像や画像の情報である画像情報を生成するものである。具体的には、内視鏡ユニット２０から入力される映像や画像の信号、および、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。画像情報の内容については後述する。

【0140】

次に、上記の構成からなる医用ロボットシステム３０１における制御について説明する。なお、制御装置３５０における力覚の表示に関する制御については第１の実施形態と同様であるため、その説明を省略する。

【0141】

次に画像生成部３５３において生成される画像情報について説明する。具体的には、表示装置６０における表示の態様について説明する。図１４は、本変形例の画像生成部３５３により生成された画像信号に基づいて、表示装置６０が表示する態様を説明する模式図である。

【0142】

画像生成部３５３は、図１４に示すように、表示装置６０における表示面に、左右方向の左側に内視鏡画像表示部（第１表示領域）３６１を設定するとともに、右側に力覚表示部（第２表示領域）３６５を設定する。力覚表示部３６５の内部には、左側から右側に向
かって順に第１力覚表示部（サブ領域）３６２、第２力覚表示部（サブ領域）３６３、および、第３力覚表示部（サブ領域）３６４を設定する。

【0143】

内視鏡画像表示部３６１は、第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４よりも広い面積を有する領域である。画像生成部３５３は、内視鏡ユニット２０から入力された映像または画像の情報を内視鏡画像表示部３６１に表示させる画像情報を生成する。

【0144】

第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４は、力覚表示部３６５の内部に設定される領域である。また、内視鏡画像表示部３６１よりも狭い面積を有する領域である。画像生成部３５３は、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。

【0145】

第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４は、枠により他の領域と区画されるものであり、区画された内部にシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づく表示が行われる。本実施形態の第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４は、同じ矩形状に形成された枠を有している。また、第１力覚表示部３６２および第２力覚表示部３６３は同色の枠を有し、第３力覚表示部３６４は第１力覚表示部３６２および第２力覚表示部３６３と異なる色の枠を有している例に適用して説明する。第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様については後述する。

【0146】

本実施形態では、第１力覚表示部３６２は、第１スレーブ装置１０Ａに対応するシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて表示が行われる領域であり、第２力覚表示部３６３は、第２スレーブ装置１０Ｂに対応するシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて表示が行われる領域であり、第３力覚表示部３６４は、第３スレーブ装置１０Ｃに対応するシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて表示が行われる領域である例に適用して説明する。

【0147】

次に第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様について説明する。なお、第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様は同じであるため、代表して第１力覚表示部３６２における表示態様について説明し、第２力覚表示部３６３および第３力覚表示部３６４における表示態様の説明は省略する。

【0148】

本実施形態では第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の区別を容易にするために、第１力覚表示部３６２にＬｅｆｔ Ａｒｍ、第２力覚表示部３６３にＲｉｇｈｔ Ａｒｍ、第３力覚表示部３６４にＴｈｉｒｄ Ａｒｍとの名称が表示される例に適用して説明する。

【0149】

第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の表示態様は、図１５に示す通りである。第１力覚表示部３６２には、第１スレーブ装置１０Ａのシャフト１２、関節部１３および術具１４の３次元モデルが表示される。つまり、３次元モデルのシャフト１２ｍ、３次元モデルの関節部１３ｍおよび３次元モデルの術具１４ｍが表示される。３次元モデルは、実際のシャフト１２の姿勢や、関節部１３の屈曲状態が反映して表示されるものである。

【0150】

第２力覚表示部３６３および第３力覚表示部３６４にも同様に、それぞれ第２スレーブ
装置１０Ｂおよび第３スレーブ装置１０Ｃのシャフト１２、関節部１３および術具１４の３次元モデルが表示される。

【0151】

なお、３次元モデルにおける術具１４ｍの形状は、入力部５１を介して入力される術具１４の種類を表す種類情報に基づいて決められる。制御装置３５０には、術具１４の種類を表す種類情報と、表示される３次元モデルにおける術具１４ｍの形状と、が対応付けして記憶されている。画像生成部３５３は、入力された種類情報に対応付けされた術具１４ｍの形状の情報を取得し、３次元モデルを表示する画像情報を生成する。

【0152】

なお、入力部５１を介して入力される種類情報は、医用ロボットシステム３０１のセッティングを行う作業者や、内視鏡外科手術を行う術者などが入力する情報であってもよいし、取付けられた術具１４の種類を検知するセンサから出力される検知信号であってもよい。

【0153】

３次元モデルにおけるシャフト１２ｍに隣接する位置には、シャフトセンサ１５から入力される信号に基づいて力の大きさを表す棒グラフ３１５ｆが表示される。本実施形態では、棒グラフ３１５ｆを表示する位置にＦｏｒｃｅ（Ｓｈａｆｔ）と表示され、かつ、棒グラフ３１５ｆの基準線（ｂａｓｅ）が表示される例に適用して説明する。

【0154】

また、３次元モデルにおける関節部１３ｍに隣接する位置には、関節センサ１６から入力される信号に基づいて力の大きさを表す棒グラフ３１６ｆが表示される。本実施形態では、棒グラフ３１６ｆを表示する位置にＦｏｒｃｅ（Ｗｒｉｓｔ）と表示され、かつ、棒グラフ３１６ｆの基準線（ｂａｓｅ）が表示される例に適用して説明する。

【0155】

本実施形態では、棒グラフ３１５ｆおよび棒グラフ３１６ｆが横方向へ延びるグラフであって、棒グラフ３１５ｆおよび棒グラフ３１６ｆの長さが力の大きさに対応する例に適用して説明する。また、力の大きさに応じて棒グラフ３１５ｆおよび棒グラフ３１６ｆの色が変化する。例えば、力が大きくなるに伴い、緑、黄および赤に変化する。

【0156】

３次元モデルにおける術具１４に隣接する位置には、術具センサ１７から入力される信号に基づいて、術具１４である鉗子が閉じる力の大きさ、または、開く力の大きさを示す扇状の図形３１４ｆが表示される。

【0157】

本実施形態では、半円形の枠の中に扇状図形３１４ｆが表示される。半円形の枠は、水平方向に直線状に延びる枠と、上方向に凸な円弧状の枠とから構成されている。また、水平方向に延びる枠の中央から上方へ延びる基準線（ｂａｓｅ）が設けられている。

【0158】

本実施形態では、術具１４が閉じる力は、基準線（ｂａｓｅ）から左側に扇状図形３１４ｆを表示する把持表示態様で表現される。また、術具１４である鉗子が開く力は、基準線（ｂａｓｅ）から右側に扇状図形３１４ｆを表示する剥離表示態様で表現される。なお、術具１４が閉じる力は、基準線（ｂａｓｅ）から右側に扇状図形３１４ｆを表示して表現してもよいし、術具１４である鉗子が開く力は、基準線（ｂａｓｅ）から左側に扇状図形３１４ｆを表示して表現してもよい。

【0159】

力の大きさは、扇状図形３１４ｆの面積により表現される。言い換えると、基準線（ｂａｓｅ）からの開き角度の大きさにより表現される。例えば、力が大きくなると扇状図形３１４ｆの面積が大きくなり、力が小さくなると扇状図形３１４ｆの面積が小さくなる。

【0160】

または、力の大きさに応じて扇状図形３１４ｆの色を変化させてもよい。例えば、力が大きくなるに伴い、緑、黄および赤に変化する。術具センサ１７が力を測定していない場
合には、半円形の枠および基準線（ｂａｓｅ）のみが表示され、扇状図形３１４ｆは表示されない。

【0161】

上記の制御装置３５０によれば、第１スレーブ装置１０Ａ、第２スレーブ装置１０Ｂ、および、第３スレーブ装置１０Ｃのそれぞれに対応して設けられた第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の内側に、当該スレーブ装置で測定された外力を表示することにより、複数のスレーブ装置が設けられている場合であっても、表示されている外力の情報が、どのスレーブ装置で測定された外力の情報か把握しやすくなる。

【0162】

第１スレーブ装置１０Ａ、第２スレーブ装置１０Ｂ、および、第３スレーブ装置１０Ｃのそれぞれに対応して第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の形状、および、少なくとも一部の色彩を異ならせることにより、表示されている外力の情報が、どのスレーブ装置で測定された外力の情報か把握しやすくなる。

【0163】

第１スレーブ装置１０Ａ、第２スレーブ装置１０Ｂ、および、第３スレーブ装置１０Ｃのそれぞれに把持されている術具１４の形状を表す画像を、対応する第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４に表示することにより、表示されている外力の情報が、どの術具１４を把持しているスレーブ装置で測定された外力の情報か把握しやすくなる。

【0164】

〔第２の実施形態の第１変形例〕
次に、本発明の第２の実施形態の第１変形例に係る医用ロボットシステムについて図１６および図１７を参照しながら説明する。本変形例の医用ロボットシステムおよび力覚表示装置の基本構成は、第２の実施形態と同様であるが、第２の実施形態とは、力覚表示部における表示の態様が異なっている。よって、本変形例においては、図１６および図１７を用いて力覚表示部における表示の態様について説明し、その他の説明を省略する。

【0165】

本実施形態の医用ロボットシステム４０１には、図１６に示すように、スレーブユニット３１０と、内視鏡ユニット２０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）４５０と、表示装置６０と、が主に設けられている。

【0166】

制御装置４５０は、スレーブユニット３１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。

【0167】

制御装置４５０は、図１６に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部４５３、および、出力部５４として機能させるものである。

【0168】

画像生成部４５３は、表示装置６０に表示される映像や画像の情報である画像情報を生成するものである。具体的には、内視鏡ユニット２０から入力される映像や画像の信号、および、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。画像情報の内容については後述する。

【0169】

次に、上記の構成からなる医用ロボットシステム４０１における制御について説明する。なお、制御装置４５０における力覚の表示に関する制御については第１の実施形態と同様であるため、その説明を省略する。また、表示装置６０における表示の態様は第２の実
施形態と同様であるため、その説明を省略する。

【0170】

次に第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様について説明する。なお、第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様は同じであるため、代表して第１力覚表示部３６２における表示態様について説明し、第２力覚表示部３６３および第３力覚表示部３６４における表示態様の説明は省略する。

【0171】

第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の表示態様は、図１７に示す通りである。第１力覚表示部３６２には、第１スレーブ装置１０Ａのシャフト１２、関節部１３および術具１４の３次元モデルが表示される。つまり、３次元モデルのシャフト１２ｍ、３次元モデルの関節部１３ｍおよび３次元モデルの術具１４ｍが表示される。３次元モデルは、実際のシャフト１２の姿勢や、関節部１３の屈曲状態が反映して表示されるものである。

【0172】

第２力覚表示部３６３および第３力覚表示部３６４にも同様に、それぞれ第２スレーブ装置１０Ｂおよび第３スレーブ装置１０Ｃのシャフト１２、関節部１３および術具１４の３次元モデルが表示される。

【0173】

３次元モデルにおけるシャフト１２ｍには、シャフトセンサ１５から入力される信号に基づいて力の大きさ、および、力の方向を表す先端が円錐形状を有する円柱グラフ４１５ｆが表示される。

【0174】

また、３次元モデルにおける関節部１３ｍには、関節センサ１６から入力される信号に基づいて力の大きさ、および、力の方向を表す先端が円錐形状を有する円柱グラフ４１６ｆが表示される。

【0175】

本実施形態では、円柱グラフ４１５ｆおよび円柱グラフ４１６ｆの長さが力の大きさに対応し、円柱グラフ４１５ｆおよび円柱グラフ４１６ｆの延びる方向が力の方向に対応する例に適用して説明する。また、力の大きさに応じて円柱グラフ４１５ｆおよび円柱グラフ４１６ｆの色が変化してもよい。例えば、力が大きくなるに伴い、緑、黄および赤に変化してもよい。

【0176】

３次元モデルにおける術具１４に隣接する位置には、術具センサ１７から入力される信号に基づいて、術具１４である鉗子が閉じる力の大きさ、または、開く力の大きさを示す扇状の図形４１４ｆが表示される。

【0177】

本実施形態では、術具１４が閉じる力は、１つの扇状図形４１４ｆを表示する把持表示態様で表現される。また、術具１４である鉗子が開く力は、２つに分裂した扇状図形４１４ｆを表示する剥離表示態様で表現される。

【0178】

さらに、１つの扇状図形４１４ｆを表示する場合には基準線を含んで扇状図形４１４ｆを表示し、２つの場合には、基準線を間に挟んで間隔をあけて扇状図形４１４ｆを表示してもよい。

【0179】

力の大きさは、扇状図形４１４ｆの面積により表現される。例えば、力が大きくなると扇状図形４１４ｆの面積が大きくなり、力が小さくなると扇状図形４１４ｆの面積が小さくなる。

【0180】

または、力の大きさに応じて扇状図形４１４ｆの色を変化させてもよい。例えば、力が
大きくなるに伴い、緑、黄および赤に変化する。術具センサ１７が力を測定していない場合には、扇状図形４１４ｆは表示されない。

【0181】

上記の制御装置４５０によれば、扇状図形４１４ｆを１つにするか２つにするかにより、把持力に関する情報なのか、剥離力に関する情報なのかを表示され、情報の視認が行いやすくなる。また、扇状図形４１４ｆの面積が把持力の大きさ、または、剥離力の大きさとして表示することにより、把持力の大きさや、剥離力の大きさの視認が行いやすい。

【0182】

さらに、１つの扇状図形４１４ｆを表示する場合には基準線を含んで扇状図形４１４ｆを表示し、２つの場合には、基準線を間に挟んで間隔をあけて扇状図形４１４ｆを表示することにより、更に、情報の視認が行いやすくなる。

【0183】

〔第２の実施形態の第２変形例〕
次に、本発明の第２の実施形態の第２変形例に係る医用ロボットシステムについて図１８および図１９を参照しながら説明する。本変形例の医用ロボットシステムおよび力覚表示装置の基本構成は、第２の実施形態と同様であるが、第２の実施形態とは、力覚表示部における表示の態様が異なっている。よって、本変形例においては、図１８および図１９を用いて力覚表示部における表示の態様について説明し、その他の説明を省略する。

【0184】

本実施形態の医用ロボットシステム５０１には、図１８に示すように、スレーブユニット３１０と、内視鏡ユニット２０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）５５０と、表示装置６０と、が主に設けられている。

【0185】

制御装置５５０は、スレーブユニット３１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。

【0186】

制御装置５５０は、図１８に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部５５３、および、出力部５４として機能させるものである。

【0187】

画像生成部５５３は、表示装置６０に表示される映像や画像の情報である画像情報を生成するものである。具体的には、内視鏡ユニット２０から入力される映像や画像の信号、および、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。画像情報の内容については後述する。

【0188】

次に、上記の構成からなる医用ロボットシステム５０１における制御について説明する。なお、制御装置５５０における力覚の表示に関する制御については第１の実施形態と同様であるため、その説明を省略する。また、表示装置６０における表示の態様は第２の実施形態と同様であるため、その説明を省略する。

【0189】

次に第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様について説明する。なお、第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様は同じであるため、代表して第１力覚表示部３６２における表示態様について説明し、第２力覚表示部３６３および第３力覚表示部３６４における表示態様の説明は省略する。

【0190】

第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の表示態様
は、図１９に示す通りである。第１力覚表示部３６２には、第１スレーブ装置１０Ａのシャフト１２、関節部１３および術具１４の３次元モデルが表示される。つまり、３次元モデルのシャフト１２ｍ、３次元モデルの関節部１３ｍおよび３次元モデルの術具１４ｍが表示される。３次元モデルは、実際のシャフト１２の姿勢や、関節部１３の屈曲状態が反映して表示されるものである。

【0191】

第２力覚表示部３６３および第３力覚表示部３６４にも同様に、それぞれ第２スレーブ装置１０Ｂおよび第３スレーブ装置１０Ｃのシャフト１２、関節部１３および術具１４の３次元モデルが表示される。

【0192】

３次元モデルにおけるシャフト１２ｍには、シャフトセンサ１５から入力される信号に基づいて力の大きさ、および、力の方向を表す円環状のグラフ５１５ｆが表示される。

【0193】

また、３次元モデルにおける関節部１３ｍには、関節センサ１６から入力される信号に基づいて力の大きさ、および、力の方向を表す円環状のグラフ５１６ｆが表示される。本実施形態では、円環状グラフ５１５ｆおよび円環状のグラフ５１６ｆは、一部が切り欠いた形状である例に適用して説明するが、切欠きがない形状であってもよい。

【0194】

また本実施形態では、円環状グラフ５１５ｆおよび円環状のグラフ５１６ｆに表示される色が力の大きさに対応するとともに、力が働く方向に対応する例に適用して説明する。具体的には、円環状グラフ５１５ｆおよび円環状のグラフ５１６ｆのうち、力が働く方向に対応する領域の色を変化させることにより、力が働く方向が表示される例に適用して説明する。さらに、力が大きくなるに伴い、力が働く方向に対応する領域の色を緑、黄および赤に変化する例に適用して説明する。

【0195】

３次元モデルにおける術具１４に隣接する位置には、術具センサ１７から入力される信号に基づいて、術具１４である鉗子が閉じる力の大きさ、または、開く力の大きさを示す扇状の図形５１４ｆが表示される。

【0196】

本実施形態では、術具１４が閉じる力は、扇状図形５１４ｆを赤色で表示する把持表示態様で表現される。また、術具１４である鉗子が開く力は、扇状図形５１４ｆを青色で表示する剥離表示態様で表現される。

【0197】

力の大きさは、扇状図形５１４ｆの面積により表現される。例えば、力が大きくなると扇状図形５１４ｆの面積が大きくなり、力が小さくなると扇状図形５１４ｆの面積が小さくなる。

【0198】

または、力の大きさに応じて扇状図形５１４ｆの色の濃淡を変化させてもよい。例えば、力が大きくなるに伴い濃い色に変化し、力が小さくなるに伴い薄い色に変化する例に適用して説明する。術具センサ１７が力を測定していない場合には、扇状図形５１４ｆは表示されない。

【0199】

上記の制御装置５５０によれば、扇状図形５１４ｆの色あるいは色彩を異ならせて表示を行うことにより、情報の視認が行いやすくなる。例えば、把持表示態様や、剥離表示態様により表示されている扇状図形５１４ｆを、表示される色あるいは色彩により確認することが可能となる。

【0200】

扇状図形５１４ｆにおける力の大きさに基づいて表示の色あるいは色彩の濃淡を変化させることにより、扇状図形５１４ｆにおける力の大きさを把握しやすくなる。そのため、表示されている把持力や、剥離力の大きさを把握しやすくなる。

【0201】

〔第２の実施形態の第３変形例〕
次に、本発明の第２の実施形態の第３変形例に係る医用ロボットシステムについて図２０および図２１を参照しながら説明する。本変形例の医用ロボットシステムおよび力覚表示装置の基本構成は、第２の実施形態と同様であるが、第２の実施形態とは、力覚表示部における表示の態様が異なっている。よって、本変形例においては、図２０および図２１を用いて力覚表示部における表示の態様について説明し、その他の説明を省略する。

【0202】

本実施形態の医用ロボットシステム６０１には、図２０に示すように、スレーブユニット３１０と、内視鏡ユニット２０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）６５０と、表示装置６０と、が主に設けられている。

【0203】

制御装置６５０は、スレーブユニット３１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。

【0204】

制御装置６５０は、図２０に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部６５３、および、出力部５４として機能させるものである。

【0205】

画像生成部６５３は、表示装置６０に表示される映像や画像の情報である画像情報を生成するものである。具体的には、内視鏡ユニット２０から入力される映像や画像の信号、および、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。画像情報の内容については後述する。

【0206】

次に、上記の構成からなる医用ロボットシステム６０１における制御について説明する。なお、制御装置６５０における力覚の表示に関する制御については第１の実施形態と同様であるため、その説明を省略する。また、表示装置６０における表示の態様は第２の実施形態と同様であるため、その説明を省略する。

【0207】

次に第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様について説明する。なお、第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様は同じであるため、代表して第１力覚表示部３６２における表示態様について説明し、第２力覚表示部３６３および第３力覚表示部３６４における表示態様の説明は省略する。

【0208】

第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の表示態様は、図２１に示す通りである。第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の下段には、シャフトセンサ１５から入力される信号に基づいて力の大きさを表す円図形６１５ｆが表示される。本実施形態では、円図形６１５ｆを表示する位置にＦｏｒｃｅ（Ｓｈａｆｔ）と表示される例に適用して説明する。

【0209】

第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の中段には、関節センサ１６から入力される信号に基づいて力の大きさを表す円図形６１６ｆが表示される。本実施形態では、円図形６１６ｆを表示する位置にＦｏｒｃｅ（Ｗｒｉｓｔ）と表示される例に適用して説明する。

【0210】

第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の上段には
、術具センサ１７から入力される信号に基づいて力の大きさを表す円図形６１４ｆが表示される。本実施形態では、円図形６１４ｆを表示する位置にＧｒｉｐと表示される例に適用して説明する。

【0211】

本実施形態では、力の大きさに応じて円図形６１５ｆ、円図形６１６ｆおよび円図形６１４ｆの色が変化する。例えば、力が大きくなるに伴い、緑、黄および赤（または橙）に変化する。

【0212】

上記の制御装置６５０によれば、外力の値の大きさを、色を用いて表現することにより、数値で外力の値の大きさを表現する場合と比較して、外力の値の大きさを直感的に把握しやすくなる。

【0213】

〔第２の実施形態の第４変形例〕
次に、本発明の第２の実施形態の第４変形例に係る医用ロボットシステムについて図２２および図２３を参照しながら説明する。本変形例の医用ロボットシステムおよび力覚表示装置の基本構成は、第２の実施形態と同様であるが、第２の実施形態とは、力覚表示部における表示の態様が異なっている。よって、本変形例においては、図２２および図２３を用いて力覚表示部における表示の態様について説明し、その他の説明を省略する。

【0214】

本実施形態の医用ロボットシステム７０１には、図２２に示すように、スレーブユニット３１０と、内視鏡ユニット２０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）７５０と、表示装置６０と、が主に設けられている。

【0215】

制御装置７５０は、スレーブユニット３１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。

【0216】

制御装置７５０は、図２２に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部７５３、および、出力部５４として機能させるものである。

【0217】

画像生成部７５３は、表示装置６０に表示される映像や画像の情報である画像情報を生成するものである。具体的には、内視鏡ユニット２０から入力される映像や画像の信号、および、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。画像情報の内容については後述する。

【0218】

次に、上記の構成からなる医用ロボットシステム７０１における制御について説明する。なお、制御装置７５０における力覚の表示に関する制御については第１の実施形態と同様であるため、その説明を省略する。また、表示装置６０における表示の態様は第２の実施形態と同様であるため、その説明を省略する。

【0219】

次に第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様について説明する。なお、第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様は同じであるため、代表して第１力覚表示部３６２における表示態様について説明し、第２力覚表示部３６３および第３力覚表示部３６４における表示態様の説明は省略する。

【0220】

第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の表示態様
は、図２３に示す通りである。第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の下段には、シャフトセンサ１５から入力される信号に基づいて力の大きさを表す円グラフ７１５ｆが表示される。本実施形態では、円グラフ７１５ｆを表示する位置にＦｏｒｃｅ（Ｓｈａｆｔ）と表示される例に適用して説明する。

【0221】

第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の中段には、関節センサ１６から入力される信号に基づいて力の大きさを表す円グラフ７１６ｆが表示される。本実施形態では、円グラフ７１６ｆを表示する位置にＦｏｒｃｅ（Ｗｒｉｓｔ）と表示される例に適用して説明する。

【0222】

第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の上段には、術具センサ１７から入力される信号に基づいて力の大きさを表す円グラフ７１４ｆが表示される。本実施形態では、円グラフ７１４ｆを表示する位置にＧｒｉｐと表示される例に適用して説明する。

【0223】

本実施形態では、力の大きさに応じて円グラフ７１５ｆ、円グラフ７１６ｆおよび円グラフ７１４ｆの面積が変化すると共に色が変化する。例えば、力が大きくなるに伴い、円グラフの面積が大きくなると共に、緑、黄および赤（または橙）に変化する。

【0224】

上記の制御装置７５０によれば、外力の値の大きさを色、形状、及び面積を用いて表現することにより、数値で外力の値の大きさを表現する場合と比較して、外力の値の大きさを直感的に把握しやすくなる。

【0225】

なお、本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。例えば、本発明を上記の実施形態や変形例に適用したものに限られることなく、これらの実施形態や変形例を適宜組み合わせた実施形態に適用してもよく、特に限定するものではない。

【符号の説明】

【0226】

１，１０１，２０１，３０１，４０１，５０１，６０１，７０１…医用ロボットシステム、 １０，３１０…スレーブユニット（スレーブ装置）、 １４…術具、 １０Ａ…第１スレーブ装置（スレーブ装置）、 １０Ｂ…第２スレーブ装置（スレーブ装置）、 １０Ｃ…第３スレーブ装置（スレーブ装置）、 １３…関節部、 ５０，１５０，２５０，３５０，４５０，５５０，６５０，７５０…制御装置（力覚表示装置）、 ５１…入力部、 ５３，１５３，２５３，３５３，４５３，５５３，６５３，７５３…画像生成部、 ５４…出力部、 ６０…表示装置（表示部）、 ６１，３６１…内視鏡画像表示部（第１表示領域）、 ６２，１６２…第１力覚表示部（第２表示領域）、 ６３，１６３…第２力覚表示部（第２表示領域）、 ２６０Ａ…第１表示装置（表示部）、 ２６０Ｂ…第２表示装置（表示部）、 ２６１…内視鏡画像表示部（第１表示領域）、 ２６２…第１力覚表示部（第２表示領域）、 ２６３…第２力覚表示部（第２表示領域）、 ３６２…第１力覚表示部（サブ領域）、 ３６３…第２力覚表示部（サブ領域）、 ３６４…第３力覚表示部（サブ領域）、 ３６５…力覚表示部（第２表示領域）、 Ｓ１２，Ｓ１５，Ｓ１８…入力ステップ、 Ｓ１４，Ｓ１７，Ｓ２０…画像生成ステップ、出力ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】