特開 2024-45418 ロボットシステム及び制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024045418

(43)【公開日】2024-04-02

(54)【発明の名称】ロボットシステム及び制御方法

(51)【国際特許分類】

   A61B 34/35 20160101AFI20240326BHJP

【ＦＩ】

A61B34/35

【審査請求】有

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2024015538

(22)【出願日】2024-02-05

(62)【分割の表示】P 2019202762の分割

【原出願日】2019-11-07

(71)【出願人】

【識別番号】000000974

【氏名又は名称】川崎重工業株式会社

(74)【代理人】

【識別番号】110000556

【氏名又は名称】弁理士法人有古特許事務所

(72)【発明者】

【氏名】橋本 康彦

(57)【要約】

【課題】ロボットを使用した効率的な手術を可能にする手術システム及び制御方法を提供する。
【解決手段】手術システムは、手術器具が設けられる器具マニピュレータを有するロボットと、前記ロボットを制御する制御装置と、指令の入力を受け付け前記制御装置に出力する操作入力装置とを備え、前記制御装置は、前記ロボットに自動で手術動作をさせるための自動動作指令を生成し、前記自動動作指令に従って前記ロボットの手術動作を制御する動作処理部を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

手術器具が設けられる器具マニピュレータを有するロボットと、
前記ロボットを制御する制御装置と、
指令の入力を受け付け前記制御装置に出力する操作入力装置とを備え、
前記制御装置は、前記ロボットに自動で手術動作をさせるための自動動作指令を生成し、前記自動動作指令に従って前記ロボットの手術動作を制御する動作処理部を含む
手術システム。

【請求項2】

前記制御装置は、前記ロボットに自動で所定の手術動作をさせるための情報である自動運転情報を記憶する記憶部をさらに含み、
前記動作処理部は、前記自動運転情報に従って前記自動動作指令を生成する
請求項１に記載の手術システム。

【請求項3】

前記動作処理部は、
前記自動動作指令に従って自動で手術動作をしている前記ロボットの動作を修正するための操作情報である修正操作情報を、前記操作入力装置から受け付け、前記自動動作指令に従った動作から修正された動作である修正動作を行うように前記ロボットを制御し、
前記ロボットが前記修正動作を行うための情報を前記自動運転情報として前記記憶部に記憶させる
請求項２に記載の手術システム。

【請求項4】

前記動作処理部は、前記記憶部に記憶された最新の前記自動運転情報を用いて生成された前記自動動作指令に従って前記ロボットの手術動作を制御する
請求項３に記載の手術システム。

【請求項5】

前記記憶部には複数の前記自動運転情報が記憶されており、
前記動作処理部は、前記記憶部に記憶された前記複数の自動運転情報の中から、前記自動動作指令の生成に用いる前記自動運転情報を決定する
請求項２～４のいずれか一項に記載の手術システム。

【請求項6】

前記記憶部には複数の前記自動運転情報が記憶されており、
前記動作処理部は、前記記憶部に記憶された前記複数の自動運転情報を用いて、新たな自動運転情報を生成する
請求項２～５のいずれか一項に記載の手術システム。

【請求項7】

前記制御装置は、
第１機械学習モデルと、
前記ロボットの動作情報と、前記ロボットの手動動作又は前記ロボットの自動動作に対して行われた修正動作を示す第１情報とを記憶する記憶部とをさらに含み、
前記第１機械学習モデルは、前記動作情報と、前記動作情報に対応する前記第１情報とを用いて機械学習し、
学習後の前記第１機械学習モデルは、前記動作情報を入力データとし且つ前記動作情報に対応する対応動作指令を出力データとし、
前記動作処理部は、前記第１機械学習モデルの前記対応動作指令に基づき前記自動動作指令を生成する
請求項１～６のいずれか一項に記載の手術システム。

【請求項8】

前記制御装置は、
第２機械学習モデルと、
前記ロボットの手術動作での処理の対象部分の画像データと、前記画像データの前記対象部分に対する前記ロボットの動作を示す第２情報とを記憶する記憶部とをさらに含み、
前記第２機械学習モデルは、前記対象部分の画像データと、前記画像データの前記対象部分に対する前記第２情報とを用いて機械学習し、
学習後の前記第２機械学習モデルは、前記画像データを入力データとし且つ前記画像データに対応する対応動作指令を出力データとし、
前記動作処理部は、前記第２機械学習モデルの前記対応動作指令に基づき前記自動動作指令を生成する
請求項１～７のいずれか一項に記載の手術システム。

【請求項9】

内視鏡カメラが設けられる内視鏡マニピュレータを前記ロボットにさらに備え、
前記第２機械学習モデルは、前記内視鏡カメラによって撮像された画像データを、前記対象部分の画像データとして用いる
請求項８に記載の手術システム。

【請求項10】

前記動作処理部は、前記ロボットが自動で手術動作をする起点及び終点を指定するための指令の入力を、前記操作入力装置から受け付け、前記起点と前記終点との間の部位を前記ロボットに自動で手術動作をさせる
請求項１～９のいずれか一項に記載の手術システム。

【請求項11】

手術対象領域を撮像するカメラをさらに備え、
前記制御装置は、
前記カメラによって撮像された前記手術対象領域の画像を処理することで、前記手術対象領域を特定する画像処理部と、
前記画像処理部によって特定された前記手術対象領域における手術動作の起点及び終点を決定する決定部とを含み、
前記動作処理部は、前記起点と前記終点との間の部位を前記ロボットに自動で手術動作をさせる
請求項１～１０のいずれか一項に記載の手術システム。

【請求項12】

前記動作処理部は、
前記ロボットを手動操作により手術動作をさせるための操作情報である手動操作情報を、前記操作入力装置から受け付け、前記手動操作情報に従って前記ロボットを動作させるための手動動作指令を生成し、前記手動操作指令に従って前記ロボットの手術動作を制御し、
前記自動動作指令に従った前記ロボットの制御の前及び後の少なくとも一方において、前記手動操作情報を受け付け、前記手動動作指令に従った前記ロボットの制御を行う
請求項１～１１のいずれか一項に記載の手術システム。

【請求項13】

複数の前記操作入力装置を備え、
前記動作処理部は、前記複数の操作入力装置のうちの選択された１つの前記操作入力装置から、前記ロボットを手動操作により手術動作をさせるための操作情報である手動操作情報を受け付け、前記手動操作情報に従って前記ロボットを動作させるための手動動作指令を生成し、前記手動操作指令に従って前記ロボットの手術動作を制御する
請求項１～１２のいずれか一項に記載の手術システム。

【請求項14】

複数の前記ロボットと、
複数の前記操作入力装置とを備え、
前記制御装置は、
前記複数のロボットの１つと前記複数の操作入力装置の１つとを選択して接続する接続制御部と、
手術中における前記ロボットと前記操作入力装置との組み合わせと、前記組み合わせの実行順序とを記憶する記憶部とをさらに含み、
前記接続制御部は、前記記憶部に記憶された前記組み合わせ及び前記組み合わせの実行順序に従って、前記複数のロボットの選択された１つと前記複数の操作入力装置の選択された１つとを接続する
請求項１～１３のいずれか一項に記載の手術システム。

【請求項15】

複数の前記ロボットと、
複数の前記操作入力装置とを備え、
前記制御装置は、前記複数のロボットの１つと前記複数の操作入力装置の１つとを選択して接続する接続制御部をさらに含み、
前記接続制御部は、手術中における前記ロボットと前記操作入力装置との組み合わせと、前記組み合わせの実行順序とを指定するための指令の入力を、前記複数の操作入力装置の少なくとも１つから受け付け、前記複数のロボットの選択された１つと前記複数の操作入力装置の選択された１つとを接続する
請求項１～１４のいずれか一項に記載の手術システム。

【請求項16】

手術動作を行うロボットの制御方法であって、
前記ロボットに自動で手術動作をさせるための自動動作指令を生成し、
前記自動動作指令に従って前記ロボットに手術動作をさせる
制御方法。

【請求項17】

記憶部に記憶され且つ前記ロボットに自動で所定の手術動作をさせるための情報である自動運転情報に従って前記自動動作指令を生成する
請求項１６に記載の制御方法。

【請求項18】

前記自動動作指令に従って自動で手術動作をしている前記ロボットの動作を修正するための操作情報である修正操作情報を、操作入力装置から受け付け、
受け付けた前記自動操作情報に基づき、前記自動動作指令に従った動作から修正された動作である修正動作を行うように前記ロボットに動作させ、
前記ロボットが前記修正動作を行うための情報を前記自動運転情報として前記記憶部に記憶させる
請求項１７に記載の制御方法。

【請求項19】

第１機械学習モデルに、前記ロボットの動作情報を入力データとして入力させ、前記ロボットの対応動作指令を出力データとして出力させ、
前記対応動作指令に基づき、前記自動動作指令を生成させ、
前記第１機械学習モデルに、操作入力装置を用いて前記ロボットの手動動作又は前記ロボットの自動動作に対して行われた修正動作を示す第１情報と、前記第１情報に対応する前記動作情報とを用いて機械学習させ、
前記第１機械学習モデルによって出力される前記対応動作指令は、前記ロボットの動作情報に対応する指令である
請求項１６～１８のいずれか一項に記載の制御方法。

【請求項20】

第２機械学習モデルに、前記ロボットの手術動作での処理の対象部分の画像データを入力データとして入力させ、前記ロボットの対応動作指令を出力データとして出力させ、
前記対応動作指令に基づき、前記自動動作指令を生成させ、
前記第２機械学習モデルに、前記対象部分の画像データと、前記画像データの前記対象部分に対する前記ロボットの動作を示す第２情報とを用いて機械学習させ、
前記第２機械学習モデルによって出力される前記対応動作指令は、前記ロボットの動作情報に対応する指令である
請求項１６～１９のいずれか一項に記載の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、手術システム及び制御方法に関する。

【背景技術】

【0002】

従来から、外科手術を支援するためにロボットが用いられている。例えば、特許文献１は、手術器具が器具マニピュレータアームの遠位端に設けられる器具マニピュレータを備える外科手術システムを開示している。この外科手術システムは、外科医の指令を受け付ける操作具が受け付けた手術器具の並進量及び回転量に所定の倍率値を乗算した実並進量及び実回転量に対応して、手術器具を動作させる。並進量の倍率値と回転量の倍率値とは異なる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１８８０３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に示されるように、従来、外科手術を支援するロボットは、外科医等の術者により操作具に入力される操作に対応する動作を行うように構成される。このため、施術結果は、ロボットの術者の施術能力又はロボットを操作する能力に大きく依存する。

【0005】

本開示は、ロボットを使用した効率的な手術を可能にする手術システム及び制御方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本開示の一態様に係る手術システムは、手術器具が設けられる器具マニピュレータを有するロボットと、前記ロボットを制御する制御装置と、指令の入力を受け付け前記制御装置に出力する操作入力装置とを備え、前記制御装置は、前記ロボットに自動で手術動作をさせるための自動動作指令を生成し、前記自動動作指令に従って前記ロボットの手術動作を制御する動作処理部を含む。

【0007】

本開示によれば、ロボットを使用した効率的な手術が可能になる。

【図面の簡単な説明】

【0008】

【図1】実施の形態に係る手術システムの構成の一例を示す図

【図2】実施の形態に係る制御装置の機能的な構成の一例を示すブロック図

【図3】実施の形態に係る手術システムの手動運転モードを実行する動作の一例を示すフローチャート

【図4】実施の形態に係る手術システムの第１自動運転モードを実行する動作の一例を示すフローチャート

【図5】実施の形態に係る手術システムの第２自動運転モードを実行する動作の一例を示すフローチャート

【図6】実施の形態に係る手術システムの第３自動運転モードを実行する動作の一例を示すフローチャート

【図7】実施の形態に係る手術システムの第１自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャート

【図8】実施の形態に係る手術システムの第２自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャート

【図9】実施の形態に係る手術システムの第２自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャート

【図10】実施の形態に係る手術システムの第３自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャート

【図11】実施の形態に係る手術システムの第３自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャート

【発明を実施するための形態】

【0009】

まず、本開示の各態様例を説明する。本開示の一態様に係る手術システムは、手術器具が設けられる器具マニピュレータを有するロボットと、前記ロボットを制御する制御装置と、指令の入力を受け付け前記制御装置に出力する操作入力装置とを備え、前記制御装置は、前記ロボットに自動で手術動作をさせるための自動動作指令を生成し、前記自動動作指令に従って前記ロボットの手術動作を制御する動作処理部を含む。上記態様によると、ロボットの手術動作が自動化されるため、ロボットを使用した効率的な手術が可能になる。

【0010】

本開示の一態様に係る手術システムにおいて、前記制御装置は、前記ロボットに自動で所定の手術動作をさせるための情報である自動運転情報を記憶する記憶部をさらに含み、前記動作処理部は、前記自動運転情報に従って前記自動動作指令を生成してもよい。上記態様によると、予め記憶部に記憶された自動運転情報に従った動作である自動動作をロボットにさせることで、ロボットの手術動作の自動化が可能になる。

【0011】

本開示の一態様に係る手術システムにおいて、前記動作処理部は、前記自動動作指令に従って自動で手術動作をしている前記ロボットの動作を修正するための操作情報である修正操作情報を、前記操作入力装置から受け付け、前記自動動作指令に従った動作から修正された動作である修正動作を行うように前記ロボットを制御し、前記ロボットが前記修正動作を行うための情報を前記自動運転情報として前記記憶部に記憶させてもよい。上記態様によると、術者の操作により、予め記憶部に記憶された自動運転情報に従った自動動作を修正することで、術者の手術技術が反映されたより適切な自動運転情報を生成することができる。よって、手術システムへの術者の技能伝承が可能になる。

【0012】

本開示の一態様に係る手術システムにおいて、前記動作処理部は、前記記憶部に記憶された最新の前記自動運転情報を用いて生成された前記自動動作指令に従って前記ロボットの手術動作を制御してもよい。上記態様によると、術者は、自動運転情報に従ったロボットの自動動作の修正を繰り返していくに従い、術者の目的とする手術動作にロボットの自動動作を近づけることができる。

【0013】

本開示の一態様に係る手術システムにおいて、前記記憶部には複数の前記自動運転情報が記憶されており、前記動作処理部は、前記記憶部に記憶された前記複数の自動運転情報の中から、前記自動動作指令の生成に用いる前記自動運転情報を決定してもよい。上記態様によると、手術動作に対応して適切な自動運転情報が選択され得るため、適切な自動動作をロボットに実行させることができる。

【0014】

本開示の一態様に係る手術システムにおいて、前記記憶部には複数の前記自動運転情報が記憶されており、前記動作処理部は、前記記憶部に記憶された前記複数の自動運転情報を用いて、新たな自動運転情報を生成してもよい。上記態様によると、例えば、複数の自動運転情報の長所を強調し且つ複数の自動運転情報の短所を補った新たな自動運転情報の生成が可能になる。よって、目的とする手術動作の実現により近い自動運転情報の生成が可能になる。

【0015】

本開示の一態様に係る手術システムにおいて、前記制御装置は、第１機械学習モデルと、前記ロボットの動作情報と、前記ロボットの手動動作又は前記ロボットの自動動作に対して行われた修正動作を示す第１情報とを記憶する記憶部とをさらに含み、前記第１機械学習モデルは、前記動作情報と、前記動作情報に対応する前記第１情報とを用いて機械学習し、学習後の前記第１機械学習モデルは、前記動作情報を入力データとし且つ前記動作情報に対応する対応動作指令を出力データとし、前記動作処理部は、前記第１機械学習モデルの前記対応動作指令に基づき前記自動動作指令を生成してもよい。

【0016】

上記態様によると、第１機械学習モデルは、ロボットの動作情報の入力を受けると、当該動作情報のロボットに対する次の自動動作指令を生成するために、対応動作指令を出力する。よって、手術システムは、ロボットの動作情報に基づき、当該動作情報のロボットが次に実行する動作を決定し、ロボットに自動動作させる。第１機械学習モデルの機械学習を進めることによって、第１機械学習モデルの出力データの精度、つまり、ロボットが次に実行する動作の精度が向上する。また、第１情報は、術者によって操作されるロボットの動作を示す。このため、第１機械学習モデルは、第１情報を用いた機械学習を行うことで術者の手術技術を学習し、学習後の第１機械学習モデルは、学習した様々な手術技術に基づく最適な出力データを出力することができる。よって、手術システムへの術者の技能伝承が可能になる。

【0017】

本開示の一態様に係る手術システムにおいて、前記制御装置は、第２機械学習モデルと、前記ロボットの手術動作での処理の対象部分の画像データと、前記画像データの前記対象部分に対する前記ロボットの動作を示す第２情報とを記憶する記憶部とをさらに含み、前記第２機械学習モデルは、前記対象部分の画像データと、前記画像データの前記対象部分に対する前記第２情報とを用いて機械学習し、学習後の前記第２機械学習モデルは、前記画像データを入力データとし且つ前記画像データに対応する対応動作指令を出力データとし、前記動作処理部は、前記第２機械学習モデルの前記対応動作指令に基づき前記自動動作指令を生成してもよい。

【0018】

上記態様によると、第２機械学習モデルは、対象部分の画像データの入力を受けると、当該画像データの対象部分に対するロボットへの次の自動動作指令を生成するために、対応動作指令を出力する。よって、手術システムは、対象部分の画像データに基づき、当該画像データの状態の対象部分に対してロボットが次に実行する動作を決定し、ロボットに自動動作させる。第２機械学習モデルの機械学習を進めることによって、第２機械学習モデルの出力データの精度、つまり、ロボットが次に実行する動作の精度が向上する。また、第２情報は、術者によって操作されるロボットの動作を示す。このため、第２機械学習モデルは、第２情報を用いた機械学習を行うことで術者の手術技術及び画像の識別技術を学習し、学習後の第２機械学習モデルは、学習した様々な手術技術及び画像の識別技術に基づく最適な出力データを出力することができる。よって、手術システムへの術者の技能伝承が可能になる。

【0019】

本開示の一態様に係る手術システムは、内視鏡カメラが設けられる内視鏡マニピュレータを前記ロボットにさらに備え、前記第２機械学習モデルは、前記内視鏡カメラによって撮像された画像データを、前記対象部分の画像データとして用いてもよい。上記態様によると、ロボットの手術動作での処理の対象部分の画像データの取得に、内視鏡カメラを利用することができるため、新たなカメラを設ける必要がない。

【0020】

本開示の一態様に係る手術システムにおいて、前記動作処理部は、前記ロボットが自動で手術動作をする起点及び終点を指定するための指令の入力を、前記操作入力装置から受け付け、前記起点と前記終点との間の部位を前記ロボットに自動で手術動作をさせてもよい。上記態様によると、起点及び終点が術者によって指定されるため、起点及び終点の決定処理が簡易であり、且つ、決定された起点及び終点の位置の精度が高い。

【0021】

本開示の一態様に係る手術システムは、手術対象領域を撮像するカメラをさらに備え、前記制御装置は、前記カメラによって撮像された前記手術対象領域の画像を処理することで、前記手術対象領域を特定する画像処理部と、前記画像処理部によって特定された前記手術対象領域における手術動作の起点及び終点を決定する決定部とを含み、前記動作処理部は、前記起点と前記終点との間の部位を前記ロボットに自動で手術動作をさせてもよい。上記態様によると、起点及び終点の決定の手順の自動化が可能になる。

【0022】

本開示の一態様に係る手術システムにおいて、前記動作処理部は、前記ロボットを手動操作により手術動作をさせるための操作情報である手動操作情報を、前記操作入力装置から受け付け、前記手動操作情報に従って前記ロボットを動作させるための手動動作指令を生成し、前記手動操作指令に従って前記ロボットの手術動作を制御し、前記自動動作指令に従った前記ロボットの制御の前及び後の少なくとも一方において、前記手動操作情報を受け付け、前記手動動作指令に従った前記ロボットの制御を行ってもよい。上記態様によると、１つの手術対象部分に対して、手動操作指令に従ったロボットの動作である手動動作での処置と、ロボットの自動動作での処置とを施すことが可能である。例えば、ロボットの手動動作及び自動動作のそれぞれに適した処置を、手術対象部分に施すことが可能になる。

【0023】

本開示の一態様に係る手術システムは、複数の前記操作入力装置を備え、前記動作処理部は、前記複数の操作入力装置のうちの選択された１つの前記操作入力装置から、前記ロボットを手動操作により手術動作をさせるための操作情報である手動操作情報を受け付け、前記手動操作情報に従って前記ロボットを動作させるための手動動作指令を生成し、前記手動操作指令に従って前記ロボットの手術動作を制御してもよい。上記態様によると、複数の操作入力装置のうちの選択された１つを用いたロボットの手動動作が実行される。

【0024】

本開示の一態様に係る手術システムは、複数の前記ロボットと、複数の前記操作入力装置とを備え、前記制御装置は、前記複数のロボットの１つと前記複数の操作入力装置の１つとを選択して接続する接続制御部と、手術中における前記ロボットと前記操作入力装置との組み合わせと、前記組み合わせの実行順序とを記憶する記憶部とをさらに含み、前記接続制御部は、前記記憶部に記憶された前記組み合わせ及び前記組み合わせの実行順序に従って、前記複数のロボットの選択された１つと前記複数の操作入力装置の選択された１つとを接続してもよい。上記態様によると、１つの手術対象部分に対して、ロボット及び操作入力装置の複数の組み合わせを用い且つ組み合わせの実行順序に従って、手術動作を行うことが可能になる。よって、各組み合わせに当該組み合わせに適した手術動作を自動的に担当させることができ、それにより、適切な手術の実行が可能になる。

【0025】

本開示の一態様に係る手術システムは、複数の前記ロボットと、複数の前記操作入力装置とを備え、前記制御装置は、前記複数のロボットの１つと前記複数の操作入力装置の１つとを選択して接続する接続制御部をさらに含み、前記接続制御部は、手術中における前記ロボットと前記操作入力装置との組み合わせと、前記組み合わせの実行順序とを指定するための指令の入力を、前記複数の操作入力装置の少なくとも１つから受け付け、前記複数のロボットの選択された１つと前記複数の操作入力装置の選択された１つとを接続してもよい。上記態様によると、１つの手術対象部分に対して、ロボット及び操作入力装置の複数の組み合わせを用い且つ組み合わせの実行順序に従って、手術動作を行うことが可能になる。操作入力装置を用いた組み合わせ及び実行順序の決定が可能である。よって、術者によるみ合わせ及び実行順序の決定及び変更が可能になる。

【0026】

本開示の一態様に係る制御方法は、手術動作を行うロボットの制御方法であって、前記ロボットに自動で手術動作をさせるための自動動作指令を生成し、前記自動動作指令に従って前記ロボットに手術動作をさせる。上記態様によると、本開示の一態様に係る手術システムと同様の効果が得られる。

【0027】

本開示の一態様に係る制御方法において、記憶部に記憶され且つ前記ロボットに自動で所定の手術動作をさせるための情報である自動運転情報に従って前記自動動作指令を生成してもよい。

【0028】

本開示の一態様に係る制御方法において、前記自動動作指令に従って自動で手術動作をしている前記ロボットの動作を修正するための操作情報である修正操作情報を、操作入力装置から受け付け、受け付けた前記自動操作情報に基づき、前記自動動作指令に従った動作から修正された動作である修正動作を行うように前記ロボットに動作させ、前記ロボットが前記修正動作を行うための情報を前記自動運転情報として前記記憶部に記憶させてもよい。

【0029】

本開示の一態様に係る制御方法において、第１機械学習モデルに、前記ロボットの動作情報を入力データとして入力させ、前記ロボットの対応動作指令を出力データとして出力させ、前記対応動作指令に基づき、前記自動動作指令を生成させ、前記第１機械学習モデルに、操作入力装置を用いて前記ロボットの手動動作又は前記ロボットの自動動作に対して行われた修正動作を示す第１情報と、前記第１情報に対応する前記動作情報とを用いて機械学習させ、前記第１機械学習モデルによって出力される前記対応動作指令は、前記ロボットの動作情報に対応する指令であってもよい。

【0030】

本開示の一態様に係る制御方法において、第２機械学習モデルに、前記ロボットの手術動作での処理の対象部分の画像データを入力データとして入力させ、前記ロボットの対応動作指令を出力データとして出力させ、前記対応動作指令に基づき、前記自動動作指令を生成させ、前記第２機械学習モデルに、前記対象部分の画像データと、前記画像データの前記対象部分に対する前記ロボットの動作を示す第２情報とを用いて機械学習させ、前記第２機械学習モデルによって出力される前記対応動作指令は、前記ロボットの動作情報に対応する指令であってもよい。

【0031】

以下において、本開示の実施の形態を、図面を参照しつつ説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、添付の図面における各図は、模式的な図であり、必ずしも厳密に図示されたものでない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。また、本明細書及び特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

【0032】

［手術システムの構成］
実施の形態に係る手術システム１００の構成を説明する。図１は、実施の形態に係る手術システム１００の構成の一例を示す図である。図１に示すように、手術システム１００は、ロボット１と、コンソール７と、制御装置３とを備える。制御装置３は、第１制御装置３１及び第２制御装置３２を含む。本実施の形態では、ロボット１は、腹腔鏡下手術を行うロボットであるが、いかなる手術を行うロボットであってもよく、例えば、それぞれに手術器具を備える複数のアームを備える型式等のいかなる型式のロボットであってもよい。

【0033】

本実施の形態では、手術システム１００は、マスタースレーブ方式のロボット１を利用したシステムである。コンソール７はマスター機を構成し、ロボット１はスレーブ機を構成する。手術システム１００では、外科医等の術者Ｓはコンソール７の操作入力装置７１を操作し動作させて操作入力装置７１に指令を入力し、ロボット１は当該指令に対応した動作を行い、手術動作を行うことができる。また、手術システム１００では、ロボット１は、術者Ｓによる操作入力装置７１を用いた操作を受けずに、所定の手術動作を自動で行うこともできる。

【0034】

本実施の形態では、手術システム１００は、ロボット１に「手動運転モード」、「自動運転モード」及び「修正自動運転モード」での手術動作を実行させることができる。「手動運転モード」、「自動運転モード」及び「修正自動運転モード」は、ロボット１に手術動作を教える教示（「ティーチング」とも呼ばれる）動作を含まないものとする。

【0035】

手動運転モードは、操作入力装置７１を介して入力された指令に従って、ロボット１を動作させる運転モードである。例えば、ロボット１は、術者Ｓによって操作入力装置７１に入力される操作である手動操作に従った動作、つまり、当該手動操作をトレースした動作を実行する。ロボット１は、術者Ｓによって手動運転される。

【0036】

自動運転モードは、予め設定されたタスクプログラムに従ってロボット１を動作させる運転モードである。ロボット１は、そのタスクプログラムに従って自動で所定の手術動作を実行する自動運転をする。所定の手術動作の例は、切開、縫合、切削、切除、及び組織片の採取等である。自動運転モードは、ロボット１の自動運転中、操作入力装置７１の操作がロボット１の動作に反映されないという点で、後述する修正自動運転モードと区別される。

【0037】

さらに、自動運転モードは、３つの運転モードを含む。第１自動運転モードは、教示情報等の予め設定された情報である自動運転情報に従って、ロボット１に自動で手術動作をさせる運転モードである。自動運転情報は、修正自動運転モードの実行により、新たな自動運転情報に更新される場合がある。つまり、最新の自動運転情報が生成される。

【0038】

第２自動運転モードは、第１機械学習モデルが出力する指令である対応動作指令に従って、ロボット１に自動で手術動作をさせる運転モードである。第１機械学習モデルは、操作入力装置７１を用いて行われた手動運転でのロボット１の手動動作又はロボット１の自動運転中の動作に対して操作入力装置７１を用いて修正された動作を示す第１情報と、第１情報に対応するロボット１の動作情報とを用いて機械学習する。さらに、学習後の第１機械学習モデルは、ロボット１の動作情報を入力データとし且つ当該動作情報に対応する対応動作指令を出力データとする。

【0039】

第３自動運転モードは、第２機械学習モデルが出力する対応動作指令に従って、ロボット１に自動で手術動作をさせる運転モードである。第２機械学習モデルは、ロボット１の手術動作での処理の対象部分の画像データと、当該画像データの対象部分に対するロボット１の動作情報とを用いて機械学習する。さらに、学習後の第２機械学習モデルは、対象部分の画像データを入力データとし、対応動作指令を出力データとする。

【0040】

修正自動運転モードは、ロボット１が自動で手術動作をしている途中に、操作入力装置７１に入力された操作をロボット１の自動動作に反映させて、自動で行うことになっていた動作を修正する運転モードである。つまり、ロボット１は、操作入力装置７１を介して入力された指令を反映可能な状態で、自動運転する。よって、修正自動運転モードでは、自動で手術動作をしているロボット１の動作を修正することができる。修正自動運転モードは、修正対象の自動運転として、第１自動運転モードの自動運転が用いられるケースと、第２自動運転モードの自動運転が用いられるケースと、第３自動運転モードの自動運転が用いられるケースとを含む。

【0041】

なお、手術システム１００は、上記運転モードの全てを実行できるように構成されてもよく、一部のみを実行できるように構成されてもよい。例えば、後者の場合、手術システム１００は、手動運転モードと、第１～第３自動運転モードの１つと、当該自動運転モードを用いた修正自働運転モードとを実行できるように構成されてもよい。

【0042】

［ロボットの構成］
ロボット１の構成の一例を説明する。なお、ロボット１の構成は、以下に説明する構成に限定されず、手術動作を行うことができる構成であればよい。図１に示すように、ロボット１は、手術システム１００と患者Ｐとのインタフェースを構成する。例えば、ロボット１は、滅菌野である手術室内において患者Ｐが横たわる手術台の傍らに配置される。ロボット１は、ロボット本体２と第１制御装置３１とを備える。ロボット本体２は、複数の手術マニピュレータ２０と、単一のエントリーガイド９と、患者Ｐに対して手術マニピュレータ２０及びエントリーガイド９を位置決めするポジショナ１０とを含む。

【0043】

エントリーガイド９は、患者Ｐの体表に留置されたカニューレ（図示略）に取り付けられる。エントリーガイド９は、複数の手術マニピュレータ２０を案内する部材であり、複数の手術マニピュレータ２０はエントリーガイド９の孔を通る。ポジショナ１０は、水平多関節型マニピュレータ１２と、支持部材１２ｂと、垂直多関節型マニピュレータ１３と、支持フレーム１４とを含む。水平多関節型マニピュレータ１２は台車１１に支持される。支持部材１２ｂは、台車１１を起点とした水平多関節型マニピュレータ１２の遠位端部に設けられる。垂直多関節型マニピュレータ１３は、支持部材１２ｂを介して水平多関節型マニピュレータ１２に支持される。支持フレーム１４は、支持部材１２ｂを起点とした垂直多関節型マニピュレータ１３の遠位端部に設けられる。なお、ポジショナ１０の構成は、上記構成に限定されず、エントリーガイド９を目標位置（姿勢を含む）へ精度よく位置決めできる構成であればよい。

【0044】

支持フレーム１４は、間隔をあけて互いに対向する対向部１４ａ及び１４ｂを含む。エントリーガイド９は対向部１４ｂに配置され支持される。複数の手術マニピュレータ２０を纏めて支持する支持ブロック１５が、対向部１４ａに配置され支持される。複数の手術マニピュレータ２０は対向部１４ａ及び１４ｂの間に位置する。複数の手術マニピュレータ２０は、手術器具（図示略）を有する器具マニピュレータ２０ａ（図２参照）と、内視鏡カメラ（図示略）を有する内視鏡マニピュレータ２０ｂ（図２参照）とを含む。

【0045】

手術器具は、患者Ｐの腹腔における手術部位に挿入され、手術部位における目標組織の所望の処理又は医療機能を実行するために腹腔の外側から駆動可能な実際の被操作部を意味する。例えば、手術器具は、一対のジョウを備える。手術器具は、鉗子、把持器、鋏、ステープラ、針保持器、及び電気メス等の外科器具であってもよい。また、手術器具は、電子外科電極、トランスデューサ、センサ等の電気的に駆動される機器であってもよい。また、手術器具は、吸入、ガス注入、洗浄、処理流体、アクセサリ導入、生検摘出などのための流体を供給するノズルであってもよい。また、例えば、内視鏡カメラの構成は、対物レンズ及びライトガイド等を含む構成であってもよい。

【0046】

［第１制御装置の構成］
第１制御装置３１は、ロボット本体２全体の動作を制御する。例えば、第１制御装置３１は、コンピュータ装置である。図１に示すように、第１制御装置３１は、コンソール７と通信可能に接続されている。第１制御装置３１は、コンソール７が受け付けた指令に応答してロボット本体２を各運転モードで動作させる。第１制御装置３１は、コンソール７で内視鏡カメラの内視鏡画像を表示すること、及び、コンソール７にロボット本体２の動作に対応した動作を行わせること等のために、コンソール７に情報を送信する。

【0047】

第１制御装置３１は、エントリーガイド９を所定の位置及び姿勢に位置決めするように、ポジショナ１０の動作を制御するポジショナ制御機能を有する。ポジショナ１０の水平多関節型マニピュレータ１２及び垂直多関節型マニピュレータ１３は、各関節に駆動装置を備える。各駆動装置は、関節を駆動する電気モータの一例であるサーボモータと、関節の回転量を検出するエンコーダ等の回転センサと、サーボモータの駆動電流を検出する電流センサと、サーボモータの駆動力を関節へ伝達する減速機等の動力伝達機構とを含む（いずれも図示略）。

【0048】

第１制御装置３１は、各器具マニピュレータ２０ａの動作を制御する手術器具制御機能を有する。第１制御装置３１は、手術器具の動作を制御する機能と、手術器具を指令と対応する位置及び姿勢とさせるように器具マニピュレータ２０ａの動作を制御する機能とを有する。各器具マニピュレータ２０ａは複数の関節を含み、各関節に駆動装置を備える。各駆動装置は、関節を駆動する電気モータの一例であるサーボモータと、関節の回転量を検出するエンコーダ等の回転センサと、サーボモータの駆動電流を検出する電流センサと、サーボモータの駆動力を関節へ伝達する減速機等の動力伝達機構とを含む（いずれも図示略）。

【0049】

第１制御装置３１は、内視鏡マニピュレータ２０ｂの動作を制御する内視鏡制御機能を有する。第１制御装置３１は、内視鏡カメラの動作を制御する機能と、内視鏡カメラを指令と対応する位置及び姿勢とさせるように内視鏡マニピュレータ２０ｂの動作を制御する機能とを有する。内視鏡マニピュレータ２０ｂは複数の関節を含み、各関節に駆動装置を備える。各駆動装置は、関節を駆動するサーボモータ等の電気モータと、関節の回転量を検出するエンコーダ等の回転センサと、サーボモータの駆動電流を検出する電流センサと、サーボモータの駆動力を関節へ伝達する減速機等の動力伝達機構とを含む（いずれも図示略）。

【0050】

第１制御装置３１は、プロセッサ及びメモリ等を有する演算器で構成される。演算器は、コンソール７を含む他の装置との情報、データ及び指令等の送受信を行う。演算器は、各種センサからの検出信号の入力及び各制御対象への制御信号の出力を行う。メモリは、揮発性メモリ及び不揮発性メモリなどの半導体メモリ、ハードディスク及びＳＳＤ（Solid State Drive）等の記憶装置で構成される。例えば、メモリは、演算器が実行するプログラム、及び各種固定データ等を記憶する。

【0051】

演算器の機能は、ＣＰＵ（Central Processing Unit）などのプロセッサ、ＲＡＭ（Random Access Memory）などの揮発性メモリ及びＲＯＭ（Read-Only Memory）などの不揮発性メモリ等からなるコンピュータシステム（図示略）により実現されてもよい。演算器の機能の一部又は全部は、ＣＰＵがＲＡＭをワークエリアとして用いてＲＯＭに記録されたプログラムを実行することによって実現されてもよい。なお、演算器の機能の一部又は全部は、上記コンピュータシステムにより実現されてもよく、電子回路又は集積回路等の専用のハードウェア回路により実現されてもよく、上記コンピュータシステム及びハードウェア回路の組み合わせにより実現されてもよい。なお、第１制御装置３１は単一のコンピュータ装置による集中制御により各処理を実行してもよく、複数のコンピュータ装置の協働による分散制御により各処理を実行してもよい。

【0052】

また、第１制御装置３１は、例えば、マイクロコントローラ、ＭＰＵ（Micro Processing Unit）、ＬＳＩ（Large Scale Integration：大規模集積回路）、システムＬＳＩ、ＰＬＣ（Programmable Logic Controller）、論理回路等で構成されてもよい。第１制御装置３１の複数の機能は、個別に１チップ化されることで実現されてもよく、一部又は全てを含むように１チップ化されることで実現されてもよい。また、回路はそれぞれ、汎用的な回路でもよく、専用の回路でもよい。ＬＳＩとして、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ内部の回路セルの接続及び／又は設定を再構成可能なリコンフィギュラブルプロセッサ、又は、特定用途向けに複数の機能の回路が１つにまとめられたＡＳＩＣ（Application Specific Integrated Circuit）等が利用されてもよい。

【0053】

［コンソールの構成］
コンソール７の構成を説明する。図１に示すように、コンソール７は、手術システム１００と術者Ｓとのインタフェースを構成し、ロボット本体２を操作するための装置である。コンソール７は、手術室内において手術台の傍らに又は手術台から離れて、或いは、手術室外に設置される。

【0054】

コンソール７は、術者Ｓからの指令の入力を受け付けるための操作入力装置７１と、内視鏡カメラで撮像された画像を表示するディスプレイ装置７３と、第２制御装置３２とを含む。操作入力装置７１は、左右一対の操作マニピュレータ７２Ｌ及び７２Ｒと操作用ペダル７５とを含む。操作マニピュレータ７２Ｌ及び７２Ｒは、ロボット本体２を手動操作するために用いられる装置である。第２制御装置３２は、第１制御装置３１と同様に、コンピュータ装置等で構成されてよい。

【0055】

操作マニピュレータ７２Ｌ及び７２Ｒはそれぞれ、遠位端部に操作部（図示略）を有し、術者Ｓからの操作力を操作部に受けるように構成されている。本実施の形態では、操作マニピュレータ７２Ｌ及び７２Ｒは、内視鏡カメラ及び手術器具の位置及び姿勢の移動指令等を受け付ける操作具である。操作用ペダル７５は、例えば、内視鏡カメラのズーム、制御モードの切り替え、運転モードの切り替え、操作マニピュレータ７２Ｌ及び７２Ｒと対応付けられる器具マニピュレータの切り替え等の指令を受け付ける操作具である。操作入力装置７１は、手術器具の体腔挿入指令の入力を受け付ける操作具、マニピュレータ復帰指令の入力を受け付ける操作具等をさらに含む。これらの操作具は、操作マニピュレータ７２Ｌ及び７２Ｒと操作用ペダル７５とのうちの一方によって兼用されてもよく、レバー、ボタン、タッチパネル、ジョイスティック、モーションキャプチャ等の公知の追加の操作具が設けられることによって実現されてもよい。操作入力装置７１は、術者Ｓの操作力に対する反力を操作部に与えるための駆動機構（図示略）を有していてもよい。

【0056】

ロボット本体２の手動操作の際、術者Ｓは、ディスプレイ装置７３に表示された内視鏡画像で患部を確認しながら、操作マニピュレータ７２Ｌ及び７２Ｒの操作部を直接的に動かすことによって、ロボット本体２のマニピュレータのエンドエフェクタの移動を指令する。ロボット本体２の上記マニピュレータは、例えば、操作用ペダル７５の操作によって操作マニピュレータ７２Ｌ及び７２Ｒと対応づけられた器具マニピュレータ２０ａ又は内視鏡マニピュレータ２０ｂであり、エンドエフェクタは、手術器具又は内視鏡カメラである。

【0057】

［第２制御装置の構成］
第２制御装置３２は、コンソール７全体の動作を制御する。例えば、第２制御装置３２は、第１制御装置３１と同様に、コンピュータ装置である。図１に示すように、第２制御装置３２は、第１制御装置３１と通信可能に接続されている。例えば、第２制御装置３２は、操作入力装置７１において受け付けられた情報及び指令等を、第１制御装置３１に送信する。また、第２制御装置３２は、第１制御装置３１から受け取る情報、データ及び指令等に基づき、操作マニピュレータ７２Ｌ及び７２Ｒ等に行わせる動作、及びディスプレイ装置７３の画像表示動作等を制御する。第２制御装置３２の機能の一部又は全部は、ＣＰＵ、ＲＡＭ及びＲＯＭ等からなるコンピュータシステム（図示略）により実現されてもよく、電子回路又は集積回路等の専用のハードウェア回路により実現されてもよく、上記コンピュータシステム及びハードウェア回路の組み合わせにより実現されてもよい。なお、第２制御装置３２は単一のコンピュータ装置による集中制御により各処理を実行してもよく、複数のコンピュータ装置の協働による分散制御により各処理を実行してもよい。第２制御装置３２及び第１制御装置３１は、単一のコンピュータ装置に含まれてもよい。

【0058】

第２制御装置３２の機能的構成を説明する。図２は、実施の形態に係る制御装置３の機能的な構成の一例を示すブロック図である。図２に示すように、第２制御装置３２は、画像処理部３２１と、入力処理部３２２と、動作指令生成部３２３と、位置指令生成部３２４と、動作制御部３２５とを機能的構成要素として含む。上記機能的構成要素の機能は、ＣＰＵ等によって実現される。なお、上記機能的構成要素の全てが必須ではない。

【0059】

画像処理部３２１は、内視鏡カメラによって撮像された画像データを第１制御装置３１から受け取り、当該画像データをディスプレイ装置７３に出力し表示させる。画像処理部３２１は、画像データに変換処理等を加えてディスプレイ装置７３に出力してもよい。

【0060】

入力処理部３２２は、操作マニピュレータ７２Ｌ及び７２Ｒの各関節に設けられた回転センサの検出値から各関節の回転量を検出し、各関節の回転量から操作部の位置及び速度（移動速度）を検出する。動作指令生成部３２３は、入力処理部３２２によって検出された操作部の位置及び速度に基づき、ロボット本体２のマニピュレータに対する位置及び速度等を指令する移動指令を生成する。なお、操作マニピュレータ７２Ｌ及び７２Ｒに加えられる力を検出する力センサが設けられ、入力処理部３２２は、力センサの検出値から力の大きさ及び方向等の力の検出値を検出し、動作指令生成部３２３は、力の検出値に基づき、ロボット本体２のマニピュレータが対象物に加える力の大きさ及び方向等を指令する力指令を生成してもよい。入力処理部３２２は、上記移動指令及び上記力指令等を含む操作動作指令を第１制御装置３１に送信する。

【0061】

位置指令生成部３２４は、第１制御装置３１から位置指令を受け取る。位置指令は、ロボット本体２のマニピュレータの位置及び姿勢等の指令を含み、例えば、マニピュレータの各関節の位置及び姿勢等の指令を含む。位置指令生成部３２４は、受け取った位置指令と移動指令とに基づき、操作マニピュレータ７２Ｌ及び７２Ｒの操作部の位置及び姿勢がロボット本体２のマニピュレータのエンドエフェクタと対応するように、操作マニピュレータ７２Ｌ及び７２Ｒの操作部の位置及び姿勢等を指令する操作位置指令を生成する。操作位置指令は、操作マニピュレータ７２Ｌ及び７２Ｒの操作部に与える反力を含んでもよい。位置指令生成部３２４は、操作マニピュレータ７２Ｌ及び７２Ｒの各関節に設けられた回転センサの検出値から各関節の位置を検出する。動作制御部３２５は、操作位置指令と操作マニピュレータ７２Ｌ及び７２Ｒの各関節の位置とから各関節の駆動トルクを決定し、対応する関節のサーボモータに駆動トルクに対応する電流を供給する。その結果、操作マニピュレータ７２Ｌ及び７２Ｒの操作部の位置及び姿勢がロボット本体２のマニピュレータのエンドエフェクタの位置及び姿勢と対応して移動する。

【0062】

［第１制御装置の機能的構成］
第１制御装置３１の機能的構成を説明する。図２に示すように、第１制御装置３１は、画像取得部３１１と、情報処理部３１２と、動作指令生成部３１３と、動作制御部３１４と、記憶部３１５とを機能的構成要素として含む。記憶部３１５を除く機能的構成要素の機能はＣＰＵ等によって実現され、記憶部３１５の機能はメモリによって実現される。なお、上記機能的構成要素の全てが必須ではない。画像取得部３１１、情報処理部３１２、動作指令生成部３１３及び動作制御部３１４は、動作処理部の一例である。

【0063】

記憶部３１５は、種々の情報の格納つまり記憶することができ、且つ、格納した情報の読み出しを可能にする。例えば、記憶部３１５は、教示情報等の自動運転情報を記憶することができる。記憶部３１５は、第１機械学習モデルと、第１機械学習モデルが学習に使用するために蓄積された学習データである第１学習データとを記憶することができる。記憶部３１５は、第２機械学習モデルと、第２機械学習モデルが学習に使用するために蓄積された学習データである第２学習データとを記憶することができる。

【0064】

ここで、第１機械学習モデル及び第２機械学習モデルは、機械学習するモデルであり、学習データを用いて学習することによって、入力データに対する出力データの精度を向上する。第１機械学習モデル及び第２機械学習モデルは、ニューラルネットワーク（Neural Network）、Random Forest、Genetic Programming、回帰モデル、木モデル、ベイズモデル、時系列モデル、クラスタリングモデル、アンサンブル学習モデル等の学習モデルで構成される。本実施の形態では、第１機械学習モデル及び第２機械学習モデルは、ニューラルネットワークで構成される。

【0065】

ニューラルネットワークは、入力層及び出力層を含む複数のノード層で構成される。ノード層には、１つ以上のノードが含まれる。ニューラルネットワークが、入力層、中間層及び出力層で構成される場合、ニューラルネットワークは、入力層のノードに入力された情報について、入力層から中間層への出力処理、中間層から出力層への出力処理を順次行い、入力情報に適合する出力結果を出力する。なお、１つの層の各ノードは、次の層の各ノードと接続されており、ノード間の接続には、重み付けがされている。１つの層のノードの情報は、ノード間の接続の重み付けが付与されて、次の層のノードに出力される。

【0066】

また、ニューラルネットワークは、リカレントニューラルネットワーク（Recurrent Neural Network）（「回帰型ニューラルネットワーク」とも呼ばれる）であってもよい。リカレントニューラルネットワークは、時系列情報を扱う。リカレントニューラルネットワークの入力データは、現在時刻でのデータと、現在時刻よりも前の過去時刻でのリカレントニューラルネットワークにおける中間層の出力データとを含む。リカレントニューラルネットワークは、時系列情報を考慮したネットワーク構造を有している。このようなリカレントニューラルネットワークは、入力データの経時的な挙動を考慮した出力をするため、出力データの精度を向上することができる。第１機械学習モデル及び第２機械学習モデルは、時系列データを扱うため、リカレントニューラルネットワークであることが好ましい。

【0067】

画像取得部３１１は、内視鏡カメラによって撮像された画像データを取得して第２制御装置３２へ送信する。また、画像取得部３１１は、上記画像データを情報処理部３１２に出力する場合がある。

【0068】

情報処理部３１２は、第２制御装置３２から移動指令及び力指令等を受け取り、動作指令生成部３１３に出力する。情報処理部３１２は、移動指令及び力指令等に処理を施し動作指令生成部３１３に出力する場合もある。情報処理部３１２は、第２制御装置３２から受け取る運転モードの指令等に基づき、記憶部３１５から自動運転情報を読み出し、動作指令生成部３１３に出力する。情報処理部３１２は、自動運転情報に処理を施し動作指令生成部３１３に出力する場合もある。

【0069】

情報処理部３１２は、動作指令生成部３１３からロボット本体２のマニピュレータの動作情報を受け取り、当該動作情報を第１機械学習モデルに入力し、第１機械学習モデルの出力データである対応動作指令を動作指令生成部３１３に出力する。

【0070】

情報処理部３１２は、画像取得部３１１から内視鏡カメラによって撮像された画像データを受け取り、当該画像データを第２機械学習モデルに入力し、第２機械学習モデルの出力データである対応動作指令を動作指令生成部３１３に出力する。情報処理部３１２は、画像データに画像処理を施して動作指令生成部３１３に出力するように構成されてもよい。

【0071】

ここで、ロボット本体２のマニピュレータの動作情報は、動作データを含む。動作データは、動作時におけるマニピュレータ及びエンドエフェクタの位置を表す位置データと、エンドエフェクタが対象物に加える力を表す力データとのうちの少なくとも１つを含む。位置データは、３次元空間内の位置と３次元空間内の姿勢とを含んでもよい。力データは、力の大きさと３次元空間内の力の方向とを含んでもよい。位置データ及び力データは、各位置及び各力の発生時刻と関連付けられた時系列データであってもよい。

【0072】

また、動作情報は、動作データ以外の情報として、ロボット本体２のマニピュレータのエンドエフェクタが作用を加える対象物の撮像データ、エンドエフェクタで発生する振動データ、衝撃データ、光データ、音データ、温度データ、湿度データ、気圧などの圧力データ等を含んでもよい。本実施の形態で扱われる動作情報は、少なくとも動作データを含む。

【0073】

また、情報処理部３１２は、動作指令生成部３１３から位置指令を受け取り、当該位置指令を第２制御装置３２に送信する。

【0074】

動作指令生成部３１３は、情報処理部３１２から受け取る移動指令、自動運転情報又は対応動作指令から、動作指令を生成する。動作指令は、位置指令を含み、さらに、力指令を含んでもよい。位置指令には、予め設定された移動範囲の制限及び移動速度の制限等が適用されてもよい。

【0075】

ここで、位置指令は、ロボット本体２のマニピュレータのエンドエフェクタ及び／又は各関節等の位置、姿勢、並びに、位置及び姿勢の速度の目標値又は修正値（補正値）を指示する指令を含み得る。上記位置及びその速度は、３次元空間内の位置及び速度を表し、上記姿勢及びその速度は、３次元空間内の姿勢及び速度を表してもよい。本明細書及び特許請求の範囲において、「位置」とは、３次元空間内の位置、位置の速度、姿勢及び姿勢の速度のうちの少なくとも３次元空間内の位置を含むことを意味する。力指令は、ロボット本体２のマニピュレータのエンドエフェクタが対象物に加える力の大きさ及び方向の目標値又は修正値（補正値）を指示する指令を含む。力の方向は、３次元空間内の方向を表してもよい。

【0076】

動作制御部３１４は、ロボット本体２のマニピュレータの各関節を駆動するサーボモータに電流を供給する。具体的には、動作制御部３１４は、ロボット本体２のマニピュレータの各関節のサーボモータに設けられた回転センサ及び電流センサから回転量及び電流の検出値をフィードバック情報として受け取る。さらに、ロボット本体２のマニピュレータのエンドエフェクタに力センサが設けられる場合、動作制御部３１４は、当該力センサから力の検出値をフィードバック情報として受け取る。動作制御部３１４は、ロボット本体２のマニピュレータの各関節の回転量の検出値から各関節の位置を検出し、動作指令の位置指令と各関節の位置とから各関節の駆動量及び駆動速度を決定する。また、ロボット本体２のマニピュレータのエンドエフェクタの力の検出値と動作指令の力指令とから、各関節の駆動トルクを決定する。動作制御部３１４は、電流の検出値に基づき、上記駆動量、駆動速度及び駆動トルクに対応して各サーボモータに駆動させるための電流値を決定し、当該電流値の電流を各サーボモータに供給する。これにより、例えば、ロボット本体２のマニピュレータは、移動指令に従って動作する場合、操作マニピュレータ７２Ｌ及び７２Ｒの操作部の動きと対応して動作する。

【0077】

［手術システムの動作］
［手動運転モード］
患者に手術を行うときの実施の形態に係る手術システム１００の手動運転モードでの動作を説明する。図３は、実施の形態に係る手術システム１００の手動運転モードを実行する動作の一例を示すフローチャートである。図３に示すように、術者Ｓは、患者に手術を行うとき、操作入力装置７１の操作用ペダル７５を用いて手動運転モードの実行の指令を入力する。第２制御装置３２は、手動運転モードの実行指令を受け付け、当該指令を第１制御装置３１に送信する（ステップＳ１０１）。

【0078】

次いで、第１制御装置３１は、術者Ｓが操作入力装置７１の操作マニピュレータ７２Ｌ及び７２Ｒに与える操作に従ってロボット本体２を動作させる制御を実行する（ステップＳ１０２）。

【0079】

次いで、第２制御装置３２は、術者Ｓが操作マニピュレータ７２Ｌ及び７２Ｒに与える操作に対応する操作動作指令を生成し、第１制御装置３１に送信する（ステップＳ１０３）。次いで、第１制御装置３１は、操作動作指令に基づく動作指令である手動動作指令を生成する（ステップＳ１０４）。さらに、第１制御装置３１は、ロボット本体２から動作情報を取得する（ステップＳ１０５）。さらに、第１制御装置３１は、動作情報をフィードバック情報として用いて、手動動作指令に対応した動作をロボット本体２に実行させるための動作制御指令を生成し、ロボット本体２に出力する（ステップＳ１０６）。これにより、ロボット本体２が動作制御指令に従って動作する。

【0080】

さらに、第１制御装置３１は、ロボット本体２から動作情報を取得し第２制御装置３２に送信する（ステップＳ１０７）。次いで、第２制御装置３２は、上記動作情報と、第１制御装置３１に送信した操作動作指令とに基づき、操作位置指令を生成し、当該操作位置指令に従って操作マニピュレータ７２Ｌ及び７２Ｒを動作させる。つまり、第２制御装置３２は、ロボット本体２からの動作情報のフィードバックを操作マニピュレータ７２Ｌ及び７２Ｒに付与する（ステップＳ１０８）。

【0081】

次いで、第２制御装置３２は手動運転モードでのロボット本体２の操作が完了したか否かを判定し（ステップＳ１０９）、完了済みの場合（ステップＳ１０９でＹｅｓ）、一連の処理を終了し、未完了の場合（ステップＳ１０９でＮｏ）、ステップＳ１０３に戻る。

【0082】

［自動運転モード］
患者に手術を行うときの実施の形態に係る手術システム１００の自動運転モードでの動作を説明する。まず、第１自動運転モードでの動作を説明する。図４は、実施の形態に係る手術システム１００の第１自動運転モードを実行する動作の一例を示すフローチャートである。図４に示すように、術者Ｓは、患者に手術を行うとき、操作入力装置７１の操作用ペダル７５等を用いて、第１自動運転モードの実行指令と、対象手術の情報とを入力する。第２制御装置３２は、第１自動運転モードの実行指令及び対象手術の情報を受け付け、当該指令及び情報を第１制御装置３１に送信する（ステップＳ２０１）。対象手術の情報は、手術の対象部位の種別、手術の内容、ロボット本体２が行う手術動作の内容等の情報を含んでもよい。

【0083】

次いで、第１制御装置３１は、記憶部３１５に記憶される自動運転情報を探索し、対象手術の情報に対応する自動運転情報を読み出し取得する（ステップＳ２０２）。

【0084】

術者Ｓは、操作入力装置７１の操作マニピュレータ７２Ｌ及び７２Ｒを操作し、ロボット本体２のマニピュレータを動作させることで、手術対象領域を指定する入力を行う。手術対象領域は、ロボット本体２が手術動作を行う対象の領域である。第１制御装置３１は、当該入力に基づき手術対象領域の位置及び範囲を決定する（ステップＳ２０３）。例えば、ロボット本体２のマニピュレータのエンドエフェクタが、手術対象領域の起点及び終点のそれぞれに位置するときに、術者Ｓが操作入力装置７１への入力を行うと、第１制御装置３１は、当該エンドエフェクタのそれぞれの位置を手術対象領域の起点及び終点に決定してもよい。例えば、手術動作が切開又は縫合等である場合、上記起点及び終点は、切開又は縫合等の起点及び終点である。

【0085】

なお、術者Ｓは、操作入力装置７１の操作マニピュレータ７２Ｌ及び７２Ｒを操作し、ロボット本体２の内視鏡マニピュレータ２０ｂの内視鏡カメラに手術対象領域を撮像させ、ディスプレイ装置７３に表示される画像上で手術対象領域、起点及び終点を指定する入力を、操作入力装置７１を用いて行ってもよい。又は、第１制御装置３１が、上記画像を画像処理することで、手術対象領域、起点及び終点を特定してもよい。手術対象領域の指定方法は、上記方法に限定されず、いかなる方法であってもよく、手術対象領域が予め設定され記憶部３１５等に記憶されていてもよい。

【0086】

次いで、第１制御装置３１は、自動運転情報を用いて、自動動作指令を生成する（ステップＳ２０４）。さらに、第１制御装置３１は、ロボット本体２から動作情報を取得し（ステップＳ２０５）、動作情報をフィードバック情報として用いて自動動作指令に対応する動作制御指令を生成し、ロボット本体２に出力する（ステップＳ２０６）。

【0087】

次いで、第１制御装置３１は、自動運転情報に従ったロボット本体２の全ての動作が完了したか否かを判定し（ステップＳ２０７）、完了済みの場合（ステップＳ２０７でＹｅｓ）、一連の処理を終了し、未完了の場合（ステップＳ２０７でＮｏ）、ステップＳ２０４に戻る。

【0088】

次いで、第２自動運転モードでの動作を説明する。図５は、実施の形態に係る手術システム１００の第２自動運転モードを実行する動作の一例を示すフローチャートである。図５に示すように、術者Ｓは、患者に手術を行うとき、操作入力装置７１の操作用ペダル７５等を用いて、第２自動運転モードの実行指令と、対象手術の情報とを入力する。第２制御装置３２は、第２自動運転モードの実行指令及び対象手術の情報を受け付け、当該指令及び情報を第１制御装置３１に送信する（ステップＳ３０１）。

【0089】

次いで、第１制御装置３１は、記憶部３１５に記憶される第１機械学習モデルを探索し、対象手術の情報に対応する第１機械学習モデルを読み出し取得する（ステップＳ３０２）。

【0090】

次いで、第１制御装置３１は、術者Ｓによる操作入力装置７１への入力に基づき、手術対象領域の位置及び範囲を決定する（ステップＳ３０３）。次いで、術者Ｓは、操作入力装置７１の操作マニピュレータ７２Ｌ及び７２Ｒを操作し、ロボット本体２のマニピュレータのエンドエフェクタを手術対象領域の起点に移動させる（ステップＳ３０４）。起点への移動完了後、術者Ｓは、操作入力装置７１に手術動作の実行の指令を入力し、第１制御装置３１は当該指令を受け取る。

【0091】

次いで、第１制御装置３１はロボット本体２から動作情報を取得する（ステップＳ３０５）。さらに、第１制御装置３１は、第１機械学習モデルに、手術対象領域の位置及び範囲等を含む手術対象領域の情報と、ロボット本体２の動作情報とを入力する（ステップＳ３０６）。第１機械学習モデルは、当該動作情報に対応する対応動作指令を出力する。対応動作指令は、当該動作情報の状態のロボット本体２に実行させる手術動作を示す指令である。例えば、ステップＳ３０６の処理は、第１制御装置３１の情報処理部３１２によって実行される。

【0092】

次いで、第１制御装置３１は、対応動作指令に基づき、自動動作指令を生成する（ステップＳ３０７）。さらに、第１制御装置３１は、ステップＳ３０５で取得された動作情報をフィードバック情報として用いて自動動作指令に対応する動作制御指令を生成し、ロボット本体２に出力する（ステップＳ３０８）。

【0093】

次いで、第１制御装置３１は、手術対象領域に対するロボット本体２の手術動作の全てが完了したか否かを判定し（ステップＳ３０９）、完了済みの場合（ステップＳ３０９でＹｅｓ）、一連の処理を終了し、未完了の場合（ステップＳ３０９でＮｏ）、ステップＳ３０５に戻る。例えば、第１制御装置３１は、ステップＳ３０５～Ｓ３０９の一連の処理を、所定の時間周期毎に繰り返してもよい。これにより、第１制御装置３１は、所定の時間周期毎のロボット本体２の動作情報に対応する第１機械学習モデルの出力データに基づき、ロボット本体２の動作状態に対応した手術動作をロボット本体２に実行させることができる。

【0094】

次いで、第３自動運転モードでの動作を説明する。図６は、実施の形態に係る手術システム１００の第３自動運転モードを実行する動作の一例を示すフローチャートである。図６に示すように、術者Ｓは、患者に手術を行うとき、操作入力装置７１の操作用ペダル７５等を用いて、第３自動運転モードの実行指令と、対象手術の情報とを入力する。第２制御装置３２は、第３自動運転モードの実行指令及び対象手術の情報を受け付け、当該指令及び情報を第１制御装置３１に送信する（ステップＳ４０１）。

【0095】

次いで、第１制御装置３１は、記憶部３１５に記憶される第２機械学習モデルを探索し、対象手術の情報に対応する第２機械学習モデルを読み出し取得する（ステップＳ４０２）。

【0096】

次いで、第１制御装置３１は、術者Ｓによる操作入力装置７１への入力に基づき、手術対象領域の位置及び範囲を決定する（ステップＳ４０３）。次いで、術者Ｓは、操作入力装置７１の操作マニピュレータ７２Ｌ及び７２Ｒを操作し、ロボット本体２のマニピュレータのエンドエフェクタを手術対象領域の起点に移動させる（ステップＳ４０４）。起点への移動完了後、術者Ｓは、操作入力装置７１に手術動作の実行の指令を入力し、第１制御装置３１は当該指令を受け取る。

【0097】

次いで、第１制御装置３１は、ロボット本体２の内視鏡マニピュレータ２０ｂの内視鏡カメラに手術対象領域を撮像させる（ステップＳ４０５）。さらに、第１制御装置３１は、内視鏡カメラによって撮像された画像に画像処理を行う（ステップＳ４０６）。画像処理の内容は、特に限定されず、手術対象領域、手術対象領域の患部の状態、及び適用される手術動作等に応じて設定されてもよい。例えば、画像処理は、画像の各画素に写し出される被写体の３次元位置を検出する処理であってよい。また、画像処理は、画像へのフィルタ処理であってもよい。フィルタ処理は、画素値のノイズを除去する処理、及び画素値の差異の強調する処理等であってもよい。また、画像処理は、画素値を変更することで画像の色調を変更する処理であってもよい。このような画像処理により、手術対象領域の３次元化、及び患部の強調等が可能になる。第１制御装置３１は、１つ以上の画像処理を行い、画像処理毎に処理済みの画像データを生成してもよい。例えば、ステップＳ４０６の処理は、情報処理部３１２によって実行される。

【0098】

次いで、第１制御装置３１は、第２機械学習モデルに、ステップＳ４０６での処理済みの画像データを第２機械学習モデルに入力する（ステップＳ４０７）。第２機械学習モデルは、処理済みの画像データに対応する対応動作指令を出力する。対応動作指令は、処理済みの画像データの状態の手術対象領域に対してロボット本体２に実行させる手術動作を示す指令である。例えば、ステップＳ４０７の処理は、第１制御装置３１の情報処理部３１２によって実行される。

【0099】

次いで、第１制御装置３１は、対応動作指令に基づき、自動動作指令を生成する（ステップＳ４０８）。さらに、第１制御装置３１は、ロボット本体２から動作情報を取得する（ステップＳ４０９）。さらに、第１制御装置３１は、上記動作情報をフィードバック情報として用いて自動動作指令に対応する動作制御指令を生成し、ロボット本体２に出力する（ステップＳ４１０）。

【0100】

次いで、第１制御装置３１は、手術対象領域に対するロボット本体２の手術動作の全てが完了したか否かを判定し（ステップＳ４１１）、完了済みの場合（ステップＳ４１１でＹｅｓ）、一連の処理を終了し、未完了の場合（ステップＳ４１１でＮｏ）、ステップＳ４０５に戻る。例えば、第１制御装置３１は、ステップＳ４０５～Ｓ４１１の一連の処理を、所定の時間周期毎に繰り返してもよい。これにより、第１制御装置３１は、所定の時間周期毎の手術対象領域の状態に対応する第２機械学習モデルの出力データに基づき、手術対象領域の状態に対応する手術動作をロボット本体２に実行させることができる。

【0101】

［修正自動モード］
［第１自動運転モードでの修正自動運転モード］
患者に手術を行うときの実施の形態に係る手術システム１００の修正自動運転モードでの動作について、第１自動運転モードの自動運転を用いた修正自動運転モードでの動作を説明する。図７は、実施の形態に係る手術システム１００の第１自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャートである。

【0102】

図７に示すように、術者Ｓは、患者に手術を行うとき、操作入力装置７１の操作用ペダル７５等を用いて、第１自動運転モードでの修正自動運転モードの実行指令と、対象手術の情報とを入力する。第１自動運転モードでの修正自動運転モードの実行は、第１自動運転モードの自動運転を用いた修正自動運転モードの実行である。第２制御装置３２は当該指令及び情報を受け付け第１制御装置３１に送信する（ステップＳ５０１）。

【0103】

次いで、第１制御装置３１は、記憶部３１５に記憶される自動運転情報を探索し、対象手術の情報に対応する自動運転情報を読み出し取得する（ステップＳ５０２）。

【0104】

次いで、第１制御装置３１は、術者Ｓによる操作入力装置７１への入力に基づき、手術対象領域の位置及び範囲を決定する（ステップＳ５０３）。

【0105】

次いで、第１制御装置３１は、術者Ｓによって操作入力装置７１へ操作が入力されたか否かを判定する（ステップＳ５０４）。具体的には、第１制御装置３１は、術者Ｓの操作に対応する操作動作指令を第２制御装置３２から受け取ったか否かを判定する。第１制御装置３１は、操作の入力がある場合、つまり、操作動作指令を受け取った場合（ステップＳ５０４でＹｅｓ）にステップＳ５０５に進む。第１制御装置３１は、操作の入力がない場合、つまり、操作動作指令を受け取っていない場合（ステップＳ５０４でＮｏ）にステップＳ５０６に進む。

【0106】

ステップＳ５０５において、第１制御装置３１は、操作動作指令に基づき手動動作指令を生成し、ステップＳ５０７に進む。つまり、第１制御装置３１は、自動運転情報に基づく自動動作指令を、操作動作指令に基づく手動動作指令に置き換えることで修正し、修正動作指令を生成する。

【0107】

ステップＳ５０６において、第１制御装置３１は、自動運転情報を用いて、自動動作指令を生成し、ステップＳ５０７に進む。

【0108】

次いで、第１制御装置３１は、ロボット本体２から動作情報を取得し（ステップＳ５０７）、動作情報をフィードバック情報として用いて動作指令に対応する動作制御指令を生成し、ロボット本体２に出力する（ステップＳ５０８）。

【0109】

次いで、第１制御装置３１は、動作制御指令が修正動作指令を用いて生成された指令であるか否かを判定する（ステップＳ５０９）。第１制御装置３１は、修正動作指令が用いられている場合（ステップＳ５０９でＹｅｓ）、ステップＳ５１０に進み、修正動作指令が用いられていない場合（ステップＳ５０９でＮｏ）、ステップＳ５１１に進む。

【0110】

ステップＳ５１０において、第１制御装置３１は、ステップＳ５０７で取得された動作情報を用いて、第１制御装置３１が用いている自動運転情報を修正することで、新たな自動運転情報を生成する。具体的には、第１制御装置３１は、自動運転情報における上記動作情報に対応する情報を修正する。なお、第１制御装置３１は、上記動作情報の代わりに、修正動作指令を用いて自動運転情報を修正してもよい。例えば、ステップＳ５１０の処理は、情報処理部３１２によって実行される。

【0111】

次いで、第１制御装置３１は、自動運転情報に従ったロボット本体２の全ての動作が完了したか否かを判定し（ステップＳ５１１）、完了済みの場合（ステップＳ５１１でＹｅｓ）、ステップＳ５１２に進み、未完了の場合（ステップＳ５１１でＮｏ）、ステップＳ５０４に戻る。

【0112】

ステップＳ５１２において、第１制御装置３１は、修正済みの新たな自動運転情報を記憶部３１５に記憶させる。例えば、ステップＳ５１２の処理は、情報処理部３１２によって実行される。ステップＳ５０４～Ｓ５１１の処理が繰り返されることによって、自動運転情報の修正が１回以上行われる場合がある。修正済みの新たな自動運転情報は、このような１回以上の修正を反映した情報である。そして、第１制御装置３１は、記憶部３１５に記憶される自動運転情報を、新たな自動運転情報で置き換える、つまり更新してもよい。なお、自動運転情報の修正が行われなかった場合、第１制御装置３１は、記憶部３１５への記憶を実行しない。ステップＳ５１２の完了後、第１制御装置３１は一連の処理を終了する。

【0113】

なお、第１制御装置３１は、修正済みの自動運転情報と修正前の自動運転情報とを用いて新たな自動運転情報を生成してもよく、例えば、修正済みの自動運転情報と修正前の自動運転情報とを組み合わせて新たな自動運転情報を生成してもよい。

【0114】

［第２自動運転モードでの修正自動運転モード］
第２自動運転モードの自動運転を用いた修正自動運転モードでの手術システム１００の動作を説明する。図８及び図９は、実施の形態に係る手術システム１００の第２自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャートである。

【0115】

図８及び図９に示すように、術者Ｓは、患者に手術を行うとき、操作入力装置７１の操作用ペダル７５等を用いて、第２自動運転モードでの修正自動運転モードの実行指令と、対象手術の情報とを入力する。第２制御装置３２は、当該指令及び情報を受け付け第１制御装置３１に送信する（ステップＳ６０１）。

【0116】

次いで、第１制御装置３１は、記憶部３１５に記憶される第１機械学習モデルを探索し、対象手術の情報に対応する第１機械学習モデルを読み出し取得する（ステップＳ６０２）。

【0117】

次いで、第１制御装置３１は、ステップＳ６０３～Ｓ６０６の処理を、第２自動運転モードでのステップＳ３０３～Ｓ３０６の処理と同様に実行する。

【0118】

次いで、第１制御装置３１は、術者Ｓによって操作入力装置７１へ操作が入力され、第２制御装置３２から操作動作指令を受け取ったか否かを判定する（ステップＳ６０７）。第１制御装置３１は、操作の入力がある場合（ステップＳ６０７でＹｅｓ）にステップＳ６０８に進み、操作の入力がない場合（ステップＳ６０７でＮｏ）にステップＳ６０９に進む。

【0119】

ステップＳ６０８において、第１制御装置３１は、操作動作指令に基づき手動動作指令を生成し、対応動作指令に基づく自動動作指令を手動動作指令に置き換えることで修正動作指令を生成し、ステップＳ６１０に進む。

【0120】

ステップＳ６０９において、第１制御装置３１は、対応動作指令に基づき自動動作指令を生成し、ステップＳ６１０に進む。

【0121】

ステップＳ６１０において、第１制御装置３１は、ステップＳ６０５で取得された動作情報をフィードバック情報として用いて動作指令に対応する動作制御指令を生成し、ロボット本体２に出力する。

【0122】

次いで、第１制御装置３１は、動作制御指令が修正動作指令を用いて生成された指令であるか否かを判定する（ステップＳ６１１）。第１制御装置３１は、修正動作指令が用いられている場合（ステップＳ６１１でＹｅｓ）、ステップＳ６１２に進み、修正動作指令が用いられていない場合（ステップＳ６１１でＮｏ）、ステップＳ６１３に進む。

【0123】

ステップＳ６１２において、第１制御装置３１は、ステップＳ６０５で取得された動作情報とステップＳ６０８で生成された修正動作指令とを関連付け、第１機械学習モデルの学習データとして記憶部３１５に記憶させる。例えば、ステップＳ６１２の処理は、情報処理部３１２によって実行される。

【0124】

次いで、ステップＳ６１３において、第１制御装置３１は、修正自動運転モードでのロボット本体２の動作の全てが完了したか否かを判定し、完了済みの場合（ステップＳ６１３でＹｅｓ）、ステップＳ６１４に進み、未完了の場合（ステップＳ６１３でＮｏ）、ステップＳ６０５に戻る。

【0125】

ステップＳ６１４において、第１制御装置３１は、ステップＳ６１２において記憶部３１５に記憶された学習データを用いて、第１機械学習モデルに機械学習を実行させる。例えば、ステップＳ６１４の処理は、情報処理部３１２によって実行される。第１機械学習モデルは、動作情報を入力データとし、当該動作情報と関連付けられた修正動作指令を教師データとして機械学習を行う。なお、第１制御装置３１は、修正動作指令を対応動作指令と同様の形式の指令に変換し、変換後の指令を教師データとしてもよい。ステップＳ６０５～Ｓ６１３の処理が繰り返されることによって、動作情報と修正動作指令との複数の組み合わせが生成される場合がある。第１機械学習モデルは複数の組み合わせを用いて機械学習を行う。ステップＳ６１４の完了後、第１制御装置３１は一連の処理を終了する。

【0126】

なお、第１制御装置３１は、上記例のように修正自動運転モードでの自動運転が終了する毎に機械学習を実行してもよく、複数回の修正自動運転モードでの自動運転が終了すると機械学習を実行してもよい。また、第１制御装置３１は、所定の時間、所定の日数、所定の週数、及び所定の月数等の所定の時間的なタイミングに従って機械学習を実行してもよい。修正自動運転モードでの自動運転が終了する毎に機械学習が実行されることで、第１機械学習モデルの出力精度を修正自動運転モードでの自動運転が終了する毎に向上させることができる。このことは、以下に説明する第３自動運転モードの自動運転を用いた修正自動運転モードでも同様である。

【0127】

また、ステップＳ６０５～Ｓ６１３の処理の中で、操作入力装置７１への操作の入力がある場合、第１制御装置３１及び第２制御装置３２は、手動運転モードのステップＳ１０７～Ｓ１０８の処理と同様の処理を実行し、ロボット本体２からの動作情報のフィードバックを操作マニピュレータ７２Ｌ及び７２Ｒに付与してもよい。

【0128】

［第３自動運転モードでの修正自動運転モード］
第３自動運転モードの自動運転を用いた修正自動運転モードでの手術システム１００の動作を説明する。図１０及び図１１は、実施の形態に係る手術システム１００の第３自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャートである。

【0129】

図１０及び図１１に示すように、術者Ｓは、患者に手術を行うとき、操作入力装置７１の操作用ペダル７５等を用いて、第２自動運転モードでの修正自動運転モードの実行指令と、対象手術の情報とを入力する。第２制御装置３２は、当該指令及び情報を受け付け第１制御装置３１に送信する（ステップＳ７０１）。

【0130】

次いで、第１制御装置３１は、記憶部３１５に記憶される第２機械学習モデルを探索し、対象手術の情報に対応する第２機械学習モデルを読み出し取得する（ステップＳ７０２）。

【0131】

次いで、第１制御装置３１は、ステップＳ７０３～Ｓ７０７の処理を、第３自動運転モードでのステップＳ４０３～Ｓ４０７の処理と同様に実行する。

【0132】

次いで、第１制御装置３１は、術者Ｓによって操作入力装置７１へ操作が入力され、第２制御装置３２から操作動作指令を受け取ったか否かを判定する（ステップＳ７０８）。第１制御装置３１は、操作の入力がある場合（ステップＳ７０８でＹｅｓ）にステップＳ７０９に進み、操作の入力がない場合（ステップＳ７０８でＮｏ）にステップＳ７１０に進む。

【0133】

ステップＳ７０８において、第１制御装置３１は、操作動作指令に基づき、手動動作指令を修正動作指令として生成し、ステップＳ７１１に進む。

【0134】

ステップＳ７０９において、第１制御装置３１は、対応動作指令に基づき自動動作指令を生成し、ステップＳ７１１に進む。

【0135】

ステップＳ７１１において、第１制御装置３１は、ロボット本体２から動作情報を取得する。さらに、ステップＳ７１２において、第１制御装置３１は、動作情報をフィードバック情報として用いて動作指令に対応する動作制御指令を生成し、ロボット本体２に出力する。

【0136】

次いで、第１制御装置３１は、動作制御指令が修正動作指令を用いて生成された指令であるか否かを判定する（ステップＳ７１３）。第１制御装置３１は、修正動作指令が用いられている場合（ステップＳ７１３でＹｅｓ）、ステップＳ７１４に進み、修正動作指令が用いられていない場合（ステップＳ７１３でＮｏ）、ステップＳ７１５に進む。

【0137】

ステップＳ７１４において、第１制御装置３１は、ステップＳ７０６で生成された画像処理済みの画像データとステップＳ７０９で生成された修正動作指令とを関連付け、第２機械学習モデルの学習データとして記憶部３１５に記憶させる。例えば、ステップＳ７１４の処理は、情報処理部３１２によって実行される。

【0138】

次いで、ステップＳ７１５において、第１制御装置３１は、修正自動運転モードでのロボット本体２の動作の全てが完了したか否かを判定し、完了済みの場合（ステップＳ７１５でＹｅｓ）、ステップＳ７１６に進み、未完了の場合（ステップＳ７１５でＮｏ）、ステップＳ７０５に戻る。

【0139】

ステップＳ７１６において、第１制御装置３１は、ステップＳ７１４において記憶部３１５に記憶された学習データを用いて、第２機械学習モデルに機械学習を実行させる。例えば、ステップＳ７１６の処理は、情報処理部３１２によって実行される。第２機械学習モデルは、画像処理済みの画像データを入力データとし、当該画像データと関連付けられた修正動作指令を教師データとして機械学習を行う。なお、第１制御装置３１は、修正動作指令を対応動作指令と同様の形式の指令に変換し、変換後の指令を教師データとしてもよい。ステップＳ７０５～Ｓ７１５の処理が繰り返されることによって、画像処理済みの画像データと修正動作指令との複数の組み合わせが生成される場合がある。第２機械学習モデルは複数の組み合わせを用いて機械学習を行う。ステップＳ７１６の完了後、第１制御装置３１は一連の処理を終了する。

【0140】

また、ステップＳ７０５～Ｓ７１５の処理の中で、操作入力装置７１への操作の入力がある場合、第１制御装置３１及び第２制御装置３２は、手動運転モードのステップＳ１０７～Ｓ１０８の処理と同様の処理を実行し、ロボット本体２からの動作情報のフィードバックを操作マニピュレータ７２Ｌ及び７２Ｒに付与してもよい。

【0141】

［第１機械学習モデルの機械学習］
本実施の形態に係る第１機械学習モデルは、ニューラルネットワークで構成される。第１機械学習モデルは、ロボット本体２の動作情報を入力データとし、当該動作情報の状態のロボット本体２に実行させる手術動作を示す対応動作指令を出力データとして出力する。また、機械学習において、第１機械学習モデルは、ロボット本体２の動作情報を学習用入力データとし、当該動作情報の状態のロボット本体２を動作させるために生成された情報である動作対応情報を教師データとする。さらに、第１機械学習モデルに学習用入力データを入力したときの出力データと、教師データとの間でこれらを一致又は誤差を最小化等するように、後ろ向き演算によってニューラルネットワークのノード間の重みを調節される。これにより、第１機械学習モデルの最適化が図られる。

【0142】

第１機械学習モデルが使用する学習データは、種々のデータであり得る。例えば、学習データは、操作入力装置７１を用いて操作されたロボット本体２の動作に関連するデータである。例えば、学習データの１つは、手動運転モードでのロボット本体２の手動運転中に取得されるロボット本体２の動作情報及び動作対応情報である。また、学習データの１つは、第１自動運転モードを用いた修正自動運転モードにおいて、ロボット本体２に加えられた修正動作に対応するロボット本体２の動作情報及び動作対応情報である。また、学習データの１つは、第２自動運転モードを用いた修正自動運転モードにおいて、ロボット本体２に加えられた修正動作に対応するロボット本体２の動作情報及び動作対応情報である。また、学習データは、他のロボットの運転において取得される上記動作情報及び動作対応情報であってもよい。

【0143】

上記のような動作対応情報は、操作入力装置７１への操作の入力に対応して第１制御装置３１及び第２制御装置３２が生成する情報及び指令であってもよく、例えば、操作動作指令、手動動作指令及び修正動作指令等であってもよい。

【0144】

上記のような第１機械学習モデルは、過去に取得された学習データを用いて機械学習できる。さらに、第１機械学習モデルは、他のロボットにおいて取得された学習データを用いて機械学習できる。さらに、第１機械学習モデルは、ロボット本体２が実際の手術等のために稼働することで取得される学習データを用いて機械学習できる。

【0145】

［第２機械学習モデルの機械学習］
本実施の形態に係る第２機械学習モデルは、ニューラルネットワークで構成される。第２機械学習モデルは、手術対象領域の画像データを入力データとし、当該画像データの状態の手術対象領域に対してロボット本体２に実行させる手術動作を示す対応動作指令を出力データとして出力する。また、機械学習において、第２機械学習モデルは、手術対象領域の画像データを学習用入力データとし、当該画像データの手術対象領域に対してロボット本体２を動作させるために生成された画像データ対応情報を教師データとする。さらに、第２機械学習モデルに学習用入力データを入力したときの出力データと、教師データとの間でこれらを一致又は誤差を最小化等するように、後ろ向き演算によってニューラルネットワークのノード間の重みを調節される。これにより、第２機械学習モデルの最適化が図られる。

【0146】

入力データとしての画像データは、本実施の形態では、第１制御装置３１での画像処理後の画像データである。しかしながら、画像処理の処理層を含むようにニューラルネットワークを構築することで、第１制御装置３１での画像処理の省略が可能である。

【0147】

第２機械学習モデルが使用する学習データは、種々のデータであり得る。例えば、学習データは、操作入力装置７１を用いて操作されたロボット本体２の動作に関連するデータである。例えば、学習データの１つは、手動運転モードでのロボット本体２の手動運転中に取得される手術対象領域の画像データ及び画像データ対応情報である。また、学習データの１つは、第３自動運転モードを用いた修正自動運転モードにおいて、ロボット本体２に修正動作が加えられたときの手術対象領域の画像データ及び画像データ対応情報である。また、学習データは、他のロボットの運転において取得される上記画像データ及び画像データ対応情報であってもよい。

【0148】

上記のような画像データ対応情報は、操作入力装置７１への操作の入力に対応して第１制御装置３１及び第２制御装置３２が生成する情報及び指令であってもよく、操作入力装置７１への操作の入力に対応して動作したロボット本体２の動作情報であってもよい。例えば、上記情報及び指令は、操作動作指令、手動動作指令及び修正動作指令等であってもよい。

【0149】

上記のような第２機械学習モデルは、過去に取得された学習データを用いて機械学習できる。さらに、第２機械学習モデルは、他のロボットにおいて取得された学習データを用いて機械学習できる。さらに、第２機械学習モデルは、ロボット本体２が実際の手術等のために稼働することで取得される学習データを用いて機械学習できる。

【0150】

＜その他の実施の形態＞
以上、本開示の実施の形態の例について説明したが、本開示は、上記実施の形態に限定されない。すなわち、本開示の範囲内で種々の変形及び改良が可能である。例えば、各種変形を実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。

【0151】

例えば、実施の形態では、ロボット１の運転モードが個別に実行されるものとして記載されていたが、これに限定されない。例えば、第１制御装置３１は、１つの手術対象部分に対して複数の運転モードを順に実行してもよい。例えば、第１制御装置３１は、自動動作指令に従ってロボット１を制御する自動運転モードの前及び後の少なくとも一方において、手動動作指令に従ってロボット１を制御する手動運転モードを実行するように構成されてもよい。又は、第１制御装置３１は、修正自動運転モードの前及び後の少なくとも一方において、手動運転モードを実行するように構成されてもよい。

【0152】

また、実施の形態に係る手術システム１００は、１つのロボット１と１つのコンソール７とを含むように構成されていたが、これに限定されない。手術システム１００は、１つ以上のロボット１と１つ以上のコンソール７とを含むように構成されてもよい。

【0153】

例えば、手術システム１００は、複数のロボット１と、複数のコンソール７とを備え、制御装置３は、複数のロボット１の１つと複数のコンソール７の１つとを選択して接続するように構成されてもよい。さらに、記憶部３１５に、手術中におけるロボット１とコンソール７との組み合わせと、組み合わせの実行順序とが記憶されていてもよい。制御装置３は、記憶部３１５に記憶された組み合わせ及び組み合わせの実行順序に従って、複数のロボット１の選択された１つと複数のコンソール７の選択された１つとを接続するように構成されてもよい。

【0154】

又は、制御装置３は、手術中におけるロボット１とコンソール７との組み合わせと、組み合わせの実行順序とを指定するための指令の入力を、複数のコンソール７の少なくとも１つから受け付けるように構成されてもよい。そして、制御装置３は、上記入力に従って、複数のロボット１の選択された１つと複数のコンソール７の選択された１つとを接続してもよい。

【0155】

また、手術システム１００は、複数のロボット１と、複数のコンソール７とを備える場合、ロボット１毎に実行する運転モードが設定されてもよい。例えば、１つの手術対象部分に対して、手動運転モードを実行するロボット１と、第１～第３自動運転モードの１つ又は第１～第３自動運転モードの１つを用いた修正自動運転モードを実行するロボット１とが設定されもよい。さらに、各ロボット１は、１つの手術対象部分に対して、自身の運転モードでの動作及び／又は手動操作する術者Ｓの能力等に適した手術動作を行うように設定されてもよい。

【0156】

また、実施の形態に係る手術システム１００において、制御装置３は、記憶部３１５に、手術対象領域において手術器具が侵入することができない領域である侵入不可領域の情報を格納していてもよい。そして、制御装置３は、いずれの運転モードにおいても、侵入不可領域に手術器具が侵入しないようにロボット本体２を制御してもよい。なお、侵入不可領域の３次元位置は、予め記憶部３１５に記憶されていてもよい。又は、制御装置３は、内視鏡カメラによって撮像された手術対象領域の画像を画像処理することで、侵入不可領域を検出し、さらに、侵入不可領域の３次元位置を検出してもよい。

【0157】

また、本開示の技術は、制御方法であってもよい。例えば、本開示に係る制御方法は、手術動作を行うロボットの制御方法であって、前記ロボットに自動で手術動作をさせるための自動動作指令を生成し、前記自動動作指令に従って前記ロボットに手術動作をさせる。この制御方法によれば、上記手術システム１００と同様の効果が得られる。このような制御方法は、ＣＰＵ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。

【0158】

また、本開示の技術は、上記制御方法を実行するためのプログラムであってもよく、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

【0159】

また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。

【0160】

また、機能ブロック図におけるブロックの分割は一例であり、複数のブロックを一つのブロックとして実現する、一つのブロックを複数に分割する、及び／又は、一部の機能を他のブロックに移してもよい。また、類似する機能を有する複数のブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【符号の説明】

【0161】

１ ロボット
２ ロボット本体
３ 制御装置
７ コンソール
３１ 第１制御装置
３２ 第２制御装置
７１ 操作入力装置
１００ 手術システム
３１５ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2024-02-05

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ロボットと、
手動運転モード及び修正自動運転モードで前記ロボットを制御する制御装置と、
指令の入力を受け付け前記制御装置に出力する操作入力装置とを備え、
前記制御装置は、前記手動運転モードでは、前記操作入力装置に入力される、前記ロボットの位置及び姿勢の少なくとも１つを指令する手動操作に従って動作させるように前記ロボットの動作を制御し、前記修正自動運転モードでは、前記ロボットに自動で動作をさせるための自動動作指令を生成し、前記自動動作指令に従って前記ロボットの動作を制御する動作処理部と、
前記ロボットに自動で所定の動作をさせるための情報である自動運転情報を記憶する記憶部とを含み、
前記修正自動運転モードでの前記動作処理部は、
前記自動運転情報に従って前記自動動作指令を生成することと、
前記自動動作指令に従って自動で動作をしている前記ロボットの動作を、前記ロボットの位置及び姿勢の少なくとも１つを指令する手動操作に従って修正するための操作情報である修正操作情報を、前記操作入力装置から受け付け、前記修正操作情報に基づき、前記自動動作指令に従った動作から修正された動作である修正動作を行うように前記ロボットを制御することと、
前記修正動作での前記ロボットの位置及び姿勢のデータを含む動作情報を用いて、前記自動運転情報における前記動作情報に対応する情報を修正することで、新たな自動運転情報を生成することと、
前記新たな自動運転情報で、前記記憶部に記憶される前記自動運転情報を更新することとを行う
ロボットシステム。

【請求項2】

ロボットを制御する回路の制御方法であって、
手動運転モードにおいて、前記ロボットの位置及び姿勢の少なくとも１つを指令する手動操作に従って前記ロボットに動作させるための操作情報である手動操作情報を、操作入力装置から受け付けることと、
前記手動運転モードにおいて、受け付けた前記手動操作情報に対応する動作を行うように前記ロボットに動作させることと、
修正自動運転モードにおいて、記憶部に記憶され且つ前記ロボットに自動で所定の動作をさせるための情報である自動運転情報に従って、前記ロボットに自動で動作をさせるための自動動作指令を生成することと、
前記修正自動運転モードにおいて、前記自動動作指令に従って前記ロボットに動作をさせることと、
前記修正自動運転モードにおいて、前記自動動作指令に従って自動で動作をしている前記ロボットの動作を、前記ロボットの位置及び姿勢の少なくとも１つを指令する手動操作に従って修正するための操作情報である修正操作情報を、前記操作入力装置から受け付けることと、
前記修正自動運転モードにおいて、受け付けた前記修正操作情報に基づき、前記自動動作指令に従った動作から修正された動作である修正動作を行うように前記ロボットに動作させることと、
前記修正自動運転モードにおいて、前記修正動作での前記ロボットの位置及び姿勢のデータを含む動作情報を用いて、前記自動運転情報における前記動作情報に対応する情報を修正することで、新たな自動運転情報を生成することと、
前記修正自動運転モードにおいて、前記新たな自動運転情報で、前記記憶部に記憶される前記自動運転情報を更新することとを含む
制御方法。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０１３３

【補正方法】変更

【補正の内容】

【0133】

ステップＳ７０９において、第１制御装置３１は、操作動作指令に基づき、手動動作指令を修正動作指令として生成し、ステップＳ７１１に進む。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】０１３４

【補正方法】変更

【補正の内容】

【0134】

ステップＳ７１０において、第１制御装置３１は、対応動作指令に基づき自動動作指令を生成し、ステップＳ７１１に進む。

【手続補正5】

【補正対象書類名】図面

【補正対象項目名】図７

【補正方法】変更

【補正の内容】

【図7】