ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2022-29274情報処理装置、プログラム、学習モデル及び学習モデルの生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022029274
(43)【公開日】2022-02-17
(54)【発明の名称】情報処理装置、プログラム、学習モデル及び学習モデルの生成方法
(51)【国際特許分類】
A61B 34/32 20160101AFI20220209BHJP
A61B 1/00 20060101ALI20220209BHJP
A61B 1/045 20060101ALI20220209BHJP
B25J 13/00 20060101ALI20220209BHJP
【ＦＩ】
A61B34/32
A61B1/00 655
A61B1/045 614
A61B1/00 552
B25J13/00 Z
【審査請求】未請求
【請求項の数】23
【出願形態】ＯＬ
(21)【出願番号】P 2020132532
(22)【出願日】2020-08-04
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】横山 和人
(72)【発明者】
【氏名】黒田 容平
(72)【発明者】
【氏名】福島 哲治
(72)【発明者】
【氏名】糸谷 侑紀
(72)【発明者】
【氏名】杉本 克文
【テーマコード（参考）】
3C707
4C161
【Ｆターム（参考）】
3C707AS35
3C707BS12
3C707JS03
3C707KS03
3C707KS04
3C707KS08
3C707KT01
3C707KT05
3C707LW12
3C707LW15
4C161AA24
4C161BB03
4C161CC06
4C161DD01
4C161FF02
4C161GG13
4C161JJ11
4C161LL01
(57)【要約】
【課題】適切にラベル付けされた機械学習のためのデータを大量に収集して、学習モデルを効率的に構築することができる、情報処理装置を提供する。
【解決手段】回避すべき動作であるとラベル付けされた、医療用アームの動作に関する複数の状態情報を機械学習して生成された第１の学習モデルを用いて、前記医療用アームを自律的に動作させるように制御する制御部を備える、情報処理装置を提供する。
【選択図】図９
【解決手段】回避すべき動作であるとラベル付けされた、医療用アームの動作に関する複数の状態情報を機械学習して生成された第１の学習モデルを用いて、前記医療用アームを自律的に動作させるように制御する制御部を備える、情報処理装置を提供する。
【選択図】図９
【特許請求の範囲】
【請求項1】
回避すべき動作であるとラベル付けされた、医療用アームの動作に関する複数の状態情報を機械学習して生成された第１の学習モデルを用いて、前記医療用アームを自律的に動作させるように制御する制御部を備える、情報処理装置。
【請求項2】
前記第１の学習モデルを生成する第１の機械学習部をさらに備える、請求項１に記載の情報処理装置。
【請求項3】
前記医療用アームは、医療用観察装置を支持する、請求項１に記載の情報処理装置。
【請求項4】
前記医療用観察装置は、内視鏡である、請求項３に記載の情報処理装置。
【請求項5】
前記医療用アームは、医療用器具を支持する、請求項１に記載の情報処理装置。
【請求項6】
前記複数の状態情報は、前記医療用アームの位置、姿勢、速度、加速度、及び画像のうちの少なくともいずれか１つの種類の情報を含む、請求項１に記載の情報処理装置。
【請求項7】
前記複数の状態情報は、同一種類の異なる状態の情報を含む、請求項６に記載の情報処理装置。
【請求項8】
前記複数の状態情報は、術者の生体情報を含む、請求項１に記載の情報処理装置。
【請求項9】
前記生体情報は、前記術者の、発話音声、動作、視線、心拍、脈拍、血圧、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗のうちの少なくともいずれか１つを含む、請求項８に記載の情報処理装置。
【請求項10】
前記第１の学習モデルは、前記医療用アームの位置、姿勢、速度、加速度、及び画像の特徴量、撮像条件のうちの少なくともいずれか１つに関する情報を推定する、請求項２に記載の情報処理装置。
【請求項11】
前記制御部は、前記第１の学習モデルが推定する状態を避けるように、前記医療用アームを自律動作させる、請求項２に記載の情報処理装置。
【請求項12】
前記医療用アームの動作目標を決定する動作目標決定部をさらに備え、
前記制御部は、前記動作目標に基づき、前記医療用アームを自律動作させる、
請求項１１に記載の情報処理装置。
前記制御部は、前記動作目標に基づき、前記医療用アームを自律動作させる、
請求項１１に記載の情報処理装置。
【請求項13】
複数の前記状態情報を取得する状態情報取得部と、
前記第１の学習モデルに基づいて、前記複数の状態情報から、回避しなくてもよい動作であるとラベル付けされる複数の状態情報を抽出する第１の抽出部と、
をさらに備える、請求項１１に記載の情報処理装置。
前記第１の学習モデルに基づいて、前記複数の状態情報から、回避しなくてもよい動作であるとラベル付けされる複数の状態情報を抽出する第１の抽出部と、
をさらに備える、請求項１１に記載の情報処理装置。
【請求項14】
前記回避しなくてもよい動作であるとラベル付けされた複数の状態情報を機械学習して、第２の学習モデルを生成する第２の機械学習部をさらに備える、請求項１３に記載の情報処理装置。
【請求項15】
前記制御部は、前記第２の学習モデルを用いて前記医療用アームを自律動作させる、請求項１４に記載の情報処理装置。
【請求項16】
前記制御部は、前記第１及び第２の学習モデルの推定に対して重みづけを行う、請求項１５に記載の情報処理装置。
【請求項17】
前記制御部は、前記第１の学習モデルに従って、前記医療用アームを自律動作させ、次いで、前記第２の学習モデルに従って、前記医療用アームを自律動作させる、請求項１５に記載の情報処理装置。
【請求項18】
複数の前記状態情報を取得する状態情報取得部と、
前記複数の状態情報から、回避すべき動作であるとラベル付けされる複数の状態情報を抽出する第２の抽出部と、
をさらに備える、請求項２に記載の情報処理装置。
前記複数の状態情報から、回避すべき動作であるとラベル付けされる複数の状態情報を抽出する第２の抽出部と、
をさらに備える、請求項２に記載の情報処理装置。
【請求項19】
前記第２の抽出部は、前記複数の状態情報に含まれる画像、発話音声、停止操作情報のうちのいずれか１つに基づいて、前記複数の状態情報から、回避すべき動作であるとラベル付けされる前記複数の状態情報を抽出する、請求項１８に記載の情報処理装置。
【請求項20】
前記第１の学習モデルに従って、前記医療用アームの動作を評価する評価部をさらに備える、請求項２に記載の情報処理装置。
【請求項21】
コンピュータに、
回避すべき動作であるとラベル付けされた、医療用アームの動作に関する複数の状態情報を機械学習して生成された第１の学習モデルを用いて、前記医療用アームの自律的動作の制御を実行させる、
プログラム。
回避すべき動作であるとラベル付けされた、医療用アームの動作に関する複数の状態情報を機械学習して生成された第１の学習モデルを用いて、前記医療用アームの自律的動作の制御を実行させる、
プログラム。
【請求項22】
学習モデルに基づいて出力される状態を避けるように医療用アームを自律的に動作させるように制御するよう、コンピュータを機能させる学習モデルであって、
回避すべき動作であるとラベル付けされた、前記医療用アームの動作に関する複数の状態情報を機械学習することによって抽出された特徴量に関する情報を含む、
学習モデル。
回避すべき動作であるとラベル付けされた、前記医療用アームの動作に関する複数の状態情報を機械学習することによって抽出された特徴量に関する情報を含む、
学習モデル。
【請求項23】
学習モデルに基づいて出力される状態を避けるように医療用アームを自律的に動作させるように制御するよう、コンピュータを機能させるための学習モデルの生成方法であって、
前記医療用アームが回避すべき動作とラベル付けされた、前記医療用アームの動作に関する複数の状態情報を機械学習することにより、前記学習モデルを生成する、
学習モデルの生成方法。
前記医療用アームが回避すべき動作とラベル付けされた、前記医療用アームの動作に関する複数の状態情報を機械学習することにより、前記学習モデルを生成する、
学習モデルの生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、プログラム、学習モデル及び学習モデルの生成方法に関する。
【背景技術】
【0002】
近年、内視鏡手術においては、内視鏡を用いて患者の腹腔内を撮像し、内視鏡が撮像する撮像画像をディスプレイに表示しながら手術が行われている。例えば、下記特許文献１には、内視鏡を支持するアームの制御と、内視鏡の電子ズームの制御とを連動させる技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１８／１５９３２８号
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、近年、医療用観察システムにおいては、内視鏡を支持するロボットアーム装置を自律的に動作させるための開発が進められている。例えば、学習器に、手術内容等とそれに対応する執刀医やスコピストの動作に関する情報を機械学習させ、学習モデルを生成させる。そして、このようにして得られた学習モデルや、制御ルール等を参照して、ロボットアーム装置を自律制御するための制御情報を生成する。
【0005】
しかしながら、上記動作特有の性質から動作に対して適切にラベル付けすることが難しい。従って、動作に関する情報を大量に収集することが難しいことから、上記動作に関する学習モデルを効率的に構築することが難しい。
【0006】
そこで、本開示では、適切にラベル付けされた機械学習のためのデータを大量に収集して、学習モデルを効率的に構築することができる、情報処理装置、プログラム、学習モデル及び学習モデルの生成方法を提案する。
【課題を解決するための手段】
【0007】
本開示によれば、回避すべき動作であるとラベル付けされた、医療用アームの動作に関する複数の状態情報を機械学習して生成された第１の学習モデルを用いて、前記医療用アームを自律的に動作させるように制御する制御部を備える、情報処理装置が提供される。
【0008】
また、本開示によれば、コンピュータに、回避すべき動作であるとラベル付けされた、医療用アームの動作に関する複数の状態情報を機械学習して生成された第１の学習モデルを用いて、前記医療用アームの自律的動作の制御を実行させる、プログラムが提供される。
【0009】
また、本開示によれば、学習モデルに基づいて出力される状態を避けるように医療用アームを自律的に動作させるように制御するよう、コンピュータを機能させる学習モデルであって、回避すべき動作であるとラベル付けされた、前記医療用アームの動作に関する複数の状態情報を機械学習することによって抽出された特徴量に関する情報を含む、学習モデルが提供される。
【0010】
さらに、本開示によれば、学習モデルに基づいて出力される状態を避けるように医療用アームを自律的に動作させるように制御するよう、コンピュータを機能させるための学習モデルの生成方法であって、前記医療用アームが回避すべき動作とラベル付けされた、前記医療用アームの動作に関する複数の状態情報を機械学習することにより、前記学習モデルを生成する、学習モデルの生成方法が提供される。
【図面の簡単な説明】
【0011】
【図1】本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【図3】本開示の実施形態に係る斜視鏡の構成を示す模式図である。
【図4】本開示の実施形態に係る医療用観察システム１０の構成の一例を示す図である。
【図5】本開示の実施形態の概要を説明するための説明図である。
【図6】本開示の第１の実施形態に係る学習装置２００の構成の一例を示すブロック図である。
【図7】本開示の第１の実施形態に係る反面教師モデルの生成方法の一例を示すフローチャートである。
【図8】本開示の第１の実施形態に係る反面教師モデルの生成方法の一例を説明するための説明図である。
【図9】本開示の第１の実施形態に係る制御装置３００の構成の一例を示すブロック図である。
【図10】本開示の第１の実施形態に係る制御方法の一例を示すフローチャートである。
【図11】本開示の第１の実施形態に係る制御方法を説明するための説明図である。
【図12】本開示の第２の実施形態に係る教師モデルの生成方法を説明するための説明図である。
【図13】本開示の第２の実施形態に係る制御方法の一例を示すフローチャートである。
【図14】本開示の第２の実施形態に係る制御方法を説明するための説明図である。
【図15】本開示の第３の実施形態に係る制御方法を説明するための説明図（その１）である。
【図16】本開示の第３の実施形態に係る制御方法を説明するための説明図（その２）である。
【図17】本開示の第４の実施形態に係る評価装置４００の構成の一例を示すブロック図である。
【図18】本開示の第４の実施形態に係る評価方法の一例を示すフローチャートである。
【図19】本開示の第４の実施形態に係る評価方法を説明するための説明図である。
【図20】本開示の第４の実施形態に係る表示画面の一例を説明するための説明図（その１）である。
【図21】本開示の第４の実施形態に係る表示画面の一例を説明するための説明図（その２）である。
【図22】本開示の実施形態に係る反面教師モデルの生成機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0012】
以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0013】
なお、説明は以下の順序で行うものとする。
１． 内視鏡手術システム５０００の構成例
１．１ 内視鏡手術システム５０００の概略的な構成
１．２ 支持アーム装置５０２７の詳細構成例
１．３ 光源装置５０４３の詳細構成例
１．４ カメラヘッド５００５及びＣＣＵ５０３９の詳細構成例
１．５ 内視鏡５００１の構成例
２． 医療用観察システム１０の構成例
３． 本開示の実施形態を創作するに至る背景
４． 第１の実施形態
４．１ 反面教師モデルの生成
４．２ 反面教師モデルによる自律制御
５． 第２の実施形態
５．１ 教師モデルの生成
５．２ 反面教師モデルによる自律制御
６． 第３の実施形態
７． 第４の実施形態
７．１ 評価装置４００の詳細構成例
７．２ 評価方法
８． まとめ
９． ハードウェア構成
１０． 補足
１． 内視鏡手術システム５０００の構成例
１．１ 内視鏡手術システム５０００の概略的な構成
１．２ 支持アーム装置５０２７の詳細構成例
１．３ 光源装置５０４３の詳細構成例
１．４ カメラヘッド５００５及びＣＣＵ５０３９の詳細構成例
１．５ 内視鏡５００１の構成例
２． 医療用観察システム１０の構成例
３． 本開示の実施形態を創作するに至る背景
４． 第１の実施形態
４．１ 反面教師モデルの生成
４．２ 反面教師モデルによる自律制御
５． 第２の実施形態
５．１ 教師モデルの生成
５．２ 反面教師モデルによる自律制御
６． 第３の実施形態
７． 第４の実施形態
７．１ 評価装置４００の詳細構成例
７．２ 評価方法
８． まとめ
９． ハードウェア構成
１０． 補足
【0014】
＜＜１． 内視鏡手術システム５０００の構成例＞＞
＜１．１ 内視鏡手術システム５０００の概略的な構成＞
まず、本開示の実施形態の詳細を説明する前に、図１を参照して、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成について説明する。図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、執刀医５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図１に示すように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具（医療用器具）５０１７と、内視鏡（医療用観察装置）５００１を支持する支持アーム装置（医療用アーム）５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７とを有する。以下、内視鏡手術システム５０００の詳細について、順次説明する。
＜１．１ 内視鏡手術システム５０００の概略的な構成＞
まず、本開示の実施形態の詳細を説明する前に、図１を参照して、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成について説明する。図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、執刀医５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図１に示すように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具（医療用器具）５０１７と、内視鏡（医療用観察装置）５００１を支持する支持アーム装置（医療用アーム）５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７とを有する。以下、内視鏡手術システム５０００の詳細について、順次説明する。
【0015】
（術具５０１７）
内視鏡手術では、腹壁を切って開腹する代わりに、例えば、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図１に示す例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図１に示す術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具を挙げることができる。
内視鏡手術では、腹壁を切って開腹する代わりに、例えば、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図１に示す例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図１に示す術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具を挙げることができる。
【0016】
（支持アーム装置５０２７）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を有する。図１に示す例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。そして、アーム部５０３１によって内視鏡５００１が支持され、内視鏡５００１の位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を有する。図１に示す例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。そして、アーム部５０３１によって内視鏡５００１が支持され、内視鏡５００１の位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
【0017】
（内視鏡５００１）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５とから構成される。図１に示す例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよく、本開示の実施形態においては、特に限定されるものではない。
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５とから構成される。図１に示す例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよく、本開示の実施形態においては、特に限定されるものではない。
【0018】
鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導かれ、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、本開示の実施形態においては、内視鏡５００１は、前方直視鏡であってもよいし、斜視鏡であってもよく、特に限定されるものではない。
【0019】
カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
【0020】
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられることとなる。
【0021】
（カートに搭載される各種の装置について）
まず、表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が、例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は、３Ｄ表示に対応したものである場合には、表示装置５０４１として、それぞれに対応する、高解像度の表示が可能なもの、及び／又は、３Ｄ表示可能なものが用いられる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられていてもよい。
まず、表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が、例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は、３Ｄ表示に対応したものである場合には、表示装置５０４１として、それぞれに対応する、高解像度の表示が可能なもの、及び／又は、３Ｄ表示可能なものが用いられる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられていてもよい。
【0022】
また、内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像は、当該表示装置５０４１に表示される。執刀医５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行うことができる。なお、図示を省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、執刀医５０６７又は助手等によって支持されてもよい。
【0023】
また、ＣＣＵ５０３９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御することができる。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。さらに、ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号は、倍率や焦点距離等、撮像条件に関する情報を含むことができる。
【0024】
光源装置５０４３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。
【0025】
アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
【0026】
入力装置５０４７は、内視鏡手術システム５０００に対する入力インターフェイスである。執刀医５０６７は、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、執刀医５０６７は、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、執刀医５０６７は、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力することができる。なお、入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７、及び／又は、レバー等が適用され得る。例えば、入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられていてもよい。
【0027】
あるいは、入力装置５０４７は、例えば、メガネ型のウェアラブルデバイスやＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の、執刀医５０６７の身体の一部に装着されるデバイスであってもよい。この場合、これらのデバイスによって検出される執刀医５０６７のジェスチャや視線に応じて、各種の入力が行われることとなる。また、入力装置５０４７は、執刀医５０６７の動きを検出可能なカメラを含むことができ、当該カメラによって撮像された画像から検出される執刀医５０６７のジェスチャや視線に応じて、各種の入力が行われてもよい。さらに、入力装置５０４７は、執刀医５０６７の声を収音可能なマイクロフォンを含むことができ、当該マイクロフォンを介して音声によって各種の入力が行われてもよい。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば執刀医５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、執刀医５０６７は、所持している術具から手を離すことなく機器を操作することが可能となるため、執刀医５０６７の利便性が向上する。
【0028】
処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び執刀医５０６７の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【0029】
＜１．２ 支持アーム装置５０２７の詳細構成例＞
さらに、支持アーム装置５０２７の詳細構成の一例について説明する。支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１とを有する。図１に示す例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂとから構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。具体的には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
さらに、支持アーム装置５０２７の詳細構成の一例について説明する。支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１とを有する。図１に示す例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂとから構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。具体的には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
【0030】
関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
【0031】
例えば、執刀医５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１（スレーブ）は、手術室から離れた場所または手術室内に設置される入力装置５０４７（マスターコンソール）を介して執刀医５０６７によって遠隔操作され得る。
【0032】
ここで、一般的には、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、本開示の実施形態においては、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
【0033】
なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
【0034】
＜１．３ 光源装置５０４３の詳細構成例＞
次に、光源装置５０４３の詳細構成の一例について説明する。光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
次に、光源装置５０４３の詳細構成の一例について説明する。光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【0035】
また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【0036】
また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又は、インドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光、及び／又は、励起光を供給可能に構成され得る。
【0037】
＜１．４ カメラヘッド５００５及びＣＣＵ５０３９の詳細構成例＞
次に、図２を参照して、カメラヘッド５００５及びＣＣＵ５０３９の詳細構成の一例について説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
次に、図２を参照して、カメラヘッド５００５及びＣＣＵ５０３９の詳細構成の一例について説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
【0038】
詳細には、図２に示すように、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５とを有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３とを有する。そして、カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
【0039】
まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
【0040】
撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。
【0041】
撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、執刀医５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
【0042】
また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい（ステレオ方式）。３Ｄ表示が行われることにより、執刀医５０６７は術部における生体組織（臓器）の奥行きをより正確に把握することや、生体組織までの距離を把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられてもよい。
【0043】
また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
【0044】
駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。
【0045】
通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、執刀医５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
【0046】
また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、及び／又は、撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
【0047】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が内視鏡５００１に搭載される。
【0048】
カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報、及び／又は、撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、さらに、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を有していてもよい。
【0049】
なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
【0050】
次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。
【0051】
また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
【0052】
画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）処理、及び／又は、手ブレ補正処理等）、及び／又は、拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
【0053】
画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
【0054】
制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件が執刀医５０６７によって入力されている場合には、制御部５０６３は、当該執刀医５０６７による入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
【0055】
また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、執刀医５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
【0056】
カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又は、これらの複合ケーブルである。
【0057】
ここで、図示する例においては、伝送ケーブル５０６５を用いて有線で通信が行われているものとしていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフ（例えば、執刀医５０６７）の移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
【0058】
【0059】
詳細には、図３に示すように、斜視鏡４１００は、カメラヘッド４２００の先端に装着されている。斜視鏡４１００は図１及び図２で説明した鏡筒５００３に対応し、カメラヘッド４２００は、図１及び図２で説明したカメラヘッド５００５に対応する。斜視鏡４１００とカメラヘッド４２００は互いに独立して回動可能とされている。斜視鏡４１００とカメラヘッド４２００の間には、各関節部５０３３ａ，５０３３ｂ，５０３３ｃと同様にアクチュエータが設けられており、斜視鏡４１００はアクチュエータの駆動によってカメラヘッド４２００に対して回転する。
【0060】
斜視鏡４１００は、支持アーム装置５０２７によって支持される。支持アーム装置５０２７は、スコピストの代わりに斜視鏡４１００を保持し、また執刀医５０６７や助手の操作によって斜視鏡４１００を所望の部位が観察できるように移動させる機能を有する。
【0061】
なお、本開示の実施形態においては、内視鏡５００１は、斜視鏡４１００に限定されるものではない。例えば、内視鏡５００１は、内視鏡の先端部の前方を捉える前方直視鏡（図示省略）であってもよく、さらには、内視鏡で捉えた広角画像から画像を切り出す機能（広角／切り出し機能）を有していてもよい。また、例えば、内視鏡５００１は、内視鏡の先端部が執刀医５０６７の操作に従って自由に湾曲することにより視野を可変することができる先端湾曲機能付きの内視鏡（図示省略）であってもよい。また、例えば、内視鏡５００１は、内視鏡の先端部に、視野の異なる複数のカメラユニットを内蔵させて、それぞれのカメラによって異なる画像を得ることができる他方向同時撮影機能付きの内視鏡（図示省略）であってもよい。
【0062】
以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、顕微鏡手術システムに適用されてもよい。
【0063】
＜＜２． 医療用観察システム１０の構成例＞＞
さらに、図４を参照して、上述した内視鏡手術システム５０００と組み合わせることが可能な、本開示の実施形態に係る医療用観察システム１０の構成の一例について説明する。図４は、本開示の実施形態に係る医療用観察システム１０の構成の一例を示す図である。図４に示すように、医療用観察システム１０は、内視鏡ロボットアームシステム１００と、学習装置２００と、制御装置３００と、評価装置４００と、提示装置５００と、執刀医側装置６００とを主に含む。以下、医療用観察システム１０に含まれる各装置について説明する。
さらに、図４を参照して、上述した内視鏡手術システム５０００と組み合わせることが可能な、本開示の実施形態に係る医療用観察システム１０の構成の一例について説明する。図４は、本開示の実施形態に係る医療用観察システム１０の構成の一例を示す図である。図４に示すように、医療用観察システム１０は、内視鏡ロボットアームシステム１００と、学習装置２００と、制御装置３００と、評価装置４００と、提示装置５００と、執刀医側装置６００とを主に含む。以下、医療用観察システム１０に含まれる各装置について説明する。
【0064】
まず、医療用観察システム１０の構成の詳細を説明する前に、医療用観察システム１０の動作の概要について説明する。当該医療用観察システム１０においては、内視鏡ロボットアームシステム１００を用いて、アーム部１０２（上述した支持アーム装置５０２７に対応する）を制御することにより、人手によらずに、アーム部１０２に支持された撮像部１０４（上述した内視鏡５００１に対応する）の位置を好適な位置に固定することができる。従って、当該医療用観察システム１０によれば、術部の画像を安定的に得ることができることから、執刀医５０６７は、手術を円滑に行うことを可能にする。なお、以下の説明においては、内視鏡の位置を移動させたり、固定させたりする人をスコピストと呼び、人手又は機械での制御に関係なく、内視鏡５００１の動作（移動、停止、姿勢の変化や、ズームイン、ズームアウト等を含む）をスコープワークと呼ぶ。
【0065】
（内視鏡ロボットアームシステム１００）
内視鏡ロボットアームシステム１００は、撮像部１０４（内視鏡５００１）を支持するアーム部１０２（支持アーム装置５０２７）であって、詳細には、図４に示すように、アーム部（医療用アーム）１０２と、撮像部（医療用観察装置）１０４と、光源部１０６とを主に有する。以下に、内視鏡ロボットアームシステム１００に含まれる各機能部について説明する。
内視鏡ロボットアームシステム１００は、撮像部１０４（内視鏡５００１）を支持するアーム部１０２（支持アーム装置５０２７）であって、詳細には、図４に示すように、アーム部（医療用アーム）１０２と、撮像部（医療用観察装置）１０４と、光源部１０６とを主に有する。以下に、内視鏡ロボットアームシステム１００に含まれる各機能部について説明する。
【0066】
アーム部１０２は、複数の関節部と複数のリンクから構成される多リンク構造体である多関節アーム（図１に示すアーム部５０３１に対応する）を有し、当該アーム部１０２を可動範囲内で駆動させることにより、当該アーム部１０２の先端に設けられる撮像部１０４（内視鏡５００１）の位置及び姿勢の制御することができる。また、アーム部１０２は、アーム部１０２の位置や姿勢のデータを得るために、加速度センサ、ジャイロセンサ、地磁気センサ等を含むモーションセンサ（図示省略）を有していてもよい。
【0067】
撮像部１０４は、アーム部１０２の先端に設けられ、各種の撮像対象物の画像を撮像する。言い換えると、アーム部１０２は、撮像部１０４を支持している。なお、撮像部１０４は、先に説明したように、例えば、斜視鏡４１００、広角／切り出し機能付きの前方直視鏡（図示省略）、先端湾曲機能付きの内視鏡（図示省略）、他方向同時撮影機能付きの内視鏡（図示省略）であってもよく、もしくは、顕微鏡であってもよく、特に限定されるものではない。
【0068】
さらに、撮像部１０４は、例えば、患者の腹腔内の各種の医療用器具（術具）、臓器等を含む術野画像を撮像することができる。具体的には、撮像部１０４は、撮影対象を動画や静止画の形式で撮影することのできるカメラであり、広角光学系で構成された広角カメラであることが好ましい。例えば、通常の内視鏡の画角が８０°程度であることに対し、本実施形態に係る撮像部１０４の画角は１４０°であってもよい。なお、撮像部１０４の画角は８０°を超えていれば１４０°よりも小さくてもよいし、１４０°以上であってもよい。また、撮像部１０４は、撮像した画像に対応する電気信号（画像信号）を制御装置３００等に送信することができる。なお、図４において、撮像部１０４は内視鏡ロボットアームシステム１００に含まれる必要はなく、アーム部１０２に支持されていればその態様は限定されない。さらに、アーム部１０２は、鉗子５０２３等の医療用器具を支持していてもよい。
【0069】
また、本開示の実施形態においては、撮像部１０４は、測距することが可能なステレオ方式の内視鏡であってもよい。もしくは、撮像部１０４に、又は、撮像部１０４とは別個に、ｄｅｐｔｈセンサ（測距装置）（図示省略）が設けられていてもよい。ｄｅｐｔｈセンサは、例えば、被写体からのパルス光の反射の戻り時間を用いて測距を行うＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式や、格子状のパターン光を照射して、パターンの歪みにより測距を行うストラクチャードライト方式を用いて測距を行うセンサであることができる。
【0070】
さらに、光源部１０６は、撮像部１０４が撮像対象物に光を照射する。光源部１０６は、例えば、広角レンズ用のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）で実現することができる。光源部１０６は、例えば、通常のＬＥＤと、レンズとを組み合わせて構成し、光を拡散させてもよい。また、光源部１０６は、光ファイバ（ライトガイド）で伝達された光をレンズで拡散させる（広角化させる）構成であってもよい。また、光源部１０６は、光ファイバ自体を複数の方向に向けて光を照射することで照射範囲を広げてもよい。なお、図４において、光源部１０６は必ずしも内視鏡ロボットアームシステム１００に含まれる必要はなく、アーム部１０２に支持される撮像部１０４に照射光を導光できればその態様は限定されるものではない。
【0071】
（学習装置２００）
学習装置２００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、上記内視鏡ロボットアームシステム１００を自律動作させるための自律動作制御情報生成する際に用いられる学習モデルを生成する装置である。また、本開示の実施形態においては、各種の入力情報が有する特徴に基づいて、入力情報の分類や分類結果に応じた処理を行う学習モデルが生成される。学習モデルは、入力層と、複数の中間層（隠れ層）と、出力層とを含む複数のノードを有する多層のニューラルネットワークであるＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等により実現されてもよい。例えば、学習モデルの生成は、まず、入力層を介して各種の入力情報が入力され、直列に接続された複数の中間層において入力情報が有する特徴の抽出処理等を行う。次に、出力層を介して、中間層が出力した情報に基づく分類結果等の各種処理結果を入力された入力情報に対応する出力情報として出力することによって、学習モデルを生成することができる。しかしながら、本開示の実施形態においては、これに限定されるものではない。
学習装置２００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、上記内視鏡ロボットアームシステム１００を自律動作させるための自律動作制御情報生成する際に用いられる学習モデルを生成する装置である。また、本開示の実施形態においては、各種の入力情報が有する特徴に基づいて、入力情報の分類や分類結果に応じた処理を行う学習モデルが生成される。学習モデルは、入力層と、複数の中間層（隠れ層）と、出力層とを含む複数のノードを有する多層のニューラルネットワークであるＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等により実現されてもよい。例えば、学習モデルの生成は、まず、入力層を介して各種の入力情報が入力され、直列に接続された複数の中間層において入力情報が有する特徴の抽出処理等を行う。次に、出力層を介して、中間層が出力した情報に基づく分類結果等の各種処理結果を入力された入力情報に対応する出力情報として出力することによって、学習モデルを生成することができる。しかしながら、本開示の実施形態においては、これに限定されるものではない。
【0072】
なお、学習装置２００の詳細構成については後述する。また、学習装置２００は、上述した、図４に示す内視鏡ロボットアームシステム１００、制御装置３００、評価装置４００、提示装置５００、執刀医側装置６００のうちの少なくともいずれか１つと一体の装置であってもよく、別体の装置であってもよい。もしくは、学習装置２００は、クラウド上に設けられ、内視鏡ロボットアームシステム１００、制御装置３００、評価装置４００、提示装置５００、執刀医側装置６００と通信可能に接続された装置であってもよい。
【0073】
（制御装置３００）
制御装置３００は、上述した学習装置２００で生成した学習モデルに基づいて、内視鏡ロボットアームシステム１００の駆動を制御する。制御装置３００は、例えば、ＣＰＵやＭＰＵ等によって、後述する記憶部に記憶されたプログラム（例えば、本開示の実施形態に係るプログラム）がＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を作業領域として実行されることにより実現される。また、制御装置３００は、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）であり、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。
制御装置３００は、上述した学習装置２００で生成した学習モデルに基づいて、内視鏡ロボットアームシステム１００の駆動を制御する。制御装置３００は、例えば、ＣＰＵやＭＰＵ等によって、後述する記憶部に記憶されたプログラム（例えば、本開示の実施形態に係るプログラム）がＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を作業領域として実行されることにより実現される。また、制御装置３００は、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）であり、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。
【0074】
なお、制御装置３００の詳細構成については後述する。また、制御装置３００は、上述した、図４に示す内視鏡ロボットアームシステム１００、学習装置２００、評価装置４００、提示装置５００、執刀医側装置６００のうちの少なくともいずれか１つと一体の装置であってもよく、別体の装置であってもよい。もしくは、制御装置３００は、クラウド上に設けられ、内視鏡ロボットアームシステム１００、学習装置２００、評価装置４００、提示装置５００、執刀医側装置６００と通信可能に接続された装置であってもよい。
【0075】
（評価装置４００）
評価装置４００は、上述した学習装置２００で生成した学習モデルに基づいて、内視鏡ロボットアームシステム１００の動作を評価する。評価装置４００は、例えば、ＣＰＵやＭＰＵ等によって、後述する記憶部に記憶されたプログラム（例えば、本開示の実施形態に係るプログラム）がＲＡＭ等を作業領域として実行されることにより実現される。なお、評価装置４００の詳細構成については後述する。また、評価装置４００は、上述した、図４に示す内視鏡ロボットアームシステム１００、学習装置２００、制御装置３００、提示装置５００、執刀医側装置６００のうちの少なくともいずれか１つと一体の装置であってもよく、別体の装置であってもよい。もしくは、評価装置４００は、クラウド上に設けられ、内視鏡ロボットアームシステム１００、学習装置２００、制御装置３００、提示装置５００、執刀医側装置６００と通信可能に接続された装置であってもよい。
評価装置４００は、上述した学習装置２００で生成した学習モデルに基づいて、内視鏡ロボットアームシステム１００の動作を評価する。評価装置４００は、例えば、ＣＰＵやＭＰＵ等によって、後述する記憶部に記憶されたプログラム（例えば、本開示の実施形態に係るプログラム）がＲＡＭ等を作業領域として実行されることにより実現される。なお、評価装置４００の詳細構成については後述する。また、評価装置４００は、上述した、図４に示す内視鏡ロボットアームシステム１００、学習装置２００、制御装置３００、提示装置５００、執刀医側装置６００のうちの少なくともいずれか１つと一体の装置であってもよく、別体の装置であってもよい。もしくは、評価装置４００は、クラウド上に設けられ、内視鏡ロボットアームシステム１００、学習装置２００、制御装置３００、提示装置５００、執刀医側装置６００と通信可能に接続された装置であってもよい。
【0076】
（提示装置５００）
提示装置５００は、各種の画像を表示する。提示装置５００は、例えば、撮像部１０４によって撮像された画像を表示する。提示装置５００は、例えば、液晶ディスプレイ（ＬＣＤ:Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を含むディスプレイであることができる。なお、提示装置５００は、上述した、図４に示す内視鏡ロボットアームシステム１００、学習装置２００、制御装置３００、評価装置４００、執刀医側装置６００のうちの少なくともいずれか１つと一体の装置であってもよい。もしくは、提示装置５００は、内視鏡ロボットアームシステム１００、学習装置２００、制御装置３００、評価装置４００、執刀医側装置６００のうちの少なくともいずれか１つと、有線又は無線で通信可能に接続された、別体の装置であってもよい。
提示装置５００は、各種の画像を表示する。提示装置５００は、例えば、撮像部１０４によって撮像された画像を表示する。提示装置５００は、例えば、液晶ディスプレイ（ＬＣＤ:Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を含むディスプレイであることができる。なお、提示装置５００は、上述した、図４に示す内視鏡ロボットアームシステム１００、学習装置２００、制御装置３００、評価装置４００、執刀医側装置６００のうちの少なくともいずれか１つと一体の装置であってもよい。もしくは、提示装置５００は、内視鏡ロボットアームシステム１００、学習装置２００、制御装置３００、評価装置４００、執刀医側装置６００のうちの少なくともいずれか１つと、有線又は無線で通信可能に接続された、別体の装置であってもよい。
【0077】
（執刀医側装置６００）
執刀医側装置６００は、執刀医５０６７の近傍に設置される、又は、執刀医５０６７の身体に装着された装置（ウェアラブルデバイス）であって、詳細には、例えば、センサ６０２やユーザーインタフェース（ＵＩ）６０４であることができる。
執刀医側装置６００は、執刀医５０６７の近傍に設置される、又は、執刀医５０６７の身体に装着された装置（ウェアラブルデバイス）であって、詳細には、例えば、センサ６０２やユーザーインタフェース（ＵＩ）６０４であることができる。
【0078】
例えば、センサ６０２は、執刀医５０６７の発話音声を検出するサウンドセンサ（図示省略）、執刀医５０６７の視線を検出する視線センサ（図示省略）、執刀医５０６７の動作を検出するモーションセンサ（図示省略）等であることができる。ここで、サウンドセンサは、具体的には、執刀医５０６７の発話音声等を収音することができるマイクロフォン等の収音装置であることができる。視線センサは、例えば、レンズ及び撮像素子等によって構成された撮像装置であることができる。さらに具体的には、当該撮像センサによって、執刀医５０６７の眼球運動、瞳孔径の大きさ、凝視時間等の視線の情報を含むセンシングデータを取得することができる。
【0079】
また、モーションセンサは、執刀医５０６７の動作を検出するセンサであり、具体的には、加速度センサ（図示省略）や、ジャイロセンサ（図示省略）等であることができる。詳細には、当該モーションセンサは、執刀医５０６７の動作に伴って発生する加速度や角速度等の変化を検出し、検出されたこれらの変化を示すセンシングデータを取得する。より具体的には、当該モーションセンサによって、例えば、執刀医５０６７の、頭の動きや姿勢、身体の揺れ等の情報を含むセンシングデータを取得することができる。
【0080】
生体情報センサは、執刀医５０６７の生体情報を検出するセンサであり、例えば、執刀医５０６７の身体の一部に直接的に装着され、執刀医５０６７の、心拍、脈拍、血圧、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗等を測定する各種センサであることができる。また、生体情報センサは、上述したような撮像装置（図示省略）を含んでもよく、この場合、当該撮像装置によって、執刀医５０６７の脈拍、表情筋の動き（表情）等の情報を含むセンシングデータを取得してもよい。
【0081】
さらに、ＵＩ６０４は、執刀医の入力を受け付ける入力装置であってもよい。具体的には、ＵＩ６０４は、執刀医５０６７からのテキスト入力を受け付ける操作スティック（図示省略）、ボタン（図示省略）、キーボード（図示省略）、フットスイッチ（図示省略）、タッチパネル（図示省略）、マスターコンソール（図示省略）や、執刀医５０６７からの音声入力を受け付ける収音装置（図示省略）であることができる。
【0082】
＜＜３． 本開示の実施形態を創作するに至る背景＞＞
ところで、近年、上述した医療用観察システム１０においては、内視鏡ロボットアームシステム１００を自律的に動作させるための開発が進められている。詳細には、医療用観察システム１０における内視鏡ロボットアームシステム１００の自律的動作は、様々な段階にレベル分けすることができる。例えば、執刀医（術者）５０６７をシステムによってガイドするレベル、システムによって、撮像部１０４の位置を移動させる、術部の縫合を行う等といった手術における一部の動作（タスク）を自律的に実行するレベルを挙げることができる。さらには、システムによって手術における動作内容を自動生成し、自動生成した動作から医師が選択した動作を内視鏡ロボットアームシステム１００が行うレベル等を挙げることができる。そして、将来的には、医師の監視下、もしくは、医師の監視なしに、内視鏡ロボットアームシステム１００が手術における全てのタスクを実行するレベルも考えられる。
ところで、近年、上述した医療用観察システム１０においては、内視鏡ロボットアームシステム１００を自律的に動作させるための開発が進められている。詳細には、医療用観察システム１０における内視鏡ロボットアームシステム１００の自律的動作は、様々な段階にレベル分けすることができる。例えば、執刀医（術者）５０６７をシステムによってガイドするレベル、システムによって、撮像部１０４の位置を移動させる、術部の縫合を行う等といった手術における一部の動作（タスク）を自律的に実行するレベルを挙げることができる。さらには、システムによって手術における動作内容を自動生成し、自動生成した動作から医師が選択した動作を内視鏡ロボットアームシステム１００が行うレベル等を挙げることができる。そして、将来的には、医師の監視下、もしくは、医師の監視なしに、内視鏡ロボットアームシステム１００が手術における全てのタスクを実行するレベルも考えられる。
【0083】
なお、以下に説明する本開示の実施形態においては、内視鏡ロボットアームシステム１００が、スコピストの代わりに、撮像部１０４の位置を移動させるタスク（スコープワーク）を自律的に実行し、執刀医５０６７が、移動させた撮像部１０４による画像を参照して、直接的に手術、又は、遠隔操作により手術を行う場合での利用を想定している。例えば、内視鏡手術においては、適切でないスコープワークは、執刀医５０６７の疲労や画面酔い等、執刀医５０６７への負担増加につながり、さらに、スコープワークのスキル自体の難しさや熟練者不足の問題もあることから、内視鏡ロボットアームシステム１００によるスコープワークの自律化が強く求められている。
【0084】
内視鏡ロボットアームシステム１００の自律的動作のためには、自律動作のための制御情報（例えば、目標値等）を予め生成することが求められる。そこで、学習器に、手術内容等とそれに対応する執刀医５０６７の手術動作やスコピストのスコープワーク等の動作に関するデータを機械学習させ、学習モデルを生成させる。そして、このようにして得られた学習モデルや、制御ルール等を参照して、制御情報を生成する。より具体的には、例えば製造ライン等で使用されるようなロボット等に対する従来から存在する自律制御手法を、スコープワークの自律制御に適用しようとする場合、学習器に、大量の良いスコープワークの動作のデータ（正解データ）を入力して、機械学習させることとなる。
【0085】
しかしながら、スコープワークは、執刀医５０６７等によって好みや程度感が異なるため、その正解がわかり難い。言い換えると、スコープワークの良し悪しは、人（執刀医５０６７やスコピスト等）の感性に関わるため、スコープワークの良さを定量的に評価することができる好適な方法が存在しない。従って、良いとされるスコープワークの動作のデータを大量に収集することが難しい。そして、良いスコープワークの動作のデータに基づいて学習モデルを構築できたとしても、機械学習したデータの少なさから偏った動作のデータによって構築されることから、得られた学習モデルは、すべての状態（執刀医５０６７の好み、術式、患部の状態等）を好適にカバーすることが難しい。言い換えると、スコープワーク特有の性質から、スコープワークに対して適切にラベル付けすることが難しい。また、良いスコープワークの動作のデータを大量に収集することが困難であることから、スコープワークに関する学習モデルを効率的に構築することが難しい。すなわち、従来から存在する自律制御手法をスコープワークの自律制御に適用することが難しい。加えて、医療現場においては、使用することができる機器や時間に制約があり、さらに、患者のプライバシーを保護する必要があることから、手術時のスコープワークの動作のデータを大量に得ることは難しい。
【0086】
そこで、上述のような状況において、本発明者らは、学習器に、大量の良いスコープワークの動作のデータ（正解データ）の代わりに、大量の悪い（回避すべき）スコープワークの動作のデータを入力して、機械学習させることを、独自に着想した。先に説明したように、スコープワークの良し悪しは、人の感性に関わるため、人が異なると、良いとされるスコープワークも異なることとなる。一方、悪い（回避すべき）スコープワークは、人が異なっても、見解が共通、一致しやすい。従って、人の感性を考慮した上であっても、悪いスコープワークのデータを大量に収集することは、良いスコープワークに比べて容易である。そこで、本発明者らの創作した本開示の実施形態においては、学習器に、大量の悪いスコープワークの動作のデータを用いて機械学習させるようにすることで、人の感性を考慮した学習モデル（反面教師モデル）を効率的に構築することができる。さらに、本実施形態においては、このようにして得られた学習モデルが出力した状態（回避すべき状態）を避けるように目標値を定め、内視鏡ロボットアームシステム１００の自律制御を行う。
【0087】
以上のような、本発明者らが創作した本開示の実施形態によれば、適切にラベル付けされた機械学習のためのデータを大量に収集することができることから、学習モデルを効率的に構築することができる。
【0088】
以下の説明において、「回避すべきスコープワーク」とは、内視鏡下手術において、執刀医５０６７が手術を実行するにあたって適切な視野が得られてないスコープワークを意味する。より具体的には、「回避すべきスコープワーク」は、例えば、術部や、執刀医５０６７が担持する医療用器具の画像等が得られていないスコープワークを含み得る。本実施形態においては、「回避すべきスコープワーク」は、医者やスコピストだけでなく、一般の人にとっても、明らかに適切でないと判断されるスコープワークであることが好ましい。また、以下の説明において、「回避しなくてもよいスコープワーク」とは、様々なスコープワークから、上述した「回避すべきスコープワーク」を除いたスコープワークを意味するものとする。また、本明細書においては、「良いスコープワーク」は、執刀医等が適切であると判断するスコープワークを意味するが、先に説明したように、スコープワークの良し悪しは人の感性に関わるため、明確に一意的に定まるスコープワークではないとする。さらに、以下の説明においては、上記「回避すべきスコープワーク」のデータを機械学習して生成される学習モデルを反面教師モデル（learning models for teaching negative cases)（第１の学習モデル）と呼ぶ。
【0089】
また、本開示の各実施形態の詳細を説明する前に、図５を参照して、本発明者らが創作した本開示の実施形態の概要を説明する。図５は、本実施形態の概要を説明するための説明図である。以下に説明する本開示の実施形態においては、まず、第１の実施形態として、「回避すべきスコープワーク」を機械学習することにより反面教師モデルを生成し、生成した反面教師モデルを用いて、内視鏡ロボットアームシステム１００の自律制御を行う（図５の左側に示す流れ）。また、第２の実施形態として、反面教師モデルを用いて「回避しなくてもよいスコープワーク」のデータを収集し、収集したデータを機械学習することにより教師モデル（第２の学習モデル）を生成し、生成した教師モデルを用いて、内視鏡ロボットアームシステム１００の自律制御を行う（図５の右側に示す流れ）。また、第３の実施形態として、第１の実施形態に係る反面教師モデルと第２の実施形態に係る教師モデルを用いて、内視鏡ロボットアームシステム１００の自律制御を行う（図５の下段に示す）。さらに、本開示においては、図５では図示していないものの、第４の実施形態として、反面教師モデルを利用して、スコピストのスコープワークに対して評価を行う。以下、このような本開示の実施形態の詳細を順次説明する。
【0090】
＜＜４． 第１の実施形態＞＞
＜４．１ 反面教師モデルの生成＞
～学習装置２００の詳細構成～
まずは、図６を参照して、本開示の実施形態に係る学習装置２００の詳細構成例について説明する。図６は、本実施形態に係る学習装置２００の構成の一例を示すブロック図である。当該学習装置２００は、自律動作制御情報を生成する際に用いられる反面教師モデルを生成することができる。詳細には、図６に示すように、学習装置２００は、情報取得部（状態情報取得部）２１２と、抽出部（第２の抽出部）２１４と、機械学習部（第１の機械学習部）２１６と、出力部２２６と、記憶部２３０とを主に有する。以下に、学習装置２００の各機能部の詳細について順次説明する。
＜４．１ 反面教師モデルの生成＞
～学習装置２００の詳細構成～
まずは、図６を参照して、本開示の実施形態に係る学習装置２００の詳細構成例について説明する。図６は、本実施形態に係る学習装置２００の構成の一例を示すブロック図である。当該学習装置２００は、自律動作制御情報を生成する際に用いられる反面教師モデルを生成することができる。詳細には、図６に示すように、学習装置２００は、情報取得部（状態情報取得部）２１２と、抽出部（第２の抽出部）２１４と、機械学習部（第１の機械学習部）２１６と、出力部２２６と、記憶部２３０とを主に有する。以下に、学習装置２００の各機能部の詳細について順次説明する。
【0091】
（情報取得部２１２）
情報取得部２１２は、上述した、内視鏡ロボットアームシステム１００や、センサ６０２及びＵＩ６０４を含む執刀医側装置６００から、内視鏡ロボットアームシステム１００の状態や執刀医５０６７の状態等に関する各種データ（状態情報）を取得することができる。さらに、情報取得部２１２は、後述する抽出部２１４に取得したデータを出力する。
情報取得部２１２は、上述した、内視鏡ロボットアームシステム１００や、センサ６０２及びＵＩ６０４を含む執刀医側装置６００から、内視鏡ロボットアームシステム１００の状態や執刀医５０６７の状態等に関する各種データ（状態情報）を取得することができる。さらに、情報取得部２１２は、後述する抽出部２１４に取得したデータを出力する。
【0092】
本実施形態においては、データ（状態情報）としては、例えば、撮像部１０４で取得した画像データやＴＯＦ方式センサの受光部（図示省略）で取得した画素データを含む、画素データをあげることができる。本実施形態においては、情報取得部２１２が取得するデータには、少なくとも画像（画像データ）といった画素データが含まれていることが好ましい。また、本実施形態においては、画素データは、実際の手術した際に取得したデータに限定されるものではなく、例えば、医療用ファントム（模型）を用いた模擬手術に際に取得したデータでもよく、もしくは、三次元グラフィックス等で表現される手術シミュレータで取得したデータであってもよい。さらに、本実施形態においては、画素データには、必ずしも医療用器具（図示省略）又は臓器のデータが含まれていることに限定されるものではなく、例えば、医療用器具のデータだけ、もしくは、臓器のデータだけが含まれていてもよい。また、本実施形態においては、画像データは、撮像部１０４が取得した生データに限定されるものではなく、例えば、撮像部１０４が取得した生データに対して処理（輝度や彩度の調整処理や、画像から医療用器具又は臓器の位置・姿勢・種類の情報を抽出する処理や、セマンティックセグメンテーション等）を施すことで得られたデータであってもよい。加えて、本実施形態においては、画素データに、認識又は推定した手術のシーケンスやコンテキスト等の情報（例えば、メタデータ）を紐づけてもよい。
【0093】
また、本実施形態においては、データ（状態情報）としては、例えば、アーム部１０２の先端部や関節部（図示省略）、撮像部１０４の位置、姿勢、速度、加速度等であってもよい。このようなデータは、スコピストによる手動操作又は自律動作の際に内視鏡ロボットアームシステム１００から取得してもよく、もしくは、内視鏡ロボットアームシステム１００に設けられたモーションセンサから取得してもよい。なお、内視鏡ロボットアームシステム１００の手動操作としては、スコピストがＵＩ６０４に対して操作を行う方法でもよく、もしくは、スコピストがアーム部１０２の一部を直接的に物理的に把持して力を加えることで、アーム部１０２がその力にしたがって受動的に動作する方法であってもよい。さらに、本実施形態においては、データとしては、撮像部１０４で取得した画像に対応する撮像条件（例えば、フォーカス等）であってもよい。また、データとしては、アーム部１０２に支持された医療用器具（図示省略）の種類、位置、姿勢、速度、加速度等であってもよい。
【0094】
さらに、データ（状態情報）としては、例えば、内視鏡ロボットアームシステム１００を手動操作するスコピストや執刀医５０６７の操作情報（例えば、ＵＩ操作等）や生体情報であってもよい。より具体的には、生体情報としては、スコピストや執刀医５０６７の視線、瞬き、心拍、脈拍、血圧、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、発話音声、姿勢、動作（例えば、頭や体の揺れ）等を挙げることができる。例えば、内視鏡ロボットアームシステム１００を自律動作させて手術を行っている際に、執刀医５０６７等が回避すべきスコープワークに陥ったと判断した場合は、スイッチ操作や、アーム部１０２に対して直接力を加える等の操作を行い、内視鏡ロボットアームシステム１００の自律動作を停止させたり、自律動作モードから手動操作モードに変更したりすることがある。上記操作情報は、このような執刀医５０６７の操作に関する情報を含んでもよい。当該操作情報は、例えば、後述する記憶部２３０に格納される際に、当該データを明示的に他のデータと区別できるような形態形で格納されることが好ましい。なお、このように格納されるデータとしては、例えば、執刀医５０６７が内視鏡ロボットアームシステム１００の自律動作を停止させた瞬間のデータだけでなく、その状態に至る過渡的な時間のデータ（例えば、停止させた時刻１秒前から停止までの時刻のデータ等）も含めてもよい。また、上記発話音声については、例えば、手術中の執刀医５０６７から発せられた「この見え方は良くない」、「もっと近づいて欲しい」等、内視鏡画像に対するネガティブな表現を含む発話音声とすることができ、すなわち、回避すべきスコープワークと関連が深いと想定される発話音声であることができる。
【0095】
すなわち、本実施形態においては、情報取得部２１２は、回避すべきスコープワークの動作のデータを抽出する手掛かりとなるデータであれば、特に限定することなく、取得することが好ましい。そして、本実施形態においては、このようなデータを用いて回避すべきスコープワークの動作のデータを抽出することとなる。従って、本実施形態によれば、内視鏡ロボットアームシステム１００を用いて手術を行う中で特別なことをすることなく自然と取得することができるデータを用いて、回避すべきスコープワークの動作のデータを抽出することができることから、効率的に当該データを収集することが可能となる。
【0096】
（抽出部２１４）
抽出部２１４は、情報取得部２１２から出力された複数のデータから、所定の動作であるとラベル付けされるデータを抽出し、後述する機械学習部２１６へ出力することができる。より具体的には、抽出部２１４は、例えば、スコピストによって内視鏡ロボットアームシステム１００を手動操作した際に取得されたデータから、回避すべき動作であると判断されるスコープワークの動作（例えば、撮像部１０４によって術部が撮像されていないスコープワーク等）のデータを、画像解析等を利用して抽出することができる。この際、抽出部２１４は、生体情報を解析して得られた、執刀医５０６７やスコピスト等のストレス度、酔い等のバイタル値や、発話解析して得られた「この見え方は良くない」等の回避すべきスコープワークと関連が深いと想定される文言、ＵＩ操作等（例えば、緊急停止操作等）を参照して、より精度よく、回避すべくスコープワークの動作のデータを抽出してもよい。さらに、回避すべきスコープワークと相関がある情報（例えば、時間帯等）が既知である場合には、抽出部２１４は、このような相関がある情報を参照して、回避すべきスコープワークの動作のデータを抽出してもよい。
抽出部２１４は、情報取得部２１２から出力された複数のデータから、所定の動作であるとラベル付けされるデータを抽出し、後述する機械学習部２１６へ出力することができる。より具体的には、抽出部２１４は、例えば、スコピストによって内視鏡ロボットアームシステム１００を手動操作した際に取得されたデータから、回避すべき動作であると判断されるスコープワークの動作（例えば、撮像部１０４によって術部が撮像されていないスコープワーク等）のデータを、画像解析等を利用して抽出することができる。この際、抽出部２１４は、生体情報を解析して得られた、執刀医５０６７やスコピスト等のストレス度、酔い等のバイタル値や、発話解析して得られた「この見え方は良くない」等の回避すべきスコープワークと関連が深いと想定される文言、ＵＩ操作等（例えば、緊急停止操作等）を参照して、より精度よく、回避すべくスコープワークの動作のデータを抽出してもよい。さらに、回避すべきスコープワークと相関がある情報（例えば、時間帯等）が既知である場合には、抽出部２１４は、このような相関がある情報を参照して、回避すべきスコープワークの動作のデータを抽出してもよい。
【0097】
（機械学習部２１６）
機械学習部２１６は、抽出部２１４から出力された、回避すべきスコープワークの動作のデータ（回避すべき動作であるとラベル付けされた、医療用アームの動作に関する複数の状態情報）を機械学習して、反面教師モデルを生成することができる。当該反面教師モデルは、後述する制御装置３００において、反面教師モデルから出力された状態を避けるように内視鏡ロボットアームシステム１００を自律的に動作させるように制御する際に用いられることとなる。そして、機械学習部２１６は、生成した反面教師モデルを後述する出力部２２６や記憶部２３０へ出力する。なお、本実施形態においては、機械学習部２１６は、回避すべき動作であるとラベル付けされた、異なる種類（例えば、位置、姿勢、速度等）の複数のデータを用いて機械学習を行うこともでき、さらには、回避すべき動作であるとラベル付けされた、同一種類の異なる状態の複数のデータを用いて機械学習を行うこともできる。
機械学習部２１６は、抽出部２１４から出力された、回避すべきスコープワークの動作のデータ（回避すべき動作であるとラベル付けされた、医療用アームの動作に関する複数の状態情報）を機械学習して、反面教師モデルを生成することができる。当該反面教師モデルは、後述する制御装置３００において、反面教師モデルから出力された状態を避けるように内視鏡ロボットアームシステム１００を自律的に動作させるように制御する際に用いられることとなる。そして、機械学習部２１６は、生成した反面教師モデルを後述する出力部２２６や記憶部２３０へ出力する。なお、本実施形態においては、機械学習部２１６は、回避すべき動作であるとラベル付けされた、異なる種類（例えば、位置、姿勢、速度等）の複数のデータを用いて機械学習を行うこともでき、さらには、回避すべき動作であるとラベル付けされた、同一種類の異なる状態の複数のデータを用いて機械学習を行うこともできる。
【0098】
より詳細には、機械学習部２１６は、例えば、サポートベクターレグレッションやディープニューラルネットワーク（ＤＮＮ）等の教師付き学習器であるものとする。機械学習部２１６は、例えば、回避すべきスコープワークの動作のデータを多変量解析することにより、回避すべきスコープワークの動作を特徴づける特徴量（例えば、アーム部１０２や撮像部１０４の位置、姿勢、速度、加速度等についての特徴量や、撮像部１０４で取得した画像についての特徴量や、当該画像に対応する撮像条件についての特徴量）を取得し、取得した特徴量に関する、現状の状態から、回避すべきスコープワークである場合に次に想定される状態との相関関係を示す反面教師モデルを生成することができる。従って、このような反面教師モデルを用いることによって、現状の状態から、例えば、回避すべきスコープワークである場合に、次に生じ得る、撮像部１０４で取得した画像等の画素データ、アーム部１０２の先端部や関節部（図示省略）、撮像部１０４の位置、姿勢、速度、加速度等の状態や画像の状態（特徴量）を推定することができる。
【0099】
具体例としては、機械学習部２１６は、時刻ｔ＋Δｔにおける上記データを教師データとし、時刻ｔにおける上記データを入力データとして、機械学習を行うことができる。また、本実施形態においては、機械学習部２１６は、より解析的な扱いが可能なガウス過程回帰（Ｇａｕｓｓｉａｎ Ｐｒｏｃｅｓｓ Ｒｅｇｒｅｓｓｉｏｎ）モデル等の数式ベースのアルゴリズムを用いてもよく、また、半教師付き学習器や弱教師付き学習器であってもよく、特に限定されるものではない。
【0100】
（出力部２２６）
出力部２２６は、機械学習部２１６から出力された反面教師モデルを後述する制御装置３００や評価装置４００へ出力することができる。
出力部２２６は、機械学習部２１６から出力された反面教師モデルを後述する制御装置３００や評価装置４００へ出力することができる。
【0101】
（記憶部２３０）
記憶部２３０は、各種の情報を格納することができる。記憶部２３０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
記憶部２３０は、各種の情報を格納することができる。記憶部２３０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0102】
なお、本実施形態においては、学習装置２００の詳細構成は、図６に示す構成に限定されるものではない。本実施形態においては、学習装置２００は、例えば、情報取得部２１２から出力された複数のデータから、例えば、画像解析等を用いることにより、執刀医５０６７が使用する医療用器具（図示省略）の、種類、位置、姿勢等を認識する認識部（図示省略）を有していてもよい。さらに、学習装置２００は、例えば、情報取得部２１２から出力された複数のデータから、例えば、画像解析等を用いることにより、執刀医５０６７が処置する術部の、臓器の種類、位置、姿勢等を認識する認識部（図示省略）を有していてもよい。
【0103】
～反面教師モデルの生成方法～
次に、図７及び図８を参照して、本実施形態に係る、反面教師モデルの生成方法について説明する。図７は、本実施形態に係る反面教師モデルの生成方法の一例を示すフローチャートであり、図８は、本実施形態に係る反面教師モデルの生成方法の一例を説明するための説明図である。詳細には、図７に示すように、本実施形態に係る反面教師モデルの生成方法は、ステップＳ１０１からステップＳ１０３までの複数のステップを含む。以下に、本実施形態に係るこれら各ステップの詳細について説明する。
次に、図７及び図８を参照して、本実施形態に係る、反面教師モデルの生成方法について説明する。図７は、本実施形態に係る反面教師モデルの生成方法の一例を示すフローチャートであり、図８は、本実施形態に係る反面教師モデルの生成方法の一例を説明するための説明図である。詳細には、図７に示すように、本実施形態に係る反面教師モデルの生成方法は、ステップＳ１０１からステップＳ１０３までの複数のステップを含む。以下に、本実施形態に係るこれら各ステップの詳細について説明する。
【0104】
まずは、学習装置２００は、図８に示すように、内視鏡ロボットアームシステム１００や、センサ６０２及びＵＩ６０４を含む執刀医側装置６００から、内視鏡ロボットアームシステム１００の状態や執刀医５０６７の状態等に関する各種データをデータセットｘとして取得する（ステップＳ１０１）。
【0105】
次に、学習装置２００は、スコピストによって内視鏡ロボットアームシステム１００を手動操作した際に取得されたデータｘから、回避すべきスコープワークの動作（例えば、撮像部１０４によって術部が撮像されていないスコープワーク等）のデータｘ´を抽出する（ステップＳ１０２）。例えば、執刀医５０６７等が、撮像部１０４による画像を確認して回避すべきスコープワークであると判断した場合に、手動操作により指定することで、当該スコープワークに係るデータｘ´を抽出してもよい。また、学習装置２００は、回避すべきスコープワークと相関のあるとされる情報（例えば、執刀医５０６７の頭の動きや心拍数等）に基づき、当該層間のある情報と同時に取得されたデータを回避すべきスコープワークの動作のデータｘ´として抽出してもよい。なお、本実施形態においては、回避すべきスコープワークの動作のデータｘ´を抽出するだけでなく、そこに至る手前の過渡的な時間帯のデータも併せて抽出してもよい。このようにすることで、本実施形態においては、スコープワークが悪くない状況であっても、その状況から今後陥り得る悪い状態（回避すべきスコープワーク）を学習モデルで予測することが可能となる。
【0106】
そして、学習装置２００は、回避すべきスコープワークの動作のデータｘ´を用いて教師あり機械学習して、反面教師モデルを生成する（ステップＳ１０３）。詳細には、本実施形態においては、後述する制御装置３００は、当該反面教師モデルに基づいて出力される状態を避けるよう内視鏡ロボットアームシステム１００を制御することとなる。また、本実施形態においては、反面教師モデルは、内視鏡ロボットアームシステム１００の制御の際に着目される特徴量に合わせて設定される。以下においては、回避すべきスコープワークの動作の状態を特徴量として表現したベクトルをｓ´´として説明する。
【0107】
例えば、一例として、執刀医５０６７の右手に担持された医療用器具（図示省略）の先端位置を画面の中央になるようにし、且つ、撮像部１０４と当該医療用器具との距離を所定の距離に移動させるようなアルゴリズムで、内視鏡ロボットアームシステム１００を自律制御させる場合を説明する。この場合、回避すべきスコープワークの動作のデータｘ´から取得される教師データｓ´´は、右手に担持された医療用器具の先端の位置座標と、撮像部１０４と当該医療用器具との距離情報とであって、これらを並べてベクトルとしたものであることができる。より具体的には、図８に示すように、回避すべきスコープワークの動作のデータｘ´から学習に用いるものだけ抽出した入力データｘ´´と教師データｓ´´との組み合わせは、例えば、以下のデータであることができる。
【0108】
教師データ：時刻ｔ＋Δｔにおける、執刀医５０６７の右手に担持された医療用器具の先端の画面上の座標と、撮像部１０４と当該医療用器具との距離情報と、医療用器具の種類を示す情報との組み合わせ（＝ｓ´´（ｔ＋Δｔ））
入力データ：時刻ｔにおける、執刀医５０６７の右手及び左手に担持された医療用器具の先端の画面上の座標と、撮像部１０４と当該各医療用器具との距離情報と、各医療用器具の種類を示す情報との組み合わせ（＝ｘ´´（ｔ））
入力データ：時刻ｔにおける、執刀医５０６７の右手及び左手に担持された医療用器具の先端の画面上の座標と、撮像部１０４と当該各医療用器具との距離情報と、各医療用器具の種類を示す情報との組み合わせ（＝ｘ´´（ｔ））
【0109】
なお、ここでΔｔは時間幅である。Δｔは、取得データのサンプリング時間幅であってもよく、当該サンプリング時間幅より長い時間であってもよい。さらに、本実施形態においては、教師データと入力データとは必ずしも時系列上の前後関係にあるデータであることに限定されるものではない。また、本実施形態においては、教師データｓ´´は、内視鏡ロボットアームシステム１００の制御の際に着目される特徴量に合わせて選択されるが、入力データｘ´´に関しては、回避すべきスコープワークの動作のデータだけでなく、執刀医５０６７の生体情報等、関連する他のデータを柔軟に追加してもよい。
【0110】
次に、学習装置２００が、教師データｓ´´と入力データｘ´´から学習モデルを生成する具体的な方法の一例を説明する。ここでは、これまで取得したデータ点の個数はＮであるとし、ｎを１≦ｎ≦Ｎとした場合、ｎ個目のデータ点をｓ´´ｎ、ｘ´´ｎと表現するものとする。また、ｓ´´ｎの第ｉ成分をｓ´´ｎｉと表現すると、ベクトルｔｉは以下の数式（１）で表現することができる。
【0111】
【数1】
【0112】
また、ガウス過程回帰モデルに基づき、新しい入力データｘ´´Ｎ＋１が与えられたとき、回避すべきスコープワークの動作の状態の推定値ｓ´の第ｉ要素の期待値ｓ´ｉ及びこれに対応する分散σ´２は、以下の数式（２）で表現することができる。
【0113】
【数2】
【0114】
ここで、ＣＮは共分散行列であり、第ｎ行ｍ列要素ＣＮｍｎは、以下の数式（３）で表現される。
【0115】
【数3】
【0116】
また、数式（３）のｋは、カーネル関数であり、数式（３）で与えられる共分散行列ＣＮが正定値であるように選択すればよい。より具体的には、ｋは、例えば、以下の数式（４）で与えられることができる。
【0117】
【数4】
【0118】
なお、数式（４）において、θ０、θ１、θ２、θ３は、調整可能なパラメータである。
【0119】
また、数式（３）のβは、ｓ´´ｎｉの観測時に重畳するノイズがガウス分布に従うとした場合の精度（分散の逆数）をあらわすパラメータである。また、数式（３）のδｎｍはクロネッカーのデルタである。
【0120】
また、数式（２）のｃは、以下の数式（５）で表すことができる。
【0121】
【数5】
【0122】
式（２）のｋは、ｋ（ｘｎ、ｘＮ＋１）を第ｎ要素として持つベクトルであるといえる。
【0123】
以上説明したアルゴリズムにより、本実施形態においては、学習装置２００は、回避すべきスコープワークの動作の状態の推定値ｓ´及び分散σ´２を出力することができる反面学習モデルを得ることができる。ここで、分散σ´２は、回避すべきスコープワークの動作の状態の推定値ｓ´の確度を示すものであるとすることができる。
【0124】
以上のように、本実施形態においては、回避すべきスコープワークの動作のデータに基づき、回避すべきスコープワークの動作の状態を出力することができる反面教師モデルを生成することができる。先に説明したように、回避すべきスコープワークは、人が異なっても、その見解が共通、一致しやすい。従って、本実施形態においては、多量の回避すべきスコープワークの動作のデータを効率よく収集し、収集したデータを用いて、人の感性を考慮した反面教師モデルを効率的に構築することができる。
【0125】
＜４．２ 反面教師モデルによる自律制御＞
～制御装置３００の詳細構成～
まずは、図９を参照して、本開示の実施形態に係る制御装置３００の詳細構成例について説明する。図９は、本実施形態に係る制御装置３００の構成の一例を示すブロック図である。当該制御装置３００は、反面教師モデルを用いて、内視鏡ロボットアームシステム１００を自律制御することができる。詳細には、図９に示すように、制御装置３００は、処理部３１０と、記憶部３３０とを主に有する。以下に、制御装置３００の各機能部の詳細について順次説明する。
～制御装置３００の詳細構成～
まずは、図９を参照して、本開示の実施形態に係る制御装置３００の詳細構成例について説明する。図９は、本実施形態に係る制御装置３００の構成の一例を示すブロック図である。当該制御装置３００は、反面教師モデルを用いて、内視鏡ロボットアームシステム１００を自律制御することができる。詳細には、図９に示すように、制御装置３００は、処理部３１０と、記憶部３３０とを主に有する。以下に、制御装置３００の各機能部の詳細について順次説明する。
【0126】
（処理部３１０）
処理部３１０は、図９に示すように、情報取得部３１２と、画像処理部３１４と、目標状態計算部（動作目標決定部）３１６と、特徴量計算部３１８と、反面教師モデル取得部３２０と、教師モデル取得部３２２と、統合処理部（制御部）３２４と、出力部３２６とを主に有する。
処理部３１０は、図９に示すように、情報取得部３１２と、画像処理部３１４と、目標状態計算部（動作目標決定部）３１６と、特徴量計算部３１８と、反面教師モデル取得部３２０と、教師モデル取得部３２２と、統合処理部（制御部）３２４と、出力部３２６とを主に有する。
【0127】
情報取得部３１２は、上述した、内視鏡ロボットアームシステム１００や、センサ６０２及びＵＩ６０４を含む執刀医側装置６００から、内視鏡ロボットアームシステム１００の状態や執刀医５０６７の状態等に関する各種データを内視鏡ロボットアームシステム１００の動作中にリアルタイムで取得することができる。本実施形態においては、データとしては、例えば、撮像部１０４で取得した画像等の画素データや、アーム部１０２の先端部や関節部（図示省略）、撮像部１０４の位置、姿勢、速度、加速度等、撮像部１０４で取得した画像に対応する撮像条件、アーム部１０２に支持された医療用器具（図示省略）の種類、位置、姿勢、速度、加速度等、スコピストや執刀医５０６７の操作情報（例えば、ＵＩ操作等）や生体情報等を挙げることができる。例えば、情報取得部３１２が取得するデータは、上記データの全てを取得することに限定されるものではなく、撮像部１０４が現在取得した画像や、当該画像を処理して得られたデータ、もしくは、アーム部１０２の先端部や関節部の位置、姿勢、速度、加速度等だけであってもよい。さらに、情報取得部３１２は、後述する、画像処理部３１４、目標状態計算部３１６及び特徴量計算部３１８に取得したデータを出力する。
【0128】
画像処理部３１４は、撮像部１０４によって撮像された画像に対して種々の処理を実行することができる。具体的には、例えば、画像処理部３１４は、撮像部１０４によって撮像された画像のうち表示対象領域を切り出して拡大することで新たな画像を生成してもよい。そして、生成された画像は、後述する出力部３２６を介して、提示装置５００へ出力される。
【0129】
さらに、処理部３１０は、内視鏡ロボットアームシステム（医療用アーム）１００の動作目標を決定する目標状態計算部３１６及び特徴量計算部３１８を有する。目標状態計算部３１６は、次の瞬間にあるべき、制御したい特徴量の目標値ｓ＊を計算し、後述する統合処理部３２４に出力することができる。例えば、目標状態計算部３１６は、撮像部１０４の視野内に存在する医療用器具（図示省略）の組み合わせ等に応じて、予め定めたルールに基づき、所定の医療用器具の先端が当該視野の中央に位置するような状態を目標値ｓ＊として計算する。もしくは、目標状態計算部３１６は、執刀医５０６７の動作等を分析して、当該執刀医５０６７の右手左手に担持された医療用器具が適切に撮像部１０４で撮像可能な位置を目標値ｓ＊としてもよい。なお、本実施形態においては、目標状態計算部３１６のアルゴリズムは、特に限定されるものではなく、これまで得られた知見に基づくルールベースや、学習ベース、もしくはそれらを複合させたもの等であってもよい。また、本実施形態においては、上記目標値ｓ＊には、回避すべきスコープワークの動作の状態を含む可能性があるものとする。
【0130】
特徴量計算部３１８は、情報取得部３１２から出力されたデータから、制御したい特徴量の現在の状態ｓを抽出し、後述する統合処理部３２４に出力することができる。例えば、画像上の、執刀医５０６７の右手に担持された医療用器具（図示省略）の先端の位置と、当該医療用器具の距離を制御しようとする場合には、情報取得部３１２から出力されたデータからそれらに関するデータを抽出、計算を行い、特徴量ｓとする。なお、本実施形態においては、特徴量ｓの種類は、上述した目標状態計算部３１６で計算された目標値ｓ＊と同じにすることが求められる。
【0131】
反面教師モデル取得部３２０は、学習装置２００から反面教師モデルを取得して、後述する統合処理部３２４へ出力することができる。また、教師モデル取得部３２２も、学習装置２００から教師モデルを取得して、後述する統合処理部３２４へ出力することができる。なお、教師モデル取得部３２２の詳細動作については、後述する本開示の第２の実施形態で説明する。
【0132】
統合処理部３２４は、関節部やリング部からなるアーム部１０２の駆動を制御したり（統合処理部３２４は、例えば、関節部のアクチュエータにおけるモータに対して供給される電流量を制御することにより、当該モータの回転数を制御し、関節部における回転角度及び発生トルクを制御する）、撮像部１０４の撮像条件（例えば、フォーカス、拡大率等）を制御したり、光源部１０６の照射光の強度等を制御したりすることができる。さらに、統合処理部３２４は、反面教師モデル取得部３２０から出力された反面教師モデルにいって推定される状態を避けるように、内視鏡ロボットアームシステム１００を自律制御することができる。統合処理部３２４は、制御したい特徴量ｓが、回避すべきスコープワークの動作の状態に対して所定のクリアランスを確保するような制御をしつつ、目標状態計算部３１６で決定された動作目標（目標値ｓ＊）に近づけるように、内視鏡ロボットアームシステム１００の制御を行う。より詳細には、統合処理部３２４は、目標値ｓ＊と、回避すべきスコープワークの動作の状態の推定値ｓ´に基づき、最終的に、内視鏡ロボットアームシステム１００に与える制御指令ｕを決定する。決定した制御指令ｕは、後述する出力部３２６を介して、内視鏡ロボットアームシステム１００に出力される。この際、統合処理部３２４は、例えば、評価関数等を用いて制御を行うこととなるが、反面教師モデルとして、例えば、上述した分散σ´２等の、回避すべきスコープワークの動作の状態の推定値ｓ´の確度を用いることができるならば、評価関数を確度に応じて変形して用いてもよい。
【0133】
出力部３２６は、画像処理部３１４で処理された画像を提示装置５００へ出力したり、統合処理部３２４から出力された制御指令ｕを内視鏡ロボットアームシステム１００に出力したりすることができる。
【0134】
（記憶部３３０）
記憶部３３０は、各種の情報を格納することができる。記憶部３３０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
記憶部３３０は、各種の情報を格納することができる。記憶部３３０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0135】
なお、本実施形態においては、制御装置３００の詳細構成は、図９に示す構成に限定されるものではない。本実施形態においては、制御装置３００は、例えば、情報取得部３１２から出力された複数のデータから、例えば、画像解析等を用いることにより、執刀医５０６７が使用する医療用器具（図示省略）の、種類、位置、姿勢等を認識する認識部（図示省略）を有していてもよい。さらに、制御装置３００は、例えば、情報取得部３１２から出力された複数のデータから、例えば、画像解析等を用いることにより、執刀医５０６７が処置する術部の、臓器の種類、位置、姿勢等を認識する認識部（図示省略）を有していてもよい。
【0136】
～制御方法～
次に、図１０及び図１１を参照して、本実施形態に係る制御方法について説明する。図１０は、本実施形態に係る制御方法の一例を示すフローチャートであり、図１１は、本実施形態に係る制御方法を説明するための説明図である。図１０に示すように、本実施形態に係る制御方法は、ステップＳ２０１からステップＳ２０３までの複数のステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。
次に、図１０及び図１１を参照して、本実施形態に係る制御方法について説明する。図１０は、本実施形態に係る制御方法の一例を示すフローチャートであり、図１１は、本実施形態に係る制御方法を説明するための説明図である。図１０に示すように、本実施形態に係る制御方法は、ステップＳ２０１からステップＳ２０３までの複数のステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。
【0137】
制御装置３００は、内視鏡ロボットアームシステム１００や、センサ６０２及びＵＩ６０４を含む執刀医側装置６００から、内視鏡ロボットアームシステム１００の状態や執刀医５０６７の状態等に関する各種データをリアルタイムで取得する（ステップＳ２０１）。
【0138】
制御装置３００は、制御指令ｕを計算する（ステップＳ２０２）。この際の、具体的な計算方法の例について、以下に説明する。
【0139】
例えば、撮像部１０４の画像出力をｍとし、撮像条件や既知の被写体のサイズや形状等の被写体に関するパラメータをａとし、内視鏡ロボットアームシステム１００のアーム部１０２の位置や姿勢等のパラメータをｑとする。なお、ｑとしては、必要に応じて、アーム部１０２の位置・姿勢等の時間微分も要素に含めてもよい。また、ｑとしては、撮像部１０４のズーム量調整や、画像の特定領域を切り出すような、光学的・電子的な状態量の要素も含めてもよい。このような前提において、内視鏡ロボットアームシステム１００の制御系をゼロへと収束させるように制御する際の制御偏差ｅは、以下の数式（６）で表現することができる。
【0140】
【数6】
【0141】
制御したい状態ｓを決定する変数のうち、上述したｑは、アーム部１０２が有するダイナミクス、アーム部１０２に搭載されたアクチュエータへの制御入力によって決定される。一般的には、ｑは、以下の数式（７）の微分方程式で表現することができる。
【0142】
【数7】
【0143】
数式（７）の関数ｆは、制御系設計の考え方に応じて、適切なロボットモデルを表現するように設定すればよい。例えば、関数ｆとして、ロボットアームの力学の理論から導出される非線形運動方程式を当てはめるとともに、アーム部１０２へ制御指令ｕを伝達した際に、各関節部（図示省略）に配置したアクチュエータで発生するトルクとして考えることができる。また、関数ｆには、必要に応じて、非線形運動方程式を線形化したものを当てはめることもできる。
【0144】
また、関数ｆには、必ずしもロボットの運動方程式そのものを当てはめる必要はなく、ロボットの運動制御系によって制御されたダイナミクスを当てはめてもよい。具体的な例としては、撮像部１０４は、患者の腹部に設けたトロッカを通して体内に挿入されることから、撮像部１０４を支持するアーム部１０２は、撮像部１０４がトロッカによって仮想的な拘束（腹壁上の１点における平面２自由度拘束）を受けるように制御されることが適切である。従って、関数ｆとしては、アーム部１０２の先端に位置する撮像部１０４がトロッカ上で拘束され、且つ、撮像部１０４の挿抜や姿勢変更などの応答速度が制御系によって人為的に設定されたことを反映したダイナミクスを数式モデル化して用いてもよい。このとき、制御指令ｕは、必ずしもアーム部１０２のアクチュエータで発生するトルクである必要はなく、運動制御系によって人為的に設定した新しい制御入力であってもよい。例えば、運動制御系は撮像部１０４の視野の移動量を指令として受け取った上で、それを実現するために必要なアーム部１０２の各関節部（図示省略）のトルクを決定する構成である場合、制御指令ｕは視野の移動量として考えることができる。
【0145】
次に、制御装置３００は、内視鏡ロボットアームシステム１００の制御を行う（ステップＳ２０３）。ここで、内視鏡ロボットアームシステム１００の制御として、現時点での状態ｓを目標値ｓ＊へと近づける制御のアルゴリズムの例を説明し、次に、反面教師モデルが出力する回避すべきスコープワークの動作の状態の推定値ｓ´を回避する制御のアルゴリズムの例を説明する。
【0146】
～目標値ｓ＊に近づける制御のアルゴリズムの例～
当該制御は、以下の数式（８）の評価関数Ｖが最小となるようなアーム部１０２の状態ｑを探索しつつ、アーム部１０２の状態をｑに収束させる制御指令ｕを計算するといった、最適化問題の一種として捉えることができる。
当該制御は、以下の数式（８）の評価関数Ｖが最小となるようなアーム部１０２の状態ｑを探索しつつ、アーム部１０２の状態をｑに収束させる制御指令ｕを計算するといった、最適化問題の一種として捉えることができる。
【0147】
【数8】
【0148】
なお、数式（８）においては、Ｑｖは重み行列である。ただし、ｑとｕとは自由に決定することができるわけではなく、拘束条件として、少なくとも先に説明した数式（７）が課せられることとなる。
【0149】
このような最適化問題を解く方法として、制御理論の分野で実用化されている解法として、モデル予測制御がある。モデル予測制御とは、有限時間区間の最適制御問題を実時間で数値的に解くことによってフィードバック制御を行う手法であり、ｒｅｃｅｄｉｎｇ ｈｏｒｉｚｏｎ 制御とも呼ばれる。
【0150】
そこで、上記数式（８）を、モデル予測制御を適用できる形式で評価関数を書き直した場合、以下の数式（９）で表現することができる。
【0151】
【数9】
【0152】
また、拘束条件は、以下の数式（１０）で表現される。
【0153】
【数10】
【0154】
数式（９）及び数式（１０）においては、Ｑ、Ｒ、Ｑｆｉｎは重み行列であり、関数φは終端コストを表す。ｑｍ（τ）とｕｍ（τ）はあくまでモデル予測制御の演算を実行するための状態と制御入力であり、必ずしも現実のシステムの状態と制御入力とは一致しない。ただし、初期時刻においてのみ、数式（１０）の下段の式が成立する。
【0155】
そして、Ｊを最小化する制御入力ｕ＊
ｍ（τ）、（ｔ≦τ≦ｔ+Ｔ）を実時間で計算する最適化のアルゴリズムとしては、例えばモデル予測制御に適するとされているＧＭＲＥＳ(Ｇｅｎｅｒａｌｉｚｅｄ Ｍｉｎｉｍａｌ Ｒｅｓｉｄｕａｌ)法を用いることができる。このようにして、時刻ｔにおいて実際にアーム部１０２に与える実際の制御指令ｕ（ｔ）は、例えば時刻ｔでの値のみを用いて、以下の数式（１１）で決定することができる。
【0156】
【数11】
【0157】
～反面教師モデルが出力する回避すべきスコープワークの動作の状態の推定値ｓ´を回避する制御のアルゴリズムの例～
次に、反面教師モデルに基づいて出力される、回避すべきスコープワークの動作の状態の推定値ｓ´を回避する制御のアルゴリズムの例を説明する。このような制御を実現するためには、例えば、状態ｓが推定値ｓ´の値に近づくと評価関数の値が増加するように、先に説明した目標値ｓ＊に近づける制御のアルゴリズムを拡張すればよい。具体的には、数式（９）の中段に示される評価関数Ｌを、以下の数式（１２）に書き換えることで実現することができる。
次に、反面教師モデルに基づいて出力される、回避すべきスコープワークの動作の状態の推定値ｓ´を回避する制御のアルゴリズムの例を説明する。このような制御を実現するためには、例えば、状態ｓが推定値ｓ´の値に近づくと評価関数の値が増加するように、先に説明した目標値ｓ＊に近づける制御のアルゴリズムを拡張すればよい。具体的には、数式（９）の中段に示される評価関数Ｌを、以下の数式（１２）に書き換えることで実現することができる。
【0158】
【数12】
【0159】
数式（１２）の関数Ｐは、最適化理論におけるいわゆるペナルティ関数であり、Ｋは、ペナルティの効果を調整するためのゲインである。このようにして、本実施形態においては、図１１に示すように、状態ｓを目標値ｓ＊に収束させる制御の過程において、回避すべきスコープワークの動作の状態の推定値ｓ´になるべく近づかないように制御することが可能となる。
【0160】
なお、反面教師モデルに基づいて出力された回避すべきスコープワークの動作の状態の推定値ｓ´を用いた制御においては、現在の内視鏡ロボットアームシステム１００の状態情報ｘと反面教師モデルを学習するときに用いた入力データｘ´´とが大きくかけ離れていた場合には、予期しない方向へと内視鏡ロボットアームシステム１００が制御され、好適に制御できない可能性がある。そこで、本実施形態においては、このような場合を考慮して、推定値ｓ´の確度σ´２を併せて利用するような制御を行うことが好ましい。例えば、上述したガウス過程回帰モデルでは、学習装置２００は、期待値（推定値）ｓ´に加えて分散σ´２も出力することができる。また、先に説明したように、分散σ´２が大きいときは、期待値（推定値）ｓ´の確度が低いことを意味する。そこで、本実施形態においては、例えば、分散σ´２が所定の値よりも大きいときは、上記評価関数Ｌ´（数式１２）のペナルティ項を無視するように制御してもよい。もしくは、本実施形態においては、上記評価関数Ｌ´のペナルティ項のゲインＫを分散σ´２に依存するように定義してもよい。より具体的には、分散σ´２が大きいときはゲインＫを小さくなるようにすることで、確度が低い場合には反面教師モデルによる、回避すべきスコープワークの動作の状態の推定値ｓ´を自動的に考慮しないように制御してもよい。なお、本実施形態においては、このような方法以外にも、バリア法や乗数法等、拘束条件つきの最適化問題を解くための各種方法を適用してもよい。
【0161】
以上のように、本実施形態においては、回避すべきスコープワークの動作のデータに基づく反面教師モデルに基づいて出力された、回避すべきスコープワークの動作の状態の推定値ｓ´を避けるように内視鏡ロボットアームシステム１００を制御することができる。従って、本実施形態によれば、数式的なアプローチでは扱いが困難な人の感性や感覚的な側面まで考慮した反面教師モデルを利用することができることから、人の感性等まで考慮して、内視鏡ロボットアームシステム１００を自律制御することが可能となる。
【0162】
＜＜５． 第２の実施形態＞＞
次に説明する本開示の第２の実施形態においては、上述した反面教師モデルを用いて「回避しなくてもよいスコープワーク」のデータを収集し、収集したデータを機械学習することにより教師モデルを生成する。そして、本実施形態においては、生成した教師モデルを用いて、内視鏡ロボットアームシステム１００の自律制御を行う。
次に説明する本開示の第２の実施形態においては、上述した反面教師モデルを用いて「回避しなくてもよいスコープワーク」のデータを収集し、収集したデータを機械学習することにより教師モデルを生成する。そして、本実施形態においては、生成した教師モデルを用いて、内視鏡ロボットアームシステム１００の自律制御を行う。
【0163】
＜５．１ 教師モデルの生成＞
～学習装置２００ａの詳細構成～
まずは、図１２を参照して、本実施形態に係る学習装置２００ａの詳細構成例について説明する。図１２は、本実施形態に係る教師モデルの生成方法を説明するための説明図である。当該学習装置２００ａは、自律動作制御情報を生成する際に用いられる教師モデルを生成することができる。詳細には、図１２に示すように、学習装置２００ａは、情報取得部（状態情報取得部）２１２と、抽出部（第１の抽出部）２１４ａと、機械学習部（第２の機械学習部）２１６ａと、出力部２２６（図１２では図示省略）と、記憶部２３０（図１２では図示省略）とを主に有する。以下に、学習装置２００ａの各機能部の詳細について順次説明する。なお、本実施形態においては、情報取得部２１２と、出力部２２６と、記憶部２３０とは、第１の実施形態と共通するため、ここでは、これらの説明を省略する。
～学習装置２００ａの詳細構成～
まずは、図１２を参照して、本実施形態に係る学習装置２００ａの詳細構成例について説明する。図１２は、本実施形態に係る教師モデルの生成方法を説明するための説明図である。当該学習装置２００ａは、自律動作制御情報を生成する際に用いられる教師モデルを生成することができる。詳細には、図１２に示すように、学習装置２００ａは、情報取得部（状態情報取得部）２１２と、抽出部（第１の抽出部）２１４ａと、機械学習部（第２の機械学習部）２１６ａと、出力部２２６（図１２では図示省略）と、記憶部２３０（図１２では図示省略）とを主に有する。以下に、学習装置２００ａの各機能部の詳細について順次説明する。なお、本実施形態においては、情報取得部２１２と、出力部２２６と、記憶部２３０とは、第１の実施形態と共通するため、ここでは、これらの説明を省略する。
【0164】
（抽出部２１４ａ）
抽出部２１４ａは、スコピストによって内視鏡ロボットアームシステム１００を手動操作した際に取得されたデータ（状態情報）ｘから、回避しなくてもよいスコープワーク（例えば、撮像部１０４によって術部が撮像されているスコープワーク等）の動作のデータ（回避しなくてもよい動作であるとラベル付けされる状態情報）ｙ´を、上述した反面教師モデルに基づいて抽出することができる。さらに、抽出部２１４ａは、抽出したデータｙ´を後述する機械学習部２１６ａに出力することができる。従来の技術においては、回避しなくてもよいスコープワークの動作のデータｙ´は、少なくとも多数のデータｘから、手動で、回避すべきコープワークの動作のデータｘ´を除去することでしか得ることができなかった。しかしながら、本実施形態においては、上記反面教師モデルを用いることにより、自動で、回避しなくてもよいスコープワークの動作のデータｙ´を抽出することができる。加えて、本実施形態によれば、このようにして得らえたデータｙ´を用いることにより、教師モデルの生成を可能にし、当該教師モデルを用いることにより、内視鏡ロボットアームシステム１００の自律制御の精度を向上させることができる。
抽出部２１４ａは、スコピストによって内視鏡ロボットアームシステム１００を手動操作した際に取得されたデータ（状態情報）ｘから、回避しなくてもよいスコープワーク（例えば、撮像部１０４によって術部が撮像されているスコープワーク等）の動作のデータ（回避しなくてもよい動作であるとラベル付けされる状態情報）ｙ´を、上述した反面教師モデルに基づいて抽出することができる。さらに、抽出部２１４ａは、抽出したデータｙ´を後述する機械学習部２１６ａに出力することができる。従来の技術においては、回避しなくてもよいスコープワークの動作のデータｙ´は、少なくとも多数のデータｘから、手動で、回避すべきコープワークの動作のデータｘ´を除去することでしか得ることができなかった。しかしながら、本実施形態においては、上記反面教師モデルを用いることにより、自動で、回避しなくてもよいスコープワークの動作のデータｙ´を抽出することができる。加えて、本実施形態によれば、このようにして得らえたデータｙ´を用いることにより、教師モデルの生成を可能にし、当該教師モデルを用いることにより、内視鏡ロボットアームシステム１００の自律制御の精度を向上させることができる。
【0165】
ここで、回避しなくてもよいスコープワークの動作のデータｙ´の自動抽出の具体例を説明する。抽出部２１４ａは、図１２に示すように、反面教師モデル（推定値ｓ´、分散σ´２）を取得し、以下の数式（１３）に示すように、多数のデータの状態ｓと推定値ｓ´との差分ノルムを計算する。次に、抽出部２１４ａは、差分ノルムが閾値ｓｄ以下の場合には、そのデータを多数のデータから除外することにより、回避しなくてもよいスコープワークの動作のデータｙ´の自動抽出を行うことができる。
【0166】
【数13】
【0167】
なお、本実施形態においては、他の方法として、反面教師モデルの分散σ´２等を利用して、回避しなくてもよいスコープワークの動作のデータｙ´の自動抽出を行ってもよい。
【0168】
（機械学習部２１６ａ）
機械学習部２１６ａは、第１の実施形態と同様に、教師付き学習器であり、抽出部２１４ａから出力された、回避しなくてもよいスコープワークの動作のデータ（回避しなくてもよい動作であるとラベル付けされた状態情報）ｙ´´を機械学習して、教師モデルを生成することができる。当該教師モデルは、後述する制御装置３００ａの統合処理部３２４（図１４ 参照）において、内視鏡ロボットアームシステム１００を自律的に動作させるように制御する際に用いられることとなる。そして、機械学習部２１６ａは、教師モデルを出力部２２６や記憶部２３０へ出力する。
機械学習部２１６ａは、第１の実施形態と同様に、教師付き学習器であり、抽出部２１４ａから出力された、回避しなくてもよいスコープワークの動作のデータ（回避しなくてもよい動作であるとラベル付けされた状態情報）ｙ´´を機械学習して、教師モデルを生成することができる。当該教師モデルは、後述する制御装置３００ａの統合処理部３２４（図１４ 参照）において、内視鏡ロボットアームシステム１００を自律的に動作させるように制御する際に用いられることとなる。そして、機械学習部２１６ａは、教師モデルを出力部２２６や記憶部２３０へ出力する。
【0169】
なお、本実施形態においては、学習装置２００ａの詳細構成は、図１２に示す構成に限定されるものではない。
【0170】
なお、本実施形態においては、教師モデルの生成方法は、第１の実施形態と共通するため、ここでは、教師モデルの生成方法の説明を省略する。
【0171】
＜５．２ 教師モデルによる自律制御＞
次に、教師モデルを用いた内視鏡ロボットアームシステム１００の自律制御を説明するが、本実施形態に係る制御装置３００は、第１の実施形態と共通するため、ここでは制御装置３００の詳細構成例についての説明を省略する。
次に、教師モデルを用いた内視鏡ロボットアームシステム１００の自律制御を説明するが、本実施形態に係る制御装置３００は、第１の実施形態と共通するため、ここでは制御装置３００の詳細構成例についての説明を省略する。
【0172】
図１３及び図１４を参照して、本実施形態に係る教師モデルによる制御方法について説明する。図１３は、本実施形態に係る制御方法の一例を示すフローチャートであり、図１４は、本実施形態に係る制御方法を説明するための説明図である。図１３に示すように、本実施形態に係る制御方法は、ステップＳ３０１からステップＳ３０６までの複数のステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。
【0173】
本実施形態においては、回避しなくてもよいスコープワークの動作のデータに基づく教師モデルから得られた推定値ｒ´を考慮して、目標値ｓ＊を決定し、アーム部１０２への制御指令ｕを決定する。詳細には、第１の実施形態においては、数式等のルールベースに基づいて目標値ｓ＊を決定していたが、本実施形態においては、回避しなくてもよいスコープワークの動作のデータに基づく教師モデルから得られた推定値ｒ´を目標値ｓ＊として用いることにより、内視鏡ロボットアームシステム１００の自律動作を執刀医５０６７の感性をより反映したスコープワークに近づけることができる。
【0174】
ただし、本実施形態においては、回避しなくてもよいスコープワークの動作のデータに基づく教師モデルから得られた推定値ｒ´は、必ずしも良いスコープワークの動作のデータに基づく推定値であるとは限らない。従って、教師モデルから得られた推定値ｒ´を用いて制御を行った場合、必ずしも好適に内視鏡ロボットアームシステム１００が自律制御できるとは限らない。そこで、本実施形態においては、図１４に示すように、所定の規則に基づいて、回避しなくてもよいスコープワークの動作のデータに基づく教師モデルから得られた推定値ｒ´と、第１の実施形態と同様の方法で決定された目標値ｓ＊とのどちらを制御の目標値として用いるかを判定する。
【0175】
まずは、制御装置３００は、第１の実施形態と同様に、内視鏡ロボットアームシステム１００等から、内視鏡ロボットアームシステム１００の状態等に関する各種データをリアルタイムで取得する（ステップＳ３０１）。次に、制御装置３００は、第１の実施形態と同様に、目標値ｓ＊を計算する（ステップＳ３０２）。そして、制御装置３００は、学習装置２００ａから教師モデルを取得する（ステップＳ３０３）。
【0176】
次に、制御装置３００は、ステップＳ３０３で取得された教師モデルから得られた推定値ｒ´を目標値として制御を行うかどうかを判定する（ステップＳ３０４）。例えば、ステップＳ３０２で算出された目標値ｓ＊と、教師モデルから得られた推定値ｒ´とが近い場合、教師モデルから得られた推定値ｒ´は、経験的に、数式等のルールベースで仮定した良いスコープワークの動作の状態から外れていないと推定される。従って、教師モデルから得られた推定値ｒ´は、信頼性が高く、且つ、執刀医５０６７の感覚も反映したスコープワークの状態になっている可能性が高いため、目標値として制御に用いることができる。より具体的には、ステップＳ３０２で算出された目標値ｓ＊と、教師モデルから得られた推定値ｒ´との近さは、上述した差分ノルムを用いて判定することができる。また、本実施形態においては、教師モデルから得られた分散σ２等の確度が所定の値以下であれば、教師モデルから得られた推定値ｒ´を目標値として制御に用いてもよい。
【0177】
制御装置３００は、ステップＳ３０３で取得された教師モデルから得られた推定値ｒ´を目標値として使用して制御すると判定した場合（ステップＳ３０４：Ｙｅｓ）には、ステップＳ３０５へ進み、教師モデルから得られた推定値ｒ´を目標値として使用して制御しないと判定した場合（ステップＳ３０４：Ｎｏ）には、ステップＳ３０６へ進む。
【0178】
制御装置３００は、ステップＳ３０３で取得された教師モデルから得られた推定値ｒ´を目標値として使用して、内視鏡ロボットアームシステム１００を制御する（ステップＳ３０５）。制御装置３００は、ステップＳ３０２で算出された目標値ｓ＊を使用して、内視鏡ロボットアームシステム１００を制御する（ステップＳ３０６）。制御方法の詳細については、第１の実施形態と同様であるため、ここでは詳細な説明を省略する。
【0179】
以上のように、本実施形態においては、反面教師モデルを用いることにより、回避しなくてもよいスコープワークの動作のデータｙ´を自動で抽出することができる。加えて、本実施形態によれば、このようにして得らえたデータｙ´を用いることにより、教師モデルの生成を可能にし、当該教師モデルを用いることにより、内視鏡ロボットアームシステム１００の自律制御の精度を向上させることができる。
【0180】
＜＜６． 第３の実施形態＞＞
次に、図１５及び図１６を参照して、上述した第１の実施形態に係る反面教師モデルと、第２の実施形態に係る教師モデルとを用いた内視鏡ロボットアームシステム１００の自律制御を説明する。図１５及び図１６は、本実施形態に係る制御方法を説明するための説明図である。本実施形態においては、反面教師モデルを用いた自律制御と、教師モデルを用いた自律制御を併用することにより、両方の自律制御の利点を享受することができることから、数式では表現することが難しい、スコープワークに対する執刀医５０６７の感覚を反映した自律制御を実現することができる。
次に、図１５及び図１６を参照して、上述した第１の実施形態に係る反面教師モデルと、第２の実施形態に係る教師モデルとを用いた内視鏡ロボットアームシステム１００の自律制御を説明する。図１５及び図１６は、本実施形態に係る制御方法を説明するための説明図である。本実施形態においては、反面教師モデルを用いた自律制御と、教師モデルを用いた自律制御を併用することにより、両方の自律制御の利点を享受することができることから、数式では表現することが難しい、スコープワークに対する執刀医５０６７の感覚を反映した自律制御を実現することができる。
【0181】
より具体的には、本実施形態においては、図１５に示すように、統合処理部３２４は、第１の実施形態と同様に、回避すべきスコープワークの動作の状態の推定値ｓ´を避けるように内視鏡ロボットアームシステム１００を制御する。この際、統合処理部３２４は、回避しなくてもよいスコープワークの動作のデータに基づく教師モデルから得られた推定値ｒ´を目標値として用いて制御することができる。なお、本実施形態においても、上述した第２の実施形態と同様に、所定の規則に基づいて、回避しなくてもよいスコープワークの動作のデータに基づく教師モデルから得られた推定値ｒ´と、第１の実施形態と同様の方法で決定された目標値ｓ＊とのどちらを制御の目標値として用いるかを判定することが好ましい。また、本実施形態においては、統合処理部３２４は、反面教師モデルによる推定値ｓ´及び教師モデルによる推定値ｒ´に対して重みづけを行って、内視鏡ロボットアームシステム１００を制御してもよい。
【0182】
また、本実施形態においては、最初に、反面教師モデルによる推定値ｓ´の状態を避けるように内視鏡ロボットアームシステム１００を制御し、次いで、教師モデルによる推定値ｒ´の状態に近づけるように内視鏡ロボットアームシステム１００を制御してもよい。さらに、本実施形態においては、反面教師モデルによる推定値ｓ´を用いた制御と、教師モデルによる推定値ｒ´を用いた制御とをループ状に繰り返し用いて、内視鏡ロボットアームシステム１００を制御してもよい。
【0183】
詳細には、図１６に示すように、まずは、本実施形態に係る医療用観察システム１０は、反面教師モデルを用いた自律制御（教師モデルを用いた自律制御を並行して実施してもよい）を実行、検証を行うことで、新しいデータｘを取得する。検証の手法は、執刀医５０６７自身が内視鏡ロボットアームシステム１００を用いた患者に対する手術を通じて行ってもよく、もしくは、内視鏡ロボットアームシステム１００にて医療用ファントム（模型）を用いて行ってもよい。さらに、検証は、シミュレータを用いてもよい。例えば、シミュレータを用いることにより、仮想空間上に、患者、術部、撮像部１０４、アーム部１０２、医療用器具等を仮想的に再現し、医師によって仮想的に術部に対して手術を行うことができる。ここで取得されたデータｘは、少なくとも反面教師モデルから得られた回避すべきスコープワークの動作の状態を避けるように自律制御された結果である。ただし、当初得られるデータｘの中には、反面教師モデルではカバーしきれない回避すべきスコープワークの動作の状態が含まれていることが考えられる。
【0184】
そこで、本実施形態においては、反面教師モデルによる推定値ｓ´を用いた制御と、教師モデルによる推定値ｒ´を用いた制御とをループ状に繰り返し用いる。繰返しのループの初期では、取得データｘに回避すべきスコープワークの動作のデータが多く含まれることから、回避すべきスコープワークの動作のデータの抽出、収集には時間がかかることとなる。しかしながら、上記ループを複数回繰り返すことにより、反面教師モデル及び教師モデルが熟成し、これらのモデルによる自律制御の質が向上することから、同時に、データｘに含まれる回避すべきスコープワークの動作のデータが減少することとなる。従って、回避すべきスコープワークの動作のデータの抽出、収集の負荷が順次減り、反面教師モデルの質の向上が促進される。さらに、回避しなくてもよいスコープワークの動作のデータの質も向上することから、回避しなくてもよいスコープワークの動作のデータに基づく教師モデルの質も向上する。そして、最終的には、反面教師モデル及び教師モデルがより熟成すると、良質なスコープワークの動作のデータのみを抽出、収集することが可能になることから、これらのデータだけに基づく教師データのみを用いて、内視鏡ロボットアームシステム１００を自律制御することが可能となる。
【0185】
なお、本実施形態においては、上述の検証手法によって新しいデータｘを取得することに限定されるものではなく、例えば、別の学習モデルや制御アルゴリズムを用いた結果であってもよく、実際に、執刀医５０６７とスコピストとが手動で実施した手術の測定データであってもよい。
【0186】
以上のように、本実施形態によれば、反面教師モデルを用いた自律制御と、教師モデルを用いた自律制御を併用することにより、両方の自律制御の利点を享受することができることから、数式では表現することが難しい、スコープワークに対する執刀医５０６７の感覚を反映した自律制御を実現することができる。
【0187】
＜＜７． 第４の実施形態＞＞
本実施形態においては、上記反面教師モデルを用いて、実際のスコピストのスコープワークを評価し、その評価結果を当該スコピストに向けて提示する。本実施形態においては、例えば、実際のスコープワークが、回避すべきスコープワークである場合、掲示装置５００等を介してスコピストに通知したりすることができる。また、本実施形態においては、スコピストのトレーニングの際（実際のスコープワークの際や、他のスコピストが実施したスコープワーク映像を用いた教材等も含む）に、評価結果をフィードバックすることができる。従って、本実施形態によれば、スコピストのスキル向上を促すことができる。
本実施形態においては、上記反面教師モデルを用いて、実際のスコピストのスコープワークを評価し、その評価結果を当該スコピストに向けて提示する。本実施形態においては、例えば、実際のスコープワークが、回避すべきスコープワークである場合、掲示装置５００等を介してスコピストに通知したりすることができる。また、本実施形態においては、スコピストのトレーニングの際（実際のスコープワークの際や、他のスコピストが実施したスコープワーク映像を用いた教材等も含む）に、評価結果をフィードバックすることができる。従って、本実施形態によれば、スコピストのスキル向上を促すことができる。
【0188】
＜７．１ 評価装置４００の詳細構成例＞
まずは、図１７を参照して、本開示の実施形態に係る評価装置４００の詳細構成例について説明する。図１７は、本実施形態に係る評価装置４００の構成の一例を示すブロック図である。詳細には、図１７に示すように、評価装置４００は、情報取得部４１２と、評価計算部（評価部）４１４と、モデル取得部４２０と、出力部４２６と、記憶部４３０とを主に有する。以下に、評価装置４００の各機能部の詳細について順次説明する。
まずは、図１７を参照して、本開示の実施形態に係る評価装置４００の詳細構成例について説明する。図１７は、本実施形態に係る評価装置４００の構成の一例を示すブロック図である。詳細には、図１７に示すように、評価装置４００は、情報取得部４１２と、評価計算部（評価部）４１４と、モデル取得部４２０と、出力部４２６と、記憶部４３０とを主に有する。以下に、評価装置４００の各機能部の詳細について順次説明する。
【0189】
（情報取得部４１２）
情報取得部４１２は、内視鏡ロボットアームシステム１００等から、内視鏡ロボットアームシステム１００の状態に関する各種データをリアルタイムで取得することができる。
情報取得部４１２は、内視鏡ロボットアームシステム１００等から、内視鏡ロボットアームシステム１００の状態に関する各種データをリアルタイムで取得することができる。
【0190】
（評価計算部４１４）
評価計算部４１４は、後述するモデル取得部４２０から出力された反面教師モデル（推定値ｓ´等）に従って、スコープワークの評価を行い、評価結果を後述する出力部４２６に出力することができる。例えば、評価計算部４１４は、各瞬間の特徴量の状態ｓと、反面教師モデルから得られる回避すべきスコープワークの動作の状態の推定値ｓ´とのノルム差を評価値として計算する。この場合、評価値が小さいほど、回避すべきスコープワークに近いと解釈することができる。
評価計算部４１４は、後述するモデル取得部４２０から出力された反面教師モデル（推定値ｓ´等）に従って、スコープワークの評価を行い、評価結果を後述する出力部４２６に出力することができる。例えば、評価計算部４１４は、各瞬間の特徴量の状態ｓと、反面教師モデルから得られる回避すべきスコープワークの動作の状態の推定値ｓ´とのノルム差を評価値として計算する。この場合、評価値が小さいほど、回避すべきスコープワークに近いと解釈することができる。
【0191】
（モデル取得部４２０）
モデル取得部４２０は、学習装置２００から反面教師モデル（推定値ｓ´、分散σ´２等）を取得して、評価計算部４１４へ出力することができる。
モデル取得部４２０は、学習装置２００から反面教師モデル（推定値ｓ´、分散σ´２等）を取得して、評価計算部４１４へ出力することができる。
【0192】
（出力部４２６）
出力部４２６は、上述した評価計算部４１４からの評価結果を提示装置５００へ出力することができる。なお、本実施形態においては、評価結果を例えば提示装置５００で表示することに限定されるものではない。例えば、評価結果をリアルタイムでスコピストに提示する方法としては、評価結果が一定の指標よりも悪い状態になった場合に、スコピストに装着したウェアラブルデバイス（図示省略）が振動する又は音声を出力したり、提示装置５００に搭載されたランプが点滅したり等であってもよい。
出力部４２６は、上述した評価計算部４１４からの評価結果を提示装置５００へ出力することができる。なお、本実施形態においては、評価結果を例えば提示装置５００で表示することに限定されるものではない。例えば、評価結果をリアルタイムでスコピストに提示する方法としては、評価結果が一定の指標よりも悪い状態になった場合に、スコピストに装着したウェアラブルデバイス（図示省略）が振動する又は音声を出力したり、提示装置５００に搭載されたランプが点滅したり等であってもよい。
【0193】
また、本実施形態においては、評価結果をリアルタイムに提示するのではなく、一連の手術が終了した後に、総合的な評価結果を提示してもよい。例えば、各瞬間の特徴量の状態ｓと、回避すべきスコープワークの動作の推定値ｓ´とのノルム差を計算し、これらの時間平均値を評価結果として提示してもよい。このようにすることで、時間平均値が高い場合には、スコープワークの質が低いという通知をスコピストに提示することができる。
【0194】
（記憶部４３０）
記憶部４３０は、各種の情報を格納する。記憶部４３０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
記憶部４３０は、各種の情報を格納する。記憶部４３０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0195】
なお、本実施形態においては、評価装置４００の詳細構成は、図１７に示す構成に限定されるものではない。
【0196】
＜７．２ 評価方法＞
次に、図１８から図２１を参照して、本実施形態に係る評価方法について説明する。図１８は、本実施形態に係る評価方法の一例を示すフローチャートであり、図１９は、本実施形態に係る評価方法を説明するための説明図である。さらに、図２０及び図２１は、本実施形態に係る表示画面の一例を説明するための説明図である。図１８に示すように、本実施形態に係る評価方法は、ステップＳ４０１からステップＳ４０３までの複数のステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。
次に、図１８から図２１を参照して、本実施形態に係る評価方法について説明する。図１８は、本実施形態に係る評価方法の一例を示すフローチャートであり、図１９は、本実施形態に係る評価方法を説明するための説明図である。さらに、図２０及び図２１は、本実施形態に係る表示画面の一例を説明するための説明図である。図１８に示すように、本実施形態に係る評価方法は、ステップＳ４０１からステップＳ４０３までの複数のステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。
【0197】
まずは、評価装置４００は、内視鏡ロボットアームシステム１００等から、内視鏡ロボットアームシステム１００の状態に関する各種データをリアルタイムで取得する（ステップＳ４０１）。さらに、評価装置４００は、図１９に示すように、学習装置２００から反面教師モデル（推定値ｓ´、分散σ´２等）を取得する。
【0198】
次に、評価装置４００は、図１９に示すように、反面教師モデル（推定値ｓ´等）に従って、ステップＳ４０１で取得したデータに基づき、スコープワークの評価を行い、評価結果を出力する（ステップＳ４０２）。
【0199】
そして、評価装置４００は、評価結果をスコピストに提示する（ステップＳ４０３）。
本実施形態においては、例えば、リアルタイムで評価結果を表示する際には、図２０に示すように、提示装置５００の表示部に、医療用器具８００等の画像が含まれる手術映像７００が表示される。さらに、本実施形態においては、スコピストのスコープワークを妨げないように、評価結果は、表示部の隅に位置する評価表示７０２にリアルタイムに表示される。
本実施形態においては、例えば、リアルタイムで評価結果を表示する際には、図２０に示すように、提示装置５００の表示部に、医療用器具８００等の画像が含まれる手術映像７００が表示される。さらに、本実施形態においては、スコピストのスコープワークを妨げないように、評価結果は、表示部の隅に位置する評価表示７０２にリアルタイムに表示される。
【0200】
本実施形態においては、例えば、手術完了後に評価結果を表示する場合には、図２１に示すように、評価結果の時系列変化を示す評価表示７０４を表示してもよい。この場合、手術映像７００と評価結果とを時間同期させるために、例えば、ユーザ（例えば、スコピスト等）が評価表示７０４上のカーソル９００の位置を移動させることにより、カーソル９００の位置に応じた時刻の手術映像７００の映像が再現されるようになっていることが好ましい。さらに、本実施形態においては、提示装置５００の表示部には、当該手術映像７００又は評価結果等により、当該手術映像７００に係るスコープワークが、回避すべきスコープワークであると判断できる場合に、当該手術映像７００を回避すべきスコープワークのデータとして登録するための操作を行うボタン９０２を表示させることが好ましい。なお、本実施形態においては、このような登録作業は、手術中にリアルタイムで実施してもよいし、手術後にオフラインで実施してもよい。
【0201】
以上のように、本実施形態においては、反面教師モデルを用いて、スコピストのスコープワークを評価し、その評価結果を当該スコピストに向けて提示することができる。従って、本実施形態によれば、スコピストのスコープワークがどのようなときに悪い状態に陥る傾向があるかを定量的なデータとしてフィードバックすることができることから、スコピストのスキル向上のトレーニングに活かすことができる。
【0202】
＜＜８． まとめ＞＞
以上のように、本開示の実施形態によれば、適切にラベル付けされた機械学習のためのデータ（回避すべきスコープワークの動作のデータや回避しなくてもよいスコープワークの動作のデータ）を大量に収集して、学習モデル（反面教師モデル、教師モデル）を効率的に構築することができる。
以上のように、本開示の実施形態によれば、適切にラベル付けされた機械学習のためのデータ（回避すべきスコープワークの動作のデータや回避しなくてもよいスコープワークの動作のデータ）を大量に収集して、学習モデル（反面教師モデル、教師モデル）を効率的に構築することができる。
【0203】
＜＜９． ハードウェア構成＞＞
上述してきた各実施形態に係る学習装置２００等の情報処理装置は、例えば図２２に示すような構成のコンピュータ１０００によって実現される。以下、本開示の実施形態に係る学習装置２００を例に挙げて説明する。図２２は、本開示の実施形態に係る反面教師モデルの生成機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、及び、入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
上述してきた各実施形態に係る学習装置２００等の情報処理装置は、例えば図２２に示すような構成のコンピュータ１０００によって実現される。以下、本開示の実施形態に係る学習装置２００を例に挙げて説明する。図２２は、本開示の実施形態に係る反面教師モデルの生成機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、及び、入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
【0204】
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に保存されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に保存されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
【0205】
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を保存する。
【0206】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る医療用アーム制御方法のためのプログラムを記録する記録媒体である。
【0207】
通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
【0208】
入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、コンピュータ読み取り可能な所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ-Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0209】
例えば、コンピュータ１０００が本開示の実施形態に係る学習装置２００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた反面教師モデルを生成するためのプログラムを実行することにより、反面教師モデルを生成する機能を実現する。また、ＨＤＤ１４００には、本開示に実施形態に係る教師モデルを生成するためのプログラムが格納されてもよい。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置から情報処理プログラムを取得してもよい。
【0210】
また、本実施形態に係る学習装置２００は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。
【0211】
以上、学習装置２００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
【0212】
＜＜１０． 補足＞＞
なお、先に説明した本開示の実施形態は、例えば、上記で説明したような情報処理装置又は情報処理システムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、当該プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。
なお、先に説明した本開示の実施形態は、例えば、上記で説明したような情報処理装置又は情報処理システムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、当該プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。
【0213】
また、上述した本開示の実施形態の情報処理方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法により処理されていてもよい。
【0214】
上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0215】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0216】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0217】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0218】
なお、本技術は以下のような構成も取ることができる。
（１）
回避すべき動作であるとラベル付けされた、医療用アームの動作に関する複数の状態情報を機械学習して生成された第１の学習モデルを用いて、前記医療用アームを自律的に動作させるように制御する制御部を備える、情報処理装置。
（２）
前記第１の学習モデルを生成する第１の機械学習部をさらに備える、上記（１）に記載の情報処理装置。
（３）
前記医療用アームは、医療用観察装置を支持する、上記（１）又は（２）に記載の情報処理装置。
（４）
前記医療用観察装置は、内視鏡である、上記（３）に記載の情報処理装置。
（５）
前記医療用アームは、医療用器具を支持する、上記（１）に記載の情報処理装置。
（６）
前記複数の状態情報は、前記医療用アームの位置、姿勢、速度、加速度、及び画像のうちの少なくともいずれか１つの種類の情報を含む、上記（１）～（５）のいずれか１つに記載の情報処理装置。
（７）
前記複数の状態情報は、同一種類の異なる状態の情報を含む、上記（６）に記載の情報処理装置。
（８）
前記複数の状態情報は、術者の生体情報を含む、上記（１）～（７）のいずれか１つに記載の情報処理装置。
（９）
前記生体情報は、前記術者の、発話音声、動作、視線、心拍、脈拍、血圧、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗のうちの少なくともいずれか１つを含む、上記（８）に記載の情報処理装置。
（１０）
前記第１の学習モデルは、前記医療用アームの位置、姿勢、速度、加速度、及び画像の特徴量、撮像条件のうちの少なくともいずれか１つに関する情報を推定する、上記（２）に記載の情報処理装置。
（１１）
前記制御部は、前記第１の学習モデルが推定する状態を避けるように、前記医療用アームを自律動作させる、上記（２）に記載の情報処理装置。
（１２）
前記医療用アームの動作目標を決定する動作目標決定部をさらに備え、
前記制御部は、前記動作目標に基づき、前記医療用アームを自律動作させる、
上記（１１）に記載の情報処理装置。
（１３）
複数の前記状態情報を取得する状態情報取得部と、
前記第１の学習モデルに基づいて、前記複数の状態情報から、回避しなくてもよい動作であるとラベル付けされる複数の状態情報を抽出する第１の抽出部と、
をさらに備える、上記（１１）に記載の情報処理装置。
（１４）
前記回避しなくてもよい動作であるとラベル付けされた複数の状態情報を機械学習して、第２の学習モデルを生成する第２の機械学習部をさらに備える、上記（１３）に記載の情報処理装置。
（１５）
前記制御部は、前記第２の学習モデルを用いて前記医療用アームを自律動作させる、上記（１４）に記載の情報処理装置。
（１６）
前記制御部は、前記第１及び第２の学習モデルの推定に対して重みづけを行う、上記（１５）に記載の情報処理装置。
（１７）
前記制御部は、前記第１の学習モデルに従って、前記医療用アームを自律動作させ、次いで、前記第２の学習モデルに従って、前記医療用アームを自律動作させる、上記（１５）に記載の情報処理装置。
（１８）
複数の前記状態情報を取得する状態情報取得部と、
前記複数の状態情報から、回避すべき動作であるとラベル付けされる複数の状態情報を抽出する第２の抽出部と、
をさらに備える、上記（２）に記載の情報処理装置。
（１９）
前記第２の抽出部は、前記複数の状態情報に含まれる画像、発話音声、停止操作情報のうちのいずれか１つに基づいて、前記複数の状態情報から、回避すべき動作であるとラベル付けされる前記複数の状態情報を抽出する、上記（１８）に記載の情報処理装置。
（２０）
前記第１の学習モデルに従って、前記医療用アームの動作を評価する評価部をさらに備える、上記（２）に記載の情報処理装置。
（２１）
コンピュータに、
回避すべき動作であるとラベル付けされた、医療用アームの動作に関する複数の状態情報を機械学習して生成された第１の学習モデルを用いて、前記医療用アームの自律的動作の制御を実行させる、
プログラム。
（２２）
学習モデルに基づいて出力される状態を避けるように医療用アームを自律的に動作させるように制御するよう、コンピュータを機能させる学習モデルであって、
回避すべき動作であるとラベル付けされた、前記医療用アームの動作に関する複数の状態情報を機械学習することによって抽出された特徴量に関する情報を含む、
学習モデル。
（２３）
学習モデルに基づいて出力される状態を避けるように医療用アームを自律的に動作させるように制御するよう、コンピュータを機能させるための学習モデルの生成方法であって、
前記医療用アームが回避すべき動作とラベル付けされた、前記医療用アームの動作に関する複数の状態情報を機械学習することにより、前記学習モデルを生成する、
学習モデルの生成方法。
（１）
回避すべき動作であるとラベル付けされた、医療用アームの動作に関する複数の状態情報を機械学習して生成された第１の学習モデルを用いて、前記医療用アームを自律的に動作させるように制御する制御部を備える、情報処理装置。
（２）
前記第１の学習モデルを生成する第１の機械学習部をさらに備える、上記（１）に記載の情報処理装置。
（３）
前記医療用アームは、医療用観察装置を支持する、上記（１）又は（２）に記載の情報処理装置。
（４）
前記医療用観察装置は、内視鏡である、上記（３）に記載の情報処理装置。
（５）
前記医療用アームは、医療用器具を支持する、上記（１）に記載の情報処理装置。
（６）
前記複数の状態情報は、前記医療用アームの位置、姿勢、速度、加速度、及び画像のうちの少なくともいずれか１つの種類の情報を含む、上記（１）～（５）のいずれか１つに記載の情報処理装置。
（７）
前記複数の状態情報は、同一種類の異なる状態の情報を含む、上記（６）に記載の情報処理装置。
（８）
前記複数の状態情報は、術者の生体情報を含む、上記（１）～（７）のいずれか１つに記載の情報処理装置。
（９）
前記生体情報は、前記術者の、発話音声、動作、視線、心拍、脈拍、血圧、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗のうちの少なくともいずれか１つを含む、上記（８）に記載の情報処理装置。
（１０）
前記第１の学習モデルは、前記医療用アームの位置、姿勢、速度、加速度、及び画像の特徴量、撮像条件のうちの少なくともいずれか１つに関する情報を推定する、上記（２）に記載の情報処理装置。
（１１）
前記制御部は、前記第１の学習モデルが推定する状態を避けるように、前記医療用アームを自律動作させる、上記（２）に記載の情報処理装置。
（１２）
前記医療用アームの動作目標を決定する動作目標決定部をさらに備え、
前記制御部は、前記動作目標に基づき、前記医療用アームを自律動作させる、
上記（１１）に記載の情報処理装置。
（１３）
複数の前記状態情報を取得する状態情報取得部と、
前記第１の学習モデルに基づいて、前記複数の状態情報から、回避しなくてもよい動作であるとラベル付けされる複数の状態情報を抽出する第１の抽出部と、
をさらに備える、上記（１１）に記載の情報処理装置。
（１４）
前記回避しなくてもよい動作であるとラベル付けされた複数の状態情報を機械学習して、第２の学習モデルを生成する第２の機械学習部をさらに備える、上記（１３）に記載の情報処理装置。
（１５）
前記制御部は、前記第２の学習モデルを用いて前記医療用アームを自律動作させる、上記（１４）に記載の情報処理装置。
（１６）
前記制御部は、前記第１及び第２の学習モデルの推定に対して重みづけを行う、上記（１５）に記載の情報処理装置。
（１７）
前記制御部は、前記第１の学習モデルに従って、前記医療用アームを自律動作させ、次いで、前記第２の学習モデルに従って、前記医療用アームを自律動作させる、上記（１５）に記載の情報処理装置。
（１８）
複数の前記状態情報を取得する状態情報取得部と、
前記複数の状態情報から、回避すべき動作であるとラベル付けされる複数の状態情報を抽出する第２の抽出部と、
をさらに備える、上記（２）に記載の情報処理装置。
（１９）
前記第２の抽出部は、前記複数の状態情報に含まれる画像、発話音声、停止操作情報のうちのいずれか１つに基づいて、前記複数の状態情報から、回避すべき動作であるとラベル付けされる前記複数の状態情報を抽出する、上記（１８）に記載の情報処理装置。
（２０）
前記第１の学習モデルに従って、前記医療用アームの動作を評価する評価部をさらに備える、上記（２）に記載の情報処理装置。
（２１）
コンピュータに、
回避すべき動作であるとラベル付けされた、医療用アームの動作に関する複数の状態情報を機械学習して生成された第１の学習モデルを用いて、前記医療用アームの自律的動作の制御を実行させる、
プログラム。
（２２）
学習モデルに基づいて出力される状態を避けるように医療用アームを自律的に動作させるように制御するよう、コンピュータを機能させる学習モデルであって、
回避すべき動作であるとラベル付けされた、前記医療用アームの動作に関する複数の状態情報を機械学習することによって抽出された特徴量に関する情報を含む、
学習モデル。
（２３）
学習モデルに基づいて出力される状態を避けるように医療用アームを自律的に動作させるように制御するよう、コンピュータを機能させるための学習モデルの生成方法であって、
前記医療用アームが回避すべき動作とラベル付けされた、前記医療用アームの動作に関する複数の状態情報を機械学習することにより、前記学習モデルを生成する、
学習モデルの生成方法。
【符号の説明】
【0219】
１０ 医療用観察システム
１００ 内視鏡ロボットアームシステム
１０２ アーム部
１０４ 撮像部
１０６ 光源部
２００、２００ａ 学習装置
２１２、３１２、４１２ 情報取得部
２１４、２１４ａ 抽出部
２１６、２１６ａ 機械学習部
２２６、３２６、４２６ 出力部
２３０、３３０、４３０ 記憶部
３００ 制御装置
３１０ 処理部
３１４ 画像処理部
３１６ 目標状態計算部
３１８ 特徴量計算部
３２０ 反面教師モデル取得部
３２２ 教師モデル取得部
３２４ 統合処理部
４００ 評価装置
４１４ 評価計算部
４２０ モデル取得部
５００ 提示装置
６００ 執刀医側装置
６０２ センサ
６０４ ＵＩ
７００ 手術映像
７０２、７０４ 評価表示
８００ 医療用器具
９００ カーソル
９０２ ボタン
１００ 内視鏡ロボットアームシステム
１０２ アーム部
１０４ 撮像部
１０６ 光源部
２００、２００ａ 学習装置
２１２、３１２、４１２ 情報取得部
２１４、２１４ａ 抽出部
２１６、２１６ａ 機械学習部
２２６、３２６、４２６ 出力部
２３０、３３０、４３０ 記憶部
３００ 制御装置
３１０ 処理部
３１４ 画像処理部
３１６ 目標状態計算部
３１８ 特徴量計算部
３２０ 反面教師モデル取得部
３２２ 教師モデル取得部
３２４ 統合処理部
４００ 評価装置
４１４ 評価計算部
４２０ モデル取得部
５００ 提示装置
６００ 執刀医側装置
６０２ センサ
６０４ ＵＩ
７００ 手術映像
７０２、７０４ 評価表示
８００ 医療用器具
９００ カーソル
９０２ ボタン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】