特許 7555551 処理システム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-13

(45)【発行日】2024-09-25

(54)【発明の名称】処理システム及び情報処理方法

(51)【国際特許分類】

   A61B 1/00 20060101AFI20240917BHJP

   G09B 19/00 20060101ALI20240917BHJP

   G02B 23/24 20060101ALI20240917BHJP

【ＦＩ】

A61B1/00 552

G09B19/00 H

G02B23/24 C

G02B23/24 A

【請求項の数】 12

(21)【出願番号】P 2023550900

(86)(22)【出願日】2021-09-30

(86)【国際出願番号】 JP2021036107

(87)【国際公開番号】W WO2023053333

(87)【国際公開日】2023-04-06

【審査請求日】2023-09-20

(73)【特許権者】

【識別番号】304050923

【氏名又は名称】オリンパスメディカルシステムズ株式会社

(73)【特許権者】

【識別番号】510097747

【氏名又は名称】国立研究開発法人国立がん研究センター

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(74)【代理人】

【識別番号】100166523

【弁理士】

【氏名又は名称】西河 宏晃

(72)【発明者】

【氏名】宮原 晋平

(72)【発明者】

【氏名】甕 紘介

(72)【発明者】

【氏名】山田 哲寛

(72)【発明者】

【氏名】野川 晃佑

(72)【発明者】

【氏名】石澤 咲

(72)【発明者】

【氏名】小田 一郎

(72)【発明者】

【氏名】野中 哲

【審査官】▲高▼原 悠佑

(56)【参考文献】

【文献】国際公開第２０２１／１１１８７９（ＷＯ，Ａ１）

【文献】特開２０１７－９９５０９（ＪＰ，Ａ）

【文献】国際公開第２０２１／１４９１１２（ＷＯ，Ａ１）

【文献】特開２０１９－１７０６３８（ＪＰ，Ａ）

【文献】特開２００１－１９８０８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

(57)【特許請求の範囲】

【請求項1】

内視鏡に対してユーザが行った操作を表す操作入力データと、前記操作を行った際の挿入部の位置及び姿勢の少なくとも一方を表す操作出力データと、を取得する取得部と、
前記操作入力データと前記操作出力データとの関係を表す伝達特性データを求め、前記伝達特性データに基づいて、前記内視鏡を操作する前記ユーザのスキル評価を行う処理部と、
前記スキル評価の結果であるスキル評価情報を出力する出力処理部と、
を含み、
前記操作入力データと前記操作出力データの関係は、前記挿入部の状態に応じて変化することを特徴とする処理システム。

【請求項2】

請求項１において、
前記内視鏡は、
前記挿入部の先端部と操作部との間に、受動的に動く軟性部を有する軟性内視鏡であることを特徴とする処理システム。

【請求項3】

請求項１において、
前記伝達特性データは、前記操作入力データによって表される操作入力の大きさと、前記操作出力データによって表される操作出力の大きさの比率を表すデータであることを特徴とする処理システム。

【請求項4】

請求項１において、
前記処理部は、
前記スキル評価のための前記伝達特性データの数値範囲を取得し、
前記伝達特性データの統計量を求め、
前記統計量と前記数値範囲の比較処理に基づいて、前記スキル評価を行うことを特徴とする処理システム。

【請求項5】

請求項１において、
前記操作入力データは、前記挿入部の先端部を変位又は回転させる操作デバイスの操作量、前記挿入部のねじり量、前記挿入部の進退量の少なくとも１つに関する情報を含み、
前記操作出力データは、前記挿入部の先端部の前記位置、前記姿勢、及び速度の少なくとも１つに関する情報を含むことを特徴とする処理システム。

【請求項6】

請求項１において、
前記処理部は、
複数の学習用伝達特性データを、ｍ（ｍは２以上の整数）個のカテゴリに分類する機械学習を行うことによって取得された学習済モデルと、前記伝達特性データとに基づいて、前記スキル評価を行うことを特徴とする処理システム。

【請求項7】

請求項６において、
前記処理部は、
前記伝達特性データと前記学習済モデルとに基づいて、ｎ（ｎは２以上の整数）次元の特徴量を求め、
求められた前記特徴量の特徴量空間における位置と、前記ｍ個のカテゴリのうちの１又は複数のカテゴリの前記特徴量空間における重心位置と、の距離に基づいて前記スキル評価を行うことを特徴とする処理システム。

【請求項8】

請求項１において、
前記取得部は、
前記操作入力データ及び前記操作出力データに対応付けられたメタデータとして、症例難易度を表す難易度データを取得し、
前記処理部は、
前記操作入力データと前記操作出力データと前記難易度データに基づいて、前記スキル評価を行うことを特徴とする処理システム。

【請求項9】

請求項１において、
前記取得部は、
前記操作入力データ及び前記操作出力データに対応付けられたメタデータとして、前記内視鏡を操作した術者を表す術者データを取得し、
前記処理部は、
前記操作入力データと前記操作出力データと前記術者データに基づいて、前記スキル評価を行うことを特徴とする処理システム。

【請求項10】

請求項１において、
前記取得部は、
前記操作入力データ及び前記操作出力データに対応付けられたメタデータとして、前記内視鏡による処置に用いられた処置具を特定する処置具データを取得し、
前記処理部は、
前記操作入力データと前記操作出力データと前記処置具データに基づいて、前記スキル評価を行うことを特徴とする処理システム。

【請求項11】

請求項１において、
前記取得部は、
前記操作入力データ及び前記操作出力データに対応付けられたメタデータとして、前記内視鏡の周辺機器の使用状況を表す周辺機器データを取得し、
前記処理部は、
前記操作入力データと前記操作出力データと前記周辺機器データに基づいて、前記スキル評価を行うことを特徴とする処理システム。

【請求項12】

内視鏡に対してユーザが行った操作を表す操作入力データと、前記操作を行った際の挿入部の位置及び姿勢の少なくとも一方を表す操作出力データと、を取得し、
前記操作入力データと前記操作出力データとの関係を表す伝達特性データを求め、前記伝達特性データに基づいて、前記内視鏡を操作する前記ユーザのスキル評価を行い、
前記スキル評価の結果であるスキル評価情報を出力し、
前記操作入力データと前記操作出力データの関係は、前記挿入部の状態に応じて変化することを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理システム及び情報処理方法等に関する。

【背景技術】

【0002】

従来、内視鏡システムを用いて生体を対象とした処置を行う手法が広く知られている。内視鏡における処置の良し悪しは、医師の経験値や操作上の暗黙知によるものが大きい。そのため、医師のスキルを評価する取組みが数多く行われている。例えば特許文献１には、医療ロボットの動作データを用いて、医師の技能を評価する手法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－５２１５６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

内視鏡を用いた処置や観察においては、状況に応じて操作性が大きく変化する場合がある。熟練医は、操作性の変化を絶えず修正しながら処置を行っている。即ち、操作性に関する情報はスキル評価に有用である。しかし従来のスキル評価手法においては、操作性が考慮されていない。例えば特許文献１の手法は、外科用内視鏡を対象としているため、操作性が状況に応じて変化することを想定してしない。

【課題を解決するための手段】

【0005】

本開示の一態様は、内視鏡に対してユーザが行った操作を表す操作入力データと、前記操作を行った際の挿入部の位置及び姿勢の少なくとも一方を表す操作出力データと、を取得する取得部と、前記操作入力データ及び前記操作出力データに基づいて、前記内視鏡を操作する前記ユーザのスキル評価を行う処理部と、前記スキル評価の結果であるスキル評価情報を出力する出力処理部と、を含み、前記操作入力データと前記操作出力データの関係は、前記挿入部の状態に応じて変化する処理システムに関係する。

【0006】

本開示の他の態様は、内視鏡に対してユーザが行った操作を表す操作入力データと、前記操作を行った際の挿入部の位置及び姿勢の少なくとも一方を表す操作出力データと、を取得し、前記操作入力データ及び前記操作出力データに基づいて、前記内視鏡を操作する前記ユーザのスキル評価を行い、前記スキル評価の結果であるスキル評価情報を出力し、前記操作入力データと前記操作出力データの関係は、前記挿入部の状態に応じて変化する情報処理方法に関係する。

【図面の簡単な説明】

【0007】

【図1】図１（Ａ）、図１（Ｂ）は状況に応じた操作性の違いを説明する図。

【図2】処理システムの構成例。

【図3】内視鏡システムの外観例。

【図4】内視鏡システムの構成例。

【図5】処理システムを含むシステムの構成例。

【図6】挿入部の詳細な構成例。

【図7】内視鏡システムのスコープ部の他の構成例。

【図8】伝達特性データの時間変化を説明する図。

【図9】ニューラルネットワークの説明図。

【図10】ニューラルネットワークの入力及び出力の例。

【図11】学習処理を説明するフローチャート。

【図12】推論処理であるスキル評価処理を説明するフローチャート。

【図13】ｎ次元特徴量空間におけるクラスタリング結果の例。

【図14】ニューラルネットワークの入力及び出力の例。

【発明を実施するための形態】

【0008】

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

【0009】

１．システム構成例
従来、軟性部を有する軟性内視鏡を用いた処置が広く行われている。軟性内視鏡は、例えば図３を用いて後述するように、挿入部３１０ｂの先端部１１から操作部３１０ａまでが軟性且つ長大である。そのため、先端部１１が生体と接触することによる感触や力量は、術者にはほとんど伝わらない。また術者が取得できる情報は、先端部１１に設けられる撮像系による撮像画像が主である。即ち、術者が確認できるのは画面から見える範囲及び角度のみである。さらに言えば、撮像画像は３次元的な情報を有さない場合が多い。そのため、術者は、病変に対する実際の内視鏡の位置や姿勢を想像で補っている。

【0010】

このように十分な情報が得られない中で、内視鏡医である術者は自らの経験則に基づいて手技を行う。そのため、熟練医自身も、どういう時にどう操作するのがよいのか、うまく言葉で表すことができない。換言すれば、従来、内視鏡の処置におけるスキルは「暗黙知」となっていた。

【0011】

そのため、ユーザスキルを可視化、定量化することに対する要求がある。客観的なスキル評価が可能になれば、ユーザのスキルアップを容易にすることや、病院における人材配置を最適化すること等が可能になる。例えば特許文献１では、ユーザが行なう外科的作業に対するデータを収集し、収集したデータと、同じ外科的作業に対する他のデータとを比較することによってユーザの臨床技能を定量化する。

【0012】

しかし特許文献１等の従来手法では、内視鏡ならではの課題が考慮されてない。例えば内視鏡には、上述したとおり軟性部を有する軟性内視鏡が含まれる。そのため、軟性内視鏡を用いた治療においては、内視鏡が病変に到達した後の、管腔内における病変への内視鏡先端のポジショニングの取り方や、送気吸引を含めた術場の作り方によって、内視鏡を支える場所が変化する。結果として、軟性内視鏡を用いた処置中は、操作性が変化しやすい。また対象組織側が動くことによっても、操作性は変化する。

【0013】

ここでの操作性とは、操作入力に対する操作出力の関係を表す。操作入力とは、術者が挿入部３１０ｂの先端部１１を移動させるために手元で行う具体的な操作を表す。例えば、軟性内視鏡は、湾曲部１２を上下左右に湾曲させる湾曲操作、挿入部３１０ｂを軸周りに回転させる回転操作、挿入部３１０ｂを挿抜させる進退操作を行うことが可能である。操作出力とは、操作入力に対して、挿入部３１０ｂがどのように動いたか、より具体的には挿入部３１０ｂの先端部１１がどのように動いたかを表す情報である。

【0014】

挿入部３１０ｂが屈曲せず、且つ、他の物体に接触しない状態では、術者が所定の操作デバイスを操作させたときの操作量と、先端部１１の実際の動きはある程度正確に対応する。なお、所定の操作デバイスとは、先端部１１を変位又は回転させるものであり、例えばガイドワイヤーを直接制御するアングルノブであるが、ガイドワイヤーを制御するモーター等を含む駆動手段と電気的に接続するレバー、スイッチ又はスライダー等であってもよい。また、所定の操作デバイスは、例えば、アングルノブをこれだけ回転させれば、先端部１１は上方向にθだけ湾曲する、といった対応関係が明確である。換言すれば、先端部１１をθだけ湾曲させるための湾曲操作を明確に定義可能である。回転操作、進退操作についても同様であり、先端部１１をφだけ回転させたければ挿入部３１０ｂを軸周りにφだけ回転させればよく、先端部１１をｘだけ前進させたければ挿入部３１０ｂを軸方向にｘだけ押し込めばよい。即ち、理想的な状態では、操作入力と操作出力は１対１に対応しており、操作性は安定している。なお、以降の説明のおいては、所定の操作デバイスはアングルノブを例に説明するが、他の操作デバイスによる操作の適用を妨げるものではない。

【0015】

しかし挿入時の軟性内視鏡は、先端部１１が観察や処置の対象となる部位に到達した際に、挿入部３１０ｂと生体がどのような関係にあるかが、状況に応じて大きく異なる。

【0016】

図１（Ａ）、図１（Ｂ）は、軟性内視鏡における操作性が状況に応じて変化することを説明する図である。図１（Ａ）、図１（Ｂ）に示す例では、いずれも胃の大彎部分に存在する病変に対する処置を行うために、当該病変の近傍まで挿入部３１０ｂが挿入された状態を図示している。図１（Ａ）、図１（Ｂ）に示すＯＢが病変を表す。

【0017】

図１（Ａ）に示す状態では、挿入部３１０ｂはＡ１に示す位置において噴門と接触しており、且つ、Ａ１よりも先端側では生体と接触していない。この場合、先端部１１の動きが接触によって規制されにくいため、術者の操作に対して先端部１１は敏感に反応する。例えば、術者が操作部３１０ａを用いて、上記理想的な状態であれば先端部１１がθだけ湾曲するであろう操作を行った場合、先端部１１はθに近い角度であるθ１だけ湾曲する。この場合、先端部１１を大きく動かすことは容易であるものの、安定感に欠け、精緻な処置が妨げられるおそれがある。

【0018】

一方、図１（Ｂ）に示す状態では、挿入部３１０ｂは噴門よりも処置対象の病変であるＯＢに近い位置であるＡ２において、胃の表面と接触している。この場合、Ａ２での接触に起因して、図１（Ａ）の状態に比べて先端部１１の動きが規制される。例えば、術者が先端部１１をθだけ湾曲させる操作を行った場合、先端部１１はθ２＜θ１であるθ２しか湾曲しない。この場合、先端部１１の動きは小さくなるものの、安定化が容易であるため、精緻な処置に適している。

【0019】

スキルに長けた熟練医は、操作性の変化を絶えず修正しながら処置を行うことが可能である。具体的には熟練医は、軟性内視鏡であっても、操作入力に対する操作出力の関係ができるだけ一定となるように、挿入部３１０ｂを制御できる。例えば熟練医は、図１（Ｂ）に示したように、適切な位置及び程度で挿入部３１０ｂを生体に接触させる状態を実現することによって、安定した状態で処置を行う。また熟練医は、必要に応じて送気や吸引を行うことによって、術場を整えるスキルにも長けている。

【0020】

一方、熟練医に比べてスキルの低い修練医は、操作性を適切に制御できない。例えば修練医は、精緻な処置が必要なときに、挿入部３１０ｂを図１（Ａ）のような接触の少ない状態としてしまうため、先端部１１を安定させることができない。逆に、挿入部３１０ｂと生体を過剰に接触させることによって、操作部３１０ａを操作しているのに先端部１１が十分に動かないといったケースも考えられる。

【0021】

以上のように、軟性内視鏡を対象とした場合、時々刻々と変化する操作入力と操作出力の関係は、ユーザのスキル評価に有用である。しかし特許文献１等の従来手法では、この操作入力と操作出力の関係が考慮されておらず、軟性内視鏡の操作技能を収集及び評価するには十分ではない。

【0022】

図２は、本実施形態に係る処理システム１００の構成を示す図である。処理システム１００は、取得部１１０と、処理部１２０と、出力処理部１３０を含む。ただし処理システム１００は図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。

【0023】

取得部１１０は、内視鏡システム３００から操作入力データと、操作出力データを取得する。内視鏡システム３００の詳細については、図３及び図４を用いて後述する。操作入力データとは、内視鏡システム３００の挿入部３１０ｂの位置及び姿勢の少なくとも一方を変更するために行われたユーザ操作を特定する情報である。操作出力データとは、当該ユーザ操作が行われた場合に、挿入部３１０ｂの位置及び姿勢がどのように変化したかを表す情報である。操作入力データは、例えば内視鏡システム３００における制御情報に基づいて取得される。操作出力データは、例えば内視鏡システム３００に設けられるセンサ等に基づいて取得される。取得部１１０は、例えば情報取得用の通信チップ、当該通信チップを制御するプロセッサ又は制御回路等によって実現が可能である。

【0024】

処理部１２０は、操作入力データと操作出力データに基づいて、内視鏡システム３００の操作を行ったユーザのスキル評価を行う。処理部１２０が実行する処理は、例えば伝達特性データの変動を判定する処理であってもよいし、クラスタリング等の分類処理であってもよい。具体的な処理は後述する。

【0025】

学習済モデルを用いる処理が行われる場合、処理システム１００は、機械学習によって生成された学習済モデルを記憶する不図示の記憶部を含む。ここでの記憶部は、処理部１２０等のワーク領域となるもので、その機能は半導体メモリ、レジスタ、磁気記憶装置などにより実現できる。処理部１２０は、記憶部から学習済モデルを読み出し、当該学習済モデルからの指示に従って動作することによって、ユーザのスキル評価結果を出力する推論処理を行う。

【0026】

なお処理部１２０は、下記のハードウェアにより構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ（Integrated Circuit）、ＦＰＧＡ（field-programmable gate array）等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。

【0027】

また処理部１２０は、下記のプロセッサにより実現されてもよい。処理システム１００は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。ここでのメモリは、上記の記憶部であってもよいし、異なるメモリであってもよい。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。メモリは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリであってもよいし、レジスタであってもよいし、ＨＤＤ（Hard Disk Drive）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１２０の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。さらに、処理部１２０の各部の全部または一部をクラウドコンピューティングで実現し、後述する各処理をクラウドコンピューティング上で行うこともできる。

【0028】

また、本実施形態の処理部１２０は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、処理部１２０は、操作入力データと操作出力データに基づいてスキル評価を行う処理モジュールとして実現される。

【0029】

また、本実施形態の処理部１２０が行う処理を実現するプログラムは、例えばコンピュータによって読み取り可能な媒体である情報記憶装置に格納できる。情報記憶装置は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどによって実現できる。半導体メモリは例えばＲＯＭである。処理部１２０は、情報記憶装置に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶装置は、処理部１２０としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。具体的には本実施形態に係るプログラムは、図１２等を用いて後述する各ステップを、コンピュータに実行させるためのプログラムである。

【0030】

出力処理部１３０は、処理部１２０によるスキル評価の結果であるスキル評価情報を出力する処理を行う。例えば、処理システム１００は不図示の表示部を含み、出力処理部１３０は、スキル評価情報を当該表示部に表示する処理を行ってもよい。或いは、図５を用いて後述するように、処理システム１００はネットワークを介して、内視鏡システム３００に接続されてもよい。出力処理部１３０は、ネットワークを介してスキル評価情報を送信する通信デバイスや通信チップであってもよい。なおスキル評価情報が出力される機器は内視鏡システム３００に限定されず、処理システム１００と通信可能なＰＣ（Personal Computer）であってもよいし、スマートフォンやタブレット端末等の携帯端末装置であってもよい。

【0031】

本実施形態の手法によれば、操作入力データと操作出力データの関係が、挿入部３１０ｂの状態に応じて変化する場合において、操作出力データと操作出力データの両方に基づいてユーザのスキル評価を行うことが可能になる。術者が操作性を適切に制御しているか否かという観点からスキル評価が可能であるため、評価精度を高くすることが可能になる。

【0032】

具体的には、本実施形態に係る内視鏡は、図３を用いて後述するように、操作部３１０ａと挿入部３１０ｂとの間に設けられ、受動的に動く軟性部１３を有する軟性内視鏡である。このような軟性内視鏡では、軟性部１３が存在することによって、操作入力データと操作出力データの関係が挿入部３１０ｂの状態に応じて変化する。よって軟性内視鏡を対象としたスキル評価を行う場合に、本実施形態の手法は好適である。

【0033】

なお本実施形態の処理システム１００が行う処理は、情報処理方法として実現されてもよい。情報処理方法は、操作入力データと操作出力データの関係が挿入部３１０ｂの状態に応じて変化する場合において、内視鏡に対してユーザが行った操作を表す操作入力データと、操作を行った際の挿入部３１０ｂの位置及び姿勢の少なくとも一方を表す操作出力データと、を取得し、操作入力データ及び操作出力データに基づいて、内視鏡を操作するユーザのスキル評価を行い、スキル評価の結果であるスキル評価情報を出力する。

【0034】

図３は、内視鏡システム３００の構成を示す図である。内視鏡システム３００は、スコープ部３１０と、処理装置３３０と、表示部３４０と、光源装置３５０とを含む。術者は、内視鏡システム３００を用いて患者の内視鏡検査を行う。ただし、内視鏡システム３００の構成は図３に限定されず、一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。

【0035】

また図３においては、処理装置３３０が、コネクタ３１０ｄによってスコープ部３１０と接続される１つの装置である例を示したがこれには限定されない。例えば、処理装置３３０の一部又は全部の構成は、ネットワークを介して接続可能なＰＣやサーバシステム等の他の情報処理装置によって構築されてもよい。例えば、処理装置３３０はクラウドコンピューティングによって実現されてもよい。

【0036】

スコープ部３１０は、操作部３１０ａと、可撓性を有する挿入部３１０ｂと、信号線などを含むユニバーサルケーブル３１０ｃとを有する。スコープ部３１０は、管状の挿入部３１０ｂを体腔内に挿入する管状挿入装置である。ユニバーサルケーブル３１０ｃの先端にはコネクタ３１０ｄが設けられる。スコープ部３１０は、コネクタ３１０ｄによって、光源装置３５０及び処理装置３３０と着脱可能に接続される。さらに、図４を用いて後述するように、ユニバーサルケーブル３１０ｃ内には、ライトガイド３１５が挿通されており、スコープ部３１０は、光源装置３５０からの照明光を、ライトガイド３１５を通して挿入部３１０ｂの先端から出射する。

【0037】

例えば挿入部３１０ｂは、挿入部３１０ｂの先端から基端に向かって、先端部１１と、湾曲可能な湾曲部１２と、軟性部１３とを有している。挿入部３１０ｂは、被写体に挿入される。挿入部３１０ｂの先端部１１は、スコープ部３１０の先端部であり、硬い先端硬質部である。後述する対物光学系３１１や撮像素子３１２は、例えば先端部１１に設けられる。

【0038】

湾曲部１２は、操作部３１０ａに設けられた湾曲操作部材に対する操作に応じて、所望の方向に湾曲可能である。湾曲操作部材は、例えば左右湾曲操作ノブ１４ａ及び上下湾曲操作ノブ１４ｂを含む。また操作部３１０ａには、湾曲操作部材の他にも、レリーズボタン、送気送水ボタン等の各種操作ボタンが設けられてもよい。

【0039】

処理装置３３０は、受信した撮像信号に対して所定の画像処理を行い、撮像画像を生成するビデオプロセッサである。生成された撮像画像の映像信号は、処理装置３３０から表示部３４０へ出力され、ライブの撮像画像が、表示部３４０上に表示される。処理装置３３０の構成については後述する。表示部３４０は、例えば液晶ディスプレイやＥＬ（Electro-Luminescence）ディスプレイ等である。

【0040】

光源装置３５０は、通常観察モード用の白色光を出射可能な光源装置である。なお、光源装置３５０は、通常観察モード用の白色光と、狭帯域光等の特殊光とを選択的に出射可能であってもよい。

【0041】

図４は、内視鏡システム３００の各部の構成を説明する図である。なお図４では、スコープ部３１０の一部の構成を省略、簡略化している。

【0042】

光源装置３５０は、照明光を発光する光源３５２を含む。光源３５２は、キセノン光源であってもよいし、ＬＥＤ（light emitting diode）であってもよいし、レーザー光源であってもよい。また光源３５２は他の光源であってもよく、発光方式は限定されない。

【0043】

挿入部３１０ｂは、対物光学系３１１、撮像素子３１２、照明レンズ３１４、ライトガイド３１５を含む。ライトガイド３１５は、光源３５２からの照明光を、挿入部３１０ｂの先端まで導光する。照明レンズ３１４は、ライトガイド３１５によって導光された照明光を被写体に照射する。対物光学系３１１は、被写体から反射した反射光を、被写体像として結像する。

【0044】

撮像素子３１２は、対物光学系３１１を経由した被写体からの光を受光する。撮像素子３１２はモノクロセンサであってもよいし、カラーフィルタを備えた素子であってもよい。カラーフィルタは、広く知られたベイヤフィルタであってもよいし、補色フィルタであってもよいし、他のフィルタであってもよい。補色フィルタとは、シアン、マゼンタ及びイエローの各色フィルタを含むフィルタである。

【0045】

処理装置３３０は、画像処理やシステム全体の制御を行う。処理装置３３０は、前処理部３３１、制御部３３２、記憶部３３３、検出処理部３３５、後処理部３３６を含む。

【0046】

前処理部３３１は、撮像素子３１２から順次出力されるアナログ信号をデジタルの画像に変換するＡ／Ｄ変換と、Ａ／Ｄ変換後の画像データに対する各種補正処理を行う。なお、撮像素子３１２にＡ／Ｄ変換回路が設けられ、前処理部３３１におけるＡ／Ｄ変換が省略されてもよい。ここでの補正処理とは、例えばカラーマトリクス補正処理、構造強調処理、ノイズ低減処理、ＡＧＣ（automatic gain control）等を含む。また前処理部３３１は、ホワイトバランス処理等の他の補正処理を行ってもよい。前処理部３３１は、処理後の画像を入力画像として検出処理部３３５に出力する。また前処理部３３１は、処理後の画像を表示画像として、後処理部３３６に出力する。

【0047】

検出処理部３３５は、入力画像から病変等の注目領域を検出する検出処理を行う。ただし本実施形態では、注目領域の検出処理は必須ではなく、検出処理部３３５は省略が可能である。

【0048】

後処理部３３６は、前処理部３３１、検出処理部３３５の出力に基づく後処理を行い、後処理後の画像を表示部３４０に出力する。例えば後処理部３３６は、表示画像に対して、検出処理部３３５における検出結果を付加し、付加後の画像を表示する処理を行ってもよい。術者であるユーザは、表示部３４０に表示される画像を見ながら、生体内の病変領域に対する処置を行う。ここでの処置は、例えば内視鏡的粘膜切除術（ＥＭＲ：Endoscopic mucosal resection）や、内視鏡的粘膜下層はく離術（ＥＳＤ：Endoscopic submucosal dissection）等の病変を切除するための処置である。

【0049】

制御部３３２は、撮像素子３１２、前処理部３３１、検出処理部３３５、後処理部３３６、光源３５２と互いに接続され、各部を制御する。

【0050】

例えば処理システム１００が処理装置３３０に含まれる場合、図４の構成に取得部１１０、処理部１２０及び出力処理部１３０が追加される。取得部１１０は、例えば制御部３３２の制御情報に基づいて操作入力データを取得する。また取得部１１０は、例えば挿入部３１０ｂに設けられるモーションセンサのセンサ情報に基づいて操作出力データを取得する。処理部１２０は、操作入力データと操作出力データを用いてスキル評価を行う。出力処理部１３０は、表示部３４０や、内視鏡システム３００と接続される外部機器にスキル評価情報を出力する。

【0051】

或いは、処理システム１００は、内視鏡システム３００とは別体として設けられてもよい。図５は、処理システム１００を含むシステムの構成例を示す図である。図５に示すように、システムは、複数の内視鏡システム３００と、処理システム１００を含む。

【0052】

例えば処理システム１００は、複数の内視鏡システム３００のそれぞれと、ネットワークを介して接続されるサーバシステムである。ここでのサーバシステムは、イントラネット等のプライベートネットワークに設けられるサーバであってもよいし、インターネット等の公衆通信網に設けられるサーバであってもよい。また処理システム１００は、１つのサーバ装置によって構成されてもよいし、複数のサーバ装置を含んでもよい。例えば処理システム１００は、複数の内視鏡システム３００から、操作入力データと操作出力データを収集するデータベースサーバと、スキル評価を行う処理サーバを含んでもよい。データベースサーバは、例えば後述するように、難易度データ、術者データ、処置具データ、周辺機器データ等の他の情報を収集してもよい。

【0053】

また、処理システム１００は、後述するように、機械学習に基づいてスキル評価を行ってもよい。例えば処理システム１００は、データベースサーバが収集したデータを学習データとする機械学習を行うことによって、学習済モデルを生成する学習サーバを含んでもよい。処理サーバは、学習サーバによって生成された学習済モデルに基づいて、スキル評価を行う。

【0054】

図５に示したように、処理システム１００が複数の内視鏡システム３００と接続可能である場合、効率的にデータを収集することが可能である。例えば機械学習に用いる学習データの量を増やすことが容易であるため、スキル評価精度をより高くすることが可能である。

【0055】

２．操作入力データ、操作出力データ及び伝達特性データ
図１（Ａ）、図１（Ｂ）を用いて上述したように、軟性内視鏡である内視鏡システム３００においては、挿入部３１０ｂの状態に応じて、操作入力データと操作出力データの関係が大きく変化する。以下、操作入力データと操作出力データの具体例について説明する。また、操作入力データと操作出力データの関係を表す伝達特性データについても説明する。

【0056】

２．１ 操作入力データ
本実施形態の操作入力データは、操作デバイスの操作量、挿入部３１０ｂのねじり量、挿入部３１０ｂの進退量の少なくとも１つに関する情報を含む。なお、操作デバイスの操作量とは、例えばアングルノブ回転量であるが、他の操作デバイスを操作した場合の操作量であってもよい。なお、操作量は、操作デバイスの並進や回転から演算される量であるが、操作デバイスを操作した時間から演算してもよい。このようにすれば、処理システム１００は、内視鏡システム３００を用いた処置等において、挿入部３１０ｂに対して行われた操作を特定するための情報を、操作入力データとして取得することが可能になる。なお、操作入力データは上記のようなスイッチ、レバー、スライダー等に対する術者の入力量の変位を示すパラメータに限らず、進退・ねじりに伴う力量、その速度・角速度でもよい。

【0057】

図６は、挿入部３１０ｂの構成を例示する図である。図６に示すように、挿入部３１０ｂの長手方向を基準軸ＡＸ１とする。なお、基準軸ＡＸ１は、湾曲部１２が湾曲していない状態における挿入部３１０ｂ長手方向を表す。湾曲部１２は、基準軸ＡＸ１に対して湾曲可能である。具体的には、湾曲部１２は、上下湾曲操作ノブ１４ｂと左右湾曲操作ノブ１４ａの少なくとも一方に対する操作によって、基準軸ＡＸ１に対する湾曲角度を調整可能である。図６に示すθが湾曲角度を表す。湾曲操作が行われることによって、湾曲部１２の長手方向は基準軸ＡＸ１とは異なる方向に変化する。

【0058】

上述したアングルノブとは、例えば上下湾曲操作ノブ１４ｂ及び左右湾曲操作ノブ１４ａであり、アングルノブ回転量とは、上下湾曲操作ノブ１４ｂ及び左右湾曲操作ノブ１４ａそれぞれの操作量である。上下湾曲操作ノブ１４ｂの操作量に応じて、上下方向における湾曲角度が変化する。また左右湾曲操作ノブ１４ａの操作量に応じて、左右方向における湾曲角度が変化する。例えば湾曲角度は、上下方向の湾曲角度と、左右方向の湾曲角度とを含むベクトルである。ただし、本実施形態のアングルノブとは、先端部１１の湾曲角度を変更可能な操作部材であればよく、具体的な構成は上記の例に限定されない。

【0059】

内視鏡システム３００の制御部３３２は、例えばエンコーダ等を用いて、上下湾曲操作ノブ１４ｂの回転量及び左右湾曲操作ノブ１４ａの回転量を制御情報として取得可能である。

【0060】

また術者が挿入部３１０ｂ自体、又は挿入部３１０ｂに接続される操作部３１０ａを手で把持し、把持部分を基準軸ＡＸ１周りにねじる操作である回転操作を行うことによって、挿入部３１０ｂは基準軸ＡＸ１周りに回転する。挿入部３１０ｂのねじり量とは、回転操作における術者の手元での挿入部３１０ｂの回転角度を表す。

【0061】

また術者が挿入部３１０ｂ自体、又は挿入部３１０ｂに接続される操作部３１０ａを手で把持し、把持部分を基準軸ＡＸ１に沿った方向に移動させる操作である進退操作を行うことによって、挿入部３１０ｂは基準軸ＡＸ１に沿った方向に挿抜される。即ち、進退操作とは、挿入部３１０ｂを患者の体内に押し込む操作又は抜き出す操作である。進退量とは、進退操作における術者の手元での挿入部３１０ｂの移動量を表す。

【0062】

図７は、内視鏡システム３００のスコープ部３１０の構成を例示する他の図である。図７に示すように、内視鏡システム３００は、挿入量・ねじり量センサ６２を含んでもよい。挿入量・ねじり量センサ６２は、挿入部３１０ｂが挿通可能な孔を有する円筒形状のセンサであり、不図示の所定箇所に固定される。所定箇所とは、例えば、患者の口腔や肛門等を含む箇所である。なお、固定に用いるバンド等の図示は省略する。挿入量・ねじり量センサ６２の孔の内周面には、挿入部３１０ｂの軸方向の挿入量を検出するためのエンコーダと、挿入部３１０ｂの軸周りの回転量を検出するエンコーダとが配設されている。よって、処理システム１００は、挿入量・ねじり量センサ６２のセンサ出力に基づいて、挿入部３１０ｂの進退量と、ねじり量を表す操作入力データを取得可能である。

【0063】

或いは内視鏡システム３００は、図６に示すように、例えば挿入部３１０ｂを基準軸ＡＸ１に対応する方向に移動させる進退ローラー１７ａと、進退ローラー１７ａを駆動する駆動部１９を有する進退機構１７を含んでもよい。進退ローラー１７ａは、ＡＸ２を回転軸としてＤ１又はＤ２に示す方向に回転可能である。進退ローラー１７ａは、その一部が挿入部３１０ｂと接触している。そのため、進退ローラー１７ａがＤ１の方向へ回転することによって、挿入部３１０ｂが手前方向に移動する。また進退ローラー１７ａがＤ２の方向へ回転することによって、挿入部３１０ｂが奥方向に移動する。挿入部３１０ｂの進退量は、進退ローラー１７ａの回転量を表す情報であってもよいし、駆動部１９の駆動量を表す情報であってもよい。

【0064】

また内視鏡システム３００は、図６に示すように、挿入部３１０ｂを、基準軸ＡＸ１を回転軸として回転させる回転ローラー１８ａと、回転ローラー１８ａを駆動する駆動部１９を有するねじり機構１８を含んでもよい。なお、進退ローラー１７ａを駆動する駆動部と、回転ローラー１８ａを駆動する駆動部は別々に設けられてもよい。回転ローラー１８ａは、ＡＸ３を回転軸としてＤ３又はＤ４に示す方向に回転可能である。回転ローラー１８ａは、その一部が挿入部３１０ｂと接触している。そのため、回転ローラー１８ａが回転することによって、挿入部３１０ｂは回転ローラー１８ａとは逆方向に回転する。挿入部３１０ｂのねじり量は、回転ローラー１８ａの回転量を表す情報であってもよいし、駆動部１９の駆動量を表す情報であってもよい。ただし、進退機構１７及びねじり機構１８は必須の構成ではなく、一方又は両方を省略可能である。

【0065】

以上のように、本実施形態における操作入力データは、操作デバイスの操作量、挿入部３１０ｂのねじり量、挿入部３１０ｂの進退量を表す情報であり、例えばエンコーダの出力に対応する情報である。例えば処理システム１００の取得部１１０は、エンコーダの出力を取得し、処理部１２０が当該出力に基づいて操作デバイスの操作量、挿入部３１０ｂのねじり量、挿入部３１０ｂの進退量を演算してもよい。或いは、処理装置３３０の制御部３３２等において操作デバイスの操作量、挿入部３１０ｂのねじり量、挿入部３１０ｂの進退量が演算され、取得部１１０は当該演算結果を取得してもよい。即ち、操作デバイスの操作量、挿入部３１０ｂのねじり量、挿入部３１０ｂの進退量に関する情報とは、操作デバイスの操作量、挿入部３１０ｂのねじり量、挿入部３１０ｂの進退量そのものであってもよいし、これらを特定可能な情報であってもよい。

【0066】

２．２ 操作出力データ
また操作出力データは、挿入部３１０ｂの先端部１１の位置、姿勢、及び速度の少なくとも１つに関する情報を含むが、先端の押し付け圧などの力量を含んでもよい。以下、位置及び姿勢を位置姿勢と表記する。またここでの速度は、並進速度であってもよいし、角速度であってもよいし、その両方であってもよい。このようにすれば、処理システム１００は、操作入力によって挿入部３１０ｂがどのように動いたかを表す情報を、操作出力データとして取得することが可能になる。

【0067】

位置、姿勢、速度の取得手法は種々考えられる。例えば内視鏡システム３００は、挿入部３１０ｂの先端部１１に設けられるモーションセンサを含む。モーションセンサは、例えば３軸の加速度センサと、３軸の角速度センサを含む６軸センサである。例えば所与のセンサ座標系の３軸をＸ軸、Ｙ軸、Ｚ軸とした場合、加速度センサは、ＸＹＺの各軸における並進加速度を検出するセンサである。角速度センサは、ＸＹＺの各軸周りの角速度を検出するセンサである。

【0068】

モーションセンサを用いることによって、先端部１１の位置姿勢を求めることが可能である。以下、取得部１１０がモーションセンサのセンサ情報を取得し、処理部１２０が、センサ情報に基づいて、先端部１１の位置姿勢を求める例について説明する。ただし、処理システム１００の外部において位置姿勢が演算され、取得部１１０が演算結果を取得してもよい。即ち、挿入部３１０ｂの先端部１１の位置、姿勢、及び速度の少なくとも１つに関する情報とは、位置、姿勢、速度そのものであってもよいし、これらを特定可能な情報であってもよい。位置等を特定可能な情報は、例えばモーションセンサのセンサ情報であるが、後述するように撮像画像等であってもよい。

【0069】

例えば処理部１２０は、加速度センサ及び角速度センサの出力を積分することによって、先端部１１の位置及び角度を求める。なお慣性センサであるモーションセンサから位置姿勢を特定するためには、境界条件となる所与の基準位置の設定が必要である。例えば３次元空間に固定された所与の基準座標系において基準位置姿勢を定義した場合に、処理部１２０は、当該基準位置姿勢を基準として、センサ出力に基づいて求められる先端部１１の変位及び回転量を蓄積することによって、各タイミングにおける先端部１１の位置姿勢を求める。

【0070】

なお処理部１２０は、加速度センサ及び角速度センサの出力に対する積分回数を調整することによって、先端部１１の並進速度及び角速度を求めてもよい。或いは処理部１２０は、まず先端部１１の位置姿勢を求め、当該位置姿勢を微分することによって速度に関する情報を求めてもよい。

【0071】

また挿入部３１０ｂの先端部１１の位置姿勢を求める手法はモーションセンサを用いるものに限定されない。以下、いくつかの変形例について説明する。なお、位置姿勢に基づいて速度を求めることが可能である点は上述したとおりであり、以下では速度を求める処理については説明を省略する。

【0072】

例えば内視鏡システム３００は、先端部１１に設けられる磁気センサを含んでもよい。例えば磁気センサは、中心軸が互いに直交する２つの円筒状コイルを含む。また内視鏡システム３００は、周辺機器として不図示の磁場発生装置を含む。磁気センサは、当該磁場発生装置が発生させた磁場を検出することによって、先端部１１の位置姿勢を検出する。

【0073】

また処理システム１００は、撮像素子３１２によって撮像される撮像画像に基づいて、挿入部３１０ｂの先端部１１の位置姿勢を求めてもよい。例えば、内視鏡システム３００は、先端部１１に複数の撮像系を含んでもよい。処理部１２０は、位置の異なる複数の撮像系によって撮像された視差画像に基づいて、ステレオマッチング処理を行うことによって、画像上に撮像された被写体との距離を求める。ステレオマッチングについては公知の手法であるため、詳細な説明は省略する。例えば処理部１２０は、カメラ座標系における被写体の各点の座標を特定できるため、被写体との位置関係を推定できる。先端部１１の姿勢とカメラ座標系との関係は設計上既知であるため、処理部１２０は、被写体を基準とした場合の先端部１１の位置姿勢を求めることが可能である。例えば、被写体が固定であると仮定できる場合、処理部１２０は、被写体に対する位置姿勢の変化に基づいて、先端部１１の位置姿勢の変化を特定可能である。

【0074】

また撮像系を用いて先端部１１の位置姿勢を求める手法は、視差画像を用いる方式には限定されない。例えば処理部１２０は、ＴＯＦ（Time Of Flight）方式やストラクチャードライト方式を用いて被写体との距離を測定することによって、被写体と先端部１１の位置関係を測定してもよい。ＴＯＦ方式は、光の反射波がイメージセンサに到達する時間を測定する方式である。ストラクチャードライト方式は、被写体に複数のパターン光を投影し、各パターン光の写り方から距離を求める手法である。例えば、明度が正弦波で変化するパターンを投影することによって、位相のずれを求める位相シフト法等が知られている。被写体の３次元形状を推定するこれらの手法は公知であるため詳細な説明は省略する。

【0075】

また処理部１２０は、異なる複数の撮像画像において、複数の特徴点の対応付けを行ってもよい。特徴点の位置は、画像情報からＳＬＡＭ（Simultaneous Localization and Mapping）、ＳｆＭ（Structure from Motion）などの手法を用いて算出することが可能である。例えば処理部１２０は、非線形最小二乗法を用いて、画像から、内部パラメータ、外部パラメータ及び世界座標点群を最適化するバンドル調整を適用することによって、被写体の情報を求める。また処理部１２０は、推定された各パラメータを用いて、抽出された複数の特徴点の世界座標点を透視投影変換し、再投影誤差が最小になるように、各パラメータと各世界座標点群を求める。ＳｆＭ等の手法は公知であるため、これ以上の詳細な説明は省略する。これらの手法では、被写体の３次元位置だけでなく、カメラの位置姿勢も推定可能である。

【0076】

その他、挿入部３１０ｂの先端部１１の位置姿勢を求める手法は種々知られており、本実施形態ではこれらの手法を広く適用可能である。

【0077】

２．３ 伝達特性データ
処理部１２０は、操作入力データと操作出力データとの関係を表す伝達特性データを求め、当該伝達特性データに基づいて、スキル評価を行ってもよい。伝達特性データは、軟性内視鏡を用いた場合の操作性を表す情報である。そのため、伝達特性データを用いることによって、スキル評価の精度向上が可能になる。

【0078】

具体的には、伝達特性データは、操作入力データによって表される操作入力の大きさと、操作出力データによって表される操作出力の大きさの比率を表すデータである。

【0079】

例えば、操作入力データが、先端部１１の湾曲角度を特定する情報である場合を考える。例えば、取得部１１０は、上下湾曲操作ノブ１４ｂの回転量及び左右湾曲操作ノブ１４ａの回転量を表す操作入力データを取得する。上述したように、挿入部３１０ｂが他の物体に接触していない状態では、各アングルノブの回転量は、先端部１１の湾曲角度と対応付けが可能である。よって処理部１２０は、アングルノブ回転量に基づいて、理想的な湾曲角度を求める。ここでは上下湾曲操作ノブ１４ｂの回転量に基づいて求められる上下方向の理想的な湾曲角度をθudとする。左右湾曲操作ノブ１４ａの回転量に基づいて求められる左右方向の理想的な湾曲角度をθlrとする。

【0080】

また取得部１１０は、モーションセンサ等の情報を取得する。処理部１２０は、取得した情報に基づいて、先端部１１の位置姿勢を特定する。より具体的には、処理部１２０は、上下方向の実際の湾曲角度であるθpitchと、左右方向の実際の湾曲角度であるθyawを求める。

【0081】

処理部１２０は、下式（１）及び（２）に基づいて、伝達特性データ（Ｔｘ，Ｔｙ）を求める。Ｔｘ及びＴｙは、それぞれ０以上１以下の数値データである。
Ｔｘ＝θyaw／θlr …（１）
Ｔｙ＝θpitch／θud …（２）

【0082】

或いは、操作入力データは、先端部１１の湾曲角度の変化を表す角速度を特定する情報であってもよい。例えば処理部１２０は、アングルノブ回転量に基づいて、理想的な角速度を求める。ここでは上下湾曲操作ノブ１４ｂの回転量に基づいて求められる上下方向の理想的な湾曲角速度をωudとする。左右湾曲操作ノブ１４ａの回転量に基づいて求められる左右方向の理想的な湾曲角速度をωlrとする。

【0083】

また取得部１１０は、モーションセンサ等の情報を取得する。処理部１２０は、取得した情報に基づいて、先端部１１の速度を特定する。より具体的には、処理部１２０は、実際の上下方向の湾曲角速度であるωpitchと、左右方向の湾曲角速度であるωyawを求める。

【0084】

処理部１２０は、下式（３）及び（４）に基づいて、伝達特性データ（Ｔｘ，Ｔｙ）を求める。Ｔｘ及びＴｙは、それぞれ０以上１以下の数値データである。
Ｔｘ＝ωyaw／ωlr …（３）
Ｔｙ＝ωpitch／ωud …（４）

【0085】

また以上では、伝達特性データが湾曲角度の比率、又は、湾曲角速度の比率である例を説明した。しかし伝達特性データが、進退量の比率、進退量の差分である速度の比率、ねじり量の比率、ねじり量の差分である回転角速度の比率であってもよいことは当業者であれば容易に理解できるであろう。

【0086】

３．スキル評価
次にスキル評価の詳細について説明する。

【0087】

３．１ 伝達特性データの値に基づく評価
図８は、例えば所与の病変に関する処置を開始してから終了するまでの伝達特性データの時間変化例を示す図である。例えば内視鏡システム３００は、定期的に操作入力を特定するための制御情報や、挿入量・ねじり量センサ６２のセンサ情報等を取得する。また、内視鏡システム３００は、定期的に操作出力を特定するためのモーションセンサのセンサ情報や、撮像画像等を取得する。処理システム１００は、これらの情報に基づいて、時系列の操作入力データと時系列の操作出力データを取得可能である。処理部１２０は、各タイミングにおける操作入力データと操作出力データの比率を求めることによって、図８に示す時系列の伝達特性データを演算できる。

【0088】

図８のＢ１がスキルの高い熟練医の伝達特性データを表し、Ｂ２がスキルの低い修練医の伝達特性データを表す。図８に示すように、熟練医は、挿入部３１０ｂの状況が変化しても、適切な調整が可能であるため、伝達特性データのばらつきが小さい。例えば伝達特性データの値は０．７～０．９程度の範囲に収められる。一方、修練医は、適切な調整を行えないため、伝達特性データの値が大きくばらつく。

【0089】

よって処理部１２０は、伝達特性データの大きさに基づいて、ユーザのスキル評価を行う。例えばユーザのスキルを高低の２段階に評価する場合、処理部１２０は、スキル評価のための伝達特性データの数値範囲を取得する。処理部１２０は、時系列の伝達特性データを求め、当該伝達特性データが上記数値範囲内であるか否かの判定に基づいてスキル評価を行う。具体的には、処理部１２０は、評価対象となる伝達特性データが数値範囲内である場合に評価対象のユーザのスキルが高いと判定し、伝達特性データが数値範囲を外れた場合に当該ユーザのスキルが低いと判定する。ただし処理部１２０は、時系列の伝達特性データの統計量を求め、当該統計量と数値範囲の比較処理に基づいてスキル評価を行ってもよい。ここでの統計量は、分散であってもよし、最大値と最小値の差分であってもよいし、他の統計量であってもよい。

【0090】

例えば処理システム１００は、過去の処置における伝達特性データを蓄積したデータベースを含んでもよい。処理部１２０は、データベースに基づいて設定された数値範囲を取得する。例えば図５を用いて上述したように、処理システム１００は、内視鏡システム３００とネットワーク等を介して接続されるデータベースサーバを含む。処理システム１００は、内視鏡システム３００から取得した操作入力データ及び操作出力データに基づいて伝達特性データを求め、求めた伝達特性データをデータベースに記憶する。

【0091】

ここでのデータベースは、エキスパートデータと、非エキスパートデータとを含んでもよい。エキスパートデータとは、熟練医による処置が行われた際の伝達特性データを表す情報である。非エキスパートデータとは、修練医による処置が行われた際の伝達特性データを表す情報である。本実施形態におけるスキル評価用の数値範囲等の情報は、少なくともエキスパートデータに基づいて設定される。

【0092】

例えば処理システム１００は、エキスパートデータに基づいて、多くの熟練医は処置中の伝達特性データの変化がこの範囲に収まる、といった情報を求める。処理部１２０は、求めた情報に基づいて、上記数値範囲を設定する。

【0093】

データベースに記憶されるデータがエキスパートであるか、非エキスパートデータであるかは、医師の熟練度、又は、処置の経過を特定する情報に基づいて決定されてもよい。例えば、内視鏡システム３００は、処理システム１００に操作入力データ及び操作出力データを送信する際に、医師の熟練度を表す熟練度情報や経過を表す経過情報をメタデータとして付与してもよい。熟練度情報は、具体的には対象となる処置を実行した回数を表す症例数情報である。経過情報は、出血量、偶発症発生率、入院日数等を表す情報である。処理システム１００は、当該メタデータに基づいて、対象のデータが熟練医のデータであるエキスパートデータであるか、修練医のデータである非エキスパートデータであるかを判定する。

【0094】

或いは、処置具の移動軌跡に基づいて、エキスパートデータであるか否かが判定されてもよい。技能が向上するほど動きが統制されて、より少ない動きで処置を遂行できると考えられる。よって操作ログ情報に蓄積されている処置具の移動軌跡におけるノード総数が少ないほど、当該データに対応する術者のスキルが高いと判定される。

【0095】

なお、処理部１２０は、ユーザのスキルを２段階で評価するものに限定されず、３段階以上での評価を行ってもよい。例えば処理部１２０は、複数の数値範囲をあらかじめ設定しておくことによって、ユーザのスキルを３段階以上に分けて評価できる。

【0096】

３．２ 分類処理
また処理部１２０は、操作入力データ及び操作出力データに基づく分類処理を行うことによって、スキル評価を行ってもよい。以下、機械学習を用いる手法について説明するが、本実施形態では機械学習は必須ではなく、他の手法による分類が行われてもよい。また、以下では操作出力データと伝達特性データを、機械学習の入力として用いる処理について説明するが、操作入力データを用いる等の種々の変形実施が可能である。

【0097】

３．２．１ 機械学習
機械学習の概要について説明する。以下では、ニューラルネットワークを用いた機械学習について説明するが、本実施形態の手法はこれに限定されない。本実施形態においては、例えばＳＶＭ（support vector machine）等の他のモデルを用いた機械学習が行われてもよいし、ニューラルネットワークやＳＶＭ等の種々の手法を発展させた手法を用いた機械学習が行われてもよい。

【0098】

図９は、ニューラルネットワークを説明する模式図である。ニューラルネットワークは、データが入力される入力層と、入力層からの出力に基づいて演算を行う中間層と、中間層からの出力に基づいてデータを出力する出力層を有する。図９においては、中間層が２層であるネットワークを例示するが、中間層は１層であってもよいし、３層以上であってもよい。また各層に含まれるノードの数は図９の例に限定されず、種々の変形実施が可能である。なお精度を考慮すれば、本実施形態の学習は多層のニューラルネットワークを用いたディープラーニングを用いることが望ましい。ここでの多層とは、狭義には４層以上である。

【0099】

図９に示すように、所与の層に含まれるノードは、隣接する層のノードと結合される。各結合には重み付け係数が設定されている。各ノードは、前段のノードの出力と重み付け係数を乗算し、乗算結果の合計値を求める。さらに各ノードは、合計値に対してバイアスを加算し、加算結果に活性化関数を適用することによって当該ノードの出力を求める。この処理を、入力層から出力層へ向けて順次実行することによって、ニューラルネットワークの出力が求められる。なお活性化関数としては、シグモイド関数やＲｅＬＵ関数等の種々の関数が知られており、本実施形態ではそれらを広く適用可能である。

【0100】

ニューラルネットワークにおける学習は、適切な重み付け係数を決定する処理である。ここでの重み付け係数は、バイアスを含む。以下、学習済モデルを生成する処理が学習装置において行われる例を示す。学習装置とは、例えば上述したように処理システム１００に含まれる学習サーバであってもよいし、処理システム１００の外部に設けられる装置であってもよい。

【0101】

学習装置は、学習データのうちの入力データをニューラルネットワークに入力し、そのときの重み付け係数を用いた順方向の演算を行うことによって出力を求める。学習装置は、当該出力と、学習データのうちの正解ラベルとに基づいて、誤差関数を演算する。そして誤差関数を小さくするように、重み付け係数を更新する。重み付け係数の更新では、例えば出力層から入力層に向かって重み付け係数を更新していく誤差逆伝播法を利用可能である。

【0102】

なおニューラルネットワークには種々の構成のモデルが知られており、本実施形態ではそれらを広く適用可能である。例えばニューラルネットワークは、ＣＮＮ（Convolutional Neural Network）であってもよいし、ＲＮＮ（Recurrent Neural Network）であってもよいし、他のモデルであってもよい。ＣＮＮ等を用いる場合も、処理の手順は図８と同様である。即ち、学習装置は、学習データのうちの入力データをモデルに入力し、そのときの重み付け係数を用いてモデル構成に従った順方向演算を行うことによって出力を求める。当該出力と、正解ラベルとに基づいて誤差関数が算出され、当該誤差関数を小さくするように、重み付け係数の更新が行われる。ＣＮＮ等の重み付け係数を更新する際にも、例えば誤差逆伝播法を利用可能である。

【0103】

図１０は、本実施形態の手法におけるニューラルネットワークの入力と出力の関係を例示する図である。図１０に示すように、ニューラルネットワークの入力は、例えば操作出力データと、伝達特性データである。伝達特性データを用いることによって、操作入力と操作出力の関係を直接的に反映した機械学習が可能である。ただし、入力は操作入力データと操作出力データに基づいて求められる情報であればよく、操作入力データ及び伝達特性データであってもよいし、操作入力データと操作出力データと伝達特性データの全てを含んでもよい。また伝達特性データを除いて、操作入力データと操作出力データに基づく処理が行われてもよい。

【0104】

なお図８を用いて上述したように、所与の術者による１回の手術において、時系列の操作入力データと、時系列の操作出力データと、それらに基づく時系列の伝達特性データが取得される。ニューラルネットワークの入力は、時系列データに基づいて演算される統計量であってもよい。或いはニューラルネットワークの入力は、時系列のデータであってもよい。例えば学習装置は、時系列の操作出力データから抽出されたｐ個のデータと、対応するタイミングにおけるｐ個の伝達特性データを、ニューラルネットワークの入力とする。ここでのｐは１以上の整数である。

【0105】

ニューラルネットワークの出力は、例えば評価対象となるユーザのスキルを、ｍ段階でランク付けした際のランクを表す情報である。ｍは２以上の整数である。以下、ランクｉは、ランクｉ＋１に比べてスキルが高いものとする。ｉは、１以上ｍ未満の整数である。即ち、ランク１は最もスキルが高いことを表し、ランクｍが最もスキルが低いことを表す。

【0106】

例えばニューラルネットワークの出力層はｍ個のノードを有する。第１ノードは、入力となったデータに対応するユーザのスキルがカテゴリ１に属する確からしさを表す情報である。第２ノード～第ｍノードも同様であり、各ノードはそれぞれ、入力となったデータがカテゴリ２～カテゴリｍに属する確からしさを表す情報である。例えば、出力層が公知のソフトマックス層である場合、ｍ個の出力は、合計が１となる確率データの集合である。カテゴリ１～カテゴリｍは、それぞれランク１～ランクｍに対応するカテゴリである。

【0107】

学習段階では、学習装置は、多数の術者がそれぞれ軟性内視鏡を用いて処置を行った際に取得された操作入力データと操作出力データを収集するとともに、当該データのユーザスキルを表すメタデータを保持しておく。ここでのメタデータは、例えば、熟練度情報や経過情報である。学習装置は、これらのメタデータに基づいて、術者のスキルをｍ段階のランクのうちのいずれであるかを特定する。或いは学習段階では、ユーザが手動で、各ユーザのスキルをｍ段階で評価し、学習装置はその入力結果を取得してもよい。

【0108】

図１１は、ニューラルネットワークの学習処理を説明するフローチャートである。まずステップＳ１０１において、学習装置は、学習用操作入力データと、学習用操作出力データを取得する。ステップＳ１０１の処理は、例えば学習サーバが、データベースサーバに蓄積された多数のデータから、１組の操作入力データ及び操作出力データを読み出す処理に相当する。

【0109】

なお学習用操作入力データとは、学習に用いられる操作入力データであり、具体的には上述したとおり、操作デバイスの操作量、挿入部３１０ｂのねじり量、挿入部３１０ｂの進退量の少なくとも１つに関する情報である。学習用操作出力データとは、学習に用いられる操作出力データであり、具体的には上述したとおり、先端部１１の位置、姿勢及び速度の少なくとも１つに関する情報である。換言すれば、操作入力データと学習用操作入力データとは、学習段階で用いられるデータであるか、スキル評価を行う推論段階で用いられるデータであるかの違いを表すものであり、具体的なデータ形式は同様である。また、所与のタイミングにおいて推論用の操作入力データとして用いられたデータが、それ以降のタイミングにおいて学習用操作入力データとして用いられてもよい。操作出力データと学習用操作出力データについても同様である。

【0110】

またステップＳ１０２において、学習装置は、ステップＳ１０１で読み出したデータに対応付けられた正解ラベルを取得する。正解ラベルは、例えば上述したように、内視鏡操作を行ったユーザのスキルをｍ段階で評価した結果である。

【0111】

ステップＳ１０３において、学習装置は、誤差関数を求める処理を行う。具体的には、学習装置は、操作入力データと操作出力データから伝達特性データを求め、操作出力データ及び伝達特性データをニューラルネットワークに入力する。学習装置は、入力と、その際の重み付け係数に基づいて順方向の演算を行う。そして学習装置は、演算結果と、正解ラベルの比較処理に基づいて誤差関数を求める。例えば、正解ラベルがランク１であった場合、学習装置は、カテゴリ１に対応する第１ノードの正解値が１であり、カテゴリ２～カテゴリｍに対応する第２ノード～第ｍノードの正解値が０であるものとして誤差関数を求める。さらにステップＳ１０３において、学習装置は、誤差関数を小さくするように重み付け係数を更新する処理を行う。この処理は、上述したように誤差逆伝播法等を利用可能である。ステップＳ１０１～Ｓ１０３の処理が、１つの学習データに基づく１回の学習処理に対応する。

【0112】

ステップＳ１０４において、学習装置は学習処理を終了するか否かを判定する。例えば学習装置は、多数の学習データの一部を評価データとして保持していてもよい。評価データは、学習結果の精度を確認するためのデータであり、重み付け係数の更新には使用されないデータである。学習装置は、評価データを用いた推定処理の正解率が所定閾値を超えた場合に、学習処理を終了する。

【0113】

ステップＳ１０４でＮｏの場合、ステップＳ１０１に戻り、次の学習データに基づく学習処理が継続される。ステップＳ１０４でＹｅｓの場合、学習処理が終了される。学習装置は、生成した学習済モデルの情報を処理システム１００に送信する。例えば、学習済モデルは処理システム１００に含まれる不図示の記憶部に記憶され、処理部１２０によって読み出される。なお、機械学習においてはバッチ学習、ミニバッチ学習等の種々の手法が知られており、本実施形態ではこれらを広く適用可能である。

【0114】

なお、以上では機械学習が教師あり学習である例について説明した。ただし、本実施形態の手法はこれに限定されず、教師無し学習が行われてもよい。例えば、上述したように、ニューラルネットワークの出力層のノード数をｍ個とした場合、教師無し学習では入力である操作出力データと伝達特性データから導出される特徴量の類似度合いに基づいて、多数の入力をｍ個のカテゴリに分類する分類処理が行われる。

【0115】

学習装置は、ｍ個のカテゴリの各カテゴリにランク付けを行う。例えば、熟練医のデータが多く含まれるカテゴリのランクが高く、修練医のデータが多く含まれるカテゴリのランクが低く判定される。各データが熟練医のデータであるか修練医のデータであるかは、上述したように、熟練度情報や経過情報に基づいて、判定が可能である。ただし、詳細な処理については種々の変形実施が可能である。例えば、あらかじめ学習用のデータに対して、ｍ段階のランク付けが行われており、学習装置は、各カテゴリに含まれるデータのランクの平均値や合計値等に基づいて、ｍ個のカテゴリのランク付けを行ってもよい。教師無し学習を行う場合であっても、教師あり学習の例と同様に、入力に基づいて、ユーザのスキルをｍ段階で評価する学習済モデルを生成することが可能である。

【0116】

３．２．２ 分類結果に基づく判定
処理部１２０は、複数の学習用伝達特性データを、ｍ（ｍは２以上の整数）個のカテゴリに分類する機械学習を行うことによって取得された学習済モデルと、伝達特性データとに基づいて、スキル評価を行う。上述したように、学習済モデルは、教師あり学習に基づいて生成されてもよいし、教師無し学習に基づいて生成されてもよい。

【0117】

図１２は、スキル評価を行う処理を説明するフローチャートである。この処理が開始されると、まずステップＳ２０１において、取得部１１０は、スキル評価の対象となるユーザの操作入力データと操作出力データを取得する。ステップＳ２０２において、処理部１２０は、取得した操作入力データと操作出力データを用いて、上式（１）～（４）等に示した演算を行うことによって、伝達特性データを求める。

【0118】

ステップＳ２０３において、処理部１２０は学習済モデルに基づく推論処理を行う。図１０に示した例であれば、処理部１２０は、操作出力データと伝達特性データを学習済モデルに入力し、学習済みの重み付け係数に従った順方向の演算を行うことによって、ｍ個の出力を取得する。処理部１２０は、当該出力に基づいて、ユーザのスキル評価情報を求める。例えば処理部１２０は、ｍ個の出力のうち、最も値が大きいデータに基づいて、ユーザのスキルをｍ段階で評価する。

【0119】

ステップＳ２０４において、出力処理部１３０は、スキル評価の結果であるスキル評価情報を出力する。例えばスキル評価情報は、ユーザのスキル評価結果がランク１～ランクｍのいずれであるかを特定する情報である。

【0120】

このように、伝達特性データを入力に用いることによって、操作性の調整が適切に行われたか否かを考慮したスキル評価が可能になる。そのため、操作入力と操作出力の関係が大きく変化する軟性内視鏡を用いる場合のスキル評価を精度よく行うことが可能になる。その際、機械学習が用いられるため、評価精度のさらなる向上が可能である。

【0121】

以上で説明したように、処理システム１００の処理部１２０は、学習済モデルに従って動作することによって、ユーザのスキル評価を行う。学習済モデルに従った処理部１２０おける演算、即ち、入力データに基づいて出力データを出力するための演算は、ソフトウェアによって実行されてもよいし、ハードウェアによって実行されてもよい。換言すれば、図９の各ノードにおいて実行される積和演算等は、ソフトウェア的に実行されてもよい。或いは上記演算は、ＦＰＧＡ等の回路装置によって実行されてもよい。また、上記演算は、ソフトウェアとハードウェアの組み合わせによって実行されてもよい。このように、学習済モデルからの指令に従った処理部１２０の動作は、種々の態様によって実現可能である。例えば学習済モデルは、推論アルゴリズムと、当該推論アルゴリズムにおいて用いられる重み付け係数とを含む。推論アルゴリズムとは、入力データに基づいて、順方向の演算等を行うアルゴリズムである。この場合、推論アルゴリズムと重み付け係数の両方が記憶部に記憶され、処理部１２０は、当該推論アルゴリズムと重み付け係数を読み出すことによってソフトウェア的に推論処理を行ってもよい。或いは、推論アルゴリズムはＦＰＧＡ等によって実現され、記憶部は重み付け係数を記憶してもよい。或いは、重み付け係数を含む推論アルゴリズムがＦＰＧＡ等によって実現されてもよい。この場合、学習済モデルの情報を記憶する記憶部は、例えばＦＰＧＡの内蔵メモリである。

【0122】

３．２．３ ｎ次元特徴量を用いた判定
また処理部１２０は、伝達特性データと学習済モデルとに基づいて、ｎ（ｎは２以上の整数）次元の特徴量を求めてもよい。例えば学習装置では、図９、図１０を用いて上述した処理と同様に、複数の学習用伝達特性データを、ｍ（ｍは２以上の整数）個のカテゴリに分類する機械学習を行ってもよい。

【0123】

処理システム１００における処理の流れは、図１２と同様である。まずステップＳ２０１及びＳ２０２において、取得部１１０は、スキル評価の対象となるユーザの操作入力データと操作出力データを取得し、処理部１２０は、伝達特性データを求める。

【0124】

ステップＳ２０３において、処理部１２０は、操作出力データと伝達特性データを学習済モデルに入力し、学習済みの重み付け係数に従った順方向の演算を行う点も同様である。この際、処理部１２０は、中間層におけるデータを、ｎ次元の特徴量として求める。例えば、ニューラルネットワークが第１中間層～第ｑ中間層を有する場合、ｎ個のノードを有する第ｊ中間層での値をｎ次元特徴量とする。ｑは２以上の整数であり、ｊは１以上ｑ以下の整数である。例えば、ｊ＝ｑであり、最も出力層に近い中間層がｎ個のノードを有し、各ノードの出力が特徴量となる。或いは、複数の中間層における出力を組み合わせることによって、ｎ次元特徴量が求められてもよい。

【0125】

図１３は、ｎ次元特徴量空間の例である。横軸がｎ次元特徴量のうちの特徴量Ａを表し、縦軸が特徴量Ａとは異なる特徴量Ｂを表す。ここではｎ＝２としているが、ｎは３以上であってもよい。操作出力データと伝達特性データを入力することによって、第１特徴量～第ｎ特徴量の値が求められる。即ち、１組の操作出力データと伝達特性データが、ｎ次元特徴量空間上の１つの点としてプロットされる。図１３に示すように、機械学習に基づいて抽出されるｎ次元特徴量は、操作出力データと伝達特性データからなる入力を、ｍ個のカテゴリに分類するための特徴量である。よって、図１３に示すように、ｎ次元特徴量空間での距離に基づいてクラスタリングした結果が、ユーザのスキルを表すカテゴリとなる。即ち、入力に基づいて求められたｎ次元特徴量での点の位置に応じて、ユーザのスキルをｍ段階に分類することが可能である。例えば、図１３のＣ１がランク１のカテゴリを表し、Ｃ２がランク２のカテゴリを表し、Ｃ３がランク３のカテゴリを表す。ここではｍ＝３であるが、ｍの値は２以上の他の値であってもよい。

【0126】

処理部１２０は、スキル評価の対象となる操作出力データと伝達特性データを学習済モデルに入力することによって求められたｎ次元特徴量の特徴量空間における位置と、ｍ個のカテゴリのうちの１又は複数のカテゴリの特徴量空間における重心位置と、の距離に基づいてスキル評価を行う。ここでの重心位置とは、各カテゴリに含まれる複数の点の位置に基づいて求められる情報であり、例えば複数の座標値の平均値である。各カテゴリの重心位置は、学習が完了した段階で既知である。またここでの距離は、例えばユークリッド距離であるが、マハラノビス距離等の他の距離が用いられてもよい。

【0127】

例えば処理部１２０は、第１～第ｍのカテゴリのうち、順方向の演算によって求められたｎ次元特徴量との距離が最も小さいカテゴリを求め、評価対象のデータが当該カテゴリに属すると判定する。図１３の例であれば、処理部１２０は、Ｃ１の重心位置との距離が最小である場合にランク１と判定し、Ｃ２の重心位置との距離が最小である場合にランク２と判定し、Ｃ３の重心位置との距離が最小である場合にランク３と判定する。

【0128】

ユーザ評価後の処理は図１２と同様であり、ステップＳ２０４において、出力処理部１３０は、スキル評価の結果であるスキル評価情報を出力する。

【0129】

以上では、クラスタリングを行った際の中間層データが、ｎ次元特徴量である例について説明した。ただし本実施形態の手法はこれに限定されない。例えば、操作入力データと操作出力データに基づく入力に対して、主成分分析を行うことによってｎ次元特徴量が抽出されてもよい。主成分分析を行う手法は公知であるため詳細な説明は省略する。また機械学習を用いて主成分分析を行う手法も知られており、その場合も機械学習を適用可能である。ｎ次元特徴量抽出後の処理については上記の例と同様である。

【0130】

またｎ次元特徴量を用いる場合、スキル評価の手法は上記に限定されない。例えば、処理部１２０は、評価対象となるユーザに対応するプロット点と、当該ユーザとは異なる第２ユーザに対応するプロット点との距離に基づいてスキル評価を行ってもよい。ここでの第２ユーザは例えば指導者であり、評価対象となるユーザは当該指導者による指導を受けるユーザである。このようにすれば、評価対象となるユーザのスキルが、指導者のスキルにどの程度近いかを表す指標を、スキル評価情報として出力できる。

【0131】

内視鏡を用いた処置では、同じ部位の同じ病変を対象とする場合であっても、複数の方式が考えられる。どの方式が適していると考えるかはユーザによるため、指導者が異なればよいとされる処置の内容が異なる可能性がある。換言すれば、複数の熟練医が、特定処置についてそれぞれ異なる流派を形成する。その点、上記のように特定のユーザとの類似度を表す情報をスキル評価情報とすることによって、対象ユーザのスキルを適切に評価することが可能になる。例えば、所定の流派に属するユーザのスキルは、同じ流派における熟練医を基準として判断される。

【0132】

４．変形例
以上では、操作入力データ、操作出力データ、伝達特性データに基づく処理について説明したが、他の情報がスキル評価に用いられてもよい。

【0133】

例えば取得部１１０は、操作入力データ及び操作出力データに対応付けられたメタデータとして、症例難易度を表す難易度データを取得してもよい。処理部１２０は、操作入力データと操作出力データと難易度データに基づいて、スキル評価を行う。

【0134】

例えば、症例の難易度に応じて、処置のしやすさは異なる。より具体的には、操作性を一定に保つことが容易な症例もあれば、熟練医であっても操作性のばらつきを抑制することが難しい症例もある。症例に応じた違いを考慮しない場合、症例が難しいことに起因するやむを得ない操作性のばらつきであっても、スキルが低く評価されることにつながってしまう。或いは、症例が簡単であることによって、ユーザスキルが過剰に高く評価されてしまうおそれもある。その点、難易度データを処理に用いることによって、症例の難しさを考慮できるため、スキル評価の精度向上が可能になる。

【0135】

例えば、学習段階において、症例難易度に応じて異なる複数の学習済モデルが生成されてもよい。例えば高難易度用の学習済モデルと、低難易度用の学習済モデルが別々に生成される。高難易度用の学習済モデルは、症例難易度の高い操作入力データ及び操作出力データに基づく機械学習によって生成されるモデルである。低難易度用の学習済モデルは、症例難易度の低い操作入力データ及び操作出力データに基づく機械学習によって生成されるモデルである。処理部１２０は、メタデータとして付与された難易度データに基づいて、高難易度用の学習済モデルと、低難易度用の学習済モデルのいずれを用いるかを選択し、選択された学習済モデルにデータを入力することによってスキル評価を行う。なお、症例難易度に応じた学習済モデルの数は２つに限定されず、３つ以上であってもよい。

【0136】

なお、症例難易度は、手技自体の難易度と、対象とする病変固有の情報に基づいて決定される。病変固有の情報とは、病変の大きさや、当該病変が存在する部位、内視鏡の挿入経路、当該病変の組織性状、術中の出血量等の情報を含む。これらの情報をパラメータとして症例難易度を求める手法は公知であり、本実施形態では同様の手法を適用できる。

【0137】

また取得部１１０は、操作入力データ及び操作出力データに対応付けられたメタデータとして、内視鏡を操作した術者を表す術者データを取得してもよい。処理部１２０は、操作入力データと操作出力データと術者データに基づいて、スキル評価を行う。

【0138】

ここでの術者データは、例えば当該術者の流派を特定する情報であってもよい。上述したように、同じ症例を対象とする場合であっても、流派に応じて実行する手技が異なる。そのため、流派の違いを考慮しない場合、スキル評価の精度が低下するおそれがある。

【0139】

例えば、学習段階において、術者データに応じて異なる複数の学習済モデルが生成されてもよい。より具体的には、流派ごとに学習済モデルが生成される。例えば第１流派用の学習済モデルと、第２流派用の学習済モデルが別々に生成される。第１流派用の学習済モデルは、第１流派に属する術者による操作入力データ及び操作出力データに基づく機械学習によって生成されるモデルである。第２流派用の学習済モデルは、第２流派に属する術者による操作入力データ及び操作出力データに基づく機械学習によって生成されるモデルである。処理部１２０は、メタデータとして付与された術者データに基づいて、第１流派用と第２流派用の学習済モデルのいずれを用いるかを選択し、選択された学習済モデルにデータを入力することによってスキル評価を行う。当然、流派は３以上であってもよい。

【0140】

また取得部１１０は、操作入力データ及び操作出力データに対応付けられたメタデータとして、内視鏡による処置に用いられた処置具を特定する処置具データを取得してもよい。処理部１２０は、操作入力データと操作出力データと処置具データに基づいて、スキル評価を行う。

【0141】

ここでの処置具は、生体に対する処置を行うための器具であり、例えば高周波スネアや高周波ナイフを含む。高周波ナイフは、ニードルナイフ、ＩＴナイフ、フックナイフ等を含む。例えばＥＳＤのマーキングには、ニードルナイフが用いられる。切開にはＩＴナイフが用いられる。剥離には高周波スネアや高周波ナイフが用いられる。また処置具は、注射針、鉗子、クリップ等の他の器具を含んでもよい。ＥＳＤの局注には注射針が用いられる。止血には鉗子やクリップが用いられる。

【0142】

病変の種類が異なれば用いられる処置具は異なるし、１つの病変に対する手術の中でも具体的なステップに応じて用いられる処置具が異なる。そして、処置具に応じて、適切な使用方法が異なる。処置具データを処理に用いることによって、使用した処置具を考慮できるため、スキル評価の精度向上が可能になる。

【0143】

例えば、学習段階において、処置具に応じて異なる複数の学習済モデルが生成されてもよい。例えばニードルナイフ用の学習済モデルと、ＩＴナイフ用の学習済モデルが別々に生成される。ニードルナイフ用の学習済モデルは、ニードルナイフを用いた処置における操作入力データ及び操作出力データに基づく機械学習によって生成されるモデルである。ＩＴナイフ用の学習済モデルは、ＩＴナイフを用いた処置における操作入力データ及び操作出力データに基づく機械学習によって生成されるモデルである。処理部１２０は、メタデータとして付与された処置具データに基づいて、いずれの学習済モデルを用いるかを選択し、選択された学習済モデルにデータを入力することによってスキル評価を行う。なお、上述したように、ニードルナイフやＩＴナイフ以外にも処置具は種々考えられるため、学習済モデルの数は３つ以上であってもよい。

【0144】

また、以上では難易度データ、術者データ、処置具データに応じて学習済モデルが異なる例を説明した。ただし本実施形態の手法はこれに限定されない。例えば難易度データ、術者データ、処置具データは、モデルの入力として用いられてもよい。

【0145】

図１４は、ニューラルネットワークの入力及び出力を表す他の図である。例えば学習装置は、操作出力データと伝達特性データだけでなく、難易度データ、術者データ及び処置具データも入力として用いることによって学習済モデルを生成する。取得部１１０は、スキル評価の対象となる操作入力データと操作出力データを取得する際に、難易度データ、術者データ及び処置具データをあわせて取得する。処理部１２０は、操作出力データ、伝達特性データ、難易度データ、術者データ及び処置具データを学習済モデルに入力し、順方向の演算を行うことによってスキル評価を行う。このようにしても、症例難易度、術者（流派）、処置具を考慮したスキル評価が可能であるため、精度向上が可能になる。

【0146】

また図１４に示すように、内視鏡の周辺機器の使用状況を表す周辺機器データが、スキル評価に用いられてもよい。具体的には、学習装置は、操作出力データと伝達特性データだけでなく、周辺機器データも入力として用いることによって学習済モデルを生成する。取得部１１０は、周辺機器データを取得する。処理部１２０は、操作入力データと操作出力データと周辺機器データに基づいて、スキル評価を行う。

【0147】

ここでの周辺機器とは、内視鏡システム３００に付随して設けられる機器である。具体的には、スコープ部３１０、処理装置３３０のように生体内の観察に必須な構成が内視鏡システム３００の本体部に相当する。また本体部は、表示部３４０や光源装置３５０を含んでもよい。これに対して、周辺機器は撮像そのものに必須の構成ではなく、例えば高周波デバイスである処置具に電力を供給するための電源装置や、送気、吸引を行うためのポンプ等を有する装置が含まれる。

【0148】

周辺機器データは、例えば送気吸引のタイミングや回数を表す情報である。送気や吸引を行うことによって、臓器の膨張、収縮度合いが制御されるため、術場の状態が変化する。熟練者は、あらかじめ術場を整えておくことによって、操作性を適切に制御可能である。一方、修練医は術場をうまく整えることができず、先端部１１を安定させることができなかったり、挿入部３１０ｂと生体を過剰に接触させたりする。よって送気吸引に関する情報は術者のスキル評価に有用であり、周辺機器データを用いることによってスキル評価の精度向上が可能である。

【0149】

また周辺機器データは、例えば高周波デバイスの通電時の情報である。通電時の情報とは、例えば通電タイミングを表す情報であってもよいし、処置中の連続通電時間や合計通電時間であってもよいし、通電回数であってもよい。熟練者は、必要な場面で通電するとともに、不要な場面での通電を抑制する。このようにすれば、高周波デバイスによって誤って生体を焼灼することを抑制できるためである。一方、修練医は不要な場面で通電するケースが見られる。よって通電時の情報は術者のスキル評価に有用であり、周辺機器データを用いることによってスキル評価の精度向上が可能である。

【0150】

なお、難易度データ、術者データ、処置具データ及び周辺機器データは、その全てを用いる必要はなく、１又は複数を省略可能である。また図１４に示したように、全てが省略されてもよい。

【0151】

以上、本実施形態およびその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、本開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

【符号の説明】

【0152】

ＡＸ１…基準軸、１１…先端部、１２…湾曲部、１３…軟性部、１４ａ…左右湾曲操作ノブ、１４ｂ…上下湾曲操作ノブ、１７…進退機構、１７ａ…進退ローラー、１８…ねじり機構、１８ａ…回転ローラー、１９…駆動部、６２…挿入量・ねじり量センサ、１００…処理システム、１１０…取得部、１２０…処理部、１３０…出力処理部、３００…内視鏡システム、３１０…スコープ部、３１０ａ…操作部、３１０ｂ…挿入部、３１０ｃ…ユニバーサルケーブル、３１０ｄ…コネクタ、３１１…対物光学系、３１２…撮像素子、３１４…照明レンズ、３１５…ライトガイド、３３０…処理装置、３３１…前処理部、３３２…制御部、３３３…記憶部、３３５…検出処理部、３３６…後処理部、３４０…表示部、３５０…光源装置、３５２…光源

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】