特許 7245360 学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-14

(45)【発行日】2023-03-23

(54)【発明の名称】学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサ

(51)【国際特許分類】

   A61B 1/045 20060101AFI20230315BHJP

   A61B 1/00 20060101ALI20230315BHJP

   G02B 23/24 20060101ALI20230315BHJP

   G02B 23/26 20060101ALI20230315BHJP

   A61B 1/06 20060101ALI20230315BHJP

【ＦＩ】

A61B1/045 614

A61B1/045 623

A61B1/00 620

G02B23/24 B

G02B23/26 D

A61B1/06 612

A61B1/045 610

【請求項の数】 30

(21)【出願番号】P 2021562557

(86)(22)【出願日】2020-11-18

(86)【国際出願番号】 JP2020042991

(87)【国際公開番号】W WO2021111879

(87)【国際公開日】2021-06-10

【審査請求日】2021-10-28

(31)【優先権主張番号】P 2019220681

(32)【優先日】2019-12-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000113263

【氏名又は名称】ＨＯＹＡ株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】神戸 智広

(72)【発明者】

【氏名】池谷 浩平

【審査官】北島 拓馬

(56)【参考文献】

【文献】国際公開第２０１９／００８７２６（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１１１５１２（ＷＯ，Ａ１）

【文献】国際公開第２０１８／２１６２８３（ＷＯ，Ａ１）

【文献】特開２０１０－１０８３８８（ＪＰ，Ａ）

【文献】特開平１０－０２７０８９（ＪＰ，Ａ）

【文献】特開２０１７－１０２７５５（ＪＰ，Ａ）

【文献】特開２００１－０００４４８（ＪＰ，Ａ）

【文献】国際公開第２０１８／２１１６７４（ＷＯ，Ａ１）

【文献】丸谷 宜史 Takafumi MARUTANI，手術工程に適応的な熟練医の手術手技教示システムの開発 Development of surgical skills training system to teach expert physician's skill appropriate for surgical process，電子情報通信学会技術研究報告 Ｖｏｌ．１１６ Ｎｏ．３７ IEICE Technical Report，日本，一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers，2016年05月12日，第116巻，第53頁-第58頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ａ６１Ｂ １３／００ －１８／１８

Ａ６１Ｂ ３４／００ －９０／９８

Ａ６１Ｆ ２／０１

Ａ６１Ｎ ７／００ － ７／０２

Ｇ０２Ｂ ２３／２４ －２３／２６

(57)【特許請求の範囲】

【請求項1】

内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報を取得し、
前記手技情報は３Ｄレーザセンサを用いて検出された前記内視鏡操作者の両腕及び両手の状態データを含み、
取得した内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に、次段階の両腕及び両手の状態データを含む手技情報を出力するよう学習された学習モデルを生成する
学習モデルの生成方法。

【請求項2】

内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報を取得し、
前記手技情報は前記内視鏡により撮影された内視鏡画像を取得する内視鏡用プロセッサにおける光量及び画像処理に係るパラメータを含み、
取得した内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力した場合に、次段階における光量及び画像処理に係るパラメータを含む手技情報を出力するよう学習された学習モデルを生成する
学習モデルの生成方法。

【請求項3】

前記内視鏡の先端の操作データを含む手技情報を取得し、
前記学習モデルに内視鏡画像と内視鏡の先端の操作データを含む手技情報とを入力した場合に、次段階の内視鏡の先端の操作データを含む手技情報を出力するよう学習された前記学習モデルを生成する
請求項１又は請求項２に記載の学習モデルの生成方法。

【請求項4】

前記学習モデルに内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に、次段階の両腕及び両手の状態データを含む手技情報に基づく画像を出力するよう学習された前記学習モデルを生成する
請求項１又は請求項３に記載の学習モデルの生成方法。

【請求項5】

前記内視鏡操作者を含む室内画像を撮影する撮影装置から室内画像を取得し、
取得した内視鏡画像、手技情報及び室内画像と次段階における手技情報とを含む教師データに基づき、前記学習モデルに内視鏡画像、手技情報及び室内画像を入力した場合に、次段階の手技情報を出力するよう学習された前記学習モデルを生成する
請求項１から請求項４のいずれか１項に記載の学習モデルの生成方法。

【請求項6】

前記内視鏡操作者の視線データを取得し、
取得した内視鏡画像、手技情報及び視線データと、次段階における手技情報及び視線データとを含む教師データに基づき、前記学習モデルに内視鏡画像、手技情報及び視線データを入力した場合に次段階の手技情報及び視線データを出力するよう学習された前記学習モデルを生成する
請求項１から請求項５のいずれか１項に記載の学習モデルの生成方法。

【請求項7】

前記内視鏡操作者の前記内視鏡の手技に対する手技レベルに応じて複数種類の前記学習モデルを生成する
請求項１から請求項６のいずれか１項に記載の学習モデルの生成方法。

【請求項8】

前記内視鏡操作者の体格に応じて複数種類の前記学習モデルを生成する
請求項１から請求項７のいずれか１項に記載の学習モデルの生成方法。

【請求項9】

内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報を取得し、
前記手技情報は３Ｄレーザセンサを用いて検出された前記内視鏡操作者の両腕及び両手の状態データを含み、
内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に次段階の両腕及び両手の状態データを含む手技情報を出力するよう学習された学習モデルに、取得した内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力して、次段階の両腕及び両手の状態データを含む手技情報を出力する
処理をコンピュータに実行させるプログラム。

【請求項10】

内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報を取得し、
前記手技情報は前記内視鏡により撮影された内視鏡画像を取得する内視鏡用プロセッサにおける光量及び画像処理に係るパラメータを含み、
内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力した場合に次段階における光量及び画像処理に係るパラメータを含む手技情報を出力するよう学習された学習モデルに、取得した内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力して、次段階における光量及び画像処理に係るパラメータを含む手技情報を出力する
処理をコンピュータに実行させるプログラム。

【請求項11】

前記内視鏡の先端の操作データを含む手技情報を取得し、
前記学習モデルに、取得した内視鏡画像と内視鏡の先端の操作データを含む手技情報とを入力して、次段階の内視鏡の先端の操作データを含む手技情報を出力する
処理をコンピュータに実行させる請求項９又は請求項１０に記載のプログラム。

【請求項12】

前記学習モデルは、内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に、次段階の両腕及び両手の状態データを含む手技情報に基づく画像を出力するよう学習されており、
前記内視鏡操作者の両腕及び両手の状態データを含む手技情報を取得し、
前記学習モデルに、取得した内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力して、次段階の両腕及び両手の状態データを含む手技情報に基づく画像を出力する
処理をコンピュータに実行させる請求項９又は請求項１１に記載のプログラム。

【請求項13】

前記内視鏡操作者を含む室内画像を撮影する撮影装置から室内画像を取得し、
内視鏡画像、手技情報及び室内画像と次段階における手技情報とを含む教師データに基づき、内視鏡画像、手技情報及び室内画像を入力した場合に次段階の手技情報を出力するよう学習された前記学習モデルに、取得した内視鏡画像、手技情報及び室内画像を入力して、次段階の手技情報を出力する
処理をコンピュータに実行させる請求項９から請求項１２のいずれか１項に記載のプログラム。

【請求項14】

前記内視鏡操作者の視線データを取得し、
内視鏡画像、手技情報及び視線データと、次段階における手技情報及び視線データとを含む教師データに基づき、内視鏡画像、手技情報及び視線データを入力した場合に次段階の手技情報及び視線データを出力するよう学習された前記学習モデルに、取得した内視鏡画像、手技情報及び視線データを入力し、次段階における手技情報及び視線データを出力する
処理をコンピュータに実行させる請求項９から請求項１３のいずれか１項に記載のプログラム。

【請求項15】

前記内視鏡操作者の前記内視鏡の手技に対する手技レベルを特定し、
手技レベルに応じて用意された複数種類の前記学習モデルから、特定した前記内視鏡操作者の前記内視鏡の手技に対する手技レベルに対応する学習モデルを選択する
処理をコンピュータに実行させる請求項９から請求項１４のいずれか１項に記載のプログラム。

【請求項16】

前記手技情報の出力に並行して、前記内視鏡操作者の前記内視鏡の手技に対する手技レベルを特定する
処理をコンピュータに実行させる請求項９から請求項１５のいずれか１項に記載のプログラム。

【請求項17】

前記内視鏡操作者の体格を特定し、
前記内視鏡操作者の体格に応じて用意された複数種類の前記学習モデルから、特定した前記内視鏡操作者の体格に対応する学習モデルを選択する
処理をコンピュータに実行させる請求項９から請求項１６のいずれか１項に記載のプログラム。

【請求項18】

前記内視鏡用プロセッサは半導体光源を備えており、
前記次段階における光量及び画像処理に係るパラメータを含む手技情報に基づき、キセノンランプを光源に用いた場合の内視鏡画像に近似する内視鏡画像を生成する
処理をコンピュータに実行させる請求項１０に記載のプログラム。

【請求項19】

前記内視鏡操作者の前記内視鏡の手技に対する手技レベルを特定し、
特定した前記手技レベルに応じて、第１の前記手技レベルである場合には前記学習モデルから出力される次段階の手技情報を表示し、
第１の前記手技レベルよりも高い第２の前記手技レベルである場合において、所定の条件を満たすときは、前記学習モデルから出力される次段階の手技情報を表示せず、所定の条件を満たさないときは前記学習モデルから出力される次段階の手技情報を表示する
処理をコンピュータに実行させる請求項９から請求項１８のいずれか１項に記載のプログラム。

【請求項20】

前記内視鏡操作者を含む室内画像を撮影する撮影装置から室内画像を取得し、
取得した室内画像に基づき、前記学習モデルから出力される次段階の手技情報のうち対応済みの手技情報を特定し、
特定した前記対応済みの手技情報を除く前記学習モデルから出力される次段階の手技情報を表示する
処理をコンピュータに実行させる請求項９から請求項１９のいずれか１項に記載のプログラム。

【請求項21】

被検者の管腔臓器を示す３次元画像上に、次段階の手技情報を重畳して表示する画面情報を出力する
処理をコンピュータに実行させる請求項９から請求項２０のいずれか１項に記載のプログラム。

【請求項22】

内視鏡画像を撮影する内視鏡と、前記内視鏡を操作する内視鏡操作者の両腕及び両手の状態データを示す手技情報を取得する３Ｄレーザセンサと、内視鏡用プロセッサとを備え、
前記内視鏡用プロセッサは、
前記内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡画像及び前記手技情報を取得する取得部と、
内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像及び手技情報を入力した場合に次段階の手技情報を出力するよう学習された学習モデルと、
前記取得部が取得した内視鏡画像及び手技情報を前記学習モデルに入力して、次段階の手技情報を出力する出力部と
を備える手技支援システム。

【請求項23】

内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報であって、３Ｄレーザセンサを用いて検出された前記内視鏡操作者の両腕及び両手の状態データを含む手技情報を取得する取得部と、
取得した内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に、次段階の両腕及び両手の状態データを含む手技情報を出力する学習モデルを生成する生成部と
を備える情報処理装置。

【請求項24】

内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報であって、前記内視鏡により撮影された内視鏡画像を取得する内視鏡用プロセッサにおける光量及び画像処理に係るパラメータを含む手技情報を取得する取得部と、
取得した内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力した場合に、次段階における光量及び画像処理に係るパラメータを含む手技情報を出力する学習モデルを生成する生成部と
を備える情報処理装置。

【請求項25】

内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報を取得し、
前記手技情報は３Ｄレーザセンサを用いて検出された前記内視鏡操作者の両腕及び両手の状態データを含み、
取得した内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に、次段階の両腕及び両手の状態データを含む手技情報を出力するよう学習された学習モデルを生成する
処理をコンピュータに実行させるプログラム。

【請求項26】

内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報を取得し、
前記手技情報は前記内視鏡により撮影された内視鏡画像を取得する内視鏡用プロセッサにおける光量及び画像処理に係るパラメータを含み、
取得した内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力した場合に、次段階における光量及び画像処理に係るパラメータを含む手技情報を出力するよう学習された学習モデルを生成する
処理をコンピュータに実行させるプログラム。

【請求項27】

内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する状態データを含む手技情報をコンピュータが取得し、
前記手技情報は３Ｄレーザセンサを用いて検出された前記内視鏡操作者の両腕及び両手の状態データを含み、
内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に次段階の両腕及び両手の状態データを含む手技情報を出力するよう学習された学習モデルに、取得した前記内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力して、次段階の両腕及び両手の状態データを含む手技情報を出力する
情報処理方法。

【請求項28】

内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する操作データを含む手技情報をコンピュータが取得し、
前記手技情報は前記内視鏡により撮影された内視鏡画像を取得する内視鏡用プロセッサにおける光量及び画像処理に係るパラメータを含み、
内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力した場合に次段階における光量及び画像処理に係るパラメータを含む手技情報を出力するよう学習された学習モデルに、取得した前記内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力して、次段階における光量及び画像処理に係るパラメータを含む手技情報を出力する
情報処理方法。

【請求項29】

内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報であって、３Ｄレーザセンサを用いて検出された前記内視鏡操作者の両腕及び両手の状態データを含む手技情報を取得する取得部と、
内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に、次段階の両腕及び両手の状態データを含む手技情報を出力するよう学習された学習モデルと、
前記取得部が取得した内視鏡画像と両腕及び両手の状態データを含む手技情報とを前記学習モデルに入力して、次段階の両腕及び両手の状態データを含む手技情報を出力する出力部と
を備える内視鏡用プロセッサ。

【請求項30】

内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報であって、前記内視鏡により撮影された内視鏡画像を取得する内視鏡用プロセッサにおける光量及び画像処理に係るパラメータを含む手技情報を取得する取得部と、
内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力した場合に、次段階における光量及び画像処理に係るパラメータを含む手技情報を出力するよう学習された学習モデルと、
前記取得部が取得した内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを前記学習モデルに入力して、次段階における光量及び画像処理に係るパラメータを含む手技情報を出力する出力部と
を備える内視鏡用プロセッサ。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサに関する。

【背景技術】

【0002】

医療施設では、担当者の経験やスキルの違いから、手技内容に相違が出ないようにするため、担当者の能力に応じたサポートが行われている。担当者の能力に応じたサポートを実施するためには、担当者の手技内容、手技能力等を適切に把握し、これらの情報に基づいて、サポート内容を提示することが重要である。手技能力の決定方法として、特許文献１では、運動感知カメラから受け取ったユーザの運動のセンサデータを解析して手技が行われている間にユーザの能力データを取得し、取得した能力データを能力モデルと比較することによって能力計量を決定する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１５－５１９５９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示の方法においては、内視鏡の手技における十分なデータを取得できないという問題があり、内視鏡の手技を支援するための適切な支援情報が提示されないことが懸念される。

【0005】

本開示の目的は、内視鏡の手技における手技情報に基づいて、手技を支援する適切な情報を出力する学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサを提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様における学習モデルの生成方法は、内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報を取得し、取得した内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像及び手技情報を入力した場合に次段階の手技情報を出力するよう学習された学習モデルを生成する。

【発明の効果】

【0007】

本開示によれば、内視鏡の手技における手技情報に基づいて、手技を支援する適切な情報を出力することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態１における学習モデル生成システムの概要図である。

【図2】学習モデル生成システムの構成例を示すブロック図である。

【図3】履歴ＤＢに記憶される情報の内容例を示す図である。

【図4】学習モデルの構成を説明する説明図である。

【図5】学習モデルの異なる構成を説明する説明図である。

【図6】情報処理装置で実行される処理手順の一例を示すフローチャートである。

【図7】実施形態２における学習モデル生成システムの概要図である。

【図8】実施形態２の学習モデルの構成を説明する説明図である。

【図9】実施形態３における学習モデル生成システムの概要図である。

【図10】実施形態３の学習モデルの構成を説明する説明図である。

【図11】実施形態４の学習モデル生成システムの構成例を示すブロック図である。

【図12】実施形態５の手技支援システムの構成例を示すブロック図である。

【図13】内視鏡用プロセッサで実行される処理手順の一例を示すフローチャートである。

【図14】表示装置で表示される画面例を示す図である。

【図15】実施形態６の内視鏡用プロセッサで実行される処理手順の一例を示すフローチャートである。

【図16】実施形態７の内視鏡用プロセッサで実行される処理手順の一例を示すフローチャートである。

【図17】実施形態８の内視鏡用プロセッサで実行される処理手順の一例を示すフローチャートである。

【図18】実施形態９の手技支援システムの構成例を示すブロック図である。

【図19】評価モデルの構成を説明する説明図である。

【図20】内視鏡用プロセッサで実行される処理手順の一例を示すフローチャートである。

【図21】実施形態１１における画面例を示す図である。

【図22】実施形態１１の内視鏡用プロセッサで実行される処理手順の一例を示すフローチャートである。

【図23】実施形態１３の内視鏡用プロセッサで実行される処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

本発明をその実施の形態を示す図面を参照して具体的に説明する。

【0010】

（実施形態１）
図１は、実施形態１における学習モデル生成システム１１０の概要図である。学習モデル生成システム１１０は、内視鏡１、内視鏡用プロセッサ２、検出装置４及び情報処理装置５を含む。内視鏡用プロセッサ２には、表示装置３が接続されている。内視鏡１、内視鏡用プロセッサ２及び表示装置３は、コネクタを介して接続されており、電気信号、映像信号等の送受信を行う。内視鏡用プロセッサ２及び検出装置４は夫々情報処理装置５と、例えばＬＡＮ（Local Area Network）等のネットワークＮを介して通信可能に接続されている。

【0011】

内視鏡１は、例えば上部消化管用の内視鏡または大腸内視鏡である。内視鏡１は、挿入管１１と、該挿入管１１に操作部１２及びユニバーサルコード１３を介して連結されたコネクタ部１４とを備え、コネクタ部１４により内視鏡用プロセッサ２に接続して使用される。

【0012】

挿入管１１は長尺であり、被検者の消化管等の管腔臓器に挿入される部分である。挿入管１１の先端には、観察窓を介して被写体からの反射光を受光して光電変換する撮像素子が配置される。撮像素子は、ＣＣＤ(Charge Coupled Device)イメージセンサ、ＣＭＤ（Charge Modulation Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等が備えられている。光電変換により生成された電気信号は、図示しない信号処理回路によりＡ／Ｄ変換、ノイズ除去などの信号処理が施され、内視鏡用プロセッサ２に出力される。挿入管１１の先端には、後述のチャンネル入口と連結したチャンネル出口、洗浄水や空気を噴出、吸引するノズル等が設けられている。挿入管１１には、３軸加速度センサ、ジャイロセンサ、地磁気センサ又は磁気コイルセンサ等の物理検出装置が実装され、内視鏡１が被検者の体内に挿入された際、これら物理検出装置からの検出結果を取得するものであってもよい。

【0013】

操作部１２は、内視鏡操作者により把持されて各種の手技を行うために設けてあり、レリーズボタン、内視鏡の先端を曲げるためのアングルノブ等を備えている。操作部１２は、例えば送気、送水、送ガス等の周辺機器の操作指示信号の入力を受け付ける。さらに操作部１２は、チャンネル入口を備えている。チャンネル入口には、処置具等を挿入する挿入口を有する鉗子栓が固定されている。挿入口から挿入される処置具は、例えば、鉗子、把持具、注射針、生検針、スネア、クランプ、ハサミ、メス、切開器具、内視鏡ステープラ、組織ループ、クリップアプライヤ、縫合糸送達器具等である。

【0014】

ユニバーサルコード１３は長尺であり、第一端が操作部１２に、第二端がコネクタ部１４にそれぞれ接続されている。ユニバーサルコード１３には、挿入管１１及び操作部１２から延設されるファイバーバンドル、ケーブル束、送気チューブおよび送水チューブ等が挿通されている。ファイバーバンドル等の一端は、コネクタ部１４の通信用コネクタ（図示せず）に配設され、内視鏡用プロセッサ２に接続される。

【0015】

内視鏡用プロセッサ２は、内視鏡１の撮像素子から取り込まれた画像に対してガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行なってユーザが目視しやすい状態にした内視鏡画像を生成して、表示装置３に出力する情報処理装置である。

【0016】

表示装置３は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等である。表示装置３は、内視鏡用プロセッサ２から出力された画像等を表示する。

【0017】

検出装置４は、内視鏡１の内視鏡操作者の動作の３Ｄデータを検出する検出装置であり、例えば３Ｄレーザセンサである。検出装置４は、有線又は無線により情報処理装置５と接続されている。検出装置４は、検出した検出値を情報処理装置５へ送信する。３Ｄレーザセンサは、例えば、ＴＯＦ（Time Of Flight）方式により、対象物までの距離及び方向を所定の解像度で検出し、対象物上の各点の３次元位置座標を示す３Ｄデータを出力する。３Ｄレーザセンサは、水平方向及び垂直方向の検出範囲を示す画角、及び検出範囲の中心と３Ｄレーザセンサとを結ぶ中心線の向きが変更可能に構成されている。検出装置４は、例えば検出対象物の位置に基づいて画角及び向きを調整することにより、検出対象物の位置が変化した場合であっても高い解析度を維持することができる。検出装置４は、例えば内視鏡操作者の内視鏡１を操作する両手及び両腕の移動範囲を画角とするよう設定される。検出装置４は、内視鏡操作者の全身を含む範囲を画角とするよう設定されてもよい。

【0018】

検出装置４から情報処理装置５へ送信される検出値は、各時刻において検出装置４で検出される対象物上の点群に含まれる各点の３Ｄ座標値をセンサ座標系で表した３Ｄデータ群である。情報処理装置５は、取得した３Ｄデータ群から、内視鏡操作者の各部位についての座標値を算出する。３Ｄデータ群から人体の各部位の座標値を算出する方法は、例えば、特開２０１８－１６９７２０号公開公報に記載されている方法を用いてよい。

【0019】

内視鏡操作者の各部位とは、検出対象物の姿勢を特定するための特徴点となる関節などの人体の部位である。例えば、各部位は、右手、右手首、右肘、右肩、左手、左手首、左肘、左肩等である。各部位には、頭、肩の中心、背骨、右膝、右足首、右足、左膝、左足首、左足等が含まれてもよい。各部位の座標値としては、例えば各部位の軸方向を示すベクトル及び回転を表すクォータニオンを用いることができる。検出装置４を用いて、内視鏡操作者の各部位における３次元位置座標を検出することで、内視鏡操作者の手指の動作、手首の捻り等の内視鏡操作に関する詳細な動作を高精度に検出する。

【0020】

なお、検出装置４は、３Ｄレーザセンサに限定されるものではない。検出装置４は、内視鏡操作者の動作を検出するものであればよく、例えばイメージセンサ等であってよい。検出装置４は、複数の撮像素子からなるステレオカメラであってもよい。

【0021】

情報処理装置５は、例えばサーバコンピュータである。情報処理装置５は、内視鏡用プロセッサ２及び検出装置４から内視鏡の手技に関する情報を取得し、取得した情報に基づき内視鏡操作者の手技を支援する手技情報を出力する学習モデルを生成する。実施形態１において、情報処理装置５は１台のサーバコンピュータとして説明するが、複数のサーバコンピュータで機能又は処理を分散させてもよいし、１台の大型コンピュータに仮想的に生成される複数のサーバコンピュータ（インスタンス）の内の１つであってもよい。

【0022】

図２は、学習モデル生成システム１１０の構成例を示すブロック図である。内視鏡用プロセッサ２は、制御部２１、記憶部２２、入出力Ｉ／Ｆ（Interface ）２３、光源２４及び通信部２５を含む。各構成はバスで接続されている。本実施形態では、内視鏡用プロセッサ２は一台の情報処理装置であるものとして説明するが、複数台により分散して処理させてもよく、または仮想マシンにより構成されていてもよい。

【0023】

制御部２１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を含む。制御部２１は、内蔵するＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを用いて処理を実行する。制御部２１は、記憶部２２に記憶されたプログラムを読み出して実行することにより、内視鏡用プロセッサ２に係る種々の情報処理、制御処理等を行う。図２では制御部２１を単一のプロセッサであるものとして説明するが、マルチプロセッサであってもよい。

【0024】

記憶部２２は、例えばハードディスク又はＳＳＤ（Solid State Drive ）等の不揮発性メモリを含む。記憶部２２は、制御部２１が参照するプログラム及びデータを記憶する。

【0025】

入出力Ｉ／Ｆ２３は、内視鏡用プロセッサ２に接続された外部機器とシリアル通信するための通信インターフェースである。入出力Ｉ／Ｆ２３には、例えばディスプレイ等の表示装置３、キーボード等の入力装置が接続されている。制御部２１は、入力装置に対する外部からの操作に応じて発生した入力信号に基づき行った情報処理の結果を表示装置３に出力する。

【0026】

光源２４は、観察対象の照明に用いる照明光を発する光源を備える。光源２４は、例えば、波長域が異なる複数色のＬＥＤ（Light Emitting Diode）等の半導体光源、レーザーダイオードと蛍光体の組み合わせ、又はキセノンランプ等である。光源２４の点灯、消灯および明るさの変更は、制御部２１により制御される。なお、本実施形態では、内視鏡用プロセッサ２が光源一体型であるが、これに限るものではない。例えば、内視鏡用プロセッサ２は、光源装置と分離する光源分離型であってもよい。

【0027】

通信部２５は、ネットワークＮを介した通信を実現する通信インターフェースである。制御部２１は、通信部２５によりネットワークＮを介して情報処理装置５と通信接続が可能である。なお通信部２５が備える通信インターフェースは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の近距離無線通信用のアンテナを含む無線通信モジュールを用いて通信を行ってもよい。また、通信部２５は、ＵＳＢ等の有線の通信インターフェースを備えていてもよい。

【0028】

情報処理装置５は、制御部５１、記憶部５２、通信部５３及び入出力Ｉ／Ｆ５４を含む。制御部５１は、一又は複数のＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置を含む。制御部５１は、内蔵するＲＯＭ及びＲＡＭ等のメモリを用いて処理を実行する。制御部５１は、記憶部５２に記憶されたプログラム５Ｐを読み出して実行することにより、情報処理装置５に係る種々の情報処理、制御処理等を行う。

【0029】

記憶部５２は、例えばハードディスク又はＳＳＤ等の不揮発性メモリを含む。記憶部５２は、プログラム５Ｐを記憶するほか、制御部５１が参照する他のプログラム及びデータを記憶する。記憶部５２に記憶されたプログラム５Ｐは、情報処理装置５が読み取り可能な記録媒体５Ａから読み出されたプログラム５Ｐを記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラム５Ｐをダウンロードし、記憶部５２に記憶させたものであってもよい。記憶部５２は、履歴ＤＢ（Data Base ：データベース）５２１及び学習モデル５２２を記憶する。学習モデル５２２は、内視鏡操作者の内視鏡の手技を支援する手技情報を識別する識別器であり、機械学習により生成された学習モデルである。なお記憶部５２は、複数の記憶装置により構成されていてもよく、情報処理装置５に接続された外部記憶装置であってもよい。

【0030】

通信部５３は、ネットワークＮを介した通信を実現する通信インターフェースである。制御部５１は、通信部５３によりネットワークＮを介して内視鏡用プロセッサ２及び検出装置４と通信接続が可能である。

【0031】

入出力Ｉ／Ｆ５４は、例えば、ＵＳＢ又はＤ－ＳＵＢ等の通信規格に準拠したものであり、入出力Ｉ／Ｆ５４に接続された外部機器とシリアル通信するための通信インターフェースである。入出力Ｉ／Ｆ６４には、例えばディスプレイ等の出力装置、キーボード等の入力装置が接続されている。

【0032】

図３は、履歴ＤＢ５２１に記憶される情報の内容例を示す図である。情報処理装置５は、内視鏡１の操作に熟練した内視鏡操作者の手技に関する手技情報を収集し、履歴ＤＢ５２１に記憶する。履歴ＤＢ５２１は、履歴情報を識別する履歴ＩＤに対応付けて、日時、内視鏡画像、検出値及び操作データを含む手技情報等を記憶している。

【0033】

日時には、内視鏡手技が行なわれた日時が記録されている。図３では、一例として１０ミリ秒単位でデータが記録される。内視鏡画像には、内視鏡１により撮影された内視鏡画像が記録されている。内視鏡画像は、静止画像又は複数のフレームの静止画像から構成される動画像である。検出値は、内視鏡操作者の両手及び両腕等の動作を示す状態データである。検出値には、例えば、検出装置４により検出された各日時の時点における、３Ｄデータ群、又は３Ｄデータ群から算出される内視鏡操作者の各部位についての座標値と各部位とが対応付けて記録されている。操作データは、内視鏡１の先端の操作データに関する情報であり、内視鏡１の体内への挿入量、内視鏡１の先端の湾曲方向、光源２４の光量に関する情報等が含まれてよい。内視鏡１の体内への挿入量は、内視鏡１の挿入管１１に設けられた３軸加速度センサ等の物理検出装置から検出された検出値が記録される。内視鏡１の湾曲方向は、内視鏡用プロセッサ２から得られる操作部１２の湾曲ボタンの操作データが記録される。光源２４の光量は、内視鏡用プロセッサ２から得られる光源２４に対する輝度の制御データが記録される。なお図３は一例であって、履歴ＤＢ５２１の記憶内容は限定されるものではない。

【0034】

図４は、学習モデル５２２の構成を説明する説明図である。学習モデル５２２は、ニューラルネットワークを用いた深層学習によって、生成され、学習される。学習モデル５２２は、例えばＣＮＮ（Convolution Neural Network）である。図４に示す例では、学習モデル５２２は、内視鏡画像データ及び手技情報を入力する入力層と、実施中の手技に対する次段階における手技情報を出力する出力層と、内視鏡画像データ及び手技情報の特徴量を抽出する中間層とを備える。中間層は、内視鏡画像データ及び手技情報の特徴量を抽出する複数のノードを有し、各種パラメータを用いて抽出された画像特徴量を出力層に受け渡す。中間層は、畳み込み層、プーリング層及び全結合層等を含んでよい。学習モデル５２２は、設定されている手技情報を出力する複数の出力層を有する。

【0035】

学習モデル５２２の入力層へ入力される入力データは、所定段階における、内視鏡１により撮影された内視鏡画像及び手技情報である。内視鏡画像は、静止画像又は複数のフレームの静止画像から構成される動画像である。手技情報は検出値及び操作データを含んでよい。検出値は、検出装置４により検出された３Ｄデータ群、又は３Ｄデータ群から算出される内視鏡操作者の各部位についての座標値を含む、内視鏡操作者の両手及び両腕等の状態データである。操作データは、内視鏡１の挿入量、湾曲方向及び光量等の操作データを含む。なおこの場合において、内視鏡画像データは図示しない畳み込み層、コンボリューション層を介して入力層に入力されてよい。

【0036】

学習モデル５２２の出力層から出力される出力データは、所定段階において実施中の手技に対する次段階の手技情報である。例えば、入力データが時刻ｔnにおける内視鏡画像及び手技情報である場合、出力データは、時刻ｔn+1における手技情報である。学習モデル５２２は、手技情報として、例えば検出値、挿入量、湾曲方向及び光量を夫々出力する複数の出力層を有する。検出値を出力する出力層は、設定されている検出値に各々対応するチャネルを含み、各検出値に対する確度をスコアとして出力する。情報処理装置５は、スコアが最も高い検出値、あるいはスコアが閾値以上である検出値を、検出値を出力する出力層の出力データとすることができる。なお出力層は、それぞれの検出値の確度を出力する複数の出力チャネルを有する代わりに、最も確度の高い検出値を出力する１個の出力ノードを有してもよい。同様に、挿入量、湾曲方向及び光量の各出力層からは、挿入量、湾曲方向及び光量の出力データが夫々出力される。このように、学習モデル５２２は、所定段階における内視鏡画像及び手技情報が入力された場合に、次段階の手技情報を出力する。

【0037】

上記では、学習モデル５２２は複数の出力層を有する構成を説明したが、学習モデル５２２は一つの出力層を有する構成であってもよい。情報処理装置５は、検出値、挿入量、湾曲方向及び光量を夫々出力する出力層を有する学習モデル５２２を複数備えていてもよい。この場合において、各学習モデル５２２には、出力する手技情報に応じた入力データが入力されてよい。例えば、手技情報として検出値を出力する学習モデル５２２に入力される入力データは、内視鏡画像及び検出値のみであってもよく、内視鏡画像、検出値及び操作データが全て入力されてもよい。

【0038】

上記では、手技情報として内視鏡操作者の両手及び両腕の状態データである検出値と、挿入量、湾曲方向及び光量である操作データとが含まれる例を説明したが、学習モデル５２２に入力され、出力される手技情報は限定されるものではない。内視鏡１の操作による手技とは、例えば内視鏡１による被検者の消化管等の検査・観察、処置具による手技等が含まれる。手技情報には、これら手技内容データが含まれてよい。

【0039】

例えば病変の切除を含む手技において、手技内容データを入力要素とする学習モデル５２２は、入力される手技情報に処置具である注射針の挿入を示す手技内容データが含まれる場合、次段階の手技情報として生理食塩水の注入等の手技内容データを出力とする構成であってもよい。また、手技情報には、内視鏡１に対する送気・送水の操作データ、内視鏡用プロセッサ２の用いる内視鏡画像に画像処理を施す際のパラメータ等が含まれてもよい。また手技情報には、内視鏡画像に応じた病変の有無及び内容等の病変データが含まれてよい。例えば、学習モデル５２２から出力される手技情報には、入力データである内視鏡画像から判定された病変データが含まれてよい。また、学習モデル５２２は、入力される手技情報に病変データを含み、該病変データに対応付けられた手技内容、光量情報等の手技情報を出力してもよい。

【0040】

学習モデル５２２は、Ｕ－Ｎｅｔ等のアルゴリズムを用いて、次段階の手技情報の画像を生成するものであってもよい。図５は、学習モデル５２２の異なる構成を説明する説明図である。学習モデル５２２は、エンコーダ部及びデコーダ部を備える。エンコーダ部は、入力データをエンコーディングして特徴量を抽出し、デコーダ部は、抽出された特徴量をデコーディングして画像生成を行う。学習モデル５２２の入力層へ入力される入力データは、所定段階における、内視鏡１により撮影された内視鏡画像及び内視鏡操作者の両手及び両腕の状態データである検出値である。学習モデル５２２の出力層から出力される出力データは、所定段階の次段階の両手及び両腕の状態データに基づき生成された、次段階の両手及び両腕の状態を示す画像である。画像は、３次元位置座標に基づく３Ｄ画像であってもよい。

【0041】

学習モデル５２２は、上記の例に限られず、時系列データを取得した場合には、例えばリカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）を用いてもよい。学習モデル５２２は、Ｓｅｑ２ＳｅｑのＲＮＮを用いて、複数の次段階の手技情報を予測してもよい。また学習モデル５２２は、ＣＮＮ以外のニューラルネットワーク、他のアルゴリズムによって学習されたモデルであってもよい。

【0042】

上記のように構成される学習モデル生成システム１１０にて、学習モデルを生成する機械学習処理が実行される。図６は、情報処理装置５で実行される処理手順の一例を示すフローチャートである。

【0043】

情報処理装置５の制御部５１は、内視鏡操作者の内視鏡１の各操作段階における内視鏡画像及び手技情報を取得する（ステップＳ１１）。手技情報には、各操作段階における内視鏡操作者の両手及び両腕の状態データ、内視鏡１の挿入量、湾曲方向及び光量の操作データが含まれる。具体的には、制御部５１は、内視鏡用プロセッサ２から、内視鏡画像、内視鏡１の挿入量、湾曲方向及び光量等の操作データを取得する。更に制御部５１は、検出装置４から検出値を取得する。

【0044】

制御部５１は、取得した各操作段階（例えば時刻ｔnの段階）における内視鏡画像及び手技情報に、履歴ＤＢ５２１に記録された各操作段階の次段階（例えば時刻ｔn+1の段階）における手技情報をラベル付けした教師データを生成する（ステップＳ１２）。履歴ＤＢ５２１には、過去に実施された熟練内視鏡操作者による内視鏡検査の各操作段階における情報が大量に記録されている。制御部５１は、これら大量のデータを用いて、取得した各操作段階における内視鏡画像及び手技情報夫々に対し次段階における手技情報を対応付けた教師データを生成する。

【0045】

制御部５１は、生成した教師データを用いて、内視鏡画像及び手技情報を入力した場合に次段階における手技情報を出力する学習モデル５２２を生成する（ステップＳ１３）。具体的には、制御部５１は、所定段階における内視鏡画像及び手技情報をニューラルネットワークの入力層に入力する。制御部２１は、次段階における手技情報の予測値を出力層から取得する。制御部５１は、手技情報の予測値を、正解値である手技情報と比較し、出力層から出力される予測値が正解値に近づくよう、中間層での演算処理に用いるモデルパラメータを最適化する。最適化されたモデルパラメータを、定義されたニューラルネットワークに適用することによって、学習モデル５２２は、内視鏡画像データ及び手技情報が入力された場合に次段階における手技情報を出力することが可能である。制御部５１は、生成した学習モデル５２２を記憶部５２に格納し、一連の処理を終了する。

【0046】

上記では、一連の処理を情報処理装置５の制御部５１が実行する例を説明したが、本実施形態はこれに限定されない。上記の処理は、一部又は全部が内視鏡用プロセッサ２の制御部２１で実行されるものであってもよい。すなわち、内視鏡用プロセッサ２が、実質的に情報処理装置５を含むものであってもよい。また学習モデル５２２は、情報処理装置５により生成され、内視鏡用プロセッサ２で学習されたものであってもよい。情報処理装置５の制御部５１と内視鏡用プロセッサ２の制御部２１とは、例えばプロセス間通信を行うことにより協働して一連の処理を行うものであってもよい。

【0047】

本実施形態によれば、内視鏡１の操作手技に熟練した内視鏡操作者の操作データを含む教師データを用いて、内視鏡の手技において、実施段階の内視鏡画像及び手技情報に応じた次段階の手技情報を出力する学習モデル５２２が生成される。学習モデル５２２により、各操作段階に応じた精度のよい手技情報の出力が可能となる。

【0048】

（実施形態２）
実施形態２では、学習モデル生成システム１２０は、内視鏡１の手技を行う内視鏡室内を撮影する撮影装置６を更に含み、撮影装置６で撮影された室内画像を用いた学習モデル５２２が生成される。図７は、実施形態２における学習モデル生成システム１２０の概要図である。以下では、実施形態２について、実施形態１と異なる点を説明する。後述する構成を除く他の構成については実施形態１と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

【0049】

撮影装置６は、内視鏡１の操作を行う内視鏡操作者及び内視鏡１による被検者を含む内視鏡室内に設置される、カメラ等の撮影機能を有する撮影装置である。撮影装置６は、有線又は無線によりネットワークＮを介して情報処理装置５と通信接続されている。撮影装置６は、撮影した室内画像を情報処理装置５へ送信する。撮影装置６により撮影される室内画像には、内視鏡室内の内視鏡操作者、被検者、内視鏡操作者を補助する看護師等の補助者、内視鏡室内の処置具の載置台等、内視鏡室内の各種の状態を示す画像が含まれる。

【0050】

図８は、実施形態２の学習モデル５２２の構成を説明する説明図である。学習モデル５２２は、内視鏡画像、手技情報及び室内画像が入力された場合に、次段階の手技情報を出力するよう学習される。学習モデル５２２の入力層へ入力される入力データは、所定段階における、内視鏡１により撮影された内視鏡画像、手技情報及び室内画像である。手技情報は、例えば検出装置４の検出値、内視鏡１の挿入量、湾曲方向及び光量等の操作データの少なくともいずれか一つを含んでよい。室内画像データには、内視鏡操作者及び被検者の相対位置情報、被検者の体の向き、処置具の準備状態等の情報が含まれている。なおこの場合において、内視鏡画像及び室内画像の画像データは図示しない畳み込み層、コンボリューション層を介して入力層に入力されてよい。

【0051】

学習モデル５２２の出力層から出力される出力データは、所定段階において実施中の手技に対する次段階の手技情報である。手技情報は、内視鏡操作者の両手及び両腕等の状態データを含む。手技情報は、次段階の処置具の情報（例えばスネア準備、電気メス準備等）、次段階の内視鏡操作者及び被検者の位置関係の情報（例えば右足１歩前、両足１歩左等）等を含んでよい。

【0052】

情報処理装置５は、各操作段階における内視鏡画像、手技情報及び室内画像に、各操作段階の次段階における手技情報をラベル付けした教師データを生成し、生成した教師データを用いて、内視鏡画像、手技情報及び室内画像を入力した場合に次段階における手技情報を出力する学習モデル５２２を生成する。

【0053】

本実施形態によれば、学習モデル５２２は、撮影装置６により取得された室内画像を用いて、より実施内容に応じた手技情報を出力することができる。室内の状況に応じた手技情報が出力されるため、内視鏡操作者のみならず他の補助者等も含めたサポートが可能となる。

【0054】

（実施形態３）
実施形態３では、学習モデル生成システム１３０は、内視鏡操作者の視線データを検出する視線検出装置７を更に含み、視線検出装置７で検出された視線データを用いた学習モデル５２２が生成される。図９は、実施形態３における学習モデル生成システム１３０の概要図である。以下では、実施形態３について、実施形態１と異なる点を説明する。後述する構成を除く他の構成については実施形態１と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

【0055】

視線検出装置７は、例えばイメージセンサ等の視線検出センサを有する検出装置である。視線検出装置７は、眼鏡型等のウェアラブルデバイスの態様であってもよい。視線検出装置７は、内視鏡操作者の視線の動きを検出する。視線検出装置７は、有線又は無線によりネットワークＮを介して情報処理装置５と通信接続されている。視線検出装置７は、検出した視線データを情報処理装置５へ送信する。

【0056】

図１０は、実施形態３の学習モデル５２２の構成を説明する説明図である。学習モデル５２２の入力層へ入力される入力データは、所定段階における、内視鏡１により撮影された内視鏡画像、手技情報及び視線検出装置７から取得した視線データである。手技情報は、例えば検出装置４の検出値、内視鏡１の挿入量、湾曲方向及び光量等の操作データの少なくともいずれか一つを含んでよい。

【0057】

学習モデル５２２は、例えば手技情報及び視線データを夫々出力する複数の出力層を備える。各出力層から出力される出力データは、夫々所定段階において実施中の手技に対する次段階の手技情報及び視線データである。

【0058】

情報処理装置５は、各操作段階における内視鏡画像、手技情報及び視線データに、各操作段階の次段階における手技情報及び視線データをラベル付けした教師データを生成し、生成した教師データを用いて、内視鏡画像、手技情報及び視線データを入力した場合に次段階における手技情報及び視線データを出力する学習モデル５２２を生成する。

【0059】

本実施形態によれば、学習モデル５２２は、視線データ等の微妙な動きをデータ化して取得することにより、認識し易い情報として出力することができる。

【0060】

（実施形態４）
実施形態４では、学習モデル生成システム１４０の情報処理装置５は、手技レベルに応じた複数種類の学習モデル５２２を生成する。図１１は、実施形態４の学習モデル生成システム１４０の構成例を示すブロック図である。以下では、実施形態４について、実施形態１と異なる点を説明する。後述する構成を除く他の構成については実施形態１と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。実施形態４の情報処理装置５では、記憶部５２に複数の学習モデル５２２が記憶されている。

【0061】

内視鏡１の内視鏡操作者には、内視鏡１の操作に未熟な内視鏡操作者から熟練した内視鏡操作者まで、各種の手技レベルの内視鏡操作者が想定される。このような場合においては、内視鏡操作者の手技レベルに応じて異なる手技情報が提供されることが好ましい。学習モデル生成システム１４０では、手技レベルに応じた学習モデル５２２を複数生成することで、内視鏡操作者の手技レベルに応じた手技情報の出力を行う。

【0062】

学習モデル５２２は、例えば手技レベル初級者、中級者、上級者、エキスパート等の、異なる手技レベル毎にそれぞれ生成されており、各学習モデル５２２からは、夫々手技レベルに応じた情報のみを出力データとするよう構成される。例えば、初心者用の学習モデル５２２からは、状態データ、挿入量、湾曲方向及び光量を全て含む操作データ等が出力され、エキスパート用の学習モデル５２２からは、光量を含む操作データのみが手技情報として出力される。この場合において、各学習モデル５２２は、出力データに応じた情報のみを入力要素としてよい。すなわち、手技情報として光量を出力とするエキスパート用の学習モデル５２２においては、入力要素に含まれる手技情報は光量のみでよく、他の操作データ及び状態データは入力要素に含まれないものであってよい。なお、学習モデル生成システム１４０は、学習モデル５２２の入力要素として内視鏡操作者の手技レベルを含んで学習することにより、１つの学習モデル５２２により手技レベルに応じた出力データを出力するものであってもよい。

【0063】

なお、複数種類の学習モデル５２２は、手技レベル以外の要素に基づき用意されていてもよい。例えば、情報処理装置５は、内視鏡操作者の生体属性情報に応じた複数種類の学習モデル５２２を生成してもよい。

【0064】

内視鏡１の内視鏡操作者は、夫々身長、体重、性別、手のサイズ、握力、利き手、視力、色覚特性等の様々な生体属性情報を有する。例えば、内視鏡操作者の身長、手のサイズ等により、内視鏡の湾曲操作は異なる。また、視力、色覚特性等により適切な光量、画質設定は異なる。このような場合においては、内視鏡操作者の生体属性情報に応じて異なる手技情報が提供されることが好ましい。学習モデル５２２は、例えば生体属性情報の身長、体重、性別等に基づき区分される体格に応じて、異なる内視鏡操作者の体格区分毎に複数種類が生成される。例えば「大」「中」「小」に区分される各体格区分に対応する学習モデル５２２からは、夫々「大」「中」「小」の体格に応じた手技情報が出力されるよう構成される。なお、学習モデル生成システム１４０は、学習モデル５２２の入力要素として内視鏡操作者の生体属性情報を含んで学習することにより、１つの学習モデル５２２により生体属性情報に応じた出力データを出力するものであってもよい。

【0065】

本実施形態によれば、学習モデル５２２は、内視鏡操作者の手技レベル、生体属性情報等に応じて、個々の操作者に適切な手技情報を出力することができる。

【0066】

（実施形態５）
実施形態５では、学習モデル生成システムで生成された学習モデル５２２を用いて、内視鏡用プロセッサ２が、内視鏡１の操作を行う内視鏡操作者へ手技情報を提供する手技支援システムを実現する。図１２は、実施形態５の手技支援システム２１０の構成例を示すブロック図である。以下では、実施形態５について、実施形態１と異なる点を説明する。後述する構成を除く他の構成については実施形態１の学習モデル生成システム１１０と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

【0067】

実施形態５の手技支援システム２１０は、内視鏡１、内視鏡用プロセッサ２及び検出装置４を含む。内視鏡用プロセッサ２には、表示装置３が接続されている。内視鏡用プロセッサ２は、検出装置４と有線又は無線によりネットワークＮを介して通信可能に接続されている。

【0068】

実施形態５の内視鏡用プロセッサ２は、記憶部２２に、プログラム２Ｐ及び学習モデル５２２を記憶するほか、制御部２１が参照する他のプログラム及びデータを記憶する。記憶部２２に記憶されたプログラム２Ｐは、内視鏡用プロセッサ２が読み取り可能な記録媒体２Ａから読み出されたプログラム２Ｐを記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラム２Ｐをダウンロードし、記憶部２２に記憶させたものであってもよい。

【0069】

制御部２１は、記憶部２２に記憶されたプログラム２Ｐを読み出して実行することにより、内視鏡画像及び内視鏡操作者の手技情報等を取得し、取得した内視鏡画像及び内視鏡操作者の手技情報に応じた次段階の手技情報を出力する本開示特有の内視鏡用プロセッサ２として機能させる。

【0070】

図１３は、内視鏡用プロセッサ２で実行される処理手順の一例を示すフローチャートである。例えば内視鏡操作者による内視鏡１の操作手技が開始され内視鏡１の撮影が開始されると、内視鏡用プロセッサ２の制御部２１で以下の処理が実行される。

【0071】

制御部２１は、内視鏡１から撮像画像を取得し、取得した撮像画像に所定の画像処理を施した内視鏡画像を取得する（ステップＳ２１）。ついで制御部２１は、手技情報を取得する（ステップＳ２２）。手技情報には、内視鏡操作者の両手及び両腕等の状態データと、内視鏡１の挿入量、湾曲方向及び光量等の操作データとの少なくともいずれか一方が含まれる。具体的には、制御部２１は、検出装置４にて検出された検出値を取得する。制御部２１は、検出装置４から取得した３Ｄデータ群から内視鏡操作者の各部位についての座標値を算出する。さらに制御部２１は、内視鏡１の挿入量、湾曲方向及び光量等の操作データを取得する。制御部２１は、取得した内視鏡画像及び手技情報を一時的に記憶部２２に記憶する。

【0072】

制御部２１は、記憶した内視鏡画像及び手技情報を学習モデル５２２に入力する（ステップＳ２３）。学習モデル５２２は、実施形態１において説明した学習モデル５２２であり、内視鏡画像及び手技情報を入力した場合に、次段階の手技情報を出力する。具体的には、学習モデル５２２は、内視鏡画像及び内視鏡操作者の両手及び両腕等の状態データを入力した場合に、次段階の両手及び両腕等の状態データ、又は該状態データに基づき生成された画像を出力する。学習モデル５２２は、内視鏡画像及び内視鏡１の挿入量、湾曲方向及び光量等の操作データを入力した場合に、次段階の操作データを出力するものであってもよい。

【0073】

学習モデル５２２に入力される内視鏡画像は、内視鏡１に設けられた撮像素子により撮影されて、内視鏡用プロセッサ２に伝送された撮影画像そのものであってもよく、又は撮影画像に対して内視鏡用プロセッサ２内部で所定の画像処理を行なった内視鏡画像であってもよい。学習モデル５２２に入力される手技情報には、内視鏡操作者の両手及び両腕等の状態データと、内視鏡１の挿入量、湾曲方向及び光量等の操作データとの少なくとも一方が含まれている。

【0074】

制御部２１は、学習モデル５２２から出力される次段階の手技情報を取得する（ステップＳ２４）。学習モデル５２２から出力される手技情報には、次段階における内視鏡操作者の両手及び両腕等の状態データと、内視鏡１の挿入量、湾曲方向及び光量等の操作データとの少なくとも一方が含まれている。学習モデル５２２から出力される手技情報は、内視鏡操作者の両手及び両腕等の状態データに基づく画像であってもよい。

【0075】

制御部２１は、取得した手技情報と内視鏡画像とを対応付けて表示する画面情報を生成する。制御部２１は、生成した手技情報を含む画面情報を表示装置３を介して表示し（ステップＳ２５）、一連の処理を終了する。なお制御部２１は、ステップＳ２５の処理を実行後、再度ステップＳ２１の処理を実行すべくループ処理を行うものであってもよい。

【0076】

本実施形態において、内視鏡用プロセッサ２が実行する処理の一部を、内視鏡用プロセッサ２と通信接続された実施形態１の情報処理装置５又は他の外部サーバが行うものであってもよい。

【0077】

図１４は、表示装置３で表示される画面例を示す図である。画面には、内視鏡画像及び次段階の手技情報が表示される。内視鏡用プロセッサ２の制御部２１は、学習モデル５２２の出力情報に基づき、手技情報の表示内容を記憶した不図示のテーブルを参照し、次段階の手技情報を表示する画像情報を生成する。制御部２１は、所定段階の内視鏡画像と、生成した次段階の手技情報を表示する画像情報とを対応付けて表示装置３に表示する。表示装置３には、次段階の手技情報として、例えば内視鏡１の挿入量、湾曲方向等の操作に関する情報と、その他の送気・送水等の手技全体に関する情報とが並列に表示される。挿入量の変化量は、「＋１（１ｃｍ挿入する）」「－１（１ｃｍ抜去する）」「０（現状維持）」等で表示されてよい。学習モデル５２２から画像による手技情報が出力される場合には、該画像を含んだ画面が表示されてよい。学習モデル５２２から次々段階等を含む複数段階の手技情報を取得した場合には、複数段階の情報が並列して表示されてよい。
制御部２１は、室内画像、視線データ等を取得した場合には、これらの画像データ等を含む画面を表示してよい。更に、制御部２１は、内視鏡用プロセッサ２と通信接続された外部測定装置から被検者の血圧、心拍等の生体情報を取得し、手技情報と共に画面に表示してよい。各種の情報を集約して表示装置３へ表示させることにより、内視鏡操作者が複数のモニタに視線を移動させることなく情報を得ることができ、情報の見逃しを防止する。

【0078】

制御部２１は、画面情報の出力に加えて、警告音、合成音声、画面の点滅等により、手技情報を手技者に通知してもよい。例えば、次段階の湾曲方向の操作量が予め設定される閾値以上の場合等、注意を要する手技情報が出力情報に含まれる場合には、図示しないスピーカを介して警告音、合成音声等により手技者に通知することが好ましい。また、手技情報に、内視鏡用プロセッサ２に対する設定情報が含まれる場合においては、例えば表示装置３への出力に代えて、又は表示装置３への出力に加えて、内視鏡用プロセッサ２に変更指示が出力されてもよい。例えば光源２４の輝度変更、画質パラメータ変更等の内視鏡用プロセッサ２の設定に関する変更は、内視鏡用プロセッサ２にて自動で行われることにより内視鏡操作者の負担を軽減することができる。

【0079】

本実施形態によれば、学習モデル５２２を用いて、内視鏡操作者の実施する手技内容に応じた手技情報が提供される。熟練内視鏡操作者の手技データに基づき推定された次段階の手技情報が提供されるため、誤った手技が実施されることを防止し、手技に未熟な内視鏡操作者であっても熟練内視鏡操作者と同様の手技内容を実施することが可能となる。内視鏡用プロセッサ２は、学習モデル５２２を用いて、内視鏡画像及び検出装置４の検出値等により高速且つ高精度に取得された実施段階の手技に関する情報に基づき、内視鏡１に特有の微妙な手指の動作を含む次段階の手技情報を出力する。

【0080】

（実施形態６）
実施形態６では、手技支援システム２２０は、内視鏡１の操作を行う内視鏡室内を撮影する撮影装置６を更に含む点で実施形態５と異なる。内視鏡用プロセッサ２は、内視鏡画像、手技情報及び室内画像が入力された場合に、次段階の手技情報を出力するよう学習された学習モデル５２２を用いて手技情報を提供する。

【0081】

図１５は、実施形態６の内視鏡用プロセッサ２で実行される処理手順の一例を示すフローチャートである。実施形態５の図１３と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。

【0082】

制御部２１は、内視鏡画像を取得し（ステップＳ２１）、手技情報を取得する（ステップＳ２２）。手技情報には、操作者の両手及び両腕等の操作データ、内視鏡１の挿入量、湾曲方向及び光量等の操作データの少なくともいずれか一つが含まれてよい。ついで制御部２１は、撮影装置６から室内画像を取得する（ステップＳ３１）。制御部２１は、取得した内視鏡画像、手技情報及び室内画像を一時的に記憶部２２に記憶する。

【0083】

制御部２１は、記憶した内視鏡画像、手技情報及び室内画像を学習モデル５２２に入力する（ステップＳ３２）。学習モデル５２２は、実施形態２において説明した学習モデル５２２であり、内視鏡画像、手技情報及び室内画像を入力した場合に、次段階の手技情報を出力する。制御部２１は、学習モデル５２２から出力される次段階の手技情報を取得する（ステップＳ３３）。制御部２１は、取得した手技情報と内視鏡画像とを対応付けて表示する画面情報を生成する。制御部２１は、生成した手技情報を含む画面情報を表示装置３を介して表示し（ステップＳ２５）、一連の処理を終了する。

【0084】

表示装置３に表示される画面には、内視鏡画像、次段階の操作情報、室内画像、生体情報等の領域が含まれている。次段階の操作情報には、例えば内視鏡操作者の両手及び両腕等の状態データ、内視鏡操作者及び被検者の位置関係に基づく動作情報、処置具の情報等が含まれる。

【0085】

（実施形態７）
実施形態７では、手技支援システム２３０は、内視鏡操作者の視線データを検出する視線検出装置７を更に含む点で実施形態５と異なる。内視鏡用プロセッサ２は、内視鏡画像、手技情報及び視線データが入力された場合に、次段階の手技情報及び視線データを出力するよう学習された学習モデル５２２を用いて手技情報を提供する。

【0086】

図１６は、実施形態７の内視鏡用プロセッサ２で実行される処理手順の一例を示すフローチャートである。実施形態５の図１３と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。

【0087】

制御部２１は、内視鏡画像を取得し（ステップＳ２１）、手技情報を取得する（ステップＳ２２）。手技情報には、操作者の両手及び両腕等の操作データ、内視鏡１の挿入量、湾曲方向及び光量等の操作データの少なくともいずれか一つが含まれてよい。ついで制御部２１は、視線検出装置７から視線データを取得する（ステップＳ４１）。制御部２１は、取得した内視鏡画像、手技情報及び視線データを一時的に記憶部２２に記憶する。

【0088】

制御部２１は、記憶した内視鏡画像、手技情報及び視線データを学習モデル５２２に入力する（ステップＳ４２）。学習モデル５２２は、実施形態３において説明した学習モデル５２２であり、内視鏡画像、手技情報及び視線データを入力した場合に、次段階の手技情報及び視線データを出力する。制御部２１は、学習モデル５２２から出力される次段階の手技情報及び視線データを取得する（ステップＳ４３）。制御部２１は、取得した手技情報及び視線データと内視鏡画像とを対応付けて表示する画面情報を生成する。制御部２１は、生成した手技情報及び視線データを含む画面情報を表示装置３を介して表示し（ステップＳ２５）、一連の処理を終了する。

【0089】

表示装置３に表示される画面には、内視鏡画像、視線画像、次段階の操作情報、視線データ等の領域が含まれている。なお、制御部２１は、図示しないスピーカを介して合成音声等により視線データを出力してもよい。内視鏡操作者が眼鏡型のウェアラブルデバイスからなる視線検出装置７を着用している場合には、制御部２１は、次段階の視線方向に対応するレンズの一部を点灯させる等により、視線データを出力してもよい。

【0090】

（実施形態８）
実施形態８では、手技支援システム２４０の内視鏡用プロセッサ２は、複数種類の学習モデル５２２を記憶部に記憶している点で実施形態５と異なる。内視鏡用プロセッサ２は、内視鏡操作者に応じて特定された学習モデル５２２を用いて手技情報を提供する。

【0091】

図１７は、実施形態８の内視鏡用プロセッサ２で実行される処理手順の一例を示すフローチャートである。実施形態５の図１３と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。

【0092】

制御部２１は、例えば、内視鏡１の内視鏡操作者の手技レベル、生体属性情報等の内視鏡操作者情報を予め取得し記憶している不図示のデータベース等を参照し内視鏡操作者の手技レベルを取得することにより、手技レベル（内視鏡操作者情報）を特定する（ステップＳ５１）。手技レベルは、例えば内視鏡操作者の過去の内視鏡１の操作内容に基づき判定されデータベースに記録されている。なお、内視鏡用プロセッサ２は、タッチパネル又はキーボード等の入力装置により、内視鏡操作者から内視鏡操作者情報の選択入力を受け付けるものであってもよい。

【0093】

内視鏡１の操作が開始され、制御部２１は、内視鏡画像を取得し（ステップＳ２１）、手技情報を取得する（ステップＳ２２）。制御部２１は、取得した内視鏡画像及び手技情報を一時的に記憶部２２に記憶する。

【0094】

内視鏡用プロセッサ２の記憶部２２は、実施形態４において説明した手技レベルに応じた複数の学習モデル５２２を記憶している。制御部２１は、予め手技レベルと各学習モデル５２２の識別情報とを関連付けて記録したデータベース等を参照し、特定した手技レベルに基づき使用する学習モデル５２２を選択する（ステップＳ５２）。制御部２１は、記憶した内視鏡画像及び手技情報を、選択した学習モデル５２２に入力し（ステップＳ２３）、学習モデル５２２から出力される次段階の手技情報等を取得する（ステップＳ２４）。学習モデル５２２からは、内視鏡操作者の手技レベルに応じた手技情報のみが出力される。なお、制御部２１は、特定した手技レベルを学習モデル５２２の入力要素の一つとして入力し、手技レベルに応じた手技情報を出力としてもよい。制御部２１は、取得した手技情報と内視鏡画像とを対応付けて表示する画面情報を生成する。制御部２１は、生成した手技情報を含む画面情報を表示装置３を介して表示し（ステップＳ２５）、一連の処理を終了する。

【0095】

上記において、内視鏡用プロセッサ２は、生体属性情報に応じて異なる複数種類の学習モデル５２２を用いてもよい。制御部２１は、ステップＳ５１において、内視鏡操作者の手技レベルに代えて内視鏡操作者の身長、体重等の生体属性情報を取得し、内視鏡操作者の体格（内視鏡操作者情報）を特定する。制御部２１は、ステップＳ５２において、予め体格と学習モデル５２２の識別情報とを関連付けて記録したデータベース等を参照し、特定した内視鏡操作者の体格に基づき使用する学習モデル５２２を選択する。学習モデル５２２からは、内視鏡操作者の体格に応じた手技情報が出力される。

【0096】

なお、内視鏡操作者が初めて内視鏡１の手技を行う場合等、内視鏡操作者の手技レベルがデータベースに未登録である場合には、内視鏡操作者の手技レベル以外の属性情報に基づく汎用的設定により仮レベルが特定されてもよい。例えば、内視鏡操作者の経験年数に基づき、内視鏡操作者の経験年数が１年未満である場合には初級者レベル、経験年数が１年以上５年未満である場合には中級者レベルが汎用的に適用されるとよい。また、対象となる内視鏡操作者の生体属性情報に基づき、対象内視鏡操作者の生体属性情報に最も近似する生体属性情報が含まれる内視鏡操作者を導出し、導出した内視鏡操作者の手技レベルを仮レベルとして適用してもよい。更にまた、手技の開始前に、例えば大腸モデル等のシミュレーション装置を用いた手技を行うことにより仮想的な手技レベルを導出し、導出した仮想的な手技レベルを仮レベルとして適用してもよい。

【0097】

本実施形態によれば、内視鏡用プロセッサ２により特定された内視鏡操作者の手技レベル又は生体属性情報等に応じた情報のみを出力するよう調整された学習モデル５２２を用いて手技情報が出力される。個々の内視鏡操作者に適した手技情報が提供されるため、様々な手技レベル又は生体属性等を有する内視鏡操作者であっても、夫々に利用価値の高いサポート情報を提供することが可能となる。

【0098】

（実施形態９）
実施形態９では、手技支援システム２５０の内視鏡用プロセッサ２は、内視鏡操作者の手技レベルを評価する評価モデル５２３を用いて内視鏡操作者の手技レベルを評価する。図１８は、実施形態９の手技支援システム２５０の構成例を示すブロック図である。以下では、実施形態９について、実施形態５と異なる点を説明する。後述する構成を除く他の構成については実施形態５と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

【0099】

内視鏡用プロセッサ２の記憶部２２は、評価モデル５２３を更に記憶する。評価モデル５２３は、内視鏡操作者の手技レベルを評価する評価器であり、機械学習により生成された学習モデルである。

【0100】

図１９は、評価モデル５２３の構成を説明する説明図である。評価モデル５２３は、ニューラルネットワークを用いた深層学習によって、生成され、学習される。図１９に示す例では、評価モデル５２３は、内視鏡画像データ及び手技情報を入力する入力層と、能力レベルを出力する出力層と、内視鏡画像データ及び手技情報の特徴量を抽出する中間層とを備える。中間層は、内視鏡画像データ及び手技情報の特徴量を抽出する複数のノードを有し、各種パラメータを用いて抽出された画像特徴量を出力層に受け渡す。中間層は、畳み込み層、プーリング層等を含んでよい。評価モデル５２３は、設定されている手技レベルに各々対応するチャネルを含む出力層を有し、出力層は、各手技レベルに対する確度をスコアとして出力する。

【0101】

評価モデル５２３への入力データは、内視鏡１により撮影された内視鏡画像及び手技情報である。手技情報は、内視鏡操作者の両手及び両腕等の状態データを示す検出値、内視鏡１の挿入量、湾曲方向及び光量等の操作データを含んでよい。入力データには、さらに室内画像、視線データ等が含まれてもよい。なおこの場合において、画像情報は図示しない畳み込み層、コンボリューション層を介して入力層に入力されてよい。評価モデル５２３からの出力データは、内視鏡画像データ及び手技情報に対する手技者の手技レベルである。手技レベルは、例えば初級者、中級者、上級者及びエキスパートに区分される。

【0102】

評価モデル５２３は、内視鏡画像及び手技情報と、内視鏡画像及び手技情報における手技レベルとを関連付けて記録した教師データベースを使用して、モデルパラメータが調整されている。教師データは、内視鏡画像及び手技情報に対し手技レベルがラベル付けされたデータセットとして構築される。例えば、大腸内視鏡検査において、盲腸到達率が９５パーセント以上、且つ盲腸到達時間が５分以内である内視鏡操作者は中級者以上であるとされている。初回検査時における腫瘍発見率が３０パーセント以上である内視鏡操作者はエキスパートとされている。ポリペクトミー、又は他の内視鏡的粘膜切除術において、所定時間以内に１回の通電で切除を行う内視鏡操作者は手技レベルが高いとされている。また、手技時における腕、手首、手指等の動作に無駄がない場合にも、内視鏡操作者の手技レベルが高いとされる。評価モデル５２３は、これらの知見に沿った教師データを用いて学習を実行する。

【0103】

評価モデル５２３は、学習用の入力データとして、内視鏡画像データ及び手技情報を入力する。評価モデル５２３は、学習用の入力データ夫々に対する手技レベルを教師データとして、内視鏡画像データ及び手技情報が入力された場合に手技レベルを出力するように学習される。学習が進行すると、学習済みのモデルパラメータが得られる。評価モデル５２３は、学習済みのモデルパラメータを、定義されたニューラルネットワークに適用することによって、内視鏡画像データ及び手技情報が入力された場合に、手技レベルを出力することが可能である。

【0104】

なお、評価モデル５２３は、ニューラルネットワークを用いた深層学習に限られず、他のアルゴリズムによって学習されたモデルであってもよく、特定の数式によって評価値を導出するものであってもよい。

【0105】

図２０は、内視鏡用プロセッサ２で実行される処理手順の一例を示すフローチャートである。例えば内視鏡操作者による内視鏡１の操作手技が開始され内視鏡１の撮影が開始されると、手技情報の推定処理に並行して、内視鏡用プロセッサ２の制御部２１で以下の処理が実行される。

【0106】

制御部２１は、内視鏡画像を取得し（ステップＳ６１）、手技情報を取得する（ステップＳ６２）。制御部２１は、取得した内視鏡画像及び手技情報を評価モデル５２３に入力し（ステップＳ６３）、評価モデル５２３から出力される手技レベルを取得する（ステップＳ６４）。制御部２１は、内視鏡操作者情報を記憶するデータベース等に、取得した手技レベルを内視鏡操作者に対応付けて記憶し（ステップＳ６５）、一連の処理を終了する。

【0107】

内視鏡用プロセッサ２が複数種類の手技レベルに応じた学習モデル５２２を記憶する場合においては、制御部２１は、上記で評価した手技レベルを用いて、使用する学習モデル５２２の特定を行ってよい。さらに制御部２１は、学習モデル５２２及び評価モデル５２３を用いて、リアルタイムで取得する手技レベルに応じた手技情報を出力してもよい。制御部２１は、内視鏡１の操作実施時において、手技レベルの評価処理及び手技情報の推定処理を並行して実行する。制御部２１は、評価モデル５２３から出力される手技レベルをリアルタイムで取得し、取得した手技レベルに応じて使用する学習モデル５２２の選択を随時変更する。制御部２１は、選択した学習モデル５２２から出力される手技情報を取得する。このように、制御部２１は、手技実施中に変化する内視鏡操作者の手技レベルに応じた学習モデル５２２を用いることにより、手技の実施内容に基づき変化する内視鏡操作者の手技レベルによって、出力する手技情報を変化させる。

【0108】

本実施形態によれば、学習モデル５２２及び評価モデル５２３により、内視鏡操作者への手技情報の提供と、内視鏡操作者の手技レベルの評価とが並行して行われる。手技情報の出力内容はリアルタイムで評価される手技レベルに応じて変更可能なため、実施内容に即した適切な手技情報を提供することができる。

【0109】

（実施形態１０）
実施形態１０では、内視鏡用プロセッサ２は、学習モデル５２２を用いて内視鏡１の種類に応じた次段階の手技情報を推定する。

【0110】

情報処理装置５は、内視鏡１の種類に応じた複数種類の学習モデル５２２を生成する。内視鏡用プロセッサ２は、内視鏡１の種類に応じた複数種類の学習モデル５２２を取得し、記憶部５２に記憶している。各学習モデル５２２は、内視鏡１の種類に応じて、例えば湾曲方向の入力データ及び出力データが異なる。例えば上部消化管用の内視鏡又は大腸内視鏡の場合、操作部１２は、内視鏡１の先端を上下方向に曲げるための上下アングルノブ及び左右方向に曲げるための左右アングルノブを備える。従って、湾曲方向には上下左右の４方向に対する操作データが含まれる。一方、気管支用又は耳鼻科用の内視鏡１の場合、操作部１２は、上下アングルノブのみを備え、湾曲方向には上下の２方向が含まれる。従って、内視鏡１の種類が気管支用又は耳鼻科用である場合には、学習モデル５２２は、湾曲方向として上下の２方向に対する操作データのみを入力データとし、上下の２方向に対する操作データのみを出力データとする構成であることが好ましい。

【0111】

なお、アングルノブがジョイスティック等により構成される場合には、湾曲方向は操作角度を用いて示されるとよい。また、気管支用又は耳鼻科用の内視鏡１用の学習モデル５２２においては、手技情報の操作データに内視鏡１の挿入管１１の全体の回転（ひねり）方向及び回転量が含まれてもよい。

【0112】

内視鏡用プロセッサ２の制御部２１は、内視鏡用プロセッサ２に接続される内視鏡１のコネクタ形状、又は内視鏡１から得られる信号情報等から、内視鏡１の種類を特定する。制御部２１は、例えば、図示しない読取部を介した内視鏡１の識別コードの取得、内視鏡操作者からの入力の受け付け等により内視鏡１の種類を取得してもよい。制御部２１は、内視鏡１の種類と各学習モデル５２２の識別情報とを関連付けて記録したデータベース等を参照し、特定した内視鏡１の種類に基づき使用する学習モデル５２２を選択する。制御部２１は、内視鏡画像及び手技情報を、選択した学習モデル５２２に入力し、学習モデル５２２から出力される次段階の手技情報等を取得する。

【0113】

なお、学習モデル５２２は、内視鏡１の種類を入力要素に含み、内視鏡１の種類に応じた出力データを出力とするものであってもよい。この場合、制御部２１は、特定した内視鏡１の種類、内視鏡画像及び手技情報を学習モデル５２２に入力し、学習モデル５２２から出力される次段階の手技情報等を取得する。内視鏡用プロセッサ２は、予め決められる接続予定の内視鏡１の種類に応じて、接続予定の内視鏡１の種類に応じた１つの学習モデル５２２のみを記憶部５２に記憶するものであってもよい。

【0114】

本実施形態によれば、内視鏡１の種類に応じた手技情報が出力されるため、より手技状態に即したサポート情報を提供することが可能となる。

【0115】

（実施形態１１）
実施形態１１では、３次元画像を用いて手技情報を示す画面情報を表示する。図２１は、実施形態１１における画面例を示す図である。

【0116】

図２１に示す如く、画像情報に基づき表示装置３に表示される画面には、内視鏡画像と、次段階の手技情報を３次元画像を用いて示すナビゲーション画像とが含まれている。例えば、ナビゲーション画像は、被検者の気管支等の管腔臓器を仮想的に示す３次元画像上に、内視鏡１の操作方向（次段階の手技情報）を示すオブジェクトを重畳して表示する画像である。３次元画像は、管腔臓器の全体を示す全体画像と、内視鏡１の位置及び視点方向に応じた管腔臓器の内腔（観察部位）を示す内腔画像とを含んでよい。内腔画像は、仮想的な３Ｄ内視鏡画像に相当する。

【0117】

制御部２１は、予め超音波診断装置又はＸ線ＣＴ装置等による断層像データに基づき生成された被検者の管腔臓器の３次元画像を取得し、記憶部２２に記憶している。制御部２１は、挿入管１１に設けられた物理検出装置の検出値に基づき、内視鏡画像が撮像された時点における内視鏡１の先端の位置及び視点方向を推定する。制御部２１は、推定した位置及び視点方向に応じた３次元画像を特定する。制御部２１は、特定した３次元画像上に、次段階の手技情報を示すオブジェクトを重畳して表示するナビゲーション画像を生成する。例えば処置具に関する情報等といった手技情報の一部は、テキストデータ等により３次元画像とは離れた位置に表示されてよい。制御部２１は、内視鏡画像と、次段階の手技情報を含むナビゲーション画像とを関連付けた画面情報を生成し、生成した画面情報を表示装置３へ出力する。

【0118】

上記において、内視鏡用プロセッサ２は、内視鏡操作者の手技レベルに応じて画面情報を変更してもよい。例えば、制御部２１は、内視鏡操作者の手技レベルが初級者と特定された場合には、上述したナビゲーション画像を含む画面情報を生成する。制御部２１は、手技レベルがエキスパートと特定された場合には、ナビゲーション画像を含まない画面情報を生成してよい。制御部２１は、手技レベルがエキスパートと特定された場合において、所定条件を満たさないときにはナビゲーション画像を含む画面情報を表示してもよい。所定条件を満たさないとは、例えば、分岐箇所における操作方向（挿入方向）が誤っている、学習モデル５２２から出力された次段階の手技情報と、次段階における内視鏡１の実際の操作データとが一致しない等を含んでよい。

【0119】

図２２は、実施形態１１の内視鏡用プロセッサ２で実行される処理手順の一例を示すフローチャートである。実施形態５の図１３と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。

【0120】

内視鏡用プロセッサ２の制御部２１は、例えば、内視鏡操作者情報を記憶している不図示のデータベース等を参照し内視鏡操作者の手技レベルを取得することにより、手技レベル（内視鏡操作者情報）を特定する（ステップＳ７１）。

【0121】

制御部２１は、図１３に示したステップＳ２１からステップＳ２４の処理を実行し、学習モデル５２２により次段階の手技情報を取得する。制御部２１は、所定の条件を満たすか否かを判定する（ステップＳ７２）。例えば、制御部２１は、内視鏡１の操作が間違っていないか否かを判定する。操作が間違っていない、すなわち条件を満たすと判定した場合（Ｓ７２：ＮＯ）、制御部２１は、内視鏡画像を表示する画面情報を生成する（ステップＳ７３）。制御部２１は、生成した内視鏡画像を表示する画面情報を表示装置３を介して表示し（ステップＳ７４）、処理を終了する。

【0122】

操作が間違っている、すなわち条件を満たさないと判定した場合（Ｓ７２：ＹＥＳ）、制御部２１は、内視鏡画像の撮像時点における内視鏡１の先端の位置及び視点方向を推定し、推定した位置及び視点方向に応じた３次元画像を取得する（ステップＳ７５）。制御部２１は、取得した３次元画像上に次段階の手技情報を重畳して表示するナビゲーション画像と、内視鏡画像とを対応付けて表示する画面情報を生成する（ステップＳ７６）。制御部２１は、生成した画面情報を表示装置３を介して表示し（ステップＳ７７）、一連の処理を終了する。

【0123】

本実施形態によれば、３次元画像上に手技情報が表示されるため、容易に手技情報を認識することができる。また、内視鏡操作者の手技レベルや手技実態に応じた手技情報が表示されるため、より好適に内視鏡操作者の手技を支援することができる。

【0124】

（実施形態１２）
実施形態１２では、内視鏡用プロセッサ２は、学習モデル５２２を用いて内視鏡用プロセッサ２の種類に応じた次段階の手技情報を推定する。

【0125】

情報処理装置５は、内視鏡用プロセッサ２の種類に応じた複数種類の学習モデル５２２を生成する。内視鏡用プロセッサ２は、自装置に対応する内視鏡用プロセッサ２の種類に応じた学習モデル５２２を取得し、記憶部５２に記憶している。例えば、学習モデル５２２は、内視鏡画像と、内視鏡用プロセッサ２における光量（光量比）及び画像処理に係るパラメータを含む手技情報とを入力した場合に、次段階における光量（光量比）及び画像処理に係るパラメータを含む手技情報を出力する。

【0126】

内視鏡用プロセッサ２は、例えば、光源２４に含まれる青色の光を出射する半導体光源と、黄色の蛍光を出射する蛍光体とを組み合わせることで、通常光観察用の白色光による白色光画像を生成する。内視鏡用プロセッサ２はまた、青色の光を放射する半導体光源と紫色の光を放射する半導体光源とを組み合わせることで、特殊光観察用の照明光による特殊光画像を生成する。特殊光観察は、狭帯域の照明光を使用することにより、例えば粘膜の深部を走行する血管等を強調して表示する技術である。

【0127】

内視鏡用プロセッサ２の制御部２１は、半導体光源や蛍光体からの光の光量又は光量比と、画像処理に係るパラメータとを制御することで、内視鏡操作者が観察しやすい画像を生成する。同一の内視鏡１を用いた場合であっても、使用される内視鏡用プロセッサ２の種類により光源２４が出射する光のスペクトラム分布が異なるため、表示装置３に表示される内視鏡画像の色調が異なる。従って、内視鏡用プロセッサ２の種類に応じて、光量（光量比）、画像処理に係るパラメータを変化させることで、生成される内視鏡画像に対する内視鏡操作者の視認性を向上し、手技精度の向上を支援することができる。なお、学習モデル５２２の出力とする光量は、例えば、検査開始から盲腸等の所定部位まで挿入するときには通常光観察用の白色光に係る光量とし、所定部位から抜去するときには特殊光観察用の照明光に係る光量としてもよい。

【0128】

学習モデル５２２は、内視鏡用プロセッサ２の種類に関する情報を入力要素に含み、内視鏡用プロセッサ２の種類に応じた出力データを出力とするものであってもよい。すなわち、学習モデル５２２は、光量及び画像処理に係るパラメータを含む手技情報、内視鏡画像並びに内視鏡用プロセッサ２の種類を入力した場合に、次段階における光量及び画像処理に係るパラメータを含む手技情報を出力するものであってよい。

【0129】

学習モデル５２２はまた、手技レベルに応じて異なる光量及び画像処理パラメータを含む手技情報を出力するものであってもよい。例えば、内視鏡操作者の手技レベルがエキスパートであるときには、学習モデル５２２は、通常光観察用の白色光による白色光画像の生成に適した光量及び画像処理パラメータを含む手技情報を出力する。手技レベルが初心者であるときには、学習モデル５２２は、特殊光観察用の照明光により血管等を強調表示する特殊光画像の生成に適した光量及び画像処理パラメータを含む手技情報を出力する。手技レベルが初心者である場合には、制御部２１は、出力した光量及び画像処理パラメータに基づき、自動で光源２４の制御及び画像処理を実行することが好ましい。学習モデル５２２は、手技レベルに応じた手技情報を教師データに用いて学習することにより、各手技レベルに適した手技情報を出力とすることができる。

【0130】

半導体光源を含む光源２４を備える内視鏡用プロセッサ２を用いる場合において、内視鏡操作者が経験の長いエキスパートであるときには、従来のキセノンランプによる内視鏡画像の方が観察しやすい場合がある。学習モデル５２２は、手技レベルに応じて、キセノンランプによる内視鏡画像に近い画像の生成に適した光量及び画像処理パラメータを含む手技情報を出力するものであってもよい。なお制御部２１は、学習モデル５２２の出力データと、光量及び画像処理パラメータとの対応情報を格納するデータベース（不図示）を記憶部２２に記憶してもよい。制御部２１は、当該データベースから読み出した光量及び画像処理パラメータに基づく変換処理を実行することにより、内視鏡操作者に適した画像を生成してもよい。

【0131】

上述の処理において、学習モデル５２２に入力する内視鏡画像と、表示装置３に表示される内視鏡画像とは異なるものであってよい。例えば、制御部２１は、学習モデル５２２から出力される次段階の光量及び画像処理パラメータに基づく処理を実行し、内視鏡操作者が目視しやすい状態にした表示用内視鏡画像を生成する。また、制御部２１は、学習モデル５２２から出力される次段階の光量及び画像処理パラメータとは異なる画像処理パラメータに基づく処理を実行し、学習モデル５２２による特徴量抽出に適した入力用内視鏡画像を生成する。制御部２１は、生成した表示用内視鏡画像を表示装置３へ表示させると共に、入力用内視鏡画像を学習モデル５２２に入力し、次段階の手技情報を出力する。なお、入力用内視鏡画像は、次段階の光量及び画像処理パラメータに基づく処理が実行されていない画像であればよい。すなわち、入力用内視鏡画像は、新たな画像処理が施されるものに限定されず、内視鏡１の撮像素子から取り込まれた画像データそのものであってもよい。

【0132】

本実施形態によれば、内視鏡用プロセッサ２に応じた手技情報が出力されるため、内視鏡操作者の利便性を向上し、好適に手技を支援することができる。

【0133】

（実施形態１３）
実施形態１３では、手技状況に応じて手技情報の出力内容を変更する。図２３は、実施形態１３の内視鏡用プロセッサ２で実行される処理手順の一例を示すフローチャートである。実施形態５の図１３と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。

【0134】

内視鏡用プロセッサ２の制御部２１は、撮影装置６から室内画像を取得する（ステップＳ８１）。撮影装置６は、マイクロフォン等の音声入力デバイスを備え、画像データ及び音声データの時間軸を合わせた音声付きの動画像（室内画像）を生成するものであってよい。制御部２１は、図１３に示したステップＳ２１からステップＳ２４の処理を実行し、学習モデル５２２により次段階の手技情報を取得する。

【0135】

制御部２１は、室内画像の音声データを解析する（ステップＳ８２）。制御部２１は、解析結果に基づき、対応済みの手技情報を特定する（ステップＳ８３）。具体的には、制御部２１は、音声データの解析結果と学習モデル５２２の出力データ（手技情報）とを比較することにより、解析結果と一致する出力データを特定する。例えば、所定の処置具の準備を指示する内容が音声データに含まれていた場合において、学習モデル５２２の出力データに同一の処置具が含まれるときは、既に次段階の処置具の準備ができているため、処置具に関する手技情報の表示が不要である。なお、制御部２１は、音声データの解析処理による解析結果を取得するものに限定されず、室内画像の画像解析による解析結果を取得してもよい。

【0136】

制御部２１は、特定した解析結果と一致する出力データ以外の出力データ、すなわち未対応の手技情報と、内視鏡画像とを対応付けて表示する画面情報を生成する。制御部２１は、生成した画面情報を表示装置３を介して表示し（ステップＳ８４）、一連の処理を終了する。

【0137】

制御部２１は、解析結果と出力データとが一致しない場合において、解析結果の音声データが誤っていると推定されるときは、「〇〇の方がよいですよ」等の、処置具の変更を促す画面情報や合成音声を出力してもよい。音声データに処置具の名称が含まれる場合において、音声データの処置具と、学習モデル５２２から出力される処置具とが異なる場合には、指示が誤っていると推定される。この場合においては、新たな処置具を強調して提示することで、内視鏡操作者又は補助者の確認漏れを防止することが好ましい。

【0138】

本実施形態によれば、学習モデル５２２を用いて内視鏡室内の状態に応じた情報を出力することで、より好適に手技を支援することができる。

【0139】

（実施形態１４）
実施形態１４では、内視鏡１は飛行時間型（ＴＯＦ）センサを備え、ＴＯＦセンサによる検出値が手技情報に含まれる。実施形態１４において、内視鏡１の挿入管１１は、対象物までの距離を検出可能なＴＯＦセンサを先端に備えている。内視鏡用プロセッサ２の光源２４は、ＴＯＦセンサに検出させる赤外光を発する光源を備えている。ＴＯＦセンサは、光源２４から発光される赤外光が対象物に反射して受光するまでの時間を検出する。ＴＯＦセンサを用いることにより、挿入管１１の先端から対象物（体内部位）までの距離や、対象物の形状に関するデータを取得することができる。ＴＯＦセンサは、検出結果を内視鏡用プロセッサ２に出力する。

【0140】

実施形態１４の学習モデル５２２は、ＴＯＦセンサによる検出値を含む手技情報と、内視鏡画像とを入力した場合に、次段階の手技情報を出力する。入力される検出値は、ＴＯＦセンサによる検出値そのものであってもよく、検出値に基づき得られる対象物（観察部位である病変部）の距離又は形状を示すデータであってもよい。本実施形態によれば、学習モデル５２２は、ＴＯＦセンサによる検出値を含む手技情報に基づき、より精度の高い内視鏡１の先端の操作データを出力することができる。

【0141】

今回開示した実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、請求の範囲内での全ての変更及び請求の範囲と均等の範囲が含まれることが意図される。

【符号の説明】

【0142】

２１０ 手技支援システム
１ 内視鏡
２ 内視鏡用プロセッサ
２１ 制御部
２２ 記憶部
２Ｐ プログラム
３ 表示装置
４ 検出装置
５ 情報処理装置
５１ 制御部
５２ 記憶部
５Ｐ プログラム
５２２ 学習モデル
５２３ 評価モデル
６ 撮影装置
７ 視線検出装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】