特許7292376 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

特許7292376制御装置、学習済みモデル、および内視鏡の移動支援システムの作動方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27A
27B
28A
28B
29A
29B
29C
30A
30B
30C
31
32

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-08

(45)【発行日】2023-06-16

(54)【発明の名称】制御装置、学習済みモデル、および内視鏡の移動支援システムの作動方法

(51)【国際特許分類】

A61B 1/045 20060101AFI20230609BHJP

【ＦＩ】

A61B1/045 623

A61B1/045 614

【請求項の数】 13

(21)【出願番号】P 2021508441

(86)(22)【出願日】2019-03-25

(86)【国際出願番号】 JP2019012618

(87)【国際公開番号】W WO2020194472

(87)【国際公開日】2020-10-01

【審査請求日】2021-06-28

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(72)【発明者】

【氏名】東條良

【審査官】永田浩司

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０２９６２８１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１０／０２０４５４７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０２７２４２３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０１８４０３２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／００７１５０４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ１／００

(57)【特許請求の範囲】

【請求項1】

プロセッサを有する制御装置であって、
前記プロセッサは、
内視鏡が有する挿入部に配設された撮像部が取得した撮像画像に基づいて撮像シーンを検出し、
前記内視鏡の時間的に異なる複数の操作と、前記時間的に異なる複数の操作に対応した前記撮像画像と、前記時間的に異なる複数の操作を行った結果とに基づき機械学習を行い、得られた学習済みモデルを使用して前記撮像シーンに対応した操作情報を算出することを特徴とする制御装置。

【請求項2】

前記プロセッサは、
前記撮像シーンが体腔内の管腔であり、前記管腔が閉じた状態である場合、前記操作情報を算出することを特徴とする請求項１に記載の制御装置。

【請求項3】

前記撮像シーンは、体腔内の管腔を見失ったシーンを含み、
前記操作情報は、見失った前記管腔の方向と、前記管腔に対して前記挿入部を進行させる操作方向であることを特徴とする請求項１に記載の制御装置。

【請求項4】

前記プロセッサは、
前記操作情報に基づいて、前記挿入部に対する呈示情報を生成することを特徴とする請求項１に記載の制御装置。

【請求項5】

前記プロセッサは、
前記操作情報の尤度を算出し、前記尤度が所定の閾値より低い場合は、前記操作情報と共に前記操作情報の確度が低い旨の情報を提示することを特徴とする請求項１に記載の制御装置。

【請求項6】

前記プロセッサは、
機械学習の手法を用いて前記撮像シーンを判定することを特徴とする請求項１に記載の制御装置。

【請求項7】

前記プロセッサは、
前記撮像シーンの尤度を算出し、前記撮像シーンの尤度があらかじめ設定する前記撮像シーンの尤度に対する閾値より低い場合は、前記操作情報の確度が低い旨の情報を呈示することを特徴とする請求項６に記載の制御装置。

【請求項8】

前記呈示情報は、前記挿入部の挿入操作の少なくとも一部を自動で行う自動挿入装置の制御信号であることを特徴とする請求項４に記載の制御装置。

【請求項9】

前記プロセッサは、
前記操作情報に関する所定の操作量に係る情報を前記呈示情報として生成することを特徴とする請求項４に記載の制御装置。

【請求項10】

前記プロセッサは、
前記操作情報に関する進捗状況に係る情報を前記呈示情報として生成することを特徴とする請求項４に記載の制御装置。

【請求項11】

操作情報を出力するようコンピュータを機能させるための学習済みモデルであって、
内視鏡の時間的に異なる複数の操作と、前記時間的に異なる複数の操作に対応して前記内視鏡が有する挿入部に配設された撮像部が取得した撮像画像と、前記時間的に異なる複数の操作を行った結果とに基づき機械学習を行い、得られた学習済みモデルを使用して、前記内視鏡が次に行う前記操作情報を出力するよう前記コンピュータを機能させることを特徴とする学習済みモデル。

【請求項12】

内視鏡が有する挿入部に配設された撮像部が取得した撮像画像に基づいて撮像シーンを検出するシーン検出部と、前記内視鏡の時間的に異なる複数の操作と、前記時間的に異なる複数の操作に対応した前記撮像画像と、前記時間的に異なる複数の操作を行った結果とに基づき機械学習を行い、得られた学習済みモデルを使用して前記撮像シーンに対応した操作情報を算出する複数操作情報算出部と、を備えた内視鏡の移動支援システムの作動方法であって、
前記シーン検出部が、前記内視鏡が有する挿入部に配設された撮像部が取得した撮像画像に基づいて撮像シーンを検出し、
前記複数操作情報算出部が、前記内視鏡の時間的に異なる複数の操作と、前記時間的に異なる複数の操作に対応した前記撮像画像と、前記時間的に異なる複数の操作を行った結果とに基づき機械学習を行い、得られた学習済みモデルを使用して前記撮像シーンに対応した操作情報を算出することを特徴とする内視鏡の移動支援システムの作動方法。

【請求項13】

前記操作情報に基づいて、前記挿入部に対する呈示情報を生成するステップを含むことを特徴とする請求項１２に記載の内視鏡の移動支援システムの作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、学習済みモデル、および内視鏡の移動支援システムの作動方法に関し、特に、被検体の管腔内に内視鏡の挿入部先端部を挿入する際における、当該挿入部先端部の挿入動作を支援する制御装置、学習済みモデル、および内視鏡の移動支援システムの作動方法に関する。

【背景技術】

【0002】

従来、被検体の内部の被写体を撮像する内視鏡、及び、内視鏡により撮像された被写体の観察画像を生成するビデオプロセッサ等を具備する内視鏡システムが、医療分野及び工業分野等において広く用いられている。

【0003】

ここで、内視鏡を用いて被検体内の管腔内に挿入部先端部を挿入する際、術者にとって挿入部の進行方向の判断が難しい場面が発生する。例えば、大腸内視鏡の挿入操作において、大腸が屈曲することにより管腔が折りたたまれた状態になる、または、つぶれた状態になる場合がある（以下、このような管腔の状態を、総称して「折りたたみ管腔」と呼ぶ）。このような場合には、術者は、内視鏡の挿入部先端部を折りたたみ管腔に潜り込ませる必要があるが、術者が内視鏡操作に不慣れな場合、折りたたみ管腔に対して、どの方向に潜り込ませればよいか判断に迷うことがあった。

【0004】

すなわち、上述の如き「折りたたみ管腔」が現れた場合、この後に挿入部先端部を当該折りたたみ管腔に潜り込ませる操作は、例えば、内視鏡の操作上、挿入部先端部のPUSH操作→アングル操作というように、時間的に異なる複数の操作が必要になることが一例として想定される。しかし、内視鏡操作に不慣れな術者の場合、これより先に採り得る複数の操作を的確に想定し実行することは困難であると考えられる。

【0005】

日本国特開２００７-２８２８５７号公報には、シーンを特徴量から分類し、複数の特徴量がある場合でも主要な特徴量のクラスを算出してその特徴量に対応した挿入方向算出を行うことで、精度の良い挿入方向を表示する挿入方向の検出装置が示されている。

【0006】

また、ＷＯ２００８／１５５８２８号公報には、挿入部の位置情報を位置検出手段により検出して記録し、管腔を見失った場合に記録した位置情報に基づいて挿入方向を算出する技術について示されている。

【0007】

上述した日本国特開２００７-２８２８５７号公報に示された技術は、内視鏡の挿入部先端部を進めるべき１つの方向を術者に呈示するものである。しかし、「折りたたみ管腔」のように、時間的に複数の操作が必要な場面に対しては十分な情報を呈示することができていない。すなわち、術者がこの後、挿入部先端部をどのように潜り込ませればよいかについては呈示するものではない。

【0008】

また、ＷＯ２００８／１５５８２８号公報には、位置検出手段が挿入部の位置を検出し、記録した情報に基づいて見失った管腔の方向を算出するものの、術者に呈示し得る情報は、これより挿入部先端部を進めるべき１つの方向のみであり、やはり上記同様に、時間的に複数の操作が必要な場面に対しては十分な情報を呈示することができていない。

【0009】

本発明は上述した事情に鑑みてなされたものであり、被検体の管腔内に内視鏡の挿入部先端部を挿入する際、これより先に採り得る操作が、時間的に複数必要な場面に対して的確な情報を呈示する制御装置、学習済みモデル、および移動支援方法を提供する。

【発明の開示】

【課題を解決するための手段】

【0010】

本発明の一態様の制御装置は、プロセッサを有する制御装置であって、前記プロセッサは、内視鏡が有する挿入部に配設された撮像部が取得した撮像画像に基づいて撮像シーンを検出し、前記内視鏡の時間的に異なる複数の操作と、前記時間的に異なる複数の操作に対応した前記撮像画像と、前記時間的に異なる複数の操作を行った結果とに基づき機械学習を行い、得られた学習済みモデルを使用して前記撮像シーンに対応した操作情報を算出する。

【0011】

本発明の一態様の学習済みモデルは、操作情報を出力するようコンピュータを機能させるための学習済みモデルであって、内視鏡の時間的に異なる複数の操作と、前記時間的に異なる複数の操作に対応して前記内視鏡が有する挿入部に配設された撮像部が取得した撮像画像と、前記時間的に異なる複数の操作を行った結果とに基づき機械学習を行い、得られた学習済みモデルを使用して、前記内視鏡が次に行う前記操作情報を出力するよう前記コンピュータを機能させる。

【0012】

本発明の一態様の内視鏡の移動支援システムの作動方法は、内視鏡が有する挿入部に配設された撮像部が取得した撮像画像に基づいて撮像シーンを検出するシーン検出部と、前記内視鏡の時間的に異なる複数の操作と、前記時間的に異なる複数の操作に対応した前記撮像画像と、前記時間的に異なる複数の操作を行った結果とに基づき機械学習を行い、得られた学習済みモデルを使用して前記撮像シーンに対応した操作情報を算出する複数操作情報算出部と、を備えた内視鏡の移動支援システムの作動方法であって、前記シーン検出部が、前記内視鏡が有する挿入部に配設された撮像部が取得した撮像画像に基づいて撮像シーンを検出し、前記複数操作情報算出部が、前記内視鏡の時間的に異なる複数の操作と、前記時間的に異なる複数の操作に対応した前記撮像画像と、前記時間的に異なる複数の操作を行った結果とに基づき機械学習を行い、得られた学習済みモデルを使用して前記撮像シーンに対応した操作情報を算出する。

【図面の簡単な説明】

【0013】

【図1】図１は、本発明の第１の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図である。

【図2】図２は、第１の実施形態の移動支援システムにおいて採用する機械学習の手法を説明する図である。

【図3】図３は、第１の実施形態に係る移動支援システムを含む内視鏡システムの変形例を示すブロック図である。

【図4】図４は、本発明の第２の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図である。

【図5】図５は、第２の実施形態の移動支援システムにおいて採用する機械学習の手法を説明する図である。

【図6】図６は、第２の実施形態の移動支援システムにおけるシーン検出部および呈示情報生成部の作用を示したフローチャートである。

【図7】図７は、第１、第２の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。

【図8】図８は、第２の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の他の呈示例を示した説明図である。

【図9】図９は、第２の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の他の呈示例を示した説明図である。

【図10】図１０は、第２の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の呈示情報の確度が低い場合における付随情報の一呈示例を示した説明図である。

【図11】図１１は、第２の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の呈示情報に付加する情報の一例を示した説明図である。

【図12】図１２は、第２の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の呈示情報に付加する情報の一例を示した説明図である。

【図13】図１３は、第２の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する「挿入部に係る操作ガイド」の一呈示例を示した説明図である。

【図14】図１４は、第２の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する「挿入部に係る操作ガイド」の呈示情報の確度が低い場合における付随情報の一呈示例を示した説明図である。

【図15】図１５は、第２の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する「挿入部に係る操作ガイド」の一呈示例を示した説明図である。

【図16】図１６は、第２の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する「挿入部に係る操作ガイド」の呈示情報の確度が低い場合における付随情報の一呈示例を示した説明図である。

【図17】図１７は、本発明の第３の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図である。

【図18】図１８は、第３の実施形態の移動支援システムにおけるシーン検出部、呈示情報生成部および記録部の作用を示したフローチャートである。

【図19】図１９は、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する「挿入部に係る操作ガイド」の一呈示例を示した説明図である。

【図20】図２０は、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する「挿入部に係る操作ガイド」の他の呈示例を示した説明図である。

【図21】図２１は、第２、第３の実施形態の移動支援システムにおいて、折りたたみ管腔を前にした状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。

【図22】図２２は、第２、第３の実施形態の移動支援システムにおいて、折りたたみ管腔を前にした状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の他の呈示例を示した説明図である。

【図23】図２３は、第２、第３の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。

【図24】図２４は、第２、第３の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。

【図25】図２５は、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。

【図26】図２６は、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の他の呈示例を示した説明図である。

【図27A】図２７Ａは、第２、第３の実施形態の移動支援システムにおいて、折りたたみ管腔を前にした状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。

【図27B】図２７Ｂは、第２、第３の実施形態の移動支援システムにおいて、折りたたみ管腔を前にした状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。

【図28A】図２８Ａは、第２、第３の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。

【図28B】図２８Ｂは、第２、第３の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。

【図29A】図２９Ａは、第２、第３の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。

【図29B】図２９Ｂは、第２、第３の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。

【図29C】図２９Ｃは、第２、第３の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。

【図30A】図３０Ａは、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。

【図30B】図３０Ｂは、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。

【図30C】図３０Ｃは、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。

【図31】図３１は、本発明の第４の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図である。

【図32】図３２は、本発明の第５の実施形態に係る移動支援システムおよび自動挿入装置を含む内視鏡システムの構成を示すブロック図である。

【発明を実施するための最良の形態】

【0014】

以下、本発明の実施の形態について図面を用いて説明する。

【0015】

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図であり、図２は、第１の実施形態の移動支援システムにおいて採用する機械学習の手法を説明する図である。

【0016】

図１に示すように本実施形態に係る内視鏡システム１は、主として、内視鏡２と、図示しない光源装置と、ビデオプロセッサ３と、挿入形状検出装置４と、モニタ５と、を有して構成されている。

【0017】

内視鏡２は、被検体内に挿入される挿入部６と、挿入部６の基端側に設けられた操作部１０と、操作部１０から延設されたユニバーサルコード８と、を有して構成されている。また、内視鏡２は、ユニバーサルコード８の端部に設けられているスコープコネクタを介し、図示しない光源装置に対して着脱自在に接続されるように構成されている。

【0018】

さらに内視鏡２は、スコープコネクタから延出した電気ケーブルの端部に設けられている電気コネクタを介し、ビデオプロセッサ３に対して着脱自在に接続されるように構成されている。また、挿入部６、操作部１０及びユニバーサルコード８の内部には、光源装置から供給される照明光を伝送するためのライトガイド（不図示）が設けられている。

【0019】

挿入部６は、可撓性及び細長形状を有して構成されている。また、挿入部６は、硬質の先端部７と、湾曲自在に形成された湾曲部と、可撓性を有する長尺な可撓管部と、を先端側から順に設けて構成されている。

【0020】

先端部７には、挿入部６の内部に設けられたライトガイドにより伝送された照明光を被写体へ出射するための照明窓（不図示）が設けられている。また、先端部７には、ビデオプロセッサ３から供給される撮像制御信号に応じた動作を行うとともに、照明窓を経て出射される照明光により照明された被写体を撮像して撮像信号を出力するように構成された撮像部２１が設けられている。撮像部２１は、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等のイメージセンサを有して構成されている。

【0021】

操作部１０は、操作者（術者）が把持して操作することが可能な形状を具備して構成されている。また、操作部１０には、挿入部６の長手軸に対して交差する上下左右（ＵＤＬＲ）の４方向に湾曲部を湾曲させるための操作を行うことができるように構成されたアングルノブが設けられている。また、操作部１０には、操作者（術者）の入力操作、例えば、レリーズ操作等に応じた指示を行うことが可能な１つ以上のスコープスイッチが設けられている。

【0022】

図示はしないが前記光源装置は、例えば、１つ以上のＬＥＤまたは１つ以上のランプを光源として有して構成されている。また、光源装置は、挿入部６が挿入される被検体内を照明するための照明光を発生するとともに、当該照明光を内視鏡２へ供給することができるように構成されている。また、光源装置は、ビデオプロセッサ３から供給されるシステム制御信号に応じて照明光の光量を変化させることができるように構成されている。

【0023】

挿入形状検出装置４は、ケーブルを介し、ビデオプロセッサ３に対して着脱自在に接続されるように構成されている。本実施形態において挿入形状検出装置４は、挿入部６に設けられた、例えばソースコイル群から発せられる磁界を検出するとともに、当該検出した磁界の強度に基づいてソースコイル群に含まれる複数のソースコイル各々の位置を取得するように構成されている。

【0024】

また、挿入形状検出装置４は、前述のように取得した複数のソースコイル各々の位置に基づいて挿入部６の挿入形状を算出するとともに、当該算出した挿入形状を示す挿入形状情報を生成してビデオプロセッサ３へ出力するように構成されている。

【0025】

モニタ５は、ケーブルを介してビデオプロセッサ３に対して着脱自在に接続され、例えば、液晶モニタ等を有して構成される。またモニタ５は、ビデオプロセッサ３から出力される内視鏡画像に加え、ビデオプロセッサ３の制御下に、操作者（術者）に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」等を画面上に表示することができるように構成されている。

【0026】

ビデオプロセッサ３は、当該ビデオプロセッサ３内の各回路の制御を司る制御部を有すると共に、画像処理部３１と、複数操作情報算出部３２と、操作方向検出部３３と、呈示情報生成部３４と、を有する。

【0027】

画像処理部３１は、内視鏡２から出力される撮像信号を取得し、所定の画像処理を施して時系列の内視鏡画像を生成する。また、ビデオプロセッサ３は画像処理部３１において生成した内視鏡画像をモニタ５に表示させるための所定の動作を行うように構成されている。

【0028】

複数操作情報算出部３２は、内視鏡２における挿入部６に配設された撮像部２１が取得した撮像画像に基づいて、「時間的に異なる複数の操作」が必要なシーンである複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する。

【0029】

＜「時間的に異なる複数の操作」が必要なシーン＞
ここで、複数操作情報算出部３２の具体的な特徴について説明するに先立って、「時間的に異なる複数の操作」が必要なシーンである複数操作対象シーンの具体例、およびその問題点について説明する。

【0030】

この「時間的に異なる複数の操作」が必要なシーンの例として、例えば、挿入部６が挿入している被検体の管腔が大腸であるとするとき、当該大腸が屈曲することにより管腔が折りたたまれた状態、または、つぶれた状態である「折りたたみ管腔」が代表的な例である。

【0031】

なお、「時間的に異なる複数の操作」の例としては、例えば、上述した折りたたみ管腔に対して前記挿入部を進行させて潜り込ませる際における複数の操作、すなわち、挿入部を進行させる操作、挿入部を捻る操作、またはこれらの組み合わせ操作等が挙げられる。

【0032】

管腔が「折りたたみ管腔」になっている状態において、いま、挿入部６における先端部７が管腔内に挿入され、その先端面が当該「折りたたみ管腔」に対峙した位置まで到達したとする。このとき、当該「折りたたみ管腔」は管腔が閉じた状態であって、すなわち腸が開いていない状態であるので、その先の管腔の状態を目視することはできず、術者がこの後に採り得る挿入部先端部の進行操作を的確に判断することは困難であると考えられる。

【0033】

このような状況の場合、例えば、閉じた管腔に向けて挿入部先端部を直進させ、該当部位に挿入した後、腸の形状に合わせた方向に湾曲操作させる必要（すなわち、上述したごとき複数の操作（挿入部の進行操作、挿入部の捻り操作等）が必要）があると想定される。このとき、十分に経験を積んだ術者であれば、このような状況においても的確に対処することも可能であると考えられるが、内視鏡操作に不慣れな経験の浅い術者の場合、これより先に採り得る複数の操作を的確に想定することは困難であると考えられる。

【0034】

ここで、例えば、上述した「折りたたみ管腔」に対峙した状況において、挿入部先端部を適切でない方向に挿入した場合、被検体である患者に対して不必要な負担を強いる虞もあることから、経験の浅い術者に対しては的確な操作ガイド情報、すなわち、この後採り得る時系列的に時間が異なる複数の操作ガイド情報を呈示することは極めて有用であると考えられる。

【0035】

本発明の出願人は係る事情に鑑み、内視鏡操作を行う術者が、折りたたみ管腔等の「時間的に異なる複数の操作」要するシーンに対峙した際に、この後に採り得る挿入部先端部の進行操作のガイド情報を的確に呈示する移動支援システムを提供するものである。

【0036】

図１に戻って、複数操作情報算出部３２の具体的な構成の説明を続ける。

【0037】

本第１の実施形態において、複数操作情報算出部３２は、画像処理部３１から入力される画像に対して、機械学習による手法等を用いて得られた学習モデルに基づいて、または、特徴量を検出する手法を用いて、折りたたまれた箇所の奥方向を直接見ることができない場面に対し、腸の形状の特徴情報を加味し、当該複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する。

【0038】

前記複数操作情報算出部３２は、さらに、複数操作情報の尤度も算出する。また、複数操作情報の尤度に対する閾値をあらかじめ設定しておき、尤度が閾値以上の場合は複数操作対象シーンに対する複数操作情報を呈示情報生成部に出力する。一方、尤度が閾値以下の場合は、画像処理部３１から入力される画像が複数操作対象シーンでない、または、複数操作対象シーンであるが複数操作情報の確度が低いと判断し、複数操作情報を呈示情報生成部に出力しない。

【0039】

＜本第１の実施形態の複数操作情報算出部における機械学習＞
ここで、本第１の実施形態における複数操作情報算出部３２において採用する機械学習の手法について説明する。

【0040】

図２は、第１の実施形態の移動支援システムにおいて採用する機械学習の手法を説明する図である。

【0041】

本第１の実施形態の移動支援システムにおける複数操作情報算出部３２は、例えば、被検体の大腸等の管腔に係る多数の内視鏡画像情報のうち、時系列的に時間が異なる複数の操作が必要なシーンに係る多数の画像（例えば、上述した折りたたみ管腔に係る画像）から機械学習用の教師データを作成する。

【0042】

具体的に本第１の実施形態に係る複数操作情報算出部３２は、まず、実際の内視鏡検査の動画を収集する。次に、実際の内視鏡検査の動画の中から、「折りたたみ管腔」のように時間的に異なる複数の操作が必要なシーンの画像を、教師データを作成する作業者（以下、アノテーター）の判断で抽出する。アノテーターは折りたたみ管腔に対する挿入方向を判断できるような経験および知識を有することが望ましい。そして、アノテーターは、上記のシーンに続いて行われた「内視鏡操作（時間的に異なる複数の操作）」の情報と、「その内視鏡操作の結果、内視鏡が上手く進んだのか」の情報とを内視鏡動画に映し出される腸壁などの動きに基づいて判断し、分類する。

【0043】

具体的に、例えば内視鏡画像等に基づいて内視鏡挿入部が適切に進行したと推測できる場合、アノテーターは、「内視鏡操作（時間的に異なる複数の操作）」が正解だったと判断する。そしてアノテーターは、「折りたたみ管腔」のように時間的に異なる複数の操作が必要なシーンの画像に対する正解となる「内視鏡操作（時間的に異なる複数の操作）」の情報を紐付けて教師データとする。

【0044】

そして、当該移動支援システムの開発者による指示を受けた所定の装置（コンピュータ）が、作成された当該教師データに基づいてディープラーニング等の機械学習の手法を用いてあらかじめ学習モデルを作成し、複数操作情報算出部３２に組み込む。複数操作情報算出部３２は、当該学習モデルに基づいて、複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する。

【0045】

操作方向検出部３３は、本実施形態においては、挿入形状検出装置４から出力された挿入部の挿入形状情報を取得し、当該情報に基づいて被検体の管腔（例えば、大腸）に挿入された挿入部６に係る従来と同様の操作方向情報を検出する。操作方向情報は例えば、管腔を見失った場合に、内視鏡画像と挿入形状検出装置４の形状情報に基づいて算出する、管腔の方向情報である。

【0046】

例えば、操作方向検出部３３は、内視鏡画像上の管腔を見失った位置と、挿入形状検出装置４から出力される挿入形状情報等に基づき当該挿入部６の状態を把握し、例えば、挿入部６先端の動きを検出し、当該挿入部６の先端に対する管腔方向の位置を算出する。すなわち、操作すべき方向である操作方向情報を検出する。

【0047】

なお本実施形態において操作方向検出部３３は、内視鏡画像と挿入形状検出装置４の形状情報に基づいて操作方向情報を演算するものとしたが、これに限らず、内視鏡画像のみに基づいて演算してもかまわない。例えば、操作方向検出部３３は、図３に示す変形例のように挿入形状検出装置４を省いた構成において、内視鏡画像上の管腔を見失った位置を算出し、見失った方向を操作方向情報として呈示してもよい。さらに、内視鏡画像の特徴点の移動を検出し、見失った管腔の方向当該挿入部６の先端の動きを検出し、より精度のよい管腔方向を呈示させるようにしてもかまわない。

【0048】

呈示情報生成部３４は、前記複数操作情報算出部３２において算出した前記複数操作情報に基づいて、挿入部６に対する（すなわち、術者に対する）呈示情報、例えば、挿入部６に係る「時間的に異なる複数の操作」の呈示情報を生成し、モニタ５に対して出力する。また、操作方向検出部３３が出力した操作方向情報に基づいた呈示情報を生成し、モニタ５に出力する。

【0049】

ここで、第１の実施形態における呈示情報生成部３４に係る「時間的に異なる複数の操作」の呈示の具体例について説明する。

【0050】

呈示情報生成部３４は、具体的には、図７（第２の実施形態に係る表示例として説明する）に示す如きモニタ５に表示される内視鏡画像において管腔８１が表示されている際、挿入部６の先端部７が対峙する位置に折りたたみ管腔８２が位置する場合、複数操作情報算出部３２において算出した前記複数操作情報に基づいて、モニタ５の画面上に、例えば、操作ガイド表示６１を呈示する。

【0051】

この操作ガイド表示６１は、折りたたみ管腔８２に対して挿入部６の先端部７を進行操作するにあたって、時系列的に時間的に異なる複数の操作を示すガイドであって、本第１の実施形態においては、第１段階の略直進方向操作に対応する第１操作ガイド表示６１ａと、当該第１段階の略直進方向操作の後、折りたたみ管腔８２を潜り抜けた後の第２段階の湾曲方向操作に対応する第２操作ガイド表示６１ｂと、を組み合わせた矢印表示となっている。

【0052】

この操作ガイド表示６１は、当該ガイド表示を見た術者が直感的に、上述した２段階（複数段階）の進行操作が望ましいことを認識できるユーザーインターフェースデザインにより構成されている。例えば、第１操作ガイド表示６１ａの矢印根本部分から第２操作ガイド表示６１ｂの矢印先端部分にかけて特徴的なテーパー曲線を含み、または、グラデーション表示にする等の工夫がなされている。

【0053】

なお、本実施形態においては、この操作ガイド表示６１は矢印形状を呈するものとしたが、これに限らず、術者が直感的に複数段階の進行操作を認識できる表記であれば、その他の記号、アイコンであってもよく、また、矢印の方向も左右方向等に限らず、多方向（例えば、８方向）表示でもよく、あるいは無段階方向の表示でもよい。

【0054】

これら操作ガイド表示６１に係る他の表示例については、後述する第２の実施形態において例示する。

【0055】

なお本実施形態において呈示情報生成部３４は、前記複数操作に関する所定の操作量に係る情報を前記呈示情報として生成し、モニタ５に対して出力してもよく、または、前記複数操作の進捗状況に係る情報を前記呈示情報として生成し、モニタ５に対して出力してもよい。

【0056】

さらに、ビデオプロセッサ３は、内視鏡２、光源装置、挿入形状検出装置４等の動作を制御するための様々な制御信号を生成して出力するように構成されている。

【0057】

なお本実施形態においてビデオプロセッサ３の各部は、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、ビデオプロセッサ３が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。

【0058】

＜第１の実施形態の効果＞
本第１の実施形態における移動支援システムにおいては、内視鏡操作を行う術者が、折りたたみ管腔等の「時間的に異なる複数の操作」を要するシーン（例えば、腸が開いていない状態であることからその先の管腔の状態を目視することはできず、術者がこの後に採り得る挿入部先端部の進行操作を的確に判断することは困難なシーン等）に対峙した際に、この後に採り得る挿入部先端部の進行操作のガイド情報を的確に呈示することができる。よって内視鏡操作の挿入性を改善できる。

【0059】

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

【0060】

本第２の実施形態の移動支援システムは、第１の実施形態に比して、ビデオプロセッサ３内にシーン検出部を備え、画像処理部３１からの撮像画像からシーンを検出して管腔の状態を分類し、この分類に応じた挿入部６の進行操作ガイドを呈示することを特徴とする。

【0061】

その他の構成は第１の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。

【0062】

図４は、本発明の第２の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図であり、図５は、第２の実施形態の移動支援システムにおいて採用する機械学習の手法を説明する図である。また、図６は、第２の実施形態の移動支援システムにおけるシーン検出部および呈示情報生成部の作用を示したフローチャートである。

【0063】

図４に示すように本実施形態に係る内視鏡システム１は、第１の実施形態と同様に、主として、内視鏡２と、図示しない光源装置と、ビデオプロセッサ３と、挿入形状検出装置４と、モニタ５と、を有して構成されている。

【0064】

内視鏡２は、第１の実施形態と同様の構成をなし、挿入部６は、硬質の先端部７と、湾曲自在に形成された湾曲部と、可撓性を有する長尺な可撓管部と、を先端側から順に設けて構成されている。

【0065】

また先端部７には、ビデオプロセッサ３から供給される撮像制御信号に応じた動作を行うとともに、照明窓を経て出射される照明光により照明された被写体を撮像して撮像信号を出力するように構成された撮像部２１が設けられている。撮像部２１は、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等のイメージセンサを有して構成されている。

【0066】

本第２の実施形態においてビデオプロセッサ３は、当該ビデオプロセッサ３内の各回路の制御を司る制御部を有すると共に、画像処理部３１と、複数操作情報算出部３２と、操作方向検出部３３と、呈示情報生成部３４と、の他、シーン検出部３５を有する。

【0067】

画像処理部３１は、第１の実施形態と同様に、内視鏡２から出力される撮像信号を取得し、所定の画像処理を施して時系列の内視鏡画像を生成し、画像処理部３１において生成した内視鏡画像をモニタ５に表示させるための所定の動作を行うように構成されている。

【0068】

シーン検出部３５は、画像処理部３１からの撮像画像を元にして、機械学習による手法、または特徴量を検出する手法を用いて、内視鏡画像の状態を分類する。分類の種類は、例えば、「折りたたみ管腔」、「腸壁へ押し込み」、「憩室」、その他（通常の管腔などガイドが不要な状態）である。

【0069】

なお、本実施形態においては、シーン検出部３５が検出するシーンの例を「折りたたみ管腔」、「腸壁へ押し込み」、「憩室」、「その他」としたが、呈示情報の内容などに応じてその他のシーンを検出するようにしてもかまわない。例えば、操作（挿抜、湾曲、回転）した方向と量、開いた管腔、管腔／折りたたみ管腔を見失った状態、腸壁への押し込み、腸壁への近接、憩室、大腸の部位（直腸、Ｓ状結腸、下降結腸、脾湾曲、横行結腸、肝湾曲、上向結腸、盲腸、回盲部、バウヒンベン、回腸）、観察を阻害する物質や状態（残渣、泡、血液、水、ハレーション、光量不足）などのシーンを検出するようにしてもかまわない。

【0070】

＜本第２の実施形態のシーン検出部３５における機械学習＞
ここで、本第２の実施形態におけるシーン検出部３５において採用する機械学習の手法について説明する。

【0071】

図５は、第２の実施形態の移動支援システムにおいて採用する機械学習の手法を説明する図である。

【0072】

本第２の実施形態の移動支援システムにおけるシーン検出部３５は、例えば、被検体の大腸等の管腔に係る多数の内視鏡画像情報を収集する。次に、当該内視鏡画像情報に基づいてアノテーターが、「折りたたみ管腔」のように時間的に異なる複数の操作が必要なシーンの画像であるか判断する。

【0073】

そしてアノテーターは、内視鏡画像に対して「折りたたみ管腔」のようなシーンの分類ラベルを当該内視鏡画像に対して紐付けて教師データとする。また、同様の手法により、「腸壁への押し込み」、「憩室」、その他（通常の管腔などガイドが不要な状態）の教師データも作成する。

【0074】

さらに、当該移動支援システムの開発者による指示を受けた所定の装置（コンピュータ）が、作成された当該教師データに基づいてディープラーニング等の機械学習の手法を用いてあらかじめ学習モデルを作成し、シーン検出部３５に組み込む。シーン検出部３５は、当該学習モデルに基づいて、管腔のシーンを分類する。例えば、「折りたたみ管腔」、「腸壁へ押し込み」、「憩室」、「その他（通常の管腔などガイドが不要な状態）」に分類する。

【0075】

シーン検出部３５はさらに、折りたたみ管腔８２（図７参照）への挿入操作中か否かを検出する。当該検出は、例えば、折りたたみ管腔８２を検出した後、挿入部６の動きを３Ｄ－ＣＮＮで時間的な変化から検出する。またはオプティカルフローの技術により検出する。

【0076】

複数操作情報算出部３２は、シーン検出部３５において検出されたシーンが、「折りたたみ管腔」である場合、第１の実施形態と同様に、内視鏡２における挿入部６に配設された撮像部２１が取得した撮像画像に基づいて、「時間的に異なる複数の操作」が必要なシーンである複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する。

【0077】

ここで、本第２の実施形態における複数操作情報算出部３２は、第１の実施形態と同様に、機械学習による手法等を用いて得られた学習モデルに基づいて、または、特徴量を検出する手法を用いて、折りたたまれた箇所の奥方向を直接見ることができない場面に対し、腸の形状の特徴情報を加味し、当該複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する。

【0078】

また本第２の実施形態において呈示情報生成部３４は、前記複数操作情報算出部３２において算出した前記複数操作情報に基づいて、挿入部６に対する（すなわち、術者に対する）呈示情報、例えば、挿入部６に係る「時間的に異なる複数の操作」の呈示情報を生成し、モニタ５に対して出力する。

【0079】

＜第２の実施形態の作用＞
次に、本第２の実施形態の画像記録装置の作用について図６に示すフローチャートを参照して説明する。

【0080】

まず、第２の実施形態の移動支援システムにおけるビデオプロセッサ３が稼働開始すると、まずシーン検出部３５がシーンを検出する。ここで、シーン検出部３５は、画像処理部３１から取得した内視鏡の撮像画像から機械学習による手法、または、特徴量を検出する手法を用いて、内視鏡画像のシーンを分類する（ステップＳ１）。次に、複数操作情報算出部３２はシーン検出部が検出したシーンの種類に応じた演算を行う（ステップＳ２）。

【0081】

ここで、シーン検出部３５が挿入部の進行操作ガイドの呈示が不要なシーン（上述した「その他」に分類された場合）を検出した場合は、複数操作情報算出部３２は操作方向の演算を行わない。よって操作の呈示も行わない。これにより不要な呈示が行われる可能性を下げることができる。すなわち、呈示情報の精度を向上できる。また、モニタ５に不要な呈示を行わないことで、術者のモニタ５に対する視認性が向上できる。

【0082】

一方、ステップＳ２において、シーンが「折りたたみ管腔」であった場合は、上述した機械学習による手法、または特徴量を検出する手法により、当該折りたたみ管腔に潜り込ませる方向を検出する（ステップＳ３）。

【0083】

ここで、折りたたみ管腔に潜り込ませる際、単純に挿入するだけでなく、挿入する途中から腸の形状に合わせた方向に湾曲操作させる必要がある。すなわち、折りたたみ管腔においては腸が開いていないので、挿入中の画像から進む方向を認識することが困難なため、挿入前に進む方向を認識する必要があるからである。

【0084】

この後、上述したシーン検出部３５において検出したシーンの尤度、および、複数操作情報算出部３２において算出した進行操作方向の尤度が閾値以上であるか否かを判定し（ステップＳ４）、これら尤度がいずれも閾値以上である場合は、呈示情報生成部３４は、潜り込ませる方向（すなわち、挿入部６における先端部７の折りたたみ管腔８２に対して進行操作するためのガイド情報）を生成し、当該ガイド情報をモニタ５に対して呈示する（ステップＳ５；図７参照）。

【0085】

一方、ステップＳ４において上述した尤度が閾値未満であって、呈示結果の確度（尤度）が低いと判定された場合は、呈示結果の確度が低い旨を呈示する（ステップＳ６；図１０参照））。なお、この場合、警告を伴って表示し、術者の判断が必要なことを呈示してもよい。また、シーン検出で観察を阻害する物質（残渣、泡、血液）を検出するようにし、観察を阻害する物質が検出された場合は確度が低いとしてもよい。

【0086】

次に、前記ステップＳ２において、シーン検出部３５が検出したシーンが「腸壁への押し込み」で、折りたたみ管腔への挿入中である場合について説明する（ステップＳ８）。折りたたみ管腔への挿入中は、腸壁へ挿入部６の先端部７を接触させたり、腸に対して危険性の低い弱い力で押しながら挿入させたりすることがあるため、術者が意図して腸壁へ接触や押し込んでいると判断する。そのため、「腸壁への押し込み」シーンであっても、折りたたみ管腔への挿入中である場合は何も呈示しない（ステップＳ７）。

【0087】

一方、ステップＳ８において、折りたたみ管腔の挿入操作中でない場合であって、かつ、上述したシーン検出部３５において検出したシーンの尤度が閾値以上である場合（ステップＳ９）、挿入部６の先端部７を腸へ押し込んで患者に負担をかける虞があるので、挿入部６の引き操作のガイドを呈示する（ステップＳ１０；図１３参照））。呈示情報は引き操作のガイドに限らず、例えば注意を促す呈示などでもかまわない。

【0088】

一方、ステップＳ９において上述した尤度が閾値未満であって、呈示結果の確度（尤度）が低いと判定された場合は、上記同様、呈示結果の確度が低い旨を呈示する（ステップＳ１１；図１４参照））。

【0089】

前記ステップＳ２において、シーン検出部３５が検出したシーンが「憩室」である場合であって、当該検出したシーンの尤度が閾値以上である場合（ステップＳ１２）、挿入部６の先端部７を誤って憩室に挿入してしまう虞があるので、憩室の存在、位置を呈示する（ステップＳ１３；図１５参照））。

【0090】

一方、ステップＳ１２において上述した尤度が閾値未満であって、呈示結果の確度（尤度）が低いと判定された場合は、上記同様、呈示結果の確度が低い旨を呈示する（ステップＳ１４；図１６参照））。

【0091】

この後、挿入方向ガイド機能を停止するか否かの判定を行い（ステップＳ７）、継続の場合は処理を繰り返す。なお、当該挿入方向ガイド機能の停止は術者が所定の入力装置により停止を指示してもよいし、または、例えば画像処理部３１から出力される撮像画像からシーン検出部３５が盲腸を検出できるようにしておき、盲腸に到達したことを検出したら停止と判断してもよい。

【0092】

＜第２の実施形態における挿入部に係る操作ガイドの呈示例＞
次に、第２の実施形態における挿入部に係る操作ガイドの呈示例を説明する。

【0093】

図７～図１２は、第２の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の呈示例を示した説明図である。

【0094】

図７に示す如きモニタ５に表示される内視鏡画像において管腔８１が表示されている際、挿入部６の先端部７が対峙する位置に折りたたみ管腔８２が位置する場合、複数操作情報算出部３２において算出した前記複数操作情報に基づいて、モニタ５の画面上に、例えば、操作ガイド表示６１を呈示する。

【0095】

【0096】

【0097】

なお、本第２の実施形態においては、この操作ガイド表示６１は内視鏡画像の枠外に矢印形状を呈するものとしたが、これに限らず、例えば、図８に示すように、内視鏡画像内の折りたたみ管腔８２の近傍に表示するようにしてもよい。

【0098】

また、術者が直感的に複数段階の進行操作を認識できる表記であれば、その他の記号、アイコンであってもよく、また、図７矢印の方向は、多方向、例えば、図９に示すように８方向のいずれかに表示することも可能である。

【0099】

さらに、折りたたみ管腔８２の位置を分かり易くするために、図１１に示すように囲み線７２で覆ってもよく、また、図１２に示すように太線７３で強調してもよい。ここで、折りたたみ管腔８２の位置は、シーン検出部３５が行う処理の中で、機械学習による手法等を用いて得られた学習モデルに基づいて、または、特徴量を検出する手法を用いて、画像の中の折りたたみ管腔８２の位置も検出しておき、その結果に基づいて表示を行う。

【0100】

一方、上述したステップＳ４において上述した尤度が閾値未満であって、呈示結果の確度（尤度）が低いと判定された場合は、図１０に示すように、呈示結果の確度が低い旨を呈示してもよい（符号７１）。

【0101】

図１３～図１４は、第２の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する「挿入部に係る操作ガイド」の呈示例を示した説明図である。

【0102】

上述したステップＳ２において、シーン検出部３５が検出したシーンが「腸壁への押し込み」である場合、折りたたみ管腔の挿入操作中でない場合であって、かつ、上述したシーン検出部３５において検出したシーンの尤度が閾値以上である場合（ステップＳ９）、挿入部６の先端部７を腸へ押し込んで患者に負担をかける虞があるので、図１３に示すように、管腔８１ａが表示される枠外に、挿入部６の引き操作のガイド６２を呈示する。

【0103】

一方、ステップＳ９において上述した尤度が閾値未満であって、呈示結果の確度（尤度）が低いと判定された場合は、図１４に示すように、呈示結果の確度が低い旨を呈示する（符号７１）。

【0104】

図１５～図１６は、第２の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する「挿入部に係る操作ガイド」の呈示例を示した説明図である。

【0105】

上述したステップＳ２において、シーン検出部３５が検出したシーンが「憩室」である場合であって、当該検出したシーンの尤度が閾値以上である場合（ステップＳ１２）、挿入部６の先端部７を誤って憩室８３に挿入してしまう虞があるので、図１５に示すように、管腔８１ｂが表示される枠内において憩室の存在、位置を破線７５等で強調すると共に、管腔８１ｂが表示される枠外において注意を促す（符号７４）。ここで、憩室の位置は、シーン検出部３５が行う処理の中で、機械学習による手法等を用いて得られた学習モデルに基づいて、または、特徴量を検出する手法を用いて、画像の中の憩室の位置も検出しておき、その結果に基づいて表示を行う。

【0106】

一方、ステップＳ１２において上述した尤度が閾値未満であって、呈示結果の確度（尤度）が低いと判定された場合は、図１６に示すように、上記同様、呈示結果の確度が低い旨を呈示する（符号７１）。

【0107】

＜第２の実施形態の効果＞
本第２の実施形態における移動支援システムにおいては、様々なシーンに応じて、内視鏡操作を行う術者に対してこの後に採り得る挿入部先端部の進行操作のガイド情報を的確に呈示することができる。また、シーンに応じたガイド情報の呈示演算をおこなうことで、精度も向上する。

【0108】

また、腸への押し込みを行っているシーン、または憩室が存在するシーンに対する進行操作のガイド情報を呈示することで、挿入操作の安全性が向上する。

【0109】

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。

【0110】

本第３の実施形態の移動支援システムは、第２の実施形態に比して、ビデオプロセッサ３内に記録部を備え、シーン検出部３５が検出したシーン、および／または、複数操作情報算出部３２が算出した複数操作情報を記録し、例えば挿入部先端部が進むべき管腔方向を見失った際等において、当該記録部に記録された過去の情報を利用して、挿入部６に係る操作ガイドの呈示情報を生成することを可能とする。

【0111】

その他の構成は第１の実施形態または第２の実施形態と同様であるので、ここでは第１の実施形態または第２の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。

【0112】

図１７は、本発明の第３の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図であり、図１８は、第３の実施形態の移動支援システムにおけるシーン検出部、呈示情報生成部および記録部の作用を示したフローチャートである。

【0113】

図１７に示すように本第３の実施形態に係る内視鏡システム１は、第１の実施形態と同様に、主として、内視鏡２と、図示しない光源装置と、ビデオプロセッサ３と、挿入形状検出装置４と、モニタ５と、を有して構成されている。

【0114】

【0115】

【0116】

本第３の実施形態においてビデオプロセッサ３は、当該ビデオプロセッサ３内の各回路の制御を司る制御部を有すると共に、画像処理部３１と、複数操作情報算出部３２と、操作方向検出部３３と、呈示情報生成部３４と、シーン検出部３５と、の他、記録部３６を有する。

【0117】

【0118】

シーン検出部３５は、第２の実施形態と同様に、画像処理部３１からの撮像画像を元にして、機械学習による手法、または特徴量を検出する手法を用いて、内視鏡画像の状態を分類する。分類の種類は、例えば、「折りたたみ管腔」、「腸壁へ押し込み」、「憩室」、その他（通常の管腔などガイドが不要な状態）である。

【0119】

記録部３６は、シーン検出部３５が検出したシーン、および／または、複数操作情報算出部３２が算出した複数操作情報を記録可能となっている。そして、例えば管腔を見失った際等において、当該記録部に記録された過去の情報を利用して、挿入部６に係る操作ガイドの呈示情報を生成することを可能とする。

【0120】

＜第３の実施形態の作用＞
次に、本第３の実施形態の画像記録装置の作用について図１８に示すフローチャートを参照して説明する。

【0121】

第３の実施形態の移動支援システムにおけるビデオプロセッサ３が稼働開始すると、第２の実施形態と同様に、まずシーン検出部３５がシーンを検出する（ステップＳ１０１）。

【0122】

一方、記録部３６は、シーン検出部３５が検出したシーン、および／または、複数操作情報算出部３２が算出した複数操作情報の記録を開始する。

【0123】

ここで、何らかの原因により、挿入部６の先端部７による折りたたみ管腔８２への挿入に失敗し、管腔を見失った状態が発生した場合、シーン検出部３５は、管腔を見失ったシーンからの先端部７の動きを検出し、記録部３６に記録する。この動きの検出は、例えば、画像に対して機械学習による手法、または特徴点の変化を検出する手法（オプティカルフロー）を用いる。また、挿入形状検出装置４を有する構成であれば、挿入形状検出装置４から挿入部の先端の動きを検出してもよい。

【0124】

ステップＳ１０２に戻って、複数操作情報算出部３２は、第２の実施形態と同様に、シーン検出部が検出したシーンの種類に応じた演算を行う（ステップＳ１０２）。

【0125】

【0126】

一方、ステップＳ１０２において、シーンが「折りたたみ管腔」であった場合は、上述した機械学習による手法、または特徴量を検出する手法により、当該折りたたみ管腔に潜り込ませる方向を検出する（ステップＳ１０３）。また、折りたたみ管腔に潜り込ませる操作方向情報を記録部３６に記録する（ステップＳ１０４）。

【0127】

以下、図１８において、ステップＳ１０５～ステップＳ１０７の作用は、第２の実施形態におけるステップＳ４～ステップＳ６と同様であるので、ここでの説明は省略する。

【0128】

前記ステップＳ１０２において、シーン検出部３５が、上述した「管腔を見失った」シーンであることを検出した場合について説明する。折りたたみ管腔への挿入中は、腸壁へ挿入部６の先端部７を接触させたり、腸に対して危険性の低い弱い力で押しながら挿入させたりすることがあり、その場合は管腔も見失うため、術者が意図して管腔を見失うような操作を行っていると判断する。そのため、「管腔を見失った」シーンであっても、折りたたみ管腔への挿入中であれば何も呈示しない（ステップＳ１０８）。

【0129】

一方、ステップＳ１０８において、折りたたみ管腔の挿入操作中でない場合は、複数操作情報算出部３２は、記録部３６が記録した情報を読み出し（ステップＳ１０９）、管腔を見失ったシーンから現在までの動き情報に基づいて、折りたたみ管腔８２が存在する方向を計算する（ステップＳ１１０）。

【0130】

また、複数操作情報算出部３２はさらに、折りたたみ管腔を見失う前に、折りたたみ管腔への潜り込ませる操作方向を計算し、記録部に記録（ステップＳ１０４）した情報から、折りたたみ管腔を見失った状態から、折りたたみ管腔８２が存在する方向に加えて、見失った折りたたみ管腔への潜り込ませる操作までを表示する（ステップＳ１１１～ステップＳ１１４）。

【0131】

さらに、管腔を見失ったシーンで、さらに腸への押し込みが発生している場合は（ステップＳ１１１）、押し込みに対する注意も呈示する（ステップＳ１１５～ステップＳ１１７）。

【0132】

前記ステップＳ１０２において、シーン検出部３５が検出したシーンが、「憩室」である場合、複数操作情報算出部３２は、記録部３６が記録した情報を読み出し（ステップＳ１１８）、操作部の検出結果から操作方向を算出する（ステップＳ１１９）。

【0133】

さらに、シーン検出部３５が検出したシーンの尤度および複数操作情報算出部３２が算出した操作方向の尤度が閾値以上である場合（ステップＳ１２０）、挿入部６の先端部７を誤って憩室に挿入してしまう虞があるので、憩室の存在、位置を呈示し（ステップＳ１２１）、または上述した尤度が閾値未満であって、呈示結果の確度（尤度）が低いと判定された場合は、上記同様、呈示結果の確度が低い旨を呈示する（ステップＳ１２２）。

【0134】

この後、挿入方向ガイド機能を停止するか否かの判定を行い（ステップＳ１２３）、継続の場合は処理を繰り返す。なお、当該挿入方向ガイド機能の停止は術者が所定の入力装置により停止を指示してもよいし、または、例えば画像処理部３１から出力される撮像画像からシーン検出部３５が盲腸を検出できるようにしておき、盲腸に到達したことを検出したら、停止と判断してもよい。

【0135】

＜第３の実施形態における挿入部に係る操作ガイドの呈示例＞
次に、第３の実施形態における挿入部に係る操作ガイドの呈示例を説明する。

【0136】

図１９～図２０は、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する「挿入部に係る操作ガイド」の呈示例を示した説明図である。

【0137】

図１９に示す如きモニタ５に表示される内視鏡画像において、挿入部先端部が進むべき管腔方向を見失った状態において管腔８１ｃが表示されている際、呈示情報生成部３４は、記録部３６に記録された情報に基づいて挿入部先端部が進むべき方向を示す操作ガイド表示６５を呈示する。

【0138】

なお、本第３の実施形態においては、この操作ガイド表示６５は内視鏡画像の枠外に矢印形状を呈するものとしたが、これに限らず、例えば、図２０に示すように、内視鏡画像内に表示するようにしてもよい。

【0139】

＜第３の実施形態の効果＞
本第３の実施形態における移動支援システムにおいては、シーン検出部３５が検出したシーン、および／または、複数操作情報算出部３２が算出した複数操作情報を記録部３６において記録することで、例えば挿入部先端部が進むべき管腔方向を見失った際等においても、当該記録部３６に記録された過去の情報を利用して、挿入部６に係る操作ガイドの呈示情報を生成することを可能とする。

【0140】

次に、第２、第３の実施形態の移動支援システムにおいて、時間的に異なる複数の操作が必要なシーンにおける操作ガイド表示の表示例をシーンごとに挙げて説明する。

【0141】

図２１～図２２は、第２、第３の実施形態の移動支援システムにおいて、折りたたみ管腔を前にした状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の呈示例を示した説明図である。

【0142】

図２１に示す例は、上述した操作ガイド表示６１と同様に、折りたたみ管腔８２に対して挿入部６の先端部７を進行操作するにあたって、時系列的に時間的に異なる複数の操作を示すガイドであって、第１段階の略直進方向操作に対応する第１操作ガイド表示６１ａと、当該第１段階の略直進方向操作の後、折りたたみ管腔８２を潜り抜けた後の第２段階の湾曲方向操作に対応する第２操作ガイド表示６１ｂと、を組み合わせた矢印表示となっている。

【0143】

図２２に示す操作ガイド表示６４は、操作ガイド表示６１と同様に、時系列的に時間的に異なる複数の操作を示すガイドであるが、第１段階の略直進方向操作に対応する表示と、折りたたみ管腔８２を潜り抜けた後の第２段階の湾曲方向操作に対応する表示とを別々に示す例である。また、操作の順番を示す番号を付与するものである。

【0144】

図２３は、第２、第３の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。

【0145】

この図２３に示す操作ガイド表示６５は、挿入部先端部が腸壁に押し込まれた状態において、管腔８１ａが表示される枠外に、時系列的に時間が異なる複数の操作（挿入部６の引き操作）を別々の矢印として示すものであり、矢印および引き操作の図で示すように引き操作を行った後に、左向き矢印で示すように左側に管腔がある、すなわち左方向への方向操作を呈示している例である。

【0146】

図２４は、第２、第３の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。

【0147】

この図２４に示すガイド表示６６は、憩室の位置、注意喚起の表示と共に、時系列的に時間が異なる複数の操作（挿入部６の先端部７の進行操作方向）を別々の矢印として示すものである。この例では操作の順番を、(1)、(2)のように数字で示している。(1)の矢印に方向を操作することで折りたたみ管腔が見つかり、見つかった折りたたみ管腔に対して、(2)の矢印で示す左側に潜り込ませることで折りたたみ管腔を通過できることを示している。

【0148】

図２５は、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。

【0149】

この図２５に示すガイド表示６７は、挿入部先端部が進むべき管腔方向を見失った状態において、時系列的に時間が異なる複数の操作（挿入部６の先端部７の進行操作方向）を別々の矢印として示すものである。上向き矢印の方向に折りたたみ管腔が見つかり、見つかった折りたたみ管腔に対して左側に潜り込ませることで折りたたみ管腔を通過できることを示している。

【0150】

図２６は、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の他の呈示例を示した説明図である。

【0151】

この図２６に示すガイド表示６８は、挿入部先端部が進むべき管腔方向を見失った状態において、時系列的に時間が異なる複数の操作（挿入部６の先端部７の進行操作方向）を別々の矢印として示すと共に、操作の順番を示す番号を付与するものである。

【0152】

図２７Ａ，図２７Ｂは、第２、第３の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。図２７Ａと、図２７Ｂが順番に変化して表示することで、折りたたみ管腔に挿入後、左側に潜り込ませることを示している。

【0153】

図２８Ａ，図２８Ｂは、第２、第３の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。図２８Ａの矢印および引き操作の図で示すように引き操作を行った後に、図２８Ｂの左向き矢印で示すように左側に管腔がある、すなわち左方向への方向操作を呈示している例である。

【0154】

図２９Ａ，図２９Ｂ，図２９Ｃは、第２、第３の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。図２９Ａの矢印に方向を操作することで折りたたみ管腔が見つかり、見つかった折りたたみ管腔に対して、図２９Ｂの矢印のように押し込み、図２９Ｃの矢印で示す左側に潜り込ませることで折りたたみ管腔を通過できることを示している。

【0155】

図３０Ａ，図３０Ｂ，図３０Ｃは、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。図３０Ａの上向き矢印の方向に折りたたみ管腔が見つかり、見つかった折りたたみ管腔に対して図３０Ｂの矢印のように押し込み、図３０Ｃの左側に潜り込ませることで折りたたみ管腔を通過できることを示している。

【0156】

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。

【0157】

本第４の実施形態の移動支援システムは、第２の実施形態に比して、ビデオプロセッサ３内に、学習用コンピュータに接続された学習用データ処理部を備えることを特徴とする。

【0158】

その他の構成は第１、第２の実施形態と同様であるので、ここでは第１、第２の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。

【0159】

図３１は、本発明の第４の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図である。

【0160】

図３１に示すように本第４の実施形態に係る内視鏡システム１は、第１の実施形態と同様に、主として、内視鏡２と、図示しない光源装置と、ビデオプロセッサ３と、挿入形状検出装置４と、モニタ５と、学習用コンピュータ４０と、を有して構成されている。

【0161】

【0162】

【0163】

本第４の実施形態においてビデオプロセッサ３は、当該ビデオプロセッサ３内の各回路の制御を司る制御部を有すると共に、画像処理部３１と、複数操作情報算出部３２と、操作方向検出部３３と、呈示情報生成部３４と、シーン検出部３５と、のほか、前記学習用コンピュータ４０に接続された学習用データ処理部３８を備えることを特徴とする。

【0164】

【0165】

【0166】

学習用データ処理部３８は、シーン検出部３５、操作方向検出部３３および複数操作情報算出部３２に接続される。シーン検出部３５、操作方向検出部３３および複数操作情報算出部３２で機械学習の手法で検出に使用された画像情報と、その検出結果のデータを紐づけて取得して、検査中のデータとして、学習用コンピュータ４０に送信する。学習用データ処理部３８はさらに、学習用コンピュータ４０に送る情報から、個人情報を削除する機能を備えていてもよい。これにより外部に個人情報が漏洩する可能性を低減できる。

【0167】

学習用コンピュータ４０は、学習用データ処理部３８から受信した上記検査中のデータを蓄積し、また、当該データを教師データとして学習する。この時、教師データはアノテーターがチェックを行い、間違った教師データが有れば正しいアノテーションを行って学習を行う。なお、学習結果は学習用データ処理部３８において処理され、シーン検出部３５、操作方向検出部３３および複数操作情報算出部３２の機械学習による検出モデルをアップデートすることで性能向上に寄与する。

【0168】

なお、本第４の実施形態においては、学習用コンピュータ４０は内視鏡システム１内の構成要素であるとしたが、これに限らず、所定のネットワークを介して外部に構成されてもよい。

【0169】

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。

【0170】

本第５の実施形態の移動支援システム１０１は、第１～第４の実施形態と上記同様の構成をなす内視鏡２における挿入部６の挿入動作を、いわゆる自動挿入装置により実行するものであって、当該自動挿入装置の制御を、ビデオプロセッサ３における呈示情報生成部３４からの出力信号により行うことを特徴とする。

【0171】

内視鏡２を含めた内視鏡システムの構成は第１、第２の実施形態と同様であるので、ここでは第１、第２の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。

【0172】

図３２は、本発明の第５の実施形態に係る移動支援システムおよび自動挿入装置を含む内視鏡システムの構成を示すブロック図である。

【0173】

図３２に示すように本第５の実施形態に係る移動支援システム１０１は、第１、第２の実施形態と同様の構成をなす内視鏡２と、図示しない光源装置と、ビデオプロセッサ３と、挿入形状検出装置４と、モニタ５と、当該内視鏡２における挿入部６の挿入動作を自動または半自動で実行する自動挿入装置１０５と、を有して構成されている。

【0174】

【0175】

【0176】

本第５の実施形態においてビデオプロセッサ３は、当該ビデオプロセッサ３内の各回路の制御を司る制御部を有すると共に、画像処理部３１と、複数操作情報算出部３２と、操作方向検出部３３と、呈示情報生成部３４と、シーン検出部３５と、を備えることを特徴とする。

【0177】

【0178】

シーン検出部３５は、第２の実施形態と同様に、画像処理部３１からの撮像画像を元にして、機械学習による手法、または特徴量を検出する手法を用いて、内視鏡画像の状態を分類する。分類の種類は、上記同様に、例えば、「折りたたみ管腔」、「腸壁へ押し込み」、「憩室」、その他（通常の管腔などガイドが不要な状態）である。

【0179】

【0180】

本第５の実施形態において呈示情報生成部３４は、複数操作情報算出部３２において算出した複数操作情報に基づいて、自動挿入装置１０５に対する制御信号を生成し出力する。この制御信号は、上述した各実施形態と同様の手法（機械学習による手法等）により求められた挿入部６の挿入操作ガイド情報に応じた信号である。

【0181】

自動挿入装置１０５は、呈示情報生成部３４から出力される前記制御信号を受信し、当該制御信号の制御下に、把持する挿入部６の挿入操作を行うようになっている。

【0182】

＜第５の実施形態の効果＞
本第５の実施形態の移動支援システム１０１によると、自動挿入装置１０５による内視鏡挿入部の挿入動作においても、上述した各実施形態と同様の手法（機械学習による手法等）により求められた挿入操作ガイド情報に挿入制御がなされることにより、例えば、自動挿入装置１０５が、折りたたみ管腔等の「時間的に異なる複数の操作」を要するシーンに対峙した場合であっても、的確な挿入動作を実行することができる。

【0183】

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

【図1】