特許 7638365 内視鏡画像処理装置および内視鏡画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-20

(45)【発行日】2025-03-03

(54)【発明の名称】内視鏡画像処理装置および内視鏡画像処理方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20250221BHJP

   A61B 1/00 20060101ALI20250221BHJP

【ＦＩ】

A61B1/045 610

A61B1/045 614

A61B1/00 552

A61B1/045 623

【請求項の数】 9

(21)【出願番号】P 2023501930

(86)(22)【出願日】2021-02-25

(86)【国際出願番号】 JP2021007222

(87)【国際公開番号】W WO2022180753

(87)【国際公開日】2022-09-01

【審査請求日】2023-07-12

(73)【特許権者】

【識別番号】304050923

【氏名又は名称】オリンパスメディカルシステムズ株式会社

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(72)【発明者】

【氏名】西村 博一

【審査官】廣崎 拓登

(56)【参考文献】

【文献】国際公開第２０１９／１５５６１７（ＷＯ，Ａ１）

【文献】国際公開第２００８／１５５８２８（ＷＯ，Ａ１）

【文献】特開２００７－２８２８５７（ＪＰ，Ａ）

【文献】特開平０２－１８２２３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ｇ０２Ｂ ２３／２４ －２３／２６

(57)【特許請求の範囲】

【請求項1】

内視鏡が撮影した内視鏡画像を取得する画像取得部と、
前記画像取得部が取得した内視鏡画像を、複数の構造に対応する領域に分割する領域分割部と、
前記画像取得部が取得した内視鏡画像の奥行を示す奥行情報を生成する奥行情報生成部と、
前記領域分割部が領域分割した結果を示す領域情報および前記奥行情報生成部が生成した内視鏡画像の奥行情報にもとづいて、管腔に対応する領域と、管腔とは異なる構造に対応する領域を、奥行方向の位置関係とともに認識して、内視鏡が進行可能な方向を特定する認識部と、
を備えることを特徴とする内視鏡画像処理装置。

【請求項2】

前記複数の構造の領域の１つは、内視鏡が進行可能な領域であり、
前記認識部は、内視鏡が進行可能な管腔に対応する領域より手前側に存在する構造に対応する領域が、内視鏡の進行に対して障害となる構造に対応する領域であることを認識する、
ことを特徴とする請求項１に記載の内視鏡画像処理装置。

【請求項3】

前記認識部は、内視鏡が進行可能な管腔に対応する領域および内視鏡の進行に対して障害となる構造に対応する領域から、内視鏡が進行可能な方向および進行してはいけない方向を特定するものであって、
前記認識部が特定した内視鏡が進行可能な方向および進行してはいけない方向にもとづいて、内視鏡の進行方向に関する情報を生成する動作決定部を、さらに備える、
ことを特徴とする請求項２に記載の内視鏡画像処理装置。

【請求項4】

内視鏡が撮影した内視鏡画像を取得する画像取得部と、
前記画像取得部が取得した内視鏡画像にもとづいて、所定の複数の操作内容の中から１つ以上の操作内容を選択する操作内容選択部と、
前記画像取得部が取得した内視鏡画像を、複数の構造に対応する領域に分割する領域分割部と、
前記領域分割部が領域分割した結果を示す領域情報にもとづいて、管腔に対応する領域と、管腔とは異なる構造に対応する領域を認識する認識部と、
前記認識部による認識結果にもとづいて、前記操作内容選択部により選択された操作内容が適切であるか否かを判断し、適切でないと判断した場合には、前記操作内容選択部により選択された操作内容を変更する操作内容決定部と、
を備えることを特徴とする内視鏡画像処理装置。

【請求項5】

前記操作内容選択部により選択された操作内容が内視鏡を前進させる前進操作である場合、前記操作内容決定部は、前記操作内容選択部により選択された前進操作が適切でないと判断すると、前進操作を別の操作内容に変更する、
ことを特徴とする請求項４に記載の内視鏡画像処理装置。

【請求項6】

前記操作内容選択部は、過去に撮影された内視鏡画像である学習用画像と前記学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された１つ以上の操作選択モデルに、前記画像取得部において取得した内視鏡画像から取得される入力データを入力することで、前記１つ以上の操作内容を選択する、
ことを特徴とする請求項４または５に記載の内視鏡画像処理装置。

【請求項7】

前記画像取得部が取得した内視鏡画像の奥行を示す奥行情報を生成する奥行情報生成部を、さらに備え、
前記認識部は、前記領域分割部が領域分割した結果を示す領域情報および前記奥行情報生成部が生成した内視鏡画像の奥行情報にもとづいて、管腔に対応する領域と、管腔とは異なる構造に対応する領域を、奥行方向の位置関係とともに認識して、内視鏡が進行可能な方向を特定する、
ことを特徴とする請求項４から６のいずれかに記載の内視鏡画像処理装置。

【請求項8】

内視鏡画像処理装置の動作方法であって、
前記内視鏡画像処理装置は、
内視鏡が撮影した内視鏡画像を取得する画像取得部と、
前記画像取得部が取得した内視鏡画像を、複数の領域に分割する領域分割部と、
前記画像取得部が取得した内視鏡画像の奥行を示す奥行情報を生成する奥行情報生成部と、
前記領域分割部が領域分割した結果を示す領域情報および前記奥行情報生成部が生成した内視鏡画像の奥行情報にもとづいて、内視鏡が進行可能な方向を特定する認識部と、を備え、
前記画像取得部が、前記内視鏡が撮影した内視鏡画像を取得する動作と、
前記領域分割部が、取得した内視鏡画像を、複数の構造に対応する領域に分割する動作と、
前記奥行情報生成部が、取得した内視鏡画像の奥行を示す奥行情報を生成する動作と、
前記認識部が、複数の構造に対応する領域に分割した結果を示す領域情報および内視鏡画像の奥行情報にもとづいて、管腔に対応する領域と、管腔とは異なる構造に対応する領域を、奥行方向の位置関係とともに認識して、内視鏡が進行可能な方向を特定する動作と、
を含む、内視鏡画像処理装置の動作方法。

【請求項9】

コンピュータに、
内視鏡が撮影した内視鏡画像を取得する機能と、
取得した内視鏡画像を、複数の構造に対応する領域に分割する機能と、
取得した内視鏡画像の奥行を示す奥行情報を生成する機能と、
領域分割した結果を示す領域情報および内視鏡画像の奥行情報にもとづいて、管腔に対応する領域と、管腔とは異なる構造に対応する領域を、奥行方向の位置関係とともに認識して、内視鏡が進行可能な方向を特定する機能と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、内視鏡が撮影した画像を処理する技術に関する。

【背景技術】

【0002】

内視鏡観察では、可撓性を有する細長い挿入部を被検体内に挿入し、被検体内を撮影する。近年、挿入部の操作を自動化する研究が行われており、特許文献１は、上下左右に湾曲可能な湾曲部を設けた電子内視鏡装置において、撮影されている管腔の中心を挿入部の先端部が向くように、湾曲部の湾曲角度を制御する技術を開示する。

【0003】

近年、ディープラーニングに関する技術として、画像から奥行方向の情報を推定する手法が提案されており（非特許文献１）、内視鏡画像から奥行方向の情報を生成する研究も行われている（非特許文献２）。

【先行技術文献】

【特許文献】

【0004】

【文献】日本国特許第３６４５２２３号公報

【非特許文献】

【0005】

【文献】Lei He, Guanghui Wang and Zhanyi Hu,“Learning Depth from Single Images with Deep Neural Network Embedding Focal Length”, 27 Mar 2018 ＜URL：https://arxiv.org/pdf/1803.10039.pdf＞

【文献】Faisal Mahmood, Richard Chen, Nicholas J. Durr, “Unsupervised Reverse Domain Adaptation for Synthetic Medical Images via Adversarial Training”, 29 Nov 2017 ＜URL：https://arxiv.org/pdf/1711.06606.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では、映像出力信号において最も暗い部分を管腔中心と判断し、内視鏡先端部が当該管腔中心を向くように、湾曲部の湾曲角度を制御する。そのため内視鏡先端部に対して張り出した構造（たとえば襞）により影になっている暗部が管腔中心と判断されて、内視鏡先端部を当該暗部に向けてしまう可能性がある。また管腔中心が正確に特定された場合であっても、内視鏡先端部周辺の状況から、内視鏡先端部を管腔中心に向けて前進させることが好ましくないケースも存在する。

【0007】

本開示は、前述した事情に鑑みてなされたものであり、内視鏡画像にもとづいて内視鏡の動作または操作に関する適切な情報を生成するための技術を提供することを目的としている。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本開示のある態様の内視鏡画像処理装置は、内視鏡が撮影した内視鏡画像を取得する画像取得部と、画像取得部が取得した内視鏡画像を、複数の領域に分割する領域分割部と、画像取得部が取得した内視鏡画像の奥行を示す奥行情報を生成する奥行情報生成部と、領域分割部が領域分割した結果を示す領域情報および奥行情報生成部が生成した内視鏡画像の奥行情報にもとづいて、内視鏡が進行可能な方向を特定する認識部と、を備える。

【0009】

本開示の別の態様の内視鏡画像処理装置は、内視鏡が撮影した内視鏡画像を取得する画像取得部と、画像取得部が取得した内視鏡画像にもとづいて、所定の複数の操作内容の中から１つ以上の操作内容を選択する操作内容選択部と、画像取得部が取得した内視鏡画像を、複数の領域に分割する領域分割部と、領域分割部が領域分割した結果を示す領域情報にもとづいて、内視鏡先端部周辺の状況を認識する認識部と、操作内容選択部により選択された操作内容と、認識部により認識された状況にもとづいて、実施する操作内容を決定する操作内容決定部とを備える。

【0010】

本開示のさらに別の態様の内視鏡画像を処理する方法は、内視鏡が撮影した内視鏡画像を取得し、取得した内視鏡画像を、複数の領域に分割し、取得した内視鏡画像の奥行を示す奥行情報を生成し、領域分割した結果を示す領域情報および内視鏡画像の奥行情報にもとづいて、内視鏡が進行可能な方向を特定する。

【0011】

なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

【図面の簡単な説明】

【0012】

【図1】実施形態の内視鏡システムの構成を示す図である。

【図2】実施形態の内視鏡システムの機能ブロックを示す図である。

【図3】内視鏡画像の一例を示す図である。

【図4】実施例１の制御部の機能ブロックを示す図である。

【図5】内視鏡画像の一例を示す図である。

【図6】領域分割結果の例を示す図である。

【図7】奥行情報推定結果の例を示す図である。

【図8】領域分割結果画像と奥行推定結果画像とを重ね合わせた重畳画像の例を示す図である。

【図9】重畳画像における認識結果の例を示す図である。

【図10】内視鏡画像の別の例を示す図である。

【図11】領域分割結果の例を示す図である。

【図12】奥行情報推定結果の例を示す図である。

【図13】内視鏡画像の別の例を示す図である。

【図14】領域分割結果の例を示す図である。

【図15】奥行情報推定結果の例を示す図である。

【図16】内視鏡画像の別の例を示す図である。

【図17】領域分割結果の例を示す図である。

【図18】奥行情報推定結果の例を示す図である。

【図19】実施例２の制御部の機能ブロックを示す図である。

【図20】教師データの例を示す図である。

【図21】教師データの別の例を示す図である。

【図22】教師データの別の例を示す図である。

【図23】教師データの別の例を示す図である。

【図24】教師データの別の例を示す図である。

【図25】教師データの別の例を示す図である。

【図26】教師データの別の例を示す図である。

【図27】教師データの別の例を示す図である。

【図28】教師データの別の例を示す図である。

【図29】教師データの別の例を示す図である。

【図30】教師データの別の例を示す図である。

【図31】（ａ）は内視鏡画像の一例を示し、（ｂ）は領域分割結果画像の一例を示す図である。

【図32】領域分割結果画像を複数の部分領域に分割した状態を示す図である。

【図33】（ａ）は内視鏡画像の一例を示し、（ｂ）は領域分割結果画像の一例を示す図である。

【図34】領域分割結果画像を複数の部分領域に分割した状態を示す図である。

【図35】（ａ）は内視鏡画像の一例を示し、（ｂ）は領域分割結果画像の一例を示す図である。

【図36】領域分割結果画像を複数の部分領域に分割した状態を示す図である。

【図37】屈曲部の襞エッジの２つの端点と、その中間点を示す図である。

【図38】内視鏡画像の別の例を示す図である。

【図39】領域分割結果の例を示す図である。

【図40】奥行情報推定結果の例を示す図である。

【図41】奥行推定結果画像の認識例を示す図である。

【発明を実施するための形態】

【0013】

以下、本開示の実施形態について、図面を参照しつつ説明を行う。
図１は、実施形態の内視鏡システム１の構成を示す。内視鏡システム１は内視鏡検査室に設けられ、内視鏡制御装置２、内視鏡１０、入力装置５０および表示装置６０を備える。内視鏡制御装置２は、処理装置２０、挿入形状検出装置３０および外力情報取得装置４０を有し、被検者の体内に挿入された内視鏡１０を自動操作する機能を有する。内視鏡１０の自動操作は、１つ以上のプロセッサ２２および記憶媒体２４を備える処理装置２０によって実施される。

【0014】

入力装置５０は、ユーザにより操作される入力インターフェースであって、ユーザの操作に応じた指示を処理装置２０へ出力するように構成されている。入力装置５０は、たとえばマウス、キーボード、タッチパネル等のような操作装置を含んでよい。表示装置６０は、処理装置２０から出力される内視鏡画像等を画面表示する機器であり、液晶ディスプレイや有機ＥＬディスプレイであってよい。

【0015】

内視鏡１０は、固体撮像素子（たとえばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）を含む撮像部を備える。固体撮像素子は入射光を電気信号に変換して、処理装置２０に出力する。処理装置２０は、固体撮像素子により光電変換された撮像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施す信号処理部を有し、内視鏡画像を生成する。なお信号処理部は内視鏡１０側に設けられて、内視鏡１０が内視鏡画像を生成してもよい。処理装置２０は、内視鏡１０により撮影される映像を表示装置６０にリアルタイムで表示させる。

【0016】

内視鏡１０は、被検体内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１６と、操作部１６から延設されたユニバーサルコード１７とを備える。内視鏡１０は、ユニバーサルコード１７の端部に設けられたスコープコネクタ（不図示）により、処理装置２０に対して着脱自在に接続される。

【0017】

細長形状の挿入部１１は、硬質の先端部１２と、湾曲自在に形成された湾曲部１３と、可撓性を有する長尺な可撓管部１４とを、先端側から基端側に向けて順に有する。先端部１２、湾曲部１３および可撓管部１４の内部には、複数のソースコイル１８が、挿入部１１の長手方向に沿って所定の間隔で配置されており、ソースコイル１８は、処理装置２０から供給されるコイル駆動信号に応じた磁界を発生する。

【0018】

内視鏡１０が被検体内に挿入された状態で、医師等のユーザが操作部１６のレリーズスイッチを操作すると、処理装置２０は内視鏡画像をキャプチャし、画像サーバ（不図示）に送信して記録させる。レリーズスイッチは入力装置５０に設けられてもよい。内視鏡１０の内部には、処理装置２０から供給される照明光を伝送して、被検体内を照明するためのライトガイド（不図示）が設けられ、先端部１２には、ライトガイドにより伝送される照明光を被写体へ出射するための照明窓と、被写体を所定の周期で撮影して撮像信号を処理装置２０に出力する撮像部が設けられる。

【0019】

実施形態の内視鏡システム１では、処理装置２０が内視鏡１０を自動操作して、被検体内における内視鏡１０の動作を自動制御するが、ユーザが操作部１６を把持して、内視鏡１０を手動で操作することも可能である。

【0020】

操作部１６は、ユーザが内視鏡１０を操作するための操作部材を備えてよい。操作部１６は、挿入部１１の長手軸に対して交差する８方向に湾曲部１３を湾曲させるためのアングルノブを少なくとも含む。
以下、内視鏡１０の基本操作例を示す。
・挿入部１１を前進させるための“前進操作（押し操作）”
・挿入部１１を後退させるための“後退操作（引き操作）”
・湾曲部１３を湾曲させるための“アングル操作”
・挿入部１１を挿入軸周りに回転させるための“捻り操作”
・先端部１２の前方へ気体を噴出させるための“送気操作”
・先端部１２の前方へ液体を噴出させるための“送水操作”
・先端部１２の近傍に存在する組織片等の物体を吸引させるための“吸引操作”
・湾曲部１３を複数の方向に湾曲させて先端部１２を複数の方向に向け、管腔中心を探索するための“探索操作”

【0021】

なお実施形態において、先端部１２の上下方向は、挿入部１１の挿入軸に対して直交する方向として設定されるとともに、撮像部に設けられた固体撮像素子の垂直方向に対応する方向として設定される。また先端部１２の左右方向は、挿入部１１の挿入軸に対して直交する方向として設定されるとともに、撮像部に設けられた固体撮像素子の水平方向に対応する方向として設定される。したがって実施形態においては、先端部１２の上下方向と信号処理部２２０から出力される内視鏡画像の上下方向とが一致し、先端部１２の左右方向と当該内視鏡画像の左右方向とが一致する。

【0022】

処理装置２０は、挿入形状検出装置３０、外力情報取得装置４０、入力装置５０および表示装置６０の各構成に対して着脱自在に接続される。処理装置２０は、入力装置５０から入力されたユーザによる指示を受け付け、当該指示に対応する処理を実施する。また処理装置２０は、内視鏡１０から周期的に出力される撮像信号を取得して、内視鏡画像を表示装置６０に表示させる。

【0023】

挿入形状検出装置３０は、挿入部１１に設けられた複数のソースコイル１８のそれぞれが発生する磁界を検出し、当該検出した磁界の強度に基づいて複数のソースコイル１８のそれぞれの位置を取得する機能をもつ。挿入形状検出装置３０は、取得した複数のソースコイル１８の位置を示す挿入形状情報を生成し、処理装置２０および外力情報取得装置４０に出力する。

【0024】

外力情報取得装置４０は、外力が加えられていない状態における挿入部１１の所定の複数の位置の曲率（または曲率半径）および湾曲角度のデータと、想定されるあらゆる方向から挿入部１１の任意の位置に所定の外力を加えた状態で取得した当該所定の複数の位置の曲率（または曲率半径）および湾曲角度のデータとを格納している。外力情報取得装置４０は、挿入形状検出装置３０から出力される挿入形状情報に基づいて挿入部１１に設けられた複数のソースコイル１８の位置を特定し、当該複数のソースコイル１８のそれぞれの位置における曲率（または曲率半径）および湾曲角度を取得する。外力情報取得装置４０は、取得した曲率（または曲率半径）および湾曲角度と、予め格納している各種データとから、当該複数のソースコイル１８のそれぞれの位置における外力の大きさ及び方向を示す外力情報を取得してよい。外力情報取得装置４０は、取得した外力情報を処理装置２０に出力する。

【0025】

図２は、実施形態に係る内視鏡システム１の機能ブロックを示す。内視鏡システム１は、内視鏡１０、処理装置２０、挿入形状検出装置３０、外力情報取得装置４０、入力装置５０および表示装置６０を備える。

【0026】

内視鏡１０は、ソースコイル１８、撮像部１１０、進退機構１４１、湾曲機構１４２、ＡＷＳ機構１４３および回転機構１４４を備える。進退機構１４１、湾曲機構１４２、ＡＷＳ機構１４３および回転機構１４４は、内視鏡１０における動作機構を構成する。

【0027】

撮像部１１０は、照明光により照明された被写体からの戻り光が入射される観察窓と、当該戻り光を撮影して撮像信号を出力する固体撮像素子（たとえばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）とを有する。

【0028】

進退機構１４１は、挿入部１１を前進および後退させる動作を実現するための機構を有する。たとえば進退機構１４１は、挿入部１１を挟んで対向する位置に配置された一対のローラと、当該一対のローラを回転させるモータとを有して構成されてよい。進退機構１４１は、処理装置２０から出力される進退制御信号に応じてモータを駆動して、一対のローラを回転させることにより、挿入部１１を前進させる動作および挿入部１１を後退させる動作のいずれか一方を実行する。

【0029】

湾曲機構１４２は、湾曲部１３を曲げる動作を実現するための機構を有する。たとえば湾曲機構１４２は、湾曲部１３に設けられた複数の湾曲駒と、当該複数の湾曲駒に連結された複数のワイヤと、当該複数のワイヤを牽引するためモータとを有して構成されてよい。湾曲機構１４２は、処理装置２０から出力される湾曲制御信号に応じてモータを駆動して、複数のワイヤの牽引量を変化させることにより、挿入部１１の長手軸に対して交差する８方向のいずれかに湾曲部１３を湾曲させることができる。

【0030】

ＡＷＳ（Ａｉｒ ｆｅｅｄｉｎｇ， Ｗａｔｅｒ ｆｅｅｄｉｎｇ， ａｎｄ Ｓｕｃｔｉｏｎ）機構１４３は、送気動作、送水動作および吸引動作を実現するための機構を有する。たとえばＡＷＳ機構１４３は、挿入部１１、操作部１６およびユニバーサルコード１７の内部に設けられた送気送水管路および吸引管路の２つの管路と、当該２つの管路のうちの一方を開放しつつ他方を閉塞する動作を行う電磁弁とを有して構成されてよい。

【0031】

ＡＷＳ機構１４３は、処理装置２０から出力されるＡＷＳ制御信号に応じて送気送水管路を開放するように電磁弁を動作した場合、処理装置２０から供給される水及び空気の少なくとも一方を含む流体を当該送気送水管路に流通させ、先端部１２に形成された排出口から当該流体を排出させる。またＡＷＳ機構１４３は、処理装置２０から出力されるＡＷＳ制御信号に応じて吸引管路を開放するように電磁弁を動作した場合、処理装置２０において発生した吸引力を当該吸引管路に作用し、先端部１２に形成された吸引口付近に存在する物体を当該吸引力により吸引する。

【0032】

回転機構１４４は、挿入部１１の挿入軸を回転軸として、挿入部１１を回転する動作を実現するための機構を有する。たとえば回転機構１４４は、可撓管部１４の基端側において挿入部１１を回転可能に支持する支持部材と、当該支持部材を回転させるためのモータとを有して構成されてよい。回転機構１４４は、処理装置２０から出力される回転制御信号に応じてモータを駆動して、支持部材を回転させることにより、挿入部１１を挿入軸周りに回転させる。

【0033】

挿入形状検出装置３０は、受信アンテナ３１０および挿入形状情報取得部３２０を備える。受信アンテナ３１０は、複数のソースコイル１８のそれぞれが発生する磁界を３次元的に検出する複数のコイルを有して構成されている。受信アンテナ３１０は、複数のソースコイル１８のそれぞれが発生する磁界を検出すると、当該検出した磁界の強度に応じた磁界検出信号を挿入形状情報取得部３２０に出力する。

【0034】

挿入形状情報取得部３２０は、受信アンテナ３１０から出力される磁界検出信号に基づき、複数のソースコイル１８のそれぞれの位置を取得する。具体的に挿入形状情報取得部３２０は、複数のソースコイル１８の位置として、被検体の所定の位置（肛門等）を原点または基準点とする仮想的な空間座標系における複数の３次元座標値を取得する。挿入形状情報取得部３２０は、複数のソースコイル１８の３次元座標値を含む挿入形状情報を生成し、制御部２６０および外力情報取得装置４０に出力する。

【0035】

外力情報取得装置４０は、挿入形状検出装置３０から出力される挿入形状情報に基づいて、当該複数のソースコイル１８のそれぞれの位置における曲率（または曲率半径）および湾曲角度を取得する。外力情報取得装置４０は、取得した曲率（または曲率半径）および湾曲角度と、予め格納している各種データとから、当該複数のソースコイル１８のそれぞれの位置における外力の大きさ及び方向を示す外力情報を取得してよい。外力情報取得装置４０は、取得した外力情報を制御部２６０へ出力する。

【0036】

処理装置２０は、光源部２１０、信号処理部２２０、コイル駆動信号生成部２３０、駆動部２４０、表示処理部２５０および制御部２６０を備える。実施形態において処理装置２０は、内視鏡画像を処理する画像処理装置としての役割をもつ。具体的に処理装置２０は、内視鏡画像にもとづいて内視鏡１０の動作または操作に関する情報を生成し、内視鏡１０の動作を自動制御する。

【0037】

光源部２１０は、被検体内を照明するための照明光を生成して、当該照明光を内視鏡１０に供給する。光源部２１０は、１つ以上のＬＥＤまたは１つ以上のランプを光源として有してよい。光源部２１０は、制御部２６０から供給される動作制御信号に応じて照明光の光量を変化させてよい。

【0038】

信号処理部２２０は信号処理回路を有し、内視鏡１０から出力される撮像信号に対して所定の処理を施して内視鏡画像を生成し、当該生成した内視鏡画像を表示処理部２５０および制御部２６０へ出力する。

【0039】

コイル駆動信号生成部２３０は、ソースコイル１８を駆動させるためのコイル駆動信号を生成する。コイル駆動信号生成部２３０はドライブ回路を有し、制御部２６０から供給される動作制御信号にもとづいてコイル駆動信号を生成して、ソースコイル１８に供給する。

【0040】

駆動部２４０は、制御部２６０から供給される動作制御信号に基づき、内視鏡１０の基本操作に対応する制御信号を生成して、内視鏡１０の動作機構を駆動する。具体的に駆動部２４０は、進退機構１４１による進退動作、湾曲機構１４２による湾曲動作、ＡＷＳ機構１４３によるＡＷＳ動作および回転機構１４４による回転動作のうちの少なくとも１つの動作を制御する。駆動部２４０は、進退駆動部２４１、湾曲駆動部２４２、ＡＷＳ駆動部２４３および回転駆動部２４４を備える。

【0041】

進退駆動部２４１は、制御部２６０から供給される動作制御信号に基づき、進退機構１４１の動作を制御するための進退制御信号を生成して出力する。具体的に進退駆動部２４１は、制御部２６０から供給される動作制御信号に基づき、進退機構１４１に設けられたモータの回転を制御するための進退制御信号を生成して出力する。

【0042】

湾曲駆動部２４２は、制御部２６０から供給される動作制御信号に基づき、湾曲機構１４２の動作を制御するための湾曲制御信号を生成して出力する。具体的に湾曲駆動部２４２は、制御部２６０から供給される動作制御信号に基づき、湾曲機構１４２に設けられたモータの回転を制御するための湾曲制御信号を生成して出力する。

【0043】

ＡＷＳ駆動部２４３は、制御部２６０から供給される動作制御信号に基づき、ＡＷＳ機構１４３の動作を制御するためのＡＷＳ制御信号を生成して出力する。具体的にＡＷＳ駆動部２４３は、制御部２６０から供給される動作制御信号に基づいて、ＡＷＳ機構１４３に設けられた電磁弁の動作状態を制御するためのＡＷＳ制御信号を生成して出力する。

【0044】

回転駆動部２４４は、制御部２６０から供給される動作制御信号に基づき、回転機構１４４の動作を制御するための回転制御信号を生成して出力する。具体的に回転駆動部２４４は、制御部２６０から供給される動作制御信号に基づき、回転機構１４４に設けられたモータの回転を制御するための回転制御信号を生成して出力する。

【0045】

表示処理部２５０は、信号処理部２２０から出力される内視鏡画像を含む表示画像を生成し、当該生成した表示画像を表示装置６０に表示させる。なお表示処理部２５０は、制御部２６０が内視鏡画像を処理した結果画像を表示装置６０に表示させてもよい。

【0046】

制御部２６０は、内視鏡１０の手動挿入モードがオンに設定されている場合に、操作部１６および入力装置５０からの指示等に応じた動作を内視鏡１０に行わせるための動作制御信号を生成して、駆動部２４０に出力する機能を有する。また制御部２６０は、内視鏡１０の自動挿入モードがオンに設定されている場合に、信号処理部２２０で生成された内視鏡画像に基づいて、内視鏡１０の動作を自動制御する機能を有する。以下、実施形態における自動操作制御について説明する前に、医師による内視鏡の手動操作について説明する。

【0047】

手動挿入モードにおいて、医師は様々な判断にもとづいて内視鏡を操作する。医師は内視鏡画像を見て、たとえば、内視鏡先端部の近くに存在する障害物を回避する、粘膜表面に内視鏡先端部を接触させない、腸管に負荷を与えない、より先の経路を想定して今回の経路を決める等のことを瞬時に判断して、内視鏡を操作している。

【0048】

図３（ａ）は、内視鏡画像の一例を示す。内視鏡画像７０ａは、ゴムで形成した腸管（ゴム腸管）を内視鏡で撮影した画像である。医師は、内視鏡画像７０ａを見て、管腔（つまりは管腔の中心、換言すると管腔方向）が画像中央に存在することを確認すると、内視鏡先端部を前進させてよいことを判断し、内視鏡先端部を前方に進行させる。

【0049】

図３（ｂ）は、内視鏡画像の別の例を示す。内視鏡画像７０ｂも同じく、ゴム腸管を撮影した画像である。医師は、内視鏡画像７０ｂを見て、管腔中心が画像上部に存在することを確認し、この状態で内視鏡先端部を前進させると画像中央部の襞に接触することを判断する。そこで医師は、湾曲部１３を上方に湾曲させるようにアングルノブを操作して、管腔中心が画像中央に撮影されるようにする。管腔中心が画像中央で撮影されると、図２（ａ）に示す内視鏡画像７０ａと同様の状態になるため、医師は、内視鏡先端部を前進させてよいことを判断し、内視鏡先端部を前方に進行させる。

【0050】

以上の判断および操作は、医師であればこそ簡単に実施できるのであり、これを装置で実現しようとすると、内視鏡画像から管腔中心を特定しつつ、内視鏡先端部周辺の状況を認識して把握する必要がある。そこで実施形態では、内視鏡画像にもとづいて、内視鏡１０の動作を適切に決定するための技術を提案する。

【0051】

＜実施例１＞
図４は、実施例１における制御部２６０の機能ブロックを示す。制御部２６０は、画像取得部２６１、領域分割部２６２、奥行情報生成部２６３、認識部２６４、動作決定部２６５、動作制御部２６６および駆動判定部２６７を備える。

【0052】

図４に示す制御部２６０は、ハードウエア的には、１以上のプロセッサ２２、メモリ、補助記憶装置、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。たとえば制御部２６０の少なくとも一部の機能を実行させるためのプログラムが記憶媒体２４に記憶されており、プロセッサ２２が、記憶媒体２４からプログラムをメモリにロードして、制御部２６０の各機能を実現してもよい。

【0053】

画像取得部２６１は、信号処理部２２０から、被検体内に挿入されている内視鏡１０が撮影した内視鏡画像を取得する。内視鏡１０の撮像部１１０は、所定の周期（たとえば３０フレーム／秒）で撮像信号を信号処理部２２０に供給し、信号処理部２２０は、撮像信号から内視鏡画像を生成して、画像取得部２６１に供給する。したがって画像取得部２６１は、所定の周期で内視鏡画像を取得する。画像取得部２６１は、取得した内視鏡画像を、領域分割部２６２および奥行情報生成部２６３に供給する。

【0054】

（内視鏡画像の領域分割処理）
領域分割部２６２は、画像取得部２６１が取得した内視鏡画像を、複数の領域に分割する機能をもつ。具体的に領域分割部２６２は、内視鏡画像内の各画素にラベルを付けるセマンティックセグメンテーションを実行して、内視鏡画像を所定の複数の構造に対応する領域に分割する。領域分割部２６２は、分割したい種別（クラス）の構造をもつ領域を定義し、各種構造の画素にラベル付けを行った領域分割結果を生成する。セマンティックセグメンテーションは、ＦＣＮ（Fully Convolutional Neural Network）やＢｉＳｅＮｅｔ（Bilateral Segmentation Network）等を用いて実現されるが、実施例１における領域分割部２６２はＦＣＮを利用して、セマンティックセグメンテーションを実行してよい。

【0055】

分割する領域の種別（クラス）として、０～２５５までのラベル値が用意されてよい。実施例１では、以下の構造に対して、ラベル値が割り当てられる。
ラベル値０：背景画素
ラベル値１：通常管腔
ラベル値２：襞エッジ（輪郭）
ラベル値３：屈曲部の管腔
ラベル値４：屈曲部の襞エッジ
を設定する。

【0056】

セマンティックセグメンテーションにおいて、ラベル値０は一般に“抽出しない領域”を意味するが、実施例１で定義されるラベル値０は、粘膜表面を意味する。ラベル値１を割り当てられる“通常管腔”は、内視鏡画像において内視鏡が進行可能な構造を意味し、内視鏡先端部の進行方向を示す構造として定義される。具体的に“通常管腔”として定義される構造は、管腔の延伸方向を表現する。なお、これらのクラスに加えて、大腸内視鏡検査で出現する残渣、ポリープ、血管等の構造にクラスを設定し、それらのクラスに、それぞれラベル値を割り当ててもよい。

【0057】

（内視鏡画像の奥行情報生成処理）
奥行情報生成部２６３は、画像取得部２６１が取得した内視鏡画像の奥行を示す情報を生成する機能をもつ。画像に含まれる画素ないしはブロックの奥行を推定する手法は従来より様々提案されている。非特許文献２は、距離情報の教師データとして、ＣＴコロノグラフィによる３次元情報を利用しているが、奥行情報生成部２６３は、非特許文献２に開示された技術を利用して、内視鏡画像の各画素の奥行を示す情報を生成してよい。

【0058】

なお奥行情報生成部２６３は、奥行推定処理のための学習モデルを、簡易に作成した教師データをもとに生成してもよい。たとえば教師データの作成者は、目視により画像の各領域に対して奥行方向の位置関係に応じたラベル値０～４の各段階を指定することで、教師データを作成してよい。この場合、人間の感覚に基づく相対的な奥行方向の位置関係が得られる。通常の内視鏡画像から絶対的な数値としての距離情報を得ることは容易でないが、内視鏡画像を見ることに熟練した者が感覚的に近接ないし遠景であることを判断することは容易であり、また実際に医師は画像から得られる感覚的な距離情報を用いて挿入操作を実施しているため、このように作成した教師データの信頼性は高く、正確な奥行を推定可能な学習モデルを生成することが可能となる。

【0059】

奥行情報生成部２６３による奥行推定手法においては、内視鏡先端部１２からの距離範囲に応じたクラスを設定する。実施例１では、各距離範囲に対して、ラベル値が割り当てられる。
ラベル値０： 奥行＜第１距離
ラベル値１：第１距離≦奥行＜第２距離
ラベル値２：第２距離≦奥行＜第３距離
ラベル値３：第３距離≦奥行＜第４距離
ラベル値４：第４距離≦奥行
ラベル値０は、先端部１２からの距離が最も近い領域であり、ラベル値４は、先端部１２からの距離が最も遠い領域であることを意味する。

【0060】

図５は、内視鏡画像の一例を示す。内視鏡画像は７２０×４８０のサイズをもち、ＲＧＢの各画素が８ビットで表現される。この内視鏡画像において管腔は奥行方向に直線的に撮影されており、複数の襞が管腔を囲んでいる。このうち右下に撮影されている襞は、内視鏡先端部に近い距離に存在している。

【0061】

画像取得部２６１は信号処理部２２０から、内視鏡１０が撮影した内視鏡画像を取得すると、領域分割部２６２および奥行情報生成部２６３に供給する。領域分割部２６２は、セマンティックセグメンテーションを実行して、内視鏡画像を複数の領域に分割する。同時に奥行情報生成部２６３は、奥行推定処理を実行して、内視鏡画像の奥行を示す奥行情報を生成する。

【0062】

図６は、領域分割部２６２による領域分割結果の例を示す。領域分割部２６２は、内視鏡画像を複数の領域に分割し、領域分割した結果を示す領域情報を導出する。ここで領域情報は、構造に関する各画素のラベル値として導出されてよい。実施例１で領域分割部２６２は、導出したラベル値を用いて、領域分割結果画像を生成している。後述するが、領域分割結果画像は、表示装置６０に表示されて、ユーザに提示されてよい。

【0063】

領域分割部２６２は、分割領域のラベル値に対応する（Ｒ，Ｇ，Ｂ）の画素値を、以下のように設定してよい。なお奥行情報に関するラベル値と区別するために、以下では、分割領域のラベル値０～４を、ラベル値ａ０～ａ４と表現する。
ラベル値ａ０（背景画素）→（０，０，０）
ラベル値ａ１（通常管腔）→（１２８，０，０）
ラベル値ａ２（襞エッジ）→（０，０，１２８）
ラベル値ａ３（屈曲部の管腔）→（１９２，０，０）
ラベル値ａ４（屈曲部の襞エッジ）→（１２８，１２８，１２８）

【0064】

領域分割部２６２は、このように画素値を設定することで、大部分を占める粘膜表面（ラベル値ｅ０）が黒塗りされ、抽出された構造部分が色塗りされた領域分割結果画像を生成する。領域分割部２６２は、領域分割結果画像を、領域分割した結果を示す領域情報として認識部２６４に供給する。図６に示す例では、同心円状の襞エッジの領域と、通常管腔の領域とが、ユーザが視認できるように表示されている。なお別の例では、領域分割部２６２は、各画素のラベル値を、領域分割した結果を示す領域情報として認識部２６４に供給してもよい。

【0065】

図７は、奥行情報生成部２６３による奥行情報推定結果の例を示す。奥行情報生成部２６３は、内視鏡画像に対して奥行推定処理を実行して、内視鏡画像の奥行を示す奥行情報を生成する。ここで奥行情報は、奥行（内視鏡先端部からの距離）に関する各画素のラベル値として導出されてよい。実施例１で奥行情報生成部２６３は、導出したラベル値を用いて、奥行推定結果画像を生成している。後述するが、奥行推定結果画像は、領域分割結果画像とともに表示装置６０に表示されて、ユーザに提示されてよい。

【0066】

奥行情報生成部２６３は、奥行の段階を表現するラベル値に対応する（Ｒ，Ｇ，Ｂ）の画素値を、以下のように設定してよい。なお分割領域に関するラベル値と区別するために、以下では、奥行情報のラベル値０～４を、ラベル値ｄ０～ｄ４と表現する。
ラベル値ｄ０（第１距離未満）→（４０，０，０）
ラベル値ｄ１（第１距離以上、第２距離未満）→（８０，０，０）
ラベル値ｄ２（第２距離以上、第３距離未満）→（１２０，０，０）
ラベル値ｄ３（第３距離以上、第４距離未満）→（１６０，０，０）
ラベル値ｄ４（第４距離以上）→（２００，０，０）

【0067】

奥行情報生成部２６３は、このように画素値を設定することで、深い領域ほど、明るい赤色を付けられた奥行推定結果画像を生成する。奥行情報生成部２６３は、奥行推定結果画像を、内視鏡画像の奥行情報として認識部２６４に供給する。なお別の例では、奥行情報生成部２６３は、各画素のラベル値を、内視鏡画像の奥行情報として認識部２６４に供給してもよい。

【0068】

認識部２６４は、領域分割部２６２から内視鏡画像の領域情報を受け取り、奥行情報生成部２６３から内視鏡画像の奥行情報を受け取って、内視鏡先端部周辺の状況を認識する。具体的に認識部２６４は、領域情報と奥行情報とを用いて、内視鏡画像に含まれる管腔方向、襞等の構造を、奥行方向の位置関係とともに認識する。

【0069】

図８は、領域分割結果画像と奥行推定結果画像とを重ね合わせた重畳画像の例を示す。領域分割結果画像および奥行推定結果画像が高精度に生成されている場合、領域分割結果画像において抽出される襞エッジと、奥行推定結果画像に示される境界線は、基本的に一致する。また領域分割結果画像において抽出される通常管腔領域と、奥行推定結果画像に示される最深部領域も、基本的に一致する。認識部２６４は重畳画像から、領域分割部２６２により分割された各種構造に対応する領域の各々が奥行方向においてどの程度の深さに位置しているかを認識できる。

【0070】

次に、奥行方向の位置関係をともなう各種構造の認識について説明する。
図９は、図８に示した重畳画像における認識結果の例を示す。図９に示す重畳画像では、奥行方向に関する情報として、領域にラベル値ｄ０～ｄ４を付加している。また領域分割部２６２により襞エッジとして抽出された領域（ラベル値ａ２）に、ｅ１～ｅ５の符号を割り振っている。

【0071】

図６に示す領域分割結果画像を参照すると、襞エッジｅ２、ｅ３、ｅ４は連続しているため、領域分割結果画像の情報のみにもとづけば、襞エッジｅ２、ｅ３、ｅ４に対して、１つの符号が割り振られる。しかしながら認識部２６４は、内視鏡画像の奥行情報を参照して、各画素の奥行に関するラベル値ｄ０～ｄ４を特定することで、襞エッジｅ２、ｅ３、ｅ４が互いに異なるものであることを認識できる。なお襞エッジが奥行に関する異なるラベル値の境界に存在する場合、認識部２６４は、より浅い方のラベル値を適用することが好ましい。

【0072】

任意の画素ｐ（ｘ，ｙ）の状況を認識する手法を説明する。なお０≦ｘ＜７２０，０≦ｙ＜４８０である。画素ｐ（ｘ，ｙ）について、領域分割に関するラベル値ｐａ（ｘ，ｙ）が“ａ２”であり、奥行に関するラベル値ｐｄ（ｘ，ｙ）が“ｄ０”であったとする。ここでラベル値ａ２は、襞エッジであることを示し、ラベル値ｄ０は、奥行方向において内視鏡先端部に最も近接していると推定された領域であることを示す。認識部２６４は、このような画素ｐが襞エッジｅ１またはｅ３を構成する画素であることを認識する。また認識部２６４は、領域ｄ０が、襞エッジｅ１およびｅ３を含んでいることから、襞を含む粘膜表面を撮影した領域と認識する。襞エッジｅ２、ｅ４、ｅ５の奥行に関するラベル値ｐｄ（ｘ，ｙ）は、それぞれ“ｄ１”、“ｄ２”、“ｄ３”であり、したがって認識部２６４は、領域ｄ１、ｄ２およびｄ３も、深さの異なる襞を含む粘膜表面を撮影した領域と認識する。

【0073】

認識部２６４は、最深部領域を示すラベル値ｄ４をもつ画素ｐ（ｘ，ｙ）を特定して、当該画素ｐ（ｘ，ｙ）に割り当てられた領域分割に関するラベル値ｐａ（ｘ，ｙ）を参照する。このときラベル値ｄ４をもつ領域と、ラベル値ａ１をもつ領域とが実質的に一致していれば、認識部２６４は、ラベル値ｄ４およびラベル値ａ１をもつ領域が、最深部であるとともに、進行方向を示す構造を示すことを認識する。またラベル値ｄ４の最深部領域の境界となる襞エッジｅ３が、ラベル値ｄ０の最も浅い領域に属していることから、認識部２６４は、画像右下に内視鏡先端部の前進動作に対して障害となり得る襞が存在することを認識する。つまり認識部２６４は、画像右下に示す方向が、内視鏡が進行してはいけない方向であることを認識する。

【0074】

以上のように認識部２６４は、領域分割部２６２が領域分割した結果を示す領域情報および奥行情報生成部２６３が生成した内視鏡画像の奥行情報にもとづいて、内視鏡画像に含まれる各種構造を、奥行方向の位置関係とともに認識する。これにより認識部２６４は、内視鏡が進行可能な方向および進行してはいけない方向を特定するとともに、内視鏡が進行したときに障害となりうる構造の存在位置を特定する。認識部２６４は、これらの認識結果を示す情報を、動作決定部２６５に供給する。

【0075】

動作決定部２６５は、認識部２６４における認識結果にもとづいて、内視鏡１０の進行方向に関する情報を生成する。具体的に動作決定部２６５は、内視鏡先端部を進行可能な方向および進行してはいけない方向から、内視鏡１０の進行方向に関する情報を生成してよい。この例で動作決定部２６５は、最深部の通常管腔領域よりも手前側に存在する襞を避けて先端部１２を上向きに前進させるように、内視鏡１０の進行方向に関する情報を生成してよい。

【0076】

図１０は、内視鏡画像の別の例を示す。この内視鏡画像においては、大腸の屈曲部が撮影されている。画像取得部２６１は信号処理部２２０から、内視鏡１０が撮影した内視鏡画像を取得すると、領域分割部２６２および奥行情報生成部２６３に供給する。領域分割部２６２は、内視鏡画像を複数の領域に分割して、領域分割結果画像を生成する。同時に奥行情報生成部２６３は、奥行推定処理を実行して、内視鏡画像の奥行を示す奥行情報を生成し、奥行情報にもとづいて奥行推定結果画像を生成する。

【0077】

図１１は、領域分割部２６２による領域分割結果の例を示す。領域分割部２６２は、内視鏡画像を複数の領域に分割し、領域分割した結果を示す領域情報を導出する。領域情報は、構造に関する各画素のラベル値ｐａ（ｘ，ｙ）として導出され、領域分割部２６２は、導出したラベル値を用いて、領域分割結果画像を生成する。この領域分割結果画像には、中央付近で縦方向に延びる屈曲部の襞エッジの領域と、屈曲部の襞エッジの上部に沿って抽出された屈曲部の管腔の領域が含まれる。領域分割部２６２は、領域分割結果画像を、領域分割した結果を示す領域情報として認識部２６４に供給する。

【0078】

図１２は、奥行情報生成部２６３による奥行情報推定結果の例を示す。奥行情報生成部２６３は、内視鏡画像に対して奥行推定処理を実行して、内視鏡画像の奥行を示す奥行情報を生成する。奥行情報は、奥行に関する各画素のラベル値ｐｄ（ｘ，ｙ）として導出され、奥行情報生成部２６３は、導出したラベル値を用いて、奥行推定結果画像を生成する。奥行情報生成部２６３は、奥行推定結果画像を、内視鏡画像の奥行情報として認識部２６４に供給する。

【0079】

認識部２６４は、領域分割部２６２から内視鏡画像の領域情報を受け取り、奥行情報生成部２６３から内視鏡画像の奥行情報を受け取って、内視鏡先端部周辺の状況を認識する。具体的に認識部２６４は、領域情報と奥行情報とを用いて、内視鏡画像に含まれる管腔方向、襞等の構造を、奥行方向の位置関係とともに認識する。これにより認識部２６４は、内視鏡が前進したときに障害となりうる構造の存在位置を特定し、内視鏡が進行可能な方向および進行してはいけない方向を特定する。この例で認識部２６４は、画像左側が進行可能な方向であり、画像右側が進行してはいけない方向であることを認識するとともに、管腔が右方向に続いていることを認識する。認識部２６４は、認識結果を動作決定部２６５に供給し、動作決定部２６５は、内視鏡が進行可能な方向および進行してはいけない方向にもとづいて、内視鏡の進行方向に関する情報を生成する。具体的に動作決定部２６５は、内視鏡先端部を左に向けて、向けた方向に前進させるように、内視鏡先端部の進行方向を決定する。

【0080】

図１３は、内視鏡画像の別の例を示す。この内視鏡画像においては、右側に大きな襞が撮影されている。画像取得部２６１は信号処理部２２０から内視鏡画像を取得すると、領域分割部２６２および奥行情報生成部２６３に供給する。

【0081】

図１４は、領域分割部２６２による領域分割結果の例を示す。領域分割部２６２は、内視鏡画像を複数の領域に分割し、領域分割した結果を示す領域情報を導出して、領域分割結果画像を生成する。この領域分割結果画像には、襞エッジの領域と、通常管腔の領域が含まれる。領域分割部２６２は、領域分割結果画像を、領域分割した結果を示す領域情報として認識部２６４に供給する。

【0082】

図１５は、奥行情報生成部２６３による奥行情報推定結果の例を示す。奥行情報生成部２６３は、内視鏡画像に対して奥行推定処理を実行して、内視鏡画像の奥行を示す奥行情報を生成し、奥行推定結果画像を生成する。奥行情報生成部２６３は、奥行推定結果画像を、内視鏡画像の奥行情報として認識部２６４に供給する。

【0083】

認識部２６４は、領域分割部２６２から内視鏡画像の領域情報を受け取り、奥行情報生成部２６３から内視鏡画像の奥行情報を受け取って、内視鏡先端部周辺の状況を認識する。この例で認識部２６４は、画像の右側に大きな襞が存在し、内視鏡の前進動作に障害となることを認識して、画像左側が進行可能な方向であり、画像右側が進行してはいけない方向であることを認識する。認識部２６４は、認識結果を動作決定部２６５に供給し、動作決定部２６５は、内視鏡が進行可能な方向および進行してはいけない方向にもとづいて、内視鏡の進行方向に関する情報を生成する。具体的に動作決定部２６５は、内視鏡先端部を左に向けて、向けた方向に前進させるように、内視鏡先端部の進行方向を決定する。

【0084】

図１６は、内視鏡画像の別の例を示す。この内視鏡画像においては、上側から左側にかけて大きな襞が撮影されている。画像取得部２６１は信号処理部２２０から内視鏡画像を取得すると、領域分割部２６２および奥行情報生成部２６３に供給する。

【0085】

図１７は、領域分割部２６２による領域分割結果の例を示す。領域分割部２６２は、内視鏡画像を複数の領域に分割し、領域分割した結果を示す領域情報を導出して、領域分割結果画像を生成する。この領域分割結果画像には、襞エッジの領域と、通常管腔の領域が含まれる。領域分割部２６２は、領域分割結果画像を、領域分割した結果を示す領域情報として認識部２６４に供給する。

【0086】

図１８は、奥行情報生成部２６３による奥行情報推定結果の例を示す。奥行情報生成部２６３は、内視鏡画像に対して奥行推定処理を実行して、内視鏡画像の奥行を示す奥行情報を生成し、奥行推定結果画像を生成する。奥行情報生成部２６３は、奥行推定結果画像を、内視鏡画像の奥行情報として認識部２６４に供給する。

【0087】

認識部２６４は、領域分割部２６２から内視鏡画像の領域情報を受け取り、奥行情報生成部２６３から内視鏡画像の奥行情報を受け取って、内視鏡先端部周辺の状況を認識する。図１７に示す領域分割結果画像と図１８に示す奥行推定結果画像とを比較すると、領域分割結果画像において通常管腔（ラベル値ａ１）として抽出された領域が、奥行推定結果画像においては、ラベル値ｄ３とｄ４の領域にまたがっている。そこで認識部２６４は、領域分割結果画像におけるラベル値ａ１の領域と、奥行推定結果画像におけるラベル値ｄ４の領域との重複領域を、内視鏡が進行可能な領域として特定する。認識部２６４は、認識結果を動作決定部２６５に供給し、動作決定部２６５は、内視鏡の進行方向に関する情報を生成する。具体的に動作決定部２６５は、内視鏡先端部を右に向けて、向けた方向に前進させるように、内視鏡先端部の進行方向を決定する。

【0088】

実施例１では、画像取得部２６１が内視鏡画像を取得するタイミング毎に、動作決定部２６５が、内視鏡１０の動作内容を決定し、動作制御部２６６が、決定した動作内容に応じた動作制御信号を生成して、駆動部２４０に供給してよい。

【0089】

なお別のタイミング例として、駆動部２４０が、動作制御部２６６による動作制御信号にもとづいて内視鏡１０の動作機構を駆動し、その駆動を終了したタイミングで、動作決定部２６５が、内視鏡１０の動作内容を決定し、動作制御部２６６が動作制御信号を生成してもよい。

【0090】

たとえば駆動部２４０が内視鏡１０の動作機構を駆動しているとき、駆動判定部２６７は、駆動部２４０が動作機構を駆動中であることを判定する。駆動部２４０による駆動が終了すると、駆動判定部２６７は、動作機構の駆動が終了したことを判定する。このとき駆動判定部２６７は、認識部２６４に新たな動作内容を決定するべきであることを通知する。認識部２６４は、内視鏡画像に含まれる各種構造の認識結果を生成し、動作決定部２６５は、認識結果にもとづいて内視鏡１０の動作内容を決定する。動作決定部２６５は、動作機構の駆動が完了した後または完了直前に、内視鏡１０の動作内容を決定してよい。

【0091】

実施例１において、領域分割部２６２による領域分割処理結果および奥行情報生成部２６３による奥行推定処理結果は、周波数成分情報や画素値の明るさ情報等を用いた各種の公知技術により補正されたうえで、認識部２６４に提供されてもよい。

【0092】

動作制御部２６６は、動作決定部２６５において決定した動作内容に基づいて、内視鏡１０の動作を制御する機能を有する。動作制御部２６６は、挿入形状検出装置３０から出力される挿入形状情報と、外力情報取得装置４０から出力される外力情報のうちの少なくとも１つに基づき、決定された動作内容における動作量を設定してもよい。動作制御部２６６は、動作決定部２６５により決定された動作内容と、当該動作内容における動作量とに応じた動作制御信号を生成し、駆動部２４０に出力する。

【0093】

実施例１の作用について説明する。以下においては、肛門から大腸の腸管内に挿入された挿入部１１の挿入操作に係る制御について説明する。
ユーザは、内視鏡システム１の各部を接続して電源を投入した後、内視鏡１０の先端部１２を被検体の肛門に挿入する。このときユーザは、入力装置５０を操作して内視鏡１０の自動挿入モードをオンに設定し、これにより処理装置２０は、内視鏡１０の自動操作機能を実行する。

【0094】

光源部２１０は、内視鏡１０に照明光を供給し、撮像部１１０は、当該照明光が照射された被写体を所定の周期で撮像して、撮像信号を処理装置２０に送信する。信号処理部２２０は、撮像信号から内視鏡画像を生成して、表示処理部２５０および画像取得部２６１に供給する。

【0095】

コイル駆動信号生成部２３０はコイル駆動信号を複数のソースコイル１８に供給し、受信アンテナ３１０は、複数のソースコイル１８のそれぞれで発生した磁界を検出して、挿入形状情報取得部３２０が、挿入部１１の挿入形状情報を生成する。挿入形状情報は、制御部２６０および外力情報取得装置４０に供給される。外力情報取得装置４０は、挿入形状情報から、複数のソースコイル１８のそれぞれの位置における外力情報を生成して、制御部２６０に供給する。

【0096】

領域分割部２６２は、画像取得部２６１が取得した内視鏡画像を、複数の領域に分割して、内視鏡画像の領域情報を生成する。奥行情報生成部２６３は、画像取得部２６１が取得した内視鏡画像の奥行を示す情報を生成する。認識部２６４は、領域分割部２６２から内視鏡画像の領域情報を受け取り、奥行情報生成部２６３から内視鏡画像の奥行情報を受け取って、内視鏡先端部周辺の状況を認識する。認識部２６４は、内視鏡画像の領域情報と、内視鏡画像の奥行情報とを用いて、内視鏡画像に含まれる管腔方向、襞等の構造を、奥行方向の位置関係とともに認識する。

【0097】

動作決定部２６５は、認識部２６４が認識した内視鏡先端部周辺の状況にもとづいて、内視鏡の進行方向に関する情報を生成する。具体的に動作決定部２６５は、認識部２６４が認識した、内視鏡先端部が進行可能な方向および進行してはいけない方向にもとづいて、内視鏡の進行方向に関する情報を生成して、内視鏡先端部の動作内容を決定する。

【0098】

動作制御部２６６は、動作決定部２６５において決定した動作内容に基づいて、内視鏡１０の動作を制御する動作制御信号を生成する。このとき動作制御部２６６は、挿入形状検出装置３０から出力される挿入形状情報と、外力情報取得装置４０から出力される外力情報の少なくとも１つに基づき、決定した動作内容における動作量を設定するための処理を行ってよい。動作制御部２６６は、決定した動作内容と、設定した動作量とに応じた動作制御信号を生成して駆動部２４０へ出力する。

【0099】

動作制御部２６６は、動作決定部２６５において決定した操作内容に基づいて、内視鏡１０の動作を制御する動作制御信号を生成する。このとき動作制御部２６６は、挿入形状検出装置３０から出力される挿入形状情報と、外力情報取得装置４０から出力される外力情報の少なくとも１つに基づき、決定した操作内容における動作量を設定するための処理を行ってよい。動作制御部２６６は、決定した操作内容と、設定した動作量とに応じた動作制御を行うための動作制御信号を生成して駆動部２４０へ出力する。

【0100】

動作制御部２６６は、動作決定部２６５により決定された動作内容がアングル操作である場合に、当該操作内容における動作量として、湾曲部１３の湾曲角度ＣＤＳを設定する。そして動作制御部２６６は、湾曲部１３を湾曲角度ＣＤＳだけ湾曲させる制御を実行させる動作制御信号を生成して、駆動部２４０へ出力する。

【0101】

動作制御部２６６は、動作決定部２６５により決定された動作内容が前進操作である場合に、当該操作内容における動作量として、挿入部１１の移動量ＭＥＳを設定する。そして動作制御部２６６は、挿入部１１を移動量ＭＥＳだけ前進させる制御を実行させる動作制御信号を生成して、駆動部２４０へ出力する。なお移動量ＭＥＳは、腸管内に挿入されている挿入部１１を安全に前進させることが可能な範囲内の値として設定されることが好ましい。

【0102】

動作制御部２６６は、動作決定部２６５により決定された動作内容が後退操作である場合に、当該操作内容における動作量として、挿入部１１の移動量ＭＦＳを設定する。そして動作制御部２６６は、挿入部１１を移動量ＭＦＳだけ後退させる制御を実行させる動作制御信号を生成して、駆動部２４０へ出力する。なお移動量ＭＦＳは、腸管内に挿入されている挿入部１１を安全に後退させることが可能な範囲内の値として設定されることが好ましい。

【0103】

動作制御部２６６は、動作決定部２６５により決定された操作内容が探索操作である場合に、当該操作内容における動作量として、挿入部１１の移動量ＭＧＳを設定する。そして動作制御部２６６は、挿入部１１を移動量ＭＧＳだけ後退させてから先端部１２を複数の方向に向ける制御を実行させる動作制御信号を生成して、駆動部２４０へ出力する。このとき動作制御部２６６は、先端部１２を４つ又は８つの方向に向ける制御を実行させる動作制御信号を生成してよい。探索操作ＳＥＳに関する処理では、先端部１２を複数方向に向け、それぞれの方向で撮影された内視鏡画像から通常管腔を見つける処理が実施される。

【0104】

動作制御部２６６は、挿入形状検出装置３０から出力される挿入形状情報と、外力情報取得装置４０から出力される外力情報の少なくとも１つに基づいて動作量を設定するが、記憶媒体２４に予め格納された設定値を読み込んで動作量を設定するものであってもよい。

【0105】

＜実施例２＞
図１９は、実施例２における制御部２６０の機能ブロックを示す。制御部２６０は、画像取得部２６１、操作内容選択部２７０、領域分割部２６２、奥行情報生成部２６３、認識部２６４、操作内容決定部２７１、動作制御部２６６、駆動判定部２６７および操作選択モデル２７２を備える。

【0106】

図１９に示す制御部２６０は、ハードウエア的には、１以上のプロセッサ２２、メモリ、補助記憶装置、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。たとえば制御部２６０の少なくとも一部の機能を実行させるためのプログラムが記憶媒体２４に記憶されており、プロセッサ２２が、記憶媒体２４からプログラムをメモリにロードして、制御部２６０の各機能を実現してもよい。

【0107】

実施例２における画像取得部２６１、領域分割部２６２、奥行情報生成部２６３、認識部２６４、動作制御部２６６および駆動判定部２６７は、実施例１で説明した画像取得部２６１、領域分割部２６２、奥行情報生成部２６３、認識部２６４、動作制御部２６６および駆動判定部２６７と同一または同様の機能を有しているため、以下、重複する説明は適宜省略する。

【0108】

画像取得部２６１は、信号処理部２２０から、被検体内に挿入されている内視鏡１０が撮影した内視鏡画像を取得する。実施例２において画像取得部２６１は、取得した内視鏡画像を、操作内容選択部２７０、領域分割部２６２および奥行情報生成部２６３に供給する。

【0109】

操作内容選択部２７０は、画像取得部２６１が取得した内視鏡画像にもとづいて、所定の複数の操作内容の中から１つ以上の操作内容を選択する機能を有する。換言すると、操作内容選択部２７０は、被検体内を撮影した内視鏡画像に基づき、内視鏡操作の複数の選択肢の中から、これから実施するべき操作内容を選択する。所定の複数の操作内容は、前進操作、後退操作、アングル操作、捻り操作、送気操作、送水操作、吸引操作の少なくとも１種類の操作から構成されてよい。

【0110】

操作内容選択部２７０は、操作選択モデル２７２に、画像取得部２６１において取得した内視鏡画像から取得される入力データを入力することで、当該内視鏡画像を撮影している内視鏡１０に対して推奨される操作内容を選択する。操作選択モデル２７２は、過去に撮影された内視鏡画像である学習用画像と、学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された学習済みモデルである。

【0111】

実施例２において、操作選択モデル２７２は、入力層と、１つ以上の畳み込み層と、出力層と、を含む多層のニューラルネットワークに相当するＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）における各結合係数（重み）をディープラーニング等の学習手法で学習させることにより生成される。

【0112】

領域分割部２６２は、画像取得部２６１が取得した内視鏡画像を、複数の領域に分割する機能をもつ。具体的に領域分割部２６２は、内視鏡画像内の各画素にラベルを付けるセマンティックセグメンテーションを実行して、内視鏡画像を各構造の領域に分割する。領域分割部２６２は、分割したい種別（クラス）の構造をもつ領域を定義し、各種構造の画素にラベル付けを行った領域分割結果を生成する。領域分割部２６２は、領域分割した結果を示す領域情報を、認識部２６４に供給する。

【0113】

奥行情報生成部２６３は、画像取得部２６１が取得した内視鏡画像の奥行を示す情報を生成する機能をもつ。画像に含まれる画素ないしはブロックの奥行を推定する手法は従来より様々提案されている。奥行情報生成部２６３は、たとえば非特許文献２に開示された技術を利用して、内視鏡画像の各画素の奥行を示す情報を生成してよい。奥行情報生成部２６３は、内視鏡画像の奥行情報を、認識部２６４に供給する。

【0114】

認識部２６４は、領域分割部２６２が領域分割した結果を示す領域情報および／または奥行情報生成部２６３が生成した内視鏡画像の奥行情報にもとづいて、内視鏡先端部周辺の状況を認識する。具体的に認識部２６４は、内視鏡先端部周辺の状況として、少なくとも内視鏡１０が進行可能な方向および進行してはいけない方向を特定する。

【0115】

操作内容決定部２７１は、操作内容選択部２７０において選択された操作内容と、認識部２６４により認識された内視鏡先端部周辺の状況にもとづいて、実施する操作内容を決定する。

【0116】

実施例２では、画像取得部２６１が内視鏡画像を取得するタイミング毎に、操作内容決定部２７１が、内視鏡１０の操作内容を決定し、動作制御部２６６が、決定した操作内容に応じた動作制御信号を生成して、駆動部２４０に供給してよい。なお別のタイミング例として、駆動部２４０が、動作制御部２６６による動作制御信号にもとづいて内視鏡１０の動作機構を駆動し、その駆動を終了したタイミングで、操作内容決定部２７１が内視鏡１０の操作内容を決定し、動作制御部２６６が動作制御信号を生成してもよい。

【0117】

（操作内容の選択処理）
操作選択モデル２７２の生成にあたり、腸管またはコロンモデルの内部を過去に内視鏡で撮影した内視鏡画像である学習用画像と、当該学習用画像により示される状況に最も適した操作内容が１２個の操作内容のうちのどれであるかを示すラベルと、を含む教師データを用いた機械学習が行われる。

【0118】

ここで１２個の操作内容は、以下のものを含む。
・湾曲部１３を湾曲させて先端部１２を上方向に向けるためのアングル操作ＵＰＳ
・湾曲部１３を湾曲させて先端部１２を右方向に向けるためのアングル操作ＲＩＳ
・湾曲部１３を湾曲させて先端部１２を下方向に向けるためのアングル操作ＤＯＳ
・湾曲部１３を湾曲させて先端部１２を左方向に向けるためのアングル操作ＬＥＳ
・湾曲部１３を湾曲させて先端部１２を右上方向に向けるためのアングル操作ＵＲＳ
・湾曲部１３を湾曲させて先端部１２を右下方向に向けるためのアングル操作ＤＲＳ
・湾曲部１３を湾曲させて先端部１２を左下方向に向けるためのアングル操作ＤＬＳ
・湾曲部１３を湾曲させて先端部１２を左上方向に向けるためのアングル操作ＵＬＳ
・先端部１２を前進させる前進操作ＰＳＳ
・先端部１２を後退させる後退操作ＰＬＳ
・先端部１２を複数方向に向けて管腔を探索させるための探索操作ＳＥＳ
・湾曲部１３の湾曲角度を固定して先端部１２の向きを現在の向きに維持させるためのアングル維持操作ＡＭＳ

【0119】

教師データの作成時、識者は、学習用画像を見て、当該学習用画像に示される状況において最も行われうる一つの操作内容を、上記した１２個の操作内容の中から主観的に選択し、選択した操作内容のラベルを、当該学習用画像に付与する。識者は、医師であってよい。たとえば図３（ｂ）に示した内視鏡画像７０ｂが学習用画像である場合、管腔中心が画像上部に存在していることから、識者は、内視鏡先端部を上方向に向ける操作、つまりアングル操作ＵＰＳをするべきであることを決定し、内視鏡画像７０ｂに、アングル操作ＵＰＳのラベルを付与する。このラベル付与作業が多数の過去の内視鏡画像に対して実施されることで、教師データが作成される。

【0120】

以下、学習用画像およびラベルを含む教師データの例を示す。
図２０は、教師データの例を示す。図２０に示す学習用画像には、いずれも上方向のアングル操作を示す「アングル操作ＵＰＳのラベル」が付与される。図２０に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を上方向に湾曲させるべきことを判断された画像である。

【0121】

図２１は、教師データの別の例を示す。図２１に示す学習用画像には、いずれも右方向のアングル操作を示す「アングル操作ＲＩＳのラベル」が付与されている。図２１に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を右方向に湾曲させるべきことを判断された画像である。

【0122】

図２２は、教師データの別の例を示す。図２２に示す学習用画像には、いずれも下方向のアングル操作を示す「アングル操作ＤＯＳのラベル」が付与されている。図２２に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を下方向に湾曲させるべきことを判断された画像である。

【0123】

図２３は、教師データの別の例を示す。図２３に示す学習用画像には、いずれも左方向のアングル操作を示す「アングル操作ＬＥＳのラベル」が付与されている。図２３に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を左方向に湾曲させるべきことを判断された画像である。

【0124】

図２４は、教師データの別の例を示す。図２４に示す学習用画像には、いずれも右上方向のアングル操作を示す「アングル操作ＵＲＳのラベル」が付与される。図２４に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を右上方向に湾曲させるべきことを判断された画像である。

【0125】

図２５は、教師データの別の例を示す。図２５に示す学習用画像には、いずれも右下方向のアングル操作を示す「アングル操作ＤＲＳのラベル」が付与されている。図２５に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を右下方向に湾曲させるべきことを判断された画像である。

【0126】

図２６は、教師データの別の例を示す。図２６に示す学習用画像には、いずれも左下方向のアングル操作を示す「アングル操作ＤＬＳのラベル」が付与されている。図２６に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を左下方向に湾曲させるべきことを判断された画像である。

【0127】

図２７は、教師データの別の例を示す。図２７に示す学習用画像には、いずれも左上方向のアングル操作を示す「アングル操作ＵＬＳのラベル」が付与されている。図２７に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を左上方向に湾曲させるべきことを判断された画像である。

【0128】

図２８は、教師データの別の例を示す。図２８に示す学習用画像には、いずれも前進操作を示す「押し操作（前進操作）ＰＳＳのラベル」が付与される。図２８に示す学習用画像は、これから行う内視鏡操作として、先端部１２を前進させるべきことを判断された画像である。

【0129】

図２９は、教師データの別の例を示す。図２９に示す学習用画像には、いずれも後退操作を示す「引き操作（後退操作）ＰＬＳのラベル」が付与されている。図２９に示す学習用画像は、これから行う内視鏡操作として、先端部１２を後退させるべきことを判断された画像である。ここで後退操作が必要な状況の典型例としては、大腸の粘膜表面に先端部１２が過剰に近接した状況や、また内視鏡医の間で俗に「赤玉」と称される先端部１２が粘膜表面に接してしまった状況などがある。

【0130】

図３０は、教師データの別の例を示す。図３０に示す学習用画像には、いずれも探索操作を示す「探索操作ＳＥＳのラベル」が付与される。図３０に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を複数方向に湾曲させて複数方向を撮影させるべきことを判断された画像である。

【0131】

湾曲部１３の湾曲角度を固定して先端部１２の向きを現在の向きに維持させるためのアングル維持操作ＡＭＳの教師データについては図示を省略するが、たとえば、図２８に示す学習用画像に、「アングル維持操作ＡＭＳ」のラベルを付与してもよい。
実施例２の操作選択モデル２７２は、図２０～図３０に示す教師データを用いて機械学習することにより生成される。

【0132】

操作内容選択部２７０は、学習用画像と、学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された１つ以上の操作選択モデル２７２に、画像取得部２６１において取得した内視鏡画像から取得される入力データを入力することで、１つ以上の操作内容を選択する。具体的に操作内容選択部２７０は、画像取得部２６１において取得された内視鏡画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとして操作選択モデル２７２のニューラルネットワークの入力層に入力する。操作選択モデル２７２は、内視鏡１０の操作内容として選択され得る１２個の操作内容のそれぞれに対応する１２個の尤度を、ニューラルネットワークの出力層から出力する。操作内容選択部２７０は、出力データに含まれる１２個の尤度の中で最も高い１つの尤度に対応する操作内容を、内視鏡１０の操作内容の選択結果として得ることができる。

【0133】

以上のように操作内容選択部２７０は、画像取得部２６１において取得した内視鏡画像から取得される入力データを操作選択モデル２７２に入力して処理させることにより、先端部１２の向きを挿入部１１の挿入軸に対して直交する８方向に向けるための操作と、先端部１２を前進または後退させるための操作と、先端部１２の向きを現在の向きに維持させるための操作と、先端部１２の近傍の管腔を探索するための操作とを含む１２個の操作内容の中から選択した１つの操作内容を示す選択結果を得るように構成されている。操作内容選択部２７０は、選択した操作内容を、操作内容決定部２７１に供給する。

【0134】

操作選択モデル２７２は、適切な操作内容を出力できるように、十分な学習により構築されていることが好ましいが、その精度は、教師データに依存する。そこで実施例２では、操作内容選択部２７０により選択された操作内容が適切であるか否かを、認識部２６４が認識する内視鏡先端部周辺の状況をもとに判断する手法を実現する。

【0135】

（内視鏡画像の領域分割処理）
操作内容選択部２７０における処理と並行して、領域分割部２６２は、画像取得部２６１が取得した内視鏡画像を、複数の領域に分割する。実施例１で説明したように領域分割部２６２は、内視鏡画像内の各画素にラベルを付けるセマンティックセグメンテーションを実行して、内視鏡画像を各構造の領域に分割する。領域分割部２６２は、ＦＣＮを利用して、セマンティックセグメンテーションを実行してよい。

【0136】

図３１（ａ）は、内視鏡画像の一例を示す。画像取得部２６１は信号処理部２２０から、内視鏡１０が撮影した内視鏡画像を取得すると、操作内容選択部２７０および領域分割部２６２に供給する。操作内容選択部２７０は、図３１（ａ）の内視鏡画像から取得される入力データを操作選択モデル２７２に入力した結果、操作内容として、先端部１２を前進させる“前進操作ＰＳＳ”を選択したものとする。操作内容選択部２７０は、選択した操作内容を操作内容決定部２７１に供給する。

【0137】

領域分割部２６２は、セマンティックセグメンテーションを実行して、内視鏡画像を複数の領域に分割する。
図３１（ｂ）は、領域分割部２６２による領域分割結果の例を示す。領域分割部２６２は、内視鏡画像を複数の領域に分割し、領域分割した結果を示す領域情報を導出する。ここで領域情報は、構造に関する各画素のラベル値ｐａ（ｘ，ｙ）として導出されてよい。領域分割部２６２は、導出したラベル値を用いて、領域分割結果画像を生成している。実施例２において内視鏡画像は７２０×４８０のサイズをもち、領域分割結果画像も、同じく７２０×４８０のサイズをもつ。領域分割部２６２は、領域分割結果画像を、領域分割した結果を示す領域情報として認識部２６４に供給する。この領域分割結果画像においては、同心円状の襞エッジの領域と、通常管腔の領域とが含まれている。なお別の例では、領域分割部２６２は、各画素のラベル値を、領域分割した結果を示す領域情報として認識部２６４に供給してもよい。

【0138】

認識部２６４は、７２０×４８０のサイズの領域分割結果画像を複数の部分領域に分割して、各部分領域に含まれる通常管腔領域の割合を認識する。実施例２では、内視鏡画像を、水平方向と垂直方向にそれぞれ５等分して、５×５の部分領域に分割し、各部分領域をｓｕｂ（ｉ，ｊ）で表現する。なおｉ，ｊ＝１，２，３，４，５である。別の例で認識部２６４は、５×５以外の分割数で、領域分割結果画像を分割してもよい。

【0139】

図３２は、領域分割結果画像を複数の部分領域に分割した状態を示す。この例では、通常管腔として抽出された領域が、部分領域ｓｕｂ（３，２）、ｓｕｂ（２，３）、ｓｕｂ（３，３）、ｓｕｂ（２，４）、ｓｕｂ（３，４）にまたがって存在している。認識部２６４は、各部分領域ｓｕｂ（ｉ，ｊ）において、通常管腔の画素数が占める割合を導出する。この割合は、以下の式により算出される。ここで部分領域の総画素数を、ａｎと表現し、この例でａｎ＝１４４×９６である。
通常管腔割合（ａ）＝（部分領域における通常管腔領域の画素数）／ａｎ

【0140】

認識部２６４は、この割合（ａ）が所定の閾値（たとえば０．４）を超えている部分領域に含まれる通常管腔領域を、内視鏡が進行可能な領域であると判定してよい。この例では、ｓｕｂ（３，３）について算出された通常管腔割合（ａ）が閾値を超えており、したがって認識部２６４は、内視鏡画像におけるｓｕｂ（３，３）に、内視鏡が進行可能な領域が存在することを認識する。認識部２６４は、内視鏡が進行可能な領域を特定することで、内視鏡が進行可能な方向を認識する。認識部２６４は、この認識結果を、操作内容決定部２７１に供給する。

【0141】

なお上記例では、認識部２６４が、各部分領域ｓｕｂ（ｉ，ｊ）において通常管腔の画素数が占める割合から、内視鏡が進行可能な領域を判定している。別の例では、認識部２６４が、通常管腔の総画素数のうち所定の割合以上が含まれる部分領域ｓｕｂ（ｉ，ｊ）を、内視鏡が進行可能な部分領域として認識してもよい。この場合、認識部２６４は、通常管腔として領域分割された画素数ｐｌをカウントする。認識部２６４は、各部分領域ｓｕｂ（ｉ，ｊ）に含まれる通常管腔領域が、通常管腔領域全体に対して占める割合を導出する。この割合は、以下の式により導出される。
通常管腔割合（ｂ）＝（部分領域における通常管腔領域の画素数）／ｐｌ

【0142】

認識部２６４は、この割合（ｂ）が所定の閾値（たとえば０．６）を超えている部分領域を、内視鏡が進行可能な領域であると判定してよい。この例では、ｓｕｂ（３，３）について算出された通常管腔割合（ｂ）が閾値を超えており、したがって認識部２６４は、内視鏡画像におけるｓｕｂ（３，３）に、内視鏡が進行可能な領域が存在することを認識する。なお認識部２６４は、割合（ｂ）が最大となる部分領域を、内視鏡が進行可能な領域であると特定してもよい。認識部２６４は、内視鏡が進行可能な領域を特定することで、内視鏡が進行可能な方向を認識する。認識部２６４は、この認識結果を、操作内容決定部２７１に供給する。認識部２６４は、通常管腔割合（ａ）または通常管腔割合（ｂ）のいずれかにもとづいて、内視鏡が進行可能な領域および方向を特定してよい。

【0143】

操作内容決定部２７１は、操作内容選択部２７０から選択された操作内容を受け取り、認識部２６４から先端部周辺の状況の認識結果を受け取る。操作内容決定部２７１は、操作内容選択部２７０により選択された操作内容が適切であるか否かを、認識部２６４により認識された状況にもとづいて判断する。ここで操作内容決定部２７１は、操作内容として、先端部１２を前進させる“前進操作ＰＳＳ”を選択しており、認識部２６４は、内視鏡画像の中央に位置するｓｕｂ（３，３）に、内視鏡先端部が進行可能な領域が存在することを認識している。ｓｕｂ（３，３）は、内視鏡先端部の前進方向に存在するため、操作内容決定部２７１は、操作内容選択部２７０により選択された前進操作ＰＳＳは適切であることを判断し、前進操作ＰＳＳを、実施する操作内容として決定する。

【0144】

図３３（ａ）は、内視鏡画像の別の例を示す。画像取得部２６１は信号処理部２２０から、内視鏡１０が撮影した内視鏡画像を取得すると、操作内容選択部２７０および領域分割部２６２に供給する。操作内容選択部２７０は、図３３（ａ）の内視鏡画像から取得される入力データを操作選択モデル２７２に入力した結果、操作内容として、先端部１２を前進させる“前進操作ＰＳＳ”を選択したものとする。操作内容選択部２７０は、選択した操作内容を操作内容決定部２７１に供給する。

【0145】

図３３（ｂ）は、領域分割部２６２による領域分割結果の例を示す。領域分割部２６２は、内視鏡画像を複数の領域に分割し、領域分割した結果を示す領域情報を導出する。領域情報は、構造に関する各画素のラベル値ｐａ（ｘ，ｙ）として導出され、領域分割部２６２は、導出したラベル値を用いて、領域分割結果画像を生成する。領域分割部２６２は、領域分割結果画像を、領域分割した結果を示す領域情報として認識部２６４に供給する。認識部２６４は、領域分割結果画像を５×５の部分領域に分割して、各部分領域に含まれる通常管腔領域の割合を認識する。

【0146】

図３４は、領域分割結果画像を複数の部分領域に分割した状態を示す。この例では、通常管腔として抽出された領域が、部分領域ｓｕｂ（２，２）、ｓｕｂ（３，２）、ｓｕｂ（２，３）、ｓｕｂ（３，３）にまたがって存在している。認識部２６４は、各部分領域ｓｕｂ（ｉ，ｊ）において、通常管腔の画素数が占める割合を導出する。この例では、認識部２６４が、通常管腔割合（ｂ）を算出し、ｓｕｂ（３，２）において、通常管腔割合（ｂ）が所定の閾値（たとえば０．６）を超えていることを認識する。したがって認識部２６４は、内視鏡画像におけるｓｕｂ（３，２）に、内視鏡が進行可能な領域が存在することを認識する。認識部２６４は、この認識結果を、操作内容決定部２７１に供給する。

【0147】

操作内容決定部２７１は、操作内容選択部２７０から選択された操作内容を受け取り、認識部２６４から先端部周辺の状況の認識結果を受け取る。ここで操作内容選択部２７０は、操作内容として、先端部１２を前進させる“前進操作ＰＳＳ”を選択しており、認識部２６４は、内視鏡画像の中央部分より高い位置に存在するｓｕｂ（３，２）に、内視鏡が進行可能な領域が存在することを認識している。ｓｕｂ（３，２）は、内視鏡先端部の前進方向よりも上側に存在するため、操作内容決定部２７１は、操作内容選択部２７０により選択された前進操作ＰＳＳが適切でないことを判断する。選択された前進操作ＰＳＳが適切でないことを判断した場合、操作内容決定部２７１は、内視鏡１０の操作の自動制御を強制的に終了（中断）してよい。

【0148】

このとき操作内容決定部２７１は、湾曲部１３を湾曲させて先端部１２を上方向に向けるための“アングル操作ＵＰＳ”を、実施する操作内容として決定してもよい。または操作内容決定部２７１は、“アングル操作ＵＰＳ”のあと、“前進操作ＰＳＳ”を行うことを、実施する操作内容として決定してよい。このように操作内容決定部２７１は、操作内容選択部２７０により選択された操作内容が適切であるか否かを、認識部２６４による認識結果にもとづいて判断することで、内視鏡先端部の状況に不適切な操作内容を補正できる。

【0149】

図３５（ａ）は、内視鏡画像の別の例を示す。画像取得部２６１は信号処理部２２０から、内視鏡１０が撮影した内視鏡画像を取得すると、操作内容選択部２７０および領域分割部２６２に供給する。操作内容選択部２７０は、図３５（ａ）の内視鏡画像から取得される入力データを操作選択モデル２７２に入力した結果、操作内容として、先端部１２を前進させる“前進操作ＰＳＳ”を選択したものとする。操作内容選択部２７０は、選択した操作内容を操作内容決定部２７１に供給する。

【0150】

図３５（ｂ）は、領域分割部２６２による領域分割結果の例を示す。領域分割部２６２は領域分割結果画像を生成して、認識部２６４に供給する。認識部２６４は、領域分割結果画像を５×５の部分領域に分割して、各部分領域に含まれる通常管腔領域の割合を認識する。

【0151】

図３６は、領域分割結果画像を複数の部分領域に分割した状態を示す。この例では、通常管腔として抽出された領域は存在せず、屈曲部の襞エッジの領域と、屈曲部の襞エッジに沿った屈曲部の管腔の領域とが抽出されている。認識部２６４は、各部分領域ｓｕｂ（ｉ，ｊ）において通常管腔領域が存在していないこと、および屈曲部の管腔領域が存在していることを認識する。

【0152】

まず認識部２６４は、屈曲部の管腔と抽出された領域を含む部分領域を抽出する。この例で認識部２６４は、屈曲部の管腔領域が、部分領域ｓｕｂ（２，２）、ｓｕｂ（３，２）、ｓｕｂ（４，２）、ｓｕｂ（２，３）、ｓｕｂ（３，３）、ｓｕｂ（４，３）、ｓｕｂ（５，３）、ｓｕｂ（５，４）にまたがって存在することを認識する。このことから認識部２６４は、屈曲部の管腔領域が垂直方向における中央部分に存在していることを認識する。

【0153】

続いて認識部２６４は、屈曲部の襞エッジの画素を抽出して、２つの端点と、その中間点から、屈曲部の管腔の円弧の向きを特定する。
図３７は、屈曲部の襞エッジの２つの端点と、その中間点を示す。認識部２６４は、２つの端点ｋ１、ｋ２を結ぶ線分に対して中間点ｃから下ろす垂線の向きを特定することで、屈曲部の襞エッジにより形成される円弧の向きを特定する。この例では、端点ｋ１、ｋ２を結ぶ線分に対して、中間点ｃから垂線が左下方向に引けるため、認識部２６４は、屈曲部の襞エッジが、中間点ｃに対して左下方向に向く開口部を持つこと、つまり管腔の延伸方向が内視鏡画像の右上方向であることを認識する。

【0154】

以上のように認識部２６４は、図３７に示す領域分割結果画像から、内視鏡画像のほぼ中央部に管腔の屈曲部が存在し、管腔延伸方向は画像右上方向であることを認識し、認識結果を操作内容決定部２７１に供給する。

【0155】

操作内容決定部２７１は、認識部２６４から認識結果を受け取ると、操作内容選択部２７０が選択した前進操作ＰＳＳは適切でないことを判断する。操作内容決定部２７１は、認識結果から、屈曲部に対して先端部１２を左下に向ける操作が好ましいことを確認する。そこで操作内容決定部２７１は、湾曲部１３を湾曲させて先端部１２を左下方向に向けるための“アングル操作ＤＬＳ”を、実施する操作内容として決定してよい。または操作内容決定部２７１は、“アングル操作ＤＬＳ”のあと、“前進操作ＰＳＳ”を行うことを、実施する操作内容として決定してよい。このように操作内容決定部２７１は、操作内容選択部２７０により選択された操作内容が適切であるか否かを、認識部２６４による認識結果にもとづいて判断することで、内視鏡先端部の状況に不適切な操作内容を補正できる。

【0156】

以上は、操作内容決定部２７１が、認識部２６４が領域分割部２６２による領域分析結果を認識した結果にもとづいて、操作内容選択部２７０が選択した操作内容が適切であるか否かを判断する手法を説明した。以下では、さらに奥行情報生成部２６３が生成する内視鏡画像の奥行情報を加味して、操作内容決定部２７１が、操作内容選択部２７０が選択した操作内容が適切であるか否かを判断する手法を説明する。

【0157】

図３８は、内視鏡画像の別の例を示す。この内視鏡画像の下部には、管腔が奥行方向に直線的に撮影されており、複数の襞が管腔を囲んで存在している。画像取得部２６１は信号処理部２２０から、内視鏡１０が撮影した内視鏡画像を取得すると、操作内容選択部２７０、領域分割部２６２および奥行情報生成部２６３に供給する。操作内容選択部２７０は、図３８の内視鏡画像から取得される入力データを操作選択モデル２７２に入力した結果、操作内容として、湾曲部１３を湾曲させて先端部１２を下方向に向ける“アングル操作ＤＯＳ”を選択したものとする。操作内容選択部２７０は、選択した操作内容を、操作内容決定部２７１に供給する。

【0158】

図３９は、領域分割部２６２による領域分割結果の例を示す。領域分割部２６２は、内視鏡画像を複数の領域に分割し、領域分割した結果を示す領域情報を導出して、領域分割結果画像を生成する。図３９に示す領域分割結果画像においては、襞エッジの領域と、通常管腔の領域とが含まれている。領域分割部２６２は、領域分割結果画像を、領域分割した結果を示す領域情報として認識部２６４に供給する。

【0159】

図４０は、奥行情報生成部２６３による奥行情報推定結果の例を示す。奥行情報生成部２６３は、内視鏡画像に対して奥行推定処理を実行して、内視鏡画像の奥行を示す奥行情報を生成し、奥行推定結果画像を生成する。奥行情報生成部２６３は、奥行推定結果画像を、内視鏡画像の奥行情報として認識部２６４に供給する。

【0160】

認識部２６４は、領域分割部２６２から内視鏡画像の領域情報を受け取り、奥行情報生成部２６３から内視鏡画像の奥行情報を受け取って、内視鏡先端部周辺の状況を認識する。
図４１は、奥行推定結果画像の認識例を示す。認識部２６４は領域分割結果画像から、通常管腔領域が、画像中央下部に存在していることを認識する。また認識部２６４は奥行推定結果画像から、画像右下に、内視鏡先端部に最も近い領域Ｎが存在し、その領域Ｎに隣接して、内視鏡先端部から最も遠い領域Ｆが存在することを認識する。また認識部２６４は、領域分割結果画像と奥行推定結果画像とを参照して、領域Ｎと領域Ｆの境界には襞エッジ領域が存在し、また領域Ｆには通常管腔領域が存在していることを認識する。

【0161】

以上のように認識部２６４は、図３９に示す領域分割結果画像および図４０に示す奥行推定結果画像から、内視鏡画像の中央下部に通常管腔領域が存在し、その右側に、内視鏡先端部との距離が非常に近い襞領域が隣接していることを認識し、認識結果を操作内容決定部２７１に供給する。

【0162】

操作内容決定部２７１は、操作内容選択部２７０から選択された操作内容を受け取り、認識部２６４から先端部周辺の状況の認識結果を受け取る。ここで操作内容決定部２７１は、操作内容として、先端部１２を下方向に向ける“アングル操作ＤＯＳ”を選択している。操作内容決定部２７１は、認識部２６４から受け取った認識結果から、内視鏡画像の右下部に、先端部１２を下方向に向けた際に接触する可能性のある襞が存在することを確認する。操作内容決定部２７１は、ラベル値ｄ０を割り当てられた襞領域は接触可能性の高いことを予め把握しておいてよい。そこで操作内容決定部２７１は、操作内容選択部２７０により選択されたアングル操作ＤＯＳが適切でないことを判断し、操作内容を、先端部１２を左下方向に向けるアングル操作ＤＬＳに変更する。なお操作内容決定部２７１は、右下に存在する襞を越えるように、上方向にアングル操作を行ってから前進する操作内容を決定してもよい。

【0163】

以上は、操作内容決定部２７１が、認識部２６４が領域分割部２６２による領域分析結果および奥行情報生成部２６３による奥行推定処理結果を認識したく結果にもとづいて、操作内容選択部２７０が選択した操作内容が適切であるか否かを判断する手法を説明した。別の例では、操作内容決定部２７１は、認識部２６４が奥行情報生成部２６３による奥行推定処理結果を認識した結果にもとづいて、操作内容選択部２７０が選択した操作内容が適切であるか否かを判断することも可能である。このように実施例２においては、操作内容決定部２７１が、認識部２６４による内視鏡先端部周辺の認識状況にもとづいて、操作内容選択部２７０が選択した操作内容が適切であるか否かを判断してよい。

【0164】

以上、本開示を複数の実施例をもとに説明した。これらの実施形態および実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。実施例では、内視鏡１０を大腸に挿入するときの画像処理について説明したが、内視鏡１０は他の臓器に挿入されてもよく、また配管などに挿入されてもよい。

【0165】

実施例では、内視鏡画像を処理して内視鏡１０の動作内容または操作内容を決定し、自動挿入制御の応用する例を説明した。変形例では、決定した動作内容または操作内容が、医師が内視鏡１０を手動操作する際のガイド情報として、表示装置６０に表示されてもよい。また決定された動作内容または操作内容は、ログ情報として記録されてよい。

【産業上の利用可能性】

【0166】

本開示は、内視鏡画像を処理する技術分野に利用できる。

【符号の説明】

【0167】

１・・・内視鏡システム、２・・・内視鏡制御装置、１０・・・内視鏡、２０・・・処理装置、２２・・・プロセッサ、２４・・・記憶媒体、２６０・・・制御部、２６１・・・画像取得部、２６２・・・領域分割部、２６３・・・奥行情報生成部、２６４・・・認識部、２６５・・・動作決定部、２６６・・・動作制御部、２６７・・・駆動判定部、２７０・・・操作内容選択部、２７１・・・操作内容決定部、２７２・・・操作選択モデル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】