特開 2022-180108 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022180108

(43)【公開日】2022-12-06

(54)【発明の名称】医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20221129BHJP

【ＦＩ】

A61B1/045 618

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021087028

(22)【出願日】2021-05-24

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001988

【氏名又は名称】特許業務法人小林国際特許事務所

(72)【発明者】

【氏名】藤倉 哲也

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161CC06

4C161DD03

4C161LL02

4C161NN01

4C161NN05

4C161QQ02

4C161QQ07

4C161WW02

4C161WW08

4C161WW14

(57)【要約】

【課題】内視鏡画像において視認性が低下した血管であっても検出して出力することができる医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法を提供する。
【解決手段】医療画像処理装置は、医療画像を取得し、医療画像に基づいて所定の太さ以上である特定血管の位置を検出し、特定血管の位置に関する特定血管位置情報を通知のために出力する制御を行う。特定血管の位置の検出は、特定血管の少なくとも一部の位置に関する情報が関連付けられた医療画像である学習用画像を用いて行われる。
【選択図】図１３

【特許請求の範囲】

【請求項1】

プロセッサを備え、
前記プロセッサは、
内視鏡により被写体を撮影して得られる医療画像を取得し、
前記医療画像に基づいて、前記医療画像に写る前記被写体が含む血管であって、所定の太さ以上である特定血管の位置を検出し、
前記特定血管の位置に関する特定血管位置情報を通知のために出力する制御を行い、
前記特定血管の位置の検出は、前記医療画像に写る前記被写体が含む前記特定血管の少なくとも一部の位置に関する情報が関連付けられた前記医療画像である学習用画像を用いて行われる医療画像処理装置。

【請求項2】

前記学習用画像は、前記被写体が粘膜下層を含む前記医療画像である請求項１に記載の医療画像処理装置。

【請求項3】

前記学習用画像は、前記被写体が線維化を含む前記医療画像である請求項１又は２に記載の医療画像処理装置。

【請求項4】

前記学習用画像は、前記被写体が焼灼痕、凝固血液及び／又は脂肪を含む前記医療画像である請求項１ないし３のいずれか１項に記載の医療画像処理装置。

【請求項5】

前記学習用画像は、前記特定血管が無いとの情報が関連付けられた前記医療画像である請求項１ないし４のいずれか１項に記載の医療画像処理装置。

【請求項6】

前記学習用画像は、医師が前記医療画像を目視することにより得られる情報が関連付けられた前記医療画像である請求項１ないし５のいずれか１項に記載の医療画像処理装置。

【請求項7】

前記学習用画像は、前記医療画像を画像処理することにより得られる情報が関連付けられた前記医療画像である請求項１ないし６のいずれか１項に記載の医療画像処理装置。

【請求項8】

前記学習用画像は、所定のスペクトルの照明光により照明された前記被写体を撮影して得られる前記医療画像を画像処理することにより得られる情報が関連付けられた前記医療画像である請求項１ないし７のいずれか１項に記載の医療画像処理装置。

【請求項9】

前記プロセッサは、前記学習用画像を用いて学習された学習モデルを備え、
前記特定血管の検出は、前記学習モデルを用いて行われる請求項１ないし８のいずれか１項に記載の医療画像処理装置。

【請求項10】

前記特定血管位置情報は、安全な切開が可能である切開適合部位の情報を含む請求項１ないし９のいずれか１項に記載の医療画像処理装置。

【請求項11】

前記プロセッサは、前記特定血管位置情報を、色、図、記号、及び文字の少なくとも１つにより出力する制御を行なう請求項１ないし１０のいずれか１項に記載の医療画像処理装置。

【請求項12】

前記プロセッサは、前記特定血管位置情報を、音及び／又は光により出力する制御を行なう請求項１ないし１１のいずれか１項に記載の医療画像処理装置。

【請求項13】

請求項１ないし１２のいずれか１項に記載の医療画像処理装置と、
前記被写体を照明する照明光を発する光源と、
前記被写体を撮影する内視鏡とを備える内視鏡システム。

【請求項14】

医療画像処理装置の作動方法であって、
内視鏡により被写体を撮影して得られる医療画像を取得し、
前記医療画像に基づいて、前記医療画像に写る前記被写体が含む所定の太さ以上の血管である特定血管の位置を検出し、
前記特定血管の位置に関する特定血管位置情報を通知のために出力する制御を行い、
前記特定血管の位置の検出は、前記医療画像に写る前記被写体が含む前記特定血管の位置の少なくとも一部の位置に関する情報が関連付けられた前記医療画像である学習用画像を用いて行われる医療画像処理装置の作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法に関する。

【背景技術】

【0002】

内視鏡的粘膜下層剥離術（ＥＳＤ、Ｅｎｄｏｓｃｏｐｉｃ Ｓｕｂｍｕｃｏｓａｌ Ｄｉｓｓｅｃｔｉｏｎ）によって、内視鏡的粘膜切除術（ＥＭＲ、Ｅｎｄｏｓｃｏｐｉｃ Ｍｕｃｏｓａｌ Ｒｅｓｅｃｔｉｏｎ）が適用できない大きさの腫瘍等の切除が可能となり、侵襲性の高い外科手術を選択せずに済むようになった。ＥＳＤは内視鏡下で行うため、低侵襲であるメリットがある。一方、術者である医師は、被写体である内視鏡の観察対象を内視鏡で撮影して得た画像（以下、内視鏡画像という）等に基づく限られた情報によりＥＳＤを行なわなければならず、意図しない血管又は筋層等の損傷が生じることがあった。

【0003】

粘膜深部の血管を明瞭に表示可能とするために、それぞれ特定の分光特性のピーク波長を有する第１の画像信号と第２の画像信号との差異に基づいて、第１の画像信号を強調した画像を表示する内視鏡装置が知られている。この内視鏡装置によれば、薬剤投与という煩雑な作業をすることなく、かつ粘膜深部の血管を明瞭に表示可能とされる（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１３／１４５４０９号

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、腫瘍を切除するＥＳＤでは、腫瘍周囲のマーキング、粘膜下層への局注、粘膜の切開、粘膜下層の剥離、止血といった手順により行われる。粘膜下層を切開し、剥離する際に、意図しない血管の損傷等が生じないことが望ましい。

【0006】

血管自体が視認できる場合は、粘膜深部の血管を強調して明瞭に表示することにより、これをあらかじめ凝固する、又は、これを避けて切開することが可能である。しかしながら、ＥＳＤにおいては、血管自体の視認性が低下する場合が生じうる。例えば、ＥＳＤが内視鏡画像に基づいて行われるために、内視鏡画像に写る粘膜下層の一部又は全部に線維化が存在し、線維化内の血管が視認しにくくなることが生じうる。また、内視鏡の撮像レンズ部分の汚れ又はミストの発生等により視界不良となる。

【0007】

本発明は、内視鏡画像において視認性が低下した血管であっても検出して出力することができる医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の医療画像処理装置は、プロセッサを備え、プロセッサは、内視鏡により被写体を撮影して得られる医療画像を取得し、医療画像に基づいて、医療画像に写る被写体が含む血管であって、所定の太さ以上である特定血管の位置を検出し、特定血管の位置に関する特定血管位置情報を通知のために出力する制御を行い、特定血管の位置の検出は、医療画像に写る被写体が含む特定血管の少なくとも一部の位置に関する情報が関連付けられた医療画像である学習用画像を用いて行われる。

【0009】

学習用画像は、被写体が粘膜下層を含む医療画像であることが好ましい。

【0010】

学習用画像は、被写体が線維化を含む医療画像であることが好ましい。

【0011】

学習用画像は、被写体が焼灼痕、凝固血液及び／又は脂肪を含む医療画像であることが好ましい。

【0012】

学習用画像は、特定血管が無いとの情報が関連付けられた医療画像であることが好ましい。

【0013】

学習用画像は、医師が医療画像を目視することにより得られる情報が関連付けられた医療画像であることが好ましい。

【0014】

学習用画像は、医療画像を画像処理することにより得られる情報が関連付けられた医療画像であることが好ましい。

【0015】

学習用画像は、所定のスペクトルの照明光により照明された被写体を撮影して得られる医療画像を画像処理することにより得られる情報が関連付けられた医療画像であることが好ましい。

【0016】

プロセッサは、学習用画像を用いて学習された学習モデルを備え、特定血管の検出は、学習モデルを用いて行われることが好ましい。

【0017】

特定血管位置情報は、安全な切開が可能である切開適合部位の情報を含むことが好ましい。

【0018】

プロセッサは、特定血管位置情報を、色、図、記号、及び文字の少なくとも１つにより出力する制御を行なうことが好ましい。

【0019】

プロセッサは、特定血管位置情報を、音及び／又は光により出力する制御を行なうことが好ましい。

【0020】

また、本発明の内視鏡システムは、医療画像処理装置と、被写体を照明する照明光を発する光源と、被写体を撮影する内視鏡とを備える。

【0021】

また、本発明の医療画像処理装置の作動方法は、内視鏡により被写体を撮影して得られる医療画像を取得し、医療画像に基づいて、医療画像に写る被写体が含む所定の太さ以上の血管である特定血管の位置を検出し、特定血管の位置に関する特定血管位置情報を出力する制御を行い、特定血管の位置の検出は、医療画像に写る被写体が含む特定血管の位置の少なくとも一部の位置に関する情報が関連付けられた医療画像である学習用画像を用いて行われる。

【発明の効果】

【0022】

本発明によれば、内視鏡画像において視認性が低下した血管であっても検出して出力することができる。

【図面の簡単な説明】

【0023】

【図1】内視鏡システムの外観図である。

【図2】内視鏡システムの機能を示すブロック図である。

【図3】光源部が含む４色のＬＥＤを説明する説明図である。

【図4】紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒのスペクトルを示すグラフである。

【図5】第１照明光のスペクトルを示すグラフである。

【図6】内視鏡システムにより撮像される内視鏡画像の種類と順とを説明する説明図である。

【図7】医療画像処理装置の機能を示すブロック図である。

【図8】大腸の組織を説明する説明図である。

【図9】検出部の機能を説明する説明図である。

【図10】学習用画像に用いる通常画像の一例を示す画像図である。

【図11】検出の対象となる内視鏡画像を示す画像図である。

【図12】特定血管位置情報を説明する画像図である。

【図13】特定血管位置情報を通常画像に重畳した重畳画像を示す画像図である。

【図14】学習用画像に用いる線維化を含む通常画像の例を示す画像図である。

【図15】学習用画像に用いる焼灼痕及び凝固血液を含む通常画像の例を示す画像図である。

【図16】第２照明光のスペクトルを示すグラフである。

【図17】第１画像を示す画像図である。

【図18】第１照明光を照明した場合に得られる紫及び青色光画像と緑及び赤色光画像を示す説明図である。

【図19】第２画像を示す画像図である。

【図20】第２照明光を照明した場合に得られる紫及び青色光画像と緑及び赤色光画像を示す説明図である。

【図21】基準情報取得部が切開適合部位判定部を備える医療画像処理装置の機能を示すブロック図である。

【図22】切開適合部位表示の一例を表示した重畳画像の画像図である。

【図23】切開適合部位表示の別の例を表示した重畳画像の画像図である。

【図24】医療画像処理装置の一連の処理の流れを説明するフローチャートである。

【図25】医療画像処理装置が診断支援装置に含まれる場合を説明する説明図である。

【図26】医療画像処理装置が医療業務支援装置に含まれる場合を説明する説明図である。

【発明を実施するための形態】

【0024】

図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１３と、プロセッサ装置１４と、ディスプレイ１５と、キーボード１６と、医療画像処理装置１７とを有する。内視鏡１２は、光源装置１３と光学的に接続され、且つ、プロセッサ装置１４と電気的に接続される。プロセッサ装置１４は、医療画像処理装置１７と接続する。医療画像処理装置１７は、プロセッサ装置１４から医療画像である内視鏡画像を取得し、各種情報の取得等のために各種処理を行う。

【0025】

なお、本実施形態では、医療画像は内視鏡画像である。また、本実施形態では、医療画像処理装置１７とプロセッサ装置１４とは別個の装置であるが、プロセッサ装置１４内に医療画像処理装置１７の機能を行なう装置を配置し、プロセッサ装置１４が医療画像処理装置１７の機能を行っても良い。また、各種接続は、有線に限らず無線であってもよく、また、ネットワークを介したものでもよい。したがって、医療画像処理装置１７の機能を、ネットワークを介して接続した外部装置が行なうようにしてもよい。

【0026】

内視鏡１２は、観察対象を有する被検者の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅ（図２参照）を操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。挿入部１２ａから先端部１２ｄにわたって、処置具などを挿通するための鉗子チャンネル（図示しない）を設けている。処置具は、鉗子口１２ｈから鉗子チャンネル内に挿入する。

【0027】

操作部１２ｂは、アングルノブ１２ｅの他、撮像倍率を変更するためのズーム操作部１２ｆと、観察モードの切替操作に用いるモード切替スイッチ１２ｇとを有する。なお、観察モードの切替操作、又はズーム操作は、モード切替スイッチ１２ｇ、又はズーム操作部１２ｆの他、キーボード１６、又はフットスイッチ（図示しない）等を用いた操作又は指示としてもよい。

【0028】

内視鏡システム１０は、通常観察モード、特殊観察モード、及びマルチ観察モードの３つの観察モードを有している。通常観察モードは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの画像である通常画像をディスプレイ１５上に表示するモードである。特殊観察モードは、白色光とは異なる特殊画像をディスプレイ１５上に表示するモードである。特殊画像は、例えば、特定のスペクトルを有する照明光を発して観察対象を撮影した特殊画像を取得する、又は、特定の画像処理を行なう等により得られる。特殊画像は、好ましくは、特定の構造等を強調した内視鏡画像をディスプレイ１５に表示する。特定の構造の強調としては、血管又は腺管等の強調が挙げられ、血管の強調としては、表層血管、中層血管、又は深層血管の強調が挙げられる。血管の強調については、後述する。

【0029】

マルチ観察モードは、通常観察モードと特殊観察モードとを自動で切り替えて行なうモードであり、通常画像と特殊画像とを取得することができる。ディスプレイ１５には、通常画像のみを表示する、又はメイン画像として通常画像を表示し、サブ画像として特殊画像を表示する等、適宜設定することができる。

【0030】

プロセッサ装置１４は、ディスプレイ１５及びキーボード１６と電気的に接続される。ディスプレイ１５は、通常画像、特殊画像及び／又は各種情報等を表示する。キーボード１６は、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置１４には、画像や画像情報などを保存する外付けのストレージ（図示しない）を接続してもよい。

【0031】

図２に示すように、光源装置１３は、観察対象に照射する照明光を発し、光源部２０と、光源部２０を制御する光源用プロセッサ２１とを備える。光源部２０は、例えば、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源、レーザダイオードと蛍光体との組み合わせ、又はキセノンランプやハロゲン光源で構成する。また、光源部２０には、ＬＥＤ等が発光した光の波長帯域を調整するための光学フィルタ等が含まれる。光源用プロセッサ２１は、各ＬＥＤ等のオン／オフや、各ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の光量を制御する。また、光源用プロセッサ２１は、光学フィルタの変更等によって、照明光の波長帯域を制御する。

【0032】

図３に示すように、本実施形態では、光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。

【0033】

図４に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４１０±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ２０ｂは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ２０ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。

【0034】

光源用プロセッサ２１は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを制御する。光源用プロセッサ２１は、通常観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比の組み合わせがＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。

【0035】

光源用プロセッサ２１は、特殊観察モードに設定されている場合には、例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比の組み合わせがＶｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１となる第１照明光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。第１照明光が、表層血管を強調する場合は、紫色光Ｖの光強度を青色光Ｂの光強度よりも大きくすることが好ましい。例えば、図５に示すように、紫色光Ｖの光強度Ｖｓ１と青色光Ｂの光強度Ｂｓ１との比率を「４：１」とする。

【0036】

なお、本明細書において、光強度比の組み合わせは、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つ又は２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比の組み合わせが１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有し、光強度比の組み合わせの１つである。

【0037】

以上のように、通常観察モードもしくは特殊観察モードにおいて発せられる、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度比の組み合わせ、すなわち照明光の種類又はスペクトルは、互いに異なる。マルチ観察モードでは、種類又はスペクトルが互いに異なる照明光を自動で切り替えて発する。なお、これらの観察モードで用いられる照明光と互いに異なる光強度比の組み合わせを有する異なる種類又はスペクトルの照明光を用いた観察モードを用いてもよい。

【0038】

光源用プロセッサ２１は、マルチ観察モードに設定されている場合には、特定の種類の照明光を切り替えて発してもよい。具体的には、通常光を続けて発光する通常光期間と、第１照明光を続けて発光する第１照明光期間とを交互に繰り返す。具体的には、通常光を発光する通常光期間を所定のフレーム数で行った後に、第１照明光を発光する第１照明光期間を所定のフレーム数で行う。その後再び通常光期間となり、通常光期間と第１照明光期間とのセットを繰り返す。

【0039】

なお、「フレーム」とは、観察対象を撮像する撮像センサ４５（図２参照）を制御するための単位をいい、例えば、「１フレーム」とは、観察対象からの光で撮像センサ４５を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間をいう。本実施形態においては、撮影の単位である「フレーム」に対応して通常光期間、又は第１照明光期間等の各種期間がそれぞれ定められる。

【0040】

図６に示すように、マルチ観察モードでは、例えば、照明光の欄に「通常」と記載される通常光を発光する通常光期間を３フレーム分の期間で行った後に、照明光が切り替えられ、照明光の欄に「第１」と記載される第１照明光を発光する第１照明光期間を１フレーム分の期間で行う。その後再び通常光期間となり、通常光期間と第１照明光期間とのセットの４フレーム分を繰り返す。したがって、通常光期間３フレームの間に、通常画像７１を３つ続けて撮影した後、第１照明光期間に、第１画像７２を１つ撮影する。なお、図において、第１画像７２は、通常画像７１と色合いが異なることから、網掛けで示す。その後は、通常光期間に戻り、引き続きこのパターンを繰り返す。

【0041】

各ＬＥＤ２０ａ～２０ｅが発する光は、ミラーやレンズなどで構成される光路結合部（図示せず）を介して、ライトガイド４１に入射される。ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１３及びプロセッサ装置１４を接続するコード）に内蔵されている。ライトガイド４１は、光路結合部からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

【0042】

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４２を有しており、ライトガイド４１によって伝搬した照明光は照明レンズ４２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４３、ズームレンズ４４、及び撮像センサ４５を有している。観察対象からの反射光、散乱光、及び蛍光等の各種の光は、対物レンズ４３及びズームレンズ４４を介して撮像センサ４５に入射する。これにより、撮像センサ４５に観察対象の像が結像する。ズームレンズ４４は、ズーム操作部１２ｆを操作することでテレ端とワイド端との間で自在に移動し、撮像センサ４５に結像する観察対象を拡大又は縮小する。

【0043】

撮像センサ４５は、画素毎にＲ（赤色）、Ｇ（緑色）、又はＢ（青色）のカラーフィルタのいずれかが設けられたカラー撮像センサであり、観察対象を撮像してＲＧＢ各色の画像信号を出力する。撮像センサ４５としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサを利用可能である。また、原色のカラーフィルタが設けられた撮像センサ４５の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力される。このため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ４５と同様のＲＧＢ画像信号を得ることができる。また、撮像センサ４５の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。

【0044】

撮像センサ４５は、撮像制御部（図示せず）によって駆動制御される。中央制御部５８（図２参照）は、撮像制御部に同期して光源用プロセッサ２１を通して光源部２０の発光を制御することにより、通常観察モードでは、通常光で照明された観察対象を撮像するように制御する。これにより、撮像センサ４５のＢ画素からＢｃ画像信号が出力され、Ｇ画素からＧｃ画像信号が出力され、Ｒ画素からＲｃ画像信号が出力される。特殊観察モードでは、中央制御部５８は、光源部２０の発光を制御して、第１照明光で照明された観察対象を撮像するように、撮像センサ４５を制御する。これにより、特殊観察モードでは、撮像センサ４５のＢ画素からＢｓ１画像信号が出力され、Ｇ画素からＧｓ１画像信号が出力され、Ｒ画素からＲｓ１画像信号が出力される。

【0045】

また、マルチ観察モードでは、中央制御部５８（図２参照）は、光源部２０の発光を制御して、それぞれ予め設定された期間で、通常光及び第１照明光で照明された観察対象を撮像するように、撮像センサ４５を制御する。これにより、マルチ観察モードでは、通常光期間では、撮像センサ４５のＢ画素からＢｃ画像信号が出力され、Ｇ画素からＧｃ画像信号が出力され、Ｒ画素からＲｃ画像信号が出力される。そして、第１照明光期間では、撮像センサ４５のＢ画素からＢｓ１画像信号が出力され、Ｇ画素からＧｓ１画像信号が出力され、Ｒ画素からＲｓ１画像信号が出力される。

【0046】

ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４５から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４７により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号は、プロセッサ装置１４に入力される。

【0047】

プロセッサ装置１４には、画像処理などの処理に関するプログラムがプログラム用メモリ（図示しない）に格納されている。プロセッサ装置１４においては、第１プロセッサである画像用プロセッサ等によって構成される中央制御部５８により、プログラム用メモリ内のプログラムが動作することによって、画像取得部５１と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５３と、メモリ５４と、画像処理部５５と、表示制御部５６と、映像信号生成部５７と、中央制御部５８の機能が実現される。また、中央制御部５８は、内視鏡１２および光源装置１３からの情報を受信し、受信した情報に基いて、プロセッサ装置１４の各部の制御の他、内視鏡１２又は光源装置１３の制御を行う。また、キーボード１６からの指示などの情報も受信する。

【0048】

画像取得部５１は、内視鏡１２から入力される内視鏡画像のデジタル画像信号を取得する。画像取得部５１は、各照明光により照明された観察対象を撮影した画像信号をフレーム毎に取得する。なお、画像取得部５１は、所定の互いに異なるスペクトルの照明光により照明された観察対象を撮影して得られる内視鏡画像を取得してもよい。

【0049】

取得した画像信号はＤＳＰ５２に送信される。ＤＳＰ５２は、受信した画像信号に対して色補正処理等のデジタル信号処理を行う。ノイズ低減部５３は、ＤＳＰ５２で色補正処理等が施された画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した画像信号は、メモリ５４に記憶する。

【0050】

画像処理部５５は、メモリ５４からノイズ低減後の画像信号を取得する。そして、取得した画像信号に対して、必要に応じて、色変換処理、色彩強調処理、及び構造強調処理等の信号処理を施し、観察対象が写ったカラーの内視鏡画像を生成する。画像処理部５５は、通常画像処理部６１と特殊画像処理部６２とを備える。

【0051】

画像処理部５５において、通常画像処理部６１は、通常観察モード又はマルチ観察モードでは、入力した１フレーム分のノイズ低減後の通常画像用の画像信号に対して、色変換処理と、色彩強調処理、構造強調処理などの通常画像用の画像処理を施す。通常画像用の画像処理が施された画像信号は、医療画像処理装置１７及び／又は表示制御部５６に入力する。

【0052】

特殊画像処理部６２は、特殊観察モード又はマルチ観察モードでは、入力した１フレーム分のノイズ低減後の第１画像の画像信号に対して、色変換処理と、色彩強調処理、構造強調処理などのそれぞれ第１画像用の画像処理を施す。第１画像用の画像処理が施された画像信号は、第１画像７２として、医療画像処理装置１７及び／又は表示制御部５６に入力する。なお、画像処理部５５は、内視鏡画像を医療画像処理装置１７及び／又は表示制御部５６に入力する際に、フレームレートの調整をしてもよい。

【0053】

画像処理部５５が生成する内視鏡画像は、観察モードが通常観察モードの場合は通常画像７１であり、観察モードが特殊観察モードの場合は第１画像７２であり、色変換処理、色彩強調処理、及び構造強調処理の内容は、観察モードによって異なる。通常観察モードの場合、画像処理部５５は、観察対象が自然な色合いになる上記各種信号処理を施して通常画像７１を生成する。特殊観察モードの場合、画像処理部５５は、例えば、観察対象の血管を強調する上記各種信号処理を施して第１画像７２を生成する。

【0054】

半導体光源は、波長帯域が中心波長４１０±１０ｎｍかつ波長範囲４２０～５００ｎｍである紫色光Ｖ（第１狭帯域光）を発光するＶ－ＬＥＤ２０ａと、波長帯域が中心波長４５０±１０ｎｍかつ波長範囲３８０～４２０ｎｍである青色光Ｂ（第２狭帯域光）を発光するＢ－ＬＥＤ２０ｂとを含む。したがって、画像処理部５５が生成する第１画像７２では、粘膜の表面を基準として観察対象内の比較的浅い位置にある血管（いわゆる表層血管）又は血液は、マゼンタ系の色（例えばブラウン色）になる。このため、第１画像７２では、ピンク系の色で表される粘膜に対して、観察対象の血管又は出血（血液）は、色の違いで強調される。

【0055】

表示制御部５６は、画像処理部５５が生成した内視鏡画像を受信し、ディスプレイ１５に表示するための制御を行なう。表示制御部５６において、表示するための制御が行われた内視鏡画像は、映像信号生成部５７において、ディスプレイ１５に表示するための映像信号に生成されて、ディスプレイ１５に送られる。ディスプレイ１５は、映像信号生成部５７から送られた内視鏡画像を、表示制御部５６の制御に従って表示する。

【0056】

医療画像処理装置１７は、画像処理部５５が生成した内視鏡画像を取得し、内視鏡画像に基づいて、内視鏡画像に写る観察対象が含む血管であって、所定の太さ以上である特定血管の位置を検出し、検出した特定血管の位置に関する特定血管位置情報を、ディスプレイ１５等に出力する制御を行なう。

【0057】

医療画像処理装置１７はプロセッサを備えた汎用のＰＣであり、ソフトウエアをインストールすることにより各種機能を発揮する。医療画像処理装置１７にも、プロセッサ装置１４と同様に、画像解析処理などの処理に関するプログラムがプログラム用メモリ（図示せず）に格納されている。医療画像処理装置１７においては、第２プロセッサである画像用プロセッサ等によって構成される中央制御部８１（図７参照）により、プログラム用メモリ内のプログラムが動作することによって、医療画像取得部８２と、検出部８３と、情報出力部８４と、情報表示制御部８５との機能が実現される（図７参照）。

【0058】

医療画像処理装置１７はディスプレイ１５と接続され、ディスプレイ１５は、医療画像処理装置１７が生成及び出力した各種情報の表示を行う。医療画像処理装置１７には、各種機器が接続されていてもよい。各種機器としては、例えば、指示等を行うキーボード等のユーザインターフェース、及び、画像及び情報等のデータを保存するストレージ等が挙げられる。また、医療画像処理装置１７は、各種機器と接続するために、ネットワーク接続機能を有する。医療画像処理装置１７は、ネットワーク接続機能により、例えば、医療業務支援装置６３０（図２６参照）等と接続することができる。

【0059】

図７に示すように、医療画像処理装置１７は、中央制御部８１と、医療画像取得部８２と、検出部８３と、情報出力部８４と、情報表示制御部８５とを備える。中央制御部８１は、医療画像処理装置１７の各部の制御を行い、また、プロセッサ装置１４等からの情報を受信し、受信した情報に基いて、医療画像処理装置１７の各部の制御を行う。また、キーボード（図示せず）等のユーザインタフェースと接続し、ユーザインタフェースからの指示等の情報も受信する。

【0060】

医療画像取得部８２は、プロセッサ装置１４から送られる複数種類の内視鏡画像を取得する。取得した画像は、検出部８３に送る。検出部８３は、医療画像取得部８２が取得した内視鏡画像に基づいて、内視鏡画像に写る観察対象が含む血管であって、所定の太さ以上である特定血管の位置を検出する。情報出力部８４は、検出部８３が検出した内視鏡画像に写る観察対象が含む特定血管の位置に関する情報を受け取り、特定血管位置情報を生成し、特定血管位置情報を保存又は医師等のユーザへ通知等するための出力を行なう。情報表示制御部８５は、情報出力部８４から特定血管位置情報を受け取り、ディスプレイ１５に表示するための制御を行なう。

【0061】

本実施形態では、医療画像取得部８２は、プロセッサ装置１４から、通常光で照明された観察対象を内視鏡により撮影して得られる通常画像を取得し、検出部８３に送る。検出部８３は、医療画像取得部８２から送られる通常画像を対象として、通常画像に写る観察対象が含む血管であって、所定の太さ以上である特定血管の位置を検出する。

【0062】

特定血管とは、内視鏡画像に写る観察対象に含まれる血管のうち、所定の太さ以上である血管をいう。所定の太さとは、少なくともＥＳＤの手技等により損傷した場合に問題が生じる可能性がある太さである。具体的には、場合にもよるが、毛細血管が１０μｍ程度であるとすれば、所定の太さは、例えば、０．１ｍｍ以上とすることができる。また、所定の太さは、場合に応じて設定することができる。なお、血管の形状が様々であるため、血管の太さとは、血管の見た目の幅をいい、直径でなくてもよい。ＥＳＤの手順のうち、粘膜の切開、及び粘膜下層の剥離において、ナイフ又はスネア等の処置具により粘膜を切開する際に特定血管を損傷する可能性が生じる。

【0063】

図８に示すように、例えば、大腸は、主に粘膜９１、粘膜下層９３、筋層９４、及び漿膜９５といった組織から構築される。Ｘ方向が大腸の内側である。粘膜９１は、粘膜下層９３との間に、粘膜筋板９２を含む。粘膜９１は、粘膜筋板９２から大腸の内側の粘膜９１へつながる動脈９９、リンパ管９８、静脈（図示せず）、及び微細血管（図示せず）等を含む。粘膜下層９３は、筋層９４からつながる比較的太い動脈である穿通血管９６、静脈９７、及び微細血管（図示せず）等を含む。動脈９９及び微細血管は、穿通血管９６より細い。特定血管は穿通血管９６を含む。

【0064】

粘膜下層９３が含む穿通血管９６は、比較的太いため、粘膜の切開又は剥離の際に損傷した場合、出血量が多く、また、一旦損傷すると出血のために損傷箇所を突き止めるのに手間がかかり、止血しにくい。したがって、ＥＳＤの際には、穿通血管９６等を避けて切開したり、予め穿通血管９６等に対して止血処理を行なうことが必要であるとされる。このように、ＥＳＤ等の際には、穿通血管９６等の特定血管の位置を把握することが重要である。

【0065】

穿通血管９６の位置が内視鏡画像により目視で把握できる場合は良いが、穿通血管９６が存在するのに見えにくい場合がある。例えば、粘膜下層に線維化がある場合は、線維化が白い不透明な組織であるために、穿通血管９６の位置が把握しづらい場合がある。また、線維化により、穿通血管９６の一部しか見えない場合もある。その他、焼灼痕、凝固血液、又は脂肪等の組織により、穿通血管９６の位置が把握しづらい場合もある。また、例えば、ＥＳＤの術中に、内視鏡の撮像レンズ部分が汚れたり、ミストが発生したりすることにより視界不良となり、穿通血管９６の位置を把握しずらくなる場合がある。また、出血が発生し、血溜まりにより、出血が発生している穿通血管９６の位置を把握しずらい場合がある。

【0066】

穿通血管９６等の特定血管の位置を検出することにより、ＥＳＤ等の処置において出血等の問題が生じることを防止し、また、処置に時間がかかることが避けられる。したがって、ＥＳＤ等の処置の効率化に寄与する。なお、特定血管の位置は、内視鏡画像における２次元方向の位置でもよいし、筋層９４側の奥行き方向の３次元方向の位置でもよい。したがって、特定血管の少なくとも一部の位置に関する情報が関連付けられた内視鏡画像である学習用画像を用いることにより、例えば、特定血管が一部表面にあり、一部が粘膜下層の内部にあって視認性が不良であっても、血管がどちらの方向に伸びるかを学習することによっても、特定血管の２次元及び３次元の位置を検出することが可能である。

【0067】

図９に示すように、検出部８３は、通常画像７１を入力した場合に、通常画像７１に写る観察対象における特定血管の位置を検出するように学習した機械学習における学習モデルであり、具体的にはプログラムである。学習モデルは、より高い精度で特定血管の位置を検出するために、機械学習における各種技術を採用することができ、また、各種の調整をすることができる。より高い精度により特定血管の位置が得られる可能性があることから、検出部８３は、多層ニューラルネットワークモデルであることが好ましい。内視鏡画像といった画像を入力して特定血管の位置を検出する学習モデルであることから、畳込みニューラルネットワークモデルであってもよく、また、ディープラーニングモデルであってもよい。

【0068】

検出部８３は、予め学習用画像により学習することにより生成する。学習用画像は、内視鏡画像に写る観察対象が含む特定血管の少なくとも一部の位置に関する情報が関連付けられた内視鏡画像である。具体的には、本実施形態の検出部８３は、ＥＳＤによる手術において特定血管を検出することから、学習用画像は、ＥＳＤの手術において取得される内視鏡画像であり、この内視鏡画像に写る観察対象における特定血管の少なくとも一部の位置に関する情報を有する内視鏡画像である。関連付けるとは、内視鏡画像と、この内視鏡画像に写る観察対象が含む特定血管の少なくとも一部の位置に関する情報とを関連させることであり、両者が関連していればよく、手法は問わない。内視鏡画像にいわゆるタグ付けを行なうことであってもよい。例えば、内視鏡画像の画像データに特定血管の位置に関する情報をヘッダー等として含ませてもよいし、内視鏡画像と特定血管の位置に関する情報とをテーブルの形で記憶させたものを用いてもよい。

【0069】

特定血管の少なくとも一部の位置に関する情報は、熟達した医師が内視鏡画像を目視することにより得ても良いし、内視鏡画像の画像解析、又は、内視鏡画像に基づく機械学習等により、特定血管の位置に関する情報を得ても良い。例えば、医師が見つけた特定血管の位置は、ディスプレイ１５に内視鏡画像を表示して、これを目視する等の方法により得ることができ、画像解析又は機械学習により見つけられた特定血管の位置は、特定血管の内視鏡上における座標等を記録する等の方法により得ることができる。

【0070】

図１０に示すように、具体的には、学習用画像には、観察対象に特定血管９０を含む通常画像７１であって、ＥＳＤが行われている際の通常画像７１ａを用いることができる。ディスプレイに１５に表示された通常画像７１ａは、ＥＳＤにおいて、インジゴカルミン等の染色液を含む局注液を粘膜下層９３に局注して、粘膜９１を切開した際の通常画像７１である。通常画像７１ａには、内視鏡先端に取り付けられたフード１０１、粘膜９１、粘膜下層９３、及び、はっきりと見える穿通血管である特定血管９０ａ、粘膜下層の奥にありはっきりとは見えない穿通血管である特定血管９０ｂが写る。はっきりと見える穿通血管である特定血管９０ａは、通常画像７１ａの中央付近で粘膜下層９３の内部、すなわち、筋層９４側に潜る特定血管９０ｂとなっており、特定血管９０ｂの部分は視認性が不良であり、他の組織との区別がつかない状態となっている。なお、特定血管９０ａと特定血管９０ｂとを区別しないときは、特定血管９０という。

【0071】

医師が通常画像７１ａに対し特定血管９０の少なくとも一部の位置に関する情報を関連付ける場合は、ディスプレイ１５上で、特定血管９０ａ及び９０ｂの位置を指定することにより、例えば、通常画像７１ａと特定血管９０ａ及び９０ｂの座標を関連付けることができる。

【0072】

特定血管９０の少なくとも一部の位置に関する情報は、内視鏡画像に写る被写体において、特定血管９０が全くないという情報も含まれる。また、損傷により問題が発生する可能性が高い特定血管９０程太くは無いが、問題が発生する可能性があるような太さ等の血管が存在する場合等、血管に「太」、「中」、又は「細」等の太さのランク付けをした情報であってもよい。また視認性が不良である血管が存在する場合、血管に「特に明瞭」、「明瞭」、又は「不明瞭」等の確からしさのランク付けをした情報であってもよい。また、術前には特定血管９０が把握できず、術中に出血をした場合、出血前の内視鏡画像に出血箇所の情報から得た特定血管９０の位置の情報を関連付けてもよい。このようにして得た特定血管９０の位置に関する情報は、内視鏡画像と関連付けられた学習用画像を、検出部８３の学習に用いる。

【0073】

検出部８３は、上記したような学習用画像により学習された学習モデルであるため、内視鏡画像が入力された場合に、入力された内視鏡画像における特定血管９０の位置を検出する。検出した特定血管９０の位置は、情報出力部８４に送られる。

【0074】

図１１に示すように、検出の対象となる内視鏡画像は、例えば、通常画像７１ｂであり、通常画像７１ｂには、粘膜９１と、染色液を含む局注液が局注された粘膜下層９３と、粘膜下層の奥にありはっきりとは見えない穿通血管である特定血管９０ｂと、はっきりと見える穿通血管である特定血管９０ａが写る。

【0075】

情報出力部８４は、検出部８３が検出した内視鏡画像における特定血管９０の位置を、各種の出力に適した特定血管位置情報として出力する。特定血管位置情報は、医師等の人が認知できる形式であれば良く、画像、音、又は光等の形式が挙げられる。画像により特定血管位置情報を出力する場合は、情報出力部８４は、特定血管９０の位置を示す画像を生成して特定血管位置情報とする。特定血管位置情報は、医師等に通知するために出力される。

【0076】

図１２に示すように、特定血管９０の位置を示す画像である特定血管位置情報１１１は、内視鏡画像に重畳するために生成される。特定血管位置情報１１１は、内視鏡画像上に特定血管９０の位置が表示されるように調整した場合に、内視鏡画像から検出された特定血管９０ａ及び９０ｂを、内視鏡画像上に表示する画像である。特定血管位置情報１１１は、特定血管９０ａの位置につき、筋層９４側、すなわち、内腔壁の外側方向の位置に関する特定血管位置情報１１１を示しても良い。例えば、特定血管位置情報１１１は、表面側に位置する特定血管９０ａを実線のように強調して示し、筋層９４側に位置する特定血管９０ｂを点線のように特定血管９０ａより目立たない状態で示してもよい。

【0077】

情報表示制御部８５は、例えば、検出した特定血管９０の位置を通知をするために画像の形式とした特定血管位置情報１１１をディスプレイ１５に表示する際に、内視鏡画像に位置合わせ等を行った上で、内視鏡画像に重畳する等、特定血管位置情報１１１の表示を制御する。情報表示制御部８５により、特定血管位置情報１１１が重畳された内視鏡画像が生成され、ディスプレイ１５に表示される。

【0078】

図１３に示すように、情報表示制御部８５により生成された内視鏡画像である、通常画像７１ｂに特定血管位置情報１１１が重畳された重畳画像７１ｃは、粘膜下層９３の表面付近に位置する特定血管９０ａと、粘膜下層９３の筋層９４側にあり視認性が低下している特定血管９０ｂとを、特定血管位置情報１１１により、通常画像７１Ｂ上に特定の色の線で示すことにより強調して、強調特定血管９０ｃとして示される。なお、特定血管位置情報１１１の重畳は、適宜オンオフが可能とされる。したがって、特定血管位置情報１１１がＥＳＤの進行の妨げになると考える場合は、特定血管位置情報１１１の重畳をオフとして、通常示される内視鏡画像に戻ることが可能である。

【0079】

以上のとおり、医療画像処理装置１７は、内視鏡画像に基づいて特定血管９０の位置を検出し、検出は上記したような学習用画像を用いて行い、特定血管９０の位置に関する特定血管位置情報を通知のために出力する制御を行なうため、内視鏡画像において視認性が低下した血管であっても検出して、例えば重畳画像７１ｃのように、出力することができる。したがって、医師は、重畳画像７１ｃにより、視認性が低下している特定血管９０Ｂの位置を把握することができる。具体的には、医師がＥＳＤによる手術中において、粘膜下層９３の切開又は剥離を進める際に、特定血管９０ｂの位置を把握した上で、予め止血処理を行なう、又は特定血管９０ｂを避けて切開する等の対応をとることができる。したがって、ＥＳＤ等による手術中において、医師は視認性が低下している特定血管９０であっても、これを損傷せずに粘膜９１の切開及び剥離を進めることができる。また、特定血管９０のような比較的太い血管が損傷した場合は、出血点の把握、及び、止血等のために時間と手間とが必要となるが、これらの時間と手間とが不要となるため、ＥＳＤ等の手術の効率化を図ることができる。

【0080】

なお、学習用画像は、観察対象が粘膜下層を含む内視鏡画像であることが好ましい。学習用画像が粘膜下層９３を含む内視鏡画像（図１１参照）であることにより、粘膜下層９３が写る内視鏡画像において、特定血管９０の位置を検出する精度を向上させることができる。

【0081】

粘膜下層９３が写る内視鏡画像は、粘膜９１を一部切開した内視鏡画像である。また、学習用画像は、観察対象がフード又はフードの影を含む内視鏡画像であってもよい。粘膜９１を切開する場合、内視鏡の先端にフードを取り付けることが多い。フードは内視鏡の先端部１２ｄから、３ｍｍ又は５ｍｍ等の一定の高さがあるため、フードを観察対象である粘膜９１に接触させることにより、内視鏡の先端部１２ｄとの距離が一定に保たれるため、粘膜９１の切開または剥離がしやすくなるためである。また、フードの形状により、粘膜下層９３にフード先端部を挿入することにより、粘膜下層９３の切開又は剥離を進めやすくなる場合がある。したがって、観察対象がフード又はフードの影を含む内視鏡画像（図１１参照）を学習用画像とすることにより、ＥＳＤ等の手術中の画像を学習用画像とすることができるため、ＥＳＤ等の手術中における内視鏡画像について、特定血管９０の位置を検出する精度を向上させることができる。

【0082】

また、学習用画像は、観察対象が線維化を含む内視鏡画像であることが好ましい。粘膜下層９３には、結合組織が異常増殖した線維化と呼ばれる組織が存在する場合がある。線維化は、白色の繊維状の組織であり、粘膜下層９３に薄く生成されたり、線維化が進んだ場合は厚く生成されたりする。線維化の厚さにより、粘膜下層９３の透明性が失われるため、粘膜下層９３に含まれる特定血管９０又は筋層９４等が見えづらくなる場合がある。また、線維化自体が筋層９４と見分けがつきにくい場合がある。また、線維化は粘膜下層９３よりも硬い組織であるため、切開がしずらい。したがって、ＥＳＤの手術中に、医師が線維化を含む粘膜下層９３に含まれる特定血管９０の位置を認識することが難しい場合があった。

【0083】

図１４に示すように、通常画像７１ｄは、線維化１２１を含む内視鏡画像である。通常画像７１ｄは、ＥＳＤの手術中の内視鏡画像であり、粘膜９１を切開したところ、線維化１２１が広がっており、線維化１２１の一部の領域において薄い線維化の領域１２２が存在する。薄い線維化の領域１２２では、局注液の青い色が透けて見える粘膜下層９３と、粘膜下層９３に含まれる特定血管９０ｂが一部見えている。したがって、通常画像７１ｄを学習用画像とする場合は、通常画像７１ｄに一部見えている特定血管９０ｄの位置に関する情報を関連付けて用いる。

【0084】

学習用画像が線維化を含む内視鏡画像であることにより、線維化が写る内視鏡画像において、特定血管９０の位置を検出する精度を向上させることができる。

【0085】

また、学習用画像は、観察対象が焼灼痕、凝固血液及び／又は脂肪を含む内視鏡画像であることが好ましい。ＥＳＤを行なう対象である消化管の内壁は、以前に行ったＥＭＲ又はＥＳＤにおける止血のための焼灼痕、出血が凝固した凝固血液、又は、脂肪等が存在する場合がある。したがって、これらの組織等からも特定血管９０を精度良く検出する必要がある。

【0086】

図１５に示すように、通常画像７１ｅは、焼灼痕１３１及び凝固血液１３２を含む内視鏡画像である。内視鏡画像７１ｅを学習用画像として用いることにより、これらの組織等からも特定血管９０を精度良く検出することができる。

【0087】

また、学習用画像は、内視鏡画像を画像処理することにより得られる情報が関連付けられた内視鏡画像であることが好ましい。さらに、学習用画像は、所定のスペクトルの照明光により照明された観察対象を撮影して得られる内視鏡画像であることが好ましい。

【0088】

画像処理としては、内視鏡画像に写る特定の構造を強調する画像処理、又は、粘膜色付近の色調を拡張する画像処理等が挙げられる。特定の構造としては、血管が挙げられる。また、血管のうち、消化管の内壁を、内側を表面として、表層に存在する表層血管、中層にある中層血管、又は深層にある深層血管をそれぞれ強調する画像処理を行っても良い。

【0089】

表層血管、中層血管、又は深層血管を強調する方法としては、複数の特定の狭帯域光を照明光として撮影して得た複数の内視鏡画像に対し、それぞれ得られた画像の輝度比を用いて特定の深さの血管の情報を得る方法、又は、所定のスペクトルの照明光により照明された観察対象を撮影して得る方法等が挙げられる。

【0090】

例えば、所定のスペクトルの照明光としては、第１照明光（図５参照）、又は第２照明光（図１６参照）等が挙げられる。光源用プロセッサ２１は、特殊観察モードに設定されている場合に、例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比の組み合わせがＶｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２となる第２照明光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御することができる。第２照明光は、深層血管を強調することが好ましい。そのため、第２照明光は、青色光Ｂの光強度を紫色光Ｖの光強度よりも大きくすることが好ましい。例えば、図１６に示すように、紫色光Ｖの光強度Ｖｓ２と青色光Ｂの光強度Ｂｓ２との比率を「１：３」とする。

【0091】

前述したように、第１照明光により得られる第１画像７２によれば、図１７に示すように、観察対象のうち背景粘膜ＢＭ、及び、表層血管ＶＳ１が表された画像が表示される。第１画像７２は、紫色光、青色光、緑色光、及び赤色光を含む第１照明光に基づいて得られる。図１８に示すように、第１照明光Ｌ１が観察対象に照明されると、第１照明光Ｌ１のうち紫色光及び青色光Ｖ／Ｂは、表層血管ＶＳ１が分布する表層にまで深達する。なお、図１８において、紙面上方から第１照明光Ｌ１が観察対象に照明され、紙面下方が観察対象の深さ方向Ｄである。第１照明光では紫色光Ｖの光強度が青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度より強いため、紫色光Ｖの反射光に基づいて得られる紫色光画像ＶＰに含まれる表層血管ＶＳ１の像が強調される。なお、ここでは、紫色光Ｖの光強度が青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度より強いことから、紫色光画像ＶＰとする。また、第１照明光Ｌ１のうち赤色光Ｒは、表層血管ＶＳ１及び深層血管ＶＳ２（表層血管ＶＳ１よりも深い位置にある血管）よりもさらに深い位置に分布する背景粘膜ＢＭにまで深達する。したがって、赤色光Ｒの反射光に基づいて得られる赤色光画像ＲＰには、背景粘膜ＢＭの像が含まれる。以上から、第１画像は紫色光画像ＶＰと赤色光画像ＲＰを組み合わせた画像であるため、背景粘膜ＢＭ及び表層血管ＶＳ１の像が表示される。

【0092】

第２照明光により得られる第２画像１４１により、図１９に示すように、観察対象のうち背景粘膜ＢＭ、及び、深層血管ＶＳ２が表された画像が表示される。第２画像１４１は、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む第２照明光に基づいて得られる。図２０に示すように、第２照明光Ｌ２のうち緑色光Ｇは、深層血管ＶＳ２が分布する深層にまで深達する。なお、図２０において、紙面上方から第１照明光Ｌ１が観察対象に照明され、紙面下方が観察対象の深さ方向Ｄである。第２照明光Ｌ２では緑色光Ｇの光強度が青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度より強いので、緑色光Ｇの反射光に基づいて得られる緑色光画像ＧＰに含まれる深層血管ＶＳ２の像が強調される。なお、ここでは、緑色光Ｇの光強度が強いことから、緑色光画像ＧＰとする。また、第２照明光Ｌ２のうち赤色光Ｒは、表層血管ＶＳ１及び深層血管ＶＳ２（表層血管ＶＳ１よりも深い位置にある血管）よりもさらに深い位置に分布する背景粘膜ＢＭにまで深達する。したがって、赤色光Ｒの反射光に基づいて得られる赤色光画像ＲＰには、背景粘膜ＢＭの像が含まれる。以上から、第２画像は赤色光画像ＲＰを組み合わせた画像であるため、背景粘膜ＢＭ及び深層血管ＶＳ２の像が表示される。

【0093】

以上のように、第１画像７２は表層血管ＶＳ１が強調され、第２画像１４１は中深層血管ＶＳ２が強調された内視鏡画像となる。これらの内視鏡画像を学習用画像として用いてもよい。学習用画像が血管が強調された内視鏡画像であることにより、内視鏡画像において特定血管９０の位置を検出する精度を向上させることができる。

【0094】

学習用画像が、内視鏡画像を画像処理することにより得られる情報が関連付けられた内視鏡画像であることにより、より広く、又は精度良く、内視鏡画像に情報を関連付けることができる。具体的には、内視鏡画像を画像処理することにより強調して表示した深層血管に特定血管９０が含まれる場合は、この特定血管９０の情報を内視鏡画像に関連付けることができる。したがって、このような内視鏡画像を用いて学習用画像とすることにより、学習用画像により広い情報又はより詳細な情報を関連付けられることができ、検出部８３がより精度良く特定血管９０を検出できる可能性がある。

【0095】

なお、上記したように、通常光、及び第１照明光、さらには第２照明光は、マルチ観察モードにおいては、自動的に切り替えることができる。これらの照明光のうち、通常光により照明して得られる内視鏡画像をディスプレイ１５に表示し、第１照明光及び第２照明光等の特殊光により照明して得られる内視鏡画像はディスプレイ１５に表示しないということもできる。特殊光により照明して得られる内視鏡画像は、画像処理を行って各種の情報を得るために使い、また、学習用画像として用いるために保存することができる。

【0096】

なお、特定血管位置情報は、安全な切開が可能である切開適合部位の情報を含むことが好ましい。切開適合部位は、ＥＳＤ等において粘膜等を切開する際に、少なくとも特定血管９０を損傷する可能性が低い部位である。

【0097】

図２１に示すように、医療画像処理装置１７は、切開適合部位判定部１５１を備える。切開適合部位判定部１５１は、検出部８３が検出した特定血管９０の位置に基づき、内視鏡画像に写る観察対象において、切開しても特定血管９０を損傷する可能性が低い領域を判定して、切開適合部位の情報を生成する。特定血管９０からの距離が遠い領域ほど、切開しても特定血管９０を損傷する可能性が低いといえる。特定血管９０からの距離は、内視鏡画像の２次元での距離でも良いし、粘膜９１から筋層９４に向かう３次元での距離でもよい。切開適合部位の情報は、医師に通知するために、例えば、図の形状として内視鏡画像に重畳して表示することができる。

【0098】

図２２に示すように、切開適合部位表示１６１は、切開適合部位の情報を図の形状として通常画像７１ｃに重畳して表示される。医師は、切開適合部位表示１６１を見ることにより、切開適合部位表示１６１の範囲内を切開する場合には、特定血管９０を損傷する可能性が低いことを認識することができる。通常画像７１ｃには、強調特定血管９０ｃも表示されることが好ましい。切開適合部位表示１６１と強調特定血管９０ｃとが表示された内視鏡画像により、医師は特定血管９０の位置と切開適合部位とをひと目で把握しながら、ＥＳＤを進めることができる。

【0099】

なお、医療画像処理装置１７では、特定血管位置情報を、色、図、記号、及び文字の少なくとも１つにより出力する制御を行なうことが好ましい。また、医療画像処理装置１７は、特定血管位置情報を、音及び／又は光により出力する制御を行なうことが好ましい。

【0100】

特定血管位置情報は、特定の色の線で示す（図１３参照）ほか、図、記号、及び／又は文字等を組み合わせて表示することができる。図２３に示すように、例えば、内視鏡画像上に特定血管位置情報を示す場合、特定血管位置情報１７１は、内視鏡画像の端に、粘膜下層の奥にありはっきりとは見えない穿通血管の特定血管９０ｂの存在と方向とを示す。

【0101】

なお、切開適合部位表示も同様に、色、図、記号、及び文字の少なくとも１つにより出力する制御がなされる。図２３に示すように、例えば、切開適合部位表示１７２は、内視鏡画像のうち特定血管９０が存在しない側の枠の外に、青等の安全を示唆する色で、切開適合部位が存在する方向を示すように表示される。なお、切開適合部位表示１７２は、特定血管９０が存在する場合、内視鏡画像のうち特定血管９０が存在する側の枠の外に、黄色等の危険を示唆する色で、切開適合部位ではない方向を示すように表示してもよい。

【0102】

また、特定血管位置情報が、音及び／又は光により出力される場合は、例えば、内視鏡画像におけるナイフ等の処置具の位置を判定し、処置具が特定血管９０に近づいた場合に、音及び／又は光により医師等に通知することができる。音により通知する場合は、処置具が特定血管９０に近づいた場合に音を発し、処置具が特定血管９０に近いほど大きい音とすることができる。また、光により通知する場合も同様に、処置具が特定血管９０に近づいた場合に、医療画像処理装置１７の筐体等に設置したランプ、ディスプレイ１５内、又はディスプレイ１５に表示される内視鏡画像内において、光を点滅させ、処置具が特定血管９０に近いほど点滅の間隔を短くすることができる。

【0103】

特定血管位置情報を、色、図、記号、及び文字の少なくとも１つにより出力する、又は、音及び／又は光により出力することにより、例えば、ＥＳＤの進行の妨げにならないように、また、医師に的確に、特定血管の位置を効果的に示すことができる。

【0104】

医療画像処理装置１７による本実施形態の内視鏡画像の処理の一連の流れについて、図２４に示すフローチャートに沿って説明を行う。まず、学習用画像を作成するために、医師により通常画像に写る被写体における特定血管９０の位置を判定する（ステップＳＴ１１０）。次に、通常画像に特定血管９０の位置を関連付けられた学習用画像を作成する（ステップＳＴ１２０）。学習用画像を用いて、学習用画像を学習させた学習モデルを作成し、テストケースの内視鏡画像等により特定血管の位置を正しく検出するよう調整する（ステップＳＴ１３０）。特定血管の位置を検出させたい内視鏡画像を用いて、学習モデルをテストする（ステップＳＴ１４０）。学習モデルが特定血管の位置を所望のとおり検出した場合、学習モデル完成とする（ステップＳＴ１５０でＹ）。学習モデルにおいて特定血管の位置の検出に問題があった場合は、学習用画像の作成に戻り、学習モデルを再作成する（ステップＳＴ１５０でＮ）。学習モデルが完成した場合、特手血管の位置を検出させたい通常画像を取得する（ステップＳＴ１６０）。通常画像に基づいて、学習モデルが特定血管野市を検出する（ステップＳＴ１７０）。検出した特定血管の位置を表示する特定血管位置情報を画像として出力する（ステップＳＴ１８０）。通常画像に特定血管位置情報の画像を重畳する（ステップＳＴ１９０）。重畳画像をディスプレイ１５に表示すする（ステップＳＴ２００）。

【0105】

なお、上記実施形態では、内視鏡画像の処理を行う場合に対して本発明の適用を行っているが、内視鏡画像以外の医療画像を処理するプロセッサ装置、医療画像処理装置、又は医療画像処理システム等に対しても本発明の適用は可能である。

【0106】

なお、図２５に示すように、内視鏡システム１０のうち画像処理部５５及び／又は中央制御部５８の一部又は全部は、例えば内視鏡システム１０から直接的に、または、ＰＡＣＳ（Picture Archiving and Communication Systems）２２から間接的に、内視鏡１２で撮像した画像を取得する診断支援装置６１０に設けることができる。同様に、内視鏡システム１０のうち医療画像処理装置１７の一部又は全部は、例えば内視鏡システム１０から直接的に、または、ＰＡＣＳ（Picture Archiving and Communication Systems）２２から間接的に、内視鏡１２で撮像した画像を取得する診断支援装置６１０に設けることができる。

【0107】

また、図２６に示すように、内視鏡システム１０を含む、第１検査装置６２１、第２検査装置６２２、…、第Ｎ検査装置６２３等の各種検査装置と、ネットワーク６２６を介して接続する医療業務支援装置６３０に、内視鏡システム１０のうち画像処理部５５及び／又は中央制御部５８の一部又は全部、又は、医療画像処理装置１７の一部または全部を設けることができる。

【0108】

上記実施形態において、光源用プロセッサ、第１プロセッサを含むプロセッサ装置１４に含まれる中央制御部５８、画像取得部５１、ＤＳＰ５２、ノイズ低減部５３、メモリ５４、画像処理部５５、表示制御部５６、及び映像信号生成部５７、並びに第２プロセッサを含む医療画像処理装置１７に含まれる中央制御部８１、医療画像取得部８２、検出部８３、情報出力部８４、情報表示制御部８５、及び切開適合部位判定部１５１といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0109】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0110】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

【符号の説明】

【0111】

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ ズーム操作部
１２ｇ モード切替スイッチ
１２ｈ 鉗子口
１３ 光源装置
１４ プロセッサ装置
１５ ディスプレイ
１６ キーボード
１７ 医療画像処理装置
２０ 光源部
２０ａ Ｖ－ＬＥＤ
２０ｂ Ｂ－ＬＥＤ
２０ｃ Ｇ－ＬＥＤ
２０ｄ Ｒ－ＬＥＤ
２１ 光源用プロセッサ
２２ ＰＡＣＳ
３０ａ 照明光学系
３０ｂ 撮像光学系
４１ ライトガイド
４２ 照明レンズ
４３ 対物レンズ
４４ ズームレンズ
４５ 撮像センサ
４６ ＣＤＳ／ＡＧＣ回路
４７ Ａ／Ｄコンバータ
５１ 画像取得部
５２ ＤＳＰ
５３ ノイズ低減部
５４ メモリ
５５ 画像処理部
５６ 表示制御部
５７ 映像信号生成部
５８、８１ 中央制御部
６１ 通常画像処理部
６２ 特殊画像処理部
７１、７１ａ、７１ｂ、７１ｃ、７１d 通常画像
７２ 第１画像
８２ 医療画像取得部
８３ 検出部
８４ 情報出力部
８５ 情報表示制御部
９０、９０ａ、９０ｂ 特定血管
９０ｃ 強調特定血管
９１ 粘膜
９２ 粘膜筋板
９３ 粘膜下層
９４ 筋層
９５ 漿膜
９６ 穿通血管
９７ 静脈
９８ リンパ管
９９ 動脈
１０１ フード
１１１、１７１ 特定血管位置情報
１２１ 線維化
１２２ 薄い線維化の領域
１３１ 焼灼痕
１３２ 凝固血液
１４１ 第２画像
１５１ 切開適合部位判定部
１６１、１７２ 切開適合部位表示
６１０ 診断支援装置
６２１ 第１検査装置
６２２ 第２検査装置
６２３ 第Ｎ検査装置
６２６ ネットワーク
６３０ 医療業務支援装置
ＶＳ１ 表層血管
ＶＳ２ 中層血管
ＢＭ 背景粘膜
Ｌ１ 第１照明光
Ｌ２ 第２照明光
Ｖ／Ｂ 紫色光及び青色光
Ｇ 緑色光
Ｒ 赤色光
Ｄ 深さ方向
ＶＰ 紫色光画像
ＢＰ 青色光画像
ＲＰ 赤色光画像
Ｘ 大腸の内側方向
Ｄ 深さ方向
ＳＴ１１０～ＳＴ２００ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】