特許 7559240 内視鏡プロセッサ、内視鏡装置、診断用画像表示方法及び診断用画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-20

(45)【発行日】2024-10-01

(54)【発明の名称】内視鏡プロセッサ、内視鏡装置、診断用画像表示方法及び診断用画像処理プログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240924BHJP

【ＦＩ】

A61B1/045 618

A61B1/045 614

A61B1/045 622

【請求項の数】 12

(21)【出願番号】P 2023531333

(86)(22)【出願日】2021-07-02

(86)【国際出願番号】 JP2021025205

(87)【国際公開番号】W WO2023276158

(87)【国際公開日】2023-01-05

【審査請求日】2023-06-06

(73)【特許権者】

【識別番号】304050923

【氏名又は名称】オリンパスメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(72)【発明者】

【氏名】窪田 明広

(72)【発明者】

【氏名】神田 大和

(72)【発明者】

【氏名】森田 恵仁

(72)【発明者】

【氏名】高畑 尚久

(72)【発明者】

【氏名】河野 隆志

(72)【発明者】

【氏名】谷口 央樹

【審査官】▲高▼原 悠佑

(56)【参考文献】

【文献】国際公開第２０２０／０４５６１９（ＷＯ，Ａ１）

【文献】特開２００８－０８６６０５（ＪＰ，Ａ）

【文献】国際公開第２０１８／１６３６４４（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１７１６１５（ＷＯ，Ａ１）

【文献】国際公開第２０１３／０５１４３１（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１９９５０９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

(57)【特許請求の範囲】

【請求項1】

第１照明光を照射して取得された第１画像情報のうち、関心物被写体で構成された第１領域画像情報と、非関心物被写体で構成された第２領域画像情報とを判別する領域判別部と、
前記第１照明光と異なる波長であり、前記非関心物被写体を透過する第２照明光を照射して取得された第２画像情報のうち、前記第２領域画像情報の領域の少なくとも一部を含む領域の第３領域画像情報を生成し、
前記第１領域画像情報と、前記第３領域画像情報とを組み合わせることで前記第１画像情報のうち前記非関心物被写体が透過された部分透過画像を作成する表示処理部と、を含む
内視鏡プロセッサ。

【請求項2】

前記第１照明光は白色光である、請求項１に記載の内視鏡プロセッサ。

【請求項3】

特殊光識別器を含み、
前記特殊光識別器は、
前記第３領域画像情報に対してＡＩを用いて検出した病変候補の信頼度スコアを算出し、
前記算出結果を前記表示処理部に出力する、請求項１に記載の内視鏡プロセッサ。

【請求項4】

前記表示処理部は、
前記第１領域画像情報に対して病変候補を検出し、
前記第３領域画像情報に対して病変候補を検出し、
検出結果を前記部分透過画像に加える、請求項１に記載の内視鏡プロセッサ。

【請求項5】

前記領域判別部は、前記第１画像情報を所定の領域に分割し、前記関心物被写体で構成された第１分割画像情報と、前記非関心物被写体で構成された第２分割画像情報とを判別する、請求項１に記載の内視鏡プロセッサ。

【請求項6】

前記領域判別部は、前記所定の領域に分割された前記第１画像情報のうち、所定色の割合が所定値未満のものを前記第１分割画像情報、前記所定色の割合が前記所定値以上のものを前記第２分割画像情報と判別する、請求項５に記載の内視鏡プロセッサ。

【請求項7】

特殊光識別器を含み、
前記特殊光識別器は、
前記第３領域画像情報の病変候補に対して信頼度スコアを算出し、
前記算出結果を前記表示処理部に出力する、請求項４に記載の内視鏡プロセッサ。

【請求項8】

前記表示処理部は、前記病変候補の鑑別情報を取得し、前記病変候補が検出された前記第１画像情報又は前記第２画像情報とともに前記鑑別情報をモニタに表示する、請求項４に記載の内視鏡プロセッサ。

【請求項9】

前記非関心物は、
胆汁、残渣、および血液のうち少なくとも１種である請求項１に記載の内視鏡プロセッサ。

【請求項10】

第１照明光および前記第１照明光とは波長が異なり非関心物被写体を透過する第２照明光を照射可能な光源装置と、
前記光源装置により前記第１照明光を照射して第１画像情報を取得し、前記光源装置により前記第２照明光を照射して第２画像情報を取得する撮像装置を備える内視鏡と、
前記第１画像情報のうち、関心物被写体で構成された第１領域画像情報と、非関心物被写体で構成された第２領域画像情報とを判別し、
前記第２画像情報のうち、前記第２領域画像情報の領域の少なくとも一部を含む領域の第３領域画像情報を生成し、
前記第１領域画像情報と、前記第３領域画像情報とを組み合わせることで前記第１画像情報のうち前記非関心物被写体が透過された部分透過画像を作成するプロセッサを備える内視鏡プロセッサと、
前記部分透過画像を表示するモニタと、
を備える内視鏡装置。

【請求項11】

内視鏡プロセッサにおいて、
領域判別部が、第１照明光を照射して取得された第１画像情報のうち、関心物被写体で構成された第１領域画像情報と、非関心物被写体で構成された第２領域画像情報とを判別し、
前記領域判別部が、前記第１照明光と異なる波長であり、前記非関心物被写体を透過する第２照明光を照射して取得された第２画像情報のうち、前記第２領域画像情報の領域の少なくとも一部を含む領域の第３領域画像情報を生成し、
表示処理部が、前記第１領域画像情報と、前記第３領域画像情報とを組み合わせることで前記第１画像情報のうち前記非関心物被写体が透過された部分透過画像を作成する、
診断用画像表示方法。

【請求項12】

第１照明光を照射して取得された第１画像情報のうち、関心物被写体で構成された第１領域画像情報と、非関心物被写体で構成された第２領域画像情報とを判別し、
前記第１照明光と異なる波長であり、前記非関心物被写体を透過する第２照明光を照射して取得された第２画像情報のうち、前記第２領域画像情報の領域の少なくとも一部を含む領域の第３領域画像情報を生成し、
前記第１領域画像情報と、前記第３領域画像情報とを組み合わせることで前記第１画像情報のうち前記非関心物被写体が透過された部分透過画像を作成する、
処理をコンピュータに実行させる診断用画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡プロセッサ、内視鏡装置、診断用画像表示方法及び診断用画像処理プログラムに関する。

【背景技術】

【0002】

従来より、医療分野や工業分野で内視鏡が広く利用されている。例えば、医療分野では、術者は、表示装置に表示された被検体内の内視鏡画像を見て病変部を発見及び鑑別し、病変部に対する処置具を用いた処置を行うことができる。

【0003】

近年、術者が病変部の見落としを抑制するために、内視鏡の動画画像に対して病変候補の位置を示したり、鑑別情報を表示したりする、コンピュータ支援画像診断（ＣＡＤ：Computer Aided Detection/Diagnosis）が開発されている。例えば、日本国特許第６２４６４３１号公報には、ＣＡＤにより病変部が発見されると、内視鏡画像上に枠などのマーカによる強調表示を行うことで、病変部が存在する位置を術者に報知する内視鏡装置が提案されている。

【0004】

しかし、日本国特許第６２４６４３１号公報に提案されている内視鏡装置は、光源が肉眼で観察する色に近い白色光（通常光）のため、病変上に血液や残渣等があった場合、病変部を発見できない。

【0005】

一方、日本国特開２０１４－２２１１６８号公報には、青味を帯びた特殊光を用いて、 残渣等の非関心物質の下に存在する血管などの各種構造が透けて見えるようにする内視鏡システムが提案されている。

【0006】

しかしながら、日本国特開２０１４－２２１１６８号公報に提案されている内視鏡システムは、非関心物質が血液の場合、血管などの各種構造を見ることができなかった。

【0007】

本発明は、前述した事情に鑑みてなされたものであり、残渣や血液を除去することなく、病変を検出する機能を実現することができる内視鏡プロセッサ、内視鏡装置、診断用画像表示方法及び診断用画像処理プログラムを提供することを目的とする。

【発明の開示】

【課題を解決するための手段】

【0008】

本発明の一態様の内視鏡プロセッサは、第１照明光を照射して取得された第１画像情報のうち、関心物被写体で構成された第１領域画像情報と、非関心物被写体で構成された第２領域画像情報とを判別する領域判別部と、前記第１照明光と異なる波長であり、前記非関心物被写体を透過する第２照明光を照射して取得された第２画像情報のうち、前記第２領域画像情報の領域の少なくとも一部を含む領域の第３領域画像情報を生成し、前記第１領域画像情報と、前記第３領域画像情報とを組み合わせることで前記第１画像情報のうち前記非関心物被写体が透過された部分透過画像を作成する表示処理部とを含む。

【0009】

また、本発明の一態様の内視鏡装置は、第１照明光および前記第１照明光とは波長が異なり非関心物被写体を透過する第２照明光を照射可能な光源装置と、前記光源装置により前記第１照明光を照射して第１画像情報を取得し、前記光源装置により前記第２照明光を照射して第２画像情報を取得する撮像装置を備える内視鏡と、前記第１画像情報のうち、関心物被写体で構成された第１領域画像情報と、非関心物被写体で構成された第２領域画像情報とを判別し、前記第２画像情報のうち、前記第２領域画像情報の領域の少なくとも一部を含む領域の第３領域画像情報を生成し、前記第１領域画像情報と、前記第３領域画像情報とを組み合わせることで前記第１画像情報のうち前記非関心物被写体が透過された部分透過画像を作成するプロセッサを備える内視鏡プロセッサと、前記部分透過画像を表示するモニタと、を備える。

【0010】

また、本発明の一態様の診断用画像表示方法は、内視鏡プロセッサにおいて、領域判別部が、第１照明光を照射して取得された第１画像情報のうち、関心物被写体で構成された第１領域画像情報と、非関心物被写体で構成された第２領域画像情報とを判別し、前記領域判別部が、前記第１照明光と異なる波長であり、前記非関心物被写体を透過する第２照明光を照射して取得された第２画像情報のうち、前記第２領域画像情報の領域の少なくとも一部を含む領域の第３領域画像情報を生成し、表示処理部が、前記第１領域画像情報と、前記第３領域画像情報とを組み合わせることで前記第１画像情報のうち前記非関心物被写体が透過された部分透過画像を作成する。
また、本発明の一態様の診断用画像処理プログラムは、第１照明光を照射して取得された第１画像情報のうち、関心物被写体で構成された第１領域画像情報と、非関心物被写体で構成された第２領域画像情報とを判別し、前記第１照明光と異なる波長であり、前記非関心物被写体を透過する第２照明光を照射して取得された第２画像情報のうち、前記第２領域画像情報の領域の少なくとも一部を含む領域の第３領域画像情報を生成し、前記第１領域画像情報と、前記第３領域画像情報とを組み合わせることで前記第１画像情報のうち前記非関心物被写体が透過された部分透過画像を作成する、処理をコンピュータに実行させる。

【図面の簡単な説明】

【0011】

【図1】内視鏡装置１の構成の一例を示す斜視図である。

【図2】内視鏡装置１の構成の一例を示すブロック図である。

【図3】内視鏡装置１の他の構成の一例を示すブロック図である。

【図4】内視鏡プロセッサ４の電気的な構成例を示すブロック図である。

【図5】識別器４３，４４の構成例を示すブロック図である。

【図6】白色光画像に残渣や血液等がある場合の表示処理の一例を示す図である。

【図7】内視鏡プロセッサ４の処理を示すフローチャートである。

【図8】第２の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。

【図9】内視鏡プロセッサ４Ｂの処理を示すフローチャートである。

【図10】第３の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。

【図11】内視鏡プロセッサ４Ｃの処理を示すフローチャートである。

【図12】第４の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。

【図13】内視鏡プロセッサ４Ｄの処理を示すフローチャートである。

【図14】第５の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。

【図15】表示処理によってモニタに表示される表示画面の一例を示す図である。

【図16】表示処理によってモニタに表示される表示画面の他の例を示す図である。

【発明を実施するための最良の形態】

【0012】

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態により本発明が限定されるものではない。なお、図面の記載において、同一または対応する要素には、適宜、同一の符号を付している。

【0013】

（第１の実施形態）
図１は、内視鏡装置１の構成の一例を示す斜視図である。本実施形態の内視鏡装置１は、内視鏡２と、光源装置３と、内視鏡プロセッサ４と、モニタ５と、を備えている。

【0014】

内視鏡２は、被検体へ挿入される細長の挿入部９と、内視鏡２に係る各種の操作を行うための操作部１０と、内視鏡２を光源装置３および内視鏡プロセッサ４へ接続するためのユニバーサルケーブル１７と、を備えている。

【0015】

挿入部９は、先端から基端側へ向かって順に、先端部６と、湾曲部７と、可撓管部８と、を備えている。先端部６は、図示を省略するが、照明光を被検体へ出射する照明窓と、被検体からの戻り光が入射される観察窓と、を備えている。本実施形態の内視鏡２は電子内視鏡として構成されており、先端部６に撮像装置２１（図２参照）が設けられている。撮像装置２１は、撮像光学系と、撮像素子とを備えている。撮像光学系は、観察窓から入射した光を、被写体像として撮像素子上に結像する。撮像素子は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサである。撮像素子は、被写体像を光電変換して撮像信号を生成し、出力する。撮像信号は、信号線を経由して、内視鏡プロセッサ４へ伝送される。

【0016】

湾曲部７は、先端部６の基端側に連設された湾曲可能な部位であり、湾曲することで先端部６が向く方向を変更する。先端部６の方向を変更することで、被検体の観察部位を変更し、または内視鏡２の挿入性を向上する。

【0017】

可撓管部８は、湾曲部７の基端側に連設された、可能性を有する部位である。

【0018】

挿入部９および操作部１０内には、湾曲部７を湾曲するための湾曲ワイヤと、処置具を挿通するための処置具チャンネルと、が配設されている。また、内視鏡２の、挿入部９、操作部１０、およびユニバーサルケーブル１７内には、撮像素子と接続される上述した信号線と、照明光を伝送するためのライトガイドとが配設されている。

【0019】

操作部１０には、湾曲ワイヤを経由して湾曲部７を湾曲操作するための湾曲操作部１４、フォーカススイッチ１５を含む各種のスイッチ類などが設けられている。湾曲操作部１４は、湾曲部７を上下方向に湾曲操作するためのＵＤ湾曲操作ノブ１２と、湾曲部７を左右方向に湾曲操作するためのＲＬ湾曲操作ノブ１３とを備える。湾曲部７は、上下方向の湾曲と左右方向の湾曲とを組み合わせることで、斜め方向の湾曲も行える。

【0020】

操作部１０の先端側には、術者が手で内視鏡２を把持するための把持部１１と、上述した処置具チャネルの基端側の開口となる処置具チャネル挿入口１６とが設けられている。

【0021】

ユニバーサルケーブル１７は、操作部１０の例えば基端側の側面から延出されている。ユニバーサルケーブル１７の基端には、スコープコネクタ１７ａが設けられている。スコープコネクタ１７ａは、内視鏡２を光源装置３に着脱自在に接続する。スコープコネクタ１７ａが光源装置３に接続されることで、ライトガイドによる照明光の伝送が可能となる。

【0022】

スコープコネクタ１７ａは、側面からコイル状のコイルケーブル１８が延出されている。コイルケーブル１８の延出端に設けられたスコープコネクタ１８ａは、内視鏡プロセッサ４と着脱自在に接続される。スコープコネクタ１８ａが内視鏡プロセッサ４と接続されることで、撮像素子が内視鏡プロセッサ４と電気的に接続される。

【0023】

内視鏡プロセッサ４は、表示装置であるモニタ５と電気的に接続されている。内視鏡プロセッサ４は、内視鏡２の撮像素子から出力された撮像信号を処理して、表示用画像情報を生成する。表示用画像情報は、内視鏡プロセッサ４からモニタ５へ出力され、モニタ５に内視鏡画像を含む表示画像として表示される。また、モニタ５は、音声を出力するスピーカ５ａを備えている。

【0024】

図２は、内視鏡装置１の構成の一例を示すブロック図である。
内視鏡２は、上述したように、撮像装置２１を備えている。撮像装置２１は、光源装置３から第１照明光を照射して第１画像情報（後述する白色光画像情報）を取得し、光源装置３から第２照明光を照射して第２画像情報（後述する特殊光画像情報）を取得する。

【0025】

光源装置３は、第１照明光と、第１照明光とは波長の異なる第２照明光とを照射可能である。本実施形態の光源装置３は、白色光源３１と、特殊光源３２と、を備えている。白色光源３１は、観察用の白色光を発光する。特殊光源３２は、白色光とはスペクトルの異なる特殊光を発光する。白色光は第１照明光であり、特殊光は第２照明光である。

【0026】

具体的に、光源装置３は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｖ（バイオレット）、Ａ（アンバー）等の各色光を発光する複数の光源を備え、各色光源を組み合わせることで、上述した白色光源３１および特殊光源３２が構成される。

【0027】

光源装置３は、例えば、ＬＥＤ（Light Emitting Diode）、またはＬＤ（Laser Diode）等の発光デバイスを備える。一例として、光源装置３は、中心波長が約４０５ｎｍの紫色（Ｖ）光を発光するＶ－ＬＥＤと、中心波長が約４４５ｎｍの青色（Ｂ）光を発光するＢ－ＬＥＤと、中心波長が約５４０ｎｍの緑色（Ｇ）光を発光するＧ－ＬＥＤと、中心波長が約６３０ｎｍの赤色（Ｒ）光を発光するＲ－ＬＥＤと、を備える。また、光源装置３は、プリズム、ミラー、光ファイバ、または、波長帯域もしくは光量等を調節する光学フィルタ等、を必要に応じて備える。

【0028】

本実施形態の光源装置３は、例えば、白色光、特殊光を、フレーム毎に順次発光するようになっている。これにより、撮像装置２１は、白色光画像情報（以下、白色光画像という）、特殊光画像情報（以下、特殊光画像という）を順に取得し、特殊光画像の次はまた白色光画像を取得することを繰り返して行う。

【0029】

内視鏡プロセッサ４は、画像処理部４１と、領域判別部４２と、白色光識別器４３と、特殊光識別器４４と、表示処理部４６と、バス４７と、制御部４８と、を備えている。

【0030】

なお、図２には、白色光識別器４３および特殊光識別器４４の２つを設けたが、３つ以上であっても構わない。

【0031】

図３は、内視鏡装置１の他の構成の一例を示すブロック図である。図３の内視鏡プロセッサ４Ａは、識別器を３つ設けた構成である。内視鏡プロセッサ４Ａは、図２の特殊光識別器４４に代わり、第１特殊光識別器４５Ａおよび第２特殊光識別器４５Ｂを用いて構成されている。また、光源装置３Ａは、図２の特殊光源３２に代わり、第１特殊光を出力する第１特殊光源３３、および、第２特殊光を出力する第２特殊光源３４を用いて構成されている。

【0032】

また、複数の識別機能を有する識別器を１つ設けて、識別機能を切り替えることで、白色光識別器４３および特殊光識別器４４の何れとしても機能するように構成しても構わない。

【0033】

図４は、内視鏡プロセッサ４の電気的な構成例を示すブロック図である。図２には、内視鏡プロセッサ４の機能的な構成を示したが、内視鏡プロセッサ４は、電気的な構成として、例えば、プロセッサ４ａと、メモリ４ｂとを備えている。

【0034】

プロセッサ４ａは、例えば、ＣＰＵ（Central Processing Unit：中央処理装置）等を含むＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）、またはＦＰＧＡ（Field Programmable Gate Array）を備えている。メモリ４ｂは、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ディスク記憶媒体などの記憶媒体である。メモリ４ｂは、処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記憶媒体を含む。

【0035】

プロセッサ４ａは、メモリ４ｂに記憶された処理プログラムを読み込んで実行することにより、図２に示す各部の機能を果たす。ただし、この構成に限定されるものではなく、プロセッサ４ａは、各部の機能を果たす専用の電子回路として構成されていても構わない。

【0036】

また、図５は、識別器４３，４４の構成例を示すブロック図である。白色光識別器４３および特殊光識別器４４は、何れも、照明光を照射して取得された画像情報から病変候補の領域を検出する病変識別器４ｃを備えている。なお、図３に示す第１特殊光識別器４５Ａおよび第２特殊光識別器４５Ｂも同様の構成である。病変識別器４ｃは、例えば、病変画像を学習した人工知能（ＡＩ：Artificial Intelligence）を含む。

【0037】

撮像装置２１は、白色光画像情報（以下、白色光画像という）、特殊光画像情報（以下、特殊光画像という）を順に取得し、特殊光画像の次はまた白色光画像を取得することを繰り返して行う。

【0038】

画像処理部４１には、撮像装置２１により順次取得された白色光画像及び特殊光画像が入力される。画像処理部４１は、撮像装置２１から出力された画像情報に、デモザイキング、ノイズ補正、色補正、コントラスト補正、ガンマ補正などの各種処理を行い、モニタ５へ出力可能なフォーマットの画像信号（表示用画像情報）に変換する。

【0039】

領域判別部４２は、白色光画像の色を判別することで、白色光画像で観察が可能な領域（あるいは画像）か、観察が困難な領域（あるいは画像）かを判別する。ここで、白色光画像で観察が可能な領域は、粘膜、血管、病変等が映っている領域であり、白色光画像で観察が困難な領域は、胆汁・残渣、血液等によって、それらの下の粘膜、血管、病変等が観察できない領域である。

【0040】

具体的には、領域判別部４２は、白色光画像の色が黄色又は赤色かを判別することで、白色光画像で観察が可能な粘膜等の領域と、白色光画像で観察が困難な胆汁・残渣、血液等の領域を判別する。より具体的には、領域判別部４２は、所定の領域に分割し、所定の領域毎に黄色又は赤色の割合が規定値未満の場合、白色光画像で観察が可能な領域と判別し、所定の領域毎に黄色又は赤色の割合が規定値以上の場合、白色光画像で観察が困難な領域と判別する。

【0041】

領域判別部４２は、白色光画像で観察が可能な領域の画像情報を白色光識別器４３に出力する。一方、領域判別部４２は、白色光画像で観察が困難な領域については、特殊光画像のうち、白色光画像で観察が困難な領域と同じ領域の画像情報を生成し、特殊光識別器４４に出力する。

【0042】

第１識別器を構成する白色光識別器４３は、白色光により撮像された白色光画像から病変を検出する識別器である。白色光識別器４３は、白色光画像として撮像された病変画像を、機械学習、ディープラーニング等により学習したＡＩを含む。白色光識別器４３は、白色光画像のうち、領域判別部４２により白色光画像で観察が可能な粘膜領域と判別された領域に病変候補（あるいは病変）があるか否かを検出する。また、白色光識別器４３は、検出した病変候補の信頼度スコアを算出する。信頼度スコアは、病変候補が実際に病変である確度（確信度）を示す。

【0043】

第２識別器を構成する特殊光識別器４４は、白色光画像で観察が困難な胆汁・残渣、血液等を透過する（光が吸収されない）特殊光により撮像された特殊光画像から病変を検出する識別器である。特殊光識別器４４は、特殊光画像として撮像された病変画像を、機械学習、ディープラーニング等により学習したＡＩを含む。特殊光識別器４４は、特殊光画像のうち、白色で観察が困難な領域に病変候補（あるいは病変）があるか否かを検出する。また、特殊光識別器４４は、検出した病変候補の信頼度スコアを算出する。

【0044】

なお、胆汁・残渣と血液とでは透過する特殊光が違うため学習データも違う。そのため、特殊光識別器４４は、胆汁・残渣と血液とで適応的に学習データを切り替えて学習している。なお、図３の構成のように、特殊光毎に識別器を持つようにしてもよい。

【0045】

具体的には、内視鏡プロセッサ４Ａは、胆汁・残渣を透過する第１特殊光源３３から出射された第１特殊光により撮像された第１特殊光画像から病変を検出する識別器として第１特殊光識別器４５Ａ、血液を透過する第２特殊光源３４から出射された第２特殊光により撮像された第２特殊光画像から病変を検出する識別器として第２特殊光識別器４５Ｂを設けている。

【0046】

この場合、第１特殊光識別器４５Ａは、胆汁・残渣を透過する第１特殊光（青色帯域の光を除く、緑色帯域と赤色帯域の光のみを用いることで、胆汁・残渣を透過して粘膜を観察することができる）画像から病変を検出する識別器である。第１特殊光識別器４５Ａは、胆汁・残渣が透過された第１特殊光画像として撮像された病変画像を、機械学習、ディープラーニング等により学習したＡＩを含む。

【0047】

第２特殊光識別器４５Ｂは、血液を透過する第２特殊光（６００ｎｍ付近にピークを有するアンバー光と赤色帯域の光を用いることで薄い血液を透過して、粘膜を観察することができる）画像から病変を検出する識別器である。第２特殊光識別器４５Ｂは、血液が透過された第２特殊光画像として撮像された病変画像を、機械学習、ディープラーニング等により学習したＡＩを含む。

【0048】

表示処理部４６は、白色光識別器４３および特殊光識別器４４を経由して入力された画像情報を組み合わせることで後述する部分透過画像を作成し、モニタ５に映像信号を出力する。また、表示処理部４６は、部分透過画像に白色光識別器４３及び／又は特殊光識別器４４により検出された病変情報（病変の有無、位置）を表示する画像合成処理を行いモニタ５に映像信号を出力する。

【0049】

バス４７は、内視鏡プロセッサ４内の各部が命令や情報の送受信を行う伝送路である。

【0050】

制御部４８は、バス４７を経由して、画像処理部４１、領域判別部４２、白色光識別器４３、特殊光識別器４４、及び、表示処理部４６と接続されており、これらを制御する。

【0051】

次に、図６を用いて、内視鏡プロセッサ４の表示処理について説明する。図６は、白色光画像に残渣や血液等がある場合の表示処理の一例を示す図である。

【0052】

領域判別部４２は、第１照明光である白色光を照射して取得された白色光画像６０のうち、粘膜、血管、病変等の関心物被写体が映っている第１領域画像情報（以下、第１領域画像という）８０と、残渣や血液等の非関心物被写体が映っている第２領域画像情報（以下、第２領域画像という）８１とを判別する。すなわち、第１領域画像８０は、白色光によって粘膜、血管、病変等を観察することができる領域画像であり、第２領域画像８１は、白色光によって粘膜、血管、病変等を観察することができない領域画像である。領域判別部４２は、白色光によって観察することができる第１領域画像８０を白色光識別器４３に出力する。

【0053】

また、領域判別部４２は、第２照明光である特殊光を照射して取得された特殊光画像７０のうち、第２領域画像と同じ領域にある第３領域画像情報（以下、第３領域画像という）８２を生成する。領域判別部４２は、特殊光によって残渣や血液等が透過された第３領域画像８２を特殊光識別器４４に出力する。

【0054】

白色光識別器４３は、第１領域画像８０についてＡＩを用いて病変候補および信頼度スコアを検出および算出する。白色光識別器４３は、検出した病変候補、算出した信頼度スコアに加え、第１領域画像８０を表示処理部４６に出力する。

【0055】

また、特殊光識別器４４は、第３領域画像についてＡＩを用いて病変候補および信頼度スコアを検出および算出する。特殊光識別器４４は、検出した病変候補、算出した信頼度スコアに加え、第３領域画像８２を表示処理部４６に出力する。

【0056】

表示処理部４６は、第１領域画像８０と第３領域画像８２とを組み合わせて、白色光画像６０のうち、非関心物被写体である残渣や血液等が透過された部分透過画像情報（以下、部分透過画像という）９０を生成する。また、表示処理部４６は、第１領域画像８０において病変候補８３が検出され、第３領域画像８２において病変候補８４が検出された場合、病変候補８３および８４に位置や大きさ等を示すマーカ８５および８６を表示する。

【0057】

図７は、内視鏡プロセッサ４の処理を示すフローチャートである。なお、図７の処理は撮像装置２１によって撮像された画像が内視鏡プロセッサ４に入力されている間は、繰り返し実行される。

【0058】

光源装置３が白色光と特殊光を順次切り替えて発光することで、白色光画像と特殊光画像とが撮像装置２１によって交互に撮像され、内視鏡プロセッサ４の画像処理部４１に入力される。そして、画像処理部４１により画像処理が施され、白色光画像と特殊光画像が領域判別部４２に入力される。

【0059】

領域判別部４２は、白色光画像を所定の領域に分割し（Ｓ１）、分割した白色光画像の所定の領域毎の色を判別する（Ｓ２）。

【0060】

次に、領域判別部４２は、所定の領域毎に黄色又は赤色が規定値以上か否かを判別する（Ｓ３）。領域判別部４２は、所定の領域毎に黄色又は赤色が規定値以上であると判別した場合、特殊光画像のうち、規定値以上と判別した領域と同じ領域の領域画像を生成し、特殊光識別器４４に出力する（Ｓ４）。特殊光識別器４４は、所定の領域毎に病変候補を検出する（Ｓ５）。特殊光識別器４４は、入力された領域画像と検出した病変候補とを表示処理部４６に出力する。

【0061】

一方、領域判別部４２は、黄色又は赤色が規定値以上でないと判別した場合、白色光画像のうち、黄色又は赤色が規定値以上でないと判別した領域画像を白色光識別器４３に出力する（Ｓ６）。白色光識別器４３は、所定の領域毎に病変候補を検出する（Ｓ７）。白色光識別器４３は、入力された領域画像と検出した病変候補とを表示処理部４６に出力する。

【0062】

表示処理部４６は、各領域画像を組み合わせた部分透過画像を生成し、モニタ５に表示する表示処理を行う（Ｓ８）。これにより、残渣や血液等が透過された部分透過画像がモニタ５に表示される。また、表示処理部４６は、Ｓ８の処理において、Ｓ５及び／又はＳ７の処理によって病変候補が検出された場合、病変候補にマーカを表示する表示処理を行う。

【0063】

以上のように、内視鏡プロセッサ４は、黄色又は赤色が規定値以上含まれていない領域画像（第１領域画像）については、白色光画像を白色光識別器４３に入力して病変を検出し、黄色又は赤色が規定値以上含まれている領域画像（第２領域画像）については、特殊光画像のうち第２領域画像と同じ領域に存在する領域画像（第３領域画像）を特殊光識別器４４に入力して病変を検出する。

【0064】

そして、内視鏡プロセッサ４は、第１領域画像と第３領域画像とを組み合わせることで、白色光画像のうち残渣や血液等が透過された部分透過画像を作成する。この結果、内視鏡プロセッサ４は、残渣や血液を除去することなく、病変を検出する機能を実現することができる。

【0065】

（第２の実施形態）
第１の実施形態では、白色光と特殊光を交互に発光し、白色光画像と特殊光画像を取得していた。これに対し、第２の実施形態では、白色光画像で観察が困難と判断されたときに特殊光を発光して特殊光画像を取得する点が異なっている。

【0066】

図８は、第２の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。なお、図８において、図２と同じ構成要素については、同じ符号を付して説明を省略する。

【0067】

内視鏡プロセッサ４Ｂは、図２の領域判別部４２及び制御部４８に代わり、領域判別部４２Ａ及び制御部４８Ａを用いて構成されている。領域判別部４２Ａは、白色光により撮像された白色光画像で残渣や血液等により病変等の検出が困難な第２領域画像８１があると判別した場合、判別結果を制御部４８Ａに出力する。具体的には、領域判別部４２Ａは、白色光画像を所定の領域に分割し、所定の領域毎に黄色又は赤色が規定値以上か否かを判別し、黄色又は赤色が規定値以上と判別した場合、病変等の検出が困難な第２領域画像があることを示す判別結果を制御部４８Ａに出力する。このとき、領域判別部４２Ａは、第２領域画像がある場合、白色光画像で病変等の検出ができる第１領域画像を白色光識別器４３に出力する。

【0068】

制御部４８Ａは、第２領域画像があることを示す判別結果を受けると、特殊光を発光するように光源装置３を制御する。すなわち、制御部４８Ａは、通常状態では白色光を発光するように光源装置３を制御し、領域判別部４２Ａから第２領域画像があることを示す判別結果を受けた場合、特殊光を発光するように光源装置３を制御する。

【0069】

光源装置３は、制御部４８Ａからの制御に応じて、白色光から特殊光に切り替えて発光する。これにより、プロセッサ４Ａには、撮像装置２１により撮像された特殊光画像が入力される。領域判別部４２Ａは、入力された特殊光画像のうち、第２領域画像と同じ領域にある第３領域画像を生成し、特殊光識別器４４に出力する。

【0070】

白色光識別器４３、特殊光識別器４４及び表示処理部４６の動作は第１の実施形態と同様であり、モニタ５には図６に示す部分透過画像９０が表示される。

【0071】

図９は、内視鏡プロセッサ４Ｂの処理を示すフローチャートである。図９の処理は撮像装置２１によって撮像された画像が内視鏡プロセッサ４Ｂに入力されている間は、繰り返し実行される。

【0072】

光源装置３が白色光を発光することで、白色光画像が撮像装置２１によって撮像され、内視鏡プロセッサ４Ｂの画像処理部４１に入力される。そして、画像処理部４１により画像処理が施され、白色光画像が領域判別部４２Ａに入力される。

【0073】

領域判別部４２Ａは、白色光画像を所定の領域に分割し（Ｓ１１）、分割した白色光画像の所定の領域毎の色を判別する（Ｓ１２）。

【0074】

次に、領域判別部４２Ａは、所定の領域毎に黄色又は赤色が規定値以上か否かを判別する（Ｓ１３）。領域判別部４２Ａは、所定の領域毎に黄色又は赤色が規定値以上であると判別した場合、判別結果を制御部４８Ａに出力し、特殊光画像を取得する（Ｓ１４）。領域判別部４２Ａは、取得した特殊光画像のうち、規定値以上と判別した領域と同じ領域の領域画像を生成し、特殊光識別器４４に出力する（Ｓ１５）。特殊光識別器４４は、所定の領域毎に病変候補を検出する（Ｓ１６）。特殊光識別器４４は、入力された領域画像と検出した病変候補とを表示処理部４６に出力する。

【0075】

一方、領域判別部４２Ａは、黄色又は赤色が規定値以上でないと判別した場合、白色光画像のうち、黄色又は赤色が規定値以上でないと判別した領域画像を白色光識別器４３に出力する（Ｓ１７）。白色光識別器４３は、所定の領域毎に病変候補を検出する（Ｓ１８）。白色光識別器４３は、入力された領域画像と検出した病変候補とを表示処理部４６に出力する。

【0076】

表示処理部４６は、各領域画像を組み合わせた部分透過画像を生成し、モニタ５に表示する表示処理を行う（Ｓ１９）。また、表示処理部４６は、Ｓ１９の処理において、Ｓ１６及び／又はＳ１８の処理によって病変候補が検出された場合、病変候補にマーカを表示する表示処理を行う。

【0077】

以上の処理により、内視鏡プロセッサ４Ｂは、第１の実施形態と同様に、残渣や血液等が透過された部分透過画像をモニタ５に表示することができる。

【0078】

（第３の実施形態）
第１及び第２の実施形態では、領域判別部４２及び４２Ａは白色光画像の所定の領域毎の色を判別することで、観察が困難な領域画像か否かを判別していた。これに対し、第３の実施形態では、白色光識別器４３、特殊光識別器４４の病変判別の信頼度スコア（確信度）で判別する点が異なっている。

【0079】

図１０は、第３の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。なお、図１０において、図２と同じ構成要素については、同じ符号を付して説明を省略する。

【0080】

内視鏡プロセッサ４Ｃは、図２の領域判別部４２及び表示処理部４６に代わり、領域判別部４２Ｂ及び表示処理部４６Ａを用いて構成されている。領域判別部４２Ｂには白色光画像、特殊光画像が入力される。領域判別部４２Ｂは、白色光画像を所定の領域に分割して白色光識別器４３に出力し、特殊光画像を所定の領域に分割して特殊光識別器４４に出力する。

【0081】

白色光識別器４３は分割された白色光画像の所定の領域毎に病変候補を検出および信頼度スコアを算出する。白色光識別器４３は、病変候補の検出結果および信頼度スコアの算出結果を表示処理部４６Ａに出力する。特殊光識別器４４は分割された特殊光画像の所定の領域毎に病変候補を検出および信頼度スコアを算出する。特殊光識別器４４は、病変候補の検出結果および信頼度スコアの算出結果を表示処理部４６Ａに出力する。

【0082】

表示処理部４６Ａは、所定の領域に分割された白色光画像及び特殊光画像の同じ領域毎に信頼度スコアを比較し、信頼度スコアが高い領域を表示する。

【0083】

図１１は、内視鏡プロセッサ４Ｃの処理を示すフローチャートである。図１１の処理は撮像装置２１によって撮像された画像が内視鏡プロセッサ４Ｃに入力されている間は、繰り返し実行される。

【0084】

光源装置３が白色光と特殊光を順次切り替えて発光することで、白色光画像と特殊光画像とが撮像装置２１によって交互に撮像され、内視鏡プロセッサ４Ｃの画像処理部４１に入力される。そして、画像処理部４１により画像処理が施され、白色光画像と特殊光画像が領域判別部４２Ｂに入力される。

【0085】

領域判別部４２Ｂは、白色光画像を所定の領域に分割し（Ｓ２１）、白色光識別器４３に出力する。白色光識別器４３は、所定の領域毎に病変候補を検出及び信頼度スコアを算出する（Ｓ２２）。病変候補及び信頼度スコアの情報は、表示処理部４６Ａに入力される。

【0086】

また、領域判別部４２Ｂは、特殊光画像を所定の領域に分割し（Ｓ２３）、特殊光識別器４４に出力する。特殊光識別器４４は、所定の領域毎に病変候補を検出及び信頼度スコアを算出する（Ｓ２４）。病変候補及び信頼度スコアの情報は、表示処理部４６Ａに入力される。

【0087】

表示処理部４６Ａは、特殊光識別器４４の信頼度スコアが高いか否かを判定する（Ｓ２５）。表示処理部４６Ａは、特殊光識別器４４の信頼度スコアが高いと判定した場合、特殊光画像の所定の領域を選択し、特殊光識別器４４の信頼度スコアが高くないと判定した場合、白色光画像の所定の領域を選択して表示するように表示処理を行う（Ｓ２６）。また、表示処理部４６Ａは、Ｓ２６の処理において、Ｓ２２及び／又はＳ２４の処理によって病変候補が検出された場合、病変候補にマーカを表示する表示処理を行う。

【0088】

以上の処理により、内視鏡プロセッサ４Ｃは、第１の実施形態と同様に、残渣や血液等が透過された部分透過画像をモニタ５に表示することができる。

【0089】

（第４の実施形態）
第１～第３の実施形態では、１枚の画像を分割して領域毎に判別していた。これに対して、第４の実施形態では、画像単位で判別する。

【0090】

図１２は、第４の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。なお、図１２において、図２と同じ構成要素については、同じ符号を付して説明を省略する。

【0091】

内視鏡プロセッサ４Ｄは、図２の領域判別部４２が削除されるとともに、表示処理部４６に代わり、表示処理部４６Ｂを用いて構成されている。

【0092】

画像処理部４１は、白色光画像及び特殊光画像を白色光識別器４３及び特殊光識別器４４に出力する。白色光識別器４３は、白色光画像から病変候補を検出及び信頼度スコアを算出し、表示処理部４６Ｂに出力する。特殊光識別器４４は、特殊光画像から病変候補を検出及び信頼度スコアを算出し、表示処理部４６Ｂに出力する。

【0093】

表示処理部４６Ｂは、特殊光識別器４４での信頼度スコアが高いか否かを判定する。表示処理部４６Ｂは、特殊光識別器４４でのスコアが高いと判定した場合、特殊光画像をモニタ５に表示するように表示処理する。一方、表示処理部４６Ｂは、特殊光識別器４４でのスコアが高くないと判定した場合、白色光画像をモニタ５に表示するように表示処理する。

【0094】

図１３は、内視鏡プロセッサ４Ｄの処理を示すフローチャートである。図１３の処理は撮像装置２１によって撮像された画像が内視鏡プロセッサ４Ｄに入力されている間は、繰り返し実行される。

【0095】

光源装置３が白色光と特殊光を順次切り替えて発光することで、白色光画像と特殊光画像とが撮像装置２１によって交互に撮像され、内視鏡プロセッサ４の画像処理部４１に入力される。そして、画像処理部４１により画像処理が施され、白色光画像および特殊光画像が白色光識別器４３および特殊光識別器４４に入力される。

【0096】

白色光識別器４３は、白色光画像から病変候補を検出及び信頼度スコアを算出する（Ｓ３１）。病変候補及び信頼度スコアの情報は、表示処理部４６Ｂに入力される。特殊光識別器４４は、特殊光画像から病変候補を検出及び信頼度スコアを算出する（Ｓ３２）。病変候補及び信頼度スコアの情報は、表示処理部４６Ｂに入力される。

【0097】

表示処理部４６Ｂは、特殊光識別器４４の信頼度スコアが高いか否かを判定する（Ｓ３３）。表示処理部４６Ｂは、特殊光識別器４４の信頼度スコアが高いと判定した場合、特殊光画像を表示する表示処理を行う（Ｓ３４）。また、表示処理部４６Ｂは、Ｓ３４の処理において、Ｓ３２の処理によって病変候補が検出された場合、病変候補にマーカを表示する表示処理を行う。

【0098】

一方、表示処理部４６Ｂは、特殊光識別器４４の信頼度スコアが高くない判定した場合、白色光画像を表示する表示処理を行う（Ｓ３５）。また、表示処理部４６Ｂは、Ｓ３５の処理において、Ｓ３１の処理によって病変候補が検出された場合、病変候補にマーカを表示する表示処理を行う。

【0099】

以上の処理により、内視鏡プロセッサ４Ｄは、白色光画像及び特殊光画像のうち、病変候補が観察できる可能性が高い一方の画像をモニタ５に表示することができる。

【0100】

（第５の実施形態）
第１～第４の実施形態では、病変位置の検出および表示を行っていた。これに対し、第５の実施形態では、病変の鑑別結果を表示する点が異なっている。

【0101】

図１４は、第５の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。なお、図１４において、図２と同じ構成要素については、同じ符号を付して説明を省略する。

【0102】

内視鏡プロセッサ４Ｅは、図２の白色光識別器４３、特殊光識別器４４および表示処理部４６に代わり、それぞれ白色光識別器４３Ａ、特殊光識別器４４Ａおよび表示処理部４６Ｃを用いて構成されている。

【0103】

白色光識別器４３Ａ及び特殊光識別器４４Ａは、病変画像とともに鑑別情報を学習させる。これにより、白色光識別器４３Ａ及び特殊光識別器４４Ａは、病変候補の検出に加え、信頼度スコア（確信度）の高い順に鑑別情報（鑑別結果）を出力することができる。

【0104】

図１５は、表示処理によってモニタに表示される表示画面の一例を示す図であり、図１６は、表示処理によってモニタに表示される表示画面の他の例を示す図である。

【0105】

表示処理部４６Ｃは、病変を観察できる画像とともに鑑別情報を表示する。表示処理部４６Ｃは、図１５に示すように、病変候補を検出した画像（白色光画像又は特殊光画像）と、その画像に隣接して信頼度スコアの高い鑑別情報９１を表示する。なお、表示処理部４６Ｃは、図１５の例では、鑑別情報９１として１つの病名を表示しているが、これに限定されることなく、複数の病名と各病名の確率等を表示してもよい。また、表示処理部４６Ｃは、鑑別情報９１として病名を表示することに限定されることなく、例えば病気の進行度を表示するようにしてもよい。

【0106】

また、表示処理部４６Ｃは、白色光画像と、病変が観察された画像とを表示してもよい。表示処理部４６Ｃは、例えば図１６に示すように、メイン画面に白色光画像１０１と病変候補の位置及び大きさ等を示すマーカ１０２及び１０３を表示し、病変候補を検出した特殊光画像１０４をメイン画面より小さいサブ画面に表示する。なお、表示処理部４６Ｃは、病変候補を検出した画像が白色光画像１０１の場合、サブ画面には特殊光画像１０４を表示しなくてもよい。

【0107】

以上の処理により、内視鏡プロセッサ４Ｅは、病変候補の位置の検出及び表示に加え、鑑別情報をモニタ５に表示するができる。

【0108】

なお、本明細書におけるフローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。

【0109】

本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更、組み合わせや応用が可能であることは勿論である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】