特許 6931425 医用画像学習装置、医用画像学習方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6931425

(24)【登録日】2021年8月17日

(45)【発行日】2021年9月1日

(54)【発明の名称】医用画像学習装置、医用画像学習方法、及びプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20210823BHJP

   A61B 1/00 20060101ALI20210823BHJP

   G06T 1/00 20060101ALI20210823BHJP

   G06T 1/40 20060101ALI20210823BHJP

【ＦＩ】

   A61B1/045 614

   A61B1/00 513

   G06T1/00 290Z

   G06T1/40

【請求項の数】18

【全頁数】29

(21)【出願番号】特願2020-530944(P2020-530944)

(86)(22)【出願日】2019年6月17日

(86)【国際出願番号】JP2019023882

(87)【国際公開番号】WO2020017211

(87)【国際公開日】20200123

【審査請求日】2020年12月17日

(31)【優先権主張番号】特願2018-136922(P2018-136922)

(32)【優先日】2018年7月20日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】加門 駿平

【審査官】 井上 香緒梨

(56)【参考文献】

【文献】 国際公開第２０１７／１７５２８２（ＷＯ，Ａ１）

【文献】 国際公開第２０１７／１０９９０４（ＷＯ，Ａ１）

【文献】 国際公開第２０１６／２０８０１６（ＷＯ，Ａ１）

【文献】 米国特許第８９０３１６７（ＵＳ，Ｂ２）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００−１／３２

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １／４０

Ｇ１６Ｈ ５０／５０

Ｇ１６Ｈ ５０／７０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

互いに分光分布が異なる第一画像及び第二画像を取得する画像取得部と、
前記第一画像に画像処理を施して第三画像を生成する画像処理部と、
複数の前記第一画像を含む第一画像群、複数の前記第二画像を含む第二画像群、及び複数の前記第三画像を含む第三画像群、並びに前記第一画像群、前記第二画像群、及び前記第三画像群のそれぞれの正解データを用いて、自動認識に適用する認識器を学習させる学習部と、
を備え、
前記画像処理部は、前記第一画像の分光分布に含まれる帯域のうち前記第二画像の対応する帯域と特性が異なる帯域の信号を抑制する画像処理、及び前記第一画像に含まれる帯域のうち前記第二画像の対応する帯域と特性が同一の帯域の信号又は類似する帯域の信号を強調する画像処理の少なくともいずれかを施して、前記第一画像から前記第三画像を生成する医用画像学習装置。

【請求項2】

前記画像処理部は、前記第一画像に対して、輝度分散を変換する処理を施す請求項１に記載の医用画像学習装置。

【請求項3】

前記画像処理部は、前記第一画像に対して、輝度を規定の輝度値に変更する処理を施す請求項１に記載の医用画像学習装置。

【請求項4】

前記画像処理部は、前記第一画像に対して、輝度をランダムな輝度値に変更する処理を施す請求項１に記載の医用画像学習装置。

【請求項5】

前記第一画像は通常光を用いて撮像した通常光画像であり、
前記第二画像は通常光よりも狭帯域の特殊光を用いて撮像した特殊光画像である請求項１に記載の医用画像学習装置。

【請求項6】

前記画像処理部は、前記通常光画像に対して、Ｂチャネル成分を抑制する処理を施す請求項５に記載の医用画像学習装置。

【請求項7】

前記画像処理部は、前記通常光画像に対して、Ｒチャネル成分及びＧチャネル成分の少なくともいずれか一方を強調する処理を施す請求項５に記載の医用画像学習装置。

【請求項8】

前記画像処理部は、前記通常光画像に対して、Ｒチャネル成分を抑制する処理を施す請求項５に記載の医用画像学習装置。

【請求項9】

前記画像処理部は、前記通常光画像に対して、Ｂチャネル成分及びＧチャネル成分を強調する処理を施す請求項５に記載の医用画像学習装置。

【請求項10】

前記画像処理部は、前記第一画像の処理対象帯域における空間周波数の規定の周波数成分を抑制する処理、又は前記第一画像の処理対象帯域における空間周波数の規定の周波数成分を強調する処理を施す請求項１に記載の医用画像学習装置。

【請求項11】

前記第一画像は通常光を用いて撮像した通常光画像であり、
前記第二画像は通常光よりも狭帯域の特殊光を用いて撮像した特殊光画像であり、
前記画像処理部は、前記通常光画像のＢチャネル成分の高周波成分を強調する処理を施す請求項１０に記載の医用画像学習装置。

【請求項12】

前記学習部は、前記第一画像群の学習と前記第二画像群の学習との学習方法を切り替える請求項１から１１のいずれか一項に記載の医用画像学習装置。

【請求項13】

前記学習部は、前記第二画像群の学習と前記第三画像群の学習との学習方法を切り替える請求項１から１１のいずれか一項に記載の医用画像学習装置。

【請求項14】

前記学習部は、学習における前記第三画像の影響を抑制又は強調する学習方法を適用する請求項１２又は１３に記載の医用画像学習装置。

【請求項15】

前記学習部は、前記第一画像群、前記第三画像群、前記第一画像群の正解データ、及び前記第三画像群の正解データを用いた学習済の認識器、又は前記第三画像群及び前記第三画像群の正解データを用いた学習済の認識器に対して、前記第二画像群及び前記第二画像群の正解データを用いた学習を実施する請求項１２又は１３に記載の医用画像学習装置。

【請求項16】

互いに分光分布が異なる第一画像及び第二画像を取得する画像取得工程と、
前記第一画像に画像処理を施して第三画像を生成する画像処理工程と、
複数の前記第一画像を含む第一画像群、複数の前記第二画像を含む第二画像群、及び複数の前記第三画像を含む第三画像群、並びに前記第一画像群、前記第二画像群、及び前記第三画像群のそれぞれの正解データを用いて、自動認識に適用する認識器を学習させる学習工程と、
を含み、
前記画像処理工程は、前記第一画像の分光分布に含まれる帯域のうち前記第二画像の対応する帯域と特性が異なる帯域の信号を抑制する画像処理、及び前記第一画像に含まれる帯域のうち前記第二画像の対応する帯域と特性が同一の帯域の信号又は類似する帯域の信号を強調する画像処理の少なくともいずれかを施して、前記第一画像から前記第三画像を生成する医用画像学習方法。

【請求項17】

コンピュータに、
互いに分光分布が異なる第一画像及び第二画像を取得する画像取得機能、
前記第一画像に画像処理を施して第三画像を生成する画像処理機能、及び
複数の前記第一画像を含む第一画像群、複数の前記第二画像を含む第二画像群、及び複数の前記第三画像を含む第三画像群、並びに前記第一画像群、前記第二画像群、及び前記第三画像群のそれぞれの正解データを用いて、自動認識に適用する認識器を学習させる学習機能を実現させるプログラムであって、
前記画像処理機能は、前記第一画像の分光分布に含まれる帯域のうち前記第二画像の対応する帯域と特性が異なる帯域の信号を抑制する画像処理、及び前記第一画像に含まれる帯域のうち前記第二画像の対応する帯域と特性が同一の帯域の信号又は類似する帯域の信号を強調する画像処理の少なくともいずれかを施して、前記第一画像から前記第三画像を生成するプログラム。

【請求項18】

非一時的かつコンピュータ読取可能な記憶媒体であって、前記記憶媒体に格納された指令がコンピュータによって読み取られた場合に、
互いに分光分布が異なる第一画像及び第二画像を取得する画像取得機能と、
前記第一画像に画像処理を施して第三画像を生成する画像処理機能と、
複数の前記第一画像を含む第一画像群、複数の前記第二画像を含む第二画像群、及び複数の前記第三画像を含む第三画像群、並びに前記第一画像群、前記第二画像群、及び前記第三画像群のそれぞれの正解データを用いて、自動認識に適用する認識器を学習させる学習機能と、を含み、
前記画像処理機能は、前記第一画像の分光分布に含まれる帯域のうち前記第二画像の対応する帯域と特性が異なる帯域の信号を抑制する画像処理、及び前記第一画像に含まれる帯域のうち前記第二画像の対応する帯域と特性が同一の帯域の信号又は類似する帯域の信号を強調する画像処理の少なくともいずれかを施して、前記第一画像から前記第三画像を生成する、画像学習機能をコンピュータに実行させる記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は医用画像学習装置、医用画像学習方法、及びプログラムに係り、特に特殊光観察画像の学習に関する。

【背景技術】

【0002】

医療分野において、ディープラーニングと呼ばれる深層学習を適用したＡＩ技術が期待されている。ＡＩ技術の一例として、病変の自動検出及び病変の自動鑑別が挙げられる。なお、ＡＩはArtificial Intelligenceの省略語である。

【0003】

特許文献１は、可視光の波長領域を撮像して可視光領域を表すカラー画像である通常画像と、狭帯域分光画像である診断用画像とを生成する電子内視鏡装置が記載されている。同文献には、通常画像に演算処理を適用して、狭帯域バンドパスフィルタを用いて得られた狭帯域画像と同等の画像を取得して、診断用画像を生成することが記載されている。

【0004】

特許文献２は、マルチセンサ情報について、人工知能装置の機械学習及び人工知能装置の動作の検証を支援する機械学習支援装置が記載されている。同文献には、分光データの特徴スペクトル部分を保持したまま、その他の波形部分をランダムに変化させるなどして学習用の仮想データを生成することが記載されている。また、同文献には、仮想データセットを使用して人工知能装置を予め学習させることが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０−７５３６８号公報

【特許文献2】特開２０１７−１０２７５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、学習モデルの開発には大量の正解データセットを必要とする。なお、ここでいう正解データセットとは、画像及び画像の認識結果の組を意味する。医療分野においては、正解データセットの収集が学習モデルの開発の障壁となる。内視鏡装置を用いた観察には、通常光を用いた観察だけでなく、ＢＬＩ（Blue LAZER Imaging）等の特殊光を用いた観察が存在する。複数のモードに対応可能なＡＩの開発は、さらに、大量の正解データセットを収集する必要が生じる。

【0007】

ここでいう通常光の一例として白色光が挙げられる。白色光は複数の波長帯域の光を含み得る。また、特殊光の一例として、白色光の波長帯域よりも狭い帯域の光が挙げられる。特殊光は複数の波長帯域の光を含み得る。

【0008】

特許文献１には、学習に関する記載はない。また、特許文献１には、輝度の調整等の記載はあるものの、分光分布における帯域成分の違いに注目した処理の切り替えに関する記載はない。

【0009】

特許文献２には、分光データのスペクトル成分を保持したまま、その他の波長成分をランダムに変化させて生成される学習用の仮想データセットについて記載されている。一方、特許文献２には、分光分布が異なる複数の画像群において、対応する帯域における帯域成分を学習に利用する旨の記載はない。

【0010】

本発明はこのような事情に鑑みてなされたもので、分光分布が異なる画像ごとに大量の正解画像の収集を行うことなく、分光分布が異なる複数の画像に対応した学習を実現し得る、医用画像学習装置、医用画像学習方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

上記目的を達成するために、次の発明態様を提供する。

【0012】

第１態様に係る医用画像学習装置は、互いに分光分布が異なる第一画像及び第二画像を取得する画像取得部と、第一画像に画像処理を施して第三画像を生成する画像処理部と、複数の第一画像を含む第一画像群、複数の第二画像を含む第二画像群、及び複数の第三画像を含む第三画像群、並びに第一画像群、第二画像群、及び第三画像群のそれぞれの正解データを用いて、自動認識に適用する認識器を学習させる学習部と、を備え、画像処理部は、第一画像の分光分布に含まれる帯域のうち第二画像の対応する帯域と特性が異なる帯域の信号を抑制する画像処理、及び第一画像に含まれる帯域のうち第二画像の対応する帯域と特性が同一の帯域の信号又は類似する帯域の信号を強調する画像処理の少なくともいずれかを施して、第一画像から第三画像を生成する医用画像学習装置である。

【0013】

第１態様によれば、分光分布が異なる第一画像及び第二画像について、第一画像の分光分布に含まれる帯域のうち、第二画像の対応する帯域との特性が同一の帯域の信号又は類似する帯域の信号を強調するか、又は第二画像の対応する帯域との特性が相違する帯域の信号を抑制して第三画像を生成する。複数の第一画像を含む第一画像群、複数の第二画像を含む第二画像群、及び複数の第三画像を含む第三画像群、並びに各画像群の正解データを用いて、自動認識に適用する分類器を学習させる。これにより、分光分布が異なる画像群ごとに大量の正解画像の収集を行うことなく、分光分布が異なる画像群ごとの学習を実現し得る。

【0014】

分光分布が異なる画像の一例として、異なる観察モードが適用された画像が挙げられる。観察モードの一例として、照明光が異なるモードが挙げられる。

【0015】

第２態様は、第１態様の医用画像学習装置において、画像処理部は、第一画像に対して、輝度分散を変換する処理を施す構成としてもよい。

【0016】

第２態様によれば、第一画像に輝度分散を変換する処理を適用して、第一画像から第三画像を生成し得る。

【0017】

第３態様は、第１態様の医用画像学習装置において、画像処理部は、第一画像に対して、輝度を規定の輝度値に変更する処理を施す構成としてもよい。

【0018】

第３態様によれば、第一画像に輝度を規定の輝度値に変更する処理を適用して、第一画像から第三画像を生成し得る。

【0019】

第４態様は、第１態様の医用画像学習装置において、画像処理部は、第一画像に対して、輝度をランダムな輝度値に変更する処理を施す構成としてもよい。

【0020】

第４態様によれば、第一画像に輝度をランダムな輝度値に変更する処理を適用して、第一画像から第三画像を生成し得る。

【0021】

第５態様は、第１態様の医用画像学習装置において、第一画像は通常光を用いて撮像した通常光画像であり、第二画像は通常光よりも狭帯域の特殊光を用いて撮像した特殊光画像である構成としてもよい。

【0022】

第５態様によれば、通常光観察モードを適用して第一画像を生成し得る。また、特殊光観察モードを適用して第二画像を生成し得る。

【0023】

第６態様は、第５態様の医用画像学習装置において、画像処理部は、通常光画像に対して、Ｂチャネル成分を抑制する処理を施す構成としてもよい。

【0024】

第６態様によれば、通常光画像のＢチャネル成分を抑制して、第三画像を生成し得る。

【0025】

第７態様は、第５態様の医用画像学習装置において、画像処理部は、通常光画像に対して、Ｒチャネル成分及びＧチャネル成分の少なくともいずれか一方を強調する処理を施す構成としてもよい。

【0026】

第７態様によれば、通常光画像のＲチャネル成分及びＧチャネル成分の少なくともいずれか一方を強調して、第三画像を生成し得る。

【0027】

第８態様は、第５態様の医用画像学習装置において、画像処理部は、通常光画像に対して、Ｒチャネル成分を抑制する処理を施す構成としてもよい。

【0028】

第８態様によれば、通常光画像のＲチャネル成分を抑制して、第三画像を生成し得る。

【0029】

第８態様における特殊光画像の例として、通常光画像のＲチャネル成分が欠落した画像が挙げられる。

【0030】

第９態様は、第５態様の医用画像学習装置において、画像処理部は、通常光画像に対して、Ｂチャネル成分及びＧチャネル成分を強調する処理を施す構成としてもよい。

【0031】

第９態様によれば、通常光画像のＢチャネル成分及びＧチャネル成分を強調して、第三画像を生成し得る。

【0032】

第９態様における特殊光画像の例として、通常光画像のＲチャネル成分が欠落した画像が挙げられる。

【0033】

第１０態様は、第１態様の医用画像学習装置において、画像処理部は、第一画像の処理対象帯域における空間周波数の規定の周波数成分を抑制する処理、又は第一画像の処理対象帯域における空間周波数の規定の周波数成分を強調する処理を施す構成としてもよい。

【0034】

第１０態様によれば、第一画像の空間周波数のうち、第二画像と相違する周波数成分を抑制するか、第二画像と同一又は類似する周波数成分を強調して、第一画像から第三画像を生成し得る。

【0035】

第１１態様は、第１０態様の医用画像学習装置において、第一画像は通常光を用いて撮像した通常光画像であり、第二画像は通常光よりも狭帯域の特殊光を用いて撮像した特殊光画像であり、画像処理部は、通常光画像のＢチャネル成分の高周波成分を強調する処理を施す構成としてもよい。

【0036】

第１１態様によれば、通常光画像のＢチャネル成分における空間周波数のうち高周波成分を強調して、通常光画像から第三画像を生成し得る。

【0037】

第１２態様は、第１態様から第１１態様のいずれか一態様の医用画像学習装置において、学習部は、第一画像群の学習と第二画像群の学習との学習方法を切り替える構成としてもよい。

【0038】

第１２態様によれば、学習の精度が向上し得る。

【0039】

第１３態様は、第１態様から第１１態様のいずれか一態様の医用画像学習装置において、学習部は、前記第二画像群の学習と前記第三画像群の学習との学習方法を切り替える構成としてもよい。

【0040】

第１３態様によれば、学習の精度が向上し得る。

【0041】

第１４態様は、第１２態様又は第１３態様の医用画像学習装置において、学習部は、学習における第三画像の影響を抑制又は強調する学習方法を適用する構成としてもよい。

【0042】

第１４態様によれば、学習における第三画像の影響を抑制又は強調し得る。これにより、学習の精度が向上し得る。

【0043】

第１５態様は、第１２態様又は第１３態様の医用画像学習装置において、学習部は、第一画像群、第三画像群、第一画像群の正解データ、及び第三画像群の正解データを用いた学習済の認識器、又は第三画像群及び第三画像群の正解データを用いた学習済の学習器に対して、第二画像群及び第二画像群の正解データを用いた学習を実施する構成としてもよい。

【0044】

第１５態様によれば、少なくとも第三画像群を用いた学習済の認識器に対して、第三画像群よりも信頼性が高い真のデータである第二画像群及び第二画像群の正解データを用いた再学習を実施する。これにより、学習の精度が向上し、認識器の精度が向上し得る。

【0045】

第１６態様に係る医用画像学習方法は、互いに分光分布が異なる第一画像及び第二画像を取得する画像取得工程と、第一画像に画像処理を施して第三画像を生成する画像処理工程と、複数の第一画像を含む第一画像群、複数の第二画像を含む第二画像群、及び複数の第三画像を含む第三画像群、並びに第一画像群、第二画像群、及び第三画像群のそれぞれの正解データを用いて、自動認識に適用する認識器を学習させる学習工程と、を含み、画像処理工程は、第一画像の分光分布に含まれる帯域のうち第二画像の対応する帯域と特性が異なる帯域の信号を抑制する画像処理、及び第一画像に含まれる帯域のうち第二画像の対応する帯域と特性が同一の帯域の信号又は類似する帯域の信号を強調する画像処理の少なくともいずれかを施して、第一画像から第三画像を生成する医用画像学習方法である。

【0046】

第１６態様によれば、第１態様と同様の効果を得ることができる。

【0047】

第１６態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像学習装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う医用画像学習方法の構成要素として把握することができる。

【0048】

第１７態様に係るプログラムは、コンピュータに、互いに分光分布が異なる第一画像及び第二画像を取得する画像取得機能、第一画像に画像処理を施して第三画像を生成する画像処理機能、及び複数の第一画像を含む第一画像群、複数の第二画像を含む第二画像群、及び複数の第三画像を含む第三画像群、並びに第一画像群、第二画像群、及び第三画像群のそれぞれの正解データを用いて、自動認識に適用する認識器を学習させる学習機能を実現させるプログラムであって、画像処理機能は、第一画像の分光分布に含まれる帯域のうち第二画像の対応する帯域と特性が異なる帯域の信号を抑制する画像処理、及び第一画像に含まれる帯域のうち第二画像の対応する帯域と特性が同一の帯域の信号又は類似する帯域の信号を強調する画像処理の少なくともいずれかを施して、第一画像から第三画像を生成するプログラムである。

【0049】

第１７態様によれば、第１態様と同様の効果を得ることができる。

【0050】

第１７態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像学習装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。

【発明の効果】

【0051】

本発明によれば、分光分布が異なる第一画像及び第二画像について、第一画像の分光分布に含まれる帯域のうち、第二画像の対応する帯域との特性が同一の帯域の信号又は類似する帯域の信号を強調するか、又は第二画像の対応する帯域との特性が相違する帯域の信号を抑制して第三画像を生成する。複数の第一画像を含む第一画像群、複数の第二画像を含む第二画像群、及び複数の第三画像を含む第三画像群、並びに各画像群の正解データを用いて、自動認識に適用する分類器を学習する。これにより、分光分布が異なる画像群ごとに大量の正解画像の収集を行うことなく、分光分布が異なる画像群ごとの学習を実現し得る。

【図面の簡単な説明】

【0052】

【図1】図１は実施形態に係る内視鏡画像学習装置のハードウェア構成の一例を示すブロック図である。

【図2】図２は実施形態に係る内視鏡画像学習装置の機能ブロック図である。

【図3】図３は図２に示す学習部の機能ブロック図である。

【図4】図４は実施形態に係る内視鏡画像学習方法の手順を示すフローチャートである。

【図5】図５は撮像素子の分光感度の説明図である。

【図6】図６は照明光の強度分布と内視鏡画像の分光分布との関係を示す説明図である。

【図7】図７は通常光画像の分光分布とＮＢＩにおける特殊光画像の分光分布との関係を示す説明図である。

【図8】図８は内視鏡システムの全体構成図である。

【図9】図９は内視鏡システムの機能ブロック図である。

【図10】図１０は光の強度分布を示すグラフである。

【発明を実施するための形態】

【0053】

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略することとする。

【0054】

［内視鏡画像学習装置］
本実施形態に示す内視鏡画像学習装置は、異なる観察モードにおいて取得された画像を組み合わせて学習データの数を拡張している。異なる観察モードにおいて取得された画像を学習に利用することにより、特定の観察モードにおいて取得された画像の数が十分でない場合にも、精度の高い学習が実現可能である。これにより、精度の高いＡＩ技術の実現が可能となる。なお、実施形態に示す内視鏡画像学習装置は、医用画像学習装置の一例である。

【0055】

本実施形態では、ＬＣＩ（Linked Color Imaging）を用いた注目領域の自動認識システムに適用される学習を例示する。なお、ＬＣＩは特殊光色彩強調機能を意味する。以下の説明において、学習という用語と、機械学習という用語は同義として取り扱うこととする。

【0056】

〔内視鏡画像学習装置のハードウェア構成〕
図１は実施形態に係る内視鏡画像学習装置のハードウェア構成の一例を示すブロック図である。内視鏡画像学習装置１０は、パーソナルコンピュータ又はワークステーションを適用し得る。

【0057】

内視鏡画像学習装置１０は、通信部１２、第一記憶装置１４、第二記憶装置１６、第三記憶装置１７、操作部１８、ＣＰＵ２０、ＲＡＭ２２、ＲＯＭ２４、及び表示部２６を備える。なお、ＣＰＵはCentral Processing Unitの省略語である。ＲＡＭはRandom Access Memoryの省略語である。ＲＯＭはRead Only Memoryの省略語である。

【0058】

通信部１２は、外部装置との通信を処理するインターフェースである。通信部１２は、汎用の通信インターフェースを適用し得る。通信部１２は、有線又は無線のいずれも適用可能である。

【0059】

第一記憶装置１４は、通常光観察モードを適用して撮像された複数の通常光画像を含む通常光画像群及び各通常光画像の正しい画像認識結果を示す正解データからなる第一データセットが記憶される。

【0060】

第二記憶装置１６は、特殊光観察モードを適用して複数の特殊光画像を含む特殊光画像群及び各特殊光画像の正しい画像認識結果を示す正解データからなる第二データセットが記憶される。

【0061】

第三記憶装置１７は、通常光画像又は特殊光画像に画像処理を施した複数の処理画像を含む処理画像群、及び各処理画像群の正しい画像認識結果を示す正解データからなる第三データセットが記憶される。

【0062】

本実施形態では、通常光画像から処理画像を生成し、学習に使用する例を説明する。処理画像の正しい認識結果を表す正解データは、第一データセットから抽出し得る。なお、特殊光画像から処理画像を生成し、第二データセットから処理画像の正解データを抽出してもよい。

【0063】

第一記憶装置１４、第二記憶装置１６、及び第三記憶装置１７は、大容量のストレージ装置を適用し得る。第一記憶装置１４、第二記憶装置１６、及び第三記憶装置１７は、内視鏡画像学習装置１０の外部に配置される記憶装置を適用し得る。第一記憶装置１４、第二記憶装置１６、及び第三記憶装置１７は、ネットワークを介して内視鏡画像学習装置１０と通信可能に接続されてもよい。

【0064】

なお、実施形態に示す通常光画像は第一画像の一例である。実施形態に示す通常光画像群は第一画像群の一例である。実施形態に示す特殊光画像は第二画像の一例である。実施形態に示す特殊光画像群は第二画像群の一例である。

【0065】

通常光画像は、内視鏡装置を用いた体腔内の観察において、通常光を照射して撮像して得られたカラー画像である。特殊光画像は、内視鏡装置を用いた体腔内の観察において、特殊光を照射して撮像して得られたカラー画像である。

【0066】

通常光は、可視光の全ての波長帯域の光がほぼ均等に混ざった光である。通常光画像は、通常観察に使用される。通常光の一例として、白色光が挙げられる。通常光画像群は、比較的多く集めることができる。

【0067】

特殊光は、一つの特定の波長帯域の光、又は複数の特定の波長帯域の光の組み合わせた、観察目的に応じた各種の波長帯域の光である。特殊光は、白色の波長帯域よりも狭い帯域を有し、ＮＢＩ（Narrow band imaging）、ＬＣＩ、及びＦＩＣＥ（Flexible spectral imaging color enhancement）等に使用される。ＮＢＩは狭帯域観察を意味する。

【0068】

特定の波長帯域の第一例は、例えば可視域の青色帯域又は緑色帯域である。第一例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含む。第一例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。

【0069】

特定の波長帯域の第二例は、例えば可視域の赤色帯域である。第二例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含む。第二例の光は、５８５ナノメートル以上６１５ナノメートル以下又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。

【0070】

特定の波長帯域の第三例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第三例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。第三例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含む。第三例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。

【0071】

特定の波長帯域の第四例は、生体内の蛍光物質が発する蛍光の観察である蛍光観察に用いられる。第四例の波長帯域は、蛍光物質を励起させる励起光の波長帯域であり、例えば３９０ナノメートルから４７０ナノメートルまでの波長帯域である。

【0072】

特定の波長帯域の第五例は、赤外光の波長帯域である。第五例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含む。第五例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。

【0073】

このような特定の波長帯域を有する特殊光の下で撮像された特殊光画像は、病変の観察目的に応じた見やすい画像を得るためのものであり、例えば、表面構造を観察したい等の観察目的に応じた場合にしか使用されず、データ数が多くない。

【0074】

本実施形態では、第一記憶装置１４に記憶されている通常光画像群の第一データセットは、第二記憶装置１６に保存されている特殊光画像群の第二データセットよりも多く準備されているものとする。第三データセットは第二データセットの不足を補う数が準備される。

【0075】

また、第一記憶装置１４、第二記憶装置１６、及び第三記憶装置１７において、各通常光画像、各特殊光画像、及び各処理画像に関連付けて保存されている正解データの一例として、通常光画像及び特殊光画像内に写っている病変の種類、病変の位置を示したデータ及び症例固有の識別情報などが挙げられる。病変の分類の一例として、腫瘍性、又は非腫瘍性の二分類、若しくはＮＩＣＥ分類などが挙げられる。病変の位置を示すデータは、病変を囲む矩形の情報や、病変を覆い隠すようなマスクデータなどが考えられる。なお、ＮＩＣＥは、NBI International Colorectal Endoscopic Classificationの省略語である。

【0076】

第一記憶装置１４、第二記憶装置１６、及び第三記憶装置１７は、内視鏡画像学習装置１０が備えているが、第一記憶装置１４、第二記憶装置１６、及び第三記憶装置１７は、内視鏡画像学習装置１０の外部に配置されてもよい。この場合、通信部１２を介して、内視鏡画像学習装置１０の外部のデータベースから学習用のデータセットを取得することができる。

【0077】

操作部１８は、内視鏡画像学習装置１０に適用されるコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられる。操作部１８は、学習に当たって各種の操作入力を受け付ける。すなわち、操作部１８はユーザインターフェースの一部として使用される。

【0078】

ＣＰＵ２０は、ＲＯＭ２４又は図示しないハードディスク装置等に記憶された各種のプログラムを読み出し、各種の処理を実行する。読み出されるプログラムの一例として、内視鏡画像学習プログラムが挙げられる。

【0079】

ＲＡＭ２２は、ＣＰＵ２０の作業領域として使用される。また、ＲＡＭ２２は、読み出されたプログラムや各種のデータを一時的に記憶する記憶部として用いられる。

【0080】

表示部２６は、内視鏡画像学習装置１０に適用されるコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。表示部２６は、ユーザインターフェースの一部として使用される。タッチパネル方式のモニタ装置を表示部２６に適用して、表示部２６及び操作部１８を一体に構成してもよい。

【0081】

内視鏡画像学習装置１０は、操作部１８から送信される指示信号に基づき、ＲＯＭ２４及びハードディスク装置等に記憶されている内視鏡画像学習プログラムをＣＰＵ２０が読み出す。ＣＰＵ２０は内視鏡画像学習プログラムを実行する。

【0082】

〔内視鏡画像学習装置の機能〕
〈概要〉
図２は実施形態に係る内視鏡画像学習装置の機能ブロック図である。図２は図１に示す内視鏡画像学習装置１０の主要な機能を示す機能ブロック図である。内視鏡画像学習装置１０は、学習部３０及び画像生成部４０を備える。

【0083】

学習部３０は、第一記憶装置１４に記憶される第一データセット、第二記憶装置１６に記憶される第二データセット、及び第三記憶装置１７に記憶される第三データセットを用いて学習し、画像認識用の学習モデルを生成する。本実施形態では、学習モデルの一つである畳み込みニューラルネットワークを構築する。以下、ＣＮＮ（Convolution Neural Network）は畳み込みニューラルネットワークを表すこととする。

【0084】

画像生成部４０は、通常光画像から処理画像を生成する。具体的には、通常光画像の分光分布と特殊光画像の分光分布との間の対応する波長帯域について、帯域成分同士が同一又は類似する場合に帯域成分を強調する処理を実施するか、又は帯域成分同士が相違する場合に帯域成分を抑制する処理を実施する。画像生成部４０における画像処理の詳細は後述する。なお、学習部３０及び画像生成部４０は、通常光画像及び特殊光画像を取得する画像取得部の機能を備え得る。

【0085】

〈学習部〉
図３は図２に示す学習部の機能ブロック図である。学習部３０は、ＣＮＮ３２、誤差算出部３４、及びパラメータ更新部３６を備える。

【0086】

ＣＮＮ３２は、例えば、内視鏡画像に写っている病変の種類を画像認識する認識器に対応する部分である。ＣＮＮ３２は、複数のレイヤー構造を有し、複数の重みパラメータを保持している。ＣＮＮ３２は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化し得る。

【0087】

ＣＮＮ３２は、入力層３２ａ、中間層３２ｂ及び出力層３２ｃを備える。中間層３２ｂは、畳み込み層３２ｄ及びプーリング層３２ｅから構成されたセット３２ｆ、全結合層３２ｇを備える。学習部３０の各層は、エッジを用いて複数のノードが結ばれる構造を有する。

【0088】

入力層３２ａは、学習対象である通常光画像１４ａ、特殊光画像１６ａ、及び処理画像１７ａが入力される。通常光画像１４ａ、特殊光画像１６ａ、及び処理画像１７ａはＣＮＮ３２へ送信される。

【0089】

中間層３２ｂは、入力層３２ａを用いて入力した画像から特徴を抽出する部分である。畳み込み層３２ｄは、前の層で近くにあるノードにフィルタ処理を実施し、特徴マップを取得する。フィルタ処理はフィルタを使用した畳み込み演算が適用される。

【0090】

プーリング層３２ｅは、畳み込み層３２ｄから出力された特徴マップを縮小して新たな特徴マップとする。畳み込み層３２ｄは、画像からのエッジ抽出等の特徴抽出の役割を担う。プーリング層３２ｅは抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。

【0091】

なお、中間層３２ｂは、畳み込み層３２ｄとプーリング層３２ｅとを一セットとする場合に限定されない。例えば、畳み込み層３２ｄが連続する場合及び図示しない正規化層を含む場合もあり得る。

【0092】

出力層３２ｃは、中間層３２ｂを用いて抽出された特徴に基づき内視鏡画像に写っている病変の種類を分類する認識結果を出力する。学習済みのＣＮＮ３２は、例えば、内視鏡画像を、腫瘍性、非腫瘍性、及びその他の三つのカテゴリに分類し得る。学習済みのＣＮＮ３２は、認識結果として、腫瘍性に対応するスコア、非腫瘍性に対応するスコア、及びその他に対応するスコアを出力し得る。なお、三つのスコアの合計は１００パーセントとなる。

【0093】

学習前のＣＮＮ３２の各畳み込み層３２ｄに適用されるフィルタの係数、オフセット値、及び図示しない全結合層における次の層との接続の重みは、任意の初期値がセットされる。

【0094】

誤差算出部３４は、ＣＮＮ３２の出力層３２ｃから出力される認識結果、並びに通常光画像１４ａに対する正解データ１４ｂ、及び特殊光画像１６ａに対する正解データ１６ｂを取得する。なお、処理画像１７ａに対応する正解データは、通常光画像１４ａに対する正解データ１４ｂを適用し得る。

【0095】

誤差算出部３４は、認識結果と正解データとの間の誤差を算出する。誤差の算出方法の一例として、ソフトマックスクロスエントロピー及びシグモイド等が挙げられる。

【0096】

パラメータ更新部３６は、誤差算出部３４を用いて算出された誤差を元に、誤差逆伝播法を適用してＣＮＮ３２の重みパラメータを調整する。ＣＮＮ３２の重みパラメータの調整処理を繰り返し行い、ＣＮＮ３２の出力と正解データとの差が小さくなるまで繰り返し学習を行う。

【0097】

学習部３０は、通常光画像群の全てのデータセット、特殊光画像群の全てのデータセット、及び処理画像群の全てのデータセットを使用し、ＣＮＮ３２の各パラメータを最適化する学習を行い、学習済みモデルを生成する。なお、実施形態に示す内視鏡画像は医用画像の一例である。

【0098】

〔内視鏡画像学習方法の手順〕
図４は実施形態に係る内視鏡画像学習方法の手順を示すフローチャートである。図４に示す内視鏡画像学習方法は、通常光画像取得工程Ｓ１０、特殊光画像取得工程Ｓ１２、画像処理工程Ｓ１４、処理画像記憶工程Ｓ１６、学習工程Ｓ１８、及び認識器更新工程Ｓ２０が含まれる。実施形態に示す内視鏡画像学習方法は、医用画像学習方法の一例である。

【0099】

通常光画像取得工程Ｓ１０では、図２に示す学習部３０及び画像生成部４０は第一記憶装置１４から通常光画像１４ａを読み出す。特殊光画像取得工程Ｓ１２では、学習部３０は第二記憶装置１６から特殊光画像１６ａを読み出す。なお、特殊光画像取得工程Ｓ１２は学習工程Ｓ１８までに実施されればよい。

【0100】

画像処理工程Ｓ１４では、画像生成部４０は通常光画像１４ａに画像処理を施して処理画像を生成する。処理画像記憶工程Ｓ１６では、画像生成部４０は処理画像１７ａを第三記憶装置１７へ記憶する。

【0101】

学習工程Ｓ１８では、学習部３０は第三記憶装置１７から処理画像１７ａを読み出し、通常光画像１４ａ、特殊光画像１６ａ、及び処理画像１７ａを用いて学習を実施する。認識器更新工程Ｓ２０では、学習部３０は認識器を更新する。

【0102】

［画像生成部を用いた画像処理の具体例］
次に、図２に示す画像生成部４０に適用される画像処理について詳細に説明する。画像生成部４０は、通常光画像１４ａの分光分布における波長帯域の信号を強調する処理、又は抑制する処理を施して処理画像１７ａを生成する。

【0103】

画像生成部４０は、通常光画像１４ａと特殊光画像１６ａとの間で、両者間の対応する波長帯域における帯域成分同士が相違する場合は、通常光画像１４ａにおける該当する波長帯域の信号を抑制する。

【0104】

一方、画像生成部４０は、通常光画像１４ａと特殊光画像１６ａとの間で、両者間の対応する波長帯域における帯域成分同士が同一又は類似する場合は、通常光画像１４ａにおける該当する波長帯域の信号を強調してもよい。これにより、特殊光画像１６ａの学習に適用可能な学習データの数を増やすことが可能となる。

【0105】

画像生成部４０は、波長依存とは異なる、観察モード間の処理の違いに起因する画像差について、逆処理を適用した補正等の後処理を実施し得る。学習部３０は補正後の画像を学習に適用し得る。観察モード間の処理の一例として、リニアマトリックス及びルックアップテーブルなどが挙げられる。

【0106】

〈第一実施形態〉
図５は撮像素子の分光感度の説明図である。撮像素子は内視鏡画像を取得する内視鏡に具備される。撮像素子は符号３２８を付して図８に図示する。内視鏡は符号３０２を付して図８に図示する。

【0107】

図５に示す分光感度特性１００の横軸は波長を表す。分光感度特性１００の縦軸は感度を表す。分光感度特性１００はＢチャネルの波長帯域にＢチャネル成分１０２を有する。分光感度特性１００はＧチャネルの波長帯域にＧチャネル成分１０４を有する。分光感度特性１００はＲチャネルの波長帯域にＲチャネル成分１０６を有する。なお、Ｂは青を表す。Ｇは緑を表す。Ｒは赤を表す。

【0108】

図６は照明光の強度分布と内視鏡画像の分光分布との関係を示す説明図である。図６に示す符号１２０は通常光の強度分布を表す。符号１６０はＬＣＩにおける照明光の強度分布を表す。通常光の強度分布１２０及びＬＣＩにおける照明光の強度分布１６０の横軸は波長を表す。縦軸は照明光の強度を表す。なお、ＬＣＩにおける照明光は特殊光の一例である。

【0109】

符号１４０は通常光画像１４ａの分光分布を示す。通常光画像１４ａの分光分布１４０の横軸は波長を表す。縦軸は信号強度を表す。

【0110】

通常光画像１４ａの分光分布１４０は、Ｂチャネルの波長帯域にＢチャネル成分１４２を有する。通常光画像１４ａの分光分布１４０はＧチャネルの波長帯域にＧチャネル成分１４４を有する。通常光画像１４ａの分光分布１４０はＲチャネルの波長帯域にＲチャネル成分１４６を有する。

【0111】

符号１８０はＬＣＩにおける特殊光画像１６ａの分光分布を表す。ＬＣＩにおける特殊光画像１６ａの分光分布１８０の横軸は波長を表す。縦軸は信号強度を表す。ＬＣＩにおける特殊光画像１６ａの分光分布１８０は、Ｂチャネルの波長帯域にＢチャネル成分１８２を有する。ＬＣＩにおける特殊光画像１６ａの分光分布１８０は、Ｇチャネルの波長帯域にＧチャネル成分１８４を有する。ＬＣＩにおける特殊光画像１６ａの分光分布１８０は、Ｒチャネルの波長帯域にＲチャネル成分１８６を有する。

【0112】

通常光画像１４ａの分光分布１４０と、ＬＣＩにおける特殊光画像１６ａの分光分布１８０とは、Ｂチャネル成分の特性が相違する。すなわち、通常光画像１４ａのＢチャネル成分及びＬＣＩにおける特殊光画像１６ａのＢチャネル成分は、いずれもの二つのピークが存在する一方、二つのピークにおける感度の大きさが相違している。換言すると、通常光画像１４ａとＬＣＩにおける特殊光画像１６ａとは、Ｂチャネル成分同士が相違している。

【0113】

一方、両者におけるＧチャネル成分及びＲチャネル成分は絶対値の差を除けば等しい。すなわち、Ｇチャネル成分及びＲチャネル成分のみの画像は、Ｂチャネル成分のみの画像と比較して、通常光画像１４ａとＬＣＩにおける特殊光画像１６ａとの間で差が小さい。換言すると、通常光画像１４ａとＬＣＩにおける特殊光画像１６ａとの間において、Ｇチャネル成分の特性及びＲチャネル成分は類似している。

【0114】

このような性質から、通常光画像１４ａにおけるＧチャネル成分の画像情報及び通常光画像１４ａにおけるＲチャネル成分の画像情報は、ＬＣＩにおける特殊光画像１６ａの学習においても有用である。一方、通常光画像１４ａにおけるＢチャネル成分の画像情報は、ＬＣＩにおける特殊光画像１６ａの学習において不必要又は悪影響を与えると考えられる。

【0115】

そこで、画像生成部４０は、通常光画像１４ａにおけるＢチャネル成分の画像情報を抑制する処理を実施して処理画像１７ａを生成する。学習部３０は通常光画像１４ａ及び特殊光画像１６ａに処理画像１７ａを加えて、ＬＣＩにおける特殊光画像１６ａの学習を実施する。

【0116】

通常光画像１４ａにおけるＢチャネル成分の画像情報を抑制する処理の一例として、通常光画像１４ａにおける輝度値を１／α倍する処理が挙げられる。なお、αは１を超える任意の定数である。通常光画像１４ａにおけるＢチャネル成分の画像情報を抑制する処理の他の例として、輝度値を規定の値とする処理が挙げられる。規定の値の一例として輝度を最小とする輝度値が挙げられる。Ｂチャネル成分の画像情報を抑制する処理は、各画素の輝度値をランダムに与える処理を適用してもよい。

【0117】

通常光画像１４ａにおける輝度値を１／α倍する処理と併用して、通常光画像１４ａにおける輝度値をシフトさせてもよい。なお、実施形態に示す輝度値を１／α倍する処理は、輝度分散を変換する処理の一例である。輝度分散を変換する処理は、通常光画像１４ａにおける輝度値をシフトさせる処理を含み得る。

【0118】

通常光画像１４ａにおけるＢチャネル成分の画像情報を抑制する処理に代わり、通常光画像１４ａにおけるＧチャネル成分の画像情報及びＲチャネル成分の画像情報の少なくともいずれかを強調して、相対的にＢチャネル成分の画像情報の影響を下げてもよい。

【0119】

通常光画像１４ａにおけるＧチャネル成分の画像情報及びＲチャネル成分の画像情報を強調する処理の一例として、通常光画像１４ａにおける輝度値をβ倍する処理が挙げられる。なお、βは１を超える任意の定数である。

【0120】

通常光画像１４ａにおける輝度値をβ倍する処理と併用して、通常光画像１４ａにおける輝度値をシフトさせてもよい。なお、実施形態に示す輝度値をβ倍する処理は、輝度分散を変換する処理の一例である。輝度分散を変換する処理は、通常光画像１４ａにおける輝度値をシフトさせる処理を含み得る。

【0121】

〈作用効果〉
第一実施形態に係る画像処理によれば、通常光画像１４ａに対して、分光分布におけるＢチャネル成分の抑制処理、又はＧチャネル成分及びＲチャネル成分の少なくともいずれかを強調する処理を施す。これにより、ＬＣＩにおける特殊光画像１６ａの学習に適用可能な学習データの拡充が可能となる。

【0122】

〈第二実施形態〉
第二実施形態に係る画像処理は、第一実施形態に係る画像処理と同様に、ＬＣＩにおける特殊光画像１６ａの学習に、通常光画像１４ａを利用する場合に適用される。第二実施形態では、通常光画像１４ａ及び特殊光画像１６ａにおけるＢチャネル成分同士の違いに着目した画像処理を実施する。

【0123】

ＬＣＩにおける特殊光画像１６ａのＢチャネル成分は、通常光画像１４ａのＢチャネル成分と比較して短波長成分を多く含む。これにより、ＬＣＩにおける特殊光画像１６ａは、通常光画像１４ａと比較して高いコントラストで微小な血管構造などを表す性質を持つ。

【0124】

微小な血管構造などは、ＬＣＩにおける特殊光画像１６ａの空間周波数の高周波成分に対応する。そこで、画像生成部４０は、通常光画像１４ａのＢチャネル成分の画像に対して、空間周波数の高周波成分を強調する処理を施した処理画像１７ａを生成する。これにより、通常光画像１４ａのＢチャネル成分の画像を特殊光画像１６ａのＢチャネル成分の画像に近づけることが可能となる。よって、ＬＣＩにおける特殊光画像１６ａの学習データの拡充を行うことが可能となる。

【0125】

高周波成分を規定する一例として、高周波成分を多く含む特殊光画像１６ａを周波数解析し、周波数分布に基づいて強調する周波数又は周波数帯域を規定する例が挙げられる。例えば、基準周波数を算出して、処理対象画像の空間周波数成分のうち、基準周波数以上の周波数成分を高周波成分とし得る。基準周波数は、処理対象画像に含まれる周波数成分のうち、全体に対してある割合以上の周波数成分が含まれる範囲の下限として算出し得る。

【0126】

空間周波数の高周波成分を強調する処理の一例として、アンシャープマスクを用いたマスク処理が挙げられる。空間周波数の高周波成分を抑制する処理の一例として、ローパスフィルタを用いたフィルタ処理が挙げられる。実施形態に示す空間周波数の高周波成分は、空間周波数の規定の周波数成分の一例である。実施形態に示すＢチャネル成分の画像は、処理対象帯域の一例である。

【0127】

〈作用効果〉
第二実施形態に係る画像処理によれば、通常光画像１４ａのＢチャネル成分の画像に対して、空間周波数の高周波成分を強調する処理を施す。処理画像１７ａは通常光画像１４ａと比較して高いコントラストで微小な血管構造などが表される。これにより、ＬＣＩにおける特殊光画像１６ａの学習に適用可能な学習データの拡充が可能となる。

【0128】

〈第三実施形態〉
第三実施形態に係る画像処理は、通常光画像１４ａを用いた注目領域の自動認識システムに適用される学習において、ＮＢＩにおける特殊光画像１６ａを利用する場合に適用される。

【0129】

図７は通常光画像の分光分布とＮＢＩにおける特殊光画像の分光分布との関係を示す説明図である。符号２００は通常光画像１４ａの分光分布を示す。通常光画像１４ａの分光分布２００の横軸は波長を表す。縦軸は信号強度を表す。

【0130】

通常光画像１４ａの分光分布２００は、Ｂチャネルの波長帯域にＢチャネル成分２０２を有する。通常光画像１４ａの分光分布２００は、Ｇチャネルの波長帯域にＧチャネル成分２０４を有する。通常光画像１４ａの分光分布２００は、Ｒチャネルの波長帯域にＲチャネル成分２０６を有する。

【0131】

符号２２０は、ＮＢＩにおける特殊光画像１６ａの分光分布特性を示す。ＮＢＩにおける特殊光画像１６ａの分光分布２２０の横軸は波長を表す。縦軸は信号強度を表す。ＮＢＩにおける特殊光画像１６ａは、Ｂチャネルの波長帯域にＢチャネル成分２２２を有する。ＮＢＩにおける特殊光画像１６ａは、Ｇチャネルの波長帯域にＧチャネル成分２２４を有する。

【0132】

一方、ＮＢＩにおける特殊光画像１６ａは、受光の際にＲチャネル成分が失われている。図７に示すＮＢＩにおける特殊光画像１６ａの分光分布２２０には、一点鎖線を用いて失われているＲチャネル成分を示す。すなわち、通常光画像１４ａ及びＮＢＩにおける特殊光画像１６ａにおいて、Ｒチャネル成分同士は相違する。

【0133】

一方、ＮＢＩにおける特殊光画像１６ａのＢチャネル成分２２２及びＧチャネル成分２２４は、通常光画像１４ａのＢチャネル成分２０２及びＧチャネル成分２０４と帯域幅が相違するものの、重複する帯域が存在する。

【0134】

通常光画像１４ａ及びＮＢＩにおける特殊光画像１６ａにおいて、Ｂチャネル成分及びＧチャネル成分同士は、Ｒチャネル成分同士と比較して近い性質を持っている。すなわち、通常光画像１４ａ及びＢＩにおける特殊光画像１６ａにおいて、Ｂチャネル成分同士及びＧチャネル成分同士は類似する。

【0135】

そこで、画像生成部４０は、通常光画像１４ａにおけるＲチャネル成分２０６を抑制する処理を実施し処理画像１７ａを生成する。学習部３０はＮＢＩにおける特殊光画像１６ａの学習に処理画像を適用し得る。

【0136】

画像生成部４０は、通常光画像１４ａのＢチャネル成分２０２及びＧチャネル成分２０４の少なくともいずれかを強調する処理を施して処理画像１７ａを生成してもよい。学習部３０はＮＢＩにおける特殊光画像１６ａの学習に処理画像１７ａを適用し得る。通常光画像１４ａの処理対象の帯域成分を抑制する処理、及び処理対象の帯域成分を強調する処理は第一実施形態と同様である。ここでの説明は省略する。

【0137】

〈作用効果〉
第三実施形態に係る画像処理によれば、通常光画像１４ａに対して、Ｒチャネル成分の抑制処理又はＧチャネル成分及びＢチャネル成分の少なくともいずれかの強調処理を施す。これにより、ＮＢＩにおける特殊光画像１６ａの学習に適用可能な学習データの拡充が可能となる。

【0138】

〈第三実施形態の応用例〉
ＮＢＩにおける特殊光画像１６ａのＢチャネル成分２２２又はＧチャネル成分２２４は、通常光画像１４ａのＢチャネル成分２２２又はＧチャネル成分２２４と比較してヘモグロビンの吸収係数が大きい帯域成分が大きいため、ＮＢＩにおける特殊光画像１６ａは通常光画像１４ａと比較して高いコントラストで血管構造等を表す性質を持つ。そこで、第二実施形態に係る画像処理と同様に、画像生成部４０は、通常光画像１４ａのＢチャネル成分２２２の画像又はＧチャネル成分２２４の画像について、空間周波数における高周波成分を強調する処理を行い、処理画像１７ａを生成し得る。処理画像１７ａは、通常光画像１４ａと比較して高いコントラストで微小な血管構造などが表される。これにより、ＮＢＩにおける特殊光画像１６ａの学習に適用可能な学習データの拡充が可能となる。

【0139】

〈第四実施形態〉
第四実施形態に係る画像処理は、互いに異なる観察モードを適用して取得した複数の画像群を適用して学習を行う場合に適用される。第一実施形態から第三実施形態に示す画像処理は、本来とは異なる観察モードを適用して取得した内視鏡画像を、擬似的に本来の観察モードを適用して取得した内視鏡画像に近づける処理である。

【0140】

そうすると、別の観察モードの影響が大きくなり過ぎると、学習精度の向上が期待を下回る可能性がある。そこで、学習部３０に適用される学習方法を工夫して、複数の画像群のバランスの調整を図る。具体的には、通常光画像群の学習と特殊光画像群の学習との学習方法を切り替える。通常光画像群の学習と特殊光画像群の学習との学習方法を切り替えには、通常光画像１４ａから生成した処理画像１７ａの学習と特殊光画像１６ａの学習との学習方法を切り替えが含まれる。以下に、学習方法の切り替えの具体例について説明する。

【0141】

《重み係数の導入》
ＣＮＮを含む学習手法の多くは、特定の目的関数を最小化又は最大化する学習を実施する。そこで、本来の観察モードが適用された画像群のみから計算される目的関数をＬ＿ｍａｉｍとし、本来とは異なる観察モードが適用された画像群のみから計算される目的関数をＬ＿ｓｕｂとする。式１を用いて表される目的関数Ｌを最小化又は最大化する学習を実施する。

【0142】

Ｌ＝Ｌ＿ｍａｉｍ＋λ×Ｌ＿ｓｕｂ …式１
なお、式１のλは設計パラメータである。設計パラメータλは１未満の任意の定数が適用される。設計パラメータλの値をより小さくすると、目的関数Ｌにおいて本来の観察モードの影響を表す第一項に対して、本来とは異なる観察モードの影響を表す第二項の影響がより抑制され得る。

【0143】

通常光画像１４ａの画像群とＬＣＩにおける特殊光画像１６ａの画像群とを用いて学習を実施する場合は以下のとおりである。特殊光画像１６ａの画像群のみから計算される目的関数をＬ＿ｍａｉｍとする。通常光画像１４ａの画像群のみから計算される目的関数をＬ＿ｓｕｂとする。設計パラメータλを適宜設定して、式１の目的関数Ｌを最小化又は最大化する学習を実施し得る。

【0144】

図２に示す内視鏡画像学習装置１０は、設計パラメータλを設定する設計パラメータ設定部を備え得る。また、内視鏡画像学習装置１０は、目的関数Ｌを記憶する目的関数記憶部を備え得る。学習部３０は、目的関数Ｌ及び設計パラメータλを読み出し、学習を実施し得る。

【0145】

《転移学習》
まず、観察モードが互いに異なる複数の画像群を用いてＣＮＮを学習させる。その後に学習済みパラメータを初期値として、本来の観察モードが適用された画像群のみを用いてＣＮＮを再学習させる。

【0146】

具体的には、通常光画像１４ａ及び処理画像１７ａを用いた学習済みのＣＮＮ、又は処理画像１７ａを用いた学習済みのＣＮＮに対して、特殊光画像１６ａを用いて再学習を実施する。

【0147】

これにより、本来とは異なる観察モードが適用された画像群の情報を利用した上で、本来の観察モードが適用された画像群に、より近づけることが可能となる。

【0148】

学習部３０は、観察モードが互いに異なる複数の画像群を用いてＣＮＮを学習させる第一学習部、及び本来の観察モードが適用された画像群のみを用いてＣＮＮを再学習させる第二学習部を備え得る。

【0149】

〈作用効果〉
第四実施形態に係る画像処理によれば、本来とは異なる観察モードが適用された画像群の情報を利用した上で、本来とは異なる観察モードが適用された画像群の影響が抑制される学習を実施し得る。

【0150】

［内視鏡画像を取得する内視鏡システムの全体構成］
図８は内視鏡システムの全体構成図である。図８に示す内視鏡システム３００は、内視鏡３０２、光源装置３１１、プロセッサ装置３１２、表示装置３１３、画像処理装置３１４、入力装置３１５、及びモニタ装置３１６を備える。

【0151】

内視鏡３０２は電子内視鏡である。また、内視鏡３０２は軟性内視鏡である。内視鏡３０２は挿入部３２０、操作部３２１、及びユニバーサルコード３２２を備える。挿入部３２０は被検体内に挿入される。挿入部３２０は、全体が細径で長尺状に形成されている。

【0152】

挿入部３２０は、軟性部３２５、湾曲部３２６、及び先端部３２７を備える。挿入部３２０は、軟性部３２５、湾曲部３２６、及び先端部３２７が連設されて構成される。軟性部３２５は、挿入部３２０の基端側から先端側に向けて順に可撓性を有する。湾曲部３２６は、操作部３２１が操作された場合に湾曲可能な構造を有する。先端部３２７は、図示しない撮像光学系及び撮像素子３２８等が内蔵される。

【0153】

撮像素子３２８は、ＣＭＯＳ型撮像素子又はＣＣＤ型撮像素子が適用される。ＣＭＯＳは、Complementary Metal Oxide Semiconductorの省略語である。ＣＣＤは、Charge Coupled Deviceの省略語である。

【0154】

先端部３２７の先端面３２７ａは、図示しない観察窓が配置される。観察窓は、先端部３２７の先端面３２７ａに形成された開口である。観察窓は図示しないカバーが取り付けられる。観察窓の後方には、図示しない撮像光学系が配置される。撮像素子３２８の撮像面は、観察窓及び撮像光学系等を介して、被観察部位の像光が入射する。撮像素子３２８は、撮像素子３２８の撮像面に入射した被観察部位の像光を撮像して、撮像信号を出力する。ここでいう撮像は、被観察部位からの反射光を電気信号へ変換するという意味が含まれる。

【0155】

操作部３２１は挿入部３２０の基端側に連設される。操作部３２１は、術者が操作する各種操作部材を備える。具体的には、操作部３２１は、二種類の湾曲操作ノブ３２９を備える。湾曲操作ノブ３２９は、湾曲部３２６の湾曲操作の際に用いられる。なお、術者は、医師、操作者、観察者、及びユーザなどと呼ばれることがあり得る。

【0156】

操作部３２１は、送気送水ボタン３３０及び吸引ボタン３３１を備える。送気送水ボタン３３０は、術者が送気送水操作を行う際に用いられる。吸引ボタン３３１は、術者が吸引操作を行う際に用いられる。

【0157】

操作部３２１は、静止画像撮像指示部３３２及び処置具導入口３３３を備える。静止画像撮像指示部３３２は、被観察部位の静止画像を撮像する際に、術者が操作する。処置具導入口３３３は、挿入部３２０の内部を挿通している処置具挿通路の内部に処置具を挿入する開口である。なお、処置具挿通路及び処置具の図示は省略する。

【0158】

ユニバーサルコード３２２は、内視鏡３０２を光源装置３１１に接続する接続コードである。ユニバーサルコード３２２は、挿入部３２０の内部を挿通しているライトガイド３３５、信号ケーブル３３６、及び図示しない流体チューブを内包している。

【0159】

また、ユニバーサルコード３２２の先端部は、光源装置３１１に接続されるコネクタ３３７ａ、及びコネクタ３３７ａから分岐され、かつプロセッサ装置３１２に接続されるコネクタ３３７ｂを備える。

【0160】

コネクタ３３７ａを光源装置３１１に接続すると、ライトガイド３３５及び図示しない流体チューブが光源装置３１１に挿入される。これにより、ライトガイド３３５及び図示しない流体チューブを介して、光源装置３１１から内視鏡３０２に対して必要な照明光と水と気体とが供給される。

【0161】

その結果、先端部３２７の先端面３２７ａの図示しない照明窓から被観察部位に向けて照明光が照射される。また、送気送水ボタン３３０の押下操作に応じて、先端部３２７の先端面３２７ａの図示しない送気送水ノズルから先端面３２７ａの図示しない観察窓に向けて気体又は水が噴射される。

【0162】

コネクタ３３７ｂをプロセッサ装置３１２に接続すると、信号ケーブル３３６とプロセッサ装置３１２とが電気的に接続される。これにより、信号ケーブル３３６を介して、内視鏡３０２の撮像素子３２８からプロセッサ装置３１２へ被観察部位の撮像信号が出力され、かつプロセッサ装置３１２から内視鏡３０２へ制御信号が出力される。

【0163】

本実施形態では、内視鏡３０２として軟性内視鏡を例に挙げて説明を行ったが、内視鏡３０２として、硬性内視鏡等の被観察部位の動画撮像を可能な各種の電子内視鏡を用いてもよい。

【0164】

光源装置３１１は、コネクタ３３７ａを介して、内視鏡３０２のライトガイド３３５へ照明光を供給する。照明光は、白色光又は特定の波長帯域の光を適用可能である。照明光は、白色光及び特定の波長帯域の光を組み合わせてもよい。光源装置３１１は、観察目的に応じた波長帯域の光を、照明光として適宜選択可能に構成される。

【0165】

白色光は、白色の波長帯域の光又は複数の波長帯域の光のいずれでもよい。特定の波長帯域は、白色の波長帯域よりも狭い帯域である。特定の波長帯域の光は、一種類の波長帯域の光を適用してもよいし、複数の波長帯域の光を適用してもよい。特定の波長帯域は、特殊光と呼ばれる場合がある。

【0166】

プロセッサ装置３１２は、コネクタ３３７ｂ及び信号ケーブル３３６を介して、内視鏡３０２の動作を制御する。また、プロセッサ装置３１２は、コネクタ３３７ｂ及び信号ケーブル３３６を介して、内視鏡３０２の撮像素子３２８から撮像信号を取得する。プロセッサ装置３１２は規定のフレームレートを適用して内視鏡３０２から出力された撮像信号を取得する。

【0167】

プロセッサ装置３１２は、内視鏡３０２から取得した撮像信号に基づき、被観察部位の観察画像である内視鏡画像を生成する。ここでいう内視鏡画像３３８には動画像が含まれる。内視鏡画像３３８は静止画像３３９が含まれてもよい。

【0168】

プロセッサ装置３１２は、操作部３２１の静止画像撮像指示部３３２が操作された場合、動画像の生成と並行して、撮像素子３２８から取得した撮像信号に基づき被観察部位の静止画像３３９を生成する。静止画像３３９は、動画像の解像度に対して高解像度に生成されていてもよい。

【0169】

内視鏡画像３３８の生成の際に、プロセッサ装置３１２はホワイトバランス調整及びシェーディング補正等のデジタル信号処理を適用した画質の補正を行う。プロセッサ装置３１２はＤＩＣＯＭ規格で規定された付帯情報を内視鏡画像３３８へ付加してもよい。なお、ＤＩＣＯＭは、Digital Imaging and Communications in Medicineの省略語である。

【0170】

内視鏡画像３３８は、被検体内、すなわち生体内を撮像した生体内画像である。内視鏡画像３３８が、特定の波長帯域の光を用いて撮像して得られた画像である場合、両者は特殊光画像である。そして、プロセッサ装置３１２は、生成した内視鏡画像３３８を表示装置３１３と画像処理装置３１４とのそれぞれに出力する。プロセッサ装置３１２は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、図示しないネットワークを介して内視鏡画像３３８を、図示しない記憶装置へ出力してもよい。

【0171】

表示装置３１３は、プロセッサ装置３１２に接続される。表示装置３１３は、プロセッサ装置３１２から送信された内視鏡画像３３８を表示する。術者は、表示装置３１３に表示される内視鏡画像３３８を確認しながら、挿入部３２０の進退操作等をし得る。術者は、被観察部位に病変等を検出した場合に、静止画像撮像指示部３３２を操作して被観察部位の静止画を撮像し得る。

【0172】

画像処理装置３１４は、コンピュータが用いられる。入力装置３１５はコンピュータに接続可能なキーボード及びマウス等が用いられる。入力装置３１５とコンピュータとの接続は有線接続、又は無線接続のいずれでもよい。モニタ装置３１６は、コンピュータに接続可能な各種モニタが用いられる。

【0173】

画像処理装置３１４として、ワークステーション及びサーバ装置等の診断支援装置を用いてもよい。この場合、入力装置３１５及びモニタ装置３１６は、それぞれワークステーション等に接続した複数の端末ごとに設けられる。更に、画像処理装置３１４として、医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。

【0174】

画像処理装置３１４は、内視鏡画像３３８の取得及び内視鏡画像３３８の記憶を行う。画像処理装置３１４は、モニタ装置３１６の再生制御を行う。図８に示す画像処理装置３１４は、図１から図７までの各図を用いて説明した内視鏡画像学習装置１０の機能を備え得る。また、図８に示す入力装置３１５は図１に示す操作部１８に相当する。図８に示すモニタ装置３１６は図１に示す表示部２６に相当する。

【0175】

なお、本明細書における画像という用語は、画像を表す電気信号及び画像を表す情報等の静止画像３３９の意味が含まれている。本明細書における画像という用語は、画像自身及び画像データの少なくともいずれかを意味している。

【0176】

また、画像の記憶という用語は、画像の保存と読み替えることが可能である。ここでいう画像の記憶は、画像の非一時的記憶を意味する。画像処理装置３１４は画像を一時記憶する一時記憶用のメモリを備えてもよい。

【0177】

入力装置３１５は、画像処理装置３１４に対する操作指示の入力に用いられる。モニタ装置３１６は、画像処理装置３１４の制御の下、内視鏡画像３３８の表示を行う。モニタ装置３１６は、画像処理装置３１４における各種情報の表示部として機能してもよい。

【0178】

画像処理装置３１４は、図示しないネットワークを介して、図示しない記憶装置と接続され得る。画像の格納形式及びネットワークを経由した各装置間の通信は、ＤＩＣＯＭ規格及びＤＩＣＯＭ規格に準拠したプロトコル等を適用可能である。

【0179】

図示しない記憶装置は、データを非一時的に記憶するストレージ等を適用可能である。記憶装置は、図示しないサーバ装置を用いて管理されてもよい。サーバ装置は、各種データを記憶して管理するコンピュータを適用可能である。

【0180】

［内視鏡システムの観察モード］
図９は内視鏡システムの機能ブロック図である。内視鏡システム３００は通常光観察モードと特殊光観察モードとの切り替えが可能に構成される。操作者は図示しない観察モード切替ボタンを操作して、通常光観察モードと特殊光観察モードとの切り替えを実施し得る。

【0181】

光源装置３１１は、第一レーザ光源４００、第二レーザ光源４０２、及び光源制御部４０４を備える。第一レーザ光源４００は、中心波長４４５ｎｍの青色レーザ光源である。第二レーザ光源４０２は、中心波長４０５ｎｍの紫色レーザ光源である。第一レーザ光源４００及び第二レーザ光源４０２として、レーザダイオードを用いることができる。第一レーザ光源４００及び第二レーザ光源４０２の発光は、光源制御部４０４を用いて個別に制御される。第一レーザ光源４００と第二レーザ光源４０２との発光強度比は変更自在になっている。

【0182】

内視鏡３０２は、第一光ファイバ４１０、第二光ファイバ４１２、蛍光体４１４、拡散部材４１６、撮像レンズ４１８、撮像素子３２８、及びアナログデジタル変換部４２０を備える。

【0183】

第一レーザ光源４００、第二レーザ光源４０２、第一光ファイバ４１０、第二光ファイバ４１２、蛍光体４１４、及び拡散部材４１６を用いて照射部が構成される。

【0184】

第一レーザ光源４００から出射されるレーザ光は、第一光ファイバ４１０を介して内視鏡３０２の先端部３２７に配置された蛍光体４１４に照射される。蛍光体４１４は、第一レーザ光源４００からの青色レーザ光の一部を吸収して緑色から黄色まで範囲に励起発光する複数種の蛍光体を含んで構成される。これにより、蛍光体４１４から出射する光は、第一レーザ光源４００からの青色レーザ光を励起光とする緑色から黄色まで範囲の励起光Ｌ_１１及び蛍光体４１４に吸収されずに透過した青色のレーザ光Ｌ_１２が合わされて、白色又は疑似白色の光Ｌ_１となる。

【0185】

なお、ここで言う白色光とは、厳密に可視光の全ての波長成分を含むものに限らない。例えば、Ｒ、Ｇ、及びＢなど、特定の波長帯域の光を含むものであればよく、緑色から赤色にかけての波長成分を含む光、又は青色から緑色にかけての波長成分を含む光等も広義に含むものとする。

【0186】

一方、第二レーザ光源４０２から出射されるレーザ光は、第二光ファイバ４１２を介して内視鏡３０２の先端部３２７に配置された拡散部材４１６に照射される。拡散部材４１６は、透光性を有する樹脂材料等を用いることができる。拡散部材４１６から出射する光は、照射領域内において光量が均一化された狭帯域波長の光Ｌ_２となる。

【0187】

図１０は光の強度分布を示すグラフである。光源制御部４０４は、第一レーザ光源４００と第二レーザ光源４０２との光量比を変更する。これにより、光Ｌ_１と光Ｌ_２との光量比が変更され、光Ｌ_１と光Ｌ_２との合成光である照射光Ｌ_０の波長パターンが変更され、観察モードに応じて異なる波長パターンの照射光Ｌ_０を照射することができる。

【0188】

図９に示す内視鏡システム３００は、撮像レンズ４１８、撮像素子３２８、アナログデジタル変換部４２０を含む撮像部を備える。図８に示すように撮像部は、内視鏡３０２の先端部３２７に配置される。

【0189】

図９に示す撮像レンズ４１８は、入射した光を撮像素子３２８に結像させる。撮像素子３２８は、受光した光に応じたアナログ信号を生成する。撮像素子３２８から出力されるアナログ信号は、アナログデジタル変換部４２０を用いてデジタル信号に変換され、プロセッサ装置３１２に入力される。

【0190】

プロセッサ装置３１２は、撮像制御部４４０、画像処理部４４２、画像取得部４４４、及び画像認識部４４６を備える。

【0191】

撮像制御部４４０は、光源装置３１１の光源制御部４０４、内視鏡３０２の撮像素子３２８及びアナログデジタル変換部４２０、並びにプロセッサ装置３１２の画像処理部４４２を制御し、内視鏡システム３００を用いた動画及び静止画の撮像を統括制御する。

【0192】

画像処理部４４２は、内視鏡３０２のアナログデジタル変換部４２０から入力されたデジタル信号に画像処理を施し画像を生成する。画像処理部４４２は、撮像時の照射光の波長パターンに応じた画像処理を施す。

【0193】

画像取得部４４４は、画像処理部４４２が生成した画像を取得する。すなわち、画像取得部４４４は、被験者の体腔内を一定のフレームレートを適用して時系列的に撮像した複数の画像を順次取得する。なお、画像取得部４４４は、入力部４４７から入力された画像、又は記憶部４６８に記憶された画像を取得してもよい。また、不図示のネットワークに接続されたサーバ等の外部装置から画像を取得してもよい。これらの場合の画像も、時系列的に撮像した複数の画像であることが好ましい。

【0194】

画像認識部４４６は、内視鏡画像学習装置１０によって学習された学習モデルを用いて、画像取得部４４４が取得した画像の画像認識を行う。本実施形態では、画像取得部４４４が取得した画像から病変を認識する。病変とは、病気が原因のものに限定されず、外観上正常な状態とは異なる状態の領域を含んでいる。

【0195】

病変の一例として、ポリープ、癌、大腸憩室、炎症、治療痕、クリップ箇所、出血点、穿孔、及び血管異型性等が挙げられる。治療痕の一例として、ＥＭＲ瘢痕及びＥＳＤ瘢痕等が挙げられる。ＥＭＲはEndoscopic Mucosal Resectionの省略語である。ＥＳＤはEndoscopic Submucosal Dissectionの省略語である。

【0196】

表示制御部４５０は、画像処理部４４２を用いて生成された画像を表示装置３１３に表示させる。表示制御部４５０は、画像認識部４４６を用いて認識した病変を認識可能に画像に重畳表示してもよい。

【0197】

記憶制御部４５２は、画像処理部４４２を用いて生成された画像を記憶部４６８に記憶させる。例えば、静止画の取得指示に従って撮像された画像及び画像を撮像した際の照射光Ｌ_０の波長パターンの情報等を記憶部４６８に記憶させる。

【0198】

記憶部４６８の一例として、ハードディスク等のストレージ装置が挙げられる。なお、記憶部４６８は、プロセッサ装置３１２に内蔵されたものに限定されない。例えば、プロセッサ装置３１２に接続される不図示の外部記憶装置であってもよい。外部記憶装置は、不図示のネットワークを介して接続されていてもよい。

【0199】

このように構成された内視鏡システム３００は、通常は一定のフレームレートで動画撮像を行い、撮像した画像を表示装置３１３に表示する。また、撮像された動画から、病変を検出し、検出した病変を認識可能に動画に重畳して表示装置３１３に表示する。

【0200】

内視鏡システム３００によれば、内視鏡画像学習装置１０によって学習された学習モデルを用いた画像認識部４４６を適用して内視鏡画像の自動認識を行い、特殊光画像の画像認識を適切に行うことができる。

【0201】

図８から図１０を用いて説明した内視鏡システム３００は、通常光画像１４ａ及び特殊光画像１６ａを取得し得る。

【0202】

［内視鏡システムの変形例］
〔プロセッサ装置の変形例〕
プロセッサ装置３１２は、画像処理装置３１４の機能を有してもよい。すなわち、プロセッサ装置３１２は、画像処理装置３１４と一体に構成されてもよい。かかる態様では、表示装置３１３はモニタ装置３１６と兼用し得る。プロセッサ装置３１２は入力装置３１５を接続させる接続端子を備え得る。

【0203】

〔特徴量画像の生成例〕
医用画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。

【0204】

［コンピュータを画像処理装置として機能させるプログラムへの適用例］
上述した内視鏡画像学習方法は、コンピュータを用いて、内視鏡画像学習方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、コンピュータに、互いに分光分布が異なる第一画像及び第二画像を取得する画像取得機能、第一画像に画像処理を施して第三画像を生成する画像処理機能、及び複数の第一画像を含む第一画像群、複数の第二画像を含む第二画像群、及び複数の第三画像を含む第三画像群、並びに第一画像群、第二画像群、及び第三画像群のそれぞれの正しい認識結果である正解データを用いて、自動認識に適用する認識器を学習する学習機能を実現させるプログラムであって、画像処理機能は、第一画像の分光分布に含まれる帯域のうち第二画像の対応する帯域と特性が異なる帯域の信号を抑制する画像処理、及び第一画像に含まれる帯域のうち第二画像の対応する帯域と特性が同一の帯域の信号又は類似する帯域の信号を強調する画像処理の少なくともいずれかを施して、第一画像から第三画像を生成するプログラムを実現し得る。

【0205】

上述した内視鏡画像学習機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。

【0206】

また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。

【0207】

［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

【0208】

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。

【符号の説明】

【0209】

１０ 内視鏡画像学習装置
１２ 通信部
１４ 第一記憶装置
１４ａ 通常光画像
１６ 第二記憶装置
１６ａ 特殊光画像
１７ 第三記憶装置
１７ａ 処理画像
１８ 操作部
２０ ＣＰＵ
２２ ＲＡＭ
２４ ＲＯＭ
２６ 表示部
３０ 学習部
３２ ＣＮＮ
３２ａ 入力層
３２ｂ 中間層
３２ｃ 出力層
３２ｄ 畳み込み層
３２ｅ プーリング層
３２ｆ セット
３２ｇ 全結合層
３４ 誤差算出部
３６ パラメータ更新部
４０ 画像生成部
１００ 分光感度分布
１０２ Ｂチャネル成分
１０４ Ｇチャネル成分
１０６ Ｒチャネル成分
１２０ 通常光の強度分布
１４０ 通常光画像の分光分布特性
１４２ Ｂチャネル成分
１４４ Ｇチャネル成分
１４６ Ｒチャネル成分
１６０ ＬＣＩにおける照明光の強度分布
１８０ 特殊光画像の分光分布特性
１８２ Ｂチャネル成分
１８４ Ｇチャネル成分
１８６ Ｒチャネル成分
２００ 通常光画像の分光分布特性
２０２ Ｂチャネル成分
２０４ Ｇチャネル成分
２０６ Ｒチャネル成分
２２０ 特殊光画像の分光分布特性
２２２ Ｂチャネル成分
２２４ Ｇチャネル成分
３００ 内視鏡システム
３０２ 内視鏡
３１１ 光源装置
３１２ プロセッサ装置
３１３ 表示装置
３１４ 画像処理装置
３１５ 入力装置
３１６ モニタ装置
３２０ 挿入部
３２１ 操作部
３２２ ユニバーサルコード
３２５ 軟性部
３２６ 湾曲部
３２７ 先端部
３２７ａ 先端面
３２８ 撮像素子
３２９ 湾曲操作ノブ
３３０ 送気送水ボタン
３３１ 吸引ボタン
３３２ 静止画像撮像指示部
３３３ 処置具導入口
３３５ ライトガイド
３３６ 信号ケーブル
３３７ａ コネクタ
３３７ｂ コネクタ
３３８ 内視鏡画像
３３９ 静止画像
４００ 第一レーザ光源
４０２ 第二レーザ光源
４０４ 光源制御部
４１０ 第一光ファイバ
４１２ 第二光ファイバ
４１４ 蛍光体
４１６ 拡散部材
４１８ 撮像レンズ
４２０ アナログデジタル変換部
４４２ 画像処理部
４４４ 画像取得部
４４６ 画像認識部
４４７ 入力部
４５０ 表示制御部
４５２ 記憶制御部
４６８ 記憶部
Ｓ１０からＳ２１ 内視鏡画像学習方法の各工程

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】