特開 2022-189900 画像処理装置、内視鏡システム及び画像処理装置の作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022189900

(43)【公開日】2022-12-22

(54)【発明の名称】画像処理装置、内視鏡システム及び画像処理装置の作動方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20221215BHJP

   A61B 1/00 20060101ALI20221215BHJP

   G06V 10/82 20220101ALI20221215BHJP

   G06T 7/00 20170101ALI20221215BHJP

【ＦＩ】

A61B1/045 618

A61B1/045 614

A61B1/045 622

A61B1/00 513

A61B1/045 617

A61B1/00 511

A61B1/045 610

G06V10/82

G06T7/00 350C

G06T7/00 612

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022168121

(22)【出願日】2022-10-20

(62)【分割の表示】P 2020528760の分割

【原出願日】2019-06-13

(31)【優先権主張番号】P 2018128168

(32)【優先日】2018-07-05

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】内藤 慧

(72)【発明者】

【氏名】加門 駿平

(57)【要約】

【課題】複数の画像を元に認識精度の向上を図ることができ、かつ良好な観察用画像及び認識結果を提示することができる画像処理装置、内視鏡システム及び画像処理装置の作動方法を提供する。
【解決手段】複数の異なる観察光を用いて順次取得された複数の画像からなる画像セットを受け付け、画像セットに対する認識結果を出力する認識器１５と、複数の画像の一部もしくは複数の画像を用いて算出された観察用画像及び認識結果を表示部１４に表示させる内視鏡プロセッサ１３の表示制御部６６と、を備える。認識器１５は、複数の異なる観察光を用いて順次取得された画像セットを受け付け、その画像セットに対する認識結果を取得するため、１つの観察光により取得された１つの画像を元に、その画像の認識を行う場合に比べて認識精度を向上させることができる。
【選択図】 図６

【特許請求の範囲】

【請求項1】

通常光と特殊光とを用いて取得された内視鏡画像である通常光画像と特殊光画像とからなる画像セットを受け付け、前記画像セットに対する認識結果を出力する１つの認識器と、
前記画像セットの一部もしくは前記画像セットを用いて算出された観察用画像及び前記認識結果を表示部に表示させる表示制御部と、を備え、
前記画像セットは、前記通常光と前記特殊光とにより観察対象が照明され、前記通常光により撮像された前記通常光画像と、前記通常光と前記通常光との間の前記特殊光により撮像された前記特殊光画像とからなり、
前記認識器は、学習用の前記画像セットと正解データとをセットにして学習した学習済みモデルを有し、認識用の前記画像セットを受け付ける毎に前記学習済みモデルに基づいて前記認識結果を出力する、
画像処理装置。

【請求項2】

前記学習済みモデルは、畳み込みニューラルネットワークで構成される請求項１に記載の画像処理装置。

【請求項3】

前記特殊光画像は、２以上の異なる特殊光により撮像された２以上の特殊光画像を含む請求項１又は２に記載の画像処理装置。

【請求項4】

前記表示制御部は、前記画像セットの一部もしくは前記画像セットを用いて算出された観察用画像を、動画として前記表示部に表示させる請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記認識器は、前記認識用の前記画像セットに含まれる注目領域を認識し、
前記表示制御部は、前記認識された前記注目領域を示す指標を、前記表示部に表示された前記観察用画像上に重畳して表示させる請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記認識器は、前記認識用の画像セットに含まれる注目領域を認識し、
前記表示制御部は、前記注目領域の有無を表す情報を前記表示部に表示された前記観察用画像と重ならないように表示させる請求項１から４のいずれか１項に記載の画像処理装置。

【請求項7】

前記認識器は、前記認識用の画像セットに基づいて病変に関する鑑別を実行して鑑別結果を出力し、
前記表示制御部は、前記鑑別結果を前記表示部に表示させる請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

前記通常光と前記特殊光とを順次発生する光源装置と、
前記通常光と前記特殊光とにより順次照明された観察対象を順次撮像することにより前記通常光画像と前記特殊光とを順次撮像する内視鏡スコープと、
前記表示部と、
請求項１から７のいずれか１項に記載の画像処理装置と、を備え、
前記認識器は、前記内視鏡スコープが撮像する前記通常光画像と前記特殊光画像とからなる前記画像セットを受け付ける内視鏡システム。

【請求項9】

前記内視鏡スコープが撮像する前記通常光画像と前記特殊光画像とを受け付け、前記通常光画像と前記特殊光画像との画像処理を行う内視鏡プロセッサを備え、
前記認識器は、前記内視鏡プロセッサによる画像処理後の前記通常光画像と前記特殊光画像とからなる前記画像セットを受け付ける請求項８に記載の内視鏡システム。

【請求項10】

１つの認識器と表示制御部とを有する画像処理装置の作動方法であって、
前記認識器が、通常光と特殊光とを用いて取得された内視鏡画像である通常光画像と特殊光画像とからなる画像セットを受け付ける第１ステップと、
前記認識器が、前記画像セットに対する認識結果を出力する第２ステップと、
前記表示制御部が、認識用の前記画像セットを受け付け、前記画像セットの一部もしくは前記画像セットを用いて算出された観察用画像及び前記認識結果を表示部に表示させる第３ステップと、を含み、
前記第１ステップから前記第３ステップの処理を繰り返し実行し、
前記画像セットは、前記通常光と前記特殊光とにより観察対象が照明され、前記通常光により撮像された前記通常光画像と、前記通常光と前記通常光との間の前記特殊光により撮像された前記特殊光画像とからなり、
前記第２ステップは、学習用の前記画像セットと正解データとをセットにして学習した学習済みモデルを有する前記認識器が、認識用の前記画像セットを受け付ける毎に前記学習済みモデルに基づいて前記認識結果を出力する、
画像処理装置の作動方法。

【請求項11】

前記学習済みモデルは、畳み込みニューラルネットワークで構成される請求項１０に記載の画像処理装置の作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置、内視鏡システム及び画像処理装置の作動方法に係り、特に内視鏡検査において医師の支援に利用可能な技術に関する。

【背景技術】

【0002】

医療分野においては、内視鏡装置を用いた検査が行われている。近年においては、画像解析によって内視鏡画像に含まれる病変の位置や病変の種類の認識を行い、認識結果を報知することで検査を支援することが知られている。

【0003】

認識のための画像解析においては、深層学習（Deep Learning）をはじめとする画像の機械学習が広く使用されている。

【0004】

特許文献１には、時系列に沿って撮影された細胞の複数の画像を取得する取得部と、取得された複数の画像に対して、所定の１以上の評価項目の各々に関して、時系列に沿った評価値を付与する付与部と、付与された時系列に沿った評価値の時間変化に基づいて、細胞を評価する評価部とを具備する情報処理装置が提案されている。ここで、評価部は、時系列に沿って撮影された細胞の複数の画像に対して、機械学習アルゴリズムにしたがって時系列に沿った評価値を付与し、付与した評価値の時間変化に基づいて観察対象となる細胞を評価している。これにより、細胞の時系列的な評価を総合的に鑑みた評価を可能にしている。

【0005】

また、特許文献２には、動画中のデータ列である時系列入力データを取得し、時系列入力データにおける一の時点の入力データに対応する複数の入力値を、時系列入力データに対応する学習済みのモデル（ボルツマンマシンを構成するモデル）が有する複数のノードに供給し、時系列入力データにおける予測対象時点より前の入力データ系列と、モデルにおける入力データ系列中の入力データに対応する複数の入力値のそれぞれと複数のノードのそれぞれとの間の重みパラメータとに基づいて、入力データ系列が発生した条件下において予測対象時点に対応する各入力値となる条件付確率を算出し、予測対象時点に対応する各入力値の条件付確率に基づいて、時系列入力データが発生した条件の下で次の入力データが予め定められた値となる条件付確率を算出する処理装置が提案されている。

【0006】

この処理装置は、一例として時系列に並ぶＴ－１個の画像データに基づき、次の時刻に配列される１つの画像データを予測して、合計Ｔ個の画像を含む動画を生成することができる。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１８－２２２１６号公報

【特許文献2】特開２０１６－７１６９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１に記載の情報処理装置は、時系列に沿って撮像された複数の画像により、撮像対象である細胞（受精卵）の培養過程における種々の変化等を評価するものであり、複数の画像は、同じ撮像条件で撮像されたものである。同じ撮像条件で撮像しなければ、取得した複数の画像から受精卵の変化を評価することができないからである。即ち、複数の画像は、異なる観察光を用いて順次取得された画像ではない。

【0009】

特許文献２に記載の処理装置は、時系列入力データを入力する学習済みモデルにより、次の時刻の画像データの予測を可能にするものであり、時系列入力データは、同じ撮像条件で撮像されたものである。同じ撮像条件で撮像しなければ、入力する時系列入力データから次の時刻の画像データを予測することができないからである。即ち、時系列入力データは、異なる観察光を用いて順次取得された入力データではない。

【0010】

また、特許文献１、２に記載の発明は、いずれも経時変化する対象（細胞、将来の動画）を予測するために時系列の複数の画像を入力しており、認識器での認識精度を向上させる目的で複数の画像を入力するものではない。

【0011】

本発明はこのような事情に鑑みてなされたもので、複数の画像を元に認識精度の向上を図ることができ、かつ良好な観察用画像及び認識結果を提示することができる画像処理装置、内視鏡システム及び画像処理装置の作動方法を提供することを目的とする。

【課題を解決するための手段】

【0012】

上記目的を達成するために本発明の一の態様に係る画像処理装置は、複数の異なる観察光を用いて順次取得された複数の画像からなる画像セットを受け付け、画像セットに対する認識結果を出力する認識器と、複数の画像の一部もしくは複数の画像を用いて算出された観察用画像及び認識結果を表示部に表示させる表示制御部と、を備える。

【0013】

本発明の一の態様によれば、複数の異なる観察光を用いて順次取得された画像セットを入力し、その画像セットに対する認識結果を取得するため、１つの観察光により取得された１つの画像を元に、その画像の認識を行う場合に比べて認識精度を向上させることができる。また、複数の画像から得られる観察用画像とともに、認識結果を表示部に表示させることで、認識結果を適切に提示することができる。

【0014】

本発明の他の態様に係る画像処理装置において、認識器は、学習用の複数の画像と正解データとをセットにして学習した学習済みモデルを有し、認識用の複数の画像を受け付ける毎に学習済みモデルに基づいて認識結果を出力することが好ましい。

【0015】

本発明の更に他の態様に係る画像処理装置において、学習済みモデルは、畳み込みニューラルネットワークで構成されることが好ましい。畳み込みニューラルネットワークは、画像に対する認識に優れている。

【0016】

本発明の更に他の態様に係る画像処理装置において、複数の画像は、第１内視鏡画像及び第１内視鏡画像とは異なる観察光を用いて取得された第２内視鏡画像を含むことが好ましい。内視鏡検査では、複数の異なる観察光を用いて複数の画像を取得する場合があり、この場合の内視鏡検査に適用することができる。

【0017】

本発明の更に他の態様に係る画像処理装置において、第１内視鏡画像は、通常光で撮像された通常光画像であり、第２内視鏡画像は、特殊光で撮像された特殊光画像であることが好ましい。一般に、通常光画像は観察用画像として使用され、特殊光画像は表面構造を観察したい場合に使用される。

【0018】

本発明の更に他の態様に係る画像処理装置において、特殊光画像は、２以上の異なる特殊光により撮像された２以上の特殊光画像を含む。観察したい表面構造の深さが異なる場合等の観察目的に応じて、２以上の特殊光画像が撮像され得る。

【0019】

本発明の更に他の態様に係る画像処理装置において、第１内視鏡画像は、第１特殊光で撮像された第１特殊光画像であり、第２内視鏡画像は、第１特殊光とは異なる第２特殊光で撮像された第２特殊光画像である。即ち、複数の内視鏡画像には、通常光画像が含まれない場合もある。

【0020】

本発明の更に他の態様に係る画像処理装置において、表示制御部は、複数の画像の一部もしくは複数の画像を用いて算出された観察用画像を、動画として表示部に表示させることが好ましい。これにより、動画として表示される観察用画像及び認識結果を見ながらリアルタイムに検査が可能になる。

【0021】

本発明の更に他の態様に係る画像処理装置において、認識器は、複数の画像に含まれる注目領域を認識し、表示制御部は、認識された注目領域を示す指標を、表示部に表示された画像上に重畳して表示させることが好ましい。これにより、観察用画像内の注目領域の見落としがないように検査の支援を行うことができる。

【0022】

本発明の更に他の態様に係る画像処理装置において、認識器は、複数の画像に含まれる注目領域を認識し、表示制御部は、注目領域の有無を表す情報を表示部に表示された画像と重ならないように表示させることが好ましい。これにより、観察用画像内に注目領域が存在することを報知することができ、また、表示部に表示される情報により観察画像の観察が阻害されないようにすることができる。

【0023】

本発明の更に他の態様に係る画像処理装置において、認識器は、複数の画像に基づいて病変に関する鑑別を実行して鑑別結果を出力し、表示制御部は、鑑別結果を表示部に表示させることが好ましい。これにより、認識器による鑑別結果を参考にしながら観察用画像の目視による検査が可能になる。

【0024】

本発明の更に他の態様に係る内視鏡システムは、第１観察光と第１観察光と異なる第２観察光とを順次発生する光源装置と、第１観察光と第２観察光により順次照明された観察対象を順次撮像することにより複数の画像を撮像する内視鏡スコープと、表示部と、上記の画像処理装置と、を備え、認識器は、内視鏡スコープが撮像する複数の画像からなる画像セットを受け付ける。

【0025】

本発明の更に他の態様に係る内視鏡システムにおいて、内視鏡スコープが撮像する複数の画像を受け付け、複数の画像の画像処理を行う内視鏡プロセッサを備え、認識器は、内視鏡プロセッサによる画像処理後の複数の画像を受け付けることが好ましい。内視鏡プロセッサは、内視鏡スコープが撮像する複数の画像を画像処理する機能を備えており、認識器は、画像処理後の複数の画像を用いて病変領域の検出・鑑別を行うことができる。尚、認識器は、内視鏡プロセッサとは別体のものでもよいし、内視鏡プロセッサに内蔵されたものでもよい。

【0026】

本発明の更に他の態様に係る画像処理方法は、複数の異なる観察光を用いて取得された複数の画像からなる画像セットを受け付ける第１ステップと、認識器が、画像セットに対する認識結果を出力する第２ステップと、表示制御部が、複数の画像の一部もしくは複数の画像を用いて算出された観察用画像及び認識結果を表示部に表示させる第３ステップと、を含み、第１ステップから第３ステップの処理を繰り返し実行する。

【0027】

本発明の更に他の態様に係る画像処理方法において、第２ステップは、学習用の画像セットと正解データとにより学習した学習済みモデルを有する認識器が、認識用の画像セットを受け付ける毎に学習済みモデルに基づいて認識結果を出力することが好ましい。

【0028】

本発明の更に他の態様に係る画像処理方法において、学習済みモデルは、畳み込みニューラルネットワークで構成されることが好ましい。

【0029】

本発明の更に他の態様に係る画像処理方法において、複数の画像は、第１内視鏡画像及び第１内視鏡画像とは異なる観察光を用いて取得された第２内視鏡画像を含むことが好ましい。

【0030】

本発明の更に他の態様に係る画像処理方法において、第１内視鏡画像は、通常光で撮像された通常光画像であり、第２内視鏡画像は、特殊光で撮像された特殊光画像であることが好ましい。

【発明の効果】

【0031】

本発明によれば、複数の異なる観察光を用いて順次取得された複数の画像からなる画像セットを元に、画像セットに対する認識を行うため、認識精度を向上させることができる。また、複数の画像から得られる観察用画像ととともに、認識結果を表示部に表示させることで、認識結果を適切に提示することができる。

【図面の簡単な説明】

【0032】

【図1】図１は、本発明に係る内視鏡システム１０の外観を示す斜視図である。

【図2】図２は、内視鏡システム１０の電気的構成を示すブロック図である。

【図3】図３は、主としてマルチフレーム撮影モードで撮像されるマルチフレーム画像と画像セットの一例を示す図である。

【図4】図４は、認識器１５を構成する学習モデルの一つである畳み込みニューラルネットワークの代表的な構成例を示す模式図である。

【図5】図５は、図４に示したＣＮＮ１５の中間層１５Ｂの構成例を示す模式図である。

【図6】図６は、本発明に係る内視鏡システム１０の作用を説明するために用いた主要構成を示すブロック図である。

【図7】図７は、面順次で撮像されるＲ画像、Ｇ画像、Ｂ画像、及びＶ画像と画像セットの一例を示す図である。

【図8】図８は、本発明に係る画像処理方法の実施形態を示すフローチャートである。

【発明を実施するための形態】

【0033】

以下、添付図面に従って本発明に係る画像処理装置、内視鏡システム及び画像処理装置の作動方法の好ましい実施形態について説明する。

【0034】

［内視鏡システムの全体構成］
図１は、本発明に係る内視鏡システム１０の外観を示す斜視図である。

【0035】

図１に示すように内視鏡システム１０は、主として被検体内の観察対象を撮像する内視鏡スコープ（ここでは軟性内視鏡）１１と、光源装置１２と、内視鏡プロセッサ１３と、液晶モニタ等の表示部（表示器）１４と、認識器１５とから構成されている。

【0036】

光源装置１２は、通常光画像の撮像用の白色光、特殊光画像の撮像用の特定の波長帯域の光等の各種の観察光を内視鏡スコープ１１へ供給する。

【0037】

内視鏡プロセッサ１３は、内視鏡スコープ１１により得られた画像信号に基づいて表示用／記録用の通常光画像、特殊光画像、又は観察用画像の画像データを生成する画像処理機能、光源装置１２を制御する機能、通常画像又は観察用画像、及び認識器１５による認識結果を表示器１４に表示させる機能等を有する。尚、認識器１５の詳細は後述するが、内視鏡プロセッサ１３を内視鏡画像を受け付け、内視鏡画像に対する注目領域（病変、手術痕、処置痕、処置具など）の位置検出や病変の種類の鑑別等の認識を行う部分である。

【0038】

表示器１４は、内視鏡プロセッサ１３から入力される表示用の画像データに基づき通常画像、特殊光画像又は観察用画像、及び認識器１５による認識結果を表示する。

【0039】

内視鏡スコープ１１は、被検体内に挿入される可撓性の挿入部１６と、挿入部１６の基端部に連設され、内視鏡スコープ１１の把持及び挿入部１６の操作に用いられる手元操作部１７と、手元操作部１７を光源装置１２及び内視鏡プロセッサ１３に接続するユニバーサルコード１８と、を備えている。

【0040】

挿入部１６の先端部である挿入部先端部１６ａには、照明レンズ４２、対物レンズ４４、撮像素子４５などが内蔵されている（図２参照）。挿入部先端部１６ａの後端には、湾曲自在な湾曲部１６ｂが連設されている。また、湾曲部１６ｂの後端には、可撓性を有する可撓管部１６ｃが連設されている。

【0041】

手元操作部１７には、アングルノブ２１、操作ボタン２２、及び鉗子入口２３などが設けられている。アングルノブ２１は、湾曲部１６ｂの湾曲方向及び湾曲量を調整する際に回転操作される。操作ボタン２２は、送気・送水や吸引等の各種の操作に用いられる。鉗子入口２３は、挿入部１６内の鉗子チャンネルに連通している。また、手元操作部１７には、各種の設定を行う内視鏡操作部４６（図２参照）等が設けられている。

【0042】

ユニバーサルコード１８には、送気・送水チャンネル、信号ケーブル、及びライトガイドなどが組み込まれている。ユニバーサルコード１８の先端部には、光源装置１２に接続されるコネクタ部２５ａと、内視鏡プロセッサ１３に接続されるコネクタ部２５ｂとが設けられている。これにより、コネクタ部２５ａを介して光源装置１２から内視鏡スコープ１１に観察光が供給され、コネクタ部２５ｂを介して内視鏡スコープ１１により得られた画像信号が内視鏡プロセッサ１３に入力される。

【0043】

尚、光源装置１２には、電源ボタン、光源を点灯させる点灯ボタン、及び明るさ調節ボタン等の光源操作部１２ａが設けられ、また、内視鏡プロセッサ１３には、電源ボタン、図示しないマウス等のポインティングデバイスからの入力を受け付ける入力部を含むプロセッサ操作部１３ａが設けられている。本例の内視鏡プロセッサ１３と光源装置１２とは別体型のものであるが、内視鏡プロセッサは、光源装置内蔵型ものでもよい。

【0044】

［内視鏡システムの電気的構成］
図２は、内視鏡システム１０の電気的構成を示すブロック図である。

【0045】

図２に示すように内視鏡スコープ１１は、大別してライトガイド４０と、照明レンズ４２と、対物レンズ４４と、撮像素子４５と、内視鏡操作部４６と、内視鏡制御部４７と、ＲＯＭ（Read Only Memory）４８とを有している。

【0046】

ライトガイド４０は、大口径光ファイバ、バンドルファイバなどが用いられる。ライトガイド４０は、その入射端がコネクタ部２５ａを介して光源装置１２に挿入されており、その出射端が挿入部１６を通って挿入部先端部１６ａ内に設けられた照明レンズ４２に対向している。光源装置１２からライトガイド４０に供給された照明光は、照明レンズ４２を通して観察対象に照射される。そして、観察対象で反射及び／又は散乱した照明光は、対物レンズ４４に入射する。

【0047】

対物レンズ４４は、入射した照明光の反射光又は散乱光（即ち、観察対象の光学像）を撮像素子４５の撮像面に結像させる。

【0048】

撮像素子４５は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子であり、対物レンズ４４よりも奥側の位置で対物レンズ４４に相対的に位置決め固定されている。撮像素子４５の撮像面には、光学像を光電変換する複数の光電変換素子（フォトダイオード）により構成される複数の画素が２次元配列されている。また、本例の撮像素子４５の複数の画素の入射面側には、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配置され、これによりＲ画素、Ｇ画素、Ｂ画素が構成されている。尚、ＲＧＢのカラーフィルタのフィルタ配列は、ベイヤ配列が一般的であるが、これに限らない。

【0049】

撮像素子４５は、対物レンズ４４により結像される光学像を電気的な画像信号に変換して内視鏡プロセッサ１３に出力する。

【0050】

尚、撮像素子４５がＣＭＯＳ型である場合には、Ａ／Ｄ(Analog/Digital)変換器が内蔵されており、撮像素子４５から内視鏡プロセッサ１３に対してデジタルの画像信号が直接出力される。また、撮像素子４５がＣＣＤ型である場合には、撮像素子４５から出力される画像信号は、図示しないＡ／Ｄ変換器等でデジタルな画像信号に変換された後、内視鏡プロセッサ１３に出力される。

【0051】

内視鏡操作部４６は、図示しない静止画撮像ボタン、通常光画像撮影モード、特殊光画像撮影モード、及びマルチフレーム撮影モードのうちのいずれかの撮影モードを設定する撮影モード設定部を有している。尚、撮影モード設定部は、内視鏡プロセッサ１３のプロセッサ操作部１３ａに設けられていてもよい。

【0052】

内視鏡制御部４７は、内視鏡操作部４６での操作に応じてＲＯＭ４８等から読み出した各種プログラムやデータを逐次実行し、主として撮像素子４５の駆動を制御する。例えば、通常光画像撮影モードの場合、内視鏡制御部４７は、撮像素子４５のＲ画素、Ｇ画素及びＢ画素の信号を読み出すように撮像素子４５を制御し、特殊光画像撮影モード又はマルチフレーム撮影モードであって、特定の特殊光画像を取得するために観察光としてＶ－ＬＥＤ３２ａから紫色光が発光される場合、又はＢ－ＬＥＤ３２ｂから青色光が発光される場合には、これらの紫色光、青色色光の波長帯域に分光感度を有する撮像素子４５のＢ画素の信号のみを読み出し、あるいはＲ画素、Ｇ画素及びＢ画素の３つの色画素のうちのいずれか１つの色画素、又は２つの色画素を読み出すように撮像素子４５を制御する。

【0053】

また、内視鏡制御部４７は、内視鏡プロセッサ１３のプロセッサ制御部６１との間で通信を行い、内視鏡操作部４６での操作情報及びＲＯＭ４８に記憶されている内視鏡スコープ１１の種類を識別するための識別情報等を内視鏡プロセッサ１３に送信する。

【0054】

光源装置１２は、光源制御部３１及び光源ユニット３２を有している。光源制御部３１は、光源ユニット３２の制御と、内視鏡プロセッサ１３のプロセッサ制御部６１との間で通信を行い、各種情報の遣り取りを行う。

【0055】

光源ユニット３２は、例えば複数の半導体光源を有している。本実施形態では、光源ユニット３２は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）３２ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）３２ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）３２ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）３２ｄの４色のＬＥＤを有する。Ｖ－ＬＥＤ３２ａ、Ｂ－ＬＥＤ３２ｂ、Ｇ－ＬＥＤ３２ｃ、及びＲ－ＬＥＤ３２ｄは、例えば、４１０ｎｍ、４５０ｎｍ、５３０ｎｍ、６１５ｎｍにそれぞれピーク波長を持つ観察光であり、紫色（Ｖ）光、青色（Ｂ）光、緑色（Ｇ）光、及び赤色（Ｒ）光を発光する半導体光源である。

【0056】

光源制御部３１は、撮影モード設定部により設定される撮影モードに応じて、光源ユニット３２の４つのＬＥＤの点灯や消灯、点灯時の発光量等を、ＬＥＤ毎に個別に制御する。通常光画像撮影モードの場合、光源制御部３１は、Ｖ－ＬＥＤ３２ａ、Ｂ－ＬＥＤ３２ｂ、Ｇ－ＬＥＤ３２ｃ、及びＲ－ＬＥＤ３２ｄを全て点灯させる。このため、通常光画像撮影モードでは、Ｖ光、Ｂ光、Ｇ光、及びＲ光を含む白色光が観察光として用いられる。

【0057】

一方、特殊光画像撮影モードの場合、光源制御部３１は、Ｖ－ＬＥＤ３２ａ、Ｂ－ＬＥＤ３２ｂ、Ｇ－ＬＥＤ３２ｃ、及びＲ－ＬＥＤ３２ｄのうちのいずれか１つの光源、又は適宜組み合わせた複数の光源を点灯させ、又は複数の光源を点灯させる場合に各光源の発光量（光量比）を制御し、これにより被検体の深度の異なる複数の層の画像の撮像を可能にする。

【0058】

また、マルチフレーム撮影モードは、通常光画像と１以上の特殊光画像とをフレーム毎に切り換えて撮影し、又は２以上の特殊光画像をフレーム毎に切り換えて撮影する撮影モードであり、マルチフレーム撮影モードの場合、光源制御部３１は、フレーム毎に異なる観察光を光源ユニット３２から発光させる。

【0059】

各ＬＥＤ３２ａ～３２ｄが発する各色の光は、ダイクロイックミラーやレンズ等で形成される光路結合部、及び絞り機構（図示せず）を介して内視鏡スコープ１１内に挿通されたライトガイド４０に入射される。

【0060】

尚、光源装置１２の観察光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域にピークを有する光（特殊光）、或いはこれらの組み合わせなど、観察目的に応じた各種の波長帯域の光が選択される。

【0061】

特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。

【0062】

特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。

【0063】

特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。

【0064】

特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。

【0065】

特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。

【0066】

内視鏡プロセッサ１３は、プロセッサ操作部１３ａ、プロセッサ制御部６１、ＲＯＭ６２、デジタル信号処理回路（ＤＳＰ：Digital Signal Processor）６３、画像処理部６５、表示制御部６６、及び記憶部６７等を有している。

【0067】

プロセッサ操作部１３ａは、電源ボタン、マウスにより表示器１４の画面上で指示される座標位置及びクリック（実行指示）等の入力を受け付ける入力部等を含む。

【0068】

プロセッサ制御部６１は、プロセッサ操作部１３ａでの操作情報、及び内視鏡制御部４７を介して受信した内視鏡操作部４６での操作情報に応じてＲＯＭ６２から必要なプログラムやデータを読み出し、逐次処理することで内視鏡プロセッサ１３の各部を制御するとともに、光源装置１２を制御する。尚、プロセッサ制御部６１は、図示しないインターフェースを介して接続されたキーボード等の他の外部機器から必要な指示入力を受け付けるようにしてもよい。

【0069】

内視鏡スコープ１１（撮像素子４５）から出力される動画の各フレームの画像データを取得する画像取得部の一形態として機能するＤＳＰ６３は、プロセッサ制御部６１の制御の下、内視鏡スコープ１１から入力される動画の１フレーム分の画像データに対し、欠陥補正処理、オフセット処理、ホワイトバランス補正、ガンマ補正、及びデモザイク処理（「同時化処理」ともいう）等の各種の信号処理を行い、１フレーム分の画像データを生成する。

【0070】

画像処理部６５は、ＤＳＰ６３から画像データを入力し、入力した画像データに対して、必要に応じて色変換処理、色彩強調処理、及び構造強調処理等の画像処理を施し、観察対象が写った内視鏡画像を示す画像データを生成する。色変換処理は、画像データに対して３×３のマトリックス処理、階調変換処理、及び３次元ルックアップテーブル処理などにより色の変換を行う処理である。色彩強調処理は、色変換処理済みの画像データに対して、例えば血管と粘膜との色味に差をつける方向に色彩を強調する処理である。構造強調処理は、例えば血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像データに対して行う。

【0071】

画像処理部６５により処理された動画の各フレームの画像データは、静止画又は動画の撮影指示があると、撮影指示された静止画又は動画として記憶部６７に記録される。

【0072】

表示制御部６６は、画像処理部６５から入力する画像データに基づいて通常光画像又は特殊光画像を表示器１４に表示させるための表示用データを生成し、生成した表示用データを表示器１４に出力し、表示器１４に表示画像（内視鏡スコープ１１により撮像された動画等）を表示させる。

【0073】

マルチフレーム撮影モードの場合、異なる観察光を用いて順次取得された複数の画像をそのまま順次表示すると、見え方が変化してチラつくため、表示制御部６６は、複数の画像のうちの何れかの画像（一部の画像）を表示器１４に表示させ、または画像処理部６５により複数の画像を用いて算出された観察用画像を表示器１４に表示させる。

【0074】

また、表示制御部６６は、認識器１５から画像処理部６５を介して入力する認識結果、又は認識器１５から入力する認識結果を表示器１４に表示させる。

【0075】

表示制御部６６は、認識器１５により注目領域が検出された場合、その注目領域を示す指標を、表示器１４に表示された画像上に重畳して表示させる。例えば、表示画像における注目領域の色を変えるなどの強調表示や、マーカの表示、バウンディングボックスの表示が、指標として考えられる。

【0076】

また、表示制御部６６は、認識器１５による注目領域の検出結果に基づいて、注目領域の有無を表す情報を表示器１４に表示された画像と重ならないように表示させることができる。注目領域の有無を表す情報は、例えば、内視鏡画像の枠の色を、注目領域が検出された場合と注目領域が検出されない場合とで変えたり、「注目領域有り！」のテキストを内視鏡画像とは異なる表示領域に表示させる態様が考えられる。

【0077】

また、表示制御部６６は、認識器１５により病変に関する鑑別が実行された場合、その鑑別結果を表示器１４に表示させる。鑑別結果の表示方法は、例えば、表示器１４の表示画像上に検出結果を表すテキストの表示などが考えられる。テキストの表示は、表示画像上でなくてもよく、表示画像との対応関係が分かりさえすれば、特に限定されない。

【0078】

［認識器１５］
次に、本発明に係る認識器１５について説明する。

【0079】

認識器１５は、内視鏡プロセッサ１３による画像処理後の画像を受け付けるが、まず、認識器１５が受け付ける認識用の画像について説明する。

【0080】

本例の認識器１５は、マルチフレーム撮影モードが設定される場合に適用される。

【0081】

マルチフレーム撮影モードが設定されると、光源装置１２は、紫色光、青色光、緑色光、及び赤色光を含む白色光と、Ｖ－ＬＥＤ３２ａ、Ｂ－ＬＥＤ３２ｂ、Ｇ－ＬＥＤ３２ｃ、及びＲ－ＬＥＤ３２ｄの点灯が制御された１又は複数の特定の波長帯域の光（特殊光）とを順次発生し、内視鏡プロセッサ１３は、内視鏡スコープ１１から白色光下の画像（通常光画像）と特殊光下の画像（特殊光画像）とを順次に取得する。

【0082】

本例のマルチフレーム撮影モードでは、図３に示すように第１内視鏡画像である通常光画像（ＷＬ（White Light)画像）と、第２内視鏡画像である２種類の特殊光画像（ＢＬＩ（Blue Light Imaging or Blue LASER Imaging）画像）、ＬＣＩ（Linked Color Imaging）画像）とを、フレーム毎に順次切り換えて繰り返し取得する。

【0083】

ここで、ＢＬＩ画像及びＬＣＩ画像は、それぞれＢＬＩ用の観察光、及びＬＣＩ用の観察光で撮像された画像である。

【0084】

ＢＬＩ用の観察光は、表層血管での吸収率が高いＶ光の比率が高く、中層血管での吸収率が高いＧ光の比率を抑えた観察光であり、被検体の粘膜表層の血管や構造の強調に適した画像（ＢＬＩ画像）の生成に適している。

【0085】

また、ＬＣＩ用の観察光は、Ｖ光の比率がＷＬ用の観察光に比べて高く、ＷＬ用の観察光と比べて微細な色調変化を捉えるのに適した観察光であり、ＬＣＩ画像は、Ｒ成分の信号も利用して粘膜付近の色を中心に、赤味を帯びている色はより赤く、白っぽい色はより白くなるような色強調処理が行われた画像である。

【0086】

認識器１５は、内視鏡プロセッサ１３にて順次取得された複数の画像（本例では、ＷＬ画像、ＢＬＩ画像及びＬＣＩ画像）からなる画像セットＳａを、認識用の画像として受け付ける。

【0087】

ＷＬ画像、ＢＬＩ画像及びＬＣＩ画像は、それぞれカラー画像であるため、Ｒ画像、Ｇ画像及びＢ画像（３つの色チャンネル）を有している。したがって、認識器１５が入力する画像セットＳａは、チャンネル数が９（＝３×３）の画像となる。

【0088】

また、認識器１５は、画像セットＳａを順次入力するが、画像セットＳａは、時系列順の連続する３つのフレーム（ＷＬ画像、ＢＬＩ画像及びＬＣＩ画像）から構成されるため、各画像セットＳａを入力する時間間隔は、マルチフレーム撮影モードで撮像される各フレームの３フレーム分の時間に相当する。即ち、認識器１５が受け付ける時刻ｔ_ｎの画像セットＳａと、１つ前の時刻ｔ_ｎ－１の画像セットＳａとの時間間隔は、マルチフレーム撮影モードで撮像される各フレームの３フレーム分の時間に相当する。

【0089】

図４は、認識器１５を構成する学習モデルの一つである畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）の代表的な構成例を示す模式図である。

【0090】

ＣＮＮ１５は、例えば、内視鏡画像に写っている注目領域（病変、手術痕、処置痕、処置具など）の位置検出や病変の種類を鑑別する学習モデルであり、複数のレイヤー構造を有し、複数の重みパラメータを保持している。ＣＮＮ１５は、重みパラメータが最適値に設定されることで、学習済みモデルとなり認識器として機能する。

【0091】

図４に示すようにＣＮＮ１５は、入力層１５Ａと、複数の畳み込み層及び複数のプーリング層を有する中間層１５Ｂと、出力層１５Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。

【0092】

本例のＣＮＮ１５は、内視鏡画像に写っている注目領域の位置を認識するセグメンテーションを行う学習モデルであり、ＣＮＮの一種である全層畳み込みネットワーク（ＦＣＮ：Fully Convolution Network）が適用され、内視鏡画像に写っている注目領域の位置を画素レベルで把握できるものである。

【0093】

入力層１５Ａには、認識用の画像セットＳａ（図３）が入力される。

【0094】

中間層１５Ｂは、入力層１５Ａから入力した画像セットＳａから特徴を抽出する部分である。中間層１５Ｂにおける畳み込み層は、画像セットＳａや前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小（又は拡大）して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。尚、中間層１５Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合や正規化層も含まれ得る。

【0095】

出力層１５Ｃは、中間層１５Ｂにより抽出された特徴に基づき内視鏡画像に写っている注目領域の位置検出や病変の種類を分類（鑑別）する認識結果を出力する部分である。

【0096】

また、このＣＮＮ１５は、学習用の画像セットＳａと画像セットＳａに対する正解データとの多数のセットにより学習されたものであり、ＣＮＮ１５の各畳み込み層に適用されるフィルタの係数やオフセット値が、学習用のデータセットにより最適値に設定されている。ここで、正解データとは、内視鏡画像（本例では、画像セットＳａの少なくとも１つの画像）に対して医師が指定した注目領域や鑑別結果であることが好ましい。

【0097】

図５は、図４に示したＣＮＮ１５の中間層１５Ｂの構成例を示す模式図である。

【0098】

注目領域の最初（１番目）の畳み込み層では、認識用の画像セットＳａと、フィルタＦ_１との畳み込み演算が行われる。ここで、画像セットＳａは、縦がＨ、横がＷの画像サイズを有するＮ枚（Ｎチャンネル）の画像である。本例では、図３に示したように画像セットＳａは、９チャンネルの画像である。

【0099】

この画像セットＳａと畳み込み演算されるフィルタＦ_１は、画像セットＳがＮチャンネル（Ｎ枚）であるため、例えばサイズ５のフィルタの場合、フィルタサイズは、５×５×Ｎのフィルタになる。

【0100】

このフィルタＦ_１を用いた畳み込み演算により、１つのフィルタＦ_１に対して１チャンネル(１枚)の「特徴マップ」が生成される。図５に示す例では、Ｍ個のフィルタＦ_１を使用することで、Ｍチャンネルの「特徴マップ」が生成される。

【0101】

２番目の畳み込み層で使用されるフィルタＦ_１は、例えばサイズ３のフィルタの場合、フィルタサイズは、３×３×Ｍのフィルタになる。

【0102】

ｎ番目の畳み込み層における「特徴マップ」のサイズが、２番目の畳み込み層における「特徴マップ」のサイズよりも小さくなっているのは、前段までの畳み込み層によりダウンスケーリングされているからである。

【0103】

中間層１５Ｂの前半部分の畳み込み層は特徴量の抽出を担い、後半部分の畳み込み層は対象物（注目領域）のセグメンテーションを担う。尚、後半部分の畳み込み層では、アップスケーリングされ、最後の畳み込み層では、入力した画像セットＳａと同じサイズの１枚の「特徴マップ」が得られる。ＣＮＮ１５の出力層１５Ｃ（図４）は、中間層１５Ｂから得られる「特徴マップ」により、画像セットＳａの画像に写っている注目領域の位置を画素レベルで把握する。即ち、内視鏡画像の画素毎に注目領域に属するか否かを検出し、その検出結果を出力することができる。

【0104】

本実施形態によれば、ＷＬ画像、ＢＬＩ画像及びＬＣＩ画像のうちのいずれか１つ（１種類）の画像により認識する場合に比べて、マルチフレーム撮影モードで順次取得される複数の画像（ＷＬ画像、ＢＬＩ画像及びＬＣＩ画像の画像セット）を用いて認識するため、認識精度を向上させることができる。

【0105】

また、本例のＣＮＮ１５は、内視鏡画像に写っている注目領域の位置を認識するものであるが、本発明に係る認識器（ＣＮＮ）は、これに限らず、病変に関する鑑別を実行して鑑別結果を出力するものでもよい。例えば、認識器は、内視鏡画像を「腫瘍性」、「非腫瘍性」、「その他」の３つのカテゴリに分類し、鑑別結果として「腫瘍性」、「非腫瘍性」及び「その他」に対応する３つのスコア（３つのスコアの合計は１００％）として出力したり、３つのスコアから明確に分類できる場合には、分類結果を出力するものでもよい。また、このような鑑別結果を出力するＣＮＮの場合、全層畳み込みネットワーク（ＦＣＮ）の代わりに、中間層の最後の１層又は複数の層として全結合層を有するものが好ましい。

【0106】

［内視鏡システムの作用］
図６は、本発明に係る内視鏡システム１０の作用を説明するために用いた主要構成を示すブロック図である。

【0107】

光源ユニット３２のＶ－ＬＥＤ３２ａ、Ｂ－ＬＥＤ３２ｂ、Ｇ－ＬＥＤ３２ｃ、及びＲ－ＬＥＤ３２ｄからは、それぞれ異なるピーク波長をもつ観察光（Ｖ光、Ｂ光、Ｇ光、及びＲ光）が、ライトガイド４０を介して被検体２０に照射される。Ｖ光、Ｂ光、Ｇ光、及びＲ光は、それぞれ被検体２０の深度の異なる複数の層に到達するため、これらの観察光により被検体２０の深度の異なる画像の撮像が可能である。

【0108】

尚、図３で説明したようにマルチフレーム撮影モードでは、複数の異なる観察光（例えば、ＷＬ用の第１観察光、ＢＬＩ用の第２観察光、及びＬＣＩ用の第３観察光）によりＷＬ画像、ＢＬＩ画像及びＬＣＩ画像が順次取得されるが、ＷＬ用、ＢＬＩ用、及びＬＣＩ用の観察光は、前述したようにＶ光、Ｂ光、Ｇ光、及びＲ光の光量比が異なるものである。

【0109】

内視鏡スコープ１１では、複数の異なる観察光の照射によりＷＬ画像、ＢＬＩ画像及びＬＣＩ画像が順次繰り返し撮像される。ＷＬ画像、ＢＬＩ画像及びＬＣＩ画像は、それぞれカラー画像であるため、内視鏡プロセッサ１３では、ＲＧＢの３チャンネルのＷＬ画像、ＢＬＩ画像及びＬＣＩ画像が生成される。

【0110】

認識器１５は、ＷＬ画像、ＢＬＩ画像及びＬＣＩ画像からなる画像セットＳａ（合計、９チャンネルの画像）を認識用の画像として受け付ける。

【0111】

認識器１５は、内視鏡画像に写っている注目領域（本例では、病変領域）の位置を検出し、病変領域を示す位置情報（認識結果）を内視鏡プロセッサ１３に出力する。

【0112】

内視鏡プロセッサ１３の画像処理部６５は、内視鏡スコープ１１から入力する画像信号からＷＬ画像、ＢＬＩ画像及びＬＣＩ画像を生成するとともに、観察用画像を生成する。観察用画像は、複数の画像の一部（例えば、ＷＬ画像、ＢＬＩ画像及びＬＣＩ画像のうちのＷＬ画像）を観察用画像としてもよいし、複数の画像を用いて算出された画像（ＷＬ画像、ＢＬＩ画像及びＬＣＩ画像の２以上の画像を合成した画像）を観察用画像としてもよい。尚、異なる観察光を用いて順次取得された複数の画像をそのまま観察用画像として順次表示すると、見え方が変化してチラつくため、観察用画像は、１種類の画像であることが好ましい。

【0113】

表示制御部６６は、画像処理部６５から観察用画像を入力し、認識器１５から病変領域を示す位置情報を入力し、これらの観察用画像及び認識結果を表示器１４に表示させる。

【0114】

本例では、表示制御部６６は、観察用画像２６を表示器１４に表示させるとともに、認識された注目領域（病変領域）を強調する強調処理を施す。表示制御部６６による強調処理は、表示器１４に表示された観察用画像２６上に、病変領域を示す指標２８を重畳して表示させることで、病変領域を強調表示させる。ここで、指標２８の表示は、病変領域の色を変えるなどの強調表示や病変領域の輪郭を示す境界線の表示の他、病変領域を示すマーカの表示、バウンディングボックスの表示が考えられる。

【0115】

このように、表示器１４に表示される観察用画像２６上に注目領域を示す指標２８を重畳表示することで、注目領域の見落としがないように検査の支援を行うことができる。

【0116】

尚、本例の認識器１５は、内視鏡画像に写っている注目領域の位置を認識するものであるが、これに限らず、病変に関する鑑別を実行して鑑別結果を出力するものでもよい。鑑別結果の表示方法は、例えば、表示器１４の画像上に鑑別結果を表すテキストを表示する方法が考えられる。テキストの表示位置は、画像上でなくてもよく、画像との対応関係が分かりさえすれば、画像とは異なるウインドウでもよく、特に限定されない。

【0117】

［マルチフレーム撮影の他の実施形態］
撮像素子４５（カラー撮像素子）の代わりに、カラーフィルタを有さないモノクロの撮像素子を備えた内視鏡スコープによりカラーの内視鏡画像を取得する場合、異なる色の観察光により被検体を順次照明し、観察光毎に画像を撮像する（面順次で撮像する）。

【0118】

例えば、光源ユニット３２から異なる色の観察光（Ｒ光、Ｇ光、Ｂ光、及びＶ光）を順次発光することで、モノクロの撮像素子によりＲ光、Ｇ光、Ｂ光、及びＶ光に対応した色のＲ画像、Ｇ画像、Ｂ画像、及びＶ画像が面順次で撮像される。

【0119】

図７は、面順次で撮像されるＲ画像、Ｇ画像、Ｂ画像、及びＶ画像と画像セットの一例を示す図である。

【0120】

内視鏡プロセッサ１３は、複数の異なる観察光（Ｒ光、Ｇ光、Ｂ光、及びＶ光）を用いて順次取得された複数の画像（Ｒ画像、Ｇ画像、Ｂ画像、及びＶ画像）に基づいてＷＬ画像、ＢＬＩ画像及びＬＣＩ画像等の観察用画像を生成することができる。これらの観察用画像は、Ｒ画像、Ｇ画像、Ｂ画像、及びＶ画像の合成比率を調整することで生成することができる。

【0121】

また、Ｒ画像、Ｇ画像、Ｂ画像、及びＶ画像のうち少なくとも２つの画像を予め設定された係数を掛けて合成（四則演算）した画像を、画像セットに含めても良い。例えば、中心波長４１０ｎｍの画像（Ｖ画像）を中心波長４５０ｎｍの画像（Ｂ画像）で各画素を除算して得られる画像や、中心波長４１０ｎｍの画像（Ｖ画像）を中心波長４５０ｎｍの画像（Ｂ画像）で各画素を乗算して得られる画像を用いても良い。

【0122】

認識器１５は、内視鏡プロセッサ１３により生成されたＷＬ画像、ＢＬＩ画像及びＬＣＩ画像を画像セットＳｂとして受け付け、内視鏡画像に対する認識結果を内視鏡プロセッサ１３に返すことができる。

【0123】

本例の認識器１５は、ＷＬ画像、ＢＬＩ画像及びＬＣＩ画像からなる画像セットＳａ（合計、９チャンネルの画像）を認識用の画像として受け付けるが、これに限らず、例えば、上記のＲ画像、Ｇ画像、Ｂ画像、及びＶ画像からなる画像セットを受け付け、内視鏡画像に対する認識結果を出力するものでもよい。

【0124】

［画像処理方法］
図８は、本発明に係る画像処理方法の実施形態を示すフローチャートであり、図２に示した内視鏡システム１０の各部の処理手順に関して示している。

【0125】

図８において、マルチフレーム撮影モードが設定され、内視鏡スコープ１１は、複数の異なる観察光を用いたマルチフレーム画像を順次撮像する（ステップＳ１０）。

【0126】

内視鏡プロセッサ１３は、内視鏡スコープ１１により撮像されたマルチフレーム画像を構成する画像セットを取得する（ステップＳ１２、第１ステップ）。

【0127】

画像セットは、内視鏡スコープ１１により撮像されたＷＬ用、ＢＬＩ用、及びＬＣＩ用の観察光により撮像されたＷＬ画像、ＢＬＩ画像及びＬＣＩ画像、あるいは面順次で撮像されたＲ画像、Ｇ画像、Ｂ画像、及びＶ画像から生成されたＷＬ画像、ＢＬＩ画像及びＬＣＩ画像が考えられるが、特殊光画像は、ＢＬＩ画像及びＬＣＩ画像の何れか１つの特殊光画像であってもよいし、他の特殊光で撮像された特殊光画像であってもよい。また、画像セットは、ＷＬ画像（通常光画像）を含まず、第１特殊光で撮像された第１特殊光画像及び第２特殊光で撮像された第２特殊光画像を含む２以上の特殊光画像であってもよい。要は、複数の異なる観察光を用いて順次取得された複数の画像からなる画像セットであればよく、如何なる画像セットでもよい。

【0128】

内視鏡プロセッサ１３の画像処理部６５は、取得した画像セットに基づいて観察用画像を生成する（ステップＳ１４）。観察用画像は、複数の画像の一部（例えば、ＷＬ画像、ＢＬＩ画像及びＬＣＩ画像のうちのＷＬ画像）もしくは複数の画像を用いて算出された画像である。

【0129】

一方、認識器１５は、内視鏡プロセッサ１３を介して受け付けた画像セットに基づいて内視鏡画像に写っている注目領域の位置検出や病変の種類の鑑別等を行い、認識結果を出力する（ステップＳ１６、第２ステップ）。

【0130】

そして、表示制御部６６は、生成された観察用画像と認識器１５による認識結果とを、表示器１４に表示させる（ステップＳ１８、第３ステップ）。

【0131】

続いて、マルチフレーム画像の撮像を終了するか否かが判別され（ステップＳ２０）、マルチフレーム画像の撮像が継続される場合（「No」の場合）には、ステップＳ１０に遷移し、ステップＳ１０からステップＳ２０の処理が繰り返し行われる。これにより、観察用画像が動画として表示され、また、認識器１５の認識結果も連続的に表示される。

【0132】

マルチフレーム画像の撮像が終了する場合（「Yes」の場合）には、本処理を終了させる。

【0133】

［その他］
本実施形態では、内視鏡スコープ１１等を含む内視鏡システム１０について説明したが、本発明は、内視鏡システム１０に限らず、内視鏡プロセッサ１３と認識器１５とにより構成される画像処理装置でもよい。この場合、内視鏡プロセッサ１３と認識器１５とは一体化されたものでもよいし、別体のものでもよい。

【0134】

また、異なる観察光は、４色のＬＥＤから発光されるものに限らず、例えば、中心波長４４５ｎｍの青色レーザ光を発する青色レーザダイオードと、中心波長４０５ｎｍの青紫色レーザ光を発する青紫色レーザダイオードとを発光源とし、これらの青色レーザダイオード、及び青紫色レーザダイオードのレーザ光を、ＹＡＧ（Yttrium Aluminum Garnet）系の蛍光体に照射して発光されるものでもよい。この蛍光体に青色レーザ光が照射されることで、蛍光体が励起され広帯域の蛍光が発せられ、また、一部の青色レーザ光は、そのまま蛍光体を透過する。青紫色レーザ光は、蛍光体を励起させることなく透過する。したがって、青色レーザ光と青紫色レーザ光との強度を調整することで、ＷＬ用の観察光、ＢＬＩ用の観察光、及びＬＣＩ用の観察光を照射することができ、また、青紫色レーザ光のみを発光させると、中心波長が４０５ｎｍの観察光を照射することができる。

【0135】

また、本発明に係る観察用画像は動画に限らず、記憶部６７等に記憶された静止画でもよく、認識器は静止画の画像セットに基づいて認識結果を出力するものでもよい。

【0136】

更に、認識器は、ＣＮＮに限らず、例えばＤＢＮ（Deep Belief Network）、ＳＶＭ（Support Vector Machine）などのＣＮＮ以外の機械学習モデルでもよい。

【0137】

また、内視鏡プロセッサ１３及び／又は認識器１５のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0138】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0139】

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0140】

１０ 内視鏡システム
１１ 内視鏡スコープ
１２ 光源装置
１２ａ 光源操作部
１３ 内視鏡プロセッサ
１３ａ プロセッサ操作部
１４ 表示器
１５ 認識器（ＣＮＮ）
１５Ａ 入力層
１５Ｂ 中間層
１５Ｃ 出力層
１６ 挿入部
１６ａ 挿入部先端部
１６ｂ 湾曲部
１６ｃ 可撓管部
１７ 手元操作部
１８ ユニバーサルコード
２０ 被検体
２１ アングルノブ
２２ 操作ボタン
２３ 鉗子入口
２５ａ コネクタ部
２５ｂ コネクタ部
２６ 観察用画像
２８ 指標
３１ 光源制御部
３２ 光源ユニット
３２ａ Ｖ－ＬＥＤ
３２ｂ Ｂ－ＬＥＤ
３２ｃ Ｇ－ＬＥＤ
３２ｄ Ｒ－ＬＥＤ
４０ ライトガイド
４２ 照明レンズ
４４ 対物レンズ
４５ 撮像素子
４６ 内視鏡操作部
４７ 内視鏡制御部
４８，６２ ＲＯＭ
６１ プロセッサ制御部
６５ 画像処理部
６６ 表示制御部
６７ 記憶部
Ｆ１ フィルタ
Ｓ 画像セット
Ｓ１０ ステップ
Ｓ１２ ステップ
Ｓ１４ ステップ
Ｓ１６ ステップ
Ｓ１８ ステップ
Ｓ２０ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】