ホーム > 特許ランキング > 富士フイルム株式会社
特許7556961内視鏡システム、内視鏡システムの作動方法、及び内視鏡システム用プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-17
(45)【発行日】2024-09-26
(54)【発明の名称】内視鏡システム、内視鏡システムの作動方法、及び内視鏡システム用プログラム
(51)【国際特許分類】
A61B 1/045 20060101AFI20240918BHJP
A61B 1/00 20060101ALI20240918BHJP
【ＦＩ】
A61B1/045 618
A61B1/045 622
A61B1/00 513
【請求項の数】
12
(21)【出願番号】P 2022534904
(86)(22)【出願日】2021-03-17
(86)【国際出願番号】 JP2021010863
(87)【国際公開番号】W WO2022009478
(87)【国際公開日】2022-01-13
【審査請求日】2022-12-14
(31)【優先権主張番号】P 2020117098
(32)【優先日】2020-07-07
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001988
【氏名又は名称】弁理士法人小林国際特許事務所
(72)【発明者】
【氏名】檜谷 康太郎
【審査官】▲高▼木 尚哉
(56)【参考文献】
【文献】国際公開第２０２０／０１２８７２（ＷＯ，Ａ１）
【文献】国際公開第２０２０／０７５５７８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００－１／３２
Ｇ０２Ｂ ２３／２４－２３／２６
(57)【特許請求の範囲】
【請求項1】
観察対象に照射する照明光を発する光源部と、プロセッサを備える画像処理装置を備える内視鏡システムであって、前記光源部は、白色の照明光と、互いに分光スペクトルが異なる複数の支援画像用照明光のそれぞれとを、予め設定した順序により繰り返し発光し、
前記プロセッサは、
内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得し、
前記白色の照明光により照明した前記観察対象を撮像することにより得られる表示用画像信号を用いて、ディスプレイに表示する表示画像を生成し、
複数の前記支援画像用照明光のそれぞれにより照明した前記観察対象を撮像することにより得られる複数の支援用画像信号のそれぞれにおいて、前記観察対象が特定の状態である特定領域を判定し、
前記特定領域を示す支援画像を生成し、
前記表示画像を前記ディスプレイに表示する際に、複数の前記支援画像を互いに区別可能な態様により前記表示画像に重畳して表示する制御を行う内視鏡システム。
【請求項2】
複数の前記支援画像は、同一又は相似の図形により表示する請求項１に記載の内視鏡システム。
【請求項3】
前記支援画像は、前記特定領域の面積に対応した面積により表示する請求項１または２に記載の内視鏡システム。
【請求項4】
前記プロセッサは、複数の前記支援画像のそれぞれを互いに異なる色により表示する請求項１ないし３のいずれか１項に記載の内視鏡システム。
【請求項5】
前記プロセッサは、複数の前記支援画像のそれぞれを互いに異なる形状の図形により表示する請求項１に記載の内視鏡システム。
【請求項6】
前記プロセッサは、前記支援画像を生成する毎に、前記支援画像を前記表示画像に重畳して表示する制御を行う請求項１ないし５のいずれか１項に記載の内視鏡システム。
【請求項7】
前記画像信号に対して強調処理を行い支援用画像信号とし、前記支援用画像信号に基づいて、前記特定領域を判定する請求項１ないし６のいずれか１項に記載の内視鏡システム。
【請求項8】
前記プロセッサは、前記支援画像と前記強調処理との関連付けを示す凡例表示を前記ディスプレイに表示する制御を行う請求項７に記載の内視鏡システム。
【請求項9】
複数の前記支援画像用照明光は、それぞれ予め設定した波長帯域の狭帯域光を含む請求項１に記載の内視鏡システム。
【請求項10】
前記プロセッサは、前記支援画像と前記支援画像用照明光との関連付けを示す凡例表示を前記ディスプレイに表示する制御を行う請求項１ないし９のいずれか１項に記載の内視鏡システム。
【請求項11】
観察対象に照射する照明光を発する光源部と、プロセッサを備える画像処理装置を備える内視鏡システムの作動方法であって、
前記光源部は、白色の照明光と、互いに分光スペクトルが異なる複数の支援画像用照明光のそれぞれとを、予め設定した順序により繰り返し発光するステップと、
前記プロセッサは、
内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得する画像取得ステップと、
前記白色の照明光により照明した前記観察対象を撮像することにより得られる表示用画像信号を用いて、ディスプレイに表示する表示画像を生成する表示画像生成ステップと、
複数の前記支援画像用照明光のそれぞれにより照明した前記観察対象を撮像することにより得られる複数の支援用画像信号に基づいて、前記観察対象が特定の状態である特定領域を画定して示す支援画像を生成する支援画像生成ステップと、
前記表示画像を前記ディスプレイに表示する際に、複数の前記支援画像を互いに区別可能な態様により前記表示画像に重畳して表示する制御を行う表示制御ステップとを備える内視鏡システムの作動方法。
【請求項12】
観察対象に照射する照明光を発する光源部と、プロセッサを備える画像処理装置を備える内視鏡システムにインストールされる内視鏡システム用プログラムにおいて、コンピュータに、
前記光源部に、白色の照明光と、互いに分光スペクトルが異なる複数の支援画像用照明光のそれぞれとを、予め設定した順序により繰り返し発光させる機能と、
内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得する画像取得機能と、
少なくとも１つの前記画像信号に基づいて得られる表示用画像信号を用いて、ディスプレイに表示する表示画像を生成する表示画像生成機能と、
複数の前記支援画像用照明光のそれぞれにより照明した前記観察対象を撮像することにより得られる複数の支援用画像信号に基づいて、前記観察対象が特定の状態である特定領域を画定して示す支援画像を生成する支援画像生成機能と、
前記表示画像を前記ディスプレイに表示する際に、複数の前記支援画像を互いに区別可能な態様により前記表示画像に重畳して表示する制御を行う表示制御機能とを実現させるための内視鏡システム用プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラムに関する。
【背景技術】
【0002】
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムを用いた診断では、画像強調内視鏡又は画像強調観察（ＩＥＥ、ｉｍａｇｅ ｅｎｈａｎｃｅｄ ｅｎｄｏｓｃｏｐｙ）と称される方法により、観察対象を内視鏡で撮影して得た画像（以下、内視鏡画像という）を用いて、観察対象の表面構造、粘膜表層の生体情報、又は病変の可能性等、観察対象の診断のための複数の支援情報を得ることが行われている。
【0003】
ＩＥＥには、観察対象を撮像して得た内視鏡画像をデジタル画像処理して用いる方法、又は、観察対象を特定の照明光により照明して撮像した内視鏡画像を用いる方法等、各種の方法が知られている。これらの方法により、例えば、観察対象において血管が密集する領域、又は酸素飽和度が低い領域等の生体情報を判定し、これらの領域を強調して表示すること等が可能である。これらの表示は、医師が観察対象を診断するための支援情報となる。
【0004】
また、ＩＥＥ等により、観察対象における病変の可能性がある領域の範囲、又は、炎症度等から、疾患のステージ等を判定し、得られた判定結果を医師の診断のための支援情報として提供するＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ）技術も開発されている。例えば、ＩＥＥによる内視鏡画像を用いて、潰瘍性大腸炎のステージ等の疾患の重症度又は進行度を高い精度で判定する内視鏡システムが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０２０－６５６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
各種の方法によるＩＥＥでは、それぞれ良好に得られる支援情報が異なる場合がある。したがって、ＩＥＥの種類により得られる効果又は用途が異なる場合がある。例えば、観察対象の情報として、酸素飽和度を取得する目的と、ポリープの領域を取得する目的とでは、異なるＩＥＥが用いられる場合がある。したがって、複数のＩＥＥを用いることにより、観察対象に関する診断の支援情報を複数種類得ることができるため、スクリーニング、又は病変の診断等において有益である。
【0007】
しかしながら、例えば、内視鏡のユーザである医師が、通常観察する白色の照明光にて観察対象を観察中に、複数のＩＥＥにより複数の病変等が示された場合、なんらかの異常、又は閾値からの逸脱等が示されていることは認識できるが、これら複数の病変のそれぞれを手間や時間をかけずに識別するのは難しい場合があった。
【0008】
本発明は、観察対象の詳細な情報を容易に認識できる画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明は、画像処理装置であって、プロセッサを備える。プロセッサは、内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得し、少なくとも１つの画像信号に基づいて得られる表示用画像信号を用いて、ディスプレイに表示する表示画像を生成し、複数の画像信号のそれぞれにおいて、観察対象が特定の状態である特定領域を判定し、特定領域を示す支援画像を生成し、表示画像をディスプレイに表示する際に、複数の支援画像を互いに区別可能な態様により表示画像に重畳して表示する制御を行う。
【0010】
複数の支援画像は、同一又は相似の図形により表示することが好ましい。
【0011】
支援画像は、特定領域の面積に対応した面積により表示することが好ましい。
【0012】
プロセッサは、複数の支援画像のそれぞれを互いに異なる色により表示することが好ましい。
【0013】
プロセッサは、複数の支援画像のそれぞれを互いに異なる形状の図形により表示することが好ましい。
【0014】
プロセッサは、支援画像を生成する毎に、支援画像を表示画像に重畳して表示する制御を行うことが好ましい。
【0015】
プロセッサは、画像信号に対して強調処理を行い支援用画像信号とし、支援用画像信号に基づいて、特定領域を判定することが好ましい。
【0016】
プロセッサは、支援画像と強調処理との関連付けを示す凡例表示をディスプレイに表示する制御を行うことが好ましい。
【0017】
また、本発明は、内視鏡システムであって、本発明の画像処理装置と、観察対象に照射する照明光を発する光源部とを備える。
【0018】
表示用画像信号は、光源部が発する白色の照明光により照明した観察対象を撮像することにより得られることが好ましい。
【0019】
プロセッサは、光源部が発する互いに分光スペクトルが異なる複数の支援画像用照明光のそれぞれにより照明した観察対象を撮像することにより、支援画像を生成することが好ましい。
【0020】
複数の支援画像用照明光は、それぞれ予め設定した波長帯域の狭帯域光を含むことが好ましい。
【0021】
光源部は、白色の照明光と、複数の支援画像用照明光のそれぞれとを、予め設定した順序により繰り返し発光することが好ましい。
【0022】
表示制御部は、支援画像と支援画像用照明光との関連付けを示す凡例表示をディスプレイに表示する制御を行うことが好ましい。
【0023】
また、本発明は、画像処理装置の作動方法であって、内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得する画像取得ステップと、少なくとも１つの画像信号に基づいて得られる表示用画像信号を用いて、ディスプレイに表示する表示画像
を生成する表示画像生成ステップと、複数の画像信号のそれぞれに基づいて、観察対象が特定の状態である特定領域を示す支援画像を生成する支援画像生成ステップと、表示画像をディスプレイに表示する際に、複数の支援画像を互いに区別可能な態様により表示画像に重畳して表示する制御を行う表示制御ステップとを備える。
を生成する表示画像生成ステップと、複数の画像信号のそれぞれに基づいて、観察対象が特定の状態である特定領域を示す支援画像を生成する支援画像生成ステップと、表示画像をディスプレイに表示する際に、複数の支援画像を互いに区別可能な態様により表示画像に重畳して表示する制御を行う表示制御ステップとを備える。
【0024】
また、本発明は、画像処理装置用プログラムであって、内視鏡を用いて観察対象を撮像することにより得られる画像信号に画像処理を施す画像処理装置にインストールされる画像処理装置用プログラムにおいて、コンピュータに、内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得する画像取得機能と、少なくとも１つの画像信号に基づいて得られる表示用画像信号を用いて、ディスプレイに表示する表示画像を生成する表示画像生成機能と、複数の画像信号のそれぞれに基づいて、観察対象が特定の状態である特定領域を示す支援画像を生成する支援画像生成機能と、表示画像をディスプレイに表示する際に、複数の支援画像を互いに区別可能な態様により表示画像に重畳して表示する制御を行う表示制御機能とを実現させるための画像処理装置用プログラムである。
【発明の効果】
【0025】
本発明によれば、観察対象の詳細な情報を容易に認識することができる。
【図面の簡単な説明】
【0026】
【図1】内視鏡システムの外観図である。
【図2】内視鏡の操作部の外観図である。
【図3】内視鏡システムの機能を示すブロック図である。
【図4】通常光のスペクトルを示すグラフである。
【図5】第１照明光のスペクトルを示すグラフである。
【図6】第２照明光のスペクトルを示すグラフである。
【図7】第３照明光のスペクトルを示すグラフである。
【図8】照明光パターンを説明する説明図である。
【図9】画像処理部の機能を示すブロック図である。
【図10】表示画像の画像図である。
【図11】特定領域判定部の機能を示すブロック図である。
【図12】第１特定領域を示した支援画像を重畳した表示画像の画像図である。
【図13】第２特定領域を示した支援画像を重畳した表示画像の画像図である。
【図14】第３特定領域を示した支援画像を重畳した表示画像の画像図である。
【図15】複数の支援画像を重畳した表示画像の画像図である。
【図16】異なる形状の図形で表示した複数の支援画像を重畳した表示画像の画像図である。
【図17】支援画像の更新を説明する説明図である。
【図18】特定領域の種類を示す凡例を表示した表示画像の画像図である。
【図19】複数の特定領域が一部重なる場合の表示画像の画像図である。
【図20】複数の特定領域が全部重なる表示画像の画像図である。
【図21】支援画像が文字情報を有する表示画像の画像図である。
【図22】画像処理装置が行う処理の一連の流れを説明するためのフローチャートである。
【図23】診断支援装置を示す説明図である。
【図24】医療業務支援装置を示す説明図である。
【発明を実施するための形態】
【0027】
図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、ディスプレイ１８と、キーボード１９とを備える。内視鏡１２は、観察対象を撮影する。光源装置１４は、観察対象に照射する照明光を発する。プロセッサ装置１６は、内視鏡システム１０のシステム制御を行う。ディスプレイ１８は、内視鏡画像等を表示する表示部である。キーボード１９は、プロセッサ装置１６等への設定入力等を行う入力デバイスである。
【0028】
内視鏡システム１０は、観察モードとして、通常モードと特殊モードと支援モードとの３つのモードを備える。通常モードは、通常光を観察対象に照射して撮像することによって、自然な色合いの通常画像を表示画像としてディスプレイ１８に表示する。特殊モードでは、通常光と波長帯域又は分光スペクトルが異なる特殊光を観察対象に照明して撮像することによって、観察対象の特定の状態を強調した特殊画像を表示画像としてディスプレイ１８に表示する。支援モードでは、通常光を観察対象に照射して撮像することによって得た通常画像を表示画像としてディスプレイ１８に表示する際に、表示画像に支援画像を重畳して表示する。支援画像は、観察対象が特定の状態である特定領域を示す画像である。なお、通常モードにおける表示画像は、強調処理等を行った特殊画像であっても、視認性が良いものであれば、表示画像として用いてもよい。
【0029】
観察対象が特定の状態であるとは、観察対象を撮像した内視鏡画像の画像解析から得られる観察対象の生体情報等の各種の情報が、予め設定した条件を満たすことであり、これにより観察対象の状態が特定のものであるかを判定する。観察対象の生体情報とは、観察対象の全体的または部分的な特性を表す数値等であり、例えば、酸素飽和度、血液濃度、血管密度、または、病変もしくは病変の候補（生体組織検査の対象を含む）等の特定の形態を有する確からしさ、等である。具体的には、例えば、観察対象の血管、腺管、ひだ、ポリープ、もしくは、特定の粘膜等の有無、もしくは、大きさ等の測定による情報、又は発赤等の色、蛍光、がんなどの病変、もしくは、低酸素飽和度等を示す内視鏡画像から得られる情報が、予め設定した範囲にある場合、観察対象が特定の状態であるとする。内視鏡画像から得られる生体情報は、複数用いて観察対象の状態を判定してもよいし、内視鏡画像を用いた機械学習による画像認識技術により、観察対象の状態を判定してもよい。
【0030】
具体的には、例えば、内視鏡画像から得られる情報において、観察対象の表層血管の密集度が特定の値以上である場合、観察対象は表層血管の密集度が高い密の状態にあると判定する。この場合、観察対象における表層血管の密集度が高い密の状態にある領域が特定領域であるから、支援画像は、観察対象における表層血管の密集度が高い密の状態にある領域を示す画像である。支援画像は、観察対象を表示する表示画像に重畳してディスプレイに示すため、観察対象が特定の状態である特定領域を示すことができる。支援モードにおいて、観察対象を表示する表示画像は、通常光画像、又は特殊画像から任意に選択してもよい。本実施形態では、支援モードにおける表示画像は、通常画像である。
【0031】
支援画像は、特定領域を示す。支援画像は、支援用画像信号に基づいて生成することが好ましい。支援用画像信号は複数の種類を有する。支援用画像信号は、観察対象に照射する照明光として各種の特殊光を用いて撮像することにより得る支援用画像信号と、画像信号に対し強調処理等の各種の画像処理を行うことにより得る支援用画像信号とを含む。画像処理を行うことにより得る支援用画像信号は、例えば、撮像して得た画像信号に対し、観察対象における複数の領域の色の差を拡張した色差拡張処理を施した色彩強調画像、及び、コントラストを強調したコントラスト強調画像等を含む。各種の特殊光については後述する。
【0032】
内視鏡１２は、観察対象を有する被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃと、先端部１２ｄとを有している。操作部１２ｂのアングルノブ１２ｅ（図２参照）を操作することにより、湾曲部１２ｃが湾曲する。その結果、先端部１２ｄが所望の方向に向く。また、図２に示すように、操作部１２ｂには、アングルノブ１２ｅの他、処置具挿入口１２ｆ、スコープボタン１２ｇ、及び、ズーム操作部１３が設けられている。処置具挿入口１２ｆは、生検鉗子、スネア、または、電気メス等の処置具を挿入する入り口である。処置具挿入口１２ｆに挿入した処置具は、先端部１２ｄから突出する。スコープボタン１２ｇには各種の操作を割り当てることができ、本実施形態では観察モードを切り替える操作に使用する。ズーム操作部１３を操作することによって、観察対象を拡大または縮小して撮影できる。
【0033】
図３に示すように、光源装置１４は、照明光を発する光源を備える光源部２０と、光源部２０の動作を制御する光源制御部２２とを備える。光源部２０は、観察対象を照明する照明光を発する。照明光には、照明光を発するために使用する励起光等の発光を含む。光源部２０は、例えば、レーザーダイオード、ＬＥＤ(Light Emitting Diode)、キセノンランプ、または、ハロゲンランプの光源を含み、少なくとも、白色の照明光、または、白色の照明光を発するために使用する励起光を発する。白色には、内視鏡１２を用いた観察対象の撮影において実質的に白色と同等な、いわゆる擬似白色を含む。
【0034】
光源部２０は、必要に応じて、励起光の照射を受けて発光する蛍光体、または、照明光または励起光の波長帯域、分光スペクトル、もしくは光量等を調節する光学フィルタ等を含む。この他、光源部２０は、少なくとも狭帯域な光（以下、狭帯域光という）からなる照明光を発することができる。また、光源部２０は、互いに分光スペクトルが異なる複数の照明光を発することができる。複数の照明光は、狭帯域光を含んでも良い。また、光源部２０は、例えば、観察対象が含むヘモグロビンの酸素飽和度等の生体情報を算出するために使用する画像の撮影に必要な、特定の波長帯域又は分光スペクトルを有する光を発することができる。
【0035】
「狭帯域」とは、観察対象の特性及び／またはイメージセンサ４５が有するカラーフィルタの分光特性との関係において、実質的にほぼ単一の波長帯域であることをいう。例えば、波長帯域が例えば約±２０ｎｍ以下（好ましくは約±１０ｎｍ以下）である場合、この光は狭帯域である。
【0036】
本実施形態では、光源部２０は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄの４色のＬＥＤを有する。Ｖ－ＬＥＤ２０ａは、中心波長４０５ｎｍ、波長帯域３８０～４２０ｎｍの紫色光ＶＬを発光する。Ｂ－ＬＥＤ２０ｂは、中心波長４６０ｎｍ、波長帯域４２０～５００ｎｍの青色光ＢＬを発光する。Ｇ－ＬＥＤ２０ｃは、波長帯域が４８０～６００ｎｍに及ぶ緑色光ＧＬを発光する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長帯域が６００～６５０ｎｍに及ぶ赤色光ＲＬを発光する。なお、Ｖ－ＬＥＤ２０ａとＢ－ＬＥＤ２０ｂの中心波長は約±２０ｎｍ、好ましくは約±５ｎｍから約±１０ｎｍ程度の幅を有する。なお、紫色光ＶＬは、特殊光モード又は支援モードにて用いる表層血管の密集、粘膜内出血、及び粘膜外出血を検出するために用いられる短波長の光であり、中心波長又はピーク波長に４１０ｎｍを含めることが好ましい。また、紫色光ＶＬは、狭帯域光であることが好ましい。
【0037】
光源制御部２２は、光源部２０を構成する各光源の点灯または消灯もしくは遮蔽のタイミング、及び、発光量等を制御する。その結果、光源部２０は、分光スペクトルが異なる複数種類の照明光を、予め設定した期間及び発光量で発することができる。本実施形態においては、光源制御部２２は、各ＬＥＤ２０ａ～２０ｄの点灯や消灯、点灯時の発光量、又は光学フィルタの挿抜等を、各々に独立した制御信号を入力することにより、照明光の分光スペクトルを調節する。これにより、光源部２０は白色の照明光、分光スペクトルが異なる複数種類の照明光、又は、少なくとも狭帯域光からなる照明光等を発する。
【0038】
本実施形態では、図４に示すように、光源部２０は、光源制御部２２の制御により、白色の照明光を発する。白色の照明光は、通常光である。通常モード又は支援モードに設定している場合、光源制御部２２は、紫色光ＶＬ、青色光ＢＬ、緑色光ＧＬ、及び赤色光ＲＬ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発するように、各ＬＥＤ２０ａ～２０ｄを制御する。光強度比Ｖｃ：Ｂｃ：Ｇｃ：Ｒｃは、白色の照明光の光量条件に対応する。
【0039】
また、光源部２０は、光源制御部２２の制御により、互いに分光スペクトルが異なる複数の特殊光を発することが好ましい。複数の特殊光により撮像することにより、複数の支援用画像信号を得ることができ、複数の互いに異なる支援画像を得ることができるためである。複数の特殊光は、２種以上のｎ種類であってよい。なお、ｎは整数である。本実施形態では、複数の特殊光は、第１照明光と第２照明光と第３照明光との３種類である。
【0040】
特殊モード及び支援モードに設定している場合、光源制御部２２は、第１照明光として、紫色光ＶＬ、青色光ＢＬ、緑色光ＧＬ、及び赤色光ＲＬ間の光強度比がＶｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１となる特殊光を発するように、各ＬＥＤ２０ａ～２０ｄを制御する。光強度比Ｖｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１は、第１照明光の光量条件に対応する。第１照明光は、表層血管を強調することが好ましい。そのため、第１照明光は、図５に示すように、光強度比を１：０：０：０にして、短波長の狭帯域光としての紫色光ＶＬのみを発する。
【0041】
特殊モード及び支援モードに設定している場合、光源制御部２２は、第２照明光として、紫色光ＶＬ、青色光ＢＬ、緑色光ＧＬ、及び赤色光ＲＬ間の光強度比がＶｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２となる特殊光を発するように、各ＬＥＤ２０ａ～２０ｄを制御する。光強度比Ｖｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２は、第２照明光の光量条件に対応する。第２照明光は、表層血管及びポリープ等の構造を強調することが好ましい。そのため、第２照明光は、紫色光ＶＬの光強度を青色光ＢＬの光強度よりも大きくすることが好ましい。例えば、図６に示すように、紫色光ＶＬの光強度Ｖｓ２と青色光ＢＬの光強度Ｂｓ２との比率を「４：１」とする。
【0042】
特殊モード及び支援モードに設定している場合、光源制御部２２は、第３照明光として、紫色光ＶＬ、青色光ＢＬ、緑色光ＧＬ、及び赤色光ＲＬ間の光強度比がＶｓ３：Ｂｓ３：Ｇｓ３：Ｒｓ３となる特殊光を発するように、各ＬＥＤ２０ａ～２０ｄを制御する。光強度比Ｖｓ３：Ｂｓ３：Ｇｓ３：Ｒｓ３は、第３照明光の光量条件に対応する。第３照明光は、深層血管を強調することが好ましい。そのため、第３照明光は、青色光ＢＬの光強度を紫色光ＶＬの光強度よりも大きくすることが好ましい。例えば、図７に示すように、紫色光ＶＬの光強度Ｖｓ３と青色光ＢＬの光強度Ｂｓ３との比率を「１：３」とする。
【0043】
本実施形態の第１照明光と第２照明光と第３照明光との３種類は、狭帯域光を含む照明光である。なお、本明細書において、光強度比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光ＶＬ、青色光ＢＬ、緑色光ＧＬ、及び赤色光ＲＬ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有するものとする。
【0044】
複数の照明光は、予め設定した順序により繰り返し発光することが好ましい。本実施形態では、通常光と特殊光である第１照明光と第２照明光と第３照明光とは、予め設定した順序により繰り返し発光する。本実施形態では、光源制御部２２は、例えば、図８に示すように、通常光ＣＬを５フレーム（５ＦＬ）続けて発光し、次に、第１照明光１Ｓを１フレーム（１ＦＬ）発光し、再度通常光ＣＬを５フレーム（５ＦＬ）続けて発光し、次に、第２照明光２Ｓを１フレーム（１ＦＬ）発光し、再度通常光ＣＬを５フレーム（５ＦＬ）続けて発光し、次に、第３照明光３Ｓを１フレーム（１ＦＬ）発光する発光順序からなる照明パターンを１周期（１ＣＹ）として、この周期を繰り返す。
【0045】
通常光により照明した観察対象を撮像することにより通常画像となる通常画像信号が得られ、第１照明光により第１画像信号が得られ、第２照明光により第２画像信号が得られ、第３照明光により第３画像信号が得られる。第１照明光と第２照明光と第３照明光とは特殊光であるので、第１画像信号、第２画像信号、及び第３画像信号はそれぞれ特殊画像である。
【0046】
内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮影光学系３０ｂが設けられている（図３参照）。照明光学系３０ａは、照明レンズ４２を有しており、この照明レンズ４２を介して照明光が観察対象に向けて出射する。
【0047】
撮影光学系３０ｂは、対物レンズ４３、ズームレンズ４４、及びイメージセンサ４５を有する。イメージセンサ４５は、対物レンズ４３及びズームレンズ４４を介して、観察対象から戻る照明光の反射光等（反射光の他、散乱光、観察対象が発光する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む）を用いて観察対象を撮影する。ズームレンズ４４は、ズーム操作部１３の操作をすることで移動し、観察対象像を拡大または縮小する。
【0048】
イメージセンサ４５は、画素ごとに、複数色のカラーフィルタのうち１色のカラーフィルタを有する。本実施形態においては、イメージセンサ４５は原色系のカラーフィルタを有するカラーセンサである。具体的には、イメージセンサ４５は、赤色カラーフィルタ（Ｒフィルタ）を有するＲ画素と、緑色カラーフィルタ（Ｇフィルタ）を有するＧ画素と、青色カラーフィルタ（Ｂフィルタ）を有するＢ画素と、を有する。
【0049】
なお、イメージセンサ４５としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４５は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色－原色色変換をすれば、原色系のカラーセンサで得る画像と同様の画像に変換できる。原色系または補色系のセンサにおいて、Ｗ画素（ほぼ全波長帯域の光を受光するホワイト画素）等、上記以外の特性を有する画素を１または複数種類有する場合も同様である。また、本実施形態のイメージセンサ４５はカラーセンサであるが、カラーフィルタを有しないモノクロのセンサを使用してもよい。
【0050】
プロセッサ装置１６には、後述するような制御部５１、画像取得部５２、画像処理部５６、及び表示制御部５７等が行う処理等に関するプログラムがメモリ（図示せず）に組み込まれている。画像処理装置として機能するプロセッサ装置１６が備えるプロセッサにより構成される制御部５１によってそのプログラムが動作することで、制御部５１、画像取得部５２、画像処理部５６、及び表示制御部５７の機能が実現する。
【0051】
制御部５１は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム１０の統括的な制御を行う。キーボード１９等を用いて、各種設定の入力等をした場合には、制御部５１は、その設定を、光源制御部２２、イメージセンサ４５、又は画像処理部５６等の内視鏡システム１０の各部に入力する。
【0052】
画像取得部５２は、イメージセンサ４５から、各色の画素を用いて観察対象を撮影した画像、すなわちＲＡＷ画像を取得する。また、ＲＡＷ画像は、デモザイク処理を実施する前の画像（内視鏡画像）である。デモザイク処理を実施する前の画像であれば、イメージセンサ４５から取得した画像に対してノイズ低減処理等の任意の処理を実施した画像もＲＡＷ画像に含む。
【0053】
画像取得部５２は、取得したＲＡＷ画像に必要に応じて各種処理を施すために、ＤＳＰ（Digital Signal Processor）５３と、ノイズ低減部５４と、変換部５５と、を備える。
【0054】
ＤＳＰ５３は、例えば、オフセット処理部、欠陥補正処理部、デモザイク処理部、リニアマトリクス処理部、及び、ＹＣ変換処理部、等（いずれも図示しない）を備える。ＤＳＰ５３は、これらを用いてＲＡＷ画像またはＲＡＷ画像を用いて生成した画像に対して各種処理を施す。
【0055】
オフセット処理部は、ＲＡＷ画像に対してオフセット処理を施す。オフセット処理は、ＲＡＷ画像から暗電流成分を低減し、正確な零レベルを設定する処理である。オフセット処理は、クランプ処理と称する場合がある。欠陥補正処理部は、ＲＡＷ画像に対して欠陥補正処理を施す。欠陥補正処理は、イメージセンサ４５が製造工程または経時変化に起因する欠陥を有する画素（欠陥画素）を含む場合に、イメージセンサ４５の欠陥画素に対応するＲＡＷ画素の画素値を補正または生成する処理である。
【0056】
デモザイク処理部は、各色のカラーフィルタに対応する各色のＲＡＷ画像に対してデモザイク処理を施す。デモザイク処理は、ＲＡＷ画像においてカラーフィルタの配列に起因して欠落する画素値を補間によって生成する処理である。リニアマトリクス処理部は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像に対してリニアマトリクス処理を行う。リニアマトリクス処理は、内視鏡画像の色再現性を高める処理である。ＹＣ変換処理部が行うＹＣ変換処理は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に変換する処理である。
【0057】
ノイズ低減部５４は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５５は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色のチャンネルを有する内視鏡画像に再変換する。
【0058】
画像処理部５６は、画像取得部５２が出力する内視鏡画像に、必要な画像処理、又は演算を行う。図９に示すように、画像処理部５６は、表示画像生成部６１、強調処理部６２、支援用画像信号取得部６３、特定領域判定部６４、及び支援画像生成部６５を備える。強調処理部６２は、色彩強調部６６、及びコントラスト強調部６７を備える。
【0059】
表示画像生成部６１は、画像取得部５２が出力する内視鏡画像に、ディスプレイ１８に表示するために必要な画像処理を施して、表示画像を生成する。強調処理部６２は、画像取得部５２が出力する内視鏡画像に強調処理を行う。支援用画像信号取得部６３は、支援用画像信号を取得する。支援用画像信号は、強調処理を行った内視鏡画像と、特殊光を用いて撮像した内視鏡画像とを含む。特定領域判定部６４は、支援用画像信号のそれぞれに対し特定領域を判定する処理を行う。支援画像生成部６５は、特定領域を示す支援画像を生成する。
【0060】
表示画像生成部６１は、少なくとも１つの画像信号に基づいて得られる表示用画像信号を用いてディスプレイに表示する表示画像を生成する。本実施形態では、図１０に示すように、表示画像生成部６１は、通常モード及び支援モードにおいて、通常光によって得られる画像信号を表示用画像信号として表示画像を生成し、自然な色合いの通常画像を表示画像６８としてディスプレイ１８に表示する。また、特殊モードに及び支援モードにおいて、特殊光によって得られる画像信号を表示用画像信号として表示画像を生成し、例えば、観察対象の特定の状態が強調された特殊画像をディスプレイ１８に表示する。
【0061】
上記したように、本実施形態では、光源制御部２２により、フレームを単位として特定の照明パターンが繰り返される（図８参照）。フレームは、撮像の単位である。したがって、１フレームにおいて１回の撮像及び画像信号の取得を行う。本実施形態では、通常光によって得られる画像信号から表示画像を生成してディスプレイに表示するため、照明パターンのうち、通常光ＣＬ以外の照明光である第１照明光１Ｓ、第２照明光２Ｓ、及び第３照明光３Ｓの特殊光により得られる画像信号からは表示画像を生成せず、支援画像を生成するための画像信号として用いる。第１照明光１Ｓ、第２照明光２Ｓ、及び第３照明光３Ｓの特殊光を照射するフレームの期間は、直前の通常光によって得られる画像信号による表示画像を続けて表示する。したがって、表示画像はすべて通常光によって得られる画像信号による画像である。
【0062】
強調処理部６２は、画像取得部５２が出力する内視鏡画像に強調処理を行う。強調とは、他の組織または構造等と区別して、特定の部分の情報を得られるようにすることをいう。例えば、特定の特徴を有する部分を、他の部分（例えば正常な粘膜等）に対して相対的に色彩もしくは明るさを変更する等の処理は強調処理である。強調処理部６２が処理を行う内視鏡画像は、通常画像でも特殊画像でもよい。強調処理を行った内視鏡画像は、支援画像を生成するための支援用画像信号として用いる。支援用画像信号は、支援画像を生成するための画像信号である。強調処理部６２は、色彩強調部６６と、コントラスト強調部６７とを備える。本実施形態では、第３照明光により得られる第３画像信号に対し、色彩強調部６６による処理を行って、支援用画像信号とする。
【0063】
色彩強調部６６は、例えば、観察対象における正常な領域と異常な領域との境界が色及び彩度により明瞭に表される内視鏡画像となるように、取得した内視鏡画像に対して強調処理を行う。色彩強調部６６は、取得した内視鏡画像において、色情報変換処理を行う。色情報変換処理は、取得した内視鏡画像について、色空間上に分布する複数の範囲のそれぞれを、変換前の範囲と対応付けられた変換先の範囲に移す処理である。色彩強調部６６により処理された内視鏡画像は、正常な領域と異常な領域との境界が明瞭であるため、より容易に、また、精度良く、異常な領域を特定領域として判定することができる画像である。
【0064】
コントラスト強調部６７は、例えば、観察対象における血管が強調されて表された内視鏡画像となるように、取得した内視鏡画像に対して強調処理を行う。コントラスト強調部６７は、取得した内視鏡画像において、横軸に画素値（輝度値）を、縦軸に頻度を取ったグラフである濃度ヒストグラムを求め、画像処理部５６のメモリ（図示せず）等に予め記憶しておいた階調補正テーブルにより、階調補正を行う。階調補正テーブルは、横軸が入力値を、縦軸が出力値を表し、入力値と出力値の対応関係を示す階調補正カーブを有しており、例えば、略Ｓ字形状の階調補正カーブに基づいて階調補正を行って、取得した内視鏡画像のダイナミックレンジを広げる。これにより、コントラスト強調の強調処理前の原画像において濃度が低い部分は、濃度がより低く、濃度が高い部分はより高くなるようになるため、例えば、血管領域と血管が存在しない領域の濃度差が広がって、血管のコントラストが向上する。したがって、コントラスト強調部６７により処理された内視鏡画像は、血管のコントラストが向上されているため、より容易に、また、精度良く、例えば、血管の密集度が高い領域を特定領域として判定することができる画像である。
【0065】
支援用画像信号取得部６３は、特定領域判定部６４が特定領域を判定する支援用画像信号を取得する。支援用画像信号は、強調処理を行った内視鏡画像と、特殊光を用いて撮像した内視鏡画像とを含む。本実施形態では、支援用画像信号は、第１照明光を用いた第１画像信号と、第２照明光を用いた第２画像信号と、第３照明光を用いた第３画像信号に対して色彩強調部６６が色彩強調処理を行った後の強調処理済の第３画像信号との３種類である。支援用画像信号取得部６３は、画像取得部５２又は強調処理部６２から、これらの支援用画像信号を取得する。
【0066】
特定領域判定部６４は、複数の支援用画像信号のそれぞれにおいて、観察対象が特定の状態である特定領域を判定する。したがって、一つの支援用画像信号において、特定領域を判定し、特定領域があるかどうか、ある場合はその領域を判定する。特定領域を判定するとは、特定領域が無いことを判定する場合を含む。
【0067】
図１１に示すように、特定領域判定部６４は、複数の支援用画像信号のそれぞれに応じた判定処理部を備え、第１判定処理部７１、第２判定処理部７２、第３判定処理部７３等を含む各判定処理部を備える。各判定処理部は、複数の支援用画像信号のそれぞれの種類に応じて、観察対象のどのような特定の状態の特定領域を判定するかが異なる。したがって、特定領域判定部６４は、第１判定処理部７１から、第ｎ判定処理部７４までを備える。
【0068】
本実施形態では、支援用画像信号は、第１画像信号と、第２画像信号と、強調処理済の第３画像信号の３種類である。第１判定処理部７１は、第１画像信号の判定処理を行う。第１画像信号は、第１照明光により表層血管が強調されている。本実施形態では、支援用画像信号が第１画像信号の場合、第１判定処理部７１は、表層血管の不規則度が予め設定した閾値よりも高い領域を判定し、第１特定領域とする。第１照明光により強調された表層血管の不規則度が高い領域は、例えば、観察対象が大腸の場合の潰瘍性大腸炎の炎症度を判定する指標となる。したがって、第１画像信号における第１特定領域は、潰瘍性大腸炎の非寛解領域である。
【0069】
第２判定処理部７２は、第２画像信号の判定処理を行う。第２画像信号は、第２照明光により表層血管及びポリープ等の構造が強調されている。本実施形態では、支援用画像信号が第２画像信号の場合、第２判定処理部７２は、ポリープ等の構造を示す輝度値が高い領域を判定し、第２特定領域とする。第２照明光により強調された輝度値が高い領域は、例えば、観察対象の表層が不規則であるポリープ等が存在することを示すため、がん等の病変を判定する指標となる。したがって、第２画像信号における第２特定領域は、ポリープ等を有するがん等の病変の可能性がある領域である。
【0070】
第３判定処理部７３は、強調処理済の第３画像信号の判定処理を行う。強調処理済の第３画像信号は、第３照明光及び色彩強調部６６による強調処理により、観察対象における正常な領域と異常な領域との境界が色及び彩度により明瞭に表されている。本実施形態では、支援用画像信号が強調処理済の第３画像信号の場合、第３判定処理部７３は、粘膜が異常である領域を第３特定領域とする。第３照明光及び強調処理により、第３画像信号は、例えば、周囲と色が異なるがん等の病変を判定する指標となる。したがって、強調処理済の第３画像信号における第３特定領域は、発赤等を有するがん等の病変の可能性がある領域である。
【0071】
支援画像生成部６５は、特定領域判定部６４により、複数の支援用画像信号のそれぞれにおいて判定された、観察画像における特定領域を示す支援画像を生成する。支援画像は、観察画像上の特定領域が認識できる態様の画像である。
【0072】
複数の支援画像は、同一又は相似の図形により表示することが好ましい。また、支援画像は、特定の領域の面積に対応した面積により表示することが好ましい。したがって、支援画像は、特定領域の大きさに対応して、画像の大きさを変えることができる。支援画像は、具体的には、例えば、観察画像において特定領域を含む箇所を囲む図形の態様の画像である。図１２に示すように、支援画像８１により、第１特定領域は、支援画像８１である正方形の図形で囲まれた領域内にあることが示される。
【0073】
図１３に示すように、支援画像８２により、第２特定領域は、支援画像８２である正方形の図形で囲まれた領域内にあることが示される。支援画像８２の斜線は特定の色を示す。同様に、図１４に示すように、支援画像８３により、第３特定領域は、支援画像８３である正方形の図形で囲まれた領域内にあることが示される。
【0074】
表示制御部５７は、表示画像をディスプレイに表示する際に、複数の支援画像を互いに区別可能な態様により表示画像に重畳して表示する制御を行う。複数の支援画像は、それぞれの支援画像を区別して認識できる態様で表示画像に重畳する。したがって、支援画像のそれぞれを互いに異なる色により表示することができる。例えば、図１５に示すように、表示制御部は、第１特定領域を示す支援画像８１と、第２特定領域を示す支援画像８２と、第３特定領域を示す支援画像８３とを、異なる色により表示画像６８に重畳する制御を行う。
【0075】
以上のとおり、プロセッサ装置１６又は内視鏡システム１０により、通常光による自然な色による内視鏡画像をディスプレイに表示しながら、複数の異なる種類の判定結果をひと目で把握することができる。本実施形態では、第１特定領域を潰瘍性大腸炎の非寛解領域とし、第２特定領域をポリープ等が存在するがん等の病変の可能性がある領域とし、第３特定領域を発赤等が存在するがん等の病変の可能性がある領域としたが、それぞれの特定領域をどのようなＩＥＥに対応させるかは、内視鏡検査の部位又は目的等に応じて予め設定することができる。したがって、例えば、スクリーニングでは、複数の特定領域を、色又は形状等の各種の異常箇所を判定するように設定することにより、一度のスクリーニングにおいて、各種の病変の見逃しを防ぐことができるため、病変の見逃しのみならず、内視鏡検査の時間短縮にもつながる。また、潰瘍性大腸炎の炎症度の判定では、複数の特定領域を、軽症、中等症、又は重症といった炎症度の違いをよりよく判定するように、それぞれ設定することにより、病変のより詳細な分布、又は病状等を一度の内視鏡検査により詳細に把握することができるため、回復、又は悪化の判定等をより精度良く行うことができる。したがって、プロセッサ装置１６又は内視鏡システム１０により、容易に観察対象の詳細な情報を認識することができる。
【0076】
なお、表示制御部５７は、第１特定領域を示す支援画像８１と、第２特定領域を示す支援画像８２と、第３特定領域を示す支援画像８３とを、異なる形状の図形により表示画像６８に重畳する制御を行ってもよい。図１６に示すように、第１特定領域を示す支援画像８１は四角形により、第２特定領域を示す支援画像８２は六角形により、第３特定領域を示す支援画像８３は円形により、示すことができる。この場合、各支援画像の色は、同じとしてもよいし、異なるようにしてもよい。また、各特定領域を一つの図形で示す他に、より小さい図形をちりばめる等の異なる模様により各特定領域を示してもよい。
【0077】
また、表示制御部５７は、支援画像生成部６５が支援画像を生成する毎に、支援画像を表示画像に重畳して表示する制御を行ってもよい。この場合、支援用画像信号取得部６３が、支援用画像信号を取得する毎に、特定領域判定部６４が特定領域を判定し、支援画像生成部６５が、特定領域を示す支援画像を生成する。したがって、例えば、図１７に示すように、本実施形態では、支援用画像信号である第１画像信号が、第１照明光１Ｓにより照明された観察対象を撮像して得た際に、支援画像生成部６５が、第１特定領域を示す支援画像８１を生成する。照明光の１周期（１ＣＹ）において、支援画像８１は一度取得される（図８参照）。取得された支援画像８１は、次の支援画像８１が取得されるまでは継続して表示画像６８に重畳して表示される。支援画像８２又は支援画像８３においても同様に、照明光の１周期（１ＣＹ）において、支援画像８２又は支援画像８３は一度取得され、次の支援画像８２又は支援画像８３が取得されるまでは継続して表示画像６８に重畳して表示される。なお、表示画像は、通常画像が取得され次第、表示画像を更新して表示する。
【0078】
支援画像生成部６５が支援画像を生成する毎に、表示制御部５７は支援画像を表示画像に重畳して表示する制御を行うため、支援画像はリアルタイムに表示される。なお、フレームの期間であるフレームレートは、人の視認能力に対して十分に小さい期間とすることにより、観察対象の多少の動きがあっても、支援画像は観察対象に追随して、ほぼリアルタイムに表示される。具体的には、例えば、３種類のＩＥＥからなる３種の支援画像を重畳する場合、６フレーム毎に支援用画像信号を取得する際は、照明光の１周期（１ＣＹ）は１８フレームであり、１８フレーム毎に観察対象における特定の領域を示す支援画像の位置等が更新される。したがって、ほぼリアルタイムに支援画像が表示される。
【0079】
また、表示制御部５７は、支援画像と強調処理又は支援画像用照明光との関連付けを示す凡例表示をディスプレイに表示する制御を行ってもよい。支援画像は、支援用画像信号に基づいて生成し、支援用画像信号は、観察対象に照射する照明光として各種の特殊光を用いて撮像することにより得る支援用画像信号と、画像信号に対し強調処理等の各種の画像処理を行うことにより得る支援用画像信号とを含む。したがって、支援画像が、特殊光を用いて撮像することによる支援用画像信号であるか、強調処理等を行った支援用画像信号であるかが、容易に把握することができることが好ましい。
【0080】
例えば、図１８に示すように、本実施形態では、第１特定領域を示す支援画像８１は第１照明光により得られ、第２特定領域を示す支援画像８２は第２照明光により得られ、第３特定領域を示す支援画像８３は強調処理済の第３支援画像により得られる。したがって、支援画像８１と同じ色により第１照明光によるＩＥＥを示す「照明光１」と、支援画像８２と同じ色により第２照明光によるＩＥＥを示す「照明光２」と、支援画像８３と同じ色により強調処理によるＩＥＥを示す「色彩強調」とを、表示画像の右下に、支援画像の凡例表示９１として表示することができる。
【0081】
支援画像がどのようなＩＥＥにより得られたものかを凡例として表示することにより、支援画像が表示された際に、どのような病変等が検出されたかを容易に把握することができる。また、凡例表示９１により、表示画像が通常画像であるから、観察対象に病変等が存在せず、支援画像が一つも表示されない場合でも、現在どのようなＩＥＥが行われているのか、すなわち、例えば、照明光の１周期（１ＣＹ）において、どのような種類の特殊光による照明光が用いられているのかを把握することができる。したがって、凡例表示９１は、内視鏡検査において、その時点でおこなわれているＩＥＥが何であるかを示す表示としても有用である。
【0082】
また、図１９に示すように、観察対象において、複数の特定領域が重なる領域があった場合は、支援画像８２と支援画像８３とを重複して表示してもよい。また、図２０に示すように、観察対象において、複数の特定領域の面積が同じである場合は、支援画像８２と支援画像８３とを区別可能な態様で表示する。
【0083】
観察対象において、複数の特定領域が重なる、又は、複数の特定領域の面積が同じである場合に、支援画像を区別可能な態様で表示することにより、観察対象におけるより詳細な情報を得ることができる。例えば、ポリープ等の構造が判定された特定領域と、表層血管の密集度が高い領域が判定された特定領域との、２つの特定領域が重なった箇所は、がんの病変である可能性が高いとの知見がある場合、これらの２つの特定領域が重なることが容易に認識でき、よりよい精度で判定をすることができる。したがって、複数の特定領域が重複した場合に観察対象が特定の状態の病変である等の知見がある場合は、目的に応じて、特定領域を判定する支援用画像信号の設定を行うことにより、観察対象において、所望の特定の状態である領域が支援画像により示されるため好ましい。
【0084】
なお、１つの種類の特定領域を判定するために、１つの画像信号を用いる場合に限らず、１つの種類の特定領域を判定するために、２つ以上の画像信号を用いてもよい。例えば、観察対象において、低酸素飽和度の領域を特定領域とする場合等、２つ以上の画像信号を用いて判定してもよい。１つの種類の特定領域を判定するために、２つ以上の画像信号を用いることにより、特定領域が示す観察対象の特定の状態の種類が多くなるため好ましい。
【0085】
なお、特定領域を示す支援画像は、文字情報を有するものであってもよい。文字情報は、特定領域の判定結果等を文字で表示した情報である。例えば、図２１に示すように、支援画像８１は「ＵＣ重症度：軽症」との文字情報９２を有する。文字情報９２は、支援画像８１が示す観察対象の特定の状態が、潰瘍性大腸炎（ｕｌｃｅｒａｔｉｖｅ ｃｏｌｉｔｉｓ）の軽症と判定されたことを文字で示した情報である。なお、ＵＣ重症度は、炎症の強さの状態を重症、中等症、及び軽症の３つに分けて示したものである。また、支援画像８２は、「ポリープ：Φ２ｍｍ」との文字情報９３を有する。支援画像８２が示す観察対象の特定の状態が、ポリープであり、その直径が２ｍｍであると判定されたことを文字で示した情報である。また、支援画像８３は「がん疑い率：３０％」との文字情報９４を有する。文字情報９４は、支援画像８３が示す観察対象の特定の状態が、がんの疑いがあり、その確率であるがんの疑い率が３０％であると判定されたことを文字で示した情報である。支援画像が文字情報を有することにより、より詳しい支援情報を表示することができる。
【0086】
次に、画像処理装置であるプロセッサ装置１６又は内視鏡システム１０が行う処理の一連の流れについて、図２２に示すフローチャートに沿って説明を行う。観察を開始すると、所定の照明光パターン（図８参照）に従って、予め設定した順序により照明光が発せられる。まず、照明光が通常光であり、通常画像が取得される（ステップＳＴ１１０）。通常光による通常画像は、表示画像としてディスプレイに表示する（ステップＳＴ１２０）。次に、照明光が第１照明光となり、第１画像信号が取得される（ステップＳＴ１３０）。第１画像信号に基づき、第１特定領域が判定され、第１特定領域を示す支援画像が表示画像に重畳され、支援画像が付された表示画像が表示される（ステップＳＴ１４０）。次に照明光が通常光となり、通常画像が取得される（ステップＳＴ１５０）。通常光による通常画像は、表示画像としてディスプレイに表示する（ステップＳＴ１６０）。次に、照明光が第２照明光となり、第２画像信号が取得される（ステップＳＴ１７０）。第２画像信号に基づき、第２特定領域が判定され、第２特定領域を示す支援画像が表示画像に重畳され、支援画像が付された表示画像が表示される（ステップＳＴ１８０）。次に照明光が通常光となり、通常画像が取得される（ステップＳＴ１９０）。通常光による通常画像は、表示画像としてディスプレイに表示する（ステップＳＴ２００）。
【0087】
次に、照明光が第３照明光となり、第３画像信号が取得される（ステップＳＴ２１０）。第３画像信号に対し、強調処理が行われる（ステップＳＴ２２０）。強調処理済の第３画像信号に基づき、第３特定領域が判定され、第３特定領域を示す支援画像が表示画像に重畳され、支援画像が付された表示画像が表示される（ステップＳＴ２３０）。
【0088】
上記実施形態及び変形例等においては、プロセッサ装置１６が画像処理装置として機能するが、プロセッサ装置１６とは別に、画像処理部５６を含む画像処理装置を設けてもよい。この他、図２３に示すように、画像処理部５６は、例えば内視鏡システム１０から直接的に、または、ＰＡＣＳ（Picture Archiving and Communication Systems）９１０か
ら間接的に、内視鏡１２で撮影したＲＡＷ画像を取得する診断支援装置９１１に設けることができる。また、図２４に示すように、内視鏡システム１０を含む、第１検査装置９２１、第２検査装置９２２、…、第Ｋ検査装置９２３等の各種検査装置と、ネットワーク９２６を介して接続する医療業務支援装置９３０に、画像処理部５６を設けることができる。
ら間接的に、内視鏡１２で撮影したＲＡＷ画像を取得する診断支援装置９１１に設けることができる。また、図２４に示すように、内視鏡システム１０を含む、第１検査装置９２１、第２検査装置９２２、…、第Ｋ検査装置９２３等の各種検査装置と、ネットワーク９２６を介して接続する医療業務支援装置９３０に、画像処理部５６を設けることができる。
【0089】
上記各実施形態及び変形例は、その一部または全部を任意に組み合わせて実施することができる。また、上記各実施形態及び変形例においては、内視鏡１２は可撓性の挿入部１２ａを有するいわゆる軟性内視鏡を用いているが、観察対象が嚥下して使用するカプセル型の内視鏡、外科手術等に使用する硬性内視鏡（腹腔鏡）を用いる場合も本発明は好適である。
【0090】
上記実施形態及び変形例等は、プロセッサを備える画像処理装置の作動方法であって、内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得する画像取得ステップと、少なくとも１つの前記画像信号に基づいて得られる表示用画像信号を用いて、ディスプレイに表示する表示画像を生成する表示画像生成ステップと、複数の画像信号のそれぞれに基づいて、観察対象が特定の状態である特定領域を画定して示す支援画像を生成する支援画像生成ステップと、表示画像を前記ディスプレイに表示する際に、複数の支援画像を互いに区別可能な態様により表示画像に重畳して表示する制御を行う表示制御ステップとを備える画像処理装置の作動方法を含む。
【0091】
また、上記実施形態及び変形例等は、内視鏡を用いて観察対象を撮像することにより得られる画像信号に画像処理を施す画像処理装置にインストールされる画像処理装置用プログラムにおいて、コンピュータに、内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得する画像取得機能と、少なくとも１つの画像信号に基づいて得られる表示用画像信号を用いて、ディスプレイに表示する表示画像を生成する表示画像生成機能と、複数の画像信号のそれぞれに基づいて、観察対象が特定の状態である特定領域を画定して示す支援画像を生成する支援画像生成機能と、表示画像をディスプレイに表示する際に、複数の支援画像を互いに区別可能な態様により表示画像に重畳して表示する制御を行う表示制御機能とを実現させるための画像処理装置用プログラムを含む。
【0092】
上記実施形態において、プロセッサ装置１６に含まれる制御部５１、画像取得部５２、ＤＳＰ５３、ノイズ低減部５４、変換部５５、画像処理部５６、及び表示制御部５７といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0093】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【0094】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
【0095】
なお、本発明は、内視鏡画像を取得等する内視鏡システム、プロセッサ装置、その他関連する装置等の他に、内視鏡画像以外の医療画像（動画を含む）を取得するシステムまたは装置等においても利用できる。例えば、本発明は、超音波検査装置、Ｘ線画像撮影装置（ＣＴ（Computed Tomography）検査装置及びマンモグラフィ装置等を含む）、ＭＲＩ（magnetic resonance imaging）装置、等に適用できる。
【符号の説明】
【0096】
１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ 処置具挿入口
１２ｇ スコープボタン
１３ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ ディスプレイ
１９ キーボード
２０ 光源部
２０ａ Ｖ－ＬＥＤ
２０ｂ Ｂ－ＬＥＤ
２０ｃ Ｇ－ＬＥＤ
２０ｄ Ｒ－ＬＥＤ
２２ 光源制御部
３０ａ 照明光学系
３０ｂ 撮影光学系
４１ ライトガイド
４２ 照明レンズ
４３ 対物レンズ
４４ ズームレンズ
４５ イメージセンサ
５１ 制御部
５２ 画像取得部
５３ ＤＳＰ
５４ ノイズ低減部
５５ 変換部
５６ 画像処理部
５７ 表示制御部
６１ 表示画像生成部
６２ 強調処理部
６３ 支援用画像信号取得部
６４ 特定領域判定部
６５ 支援画像生成部
６６ 色彩強調部
６７ コントラスト強調部
６８ 表示画像
７１ 第１判定処理部
７２ 第２判定処理部
７３ 第３判定処理部
７４ 第ｎ判定処理部
８１、８２、８３ 支援画像
９１ 凡例表示
９２、９３、９４ 文字表示
９１０ ＰＡＣＳ
９１１ 診断支援装置
９２１ 第１検査装置
９２２ 第２検査装置
９２３ 第Ｋ検査装置
９２６ ネットワーク
９３０ 医療業務支援装置
ＳＴ１１０～ＳＴ２３０ ステップ
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ 処置具挿入口
１２ｇ スコープボタン
１３ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ ディスプレイ
１９ キーボード
２０ 光源部
２０ａ Ｖ－ＬＥＤ
２０ｂ Ｂ－ＬＥＤ
２０ｃ Ｇ－ＬＥＤ
２０ｄ Ｒ－ＬＥＤ
２２ 光源制御部
３０ａ 照明光学系
３０ｂ 撮影光学系
４１ ライトガイド
４２ 照明レンズ
４３ 対物レンズ
４４ ズームレンズ
４５ イメージセンサ
５１ 制御部
５２ 画像取得部
５３ ＤＳＰ
５４ ノイズ低減部
５５ 変換部
５６ 画像処理部
５７ 表示制御部
６１ 表示画像生成部
６２ 強調処理部
６３ 支援用画像信号取得部
６４ 特定領域判定部
６５ 支援画像生成部
６６ 色彩強調部
６７ コントラスト強調部
６８ 表示画像
７１ 第１判定処理部
７２ 第２判定処理部
７３ 第３判定処理部
７４ 第ｎ判定処理部
８１、８２、８３ 支援画像
９１ 凡例表示
９２、９３、９４ 文字表示
９１０ ＰＡＣＳ
９１１ 診断支援装置
９２１ 第１検査装置
９２２ 第２検査装置
９２３ 第Ｋ検査装置
９２６ ネットワーク
９３０ 医療業務支援装置
ＳＴ１１０～ＳＴ２３０ ステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】