(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-13
(45)【発行日】2022-10-21
(54)【発明の名称】内視鏡装置、内視鏡装置の作動方法及びプログラム
(51)【国際特許分類】
A61B 1/00 20060101AFI20221014BHJP
A61B 1/045 20060101ALI20221014BHJP
【ＦＩ】
A61B1/00 513
A61B1/045 610
A61B1/045 617
【請求項の数】
13
(21)【出願番号】P 2021506874
(86)(22)【出願日】2019-03-19
(86)【国際出願番号】 JP2019011330
(87)【国際公開番号】W WO2020188727
(87)【国際公開日】2020-09-24
【審査請求日】2021-09-08
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(74)【代理人】
【識別番号】100166523
【弁理士】
【氏名又は名称】西河 宏晃
(72)【発明者】
【氏名】高橋 順平
(72)【発明者】
【氏名】弘田 昌士
(72)【発明者】
【氏名】森田 恵仁
【審査官】増渕 俊仁
(56)【参考文献】
【文献】国際公開第２０１３／１４５４０８（ＷＯ，Ａ１）
【文献】特開２０１１－２１８０９０（ＪＰ，Ａ）
【文献】国際公開第２０１２／０８１２９７（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１７／００２７４２８（ＵＳ，Ａ１）
【文献】藤本 愛，堀井城一朗，前畑忠輝，後藤 修，落合康利，西澤俊宏，相良誠二，飽本哲兵，佐々木 基，浦岡俊夫，矢作直久，Dual Red Imagingの内視鏡治療における可能性，消化器内視鏡，2016年，Vol. 28, No. 3，pp. 480-483，ISSN:0915-3217
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００－１／３２
(57)【特許請求の範囲】
【請求項1】
少なくとも第１の光と第２の光を順次又は同時に照明光として発生する光源部、及び画像信号を出力する撮像部に接続可能であり、前記画像信号に基づいて表示画像を生成し表示装置に出力する処理部を含み、前記第１の光は、ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の１つ目の極大値となる波長との間にピーク波長を有する狭帯域光であり、
前記第２の光は、青色領域又は緑色領域に属する光であり、
前記画像信号は、前記第１の光に対応した第１画像信号と、前記第２の光に対応した第２画像信号とを含み、
前記処理部は、
前記画像信号に基づいて画像内に特定被写体として粘膜下層領域又は出血領域が含まれるか否かの少なくとも一方を判定し、
前記粘膜下層領域が含まれる場合は、
前記粘膜下層領域を含む画像領域において、前記第１画像信号に対する前記第２画像信号の合成割合を高める変換処理を行い、前記合成後の画像信号をＧチャンネルに割り当てることで、前記特定被写体の強調処理を行い、前記強調処理後の画像を表示画像として出力し、
前記出血領域が含まれる場合は、
前記出血領域を含む画像領域において、前記第２画像信号に対する前記第１画像信号の合成割合を高める変換処理を行い、前記合成後の画像信号を前記Ｇチャンネルに割り当てることで、前記特定被写体の強調処理を行い、前記強調処理後の画像を前記表示画像として出力することを特徴とする内視鏡装置。
【請求項2】
請求項１において、前記特定被写体として粘膜下層領域が含まれる場合、
前記処理部は、
前記画像内に前記粘膜下層領域が含まれると判定した場合に、前記粘膜下層領域を含む前記画像領域において、前記第２画像信号の高周波成分を前記Ｇチャンネルに合成することを特徴とする内視鏡装置。
【請求項3】
請求項２において、前記特定被写体として粘膜下層領域が含まれる場合、
前記処理部は、
色相及び彩度の少なくとも一方に基づいて、インジゴカルミンの濃度が所定値よりも高い領域を判定し、前記インジゴカルミンの濃度が前記所定値よりも高いと判定した領域において前記高周波成分の合成割合を高めることを特徴とする内視鏡装置。
【請求項4】
請求項１において、前記特定被写体として粘膜下層領域が含まれる場合、
前記処理部は、
前記画像内に前記粘膜下層領域が含まれると判定した場合に、前記粘膜下層領域を含む前記画像領域において、前記第２画像信号の信号値に応じて色相及び彩度の少なくとも一方を変化させる前記変換処理を行うことを特徴とする内視鏡装置。
【請求項5】
請求項１において、前記特定被写体として粘膜下層領域が含まれる場合、
前記処理部は、
色相及び彩度の少なくとも一方に基づいて、インジゴカルミンの濃度が所定値よりも高い領域を、前記粘膜下層領域と判定することを特徴とする内視鏡装置。
【請求項6】
請求項１において、前記特定被写体として粘膜下層領域が含まれる場合、
前記処理部は、
色相及び彩度の少なくとも一方に基づいて、ヘモグロビンの濃度が所定値よりも低い領域を、前記粘膜下層領域と判定することを特徴とする内視鏡装置。
【請求項7】
請求項１において、前記処理部は、
前記画像内に前記出血領域が含まれると判定した場合に、前記出血領域を含む前記画像領域において、前記第１画像信号の信号値に応じて色相及び彩度の少なくとも一方を変化させる前記変換処理を行うことを特徴とする内視鏡装置。
【請求項8】
請求項１において、前記特定被写体として出血領域が含まれる場合、
前記処理部は、
色相及び彩度の少なくとも一方に基づいて、ヘモグロビンの濃度が所定値よりも高い領域を、前記出血領域と判定することを特徴とする内視鏡装置。
【請求項9】
請求項１において、前記特定被写体として出血領域が含まれる場合、
前記処理部は、
前記表示画像のＧチャンネルに前記第１画像信号を割り当てるか前記第２画像信号を割り当てるかに応じて、前記画像内に前記特定被写体が含まれるか否かの判定条件を変更することを特徴とする内視鏡装置。
【請求項10】
請求項１において、
前記光源部、及び前記撮像部を含むことを特徴とする内視鏡装置。
【請求項11】
請求項１において、
前記処理部は、
前記粘膜下層領域が含まれるか否かの判定、および、前記出血領域が含まれるか否かの判定の両方をすることを特徴とする内視鏡装置。
【請求項12】
第１の光は、ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の１つ目の極大値となる波長との間にピーク波長を有する狭帯域光であり、第２の光は、青色領域又は緑色領域に属する光であるとき、少なくとも前記第１の光と前記第２の光を順次又は同時に照明光として発生し、
前記照明光が照射された被写体からの戻り光を撮像することで、前記第１の光に対応した第１画像信号と前記第２の光に対応した第２画像信号とを含む画像信号を取得し、
前記画像信号に基づいて画像内に特定被写体として粘膜下層領域又は出血領域が含まれるか否かの少なくとも一方を判定し、
前記粘膜下層領域が含まれる場合、
前記粘膜下層領域を含む画像領域において、前記第１画像信号に対する前記第２画像信号の合成割合を高める変換処理を行い、前記合成後の画像信号をＧチャンネルに割り当てることで、前記特定被写体の強調処理を行い、前記強調処理後の画像を表示画像として出力し、
前記出血領域が含まれる場合、
前記出血領域を含む画像領域において、前記第２画像信号に対する前記第１画像信号の合成割合を高める変換処理を行い、前記合成後の画像信号を前記Ｇチャンネルに割り当てることで、前記特定被写体の強調処理を行い、前記強調処理後の画像を前記表示画像として出力すること
の少なくとも一方を実施する、内視鏡装置の作動方法。
【請求項13】
第１の光は、ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の１つ目の極大値となる波長との間にピーク波長を有する狭帯域光であり、第２の光は、青色領域又は緑色領域に属する光であるとき、少なくとも前記第１の光と前記第２の光を順次又は同時に照明光として発生し、
前記照明光が照射された被写体からの戻り光を撮像することで、前記第１の光に対応した第１画像信号と前記第２の光に対応した第２画像信号とを含む画像信号を取得し、
前記画像信号に基づいて画像内に特定被写体として粘膜下層領域又は出血領域が含まれるか否かの少なくとも一方を判定し、
前記粘膜下層領域が含まれる場合、
前記粘膜下層領域を含む画像領域において、前記第１画像信号に対する前記第２画像信号の合成割合を高める変換処理を行い、前記合成後の画像信号をＧチャンネルに割り当てることで、前記特定被写体の強調処理を行い、前記強調処理後の画像を表示画像として出力し、
前記出血領域が含まれる場合、
前記出血領域を含む画像領域において、前記第２画像信号に対する前記第１画像信号の合成割合を高める変換処理を行い、前記合成後の画像信号を前記Ｇチャンネルに割り当てることで、前記特定被写体の強調処理を行い、前記強調処理後の画像を表示画像として表示装置に出力する、ステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡装置、内視鏡装置の作動方法及びプログラム等に関する。
【背景技術】
【0002】
内視鏡を用いて早期癌を切除するＥＳＤ（Endoscopic Submucosal Dissection）が行われている。ＥＳＤでは、筋層と粘膜下層の境界を視認し、粘膜下層を切開することで粘膜上の早期癌を切除する。例えば特許文献１には、ＥＳＤにおいて粘膜切除時に出血を生じた場合、ＤＲＩ（Dual Red Imaging）観察を用いることで、出血点の視認が容易になることが開示されている。ＤＲＩ観察は、アンバー光と赤色光を含む照明光を用いた観察手法である。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第２０１３／１４５４０７号
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のように、ＤＲＩ観察を用いることで出血点の視認性が向上する。しかし、早期癌などの病変において粘膜下層が繊維化を伴っている場合があり、そのような線維化症例では、ＤＲＩ観察における筋層と線維化層の識別がＷＬＩ（White Light Imaging）観察に比べて困難になるという課題がある。例えば、ＥＳＤにおいて粘膜下層を切開する際に出血が予想される。このとき、出血点の視認性を上げるためにＤＲＩ観察を用いたいが、繊維化を伴った粘膜下層と筋層との境界を識別することが困難となるという課題がある。
【課題を解決するための手段】
【0005】
本発明の一態様は、少なくとも第１の光と第２の光を順次又は同時に照明光として発生する光源部と、前記照明光が照射された被写体からの戻り光を撮像することで、画像信号を出力する撮像部と、前記画像信号に基づいて表示画像を生成し、前記表示画像を表示装置に出力する処理部と、を含み、前記第１の光は、ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の１つ目の極大値となる波長との間にピーク波長を有する狭帯域光であり、前記第２の光は、青色領域又は緑色領域に属する光であり、前記画像信号は、前記第１の光に対応した第１画像信号と、前記第２の光に対応した第２画像信号とを含み、前記処理部は、前記画像信号に基づいて画像内に特定被写体が含まれるか否かを判定し、前記画像内に前記特定被写体が含まれると判定した場合に、前記特定被写体を含む画像領域に対して、前記第１画像信号又は前記第２画像信号を用いた色又は輝度の変換処理を行うことで、前記特定被写体の強調処理を行い、前記強調処理後の画像を前記表示画像として出力する内視鏡装置に関係する。
【0006】
また本発明の他の態様は、第１の光は、ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の１つ目の極大値となる波長との間にピーク波長を有する狭帯域光であり、第２の光は、青色領域又は緑色領域に属する光であるとき、少なくとも前記第１の光と前記第２の光を順次又は同時に照明光として発生し、前記照明光が照射された被写体からの戻り光を撮像することで、前記第１の光に対応した第１画像信号と前記第２の光に対応した第２画像信号とを含む画像信号を取得し、前記画像信号に基づいて画像内に特定被写体が含まれるか否かを判定し、前記画像内に前記特定被写体が含まれると判定した場合に、前記特定被写体を含む画像領域に対して、前記第１画像信号又は前記第２画像信号を用いた色又は輝度の変換処理を行うことで、前記特定被写体の強調処理を行い、前記強調処理後の画像を表示画像として表示装置に出力する、内視鏡装置の作動方法に関係する。
【0007】
また本発明の更に他の態様は、第１の光は、ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の１つ目の極大値となる波長との間にピーク波長を有する狭帯域光であり、第２の光は、青色領域又は緑色領域に属する光であるとき、少なくとも前記第１の光と前記第２の光を順次又は同時に照明光として発生し、前記照明光が照射された被写体からの戻り光を撮像することで、前記第１の光に対応した第１画像信号と前記第２の光に対応した第２画像信号とを含む画像信号を取得し、前記画像信号に基づいて画像内に特定被写体が含まれるか否かを判定し、前記画像内に前記特定被写体が含まれると判定した場合に、前記特定被写体を含む画像領域に対して、前記第１画像信号又は前記第２画像信号を用いた色又は輝度の変換処理を行うことで、前記特定被写体の強調処理を行い、前記強調処理後の画像を表示画像として表示装置に出力する、ステップをコンピュータに実行させるプログラムに関係する。
【図面の簡単な説明】
【0008】
【図1】本実施形態の内視鏡装置の構成例。
【図2】ＷＬＩモードにおける照明光の分光特性例。
【図3】ＤＲＩモードにおける照明光の分光特性例。
【図4】ＥＳＤの手順を説明する図。
【図5】ＥＳＤにおいて粘膜下層を切開する際の内視鏡画像の例。
【図6】内視鏡装置が行う処理の手順を示すフローチャート。
【図7】表示画像内に特定被写体が存在するか否かを判定するときの詳細な手順を示すフローチャート。
【図8】ＷＬＩモードと判定された場合の強調処理の手順を示すフローチャート。
【図9】ＷＬＩモードにおける強調処理を説明する図。
【図10】ＤＲＩモードと判定された場合の強調処理の手順を示すフローチャート。
【図11】ＤＲＩモードにおける強調処理を説明する図。
【図12】ＤＲＩモードにおける強調処理の変形例を説明する図。
【発明を実施するための形態】
【0009】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0010】
１．内視鏡装置
図１は、本実施形態の内視鏡装置１００の構成例である。内視鏡装置１００は、制御装置１０と光源部２０と撮像部３０と表示部４０と操作部５０とを含む。内視鏡装置としては、例えば下部消化管に用いられる軟性鏡を想定できるが、これに限定されず、上部消化管に用いられる軟性鏡、或いは外科手術等に用いられる硬性鏡であってもよい。
図１は、本実施形態の内視鏡装置１００の構成例である。内視鏡装置１００は、制御装置１０と光源部２０と撮像部３０と表示部４０と操作部５０とを含む。内視鏡装置としては、例えば下部消化管に用いられる軟性鏡を想定できるが、これに限定されず、上部消化管に用いられる軟性鏡、或いは外科手術等に用いられる硬性鏡であってもよい。
【0011】
撮像部３０は、スコープの先端に設けられ、被写体像を撮像する装置である。撮像部３０は、被写体を結像する対物レンズと、その結像された被写体像を撮像するイメージセンサーと、を含む。イメージセンサーは画像信号を制御装置１０へ出力する。イメージセンサーは、モノクロイメージセンサーであってもよいし、或いは、ベイヤ原色フィルター又は補色フィルターが設けられたカラーイメージセンサーであってもよい。
【0012】
内視鏡装置１００は、白色光画像を表示するＷＬＩ（White Light Imaging）モードと、ＤＲＩ（Dual Red Imaging）画像を表示するＤＲＩモードとを有する。例えば、操作部５０からの入力情報に基づいてＷＬＩモード又はＤＲＩモードに設定される。
【0013】
【0014】
図２に示すように、ＷＬＩモードにおいて光源部２０は青色光ＬＢと緑色光ＬＧと赤色光ＬＲとを出射する。青色光ＬＢは、可視光を３原色に分割したときの青色領域に属する光であり、例えば波長帯域４５０～５００ｎｍである。緑色光ＬＧは、可視光を３原色に分割したときの緑色領域に属する光であり、例えば波長帯域５００～５７０ｎｍである。赤色光ＬＲは、可視光を３原色に分割したときの赤色領域に属する光であり、例えば波長帯域５７０～７００ｎｍである。
【0015】
図３に示すように、ＤＲＩモードにおいて光源部２０はＤＲＩ用緑色光ＬＧ２とアンバー狭帯域光ＬＡと赤色狭帯域光ＬＲ２とを出射する。なお以下では、ＬＧ２、ＬＡ、ＬＲ２を単に緑色光、アンバー光、赤色光とも呼ぶ。緑色光ＬＧ２は、緑色領域に属する光であり、ＷＬＩモードの緑色光ＬＧよりも狭い波長帯域を有し、例えばピーク波長５４０ｎｍである。アンバー光ＬＡは、ピーク波長６００ｎｍの狭帯域光である。赤色光ＬＲ２は、ピーク波長６３０ｎｍの狭帯域光である。狭帯域光は、可視光の波長帯域を３原色に分割したときの各色領域よりも狭い帯域の光である。狭帯域光の帯域幅は例えば数１０ｎｍである。
【0016】
【0017】
また、アンバー光ＬＡのピーク波長は、赤色領域においてヘモグロビン吸光係数ＨＡＣが急峻に変化する所定の波長範囲に属していればよい。即ち、ヘモグロビン吸光係数ＨＡＣが極小値となる７３０ｎｍ付近と、その短波長側においてヘモグロビン吸光係数ＨＡＣが最初に極大値となる５７６ｎｍとの間に、アンバー光ＬＡのピーク波長があればよい。より好ましくは、アンバー光ＬＡのピーク波長は、５８５ｎｍ～６１５ｎｍの範囲に属していればよい。
【0018】
また、赤色光ＬＲ２のピーク波長は、ヘモグロビン吸光係数ＨＡＣが低い波長帯域に属していればよい。具体的には、赤色光ＬＲ２のピーク波長は、６１０ｎｍ～７３０ｎｍの範囲に属していればよい。
【0019】
光源部２０は、例えば、ＬＢ、ＬＧ、ＬＲ、ＬＧ２、ＬＡ、ＬＲ２をそれぞれ発生する第１～第６の発光素子を含む。そして、第１～第６の発光素子のうち、各モードに対応した発光素子が発光することで、各モードの照明光が出射される。発光素子は、例えばＬＥＤ（Light Emitting Diode）又はＬＤ（Laser Diode）である。或いは、光源部２０は、キセノンランプ等の白色光源と、ＬＢ、ＬＧ、ＬＲ、ＬＧ２、ＬＡ、ＬＲ２をそれぞれ通過する第１～第６の光学フィルターと含んでもよい。そして、第１～第６の光学フィルターのうち、各モードに対応した光学フィルターが光路に挿入されることで、各モードの照明光が出射される。照明光は光ファイバー等によりスコープ先端に導光され、その導光された照明光が照明レンズにより拡散されることで被写体に照射される。照明レンズは、スコープの先端に設けられる。
【0020】
光源部２０は、上記複数色の照明光を順次又は同時に発生する。まず、モノクロイメージセンサーを用いる場合を説明する。ＷＬＩモードでは、光源部２０はＬＢ、ＬＧ、ＬＲをそれぞれ第１～第３タイミングで順次に発光し、撮像部３０は、各タイミングにおいて画像を撮像する。ＤＲＩモードでは、光源部２０はＬＧ２、ＬＡ、ＬＲ２をそれぞれ第１～第３タイミングで順次に発光し、撮像部３０は、各タイミングにおいて画像を撮像する。次に、カラーイメージセンサーを用いる場合を説明する。ＷＬＩモードでは、光源部２０はＬＢ、ＬＧ、ＬＲを同時に発光し、撮像部３０は、その発光タイミングにおいて画像を撮像する。ＤＲＩモードでは、光源部２０はＬＧ２とＬＲ２を第１タイミングで発光し、ＬＡを第２タイミングで発光する。又は光源部２０はＬＧ２とＬＡを第１タイミングで発光し、ＬＲ２を第２タイミングで発光する。撮像部３０は、各タイミングにおいて画像を撮像する。
【0021】
なお、後述するように、ＷＬＩモードの強調処理においてアンバー光ＬＡで撮像した画像を用いる。この場合、ＷＬＩモードにおいて光源部２０はＬＢ、ＬＧ、ＬＡ、ＬＲを順次又は同時に発光させる。また、ＤＲＩモードの強調処理において緑色光ＬＧで撮像した画像を用いてもよい。この場合、ＤＲＩモードにおいて光源部２０はＬＧ、ＬＧ２、ＬＡ、ＬＲ２を順次又は同時に発光させる。
【0022】
制御装置１０は、内視鏡装置１００の各部を制御したり、画像処理等の種々の信号処理を行ったりする。制御装置１０は、内視鏡装置１００の本体部又はプロセッサ部とも呼ばれる。制御装置１０は、記憶部１１と制御部１２と処理部１３とを含む。
【0023】
記憶部１１は、内視鏡装置１００の動作設定情報を記憶したり、或いは、画像又は動画を記録したり、或いは、処理部１３のワーキングメモリーとして機能したりする。記憶部１１は、揮発性記憶装置及び不揮発性記憶装置を含むことができ、例えば半導体メモリ或いはハードディスクドライブ、光学ディスクドライブ等を含む。
【0024】
制御部１２は、内視鏡装置１００の各部を制御する。例えば、ユーザーが操作部５０を介して入力した情報に基づいて、ＷＬＩモード又はＤＲＩモードを設定し、そのモード設定信号を光源部２０と処理部１３に出力する。光源部２０と処理部１３は、モード設定信号に基づいて、各モードにおける動作を実行する。
【0025】
処理部１３は、画像処理等の種々の信号処理を行う。処理部１３は表示画像生成部１４と画像判定部１５と画像強調部１６とを含む。例えば、表示画像生成部１４と画像判定部１５と画像強調部１６がそれぞれ個別の回路により構成されてもよいし、或いは、処理部１３が一体の回路により構成されてもよい。或いは、後述のように処理部１３がＣＰＵ等のプロセッサにより実現されてもよい。
【0026】
表示画像生成部１４は、撮像部３０から入力された画像信号に基づいて表示画像を生成する。ＷＬＩモードでは、表示画像生成部１４は白色光画像を表示画像として生成する。即ち、赤色光ＬＲによる画像信号が表示画像のＲチャンネルに割り当てられ、緑色光ＬＧによる画像信号が表示画像のＧチャンネルに割り当てられ、青色光ＬＢによる画像信号が表示画像のＢチャンネルに割り当てられる。ＤＲＩモードでは、表示画像生成部１４はＤＲＩ画像を表示画像として生成する。即ち、赤色光ＬＲ２による画像信号が表示画像のＲチャンネルに割り当てられ、アンバー光ＬＡによる画像信号が表示画像のＧチャンネルに割り当てられ、緑色光ＬＧ２による画像信号が表示画像のＢチャンネルに割り当てられる。
【0027】
また表示画像生成部１４は、上記表示画像の生成において補間処理又はホワイトライトバランス処理、ガンマ変換処理等の画像処理を行う。例えば複数色の画像が順次に撮像された場合には、表示画像生成部１４は、それらの画像を合成してカラー画像を生成する。またカラーイメージセンサーにより画像が撮像された場合には、表示画像生成部１４は、その画像に対して補間処理を行うことでカラー画像を生成する。
【0028】
画像判定部１５は、画像内において特定被写体が写っている領域を判定する。画像判定部１５は、撮像部３０から入力された画像信号に基づいて判定を行ってもよいし、表示画像生成部１４が生成した表示画像に基づいて判定を行ってもよい。判定手法の詳細は後述する。画像判定部１５は、特定被写体が写っていると判定した領域の情報を画像強調部１６に出力する。領域の情報は、例えば領域に属する画素の位置を示す情報、或いは領域の位置及び形状を示す情報である。
【0029】
画像強調部１６は、特定被写体が写っていると判定された領域に対して強調処理を行う。画像強調部１６は、表示画像生成部１４が生成した表示画像に対して強調処理を実施し、処理後の表示画像を表示部４０に出力する。強調処理の詳細は後述する。画像内に特定被写体が写っていないと判定された場合には、表示画像生成部１４が生成した表示画像が表示部４０に出力される。
【0030】
表示部４０は、画像強調部１６又は表示画像生成部１４から入力される表示画像を表示する。表示部４０は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等の表示装置である。
【0031】
操作部５０は、ユーザーが内視鏡装置１００を操作するための装置である。操作部５０は、例えばボタン或いはダイヤル、レバー、フットスイッチ、タッチパネル等を含むことができる。操作部５０は、スコープ又は制御装置１０、表示部４０に設けられる。
【0032】
２．動作及び処理の詳細
以下、内視鏡装置１００の動作及び処理の詳細を説明する。まず本実施形態の内視鏡装置１００を適用可能な処置の一例としてＥＳＤ（Endoscopic Submucosal Dissection）を説明する。なお、本実施形態の内視鏡装置１００は、ＥＳＤに限らず種々の処置に適用可能である。即ち、その処置において複数の生体組織を視認又は識別する必要があるとき、その複数の生体組織が色相平面上において分離されていないことで視認又は識別が困難となっているような場合に、本実施形態の内視鏡装置１００を適用可能である。
以下、内視鏡装置１００の動作及び処理の詳細を説明する。まず本実施形態の内視鏡装置１００を適用可能な処置の一例としてＥＳＤ（Endoscopic Submucosal Dissection）を説明する。なお、本実施形態の内視鏡装置１００は、ＥＳＤに限らず種々の処置に適用可能である。即ち、その処置において複数の生体組織を視認又は識別する必要があるとき、その複数の生体組織が色相平面上において分離されていないことで視認又は識別が困難となっているような場合に、本実施形態の内視鏡装置１００を適用可能である。
【0033】
【0034】
Ｓ１に示すように、切除範囲の目印となるマーキングを電気メス等により早期癌の周囲に付す。次に、切除範囲の下の粘膜下層に水又は薬液を注入することで、切除範囲を持ち上がらせる。薬液は、例えば青色の染料であるインジゴカルミンである。Ｓ２に示すように、マーキングに沿って電気メス等により粘膜を切開する。Ｓ３に示すように、粘膜下層を切開することで切除範囲を取り除く。早期癌は粘膜上に局在しているので、粘膜下層を切開することで早期癌が切除される。このとき、筋層を切開しないように、筋層と粘膜下層の境界を識別しながら、粘膜下層を切開する。
【0035】
図５は、ＥＳＤにおいて粘膜下層を切開する際の内視鏡画像の例である。図５に示すように、粘膜下層の一部が繊維化している場合がある。この繊維化した粘膜下層を繊維化層と呼ぶ。この場合、繊維化層と筋層の境界を視認する必要がある。
【0036】
ＷＬＩモードでは、筋層は例えばピンク色等の赤みがかった色に見え、線維化層及び粘膜下層は筋層よりも白っぽい色に見える。具体的には、図９の左図に示すように、ＣｒＣｂ平面において繊維化層の色は原点付近に分布しており、筋層の色は線維化層よりも第４象限側に彩度が高くなっている。即ちＷＬＩモードでは線維化層と筋層がＣｒＣｂ平面において分離している。またＷＬＩモードでは、線維化層における繊維状の構造を視認することが可能である。このためＷＬＩモードでは色又は構造情報によって筋層と繊維化層を識別可能である。
【0037】
一方、ＤＲＩモードでは、筋層と線維化層が同じような色味に見える。具体的には、図１１の左図に示すように、ＣｒＣｂ平面において筋層及び繊維化層の色はいずれも原点付近に分布している。ＤＲＩモードでは、アンバー光で撮像された画像が表示画像のＧチャンネルに入力されるが、アンバー光は緑色光に比べてヘモグロビンに対する感度が低い。このため、筋層と線維化層の色味に差がつきにくくなっていると考えられる。
【0038】
以上のように、線維化層と筋層を識別する観点ではＷＬＩモードを用いることが望ましい。一方、粘膜下層又は繊維化層を切開する際に出血する場合があるが、その場合には、送水により血液を流すと共に出血点を視認し、止血等の処置を行う。凹部に血液が溜まった血だまりにおいて、送水により血液と水が混ざった状態となっているが、その血だまりから出血点を視認できることが望ましい。
【0039】
ＷＬＩモードでは、ヘモグロビンに対する感度が高いことから、血液が写った領域が赤色に飽和しやすい。血だまりにおいて、出血点付近ではヘモグロビン濃度が高いが、ＷＬＩモードでは血だまりが赤色に飽和しやすいことから、ヘモグロビンの濃淡が視認しにくい。具体的には、図９の左図に示すように、ＣｒＣｂ平面において、水と血液が混合した血だまりと、出血点の彩度が共に高く、色味に差が無い状態となっている。
【0040】
一方、ＤＲＩモードでは、緑色光等に比べてヘモグロビン吸光係数ＨＡＣが低いアンバー光を用いるため、ＷＬＩモードに比べてヘモグロビンに対する感度が低くなっている。これにより、ヘモグロビンの濃淡が視認しやすくなっている。具体的には、図１１の左図に示すように、血だまりの彩度が出血点の彩度よりも低くなっており、出血点の方がより濃いオレンジ色に見える。
【0041】
以上のように、出血点を視認する観点ではＤＲＩモードを用いることが望ましい。上述したように、線維化層と筋層を識別する観点ではＷＬＩモードを用いることが望ましいので、従来のＷＬＩモード及びＤＲＩモードにおいて、出血点の視認と、線維化層と筋層の識別とを両立させた画像を提供することが難しいという課題がある。
【0042】
以下、本実施形態における特定被写体の判定処理と、特定被写体の強調処理について説明する。
【0043】
図６は、内視鏡装置１００が行う処理の手順を示すフローチャートである。ステップＳ１０において、光源部２０が照明光を発生すると共に撮像部３０が撮像を行うことで、被写体の画像を撮影する。次にステップＳ１１において、表示画像生成部１４は、撮像部３０から入力される画像信号から表示画像を生成する。次にステップＳ１２において、画像判定部１５は、表示画像内に特定被写体が存在するか否かを判定する。具体的には、画像判定部１５は、表示画像内において特定被写体が写っている領域を判定する。次にステップＳ１３において、画像強調部１６は、表示画像において特定被写体が写っていると判定された領域に対して強調処理を行う。以上のステップＳ１０～Ｓ１３が動画の各フレーム画像に対して実施され、強調処理後の動画が表示部４０に表示される。
【0044】
ステップＳ１２、Ｓ１３についてはＷＬＩモードとＤＲＩモードで処理が異なる。以下、各ステップにおける処理の詳細を説明する。
【0045】
図７は、ステップＳ１２の詳細な手順を示すフローチャートである。ステップＳ１２１において、画像判定部１５は表示画像をＹＣｒＣｂ画像に変換する。即ち、表示画像の各画素におけるＲＧＢ値をＹＣｒＣｂ値に変換する。次にステップＳ１２２において、画像判定部１５は、ＷＬＩモードか否かを判定する。即ち、画像判定部１５は、制御部１２から入力されるモード設定信号に基づいてモードを判定する。
【0046】
ステップＳ１２２においてＷＬＩモードと判定された場合、ステップＳ１２３において、画像判定部１５はＹＣｒＣｂ値に基づいて表示画像内の出血領域を判定する。ＷＬＩモードにおいて出血領域が特定被写体である。画像判定部１５は、表示画像に写る被写体においてヘモグロビン濃度が高い領域を出血領域と判定する。具体的には、画像判定部１５は、色相が所定の色相範囲に属し、且つ彩度が第１所定値よりも高い領域を、出血領域と判定する。色相は、ＣｒＣｂ平面において原点を中心とする角度方向の値であり、彩度は、ＣｒＣｂ平面において原点を中心とする距離方向の値である。所定の色相範囲は、赤色に対応した色相範囲であり、例えばＣｒＣｂ平面の第４象限である。
【0047】
ステップＳ１２２においてＷＬＩモードではないと判定された場合、即ちＤＲＩモードと判定された場合、ステップＳ１２４において、画像判定部１５はＹＣｒＣｂ値に基づいて表示画像内の粘膜下層領域を判定する。ＤＲＩモードにおいて粘膜下層領域が特定被写体である。画像判定部１５は、表示画像に写る被写体においてヘモグロビン濃度が低い領域を粘膜下層領域と判定する。ここで判定される粘膜下層領域には筋層及び線維化層が含まれる。具体的には、画像判定部１５は、彩度が第２所定値よりも低い領域を、粘膜下層領域と判定する。第２所定値は第１所定値と異なってもよい。
【0048】
ステップＳ１２３又はＳ１２４が終了したとき、ステップＳ１２が終了し、ステップＳ１３が実行される。なお、ステップＳ１２３、Ｓ１２４は種々の変形実施が可能であり、その変形例については後述する。
【0049】
図８は、ステップＳ１２２においてＷＬＩモードと判定された場合の強調処理の手順を示すフローチャートである。ステップＳ１３１において、画像強調部１６は、ステップＳ１２３において出血領域が検出されたか否かを判断する。
【0050】
ステップＳ１２３において出血領域が検出されていた場合、ステップＳ１３２において、画像強調部１６は、アンバー信号に基づいて表示画像内の出血領域を強調処理する。具体的には、画像強調部１６は、表示画像の出血領域に属する画素のＧチャンネルに、その画素におけるアンバー信号を第１所定割合だけ合成する。ＷＬＩモードでは、緑色信号が表示画像のＧチャンネルに割り当てられているので、緑色信号に対して第１所定割合でアンバー信号が合成された信号が、表示画像のＧチャンネルに割り当てられる。なお、緑色信号、アンバー信号は、それぞれ緑色光、アンバー光に対応した画像信号である。例えばアンバー信号を例にとると、アンバー信号は、面順次の場合にはアンバー光が照射されたときに撮像された画像信号であり、同時式の場合にはアンバー光が照射されたときに撮像された画像信号のうちＲチャンネルの画像信号である。
【0051】
ステップＳ１３２が終了したとき、又は、ステップＳ１２３において出血領域が検出されていなかった場合、ステップＳ１３が終了する。なお、ステップＳ１３２は種々の変形実施が可能であり、その変形例については後述する。
【0052】
【0053】
強調処理前において、血だまりと出血点は共にＣｒ値が飽和しているためＣｒＣｂ平面において分離されていない。強調処理によりアンバー信号がＧチャンネルに合成されることで、血だまり及び出血点の色相がＣｒＣｂ平面において反時計回りに回転する。また、血だまりの彩度が出血点の彩度に比べて低下する。これにより、ＣｒＣｂ平面において血だまりと出血点が分離され、強調後の表示画像において出血点を視認しやすくなる。
【0054】
図３に示すようにアンバー光はヘモグロビンに吸収されるものの、緑色光等と比べて相対的にヘモグロビン吸光係数ＨＡＣが低い。ヘモグロビン吸光係数ＨＡＣが高い緑色光等は出血領域において、ほぼ吸収されてしまうため、ヘモグロビンの濃淡情報が少ない。一方、ヘモグロビン吸光係数ＨＡＣが相対的に低いアンバー光は、ヘモグロビン濃度が高い出血領域においてもヘモグロビンの濃淡情報をグラデーションとして保有している。このヘモグロビンの濃淡情報がＧチャンネルに合成されることで、出血領域において相対的にヘモグロビン濃度が低い血だまりと、出血領域において相対的にヘモグロビン濃度が高い出血点とが、ＣｒＣｂ平面において分離される。
【0055】
図１０は、ステップＳ１２２においてＤＲＩモードと判定された場合の強調処理の手順を示すフローチャートである。ステップＳ１３３において、画像強調部１６は、ステップＳ１２４において粘膜下層領域が検出されたか否かを判断する。
【0056】
ステップＳ１２４において粘膜下層領域が検出されていた場合、ステップＳ１３４において、画像強調部１６は、緑色信号に基づいて表示画像内の粘膜下層領域を強調処理する。具体的には、画像強調部１６は、表示画像の粘膜下層領域に属する画素のＧチャンネルに、その画素における緑色信号を第２所定割合だけ合成する。第２所定割合は第１所定割合と異なってもよい。ＤＲＩモードでは、アンバー信号が表示画像のＧチャンネルに割り当てられているので、アンバー信号に対して第２所定割合で緑色信号が合成された信号が、表示画像のＧチャンネルに割り当てられる。なお、緑色信号は、図２の緑色光ＬＧ又は図３の緑色光ＬＧ２に対応した画像信号である。
【0057】
ステップＳ１３４が終了したとき、又は、ステップＳ１２４において粘膜下層領域が検出されていなかった場合、ステップＳ１３が終了する。なお、ステップＳ１３４は種々の変形実施が可能であり、その変形例については後述する。
【0058】
【0059】
強調処理前において、線維化層と筋層は共に彩度が低いためＣｒＣｂ平面において分離されていない。上述したように、強調処理対象である粘膜下層領域には粘膜下層及び線維化層、筋層が含まれている。強調処理により緑色信号がＧチャンネルに合成されることで、繊維化層の彩度はほとんど変化しない一方で、筋層の彩度が上がる。このとき、筋層の色相はＣｒＣｂ平面の第４象限に属する。これにより、ＣｒＣｂ平面において線維化層と筋層が分離され、強調後の表示画像において線維化層と筋層の境界を視認しやすくなる。図３に示すように緑色光はヘモグロビン吸光係数ＨＡＣが高いので、ヘモグロビンの濃淡に対して感度が高い。このため、緑色信号は、組織に含有されるヘモグロビンの濃淡情報をグラデーションとして保有している。繊維化層に比べて筋層はヘモグロビンの含有量が多いため、線維化層に比べて筋層の方が、緑色信号が小さくなっている。この緑色信号がＧチャンネルに合成されることで、線維化層に比べて筋層の赤味が増す。これにより、線維化層と筋層がＣｒＣｂ平面において分離される。
【0060】
なお、強調処理の対象領域は、出血領域又は粘膜下層領域である特定被写体の領域のみに限定されず、特定被写体を含む領域であればよい。即ち、対象領域は、表示画像において特定被写体であると判定された領域を含み、且つその領域よりも広い領域であってもよい。
【0061】
以上に説明した本実施形態の内視鏡装置１００は、光源部２０と撮像部３０と処理部１３とを含む。光源部２０は、少なくとも第１の光と第２の光を順次又は同時に照明光として発生する。撮像部３０は、照明光が照射された被写体からの戻り光を撮像することで、画像信号を出力する。処理部１３は、画像信号に基づいて表示画像を生成し、その表示画像を表示装置に出力する。第１の光は、本実施形態において図３のアンバー光ＬＡである。第２の光は、青色領域又は緑色領域に属する光であり、本実施形態において図２の緑色光ＬＧ又は青色光ＬＢ又は図３の緑色光ＬＧ２である。画像信号は、第１の光に対応した第１画像信号と、第２の光に対応した第２画像信号とを含む。処理部１３は、画像信号に基づいて画像内に特定被写体が含まれるか否かを判定する。そして処理部１３は、画像内に特定被写体が含まれると判定した場合に、特定被写体を含む画像領域に対して、第１画像信号又は第２画像信号を用いた色又は輝度の変換処理を行うことで、特定被写体の強調処理を行い、強調処理後の画像を表示画像として出力する。
【0062】
アンバー光ＬＡは、緑色光等に比べてヘモグロビン吸光係数ＨＡＣが小さいため、ヘモグロビン濃度が高い領域においてヘモグロビンの濃淡情報を取得できる。一方、青色光又は緑色光は、ヘモグロビン吸光係数ＨＡＣが大きいため、ヘモグロビン濃度が低い領域においてヘモグロビンの濃淡情報を取得できる。これらの光により取得される画像信号を用いて強調処理を行うことで、特定被写体を強調できる。即ち、ヘモグロビン濃度が高い領域において被写体の識別が困難なＷＬＩモードでは、アンバー光を用いることでヘモグロビン濃度が高い領域においてヘモグロビンの濃淡を強調できる。一方、ヘモグロビン濃度が低い領域において被写体の識別が困難なＤＲＩモードでは、青色光又は緑色光を用いることでヘモグロビン濃度が低い領域においてヘモグロビンの濃淡を強調できる。
【0063】
また本実施形態では、特定被写体は粘膜下層領域である。処理部１３は、第１画像信号を表示画像のＧチャンネルに割り当てる。第１画像信号はアンバー信号である。これは本実施形態におけるＤＲＩモードに対応する。
【0064】
アンバー信号を表示画像のＧチャンネルに割り当てることで、血だまり等のヘモグロビン濃度が高い領域においてヘモグロビンの濃淡を表示できる。これにより、血液と送水が混ざった領域と、出血点付近の領域などにおいて、ヘモグロビン濃度の差をグラデーション表示できる。
【0065】
また本実施形態では、処理部１３は、画像内に粘膜下層領域が含まれると判定した場合に、粘膜下層領域を含む画像領域において、第１画像信号に対する第２画像信号の合成割合を高める変換処理を行い、合成後の画像信号をＧチャンネルに割り当てる。即ち、処理部１３は、粘膜下層領域を含む画像領域において、第１の光に基づく第１画像信号又は第２の光に基づく第２画像信号のうち、表示画像のＧチャンネルに占める割合が低いほうの画像信号の割合を高める。なお第２画像信号は、青色信号又は緑色信号である。
【0066】
なお、「第１画像信号に対する第２画像信号の合成割合を高める」とは、強調対象ではない領域における合成割合よりも、強調対象領域における合成割合を高くすることである。なお、強調対象ではない領域において第１画像信号のみがＧチャンネルに割り当てられる場合も含む。
【0067】
ＤＲＩモードではＧチャンネルにアンバー光が割り当てられているため、線維化層と筋層の境界を識別しにくい。本実施形態では、青色信号又は緑色信号がＧチャンネルに合成されることで、ヘモグロビン濃度が比較的低い線維化層と筋層においてヘモグロビンの濃淡情報がＧチャンネルに合成される。これにより、ＤＲＩモードにおいて、線維化層と筋層の識別性が向上する。
【0068】
また後述するように、処理部１３は、画像内に粘膜下層領域が含まれると判定した場合に、粘膜下層領域を含む画像領域において、第２画像信号の高周波成分をＧチャンネルに合成してもよい。
【0069】
青色信号又は緑色信号には被写体のテクスチャー情報が含まれる。本実施形態では、青色信号又は緑色信号の高周波成分をＧチャンネルに合成することで、粘膜下層領域のテクスチャー情報を強調できる。筋層に比べて線維化層の方が、テクスチャー情報が豊富に含まれるので、線維化層と筋層の識別性が向上する。
【0070】
また後述するように、処理部１３は、色相及び彩度の少なくとも一方に基づいて、インジゴカルミンの濃度が所定値よりも高い領域を判定してもよい。そして処理部１３は、インジゴカルミンの濃度が所定値よりも高いと判定した領域において第２画像信号の高周波成分の合成割合を高めてもよい。なお「合成割合を高める」の意味は上述した通りである。
【0071】
図４で説明したように、ＥＳＤにおいて切除対象である早期癌の下にインジゴカルミンが注入される。処理部１３は表示画像から粘膜下層領域を検出するが、その粘膜下層領域のうち、インジゴカルミンの濃度が所定値よりも高いと判定された領域は、切除対象の粘膜下層領域であると判断できる。このような粘膜下層領域においてテクスチャー情報の強調度合いを高めることで、切除対象の粘膜下層領域において線維化層と筋層の識別性をより向上できる。
【0072】
また後述するように、処理部１３は、画像内に粘膜下層領域が含まれると判定した場合に、粘膜下層領域を含む画像領域において、第２画像信号の信号値に応じて色相及び彩度の少なくとも一方を変化させる変換処理を行ってもよい。即ち処理部１３は、第２画像信号の信号値が大きい画素ほど色相の変化量を大きくし、或いは第２画像信号の信号値が大きい画素ほど彩度を高くする。
【0073】
青色信号又は緑色信号は線維化層と筋層におけるヘモグロビンの濃淡情報を有している。この濃淡に応じて色相又は彩度を変換することで、線維化層と筋層の色又は彩度に差を付けることができる。これにより、線維化層と筋層の識別性を向上できる。
【0074】
また処理部１３は、色相及び彩度の少なくとも一方に基づいて、インジゴカルミンの濃度が所定値よりも高い領域を、粘膜下層領域と判定してもよい。具体的には、処理部１３は、色相が青色領域に属する領域を粘膜下層領域と判定する、或いは色相が青色領域に属し且つ彩度が所定値より高い領域を粘膜下層領域と判定する。
【0075】
図４で説明したように、ＥＳＤにおいて切除対象である早期癌の下にインジゴカルミンが注入される。本実施形態によれば、インジゴカルミンが注入されたことでインジゴカルミンの濃度が所定値よりも高くなった領域を、粘膜下層領域と判定できる。例えば、インジゴカルミンが注入されていない粘膜下層については粘膜下層領域と判定されず、インジゴカルミンが注入された粘膜下層のみを粘膜下層領域と判定できる。
【0076】
また処理部１３は、色相及び彩度の少なくとも一方に基づいて、ヘモグロビンの濃度が所定値よりも低い領域を、前記粘膜下層領域と判定してもよい。具体的には、処理部１３は、色相が赤色領域に属し且つ彩度が所定値よりも低い領域を粘膜下層領域と判定する、或いは、彩度が所定値よりも低い領域を粘膜下層領域と判定する。
【0077】
粘膜下層領域に含まれる粘膜下層及び線維化層、筋層は血だまり等に比べてヘモグロビンの含有量が少ない。本実施形態によれば、表示画像においてヘモグロビンの濃度が所定値よりも低い領域を判定することで、表示画像における粘膜下層領域を判定できる。
【0078】
また本実施形態では、特定被写体は出血領域である。第２の光は、緑色領域に属する光である。処理部１３は、第２画像信号を表示画像のＧチャンネルに割り当てる。これは本実施形態におけるＷＬＩモードに対応する。ＷＬＩモードにおいて第２の光は図２の緑色光ＬＧである。
【0079】
緑色信号を表示画像のＧチャンネルに割り当てることで、粘膜下層及び線維化層、筋層などのヘモグロビン濃度が低い領域においてヘモグロビンの濃淡が表示される。これにより、線維化層と筋層に色味の差ができるため、線維化層と筋層を視認できる。
【0080】
また本実施形態では、処理部１３は、画像内に出血領域が含まれると判定した場合に、出血領域を含む画像領域において、第２画像信号に対する第１画像信号の合成割合を高める変換処理を行い、その合成後の画像信号をＧチャンネルに割り当てる。なお「合成割合を高める」の意味は上述した通りである。
【0081】
ＷＬＩモードではＧチャンネルに緑色光が割り当てられているため、血だまりにおける出血点を視認しにくい。本実施形態では、アンバー信号がＧチャンネルに合成されることで、ヘモグロビン濃度が高い血だまりにおいてヘモグロビンの濃淡情報がＧチャンネルに合成される。これにより、ＷＬＩモードにおいて、血だまりにおける出血点の視認性が向上する。
【0082】
また後述するように、処理部１３は、画像内に出血領域が含まれると判定した場合に、出血領域を含む画像領域において、第１画像信号の信号値に応じて色相及び彩度の少なくとも一方を変化させる変換処理を行ってもよい。即ち処理部１３は、第１画像信号の信号値が小さい画素ほど色相の変化量を大きくし、或いは第１画像信号の信号値が小さい画素ほど彩度を高くする。
【0083】
アンバー信号は血だまり及び出血点におけるヘモグロビンの濃淡情報を有している。この濃淡に応じて色相又は彩度を変換することで、血だまりと出血点の色又は彩度に差を付けることができる。これにより、血だまりにおける出血点の視認性を向上できる。
【0084】
また処理部１３は、色相及び彩度の少なくとも一方に基づいて、ヘモグロビンの濃度が所定値よりも高い領域を、出血領域と判定してもよい。具体的には、処理部１３は、色相が赤色領域に属し且つ彩度が所定値よりも高い領域を出血領域と判定する、或いは、彩度が所定値よりも高い領域を出血領域と判定する。
【0085】
出血領域は粘膜下層等の組織に比べてヘモグロビンの含有量が多い。本実施形態によれば、表示画像においてヘモグロビンの濃度が所定値よりも高い領域を判定することで、表示画像における出血領域を判定できる。
【0086】
また本実施形態では、処理部１３は、表示画像のＧチャンネルに第１画像信号を割り当てるか第２画像信号を割り当てるかに応じて、画像内に特定被写体が含まれるか否かの判定条件を変更する。具体的には、表示画像のＧチャンネルに第１画像信号を割り当てるＤＲＩモードにおいて、処理部１３は、画像内に粘膜下層領域が含まれるか否かを判定する。一方、表示画像のＧチャンネルに第２画像信号を割り当てるＷＬＩモードにおいて、処理部１３は、画像内に出血領域が含まれるか否かを判定する。各モードにおける判定条件は、上述した通りである。
【0087】
このようにすれば、各モードにおいて識別が困難な特定被写体を表示画像から判定できる。そして、表示画像内に特定被写体が存在した場合には、その特定被写体であると判定された領域に対して強調処理を行うことで、特定被写体の視認性を向上できる。
【0088】
なお、本実施形態の処理部１３と制御部１２は、以下のハードウェアにより構成されてもよい。処理部１３と制御部１２は個別のハードウェアにより構成されてもよいし、一体のハードウェアにより構成されてもよい。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。
【0089】
また処理部１３と制御部１２は、プロセッサにより実現されてもよい。処理部１３と制御部１２は個別のプロセッサにより構成されてもよいし、一つのプロセッサにより構成されてもよい。即ち、本実施形態の制御装置１０は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。メモリは記憶部１１に含まれてもよい。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、画像信号に基づいて画像内に特定被写体が含まれるか否かを判定する。そしてプロセッサは、画像内に特定被写体が含まれると判定した場合に、特定被写体を含む画像領域に対して、第１画像信号又は第２画像信号を用いた色又は輝度の変換処理を行うことで、特定被写体の強調処理を行い、強調処理後の画像を表示画像として出力する。
【0090】
プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、表示画像生成部１４及び画像判定部１５、画像強調部１６、制御部１２の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
【0091】
また、本実施形態の処理部１３が行う処理を実現するプログラム、又は処理部１３及び制御部１２が行う処理を実現するプログラムは、例えばコンピュータにより読み取り可能な媒体である情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどにより実現できる。半導体メモリは例えばＲＯＭである。処理部１３と制御部１２は、情報記憶媒体に格納されるプログラムとデータに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、本実施形態の内視鏡装置の各部としてコンピュータを機能させるためのプログラムが記憶される。コンピュータは、入力装置、及び処理部、記憶部、出力部を備える装置である。プログラムは、各部の処理をコンピュータに実行させるためのプログラムである。プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク、不揮発性メモリやＲＡＭ等のメモリなど、光学式検出システムによって読み取り可能な種々の記録媒体を想定できる。
【0092】
３．種々の実施形態
図７のステップＳ１２３では、ＷＬＩモードにおいて出血領域を以下のように判定してもよい。
図７のステップＳ１２３では、ＷＬＩモードにおいて出血領域を以下のように判定してもよい。
【0093】
画像判定部１５は、アンバー信号に基づいて表示画像内の出血領域を判定する。具体的には、画像判定部１５は、表示画像において、アンバー信号が所定値よりも小さい領域を出血領域と判定する。ヘモグロビンの吸収が大きい領域ではアンバー信号が小さいので、ヘモグロビン濃度が高い領域を出血領域と判定できる。
【0094】
また画像判定部１５は、赤色信号によりアンバー信号を正規化し、その正規化後のアンバー信号が所定値よりも小さい領域を出血領域と判定してもよい。赤色信号は、図２の赤色光ＬＲ又は図３の赤色光ＬＲ２により得られた画像信号である。
【0095】
また画像判定部１５は、色相が所定の色相範囲に属し、且つ彩度が第１所定値よりも高い領域と、アンバー信号が所定値よりも小さい領域との論理和を、出血領域と判定してもよい。
【0096】
また画像判定部１５は、色相が所定の色相範囲に属し、且つ彩度が第１所定値よりも高い領域と、アンバー信号が所定値よりも小さい領域との論理積を、出血領域と判定してもよい。
【0097】
図８のステップＳ１３２では、ＷＬＩモードにおいて出血領域を以下のように強調処理してもよい。
【0098】
画像強調部１６は、表示画像の出血領域に属する画素のＲチャンネル又はＢチャンネルに、その画素におけるアンバー信号を所定割合だけ合成する。
【0099】
また画像強調部１６は、表示画像の出血領域に属する画素のＲＧＢチャンネルのうち２以上のチャンネルに、その画素におけるアンバー信号を所定割合だけ合成してもよい。
【0100】
また画像強調部１６は、アンバー信号を表示画像に加算するのではなく、アンバー信号の信号値を用いて出血領域の色相変換を制御してもよい。具体的には、表示画像の出血領域に属する画素において、アンバー信号が小さいほど色相の変化量を大きくする。出血点は血だまりよりもアンバー信号が小さいため、出血点の色相変化が大きくなり、出血点を視認しやすくなる。
【0101】
また画像強調部１６は、赤色信号によりアンバー信号を正規化し、その正規化後のアンバー信号が小さいほど色相の変化量を大きくしてもよい。赤色光はヘモグロビンに対する感度が低いため、赤色信号において被写体形状と配光の影響が支配的である。赤色信号によりアンバー信号を正規化することで、被写体形状と配光の影響を低減できる。
【0102】
図７のステップＳ１２４では、ＤＲＩモードにおいて粘膜下層領域を以下のように判定してもよい。
【0103】
画像判定部１５は、表示画像において色相が所定範囲に属する領域を粘膜下層領域と判定してもよい。色相の所定範囲は、青色領域に属し、例えばＣｒＣｂ平面の第２象限である。図４のＳ１においてインジゴカルミンを粘膜下層に注入した場合、筋層及び粘膜下層、線維化層がインジゴカルミンにより染色される。図１２の左図に示すように、ＤＲＩ画像において、インジゴカルミンに染色された線維化層及び筋層はＣｒＣｂ平面の第２象限に位置しており、青味がかって見える。
【0104】
また画像判定部１５は、彩度が第２所定値よりも低い領域と、色相が所定範囲に属する領域との論理和を、粘膜下層領域と判定してもよい。
【0105】
図１０のステップＳ１３４では、ＤＲＩモードにおいて粘膜下層領域を以下のように強調処理してもよい。
【0106】
画像強調部１６は、表示画像の粘膜下層領域に属する画素のＲチャンネル又はＢチャンネルに、その画素における緑色信号を所定割合だけ合成する。
【0107】
また画像強調部１６は、表示画像の粘膜下層領域に属する画素のＲＧＢチャンネルのうち２以上のチャンネルに、その画素における緑色信号を所定割合だけ合成してもよい。
【0108】
また画像強調部１６は、表示画像において青色領域に属すると判定された領域において、各チャンネルに対する緑色信号の合成割合を高めてもよい。即ち、青色領域に属すると判定されていない領域における合成割合よりも、青色領域に属すると判定された領域における合成割合を、高くしてもよい。粘膜下層にインジゴカルミンが注入された場合には、粘膜下層領域が青色に染色されるので、その染色領域において粘膜下層領域の強調度合いを強めることができる。
【0109】
また画像強調部１６は、緑色信号に基づいて粘膜下層領域の構造を強調してもよい。具体的には、画像強調部１６は、緑色信号の高周波成分を抽出し、表示画像の粘膜下層領域に属する画素のＧチャンネルに、その画素における緑色信号の高周波成分を合成する。高周波成分の抽出は、例えばハイパスフィルター又はバンドパスフィルター等により実現される。線維化層は筋層に比べてテクスチャー情報が豊富であるため、高周波成分が多い。このため、緑色信号の高周波成分を合成することで、繊維化層の視認性を向上できる。
【0110】
また画像強調部１６は、表示画像において青色領域に属すると判定された領域において、Ｇチャンネルに対する緑色信号の高周波成分の合成割合を高めてもよい。粘膜下層にインジゴカルミンが注入された場合には、粘膜下層領域が青色に染色されるので、その染色領域において繊維化層の強調度合いを強めることができる。
【0111】
また画像強調部１６は、表示画像の粘膜下層領域に属する画素のＲチャンネル又はＢチャンネルに、その画素における緑色信号の高周波成分を合成してもよい。また画像強調部１６は、表示画像の粘膜下層領域に属する画素のＲＧＢチャンネルのうち２以上のチャンネルに、その画素における緑色信号の高周波成分を合成してもよい。
【0112】
以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。更に、異なる実施形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【0113】
１０ 制御装置、１１ 記憶部、１２ 制御部、１３ 処理部、１４ 表示画像生成部、１５ 画像判定部、１６ 画像強調部、２０ 光源部、３０ 撮像部、４０ 表示部、５０ 操作部、１００ 内視鏡装置、３００ 制御装置、ＨＡＣ ヘモグロビン吸光係数、ＬＡ アンバー光、ＬＢ 青色光、ＬＧ 緑色光、ＬＧ２ 緑色光、ＬＲ 赤色光、ＬＲ２ 赤色光
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】