特許 7346602 内視鏡システム、内視鏡プロセッサ、内視鏡プロセッサの作動方法及び内視鏡プロセッサの作動プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-08

(45)【発行日】2023-09-19

(54)【発明の名称】内視鏡システム、内視鏡プロセッサ、内視鏡プロセッサの作動方法及び内視鏡プロセッサの作動プログラム

(51)【国際特許分類】

   A61B 1/00 20060101AFI20230911BHJP

   A61B 1/045 20060101ALI20230911BHJP

【ＦＩ】

A61B1/00 513

A61B1/045 615

【請求項の数】 12

(21)【出願番号】P 2021572155

(86)(22)【出願日】2020-01-21

(86)【国際出願番号】 JP2020001891

(87)【国際公開番号】W WO2021149140

(87)【国際公開日】2021-07-29

【審査請求日】2022-07-19

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(74)【代理人】

【識別番号】100166523

【弁理士】

【氏名又は名称】西河 宏晃

(72)【発明者】

【氏名】弘田 昌士

【審査官】磯野 光司

(56)【参考文献】

【文献】国際公開第２０１９／１３０８６８（ＷＯ，Ａ１）

【文献】特開２０１２－１５２２８４（ＪＰ，Ａ）

【文献】国際公開第２０１０／０５０４００（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－ １／３２

Ｇ０２Ｂ ２３／２４－２３／２６

(57)【特許請求の範囲】

【請求項1】

緑色帯域に比べてヘモグロビンの吸光が小さい第１波長帯域の光、および前記第１波長帯域とは異なる第２波長帯域の光を、照明光として発生する光源部と、
戻り光を撮像して撮像信号を出力する撮像部と、
前記第１波長帯域の光による第１画像を前記撮像信号から取得し、前記第１画像から粘膜の凹凸変化情報を検出する処理部と、
を含み、
前記処理部は、
前記第２波長帯域の光による第２画像を前記撮像信号から取得し、前記第２画像に対して前記凹凸変化情報を合成することで、前記第２画像内の凹凸部分が強調された表示画像を生成する内視鏡システム。

【請求項2】

請求項１において、
前記第１波長帯域は、赤色帯域に属することを特徴とする内視鏡システム。

【請求項3】

請求項１において、
前記処理部は、
前記第１画像から高周波成分を算出することで、前記凹凸変化情報を検出することを特徴とする内視鏡システム。

【請求項4】

請求項１において、
前記処理部は、
強調後の前記第２画像を、前記表示画像のＧチャンネルに入力することを特徴とする内視鏡システム。

【請求項5】

請求項１において、
前記処理部は、
前記第２画像における血管像を抑制することを特徴とする内視鏡システム。

【請求項6】

請求項５において、
前記処理部は、
前記血管像を含む前記第２画像の高周波成分を算出し、前記第２画像から前記高周波成分を減算することで、前記血管像を抑制することを特徴とする内視鏡システム。

【請求項7】

請求項１において、
前記第２波長帯域は、紫色帯域に属することを特徴とする内視鏡システム。

【請求項8】

請求項７において、
前記第１波長帯域は、赤色帯域に属し、
前記照明光は、前記緑色帯域に属する第３波長帯域の光を含み、
前記処理部は、
前記第１画像から高周波成分を算出することで前記凹凸変化情報を検出し、前記第２波長帯域の光による前記第２画像に前記凹凸変化情報を合成することで前記凹凸部分を強調し、強調後の前記第２画像を前記表示画像のＢチャンネル及びＧチャンネルに入力し、前記第３波長帯域の光による第３画像を前記表示画像のＲチャンネルに入力することを特徴とする内視鏡システム。

【請求項9】

請求項１において、
前記照明光は、白色光であり、
前記第１波長帯域は、前記白色光における赤色帯域であり、
前記第２波長帯域は、前記白色光における前記緑色帯域及び青色帯域を含み、
前記処理部は、
前記白色光による白色光画像のＲチャンネルから前記凹凸変化情報を検出し、前記白色光画像のＧチャンネルに前記凹凸変化情報を合成することで前記凹凸部分を強調することを特徴とする内視鏡システム。

【請求項10】

緑色帯域に比べてヘモグロビンの吸光が小さい第１波長帯域の光、および前記第１波長帯域とは異なる第２波長帯域の光を、照明光として光源部に発生させる処理部と、
戻り光を撮像した撮像部から撮像信号を受信する撮像信号受信部と、
を含み、
前記処理部は、
前記第１波長帯域の光による第１画像を前記撮像信号から取得し、前記第１画像から粘膜の凹凸変化情報を検出し、前記撮像信号による撮像画像において前記凹凸変化情報に基づいて前記粘膜の凹凸変化を強調することで表示画像を生成し、
前記第１波長帯域以外の前記第２波長帯域の光による第２画像を前記撮像信号から取得し、前記第２画像に対して前記凹凸変化情報を合成することで前記凹凸変化を強調することを特徴とする内視鏡プロセッサ。

【請求項11】

光源部に、緑色帯域に比べてヘモグロビンの吸光が小さい第１波長帯域の光、および前記第１波長帯域とは異なる第２波長帯域の光を、照明光として発生させ、
撮像部に、戻り光を撮像して撮像信号を出力させ、
処理部に、前記第１波長帯域の光による第１画像を前記撮像信号から取得し、前記第１画像から粘膜の凹凸変化情報を検出させて、
前記第２波長帯域の光による第２画像を前記撮像信号から取得し、前記第２画像に対して前記凹凸変化情報を合成することで、第２画像内の凹凸部分が強調された表示画像を生成させる内視鏡プロセッサの作動方法。

【請求項12】

内視鏡プロセッサに、
緑色帯域に比べてヘモグロビンの吸光が小さい第１波長帯域の光、および前記第１波長帯域とは異なる第２波長帯域の光を、照射した際の戻り光から撮像信号を受信させ、
前記第１波長帯域の光による第１画像を前記撮像信号から取得させ、
前記第１画像から粘膜の凹凸変化情報を検出させ、
前記第２波長帯域の光による第２画像を前記撮像信号から取得させ、
前記第２画像に対して前記凹凸変化情報を合成させることで、第２画像内の凹凸部分が強調された表示画像を生成させる内視鏡プロセッサの作動プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡システム、内視鏡プロセッサ、内視鏡プロセッサの作動方法及び内視鏡プロセッサの作動プログラム等に関する。

【背景技術】

【0002】

内視鏡装置において、特定部位を発見又は診断しやすくするために画像処理により特定部位を抑制又は強調する手法が知られている。特許文献１には、生体における２種類の異なる構造を抑制又は強調する手法が開示されている。具体的には、特許文献１の手法は、周波数帯域の異なる２種のフィルタ処理を紫色狭帯域光の画像に施すことで、腺管と血管の２種類の構造情報を抽出し、それらを抑制又は強調する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－２１２９２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えばＮＢＩ（Narrow Band Imaging）による内視鏡観察では、通常光による内視鏡観察と比較して平坦型の病変を発見し易いが、凹凸情報を伴う粘膜の質感が分かり難いという課題がある。質感は病変が癌であるか否かを判断する指標の一つであり、病変診断にとって重要な情報である。

【0005】

上述の特許文献１では紫色狭帯域光の画像から腺管と血管の構造情報を抽出しているが、紫色狭帯域光の画像は質感情報の抽出対象としては適していない。具体的には、紫色狭帯域光の画像では血管による吸光変化が大きいため、病変部において血管新生等による表層血管が高コントラストに写り、質感の情報が埋もれやすい。また、紫色狭帯域光の画像において、質感に関係する凹凸構造と血管とが異なる周波数帯域になるとは限らない。このため、質感情報を抽出する際に血管情報が含まれる可能性がある。

【課題を解決するための手段】

【0006】

本発明の一態様は、緑色帯域に比べてヘモグロビンの吸光が小さい第１波長帯域を含む複数の波長帯域の光を、照明光として発生する光源部と、前記照明光が照射された生体からの戻り光を撮像して撮像信号を出力する撮像部と、前記第１波長帯域の光による第１画像を前記撮像信号から取得し、前記第１画像から粘膜の凹凸変化情報を検出し、前記撮像信号による撮像画像において前記凹凸変化情報に基づいて前記粘膜の凹凸変化を強調することで表示画像を生成する処理部と、を含む内視鏡装置に関係する。

【0007】

また本発明の他の態様は、緑色帯域に比べてヘモグロビンの吸光が小さい第１波長帯域を含む複数の波長帯域の光を、照明光として光源部に発生させる処理部と、前記照明光が照射された生体からの戻り光を撮像した撮像部から撮像信号を受信する撮像信号受信部と、を含み、前記処理部は、前記第１波長帯域の光による第１画像を前記撮像信号から取得し、前記第１画像から粘膜の凹凸変化情報を検出し、前記撮像信号による撮像画像において前記凹凸変化情報に基づいて前記粘膜の凹凸変化を強調することで表示画像を生成する制御装置に関係する。

【0008】

また本発明の更に他の態様は、緑色帯域に比べてヘモグロビンの吸光が小さい第１波長帯域を含む複数の波長帯域の光を、照明光として発生し、前記照明光が照射された生体からの戻り光を撮像して撮像信号を出力し、前記第１波長帯域の光による第１画像を前記撮像信号から取得し、前記第１画像から粘膜の凹凸変化情報を検出し、前記撮像信号による撮像画像において前記凹凸変化情報に基づいて前記粘膜の凹凸変化を強調することで表示画像を生成する内視鏡装置の作動方法に関係する。

【0009】

また本発明の更に他の態様は、緑色帯域に比べてヘモグロビンの吸光が小さい第１波長帯域を含む複数の波長帯域の光を、照明光として光源部に発生させ、前記照明光が照射された生体からの戻り光を撮像した撮像部から撮像信号を受信し、前記第１波長帯域の光による第１画像を前記撮像信号から取得し、前記第１画像から粘膜の凹凸変化情報を検出し、前記撮像信号による撮像画像において前記凹凸変化情報に基づいて前記粘膜の凹凸変化を強調することで表示画像を生成するステップを、コンピュータに実行させるプログラムに関係する。

【図面の簡単な説明】

【0010】

【図1】内視鏡装置の構成例。

【図2】光源部の詳細構成例。

【図3】光源部が発生する照明光の波長特性例。

【図4】第１実施形態における処理部の構成例。

【図5】第１実施形態における画像処理の手順を説明する図。

【図6】第２実施形態における画像処理の手順を説明する図。

【図7】第３実施形態における処理部の構成例。

【図8】第３実施形態における画像処理の手順を説明する図。

【発明を実施するための形態】

【0011】

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

【0012】

１．内視鏡装置
図１は、内視鏡装置の構成例である。内視鏡装置は、撮像部２００と制御装置３００と表示部４００と外部Ｉ／Ｆ部５００と光源部１００とを含む。内視鏡装置としては、例えば泌尿器又は消化管等に用いられる軟性鏡や、腹腔鏡等に用いられる硬性鏡を想定できるが、これらに限定されない。

【0013】

光源部１００は、照明光を発生する装置である。光源部１００を光源装置とも呼ぶ。光源部１００は、照明光として白色光及び特殊光を発生する。具体的には、光源部１００はＷＬＩ（White Light Imaging）モードにおいて白色光を発生し、特殊光モードにおいて特殊光を発生する。特殊光モードは、例えば紫色狭帯域光及び緑色狭帯域光を照明光とするＮＢＩ（Narrow Band Imaging）モードである。照明光の発光タイミングは、複数の光源を同時に発光させる同時式、又は複数の光源を順次に発光させる面順次式のいずれであってもよい。

【0014】

撮像部２００は、体内へ挿入されると共に被写体を撮像する部分である。撮像部２００をスコープとも呼ぶ。撮像部２００は、ライトガイド２１０と照明レンズ２２０と対物レンズ２３０と撮像素子２４０とを含む。撮像素子２４０はイメージセンサとも呼ぶ。撮像部２００は不図示のコネクタを有し、そのコネクタにより制御装置３００に対して着脱される。

【0015】

ライトガイド２１０は、光源部１００からの照明光を、撮像部２００の先端まで導光する。照明レンズ２２０は、ライトガイド２１０により導光された照明光を被写体へ照射する。本実施形態において被写体は生体である。例えば泌尿器用の内視鏡装置において、被写体は、膀胱等の粘膜である。或いは、上部消化管用の内視鏡装置において、被写体は、胃又は食道等の粘膜である。被写体からの反射光は、対物レンズ２３０へ入射する。対物レンズ２３０によって被写体像が結像され、撮像素子２４０が、その被写体像を撮像する。

【0016】

撮像素子２４０は、照明光が照射された被写体からの戻り光を撮像して撮像信号を出力する。撮像素子２４０は、各画素にカラーフィルタが設けられたカラーイメージセンサ、又はモノクロイメージセンサのいずれであってもよい。カラーイメージセンサは、例えばベイヤ配列のカラーフィルタを有するベイヤ型イメージセンサ、或いは補色フィルタを有する補色イメージセンサである。

【0017】

撮像部２００はＡ／Ｄ変換回路を含む。Ａ／Ｄ変換回路は、撮像素子２４０からのアナログ撮像信号をデジタル撮像信号にＡ／Ｄ変換する。Ａ／Ｄ変換回路は、例えば撮像素子２４０に内蔵される。

【0018】

制御装置３００は、画像処理を含む信号処理を行う。また制御装置３００は、内視鏡装置の各部を制御する。制御装置３００を処理装置又はプロセッサ部とも呼ぶ。制御装置３００は、処理部３１０と撮像信号受信部３３０とを含む。処理部３１０は処理回路又はプロセッサとも呼ぶ。

【0019】

撮像信号受信部３３０は、撮像素子２４０からの撮像信号を受信する。撮像信号受信部３３０は、例えば撮像部２００と制御装置３００を接続するコネクタ、又は撮像信号を受信するインターフェース回路、又は撮像信号から画像データを生成する前処理回路等である。なお撮像信号受信部３３０と処理部３１０は別個のハードウェアにより実現されてもよいし、一体のハードウェアにより実現されてもよい。

【0020】

処理部３１０は、撮像信号受信部３３０が受信した撮像信号に基づいて画像処理を行うことで、表示画像を生成し、その表示画像を表示部４００へ出力する。また処理部３１０は、内視鏡装置の各部を制御する。

【0021】

具体的には、処理部３１０は、光源の発光タイミングと撮像素子２４０の撮像タイミングを制御する。例えばユーザが外部Ｉ／Ｆ部５００を操作してＷＬＩモードと特殊光モードを切り替える。例えば特殊光モードが設定された場合、処理部３１０は、特殊光の発光を光源部１００に指示し、撮像信号から特殊光画像を生成し、その特殊光画像を表示部４００に出力する。ＷＬＩモードが設定された場合、処理部３１０は、白色光の発光を光源部１００に指示し、撮像信号から白色光画像を生成し、その白色光画像を表示部４００に出力する。

【0022】

表示部４００は、処理部３１０からの表示画像を表示する装置である。表示部４００は、例えば液晶表示装置等である。外部Ｉ／Ｆ部５００は、ユーザから内視鏡装置に対する操作を受け付ける装置である。例えば、外部Ｉ／Ｆ部５００は、ボタン、ダイヤル、ポインティングデバイス、タッチパネル、又はフットスイッチ等である。

【0023】

２．光源部
以下、特殊光観察がＮＢＩ観察である場合を例に説明するが、本実施形態の手法はＮＢＩ以外の特殊光観察又は白色光観察にも適用できる。即ち、粘膜の質感が視認しにくい場合、或いは粘膜の質感を強調したい場合に、本実施形態と同様の手法を適用できる。

【0024】

図２は、光源部１００の詳細構成例である。光源部１００は、駆動部１１０と光源ＬＤＶ、ＬＤＧ、ＬＤＲ、ＬＤＷと合波部１２０とを含む。

【0025】

駆動部１１０には、各光源の発光タイミング及び光量を指示する制御信号が光源制御部３１２から入力される。図４で後述するように光源制御部３１２は処理部３１０に含まれる。駆動部１１０は、光源制御部３１２からの制御信号に基づいて光源ＬＤＶ、ＬＤＧ、ＬＤＲ、ＬＤＷを駆動する。例えば、駆動部１１０は駆動電流を光源に供給することで光源を発光させる。

【0026】

光源ＬＤＶ、ＬＤＧ、ＬＤＲ、ＬＤＷの各々は、所定の波長特性を有する光を発生する。光源ＬＤＲは第１波長帯域の光を発生し、光源ＬＤＶは第２波長帯域の光を発生し、光源ＬＤＧは第３波長帯域の光を発生する。第２、第３波長帯域の光は狭帯域光である。狭帯域光の半値幅は例えば数ｎｍ～数１０ｎｍである。光源ＬＤＷは白色光を発生する。白色光は可視光帯域において連続スペクトルを有する。或いは、白色光は、複数帯域の光によって構成されてもよい。各光源は例えばＬＥＤ又はレーザー等である。或いは、白色光源であるＬＤＷはキセノンランプ等であってもよい。また光源ＬＤＶ、ＬＤＧ、ＬＤＲは、白色光源と、各狭帯域光を通過させる光学フィルタとによって実現されてもよい。

【0027】

合波部１２０は、光源ＬＤＶ、ＬＤＧ、ＬＤＲ、ＬＤＷが射出する光を合波し、その合波された光をライトガイド２１０へ入射させる。合波部１２０は、例えばダイクロイックミラーとレンズにより構成される。或いは合波部１２０は、複数の入射端から入射された光を１つの出射端に出射する光ファイバであってもよい。

【0028】

図３は、光源部１００が発生する照明光の波長特性例である。ＨＢＣは、ヘモグロビン吸光係数の波長特性である。

【0029】

光源部１００は、複数の波長帯域の光を照明光として発生する。複数の波長帯域は、緑色帯域に比べてヘモグロビンの吸光が小さい波長帯域ＮＲを含む。ＮＲを第１波長帯域とする。緑色帯域は、可視光帯域を三原色に分割したときの緑色帯域に相当し、例えば５００ｎｍ～５７０ｎｍである。

【0030】

具体的には、波長帯域ＮＲは、赤色帯域に属する。赤色帯域は、可視光帯域を三原色に分割したときの赤色帯域に相当し、例えば５７０ｎｍ～７００ｎｍである。より具体的には、波長帯域ＮＲは、ヘモグロビンの吸光係数が十分小さい波長範囲に属し、例えば６００ｎｍ以上の波長範囲に属し、より望ましくは６３０ｎｍ以上の波長範囲に属する。波長帯域ＮＲは、例えば６３０ｎｍ～６５０ｎｍである。なお、波長帯域ＮＲの幅は２０ｎｍに限定されず、数ｎｍ～百数十ｎｍであってよい。

【0031】

また照明光の複数の波長帯域は、波長帯域ＮＶを含む。ＮＶを第２波長帯域とする。波長帯域ＮＶは紫色帯域に属しており、波長帯域ＮＶの光は、ＮＢＩ（Narrow Band Imaging）で用いられる紫色狭帯域光である。紫色帯域は例えば４００ｎｍ～４３０ｎｍである。

【0032】

具体的には、波長帯域ＮＶのピーク波長は４１５ｎｍであり、吸光係数ＨＢＣにおける極大に相当する。波長帯域ＮＶは狭帯域であり、その幅は、例えば数ｎｍ～数１０ｎｍである。なお、波長帯域ＮＶのピーク波長は、吸光係数ＨＢＣにおける極大を含む所定波長範囲にあればよく、例えば４００ｎｍ～４３０ｎｍの範囲内であればよい。

【0033】

また照明光の複数の波長帯域は、波長帯域ＮＧを含む。ＮＧを第３波長帯域とする。波長帯域ＮＧの光は、ＮＢＩで用いられる緑色狭帯域光である。

【0034】

具体的には、波長帯域ＮＧのピーク波長は５４０ｎｍである。波長帯域ＮＧは狭帯域であり、その幅は、例えば数ｎｍ～数１０ｎｍである。なお、波長帯域ＮＧのピーク波長は、緑色帯域に属していればよく、例えば５３０ｎｍ～５５０ｎｍの範囲内であればよい。

【0035】

波長帯域ＮＶ、ＮＧの光量比は任意であってよい。例えば、波長帯域ＮＶ、ＮＧの光量比はＮＢＩに適する光量比に設定される。また波長帯域ＮＶ、ＮＲの光量比、及び波長帯域ＮＧ、ＮＲの光量比は任意であってよい。これらの光量比は、後述する質感強調に適する光量比に設定されればよい。

【0036】

なお、上記ではＮＢＩと波長帯域ＮＲの光とを組み合わせているが、これに限定されず、白色光と波長帯域ＮＲの光とを組み合わせてもよい。また、上記では波長帯域ＮＲの光として６３０ｎｍ～６５０ｎｍの光を用いているが、これに限定されず、例えば白色光をＲＧＢのＬＥＤで発生する場合において、その赤色光を波長帯域ＮＲの光として用いてもよい。

【0037】

以上の本実施形態によれば、光源部１００は、緑色帯域に比べてヘモグロビンの吸光が小さい波長帯域ＮＲを含む複数の波長帯域の光を、発生する。波長帯域ＮＲではヘモグロビンの吸光が小さいので、波長帯域ＮＲの光により撮像された画像において、血管情報が抑制されると共に、相対的に質感の情報が多くなる。即ち、血管情報と分離して質感の情報を取得することができる。そして、この質感の情報を用いることで、内視鏡画像において質感の視認性を向上することが可能となる。

【0038】

例えばＮＢＩにおいて粘膜表層の血管を高コントラストに観察できるが、白色光観察に比べて粘膜の質感が視認しにくい傾向がある。従来は、白色光観察とＮＢＩを切り替えることで粘膜の質感を確認していたが、本実施形態では、ＮＢＩ画像において粘膜の質感を強調することが可能となる。なお後述するように、白色光観察においても、波長帯域ＮＲの光を用いることで粘膜の質感を強調することが可能である。

【0039】

以下、質感強調手法の詳細について、処理部３１０の動作説明と共に説明する。

【0040】

３．第１実施形態
図４は、第１実施形態における処理部３１０の構成例である。処理部３１０は、凹凸検出部３１１と光源制御部３１２と強調画像生成部３１３とを含む。なお以下では被写体が膀胱である場合を例に説明するが、被写体は他の臓器又は組織であってもよい。

【0041】

光源制御部３１２は、光源部１００に含まれる光源ＬＤＶ、ＬＤＧ、ＬＤＲ、ＬＤＷの発光タイミング及び光量を制御する。

【0042】

具体的には、ユーザが外部Ｉ／Ｆ部５００を介してＷＬＩモードを設定したとき、外部Ｉ／Ｆ部５００からのモード設定信号に基づいて光源制御部３１２は光源ＬＤＷを発光させる。また、ユーザが外部Ｉ／Ｆ部５００を介してＮＢＩモードを設定したとき、外部Ｉ／Ｆ部５００からのモード設定信号に基づいて光源制御部３１２は光源ＬＤＶ、ＬＤＧ、ＬＤＲを発光させる。第１実施形態では、ＮＢＩモードが設定されたものとする。

【0043】

凹凸検出部３１１は、波長帯域ＮＲの光による第１画像を撮像信号から取得し、その第１画像から粘膜の凹凸変化情報を検出する。強調画像生成部３１３は、撮像信号による撮像画像において凹凸変化情報に基づいて粘膜の凹凸変化を強調することで表示画像を生成する。

【0044】

このようにすれば、波長帯域ＮＲにおいてヘモグロビンの吸光が小さいので、その波長帯域ＮＲの光による第１画像では、血管情報が抑制されると共に相対的に質感の情報が多くなる。そして、この第１画像から粘膜の凹凸変化情報を検出することで、ＮＢＩの撮像画像において粘膜の凹凸変化を強調できる。これにより、ＮＢＩ観察において粘膜表層血管の観察と粘膜質感の観察とを両立できる。また、第１画像では血管情報から分離して質感の情報が得られるので、画像における血管と質感の周波数帯域が重複するような場合であっても、質感のみを適切に強調できる。

【0045】

ここで、第１画像は、撮像信号のうち波長帯域ＮＲに対応する信号から生成される。具体的には、ベイヤ型カラーイメージセンサを用いた場合、波長帯域ＮＲはＲ画素により撮像される。この場合、凹凸検出部３１１は、撮像信号のＲ信号から第１画像を取得する。或いはモノクロイメージセンサを用いた面順次方式では、凹凸検出部３１１は、光源ＬＤＲが発光したときの撮像信号から第１画像を取得する。

【0046】

粘膜の凹凸変化情報とは、第１画像に含まれる情報のうち粘膜の凹凸変化に対応した情報であり、視覚的な質感に影響する情報である。例えば、所望の凹凸変化よりも大局的な形状情報が除かれたものである。大局的な形状とは、粘膜表面の微細な構造ではなく、粘膜全体のうねりやヒダなどのことである。具体的には、粘膜の凹凸変化は、病変に伴って生じた粘膜表面の微細構造である。例えば膀胱粘膜に発生したガンにおいて、粘膜細胞に細かい剥がれが生じるが、その剥がれによる凹凸が粘膜の質感に影響を与える。

【0047】

図４に示すように、凹凸検出部３１１は高周波成分算出部３１４を含む。また強調画像生成部３１３は撮像画像生成部３１５と合成部３１６とを含む。以下、図５を用いて、第１実施形態における画像処理の手順を説明する。

【0048】

図３で説明したように、第１画像を取得するための波長帯域ＮＲは、赤色帯域に属する。即ち、図５において、Ｒ画像ＩＭＲが第１画像に相当する。高周波成分算出部３１４は、Ｒ画像ＩＭＲから高周波成分を算出することで、凹凸変化情報ＩＭＴＸを検出する。

【0049】

具体的には、高周波成分算出部３１４は、Ｒ画像ＩＭＲに対してハイパスフィルター処理又はバンドパスフィルター処理を行うことで高周波成分を算出する。高周波成分は、Ｒ画像ＩＭＲの各画素に対して算出される。ハイパスフィルター処理又はバンドパスフィルター処理の通過帯域は、所望の質感に関連する凹凸情報の周波数帯域を含むように設定される。この通過帯域は、粘膜表層血管の周波数帯域を含んでいてもよい。

【0050】

被写体からの戻り光には、被写体の表面で反射された光と、被写体内部において散乱された光とが含まれている。赤色帯域では、緑色帯域に比べてヘモグロビンの吸光係数が小さい。このような赤色帯域の光は、被写体内部において血管に吸収されにくいので、Ｒ画像ＩＭＲは被写体表面の凹凸変化情報を相対的に多く含むことになる。本実施形態では、この凹凸変化情報を用いることで粘膜の質感を強調できる。なお、凹凸検出部３１１が凹凸変化情報を検出する手法は、上述した方法でＲ画像ＩＭＲから高周波成分を算出する手法に限定されない。例えば、凹凸検出部３１１は、公知のモフォロジー処理等によって粘膜表面の凹凸変化情報を検出してもよい。

【0051】

撮像画像生成部３１５は、複数の波長帯域の光による複数の画像を用いて撮像画像を生成する。合成部３１６は、複数の画像に含まれるＶ画像ＩＭＶに対して凹凸変化情報ＩＭＴＸを合成することで、凹凸変化を強調する。

【0052】

具体的には撮像画像生成部３１５は、Ｖ画像ＩＭＶとＧ画像ＩＭＧとを撮像画像として生成する。Ｖ画像ＩＭＶは、波長帯域ＮＶの光による第２画像であり、Ｇ画像ＩＭＧは、波長帯域ＮＧの光による第３画像である。撮像画像を、強調処理のベースとなるベース画像とも呼ぶ。合成部３１６は、各画素においてＶ画像ＩＭＶと凹凸変化情報ＩＭＴＸとを所定比率で加算することで、強調後のＶ画像ＩＭＶＴＸを生成する。

【0053】

このようにすれば、Ｒ画像ＩＭＲとは異なる画像であるＶ画像ＩＭＶに対して凹凸変化情報ＩＭＴＸを合成することで、Ｖ画像ＩＭＶの凹凸変化を強調できる。そして、Ｖ画像ＩＭＶを含む複数の画像を用いて撮像画像を生成することで、質感が強調された表示画像が得られる。

【0054】

なお、上記ではＶ画像ＩＭＶを第２画像としたが、第２画像は、波長帯域ＮＶ以外の第２波長帯域の光による画像であればよい。後述するように、白色光観察における質感強調では、第２画像は、白色光画像におけるＧ画像である。

【0055】

合成部３１６は、強調後のＶ画像ＩＭＶＴＸを、表示画像のＧチャンネル及びＢチャンネルに入力する。また合成部３１６は、Ｇ画像ＩＭＧを表示画像のＲチャンネルに入力する。

【0056】

このようにすれば、表示画像のＧチャンネルに入力されるＶ画像の凹凸変化が強調される。Ｇチャンネルは輝度に対する寄与が大きいため、輝度における凹凸変化が強調されることになる。これにより、粘膜の質感を効果的に強調できる。またＶ画像をＧ、Ｂチャンネルに入力し、Ｇ画像をＲチャンネルに入力することで、ＮＢＩ画像を構成できる。即ち第１実施形態によれば、ＮＢＩ画像における粘膜質感の視認性を向上できる。

【0057】

図５に示す病変部は、例えば膀胱粘膜に発生したガンである。膀胱粘膜に発生したガンでは表層血管が密集しているため、ＮＢＩ画像において周囲の正常粘膜とは色又は輝度が異なる領域として見える。このガンの領域では紫色狭帯域光の吸収が大きいため、表示画像において輝度成分であるＧチャンネルの信号値が小さくなり、粘膜の質感が視認しにくい。第１実施形態によれば、Ｖ画像、即ち表示画像のＧチャンネルに凹凸変化情報が合成されるので、粘膜の質感を視認しやすくなる。これにより、ＮＢＩによる膀胱観察において、ヘモグロビン吸光による病変の視認性と、質感による病変の視認性とを、両立できる。

【0058】

４．第２実施形態
図６は、第２実施形態における画像処理の手順を説明する図である。なお第２実施形態における処理部３１０の構成は図４の第１実施形態と同様である。

【0059】

第２実施形態では、照明光は白色光である。即ち、光源制御部３１２は、光源ＬＤＷを発光させる。また第２実施形態では、白色光における赤色帯域、緑色帯域、青色帯域が、それぞれ第１波長帯域、第２波長帯域、第３波長帯域である。

【0060】

撮像画像生成部３１５は、撮像信号から白色光画像を生成する。具体的には、撮像画像生成部３１５は、撮像信号のＲチャンネルからＲ画像ＷＩＭＲを生成し、撮像信号のＧチャンネルからＧ画像ＷＩＭＧを生成し、撮像信号のＢチャンネルからＢ画像ＷＩＭＢを生成する。Ｒ画像ＷＩＭＲは赤色帯域による第１画像であり、Ｇ画像ＷＩＭＧは緑色帯域による第２画像であり、Ｂ画像ＷＩＭＢは青色帯域による第３画像である。

【0061】

凹凸検出部３１１は、白色光画像である撮像画像のＲチャンネルから凹凸変化情報ＷＩＭＴＸを検出する。

【0062】

具体的には、高周波成分算出部３１４は、Ｒ画像ＷＩＭＲから高周波成分を算出することで、凹凸変化情報ＷＩＭＴＸを検出する。高周波成分算出部３１４は、Ｒ画像ＷＩＭＲに対してハイパスフィルター処理又はバンドパスフィルター処理を行うことで高周波成分を算出する。高周波成分は、Ｒ画像ＷＩＭＲの各画素に対して算出される。ハイパスフィルター処理又はバンドパスフィルター処理の通過帯域は、所望の質感に関連する凹凸情報の周波数帯域を含むように設定される。この通過帯域は、粘膜表層血管の周波数帯域を含んでいてもよい。

【0063】

合成部３１６は、撮像画像のＧチャンネルに凹凸変化情報ＷＩＭＴＸを合成することで凹凸変化を強調する。

【0064】

具体的には、合成部３１６は、各画素においてＧ画像ＷＩＭＧと凹凸変化情報ＷＩＭＴＸとを所定比率で加算することで、強調後のＧ画像ＷＩＭＧＴＸを生成する。合成部３１６は、強調後のＧ画像ＷＩＭＧＴＸを、表示画像のＧチャンネルに入力する。また合成部３１６は、Ｒ画像ＷＩＭＲを表示画像のＲチャンネルに入力し、Ｂ画像ＷＩＭＢを表示画像のＢチャンネルに入力する。

【0065】

第２実施形態によれば、白色光観察において粘膜質感の視認性を向上できる。上述したように、赤色帯域では、緑色帯域に比べてヘモグロビンの吸光係数が小さいため、被写体内部において血管に吸収されにくい。このため白色光画像におけるＲ画像ＷＩＭＲは、被写体表面の凹凸変化情報を相対的に多く含むことになる。本実施形態では、この凹凸変化情報を用いることで粘膜の質感を強調できる。

【0066】

また第２実施形態によれば、表示画像のＧチャンネルに入力されるＧ画像ＷＩＭＧの凹凸変化が強調される。これにより、輝度における凹凸変化が強調されるので、粘膜の質感を効果的に強調できる。

【0067】

図６に示す病変部は、図５と同様に、膀胱粘膜に発生したガンである。白色光観察ではＮＢＩ観察に比べると、膀胱粘膜に発生したガンにおける粘膜質感の視認性が高い。しかしながら、輝度成分であるＧチャンネルではヘモグロビンの吸光が大きいため、粘膜の質感情報が相対的に抑制されている可能性がある。第２実施形態によれば、ヘモグロビンの吸光が小さいＲチャンネルの凹凸変化情報を用いてＧチャンネルの質感を強調できるので、白色光観察において更に粘膜質感の視認性を高めることができる。

【0068】

５．第３実施形態
図７は、第３実施形態における処理部３１０の構成例である。第３実施形態では、強調画像生成部３１３が血管像抑制部３１７を更に含む。なお以下では第１実施形態と異なる部分を主に説明し、第１実施形態と同じ部分については適宜に説明を省略する。

【0069】

図８は、第３実施形態における画像処理の手順を説明する図である。第３実施形態ではＮＢＩモードが設定される。即ち、光源制御部３１２は光源ＬＤＶ、ＬＤＧ、ＬＤＲを発光させる。紫色狭帯域光、緑色狭帯域光、赤色光を発生させる。

【0070】

血管像抑制部３１７は、撮像画像における血管像を抑制する。具体的には、血管像抑制部３１７は、血管像を含むＶ画像ＩＭＶの高周波成分を算出し、その高周波成分をＶ画像ＩＭＶから減算することで、血管像を抑制する。血管像抑制後のＶ画像をＩＭＶＬＳとする。

【0071】

具体的には、血管像抑制部３１７は、Ｖ画像ＩＭＶに対してハイパスフィルター処理又はバンドパスフィルター処理を行うことで高周波成分を算出する。高周波成分は、Ｖ画像ＩＭＶの各画素に対して算出される。ハイパスフィルター処理又はバンドパスフィルター処理の通過帯域は、粘膜表層血管の周波数帯域を含むように設定される。

【0072】

合成部３１６は、血管像抑制後のＶ画像ＩＭＶＬＳと、Ｒ画像ＩＭＲから抽出された凹凸変化情報ＩＭＴＸとを加算し、質感強調後の画像ＩＭＶＬＴを出力する。合成部３１６は、質感強調後の画像ＩＭＶＬＴを表示画像のＧチャンネル及びＢチャンネルに入力し、Ｇ画像ＩＭＧを表示画像のＲチャンネルに入力する。

【0073】

上述したように、膀胱粘膜に発生したガンは、ＮＢＩ画像において周囲の正常粘膜とは色又は輝度が異なる領域として見える。一方、正常粘膜には、ガンに比べると低い密度で表層血管が存在しており、各血管が分離した状態となっている。このためＶ画像ＩＭＶから高周波成分を抽出することで、正常粘膜における表層血管の情報を抽出できる。この表層血管の情報をＶ画像ＩＭＶから減算することで、Ｖ画像ＩＭＶにおいてガンの領域を残しつつ正常粘膜の表層血管を抑制できる。これにより、膀胱のＮＢＩ観察において不要な情報である微細血管を抑制できるので、病変部における粘膜質感の視認性を更に向上できる。

【0074】

なお、処理部３１０を含む制御装置３００は以下のように構成されてもよい。即ち、制御装置３００は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。

【0075】

プロセッサは、緑色帯域に比べてヘモグロビンの吸光が小さい第１波長帯域を含む複数の波長帯域の光を、照明光として光源部１００に発生させる。プロセッサは、照明光が照射された生体からの戻り光を撮像した撮像部２００から撮像信号を受信する。プロセッサは、第１波長帯域の光による第１画像を撮像信号から取得し、その第１画像から粘膜の凹凸変化情報を検出する。そしてプロセッサは、撮像信号による撮像画像において凹凸変化情報に基づいて粘膜の凹凸変化を強調することで表示画像を生成する。

【0076】

プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等の集積回路装置でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。

【0077】

メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部３１０の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

【0078】

また、処理部３１０が行う処理を実現するプログラムは、例えばコンピュータにより読み取り可能な媒体である情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリ（ＲＯＭ）などにより実現できる。半導体メモリは例えばＲＯＭである。処理部３１０は、情報記憶媒体に格納されるプログラムとデータに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、処理部３１０としてコンピュータを機能させるためのプログラムが記憶される。コンピュータは、入力装置、及び処理部、記憶部、出力部を備える装置である。

【0079】

以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。更に、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

【符号の説明】

【0080】

１００ 光源部、１１０ 駆動部、１２０ 合波部、２００ 撮像部、２１０ ライトガイド、２２０ 照明レンズ、２３０ 対物レンズ、２４０ 撮像素子、３００ 制御装置、３１０ 処理部、３１１ 凹凸検出部、３１２ 光源制御部、３１３ 強調画像生成部、３１４ 高周波成分算出部、３１５ 撮像画像生成部、３１６ 合成部、３１７ 血管像抑制部、３３０ 撮像信号受信部、４００ 表示部、５００ 外部Ｉ／Ｆ部、ＨＢＣ ヘモグロビンの吸光係数、ＩＭＧ Ｇ画像、ＩＭＲ Ｒ画像、ＩＭＴＸ 凹凸変化情報、ＩＭＶ Ｖ画像、ＬＤＧ，ＬＤＲ，ＬＤＶ，ＬＤＷ 光源、ＮＧ，ＮＲ，ＮＶ 波長帯域、ＷＩＭＢ Ｂ画像、ＷＩＭＧ Ｇ画像、ＷＩＭＲ Ｒ画像、ＷＩＭＴＸ 凹凸変化情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】