特許 7090699 内視鏡装置及び内視鏡装置の作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-16

(45)【発行日】2022-06-24

(54)【発明の名称】内視鏡装置及び内視鏡装置の作動方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20220617BHJP

   A61B 1/00 20060101ALI20220617BHJP

【ＦＩ】

A61B1/045 610

A61B1/00 513

A61B1/045 618

【請求項の数】 17

(21)【出願番号】P 2020518894

(86)(22)【出願日】2018-05-17

(86)【国際出願番号】 JP2018019038

(87)【国際公開番号】W WO2019220583

(87)【国際公開日】2019-11-21

【審査請求日】2020-10-29

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(74)【代理人】

【識別番号】100166523

【弁理士】

【氏名又は名称】西河 宏晃

(72)【発明者】

【氏名】高橋 順平

(72)【発明者】

【氏名】伊藤 遼佑

(72)【発明者】

【氏名】谷川 洋平

(72)【発明者】

【氏名】塚越 貴之

(72)【発明者】

【氏名】庄野 裕基

【審査官】牧尾 尚能

(56)【参考文献】

【文献】特開２０１７－１９２５６５（ＪＰ，Ａ）

【文献】特開２０１７－２０２２４１（ＪＰ，Ａ）

【文献】特開２０１６－０６７７７５（ＪＰ，Ａ）

【文献】国際公開第２０１７／０５１４５５（ＷＯ，Ａ１）

【文献】特開２０１７－０８６３０３（ＪＰ，Ａ）

【文献】特開２００５－２１８７６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－ １／３２

Ｇ０２Ｂ ２３／２４－２３／２６

(57)【特許請求の範囲】

【請求項1】

青色の波長帯域に含まれる第１波長帯域の光と、緑色の波長帯域に含まれる第１狭帯域の光と、ヘモグロビンの吸光係数が前記第１狭帯域と同じ第２狭帯域の光とを、照明光として出力する光源と、
前記照明光が照射された被写体からの戻り光を撮像することで、前記第１波長帯域における前記被写体の画像である第１画像と、前記第１狭帯域における前記被写体の画像である第１狭帯域画像と、前記第２狭帯域における前記被写体の画像である第２狭帯域画像とを取得する撮像部と、
前記第１狭帯域画像と前記第２狭帯域画像の比較結果に基づいて、前記被写体の散乱特性に関する情報である散乱特性情報を取得する散乱特性情報取得部と、
前記第１画像、前記第１狭帯域画像、及び前記散乱特性情報を用いて観察画像を生成する画像生成部と、
を含み、
前記散乱特性情報取得部は、
前記第１狭帯域画像の画素値と前記第２狭帯域画像の画素値の比に基づいて、前記散乱特性情報を取得するか、または
前記第１狭帯域画像の画素値と前記第２狭帯域画像の画素値の減算結果に基づいて、前記散乱特性情報を取得することを特徴とする内視鏡装置。

【請求項2】

請求項１において、
前記散乱特性は、前記被写体が含む細胞核の散乱特性であることを特徴とする内視鏡装置。

【請求項3】

請求項１において、
前記散乱特性情報取得部は、
前記比または前記減算結果を画素値とする散乱特性画像を前記散乱特性情報として取得し、取得した前記散乱特性画像に対して補正処理を行い、
前記画像生成部は、
補正処理後の前記散乱特性画像を用いて前記観察画像を生成することを特徴とする内視鏡装置。

【請求項4】

請求項１において、
前記画像生成部は、
前記第１画像及び前記第１狭帯域画像から前記観察画像を生成し、前記ヘモグロビンの含有量に応じて制御した強調量の強調処理を、前記観察画像に対して行うことを特徴とする内視鏡装置。

【請求項5】

請求項４において、
前記画像生成部は、
前記観察画像において前記ヘモグロビンの前記含有量が多い領域ほど、前記強調量を大きくすることを特徴とする内視鏡装置。

【請求項6】

請求項１において、
前記画像生成部は、
前記第１画像及び前記第１狭帯域画像から前記観察画像を生成し、観察シーンに応じて強調量又は内容を制御した強調処理を、前記観察画像に対して行うことを特徴とする内視鏡装置。

【請求項7】

請求項６において、
前記画像生成部は、
第１モードにおいて、前記第１画像及び前記第１狭帯域画像から前記観察画像を生成し、前記観察画像に対して第１内容の強調処理を行い、
第２のモードにおいて、白色光の波長帯域における前記被写体の画像である第２観察画像を生成し、前記第２観察画像に対して、前記第１内容とは異なる第２内容の強調処理を行うことを特徴とする内視鏡装置。

【請求項8】

請求項６において、
前記画像生成部は、
前記被写体の動き量が大きいほど、前記強調量を小さくすることを特徴とする内視鏡装置。

【請求項9】

請求項６において、
前記画像生成部は、
前記被写体を拡大撮影する拡大観察時において、前記拡大観察以外のときに比べて前記強調量を小さくすることを特徴とする内視鏡装置。

【請求項10】

請求項６において、
前記画像生成部は、
前記観察画像において生体以外が写る領域に対する前記強調量を、前記観察画像において生体が写る領域に対する前記強調量よりも小さくすることを特徴とする内視鏡装置。

【請求項11】

請求項１において、
前記画像生成部は、
前記観察画像を構成する複数のチャンネル画像のうち特定のチャンネル画像に対して強調処理を行うことを特徴とする内視鏡装置。

【請求項12】

請求項１において、
前記画像生成部は、
前記散乱特性情報に基づいて前記観察画像に対して色変換処理を行うことを特徴とする内視鏡装置。

【請求項13】

請求項１において、
前記第１狭帯域の光は、前記ヘモグロビンの前記吸光係数が極大値となる波長の光であることを特徴とする内視鏡装置。

【請求項14】

請求項１３において、
前記第１狭帯域の光は、波長５４０ｎｍの光であり、
前記第２狭帯域の光は、波長５７０ｎｍ又は４５０ｎｍの光であることを特徴とする内視鏡装置。

【請求項15】

請求項１において、
前記第１狭帯域の光は、前記ヘモグロビンの前記吸光係数が極小値となる波長の光であることを特徴とする内視鏡装置。

【請求項16】

請求項１５において、
前記第１狭帯域の光は、波長５００ｎｍの光であり、
前記第２狭帯域の光は、波長５３０ｎｍの光であることを特徴とする内視鏡装置。

【請求項17】

青色の波長帯域に含まれる第１波長帯域の光と、緑色の波長帯域に含まれる第１狭帯域の光と、ヘモグロビンの吸光係数が前記第１狭帯域と同じ第２狭帯域の光とを、照明光として出力し、
前記照明光が照射された被写体からの戻り光を撮像することで、前記第１波長帯域における前記被写体の画像である第１画像と、前記第１狭帯域における前記被写体の画像である第１狭帯域画像と、前記第２狭帯域における前記被写体の画像である第２狭帯域画像とを取得し、
前記第１狭帯域画像の画素値と前記第２狭帯域画像の画素値の比に基づくか、または、前記第１狭帯域画像の画素値と前記第２狭帯域画像の画素値の減算結果に基づいて、前記被写体の散乱特性に関する情報である散乱特性情報を取得し、
前記第１画像、前記第１狭帯域画像、及び前記散乱特性情報を用いて観察画像を生成することを特徴とする内視鏡装置の作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡装置及び内視鏡装置の作動方法等に関する。

【背景技術】

【0002】

従来から内視鏡装置を用いて、例えば消化管又は膀胱内等の観察が行われている。また、ヘモグロビンの吸光係数が高い狭帯域光を照明光として生体に照射することで、ヘモグロビンが多く存在する領域を視認しやすくするＮＢＩ（Narrow Band Imaging）が知られている。ＮＢＩを用いることで、炎症及び早期癌等がブラウニッシュエリア（茶色がかった領域）として見え、炎症及び早期癌等の視認性が高くなる。ＮＢＩの技術は、例えば特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－６８１１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

炎症は充血しているためヘモグロビンが多い領域となっており、早期癌は毛細血管の密度が高いためヘモグロビンが多い領域となっている。このため、従来のＮＢＩでは、炎症及び早期癌はいずれもブラウニッシュエリアとして視認され、炎症と早期癌を識別することが困難である。なお、炎症に限らず、出血等のヘモグロビンが多い領域であればブラウニッシュエリアとして視認される可能性があり、従来のＮＢＩでは早期癌を早期癌以外のブラウニッシュエリアと区別することが困難である。

【0005】

本発明の幾つかの態様によれば、ＮＢＩにおいて早期癌を早期癌以外のブラウニッシュエリアと区別できる内視鏡装置、内視鏡装置の作動方法及びプログラム等を提供できる。

【課題を解決するための手段】

【0006】

本発明の一態様は、青色の波長帯域に含まれる第１波長帯域の光と、緑色の波長帯域に含まれる第１狭帯域の光と、ヘモグロビンの吸光係数が前記第１狭帯域と同じ第２狭帯域の光とを、照明光として出力する光源と、前記照明光が照射された被写体からの戻り光を撮像することで、前記第１波長帯域における前記被写体の画像である第１画像と、前記第１狭帯域における前記被写体の画像である第１狭帯域画像と、前記第２狭帯域における前記被写体の画像である第２狭帯域画像とを取得する撮像部と、前記第１狭帯域画像と前記第２狭帯域画像の比較結果に基づいて、前記被写体の散乱特性に関する情報である散乱特性情報を取得する散乱特性情報取得部と、前記第１画像、前記第１狭帯域画像、及び前記散乱特性情報を用いて観察画像を生成する画像生成部と、を含む内視鏡装置に関係する。

【0007】

本発明の一態様によれば、第１画像、第１狭帯域画像及び散乱特性情報を用いて観察画像を生成することで、散乱特性情報に基づく強調処理を観察画像に対して行うことができる。このとき、第１狭帯域画像と第２狭帯域画像の比較結果に基づいて散乱特性情報を取得することで、第１狭帯域における散乱係数と第２狭帯域における散乱係数の比較結果を散乱特性情報として取得できる。第１、第２狭帯域においてヘモグロビンの吸光係数は同一なので、ヘモグロビンの影響を受けずに散乱特性情報を取得できる。早期癌の方が炎症部位よりも散乱係数の勾配が大きいため、散乱特性情報を用いることで早期癌と炎症部位と識別できるようになる。

【0008】

また本発明の他の態様は、青色の波長帯域に含まれる第１波長帯域の光と、緑色の波長帯域に含まれる第１狭帯域の光と、ヘモグロビンの吸光係数が前記第１狭帯域と同じ第２狭帯域の光とを、照明光として出力し、前記照明光が照射された被写体からの戻り光を撮像することで、前記第１波長帯域における前記被写体の画像である第１画像と、前記第１狭帯域における前記被写体の画像である第１狭帯域画像と、前記第２狭帯域における前記被写体の画像である第２狭帯域画像とを取得し、前記第１狭帯域画像と前記第２狭帯域画像の比較結果に基づいて、前記被写体の散乱特性に関する情報である散乱特性情報を取得し、前記第１画像、前記第１狭帯域画像、及び前記散乱特性情報を用いて観察画像を生成する内視鏡装置の作動方法に関係する。

【0009】

また本発明の更に他の態様は、青色の波長帯域に含まれる第１波長帯域の光と、緑色の波長帯域に含まれる第１狭帯域の光と、ヘモグロビンの吸光係数が前記第１狭帯域と同じ第２狭帯域の光とが、照明光として出力されるときに、前記照明光が照射された被写体からの戻り光を撮像することで、前記第１波長帯域における前記被写体の画像である第１画像と、前記第１狭帯域における前記被写体の画像である第１狭帯域画像と、前記第２狭帯域における前記被写体の画像である第２狭帯域画像とを取得し、前記第１狭帯域画像と前記第２狭帯域画像の比較結果に基づいて、前記被写体の散乱特性に関する情報である散乱特性情報を取得し、前記第１画像、前記第１狭帯域画像、及び前記散乱特性情報を用いて観察画像を生成するステップを、コンピュータに実行させるプログラムに関係する。

【図面の簡単な説明】

【0010】

【図1】従来のＮＢＩ技術を説明する図。

【図2】内視鏡装置の構成例。

【図3】内視鏡装置の詳細な構成例。

【図4】本実施形態のＮＢＩ観察において用いる狭帯域光を説明する図。

【図5】ヘモグロビンの吸光特性と被写体の散乱特性。

【図6】散乱特性情報を取得する手法を説明する図。

【図7】内視鏡装置が行う処理の手順を示すフローチャート。

【図8】強調量制御係数の第１特性例。

【図9】強調量制御係数の第２特性例。

【図10】狭帯域光の第１の変形例。

【図11】狭帯域光の第２の変形例。

【発明を実施するための形態】

【0011】

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

【0012】

１．内視鏡装置
図１は、従来のＮＢＩ技術を説明する図である。図１においてＨｂＯ_２は酸化ヘモグロビンの吸光特性を示し、Ｈｂは還元ヘモグロビンの吸光特性を示す。吸光特性は、吸光係数の周波数特性である。

【0013】

図１に示すように、内視鏡装置の光源は、波長４１０ｎｍを中心とする狭帯域光ＮＢと波長５４０ｎｍを中心とする狭帯域光ＮＧとを出力する。狭帯域光ＮＢは例えば波長帯域３９０ｎｍ～４４５ｎｍの光であり、狭帯域光ＮＧは例えば５３０ｎｍ～５５０ｎｍの光である。これらの狭帯域光は、血液中のヘモグロビンに吸収されやすい特性を有する。内視鏡装置の撮像部は、狭帯域光ＮＢ、ＮＧにより照明された被写体を撮像する。例えばカラー撮像素子を用いてＲＧＢ画像を撮像した場合、狭帯域光ＮＢの被写体像がＢチャンネル画像として得られ、狭帯域光ＮＧの被写体像がＧチャンネル画像として得られる。このＢチャンネルをＧチャンネル及びＢチャンネルに入力し、ＧチャンネルをＲチャンネルに入力することで、ＮＢＩ画像を生成する。

【0014】

ヘモグロビンの吸光係数は、波長５４０ｎｍよりも波長４１０ｎｍの方が大きい。このため、ヘモグロビン密度が高い血管等の領域において、狭帯域光ＮＢの吸収量が狭帯域光ＮＧの吸収量に比べて相対的に大きくなる。吸収量が大きい波長では被写体が暗く写るので、ＮＢＩ画像においてＧ、ＢチャンネルがＲチャンネルに比べて相対的に暗くなる。これにより、ＮＢＩ画像において、ヘモグロビン密度が高い血管等の領域が茶褐色に見える。この茶褐色に見える領域をブラウニッシュエリアと呼ぶ。内視鏡診断の分野では、このＮＢＩ画像により粘膜表層の毛細血管や粘膜微細模様の強調表示を実現する。ＮＢＩ画像は、例えば食道、大腸又は胃等の癌の診断において用いられる。

【0015】

しかしながら、従来のＮＢＩ技術では、ヘモグロビン密度が高い領域であればブラウニッシュエリアとして表示されてしまうため、ＮＢＩ画像において癌と癌以外のブラウニッシュエリアとを識別することが困難である。例えば、粘膜等が炎症を起こしている領域は、ＮＢＩ画像においてブラウニッシュエリアとなる場合がある。この場合、ＮＢＩ画像において炎症と癌のいずれもブラウニッシュエリアとして強調表示されてしまう。

【0016】

図２は、内視鏡装置１２の構成例である。内視鏡装置１２は処理部３００と撮像部２００と光源６１０とを含む。内視鏡装置１２は内視鏡システムとも呼ぶ。処理部３００は例えば処理装置又は制御装置である。撮像部２００はイメージャである。なお、撮像部２００は着脱可能であってもよい。

【0017】

光源６１０は、青色の波長帯域に含まれる第１波長帯域の光と、緑色の波長帯域に含まれる第１狭帯域の光と、ヘモグロビンの吸光係数が第１狭帯域と同じ第２狭帯域の光とを、照明光として出力する。例えば図４において、第１波長帯域の光は狭帯域光ＮＢであり、第１狭帯域の光は狭帯域光ＮＧ１であり、第２狭帯域の光は狭帯域光ＮＧ２である。

【0018】

撮像部２００は、照明光が照射された被写体からの戻り光を撮像する。撮像部２００は、第１波長帯域における被写体の画像である第１画像と、第１狭帯域における被写体の画像である第１狭帯域画像と、第２狭帯域における被写体の画像である第２狭帯域画像とを取得する。

【0019】

処理部３００は、散乱特性情報取得部３６１と画像生成部３６３とを含む。

【0020】

散乱特性情報取得部３６１は、第１狭帯域画像と第２狭帯域画像の比較結果に基づいて、被写体の散乱特性に関する情報である散乱特性情報を取得する。例えば図４においてＮＧ１画像が第１狭帯域画像であり、ＮＧ２画像が第２狭帯域画像である。ＮＧ１画像の画素値は第１狭帯域における散乱係数を表し、ＮＧ２画像の画素値は第２狭帯域における散乱係数を表す。このため、ＮＧ１画像の画素値とＮＧ２の画素値を比較することで、散乱特性情報を取得できる。

【0021】

画像生成部３６３は、第１画像、第１狭帯域画像、及び散乱特性情報を用いて観察画像を生成する。図７のステップＳ１４、Ｓ１５において説明するように、ＮＢ画像、ＮＧ１画像から観察画像を生成し、その観察画像を散乱特性情報に基づいて強調処理し、その強調処理後の観察画像を最終的な観察画像として出力する。図４においてＮＢ画像が第１画像である。

【0022】

本実施形態によれば、第１画像（ＮＢ画像）及び第１狭帯域画像（ＮＧ１画像）を用いて観察画像を生成することで、観察画像としてＮＢＩ画像を生成できる。そして散乱特性情報を用いることで、散乱特性情報に基づく強調処理をＮＢＩ画像に対して行うことができる。このとき、第１狭帯域画像（ＮＧ１画像）と第２狭帯域画像（ＮＧ２画像）の比較結果に基づいて散乱特性情報を取得することで、第１狭帯域における散乱係数と第２狭帯域における散乱係数の比較結果を散乱特性情報として取得できる。第１、第２狭帯域においてヘモグロビンの吸光係数は同一なので、ヘモグロビンの影響を受けずに散乱特性情報を取得できる。図６において説明するように、早期癌の方が炎症部位よりも散乱係数の勾配が大きい。このため、上記の散乱特性情報は、早期癌の領域とそれ以外の領域で異なった値となり、その散乱特性情報に基づいて観察画像を強調処理することで、早期癌をそれ以外の領域よりも強調することができる。これにより、ＮＢＩ画像において共にブラウニッシュエリアとして表示される早期癌と炎症部位とを、強調処理により識別できる。

【0023】

また散乱特性情報取得部３６１は、第１狭帯域における散乱特性と第２狭帯域における散乱特性の間の変化量を、散乱特性情報として取得する。

【0024】

例えば図６において、ＮＧ１画像の画素値とＮＧ２の画素値の差は散乱係数の勾配を表す。この勾配は、第１狭帯域における散乱特性と第２狭帯域における散乱特性の間の変化量である。この早期癌における勾配Δｓ２は炎症部位における勾配Δｓ１よりも大きい。

【0025】

本実施形態によれば、第１狭帯域における散乱特性と第２狭帯域における散乱特性の間の変化量を取得することで、その変化量に応じた強調処理を観察画像に対して実施できる。早期癌と炎症部位では散乱特性の変化量が異なるので、早期癌を炎症部位に比べて強調できる。

【0026】

また散乱特性は、被写体が含む細胞核の散乱特性である。

【0027】

図５において説明するように、生体内において細胞核を散乱体とするミー散乱が支配的である。ミー散乱は散乱体が大きいほど散乱係数が大きくなる。このため、上記の散乱特性情報を取得することで、早期癌と炎症部位とを識別することが可能となる。

【0028】

また散乱特性情報取得部３６１は、第１狭帯域画像の画素値と第２狭帯域画像の画素値の比に基づいて、散乱特性情報を取得する。

【0029】

下式（１）において説明するように、ＮＧ１画像の画素値ＰＮＧ１とＮＧ２画像の画素値ＰＮＧ２の比（ＰＮＧ１／ＰＮＧ２）に基づいて、散乱特性情報を取得する。

【0030】

上述したように、第１狭帯域画像（ＮＧ１画像）の画素値は第１狭帯域における散乱係数を表し、第２狭帯域画像（ＮＧ２画像）の画素値は第２狭帯域における散乱係数を表す。即ち、第１狭帯域画像の画素値と第２狭帯域画像の画素値の比は、第１狭帯域における散乱特性と第２狭帯域における散乱特性の間の変化量である。このため、第１狭帯域画像の画素値と第２狭帯域画像の画素値の比に基づいて、散乱特性情報を取得できる。

【0031】

また散乱特性情報取得部３６１は、第１狭帯域画像の画素値と第２狭帯域画像の画素値の減算結果に基づいて、散乱特性情報を取得する。

【0032】

下式（３）において説明するように、ＮＧ１画像の画素値ＰＮＧ１とＮＧ２画像の画素値ＰＮＧ２の差（ＰＮＧ１－ＰＮＧ２）に基づいて、散乱特性情報を取得する。

【0033】

第１狭帯域画像の画素値と第２狭帯域画像の画素値の減算結果は、第１狭帯域における散乱特性と第２狭帯域における散乱特性の間の変化量である。このため、第１狭帯域画像の画素値と第２狭帯域画像の画素値の減算結果比に基づいて、散乱特性情報を取得できる。

【0034】

また散乱特性情報取得部３６１は、第１狭帯域画像及び第２狭帯域画像に対して補正処理を行い、補正処理後の第１狭帯域画像と第２狭帯域画像に基づいて散乱特性情報を取得する。

【0035】

この補正処理は、例えば図７のステップＳ１１において行われる。ステップＳ１１では第１狭帯域画像と第２狭帯域画像から散乱特性情報を求める処理を説明しているが、その処理の前に、第１狭帯域画像及び第２狭帯域画像に対して補正処理を行う。

【0036】

例えば第１狭帯域画像及び第２狭帯域画像のノイズ等によって、散乱特性情報の品質が低下した場合、その散乱特性情報を用いて強調処理を行うと、その強調処理後の画像の品質が低下する可能性がある。この点、本実施形態によれば、補正処理後の第１狭帯域画像と第２狭帯域画像に基づいて散乱特性情報を取得するので、散乱特性情報の品質を向上できる。

【0037】

また散乱特性情報に対する補正処理は、第１狭帯域画像と第２狭帯域画像の間を位置合わせする位置合わせ処理、又は第１狭帯域画像及び第２狭帯域画像の明るさを補正する明るさ補正処理、又は第１狭帯域画像及び第２狭帯域画像からノイズを低減するノイズ低減処理である。

【0038】

面順次方式において第１狭帯域画像の撮像タイミングと第２狭帯域画像の撮像タイミングは異なっている。このためスコープ又は被写体が動いた場合には第１狭帯域画像と第２狭帯域画像の間に位置ずれが生じる。この位置ずれを位置合わせによって補正する。

【0039】

また内視鏡装置１２では画像の明るさを一定に保つ調光制御を行う。調光制御では照明光の明るさを制御するため、第１狭帯域画像と第２狭帯域画像の明るさが異なる場合がある。また、面順次方式により撮像する場合、位置ずれにより第１狭帯域画像と第２狭帯域画像の明るさが異なる場合がある。狭帯域光ＮＧ１、ＮＧ２はヘモグロビンの吸光係数が同じであるが、上記の理由により画像の明るさが異なった場合、散乱特性情報がヘモグロビンの影響を受けてしまい、正確な散乱情報を取得できない。本実施形態では、第１狭帯域画像及び第２狭帯域画像の明るさを補正することで、第１狭帯域画像及び第２狭帯域画像の明るさを同じにする。例えば、画像全体における輝度値の平均値を同じにする。これにより、ヘモグロビンの影響を受けない散乱特性情報を取得できる。

【0040】

また第１狭帯域画像及び第２狭帯域画像がノイズを含むと、それらの画像から生成する散乱特性情報にもノイズが生じる。この散乱特性情報に基づいて強調処理を行うと、例えば早期癌等の強調領域にノイズが発生する。本実施形態では、第１狭帯域画像及び第２狭帯域画像からノイズを低減することで、強調領域のノイズを低減できる。ノイズ低減処理は、例えば画像に対するローパスフィルター処理である。

【0041】

また散乱特性情報取得部３６１は、第１狭帯域における散乱特性と第２狭帯域における散乱特性の間の変化量を画素値とする散乱特性画像を、散乱特性情報として取得し、取得した散乱特性画像に対して補正処理を行う。画像生成部３６３は、補正処理後の散乱特性画像を用いて観察画像を生成する。

【0042】

散乱特性画像は、例えば下式（１）のＰＳＩを画素値とする画像である。なお、散乱特性画像は、散乱特性情報が２次元の各位置で取得されるという意味である。即ち、観察画像の各画素位置に対して変化量が割り当てられているという意味であり、基本的には内部処理に用いるデータであって、表示用の画像ではない。

【0043】

本実施形態によれば、２次元情報である散乱特性画像を取得することで、撮像画像内の各位置における散乱特性を取得できる。これにより、早期癌の散乱特性を示す領域に対して散乱特性情報に基づく強調処理を行うことができる。また、散乱特性画像の品質は、その散乱特性画像に基づく強調処理に対して影響を与える。本実施形態によれば、補正処理後の散乱特性情報に基づいて強調処理が行われるので、強調処理の品質を向上できる。

【0044】

また散乱特性画像に対する補正処理は、散乱特性画像からノイズを低減するノイズ低減処理、又は散乱特性画像を２値化する２値化処理である。

【0045】

ノイズを含む散乱特性情報に基づいて強調処理を行うと、例えば早期癌等の強調領域にノイズが発生する。本実施形態では、散乱特性画像からノイズを低減することで、強調領域のノイズを低減できる。ノイズ低減処理は、例えば画像に対するローパスフィルター処理である。

【0046】

また２値化処理において、例えば散乱特性画像の画素値が閾値より大きい場合に画素値を「１」とし、散乱特性画像の画素値が閾値より小さい場合に画素値を「０」とする。なお、２値化の値は１、０に限定されない。これにより、早期癌以外の領域では画素値が「０」となるので、早期癌以外の領域が強調されなくなる。これにより、早期癌の領域を明瞭に強調できる。また、強調する必要がない早期癌以外の領域において強調量を抑制することで、強調処理によるノイズの増加を防ぐことができる。

【0047】

また画像生成部３６３は、第１画像及び第１狭帯域画像から観察画像を生成し、ヘモグロビンの含有量に応じて制御した強調量の強調処理を、観察画像に対して行う。

【0048】

具体的には、図７のステップＳ１３において説明するように、Ｒ画素値／Ｇ画素値が大きいほど強調量制御係数を大きくする。例えば毛細血管の密度が高い領域等、ヘモグロビンの含有量が多い領域は、Ｒ画素値が大きいブラウニッシュエリアである。Ｒ画素値／Ｇ画素値を指標とすることで、ブラウニッシュエリア以外の領域における強調量を相対的に小さくできる。ブラウニッシュエリア以外の領域を強調してもノイズが増えるだけなので、ブラウニッシュエリア以外の領域において強調量を抑制することで、ノイズを低減できる。

【0049】

また画像生成部３６３は、観察画像においてヘモグロビンの含有量が多い領域ほど、強調量を大きくする。

【0050】

上述の通り、ヘモグロビンの含有量が多いほどＲ画素値／Ｇ画素値が大きくなる。図８に示すように、Ｒ画素値／Ｇ画素値を指標として、その指標が大きいほど強調量制御係数を大きくし、その制御量制御係数を散乱特性画像の画素値に乗算する。下式（７）で説明するように、制御量制御係数を散乱特性画像の画素値に乗算した値ＥＡＭによって強調処理を行う。

【0051】

強調を行いたい早期癌はブラウニッシュエリアであり、ヘモグロビンの含有量が多い。このため、観察画像においてヘモグロビンの含有量が多い領域ほど、強調量を大きくすることで、ブラウニッシュエリアである早期癌を強調できる。また相対的に、ブラウニッシュエリア以外の領域における強調を抑制できる。

【0052】

また画像生成部３６３は、第１画像及び第１狭帯域画像から観察画像を生成し、観察シーンに応じて強調量又は内容を制御した強調処理を、観察画像に対して行う。

【0053】

観察シーンは、例えば内視鏡装置に設定された観察モード、又は画像内における被写体の状態、又はユーザが用いている観察手法である。観察シーンが異なれば、必要となる強調処理の内容又は強調量が異なる。本実施形態によれば、観察シーンに応じて適切な内容又は強調量の強調処理を行うことができる。

【0054】

また画像生成部３６３は、第１モードにおいて、第１画像及び第１狭帯域画像から観察画像を生成し、観察画像に対して第１内容の強調処理を行う。画像生成部３６３は、第２のモードにおいて、白色光の波長帯域における被写体の画像である第２観察画像を生成し、第２観察画像に対して、第１内容とは異なる第２内容の強調処理を行う。

【0055】

第１モードはＮＢＩモードであり、ＮＢＩモードにおける観察画像はＮＢＩ画像である。第２モードは白色光モードであり、白色光モードにおける観察画像は白色光画像である。例えば、ＮＢＩモードと白色光モードで強調する色（チャンネル）を変える。又は、ＮＢＩモードでは、散乱特性情報に基づいて、ブラウニッシュエリアのうち散乱係数が大きい領域を強調し、白色光モードでは、強調処理をオフ状態にしてもよい。或いは白色光モードでは、ブラウニッシュエリアに対する強調ではなくエッジ強調等の別の強調を行ってもよい。観察モード（照明モード）が異なれば、必要となる強調処理の内容又は強調量が異なる。本実施形態によれば、観察モードに応じて適切な内容の強調処理を行うことができる。

【0056】

また画像生成部３６３は、画像生成部３６３は、被写体の動き量が大きいほど、強調量を小さくする。

【0057】

具体的には、図９に示すように、フレーム間の動き量を指標として、その指標が大きいほど強調量制御係数を小さくし、その制御量制御係数を散乱特性画像の画素値に乗算する。下式（７）で説明するように、制御量制御係数を散乱特性画像の画素値に乗算した値ＥＡＭによって強調処理を行う。

【0058】

被写体の動きが大きい場合、シーンチェンジしていると考えられるが、シーンチェンジ中は強調を行う必要性が低い。また、強調処理はノイズを増加させる。本実施形態によれば、被写体の動き量が大きい場合に強調を抑制することで、シーンチェンジにおいてノイズを抑制できる。

【0059】

また画像生成部３６３は、被写体を拡大撮影する拡大観察時において、拡大観察以外のときに比べて強調量を小さくする。また拡大観察時において、画像生成部３６３は、観察画像からノイズを低減するノイズ低減処理を行ってもよい。

【0060】

図３で後述するように、対物レンズの焦点距離を制御するフォーカス制御信号ＦＤＩに基づいて焦点距離を知ることができる。拡大観察において焦点距離は短いので、フォーカス制御信号ＦＤＩに基づいて焦点距離が短いと判定されたときに拡大観察と判定する。拡大観察では被写体を精査するので、基本的には強調を行わない方がよい。本実施形態によれば、拡大観察時において強調量を小さくすることで、精査における被写体の視認性を向上できる。またノイズ低減処理を行うことで、拡大観察においてノイズ低減された画像を提示できる。

【0061】

また画像生成部３６３は、観察画像において生体以外が写る領域に対する強調量を、観察画像において生体が写る領域に対する強調量よりも小さくする。

【0062】

生体以外の被写体は例えば処置具である。生体は基本的にエッジ成分が小さいので、生体以外の被写体は相対的にエッジ成分が大きい。図９に示すように、観察画像のエッジ成分を指標として、指標が大きいほど強調量制御係数を小さくし、その制御量制御係数を散乱特性画像の画素値に乗算する。下式（７）で説明するように、制御量制御係数を散乱特性画像の画素値に乗算した値ＥＡＭによって強調処理を行う。

【0063】

ブラウニッシュエリアは生体内の領域であるため、強調したい領域は生体領域である。本実施形態によれば、生体以外が写る領域に対する強調量を小さくすることで、強調する必要がない被写体外の領域に対する強調を抑えることができる。

【0064】

また画像生成部３６３は、観察画像を構成する複数のチャンネル画像のうち特定のチャンネル画像に対して強調処理を行う。

【0065】

例えば下式（６）～（８）では、Ｇチャンネルの画像に対して強調処理を行っている。なお、特定のチャンネルはＧチャンネルに限定されず、ＲＧＢチャンネルのうち１又は２のチャンネルであればよい。

【0066】

特定のチャンネルに対して強調処理を行うことで、ブラウニッシュエリアにおいて散乱特性情報に応じて色が変化する。具体的には、散乱係数が大きい早期癌の色が変化する。炎症部位と早期癌は同じブラウニッシュエリアに見えるが、早期癌の色が変化することで、炎症部位と早期癌を識別できる。

【0067】

また画像生成部３６３は、散乱特性情報に基づいて観察画像に対して色変換処理を行う。

【0068】

例えば上記のようにＧチャンネルに対して散乱特性情報を乗算することで、色が変化する。なお、色変換処理はこれに限定されない。例えば、散乱特性情報に応じて観察画像の色相を変換してもよい。

【0069】

散乱特性情報に基づいて色変換処理を行うことで、ブラウニッシュエリアにおいて散乱特性情報に応じて色が変化する。具体的には、散乱係数が大きい早期癌の色が変化する。炎症部位と早期癌は同じブラウニッシュエリアに見えるが、早期癌の色が変化することで、炎症部位と早期癌を識別できる。

【0070】

また第１狭帯域の光は、ヘモグロビンの吸光係数が極大値となる波長の光である。

【0071】

例えば図４に示すように、緑色の波長帯域に存在する２つの極大値のうち一方を第１狭帯域として設定する。極大値は、ヘモグロビンの吸光特性において局所的な最大値のことである。

【0072】

ＮＢ画像（第１画像）とＮＧ１画像（第１狭帯域画像）からＮＢＩ画像を生成する。ヘモグロビンの吸光係数が極大値となる波長を第１狭帯域とすることで、ヘモグロビンの含有量に対して明るさの変化が大きいＮＢＩ画像を生成できる。

【0073】

また第１狭帯域の光は、波長５４０ｎｍの光である。第２狭帯域の光は、波長５７０ｎｍ又は４５０ｎｍの光である。

【0074】

図４には、第２狭帯域が波長５７０ｎｍである場合を示す。図１０には、第２狭帯域が波長４５０ｎｍである場合を示す。

【0075】

波長５７０ｎｍ、４５０ｎｍにおけるヘモグロビンの吸光係数は、波長５４０ｎｍにおけるヘモグロビンの吸光係数と同じである。即ち、これらの波長を第２狭帯域とすることで、第１狭帯域と第２狭帯域におけるヘモグロビンの吸光係数を同じにできる。

【0076】

また第１狭帯域の光は、ヘモグロビンの吸光係数が極小値となる波長の光である。

【0077】

極小値は、ヘモグロビンの吸光特性において局所的な最小値のことである。第１狭帯域と第２狭帯域におけるヘモグロビンの吸光係数が同じであれば、ヘモグロビンの吸光係数が極小値となる波長を第１狭帯域としてもよい。

【0078】

また第１狭帯域の光は、波長５００ｎｍの光である。第２狭帯域の光は、波長５３０ｎｍの光である。

【0079】

図１１には、第１狭帯域が波長５００ｎｍであり、第２狭帯域が波長５３０ｎｍである場合を示す。これは、ヘモグロビンの吸光係数が極小値となる波長を第１狭帯域とした場合の一例である。ＮＢＩ画像を生成するために第１狭帯域は緑色の波長帯域に属することが望ましいが、本実施形態によれば、その条件を満たすことができる。

【0080】

なお、本実施形態の内視鏡装置１２は以下のように構成されてもよい。即ち、処理部３００は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムや各種のデータである。光源６１０は第１波長帯域の光と第１狭帯域の光と第２狭帯域の光とを、照明光として出力する。撮像部２００は、第１画像と第１狭帯域画像と第２狭帯域画像とを取得する。プロセッサは、散乱特性情報取得処理と画像生成処理とを行う。散乱特性情報取得処理は、第１狭帯域画像と第２狭帯域画像の比較結果に基づいて散乱特性情報を取得する。画像生成処理は、第１画像、第１狭帯域画像、及び散乱特性情報を用いて観察画像を生成する。

【0081】

プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。回路装置は例えばＩＣ等である。回路素子は例えば抵抗、キャパシター等である。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令をプロセッサが実行することで、処理部３００の各部の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。メモリは例えば図３の記憶部３２０に対応する。処理部３００の各部は、制御部３４０、観察モード切替部３４２、焦点距離制御部３４４、演算部３６０、散乱特性情報取得部３６１、観察情報取得部３６２、画像生成部３６３、強調量制御部３６４、強調処理部３６５、観察画像生成部３６６である。

【0082】

また、本実施形態の処理部３００の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、散乱特性情報取得部３６１は散乱特性情報取得処理モジュールとして実現され、画像生成部３６３は画像生成処理モジュールとして実現される。

【0083】

また、本実施形態の処理部３００の各部が行う処理を実現するプログラムは、例えばコンピュータにより読み取り可能な媒体である情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリーカード、ＨＤＤ、或いは半導体メモリなどにより実現できる。半導体メモリは例えばＲＯＭである。処理部３００は、情報記憶媒体に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体は、処理部３００の各部としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。プログラムは、処理部３００の各部の処理をコンピュータに実行させるためのプログラムである。

【0084】

２．詳細な構成例
図３は、内視鏡装置１２の詳細な構成例である。内視鏡装置１２は、撮像部２００と処理部３００と光源部６００とを含む。光源部６００は照明装置とも呼ぶ。

【0085】

光源部６００は、照明光を発生する光源６１０を含む。光源６１０は、例えばＬＥＤ、レーザー、又はキセノンランプ等である。キセノンランプ等の広帯域な光源を用いる場合、光源部６００は、狭帯域光を通過させる光学フィルタを含んでもよい。ＮＢＩを用いる際には、照明光を光学フィルタへ入射することで狭帯域光を発生させる。不図示のライトガイドが照明光を導光し、その導光された照明光が被写体に照射される。

【0086】

撮像部２００は、イメージセンサ２２０とレンズ駆動部２４０とを含む。また撮像部２００は対物レンズを含む。撮像部２００及びライトガイドはスコープに含まれ、スコープが生体に挿入されることで生体内が照明されると共に撮像される。イメージセンサ２２０は、対物レンズが結像した被写体像を撮像し、その画像データを出力する。対物レンズはフォーカスレンズを含み、レンズ駆動部２４０は、フォーカスレンズを駆動することで対物レンズのフォーカス位置を変化させる。レンズ駆動部２４０はアクチュエータであり、例えばモータである。

【0087】

撮像方式としては以下の面順次方式を想定できる。即ち、光源部６００がＲ光、Ｇ光、Ｂ光を順次に出力し、撮像部２００がＲ画像、Ｇ画像、Ｂ画像を順次に撮像する。そして、Ｒ画像、Ｇ画像、Ｂ画像が合成されることで白色光画像が得られる。また、光源部６００が狭帯域光ＮＢ、ＮＧ１、ＮＧ２を順次に出力し、撮像部２００がＮＢ画像、ＮＧ１画像、ＮＧ２画像を順次に撮像する。ＮＧ１、ＮＧ２は、ヘモグロビンの吸光係数が同じ狭帯域光である。詳細は図４において後述する。ＮＢ画像、ＮＧ１画像が合成されることでＮＢＩ画像が得られる。また後述するように、ＮＧ１画像、ＮＧ２画像に基づいて散乱特性情報が取得される。なお、図７で後述するように、ベイヤ型の撮像素子を用いた場合には、他の撮像方式を用いることが可能である。

【0088】

処理部３００は、画像処理等の信号処理と、内視鏡装置１２の制御とを行う。処理部３００は、制御部３４０と演算部３６０と記憶部３２０とを含む。制御部３４０はコントローラーとも呼び、例えば制御回路である。演算部３６０は例えば演算回路である。或いは制御部３４０及び演算部３６０はプロセッサにより実現されてもよい。

【0089】

制御部３４０は内視鏡装置１２の各部を制御する。制御部３４０は、観察モードを切り替える観察モード切替部３４２と、対物レンズの焦点距離を制御する焦点距離制御部３４４とを含む。

【0090】

焦点距離制御部３４４はフォーカス制御部とも呼ぶ。観察モード切替部３４２は、観察モードとして白色光モード又はＮＢＩモードを設定する。例えばユーザがボタン操作等により観察モードを設定し、観察モード切替部３４２が、その設定された観察モードを指示するモード制御信号ＭＤを出力する。光源６１０は、モード制御信号ＭＤに基づいて照明光を制御する。

【0091】

焦点距離制御部３４４は、対物レンズの焦点距離を制御するフォーカス制御信号ＦＤＩを出力する。例えば、ユーザがダイヤル操作等により焦点距離を設定し、焦点距離制御部３４４が、その設定された焦点距離を指示するフォーカス制御信号ＦＤＩを出力する。レンズ駆動部２４０は、フォーカス制御信号ＦＤＩに基づいてフォーカスレンズを駆動する。

【0092】

演算部３６０は、観察画像の生成と、散乱特性に基づく観察画像の強調を行う。演算部３６０は、散乱特性情報取得部３６１と観察情報取得部３６２と画像生成部３６３とを含む。画像生成部３６３は、強調量制御部３６４と強調処理部３６５と観察画像生成部３６６とを含む。

【0093】

散乱特性情報取得部３６１は、ＮＢＩ画像に基づいて被写体の散乱特性情報を取得する。散乱特性情報は、散乱特性を表す画像であり、その各画素の画素値は被写体の散乱特性を示す値となっている。この画像を散乱特性画像と呼ぶ。散乱特性画像は、癌と癌以外の散乱特性の違いに基づいて生成されており、癌領域の方が癌以外の領域よりも相対的に画素値が大きくなる。

【0094】

観察情報取得部３６２は、モード制御信号ＭＤ及びフォーカス制御信号ＦＤＩに基づいて観察情報を取得する。具体的には、モード制御信号ＭＤに基づいて、白色光モード及びＮＢＩモードのいずれに設定されているかを示す観察情報を取得する。また、フォーカス制御信号ＦＤＩに基づいて、スクリーニング観察及び拡大観察のいずれが行われているかを示す観察情報を取得する。スクリーニング観察は、スコープを移動させながら病変の有無等をスクリーニングする観察手法である。スクリーニング観察時には、パンフォーカスが得られる焦点距離、即ち拡大観察時よりも遠点側の焦点距離が設定される。拡大観察は、スコープを被写体に接近させて被写体を拡大することで、被写体を精査する観察手法である。拡大観察時には、近点側の焦点距離が設定される。観察情報取得部３６２は、フォーカス制御信号ＦＤＩが示す焦点距離に基づいてスクリーニング観察か拡大観察かを判定する。

【0095】

画像生成部３６３は、撮像部２００が撮像した画像から観察画像を生成し、その観察画像を表示装置４００へ出力する。表示装置４００は例えば液晶表示装置等である。なお内視鏡装置１２が表示装置４００を含んでもよい。観察画像は、ユーザに対して提示される画像であり、観察画像を表示画像とも呼ぶ。画像生成部３６３は、散乱特性情報と観察情報に基づいて、観察画像の生成処理、又は観察画像の強調処理を制御する。画像生成部３６３は、観察モードが白色光モードである場合には、白色光の照明において撮像された画像から観察画像を生成し、観察モードがＮＢＩモードである場合には、狭帯域光の照明において撮像された画像に基づいて観察画像を生成する。画像生成部３６３は、強調量制御部３６４と強調処理部３６５と観察画像生成部３６６とを含む。

【0096】

強調量制御部３６４は、散乱特性情報に基づいて強調処理の強調量を制御する。即ち、撮像画像の各画素における強調量を、その画素における散乱特性画像の画素値に基づいて制御する。観察画像生成部３６６は、撮像画像から観察画像を生成する。白色光モードではＲ画像、Ｇ画像、Ｂ画像を合成することで観察画像を生成し、ＮＢＩモードではＮＢ画像とＮＧ１画像を合成することで観察画像を生成する。強調処理部３６５は、強調量制御部３６４が設定した強調量に基づいて、観察画像に対する強調処理を行い、その強調処理後の観察画像を表示装置４００へ出力する。また強調処理部３６５は、散乱特性情報又は観察情報に基づいて強調処理の内容を制御してもよい。

【0097】

記憶部３２０は、例えば演算部３６０のワーキングメモリーである。或いは、強調処理等の種々の処理に用いられるパラメータを記憶する。或いは、演算部３６０がプロセッサである場合、記憶部３２０は、プロセッサにより実行されるプログラムを記憶する。記憶部３２０は例えば半導体メモリ、又はハードディスクドライブ等である。

【0098】

３．詳細な構成例の動作
以下、図３の内視鏡装置１２が行う動作を説明する。まず、本実施形態のＮＢＩ観察において早期癌と炎症部位を識別する手法を原理的に説明する。

【0099】

早期癌では、粘膜内の細胞核が肥大化する。一方、正常粘膜及び炎症部位では、細胞核は肥大化しない。そのため、細胞核を散乱体としたとき、早期癌と炎症では散乱特性が異なる。即ち、散乱体の大きさに依存して、早期癌と炎症では照明光に対する散乱係数が異なっている。

【0100】

図４は、本実施形態のＮＢＩ観察において用いる狭帯域光を説明する図である。図４に示すように、緑色の波長帯域に含まれる狭帯域光として、ＮＧ１、ＮＧ２の２つを被写体に照射する。狭帯域光ＮＧ１の波長は５４０ｎｍであり、狭帯域光ＮＧ２の波長は５７０ｎｍである。なお、これに限定されず、狭帯域光ＮＧ１、ＮＧ２の波長は、ヘモグロビンの吸光係数が同じであればよい。なお、狭帯域光ＮＧ１、ＮＧ２の吸光係数は完全に同一である必要はなく、ほぼ同一であればよい。例えば数％程度異なっていてもよい。

【0101】

狭帯域光ＮＧ１によって照明された被写体の画像をＮＧ１画像と呼び、狭帯域光ＮＧ２によって照明された被写体の画像をＮＧ２画像と呼ぶこととする。ＮＧ１画像の画素値とＮＧ２画像の画素値の比を各画素において求め、その比を画素値とする散乱特性画像を求める。散乱特性画像が散乱特性情報に相当する。狭帯域光ＮＧ１、ＮＧ２の波長においてヘモグロビンの吸光係数は同じなので、比を求めることでヘモグロビンの影響をキャンセルできる。即ち、散乱特性情報には被写体の散乱特性を表す情報が残る。

【0102】

図５には、ヘモグロビンの吸光特性と被写体の散乱特性を示す。ヘモグロビンの吸光特性ＡＢＨは図４に示すものと同じであり、被写体に依らず変化しない。ＣＣ１は、正常粘膜及び炎症部位の散乱特性を示す。ＣＣ２は、早期癌の散乱特性を示す。生体内ではミー散乱が支配的である。ミー散乱とは、光の波長と同程度の大きさの散乱体によって生じる散乱である。ミー散乱による散乱光の強度は、光の波長と散乱体の粒子径に依存する。散乱体は細胞核であり、細胞核の粒子系が大きいほど散乱光は強くなり、また光の波長が短波長であるほど散乱光は強くなる。早期癌の細胞核は、正常粘膜及び炎症部位の細胞核よりもサイズが大きい。このため、同波長で比べたとき、散乱特性ＣＣ２の散乱係数は散乱特性ＣＣ１の散乱係数よりも大きい。

【0103】

図６は、散乱特性情報を取得する手法を説明する図である。図６に示すように、ＮＧ２画像の画素値に対するＮＧ１画像の画素値の比を各画素について求める。この比で構成される比率画像が散乱特性画像である。比率画像の明るさ、即ち画素値は、波長５４０ｎｍにおける散乱係数と波長５７０ｎｍにおける散乱係数の変化量である。図６では、変化量は勾配Δｓ１、Δｓ２に相当する。上述したように散乱係数は早期癌の方が大きいので、勾配Δｓ２は勾配Δｓ１より大きい。即ち、散乱特性画像は、正常粘膜及び炎症部位よりも早期癌の方が明るくなる。

【0104】

この散乱特性情報に基づいて画像を強調処理することで、観察画像において早期癌と炎症を容易に識別できる。即ち、散乱特性画像が明るい部分を、より大きな強調量により強調することで、炎症部分及び正常粘膜に比べて早期癌をより強調できる。

【0105】

以下、内視鏡装置１２が行う処理の詳細を説明する。図７は、処理の手順を示すフローチャートである。

【0106】

ステップＳ１０に示すように、撮像部２００が画像を取得する。即ち、ＮＢＩモードにおいてＮＢ画像、ＮＧ１画像、ＮＧ２画像を取得する。また白色光モードにおいて白色光画像を取得する。なおＮＢＩ画像と白色光画像の両方を取得してもよい。撮像部２００は動画を撮影し、その動画の各フレームにおいて撮像される画像が、ここでの画像に相当する。

【0107】

モノクロの撮像素子を用いる場合、４１０ｎｍ、５４０ｎｍ、５７０ｎｍの光を順次に発光し、各光が発光したタイミングにおいて撮像する。なお撮像素子は、ＲＧＢの色フィルタを備えたベイヤ型、又はＣｙＭｇＹｅＧの色フィルタを備えた補色の撮像素子であってもよい。この場合、第１のタイミングで５４０ｎｍの光を発光し、続く第２のタイミングで４１０ｎｍ、５７０ｎｍの光を発光し、各タイミングにおいて撮像する。また撮像素子は、各狭帯域光の波長に対応した３種類の色フィルタを備えた撮像素子であってもよい。この場合、３つの帯域の光を同時に発光し、そのタイミングで撮像する。また光の波長は図１０、図１１において後述する波長であってもよい。

【0108】

次にステップＳ１１に示すように、散乱特性情報取得部３６１がＮＧ１画像及びＮＧ２画像に基づいて、５４０ｎｍにおける散乱係数と５７０ｎｍにおける散乱係数との間の変化量を取得する。図４において説明したように、５４０ｎｍと５７０ｎｍにおいてヘモグロビンの吸光係数は等しい。ヘモグロビンは生体内において主要な吸光体であるため、ＮＧ１画像とＮＧ２画像には散乱光の強度が強いほど明るい画像が取得される。本実施形態では、両画像の比を算出することで散乱特性の変化量を取得する。具体的には下式（１）、（２）により比を算出する。
ＰＳＩ＝（ＰＮＧ１／ＰＮＧ２）／ＡＶＳＩ ・・・（１）
ＡＶＳＩ＝ＡＶＮＧ１／ＡＶＮＧ２ ・・・（２）

【0109】

ＰＳＩは散乱特性画像の画素値である。ＰＮＧ１はＮＧ１画像の画素値であり、ＰＮＧ２はＮＧ２画像の画素値である。これらの画素値は、いずれも位置（ｘ，ｙ）における画素の画素値である。各（ｘ，ｙ）について（１）を演算することで散乱特性画像が得られる。ＡＶＳＩは散乱特性情報の平均値である。ＡＶＮＧ１はＮＧ１画像全体における画素値の平均値であり、ＡＶＮＧ２はＮＧ２画像全体における画素値の平均値である。

【0110】

なお、上式（１）においてＰＳＩ＜１となった場合、ＰＳＩ＝１とすることでＰＳＩをクリップしてもよい。通常は癌においてＰＳＩ＞１であり、正常組織においてＰＳＩ≒１であると想定しているため、ＰＳＩ＜１は想定から外れている。このため、ＰＳＩ＝１を下限としてクリップした方が強調画像の色が安定する。

【0111】

なお、散乱特性情報を取得する前に位置合わせを行ってもよい。時系列に各波長の画像を撮像する場合、画像間に位置ずれを生じる。ブロックマッチング等を用いてＮＧ１画像とＮＧ２画像を位置合わせし、その位置合わせ後のＮＢ画像とＮＧ１画像を用いて散乱特性情報を取得する。これにより、被写体の動きに対してロバスト性が向上する。

【0112】

また、散乱特性情報を取得する前に明るさ補正を行ってもよい。時系列に各波長の画像を撮像する場合には位置ずれによってＮＧ１画像とＮＧ２画像の明るさが異なる可能性がある。また同時撮像の場合、狭帯域光ＮＧ１、ＮＧ２の光量差によってＮＧ１画像とＮＧ２画像の明るさが異なる可能性がある。画像全体における平均的な明るさを合わせ、その明るさを合わせたＮＢ画像とＮＧ１画像を用いて散乱特性情報を取得する。

【0113】

また、散乱特性情報を取得する前にノイズ低減処理を行ってもよい。即ち、ＮＧ１画像とＮＧ２画像に対してノイズ低減処理を行い、その処理後のＮＧ１画像とＮＧ２画像を用いて散乱特性情報を取得する。または、癌は所定の領域を有するので、ＮＧ１画像とＮＧ２画像から画像の低周波数成分を抽出する。即ち、癌の大きさに対応した帯域のローパスフィルター処理をＮＧ１画像とＮＧ２画像に対して行う。そして、抽出した低周波数成分から散乱特性情報を取得する。

【0114】

また、下式（３）に示すように、散乱特性情報を差分により抽出してもよい。なお、下式（３）においてＰＳＩ＜１となった場合、ＰＳＩ＝１とすることでＰＳＩをクリップしてもよい。ＰＳＩ＝１を下限としてクリップした方が強調画像の色を安定させることができる。
ＰＳＩ＝１＋（ＰＮＧ１－ＰＮＧ２）／ＡＶＳＩ ・・・（３）

【0115】

また、下式（４）、（５）に示すように、３波長の画像から散乱情報を取得してもよい。
ＰＳＩ＝（ＰＮＧ１／ＰＮＧ２）／ＡＶＳＩ＋（ＰＮＧ３／ＰＮＧ１）／ＡＶＳＩ’ ・・・（４）
ＡＶＳＩ’＝ＡＶＮＧ３／ＡＶＮＧ１ ・・・（５）

【0116】

ＰＮＧ３はＮＧ３画像の画素値であり、ＮＧ３画像は、第３狭帯域光が被写体に照射されたときに撮像した画像である。第３狭帯域光は例えば４５０ｎｍであり、狭帯域光ＮＧ１、ＮＧ２とヘモグロビンの吸光係数が同じである。ＡＶＮＧ３はＮＧ３画像全体における画素値の平均値である。ＰＮＧ３／ＰＮＧ１を併用することでノイズ耐性が向上し、散乱特性の抽出精度が向上する。

【0117】

また、散乱特性情報を取得した後にノイズ低減処理を行ってもよい。即ち、散乱特性画像に対してノイズ低減処理を行い、処理後の散乱特性画像を最終的な散乱特性情報として出力する。散乱特性情報は２画像の画素値の比をとるため、ノイズが多くなりやすい。ノイズ低減処理を行うことでノイズ耐性を向上できる。

【0118】

また、散乱特性情報を取得した後に２値化処理を行ってもよい。即ち、散乱特性画像に対して２値化処理を行い、処理後の散乱特性画像を最終的な散乱特性情報として出力する。例えば、散乱特性画像の全体において画素値を平均し、その平均値を閾値として散乱特性画像の画素値を２値化する。これにより、画素値が閾値を上回る領域のみが強調表示される。画素値が閾値を上回る領域は、癌と推測される領域であり、癌の領域を明瞭に強調表示できる。

【0119】

次にステップＳ１２に示すように、観察情報取得部３６２が観察情報を取得する。即ち、モード制御信号ＭＤに基づいて、ＮＢＩモード及び白色光モードのいずれに設定されているかの情報を取得する。また、フォーカス制御信号ＦＤＩに基づいて、スクリーニング観察及び拡大観察のいずれが行われているかの情報を取得する。また、フレーム間のマッチング処理等によって画像の動き量を取得する。観察情報を取得し、その観察情報に基づいて後述の強調処理を制御することで、不要なシーンにおける強調を抑制できる。強調はノイズを増加させるので、不要なシーンにおけるノイズを抑制できる。

【0120】

次にステップＳ１３に示すように、強調量制御部３６４は、散乱特性情報に基づいて強調量を制御する。具体的には、ステップＳ１１において抽出した散乱特性情報を補正する。強調量制御部３６４は、散乱特性画像の画素値に対して係数を乗算することで、散乱特性情報を補正する。この係数を強調量制御係数と呼び、強調量制御係数を画素毎又は領域毎に変化させることで、強調量を制御する。後述する強調処理部３６５は、補正後の散乱特性情報を用いて強調処理を行う。

【0121】

図８は強調量制御係数の第１特性例である。図９は強調量制御係数の第２特性例である。強調が不要な領域では強調を抑えた方が良いが、強調有り又は無しの不連続な制御を行うと、強調有りと無しの境界部分が不自然になる。このため、強調量を連続制御とする。図８では、指標が閾値より小さい場合には、指標が大きいほど強調量制御係数が大きくなり、指標が閾値より大きい場合には、強調量制御係数を１とする。指標が閾値より小さい場合、Ａ１に示すように強調量制御係数は指標に比例する。但しこれに限定されず、Ａ２、Ａ３に示すように、シグモイド関数等の任意の特性としてもよい。図９では、指標が閾値より小さい場合には、強調量制御係数を１とし、指標が閾値より大きい場合には、指標が大きいほど強調量制御係数が小さくなる。指標が閾値より大きい場合、Ｂ１に示すように強調量制御係数は指標に比例する。但しこれに限定されず、Ｂ２、Ｂ３に示すように、シグモイド関数等の任意の特性としてもよい。後述するように、指標の種類に応じて図８、図９の特性を使い分ける。

【0122】

なお、図８、図９では係数の最小値を０．５とし、係数の最大値１．０としているが、係数の最大値及び最小値はこれに限定されない。最小値は例えば０．０としてもよい。０．０が乗算された画素では強調が一切掛からないため、よりノイズを抑制できる。最大値は例えば１．５としてもよい。１より大きい係数が乗算された画素では、強調がより強く掛かるので、癌と炎症のコントラストを強調できる。

【0123】

強調量制御部３６４は、ブラウニッシュエリアの強調量を、それ以外の領域の強調量に比べて相対的に大きくする。癌及び炎症は基本的にブラウニッシュエリアであり、これ以外の領域を強調してもノイズが増えるだけである。このため、ブラウニッシュエリアの強調量を相対的に大きくする。

【0124】

具体的には、Ｒ画素値とそれ以外の色の画素値との比に基づいて、強調量制御係数を設定する。例えば、指標としてＲ画素値／Ｇ画素値を用いる。図８に示すように、指標が大きいほど強調量制御係数を大きくする。図８の閾値として所定値を設定してもよいし、又は画像全体におけるＲ画素値／Ｇ画素値の平均値を閾値として設定してもよい。白色光画像及びＮＢＩ画像の両方において、ブラウニッシュエリアにおけるＲ画素値が大きいので、Ｒ画素値／Ｇ画素値が大きくなる。逆にブラウニッシュエリア以外の領域ではＲ画素値／Ｇ画素値が小さくなる。このためＲ画素値／Ｇ画素値を指標とすることで、ブラウニッシュエリアの強調量を相対的に大きくできる。なお、Ｒ画素値／Ｇ画素値が大きい領域には血管領域も含まれるので、例えばローパスフィルター処理後のＲ画素値／Ｇ画素値を用いてもよい。これにより、高周波成分を有する血管が除外され、低域成分のブラウニッシュエリアのみを抽出できる。

【0125】

また強調量制御部３６４は、非生体領域の強調量を生体領域の強調量に比べて相対的に小さくする。非生体は、例えば処置具である。指標としてエッジ成分、又は基準色相からの乖離を用い、図９に示すように指標が大きいほど強調量制御係数を小さくする。

【0126】

エッジ成分を指標とする場合を説明する。処置具等の非生体に対しては強調が不要であり、その処置具等の非生体は生体に比べて一般的にエッジ成分が大きい。ＮＢＩ画像又は白色光画像からエッジ成分を抽出し、そのエッジ成分が大きいほど強調量制御係数を大きくする。図９の閾値として所定値を設定してもよいし、又は画像全体のエッジ量の平均値を閾値として設定してもよい。

【0127】

基準色相からの乖離を指標とする場合を説明する。例えばＣｂＣｒ平面上で基準色相を定義する。白色光画像又はＮＢＩ画像をＹＣｂＣｒ変換し、その変換後の画像において各画素の色相と基準色相の差分を求める。差分が大きいほど強調量制御係数を大きくする。生体は赤系統の色味を有するので、その赤系統の色味に対応した基準色相を設定する。基準色相としては所定の値を設定してもよいし、画像全体における色相の平均値を基準色相として設定してもよい。

【0128】

また強調量制御部３６４は、画像間の動き量が大きい場合に強調量を小さくする。被写体の動きが大きい場合、シーンチェンジしていると考えられるが、シーンチェンジにおいて強調してもノイズが増えるだけであり、シーンチェンジにおいて強調する必要性は低い。

【0129】

具体的には、フレーム間マッチング等を行うことでフレーム間における画像の動き量を求める。動き量を指標として、図９に示すように指標が大きいほど強調量制御係数を小さくする。

【0130】

また強調量制御部３６４は、対物レンズの焦点距離が短い場合に強調量を小さくする。対物レンズの焦点距離が長い又は中距離である場合はスクリーニング中であるため、強調が必要である。一方、対物レンズの焦点距離が短い場合は、近接観察を行っていると考えられるので、強調を抑制する。近接観察は拡大観察とも呼ぶ。スクリーニング時には、強調表示を行うことで病変候補の発見を補助できる。一方、スクリーニングにおいて詳細に見たいと判断した領域を近接観察するので、近接観察時には強調表示は不要又は抑制してよい。

【0131】

具体的には、フォーカス制御信号ＦＤＩを観察情報として取得し、フォーカス制御信号ＦＤＩが示す焦点距離を指標とし、図８に示すように指標が小さいほど強調量制御係数を小さくする。

【0132】

なお、以上では強調量を制御する手法を５つ説明したが、いずれか１つの手法のみを用いてもよいし、５つの手法を全て用いてもよいし、５つの手法のうち幾つかを組み合わせてもよい。

【0133】

次に、図７のステップＳ１４に示すように、観察画像生成部３６６が観察画像を生成する。ＮＢＩモードにおいて、青色の狭帯域光ＮＢによって撮像されたＮＢ画像をＧ画像及びＢ画像とし、緑色の狭帯域光ＮＧ１によって撮像されたＮＧ１画像をＲ画像とし、これらのＲ画像、Ｇ画像及びＢ画像を合成することでＮＢＩ画像を生成する。ＮＢＩモードにおいてＮＢＩ画像が観察画像である。

【0134】

なお、赤色の画像を用いて観察画像を生成してもよい。即ち、光源が波長６３０ｎｍの光を発生し、その光が被写体に照射されたタイミングで撮像を行う。この画像を第２画像、又はＮＲ画像と呼ぶ。観察画像生成部３６６は、ＮＲ画像とＲ画像とし、ＮＧ１画像をＧ画像とし、ＮＢ画像をＢ画像とし、これらのＲ画像、Ｇ画像及びＢ画像を合成することで観察画像を生成する。これにより、白色光モードと同等の色再現を実現できる。また、この観察画像に対して後述する強調処理を行うことで、癌領域を炎症部位とは別の色に強調できる。

【0135】

次に、図７のステップＳ１５に示すように、強調処理部３６５が、ステップＳ１４において生成した観察画像に対して強調処理を行い、強調処理後の画像を最終的な観察画像として表示装置４００へ出力する。例えば強調処理は下式（６）～（８）により定義される。
ＣＨＲ’＝ＣＨＲ ・・・（６）
ＣＨＧ’＝ＣＨＧ×ＥＡＭ ・・・（７）
ＣＨＢ’＝ＣＨＢ ・・・（８）

【0136】

ＣＨＲは、ステップＳ１４において生成した観察画像のＲチャンネル（Ｒ画素値）であり、ＣＨＧは、ステップＳ１４において生成した観察画像のＧチャンネル（Ｇ画素値）であり、ＣＨＢは、ステップＳ１４において生成した観察画像のＢチャンネル（Ｂ画素値）である。ＣＨＲ’は強調処理後の画像のＲチャンネル（Ｒ画素値）であり、ＣＨＧ’は強調処理後の画像のＧチャンネル（Ｇ画素値）であり、ＣＨＢ’は強調処理後の画像のＢチャンネル（Ｂ画素値）である。ＥＡＭは、ステップＳ１３において補正した散乱特性画像の画素値である。即ち、上式（１）のＰＳＩに強調量制御係数を乗算したものである。

【0137】

早期癌の領域において散乱特性画像の画素値は１より大きいため、強調処理によりＧ画素値が増加する。これにより早期癌の領域が黄色（Ｙｅ）調となり、他のブラウニッシュエリアと区別できる。なお、強調処理は上式（６）～（８）に限定されない。例えばＢチャンネルの画素値に対してＥＡＭを乗算してもよい。この場合、早期癌の領域がマゼンダ色（Ｍｇ）調となる。いずれのチャンネルを強調するかを白色光モードとＮＢＩモードで切り替えてもよい。

【0138】

次に、強調処理の変形例について説明する。図７ではステップＳ１３において強調量を制御しているが、ステップＳ１５において強調量を制御してもよい。即ち、ステップＳ１５において、強調処理部３６５が、強調画像に原画像をブレンドすることで強調量を抑制してもよい。

【0139】

具体的には、ブレンド率がとり得る範囲は０≦ブレンド率≦１である。ステップＳ１３において説明した指標に基づいてブレンド率を制御する。具体的には、Ｒ画素値／Ｇ画素値が大きいほどブレンド率を大きくする。またエッジ成分が大きいほどブレンド率を小さくする。また色相と基準色相の乖離が大きいほどブレンド率を小さくする。またフレーム間の動き量が大きいほどブレンド率を小さくする。また焦点距離が小さいほどブレンド率を小さくする。

【0140】

強調処理は下式（９）～（１１）により定義される。ＢＲＴはブレンド率である。下式（１０）において、右辺第１項が強調量ＥＡＭによる強調画像であり、右辺第２項が強調前の観察画像である。ブレンド率ＢＲＴが高いほど、強調量ＥＡＭによる強調画像の割合が高くなり、ブレンド率ＢＲＴが低いほど、強調前の観察画像の割合が高くなる。
ＣＨＲ’＝ＣＨＲ ・・・（９）
ＣＨＧ’＝ＣＨＧ×ＥＡＭ×ＢＲＴ＋ＣＨＧ×（１－ＢＲＴ） ・・・（１０）
ＣＨＢ’＝ＣＨＢ ・・・（１１）

【0141】

次に、狭帯域光の変形例について説明する。図１０は、狭帯域光の第１の変形例である。図１０では、狭帯域光ＮＧ２が波長４５０ｎｍの光である。波長４５０ｎｍは青色の波長帯域に属する。狭帯域光ＮＧ１の波長は図４と同じ５４０ｎｍである。波長４５０ｎｍにおけるヘモグロビンの吸光係数は、５４０ｎｍにおけるヘモグロビンの吸光係数と同じである。

【0142】

図１１は、狭帯域光の第２の変形例である。図１１では、狭帯域光ＮＧ１、ＮＧ２ともに波長が図４とは異なる。狭帯域光ＮＧ１は波長５００ｎｍの光であり、狭帯域光ＮＧ２は波長５３０ｎｍの光である。波長５００ｎｍ、５３０ｎｍは緑色の波長帯域に属する。波長５００ｎｍ、５３０ｎｍにおけるヘモグロビンの吸光係数は同じである。

【0143】

４．手術支援システム
内視鏡装置として、制御装置とスコープが接続され、そのスコープをユーザが操作しながら体内を撮影するタイプを想定できる。但し、これに限定されず、本発明を適用した内視鏡装置として例えばロボットを用いた手術支援システム等を想定できる。

【0144】

例えば、手術支援システムは、制御装置とロボットとスコープとを含む。スコープは例えば硬性鏡である。制御装置は、ロボットを制御する装置である。即ち、ユーザが制御装置の操作部を操作することでロボットを動作させ、ロボットを介して患者に対する手術を行う。また制御装置の操作部を操作することでロボットを経由してスコープを操作し、手術領域を撮影する。制御装置は、図２又は図３の処理部３００を含んでいる。ユーザは、処理部３００が表示装置に表示した画像を見ながら、ロボットを操作する。本発明は、このような手術支援システムにおける制御装置に適用できる。なお、制御装置はロボットに内蔵されてもよい。

【0145】

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

【符号の説明】

【0146】

１２ 内視鏡装置、２００ 撮像部、２２０ イメージセンサ、２４０ レンズ駆動部、３００ 処理部、３２０ 記憶部、３４０ 制御部、３４２ 観察モード切替部、３４４ 焦点距離制御部、３６０ 演算部、３６１ 散乱特性情報取得部、３６２ 観察情報取得部、３６３ 画像生成部、３６４ 強調量制御部、３６５ 強調処理部、３６６ 観察画像生成部、４００ 表示装置、６００ 光源部、６１０ 光源、ＣＣ１，ＣＣ２ 散乱特性、ＮＢ 狭帯域光、ＮＧ１，ＮＧ２ 狭帯域光

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】