(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-26
(45)【発行日】2022-06-03
(54)【発明の名称】内視鏡システム
(51)【国際特許分類】
A61B 1/045 20060101AFI20220527BHJP
G02B 23/24 20060101ALI20220527BHJP
【FI】
A61B1/045 618
A61B1/045 622
G02B23/24 B
(21)【出願番号】P 2019027188
(22)【出願日】2019-02-19
【審査請求日】2021-01-28
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001988
【氏名又は名称】特許業務法人小林国際特許事務所
(72)【発明者】
【氏名】久保 雅裕
【審査官】田辺 正樹
(56)【参考文献】
【文献】国際公開第2013/115323(WO,A1)
【文献】特開2005-143991(JP,A)
【文献】特開2015-066050(JP,A)
【文献】特開2013-183911(JP,A)
【文献】特開2009-039510(JP,A)
【文献】特開2015-196004(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00- 1/32
G02B23/24-23/26
(57)【特許請求の範囲】
【請求項1】
第1ピーク波長範囲を有する第1照明光と、前記第1ピーク波長範囲と異なる第2ピーク波長
範囲を有する第2照明光とを発光する光源部と、
前記第1照明光と前記第2照明光とを、それぞれ少なくとも1フレーム以上の発光期間にて自動的に切り替えて発光する光源制御部と、
前記第1ピーク波長範囲、及び前記第2ピーク波長範囲に対応する波長域の光をそれぞれ透過させる特定色のカラーフィルタが設けられた特定画素を有するカラーの撮像センサと、
前記第1照明光によって照明された観察対象を前記撮像センサによって撮像して得られる第1画像信号と、前記第2照明光によって照明された観察対象を前記撮像センサによって撮像して得られる第2画像信号を取得する画像取得部と、
前記第1画像信号及び第2画像信号を合成して合成表示画像を生成する場合において、前記第1照明光の第1ピーク波長範囲に第1吸収ピークを持つ第1観察対象、及び、前記第2照明光の第2ピーク波長範囲に第2吸収ピークを持つ第2観察対象を、
前記合成表示画像にて識別可能にする識別処理を行う合成表示画像処理部とを備える内視鏡システム。
【請求項2】
前記第1観察対象の前記第1吸収ピークに関する成分は、前記第1画像信号のうち前記特定画素から出力される前記第1画像信号の特定色信号に含まれ、前記第2観察対象の前記第2吸収ピークに関する成分は、前記第2画像信号のうち前記特定画素から出力される第2画像信号の特定色信号に含まれ、
前記識別処理は、前記第1画像信号の特定色信号と前記第2画像信号の特定色信号との信号値を比較処理によって比較し、前記比較処理の結果を用いて、前記第1観察対象と前記第2観察対象を前記合成表示画像において識別可能に表示する第1識別処理が含まれる請求項1記載の内視鏡システム。
【請求項3】
前記第1識別処理では、前記第1画像信号の特定色信号を前記合成表示画像にて表示する請求項2記載の内視鏡システム。
【請求項4】
前記第1識別処理では、前記第2画像信号の特定色信号を前記合成表示画像にて表示する請求項2記載の内視鏡システム。
【請求項5】
前記第1識別処理では、前記第1画像信号の特定色信号及び前記第2画像信号の特定色信号のうち信号値が小さいほうを前記合成表示画像にて表示し、信号値が大きいほうを前記合成表示画像にて表示しない請求項2記載の内視鏡システム。
【請求項6】
前記第1識別処理では、前記第1画像信号の特定色信号及び前記第2画像信号の特定色信号のうち信号値が大きいほうを前記合成表示画像にて表示し、信号値が小さいを前記合成表示画像にて表示しない請求項2記載の内視鏡システム。
【請求項7】
前記第1観察対象の前記第1吸収ピークに関する成分は、前記第1画像信号のうち前記特定画素から出力される前記第1画像信号の特定色信号に含まれ、前記第2観察対象の前記第2吸収ピークに関する成分は、前記第2画像信号のうち前記特定画素から出力される第2画像信号の特定色信号に含まれ、
前記識別処理は、前記第1画像信号の特定色信号及び前記第2画像信号の特定色信号に基づく識別用演算処理を行い、前記識別用演算処理の結果を用いて、前記第1観察対象と前記第2観察対象を前記合成表示画像において識別可能に表示する第2識別処理が含まれる請求項1記載の内視鏡システム。
【請求項8】
前記特定画素は、前記特定色のカラーフィルタとして、Bフィルタが設けられたB画素である請求項1ないし7いずれか1項記載の内視鏡システム。
【請求項9】
前記第1ピーク波長範囲は400nm以上430nm以下であり、前記第2ピーク波長範囲は430nm以上500nm以下である請求項1ないし8いずれか1項記載の内視鏡システム。
【請求項10】
前記第1吸収ピークは、410nm
付近であり、前記第2吸収ピークは、440nm又は450nm
付近である請求項1ないし9いずれか1項記載の内視鏡システム。
【請求項11】
前記第1観察対象は血液であり、前記第2観察対象は胆汁又は脂肪である請求項1ないし10いずれか1項記載の内視鏡システム。
【請求項12】
第1ピーク波長範囲を有する第1照明光と、前記第1ピーク波長範囲と異なる第2ピーク波長範囲を有する第2照明光とを発光する光源部と、
前記第1照明光と前記第2照明光とを、それぞれ少なくとも1フレーム以上の発光期間にて自動的に切り替えて発光する光源制御部と、
前記第1ピーク波長範囲、及び前記第2ピーク波長範囲に対応する波長域の光をそれぞれ透過させる特定色のカラーフィルタが設けられた特定画素を有するカラーの撮像センサと、
前記第1照明光によって照明された観察対象を前記撮像センサによって撮像して得られる第1画像信号と、前記第2照明光によって照明された観察対象を前記撮像センサによって撮像して得られる第2画像信号を取得する画像取得部と、
前記第1照明光の第1ピーク波長範囲に第1吸収ピークを持つ第1観察対象と、前記第2照明光の第2ピーク波長範囲に第2吸収ピークを持つ第2観察対象とを表示部にて識別可能に表示するために、前記第1画像信号に基づく第1表示画像と前記第2画像信号に基づく第2表示画像とをそれぞれ一定の間隔で交互に前記表示部にて表示する表示制御部とを備え、
前記第1照明光には、青色光と、光強度が前記青色光よりも大きい紫色光が含まれ、
前記第2照明光には、青色光と、光強度が前記青色光よりも小さい紫色光が含まれる第1内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数種類の画像を切り替えて表示する内視鏡システムに関する。
【背景技術】
【0002】
近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像センサで撮像して得られるRGB画像信号に基づいて、観察対象の画像をモニタ上に表示する。
【0003】
観察対象としては、血管に含まれる血液などの他、ビリルビンなどの胆汁、カルチノイドなどの脂肪などが含まれている。しかしながら、これら血液、胆汁、及び脂肪については、青色帯域において、それぞれ分光吸収のピークが近接している。そのため、血液、胆汁、及び、脂肪などが含まれる観察対象をRGBのカラーの撮像センサで撮像した場合には、それら血液、胆汁、及び脂肪に関する成分は、いずれも撮像センサのB画素に含まれることになることから、血液、胆汁、及び、脂肪を区別し、それらを排他的に強調することが難しい。これに対して、特許文献1では、脂肪などを観察するために、分光手段等によって、脂肪の反射光を分光して撮像することが記載されている。また、特許文献2には、画像処理を用いて、血液と脂肪を分離することが記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開2013/115323号
【文献】国際公開2016/151676号
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のように、血液、胆汁、及び、脂肪を観察する場合には、それぞれの分光吸収のピークに対応するピーク波長を持つ複数の照明光を切り替えて照明することで、それら血液、胆汁、及び、脂肪を区別が可能となる。そして、このような複数の照明光の切り替え照明の下で得られた画像に基づいて、血液、胆汁、及び、脂肪をモニタ識別可能に表示することが求められている。
【0006】
本発明は、血液、胆汁、及び、脂肪など、分光吸収のピークが近接している複数の観察対象を識別可能に表示することができる内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の内視鏡システムは、第1ピーク波長範囲を有する第1照明光と、第1ピーク波長範囲と異なる第2ピーク波長範囲を有する第2照明光とを発光する光源部と、第1照明光と第2照明光とを、それぞれ少なくとも1フレーム以上の発光期間にて自動的に切り替えて発光する光源制御部と、第1ピーク波長範囲、及び第2ピーク波長範囲に対応する波長域の光をそれぞれ透過させる特定色のカラーフィルタが設けられた特定画素を有するカラーの撮像センサと、第1照明光によって照明された観察対象を撮像センサによって撮像して得られる第1画像信号と、第2照明光によって照明された観察対象を撮像センサによって撮像して得られる第2画像信号を取得する画像取得部と、第1画像信号及び第2画像信号を合成して合成表示画像を生成する場合において、第1照明光の第1ピーク波長範囲に第1吸収ピークを持つ第1観察対象、及び、第2照明光の第2ピーク波長範囲に第2吸収ピークを持つ第2観察対象を、合成表示画像にて識別可能にする識別処理を行う合成表示画像処理部とを備える。
【0008】
第1観察対象の第1吸収ピークに関する成分は、第1画像信号の特定色信号に含まれ、第2観察対象の第2吸収ピークに関する成分は、第2画像信号の特定色信号に含まれ、識別処理は、第1画像信号の特定色信号と第2画像信号の特定色信号との信号値を比較処理によって比較し、比較処理の結果を用いて、第1観察対象と第2観察対象を合成表示画像において識別可能に表示する第1識別処理が含まれることが好ましい。第1識別処理では、第1画像信号の特定色信号を合成表示画像にて表示することが好ましい。第1識別処理では、第2画像信号の特定色信号を合成表示画像にて表示することが好ましい。第1識別処理では、第1画像信号の特定色信号及び第2画像信号の特定色信号のうち信号値が小さいほうを合成表示画像にて表示し、信号値が大きいほうを合成表示画像にて表示しないことが好ましい。第1識別処理では、第1画像信号の特定色信号及び第2画像信号の特定色信号のうち信号値が大きいほうを合成表示画像にて表示し、信号値が小さいほうを合成表示画像にて表示しないことが好ましい。
【0009】
第1観察対象の第1吸収ピークに関する成分は、第1画像信号の特定色信号に含まれ、第2観察対象の第2吸収ピークに関する成分は、第2画像信号の特定色信号に含まれ、識別処理は、第1画像信号の特定色信号及び第2画像信号の特定色信号に基づく識別用演算処理を行い、識別用演算処理の結果を用いて、第1観察対象と第2観察対象を合成表示画像において識別可能に表示する第2識別処理が含まれることが好ましい。第2識別処理では、第1画像信号の特定色信号及び第2画像信号の特定色信号の信号値の平均値から、第1画像信号の特定色信号及び第2画像信号の特定色信号の信号値の差分値の絶対値を差し引いた演算値を求め、演算値を用いて、合成表示画像を表示することが好ましい。
【0010】
特定画素は、特定色のカラーフィルタとして、Bフィルタが設けられたB画素であることが好ましい。第1ピーク波長範囲は400nm以上430nm以下であり、第2ピーク波長範囲は430nm以上500nm以下であることが好ましい。第1吸収ピークは、410nm付近であり、第2吸収ピークは、440nm又は450nm付近であることが好ましい。第1観察対象は血液であり、第2観察対象は胆汁又は脂肪であることが好ましい。
【0011】
本発明の内視鏡システムは、第1ピーク波長範囲を有する第1照明光と、第1ピーク波長範囲と異なる第2ピーク波長範囲を有する第2照明光とを発光する光源部と、第1照明光と第2照明光とを、それぞれ少なくとも1フレーム以上の発光期間にて自動的に切り替えて発光する光源制御部と、第1ピーク波長範囲、及び第2ピーク波長範囲に対応する波長域の光をそれぞれ透過させる特定色のカラーフィルタが設けられた特定画素を有するカラーの撮像センサと、第1照明光によって照明された観察対象を撮像センサによって撮像して得られる第1画像信号と、第2照明光によって照明された観察対象を前記撮像センサによって撮像して得られる第2画像信号を取得する画像取得部と、第1照明光の第1ピーク波長範囲に第1吸収ピークを持つ第1観察対象と、第2照明光の第2ピーク波長範囲に第2吸収ピークを持つ第2観察対象とを表示部にて識別可能に表示するために、第1画像信号に基づく第1表示画像と第2画像信号に基づく第2表示画像とをそれぞれ一定の間隔で交互に表示部にて表示する表示制御部とを備え、第1照明光には、青色光と、光強度が青色光よりも大きい紫色光が含まれ、第2照明光には、青色光と、光強度が前記青色光よりも小さい紫色光が含まれる。
【発明の効果】
【0012】
本発明によれば、血液、胆汁、及び、脂肪など、分光吸収のピークが近接している複数の観察対象を識別可能に表示することができる。
【図面の簡単な説明】
【0013】
【
図1】第1実施形態の内視鏡システムの外観図である。
【
図2】第1実施形態の内視鏡システムの機能を示すブロック図である。
【
図3】紫色光V、青色光B、緑色光G、及び赤色光Rの発光スペクトルを示すグラフである。
【
図4】紫色光V、緑色光G、及び赤色光Rを含む第1照明光の発光スペクトルを示すグラフである。
【
図5】ヘモグロビンの光吸収特性を示すグラフである。
【
図6】青色光B、緑色光G及び赤色光Rを含む第2照明光の発光スペクトルを示すグラフである。
【
図7】カルチノイドの光吸収特性を示すグラフである。
【
図8】ビリルビンの光吸収特性を示すグラフである。
【
図9】第1照明光の発光期間と第2照明光の発光期間を示す説明図である。
【
図10】発光期間設定メニューを示す説明図である。
【
図11】撮像センサに設けられたBフィルタ、Gフィルタ、及びRフィルタの分光透過特性を示すグラフである。
【
図16】紫色光V、青色光B、緑色光G、及び赤色光Rを含み、紫色光Vの光強度が青色光Bの光強度よりも大きい第1照明光の発光スペクトルを示すグラフである。
【
図17】紫色光V、青色光B、緑色光G、及び赤色光Rを含み、青色光Bの光強度が紫色光Vの光強度よりも大きい第2照明光の発光スペクトルを示すグラフである。
【
図18】第2実施形態の内視鏡システムの機能を示すブロック図である。
【
図19】第1表示画像と第2表示画像の切り替え表示を示す説明図である。
【発明を実施するための形態】
【0014】
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18(表示部)と、ユーザーインターフェース19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。なお、ユーザーインターフェース19は図示したキーボードの他、マウスなどが含まれる。
【0015】
また、操作部12bには、アングルノブ12eの他、モード切替SW13a、静止画取得指示部13bが設けられている。モード切替SW(Switch)13aは、通常光観察モードと、合成表示モードとの切替操作に用いられる。通常光観察モードは、通常画像をモニタ18上に表示するモードである。合成表示モードは、青色帯域において光の吸収特性が似ている第1観察対象(例えば、血液)と第2観察対象(例えば、胆汁、脂肪)を識別可能に表示する合成表示画像をモニタ18に表示するモードである。なお、モードを切り替えるためのモード切替部としては、モード切替SW13aの他に、フットスイッチを用いてもよい。
【0016】
プロセッサ装置16は、モニタ18及びユーザーインターフェース19と電気的に接続される。モニタ18は、画像情報等を出力表示する。ユーザーインターフェース19は、機能設定等の入力操作を受け付けるUI(User Interface:ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
【0017】
図2に示すように、光源装置14は、光源部20と、光源制御部21と、光路結合部23とを有している。光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、R-LED(Red Light Emitting Diode)20dを有している。光源制御部21は、LED20a~20dの駆動を制御する。光路結合部23は、4色のLED20a~20dから発せられる4色の光の光路を結合する。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド41及び照明レンズ45を介して、被検体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。
【0018】
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
【0019】
光源制御部21は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを制御する。また、光源制御部21は、通常光観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVc:Bc:Gc:Rcとなる通常光を発光するように、各LED20a~20dを制御する。
【0020】
また、光源制御部21は、合成表示モードに設定されている場合には、第1観察対象を照明するための第1照明光と、第2観察対象を照明するための第2照明光とをそれぞれ1フレーム以上の発光期間にて発光し、且つ、第1照明光と第2照明光とを自動的に切り替えて発光する制御を行う。第1照明光は、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVs1:Bs1:Gs1:Rs1となるように発光を行う。
【0021】
第1照明光は、血液などの第1観察対象を画像上で強調するために、
図4に示すように、紫色光Vがピーク波長を持つことが好ましい。このように、紫色光Vがピーク波長を持つことにより、第1照明光の第1ピーク波長範囲RP1に、血液などのヘモグロビンの吸収ピークλx(
図5参照)などの第1吸収ピークが含まれる。これにより、第1照明光によって、血液などの第1観察対象が強調される。また、第1照明光は、Bs1を「0」とし、その他のVs1、Gs1、Rs1>0とすることが好ましい。ここで、第1ピーク波長範囲RP1は、400nm以上430nm以下であることが好ましい。また、第1吸収ピークは、410nmを含む波長範囲に含まれることが好ましく、または、410nm付近であることが好ましい。なお、ヘモグロビンには、青色帯域の他に、緑色帯域において光の吸収ピーク波長を有する。
【0022】
なお、本明細書において、光強度比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光強度比を有するものとする。
【0023】
第2照明光は、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVs2:Bs2:Gs2:Rs2となるように発光を行う。第2照明光は、胆汁又は脂肪などの第2観察対象を画像上で強調するために、
図6に示すように、青色光Bがピーク波長を持つことが好ましい。このように、青色光Bがピーク波長を持つことにより、第2照明光の第2ピーク波長範囲RP2に、脂肪に含まれるカルチノイドの吸収ピークλy(
図7参照)及び胆汁に含まれるビリルビンの吸収ピークλz(
図8参照)などの第2吸収ピークが含まれる。これにより、第2照明光によって、胆汁又は脂肪などの第2観察対象が強調される。また、第2照明光は、Vs2を「0」とし、その他のBs1、Gs1、Rs1>0とすることが好ましい。ここで、第2ピーク波長範囲RP1は、430nm以上500nm以下であることが好ましい。また、第2吸収ピークは、440nm又は450nmを含む波長範囲に含まれることが好ましく、または、440nm又は450nm付近であることが好ましい。
【0024】
また、光源制御部21は、合成表示モードの場合には、第1照明光に含まれる緑色光G及び赤色光Rの光強度比(Gs1、Rs1)と第2照明光に含まれる緑色光G及び赤色光Rの光強度比(Gs2、Rs2)とは同じに設定することが好ましい。これにより、第1照明光を照明した場合に得られる第1表示画像と第2照明光を照明した場合に得られる第2表示画像における背景粘膜の色味が一致するようになる。なお、背景粘膜とは、観察対象のうち、血管や腺管構造など構造物として認識又は撮像される領域を含まない領域をいう。
【0025】
また、光源制御部21は、プロセッサ装置16の明るさ情報算出部54から送られる明るさ情報に基づいて、各LED20a~20dから発せられる照明光の発光量を制御する。また、光源制御部21は、例えば、第1照明光の発光期間を2フレームとし、第2照明光の発光期間を3フレームとした場合には、
図9に示すように、第1照明光が2フレーム続けて発光した後に、第2照明光が3フレーム続けて発光される。
【0026】
なお、「フレーム」とは、観察対象を撮像する撮像センサ48を制御するための単位をいい、例えば、「1フレーム」とは、観察対象からの光で撮像センサ48を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間のことをいう。本実施形態においては、撮像の単位である「フレーム」に対応して発光期間が定められている。
【0027】
第1照明光の発光期間と第2照明光の発光期間は、光源制御部21に接続された発光期間設定部24によって、適宜変更が可能である。ユーザーインターフェース19の操作により、発光期間の変更操作を受け付けると、発光期間設定部24は、
図10に示す発光期間設定メニューをモニタ18上に表示する。第1照明光の発光期間は、例えば、2フレームから10フレームの間で変更可能である。各発光期間については、スライドバー26a上に割り当てられている。
【0028】
第1照明光の発光期間を変更する場合には、ユーザーインターフェース19を操作して、スライドバー26a上の変更したい発光期間を示す位置にスライダ27aを合わせることで、第1の照明光の発光期間が変更される。第2照明光の発光期間についても、ユーザーインターフェース19を操作して、スライドバー26b(例えば、2フレームから10フレームの発光期間が割り当てられている)上の変更したい発光期間を示す位置にスライダ27bを合わせることで、第2の照明光の発光期間が変更される。
【0029】
図2に示すように、ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用することができる。
【0030】
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46及び撮像センサ48を有している。観察対象からの反射光は、対物レンズ46を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。
【0031】
撮像センサ48はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素(特定画素)を備えた、いわゆるRGB撮像センサである。なお、B画素は、合成表示モードにおいて、第1照明光の第1ピーク波長範囲と第2照明光のピーク波長範囲に対応する波長域の光を透過させるため、B画素から出力される信号には、第1観察対象の成分と第2観察対象の成分の両方が含まれる。
【0032】
通常光で照明された観察対象を撮像センサ48にて撮像することにより、通常光用画像信号が得られる。通常光用画像信号には、B画素から出力される通常光用青色信号、G画素から出力される通常光用緑色信号、及び、R画素から出力される通常光用赤色信号が含まれる。第1照明光で照明された観察対象を撮像センサ48にて撮像することにより、第1画像信号が得られる。第1画像信号には、B画素から出力される第1青色信号B1、G画素から出力される第1緑色信号G1、及び、R画素から出力される第1赤色信号R1が含まれる。第2照明光で照明された観察対象を撮像センサ48にて撮像することにより、第2画像信号が得られる。第2画像信号には、B画素から出力される第2青色信号B2、G画素から出力される第2緑色信号G2、及び、R画素から出力される第2赤色信号R2が含まれる。
【0033】
図11に示すように、Bフィルタ48bは、紫色帯域の光、青色帯域の光、及び緑色帯域の光のうち短波側の光を透過させる。Gフィルタ48gは、緑色帯域の光、青色帯域の光の長波側の光、及び赤色帯域の光の短波側の光を透過させる。Rフィルタ48rは、赤色帯域の光、緑色帯域の短波側の光を透過させる。したがって、撮像センサ48のうち、B画素は紫色光V及び青色光Bに感度を有し、G画素は青色光B、緑色光G、及び赤色光Rに感度を有し、R画素は緑色光G及び赤色光Rに感度を有している。
【0034】
なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部21は青色光B、緑色光G、及び赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
【0035】
図2に示すように、撮像センサ48から出力される画像信号は、CDS/AGC回路50に送信される。CDS/AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS/AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
【0036】
プロセッサ装置16は、画像取得部53と、明るさ情報算出部54と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、信号切替部60と、通常観察画像処理部62と、合成表示画像処理部63と、表示制御部66と、静止画保存部67と、静止画保存制御部68とを備えている。
【0037】
画像取得部53は、内視鏡12において観察対象を撮像することにより得られた観察画像を取得する。具体的には、観察画像として、内視鏡12からのデジタルのカラー画像信号が画像取得部53に入力される。カラー画像信号は、撮像センサ48のR画素から出力される赤色信号と、撮像センサ48のG画素から出力される緑色信号と、撮像センサ48のB画素から出力される青色信号とから構成される。明るさ情報算出部54は、画像取得部53から入力される画像信号に基づいて、観察対象の明るさを示す明るさ情報を算出する。算出した明るさ情報は光源制御部21に送られ、照明光の発光量の制御に用いられる。
【0038】
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理(等方化処理、同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素が各色の信号を有するようになる。
【0039】
ノイズ除去部58は、DSP56でガンマ補正等が施された画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、画像信号からノイズを除去する。ノイズが除去された画像信号は、信号切替部60に送信される。
【0040】
信号切替部60は、モード切替SW13aにより、通常光観察モードにセットされている場合には、通常光の照明及び撮像で得られた通常光用画像信号を通常観察画像処理部62に送信する。合成表示モードにセットされている場合には、第1照明光の照明及び撮像で得られた第1画像信号、及び、第2照明光の照明及び撮像で得られた第2画像信号を合成表示画像処理部63に送信する。
【0041】
通常観察画像処理部62は、通常光用画像信号に対して、通常画像用の画像処理を施す。通常画像用の画像処理には、通常画像用の構造強調処理などが含まれる。通常観察画像処理部62では、通常画像用の画像処理を行うために、通常用画像信号に対して掛け合わされる通常画像用パラメータが設けられている。通常画像用の画像処理が施されたRGB画像信号は、通常画像として、通常観察画像処理部62から表示制御部66に入力される。
【0042】
合成表示画像処理部63は、第1画像信号及び第2画像信号を合成して、1フレームの合成表示画像を生成する。合成表示画像においては、血液などの第1観察対象と、胆汁又は脂肪などの第2観察対象とがそれぞれ識別可能に表示されている。合成表示画像の生成方法等の詳細については、後述する。生成された合成表示画像は、合成表示画像処理部63から表示制御部66に入力される。
【0043】
表示制御部66は、通常観察画像処理部62、又は、合成表示画像処理部63から入力された通常画像、又は、合成表示画像を、モニタ18で表示可能な画像として表示するための制御を行う。表示制御部66による制御によって、各観察モードに応じた画像が表示される。通常光観察モードの場合には、通常画像がモニタ18に表示される。また、合成表示モードの場合には、合成表示画像がモニタ18に表示される。
【0044】
静止画保存制御部68は、静止画取得指示部13bの指示に従って、その静止画取得指示のタイミングで得られた画像を静止画として静止画保存部67に保存する制御を行う。通常光観察モードの場合であれば、静止画取得指示のタイミングで得られた通常画像を静止画として静止画保存部67に保存する。合成表示モードの場合であれば、静止画取得指示のタイミングで得られた合成表示画像を静止画として静止画保存部67に保存する。
【0045】
次に、合成表示画像の生成方法等の詳細について説明する。合成表示画像処理部63では、第1観察対象と第2観察対象とをそれぞれ合成表示画像にて識別可能に表示するための識別処理が行われる。識別処理は、第1画像信号の特定色信号と第2画像信号の特定色信号との信号値を比較処理によって比較し、比較処理の結果を用いて、第1観察対象と第2観察対象とを合成表示画像において識別可能に表示する第1識別処理が含まれる。
【0046】
具体的には、第1識別処理では、
図12に示すように、第1青色信号B1、第1緑色信号G1、第1赤色信号R1、第2青色信号B2、第2緑色信号G2、及び第2赤色信号R2に基づいて、合成表示画像を生成する。ここで、第1観察対象である血液の第1吸収ピークに関する成分は、紫色光Vの反射光成分に多く含まれていることから、第1画像信号のうち第1青色信号B1(特定色信号)に含まれている。また、第2観察対象である胆汁又は脂肪の第2吸収ピークに関する成分は、青色光Bの反射光成分に多く含まれていることから、第2画像信号のうち第2青色信号B2(特定色信号)に含まれている。
【0047】
そのため、
図13に示すように、第1観察対象を撮像した場合には、第1青色信号B1の信号値が第2青色信号B2の信号値よりも小さくなる。これに対して、第2観察対象を撮像した場合には、第2青色信号B2の信号値が第1青色信号B1の信号値よりも小さくなる。以上の関係を利用して、比較処理として、第1青色信号B1の信号値と第2青色信号B2の信号値とを比較する。そして、比較処理の結果として、合成表示画像のB画像として、信号値が小さいほうの信号を合成表示画像上で表示させ、信号値が大きいほうの信号を合成表示画像上では表示しない。これにより、1つの合成表示画像上において、第1観察対象と第2観察対象をそれぞれ選択的に表示することが可能となる。即ち、合成表示画像上で第1観察対象と第2観察対象を識別して表示することが可能となる。
【0048】
なお、第1照明光と第2照明光において緑色光と赤色光の光量比はほぼ同じように設定していることから、第1緑色信号G1の信号値と第2緑色信号G2の信号値とはほぼ同じであり、また、第1赤色信号R1の信号値と第2赤色信号R2の信号値ともほぼ同じである。これは、第1照明光をカラーチャート(例えば、マクベス)に照明して撮像した場合と、第2照明光をカラーチャートに照明して撮像した場合とで、カラーチャートの画像の色はそれぞれほぼ一致する(照明光の光量だけでなく、ホワイトバランスも調整していることが前提)。したがって、合成表示画像のG画像については、第1緑色信号G1の信号値と第2緑色信号G2の信号値の平均値で表示することが好ましい。また、合成表示画像のR画像については、第1赤色信号R1の信号値と第2赤色信号R2の信号値の平均値で表示することが好ましい。
【0049】
また、第1識別処理においては、合成表示画像のB画像として、第1青色信号B1及び第2青色信号B2のうち、信号値が小さいほうの信号を合成表示画像上で表示させ、信号値が大きいほうの信号を合成表示画像上では表示しないことにより、第1観察対象(例えば、血液)と第2観察対象(例えば、胆汁又は脂肪)の両方を強調しているが、その他の処理を行ってもよい。例えば、合成表示画像のB画像として、第1青色信号B1を表示し、第2青色信号B2を表示しないことにより、第1観察対象のみを強調するようにしてもよい。また、合成表示画像のB画像として、第2青色信号B2を表示し、第1青色信号B1を表示しないことにより、第2観察対象のみを強調するようにしてもよい。また、合成表示画像のB画像として、第1青色信号B1及び第2青色信号B2のうち、信号値が大きいほうの信号を合成表示画像上で表示させ、信号値が小さいほうの信号を合成表示画像上では表示しないことにより、第1観察対象(例えば、血液)と第2観察対象(例えば、胆汁又は脂肪)の両方の表示を抑制(例えば、見えにくくする)するようにしてもよい。
【0050】
また、識別処理は、第1画像信号の特定色信号及び第2画像信号の特定色信号に基づく識別用演算処理を行い、識別用演算処理の結果を用いて、第1観察対象と第2観察対象を合成表示画像において識別可能に表示する第2識別処理が含まれる。具体的には、具体的には、第1識別処理では、
図14に示すように、第1青色信号B1、第1緑色信号G1、第1赤色信号R1、第2青色信号B2、第2緑色信号G2、及び第2赤色信号R2に基づいて、合成表示画像を生成する。
【0051】
そして、上記したように、第1観察対象を撮像した場合と第2観察対象を撮像した場合とで、第1青色信号B1の信号値と第2青色信号B2の信号値の関係性は変化することを利用して、識別用演算処理を行う。識別用演算処理では、
図15に示すように、第1青色信号B1の信号値と第2青色信号B2の信号値の平均値AveBを求め、且つ、第1青色信号B1の信号値と第2青色信号B2の信号値の差分値の絶対値ΔBを求める。そして、合成表示画像のB画像については、AveBからΔBを差し引いた演算値に従って表示を行う。これにより、1つの合成表示画像上において、第1観察対象と第2観察対象をそれぞれ選択的に表示することが可能となる。即ち、合成表示画像上で第1観察対象と第2観察対象を識別して表示することが可能となる。加えて、演算値は、第1青色信号B1の信号値又は第2青色信号B2の信号値よりも小さくなるので、第1観察対象と第2観察対象の区別がより明確になって表示される。
【0052】
なお、上記実施形態では、第1照明光には紫色光V、緑色光G、赤色光Rを含めているが、
図16に示すように、第1照明光に青色光Bを加えて、第1照明光に紫色光V、青色光B、緑色光G、及び赤色光Rを含むようにしてもよい。ただし、この場合には、紫色光Vの光強度を青色光Bの光強度よりも大きくする。例えば、紫色光Vの光強度Vs1と青色光Bの光強度Bs1との比率を「9:1」とすることが好ましい。
【0053】
また、第2照明光には青色光B、緑色光G、赤色光Rを含めているが、
図17に示すように、第2照明光に紫色光Vを加えて、第2照明光に紫色光V、青色光B、緑色光G、及び赤色光Rを含むようにしてもよい。ただし、この場合には、青色光Bの光強度を紫色光Vの光強度よりも大きくする。例えば、紫色光Vの光強度Vs2と青色光Bの光強度Bs2との比率を「1:9」とすることが好ましい。なお、上記のように、第1照明光及び第2照明光にそれぞれ紫色光V、青色光B、緑色光G、及び赤色光Rを含める場合には、第1照明光に含まれる緑色光及び赤色光の光強度比と第2照明光に含まれる緑色光及び赤色光の光強度比とは同じにした状態において、第1照明光に含まれる紫色光の強度比と第2照明光に含まれる紫色光の強度比とを異ならせ、第1照明光に含まれる青色光の強度比と第2照明光に含まれる青色光の強度比とを異ならせることが好ましい。
【0054】
[第2実施形態]
第1実施形態では、1つの合成表示画像において、第1観察対象と第2観察対象とを識別して表示しているが、第2実施形態では、複数の表示画像を切り替えて表示することによって、第1観察対象と第2観察対象を識別可能に表示する。第2実施形態の内視鏡システム100においては、
図18に示すように、合成表示画像処理部63に代えて、第1表示画像処理部102、及び第2表示画像処理部104が設けられている。その他については、第1実施形態の内視鏡システム10と同様である。
【0055】
第2実施形態の内視鏡システム100では、第1実施形態の合成表示モードに代えて、マルチ観察モードが設けられている。内視鏡システム100では、マルチ観察モードにセットされている場合には、第1照明光の照明及び撮像で得られた第1画像信号は第1表示画像処理部102に送信され、第2照明光の照明及び撮像で得られた第2画像信号は第2表示画像処理部104に送信される。第1表示画像処理部102では、第1画像信号に対して第1表示画像用の画像処理を施して、第1表示画像を出力する。第2表示画像処理部104では、第2画像信号に対して第2表示画像用の画像処理を施して、第2表示画像を出力する。
【0056】
そして、マルチ観察モードの場合には、表示制御部66は、第1照明光の発光期間と第2照明光の発光期間に合わせて、第1表示画像と第2表示画像を切り替えてモニタ18に表示する。即ち、第1照明光の発光期間が2フレームで、第2照明光の発光期間が3フレームである場合には、
図19に示すように、第1表示画像が2フレーム続けて表示され、且つ、第2表示画像が3フレーム続けて表示される。これにより、血液などの第1観察対象と胆汁又は脂肪などの第2観察対象が交互にモニタ18に表示されるため、第1観察対象と第2観察対象とを識別可能に表示される。
【0057】
上記第1及び第2実施形態において、画像取得部53、明るさ情報算出部54、DSP56、ノイズ除去部58、通常観察画像処理部62、合成表示画像処理部63、静止画保存部67、表示制御部66、静止画保存制御部68、第1表示画像処理部102、及び、第2表示画像処理部104など、プロセッサ装置16に含まれる処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、GPU(Graphical Processing Unit)各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0058】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGA、CPUとFPGAの組み合わせ、CPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0059】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
【0060】
なお、本発明は、第1~第3実施形態のような内視鏡システムや第4実施形態のようなカプセル内視鏡システムに組み込まれるプロセッサ装置の他、各種の医用画像処理装置に対して適用することが可能である。
【符号の説明】
【0061】
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a モード切替SW
13b 静止画取得指示部
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
20 光源部
20a V-LED(Violet Light Emitting Diode)
20b B-LED(Blue Light Emitting Diode)
20c G-LED(Green Light Emitting Diode)
20d R-LED(Red Light Emitting Diode)
21 光源制御部
23 光路結合部
24 発光期間設定部
26a スライドバー
26b スライドバー
27a スライダ
27b スライダ
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
48 撮像センサ
48b Bフィルタ
48g Gフィルタ
48r Rフィルタ
50 A/D回路
53 画像取得部
54 明るさ情報算出部
56 DSP(Digital Signal Processor)
58 ノイズ除去部
60 信号切替部
62 通常観察画像処理部
63 合成表示画像生成部
66 表示制御部
67 静止画保存部
68 静止画保存制御部
100 内視鏡システム
102 第1表示画像処理部
104 第2表示画像処理部
RP1 第1ピーク波長範囲
RP2 第2ピーク波長範囲
λ1 ヘモグロビンの吸収ピーク
λ2 カルチノイドの吸収ピーク
λ3 ビリルビンの吸収ピーク