(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-07
(45)【発行日】2022-11-15
(54)【発明の名称】内視鏡システム
(51)【国際特許分類】
A61B 1/06 20060101AFI20221108BHJP
【FI】
A61B1/06 612
(21)【出願番号】P 2021501977
(86)(22)【出願日】2020-02-17
(86)【国際出願番号】 JP2020006020
(87)【国際公開番号】W WO2020171012
(87)【国際公開日】2020-08-27
【審査請求日】2021-07-29
(31)【優先権主張番号】P 2019027187
(32)【優先日】2019-02-19
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001988
【氏名又は名称】特許業務法人小林国際特許事務所
(72)【発明者】
【氏名】岩根 弘亮
【審査官】冨永 昌彦
(56)【参考文献】
【文献】特開2015-062656(JP,A)
【文献】特開2012-000160(JP,A)
【文献】特開2016-152920(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00 - 1/32
(57)【特許請求の範囲】
【請求項1】
第1照明光と、前記第1照明光とは異なる発光スペクトルを有する第2照明光とを発光する光源部と、
第1プロセッサと、
第2プロセッサとを備え、
前記第1プロセッサは、
前記第1照明光と前記第2照明光とを
それぞれ予め設定した期間で自動的に切り替えて発光する制御を行う場合において、前記第1照明光を発光する発光期間K(N)と前記第2照明光を発光する発光期間L(N)は、それぞれ少なくとも1フレーム以上の発光期間であるとし、
前記第2プロセッサは、
前記第1照明光の発光期間K(N)において前記第1照明光により照明された被写体を撮像して得られる第1画像信号を含む第1画像信号群と、前記第2照明光の発光期間L(N)において前記第2照明光により照明された被写体を撮像して得られる第2画像信号を含む第2画像信号群とを取得し、
前記第1画像信号から前記被写体の第1明るさD1を算出し、前記第2画像信号から前記被写体の第2明るさD2を算出し、
前記第1明るさ又は前記第2明るさに基づいて、前記第1照明光又は前記第2照明光の光量を設定し、
前記第1照明光から前記第2照明光に切り替える第1切替タイミングにおいて設定された前記第2照明光の光量を調整すること、前記第2照明光から前記第1照明光に切り替える第2切替タイミングにおいて設定された前記第1照明光の光量を調整することの少なくともいずれかを行う内視鏡システム。
【請求項2】
前記第2プロセッサは、前記発光期間L(N)よりも前の発光期間L(N-2)の第1切替タイミングT1に関する情報を用いて、前記発光期間L(N)の第1切替タイミングT1で設定した前記第2照明光の光量を調整し、又は、前記発光期間K(N)よりも前の発光期間K(N-2)の第2切替タイミングT2に関する情報を用いて、発光期間K(N)の第2切替タイミングT2で設定した前記第1照明光の光量を調整することの少なくともいずれかを行う請求項1記載の内視鏡システム。
【請求項3】
N=4とし、発光期間L(4)の第1切替タイミングT1で設定した第2照明光の光量を調整する場合には、発光期間L(2)の第1切替タイミングT1に関する情報として、前記目標明るさを、前記第1切替タイミングT1の第2明るさD2(2)
*で除して得られる調整係数X(2)を、前記第2照明光の光量に掛け合わせて行う請求項2記載の内視鏡システム。
【請求項4】
前記第2プロセッサは、前記発光期間L(N)よりも前の複数の発光期間L(N-P)の第1切替タイミングT1に関する情報を用いて、前記発光期間L(N)の第1切替タイミングT1で設定した前記第2照明光の光量を調整し、又は、前記発光期間K(N)よりも前の発光期間K(N-P)の第2切替タイミングT2に関する情報を用いて、前記発光期間K(N)の第2切替タイミングT2で設定した前記第1照明光の光量を調整することの少なくともいずれかを行う請求項1記載の内視鏡システム。
【請求項5】
前記第1切替タイミングT1の第2明るさD2には、複数の発光期間L(N-P)の前記第1切替タイミングT1の第2明るさのそれぞれを示す複数の第2明るさD2(N-P)が含まれ、
前記第2プロセッサが、前記発光期間L(N)の第1切替タイミングT1で設定した第2照明光の光量を調整する場合には、前記複数の発光期間L(N-P)の第1切替タイミングT1に関する情報として、前記目標明るさを、複数の第2明るさD2(N-P)のそ
れぞれに対して、重み付け係数を掛けて加算した値で除して得られる特定調整係数Xを、前記第2照明光の光量に掛け合わせて行われる請求項4記載の内視鏡システム。
【請求項6】
前記第2プロセッサは、前記発光期間L(N)よりも前の発光期間K(N-1)の第2切替タイミングT2に関する情報を用いて、前記発光期間L(N)の第1切替タイミングT1で設定した前記第2照明光の光量を調整し、又は、前記発光期間K(N)よりも前の発光期間L(N-1)の第1切替タイミングT1に関する情報を用いて、前記発光期間K(N)の第2切替タイミングT2で設定した前記第1照明光の光量を調整することの少なくともいずれかを行う請求項1記載の内視鏡システム。
【請求項7】
N=4とし、発光期間L(4)の第1切替タイミングT1で設定した第2照明光の光量を調整する場合には、発光期間K(3)の第2切替タイミングT2に関する情報として、前記発光期間K(3)のうち前記第2切替タイミングの前記第1明るさD1(3)
*を、前記目標明るさで除して得られる調整係数Y(3)を、前記第2照明光の光量に掛け合わせて行う請求項6記載の内視鏡システム。
【請求項8】
前記第2プロセッサは、前記発光期間L(N)よりも前の複数の発光期間K(N-Q)の第2切替タイミングT2及び複数の発光期間L(N-P)の第1切替タイミングT1に関する情報を用いて、前記発光期間L(N)の第1切替タイミングT1で設定した前記第2照明光の光量を調整し、又は、前記発光期間K(N)よりも前の複数の発光期間L(N-Q)の第1切替タイミングT1及び複数の発光期間K(N-P)の第2切替タイミングT2に関する情報を用いて、前記発光期間K(N)の第2切替タイミングT2で設定した前記第1照明光の光量を調整することの少なくともいずれかを行う請求項1記載の内視鏡システム。
【請求項9】
N=6とし、前記第2プロセッサが、発光期間L(6)の第1切替タイミングT1で設定した第2照明光の光量を調整する場合には、発光期間K(5)のうち第2切替タイミングT2の第1明るさD1(5)
*、発光期間L(4)の第1切替タイミングT1の第2明るさD2(4)
*、及び予め設定された目標明るさVとに基づく特定調整係数Yを、前記第2照明光の光量に掛け合わせて行う請求項8記載の内視鏡システム。
【請求項10】
前記第1明るさ又は前記第2明るさは、前記第1画像信号又は前記第2画像信号のうち血管または病変以外の画素値の平均に基づいて求められる請求項1ないし9いずれか1項記載の内視鏡システム。
【請求項11】
前記第1明るさ又は前記第2明るさは、前記第1画像信号又は前記第2画像信号のうち暗部、ハレーションの少なくともいずれかを含む異常画素以外の画素値の平均、又は、前記第1画像信号群又は前記第2画像信号群のうち前記異常画素を含む前記第1画像信号又は前記第2画像信号以外の正常画像信号の画素値の平均値に基づいて求められる請求項1ないし10いずれか1項記載の内視鏡システム。
【請求項12】
前記第2プロセッサは、前記第1明るさ又は前記第2明るさが予め定めた目標明るさ範囲の範囲内である場合にのみ、前記第2照明光の光量の調整、又は、前記第1照明光の光量の調整を行う請求項1ないし11いずれか1項記載の内視鏡システム。
【請求項13】
第1照明光と、前記第1照明光とは異なる発光スペクトルを有する第2照明光とを発光する光源部と、
第1プロセッサと、
第2プロセッサとを備え、
前記第1プロセッサは、
前記第1照明光と前記第2照明光とを自動的に切り替えて発光する制御を行う場合において、前記第1照明光を発光する発光期間K(N)と前記第2照明光を発光する発光期間L(N)は、それぞれ少なくとも1フレーム以上の発光期間であるとし、
前記第2プロセッサは、
前記第1照明光の発光期間K(N)において前記第1照明光により照明された被写体を撮像して得られる第1画像信号を含む第1画像信号群と、前記第2照明光の発光期間L(N)において前記第2照明光により照明された被写体を撮像して得られる第2画像信号を含む第2画像信号群とを取得し、
前記第1画像信号から前記被写体の第1明るさD1を算出し、前記第2画像信号から前記被写体の第2明るさD2を算出し、
前記第1明るさ又は前記第2明るさに基づいて、前記第1照明光又は前記第2照明光の光量を設定し、
前記第1照明光から前記第2照明光に切り替える第1切替タイミングにおいて設定された前記第2照明光の光量を調整すること、前記第2照明光から前記第1照明光に切り替える第2切替タイミングにおいて設定された前記第1照明光の光量を調整することの少なくともいずれかを行
い、
前記第1明るさ又は前記第2明るさは、前記第1画像信号又は前記第2画像信号のうち血管または病変以外の画素値の平均に基づいて求められる内視鏡システム。
【請求項14】
第1照明光と、前記第1照明光とは異なる発光スペクトルを有する第2照明光とを発光する光源部と、
第1プロセッサと、
第2プロセッサとを備え、
前記第1プロセッサは、
前記第1照明光と前記第2照明光とを自動的に切り替えて発光する制御を行う場合において、前記第1照明光を発光する発光期間K(N)と前記第2照明光を発光する発光期間L(N)は、それぞれ少なくとも1フレーム以上の発光期間であるとし、
前記第2プロセッサは、
前記第1照明光の発光期間K(N)において前記第1照明光により照明された被写体を撮像して得られる第1画像信号を含む第1画像信号群と、前記第2照明光の発光期間L(N)において前記第2照明光により照明された被写体を撮像して得られる第2画像信号を含む第2画像信号群とを取得し、
前記第1画像信号から前記被写体の第1明るさD1を算出し、前記第2画像信号から前記被写体の第2明るさD2を算出し、
前記第1明るさ又は前記第2明るさに基づいて、前記第1照明光又は前記第2照明光の光量を設定し、
前記第1照明光から前記第2照明光に切り替える第1切替タイミングにおいて設定された前記第2照明光の光量を調整すること、前記第2照明光から前記第1照明光に切り替える第2切替タイミングにおいて設定された前記第1照明光の光量を調整することの少なくともいずれかを行
い、
前記第1明るさ又は前記第2明るさは、前記第1画像信号又は前記第2画像信号のうち暗部、ハレーションの少なくともいずれかを含む異常画素以外の画素値の平均、又は、前記第1画像信号群又は前記第2画像信号群のうち前記異常画素を含む前記第1画像信号又は前記第2画像信号以外の正常画像信号の画素値の平均値に基づいて求められる内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数種類の画像を切り替えて表示する内視鏡システムに関する。
【背景技術】
【0002】
近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるRGB画像信号に基づいて、観察対象の画像をモニタ上に表示する。
【0003】
また、近年では、診断の目的に応じて、互いに波長域が異なる複数の照明光を観察対象に照明することが行われている。例えば、特許文献1では、ピーク波長が422nmのNB1光と、ピーク波長が460~470nmのNB2光との2つの青色の狭帯域光を交互に照明することによって、観察対象に含まれる血管中の酸素飽和度を取得することが記載されている。また、特許文献2では、B1領域(第1のB領域:390nmから440nm)にピークを有する光と、B2領域(第2のB領域:440nmから490nm)にピークを有する光とを観察対象に照明し、B1領域の光及びB2領域の光の両方に感度を有するB画素を含む撮像素子によって撮像を行うことにより、表層血管の解像情報を得ることが記載されている。また、特許文献3には、中心波長405nmの紫色光、中心波長445nmの青色レーザ光、及び青色レーザ光によって励起発光する励起発光を用いて、生体組織の所望の組織情報を、診断に適したより明瞭な状態で取得することが記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2015-173737号公報
【文献】国際公開第2016/080130号
【文献】特開2017-185258号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
近年では、内視鏡分野においては、背景粘膜以外の生体情報、例えば、深さが異なる血管や深さ、高さが異なる腺管構造などに着目する診断が行われている。このような診断においては、ユーザーに対して、背景粘膜以外の複数の情報をそれぞれ把握できるように表示する必要がある。このような複数の情報をそれぞれ表示する方法として、生体組織への深達度が異なる複数波長の光を自動で周期的に切り替えて照明し、それらの照明によって得られる複数の画像を切り替えて表示する方法が考えられる。例えば、表層血管など表層の情報と深層血管など深層の情報を得るためには、表層にまで深達度を有する短波光と深層にまで深達度を有する中波長光を切り替えて照明し、短波光の照明により得られる表層画像と中波長光の照明により得られる深層画像とを切り替えて表示する。このような切替表示を行うことにより、表層画像と深層画像の差分が表示されるため、異なる生体情報を分離して表示することができる。したがって、表層情報と深層情報との異なる生体情報を把握することができる。
【0006】
以上のように、各波長の光を切り替えて照明する場合には、各波長の光の光量が、被写体の明るさに合わせて、適正に制御する必要がある。しかしながら、観察部位の違い、個人差、炎症等の疾患の有無、または色素散布の有無等の被写体の変化により、標準的な被写体と分光反射率が異なり、複数波長の光で撮影したそれぞれの画像の明るさ、色調等が大きく異なる場合には、各波長の光の切替時に目標明るさとの差が大きい場合には、各波長の光の光量が、被写体の明るさに対応しないことがある。
【0007】
本発明は、複数の光を切り替えて照明する場合において、被写体の変化に合わせて、各光の照明光の光量を制御することができる内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の内視鏡システムは、第1照明光と、第1照明光とは異なる発光スペクトルを有する第2照明光とを発光する光源部と、第1プロセッサと、第2プロセッサとを備え、第1プロセッサは、第1照明光と第2照明光とをそれぞれ予め設定した期間で自動的に切り替えて発光する制御を行う場合において、第1照明光を発光する発光期間K(N)と第2照明光を発光する発光期間L(N)は、それぞれ少なくとも1フレーム以上の発光期間であるとし、第2プロセッサは、第1照明光の発光期間K(N)において第1照明光により照明された被写体を撮像して得られる第1画像信号を含む第1画像信号群と、第2照明光の発光期間L(N)において第2照明光により照明された被写体を撮像して得られる第2画像信号を含む第2画像信号群とを取得し、第1画像信号から被写体の第1明るさD1を算出し、第2画像信号から被写体の第2明るさD2を算出し、第1明るさ又は第2明るさに基づいて、第1照明光又は第2照明光の光量を設定し、第1照明光から第2照明光に切り替える第1切替タイミングにおいて設定された第2照明光の光量を調整すること、第2照明光から第1照明光に切り替える第2切替タイミングにおいて設定された第1照明光の光量を調整することの少なくともいずれかを行う。
【0009】
第2プロセッサは、発光期間L(N)よりも前の発光期間L(N-2)の第1切替タイミングT1に関する情報を用いて、発光期間L(N)の第1切替タイミングT1で設定した第2照明光の光量を調整し、又は、発光期間K(N)よりも前の発光期間K(N-2)の第2切替タイミングT2に関する情報を用いて、発光期間K(N)の第2切替タイミングT2で設定した第1照明光の光量を調整することの少なくともいずれかを行うことが好ましい。
【0010】
N=4とし、発光期間L(4)の第1切替タイミングT1で設定した第2照明光の光量を調整する場合には、発光期間L(2)の第1切替タイミングT1に関する情報として、目標明るさを、第1切替タイミングT1の第2明るさD2(2)*で除して得られる調整係数X(2)を、第2照明光の光量に掛け合わせて行うことが好ましい。
【0011】
第2プロセッサは、発光期間L(N)よりも前の複数の発光期間L(N-P)の第1切替タイミングT1に関する情報を用いて、発光期間L(N)の第1切替タイミングT1で設定した第2照明光の光量を調整し、又は、発光期間K(N)よりも前の発光期間K(N-P)の第2切替タイミングT2に関する情報を用いて、発光期間K(N)の第2切替タイミングT2で設定した第1照明光の光量を調整することの少なくともいずれかを行うことが好ましい。
【0012】
第1切替タイミングT1の第2明るさD2には、複数の発光期間L(N-P)の第1切替タイミングT1の第2明るさのそれぞれを示す複数の第2明るさD2(N-P)が含まれ、第2プロセッサが、発光期間L(N)の第1切替タイミングT1で設定した第2照明光の光量を調整する場合には、複数の発光期間L(N-P)の第1切替タイミングT1に関する情報として、目標明るさを、複数の第2明るさD2(N-P)のそれぞれに対して、重み付け係数を掛けて加算した値で除して得られる特定調整係数Xを、第2照明光の光量に掛け合わせて行われることが好ましい。
【0013】
第2プロセッサは、発光期間L(N)よりも前の発光期間K(N-1)の第2切替タイミングT2に関する情報を用いて、発光期間L(N)の第1切替タイミングT1で設定した第2照明光の光量を調整し、又は、発光期間K(N)よりも前の発光期間L(N-1)の第1切替タイミングT1に関する情報を用いて、発光期間K(N)の第2切替タイミングT2で設定した第1照明光の光量を調整することの少なくともいずれかを行うことが好ましい。
【0014】
N=4とし、発光期間L(4)の第1切替タイミングT1で設定した第2照明光の光量を調整する場合には、発光期間K(3)の第2切替タイミングT2に関する情報として、発光期間K(3)のうち第2切替タイミングの第1明るさD1(3)*を、目標明るさで除して得られる調整係数Y(3)を、第2照明光の光量に掛け合わせて行うことが好ましい。
【0015】
第2プロセッサは、発光期間L(N)よりも前の複数の発光期間K(N-Q)の第2切替タイミングT2及び複数の発光期間L(N-P)の第1切替タイミングT1に関する情報を用いて、発光期間L(N)の第1切替タイミングT1で設定した第2照明光の光量を調整し、又は、発光期間K(N)よりも前の複数の発光期間L(N-Q)の第1切替タイミングT1及び複数の発光期間K(N-P)の第2切替タイミングT2に関する情報を用いて、発光期間K(N)の第2切替タイミングT2で設定した第1照明光の光量を調整することの少なくともいずれかを行うことが好ましい。
【0016】
N=6とし、第2プロセッサが、発光期間L(6)の第1切替タイミングT1で設定した第2照明光の光量を調整する場合には、発光期間K(5)のうち第2切替タイミングT2の第1明るさD1(5)*、発光期間L(4)の第1切替タイミングT1の第2明るさD2(4)*、及び予め設定された目標明るさVとに基づく特定調整係数Yを、第2照明光の光量に掛け合わせて行うことが好ましい。
【0017】
第1明るさ又は第2明るさは、第1画像信号又は第2画像信号のうち血管または病変以外の画素値の平均に基づいて求められることが好ましい。第1明るさ又は第2明るさは、第1画像信号又は第2画像信号のうち暗部、ハレーションの少なくともいずれかを含む異常画素以外の画素値の平均、又は、第1画像信号群又は第2画像信号群のうち異常画素を含む第1画像信号又は第2画像信号以外の正常画像信号の画素値の平均値に基づいて求められることが好ましい。第2プロセッサは、第1明るさ又は第2明るさが予め定めた目標明るさ範囲の範囲内である場合にのみ、第2照明光の光量の調整、又は、第1照明光の光量の調整を行うことが好ましい。
【発明の効果】
【0018】
本発明によれば、複数の光を切り替えて照明する場合において、被写体の変化に合わせて、各光の照明光の光量を制御することができる。
【図面の簡単な説明】
【0019】
【
図1】第1実施形態の内視鏡システムの外観図である。
【
図2】第1実施形態の内視鏡システムの機能を示すブロック図である。
【
図3】紫色光V、青色光B、緑色光G、及び赤色光Rの発光スペクトルを示すグラフである。
【
図4】紫色光V、青色光B、緑色光G、及び赤色光Rを含む第1照明光の発光スペクトルを示すグラフである。
【
図5】紫色光V、青色光B、緑色光G、及び赤色光Rを含む第2照明光の発光スペクトルを示すグラフである。
【
図6】第1照明光の発光期間と第2照明光の発光期間を示す説明図である。
【
図8】撮像センサに設けられたBフィルタ、Gフィルタ、Rフィルタの分光透過率である。
【
図9】第1画像信号群および第2画像信号群の取得について、時系列により説明する説明図である。
【
図11】特殊画像処理部の機能を示すブロック図である。
【
図13】第1照明光を照明した場合に得られる紫及び青色光画像と緑及び赤色光画像を示す説明図である。
【
図15】第2照明光を照明した場合に得られる紫及び青色光画像と緑及び赤色光画像を示す説明図である。
【
図16】第2照明光の光量の調整に用いる第2明るさD2(2)
*を示す発光期間と明るさを示す説明図である。
【
図17】被写体が標準的である場合の明るさと光量の関係を示す説明図である。
【
図18】被写体が標準的でない場合の明るさと光量の関係を示す説明図である。
【
図19】被写体が標準的でない場合において光量の調整を行う場合の明るさと光量の関係を示す説明図である。
【
図20】第2照明光の光量の調整に用いる第2明るさD2(2)
*及び第2明るさD2(4)
*を示す発光期間と明るさを示す説明図である。
【
図21】第2照明光の光量の調整に用いる第1明るさD1(3)
*を示す発光期間と明るさを示す説明図である。
【
図22】第2照明光の光量の調整に用いる第2明るさD2(3)
*及び第1明るさD1(5)
*を示す発光期間と明るさを示す説明図である。
【発明を実施するための形態】
【0020】
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18(表示部)と、ユーザーインターフェース19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。なお、ユーザーインターフェース19は図示したキーボードの他、マウスなどが含まれる。
【0021】
また、操作部12bには、アングルノブ12eの他、モード切替SW13a、静止画取得指示部13bが設けられている。モード切替SW13aは、通常光観察モードと、第1特殊光観察モードと、第2特殊光観察モードと、マルチ観察モードとの切替操作に用いられる。通常光観察モードは、通常画像をモニタ18上に表示するモードである。第1特殊光観察モードは、表層血管などの表層情報を強調した第1特殊観察画像をモニタ18上に表示するモードである。第2特殊光観察モードは、深層血管などの深層情報を強調した第2特殊観察画像をモニタ18上に表示するモードである。マルチ観察モードは、第1特殊観察画像(以下、第1画像という)と第2特殊観察画像(以下、第2画像という)とを自動的に切り替えてモニタ18に表示するモードである。なお、モードを切り替えるためには、モード切替SW13aの他に、フットスイッチ等を用いてもよい。
【0022】
プロセッサ装置16は、モニタ18及びユーザーインターフェース19と電気的に接続される。モニタ18は、画像情報等を出力表示する。ユーザーインターフェース19は、機能設定等の入力操作を受け付けるUI(User Interface:ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
【0023】
図2に示すように、光源装置14は、光源部20と、光源制御部21と、光路結合部23と、発光期間設定部24とを有している。光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、R-LED(Red Light Emitting Diode)20dを有している。光源装置14には、各種制御に関するプログラムがプログラム用メモリ(図示しない)に組み込まれている。第1プロセッサから構成される光源制御部21が、プログラム用メモリに組み込まれたプログラムを実行することによって、光源制御部21の機能が実現する。具体的には、光源制御部21は、LED20a~20dの駆動を制御するための機能が実現する。光路結合部23は、4色のLED20a~20dから発せられる4色の光の光路を結合する。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド41及び照明レンズ45を介して、被検体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。発光期間設定部24は、複数の照明光のそれぞれの発光期間を設定する。
【0024】
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
【0025】
光源制御部21は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを制御する。また、光源制御部21は、通常光観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVc:Bc:Gc:Rcとなる通常光を発光するように、各LED20a~20dを制御する。
【0026】
また、光源制御部21は、第1特殊光観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVs1:Bs1:Gs1:Rs1となる第1照明光を発光するように、各LED20a~20dを制御する。光強度比Vs1:Bs1:Gs1:Rs1は、第1照明光の光量条件に対応する。第1照明光は、表層血管を強調することが好ましい。そのため、第1照明光は、紫色光Vの光強度を青色光Bの光強度よりも大きくすることが好ましい。例えば、
図4に示すように、紫色光Vの光強度Vs1と青色光Bの光強度Bs1との比率を「4:1」とする。
【0027】
なお、本明細書において、光強度比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光強度比を有するものとする。
【0028】
また、光源制御部21は、第2特殊光観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVs2:Bs2:Gs2:Rs2となる第2照明光を発光するように、各LED20a~20dを制御する。光強度比Vs2:Bs2:Gs2:Rs2は、第2照明光の光量条件に対応する。第2照明光は、深層血管を強調することが好ましいい。そのため、第2照明光は、青色光Bの光強度を紫色光Vの光強度よりも大きくすることが好ましい。例えば、
図5に示すように、紫色光Vの光強度Vs2と青色光Bの光強度Bs2との比率を「1:3」とすることが好ましい。
【0029】
光源制御部21は、マルチ観察モードに設定されている場合には、第1照明光と第2照明光とをそれぞれ発光期間K(N)と発光期間L(N)にて発光し、且つ、第1照明光と第2照明光とを自動的に切り替えて発光する制御を行う。発光期間K(N)と発光期間L(N)とは、それぞれ少なくとも1フレーム以上の発光期間を有する。なお、Nは自然数とし、Nが大きくなる程、時間的に進んでいることを示す。
【0030】
より具体的には、例えば、
図6に示すように、光源制御部21は、発光期間K(N)を4フレームとし、発光期間K(N)を4フレームとした場合、第1照明光が発光期間K(1)にて4フレーム続けて発光した後に、第2照明光が発光期間L(2)にて4フレーム続けて発光される。そして、この発光パターンを繰り返し行う。
【0031】
なお、「フレーム」とは、観察対象を撮像する撮像センサ48(
図2参照)を制御するための単位をいい、例えば、「1フレーム」とは、観察対象からの光で撮像センサ48を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間のことをいう。本実施形態においては、撮像の単位である「フレーム」に対応して発光期間K(N)または発光期間L(N)がそれぞれ定められている。
【0032】
発光期間K(N)と発光期間L(N)は、光源制御部21に接続された発光期間設定部24によって、適宜変更が可能である。ユーザーインターフェース19の操作により、発光期間の変更操作を受け付けると、発光期間設定部24は、
図7に示すような発光期間設定メニューをモニタ18上に表示する。発光期間K(N)は、例えば、2フレームから10フレームの間で変更可能である。各発光期間については、スライドバー26a上に割り当てられている。
【0033】
発光期間K(N)を変更する場合には、ユーザーインターフェース19を操作して、スライドバー26a上の変更したい発光期間を示す位置にスライダ27aを合わせることで、発光期間K(N)が変更される。発光期間K(N)についても、ユーザーインターフェース19を操作して、スライドバー26b(例えば、2フレームから10フレームの発光期間が割り当てられている)上の変更したい発光期間を示す位置にスライダ27bを合わせることで、発光期間L(N)が変更される。
【0034】
図2に示すように、ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用することができる。
【0035】
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46及び撮像センサ48を有している。観察対象からの反射光は、対物レンズ46を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。
【0036】
撮像センサ48はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素を備えた、いわゆるRGB撮像センサである。
【0037】
図8に示すように、Bフィルタ48bは、紫色帯域の光、青色帯域の光、及び緑色帯域の光のうち短波側の光を透過させる。Gフィルタ48gは、緑色帯域の光、青色帯域の光の長波側の光、及び赤色帯域の光の短波側の光を透過させる。Rフィルタ48rは、赤色帯域の光、緑色帯域の短波側の光を透過させる。したがって、撮像センサ48のうち、B画素は紫色光V及び青色光Bに感度を有し、G画素は青色光B、緑色光G、及び赤色光Rに感度を有し、R画素は緑色光G及び赤色光Rに感度を有している。
【0038】
なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部21は青色光B、緑色光G、及び赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
【0039】
図2に示すように、撮像センサ48から出力される画像信号は、CDS/AGC回路50に送信される。CDS/AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))又は自動利得制御(AGC(Auto Gain Control))を行う。CDS/AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)51により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
【0040】
プロセッサ装置16では、各種処理又は制御に関するプログラムがプログラム用メモリ(図示しない)に組み込まれている。第2プロセッサによって構成されるプロセッサ装置16内の中央制御部(図示しない)によって、プログラム用メモリに組み込まれたプログラムを実行することによって、プロセッサ装置16は、画像取得部52と、DSP(Digital Signal Processor)54と、ノイズ除去部58と、信号切替部60と、通常観察画像処理部62と、特殊観察画像処理部63と、表示制御部64と、静止画保存部65と、静止画保存制御部66との機能が実現する。上記プログラムの実行に伴って、DSP54に含まれる後述の明るさ算出部55、光量設定部56、及び設定光量調整部57の機能も実現する。
【0041】
画像取得部52は、内視鏡12において観察対象を撮像することにより得られた観察画像を取得する。具体的には、観察画像として、内視鏡12からのデジタルのカラー画像信号が画像取得部52に入力される。カラー画像信号は、撮像センサ48のR画素から出力される赤色信号と、撮像センサ48のG画素から出力される緑色信号と、撮像センサ48のB画素から出力される青色信号とから構成される。
【0042】
図9に示すように、画像取得部52は、発光期間K(N)において第1画像信号群を取得する。第1画像信号群は、発光期間K(N)において第1照明光により照明された被写体を撮像した複数の第1画像信号SP1を含む。また、画像取得部52は、発光期間L(N)において第2画像信号群を取得する。第2画像信号群は、発光期間L(N)において第2照明光により照明された被写体を撮像した複数の第2画像信号SP2を含む。本実施形態では、マルチ観察モードに設定されている場合には、光源制御部21は、第1照明光と第2照明光とをそれぞれ発光期間K(N)と発光期間L(N)にて発光し、且つ、第1照明光と第2照明光とを自動的に切り替えて発光する制御を行うため、画像取得部52は、時間の経過により、第1画像信号群、第2画像信号群の順に、周期的に画像を取得する。
【0043】
発光期間K(N)と発光期間L(N)とは、それぞれ少なくとも1フレーム以上の発光期間を有するため、第1画像信号群と第2画像信号群とは、それぞれ少なくとも1つ以上の第1画像信号SP1と第2画像信号SP2とを含む。本実施形態では、発光期間K(N)と発光期間L(N)とは、どちらも4フレームの発光期間である。したがって、発光期間K(N)では。4つの第1画像信号SP1を含む第1画像信号群が取得され、発光期間L(N)では、4つの第2画像信号SP2を含む第2画像信号群が取得される。
【0044】
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ホワイトバランス処理、リニアマトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。また、
図10に示すように、DSP54は、明るさ算出部55と、光量設定部56と、設定光量調整部57とを備える。光量設定部55又は設定光量調整部56で得られた通常光と第1照明光又は第2照明光の光量に関する情報は、光源制御部21に送られる。光源制御部21では、光量設定部55又は設定光量調整部56からの光量に関する情報に基づいて、通常光と第1照明光又は第2照明光の光量の制御を行う。上記の明るさ算出部55、光量設定部56、及び設定光量調整部57の詳細については、後述する。
【0045】
欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ホワイトバランス処理は、第1画像信号に第1ゲイン係数をかけ合わせて、また、第2画像信号に第2ゲイン係数をかけ合わせて行う。ホワイトバランス処理では、オフセット処理後の画像信号にゲインを乗じることにより信号レベルが整えられる。ホワイトバランス処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理(等方化処理、同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素が各色の信号を有するようになる。
【0046】
ノイズ除去部58は、DSP56でガンマ補正等が施された画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、画像信号からノイズを除去する。ノイズが除去された画像信号は、信号切替部60に送信される。
【0047】
信号切替部60は、モード切替SW13aにより、通常光観察モードにセットされている場合には、通常光の照明及び撮像で得られた通常光用画像信号を通常観察画像処理部62に送信する。
図11に示すように、特殊観察画像処理部63は、第1特殊観察画像処理部67、第2特殊観察画像処理部68、及び検出部69を含む。そして、第1特殊光観察モードにセットされている場合には、第1照明光の照明及び撮像で得られた第1画像信号を第1特殊観察画像処理部67に送信する。第1画像信号には、撮像センサのR画素から出力される第1赤色信号と、撮像センサ48のG画素から出力される第1緑色信号と、撮像センサ48のB画素から出力される第1青色信号が含まれる。また、第2特殊光観察モードにセットされている場合には、第2照明光の照明及び撮像で得られた第2画像信号を第2特殊観察画像処理部63に送信する。第2画像信号には、撮像センサのR画素から出力される第2赤色信号と、撮像センサ48のG画素から出力される第2緑色信号と、撮像センサ48のB画素から出力される第2青色信号が含まれる。また、マルチ観察モードにセットされている場合には、第1照明光の照明及び撮像で得られた第1画像信号は第1特殊観察画像処理部67に送信され、第2照明光の照明及び撮像で得られた第2画像信号は第2特殊観察画像処理部63に送信される。
【0048】
通常観察画像処理部62は、通常光観察モード時に得られたRGB画像信号に対して、通常画像用の画像処理を施す。通常画像用の画像処理には、通常画像用の構造強調処理などが含まれる。通常観察画像処理部62では、通常画像用の画像処理を行うために、RGB画像信号に対して掛け合わされる通常画像用パラメータが設けられている。通常画像用の画像処理が施されたRGB画像信号は、通常画像として、通常観察画像処理部62から表示制御部64に入力される。
【0049】
第1特殊観察画像処理部67は、第1画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理が行われた第1画像を生成する。第1画像では、表層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。第1特殊観察画像処理部67では、第1画像の画像処理を行うために、第1画像信号に対して掛け合わされる第1画像用のパラメータが設けられている。なお、第1特殊観察画像処理部67では、表層血管を強調する表層血管強調処理は行わないが、処理負荷の状況によっては、表層血管強調処理を行うようにしてもよい。
【0050】
第1画像により、
図12に示すように、観察対象のうち背景粘膜BM、及び、表層血管VS1が表された画像が表示される。第1画像は、紫色光、青色光、緑色光、及び赤色光を含む第1照明光に基づいて得られる。
図13に示すように、第1照明光が観察対象に照明されると、第1照明光のうち紫色光V及び青色光Bは、表層血管VS1が分布する表層にまで深達する。したがって、紫色光V及び青色光Bの反射光に基づいて得られる紫色光画像VPには、表層血管VS1の像が含まれる。なお、ここでは、紫色光Vの光強度が青色光Bの光強度より強いため、紫色光画像VPとする。また、第1照明光のうち緑色光Gと赤色光Rは、表層血管VS1及び深層血管VS2(表層血管VS1よりも深い位置にある血管)よりもさらに深い位置に分布する背景粘膜BMにまで深達する。したがって、緑色光Gと赤色光Rの反射光に基づいて得られる緑及び赤色光画像GRPには、背景粘膜BMの像が含まれる。以上から、第1画像は紫色光画像VPと緑及び赤色光画像GRPを組み合わせた画像であるため、背景粘膜BM及び表層血管VS1の像が表示される。
【0051】
第2特殊観察画像処理部68は、第2画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理が行われた第2画像を生成する。第2画像では、深層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。第2特殊観察画像処理部68では、第2画像の画像処理を行うために、第2画像信号に対して掛け合わされる第2画像用のパラメータが設けられている。なお、第2特殊観察画像処理部68では、深層血管を強調する表層血管強調処理は行わないが、処理負荷の状況によっては、深層血管強調処理を行うようにしてもよい。
【0052】
第2画像により、
図14に示すように、観察対象のうち背景粘膜BM、及び、深層血管VS2が表された画像が表示される。第2画像は、紫色光、青色光、緑色光、及び赤色光を含む第2照明光に基づいて得られる。
図15に示すように、第1照明光が観察対象に照明されると、第2照明光のうち紫色光V及び青色光Bは、深層血管VS2が分布する深層にまで深達する。したがって、紫色光V及び青色光Bの反射光に基づいて得られる青色光画像BPには、深層血管VS2の像が含まれる。なお、ここでは、青色光Bの光強度が紫色光Vの光強度より強いため、青色光画像BPとする。また、第2照明光のうち緑色光Gと赤色光Rは、表層血管VS1及び深層血管VS2(表層血管VS1よりも深い位置にある血管)よりもさらに深い位置に分布する背景粘膜BMにまで深達する。したがって、緑色光Gと赤色光Rの反射光に基づいて得られる緑及び赤色光画像GRPには、背景粘膜BMの像が含まれる。以上から、第2画像は青色光画像BPと緑及び赤色光画像GRPを組み合わせた画像であるため、背景粘膜BM及び深層血管VS2の像が表示される。
【0053】
以上のように、本実施形態では、第1画像信号により第1特殊観察画像を生成し、かつ、第2画像信号により第2特殊観察画像を生成し、第1特殊観察画像は表層血管が強調されており、第2特殊観察画像は表層血管よりも深い位置にある中深層血管が強調されることが好ましい。
【0054】
検出部69は、通常画像、第1画像及び第2画像により、血管または病変を検出する。上記のとおり、第1画像は、表層血管VS1が表された画像であり、第2画像は、深層血管VS2が表された画像であるため、画像処理により、これらの血管を検出することができる。また、血管または病変は、第1画像及び第2画像に加えて、通常観察画像を用いて、これらの画像処理により、検出してもよい。また、検出部69は、第1画像または第2画像における異常部分を検出し、異常画像信号とする。血管または病変の検出結果は、ホワイトバランス部55または光源制御部21に送られる。
【0055】
表示制御部64は、通常観察画像処理部62または特殊観察画像処理部63から入力された通常画像、第1画像、および/または第2画像を、モニタ18で表示可能な画像として表示するための制御を行う。表示制御部64による制御によって、各観察モードに応じた画像が表示される。通常観察モードの場合には、通常画像がモニタ18に表示される。また、第1特殊光観察モードの場合には、第1画像(
図12参照)がモニタ18に表示される。また、第2特殊光観察モードの場合には、第2画像(
図14参照)がモニタ18に表示される。
【0056】
また、マルチ観察モードの場合には、第1照明光の発光期間と第2照明光の発光期間に合わせて、カラーの第1画像と第2画像が切り替えてモニタ18に表示される。即ち、発光期間K(N)が4フレームで、発光期間L(N)が4フレームである場合には、第1表示用観察画像が4フレーム続けて表示され、かつ、第2表示用観察画像が4フレーム続けて表示される。
【0057】
以上のように、マルチ観察モードにおいては、ユーザーによるモード切替SW13aの操作を行うことなく、2種類の第1画像と第2画像を自動的に切り替えて表示することができる。このように自動的に切り替えて表示することで、観察対象に動き又は内視鏡12の先端部12dに動きが無い限り、第1画像と第2画像とでは同一の観察対象が表示される。ただし、第1画像と第2画像とでは同一の観察対象であっても、それぞれ分光情報が異なっているため、分光情報の違いにより観察対象の見え方は異なっている。即ち、第1画像では表層血管の視認性が高くなっている一方、第2画像では深層血管の視認性が高くなっている。したがって、第1画像と第2画像とを切り替えて表示することによって、深さが異なる複数の血管に対する視認性の向上を図ることができる。
【0058】
図2に示すように、静止画保存制御部66は、静止画取得指示部13bの指示に従って、その静止画取得指示のタイミングで得られた画像を静止画として静止画保存部65に保存する制御を行う。通常観察モードの場合であれば、静止画取得指示のタイミングで得られた通常画像を静止画として静止画保存部65に保存する。第1特殊光観察モードの場合であれば、静止画取得指示のタイミングで得られた第1特殊観察画像を静止画として静止画保存部65に保存する。第2特殊光観察モードの場合であれば、静止画取得指示のタイミングで得られた第2特殊観察画像を静止画として静止画保存部65に保存する。また、マルチ観察モードの場合であれば、静止画取得指示のタイミングで得られた第1特殊観察画像と第2特殊観察画像の1セットの表示用観察画像を静止画保存部65に保存する。
【0059】
明るさ算出部55、光量設定部56、及び設定光量調整部57の詳細について、以下説明する。光量設定部56は、通常光観察モードの場合には、明るさ算出部55は、通常光観察モード時に得られた画像信号から、被写体の明るさを算出する。光量設定部56は、算出した被写体の明るさに基づいて、通常光の光量を設定する。光源制御部21は、光量設定部56で設定された通常光の光量に基づいて、通常光の光量を制御する。
【0060】
第1特殊光観察モードの場合、明るさ算出部55は、第1画像信号から被写体の第1明るさD1を算出する。光量設定部56は、第1明るさD1から、第1照明光の光量を設定する。そして、光源制御部21は、光量設定部56で設定された第1照明光の光量に基づいて、第1照明光の光量を制御する。第2特殊光観察モードの場合、明るさ算出部55は、第2画像信号から、被写体の第2明るさD2を算出する。光量設定部56は、第2明るさD2から、第2照明光の光量を設定する。そして、光源制御部21は、光量設定部56で設定された第2照明光の光量に基づいて、第2照明光の光量を制御する。
【0061】
なお、明るさ算出部55では、第1画像信号又は第2画像信号の画素全体の画素値を用いて第1明るさD1又は第2明るさD2を求める他に、第1画像信号又は第2画像信号のうち血管または病変以外の画素値の平均に基づいて、第1明るさD1又は第2明るさD2を求めるようにしてもよい。また、第1画像信号又は第2画像信号のうち、暗部、ハレーションの少なくともいずれかを含む異常画素以外の画素値の平均から、第1明るさD1又は第2明るさD2を求めるようにしてもよい。また、第1画像信号群又は第2画像信号群のうち異常画素を含む第1画像信号または第2画像信号以外の正常画像信号の画素値の平均値に基づいて、第1明るさD1又は第2明るさD2を求めるようにしてもよい。
【0062】
マルチ観察モードの場合には、
図16に示すように、第1照明光の発光期間K(1)、発光期間K(3)にて第1照明光が発光されている場合には、第1特殊光観察モードの場合と同様に、第1画像信号から第1明るさD1(1)、D2(3)を算出し、第1明るさ(1)、D2(3)に基づいて第1照明光の光量を設定する。また、第2照明光の発光期間L(2)、発光期間L(4)にて第2照明光が発光されている場合には、第2特殊光観察モードの場合と同様に、第2画像信号から第2明るさD2(2)、D2(4)を算出し、第2明るさD2(2)、D2(4)に基づいて第2照明光の光量を設定する。
【0063】
一方、第1照明光から第2照明光に切り替える第1切替タイミングT1において設定された第2照明光の光量については、設定光量調整部57にて光量の調整を行う。同様にして、第2照明光から第1照明光に切り替える第2切替タイミングT2において設定された第1照明光の光量については、設定光量調整部57にて光量の調整を行う。
【0064】
第1実施形態では、発光期間L(N)よりも前の発光期間L(N-2)の第1切替タイミングT1に関する情報を用いて、発光期間L(N)の第1切替タイミングT1で設定した第2照明光の光量を調整し、又は、発光期間K(N)よりも前の発光期間K(N-2)の第2切替タイミングT2に関する情報を用いて、発光期間K(N)の第2切替タイミングT2で設定した第1照明光の光量を調整する。
【0065】
具体的には、設定光量調整部57では、発光期間L(4)よりも前の発光期間L(2)の第1切替タイミングT1に関する情報を用いて、発光期間L(4)の第1切替タイミングT1で設定した第2照明光の光量を調整し、又は、発光期間K(3)よりも前の発光期間K(1)の第2切替タイミングT2に関する情報を用いて、発光期間K(3)の第2切替タイミングT2で設定した第1照明光の光量を調整する。
【0066】
なお、第1切替タイミングT1は、第1照明光の発光期間K(N)と第2照明光の発光期間L(N+1)のいずれにも含まれ、例えば、
図16の場合であれば、発光期間K(3)の最後のフレームの発光タイミングと発光期間L(4)の最初のフレームの発光タイミングの両方に対応している。第2切替タイミングT2は、第2照明光の発光期間L(N)と第1照明光の発光期間K(N+1)のいずれにも含まれ、例えば、
図16の場合であれば、発光期間L(2)の最後のフレームの発光タイミングと発光期間K(3)の最初のフレームの発光タイミングの両方に対応している。
【0067】
例えば、第2照明光の発光期間L(4)のうち第1切替タイミングT1において光量設定部56にて設定された第2照明光の光量を調整する場合には、発光期間L(4)よりも前の発光期間L(2)のうち第1切替タイミングT1の第2明るさD2(2)*と、予め設定された目標明るさVとに基づく調整係数X(2)を用いて、光量の調整を行う。
【0068】
調整係数X(2)は、目標明るさVを、第2明るさD2(2)*で除して得ることが好ましい(調整係数X(2)=V/D2(2)*)。即ち、発光期間L(4)の第1切替タイミングT1で設定された第2照明光の光量を光量H2(4)とした場合には、調整係数X(2)を光量H2(4)に掛け合わせることにより、光量調整済みの第2照明光の光量H2(4)*が得られる(H2(4)*=X(2)×H2(4))。この光量調整済みの第2照明光の光量H2(4)*は光源制御部21に送られ、光源制御部21は、光量調整済みの第2照明光の光量H2(4)*に基づいて、第2照明光の光量の制御を行う。
【0069】
以上のように、調整係数Xを用いて2照明光の光量を調整することにより、観察部位が異なる、個人差がある、及び炎症などの疾患が有る場合など被写体が標準的でない場合であっても、被写体の明るさに合わせて適正な光量制御を行うことができる。例えば、
図17に示すように、被写体が標準的である場合には、第1照明光から第2照明光への切り替えに伴って、光源制御部21によるAE(Auto Exposure)制御によって第2照明光の光量を光量値Hsにまで大きくことによって、第1照明光の発光期間K(1)と第2照明光の発光期間L(2)とで明るさをほぼ同じにすることができる。
【0070】
一方、被写体が標準的でない場合、例えば、緑色光に対する被写体の反射率が高い場合には、
図18に示すように、第1照明光から第2照明光への切り替えに伴って、光源制御部21によるAE(Auto Exposure)制御によって第2照明光の光量を光量値Hsにまで大きくすると、本実施形態のように、第1切替タイミングT1に関する情報(調整係数X(2))を用いる第2照明光の光量調整を行わないと、発光期間K(1)から発光期間L(2)に切り替わる第1切替タイミングT1で、明るさが変動してしまう。これは、標準的な被写体のと異なり、被写体の緑色帯域の反射率が高いために起こり得る。ただし、発光期間L(2)において、最初のフレーム以降は、AE制御によって、適切な明るさに収束する。なお、以上のような明るさの変動は、発光期間L(2)から発光期間K(3)に切り替わる第2切替タイミングT2においても、起り得る。
【0071】
そこで、被写体が標準的でない場合において、第1切替タイミングT1又は第2切替タイミングT2における光量変動を抑制するために、
図19に示すように、発光期間L(4)では、第1切替タイミングT1に関する情報(調整係数X(2))を用いて、第2照明光の光量を調整する。そして、光量調整後の光量H2(4)
*に基づいて第2照明光の照明を行うことにより、第1切替タイミングT1における光量変動を抑制することができ、且つ、発光期間K(3)と発光期間L(4)の明るさをほぼ同じにすることができる。
【0072】
また、発光期間L(N)よりも前の複数の発光期間L(N-P)の第1切替タイミングT1に関する情報を用いて、発光期間L(N)の第1切替タイミングT1で設定した第2照明光の光量を調整し、又は、発光期間K(N)よりも前の発光期間K(N-P)の第2切替タイミングT2に関する情報を用いて、発光期間K(N)の第2切替タイミングT2で設定した第1照明光の光量を調整してもよい。なお、PはNよりも小さい偶数とする。
【0073】
例えば、
図20に示すように、第2照明光の発光期間L(6)のうち第1切替タイミングT1において光量設定部56にて設定された第2照明光の光量を調整する場合には、発光期間L(6)よりも前の発光期間L(4)の第1切替タイミングT1の第2明るさD2(4)
*、発光期間L(2)の第1切替タイミングT1の第2明るさD2(2)
*、及び目標明るさVとに基づく特定調整係数Xを用いて、光量の調整を行う。ここで、特定調整係数Xは、目標明るさVを、第2明るさD2(4)
*と第2明るさD2(2)
*にそれぞれ重み付け係数を掛けて加算した値で、除して得られることが好ましい(特定調整係数X=V/(α1×D2(4)
*+α2×D2(2)
*)。ただし、α1、α2は重み付け係数であり、α1+α2=1とする。
【0074】
そして、発光期間L(6)の第1切替タイミングT1で設定された第2照明光の光量を光量H2(6)とした場合には、特定調整係数Xを光量H2(6)に掛け合わせることにより、光量調整済みの第2照明光の光量H2(6)*が得られる(H2(6)*=X×H26))。この光量調整済みの第2照明光の光量H2(6)*は光源制御部21に送られ、光源制御部21は、光量調整済みの第2照明光の光量H2(6)*に基づいて、第2照明光の光量の制御を行う。
【0075】
なお、発光期間L(N)の第1切替タイミングT1で設定された第2照明光の光量H2(N)を調整した光量H2(N)*を求める場合は、下記一般化の式A)を用いるようにしてもよい。
式A)
H2(N)*=(目標明るさ)
×(α1/(発光期間L(N-2)の第1切替タイミングT1の第2明るさD2(N-2)+α2/(発光期間L(N-4)の第1切替タイミングT1の第2明るさD2(N-4)+・・・+αn/(発光期間L(N-n)の第1切替タイミングT1の第2明るさD2(N-n))
ただし、α1+α2+・・・αn=1とする。また、nはNよりも小さい偶数とする。
【0076】
[第2実施形態]
第2実施形態では、発光期間L(N)よりも前の発光期間K(N-1)の第2切替タイミングT2に関する情報を用いて、発光期間L(N)の第1切替タイミングT1で設定した第2照明光の光量を調整し、又は、発光期間K(N)よりも前の発光期間L(N-1)の第1切替タイミングT1に関する情報を用いて、発光期間K(N)の第2切替タイミングT2で設定した第1照明光の光量を調整する。
【0077】
例えば、
図20に示すように、第2照明光の発光期間L(4)の第1切替タイミングT1において光量設定部56にて設定された第2照明光の光量を調整する場合には、発光期間L(4)よりも前の発光期間K(3)のうち第2切替タイミングT2の第1明るさD1(3)
*と、予め設定された目標明るさVとに基づく調整係数Y(3)を用いて、光量の調整を行う。ここで、調整係数Y(3)は、目標明るさVを、第1明るさD1(3)
*で除して得ることが好ましい(調整係数Y(3)=V/D1(3)
*)。
【0078】
即ち、発光期間L(4)の第1切替タイミングT1で設定された第2照明光の光量を光量H2(4)とした場合には、調整係数Y(3)を光量H2(4)に掛け合わせることにより、光量調整済みの第2照明光の光量H2(4)*が得られる(H2(4)*=Y(3)×H2(4))。この光量調整済みの第2照明光の光量H2(4)*は光源制御部21に送られ、光源制御部21は、光量調整済みの第2照明光の光量H2(4)*に基づいて、第2照明光の光量の制御を行う。
【0079】
また、発光期間L(N)よりも前の複数の発光期間K(N-Q)の第2切替タイミングT2及び複数の発光期間L(N-P)の第1切替タイミングT1に関する情報を用いて、発光期間L(N)の第1切替タイミングT1で設定した第2照明光の光量を調整し、又は、発光期間K(N)よりも前の複数の発光期間L(N-Q)の第1切替タイミングT1及び複数の発光期間K(N-P)の第2切替タイミングT2に関する情報を用いて、発光期間K(N)の第2切替タイミングT2で設定した第1照明光の光量を調整してもよい。なお、PはNよりも小さい偶数で、QはNよりも小さい奇数である。
【0080】
例えば、
図22に示すように、第2照明光の発光期間L(6)の第1切替タイミングT1において光量設定部56にて設定された第2照明光の光量を調整する場合には、発光期間L(6)よりも前の発光期間K(5)のうち第2切替タイミングT2の第1明るさD1(5)
*、発光期間L(4)の第1切替タイミングT1の第2明るさD2(4)
*、及び予め設定された目標明るさVとに基づく特定調整係数Yを用いて、光量の調整を行う。
【0081】
ここで、特定調整係数Yは、第1明るさD1(5)*に重み付け係数βを掛けた値を目標明るさVで除した値と、第2明るさD2(4)*に重み付け係数α及び目標明るさVで掛けた値を、それぞれ足し合わせて得られることが好ましい(特定調整係数Y=β×D1(5)*/V+α×D2(4)*×V)。ただし、α、βは重み付け係数であり、α+β=1とする。
【0082】
そして、発光期間L(6)の第1切替タイミングT1で設定された第2照明光の光量を光量H2(6)とした場合には、特定調整係数Yを光量H2(6)に掛け合わせることにより、光量調整済みの第2照明光の光量H2(6)*が得られる(H2(6)*=Y×H26))。この光量調整済みの第2照明光の光量H2(6)*は光源制御部21に送られ、光源制御部21は、光量調整済みの第2照明光の光量H2(6)*に基づいて、第2照明光の光量の制御を行う。
【0083】
なお、発光期間L(N)の第1切替タイミングT1で設定された第2照明光の光量H2(N)を調整した光量H2(N)*を求める場合は、下記一般化の式B)を用いるようにしてもよい。
式B)
H2(N)*=
1/(目標明るさ)
×(β1/(発光期間K(N-1)の第2切替タイミングT2の第1明るさD1(N-1)+β2/(発光期間K(N-3)の第2切替タイミングT2の第1明るさD1(N-3)+・・・+βn/(発光期間(N-m)の第1切替タイミングT1の第2明るさD2(N-m)
+(目標明るさ)
×(α1/(発光期間L(N-2)の第1切替タイミングT1の第2明るさD2(N-2)+α2/(発光期間L(N-4)の第1切替タイミングT1の第2明るさD2(N-4)+・・・+αn/(発光期間(N-n)の第1切替タイミングT1の第2明るさD2(N-n))
ただし、α1+α2+・・・αn=1と、β1+β2+・・・+βn=1とする。また、nはNよりも小さい偶数と、mはNよりも小さい奇数とする。
【0084】
なお、上記第1及び第2実施形態では、マルチ観察モードにおいて、常に、第1切替タイミングT1の第2照明光の光量を調整し、また、第2切替タイミングT2の第1照明光の光量を調整しているが、第1明るさD1又は第2明るさが予め定めた目標明るさ範囲のの範囲内である場合にのみ、第1切替タイミングT1の第2照明光の光量を調整し、第2切替タイミングT2の第1照明光の光量を調整するようにしてもよい。
【0085】
例えば、
図16に示すように、第2照明光の発光期間L(4)のうち第1切替タイミングT1において光量設定部56にて設定された第2照明光の光量を調整する場合には、第2明るさD2(2)
*が目標明るさの範囲内である場合には、第1切替タイミングT1の第2照明光の光量は調整せず、第2明るさD2(2)
*が目標明るさの範囲の範囲外である場合には、第1切替タイミングT1の第2照明光の光量を調整することが好ましい。
【0086】
上記実施形態において、画像取得部52、DSP54、ノイズ除去部58、通常観察画像処理部62、特殊観察画像処理部63、表示制御部64、静止画保存部65、静止画保存制御部66など、プロセッサ装置16に含まれる処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、GPU(Graphical Processing Unit)各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0087】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGA、CPUとFPGAの組み合わせ、CPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0088】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
【0089】
なお、本発明は、第1または第2実施形態のような内視鏡システムに組み込まれるプロセッサ装置の他、カプセル型の内視鏡システムに組み込まれるプロセッサ装置、または各種の医用画像処理装置に対して適用することが可能である。
【符号の説明】
【0090】
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a モード切替SW
13b 静止画取得指示部
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
20 光源部
20a V-LED(Violet Light Emitting Diode)
20b B-LED(Blue Light Emitting Diode)
20c G-LED(Green Light Emitting Diode)
20d R-LED(Red Light Emitting Diode)
21 光源制御部
23 光路結合部
24 発光期間設定部
26a スライドバー
26b スライドバー
27a スライダ
27b スライダ
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
48 撮像センサ
48b Bフィルタ
48g Gフィルタ
48r Rフィルタ
50 CDS/AGC回路
52 画像取得部
54 DSP(Digital Signal Processor)
55 明るさ算出部
56 光量設定部
57 設定光量調整部
58 ノイズ除去部
60 信号切替部
62 通常観察画像処理部
63 特殊観察画像処理部
64 表示制御部
65 静止画保存部
66 静止画保存制御部
67 第1特殊観察画像処理部
68 第2特殊観察画像処理部
69 検出部
SP1 第1特殊観察画像(第1画像)
SP2 第2特殊観察画像(第2画像)
VP 紫色光画像
GRP 緑及び赤色光画像
VS1 表層血管
VS2 中層血管
BM 背景粘膜