特許第6427355号(P6427355)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ HOYA株式会社の特許一覧
特許6427355画像信号生成装置及び電子内視鏡システム
<>
  • 特許6427355-画像信号生成装置及び電子内視鏡システム 図000002
  • 特許6427355-画像信号生成装置及び電子内視鏡システム 図000003
  • 特許6427355-画像信号生成装置及び電子内視鏡システム 図000004
  • 特許6427355-画像信号生成装置及び電子内視鏡システム 図000005
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6427355
(24)【登録日】2018年11月2日
(45)【発行日】2018年11月21日
(54)【発明の名称】画像信号生成装置及び電子内視鏡システム
(51)【国際特許分類】
   A61B 1/045 20060101AFI20181112BHJP
   G02B 23/24 20060101ALI20181112BHJP
【FI】
   A61B1/045 610
   A61B1/045 616
   G02B23/24 B
【請求項の数】15
【全頁数】19
(21)【出願番号】特願2014-159851(P2014-159851)
(22)【出願日】2014年8月5日
(65)【公開番号】特開2016-36387(P2016-36387A)
(43)【公開日】2016年3月22日
【審査請求日】2017年6月30日
(73)【特許権者】
【識別番号】000113263
【氏名又は名称】HOYA株式会社
(74)【代理人】
【識別番号】100078880
【弁理士】
【氏名又は名称】松岡 修平
(74)【代理人】
【識別番号】100183760
【弁理士】
【氏名又は名称】山鹿 宗貴
(72)【発明者】
【氏名】牧野 貴雄
【審査官】 磯野 光司
(56)【参考文献】
【文献】 特開2011−167337(JP,A)
【文献】 特開2012−045056(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00− 1/32
G02B 23/24−23/26
(57)【特許請求の範囲】
【請求項1】
生体組織内における吸収特性が異なる第一及び第二の波長域を含む複数の波長域を持つ照射光により照射された生体組織であって、所定の撮像装置により撮像された生体組織の画像信号の中から、該第一の波長域に対応する第一の色信号及び該第二の波長域に対応する第二の色信号を抽出する色信号抽出手段と、
前記第一の色信号の画素値分布に基づいて前記第二の色信号の画素値分布に近似する画素値近似分布を演算する近似演算手段と、
前記近似演算手段により演算された前記第二の色信号の画素値近似分布と該第二の色信号の画素値分布との差分に基づいて前記生体組織の表面反射成分の画像信号を生成する第一の画像信号生成手段と、
前記生体組織の画像信号から前記表面反射成分の画像信号を減算することにより、該生体組織の内部反射成分の画像信号を生成する第二の画像信号生成手段と、
を備える、
画像信号生成装置。
【請求項2】
前記第二の波長域の光は、
前記生体組織の表面での反射率が前記第一の波長域の光と実質的に等しく且つ該生体組織内における吸収率が前記第一の波長域の光よりも高い、
請求項1に記載の画像信号生成装置。
【請求項3】
前記第一、前記第二の色信号はそれぞれ、
R(Red)、B(Blue)の波長域に対応するR信号、B信号である、
請求項1又は請求項2に記載の画像信号生成装置。
【請求項4】
前記R信号の画素値分布をDと定義し、前記B信号の画素値分布をDと定義し、第一の補正係数をαと定義し、第一の調整項をdと定義し、該B信号の画素値近似分布をD’と定義した場合に、
前記近似演算手段は、次式
D’=α×D+d
(但し、0<α<1)
により、前記画素値近似分布D’を演算する、
請求項3に記載の画像信号生成装置。
【請求項5】
前記画素値分布Dの各画素の画素値をPDと定義し、前記画素値近似分布D’の各画素の画素値をPD’と定義し、各画素に含まれる前記表面反射成分に相当する画素値をPRと定義した場合に、
前記第一の画像信号生成手段は、次式
PR=(PD−PD’)×1/α
(但し、上記式の結果、マイナスとなった画素値PRはゼロにリセット。)
により、各画素の画素値PRを算出し、算出された全ての画素の画素値PRを画素順に配列した信号を前記表面反射成分の画像信号として生成する、
請求項4に記載の画像信号生成装置。
【請求項6】
前記生体組織の血管構造の画像信号を生成する第三の画像信号生成手段
を備え、
各画素に含まれる前記血管構造に相当する画素値をPB1と定義した場合に、
前記第三の画像信号生成手段は、次式
PB1=PD’−PD
(但し、上記式の結果、マイナスとなった画素値PB1はゼロにリセット。)
により、各画素の画素値PB1を算出し、算出された全ての画素の画素値PB1を画素順に配列した信号を前記血管構造の画像信号として生成する、
請求項4又は請求項5に記載の画像信号生成装置。
【請求項7】
前記照射光は、
前記生体組織内における吸収特性が前記第一及び前記第二の波長域と異なる第三の波長域を含み、
前記色信号抽出手段は、
前記照射光により照射された生体組織の画像信号の中から前記第三の波長域に対応する第三の色信号を抽出し、
前記近似演算手段は、
前記第一の色信号の画素値分布に基づいて前記第三の色信号の画素値分布に近似する画素値近似分布を演算し、
前記第一の画像信号生成手段は、
前記近似演算手段により演算された前記第二の色信号の画素値近似分布と該第二の色信号の画素値分布との差分及び前記第三の色信号の画素値近似分布と該第三の色信号の画素値分布との差分に基づいて前記生体組織の表面反射成分の画像信号を生成する、
請求項1から請求項6の何れか一項に記載の画像信号生成装置。
【請求項8】
前記第一、前記第二、前記第三の色信号はそれぞれ、
R(Red)、B(Blue)、G(Green)の波長域に対応するR信号、B信号、G信号である、
請求項7に記載の画像信号生成装置。
【請求項9】
前記R信号の画素値分布をDと定義し、前記G信号の画素値分布をDと定義し、第二の補正係数をβと定義し、第二の調整項をdと定義し、該G信号の画素値近似分布をD’と定義した場合に、
前記近似演算手段は、次式
D’=β×D+d
により、前記画素値近似分布D’を演算する、
請求項8に記載の画像信号生成装置。
【請求項10】
前記画素値分布Dの各画素の画素値をPDと定義し、前記画素値近似分布D’の各画素の画素値をPD’と定義した場合に、
前記第一の画像信号生成手段は、
(PD−PD’)、(PD−PD’)が共に正の値の画素について、[(PD−PD’)×1/α]と[(PD−PD’)×1/β]との平均値を算出し、算出された平均値を画素値PRとする、
請求項5を引用する請求項9に記載の画像信号生成装置。
【請求項11】
前記第三の画像信号生成手段は、
(PD−PD’)と(PD−PD’)の少なくとも一方が正の値でない画素について、
絶対値|PD−PD’|が第一の閾値以上であれば、次式
PB1=PD’−PD
により、画素値PB1を算出し、
絶対値|PD−PD’|が第二の閾値以上であれば、次式
PB2=PD’−PD
により、所定の画素値PB2を算出し、
算出された画素値PB1と画素値PB2とを加算した値を各画素に含まれる血管構造に相当する画素値PBとして算出し、算出された全ての画素の画素値PBを画素順に配列した信号を前記血管構造の画像信号として生成する、
請求項6を引用する請求項10に記載の画像信号生成装置。
【請求項12】
前記近似演算手段は、
前記第一の色信号の画素値が前記所定の範囲に収まらないものを除外して前記画素値近似分布を演算する、
請求項1から請求項11の何れか一項に記載の画像信号生成装置。
【請求項13】
前記表面反射成分の画像信号と前記内部反射成分の画像信号とを第一の重み係数で合成した合成画像を生成する合成画像生成手段
を備える、
請求項1から請求項12の何れか一項に記載の画像信号生成装置。
【請求項14】
前記合成画像生成手段は、
前記表面反射成分、前記内部反射成分、前記血管構造の各画像信号を第二の重み係数で合成した合成画像を生成する、
請求項6を引用する請求項13又は請求項11を引用する請求項13に記載の画像信号生成装置。
【請求項15】
前記生体組織内における吸収特性が異なる第一及び第二の波長域を含む複数の波長域を持つ照射光を射出して該生体組織を照射する照射装置と、
前記照射光により照射された生体組織を撮像して該生体組織の画像信号を生成する撮像装置と、
前記撮像装置により生成された生体組織の画像信号を処理する、請求項1から請求項14の何れか一項に記載の画像信号生成装置と、
を備える、
電子内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生体組織の画像信号を生成する画像信号生成装置及び電子内視鏡システムに関する。
【背景技術】
【0002】
患者の体腔内を観察するための電子内視鏡システムが知られている。この種の電子内視鏡システムでは、光源ランプより射出される照射光を体腔内に導いて体腔内を照射することにより、自然光の届かない体腔内を撮像することが可能となっている。
【0003】
体腔内の生体組織は、粘膜に覆われており光沢がある。そのため、照射光が正反射して撮像素子の受光面に入射されると、正反射領域に位置する生体組織が白飛びしハイライトとなって観察できない場合がある。この問題に鑑み、この種のハイライトを除去する電子内視鏡システムの具体的構成が、例えば特許文献1や特許文献2に記載されている。
【0004】
特許文献1に記載の電子内視鏡システムは、同一対象が撮像された複数枚の画像を合成処理することで、処理対象画像のハイライト部分を除去する。具体的には、特許文献1に記載の電子内視鏡システムは、処理対象画像においてハイライト部分となって損失した生体組織を、他の画像の同生体組織に該当する部分の情報を用いて埋め合わせ処理することで復元する。
【0005】
特許文献2に記載の電子内視鏡システムは、一対の光源を備えており、一方の光源の前段に偏光板が配置されている。特許文献2に記載の電子内視鏡システムは、一対の光源を交互に点灯させることにより、体腔内を直線偏光状態の照射光と無偏光状態の照射光とで交互に照射して撮像する。無偏光状態の照射光により照射された体腔内の画像は、ハイライト部分を含む画像(表面反射成分及び内部反射成分の両方からなる画像)となるが、直線偏光状態の照射光により照射された体腔内の画像は、ハイライト部分の無い画像(表面反射成分の無い内部反射成分だけからなる画像)となる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平5−108819号公報
【特許文献2】特開2014−18439号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1に記載の電子内視鏡システムでは、ハイライト部分を多数の画像を用いて復元するため、演算コストが高いという問題が指摘される。また、ハイライト部分を除去する精度が低いという問題も指摘される。
【0008】
特許文献2に記載の電子内視鏡システムでは、細径化が強く要請される電子スコープの先端に偏光板を配置しなければならない。また、偏光板による色再現性の劣化を抑える必要がある。偏光板による色再現性の劣化を抑えるため、特許文献2に記載の電子内視鏡システムでは、使用可能な照射光の波長特性に制約がある。すなわち、使用可能な光源に制約があり、光源の選択肢が限られる。
【0009】
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、演算コストを抑えつつもハイライト部分等の表面反射成分を精度良く除去することができ、且つ電子スコープの先端の細径化に有利であると共に偏光板による色再現性の劣化を考慮する必要の無い電子内視鏡システム及び該電子内視鏡システムを構成する画像信号生成装置を提供することである。
【課題を解決するための手段】
【0010】
本発明の一実施形態に係る画像信号生成装置は、生体組織内における吸収特性が異なる第一及び第二の波長域を含む複数の波長域を持つ照射光により照射された生体組織であって、所定の撮像装置により撮像された生体組織の画像信号の中から、第一の波長域に対応する第一の色信号及び第二の波長域に対応する第二の色信号を抽出する色信号抽出手段と、第一の色信号の画素値分布に基づいて第二の色信号の画素値分布に近似する画素値近似分布を演算する近似演算手段と、近似演算手段により演算された第二の色信号の画素値近似分布と第二の色信号の画素値分布との差分に基づいて生体組織の表面反射成分の画像信号を生成する第一の画像信号生成手段と、生体組織の画像信号から表面反射成分の画像信号を減算することにより、生体組織の内部反射成分の画像信号を生成する第二の画像信号生成手段とを備える。
【0011】
このように、近似演算手段により演算された第二の色信号の画素値近似分布と第二の色信号の画素値分布との差分に基づいて生体組織の表面反射成分の画像信号を生成することで、生体組織の表面反射成分を精度良く表す画像信号が得られることから、演算コストが抑えられつつも表面反射成分が精度良く除去された内部反射成分の画像信号が得られる。また、細径化が強く要請される電子スコープの先端に偏光板を配置する必要が無いため、電子スコープの細径化に有利であると共に偏光板による色再現性の劣化を考慮する必要が無い。
【0012】
第二の波長域の光は、例えば、生体組織の表面での反射率が第一の波長域の光と実質的に等しく且つ生体組織内における吸収率が第一の波長域の光よりも高い。
【0013】
第一、第二の色信号はそれぞれ、R(Red)、B(Blue)の波長域に対応するR信号、B信号であってもよい。
【0014】
R信号の画素値分布をDと定義し、B信号の画素値分布をDと定義し、第一の補正係数をαと定義し、第一の調整項をdと定義し、B信号の画素値近似分布をD’と定義した場合に、近似演算手段は、次式
D’=α×D+d
(但し、0<α<1)
により、画素値近似分布D’を演算する構成としてもよい。
【0015】
画素値分布Dの各画素の画素値をPDと定義し、画素値近似分布D’の各画素の画素値をPD’と定義し、各画素に含まれる表面反射成分に相当する画素値をPRと定義した場合に、第一の画像信号生成手段は、次式
PR=(PD−PD’)×1/α
(但し、上記式の結果、マイナスとなった画素値PRはゼロにリセット。)
により、各画素の画素値PRを算出し、算出された全ての画素の画素値PRを画素順に配列した信号を表面反射成分の画像信号として生成する構成としてもよい。
【0016】
本発明の一実施形態に係る画像信号生成装置は、生体組織の血管構造の画像信号を生成する第三の画像信号生成手段を備える構成としてもよい。この場合、各画素に含まれる血管構造に相当する画素値をPB1と定義した場合に、第三の画像信号生成手段は、次式
PB1=PD’−PD
(但し、上記式の結果、マイナスとなった画素値PB1はゼロにリセット。)
により、各画素の画素値PB1を算出し、算出された全ての画素の画素値PB1を画素順に配列した信号を血管構造の画像信号として生成する構成としてもよい。
【0017】
照射光は、例えば、生体組織内における吸収特性が第一及び第二の波長域と異なる第三の波長域を含む。また、色信号抽出手段は、照射光により照射された生体組織の画像信号の中から第三の波長域に対応する第三の色信号を抽出する構成としてもよい。この場合、近似演算手段は、第一の色信号の画素値分布に基づいて第三の色信号の画素値分布に近似する画素値近似分布を演算する構成としてもよい。また、第一の画像信号生成手段は、近似演算手段により演算された第二の色信号の画素値近似分布と第二の色信号の画素値分布との差分及び第三の色信号の画素値近似分布と第三の色信号の画素値分布との差分に基づいて生体組織の表面反射成分の画像信号を生成する構成としてもよい。
【0018】
第一、第二、第三の色信号はそれぞれ、R、B、G(Green)の波長域に対応するR信号、B信号、G信号であってもよい。
【0019】
R信号の画素値分布をDと定義し、G信号の画素値分布をDと定義し、第二の補正係数をβと定義し、第二の調整項をdと定義し、G信号の画素値近似分布をD’と定義した場合に、近似演算手段は、次式
D’=β×D+d
により、画素値近似分布D’を演算する構成としてもよい。
【0020】
画素値分布Dの各画素の画素値をPDと定義し、画素値近似分布D’の各画素の画素値をPD’と定義した場合に、第一の画像信号生成手段は、(PD−PD’)、(PD−PD’)が共に正の値の画素について、[(PD−PD’)×1/α]と[(PD−PD’)×1/β]との平均値を算出し、算出された平均値を画素値PRとする構成としてもよい。
【0021】
第三の画像信号生成手段は、(PD−PD’)と(PD−PD’)の少なくとも一方が正の値でない画素について、絶対値|PD−PD’|が第一の閾値以上であれば、次式
PB1=PD’−PD
により、画素値PB1を算出し、
絶対値|PD−PD’|が第二の閾値以上であれば、次式
PB2=PD’−PD
により、所定の画素値PB2を算出する構成としてもよい。この場合、第三の画像信号生成手段は、算出された画素値PB1と画素値PB2とを加算した値を各画素に含まれる血管構造に相当する画素値PBとして算出し、算出された全ての画素の画素値PBを画素順に配列した信号を血管構造の画像信号として生成する。
【0022】
近似演算手段は、第一の色信号の画素値が所定の範囲に収まらないものを除外して画素値近似分布を演算する構成としてもよい。
【0023】
本発明の一実施形態に係る画像信号生成装置は、表面反射成分の画像信号と内部反射成分の画像信号とを第一の重み係数で合成した合成画像を生成する合成画像生成手段を備える構成としてもよい。
【0024】
合成画像生成手段は、表面反射成分、内部反射成分、血管構造の各画像信号を第二の重み係数で合成した合成画像を生成する構成としてもよい。
【0025】
本発明の一実施形態に係る電子内視鏡システムは、生体組織内における吸収特性が異なる第一及び第二の波長域を含む複数の波長域を持つ照射光を射出して生体組織を照射する照射装置と、照射光により照射された生体組織を撮像して生体組織の画像信号を生成する撮像装置と、撮像装置により生成された生体組織の画像信号を処理する、上記の画像信号生成装置とを備える。
【発明の効果】
【0026】
本発明の実施形態によれば、演算コストを抑えつつもハイライト部分等の表面反射成分を精度良く除去することができ、且つ電子スコープの先端の細径化に有利であると共に偏光板による色再現性の劣化を考慮する必要の無い電子内視鏡システム及び該電子内視鏡システムを構成する画像信号生成装置が提供される。
【図面の簡単な説明】
【0027】
図1】本発明の第一実施形態の電子内視鏡システムの構成を示すブロック図である。
図2】本発明の第一実施形態のプロセッサに備えられる特殊画像処理回路による特殊画像生成フローを示す図である。
図3】生体組織を撮影したときに得られるR信号とB信号の画素値分布の関係を示す関係図である。
図4】本発明の第二実施形態のプロセッサに備えられる特殊画像処理回路による特殊画像生成フローを示す図である。
【発明を実施するための形態】
【0028】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。
【0029】
[第一実施形態]
図1は、本発明の第一実施形態の電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、電子スコープ100、プロセッサ200及びモニタ300を備えている。
【0030】
プロセッサ200は、システムコントローラ202及びタイミングコントローラ204を備えている。システムコントローラ202は、メモリ222に記憶された各種プログラムを実行し、電子内視鏡システム1全体を統合的に制御する。また、システムコントローラ202は、操作パネル218に接続されている。システムコントローラ202は、操作パネル218より入力される術者からの指示に応じて、電子内視鏡システム1の各動作及び各動作のためのパラメータを変更する。術者による入力指示には、例えば電子内視鏡システム1の動作モードの切替指示がある。本実施形態では、動作モードとして、通常モードと特殊モードがある。タイミングコントローラ204は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
【0031】
ランプ208は、ランプ電源イグナイタ206による始動後、照射光Lを射出する。ランプ208は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプである。照射光Lは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光(又は少なくとも可視光領域を含む光)である。ランプ208より射出された照射光Lは、集光レンズ210によって集光されつつ絞り212を介して適正な光量に制限される。
【0032】
絞り212には、図示省略されたアームやギヤ等の伝達機構を介してモータ214が機械的に連結している。モータ214は例えばDCモータであり、ドライバ216のドライブ制御下で駆動する。絞り212は、モニタ300の表示画面に表示される映像を適正な明るさにするため、モータ214により動作され開度が変えられる。ランプ208より照射された照射光Lの光量は、絞り212の開度に応じて制限される。適正とされる映像の明るさの基準は、術者による操作パネル218の輝度調節操作に応じて設定変更される。なお、ドライバ216を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。
【0033】
絞り212を通過した照射光Lは、LCB(Light Carrying Bundle)102の入射端面に集光されてLCB102内に入射される。入射端面よりLCB102内に入射された照射光Lは、LCB102内を伝播する。LCB102内を伝播した照射光Lは、電子スコープ100の先端に配置されたLCB102の射出端面より射出され、配光レンズ104を介して被写体を照射する。照射光Lにより照射された生体組織からの戻り光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。
【0034】
固体撮像素子108は、ベイヤ型画素配置を有する単板式カラーCCD(Charge Coupled Device)イメージセンサである。固体撮像素子108は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、R(Red)、G(Green)、B(Blue)の画像信号を生成して出力する。以下、固体撮像素子108より順次出力される各画素(各画素アドレス)の画像信号を「画素信号」と記す。なお、固体撮像素子108は、CCDイメージセンサに限らず、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子108はまた、補色系フィルタを搭載したものであってもよい。
【0035】
電子スコープ100の接続部内には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112には、照射光Lにより照射された生体組織の画素信号が固体撮像素子108よりフレーム周期で入力される。ドライバ信号処理回路112は、固体撮像素子108より入力される画素信号をプロセッサ200の前段信号処理回路220に出力する。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。本実施形態において、フレーム周期、フィールド周期はそれぞれ、1/30秒、1/60秒である。
【0036】
ドライバ信号処理回路112はまた、メモリ114にアクセスして電子スコープ100の固有情報を読み出す。メモリ114に記録される電子スコープ100の固有情報には、例えば、固体撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。
【0037】
システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、プロセッサ200に接続されている電子スコープに適した処理がなされるようにプロセッサ200内の各種回路の動作やタイミングを制御する。
【0038】
タイミングコントローラ204は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ204から供給されるクロックパルスに従って、固体撮像素子108をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
【0039】
[通常モード時の動作]
通常モード時のプロセッサ200での信号処理動作を説明する。
【0040】
前段信号処理回路220は、ドライバ信号処理回路112よりフレーム周期で入力されるR、G、Bの各画素信号に対してデモザイク処理を施す。具体的には、Rの各画素信号についてG、Bの周辺画素による補間処理が施され、Gの各画素信号についてR、Bの周辺画素による補間処理が施され、Bの各画素信号についてR、Gの周辺画素による補間処理が施される。これにより、1つの色成分の情報しか持たなかった画素信号が全て、3つの色成分の情報(R信号、G信号及びB信号)を持つ画素信号に変換される。
【0041】
前段信号処理回路220は、デモザイク処理後の画素信号にマトリックス演算、ホワイトバランス調整処理、ガンマ補正処理等の所定の信号処理を施して特殊画像処理回路230に出力する。
【0042】
特殊画像処理回路230は、前段信号処理回路220より入力される画素信号を後段信号処理回路240へスルー出力する。
【0043】
後段信号処理回路240は、特殊画像処理回路230より入力される画素信号に所定の信号処理を施してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ300に出力される。これにより、生体組織のカラー画像がモニタ300の表示画面に表示される。
【0044】
[特殊モード時の動作]
次に、特殊モード時のプロセッサ200での信号処理動作を説明する。
【0045】
前段信号処理回路220は、ドライバ信号処理回路112よりフレーム周期で入力される画素信号に対してデモザイク処理、マトリックス演算、ホワイトバランス調整処理、ガンマ補正処理等の所定の信号処理を施して特殊画像処理回路230に出力する。
【0046】
特殊画像処理回路230は、前段信号処理回路220より入力される画素信号を用いて下記の特殊画像処理フローを実行して特殊画像の画素信号を生成して後段信号処理回路240に出力する。後段信号処理回路240は、特殊画像処理回路230より入力される特殊画像の画素信号を所定のビデオフォーマット信号に変換してモニタ300に出力する。これにより、生体組織の特殊画像がモニタ300の表示画面に表示される。
【0047】
[特殊画像処理回路230による特殊画像生成フロー]
図2は、第一実施形態の特殊画像処理回路230による特殊画像処理フローを示す。
【0048】
図2のS11(現フレームの画素信号の入力)]
本処理ステップS11では、前段信号処理回路220より現フレームの画素信号(3つの色成分の情報(R信号、G信号及びB信号)を持つ画素信号)が入力される。
【0049】
図2のS12(注目画素の選択)]
本処理ステップS12では、全ての画素の中から所定の順序に従い一つの注目画素が選択される。
【0050】
図2のS13(R信号の画素値判定)]
本処理ステップS13では、処理ステップS12(注目画素の選択)にて選択された注目画素について、R信号の画素値が所定の範囲に収まる値か否かが判定される。所定の範囲の上限値を超えるR信号、下限値を下回るR信号はそれぞれ、ハイライト部分、陰影部分であり情報が損失している。すなわち、本処理ステップS13では、注目画素のR信号がハイライト部分であるか否か及び陰影部分であるか否かが判定される。
【0051】
図2のS14(色信号の一時保存)]
本処理ステップS14は、処理ステップS13(R信号の画素値判定)にて注目画素のR信号の画素値が所定の範囲に収まる値と判定された場合(S13:YES)に実行される。本処理ステップS14では、注目画素のR信号、B信号の情報が特殊画像処理回路230のバッファ230Aに一時保存される。バッファ230Aに一時保存されたR信号、B信号の情報は、次フレームに対する特殊画像処理フローの実行開始時に削除される。
【0052】
図2のS15(全画素に対する処理の実行完了判定)]
本処理ステップS15は、処理ステップS13(R信号の画素値判定)にて注目画素のR信号の画素値が所定の範囲に収まらない値と判定された場合(S13:NO)に、又は処理ステップS14(色信号の一時保存)にて注目画素のR信号、B信号の情報がバッファ230Aに一時保存されると実行される。本処理ステップS15では、現フレームの全ての画素に対して処理ステップS13(R信号の画素値判定)の画素値判定処理が実行されたか否かが判定される。
【0053】
処理ステップS13(R信号の画素値判定)の画素値判定処理が未実行の画素が残っている場合(S15:NO)、本フローは処理ステップS12(注目画素の選択)に戻り、次の注目画素が選択され、選択された注目画素に対して処理ステップS13(R信号の画素値判定)の画素値判定処理が実行される。
【0054】
図2のS16(B信号の画素値近似分布の演算)]
本処理ステップS16は、現フレームの全ての画素に対して処理ステップS13(R信号の画素値判定)の画素値判定処理が実行されたと判定された場合(S15:YES)に実行される。
【0055】
図3は、生体組織を撮影したときに得られるR信号とB信号の画素値分布の関係を示す関係図である。図3中、縦軸は画素値(正規化のため単位無し)を示し、横軸は画素位置(正規化のため単位無し)を示す。図3の関係図は、便宜上、画像内の任意の一ラインでのR信号とB信号の画素値分布の関係を示している。
【0056】
生体組織はR成分が支配的であり、全体的に一様な色味を持つ。そのため、R信号とB信号の画素値分布は、図3に示されるように、画素値についてはR信号が全画素位置で高いが、分布形状についてはほぼ相似する。生体組織の表面は波長依存性が低いことから、表面反射成分についてはR信号とB信号とで実質的に等しいものと推定される。そのため、R信号とB信号との差は、大部分が内部反射成分によるものと推定される。なお、本実施形態において、表面反射成分は、生体組織の表面で反射されて固体撮像素子108に受光される成分をいい、内部反射成分は、生体組織内での散乱や吸収を経た後に固体撮像素子108に受光される成分をいう。
【0057】
内部反射成分は、生体組織内に入射された光の散乱及び吸収に応じて変わる。Bの波長域の光(以下、「B光」と記す。)は、例えば、生体組織への深達度がRの波長域の光(以下、「R光」と記す。)よりも低く、生体組織内での減衰がR光と異なる。また、B光は、ヘモグロビンによる吸収率の高い波長(415nm付近)を含むため、生体組織内でR光よりも多く吸収される。R光とB光の内部反射成分は、上記の要因で互いに異なっており、この内部反射成分の差がR信号とB信号との差として現れているものと推定される。
【0058】
このように、R信号とB信号の画素値分布は、相似形状となっている。そのため、R信号の画素値分布に所定の係数を乗算することで、B信号の画素値分布に近似する画素値近似分布を求めることが可能である。そこで、本処理ステップS16では、R信号の画素値分布をDと定義し、補正係数をαと定義し、調整項をdと定義し、B信号の画素値近似分布をD’と定義した場合に、次式(1)により、B信号の画素値分布に近似する画素値近似分布D’が演算される。
D’=α×D+d・・・(1)
(但し、0<α<1)
【0059】
式(1)による演算では、最小二乗法等を用いてB信号の画素値分布Dと画素値近似分布D’との差が最小となる場合の補正係数α及び調整項dが算出され、算出された補正係数α及び調整項dが式(1)に代入される。これにより、画素値近似分布D’が求まる。なお、画素値分布D、画素値分布Dはそれぞれ、バッファ230Aに一時保存されたR信号、B信号の情報に基づく分布である。すなわち、画素値分布D及び画素値分布Dは、情報が損失したハイライト部分及び陰影部分である画素を除いた画素値分布である。
【0060】
図2のS17(表面反射成分の画素信号の生成)]
上述したように、表面反射成分は、R信号とB信号とで実質的に等しいことから、画素値分布Dと画素値分布DBに含まれる表面反射成分に相当する画素値は等しい。一方、画素値近似分布D’は、画素値分布Dに補正係数α(0<α<1)を乗算したものである。画素値近似分布D’は、補正係数αを乗算した分だけ表面反射成分に相当する画素値が画素値分布Dよりも小さくなっている。画素値近似分布D’は、近似演算の結果、画素値分布Dとの差が多くの領域で実質ゼロとなっているが、画素値分布Dとの差が残存している領域もある。画素値近似分布D’と画素値分布Dとの差が残存する主要因の一つに、互いの分布に含まれる表面反射成分に相当する画素値の差が挙げられる。
【0061】
そこで、本処理ステップS17では、画素値近似分布D’と画素値分布Dとの差分に基づいて生体組織の表面反射成分の画素信号(以下、「表面反射画素信号」と記す。)が生成される。具体的には、本処理ステップS17では、画素値分布Dの各画素の画素値をPDと定義し、画素値近似分布D’の各画素の画素値をPD’と定義した場合に、次式(2)により、各画素に含まれる表面反射成分に相当する画素値PRが算出される。
PR=(PD−PD’)×1/α・・・(2)
【0062】
画素値PDは、表面反射成分に相当する画素値が画素値PD’よりも大きい分、画素値PD’よりも大きい値となっている。そのため、差分(PD−PD’)は、基本的に、表面反射成分が入射された画素ではプラスの値を取り、表面反射成分が入射されなかった画素ではプラスの値を取らない。そのため、本処理ステップS17では、式(2)の結果、画素値PRがマイナスとなった画素は、表面反射成分が入射されなかった画素とみなされて、画素値PRがゼロにリセットされる。
【0063】
このように、式(2)では、補正係数αを乗算することによって生じた表面反射成分に相当する画素値の差(プラスの差分(PD−PD’))に、補正係数αの逆数が乗算される。これにより、当該画素に含まれる表面反射成分に相当する画素値PRが精度良く復元される。
【0064】
本処理ステップS17では、各画素において、式(2)により算出された画素値PRがR信号、G信号及びB信号に与えられる。すなわち、各画素において、同一の画素値PRがR信号、G信号及びB信号に与えられる。次いで、全ての画素の画素値PRが画素順に配列されることにより、現フレームの表面反射画素信号が生成される。
【0065】
図2のS18(血管構造の画素信号の生成)]
画素値近似分布D’と画素値分布Dとの差が残存する主要因の一つに、互いの分布に含まれる内部反射成分に相当する画素値の差が挙げられる。内部反射成分についてヘモグロビンによる吸収が支配的な画素では、B光の内部反射成分がR光の内部反射成分よりも小さくなることから、画素値PDが画素値PD’よりも小さくなる。そこで、本処理ステップS18では、次式(3)により、各画素に含まれる血管構造に相当する画素値PB1が算出される。
PB1=PD’−PD・・・(3)
【0066】
差分(PD’−PD)は、基本的に、内部反射成分についてヘモグロビンによる吸収が支配的な画素ではプラスの値を取り、ヘモグロビンによる吸収が支配的でない画素ではプラスの値を取らない。そのため、本処理ステップS18では、式(3)の結果、画素値PRがマイナスとなった画素は、ヘモグロビンによる吸収の無い画素とみなされて、画素値PRがゼロにリセットされる。次いで、全ての画素の画素値PB1が画素順に配列されることにより、現フレームの生体組織内の血管構造の画素信号(以下、「血管構造画素信号」と記す。)が生成される。本実施形態の血管構造画素信号は、B信号の画素値が値PB1であり、R信号及びG信号の画素値がゼロである。
【0067】
図2のS19(内部反射成分の画素信号の生成)]
本処理ステップS19では、現フレームの画素信号(3つの色成分の情報(R信号、G信号及びB信号)を持つ画素信号)から処理ステップS17(表面反射成分の画素信号の生成)にて生成された表面反射画素信号が減算される。すなわち、表面反射成分と内部反射成分とが混在する情報の中から、精度良く復元された表面反射成分の情報が減算される。これにより、演算コストが抑えられつつも表面反射成分が精度良く除去された内部反射成分の画素信号(以下、「内部反射画素信号」と記す。)が生成される。
【0068】
図2のS20(表示モードの判定)]
術者は、操作パネル218を操作することにより、モニタ300の表示画面に表示させる特殊画像の表示モードを設定することができる。設定可能な表示モードには、例えば、表面反射画像表示モード、内部反射画像表示モード、合成画像表示モードがある。本処理ステップS20では、現在設定されている特殊画像の表示モードが判定される。
【0069】
図2のS21(表面反射画素信号の出力)]
本処理ステップS21は、処理ステップS20(表示モードの判定)にて現在設定されている特殊画像の表示モードが表面反射画像表示モードと判定された場合(S20:表面反射画像表示モード)に実行される。本処理ステップS21では、処理ステップS17(表面反射成分の画素信号の生成)にて生成された表面反射画素信号が後段信号処理回路240に出力される。これにより、生体組織の表面反射成分の画像(主に生体組織を覆う粘膜の画像)がモニタ300の表示画面に表示される。疾患の中には粘膜の喪失を伴うものがある。生体組織の表面反射成分の画像は、この種の疾患に対する判断材料となり得る。
【0070】
図2のS22(内部反射画素信号の出力)]
本処理ステップS22は、処理ステップS20(表示モードの判定)にて現在設定されている特殊画像の表示モードが内部反射画像表示モードと判定された場合(S20:内部反射画像表示モード)に実行される。本処理ステップS22では、処理ステップS19(内部反射成分の画素信号の生成)にて生成された内部反射画素信号が後段信号処理回路240に出力される。これにより、生体組織の内部反射成分の画像がモニタ300の表示画面に表示される。
【0071】
図2のS23(合成画素信号の生成及び出力)]
本処理ステップS23は、処理ステップS20(表示モードの判定)にて現在設定されている特殊画像の表示モードが合成画像表示モードと判定された場合(S20:合成画像表示モード)に実行される。本処理ステップS23では、処理ステップS17(表面反射成分の画素信号の生成)にて生成された表面反射画素信号、処理ステップS18(血管構造の画素信号の生成)にて生成された血管構造画素信号、処理ステップS19(内部反射成分の画素信号の生成)にて生成された内部反射画素信号の各信号が所定の重み係数で合成されることにより、合成画素信号が生成される。生成された合成画素信号は、後段信号処理回路240に出力される。これにより、例えば、生体組織の表面反射成分を弱めつつ血管構造や内部反射成分を強めた合成画像がモニタ300の表示画面に表示される。合成時の重み係数は、操作パネル218の操作により適宜設定変更可能である。
【0072】
[第二実施形態]
図4は、第二実施形態の特殊画像処理回路230による特殊画像処理フローを示す。なお、第二実施形態において、第一実施形態の電子内視鏡システム1と同一の又は同様の構成及び処理については、同一の又は同様の符号を付して説明を簡略又は省略する。
【0073】
図4のS111(現フレームの画素信号の入力)〜S115(全画素に対する処理の実行完了判定)]
本処理ステップS111〜S115の処理内容は、処理ステップS114において注目画素のR信号、G信号、B信号の情報がバッファ230Aに一時保存される点以外、図2の処理ステップS11(現フレームの画素信号の入力)〜S15(全画素に対する処理の実行完了判定)と同じである。
【0074】
図4のS116(B信号の画素値近似分布の演算)]
本処理ステップS116の処理内容は、図2の処理ステップS116(B信号の画素値近似分布の演算)と同じである。
【0075】
図4のS117(G信号の画素値近似分布の演算)]
R信号とG信号の画素値分布は、図3の関係図と同じく、画素値についてはR信号が全画素位置で高いが、分布形状についてはほぼ相似する。生体組織の表面は波長依存性が低いことから、表面反射成分についてはR信号とG信号とで実質的に等しいものと推定される。そのため、R信号とG信号との差は、大部分が内部反射成分によるものと推定される。
【0076】
Gの波長域の光(以下、「G光」と記す。)は、例えば、生体組織への深達度がR光よりも低く、生体組織内での減衰がR光と異なる。また、G光はB光と同じく、ヘモグロビンによる吸収率の高い波長(550nm付近)を含むため、生体組織内でR光よりも多く吸収される。R光とG光の内部反射成分は、上記の要因で互いに異なっており、この内部反射成分の差がR信号とG信号との差として現れているものと推定される。
【0077】
このように、R信号とG信号の画素値分布は、相似形状となっている。そのため、B信号の場合と同様に、R信号の画素値分布に所定の係数を乗算することで、G信号の画素値分布に近似する画素値近似分布を求めることが可能である。そこで、本処理ステップS117では、補正係数をβと定義し、調整項をdと定義し、G信号の画素値近似分布をD’と定義した場合に、次式(4)により、G信号の画素値分布に近似する画素値近似分布D’が演算される。
D’=β×D+d・・・(4)
(但し、0<β<1)
【0078】
式(4)による演算では、最小二乗法等を用いてG信号の画素値分布Dと画素値近似分布D’との差が最小となる場合の補正係数β及び調整項dが算出され、算出された補正係数β及び調整項dが式(4)に代入される。これにより、画素値近似分布D’が求まる。
【0079】
図4のS118(注目画素の選択)]
本処理ステップS118では、全ての画素の中から所定の順序に従い一つの注目画素が選択される。
【0080】
図4のS119(各差分の算出)]
本処理ステップS119では、処理ステップS118(注目画素の選択)にて選択された注目画素について、差分(PD−PD’)及び差分(PD−PD’)が算出される。
【0081】
図4のS120(各差分の判定)]
本処理ステップS120では、処理ステップS119(各差分の算出)にて算出された差分(PD−PD’)、差分(PD−PD’)が共に正の値であるか否かが判定される。
【0082】
図4のS121(表面反射成分の画素信号の生成)]
本処理ステップS121は、処理ステップS120(各差分の判定)にて差分(PD−PD’)、差分(PD−PD’)が共に正の値であると判定された場合(S120:YES)に実行される。
【0083】
各差分が正の値である場合、注目画素は、第一実施形態と同様の理由により、表面反射成分が入射された画素とみなされる。そこで、本処理ステップS121では、画素値分布Dの各画素の画素値をPDと定義し、画素値近似分布D’の各画素の画素値をPD’と定義した場合に、注目画素について、[(PD−PD’)×1/α]と[(PD−PD’)×1/β]との平均値が算出される。算出された平均値は、注目画素に含まれる表面反射成分に相当する画素値PRとして取り扱われる。第一実施形態と同様に、全ての画素の画素値PRが画素順に配列されることにより、現フレームの表面反射画素信号が生成される。
【0084】
このように、第二実施形態では、表面反射成分が入射された画素であるかが二種類の差分を材料に判断されている。そのため、画像内に含まれる表面反射成分をより忠実に反映した表面反射画素信号が生成される。
【0085】
図4のS122(内部反射成分の画素信号の生成)]
本処理ステップS122では、現フレームの画素信号(3つの色成分の情報(R信号、G信号及びB信号)を持つ画素信号)から処理ステップS121(表面反射成分の画素信号の生成)にて生成された表面反射画素信号が減算される。すなわち、表面反射成分と内部反射成分とが混在する情報の中から表面反射成分の情報が減算される。これにより、演算コストが抑えられつつも表面反射成分が精度良く除去された内部反射画素信号が生成される。
【0086】
図4のS123(各差分の判定)]
本処理ステップS123は、処理ステップS120(各差分の判定)にて差分(PD−PD’)、差分(PD−PD’)が共に正の値であると判定されなかった場合(S120:NO)に実行される。本処理ステップS123では、差分(PD−PD’)の絶対値と差分(PD−PD’)の絶対値の少なくとも一方が所定の閾値以上であるか否かが判定される。
【0087】
図4のS124(血管構造の画素信号の生成)]
本処理ステップS124は、処理ステップS123(各差分の判定)にて差分(PD−PD’)の絶対値と差分(PD−PD’)の絶対値の少なくとも一方が所定の閾値以上であると判定された場合(S123:YES)に実行される。
【0088】
本処理ステップS124では、絶対値|PD−PD’|が所定の第一の閾値以上であれば、次式(5)により、各画素に含まれる血管構造に相当する画素値PB1が算出される。補足すると、B光は、生体組織の浅層のヘモグロビンによる吸収率が高い。そのため、画素値PB1は、生体組織の浅層の血管構造に相当する画素値といえる。
PB1=PD’−PD・・・(5)
【0089】
また、本処理ステップS124では、絶対値|PD−PD’|が所定の第二の閾値以上であれば、次式(6)により、各画素に含まれる血管構造に相当する画素値PB2が算出される。補足すると、G光は、生体組織の深層のヘモグロビンによる吸収率が高い。そのため、画素値PB2は、生体組織の深層の血管構造に相当する画素値といえる。
PB2=PD’−PD・・・(6)
【0090】
本処理ステップS124では、算出された画素値PB1と画素値PB2とを加算した値が各画素に含まれる血管構造に相当する画素値PBとして算出される。次いで、全ての画素の画素値PBが画素順に配列されることにより、現フレームの血管構造画素信号が生成される。なお、画素値PBは、画素値PB1と画素値PB2とを加算したものに限らず、画素値PB1(すなわち浅層の血管構造に相当する画素値)だけ又は画素値PB2(すなわち深層の血管構造に相当する画素値)だけであってもよい。
【0091】
図4のS125(全画素に対する処理の実行完了判定)]
本処理ステップS125は、処理ステップS122(内部反射成分の画素信号の生成)又は処理ステップS124(血管構造の画素信号の生成)の実行後若しくは処理ステップS123(各差分の判定)にて差分(PD−PD’)の絶対値と差分(PD−PD’)の絶対値の少なくとも一方が所定の閾値以上であると判定されなかった場合(S123:NO)に実行される。
【0092】
処理ステップS119(各差分の算出)の差分算出処理が未実行の画素が残っている場合(S125:NO)、本フローは処理ステップS118(注目画素の選択)に戻り、次の注目画素が選択され、選択された注目画素に対して処理ステップS119(各差分の算出)の差分算出処理が実行される。
【0093】
図4のS126(表示モードの判定)]
本処理ステップS126は、現フレームの全ての画素に対して処理ステップS119(各差分の算出)の差分算出処理が実行されたと判定された場合(S125:YES)に実行される。本処理ステップS126では、現在設定されている特殊画像の表示モードが判定される。
【0094】
図4のS127(表面反射画素信号の出力)]
本処理ステップS127は、処理ステップS126(表示モードの判定)にて現在設定されている特殊画像の表示モードが表面反射画像表示モードと判定された場合(S126:表面反射画像表示モード)に実行される。本処理ステップS127では、処理ステップS121(表面反射成分の画素信号の生成)にて生成された表面反射画素信号が後段信号処理回路240に出力される。これにより、生体組織の表面反射成分の画像(主に生体組織を覆う粘膜の画像)がモニタ300の表示画面に表示される。
【0095】
図4のS128(内部反射画素信号の出力)]
本処理ステップS128は、処理ステップS126(表示モードの判定)にて現在設定されている特殊画像の表示モードが内部反射画像表示モードと判定された場合(S126:内部反射画像表示モード)に実行される。本処理ステップS128では、処理ステップS122(内部反射成分の画素信号の生成)にて生成された内部反射画素信号が後段信号処理回路240に出力される。これにより、生体組織の内部反射成分の画像がモニタ300の表示画面に表示される。
【0096】
図4のS129(合成画素信号の生成及び出力)]
本処理ステップS129は、処理ステップS126(表示モードの判定)にて現在設定されている特殊画像の表示モードが合成画像表示モードと判定された場合(S126:合成画像表示モード)に実行される。本処理ステップS129では、処理ステップS121(表面反射成分の画素信号の生成)にて生成された表面反射画素信号、処理ステップS122(内部反射成分の画素信号の生成)にて生成された内部反射画素信号、処理ステップS124(血管構造の画素信号の生成)にて生成された血管構造画素信号の各信号が所定の重み係数で合成されることにより、合成画素信号が生成される。生成された合成画素信号は、後段信号処理回路240に出力される。
【0097】
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
【符号の説明】
【0098】
1 電子内視鏡システム
100 電子スコープ
102 LCB
104 配光レンズ
106 対物レンズ
108 固体撮像素子
112 ドライバ信号処理回路
114 メモリ
200 プロセッサ
202 システムコントローラ
204 タイミングコントローラ
206 ランプ電源イグナイタ
208 ランプ
210 集光レンズ
212 絞り
214 モータ
216 ドライバ
218 操作パネル
220 前段信号処理回路
222 メモリ
230 特殊画像処理回路
230A バッファ
240 後段信号処理回路
図1
図2
図3
図4