【解決手段】電子内視鏡システムを、狭帯域光と広帯域光とを交互に射出する光源部と、狭帯域光と広帯域光とで交互に照射される被写体を撮像し、該狭帯域光の照射期間中に撮像された被写体の画像信号を第一画像信号として生成すると共に、該広帯域光の照射期間中に撮像された被写体の画像信号を第二画像信号として生成する手段と、第一画像信号と第二画像信号とを加算して高輝度画像信号を生成する高輝度画像信号生成手段と、第一画像信号と、所定の係数で乗算することによって信号レベルを低下させた第二画像信号とを加算して低輝度画像信号を生成する低輝度画像信号生成手段と、高輝度画像信号と低輝度画像信号を用いてHDR画像信号を生成するHDR画像信号生成手段とを備える構成とする。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。
【0013】
図1は、本発明の一実施形態に係る電子内視鏡システム1の構成を示すブロック図である。
図1に示されるように、電子内視鏡システム1は、医療用に特化されたシステムであり、電子スコープ100、プロセッサ200及びモニタ300を備えている。
【0014】
プロセッサ200は、システムコントローラ202及びタイミングコントローラ204を備えている。システムコントローラ202は、メモリ212に記憶された各種プログラムを実行し、電子内視鏡システム1全体を統合的に制御する。
【0015】
また、システムコントローラ202は、操作パネル214に接続されている。システムコントローラ202は、操作パネル214より入力される術者からの指示に応じて、電子内視鏡システム1の各動作の実行及び各動作のためのパラメータの変更を行う。術者による入力指示には、例えば電子内視鏡システム1の動作モードの切替指示がある。動作モードには、例えば通常モードやHDRモードがある。タイミングコントローラ204は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
【0016】
ランプ208は、ランプ電源イグナイタ206による始動後、照射光Lを射出する。ランプ208は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプであり、また、LD(Laser Diode)やLED(Light Emitting Diode)等の半導体発光素子であってもよい。照射光Lは、少なくとも可視光領域を含む光(白色光)である。
【0017】
ランプ208より射出された照射光Lは、回転フィルタ部260に入射される。
図2は、回転フィルタ部260を集光レンズ210側から見た正面図である。回転フィルタ部260は、回転式ターレット261、DCモータ262、ドライバ263及びフォトインタラプタ264を備えている。
【0018】
図2に示されるように、回転式ターレット261には、狭帯域光用フィルタFnbと白色光用フィルタFwが円周方向に交互に並べて配置されている。各光学フィルタは扇形状を有しており、フレーム周期に応じた角度ピッチ(ここでは、約90°の角度ピッチ)で配置されている。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。
【0019】
ドライバ263は、システムコントローラ202による制御下でDCモータ262を駆動する。回転フィルタ部260は、回転式ターレット261がDCモータ262によって回転動作することにより、ランプ208より入射された照射光Lから、スペクトルの異なる二種類の照射光(狭帯域光Lnbと白色光Lw)の一方を、撮像と同期したタイミングで取り出す。
【0020】
具体的には、回転式ターレット261は、回転動作中、狭帯域光用フィルタFnbから狭帯域光Lnbを、白色光用フィルタFwから狭帯域光Lnbよりも帯域の広い広帯域光(白色光Lw)を、交互に取り出す。回転式ターレット261の回転位置や回転の位相は、回転式ターレット261の外周付近に形成された開口(不図示)をフォトインタラプタ264によって検出することにより制御される。
【0021】
狭帯域光用フィルタFnbは、特定の生体構造(表層や深層の血管構造、特定の病変部位等)を強調した狭帯域光観察画像を撮影するのに適した分光特性を持つ。照射光Lは、狭帯域光用フィルタFnbを通過することにより、特定の生体構造に高い吸収特性を持つ半値幅の狭い光、すなわち狭帯域光Lnbとなる。
【0022】
白色光用フィルタFwは、照射光Lを適正な光量に減光する減光フィルタである。なお、白色光用フィルタFwは、単なる開口(光学フィルタの無いもの)や絞り機能を兼ねたスリット(光学フィルタの無いもの)に置き換えてもよい。
【0023】
回転フィルタ部260より取り出された照射光(狭帯域光Lnb又は白色光Lw)は、集光レンズ210により、電子スコープ100のLCB(Light Carrying Bundle)102の入射端面に集光されてLCB102内に入射される。
【0024】
LCB102内に入射された照射光(狭帯域光Lnb又は白色光Lw)は、LCB102内を伝播して電子スコープ100の先端に配置されたLCB102の射出端面より射出され、配光レンズ104を介して被写体である体腔内の生体組織に照射される。これにより、生体組織は、狭帯域光Lnbと白色光Lwとによって交互に照射される。照射光により照射された生体組織からの戻り光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。
【0025】
固体撮像素子108は、ベイヤ型画素配置を有する単板式カラーCCD(Charge Coupled Device)イメージセンサである。固体撮像素子108は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、R(Red)、G(Green)、B(Blue)の画像信号を生成して出力する。なお、固体撮像素子108は、CCDイメージセンサに限らず、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子108はまた、補色系フィルタを搭載したものであってもよい。
【0026】
回転フィルタ部260による狭帯域光Lnbと白色光Lwとの切り換えのタイミングは、固体撮像素子108における撮像期間(フレーム期間)の切り換えのタイミングと同期している。従って、固体撮像素子108は、1フレーム期間中、狭帯域光Lnbにより照射された生体組織からの戻り光を受光して狭帯域光観察像の画像信号を生成して出力し、続く1フレーム期間中、白色光Lwにより照射された生体組織からの戻り光を受光して白色光観察像の画像信号を生成して出力する。固体撮像素子108は、上記を繰り返すことにより、各観察像の画像信号を交互に出力する。
【0027】
電子スコープ100の接続部内には、ドライバ信号処理回路110が備えられている。ドライバ信号処理回路110には、狭帯域光観察像、白色光観察像の各画像信号がフレーム周期で固体撮像素子108より入力される。ドライバ信号処理回路110は、固体撮像素子108より入力される画像信号に対して所定の処理を施してプロセッサ200の信号処理回路220に出力する。
【0028】
ドライバ信号処理回路110はまた、メモリ112にアクセスして電子スコープ100の固有情報を読み出す。メモリ112に記録される電子スコープ100の固有情報には、例えば、固体撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路110は、メモリ112より読み出された固有情報をシステムコントローラ202に出力する。
【0029】
システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、プロセッサ200に接続されている電子スコープに適した処理がなされるようにプロセッサ200内の各種回路の動作やタイミングを制御する。
【0030】
タイミングコントローラ204は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路110にクロックパルスを供給する。ドライバ信号処理回路110は、タイミングコントローラ204から供給されるクロックパルスに従って、固体撮像素子108をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
【0031】
信号処理回路220は、前段信号処理回路222、HDR画像生成回路224、後段信号処理回路226及び画像メモリ228を有している。信号処理回路220の信号処理動作については、電子内視鏡システム1の動作モードが通常モードに設定されている場合と、HDRモードに設定されている場合に分けて説明する。
【0032】
[動作モードが通常モードに設定されている場合]
前段信号処理回路222は、ドライバ信号処理回路110より1フレーム周期で交互に入力される狭帯域光観察像、白色光観察像の各画像信号に対して、デモザイク処理、マトリックス演算、Y/C分離等の所定の信号処理を施して、HDR画像生成回路224に出力する。
【0033】
HDR画像生成回路224は、前段信号処理回路222より1フレーム周期で交互に入力される狭帯域光観察像、白色光観察像の各画像信号を後段信号処理回路226にスルー出力する。
【0034】
後段信号処理回路226は、HDR画像生成回路224より1フレーム周期で交互に入力される狭帯域光観察像、白色光観察像の各画像信号を処理してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ300に出力される。これにより、生体組織の狭帯域光観察画像や白色光観察画像がモニタ300の表示画面に表示される。
【0035】
[動作モードがHDRモードに設定されている場合]
図3に、HDRモード時の信号処理回路220の信号処理動作をフローチャートで示す。
図3に示されるフローチャートは、例えば、電子内視鏡システム1の動作モードがHDRモードに切り替えられた時点で開始される。
【0036】
[
図3のS11(現フレームの画像信号の入力)]
本処理ステップS11では、現フレームの画像信号(狭帯域光観察像又は白色光観察像の画像信号)が前段信号処理回路222に入力される。
【0037】
[
図3のS12(画像信号の判定)]
本処理ステップS12では、HDR画像生成回路224において、処理ステップS11(現フレームの画像信号の入力)にて前段信号処理回路222より入力された現フレームの画像信号が、狭帯域光観察像、白色光観察像の何れの画像信号であるかが判定される。HDR画像生成回路224は、例えば、システムコントローラ202による回転フィルタ部260等の制御情報や画像信号の平均輝度値等を基に、現フレームの画像信号が狭帯域光観察像、白色光観察像の何れの画像信号であるかを判定する。
【0038】
[
図3のS13(前フレームの画像信号の読み出し)]
画像メモリ228(揮発性メモリ)には、後述の処理ステップS18(現フレームの画像信号の保持)の実行により、前フレーム(現フレームの1つ前のフレーム)の画像信号が保持されている。本処理ステップS13では、HDR画像生成回路224により、前フレームの画像信号が画像メモリ228から読み出される。現フレームの画像信号が狭帯域光観察像の画像信号である場合には、白色光観察像の画像信号が読み出され、現フレームの画像信号が白色光観察像の画像信号である場合には、狭帯域光観察像の画像信号が読み出される。
【0039】
なお、電子内視鏡システム1の起動時に動作モードがHDRモードに設定されている場合、本フローチャートに示される処理の初回実行時には、前フレームの画像信号が画像メモリ228に保持されていない。この場合、本フローチャートの処理は、後述の処理ステップS18(現フレームの画像信号の保持)に進む。
【0040】
[
図3のS14(高輝度画像信号の生成)]
本処理ステップS14では、HDR画像生成回路224において、現フレームの画像信号と処理ステップS13(前フレームの画像信号の読み出し)にて読み出された前フレームの画像信号とが加算されることにより、高輝度画像信号が生成される。
【0041】
図4に、高輝度画像信号を生成する処理の概念的な説明図を示す。
図4のグラフAは、白色光観察像の画像信号を構成する各画素の信号レベル(輝度値)を概念的に示す。
図4のグラフAは、例えば、粘膜等の表面部分を写す画素の信号レベルを示すものとなっている。また、
図4のグラフBは、狭帯域光観察像の画像信号を構成する各画素の信号レベルを概念的に示す。
図4のグラフBは、例えば、粘膜等の表面部分に加えて特定の生体構造を写す画素の信号レベルを示すものとなっている。グラフB中、落ち込んでいる2か所が特定の生体構造を写す画素に対応し、それ以外が粘膜等を写す画素に対応する。このように、グラフBには、特定の生体構造の情報が含まれる。
【0042】
図4の例では、白色光観察像の画像信号(
図4のグラフA参照)と狭帯域光観察像の画像信号(
図4のグラフB参照)とが加算されると、
図4のグラフCに示されるように、狭帯域光観察像の画像信号の信号レベルが特定の生体構造の情報を保持しつつ加算分(白色光観察像の画像信号の信号レベル分)上がる。これにより、高輝度な画像信号、すなわち高輝度画像信号が得られる。
【0043】
[
図3のS15(低輝度画像信号の生成)]
本処理ステップS15では、HDR画像生成回路224において、処理ステップS12(画像信号の判定)にて現フレームの画像信号が白色光観察像の画像信号であると判定された場合には、現フレームの画像信号が係数αで乗算され、同処理ステップにて現フレームの画像信号が狭帯域光観察像の画像信号であると判定された場合には、前フレームの画像信号(すなわち、白色光観察像の画像信号)が係数αで乗算される。
【0044】
係数αは、1未満の値である。そのため、白色光観察像の画像信号は、係数αで乗算されることにより、信号レベルが下がる(減衰される)。本処理ステップS15では、係数αで乗算された白色光観察像の画像信号と、狭帯域光観察像の画像信号とが加算されることにより、低輝度画像信号が生成される。
【0045】
図5に、低輝度画像信号を生成する処理の概念的な説明図を示す。
図5のグラフDは、白色光観察像の画像信号を構成する各画素の信号レベルを概念的に示すものであって、
図4のグラフAに示される各画素の信号レベルを係数αで乗算したものを示す。
図5のグラフDから、白色光観察像の画像信号が係数αで乗算されることで信号レベルが下がり、低輝度になっていることが判る。また、
図5のグラフDは、
図4のグラフBと同じである。
【0046】
図5の例では、白色光観察像の画像信号(
図5のグラフD参照)と狭帯域光観察像の画像信号(
図5のグラフE参照)とが加算されると、
図5のグラフFに示されるように、狭帯域光観察像の画像信号の信号レベルが特定の生体構造の情報を保持しつつ僅かな加算分(係数αで乗算された、白色光観察像の画像信号の信号レベル分)上がる。これにより、低輝度な画像信号、すなわち低輝度画像信号が得られる。
【0047】
係数αは、定数又は変数である。後者の場合、係数αは、例えば学習値であり、過去の連続する2フレームの画像信号(狭帯域光観察像の画像信号と白色光観察像の画像信号と)の信号レベル比(平均値比等)に基づいて定期的に更新設定される。信号レベル比が小さい(狭帯域光観察像の画像信号と白色光観察像の画像信号との信号レベル差が小さい)ほど、高輝度画像信号と低輝度画像信号との信号レベル差を確保する必要上、係数αは小さい値に設定される。
【0048】
[
図3のS16(HDR画像信号の生成)]
処理ステップS14(高輝度画像信号の生成)にて生成された高輝度画像信号は、暗すぎて黒潰れする生体組織の情報を再現するのに好適である。また、処理ステップS15(低輝度画像信号の生成)にて生成された低輝度画像信号は、明るすぎて白飛びする生体組織の情報を再現するのに好適である。本処理ステップS16では、HDR画像生成回路224において、このような特徴を持つ高輝度画像信号と低輝度画像信号とが合成されることにより、ダイナミックレンジが拡張されたHDR画像信号が生成される。なお、高輝度画像信号と低輝度画像信号とを合成してHDR画像信号を生成する技術は周知であり、ここでの詳細な説明は省略する。
【0049】
[
図3のS17(HDR画像の表示処理)]
本処理ステップS17では、処理ステップS16(HDR画像信号の生成)にて生成されたHDR画像信号が後段信号処理回路226に入力されて、所定のビデオフォーマット信号に変換後、モニタ300に出力される。これにより、ダイナミックレンジの広い生体組織の狭帯域光観察画像がモニタ300の表示画面に表示される。
【0050】
HDR画像信号の生成には2フレーム分の画像信号が用いられるが、その組み合わせ(高輝度画像信号と低輝度画像信号との組み合わせ)は1フレーム毎に更新される。そのため、HDR画像は、フレームレートを維持したまま、モニタ300の表示画面に表示される。
【0051】
[
図3のS18(現フレームの画像信号の保持)]
本処理ステップS18では、HDR画像生成回路224により、処理ステップS11(現フレームの画像信号の入力)にて前段信号処理回路222より入力された現フレームの画像信号が画像メモリ228に保持される。
【0052】
[
図3のS19(HDRモードの終了判定)]
本処理ステップS19では、動作モードが他のモードに切り替えられる等により、HDRモードによる生体組織の撮影が終了したか否かが判定される。HDRモードによる生体組織の撮影が終了していないと判定された場合(S19:NO)、本フローチャートの処理は、処理ステップS11(現フレームの画像信号の入力)に戻る。HDRモードによる生体組織の撮影が終了したと判定された場合(S19:YES)には、本フローチャートの処理は終了する。
【0053】
本実施形態によれば、白色光観察像の画像信号を利用して、狭帯域光観察像を高輝度化した高輝度画像信号が生成される。これにより、従来手法では難しかった、特定の生体構造の情報を含むHDR画像が生成される。
【0054】
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
【0055】
上記の実施形態では、時間的に隣り合う照射期間(すなわち、現フレームとその1つ前のフレーム)の画像信号を用いて高輝度画像信号及び低輝度画像信号が生成されている。別の一実施形態では、時間的に離れた照射期間(例えば現フレームとその3つ前のフレーム)の画像信号を用いて高輝度画像信号及び低輝度画像信号が生成されてもよい。