特許第6251059号(P6251059)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ HOYA株式会社の特許一覧
<>
  • 特許6251059-電子内視鏡システム 図000002
  • 特許6251059-電子内視鏡システム 図000003
  • 特許6251059-電子内視鏡システム 図000004
  • 特許6251059-電子内視鏡システム 図000005
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6251059
(24)【登録日】2017年12月1日
(45)【発行日】2017年12月20日
(54)【発明の名称】電子内視鏡システム
(51)【国際特許分類】
   A61B 1/045 20060101AFI20171211BHJP
   A61B 1/00 20060101ALI20171211BHJP
   G02B 23/24 20060101ALI20171211BHJP
【FI】
   A61B1/045 610
   A61B1/00 511
   G02B23/24 B
【請求項の数】5
【全頁数】14
(21)【出願番号】特願2014-13419(P2014-13419)
(22)【出願日】2014年1月28日
(65)【公開番号】特開2015-139520(P2015-139520A)
(43)【公開日】2015年8月3日
【審査請求日】2016年12月7日
(73)【特許権者】
【識別番号】000113263
【氏名又は名称】HOYA株式会社
(74)【代理人】
【識別番号】100078880
【弁理士】
【氏名又は名称】松岡 修平
(74)【代理人】
【識別番号】100183760
【弁理士】
【氏名又は名称】山鹿 宗貴
(72)【発明者】
【氏名】林 佳宏
【審査官】 ▲高▼ 芳徳
(56)【参考文献】
【文献】 特開2005−319213(JP,A)
【文献】 特開2006−187426(JP,A)
【文献】 特開2009−022652(JP,A)
【文献】 特開2011−172783(JP,A)
【文献】 特開平09−130666(JP,A)
【文献】 特開平03−153297(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00 − 1/32
G02B 23/24 − 23/26
(57)【特許請求の範囲】
【請求項1】
分光特性の異なる第一の光と第二の光とを所定のフィールドレートに同期したタイミングで交互に射出する光源部と、
前記第一の光により照射される第一フィールドの被写体の画像を第一のフィールド画像として生成し、前記第二の光により照射される第二フィールドの被写体の画像を第二のフィールド画像として生成するフィールド画像生成手段と、
前記フィールド画像生成手段により生成される最も新しい第一のフィールド画像とその一つ前の該第一のフィールド画像との比率に基づいて該第一のフィールド画像の変化率を計算し、該フィールド画像生成手段により生成される最も新しい第二のフィールド画像とその一つ前の該第二のフィールド画像との比率に基づいて該第二のフィールド画像の変化率を計算する変化率計算手段と、
前記変化率計算手段により計算された第一のフィールド画像の変化率に基づいて第二のフィールド画像の変化率を推定し、該変化率計算手段により計算された第二のフィールド画像の変化率に基づいて第一のフィールド画像の変化率を推定する変化率推定手段と、
前記変化率推定手段により推定された第二のフィールド画像の変化率及び補完フィールド直前の前記第二のフィールド画像に基づいて前記第二フィールドを補完し、該変化率推定手段により推定された第一のフィールド画像の変化率及び補完フィールド直前の前記第一のフィールド画像に基づいて前記第一フィールドを補完する補完手段と、
を備える、
電子内視鏡システム。
【請求項2】
前記フィールド画像生成手段は、
透過特性の異なるフィルタが設けられた複数種類のカラー画素が規則的に配列された撮像素子
を有し、
前記変化率計算手段は、
前記フィルタの透過特性と前記第一の光の分光特性に基づいて決定された第一の係数、及び該フィルタの透過特性と前記第二の光の分光特性に基づいて決定された第二の係数を保持し、
各前記カラー画素の出力レベルに、当該カラー画素に設けられたフィルタの透過特性に応じた第一の係数を掛け、該第一の係数を掛けることによって得られた値に基づいて前記第一のフィールド画像の変化率を計算し、当該カラー画素が持つフィルタの透過特性に応じた第二の係数を掛け、該第二の係数を掛けることによって得られた値に基づいて前記第二のフィールド画像の変化率を計算する、
請求項1に記載の電子内視鏡システム。
【請求項3】
前記被写体の動き量を検出する動き量検出手段と、
検出された動き量が大きいか否かを判定する動き量判定手段と、
を備え、
前記補完手段は、
前記動き量判定手段により前記被写体の動き量が大きいと判定されたとき、前記フィールドの補完を行い
前記動き量判定手段により前記被写体の動き量が小さいと判定されたとき、前記フィールドの補完を行わない
請求項1又は請求項2に記載の電子内視鏡システム。
【請求項4】
前記動き量検出手段は、
前記最も新しい第一のフィールド画像とその一つ前の第一のフィールド画像との差分又は前記最も新しい第二のフィールド画像とその一つ前の第二のフィールド画像との差分に基づいて前記被写体の動き量を検出する、
請求項に記載の電子内視鏡システム。
【請求項5】
前記フィールド画像生成手段により生成された第一及び第二のフィールド画像の一方と、前記補完手段によりフィールドが補完された第一及び第二のフィールド画像の他方を前記所定のフィールドレートで一画面内に同時に表示させる表示手段
を備える、
請求項1から請求項の何れか一項に記載の電子内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、病変部等の被写体を観察するための電子内視鏡システムに関する。
【背景技術】
【0002】
医療機器分野においては、分光特性の異なる照射光を使用した観察を同時に行うことで病変部の診断を容易にする電子内視鏡システムが知られている。この種の電子内視鏡システムの具体的構成は、例えば特許文献1に記載されている。
【0003】
特許文献1に記載の電子内視鏡システムでは、システムコントロール回路(42)は、奇数番フレームの第1フィールド及びそれに続く偶数番フレームの第2フィールドに白色光をライトガイド(16)に導入するとともに、奇数番フレームの第2フィールドに及びそれに続く偶数番フレームの第1フィールドに励起光をライトガイド(16)に導入する。前段処理回路(431)は、奇数番フレームの各フィールド及び偶数番フレームの各フィールドに得られた映像信号を各メモリ領域(432a〜d)に上書きする。スキャンコンバータ(435)は、各フレームの第1フィールドでは、メモリ領域(432a,c)のそれぞれから通常カラー画像、蛍光画像の映像信号を読み出して結合し、各フレームの第2フィールドでは、メモリ領域(432d,b)のそれぞれから通常カラー画像、蛍光画像の映像信号を読み出して結合する。これにより、垂直方向の解像度の低下が抑えられた状態で通常カラー画像と蛍光画像とが一画面内に同時に表示される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−319213号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献1に記載の電子内視鏡システムでは、各フィールドの通常カラー画像及び蛍光画像は、新たなフィールド画像によって更新されるまでの間に常に2回連続で(例えば、奇数番フレームの第1フィールドと次の偶数番フレームの第1フィールドに続けて、若しくは奇数番フレームの第2フィールドと次の偶数番フレームの第2フィールドに続けて)表示されるため、フィールド単位における実質的なリフレッシュレートが低い。そのため、例えば被写体の動き量が大きい(動きが速い)場合、残像感や動画ぼやけが目立つという欠点を抱えている。
【0006】
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、垂直方向の解像度の低下を抑えると共に被写体の動き量が大きい(動きが速い)場合の残像感や動画ぼやけを抑えることが可能な電子内視鏡システムを提供することである。
【課題を解決するための手段】
【0007】
本発明の実施形態に係る電子内視鏡システムは、分光特性の異なる第一の光と第二の光とを所定のフィールドレートに同期したタイミングで交互に射出する光源部と、第一の光により照射される第一フィールドの被写体の画像を第一のフィールド画像として生成し、第二の光により照射される第二フィールドの被写体の画像を第二のフィールド画像として生成するフィールド画像生成手段と、フィールド画像生成手段により生成される第一のフィールド画像の変化率と第二のフィールド画像の変化率とを交互に計算する変化率計算手段と、変化率計算手段により計算された一方のフィールド画像の変化率に基づいて他方のフィールド画像の変化率を推定する変化率推定手段と、変化率推定手段により推定された変化率に基づいて他方のフィールド画像のフィールドを補完する補完手段とを備える。
【0008】
変化率計算手段は、最も新しい第一のフィールド画像とその一つ前の第一のフィールド画像との比率に基づいて第一のフィールド画像の変化率を計算し、最も新しい第二のフィールド画像とその一つ前の第二のフィールド画像との比率に基づいて第二のフィールド画像の変化率を計算する構成としてもよい。この場合、変化率推定手段は、変化率計算手段により計算された第一のフィールド画像の変化率に基づいて第二のフィールド画像の変化率を推定し、変化率計算手段により計算された第二のフィールド画像の変化率に基づいて第一のフィールド画像の変化率を推定する。また、補完手段は、変化率推定手段により推定された第二のフィールド画像の変化率に基づいて第一フィールドを補完し、変化率推定手段により推定された第一のフィールド画像の変化率に基づいて第二フィールドを補完する。
【0009】
フィールド画像生成手段は、透過特性の異なるフィルタが設けられた複数種類のカラー画素が規則的に配列された撮像素子を有する構成としてもよい。この場合、変化率計算手段は、フィルタの透過特性と第一の光の分光特性に基づいて決定された第一の係数、及びフィルタの透過特性と第二の光の分光特性に基づいて決定された第二の係数を保持している。変化率計算手段は、各カラー画素の出力レベルに、当該カラー画素に設けられたフィルタの透過特性に応じた第一の係数を掛け、第一の係数を掛けることによって得られた値に基づいて第一のフィールド画像の変化率を計算する。また、変化率計算手段は、各カラー画素の出力レベルに、当該カラー画素が持つフィルタの透過特性に応じた第二の係数を掛け、第二の係数を掛けることによって得られた値に基づいて第二のフィールド画像の変化率を計算する。
【0010】
本発明の実施形態に係る電子内視鏡システムは、被写体の動き量を検出する動き量検出手段と、検出された動き量が大きいか否かを判定する動き量判定手段とを備える構成としてもよい。この場合、補完手段は、動き量判定手段により被写体の動き量が大きいと判定されたときには、変化率推定手段により推定された変化率に基づいて他方のフィールド画像のフィールドを補完し、動き量判定手段により被写体の動き量が小さいと判定されたときには、他方のフィールド画像のフィールドを補完しない。
【0011】
動き量検出手段は、最も新しい第一のフィールド画像とその一つ前の第一のフィールド画像との差分又は最も新しい第二のフィールド画像とその一つ前の第二のフィールド画像との差分に基づいて被写体の動き量を検出する構成としてもよい。
【0012】
本発明の実施形態に係る電子内視鏡システムは、フィールド画像生成手段により生成された第一及び第二のフィールド画像の一方と、補完手段によりフィールドが補完された第一及び第二のフィールド画像の他方を所定のフィールドレートで一画面内に同時に表示させる表示手段を備える構成としてもよい。
【発明の効果】
【0013】
本発明の実施形態によれば、垂直方向の解像度の低下を抑えると共に被写体の動き量が大きい(動きが速い)場合の残像感や動画ぼやけを抑えることが可能な電子内視鏡システムが提供される。
【図面の簡単な説明】
【0014】
図1】本発明の実施形態の電子内視鏡システムの構成を示すブロック図である。
図2】本発明の実施形態のプロセッサに備えられる回転フィルタ部を集光レンズ側から見た正面図である。
図3】特殊光及び通常光に関する各種処理のタイミング及び期間を示すシーケンス図である。
図4】最も新しいフィールドの特殊観察画像とその一つ前のフィールドの特殊観察画像との比率計算を概念的に示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。
【0016】
[電子内視鏡システム1の全体構成]
図1は、本実施形態の電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、電子スコープ100、プロセッサ200及びモニタ300を備えている。
【0017】
プロセッサ200は、システムコントローラ202及びタイミングコントローラ204を備えている。システムコントローラ202は、メモリ203に記憶された各種プログラムを実行し、電子内視鏡システム1全体を統合的に制御する。また、システムコントローラ202は、操作パネル218に接続されている。システムコントローラ202は、操作パネル218より入力されるユーザからの指示に応じて、電子内視鏡システム1の各動作及び各動作のためのパラメータを変更する。タイミングコントローラ204は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
【0018】
ランプ208は、ランプ電源イグナイタ206による始動後、白色光束Lを射出する。ランプ208には、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプが適している。ランプ208より射出された白色光束Lは、回転フィルタ部260に入射される。
【0019】
図2は、回転フィルタ部260を集光レンズ210側から見た正面図である。回転フィルタ部260は、回転式ターレット261、DCモータ262、ドライバ263及びフォトインタラプタ264を備えている。図2に示されるように、回転式ターレット261には、一対の特殊光用フィルタFs及び一対の通常光(白色光)用フィルタFnが円周方向に順に並べて配置されている。各光学フィルタは、フィールド周期(本実施形態では1/60秒)に応じた角度範囲(ここでは約90°の角度範囲)に広がる扇形状を有している。
【0020】
ドライバ263は、システムコントローラ202による制御下でDCモータ262を駆動する。回転フィルタ部260は、回転式ターレット261がDCモータ262によって回転動作することにより、ランプ208より入射された白色光束Lから、スペクトルの異なる二種類の照射光(特殊光と通常光)の一方を、撮像と同期したタイミングで取り出す。具体的には、回転式ターレット261は、回転動作中、特殊光用フィルタFsより特殊光を、通常光用フィルタFnより通常光を、交互に取り出す。回転式ターレット261の回転位置や回転の位相は、回転式ターレット261の外周付近に形成された開口(不図示)をフォトインタラプタ264によって検出することにより制御される。
【0021】
特殊光用フィルタFsは、例えば表層付近の血管構造(又は深層の血管構造、特定の病変部など)の分光画像を撮影するのに適した分光特性を持つ。通常光用フィルタFnは、白色光束Lを減光する減光フィルタであるが、単なる開口(光学フィルタの無いもの)や絞り機能を兼ねたスリット(光学フィルタの無いもの)に置き換えてもよい。
【0022】
回転フィルタ部260より取り出された照射光は、集光レンズ210によって集光されながら羽根絞り(不図示)を介して適正な光量に制限されて、LCB(Light Carrying Bundle)102の入射端に入射される。
【0023】
入射端よりLCB102内に入射された照射光は、LCB102内を伝播して電子スコープ100の先端に配置されたLCB102の射出端より射出され、配光レンズ104を介して被写体に照射される。被写体は、特殊光と通常光とによって交互に照射される。照射光により照射された被写体からの戻り光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。
【0024】
固体撮像素子108は、補色市松型画素配置を有するインターレース方式の単板式カラーCCD(Charge Coupled Device)イメージセンサである。固体撮像素子108は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローYe、シアンCy、グリーンG、マゼンタMgの各補色信号を生成し、生成された垂直方向に隣接する2つの画素の補色信号を加算し混合して出力する。以下、固体撮像素子108より出力される混合後の信号を「撮像信号」と記す。なお、固体撮像素子108は、CCDイメージセンサに限らず、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやその他の種類の撮像装置を採用してもよい。固体撮像素子108はまた、原色系フィルタ(ベイヤ配列フィルタ)を搭載したものであってもよい。
【0025】
回転フィルタ部260による特殊光と通常光との切り換えのタイミングは、固体撮像素子108における撮像期間(フィールド期間)の切り換えのタイミングと同期している。従って、固体撮像素子108は、1フィールド期間中、特殊光を受光して特殊光観察像の撮像信号を生成して出力し、続く1フィールド期間中、通常光を受光して通常光観察像の撮像信号を生成して出力する。固体撮像素子108は、上記を繰り返すことにより、各観察像の撮像信号を交互に出力する。
【0026】
電子スコープ100の接続部内には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112には、特殊光観察像、通常光観察像の各撮像信号が固体撮像素子108よりフィールド周期で入力される。ドライバ信号処理回路112は、固体撮像素子108より入力される撮像信号に対して色補完、マトリクス演算、Y/C分離等の所定の信号処理を施して画像信号(輝度信号Y、色差信号Cb、Cr)を生成し、生成された画像信号をプロセッサ200の前段信号処理回路220に出力する。
【0027】
ドライバ信号処理回路112はまた、メモリ114にアクセスして電子スコープ100の固有情報を読み出す。メモリ114に記録される電子スコープ100の固有情報には、例えば、固体撮像素子108の画素数や感度、動作可能なフィールドレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。
【0028】
システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、プロセッサ200に接続されている電子スコープに適した処理がなされるようにプロセッサ200内の各種回路の動作やタイミングを制御する。
【0029】
タイミングコントローラ204は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ204から供給されるクロックパルスに従って、固体撮像素子108をプロセッサ200側で処理される映像のフィールドレートに同期したタイミングで駆動制御する。
【0030】
前段信号処理回路220は、ドライバ信号処理回路112より1フィールド周期で入力される特殊光観察像、通常光観察像の各画像信号に対して所定の信号処理を施してフィールド画像処理回路230に出力する。
【0031】
フィールド画像処理回路230は、第一フィールドメモリ230mA、第二フィールドメモリ230mBを有している。各フィールドメモリには、前段信号処理回路220より入力される各画像信号が書き込まれる(上書きされる)。具体的には、第一フィールドメモリ230mAには、前段信号処理回路220より入力される特殊光観察像の画像信号(奇数フィールドに表示されるもの)が書き込まれる。また、第二フィールドメモリ230mBには、前段信号処理回路220より入力される通常光観察像の画像信号(偶数フィールドに表示されるもの)が書き込まれる。
【0032】
フィールド画像処理回路230は、フィールド画像補完回路230Cを有している。フィールド画像補完回路230Cは、各フィールドメモリより入力される画像信号と補完処理(詳しくは後述)の実行により補完されたフィールドの画像信号を、タイミングコントローラ204からのクロックパルスに同期させて後段信号処理回路240に順次出力する。
【0033】
後段信号処理回路240は、フィールド画像補完回路230Cより入力される各画像信号を処理してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ300に出力される。これにより、被写体の特殊観察画像や通常観察画像がモニタ300の表示画面に表示される。
【0034】
ユーザは、操作パネル218を操作することにより、観察画像の表示形態を設定することができる。観察画像の表示形態としては、例えば、同一サイズの特殊観察画像と通常観察画像とを並べて一画面に表示させる形態、一方の観察画像を親画面表示し、他方の観察画像を子画面表示する形態、ユーザの操作に従って選択された一方の観察画像を全画面表示させる形態がある。また、表示中の観察画像には、操作パネル218によって入力された内視鏡観察に関する情報(例えば、術者名、患者名、観察日時、観察に使用した照射光の種別等)をスーパーインポーズ表示させることができる。
【0035】
図3(a)〜図3(e)は、特殊観察画像と通常観察画像とを並べて一画面に表示させる際の、特殊光及び通常光に関する各種処理のタイミング及び期間を示すシーケンス図である。図3(a)は、特殊光又は通常光により被写体(体腔内)が照射されるタイミング及び期間を示す。図3(a)に示されるように、特殊光は、奇数フィールドに対応する期間中、被写体に照射され、通常光は、偶数フィールドに対応する期間中、被写体に照射される。図3(b)は、第一フィールドメモリ230mAへの特殊光観察像の画像信号の書込みタイミング及び保持期間を示す。図3(c)は、第二フィールドメモリ230mBへの通常光観察像の画像信号の書込みタイミング及び保持期間を示す。図3(d)、図3(e)はそれぞれ、特殊観察画像、通常観察画像の出力タイミング及び表示期間を示す。
【0036】
なお、図3(a)〜図3(e)の各図において、各種処理のタイミング及び期間は、便宜上、「回転式ターレット261のフィルタの符号(序数)」の表記で示される。例えば、図3(a)の「Fs1」は、特殊光用フィルタFsにより取り出された特殊光による初回の照射タイミング及び照射期間を示す。また、例えば、図3(b)の「Fs1」は、特殊光(初回)により照射された被写体の画像信号を第一フィールドメモリ230mAへ書き込むタイミング及び書き込まれた画像信号を保持する期間を示す。また、例えば、図3(d)の「Fs1」は、第一フィールドメモリ230mAより入力される画像信号(初回)を用いて生成された特殊観察画像がモニタ300に出力されるタイミング及びモニタ300にて表示される期間を示す。また、図3(d)及び図3(e)中、「’」が付された表記は、フィールド画像補完回路230Cにより補完されたフィールドの観察画像がモニタ300に出力されるタイミング及びモニタ300にて表示される期間を示す。なお、図3(a)〜図3(e)に示される各種処理間の遅延は無視しても差し支えない程度に極僅かな時間である。従って、図3(a)〜図3(e)に示されるように、本実施形態では、便宜上、各種処理間の遅延を考慮しない。
【0037】
図3(a)に示されるように、特殊光、通常光はそれぞれ、被写体に2フィールド周期で照射される。そのため、全フィールドにおいて特殊観察画像と通常観察画像の両方を欠落させることなく一画面に並べて表示させるには、例えば、特殊観察画像、通常観察画像のそれぞれにおいて、同じ観察画像を2フィールド続けて表示させることが考えられる。しかし、この場合、特殊観察画像については、奇数フィールドと偶数フィールド(欠落フィールド)とで同じ画像が表示されるため、垂直方向の解像度が低下する。通常観察画像についても、偶数フィールドと奇数フィールド(欠落フィールド)とで同じ画像が表示されるため、垂直方向の解像度が低下する。また、何れの観察画像においても被写体の動き量が大きい(動きが速い)場合は、残像感や動画ぼやけが顕著に現れる虞がある。そこで、本実施形態では、フィールド画像処理回路230において次に説明される処理が行われることにより、垂直方向の解像度の低下が抑えられつつ被写体の動き量が大きい場合の残像感や動画ぼやけが抑えられる。
【0038】
[フィールド画像処理回路230において行われるフィールド画像出力処理]
フィールド画像出力処理については、図3の「フレーム(n+1)」に着目して説明する。
【0039】
[フレーム(n+1)の奇数フィールド(特殊観察画像)]
フレーム(n+1)の奇数フィールドに切り替わると、図3(b)に示されるように、特殊光観察像の画像信号Fs2が第一フィールドメモリ230mAに書き込まれて、フィールド画像補完回路230Cに入力される。フィールド画像補完回路230Cは、入力された画像信号Fs2をそのまま、タイミングコントローラ204からのクロックパルスに同期させて後段信号処理回路240に出力する。これにより、図3(d)に示されるように、後段信号処理回路240にて処理された特殊観察画像Fs2がモニタ300に出力され表示される。
【0040】
[フレーム(n+1)の奇数フィールド(通常観察画像)]
また、フレーム(n+1)の奇数フィールドへの切り替わり時、第二フィールドメモリ230mBに保持されている通常光観察像の画像信号Fn1(図3(c)参照)は、フィールド画像補完回路230Cに入力されている。本フィールドにおいても、フレーム(n)の偶数フィールドで表示された通常観察画像Fn1を続けて表示させると、通常観察画像について垂直方向の解像度が低下すると共に被写体の動き量が大きい(動きが速い)場合に残像感や動画ぼやけが顕著に現れる虞がある。そこで、フィールド画像補完回路230Cは、直前の特殊観察画像の画像信号Fs1を保持しており、これを用いて本フィールドの通常観察画像を補完する。
【0041】
具体的には、フィールド画像補完回路230Cは、最も新しいフィールドの特殊観察画像Fs2とその一つ前のフィールドの特殊観察画像Fs1との比率に基づいて直近の特殊観察画像の変化率を計算する。ここでは、中間画像(特殊観察画像Fs2とFs1との中間画像)が特殊観察画像Fs1に対してどの程度変化したか、つまり、直近の特殊観察画像が1フィールドでどの程度変化したかが計算される。また、特殊光観察の撮影範囲と通常光観察の撮影範囲とが実質的に同じであることから、通常観察画像は、特殊観察画像と同じように変化するものと考えられる。そのため、フィールド画像補完回路230Cは、計算された直近1フィールドにおける特殊観察画像の変化率を、直近1フィールドにおける通常観察画像の変化率と推定する。フィールド画像補完回路230Cは、推定された通常観察画像の変化率と、直前のフィールドの通常観察画像Fn1とを乗算することにより、本フィールドを補完する画像(通常観察画像Fn1’)を生成する。下記に、この処理内容を数式的に表現したものを示す。
補完フィールドの通常観察画像=補完フィールド直前の通常観察画像×直近1フィールドにおける通常観察画像の変化率(直近1フィールドにおける特殊観察画像の変化率)
【0042】
更に、下記に、上記数式的表現を数式化させたものを示す。
Fn(N)’=Fn(N)×{[(Fs(N+1)/Fs(N))−1]/2+1}
なお、下付き文字の「N」は、図3の表記「回転式ターレット261のフィルタの符号(序数)」の「序数」を示す。そのため、本例に上記数式を適用させると、次式に示す通りとなる。
Fn1’=Fn1×{[(Fs2/Fs1)−1]/2+1}
【0043】
図4(a)及び図4(b)は、最も新しいフィールドの特殊観察画像Fs2とその一つ前のフィールドの特殊観察画像Fs1との比率計算を概念的に示す図である。特殊観察画像Fs2と特殊観察画像Fs1との比率は、例えば図4(a)に示されるように、特殊観察画像間の同一画素同士を比較(Fs2をFs1で除算)することにより求められる。または、例えば図4(b)に示されるように、特殊観察画像間の所定の同一画素群同士(同一画素同士及びその上下左右に位置する周辺画素同士のそれぞれ)を比較することにより求められる。なお、後者の場合、比率計算の際、中央の画素の出力レベルに係数0.5が乗算され、上下左右に位置する各周辺画素の出力レベルに係数0.125が乗算される。
【0044】
フィールド画像補完回路230Cは、生成された通常観察画像Fn1’を、タイミングコントローラ204からのクロックパルスに同期させて後段信号処理回路240に出力する。これにより、図3(e)に示されるように、後段信号処理回路240にて処理された通常観察画像Fn1’がモニタ300に出力され表示される。
【0045】
[フレーム(n+1)の偶数フィールド(通常観察画像)]
フレーム(n+1)の偶数フィールドに切り替わると、図3(c)に示されるように、通常光観察像の画像信号Fn2が第二フィールドメモリ230mBに書き込まれて、フィールド画像補完回路230Cに入力される。フィールド画像補完回路230Cは、入力された画像信号Fn2をそのまま、タイミングコントローラ204からのクロックパルスに同期させて後段信号処理回路240に出力する。これにより、図3(e)に示されるように、後段信号処理回路240にて処理された通常観察画像Fn2がモニタ300に出力され表示される。
【0046】
[フレーム(n+1)の偶数フィールド(特殊観察画像)]
また、フレーム(n+1)の偶数フィールドへの切り替わり時、第一フィールドメモリ230mAに保持されている特殊光観察像の画像信号Fs2(図3(b)参照)は、フィールド画像補完回路230Cに入力されている。本フィールドにおいても、フレーム(n+1)の奇数フィールドで表示された特殊観察画像Fs2を続けて表示させると、特殊観察画像について垂直方向の解像度が低下すると共に被写体の動き量が大きい(動きが速い)場合に残像感や動画ぼやけが顕著に現れる虞がある。そこで、フィールド画像補完回路230Cは、直前の通常観察画像の画像信号Fn1を保持しており、これを用いて本フィールドの特殊観察画像を補完する。
【0047】
具体的には、フィールド画像補完回路230Cは、最も新しいフィールドの通常観察画像Fn2とその一つ前のフィールドの通常観察画像Fn1との比率に基づいて直近の通常観察画像の変化率を計算する。ここでは、中間画像(通常観察画像Fn2とFn1との中間画像)が通常観察画像Fn1に対してどの程度変化したか、つまり、直近の通常観察画像が1フィールドでどの程度変化したかが計算される。また、特殊光観察の撮影範囲と通常光観察の撮影範囲とが実質的に同じであることから、特殊観察画像は、通常観察画像と同じように変化するものと考えられる。そのため、フィールド画像補完回路230Cは、計算された直近1フィールドにおける通常観察画像の変化率を、直近1フィールドにおける特殊観察画像の変化率と推定する。フィールド画像補完回路230Cは、推定された特殊観察画像の変化率と、直前のフィールドの特殊観察画像Fs1とを乗算することにより、本フィールドを補完する画像(特殊観察画像Fs2’)を生成する。下記に、この処理内容を数式的に表現したものを示す。
補完フィールドの特殊観察画像=補完フィールド直前の特殊観察画像×直近1フィールドにおける特殊観察画像の変化率(直近1フィールドにおける通常観察画像の変化率)
【0048】
更に、下記に、上記数式的表現を数式化させたものを示す。
Fs(N)’=Fs(N)×{[(Fn(N+1)/Fn(N))−1]/2+1}
なお、本例に上記数式を適用させると、次式に示す通りとなる。
Fs2’=Fs2×{[(Fn2/Fn1)−1]/2+1}
【0049】
最も新しいフィールドの通常観察画像Fn2とその一つ前のフィールドの通常観察画像Fn1との比率計算の例としては、図4(a)と図4(b)と同様のものが考えられる。
【0050】
フィールド画像補完回路230Cは、生成された特殊観察画像Fs2’を、タイミングコントローラ204からのクロックパルスに同期させて後段信号処理回路240に出力する。これにより、図3(d)に示されるように、後段信号処理回路240にて処理された特殊観察画像Fs2’がモニタ300に出力され表示される。
【0051】
本実施形態によれば、上記のフィールド画像出力処理(フレーム(n+1)に着目して説明した一連の処理)が以降のフレームにおいても実行されることにより、特殊光及び通常光が被写体に2フィールド周期で照射される構成であるにも拘わらず、特殊観察画像、通常観察画像の実質的なリフレッシュレートが「60フィールド/秒」に改善する。そのため、垂直方向の解像度の低下が抑えられると共に被写体の動き量が大きい(動きが速い)場合の残像感や動画ぼやけが抑えられる。
【0052】
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。例として、光源装置は、回転フィルタ部を備える構成に限らず、特許文献1の同様に、分光特性の異なる光を射出する別個独立した2つの光源を備える構成に置き換えてもよい。
【0053】
また、上記の実施形態では、光源装置をプロセッサ200に内蔵しているが、別の実施形態では、プロセッサ200と光源装置とを分離した構成としてもよい。この場合、プロセッサ200と光源装置との間でタイミング信号を送受信するための有線又は無線の通信手段が設けられる。
【0054】
また、被写体に照射される光は、特殊光と通常光との組み合わせに限らない。被写体に照射される光は、例えば赤外光観察のための赤外光と蛍光観察のための励起光との組み合わせであってもよい。
【0055】
赤外光観察では、実質的に赤外光の波長域の生体構造の情報しか得られない。具体的には、赤外光により照射された被写体を撮像した際、Ye(イエロー)画素及びMg(マゼンタ)画素から生体構造の情報が得られるが、Cy(シアン)画素及びG(グリーン)画素からは生体構造の情報が実質的に得られない。一方、蛍光観察では、実質的に蛍光の波長域の生体構造の情報しか得られない。具体的には、蛍光により照射された被写体を撮像した際、Mg画素及びCy画素から生体構造の情報が得られるが、Ye画素及びG画素からは生体構造の情報が実質的に得られない。
【0056】
ここで、生体構造の情報が実質的に得られない画素の情報を用いて観察画像の変化率を計算し、計算された変化率から他方の観察画像の変化率を推定すると、その推定精度が低いものと考えられる。そこで、フィールド画像補完回路230Cは、イエローYe、シアンCy、グリーンG、マゼンタMgの各カラーフィルタの透過特性と赤外光の分光特性との関係を考慮して決定された第一の係数を保持している。具体的には、第一の係数は、赤外光の波長域に高い透過特性を持つカラーフィルタが設けられた画素ほど高い重み付けを行うものとなっている。フィールド画像補完回路230Cは、最も新しいフィールドの赤外観察画像の各画素に対し該画素に設けられたフィルタの透過特性に応じた第一の係数を掛けることにより、最も新しいフィールドの赤外観察画像を調整すると共に、その一つ前のフィールドの赤外観察画像の各画素に対し該画素に設けられたフィルタの透過特性に応じた第一の係数を掛けることにより、その一つ前のフィールドの赤外観察画像を調整する。フィールド画像補完回路230Cは、調整された2つの赤外観察画像の比率に基づいて直近1フィールドにおける赤外観察画像の変化率を計算し、それを直近1フィールドにおける蛍光観察画像の変化率と推定する。本例では、生体構造の情報が得られる画素ほど重視されて赤外観察画像の変化率が計算されるため、蛍光観察画像の変化率の推定精度が向上する。
【0057】
フィールド画像補完回路230Cは、イエローYe、シアンCy、グリーンG、マゼンタMgの各カラーフィルタの透過特性と蛍光の分光特性との関係を考慮して決定された第二の係数を保持している。具体的には、第二の係数は、蛍光の波長域に高い透過特性を持つカラーフィルタが設けられた画素ほど高い重み付けを行うものとなっている。フィールド画像補完回路230Cは、最も新しいフィールドの蛍光観察画像の各画素に対し該画素に設けられたフィルタの透過特性に応じた第二の係数を掛けることにより、最も新しいフィールドの蛍光観察画像を調整すると共に、その一つ前のフィールドの蛍光観察画像の各画素に対し該画素に設けられたフィルタの透過特性に応じた第二の係数を掛けることにより、その一つ前のフィールドの蛍光観察画像を調整する。フィールド画像補完回路230Cは、調整された2つの蛍光観察画像の比率に基づいて直近1フィールドにおける蛍光観察画像の変化率を計算し、それを直近1フィールドにおける赤外観察画像の変化率と推定する。本例では、生体構造の情報が得られる画素ほど重視されて蛍光観察画像の変化率が計算されるため、赤外観察画像の変化率の推定精度が向上する。
【0058】
また、フィールド画像補完回路230Cは、被写体の動き量に応じて補完画像を生成するか否かを決定する構成であってもよい。
【0059】
この場合、被写体の動き量が検出される。一例として、被写体画像の差分の平均値が求められる。各画素について、最も新しい奇数フィールドの特殊観察画像とその一つ前の奇数フィールドの特殊観察画像との差分(又は最も新しい偶数フィールドの通常観察画像とその一つ前の偶数フィールドの通常観察画像との差分)が計算され、計算された各画素における差分が積算される。積算された値が画素の総数で除算されることにより、被写体画像の差分の平均値が求まる。次いで、検出された被写体の動き量が所定の閾値より大きいか否かが判定される。なお、ユーザは、操作パネル218を操作することにより、上記閾値を設定変更することができる。
【0060】
被写体の動き量が所定の閾値より大きいと判定された場合、被写体の動き量が大きい(動きが速い)。この場合、上記のフィールド画像出力処理(フレーム(n+1)に着目して説明した一連の処理)が実行されるため、特殊観察画像、通常観察画像の実質的なリフレッシュレートが「60フィールド/秒」に改善する。従って、垂直方向の解像度の低下が抑えられると共に被写体の動き量が大きい場合の残像感や動画ぼやけが抑えられる。
【0061】
被写体の動き量が所定の閾値以下であると判定された場合、被写体の動き量が小さい(動きが遅い)。この場合、上記のフィールド画像出力処理が実行されない。そのため、特殊観察画像、通常観察画像のそれぞれにおいて、同じ観察画像が2フィールド続けて表示される。従って、フィールド単位における実質的なリフレッシュレートが低下する。但し、被写体の動き量が小さいため、残像感や動画ぼやけは目立ち難い。
【符号の説明】
【0062】
1 電子内視鏡システム
100 電子スコープ
102 LCB
104 配光レンズ
106 対物レンズ
108 固体撮像素子
112 ドライバ信号処理回路
114 メモリ
200 プロセッサ
202 システムコントローラ
203 メモリ
204 タイミングコントローラ
206 ランプ電源イグナイタ
208 ランプ
210 集光レンズ
218 操作パネル
220 前段信号処理回路
230 フィールド画像処理回路
230mA 第一フィールドメモリ
230mB 第二フィールドメモリ
230C フィールド画像補完回路
240 後段信号処理回路
260 回転フィルタ部
261 回転式ターレット
Fs 特殊光用フィルタ
Fn 通常光用フィルタ
262 DCモータ
263 ドライバ
264 フォトインタラプタ
図1
図2
図3
図4