(58)【調査した分野】(Int.Cl.,DB名)
前記第2撮像系による撮影が適切であるか否かを判断する場合には、第1および第2撮像系からの画像信号に対するヒストグラムを利用し、前記第1撮像系による撮影が適切であるか否かを判断する場合には、第2撮像系からの画像信号に対するヒストグラムのみを用いることを特徴とする請求項2〜4の何れか一項に記載の電子内視鏡システム。
前記判定手段が、前記各ヒストグラムにおける一方の側からの度数の累積が1画面中の所定割合の画素数になる値に基づき前記判断を行うことを特徴とする請求項2〜5の何れか一項に記載の電子内視鏡システム。
前記判断に基づき、前記第1または第2撮像系からの撮影から他方の撮影に切替えるとともに、画像表示装置への出力も前記他方の表示に切替える切替手段を更に備えることを特徴とする請求項1〜6の何れか一項に記載の電子内視鏡システム。
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態を、図面を参照して説明する。
図1は、本発明の一実施形態である画像判定システムを搭載した電子内視鏡システムの外観図である。
【0016】
電子内視鏡システム10は、可撓管状の挿入部を備えるスコープ11と、カラー画像用プロセッサ装置12と、共焦点画像用プロセッサ装置13と、モニタ14とから主に構成される。スコープ11には、後述するようにカラー画像撮像系と共焦点画像撮像系の2種類の撮像系が設けられ、それぞれユニバーサルコード15、16を介してカラー画像用プロセッサ装置12、共焦点画像用プロセッサ装置13に着脱自在に接続される。また、本実施形態では、モニタ14は共焦点画像用プロセッサ装置13にのみ接続され、カラー画像用プロセッサ装置12の映像出力は、共焦点画像用プロセッサ装置13を介してモニタ14に出力される。
【0017】
スコープ11の挿入部17は、例えば人体Pに挿入され、カラー画像撮像系では挿入部17の先端に設けられた撮像素子により通常のカラー画像撮影が行われる。一方、共焦点画像撮像系では挿入部17の先端からレーザ光を照射するとともに、生体組織内で励起される蛍光を共焦点光学系を通して光検出器で検出し、これを観察部位において2次元走査することでモノクロの共焦点画像が取得される。また焦点面を奥行き方向に移動することで、生体組織の奥行き方向への情報(3次元情報)も取得される。なお
図1には、共焦点画像撮像系を通して共焦点画像をモニタ14に表示している様子が描かれ、このとき挿入部17の先端は観察部位に押し当てられている。
【0018】
図2は、内視鏡挿入部17の先端の拡大斜視図である。カラー画像は、カラー画像用プロセッサ装置13から供給される白色照明光をライトガイド23(
図3参照)を通して挿入部17の先端から照明レンズ24を通して照射し、対物レンズ19を通してその反射光を挿入部17内に設けられた撮像素子で検出することにより撮影される。
【0019】
また、挿入部17の先端面17Aには、例えば突起部20が設けられ、突起部20には共焦点画像撮像系の対物レンズ21が配置される。対物レンズ21からは例えばレーザなどの光ビーム(例えば青色レーザ)が照射され、生体組織の一点からの光(例えば蛍光)が対物レンズ21を通して共焦点撮像系に入射され光検出器において検出される。このように被写体から各撮像系の対物レンズまでの距離は、相対的に対物レンズ19の方が対物レンズ21よりも長くなっている。そしてこれを2次元操作することにより2次元の共焦点画像が生成される。なお共焦点画像撮影中は、突起部20が観察部位に押し当てられ、観察部位との距離が一定に維持される。
【0020】
図3は、電子内視鏡システム10におけるカラー電子内視鏡システムに関するブロック図であり、スコープ11におけるカラー画像撮像系、およびカラー画像用プロセッサ装置12の光学的、電気的な構成が示される。
【0021】
スコープ11内に設けられるカラー画像撮像系は、ライトガイド23とその先端に設けられる照明レンズ24を備える。ライトガイド23の基端部はコネクタ25Aを介してカラー画像用プロセッサ装置12内に設けられた光源部26に光学的に接続される。光源部26からは白色光がライトガイド23へ供給され、照明レンズ24を介して白色照明光が挿入部先端から照射される。この照明光の下、被写体像は、対物レンズ19を通してCCDやCMOSなどの撮像素子27において検出される。
【0022】
撮像素子27は、コネクタ25Bを介してカラー画像用プロセッサ装置12のビデオコントローラ28およびプリプロセス回路29に接続される。撮像素子27の駆動は、ビデオコントローラ28からの駆動信号により制御され、撮像素子27で検出された画像信号は、プリプロセッサ回路29を通してデジタル信号に変換される。
【0023】
プリプロセッサ回路29から出力されるカラー画像のデジタル信号は、ビデオコントローラ28へ送られるとともに、輝度ヒストグラム回路30、R信号ヒストグラム回路31へと入力される。輝度ヒストグラム回路30およびR信号ヒストグラム回路31では、入力された1画面分の画像信号に対して、それぞれ輝度信号およびR信号に関するヒストグラムが作成され、ビデオコントローラ28へ出力される。またビデオコントローラ28に入力された画像信号には、必要に応じて所定の画像処理が施され、共焦点画像用プロセッサ装置13のビデオコントローラ52(
図4参照)へ出力される。
【0024】
一方、ヒストグラム回路30、31からの出力は、ビデオコントローラ28を介してシステムコントローラ32へ送られた後、共焦点画像用プロセッサ装置13へ送られる。なおシステムコントローラ32は、共焦点画像用プロセッサ装置13との通信を含めカラー画像用プロセッサ装置12全体の制御を行い、フロントパネル33、フットスイッチ34、キーボード35や、コネクタ25Cを介してスコープ11の操作部(不図示)に設けられた操作ボタン36等も接続されている。またカラー画像用プロセッサ装置12内の各デバイスの駆動タイミングはタイミングジェネレータ37によって制御される。
【0025】
次に電子内視鏡システム10における共焦点システムの構成について
図4のブロック図を参照して説明する。なお
図4はスコープ11の共焦点画像撮像系および共焦点画像用プロセッサ装置13の光学的、電気的な構成を示す。
【0026】
スコープ11内に設けられる共焦点画像撮像系は、対物レンズ(群)21、光ファイバ38、および共焦点画像用プロセッサ装置13内に設けられた光結合部42、光源部43、受光部44から構成される。光ファイバ38は、光源部43から光結合部42を介して供給されるレーザ光を伝送し、挿入部17の先端から射出する。このとき、光ファイバ38にはレーザ光により励起された生体組織からの蛍光が入射され、蛍光は光結合部42を介して受光部44へと伝送される。
【0027】
一方、レーザ光による被写体の2次元走査は、光ファイバ38の先端をファイバ駆動ユニット39により駆動することにより行われる。例えばファイバ駆動ユニット39は圧電素子40を備え、共焦点画像用プロセッサ装置13に設けられたスキャンドライバ53からコネクタ41Bを介して送出される駆動信号により片持ち保持された光ファイバ38の先端部を例えば軸方向に垂直な独立した2方向に移動し、光ファイバ38の先端部を撓ませることで2次元走査を実現する。また対物レンズ21の位置は、スキャンドライバ53からの駆動信号により軸方向に調整可能であり、対物レンズ21の位置を制御することで焦点面の位置を調整し、奥行き方向の異なる距離に対する共焦点画像が取得される。
【0028】
光ファイバ38は、コネクタ41Aを介して共焦点画像用プロセッサ装置13に光学的に接続され、共焦点画像用プロセッサ装置13内に設けられた光結合部42を介して光源部43、受光部44に接続される。光結合部42は例えば2入力、2出力の光方向性結合器(光カプラ)42Aであり、ポートP1に光源部43のレーザ光源43Aが接続され、ポートP1のストレートポートに当たるポートP3に光ファイバ38が接続される。すなわち、レーザ光源43Aからの光は、ポートP1からポートP3へと導かれ光ファイバ38を通して挿入部17の先端から射出される。なお本実施形態においてレーザ光源43Aから照射されるレーザ光は、例えば488nmである。
【0029】
またポートP1のクロスポートに当たるポートP4には、例えばフォトダイオード(PD)45が接続される。すなわちレーザ光源43Aの出力は、フォトダイオード(PD)45によりモニタされ、レーザ光源43Aを駆動するレーザドライバ46は、PDアンプ45Aを介したフォトダイオード(PD)45からの信号に基づいてレーザ光源43Aの駆動を制御する。
【0030】
一方、ポートP3のクロスポートに当たるポートP2には受光部44が接続され、ポートP2から出力される光は、受光部44の共焦点光学系44Aを通して光電子倍増管(PMT)44Bで受光される。すなわち光ファイバ38から照射されるレーザ光による生体組織の蛍光は、光ファイバ38に入射されポートP3、ポートP2を通して光電子倍増管(PMT)44Bで受光される。
【0031】
なお光電子倍増管(PMT)44Bのゲインは、PMTアンプ44Cを通してPMTコントローラ47により制御され、光電子倍増管(PMT)44Bからの出力は、A/D変換器48、ローパスフィルタ(LPF)49と通してPMTコントローラ47に入力されるとともに、ヒストグラム回路50へ入力される。ヒストグラム回路50では、入力された1画面分の画像信号に対するヒストグラムが作成され、PMTコントローラ47へ出力される。
【0032】
PMTコントローラ47に入力された共焦点画像は、共焦点画像用プロセッサ装置13のイメージコントローラ51へ入力され、共焦点画像は更にビデオコントローラ52へ出力される。一方、PMTコントローラ47に入力されたヒストグラムの値は、共焦点画像用プロセッサ装置13のシステムコントローラ54に送られる。
【0033】
ビデオコントローラ52に入力された画像信号には、所定の画像処理が施され、必要に応じてモニタ14へ出力される。なお、本実施形態では、前述したようにカラー画像用プロセッサ装置12のビデオコントローラ28(
図3参照)から送出されたカラー画像もビデオコントローラ52へ入力されており、例えばモニタ14へ出力可能とされる。なお、本実施形態の画像判定処理に基づくカラー画像、共焦点画像間の画像切替処理については後述する。
【0034】
なおシステムコントローラ54は、カラー画像用プロセッサ装置12との通信を含め共焦点画像用プロセッサ装置13全体の制御を行い、フロントパネル55、フットスイッチ56、キーボード57や、コネクタ41Cを介してスコープ11の操作部(不図示)に設けられた操作ボタン58等も接続されている。また共焦点画像用プロセッサ装置13内の各デバイスの駆動タイミングはタイミングジェネレータ59によって制御される。
【0035】
次に
図5、
図6を参照して本実施形態の画像切替処理(画像判定処理を含む)について説明する。なお、本実施形態の画像切替処理は、カラー画像撮像系と共焦点画像撮像系の何れの撮像系による画像が現在適切であるかを自動判定し、適切であるとされる画像への切替を行うものである。
【0036】
図5はシステムのメインフローの概略を示すフローチャートであり、例えば共焦点画像用プロセッサ装置13のシステムコントローラ54において実行される、
図6は本実施形態の画像切替処理のフローチャートである。なお、本説明では画像切替処理に関わる説明のみを行う。
【0037】
本実施形態の画像切替処理は、例えば割り込みタスク処理として実行される。共焦点画像用プロセッサ装置13の電源が投入され、
図5のフローが開始されると、ステップS100においてシステムの初期化が行われる。初期化処理では、画像切替処理用のパラメータを含む各種パラメータの初期化が行われる。なお画像切替処理用のパラメータとしては、画像切替フラグImage_flagが0に初期設定される。
【0038】
なお本実施形態において、Image_flag=0は、現在の観察モードがカラー画像モードであり、画像切替処理が共焦点画像への切替えのタイミングをモニタすることを示している。一方、Image_flag=1は、現在の観察モードが共焦点画像モードであり、画像切替処理がカラー画像への切替のタイミングをモニタすることを示している。
【0039】
ステップS100のシステム初期化処理が終了すると、その後はステップS102で示される割り込みタスク処理が、例えば電源が切られるまで繰り返し実行される。すなわち、何らかのイベントが発生すると、そのイベントに対するフラグが立てられ、ステップS102の割り込みタスク処理において、フラグが立てられた処理が定常周期で実行される。本実施形態では、例えば画像の自動切替モードが設定されたときや、カラー画像用プロセッサ装置12から画像信号を受信したときなどに画像切替処理のフラグが立てられる。
【0040】
ステップS102の割り込みタスク処理において、
図6に示される画像切替処理が開始されると、ステップS200において画像切替フラグImage_flagが0であるか1であるかが判定される。前述したようにフラグImage_flag=0は、現観察モードが通常のカラー画像モードであることを示し、初期化処理直後において画像切替フラグImage_flagは0に設定されている。これは内視鏡観察は通常のカラー画像の観察から開始され、挿入部先端が観察部位に押し当てられて初めて共焦点画像の撮影が開始されるためである。
【0041】
なお、本実施形態では、例えば
図7に示されるように、1つの画面A0に通常のカラー画像を表示するカラー画像表示領域A1と、共焦点画像を表示する共焦点画像表示領域A2が設けられる。カラー画像観察時には、
図7(a)のように、カラー画像表示領域A1に通常のカラー画像が表示され、共焦点画像表示領域A2は例えばブルーバック画像が表示される。一方、共焦点画像観察時には、
図7(b)のように、共焦点画像表示領域A2に共焦点画像が表示され、カラー画像表示領域A1はブルーバック画像が表示される。
【0042】
ステップS200において画像切替フラグImage_flag=0であると判定されると、カラー画像モードにおけるステップS202〜S220の画像切替処理が開始され、ステップS202においてカウンタCNT1が0に初期化される。カウンタCNT1は、共焦点画像への切替条件を満たした回数をカウントするもので、本実施形態では、以下に説明するようにカウンタCNT1の値が所定の閾値に達すると共焦点画像への切替を実行する。なお、このときにはカラー画像観察が行われており、モニタ14には
図7(a)のようにカラー画像が表示されている。
【0043】
ステップS204では、カラー画像(白色光画像)の画像情報、すなわち輝度信号およびR信号に関するヒストグラムの値が取得され、ステップS206では輝度ヒストグラムにおいて、輝度値(信号レベル)が高い側からの度数の累積が全体の所定割合(例えば1画面中の画素の80%)になる輝度値(信号レベル)が求められ、所定の閾値以上であるか否かが判定される。なお
図8(a)に、信号レベルが高い側からの度数の累積が1画面中の画素の80%となる輝度値(信号レベル)Sが所定の閾値Tよりも大きい場合のヒストグラムの例をし、
図8(b)に求められる輝度値(信号レベル)Sが所定の閾値Tよりも小さい場合のヒストグラムの例を示す。
【0044】
閾値以上と判定された場合にはステップS208において、R信号(R成分)のヒストグラムにおいて、R信号値が高い側からの度数の累積が、全体の所定割合(例えば1画面中の80%)となるR信号値が求められ、その値が所定の閾値以上であるか否かが判定される。ステップS206、ステップS208の何れかにおいて、求められた値が閾値未満と判定された場合には現画像切替処理を終了し、処理は割り込みタスク処理のループへ戻る。
【0045】
一方、ステップS206およびステップS208において、求められた値が閾値以上であると判定されるとステップS210において共焦点画像の画像情報、すなわち共焦点画像のヒストグラムの値が取得される。そしてステップS212において共焦点画像のヒストグラムにおいて、ゲイン値が高い側からの度数の累積が、全体の所定割合(例えば50%)となるゲイン値が求められ、その値が所定の閾値以上であるか否かが判定される。求められた値が閾値未満と判定された場合には現画像切替処理を終了し、処理は割り込みタスク処理のループへ戻る。
【0046】
一方、ステップS212において、求められた値が閾値以上であると判定されるとステップS214においてカウンタCNT1の値がインクリメント(+1)される。すなわち、カラー画像の輝度および赤色成分が高く(内視鏡先端がカラー画像を撮影するには不適切なほど生体組織に近接していると思われる状況に対応)、かつ共焦点撮像系で得られるPMT44Bからの出力が十分に高いとき(内視鏡先端が共焦点画像を撮影するのに十分な程度に生体組織に近接していると思われる状況)、共焦点画像への切替を促すカウンタCNT1の値がインクリメントされる。
【0047】
なお、カラー画像モードにおいて、ファイバ駆動ユニット39は停止されているので、共焦点画像に関わるヒストグラムは、例えば1画面分の時間に亘りPMT44Bから得られる出力に関して作成される。
【0048】
次にステップS216において、カウンタCNT1の値が所定の閾値に達したか否かが判定される。カウンタCNT1の値が所定の閾値に達していない場合には、処理はステップS204に戻り、上述した処理が繰り返される。一方、ステップS216においてカウンタCNT1が所定の閾値に達している場合には、ステップS218において画像切替フラグImage_flag=1とされ、ステップS220において共焦点画像観察時に必要とされる各種機能が起動され、不要とされる各種機能が停止される。すなわち観察モードがカラー画像モードから共焦点画像モードへと切り替えられる。
【0049】
例えば、カラー画像表示領域A1がブルーバック画像(
図7(b)参照)とされるとともに、スキャンドライバ53の駆動が開始され、ファイバ駆動ユニット39による光ファイバ38の駆動が開始される(
図4参照)。また、カラー画像の撮影に用いられる光源部26のランプは消灯されるとともに、共焦点撮像系により走査された画像データがレコーダ59へ記録され、共焦点画像表示領域A2への共焦点画像の表示が開始される。これにより現画像切替処理は終了し、処理は割り込みタスク処理のループに戻る。
【0050】
一方、ステップS200において画像切替フラグImage_flag=1と判定されると、共焦点画像モードにおけるステップS222〜S234の画像切替処理が開始され、ステップS222においてカウンタCNT2が0に初期化される。カウンタCNT2は、通常のカラー画像への切替条件を満たした回数をカウントするもので、本実施形態では、以下に説明するようにカウンタCNT2の値が所定の閾値に達するとカラー画像への切替を実行する。なお、このときには共焦点画像観察が行われており、モニタ14には
図7(b)のように共焦点画像が表示されている。
【0051】
ステップS224では、共焦点画像の画像情報、すなわち1枚の共焦点画像に関するヒストグラムの値が取得され、ステップS226では、共焦点画像のヒストグラムにおいて、ゲイン値が高い側からの度数の累積が、全体の所定割合となるゲイン値が求められ、その値が所定の閾値以上であるか否かが判定される。求められた値が閾値以上であると判定される場合には、現画像切替処理を終了し、処理は割り込みタスク処理のループへ戻る。
【0052】
一方、ステップS226において、求められた値が閾値未満であると判定されるとステップS228においてカウンタCNT2の値がインクリメント(+1)される。すなわち、共焦点画像のゲイン値が全体として低い場合(内視鏡先端が共焦点画像を撮影するのに十分な程度に生体組織に近接していないと思われる状況)、カラー画像への切替を促すカウンタCNT2の値がインクリメントされる。
【0053】
次にステップS230においてカウンタCNT2の値が所定の閾値に達したか否かが判定される。カウンタCNT2の値が所定の閾値に達していない場合には、処理はステップS222に戻り、上述した処理が繰り返される。一方、ステップS230においてカウンタCNT2が所定の閾値に達している場合には、ステップS232において画像切替フラグImage_flag=0とされ、ステップS234においてカラー画像観察時に必要とされる各種機能が起動され、不要とされる各種機能が停止される。すなわち観察モードが共焦点画像モードからカラー画像モードへと切り替えられる。
【0054】
すなわち、共焦点画像表示領域A2がブルーバック画像(
図7(a)参照)とされるとともに、スキャンドライバ53の駆動が停止され、ファイバ駆動ユニット39による光ファイバ38の駆動が停止される(
図4参照)。また、カラー画像の撮影に用いられる光源部26のランプが点灯されるとともに、カラー画像表示領域A1へのカラー画像の表示が開始される。これにより現画像切替処理は終了し、処理は割り込みタスク処理のループへ戻る。なお、ファイバ駆動ユニット39の駆動が停止されることにより、カラー画像モードにおいて、光ファイバ38から照射されるレーザはレーザポインタ機能を果たす。
【0055】
以上のように、本実施形態によれば、カラー画像と共焦点画像を撮影する内視鏡のように、観察部位との距離により適切な撮像系が異なる内視鏡において、現在何れの撮像系を利用することが適切であるかを自動判定することができ、それにより適切なタイミングで画面を切替えることができる。また、観察に不適切な画像をマスクすることで、ユーザにより見やすい画像を提供することができる。
【0056】
なお、本実施形態において画像切替処理は共焦点画像用プロセッサ装置において実行されたが、カラー画像用プロセッサ装置で行ってもよく、その場合、1台のモニタがカラー画像用プロセッサ装置に接続されてもよい。また、本実施形態では1画面にカラー画像と共焦点画像を表示したが、カラー画像と共焦点画像の間で画面を切替える構成であってもよい。また、それぞれの画像を独立したモニタにそれぞれ表示する場合であっても、本処理は適用できる。また、本実施形態においては輝度信号およびR信号のヒストグラムを作成する輝度ヒストグラム回路30およびR信号ヒストグラム回路31はカラー画像用プロセッサ装置12に設けられているが、これらの回路を共焦点画像用プロセッサ装置13に設けてもよい。このようにすれば、カラー画像用プロセッサ装置12のシステムコントローラ32と共焦点画像用プロセッサ装置13のシステムコントローラ54との通信を省略することができる。
【0057】
本実施形態では観察に使用しない画像をブルーバックでマスクしたが、マスク処理はブルーバック以外であってもよい。更に本実施形態では、カラー画像と共焦点画像を例に説明を行ったが、それ以外の画像にも適用できる。また、本実施形態ではカラー画像から共焦点画像への切替の判断に共焦点撮像系から得られるヒストグラムも利用したが(ステップS212)、これを省くことも可能である。また、共焦点画像モードでは、撮像素子の駆動を停止してもよい。
【0058】
本実施形態では各撮像系で得られる画像信号に基づき、何れの撮像系が適切かを判断したが、例えば共焦点撮像系の対物レンズが設けられる突起部の周辺に複数の感圧センサを設け、その全ての感圧センサによる接触の有無を上記判断に取り入れてもよい(例えばカウンタをインクリメントさせるための条件の一つとして他の条件と直列的に採用)。また本実施形態では、ヒストグラムにおける値の高い側からの度数の累積が所定の割合となる値を求め、これに基づき判定を行ったが、低い側からの度数の累積を用いることもできる。また、平均値、中央値、最頻値など他の統計量を代わりに用いることも可能であり、更にこれらを組み合わせて利用することも可能である。