(58)【調査した分野】(Int.Cl.,DB名)
前記画像生成手段は、前記撮像素子から読み出される前記上側画像の画像信号をそのまま出力した後、続けて前記メモリに保持された前記下側画像の画像信号を出力することで前記1画面の画像信号を生成することを特徴とする請求項2に記載の撮像装置。
前記メモリは、前記上側画像を保持する領域と前記下側画像を保持する領域とを備える1画面分メモリを備え、前記第1画面の下側画像が前記1画面分メモリに書き込まれた後、前記第2画面の上側画像が前記1画面分メモリに保存され、前記画像生成手段は、前記1画面メモリから前記上側画像、前記下側画像の順で画素信号を読み出すことで前記1画面の画像信号を生成することを特徴とする請求項2に記載の撮像装置。
前記1画面分メモリを2画面分備え、同一ストロボ光により露光された1画面分の画像信号を、ストロボ光毎に第1の1画面分メモリと第2の1画面分メモリとに交互に書き込むことを特徴とする請求項4に記載の撮像装置。
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方近年では、CMOSイメージセンサの普及にともない、電子内視鏡においてもCMOSイメージセンサの利用が考えられている。しかし、小型のCMOSイメージセンサはローリングシャッタを用い、グローバルシャッタ機能を備えていない。ローリングシャッタを用いた動画撮影では、フレームの最上段の水平ラインから順番読み出しを行い、そのフレームの最下段の水平ラインの読み出しの終了と同時に、次のフレームの最上段の水平ラインの読み出しを開始する。
【0005】
このため、CMOSイメージセンサを用いたストロボ撮影では、ストロボ発光は常に1つのフレーム読み出し期間の途中で行われ、画面は、当該ストロボ発光よりも前に読み出される画面上側の領域と、当該ストロボ発光後に読み出される画面下側の領域に分離される。各水平ラインの露光期間は、前のフレームの当該ラインの画素信号の読み出し終了から、次のフレームの当該ラインの画素信号の読み出しが開始するまでの期間であるため、当該ストロボ発光により露光された画像は、当該ストロボ発光後に読み出される画面下側の領域のみであり、画面上側の領域は、無露光画像となるか、前のフレーム読み出し期間中のストロボ発光により露光された画像となる。
【0006】
このような問題を解決するために、前のフレームの最下段の水平ラインの読み出し終了から次のフレームの最上段の水平ラインの読み出し開始までの間に、ストロボ光による露光期間を設け、1つのストロボ発光が、前後のフレーム露光期間に跨ることを防止する構成も考えられる。しかし、ストロボ露光用の期間を設けるとフレームレートを下げる必要があり、ストロボ発光のタイミングも制限されてしまう。
【0007】
本発明は、ローリングシャッタを用いたストロボ撮影において、ストロボ露光用の期間を設けることなく、同一のストロボ発光により撮影される1画面分の画像を得ることを課題としている。
【課題を解決するための手段】
【0008】
本発明の撮像素子と、ローリングシャッタ方式により撮像素子から連続して画素信号の読み出しを行う撮像素子駆動手段と、ストロボ撮影を行うためストロボ光を照射するストロボ光源と、ストロボ光が照射されたときに撮像素子からの読み出しが行われている第1画面の下側の画素信号からなる下側画像と、第1画面に続く第2画面の上側の画像信号からなる上側画像とから1画面の画像信号を生成することで、同一のストロボ光により露光された1画面分の画像を生成する画像生成手段とを備え、下側画像は、ストロボ光が照射された後に読み出されるラインの画素信号から構成され、上側画像は、ストロボ光が照射される前に読み出されたラインの画素信号から構成されることを特徴としている。
【0009】
画像生成手段は、少なくとも下側画像を保持するメモリを備え、例えば、撮像素子から読み出される上側画像の画像信号をそのまま出力した後、続けてメモリに保持された下側画像の画像信号を出力することで1画面の画像信号を生成する。
【0010】
メモリは例えば上側画像を保持する領域と下側画像を保持する領域とを備える1画面分メモリを備え、第1画面の下側画像が1画面分メモリに書き込まれた後、第2画面の上側画像が1画面分メモリに保存され、画像生成手段は、1画面メモリから上側画像、下側画像の順で画素信号を読み出すことで1画面の画像信号を生成する。またメモリは、1画面分メモリを2画面分備え、同一ストロボ光により露光された1画面分の画像信号を、ストロボ光毎に第1の1画面分メモリと第2の1画面分メモリとに交互に書き込むことが好ましい。
【0011】
本発明の電子内視鏡装置は、上記撮像装置を備えることを特徴としている。
【発明の効果】
【0012】
本発明によれば、ローリングシャッタを用いたストロボ撮影において、ストロボ露光用の期間を設けることなく、同一のストロボ発光により撮影される1画面分の画像を得ることができる。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態を、図面を参照して説明する。
図1は、本発明の一実施形態である撮像装置の構成を示すブロック図である。
【0015】
本実施形態の撮像装置は、例えば喉頭ストロボスコピーを行うための電子内視鏡システム10であり、電子内視鏡システム10は、電子スコープ(電子内視鏡)11と、電子スコープ11が接続されるプロセッサ装置12と、プロセッサ装置12から出力される画像を表示するモニタ13とから主に構成される。
【0016】
電子スコープ11には、撮像素子として例えばCMOSイメージセンサ14が搭載される。CMOSイメージセンサ14は、例えばプロセッサ装置12に設けられたCMOSドライバ15からの駆動信号に基づき制御され、ローリングシャッタ方式による動画像の撮影を行う。本実施形態において電子スコープ11は、光源として例えばLED16を備え、LED16の発光は、プロセッサ装置12内に設けられたLEDドライバ17により制御される。すなわち、電子スコープ11では、照明レンズ16Aを介してLED16から照射される光により患者の声帯(被写体)を照明し、撮像レンズ14Aを介してその画像をCMOSイメージセンサ14で撮影する。
【0017】
声帯のストロボ撮影を行う場合、LED16は従来周知のように患者が発声する音声ピッチ(声帯の振動周期)に合わせて間欠的に点灯される。すなわち、患者が発する声をマイクロホン18で集音し、これをプロセッサ装置12の音声処理回路19でピッチ検出に適した音声波形とし、音声周波数検出回路20において同波形からピッチを検出する。LED発光タイミング制御回路21は、検出された音声ピッチに合わせてLEDドライバ17および後述するフレーム取込タイミング発生回路22へストロボ発光のタイミングを指示するタイミグ信号を出力する。
【0018】
なお、LED発光タイミング制御回路21は、タイミングパルス発生回路23のクロックパルスに基づき制御され、その制御方法は、システムコントローラ24からの指示に基づき選択される。例えば、振動する声帯の静止画の位相の調整や、スローモーション画像の速さの調整、あるいは通常画像撮影のためにLED16を常時点灯させるモードがあってもよい。また、これらの選択は、例えばプロセッサ装置12の正面に設けられたパネルスイッチ群25のスイッチ操作によりシステムコントローラ24に指示される。
【0019】
一方、CMOSイメージセンサ14の画像信号は、CMOSドライバ15からの駆動信号に基づき、ローリングシャッタ方式で、順次水平ライン毎にCMOSイメージセンサ14から読み出され、フレームデータ取込回路26へと出力される。フレームデータ取込回路26は、フレーム取込タイミング発生回路22からの信号に基づき、入力される画像信号をラインに応じて画像信号処理部27または画像メモリ28の一方に択一的に出力する。
【0020】
画像信号処理部27は、入力される画像信号に対して従来周知の所定の画像処理を施し(例えば輪郭強調処理、色補正、ペデステルレベル調整、ガンマ補正など)、所定形式の映像信号に変換後、モニタ13等の外部装置へ出力する。画像メモリ28は、フレームデータ取込回路26から入力された画像信号を一時的に保持する。また、画像メモリ28に保持された画像信号は、フレーム取込タイミング発生回路22からの信号に基づき読み出され、画像信号処理部27へと出力される。すなわち、画像メモリ28からの読み出された画像信号に対しても従来周知の所定の画像処理が施され例えば画質が補正され、所定の形式の映像信号に変換後、モニタ13等の外部装置へ出力される。
【0021】
なお、フレーム取込タイミング発生回路22は、CMOSドライバ15の駆動信号からCMOSイメージセンサ14からの各水平ラインの読み出しのタイミングを把握するとともに、LED発光タイミング制御回路21からのタイミング信号に基づきストロボ発光のタイミングを把握し、フレームデータ取込回路26からの画像信号の出力先の切替タイミングおよび画像メモリ28からの読み出しのタイミングを決定する。そして、フレームデータ取込回路26および画像メモリ28へは、同タイミングに基づき信号がそれぞれ出力される。
【0022】
図2は、本実施形態のローリングシャッタを用いたCMOSイメージセンサ14からの画像信号の読み出しタイミングと、ストロボ発光のタイミングの関係を示すタイミングチャートであり、横軸は時間に対応する。
図2では、例示的に最上段の1水平ラインがオプティカルブラック(OB)に用いられ、その下の10行分の水平ラインが画像の検出に用いられる。A0〜A10、B0〜B10、C0〜C10は、それぞれフレームA、B、CのOBライン、および各フレームの画像の第1〜第10ライン(行)の読み出し期間を示す。
【0023】
すなわち、フレームAの読み出し期間TAは、OBラインの読み出し期間A0が開始から、第10ラインの読み出し期間A10が終了までの期間となり、フレームB、Cの読み出し期間TB、TCは、それぞれOBラインの読み出し期間B0、C0の開始から、第10ラインの読み出し期間B10、C10が終了までの期間となる。
【0024】
図2に示されるように、各水平ラインの露光期間(電荷蓄積期間)は、前のフレームのその水平ラインの読み出し終了から、次のフレームのその水平ラインの読み出し開始までの期間である。例えば、フレームBのOBラインの露光期間は、読み出し期間A0の終了から読み出し期間B0の開始までの期間であり、フレームBの第1ラインの露光期間は、読み出し期間A1の終了から読み出し期間B1の開始までの期間である。
【0025】
したがって、フレームB全体の露光期間EBは、最上段であるOBラインの露光期間が始まってから最下段である第10ラインの露光期間が終了するまでの期間となり、図示されるように、フレームAのOBラインの読み出し期間A0の終了から、フレームBの第10ラインの読み出し期間B10が開始するまでの期間となる。同様に、フレームC全体の露光期間ECは、フレームBのOBラインの読み出し期間B0の終了から、フレームCの第10ラインの読み出し期間C10が開始するまでの期間となる。
【0026】
一方、フレームAの第10ラインの読み出し期間A10は、フレームBのOBラインの読み出し期間B0の直前に終了し、フレームCの露光期間ECはフレームBのOBラインの読み出し期間B0の直後に開始される。すなわち、フレームBの露光期間EBは、その前半がフレームAの露光期間EAと、その後半がフレームCの露光期間ECと重複する。そのためフレームAでの露光を主とするストロボ発光SAであっても、OBライン、第1ラインに関してはフレームBの露光期間EBに含まれ、フレームBでの露光を主とするストロボ発光SBであっても、OBライン、第1、第2ラインに関してはフレームCの露光期間ECに含まれてしまう。したがって、各フレーム期間に撮像素子から読み出される1フレームの画像は、ストロボ発光よりも前に読み出される上側の領域と、そのストロボ発光よりも後に読み出される下側の領域で露光のタイミングが異なることとなる。なお、前のフレームにおいてストロボ発光が行われていない場合は、上側領域は無露光状態となる。
【0027】
図3は、
図2のフレームBおよびフレームCでそれぞれ得られる1画面分の画像と、各フレームにおける各ラインがどのタイミングのストロボ発光により露光されたかを示す図であり、左側がフレームBの画像、右側がフレームCの画像に対応する。
【0028】
図3において、フレームBの画像のうちOBライン、第1ライン、第2ラインは、
図2のストロボ発光SAにより露光され、第4ライン〜第10ラインはストロボ発光SBにより露光されている。また、フレームCの画像のうちOBライン、第1〜第3ラインはストロボ発光SBにより露光され、第5ライン〜第10ラインはストロボ発光SCにより露光されている。なお、フレームBの第3ライン、フレームCの第4ラインは、読み出し期間B3、C4の途中にストロボ発光SB、SCがそれぞれ行われたラインであり、適正な露光はなされていない。
【0029】
したがって、ストロボ撮影時にCMOSイメージセンサ14から、ローリングシャッタを用いて通常に画像信号を読み出し動画像を作成すると、1つの画面(駒)は、上下で異なるタイミングで露光された画像で構成され適正な映像が得られない。
【0030】
しかし、
図3に示されるように、フレームCの第1〜第3ラインと、フレームBの第4ライン〜第10ラインの画像は、同じストロボ発光SBにより露光されたものである。そのため本実施形態では、フレームCの第1〜第3ラインと、フレームBの第4ライン〜第10ラインの画像を用いて1画面分の画像を再構成する。
【0031】
次に
図1〜
図3を参照して、ローリングシャッタを用いたストロボ撮影における本実施形態の画像信号処理について、フレームB、Cの画像信号を用いて1画面分の画像を再構成する場合を例に説明する。
【0032】
CMOSイメージセンサ14からの画素信号の読み出しは、ローリングシャッタ方式にしたがって、各フレームにおける各ラインの画素信号が
図2に示される一定のタイミングで読み出される。読み出された画素信号は、フレームデータ取込回路26に入力され、フレームデータ取込回路26は、フレーム読み出し期間の開始から、ストロボ発光が行われるまで、入力された各ラインの画素信号(上側画像の画像データ)を画像信号処理部27へ直接出力する。ストロボ発光が行われると、その後入力される各ラインの画素信号の出力先は、画像メモリ28へ切り替えられ、次のフレームの読み出しが開始されるまで、画像メモリ28にはストロボ発光後の画素信号(下側画像の画像データ)が一時的に保持される。また画像メモリ28への画素信号の保存が開始されると同時に、画像メモリ28からは、前のフレーム読み出し期間に保存された画像信号(前のフレームの下側画像の画像データ)が順次読み出され、画像信号処理部27へと出力される。
【0033】
最下段のラインの画素信号の画像メモリ28からの読み出しが完了すると、フレームデータ取込回路26からの出力は、再び画像信号処理部27へと切り替えられ、画像メモリ28からの画素信号の読み出しも停止される。そして、次のフレームの読み出しが開始されると、画像信号は次のストロボ発光があるまで、フレームデータ取込回路26から直接画像信号処理部27へと出力され、同様の処理が繰り返される。
【0034】
例えば、フレーム取込タイミング発生回路22は、CMOSドライバ15からの同期信号に基づき、フレームBの読み出し期間TBの開始を検知すると、フレームデータ取込回路26へ出力切替信号を出力し、画像信号の出力先を画像信号処理部27へ切り替える。すなわち画像信号処理部27へは、フレームBのOBライン、第1ライン、…、と、順次各ラインの画素信号が出力される。
【0035】
次に第3ラインの読み取り期間B3にストロボ発光SBが行われ、フレーム取込タイミング発生回路22が、このストロボ発光SBをLED発光タイミング制御回路21からのタイミング信号から検知すると、フレーム取込タイミング発生回路22は、CMOSドライバ15からの同期信号に基づき、次のラインである第4ラインの読み出し期間の開始に合わせ、出力切替信号をフレームデータ取込回路26へ出力し、画像信号の出力先を画像メモリ28へと切り替え、第4ライン以降の画像信号を画像メモリ28に一時的に保存する。またこのときフレーム取込タイミング発生回路22は、読み出し開始信号を画像メモリ28へ同時に出力し、画像メモリ28からは、前のフレームの読み出し期間に保存されたフレームAの第3ライン以降の画素信号(図示せず)が画像信号処理部27へと出力される。
【0036】
CMOSドライバ15からの同期信号に基づき、フレーム取込タイミング発生回路22がフレームBの最後のラインである第10ラインの読み出し期間B10の終了を検知すると、再び出力切替信号がフレームデータ取込回路26へ出力されるとともに、読み出し停止信号が画像メモリ28へと出力される。すなわち、画像メモリ28から画像信号処理部27への出力が停止されるとともに、フレームデータ取込回路26からは、フレームCのOBライン、第1〜第3ラインの画像信号が直接画像信号処理部27へ出力される。
【0037】
フレームCの第4ラインにおいてストロボ発光SCが行われ、フレーム取込タイミング発生回路22が、この発光をLED発光タイミング制御回路21からのタイミング信号から検知すると、フレーム取込タイミング発生回路22は、CMOSドライバ15からの同期信号に基づき、次のラインである第5ラインの読み出し期間の開始に合わせ、出力切替信号をフレームデータ取込回路26へ出力し、画像信号の出力先を画像メモリ28へと切り替える。すなわち、画像メモリ28には第5ライン〜第10ラインの画像信号が一時的に保存される。またこのときフレーム取込タイミング発生回路22は、読み出し開始信号を画像メモリ28へ出力し、画像メモリ28からは、フレームBの第4ライン〜第10ラインの画像信号が画像信号処理部27へと出力される。
【0038】
図2、
図3の例では、CMOSイメージセンサ14から現在読み出されているフレームCのOBライン〜第3ライン(上側画像)と、1つ前のフレームBの読み出し期間において、画像メモリ28に一時的に保持されたフレームBの第4〜第10ライン(下側画像)から画像を構成することで、同じストロボ発光SBで撮影された1画面分の画像を得ることができる。
【0039】
以上のように本実施形態によれば、ローリングシャッタを用いたストロボ撮影において、ストロボ露光用の期間を設けることなく、同一のストロボ発光により撮影される1画面分の画像を簡単に得ることができる。また、本実施形態では、既に読み出しが行われたメモリ領域に順次上書きを行えば、略1フレーム分のメモリで対応でき、メモリ容量を必要最小限に抑えることができる。また、画像表示のタイムラグも最小限に抑えることができる。
【0040】
次に、
図2、
図4を参照して本実施形態の変形例について説明する。変形例は、画像メモリ28に2フレーム分(2画面分)のメモリを用意したものである。すなわち、変形例では、画像メモリ28が、第1フレームメモリ(第1画面メモリ)と、第2フレームメモリ(第2画面メモリ)を備えるとともに、
図1のフレームデータ取込回路26から出力される画像信号は、常に画像メモリ28を介して画像信号処理部27へ出力される。画像メモリ28の各フレームメモリには、それぞれ隣接する一対のフレーム(露光期間に同じストロボ光を含むフレーム)の後のフレームの上側画像と、前のフレームの下側画像から構成される1フレーム分の画素信号が順次保持される。
【0041】
すなわち、CMOSイメージセンサ14から漸次読み出される画素信号は、フレームデータ取込回路26により択一的に選択される第1、第2フレームメモリの各ラインに対応する領域に逐次上書き保存される。CMOSイメージセンサ14の画面最上段のラインから読み出される画素信号は、一方のフレームメモリの対応ラインに順次書き込まれ、直前に照射されたストロボ光が発光されたときに読み出されていたラインの書き込みが終了すると、画像データの書き込み先は、他方のフレームメモリへと切り替えられる。ラインが最下段へ到ると、次にCMOSイメージセンサ14の最上段のラインから順次読み出される画素信号は、順次それまで書き込みが行われていたフレームメモリの最上段のラインに対応する領域から順次書き込まれ、直前に照射されたストロボ光が発光されたときに読み出されていたラインへの書き込みが終了すると、書き込み先が前のフレームメモリへ切り替えられる。そして、上記動作が第1、第2フレーム間で繰り返される。
【0042】
例えば、
図4では、
図2におけるフレームBの第4ライン〜第10ラインの画素信号(下側画像)が第1フレームメモリにおける第4ライン〜第10に対応する領域に順次書き込まれ、その後、フレームCのOBラインから、ストロボ発光SBが照射された際に読み出しが行われていた第3ラインまでの画素信号(上側画像)が、第1フレームメモリにおけるOBライン〜第3ラインに対応する領域に順次書き込まれる。その後フレームCの第5ライン〜第10ラインの画素信号(下側画像)が第2フレームメモリにおける第5ライン〜第10ラインに対応する領域に順次書き込まれ、フレームDのOBラインから、ストロボ発光SCとその読み出し期間が重なる第4ラインまでの画像信号(上側画像)が、第2フレームメモリにおけるOBライン〜第4ラインに対応する領域に順次書き込まれる。なお第1、第2フレームメモリからの読み出しのタイミングは、書き込みに対して1ライン遅れから1画面分の遅れまでのタイミングで設定される。
【0043】
以上の構成により変形例においても、ローリングシャッタを用いたストロボ撮影においてストロボ露光用の期間を設けることなく、第1、第2フレームメモリにそれぞれ同じストロボ光で撮影された画像のみから構成される1画面分の画像データを記録できる。
【0044】
なお、本実施形態では、各フレーム読み出し期間に1回のストロボ光が照射されているが、ストロボ光が照射されないフレーム読み出し期間が存在する場合にも本願発明を適用することができる。また、本発明は、インターレス方式の読み出しにも適用でき、ストロボ光源もLEDに限定されるものではない。例えば、独立したストロボ光源装置を用いる構成でもよい。