知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024100403
(43)【公開日】2024-07-26
(54)【発明の名称】撮像システム、電子内視鏡システム
(51)【国際特許分類】
A61B 1/045 20060101AFI20240719BHJP
【ＦＩ】
A61B1/045 632
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023004384
(22)【出願日】2023-01-16
(71)【出願人】
【識別番号】000113263
【氏名又は名称】ＨＯＹＡ株式会社
(74)【代理人】
【識別番号】110000165
【氏名又は名称】弁理士法人グローバル・アイピー東京
(72)【発明者】
【氏名】林 佳宏
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161CC06
4C161LL02
4C161NN01
4C161PP12
4C161QQ09
4C161RR03
4C161RR26
4C161SS05
4C161WW04
(57)【要約】
【課題】被写体に閃光を照射させて被写体の撮像をローリングシャッタ方式で行う場合に、閃光照射期間の長さの設定の自由度を上げる。
【解決手段】本発明の一態様は、被写体の撮像をローリングシャッタ方式で行うように構成されたＣＭＯＳイメージセンサ１４と、被写体をストロボ撮影するために閃光を発光する光源装置２８と、を備えた電子内視鏡システム１である。このシステムでは、光源装置２８は、ある閃光の閃光終了時刻から次の閃光の閃光開始時刻までの期間が、少なくとも１フレーム期間に亘って閃光の発光を禁止する閃光禁止期間より長くなるようにして、閃光を発光する。電子内視鏡システム１は、光源装置２８による閃光の発光タイミングに基づいて、ＣＭＯＳイメージセンサ１４によって得られたフレーム単位の撮像画像を処理して表示用画像を生成する。
【選択図】図１
【解決手段】本発明の一態様は、被写体の撮像をローリングシャッタ方式で行うように構成されたＣＭＯＳイメージセンサ１４と、被写体をストロボ撮影するために閃光を発光する光源装置２８と、を備えた電子内視鏡システム１である。このシステムでは、光源装置２８は、ある閃光の閃光終了時刻から次の閃光の閃光開始時刻までの期間が、少なくとも１フレーム期間に亘って閃光の発光を禁止する閃光禁止期間より長くなるようにして、閃光を発光する。電子内視鏡システム１は、光源装置２８による閃光の発光タイミングに基づいて、ＣＭＯＳイメージセンサ１４によって得られたフレーム単位の撮像画像を処理して表示用画像を生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
被写体の撮像をローリングシャッタ方式で行うように構成された撮像素子と、
前記被写体をストロボ撮影するために閃光を発光する光源部であって、ある閃光の閃光終了時刻から次の閃光の閃光開始時刻までの期間が、少なくとも１フレーム期間に亘って閃光の発光を禁止する閃光禁止期間より長くなるようにして、前記閃光を発光する光源部と、
前記光源部による閃光の発光タイミングに基づいて、前記撮像素子によって得られたフレーム単位の撮像画像を処理して表示用画像を生成する画像処理部と、
を備え、
前記画像処理部は、
現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれかのラインにおいて閃光が発光された場合、
現在フレームの前記表示用画像のうち、１フレーム前の閃光開始ラインより上側のラインに相当する上側画像を、現在フレームの対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、１フレーム前の閃光終了ラインより下側のラインに相当する下側画像を、１フレーム前の対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、前記閃光開始ラインから前記閃光終了ラインまでの境界画像を、現在フレームの対応するラインにより得られた撮像画像と、１フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする、
ことによって、現在フレームの前記表示用画像を生成し、
現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれのラインにおいても閃光が発光されなかった場合、
現在フレームの前記表示用画像のうち、２フレーム前の閃光開始ラインより上側のラインに相当する上側画像を、１フレーム前の対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、２フレーム前の閃光終了ラインより下側のラインに相当する下側画像を、２フレーム前の対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、前記閃光開始ラインから前記閃光終了ラインまでの境界画像を、１フレーム前の対応するラインにより得られた撮像画像と、２フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする、
ことによって、現在フレームの前記表示用画像を生成する、
撮像システム。
前記被写体をストロボ撮影するために閃光を発光する光源部であって、ある閃光の閃光終了時刻から次の閃光の閃光開始時刻までの期間が、少なくとも１フレーム期間に亘って閃光の発光を禁止する閃光禁止期間より長くなるようにして、前記閃光を発光する光源部と、
前記光源部による閃光の発光タイミングに基づいて、前記撮像素子によって得られたフレーム単位の撮像画像を処理して表示用画像を生成する画像処理部と、
を備え、
前記画像処理部は、
現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれかのラインにおいて閃光が発光された場合、
現在フレームの前記表示用画像のうち、１フレーム前の閃光開始ラインより上側のラインに相当する上側画像を、現在フレームの対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、１フレーム前の閃光終了ラインより下側のラインに相当する下側画像を、１フレーム前の対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、前記閃光開始ラインから前記閃光終了ラインまでの境界画像を、現在フレームの対応するラインにより得られた撮像画像と、１フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする、
ことによって、現在フレームの前記表示用画像を生成し、
現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれのラインにおいても閃光が発光されなかった場合、
現在フレームの前記表示用画像のうち、２フレーム前の閃光開始ラインより上側のラインに相当する上側画像を、１フレーム前の対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、２フレーム前の閃光終了ラインより下側のラインに相当する下側画像を、２フレーム前の対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、前記閃光開始ラインから前記閃光終了ラインまでの境界画像を、１フレーム前の対応するラインにより得られた撮像画像と、２フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする、
ことによって、現在フレームの前記表示用画像を生成する、
撮像システム。
【請求項2】
前記画像処理部は、現在フレームの前記表示用画像の各画素の画素値を増幅する増幅処理部を有し、
前記増幅処理部は、前記閃光の時刻の経過に応じた発光強度のプロファイルと前記撮像素子の読み出し期間に応じて、現在フレームの前記表示用画像のうち前記境界画像の各ラインの画素に対して適用するゲインを、前記境界画像以外の各ラインの画素に適用するゲインよりも大きくする、
請求項１に記載された撮像システム。
前記増幅処理部は、前記閃光の時刻の経過に応じた発光強度のプロファイルと前記撮像素子の読み出し期間に応じて、現在フレームの前記表示用画像のうち前記境界画像の各ラインの画素に対して適用するゲインを、前記境界画像以外の各ラインの画素に適用するゲインよりも大きくする、
請求項１に記載された撮像システム。
【請求項3】
前記画像処理部は、現在フレームの前記表示用画像を対象として、前記境界画像と前記上側画像が隣接する隣接位置から上下の所定数のライン、及び、前記境界画像と前記下側画像が隣接する隣接位置から上下の所定数のラインに含まれる画素の画素値に対して、空間フィルタを施すフィルタ処理部を有する、
請求項１又は２に記載された撮像システム。
請求項１又は２に記載された撮像システム。
【請求項4】
前記画像処理部は、現在フレームの前記表示用画像を対象として、前記境界画像のライン方向の中央位置から上下の所定数のラインに含まれる画素の画素値に対して、空間フィルタを施すフィルタ処理部を有する、
請求項１又は２に記載された撮像システム。
請求項１又は２に記載された撮像システム。
【請求項5】
前記フィルタ処理部は、前記所定数のラインの各ラインに含まれる画素に適用される空間フィルタのフィルタ係数を、前記閃光の時刻の経過に応じた発光強度のプロファイルに応じて設定する、
請求項３に記載された撮像システム。
請求項３に記載された撮像システム。
【請求項6】
前記画像処理部は、現在フレームの前記表示用画像のうち前記境界画像の各ライン、又は、前記境界画像の各ラインに加え、前記境界画像と前記上側画像が隣接する隣接位置より上の所定数のラインと前記境界画像と前記下側画像が隣接する隣接位置より下の所定数のラインとを含む複数のラインの各ラインを対象ラインとして、現在フレームと２フレーム前又は３フレーム前の過去フレームとの間で補間処理を行う補間処理部を有し、
前記補間処理部は、
現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれかのラインにおいて閃光が発光された場合、現在フレームの前記表示用画像のうち各対象ラインに含まれる画素の画素値を、現在フレームの前記表示用画像の対応する画素の画素値と、２フレーム前の撮像画像の対応する画素の画素値と、を加重平均して算出し、
現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれのラインにおいても閃光が発光されなかった場合、現在フレームの前記表示用画像のうち各対象ラインに含まれる画素の画素値を、現在フレームの前記表示用画像の対応する画素の画素値と、３フレーム前の撮像画像の対応する画素の画素値と、を加重平均して算出する、
請求項１又は２に記載された撮像システム。
前記補間処理部は、
現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれかのラインにおいて閃光が発光された場合、現在フレームの前記表示用画像のうち各対象ラインに含まれる画素の画素値を、現在フレームの前記表示用画像の対応する画素の画素値と、２フレーム前の撮像画像の対応する画素の画素値と、を加重平均して算出し、
現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれのラインにおいても閃光が発光されなかった場合、現在フレームの前記表示用画像のうち各対象ラインに含まれる画素の画素値を、現在フレームの前記表示用画像の対応する画素の画素値と、３フレーム前の撮像画像の対応する画素の画素値と、を加重平均して算出する、
請求項１又は２に記載された撮像システム。
【請求項7】
前記補間処理部は、前記境界画像のライン方向の中央において過去フレームの撮像画像の対応する画素の画素値に対する重みが最大となり、前記中央から上下に離れるにつれて過去フレームの撮像画像の対応する画素の画素値に対する重みが低下するように、前記加重平均の重みを設定する、
請求項６に記載された撮像システム。
請求項６に記載された撮像システム。
【請求項8】
前記補間処理部は、前記境界画像と前記上側画像が隣接する隣接位置にあるライン、及び／又は、前記境界画像と前記下側画像が隣接する隣接位置にあるラインに含まれる画素の画素値に対する重みが最大となり、前記隣接位置から上下に離れるにつれて過去フレームの撮像画像の対応する画素の画素値に対する重みが低下するように、前記加重平均の重みを設定する、
請求項６に記載された撮像システム。
請求項６に記載された撮像システム。
【請求項9】
前記補間処理部は、前記対象ラインに含まれる画素に適用される前記加重平均の重みを、前記閃光の時刻の経過に応じた発光強度のプロファイルに応じて設定する、
請求項６に記載された撮像システム。
請求項６に記載された撮像システム。
【請求項10】
マイクロフォンと、
前記マイクロフォンから取得する音声信号から音声周波数を検出する音声検出部と、
請求項１から９のいずれか一項に記載された撮像システムと、を備え、
前記光源部は、前記音声検出部によって検出された音声周波数に同期した周期で前記閃光を発光させる、
電子内視鏡システム。
前記マイクロフォンから取得する音声信号から音声周波数を検出する音声検出部と、
請求項１から９のいずれか一項に記載された撮像システムと、を備え、
前記光源部は、前記音声検出部によって検出された音声周波数に同期した周期で前記閃光を発光させる、
電子内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ローリングシャッタ方式の撮像素子を用いて行われるストロボスコピーに関する。
【背景技術】
【0002】
従来、喉頭ストロボスコピーを行うための電子内視鏡システムが知られている。
例えば特許文献１に記載された電子内視鏡システムでは、ＣＭＯＳイメージセンサからローリングシャッタ方式により連続的に画素信号を読み出し、被験者の発声に合わせてＬＥＤをストロボ発光させるように構成されている。ストロボ光（閃光）が照射されたときにＣＭＯＳイメージセンサからの読み出しが行われているフレームのストロボ光照射後に読み出されるラインの画素信号を下側画像としてフレームバッファに保持し、次のフレームにおいて、前のフレームの下側画像よりも上側のラインの画素信号を画像信号処理部へ直接出力した後、フレームバッファに保持される前のフレームの下側画像を画像信号処理部へ出力する。これにより、ローリングシャッタを用いたストロボ撮影において、ストロボ露光用の期間を設けることなく、同一のストロボ発光により撮影される１画面分の画像を得る、とされている。
例えば特許文献１に記載された電子内視鏡システムでは、ＣＭＯＳイメージセンサからローリングシャッタ方式により連続的に画素信号を読み出し、被験者の発声に合わせてＬＥＤをストロボ発光させるように構成されている。ストロボ光（閃光）が照射されたときにＣＭＯＳイメージセンサからの読み出しが行われているフレームのストロボ光照射後に読み出されるラインの画素信号を下側画像としてフレームバッファに保持し、次のフレームにおいて、前のフレームの下側画像よりも上側のラインの画素信号を画像信号処理部へ直接出力した後、フレームバッファに保持される前のフレームの下側画像を画像信号処理部へ出力する。これにより、ローリングシャッタを用いたストロボ撮影において、ストロボ露光用の期間を設けることなく、同一のストロボ発光により撮影される１画面分の画像を得る、とされている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６１９６１０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上記電子内視鏡システムでは、ストロボ光（閃光）を照射させる期間（閃光照射期間）がＣＭＯＳイメージセンサの１ラインの読み出し未満である必要があるという問題がある。閃光照射期間がＣＭＯＳイメージセンサの１ラインの読み出し未満の短期間である場合、声帯の観察に十分な明るさを得るためにＬＥＤ等の光源の光強度を増加させなければならず、光源の放熱対策を強化する必要が生じたり、光源の耐久性が劣化したりする等の悪影響が発生する。また、光源の強度を増加させずにＣＭＯＳイメージセンサのゲインを上げるようにしたならばＳ／Ｎ比の低下を招く。
【0005】
そこで、本発明は、被写体に閃光を照射させて被写体の撮像をローリングシャッタ方式で行う場合に、閃光照射期間の長さの設定の自由度を上げることを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様は、
被写体の撮像をローリングシャッタ方式で行うように構成された撮像素子と、
前記被写体をストロボ撮影するために閃光を発光する光源部であって、ある閃光の閃光終了時刻から次の閃光の閃光開始時刻までの期間が、少なくとも１フレーム期間に亘って閃光の発光を禁止する閃光禁止期間より長くなるようにして、前記閃光を発光する光源部と、
前記光源部による閃光の発光タイミングに基づいて、前記撮像素子によって得られたフレーム単位の撮像画像を処理して表示用画像を生成する画像処理部と、
を備えた、撮像システムである。
前記画像処理部は、現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれかのラインにおいて閃光が発光された場合、
現在フレームの前記表示用画像のうち、１フレーム前の閃光開始ラインより上側のラインに相当する上側画像を、現在フレームの対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、１フレーム前の閃光終了ラインより下側のラインに相当する下側画像を、１フレーム前の対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、前記閃光開始ラインから前記閃光終了ラインまでの境界画像を、現在フレームの対応するラインにより得られた撮像画像と、１フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする、ことによって、現在フレームの前記表示用画像を生成する。
前記画像処理部は、現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれのラインにおいても閃光が発光されなかった場合、
現在フレームの前記表示用画像のうち、２フレーム前の閃光開始ラインより上側のラインに相当する上側画像を、１フレーム前の対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、２フレーム前の閃光終了ラインより下側のラインに相当する下側画像を、２フレーム前の対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、前記閃光開始ラインから前記閃光終了ラインまでの境界画像を、１フレーム前の対応するラインにより得られた撮像画像と、２フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする、ことによって、現在フレームの前記表示用画像を生成する。
被写体の撮像をローリングシャッタ方式で行うように構成された撮像素子と、
前記被写体をストロボ撮影するために閃光を発光する光源部であって、ある閃光の閃光終了時刻から次の閃光の閃光開始時刻までの期間が、少なくとも１フレーム期間に亘って閃光の発光を禁止する閃光禁止期間より長くなるようにして、前記閃光を発光する光源部と、
前記光源部による閃光の発光タイミングに基づいて、前記撮像素子によって得られたフレーム単位の撮像画像を処理して表示用画像を生成する画像処理部と、
を備えた、撮像システムである。
前記画像処理部は、現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれかのラインにおいて閃光が発光された場合、
現在フレームの前記表示用画像のうち、１フレーム前の閃光開始ラインより上側のラインに相当する上側画像を、現在フレームの対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、１フレーム前の閃光終了ラインより下側のラインに相当する下側画像を、１フレーム前の対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、前記閃光開始ラインから前記閃光終了ラインまでの境界画像を、現在フレームの対応するラインにより得られた撮像画像と、１フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする、ことによって、現在フレームの前記表示用画像を生成する。
前記画像処理部は、現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれのラインにおいても閃光が発光されなかった場合、
現在フレームの前記表示用画像のうち、２フレーム前の閃光開始ラインより上側のラインに相当する上側画像を、１フレーム前の対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、２フレーム前の閃光終了ラインより下側のラインに相当する下側画像を、２フレーム前の対応するラインにより得られた撮像画像とし、
現在フレームの前記表示用画像のうち、前記閃光開始ラインから前記閃光終了ラインまでの境界画像を、１フレーム前の対応するラインにより得られた撮像画像と、２フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする、ことによって、現在フレームの前記表示用画像を生成する。
【0007】
前記撮像システムは、前記画像処理部は、現在フレームの前記表示用画像の各画素の画素値を増幅する増幅処理部を有し、
前記増幅処理部は、前記閃光の時刻の経過に応じた発光強度のプロファイルと前記撮像素子の読み出し期間に応じて、現在フレームの前記表示用画像のうち前記境界画像の各ラインの画素に対して適用するゲインを、前記境界画像以外の各ラインの画素に適用するゲインよりも大きくしてもよい。
前記増幅処理部は、前記閃光の時刻の経過に応じた発光強度のプロファイルと前記撮像素子の読み出し期間に応じて、現在フレームの前記表示用画像のうち前記境界画像の各ラインの画素に対して適用するゲインを、前記境界画像以外の各ラインの画素に適用するゲインよりも大きくしてもよい。
【0008】
前記画像処理部は、現在フレームの前記表示用画像を対象として、前記境界画像と前記上側画像が隣接する隣接位置から上下の所定数のライン、及び、前記境界画像と前記下側画像が隣接する隣接位置から上下の所定数のラインに含まれる画素の画素値に対して、空間フィルタを施すフィルタ処理部を有してもよい。
【0009】
前記画像処理部は、現在フレームの前記表示用画像を対象として、前記境界画像のライン方向の中央位置から上下の所定数のラインに含まれる画素の画素値に対して、空間フィルタを施すフィルタ処理部を有してもよい。
【0010】
前記フィルタ処理部は、前記所定数のラインの各ラインに含まれる画素に適用される空間フィルタのフィルタ係数を、前記閃光の時刻の経過に応じた発光強度のプロファイルに応じて設定してもよい。
【0011】
前記画像処理部は、現在フレームの前記表示用画像のうち前記境界画像の各ライン、又は、前記境界画像の各ラインに加え、前記境界画像と前記上側画像が隣接する隣接位置より上の所定数のラインと前記境界画像と前記下側画像が隣接する隣接位置より下の所定数のラインとを含む複数のラインの各ラインを対象ラインとして、現在フレームと２フレーム前又は３フレーム前の過去フレームとの間で補間処理を行う補間処理部を有してもよい。
その場合、前記補間処理部は、
現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれかのラインにおいて閃光が発光された場合、現在フレームの前記表示用画像のうち各対象ラインに含まれる画素の画素値を、現在フレームの前記表示用画像の対応する画素の画素値と、２フレーム前の撮像画像の対応する画素の画素値と、を加重平均して算出し、
現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれのラインにおいても閃光が発光されなかった場合、現在フレームの前記表示用画像のうち各対象ラインに含まれる画素の画素値を、現在フレームの前記表示用画像の対応する画素の画素値と、３フレーム前の撮像画像の対応する画素の画素値と、を加重平均して算出する。
その場合、前記補間処理部は、
現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれかのラインにおいて閃光が発光された場合、現在フレームの前記表示用画像のうち各対象ラインに含まれる画素の画素値を、現在フレームの前記表示用画像の対応する画素の画素値と、２フレーム前の撮像画像の対応する画素の画素値と、を加重平均して算出し、
現在フレームより１フレーム前の露光開始時刻に前記撮像素子のいずれのラインにおいても閃光が発光されなかった場合、現在フレームの前記表示用画像のうち各対象ラインに含まれる画素の画素値を、現在フレームの前記表示用画像の対応する画素の画素値と、３フレーム前の撮像画像の対応する画素の画素値と、を加重平均して算出する。
【0012】
前記補間処理部は、前記境界画像のライン方向の中央において過去フレームの撮像画像の対応する画素の画素値に対する重みが最大となり、前記中央から上下に離れるにつれて過去フレームの撮像画像の対応する画素の画素値に対する重みが低下するように、前記加重平均の重みを設定してもよい。
【0013】
前記補間処理部は、前記境界画像と前記上側画像が隣接する隣接位置にあるライン、及び／又は、前記境界画像と前記下側画像が隣接する隣接位置にあるラインに含まれる画素の画素値に対する重みが最大となり、前記隣接位置から上下に離れるにつれて過去フレームの撮像画像の対応する画素の画素値に対する重みが低下するように、前記加重平均の重みを設定してもよい。
【0014】
前記補間処理部は、前記対象ラインに含まれる画素に適用される前記加重平均の重みを、前記閃光の時刻の経過に応じた発光強度のプロファイルに応じて設定してもよい。
【0015】
本開示の一態様は、
マイクロフォンと、
前記マイクロフォンから取得する音声信号から音声周波数を検出する音声検出部と、
請求項１から９のいずれか一項に記載された撮像システムと、を備え、
前記光源部は、前記音声検出部によって検出された音声周波数に同期した周期で前記閃光を発光させる、電子内視鏡システムである。
マイクロフォンと、
前記マイクロフォンから取得する音声信号から音声周波数を検出する音声検出部と、
請求項１から９のいずれか一項に記載された撮像システムと、を備え、
前記光源部は、前記音声検出部によって検出された音声周波数に同期した周期で前記閃光を発光させる、電子内視鏡システムである。
【発明の効果】
【0016】
上述の撮像システム及び電子内視鏡システムによれば、被写体に閃光を照射させて被写体の撮像をローリングシャッタ方式で行う場合に、閃光照射期間の長さの設定の自由度を上げることができる。
【図面の簡単な説明】
【0017】
【図1】一実施形態の電子内視鏡システムの構成の一例を示すブロック図である。
【図2】ＣＭＯＳイメージセンサの動作と閃光の発光タイミングとの関係を示す図である。
【図3】一実施形態の電子内視鏡システムにおいて、声帯振動周波数が１０００Ｈｚの場合に応じて閃光を発光するときの合成画像を生成する際の動作を示すタイミングチャートである。
【図4】一実施形態の電子内視鏡システムにおいて、声帯振動周波数が２５０Ｈｚの場合に応じて閃光を発光するときの合成画像を生成する際の動作を示すタイミングチャートである。
【図5】一実施形態の電子内視鏡システムにおいて、声帯振動周波数が１２５Ｈｚの場合に応じて閃光を発光するときの合成画像を生成する際の動作を示すタイミングチャートである。
【図6】一実施形態の電子内視鏡システムにおいて、声帯振動周波数が１１５Ｈｚの場合に応じて閃光を発光するときの合成画像を生成する際の動作を示すタイミングチャートである。
【図7】一実施形態の電子内視鏡システムにおいて、声帯振動周波数が６３Ｈｚの場合に応じて閃光を発光するときの合成画像を生成する際の動作を示すタイミングチャートである。
【図8】一実施形態の電子内視鏡システムにおいて、声帯振動周波数とフレームレートの関係を示す図である。
【図11】合成画像に対して適用される空間フィルタ処理の例を示す図である。
【図12】合成画像に対して適用される空間フィルタ処理の例を示す図である。
【図13】合成画像に対して適用される空間フィルタ処理の例を示す図である。
【図18】合成画像に対して適用されるフレーム補間処理の例を示す図である。
【図19】合成画像に対して適用されるフレーム補間処理の例を示す図である。
【図20】合成画像に対して適用されるフレーム補間処理の例を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明の撮像システムの一実施形態である電子内視鏡システムについて図面を参照しながら詳細に説明する。
図１は、一実施形態の電子内視鏡システム１の構成の一例を示すブロック図である。電子内視鏡システム１は、医療用に特化されたシステムであり、特に喉頭ストロボスコピーに利用される。喉頭ストロボスコピーでは、術者は、閃光を断続的に発光させる光源装置と電子スコープを用いて、ストロボ撮影を行って画像を表示させることで被写体としての声帯を観察する。
図１に示すように、一実施形態の電子内視鏡システム１は、電子スコープ（内視鏡）１０、光源装置を内蔵するプロセッサ２０、モニタ３０、及び、マイクロフォン４０を備えている。プロセッサ２０は、モニタ３０及びマイクロフォン４０に接続されている。
図１は、一実施形態の電子内視鏡システム１の構成の一例を示すブロック図である。電子内視鏡システム１は、医療用に特化されたシステムであり、特に喉頭ストロボスコピーに利用される。喉頭ストロボスコピーでは、術者は、閃光を断続的に発光させる光源装置と電子スコープを用いて、ストロボ撮影を行って画像を表示させることで被写体としての声帯を観察する。
図１に示すように、一実施形態の電子内視鏡システム１は、電子スコープ（内視鏡）１０、光源装置を内蔵するプロセッサ２０、モニタ３０、及び、マイクロフォン４０を備えている。プロセッサ２０は、モニタ３０及びマイクロフォン４０に接続されている。
【0019】
プロセッサ２０は、音声処理回路３１、及び、周波数検出回路３２を備える。
声帯のストロボ撮影を行う場合、患者が発生する音声に基づく声帯振動周波数に応じて間欠的に閃光を点灯（発光）させる。患者が発する声がマイクロフォン４０により集音される。音声処理回路３１は、マイクロフォン４０により集音された音声からノイズ等を除去し、声帯振動周波数の検出に適した音声波形とする。周波数検出回路３２は、音声処理回路３１により得られた音声波形から声帯振動周波数を検出する。
声帯のストロボ撮影を行う場合、患者が発生する音声に基づく声帯振動周波数に応じて間欠的に閃光を点灯（発光）させる。患者が発する声がマイクロフォン４０により集音される。音声処理回路３１は、マイクロフォン４０により集音された音声からノイズ等を除去し、声帯振動周波数の検出に適した音声波形とする。周波数検出回路３２は、音声処理回路３１により得られた音声波形から声帯振動周波数を検出する。
【0020】
プロセッサ２０は、システムコントローラ２１、操作パネル２６、タイミング制御回路２７、及び、光源装置２８（光源部の一例）を備えている。
システムコントローラ２１は、各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する。システムコントローラ２１は、操作パネル２６に入力される術者（観察者）からの指示に応じて、電子内視鏡システム１の各動作、及び各動作のためのパラメータを変更する。システムコントローラ２１は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に供給する。
システムコントローラ２１は、各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する。システムコントローラ２１は、操作パネル２６に入力される術者（観察者）からの指示に応じて、電子内視鏡システム１の各動作、及び各動作のためのパラメータを変更する。システムコントローラ２１は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に供給する。
【0021】
タイミング制御回路２７は、システムコントローラ２１の制御の下、周波数検出回路３２によって検出された声帯振動周波数に応じて閃光の発光タイミングを決定し、決定した閃光の発光タイミングを示す信号（発光タイミング信号）を逐次、光源装置２８に送信する。なお、タイミング制御回路２７は、システム起動時にシステムコントローラ２１から、発光禁止期間の長さに関するデータを受信し、当該発光禁止期間の長さが維持されるようにして発光タイミングを決定する。タイミング制御回路２７は、発光タイミング信号を逐次、実時間で合成部２４に送信する。
【0022】
閃光禁止期間とは、ある閃光の閃光終了時刻から次の閃光の閃光開始時刻までの期間の最短期間を意味する。つまり、ある閃光の閃光終了時刻から閃光禁止期間が経過するまでは、次の閃光の発光が禁止される。閃光禁止期間は、少なくとも１フレーム期間（１フレーム周期）、あるいはそれ以上の長さの期間である。閃光禁止期間を少なくとも１フレーム期間とするのは、１フレーム期間内においてＣＭＯＳイメージセンサ１４の同一のラインに対して２回以上の露光が行われてしまうことを避けるためである。
【0023】
光源装置２８は、タイミング制御回路２７から送られる発光タイミング信号に同期して、声帯等の被写体を照明するための閃光Ｌを出射する。閃光Ｌは、白色光、擬似白色光、あるいは特定の波長帯域の特殊光であってもよい。一実施形態によれば、光源装置２８から出射した閃光Ｌは、集光レンズによりＬＣＢ（Light Carrying Bundle）１１の入射端面に集光されてＬＣＢ１１内に入射される。
光源装置２８の光源の種類は限定しないが、例えばＬＥＤ、レーザダイオード、高輝度ランプ（例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプ）などである。以下の説明では、光源装置２８の光源がＬＥＤである場合を例にして説明する。
光源装置２８の光源の種類は限定しないが、例えばＬＥＤ、レーザダイオード、高輝度ランプ（例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプ）などである。以下の説明では、光源装置２８の光源がＬＥＤである場合を例にして説明する。
【0024】
ＬＣＢ１１内に入射された閃光Ｌは、ＬＣＢ１１内を伝播する。ＬＣＢ１１内を伝播した閃光Ｌは、電子スコープ１０の先端に配置されたＬＣＢ１１の射出端面から射出され、配光レンズ１２を介して被写体に照射される。配光レンズ１２からの閃光Ｌによって照明された被写体からの戻り光は、対物レンズ１３を介してＣＭＯＳイメージセンサ１４の受光面上で光学像を結ぶ。
【0025】
ＣＭＯＳイメージセンサ１４は、被写体の撮像をローリングシャッタ方式で行うように構成された撮像素子の一例である。ＣＭＯＳイメージセンサ１４は、例えばベイヤ型画素配置を有し、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の画像信号を生成して出力する。なお、ＣＭＯＳイメージセンサ１４に代えて、ＣＣＤ（Charge-Coupled Device）イメージセンサやその他の種類の撮像装置を適用してもよい。ＣＭＯＳイメージセンサ１４は、補色系フィルタを搭載したものであってもよい。
【0026】
電子スコープ１０内に設けられるＣＭＯＳドライバ１５は、システムコントローラ２１から供給されるクロックパルスに従って、ＣＭＯＳイメージセンサ１４をプロセッサ２０側で処理される映像のフレームレートに同期したタイミングで駆動制御する。ＣＭＯＳドライバ１５は、ＣＭＯＳイメージセンサ１４から入力される撮像画像に対してＡ／Ｄ変換を含む所定の処理を施してプロセッサ２０の画像入力処理部２２に出力する。
ＣＭＯＳドライバ１５には、ＣＭＯＳイメージセンサ１４から被写体を撮像した撮像信号が所定のフレーム周期で入力される。
ＣＭＯＳドライバ１５には、ＣＭＯＳイメージセンサ１４から被写体を撮像した撮像信号が所定のフレーム周期で入力される。
【0027】
フレーム周期（１フレーム期間）は、例えば１／１２０秒、１／６０秒、又は１／３０秒であるが、以下では、フレーム周期が１／６０秒の場合を例にして説明する。すなわち、上記閃光禁止期間の長さは、少なくとも１／６０秒である。
【0028】
プロセッサ２０は、モニタ３０に表示すべき画像を生成するために、画像入力処理部２２、フレームバッファ２３、合成部２４、及び、画像出力処理部２５を備える。
画像入力処理部２２は、ＣＭＯＳドライバ１５から送られるフレーム単位の撮像画像に対してノイズ除去処理、デモザイク処理、マトリックス演算等の所定の信号処理を施し、フレーム単位の撮像画像（現在フレームの撮像画像）をフレームバッファ２３及び合成部２４に送信する。
フレームバッファ２３は、画像入力処理部２２から送られる撮像画像をフレーム単位でバッファリングするメモリである。一実施形態では、フレームバッファ２３は、現在フレームよりも１フレーム前、２フレーム前、及び、３フレーム前のフレームの３フレーム分の撮像画像を一時的に格納する。なお、後述するフレーム補間処理を行わない場合には、フレームバッファ２３は、現在フレームよりも１フレーム前、及び、２フレーム前のフレームの２フレーム分の撮像画像を一時的に格納すればよい。
画像入力処理部２２は、ＣＭＯＳドライバ１５から送られるフレーム単位の撮像画像に対してノイズ除去処理、デモザイク処理、マトリックス演算等の所定の信号処理を施し、フレーム単位の撮像画像（現在フレームの撮像画像）をフレームバッファ２３及び合成部２４に送信する。
フレームバッファ２３は、画像入力処理部２２から送られる撮像画像をフレーム単位でバッファリングするメモリである。一実施形態では、フレームバッファ２３は、現在フレームよりも１フレーム前、２フレーム前、及び、３フレーム前のフレームの３フレーム分の撮像画像を一時的に格納する。なお、後述するフレーム補間処理を行わない場合には、フレームバッファ２３は、現在フレームよりも１フレーム前、及び、２フレーム前のフレームの２フレーム分の撮像画像を一時的に格納すればよい。
【0029】
合成部２４は、タイミング制御回路２７から受信する発光タイミング信号が示す発光タイミングに基づいて、フレームバッファ２３に格納されている複数のフレームの撮像画像を合成することで、合成画像を生成する。合成画像の生成の具体例については、後で詳述する。
画像出力処理部２５は、合成部２４により生成された合成画像をフレーム単位で処理してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ３０に出力される。これにより、被写体（声帯）の画像がモニタ３０の表示画面に表示される。
フレームバッファ２３、合成部２４、及び画像出力処理部２５は、本発明の画像処理部の一例を構成する。
画像出力処理部２５は、合成部２４により生成された合成画像をフレーム単位で処理してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ３０に出力される。これにより、被写体（声帯）の画像がモニタ３０の表示画面に表示される。
フレームバッファ２３、合成部２４、及び画像出力処理部２５は、本発明の画像処理部の一例を構成する。
【0030】
次に、図２を参照して、閃光に基づくＣＭＯＳイメージセンサ１４の動作について説明する。
図２において、（ａ）は連続するＮ番目フレームとＮ＋１番目フレームの２フレーム期間（１／６０秒＋１／６０秒）のＣＭＯＳイメージセンサ１４の動作を示し、（ｂ）は閃光Ｌを示し、（ｃ）は（ａ）の一部を拡大して示している。
ＣＭＯＳイメージセンサ１４では、無効画素領域を除く有効画素領域において複数のラインの各々に時間差を設けて各フレームにおける露光を開始する。なお、無効画素領域は、１ライン又は複数のラインからなる。
図２（ａ）に示すように、ＣＭＯＳイメージセンサ１４では、無効画素領域を除く有効画素領域に含まれるラインＬＮ１，ＬＮ２，…，ＬＮｎ（有効画素領域の最後のライン）の順（上から下に向かうラインの順）に時間差を設けてＮ番目フレームにおける露光を開始する。図２（ｃ）に拡大して示すように、各フレーム期間には、有効画素領域の各画素領域に対して、露光の開始から電荷の蓄積を行う電荷蓄積期間ＴＩＮＴと、１フレーム期間の電荷蓄積が終了して、蓄積した電荷に応じた信号を読み出す信号読み出し期間ＴＲＯと、を含む。信号読み出し期間ＴＲＯには、電荷蓄積を行うことはできない。
図２において、（ａ）は連続するＮ番目フレームとＮ＋１番目フレームの２フレーム期間（１／６０秒＋１／６０秒）のＣＭＯＳイメージセンサ１４の動作を示し、（ｂ）は閃光Ｌを示し、（ｃ）は（ａ）の一部を拡大して示している。
ＣＭＯＳイメージセンサ１４では、無効画素領域を除く有効画素領域において複数のラインの各々に時間差を設けて各フレームにおける露光を開始する。なお、無効画素領域は、１ライン又は複数のラインからなる。
図２（ａ）に示すように、ＣＭＯＳイメージセンサ１４では、無効画素領域を除く有効画素領域に含まれるラインＬＮ１，ＬＮ２，…，ＬＮｎ（有効画素領域の最後のライン）の順（上から下に向かうラインの順）に時間差を設けてＮ番目フレームにおける露光を開始する。図２（ｃ）に拡大して示すように、各フレーム期間には、有効画素領域の各画素領域に対して、露光の開始から電荷の蓄積を行う電荷蓄積期間ＴＩＮＴと、１フレーム期間の電荷蓄積が終了して、蓄積した電荷に応じた信号を読み出す信号読み出し期間ＴＲＯと、を含む。信号読み出し期間ＴＲＯには、電荷蓄積を行うことはできない。
【0031】
図２（ａ），（ｂ）に示すように、閃光Ｌは、閃光開始時刻Ｔｓから閃光終了時刻Ｔｅまでの短い時間に発光する光であり、Ｎ番目フレームにおいて有効画素領域の一部のライン群、及び、Ｎ＋１番目フレームにおいて有効画素領域の一部のライン群の電荷蓄積に利用される。閃光開始時刻Ｔｓから閃光終了時刻Ｔｅまでの期間が、閃光照射期間である。ここで図２（ｃ）の拡大図を参照すると、閃光Ｌの閃光開始時刻Ｔｓに対応するラインを閃光開始ラインＬｓと定義し、閃光Ｌの閃光終了時刻Ｔｅに対応するラインを閃光終了ラインＬｅと定義する。
ラインＬＮ１から閃光開始ラインＬｓまでの各ラインに対しては、閃光Ｌによって生ずる電荷がＮ＋１番目フレームの電荷蓄積期間ＴＩＮＴで蓄積される。他方、閃光終了ラインＬｅから有効画素領域の最後のラインＬＮｎまでの各ラインに対しては、閃光Ｌによって生ずる電荷がＮ番目フレームの電荷蓄積期間ＴＩＮＴに蓄積される。閃光開始ラインＬｓから閃光終了ラインＬｅまでの各ラインに対しては、閃光Ｌの一部によって生ずる電荷がＮ番目フレームの電荷蓄積期間ＴＩＮＴに蓄積され、閃光Ｌの残りの一部によって生ずる電荷がＮ＋１番目フレームの電荷蓄積期間ＴＩＮＴで蓄積される。
ラインＬＮ１から閃光開始ラインＬｓまでの各ラインに対しては、閃光Ｌによって生ずる電荷がＮ＋１番目フレームの電荷蓄積期間ＴＩＮＴで蓄積される。他方、閃光終了ラインＬｅから有効画素領域の最後のラインＬＮｎまでの各ラインに対しては、閃光Ｌによって生ずる電荷がＮ番目フレームの電荷蓄積期間ＴＩＮＴに蓄積される。閃光開始ラインＬｓから閃光終了ラインＬｅまでの各ラインに対しては、閃光Ｌの一部によって生ずる電荷がＮ番目フレームの電荷蓄積期間ＴＩＮＴに蓄積され、閃光Ｌの残りの一部によって生ずる電荷がＮ＋１番目フレームの電荷蓄積期間ＴＩＮＴで蓄積される。
【0032】
図２からわかるように、閃光Ｌによって得られる１枚の表示用画像は、以下の上側画像、下側画像、及び、境界画像を、適宜合成した合成画像を基に得ることができる。
・ラインＬＮ１から閃光開始ラインＬｓまでの各ラインにより、Ｎ＋１番目フレームの期間で得られる上側画像
・閃光終了ラインＬｅから有効画素領域の最後のラインＬＮｎまでの各ラインにより、Ｎ番目フレームの期間で得られる下側画像
・閃光開始ラインＬｓから閃光終了ラインＬｅまでの各ラインにより、Ｎ番目及びＮ＋１番目フレームの期間で得られる、上側画像と下側画像の間の境界画像
・ラインＬＮ１から閃光開始ラインＬｓまでの各ラインにより、Ｎ＋１番目フレームの期間で得られる上側画像
・閃光終了ラインＬｅから有効画素領域の最後のラインＬＮｎまでの各ラインにより、Ｎ番目フレームの期間で得られる下側画像
・閃光開始ラインＬｓから閃光終了ラインＬｅまでの各ラインにより、Ｎ番目及びＮ＋１番目フレームの期間で得られる、上側画像と下側画像の間の境界画像
【0033】
なお、本実施形態の電子内視鏡システム１では、発光禁止期間が確保されている限り、閃光Ｌの発光タイミングを任意に設定可能であり、また、閃光照射期間を任意に設定可能である。そのため、あるフレームにおいてＣＭＯＳイメージセンサ１４の有効画素領域のいずれのラインの電荷蓄積期間ＴＩＮＴの開始時刻においても閃光Ｌが生じない場合もあり得る。そのような場合も考慮し、より具体的には、プロセッサ２０の合成部２４は、以下の処理Ｐａ，処理Ｐｂに場合分けして表示用画像の基礎となる合成画像を生成する。
【0034】
［処理Ｐａ］合成部２４は、現在フレームより１フレーム前の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいて閃光が発光された場合、以下のようにして現在フレームの合成画像を生成する。
（ａ－１）現在フレームの合成画像のうち、１フレーム前の閃光開始ラインより上側のラインに相当する上側画像を、現在フレームの対応するラインにより得られた撮像画像とする。
（ａ－２）現在フレームの合成画像のうち、１フレーム前の閃光終了ラインより下側のラインに相当する下側画像を、１フレーム前の対応するラインにより得られた撮像画像とする。
（ａ－３）現在フレームの合成画像のうち、閃光開始ラインから閃光終了ラインまでの境界画像を、現在フレームの対応するラインにより得られた撮像画像と、１フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする。
（ａ－１）現在フレームの合成画像のうち、１フレーム前の閃光開始ラインより上側のラインに相当する上側画像を、現在フレームの対応するラインにより得られた撮像画像とする。
（ａ－２）現在フレームの合成画像のうち、１フレーム前の閃光終了ラインより下側のラインに相当する下側画像を、１フレーム前の対応するラインにより得られた撮像画像とする。
（ａ－３）現在フレームの合成画像のうち、閃光開始ラインから閃光終了ラインまでの境界画像を、現在フレームの対応するラインにより得られた撮像画像と、１フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする。
【0035】
［処理Ｐｂ］合成部２４は、現在フレームより１フレーム前の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されなかった場合、以下のようにして現在フレームの合成画像を生成する。
（ｂ－１）現在フレームの合成画像のうち、２フレーム前の閃光開始ラインより上側のラインに相当する上側画像を、１フレーム前の対応するラインにより得られた撮像画像とする。
（ｂ－２）現在フレームの合成画像のうち、２フレーム前の閃光終了ラインより下側のラインに相当する下側画像を、２フレーム前の対応するラインにより得られた撮像画像とする。
（ｂ－３）現在フレームの合成画像のうち、閃光開始ラインから閃光終了ラインまでの境界画像を、１フレーム前の対応するラインにより得られた撮像画像と、２フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする。
（ｂ－１）現在フレームの合成画像のうち、２フレーム前の閃光開始ラインより上側のラインに相当する上側画像を、１フレーム前の対応するラインにより得られた撮像画像とする。
（ｂ－２）現在フレームの合成画像のうち、２フレーム前の閃光終了ラインより下側のラインに相当する下側画像を、２フレーム前の対応するラインにより得られた撮像画像とする。
（ｂ－３）現在フレームの合成画像のうち、閃光開始ラインから閃光終了ラインまでの境界画像を、１フレーム前の対応するラインにより得られた撮像画像と、２フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする。
【0036】
次に、図３～図７の各タイミングチャートを参照して、電子内視鏡システム１において、マイクロフォン４０から得られる声帯振動周波数が異なる場合に、上記処理Ｐａ，Ｐｂに基づいて合成画像を生成する際の具体的な動作の例について説明する。なお、図３～図７の各図では、発光禁止期間を概ね１フレーム期間（１／６０秒）に設定した場合を例に示している。
図３～図７の各図では、Ｍ番目フレーム、Ｍ＋１番目フレーム、…の各フレーム単位で、（ａ）ＣＭＯＳイメージセンサ１４の動作（ＣＭＯＳ動作）、（ｂ）閃光の発光タイミング、（ｃ）ＣＭＯＳイメージセンサ１４により得られる撮像画像、及び、（ｄ）合成部２４による合成画像をそれぞれ示している。図３～図７の（ａ）には、（ｂ）に示す閃光の発光期間を縦線で示している。図３～図７の（ｂ）には、声帯振動の波形も示してある。声帯振動周波数Ｆｖに応じて、発光禁止期間の条件を満たすように、閃光Ｌ１，Ｌ２，Ｌ３，…の発光タイミングが調整されている。
図３～図７の各図では、Ｍ番目フレーム、Ｍ＋１番目フレーム、…の各フレーム単位で、（ａ）ＣＭＯＳイメージセンサ１４の動作（ＣＭＯＳ動作）、（ｂ）閃光の発光タイミング、（ｃ）ＣＭＯＳイメージセンサ１４により得られる撮像画像、及び、（ｄ）合成部２４による合成画像をそれぞれ示している。図３～図７の（ａ）には、（ｂ）に示す閃光の発光期間を縦線で示している。図３～図７の（ｂ）には、声帯振動の波形も示してある。声帯振動周波数Ｆｖに応じて、発光禁止期間の条件を満たすように、閃光Ｌ１，Ｌ２，Ｌ３，…の発光タイミングが調整されている。
【0037】
（Ｉ）声帯振動周波数Ｆｖ＝１０００Ｈｚの場合（図３）
図３において閃光Ｌ１はＭ番目のフレーム期間に発光されるため、Ｍ番目フレームの撮像画像として閃光Ｌ１による下側画像ＩＭ＿Ｌ１が得られ、Ｍ＋１番目フレームの撮像画像として閃光Ｌ１による上側画像ＩＭ＿Ｌ１ａが得られる。同様にして、Ｍ＋１番目フレームの撮像画像として閃光Ｌ２による下側画像ＩＭ＿Ｌ２が得られ、Ｍ＋２番目フレームの撮像画像として閃光Ｌ２による上側画像ＩＭ＿Ｌ２ａが得られる。Ｍ＋２番目フレームの撮像画像として閃光Ｌ３による下側画像ＩＭ＿Ｌ３が得られ、Ｍ＋３番目フレームの撮像画像として閃光Ｌ３による上側画像ＩＭ＿Ｌ３ａが得られる。
図３において閃光Ｌ４はＭ＋４番目フレーム期間に発光されるため、Ｍ＋４番目フレームの撮像画像として閃光Ｌ４による下側画像ＩＭ＿Ｌ４が得られ、Ｍ＋５番目フレームの撮像画像として閃光Ｌ４による上側画像ＩＭ＿Ｌ４ａが得られる。同様に、Ｍ＋５番目フレームの撮像画像として閃光Ｌ５による下側画像ＩＭ＿Ｌ５が得られ、Ｍ＋６番目フレームの撮像画像として閃光Ｌ５による上側画像ＩＭ＿Ｌ５ａが得られる。
図３において閃光Ｌ１はＭ番目のフレーム期間に発光されるため、Ｍ番目フレームの撮像画像として閃光Ｌ１による下側画像ＩＭ＿Ｌ１が得られ、Ｍ＋１番目フレームの撮像画像として閃光Ｌ１による上側画像ＩＭ＿Ｌ１ａが得られる。同様にして、Ｍ＋１番目フレームの撮像画像として閃光Ｌ２による下側画像ＩＭ＿Ｌ２が得られ、Ｍ＋２番目フレームの撮像画像として閃光Ｌ２による上側画像ＩＭ＿Ｌ２ａが得られる。Ｍ＋２番目フレームの撮像画像として閃光Ｌ３による下側画像ＩＭ＿Ｌ３が得られ、Ｍ＋３番目フレームの撮像画像として閃光Ｌ３による上側画像ＩＭ＿Ｌ３ａが得られる。
図３において閃光Ｌ４はＭ＋４番目フレーム期間に発光されるため、Ｍ＋４番目フレームの撮像画像として閃光Ｌ４による下側画像ＩＭ＿Ｌ４が得られ、Ｍ＋５番目フレームの撮像画像として閃光Ｌ４による上側画像ＩＭ＿Ｌ４ａが得られる。同様に、Ｍ＋５番目フレームの撮像画像として閃光Ｌ５による下側画像ＩＭ＿Ｌ５が得られ、Ｍ＋６番目フレームの撮像画像として閃光Ｌ５による上側画像ＩＭ＿Ｌ５ａが得られる。
【0038】
Ｍ＋１～Ｍ＋３番目フレームの各フレームの合成画像を作成する際には、各フレームの直前フレームの露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいて閃光が発光されているため、上記処理Ｐａに従い、以下のようにして合成画像が生成される。
例えば、現在フレームとしてのＭ＋１番目フレームの合成画像を生成する際には、当該合成画像のうち、Ｍ番目フレームの閃光開始ラインより上側のラインに相当する上側画像を、Ｍ＋１番目フレーム（現在フレーム）の対応するラインにより得られた上側画像ＩＭ＿Ｌ１ａとするとともに、当該合成画像のうち、Ｍ番目フレームの閃光終了ラインより下側のラインに相当する下側画像を、Ｍ番目フレーム（１フレーム前）の対応するラインにより得られた下側画像ＩＭ＿Ｌ１とする。なお、図３では見えないが、Ｍ＋１番目フレームの合成画像のうち、閃光開始ラインから閃光終了ラインまでの境界画像を、Ｍ＋１番目フレーム（現在フレーム）の対応するラインにより得られた撮像画像と、１フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする。
現在フレームとしてＭ＋２番目フレーム及びＭ＋３番目フレームの各フレームについて合成画像を生成する場合についても同様である。
例えば、現在フレームとしてのＭ＋１番目フレームの合成画像を生成する際には、当該合成画像のうち、Ｍ番目フレームの閃光開始ラインより上側のラインに相当する上側画像を、Ｍ＋１番目フレーム（現在フレーム）の対応するラインにより得られた上側画像ＩＭ＿Ｌ１ａとするとともに、当該合成画像のうち、Ｍ番目フレームの閃光終了ラインより下側のラインに相当する下側画像を、Ｍ番目フレーム（１フレーム前）の対応するラインにより得られた下側画像ＩＭ＿Ｌ１とする。なお、図３では見えないが、Ｍ＋１番目フレームの合成画像のうち、閃光開始ラインから閃光終了ラインまでの境界画像を、Ｍ＋１番目フレーム（現在フレーム）の対応するラインにより得られた撮像画像と、１フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする。
現在フレームとしてＭ＋２番目フレーム及びＭ＋３番目フレームの各フレームについて合成画像を生成する場合についても同様である。
【0039】
現在フレームとしてのＭ＋４番目フレームの合成画像を作成する際には、１フレーム前のＭ＋３番目フレームの露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されていないため、以下のようにして合成画像を生成する。
Ｍ＋４番目フレームの合成画像のうち、２フレーム前のＭ＋２番目フレームの閃光開始ラインより上側のラインに相当する上側画像を、１フレーム前のＭ＋３番目フレームの対応するラインにより得られた撮像画像ＩＭ＿Ｌ３ａとするとともに、当該合成画像のうち、２フレーム前のＭ＋２番目フレームの閃光終了ラインより下側のラインに相当する下側画像を、２フレーム前のＭ＋２番目フレームの対応するラインにより得られた撮像画像ＩＭ＿Ｌ３とする。図３では見えないが、Ｍ＋４番目フレームの合成画像のうち、閃光開始ラインから閃光終了ラインまでの境界画像を、１フレーム前のＭ＋３番目フレームの対応するラインにより得られた撮像画像と、２フレーム前のＭ＋２番目フレームの対応するラインにより得られた撮像画像と、を加算した画像とする。
要するに、Ｍ＋４番目フレームの合成画像を作成する際には、撮像画像ＩＭ＿Ｌ４ａが得られておらず、撮像画像ＩＭ＿Ｌ４，ＩＭ＿Ｌ４ａに基づく合成画像を作成することができないため、図３に示すように、Ｍ＋３番目フレームの合成画像を再生することになる（つまり、Ｍ＋３番目フレームの合成画像と同一となる）。
Ｍ＋４番目フレームの合成画像のうち、２フレーム前のＭ＋２番目フレームの閃光開始ラインより上側のラインに相当する上側画像を、１フレーム前のＭ＋３番目フレームの対応するラインにより得られた撮像画像ＩＭ＿Ｌ３ａとするとともに、当該合成画像のうち、２フレーム前のＭ＋２番目フレームの閃光終了ラインより下側のラインに相当する下側画像を、２フレーム前のＭ＋２番目フレームの対応するラインにより得られた撮像画像ＩＭ＿Ｌ３とする。図３では見えないが、Ｍ＋４番目フレームの合成画像のうち、閃光開始ラインから閃光終了ラインまでの境界画像を、１フレーム前のＭ＋３番目フレームの対応するラインにより得られた撮像画像と、２フレーム前のＭ＋２番目フレームの対応するラインにより得られた撮像画像と、を加算した画像とする。
要するに、Ｍ＋４番目フレームの合成画像を作成する際には、撮像画像ＩＭ＿Ｌ４ａが得られておらず、撮像画像ＩＭ＿Ｌ４，ＩＭ＿Ｌ４ａに基づく合成画像を作成することができないため、図３に示すように、Ｍ＋３番目フレームの合成画像を再生することになる（つまり、Ｍ＋３番目フレームの合成画像と同一となる）。
【0040】
現在フレームとしてＭ＋５番目フレーム及びＭ＋６番目フレームの各フレームに対しては、Ｍ＋１～Ｍ＋３番目フレームの各フレームの合成画像を作成する場合と同様に、上記処理Ｐａに従って合成画像が生成される。
【0041】
（ＩＩ）声帯振動周波数Ｆｖ＝２５０Ｈｚの場合（図４）
図４（ｂ）に示すように、声帯振動周波数Ｆｖが２５０Ｈｚである場合、ある閃光後の発光禁止期間が経過してから次の閃光を発光させるまでの期間が、声帯振動周波数Ｆｖが１０００Ｈｚである場合よりも長くなる。
図４において閃光Ｌ１はＭ番目のフレーム期間に発光されるため、Ｍ番目フレームの撮像画像として閃光Ｌ１による下側画像ＩＭ＿Ｌ１が得られ、Ｍ＋１番目フレームの撮像画像として閃光Ｌ１による上側画像ＩＭ＿Ｌ１ａが得られる。同様にして、Ｍ＋１番目フレームの撮像画像として閃光Ｌ２による下側画像ＩＭ＿Ｌ２が得られ、Ｍ＋２番目フレームの撮像画像として閃光Ｌ２による上側画像ＩＭ＿Ｌ２ａが得られる。Ｍ＋２番目フレームの撮像画像として閃光Ｌ３による下側画像ＩＭ＿Ｌ３が得られ、Ｍ＋３番目フレームの撮像画像として閃光Ｌ３による上側画像ＩＭ＿Ｌ３ａが得られる。
図４において閃光Ｌ４はＭ＋４番目フレーム期間に発光され、Ｍ＋４番目フレームの撮像画像として閃光Ｌ４による全有効画素領域の画像ＩＭ＿Ｌ４が得られる。
図４（ｂ）に示すように、声帯振動周波数Ｆｖが２５０Ｈｚである場合、ある閃光後の発光禁止期間が経過してから次の閃光を発光させるまでの期間が、声帯振動周波数Ｆｖが１０００Ｈｚである場合よりも長くなる。
図４において閃光Ｌ１はＭ番目のフレーム期間に発光されるため、Ｍ番目フレームの撮像画像として閃光Ｌ１による下側画像ＩＭ＿Ｌ１が得られ、Ｍ＋１番目フレームの撮像画像として閃光Ｌ１による上側画像ＩＭ＿Ｌ１ａが得られる。同様にして、Ｍ＋１番目フレームの撮像画像として閃光Ｌ２による下側画像ＩＭ＿Ｌ２が得られ、Ｍ＋２番目フレームの撮像画像として閃光Ｌ２による上側画像ＩＭ＿Ｌ２ａが得られる。Ｍ＋２番目フレームの撮像画像として閃光Ｌ３による下側画像ＩＭ＿Ｌ３が得られ、Ｍ＋３番目フレームの撮像画像として閃光Ｌ３による上側画像ＩＭ＿Ｌ３ａが得られる。
図４において閃光Ｌ４はＭ＋４番目フレーム期間に発光され、Ｍ＋４番目フレームの撮像画像として閃光Ｌ４による全有効画素領域の画像ＩＭ＿Ｌ４が得られる。
【0042】
現在フレームとしてＭ＋１番目～Ｍ＋３番目フレームの各フレームの合成画像を作成する際には、各フレームの直前フレームの露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいて閃光が発光されているため、上記処理Ｐａに従って合成画像が生成される。この合成画像の生成は、（Ｉ）の声帯振動周波数Ｆｖ＝１０００Ｈｚの場合のＭ＋１～Ｍ＋３番目フレームの各フレームの合成画像を作成する場合と同じである。
現在フレームとしてＭ＋４番目フレームについても、上記処理Ｐａに従って合成画像が生成されるが、１フレーム前のＭ＋３番目フレームの露光開始時刻ではＣＭＯＳイメージセンサ１４の無効画素領域において閃光が発光されているため、実質的な合成は行われず、Ｍ＋４番目フレームの合成画像は、撮像画像ＩＭ＿Ｌ４となる。
現在フレームとしてＭ＋５番目フレームについては、１フレーム前のＭ＋４番目フレームの露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されなかった場合に相当するため、上記処理Ｐｂに従って合成画像が生成される。その結果、Ｍ＋５番目フレームの合成画像は、Ｍ＋４番目フレームの合成画像と同一となる。
現在フレームとしてＭ＋４番目フレームについても、上記処理Ｐａに従って合成画像が生成されるが、１フレーム前のＭ＋３番目フレームの露光開始時刻ではＣＭＯＳイメージセンサ１４の無効画素領域において閃光が発光されているため、実質的な合成は行われず、Ｍ＋４番目フレームの合成画像は、撮像画像ＩＭ＿Ｌ４となる。
現在フレームとしてＭ＋５番目フレームについては、１フレーム前のＭ＋４番目フレームの露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されなかった場合に相当するため、上記処理Ｐｂに従って合成画像が生成される。その結果、Ｍ＋５番目フレームの合成画像は、Ｍ＋４番目フレームの合成画像と同一となる。
【0043】
（ＩＩＩ）声帯振動周波数Ｆｖ＝１２５Ｈｚの場合（図５）
図５（ｂ）に示すように、声帯振動周波数Ｆｖが１２５Ｈｚである場合、ある閃光後の発光禁止期間が経過してから次の閃光を発光させるまでの期間が、声帯振動周波数Ｆｖが２５０Ｈｚである場合よりもさらに長くなる。
図５において閃光Ｌ１はＭ番目のフレーム期間に発光されるため、Ｍ番目フレームの撮像画像として閃光Ｌ１による下側画像ＩＭ＿Ｌ１が得られ、Ｍ＋１番目フレームの撮像画像として閃光Ｌ１による上側画像ＩＭ＿Ｌ１ａが得られる。同様にして、Ｍ＋１番目フレームの撮像画像として閃光Ｌ２による下側画像ＩＭ＿Ｌ２が得られ、Ｍ＋２番目フレームの撮像画像として閃光Ｌ２による上側画像ＩＭ＿Ｌ２ａが得られる。Ｍ＋３番目フレームの撮像画像として閃光Ｌ３による下側画像ＩＭ＿Ｌ３が得られ、Ｍ＋４番目フレームの撮像画像として閃光Ｌ３による上側画像ＩＭ＿Ｌ３ａが得られる。Ｍ＋４番目フレームの撮像画像として閃光Ｌ４による下側画像ＩＭ＿Ｌ４が得られる。
図５（ｂ）に示すように、声帯振動周波数Ｆｖが１２５Ｈｚである場合、ある閃光後の発光禁止期間が経過してから次の閃光を発光させるまでの期間が、声帯振動周波数Ｆｖが２５０Ｈｚである場合よりもさらに長くなる。
図５において閃光Ｌ１はＭ番目のフレーム期間に発光されるため、Ｍ番目フレームの撮像画像として閃光Ｌ１による下側画像ＩＭ＿Ｌ１が得られ、Ｍ＋１番目フレームの撮像画像として閃光Ｌ１による上側画像ＩＭ＿Ｌ１ａが得られる。同様にして、Ｍ＋１番目フレームの撮像画像として閃光Ｌ２による下側画像ＩＭ＿Ｌ２が得られ、Ｍ＋２番目フレームの撮像画像として閃光Ｌ２による上側画像ＩＭ＿Ｌ２ａが得られる。Ｍ＋３番目フレームの撮像画像として閃光Ｌ３による下側画像ＩＭ＿Ｌ３が得られ、Ｍ＋４番目フレームの撮像画像として閃光Ｌ３による上側画像ＩＭ＿Ｌ３ａが得られる。Ｍ＋４番目フレームの撮像画像として閃光Ｌ４による下側画像ＩＭ＿Ｌ４が得られる。
【0044】
現在フレームとしてＭ＋１番目～Ｍ＋２番目フレームの各フレームの合成画像を作成する際には、各フレームの直前フレームの露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいて閃光が発光されているため、上記処理Ｐａに従って合成画像が生成される。この合成画像の生成は、（Ｉ）の声帯振動周波数Ｆｖ＝１０００Ｈｚの場合のＭ＋１～Ｍ＋３番目フレームの各フレームの合成画像を作成する場合と同じである。
現在フレームとしてＭ＋３番目フレームについては、１フレーム前のＭ＋２番目フレームの露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されなかった場合に相当するため、上記処理Ｐｂに従って合成画像が生成される。その結果、Ｍ＋３番目フレームの合成画像は、Ｍ＋２番目フレームの合成画像と同一となる。
現在フレームとしてＭ＋４番目～Ｍ＋５番目フレームの各フレームの合成画像を作成する際には、各フレームの直前フレームの露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいて閃光が発光されているため、上記処理Ｐａに従って合成画像が生成される。すなわち、Ｍ＋４番目～Ｍ＋５番目フレームの各フレームの合成画像は、Ｍ＋１番目～Ｍ＋２番目フレームの各フレームの合成画像を作成する場合と同様にして作成される。
現在フレームとしてＭ＋３番目フレームについては、１フレーム前のＭ＋２番目フレームの露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されなかった場合に相当するため、上記処理Ｐｂに従って合成画像が生成される。その結果、Ｍ＋３番目フレームの合成画像は、Ｍ＋２番目フレームの合成画像と同一となる。
現在フレームとしてＭ＋４番目～Ｍ＋５番目フレームの各フレームの合成画像を作成する際には、各フレームの直前フレームの露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいて閃光が発光されているため、上記処理Ｐａに従って合成画像が生成される。すなわち、Ｍ＋４番目～Ｍ＋５番目フレームの各フレームの合成画像は、Ｍ＋１番目～Ｍ＋２番目フレームの各フレームの合成画像を作成する場合と同様にして作成される。
【0045】
（ＩＶ）声帯振動周波数Ｆｖ＝１１５Ｈｚの場合（図６）
図６（ｂ）に示すように、声帯振動周波数Ｆｖが１１５Ｈｚである場合、ある閃光後の発光禁止期間が経過してから次の閃光を発光させるまでの期間が非常に短くなる。
図６において閃光Ｌ１はＭ番目のフレーム期間に発光されるため、Ｍ番目フレームの撮像画像として閃光Ｌ１による下側画像ＩＭ＿Ｌ１が得られ、Ｍ＋１番目フレームの撮像画像として閃光Ｌ１による上側画像ＩＭ＿Ｌ１ａが得られる。同様にして、Ｍ＋１番目フレームの撮像画像として閃光Ｌ２による下側画像ＩＭ＿Ｌ２が得られ、Ｍ＋２番目フレームの撮像画像として閃光Ｌ２による上側画像ＩＭ＿Ｌ２ａが得られる。Ｍ＋２番目フレームの撮像画像として閃光Ｌ３による下側画像ＩＭ＿Ｌ３が得られ、Ｍ＋３番目フレームの撮像画像として閃光Ｌ３による上側画像ＩＭ＿Ｌ３ａが得られる。Ｍ＋３番目フレームの撮像画像として閃光Ｌ４による下側画像ＩＭ＿Ｌ４が得られ、Ｍ＋４番目フレームの撮像画像として閃光Ｌ４による上側画像ＩＭ＿Ｌ４ａが得られる。Ｍ＋４番目フレームの撮像画像として閃光Ｌ５による下側画像ＩＭ＿Ｌ５が得られる。
図６（ｂ）に示すように、声帯振動周波数Ｆｖが１１５Ｈｚである場合、ある閃光後の発光禁止期間が経過してから次の閃光を発光させるまでの期間が非常に短くなる。
図６において閃光Ｌ１はＭ番目のフレーム期間に発光されるため、Ｍ番目フレームの撮像画像として閃光Ｌ１による下側画像ＩＭ＿Ｌ１が得られ、Ｍ＋１番目フレームの撮像画像として閃光Ｌ１による上側画像ＩＭ＿Ｌ１ａが得られる。同様にして、Ｍ＋１番目フレームの撮像画像として閃光Ｌ２による下側画像ＩＭ＿Ｌ２が得られ、Ｍ＋２番目フレームの撮像画像として閃光Ｌ２による上側画像ＩＭ＿Ｌ２ａが得られる。Ｍ＋２番目フレームの撮像画像として閃光Ｌ３による下側画像ＩＭ＿Ｌ３が得られ、Ｍ＋３番目フレームの撮像画像として閃光Ｌ３による上側画像ＩＭ＿Ｌ３ａが得られる。Ｍ＋３番目フレームの撮像画像として閃光Ｌ４による下側画像ＩＭ＿Ｌ４が得られ、Ｍ＋４番目フレームの撮像画像として閃光Ｌ４による上側画像ＩＭ＿Ｌ４ａが得られる。Ｍ＋４番目フレームの撮像画像として閃光Ｌ５による下側画像ＩＭ＿Ｌ５が得られる。
【0046】
現在フレームとしてＭ＋１番目～Ｍ＋５番目フレームの各フレームの合成画像を作成する際には、各フレームの直前フレームの露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいて閃光が発光されているため、上記処理Ｐａに従って合成画像が生成される。この合成画像の生成は、（Ｉ）の声帯振動周波数Ｆｖ＝１０００Ｈｚの場合のＭ＋１～Ｍ＋３番目フレームの各フレームの合成画像を作成する場合と同じである。
【0047】
（Ｖ）声帯振動周波数Ｆｖ＝６３Ｈｚの場合（図７）
図７（ｂ）に示すように、声帯振動周波数Ｆｖが６３Ｈｚである場合、ある閃光後の発光禁止期間が経過してから次の閃光を発光させるまでの期間が非常に長くなる。
図７において閃光Ｌ１はＭ番目のフレーム期間に発光されるため、Ｍ番目フレームの撮像画像として閃光Ｌ１による下側画像ＩＭ＿Ｌ１が得られ、Ｍ＋１番目フレームの撮像画像として閃光Ｌ１による上側画像ＩＭ＿Ｌ１ａが得られる。同様にして、Ｍ＋２番目フレームの撮像画像として閃光Ｌ２による下側画像ＩＭ＿Ｌ２が得られ、Ｍ＋３番目フレームの撮像画像として閃光Ｌ２による上側画像ＩＭ＿Ｌ２ａが得られる。Ｍ＋４番目フレームの撮像画像として閃光Ｌ３による下側画像ＩＭ＿Ｌ３が得られ、Ｍ＋５番目フレームの撮像画像として閃光Ｌ３による上側画像ＩＭ＿Ｌ３ａが得られる。
図７（ｂ）に示すように、声帯振動周波数Ｆｖが６３Ｈｚである場合、ある閃光後の発光禁止期間が経過してから次の閃光を発光させるまでの期間が非常に長くなる。
図７において閃光Ｌ１はＭ番目のフレーム期間に発光されるため、Ｍ番目フレームの撮像画像として閃光Ｌ１による下側画像ＩＭ＿Ｌ１が得られ、Ｍ＋１番目フレームの撮像画像として閃光Ｌ１による上側画像ＩＭ＿Ｌ１ａが得られる。同様にして、Ｍ＋２番目フレームの撮像画像として閃光Ｌ２による下側画像ＩＭ＿Ｌ２が得られ、Ｍ＋３番目フレームの撮像画像として閃光Ｌ２による上側画像ＩＭ＿Ｌ２ａが得られる。Ｍ＋４番目フレームの撮像画像として閃光Ｌ３による下側画像ＩＭ＿Ｌ３が得られ、Ｍ＋５番目フレームの撮像画像として閃光Ｌ３による上側画像ＩＭ＿Ｌ３ａが得られる。
【0048】
現在フレームとしてＭ＋１番目フレームの合成画像を作成する際には、当該フレームの直前フレーム（Ｍ番目フレーム）の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいて閃光が発光されているため、上記処理Ｐａに従って合成画像が生成される。
現在フレームとしてＭ＋２番目フレームの合成画像を作成する際には、当該フレームの直前フレーム（Ｍ＋１番目フレーム）の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されていないため、上記処理Ｐｂに従って合成画像が生成される。
現在フレームとしてＭ＋３番目フレームの合成画像を作成する際には、当該フレームの直前フレーム（Ｍ＋２番目フレーム）の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいて閃光が発光されているため、上記処理Ｐａに従って合成画像が生成される。
現在フレームとしてＭ＋４番目フレームの合成画像を作成する際には、当該フレームの直前フレーム（Ｍ＋３番目フレーム）の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されていないため、上記処理Ｐｂに従って合成画像が生成される。
現在フレームとしてＭ＋５番目フレームの合成画像を作成する際には、当該フレームの直前フレーム（Ｍ＋４番目フレーム）の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいて閃光が発光されているため、上記処理Ｐａに従って合成画像が生成される。
その結果、図７に示すようにして、各フレームの合成画像が生成される。
現在フレームとしてＭ＋２番目フレームの合成画像を作成する際には、当該フレームの直前フレーム（Ｍ＋１番目フレーム）の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されていないため、上記処理Ｐｂに従って合成画像が生成される。
現在フレームとしてＭ＋３番目フレームの合成画像を作成する際には、当該フレームの直前フレーム（Ｍ＋２番目フレーム）の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいて閃光が発光されているため、上記処理Ｐａに従って合成画像が生成される。
現在フレームとしてＭ＋４番目フレームの合成画像を作成する際には、当該フレームの直前フレーム（Ｍ＋３番目フレーム）の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されていないため、上記処理Ｐｂに従って合成画像が生成される。
現在フレームとしてＭ＋５番目フレームの合成画像を作成する際には、当該フレームの直前フレーム（Ｍ＋４番目フレーム）の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいて閃光が発光されているため、上記処理Ｐａに従って合成画像が生成される。
その結果、図７に示すようにして、各フレームの合成画像が生成される。
【0049】
以上、図３～図７を参照して具体的に説明したように、電子内視鏡システム１では、閃光の発光タイミングは、連続する閃光の発光の間隔が、予め定められた発光禁止期間より長くなり、かつ声帯振動周波数に同期するようにして、決定される。
このとき、ローリングシャッタ方式で動作するＣＭＯＳイメージセンサ１４の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されない場合には、連続する２フレームの合成画像が同一となり、フレームレートが低下する。例えば、図６に示したように、声帯振動周波数Ｆｖが１１５Ｈｚの場合には、いずれのフレームに対しても、露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいても閃光が発光されるため、各フレームの合成画像が同一とならず、フレームレートが高い（約６０ｆｐｓ）。それに対して、図７に示したように、声帯振動周波数Ｆｖが６３Ｈｚの場合には、露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されない状況が、１フレームおきに発生するため、連続する２フレームずつ合成画像が同一となり、フレームレートが低い（約３０ｆｐｓ）。
このとき、ローリングシャッタ方式で動作するＣＭＯＳイメージセンサ１４の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されない場合には、連続する２フレームの合成画像が同一となり、フレームレートが低下する。例えば、図６に示したように、声帯振動周波数Ｆｖが１１５Ｈｚの場合には、いずれのフレームに対しても、露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいても閃光が発光されるため、各フレームの合成画像が同一とならず、フレームレートが高い（約６０ｆｐｓ）。それに対して、図７に示したように、声帯振動周波数Ｆｖが６３Ｈｚの場合には、露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されない状況が、１フレームおきに発生するため、連続する２フレームずつ合成画像が同一となり、フレームレートが低い（約３０ｆｐｓ）。
【0050】
図８に、声帯振動周波数Ｆｖと合成画像のフレームレートの関係を示す。
本実施形態の電子内視鏡システム１では、フレームレートは、声帯振動周波数Ｆｖと、予め定められた発光禁止期間に応じて設定される閃光の発光タイミングと、に基づいて不連続に変動する。これは、ある閃光後の発光禁止期間が経過してから次の閃光を発光させるまでの期間が、声帯振動周波数に応じて不連続に変化するためである。
図８を参照すると、いずれの声帯振動周波数に対しても少なくとも３０ｆｐｓのフレームレートが確保され、声帯振動周波数が高くなるにつれてフレームレートが６０ｆｐｓ近くなり、高フレームレートが得られることがわかる。閃光照射期間と閃光禁止期間の合計長が声帯振動周波数Ｆｖに対応する周期と一致するとフレームレートが高くなるため、図８に示すように、声帯振動周波数Ｆｖに対して周期的にフレームレートが高くなる。
なお、図８は、図３～図７に示したように、発光禁止期間を概ね１フレーム期間（１／６０秒）に設定した場合の結果を示しており、発光禁止期間をさらに長くした場合には、図８と異なる結果となる。
本実施形態の電子内視鏡システム１では、フレームレートは、声帯振動周波数Ｆｖと、予め定められた発光禁止期間に応じて設定される閃光の発光タイミングと、に基づいて不連続に変動する。これは、ある閃光後の発光禁止期間が経過してから次の閃光を発光させるまでの期間が、声帯振動周波数に応じて不連続に変化するためである。
図８を参照すると、いずれの声帯振動周波数に対しても少なくとも３０ｆｐｓのフレームレートが確保され、声帯振動周波数が高くなるにつれてフレームレートが６０ｆｐｓ近くなり、高フレームレートが得られることがわかる。閃光照射期間と閃光禁止期間の合計長が声帯振動周波数Ｆｖに対応する周期と一致するとフレームレートが高くなるため、図８に示すように、声帯振動周波数Ｆｖに対して周期的にフレームレートが高くなる。
なお、図８は、図３～図７に示したように、発光禁止期間を概ね１フレーム期間（１／６０秒）に設定した場合の結果を示しており、発光禁止期間をさらに長くした場合には、図８と異なる結果となる。
【0051】
次に、上記処理Ｐａ，Ｐｂによって得られた合成画像に対して行われる好ましい後処理について説明する。
上述したように、上記処理Ｐａでは、現在フレームの合成画像のうち、閃光開始ラインから閃光終了ラインまでの境界画像を、現在フレームの対応するラインにより得られた撮像画像と、１フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする。他方、上記処理Ｐｂでは、現在フレームの合成画像のうち、閃光開始ラインから閃光終了ラインまでの境界画像を、１フレーム前の対応するラインにより得られた撮像画像と、２フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする。
合成画像のうちの境界画像は、合成画像の上側画像と下側画像に挟まれた領域である。この境界画像は、図２に示したように、閃光Ｌの閃光照射期間（Ｔｓ～Ｔｅ）と信号読み出し期間ＴＲＯが少なくとも部分的に重複し、閃光Ｌによる露光が十分に行われない期間における画像である。そのため、仮に、この境界画像に対して何らの処理も行わないとしたならば、図３～図７の（ｄ）に示すように、合成画像において水平方向の黒線として目立ってしまい、垂直方向に移動する黒線として観察者に視認される。
そこで、合成画像において境界画像の水平方向の黒線が目立たないように、合成画像に対する後処理として、境界画像及びその近傍のラインの画像に対して以下で説明する画像処理を施すことが好ましい。
上述したように、上記処理Ｐａでは、現在フレームの合成画像のうち、閃光開始ラインから閃光終了ラインまでの境界画像を、現在フレームの対応するラインにより得られた撮像画像と、１フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする。他方、上記処理Ｐｂでは、現在フレームの合成画像のうち、閃光開始ラインから閃光終了ラインまでの境界画像を、１フレーム前の対応するラインにより得られた撮像画像と、２フレーム前の対応するラインにより得られた撮像画像と、を加算した画像とする。
合成画像のうちの境界画像は、合成画像の上側画像と下側画像に挟まれた領域である。この境界画像は、図２に示したように、閃光Ｌの閃光照射期間（Ｔｓ～Ｔｅ）と信号読み出し期間ＴＲＯが少なくとも部分的に重複し、閃光Ｌによる露光が十分に行われない期間における画像である。そのため、仮に、この境界画像に対して何らの処理も行わないとしたならば、図３～図７の（ｄ）に示すように、合成画像において水平方向の黒線として目立ってしまい、垂直方向に移動する黒線として観察者に視認される。
そこで、合成画像において境界画像の水平方向の黒線が目立たないように、合成画像に対する後処理として、境界画像及びその近傍のラインの画像に対して以下で説明する画像処理を施すことが好ましい。
【0052】
一実施形態では、合成画像に対する後処理は、以下の３つの処理Ｐｃ１～Ｐｃ３のうちのいずれか、又は２以上の処理の組合せである。
［処理Ｐｃ１］デジタルゲイン付与処理
デジタルゲイン付与処理は、境界画像の各ラインの各画素の画素値を増幅する処理である。デジタルゲインを付与することにより、閃光による露光が十分でない状態で得られた境界画像の輝度が補正される。
［処理Ｐｃ２］空間フィルタ処理
空間フィルタ処理は、現在フレームの合成画像に含まれる境界画像、あるいは境界画像とその近傍の所定数のラインの画素の画素値に対して、画像の平滑化（ぼかし）を目的とした空間フィルタを施す処理である。
［処理Ｐｃ３］フレーム補間処理
フレーム補間処理は、現在フレームに含まれる境界画像、あるいは境界画像とその近傍の所定数のラインを対象として、現在フレームと２フレーム前又は３フレーム前の過去フレームとの間で補間を行う処理である。
［処理Ｐｃ１］デジタルゲイン付与処理
デジタルゲイン付与処理は、境界画像の各ラインの各画素の画素値を増幅する処理である。デジタルゲインを付与することにより、閃光による露光が十分でない状態で得られた境界画像の輝度が補正される。
［処理Ｐｃ２］空間フィルタ処理
空間フィルタ処理は、現在フレームの合成画像に含まれる境界画像、あるいは境界画像とその近傍の所定数のラインの画素の画素値に対して、画像の平滑化（ぼかし）を目的とした空間フィルタを施す処理である。
［処理Ｐｃ３］フレーム補間処理
フレーム補間処理は、現在フレームに含まれる境界画像、あるいは境界画像とその近傍の所定数のラインを対象として、現在フレームと２フレーム前又は３フレーム前の過去フレームとの間で補間を行う処理である。
【0053】
処理Ｐｃ１のみでもよいが、処理Ｐｃ１と処理Ｐｃ２を組み合わせるか、あるいは、処理Ｐｃ１と処理Ｐｃ３を組み合わせることが、合成画像において境界画像の水平方向の黒線をより効果的に目立たなくする上で好ましい。
【0054】
（ｉ）合成画像に対する後処理についての第１の態様
合成画像に対する後処理についての第１の態様は、上記処理Ｐｃ１と上記処理Ｐｃ２を組み合わせた処理である。
この第１の態様を実装した場合のシステム構成を図９に示す。図９に示すように、第１の態様では、図１に示したプロセッサ２０において、合成部２４と画像出力処理部２５の間に、増幅処理部５１とフィルタ処理部５２をさらに含む。
図１０は、合成画像に対する後処理についての第１の態様が適用される場合の画像処理を説明する図である。図１０において、（ａ）はＣＭＯＳイメージセンサ１４の垂直同期信号Ｖｓｙｎｃ、（ｂ）はＣＭＯＳイメージセンサ１４の動作（ＣＭＯＳ動作）、（ｃ）は閃光Ｌ、（ｄ）はＣＭＯＳイメージセンサ１４によって取得される撮像画像、（ｅ）は合成画像、（ｆ）はデジタルゲイン付与後補正画像、（ｇ）は空間フィルタ処理済み補正画像、をそれぞれ示している。
合成画像に対する後処理についての第１の態様は、上記処理Ｐｃ１と上記処理Ｐｃ２を組み合わせた処理である。
この第１の態様を実装した場合のシステム構成を図９に示す。図９に示すように、第１の態様では、図１に示したプロセッサ２０において、合成部２４と画像出力処理部２５の間に、増幅処理部５１とフィルタ処理部５２をさらに含む。
図１０は、合成画像に対する後処理についての第１の態様が適用される場合の画像処理を説明する図である。図１０において、（ａ）はＣＭＯＳイメージセンサ１４の垂直同期信号Ｖｓｙｎｃ、（ｂ）はＣＭＯＳイメージセンサ１４の動作（ＣＭＯＳ動作）、（ｃ）は閃光Ｌ、（ｄ）はＣＭＯＳイメージセンサ１４によって取得される撮像画像、（ｅ）は合成画像、（ｆ）はデジタルゲイン付与後補正画像、（ｇ）は空間フィルタ処理済み補正画像、をそれぞれ示している。
【0055】
図１０を参照すると、図１０（ａ），（ｂ）に示すように、垂直同期信号Ｖｓｙｎｃに同期してＣＭＯＳイメージセンサ１４がフレーム単位でローリングシャッタ方式により露光を開始する。図１０（ｄ）に示すように、現在フレームを基準とすると、１フレーム前に発光された閃光Ｌに対して１フレーム前の撮像画像として下側画像ＩＭ＿Ｌが得られ、現在フレームの撮像画像として上側画像ＩＭ＿Ｌａが得られる。図１０（ｅ）に示すように、現在フレームの合成画像は、下側画像ＩＭ＿Ｌと上側画像ＩＭ＿Ｌａを合成した画像であるが、この合成画像には、境界画像において水平方向の黒線が目立つ状態となっている。
【0056】
図９に示した増幅処理部５１は、合成部２４によって生成された現在フレームの合成画像のうち境界画像の各ラインの各画素の画素値（デジタル値）を増幅することでデジタルゲイン付与後補正画像（図１０（ｆ））を生成する。これにより、境界画像の各ラインの各画素の輝度が増加し、境界画像において水平方向の黒線が目立ち難くなる。
【0057】
図９に示したフィルタ処理部５２は、現在フレームの合成画像を対象として、境界画像と上側画像ＩＭ＿Ｌａが隣接する隣接位置から上下の所定数のライン、及び、境界画像と下側画像ＩＭ＿Ｌが隣接する隣接位置から上下の所定数のラインに含まれる画素の画素値に対して、空間フィルタを施すことで、空間フィルタ処理済み補正画像（図１０（ｇ））を生成する。これにより、境界画像とその近傍の画像に対する平滑化が行われ、境界画像において水平方向の黒線がさらに目立ち難くなる。
ここで適用される空間フィルタは、境界画像と上側画像ＩＭ＿Ｌａの間、及び、境界画像と下側画像ＩＭ＿Ｌの間を平滑化するフィルタであれば如何なる公知の空間フィルタであってもよく、例えばガウシアンフィルタや平均化フィルタが挙げられる。
ここで適用される空間フィルタは、境界画像と上側画像ＩＭ＿Ｌａの間、及び、境界画像と下側画像ＩＭ＿Ｌの間を平滑化するフィルタであれば如何なる公知の空間フィルタであってもよく、例えばガウシアンフィルタや平均化フィルタが挙げられる。
【0058】
次に、図１１～図１３を参照して、合成画像に対する後処理についての第１の態様における具体的な空間フィルタの設定例について説明する。
図１１～図１３の各図において、（ａ）は境界画像の各ラインの各画素に対するデジタルゲインの設定、（ｂ）は閃光プロファイル、（ｃ）は空間フィルタに対する処理対象画素、（ｄ）は空間フィルタのフィルタ係数（カーネル）、をそれぞれ示している。各図の（ａ）では、図２（ｃ）と同様に、閃光開始ラインと閃光終了ラインの近傍の複数のライン（Ｌｉｎｅ Ｘ～Ｌｉｎｅ Ｘ＋９）を対象として、電荷蓄積期間ＴＩＮＴ及び信号読み出し期間ＴＲＯを示しているが、併せて、各図の（ｂ）に示す閃光プロファイルを垂直方向に圧縮したものを表示している。
なお、閃光プロファイルとは、閃光の時刻の経過に応じた発光強度のプロファイルであり、換言すれば、横軸に時間、縦軸に閃光の発光強度をとったときの閃光の発光特性を意味する。
図１１～図１３の各図において、（ａ）は境界画像の各ラインの各画素に対するデジタルゲインの設定、（ｂ）は閃光プロファイル、（ｃ）は空間フィルタに対する処理対象画素、（ｄ）は空間フィルタのフィルタ係数（カーネル）、をそれぞれ示している。各図の（ａ）では、図２（ｃ）と同様に、閃光開始ラインと閃光終了ラインの近傍の複数のライン（Ｌｉｎｅ Ｘ～Ｌｉｎｅ Ｘ＋９）を対象として、電荷蓄積期間ＴＩＮＴ及び信号読み出し期間ＴＲＯを示しているが、併せて、各図の（ｂ）に示す閃光プロファイルを垂直方向に圧縮したものを表示している。
なお、閃光プロファイルとは、閃光の時刻の経過に応じた発光強度のプロファイルであり、換言すれば、横軸に時間、縦軸に閃光の発光強度をとったときの閃光の発光特性を意味する。
【0059】
図２（ｂ）では、説明の便宜のために理想的なパルス状の閃光プロファイルを示したが、実際の閃光プロファイルは、発光強度の大小に応じて変動し得る。例えば、図１１～図１３の（ｂ）は、同一のＬＥＤに起因する閃光であり、図１１（ｂ）、図１２（ｂ）、図１３（ｂ）の順に発光強度を低下させた（つまり、ＬＥＤ電流を低下させた）ときの閃光プロファイルである。このように、ＬＥＤの発光強度を変動させると、光源装置２８内の駆動回路や電源回路などの特性の変化に応じて、ＬＥＤによる閃光プロファイル（特に、立ち上がり時と立ち下がり時）が変動する。
【0060】
また、図１１～図１３の（ａ）を参照すると、閃光プロファイルと、電荷蓄積ができない信号読み出し期間ＴＲＯと、の重複度合いに応じて、境界画像の各ラインの露光量が変化する。
そこで、好ましくは、増幅処理部５１は、閃光プロファイルとＣＭＯＳイメージセンサ１４の信号読み出し期間に応じて、現在フレームの合成画像のうち境界画像の各ラインの画素に対して適用するゲインを、境界画像以外の各ラインの画素に適用するゲインよりも大きくする。
そこで、好ましくは、増幅処理部５１は、閃光プロファイルとＣＭＯＳイメージセンサ１４の信号読み出し期間に応じて、現在フレームの合成画像のうち境界画像の各ラインの画素に対して適用するゲインを、境界画像以外の各ラインの画素に適用するゲインよりも大きくする。
【0061】
例えば、図１１（ａ）のデジタルゲインの設定例において、Ｌｉｎｅ Ｘ、Ｌｉｎｅ Ｘ＋１では、閃光プロファイルと信号読み出し期間ＴＲＯがほとんど重複していないため、デジタルゲインを「１．０」に設定するが、Ｌｉｎｅ Ｘ＋３では、信号読み出し期間ＴＲＯが閃光プロファイルと大きく重複している。すなわち、閃光のピークの部分が信号読み出し期間ＴＲＯに相当し、前後のいずれのフレームにおいても露光されない状態となるため、デジタルゲインを「１．２」に設定する。Ｌｉｎｅ Ｘ＋２～Ｌｉｎｅ Ｘ＋７では、閃光プロファイル中、前後のいずれのフレームにおいても露光されない部分があるため、仮に境界画像を増幅させないとしたならば、境界画像において水平方向の黒線が目立ち易くなる。そこで、これらのラインに対して１より大きいデジタルゲイン（つまり、実質的に画素値を増幅させるようなゲイン）を設定することで露光量の低下を補償する。このとき、図１１（ａ）に示すように、境界画像の各ラインの電荷蓄積量（あるいは発光強度の積分量）が小さいほど大きなゲインが設定されるため、効果的に各画素の輝度を増加させることができる。
【0062】
図１１～図１３の（ｃ）は、フィルタ処理の処理対象画素群ＰＡＤＪの例を示している。
処理対象画素群ＰＡＤＪは、境界画像と上側画像が隣接する隣接位置から上下の所定数のライン、及び、境界画像と下側画像が隣接する隣接位置から上下の所定数のラインに含まれる画素群である。フィルタ処理部５２は、この処理対象画素群ＰＡＤＪに含まれる各画素に対して、それぞれ図１１～図１３の（ｄ）に示すフィルタ係数によるフィルタ処理を行う。
図１１～図１３の（ｄ）に示す５×５のフィルタ係数は、各画素にベイヤ配列のカラーフィルタが配置されている場合のフィルタ係数であり、実質的には３×３のフィルタ係数である。
好ましくは、フィルタ処理部５２は、所定数のラインの各ラインに含まれる画素に適用される空間フィルタのフィルタ係数を、閃光プロファイルに応じて設定する。
例えば、図１３（ｄ）に示すフィルタ係数は、図１１（ｄ）及び図１２（ｄ）に示すフィルタ係数と比較して、注目画素の重みが大きく、垂直方向の画素の重みが低いものとなっている。閃光プロファイルに応じてフィルタ係数を最適化させることで、閃光プロファイルに対して適切な平滑化処理を行うことができる。
処理対象画素群ＰＡＤＪは、境界画像と上側画像が隣接する隣接位置から上下の所定数のライン、及び、境界画像と下側画像が隣接する隣接位置から上下の所定数のラインに含まれる画素群である。フィルタ処理部５２は、この処理対象画素群ＰＡＤＪに含まれる各画素に対して、それぞれ図１１～図１３の（ｄ）に示すフィルタ係数によるフィルタ処理を行う。
図１１～図１３の（ｄ）に示す５×５のフィルタ係数は、各画素にベイヤ配列のカラーフィルタが配置されている場合のフィルタ係数であり、実質的には３×３のフィルタ係数である。
好ましくは、フィルタ処理部５２は、所定数のラインの各ラインに含まれる画素に適用される空間フィルタのフィルタ係数を、閃光プロファイルに応じて設定する。
例えば、図１３（ｄ）に示すフィルタ係数は、図１１（ｄ）及び図１２（ｄ）に示すフィルタ係数と比較して、注目画素の重みが大きく、垂直方向の画素の重みが低いものとなっている。閃光プロファイルに応じてフィルタ係数を最適化させることで、閃光プロファイルに対して適切な平滑化処理を行うことができる。
【0063】
一実施形態では、フィルタ処理部５２は、現在フレームの合成画像を対象として、境界画像のライン方向の中央位置から上下の所定数のラインに含まれる画素の画素値に対して、空間フィルタを施す。すなわち、図１１～図１３の（ｃ）に示す処理対象画素群ＰＡＤＪとは異なり、処理対象画素群を境界画像のライン方向の中央位置から上下の所定数のラインに含まれる画素群としてもよく、その場合も、境界画像とその近傍の画像に対する平滑化が行われ、境界画像において水平方向の黒線をさらに目立ち難くすることができる。
【0064】
（ｉｉ）合成画像に対する後処理についての第２の態様
合成画像に対する後処理についての第２の態様は、上記処理Ｐｃ１と上記処理Ｐｃ３を組み合わせた処理である。
この第２の態様を実装した場合のシステム構成を図１４に示す。図１４に示すように、第２の態様では、図１に示したプロセッサ２０において、合成部２４と画像出力処理部２５の間に、増幅処理部５１と補間処理部５３をさらに含む。
図１５～図１７はそれぞれ、合成画像に対する後処理についての第２の態様が適用される場合の画像処理を説明する図である。図１５～図１７の各図において、（ａ）はＣＭＯＳイメージセンサ１４の垂直同期信号Ｖｓｙｎｃ、（ｂ）はＣＭＯＳイメージセンサ１４の動作（ＣＭＯＳ動作）、（ｃ）は閃光Ｌ、（ｄ）はＣＭＯＳイメージセンサ１４によって取得される撮像画像、（ｅ）は合成画像、（ｆ）はデジタルゲイン付与後補正画像、（ｇ）はフレーム補間処理済み補正画像、をそれぞれ示している。なお、図１５（ｃ）及び図１６（ｃ）では、閃光の発光タイミングの基礎となる声帯振動の波形を示している。図１５（ｃ）は、声帯振動周波数Ｆｖが比較的大きい場合の閃光タイミングを示しており、図１６（ｃ）は、声帯振動周波数Ｆｖが小さい場合（例えばＦｖ＝６３Ｈｚ）の閃光タイミングを示している。
合成画像に対する後処理についての第２の態様は、上記処理Ｐｃ１と上記処理Ｐｃ３を組み合わせた処理である。
この第２の態様を実装した場合のシステム構成を図１４に示す。図１４に示すように、第２の態様では、図１に示したプロセッサ２０において、合成部２４と画像出力処理部２５の間に、増幅処理部５１と補間処理部５３をさらに含む。
図１５～図１７はそれぞれ、合成画像に対する後処理についての第２の態様が適用される場合の画像処理を説明する図である。図１５～図１７の各図において、（ａ）はＣＭＯＳイメージセンサ１４の垂直同期信号Ｖｓｙｎｃ、（ｂ）はＣＭＯＳイメージセンサ１４の動作（ＣＭＯＳ動作）、（ｃ）は閃光Ｌ、（ｄ）はＣＭＯＳイメージセンサ１４によって取得される撮像画像、（ｅ）は合成画像、（ｆ）はデジタルゲイン付与後補正画像、（ｇ）はフレーム補間処理済み補正画像、をそれぞれ示している。なお、図１５（ｃ）及び図１６（ｃ）では、閃光の発光タイミングの基礎となる声帯振動の波形を示している。図１５（ｃ）は、声帯振動周波数Ｆｖが比較的大きい場合の閃光タイミングを示しており、図１６（ｃ）は、声帯振動周波数Ｆｖが小さい場合（例えばＦｖ＝６３Ｈｚ）の閃光タイミングを示している。
【0065】
図１５を参照すると、図１５（ａ），（ｂ）に示すように、垂直同期信号Ｖｓｙｎｃに同期してＣＭＯＳイメージセンサ１４がフレーム単位でローリングシャッタ方式により露光を開始する。図１５（ｄ）に示すように、現在フレームを基準とすると、閃光Ｌ１に対して２フレーム前の撮像画像として下側画像ＩＭ＿Ｌ１が得られ、閃光Ｌ１に対して１フレーム前の撮像画像として上側画像ＩＭ＿Ｌ１ａが得られ、閃光Ｌ２に対して１フレーム前の撮像画像として下側画像ＩＭ＿Ｌ２が得られ、閃光Ｌ２に対して現在フレームの撮像画像として上側画像ＩＭ＿Ｌ２ａが得られる。図１５（ｅ）に示すように、現在フレームの合成画像は、下側画像ＩＭ＿Ｌ２と上側画像ＩＭ＿Ｌ２ａを合成した画像であるが、この合成画像には、境界画像において水平方向の黒線が目立つ状態となっている。
【0066】
図１６を参照すると、図１５と同様に、垂直同期信号Ｖｓｙｎｃに同期してＣＭＯＳイメージセンサ１４がフレーム単位でローリングシャッタ方式により露光を開始する。図１６では、図１５の場合よりも声帯振動周波数Ｆｖが小さく、図１５の場合と閃光Ｌ１，Ｌ２の発光タイミングが異なる。そのため、図１６（ｄ）に示すように、現在フレームを基準とすると、閃光Ｌ１に対して３フレーム前の撮像画像として下側画像ＩＭ＿Ｌ１が得られ、閃光Ｌ１に対して２フレーム前の撮像画像として上側画像ＩＭ＿Ｌ１ａが得られ、閃光Ｌ２に対して１フレーム前の撮像画像として下側画像ＩＭ＿Ｌ２が得られ、閃光Ｌ２に対して現在フレームの撮像画像として上側画像ＩＭ＿Ｌ２ａが得られる。図１６（ｅ）に示すように、現在フレームの合成画像は、下側画像ＩＭ＿Ｌ２と上側画像ＩＭ＿Ｌ２ａを合成した画像であるが、この合成画像には、図１５の場合と同様に境界画像において水平方向の黒線が目立つ状態となっている。
【0067】
図１７は、図１５及び図１６とは異なり、現在フレームより１フレーム前の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されなかった場合の画像処理である。この例では、図１７（ｄ）に示すように、現在フレームを基準とすると、閃光Ｌ１に対して３フレーム前の撮像画像として下側画像ＩＭ＿Ｌ１が得られ、閃光Ｌ１に対して２フレーム前の撮像画像として上側画像ＩＭ＿Ｌ１ａが得られ、閃光Ｌ２に対して２フレーム前の撮像画像として下側画像ＩＭ＿Ｌ２が得られ、閃光Ｌ２に対して１フレーム前の撮像画像として上側画像ＩＭ＿Ｌ２ａが得られる。図１７（ｅ）に示すように、現在フレームの合成画像は、下側画像ＩＭ＿Ｌ２と上側画像ＩＭ＿Ｌ２ａを合成した画像であるが、この合成画像には、図１５及び図１６の場合と同様に境界画像において水平方向の黒線が目立つ状態となっている。
【0068】
図１４に示した増幅処理部５１は、合成部２４によって生成された現在フレームの合成画像のうち境界画像の各ラインの各画素の画素値（デジタル値）を増幅することでデジタルゲイン付与後補正画像（図１５（ｆ）～図１７（ｆ））を生成する。これにより、境界画像の各ラインの各画素の輝度が増加し、境界画像において水平方向の黒線が目立ち難くなる。この点は、図９の第１の態様と同じである。
【0069】
図１４に示した補間処理部５３は、現在フレームの合成画像のうち境界画像の各ライン、又は、境界画像の各ラインに加え、境界画像と上側画像が隣接する隣接位置より上の所定数のラインと境界画像と下側画像が隣接する隣接位置より下の所定数のラインとを含む複数のラインの各ラインを対象ラインとして、現在フレームと２フレーム前又は３フレーム前の過去フレームとの間で補間処理を行う。具体的には、補間処理部５３は、フレームバッファ２３に格納されている２フレーム前及び３フレーム前の撮像画像を読み出し、以下のようにフレーム補間処理を行う。
【0070】
補間処理部５３は、図１５及び図１６に示すように、現在フレームより１フレーム前の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいて閃光が発光された場合、現在フレームの合成画像のうち各対象ラインに含まれる画素の画素値を、現在フレームの合成画像の対応する画素の画素値と、２フレーム前の撮像画像（図１５では下側画像ＩＭ＿Ｌ１、図１６では上側画像ＩＭ＿Ｌ１ａ）の対応する画素の画素値と、を加重平均して算出する。
【0071】
補間処理部５３は、図１７に示すように、現在フレームより１フレーム前の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されなかった場合、現在フレームの合成画像のうち各対象ラインに含まれる画素の画素値を、現在フレームの合成画像の対応する画素の画素値と、３フレーム前の撮像画像の対応する画素の画素値と、を加重平均して算出する。図１７に示した例では、現在フレームの合成画像に対して、３フレーム前の撮像画像である下側画像ＩＭ＿Ｌ１をフレーム補間の基礎とする。
以上説明したように、フレーム補間処理を行うことで、境界画像において水平方向の黒線を目立ち難くさせつつ、動画として見た場合の違和感を生じなくさせることができる。
以上説明したように、フレーム補間処理を行うことで、境界画像において水平方向の黒線を目立ち難くさせつつ、動画として見た場合の違和感を生じなくさせることができる。
【0072】
次に、図１８～図２０を参照して、合成画像に対する後処理についての第２の態様における具体的な設定例について説明する。
図１８～図２０の各図において、（ａ）は境界画像の各ラインの各画素に対するデジタルゲインの設定、（ｂ）は閃光プロファイル、（ｃ）は、補間処理における直前フレーム比率と現在フレーム比率、をそれぞれ示している。なお、図１８～図２０の（ａ），（ｂ）はそれぞれ、図１１～図１３の（ａ），（ｂ）と同じである。
図１８～図２０の（ｃ）において、「現在フレーム比率」とは、フレーム補間の基礎とする現在フレームの合成画像に含まれる注目画素の画素値の、全体の画素値に対する重み（又は比率）（％）である。「直前フレーム比率」とは、フレーム補間の基礎とする直前のフレームの撮像画像の上記注目画素の画素値の、全体の画素値に対する重み（又は比率）（％）である。
ここで、「直前のフレーム」とは、現在フレームより１フレーム前の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいて閃光が発光された場合には、現在フレームより２フレーム前のフレームであり、現在フレームより１フレーム前の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されなかった場合には、３フレーム前のフレームである。
図１８～図２０の各図において、（ａ）は境界画像の各ラインの各画素に対するデジタルゲインの設定、（ｂ）は閃光プロファイル、（ｃ）は、補間処理における直前フレーム比率と現在フレーム比率、をそれぞれ示している。なお、図１８～図２０の（ａ），（ｂ）はそれぞれ、図１１～図１３の（ａ），（ｂ）と同じである。
図１８～図２０の（ｃ）において、「現在フレーム比率」とは、フレーム補間の基礎とする現在フレームの合成画像に含まれる注目画素の画素値の、全体の画素値に対する重み（又は比率）（％）である。「直前フレーム比率」とは、フレーム補間の基礎とする直前のフレームの撮像画像の上記注目画素の画素値の、全体の画素値に対する重み（又は比率）（％）である。
ここで、「直前のフレーム」とは、現在フレームより１フレーム前の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれかのラインにおいて閃光が発光された場合には、現在フレームより２フレーム前のフレームであり、現在フレームより１フレーム前の露光開始時刻にＣＭＯＳイメージセンサ１４のいずれのラインにおいても閃光が発光されなかった場合には、３フレーム前のフレームである。
【0073】
一実施形態では、補間処理部５３は、境界画像のライン方向の中央において過去フレーム（つまり、２フレーム前又は３フレーム前）の撮像画像の対応する画素の画素値に対する重みが最大となり、中央から上下に離れるにつれて過去フレームの撮像画像の対応する画素の画素値に対する重みが低下するように、加重平均の重みを設定する。例えば図１８（ｃ）では、境界画像のライン方向の中央において直前フレーム比率が最大（８０％）となり、中央から上下に離れるにつれて直前フレーム比率が低下するように設定した例が示される。
このように直前フレーム比率を設定する理由は以下のとおりである。すなわち、一般的に閃光プロファイルは、発光の開始から発光強度が徐々に立ち上がり、発光の終了に向かって発光強度が徐々に立ち下がる特性となるため、設定されるデジタルゲインは、閃光プロファイルにおいて発光強度が最も高い中央における露光量の低下を補償すべく、例えば図１８（ａ）に示すように、閃光プロファイルの中央に対応するライン（すなわち、境界画像の中央のライン）が最も大きくなる。その際、境界画像の中央のラインでは、デジタルゲインを大きくしたことでノイズも増幅されるため、この増幅されたノイズが観察者に与える違和感を軽減させるために、境界画像の中央にいくほど直前フレーム比率が大きくなるように設定されている。
このように直前フレーム比率を設定する理由は以下のとおりである。すなわち、一般的に閃光プロファイルは、発光の開始から発光強度が徐々に立ち上がり、発光の終了に向かって発光強度が徐々に立ち下がる特性となるため、設定されるデジタルゲインは、閃光プロファイルにおいて発光強度が最も高い中央における露光量の低下を補償すべく、例えば図１８（ａ）に示すように、閃光プロファイルの中央に対応するライン（すなわち、境界画像の中央のライン）が最も大きくなる。その際、境界画像の中央のラインでは、デジタルゲインを大きくしたことでノイズも増幅されるため、この増幅されたノイズが観察者に与える違和感を軽減させるために、境界画像の中央にいくほど直前フレーム比率が大きくなるように設定されている。
【0074】
一実施形態では、補間処理部５３は、境界画像と上側画像が隣接する隣接位置にあるライン、及び／又は、境界画像と下側画像が隣接する隣接位置にあるラインに含まれる画素の画素値に対する重みが最大となり、隣接位置から上下に離れるにつれて過去フレーム（つまり、２フレーム前又は３フレーム前）の撮像画像の対応する画素の画素値に対する重みが低下するように、加重平均の重みを設定してもよい。
【0075】
一実施形態では、補間処理部５３は、補間処理の対象ラインに含まれる画素に適用される加重平均の重みを閃光プロファイルに応じて設定する。
図１８～図２０はそれぞれ異なる閃光プロファイルを示しており、この閃光プロファイルに応じて、各図の（ｃ）に示す直前フレーム比率と現在フレーム比率がそれぞれ異なっている。閃光プロファイルに応じて比率を調整することで、より違和感のない合成画像を生成することができる。
図１８～図２０はそれぞれ異なる閃光プロファイルを示しており、この閃光プロファイルに応じて、各図の（ｃ）に示す直前フレーム比率と現在フレーム比率がそれぞれ異なっている。閃光プロファイルに応じて比率を調整することで、より違和感のない合成画像を生成することができる。
【0076】
以上説明したように、電子内視鏡システム１では、被写体の撮像をローリングシャッタ方式で行うように構成されたＣＭＯＳイメージセンサ１４を有する電子スコープ１０と、被写体をストロボ撮影するために閃光を発光する光源装置２８を有するプロセッサ２０と、を備える。光源装置２８は、ある閃光の閃光終了時刻から次の閃光の閃光開始時刻までの期間が、少なくとも１フレーム期間に亘って閃光の発光を禁止する閃光禁止期間より長くなるようにして、閃光を発光する。プロセッサ２０は、光源装置２８による閃光の発光タイミングに基づいて、ＣＭＯＳイメージセンサ１４によって得られたフレーム単位の撮像画像を処理して合成画像を生成し、合成画像を基にモニタ表示用の画面データを生成する。
すなわち、電子内視鏡システム１では、少なくとも１フレーム期間に亘って閃光の発光を禁止する閃光禁止期間が設定されている。そして、一発の閃光の照射期間である閃光照射期間の長さは、閃光同士の間隔である閃光禁止期間の長さを１フレーム期間以上とする限り、自由に設定することができる。そのため、十分な光量によってストロボスコピーを実現することができる。
すなわち、電子内視鏡システム１では、少なくとも１フレーム期間に亘って閃光の発光を禁止する閃光禁止期間が設定されている。そして、一発の閃光の照射期間である閃光照射期間の長さは、閃光同士の間隔である閃光禁止期間の長さを１フレーム期間以上とする限り、自由に設定することができる。そのため、十分な光量によってストロボスコピーを実現することができる。
【0077】
電子内視鏡システム１では、図３～図７に例示したように、閃光の発光タイミング次第では、ＣＭＯＳイメージセンサ１４の露光開始時刻のいずれかのラインにおいて閃光が発光されることを許容している。そのため、フレームレートの低下を抑制できる上、光源装置２８をＣＭＯＳイメージセンサ１４の同期信号（Ｖｓｙｎｃ等）に同期して発光動作させる必要がない。
その一方で、合成画像を生成する際には、ＣＭＯＳイメージセンサ１４によって得られた上側画像と下側画像を合成するため、上側画像と下側画像の境界である境界画像に対応する水平方向の黒線が生ずる場合がある。この水平方向の黒線は、境界画像に対してデジタルゲイン付与処理、空間フィルタ処理、及び、フレーム補間処理のうち少なくともいずれかの処理を行うことで目立たなくすることができる。
なお、本実施形態とは異なり、１フレーム期間内においてすべてのラインに共通の露光期間を設定する疑似グローバルシャッタ方式でＣＭＯＳイメージセンサを動作させた場合、画像の合成処理は必要ないが、ＣＭＯＳイメージセンサにおける読み出し速度の低下を余儀なくされ、フレームレートの低下を抑制することができない。
その一方で、合成画像を生成する際には、ＣＭＯＳイメージセンサ１４によって得られた上側画像と下側画像を合成するため、上側画像と下側画像の境界である境界画像に対応する水平方向の黒線が生ずる場合がある。この水平方向の黒線は、境界画像に対してデジタルゲイン付与処理、空間フィルタ処理、及び、フレーム補間処理のうち少なくともいずれかの処理を行うことで目立たなくすることができる。
なお、本実施形態とは異なり、１フレーム期間内においてすべてのラインに共通の露光期間を設定する疑似グローバルシャッタ方式でＣＭＯＳイメージセンサを動作させた場合、画像の合成処理は必要ないが、ＣＭＯＳイメージセンサにおける読み出し速度の低下を余儀なくされ、フレームレートの低下を抑制することができない。
【0078】
図１に示した電子内視鏡システム１では、光源装置２８がプロセッサ２０に内蔵されているため、タイミング制御回路２７から合成部２４に発光タイミング信号を送信する処理が容易となる利点があるが、図２１及び図２２に示すように、他の構成を採ることもできる。図２１及び図２２の各図では、図１のシステムに含まれる部分と同一の部分について同一の符号を付している。
【0079】
図２１の電子内視鏡システム１Ａは、光源装置を電子スコープに内蔵させた場合の実施形態を示している。図２１に示すように、電子内視鏡システム１Ａは、電子スコープ１０Ａとプロセッサ２０Ｂを備え、電子スコープ１０Ａは、図１に示した電子スコープ１０と比較すると、タイミング制御回路２７及び光源装置２８を備えている点で電子スコープ１０と異なる。この構成では、電子スコープ１０Ａは、自身で設定するフレーム期間を基に閃光禁止期間の長さを設定できる。
【0080】
図２２の電子内視鏡システム１Ｂは、電子スコープと、プロセッサと、光源装置とを、それぞれ別装置とした場合の実施形態を示している。図２２に示すように、電子内視鏡システム１Ｂは、電子スコープ１０、プロセッサ２０Ｂ、及び、光源システム５０を備える。このシステムでは、プロセッサ２０Ｂは、光源システム５０のタイミング制御回路２７に対して発光禁止期間の長さに関するデータを通知するＣＰＵ２９を有する。ＣＰＵ２９は、当該データを電子内視鏡システム１Ｂの起動時に１回だけ通知すればよい。
【0081】
以上、本発明の撮像システム及び電子内視鏡システムについて詳細に説明したが、本発明の撮像システム及び電子内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【0082】
１，１Ａ，１Ｂ…電子内視鏡システム
１０，１０Ａ…電子スコープ
１１…ＬＣＢ
１２…配光レンズ
１３…対物レンズ
１４…ＣＭＯＳイメージセンサ
１５…ＣＭＯＳドライバ
２０，２０Ａ，２０Ｂ…プロセッサ
２１…システムコントローラ
２２…画像入力処理部
２３…フレームバッファ
２４…合成部
２５…画像出力処理部
２６…操作パネル
２７…タイミング制御回路
２８…光源装置
２９…ＣＰＵ
３０…モニタ
３１…音声処理回路
３２…周波数検出回路
４０…マイクロフォン
５０…光源システム
５１…増幅処理部
５２…フィルタ処理部
５３…補間処理部
１０，１０Ａ…電子スコープ
１１…ＬＣＢ
１２…配光レンズ
１３…対物レンズ
１４…ＣＭＯＳイメージセンサ
１５…ＣＭＯＳドライバ
２０，２０Ａ，２０Ｂ…プロセッサ
２１…システムコントローラ
２２…画像入力処理部
２３…フレームバッファ
２４…合成部
２５…画像出力処理部
２６…操作パネル
２７…タイミング制御回路
２８…光源装置
２９…ＣＰＵ
３０…モニタ
３１…音声処理回路
３２…周波数検出回路
４０…マイクロフォン
５０…光源システム
５１…増幅処理部
５２…フィルタ処理部
５３…補間処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】