特許 5896558 フリッカー抑圧装置及び高速度カメラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5896558

(24)【登録日】2016年3月11日

(45)【発行日】2016年3月30日

(54)【発明の名称】フリッカー抑圧装置及び高速度カメラ

(51)【国際特許分類】

   H04N 5/235 20060101AFI20160317BHJP

   H04N 5/232 20060101ALI20160317BHJP

【ＦＩ】

   H04N5/235

   H04N5/232 Z

【請求項の数】3

【全頁数】9

(21)【出願番号】特願2012-49063(P2012-49063)

(22)【出願日】2012年3月6日

(65)【公開番号】特開2013-187603(P2013-187603A)

(43)【公開日】2013年9月19日

【審査請求日】2015年2月25日

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(72)【発明者】

【氏名】梶村 佳弘

(72)【発明者】

【氏名】小野寺 秀夫

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特表２００２−５０６６０１（ＪＰ，Ａ）

【文献】 特開２００１−１１１８８７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

照明の明滅周期より短い畜光時間で高速撮影された映像のフリッカを抑圧するフリッカ抑圧装置において、該映像の信号レベルが変動するフリッカー現象の周期の整数倍に略一致させて該信号レベルの変動パターンを抽出するフィルタ手段と、抽出した変動パターンをもとに画像の信号レベルを一定に補正する補正手段と、を備え、
該フィルタ手段は、フィールド単位で取得した、前記補正手段による補正の前の前記信号レベルと、該フィルタ手段のＭ（Ｍは整数）回前の出力とを所定の重みで合成して出力するリカーシブフィルタであり、該Ｍは、撮影時のフィールド周波数を、フィールド周波数と光源フリッカー周波数の公約数で割った数であって、複数の異なる光源フリッカー周波数に対して共通の数に設定し、
前記補正手段は、前記フィルタにより抽出した連続するＭフィールド分の信号レベルから求めたＭフィールド平均値と、補正対象のフィールドよりＭフィールド前の信号レベルとに基づいて、補正対象の信号レベルが該Ｍフィールド平均値と同じになるよう補正することを特徴とするフリッカー抑圧装置。

【請求項2】

前記Ｍは１８であり、前記フィルタ手段は、１８段のレジスタを有し、前記所定の重みで合成した出力を前記レジスタに入力し、
前記補正手段は、前記Ｍフィールド平均値を、前記レジスタから出力された信号で除算した値を補正係数とし、該補正係数を前記補正対象のフィールドの映像信号に乗算することで前記補正をすることを特徴とする請求項１記載のフリッカ抑圧装置。

【請求項3】

前記補正の前の前記信号レベルには、１フィールドを複数に分割した小領域毎に映像信号を累積加算したときの、それらの最大値を用いることを特徴とする請求項２記載のフリッカ抑圧装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フリッカー抑圧装置に関し、特に高速度カメラを用いて撮影したスローモーション映像に存在する、放電型照明等に起因するフリッカーの影響を抑圧するフリッカー抑圧装置及びその方法に関する。

【背景技術】

【0002】

従来、スローモーションカメラ又はハイスピードカメラと呼ばれるカメラシステムが知られる（例えば、特許文献１及び２参照。）。
このようなカメラシステムでは、通常よりも短い畜光時間で撮影した映像信号を通常速度で再生するため、被写体を照らす照明装置の明滅周期に比べ畜光周期（フィールド周期又はフレーム周期）が短くなり、顕著なフリッカー現象を起こしてしまう。このためフリッカーを抑圧する方法が提案されている（例えば、特許文献３参照。）。

【0003】

なお、通常のフレームレートのカメラにおいても、各種のフリッカー抑圧方法が知られる（例えば、特許文献４乃至７参照。）が、特許文献４又は５のように、映像信号のレベル変動を検出し、変動に応じてＣＣＤのシャッター時間を調整する方法が一般的である。つまり、畜光周期が照明の明滅周期よりある程度長ければ、電子シャッターにより蓄積時間を照明の明滅周期に合わせることができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０００−１８８７０３号公報

【特許文献2】特開２００５−２９５４２３号公報

【特許文献3】特開平０５−１９１７１１号公報

【特許文献4】特開平０６−２０９４２７号公報

【特許文献5】特開平０８−１１６４９２号公報

【特許文献6】特開平１−２５３３６９号公報

【特許文献7】特公平３−０７４５５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、上記の特許文献３の技術では、ＣＣＤ撮像素子を通常より多くカメラに実装する必要があり装置の規模が大きくなる問題がある。
またハイスピードカメラでは通常のカメラと比べ３〜１０倍のスピードでの撮影が主になることから、ＣＣＤシャッタースピードを制御するための、ドライブ回路、移相回路、位相制御回路なども３〜１０倍の高速で駆動する必要があり、アナログ回路、デジタル回路の時間応答特性に対する要求が厳しくなる。従って上記の特許文献４又は５の技術をハイスピードカメラへ転用することは容易ではないことが想像できる。

【課題を解決するための手段】

【0006】

本発明の一つの側面は、ＣＣＤのようなグローバルシャッター方式の撮像素子を用いたカメラで撮影した映像の性質を利用したフリッカー抑圧方法である。グローバルシャッターの場合、フリッカーによる映像信号レベルは、撮影周期の１フィールド期間内では一定となり、ＭフィールドでＮ回変動するという周期性を持つ。ここでＭ、Ｎはカメラのフィールド周波数と照明変動周波数（光源フリッカー周波数）を、それらの最大公約数でそれぞれを割った数で求められる。例えばフィールド周波数１８０Ｈｚ、照明変動周波数１００Ｈｚであれば、最大公約数は２０となり、Ｍ＝１８０÷２０＝９、Ｎ＝１００÷２０＝５となる。
よって、Ｍ個のレジスタにＮ周期分のフリッカーパターン（信号レベル）を記憶すれば、Ｍフィールドに渡っての信号レベルの平均値を求めることができ、その平均値と、Ｎ周期前のフィールドの信号レベルの乖離を求めて、現在の信号レベルに逆補正をかければ、フリッカーを抑圧することができる。
フリッカーパターンをレジスタに記憶させる際には、現在の入力信号とＮ周期前の信号とでリカーシブフィルタを形成して、フリッカーパターン以外の信号レベルの変化（例えば被写体の動きによって信号レベルが変化する場合など）を省くことで、フリッカーパターンの抽出精度を上げることができる。

【発明の効果】

【0007】

本発明によれば、簡単なデジタル信号処理を用いて、フリッカーのある光源を使った撮影に起因するカメラ映像のレベル変化を補正し、フリッカーによるちらつきの無い、または少ない映像信号を提供することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る映像信号処理装置のブロック図

【図2】図１の映像信号処理装置の映像信号処理タイミング図（光源１００Ｈｚ）

【図3】図１の映像信号処理装置の映像信号処理タイミング図（光源１２０Ｈｚ）

【図4】リカーシブフィルタ演算部１０２の内部ブロック図

【図5】実施例１の映像信号処理装置の利得制御部１０７’の内部ブロック図

【図6】時間経過に対する重み値ａの変化を示す図

【図7】リカーシブ係数Ｋ＝０．２のリカーシブフィルタの、階段関数に対する応答を示すグラフ

【発明を実施するための形態】

【0009】

先に述べたとおり、ＣＣＤ撮像素子はグローバルシャッター方式により動作するので、フリッカーのある光源による撮影を行った場合、フィールド間での信号レベルの変動のみを考慮すればよい。
本発明の実施形態では、フィールド間の信号レベルの変動を補正する。特に、デジタル信号処理によりフリッカー成分の抽出から信号補正までを行うことで、簡単な構成でフリッカー抑圧機能を実現する。

【0010】

図１は、本発明の実施形態に係る映像信号処理装置のブロック図である。
ＣＣＤ撮像素子からの映像信号は、デジタル信号として１フィールド積算回路１０１と可変利得制御部１０７へ入力される。
１フィールド積算回路１０１は、映像信号を１フィールド期間毎に累積加算し、信号レベルを表す１フィールド積算値としてリカーシブフィルタ演算部１０２に出力する。１フィールド積算回路１０１は或いは、１フィールドを複数に分割した小領域毎に累積加算し、それらの最大値を１フィールド積算値として出力してもよい。

【0011】

リカーシブフィルタ演算部１０２は、１フィールド積算回路１０１から入力された最新の１フィールド積算値と、Ｍ段レジスタ１０３から戻ってきたＭフィールド前の自身の出力値とを、所定の比率（Ｋ）で加算し、Ｍ段レジスタ１０３へ出力する。リカーシブフィルタ演算部１０２の出力は、フリッカーパターン内の特定のフィールドのために平滑化されたレベル値を表す。
Ｍ段レジスタ１０３は、遅延素子を直列にＭ段以上つないで構成したレジスタ群であり、フィールド周期でシフト動作することで、リカーシブフィルタ演算部１０２から入力された平滑レベル値を、Ｍ個（最新フィールドの１つ前からＭ個前まで）保持し、Ｍフィールド前の保持値をリカーシブフィルタ演算部１０２と切り替えＳＷ（スイッチ）１０４へ出力し、保持しているＭ個の平均レベル値を平均値算出部１０５へ出力する。
リカーシブフィルタ演算部１０２とＭ段レジスタ１０３とにより、リカーシブフィルタが構成される。

【0012】

切り替えＳＷ１０４は、Ｍ段レジスタ１０３からの保持値と、平均値算出部からの平均値の、どちらか一方を選択して、補正係数演算部１０６に出力する。切り替えＳＷ１０４は、通常はＭ段レジスタ１０３からの保持値を選択する。
平均値算出部１０５は、Ｍ段レジスタ１０３に記憶されたＭ個の１フィールド積算値の平均値（Ｍフィールド平均値）を求める。

【0013】

補正係数演算部１０６は、Ｍ段レジスタ１０３からのＭフィールド前（照明変動ではＮ周期前に相当）の平滑レベル値と、平均値算出部１０５から入力されたＭフィールド平均値に基づき、補正係数値を演算する。一例として、補正係数値は、（Ｍフィールド平均値÷Ｍフィールド前の平滑レベル値）により算出される。補正係数を求める際、映像信号が小さくなると除算回路で演算エラーを起こす場合があり、信号レベル（平滑レベル値）がある閾値を下回る場合には演算を止めるか、除算回路の除数を被除数と同じにする、切り替えスイッチの機能１０４を設けることでエラーを回避する。
可変利得制御部１０７は、映像信号に、補正係数演算部１０６で求めた補正係数による補正（映像信号×補正係数）を行い、フリッカーによるフィールド間の信号変動を抑圧させる。その際、信号レベルが小さい（光量不足、レンズ絞り、等々）場合には、アナログノイズの影響や、量子化ノイズの影響でフリッカーパターンの推定誤差が大きくなる。このとき、映像の輝度は小さくフリッカーも目立たなくなるため、先に述べた演算エラーを回避する意味もあって、映像信号レベルがある閾値を下回るときは、Ｋ＝１としてフリッカーパターンの推定自体を止める。

【0014】

図２及び図３は、本例の映像信号処理装置の映像信号処理タイミング図である。図２と図３とで、フィールド周波数は１８０Ｈｚで共通であるが、光源（照明）はそれぞれ１００Ｈｚと１２０Ｈｚである。
最上段に示す光強度は、殆どの照明器具（水銀灯やＬＥＤなどを含む）で、電源周波数の２倍の周波数で変動する。
２段目に示す映像信号のレベルは、光強度に応じて変動する。図２の場合は、Ｍ＝９、Ｎ＝５なので、映像信号は９フィールド周期で同じパターンを繰り返すように変動する。またその間に、光強度は５周期分変動する。
３段目に示すレジスタ保持値は、その時点でＭ段レジスタ１０３が保持している最新の平滑レベル値を示す。つまり映像信号のField1の１フィールド積算値は、Field1の終了直後に得られ、リカーシブフィルタ演算部１０２で処理されて、Field2のタイミングで＃1としてＭ段レジスタ１０３に保持される。同様にして＃9が保持された時点では、そこから左側（古い側）の少なくともＭ個（＃9自体も含む）の平滑レベル値が保持されており、Ｍフィールド平均値の算出に利用可能である。

【0015】

なお図３に示すように、フィールド周波数１８０Ｈｚ、光源周波数が１２０Ｈｚというケースも考えられ、その際は３フィールド期間中に２周期の照明変動によるフィールド信号の変動が起きるが、これは９フィールド期間中に６周期のフリッカーによるフィールド信号の変動が起きることと同義であるから、レジスタの段数は９段（Ｍ＝９）とすれば、光源フリッカー周波数１００Ｈｚ、１２０Ｈｚどちらにも対応できる。
また、カメラの撮影コマ数が毎秒１５０フィールドの場合でも、Ｍ＝１５、Ｎ＝１２とすれば、同様に光源のフリッカー周波数１００Ｈｚ、１２０Ｈｚどちらでも対応ができる。フィールド信号の算出時間を勘案すれば、９段のレジスタでは信号処理のタイミングが間に合わないので、Ｍ段レジスタ１０３には１８段のレジスタを用意する。

【0016】

図２及び図３の例では、Ｍフィールド平均値に代えて２Ｍフィールド平均値を算出しており、Field1の１フィールド積算値を反映したレジスタ値＃1が、２Ｍフィールド後のfield19で利得制御に使われる。しかし、平均値の算出方法の工夫により、field10の利得制御に適用することもできる。
すなわち、利得制御の対象をfield10としたとき、Ｍフィールド前の保持値（field2の＃1）を中心にして、前後にＭ／２フィールド個の範囲からＭ個（＃15〜＃５）を取り出して平均化する。この方法では、用いる平滑レベル値に対応する時刻のＭフィールド平均値を求めることができ、（フリッカー以外の）緩やかな輝度変動があっても、補正係数の推定精度を維持できる。

【0017】

図４は、リカーシブフィルタ演算部１０２の内部ブロック図である。乗算回路４０１は、係数Ｋを１フィールド積算回路１０１からの１フィールド積算値に乗算し、乗算回路４０４は、係数（１−Ｋ）をＭ段レジスタ１０３からの戻り値に乗算する。加算器４０５は、乗算回路４０１と４０５各々の乗算結果を加算し、その結果をリカーシブフィルタ出力として、Ｍ段レジスタ１０３に送る。
ここで、係数（１−Ｋ）を大きくすることで、リカーシブフィルタの時定数が遅くなり、周期性のある信号のみを抽出することが可能となり、被写体の動きといった、照明のフリッカーと関係のない変動を除外することができる。

【0018】

以上説明した実施形態では、Ｍ段レジスタ１０３の段数Ｍは、１秒あたりの撮影コマ数に応じて変更する必要がある。Ｍの設定は、映像信号処理装置をカメラ或いはＣＣＵ（Camera Control Unit）に内蔵する場合はその撮影コマ数の設定に自動的に連動させて行うことができる。フィールド周波数と光源フリッカー周波数の公約数として適当な整数が見つからない場合、Ｍはそれらの最小公倍数に設定してもよい。
また、フリッカー成分の抽出から信号補正までの処理は、映像信号の各チャンネル（Ｒｃｈ、Ｇｃｈ、Ｂｃｈ）に対してそれぞれ行ってもよく、或いは輝度信号（Ｙ）が利用できるのであれば輝度信号から抽出し、各チャンネル（Ｒｃｈ、Ｇｃｈ、Ｂｃｈ）または全成分（Ｙ、Ｐ_Ｂ、Ｐ_Ｒ）に信号補正を施してもよい。また、補正係数演算までの処理を撮影時に（リアルタイムに）行い、得られた補正係数を映像信号と一緒に（例えば、図2の＃1から得られる補正係数とField1の映像信号を対応付けて））記憶しておき、それを読み出して通常速度で再生するときに信号補正しても良い。

【0019】

本実施形態によるフリッカー抑圧は、フレームメモリ等を必要とせず極めて小さなハードウェア規模で構成でき、既存の機器への組込みも容易である。高速度カメラに内蔵した場合、本例の映像信号処理装置はカメラで行う各種映像信号処理の前、後、或いは途中の任意箇所で行ったり、組み合わせたりすることができ、一例としてシェーディング処理の後に始め、ガンマ補正の前までに終わらせる（すなわち、１フィールド積算回路１０１に入力される信号にディテールや色マスキング等の処理をしてから可変利得制御部１０７に入力しても良い）。あるいはデジタルＡＧＣ処理を本例の映像信号処理装置の内側または後で行うことで、実際の照明変動が想定値（１００Ｈｚ）から若干ずれていても、それによる緩やかなレベル変動はＡＧＣ処理で除去できる。或いは、本例の１フィールド積算回路１０１を、Ａ／Ｄ変換前の映像信号をフィールド周期にＡ／Ｄ変換する積分型Ａ／Ｄとして構成し、可変利得制御部１０７を、Ａ／Ｄ変換前の映像信号を指定された利得で増幅或いは減衰するプログラマブルアンプ或いはデジタルポテンショメータとして構成し、リカーシブフィルタ演算部１０２から補正係数演算部１０６までをＤＳＰ（Digital Signal Processor）等のプログラム実行手段で構成してもよい。

【実施例1】

【0020】

実施例１の映像信号処理装置を図５乃至７を参照して説明する。
本例の映像信号処理装置は、補正係数を時間経過に従い連続的に遷移させる利得制御部１０７’を備えた点で、先の実施形態と異なり、その他の構成は同様である。
すなわち、光量が少ない状態から多い（明るい）状態に急激に移ると、信号レベルが閾値を超えて補正係数の演算を再開した瞬間は、リカーシブフィルタでのフリッカーパターンの推定精度が低いため、誤った補正係数により、補正映像信号に不連続が生じる。
そこで、本例の利得制御部１０７’は、映像信号レベルが閾値を超えた時点から補正係数の割合を一次直線的に（図６参照）増加させることで、補正映像信号に生じる不連続を目立たなくする。

【0021】

図５は、実施例１の映像信号処理装置の利得制御部１０７’の内部ブロック図である。利得制御部１０７’では、乗算器５０３が、補正係数演算部１０６からの補正係数に、係数保持部５０４が保持する重み値（１−ａ）を乗算する。乗算器５０１が、何も補正しない補正係数に相当する１に、係数保持部５０１が保持する重み値（ａ）を乗算する。補正係数加算器５０５が、乗算器５０１の出力と乗算器５０３の出力とを加算する。そして乗算器５０６が、加算器５０５の出力を映像信号に乗算し、補正映像信号として出力する。

【0022】

図６は、時間経過に対する重み値ａの変化を示した図である。図６では、（１−ａ）も一緒に示しており、（１−ａ）の直線が立ち上がるタイミングは、映像信号レベルが閾値を上回ったタイミングである。閾値を上回った後は、値ａは、経過時間（フィールド数）に比例して１から減少して行き、０に達すると０を維持する。１から０に遷移する間の一次直線の傾きは、リカーシブフィルタによるフリッカーパターンの推定精度が高くなるまでの時間を考慮して決定する。

【0023】

図７は、リカーシブ係数Ｋ＝０．２としたリカーシブフィルタに入力する信号が０から１に変化した際に、リカーシブフィルタ出力の時間変化を示したグラフで、出力値が０．９９になる（推定精度９９％）になるまでに必要なフィルタのループ回数が２２回であることを示している。
本実施例に当てはめると、フリッカーパターンの推定を開始してから推定精度が９９％になるには、リカーシブ係数Ｋ＝０．２である場合、２２×Ｍフィールドの時間を要する。よって、図６の傾きを（１−ａ）＝１／２２Ｍフィールドとすればよい。

【0024】

このように本実施例によれば、光量の急激な変化に対応する挙動を改善することができる。なお上述の説明では、補正停止状態から重み値を滑らかに変えることで、補正係数が不連続にならないようにしたが、映像信号レベルが閾値を超えた時点からフリッカーパターンの推定精度が高くなるのを待った後に利得制御部１０７で補正処理を開始するようにしてもよい。

【産業上の利用可能性】

【0025】

本発明は、垂直走査周波数（フィールド周波数又はフレーム周波数）が被写体の明滅周波数（照明フリッカー周波数）より高くなるような条件で撮影された映像（コンピュータ画面等を撮影した映像も含む）や、３Ｈｚ以上垂直走査周波数以下の映像フリッカーが生じるような様態で再生される映像の信号などに広く適用でき、高速度カメラの他、１フレームの間に露出を変えて複数回撮像するカメラや、撮像素子を時分割共有する多眼カメラ（３Ｄカメラ）にも適用できる。また、そのようなカメラで撮影され記録された映像信号を編集するノンリニア編集機に、コンピュータプログラムとして組み込むことができる。

【符号の説明】

【0026】

１０１…１フィールド積算回路、１０２…リカーシブフィルタ演算部、１０３…Ｍ段レジスタ、１０４…切り替えＳＷ、１０５…平均値算出部、１０６…補正係数演算部、１０７…可変利得制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】