特許 6209533 フリッカ低減装置、撮像装置およびフリッカ低減方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6209533

(24)【登録日】2017年9月15日

(45)【発行日】2017年10月4日

(54)【発明の名称】フリッカ低減装置、撮像装置およびフリッカ低減方法

(51)【国際特許分類】

   H04N 5/235 20060101AFI20170925BHJP

【ＦＩ】

   H04N5/235 700

【請求項の数】11

【全頁数】19

(21)【出願番号】特願2014-550588(P2014-550588)

(86)(22)【出願日】2014年4月11日

(86)【国際出願番号】JP2014002087

(87)【国際公開番号】WO2014167865

(87)【国際公開日】20141016

【審査請求日】2017年2月23日

(31)【優先権主張番号】特願2013-83529(P2013-83529)

(32)【優先日】2013年4月12日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100101683

【弁理士】

【氏名又は名称】奥田 誠司

(74)【代理人】

【識別番号】100155000

【弁理士】

【氏名又は名称】喜多 修市

(74)【代理人】

【識別番号】100180529

【弁理士】

【氏名又は名称】梶谷 美道

(74)【代理人】

【識別番号】100125922

【弁理士】

【氏名又は名称】三宅 章子

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100188813

【弁理士】

【氏名又は名称】川喜田 徹

(74)【代理人】

【識別番号】100184985

【弁理士】

【氏名又は名称】田中 悠

(72)【発明者】

【氏名】渕上 郁雄

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 国際公開第２０１０／０５８５６７（ＷＯ，Ａ１）

【文献】 特開２００７−１５８９６４（ＪＰ，Ａ）

【文献】 特開２０１３−０１７２３８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３５

(57)【特許請求の範囲】

【請求項1】

撮像素子によって取得された画像信号中に含まれ、照明に起因するフリッカを前記画像信号から低減するフリッカ低減装置であって、
画像毎に、前記画像を構成する複数の水平ラインの一部の各水平ラインに含まれる画素値から前記各水平ラインのライン積分値を取得するライン積分値取得部と、
最新の画像および最新よりも以前に取得した複数の画像の間において、各画像の前記ライン積分値から構成されるライン積分値列に離散フーリエ変換を実行する離散フーリエ変換部と、
前記離散フーリエ変換の結果から得られる位相情報に基づいて近似直線を求め、前記近似直線から前記フリッカの情報を抽出する直線近似部と、
前記フリッカの情報に基づいてフリッカ係数を算出するフリッカ係数算出部と、
前記フリッカ係数を用いて前記画像信号にフリッカ低減処理を実行する補正演算部と、
を備えた、フリッカ低減装置。

【請求項2】

前記ライン積分値取得部は、
前記画像毎に、前記画像を構成する前記複数の水平ラインの各々に対して、前記ライン積分値を算出するライン積分部と、
前記ライン積分部の出力の中から、所定の条件を満たす画素値を有する画素の数が多い順番で第１の標本対象を抽出し、前記第１の標本対象に対応した水平ラインを前記複数の水平ラインの一部として決定するサンプリング部と、
を含む、請求項１に記載のフリッカ低減装置。

【請求項3】

前記ライン積分値は、各水平ラインに含まれる全ての画素値もしくは前記所定の条件を満たす画素値を積分した積分値、または前記積分値を前記水平ラインに含まれる画素数もしくは前記所定の条件を満たす画素値の画素数によって正規化した正規化値である、請求項２に記載のフリッカ低減装置。

【請求項4】

前記サンプリング部は、前記所定の条件を満たす画素値の数をカウントするカウンタを含み、前記カウンタが示すカウント値としきい値との関係に応じて前記第１の標本対象の中から第２の標本対象をさらに抽出して、前記第２の標本対象に対応した水平ラインを前記複数の水平ラインの一部として決定し、
前記直線近似部は、前記第２の標本対象に対応した水平ラインに基づいて前記フリッカの情報を抽出する、請求項３に記載のフリッカ低減装置。

【請求項5】

前記サンプリング部は、前記画像間での動きベクトルに基づいて、前記第１の標本対象の中から第２の標本対象をさらに抽出して、前記第２の標本対象に対応した水平ラインを前記複数の水平ラインの一部として決定し、
前記直線近似部は、前記第２の標本対象に対応した水平ラインに基づいて前記フリッカの情報を抽出する、請求項３に記載のフリッカ低減装置。

【請求項6】

前記離散フーリエ変換部は、商用電源の周波数と前記画像のフレームレートとに基づいてフリッカが現れる周波数の候補を推定し、前記周波数の候補に基づいて前記ライン積分値列に前記離散フーリエ変換を実行する、請求項１または２に記載のフリッカ低減装置。

【請求項7】

前記直線近似部は、前記近似直線の切片を前記フリッカの初期位相として検出し、前記近似直線の傾きから前記フリッカの周波数を検出する、請求項１から６のいずれかに記載のフリッカ低減装置。

【請求項8】

複数の画像分の前記ライン積分値を格納するメモリをさらに備える、請求項１から７のいずれかに記載のフリッカ低減装置。

【請求項9】

前記フリッカが前記画像信号中に存在するか否かを前記離散フーリエ変換の結果に基づいて判定するフリッカ検出部をさらに備え、
前記フリッカ検出部は、
前記離散フーリエ変換の結果から得られる振幅情報に基づいて前記周波数の候補での振幅の大きさを算出し、
前記周波数の候補での振幅の大きさを画像の直流成分での振幅の大きさで除算して得られる正規化振幅を算出し、
前記ライン積分値列に対応した各正規化振幅に基づいて代表値を決定し、前記代表値が所定値以上である場合、前記フリッカが存在すると判定し、前記代表値が所定値未満である場合、前記フリッカ低減処理を停止する命令を前記補正演算部に送信するように構成されている、請求項６に記載のフリッカ低減装置。

【請求項10】

画像信号中に含まれ、照明に起因するフリッカを前記画像信号から低減する撮像装置であって、
被写体を撮像して前記画像信号を生成する撮像素子と、
画像毎に、前記画像を構成する複数の水平ラインの一部の各水平ラインに含まれる画素値から前記各水平ラインのライン積分値を取得するライン積分値取得部と、
複数の画像分の前記ライン積分値を格納するメモリと、
最新の画像および最新よりも以前に取得した複数の画像の間において、各画像の前記ライン積分値から構成されるライン積分値列に離散フーリエ変換を実行する離散フーリエ変換部と、
前記離散フーリエ変換の結果から得られる位相情報に基づいて近似直線を求め、前記近似直線から前記フリッカの情報を抽出する直線近似部と、
前記フリッカの情報に基づいてフリッカ係数を算出するフリッカ係数算出部と、
前記フリッカ係数を用いて前記画像信号にフリッカ低減処理を実行する補正演算部と、
を備えた、撮像装置。

【請求項11】

撮像素子によって取得された画像信号中に含まれ、照明に起因するフリッカを前記画像信号から低減するフリッカ低減方法であって、
画像毎に、前記画像を構成する複数の水平ラインの一部の各水平ラインに含まれる画素値から前記各水平ラインのライン積分値を取得するステップと、
最新の画像および最新よりも以前に取得した複数の画像の間において、各画像の前記ライン積分値から構成されるライン積分値列に離散フーリエ変換を実行するステップと、
前記離散フーリエ変換の結果から得られる位相情報に基づいて近似直線を求め、前記近似直線から前記フリッカの情報を抽出するステップと、
前記フリッカの情報に基づいてフリッカ係数を算出するステップと、
前記フリッカ係数を用いて前記画像信号にフリッカ低減処理を実行するステップと
を包含する、フリッカ低減方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、照明の明滅に起因して撮影画像に明暗となって生じるフリッカを撮影画像の画像信号から低減する技術に関し、特に、ＣＭＯＳイメージセンサなどにおけるライン露光による撮像を行う撮像素子を用いた場合に生じるフリッカを撮影画像の画像信号から除去または低減する技術に関する。

【背景技術】

【0002】

蛍光灯（インバーターではないもの）により照らされた環境下においてビデオ撮影した場合、蛍光灯の交流電源周波数（５０Ｈｚや６０Ｈｚ）に起因して輝度信号が変化することにより、撮影画像に明暗が生じる。この現象は一般にフリッカと呼ばれる。フリッカを低減する技術の分野において、例えば特許文献１が知られている。

【0003】

特許文献１に開示された撮像装置では、フレーム内の水平ライン毎の画素値を積分して得られるライン積分値を、フリッカ周期とフレーム周期との最大公約数に相当するフレーム数だけメモリに格納する。複数のフレーム間において、対応する水平ラインのライン積分値の平均値に基づいてライン積分値を規格化する。その規格化されたライン積分値からフリッカを解析している。

【0004】

従来の撮像装置に設けられたフリッカ低減部（フリッカ低減手段）の主要な構成を図６に示す。特許文献１に開示されている撮像装置のフリッカ低減部の構成は、図６に従って説明することができる。

【0005】

図６において、ライン積分部１１は、フリッカ低減部１に入力される画像信号に対して、１水平ラインの画像信号のライン積分値をライン毎に求める。サンプリング部１２は、ライン積分部１１から出力されるライン積分値から所定のラインに対応したライン積分値を抽出する。ライン積分値メモリ１３は、サンプリング部１２より抽出されたライン積分値を所定フレーム（またはフィールド）数の間において格納する。以下、ライン積分値メモリ１３は、所定フレームにわたってライン積分値を格納することとして説明する。

【0006】

差分計算部５１は、サンプリング部１２から出力された第１のライン積分値と、ライン積分値メモリ１３から読み出された第２のライン積分値との差分（フレーム間差分）を求める。第２のライン積分値とは、ライン積分値メモリ１３に格納されている一つ前のフレーム内の、第１のライン積分値が得られた水平ラインと同一の座標に位置した水平ラインのライン積分値である。

【0007】

平均値算出部５２は、第１のライン積分値と、最新よりも以前に取得された複数のフレームのライン積分値であって、第１のライン積分値が得られた水平ラインと同一の座標に位置した水平ラインのライン積算値とを用いてライン積分値の平均値を求める。正規化部５３は、差分計算部５１で得られるフレーム間差分を、平均値算出部５２で得られるライン積分値の平均値で除算することにより、フレーム間差分を正規化した正規化差分値を算出する。

【0008】

ライン間ＤＦＴ部（離散フーリエ変換器）５４は、正規化部５３で得られた正規化差分値に離散フーリエ変換を実行する。フリッカ係数部１７は、ライン間ＤＦＴ部５４で得られたフーリエ変換係数からフリッカ成分の各次数の振幅、位相を特定する。フリッカ係数部１７は、それらから、フリッカ低減部に現在入力されている入力画素値に対応するフリッカ係数を生成する。補正演算部１８は、フリッカ係数部１７において生成されたフリッカ係数に基づいて、フリッカ低減部１の入力画像を補正する。具体的には、補正演算部１８は、フリッカ係数に１を加えた値で入力画素値を除算することによりフリッカを除去する。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００７−０２８５７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、上述した従来の技術では、フリッカの検出精度のさらなる向上、およびメモリ使用量の低減が求められていた。

【0011】

本願の、限定的ではない例示的なある実施形態は、フリッカの検出精度が向上し、かつ、メモリ使用量を低減できるフリッカ低減装置を提供する。

【課題を解決するための手段】

【0012】

上記課題を解決するために、本発明の一態様は、撮像素子によって取得された画像信号中に含まれ、照明に起因するフリッカを前記画像信号から低減するフリッカ低減装置であって、画像毎に、前記画像を構成する複数の水平ラインの一部の各水平ラインに含まれる画素値から前記各水平ラインのライン積分値を取得するライン積分値取得部と、最新の画像および最新よりも以前に取得した複数の画像の間において、各画像の前記ライン積分値から構成されるライン積分値列に離散フーリエ変換を実行する離散フーリエ変換部と、前記離散フーリエ変換の結果から得られる位相情報に基づいて近似直線を求め、前記近似直線から前記フリッカの情報を抽出する直線近似部と、前記フリッカの情報に基づいてフリッカ係数を算出するフリッカ係数算出部と、前記フリッカ係数を用いて前記画像信号にフリッカ低減処理を実行する補正演算部と、を備えたフリッカ低減装置を含む。

【0013】

上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。

【発明の効果】

【0014】

本発明の一態様にかかるフリッカ低減装置によれば、フリッカの検出精度が向上し、かつメモリ使用量を低減することが可能になる。

【図面の簡単な説明】

【0015】

【図1】例示的な実施の形態１による撮像装置１００のブロック構成図である。

【図2】例示的な実施の形態１によるフリッカ低減部２００のブロック構成図である。

【図3】例示的な実施の形態１によるフリッカ低減部２００の動作を示すフローチャートである。

【図4】Ｎフレーム間における同一の垂直座標に位置する水平ラインから得られるライン積分値を模式的に示す図である。

【図5】（ａ）は、各選択ライン番号に属するライン積分値列に離散フーリエ変換を実行することを説明するための図であり、（ｂ）は、フレームレートが１２０ｆｐｓ、フリッカ周波数が１００Ｈｚであるときの、離散フーリエ変換によって得られる周波数‐振幅特性の例を示し、（ｃ）は、フリッカが出現する周波数（２０Ｈｚ）でのＤＦＴ係数の偏角とフレーム内の水平ラインの垂直座標との関係を示す。

【図6】従来のフリッカ低減部のブロック構成図である。

【発明を実施するための形態】

【0016】

以下、本願発明者が考察した問題点を説明する。

【0017】

上述したとおり、例えば、フリッカの周波数が１００Ｈｚであり、フレームレートが６０ｆｐｓである場合、最大公約数となる周波数は２０Ｈｚである。従って、ライン積分値の平均値の算出に必要なフレーム数は３である。

【0018】

高フレームレートでの撮影を考えた場合、例えばフレームレートが２４０ｆｐｓであると、フリッカ周期とフレーム周期との最大公約数は２０Ｈｚである。しかし、ライン積分値の平均値の算出に必要なフレーム数は、１２フレームとなり、フレームレートが６０ｆｐｓの場合と比べて大きくなる。このように、高フレームレートの撮影では、そのフレームレートに依存して、多数のフレームの情報をメモリに格納することが必要になり、メモリ容量が増大してしまう問題があった。

【0019】

また、近年の撮像素子の高画素化に伴い、１フレームを構成する水平ラインの数は増大するので、メモリに記憶しておくライン積分値の数が一層増大する。その結果、メモリ容量が一層増大してしまう問題があった。

【0020】

仮に、１００ｆｐｓの整数倍になるようなフレームレートに限定することによって、上記の問題は回避され得るが、フレームレートの選択肢を狭めてしまうことになる。

【0021】

また、適当なフレーム数で打ち切って、得られたフレーム数だけでライン積分値の平均値を求めることは可能である。しかしながら、このような方法が有効になるのはライン積分値の平均値に比べてフリッカの振幅が十分に小さいときである。露光時間が短くなる高フレームレートでの撮影においては、フリッカの振幅が、ライン積分値の平均値に比べて増大するので、その方法は適切とは言えない。

【0022】

高フレームレートの撮影では、フリッカの１周期がフレーム期間よりも長くなる場合がある。その場合、上述したフレームレートが２４０ｆｐｓの例であると、フリッカの１周期は、２．４フレームの期間に相当する。このとき、フレーム間ではブランキング期間が存在するので、その期間では画像が得られず、ライン積分値を取得することができなくなる。その結果、ライン間ＤＦＴ部５４において、解析対象となるデータ列の一部が欠落することになる。欠落した部分は近隣のデータから補間して求めることは可能であるが、解析の精度が低下してしまう。

【0023】

ライン間ＤＦＴ部５４に与えるデータ列は等間隔であることが好ましい。このとき、サンプリング部１２では等間隔の水平ラインに対応したライン積分値が抽出される。しかしながら、画像中に低輝度（画素信号のレベルが低い）部分が存在し、ライン積分値が小さくなる場合、ライン積分値はノイズの影響を大きく受けてしまう。その結果、正規化差分値の精度が低下する問題が生じる。同様に、高輝度（画素信号のレベルが高い）部分での画像信号の飽和によるフリッカ成分の歪みも避けることが困難になる。

【0024】

このような従来技術の課題に鑑み、本願発明者は、新規な構成を有するフリッカ低減装置に想到した。本発明の一態様の概要は以下のとおりである。

【0025】

本発明の一態様であるフリッカ低減装置は、撮像素子によって取得された画像信号中に含まれ、照明に起因するフリッカを前記画像信号から低減し、画像毎に、前記画像を構成する複数の水平ラインの一部の各水平ラインに含まれる画素値から前記各水平ラインのライン積分値を取得するライン積分値取得部と、最新の画像および最新よりも以前に取得した複数の画像の間において、各画像の前記ライン積分値から構成されるライン積分値列に離散フーリエ変換を実行する離散フーリエ変換部と、前記離散フーリエ変換の結果から得られる位相情報に基づいて近似直線を求め、前記近似直線から前記フリッカの情報を抽出する直線近似部と、前記フリッカの情報に基づいてフリッカ係数を算出するフリッカ係数算出部と、前記フリッカ係数を用いて前記画像信号にフリッカ低減処理を実行する補正演算部とを備える。

【0026】

ある態様において、前記ライン積分値取得部は、前記画像毎に、前記画像を構成する前記複数の水平ラインの各々に対して、前記ライン積分値を算出するライン積分部と、前記ライン積分部の出力の中から、所定の条件を満たす画素値を有する画素の数が多い順番で第１の標本対象を抽出し、前記第１の標本対象に対応した水平ラインを前記複数の水平ラインの一部として決定するサンプリング部とを含んでいてもよい。

【0027】

ある態様において、前記ライン積分値は、各水平ラインに含まれる全ての画素値もしくは前記所定の条件を満たす画素値を積分した積分値、または前記積分値を前記水平ラインに含まれる画素数もしくは前記所定の条件を満たす画素値の画素数によって正規化した正規化値であってもよい。

【0028】

ある態様において、前記サンプリング部は、前記所定の条件を満たす画素値の数をカウントするカウンタを含み、前記カウンタが示すカウント値としきい値との関係に応じて前記第１の標本対象の中から第２の標本対象をさらに抽出して、前記第２の標本対象に対応した水平ラインを前記複数の水平ラインの一部として決定し、前記直線近似部は、前記第２の標本対象に対応した水平ラインに基づいて前記フリッカの情報を抽出してもよい。

【0029】

ある態様において、前記サンプリング部は、前記画像間での動きベクトルに基づいて、前記第１の標本対象の中から第２の標本対象をさらに抽出して、前記第２の標本対象に対応した水平ラインを前記複数の水平ラインの一部として決定し、前記直線近似部は、前記第２の標本対象に対応した水平ラインに基づいて前記フリッカの情報を抽出してもよい。

【0030】

ある態様において、前記離散フーリエ変換部は、商用電源の周波数と前記画像のフレームレートとに基づいてフリッカが現れる周波数の候補を推定し、前記周波数の候補に基づいて前記ライン積分値列に前記離散フーリエ変換を実行してもよい。

【0031】

ある態様において、前記直線近似部は、前記近似直線の切片を前記フリッカの初期位相として検出し、前記近似直線の傾きから前記フリッカの周波数を検出してもよい。

【0032】

ある態様において、複数の画像分の前記ライン積分値を格納するメモリをさらに備えていてもよい。

【0033】

ある態様において、前記フリッカが前記画像信号中に存在するか否かを前記離散フーリエ変換の結果に基づいて判定するフリッカ検出部をさらに備え、前記フリッカ検出部は、前記離散フーリエ変換の結果から得られる振幅情報に基づいて前記周波数の候補での振幅の大きさを算出し、前記周波数の候補での振幅の大きさを画像の直流成分での振幅の大きさで除算して得られる正規化振幅を算出し、前記ライン積分値列に対応した各正規化振幅に基づいて代表値を決定し、前記代表値が所定値以上である場合、前記フリッカが存在すると判定し、前記代表値が所定値未満である場合、前記フリッカ低減処理を停止する命令を前記補正演算部に送信するように構成されていてもよい。

【0034】

本発明の他の一態様である撮像装置は、画像信号中に含まれ、照明に起因するフリッカを前記画像信号から低減し、被写体を撮像して前記画像信号を生成する撮像素子と、画像毎に、前記画像を構成する複数の水平ラインの一部の各水平ラインに含まれる画素値から前記各水平ラインのライン積分値を取得するライン積分値取得部と、複数の画像分の前記ライン積分値を格納するメモリと、最新の画像および最新よりも以前に取得した複数の画像の間において、各画像の前記ライン積分値から構成されるライン積分値列に離散フーリエ変換を実行する離散フーリエ変換部と、前記離散フーリエ変換の結果から得られる位相情報に基づいて近似直線を求め、前記近似直線から前記フリッカの情報を抽出する直線近似部と、前記フリッカの情報に基づいてフリッカ係数を算出するフリッカ係数算出部と、前記フリッカ係数を用いて前記画像信号にフリッカ低減処理を実行する補正演算部とを備える。

【0035】

本発明の他の一態様である方法は、撮像素子によって取得された画像信号中に含まれ、照明に起因するフリッカを前記画像信号から低減するフリッカ低減方法であって、画像毎に、前記画像を構成する複数の水平ラインの一部の各水平ラインに含まれる画素値から前記各水平ラインのライン積分値を取得するステップと、最新の画像および最新よりも以前に取得した複数の画像の間において、各画像の前記ライン積分値から構成されるライン積分値列に離散フーリエ変換を実行するステップと、前記離散フーリエ変換の結果から得られる位相情報に基づいて近似直線を求め、前記近似直線から前記フリッカの情報を抽出するステップと、前記フリッカの情報に基づいてフリッカ係数を算出するステップと、前記フリッカ係数を用いて前記画像信号にフリッカ低減処理を実行するステップとを包含する。

【0036】

本発明の一態様によれば、高フレームレートの撮影でも、所定のフレーム間において、ライン積分値を標本対象の数だけメモリに格納すればよい。その結果、比較的サイズが小さいメモリを用いることができ、メモリのコストを削減することができる。また、直線近似を用いて、フリッカの周波数および初期位相をより正確に検出することができる。その結果、フリッカの検出に際し、ブランキング期間、画像中の低輝度部分、および高輝度部分による影響を低減することができて、フリッカの検出精度を向上させることができる。

【0037】

以下、添付の図面を参照しながら、本発明による撮像装置およびフリッカ低減部（フリッカ低減装置）の実施の形態を説明する。「画像」としては、例えば、フレームとフィールドとを挙げることができる。本願明細書では、フリッカ低減部は、フレームを基準として処理を実行することにするが、フィールドを基準として処理を実行するようにしてもよい。

【0038】

（実施の形態１）
以下、本発明による実施の形態１を説明する。

【0039】

［撮像装置１００の構成］
図１を参照しながら、撮像装置１００を説明する。

【0040】

図１は、本実施の形態による撮像装置１００のブロック構成図である。撮像装置１００は被写体を撮影し、撮影した画像を処理して記録媒体等に記録する。例えば、撮像装置１００は、デジタルビデオカメラやデジタルスチルカメラである。

【0041】

撮像装置１００は、撮像光学系１０１と、イメージセンサ１０２と、システムコントローラ１０３と、ＡＦＥ（アナログフロントエンド）部１０４と、光学系ドライバ１０５と、センサ制御部１０６と、デジタル信号処理部１０７と、記録媒体１１０とを備える。

【0042】

撮像光学系１０１は、絞り、手振れ補正レンズ、および、ズームレンズやフォーカスレンズを含む複数のレンズ群を有する。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像の合焦位置を調整することができる。なお、撮像光学系１０１を構成するレンズの数は要求される機能に応じて適宜決定される。

【0043】

イメージセンサ１０２は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサである。イメージセンサ１０２は、撮像光学系１０１によって撮像面に結像された光を電気信号に変換してアナログ画像信号を生成する。イメージセンサ１０２は生成したアナログ画像信号をＡＦＥ部１０４に出力する。イメージセンサ１０２は、例えばライン露光、転送の各種動作を行う。ライン露光はローリングシャッタとも呼ばれる。

【0044】

システムコントローラ１０３は、半導体素子などにより構成される。システムコントローラ１０３は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。システムコントローラ１０３はマイクロコンピュータなどにより実現できる。システムコントローラ１０３は撮像装置１００全体を制御する。

【0045】

ＡＦＥ部１０４は、相関二重サンプリング回路（ＣＤＳ回路）、自動利得制御増幅器（ＡＧＣ）およびアナログ−デジタル変換器（ＡＤＣ）などを含む。ＣＤＳ回路は、イメージセンサ１０２から出力されたアナログ画像信号からノイズを除去する。ＡＧＣは、システムコントローラ１０３の制御を受けて、適切なレベルの画像信号を得るためにゲイン調整を行う。ＡＤＣは、ＡＧＣからのアナログ画像信号をデジタル画像信号に変換する。なお、ＡＦＥ部１０４は、その機能が統合されたデジタル画像信号の出力に対応したイメージセンサの場合は省略される。

【0046】

光学系ドライバ１０５は、システムコントローラ１０３の指示を受けて、撮像光学系１０１に含まれる絞り、ズームレンズおよびフォーカスレンズを駆動する。

【0047】

センサ制御部１０６は、システムコントローラ１０３の指示を受けて、イメージセンサ１０２を制御する。

【0048】

デジタル信号処理部１０７は、例えばデジタルシグナルプロセッサ（ＤＳＰ）により実現可能である。デジタル信号処理部１０７は、ＡＦＥ部１０４から出力されたデジタル画像信号にデジタル信号処理を施し、撮像装置１００の出力画像ファイルを生成する。デジタル信号処理部１０７は、フリッカ低減部２００と、信号処理部１０８と、圧縮符号化部１０９とを含む。

【0049】

フリッカ低減部２００は、蛍光灯により照らされた環境下において撮影を行ったときに、照明の明滅に起因して撮影画像に明暗となって生じるフリッカ成分を、ＡＦＥ部１０４から出力されたデジタル画像信号から低減する。フリッカ低減部２００の構成の詳細は後述する。

【0050】

信号処理部１０８は、フリッカ低減部２００から出力されたデジタル画像信号に、例えば、ガンマ補正、ホワイトバランス補正、傷補正、出力画像形式に従った画像フォーマットの変換の各種処理を施す。

【0051】

圧縮符号部１０９は、信号処理部１０８から出力されたデジタル画像信号を、例えばＨ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式により圧縮する。

【0052】

記録媒体１１０は、フラッシュメモリや強誘電体メモリなどにより構成される。記録媒体１１０は、デジタル信号処理部１０７により生成された画像ファイル等のデータを格納することが可能である。

【0053】

［フリッカ低減部２００の構成］
図２を参照しながら、フリッカ低減部２００のブロック構成を説明する。

【0054】

図２は、本実施の形態によるフリッカ低減部２００のブロック構成図である。フリッカ低減部２００は、ライン積分値取得部２１０と、ライン積分値メモリ２２０と、画像間ＤＦＴ部２３０と、フリッカ検出部２４０と、直線近似部２５０と、フリッカ係数算出部２６０と、補正演算部２７０とを含む。ライン積分値取得部２１０は、ライン積分部２１１およびサンプリング部２１２を含む。サンプリング部２１２は、カウンタ２１３を含む。

【0055】

フリッカ低減部２００の各構成要素はハードウェアとして実装してもよい。例えば、フリッカ低減部２００が撮像装置１００のために設計、製造された専用の集積回路チップ（ＡＳＩＣ）である場合には、各構成要素はフリッカ低減部２００内の独立した集積回路として実装され得る。

【0056】

または、フリッカ低減部２００は各構成要素の機能を発揮する汎用のプロセッサとして実現されてもよい。例えば、プロセッサ内部のメモリに、各構成要素の機能を発揮するコンピュータプログラムが実装されており、プロセッサが逐次コンピュータプログラムを実行することにより、各構成要素の機能が実現されてもよい。または、フリッカ低減部２００はハードウェアとソフトフェアとの組み合わせにより実現してもよい。

【0057】

再び図１を参照して、撮像装置１００の動作を簡単に説明する。

【0058】

イメージセンサ１０２は、撮像光学系１０１によって撮像面に結像された光を電気信号に変換し、アナログ画像信号を生成する。ＡＦＥ部１０４は、イメージセンサ１０２から出力されたアナログ画像信号に種々のアナログ信号処理を実行して、処理後のアナログ画像信号をデジタル画像信号に変換する。デジタル信号処理部１０７のフリッカ低減部２００は、ＡＦＥ部１０４から出力されるデジタル画像信号に含まれるフリッカ成分を低減する。信号処理部１０８は、フリッカ低減部２００から出力されたデジタル画像信号に、ガンマ補正、ホワイトバランス補正、傷補正、出力画像形式に従った画像フォーマットの変換の各種処理を施す。圧縮符号部１０９は、信号処理部１０８から出力されたデジタル画像信号を、例えばＨ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式により圧縮し圧縮画像ファイルする。最後に、コントローラ１０３は圧縮画像ファイルを記録媒体１１０に書き込む。

【0059】

［フリッカ低減部２００の動作］
図２から５を参照しながら、フリッカ低減部２００の動作の詳細を説明する。

【0060】

図３は、フリッカ低減部２００の動作を示すフローチャートである。

【0061】

（ステップＳ１１）
ライン積分値取得部２１０は、ライン積分部２１１およびサンプリング部２１２を含んでいる。ライン積分値取得部２１０は、フレーム毎に、フレームを構成する複数の水平ラインの一部の各水平ラインに含まれる画素値から各水平ラインのライン積分値を取得する。画素値とは、画素の輝度値を意味する。例えば、１２８０×７２０のフレームサイズでは、７２０本の水平ラインが、フレームを構成する複数の水平ラインに相当する。

【0062】

ライン積分部２１１は、複数の水平ラインの各々に対して、ライン積分値を算出する。例えば、１２８０×７２０のフレームサイズでは、１水平ラインには、１２８０の画素が含まれている。ライン積分部２１１は、各水平ラインに対して、１２８０の画素の各画素値を積算して、その積算値をライン積分値（以下、「第１の積分値」と称する場合がある。）として算出する。ライン積分部２１１は、第１の積分値を１水平ラインに含まれる画素数で除算（正規化）して得られるライン積分値の平均値を算出してもよい。または、ライン積分部２１１は、１水平ライン内の所定の条件を満たす画素の輝度値のみを積分してライン積分値（以下、「第２の積分値」と称する場合がある。）を算出してもよいし、第２の積分値を所定の条件を満たす画素数で除算して正規化してもよい。

【0063】

ここで、本願明細書において用いる用語の定義をしておく。「ライン積分値」とは、上述した第１のライン積分値に限らず、第２のライン積分値および第１、第２のライン積分値を画素数で正規化した値を含んでいる。

【0064】

輝度値を１２ビットで表すと、所定の条件とは、例えば、画素の輝度値が下限値２０４から上限値３４８１の範囲にあることである。下限値以上とすることによって、ＳＮ比（ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ）が良くない画素が除かれ、上限値以下とすることにより、飽和している恐れがある画素が除かれる。このように、フリッカ成分の抽出の精度を低下させる要因を除くことができるので、フリッカの周波数、位相、振幅に関する情報の検出精度が向上する。

【0065】

なお、所定の条件は、上述した条件に限定されず、フリッカ成分の抽出において、悪影響を与える水平ラインを除去できる条件であればよい。

【0066】

サンプリング部２１２は、ライン積分部２１１から得られるライン積分値から条件の良いライン積分値を選択する。具体的には、サンプリング部２１２は、ライン積分部２１１の出力の中から、所定の条件を満たす画素値を有する画素の数が多い順番で第１の標本対象を抽出する。サンプリング部２１２は、第１の標本対象に対応した水平ラインを複数の水平ラインの一部として決定する。なお、所定の条件とは、例えば、上述したような輝度値の範囲である。

【0067】

図４は、Ｎフレーム間における同一の垂直座標に位置する水平ラインから得られるライン積分値を模式的に示す図である。垂直座標とは、垂直方向におけるフレーム内の水平ラインの座標位置である。例えば、フレームサイズが１２８０×７２０の場合、フレーム内の最上位の水平ラインの垂直座標を「０」と表すことができ、最下位の水平ラインの垂直座標を「７１９」と表すことができる。図４中のＦ（１）、Ｆ（２）、Ｆ（３）、・・・、Ｆ（Ｎ）は、１からＮまでの各フレームを示す。Ｎは、フリッカ低減の処理に必要な所定のフレーム数である。例えば、フレーム数Ｎは、１２とすることができる。本願明細書では、所定のフレーム数（フレーム期間）を「解析単位」と称する。なお、解析単位は、上述したとおり、フリッカ周波数とフレームレートとの最大公約数に基づいて決定される。

【0068】

Ｆ（ｎ）のｎはフレーム番号を表す。ｎ＝１、２、３、・・・、Ｎの場合、Ｉ（ｎ，Ｌ_１）、Ｉ（ｎ，Ｌ_２）、・・・、Ｉ（ｎ，Ｌ_Ｓ）は、サンプリング部２１２がライン積分部２１１の出力から標本対象であるＳ本のライン積分値を採取することによって得られる、フレームＦ（ｎ）の各ライン積分値を示す。Ｉ（ｎ，Ｌ_ｓ）のｎは、フレーム番号を表している。ｓ（１≦ｓ≦Ｓ）は、標本対象の水平ラインの選択ライン番号を表している。Ｌ_ｓは、選択ライン番号ｓに属する水平ラインの垂直座標を表している。例えば、フレームサイズが１２８０×７２０のとき、標本対象の水平ラインの垂直座標が、それぞれ１００、１１０、１１５である場合を考える。この場合、選択ライン番号１が、垂直座標１００の水平ラインに割り当てられ、選択ライン番号２が、垂直座標１１０の水平ラインに割り当てられ、選択ライン番号３が、垂直座標１１５の水平ラインに割り当てられる。

【0069】

標本対象の水平ラインの数を示すＳは、フレームを構成する水平ライン数の総数よりも小さい値である。同じ選択ライン番号に属するライン積分値、例えば、Ｉ（１，Ｌ_１）、Ｉ（２，Ｌ_１）、Ｉ（３，Ｌ_１）は、フレーム１〜３までの同一の垂直座標に位置した水平ラインのライン積分値を示している。例えば、１２８０×７２０のフレームサイズでは、標本対象の水平ラインの数Ｓは７２０よりも小さい値となる。第１の標本対象の数Ｓが５０に予め設定されている場合、１≦ｓ≦５０の関係を満たす。なお、第１の標本対象の数Ｓは製品仕様等によって適宜決定され得る。第１の標本対象および後述する第２の標本対象の数Ｓは、３以上であることが好ましい。

【0070】

サンプリング部２１２は、カウンタ２１３を含んでいる。カウンタ２１３は、１水平ラインにおいて上述した所定の条件を満たす画素値の数をカウントする。

【0071】

サンプリング部２１２が、標本対象であるＳ本のライン積分値を２段階で採取する一例を示す。まず、サンプリング部２１２は、上述した所定の条件の下限値に基づいて第１の標本対象を採取する。具体的には、カウンタ２１３は、下限値以上である画素値の数をカウントする。サンプリング部２１２は、カウンタ２１３のカウント数がしきい値以上である水平ラインに対応したライン積分値を第１の標本対象の候補として抽出する。これにより、ＳＮ比が良くない画素を含む水平ラインに対応したライン積分値を除くことができる。

【0072】

サンプリング部２１２は、第１の標本対象の候補の中から、下限値以上である画素値の数が多い順番で第１の標本対象を決定する。例えば、第１の標本対象の数Ｓ１が５０に予め設定されているときに、第１の標本対象の候補として８０本の水平ラインに相当するライン積分値が抽出され得る。その場合、サンプリング部２１２は、下限値以上である画素値の数が多い順番で第１の標本対象の８０の候補から５０を抽出し、第１の標本対象に対応した水平ラインを複数の水平ラインの一部として決定する。このとき、選択ライン番号ｓは、１≦ｓ≦５０の関係を満たす。複数の水平ラインの一部は、後述する画像間ＤＦＴ部２３０での離散フーリエ変換（以下、ＤＦＴと称する。）の対象となる。

【0073】

サンプリング部２１２は、カウンタ２１３が示すカウント値と、内部メモリ（不図示）に記憶されたしきい値との関係に応じて、第１の標本対象の中から第２の標本対象をさらに抽出して、第２の標本対象に対応した水平ラインを複数の水平ラインの一部として決定してもよい。

【0074】

サンプリング部２１２は、上述した所定の条件の上限値に基づいて第１の標本対象の中から第２の標本対象をさらに抽出する。具体的には、カウンタ２１３は、第１の標本対象である各水平ラインにおいて、上限値以下である画素値の数をカウントする。サンプリング部２１２は、カウンタ２１３のカウント数がしきい値以上である水平ラインに対応したライン積分値を第２の標本対象の候補として抽出する。これにより、ＳＮ比が良くない画素および飽和している恐れがある画素を含む水平ラインに対応したライン積分値を除くことができる。

【0075】

サンプリング部２１２は、第２の標本対象の候補の中から、上限値以下である画素値の数が多い順番で第２の標本対象を決定する。例えば、第２の標本対象の数Ｓ２が２０に予め設定されているときに、第２の標本対象の候補として３０本の水平ラインに相当するライン積分値が抽出される。その場合、サンプリング部２１２は、上限値以下である画素値の数が多い順番で第２の標本対象の３０の候補から２０を抽出し、第２の標本対象に対応した水平ラインを複数の水平ラインの一部として決定する。このとき、選択ライン番号ｓは、１≦ｓ≦２０の関係を満たす。複数の水平ラインの一部は、後述する画像間ＤＦＴ部２３０でのＤＦＴの対象となる。

【0076】

このように、サンプリング部２１２は、所定の条件に基づいて標本対象を抽出するので、フリッカの検出に悪影響を与える水平ラインを確実に排除することができ、より高い精度でフリッカ成分を検出することができる。

【0077】

また、サンプリング部２１２は、フレーム間での動きベクトルに基づいて、第１の標本対象の中から第２の標本対象をさらに抽出して、第２の標本対象に対応した水平ラインを複数の水平ラインの一部として決定してもよい。これにより、例えばマクロブロック単位でフレーム間での動きを考慮して、標本対象である水平ラインを決定できるので、より高い精度でフリッカを検出することができる。

【0078】

サンプリング部２１２は、最新のフレームをフレームＦ（Ｎ）とすると、最新よりも以前に取得したＦ（１）からＦ（Ｎ−１）までの選択ライン番号ｓに対応した各ライン積分値をライン積分値メモリ２２０に書き込む。または、サンプリング部２１２は、Ｆ（１）からＦ（Ｎ）の解析単位で選択ライン番号ｓに対応した各ライン積分値をライン積分値メモリ２２０に書き込んでもよい。

【0079】

このように、ライン積分値メモリ２２０は、フレームを構成する全ての水平ラインのライン積分値を格納しなくてもよい。画像を構成する全ての水平ラインから、標本対象となるものを密（例えば、等間隔）に選択しなくてもよい。そのため、ライン積分値メモリ２２０は、標本対象の数Ｓだけライン積分値を格納する容量を有していればよい。この結果、メモリサイズを低減することができる。

【0080】

（ステップＳ１２）
フリッカ低減部２００は、フリッカ低減部２００全体を制御するためのコントローラ（不図示）を含んでいる。コントローラは、所定のフレーム数分のライン積分値がライン積分値メモリ２２０に書き込まれた否かを監視している。上述したとおり、所定のフレーム数は、Ｎ−１または解析単位である。コントローラは、所定のフレーム数分のライン積分値が書き込まれていないと判定した場合（ステップＳ１２のＮｏ）、ライン積分値取得部２１０は、所定のフレーム数分のライン積分値がライン積分値メモリ２２０に書き込まれるまで、次のフレームのライン積分値を算出することを繰り返す。

【0081】

一方、コントローラは、所定のフレーム数分のライン積分値が書き込まれたと判定した場合（ステップＳ１２のＹｅｓ）、次のステップであるＤＦＴが実行される（ステップＳ１３）。

【0082】

（ステップＳ１３）
画像間ＤＦＴ部２３０は、フレームＦ（１）からフレームＦ（Ｎ−１）までの選択ライン番号ｓに対応した各ライン積分値をライン積分値メモリ２２０から読み出す。画像間ＤＦＴ部２３０は、選択ライン番号ｓに対応した、ライン積分値メモリ２２０から読み出したライン積分値およびフレームＦ（Ｎ）のライン積分値を用いてＤＦＴを実行する。具体的には、画像間ＤＦＴ部２３０は、選択ライン番号ｓ（１≦ｓ≦Ｓ）に対応するライン積分値Ｉ（１，Ｌ_ｓ）、Ｉ（２，Ｌ_ｓ）、・・・、Ｉ（Ｎ，Ｌ_ｓ）から構成されるライン積分値列にＤＦＴを実行する。

【0083】

なお、フレームＦ（１）からＦ（Ｎ）までの解析単位で各ライン積分値がライン積分値メモリ２２０に書き込まれているときは、画像間ＤＦＴ部２３０は、ライン積分値列をライン積分値メモリ２２０から読み出してＤＦＴを実行しても構わない。

【0084】

図５（ａ）は、各選択ライン番号に対応するライン積分値列にＤＦＴを実行することを説明するための図である。図５（ａ）に示す例では、標本対象の数Ｓは５である。画像間ＤＦＴ部２３０は、最新のフレームＦ（Ｎ）および最新よりも以前に取得した複数のフレームＦ（１）からＦ（Ｎ−１）の間において、同一の選択ライン番号ｓに対応するライン積分値から構成されるライン積分値列にＤＦＴを選択ライン番号毎に実行する。

【0085】

ＤＦＴは、フレーム数Ｎおよびフレーム内の水平ラインの垂直座標ｙを用いて数式１により表される。

【数1】

ここでＩ（ｙ，ｊ）は、フレームＦ（ｊ）における垂直座標ｙの水平ラインに対応するライン積分値を示している。ＤＦＴにより、振幅Ａ_k（ｙ）、および位相φ_k（ｙ）が求まる。

【0086】

画像間ＤＦＴ部２３０は、商用電源の周波数とフレームレートとに基づいてフリッカが現れる周波数の候補を推定し、その周波数の候補に基づいてライン積分値列にＤＦＴを実行するようにしてもよい。

【0087】

これにより、画像間ＤＦＴ部２３０は、その推定した周波数を含む近傍の周波数に相当する位置でのフーリエ変換係数だけを求めればよくなり、画像間ＤＦＴ部２３０での演算量が低減される。また、ＤＦＴ演算の高速化に繋がる。

【0088】

（ステップＳ１４）
フリッカ検出部２４０は、フリッカが画像信号中に存在するか否かを画像間ＤＦＴ部２３０のＤＦＴの結果に基づいて判定する。具体的には、フリッカ検出部２４０は、フリッカが出現するフーリエ変換係数（ＤＦＴ係数）を参照する。フリッカ検出部２４０は、その複素数であるフーリエ変換係数の大きさから、フリッカ成分が出現する位置（フリッカ周波数の候補）でのフリッカの振幅の大きさを算出する。

【0089】

図５（ｂ）は、フレームレートが１２０ｆｐｓ、フリッカ周波数が１００Ｈｚであるときの、ＤＦＴによって得られる周波数‐振幅特性の例を示している。図５（ｂ）の横軸は周波数を示し、縦軸は振幅を示している。フレームレートとフリッカ周波数との関係から、ナイキスト周波数（６０Ｈｚ）において折り返しが発生し、フリッカ周波数は２０Ｈｚの位置に現れている。フリッカ検出部２４０は、サンプリング部２１２の標本対象の各水平ラインに対して、周波数２０Ｈｚの位置でのフリッカの振幅の大きさを算出する。

【0090】

フリッカの振幅は、対象の水平ラインの画像信号の成分に比例した値である。このため、フリッカ検出部２４０は、フリッカの振幅の大きさを画像の直流（ＤＣ）成分によって正規化して得られる正規化振幅（フリッカの振幅）を、標本対象の数Ｓだけ算出する。フリッカ検出部２４０は、これらの正規化振幅から代表値を求める。例えば、代表値は、正規化振幅の平均値としてもよいし、または正規化振幅の中央値もしくは最頻値としてもよい。

【0091】

フリッカ検出部２４０は、代表値が所定値以上である場合、フリッカが画像信号中に存在すると判定する。一方で、代表値が所定値未満である場合、フリッカ低減処理を停止する命令を後段の補正演算部２７０に送信する。

【0092】

（ステップＳ１５）
直線近似部２５０は、ＤＦＴの結果から得られる位相（偏角）情報に基づいて近似直線を求め、近似直線からフリッカの情報を抽出する。具体的には、直線近似部２５０は、フリッカ成分が出現するフーリエ変換係数を参照し、その複素数であるフーリエ変換係数の偏角から、フリッカ成分が出現する位置でのフリッカの位相を算出する。

【0093】

図５（ｃ）は、フリッカが出現する周波数（２０Ｈｚ）でのＤＦＴ係数の偏角とフレーム内の水平ラインの垂直座標との関係を示す。図５（ｃ）の横軸は、フレーム内の水平ラインの垂直座標を示し、縦軸は偏角（位相）を示している。

【0094】

選択ライン番号ｓに属する水平ラインの垂直座標と位相とをプロットした場合、標本対象の数であるＳ個のプロット点は理想的には直線上に並ぶ。直線近似部２５０は、このＳ個の座標点から近似直線（回帰直線）の傾きａおよび切片ｂを求める。回帰直線を求めるためには、垂直座標と位相とのプロット数は、２つであればよいが、直線近似の精度を考慮すると、３つ以上であることが好ましい。

【0095】

直線近似部２５０は、傾きａおよび切片ｂを用いて数式２に従ってフリッカ初期位相θおよびフリッカ周波数ｆ_kを算出する。

【数2】

ここで、ｆ_ｓはフレームレートであり、Ｌ_Nは、フレーム中の、ブランキング期間を含めたライン数である。

【0096】

数式２に示すとおり、近似直線の縦軸の切片ｂは、垂直座標ｙ＝０におけるフリッカ成分の位相を示している。この位相を初期位相と定義する。また、近似直線の傾きａからフリッカ周波数ｆ_kを算出することができる。

【0097】

このように、ＤＦＴの結果から得られる位相情報を用いて直線近似によりフリッカの周波数および初期位相をより正確に求めることができるので、フリッカの検出精度が向上する。

【0098】

（ステップＳ１６）
フリッカ係数算出部２６０は、フリッカの初期位相および周波数（フリッカの情報）に基づいてフリッカ低減処理用のフリッカ係数を算出する。具体的には、フリッカ係数算出部２６０は、フリッカ検出部２４０から正規化振幅の代表値を取得し、直線近似部２６０からフリッカの初期位相および周波数を取得する。フリッカ検出部２４０は、フリッカが画像信号中に存在すると判定したとき、フリッカ係数算出部２６０は、正規化振幅の代表値、フリッカの初期位相およびフリッカの周波数から、フリッカ低減部２００に入力する最新（現在）のフレーム内の各水平ラインに対応するフリッカ係数を生成する。

【0099】

補正演算部２７０は、フリッカ係数算出部２６０で得られたフリッカ係数を用いてフリッカ低減処理を画像信号に実行する。具体的には、補正演算部２７０は、水平ライン内の各画素値を、その水平ラインに対応したフリッカ係数に１を加えた値で除算することによって、各画素値からフリッカ成分を低減した画素の補正値を求める。また、補正演算部２７０は、フリッカ低減処理を停止する命令をフリッカ検出部２４０から受信したとき、フリッカ低減処理の実行を停止する。この結果、フリッカ低減部２００の消費電力を低減することができる。

【0100】

フリッカ係数算出部２６０によるフリッカ係数の更新のタイミングの一例を説明する。

【0101】

フリッカ係数は、所定のタイミングで更新される。所定のタイミングとは、例えば、解析単位である１２フレーム毎である。フリッカ係数算出部２６０は、動画ストリームを構成する連続するフレーム間の一部のフレームである、最初の１から１２フレームに基づいてフリッカ係数Ａを算出する。次の１３フレームから２４フレーム間は、補正演算部２７０は、フリッカ係数Ａを用いてフリッカ低減部２００に入力する画像信号からフリッカを低減する処理を行う。フリッカ係数算出部２６０は、この間に、１３フレームから２４フレームに基づいてフリッカ係数Ｂを算出する。次の２５から３６フレーム間は、補正部２７０は、フリッカ係数Ｂを用いてフリッカ低減部２００に入力する画像信号からフリッカを低減する処理を行う。フリッカ係数算出部２６０は、この間に、２５から３６フレームに基づいてフリッカ係数Ｃを算出する。

【0102】

本実施の形態によるフリッカ低減部２００によれば、例えば、高フレームレート撮影のようにより多くのフレーム数が必要になる撮影であっても、所定のフレーム間において、標本対象の数Ｓだけのライン積分値をメモリに格納すればよい。その結果、比較的サイズが小さいメモリを用いることができるので、メモリのコストを削減することができる。また、直線近似部２５０により、フリッカの周波数および初期位相をより正確に検出することが可能となるので、フリッカの検出精度をさらに向上させることができる。

【0103】

（他の変形例）
上述した実施の形態１では、フリッカ低減部２００を有する機器が撮像装置である例を示した。しかしながら、本発明の一態様はこれに限定されず、例えば、フリッカ低減部２００を有する機器はレコーダであってもよい。

【0104】

実施の形態１では、イメージセンサ１０２はＣＭＯＳセンサであったが、本発明の一態様はこれに限定されない。例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサであってもよい。ＣＣＤセンサはグローバルシャッタ式のイメージセンサであり、グローバルシャッタに起因したフレーム間で生じるフリッカを低減することができる。

【0105】

実施の形態１では、フリッカ低減部２００の入力画像は、ＡＦＥ部１０４から出力されるデジタル画像信号である。このデジタル画像信号はＲＡＷデータであり、例えば１２ビット幅の信号である。本発明の一態様はこれに限定されず、フリッカ低減部２００の入力画像は、例えばＨ．２６４規格に準拠して圧縮された圧縮画像データであってもよい。圧縮画像データは、例えば、８ビット幅の信号である。圧縮画像データのビット幅はＲＡＷデータのビット幅と比べて小さいので、フリッカの検出精度は若干落ちるものの、圧縮画像データからフリッカを低減できる。ただし、圧縮画像データは、信号処理部１０８においてガンマ補正の処理を受けている。このため、フリッカ低減部２００が圧縮画像データを処理するときは、入力データである圧縮画像データに逆ガンマ補正の処理を実行しておく。

【0106】

フリッカ低減部２００が圧縮画像データを処理する場合には、本発明の一態様は、クラウドサーバ上のメモリ内に実装されるコンピュータプログラムにも適用され得る。

【0107】

クラウドサーバの利用者がクラウドサーバ上に圧縮画像データ（動画像データ）をアップロードする。クラウドサーバのコンピュータはメモリに実装されたコンピュータプログラムを実行して、フリッカ成分を含む動画像データからフリッカ成分を除去する。利用者は処理後の動画像データをダウンロードすることにより、フリッカ成分が除去され動画像データを得ることができる。

【0108】

本発明の一態様は、実施の形態１によるフリッカの低減処理を規定するソフトウェア（コンピュータプログラム）にも適用され得る。そのようなコンピュータプログラムに規定される動作は、例えば図５に示すとおりである。このようなコンピュータプログラムは、可搬型の記録媒体に記録されて提供され得る他、電気通信回線を通じても提供され得る。コンピュータに内蔵されたプロセッサがこのようなコンピュータプログラムを実行することにより、実施の形態１で説明した各種動作を実現することができる。

【産業上の利用可能性】

【0109】

本発明の一態様による撮像装置は、照明の明滅に起因して撮影画像に明暗となって生じるフリッカを撮影画像の画像信号から低減するに際して有用である。特に、ライン露光形式のイメージセンサにより撮像を行うデジタルビデオカメラ、デジタルスチルカメラに有用である。

【符号の説明】

【0110】

１００ 撮像装置
１０１ 撮像光学系
１０２ イメージセンサ
１０３ コントローラ
１０４ ＡＦＥ部
１０５ 光学系ドライバ
１０６ センサ制御部
１０７ デジタル信号処理部
１０８ 信号処理部
１０９ 圧縮符号化部
１１０ 記録媒体
２００ フリッカ低減部
２１０ ライン積分値取得部
２１１ ライン積分部
２１２ サンプリング部
２１３ カウンタ
２２０ ライン積分値メモリ
２３０ 画像間ＤＦＴ部
２４０ フリッカ検出部
２５０ 直線近似部
２６０ フリッカ係数算出部
２７０ 補正演算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】