知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6434963
(24)【登録日】2018年11月16日
(45)【発行日】2018年12月5日
(54)【発明の名称】画像処理装置、画像処理方法、電子機器、並びにプログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20181126BHJP
G06T 7/20 20170101ALI20181126BHJP
H04N 5/225 20060101ALI20181126BHJP
H04N 5/235 20060101ALI20181126BHJP
【ＦＩ】
H04N5/232 290
G06T7/20
H04N5/225 300
H04N5/235 500
H04N5/235 700
【請求項の数】20
【全頁数】44
(21)【出願番号】特願2016-514852(P2016-514852)
(86)(22)【出願日】2015年4月8日
(86)【国際出願番号】JP2015060926
(87)【国際公開番号】WO2015163145
(87)【国際公開日】20151029
【審査請求日】2018年2月16日
(31)【優先権主張番号】特願2014-87892(P2014-87892)
(32)【優先日】2014年4月22日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】小野 博明
【審査官】
佐藤 直樹
(56)【参考文献】
【文献】
国際公開第２０１３／０８４６０５（ＷＯ，Ａ１）
【文献】
特開２０１４−１１０６２１（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ５／２３２
Ｇ０６Ｔ ７／２０
Ｈ０４Ｎ ５／２２５
Ｈ０４Ｎ ５／２３５
(57)【特許請求の範囲】
【請求項1】
異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出する強度比算出部と、
前記強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部と
を備える画像処理装置。
前記強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部と
を備える画像処理装置。
【請求項2】
前記周期的なノイズとは、フリッカである
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
前記強度比算出部は、前記異なる露光条件が設定された画素が混在する撮像素子で撮像された１枚の画像から、前記強度比を算出する
請求項１または２に記載の画像処理装置。
請求項１または２に記載の画像処理装置。
【請求項4】
前記強度比算出部は、前記異なる露光条件でそれぞれ撮像された複数の画像から、前記強度比を算出する
請求項１または２に記載の画像処理装置。
請求項１または２に記載の画像処理装置。
【請求項5】
前記寄与度算出部により算出された前記寄与度が所定の値以上である前記画像内の位置を、動きとして検出する
請求項１乃至４のいずれかに記載の画像処理装置。
請求項１乃至４のいずれかに記載の画像処理装置。
【請求項6】
前記強度比は、前記異なる露光条件で撮影された画像内で算出対象とされている画素の画素値の比、または、算出対象とされている画素の周辺領域にある画素の画素値から算出される信号値の比である
請求項１乃至５のいずれかに記載の画像処理装置。
請求項１乃至５のいずれかに記載の画像処理装置。
【請求項7】
第１の露光条件で撮影された第１の画像の前記周期的なノイズを基準とし、第２の露光条件で撮影された第２の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換するための変換係数を、前記強度比算出部で算出された強度比を用いて算出する変換係数算出部をさらに備える
請求項１乃至６のいずれかに記載の画像処理装置。
請求項１乃至６のいずれかに記載の画像処理装置。
【請求項8】
前記変換係数算出部は、前記強度比算出部で算出された前記強度比のうち、最頻値の強度比を前記変換係数とする
請求項７に記載の画像処理装置。
請求項７に記載の画像処理装置。
【請求項9】
前記変換係数算出部は、前記強度比算出部で算出された前記強度比のうちの中央値を、前記変換係数とする
請求項７に記載の画像処理装置。
請求項７に記載の画像処理装置。
【請求項10】
前記変換係数算出部は、前記強度比算出部で算出された前記強度比の加重平均値を、前記変換係数とする
請求項７に記載の画像処理装置。
請求項７に記載の画像処理装置。
【請求項11】
前記変換係数算出部で算出された前記変換係数を用いて、前記第２の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換し、変換後の前記第２の画像と前記第１の画像との差を取ることで、前記画像内の動きを検出する
請求項７に記載の画像処理装置。
請求項７に記載の画像処理装置。
【請求項12】
前記周期的なノイズの周期を、前記変換係数算出部で算出された前記変換係数の変化から求める周期検出部をさらに備える
請求項７に記載の画像処理装置。
請求項７に記載の画像処理装置。
【請求項13】
前記周期検出部により検出された周期を用いて、前記変換係数算出部で算出された前記変換係数を更新する更新部をさらに備える
請求項１２に記載の画像処理装置。
請求項１２に記載の画像処理装置。
【請求項14】
前記変換係数は、前記画像内の水平方向のライン毎に算出される
請求項７に記載の画像処理装置。
請求項７に記載の画像処理装置。
【請求項15】
前記変換係数は、前記画像内の水平方向のライン内の画素毎に算出され、算出対象とされた画素を中心とした所定の範囲内の前記強度比が用いられて算出される
請求項７に記載の画像処理装置。
請求項７に記載の画像処理装置。
【請求項16】
前記周期的なノイズの周期の整数倍に設定された第１の露光条件で撮影された第１の画像の前記周期的なノイズを基準とし、第２の露光条件で撮影された第２の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換するための変換係数を算出する変換係数算出部をさらに備える
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項17】
前記異なる露光条件で画像を撮像する撮像素子と積層構造とされている
請求項１乃至１６のいずれかに記載の画像処理装置。
請求項１乃至１６のいずれかに記載の画像処理装置。
【請求項18】
異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出し、
算出された前記強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する
ステップを含む画像処理方法。
算出された前記強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する
ステップを含む画像処理方法。
【請求項19】
撮像素子で撮像される画像を処理する画像処理装置に、
異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出し、
算出された前記強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する
ステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラム。
異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出し、
算出された前記強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する
ステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラム。
【請求項20】
異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出する強度比算出部と、
前記強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部と
を備える画像処理部と、
前記画像処理部から出力される信号に対して信号処理を行う信号処理部と
を備える電子機器。
前記強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部と
を備える画像処理部と、
前記画像処理部から出力される信号に対して信号処理を行う信号処理部と
を備える電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、画像処理装置、画像処理方法、電子機器、並びにプログラムに関する。詳しくは、画像に発生するフリッカによる影響を低減した動き検出を行う画像処理装置、画像処理方法、電子機器、並びにプログラムに関する。【背景技術】
【0002】
蛍光灯の照明の下で、CMOS（Complementary Metal Oxides Semiconductor）撮像素子などＸＹアドレス走査型の撮像素子を備えたカメラで画像を撮影すると、映像信号に縞状の輝度ムラや色ムラが発生する。この現象はフリッカと呼ばれる。これは、商用電源（交流）に接続された蛍光灯が基本的に電源周波数の２倍の周期で点滅を繰り返していることと撮像素子の動作原理に起因する。【0003】
フリッカの発生した画像には水平方向に延びる縞模様の輝度変化パターンが出現する。例えば動画を観察した場合、上下に流れる縞模様が観察されてしまう。このような画像を用いて、その画像内で動きがある領域を検出する場合、フリッカも動きのある領域として検出されてしまう可能性がある。このようなフリッカによる影響を低減した動き検出の仕方として、特許文献１乃至３がある。【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００９−１６９８８６号公報
【特許文献2】特開２０１１−０２４０３５号公報
【特許文献3】特開２００８−１０９３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１では、フリッカ位相が等しい複数のフレームを利用することで、フリッカに対応した動き検出を行う手法が提案されている。しかしながら、特許文献１による方法では、過去のフレームを保持するため、最低でも３フレームのフレームメモリが必要となり、レイテンシも発生する可能性がある。また、フリッカ光源の空間的な変動に対応できない可能性がある。【0006】
特許文献２では、フレームメモリを用いずに、動きを検出する方法が提案されている。しかしながら、特許文献２による方法では、フリッカ周期の整数倍になるように露光を制御することで、フリッカ環境下に対応しているため、その分、露光の制約が発生してしまい、所望の露光での撮影ができない可能性がある。【0007】
特許文献３では、画像を領域分割し、分割領域毎に複数フレームを使用してフリッカ成分を含まない基準値を算出することで、フリッカ補正を行う方法が提案されている。しかしながら、特許文献３による方法では、フリッカの空間的な光源変動に対応する一方、フリッカ補正が目的のため動体検出には対応できず、また、フレームメモリが必要となり、レイテンシも発生する可能性がある。【0008】
本技術は、このような状況に鑑みてなされたものであり、フリッカなどの周期的なノイズによる誤検出が発生しない動き検出を行えるようにすることができるようにするものである。【課題を解決するための手段】
【0009】
本技術の一側面の画像処理装置は、異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出する強度比算出部と、前記強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部とを備える。【0010】
前記周期的なノイズとは、フリッカであるようにすることができる。【0011】
前記強度比算出部は、前記異なる露光条件が設定された画素が混在する撮像素子で撮像された１枚の画像から、前記強度比を算出するようにすることができる。【0012】
前記強度比算出部は、前記異なる露光条件でそれぞれ撮像された複数の画像から、前記強度比を算出するようにすることができる。【0013】
前記寄与度算出部により算出された前記寄与度が所定の値以上である前記画像内の位置を、動きとして検出するようにすることができる。【0014】
前記強度比は、前記異なる露光条件で撮影された画像内で算出対象とされている画素の画素値の比、または、算出対象とされている画素の周辺領域にある画素の画素値から算出される信号値の比であるようにすることができる。【0015】
第１の露光条件で撮影された第１の画像の前記周期的なノイズを基準とし、第２の露光条件で撮影された第２の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換するための変換係数を、前記強度比算出部で算出された強度比を用いて算出する変換係数算出部をさらに備えるようにすることができる。【0016】
前記変換係数算出部は、前記強度比算出部で算出された前記強度比のうち、最頻値の強度比を前記変換係数とするようにすることができる。【0017】
前記変換係数算出部は、前記強度比算出部で算出された前記強度比のうちの中央値を、前記変換係数とするようにすることができる。【0018】
前記変換係数算出部は、前記強度比算出部で算出された前記強度比の加重平均値を、前記変換係数とするようにすることができる。【0019】
前記変換係数算出部で算出された前記変換係数を用いて、前記第２の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換し、変換後の前記第２の画像と前記第１の画像との差を取ることで、前記画像内の動きを検出するようにすることができる。【0020】
前記周期的なノイズの周期を、前記変換係数算出部で算出された前記変換係数の変化から求める周期検出部をさらに備えるようにすることができる。【0021】
前記周期検出部により検出された周期を用いて、前記変換係数算出部で算出された前記変換係数を更新する更新部をさらに備えるようにすることができる。【0022】
前記変換係数は、前記画像内の水平方向のライン毎に算出されるようにすることができる。【0023】
前記変換係数は、前記画像内の水平方向のライン内の画素毎に算出され、算出対象とされた画素を中心とした所定の範囲内の前記強度比が用いられて算出されるようにすることができる。【0024】
前記周期的なノイズの周期の整数倍に設定された第１の露光条件で撮影された第１の画像の前記周期的なノイズを基準とし、第２の露光条件で撮影された第２の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換するための変換係数を算出する変換係数算出部をさらに備えるようにすることができる。【0025】
前記異なる露光条件で画像を撮像する撮像素子と積層構造とされているようにすることができる。【0026】
本技術の一側面の画像処理方法は、異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出し、算出された前記強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出するステップを含む。【0027】
本技術の一側面のプログラムは、撮像素子で撮像される画像を処理する画像処理装置に、異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出し、算出された前記強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出するステップを含む処理を実行させる。【0028】
本技術の一側面の電子機器は、異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出する強度比算出部と、前記強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部とを備える画像処理部と、前記画像処理部から出力される信号に対して信号処理を行う信号処理部とを備える。【0029】
本技術の一側面の画像処理装置、画像処理方法、並びにプログラムにおいては、異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比が算出され、算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度が算出される。【0030】
本技術の一側面の電子機器は、前記画像処理装置を含む構成とされている。【発明の効果】
【0031】
本技術の一側面によれば、フリッカなどの周期的なノイズによる誤検出が発生しない動き検出を行えるようにすることができる。【0032】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。【図面の簡単な説明】
【0033】
【図1】フリッカの発生原理と補正について説明する図である。
【図2】フリッカの発生原理と補正について説明する図である。
【図3】本技術が適用される撮像装置の一実施の形態の構成を示す図である。
【図4】異なる露光時間の画素の配置例を示す図である。
【図5】異なる露光時間の画素の配置例を示す図である。
【図6】異なる露光時間の画素の配置例を示す図である。
【図7】異なる露光時間の画素の配置例を示す図である。
【図8】異なる露光時間の画素の配置例を示す図である。
【図9】異なる露光時間の画素の配置例を示す図である。
【図10】異なる露光時間の画素の配置例を示す図である。
【図11】異なる露光時間の画素の配置例を示す図である。
【図12】異なる露光時間の画素の配置例を示す図である。
【図13】異なる露光時間について説明するための図である。
【図14】第１の実施の形態における画像処理部の構成について説明するための図である。
【図15】第１の実施の形態におけるフリッカの除去について説明するための図である。
【図16】フリッカの影響を低減した動き検出について説明するための図である。
【図17】第１の実施の形態における画像処理部の動作について説明するためのフローチャートである。
【図18】強度比の算出について説明するための図である。
【図19】強度比の分布について説明するための図である。
【図20】第２の実施の形態におけるフリッカの除去について説明するための図である。
【図21】第２の実施の形態における画像処理部の構成について説明するための図である。
【図22】第２の実施の形態における画像処理部の動作について説明するためのフローチャートである。
【図23】第３の実施の形態におけるフリッカ光源による影響について説明するための図である。
【図24】強度比の補正について説明するための図である。
【図25】第３の実施の形態における画像処理部の動作について説明するためのフローチャートである。
【図26】従来の動き検出に係わる処理部の構成を示す図である。
【図27】画像処理部の他の構成を示す図である。
【図28】撮像装置の他の構成を示す図である。
【図29】撮像装置の他の構成を示す図である。
【図30】撮像装置の他の構成を示す図である。
【図31】記録媒体について説明するための図である。
【発明を実施するための形態】
【0034】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。１．フリッカ発生原理と補正原理について
２．撮像装置の構成
３．第１の実施の形態における画像処理部の構成について
４．第１の実施の形態における画像処理について
５．第２の実施の形態における画像処理部の構成について
６．第２の実施の形態における画像処理について
７．第３の実施の形態における画像処理について
８．効果
９．他の構成
１０．記録媒体について
【0035】
＜フリッカ発生原理と補正原理について＞以下に説明する画像処理装置によれば、フリッカの影響を受けずに、画像内の動きのある領域を検出できる。また、フリッカの影響を除去した画像を生成することができる。そこで、まず、図１以下を参照してフリッカ発生原理について説明する。図１のＡは、カメラで画像撮影を行う環境下の照明輝度の時間変化を表す。一般に商用電源は５０Ｈｚ、あるいは６０Ｈｚの交流電源であるため、蛍光灯の光などの照明光は、１００Ｈｚ、あるいは１２０Ｈｚの周波数で揺らぎやすい。
【0036】
なお、ここでは、フリッカを例に挙げて説明するが、フリッカのように、所定の周波数で発生するノイズなどに対しても、以下に説明する本技術を適用することはできる。【0037】
図１のＡに示したグラフは、横軸が時間ｔ、縦軸が、各時間ｔにおける照明の輝度ｆ（ｔ）である。時間ｔの照明光輝度ｆ（ｔ）は、照明光輝度の平均値ｆＤと、照明光輝度平均値からの変動ｆＡ（ｔ）に分解すると、以下のように表記できる。ｆ（ｔ）＝ｆＤ＋ｆＡ（ｔ） ・・・（１）
【0038】
照明光輝度の平均値ｆＤは時間ｔによらず一定の値であり、平均値からの変動ｆＡ（ｔ）は照明の周波数に応じて、周期に変動する値となる。さらに、照明光の輝度をｆ（ｔ）の周期をＴとおくと以下の関係が成り立つ。【0039】
【数1】
【0040】
図１のＢは、ＣＭＯＳイメージセンサのように行ごとに撮像タイミングが異なる撮像素子の露光タイミングの模式図を表す。横軸が時間ｔ、縦軸が撮像素子の行ｙ、である。図に示す例は、一定間隔Ｓで、連続する画像フレームを撮影する場合の例であり、フレーム１と、フレーム２の２つの画像撮影時の露光タイミングを示している。各フレーム画像の撮影は、撮像素子の上位行から下位行に順次、露光が実行される。【0041】
各フレーム画像の撮影時の露光タイミングは、撮像素子の行毎に異なるため、蓄積する照明光の影響も行毎に異なる。例えば、露光時間Ｅの撮像素子の所定の画素の露光終了時間をｔとする。フリッカの影響がある条件下での、その画素が露光する間の照明光の総和を、ＦＡ（ｔ，Ｅ）と置くと、ＦＡ（ｔ，Ｅ）は以下のように記述できる。【0042】
【数2】
【0043】
フリッカのない理想的な条件下での、照明光の総和を、ＦＤ（ｔ，Ｅ）とする。ＦＤ（ｔ，Ｅ）は、フリッカの影響がないので、照明光輝度平均値からの変動ｆＡ（ｔ）＝０となり、以下のように記述できる。ＦＤ（ｔ，Ｅ）＝ｆＤ×Ｅ ・・・（４）
【0044】
ここで「フリッカ成分」を、フリッカのない理想的な画像と、フリッカの影響を受けた画像との比と定義する。フリッカ成分は、画素が蓄積する間の照明光の総量の比に等しい。従って、露光時間Ｅの撮像素子における露光終了時間ｔの画素のフリッカ成分ｇ（ｔ，Ｅ）は以下の式（５）に示すように定式化できる。【0045】
【数3】
【0046】
図１のＣは、横軸が、画像の各画素の露光終了タイミングｔ、縦軸が、フリッカ成分ｇ（ｔ，Ｅ）、これらの関係を模式的に表した図である。なお前述のとおり照明光は周期的に揺らぐためフリッカ成分も周期性をもっている。そのため一度、フリッカ成分ｇ（ｔ，Ｅ）を求めることが出来れば、基本的にはあらゆる露光終了タイミングｔに対応するフリッカ成分ｇ（ｔ，Ｅ）も推定することが出来る。【0048】
図２のＡは、フリッカの影響を受けた撮像素子の出力画像に発生するフリッカの影響の模式図である。行ごとに露光終了タイミングが異なるため、出力画像には行単位の明暗の縞模様が表れる。【0049】
図２のＢは、出力画像の各行のフリッカ成分のグラフｇ（ｔ０，ｙ，Ｅ）を表している。ｔ０は、１行目の露光を終える時刻を表し、ｙは注目する行を表す。撮像装置（カメラ）のデータ処理部は、画像撮影時の露光時間Ｅと、各行ｙの露光終了タイミングｔに基づいて、図１のＣのグラフからｔに対応するフリッカ成分ｇ（ｔ，Ｅ）を算出することができる。【0050】
具体的には、所定の行の露光を終えてから、次の１つ下の行の露光を終えるまでの時間の単位を１[line]と定義する。このように定義した場合、ｇ（ｔ０，ｙ，Ｅ）とｇ（ｔ，Ｅ）は以下のように変換できるｇｙ（ｔ，ｙ，Ｅ）＝ｇｔ（ｔ＋ｙ，Ｅ） ・・・（６）
【0051】
撮像装置（カメラ）のデータ処理部は、画像撮影時の露光時間Ｅと、各行ｙの露光終了タイミングｔに基づいて、図１のＣのグラフからｔに対応するフリッカ成分ｇ（ｔ，Ｅ）を算出することができる。例えば図２に示す第ａ行目の露光終了時間をｔとすると、図１のＣのグラフからｔに対応するフリッカ成分ｇ（ｔ，Ｅ）を算出することができる。露光時間Ｅの撮像素子における露光終了時間ｔの画素のフリッカ成分ｇ（ｔ，Ｅ）がわかれば、撮像素子の各行のフリッカ成分ｇ（ｙ）を推定することが出来る。【0052】
＜撮像装置の構成＞本技術が適用される画像処理装置は、例えば広ダイナミックレンジ画像（ＨＤＲ画像）を生成するために、異なる露光時間に設定した複数の撮影画像を入力（生成）して、フリッカ成分を除去または低減した補正画像を生成して出力する。本技術が適用される画像処理装置は、例えば、異なる露光時間に設定した複数の撮影画像を合成して、低輝度部分から高輝度部分まで、より正確な画素値の設定された広ダイナミックレンジ画像を生成して出力する。
【0053】
本技術が適用される画像処理装置では、異なる露光時間に設定された複数の画像を用いて、広ダイナミックレンジ画像を生成するとともに、動きがある領域を検出し、その情報を出力する処理を実行する。そのような画像処理装置について説明する。【0054】
図３は、本技術が適用される画像処理装置の一実施の形態の構成を示す図である。ここでは、画像処理装置が含まれる撮像装置を例に挙げて説明する。【0055】
図３に示した撮像装置１００は、光学レンズ１０１、撮像素子１０２、画像処理部１０３、信号処理部１０４、制御部１０５を含む構成とされている。図３に示した撮像装置１００は、光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１０２に入射し、光電変換による画像データを出力する。出力画像データは画像処理部１０３に入力される。【0056】
撮像素子１０２の出力画像は、各画素にＲＧＢのいずれかの画素値が設定されたいわゆるモザイク画像である。画像処理部１０３は、上述したフリッカ補正処理、さらに、長時間露光画像と短時間露光画像との合成処理に基づく広ダイナミックレンジ（HDR:High Dynamic Range）画像の生成処理などを行う。【0057】
この画像処理部１０３の出力は、信号処理部１０４に入力される。信号処理部１０４は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。また、画像処理部１０３からは、動き情報１２１も出力される。この動き情報１２１も、例えば、図示していない記憶部などに格納されるようにしても良い。【0058】
制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。【0059】
このような構成を有する本技術を適用した撮像装置１００は、例えば、監視カメラなどに適用できる。監視カメラに適用した場合、撮像された画像から、動いている領域を検出し、その部分を追尾するといったことができる。【0060】
本技術によれば、フリッカ成分が載るような場所、例えば、建物の出入り口であり、照明があるような場所を撮影し、人の出入りをチェックするような監視カメラに適用できる。照明があるような場所を撮影した場合、フリッカ成分が載った画像が撮像されることによる、フリッカ成分が動きとして検出されてしまう可能性がある。このような場合、誤検出が行われたことになる。【0061】
以下に説明する本技術によれば、フリッカ成分が載ってしまうような撮影場所であっても、そのフリッカ成分を動きとして検出することなく、動きがある領域を検出することができる。【0062】
次に、撮像素子１０２の露光制御構成例について図４を参照して説明する。撮像装置１００では、１枚の撮影画像に含まれる画素単位で、長時間露光画素と短時間露光画素を設定して、これらの画素間の合成処理（αブレンド）により、広ダイナミックレンジ画像を生成する。この露光時間制御は制御部１０５の制御によって行われる。【0063】
図４は、撮像素子１０２の露光時間設定例を示す図である。図４に示すように、撮像素子の構成画素は、第１の露光条件（短時間露光）に設定された画素、第２の露光条件（長時間露光）に設定された画素の２つの種類の画素に区分される。【0064】
図４において、斜線を付して記載した画素は、第１の露光条件で露光される画像であり、斜線を付さずに記載した画素は、第２の露光条件で露光される画素である。【0065】
図４に示した画素配置は、１乃至８行、１乃至８列に配列されたＲ画素、Ｇ画素、Ｂ画素の配置である。図４に示したのは、イメージセンサの一部分であり、１乃至８行、１乃至８列に配列されたＲ画素、Ｇ画素、Ｂ画素以外の他の行、他の列に配列されたＲ画素、Ｇ画素、Ｂ画素についての構成も同様である。【0066】
以下の説明において、例えば、画素２００（ｍ，ｎ）との記載を行うが、ｍは行を表し、ｎは列を表すとする。また行とは、水平信号線（不図示）が配置される水平方向とし、列とは、垂直信号線（不図示）が配置される垂直方向とする。例えば、画素２００（２，１）とは、２行目の１列目に位置する画素であることを表す。また、ここで、左上の画素を、画素２００（１，１）とし、この画素２００（１，１）を基準として、各画素の位置を表す。他の図面においても、同様の記載を行う。【0067】
イメージセンサの水平方向（図４の左右方向であり、行方向）の構成を説明する。１行目には、第１の露光条件で露光されるＲ画素２００（１，１）、Ｒ画素２００（１，５）と、第２の露光条件で露光されるＧ画素２００（１，２）、Ｒ画素２００（１，３）、Ｇ画素２００（１，４）、Ｇ画素２００（１，６）、Ｒ画素２００（１，７）、Ｇ画素２００（１，８）が配置されている。【0068】
２行目には、第１の露光条件で露光されるＧ画素２００（２，１）、Ｇ画素２００（２，３）、Ｂ画素２００（２，４）、Ｇ画素２００（２，５）、Ｇ画素２００（２，７）、Ｂ画素２００（２，８）と、第２の露光条件で露光されるＢ画素２００（２，２）、Ｂ画素２００（２，６）が配置されている。【0069】
３行目は、第１の露光条件で露光されるＲ画素２００（３，３）、Ｒ画素２００（３，７）と、第２の露光条件で露光されるＲ画素２００（３，１）、Ｇ画素２００（３，２）、Ｇ画素２００（３，４）、Ｒ画素２００（３，５）、Ｇ画素２００（３，７）、Ｇ画素２００（３，８）が配置されている。【0070】
４行目は、第１の露光条件で露光されるＧ画素２００（４，１）、Ｂ画素２００（４，２）、Ｇ画素２００（４，３）、Ｇ画素２００（４，５）、Ｂ画素２００（４，６）、Ｇ画素２００（４，７）と、第２の露光条件で露光されるＢ画素２００（４，４）、Ｂ画素２００（４，８）が配置されている。【0071】
５行目は、１行目と同じく、６行目は、２行目と同じく、７行目は、３行目と同じく、８行目は４行目と同じく、Ｒ画素、Ｇ画素、Ｂ画素が、それぞれ配置されている。【0072】
以下の説明においては、図４に示した画素配置を例に挙げて説明するが、本技術は、図４に示した画素配置に適用が限定されるのでなく、他の画素配置に対しても適用することができる。他の画素配置の例として、図５乃至図１２を参照して説明する。【0073】
図５は、画素配置の他の例を示す図である。図５に示した画素配置のうちの１行目には、第１の露光条件で露光されるＲ画素２１０（１，１）、Ｇ画素２１０（１，２）、Ｒ画素２１０（１，３）、Ｇ画素２１０（１，４）、Ｒ画素２１０（１，５）、Ｇ画素２１０（１，６）、Ｒ画素２１０（１，７）、Ｇ画素２１０（１，８）が配置されている。【0074】
この場合、１行目には、Ｒ画素とＧ画素が、交互に配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。【0075】
２行目には、第１の露光条件で露光されるＧ画素２１０（２，１）、Ｂ画素２１０（２，２）、Ｇ画素２１０（２，３）、Ｂ画素２１０（２，４）、Ｇ画素２１０（２，５）、Ｂ画素２１０（２，６）、Ｇ画素２１０（２，７）、Ｂ画素２１０（２，８）が配置されている。【0076】
この場合、２行目には、Ｇ画素とＢ画素が、交互に配置され、全ての画素が第１の露光条件（短時間露光）で露光される画素とされている。【0077】
３行目には、第２の露光条件で露光されるＲ画素２１０（３，１）、Ｇ画素２１０（３，２）、Ｒ画素２１０（３，３）、Ｇ画素２１０（３，４）、Ｒ画素２１０（３，５）、Ｇ画素２１０（３，６）、Ｒ画素２１０（３，７）、Ｇ画素２１０（３，８）が配置されている。【0078】
この場合、３行目には、Ｒ画素とＧ画素が、交互に配置され、全ての画素が、第２の露光条件（長時間露光）で露光される画素とされている。【0079】
４行目には、第２の露光条件で露光されるＧ画素２１０（４，１）、Ｂ画素２１０（４，２）、Ｇ画素２１０（４，３）、Ｂ画素２１０（４，４）、Ｇ画素２１０（４，５）、Ｂ画素２１０（４，６）、Ｇ画素２１０（４，７）、Ｂ画素２１０（４，８）が配置されている。【0080】
この場合、４行目には、Ｇ画素とＢ画素が、交互に配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。【0081】
５行目は、１行目と同じく、６行目は、２行目と同じく、７行目は、３行目と同じく、８行目は４行目と同じく、Ｒ画素、Ｇ画素、Ｂ画素が、それぞれ配置されている。【0082】
このような画素配置に対しても、本技術を適用できる。【0083】
図６は、画素配置の他の例を示す図である。図６に示した画素配置のうちの１行目には、第１の露光条件で露光されるＲ画素２２０（１，１）、Ｇ画素２２０（１，２）、Ｒ画素２２０（１，５）、Ｇ画素２２０（１，６）と、第２の露光条件で露光されるＲ画素２２０（１，３）、Ｇ画素２２０（１，４）、Ｒ画素２２０（１，７）、Ｇ画素２２０（１，８）が配置されている。【0084】
この場合、１行目には、Ｒ画素とＧ画素が、交互に配置され、Ｒ画素とＧ画素のそれぞれは、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。【0085】
２行目には、第１の露光条件で露光されるＧ画素２２０（２，１）、Ｂ画素２２０（２，２）、Ｇ画素２２０（２，５）、Ｂ画素２２０（２，６）と、第２の露光条件で露光されるＧ画素２２０（２，３）、Ｂ画素２２０（２，４）、Ｇ画素２２０（２，７）Ｂ画素２２０（２，８）が配置されている。【0086】
この場合、２行目には、Ｇ画素とＢ画素が、交互に配置され、Ｇ画素とＢ画素のそれぞれは、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。【0087】
３行目は、第２の露光条件で露光されるＲ画素２２０（３，１）、Ｇ画素２２０（３，２）から配置されている点が１行目と異なるが、１行目と同じくＲ画素とＧ画素は、交互に配置され、配置されているＲ画素とＧ画素のそれぞれは、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。【0088】
４行目は、第２の露光条件で露光されるＧ画素２２０（４，１）、Ｂ画素２２０（４，２）から配置されている点が２行目と異なるが、２行目と同じく配置されているＧ画素とＢ画素は、交互に配置され、Ｇ画素とＢ画素のそれぞれは、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。【0089】
５行目は、１行目と同じく、６行目は、２行目と同じく、７行目は、３行目と同じく、８行目は４行目と同じく、Ｒ画素、Ｇ画素、Ｂ画素が、それぞれ配置されている。【0090】
このような画素配置に対しても、本技術を適用できる。【0092】
１行目と２行目に配置されている２×２の４画素のうち、Ｒ画素２３０（１，１）、Ｒ画素２３０（１，２）、Ｒ画素２３０（２，１）、Ｒ画素２３０（２，２）の４画素は、Ｒ（赤）画素であり、Ｒ画素２３０（１，１）とＲ画素２３０（２，２）は、第２の露光条件で露光される画素とされ、Ｒ画素２３０（１，２）とＲ画素２３０（２，１）は、第１の露光条件で露光される画素とされている。このような配置を有する赤色の４画素をＲ画素ブロックと記述する。【0093】
このようなＲ画素ブロックに隣接し、１行目と２行目に配置されている２×２の４画素のうち、Ｇ画素２３０（１，３）、Ｇ画素２３０（１，４）、Ｇ画素２３０（２，３）、Ｇ画素２３０（２，４）の４画素は、Ｇ（緑）画素であり、Ｇ画素２３０（１，３）とＧ画素２３０（２，４）は、第２の露光条件で露光される画素とされ、Ｇ画素２３０（１，４）とＧ画素２３０（２，３）は、第１の露光条件で露光される画素とされている。このような配置を有する緑色の４画素をＧ画素ブロックと記述する。【0094】
１行目と２行目には、Ｒ画素ブロックとＧ画素ブロックが交互に配置されている。【0095】
３行目と４行目には、Ｇ画素２３０（３，１）、Ｇ画素２３０（３，２）、Ｇ画素２３０（４，１）、Ｇ画素２３０（４，２）で構成されるＧ画素ブロックが配置されている。【0096】
Ｇ画素ブロックに隣接し、３行目と４行目に配置されている２×２の４画素のうち、Ｂ画素２３０（３，３）、Ｂ画素２３０（３，４）、Ｂ画素２３０（４，３）、Ｂ画素２３０（４，４）の４画素は、Ｂ（緑）画素であり、Ｂ画素２３０（３，３）とＢ画素２３０（４，４）は、第２の露光条件で露光される画素とされ、Ｂ画素２３０（３，４）とＢ画素２３０（４，３）は、第１の露光条件で露光される画素とされている。このような配置を有する青色の４画素をＢ画素ブロックと記述する。【0097】
３行目と４行目は、Ｇ画素ブロックとＢ画素ブロックが交互に配置されている。【0098】
５行目と６行目は、１行目と２行目と同じく、Ｒ画素ブロックとＧ画素ブロックが交互に配置されている。７行目と８行目は、３行目と４行目と同じく、Ｇ画素ブロックとＢ画素ブロックが交互に配置されている。【0099】
このような画素配置に対しても、本技術を適用できる。【0101】
１行目と２行目に配置されている２×２の４画素のうち、Ｒ画素２４０（１，１）、Ｒ画素２４０（１，２）、Ｒ画素２４０（２，１）、Ｒ画素２４０（２，２）で構成されるＲ’画素ブロックの４画素は、Ｒ画素２４０（１，１）とＲ画素２４０（１，２）が、第１の露光条件で露光される画素とされ、Ｒ画素２４０（２，１）とＲ画素２４０（２，２）が、第２の露光条件で露光される画素とされている。【0102】
このようなＲ’画素ブロックに隣接し、１行目と２行目に配置されている２×２の４画素のうち、Ｇ画素２４０（１，３）、Ｇ画素２４０（１，４）、Ｇ画素２４０（２，３）、Ｇ画素２４０（２，４）で構成されるＧ’画素ブロックの４画素は、Ｇ画素２４０（１，３）とＧ画素２４０（１，４）が、第１の露光条件で露光される画素とされ、Ｇ画素２４０（２，３）とＧ画素２４０（２，４）が、第２の露光条件で露光される画素とされている。【0103】
３行目と４行目には、Ｇ画素２４０（３，１）、Ｇ画素２４０（３，２）、Ｇ画素２４０（４，１）、Ｇ画素２４０（４，２）で構成されるＧ’画素ブロックが配置されている。【0104】
Ｇ’画素ブロックに隣接し、３行目と４行目に配置されている２×２の４画素のうち、Ｂ画素２４０（３，３）、Ｂ画素２４０（３，４）、Ｂ画素２４０（４，３）、Ｂ画素２４０（４，４）で構成されるＢ’画素ブロックの４画素は、Ｂ画素２４０（３，３）とＢ画素２４０（３，４）が、第１の露光条件で露光される画素とされ、Ｂ画素２４０（４，３）とＢ画素２４０（４，４）が、第２の露光条件で露光される画素とされている。【0105】
５行目と６行目は、１行目と２行目と同じく、Ｒ’画素ブロックとＧ’画素ブロックが交互に配置されている。７行目と８行目は、３行目と４行目と同じく、Ｇ’画素ブロックとＢ’画素ブロックが交互に配置されている。【0106】
図８に示した画素配置は、奇数行には第１の露光条件で露光する画素が配置され、偶数行には第２の露光条件で露光される画素が配置されている。【0107】
このような画素配置に対しても、本技術を適用できる。【0109】
１行目と２行目に配置されている２×２の４画素のうち、Ｒ画素２５０（１，１）、Ｒ画素２５０（１，２）、Ｒ画素２５０（２，１）、Ｒ画素２５０（２，２）で構成されるＲ”画素ブロックの４画素は、Ｒ画素２５０（１，１）とＲ画素２５０（２，１）が、第１の露光条件で露光される画素とされ、Ｒ画素２５０（１，２）とＲ画素２５０（２，２）が、第２の露光条件で露光される画素とされている。【0110】
このようなＲ”画素ブロックに隣接し、１行目と２行目に配置されている２×２の４画素のうち、Ｇ画素２５０（１，３）、Ｇ画素２５０（１，４）、Ｇ画素２５０（２，３）、Ｇ画素２５０（２，４）で構成されるＧ”画素ブロックの４画素は、Ｇ画素２５０（１，３）とＧ画素２５０（２，３）が、第１の露光条件で露光される画素とされ、Ｇ画素２５０（１，４）とＧ画素２５０（２，４）が、第２の露光条件で露光される画素とされている。【0111】
３行目と４行目には、Ｇ画素２５０（３，１）、Ｇ画素２５０（３，２）、Ｇ画素２５０（４，１）、Ｇ画素２５０（４，２）で構成されるＧ”画素ブロックが配置されている。【0112】
Ｇ”画素ブロックに隣接し、３行目と４行目に配置されている２×２の４画素のうち、Ｂ画素２５０（３，３）、Ｂ画素２５０（３，４）、Ｂ画素２５０（４，３）、Ｂ画素２５０（４，４）で構成されるＢ”画素ブロックの４画素は、Ｂ画素２５０（３，３）とＢ画素２５０（４，３）が、第１の露光条件で露光される画素とされ、Ｂ画素２５０（３，４）とＢ画素２５０（４，４）が、第２の露光条件で露光される画素とされている。【0113】
５行目と６行目は、１行目と２行目と同じく、Ｒ”画素ブロックとＧ”画素ブロックが交互に配置されている。７行目と８行目は、３行目と４行目と同じく、Ｇ”画素ブロックとＢ”画素ブロックが交互に配置されている。【0114】
図９に示した画素配置は、奇数列には第１の露光条件で露光する画素が配置され、偶数列には第２の露光条件で露光される画素が配置されている。【0115】
このような画素配置に対しても、本技術を適用できる。【0116】
図１０は、画素配置の他の例を示す図である。図１０に示した画素配置のうちの１行目には、第１の露光条件で露光されるＲ画素２６０（１，１）、Ｇ画素２６０（１，２）、Ｂ画素２６０（１，３）、Ｇ画素２６０（１，４）、Ｒ画素２６０（１，５）、Ｇ画素２６０（１，６）、Ｂ画素２６０（１，７）、Ｇ画素２６０（１，８）が配置されている。【0117】
この場合、１行目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。【0118】
２行目には、第２の露光条件で露光されるＧ画素２６０（２，１）、Ｒ画素２６０（２，２）、Ｇ画素２６０（２，３）、Ｂ画素２６０（２，４）、Ｇ画素２６０（２，５）、Ｒ画素２６０（２，６）、Ｇ画素２６０（２，７）、Ｂ画素２６０（２，８）が配置されている。【0119】
この場合、２行目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。【0120】
３行目には、第１の露光条件で露光されるＧ画素２６０（３，１）、Ｂ画素２６０（３，２）、Ｒ画素２６０（３，３）、Ｇ画素２６０（３，４）、Ｇ画素２６０（３，５）、Ｂ画素２６０（３，６）、Ｒ画素２６０（３，７）、Ｇ画素２６０（３，８）が配置されている。【0121】
この場合、３行目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。【0122】
４行目には、第２の露光条件で露光されるＧ画素２６０（４，１）、Ｂ画素２６０（４，２）、Ｇ画素２６０（４，３）、Ｒ画素２６０（４，４）、Ｇ画素２６０（４，５）、Ｂ画素２６０（４，６）、Ｇ画素２６０（４，７）、Ｒ画素２６０（４，８）が配置されている。【0123】
この場合、４行目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。【0124】
５行目は、１行目と同じく、６行目は、２行目と同じく、７行目は、３行目と同じく、８行目は４行目と同じく、Ｒ画素、Ｇ画素、Ｂ画素が、それぞれ配置されている。【0125】
このような画素配置に対しても、本技術を適用できる。【0126】
図１１は、画素配置の他の例を示す図である。図１１に示した画素配置は、列方向に第１の露光条件で露光される画素と、第２の露光条件で露光される画素とが配列されているため、ここでは、列方向での配列に注目して説明する。【0127】
図１１に示した画素配置のうちの１列目には、第１の露光条件で露光されるＲ画素２７０（１，１）、Ｇ画素２７０（２，１）、Ｒ画素２７０（３，１）、Ｇ画素２７０（４，１）、Ｒ画素２７０（５，１）、Ｇ画素２７０（６，１）、Ｒ画素２７０（７，１）、Ｇ画素２７０（８，１）が配置されている。【0128】
この場合、１列目には、Ｒ画素、Ｇ画素が配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。【0129】
２列目には、第１の露光条件で露光されるＧ画素２７０（１，２）、Ｂ画素２７０（２，２）、Ｇ画素２７０（３，２）、Ｂ画素２７０（４，２）、Ｇ画素２７０（５，２）、Ｂ画素２７０（６，２）、Ｇ画素２７０（７，２）、Ｂ画素２７０（８，２）が配置されている。【0130】
この場合、２列目には、Ｇ画素、Ｂ画素が配置され、全ての画素が第１の露光条件（短時間露光）で露光される画素とされている。【0131】
３列目には、第２の露光条件で露光されるＲ画素２７０（１，３）、Ｇ画素２７０（２，３）、Ｒ画素２７０（３，３）、Ｇ画素２７０（４，３）、Ｒ画素２７０（５，３）、Ｇ画素２７０（６，３）、Ｒ画素２７０（７，３）、Ｇ画素２７０（８，３）が配置されている。【0132】
この場合、３列目には、Ｒ画素、Ｇ画素が配置され、全ての画素が、第２の露光条件（長時間露光）で露光される画素とされている。【0133】
４列目には、第２の露光条件で露光されるＧ画素２７０（１，４）、Ｂ画素２７０（２，４）、Ｇ画素２７０（３，４）、Ｂ画素２７０（４，４）、Ｇ画素２７０（５，４）、Ｂ画素２７０（６，４）、Ｇ画素２７０（７，４）、Ｂ画素２７０（８，４）が配置されている。【0134】
この場合、４列目には、Ｇ画素、Ｂ画素が配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。【0135】
５列目は、１列目と同じく、６列目は、２列目と同じく、７列目は、３列目と同じく、８列目は４列目と同じく、Ｒ画素、Ｇ画素、Ｂ画素が、それぞれ配置されている。【0136】
このような画素配置に対しても、本技術を適用できる。【0137】
図１２は、画素配置の他の例を示す図である。図１２に示した画素配置は、列方向に第１の露光条件で露光される画素と、第２の露光条件で露光される画素とが配列されているため、ここでは、列方向での配列に注目して説明する。【0138】
図１２に示した画素配置のうちの１列目には、第１の露光条件で露光されるＲ画素２８０（１，１）、Ｇ画素２８０（２，１）、Ｂ画素２８０（３，１）、Ｇ画素２８０（４，１）、Ｒ画素２８０（５，１）、Ｇ画素２８０（６，１）、Ｂ画素２８０（７，１）、Ｇ画素２８０（８，１）が配置されている。【0139】
この場合、１列目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。【0140】
２列目には、第２の露光条件で露光されるＧ画素２８０（１，２）、Ｒ画素２８０（２，２）、Ｇ画素２８０（３，２）、Ｂ画素２８０（４，２）、Ｇ画素２８０（５，２）、Ｒ画素２８０（６，２）、Ｇ画素２８０（７，２）、Ｂ画素２８０（８，２）が配置されている。【0141】
この場合、２列目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。【0142】
３列目には、第１の露光条件で露光されるＢ画素２８０（１，３）、Ｇ画素２８０（２，３）、Ｒ画素２８０（３，３）、Ｇ画素２８０（４，３）、Ｂ画素２８０（５，３）、Ｇ画素２８０（６，３）、Ｒ画素２８０（７，３）、Ｇ画素２８０（８，３）が配置されている。【0143】
この場合、３列目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。【0144】
４列目には、第２の露光条件で露光されるＧ画素２８０（１，４）、Ｂ画素２８０（２，４）、Ｇ画素２８０（３，４）、Ｒ画素２８０（４，４）、Ｇ画素２８０（５，４）、Ｂ画素２８０（６，４）、Ｇ画素２８０（７，４）、Ｒ画素２８０（８，４）が配置されている。【0145】
この場合、４列目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。【0146】
５列目は、１列目と同じく、６列目は、２列目と同じく、７列目は、３列目と同じく、８列目は４列目と同じく、Ｒ画素、Ｇ画素、Ｂ画素が、それぞれ配置されている。【0147】
このような画素配置に対しても、本技術を適用できる。【0148】
上記したように、本技術は、撮像装置に適用でき、撮像装置に含まれる撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどを含む撮像装置に適用できる。そして、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色光を出力する３個の画素が配列されているイメージセンサに適用できる。さらに、図示はしないが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｗ（白）の各色光を出力する４個の画素が配列されているイメージセンサにも適用できる。【0149】
Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｗ（白）の各色光を出力する４個の画素は、例えば、表示領域にマトリクス状に配置される。Ｗ画素は、全整色性である分光感度の画素として機能し、Ｒ画素、Ｇ画素、Ｂ画素は、それぞれの色に特性のある分光感度の画素として機能する。【0150】
このようなＲＧＢ画素配置以外の、例えば、ＲＧＢＷ画素配置に対しても、本技術を適用できる。【0152】
また、１枚の画像を撮像するとき、上記したように、短時間露光（第１の露光条件）と、長時間露光（第２の露光条件）を同時に撮影する場合を例に挙げて説明を続けるが、短時間露光用の画素と、長時間露光用の画素を分けずに、通常の画素で短時間露光の画像と長時間露光の画像を交互に撮影し、短時間露光時の画像と長時間露光時の画像を取得するようにした場合にも本技術を適用できる。【0153】
また、上記した例では、短時間露光と長時間露光の２種類の露光時間で撮影を行う撮影装置を例に挙げて説明したが、３種類以上の露光時間の撮影画像が組み合わされる撮影装置に対しても本技術を適用することはできる。【0154】
また上記した実施の形態においては、撮像素子の画素の分光感度をＲＧＢまたはＲＧＢ＋Ｗとする場合における例について説明したが、その分光感度がどうであるかは本技術を用いるうえでの制約とはならない。すなわち、ＲＧＢやＲＧＢ＋Ｗ以外の分光感度を有する画素を用いるようにしてもよい。例えば、Ｙ（イエロー）、Ｃ（シアン）、Ｍ（マゼンタ）等の補色系にＧを加えた４行の組み合わせでもよい。【0155】
以下の説明では、図４に示した画素配置を例に挙げて説明する。【0156】
図１３に各画素の露光時間の設定例を示す。第１の露光条件（短時間露光）に設定された画素は短時間の露光処理がなされる。第２の露光条件（長時間露光）に設定された画素は長時間の露光処理がなされる。なお、この画素単位の露光制御は、例えば図３に示す撮像装置１００の制御部１０５が、制御信号を撮像素子１０２に出力することで行われる。【0157】
＜第１の実施の形態における画像処理部の構成について＞次に、画像処理部１０３（図３）の構成について説明する。以下の説明においては、画像処理部１０３のうち、主に動き情報１２１（図３）を検出する部分についての説明を加える。
【0158】
図１４は、第１の実施の形態における画像処理部１０３の構成を示す図である。画像処理部１０３は、ライン選択部３０１、カメラ信号処理部３０２、強度比算出部３０３、動き寄与度算出部３０４、フリッカ変換係数算出部３０５、および動き検出部３０６を備える。【0159】
ライン選択部３０１には、撮像素子１０２（図３）から出力された空間的に複数の露光が混在した１枚のRAW画像、例えば、図４に示した画素配置で撮影された画像が入力される。ライン選択部３０１には、図４に示した画素配置で撮影された長時間露光と短時間露光の画像が混ざった１枚の画像が入力されるようにしても良いし、異なるタイミングで撮影された長時間露光の画像と短時間露光の画像の２枚の画像が入力されるようにしても良い。【0160】
また、ここでは、長時間露光と短時間露光を例にあげて説明しているが、さらに他の露光時間も設定し、複数の露光時間で撮影された複数枚のＲＡＷ画像が、ライン選択部３０１に入力されるように構成することも可能である。【0161】
ライン選択部３０１では、入力されたRAW画像（以下、単に画像と記述する）に対し、１つのライン(行)または周辺を含む複数のラインを順次選択する。ここでは、１ラインが選択されるとして説明を続ける。なお本明細書においてラインとは、特に断りがない限り、水平方向のラインであり、垂直方向のラインでないとする。【0162】
強度比算出部３０３は、ライン選択部３０１で選択されたラインの水平方向の各所において、強度比を算出する。強度比とは、二種類の露光、ここでは長時間露光と短時間露光のそれぞれの値を正規化した後の比であるとする。撮像画像の画素値をそのまま用いてもいいし、周辺領域を含めた画素値から算出される信号値を利用してもよい。ここでは、画素値が用いられるとして説明を続ける。次式（６）は、強度比算出の計算式を示している。【0163】
【数4】
【0164】
式（６）において、Ｆｉは、処理対象としているライン内の所定の位置にある画素の強度比を表す。例えば、図１５に示すような画像が処理対象とされているときを考える。図１５の上側に示した図は、撮像された画像３３１を表し、動き領域３３２と静止領域３３３が存在する画像である。動き領域３３２は、動きがある被写体が撮影されている領域であり、例えば、人などが撮影されている領域である。静止領域３３３は、動きがない被写体が撮影されている領域であり、例えば、建物などが撮影されている領域である。【0165】
また、式（６）は、露光条件が異なる画素が混在する撮影画像から強度比を算出する場合と、露光条件を変えて、複数枚撮影したときの撮像画像から強度比を算出する場合のどちらにも適用できる式である。後述する式（８）は、露光条件が異なる画素が混在する撮影画像から強度比を算出する場合の具体的な式である。【0166】
式（６）により、露光条件が異なる画素が混在する撮影画像から強度比を算出する場合、同一の位置の画素において、異なる露光条件で撮影された画素値を揃えた後に、式（６）が用いられて強度比が算出される。よって、式（６）により、露光条件が異なる画素が混在する撮影画像から強度比を算出する場合、同一の位置の画素において、異なる露光条件で撮影された画素値を揃える（例えば、補間することにより揃える）という前処理が必要となる。このような前処理を含んだ式が、後述する式（８）である。【0167】
一方、式（６）により、露光条件を変えて、複数枚撮影したときの撮像画像から強度比を算出する場合、同一の位置の画素において、異なる露光条件で撮影された画素値が揃っている状態なので、前処理を行わずに式（６）を適用して、強度比を算出することができる。【0168】
図１５に示した画像３３１の所定のラインＬ内において、順次、強度比Ｆ１，Ｆ２，Ｆ３，・・・，Ｆｉ，・・・，Ｆｎ−２，Ｆｎ−１，Ｆｎが算出される。【0169】
ＶｉＡは、露光Ａ、ここでは、長時間露光の画素値を表し、ＶｉＢは、露光Ｂ、ここでは短時間露光の画素値を表す。ＳｈｕｔｔｅｒＡは、露光Ａ（長時間露光）の露光時間を表し、ＳｈｕｔｔｅｒＢは、露光Ｂ（短時間露光）の露光時間を表す。Exposure Ratioは、露光Ａと露光Ｂの露光比となる。【0170】
式（６）においては、露光Ａ，Ｂ（長時間露光、短時間露光）に対し、露光Ａに露光比(Exposure Ratio)を乗算し、露光Ｂにあわせて正規化した後に比をとることで強度比が算出される。【0171】
なお、この際、露光Ａ,露光Ｂが双方とも飽和していない事を条件とする、露光Ａまたは露光Ｂのどちらかが飽和していた場合は、その箇所の強度比は算出されない。【0172】
動き寄与度算出部３０４は、強度比算出部３０３で算出された各所の強度比に対し、どれだけ動きが寄与しているかの度合いを示す指標を算出する。例えば、静止シーンで二種類の露光でフリッカの位相が一致していれば強度比は１になる。そうでない場合、動きやフリッカが存在していることになる。【0173】
動き寄与度とは、各所の強度比が動き由来なのかフリッカ由来なのかを判断する指標である。すなわち、動き寄与度が大きい強度比は動き由来、動き寄与度が小さい強度比はフリッカ由来という事になる。例えば、動き寄与度が所定の値以上である場合、動き由来であるとし、後段の処理にて画像内の動きがある領域として処理される。【0174】
フリッカ変換係数算出部３０５は、強度比算出部３０３で算出された各所の強度比と、動き寄与度算出部３０４で算出された各所強度比に対する動き寄与度を利用して、所定の露光のフリッカを基準の露光のフリッカに変換するフリッカ変換係数を算出する。【0175】
具体的には、動き寄与度が小さい強度比から動き由来ではない強度比を算出しフリッカ変換係数とすることで、静止領域３３３におけるフリッカを、基準となる露光のフリッカに変換するための変換係数を算出する。ここでは、基準となる露光のフリッカは、長時間露光時に撮影されるフリッカであり、短時間露光時に撮影されたフリッカを長時間露光時に撮影されるフリッカに変換するための変換係数が算出される。【0176】
動き検出部３０６は、フリッカ変換係数算出部３０５で算出されたフリッカ変換係数と各所の各露光の値を利用して、各所の動きを検出する。各所の一番細かい粒度は画素位置毎である。具体的な動きの算出方法について、式（７）を参照して説明する。【0177】
【数5】
【0178】
露光Ａ（Ｖｘ，ｙＡ）に露光比（Exposure Ratio）を乗算することで正規化した値と、露光Ｂ（Ｖｘ，ｙＢ）にフリッカ変換係数（Ｆｘ，ｙ）を乗算した値との差分絶対値を算出し、その算出値を動き検出値（Ｍｘ，ｙ）とする。【0179】
露光Ｂにフリッカ変換係数を乗算することで露光Ｂのフリッカが、露光Ａのフリッカに変換される。そして、露光Ａのフリッカに変換された露光Ｂの画像と、露光Ａの画像との差異を算出することで、フリッカ成分は、除去され、フリッカの影響によらない動きが検出できる。【0180】
なお、動き検出値の大きさは、背景領域の画素値と動き領域の画素値の差を示している。【0181】
カメラ信号処理部３０２は、ライン選択部３０１で選択された複数の露光を含むRAW画像データと、動き検出部３０６で検出された動き情報(ライン)を利用して、デモザイク処理やHDR合成処理等のカメラ信号処理を行い、全色揃ったHDR情報(ライン)を出力する。【0182】
以上を、ライン選択部３０１でライン選択される毎に繰り返し行うことで、最終的にHDR画像と、それに対応する動き情報を同時に得ることができる。【0183】
本実施の形態によれば、上記したように、フリッカの影響によらない動き検出ができる。露光Ａと露光Ｂは、露光時間が異なるため、その露光時間の異なる間に動いた被写体があれば、その被写体の領域は、動きがあったとして検出される。フリッカは、露光時間が異なると、異なる位置、異なる大きさで撮像されるため、露光Ａと露光Ｂの差分を算出するだけでは、フリッカも差分として検出され、動きとして検出されてしまう可能性がある。このことについて、図１６を参照して説明する。【0184】
図１６は、例えば、所定の照明の下で、白板を撮影したときの画像を表す。画像３３１Ａは、露光Ａ（長時間露光）時に撮影された画像であり、画像３３１Ｂは、露光Ｂ（短時間露光）時に撮影された画像である。【0185】
画像３３１Ａと画像３３１Ｂには、フリッカ成分が撮影されているため、縞模様がある。本来は、白板を撮影した場合なので、縞模様は撮影されないが、フリッカが発生する条件下で撮影されると、そのフリッカが、縞模様となって撮影されてしまう。【0186】
フリッカの発生原理については、図１、２を参照して説明したが、例えば、蛍光灯環境下において、交流50Hzの場合、照明は1秒間に100回点滅している。それに対し、CMOSイメージセンサ等の撮像素子１０２（図３）の出力は、行毎に露光のタイミングが異なるため、蓄積される照明光の影響も行毎に異なり、これが縞模様のフリッカとして画像に現れる。【0187】
例えば、撮像素子１０２のフレームレートが60fpsの場合、照明周期(1/100秒)とフレームレート(1/60秒)の最小公倍数である1/20秒毎に撮像画像フリッカの位相は揃うことになる。【0188】
画像３３１Ａと画像３３１Ｂを比較するに、画像３３１Ａのフリッカの縞模様は、画像３３１Ｂのフリッカの縞模様よりも、薄くなっている。また、縞の幅は、画像３３１Ａの方が、画像３３１Ｂよりも広い。画像３３１Ａは、長時間露光時に撮影された画像であるが、長時間露光の方が、短時間露光よりも、縞模様の濃さなどからいうと、フリッカの影響が少ないといえる。【0189】
二種類の露光の情報を使う場合、図１６の画像３３１Ａ、画像３３１Ｂに示したように、それぞれの露光には異なるフリッカがのる。長時間露光（露光Ａ）の場合、光源周期の積分範囲が広がるためフリッカ縞の振幅は小さく、短時間露光（露光Ｂ）の場合、光源周期の積分範囲が狭くなるため、フリッカ縞の振幅は大きくなる傾向がある。【0190】
画像３３１Ａと画像３３１Ｂとの差異をとると、画像３３１Ｃとなる。画像３３１Ｃには、複数の縞が存在している。すなわち、単純に、画像３３１Ａと画像３３１Ｂの差異をとると、フリッカ成分が差異として検出されてしまう。【0191】
画像３３１Ａと画像３３１Ｂは、この場合、露光時間が異なるだけで、同じ白板を撮影した画像であるため、フリッカによる影響がなければ、画像３３１Ａと画像３３１Ｂの差異はなく、画像３３１Ａと画像３３１Ｂの差異をとった画像には、縞模様などは存在しない。【0192】
このように、長時間露光時の画像３３１Ａと短時間露光時の画像３３１Ｂとの差異を、単に演算した場合、フリッカ成分が検出され、動き領域が正確に検出できない可能性がある。動き領域は、長時間露光と短時間露光の露光時間の差分の間に動きがあった領域である。この動き領域は、本来動き領域ではないフリッカとともに検出されてしまうことになる。【0193】
図１６の画像３３１Ｃとして示した画像は、長時間露光時の画像３３１Ａと短時間露光時の画像３３１Ｂとの差異をとることで生成された動き検出の結果を表す画像であり、図中、白い部分が動きがあるとして検出された部分であるとする。【0194】
画像３３１Ｂ’は、画像３３１Ｂのフリッカを、画像３３１Ａと同じフリッカに変換した画像である。画像３３１Ｂ’は、上記したように、強度比算出部３０３、動き寄与度算出部３０４、フリッカ変換係数算出部３０５の各部の処理を経て、動き検出部３０６内で、変換が行われることで生成される画像である。【0195】
すなわち画像３３１Ｂ’は、動きがある被写体に影響を受けないフリッカ変換係数が各所で求められ、それを利用して露光Ｂ（短時間露光）のフリッカを、露光Ａ（長時間露光）のフリッカに変換した画像である。画像３３１Ｂ’は、短時間露光時に撮影された画像上に、長時間露光に撮影されるフリッカが重畳されたような画像となる。【0196】
画像３３１Ａと画像３３１Ｂ’の差異をとると、画像３３１Ｃ’が生成される。この場合、長時間露光で撮影された画像３３１Ａと、長時間露光で撮影されたフリッカが載っている短時間露光で撮影された画像３３１Ｂ’との差異が演算されることになる。【0197】
よって、画像３３１Ａのフリッカと画像３３１Ｂ’のフリッカは、同一成分であるため、差異を演算した場合、差異としてフリッカ成分は検出されないことになる。よって、この場合、画像３３１Ｃ’として示したように、画像３３１Ｃと異なり、白い領域が存在していない画像、すなわち動きがある領域は検出されていない画像となる。【0198】
この場合、白板を撮影した場合であるので、動く物体はなく、動き領域が検出されないのが正しい検出である。このように、短時間露光時に撮影された画像内のフリッカを、長時間露光時に撮影された画像内のフリッカに変換した後、差異を演算することで、フリッカに影響を受けない動き検出を行うことが可能となる。【0199】
このように、短時間露光時に撮影された画像内のフリッカを、長時間露光時に撮影された画像内のフリッカに変換することを利用することで、フリッカ補正を行うことも可能である。【0200】
長時間露光の露光時間を、フリッカの影響を受けない露光時間に設定することで、長時間露光時に撮影される画像をフリッカレスとすることができる。例えば、長時間露光の露光時間を、照明周期の倍数の露光長とすることで、フリッカレスの画像を得ることができる。本技術によれば、短時間露光時に撮影された画像内のフリッカを、長時間露光時に撮影された画像内のフリッカに変換することができるため、長時間露光時に撮影された画像がフリッカレスであれば、短時間露光時に撮影された画像もフリッカレスにすることができる。【0201】
このようにして、フリッカレスの長時間露光時の画像と短時間露光時の画像を合成することで、ＨＤＲ画像（広ダイナミックレンジ画像）を生成することも可能となる。【0203】
ステップＳ１０１において、ライン選択部３０１は、処理対象とするラインを選択する。ステップＳ１０２において、ライン内の各所における強度比が算出される。【0204】
上記したように、ライン選択部３０１に入力される画像は、長時間露光と短時間露光でそれぞれ撮影された２枚の画像か、長時間露光での撮影と短時間露光での撮影が混在した１枚の画像である。【0205】
１枚の画像が入力される場合、その１枚の画像から、長時間露光で撮影された画像と短時間露光で撮影された画像がそれぞれ生成された後に、強度比算出部３０３の処理が行われるようにしても良いし、図１８を参照して説明するように、所定のフィルタを用いることで、補間が行われることで強度比算出部３０３の処理が行われるようにしても良い。【0206】
図１８を参照して、図４に示した画素配置の撮像素子１０２で撮像された画像における各所の強度比の算出方法について説明する。図１８のＡは、図４に示した画素配置のうちの１乃至３行目を抽出した図であり、図１８のＣは、図４に示した画素配置のうちの２乃至４行目を抽出した図である。【0207】
図１８のＡまたは図１８のＢに示したような複数の露光時間で撮像する画素が混在する画素配置の撮像素子１０２で撮影する場合、１つの画素で１つの露光を担当しているため、同じ画素位置の強度比を算出するためには、同じ画素位置に、２つの露光を揃える必要がある。【0208】
次式（８）は、強度比の算出式である。式（８）は、式（６）のところで説明したように、異なる露光条件で撮影された画素が混在する撮影画像から、強度比を算出するときの式であり、同一の位置の露光条件を揃えるという前処理が含まれる式である。【0209】
式（６）と式（８）との対応関係を先に記しておくと、以下のようになる。式（６）におけるＶｉＡ×ExpRatio＝式（８）のＬＰＦ（ＧＡｉ）
式（６）におけるＶｉＢ＝式（８）のＬＰＦ（ＧＢｉ）
【0210】
【数6】
【0211】
式（８）において、iは色Ｇの露光Ｂ（短時間露光）の位置、ｊは色Ｇの露光Ａ（長時間露光）の位置を表している。すなわち、図１８のＡ中、太枠で囲った画素の位置の強度比は、露光ＡのＧ画素の露光比倍のＬＰＦ（Low Pass Filter）と露光ＢのＧ画素のＬＰＦの比で算出される。図１８のＡ乃至Ｄは、注目画素を太枠にした場合の周辺領域を示しており、上段の図１８のＡ，図１８のＣは、色・露光パターンを示し、下段の図１８のＢ、図１８のＤは、式（８）の重みｗｉ，Ｗｊを示している。【0212】
図１８のＡと図１８のＢは、中心画素が、画素Ｇの場合のパターンを示し、図１８のＣと図１８のＤは、中心画素が画素Ｇ以外（画素Ｒ、画素Ｂである場合）のパターンを示している。画素Ｇの色を採用するのは、画素Ｇは、サンプル数が多く、画素Ｒや画素Ｂと比べて感度(S/N)が良いからである。もちろん、画素ＧだけのＬＰＦではなく、画素Ｒ、画素Ｇ、画素Ｂの全てを使ったＬＰＦで強度比が算出されるように構成することも可能である。【0213】
図１７に示したフローチャートの説明に戻り、ステップＳ１０２において、強度比算出部３０３により、長時間露光時の画素値と短時間露光時の画素比との比率が、式（６）と式（８）に基づいて算出される。図１５を参照して説明したように、強度比算出部３０３は、ラインの水平方向の各所において、式（６）と式（８）に基づいて、強度比Ｆｉを算出する。【0214】
算出された強度比の一例を、図１５に示す。図１５を再度参照するに、図１５の下側に示したグラフは、縦方向が強度比を表し、横方向は、図１５の上図に対応したライン内の画素位置を表す。図１５の下側に示したグラフのように、動き領域３３２内の強度比と静止領域３３３内の強度比を比較した場合、動き領域３３２内の強度比は、静止領域３３３内の強度比に比べて大きく、そのばらつきも大きくなる傾向にある。【0215】
静止領域３３３内の強度比は、図１５に示した例では、少しのばらつきがあるが、このばらつきはノイズによるものが大きく、ノイズが無ければ、一定値となる。すなわち、静止領域３３３内では、同一位置における、長時間露光時の画素値と短時間露光時の画素値の比は、一定値となる。静止領域３３３内においては、ノイズを考慮しても、強度比は、所定の範囲内に収まる。【0216】
動き領域３３２内では、同一位置における、長時間露光時の画素値と短時間露光時の画素値の比は、一定値とはならず、図１５に示したようにばたつく。【0217】
このようなことから、ライン内の全てが静止領域３３３であった場合、強度比は一定になり、ライン内に動き領域３３２があった場合、その領域内では、強度比は一定にならない。このような性質を利用して、各所の強度比の動き寄与度およびフリッカ変換係数が算出される。【0218】
図１７のフローチャートの説明に戻り、ステップＳ１０３において、動き寄与度算出部３０４により動き寄与度が算出される。動き寄与度は、上記したように、強度比算出部３０３で算出された各所の強度比に対し、どれだけ動きが寄与しているかの度合いを示す指標を算出する。例えば、静止シーンで二種類の露光でフリッカの位相が一致していれば強度比は１になる。そうでない場合、動きやフリッカが存在していることになる。【0219】
動き寄与度とは、各所の強度比が動き由来なのかフリッカ由来なのかを判断する指標である。すなわち、動き寄与度が大きい強度比は動き由来、動き寄与度が小さい強度比はフリッカ由来という事になる。【0220】
ステップＳ１０４において、フリッカ変換係数算出部３０５により、フリッカ変換係数が算出される。ここで、図１９を参照して、フリッカ変換係数の算出について説明を加える。図１９に示したグラフにおいて、縦軸は、強度比を表し、横軸は、水平方向における画素位置を表す。【0221】
図１９では、１ラインから、Ｆ１乃至Ｆ１０の１０個の強度比が算出された例を示している。なおここでは、１０個の例を挙げて説明を続けるが、１ラインを構成する画素数と同じ個数の強度比が算出されるのが好ましい。【0222】
処理時間や処理能力の低減のために、１ラインに存在する画素数よりも少ない画素数で強度比を求める構成とすることも可能である。例えば、所定の画素数を飛ばした位置毎に強度比が算出されるように構成することも可能である。【0223】
強度比算出部３０３の説明で説明したように、これらの強度比は、動き領域３３２の強度比と静止領域３３３の強度比が混在している。図１５に示したような動き領域３３２が画像幅よりある程度小さい場合は、静止領域３３３の強度比が支配的になると仮定できるため、統計的な処理で静止領域の強度比＝フリッカ変換係数が算出できる。【0224】
統計的な処理の手順について説明する。図１８に示したように、強度比Ｆ１乃至Ｆ１０が算出された場合、その強度比Ｆ１乃至Ｆ１０が順次選択され、それぞれについて、次式（９）で表される評価式で評価値が算出され、最も評価値の高い強度比Ｆｉが、静止領域の強度比＝フリッカ変換係数と設定される。【0225】
【数7】
【0226】
式（９）によると、各所毎に、各所を中心とした所定の範囲内の強度比が利用されて、フリッカ変換係数が算出される。式（９）の中身のバリエーションを、式（１０）、式（１１）、および式（１２）として、以下に示す。【0227】
【数8】
【0228】
式（１０）によると、例えば、隣接する画素の強度比が、所定の閾値以内であれば、１とし、それ以外は０とする演算が行われる。式（１０）において、ａ＝Ｆｉ、ｂ＝Ｆｊとし、強度比Ｆｉと強度比Ｆｊは、隣接する画素からの強度比である場合、強度比Ｆｉと強度比Ｆｊの差分絶対値が、閾値ｔｈ以下である場合、換言すれば、静止領域３３３内の強度比であるため、ノイズによるばらつきしかないと判断できるような場合、その強度比の評価値として、１という値が設定される。【0229】
一方で、動き領域３３２内の強度比の場合、強度比の差分絶対値は、所定の閾値ｔｈ以内には収まらないため、そのような場合には、０という値が設定される。このような演算が行われることで、１ライン内で、最も出現頻度が高い強度比が導き出され、その強度比が、フリッカ変換係数に設定される。【0230】
【数9】
【0231】
式（１１）においても式（１０）と同様に、例えば、ライン内の隣接する画素からの強度比の差分絶対値が所定の閾値ｔｈ以内であるか否かにより、場合分けが行われる。強度比の差分絶対値が所定の閾値ｔｈ以内である場合、その閾値ｔｈから、強度比の差分絶対値を減算した値が、その強度比の評価値として設定される。【0232】
一方で、強度比の差分絶対値が所定の閾値ｔｈ以内ではない場合、評価として０という値が設定される。このような演算が行われることで、１ライン内における強度比の中央値が導き出され、その強度比が、フリッカ変換係数に設定される。【0233】
【数10】
【0234】
式（１２）においては、例えば、ライン内の隣接する画素からの強度比の差分の２乗が、所定の閾値ｔｈの２乗に２を乗算した値で除算され、その値の指数関数が算出される。【0235】
各強度比の動き寄与度は、各強度比と算出された静止領域３３３の強度比との乖離度で表すことができる。すなわち、乖離が大きければ、それだけ動き寄与度が大きい、ということになる。動き寄与度が大きい場合、動き領域である可能性が高いため、そのような領域からの強度比は、フリッカ変換係数には適していない。【0236】
よって、動き領域からの強度比である可能性が高い強度比は、評価値に対する重みが小さくなり、動き領域以外（静止領域）からの強度比である可能性が高い強度比は、評価値に対する重みが重くなるように、式（１２）に基づく演算が行われる。【0237】
式（１２）に基づく演算が行われることで、動き寄与度が大きい値は、重みを小とし、動き寄与度が小さい値は、重みを大とした複数の強度比からの加重平均値を求めることが可能となる。そして、その加重平均値をフリッカ変換係数に設定することができる。【0238】
このような求め方のいずれかにより、フリッカ変換係数が求められる。なお、他の演算などで、フリッカ変換係数が求められるように構成しても良い。また、動き寄与度を用いて、動き寄与度が小さく、フリッカ由来の強度比であると判断できる強度比のみが、上記したいずれかの式に代入され、演算が行われるようにしても良い。【0239】
図１７のフローチャートの説明に戻る。ステップＳ１０５において、動き検出部３０６は、ライン内の所定の位置を、処理対象として選択する。ステップＳ１０６において、所定の位置の基準露光以外の露光を、フリッカ変換係数で基準露光相当に変換する。この処理は、図１６を参照して説明した画像３３１Ｂを、画像３３１Ｂ’に変換する処理に該当する。【0240】
ステップＳ１０７において、異なる露光間の差から、所定の位置の動き量が検出される。この処理は、図１６を参照して説明した画像３３１Ａと画像３３１Ｂ’の差分を算出する処理に該当する。ステップＳ１０８において、ライン内の全位置において、動き検出が算出済であるか否かが判断される。ステップＳ１０８において、ライン内でまだ処理していない画素があると判断された場合、ステップＳ１０５に処理が戻され、それ以降の処理が繰り返される。【0241】
一方で、ステップＳ１０８において、ライン内の全ての画素を処理したと判断された場合、ステップＳ１０９に処理が進められる。ステップＳ１０９において、処理対象としている画像内の全てのラインから、動き検出が算出済であるか否かが判断される。【0242】
ステップＳ１０９において、処理対処としている画像内で、処理していないラインがあると判断された場合、ステップＳ１０１に処理が戻され、処理されていないラインに対して、ステップＳ１０１以降の処理が繰り返される。【0243】
一方で、ステップＳ１０９において、処理対象としている画像内の全てのラインを処理したと判断された場合、その画像に対する動き検出の処理は終了される。【0244】
このように、第１の実施の形態によれば、フリッカのよる影響を除去した動き検出を行うことができる。よって、動き検出の精度を向上させることができる。【0245】
このように、本技術によれば、ライン内においてフリッカ変換係数は一つであり、各ラインにおいて独立に処理が行われる。そのため、フリッカ光源の垂直方向の照明変動には対応が可能である。このことについては、第３の実施の形態として、さらに説明を加える。【0246】
＜第２の実施の形態における画像処理部の構成について＞第２の実施の形態について説明する。上記した第１の実施の形態は、１ライン内に、動き領域３３２と静止領域３３３が存在するときに有効である。しかしながら、所定のライン上の全ての画素が、動き領域３３２内に存在している場合や、飽和している場合など、異なる露光の画素値の強度比が算出できず、フリッカ変換が行えない可能性がある。
【0247】
第２の実施の形態は、このような所定のライン上の全ての画素が、動き領域３３２内に存在している場合や、飽和している場合などであっても、フリッカ変換が行える形態である。【0248】
第２の実施の形態におけるフリッカ変換について、図２０を参照して説明する。図２０のＡは、注目しているラインに画像幅の動き領域が存在しているシーンを示している。すなわち、画像３３１内の所定のラインＬ上の画素は、全て動き領域３３２内に存在している。このラインＬを含む動き領域３３２の上および下には、静止領域３３３が存在している。【0249】
このような画像３３１からフリッカ変換係数を算出した場合、図２０のＢに示したようになる。静止領域３３３から得られるフリッカ変換係数は、フリッカが存在するであろう領域で最大値となる波形を有する。ライン上の全ての画素が、動き領域３３２内にある領域では、フリッカ変換係数に誤差が生じる（動き成分がのる）ため、フリッカ変換係数のグラフは、なめらかな波形とはならない。【0250】
これは、第１の実施の形態のような処理をしても、ライン内の全領域が動き領域で静止領域の強度比が全く取れないためである。【0251】
ところで、フリッカには周期性がある。そこで、ライン内の全領域が動き領域で静止領域の強度比が全く取れないような場合でも、フリッカ変換係数の画像垂直方向の周期性を利用することで、フリッカ変換係数が更新される構成とし、画像幅の動き領域が存在するラインのフリッカ変換係数＝静止領域の強度比を正確に求めるようにすることが可能な構成とする。【0252】
すなわち、図２０のＣに示すように、静止領域３３３内から得られたフリッカ変換係数の周期と、ライン内の全領域が動き領域３３２にある領域内から得られたフリッカ変換係数の周期は、同一となる。そこで、図２０のＤに示すように、静止領域３３３内から得られたフリッカ変換係数の周期を、ライン内の全領域が動き領域３３２にある領域のフリッカ変換係数の周期として適用することで、ライン内の全領域が動き領域３３２にあるフリッカ変換係数を正確に算出する。【0253】
このようなフリッカ変換係数が更新される構成としたときの画像処理部１０３の構成を、図２１に示す。なお、第１の実施の形態における画像処理部１０３（図１４）と同様の部分には、同様の符号を付し、その説明は省略する。【0254】
図２１に示した画像処理部１０３は、ライン選択部３０１、カメラ信号処理部３０２、強度比算出部３０３、動き寄与度算出部３０４、フリッカ変換係数算出部３０５、および動き検出部３０６を備える。この構成は、第１の実施の形態における画像処理部１０３と同じ構成である。第２の実施の形態における画像処理部１０３は、さらに、フリッカ変換係数更新部４０１とフリッカ周期検出部４０２を備える。【0255】
画像処理部１０３は、フリッカ変換係数算出部３０５で算出されたライン毎のフリッカ変換係数を、フリッカ周期検出部４０２で検出されたフリッカ周期を利用して、フリッカ変換係数更新部４０１が更新する構成となっている。【0256】
フリッカ周期検出部４０２は、フリッカ変換係数算出部３０５で算出されたライン毎のフリッカ変換係数から、フリッカ変換係数の周期＝フリッカ周期を算出する。図２０を参照して説明したように、フリッカは周期的に現れるため、フリッカ変換係数も所定の周期を有する。よって、フリッカ変換係数の変化を見ることで、図２０のＢに示したようなグラフを得ることができる。【0257】
例えば、図２０のＢに示した例では、画像３３１の上側にある静止領域３３３から、１周期分のフリッカ変換係数が得られる。１周期分のフリッカ変換係数が得られた後、図２０のＢの中央部分のように、周期は維持されているが、フリッカ変換係数の値がばらついているような部分が存在するような場合、その部分に、得られている１周期分のフリッカ変換係数を適用して補正されるようにする。この補正を行うのが、フリッカ変換係数更新部４０１である。【0258】
フリッカ変換係数更新部４０１は、フリッカ周期検出部４０２で算出されたフリッカ周期を利用して注目ラインと位相が同じラインを決定し、それらのフリッカ変換係数を利用して、注目ラインのフリッカ変換係数を更新する。【0260】
ステップＳ１５１乃至Ｓ１５４は、ライン選択部３０１、強度比算出部３０３、動き寄与度算出部３０４、およびフリッカ変換係数算出部３０５における処理であり、図１７のフローチャートにおけるステップＳ１０１乃至Ｓ１０４の処理と同様に行われるため、その説明は省略する。【0261】
ステップＳ１５５において、フリッカ周期検出部４０２により、フリッカ周期が求められる。例えば、フリッカ周期検出部４０２は、フリッカ変換係数算出部３０５により算出されたフリッカ変換係数を保持し、図２０のＢに示したようなグラフを作成し、周期を求める。【0262】
ステップＳ１５６において、周期が求まったか否かが判断され、周期は求まっていないと判断された場合、ステップＳ１５１に処理が戻され、それ以降の処理が繰り返される。例えば、図２０のＢのグラフを再度参照するに、画像３３１内の上側の静止領域３３３から算出されたフリッカ変換係数により、１周期が求まったと判断された場合、ステップＳ１５６において、周期が求まったと判断される。【0263】
ステップＳ１５６において、周期が求まったと判断された場合、ステップＳ１５７に処理が進められる。ステップＳ１５７において、フリッカ変換係数更新部４０１は、同位相のラインのフリッカ変換係数を利用してフリッカ変換係数を更新する。【0264】
なお、画像内の全てのラインを処理し、フリッカ変換係数を算出し、図２０のＢに示したようなグラフが作成された後、ステップＳ１５７に処理が進められるようにしても良い。また、このようにした場合、図２０のＢに示したグラフが得られた場合、フリッカ変換係数がばらついている部分に対して更新が行われ、ばらついていない部分に関しては更新を行わないように構成することも可能である。【0265】
また、図２０のＤに示したようなグラフが得られた場合、フリッカ変換係数を更新する必要がないため、ステップＳ１５７の処理を省略し、ステップＳ１５８に処理が進められるようにしても良い。この場合、基本的な動作は、第１の実施の形態と同じとなる。すなわち、第１の実施の形態は、図２０のＤに示したようなグラフが得られることを前提としているため、フリッカ変換係数を更新するという処理を省略することが可能となる。【0266】
よって、第１の実施の形態と第２の実施の形態を組み合わせ、図２０のＢに示したようなグラフが得られたか否か、換言すれば、フリッカ変換係数が大幅にばたつく領域があるか否かが判断され、そのような領域があると判断されたときには、フリッカ変換係数が更新される処理が行われ、そのような領域はないと判断されたときには、フリッカ変換係数の更新を行わないという処理の流れとすることも可能である。【0267】
図２２のフローチャートの説明に戻り、ステップＳ１５７において、フリッカ変換係数の更新が行われると、その更新されたフリッカ変換係数は、後段の動き検出部３０６に出力される。動き検出部３０６が行うステップＳ１５８乃至Ｓ１６２の処理は、第１の実施の形態における動き検出部３０６（図１４）と同様であり、図１７のステップＳ１０５乃至Ｓ１０９と同様に行われるため、その説明は省略する。【0268】
なお、ステップＳ１６２において、全ラインの動き検出は算出済ではないと判断された場合、ステップＳ１５１に処理が戻され、それ以降の処理が繰り返されるが、このとき、既にフリッカ変換係数の周期は求まっているため、ステップＳ１５５とステップＳ１５６の処理を省略する（フリッカ周期検出部４０２は処理を行わない）ように構成することも可能である。【0269】
また、１画像内の全てのフリッカ変換係数が求められてから、ステップＳ１５７以降の処理が行われるようにした場合、ステップＳ１６２において、全ラインの動き検出を算出済ではないと判断された場合、ステップＳ１５８に処理が戻され、それ以降の処理が繰り返されるように構成することも可能である。【0270】
このように、第２の実施の形態によれば、水平ラインが全て動き領域３３２に含まれているようなラインが含まれる画像３３１であっても、フリッカのよる影響を除去した動き検出を行うことができる。よって、動き検出の精度を向上させることができる。【0271】
＜第３の実施の形態における画像処理について＞第１の実施の形態おいては、ライン内においてフリッカ変換係数は１つであり、各ラインにおいて独立に処理が行われるため、フリッカ光源の垂直方向の照明変動にも対応が可能である。これは、例えば、図２３に示すような状況下でも、本技術が適用できること意味する。
【0272】
図２３のＡは、フリッカ光源４１１があり、そのような状況下で撮影された画像４３１を示す。図２３のＡは、フリッカ光源の影響が一定の場合を示す。画像４３１は、例えば、図１６の画像３３１Ａなどと同じであり、フリッカ光源４１１による影響で、縞模様が映し出された画像となる。このように、フリッカ光源４１１が、１つである場合などであり、フリッカ光源による影響が一定である場合、画像４３１に規則的な縞模様が現れる。【0273】
図２３のＢは、フリッカ光源４２１とフリッカレス光源４２２があり、そのような状況下で撮影された画像４３２を示す。図２３のＢは、フリッカ光源の影響が空間的に変動している場合を示す。図２３のＢに示したように、フリッカ光源４２１とフリッカレス光源４２２の両方から光が当てられているような被写体、例えば、白板を撮影した場合、白板の図中左側は、フリッカ光源４２１からの影響が強く、右側は、フリッカレス光源４２２からの影響が強い。【0274】
換言すれば、画像４３２内の左側は、フリッカ光源４２１の影響が強く、右側は、フリッカ光源４２１の影響が弱い。すなわち、フリッカ光源４２１の影響が、一定ではなく、空間的に変動している。このような場合、図２３のＢに画像４３２として示したように、画像４３２には、均一な縞模様があらわれるのではなく、不均一な縞模様が現れ、例えば、図中左側は濃い縞模様であり、右側は薄い縞模様といった模様が現れる。【0275】
このようなフリッカ光源の影響が空間的に変動している場合、第１の実施の形態のように、ライン内の静止領域の強度比は一定、という前提が成り立たなくなる。このようなフリッカ光源の影響が空間的に変動している場合でも対応できる第３の実施の形態について説明を続ける。【0276】
第３の実施の形態においても、ライン内の強度比が算出される。図２４のＡは、図２４のＢに示した画像４３２のように、フリッカ光源の影響が空間的に変動している場合に撮影された画像から得られる所定のライン内の各所の強度比を示すグラフである。横軸が水平方向の画素位置を表し、縦軸が、強度比を表す。【0277】
図２４のＡに示したように、フリッカ光源の影響が空間的に変動している場合、動き領域３３２の強度比と静止領域３３３の強度比が混在し、フリッカ光源の水平方向の変動により、静止領域３３３の強度比もそれにあわせて変化する。【0278】
そのため、図２３のＡに示した強度比から、図２３のＢに示すような各所における静止領域の強度比＝フリッカ変換係数が算出されるようにする。第１の実施の形態においては、ライン内の静止領域の強度比は一定であるとして説明したが、第３の実施の形態においては、各所毎に静止領域の強度比が算出される。【0279】
具体的には、局所的な大きな変動は動きによるもの、大局的な変動は光源変動によるものという仮定のもとに算出が行われる。例えば、次式（１３）に基づき、各所における静止領域の強度比の算出が行われる。【0280】
【数11】
【0281】
式（１３）中、iは注目画素の位置を表し、jはi周辺の所定の範囲内の位置を表している。すなわち、位置iの静止領域３３３の強度比Ｆｉ’は、周辺の強度比Ｆｊの加重平均で決定される。その時の重みＷｊは、式（１３）に示した通り、ｆ（Ｘｉ，Ｘｊ） とｇ（Ｆｉ，Ｆｊ） の積で決定される。【0282】
ｆ（Ｘｉ，Ｘｊ）は、位置iと位置jの距離で決定される関数で、距離が近いと大きく、距離が遠いと小さい値を出力する。ｇ（Ｆｉ，Ｆｊ）は、強度比の値で決定される関数で、強度比の値の差が小さいと大きく、差が大きいと小さい値を出力する。【0283】
式（１３）から、各所の静止領域の強度比＝フリッカ変換係数が算出でき、各強度比に対する動き寄与度は、各強度比と算出された静止領域の強度比＝フリッカ変換係数との乖離度で表すことができる。【0284】
以上から、フリッカ照明の空間的な変動があってもロバストに動き検出をすることが可能となる。【0285】
第３の実施の形態における画像処理部１０３の構成は、第１の実施の形態における画像処理部１０３（図１４）と同様の構成とすることができるため、ここではその説明を省略する。【0287】
ステップＳ２０１において、ライン選択部３０１により、処理対象とされるラインが選択され、ステップＳ２０２において、強度比算出部３０３により強度比が算出され、ステップＳ２０３において、動き寄与度算出部３０４において、動き寄与度が算出される。この処理は、図１７のステップＳ１０１乃至Ｓ１０３と同様に行われる。【0288】
ステップＳ１０４において、フリッカ変換係数算出部３０５は、ライン内の所定の位置をフリッカ変換係数を算出する位置として選択される。ステップＳ２０５において、フリッカ変換係数算出部３０５は、選択された所定の位置のフリッカ変換係数を、式（１３）に基づき、周辺の強度比を用いて算出する。【0289】
このようにして、フリッカ変換係数算出部３０５によりフリッカ係数が算出されると、ステップＳ２０６に処理が進められ、動き検出部３０６により動き検出に係わる処理が実行される。ステップＳ２０６乃至Ｓ２０９の処理は、図１７に示したフローチャートのステップＳ１０６乃至Ｓ１０９の処理と同様に行われる。【0290】
このように、第３の実施の形態によれば、フリッカ光源の影響が空間的に異なるような場合であっても、フリッカによる影響を除去した動き検出を行うことができる。よって、動き検出の精度を向上させることができる。【0291】
上述した第１乃至第３の実施の形態は、それぞれ独立して実施されるように構成することも可能であるし、組み合わせて構成することも可能である。例えば、フリッカが、空間的に不均一であるか否かを判断し、均一であるときには、第１の実施の形態で説明した処理が実行されるようにし、不均一である場合には、第３の実施の形態で説明した処理が実行されるように構成することも可能である。【0292】
＜効果＞本技術によれば、フリッカ環境下であっても、フリッカの影響を受けない動き検出が可能となる。またその動き検出は、フリッカの空間的な変動にも対応したものとすることができる。
【0293】
また１枚の撮影画像から動き検出をすることが可能であるため、レイテンシが発生せず、また、フレームメモリが不要であるため、ハードウェアの低コスト化を実現できる。例えば、従来の技術によると、フリッカの影響を除去するために、例えば、３フレーム分の画像データを蓄積し、その３フレーム分の画像データを用いて、フリッカの影響を推定し、除去することが提案されている。【0294】
このような場合、３フレーム分の画像データを蓄積するためのフレームメモリが必要となるため、ハードウェアの低コスト化の妨げとなってしまう。また、３フレーム分の画像データを蓄積した後から処理が開始されるため、遅延が発生してしまう。【0295】
しかしながら、本技術によれば、上記したように、ハードウェアの低コスト化を実現し、遅延が発生しないようにすることが可能となる。【0296】
また、動きを検出する際、フリッカの周期に露光時間を合わせるといったような制約はなく、所望の露光時間を設定できる。【0297】
例えば、フリッカは、周期があるため、露光時間をフリッカの周期の整数倍になるように制御することで、フリッカ成分がない画像を撮像することが考えられるが、この場合、露光時間がフリッカ周期の整数倍に限定されてしまう。しかしながら、本技術によれば、所望の露光時間を設定でき、かつフリッカの影響を低減した動き検出もできるようになる。【0298】
上記したように、例えば、長時間露光の撮影をフリッカレスの状態となるように撮影することで、異なる露光時間のフリッカレスの画像が取得できる。フリッカレスの状態で撮影するために、例えば、露光時間をフリッカの周期の整数倍になるように制御して撮影することが考えられる。この場合、露光時間に制限が加わってしまうが、フリッカレスの異なる露光時間の画像から、ＨＤＲ画像を取得できるようになる。【0299】
また、異なる露光時間の画像から、ＨＤＲ画像を取得し、動き検出もできるようにするための画像処理部の構成は、簡素化することができ、ハードウェアの低コスト化や、処理に係る能力の低減をはかることができる。【0300】
参考のため、図２６に従来の動き検出に係わる処理部の構成を示す。処理部は、フリッカ推定部４６３、フリッカ補正部４６４、フリッカ補正部４６５、動き検出部４６６を含む。フリッカ推定部４６３は、入力される露光Ａの画像４６１と露光Ｂの画像４６２を用いて、フリッカ成分を推定する。【0301】
その推定結果は、フリッカ補正部４６４とフリッカ補正部４６５に供給される。フリッカ補正部４６４には、露光Ａの画像４６１も入力される。フリッカ補正部４６４は、露光Ａの画像４６１に載っているフリッカを、フリッカ推定部４６３の推定結果を用いて除去し、フリッカレスの画像を生成する。【0302】
同様に、フリッカ補正部４６５は、露光Ｂの画像４６２に載っているフリッカを、フリッカ推定部４６３の推定結果を用いて除去し、フリッカレスの画像を生成する。動き検出部４６６は、フリッカレスの２枚の画像を用いて、動き検出を行う。【0303】
このような処理においては、フリッカ推定部４６３、フリッカ補正部４６４、フリッカ補正部４６５、動き検出部４６６が必要となる。【0304】
しかしながら、本技術によれば、フリッカを推定し、フリッカを補正するのではないため、フリッカ推定部４６３や、フリッカ補正部４６４、フリッカ補正部４６５が必要ない。よって、本技術によれば、動き検出に係わる処理部の構成を簡素化することが可能となる。また、本技術によれば、複数の露光情報でHDR合成を行う場合、１枚の撮影画像から、HDR画像と動き情報を同時に取得可能な構成とすることができる。【0305】
＜他の構成＞上記したように、本技術によれば、動き情報１２１を出力できる。図１４に示した画像処理部１０３を再度参照する。動き寄与度算出部３０４は、強度比算出部３０３で算出された各所の強度比に対し、どれだけ動きが寄与しているかの度合いを示す指標を算出する。動き寄与度とは、各所の強度比が動き由来なのかフリッカ由来なのかを判断する指標である。
【0306】
このように、動き寄与度算出部３０４から出力される動き寄与度により、強度比が動き由来であるのか否かが判断できるため、この動き寄与度を、動き情報１２１としても良い。このようにした場合、画像処理部１０３は、図２７に示したような構成となる。【0307】
図２７に示した画像処理部１０３は、ライン選択部３０１、カメラ信号処理部３０２、強度比算出部３０３、動き寄与度算出部３０４を備える。図１４に示した画像処理部１０３と、図２７に示した画像処理部１０３を比較するに、図２７に示した画像処理部１０３は、図１４に示した画像処理部１０３から、フリッカ変換係数算出部３０５と動き検出部３０６を削除した構成とされている。【0308】
このような構成の場合、動き寄与度算出部３０４から出力される動き寄与度が、動き情報１２１として後段の処理部に供給される。このような構成の場合、動き情報１２１の精度が少し落ちる可能性はあるが、動き情報１２１と出力画像１２０を出力する構成とすることができる。【0309】
なお、動き寄与度算出部３０４からの動き寄与度を、動き情報１２１として出力するようにしても良いが、動き検出部３０６を備え、動き検出部３０６により、動き寄与度が大きい箇所を動きとして検出し、動き情報１２１を生成し、出力するような構成とすることも可能である。【0311】
図２８、図２９において、動き情報算出部５０１は、動き情報１２１を算出する部分であり、図１４に示した画像処理部１０３のライン選択部３０１、強度比算出部３０３、動き寄与度算出部３０４、フリッカ変換係数算出部３０５、および動き検出部３０６を含む構成とされている。【0312】
または、図２８、図２９において、動き情報算出部５０１は、図２１に示した画像処理部１０３のライン選択部３０１、強度比算出部３０３、動き寄与度算出部３０４、フリッカ変換係数算出部３０５、動き検出部３０６、フリッカ変換係数更新部４０１、およびフリッカ周期検出部４０２を含む構成とされている。【0313】
図２８に示した撮像装置１００は、撮像素子１０２、カメラ信号処理部３０２、および動き情報算出部５０１が、積層構造部５１１として構成されている。図２８に示した構成においては、撮像素子１０２、カメラ信号処理部３０２、および動き情報算出部５０１が一体となった積層構造部５１１を有する構造とされている。【0314】
図２９に示した撮像装置１００は、撮像素子１０２と動き情報算出部５０１が、積層構造部５２１として構成されている。図２９に示した構成においては、撮像素子１０２と動き情報算出部５０１が一体となった積層構造部５２１を有する構造とされている。【0315】
図３０に示した撮像装置１００は、動き情報算出部５０１が動き情報算出部５０１−１と動き情報算出部５０１−２に分割された構成とされ、撮像素子１０２と動き情報算出部５０１−１が積層構造部５３１として構成されている。図３０に示した構成においては、撮像素子１０２と動き情報算出部５０１−１が一体となった積層構造部５３１を有する構造とされている。【0316】
図３０に示した撮像装置１００のように、動き情報算出部５０１が動き情報算出部５０１−１と動き情報算出部５０１−２に分割され、一方を、撮像素子１０２と積層構造にし、他方を積層構造に含めない構成とした場合、図１４に示した画像処理部１０３のライン選択部３０１、強度比算出部３０３、動き寄与度算出部３０４、フリッカ変換係数算出部３０５、および動き検出部３０６は、動き情報算出部５０１−１と動き情報算出部５０１−２のどちらかに含まれる。【0317】
また、動き情報算出部５０１は、図２１に示した画像処理部１０３のライン選択部３０１、強度比算出部３０３、動き寄与度算出部３０４、フリッカ変換係数算出部３０５、動き検出部３０６、フリッカ変換係数更新部４０１、およびフリッカ周期検出部４０２を含む構成とした場合、それらは、動き情報算出部５０１−１と動き情報算出部５０１−２のどちらかに含まれる。【0318】
動き情報算出部５０１は、フレーム毎に動き情報１２１を出力するが、その動き情報は、カメラ信号処理部３０２で利用したり、制御部１０５で利用したりすることができる。例えば、動き情報１２１を、制御部１０５にフィードバックし、動被写体がブレないように撮像素子１０２の露光長を制御したり、カメラ信号処理部３０２で動き情報１２１を利用して、動き領域に対し、より効果的な画像処理、例えばデブラーやNR（Noise Reduction）を適応的に処理することが可能となる。【0319】
このように、動き情報算出部５０１は、全てまたはその一部が、他の部分と積層構造とされる構造とすることが可能である。【0320】
＜記録媒体について＞上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0321】
図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１１０１、ＲＯＭ（Read Only Memory）１１０２、ＲＡＭ（Random Access Memory）１１０３は、バス１１０４により相互に接続されている。バス１１０４には、さらに、入出力インタフェース１１０５が接続されている。入出力インタフェース１１０５には、入力部１１０６、出力部１１０７、記憶部１１０８、通信部１１０９、及びドライブ１１１０が接続されている。【0322】
入力部１１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１１０７は、ディスプレイ、スピーカなどよりなる。記憶部１１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１１０９は、ネットワークインタフェースなどよりなる。ドライブ１１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１１を駆動する。【0323】
以上のように構成されるコンピュータでは、ＣＰＵ１１０１が、例えば、記憶部１１０８に記憶されているプログラムを、入出力インタフェース１１０５及びバス１１０４を介して、ＲＡＭ１１０３にロードして実行することにより、上述した一連の処理が行われる。【0324】
コンピュータ（ＣＰＵ１１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。【0325】
コンピュータでは、プログラムは、リムーバブルメディア１１１１をドライブ１１１０に装着することにより、入出力インタフェース１１０５を介して、記憶部１１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１１０９で受信し、記憶部１１０８にインストールすることができる。その他、プログラムは、ＲＯＭ１１０２や記憶部１１０８に、あらかじめインストールしておくことができる。【0326】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。【0327】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。【0328】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。【0329】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。【0330】
なお、本技術は以下のような構成も取ることができる。【0331】
（１）異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出する強度比算出部と、
前記強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部と
を備える画像処理装置。
（２）
前記周期的なノイズとは、フリッカである
前記（１）に記載の画像処理装置。
（３）
前記強度比算出部は、前記異なる露光条件が設定された画素が混在する撮像素子で撮像された１枚の画像から、前記強度比を算出する
前記（１）または（２）に記載の画像処理装置。
（４）
前記強度比算出部は、前記異なる露光条件でそれぞれ撮像された複数の画像から、前記強度比を算出する
前記（１）または（２）に記載の画像処理装置。
（５）
前記寄与度算出部により算出された前記寄与度が所定の値以上である前記画像内の位置を、動きとして検出する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記強度比は、前記異なる露光条件で撮影された画像内で算出対象とされている画素の画素値の比、または、算出対象とされている画素の周辺領域にある画素の画素値から算出される信号値の比である
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
第１の露光条件で撮影された第１の画像の前記周期的なノイズを基準とし、第２の露光条件で撮影された第２の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換するための変換係数を、前記強度比算出部で算出された強度比を用いて算出する変換係数算出部をさらに備える
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記変換係数算出部は、前記強度比算出部で算出された前記強度比のうち、最頻値の強度比を前記変換係数とする
前記（７）に記載の画像処理装置。
（９）
前記変換係数算出部は、前記強度比算出部で算出された前記強度比のうちの中央値を、前記変換係数とする
前記（７）に記載の画像処理装置。
（１０）
前記変換係数算出部は、前記強度比算出部で算出された前記強度比の加重平均値を、前記変換係数とする
前記（７）に記載の画像処理装置。
（１１）
前記変換係数算出部で算出された前記変換係数を用いて、前記第２の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換し、変換後の前記第２の画像と前記第１の画像との差を取ることで、前記画像内の動きを検出する
前記（７）に記載の画像処理装置。
（１２）
前記周期的なノイズの周期を、前記変換係数算出部で算出された前記変換係数の変化から求める周期検出部をさらに備える
前記（７）に記載の画像処理装置。
（１３）
前記周期検出部により検出された周期を用いて、前記変換係数算出部で算出された前記変換係数を更新する更新部をさらに備える
前記（１２）に記載の画像処理装置。
（１４）
前記変換係数は、前記画像内の水平方向のライン毎に算出される
前記（７）に記載の画像処理装置。
（１５）
前記変換係数は、前記画像内の水平方向のライン内の画素毎に算出され、算出対象とされた画素を中心とした所定の範囲内の前記強度比が用いられて算出される
前記（７）に記載の画像処理装置。
（１６）
前記周期的なノイズの周期の整数倍に設定された第１の露光条件で撮影された第１の画像の前記周期的なノイズを基準とし、第２の露光条件で撮影された第２の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換するための変換係数を算出する変換係数算出部をさらに備える
前記（１）に記載の画像処理装置。
（１７）
前記異なる露光条件で画像を撮像する撮像素子と積層構造とされている
前記（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８）
異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出し、
算出された前記強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する
ステップを含む画像処理方法。
（１９）
撮像素子で撮像される画像を処理する画像処理装置に、
異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出し、
算出された前記強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する
ステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラム。
（２０）
異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出する強度比算出部と、
前記強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部と
を備える画像処理部と、
前記画像処理部から出力される信号に対して信号処理を行う信号処理部と
を備える電子機器。
【符号の説明】
【0332】
１００ 撮像装置， １０１ 光学レンズ， １０２ 撮像素子， １０３ 画像処理部， １０４ 信号処理部， １０５ 制御部， ３０１ ライン選択部， ３０３ 強度比算出部， ３０４ 動き寄与度算出部， ３０５ フリッカ変換係数算出部， ３０６ 動き検出部， ４０１ フリッカ変換係数更新部， ４０２ フリッカ周期検出部