知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-17
(45)【発行日】2024-05-27
(54)【発明の名称】画像処理装置、判定方法およびプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20240520BHJP
H04N 23/745 20230101ALI20240520BHJP
H04N 7/18 20060101ALI20240520BHJP
G03B 15/00 20210101ALI20240520BHJP
【ＦＩ】
H04N23/60 500
H04N23/745
H04N7/18 D
H04N7/18 K
G03B15/00 S
【請求項の数】
19
(21)【出願番号】P 2020041050
(22)【出願日】2020-03-10
(65)【公開番号】P2021145178
(43)【公開日】2021-09-24
【審査請求日】2023-03-01
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100109380
【弁理士】
【氏名又は名称】小西 恵
(74)【代理人】
【識別番号】100109036
【弁理士】
【氏名又は名称】永岡 重幸
(72)【発明者】
【氏名】金子 成悟
【審査官】村山 絢子
(56)【参考文献】
【文献】特開２００４－１５７９７９（ＪＰ，Ａ）
【文献】特開２００４－１１８４２４（ＪＰ，Ａ）
【文献】特開２０１９－１７９３８９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０－２３／７６
Ｈ０４Ｎ ２３／９－２３／９５９
Ｈ０４Ｎ ５／２２２－５／２５７
Ｈ０４Ｎ ７／１８
Ｇ０３Ｂ １５／００－１５／０３５
Ｇ０３Ｂ １５／０６－１５／１６
(57)【特許請求の範囲】
【請求項1】
画像を取得する取得手段と、前記画像の一部の領域である部分領域と、前記部分領域に含まれる画素とは異なる画素を少なくとも一部に含む領域である参照領域とのそれぞれについて、フレーム間での明るさの変化の割合を算出する算出手段と、
前記部分領域の明るさの変化の割合と、前記参照領域の明るさの変化の割合に基づいて、前記部分領域が動体を含む動体領域であるか否かを判定する判定手段と、
を備える画像処理装置であって、
前記判定手段は、前記参照領域の明るさの変化が所定値以下の場合、前記部分領域の明るさの変化に基づいて、前記部分領域が前記動体領域であるか否かを判定することを特徴とする画像処理装置。
【請求項2】
前記判定手段は、前記部分領域の明るさの変化の割合と、前記参照領域の明るさの変化の割合との差を閾値と比較し、前記差が前記閾値を超えている場合、前記部分領域が、動体を含む動体領域であると判定することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記参照領域の画素数は、前記部分領域の画素数より多いことを特徴とする請求項１または２に記載の画像処理装置。
【請求項4】
前記判定手段は、前記参照領域の明るさの変化が所定値を超えている場合、前記画像にフリッカがあると判定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項5】
前記動体を含まない非動体領域の明るさの変化の周期性に基づいて、前記画像におけるフリッカによる明るさの変化を補正する第１補正手段を備えることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項6】
前記動体領域に隣接し、前記動体を含まない非動体領域の明るさの変化の周期性に基づいて、前記動体領域におけるフリッカによる明るさの変化を補正する第２補正手段を備えることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項7】
前記判定手段は、前記画像に含まれるフリッカ成分を補正した領域ごとの明るさを示す明るさマップを生成することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項8】
前記判定手段は、前記閾値に複数の値を設定し、前記複数の値ごとの判定結果を前記部分領域ごとに段階的に示す動体マップを生成することを特徴とする請求項２に記載の画像処理装置。
【請求項9】
前記画像の全体の明るさの周期的な変化に基づいて、フリッカの予測値を出力する予測手段と、前記フリッカの予測値に基づいて、次フレームの画像をデジタルゲインで補正する第３補正手段と、
を備えることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項10】
前記動体領域または前記動体を含まない非動体領域に対して、シャッタスピード、ＩＳＯ感度、前記閾値、前記部分領域の範囲およびフリッカの補正値のうち少なくともいずれか１つを含むパラメータを変更する変更手段を備えることを特徴とする請求項２または８に記載の画像処理装置。
【請求項11】
前記変更手段は、前記画像の明るさの変化が所定値を超えている場合、前記所定値以下の場合よりも、シャッタスピードを長くするか、前記シャッタスピードの設定数を減らすかまたは使用するシャッタの種類を減らし、前記画像の明るさの範囲が所定値以下の場合、前記画像の全体に同一のシャッタスピードを適用することを特徴とする請求項１０に記載の画像処理装置。
【請求項12】
前記部分領域のシャッタスピードと前記参照領域のシャッタスピードは、同一であるかまたは所定範囲内にあることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項13】
前記判定手段は、前記動体領域または前記動体を含まない非動体領域であると判定された部分領域に対して、前記判定した結果を所定のフレーム数の分だけ維持し続けることを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項14】
前記判定手段は、前記部分領域以外の領域に対しては、前記領域の周辺の画素あるいは領域の判定結果を適用することを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
【請求項15】
前記判定手段は、前記参照領域の明るさの変化が所定値を超えている場合、前記所定値以下の場合よりも、前記閾値の値を大きくすることを特徴とする請求項２、８、１０のいずれか１項に記載の画像処理装置。
【請求項16】
前記判定手段は、前記参照領域の明るさの変化が所定値を超えている場合、前記所定値以下の場合よりも、前記部分領域が動体領域であるか否かの判定の頻度を上げることを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
【請求項17】
前記部分領域と前記参照領域は、撮像素子の走査方向にある画素または領域あるいは前記走査方向に対して所定範囲内の上下方向にある画素または領域であることを特徴とする請求項１から１６のいずれか１項に記載の画像処理装置。
【請求項18】
画像を取得するステップと、前記画像の一部の領域である部分領域と、前記部分領域に含まれる画素とは異なる画素を少なくとも一部に含む領域である参照領域とのそれぞれについて、フレーム間での明るさの変化の割合を算出するステップと、
前記部分領域の明るさの変化の割合と、前記参照領域の明るさの変化の割合に基づいて、前記部分領域が動体を含む動体領域であるか否かを判定するステップと、
を備える判定方法であって、
前記判定するステップは、前記参照領域の明るさの変化が所定値以下の場合、前記部分領域の明るさの変化に基づいて、前記部分領域が前記動体領域であるか否かを判定することを特徴とする判定方法。
【請求項19】
コンピュータを請求項１から１７のいずれか１項に記載の画像処理装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、判定方法およびプログラムに関する。
【背景技術】
【0002】
監視映像の経時的な差分成分をそのまま利用して監視映像の変化を判定し、この変化に基づいて監視映像を伝送するか否かを自己判定してから、当該監視映像を警備センタに伝送する技術が知られている（例えば、特許文献１参照）。
また、画像から動体を含む動体領域を検出する場合、明るさの変化から動体領域を検出することが行われている。
また、画像から動体を含む動体領域を検出する場合、明るさの変化から動体領域を検出することが行われている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０００－２０８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、フリッカなどがある環境下などでは、そのフリッカに起因する明るさの変化が撮像画像に発生し、動体領域を適正に判定できなくなるおそれがあった。
本発明が解決しようとする課題は、画像から動体を含む動体領域を適正に判定することである。
本発明が解決しようとする課題は、画像から動体を含む動体領域を適正に判定することである。
【課題を解決するための手段】
【0005】
本発明の１つの態様による画像処理装置は、画像を取得する取得手段と、前記画像の一部の領域である部分領域と、前記部分領域に含まれる画素とは異なる画素を少なくとも一部に含む領域である参照領域とのそれぞれについて、フレーム間での明るさの変化の割合を算出する算出手段と、前記部分領域の明るさの変化の割合と、前記参照領域の明るさの変化の割合に基づいて、前記部分領域が動体を含む動体領域であるか否かを判定する判定手段と、を備え、前記判定手段は、前記参照領域の明るさの変化が所定値以下の場合、前記部分領域の明るさの変化に基づいて、前記部分領域が前記動体領域であるか否かを判定する。
【図面の簡単な説明】
【0006】
【図1】第１実施形態に係る撮像装置の構成例を示すブロック図。
【図2】第１実施形態に係る撮像画像および明るさマップを示す模式図。
【図3】第１実施形態に係る撮像画像、明るさマップおよび差分画像を示す模式図。
【図4】第１実施形態に係る撮像処理を示すフローチャート。
【図5】第１実施形態に係る動体領域判定処理を示すフローチャート。
【図6】第１実施形態に係る撮像画像、明るさマップおよび動体マップを示す模式図。
【図7】第１実施形態に係る撮像条件設定処理を示すフローチャート。
【図8】第２実施形態に係る動体領域判定処理を示すフローチャート。
【図9】第２実施形態に係る撮像画像、明るさマップおよび動体マップを示す模式図。
【図10】第３実施形態に係る撮像装置の構成例を示すブロック図。
【図11】第３実施形態に係る明るさマップ補正処理を示すフローチャート。
【図12】第３実施形態に係る撮像画像および明るさマップを示す模式図。
【発明を実施するための形態】
【0007】
以下、添付図面を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正または変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されない。
【0008】
＜第１実施形態＞
図１は、第１実施形態に係る撮像装置の構成例を示すブロック図である。
図１に示す撮像装置１Ａの各機能モジュールのうち、ソフトウェアにより実現される機能については、各機能モジュールの機能を提供するためのプログラムがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリに記憶される。そして、そのプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に読み出してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能モジュールの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。なお、図１に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。
図１は、第１実施形態に係る撮像装置の構成例を示すブロック図である。
図１に示す撮像装置１Ａの各機能モジュールのうち、ソフトウェアにより実現される機能については、各機能モジュールの機能を提供するためのプログラムがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリに記憶される。そして、そのプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に読み出してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能モジュールの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。なお、図１に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。
【0009】
図１において、撮像装置１Ａは、撮像領域を分割した領域ごとまたは画素ごとにシャッタスピードおよびＩＳＯ感度などの撮像条件を設定し、領域ごとまたは画素ごとに露光量を制御して画像を撮像することができる。撮像装置１Ａは、単体で利用してもよいし、スマートフォンまたは監視装置などに搭載してもよい。
撮像装置１Ａは、撮像部１０１、信号処理部１０３、Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換部１０４、エンコーダ部１０５、メディアＩ／Ｆ（インターフェース）部１０６を備える。また、撮像装置１Ａは、ＣＰＵ１０７、ＲＯＭ１０８およびＲＡＭ１０９を備える。さらに、撮像装置１Ａは、撮像系制御部１１０、操作部１１１、キャラクタジェネレーション部１１２、表示部１１３、動体マップ取得部１１４、明るさ変化比較部１１５Ａおよび明るさマップ取得部１１６を備える。
撮像装置１Ａは、撮像部１０１、信号処理部１０３、Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換部１０４、エンコーダ部１０５、メディアＩ／Ｆ（インターフェース）部１０６を備える。また、撮像装置１Ａは、ＣＰＵ１０７、ＲＯＭ１０８およびＲＡＭ１０９を備える。さらに、撮像装置１Ａは、撮像系制御部１１０、操作部１１１、キャラクタジェネレーション部１１２、表示部１１３、動体マップ取得部１１４、明るさ変化比較部１１５Ａおよび明るさマップ取得部１１６を備える。
【0010】
撮像部１０１は、被写体からの光を画素ごとに検出する。被写体は、例えば、照明２０下における動体２１および非動体２２である。撮像部１０１は、例えば、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッタ、光学ローパスフィルタ、ＩＲ（Ｉｎｆｒａｒｅｄ Ｒａｙｓ）カットフィルタ、カラーフィルタおよび撮像センサなどを備える。撮像センサは、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサまたはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサである。
【0011】
Ａ／Ｄ変換部１０２は、被写体からの光の検出量をアナログ値からデジタル値に変換する。
信号処理部１０３は、Ａ／Ｄ変換部１０２から出力されたデジタル値を信号処理し、デジタル画像を生成する。信号処理部１０３で行われる信号処理は、例えば、デモザイキング処理、ホワイトバランス処理およびガンマ処理などである。
Ｄ／Ａ変換部１０４は、信号処理部１０３で生成されたデジタル画像を表示用にアナログ変換する。
信号処理部１０３は、Ａ／Ｄ変換部１０２から出力されたデジタル値を信号処理し、デジタル画像を生成する。信号処理部１０３で行われる信号処理は、例えば、デモザイキング処理、ホワイトバランス処理およびガンマ処理などである。
Ｄ／Ａ変換部１０４は、信号処理部１０３で生成されたデジタル画像を表示用にアナログ変換する。
【0012】
エンコーダ部１０５は、信号処理部１０３で生成されたデジタル画像に対してデータ圧縮処理を行う。例えば、エンコーダ部１０５は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式でデータ圧縮するなどの処理を行う。
メディアＩ／Ｆ部１０６は、撮像装置１Ａをメディア１１７に接続するインターフェースである。メディア１１７は、例えば、ハードディスク、メモリーカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ）カード、ＳＤカードまたはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどである。メディア１１７は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であってもよい。
メディアＩ／Ｆ部１０６は、撮像装置１Ａをメディア１１７に接続するインターフェースである。メディア１１７は、例えば、ハードディスク、メモリーカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ）カード、ＳＤカードまたはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどである。メディア１１７は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であってもよい。
【0013】
ＣＰＵ１０７は、撮像装置１Ａ全体の処理を行う。ＲＯＭ１０８とＲＡＭ１０９は、処理に必要なプログラム、データおよび作業領域などをＣＰＵ１０７に提供する。また、後述する処理に必要な制御プログラムがＲＯＭ１０８に格納されている場合には、一旦ＲＡＭ１０９に読み込まれた後に、ＣＰＵ１０７によって実行される。ＣＰＵ１０７は、撮像系制御部１１０、動体マップ取得部１１４、明るさ変化比較部１１５Ａおよび明るさマップ取得部１１６を画像処理装置として用いることで、後述する動体領域判定処理および撮像条件設定処理を実施することができる。
なお、ＣＰＵ１０７は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。ＣＰＵ１０７は、シングルコアプロセッサであってもよいし、マルチコアプロセッサであってもよい。ＣＰＵ１０７は、ニューラルネットワークとして動作する機能を備えていてもよい。
なお、ＣＰＵ１０７は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。ＣＰＵ１０７は、シングルコアプロセッサであってもよいし、マルチコアプロセッサであってもよい。ＣＰＵ１０７は、ニューラルネットワークとして動作する機能を備えていてもよい。
【0014】
操作部１１１は、ユーザからの指示を入力する。操作部１１１は、例えば、ボタン、モードダイヤル、表示部１１３に付随するタッチパネルなどである。ユーザは、ＨＤＲ（ハイダイナミックレンジ）出力と標準出力との切り替えのための入力も操作部１１１で行うことができる。
キャラクタジェネレーション部１１２は、数字、文字、記号およびグラフィックなどを生成する。
表示部１１３は、撮像画像およびＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などの画像を表示する。表示部１１３は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ－Ｒａｙ Ｔｕｂｅ）、液晶ディスプレイまたはタッチスクリーンである。タッチスクリーンによる入力は、操作部１１１の入力として扱うことも可能である。
キャラクタジェネレーション部１１２は、数字、文字、記号およびグラフィックなどを生成する。
表示部１１３は、撮像画像およびＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などの画像を表示する。表示部１１３は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ－Ｒａｙ Ｔｕｂｅ）、液晶ディスプレイまたはタッチスクリーンである。タッチスクリーンによる入力は、操作部１１１の入力として扱うことも可能である。
【0015】
動体マップ取得部１１４は、撮像部１０１で取得される被写体に動きがあるか否かを検出する。動体マップ取得部１１４は、例えば、撮像部１０１から時系列に沿った撮像データを取得し、撮像データ間の明るさの変化を複数画素で平均化することにより、画素ごとの被写体の動き情報を生成する。動体マップ取得部１１４は、明るさの変化の平均値が大きい場合は、動きのある画素として動き情報を生成し、明るさの変化の平均値が小さい場合は動きのない画素として動き情報を生成する。動体マップ取得部１１４は、明るさの変化に基づいて生成した動き情報を画像における各画素または各領域に対して生成することで、動体マップとして保持する。動体マップの詳細については後述する。なお、動体マップは、上記の方法だけでなく、他の方法を用いて取得してもよい。例えば、動体マップ取得部１１４は、時系列に沿った２つの撮像データ間においては、同じ画素位置の画素値の差分を所定の閾値と比較し、差分が大きい画素は動体領域、差分が小さい画素は非動体領域とすることで、動体マップを生成することもできる。
【0016】
明るさ変化比較部１１５Ａは、画像の一部の領域である部分領域と、部分領域に含まれる画素とは異なる画素を少なくとも一部に含む領域である参照領域とのそれぞれについて、フレーム間での明るさの変化の割合を算出する。そして、明るさ変化比較部１１５Ａは、部分領域の明るさの変化の割合と、参照領域の明るさの変化の割合に基づいて、部分領域が動体を含む動体領域であるか否かを判定する。例えば、明るさ変化比較部１１５Ａは、部分領域の明るさの変化の割合と、参照領域の明るさの変化の割合との差を閾値と比較し、その差が閾値を超えている場合、部分領域が動体領域であると判定する。
【0017】
なお、参照領域の画素数は、部分領域の画素数より多くすることができる。また、参照領域は、動体領域であるか否かの判定対象となる部分領域を含んでもよいし含まなくてもよい。参照領域の位置または画素数は固定されてもよいし、参照領域の位置または画素数を変化させてもよい。例えば、撮像画像全体に参照領域を固定してもよいし、非動体領域であると判定された領域または非動体領域であると予測される領域に参照領域の位置を適宜変更してもよい。また、参照領域は、必ずしも連続している領域である必要はなく、分離した複数の領域であってもよい。例えば、参照領域は、画像の４隅に設けてもよい。また、ニューラルネットワークなどの学習モデルに非動体領域と判定された部分を学習させ、その学習結果に基づいて参照領域を設定してもよい。
【0018】
例えば、部分領域は、画像に含まれる画素または画像を分割した領域とし、参照領域は、画像全体とすることができる。そして、明るさ変化比較部１１５Ａは、動体マップ取得部１１４で取得された明るさの変化に対して、画素ごとまたは領域ごとの明るさの変化の割合と画像全体の明るさの変化の割合を比較する。明るさ変化比較部１１５Ａは、画素ごとまたは領域ごとの明るさの変化の割合と画像全体の明るさの変化の割合が一致している場合には非動体領域、一致していない場合には動体領域として判定することができる。これにより、明るさ変化比較部１１５Ａは、撮像画像を用いた動体判定の補正を行うことができる。このとき、蛍光灯のフリッカなどの照明２３の影響により、画像全体に明るさの変化が発生する場合においても、画像全体の明るさの変化と、動体の動きに伴う明るさの変化とを切り分け、動体領域の検出精度を向上させることができる。また、蛍光灯のフリッカ以外にも、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）照明の点灯および消灯または太陽光の日照変動などの影響による明るさの変化がある場合においても同様に、動体領域の検出精度を向上させることができる。
【0019】
以下の説明では、フリッカがある環境下で撮像された撮像画像から、動体領域を検出する場合を例にとる。
明るさマップ取得部１１６は、撮像部１０１で取得される撮像データから、画素ごとまたは領域ごとに被写体の明るさを示す明るさマップを取得する。例えば、明るさマップ取得部１１６は、撮像センサから得られた画素ごとの明るさ情報を複数画素で平均化し、画像の明るさマップとして保持する。明るさマップの詳細については後述する。
なお、図１の例では、動体マップ取得部１１４、明るさ変化比較部１１５Ａおよび明るさマップ取得部１１６をＣＰＵ１０７とは別個のブロックで示した。動体マップ取得部１１４、明るさ変化比較部１１５Ａおよび明るさマップ取得部１１６で実行される処理は、ＣＰＵ１０７で実現される機能の一部としてＣＰＵ１０７が実行してもよい。
明るさマップ取得部１１６は、撮像部１０１で取得される撮像データから、画素ごとまたは領域ごとに被写体の明るさを示す明るさマップを取得する。例えば、明るさマップ取得部１１６は、撮像センサから得られた画素ごとの明るさ情報を複数画素で平均化し、画像の明るさマップとして保持する。明るさマップの詳細については後述する。
なお、図１の例では、動体マップ取得部１１４、明るさ変化比較部１１５Ａおよび明るさマップ取得部１１６をＣＰＵ１０７とは別個のブロックで示した。動体マップ取得部１１４、明るさ変化比較部１１５Ａおよび明るさマップ取得部１１６で実行される処理は、ＣＰＵ１０７で実現される機能の一部としてＣＰＵ１０７が実行してもよい。
【0020】
撮像系制御部１１０は、ＣＰＵ１０７で指示された撮像系の制御を行う。撮像系制御部１１０は、シャッタスピードおよびＩＳＯ感度などの撮像条件を、撮像部１０１に対して画素ごとまたは領域ごとに設定する。また、撮像系制御部１１０は、フォーカスの調整、シャッタの開閉および絞りの調節などの制御も行う。
なお、撮像装置１Ａは、上記の構成要素以外にも様々な構成要素を含むことができるが、その説明は省略する。
なお、撮像装置１Ａは、上記の構成要素以外にも様々な構成要素を含むことができるが、その説明は省略する。
【0021】
本実施形態で説明する撮像条件設定処理は、動体マップ取得部１１４から動体マップを取得し、明るさマップ取得部１１６から明るさマップを取得し、動体マップおよび明るさマップに基づいて撮像系制御部１１０を制御する撮像条件データを生成する。ＣＰＵ１０７は、ＲＯＭ１０８に格納された制御プログラムをＲＡＭ１０９に読み込み実行することで、撮像条件設定処理を実施する。
【0022】
なお、上述した説明では、撮像装置１Ａが撮像した撮像画像から動体領域を判定する場合を説明したが、撮像装置１Ａは、メディア１１７またはネットワークを介して撮像画像を取得し、その撮像画像から動体領域を判定するようにしてもよい。
また、動体マップ取得部１１４、明るさ変化比較部１１５Ａおよび明るさマップ取得部１１６を画像処理装置として、上述した動体検出機能を持たない機器に組み込み可能としてもよい。例えば、動体マップ取得部１１４、明るさ変化比較部１１５Ａおよび明るさマップ取得部１１６に機能をプログラムに記述することができる。そして、画像を取得可能な通信機能または撮像機能を有するスマートフォンなどの機器に、そのプログラムをインストールすることで、上述した動体検出機能を付加できるようにしてもよい。
また、動体マップ取得部１１４、明るさ変化比較部１１５Ａおよび明るさマップ取得部１１６を画像処理装置として、上述した動体検出機能を持たない機器に組み込み可能としてもよい。例えば、動体マップ取得部１１４、明るさ変化比較部１１５Ａおよび明るさマップ取得部１１６に機能をプログラムに記述することができる。そして、画像を取得可能な通信機能または撮像機能を有するスマートフォンなどの機器に、そのプログラムをインストールすることで、上述した動体検出機能を付加できるようにしてもよい。
【0023】
図２は、第１実施形態に係る撮像画像および明るさマップを示す模式図である。なお、図２（ａ）はフリッカの明状態での撮像画像の例を示し、図２（ｂ）は明るさマップの例を示す。
図２（ａ）において、撮像画像１１Ａは、図１の動体２１に対応する動体画像２０１、非動体２２に対応する非動体画像２０２および背景画像２０３を含む。動体画像２０１は、動体２１の動きによってフレーム間の明るさが大きく変化する画像、非動体画像２０２および背景画像２０３は、動体２１の動きによるフレーム間の明るさの変化がない画像である。
図２（ｂ）において、明るさマップ１１Ｂは、例えば、図２（ａ）の撮像画像１１Aを分割した領域ごとの明るさを示す。明るさマップ１１Ｂは、領域の値が高いほど、その領域の明るさが高いことを示す。図２（ｂ）の例では、値の大きさを白黒の濃淡で表現している。値が高い領域は白、値が低い領域は黒で表現される。明るさマップ１１Ｂでは、動体画像２０１および非動体画像２０２は暗く表現され、背景画像２０３は明るく表現される。
図２（ａ）において、撮像画像１１Ａは、図１の動体２１に対応する動体画像２０１、非動体２２に対応する非動体画像２０２および背景画像２０３を含む。動体画像２０１は、動体２１の動きによってフレーム間の明るさが大きく変化する画像、非動体画像２０２および背景画像２０３は、動体２１の動きによるフレーム間の明るさの変化がない画像である。
図２（ｂ）において、明るさマップ１１Ｂは、例えば、図２（ａ）の撮像画像１１Aを分割した領域ごとの明るさを示す。明るさマップ１１Ｂは、領域の値が高いほど、その領域の明るさが高いことを示す。図２（ｂ）の例では、値の大きさを白黒の濃淡で表現している。値が高い領域は白、値が低い領域は黒で表現される。明るさマップ１１Ｂでは、動体画像２０１および非動体画像２０２は暗く表現され、背景画像２０３は明るく表現される。
【0024】
図３は、第１実施形態に係る撮像画像、明るさマップおよび差分画像を示す模式図である。図３（ａ）はフリッカの滅状態での撮像画像の例を示し、図３（ｂ）は明るさマップの例を示し、図３（ｃ）は差分画像の例を示す。
図３（ａ）の撮像画像１２Ａでは、図１の照明２０によるフリッカによって、図２（ａ）の撮像画像１１Ａに対して画像全体の明るさが暗く変化している。撮像画像１２Ａが暗くなり、画像全体の明るさの値も小さくなる、図３（ｂ）の明るさマップ１２Ｂも、図２（ｂ）の明るさマップ１１Ｂよりも、全ての領域２１１で暗くなる。
図３（ａ）の撮像画像１２Ａでは、図１の照明２０によるフリッカによって、図２（ａ）の撮像画像１１Ａに対して画像全体の明るさが暗く変化している。撮像画像１２Ａが暗くなり、画像全体の明るさの値も小さくなる、図３（ｂ）の明るさマップ１２Ｂも、図２（ｂ）の明るさマップ１１Ｂよりも、全ての領域２１１で暗くなる。
【0025】
図３（ｃ）において、差分画像１２Ｃは、図２（ｂ）の撮像画像１１Ａの明るさと、図３（ｂ）の撮像画像１２Ａの明るさを画素ごとまたは領域ごとに比較した画像である。図２（ｂ）および図３（ｂ）に示すように、フリッカによって画像全体の明るさが変化しているため、図３（ｃ）の差分画像１２Ｃは、画像全面が明るさの変化によって値が高くなる。図３（ｃ）の差分画像１２Ｃも値が高い領域は白、値が低い領域は黒の濃淡で表現している。
図３（ｃ）に示すように、差分画像１２Ｃでは、動体の有無に関わらず、全ての領域２２１で明るさが一様に変化するため、差分画像１２Ｃからは、フリッカ環境下における動体領域を適切に判定することができない。
明るさ変化比較部１１５Ａは、差分画像１２Ｃの値を補正し、フリッカ環境下においても、動体領域と非動体領域の切り分けを行うことができる。差分画像２２１の補正に関しては、図５および図６を用いて後述する。
図３（ｃ）に示すように、差分画像１２Ｃでは、動体の有無に関わらず、全ての領域２２１で明るさが一様に変化するため、差分画像１２Ｃからは、フリッカ環境下における動体領域を適切に判定することができない。
明るさ変化比較部１１５Ａは、差分画像１２Ｃの値を補正し、フリッカ環境下においても、動体領域と非動体領域の切り分けを行うことができる。差分画像２２１の補正に関しては、図５および図６を用いて後述する。
【0026】
図４は、第１実施形態に係る撮像処理を示すフローチャートである。なお、フローチャートで示される一連の処理は、ＣＰＵ１０７がＲＯＭ１０８に格納されている制御プログラムをＲＡＭ１０９に読み込み、実行することにより行われる。あるいは、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。この場合、図４に示すフローチャートにおける各ブロックは、ハードウェアブロックと見做すことができる。なお、複数のブロックをまとめて１つのハードウェアブロックとして構成してもよく、１つのブロックを複数のハードウェアブロックとして構成してもよい。あるいは、ＣＰＵ１０７は、ネットワークを介してクラウド上のコンピュータなどに、フローチャートにおけるステップの一部または全部の処理の実行を依頼し、その実行結果を受け取るようにしてもよい。
【0027】
図４において、例えば、図１の操作部１１１により、ＨＤＲ出力が指定された撮像開始の指示が入力されると、以下の撮像処理が開始される。
Ｓ３０において、ＣＰＵ１０７は、前フレームの撮像画像と現フレームの撮像画像の全体の明るさを所定値である閾値と比較し、フリッカの有無を判定する。画像全体の明るさの変化が小さく、明るさの変化の値が閾値以下の場合には、フリッカが発生している可能性が低いため、Ｓ３１へ移行する。
Ｓ３１では、ＣＰＵ１０７は、フリッカが発生していないと判定し、Ｓ３３およびＳ３４の処理を行う。
Ｓ３０において、ＣＰＵ１０７は、前フレームの撮像画像と現フレームの撮像画像の全体の明るさを所定値である閾値と比較し、フリッカの有無を判定する。画像全体の明るさの変化が小さく、明るさの変化の値が閾値以下の場合には、フリッカが発生している可能性が低いため、Ｓ３１へ移行する。
Ｓ３１では、ＣＰＵ１０７は、フリッカが発生していないと判定し、Ｓ３３およびＳ３４の処理を行う。
【0028】
Ｓ３３において、ＣＰＵ１０７は、明るさマップ取得部１１６を用いて、被写体の画像の明るさマップを取得する。明るさマップは、画素ごとまたは領域ごとの撮像条件および明るさから予測される明るさを示す。画素ごとではなく、複数の画素をまとめて領域として扱う場合には、その領域内の画素の明るさを平均化する。ただし、フリッカが発生していないため、フリッカの補正処理を行う必要がなく、Ｓ３５の明るさマップ生成処理の負荷が低減する。
Ｓ３４において、ＣＰＵ１０７は、画素ごとまたは領域ごとに明るさの変化を確認する差分画像を生成し、Ｓ３７に進む。なお、Ｓ３０、Ｓ３１、Ｓ３３およびＳ３４の処理は省略してもよく、省略した場合でも、本実施形態は実施可能である。
Ｓ３４において、ＣＰＵ１０７は、画素ごとまたは領域ごとに明るさの変化を確認する差分画像を生成し、Ｓ３７に進む。なお、Ｓ３０、Ｓ３１、Ｓ３３およびＳ３４の処理は省略してもよく、省略した場合でも、本実施形態は実施可能である。
【0029】
ここで、ＣＰＵ１０７は、フリッカなどに起因して撮像画像全体に明るさの変化が発生している場合にも、動体領域と非動体領域の切り分けを有効に行うことができる。このため、画像全体の明るさに変化がない場合には、ＣＰＵ１０７は、画像全体の明るさの変化を確認する必要がない。このとき、ＣＰＵ１０７は、画素ごとまたは領域ごとに明るさの変化があるか否かの確認のみで動体判定することで、処理の負荷を減らすことができる。
【0030】
一方、画像全体の明るさの変化が大きく、変化の値が閾値を超えている場合には、フリッカが発生している可能性が高いため、ＣＰＵ１０７は、Ｓ３２へ移行する。
Ｓ３２では、ＣＰＵ１０７は、フリッカが発生していると判定し、Ｓ３５およびＳ３６の処理を行う。
Ｓ３２では、ＣＰＵ１０７は、フリッカが発生していると判定し、Ｓ３５およびＳ３６の処理を行う。
【0031】
Ｓ３５において、ＣＰＵ１０７は、明るさマップ取得部１１６を用いて、被写体の明るさマップを取得する。
Ｓ３６において、ＣＰＵ１０７は、動体マップ取得部１１４を用いて、被写体の動体マップを取得し、Ｓ３７に進む。動体マップの取得方法は後述する。
Ｓ３６において、ＣＰＵ１０７は、動体マップ取得部１１４を用いて、被写体の動体マップを取得し、Ｓ３７に進む。動体マップの取得方法は後述する。
【0032】
Ｓ３７において、ＣＰＵ１０７は、Ｓ３４で取得した差分画像またはＳ３５で取得した明るさマップおよびＳ３６で取得した動体マップに基づいて、撮像部１０１が撮像を行う際の撮像条件を設定する。このとき、ＣＰＵ１０７は、画素ごとまたは領域ごとに異なる撮像条件を適用することができる。すなわち、ＣＰＵ１０７は、撮像条件設定手段として機能する。
Ｓ３８において、ＣＰＵ１０７は、Ｓ３７で設定した撮像条件データを撮像系制御部１１０に送り、撮像部１０１を駆動させて撮像を行わせ、撮像データを取得する。
Ｓ３８において、ＣＰＵ１０７は、Ｓ３７で設定した撮像条件データを撮像系制御部１１０に送り、撮像部１０１を駆動させて撮像を行わせ、撮像データを取得する。
【0033】
Ｓ３９において、ＣＰＵ１０７は、Ｓ３８で得られた撮像データに対して、画素ごとまたは領域ごとの露光量差に合わせてデジタルゲインを適用し、画像全体の明るさを合わせる。Ｓ３８で得られる撮像データは、画素ごとまたは領域ごとに異なる撮像条件が適用されているため、ＣＰＵ１０７は、各画素または領域に対して露光量差に相当するデジタルゲインを適用し、これらの撮像条件を疑似的に統一する。
【0034】
図５は、第１実施形態に係る動体領域判定処理を示すフローチャートである。
図５において、ＣＰＵ１０７は、画像全体の明るさの変化の割合と、画素ごとまたは領域ごとの明るさの変化の割合とを比較することで、動体マップを生成する。ＣＰＵ１０７は、画像全体の明るさの値と、画素ごとまたは領域ごとの明るさの値をフレームごとにＲＡＭ１０９に保存する。
図５において、ＣＰＵ１０７は、画像全体の明るさの変化の割合と、画素ごとまたは領域ごとの明るさの変化の割合とを比較することで、動体マップを生成する。ＣＰＵ１０７は、画像全体の明るさの値と、画素ごとまたは領域ごとの明るさの値をフレームごとにＲＡＭ１０９に保存する。
【0035】
Ｓ４０において、ＣＰＵ１０７は、前フレームの画像全体の明るさの値と、画素ごとまたは領域ごとの明るさの値をＲＡＭ１０９から読み出す。
Ｓ４１において、ＣＰＵ１０７は、現フレームの画像全体の明るさの値と、画素ごとまたは領域ごとの明るさの値を算出する。画像全体の明るさは、画像に含まれる全ての画素の明るさの平均値とすることができる。
Ｓ４２において、ＣＰＵ１０７は、Ｓ４３以降の処理のために画素位置を初期化する。
Ｓ４１において、ＣＰＵ１０７は、現フレームの画像全体の明るさの値と、画素ごとまたは領域ごとの明るさの値を算出する。画像全体の明るさは、画像に含まれる全ての画素の明るさの平均値とすることができる。
Ｓ４２において、ＣＰＵ１０７は、Ｓ４３以降の処理のために画素位置を初期化する。
【0036】
Ｓ４３において、ＣＰＵ１０７は、Ｓ４０で読み出した明るさの値とＳ４１で算出した明るさの値を用いて、画像全体と、画素ごとまたは領域ごとのそれぞれについて、前フレームと現フレームの明るさの変化の割合を算出する。
フリッカは、周期的に明るさが変化し、同一の照明環境下であれば、画像全体と、画素ごとまたは領域ごとのそれぞれについて、同様の割合で明るさが変化する。明るさの変化の割合が一致している場合にはフリッカ以外には明るさの変化がない領域であり、その画素または領域は、非動体領域である可能性が高い。一方、明るさの変化の割合が一致していない場合にはフリッカ以外にも明るさの変化がある領域であり、その画素または領域は、動体領域である可能性が高い。
そのため、ＣＰＵ１０７は、画素または領域における明るさの変化の割合と、画像全体の明るさの変化の割合を比較し、その比較結果に基づいて、画素ごとまたは領域ごとに動体領域であるか非動体領域であるかを判定する。
フリッカは、周期的に明るさが変化し、同一の照明環境下であれば、画像全体と、画素ごとまたは領域ごとのそれぞれについて、同様の割合で明るさが変化する。明るさの変化の割合が一致している場合にはフリッカ以外には明るさの変化がない領域であり、その画素または領域は、非動体領域である可能性が高い。一方、明るさの変化の割合が一致していない場合にはフリッカ以外にも明るさの変化がある領域であり、その画素または領域は、動体領域である可能性が高い。
そのため、ＣＰＵ１０７は、画素または領域における明るさの変化の割合と、画像全体の明るさの変化の割合を比較し、その比較結果に基づいて、画素ごとまたは領域ごとに動体領域であるか非動体領域であるかを判定する。
【0037】
画素または領域の明るさ値をＹｃ、画素または領域の明るさの変化の割合をＸｃ、画像全体の明るさ値をＹａ、画像全体の明るさの変化の割合をＸａとすると、ＸｃおよびＸａはそれぞれ、下記の数式（１）および数式（２）で表される。数式中の（ｎ）は、現フレーム、（ｎ－１）は、前フレームを示す。また、数式（１）および数式（２）において、変化の割合は段数として扱ってもよい。
【0038】
Ｘｃ＝｛Ｙｃ（ｎ）－Ｙｃ（ｎ－１）｝／Ｙｃ（ｎ－１）・・・（１）
Ｘａ＝｛Ｙａ（ｎ）－Ｙａ（ｎ－１）｝／Ｙａ（ｎ－１）・・・（２）
Ｘａ＝｛Ｙａ（ｎ）－Ｙａ（ｎ－１）｝／Ｙａ（ｎ－１）・・・（２）
【0039】
Ｓ４４において、ＣＰＵ１０７は、明るさ変化比較部１１５Ａにて非動体領域と動体領域の切り分けを行う。このとき、ＣＰＵ１０７は、画素または領域の明るさの変化の割合Ｘｃおよび画像全体の明るさの変化の割合Ｘａを比較し、非動体領域と動体領域の切り分けを行う。
非動体領域と動体領域の切り分けを行うために、明るさ変化の割合の差を判定するための閾値Ｔを設けることができる。明るさの変化の割合の差と閾値Ｔとの関係を、以下の数式（３）に示す。
｜Ｘａ－Ｘｃ｜＞Ｔ ・・・（３）
非動体領域と動体領域の切り分けを行うために、明るさ変化の割合の差を判定するための閾値Ｔを設けることができる。明るさの変化の割合の差と閾値Ｔとの関係を、以下の数式（３）に示す。
｜Ｘａ－Ｘｃ｜＞Ｔ ・・・（３）
【0040】
数式（３）において、明るさの変化の割合の差が閾値Ｔよりも大きい画素または領域は、動体領域である可能性が高い。明るさの変化の割合の差が閾値Ｔ以下の画素または領域は、非動体領域である可能性が高い。なお、非動体領域であっても、ノイズなどにより、フリッカ以外の明るさの変化が多少あるため、明るさの変化の割合も完全には一致しない可能性が高い。このため、非動体領域が誤って動体領域と判定されるのを防止するため、余裕を持った閾値Ｔを設けることが望ましい。
【0041】
Ｓ４５において、ＣＰＵ１０７は、明るさの変化の割合の差が閾値Ｔ以下の画素または領域は、非動体領域と判定する。
Ｓ４６において、ＣＰＵ１０７は、明るさの変化の割合の差が閾値Ｔよりも大きい画素または領域は、動体領域と判定する。
Ｓ４７において、ＣＰＵ１０７は、Ｓ４５またはＳ４６の判定結果を動体マップに反映する。
Ｓ４６において、ＣＰＵ１０７は、明るさの変化の割合の差が閾値Ｔよりも大きい画素または領域は、動体領域と判定する。
Ｓ４７において、ＣＰＵ１０７は、Ｓ４５またはＳ４６の判定結果を動体マップに反映する。
【0042】
Ｓ４８において、ＣＰＵ１０７は、撮像条件設定処理が全画素で終了したか判定する。終了していれば処理を終了し、終了していなければＳ４９へ戻る。
Ｓ４９において、ＣＰＵ１０７は、処理対象の画素位置または領域位置を次の画素位置または領域位置に移行する。１つの画素または領域に対する処理が終わると、１つ右の画素または領域へ移動する。画素または領域が右端部にある場合には、１つ下の左端部の画素または領域へ移動する。
Ｓ４９において、ＣＰＵ１０７は、処理対象の画素位置または領域位置を次の画素位置または領域位置に移行する。１つの画素または領域に対する処理が終わると、１つ右の画素または領域へ移動する。画素または領域が右端部にある場合には、１つ下の左端部の画素または領域へ移動する。
【0043】
図６は、第１実施形態に係る撮像画像、明るさマップおよび動体マップを示す模式図である。図６（ａ）はフリッカの滅状態での撮像画像の例を示し、図６（ｂ）は明るさマップの例を示し、図６（ｃ）は動体マップの例を示す。
図６（ａ）および図６（ｂ）は、図３（ａ）および図３（ｂ）と同一である。図６（ｃ）は、明るさ変化比較部１１５Ａを用いて１つの閾値に基づいて生成されたフリッカ環境下における次フレームの動体マップを示す。
図６（ａ）および図６（ｂ）は、図３（ａ）および図３（ｂ）と同一である。図６（ｃ）は、明るさ変化比較部１１５Ａを用いて１つの閾値に基づいて生成されたフリッカ環境下における次フレームの動体マップを示す。
【0044】
フリッカ環境下において、図２（ａ）の明状態の撮像画像１１Ａが前フレームで撮像され、図６（ａ）の滅状態の撮像画像１２Ａが現フレームで撮像されたものとする。
ＣＰＵ１０７は、図２（ａ）の明状態の撮像画像１１Ａから図２（ｂ）の明るさマップ１１Ｂを生成し、図６（ａ）の明状態の撮像画像１２Ａから図６（ｂ）の明るさマップ１２Ｂを生成する。
次に、ＣＰＵ１０７は、領域２１１を含む全体領域と、領域２１１ごとのそれぞれについて、明るさマップ１１Ｂ、１２Ｂ間での明るさの変化の割合を取得する。そして、ＣＰＵ１０７は、領域２１１を含む全体領域の明るさの変化の割合と、領域２１１ごとの明るさの変化の割合を比較し、領域２１１ごとに動体領域であるか非動体領域であるかを判定する。
ＣＰＵ１０７は、図２（ａ）の明状態の撮像画像１１Ａから図２（ｂ）の明るさマップ１１Ｂを生成し、図６（ａ）の明状態の撮像画像１２Ａから図６（ｂ）の明るさマップ１２Ｂを生成する。
次に、ＣＰＵ１０７は、領域２１１を含む全体領域と、領域２１１ごとのそれぞれについて、明るさマップ１１Ｂ、１２Ｂ間での明るさの変化の割合を取得する。そして、ＣＰＵ１０７は、領域２１１を含む全体領域の明るさの変化の割合と、領域２１１ごとの明るさの変化の割合を比較し、領域２１１ごとに動体領域であるか非動体領域であるかを判定する。
【0045】
ここで、非動体画像２０２および背景画像２０３では、領域２１１を含む全体領域の明るさの変化の割合と、領域２１１Ｂごとの明るさの変化の割合の差が小さい。このとき、ＣＰＵ１０７は、明るさの変化の割合の差が閾値Ｔ以下の場合、領域２１１Ｂにある非動体画像２０２および背景画像２０３を非動体領域と判定する。一方、動体画像２０１では、領域２１１を含む全体領域の明るさの変化の割合と、領域２１１Ａごとの明るさの変化の割合の差が大きい。このとき、ＣＰＵ１０７は、明るさの変化の割合の差が閾値Ｔより大きい場合、領域２１１Ａにある動体画像２０１を動体領域と判定する。
【0046】
ＣＰＵ１０７は、図６（ｃ）の動体マップ１２Ｄにおいて、動体領域は値を高く設定し、それ以外の非動体領域は値を低く設定する。このとき、ＣＰＵ１０７は、明るさマップおよび差分画像と同様に、動体マップ１２Ｄについても、値が高い領域は白、値が低い領域は黒の濃淡で表現する。図５の処理では閾値を１つ設け、図６（ｃ）の動体マップ１２Ｄを２値で表現した例を示した。閾値が複数ある場合については第２実施形態で示す。
【0047】
なお、図５の処理は、必ずしも毎フレーム行う必要はない。負荷を減らすために、一定期間を空けて図５の処理を実施するようにしてもよい。このとき、動体領域または非動体領域と判定された領域に対して、その判定した結果を所定のフレーム数の分だけ維持し続け、動体領域であるか非動体領域であるかの判定を省略するようにしてもよい。
例えば、動体領域と判定された領域に関しては、数フレームの間は動体領域として、その数フレームの間は動体マップを生成する処理を止めることができる。また、非動体領域に対しても同様に、非動体領域と判定された領域に関しては、数フレームの間は非動体領域として、その数フレームの間は動体マップを生成する処理を止めることができる。
また、図５の処理は、必ずしも画素ごとに実施する必要はなく、隣接する複数の画素をまとめた領域ごとに実施してもよい。この場合、領域内の明るさを平均化するなどの処理が必要となるが、単一の画素ごとに処理する場合と比べて、処理数が減り、負荷を減らすことができる。
例えば、動体領域と判定された領域に関しては、数フレームの間は動体領域として、その数フレームの間は動体マップを生成する処理を止めることができる。また、非動体領域に対しても同様に、非動体領域と判定された領域に関しては、数フレームの間は非動体領域として、その数フレームの間は動体マップを生成する処理を止めることができる。
また、図５の処理は、必ずしも画素ごとに実施する必要はなく、隣接する複数の画素をまとめた領域ごとに実施してもよい。この場合、領域内の明るさを平均化するなどの処理が必要となるが、単一の画素ごとに処理する場合と比べて、処理数が減り、負荷を減らすことができる。
【0048】
また、上述した説明では、動体領域の判定対象となる画素または領域の比較対象として画像全体を例にとったが、画像全体ではなく、判定対象とする画素または領域よりも広い領域である広域領域を参照領域としてもよい。
また、フリッカによる撮像画像の明るさは、シャッタスピードによっても変化する。シャッタスピードが長い場合には、フリッカ成分が平均化されるため、撮像画像の明るさへの影響が小さくなる。一方、シャッタスピードが短い場合には、フリッカ成分が平均化されないため、撮像画像の明るさへの影響が大きくなる。そのため、広域領域は、同一あるいは類似のシャッタスピードの領域に限定することで、フリッカが与える明るさのずれを低減させることができ、判定精度を向上させることができる。シャッタスピードの類似の範囲は、シャッタスピードの所定範囲内とすることができる。例えば、類似の範囲は、シャッタスピードの±１０％範囲または、フリッカの周期からの明るさへの影響の大きい範囲と少ない範囲というように、一定の閾値を設けて判断すればよい。フリッカの周期が５０Ｈｚ（２０ｍｓ）の場合には、例えば、フリッカの周期の１０倍である２ｍｓを閾値として、閾値を用いた判定結果が同一である領域を類似の領域とすればよい。
また、フリッカによる撮像画像の明るさは、シャッタスピードによっても変化する。シャッタスピードが長い場合には、フリッカ成分が平均化されるため、撮像画像の明るさへの影響が小さくなる。一方、シャッタスピードが短い場合には、フリッカ成分が平均化されないため、撮像画像の明るさへの影響が大きくなる。そのため、広域領域は、同一あるいは類似のシャッタスピードの領域に限定することで、フリッカが与える明るさのずれを低減させることができ、判定精度を向上させることができる。シャッタスピードの類似の範囲は、シャッタスピードの所定範囲内とすることができる。例えば、類似の範囲は、シャッタスピードの±１０％範囲または、フリッカの周期からの明るさへの影響の大きい範囲と少ない範囲というように、一定の閾値を設けて判断すればよい。フリッカの周期が５０Ｈｚ（２０ｍｓ）の場合には、例えば、フリッカの周期の１０倍である２ｍｓを閾値として、閾値を用いた判定結果が同一である領域を類似の領域とすればよい。
【0049】
また、撮像画像の明るさの範囲が狭く、画像全体で単一のシャッタスピードでダイナミックレンジが足りている場合には、全ての画素のシャッタスピードを揃えることで、フリッカの影響を揃えることができる。そのため、全画素でフリッカが与える影響の差がなくなり、判定精度を向上させることができる。画像全体で単一のシャッタスピードではダイナミックレンジが足りない場合においても、シャッタスピードの設定数を減らすことで、比較する領域が増えるため、判定精度を向上させることができる。
【0050】
例えば、短秒露光の１つのシャッタスピードと、長秒露光の１つのシャッタスピードの計２つのシャッタスピードにすることで、ダイナミックレンジを広げつつ、フリッカの影響を２パターンに限定することができる。そのため、比較する対象が２つのどちらかに限定され、比較する領域が増えるため、判定精度を向上させることができる。また、シャッタスピードを限定すると、ダイナミックレンジが低下する。このため、図４のＳ３０で全体の明るさの変化が大きく、フリッカが発生していると判定された場合にのみ、シャッタスピードを限定するようにしてもよい。
【0051】
また、図４のＳ３０において、全体の明るさの変化が大きい場合にはフリッカによる影響が大きいため、動体判定の頻度を上げることが望ましい。さらに、明るさの変化が大きい分、ノイズおよびばらつきなどによって誤検知が発生しやすくなるため、動体を判定するための閾値を大きくすることが望ましい。また、明るさの変化が大きい分、撮像画像への明滅の影響が大きくなる。このため、全体の明るさの変化が大きい場合には、シャッタスピードが長くなるように設定値を制限し、フリッカの影響を低減することが望ましい。全体の明るさの変化が大きいか否かを判定するために、図４のＳ３０の閾値かそれよりも値が大きい閾値を用意する。また、全体の明るさの変化が大きい場合には、使用するシャッタの種類を減らすようにしてもよい。これらの処理によって、動体判定の精度を向上させることができる。
Ｓ４０の明るさの値の読み出しおよびＳ４１の明るさの値の算出は、Ｓ４３以降の画素ごとの処理内で行ってもよい。データ削減のため、現フレーム内の処理が終了したら、Ｓ４０で読み出された値を削除することが望ましい。ＣＰＵ１０７は、Ｓ４３で算出された値を次フレームで使用するため、ＲＡＭ１０９に保存する。
Ｓ４０の明るさの値の読み出しおよびＳ４１の明るさの値の算出は、Ｓ４３以降の画素ごとの処理内で行ってもよい。データ削減のため、現フレーム内の処理が終了したら、Ｓ４０で読み出された値を削除することが望ましい。ＣＰＵ１０７は、Ｓ４３で算出された値を次フレームで使用するため、ＲＡＭ１０９に保存する。
【0052】
以下、図４のＳ３７に示した撮像条件設定処理について、図７のフローチャートを参照しながら説明する。図５の処理では、動体マップを用いて、動体領域と非動体領域とで異なるパラメータを設定することができる。
図７は、第１実施形態に係る撮像条件設定処理を示すフローチャートである。
図７のＳ５０において、ＣＰＵ１０７は、Ｓ３６で取得した動体マップをＲＡＭ１０９へ入力する。
図７は、第１実施形態に係る撮像条件設定処理を示すフローチャートである。
図７のＳ５０において、ＣＰＵ１０７は、Ｓ３６で取得した動体マップをＲＡＭ１０９へ入力する。
【0053】
Ｓ５１において、ＣＰＵ１０７は、ＲＡＭ１０９へ入力した動体マップに基づいて、動体に対応する領域を動体領域として特定する。具体的には、ＣＰＵ１０７は、動体マップのうち、値が所定の閾値以上である部分を動体領域と判定し、動体マップの値を最大値に更新する。一方、ＣＰＵ１０７は、動体マップのうち、値が所定の閾値より小さい部分を非動体領域と判定し、動体マップの値を最小値に更新する。このように、ＣＰＵ１０７は、動体領域特定手段として機能する。
Ｓ５２において、ＣＰＵ１０７は、図４のＳ３５で取得した明るさマップをＲＡＭ１０９へ入力する。
Ｓ５２において、ＣＰＵ１０７は、図４のＳ３５で取得した明るさマップをＲＡＭ１０９へ入力する。
【0054】
Ｓ５３において、ＣＰＵ１０７は、撮像時の基本露出量を決定する。ＣＰＵ１０７は、例えば、ユーザが指定したシャッタスピード、ＩＳＯ感度および絞り値に基づいて、基本露出量を決定する。なお、ＣＰＵ１０７は、明るさマップ取得部１１６から得られた明るさマップを参照して平均明るさを露出量に変換して基本露出量を決定してもよいし、他の方法で決定してもよい。
Ｓ５４において、ＣＰＵ１０７は、撮像条件が設定される画素の位置を初期化する。例えば、ＣＰＵ１０７は、左上の座標を初期値として設定する。以降、ＣＰＵ１０７は、各画素の撮像条件設定処理を右下へ向かって順次行う。
Ｓ５４において、ＣＰＵ１０７は、撮像条件が設定される画素の位置を初期化する。例えば、ＣＰＵ１０７は、左上の座標を初期値として設定する。以降、ＣＰＵ１０７は、各画素の撮像条件設定処理を右下へ向かって順次行う。
【0055】
Ｓ５５において、ＣＰＵ１０７は、撮像条件設定処理が行われる対象画素の位置（すなわち、処理対象の画素位置）に対応する動体マップの値が、動体領域を示す値（すなわち、２５５）であるか否かを判定する。ＣＰＵ１０７は、動体領域でないと判定した場合はＳ５６へ進み、動体領域であると判定した場合はＳ５７へ進む。
Ｓ５６において、ＣＰＵ１０７は、処理対象の画素位置に対応する明るさマップの値を参照し、シャッタスピードを変更した撮像条件を設定する。すなわち、ＣＰＵ１０７は、非動体領域については、ＩＳＯ感度またはシャッタスピードを変更する。これにより、ダイナミックレンジの拡張が可能となる。また、ＩＳＯ感度およびシャッタスピードの変更は、いずれか一方だけでもよく、両方でもよい。ＣＰＵ１０７は、フリッカがある場合においても、非動体領域を判定できるため、非動体領域に適切なパラメータ設定が可能となる。
Ｓ５６において、ＣＰＵ１０７は、処理対象の画素位置に対応する明るさマップの値を参照し、シャッタスピードを変更した撮像条件を設定する。すなわち、ＣＰＵ１０７は、非動体領域については、ＩＳＯ感度またはシャッタスピードを変更する。これにより、ダイナミックレンジの拡張が可能となる。また、ＩＳＯ感度およびシャッタスピードの変更は、いずれか一方だけでもよく、両方でもよい。ＣＰＵ１０７は、フリッカがある場合においても、非動体領域を判定できるため、非動体領域に適切なパラメータ設定が可能となる。
【0056】
Ｓ５７において、ＣＰＵ１０７は、処理対象の画素位置に対応する明るさマップの値を参照し、ＩＳＯ感度を変更した撮像条件を設定する。すなわち、ＣＰＵ１０７は、動体領域については、シャッタスピードを変更せずに、ＩＳＯ感度を変更する。従って、１つの動体の中で明るさが異なる領域が存在する場合でも、同一のシャッタスピードが適用されるので、動体がぶれたとしても、そのぶれ量は同じになり、違和感を生じさせないようにすることができる。
ＣＰＵ１０７は、画像全面にフリッカによる明るさの変化が発生している状態でも、動体領域と非動体領域の切り分けが可能となる。このため、ＣＰＵ１０７は、Ｓ５６およびＳ５７に示すように、動体領域と非動体領域とでそれぞれパラメータが適正化されるように異なるパラメータを設定することができる
ＣＰＵ１０７は、画像全面にフリッカによる明るさの変化が発生している状態でも、動体領域と非動体領域の切り分けが可能となる。このため、ＣＰＵ１０７は、Ｓ５６およびＳ５７に示すように、動体領域と非動体領域とでそれぞれパラメータが適正化されるように異なるパラメータを設定することができる
【0057】
Ｓ５８において、ＣＰＵ１０７は、撮像条件設定処理が全画素で終了したか判定する。終了していれば処理を終了し、そうでなければＳ５９へ進む。
Ｓ５９において、ＣＰＵ１０７は、処理対象の画素位置を次の画素位置に移行する。ＣＰＵ１０７は、１つの画素に対する処理が終わると、１つ右の画素へ移動する。ＣＰＵ１０７は、画素が右端部にある場合には、１つ下の行の左端部の画素へ移動する。
Ｓ５９において、ＣＰＵ１０７は、処理対象の画素位置を次の画素位置に移行する。ＣＰＵ１０７は、１つの画素に対する処理が終わると、１つ右の画素へ移動する。ＣＰＵ１０７は、画素が右端部にある場合には、１つ下の行の左端部の画素へ移動する。
【0058】
なお、Ｓ５６の非動体画素またはＳ５７の動体画素に適用するパラメータは、ＩＳＯ感度およびシャッタスピードの撮像条件に限定されない。これらの画素に適用するパラメータは、領域切り分けの閾値、領域の範囲およびフリッカ補正にも適用できる。
領域切り分けの閾値に関して、動体領域と判定された領域において、動体の動きが小さくなると、明るさの変化として見えづらくなることがあり得る。動体領域あるいはその近傍では、次フレームでも動体領域である可能性が高い。そのため、一度動体領域と判定された領域あるいはその近傍の領域では、閾値Ｔを大きくすることで、動体の動きが小さくなって動体による明るさの変化が小さくなった場合においても、同一領域が動体領域であると判定しやすくできる。
領域切り分けの閾値に関して、動体領域と判定された領域において、動体の動きが小さくなると、明るさの変化として見えづらくなることがあり得る。動体領域あるいはその近傍では、次フレームでも動体領域である可能性が高い。そのため、一度動体領域と判定された領域あるいはその近傍の領域では、閾値Ｔを大きくすることで、動体の動きが小さくなって動体による明るさの変化が小さくなった場合においても、同一領域が動体領域であると判定しやすくできる。
【0059】
領域の範囲に関して、動体領域と判定された領域の隣接領域には、次フレームで動体が移動して明るさの変化が発生する可能性が高い。そのため、動体領域と判定された領域においては、その隣接領域に関しても動体領域と判定することで、次フレームの動体領域を予測できる。また、隣接領域を動体領域と判定しなくても、閾値Ｔを上げることで、動体と判定しやすくなる。
例えば、非動体領域に関しては、明るさの変化の周期性から適切なフリッカの補正値を算出できる。しかし、動体領域では動体の明るさの変化も含まれるため、適切なフリッカの補正値を算出しにくい。そこで、非動体領域では、その非動体領域で算出されたフリッカの補正値を用い、動体領域では周辺の非動体領域と同一のフリッカの補正値を用いることで、動体領域においても適切なフリッカの補正が可能となる。
例えば、非動体領域に関しては、明るさの変化の周期性から適切なフリッカの補正値を算出できる。しかし、動体領域では動体の明るさの変化も含まれるため、適切なフリッカの補正値を算出しにくい。そこで、非動体領域では、その非動体領域で算出されたフリッカの補正値を用い、動体領域では周辺の非動体領域と同一のフリッカの補正値を用いることで、動体領域においても適切なフリッカの補正が可能となる。
【0060】
本実施形態では、画像内の全ての画素ごとまたは領域ごとに動体領域の判定する場合を例にとったが、必ずしも画像内の全ての画素ごとまたは領域ごとに動体領域の判定を行わなくてもよい。このとき、判定を行わない領域に対しては、その領域の周辺の画素あるいは領域が動体領域であるか非動体領域であるかの判定結果を適用することができる。例えば、動体判定処理の負荷を減らすために、画素あるいは領域を１つ飛ばしで動体領域の判定を行うようにしてもよい。この場合、動体領域の判定を飛ばされた画素または領域に関しては、その周辺画素または周辺領域の判定結果から、動体領域の判定を行えばよい。動体領域の判定を飛ばされた画素または領域周辺に動体領域が多い場合には動体領域と判定し、非動体領域が多い場合には非動体領域と判定すればよい。ただし、全ての画素ごとまたは領域ごとに動体領域の判定を行う場合、周辺画素から補完する必要がないため、判定精度を向上させることができる。
【0061】
領域ごとに撮像条件が変更できる撮像素子を用いる場合には、領域ごとの撮像条件の差を反映させずに明るさの変化だけで動体領域を判定すると、判定精度が低下する。このため、ＣＰＵ１０７は、領域ごとの撮像条件の差から、領域ごとの明るさの差を予測して動体領域を判定するようにしてもよい。例えば、２つの領域で明るさとシャッタスピードが同じであっても、ＩＳＯ感度が２倍高ければ、明るさは半分となる。２つの領域で明るさとＩＳＯ感度が同じであっても、シャッタスピードが２倍速ければ、明るさは２倍となる。
【0062】
以上説明したように、上述した第１実施形態によれば、明るさ変化比較部は、部分領域と、参照領域とのそれぞれについて、フレーム間での明るさの変化の割合を算出する。そして、明るさ変化比較部は、部分領域の明るさの変化の割合と、参照領域の明るさの変化の割合に基づいて、部分領域が動体領域であるか否かを判定する。これにより、被写体の照明に明るさの変化がある場合においても、画像の動体領域と非動体領域とを切り分けることが可能となり、部分領域が動体領域であるか非動体領域であるかを適正に判定することができる。
【0063】
＜第２実施形態＞
以下、第２実施形態に係る撮像装置について説明する。なお、第２実施形態において、第１実施形態と同様の構成および機能については、その詳細な説明は省略し、異なる点についてのみ説明する。第１実施形態との相違は、第１実施形態では、動体マップを生成するための閾値を１つ設けて、動体マップの値を２値としたが、第２実施形態では、動体マップを生成するための閾値を複数設けて、動体マップの値を３値以上とした。これにより、明るさの変化に応じて、どの程度の信頼性で動体が存在する可能性があるか否かを段階的に判断することが可能となる。閾値の数は動体マップのビット数に応じて変更することが望ましい。例えば、ビット数で表現できる数に対して、１つだけ少ない数の閾値を持つことが望ましい。ビット数が１の場合には閾値は１つ、ビット数が２の場合には閾値は３つ、ビット数が８の場合には２５５つとすることで、動体マップのビット数を最大限まで活かすことができる。
以下、第２実施形態に係る撮像装置について説明する。なお、第２実施形態において、第１実施形態と同様の構成および機能については、その詳細な説明は省略し、異なる点についてのみ説明する。第１実施形態との相違は、第１実施形態では、動体マップを生成するための閾値を１つ設けて、動体マップの値を２値としたが、第２実施形態では、動体マップを生成するための閾値を複数設けて、動体マップの値を３値以上とした。これにより、明るさの変化に応じて、どの程度の信頼性で動体が存在する可能性があるか否かを段階的に判断することが可能となる。閾値の数は動体マップのビット数に応じて変更することが望ましい。例えば、ビット数で表現できる数に対して、１つだけ少ない数の閾値を持つことが望ましい。ビット数が１の場合には閾値は１つ、ビット数が２の場合には閾値は３つ、ビット数が８の場合には２５５つとすることで、動体マップのビット数を最大限まで活かすことができる。
【0064】
図８は、第２実施形態に係る動体領域判定処理を示すフローチャートである。
図８において、Ｓ４０～Ｓ４３、Ｓ４８およびＳ４９については第１実施形態と同様であるため、説明を省略する。
Ｓ６１において、Ｓ６１以降の処理のために閾値Ｔ（ｍ）を初期化する。閾値Ｔ（ｍ）は、閾値段階ｍによって値が変化する。閾値段階ｍは０以上の整数であり、初期化時にはｍ＝０となるため、閾値Ｔ（ｍ）は、閾値Ｔ（０）として表現される。閾値段階ｍが増えるにつれて、閾値Ｔ（ｍ）も大きくなる。
Ｓ６２において、ＣＰＵ１０７は、明るさ変化比較部１１５Ａにて、明るさの変化の割合の差が閾値Ｔ（ｍ）以内であるか否かを判定する。ＣＰＵ１０７は、明るさの変化の割合の差が閾値Ｔ（ｍ）以内の場合にはＳ６５に進み、閾値段階ｍに応じた判定結果を動体マップに反映する。ＣＰＵ１０７は、明るさの変化の割合の差が閾値Ｔ（ｍ）よりも大きい場合にはＳ６３に進む。
Ｓ６３において、ＣＰＵ１０７は、閾値段階ｍが最大値の場合にはＳ６５に進み、動体マップに最大値として反映する。ＣＰＵ１０７は、閾値段階ｍが最大ではない場合にはＳ６４に進み、閾値段階ｍを１段増やし、Ｓ６２で再度判定を行う。
Ｓ６５において、ＣＰＵ１０７は、閾値段階ｍに応じた値を動体マップに反映する。閾値段階ｍが小さいほど、判定対象の画素または領域は動体領域である可能性が低くなり、動体マップには低い値で表現される。
図８において、Ｓ４０～Ｓ４３、Ｓ４８およびＳ４９については第１実施形態と同様であるため、説明を省略する。
Ｓ６１において、Ｓ６１以降の処理のために閾値Ｔ（ｍ）を初期化する。閾値Ｔ（ｍ）は、閾値段階ｍによって値が変化する。閾値段階ｍは０以上の整数であり、初期化時にはｍ＝０となるため、閾値Ｔ（ｍ）は、閾値Ｔ（０）として表現される。閾値段階ｍが増えるにつれて、閾値Ｔ（ｍ）も大きくなる。
Ｓ６２において、ＣＰＵ１０７は、明るさ変化比較部１１５Ａにて、明るさの変化の割合の差が閾値Ｔ（ｍ）以内であるか否かを判定する。ＣＰＵ１０７は、明るさの変化の割合の差が閾値Ｔ（ｍ）以内の場合にはＳ６５に進み、閾値段階ｍに応じた判定結果を動体マップに反映する。ＣＰＵ１０７は、明るさの変化の割合の差が閾値Ｔ（ｍ）よりも大きい場合にはＳ６３に進む。
Ｓ６３において、ＣＰＵ１０７は、閾値段階ｍが最大値の場合にはＳ６５に進み、動体マップに最大値として反映する。ＣＰＵ１０７は、閾値段階ｍが最大ではない場合にはＳ６４に進み、閾値段階ｍを１段増やし、Ｓ６２で再度判定を行う。
Ｓ６５において、ＣＰＵ１０７は、閾値段階ｍに応じた値を動体マップに反映する。閾値段階ｍが小さいほど、判定対象の画素または領域は動体領域である可能性が低くなり、動体マップには低い値で表現される。
【0065】
図９は、第２実施形態に係る撮像画像、明るさマップおよび動体マップを示す模式図である。図９（ａ）はフリッカの滅状態での撮像画像の例を示し、図９（ｂ）は明るさマップの例を示し、図９（ｃ）は動体マップの例を示す。
図９（ａ）および図９（ｂ）は、図６（ａ）および図６（ｂ）と同一である。図６（ｃ）は、明るさ変化比較部１１５Ａを用いて複数の閾値に基づいて生成されたフリッカ環境下における次フレームの動体マップを示す。
図９（ａ）および図９（ｂ）は、図６（ａ）および図６（ｂ）と同一である。図６（ｃ）は、明るさ変化比較部１１５Ａを用いて複数の閾値に基づいて生成されたフリッカ環境下における次フレームの動体マップを示す。
【0066】
図９（ｃ）において、動体マップ１２Ｅの値は、閾値段階ｍに基づいて設定されている。閾値段階ｍが小さければ、動体マップ１２Ｅの値は小さくなる。閾値段階ｍが大きければ、動体マップ１２Ｅの値は大きくなる。動体マップ１２Ｅにおいて、動体画像２０１の領域は値が高く設定され、非動体画像２０２および背景画像２０３の領域は値が低く設定される。ここで、ＣＰＵ１０７は、閾値段階ｍに基づいて動体マップ１２Ｅの値を設定することにより、動体画像２０１の領域のうち、動体が存在する可能性が高くなるほど、動体マップ１２Ｅの値を段階的に大きくすることができる。このとき、ＣＰＵ１０７は、動体マップ１２Ｅについて、値が高い領域は白、値が低い領域は黒の濃淡で段階的に表現する。例えば、動体画像２０１から複数の動体領域２２１Ｃ、２２１Ｄが抽出され、動体領域２２１Ｃを動体領域２２１Ｄよりも濃度を濃くすることにより、動体領域２２１Ｃは、動体領域２２１Ｄよりも動体が存在する可能性が低いことを示すことができる。このように、複数の段階で動体マップ１２Ｅが示されることで、動体が存在する可能性を領域ごとに細かく判定することが可能となる。
【0067】
なお、図８のＳ６２では、閾値を複数用意し、明るさの変化の割合の差がどの範囲にあるか判定する場合、閾値を１ずつ増加させながら、繰り返し比較する処理を示した。繰り返し比較する処理以外にも、ＣＰＵ１０７は、明るさの変化の割合の差を複数の閾値と比較し、変化の割合の差がどの範囲にあるかを一括して判定してもよい。
また、動体マップにおいて、ＣＰＵ１０７は、ある対象領域に対して隣接する領域の値と比較し、その対象領域の周囲に動体マップの値が高い領域が多い場合には、その対象領域を動体と判定してもよい。これにより、ＣＰＵ１０７は、ノイズや動体の動き方によって動体の明るさの変化が小さくなる領域に対しても、動体領域と判定することができる。
また、動体マップにおいて、ＣＰＵ１０７は、ある対象領域に対して隣接する領域の値と比較し、その対象領域の周囲に動体マップの値が高い領域が多い場合には、その対象領域を動体と判定してもよい。これにより、ＣＰＵ１０７は、ノイズや動体の動き方によって動体の明るさの変化が小さくなる領域に対しても、動体領域と判定することができる。
【0068】
以上説明したように、上述した第２実施形態によれば、動体領域か否かの判定に用いる閾値を複数設けることにより、どの程度の信頼性で動体が存在する可能性があるか否かを段階的に判断することが可能となる。
＜第３実施形態＞
以下、第３実施形態に係る撮像装置について説明する。なお、第３実施形態において、第１実施形態および第２実施形態と同様の構成および機能については、その詳細な説明は省略し、異なる点についてのみ説明する。第１実施形態および第２実施形態との相違は、第３実施形態では、明るさマップにおいてフリッカの明るさの変化自体を補正する。
＜第３実施形態＞
以下、第３実施形態に係る撮像装置について説明する。なお、第３実施形態において、第１実施形態および第２実施形態と同様の構成および機能については、その詳細な説明は省略し、異なる点についてのみ説明する。第１実施形態および第２実施形態との相違は、第３実施形態では、明るさマップにおいてフリッカの明るさの変化自体を補正する。
【0069】
第１の実施形態および第２の実施形態では、フリッカによる明るさの変化自体を補正していないため、フリッカの明滅に応じて、図２（ｂ）の明るさマップ１１Ｂが、図３（ｂ）および図６（ｂ）の明るさマップ１２Ｂに変化する。従って、明るさマップ１１Ｂに対して、基本露出量を設定すると、次フレームではフリッカによって明るさが変化するため、適切な露出量に設定できない可能性が高い。そのため、第３実施形態では、明るさマップを補正することで、フリッカにより明るさが変化する場合においても、異なるフレーム間での基本露出量を適正化する。
図１０において、撮像装置１Ｂは、図１の撮像装置１Ａの明るさ変化比較部１１５Ａの代わりに、明るさ変化比較部１１５Ｂを備える。明るさ変化比較部１１５Ｂは、非動体領域と判定した領域の明るさの変化に基づいて、明るさマップの補正を行う。
図１０において、撮像装置１Ｂは、図１の撮像装置１Ａの明るさ変化比較部１１５Ａの代わりに、明るさ変化比較部１１５Ｂを備える。明るさ変化比較部１１５Ｂは、非動体領域と判定した領域の明るさの変化に基づいて、明るさマップの補正を行う。
【0070】
図１１は、第３実施形態に係る明るさマップ補正処理を示すフローチャートである。
図１１において、Ｓ４０～Ｓ４３、Ｓ４８およびＳ４９については、第１実施形態の図５の処理と同様であるため、説明を省略する。
Ｓ７１において、ＣＰＵ１０７は、画像全体の明るさの変化の周期性を判定する。フリッカは、５０Ｈｚまたは６０Ｈｚという電源の周期で発生する。そのため、ＣＰＵ１０７は、画像全体の明るさの変化の周期を特定の周期と比較し、画像全体の明るさの変化の周期が特定の周期と一致しているか否かを判定する。
図１１において、Ｓ４０～Ｓ４３、Ｓ４８およびＳ４９については、第１実施形態の図５の処理と同様であるため、説明を省略する。
Ｓ７１において、ＣＰＵ１０７は、画像全体の明るさの変化の周期性を判定する。フリッカは、５０Ｈｚまたは６０Ｈｚという電源の周期で発生する。そのため、ＣＰＵ１０７は、画像全体の明るさの変化の周期を特定の周期と比較し、画像全体の明るさの変化の周期が特定の周期と一致しているか否かを判定する。
【0071】
画像全体の明るさの変化の周期が判定された場合には、画像全体の明るさの周期的な変化を算出することが可能になる。例えば、６０Ｈｚの周期でフリッカが撮像されている場合に、６０ｆｐｓのフレームレートで撮像を行うと、明暗が繰り返される画像が撮像される。このとき、ＣＰＵ１０７は、次フレームの明るさを予測することができるため、フリッカの補正値を算出することができる。
また、動体領域では、明るさの変化以外にも動体の移動による明るさの変化が発生するため、フリッカの補正値を明るさの変化から正確に算出することができない。そのため、フリッカの補正値を算出する領域は非動体領域であることが望ましい。
Ｓ７２において、ＣＰＵ１０７は、Ｓ７１で予測された次フレームの明るさに合わせたフリッカの補正値を明るさマップに反映する。ＣＰＵ１０７は、フリッカの補正値を明るさマップに反映することにより、次フレームで撮像される画像のフリッカ成分を低減することができ、撮像画像全体に周期的に現れる明暗を低減することができる。
また、フリッカの補正値を明るさマップに反映せず、撮像画像全体に周期的に現れる明暗の予測値のみを出力してもよい。その場合、撮像画像全体に周期的に現れる明暗を後段のデジタルゲインで補正することが可能となる。
これにより、ＣＰＵ１０７は、フリッカによって非動体領域および動体領域の明るさが周期的に変化している場合であっても、適切な基本露出量を算出することができる。
また、動体領域では、明るさの変化以外にも動体の移動による明るさの変化が発生するため、フリッカの補正値を明るさの変化から正確に算出することができない。そのため、フリッカの補正値を算出する領域は非動体領域であることが望ましい。
Ｓ７２において、ＣＰＵ１０７は、Ｓ７１で予測された次フレームの明るさに合わせたフリッカの補正値を明るさマップに反映する。ＣＰＵ１０７は、フリッカの補正値を明るさマップに反映することにより、次フレームで撮像される画像のフリッカ成分を低減することができ、撮像画像全体に周期的に現れる明暗を低減することができる。
また、フリッカの補正値を明るさマップに反映せず、撮像画像全体に周期的に現れる明暗の予測値のみを出力してもよい。その場合、撮像画像全体に周期的に現れる明暗を後段のデジタルゲインで補正することが可能となる。
これにより、ＣＰＵ１０７は、フリッカによって非動体領域および動体領域の明るさが周期的に変化している場合であっても、適切な基本露出量を算出することができる。
【0072】
図１２は、第３実施形態に係る撮像画像および明るさマップを示す模式図である。図１２（ａ）はフリッカの滅状態での撮像画像の例を示し、図１２（ｂ）は明るさマップの例を示す。
図１２（ａ）は、図３（ａ）および図６（ａ）と同一である。図１２（ｂ）は、図１２（ａ）の撮像画像１２Ａについて、明るさ変化比較部１１５Ｂを用いてフリッカ補正が適用された次フレームの明るさマップを示す。
図６（ａ）の撮像画像１２Ａについて、フリッカ補正が適用されてない図６（ｂ）の明るさマップ１２Ｂでは、フリッカが滅状態にあるときに全体が暗くなっている。一方、図１２（ａ）の撮像画像１２Ａについて、フリッカ補正が適用された図１２（ｂ）の明るさマップ１２Ｆでは、図２（ａ）の撮像画像１１Ａについての図２（ｂ）の明るさマップ１１Ｂと同等の明るさを示す。このため、フリッカ環境下においても、撮像画像１２Ａに周期的に現れる明滅を低減することができる。
図１２（ａ）は、図３（ａ）および図６（ａ）と同一である。図１２（ｂ）は、図１２（ａ）の撮像画像１２Ａについて、明るさ変化比較部１１５Ｂを用いてフリッカ補正が適用された次フレームの明るさマップを示す。
図６（ａ）の撮像画像１２Ａについて、フリッカ補正が適用されてない図６（ｂ）の明るさマップ１２Ｂでは、フリッカが滅状態にあるときに全体が暗くなっている。一方、図１２（ａ）の撮像画像１２Ａについて、フリッカ補正が適用された図１２（ｂ）の明るさマップ１２Ｆでは、図２（ａ）の撮像画像１１Ａについての図２（ｂ）の明るさマップ１１Ｂと同等の明るさを示す。このため、フリッカ環境下においても、撮像画像１２Ａに周期的に現れる明滅を低減することができる。
【0073】
なお、本実施形態では説明を容易にするために、フリッカとフレームレートが同期している場合について示したが、同期していない場合であっても明るさの変化の周期性からフリッカの周期を予測できる。また、ユーザがフリッカの周期を知っている場合には、ＣＰＵ１０７は、フリッカの周期を画像から予測せずに、操作部１１１から入力された値を用いてもよい。
【0074】
ＣＰＵ１０７は、フリッカを補正する場合には、領域ごとまたは画像全体の明るさを１フレーム内で平均化し、フレームごとの値を積算することで、フリッカ成分の影響を除いた明るさを算出できる。ＣＰＵ１０７は、動体による明るさの変化がない領域においては、フリッカ成分の影響を除いた明るさと、フレームごとの明るさを比較することで、フリッカ成分による明るさを比較することができる。
【0075】
以上説明したように、上述した第３実施形態によれば、画像に含まれるフリッカ成分を補正した領域ごとの明るさを示す明るさマップを生成する。これにより、フリッカにより明るさが変化する場合においても、異なるフレーム間での基本露出量を適正化することができる。
【0076】
＜第４実施形態＞
以下、第４実施形態に係る撮像装置について説明する。なお、第４実施形態において、第１実施形態から第３実施形態と同様の構成および機能については、その詳細な説明は省略し、異なる点についてのみ説明する。第１実施形態から第３実施形態では、フレームごとに明滅する面間フリッカがある環境下において、画素または領域ごとに動体領域であるか否かを判定した。第４実施形態では、ローリングシャッタに起因する面内フリッカによって撮像画像に横縞の明暗が発生する環境下において、画素または領域ごとに動体領域であるか否かを判定する。
以下、第４実施形態に係る撮像装置について説明する。なお、第４実施形態において、第１実施形態から第３実施形態と同様の構成および機能については、その詳細な説明は省略し、異なる点についてのみ説明する。第１実施形態から第３実施形態では、フレームごとに明滅する面間フリッカがある環境下において、画素または領域ごとに動体領域であるか否かを判定した。第４実施形態では、ローリングシャッタに起因する面内フリッカによって撮像画像に横縞の明暗が発生する環境下において、画素または領域ごとに動体領域であるか否かを判定する。
【0077】
面内フリッカは、シャッタ動作に基づく露光タイミングのずれによって発生する。撮像素子の走査方向（水平方向）では同一のタイミングで露光されるため、撮像画像には面内フリッカによって横縞の明暗が発生する。そのため、面内フリッカ環境下において、動体領域であるか非動体領域であるかを判定するためには、画素ごとの比較対象を画像全体ではなく、同一の水平方向の領域とすればよい。
また、比較対象とする領域は、上下方向の一定の範囲の水平画素（同一の水平方向の画素）の明るさを平均化した領域であってもよい。平均化する上下方向の範囲は、例えば、垂直方向の画素または領域の±１０％範囲や、フリッカの周期性から明滅する列の範囲というように、一定の閾値を設けて判断すればよい。また、上方向もしくは下方向のみに平均化する範囲を広げてもよい。
また、比較対象とする領域は、上下方向の一定の範囲の水平画素（同一の水平方向の画素）の明るさを平均化した領域であってもよい。平均化する上下方向の範囲は、例えば、垂直方向の画素または領域の±１０％範囲や、フリッカの周期性から明滅する列の範囲というように、一定の閾値を設けて判断すればよい。また、上方向もしくは下方向のみに平均化する範囲を広げてもよい。
【0078】
以上説明したように、上述した第４実施形態によれば、動体領域であるか否かの判定時に参照される参照領域として、撮像素子の走査方向にある画素または領域あるいは査方向に対して所定範囲内の上下方向にある画素または領域に設定する。これにより、面内フリッカによって撮像画像に横縞の明暗が発生する環境下においても、動体領域であるか否かの判定の適正化を図ることができる。
【0079】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給してもよい。そして、上述の実施形態の１以上の機能は、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＦＰＧＡまたはＡＳＩＣ）でも実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給してもよい。そして、上述の実施形態の１以上の機能は、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＦＰＧＡまたはＡＳＩＣ）でも実現可能である。
【符号の説明】
【0080】
１０１ 撮像部、１０２ Ａ／Ｄ変換部、１０３ 信号処理部、１０４ Ｄ／Ａ変換部、１０５ エンコーダ部、１０６ メディアＩ／Ｆ部、１０７ ＣＰＵ、１０８ ＲＯＭ、１０９ ＲＡＭ、１１０ 撮像系制御部、１１１ 操作部、１１２ キャラクタジェネレーション部、１１３ 表示部、１１４ 動体マップ取得部、１１５ 明るさ変化比較部、１１６ 明るさマップ取得部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
