特許 6950698 撮像制御装置、撮像制御方法および撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6950698

(24)【登録日】2021年9月28日

(45)【発行日】2021年10月13日

(54)【発明の名称】撮像制御装置、撮像制御方法および撮像装置

(51)【国際特許分類】

   H04N 5/235 20060101AFI20210930BHJP

   H04N 5/232 20060101ALI20210930BHJP

   G03B 7/093 20210101ALI20210930BHJP

   H04N 5/353 20110101ALI20210930BHJP

   H04N 5/357 20110101ALI20210930BHJP

   H04N 5/374 20110101ALI20210930BHJP

【ＦＩ】

   H04N5/235 700

   H04N5/235 300

   H04N5/232 290

   H04N5/235 100

   G03B7/093

   H04N5/353 200

   H04N5/357

   H04N5/374

   H04N5/374 200

【請求項の数】7

【全頁数】24

(21)【出願番号】特願2018-539536(P2018-539536)

(86)(22)【出願日】2017年7月6日

(86)【国際出願番号】JP2017024754

(87)【国際公開番号】WO2018051615

(87)【国際公開日】20180322

【審査請求日】2020年5月8日

(31)【優先権主張番号】特願2016-179441(P2016-179441)

(32)【優先日】2016年9月14日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100082762

【弁理士】

【氏名又は名称】杉浦 正知

(74)【代理人】

【識別番号】100123973

【弁理士】

【氏名又は名称】杉浦 拓真

(72)【発明者】

【氏名】本田 雄太郎

(72)【発明者】

【氏名】鈴木 智子

【審査官】 大西 宏

(56)【参考文献】

【文献】 特開２０１５−２１１２３１（ＪＰ，Ａ）

【文献】 特開２０１０−０５６６８５（ＪＰ，Ａ）

【文献】 特開２００４−２００８８５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｈ０４Ｎ ５／３０ − ５／３７８

Ｇ０３Ｂ ７／００ − ７／３０

(57)【特許請求の範囲】

【請求項1】

画像に含まれる光源のフリッカ成分を検出するフリッカ検出部と、
前記フリッカ検出部による検出結果に応じて、撮像のタイミングを制御する制御部と
を有し、
前記制御部は、
前記フリッカ成分のピークまたはボトムのタイミングに加え、前記撮像におけるセンサ部の露光時間に応じて前記撮像のタイミングを制御し、
さらに、前記制御部は、
前記センサ部の露光時間が前記フリッカ成分の周期の整数倍と一致せず、且つ、前記露光時間内に１周期に相当する前記フリッカ成分が奇数個含まれる場合に、前記検出されたフリッカ成分のボトムで前記撮像がなされるように制御し、
前記センサ部の露光時間が前記フリッカ成分の周期の整数倍と一致せず、且つ、前記露光時間内に１周期に相当する前記フリッカ成分が偶数個含まれる場合に、前記検出されたフリッカ成分のピークで前記撮像がなされるように制御する
撮像制御装置。

【請求項2】

前記制御部は、設定されたモードに基づいて前記センサ部の露光時間を判別する
請求項１に記載の撮像制御装置。

【請求項3】

前記センサ部の露光時間内に前記フリッカ成分のピークまたはボトムが含まれる
請求項１または２に記載の撮像制御装置。

【請求項4】

前記撮像のタイミングは、露光のタイミングである
請求項１から３までの何れかに記載の撮像制御装置。

【請求項5】

前記センサ部が撮像素子である
請求項１から４までの何れかに記載の撮像制御装置。

【請求項6】

フリッカ検出部が、画像に含まれる光源のフリッカ成分を検出し、
制御部が、前記フリッカ成分の検出結果に応じて、撮像のタイミングを制御し、
前記制御部は、
前記フリッカ成分のピークまたはボトムのタイミングに加え、前記撮像におけるセンサ部の露光時間に応じて前記撮像のタイミングを制御し、
さらに、前記制御部は、
前記センサ部の露光時間が前記フリッカ成分の周期の整数倍と一致せず、且つ、前記露光時間内に１周期に相当する前記フリッカ成分が奇数個含まれる場合に、前記検出されたフリッカ成分のボトムで前記撮像がなされるように制御し、
前記センサ部の露光時間が前記フリッカ成分の周期の整数倍と一致せず、且つ、前記露光時間内に１周期に相当する前記フリッカ成分が偶数個含まれる場合に、前記検出されたフリッカ成分のピークで前記撮像がなされるように制御する
撮像制御方法。

【請求項7】

撮像部と、
画像に含まれる光源のフリッカ成分を検出するフリッカ検出部と、
前記フリッカ検出部による検出結果に応じて、撮像のタイミングを制御する制御部と
を有し、
前記制御部は、
前記フリッカ成分のピークまたはボトムのタイミングに加え、前記撮像におけるセンサ部の露光時間に応じて前記撮像のタイミングを制御し、
さらに、前記制御部は、
前記センサ部の露光時間が前記フリッカ成分の周期の整数倍と一致せず、且つ、前記露光時間内に１周期に相当する前記フリッカ成分が奇数個含まれる場合に、前記検出されたフリッカ成分のボトムで前記撮像がなされるように制御し、
前記センサ部の露光時間が前記フリッカ成分の周期の整数倍と一致せず、且つ、前記露光時間内に１周期に相当する前記フリッカ成分が偶数個含まれる場合に、前記検出されたフリッカ成分のピークで前記撮像がなされるように制御する
撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像制御装置、撮像装置方法および撮像装置に関する。

【背景技術】

【0002】

室内用の光源として普及している蛍光灯や近年普及が拡大しているＬＥＤ(Light Emitting Diode)等は、商用電源周波数の影響により周期的に照明光が明滅するいわゆるフリッカが生じる。このようなフリッカによる色むら等の画質の低下を防止するための撮像装置に関する技術が提案されている（例えば、下記特許文献１を参照のこと。）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−２２０７６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような分野では、フリッカによる画質の低下を効果的に低減することが望まれている。

【0005】

本開示はこのような問題点に鑑みなされたものであり、フリッカによる画質の低下を防止する撮像制御装置、撮像制御方法および撮像装置を提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

上述の課題を解決するために、本開示は、例えば、
画像に含まれる光源のフリッカ成分を検出するフリッカ検出部と、
フリッカ検出部による検出結果に応じて、撮像のタイミングを制御する制御部と
を有し、
制御部は、
フリッカ成分のピークまたはボトムのタイミングに加え、撮像におけるセンサ部の露光時間に応じて撮像のタイミングを制御し、
さらに、制御部は、
センサ部の露光時間がフリッカ成分の周期の整数倍と一致せず、且つ、露光時間内に１周期に相当するフリッカ成分が奇数個含まれる場合に、検出されたフリッカ成分のボトムで撮像がなされるように制御し、
センサ部の露光時間がフリッカ成分の周期の整数倍と一致せず、且つ、露光時間内に１周期に相当するフリッカ成分が偶数個含まれる場合に、検出されたフリッカ成分のピークで撮像がなされるように制御する
撮像制御装置である。

【0007】

また、本開示は、例えば、
フリッカ検出部が、画像に含まれる光源のフリッカ成分を検出し、
制御部が、フリッカ成分の検出結果に応じて、撮像のタイミングを制御し、
制御部は、
フリッカ成分のピークまたはボトムのタイミングに加え、撮像におけるセンサ部の露光時間に応じて撮像のタイミングを制御し、
さらに、制御部は、
センサ部の露光時間がフリッカ成分の周期の整数倍と一致せず、且つ、露光時間内に１周期に相当するフリッカ成分が奇数個含まれる場合に、検出されたフリッカ成分のボトムで撮像がなされるように制御し、
センサ部の露光時間がフリッカ成分の周期の整数倍と一致せず、且つ、露光時間内に１周期に相当するフリッカ成分が偶数個含まれる場合に、検出されたフリッカ成分のピークで撮像がなされるように制御する
撮像制御方法である。

【0008】

また、本開示は、例えば、
撮像部と、
画像に含まれる光源のフリッカ成分を検出するフリッカ検出部と、
フリッカ検出部による検出結果に応じて、撮像のタイミングを制御する制御部と
を有し、
制御部は、
フリッカ成分のピークまたはボトムのタイミングに加え、撮像におけるセンサ部の露光時間に応じて撮像のタイミングを制御し、
さらに、制御部は、
センサ部の露光時間がフリッカ成分の周期の整数倍と一致せず、且つ、露光時間内に１周期に相当するフリッカ成分が奇数個含まれる場合に、検出されたフリッカ成分のボトムで撮像がなされるように制御し、
センサ部の露光時間がフリッカ成分の周期の整数倍と一致せず、且つ、露光時間内に１周期に相当するフリッカ成分が偶数個含まれる場合に、検出されたフリッカ成分のピークで撮像がなされるように制御する
撮像装置である。

【発明の効果】

【0012】

本開示の少なくとも一の実施形態によれば、フリッカによる画質の低下を防止することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であってもよい。また、例示された効果により本開示の内容が限定して解釈されるものではない。

【図面の簡単な説明】

【0013】

【図1】図１は、本開示の一実施形態に係る撮像装置の構成例を示すブロック図である。

【図2】図２は、本開示の一実施形態に係るデジタル信号処理部の構成例を示すブロック図である。

【図3】図３は、フリッカ成分の一例を示す図である。

【図4】図４は、本開示の実施形態に係るフリッカ検出部の構成例を示すブロック図である。

【図5】図５は、本開示の実施形態に係る撮像装置の動作例を説明するための図である。

【図6】図６は、フリッカレス撮影処理の一例を説明するための図である。

【図7】図７は、本開示の一実施形態に係る処理の流れの一例を示すフローチャートである。

【図8】図８は、フリッカ成分の検出時における画像の露光時間と、フリッカ光源の周期との関係（露光時間がフリッカ光源の周期より短い場合の例）を説明するための図である。

【図9】図９は、フリッカ成分の検出時における画像の露光時間と、フリッカ光源の周期との関係（露光時間がフリッカ光源の周期より長い場合の例）を説明するための図である。

【図10】図１０は、露光時間に応じてフリッカ成分のピーク位置が反転することを説明するための図である。

【図11】図１１は、フリッカ検出部により実行される処理の一例等を説明するための図である。

【図12】図１２は、フリッカ成分のボトムに撮影のタイミングを同期させる制御を説明するための図である。

【図13】図１３は、システムコントローラにより実行される処理の一例等を説明するための図である。

【図14】図１４は、検出時におけるフリッカ成分のピーク位置の反転の有無と、本撮影のタイミングを同期させるタイミングとの関係をパターン化して示し、各パターンにおける処理を示した図である。

【発明を実施するための形態】

【0014】

以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．一実施形態＞
＜２．変形例＞
以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。

【0015】

＜１．一実施形態＞
［撮像装置の構成例］
「全体的な構成例」
図１は、本開示の実施形態に係る撮像装置（撮像装置１００）の構成例を示している。撮像装置１００は、被写体からの光が、撮像光学系１１を介してＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子１２に入射して、ＣＭＯＳ撮像素子１２で光電変換され、ＣＭＯＳ撮像素子１２からアナログ画像信号が得られる。例えば、撮像光学系１１およびＣＭＯＳ撮像素子１２により撮像部が構成される。

【0016】

センサ部の一例であるＣＭＯＳ撮像素子１２は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などを有する画素が複数、２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路および映像信号出力回路が形成されたものである。

【0017】

ＣＭＯＳ撮像素子１２は、後述のように原色系と補色系のいずれでもよく、ＣＭＯＳ撮像素子１２から得られるアナログ画像信号は、ＲＧＢ各色の原色信号または補色系の色信号である。

【0018】

ＣＭＯＳ撮像素子１２からのアナログ画像信号は、ＩＣ（Integrated circuit）（集積回路）として構成されたアナログ信号処理部１３において、色信号ごとに、サンプルホールドされ、ＡＧＣ(Automatic Gain Control)（自動利得制御）によってゲインが制御され、Ａ／Ｄ(Analog to Digital)変換によってデジタル信号に変換される。

【0019】

アナログ信号処理部１３からのデジタル画像信号は、ＩＣとして構成され、検出部として機能するデジタル信号処理部２０において、後述のように処理される。そして、デジタル信号処理部２０内のフリッカ検出部２５において、後述のように信号成分ごとにフリッカ成分が検出され、当該フリッカ成分が適宜、低減された上で、最終的に輝度信号Ｙと赤、青の色差信号Ｒ−Ｙ，Ｂ−Ｙに変換されて、デジタル信号処理部２０から出力される。

【0020】

制御部の一例であるシステムコントローラ１４は、マイクロコンピュータなどによって構成され、撮像装置１００の各部を制御する。一例として、システムコントローラ１４は、フリッカ検出部２５による検出結果に応じて、撮像（例えば、本撮影）のタイミングを制御する。

【0021】

具体的に、システムコントローラ１４から、ＩＣによって構成されたレンズ駆動用ドライバ１５に、レンズ駆動制御信号が供給され、レンズ駆動用ドライバ１５によって、撮像光学系１１のレンズやアイリスが駆動される。

【0022】

また、システムコントローラ１４からタイミングジェネレータ１６に、タイミング制御信号が供給され、タイミングジェネレータ１６からＣＭＯＳ撮像素子１２に、各種タイミング信号が供給されて、ＣＭＯＳ撮像素子１２が駆動される。

【0023】

このとき、ＣＭＯＳ撮像素子１２のシャッタスピード（露光時間）も、システムコントローラ１４からのタイミング制御信号によって制御される。具体的に、システムコントローラ１４内のシャッタ制御部１４ｃによって、シャッタスピードが設定される。シャッタスピードは、例えば、モードに応じて手動または自動で設定される。

【0024】

さらに、デジタル信号処理部２０からシステムコントローラ１４に、各信号成分の検波信号が取り込まれ、システムコントローラ１４からのＡＧＣ信号によって、アナログ信号処理部１３において、上記のように各色信号のゲインが制御されるとともに、システムコントローラ１４によって、デジタル信号処理部２０における信号処理が制御される。

【0025】

また、システムコントローラ１４には、手ぶれセンサ１７が接続され、これから得られる手ぶれ情報が、手ぶれ補正に利用される。

【0026】

また、システムコントローラ１４には、マイクロコンピュータなどによって構成されたインタフェース１９を介して、ユーザインタフェース１８を構成する操作部１８ａおよび表示部１８ｂが接続され、操作部１８ａでの設定操作や選択操作などが、システムコントローラ１４によって検出されるとともに、カメラの設定状態や制御状態などが、システムコントローラ１４によって表示部１８ｂに表示される。例えば、操作部１８ａを使用して、後述するフリッカレス撮影を行うか否かの設定を行うことが可能とされている。

【0027】

なお、撮像装置１００が記憶装置を備えていてもよい。記憶装置は、ハードディスク等の撮像装置１００に内蔵されたものでもよく、ＵＳＢ(Universal Serial Bus)メモリ等の撮像装置１００に着脱自在とされるメモリでもよい。また、撮像装置１００が通信装置を備えていてもよい。この通信装置を使用して、インターネット等を介して、外部装置との間で画像データや各種の設定データ等が送受信可能とされてもよい。通信は、有線によるものでもよいし、無線によるものでもよい。

【0028】

「デジタル信号処理部の構成例」
図２は、原色系システムの場合のデジタル信号処理部２０の構成例を示す。原色系システムは、図１の撮像光学系１１が被写体からの光をＲＧＢ各色の色光に分離する分解光学系を有し、ＣＭＯＳ撮像素子１２としてＲＧＢ各色用のＣＭＯＳ撮像素子を有する３板システム、または、ＣＭＯＳ撮像素子１２として、光入射面にＲＧＢ各色の色フィルタが画面水平方向に１画素ごとに順次、繰り返し配列された一つのＣＭＯＳ撮像素子を有する１板システムである。この場合、ＣＭＯＳ撮像素子１２からは、ＲＧＢ各色の原色信号がパラレルに読み出される。

【0029】

図２のデジタル信号処理部２０では、クランプ回路２１で、入力のＲＧＢ原色信号の黒レベルが所定レベルにクランプされ、ゲイン調整回路２２で、露出量に応じてクランプ後のＲＧＢ原色信号のゲインが調整され、フリッカ検出部２５Ｒ，２５Ｇ，２５Ｂで、後述の方法によって、ゲイン調整後のＲＧＢ原色信号中のフリッカ成分が検出され、当該フリッカ成分が適宜、低減される。また、本撮影時には、システムコントローラ１４の制御に応じてフリッカレス撮影を行うための処理が行われる。本撮影とは、所定操作（例えば、シャッタボタンを全押しする操作）に応じてなされる撮影であり、例えば、記憶媒体に画像を記録する撮影を意味する。また、フリッカレス撮影とは、フリッカ光源から生じるフリッカによる画質への影響（画質の低下）を防止することができる撮影を意味する。

【0030】

さらに、図２のデジタル信号処理部２０では、ホワイトバランス調整回路２７で、フリッカ低減後のＲＧＢ原色信号のホワイトバランスが調整され、ガンマ補正回路２８で、ホワイトバランス調整後のＲＧＢ原色信号の階調が変換され、合成マトリクス回路２９で、ガンマ補正後のＲＧＢ原色信号から、出力の輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙが生成される。

【0031】

なお、合成マトリクス回路２９の輝度信号Ｙの出力側にフリッカ検出部２５を設けて、輝度信号Ｙ中のフリッカ成分を検出するように構成してもよい。

【0032】

一方、補色系システムは、図１のＣＭＯＳ撮像素子１２として、光入射面に補色系の色フィルタが形成された一つのＣＭＯＳ撮像素子を有する１板システムである。

【0033】

補色系システムでは、ＣＭＯＳ撮像素子１２からは、隣接する２水平ライン位置の映像信号が合成されて読み出され、デジタル信号処理部２０では、その補色信号（合成信号）の黒レベルが所定レベルにクランプされ、クランプ後の補色信号のゲインが露出量に応じて調整され、さらにゲイン調整後の補色信号から輝度信号およびＲＧＢ原色信号が生成される。

【0034】

そして、輝度信号の階調が補正されて、出力の輝度信号Ｙが得られるとともに、ＲＧＢ原色信号のホワイトバランスが調整され、ホワイトバランス調整後のＲＧＢ原色信号の階調が変換され、そのガンマ補正後のＲＧＢ原色信号から色差信号Ｒ−Ｙ，Ｂ−Ｙが生成される。

【0035】

［動作例］
「基本的な動作」
次に、撮像装置１００の動作例について説明する。ここでは、静止画を撮影する例について説明する。撮像装置１００の電源が投入されると、撮像前における被写体の構図決め(フレーミング)等の際に、動画的態様の画像（スルー画像）が表示部１８ｂに表示される（ライブビュー表示）。

【0036】

続いて、被写体が決定された後、準備操作がなされる。準備操作は、撮影を行う準備の操作であり、撮影の直前になされる操作である。準備操作は、例えば、操作部１８ａに含まれるシャッタボタンを途中まで（半分程度まで）押し込む半押し操作である。シャッタボタンに対する半押し操作がなされると、例えば、被写体の静止画を撮像するための準備動作が行われる。被写体の静止画を撮像するための準備動作としては、露出制御値の設定や焦点を検出する検出動作、補助光部の発光等が挙げられる。なお、半押し状態でシャッタボタンの押下が解除されると、これらの準備動作が終了する。

【0037】

半押し状態からさらにシャッタボタンが押しこまれ、シャッタボタンが全押しされると撮像装置１００に対して本撮影が指示され、ＣＭＯＳ撮像素子１２を使用して被写体像（被写体の光像）に関する露光動作が行われる。露光動作により得られた画像データに対して、アナログ信号処理部１３やデジタル信号処理部２０による所定の信号処理が施され、静止画像が得られる。得られた静止画像に対応する画像データが、図示しない記憶装置に適宜、記憶される。

【0038】

なお、撮像装置１００により動画の撮影が行われてもよい。動画の撮像がなされる場合は、例えば、シャッタボタンが押下されると動画の撮影および当該動画の記録がなされ、再度、シャッタボタンが押下されると動画の撮影が停止される。

【0039】

「フリッカ低減処理について」
次に、撮像装置１００におけるフリッカ低減処理等について説明する。フリッカ低減処理は、例えば、ライブビュー表示におけるスルー画像に対して施される処理である。説明の前に理解を容易とするために、ＮＴＳＣシステムで発生する蛍光灯により生じるフリッカ成分の一例について説明する。なお、本例では、フレームレートを６０ｆｐｓ（frames per second）、商用電源周波数を５０Ｈｚ（ヘルツ）とした場合について説明する。この場合に生じるフリッカ成分の特徴は以下の通りである。
（１）１画面中には、５／３周期分発生する（３フレーム（フィールドでもよい）を繰り返し周期とする）。
（２）１ラインごとに位相が変化する。
（３）商用電源周波数（５０Ｈｚ）の２倍の周波数（１００Ｈｚ）を持つ正弦波として扱うことができる。

【0040】

上記の特徴から、フリッカ現象が起きている際には、図３のようなフリッカ成分が発生している。なお、図３では、上側（画面上部）から下側（画面下部）に向かって走査が行われているものとする。ＣＭＯＳ撮像素子１２では、水平ラインごとに露光タイミングが異なるため、水平ラインに応じて受光量が変化してしまう。よって、蛍光灯が空間的に均一に照明していたとしても、図３のように、映像信号の値が平均値よりも高い水平ラインと、映像信号の値が平均値よりも小さい水平ラインが存在してしまう。例えば、図３のフレームでは、画像中の最も上の水平ライン、すなわち、先頭ラインでフリッカ成分（フリッカ成分の振幅）が最も高くなるピークとなっている。さらに、先頭ラインから、１画面に含まれる総ライン数の３／５に相当するラインずれた水平ラインで、フリッカ成分も最も高くなる。このように、フリッカ成分は、図３に示すような、振幅、周期、及び初期位相を持つ、ｓｉｎ関数（正弦波）で表すことができる。なお、本例での初期位相とは先頭ラインでの位相を意味している。

【0041】

さらに、フレームに応じて、各水平ラインの位相が変化する。すなわち、フレーム毎に、映像信号の値が平均値よりも高い水平ラインと、映像信号の値が平均値よりも低い水平ラインが変化する。次のフレームでは、初期位相が異なる正弦波となる。例えば、蛍光灯によるフリッカが１００Ｈｚで発生し、フレームレートが６０ｆｐｓであるとすると、蛍光灯のフリッカの５周期分が、３フレームに相当する時間となる。よって、３フレーム毎に初期位相が同じ位相となる。このように、水平ラインおよびフレームに応じて、フリッカ成分が変動する。なお、ＰＡＬ方式、すなわち、フレームレートが５０ｆｐｓで商用電源周波数を６０Ｈｚの場合には、フリッカ成分は５フレームを周期とする正弦波で表すことが可能となる。以上のような性質を有するフリッカ成分を検出して低減する処理（動作）の一例について説明する。

【0042】

図４は、フリッカ検出部２５の詳細な構成例を示す。なお、以下の説明において、入力画像信号とは、それぞれ、フリッカ検出部２５に入力されるフリッカ低減処理前のＲＧＢ原色信号または輝度信号を意味し、出力画像信号とは、それぞれ、フリッカ検出部２５で検出されたフリッカ成分が低減された後のＲＧＢ原色信号または輝度信号を意味する。

【0043】

フリッカ検出部２５は、例えば、正規化積分値算出ブロック３０と、演算ブロック４０と、ＤＦＴ（離散フーリエ変換）ブロック５０と、フリッカ生成ブロック５５と、周波数推定／ピーク検出ブロック６０とを備えている。正規化積分値算出ブロック３０は、積分ブロック３１と、積分値保持ブロック３２と、平均値計算ブロック３３と、差分計算ブロック３４と、正規化ブロック３５とを備えている。

【0044】

積分ブロック３１は、入力画像信号Ｉｎ'（ｘ，ｙ）の画面水平方向に１ライン分に渡って積分し、積分値Ｆｎ（ｙ）を算出する。算出された積分値Ｆｎ（ｙ）は、以後のフレームでのフリッカ検出用に、積分値保持ブロック３２に記憶保持される。垂直同期周波数が６０Ｈｚの場合には、積分値保持ブロック３２は、少なくとも２フレーム分の積分値を保持できる構成とされる。

【0045】

平均値計算ブロック３３は、３つの積分値Ｆｎ（ｙ），Ｆｎ＿１（ｙ），Ｆｎ＿２（ｙ）の平均値ＡＶＥ［Ｆｎ（ｙ）］を算出する。なお、Ｆｎ＿１（ｙ）は、１フレーム前の同じラインの積分値Ｆｎ＿１（ｙ）であり、Ｆｎ＿２（ｙ）は、２フレーム前の同じラインの積分値Ｆｎ＿２（ｙ）であり、これらの積分値は積分値保持ブロック３２から読み出された値である。

【0046】

差分計算ブロック３４は、積分ブロック３１から供給される積分値Ｆｎ（ｙ）と、積分値保持ブロック３２から供給される１フレーム前の積分値Ｆｎ＿１（ｙ）との差分を算出する。差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）では、被写体の影響が十分除去されるため、積分値Ｆｎ（ｙ）に比べてフリッカ成分（フリッカ係数）の様子が明確に現れる。

【0047】

さらに、正規化ブロック３５で、差分計算ブロック３４からの差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）が、平均値計算ブロック３３からの平均値ＡＶＥ［Ｆｎ（ｙ）］で除算されることによる正規化処理がなされ、正規化後の差分値ｇｎ（ｙ）が算出される。

【0048】

ＤＦＴブロック５０は、正規化ブロック３５からの正規化後の差分値ｇｎ（ｙ）の、フリッカの１波長分（Ｌライン分）に相当するデータを、離散フーリエ変換する。これにより、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎが推定される。なお、初期位相Φｍｎは、撮像装置１００内において生成される所定時間毎（例えば、０．５μｓ（マイクロ秒）毎）のカウンタに対応付けられて保持される。

【0049】

さらに、フリッカ生成ブロック５５で、ＤＦＴブロック５０からのγｍ，Φｍｎの推定値から、フリッカ係数Γｎ（ｙ）が算出される。そして、演算ブロック４０は、フリッカ生成ブロック５３からのフリッカ係数Γｎ（ｙ）に１を加え、その和［１＋Γｎ（ｙ）］で入力画像信号Ｉｎ'（ｘ，ｙ）が除算する逆ゲインをかける処理を行う。これによって、入力画像信号Ｉｎ'（ｘ，ｙ）に含まれるフリッカ成分がほぼ完全に除去され、演算ブロック４０からは、出力画像信号（フリッカ低減処理後のＲＧＢ原色信号または輝度信号）として、実質的にフリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）が得られる。

【0050】

以上のような処理により、フリッカの有無を検出し、当該フリッカによるスルー画像の画質低下を防止することが可能となる。なお、上述したフリッカ低減処理が動画の撮影（記録を含む）時に行われてもよい。なお、本実施形態では、ＲＧＢ毎のフリッカ成分を検出している。この場合には、振幅が最大となる色成分（チャンネル）のピークのタイミングを検出する。これに代えて、輝度信号のピークを検出するようにしてもよい。

【0051】

なお、ＤＦＴブロック５０で計算された初期位相Φｍｎは、周波数推定／ピーク検出ブロック６０に供給される。周波数推定／ピーク検出ブロック６０は、入力される初期位相Φｍｎに基づいて、少なくともフリッカ成分（光源）の周波数、換言すればフリッカ成分の周期を推定し、さらに、フリッカ成分のピークのタイミング（以下、適宜、ピーク位置とも称する）を検出する。例えば、周波数推定／ピーク検出ブロック６０は、フレームレートに基づく時間差と初期位相Φｍｎの位相差とからフリッカ成分の周波数を推定する。さらに、周波数推定／ピーク検出ブロック６０は、例えば最初のフレームにおける初期位相Φｍｎと当該初期位相Φｍｎに対応付けられたカウンタとからフリッカ成分のピークおよびボトムのタイミングを検出する。

【0052】

例えば、初期位相Φｍｎが６０度であれば、正弦波で近似できるフリッカ成分のピーク（例えば９０度）がでるタイミングをカウンタの時間間隔を使用して求めることが可能である。周波数推定／ピーク検出ブロック６０により得られた情報がシステムコントローラ１４に通知される。なお、フリッカ成分のピーク（フリッカ成分の山）とは、上述したように、フリッカ明滅の最明部である。また、フリッカ成分のボトム（フリッカ成分の谷）とは、フリッカ明滅の最暗部である。

【0053】

このように、ＣＭＯＳ撮像素子１２を用いた撮像結果（撮像部を介して得られる撮影画像）に基づいてフリッカ成分の特徴（フリッカ成分の周期やピークのタイミング等）を検出することができる。このため、専用のセンサを設ける必要がないので、部品点数の増加によるコストの増加を防止できる。また、撮像装置の小型化が可能となる。但し、本実施形態において、専用の測光センサが設けられてもよい。なお、フリッカ成分の特徴を求める処理は、上述した方法に限定されるものではなく、公知の方法を適用することができる。

【0054】

「フリッカレス撮影処理について」
次に、フリッカレス撮影処理について説明する。フリッカレス撮影処理は、例えば、フリッカレス撮影モードが撮像装置１００に設定されている場合に実行される処理である。

【0055】

上述したフリッカ成分を検出、低減する処理では、複数フレーム（例えば、３フレーム）の画像を使用してその平均から背景成分を抽出している。このため、フレームレートと蛍光灯等のフリッカ光源の明滅周期とが一致する場合には、背景とフリッカとの分離が困難となりフリッカの検出が困難となる。また、複数フレームの画像を使用するので、静止画像をフリッカレス撮影する場合には上述した処理をそのまま適用することが困難である。そこで、静止画像をフリッカレス撮影する場合には、以下に説明するフリッカレス撮影処理が実行される。

【0056】

始めに、フレームレートを通常時のフレームレートより高速に切り替える処理が実行される。切り替え後のフレームレートは、例えば、光源の周波数のＮ倍（但し、フリッカ成分の周波数（１００Ｈｚまたは１２０Ｈｚ）より大きい周波数）であり、フレーム内においてフリッカ成分の１周期があることが好ましく、一例として、Ｎ＝４、すなわち２００ｆｐｓ（光源の周波数５０Ｈｚの場合）または２４０ｆｐｓ（光源の周波数６０Ｈｚの場合）に設定される。

【0057】

なお、フリッカ光源の周波数は、ユーザの設定から得てもよく、ライブビュー表示における上述したフリッカ低減処理の結果に基づいて、自動で設定されてもよい。すなわち、フリッカ低減処理において、フレームレートが６０ｆｐｓの場合にフリッカ成分が検出されない場合には、光源の周波数が５０Ｈｚと判別され、フレームレートが５０ｆｐｓの場合にフリッカ成分が検出されない場合には、光源の周波数が６０Ｈｚと判別されてその結果がフリッカレス撮影処理に使用されてもよい。また、フリッカレス撮影処理でフリッカの有無が検出されてもよい。

【0058】

フレームレートを切り替えるタイミングは適宜、設定可能であるが、好ましくは、本撮影の直前であり、例えば、本撮影の準備操作であるシャッタボタンを半押しする操作がなされたときにフレームレートが切り替えられる。より具体的には、シャッタボタンを半押しする操作に応じた操作信号がインタフェース１９を介してシステムコントローラ１４に供給される。システムコントローラ１４は、タイミングジェネレータ１６を制御してＣＭＯＳ撮像素子１２を駆動し、フレームレートを高速化する。

【0059】

フレームレートが高速化するとフリッカ成分の繰り返し周期が変化する。例えば、フレームレートが２００ｆｐｓの場合には、フリッカ成分の繰り返し周期は２０フレームとなり、フレームレートが２４０ｆｐｓの場合には、フリッカ成分の繰り返し周期は１２フレームとなる。

【0060】

高速化されたフレームレートに基づいて、画像データが得られる。得られた画像データがアナログ信号処理部１３による処理を経てデジタル信号処理部２０に入力される。高フレームレートで得られる画像データに対して、フリッカ検出部２５により上述したフリッカ低減処理が同様に行われる。さらに、この処理では、ＤＦＴブロック５０からの出力である初期位相Φｍｎが、フリッカ検出部２５の周波数推定／ピーク検出ブロック６０に入力される。

【0061】

周波数推定／ピーク検出ブロック６０は、入力される初期位相Φｍｎに基づいて、少なくともフリッカ成分（光源）の周波数（周期）を推定し、さらに、フリッカ成分のピークタイミングを検出する。

【0062】

図５は、上述した処理をまとめた図である。通常のフレームレート（例えば、５０または６０ｆｐｓ）で取り込まれた画像に対してフリッカ低減処理が施され、フリッカ低減処理が施された画像がスルー画像として表示部１８ｂに表示される。そして、シャッタボタンが半押しされると、フレームレートが高速に切り替えられ（例えば、２００または２４０ｆｐｓ）、フリッカ低減処理とともに、周波数推定およびピーク検出処理が行われる。そして、フリッカ低減処理が施された画像が表示部１８ｂに表示される。なお、表示系統におけるデータの帯域を減らす観点や、消費電力等の観点から表示部１８ｂには、得られた画像データの一部を間引いた画像データに基づく表示がなされる。そして、シャッタボタンが深押しされると、本撮影がなされる。

【0063】

図６は、シャッタボタンに対する深押し操作に応じてなされる撮影における処理を説明するための図である。上述したように、シャッタボタンが半押しされる操作がなされると、フリッカ成分の周波数が推定され、ピークのタイミングを検出する処理が行われる。この処理は、半押し操作がなされている間、繰り返し実行される。なお、半押し操作がなされる際に、フリッカレス撮影を行うモードが設定されているか（モードがオンに設定されているか）否かが判断される。ここで、フリッカレス撮影を行うモードが設定されている場合には、以下に説明する処理が実行される。

【0064】

図６において、例えば、タイミングＴＡでシャッタボタンに対する深押し操作がなされたとする。深押し操作に応じて、フリッカ検出部２５がシステムコントローラ１４（シャッタ制御部１４ｃ）に対して、フリッカ成分の次のピークのタイミング（本例ではＴＢ）を通知する。なお、ここでのピークのタイミングは、例えば、深押し操作がなされる直前で得られたタイミングである。

【0065】

システムコントローラ１４は、フリッカ成分のピークのタイミングに露光タイミングを同期させた撮影を実行する。なお、図６に示す例は、フリッカ成分がピークとなる直近のタイミングはタイミングＴＢである。本例では、静止画撮影に係る処理の遅延等を考慮して、タイミングＴＢからフリッカ成分の周期倍数分、時間的に後のタイミング（例えば、タイミングＴＣ）に露光タイミングを同期させている。但し、処理的に間に合うのであればタイミングＴＢに露光タイミングを同期させても構わない。

【0066】

フリッカ成分のピークのタイミングに露光タイミングを同期させた撮影とは、例えば、露光時間内にフリッカ成分のピークが含まれる撮影であり、より具体的には、露光時間の中心および幕速の中心が、フリッカ成分のピークと一致または略一致するタイミングとすることである。略一致するとは、タイミングのずれが所定の誤差の範囲内であることを意味する。これにより図６中、露光量を示す斜線を付した四角形の重心（露光重心）がフリッカ成分のピークと一致または略一致することになる。フリッカ成分のピークに露光タイミングが常に同期するため、フリッカ成分により画像の画質が低下することを防止したフリッカレス撮影を実現することができる。

【0067】

「処理の流れ」
図７は、フリッカレス撮影における処理の流れの一例を示すフローチャートである。ステップＳＴ１１では、フリッカレス撮影を行うモード（フリッカレス撮影モード）が設定されているか否かがシステムコントローラ１４により判断される。ここで、フリッカレス撮影モードが設定されていないと判断された場合には、以降の処理では通常撮影（ここでは、フリッカレス撮影処理がなされない撮影を意味する）に係る処理が実行される。ステップＳＴ１１において、フリッカレス撮影モードが設定されていると判断された場合には、処理がステップＳＴ１２に進む。

【0068】

ステップＳＴ１２では、操作部１８ａに含まれるシャッタボタンが半押しされたか否かが判断される。半押しされていない場合には、通常のフレームレート（例えば、５０または６０ｆｐｓ）で取り込まれた画像に対してフリッカ低減処理が行われ、フリッカ低減処理が実行された画像がスルー画像として表示部１８ｂに表示される。なお、フリッカ低減処理を実行する際に、屋外での撮影等のフリッカが生じずフリッカ成分が検出されない場合には、フリッカ低減処理は実行されない。シャッタボタンが半押しされた場合には、処理がステップＳＴ１３に進む。

【0069】

ステップＳＴ１３では、シャッタボタンの半押し操作に応じてフリッカレス撮影処理が実行される。具体的には、ＣＭＯＳ撮像素子１２を高フレームレート（例えば２００または２４０ｆｐｓ）で駆動し、得られた画像データを使用してフリッカ成分の周波数を推定し、フリッカ成分のピークがくるタイミングを検出する処理が実行される。なお、フリッカ低減処理においてフリッカ成分の周波数が推定されている場合には、フリッカ成分のピークのタイミングを検出する処理のみが実行されてもよい。得られたタイミング等のデータがシステムコントローラ１４に対して通知される。以上の処理は、例えば、半押し操作が継続されている間、継続される。そして、処理がステップＳＴ１４に進む。

【0070】

ステップＳＴ１４では、フリッカが発生するフリッカ環境下でシャッタボタンの深押し操作がなされたか否かが判断される。この判断でフリッカが発生していない環境下でシャッタボタンの深押し操作がなされた場合には、処理がステップＳＴ１５に進む。ステップＳＴ１５では、フリッカレス撮影処理が行われない静止画撮影処理が実行される。一方、フリッカが発生している環境下でシャッタボタンの深押し操作がなされた場合には、処理がステップＳＴ１６に進む。

【0071】

ステップＳＴ１６では、本撮影の一つであるフリッカレス撮影が行われる。すなわち、ステップＳＴ１３の処理で得られたフリッカ成分のピークに露光タイミングを同期させた撮影が行われる。これにより、フリッカ成分による静止画の画質の低下を防止した撮影を行うことができる。なお、後述するように、フリッカレス撮影における露光タイミングを同期させるタイミングは、場合によってはフリッカ成分のボトムとなり得る。

【0072】

「画像の露光時間とフリッカ光源の電源周期との関係」
ところで、画像の露光時間とフリッカ光源の周期との関係によっては、フリッカ光源の明滅が反転して識別され得る。この点について、説明する。図８および図９は、フリッカ成分の検出時（検波時）における画像の露光時間と、フリッカ光源の周期（電源周期）との関係を説明するための図である。

【0073】

図８は、露光時間がフリッカ光源の周期より短い場合の例を示している。図８に示す例では、フリッカ光源の周波数を５０Ｈｚ（周期としては１／１００秒）としている。図示の通り、フリッカ波形のボトムでの露光（ＣＭＯＳ撮像素子１２のライン０での蓄積タイミング）では最も暗くなり、所定時間経過後の露光（ＣＭＯＳ撮像素子１２のラインＭでの蓄積タイミング）ではやや明るくなり、フリッカ波形のピークでの露光（ＣＭＯＳ撮像素子１２のラインＮでの蓄積タイミング）では最も明るくなる。すなわち、露光時間がフリッカ光源の周期より短い場合には、フリッカ光源のピーク位置と識別された箇所が画面内の最も明るい部分に対応することになる。

【0074】

図９は、露光時間がフリッカ光源の周期より長い場合の例を示している。図９に示す例においても、フリッカ光源の周波数を５０Ｈｚ（周期としては１／１００秒）としている。また、露光時間は、フリッカ光源の周期よりやや長い程度の時間としている。図示の通り、フリッカ波形のピークを中心とする露光（ＣＭＯＳ撮像素子１２のライン０での蓄積タイミング）では最も暗くなり、所定時間経過後の露光（ＣＭＯＳ撮像素子１２のラインＰでの蓄積タイミング）ではやや明るくなり、フリッカ波形のボトムを中心とする露光（ＣＭＯＳ撮像素子１２のラインＱでの蓄積タイミング）では最も明るくなる。すなわち、露光時間がフリッカ光源の周期より長い場合には、画像に現れた明滅のピーク位置（センサ部が認識する見かけ上のピーク位置）が実際の光源明滅の最暗部に対応することになる。このように、画像の露光時間がフリッカ光源の周期を跨ぐ度に、識別されるフリッカ成分の明暗の特性（以下、適宜、明暗の特性または単に特性と略称する）が反転する。

【0075】

図１０は、上述した説明を表として示した図である。シャッタスピードが１／１００秒より高速である場合、換言すれば、露光時間内に１周期に相当するフリッカ成分（本例では１／１００秒のフリッカ波形）を含まない（０個）場合には特性は反転しない。シャッタスピードが１／１００秒より遅く２／１００秒より高速である場合、換言すれば、露光時間内に１周期に相当するフリッカ成分を１個含む場合には特性は反転する。シャッタスピードが２／１００秒より遅く３／１００秒より高速である場合、換言すれば、露光時間内に１周期に相当するフリッカ成分を２個含む場合には特性は反転しない。

【0076】

シャッタスピードが３／１００秒より遅く４／１００秒より高速である場合、換言すれば、露光時間内に１周期に相当するフリッカ成分を３個含む場合には特性は反転する。シャッタスピードが４／１００秒より遅く５／１００秒より高速である場合、換言すれば、露光時間内に１周期に相当するフリッカ成分を４個含む場合には特性は反転しない。シャッタスピードが５／１００秒より遅く６／１００秒より高速である場合、換言すれば、露光時間内に１周期に相当するフリッカ成分を５個含む場合には特性は反転する。このように、光源の周期を跨ぐ度に特性が反転する若しくは反転しないことになる。なお、上述した露光時間内に含まれる１周期に相当するフリッカ成分の個数は、例えば、周期性のあるフリッカ波形の所定位置の谷に露光時間の始期を一致させた場合に、当該露光時間内に含まれる１周期に相当するフリッカ成分の個数により規定される。

【0077】

以上、説明した事項を数式により示すと下記の式（１）、（２）になる。下記式（１）は、フリッカ成分の検出時における露光時間内に、１周期に相当するフリッカ成分（波形）が偶数個含まれる場合であり、下記式（２）は、フリッカ成分の検出時における露光時間内に、１周期に相当するフリッカ成分（波形）が奇数個含まれる場合を数式化したものである。

【0078】

２ｍ×光源周期＜フリッカ成分の検出時における露光時間＜（２ｍ＋１）×光源周期
・・式（１）
（但し、ｍは整数であり、光源周期は、例えば、１／１００または１／１２０である。）

【0079】

（２ｍ＋１）×光源周期＜フリッカ成分の検出時における露光時間＜２（ｍ＋１）×光源周期
・・式（２）
（但し、ｍは整数であり、光源周期は、例えば、１／１００または１／１２０である。）

【0080】

上述した式（２）の場合には、明暗の特性が反転するので、フリッカ検出部２５の周波数推定／ピーク検出ブロック６０は、検出したフリッカ成分の位相を反転させて出力する。位相を反転させて出力するとは、検出したフリッカ光源のピーク位置をΠ［ｒａｄ］ずらして出力する。

【0081】

図１１は、フリッカ成分の検出時における上述した処理をまとめた図である。ＣＭＯＳ撮像素子１２から出力された画像に対して適宜な信号処理が施された後、当該画像がフリッカ検出部２５に入力される。フリッカ検出部２５は、入力画像の検波値から入力画像に含まれるフリッカ画像のピーク位置を算出する。ピーク位置の算出例については上述しているので、重複した説明を省略する。フリッカ検出部２５の周波数推定／ピーク検出ブロック６０は、ＣＭＯＳ撮像素子１２の露光時間が式（１）の場合には、検出したフリッカ成分のピーク位置をシステムコントローラ１４に出力する。また、フリッカ検出部２５の周波数推定／ピーク検出ブロック６０は、ＣＭＯＳ撮像素子１２の露光時間が式（２）の場合には、検出したフリッカ成分の位相を反転させるピーク反転処理を行ってシステムコントローラ１４に出力する。これにより、システムコントローラ１４には、フリッカ光源の正しいピーク位置が記憶される。

【0082】

なお、フリッカ成分の検出時におけるＣＭＯＳ撮像素子１２の露光時間は、例えば、フリッカ成分の検出に適した時間となるようにシステムコントローラ１４の制御により最適化されている。システムコントローラ１４がＣＭＯＳ撮像素子１２の露光時間をフリッカ検出部２５に通知することにより、フリッカ検出部２５は、フリッカ成分の検出時における露光時間を得ることができる。フリッカ検出部２５が、フリッカ成分の検出時における露光時間を記憶していてもよい。フリッカ成分の周期に関しては、フリッカ成分の周波数に基づいて、周波数推定／ピーク検出ブロック６０が判別することができる。

【0083】

なお、露光時間がフリッカ光源の周期と一致する場合には、フリッカ成分による画質の影響が低減できることが知られているので、その場合は、上述した明暗の特性の反転を考慮する必要がなく、上述した処理を行う必要はない。

【0084】

ところで、フリッカ成分の明暗の特性が反転して識別され得る現象は、フリッカ成分の検出時だけでなく、本撮影においても生じ得るため、本撮影のタイミングも適切に制御する必要がある。下記の式（３）および式（４）は、フリッカ成分の検出時における露光時間が、本撮影時における露光時間となる他は、式（１）および式（２）と同様のことを示している。

【0085】

２ｍ×光源周期＜本撮影における露光時間＜（２ｍ＋１）×光源周期
・・式（３）
（但し、ｍは整数であり、光源周期は、例えば、１／１００または１／１２０である。）

【0086】

（２ｍ＋１）×光源周期＜本撮影における露光時間＜２（ｍ＋１）×光源周期
・・式（４）
（但し、ｍは整数であり、光源周期は、例えば、１／１００または１／１２０である。）

【0087】

式（３）の場合には、識別されるフリッカ成分のピーク位置が反転することがないので、周波数推定／ピーク検出ブロック６０から供給されるフリッカ成分のピーク位置で本撮影がなされるように、システムコントローラ１４は、撮影のタイミングを制御する。例えば、図６を参照して説明したタイミングで本撮影がなされる。

【0088】

式（４）の場合には、識別されるフリッカ成分のピーク位置が反転するので、本撮影のタイミングをピーク位置から１８０度ずらす。図１２を参照して、具体的に説明する。図１２において、例えば、タイミングＴａでシャッタボタンに対する深押し操作がなされたとする。深押し操作に応じて、フリッカ検出部２５がフリッカ成分のボトムのタイミングを識別する。例えば、フリッカ検出部２５の周波数推定／ピーク検出ブロック６０が、フリッカ成分の初期位相に基づいて、フリッカ成分のボトムのタイミングを識別する。フリッカ検出部２５は、フリッカ成分のボトムのタイミングをシステムコントローラ１４に通知する。

【0089】

システムコントローラ１４は、フリッカ成分のボトムのタイミング（本例では、タイミングＴｂ）に露光タイミングを同期させた撮影を実行する。なお、図１２に示す例では、静止画撮影に係る処理の遅延等を考慮して、タイミングＴｂからフリッカ成分の周期倍数分、時間的に後のタイミング（例えば、タイミングＴｃ）に露光タイミングを同期させている。但し、処理的に間に合うのであればタイミングＴｂに露光タイミングを同期させても構わない。

【0090】

フリッカ成分のボトムのタイミングに露光タイミングを同期させた撮影とは、例えば、露光時間内にフリッカ成分のボトムが含まれる撮影であり、より具体的には、露光時間の中心および幕速の中心が、フリッカ成分のボトムと一致または略一致するタイミングとすることである。略一致するとは、タイミングのずれが所定の誤差の範囲内であることを意味する。これにより図１２中、露光量を示す斜線を付した四角形の重心（露光重心）がフリッカ成分のボトムと一致または略一致することになる。実際には、フリッカ成分のボトムがフリッカ光源の最も明るい箇所に対応することになる。すなわち、式（４）の場合には、フリッカ成分のボトムに露光タイミングを同期させることにより、フリッカレス撮影を実現することができる。

【0091】

図１３は、本撮影時における上述した処理をまとめた図である。フリッカ検出部２５からシステムコントローラ１４に対して、フリッカ光源の正しいピーク位置が供給される。システムコントローラ１４は、フリッカ検出部２５で検出されたフリッカ成分の周期（周波数の逆数）と、本撮影時における露光時間（シャッタスピード）とから、露光時間内に含まれる１周期分のフリッカ成分が偶数個または奇数個含まれているか、すなわち、上述した式（３）の場合または式（４）の場合であるかを判別する。

【0092】

式（３）の場合には、フリッカ成分の位相が反転することがないので、システムコントローラ１４は、フリッカ検出部２５で検出されたフリッカ成分のピーク位置に露光タイミングを同期させる制御を行う。

【0093】

式（４）の場合には、フリッカ成分の位相が反転するので、システムコントローラ１４は、フリッカ成分のボトム位置に露光タイミングを同期させる制御を行う。これにより、結果として、フリッカ光源の最も明るいタイミングで撮影を行うことができる。

【0094】

図１４は、検出時におけるフリッカ成分のピーク位置の反転の有無と、本撮影のタイミングを同期させるタイミングとの関係をパターン化して示し、各パターンにおける処理を示した図である。パターン１、２は、検出時においてフリッカ成分の位相が反転しない（上述した式（１）に相当する）パターンである。パターン１、２では、フリッカ検出部２５は、検出したフリッカ成分の位相をそのまま出力する。パターン１の場合は、本撮影時におけるフリッカ成分の位相が反転しない（上述した式（３）に相当する）パターンであるので、システムコントローラ１４は、フリッカ検出部２５から供給されたフリッカ成分のピーク位置に露光タイミングを同期させた本撮影を行う。パターン２の場合は、本撮影時におけるフリッカ成分の位相が反転する（上述した式（４）に相当する）パターンであるので、システムコントローラ１４は、フリッカ検出部２５から供給されたフリッカ成分のボトム位置に露光タイミングを同期させた本撮影を行う。

【0095】

パターン３、４は、検出時においてフリッカ成分の位相が反転する（上述した式（２）に相当する）パターンである。パターン３、４では、フリッカ検出部２５は、検出したフリッカ成分の位相を反転させて出力する。パターン３の場合は、本撮影時におけるフリッカ成分の位相が反転しない（上述した式（３）に相当する）パターンであるので、システムコントローラ１４は、フリッカ検出部２５から供給されたフリッカ成分のピーク位置に露光タイミングを同期させた本撮影を行う。パターン４の場合は、本撮影時におけるフリッカ成分の位相が反転する（上述した式（４）に相当する）パターンであるので、システムコントローラ１４は、フリッカ検出部２５から供給されたフリッカ成分のボトム位置に露光タイミングを同期させた本撮影を行う。以上の処理により、いずれのパターンにおいてもフリッカ光源の最も明るいタイミングでの撮影が可能となり、上述したフリッカレス撮影を実現することができる。

【0096】

「露光時間の調整処理について」
上述したフリッカ成分の特性が反転する現象は、検出時および本撮影時における露光時間を調整することによって回避することができる。以下、この方法について説明する。

【0097】

上述した式（１）〜（４）を例えば、下記のようにグループ化する。
グループ１：１周期に相当するフリッカ成分が露光時間内に偶数個含まれる（式（１）、式（３）に相当する）
グループ２：１周期に相当するフリッカ成分が露光時間内に奇数個含まれる（式（２）、式（４）に相当する）
そして、システムコントローラ１４は、検出時の露光時間および本撮影時における露光時間が同一となるように、若しくは、同一のグループとなるように露光時間を調整する。なお、露光時間を調整する処理では、式（２）の場合でも、フリッカ検出部２５は、フリッカ成分のピーク位置を補正（反転）せずにそのまま出力する。

【0098】

グループ１の場合には、検出時においてフリッカ成分の位相は反転せず、且つ、本撮影時においてもフリッカ成分の位相は反転しない。したがって、上述したパターン１の処理と同様に、フリッカ検出部２５から出力されるフリッカ成分のピーク位置に露光タイミングを同期させた本撮影がなされることで、フリッカ光源の最も明るいタイミングで撮影を行うことができる。

【0099】

グループ２の場合には、検出時においてフリッカ成分の位相は反転し、且つ、本撮影時においてもフリッカ成分の位相が反転する。この場合には、上述したパターン４の処理と同様の処理が行われる。フリッカ検出部２５の出力は補正されないので、フリッカ検出部２５から出力されるフリッカ成分の見かけ上のピーク位置はフリッカ光源の最も暗い箇所に対応するものの、本撮影ではフリッカ成分の見かけ上のボトム位置、すなわちフリッカ光源の最も明るい箇所に露光タイミングを同期させた制御が行われる。これにより、フリッカ光源の最も明るいタイミングで本撮影を行うことができる。以上、説明したように、フリッカ成分の検出時における露光時間および本撮影時における露光時間を調整することにより、フリッカ成分の明暗の特性が反転する事象に対応することができる。

【0100】

なお、調整する露光時間は、フリッカ成分の検出時における露光時間でもよいし、本撮影における露光時間でもよいし、両方の露光時間でもよい。モードの設定により本撮影時における露光時間を調整することができない場合には、露光時間を調整する処理を行わずに、上述したフリッカ成分の位相を適宜、反転させる処理を行うようにしてもよい。

【0101】

＜３．変形例＞
なお、本開示は、以下のような構成も取ることができる。
（１）
画像に含まれる光源のフリッカ成分を検出するフリッカ検出部と、
前記フリッカ検出部による検出結果に応じて、撮像のタイミングを制御する制御部と
を有し、
前記制御部は、前記検出されたフリッカ成分のピークまたはボトムのタイミングに応じて、前記撮像のタイミングを制御する
撮像制御装置。
（２）
前記制御部は、前記フリッカ成分のピークまたはボトムのタイミングに加え前記撮像におけるセンサ部の露光時間に応じて、前記撮像のタイミングを制御する
（１）に記載の撮像制御装置。
（３）
前記制御部は、
前記センサ部の露光時間が前記フリッカ成分の周期の整数倍と一致せず、且つ、前記露光時間内に１周期に相当する前記フリッカ成分が奇数個含まれる場合に、前記検出されたフリッカ成分のボトムで前記撮像がなされるように制御し、
前記センサ部の露光時間が前記フリッカ成分の周期の整数倍と一致せず、且つ、前記露光時間内に１周期に相当する前記フリッカ成分が偶数個含まれる場合に、前記検出されたフリッカ成分のピークで前記撮像がなされるように制御する
（２）に記載の撮像制御装置。
（４）
前記制御部は、設定されたモードに基づいて前記センサ部の露光時間を判別する
（２）又は（３）に記載の撮像制御装置。
（５）
前記センサ部の露光時間内に前記フリッカ成分のピークまたはボトムが含まれる
（２）〜（４）の何れかに記載の撮像制御装置。
（６）
前記撮像のタイミングは、露光のタイミングである
（１）〜（５）の何れかに記載の撮像制御装置。
（７）
前記センサ部が撮像素子である
（１）〜（６）の何れかに記載の撮像制御装置。
（８）
撮像部を有する
（１）〜（７）の何れかに記載の撮像制御装置。
（９）
画像に含まれる光源のフリッカ成分を検出するフリッカ検出部を有し、
前記フリッカ検出部は、前記検出時におけるセンサ部の露光時間に応じて、検出したフリッカ成分の位相を反転させた情報を出力する
撮像制御装置。
（１０）
前記フリッカ検出部は、
前記センサ部の露光時間が前記フリッカ成分の周期の整数倍と一致せず、且つ、前記露光時間内に１周期の前記フリッカ成分が奇数個含まれる場合に、前記検出したフリッカ成分の位相を反転させた情報を出力し、
前記センサ部の露光時間が前記フリッカ成分の周期の整数倍と一致せず、且つ、前記露光時間内に１周期の前記フリッカ成分が偶数個含まれる場合に、前記検出したフリッカ成分の位相をそのまま出力する
（９）に記載の撮像制御装置。
（１１）
前記センサ部が撮像素子である
（９）又は（１０）に記載の撮像制御装置。
（１２）
フリッカ成分の検出時における第１センサ部の第１露光時間と撮像時における第２センサ部の第２露光時間とを制御する制御部を有し、
前記制御部は、１周期に相当する前記フリッカ成分が、第１露光時間内および前記第２露光時間内のそれぞれに、奇数個または偶数個含まれるように、且つ、前記フリッカ成分の周期の整数倍でないように、前記第１露光時間および前記第２露光時間の少なくとも一方を調整する
撮像制御装置。
（１３）
前記制御部は、前記第１露光時間内に１周期に相当する前記フリッカ成分が奇数個含まれる場合には、前記第２露光時間内に１周期に相当する前記フリッカ成分が奇数個含まれるように当該第２露光時間を調整し、前記第１露光時間内に１周期に相当する前記フリッカ成分が偶数個含まれる場合には、前記第２露光時間内に１周期に相当する前記フリッカ成分が偶数個含まれるように当該第２露光時間を調整する
（１２）に記載の撮像制御装置。
（１４）
前記フリッカ成分を検出するフリッカ検出部を有し、
前記フリッカ検出部は、検出したフリッカ成分の情報をそのまま出力する
（１３）に記載の撮像制御装置。
（１５）
前記第１センサ部と前記第２センサ部とが同一の撮像素子である
（１２）〜（１４）の何れかに記載の撮像制御装置。
（１６）
フリッカ検出部が、画像に含まれる光源のフリッカ成分を検出し、
制御部が、前記フリッカ成分の検出結果に応じて、撮像のタイミングを制御し、
前記制御部が、前記検出されたフリッカ成分のピークまたはボトムのタイミングに応じて、前記撮像のタイミングを制御する
撮像制御方法。
（１７）
フリッカ検出部が、画像に含まれる光源のフリッカ成分を検出し、前記検出時におけるセンサ部の露光時間に応じて、検出したフリッカ成分の位相を反転させた情報を出力する
撮像制御方法。
（１８）
制御部が、フリッカ成分の検出時における第１センサ部の第１露光時間と撮像時における第２センサ部の第２露光時間とを制御し、
前記制御部が、１周期に相当する前記フリッカ成分が、第１露光時間内および前記第２露光時間内のそれぞれに、奇数個または偶数個含まれるように、且つ、前記フリッカ成分の周期の整数倍でないように、前記第１露光時間および前記第２露光時間の少なくとも一方を調整する
撮像制御方法。

【0102】

上述した実施形態では、画像に含まれるフリッカ成分を効果的に検出するためにフレームレートを高速化したが、高速化しなくてもよい。但し、フレームレートを高速化することにより、高フレームレートに基づく画像に基づく十分なサンプリング数によりフリッカ成分の周波数等が推定されるので、処理結果の精度を向上させることができる。

【0103】

なお、フレームレートを高速化した結果シャッタスピードの範囲が制限される。シャッタスピードの範囲が制限されることにより、フリッカ成分の検出時において、フリッカ成分のピークを反転させる処理を省略することが可能となる。但し、本撮影時のシャッタスピードがフリッカ成分の１周期を跨ぐ場合には、上述したピーク反転処理が行われる。

【0104】

本撮影時における露光時間は、撮像装置１００に設定されたモードに基づいて判別されてもよい。例えば、マニュアルモードの場合には、ユーザによって設定されたシャッタスピードが露光時間となる。また、オートモードの場合には、撮像装置１００（例えば、システムコントローラ１４）により設定されたシャッタスピードが露光時間となる。

【0105】

上述した実施形態では、準備操作の例として半押し操作を挙げたか、準備操作は、一定期間以上、撮像装置１００を停止または略停止させる操作等、他の操作でもよい。

【0106】

また、上述した実施形態は、フリッカ検出部２５を含むデジタル信号処理部２０をハードウェアによって構成する場合であるが、フリッカ検出部２５またはデジタル信号処理部２０の一部または全部をソフトウェアによって構成してもよい。

【0107】

上述した実施形態では、フリッカが発生する光源として蛍光灯を例にして説明したが、蛍光灯に限定されるものではなく、周期性をもって明滅するものであれば他の光源（例えばＬＥＤ）にも本開示を適用することができる。この場合、ＬＥＤの周波数を特定する処理を前段階として行ってもよい。

【0108】

さらに、上述した実施形態は、ＣＭＯＳ撮像素子以外のＸＹアドレス走査型の撮像素子やローリングシャッタが適用される撮像素子を使用した撮像装置にも適用可能である。

【0109】

上述した実施形態において、フリッカレス撮影に代えて、またはこれと共に、フリッカを低減するための公知の信号処理や他の処理が行われてもよい。

【0110】

撮像制御装置の構成は、例えば、実施形態のように、システムコントローラ１４およびデジタル信号処理部２０を含む構成でもよいし、これらの構成に撮像部やその他の構成が含まれたものが撮像制御装置でもよいし、撮像装置の構成そのものが撮像制御装置であってもよい。

【0111】

上述した実施形態における撮像装置は、医療用の機器やスマートフォン、コンピュータ装置、ゲーム機器、ロボット、防犯カメラ、移動体（電車、飛行機、ヘリコプター、小型飛行体等）に組み込まれていてもよい。

【0112】

以上、本開示の実施形態について具体的に説明したが、上述の各実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。例えば、上述の実施形態において挙げた構成、方法、工程、形状、材料および数値などはあくまでも例に過ぎず、必要に応じてこれと異なる構成、方法、工程、形状、材料および数値などを用いてもよい。上述した実施形態および変形例を実現するための構成が適宜、追加されてもよい。また、装置に限らず、方法、プログラム、プログラムが記録された記録媒体等、任意の形態によって本開示を実現することができる。

【符号の説明】

【0113】

１００・・・撮像装置
１１・・・撮像光学系
１２・・・ＣＭＯＳ撮像素子
１４・・・システムコントローラ
２０・・・デジタル信号処理部
２５，２５Ｒ、２５Ｇ，２５Ｂ・・・フリッカ検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】