特許 7645701 電子機器及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-06

(45)【発行日】2025-03-14

(54)【発明の名称】電子機器及びその制御方法

(51)【国際特許分類】

   H04N 23/745 20230101AFI20250307BHJP

   H04N 23/667 20230101ALI20250307BHJP

   H04N 23/65 20230101ALI20250307BHJP

【ＦＩ】

H04N23/745

H04N23/667

H04N23/65

【請求項の数】 16

(21)【出願番号】P 2021076559

(22)【出願日】2021-04-28

(65)【公開番号】P2022170437

(43)【公開日】2022-11-10

【審査請求日】2024-04-26

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】小林 尊志

【審査官】堀井 康司

(56)【参考文献】

【文献】特開２０１５－０９２６６０（ＪＰ，Ａ）

【文献】特開２０１８－００７２１０（ＪＰ，Ａ）

【文献】特開２０１３－１２１００５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

(57)【特許請求の範囲】

【請求項1】

複数の画素を含み、前記複数の画素を第１の領域と第２の領域とを含む複数の領域に分け、それぞれの領域に対して設定された撮影条件で駆動することが可能な撮像素子と、
前記第１の領域と前記第２の領域とを同じ撮影条件で駆動する第１の駆動と、前記第１の領域と前記第２の領域とを互いに異なる撮影条件で駆動する第２の駆動とを切り替えて制御する制御手段と、
前記撮像素子から読み出された信号に基づいて、フリッカーを検出する検出手段と、
前記検出手段が、前記第２の駆動により前記撮像素子から読み出された信号に基づいてフリッカーの検出が可能であるか否か、を判定する判定手段と、を有し、
前記判定手段により前記第２の駆動により前記撮像素子から読み出された信号に基づいてフリッカーの検出が可能であると判定された場合に、前記第２の駆動において、前記制御手段は、フリッカーの検出用の撮影条件で前記第２の領域を駆動するように制御し、前記検出手段は、前記第２の領域から読み出された検出用信号に基づいて、フリッカーを検出することを特徴とする電子機器。

【請求項2】

前記制御手段は、前記判定手段により前記第２の駆動により前記撮像素子から読み出された信号に基づいてフリッカーの検出が可能ではないと判定された場合に、前記第１の駆動を行うように制御し、
前記検出手段は、前記第１の駆動が行われた場合に、前記撮像素子から読み出された画像に基づいて、フリッカーを検出する
ことを特徴とする請求項１に記載の電子機器。

【請求項3】

前記判定手段は、前記撮像素子から読み出す画像の解像度が予め決められた閾値よりも高い場合に、前記第２の駆動により前記撮像素子から読み出された信号に基づいてフリッカーの検出が可能ではないと判定することを特徴とする請求項２に記載の電子機器。

【請求項4】

フリッカーが検出され、且つ、当該フリッカーの周期が、前記撮像素子から読み出す画像のフレームレート以下の場合に、前記制御手段は、前記撮像素子の電荷蓄積時間が前記フリッカーの周期の整数倍となるように、前記第１の領域の前記撮影条件を設定することを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。

【請求項5】

前記撮像素子から読み出された画像におけるフリッカーを補正する補正手段を更に有し、
フリッカーが検出され、且つ、当該フリッカーの周期が前記撮像素子から読み出す画像のフレームレートよりも長い場合に、前記検出手段は、前記第１の駆動で前記撮像素子から読み出された画像、または、前記第２の駆動で前記第１の領域から読み出された信号に基づいて、画像内または画像間の輝度の変化を検出し、
前記補正手段は、前記輝度の変化を補正するように設定されたゲインを前記画像にかけることを特徴とする請求項１乃至４のいずれか１項に記載の電子機器。

【請求項6】

前記制御手段は、更に、電力状態に応じて前記第１の駆動と前記第２の駆動とを切り替えることを特徴とする請求項１に記載の電子機器。

【請求項7】

前記判定手段は、前記撮像素子から読み出す画像の解像度が予め決められた閾値よりも高い場合に、前記第２の駆動により前記撮像素子から読み出された信号に基づいてフリッカーの検出が可能ではないと判定することを特徴とする請求項６に記載の電子機器。

【請求項8】

前記判定手段は、消費電力の節約を優先する省電優先設定がされた場合に、前記第２の駆動により前記撮像素子から読み出された信号に基づいてフリッカーの検出が可能ではないと判定することを特徴とする請求項６に記載の電子機器。

【請求項9】

前記制御手段は、前記第２の駆動を行う場合に、前記電力状態が、第１の状態である場合に、前記第１の状態より低い第２の状態である場合よりも、前記第２の領域を駆動する頻度を高くすることを特徴とする請求項６乃至８のいずれか１項に記載の電子機器。

【請求項10】

前記制御手段は、
外部から電力を供給されている第１の電力状態の場合に、前記第２の駆動で、前記第２の領域の駆動を第１の頻度で行うように制御し、
外部から電力を供給されておらず、電力状態が予め決められた第１の閾値より大きい第２の電力状態の場合に、前記第２の駆動で、前記第２の領域の駆動を前記第１の頻度よりも低い第２の頻度で行うように制御し、
外部から電力を供給されておらず、電力状態が前記第１の閾値以下で、前記第１の閾値よりも小さい第２の閾値より大きい第３の電力状態の場合に、前記第２の駆動で、前記第２の領域の駆動を前記第２の頻度よりも低い第３の頻度で行うように制御し、
外部から電力を供給されておらず、電力状態が前記第２の閾値以下の第４の電力状態の場合に、前記第１の駆動を行うように制御する
ことを特徴とする請求項９に記載の電子機器。

【請求項11】

前記検出手段は、
前記第１の電力状態および前記第２の電力状態の場合に、前記検出用信号に基づいてフリッカーを検出し、
前記第３の電力状態の場合に、前記検出用信号および前記第１の領域から読み出された信号に基づいてフリッカーを検出し、
前記第４の電力状態の場合に、前記第１の駆動で得られた信号に基づいてフリッカーを検出する
ことを特徴とする請求項１０に記載の電子機器。

【請求項12】

前記制御手段は、電子機器の電源投入から撮影可能となるまでの間に、前記撮像素子を前記第１の駆動または前記第２の駆動により制御することを特徴とする請求項１乃至１１のいずれか１項に記載の電子機器。

【請求項13】

前記制御手段は、静止画の撮影が指示された場合に、前記静止画の撮影を開始する前に、前記撮像素子を前記第１の駆動または前記第２の駆動により制御することを特徴とする請求項１乃至１２のいずれか１項に記載の電子機器。

【請求項14】

複数の画素を含み、前記複数の画素を第１の領域と第２の領域とを含む複数の領域に分け、それぞれの領域に対して設定された撮影条件で駆動することが可能な撮像素子を有する電子機器の制御方法であって、
制御手段が、前記第１の領域と前記第２の領域とを同じ撮影条件で駆動する第１の駆動と、前記第１の領域と前記第２の領域とを互いに異なる撮影条件で駆動する第２の駆動とを切り替えて制御する制御工程と、
検出手段が、前記撮像素子から読み出された信号に基づいて、フリッカーを検出する検出工程と、
前記第２の駆動により前記撮像素子から読み出された信号に基づいてフリッカーの検出が可能であるか否かを判定する判定工程と、を有し、
前記判定工程において、前記第２の駆動により前記撮像素子から読み出された信号に基づいてフリッカーの検出が可能であると判定された場合に、前記第２の駆動において、前記制御工程では、フリッカーの検出用の撮影条件で前記第２の領域を駆動するように制御し、前記検出工程では、前記第２の領域から読み出された検出用信号に基づいて、フリッカーを検出することを特徴とする制御方法。

【請求項15】

コンピュータを、請求項１乃至１３のいずれか１項に記載の電子機器の撮像素子を除く各手段として機能させるためのプログラム。

【請求項16】

請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を撮影することにできる電子機器及びその制御方法に関し、特にフリッカーを検出する技術に関する。

【背景技術】

【0002】

デジタルカメラや携帯電話、カムコーダー等で画像を撮影をするときに、撮影環境の光源の影響で、１つの画像内または連続して撮影された画像間で明るさが変化することがある。光源が商用電源を用いる照明の場合、商用電源の周波数の影響により、周期的に照明光がゆらぐ現象であるフリッカーが生じる。このようなフリッカーが生じる光源（以下、「フリッカー光源」と呼ぶ。）下で撮影を行うと、１つの画像内で露出ムラや色ムラが発生したり、連続して撮影した複数の画像間で露出や色温度のばらつきが発生したりする場合がある。

【0003】

電源周波数が５０Ｈｚの場合に生じるフリッカーに対しては、フリッカー光源が１００Ｈｚで明滅するため、電荷蓄積時間がＮ／１００秒（Ｎは自然数）となるように制御することで、フリッカーを補正することができる。また、電源周波数が６０Ｈｚの場合に生じるフリッカーに対しては、フリッカー光源が１２０Ｈｚで明滅するため、電荷蓄積時間がＮ／１２０秒となるように制御することで、フリッカーを補正することができる。このように、発生している周波数が５０Ｈｚなのか６０Ｈｚなのかが特定できれば、フリッカーによる画質への影響を低減することができる。

【0004】

また、従来より、連続的に撮影された画像の光量変化を分析し、発生しているフリッカーの周波数を特定する技術が知られている。特許文献１は、フリッカーを良好に検知できるように、撮像装置の駆動周期や露出条件等の撮影条件を、通常の撮影条件からフリッカー検知用の撮影条件に切り替えてフリッカー検知を行う技術を開示している。しかし、通常の撮影条件から切り替えて検知を行うため、動画撮影中のフリッカーの検知や、ライブビュー画像を表示しながらフリッカー検知を行うことができない。

【0005】

特許文献２は、ライブビュー画像を表示しながら、または動画撮影しながら、被写体に発生しているフリッカーの周波数を検出する手法を開示している。この手法では、ライブビュー表示や動作撮影に用いる第１の画素行とは別に、第２の画素行を第１の画素行とは別のタイミング及び周期で読み出し、第２の画素行の画像信号を用いて光源の明滅を分析する手法を開示している。例えば、第２の画素行のフレームレートや露光時間をフリッカー検出し易い条件に設定して、画像信号を得ることができる。

【0006】

例えば、フリッカーの周波数が１２０Ｈｚの場合、動画のフレームレートが６０ｆｐｓに設定されていると、１２０Ｈｚのフリッカーと同期してしまい、フレーム画像間では明滅の影響がフレームごとに変化しないため、第１の画素行から得られる画像信号からはフリッカーを検出できない。一方、第２の画素行は、フリッカーを良好に検出可能な条件に設定可能であるので、１００Ｈｚのフリッカーにも１２０Ｈｚのフリッカーにも同期しない、例えば９０ｆｐｓで画像信号の読み出しを行うことで、どちらの周波数のフリッカーも良好に検出することができる。

【先行技術文献】

【特許文献】

【0007】

【文献】特許第６２２５０００号公報

【文献】特開２０２０－８０５１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、近年では撮像素子の性能が向上し、高速な画像信号の読み出しが可能な撮像素子が存在する。例えば、動画撮影においては１２０ｆｐｓ以上でのスローモーション記録、ライブビュー表示においては１２０ｆｐｓや２４０ｆｐｓでの遅延の少ない滑らかな画像の撮影及び表示が可能となっている。

【0009】

このような撮像素子では、１００Ｈｚや１２０Ｈｚのフリッカー周期よりも短いフレームレートで動画を撮影する場合、動画の各フレーム画像の電荷蓄積時間をＮ／１００秒やＮ／１２０秒に設定することができない。そのため、光源の明滅によるフリッカーを電荷蓄積時間の調節により補正することができない。従って、特許文献２に示すように、第２の画素行からの画像信号の変化を分析することでフリッカーの有無及び周波数を検知することはできても、第１の画素行から得られる画像に現れるフリッカーを補正することはできなかった。

【0010】

また、特許文献２のフリッカー検出の手法は、特許文献１の手法や従来行われている手法と比較して電力消費量が大きいという問題がある。

【0011】

本発明は上記問題点を鑑みてなされたものであり、目的に応じたフリッカー検出を行うことを目的とする。

【課題を解決するための手段】

【0012】

上記目的を達成するために、本発明の電子機器は、複数の画素を含み、前記複数の画素を第１の領域と第２の領域とを含む複数の領域に分け、それぞれの領域に対して設定された撮影条件で駆動することが可能な撮像素子と、前記第１の領域と前記第２の領域とを同じ撮影条件で駆動する第１の駆動と、前記第１の領域と前記第２の領域とを互いに異なる撮影条件で駆動する第２の駆動とを切り替えて制御する制御手段と、前記撮像素子から読み出された信号に基づいて、フリッカーを検出する検出手段と、前記検出手段が、前記第２の駆動により前記撮像素子から読み出された信号に基づいてフリッカーの検出が可能であるか否か、を判定する判定手段と、を有し、前記判定手段により前記第２の駆動により前記撮像素子から読み出された信号に基づいてフリッカーの検出が可能であると判定された場合に、前記第２の駆動において、前記制御手段は、フリッカーの検出用の撮影条件で前記第２の領域を駆動するように制御し、前記検出手段は、前記第２の領域から読み出された検出用信号に基づいて、フリッカーを検出する。

【発明の効果】

【0013】

本発明によれば、目的に応じたフリッカー検出を行うことができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態におけるデジタルミラーレスカメラの概略構成を示す図。

【図2】実施形態の撮像素子における画素配列の一例を示す図。

【図3】実施形態における撮像素子の画素配置の中から、動画像及びフリッカー検出用画像の生成を説明する図。

【図4】実施形態における第２の駆動時の動画像用走査とフリッカー検出用走査のタイミング図。

【図5】実施形態における動画像からのフリッカー検出と、フリッカー検出用画像からのフリッカー検出の特徴を示す図。

【図6】実施形態においてローリングシャッター方式で撮像素子を駆動した場合のフリッカーの補正方法を示す概念図。

【図7】実施形態においてグローバルシャッター方式で撮像素子を駆動した場合の補正方法を示す概念図。

【図8】第１の実施形態におけるフリッカー検出制御及び対処方法を示すフローチャート。

【図9】第２の実施形態におけるフリッカー検出制御を示すフローチャート。

【図10】図９に示す処理をまとめた図。

【図11】変形例におけるフリッカー検出制御を示すフローチャート。

【発明を実施するための形態】

【0015】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0016】

なお、本実施形態では、デジタルミラーレスカメラを例にとって説明する。ただし、ライブビュー画像の表示や動画撮影機能を備えた電子機器であれば様々な電子機器に本発明を適用することができ、例えば、スマートフォンやカムコーダー、カメラ付きゲーム機等に適用可能である。

【0017】

図１は、本発明の実施におけるデジタルミラーレスカメラの概略構成を示す図であり、主にカメラ本体１００及び撮影レンズ２００を含む。カメラ本体１００において、１０１は赤外カットフィルタやローパスフィルタ等を含むＣＣＤ、ＣＭＯＳ等の撮像素子であり、撮影レンズ２００によって被写体の像が受光面上に結像される。撮像素子１０１は、受光した被写体の像を光電変換し、得られた電気信号に基づく画像が、ライブビューとして表示されたり、撮影画像として記録される。また、撮像素子１０１から得られた電気信号はフリッカーの検出にも使用される。なお、この電気信号を用いたフリッカーの検出方法に関しては、詳細に後述する。撮像素子１０１では、撮影設定情報として設定されるシャッター速度に従って、電荷蓄積時間を制御することができる。

【0018】

ディスプレイユニット１０２は、例えばＴＦＴ液晶パネル等で構成される。フレーミング時は撮像素子１０１で取得した画像や、各種の撮影設定情報等をリアルタイムに表示してライブビューを実現する。また、ユーザーの操作に応じて、撮影した画像を表示して、ユーザーが確認することもできる。また、タッチパネルをディスプレイユニット１０２上に配置して操作部材として使用してもよく、ディスプレイユニット１０２に表示されたアイコン等へのユーザーのタッチ操作をタッチパネルが検知することで、タッチ位置の表示に連動した機能を動作させることができる。

【0019】

ＣＰＵ１０３は、カメラ本体１００の各部を制御する。撮像素子１０１や、ディスプレイユニット１０２の制御もＣＰＵ１０３が行う。

【0020】

次に撮影レンズ２００について説明する。
２０１はフォーカスレンズを含むレンズ群であり、フォーカスレンズを駆動することでピントの調整を行うことができる。図１では１枚のレンズによりレンズ群２０１を表しているが、実際には複数枚のレンズにより構成される。２０２は絞りで、カメラ内に取り込む光量を調整する。２０３は撮影レンズ２００の各部を制御するＣＰＵであり、レンズ群２０１と絞り２０２の制御に加え、カメラ本体１００側のＣＰＵ１０３と通信を行うことで、カメラ本体１００とピント位置や絞り等の情報をやり取りすることができる。

【0021】

次に、本実施形態における撮像素子１０１の駆動方法について説明する。
図２は、撮像素子１０１の画素配列を示す図であり、一例として、ベイヤー配列の画素配列としている。また、本実施形態の撮像素子１０１は、行単位で独立に制御可能な構成を有している。そして、撮像素子１０１のすべての画素を同じ撮影条件で駆動する第１の駆動と、第１の画素行（第１の領域）と第２の画素行（第２の領域）とを異なる撮影条件で駆動する第２の駆動とを、選択的に行うことができる。第１の駆動では、従来一般的に行われている読み出し方法による駆動が可能であり、すべての画素から信号を読み出すように制御してもよいし、間引き及び／または加算読み出しにより、信号を読み出すように制御してもよい。具体的には、読み出した信号の用途、ユーザにより設定された解像度や撮影モード、出力先の規格、カメラ本体１００の電力状態等に応じて、読み出し方法を変更してもよい。

【0022】

次に、図３を参照して、第２の駆動について説明する。
図３（ａ）は、図２に示す画素配置の中から第１の画素行の信号を読み出して、記録または表示用の動画像を生成する方法の概念を示す。また、図３（ｂ）は、図２に示す画素配置の中から第２の画素行の信号を読み出して、フリッカーの検出に用いる画像（以下、「フリッカー検出用画像」（検出用信号）と呼ぶ。）を生成する方法の概念を示す。本実施形態では、画素行３行を一つの制御単位として、同じ読み出し制御を繰り返す。まず、最初の３行のうち、１行目と３行目を第１の画素行として信号を読み出し、２行目を第２の画素行として信号を読み出す。そして、次の３行のうち、４行目と６行目を第１の画素行として信号を読み出し、５行目を第２の画素行として信号を読み出す。

【0023】

このような制御を繰り返すと、第１の画素行からは、２／３間引きで信号が読み出されるので、図３（ａ）の中央に示すように、連続する２行が同じ色配置となった信号が読み出される。以下の説明では、この読み出し走査を「動画像用走査」と呼ぶ。この動画像用走査により読み出された信号を、図３（ａ）の右に示すように、垂直方向に２行の加算を行えば、垂直方向に連続する２画素分のＲ信号からＲ’信号、２画素分のＧ信号からＧ’信号、２画素分のＢ信号からＢ’信号が生成される。こうして生成されたＲ’，Ｇ’，Ｂ’信号からなる動画像は、再びベイヤー配列に戻るため、通常の画像と同様の画像処理をすることが可能となる。

【0024】

また、第２の画素行からは、１／３間引きで信号が読み出されるので、図３（ｂ）の右に示すようなベイヤー配列のフリッカー検出用画像が得られる。以下の説明では、この読み出し走査を「フリッカー検出用走査」と呼ぶ。

【0025】

なお、ここでは、Ｘ-Ｙアドレス方式の画素配置にしか言及していないが、本発明はこれに限られるものでは無い。行単位で独立に制御可能な撮像素子であれば、ＣＣＤに代表されるグローバルシャッター方式でも、ＣＭＯＳに代表されるローリングシャッター方式でも、第２の駆動を行うことは可能である。

【0026】

図４は、動画像用走査とフリッカー検出用走査を行うタイミングの一例を示す図であり、横軸は時間、縦軸は撮像素子１０１の垂直方向の位置（行）を示す。また、実線の斜線は、動画像用走査のタイミングを示し、破線の斜線は、フリッカー検出用走査のタイミングを示す。図４に示す例では、動画像の１フレーム期間の間に、まず初めに動画像用走査を１回行い、その後、フリッカー検出用走査を複数回行っている。なお、フリッカー検出用走査は必ずしも各フレームで行わなくてもよく、例えば、複数フレームおきに行ってもよい。また、各フレームでフリッカー検出走査を何回行えるかは、撮影条件や撮像素子１０１の機能等により変わるが、動画像用走査は１フレーム期間に１回行われる。また、動画像用走査を必ずしも最初に行わなくてもよく、例えば、フリッカー検出走査を行った後に行ってもよい。

【0027】

次に、フリッカー検出走査により得られるフリッカー検出用画像からのフリッカー検出方式と、従来から存在する動画像からのフリッカー検出方式の特徴について、図５の表を参照しながら説明する。

【0028】

まず、「撮影条件が画質に影響するか？」に関して、フリッカー検出用走査は、フリッカーを検出し易い、動画像用走査とは異なる露光時間等の撮影条件を用いて行うことが可能である。動画像用走査は、動画像を得るために、表示装置や記録方法の規格や、カメラの設定、ユーザの設定等に従って行わなければならないが、フリッカー検出用画像は表示も記録もされないため、フリッカー検出用走査は自由な撮影条件で行うことができる。

【0029】

次に、「５０Ｈｚ／６０Ｈｚ検出可能か？」に関しては以下の通りである。動画像では、主流な映像方式としてＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）による映像方式と、ＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）方式の映像がある。ＮＴＳＣでは、１秒当たり２９．９７フレームの伝送（≒３０ｆｐｓ）が、ＰＡＬでは１秒当たり２５フレームの伝送が規格化されており、それぞれ１２０Ｈｚ／１００Ｈｚの明滅と同期してしまう。その結果、動画像を用いたフリッカー検出の場合、１００Ｈｚ／１２０Ｈｚのどちらかの明滅は検出することができない。

【0030】

一方、フリッカー検出用走査では、上述したように撮影条件を自由に決めることができる。従って、１２０Ｈｚ／１００Ｈｚの明滅に同期しない、例えば９０ｆｐｓや１８０ｆｐｓ等で駆動することで、得られたフリッカー検出用画像を用いて、１００Ｈｚのフリッカーと、１２０Ｈｚのフリッカーのどちらでも検出することができる。

【0031】

次に補正方法について説明する。上述したように、電荷蓄積時間をフリッカー周期の整数倍にすれば、フリッカーの影響を抑えた画像を撮影できることが知られている。つまり、動画像及びフリッカー検出用画像のいずれからフリッカーを検出しても、検出されたフリッカーの周波数に応じて、動画像の電荷蓄積時間を、検出されたフリッカー周期の整数倍に設定することでフリッカーを補正することができる。

【0032】

ただし、フレームレートが高速な場合、フリッカー周期の整数倍に設定することができないことがある。例えば、動画像を１２０ｆｐｓで撮影している際に１００Ｈｚの明滅を検出した場合、１／１００秒は１２０ｆｐｓの駆動周期よりも長い時間であるため、フリッカーを補正することのできる、フリッカー周期の整数倍の電荷蓄積時間に制御することができない。これは、２００ｆｐｓや２４０ｆｐｓ等のさらに高速撮影においても同様である。このような場合には、露光時間ではなく、動画像にフリッカーの影響をキャンセルするような画像補正（ゲイン）を施すことで、フリッカーを補正することができる。なお、画像補正の仕方は、ローリングシャッター方式の画像とグローバルシャッター方式の画像とで異なる。

【0033】

図６は、ローリングシャッター方式で撮影された画像に対する、画像処理による補正方法を示す概念図である。ローリングシャッター方式では、行ごとに電荷蓄積タイミングが異なるため、行ごとに光源の明滅により、受光する光量が異なる。その結果、図６（ａ）に示すように画像の垂直方向に輝度が変動する。この輝度の変動を分析し（図６（ｂ））、垂直方向の輝度変化の逆数となるようなデジタルゲイン（図６（ｃ））を各行に乗ずる画像処理を行うことにより、フリッカーを補正することができる（図６（ｄ））。

【0034】

続いて、グローバルシャッター方式で撮影された動画像の補正方法の概念図を図７に示す。グローバルシャッター方式においては、各フレーム画像の全ラインが同じタイミングで電荷蓄積が開始・完了するため、各フレーム画像内ではフリッカーによる輝度変化はない。しかし、時間方向に連続的に撮影された複数の画像の輝度を分析すると、フレーム画像ごとに光源の明滅により受光する光量が異なるため（図７（ａ））、撮影した動画像を連続的に見た場合、フレーム画像間で輝度が変動する（図７（ｂ））。そこで、フレーム画像間の輝度の変動を分析し（図７（ｃ））、明滅の影響を打ち消すような補正ゲイン（図７（ｄ））を各フレーム画像に施してフレーム画像間の明るさを均一にする（図７（ｅ））。こうすることによって、連続的に見たときのフリッカーを補正することができる。

【0035】

ここで、フリッカー検出用画像によりフリッカーを検出した場合、ゲインにより補正することができない。これは、フリッカー検出用画像が動画像とは異なる撮影条件で撮影されているためで、フリッカー検出用画像は光源の明滅から受ける影響が動画像とは異なるためである。フリッカー検出用画像と動画像では、ローリングシャッター方式であれば縞の数や濃さが、また、グローバルシャッター方式であれば輝度変化の周期や画像に表れる振幅が異なる。そのため、フリッカー検出用画像から１００Ｈｚや１２０Ｈｚの明滅の有無を検出できても、動画像に施すゲイン（画像処理係数）を算出することはできない。

【0036】

最後に、消費電力に関しては以下の通りである。すなわち、フリッカー検出用走査の有無で比較をすると、フリッカー検出用走査を行う場合、行わない場合と比較して撮像素子１０１での消費電力は増加する。また、第１の駆動または動画用走査のみを行う場合には、従来と比較して消費電力は変わらない。そのため、フリッカー検出用走査を行う場合、フリッカー検出用走査を行わない場合に比べて、バッテリーが減少する速度が速くなったり、撮影可能枚数が減少したりすることになる。

【0037】

上述した動画像からのフリッカー検出と、フリッカー検出用画像からのフリッカー検出との特徴を鑑み、第１の実施形態では、フリッカー補正の可否に基づいて、図８に示す制御を行う。図８は、静止画ライブビューモードまたは動画モード時に、フリッカー検出及びフリッカーに対する対処を示すフローチャートである。なお、図８に示す制御は、静止画ライブビューモードや動画モードが開始されたときに開始される。

【0038】

まず、Ｓ１００において、第２の駆動が可能かどうかを判断する。図２～図４を用いて第２の駆動について説明してきたように、動画像の生成に用いない第２の画素行をフリッカー検出用画像の生成に使用する。しかし、全画素読出しのモード、例えば解像度の高い４Ｋ動画モード等では第２の画素行を確保できないため、第２の駆動を行うことができない。そのような場合は、Ｓ１０７において第１の駆動を開始し、Ｓ１０８において得られた動画像を用いてフリッカー検出を行い、Ｓ１０９でフリッカーの有無を判断する。なお、ここでは、フリッカーが実際に無い場合と、上述したようにフリッカーが有ってもフリッカーを検出できない場合の両方を含む。

【0039】

フリッカーが検出されると、Ｓ１１０に進んで、電荷蓄積時間またはゲインにより、動画像におけるフリッカーの補正を行う。一方、フリッカーが検出されなければＳ１１２に進んで、撮影を終了するかどうかを判断する。撮影を終了しない場合にはＳ１０８に戻って、次に入力された画像に対して上記処理を繰り返し、撮影を終了する場合には、処理を終了する。

【0040】

一方、Ｓ１００で第２の駆動が可能であると判断された場合は、Ｓ１０１で第２の駆動を開始する。そして、第２の駆動により取得されたフリッカー検出用画像から、Ｓ１０２においてフリッカーの検出を行い、フリッカーの有無を判断する。フリッカーが検出されなかった場合は、Ｓ１１１に進む。

【0041】

Ｓ１０２でフリッカーが検出された場合はＳ１０３に進み、フリッカーを、電荷蓄積時間を制御することにより補正可能かを判断する。電荷蓄積時間の制御により補正可能かどうかは、動画像用走査のフレームレートと、検出されたフリッカーの周波数によって決定される。例えば、動画像用走査のフレームレートが１２０ｆｐｓで、１２０Ｈｚのフリッカーを検出した場合は、電荷蓄積時間を１／１２０秒にすれば、フリッカーを補正することができる。一方で、１２０ｆｐｓで１００Ｈｚのフリッカーを検出した場合は、電荷蓄積時間を１／１００秒に設定することができないため、補正できないと判断される。つまり、フリッカー周期とフレームレートとを比較し、フリッカー周期がフレームレート以下の場合、電荷蓄積時間の制御により補正可能と判断される。Ｓ１０３でＹＥＳの場合、Ｓ１０４において、動画像用走査の電荷蓄積時間を、フリッカーを補正可能な電荷蓄積時間（フリッカー周期の整数倍）に設定し、Ｓ１１１に進む。

【0042】

一方、Ｓ１０３で電荷蓄積時間を制御してもフリッカーを補正することができないと判断された場合は、Ｓ１０５において、動画像の輝度を分析してフリッカー検出を行い、動画像に画像処理で施すゲイン値を算出する。そして、Ｓ１０６にて、算出したゲイン値を用いて画像処理により動画像のフリッカーを補正し、Ｓ１１１に進む。

【0043】

Ｓ１１１では、撮影を終了するかどうかを判断する。終了しない場合にはＳ１０２に戻って、次に入力されたフリッカー検出用画像に対してフリッカーを検出を行い、終了する場合には処理を終了する。

【0044】

上記の通り第１の実施形態によれば、撮像素子が、その一部領域からフリッカー検出用画像を取得可能な構成を有する場合に、フリッカーの補正方法に合わせてフリッカー検出方法を変更する。これにより、より多くの撮影条件下で、フリッカーの影響が少ない動画像を得ることが可能となる。

【0045】

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態における装置構成は第１の実施形態と同様であるため、説明を省略する。

【0046】

第２の実施形態では、図５を参照して説明した消費電力の観点から駆動方法を切り替える制御について、図９のフローチャートを参照して説明する。

【0047】

まずＳ２００において、第２の駆動が可能かどうかを判断する。例えば、４Ｋ動画モード等の動画像の読み出し駆動にかかわる設定の場合には、フリッカー検出用走査を行う第２の駆動を行うことができない。また、フリッカー検出用走査を伴う第２の駆動は消費電力が大きいため、第２の実施形態では、省電優先設定等の消費電力の節約を優先するカメラ設定の場合、第２の駆動を行わないものとする。

【0048】

第２の駆動を行えない場合は、Ｓ２１１に進んで第１の駆動を開始する。なお、上述したように第１の駆動では、撮像素子１０１のすべての画素を同じ撮影条件で駆動するが、すべての画素を読み出す必要は無く、必要な解像度に応じて、間引き読み出しや加算読み出しを行ってもよい。次のＳ２１２において、第１の駆動により得られた動画像を用いてフリッカー検出を行い、Ｓ２１３に進む。

【0049】

一方、第２の駆動が可能な場合は、Ｓ２０２及びＳ２０３において、カメラの電力状態をチェックする。電源ケーブルやＵＳＢケーブル等を介して、外部から電力供給がある状態であれば（Ｓ２０２でＹＥＳ）、第２の駆動による電力消費の問題は発生しないため、Ｓ２０５に進んで第２の駆動を開始する。ここでは、例えば、０．２秒間隔でフリッカー検出用走査を行う。そして、Ｓ２０８に進む。

【0050】

一方、外部からの電力供給が無く、バッテリー残量が予め決められた閾値Ｔ_ｂ１（例えば１０％）以下である場合は（Ｓ２０３でＹＥＳ）、電力の余裕がないものとみなしてＳ２１１に進み、上述した第１の駆動を開始する。そして、Ｓ２１２において、第１の駆動により得られた動画像を用いてフリッカー検出を行って、Ｓ２１３に進む。

【0051】

Ｓ２１３では、撮影を終了するかどうかを判断する。撮影を終了しない場合にはＳ２１２に戻って、次に入力された画像に対してフリッカーを検出し、撮影を終了する場合には、処理を終了する。

【0052】

また、Ｓ２０３において、外部から電力供給が無い場合でも、バッテリー残量が予め決められた閾値Ｔ _ｂ１ （例えば１０％）より多い場合は（Ｓ２０３でＮＯ）、極端に電力に余裕がないわけではないので、Ｓ２０４に進んで、更にバッテリーの残量を判定する。例えば、バッテリー残量が予め決められた閾値Ｔ_ｂ２（例えば５０％）より多く電力状態に余裕がある場合（５０～１００％の範囲）はＳ２０６に進んで、第２の駆動を開始する。ここでは、例えば、１秒間隔でフリッカー検出用走査を行う。そして、Ｓ２０８に進む。

【0053】

Ｓ２０８では、フリッカー検出用画像のみを用いてフリッカーの検出を行い、Ｓ２１０に進む。

【0054】

一方、バッテリー残量が予め決められた閾値Ｔ_ｂ２以下の場合（１０～５０％の範囲）は（Ｓ２０４でＹＥＳ）、電力状態に余裕はあるものの電力消費を抑えたい状態であるため、Ｓ２０７に進んで、第２の駆動を開始する。ここでは、例えば、１０秒間隔でフリッカー検出用走査を行う。そして、Ｓ２０９に進む。Ｓ２０９では、フリッカー検出用画像が有るタイミングではフリッカー検出用画像を用いて、また、フリッカー検出用画像が無いタイミングでは動画像を用いてフリッカー検出を行い、Ｓ２１０に進む。

【0055】

Ｓ２１０では、撮影を終了するかどうかを判断する。撮影を終了しない場合にはＳ２０２に戻って、上述した処理を繰り返し、撮影を終了する場合には、処理を終了する。

【0056】

上述した図９の処理をまとめたものが図１０である。外部から電力供給がされている状態では、バッテリー残量を気にする必要はないため、第２の駆動で、フリッカー検出用走査を頻度の高い第１の間隔（例えば０．２秒間隔）で行う。そして、フリッカー検出用画像のみを用いてフリッカー検出を行う。一方、外部から電力供給が無くとも、バッテリー残量が十分にある（例えば５０％～１００％）時は、第２の駆動で、外部から電力供給がされている状態より低い頻度の第２の間隔（例えば、１秒間隔）でフリッカー検出用走査を行う。そして、フリッカー検出用画像のみを用いてフリッカー検出を行う。

【0057】

また、外部から電力供給がされておらず、バッテリー残量が少ない（１０％～５０％）時は、電力の消費抑制を優先して、第２の駆動で、フリッカー検出用走査を行う間隔を更に長くし、第３の間隔（例えば、１０秒間隔）とする。そして、フリッカー検出用画像が生成された場合にはフリッカー検出用画像を用いてフリッカー検出を行い、その間は動画像を用いてフリッカー検出を行う。

【0058】

図５において、動画像を用いたフリッカー検出では５０Ｈｚ／６０Ｈｚのどちらかしか検出できないことを説明したように、フリッカー検出用画像が取得できない場合、常に検出できない周波数が出てきてしまう。そこで、間隔を長くしても定期的にフリッカー検出用走査を行い、その間は動画像からの検出を常時行うことで、消費電力を抑えつつ、検出精度を極端に落とすことのないバランスの良いフリッカー検出を実現できる。

【0059】

また、外部から電力供給がされておらず、バッテリー残量が極端に少ない（１０％以下）時、及び第２の駆動が不可能である場合は、消費電力の抑制を最優先として、第２の駆動を行わず、通常の撮影で得られる動画像を用いてフリッカー検出を行う。

【0060】

なお、本第２の実施形態では、一定時間間隔で定期的にフリッカー検出用走査を行う例について示しているが、必ずしも定期的に行う必要はない。例えば、動画像で被写体の変化を判定して、変化した際にフリッカー検出用走査を再開する制御でもよいし、動画像を用いたフリッカー検出結果からフリッカーレベルの変化を判定してフリッカー検出用走査を再開する制御でもよい。動画像によるフリッカー検出を実施している間に、条件によってフリッカー検出用走査を常に、または条件によって実施することにより、消費電力を抑えつつ、ある程度良好なフリッカー検出性能を実現することができる。

【0061】

また、本実施形態では、バッテリー残量として１０％、５０％等をフリッカー検出制御の切替え閾値の一例として挙げたが、他の割合であってもよい。また、カメラの設定、例えば動画モードと静止画モード等に応じて割合を切り替えても構わない。

【0062】

上記の通り第２の実施形態によれば、電力供給状態に応じてフリッカー検出方法を変更する。これにより、電力供給状態に応じた良好なフリッカー検出を行うことができる。

【0063】

なお、検出したフリッカーの周期に応じて、第１の実施形態の図８のＳ１０３以降で説明したように補正を行うことができる。

【0064】

＜変形例＞
第１及び第２の実施形態では、動画像の撮影中に、フリッカー検出用走査を行う処理について説明したが、カメラ状態としてブラックアウトしている間に、フリッカー検出を行っても構わない。例えば、電源投入直後のブラックアウトの最中や、レリーズボタン押下による静止画撮影中のブラックアウト時でもよい。ブラックアウト中のフリッカー検出では撮影画像がディスプレイユニット１０２に表示されないため、動画像を利用した検出でも、フリッカー検出用画像を利用した検出でもよく、また、他の方法を用いたフリッカー検出でもよい。

【0065】

本変形例では、そのような場合も含め、電源投入からカメラ状態の遷移におけるフリッカー検出制御全体の処理の流れを図１１のフローチャートを参照して説明する。

【0066】

まず、Ｓ３００では、起動時のブラックアウト中にフリッカー検出を行う。続いて、Ｓ３０１で、起動後のモードが静止画モードか動画モードかを判断する。静止画モードの場合は、Ｓ３０２においてライブビュー表示のフレームレートを判定し、フレームレートが１２０ｆｐｓ以上であったらＳ３０５において、上述したフリッカー検出用走査を第３の間隔で実施する第２の駆動を行い、動画像を用いたフリッカー検出とフリッカー検出用画像を用いたフリッカー検出の両方を行い、フリッカーの有無を判定する。

【0067】

また、Ｓ３０２でライブビュー表示のフレームレートが１２０ｆｐｓ未満であった場合はＳ３０３にて電力状態を判定する。外部から電力供給されている状態や、バッテリー残量に余裕がある場合はＳ３０４に進み、上述したフリッカー検出用走査を第１の間隔または第２の間隔で実施する第２の駆動を行い、フリッカー検出用画像のみを用いてフリッカー検出を行う。また、外部から電力供給されていないが、バッテリー残量にある程度がある場合は、Ｓ３０５において上述したフリッカー検出用走査を第３の間隔で実施する第２の駆動を行い、フリッカー検出用画像と動画像の両方を用いてフリッカー検出を行う。外部から電力供給されておらず、且つバッテリー残量にも余裕がない場合は、Ｓ３０６にて第１の駆動を行い、動画像のみを用いてフリッカー検出を行う。

【0068】

Ｓ３０７にて、ライブビュー表示中に静止画撮影指示を受け付けた場合は、Ｓ３０８においてライブビュー表示から静止画撮影への切り替わりのタイミングでフリッカー検出を行い、その後Ｓ３０９で静止画撮影を行う。静止画撮影を終えたら、再びＳ３０１に戻り、静止画／動画モードの判定を行う。

【0069】

続いて、Ｓ３０１で動画モードと判定された場合について説明する。動画モードでは、４Ｋ動画等、間引き読み出しできない駆動モードにおいてはフリッカー検出用走査ができないため、Ｓ３１０においてフリッカー検出用走査が可能かどうかを判定する。フリッカー検出用走査ができない場合、Ｓ３１５において第１の駆動を行い、動画像のみを用いてフリッカー検出を行う。

【0070】

Ｓ３１０でフリッカー検出用走査が可能と判定された場合、Ｓ３１１において、ライブビュー表示のフレームレートが１２０ｆｐｓ未満かを判定する。１２０ｆｐｓ以上と判定された場合、Ｓ３１４において上述したフリッカー検出用走査を第３の間隔で実施する第２の駆動を開始し、フリッカー検出用画像と動画像の両方を用いてフリッカー検出を行う。

【0071】

フレームレートが１２０ｆｐｓ未満の場合は、Ｓ３１２において電力状態を判定する。静止画ライブビュー表示の場合と同様に、外部から電力供給されている場合や、バッテリー残量に余裕がある場合はＳ３１３に進み、上述したフリッカー検出用走査を第１の間隔または第２の間隔で実施する第２の駆動を開始し、フリッカー検出用画像のみを用いてフリッカー検出を行う。また、外部から電力供給されていないが、バッテリー残量にある程度の余裕がある場合は、Ｓ３１４において上述したフリッカー検出用走査を第３の間隔で実施する第２の駆動を開始し、フリッカー検出用画像と動画像の両方を用いてフリッカー検出を行う。外部から電力供給されておらず、且つバッテリー残量にも余裕がない場合は、Ｓ３１５において、第１の駆動を行い、動画像のみを用いてフリッカー検出を行う。

【0072】

フリッカー検出処理を行いながら、再びＳ３０１に戻って静止画／動画モードの確認を行い、フリッカー検出処理を継続する。

【0073】

＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

【0074】

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0075】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0076】

１００：カメラ本体、１０１：撮像素子、１０２：ディスプレイユニット、１０３：ＣＰＵ、２００：撮影レンズ、２０１：レンズ群、２０２：絞り、２０３：ＣＰＵ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】