特許 7112529 撮像装置、撮像方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-26

(45)【発行日】2022-08-03

(54)【発明の名称】撮像装置、撮像方法、及びプログラム

(51)【国際特許分類】

   H04N 5/235 20060101AFI20220727BHJP

   H04N 5/232 20060101ALI20220727BHJP

【ＦＩ】

H04N5/235 700

H04N5/232 290

H04N5/232 300

H04N5/232 450

【請求項の数】 20

(21)【出願番号】P 2020569371

(86)(22)【出願日】2019-10-24

(86)【国際出願番号】 JP2019041617

(87)【国際公開番号】W WO2020158070

(87)【国際公開日】2020-08-06

【審査請求日】2021-07-05

(31)【優先権主張番号】P 2019013238

(32)【優先日】2019-01-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】藤川 哲也

(72)【発明者】

【氏名】西山 幸徳

(72)【発明者】

【氏名】田中 康一

(72)【発明者】

【氏名】和田 哲

(72)【発明者】

【氏名】林 健吉

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２０１０－１０３７４６（ＪＰ，Ａ）

【文献】特開２０１６－０３２２１４（ＪＰ，Ａ）

【文献】特開２０１４－００７６２２（ＪＰ，Ａ）

【文献】特開２００９－１０５６９３（ＪＰ，Ａ）

【文献】特開２００９－１４７８０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

フレーム周期が第１フレーム周期の動画像データを撮像する撮像部と、
前記撮像部により撮像された前記動画像データを取得する画像取得部と、
前記動画像データから光源のフリッカーを検出する検出部と、
前記撮像部で撮像される前記動画像データのフレーム周期を制御する撮像フレーム周期制御部と、
を備える撮像装置であって、
前記撮像部が前記第１フレーム周期よりも短い露光時間で第１動画像データを撮像し、前記検出部が前記第１動画像データから前記フリッカーを検出した場合に、
前記撮像フレーム周期制御部は、前記撮像部で撮像される前記第１動画像データのフレーム周期を前記第１フレーム周期から前記第１フレーム周期よりも短い第２フレーム周期に変更する撮像装置。

【請求項2】

前記検出部は前記フリッカーの周期を検出するものであって、
前記撮像フレーム周期制御部は、前記第２フレーム周期を前記検出部で検出された前記フリッカーの周期の半分以下の周期に変更する請求項１に記載の撮像装置。

【請求項3】

前記撮像フレーム周期制御部は、設定された露光時間に応じて前記第２フレーム周期を変更する請求項１又は２に記載の撮像装置。

【請求項4】

前記第１動画像データから、フレーム周期が前記第２フレーム周期より長い第３フレーム周期の、記録用の第２動画像データを生成する動画像データ生成部を備える請求項１から３のいずれか１項に記載の撮像装置。

【請求項5】

前記動画像データ生成部は、前記第１動画像データを構成する複数のフレームの内の一部のフレームを間引くことにより、又は前記第１動画像データを構成する前記複数のフレームの内の隣接する複数のフレームを合成することにより、前記第３フレーム周期の前記第２動画像データを生成する請求項４に記載の撮像装置。

【請求項6】

前記動画像データ生成部は、前記検出部が前記フリッカーを検出した場合に、前記第３フレーム周期を変更しない請求項４又は５に記載の撮像装置。

【請求項7】

前記検出部で検出された前記フリッカーの位相情報を取得するフリッカー情報取得部を備える請求項１から６のいずれか１項に記載の撮像装置。

【請求項8】

前記撮像フレーム周期制御部は、さらに、前記検出部が前記フリッカーを検出した場合に、前記位相情報に応じて前記第１動画像データの撮像タイミングを調整する請求項７に記載の撮像装置。

【請求項9】

前記撮像部は、前記位相情報を用いて、前記フリッカーの特定の位相範囲で撮像を行わない請求項７又は８に記載の撮像装置。

【請求項10】

前記検出部で検出された前記フリッカーの位相情報を取得するフリッカー情報取得部を備え、
前記動画像データ生成部は、前記位相情報が付与された前記第２動画像データを生成する請求項４から６のいずれか１項に記載の撮像装置。

【請求項11】

前記位相情報を、前記第２動画像データを構成するフレームと共に表示する表示部を備える請求項１０に記載の撮像装置。

【請求項12】

前記第２動画像データを構成する複数のフレームから、前記位相情報を用いてフレームを抽出する抽出部と、
前記抽出部で抽出された前記フレームを表示する表示部を備える請求項１０に記載の撮像装置。

【請求項13】

前記検出部で検出された前記フリッカーの位相情報を取得するフリッカー情報取得部を備え、
前記動画像データ生成部は、前記位相情報を用いて、前記第１動画像データを構成する複数のフレームから一部のフレームを選択し、前記第２動画像データを生成する請求項４から６のいずれか１項に記載の撮像装置。

【請求項14】

前記撮像部は、第１動画モードと第２動画モードを有し、前記第１動画モードでは前記第１動画像データを撮像し、前記第２動画モードでは前記第１動画像データよりも１フレームの露光時間が長く設定された第３動画像データを撮像する請求項１から１３のいずれか１項に記載の撮像装置。

【請求項15】

前記第１動画モードは、前記第２動画モードに対して、オートフォーカスの追従速度、自動露出の追従速度、及びホワイトバランスの追従速度のうち少なくとも一つが高速に設定される請求項１４に記載の撮像装置。

【請求項16】

フレーム周期が第１フレーム周期の動画像データを撮像する撮像部と、
前記撮像部により撮像された前記動画像データを取得する画像取得部と、
前記動画像データから光源のフリッカーを検出する検出部と、
前記撮像部で撮像される前記動画像データのフレーム周期を制御する撮像フレーム周期制御部と、
前記動画像データから記録用の動画像データを生成する動画像データ生成部と、
を備える撮像装置であって、
前記撮像部が前記第１フレーム周期よりも短い露光時間で第１動画像データを撮像し、前記検出部が前記第１動画像データから前記フリッカーを検出した場合に、
前記撮像フレーム周期制御部は、前記撮像部で撮像される前記第１動画像データのフレーム周期を前記第１フレーム周期から前記第１フレーム周期よりも短い第２フレーム周期に変更し、かつ、
前記動画像データ生成部は、前記第２フレーム周期よりも長い第３フレーム周期の第２動画像データを生成する撮像装置。

【請求項17】

前記検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、
前記動画像データ生成部は、前記位相情報が付与された前記第２動画像データを生成する請求項１６に記載の撮像装置。

【請求項18】

前記検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、
前記動画像データ生成部は、前記位相情報を用いて、前記第１動画像データを構成する複数のフレームから一部のフレームを選択し、前記第２動画像データを生成する請求項１６又は１７に記載の撮像装置。

【請求項19】

フレーム周期が第１フレーム周期の動画像データを撮像するステップと、
前記撮像するステップにより撮像された前記動画像データを取得するステップと、
前記動画像データから光源のフリッカーを検出するステップと、
前記撮像するステップでの撮像のフレーム周期を制御するステップと、
を含む撮像方法であって、
前記フレーム周期を制御するステップは、前記撮像するステップが前記第１フレーム周期よりも短い露光時間で第１動画像データを撮像し、前記検出するステップが前記第１動画像データから前記フリッカーを検出した場合に、前記撮像するステップで撮像される前記第１動画像データのフレーム周期を前記第１フレーム周期から前記第１フレーム周期よりも短い第２フレーム周期に変更する撮像方法。

【請求項20】

フレーム周期が第１フレーム周期の動画像データを撮像するステップと、
前記撮像するステップにより撮像された前記動画像データを取得するステップと、
前記動画像データから光源のフリッカーを検出するステップと、
前記撮像するステップでの撮像のフレーム周期を制御するステップと、
を含む撮像工程をコンピュータに実行させるプログラムであって、
前記フレーム周期を制御するステップは、前記撮像するステップが前記第１フレーム周期よりも短い露光時間で第１動画像データを撮像し、前記検出するステップが前記第１動画像データから前記フリッカーを検出した場合に、前記撮像するステップで撮像される前記第１動画像データのフレーム周期を前記第１フレーム周期から前記第１フレーム周期よりも短い第２フレーム周期に変更するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、撮像方法、及びプログラムに関し、特に光源のフリッカーが発生する環境下で用いられる撮像装置、撮像方法、及びプログラムの技術に関する。

【背景技術】

【0002】

従来より、蛍光灯やＬＥＤ（light emitting diode）光源の環境下で撮像を行う場合に光源のフリッカー（以下、単にフリッカーという）が発生してしまうことが知られており、撮像においてフリッカーの影響を抑制する技術が検討されてきた。

【0003】

例えば特許文献１では、照明の周波数Ａを検知して、２Ａ／ｎ（ｎは自然数）を満たすタイミングでフレームレートを設定することにより、フリッカーの影響を抑制することを目的とした技術が提案されている。

【0004】

又、例えば特許文献２では、フリッカーの光量変化特性を検出してその光量変化に基づいて、シャッターを作動させることにより、フリッカーの影響を抑制することを目的とした技術が提案されている。

【0005】

一方、近年では被写体の一瞬のシーンを捉えるために、静止画抽出用の動画を撮像する動画撮影モードを有する撮像装置が提案されている。例えば、特許文献３に記載の技術では、静止画抽出用の動画が、通常の動画と比べて１フレームの露光時間が短く設定されたものである。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００２－１６５１４１号公報

【文献】特開２０１８－１３３８２６号公報

【文献】特開２０１６－０３２３０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ここで、上述した静止画抽出用の動画を撮像する動画撮影モードでは、１フレームの露光時間が短く設定されているので、フリッカーの影響を受けやすい。フリッカーの影響を受けると、撮像されたフレームの一部では暗い絵になってしまったり、色味が悪くなったりする。したがって、静止画抽出用の動画を撮像する動画撮影モードにおいても、フリッカーの影響を抑制する必要がある。

【0008】

又、静止画抽出用の動画を撮像する動画撮影モードでは、撮像されたフレーム群からユーザが所望のフレームを選択するという特性上、フリッカーの影響が抑制されたフレームの数が多くなるほど、ユーザが所望するシーンを捉えたフレームであって且つフリッカーの影響が抑制されたフレームである確率が増す。

【0009】

上述した特許文献１から３においては、このような静止画抽出用の動画の撮像におけるフリッカーの影響を抑制する手法に関しては言及されていない。

【0010】

本発明はこのような事情に鑑みてなされたもので、その目的は、静止画抽出用の動画の撮像において、フリッカーの影響が抑制された数多くのフレームの撮像を行うことができる撮像装置、撮像方法、及びプログラムを提供することである。

【課題を解決するための手段】

【0011】

上記目的を達成するための本発明の一の態様である撮像装置は、予め設定された第１フレーム周期で、１フレームの露光時間が第１フレーム周期よりも短い第１動画像データを撮像する撮像部と、撮像部により撮像された第１動画像データを取得する画像取得部と、第１動画像データにおいて光源のフリッカーを検出する検出部と、撮像部での撮像のフレーム周期を制御する撮像フレーム周期制御部と、を備える撮像装置であって、撮像フレーム周期制御部は、検出部がフリッカーを検出した場合に、撮像部で撮像される第１動画像データのフレーム周期を第１フレーム周期から第１フレーム周期よりも短い第２フレーム周期に変更する。

【0012】

本態様によれば、検出部でフリッカーが検出された場合には、予め設定された第１フレーム周期よりも短い第２フレーム周期により、第１動画像データが撮像される。これにより、本態様は、フリッカーの影響が抑制されたフレームの数を増やして撮像を行うことができる。

【0013】

好ましくは、検出部はフリッカーの周期を検出するものであって、撮像フレーム周期制御部は、第２フレーム周期を検出部で検出されたフリッカーの周期の半分以下の周期に変更する。

【0014】

好ましくは、撮像フレーム周期制御部は、設定された露光時間に応じて第２フレーム周期を変更する。

【0015】

好ましくは、撮像装置は、第１動画像データから、第２フレーム周期より長い第３フレーム周期の、記録用の第２動画像データを生成する動画像データ生成部を備える。

【0016】

好ましくは、動画像データ生成部は、第１動画像データを構成する複数のフレームの内の一部のフレームを間引くことにより、又は第１動画像データを構成する複数のフレームの内の隣接する複数のフレームを合成することにより、第３フレーム周期の第２動画像データを生成する。

【0017】

好ましくは、動画像データ生成部は、検出部がフリッカーを検出した場合に、第３フレーム周期を変更しない。

【0018】

好ましくは、撮像装置は、検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備える。

【0019】

好ましくは、撮像フレーム周期制御部は、さらに、検出部がフリッカーを検出した場合に、位相情報に応じて第１動画像データの撮像タイミングを調整する。

【0020】

好ましくは、撮像部は、位相情報を用いて、フリッカーの特定の位相範囲で撮像を行わない。

【0021】

好ましくは、撮像装置は、検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、動画像データ生成部は、位相情報が付与された第２動画像データを生成する。

【0022】

好ましくは、撮像装置は、位相情報を、第２動画像データを構成するフレームと共に表示する表示部を備える。

【0023】

好ましくは、撮像装置は、第２動画像データを構成する複数のフレームから、位相情報を用いてフレームを抽出する抽出部と、抽出部で抽出されたフレームを表示する表示部を備える。

【0024】

好ましくは、撮像装置は、検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、動画像データ生成部は、位相情報を用いて、第１動画像データを構成する複数のフレームから一部のフレームを選択し、第２動画像データを生成する。

【0025】

好ましくは、撮像部は、第１動画モードと第２動画モードを有し、第１動画モードでは第１動画像データを撮像し、第２動画モードでは第１動画像データよりも１フレームの露光時間が長く設定された第３動画像データを撮像する。

【0026】

好ましくは、第１動画モードは、第２動画モードに対して、オートフォーカスの追従速度、自動露出の追従速度、及びホワイトバランスの追従速度のうち少なくとも一つが高速に設定される。

【0027】

本発明の他の態様である撮像装置は、予め設定された第１フレーム周期で、１フレームの露光時間が第１フレーム周期よりも短い第１動画像データを撮像する撮像部と撮像部により撮像された第１動画像データを取得する画像取得部と、第１動画像データにおいて光源のフリッカーを検出する検出部と、撮像部での撮像のフレーム周期を制御する撮像フレーム周期制御部と、第１動画像データから第３フレーム周期の記録用の第２動画像データを生成する動画像データ生成部と、を備える撮像装置であって、撮像フレーム周期制御部は、検出部がフリッカーを検出した場合に、撮像部で撮像される第１動画像データのフレーム周期を第１フレーム周期から第１フレーム周期よりも短い第２フレーム周期に変更し、第２フレーム周期は、第３フレーム周期よりも短い。

【0028】

好ましくは、撮像装置は、検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、動画像データ生成部は、位相情報が付与された第２動画像データを生成する。

【0029】

好ましくは、撮像装置は、検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、動画像データ生成部は、位相情報を用いて、第１動画像データを構成する複数のフレームから一部のフレームを選択し、第２動画像データを生成する。

【0030】

本発明の他の態様である撮像方法は、予め設定された第１フレーム周期で、１フレームの露光時間が第１フレーム周期よりも短い第１動画像データを撮像するステップと、撮像するステップにより撮像された第１動画像データを取得するステップと、第１動画像データにおいて光源のフリッカーを検出するステップと、撮像するステップでの撮像のフレーム周期を制御するステップと、を含む撮像方法であって、フレーム周期を制御するステップは、検出するステップがフリッカーを検出した場合に、撮像するステップで撮像される第１動画像データのフレーム周期を第１フレーム周期から第１フレーム周期よりも短い第２フレーム周期に変更する。

【0031】

本発明の他の態様であるプログラムは、予め設定された第１フレーム周期で、１フレームの露光時間が第１フレーム周期よりも短い第１動画像データを撮像するステップと、撮像するステップにより撮像された第１動画像データを取得するステップと、第１動画像データにおいて光源のフリッカーを検出するステップと、撮像するステップでの撮像のフレーム周期を制御するステップと、を含む撮像工程をコンピュータに実行させるプログラムであって、フレーム周期を制御するステップは、検出するステップがフリッカーを検出した場合に、撮像するステップで撮像される第１動画像データのフレーム周期を第１フレーム周期から第１フレーム周期よりも短い第２フレーム周期に変更する。

【発明の効果】

【0032】

本発明によれば、フリッカーが検出された場合に予め設定された第１フレーム周期よりも短い第２フレーム周期により、第１動画像データが撮像されるので、フリッカーの影響が抑制されたフレームの数を増やして撮像を行うことができる。

【図面の簡単な説明】

【0033】

【図1】図１は、撮像装置の構成を示す図である。

【図2】図２は、制御部で実現される機能の構成例を示すブロック図である。

【図3】図３は、フリッカー周期と各フレームの露光タイミングを示す図である。

【図4】図４は、撮像工程を示したフローチャートである。

【図5】図５は、撮像工程を示したフローチャートである。

【図6】図６は、制御部で実現される機能の構成例を示すブロック図である。

【図7】図７は、撮像工程を示したフローチャートである。

【図8】図８は、制御部で実現される機能の構成例を示すブロック図である。

【図9】図９は、撮像工程を示したフローチャートである。

【図10】図１０は、静止画を抽出する工程を示したフローチャートである。

【図11】図１１は、撮像工程を示したフローチャートである。

【図12】図１２は、特定の位相範囲のみでフレームの露光、又は特定の位相範囲のみのフレームで記録動画像データが構成されることを説明する図である。

【図13】図１３は、フリッカー周期と各フレームの露光タイミングを示す図である。

【図14】図１４は、スマートフォンの外観を示す図である。

【図15】図１５は、スマートフォンの構成を示すブロック図である。

【発明を実施するための形態】

【0034】

以下、添付図面にしたがって本発明にかかる撮像装置、撮像方法、及びプログラムの好ましい実施の形態について説明する。尚、以下の説明では、撮像動画像データが第１動画像データであり、記録動画像データが第２動画像データである。又、動画を撮像する場合の撮像フレーム周期は設定フレーム周期（第１フレーム周期）と再設定フレーム周期（第２フレーム周期）とで構成される。又、撮像フレーム周期と撮像された動画を記録する場合の記録フレーム周期（第３フレーム周期）とは同じ場合と異なる場合がある。更に、撮像フレーム周期の逆数、設定フレーム周期の逆数、再設定フレーム周期の逆数、及び記録フレーム周期の逆数は、それぞれ撮像フレームレート、設定フレームレート、再設定フレームレート、及び記録フレームレートを示す。

【0035】

図１は、本発明の撮像装置１０の構成を示す図である。撮像装置１０は交換レンズ１００及び撮像装置本体２００により構成され、後述するズームレンズ１１０を含む撮像レンズにより被写体像（光学像）を撮像素子２１０に結像させる。交換レンズ１００と撮像装置本体２００とは、図示せぬマウントを介して装着及び取り外しすることができる。

【0036】

交換レンズ１００は、ズームレンズ１１０と、フォーカスレンズ１２０と、絞り１３０と、レンズ駆動部１４０とを備える。レンズ駆動部１４０は、制御部２４０からの指令に応じてズームレンズ１１０、フォーカスレンズ１２０を進退駆動してズーム（光学ズーム）調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、制御部２４０からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作（図示せぬズームリング、フォーカスリングの回動等）に応じて行ってもよい。又、レンズ駆動部１４０は制御部２４０からの指令に応じて絞り１３０を制御し、露出を調整する。一方、ズームレンズ１１０及びフォーカスレンズ１２０の位置、絞り１３０の開放度等の情報が制御部２４０に入力される。

【0037】

撮像装置本体２００は、撮像素子２１０、ＡＦＥ２２０（ＡＦＥ：Analog Front End）、Ａ／Ｄ変換器２３０（Ａ／Ｄ：Analog to Digital）、制御部２４０、操作部２５０、記憶部２６０、及びモニタ２７０を備える。撮像装置本体２００は、撮像素子２１０に透過させる光を遮光するためのメカニカルシャッター（不図示）を有していてもよい。撮像素子２１０は、多数の受光素子がマトリクス状に配列された受光面を備え、ズームレンズ１１０、フォーカスレンズ１２０、及び絞り１３０を透過した被写体光が撮像素子２１０の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子２１０の受光面上にはＲ（赤），Ｇ（緑），又はＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。尚、撮像素子２１０としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等の様々な光電変換素子を用いることができる。ＡＦＥ２２０は撮像素子２１０から出力されるアナログ画像信号のノイズ除去、増幅等を行い、Ａ／Ｄ変換器２３０は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。尚、シャッターは、メカニカルシャッターでも電子シャッターでもよい。電子シャッターの場合、制御部２４０によって撮像素子２１０の電荷蓄積期間を制御することで露光時間（シャッタースピード）を調節することができる。又撮像部２０１は、交換レンズ１００、撮像素子２１０、ＡＦＥ２２０、及びＡ／Ｄ変換器２３０で構成されており、制御部２４０により制御される。

【0038】

撮像装置１０は、撮像モードとして静止画撮像モード、通常動画撮像モード、静止画抽出用動画撮像モードのいずれかを設定することができる。静止画撮像モード、通常動画撮像モードは通常のデジタルカメラと同様のモードであり、静止画抽出用動画撮像モードでは通常動画撮像モードと撮像条件が異なる動画（動画自体の鑑賞よりも静止画の抽出を重視した撮像条件の動画）を撮像する。具体的には、静止画抽出用動画撮像モードでは、通常動画撮像モードに対してシャッタースピードが高速に設定される（露光時間が短く設定される）。又、静止画抽出用動画撮像モードでは、オートフォーカスの追従速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、且つ／又は通常動画撮像モードに対してフレームレートが高く設定される。又、解像度及びフレームレートは撮像装置１０で設定可能な最高値（例えば４，０００×２，０００画素、３０フレーム／秒）に設定され、色調も静止画抽出を前提として設定される。ＩＳＯ感度の上限も通常動画撮像モードより高くする。

【0039】

例えばシャッタースピード（露光時間）に関しては、通常動画撮像モードでは記録する動画（第３動画像データ）のフレームレートに対応した値（フレームレートが３０フレーム／秒の場合、１／３０秒）に設定されるが、静止画抽出用動画モードではフレーム間隔よりも高速（例えば、１／３０秒未満）に設定される。通常動画撮像モードでは、滑らかな動画が再生されるようにシャッタースピードが動画のフレームレートに対応した値に設定されるが、この場合に動く被写体に対してはブレが生じる可能性がある。このため、静止画抽出用動画撮像モードではシャッタースピードを通常動画撮像モードよりも高速（フレーム間隔よりも高速）に設定しており、これにより被写体のブレが少ない高画質な静止画を抽出することが可能になる。同様に、ＩＳＯ感度の上限を高くすることでシャッタースピードを高速化でき、これによりブレが少ない静止画を抽出することができる。又、オートフォーカスの速度，自動露出の追従速度やオートホワイトバランスの追従速度等が通常動画撮像モードよりも高速に設定されることで、被写体に合焦したフレーム、露出が適正なフレーム等を多く取得することができる。フレームレートについても、高レートに設定することで動画のフレーム間隔が短くなり、静止画として抽出できるフレームが増加する。尚、静止画抽出用動画モードにおいて、シャッタースピード（露光時間）の設定は、静止画撮像モードと同様にＰモード（プログラムモード）やＳモード（シャッタスピード優先）を用いることができる。Ｐモード（プログラムモード）では、シャッタースピードと絞り値の両方が撮像装置１０によって自動制御される。一方、Ｓモードでは、シャッタースピードはユーザが事前に設定し、絞り値が撮像装置１０によって自動制御される。

【0040】

上述した静止画抽出用動画撮像モードによれば、動画を記憶しておき動画を構成するフレームを静止画として抽出することができるので、ユーザはいつ発生するか分からないイベント（自然現象やアクシデント、ハプニング等）の写真、時間の経過と共に状態が変化する被写体や動きのある被写体の瞬間的な状態の写真等を容易に撮像することができる。この際、静止画の記録を指示したタイミングだけでなくその他のタイミングについても静止画を抽出できるので、ユーザは所望のタイミングの静止画を取得することができる。又、静止画抽出に適した撮像条件（上述したシャッタースピード、解像度、フレームレート等）を設定することにより高画質の静止画を抽出することができる。

【0041】

記憶部２６０は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、動画、静止画、動画から抽出した静止画等を記憶する。記録媒体は撮像装置本体２００に対し着脱できるタイプを用いることができる。又、プログラム及び制御部２４０の各種制御に用いる情報等が記憶される。

【0042】

モニタ２７０はタッチパネル型の液晶表示パネルにより構成され、動画、静止画、静止画抽出用フレーム等を表示することができる。モニタ２７０は撮像装置本体２００の背面側、天面側等に配置することができる。撮像装置１０はファインダを備えていてもよい。ファインダは例えば液晶表示パネル、プリズム、レンズ等により構成され、ユーザは図示せぬ接眼部を介して動画、静止画、静止画抽出用フレーム等を視認することができる。ファインダとしては「光学式ビューファインダ（ＯＶＦ：Optical View Finder）」、「電子式ビューファインダ（ＥＶＦ：Electronic View Finder）」、あるいはこれらの組合せである「ハイブリッド式ビューファインダ（ＨＶＦ：Hybrid View Finder）」を用いることができる。

【0043】

制御部２４０は、記憶部２６０から必要なプログラム及び各種制御に用いる情報を読み出して、制御部２４０で行われる各種処理及び各種制御を行う。

【0044】

制御部２４０は各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の機能部として作用する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0045】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。又、複数の機能部を１つのプロセッサで構成してもよい。複数の機能部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の機能部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0046】

＜第１の実施形態＞

図２は、制御部２４０で実現される機能の構成例を示すブロック図である。

【0047】

制御部２４０は、画像取得部１１、検出部１３、及び撮像フレーム周期制御部１５を備える。

【0048】

画像取得部１１は、撮像部２０１（交換レンズ１００、撮像素子２１０、ＡＦＥ２２０、及びＡ／Ｄ変換器２３０）により撮像された動画像データを取得する（以下、撮像動画像データという。）。尚撮像部２０１は、通常動画撮像モード（第１動画モード）又は静止画抽出用動画撮像モード（第２動画モード）により動画を撮像する。又、画像取得部１１は、静止画抽出用動画撮像モードでは、通常動画撮像モードよりも各フレームの露光時間が短い（シャッタースピードが速い）条件で撮像部２０１により撮像された撮像動画像データを取得する。

【0049】

検出部１３は、撮像素子２１０で撮像され、ＡＦＥ２２０、Ａ／Ｄ変換器２３０で処理され生成された撮像動画像データの時間的、空間的な輝度変化や色変化からフリッカーを検出する。検出部１３は、公知の手法によりフリッカーの検出を行うことができ、例えば、特開２０１８－１３３８２６に記載されている方法等を用いることができる。又、検出部１３は、フリッカーの周期、フリッカーによる撮像動画像データを構成するフレーム間の輝度変化や色変化、及びフリッカー環境下でのフリッカーの位相に対する撮像動画像データを構成する各フレームの露光タイミングを検出するように構成してもよい。検出部１３は、例えばライブビュー画像に基づいてフリッカーの検出を行う。更に検出部１３は、動画撮影の開始から予め定められた時間内にフリッカーの検出を行ってもよいし、動画撮影中にシーンの明るさが変わった時にフリッカーの検出を逐次行ってもよい。

【0050】

撮像フレーム周期制御部１５は、静止画抽出用動画撮像モードにおける撮像部２０１での撮像のフレーム周期を制御する。撮像フレーム周期は、予め設定されている設定フレーム周期と、検出部１３がフリッカーを検出した場合に切り替わる再設定フレーム周期で構成される。設定フレーム周期とは例えばユーザが、撮像前に設定したフレームレートに対応するフレーム周期である。又、再設定フレーム周期は、設定フレーム周期よりも短いフレーム周期である。撮像フレーム周期制御部１５は、検出部１３がフリッカーを検出した場合には、再設定フレーム周期により、撮像部２０１に撮像動画像データを撮像させる。

【0051】

図３は、フリッカー周期と各フレームの露光タイミングを示す図である。図３（Ａ）には、フリッカーの光量の時間変化が横軸の時間（ｔ）と共に示されている。図示された曲線の頂点部Ｐにおいて光源の光量がピークであることを示し、谷部Ｖにおいて光源の光量が最も少なくなることを示している。図３（Ｂ）は、静止画抽出用動画撮像モードにおいて、設定フレーム周期による各フレームの露光タイミングが示されている。図３（Ｂ）の場合には、露光タイミングがフリッカー周期の谷部Ｖと重なり、得られるフレームは光量が少なく暗いシーンとなってしまう。

【0052】

図３（Ｃ）は静止画抽出用動画撮像モードにおいて、再設定フレーム周期による各フレームの露光タイミングが示されている。検出部１３でフリッカーが検出されると、撮像フレーム周期制御部１５は、設定フレーム周期よりも短い再設定フレーム周期に撮像フレーム周期を変更する。言い換えると、撮像フレーム周期制御部１５は、フリッカーが検出されると、設定フレームレートをより速い再設定フレームレートに変更する。再設定フレーム周期（再設定フレームレート）により撮像動画像データを得ることにより、図３（Ｃ）に示すように、頂点部Ｐの時点においても露光されるフレームが取得される。これにより、谷部Ｖの時点で撮像されるフレーム以外のフレームを新たに得ることができ、適切な明るさのシーンを撮像したフレームの数が増える。これはユーザに、より多くの適切な明るさでシーンを撮像したフレームの選択候補を提供することができる。光源によってフリッカー周期において光量が低い状態（谷部Ｖ）が占める割合が異なる。図３（Ａ）の例では、フリッカー周期において、光量が低い状態（谷部Ｖ）となるのは短い時間であるが、一部のＬＥＤ光源では、フリッカー周期の約半分の期間が光量の低い状態（谷部Ｖ）で占められる場合がある。このため、再設定フレーム周期は、設定フレーム周期の半分以下にすることが好ましい。これにより、光源の種類によらず、フリッカーの影響を抑制することができる。又、再設定フレーム周期は、検出部１３で検出したフリッカーの位相情報に応じて設定してもよい。

【0053】

＜＜第１の実施形態の例１＞＞

次に、第１の実施形態の例１に関して説明する。図４は、撮像装置１０を使用した撮像方法（撮像工程）を示したフローチャートである。

【0054】

先ずユーザは、静止画抽出用動画撮像モードに操作部２５０を使用して設定する。その後、検出部１３により撮像された動画像データにおいてフリッカーの検出が行われる（ステップＳ１０１）。検出部１３がフリッカーを検出しなかった場合には（ステップＳ１０２のＮｏ）、撮像フレーム周期制御部１５は、ユーザが設定したフレームレート（設定フレームレート）を設定し、撮像部２０１に撮像動画像データを撮像させる（ステップＳ１０４）。

【0055】

一方、検出部１３がフリッカーを検出した場合には（ステップＳ１０２のＹｅｓ）、撮像フレーム周期制御部１５は撮像フレームレートをユーザが設定したフレームレートより高いフレームレート（再設定フレームレート）を設定する（ステップＳ１０３）。すなわち、撮像フレーム周期制御部１５が設定フレーム周期から周期が短い再設定フレーム周期に変更して撮像部２０１に撮像動画像データを撮像させる。尚、このようにフレームレートが変更された場合には、モニタ２７０によりユーザに通知してもよい。

【0056】

その後、制御部２４０は、ユーザからの動画記録開始指示が有るか否かを判定し（ステップＳ１０５）、動画記録開始指示がある場合には動画記録を開始する（ステップＳ１０６）。次に、制御部２４０は、動画記録終了指示が有るか否かの判定（ステップＳ１０７）を行い、動画記録終了指示がある場合（ステップＳ１０７のＹｅｓ）には動画ファイルのクローズ処理を行う（ステップＳ１０９）。又、動画記録終了指示がない場合（ステップＳ１０７のＮｏ）には、制御部２４０は、動画記録が記憶メディアの記憶容量を超えているか否かを判定し（ステップＳ１０８）、記憶容量を超えている場合には動画ファイルのクローズ処理を行う（ステップＳ１０９）。

【0057】

以上で説明したように、撮像装置１０の静止画抽出用動画撮像モードで動画が撮像される場合に、フリッカーが検出されると、設定フレーム周期よりも短い再設定フレーム周期により、第１動画像データが撮像される。このように撮像された撮像動画像データは、フリッカーの影響が抑制されたフレームを設定フレーム周期で撮像された撮像動画像データより多く含む。したがって、ユーザはフリッカーの影響が抑制されたより多くのフレームの中から、所望の静止画を抽出することができる。

【0058】

＜＜第１の実施形態の例２＞＞

次に、第１の実施形態の例２に関して説明する。本例では、フリッカーが検出された場合に、設定フレーム周期が設定された露光時間に応じて決定された再設定フレーム周期に変更される。

【0059】

図５は、本例の撮像装置１０を使用した撮像方法（撮像工程）を示したフローチャートである。

【0060】

先ずユーザは、静止画抽出用動画撮像モードに操作部２５０を使用して設定する。その後、検出部１３により撮像した動画像データにおいてフリッカーの検出が行われる（ステップＳ２０１）。検出部１３がフリッカーを検出しなかった場合には（ステップＳ２０２のＮｏ）、撮像フレーム周期制御部１５は、ユーザが設定したフレームレートを設定し、撮像部２０１に撮像動画像データを撮像させる（ステップＳ２０４）。

【0061】

一方、検出部１３がフリッカーを検出した場合には（ステップＳ２０２のＹｅｓ）、撮像フレーム周期制御部１５は撮像フレームレートをユーザが設定したフレームレートより高く且つフレームレートを「１／露光時間」に設定する（ステップＳ２０３）。すなわち、撮像フレーム周期制御部１５は、フリッカーが検出されると、設定フレーム周期から予め設定された露光時間の再設定フレーム周期に変更する。

【0062】

ここで、上述したように、静止画抽出用動画撮像モードでは一般に短い露光時間が設定さる。露光時間は例えば、撮像するシーンにもよるが、１／１２５秒から１／５００秒に設定される。そして、撮像フレーム周期制御部１５は、設定フレーム周期をこの設定された露光時間がフレーム周期となる再設定フレーム周期に変更する。又、装置が設定可能な最小のフレーム周期よりも設定された露光時間が短い場合は、撮像フレーム周期制御部１５は、再設定フレーム周期を設定可能な最小のフレーム周期とする。尚、静止画抽出用動画撮像モードでは露光時間が短く設定されることから、このように設定された第２のフレーム周期は、予め設定された設定フレーム周期よりも短い再設定フレーム周期となる。

【0063】

その後、制御部２４０は、ユーザからの動画記録開始指示が有るか否かを判定し（ステップＳ２０５）、動画記録開始指示がある場合には動画記録を開始する（ステップＳ２０６）。次に、制御部２４０は、動画記録終了指示が有るか否かの判定（ステップＳ２０７）を行い、動画記録終了指示がある場合（ステップＳ２０７のＹｅｓ）には動画ファイルのクローズ処理を行う（ステップＳ２０９）。又、動画記録終了指示がない場合（ステップＳ２０７のＮｏ）には、制御部２４０は、動画記録が記憶メディアの記憶容量を超えているか否かを判定し（ステップＳ２０８）、記憶容量を超えている場合には動画ファイルのクローズ処理を行う（ステップＳ２０９）。

【0064】

以上のように本例では、フリッカーが検出されると、設定フレーム周期が静止画抽出用動画撮像モードで設定された露光時間である再設定フレーム周期に変更されるので、ユーザが設定した露光時間で露光され、フリッカー影響が抑制されたより多くのフレームを得ることができる。

【0065】

＜第２の実施形態＞

次に、第２の実施形態に関して説明する。本実施形態では、撮像フレームレート及び記録フレームレートが独立に制御される。ここで記録フレームレートとは記憶部２６０に記憶される動画像データ（以下、記録動画像データという）のフレームレートのことである。

【0066】

図６は、制御部２４０で実現される機能の構成例を示すブロック図である。尚、図２で既に説明を行った箇所は同じ符号を付し説明を省略する。

【0067】

制御部２４０は、画像取得部１１、検出部１３、撮像フレーム周期制御部１５、及び記録動画像データ生成部１７を備える。

【0068】

記録動画像データ生成部１７は、撮像素子２１０で撮像された動画像データを処理して、記録用の記録動画像データを生成する。具体的には記録動画像データ生成部１７は、再設定フレーム周期の撮像動画像データを取得し、再設定フレーム周期より長い記録フレーム周期に変更した記録動画像データを生成する。記録動画像データ生成部１７は、記憶部２６０に記録動画像データを記憶させる際に、再設定フレーム周期で撮像された撮像動画像データのフレームを間引くことにより記録フレーム周期に変更し、記録動画像データを生成する。又、記録動画像データ生成部１７は、記憶部２６０に記録動画像データを記憶させる際に、再設定フレーム周期で撮像された撮像動画像データの隣接するフレームを合成することにより記録フレーム周期に変更し、記録フレーム周期の記録動画像データを生成する。又、記録動画像データ生成部１７は、一旦撮像動画像データをそのまま記憶部２６０に記憶させて、記録動画データの再生のフレーム周期に関する情報を書き換えることにより、再設定フレーム周期を記録フレーム周期に変更することができる。例えば、記録動画像データのヘッダー情報又はタイムコードの情報を記録フレーム周期での再生を行うよう書き換えることにより、再設定フレーム周期を記録フレーム周期に変更する。

【0069】

本態様では、例えば、静止画抽出用動画モードにおいて、撮影動画像データの設定フレーム周期と記録動画像データの記録フレーム周期は予め同じ値に設定され、フリッカーが検出された場合に、撮影動画像データのフレーム周期のみを設定フレーム周期から設定フレーム周期よりも短い再設定フレーム周期に変更される。例えば、撮像動画像データ、及び記録動画像データのフレーム周期が１／３０ｓに設定されている場合において、フリッカーが検出されると、撮像動画像データのフレーム周期（再設定フレーム周期）を１／１２０ｓに変更し、動画像データ生成部は、フレーム周期１／１２０ｓで取得された撮像動画像データからフレーム周期（記録フレーム周期）が１／３０ｓの記録動画像データを生成する。これにより、フリッカーの影響を抑止すると同時に、記録動画像データのフレームレートを一般的に用いられる動画規格（２４ｆｐｓ/２５ｆｐｓ/３０ｆｐｓ/６０ｆｐｓ等）に沿ったものとすることできる。これにより、記録動画像データは、汎用のコンピュータアプリケーションでも扱え、汎用性が向上する。尚、上述の例ではフリッカーが検出された場合に記録フレーム周期は変更されないが、予め用意された選択肢（２４ｆｐｓ/２５ｆｐｓ/３０ｆｐｓ/６０ｆｐｓ等）よりユーザが事前に選択したフレーム周期に変更するようにしてもよい。

【0070】

＜＜第２の実施形態の例１＞＞

次に、第２の実施形態の例１に関して説明する。図７は、本例の撮像装置１０を使用した撮像方法（撮像工程）を示したフローチャートである。尚、本例では、記録動画像データ生成部１７は、記録動画像データのヘッダー情報において再生フレーム周期を書き換えることにより、再設定フレーム周期を記録フレーム周期に変更する。

【0071】

先ずユーザは、静止画抽出用動画撮像モードに操作部２５０を使用して設定する。その後、検出部１３により撮像動画像データにおいてフリッカーの検出が行われる（ステップＳ３０１）。検出部１３がフリッカーを検出しなかった場合には（ステップＳ３０２のＮｏ）、撮像フレーム周期制御部１５は、ユーザが設定したフレームレートを設定し、撮像部２０１に撮像動画像データを撮像させる（ステップＳ３０４）。

【0072】

一方、検出部１３がフリッカーを検出した場合には（ステップＳ３０２のＹｅｓ）、撮像フレーム周期制御部１５は撮像フレームレートをユーザが設定したフレームレート（設定フレームレート）より高いフレームレート（再設定フレームレート）に設定する（ステップＳ３０３）。

【0073】

その後、記録動画像データ生成部１７は、ユーザからの動画記録開始指示が有るか否かを判定し（ステップＳ３０５）、動画記録開始指示がある場合には動画記録を開始する（ステップＳ３０６）。すなわち、記録動画像データ生成部１７は、記録動画像データの生成を開始する。

【0074】

次に、記録動画像データ生成部１７は、動画記録終了指示が有るか否かの判定（ステップＳ３０７）を行う。記録動画像データ生成部１７は、動画記録終了指示がある場合（ステップＳ３０７のＹｅｓ）には、記録フレームレートをユーザが予め設定したフレームレートに設定して動画ファイルをクローズ処理する（ステップＳ３０９）。具体的には記録動画像データ生成部１７は、ユーザが予め設定したフレームレートで再生するように、動画ファイルのヘッダー情報を書き換えることにより、再設定フレームレート（再設定フレーム周期）から記録フレーム周期（記録フレームレート）への変更を行う。

【0075】

又、動画記録終了指示がない場合（ステップＳ３０７のＮｏ）には、記録動画像データ生成部１７は、記録動画像データの記録が記憶メディアの記憶容量を超えているか否かを判定する（ステップＳ３０８）。記憶容量を超えている場合には、上述したように記録動画像データ生成部１７により、記録フレームレートをユーザが設定したフレームレートに設定して動画ファイルをクローズ処理が行われる（ステップＳ３０９）。

【0076】

検出部１３がフリッカーを検出し、撮像動画像データのフレームレートが、予め設定された設定フレームレート（設定フレーム周期）から再設定フレームレート（再設定フレーム周期）に変更された場合、変更後の再設定フレームレート（再設定フレーム周期）が、動画規格として一般的に用いられないフレーム周期となる場合がある。本例では、このような場合であっても、記録動画像データのフレームレートを一般的に用いられる動画規格（２４ｆｐｓ/３０ｆｐｓ/６０ｆｐｓ等）に沿ったものとすることできる。これにより、記録動画像データは、汎用のコンピュータアプリケーションでも扱え、汎用性が向上する。

【0077】

＜第３の実施形態＞

次に、第３の実施形態に関して説明する。本実施形態ではフリッカーの位相情報が取得される。

【0078】

図８は、制御部２４０で実現される機能の構成例を示すブロック図である。尚、図２及び図６で既に説明を行った箇所は同じ符号を付し説明を省略する。

【0079】

制御部２４０は、画像取得部１１、検出部１３、撮像フレーム周期制御部１５、記録動画像データ生成部１７、及びフリッカー情報取得部１９を備える。

【0080】

フリッカー情報取得部１９は、検出部１３で検出されたフリッカーの位相に関する位相情報を取得する。位相情報とは、フリッカーに関連する様々な情報が含まれる。例えば位相情報とは、フリッカーの周期、フリッカーによる輝度変化、フリッカーによる色変化、及びフリッカー環境下でのフレームの露光タイミングに関する情報が含まれる。又、位相情報はフリッカーの周期、及び、フリッカーによる輝度変化等から推定される被写体の光源情報（ＬＥＤ、蛍光灯）を含んでもよい。

【0081】

＜＜第３の実施形態の例１＞＞

次に、第３の実施形態の例１に関して説明する。本例では、フレーム毎の位相情報を取得し、各フレームに対応づけて位相情報を保存する。そして、静止画抽出用動画撮像モードにおける静止画抽出の際に位相情報を参照可能として、ユーザの静止画抽出を補助する。この場合、記録動画像データ生成部１７は、位相情報が付加された記録動画像データを生成する。

【0082】

図９は、撮像装置１０を使用した撮像方法（撮像工程）を示したフローチャートである。

【0083】

先ずユーザは、静止画抽出用動画撮像モードに操作部２５０を使用して設定する。その後、検出部１３により撮像動画像データにおいてフリッカーの検出が行われる（ステップＳ４０１）。検出部１３がフリッカーを検出しなかった場合には（ステップＳ４０２のＮｏ）、撮像フレーム周期制御部１５は、ユーザが設定したフレームレートを設定し、撮像部２０１に撮像動画像データを撮像させる（ステップＳ４０４）。

【0084】

一方、検出部１３がフリッカーを検出した場合には（ステップＳ４０２のＹｅｓ）、撮像フレーム周期制御部１５は、撮像フレームレートをユーザが設定したフレームレート（設定フレームレート）より高いフレームレート（再設定フレームレート）に設定する（ステップＳ４０３）。

【0085】

その後、記録動画像データ生成部１７は、ユーザからの動画記録開始指示が有るか否かを判定し（ステップＳ４０５）、動画記録開始指示がある場合には動画記録を開始する（ステップＳ４０６）。

【0086】

次に、フリッカー情報取得部１９は、位相情報を取得する（ステップＳ４０７）。フリッカー情報取得部１９は、検出部１３での検出結果に基づいて位相情報を取得する。そして、記録動画像データ生成部１７は、各フレームに位相情報が付与された記録動画像データを生成する（ステップＳ４０８）。

【0087】

次に、記録動画像データ生成部１７は、動画記録終了指示が有るか否かの判定（ステップＳ４０９）を行い、動画記録終了指示がある場合（ステップＳ４０９のＹｅｓ）には動画ファイルのクローズ処理を行う（ステップＳ４１１）。又、動画記録終了指示がない場合（ステップＳ４０９のＮｏ）には、記録動画像データ生成部１７は、動画記録が記憶メディアの記憶容量を超えているか否かを判定し（ステップＳ４１０）、記憶容量を超えている場合には動画ファイルのクローズ処理を行う（ステップＳ４１１）。

【0088】

以上で説明したように、記録動画像データの各フレームに位相情報を対応付けて保存することにより、ユーザが静止画を抽出する際に対応付けされた位相情報を参照可能として、フリッカーの有無に関する情報を提供することができる。これにより、ユーザの静止画の抽出を補助することができる。

【0089】

＜＜第３の実施形態の例２＞＞

次に、第３の実施形態の例２に関して説明する。本例では、各フレームに対応付けられた位相情報があれば、その情報からフリッカーの有無を判定し、その結果を抽出候補フレームに重畳して表示する。静止画の抽出時に、フリッカーの発生有無をユーザに伝えることで、静止画抽出の選択の補助を行う。

【0090】

モニタ（表示部）２７０（図１）は、位相情報を記録動画像データと共にモニタ２７０に表示する。例えばモニタ２７０は、位相情報を記録動画像データを構成するフレームに重畳させて表示する。又、モニタ２７０は、記録動画像データを構成する複数のフレームから、制御部２４０に備えられる抽出部（不図示）により位相情報を用いてフレームを抽出し、抽出されたフレームを表示してもよい。例えば抽出部は、位相情報に基づいて、各フレームにおける光源の明暗状態を判定し、明状態のフレームを抽出する。

【0091】

図１０は、記録動画像データを構成フレームから静止画を抽出する工程を示したフローチャートである。

【0092】

先ず、制御部２４０は静止画抽出モードを開始させる（ステップＳ５０１）。その後、モニタ２７０に記録動画像データを構成するフレームが順次表示され、ユーザは操作部２５０を介してフレーム（静止画）を選択する（ステップＳ５０２）。次に、フリッカー情報取得部１９は、選択されたフレームに位相情報が有るか否かを判定する（ステップＳ５０３）。フリッカー情報取得部１９が選択されたフレームに位相情報が無いと判定した場合には、モニタ２７０は位相情報を表示せずに選択されたフレームを表示する（ステップＳ５０６）。

【0093】

一方、フリッカー情報取得部１９が選択されたフレームに位相情報が有ると判定した場合には、フリッカー情報取得部１９は位相情報から被写体を照らす光源の明暗状態を判定する（ステップＳ５０４）。具体的には、位相情報として輝度変化、又は色変化を取得した場合には閾値に基づいて、光源の明暗状態を判定する。又、位相情報として、フリッカー周期又は露光タイミングを取得した場合であっても、これらの情報からフリッカーの明暗状態の判定を行ってもよい。

【0094】

その後、モニタ２７０は、被写体を照らす光源の明暗状態を示す情報をフレームに重畳して表示する（ステップＳ５０５）。その後、フレーム抽出の指示が操作部２５０を介して有った場合には（ステップＳ５０７のＹｅｓ）、記録動画像データ生成部１７は、指示を受けたフレームを抽出する（ステップＳ５０８）。そして、この場合モニタ２７０は、抽出されたフレームを表示してもよい。その後、ユーザが操作部２５０を介して静止画抽出モードの終了指示が有った場合には、制御部２４０は静止画抽出モードを終了させる（ステップＳ５０９及びステップＳ５１０）。

【0095】

以上で説明したように、記録動画像データを構成する各フレームに対応付けられた位相情報を用いて光源の明暗状態を判定し、その結果を抽出候補フレームに重畳して表示する。これにより、ユーザの静止画の抽出を補助することができる。本例では、光源の明暗状態を抽出候補フレームに重畳して表示しているが、フリッカー情報取得部１９が位相情報から光源が暗状態を判定した場合（ステップＳ５０４）は、選択されたフレームを表示する代わりに選択されたフレーム前後の光源が明状態のフレームを表示してもよい。これにより、ユーザは、フリッカーが存在する場合において、光源が明状態の静止画を抽出することができる。

【0096】

＜＜第３の実施形態の例３＞＞

次に、第３の実施形態の例３に関して説明する。本例では、取得した位相情報を利用して、記録動画像データに使用されるフレームが選択される。

【0097】

図１１は、撮像装置１０を使用した撮像方法（撮像工程）を示したフローチャートである。

【0098】

先ずユーザは、静止画抽出用動画撮像モードに操作部２５０を使用して設定する。その後、検出部１３により撮像動画像データにおいてフリッカーの検出が行われる（ステップＳ６０１）。検出部１３がフリッカーを検出しなかった場合には（ステップＳ６０２のＮｏ）、撮像フレーム周期制御部１５は、ユーザが設定したフレームレートを設定し、撮像部２０１に撮像動画像データを撮像させる（ステップＳ６０４）。

【0099】

一方、検出部１３がフリッカーを検出した場合には（ステップＳ６０２のＹｅｓ）、撮像フレーム周期制御部１５は撮像フレームレートをユーザが設定したフレームレート（設定フレームレート）より高いフレームレート（再設定フレームレート）に設定する（ステップＳ６０３）。

【0100】

その後、記録動画像データ生成部１７は、ユーザからの動画記録開始指示が有るか否かを判定し（ステップＳ６０５）、動画記録開始指示がある場合には動画記録を開始する（ステップＳ６０６）。

【0101】

次に、記録動画像データ生成部１７は、撮像動画像データを保持する（ステップＳ６０７）。ここで、保持するとは一時的な保存又は記憶を意味し、記憶部２６０を利用して行われる。その後、記録動画像データ生成部１７により、保持している撮像動画像データを構成するフレームから、位相情報を参照してフリッカーの影響が少ないフレームを抽出する（ステップＳ６０８）。具体的には、記録動画像データ生成部１７は、位相情報に基づいて、各フレームにおける光源の明暗状態を判定し、明状態のフレームを抽出する。例えば、６０ｆｐｓで再設定フレームレートが設定されている場合であっても、ユーザが設定したフレームレート（設定フレームレート）が３０ｆｐｓである場合には、記録フレームレートを３０ｆｐｓにする。このような場合には、６０ｆｐｓの撮像動画像データから３０ｆｐｓの記録動画像データを生成するためのフレームを上位ランクのフレームから順に選択する。

【0102】

次に、記録動画像データ生成部１７は、動画記録終了指示が有るか否かの判定（ステップＳ６０９）を行い、動画記録終了指示がある場合（ステップＳ６０９のＹｅｓ）には、記録フレームレートをユーザ設定値にして動画ファイルのクローズ処理を行う（ステップＳ６１１）。又、動画記録終了指示がない場合（ステップＳ６０７のＮｏ）には、制御部２４０は、動画記録が記憶メディアの記憶容量を超えているか否かを判定し（ステップＳ６１０）、記憶容量を超えている場合には動画ファイルのクローズ処理を行う（ステップＳ６１１）。

【0103】

以上で説明したように、記録動画像データを構成するフレームを位相情報に基づいて抽出することにより、記憶容量を効率的に使用することができ、且つ、ユーザが静止画を選択する際に効率的な選択を行うことができる。

【0104】

＜＜第３の実施形態の例４＞＞

次に、第３の実施形態の例４に関して説明する。本例では、特定の位相範囲のみでフレームの露光、又は特定の位相範囲のみのフレームで記録動画像データが構成される。

【0105】

静止画抽出用動画撮像モードでは、記録動画像データを構成するフレームからフレーム（静止画）を抽出することを前提としているので、必ずしも等間隔でフレームを取得する必要はない。したがって本例では、フリッカーにより光源が暗くなるタイミングでは露光しない、又は露光してもそのフレームを記録動画像データに用いないように制御する。

【0106】

図１２は、特定の位相範囲のみでフレームの露光、又は特定の位相範囲のみのフレームで記録動画像データが構成されることを説明する図である。図１２に示すようにフリッカー情報取得部１９は、位相情報としてフリッカーによる光源の光量の変化特性を示す特性曲線Ｌを得る。そして、撮像部２０１は、位相情報に基づいて特定の範囲で撮像を行わない。具体的には、撮像部２０１は、再設定フレームレートにおいて撮像を行う場合であっても、不要位相範囲Ｒにおいては撮像を行わない。一方で撮像部２０１は、ピーク位相範囲Ｑにおいては再設定フレームレートに基づいて撮像Ｓを行う。又、記録動画像データ生成部１７は、不要位相範囲Ｒで撮像されたフレームを使用せずに、ピーク位相範囲Ｑで撮像Ｓされたフレームのみを使用して記録動画像データを生成する。この場合には、位相情報として、フリッカーの位相と撮像タイミングに関する情報が各フレームに対応付けられている。

【0107】

以上で説明したように、特定の位相範囲のみでフレームの露光、又は特定の位相範囲のみのフレームで記録動画像データが構成されることにより、記憶容量を効率的に使用することができる。

【0108】

＜＜第３の実施形態の例５＞＞

次に、第３の実施形態の例５について説明する。本例では、位相情報に基づいて、再設定フレーム周期での撮像タイミングを制御する。

【0109】

撮像フレーム周期制御部１５は、位相情報としてのフリッカーの位相に基づいて、再設定フレーム周期での撮像タイミングを制御する。具体的に、撮像フレーム周期制御部１５は、設定フレーム周期をより短い再設定フレーム周期にし、且つ再設定フレーム周期での撮像タイミングをフリッカーの位相とずらす。

【0110】

図１３は、フリッカー周期と各フレームの露光タイミングを示す図である。尚、図３で既に説明をした箇所は同じ符号を付し説明を省略する。図１３（Ａ）は、フリッカーにおける光量の時間変化が横軸で示される時間（ｔ）と共に示す図である。図１３（Ｂ）は、静止画抽出用動画撮像モードにおいて、設定フレーム周期での各フレームの露光タイミングが示されている。設定フレーム周期では、露光タイミングが谷部Ｖとなっており、又フリッカーの位相と設定フレーム周期での露光タイミングとが合致している。

【0111】

図１３（Ｃ）は、再設定フレーム周期での露光タイミングが示されている。再設定フレーム周期は、設定フレーム周期よりも短くなっている。又、再設定フレーム周期での撮像タイミングは、フリッカーの位相と異なるように制御されている。

【0112】

以上で説明したように、フリッカーの位相と再設定フレーム周期での撮像タイミング（露光タイミング）を異ならせることにより、適切な明るさで撮像されたフレームを多く取得することができる。

【0113】

＜スマートフォンの構成＞

上述の説明では、図１において撮像装置１０の一例として、レンズ交換式のカメラを用いて説明をしたが、本発明の適用はこれに限定されるものではない。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。尚、図１における撮像部２０１、制御部２４０、操作部２５０、記憶部２６０、及びモニタ２７０は、それぞれ図１５におけるカメラ部５４１、主制御部５０１、操作部５４０、記録部５５０、及び表示パネル５２１に対応する。

【0114】

図１４は、本発明の撮像装置１０の一実施形態であるスマートフォン５００の外観を示す図である。図１４に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。又、係る筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

【0115】

図１５は、図１４に示すスマートフォン５００の構成を示すブロック図である。図１５に示すように、スマートフォンの主たる構成要素として、基地局と移動通信網とを介した移動無線通信を行う無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記録部５５０と、外部入出力部５６０と、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。

【0116】

無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網に収容された基地局に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信、Ｗｅｂデータ及びストリーミングデータなどの受信を行う。

【0117】

表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。

【0118】

表示パネル５２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

【0119】

図１４に示すように、本発明の撮像装置１０の一実施形態として例示しているスマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

【0120】

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。又、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。又、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

【0121】

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。又、図１４に示すように、例えば、スピーカ５３１、マイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。

【0122】

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１４に示すように、操作部５４０は、スマートフォン５００の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

【0123】

記録部５５０は、主制御部５０１の制御プログラム、制御データ、アプリケーションソフトウェア、通信相手の名称及び電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータを記憶し、又ストリーミングデータなどを一時的に記憶するものである。又、記録部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記録部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの記録媒体を用いて実現される。

【0124】

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、及びＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

【0125】

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）、ＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（UserIdentity Module Card）カード、又はオーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、及びイヤホンなどがある。外部入出力部５６０は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達し、又はスマートフォン５００の内部のデータを外部機器に伝送することが可能である。

【0126】

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、及び高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

【0127】

モーションセンサ部５８０は、例えば、３軸の加速度センサ及びジャイロセンサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

【0128】

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

【0129】

主制御部５０１は、マイクロプロセッサを備え、記録部５５０が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。又、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能及びアプリケーション処理機能を備える。

【0130】

アプリケーション処理機能は、記録部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能、本発明に係る圧縮処理を行う画像処理機能などがある。

【0131】

又、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

【0132】

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

【0133】

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコン及びスクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

【0134】

又、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じてアイコンに対する操作、及びウィンドウの入力欄に対する文字列の入力を受け付け、或いはスクロールバーを通じた表示画像のスクロール要求を受け付ける。

【0135】

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域及びソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

【0136】

又、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

【0137】

カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラであり、図１に示した撮像装置１０に相当する。又、カメラ部５４１は、主制御部５０１の制御により、撮影によって得た静止画の画像データを、例えばＪＰＥＧ（Joint Photographic coding Experts Group）で圧縮し、又は動画の画像データを、例えばＨ．２６４／ＡＶＣで圧縮して記録部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１４に示すようにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、或いは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部５４１を同時に使用して撮影することもできる。

【0138】

又、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。又、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサ（ジャイロセンサ）と併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

【0139】

その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記録部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。

【0140】

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0141】

１０ ：撮像装置

１１ ：画像取得部

１３ ：検出部

１５ ：撮像フレーム周期制御部

１７ ：記録動画像データ生成部

１９ ：フリッカー情報取得部

１００ ：交換レンズ

１１０ ：ズームレンズ

１２０ ：フォーカスレンズ

１３０ ：絞り

１４０ ：レンズ駆動部

２００ ：撮像装置本体

２０１ ：撮像部

２１０ ：撮像素子

２３０ ：Ａ／Ｄ変換器

２４０ ：制御部

２５０ ：操作部

２６０ ：記憶部

２７０ ：モニタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】