特開2019-220764(P2019-220764A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

特開2019-220764取得方法、プログラムおよび撮像装置。
<>
  • 特開2019220764-取得方法、プログラムおよび撮像装置。 図000003
  • 特開2019220764-取得方法、プログラムおよび撮像装置。 図000004
  • 特開2019220764-取得方法、プログラムおよび撮像装置。 図000005
  • 特開2019220764-取得方法、プログラムおよび撮像装置。 図000006
  • 特開2019220764-取得方法、プログラムおよび撮像装置。 図000007
  • 特開2019220764-取得方法、プログラムおよび撮像装置。 図000008
  • 特開2019220764-取得方法、プログラムおよび撮像装置。 図000009
  • 特開2019220764-取得方法、プログラムおよび撮像装置。 図000010
  • 特開2019220764-取得方法、プログラムおよび撮像装置。 図000011
  • 特開2019220764-取得方法、プログラムおよび撮像装置。 図000012
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-220764(P2019-220764A)
(43)【公開日】2019年12月26日
(54)【発明の名称】取得方法、プログラムおよび撮像装置。
(51)【国際特許分類】
   H04N 5/235 20060101AFI20191129BHJP
   H04N 5/232 20060101ALI20191129BHJP
   G03B 7/093 20060101ALI20191129BHJP
【FI】
   H04N5/235 700
   H04N5/232 290
   G03B7/093
【審査請求】未請求
【請求項の数】10
【出願形態】OL
【全頁数】17
(21)【出願番号】特願2018-114851(P2018-114851)
(22)【出願日】2018年6月15日
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】野田 雅隼
【テーマコード(参考)】
2H002
5C122
【Fターム(参考)】
2H002CC01
2H002HA01
5C122DA04
5C122EA13
5C122EA42
5C122EA69
5C122FA11
5C122FH16
5C122HA13
5C122HA88
5C122HB01
5C122HB02
5C122HB05
5C122HB10
(57)【要約】
【課題】撮像駆動モードを切り替えることなく、光源の光量が最大値となるピークタイミングを取得することができる取得方法、プログラムおよび撮像装置を提供する。
【解決手段】取得方法は、フリッカー縞がない第1の画像およびフリッカー縞がある第2の画像に基づいて、フリッカー縞を抽出した第3の画像を生成し、撮像素子から画像信号を読み出す読み出し方向、撮像素子の撮像領域における測光領域および撮像素子を構成する画素の少なくとも1つに基づいて、第3の画像を分割する分割方法を判定し、分割方法に基づいて、第3の画像を水平方向に沿って複数の領域に分割し、複数の領域の各々の明るさを算出し、明るさの最明値および前記明るさの最暗値の少なくとも一方を取得し、第3の画像における最明値の領域および最暗値の領域の少なくともどちらか一方の位置に基づいて、フリッカーのピークタイミングを取得する。
【選択図】図2
【特許請求の範囲】
【請求項1】
光源のフリッカーによる光量変化が最小値となるピークタイミングを取得する取得方法であって、
予め検出されたフリッカー周期に基づいて、撮像素子からフリッカー縞が無い第1の画像を取得し、
前記フリッカー周期に基づいて、前記撮像素子から前記フリッカー縞が有る第2の画像を取得し、
前記第1の画像および前記第2の画像に基づいて、前記フリッカー縞を抽出した第3の画像を生成し、
前記撮像素子から画像信号を読み出す読み出し方向、前記撮像素子の撮像領域における測光領域および前記撮像素子を構成する画素の少なくとも1つに基づいて、前記第3の画像を分割する分割方法を判定し、
前記分割方法に基づいて、前記第3の画像を水平方向に沿って複数の領域に分割し、
前記複数の領域の各々の明るさを算出し、
前記明るさの最明値および前記明るさの最暗値の少なくとも一方を取得し、
前記第3の画像における前記最明値の前記領域および前記最暗値の前記領域の少なくともどちらか一方の位置に基づいて、前記フリッカーのピークタイミングを取得する。
【請求項2】
請求項1に記載の取得方法であって、
前記最暗値の前記領域および前記最明値の前記領域が前記第3の画像における上下端部のいずれかであるか否かを判定し、
前記最暗値の前記領域が前記上下端部のいずれかである場合、前記第3の画像における前記最暗値の前記領域の位置に基づいて、前記ピークタイミングを取得し、
前記最明値の前記領域が前記上下端部のいずれかである場合、前記第3の画像における前記最明値の前記領域の位置に基づいて、前記ピークタイミングを取得する。
【請求項3】
請求項1に記載の取得方法であって、
前記フリッカー周期および前記撮像素子が備える電子シャッタの幕速のシャッタスピードに基づいて、前記ピークタイミングを検出するための前記撮像素子によるフレーム数を算出し、
前記フレーム数に基づいて、前記撮像素子を連続的に撮像させ、
前記撮像素子が連続的に撮像した複数の画像データから前記第1の画像を取得し、
前記撮像素子が連続的に撮像した複数の画像データから前記第2の画像を取得する。
【請求項4】
請求項1に記載の取得方法であって、
前記撮像素子を備える撮像装置の撮像駆動モードにおける前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速であるか否かを判定し、
前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速でないと判定された場合、前記撮像素子の前記撮像フレームレートを前記撮像駆動モードにおいて最速な撮像フレームレートに変更する。
【請求項5】
請求項1に記載の取得方法であって、
前記撮像素子を備える撮像装置の撮像駆動モードにおける前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速であるか否かを判定し、
前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速でないと判定された場合、前記フリッカー周期と前記撮像フレームレートとに基づいて、前記ピークタイミングを検出するための前記撮像素子によるフレーム数を算出し、
前記フレーム数の数だけ前記撮像素子に撮像させ、
前記撮像素子が生成した複数の画像データの中から前記第1の画像を取得し、
前記撮像素子が生成した複数の画像データの中から前記第2の画像を取得する。
【請求項6】
請求項5に記載の取得方法であって、
前記フリッカー周期、前記撮像素子が備える電子シャッタの幕速のシャッタスピードおよび前記撮像フレームレートに基づいて、前記撮像フレームレートを変更する。
【請求項7】
請求項3〜6のいずれか一つに記載の取得方法であって、
前記撮像素子が備える電子シャッタの幕速の時間が前記フリッカー周期から前記撮像素子の撮像フレームレートの周期を減算した値の絶対値より大きいか否かを判定し、
前幕速の時間が前記絶対値より大きい場合、前記撮像フレームレートを変更する。
【請求項8】
請求項6または7に記載の取得方法であって、
前記撮像フレームレートを変更しながら、複数の前記第3の画像の各々の同一の前記領域の明るさを異ならせながら前記撮像素子を駆動する。
【請求項9】
撮像装置に実行させるプログラムであって、
予め検出されたフリッカー周期に基づいて、撮像素子からフリッカー縞が無い第1の画像を取得し、
前記フリッカー周期に基づいて、前記撮像素子から前記フリッカー縞が有る第2の画像を取得し、
前記第1の画像および前記第2の画像に基づいて、前記フリッカー縞を抽出した第3の画像を生成し、
前記撮像素子から画像信号を読み出す読み出し方向、前記撮像素子の撮像領域における測光領域および前記撮像素子を構成する画素の少なくとも1つに基づいて、前記第3の画像を分割する分割方法を判定し、
前記分割方法に基づいて、前記第3の画像を水平方向に沿って複数の領域に分割し、
前記複数の領域の各々の明るさを算出し、
前記明るさの最明値および前記明るさの最暗値の少なくとも一方を取得し、
前記第3の画像における前記最明値の前記領域および前記最暗値の前記領域の少なくともどちらか一方の位置に基づいて、光源のフリッカーによる光量変化が最小値となるピークタイミングを取得する。
【請求項10】
画像を生成する撮像素子と、
前記撮像素子の制御する制御部と、
前記画像から光源のフリッカーによる光量変化が最小値となるピークタイミングを取得する測光制御部と、
を備え、
前記測光制御部は、
予め検出されたフリッカー周期に基づいて、撮像素子からフリッカー縞が無い第1の画像を取得し、
前記フリッカー周期に基づいて、前記撮像素子から前記フリッカー縞が有る第2の画像を取得し、
前記第1の画像および前記第2の画像に基づいて、前記フリッカー縞を抽出した第3の画像を生成し、
前記撮像素子から画像信号を読み出す読み出し方向、前記撮像素子の撮像領域における測光領域および前記撮像素子を構成する画素の少なくとも1つに基づいて、前記第3の画像を分割する分割方法を判定し、
前記分割方法に基づいて、前記第3の画像を水平方向に沿って複数の領域に分割し、
前記複数の領域の各々の明るさを算出し、
前記明るさの最明値および前記明るさの最暗値の少なくとも一方を取得し、
前記第3の画像における前記最明値の前記領域および前記最暗値の前記領域の少なくともどちらか一方の位置に基づいて、前記ピークタイミングを取得する
撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、フリッカーのピークタイミングで撮像するための撮像タイミングを取得する取得方法、プログラムおよび撮像装置に関する。
【背景技術】
【0002】
近年、デジタルカメラ等の撮像装置において、フリッカー光源の光量が最大値となるタイミングと撮像タイミングとが一致するように撮影タイミングを調整する技術が知られている(特許文献1参照)。この技術では、光源のフリッカーによる露光ムラの有る第1の画像に基づいて、フリッカーの光量変化の少ないタイミングを検出し、この検出されたタイミングで第2の画像を撮像することによって、フリッカーが静止画の露光に与える影響を低減する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2015−88917号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した特許文献1では、1フレーム中の露光期間に、フリッカーの1周期以上が収まることを前提としてため、フリッカー周期より撮像装置の幕速が早い場合、光源の光量が最大値となるピークタイミングを取得することができないという問題点があった。この場合、上述した特許文献1では、幕速の遅いフリッカー検出用の撮像駆動モードに切り替えることによって露光ムラの有る第1の画像を取得しているので、撮像駆動モードの切り替え時間が発生することで、シャッタチャンスを逃してしまう可能性があった。
【0005】
本開示は、上記に鑑みてなされたものであって、撮像駆動モードを切り替えることなく、光源の光量変化が最小値となるピークタイミングを特定することができる取得方法、プログラムおよび撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本開示に係る取得方法は、光源のフリッカーによる光量変化が最小値となるピークタイミングを取得する取得方法であって、予め検出されたフリッカー周期に基づいて、撮像素子からフリッカー縞が無い第1の画像を取得し、前記フリッカー周期に基づいて、前記撮像素子から前記フリッカー縞が有る第2の画像を取得し、前記第1の画像および前記第2の画像に基づいて、前記フリッカー縞を抽出した第3の画像を生成し、前記撮像素子から画像信号を読み出す読み出し方向、前記撮像素子の撮像領域における測光領域および前記撮像素子を構成する画素の少なくとも1つに基づいて、前記第3の画像を分割する分割方法を判定し、前記分割方法に基づいて、前記第3の画像を水平方向に沿って複数の領域に分割し、前記複数の領域の各々の明るさを算出し、前記明るさの最明値および前記明るさの最暗値の少なくとも一方を取得し、前記第3の画像における前記最明値の前記領域および前記最暗値の前記領域の少なくともどちらか一方の位置に基づいて、前記フリッカーのピークタイミングを取得する。
【0007】
また、本開示に係る取得方法は、上記発明において、前記最暗値の前記領域および前記最明値の前記領域が前記第3の画像における上下端部のいずれかであるか否かを判定し、前記最暗値の前記領域が前記上下端部のいずれかである場合、前記第3の画像における前記最暗値の前記領域の位置に基づいて、前記ピークタイミングを取得し、前記最明値の前記領域が前記上下端部のいずれかである場合、前記第3の画像における前記最明値の前記領域の位置に基づいて、前記ピークタイミングを取得する取得方法。
【0008】
また、本開示に係る取得方法は、上記発明において、前記フリッカー周期および前記撮像素子が備える電子シャッタの幕速のシャッタスピードに基づいて、前記ピークタイミングを検出するための前記撮像素子によるフレーム数を算出し、前記フレーム数に基づいて、前記撮像素子を連続的に撮像させ、前記撮像素子が連続的に撮像した複数の画像データから前記第1の画像を取得し、前記撮像素子が連続的に撮像した複数の画像データから前記第2の画像を取得する。
【0009】
また、本開示に係る取得方法は、上記発明において、前記撮像素子を備える撮像装置の撮像駆動モードにおける前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速であるか否かを判定し、前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速でないと判定された場合、前記撮像素子の前記撮像フレームレートを前記撮像駆動モードにおいて最速な撮像フレームレートに変更する。
【0010】
また、本開示に係る取得方法は、上記発明において、前記撮像素子を備える撮像装置の撮像駆動モードにおける前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速であるか否かを判定し、前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速でないと判定された場合、前記フリッカー周期と前記撮像フレームレートとに基づいて、前記ピークタイミングを検出するための前記撮像素子によるフレーム数を算出し、前記フレーム数の数だけ前記撮像素子に撮像させ、前記撮像素子が生成した複数の画像データの中から前記第1の画像を取得し、前記撮像素子が生成した複数の画像データの中から前記第2の画像を取得する。
【0011】
また、本開示に係る取得方法は、上記発明において、前記フリッカー周期、前記撮像素子が備える電子シャッタの幕速のシャッタスピードおよび前記撮像フレームレートに基づいて、前記撮像フレームレートを変更する。
【0012】
また、本開示に係る取得方法は、上記発明において、前記撮像素子が備える電子シャッタの幕速の時間が前記フリッカー周期から前記撮像素子の撮像フレームレートの周期を減算した値の絶対値より大きいか否かを判定し、前幕速の時間が前記絶対値より大きい場合、前記撮像フレームレートを変更する。
【0013】
また、本開示に係る取得方法は、上記発明において、前記撮像フレームレートを変更しながら、複数の前記第3の画像の各々の同一の前記領域の明るさを異ならせながら前記撮像素子を駆動する。
【0014】
また、本開示に係るプログラムは、予め検出されたフリッカー周期に基づいて、撮像素子からフリッカー縞が無い第1の画像を取得し、前記フリッカー周期に基づいて、前記撮像素子から前記フリッカー縞が有る第2の画像を取得し、前記第1の画像および前記第2の画像に基づいて、前記フリッカー縞を抽出した第3の画像を生成し、前記撮像素子から画像信号を読み出す読み出し方向、前記撮像素子の撮像領域における測光領域および前記撮像素子を構成する画素の少なくとも1つに基づいて、前記第3の画像を分割する分割方法を判定し、前記分割方法に基づいて、前記第3の画像を水平方向に沿って複数の領域に分割し、前記複数の領域の各々の明るさを算出し、前記明るさの最明値および前記明るさの最暗値の少なくとも一方を取得し、前記第3の画像における前記最明値の前記領域および前記最暗値の前記領域の少なくともどちらか一方の位置に基づいて、光源のフリッカーによる光量変化が最小値となるピークタイミングを取得する。
【0015】
また、本開示に係る撮像装置は、画像を生成する撮像素子と、前記撮像素子の制御する制御部と、前記画像から光源のフリッカーによる光量変化が最小値となるピークタイミングを取得する測光制御部と、を備え、前記測光制御部は、予め検出されたフリッカー周期に基づいて、撮像素子からフリッカー縞が無い第1の画像を取得し、前記フリッカー周期に基づいて、前記撮像素子から前記フリッカー縞が有る第2の画像を取得し、前記第1の画像および前記第2の画像に基づいて、前記フリッカー縞を抽出した第3の画像を生成し、前記撮像素子から画像信号を読み出す読み出し方向、前記撮像素子の撮像領域における測光領域および前記撮像素子を構成する画素の少なくとも1つに基づいて、前記第3の画像を分割する分割方法を判定し、前記分割方法に基づいて、前記第3の画像を水平方向に沿って複数の領域に分割し、前記複数の領域の各々の明るさを算出し、前記明るさの最明値および前記明るさの最暗値の少なくとも一方を取得し、前記第3の画像における前記最明値の前記領域および前記最暗値の前記領域の少なくともどちらか一方の位置に基づいて、前記ピークタイミングを取得する。
【発明の効果】
【0016】
本開示によれば、撮像駆動モードを切り替えることなく、光源の光量変化が最小値となるピークタイミングを取得することができるという効果を奏する。
【図面の簡単な説明】
【0017】
図1図1は、本開示の一実施の形態に係る撮像装置の機能構成を示すブロック図である。
図2図2は、本開示の一実施の形態に係る撮像装置が実行する処理の概要を示すフローチャートである。
図3図3は、フリッカー縞が無い第1のライブビュー画像を模式的に示す図である。
図4図4は、フリッカー縞が有る第2のライブビュー画像を模式的に示す図である。
図5図5は、フリッカー縞を抽出した画像を示す図である。
図6図6は、各水平方向の領域の輝度の平均化を行った平均Bvを模式的に示す図である。
図7図7は、図2のピークタイミング算出処理の概要を示すフローチャートである。
図8図8は、フリッカーによる光量変化と撮像タイミングとの関係を示す図である。
図9図9は、複数フレームを繋いだ画像の一例を模式的に示す図である。
図10図10は、フリッカーによる光量変化と撮像タイミングとの関係を示す図である。
【発明を実施するための形態】
【0018】
以下、図面を参照して、本開示を実施するための形態(以下、「実施の形態」という)について説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付して説明する。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。すなわち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。さらに、以下の説明では、撮像装置の一例としてデジタルスチルカメラを説明する。
【0019】
〔撮像装置の構成〕
図1は、本開示の一実施の形態1に係る撮像装置の機能構成を示すブロック図である。図1に示す撮像装置1は、被写体像を結像するレンズ装置2と、レンズ装置2が着脱自在に装着される本体装置3と、を備える。なお、以下においては、レンズ装置2と本体装置3とが別体で構成されているが、これに限定されることなく、レンズ装置2と本体装置3とが一体的であってもよい。
【0020】
〔レンズ装置の構成〕
まず、レンズ装置2の構成について説明する。
レンズ装置2は、前群レンズ21と、後群レンズ22と、絞り23と、絞り駆動部24と、ズーム位置検出部25と、レンズ制御部26と、を備える。
【0021】
前群レンズ21は、後述する本体装置3の撮像素子32の受光面に光学像(被写体像)を結像するため所定の視野領域から光を集光する。前群レンズ21は、1または複数のレンズを用いて構成される。また、前群レンズ21は、光軸L1軸に沿って移動することによって画角を変更する。
【0022】
後群レンズ22は、光軸L1軸に沿って移動することによって被写体像のピント位置を調整する。後群レンズ22は、1または複数のレンズを用いて構成される。
【0023】
絞り23は、絞り駆動部24の制御のもと、前群レンズ21が集光した光の入射量を制限することによって露出の調整を行う。
【0024】
絞り駆動部24は、レンズ制御部26の制御のもと、絞り23を駆動することによって絞り23の絞り値を調整する。絞り駆動部24は、ステッピングモータやDCモータ等を用いて構成される。
【0025】
ズーム位置検出部25は、光軸L1軸における前群レンズ21の位置を検出することによって、レンズ装置2の現在の画角に関するズーム情報を検出し、このズーム情報をレンズ制御部26へ出力する。ズーム位置検出部25は、例えばフォトインタラプタやエンコーダ等を用いて構成される。
【0026】
レンズ制御部26は、本体装置3から入力された制御信号に基づいて、絞り駆動部24を制御することによって、絞り23を制御する。レンズ制御部26は、例えばCPU(Central Processing Unit)等を用いて構成される。
【0027】
〔本体装置の構成〕
次に、本体装置3の構成について説明する。
本体装置3は、シャッタ31と、撮像素子32と、通信部33と、画像処理部34と、表示部35と、操作部36と、記録部37と、制御部38と、を備える。
【0028】
シャッタ31は、制御部38の制御のもと、開閉動作を行うことによって、撮像素子32の状態を露光状態または遮光状態に切り替える。また、シャッタ31は、制御部38の制御のもと、撮像素子32に入射する光の入射時間であるシャッタ速度を調整する。シャッタ31は、フォーカルプレーンシャッタ等のメカシャッタを用いて構成される。
【0029】
撮像素子32は、レンズ装置2が集光した被写体像を受光して光電変換を行うことによって画像データを生成する複数の画素が2次元マトリクス状に配置されたCMOS(Complementary Metal Oxide Semiconductor)等の撮像イメージセンサを用いて構成される。撮像素子32は、制御部38の制御のもと、所定のフレームレートで画像データを生成し、この画像データを画像処理部34へ出力する。また、撮像素子32は、制御部38の制御のもと、電子シャッタ、例えばローリングシャッタによって水平方向の画素ライン毎に順次読み出して画像処理部34へ出力する。また、撮像素子32は、制御部38の制御のもと、グローバルシャッタを行ってもよい。なお、撮像素子32は、受光面にベイヤー配列のカラーフィルタが配置されてなる。もちろん、撮像素子32は、ベイヤー配列以外にも、位相差を検出するためのフィルタがベイヤー配列のカラーフィルタに設けられていてもよい。さらに、撮像素子32は、ベイヤー配列以外に、補色フィルタ、例えばマゼンダ、イエローおよびシアンが配置された補色フィルタされてもよい。
【0030】
通信部33は、通信部33は、制御部38から入力された制御信号をレンズ装置2のレンズ制御部26へ送信するとともに、レンズ制御部26から入力された各種信号、例えばレンズ装置2の画角等を含む信号を制御部38へ出力する。なお、通信部33は、所定の通信規格に従って有線または無線によって制御信号や各種信号を双方向に送受信する。
【0031】
画像処理部34は、撮像素子32から入力された画像データに対して所定の画像処理を行って表示部35へ出力する。画像処理部34は、例えばゲインアップ処置、ホワイトバランス調整処理デモザイキング処理等の現像処理を行って表示部35、記録部37および制御部38へ出力する。
【0032】
表示部35は、画像処理部34から入力された画像データに対応する画像やライブビュー画像を表示する。表示部35は、有機EL(Electro Luminescence)や液晶等の表示パネルを用いて構成される。
【0033】
操作部36は、撮像装置1に関する各種操作の入力を受け付ける。具体的には、操作部36は、撮像装置1に撮影を指示する指示信号や撮像装置1の撮像駆動モードを変更する指示信号の入力を受け付け、受け付けた指示信号を制御部38へ出力する。操作部36は、タッチパネル、スイッチ、ボタン、ジョイスティックおよびダイヤル等を用いて構成される。
【0034】
記録部37は、撮像装置1に関する各種情報を記録する。記録部37は、撮像装置1が実行する各種プログラムを記録するプログラム記録部371と、画像データを記録する画像データ記録部372と、を有する。記録部37は、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成される。
【0035】
制御部38は、撮像装置1を構成する各部を統括的に制御する。制御部38は、CPU、FPGA(Field Programmable Gate Array)およびASIC(Application Specific Integrated Circuit)等を用いて構成される。制御部38は、算出部381と、動作制御部382と、撮像制御部383と、測光制御部384と、を有する。
【0036】
算出部381は、撮像素子32が生成した画像データおよび測光制御部384の測光結果に基づいて、撮像装置1が撮像する際の最適な露出を算出する。
【0037】
動作制御部382は、算出部381が算出した算出結果に基づいて、シャッタ31のシャッタ速度および絞り23の動作を制御する。
【0038】
撮像制御部383は、撮像素子32の動作を制御する。具体的には、撮像制御部383は、撮像素子32の撮像フレームレート(表示フレームレート)、ISO感度を制御する。また、撮像制御部383は、操作部36から撮影を指示する指示信号が入力された場合、測光制御部384の測光結果およびフリッカーのピークタイミングの検出結果に基づいて、撮像素子32に撮影を実行させる。
【0039】
測光制御部384は、予め検出されたフリッカー周期に基づいて、撮像素子32からフリッカー縞が無い第1の画像を取得し、フリッカー周期に基づいて、撮像素子32からフリッカー縞が有る第2の画像を取得し、第1の画像および第2の画像に基づいて、フリッカー縞を抽出した第3の画像を生成し、撮像素子32から画像信号を読み出す読み出し方向、撮像素子32の撮像領域における測光領域および撮像素子32を構成する画素の少なくとも1つに基づいて、第3の画像を分割する分割方法を判定し、分割方法に基づいて、第3の画像を水平方向に沿って複数の領域に分割し、複数の領域の各々の明るさを算出し、明るさの最明値および明るさの最暗値の少なくとも一方を取得し、第3の画像における最明値の領域および最暗値の領域の少なくともどちらか一方の位置に基づいて、ピークタイミングを取得する。
【0040】
〔撮像装置の処理〕
次に、撮像装置1が実行する処理について説明する。
図2は、撮像装置1が実行する処理の概要を示すフローチャートである。
【0041】
図2に示すように、撮像装置1が既に光源のフリッカー周期を検出済みである場合(ステップS101:Yes)、撮像装置1は、後述するステップS105へ移行する。これに対して、撮像装置1が既に光源のフリッカー周期を検出済みでない場合(ステップS101:No)、撮像装置1は、後述するステップS102へ移行する。
【0042】
ステップS102において、撮像装置1は、光源のフリッカー周期を検出するフリッカー周期の検出を行う。具体的には、測光制御部384は、周知の技術を用いて光源によるフリッカー周期を検出する。例えば、測光制御部384は、撮像素子32が生成した画像データに対応する複数のライブビュー画像に基づいて、時間的に前後する2つのライブビュー画像からフリッカーが発生した水平ラインの垂直方向の距離または位置に基づいて、光源のフリッカー周期(例えば50Hzまたは60Hz)を検出する。
【0043】
続いて、測光制御部384がフリッカー周期を検出できた場合(ステップS103:Yes)、撮像装置1は、後述するステップS105へ移行する。これに対して、測光制御部384がフリッカー周期を検出できなかった場合(ステップS103:No)、撮像装置1は、後述するステップS104へ移行する。
【0044】
ステップS104において、撮像制御部383は、撮像素子32に通常のライブビュー画像を生成させる通常ライブビュー画像露出動作を実行させる。具体的には、撮像制御部383は、測光制御部384が算出した撮像素子32の画像データに基づく測光による輝度値に基づいて、適正露出となるように撮像素子32の駆動を制御する。ステップS104の後、撮像装置1は、後述するステップS109へ移行する。
【0045】
ステップS105において、撮像制御部383は、撮像素子32の露光時間TvとISO感度Svとを制御することによって、撮像素子32に光源のフリッカーを検出するためのピーク検出用ライブビュー画像露出動作を実行させる。具体的には、撮像制御部383は、フリッカー周期に基づいて、ライブビュー画像にフリッカー縞が無い第1のライブビュー画像と、フリッカー縞が有る第2のライブビュー画像を撮像素子32に生成させる。
【0046】
続いて、測光制御部384は、ステップS105において生成した第1のライブビュー画像と第2のライブビュー画像とに基づいて、フリッカー縞を抽出するフリッカー縞抽出処理を実行する(ステップS106)。ステップS106の後、撮像装置1は、後述するステップS107へ移行する。
【0047】
図3は、フリッカー縞が無い第1のライブビュー画像を模式的に示す図である。図4は、フリッカー縞が有る第2のライブビュー画像を模式的に示す図である。図5は、フリッカー縞を抽出した画像を示す図である。図6は、各測光領域の被写体輝度を水平方向毎に平均化を行った被写体輝度Bvを模式的に示す図である。
【0048】
図3図6に示すように、測光制御部384は、第1のライブビュー画像P1と第2のライブビュー画像P2とに基づいて、フリッカー縞を抽出した第3の画像P3を生成する。そして、図6に示すように、測光制御部384は、第3の画像P3の各水平方向の測光領域の被写体輝度値Bvを水平方向毎に平均化を行った第3の画像P4を生成する。
【0049】
図2に戻り、ステップS107以降の説明を続ける。
ステップS107において、測光制御部384は、光源の光量変化が最小値となるピークタイミングを算出するピークタイミング算出処理を実行する。ステップS107の後、撮像装置1は、後述するステップS108へ移行する。
【0050】
〔ピークタイミング算出処理〕
図7は、上述した図2のステップS107のピークタイミング算出処理の概要を示すフローチャートである。
【0051】
図7に示すように、まず、撮像素子32の電子シャッタによる幕速の時間がフリッカー1周期の時間より長い場合(ステップS201:Yes)、測光制御部384は、手法1を実行する(ステップS202)。ステップS202の後、撮像装置1は、図2のメインルーチンへ戻る。
【0052】
[手法1]
ここで、測光制御部384が実行する手法1について説明する。
測光制御部384は、図6に示す第3の画像P4の各水平方向の被写体輝度値Bvを平均化した平均値(以下、「平均値ΔBvEx_XAve」という)に基づいて、光源のフリッカーによる光量変化が最小値となるピークタイミングを取得する。具体的には、測光制御部384は、第3の画像P4の各領域の平均値ΔBvEx_XAveのうち、平均値ΔBvEx_XAveの最大値または最小値の位置を基準にフリッカーのピークタイミングを特定する。例えば、図6に示す場合、測光制御部384は、平均値ΔBvEx_XAveの最小値である第3の画像P4の領域L4の位置を基準にフリッカーのピークタイミングを特定する。この場合測光制御部384は、平均値ΔBvEx_XAveの最小値である第3の画像P4の領域L4の位置からフリッカー周期の1/2周期ずらした位置がピークタイミングとして特定する。なお、図6では、測光制御部384は、平均値ΔBvEx_XAveの最小値の位置を基準にフリッカーのピークタイミングを特定していたが、もちろん、平均値ΔBvEx_XAveの最大値の位置を基準にフリッカーのピークタイミングを特定してもよい。この場合、測光制御部384は、平均値ΔBvEx_XAveの最大値の位置がピークタイミングとして特定する。
【0053】
ステップS201において、撮像素子32の電子シャッタによる幕速の時間がフリッカー1周期の時間より長くない場合(ステップS201:No)、撮像装置1は、ステップS203へ移行する。
【0054】
続いて、撮像素子32の電子シャッタによる幕速の時間がフリッカー1/2周期の時間より長い場合(ステップS203:Yes)、測光制御部384は、手法2または手法3を実行する(ステップS204)。ステップS204の後、撮像装置1は、図2のメインルーチンへ戻る。
【0055】
[手法2]
ここで、測光制御部384が実行する手法2について説明する。
電子シャッタによる幕速の時間がフリッカー1/2周期以上であり、フリッカー1周期未満の場合、1フレームである1つの画像内でフリッカー縞が発生するパターンには、3パターンが存在する。具体的には、1つの画像内でフリッカー縞が発生する3パターンには、画像内に暗縞が1本のみ発生するパターン(以下、単に「パターン1」という)、画像内に暗縞および明縞の各々が1本発生するパターン(以下、単に「パターン2」という)、画像内に明縞のみが1本発生するパターン(以下、単に「パターン3」)がある。
【0056】
即ち、測光制御部384は、パターン1、パターン2およびパターン3のいずれかであるか否かを判定し、この判定結果を用いて暗縞基準でフリッカーのピークタイミングを特定するか、明縞基準でフリッカーのピークタイミングを特定するかを使い分けながらフリッカーのピークタイミングを特定する。具体的には、測光制御部384は、各水平方向の領域の平均値ΔBvEx_XAveのうち、画像における平均値ΔBvEx_XAveの最大値である最明値(以下、単に「MAX」という)および平均値ΔBvEx_XAveの最小値である最暗値(以下、単に「MIN」という)の少なくともいずれか一方の位置に基づいて、フリッカーのピークタイミングを特定する。より具体的には、測光制御部384は、以下の処理(1)〜処理(3)を行うことによって、パターン1〜パターン3を判定し、この判定結果を用いてフリッカーのピークタイミングを特定する。
【0057】
まず、処理(1)について説明する。
測光制御部384は、MAXが画像内の上端または下端に位置するか否かを判定し、MAXが画像の上端または下端を位置する場合、パターン1またはパターン2として判定する。そして、測光制御部384は、画像内のMINのある位置を暗縞として特定し、この暗縞の位置を基準にフリッカーのピークタイミングを特定する。
【0058】
次に、処理(2)について説明する。
測光制御部384は、MAXが画像内の上端または下端に位置するか否かを判定し、MAXが画像の上端または下端に位置しない場合において、MINが画像内の上端または下端に位置するか否かを判定し、MINが画像内の上端または下端に位置するとき、パターン3と判定する。そして、測光制御部384は、画像内のMAXのある位置を明縞として特定し、この明縞の位置を基準にフリッカーのピークタイミングを特定する。
【0059】
最後に、処理(3)について説明する。
測光制御部384は、MAXが画像内の上端または下端に位置するか否かを判定し、MAXが画像の上端または下端に位置しない場合において、MINが画像内の上端または下端に位置するか否かを判定し、MINが画像内の上端または下端に位置しないとき、パターン2と判定する。そして、測光制御部384は、画像内のMINのある位置を暗縞として特定し、この暗縞の位置を基準にフリッカーのピークタイミングを特定する。
【0060】
このように、測光制御部384は、電子シャッタによる幕速の時間がフリッカー1/2周期の時間以上であり、フリッカー1周期の時間未満の場合、画像内のMAXまたはMINの上端または下端の位置に基づいてパターン1〜パターン3のいずれかであるか否かを判定し、この判定結果に応じた画像内の暗縞または明縞の位置を基準にフリッカーのピークタイミングを特定する。
【0061】
図7に戻り、ステップS203以降の説明を続ける。
ステップS203において、撮像素子32の電子シャッタによる幕速の時間がフリッカー1/2周期の時間より長くない場合(ステップS203:No)、撮像装置1は、ステップS205へ移行する。
【0062】
続いて、撮像素子32の現在の撮像fpsが撮像装置1に設定された撮像駆動モードにおける最速fpsである場合(ステップS205:Yes)、測光制御部384は、手法3または手法4を実行する(ステップS206)。ステップS206の後、撮像装置1は、図2のメインルーチンへ戻る。
【0063】
[手法3および手法4]
ここで、測光制御部384が実行する手法3および手法4について説明する。
撮像素子32の電子シャッタによる幕速の時間がフリッカー周期より短い場合、パターンには、2つのパターンが存在する。具体的には、2つのパターンには、フレーム間にフリッカーのMAXまたはMINが入らないパターン(以下、単に「パターンA」という)、フレーム間にフリッカーのMAXおよびMINが入らないパターン(以下、単に「パターンB」という)がある。
【0064】
図8は、フリッカーによる光量変化と撮像タイミングとの関係を示す図である。図8の(a)は、フリッカーによる光量の時間変化を示し、図8の(b)は、撮像素子32の撮像タイミングを示す。図8の(a)において、横軸が時間を示し、縦軸が光源の明るさ(光量)を示し、曲線A1がフリッカーの周期を示す。また、図8の(b)において、点線FF1が撮像素子32のフレーム期間を示し、実線FL1が撮像素子32の露光期間を示す。
【0065】
図8の曲線A1に示すように、パターンAは、1フレーム目の露光期間F1において、MAXまたはMINが入らない。また、図8の曲線A1に示すように、パターンBは、2フレーム目の露光期間F2において、MAXが入らない。
【0066】
そこで、測光制御部384は、フリッカーのピークタイミングの特定に必要なフリッカー周期の時間を判定できるように、複数フレーム間の画像を用いる。具体的には、測光制御部384は、撮像素子32の電子シャッタの幕速の時間およびフリッカー周期の時間に基づいて、判定に用いるフレーム数を算出する。
【0067】
より具体的には、測光制御部384は、ピークタイミングを特定するためのフリッカー周期の時間に対して、現在の撮像装置1の撮像駆動モードにおける撮像素子32の電子シャッタの幕速の時間で乗算することによって、判定に用いるフレーム数に算出する(フレーム数=フリッカー周期の時間/撮像素子32の電子シャッタの幕速の時間)。なお、測光制御部384は、小数点以下を切り上げる。
【0068】
例えば、測光制御部384は、ピークタイミングを特定するためのフリッカー周期が100Hzの1/2周期分である場合、100Hzの1/2周期分に対して、現在の撮像装置1の撮像駆動モードにおける撮像素子32の電子シャッタの幕速の時間で乗算することによって、判定に用いるフレーム数に算出する({(1/100)[sec]/(1/2)})/(現在の撮像装置1の撮像駆動モードにおける撮像素子32の電子シャッタの幕速の時間[sec])。なお、測光制御部384は、ピークタイミングを特定するために必要なフリッカー周期の時間がフリッカー1周期に設定されている場合、手法3を行い、ピークタイミングを特定するために必要なフリッカー周期の時間がフリッカー1/2周期に設定されている場合、手法4を行う。
【0069】
その後、測光制御部384は、上述の方法で算出したフレーム数を1フレームとして想定して、各水平方向における測光領域の平均値ΔBvEx_XAveを算出する。具体的には、図9に示すように、測光制御部384は、画像FP1および画像FP2を1つの画像とみなして、各水平方向における測光領域L11〜L24の平均値ΔBvEx_XAveを算出する。そして、測光制御部384は、手法が手法3、即ちピークタイミングを特定するために必要なフリッカー周期の時間がフリッカー1周期に設定されている場合、上述した手法1と同様の方法で、ピークタイミングを特定する。これに対して、測光制御部384は、手法が手法4、即ちピークタイミングを特定するために必要なフリッカー周期の時間がフリッカー1/2周期に設定されている場合、上述した手法2と同様の方法でピークタイミングを特定する。
【0070】
図7に戻り、ステップS205以降の説明を続ける。
ステップS205において、撮像素子32の現在の撮像fpsが撮像装置1に設定された撮像駆動モードにおける最速fpsでない場合(ステップS205:No)、撮像装置1は、ステップS207へ移行する。
【0071】
続いて、フリッカー周期による露光ムラが固定縞となる撮像fpsである場合(ステップS207:Yes)、測光制御部384は、手法6を実行する(ステップS208)。具体的には、測光制御部384は、手法8として、現在の撮像素子32の撮像fpsで固定縞が発生しない撮像fpsに変更し、撮像素子32の電子シャッタの幕速と撮像fpsに基づいて、上述した手法3、手法4および手法5のいずれかを実行する。なお、手法3,手法4の詳細な方法について説明を省略する。ステップS208の後、図2のメインルーチンへ戻る。
【0072】
[手法5]
ここで、測光制御部384が実行する手法5について説明する。
図10は、フリッカーによる光量変化と撮像タイミングとの関係を示す図である。図10の(a)は、フリッカーによる光量の時間変化を示し、図10の(b)は、撮像素子32の撮像タイミングを示す。図10の(a)において、横軸が時間を示し、縦軸が光源の明るさ(光量)を示し、曲線A1がフリッカーの周期を示す。また、図10の(b)において、点線FF1が撮像素子32のフレーム期間を示し、実線FL1が撮像素子32の露光期間を示す。
【0073】
図10に示すように、測光制御部384は、現在の撮像素子32の撮像fpsが撮像装置1の撮像駆動モードの中で最速の撮像fpsよりも低い場合、上述した手法3および手法4を実行することができない。
【0074】
そこで、手法5では、フリッカー周期から撮像fps周期を減算した値の絶対値がフレーム毎のフリッカーとの位相ズレとなる場合に着目する。即ち、測光制御部384は、撮像素子32の電子シャッタの幕速の時間がフリッカー周期から撮像fps周期を減算した値の絶対値より大きい関係が成り立っている場合、時間的に撮像するように撮像することによって、フリッカーの光量変化を隙間なく把握する。具体的には、測光制御部384は、フレーム毎の位相ズレ量が撮像素子32の露光区間に収まっているため、撮像素子32に連続して撮像させることによって、フレームの露光結果からフリッカーの変化を特定する。より具体的には、測光制御部384は、フリッカー周期に対して、フリッカー周期から撮像fpsの周期を減算した値の絶対値で除算することによって、連続で撮像するフレーム数を算出する(フレーム数=(フリッカー周期/|(フリッカー周期−撮像fps周期)|))。なお、測光制御部384は、フリッカー周期に対して、フリッカー周期から撮像fpsの周期を減算した値の絶対値で除算した値に余りが生じる場合、小数点以下を切り上げた値を連続で撮像するフレーム数として算出する。そして、測光制御部384は、フレーム数に応じた画像の平均値ΔBvEx_XAveのうち、画像内におけるMXAまたはMINの位置を基準にフリッカーのピークタイミングを特定する。
【0075】
ステップS207において、フリッカー周期による露光ムラが固定縞となる撮像fpsでない場合(ステップS207:No)、撮像装置1は、後述するステップS209へ移行する。
【0076】
続いて、撮像素子32の電子シャッタによる幕速の時間がフリッカー周期の時間から撮像fpsの周期の時間を減算した時間より長い場合(ステップS209:Yes)、測光制御部384は、手法5または手法6を実行する(ステップS210)。ステップS210の後、撮像装置1は、図2のメインルーチンへ戻る。
【0077】
ステップS209において、撮像素子32の電子シャッタによる幕速の時間がフリッカー周期の時間から撮像fpsの周期の時間を減算した時間より長くない場合(ステップS209:No)、測光制御部384は、手法6または手法7を実行する(ステップS211)。手法7は、撮像素子32の電子シャッタによる幕速の時間が、フリッカー周期から撮像fpsの周期を減算した値の絶対値より大きく、かつ、フリッカーによる固定縞が画像内に発生しない撮像fpsに変更する。ステップS211の後、撮像装置1は、図2のメインルーチンへ戻る。
【0078】
図2に戻り、ステップS108以降の説明を続ける。
ステップS108において、制御部38は、上述したステップS107で算出したピークタイミングと撮像装置1が設定されている撮像駆動モードのフレームレートとに基づいて、撮像素子32が露光する露光開始タイミングを算出する。
【0079】
続いて、操作部36から撮影を指示する指示信号が入力された場合(ステップS109:Yes)、撮像装置1は、後述するステップS110へ移行する。これに対して、操作部36から撮影を指示する指示信号が入力されていない場合(ステップS109:No)、撮像装置1は、後述するステップS113へ移行する。
【0080】
ステップS110において、露光開始タイミングが算出済みである場合(ステップS110:Yes)、撮像装置1は、後述するステップS111へ移行する。これに対して、露光開始タイミングが算出済みでない場合(ステップS110:No)、撮像装置1は、後述するステップS112へ移行する。
【0081】
ステップS111において、撮像制御部383は、測光制御部384によって特定されたフリッカーのピークタイミングまで撮像素子32の露光開始タイミングを待機させて撮像素子32に静止画を撮影させる。ステップS111の後、撮像装置1は、後述するステップS114へ移行する。
【0082】
ステップS112において、制御部38は、撮像素子32に通常タイミングで静止画を撮影させる。ステップS112の後、撮像装置1は、後述するステップS114へ移行する。
【0083】
ステップS113において、制御部38は、撮像素子32にライブビュー画像を表示部41に表示させる。ステップS113の後、撮像装置1は、後述するステップS114へ移行する。
【0084】
ステップS114において、操作部36から撮影を終了する指示信号が入力された場合(ステップS114:Yes)、撮像装置1は、本処理を終了する。これに対して、操作部36から撮影を終了する指示信号が入力されていない場合(ステップS114:No)、撮像装置1は、上述したステップS101へ戻る。
【0085】
以上説明した本開示の一実施の形態によれば、撮像駆動モードを切り替えることなく、光源の光量変化が最小値となるピークタイミングを特定することができる。
【0086】
また、本開示の一実施の形態によれば、撮像駆動モードを幕速の遅い撮像駆動モードに切り替える必要がないので、処理時間の増加やシステムが複雑化することを防止することができる。
【0087】
(その他の実施の形態)
上述した本開示の一実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の一実施の形態に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の一実施の形態で説明した構成要素を適宜組み合わせてもよい。
【0088】
また、本開示の一実施の形態では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【0089】
また、本開示の一実施の形態に係る撮像装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0090】
また、本開示の一実施の形態に係る撮像装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本開示の一実施の形態に係る撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【0091】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、ユーザにマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。
【0092】
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【符号の説明】
【0093】
1・・・撮像装置;2・・・レンズ装置;3・・・本体装置;21・・・前群レンズ
;22・・・後群レンズ;23・・・絞り;24・・・絞り駆動部;25・・・ズーム位置検出部;26・・・レンズ制御部;31・・・シャッタ;32・・・撮像素子;33・・・通信部;34・・・画像処理部;35・・・表示部;36・・・操作部;37・・・記録部;38・・・制御部;41・・・表示部;371・・・プログラム記録部;372・・・画像データ記録部;381・・・算出部;382・・・動作制御部;383・・・撮像制御部;384・・・測光制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10