IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特開2025-62864撮像装置、その制御方法およびプログラム
<>
  • 特開-撮像装置、その制御方法およびプログラム 図1
  • 特開-撮像装置、その制御方法およびプログラム 図2
  • 特開-撮像装置、その制御方法およびプログラム 図3
  • 特開-撮像装置、その制御方法およびプログラム 図4
  • 特開-撮像装置、その制御方法およびプログラム 図5
  • 特開-撮像装置、その制御方法およびプログラム 図6A
  • 特開-撮像装置、その制御方法およびプログラム 図6B
  • 特開-撮像装置、その制御方法およびプログラム 図7A
  • 特開-撮像装置、その制御方法およびプログラム 図7B
  • 特開-撮像装置、その制御方法およびプログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025062864
(43)【公開日】2025-04-15
(54)【発明の名称】撮像装置、その制御方法およびプログラム
(51)【国際特許分類】
   H04N 23/745 20230101AFI20250408BHJP
   H04N 23/60 20230101ALI20250408BHJP
   H04N 23/73 20230101ALI20250408BHJP
   H04N 23/56 20230101ALI20250408BHJP
   H04N 23/74 20230101ALI20250408BHJP
   G03B 7/091 20210101ALI20250408BHJP
【FI】
H04N23/745
H04N23/60 500
H04N23/73
H04N23/56
H04N23/74
G03B7/091
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023172215
(22)【出願日】2023-10-03
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100125254
【弁理士】
【氏名又は名称】別役 重尚
(72)【発明者】
【氏名】中村 日向子
【テーマコード(参考)】
2H002
5C122
【Fターム(参考)】
2H002CC00
2H002HA00
5C122EA13
5C122FF12
5C122FH11
5C122GG01
5C122GG22
5C122HA13
5C122HA35
5C122HB01
5C122HB10
(57)【要約】
【課題】撮像の自由度維持しつつフリッカーの影響を低減可能な撮像装置、その制御方法およびプログラムを提供すること。
【解決手段】光学系を介して結像された被写体像を撮像する撮像素子103を有する撮像装置100であって、フリッカーの周波数と位相を検出するフリッカー検出部112と、撮像素子103の上部から下部までシャッターが走行する時間である幕速と、フリッカーの1周期の時間であるフリッカー周期時間とを比較する比較部(S304)と、幕速の方がフリッカー周期時間よりも長い場合、撮像蓄積時間の制御を行って被写体を撮像する一方、幕速の方がフリッカー周期時間よりも短いか等しい場合、検出されたフリッカーの周波数と位相に基づいて撮像タイミングの制御を行って被写体を撮像する撮像制御部(S305、S306)とを備えたことを特徴とする。
【選択図】 図3
【特許請求の範囲】
【請求項1】
光学系を介して結像された被写体像を撮像する撮像素子を有する撮像装置であって、
フリッカーの周波数と位相を検出するフリッカー検出部と、
前記撮像素子の上部から下部までシャッターが走行する時間である幕速と、前記フリッカーの1周期の時間であるフリッカー周期時間とを比較する比較部と、
前記幕速の方が前記フリッカー周期時間よりも長い場合、撮像蓄積時間の制御を行って被写体を撮像する一方、前記幕速の方がフリッカー周期時間よりも短いか等しい場合、前記検出されたフリッカーの周波数と位相に基づいて撮像タイミングの制御を行って被写体を撮像する撮像制御部と、を備えたことを特徴とする撮像装置。
【請求項2】
前記撮像蓄積時間の制御は、撮像蓄積時間が「(フリッカーの1周期時間)×N倍(Nは自然数)」となるよう制御することを特徴とする請求項1に記載の装置。
【請求項3】
前記撮像タイミングの制御は、フリッカー波形の立ち上がり開始点と前記撮像素子の上部を前記シャッターが走行通過する通過点との位相を揃えるように制御することを特徴とする請求項1または2に記載の装置。
【請求項4】
ストロボ撮像指示に応じて、本撮像前に調光用非発光画像と調光用発光画像を連続して取得し両画像の輝度差分から被写体領域を特定して本発光量を求め、被写体の本撮像を可能とする撮像装置であって、
フリッカーの周波数と位相を検出するフリッカー検出部と、
所定条件を満たす時間が存在する場合、当該時間を調光用の蓄積時間とする調光蓄積時間の制御を行って本撮像を可能にする一方、これ以外の場合、前記フリッカーの周波数と位相に基づいて調光タイミングの制御を行って本撮像を可能とする撮像制御部と、を備えたことを特徴とする撮像装置。
【請求項5】
前記所定条件を満たす時間は、
調光に必要な最短蓄積時間以上で調光に使用可能な最長蓄積時間以下を満たす時間であるとともに、「(フリッカーの1周期時間)×N(Nは自然数)」を満たす時間であることを特徴とする請求項4に記載の撮像装置。
【請求項6】
前記調光タイミングの制御は、前記両画像の蓄積開始の間隔を「(フリッカーの1周期時間)×N(Nは自然数)」の時間になるように制御することを特徴とする請求項4または5に記載の撮像装置。
【請求項7】
前記調光タイミングの制御は、前記両画像の蓄積開始時が前記フリッカーの光源の明滅周期と同位相になるように制御することを特徴とする請求項4または5に記載の撮像装置。
【請求項8】
前記調光タイミングの制御は、前記調光用非発光画像の蓄積開始時から、「(フリッカーの1周期時間)×N(Nは自然数)」後に前記調光用発光画像の蓄積開始を行うように制御することを特徴とする請求項7に記載の撮像装置。
【請求項9】
光学系を介して結像された被写体像を撮像する撮像素子を有する撮像装置の制御方法であって、
フリッカーの周波数と位相を検出するフリッカー検出工程と、
前記撮像素子の上部から下部までシャッターが走行する時間である幕速と、前記フリッカーの1周期の時間であるフリッカー周期時間とを比較する比較工程と、
前記幕速の方が前記フリッカー周期時間よりも長い場合、撮像蓄積時間の制御を行って被写体を撮像する一方、前記幕速の方がフリッカー周期時間よりも短いか等しい場合、前記検出されたフリッカーの周波数と位相に基づいて撮像タイミングの制御を行って被写体を撮像する撮像制御工程と、を有することを特徴とする撮像装置の制御方法。
【請求項10】
ストロボ撮像指示に応じて、本撮像前に調光用非発光画像と調光用発光画像を連続して取得し両画像の輝度差分から被写体領域を特定して本発光量を求め、被写体の本撮像を可能とする撮像装置の制御方法であって、
フリッカーの周波数と位相を検出するフリッカー検出工程と、
所定条件を満たす時間が存在する場合、当該時間を調光用の蓄積時間とする調光蓄積時間の制御を行って本撮像を可能にする一方、これ以外の場合、前記フリッカーの周波数と位相に基づいて調光タイミングの制御を行って本撮像を可能とする撮像制御工程と、を有することを特徴とする撮像装置の制御方法。
【請求項11】
光学系を介して結像された被写体像を撮像する撮像素子を有する撮像装置の制御方法をコンピュータに実行させるプログラムであって、
前記制御方法は、
フリッカーの周波数と位相を検出するフリッカー検出工程と、
前記撮像素子の上部から下部までシャッターが走行する時間である幕速と、前記フリッカーの1周期の時間であるフリッカー周期時間とを比較する比較工程と、
前記幕速の方が前記フリッカー周期時間よりも長い場合、撮像蓄積時間の制御を行って被写体を撮像する一方、前記幕速の方がフリッカー周期時間よりも短いか等しい場合、前記検出されたフリッカーの周波数と位相に基づいて撮像タイミングの制御を行って被写体を撮像する撮像制御工程と、を有することを特徴とするプログラム。
【請求項12】
ストロボ撮像指示に応じて、本撮像前に調光用非発光画像と調光用発光画像を連続して取得し両画像の輝度差分から被写体領域を特定して本発光量を求め、被写体の本撮像を可能とする撮像装置の制御方法をコンピュータに実行させるプログラムであって、
前記制御方法は、
フリッカーの周波数と位相を検出するフリッカー検出工程と、
所定条件を満たす時間が存在する場合、当該時間を調光用の蓄積時間とする調光蓄積時間の制御を行って本撮像を可能にする一方、これ以外の場合、前記フリッカーの周波数と位相に基づいて調光タイミングの制御を行って本撮像を可能とする撮像制御工程と、を有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、フリッカーの影響を低減可能な撮像装置、その制御方法およびプログラムに関する。
【背景技術】
【0002】
フリッカー光源下で静止画、動画等の撮像を行うと、画像にフリッカーの影響が輝度ムラや縞として表れることがある。このフリッカーの影響を低減する方法として様々なものが周知である。例えば、特許文献1は、検出したフリッカーの周期に対して、「(n/(検出周波数(Hz))」(秒)の蓄積時間で撮像することにより、輝度ムラや縞を低減する技術を開示している。また、特許文献2は、検出したフリッカーの周期および位相に基づいてフリッカーの影響を受けにくいタイミングで撮像を行う技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2014-42352号公報
【特許文献2】特開2016-152537号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1が開示する方法によれば、確かにフリッカーの影響は低減されるものの、撮像に使用する蓄積時間が限定されてしまう。このため、撮像の自由度が低下してしまうなどの問題があった。また、特許文献2が開示する方法によれば、フリッカーの周波数に関係なく任意の蓄積時間で撮像が可能ではあるものの、前提条件として検出したフリッカーの1周期の時間よりも撮像に使用するシャッターの幕速が早いことが必要となる。
【0005】
近年、フリッカー発生の要因は、「50/60(Hz)」の電源周波数に起因するもののみならず、LED電源、液晶パネル等のように更に高周波で明滅する光源も要因となりこれらが増加している。このため、特許文献2が開示する前提条件を満たせない場合が増えてきているという問題もある。
【0006】
本発明の目的は、撮像の自由度を維持しつつフリッカーの影響を低減可能な撮像装置、その制御方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の撮像装置は、光学系を介して結像された被写体像を撮像する撮像素子を有する撮像装置であって、フリッカーの周波数と位相を検出するフリッカー検出部と、前記撮像素子の上部から下部までシャッターが走行する時間である幕速と、前記フリッカーの1周期の時間であるフリッカー周期時間とを比較する比較部と、前記幕速の方が前記フリッカー周期時間よりも長い場合、撮像蓄積時間の制御を行って被写体を撮像する一方、前記幕速の方がフリッカー周期時間よりも短いか等しい場合、前記検出されたフリッカーの周波数と位相に基づいて撮像タイミングの制御を行って被写体を撮像する撮像制御部と、を備えたことを特徴とする。
【0008】
また、本発明の他の態様の撮像装置は、ストロボ撮像指示に応じて、本撮像前に調光用非発光画像と調光用発光画像を連続して取得し両画像の輝度差分から被写体領域を特定して本発光量を求め、被写体の本撮像を可能とする撮像装置であって、フリッカーの周波数と位相を検出するフリッカー検出部と、所定条件を満たす時間が存在する場合、当該時間を調光用の蓄積時間とする調光蓄積時間の制御を行って本撮像を可能にする一方、これ以外の場合、前記フリッカーの周波数と位相に基づいて調光タイミングの制御を行って本撮像を可能とする撮像制御部と、を備えたことを特徴とする。
【発明の効果】
【0009】
本発明によれば、撮像の自由度を維持しつつフリッカーの影響を低減できるという効果が得られる。
【図面の簡単な説明】
【0010】
図1】本発明を実施形態に係る撮像装置の構成例を示すブロック図である。
図2】フリッカー光源下でのフリッカー低減方法、低減方法が画像に及ぼす影響の説明図である。
図3】本発明の第1実施形態のフリッカー低減撮像処理を示すフローチャートである。
図4】ストロボ撮像の調光演算から撮像までの流れの模式的説明図である。
図5】調光演算時に用いる調光用画像の蓄積時間制約の模式的説明図である。
図6A】フリッカー光源下での調光問題とフリッカー低減方法の説明図である。
図6B】フリッカー光源下での調光問題とフリッカー低減方法の説明図である。
図7A】フリッカー光源下での調光問題とフリッカー低減方法の説明図である。
図7B】フリッカー光源下での調光問題とフリッカー低減方法の説明図である。
図8】調光時のフリッカー低減撮像処理を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施形態に記載される構成はあくまで例示に過ぎず、本発明の技術的範囲は実施形態に記載される構成によって限定されることはない。先ず、本発明の第1実施形態について説明する。
【0012】
図1:ブロック図>
図1は本発明の実施形態に係る撮像装置100の構成例を示すブロック図である。撮像装置100は、レンズ群101、撮像素子103、信号処理部104、記録処理部105、レンズ制御部102およびカメラ制御部107を有する。カメラ制御部107には、露出制御部111、フリッカー検出部112、調光演算部113、操作部108、撮像タイミング演算部109、蓄積時間演算部110およびストロボ制御部114が接続されている。カメラ制御部107は、これら接続された各部を制御したり、各部での検出結果、演算結果等の通知を受けたりすることが可能に構成されている。また、ストロボ制御部114は発光部115を明滅制御する。なお、図1における記録媒体106は信号処理部104からの画像のデータを記録する記憶デバイスであり、撮像装置100に着脱可能である。
【0013】
<レンズ群101:レンズ制御部102:撮像素子103>
レンズ群101は複数枚のレンズを有し、「絞り」により露出を制御する機構、フォーカス動作、ズーム動作等を行うための機構を含み、入射した光を撮像素子103上に被写体の光学像を結像する。撮像素子103は結像された光学像の光を電気信号に変換するものであり、マトリクス状に複数の画素が配置され画像毎に電気信号への変換が行われる。撮像素子103により変換された電気信号は信号処理部104に出力される。レンズ制御部102はレンズ群101に含まれる「絞り」の駆動制御等を行い、カメラ制御部107は撮像素子103における蓄積時間の制御、電気信号の増幅率の制御等を実行する。これにより、撮像画像の露出等が制御される。
【0014】
<信号処理部104>
信号処理部104は、得られた電気信号(画像信号)に対してゲイン補正等の輝度補正、ホワイトバランス補正などの色補正、その他の信号処理等を施して記録処理部105に画像データを出力する。
【0015】
<記録処理部105:記録媒体106:操作部108:カメラ制御部107>
記録処理部105は記録可能な形式の画像信号をスマートカード等の記録媒体106に記録する。カメラ制御部107はこの一連の画像処理の流れを制御するコントローラーとして機能する。カメラ制御部107は操作部108を介してユーザからの操作を受け付け、設定されている撮像モードや被写体の明るさに応じて、ズーム・フォーカス・撮像画像の明るさに関する撮像設定値等を算出する機能も有する。カメラ制御部107は、算出した撮像設定値をレンズ制御部102、露出制御部111等に通知し、レンズ制御部102、露出制御部111は通知された撮像設定値に応じて、対応する制御位置、制御状態に関連する部材等を制御する。また、カメラ制御部107は撮像装置100に必要な様々な制御を行うものであり、例えばCPUがROM等の記録媒体に記憶されたプログラムをRAMに展開して実行することにより所要の制御や所要の演算等の処理を実行可能に構成されている。当該所要の制御や所要の演算等の処理には本発明に係るものが含まれる。
【0016】
<撮像タイミング演算部109:蓄積時間演算部110:フリッカー検出部112:>
フリッカー検出部112は、撮像素子103で蓄積された撮像画像を入力して、前後の画像の輝度変化の周期性からフリッカーの周波数と位相を決定して検出する。撮像タイミング演算部109は、フリッカー検出部112で検出したフリッカーの周波数と位相に応じて、撮像を実行するタイミングを決定してカメラ制御部107に通知する。カメラ制御部107は、通知されたタイミングを基づいて撮像を実行する。蓄積時間演算部110はフリッカー検出部112により検出されたフリッカーの周波数のN倍(Nは自然数)になるような蓄積時間を演算してカメラ制御部107に通知する。カメラ制御部107は通知された蓄積時間を露出制御部111に通知し撮像を実行する。なお、「蓄積時間」は撮像素子103の電荷蓄積時間であり、「撮像の蓄積時間」、「撮像蓄積時間」などとも称する。
【0017】
<調光演算部113:ストロボ制御部114:発光部115>
調光演算部113は、発光部115が発光した状態で撮像した画像と発光しない状態で撮像した画像の差分から、撮像に必要な「本発光量」を演算する。この本発光量は、カメラ制御部107によりストロボ制御部114に通知され、ストロボ制御部114は発光部115の発光量を制御する。なお、撮像タイミング演算部109、蓄積時間演算部110、露出制御部111、フリッカー検出部112、調光演算部113は、カメラ制御部107に含まれる構成であっても良い。
【0018】
<第1実施形態>
先ず、図2を参照してフリッカーと「幕速」の関係、撮像結果に及ぼす影響について説明し、次いで図3を参照して本発明の実施形態であるフリッカー低減方法の処理の流れについて説明する。なお、「幕速」はメカニカルシャッターが上下する時間である。本実施形態ではシャッターがセンサー(撮像素子103)の上部から下部まで走行する時間としている。
【0019】
図2:フリッカー低減方法、当該低減方法が画像に及ぼす影響の説明図)
図2(A)はフリッカー光源の周波数と位相を検出して、フリッカーの影響を受けにくいタイミングで撮像するように制御することの説明図である。この場合、センサー(撮像素子103)上部からセンサー下部までをシャッターが走行する時間である「幕速」がフリッカーの1周期よりも短い。このため、撮像画像の蓄積重心と明滅光源(フリッカー)の一番明るいタイミングが合うように撮像することにより、画面の中央部が一番明るくなり、中央部を基準に画面の上部下部へと輝度がなだらかに低下していく。このため、図2(D)に示すように画面内の輝度ムラが低減された画像を撮像することができる。なお、「蓄積重心」は撮像画像の重心であり、図2の例においては、撮像画像を表現して記載している平行四辺形の対角線の交点に相当する。
【0020】
一方、図2(B)では、図2(A)の光源よりも周波数の高いフリッカー光源下での撮像の説明図である。幕速の方がフリッカーの1周期よりも長くなっている。このため、蓄積重心と明滅光源の一番明るいタイミングを合わせても、図2(E)に示すように、フリッカーの影響を受けて輝度ムラや縞が発生した画像が撮像されてしまう。
【0021】
このような場合には、図2(C)に示すように、撮像のタイミングを合わせるのではなく、蓄積時間が「(フリッカーの1周期時間)×N倍(Nは自然数)」となるようにして撮像を行う。これにより、撮像素子103の全画素に対して同じ露光量で電荷を蓄積できるため、フリッカーの影響を低減することができる。また、図2(C)の例では蓄積時間を「(フリッカーの1周期時間)×1倍」、即ち、蓄積時間をフリッカーと同一として撮像を行っている。この結果、図2(F)に示すように、フリッカーの影響を受けて輝度ムラや縞が発生することを阻止できる。
【0022】
図3:第1実施形態のフリッカー低減撮像処理を示すフローチャート>
以上の処理の流れを、図3のフローチャートを参照して説明する。なお、図3に示す一連の処理はカメラ制御部107により進行制御される。先ず、撮像指示があるとステップS301に進み、フリッカー検出部112によりフリッカーの有無とフリッカーの周波数、位相を検出する。次に、ステップS302において、フリッカーが検出されなかった場合(No)、フリッカー低減処理は不要であるためステップS307に進み撮像を行う。
【0023】
一方、フリッカーが検出された場合(Yes)、ステップS303に進む。S303において、フリッカー検出部112は、変数「FLKCycle」に対して検出したフリッカーの1周期の時間を記憶しておく。具体的にはフリッカー検出部112の内部に設けたRAM等の記憶デバイスに変数「FLKCycle」」に紐付けてフリッカーの1周期の時間を記憶する。
【0024】
次に、ステップS304において、「FLKCycle」に紐付いている1周期の時間と撮像に使用するシャッターの「幕速」を比較する(比較部)。幕速の方が短いか等しい場合(Yes)ステップS305に進む。そして、ステップS305において、撮像タイミング演算部109により、フリッカーの位相を考慮した撮像タイミングを演算して制御した後、ステップS307において、カメラ制御部107からの撮像指示により撮像を実行する。ここで、「位相を考慮した撮像タイミングを演算」の一例は、フリッカー波形の立ち上がり開始点と、撮像素子103の上部をシャッターが走行通過する通過点との位相を揃えるように制御することである。この例において、具体的にはフリッカー波形の立ち上がり開始点の時刻と、撮像素子103の上部をシャッターが通過する通過時刻とを揃えることである。
【0025】
一方、ステップS304において、「幕速」の方が長い場合(No)、ステップS306に進み、蓄積時間演算部110で撮像に使用する蓄積時間を演算する。ここでは検出したフリッカーを低減することが目的である。よって、検出周波数のN倍となる蓄積時間(例えば100(Hz)光源であればフリッカーの1周期の時間は10(mses)であるので、10、20、30(msec)等)を算出し、ステップS307において撮像を実行する。そして、撮像終了となる。
【0026】
以上のように、フリッカーの周波数と幕速に応じてフリッカー低減に有効な撮影方法を選択することができる。例えば、100(Hz)のフリッカー光源下での撮像で幕速が「3(msec)」である場合、「フリッカーの1周期時間≧幕速」の条件を満たす。このため、蓄積時間を「10×N(msec)」に限定することなくユーザは任意の蓄積時間でフリッカー低減効果が得られた画像を撮像することができる。
【0027】
逆に、幕速「3(msec)」に対してフリッカー光源がより高周波な1000(Hz)である場合、「フリッカーの1周期時間≧幕速」の条件を満たさない。このため、ユーザが任意で設定している蓄積時間が「1/800(sec)」であるとすると、フリッカー低減効果が得られない。これをカメラ制御部107が判断して、任意の蓄積時間「1/800(sec)」を「1/1000(sec)」にすることで、フリッカーの低減効果が得られるようにする。
【0028】
なお、フリッカーを検出した時に、フリッカー低減効果を優先するか否か(撮像タイミングをずらしたり任意の蓄積時間を微調整したりする等)はユーザが選択できる構成としてもよいし、撮像装置100が判断する構成であってもよい。また、第1実施形態においてはスリットローリングシャッターを想定した説明図にて説明を行ったが、グローバルシャッターの場合であっても図3に示す処理フローに従った制御を実行することができる。
【0029】
なお、グローバルシャッターである場合、図3のS305の撮像タイミング制御しか行わないようにすることもできる。グローバルシャッターを用いた場合、順次画像情報を撮像するシャッターではなく、全画素同時タイミングで画像を取得するのでタイミング制御が適している。
【0030】
<第2実施形態>
以下、図4を参照して通常のストロボ撮像の概要を説明し、図5を参照してストロボ撮像時の調光演算に用いる蓄積時間の条件について説明する。その後、図6乃至図8を参照して本実施形態の特徴であるフリッカー光源下で調光演算への影響を低減する方法について説明する。
【0031】
図4:ストロボ撮像の調光演算から撮像までの流れの説明図)
図4はストロボ撮像の撮像指示から調光演算、本撮像までの流れの説明図である。ユーザが操作部108を介して撮像装置100に対して撮像指示を与えると、本撮像で使用するストロボ本発光量を演算するために、調光演算部113は調光演算を行う。調光演算は、ストロボ非発光の画像とストロボ発光の画像の輝度の差分を求め、被写体を適正に撮像するために必要な発光量を計算する。
【0032】
例えば、画像4aはストロボ非発光の画像で、被写体も背景も暗い画像になっている。これに対してストロボ発光して撮像した画像4bは、背景にはストロボ光が届かないため露出は変わらないが、被写体にはストロボ光が届いているため、被写体のみ露出が持ち上がった画像(輝度が向上した画像)が撮像される。この2枚の画像の輝度差分をとったのが画像4cであり、差分がある領域ほど「白く」、差分がない領域ほど「黒く」示している。輝度差分が発生している領域がストロボ撮像により持ち上げたい(換言すれば高輝度化したい)被写体領域であると判定し、被写体を適切に持ち上げられる本発光量を計算するのが調光演算である。
【0033】
図5:調光演算時に用いる調光用画像の蓄積時間制約の説明図)
次に、図5を参照して、調光用発光画像の蓄積時間を変えた4ケースを示す。ストロボ光を画面全体に均等に照射するためには、画面の上部と下部の蓄積時間が重なるタイミング(以下「シャッター全開区間」)でストロボを発光させる必要がある。調光演算に必要なストロボ発光時間が一定であるとき、調光用発光画像の蓄積時間は最低限この時間を確保する必要がある。このため、「調光用ストロボ発光時間=シャッター全開区間」となる蓄積時間が調光用の「最短蓄積時間」となる。
【0034】
図5(A)はその時のストロボ発光と撮像の関係の説明図である。次に、図5(B)は、図5(A)よりも蓄積時間が少し長くなった場合を示している。「シャッター全開区間中」に調光用ストロボ発光が完了できており、調光用発光画像としての条件を満たしている。また、図5(C)は、図5(B)よりもさらに長い蓄積時間の場合を示している。「シャッターの全開区間」がストロボ発光時間よりも長いという条件は満たしているが、蓄積時間が長すぎると今度は外光(環境光)の影響でストロボ発光の影響が薄まってしまい、正しく調光演算できない可能性がある。
【0035】
この場合、図5(D)に示すようにストロボ発光量を大きくして撮像する必要があるがストロボ発光量そのものにも限界がある場合もあり、限界には到達せずとも発光量を増大することで消費電力が大きくなる等の新たな問題が生じる。よって、調光用発光画像の蓄積時間は、(1)正しく調光演算ができ、かつ、(2)消費電力としても許容できる発光量をもとに蓄積時間の上限を定めており、これが調光用の「最長蓄積時間」となる。
【0036】
図6A図6B図7A図7B:フリッカー光源下での調光問題、フリッカー低減方法の説明図)
図4図5(A)~図5(D)の説明を踏まえて、本実施形態の特徴であるフリッカー光源下での調光制御を図6A図6B図7A図7Bを参照して説明する。図6Aは、フリッカー光源下でストロボ撮像を行ったときに調光演算に用いる画像にどのような影響があるかを説明する説明図である。
【0037】
ストロボ撮像指示があると、本撮像の前に調光用非発光画像6aと調光用発光画像6bを連続して取得蓄積し、2枚の画像の輝度差分から被写体領域を特定して「本発光量」を演算する。ここで、2枚の画像に注目すると、6a、6bに示すようにいずれもフリッカー光源の明滅の影響を受けて露出ムラの縞が発生している。さらに、それぞれが光源の明滅周期の異なる位相で撮像されているため、画面内に発生している縞の位置も異なっている。この2枚の輝度差分をとったものが画像6cであり、被写体領域以外に縞になった輝度差分領域が発生している。なお、図4と同様に、輝度の差分が大きい領域ほど「白く」、小さい領域ほど「黒く」示している。輝度差分が生じた領域に対して適正露出になるような「本発光量」を決めると、これらの背景領域も縞の輝度差分が大きくなって演算対象となり、被写体に対する適切な「本発光量」の演算が不能となる。
【0038】
この問題に対して、図6Bは調光用非発光画像6dと調光用発光画像6eの蓄積時間を「(フリッカーの1周期時間)×N倍(Nは自然数)」にして撮像している。すると、調光用非発光画像6dと調光用発光画像6eはフリッカーの影響を受けず、露出ムラの縞が発生していない画像が得ることができる。輝度差分を取った画像6fは、調光演算の対象とする被写体領域のみを抽出することができており、適切な調光演算が可能になる。よって、カメラ制御部107は、ストロボ撮像指示に応じて本撮像前に調光用非発光画像6dと調光用発光画像6eを連続して取得し、両画像6d、6eの輝度差分から被写体領域を特定して本発光量を求めることができる。この結果、カメラ制御部107はストロボ制御部114に指示を与えると、ストロボ制御部114は発光部115を制御して本発光量で被写体を照射して本撮像を行うことができる。
【0039】
但し、フリッカーの周波数によっては、必ずしも図6Bで示すような蓄積時間を設定できるわけではない。図7A図7Bは、図6A図6Bよりも周波数の低いフリッカー光源下でのストロボ撮像例を示している。図7A図7Bの上部に記載したフリッカー光源の周波数は、図6A図6Bの上部に記載したフリッカー光源の周波数よりも低周波となっていることが分かる。
【0040】
図7Aの調光用非発光画像7aと調光用発光画像7bに露出ムラが発生する原理は図6Aの説明と同様なので重複説明を省略する。調光用非発光画像7aは画面上部の方が暗く、調光用発光画像7bは画面下部の方が暗いため、輝度差分画像7cは被写体領域に加え、背景領域の上部と下部にも大きな輝度差分が生じていることが分かる。
【0041】
これ対して、図6Bと同じ対策を講じると例えば100(Hz)のフリッカー光源であれば最短でも「10(msec)」の蓄積時間が必要になる。だが、前述した調光用の最長蓄積時間が「6(msec)」と上限が定まっている場合、「10(msec)」の蓄積時間を設定できないため、フリッカーの影響を低減した画像を取得することができない。このような場合、図7Bに示すように、蓄積時間は調光条件を満たす任意の値のままで、調光用非発光画像7dの蓄積開始と調光用発光画像7eの蓄積開始時が、光源の明滅周期と同位相になるようにタイミング制御を行う。
【0042】
例えば、100(Hz)のフリッカー光源下であれば、調光用非発光画像7dの蓄積を開始した「10×N(msec):Nは自然数」後に調光用発光画像7eの蓄積を開始する。このようにすることにより、背景領域の露出ムラは変わらず発生するが、その露出ムラは、蓄積開始と光源の位相を合わせているため同位置・同程度のムラになっており、輝度差分をとると相殺される。この結果、画像6fのように調光演算の対象とする被写体領域のみを抽出することができ、適切な調光演算が可能になる。
【0043】
図8:調光時のフリッカー低減撮像処理を示すフローチャート)
以上までに説明した方法を選択するまでの処理の流れを、図8のフローチャートを参照して説明する。なお、図8に示す処理はカメラ制御部107により進行制御される。先ず、操作部108を介して撮像指示があると、ステップS801に進み、フリッカー検出部112はフリッカーの有無と周波数を検出する。
【0044】
次に、ステップS802において、フリッカーが検出されなかった場合(No)は、ステップS808に進み調光演算とストロボ撮像を行う(ステップS809)。一方、ステップS802において、フリッカーが検出された場合(Yes)、ステップS803に進む。
【0045】
ステップS803において、変数「ETTLTmin」に調光演算に必要な「最短蓄積時間」を記憶する。次いで、ステップ804において、変数「ETTLTmax」に調光演算に使用可能な「最長蓄積時間」を取得して記憶する。例えば、ステップ803における「最短蓄積時間」ステップ804における「最長蓄積時間」の双方は蓄積時間演算部110により求められカメラ制御部107に通知される。また、「最短蓄積時間」、「最長蓄積時間」の双方が撮像装置100の種類毎に予め定められている場合もある。さらに、「最短蓄積時間」および「最長蓄積時間」の内の一方が撮像装置100の種類毎に予め定められている反面、他方は蓄積時間演算部110により求めることで対応可能な撮像装置100もある。この場合、蓄積時間演算部110により求められた当該他方はカメラ制御部107に通知される。このようにして、「最短蓄積時間」、「最長蓄積時間」が求められて、変数「ETTLTmin」、変数「ETTLTmax」に記憶される。なお、変数「ETTLTmin」、変数「ETTLTmax」はカメラ制御部107の内部のRAM等に記憶される。また、「最短蓄積時間」、「最長蓄積時間」が予め定まっている場合には次述の処理が実行される。例えば、カメラ制御部107のCPUが予め定められている「最短蓄積時間」および/または「最長蓄積時間」をROMから読み出し、対応する変数「ETTLTmin」および/または変数「ETTLTmax」を紐付けてRAMに記憶する。
【0046】
次に、ステップS805は、フリッカーの影響を低減する方法を選択する処理である。フリッカー低減効果が得られる「(フリッカーの1周期時間)×N」の時間であって「ETTLTmin」以上、「ETTLTmax」以下を満たす「N(Nは自然数)」が存在する場合(Yes)、ステップS806に進む。そして、ステップS806において、調光用画像の蓄積時間としてこの蓄積時間を採用する。これは図6Bを参照して前述した方法である。
【0047】
一方、条件を満たす「N」がない場合(No)、ステップS807に進む。ステップS807において、カメラ制御部107は調光用画像の蓄積タイミングを制御する。これは図7Bを参照して前述した方法である。ここでのタイミング制御とは、2枚の蓄積開始の間隔を「(フリッカーの1周期時間)×N(Nは自然数)」の時間になるように制御することである。ステップS806またはS807が完了後、ステップS808に進む。ステップS808において、調光演算部113が調光演算を行って本発光量を算出する。そして、S809において、ストロボ制御部114が発光部115をステップS808にて算出した本発光量で発光させてストロボ撮像を行って、撮像終了となる。
【0048】
以上のように、フリッカー光源下でもフリッカーの影響を受けることなく撮像対象とする被写体に対して適切な調光演算を行うことができる。図6Bおよび図7Bのいずれの方法を使用してもフリッカーの影響を低減することは可能である。だが、所要の蓄積時間を制御可能な場合には蓄積時間の制御方法を優先するのが好ましい。蓄積時間制御の方が調光用非発光・発光画像を時間的に連続して撮像することができるため、動体撮像に対しても有利になるからである。
【0049】
また、図6Bおよび図7Bのいずれの方法を使用するかをユーザが選択可能に専用のボタン等の指示部を設けた構成としても良いし、既存の操作部108や操作部108の特殊操作で選択させても良い。特殊操作とは例えば予め設けてある複数の操作子の同時押し等が挙げられる。
【0050】
また、撮像タイミング制御方法において、図7Bにおいては調光用画像の蓄積開始をフリッカー明滅の一番暗いタイミングを起点にした例を示している。即ち、図7Bに示すようにフリッカー光源の明度(縦軸参照)の最下点を起点としている。しかしながら、画像間の蓄積開始がフリッカーの1周期時間のN倍であればよいので、開始は任意のタイミングでよい。
【0051】
<追記>
本実施形態の開示は、以下の構成、方法およびプログラムを含む。
(構成1)
光学系を介して結像された被写体像を撮像する撮像素子を有する撮像装置であって、
フリッカーの周波数と位相を検出するフリッカー検出部と、
前記撮像素子の上部から下部までシャッターが走行する時間である幕速と、前記フリッカーの1周期の時間であるフリッカー周期時間とを比較する比較部と、
前記幕速の方が前記フリッカー周期時間よりも長い場合、撮像蓄積時間の制御を行って被写体を撮像する一方、前記幕速の方がフリッカー周期時間よりも短いか等しい場合、前記検出されたフリッカーの周波数と位相に基づいて撮像タイミングの制御を行って被写体を撮像する撮像制御部と、を備えたことを特徴とする撮像装置。
(構成2)
前記撮像蓄積時間の制御は、撮像蓄積時間が「(フリッカーの1周期時間)×N倍(Nは自然数)」となるよう制御することを特徴とする構成1に記載の装置。
(構成3)
前記撮像タイミングの制御は、フリッカー波形の立ち上がり開始点と前記撮像素子の上部を前記シャッターが走行通過する通過点との位相を揃えるように制御することを特徴とする構成1または2に記載の装置。
(構成4)
ストロボ撮像指示に応じて、本撮像前に調光用非発光画像と調光用発光画像を連続して取得し両画像の輝度差分から被写体領域を特定して本発光量を求め、被写体の本撮像を可能とする撮像装置であって、
フリッカーの周波数と位相を検出するフリッカー検出部と、
所定条件を満たす時間が存在する場合、当該時間を調光用の蓄積時間とする調光蓄積時間の制御を行って本撮像を可能にする一方、これ以外の場合、前記フリッカーの周波数と位相に基づいて調光タイミングの制御を行って本撮像を可能とする撮像制御部と、を備えたことを特徴とする撮像装置。
(構成5)
前記所定条件を満たす時間は、
調光に必要な最短蓄積時間以上で調光に使用可能な最長蓄積時間以下を満たす時間であるとともに、「(フリッカーの1周期時間)×N(Nは自然数)」を満たす時間であることを特徴とする構成4に記載の撮像装置。
(構成6)
前記調光タイミングの制御は、前記両画像の蓄積開始の間隔を「(フリッカーの1周期時間)×N(Nは自然数)」の時間になるように制御することを特徴とする構成4または5に記載の撮像装置。
(構成7)
前記調光タイミングの制御は、前記両画像の蓄積開始時が前記フリッカーの光源の明滅周期と同位相になるように制御することを特徴とする構成4または5に記載の撮像装置。
(構成8)
前記調光タイミングの制御は、前記調光用非発光画像の蓄積開始時から、「(フリッカーの1周期時間)×N(Nは自然数)」後に前記調光用発光画像の蓄積開始を行うように制御することを特徴とする構成7に記載の撮像装置。
(方法1)
光学系を介して結像された被写体像を撮像する撮像素子を有する撮像装置の制御方法であって、
フリッカーの周波数と位相を検出するフリッカー検出工程と、
前記撮像素子の上部から下部までシャッターが走行する時間である幕速と、前記フリッカーの1周期の時間であるフリッカー周期時間とを比較する比較工程と、
前記幕速の方が前記フリッカー周期時間よりも長い場合、撮像蓄積時間の制御を行って被写体を撮像する一方、前記幕速の方がフリッカー周期時間よりも短いか等しい場合、前記検出されたフリッカーの周波数と位相に基づいて撮像タイミングの制御を行って被写体を撮像する撮像制御工程と、を有することを特徴とする撮像装置の制御方法。
(方法2)
ストロボ撮像指示に応じて、本撮像前に調光用非発光画像と調光用発光画像を連続して取得し両画像の輝度差分から被写体領域を特定して本発光量を求め、被写体の本撮像を可能とする撮像装置の制御方法であって、
フリッカーの周波数と位相を検出するフリッカー検出工程と、
所定条件を満たす時間が存在する場合、当該時間を調光用の蓄積時間とする調光蓄積時間の制御を行って本撮像を可能にする一方、これ以外の場合、前記フリッカーの周波数と位相に基づいて調光タイミングの制御を行って本撮像を可能とする撮像制御工程と、を有することを特徴とする撮像装置の制御方法。
(プログラム1)
光学系を介して結像された被写体像を撮像する撮像素子を有する撮像装置の制御方法をコンピュータに実行させるプログラムであって、
前記制御方法は、
フリッカーの周波数と位相を検出するフリッカー検出工程と、
前記撮像素子の上部から下部までシャッターが走行する時間である幕速と、前記フリッカーの1周期の時間であるフリッカー周期時間とを比較する比較工程と、
前記幕速の方が前記フリッカー周期時間よりも長い場合、撮像蓄積時間の制御を行って被写体を撮像する一方、前記幕速の方がフリッカー周期時間よりも短いか等しい場合、前記検出されたフリッカーの周波数と位相に基づいて撮像タイミングの制御を行って被写体を撮像する撮像制御工程と、を有することを特徴とするプログラム。
(プログラム2)
ストロボ撮像指示に応じて、本撮像前に調光用非発光画像と調光用発光画像を連続して取得し両画像の輝度差分から被写体領域を特定して本発光量を求め、被写体の本撮像を可能とする撮像装置の制御方法をコンピュータに実行させるプログラムであって、
前記制御方法は、
フリッカーの周波数と位相を検出するフリッカー検出工程と、
所定条件を満たす時間が存在する場合、当該時間を調光用の蓄積時間とする調光蓄積時間の制御を行って本撮像を可能にする一方、これ以外の場合、前記フリッカーの周波数と位相に基づいて調光タイミングの制御を行って本撮像を可能とする撮像制御工程と、を有することを特徴とするプログラム。
【0052】
以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、本発明は、上述の実施の形態の1以上の機能を実現するプログラムを、ネットワークや記録媒体を介してシステムや装置に供給し、そのシステムまたは装置のコンピュータのプロセッサがプログラムを読みだして実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【符号の説明】
【0053】
100 撮像装置
101 レンズ群
102 レンズ制御部
103 撮像素子
104 信号処理部
105 記録処理部
106 記録媒体
107 カメラ制御部
108 操作部
109 撮影タイミング演算部
110 蓄積時間演算部
111 露出制御部
112 フリッカー検出部
113 調光演算部
114 ストロボ制御部
115 発光部
図1
図2
図3
図4
図5
図6A
図6B
図7A
図7B
図8