特開2016-213775(P2016-213775A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

特開2016-213775撮像装置、撮像方法、およびプログラム
<>
  • 特開2016213775-撮像装置、撮像方法、およびプログラム 図000003
  • 特開2016213775-撮像装置、撮像方法、およびプログラム 図000004
  • 特開2016213775-撮像装置、撮像方法、およびプログラム 図000005
  • 特開2016213775-撮像装置、撮像方法、およびプログラム 図000006
  • 特開2016213775-撮像装置、撮像方法、およびプログラム 図000007
  • 特開2016213775-撮像装置、撮像方法、およびプログラム 図000008
  • 特開2016213775-撮像装置、撮像方法、およびプログラム 図000009
  • 特開2016213775-撮像装置、撮像方法、およびプログラム 図000010
  • 特開2016213775-撮像装置、撮像方法、およびプログラム 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-213775(P2016-213775A)
(43)【公開日】2016年12月15日
(54)【発明の名称】撮像装置、撮像方法、およびプログラム
(51)【国際特許分類】
   H04N 5/232 20060101AFI20161118BHJP
   H04N 5/235 20060101ALI20161118BHJP
   H04N 5/92 20060101ALI20161118BHJP
   G03B 15/00 20060101ALI20161118BHJP
【FI】
   H04N5/232 Z
   H04N5/235
   H04N5/92 Z
   G03B15/00 H
【審査請求】未請求
【請求項の数】5
【出願形態】OL
【全頁数】18
(21)【出願番号】特願2015-97998(P2015-97998)
(22)【出願日】2015年5月13日
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100109209
【弁理士】
【氏名又は名称】小林 一任
(72)【発明者】
【氏名】本田 努
【テーマコード(参考)】
5C053
5C122
【Fターム(参考)】
5C053GA14
5C053GA18
5C053GB06
5C053LA01
5C122DA03
5C122EA12
5C122FF11
5C122FH18
5C122HA88
5C122HA89
5C122HB01
(57)【要約】
【課題】動画撮影時にパラパラ感がなく、適正露光量となる画像データを生成することが可能な撮像装置、撮像方法、およびプログラムを提供する。
【解決手段】動画を撮影・記録する撮像方法において、動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力し、被写界輝度に基づいて(S35、S43、S49、S57)、一連の画像データを、複数の画像処理の内の一つの処理を選択し、画像合成を行って合成画像を生成する(S44〜S47、S51〜S55、S57〜S61)。
【選択図】 図8
【特許請求の範囲】
【請求項1】
動画を撮影・記録する撮像装置において、
上記動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力する撮像部と、
予め決められた複数の画像合成処理を備え、上記撮像部から出力された一連の上記画像データを、上記複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成する画像処理部と、
被写界輝度に基づいて上記一連の画像データの上記複数の画像合成処理の内の一つの処理を指示する露出演算部と、
を具備することを特徴とする撮像装置。
【請求項2】
上記露出演算部は、上記被写界輝度の変化に応じて、上記複数の画像合成処理の内の一つの処理を変更する指示を出力することを特徴とする請求項1に記載の撮像装置。
【請求項3】
上記画像合成処理は、累積加算、累積加算+ゲインアップ、平均加算の内の少なくとも一つを含むことを特徴とする請求項1に記載の撮像装置。
【請求項4】
動画を撮影・記録する撮像方法において、
上記動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力し、
一連の上記画像データを、複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成し、
被写界輝度に基づいて上記一連の画像データの上記複数の画像合成処理の内の一つの処理を指示する、
ことを特徴とする撮像方法。
【請求項5】
動画を撮影・記録する撮像装置内のコンピュータを実行するプログラムにおいて、
上記動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力し、
一連の上記画像データを、複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成し、
被写界輝度に基づいて上記一連の画像データの上記複数の画像合成処理の内の一つの処理を指示する、
ことを上記コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画を撮影し、動画の画像データを記録する撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【0002】
従来より、撮像装置はAE(Auto Exposer)処理機能を搭載し、画像データの輝度成分に基づいて、適正露光量を算出し、シャッタ速度・絞り・ISO感度等を制御していた。動画撮影時に、シャッタ速度で適正露光となるように制御する際に、被写体輝度が高いと、動画のフレームレートよりも短時間の電子シャッタ速度となってしまう。この場合には、再生動画にパラパラ感(パラパラ漫画のように、瞬間的に画像が変化し、ぎこちなく動いていく感じ)が生じ、滑らかな動きとはならず、不自然な動画となってしまう。
【0003】
そこで、動きのある被写体の場合には、シャッタ速度を遅くし、エッジ強調を弱め、一方、動きのない被写体の場合には、シャッタ速度を速くし、エッジ強調を強めるようにした撮像装置が提案されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−189295号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
動画撮影時には、動画再生の際のフレームレートに合せて動画記録を行う必要がある。例えば、フルハイビジョン(2K動画)の場合には、60p、30pの規格があり、各々、1秒間に60フレーム、30フレームのコマを撮影する。画像の明るさを一定にするためには、シャッタ速度に合せて、絞り、ゲイン、NDフィルタを変更する方法がある。
【0006】
動きのある被写体の場合は、シャッタ速度は基本的には記録されるフレームレート合せないと(例えば、HD30Pの場合には1/30秒のシャッタ速度)、1フレームに相当する時間内での被写体の動きの全てを記録することができない。つまり、記録する規格に合わせてシャッタ速度を決めるので、特許文献1に記載のように、被写体輝度に合せて中途半端にシャッタ速度を変えてもパラパラ感を全く無くすことはできない。
【0007】
また、シャッタ速度を記録されるフレームレートに合わせ、被写体輝度の変化に応じて、NDフィルタ(減光フィルタ)を撮影光学系の光路中に高速に出し入れする方法や、絞りを素早く変化させる方法が考えられる。しかし、このような方法では、人間の眼には瞬きのように感じるため、より高度な動画撮影においては画像の質を低下させてしまう。
【0008】
またゲインを変更させる方法が考えられるが、被写体が明るくなると、ゲインを低下させる方向であり、ゲインを0dB以下に変更したとしても、撮像素子で飽和してしまった場合には、明るさのリニアリティを確保することができない。この不具合は、絞りをゆっくり動かすことにより解決することができる。しかし、静止画撮影用には高速で動かすことのできる絞りが必要であることを考慮すると、静止画撮影用と動画撮影用に個別に絞りを備えなければならず、機器の大型化を招いてしまう。また、絞り機構を有していない小型機器では、NDフィルタで制御しなければならず、上述の問題を解決することができない。
【0009】
本発明は、このような事情を鑑みてなされたものであり、動画撮影時にパラパラ感がなく、適正露光量となる画像データを生成することが可能な撮像装置、撮像方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するため第1の発明に係る撮像装置は、動画を撮影・記録する撮像装置において、上記動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力する撮像部と、予め決められた複数の画像合成処理を備え、上記撮像部から出力された一連の上記画像データを、上記複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成する画像処理部と、被写界輝度に基づいて上記一連の画像データの上記複数の画像合成処理の内の一つの処理を指示する露出演算部と、を具備する。
【0011】
第2の発明に係る撮像装置は、上記第1の発明において、上記露出演算部は、上記被写界輝度の変化に応じて、上記複数の画像合成処理の内の一つの処理を変更する指示を出力する。
第3の発明に係る撮像装置は、上記第1の発明において、上記画像合成処理は、累積加算、累積加算+ゲインアップ、平均加算の内の少なくとも一つを含む。
【0012】
第4の発明に係る撮像方法は、動画を撮影・記録する撮像方法において、上記動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力し、一連の上記画像データを、複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成し、被写界輝度に基づいて上記一連の画像データの上記複数の画像合成処理の内の一つの処理を指示する。
【0013】
第5の発明に係るプログラムは、動画を撮影・記録する撮像装置内のコンピュータを実行するプログラムにおいて、上記動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力し、一連の上記画像データを、複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成し、被写界輝度に基づいて上記一連の画像データの上記複数の画像合成処理の内の一つの処理を指示する、ことを上記コンピュータに実行させる。
【発明の効果】
【0014】
本発明によれば、動画撮影時にパラパラ感がなく、適正露光量となる画像データを生成することが可能な撮像装置、撮像方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【0015】
図1】本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。
図2】本発明の一実施形態に係るカメラにおいて、通常露光処理時と分割露光処理時における露光タイミングを示す図である。
図3】本発明の一実施形態に係るカメラにおいて、分割露光処理時における分割露光期間における露光量と、合成処理を示す図である。
図4】本発明の一実施形態に係るカメラにおいて、撮像コントロールの設定を行う設定画面を示す。
図5】本発明の一実施形態におけるカメラにおいて、デジタルND(以下、「DND」と称す)フィルタ撮影モードのサブモードを示す図表である。
図6】本発明の一実施形態におけるカメラにおいて、分割露光処理時における被写体輝度によって決まる画像合成処理を示す図表である。
図7】本発明の一実施形態におけるカメラにおいて、撮影モード処理の動作を示すフローチャートである。
図8】本発明の一実施形態におけるカメラにおいて、DND制御の動作を示すフローチャートである。
図9】本発明の一実施形態におけるカメラにおいて、DND制御の動作を示すフローチャートである。
【発明を実施するための形態】
【0016】
以下、本発明の一実施形態としてデジタルカメラ(以下、カメラと称す)に適用した例について説明する。このカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面等に配置した表示部(電子ビューファインダでもよい)にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。静止画撮影時には、レリーズ釦が操作されると静止画の画像データが記録媒体に記録される。動画撮影時には、動画釦等が操作されると動画撮影が開始され、再度、動画釦等が操作されると動画撮影が終了する。記録媒体に記録された静止画や動画の画像データは、再生モードを選択すると、表示部に再生表示することができる。
【0017】
また、動画撮影にあたって、フレームレートに対応する露光時間を複数に分割し、それぞれ分割露光期間毎に画像データを読出し、この読み出された複数の画像データを用いて、適正露光量の画像データになるように画像合成する。この画像合成を行うにあたって、複数の画像合成処理を用意しておき、被写界輝度に応じて複数の画像合成処理の中から最適な画像合成処理を選択して行う(例えば、図3のNo.1〜5、図6図8のS39〜S61、図9のS71〜S79等参照)。
【0018】
図1は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。撮像部1内には、光学系3と撮像素子5が備えられている。光学系3は、撮像素子5に被写体の光学像を結像する。光学系3はフォーカスレンズを有しており、このフォーカスレンズは、システム制御部27からの駆動制御信号に応じて、レンズ駆動部によって光軸方向に移動可能である。
【0019】
光学系3内に、露出量を調節するための絞り値を決定する絞りを備えるようにしてもよい。また、光学系3と撮像素子5の間に、メカシャッタを備え、メカシャッタの開閉動作により撮像素子5への露出や遮光を行い、メカシャッタ速度を制御するようにしてもよい。
【0020】
撮像素子5は、CMOSイメージセンサやCCDイメージセンサ等であり、光学系3により結像された被写体の光学像を画素毎に電気信号に変換し、画像データを出力する。この画像データの出力にあたって、撮像素子5は、システム制御部27からの撮像制御信号に従って、露光と画像データの読み出しを行う。撮像素子5は、動画撮影時において電子シャッタ機能を有しており、露光時間を制御することができる。撮像素子5は、動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力する撮像部として機能する。
【0021】
また、撮像素子5は、システム制御部27または露出決定部41からの指示に従って、2つの画素の出力を加算して画像データの出力することも可能である(これを「2画素混合」と称す)(図9のS77参照)。撮像素子5によって読み出された画像データは、前処理部7内の通常処理部9と合成処理部11、およびバス25に出力される。バス25は、各ブロック間で信号の送受信を行うための信号線である。
【0022】
前処理部7には、通常処理部9、合成処理部11、ゲイン調整部13、現像処理部15が設けられている。
【0023】
合成処理部11は、動画を撮影する場合やデジタルNDを用いる場合に、分割露光を行って、各分割露光で取得した画像データの合成処理を行う。この合成処理は、システム制御部27や分割露光制御部35等からの制御信号に従って行われる。合成処理部11は、後述する平均加算(例えば、図3のNo.4、図6のNo.B〜C、図8のS45参照)、部分加算(例えば、図3のNo.3、図6のNo.D〜E、図8のS51参照)、累積加算(例えば、図3のNo.2、図6のNo.F〜H、図8のS55参照)等の合成処理を行う。
【0024】
一方、通常処理部9は、静止画撮影時等のように、合成処理を行わない時に1回の露光で取得した画像データの処理を行う。
【0025】
ゲイン調整部13は、通常処理部9および合成処理部11から出力された画像データにゲインを印加、すなわち画像データをk倍に乗算し、現像処理部15に出力する。合成処理部11とゲイン調整部13は、予め決められた複数の画像合成処理を備え、撮像部から出力された一連の画像データを、複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成する画像処理部として機能する(例えば、図3図8のS45〜S47、S51〜S55、S59〜S61、図9のS75〜S79)。この画像処理部は、累積加算、累積加算+ゲインアップ、平均加算の内の少なくとも一つを含んでいる。
【0026】
現像処理部15は、通常処理部9または合成処理部11で生成されたRAW画像データに対して、デモザイキング、ホワイトバランス調整、ガンマ補正などの現像処理を行う。現像処理された画像データはバス25に出力される。
【0027】
画像処理部17は、現像処理部15等によって処理された画像データに対して、ライブビュー表示、静止画記録、動画記録のための画像処理や、外部メモリ47に記録された画像データに対して、再生表示のための画像処理等、種々の画像処理を行う。
【0028】
圧縮・伸張処理部19は、外部メモリ47に画像データを記録する際に、JPEGやMPEG等の画像圧縮処理を行う。また外部メモリ47から画像データを読出し、表示部21に表示する際に、圧縮された画像データの伸張処理を行う。
【0029】
表示部21は、TFT(Thin Film Transistor)液晶や有機ELなどモニタを有し、背面表示部やEVF(電子ビューファインダ)において、画像データに基づく画像を表示する。無線インターフェース(I/F)23は、無線で外部機器と通信を行うためのインターフェースである。
【0030】
システム制御部27は、CPU(Central Processing Unit)等の制御回路と、その周辺回路を有し、内部メモリ33内の不揮発性メモリに記憶されたプログラムに従って、カメラ全体の制御を行う。
【0031】
操作入力部29は、レリーズ釦、動画釦、十字釦等の操作部材や、背面表示部等におけるタッチ操作を入力するためのタッチパネル等を有し、ユーザ操作に基づいて各種のモード設定や撮影動作の指示を行う。操作入力部29を介して、撮影者は、例えば、比較明合成や比較暗合成等のライブコンポジット撮影モード、ライブバルブ撮影モード、デジタルNDフィルタ撮影モード、ハイダイナミックレンジ撮影モード、ハイスピード撮影モード等の撮影モード等の設定を行うことができる(これらの撮影モードについては、図4参照)。
【0032】
マイク31は、音声を音声データに変換し、システム制御部27に出力する。動画撮影時には、マイク31によって変換された音声データを動画像データと共に記録する。なお、動画再生用のスピーカを設けておいてもよい。
【0033】
内部メモリ33は、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像データを一時的に記憶する。内部メモリ33は、書き換え可能な不揮発性のフラッシュメモリや、書き換え可能な揮発性メモリのSDRAM等のメモリによって構成される。
【0034】
外部メモリ47は、カメラ本体に装填自在、または内部に固定された不揮発性の記憶媒体であり、例えば、SDカードやCFカード等である。この外部メモリ47は、インターフェース(I/F)45を介して、画像データを記録し、また再生時には、I/F45を介して記録された画像データが読み出す。
【0035】
記録フォーマット決定部43は、動画記録の際の記録フォーマットを決定する。本実施形態においては、複数の記録フォーマットが内部メモリ33の内の不揮発性メモリに記憶されており、メニュー画面で、これらの複数の記録フォーマット(例えば、24P、30P、60P)を表示し、ユーザが十字釦の操作やタッチパネルでのタッチ操作等によって指定する。
【0036】
分割露光制御部35内には、レベル判別部37、露出決定部41が設けられている。レベル判別部37は、撮像素子5からの画像データに基づいて、被写界輝度のレベルを判別する。本実施形態においては、被写界輝度Vと、判別値kV、V/2、V/4、V/8とを比較し、6通りのレベルの判別している(図8のS39、S43、S49、S57、図9のS71参照)。
【0037】
露出決定部41は、記録フォーマット決定部43において決定された記録フォーマットで決まる露出時間(シャッタ速度)に基づいて、適正露光となる絞り値やISO感度を決定する。また、露出決定部41は、被写界輝度に基づいてレベル判別部によってレベル分けされた画像データに対して、複数の画像合成処理の内の一つの処理を指示する露出演算部として機能する。例えば、図3に示す例では、被写界輝度に応じてNo.1〜No.5に分類し、この分類に応じて、累積加算、部分加算、累積加算等の加算処理や、ゲインアップ等の処理が行われる。
【0038】
また、図8図9に示す例では、被写界輝度に応じて6分類に分けられ(S37、S41、S47、S53、S61)、この分類に応じて、平均加算、部分加算、累積加算等の加算処理や、ゲイン調整、2画素混合等の処理が行われる(S45〜S47、S51〜S55、S59〜S61、S75〜S79)。露出決定部41は、被写界輝度の変化に応じて、複数の画像合成処理の内の一つの処理を変更する指示を出力する露出演算部として機能する。
【0039】
次に、図2を用いて、通常露光処理と分割露光処理について説明する。図2(a)(b)のそれぞれにおいて、上段は通常露光処理を示し、下段は分割露光処理を示し、横軸は時間変化を示す。また、図2(a)はCCDイメージセンサ等における電子グローバルシャッタを備えた撮像素子の露光処理の例を示し、図2(b)はC−MOSイメージセンサ等における電子ローリングシャッタを備えた撮像素子の露光処理の例を示す。
【0040】
図2(a)(b)に示す例では、撮像素子5が電子グローバルシャッタの場合であっても、電子ローリングシャッタの場合であっても、通常露光処理の際には電子シャッタ機能によって1フレームの間に1回の露光を行う。この通常露光処理の1フレームの周期T1は、図2(a)(b)に示す例では、60fps(60フレーム秒=1/60sec)である。通常露光は、本実施形態においては、ライブビュー表示中に行う。
【0041】
また、分割露光処理の場合には、1フレームの周期は通常露光処理の場合と同じ60fpsであり、この例では、1フレームの時間T1の間に、4分割露光処理を行っている。すなわち、時間T1の間に分割露光時間Exdで4回の露光を行い、かつ露光を行う毎に画像データを読み出している。各露光は、タイミングESで露光を開始し、タイミングROで画像データの読み出しを行う。分割露光処理を行う場合であっても、図2(a)(b)の各下段に示すように、1フレームの周期Tの内の大半の時間は露光時間である。
【0042】
図2(a)に示すCCDイメージセンサ等の電子グローバルシャッタの場合は、データの読み出しと、次のフレームの露光開始を同時に行うことができる。また、電子ローリングシャッタを備えたC−MOSイメージセンサの場合には、図2(b)に示すように、一旦イメージセンサ内にデータを読み出した後、ゆっくりとイメージセンサ外にデータを出力する。このように、電子グローバルシャッタと電子ローリングシャッタの場合で、露光開始と読み出しのタイミングが異なる、いずれの方式であっても、分割露光処理を行うことができる。
【0043】
次に、図3を用いて、分割露光処理を行った際に、適正露光量の画像と等価の画像を合成する方法について説明する。
【0044】
図3において、時刻t0〜t8は、1フレーム期間T1である(図3に示す例では、T1=1/60秒)。この例では、撮像素子5は、C−MOSイメージセンサを用いた場合であり、ローリングシャッタで読み出しを行う。1フレーム中の分割露光の数を4としており、1コマの画像の読み出しは、T2毎に行われる。また、分割されたフレーム内での露光時間はT2(1/240sec)であり(時刻t0〜t2、t2〜t4、t4〜t6、・・・)。時間T3は、後述するNo.5に示す更に明るいときの露光時間である(1/360sec)。
【0045】
本実施形態においては、複数の画像合成処理を用意しておき、被写界輝度の明るさに応じて、複数の画像合成処理の中から選択している。図3に示す例は、明るさに応じてNo.1〜No.5の5種類の画像合成処理が用意されている。
【0046】
図3のNo.1の示す例は、露光時間が1/60秒では適正露光量とならないような、被写界が暗い場合である。この場合には、各露光時間T2において取得した画像データを累積加算し、この累積加算した画像データを適正露光のレベルとなるようにゲインアップする。すなわち、合成処理部11は、時刻t0〜t2において露光した露光量LM1、時刻t2〜t4において露光した露光量LM2、時刻t4〜t6において露光した露光量LM3、時刻t6〜t8において露光した露光量LM4を累積的に加算する。しかし、この累積加算だけでは、適正光量とならないことから、ゲイン調整部13は、適正光量となるようにゲインを印加する。なお、後述の図8のS59〜S61は、このNo.1と同様の処理を行っている。
【0047】
図3のNo.2に示す例は、露光時間が1/60秒で適正露光量となるような被写界の明るさの場合である。この場合には、各露光時間T2において取得した画像データを累積加算すれば、適正露光量となる。具体的には、合成処理部11は、時刻t0〜t2において露光した露光量LM5、時刻t2〜t4において露光した露光量LM6、時刻t4〜t6において露光した露光量LM7、時刻t6〜t8において露光した露光量LM8を累積的に加算する。この累積加算だけで、適正光量となる。なお、後述の図8のS59〜S61において、S61のゲイン調整量を1とすれば、このNo.2と同様の処理になる。
【0048】
図3のNo.3に示す例は、NO.2の場合よりも被写界が明るい場合であり、露光時間が1/120秒で適正露光量となる。この場合には、各露光時間T2において取得した画像データを部分加算し、この加算値を平均化すれば、適正露光量となる。すなわち、合成処理部11は、時刻t0〜t2において露光した露光量LM9と時刻t2〜t4において露光した露光量LM10を加算して加算値SM1を算出し、時刻t4〜t6において露光した露光量LM11と時刻t6〜t8において露光した露光量LM12を加算して加算値SM2を算出する。そして、この加算値SM1+SM2の平均値、すなわち、(SM1+SM2)/2が適正光量となる。なお、後述の図8のS51〜S53は、このNo.3と同様の処理を行っている。
【0049】
図3のNo.4に示す例は、NO.3の場合よりも被写界が明るい場合であり、露光時間が1/240秒で適正露光量となる。この場合には、各露光時間T2において取得した画像データを累積加算し、この加算値を平均化すれば、適正露光量となる。合成処理部11は、時刻t0〜t2において露光した露光量LM13、時刻t2〜t4において露光した露光量LM14、時刻t4〜t6において露光した露光量LM15、時刻t6〜t8において露光した露光量LM16を累積的に加算し、この加算値を平均化、すなわち、加算値を4で除算すればよい(この演算を「平均加算」と称す)。この平均加算だけで、適正光量となる。なお、後述の図8のS45〜S47において、S44でT3=T2とし、S47のゲイン調整量を1とすれば、このNo.4と同様の処理になる。
【0050】
図3のNo.5に示す例は、NO.4の場合よりも被写界が明るい場合であり、露光時間が1/360秒で適正露光量となる。この場合には、露光時間T3にし(この例では、T3・240/360=T3・2/3)、分割露光で得られる各画像データの値を小さくなるようにする。すなわち、各露光量LM17、LM18、LM19、LM20を平均加算し、適正露光量を求める(図8のS44〜S47参照)。
【0051】
次に、図4を用いて撮像コントロールに関連する撮影モードの設定について説明する。本実施形態においては、撮像素子5における撮像動作を制御し、画像データの合成処理等(但し、ハイスピード撮影は画像合成を行わない)を行うことにより、様々な画像を得る「撮像コントロールモード」を設けている。この撮像コントロールモードは、表示部21のメニュー画面として、図4に示すように表示され、ユーザが選択することができる。
【0052】
図4において、最上段の左側の「IMG CTRL」はイメージ・コントロールの各選択項目を示し、最上段の右側のONは設定状態を、OFFは非設定状態を示す。撮像コントロールモードとしては、図4に示す例では、ライブコンポジット撮影(「LV COMP」と表記)が非設定状態、ライブバルブ撮影(「LV BLB」と表記)が非設定状態、デジタルNDフィルタ撮影(「DND」と表記)が設定状態、ハイダイナミックレンジ撮影(「HDR」と表記)が非設定状態、ハイスピード撮影(「HiSP」と表示)が非設定状態となっている。なお、この例では、1種類の撮像コントロールモードしか設定されていないが、複数種類のモードの設定も可能である。
【0053】
ライブコンポジット撮影(LV COMP)は、比較的低輝度の被写体撮影の際に使用され、繰り返し露光を行い、露光毎に出力される画像データを用いて画像合成を行う。画像合成としては、現フレーム画像と前フレーム画像の各画素位置で相対的に明るい/暗い画素のデータで上書きを行う。例えば、夜の高速道路を撮影した場合に、比較明合成を行うと、明るい車のライトの軌跡のみが車の移動に沿って合成された画像となる。
【0054】
ライブバルブ撮影(LV BLB)も、比較的低輝度の被写体撮影の際に使用され、繰り返し露光を行い、時間経過と共に各画素位置の露出値を加算合成する。例えば、花火の打ち上げから花火が開く状態をバルブ撮影と同様に行うと、この撮影中に経過画像が表示される。
【0055】
デジタルNDフィルタ撮影(DND)は、光学フィルタを用いずに、光学フィルタを装着したのと同様の減光撮影をデジタル制御で行う。動画撮影の場合、このDNDモードを設定しておくと、明るいシーンでも絞りを開放した状態で撮影を行うことができる。図3図8、および図9に示す例は、このDNDモードが設定されている場合の制御である。
【0056】
ハイダイナミックレンジ撮影(HDR)は、露光量の異なる複数のフレーム画像を合成し、階調が拡大された画像を生成する。露光時間を変えて複数のフレーム画像を取得し、また感度を変えて複数のフレーム画像を取得し、これらの複数のフレーム画像を用いて、飽和または暗黒状態の領域の階調を再現した画像を合成する。
【0057】
ハイスピード撮影(HiSP)は、所謂電子シャッタで、動体を静止させるために極めて短い時間で露光を行い、画像を取得する。メカニカルシャッタの場合には、極めて短時間の露光を行うことは難しいが、電子シャッタは撮像素子5で電荷蓄積のタイミングを制御するだけであるので、極めて短時間の露光を行うことができる。
【0058】
次に、図5を用いて、デジタルNDフィルタ撮影モードが選択された場合のサブメニューを説明する。デジタルNDフィルタ撮影モードは、さらに手動デジタルNDフィルタ撮影モードと自動デジタルNDフィルタ撮影モードが用意されている。また、手動デジタルNDフィルタ撮影モードは、減光率を選択することができる。図5において、「SEL」の欄で、自動(AUTO)と手動(MANU)を選択でき、「減光」により減光調節できる輝度範囲を設定する。
【0059】
「AUTO」を選択すると、自動デジタルNDフィルタ撮影モードとなり、輝度に応じてデジタルNDフィルタの減光率が自動的に切り替わり、−4EVまで絞りを固定にしたままで自動減光制御を行う。上述の図3の全ての動作撮影で適応的に変化させる。
【0060】
「MANU」を選択すると、手動デジタルNDフィルタ撮影モードとなり、ユーザが選択したNDフィルタの減光量を固定する。固定の減光量として、図5に示す例では、1/3段毎に変更可能である。しかし、これに限らず、1/2段毎でも、1/4段毎でも良く、また細かく変更できるようにしても良い。手動デジタルNDフィルタ撮影モードは、適正露光の得られる輝度変更レンジは少ないが、光学NDフィルタと同様な効果を得ることができる。光学NDフィルタに比べ、着脱が簡単で、ND減光量を細かく設定することができ(光学NDフィルタは通常1段毎)、フィルタが汚れたり破損することがなく、短時間で切り替えることができるというメリットある。
【0061】
次に、図6を用いて、デジタルNDフィルタ撮影モード設定時において、被写界輝度に応じた露出制御と合成処理について説明する。本実施形態においては、前述したように、被写界輝度に応じて、複数の画像合成処理の中から一つを選択して、画像データの処理を行っており、図6に被写界輝度に応じて選択する画像合成処理の例を示す。
【0062】
図6に示す例においては、No.Bに記載の輝度BVが基本輝度であり、ISO固定、絞り値固定の状態、電子シャッタ速度TVが1/240秒で露光した場合に、撮像素子5からは、適正出力Vが得られる。この場合には、4回分の分割露光の画像データを加算し、この加算値を4で除算することにより、適正露光となる画像を生成する。なお、このNo.1の画像合成処理は、図3のNo.4に示した例と同じ処理である。
【0063】
また、No.Aは、No.Bの場合よりも高輝度時の例であり、1回の露光時間1/240秒を更に短くして、1/360秒に電子シャッタ速度Tvを変更した場合を示す。なお、No.Aよりも更に高輝度の場合は、1回の露光時間を更に短くしてもよい。このNo.1の画像合成処理は、図3のNo.5に示した例と同じ処理である。
【0064】
図6において、No.CからNo.Gまでは、No.Bの場合より段々と被写界輝度が暗くなる場合であり、分割フレーム数を4に固定し、電子シャッタ速度を1/240秒に固定したままで、加算演算処理を工夫することにより適正露光となる画像を生成する。
【0065】
例えば、No.Cでは、被写界輝度はBV−1とBVの間にあり、撮像素子5からの画像データの出力はVとV/2の間にあることから、画像データの加算処理は平均加算、すなわち、4回分の分割露光の画像データを加算し、この加算値を4で除算し、更にゲインを乗算することで、適正露光となる画像を生成する。
【0066】
また、No.Dでは、被写界輝度は基準輝度BVより1段暗いBV−1であり、撮像素子5からの画像データの出力はV/2であることから、画像データの加算処理は累積部分加算を行い、平均化演算、すなわち、4回分の分割露光の画像データの内の最初の2回分と、後の2回分の画像データをそれぞれ加算し、この加算値を2で除算することにより、適正露光となる画像を生成する。なお、このNo.Dの画像合成処理は、図3のNo.3に示した例と同じ処理である。
【0067】
また、No.Eでは、被写界輝度はBV−1とBV−2の間にあり、撮像素子5からの画像データの出力はV/2とV/4の間にあることから、画像データの加算処理は平均加算、すなわち、4回分の分割露光の画像データの内の最初の2回分と、後の2回分の画像データをそれぞれ加算し、この加算値を2で除算し、更にゲインを乗算することで、適正露光となる画像を生成する。
【0068】
また、No.Fでは、被写界輝度は基準輝度BVより2段暗いBV−2であり、撮像素子5からの画像データの出力はV/4であることから、画像データの加算処理は累積加算、すなわち、4回分の分割露光の画像データを累積的に加算すると、この加算値が適正露光となる画像となる。なお、このNo.Fの画像合成処理は、図3のNo.2に示した例と同じ処理である。
【0069】
また、No.Gでは、被写界輝度はBV−2とBV−3の間にあり、撮像素子5からの画像データの出力はV/4とV/8の間にあることから、画像データの加算処理は累積加算、すなわち、4回分の分割露光の画像データを累積的に加算し、更にゲインを乗算することで、適正露光となる画像を生成する。なお、このNo.Gの画像合成処理は、図3のNo.1に示した例と同じ処理である。
【0070】
図6のNo.Hは、更に低輝度となったときに、撮像素子5内で2画素混合することにより、画質はある程度劣化するものの、感度を確保するようにした例である。また、ゲインアップを行って適正露光となるようにしている。
【0071】
上述のNo.B〜Gは、手動デジタルNDフィルタ撮影モードおよび自動デジタルNDフィルタ撮影モードに共通の制御である。またNo.AおよびNo.Hは、自動デジタルNDフィルタ撮影モードのみの制御である。
【0072】
次に、図7に示すフローチャートを用いて、撮影モードの処理について説明する。図4を用いて説明したように、本実施形態においては、撮像コントロールに関連して5種類の撮影モードが設定可能である。なお、このフローチャートおよび後述する図8および図9に示すフローチャートは、システム制御部27内のCPUが、内部メモリ33に記憶されているプログラムに従って、カメラ内の各部を制御することにより実行する。
【0073】
図7に示す撮影モードのフローに入ると、まず、ライブビュー(LV)表示を行う(S1)。ここでは、撮像素子5からの画像データを通常処理部9により処理を施し、ゲイン調整部13、現像処理部15、画像処理部17等においてライブビュー表示用に処理を施してから表示部21にライブビュー表示を行う。ユーザは、ライブビュー表示を観察することによって、構図を決めたり、静止画野シャッタタイミングや、動画の撮影開始・終了のタイミングを決めることができる。
【0074】
ライブビュー表示を行うと、次に、撮影モードの設定を行う(S3)。前述したように、本実施形態においては、表示部21にメニュー画面を表示させ、メニュー画面の中から撮像コントロールに関連する撮影モードを十字釦やタッチ操作によってユーザの意図する撮影モードを設定する。なお、設定方法としては、メニュー画面に限らず、例えば、専用釦等によって設定するようにしてもよい。
【0075】
ステップS3における撮影モードの設定において、ライブコンポジット撮影モード(LV CMP)であった場合には、ライブコンポジット撮影モードを設定し(S5)、ライブコンポジット制御を行う(S7)。この制御が終了すると、ステップS1に戻る。
【0076】
ステップS3における撮影モードの設定において、ライブバルブ撮影モード(LV BLB)であった場合には、ライブバルブ撮影モードを設定し(S9)、ライブバルブ制御を行う(S11)。この制御が終了すると、ステップS1に戻る。
【0077】
ステップS3における撮影モードの設定において、デジタルNDフィルタ撮影モード(DND)であった場合には、デジタルNDフィルタ撮影モードを設定し(S13)、デジタルNDフィルタ制御を行う(S15)。この制御が終了すると、ステップS1に戻る。このデジタルNDフィルタ制御の詳しい動作について、図8および図9を用いて後述する。
【0078】
ステップS3における撮影モードの設定において、ハイダイナミックレンジ撮影モード(HDR)であった場合には、ハイダイナミックレンジ撮影モードを設定し(S17)、ハイダイナミックレンジ制御を行う(S19)。この制御が終了すると、ステップS1に戻る。
【0079】
ステップS3における撮影モードの設定において、ハイスピード撮影モード(HiSP)であった場合には、ハイスピード撮影モードを設定し(S21)、ハイスピード制御を行う(S23)。この制御が終了すると、ステップS1に戻る。
【0080】
ステップS3における撮影モードの設定において、撮像コントロールに関連する撮影モードが選択されなかった場合には、撮影モードを非選択とし(S25)、通常撮影を行う(S27)。ここでは、一般的に行われている通常撮影を実行する。通常撮影を行うと、ステップS1に戻る。
【0081】
次に、図8および図9に示すフローチャートを用いて、図7のステップS15のデジタルNDフィルタ制御(DND制御)の詳しい動作について説明する。
【0082】
DND制御のフローに入ると、まず、ISO感度SVと絞り値AVを設定する(S31)。ここでは、デフォルト値またはメニュー画面等で設定されたISO感度値SVを設定する。また、絞り優先モードや手動露出制御モードが設定されている場合には、ユーザが指示した絞り値AVを設定する。自動露出制御モードが設定されている場合には、後述するステップS35において被写界輝度BVを測定するので、絞り値AVは被写界輝度BV等に基づいてアペックス演算から求める。なお、SV、AVが既に設定されている場合には、設定値を確認する。
【0083】
SV、TVの設定を行うと、次に、DNDモードの選択を行う(S33)。図5を用いて説明したように、デジタルNDフィルタモードには、自動デジタルNDフィルタ撮影モード(AUTO)と手動デジタルNDフィルタ撮影モード(MANU)の2種類がある。このステップでは、いずれの撮影モードが設定されているかを判定して設定する。また手動デジタルNDフィルタ撮影モードが設定されていた場合には、選択された減光量も併せて設定する。
【0084】
DNDモードの選択を行うと、次に、BV測定を行う(S35)。ここでは、撮像素子5からの画像データに基づいて、被写界輝度BVを算出する。
【0085】
BV測定を行うと、次に、DNDモードが自動デジタルNDフィルタ撮影モード(AUTO)か否かを判定する(S36)。この判定の結果、AUTOモードの場合には、合成処理の決定を行う(S37)。ここでは、ステップS35において、検出したBV値に基づいて、前述したNo.A〜Hのいずれに当てはまるかを判定し、決定する。ステップS36における判定の結果、AUTOモードがオフの場合は、設定されたND値に基づいて合成処理を決める。
【0086】
合成処理方法を決定すると、次に、V1>か否かを判定する(S39)。ここで、Vは、撮像素子5が飽和しないと仮定して、被写界輝度に対して出力される値とする。V=kVは、出力が飽和する限度とする。また、V1=V0は、適正露光状態とする。
【0087】
ステップS39における判定の結果、V≧kVの場合には、出力が飽和するとして、警告表示を行う(S41)。なお、警告表示としては、表示部21に適正露光にならないことを、文字、絵文字、アイコン等によって警告してもよく、またブザー等の発音部材を設け、警告音で表示しても、振動部材を設けて振動で表示する等、いずれの方法でもよい。
【0088】
ステップS39における判定の結果、V1>kVのでない場合には、次に、V/2<V≦kVか否かを判定する(S43)。
【0089】
ステップS43における判定の結果、V/2<V≦kVであった場合には、1/240秒を含む短いシャッタ速度(T3)を決め(S44)、平均加算を行い(S45)、ゲイン調整する(S47)。ここでは、1フレーム中の4回の分割露光で取得した4個の画像データを順次加算し、その加算値を分割数4で除算することにより平均加算値を算出する。加算平均値を算出すると、次に、ゲイン調整を行う。DNDモードとしてMANUが設定されている場合には、ゲインは固定しておく。DNDとしてAUTOが設定されている場合には、ゲインを変更してもよいが、この場合には画面の明るさが急に変わらないように注意したアルゴリズムにするのが望ましい。このステップS43Yes、S45、S47における処理は、前述の図3のNo.4、5、図6のNo.A、B、Cの処理に相当する。
【0090】
一方、ステップS43における判定の結果、V/2<V≦kVでなかった場合には、V/4<V≦V/2か否かを判定する(S49)。
【0091】
ステップS49における判定の結果、V/4<V≦V/2であった場合には、部分加算を行い(S51)、平均加算を行い(S53)、ゲイン調整を行う(S55)。この場合には、図3のNo.3の場合と同様に、4個の分割露光の内の2個の画像データを加算する(部分加算)。この加算値は、2個あるので、両者を加算し、2で除算する(平均加算)。
【0092】
次に、ゲイン調整を行う。DNDモードがAUTOであってもMANUであっても、ステップS55の場合と同様、通常は、ゲインは固定しておく。このステップS49Yes、S51、S53、S55における処理は、前述の図3のNo.3、図6のNo.D、No.Eの処理に相当する。
【0093】
一方、ステップS49における判定の結果、V/4<V≦V/2でなかった場合には、V/8<V≦V/4か否かを判定する(S57)。
【0094】
ステップS57における判定の結果、V/8<V≦V/4であった場合には、累積加算を行い(S59)、ゲイン調整を行う(S61)。ここでは、1フレーム中のn回の分割露光で取得したn個の画像データを順次加算することにより、累積加算値を算出する。累積加算値を算出すると、次に、ゲイン調整を行う。DNDモードがAUTOであってもMANUであっても、通常は、ゲインは固定しておく。このステップS57Yes、S59、S61における処理は、前述の図3のNo.1、No.2、図6のNo.F、No.Cの処理に相当する。
【0095】
一方、ステップS57における判定の結果、V/8<V≦V/4でなかった場合には、V<V/8になる(S71)。ここでは、1回の露光での出力が、適正露光量Vの1/8倍を意味する。
【0096】
次に、AUTOか否かの判定を行う(S73)。ここでは、ステップS33で設定したデジタルNDフィルタ撮影モードに基づいて判定する。
【0097】
ステップS73における判定の結果、AUTOであった場合には、2画素混合を行い(S75)、累積加算を行い(S77)、ゲイン調整を行う(S79)。この場合には、被写界輝度はかなり暗いが、自動露出制御によって適正露光にするために、累積加算に加えて、2画素混合を行うようにしている。2画素混合は、撮像素子5が2画素分の画像データを加算したデータを出力するので、画素値が2倍になる。累積加算はステップS59と同様の処理であり、またゲイン調整はステップS47、S55、S61と同様の処理である。
【0098】
ステップS79においてゲイン調整を行うと、またはステップS81において警告を行うと、DND制御の処理を終了し、元のフローに戻る。被写体が変化すると明るさも変わるので、また、同様の処理が繰り返される。
【0099】
以上説明したように、本発明の一実施形態においては、予め決められた複数の画像合成処理が可能であり(図8のS45とS47の処理、S51とS53の処理、S59とS61の処理、図9のS75、S77とS79の処理)、撮像部からほぼ途切れなく出力された一連の画像データを、複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成している(例えば、図8図9参照)。このため、動画撮影時にパラパラ感がなく、適正露光量となる画像データを生成することができる。すなわち、動画のフレームレートで決まる露光時間の殆どで露光することができような、複数の画像合成処理の内の1つを選択することにより、動画撮影時にパラパラ感がなく、適正露光量となる画像データを生成することが可能となる。また、フレームレートを固定しているため、フレームレートを変更する処理を短時間で行わなくても済むため、制御が容易になる。
【0100】
なお、本発明の一実施形態においては、1フレームを分割露光にするにあたって、分割数を4としたが、分割数を4に限らなくてもよい。被写体の輝度に応じて、適宜、分割数を変更すればよい。
【0101】
また、本発明の一実施形態においては、複数の画像合成処理として、平均加算、部分加算、累積加算、ゲイン調整、画素混合を単独または組み合わせていた。しかし、複数の画像合成処理としては、これの全てを備えなくてもよく、また、他の画像合成処理を組み合わせてもよい。
【0102】
また、本発明の一実施形態においては、2画素混合(図9のS75)として、撮像素子5で混合するとしたが、これに限らず、前処理部7で行ってもよく、その他の部で行うようにしてもよい。また、2画素混合に限らず、3画素混合、4画素混合等、輝度に応じて混合数を変化させてもよい。
【0103】
また、本発明の各実施形態においては、レベル判別部37、分割フレーム数検出部39、露出決定部41を、システム制御部27とは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、システム制御部27内のCPUによって実行するようにしても勿論かまわない。
【0104】
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末(PDA:Personal Digital Assist)、パーソナルコンピュータ(PC)、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、分割露光によって撮影が可能な機器であれば、本発明を適用することができる。
【0105】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【0106】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【0107】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0108】
1・・・撮像部、3・・・光学系、5・・・撮像素子、7・・・前処理部、9・・・通常処理部、11・・・合成処理部、13・・・ゲイン調整部、15・・・現像処理部、17・・・画像処理部、19・・・圧縮・伸張処理部、21・・・表示部、23・・・無線I/F部、25・・・バス、27・・・システム制御部、29・・・操作入力部、31・・・マイク、33・・・内部メモリ、35・・・分割露光制御部、37・・・レベル判別部、41・・・露出決定部、43・・・記録フォーマット決定部、45・・・I/F、47・・・外部メモリ
図1
図2
図3
図4
図5
図6
図7
図8
図9