特許第5915720号(P5915720)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニコンの特許一覧

<>
  • 特許5915720-撮像装置 図000002
  • 特許5915720-撮像装置 図000003
  • 特許5915720-撮像装置 図000004
  • 特許5915720-撮像装置 図000005
  • 特許5915720-撮像装置 図000006
  • 特許5915720-撮像装置 図000007
  • 特許5915720-撮像装置 図000008
  • 特許5915720-撮像装置 図000009
  • 特許5915720-撮像装置 図000010
  • 特許5915720-撮像装置 図000011
  • 特許5915720-撮像装置 図000012
  • 特許5915720-撮像装置 図000013
  • 特許5915720-撮像装置 図000014
  • 特許5915720-撮像装置 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5915720
(24)【登録日】2016年4月15日
(45)【発行日】2016年5月11日
(54)【発明の名称】撮像装置
(51)【国際特許分類】
   H04N 5/232 20060101AFI20160422BHJP
   H04N 5/225 20060101ALI20160422BHJP
   H04N 5/378 20110101ALI20160422BHJP
【FI】
   H04N5/232 Z
   H04N5/225 F
   H04N5/335 780
【請求項の数】21
【全頁数】19
(21)【出願番号】特願2014-236584(P2014-236584)
(22)【出願日】2014年11月21日
(62)【分割の表示】特願2009-253846(P2009-253846)の分割
【原出願日】2009年11月5日
(65)【公開番号】特開2015-39242(P2015-39242A)
(43)【公開日】2015年2月26日
【審査請求日】2014年11月21日
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100084412
【弁理士】
【氏名又は名称】永井 冬紀
(74)【代理人】
【識別番号】100078189
【弁理士】
【氏名又は名称】渡辺 隆男
(72)【発明者】
【氏名】神保 直樹
【審査官】 山口 祐一郎
(56)【参考文献】
【文献】 特開2007−243909(JP,A)
【文献】 国際公開第2008/075688(WO,A1)
【文献】 特開2005−102175(JP,A)
【文献】 特開平9−214836(JP,A)
【文献】 特開2007−235387(JP,A)
【文献】 特開2006−352796(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222−5/257
5/30−5/378
9/04−9/11
(57)【特許請求の範囲】
【請求項1】
光電変換により信号を生成する画素複数有する撮像素子と、
前記撮像素子の第1領域に含まれる前記画素で生成された信を読み出す第1フレームレートを、前記撮像素子の第2領域に含まれる前記画素で生成された信を読み出す第2フレームレートとは異なるように前記撮像素子を制御可能な制御部と、を備え、
前記制御部は、前記第1領域の少なくとも一部の領域と前記第2領域の少なくとも一部の領域とが重なる場合、前記第1フレームレート及び前記第2フレームレートが同じになるように前記撮像素子を制御する撮像装置。
【請求項2】
前記制御部は、前記第1領域に結像した被写体像の動き量が前記第2領域に結像した被写体像の動き量より大きい場合、前記第1フレームレートを前記第2フレームレートより高くなるように前記撮像素子を制御する請求項1に記載の撮像装置。
【請求項3】
前記制御部は、前記第1領域に結像した被写体像の動き量が前記第2領域に結像した被写体像の動き量よりも大きいほど、前記第1フレームレートを前記第2フレームレートより高くなるように前記撮像素子を制御する請求項1又は請求項2に記載の撮像装置。
【請求項4】
前記制御部は、前記第1領域の面積が前記第2領域の面積より大きい場合、前記第1領域に含まれる前記画素で生成された信号を読み出すときの第1間引率を前記第2領域に含まれる前記画素で生成された信号を読み出すときの第2間引率よりも高くなるように前記撮像素子を制御する請求項1から請求項3のいずれか一項に記載の撮像装置。
【請求項5】
前記制御部は、前記第1領域の面積が前記第2領域の面積より大きいほど、前記第1間引率を前記第2間引率より高くなるように前記撮像素子を制御する請求項4に記載の撮像装置。
【請求項6】
前記制御部は、前記第1領域に含まれる前記画素の撮像感度を前記第2領域に含まれる前記画素の撮像感度より高くなるように前記撮像素子を制御する請求項2から請求項5のいずれか一項に記載の撮像装置。
【請求項7】
前記制御部は、前記第1領域に含まれる前記画素から読み出された信号による第1画像と、前記第2領域に含まれる前記画素から読み出された信号による第2画像と、を表示部に表示させる請求項1から請求項6のいずれか一項に記載の撮像装置。
【請求項8】
前記制御部は、前記第1画像を前記表示部の第1表示領域に表示させ、前記第2画像を前記表示部の、前記第1表示領域と同じ面積を有する第2表示領域に表示させる請求項7に記載の撮像装置。
【請求項9】
前記制御部は、前記第1フレームレート及び前記第2フレームレートのうち、いずれか高い方のフレームレートに揃えるように前記撮像素子を制御する請求項1から請求項8のいずれか一項に記載の撮像装置。
【請求項10】
前記制御部は、前記第1フレームレート及び前記第2フレームレートの平均のフレームレートに揃えるように前記撮像素子を制御する請求項1から請求項8のいずれか一項に記載の撮像装置。
【請求項11】
光電変換により信号を生成する画素を複数有する撮像素子と、
前記撮像素子の第1領域に含まれる前記画素で生成された信号を読み出すときの第1間引率を、前記撮像素子の第2領域に含まれる前記画素で生成された信号を読み出すときの第2間引率とは異なるように前記撮像素子を制御可能な制御部と、を備え、
前記制御部は、前記第1領域の少なくとも一部の領域と前記第2領域の少なくとも一部の領域とが重なる場合、前記第1間引率及び前記第2間引率が同じになるように前記撮像素子を制御する撮像装置。
【請求項12】
前記制御部は、前記第1領域の面積が前記第2領域の面積より大きい場合、前記第1間引率を前記第2間引率より高くなるように前記撮像素子を制御する請求項11に記載の撮像装置。
【請求項13】
前記制御部は、前記第1領域の面積が前記第2領域の面積より大きいほど、前記第1間引率を前記第2間引率より高くなるように前記撮像素子を制御する請求項12に記載の撮像装置。
【請求項14】
前記制御部は、前記第1領域に含まれる前記画素で生成された信号を読み出す第1フレームレートを、前記第2領域に含まれる前記画素で生成された信号を読み出す第2フレームレートとは異なるように前記撮像素子を制御する請求項11から請求項13のいずれか一項に記載の撮像装置。
【請求項15】
前記制御部は、前記第1領域に結像した被写体像の動き量が前記第2領域に結像した被写体像の動き量より大きい場合、前記第1フレームレートを前記第2フレームレートより高くなるように前記撮像素子を制御する請求項14に記載の撮像装置。
【請求項16】
前記制御部は、前記第1領域に結像した被写体像の動き量が前記第2領域に結像した被写体像の動き量よりも大きいほど、前記第1フレームレートを前記第2フレームレートより高くなるように前記撮像素子を制御する請求項14又は請求項15に記載の撮像装置。
【請求項17】
前記制御部は、前記第1領域に含まれる前記画素の撮像感度を、前記第2領域に含まれる前記画素の撮像感度より高くなるように前記撮像素子を制御する請求項12から請求項16のいずれか一項に記載の撮像装置。
【請求項18】
前記制御部は、前記第1領域に含まれる前記画素から読み出された信号による第1画像と、前記第2領域に含まれる前記画素から読み出された信号による第2画像と、を表示部に表示させる請求項11から請求項17のいずれか一項に記載の撮像装置。
【請求項19】
前記制御部は、前記第1画像を前記表示部の第1表示領域に表示させ、前記第2画像を前記表示部の、前記第1表示領域と同じ面積を有する第2表示領域に表示させる請求項18に記載の撮像装置。
【請求項20】
前記制御部は、前記第1フレームレート及び前記第2フレームレートのうち、いずれか高い方のフレームレートに揃えるように前記撮像素子を制御する請求項14から請求項16のいずれか一項に記載の撮像装置。
【請求項21】
前記制御部は、前記第1フレームレート及び前記第2フレームレートの平均のフレームレートに揃えるように前記撮像素子を制御する請求項14から請求項16のいずれか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
撮像した画像から複数のクロップ領域内の画像を取得するデジタルカメラが知られている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−175683号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術では、撮像素子から画素データを読出す際のデータ読出しレートが各クロップ領域でどのように設定されるのか明らかでなかった。
【課題を解決するための手段】
【0005】
請求項1に記載の撮像装置は、光電変換により信号を生成する画素複数有する撮像素子と、撮像素子の第1領域に含まれる画素で生成された信を読み出す第1フレームレートを、撮像素子の第2領域に含まれる画素で生成された信を読み出す第2フレームレートとは異なるように撮像素子を制御可能な制御部と、を備え、制御部は、第1領域の少なくとも一部の領域と第2領域の少なくとも一部の領域とが重なる場合、第1フレームレート及び第2フレームレートが同じになるように撮像素子を制御する。
請求項11に記載の撮像装置は、光電変換により信号を生成する画素を複数有する撮像素子と、撮像素子の第1領域に含まれる画素で生成された信号を読み出すときの第1間引率を、撮像素子の第2領域に含まれる画素で生成された信号を読み出すときの第2間引率とは異なるように撮像素子を制御可能な制御部と、を備え、制御部は、第1領域の少なくとも一部の領域と第2領域の少なくとも一部の領域とが重なる場合、第1間引率及び第2間引率が同じになるように撮像素子を制御する。
【図面の簡単な説明】
【0006】
図1】本発明の第一の実施形態による電子カメラの構成を例示する図である。
図2】電子カメラの背面図である。
図3】録画前にライブビュー画像を表示する画面を例示する図である。
図4】録画前に表示枠を点灯表示する画面を例示する図である。
図5】録画中の画面を例示する図である。
図6】2画像録画前にライブビュー画像を表示する画面を例示する図である。
図7】2画像録画前に表示枠を点灯表示する画面を例示する図である。
図8】2画像録画中の画面を例示する図である。
図9】撮像素子からの画素データの読出しを説明する図である。
図10】撮像素子からの画素データの読出しを説明する図である。
図11】録画処理の流れを説明するフローチャートである。
図12】再生表示処理の流れを説明するフローチャートである。
図13】クロップ領域の位置関係を説明する図である。
図14】位置関係と表示象限とを説明する図である。
【発明を実施するための形態】
【0007】
以下、図面を参照して本発明を実施するための形態について説明する。
(第一の実施形態)
図1は、本発明の第一の実施形態による電子カメラ1の構成例を説明するブロック図である。図1において、電子カメラ1は、撮影光学系11と、撮像素子12と、AFE(Analog front end)回路13と、画像処理回路14と、タイミングジェネレータ(TG)15と、LCDモニタ17と、バッファメモリ18と、フラッシュメモリ19と、CPU20と、メモリカードインターフェース(I/F)21と、操作部材22とを備える。
【0008】
CPU20、バッファメモリ18、フラッシュメモリ19、メモリカードインターフェース21、画像処理回路14、およびLCDモニタ17は、それぞれがバス16を介して接続されている。
【0009】
撮影光学系11は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子12の受光面に結像させる。なお、図1を簡単にするため、撮影光学系11を単レンズとして図示している。
【0010】
TG15は、CPU20から送出される指示に応じて所定のタイミング信号を発生し、撮像素子12、AFE回路13、画像処理回路14へそれぞれのタイミング信号を供給する。タイミング信号によって撮像素子12等が駆動制御されることにより、撮像素子12による撮像タイミングや撮像素子12からのアナログ画像信号の読出しタイミングが制御される。
【0011】
撮像素子12は、撮影光学系11を通過した光束による被写体像を光電変換してアナログ画像信号を生成する。アナログ画像信号は、AFE回路13に入力される。本実施形態の撮像素子12は、たとえば、画素に対応する複数の電荷蓄積型の光電変換素子を備えたCMOSイメージセンサによって構成される。撮像素子12は電子シャッター機能を有しており、いわゆるローリングシャッターによって各画素の露光制御を行う。ローリングシャッターでは、画素の露光・読出しタイミング(蓄積制御のタイミング)が撮像面における水平方向の画素並び(水平ライン)ごとに異なっている。
また撮像素子12は、窓読み出し、という駆動モードを使用し、クロップした選択エリアに必要な領域のみを撮像素子で撮像して読み出すことが可能である。この撮像素子12における窓読出し駆動モードでは、撮像素子内の任意の位置および大きさのエリアをユーザーが任意に選択(設定)可能である。撮像素子12は、その選択されたエリアの大きさに応じて、被写体像を撮像して被写体像信号を読み出すフレームレート(以下、読み出しフレームレートと称す)を可変制御される(具体的には選択されたエリアの大きさが小さいほど読出しフレームレートを上げることができる)。これによって、複数のクロップ領域が選択された場合においても、撮像信号読み出しに要する時間が不必要に長くならず、動画像(ライブビュー画像)表示や動画像記録にとって十分な読み出しフレームレートが確保できる。
撮像素子12は複数の駆動モードを有しており、間引きや加算方法が異なるためフレームレートの変更が可能である。複数の選択エリアに対して、それぞれの選択エリア内の被写体の動きに応じたフレームレートを設定することができる。例えば、動きベクトルが大きい被写体に対しては(動きの速い被写体を含むエリアが上述のクロップエリアとして選択された場合には)フレームレートを高くすることが可能になる。つまり被写体の動きに応じた読み出しフレームレートの制御が可能になる。
このように撮像素子12は、撮影される被写体の速さや、一画面内から切り出されるクロップエリアの大きさなどに応じて、適切な読み出しフレームレートで駆動制御されるものである。
【0012】
AFE回路13は、アナログ画像信号に対して相関二重サンプリングやゲイン調整などのアナログ処理を行うとともに、アナログ処理後の画像信号をデジタル画像データに変換する。デジタル画像データは画像処理回路14に入力される。画像処理回路14は、デジタル画像データに対して各種の画像処理(画素補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理、画像圧縮処理、画像伸張処理など)を施す。
【0013】
LCDモニタ17は液晶パネルによって構成され、CPU20からの指示に応じて画像や操作メニュー画面などを表示する。LCDモニタ17の表示面上にはタッチ操作部材(不図示)が積層されている。タッチ操作部材は、ユーザーによってタッチ操作された場合に操作部材上(すなわち液晶モニタ17の表示画面上)のタッチ位置を示す信号を発生し、CPU20へ送出する。
【0014】
バッファメモリ18は、画像処理回路14によって画像処理される前、画像処理中、画像処理された後のデジタル画像データを一時的に記憶する。また、後述するクロップ録画を行う場合にも、各画像データ(第1画像データおよび第2画像データ)をそれぞれ一時記憶するために十分な記憶容量が確保されている。フラッシュメモリ19は、CPU20に実行させるプログラムを記憶する。
【0015】
CPU20は、フラッシュメモリ19が記憶するプログラムを実行することによって電子カメラ1が行う動作を制御する。CPU20は、AF(オートフォーカス)動作制御や、自動露出(AE)演算も行う。AF動作は、たとえば、ライブビュー画像のコントラスト情報に基づいてフォーカシングレンズ(不図示)の合焦位置を求めるコントラスト検出方式を用いる。ライブビュー画像は、撮影指示前に撮像素子12によって所定の時間間隔(たとえば60フレーム/毎秒=60fps)で繰り返し取得されるモニタ用画像のことをいう。ライブビュー画像はスルー画像とも呼ばれる。
【0016】
メモリカードインターフェース21はコネクタ(不図示)を有し、該コネクタにメモリカードなどの記憶媒体51が接続される。メモリカードインターフェース21は、接続された記憶媒体51に対するデータの書き込みや、記憶媒体51からのデータの読込みを行う。記憶媒体51は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
【0017】
操作部材22は、後述するレリーズボタン22a、録画スイッチ22i、ズームスイッチ22bおよび22c、十字スイッチ22g、メニュースイッチ22eなどを含む。操作部材22は、ファンクション操作やメニュー選択操作など、各操作に応じた操作信号をCPU20へ送出する。
【0018】
図2は、電子カメラ1の背面図である。電子カメラ1の背面には、LCDモニタ17と、ズームスイッチ22b(T)と、ズームスイッチ22c(W)と、ファンクション(F)スイッチ22dと、録画スイッチ22iと、メニュースイッチ22eと、削除スイッチ22fと、十字スイッチ22gと、OKスイッチ22hとが設けられている。
【0019】
電子カメラ1のCPU20は、撮影モード時に上述したライブビュー画像をLCDモニタ17に表示させる。図3は、ライブビュー画像を表示するLCDモニタ17の表示画面を例示する図である。ライブビュー画像は、撮像素子12が有する有効画素のうち間引き読み出しされた画素のデータに基づいて表示されたものである。したがって、撮像素子12が有する有効画素数に比べてLCDモニタ17の表示画素数が少ない場合には、ライブビュー画像の精細度を低くするようにデータ読出し時の間引き率が設定される。間引きは、単純間引き方式でも画素加算方式でもよい。撮像素子12に60fpsで撮像を行わせる場合、ライブビュー画像を60fpsで表示させることができる。
【0020】
CPU20は、ライブビュー画像を表示中にレリーズボタン22aから操作信号が入力された場合、静止画撮影処理を開始させて静止画像を取得する。静止画撮影では、通常、撮像素子12が有する全画素から読出した画素のデータに基づいて記録画像を生成する。なお、設定により、撮像素子12が有する全画素のうち所定の間引き率で読出した画素のデータに基づいて記録画像を生成すること、または、撮像素子12が有する撮像領域(有効画素領域)のうち所定の領域から読出した画素のデータに基づいて記録画像を生成することも可能に構成されている。
【0021】
また、CPU20は、ライブビュー画像を表示中に録画スイッチ22iから操作信号が入力された場合、動画撮影処理を開始させて動画像を取得し、動画撮影処理中に再度操作信号が入力された場合に動画撮影処理を終了する。動画撮影では、通常、撮像素子12が有する有効画素のうち所定の間引き率で読出した画素のデータに基づいて記録画像を生成する。なお、設定により、撮像素子12が有する撮像領域(有効画素領域)のうち所定領域から読出した画素のデータに基づいて記録画像を生成することも可能に構成されている。撮像素子12から画素のデータを読出す領域は、後述するクロップ領域設定操作により変更可能に構成されている。
【0022】
本実施形態は、動画像を取得する場合の動作に特徴を有するので、以下、動画像取得(録画)を中心に説明を行う。
【0023】
<1画像録画の場合>
−クロップ領域設定−
CPU20は、ライブビュー画像を表示中にLCDモニタ17上のタッチ操作部材(不図示)から操作信号が入力された場合、そのタッチ位置を示す表示枠31をライブビュー画像の上に重ねて点滅表示(重畳表示)させる(図3)。本例では、表示枠31のアスペクト比は、LCDモニタ17の表示領域のアスペクト比と一致する。表示枠31は、動画像取得(録画)時における高精細画像の撮影範囲に対応する。
【0024】
CPU20は、表示枠31を点滅させている状態でLCDモニタ17上のタッチ操作部材(不図示)から操作信号が入力された場合、そのタッチ位置へ表示枠31の中心位置を移動させる。また、CPU20は、ズームスイッチ22c(W)から操作信号が入力された場合は、点滅中の表示枠31のサイズを操作回数に応じて大きくし、ズームスイッチ22b(T)から操作信号が入力された場合は、点滅中の表示枠31のサイズを操作回数に応じて小さくする。CPU20は、OKスイッチ22hから操作信号が入力された場合、その時点の表示枠41を点滅表示から点灯表示へ変更させる(図4)。
【0025】
なお、点灯表示中の表示枠41の表示位置がタッチ操作された場合のCPU20は、表示枠41を点灯表示から点滅表示へ変更させる。CPU20は、削除スイッチ22fから操作信号が入力された場合に点滅状態の表示枠41を消去させる。
【0026】
−録画−
CPU20は、録画スイッチ22iから操作信号が入力された場合、動画像取得(録画)処理を開始させる。CPU20は、表示枠41がセットされている(すなわち、表示枠41が点灯表示されている)場合、高精細画像(第1画像と呼ぶ)を取得させる。高精細画像は、撮像素子12の撮像領域(有効画素領域)のうち表示枠41に対応する領域に対応する画像である。また、CPU20は、表示枠41がセットされていない(すなわち、表示枠41が点灯表示されていない)場合には、全画面画像を取得させる。全画面画像は、撮像素子12の有効画素領域の全域に対応する画像である。
【0027】
高精細画像を取得する場合のCPU20は、表示枠41のサイズが大きいほど撮像素子12から画素データを読出す際の間引き率を高くし(換言すれば、読み出し解像度を低くし)、表示枠41のサイズが小さいほど撮像素子12から画素データを読出す際の間引き率を低く(換言すれば、読み出し解像度を高く)設定する。間引き率が低いほど(すなわち表示枠41のサイズが小さいほど)、高精細の動画像が得られる。更にCPU20は、表示枠41内に存在する被写体の動きをその枠41内の平均的な動きベクトルに基づいて求め、その動きに応じて撮像素子12の読み出しフレームレートを制御する。具体的には、被写体の動きが激しい(動きベクトルが大きい)ほど撮像素子12の読み出しフレームレートを上げる。なお、高精細画像の録画を開始したCPU20は、録画開始前の表示画像(図4)に代えて、録画中の表示画像(図5)をLCDモニタ17に表示させる。
【0028】
<2画像録画の場合>
−クロップ領域設定−
CPU20は、ライブビュー画像に重ねて表示枠41(図4)を点灯表示中に、さらにLCDモニタ17上のタッチ操作部材(不図示)から操作信号が入力された場合、そのタッチ位置を示す表示枠61をライブビュー画像の上に重ねて点滅表示(重畳表示)させる(図6)。本例において、表示枠61のアスペクト比をLCDモニタ17の表示領域のアスペクト比と一致させている点は表示枠31(41)の場合と同様である。表示枠61は、動画像取得(録画)時における高精細画像(第2画像と呼ぶ)の撮影範囲を表す。
【0029】
CPU20は、表示枠61を点滅させている状態でLCDモニタ17上のタッチ操作部材(不図示)から操作信号が入力された場合、そのタッチ位置へ表示枠61の中心位置を移動させる。また、CPU20は、ズームスイッチ22c(W)から操作信号が入力された場合は、点滅中の表示枠61のサイズを操作回数に応じて大きくし、ズームスイッチ22b(T)から操作信号が入力された場合は、点滅中の表示枠61のサイズを操作回数に応じて小さくする。CPU20は、OKスイッチ22hから操作信号が入力された場合、その時点の表示枠71を点滅表示から点灯表示へ変更させる(図7)。
【0030】
なお、点灯表示中の表示枠41、71のいずれかの表示位置がタッチ操作された場合のCPU20は、対応する表示枠を点灯表示から点滅表示へ変更させる。CPU20は、削除スイッチ22fから操作信号が入力された場合には、点滅状態の表示枠を消去させる。
【0031】
CPU20は、録画スイッチ22iから操作信号が入力された場合、動画像取得(録画)処理を開始させる。CPU20は、2つの高精細画像(拡大画像)を取得させる。2つの高精細画像は、撮像素子12の撮像領域のうち表示枠41に対応する領域に対応する第1画像(図5)と、表示枠71に対応する領域に対応する第2画像(図8)である。ここで本実施形態では第2画像(図8)の被写体よりも第1画像(図5)の被写体の方が激しく動いている(平均的な動きベクトルが相対的に大きい)ものと仮定する。なお、高精細画像の録画を開始したCPU20は、録画開始前の表示画像(図7)に代えて、録画中の表示画像(図8)をLCDモニタ17に表示させる。ここで、録画中の表示画像(図8)に代えて録画中の表示画像(図5)をLCDモニタ17に表示させることも可能に構成される。
【0032】
CPU20は、2画像録画の場合は2つのクロップ領域のそれぞれに対して、撮像素子12から画素データを読出す際のデータ読出しレート(すなわち間引き率)を設定する。
【0033】
図9および図10は、撮像素子12からの画素データの読出しを説明する図である。図9は、全画面画像を取得する場合(すなわち、表示枠41(図4)がセットされていない場合)を説明する図である。CPU20は、撮像素子12の有効画素領域の全域に対応する画像を取得するため、撮像素子12の上側から下側へ、水平ラインごとにタイミングをずらして露光・読出しを制御する。上述したように、撮像素子12から画素データを読出す際の間引き率を高くするように、読出し水平ラインを所定間隔でセットするとともに(たとえば、60fps)、読出し水平ラインにおいて所定画素間隔で画素データを読出す。
【0034】
図10は、クロップ領域について画像を取得する場合を説明する図である。図10は2画像録画の例であるので、表示枠41および表示枠71(図7)の双方がセットされている。CPU20は、複数のクロップ領域に対応する画像を取得するため、撮像素子12の上側から下側へ水平ラインごと、かつクロップ領域ごとにタイミングをずらして露光・読出しを制御する。
【0035】
図10において、画素領域1071は表示枠71(図7)に対応し、画素領域1041は表示枠41(図7)に対応する。CPU20は、撮像素子12から画素データを読出す際の間引き率を低くする(換言すれば高解像読出しモードにする)ように、読出し水平ラインの間隔を全画面画像取得時より狭くセットするとともに、読出し水平ラインにおける画素間隔も全画面取得時より狭くする。画素領域1071および画素領域1041間でサイズが異なる場合は、各画素領域間で読出し水平ライン間隔および画素間隔(換言すれば読出しの解像度を)を異ならせる。更に、表示枠41、71内の被写体の動きに応じて、読み出しのフレームレートを制御する。図10の例では、画素領域1071に係る読出し水平ラインをたとえば10fps相当にセットし、画素領域1041に係る読出し水平ラインをたとえば30fps相当にセットする。このように動きの激しい被写体(図5)に係る読出し水平ラインの方のフレームレートを相対的に上げるようにする。
【0036】
ここで、各水平ラインの露光時間は、電子カメラ1に設定されているシャッター秒時に対応するものであり、たとえば、CPU20が公知の自動露出演算によって決定したシャッター秒時が用いられる。
【0037】
以上説明した録画処理の流れについて、図11に例示するフローチャートを参照して説明する。電子カメラ1のCPU20は、不図示のメインスイッチがオン操作されると、図11の処理を行うプログラムを起動する。図11のステップS101において、CPU20は、撮像素子12にライブビュー画像用の撮像を開始させ、取得された画像データに基づくライブビュー画像をLCDモニタ17に表示させてステップS102へ進む(図3)。
【0038】
図3に例示したライブビュー画像は、撮像素子12が有する有効画素のうち、LCDモニタ17の表示画素数に応じた間引き率で読出したデータに基づいて表示させたものである。したがって、撮像素子12が有する画素数に比べてLCDモニタ17の表示画素数が少ない場合には、ライブビュー画像の解像度を低くするようにデータ読出し時の間引き率を設定する。ここで、画素密度変換処理について述べる。LCDモニタ17の表示画面の走査形式に規定される画素数よりも、撮像素子12の読出し画素数が多い場合には、その走査形式の規定よりも高い画素密度で画像情報が生成されてしまう。そこでこの画素密度の高い画像情報を表示画面の走査形式に合わせた画素密度まで低減する処理のことを画素密度変換処理という。
【0039】
ステップS102において、CPU20は、クロップ領域を設定する操作が行われたか否かを判定する。CPU20は、たとえば、ファンクションスイッチ22dの押下操作を示す信号が操作部材22から入力された場合、ステップS102を肯定判定してステップS103へ進む。CPU20は、ファンクションスイッチ22dの押下操作を示す信号が入力されない場合には、ステップS102を否定判定してステップS108へ進む。
【0040】
ステップS103において、CPU20は、撮影対象の指定操作を受け付ける。具体的には、上述したように表示枠31または表示枠61をライブビュー画像に重ねて表示させた上で、OKスイッチ22hからの操作信号を待つ。CPU20は、OKスイッチ22hが操作されるとステップS104へ進む。
【0041】
ステップS104において、CPU20は、撮影対象に動きがあるか否かを判定する。CPU20は、後から取得されたフレーム画像データにおける検出領域の位置と、先に取得されたフレーム画像データにおける撮影対象の位置との相対距離が所定差を超えている場合に、ステップS104を肯定判定してステップS105へ進む。CPU20は、上記相対距離が所定差以下の場合には、ステップS104を否定判定してステップS106へ進む。
【0042】
ステップS105において、CPU20は、画素領域1041に係る読出し水平ラインのように、読み出しレートを30fps相当にセットしてステップS107へ進む。フレームレートを上げることによって蓄積時間が短くなり、蓄積データの信号値が低くなる。この場合は、撮像感度を高くすることによって信号値の低下分を補償するようにしてもよい。ステップS106において、CPU20は、画素領域1071に係る読出し水平ラインのように、読み出しレートを10fps相当にセットしてステップS107へ進む。フレームレートを下げることによって蓄積時間が長くなり、蓄積データの信号値が高くなる。この場合は、撮像感度を低くすることによって信号値の増加分を補償するようにしてもよい。
【0043】
ステップS107において、CPU20は、クロップ領域設定終了操作が行われたか否かを判定する。CPU20は、表示枠31または61の点滅表示を終了した場合にステップS107を肯定判定してステップS108へ進む。CPU20は、表示枠31または61を点滅表示させている場合はステップS107を否定判定し、ステップS103へ戻る。
【0044】
ステップS108において、CPU20は録画操作が行われたか否かを判定する。CPU20は、録画スイッチ22iから操作信号が入力された場合にステップS108を肯定判定してステップS109へ進む。CPU20は、録画スイッチ22iから操作信号が入力されない場合には、ステップS108を否定判定してステップS101へ戻る。
【0045】
ステップS109において、CPU20は、動画撮影処理を開始させてステップS110へ進む。ステップS110において、CPU20は、取得した画像データに基づいて、たとえば、MPEGフォーマットの画像ファイルを記憶媒体51へ記録して図11による処理を終了する。
【0046】
以上説明した第一の実施形態によれば、次の作用効果が得られる。
(1)電子カメラ1は、複数の電荷蓄積型光電変換素子が水平方向および垂直方向に配列された撮像素子12と、撮像素子12による蓄積データを素子列順に所定の読出しレートで読出すTG15と、撮像素子12の第1範囲に含まれる素子列の蓄積データを第1の読出しレートで読出し、撮像素子12の第1範囲と異なる第2範囲に含まれる素子列の蓄積データを第2の読出しレートで読出すようにTG15を制御するCPU20とを備えるので、撮像素子12の異なる範囲の蓄積データを、それぞれ適切なレートで読出せる。
【0047】
(2)画像データを記憶媒体51に記録するメモリカードI/F21をさらに備え、CPU20は、第1範囲の蓄積データに基づく画像データ(第1画像)、および第2範囲の蓄積データに基づく画像データ(第2画像)の双方を記憶媒体51に記録するようにメモリカードI/F21を制御する。これにより、異なる読出しレートで読出した複数の画像を録画できる。
【0048】
(3)上記(2)の場合のCPU20は、メモリカードI/F21に第1範囲および第2範囲の蓄積データに基づく画像データを記憶媒体51に記録せしめる際には、撮像素子12に含まれる、画像データを形成する蓄積データを出力する素子列のうち、第1範囲と第2範囲に対応する素子列からの蓄積データのみを読出すようTG15を制御するようにした。一般に、撮像素子12にはオプティカルブラック部が設けられている。オプティカルブラック部に含まれる画素は遮光されており、センサ出力の基準となる信号を出力する。録画時にはオプティカルブラック部に含まれる画素について蓄積データを読出さないことで、録画時の読出し制御が簡単になる。
【0049】
(変形例1)
上述した説明では、2画像録画の際に設定した2つのクロップ領域が異なる水平ライン上に存在する場合(2つのクロップ領域において共通する水平ラインが存在しない)を例示したが、2つのクロップ領域が同一の水平ラインを含む場合も想定される。この場合は、たとえば、クロップ領域が広い方のデータ読出しレート(すなわち間引き率)をクロップ領域が狭い方のデータ読出しレートに揃えるようにする。具体的には、30fps相当でデータ読出しレートをセットすべき画素領域1041と、10fps相当でデータ読出しレートをセットすべき画素領域1071とが共通の水平ライン上に存在する場合、読出しレートが速い方の30fps相当でデータ読出しレートをセットする。重複するクロップ領域について異なるレートで2度読みする場合に比べて合理的である。また、速い方の読出しレートに揃えることで、撮影対象の主要被写体に動きがある場合に好適である。
【0050】
なお、読出しレートの速い方に揃えるようにセットする代わりに、両読出しレートの平均値に揃えるようにしてもよい。
【0051】
(変形例2)
ライブビュー表示時や動画撮影時に、指定された撮影対象を追尾する構成にしてもよい。具体的には、上述した表示枠31(表示枠61)内の対象物を追尾被写体Tとする。CPU20は、OKスイッチ22hが押下されてステップS104(図11)へ進む際に、その時点で表示枠31(表示枠61)に表示中の追尾被写体Tに対応する画像データに基づいて特徴量データを生成し、特徴量データを含む参照用データをフラッシュメモリ19に格納(登録)する。この参照用データは、追尾被写体Tを追尾する際のテンプレートマッチング用に用いる。
【0052】
その後、CPU20は被写体追尾処理を行う。具体的には、取得時刻が異なる複数フレームの画像データを用いて公知のテンプレートマッチング処理を施すことにより、先に取得された画像データにおける追尾被写体Tと類似する領域を、後から取得された画像データから検出(追尾)する。
【0053】
CPU20は、被写体位置が移動したか否かを判定する。CPU20は、後から取得された画像データにおける検出領域の位置と、先に取得された画像データにおける追尾被写体Tの位置との相対距離が所定差を超えている場合に、ステップS104(図11)を肯定判定してステップS105へ進む。CPU20は、上記相対距離が所定差以下の場合には、ステップS104を否定判定してステップS106へ進む。
【0054】
ステップS105またはステップS106におけるCPU20は、それぞれ上記読出しレートのセットに加えて、次回の処理で用いるフォーカスエリアの座標位置(AFエリア位置)を現位置から、上記被写体追尾処理で検出した追尾被写体Tの位置へ更新する。
【0055】
(第二の実施形態)
第二の実施形態では、第一の実施形態の電子カメラ1で記録された画像ファイルに基づいて行う動画像再生について説明する。第二の実施形態によるLCDモニタ17の表示領域は、表示制御上、たとえば上下左右に4分割されている。CPU20は、各分割領域に対する個別の表示データをそれぞれ生成する。LCDモニタ17は、CPU20から送出される4つの表示データに基づいて、各分割領域ごとに再生画像を表示させる。つまり、4つの個別のLCDモニタが上下左右に並べて配設されている場合と同様の表示制御を行う。
【0056】
本説明では、LCDモニタ17の右上の分割領域を第1象限と呼び、左上の分割領域を第2象限と呼び、左下の分割領域を第3象限と呼び、右下の分割領域を第4象限と呼ぶことにする。CPU20は、1画像録画された動画像ファイルを再生表示する場合、LCDモニタ17の第1象限〜第4象限を用いて1つの動画像を再生表示させる。すなわち、再生表示しようとする動画像の画面を上下左右に4分割し、右上の分割領域をLCDモニタ17の第1象限に表示させ、左上の分割領域をLCDモニタ17の第2象限に表示させ、左下の分割領域をLCDモニタ17の第3象限に表示させ、右下の分割領域をLCDモニタ17の第4象限に表示させる。
【0057】
CPU20は、2画像録画された動画像ファイルを再生表示する場合、LCDモニタ17の第1象限〜第4象限のうち2つの象限を用いて2つの動画像を再生表示する。再生表示に用いる2つの象限は、2つの動画像の相対的な位置関係、すなわち、2画像録画の際に設定された2つのクロップ領域の位置関係に基づいて決定する。
【0058】
2画像録画された動画像ファイルを再生表示する場合に用いる2つの象限の決定方法を含む再生表示処理の流れについて、図12に例示するフローチャートを参照して説明する。電子カメラ1のCPU20は、メニュー操作によって動画像再生が指示されると、図12の処理を行うプログラムを起動する。図12のステップS201において、CPU20は、表示対象の動画像ファイルに2画像が録画されているか否かを判定する。CPU20は、2画像のデータが含まれている(2画像録画されている)場合にステップS201を肯定判定してステップS202へ進む。CPU20は、2画像のデータが含まれていない(1画像録画されている)場合にステップS201を否定判定してステップS219へ進む。
【0059】
ステップS202において、CPU20は、2画像録画の際に設定された2つのクロップ領域の位置関係を判定してステップS203へ進む。図13は、クロップ領域の位置関係を説明する図である。図13において、図10における画素領域1041(第1画像に相当)の略中央に位置する画素に対応する座標をa(x1,y1)とし、画素領域1071(第2画像に相当)の略中央に位置する画素に対応する座標をb(x2,y2)とする。
【0060】
CPU20は、第2画像の座標b(x2,y2)が第1画像の座標a(x1,y1)に対してどの方向に位置しているかに基づいて、8つの位置関係に分類する。「位置A」は、座標a(x1,y1)に対して座標b(x2,y2)が下方に位置する場合である。「位置B」は、座標a(x1,y1)に対して座標b(x2,y2)が右下方に位置する場合である。図13における破線は、境界を示す一次関数を表す(Y=−2X、Y=−X/2、Y=X/2、Y=2X)。
【0061】
「位置C」は、座標a(x1,y1)に対して座標b(x2,y2)が右方に位置する場合である。「位置D」は、座標a(x1,y1)に対して座標b(x2,y2)が右上方に位置する場合である。「位置E」は、座標a(x1,y1)に対して座標b(x2,y2)が上方に位置する場合である。「位置F」は、座標a(x1,y1)に対して座標b(x2,y2)が左上方に位置する場合である。
【0062】
「位置G」は、座標a(x1,y1)に対して座標b(x2,y2)が左方に位置する場合である。「位置H」は、座標a(x1,y1)に対して座標b(x2,y2)が左下方に位置する場合である。
【0063】
図12のステップS203において、CPU20は「位置A」に該当するか否かを判定する。CPU20は、「位置A」に該当する場合にステップS203を肯定判定してステップS204へ進み、「位置A」に該当しない場合にはステップS203を否定判定してステップS205へ進む。
【0064】
ステップS204において、CPU20は、図14(A)に例示するように、座標a(x1,y1)を第2象限の略中央に位置させて、第1画像を第2象限に表示させるとともに、座標b(x2,y2)を第3象限の略中央に位置させて、第2画像を第3象限に表示させるように設定してステップS218へ進む。
【0065】
ステップS205において、CPU20は「位置B」に該当するか否かを判定する。CPU20は、「位置B」に該当する場合にステップS205を肯定判定してステップS206へ進み、「位置B」に該当しない場合にはステップS205を否定判定してステップS207へ進む。
【0066】
ステップS206において、CPU20は、図14(B)に例示するように、座標a(x1,y1)を第2象限の略中央に位置させて、第1画像を第2象限に表示させるとともに、座標b(x2,y2)を第4象限の略中央に位置させて、第2画像を第4象限に表示させるように設定してステップS218へ進む。
【0067】
ステップS207において、CPU20は「位置C」に該当するか否かを判定する。CPU20は、「位置C」に該当する場合にステップS207を肯定判定してステップS208へ進み、「位置C」に該当しない場合にはステップS205を否定判定してステップS209へ進む。
【0068】
ステップS208において、CPU20は、図14(C)に例示するように、座標a(x1,y1)を第2象限の略中央に位置させて、第1画像を第2象限に表示させるとともに、座標b(x2,y2)を第1象限の略中央に位置させて、第2画像を第1象限に表示させるように設定してステップS218へ進む。
【0069】
ステップS209において、CPU20は「位置D」に該当するか否かを判定する。CPU20は、「位置D」に該当する場合にステップS209を肯定判定してステップS210へ進み、「位置D」に該当しない場合にはステップS209を否定判定してステップS211へ進む。
【0070】
ステップS210において、CPU20は、図14(D)に例示するように、座標a(x1,y1)を第3象限の略中央に位置させて、第1画像を第3象限に表示させるとともに、座標b(x2,y2)を第1象限の略中央に位置させて、第2画像を第1象限に表示させるように設定してステップS218へ進む。
【0071】
ステップS211において、CPU20は「位置E」に該当するか否かを判定する。CPU20は、「位置E」に該当する場合にステップS211を肯定判定してステップS212へ進み、「位置E」に該当しない場合にはステップS211を否定判定してステップS213へ進む。
【0072】
ステップS212において、CPU20は、図14(E)に例示するように、座標a(x1,y1)を第3象限の略中央に位置させて、第1画像を第3象限に表示させるとともに、座標b(x2,y2)を第2象限の略中央に位置させて、第2画像を第2象限に表示させるように設定してステップS218へ進む。
【0073】
ステップS213において、CPU20は「位置F」に該当するか否かを判定する。CPU20は、「位置F」に該当する場合にステップS213を肯定判定してステップS214へ進み、「位置F」に該当しない場合にはステップS213を否定判定してステップS215へ進む。
【0074】
ステップS214において、CPU20は、図14(F)に例示するように、座標a(x1,y1)を第4象限の略中央に位置させて、第1画像を第4象限に表示させるとともに、座標b(x2,y2)を第2象限の略中央に位置させて、第2画像を第2象限に表示させるように設定してステップS218へ進む。
【0075】
ステップS215において、CPU20は「位置G」に該当するか否かを判定する。CPU20は、「位置G」に該当する場合にステップS215を肯定判定してステップS216へ進み、「位置G」に該当しない場合にはステップS215を否定判定してステップS217へ進む。
【0076】
ステップS216において、CPU20は、図14(G)に例示するように、座標a(x1,y1)を第1象限の略中央に位置させて、第1画像を第1象限に表示させるとともに、座標b(x2,y2)を第2象限の略中央に位置させて、第2画像を第2象限に表示させるように設定してステップS218へ進む。
【0077】
ステップS217において、CPU20は、図14(H)に例示するように、座標a(x1,y1)を第1象限の略中央に位置させて、第1画像を第1象限に表示させるとともに、座標b(x2,y2)を第3象限の略中央に位置させて、第2画像を第3象限に表示させるように設定してステップS218へ進む。
【0078】
ステップS218において、CPU20は、終了操作が行われたか否かを判定する。CPU20は、再生表示の終了操作が行われた場合にステップS218を肯定判定して図12による処理を終了する。CPU20は、再生表示の終了操作が行われない場合には、ステップS218を否定判定してステップS201へ戻る。ステップS201へ戻る場合は、上述した処理を繰り返す。
【0079】
以上説明した第二の実施形態によれば、次の作用効果が得られる。
(1)電子カメラ1は、画像を表示するLCDモニタ17を有し、CPU20は、第1範囲の蓄積データに基づく再生画像、または第2範囲の蓄積データに基づく再生画像をLCDモニタ17に表示させるようにしたので、ユーザは、異なる読出しレートで読出した複数の画像を観察できる。
【0080】
(2)LCDモニタ17は、互いに異なる画像を表示可能な複数の表示領域を含み、この場合のCPU20は、撮像素子12上における第1範囲と第2範囲との相対的な位置関係に基づいて、第1範囲に基づく再生画像を表示する表示領域と、第2範囲に基づく再生画像を表示する表示領域とを選択制御するので、2画像録画した動画像を適切な位置関係で表示できる。
【0081】
(変形例3)
上述した説明では、LCDモニタ17の表示領域を上下左右に4分割して第1象限〜第4象限で表す場合に、2つの象限を用いて2画像録画された2つの動画像を再生表示した。再生表示に用いなかった象限には、たとえば録画時の撮影条件を表示させるように構成してもよい。撮影条件には、2つの動画像に対応する2つのクロップ領域のそれぞれに対応するデータ読出しレートや、電子ズーム倍率などを含める。また、再生表示に用いなかった他の象限に、クロップ領域設定する前の画面におけるクロップ領域(すなわち、録画範囲)を示す表示枠を表示させてもよい。
【0082】
変形例3の場合のCPU20は、クロップ領域設定時にOKスイッチ22hから操作信号が入力された場合、その時点の表示枠71を点滅表示から点灯表示へ変更させる(図7)とともに、図7に例示したライブビュー画像に対応する縮小画像(静止画像)を保存する。
【0083】
具体的には、図7に例示した表示に用いた表示データを、たとえば縦横それぞれ1/4のサイズに間引いて縮小する。この縮小画像には、表示枠41および表示枠71が含まれる。CPU20は、該縮小画像の表示データを、録画後に記憶媒体51に記録する動画像ファイルに関連付けて(あるいは動画像ファイルに含めて)、記憶媒体51に記録する。そして、再生表示時には、動画像再生に用いていない象限の1つに、該縮小表示画像を表示させる。これにより、クロップ領域設定する前の画面におけるクロップ領域(すなわち、録画範囲)が一目でわかるように表示できる。
【0084】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【0085】
1…電子カメラ
12…撮像素子
13…AFE回路
14…画像処理回路
15…TG
17…LCDモニタ
18…バッファメモリ
19…フラッシュメモリ
20…CPU
22…操作部材
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14