特許 5874473 電子カメラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5874473

(24)【登録日】2016年1月29日

(45)【発行日】2016年3月2日

(54)【発明の名称】電子カメラ

(51)【国際特許分類】

   H04N 5/232 20060101AFI20160218BHJP

   G03B 15/00 20060101ALI20160218BHJP

   H04N 5/225 20060101ALI20160218BHJP

【ＦＩ】

   H04N5/232 Z

   G03B15/00 H

   H04N5/225 B

【請求項の数】4

【全頁数】16

(21)【出願番号】特願2012-63369(P2012-63369)

(22)【出願日】2012年3月21日

(65)【公開番号】特開2013-197923(P2013-197923A)

(43)【公開日】2013年9月30日

【審査請求日】2014年12月22日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100072718

【弁理士】

【氏名又は名称】古谷 史旺

(74)【代理人】

【識別番号】100116001

【弁理士】

【氏名又は名称】森 俊秀

(72)【発明者】

【氏名】須原 正和

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２００３−１８９１８６（ＪＰ，Ａ）

【文献】 特開２０１１−１０３５２８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

撮影画面内の被写体の像を撮像し、画像を出力する撮像素子と、
前記撮像素子が所定のフレームレートで出力する画像間の動き検出量に基づいて、前記被写体の動き量を検出する動き検出部と、
前記動き検出部が検出した前記動き量に基づいて、前記撮影画面内の少なくとも前記被写体が動く領域を含む指定領域での読み出しを選択して、前記撮像素子に次の画像間の前記動き量の検出に用いる画像を出力させる読み出し制御部と、を備え、
前記読み出し制御部は、前記動き量に基づいて、前記指定領域として前記撮影画面の全体からなる第１画像の読み出しと、前記指定領域として前記撮影画面内の前記被写体が動く領域を含む部分領域からなる第２画像の読み出しとの何れか一方を選択し、
前記動き量が予め設定した閾値未満の場合、前記第２画像の読み出しを予め設定した回数分連続して選択することを特徴とする電子カメラ。

【請求項2】

請求項１に記載の電子カメラにおいて、
前記撮像素子から出力された複数の画像をそれぞれ記憶する複数の記憶部を備え、
前記動き検出部は、前記複数の記憶部に記憶された複数の画像間の動き検出量に基づいて、前記被写体の前記動き量を検出することを特徴とする電子カメラ。

【請求項3】

請求項１又は請求項２に記載の電子カメラにおいて、
前記読み出し制御部は、前記動き量が予め設定した閾値以上の場合、前記第２画像の読み出しを非連続とする選択を行なうことを特徴とする電子カメラ。

【請求項4】

請求項１から請求項３の何れか１項記載の電子カメラにおいて、
前記読み出し制御部は、前記動き量が大きくなるに従って、前記部分領域のサイズも大きくなるようにして前記第２画像の読み出しを選択することを特徴とする電子カメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の動きを検出する機能を有する電子カメラに関する。

【背景技術】

【0002】

従来から、電子カメラにおいては、電子カメラ本体の背面に液晶等の表示モニタが備えられている機種が一般的である（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−２５１５９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上記の電子カメラでは、例えば静止画撮影の際、いわゆるライブビュー表示として、構図確認用のスルー画像を表示モニタに表示させる。そのため、撮影者がスルー画像にて構図を確認してレリーズ釦で撮影を行なうまでの電子カメラの使用時間に対して、ライブビュー表示の占める時間の占有率は、高くなる。この場合、電子カメラの撮像素子は、常時、通電中であるため、電力消費が問題となる。

【0005】

そこで、本発明は、上記事情に鑑み、ライブビュー表示中や動画記録中において、低消費電力化を実現する電子カメラを提供することを目的とする。

【課題を解決するための手段】

【0006】

第１の発明に係る電子カメラは、撮影画面内の被写体の像を撮像し、画像を出力する撮像素子と、撮像素子が所定のフレームレートで出力する画像間の動き検出量に基づいて、被写体の動き量を検出する動き検出部と、動き検出部が検出した動き量に基づいて、撮影画面内の少なくとも被写体が動く領域を含む指定領域での読み出しを選択して、撮像素子に次の画像間の動き量の検出に用いる画像を出力させる読み出し制御部と、を備え、読み出し制御部は、動き量に基づいて、指定領域として撮影画面の全体からなる第１画像の読み出しと、指定領域として撮影画面内の被写体が動く領域を含む部分領域からなる第２画像の読み出しとの何れか一方を選択し、動き量が予め設定した閾値未満の場合、第２画像の読み出しを予め設定した回数分連続して選択する。

【0007】

第２の発明は、第１の発明において、撮像素子から出力された複数の画像をそれぞれ記憶する複数の記憶部を備え、動き検出部は、複数の記憶部に記憶された複数の画像間の動き検出量に基づいて、被写体の動き量を検出する。

【0008】

第３の発明は、第１又は第２の発明において、読み出し制御部は、動き量が予め設定した閾値以上の場合、第２画像の読み出しを非連続とする選択を行なう。

【0010】

第４の発明は、第１から第３の何れか１の発明において、読み出し制御部は、動き量が大きくなるに従って、部分領域のサイズも大きくなるようにして第２画像の読み出しを選択する。

【発明の効果】

【0011】

本発明によれば、ライブビュー表示中や動画記録中において、低消費電力化を実現する電子カメラを提供できる。

【図面の簡単な説明】

【0012】

【図1】本実施形態の電子カメラ１の構成を説明するブロック図

【図2】電子カメラ１の動作の一例を示すフローチャート

【図3】第１モードのサブルーチンの一例を示すフローチャート

【図4】モードに応じた動き量検出処理を説明する図

【図5】擬似フレームの生成の処理を説明する図

【図6】第１モード及び第２モードでの処理のシーケンスの一例を説明する図

【図7】第２モードのサブルーチンの一例を示すフローチャート

【図8】第３モードのサブルーチンの一例を示すフローチャート

【図9】第１モード及び第３モードでの処理のシーケンスの一例を説明する図

【発明を実施するための形態】

【0013】

以下、図面に基づいて本発明の実施の形態を詳細に説明する。なお、本実施形態においては、撮像素子の撮影画面の全体から出力された画像を第１画像と定義し、撮影画面内の被写体が動く領域を含む部分領域が出力された画像を第２画像と定義し、また、第１画像の部分領域となる箇所を、第２画像で上書き（或いは置換）することで生成した擬似フレームを第３画像と定義する。

【0014】

図１は、本実施形態の電子カメラ１の構成を説明するブロック図である。

【0015】

電子カメラ１は、図１に示す通り、撮影光学系１１と、撮像素子１２と、タイミングジェネレータ（以下「ＴＧ」という）１３と、信号処理部１４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５と、フラッシュメモリ１６と、表示モニタ１７と、記録インターフェース部（以下「記録Ｉ／Ｆ部」という）１８と、タッチパネル１９と、操作部２０と、レリーズ釦２１と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）２２と、データバス２３とを備える。

【0016】

このうち、ＲＡＭ１５、フラッシュメモリ１６、表示モニタ１７、記録Ｉ／Ｆ部１８及びＡＳＩＣ２２は、データバス２３を介して互いに接続されている。また、タッチパネル１９、操作部２０及びレリーズ釦２１は、ＡＳＩＣ２２に接続されている。

【0017】

撮影光学系１１は、ズームレンズと、フォーカスレンズとを含む複数のレンズ群で構成されている。なお、簡単のため、図１では、撮影光学系１１を１枚のレンズとして図示する。

【0018】

撮像素子１２は、撮影画面内の被写体の像を撮像し、画像（アナログの画像信号）を出力する。ここで、撮像素子１２は、複数の画素を２次元的に配列し、ＸＹアドレス指定により任意のラインを読み出し可能なＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のイメージセンサである。ＣＭＯＳ型のイメージセンサには、画像信号を読み出すための水平走査回路と垂直走査回路（不図示）とが設けられている。撮像素子１２は、垂直走査回路にて指定された読み出しラインに基づいて、撮影画面の全体からなる第１画像と、撮影画面内の被写体が動く領域を含む部分領域からなる第２画像との何れか一方を出力する（詳細は後述する）。なお、撮像素子１２の撮像面には、Ｒ（赤）、Ｇ（緑）Ｂ（青）の３種類のカラーフィルタが例えばベイヤー配列で配置されている。

【0019】

ここで、撮像素子１２は、レリーズ釦２１の全押し操作に応答して記録用の画像（本画像）を撮像する。また、撮像素子１２は、撮影待機時にも所定のフレームレート（例えば、３０ｆｐｓ）で観測用の画像（スルー画像）を連続的に撮像する（ライブビュー表示）。

【0020】

ＴＧ１３は、撮像素子１２の電荷蓄積時間及び画像信号の読み出しを制御する。具体的には、ＡＳＩＣ２２からの指示に従い撮像素子１２及び信号処理部１４の各々へ向けて制御信号を送信し、駆動タイミングを制御する。そして、撮像素子１２が出力するアナログの画像信号は、信号処理部１４に入力される。

【0021】

信号処理部１４は、撮像素子１２が出力する画像信号に対してアナログ信号処理を施すアナログフロントエンド回路（ＡＦＥ）と、そのＡＦＥでアナログ信号処理が施された画像信号に対して、デジタル信号処理を施すデジタルフロントエンド回路（ＤＦＥ）とを有する。ここで、信号処理部１４のＡＦＥは、アナログの画像信号に対して相関二重サンプリングやゲイン調整をした後、アナログの画像信号をデジタルの画像信号に変換する（Ａ／Ｄ変換）処理等を行なう。また、信号処理部１４のＤＦＥは、Ａ／Ｄ変換されたデジタルの画像信号におけるノイズ成分の除去等を行なう。

【0022】

この信号処理部１４が出力する画像信号は、ＲＧＢ信号の画像データとして、ライブビュー表示の際、ＡＳＩＣ２２内の第１フレームメモリ２２ｃ、又は、第２フレームメモリ２２ｄに一時的に順次記録（格納）される。第１フレームメモリ２２ｃ、第２フレームメモリ２２ｄは、画像処理の前工程（動き検出）に用いるためのバッファメモリである。なお、第１フレームメモリ２２ｃ、第２フレームメモリ２２ｄは、例えば、前工程に必要なフレーム数分の画像データを各々格納することができる容量を有している。ＡＳＩＣ２２の動き検出部２２ａは、第１フレームメモリ２２ｃと第２フレームメモリ２２ｄとに記録された画像データを用いて、フレーム間差分を行なうことにより、動き量を検出する（詳細は後述する）。

【0023】

ＲＡＭ１５は、例えば、記録用の画像の画像データを一時的に記録するバッファメモリである。つまり、ＲＡＭ１５は、画像処理の後工程（各種の画像処理）に用いるためのバッファメモリである。

【0024】

フラッシュメモリ１６は、電子カメラ１の制御を行なうプログラム等を予め記憶している不揮発性のメモリである。なお、ＡＳＩＣ２２は、記録用の画像をフラッシュメモリ１６に記録しても良い。また、表示モニタ１７は、ＡＳＩＣ２２の指示に応じて各種画像や電子カメラ１の操作メニュー等を表示する。

【0025】

また、記録Ｉ／Ｆ部１８には、着脱自在の記録媒体３０を接続するためのコネクタ（不図示）が形成されている。そして、記録Ｉ／Ｆ部１８は、そのコネクタに接続された記録媒体３０にアクセスして記録用の画像の記録処理等を行なう。この記録媒体３０は、例えば、不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体３０を示している。

【0026】

タッチパネル１９は、タッチパネル表面に接触した指先等の位置を検出する。そして、タッチパネル１９は、検出した位置情報をＡＳＩＣ２２に出力することで撮影者からの操作を受け付ける。なお、タッチパネル１９は、表示モニタ１７と同等の大きさを有する透明なパネルで構成されており、表示モニタ１７の表面全体に積層して配置される。また、本実施形態の例では、タッチパネル１９は、静電気による電気信号を感知する静電容量式のパネルで構成されている。タッチパネル１９の構成は、静電容量式に限られず、圧力による電圧の変化を検出する抵抗膜式のパネルを用いても良い。操作部２０は、撮影者の操作を受け付ける複数の釦（不図示）を有している。

【0027】

レリーズ釦２１は、半押し操作（撮影前における自動露出（ＡＥ）、自動焦点合わせ（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）等の動作開始）の指示入力と全押し操作（撮像動作開始）との指示入力とを受け付ける。

【0028】

ＡＳＩＣ２２は、各種演算及び電子カメラ１の制御を行なうプロセッサである。ＡＳＩＣ２２は、フラッシュメモリ１６に予め格納されたプログラムを実行することにより、電子カメラ１の各部の制御を行なう。また、ＡＳＩＣ２２は、上記の画像処理（前工程や後工程）の機能を有する。例えば、ＡＳＩＣ２２は、ＲＡＭ１５に記録されている画像データを読み出し、必要に応じて各種の画像処理（例えば、輪郭強調処理、色補間処理、ホワイトバランス処理等）を施す。

【0029】

また、ＡＳＩＣ２２は、動き検出部２２ａ及び読み出し制御部２２ｂとしても機能する。また、ＡＳＩＣ２２は、上述した第１フレームメモリ２２ｃ及び第２フレームメモリ２２ｄを有する。

【0030】

動き検出部２２ａは、撮像素子１２が所定のフレームレートで出力する画像間の差分に基づいて、追尾対象である注目被写体の動き量を検出する。具体的には、動き検出部２２ａは、先ず、撮影画面内を複数のブロックに分割して各々の画像内における注目被写体の領域の位置を検出する。続いて、動き検出部２２ａは、時系列の複数の画像間にわたって注目被写体として例えば人物の輪郭形状を含む領域をブロック単位で追尾する。一例として、先ず、動き検出部２２ａは、第１フレームメモリ２２ｃ又は第２フレームメモリ２２ｄに記録されたスルー画像の元になる画像データを用いて注目被写体の位置を検出する。この場合、動き検出部２２ａは、公知のフレーム間差分により注目被写体の位置の動きを検出し、順次、動きベクトルを算出していく。これにより、動き検出部２２ａは、注目被写体（人物の輪郭形状）の動きを検出して、撮影画面内でその注目被写体を追尾する。なお、動き検出部２２ａは、上記手法に限られず、他の公知の追尾手段によって追尾しても良い。

【0031】

読み出し制御部２２ｂは、動き検出部２２ａが検出した動き量に基づいて、撮影画面内の少なくとも被写体が動く領域を含む指定領域での読み出しを選択して、撮像素子１２に次の画像間の差分に用いる画像を出力させる。具体的には、読み出し制御部２２ｂは、動き量に基づいて、指定領域として第１画像の読み出しと、指定領域として第２画像の読み出しとの何れか一方を選択する。そして、読み出し制御部２２ｂは、第１画像の読み出しを選択する場合には、撮像素子１２の垂直走査回路に全てのライン番号の読み出しを指示する。一方、読み出し制御部２２ｂは、第２画像の読み出しを選択する場合には、撮像素子１２の垂直走査回路に、部分的に読み出すライン番号を指示する。

【0032】

ここで、動き検出部２２ａは、撮像素子１２が現フレームに相当する第１画像を出力した場合には、前フレームに相当する第１画像と、現フレームに相当する第１画像との間で動き検出を行なう。また、動き検出部２２ａは、撮像素子１２が現フレームに相当する第２画像を出力した場合には、その第２画像の前フレームに相当する第１画像の部分領域となる箇所を、第２画像で上書き（或いは置換）してなる第３画像（擬似フレーム）を生成して、第１画像と第３画像との間で動き検出を行なう。これにより、本実施形態では、第１画像と比較して第２画像を出力する分、電力消費を抑制することができる。なお、擬似フレームは、元来、第１画像であるので、動き検出部２２ａは、前フレームが擬似フレームの場合には、擬似フレームを第１画像相当であるとみなして、現フレーム（第１画像又は擬似フレーム）との間で動き検出を行なう。

【0033】

また、読み出し制御部２２ａは、動き量が予め設定した閾値以上の場合、第２画像の読み出しを非連続とする選択を行なっても良い。つまり、第２画像の読み出しを非連続とすることにより、読み出し制御部２２ａは、動き量が予め設定した閾値未満の被写体に比べて、動きが速い注目被写体に対しても第１画像にて位置を正確に特定して追尾することができる。なお、閾値は、予めフラッシュメモリ１６に記録されており、読み出し制御部２２ａは、その閾値をフラッシュメモリ１６から読み出す。

【0034】

また、読み出し制御部２２ａは、動き量が予め設定した閾値未満の場合、第２画像の読み出しを予め設定した回数分連続して選択しても良い。つまり、動き量が予め設定した閾値未満であれば、読み出し制御部２２ａは、第２画像を連続して読み出しても、注目被写体が第２画像の領域からはみ出すことを極力、防ぐ。なお、予め設定した回数は、ここでは３回とする。つまり、読み出し制御部２２ａは、３回連続して第２画像を読み出すことで、その分、電力消費を抑制することができる。なお、予め設定した回数（３回）は、一例であって、この３回に限定されない。

【0035】

次に、本実施形態の電子カメラ１の動作の一例を説明する。図２は、電子カメラ１の動作の一例を示すフローチャートである。ここで、電子カメラ１の電源がオンされた後、図１に示す操作部２０が、静止画撮影を行なう撮影モードの入力を受け付けると、ＡＳＩＣ２２は、図２に示すフローの処理を開始させる。

【0036】

ステップＳ１０１：ＡＳＩＣ２２は、ＴＧ１３を介して、撮像素子１２にスルー画像の取得を指示する。これにより、ＡＳＩＣ２２は、例えば、３０ｆｐｓのフレームレートでスルー画像を表示モニタ１７に表示させる。

【0037】

ステップＳ１０２：ＡＳＩＣ２２は、追尾対象となる注目被写体の動体検出処理を行なう。具体的には、ＡＳＩＣ２２は、スルー画像の元になる画像データを解析して被写体の輪郭を検出する。例えば、ＡＳＩＣ２２は、画像データに基づいて画素値が急変する部分を算出し、その画素値が急変する部分を輪郭として検出する。

【0038】

なお、ＡＳＩＣ２２は、他の動体検出処理を採用しても良い。例えば、ＡＳＩＣ２２は、撮影者が表示モニタ１７の表示画面上において注目被写体の周囲を指先でなぞった場合、注目被写体を囲む領域の位置座標の入力をタッチパネル１９を介して受け付ける。これにより、ＡＳＩＣ２２は、追尾対象となる注目被写体を検出することができる。

【0039】

ステップＳ１０３：ＡＳＩＣ２２は、第１モードの設定を行なう。ここで、第１モードは、注目被写体が動く領域を含む指定領域として撮影画面の全体からなる第１画像の読み出しを２回連続して行なった後、指定領域として撮影画面内の注目被写体が動く領域を含む部分領域からなる第２画像の読み出しを行なうモードである。ＡＳＩＣ２２は、図２に示すフローの処理が開始された場合、第１モードの設定を初期設定の位置づけとして行なう。それ以降、ＡＳＩＣ２２は、後述する通り、注目被写体の動き量に応じて、第２モードの設定と第３モードの設定との何れか一方を選択する。

【0040】

ステップＳ１０４：ＡＳＩＣ２２は、モードに応じた動き検出処理をモード別のサブルーチンにより行なう（詳細は後述する）。

【0041】

ステップＳ１０５：ＡＳＩＣ２２は、注目被写体の動き量が閾値以上か否かを判定する。動き量が閾値以上の場合（ステップＳ１０５：Ｙｅｓ）、ＡＳＩＣ２２は、ステップＳ１０６の処理に移行する。一方、動き量が閾値未満の場合（ステップＳ１０５：Ｎｏ）、ＡＳＩＣ２２は、ステップＳ１０７の処理に移行する。

【0042】

ステップＳ１０６：ＡＳＩＣ２２は、第２モードの設定を行ない、ステップＳ１０８の処理に移行する。ここで、第２モードは、動き量が予め設定した閾値以上の場合、第２画像の読み出しを非連続とするモードである。

【0043】

ステップＳ１０７：ＡＳＩＣ２２は、第３モードの設定を行ない、ステップＳ１０８の処理に移行する。ここで、第３モードは、動き量が予め設定した閾値未満の場合、第２画像の読み出しを予め設定した回数分連続して選択するモードである。本実施形態では、第２画像の読み出しの回数を３回とする。

【0044】

ステップＳ１０８：ＡＳＩＣ２２は、レリーズ釦２１が全押し操作の指示入力を受け付けたか否かを判定する。レリーズ釦２１が全押し操作の指示入力を受け付けた場合（ステップＳ１０８：Ｙｅｓ）、ＡＳＩＣ２２は、ステップＳ１０９の処理に移行する。一方、レリーズ釦２１が全押し操作の指示入力を受け付けていない場合（ステップＳ１０８：Ｎｏ）、ＡＳＩＣ２２は、ステップＳ１０４の処理に戻り、再度、モードに応じた動き検出処理を行なう。

【0045】

ステップＳ１０９：ＡＳＩＣ２２は、記録用の画像（本画像）の撮影処理を行なう。具体的には、ＡＳＩＣ２２は、ＴＧ１３を介して、レリーズ釦２１による全押し操作の指示入力に応答して、露出値、絞り、シャッタ速度等の撮影条件に基づいて撮像素子１２を駆動する。信号処理部１４は、画像信号のゲイン調整やＡ／Ｄ変換等を行なう。信号処理部１４が出力する画像信号は、ＲＡＭ１５に画像データとして一時記録される。ＡＳＩＣ２２は、ＲＡＭ１５に記録されている画像データを読み出し、各種の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス処理等）を施す。

【0046】

ステップＳ１１０：ＡＳＩＣ２２は、本画像の記録処理を行なう。具体的には、ＡＳＩＣ２２は、各種の画像処理が施された本画像を、記録Ｉ／Ｆ部１８を介して、記録媒体３０に記録する。そして、ＡＳＩＣ２２は、図２に示すフローを終了させる。

【0047】

次に、第１モードの動き検出処理について説明する。

【0048】

図３は、第１モードのサブルーチンの一例を示すフローチャートである。図４は、モードに応じた動き量検出処理を説明する図である。図５は、擬似フレームの生成の処理を説明する図である。図６は、第１モード及び第２モードでの処理のシーケンスの一例を説明する図である。図６では、第１フレームメモリ２２ｃ及び第２フレームメモリ２２ｄに順次記録される画像を模式的に示している。ここで、図６において、各フレームには、シーケンスの番号が付与されている。なお、図中の丸付きの番号は、第２画像を表している。そして、図中のダッシュ付きの番号は、第２画像で上書きした擬似フレームを表している。

【0049】

図３では、説明をわかりやすくするため、撮像素子１２側の制御とＡＳＩＣ２２側との制御のシーケンスの処理を例示している（後述する図７、図８も同様）。図３において、先ず、ＡＳＩＣ２２の読み出し制御部２２ｂが、第１画像（全画面）の読み出しの指示を行なうことにより、撮像素子１２は、ステップＳ２０１の処理を開始する。なお、ＡＳＩＣ２２は、撮像素子１２への指示をＴＧ１３を介して行なう。また、フローの処理では、フレームの番号をｎで一般化しているが、簡単のため撮像素子１２が読み出し開始時のフレームの番号をｎ＝１として説明する。

【0050】

ステップＳ２０１：撮像素子１２は、１フレーム目（ｎ＝１）の第１画像を出力する。すなわち、撮像素子１２は、撮像された入射光を有効画素領域の全体で読み出して、１フレーム目の第１画像として出力する。ＡＳＩＣ２２は、この第１画像の画像データを図６に示す第１フレームメモリ２２ｃに記録する。

【0051】

ステップＳ２０２：撮像素子１２は、（ｎ＋１）フレーム目の第１画像を出力する。具体例として、撮像素子１２は、２フレーム目の第１画像を出力する。ＡＳＩＣ２２は、この第１画像の画像データを図６に示す第２フレームメモリ２２ｄに記録する。

【0052】

ステップＳ２０３：ＡＳＩＣ２２の動き検出部２２ａは、フレーム間差分に基づく動き検出処理を行なう。具体的には、図４に示す通り、画像を複数のブロックに分割する。各々のブロックには、複数の画素が含まれる。そして、動き検出部２２ａは、ブロック毎に、隣り合うフレーム間（例えば、図４（ａ）に示す２フレーム目の第１画像と、図４（ｂ）に示す１フレーム目の第１画像）での差分により動き（動きベクトル）を検出する。これにより、動き検出部２２ａは、動きベクトルを有することにより差分が生じたブロックを検出する。例えば、図４（ｃ）の差分画像に示す通り、時刻ｔ１での注目被写体Ｐの位置から時刻ｔ２での注目被写体Ｐの位置へと移動したことにより、動き検出部２２ａは、斜線で囲むブロックについて、動きを検出する。

【0053】

ステップＳ２０４：ＡＳＩＣ２２の読み出し制御部２２ｂは、動きを検出したブロックを含む複数の水平方向のライン番号（座標データ）を送信する。すなわち、読み出し制御部２２ｂは、撮像素子１２の垂直走査回路に第２画像の読み出しを指示する。なお、図４では、ブロックに分割された画像を撮像素子１２の有効撮像領域に対応付けており、読み出し制御部２２ｂは、ライン番号５〜８の読み出しを指示する。また、読み出し制御部２２ａは、動き量が大きくなるに従って、部分領域のサイズも大きくなるようにして第２画像の読み出しを選択しても良い。これにより、読み出し制御部２２ａは、注目被写体を見失うことを防ぎながら、電力消費を抑制することができる。

【0054】

ステップＳ２０５：撮像素子１２は、第２画像の読み出しのライン番号（座標データ）を受信する。具体的には、撮像素子１２は、読み出しラインをフラグのオン、オフで管理しており、垂直走査回路に第２画像の読み出しのライン番号が入力されると、読み出すライン番号についてフラグをオンにする。

【0055】

ステップＳ２０６：撮像素子１２は、（ｎ＋２）フレーム目の第２画像を出力する。具体的には、撮像素子１２は、有効画素領域のうち、フラグがオンになったライン番号の部分領域のみ読み出して、３フレーム目の第２画像の画像信号として出力する。図５（ａ）では、第２画像を各ブロックに分割して模式的に表している。そして、ＡＳＩＣ２２は、第２画像の画像信号を受信して、第２フレームメモリ２２ｄに記録する。

【0056】

ステップＳ２０７：ＡＳＩＣ２２は、（ｎ＋１）フレーム目の第１画像に第２画像を上書きして、（ｎ＋２）フレームの第３画像（擬似フレーム）を生成する。具体的には、ＡＳＩＣ２２は、３フレーム目の第２画像（図５（ａ）参照）を２フレーム目の第１画像（図５（ｂ）参照）に上書きすることにより、３フレーム目として第３画像（擬似フレーム）を生成する（図５（ｃ）参照）。なお、説明の便宜上、各画像はブロックで分割されている。また、図６では、３フレーム目として第３画像（擬似フレーム３’）が第２フレームメモリ２２ｄに記録されたことを表している。

【0057】

ステップＳ２０８：読み出し制御部２２ｂは、次のフレームの番号（ｎ＝ｎ＋３）のセットを行なう。具体的には、読み出し制御部２２ｂは、次のフレームの番号（ｎ＝４）をセットする。

【0058】

以上より、動き検出部２２ａは、第１モードに応じた動き検出処理を終了し、図２に示すステップＳ１０５の処理に移行する。そして、上述した通り、ＡＳＩＣ２２は、動き量が閾値以上か否かを判定する。

【0059】

動き量が閾値以上の場合には、ＡＳＩＣ２２は、第２モードを設定する。そして、全押しの指示入力がない場合には、ＡＳＩＣ２２は、再度、ステップＳ１０４の処理に移行し、第２モードの動き検出処理を行なう。

【0060】

一方、動き量が閾値未満の場合には、ＡＳＩＣ２２は、第３モードを設定する。そして、全押しの指示入力がない場合には、ＡＳＩＣ２２は、再度、ステップＳ１０４の処理に移行し、第３モードの動き検出処理を行なう。なお、ライブビュー表示の場合には、例えば、第１フレームメモリ２２ｃ又は第２フレームメモリ２２ｄに順次記録された第１画像（擬似フレームも含む）は、表示モニタ１７に順次出力される。

【0061】

以下、第２モード及び第３モードの動き検出処理について説明する。先ず、第２モードの動き検出処理について説明する。

【0062】

図７は、第２モードのサブルーチンの一例を示すフローチャートである。第２モードでは、読み出し制御部２２ｂは、一例として、第１画像の読み出しと第２画像の読み出しとを交互に行なう。これにより、第２モードでは、注目被写体の動きに伴う画質の劣化を防ぐことができる。なお、フローの処理では、図６を参照して説明する。

【0063】

図７において、先ず、読み出し制御部２２ｂが、第１画像の読み出しの指示を行なうことにより、撮像素子１２は、ステップＳ３０１の処理を開始する。ここで、上述した第１モードから第２モードに切り替っているため、読み出し制御部２２ｂは、第２モード時に４フレーム目の第１画像の読み出しの指示を行なう。

【0064】

ステップＳ３０１：撮像素子１２は、４フレーム目（ｎ＝４）の第１画像を出力する。すなわち、撮像素子１２は、有効画素領域の全体で読み出して、４フレーム目の第１画像として出力する。ＡＳＩＣ２２は、この第１画像の画像データを図６に示す第１フレームメモリ２２ｃに記録する。

【0065】

ステップＳ３０２：動き検出部２２ａは、フレーム間差分に基づく動き検出処理を行なう。具体的には、動き検出部２２ａは、図６に示す通り、第２フレームメモリ２２ｄに記録されている３フレーム目の第３画像（擬似フレーム３’）と、第１フレームメモリ２２ｃに記録されている４フレーム目の第１画像４とを用いて、フレーム間差分に基づく動き検出処理を行なう。

【0066】

ステップＳ３０３：読み出し制御部２２ｂは、動きを検出したブロックを含む複数の水平方向のライン番号（座標データ）を送信する。すなわち、読み出し制御部２２ｂは、撮像素子１２の垂直走査回路に第２画像の読み出しを指示する。

【0067】

ステップＳ３０４：撮像素子１２は、第２画像の読み出しのライン番号を受信する。具体的には、上述した通り、撮像素子１２は、垂直走査回路に第２画像の読み出しのライン番号が入力されると、読み出すライン番号についてフラグをオンにする。

【0068】

ステップＳ３０５：撮像素子１２は、（ｎ＋１）フレーム目の第２画像を出力する。具体的には、撮像素子１２は、有効画素領域のうち、フラグがオンになったライン番号の部分領域のみ読み出して、５フレーム目の第２画像の画像信号として出力する。そして、ＡＳＩＣ２２は、第２画像の画像信号を受信して、第１フレームメモリ２２ｃに記録する。

【0069】

ステップＳ３０６：ＡＳＩＣ２２は、ｎフレーム目の第１画像に第２画像を上書きして、（ｎ＋１）フレームの第３画像（擬似フレーム）を生成する。具体的には、ＡＳＩＣ２２は、５フレーム目の第２画像を４フレーム目の第１画像に上書きすることにより、５フレーム目として第３画像（擬似フレーム５’）を生成する。図６では、５フレーム目として第３画像（擬似フレーム５’）が第１フレームメモリ２２ｃに記録されたことを表している。

【0070】

ステップＳ３０７：読み出し制御部２２ｂは、次のフレームの番号（ｎ＝ｎ＋２）のセットを行なう。具体的には、読み出し制御部２２ｂは、次のフレームの番号（ｎ＝６）をセットする。

【0071】

以上より、動き検出部２２ａは、第２モードに応じた動き検出処理を終了し、図２に示すステップＳ１０５の処理に移行する。その後、ＡＳＩＣ２２は、ステップＳ１０４に戻り、第２モードに応じた動き検出処理を繰り返す場合、図７に示す第２モードのサブルーチンのフローの処理を行なう。これにより、図６に示す通り、６フレーム（第１画像６）、７フレーム（擬似フレーム７’）、８フレーム（第１画像８）、９フレーム（擬似フレーム９’）というように、各々のフレームは、第１フレームメモリ２２ｃ又は第２フレームメモリ２２ｄに順次記録されていく。これにより、動き検出部２２ａは、フレーム間差分を行なうことができる。

【0072】

次に、第３モードの動き検出処理について説明する。

【0073】

図８は、第３モードのサブルーチンの一例を示すフローチャートである。図９は、第１モード及び第３モードでの処理のシーケンスの一例を説明する図である。第３モードでは、読み出し制御部２２ｂは、一例として、動き量が予め設定した閾値未満の場合、第２画像の読み出しを予め設定した回数（３回）分連続して選択する。これにより、第３モードでは、第２画像を連続して読み出す分、省電力化を図ることができる。なお、前フレームが既に第２画像として出力されていた場合には、読み出し制御部２２ｂは、引き続き２回連続して第２画像の読み出しを選択する。つまり、読み出し制御部２２ｂは、結果的に３回連続して第２画像の読み出しを選択することとする。

【0074】

図８において、第３モードでは、読み出し制御部２２ｂが第１画像の読み出しの指示を行なわずに、撮像素子１２は、ステップＳ４０１の処理を開始する。なお、フローの処理では、図９を参照して説明する。

【0075】

ステップＳ４０１：撮像素子１２は、４フレーム目（ｎ＝４）の第２画像を出力する。ＡＳＩＣ２２は、この第２画像の画像データを第２フレームメモリ２２ｄに記録する。

【0076】

ステップＳ４０２：ＡＳＩＣ２２は、（ｎ−１）フレーム目の第１画像に第２画像を上書きして、ｎフレームの第３画像（擬似フレーム）を生成する。具体的には、ＡＳＩＣ２２は、４フレーム目の第２画像を３フレーム目の第１画像（擬似フレーム３’）に上書きすることにより、４フレーム目として第３画像（擬似フレーム４’）を生成する。図９では、４フレーム目として第３画像（擬似フレーム４’）が第２フレームメモリ２２ｄに記録されたことを表している。

【0077】

ステップＳ４０３：撮像素子１２は、（ｎ＋１）フレーム目の第２画像を出力する。具体的には、撮像素子１２は、５フレーム目の第２画像を出力する。ＡＳＩＣ２２は、この第２画像の画像データを第２フレームメモリ２２ｄに記録する。

【0078】

ステップＳ４０４：ＡＳＩＣ２２は、ｎフレーム目の第１画像に第２画像を上書きして、ｎ＋１フレームの第３画像（擬似フレーム）を生成する。具体的には、ＡＳＩＣ２２は、５フレーム目の第２画像を４フレーム目の第１画像（擬似フレーム４’）に上書きすることにより、５フレーム目として第３画像（擬似フレーム５’）を生成する。図９では、５フレーム目として第３画像（擬似フレーム５’）が第２フレームメモリ２２ｄに記録されたことを表している。そして、読み出し制御部２２ｂは、第１画像の読み出しの指示を行なう。

【0079】

ステップＳ４０５：撮像素子１２は、（ｎ＋２）フレーム目の第１画像を出力する。具体的には、撮像素子１２は、有効画素領域の全体で読み出して、６フレーム目の第１画像６として出力する。ＡＳＩＣ２２は、この第１画像の画像データを第１フレームメモリ２２ｃに記録する。

【0080】

ステップＳ４０６：動き検出部２２ａは、フレーム間差分に基づく動き検出処理を行なう。具体的には、動き検出部２２ａは、第２フレームメモリ２２ｄに記録されている５フレーム目の第３画像（擬似フレーム５’）と、第１フレームメモリ２２ｃに記録されている６フレーム目の第１画像６とを用いて、フレーム間差分に基づく動き検出処理を行なう。

【0081】

ステップＳ４０７：読み出し制御部２２ｂは、動きを検出したブロックを含む複数の水平方向のライン番号（座標データ）を送信する。すなわち、読み出し制御部２２ｂは、撮像素子１２の垂直走査回路に第２画像の読み出しを指示する。

【0082】

ステップＳ４０８：撮像素子１２は、第２画像の読み出しのライン番号（座標データ）を受信する。具体的には、上述した通り、撮像素子１２は、垂直走査回路に第２画像の読み出しのライン番号が入力されると、読み出すライン番号についてフラグをオンにする。

【0083】

ステップＳ４０９：撮像素子１２は、（ｎ＋３）フレーム目の第２画像を出力する。具体的には、撮像素子１２は、有効画素領域のうち、フラグがオンになったライン番号の部分領域のみ読み出して、７フレーム目の第２画像の画像信号として出力する。そして、ＡＳＩＣ２２は、第２画像の画像信号を受信して、第１フレームメモリ２２ｃに記録する。

【0084】

ステップＳ４１０：ＡＳＩＣ２２は、ｎ＋２フレーム目の第１画像に第２画像を上書きして、ｎ＋３フレームの第３画像（擬似フレーム）を生成する。具体的には、ＡＳＩＣ２２は、７フレーム目の第２画像を６フレーム目の第１画像６に上書きすることにより、７フレーム目として第３画像（擬似フレーム７’）を生成する。図９では、７フレーム目として第３画像（擬似フレーム７’）が第１フレームメモリ２２ｃに記録されたことを表している。

【0085】

ステップＳ４１１：読み出し制御部２２ｂは、次のフレームの番号（ｎ＝ｎ＋４）のセットを行なう。具体的には、読み出し制御部２２ｂは、次のフレームの番号（ｎ＝８）をセットする。

【0086】

以上より、動き検出部２２ａは、第３モードに応じた動き検出処理を終了し、図２に示すステップＳ１０５の処理に移行する。その後、ＡＳＩＣ２２は、ステップＳ１０４に戻り、第３モードに応じた動き検出処理を繰り返す場合、図８に示す第３モードのサブルーチンのフローの処理を行なう。これにより、図９に示す通り、８フレーム（擬似フレーム８’）、９フレーム（擬似フレーム９’）、１０フレーム（第１画像１０）というように、各々のフレームは、第１フレームメモリ２２ｃ又は第２フレームメモリ２２ｄに順次記録されていく。これにより、動き検出部２２ａは、フレーム間差分を行なうことができる。

【0087】

なお、動画記録の場合には、第１フレームメモリ２２ｃ又は第２フレームメモリ２２ｄに順次記録された第１画像（擬似フレームも含む）は、ＲＡＭ１５に記録され、所定の画像処理が施された後、フラッシュメモリ１６又は記録媒体３０に記録される。

【0088】

以上より、本実施形態の電子カメラ１は、ライブビュー表示中や動画記録中において、ＡＳＩＣ２２からフィードバックされた読み出しラインの情報に基づいて、撮影画面内で動く被写体を含む第２画像を撮像素子１２から出力する。この第２画像は第１画像に上書き（或いは置換）され擬似フレームとして表示モニタ１７に表示される。電子カメラ１は、第２画像を出力することによりデータ転送量を削減することができるので、その分、電力消費を抑制できる。従って、本発明によれば、低消費電力化を実現する電子カメラを提供できる。

【0089】

（実施形態の補足事項）
（１）上記実施形態では、ＣＭＯＳ型のイメージセンサを用いて説明したが、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型のイメージセンサであっても良い。

【0090】

（２）上記実施形態では、撮影画面内を左右方向に移動する被写体について説明したが、移動方向は左右のみに限定されるものではなく、撮影画面内を上下方向、斜め方向、もしくは前後（光軸）方向に移動する被写体であっても良い。

【0091】

（３）上記実施形態では、スルー画像から追尾対象として人物の被写体を例示したが、追尾対象は、人物に限られず、動物、乗物等の各種の物体を追尾対象としても良い。

【0092】

（４）上記実施形態では、被写体の動きを検知して、動き量に応じて、第２モードと第３モードに切り替えたが、例えば、第２モードに固定して読み出す方式を採用しても良い。

【0093】

（５）上記実施形態では、フレーム間差分では、隣接するフレーム間で差分を行なったが、例えば、動き量が閾値未満の場合、３０ｆｐｓ毎に出力される第１フレームを読み出して、フレーム間差分を行なうようにしても良い。

【0094】

（６）上記実施形態では、動き量の閾値として、第２モードと第３モードの切換えを判定するための閾値について説明したが、第２モードと第３モードの判定閾値よりもさらに大きい動き量を判別するための閾値を新たに追加して、検出した動き量がこの新たな閾値以上の場合、被写体の動きが非常に早いものと判別し、第１画像を毎フレーム出力し続けるようにしても良い。このようにすれば、被写体の動きが非常に速い場合は被写体の動きに対する追従性を優先した制御を行い、被写体の動きがそれ程速くない場合は消費電力の低減を優先した制御を行うというように、撮影条件に応じて要求される目的に適した制御を行うことが可能となる。

【符号の説明】

【0095】

１・・・電子カメラ、１２・・・撮像素子、２２ａ・・・動き検出部、２２ｂ・・・読み出し制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】