(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0011】
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る撮影機器の回路構成を示すブロック図である。
【0012】
図1において、撮影機器10は、CCDやCMOSセンサ等の撮像素子によって構成された撮像部2を有している。撮像部2は、信号処理及び制御部1によって、絞り、ピント、ズーム等が制御可能に構成されており、様々な構図、被写体に対応した撮像が可能である。
【0013】
撮像部2は、信号処理及び制御部1によって駆動制御されて、被写体を撮像し、撮像画像を出力する。信号処理及び制御部1は、撮像部2に撮像素子の駆動信号を出力すると共に、撮像部2からの撮像画像を読み出す。この撮像画像の取り込みは読取部1aによって行われる。読取部1aは撮像部2から読み出した撮像画像を分配用仮記録部3に与える。
【0014】
分配用仮記録部3は、撮像部2からの撮像画像を所定期間保存する容量を有し、撮像部2から読み出された撮像画像(動画及び静止画)を記憶保持する。
【0015】
信号処理及び制御部1は、分配用仮記録部3に記録された撮像画像を読み出して画像処理する2系統の画像処理部1b,1cを有している。画像処理部1b,1cは、入力された画像に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種の信号処理を行う。更に、画像処理部1b,1cは、入力画像をリサイズするリサイズ処理、入力画像の一部の領域の画像(以下、部分画像という)を生成する処理等の各種画像処理を行うことも可能に構成されている。なお、以後、入力画像の全領域の画像については、リサイズ処理の有無に拘わらず全体画像というものとする。
【0016】
特徴判定部1dは、部分画像を生成するためにユーザによって入力画像の一部の領域(以下、部分指定領域という)を指定する操作(以下、部分指定操作という)が行われると、画像処理部1bから部分指定領域の画像情報が与えられて、人物の顔等の対象被写体の特徴量を判定し、判定結果を部分指定領域中に検出された対象被写体の情報として追尾部1eに出力する。追尾部1eは、順次入力される入力画像から対象被写体の特徴量が一致する部分を含む領域を追尾し、追尾結果を画像処理部1cに出力する。こうして、画像処理部1cは、部分指定操作によって対象被写体が指定されると、この対象被写体を含む画像部分を常に追尾しながら部分画像として生成することができるようになっている。
【0017】
画像処理部1b,1cからの動画像及び静止画像は、画像選択部1fに与えられる。画像選択部1fは入力された動画像及び静止画像を選択して、表示制御部1gに与えると共に、S圧縮部1h、M圧縮部1i及びM圧縮部1jにも与える。
【0018】
表示制御部1gは、入力された動画像及び静止画像を表示部5に与えて表示させるための表示処理を行う。表示部5はLCD等によって構成されており、表示制御部1gから与えられた動画像や静止画像を表示する。
【0019】
一方、S圧縮部1hは入力された静止画像を圧縮して記録制御部1kに与え、M圧縮部1i,1jは入力された動画像を圧縮して記録制御部1kに与える。記録制御部1kは、圧縮された圧縮動画像及び圧縮静止画像を記録部4に与えて記録させる。記録部4は、記録制御部1kに制御されて、入力された圧縮動画像及び圧縮静止画像を記録する。記録部4としては、例えばカードインターフェースを採用することができ、記録部4はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。
【0020】
また、撮影機器10には、操作部6も設けられている。操作部6は、撮影モード設定等の各種スイッチやボタンを有しており、ユーザ操作に基づく操作信号を発生して信号処理及び制御部1に供給する。例えば、
図1では、操作部6の具体例として、動画撮影操作部6a及び静止画撮影操作部6bを示している。動画撮影操作部6aは動画撮影を指示するためのものであり、動画撮影操作部6aが操作されることで、動画撮影を開始するための操作信号が信号処理及び制御部1に供給されるようになっている。また、静止画撮影操作部6bは静止画撮影を指示するためのものであり、静止画撮影操作部6bが操作されることで、静止画撮影を開始するための操作信号が信号処理及び制御部1に供給されるようになっている。信号処理及び制御部1は、操作信号に基づいて、各部を制御する。
【0021】
更に、操作部6としてはタッチパネルを採用することもできる。例えば、操作部6としてのタッチパネルを表示部5の表示画面上に設けることで、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。これにより、ユーザは、表示部5の表示画面上に表示された画像中の所定の領域を部分指定領域として指定する操作を簡単に行うことができる。
【0022】
信号処理及び制御部1は、各部を制御することで、ユーザ操作に基づく撮影モードを設定して、各撮影モードに応じた撮影機能を実現する。この場合において、信号処理及び制御部1は、動画撮影操作部6a及び静止画撮影操作部6bの操作のみによって、撮影モードを変更することができるようになっている。
【0023】
次に、このように構成された実施の形態の動作について
図2乃至
図7を参照して説明する。
【0024】
先ず、
図2乃至
図5を参照して、本実施の形態の撮影機器が有する撮影モードであるフォトインムービー、回想フォト及びマルチフレームについて説明する。
図2乃至
図4は夫々フォトインムービー、回想フォト及びマルチフレームの動作を示す説明図である。また、
図5は入力画像及び部分画像の例を示す説明図である。
図2乃至
図4においては、連続した四角の枠によって、撮像部2からの画像を読み出す読取部1aの動画出力11aの各フレームを示している。
【0025】
図2に示すフォトインムービーにおいては、動画出力11aの各フレームを夫々リサイズして得た動画11cが、M圧縮部1i,1jに供給されることを示している。M圧縮部1i,1jは、入力された動画11cに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、フォトインムービーにおける動画として記録される。
【0026】
また、フォトインムービーにおいては、動画撮影中に、ユーザによって静止画撮影操作部6bの操作が行われた場合には、動画出力11aの各フレームのうち静止画撮影操作に対応するフレームの静止画11bがS圧縮部1hに与えられる。S圧縮部1hは、入力された静止画11bに対する圧縮処理を行い、圧縮静止画像を得る。この圧縮静止画像が、フォトインムービーにおける静止画として記録される。
【0027】
図3に示す回想フォトにおいては、動画出力11aの各フレームは仮記録されている。回想フォトにおいては、動画撮影中に、ユーザによって静止画撮影操作部6bの操作が行われた場合には、動画出力11aの各フレームのうち静止画撮影操作に対応するフレームの静止画11bがS圧縮部1hに与えられる。S圧縮部1hは、入力された静止画11bに対する圧縮処理を行い、圧縮静止画像を得る。この圧縮静止画像が、回想フォトにおける静止画として記録される。
【0028】
一方、静止画11bの前後のフレームは、リサイズされた後、静止画11bに関連する回想動画11dとしてM圧縮部1i,1jに供給される。M圧縮部1i,1jは、入力された回想動画11dに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、回想フォトにおける回想動画として記録される。
【0029】
図4に示すマルチフレームにおいては、動画出力11aの各フレームを夫々リサイズして得た全体動画11eが、M圧縮部1i,1jに供給されることを示している。M圧縮部1i,1jは、入力された全体動画11eに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、マルチフレームにおける全体動画として記録される。
【0030】
図5(a)は入力画像を示している。
図5の例では、入力画像には、A〜Cの3人の人物が撮像されている。マルチフレームにおいて、ユーザが
図5(a)の破線領域に示すように人物Aの顔を含む部分指定領域を指定する部分指定操作を行うものとする。そうすると、
図5(b)に示す部分指定領域の画像(部分画像)が入力画像から抽出される。更に、特徴判定部1d,追尾部1eによって、入力画像中から部分画像が追尾され、以後、人物Aの部分画像が各フレームから抽出される。そして、動画出力11aの各フレームの部分画像からなる部分動画11fが、M圧縮部1i,1jに供給される。M圧縮部1i,1jは、入力された部分動画11fに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、マルチフレームにおける部分動画として記録される。
【0031】
次に、
図6のフローチャートを参照して、カメラ撮影制御について説明する。
【0032】
操作部6の操作によって撮影機器10に電源が投入されると、信号処理及び制御部1は、ステップS1においてスルー画の表示及び仮記録を開始する。即ち、信号処理及び制御部1は、撮像部2を駆動して被写体を撮影させる。読取部1aは、撮像部2からの撮像画像を読み出して、分配用仮記録部3に順次記録させる。分配用仮記録部3は、所定期間の撮像画像を順次記録する。
【0033】
信号処理及び制御部1は、分配用仮記録部3に記録された撮像画像を順次読み出し、画像処理部1b又は1cに与える。画像処理部1b又は1cは、撮像画像に対して所定の画像信号処理を施した後、画像選択部1fを介して表示制御部1gに与える。表示制御部1gは、入力画像を表示部5に与えて表示させる。こうして、表示部5の表示画面上において、スルー画が表示される。
【0034】
次に、信号処理及び制御部1は、ステップS2において、静止画撮影操作部6bが操作されたか否かを判定する。更に、信号処理及び制御部1は、ステップS5において、動画撮影操作部6aが操作されたか否かを判定する。
【0035】
本実施の形態においては、信号処理及び制御部1は、ステップS2において静止画撮影操作部6bが操作されたと判断した場合には、回想フォトモードを設定し、ステップS5において動画撮影操作部6aが操作されたと判断した場合には、フォトインムービーモードを設定するようになっている。
【0036】
ステップS2において静止画撮影操作部6bが操作されると、信号処理及び制御部1は、ステップS3において回想フォトにおける静止画撮影を行い、ステップS4において回想フォトにおける回想動画記録を行う。即ち、信号処理及び制御部1は、静止画撮影操作部6bの操作タイミングで読取部1aから取り込まれた撮像画像(静止画)を分配用仮記録部3から読み出して、画像処理部1b又は1cに与える。画像処理部1b又は1cは入力された静止画を画像処理し画像選択部1fを介してS圧縮部1hに供給する。S圧縮部1hは入力された静止画を圧縮し、記録制御部1kは圧縮された静止画像を記録部4に与えて記録させる(ステップS3)。
【0037】
また、信号処理及び制御部1は、分配用仮記録部3から読み出された静止画像の前後に記録されている動画像を読み出して画像処理部1b又は1cに与える。画像処理部1b又は1cは入力された動画像をリサイズし、回想動画を画像選択部1fを介してM圧縮部1i又は1jに供給する。M圧縮部1i又は1jは入力された回想動画を圧縮し、記録制御部1kは圧縮された回想動画を記録部4に与えて記録させる(ステップS4)。
【0038】
ステップS5において動画撮影操作部6aが操作されると、信号処理及び制御部1は、ステップS6においてフォトインムービーにおける動画撮影を行う。即ち、信号処理及び制御部1は、分配用仮記録部3に順次記録される動画像を読み出して画像処理部1b又は1cに与える。画像処理部1b又は1cは入力された動画像をリサイズし、画像選択部1fを介してM圧縮部1i又は1jに供給する。M圧縮部1i又は1jは入力されたフォトインムービーにおける動画を圧縮し、記録制御部1kは圧縮された動画像を記録部4に与えて記録させる(ステップS6)。
【0039】
このフォトインムービーモードにおいて、静止画撮影操作部6bの操作が行われると、信号処理及び制御部1は、ステップS7からステップS16を経由してステップS8に処理を移行し、静止画撮影を行う。即ち、信号処理及び制御部1は、静止画撮影操作部6bの操作タイミングで読取部1aから取り込まれた撮像画像(静止画)を分配用仮記録部3から読み出して、画像処理部1b又は1cに与える。画像処理部1b又は1cは入力された静止画を画像処理し画像選択部1fを介してS圧縮部1hに供給する。S圧縮部1hは入力された静止画を圧縮し、記録制御部1kは圧縮された静止画像を記録部4に与えて記録させる(ステップS8)。こうして、フォトインムービーにおける静止画記録が行われる。
【0040】
また、信号処理及び制御部1は、フォトインムービーモードにおいて、ステップS7の静止画撮影操作部6bの操作が検出されなければ、ステップS9において終了操作が行われたか否かを判定し、行われていない場合には、処理をステップS10に移行して、部分指定操作の有無を判定する。
【0041】
本実施の形態においては、フォトインムービーモードにおいて、部分指定操作が発生した場合にはマルチフレームモードに移行し、発生しない場合にはフォトインムービーを継続するようになっている。即ち、信号処理及び制御部1は、フォトインムービーモード時に、ステップS10において部分指定操作の発生を検出しない場合には、ステップS11においてマルチフレームへの移行が行われていないものと判定して、処理をステップS6に戻してフォトインムービーを継続し、部分指定操作の発生を検出した場合には、処理をステップS12に移行してマルチフレームモードを設定する。
【0042】
マルチフレームモードにおいても、フォトインムービーモード時と同様に、入力画像をリサイズして得た全体画像を動画記録する。従って、信号処理及び制御部1は、マルチフレームモードに移行しても、分配用仮記録部3から動画像を読み出し、この動画像を画像処理部1bにおいてリサイズして全体画像を得、画像選択部1fを介してM圧縮部1i又は1jに与えて圧縮し、記録制御部1kにより記録部4において記録する。
【0043】
また、マルチフレームモード時には、信号処理及び制御部1は、分配用仮記録部3から読み出した画像を画像処理部1cに与えて、部分指定操作に応じた部分画像を切り出す。この場合には、画像処理部1cは、追尾部1eによって追尾された部分画像を含む部分指定領域を切り出す。こうして、画像処理部1cからは部分画像からなる動画像が出力され、画像選択部1fを介してM圧縮部1i又は1jに供給されて圧縮され、記録制御部1kによって記録部4において記録される(ステップS13)。
【0044】
更に、本実施の形態においては、マルチフレームモード時には、全体画像と部分画像とをピクチャインピクチャ表示することによって、利便性を向上させるようになっている。
図7はマルチフレームモードにおける画面表示を説明するための説明図であり、
図5と同一の入力画像が入力された場合の例を示している。
【0045】
いま、
図5(a)に示す入力画像が画像処理部1b,1cに入力されるものとする。
図5(a)の例では、入力画像として、A〜Cの3人の人物が撮像されている。ユーザが
図5(a)の破線領域に示すように人物Aの顔を含む部分指定領域を指定する部分指定操作を行うものとする。そうすると、
図5(a)の破線部の部分指定領域の画像(部分画像)が入力画像から抽出される。更に、特徴判定部1d,追尾部1eによって、入力画像中から部分画像が追尾され、以後、人物Aの部分画像を含む領域が部分指定領域として画像処理部1cに指定される。
【0046】
画像処理部1cは、追尾部1eの指示に従って、部分画像を追尾しながら切り出す。画像処理部1cは
図5(b)に示す部分画像をそのまま画像選択部1fを介してM圧縮1i又は1jに出力すると共に、部分画像と全体画像とを合成した後、画像選択部1fを介して表示制御部1gに出力する。
【0047】
即ち、画像処理部1cは、
図7(a)に示すように、表示部5の表示画面5aの略全域のメイン表示領域5bに全体画像に基づくメイン画像を配置し、表示画面5aの一部領域(以下、サブ表示領域という)5cに部分画像をサブ画像として配置するように、全体画像と部分画像との合成を行う。即ち、この場合には、画像処理部1cは、部分画像をサブ画像化することになる(ステップS12)。
【0048】
信号処理及び制御部1は、マルチフレームモード時には、ステップS14において、ユーザーがサブ表示領域5cをタッチしたか否かを判定する。信号処理及び制御部1は、ユーザがサブ表示領域5cをタッチした場合には、ステップS15において、現在のサブ画像をメイン画像化し、現在のメイン画像をサブ画像化する。
【0049】
図7(b)はこの状態を示しており、
図7(a)の状態においてサブ表示領域5cがタッチされると、サブ表示領域5cに表示されていたサブ画像である部分画像がメイン画像としてメイン表示領域5bに表示され、メイン表示領域5bに表示されていたメイン画像である全体画像がサブ画像としてサブ表示領域5cに表示される。なお、
図7(b)の状態においてサブ表示領域5cがタッチされると、サブ表示領域5cに表示されていたサブ画像である全体画像がメイン画像としてメイン表示領域5bに表示され、メイン表示領域5bに表示されていたメイン画像である部分画像がサブ画像としてサブ表示領域5cに表示される。即ち、
図7(a)の表示に戻る。
【0050】
信号処理及び制御部1は、マルチフレームモード時において、ユーザが静止画撮影操作部6bを操作したことを、ステップS7において検出すると、フォトインムービーモードに移行する。この場合には、マルチフレームモードからフォトインムービーモードに移行する場合であるので、ステップS16からステップS17に処理が移行して、静止画撮影が行われる。
【0051】
本実施の形態においては、ステップS17の静止画撮影の直前においては、
図7(a),(b)に示すように、表示部5の表示画面5a上には、全体画像と部分画像とが合成表示されている。そこで、ステップS17のフォトインムービーにおける静止画撮影では、全体画像及び部分画像並びに全体画像と部分画像の合成画像の全ての静止画像を記録するようになっている。即ち、画像処理部1b,1cからの全体画像が画像選択部1fを介してS圧縮部1hに供給されて圧縮され、記録制御部1kによって記録部4において記録される。また、画像処理部1cは、部分画像を切り出しており、この部分画像は画像選択部1fを介してS圧縮部1hに供給されて圧縮され、記録制御部1kによって記録部4において記録される。また、画像処理部1cは、全体画像と部分画像との合成画像を生成している。即ち、部分画像がサブ画像化された合成画像と全体画像がサブ画像化された合成画像の2つの合成画像は、画像選択部1fを介してS圧縮部1hに供給されて圧縮され、記録制御部1kによって記録部4において記録される。こうして、マルチフレームモードから、静止画撮影操作部6bの操作によってフォトインムービーモードに移行した場合には、全体画像、部分画像、全体画像と部分画像との2枚の合成画像からなる4枚の静止画像が記録される。
【0052】
このように本実施の形態においては、撮像画像を仮記録すると共に、仮記録された入力画像を画像処理する複数系統の画像処理部と複数系統の画像圧縮部とを設け、動画撮影操作部の操作及び静止画撮影操作部の操作を検出することで、回想フォト、フォトインムービー及びマルチフレームの各モードの切換を行うようになっており、これらの撮影モードへの移行及び撮影に要する時間を短縮することができ、シャッターチャンスにおいて確実な撮影を可能にすることができる。
【0053】
また、マルチフレームモードにおいては、全体画像と部分画像との合成画像を表示することができ、利便性に優れている。更に、マルチフレームモードからフォトインムービーモードに移行した場合には、静止画撮影操作部の操作によって、全体画像、部分画像及び全体画像と部分画像との合成画像の静止画像を得ることができるという利点もある。
【0054】
(第2の実施の形態)
図8は本発明の第2の実施の形態を示すブロック図である。
図8において
図1と同一の構成要素には同一符号を付して説明を省略する。
【0055】
第1の実施の形態においては、マルチフレームモードからフォトインムービーモードに移行した場合には、全体画像、部分画像、全体画像と部分画像との2枚の合成画像からなる4枚の静止画像を記録する例について説明した。しかしながら、フォトインムービーモード時には、入力画像をリサイズして得た動画像も記録しており、分配用仮記録部の記録容量、画像処理部及び画像圧縮部の系統数や処理能力によっては、4枚全ての静止画像を記録することができるとは限らない。なお、フォトインムービー時に記録すべき静止画を分配用仮記録部に長時間保持し、動画記録の終了の後分配用仮記録部から記録すべき静止画を読み出すようにすれば、4枚全ての静止画像を記録することも可能であるが、静止画像を静止画撮影操作部の操作直後に記録することができないことから、必ずしも利便性に優れているとは言えない。
【0056】
図8の撮影機器20は、信号処理及び制御部1に代えて信号処理及び制御部21を採用した点が第1の実施の形態と異なる。信号処理及び制御部21の画像処理部21b、画像処理部21c、画像選択部21f、S圧縮部21h、M圧縮部21i及びM圧縮部21jは、夫々、画像処理部1b、画像処理部1c、画像選択部1f、S圧縮部1h、M圧縮部1i及びM圧縮部1jと同様の機能を有するが、動画像を略実時間で処理する処理能力しか有していない。従って、画像処理部21b,21cは、夫々同時に2つの動画像に対する処理はできず、また、同時に動画像と静止画像とに対する処理を行うこともできない。同様に、S圧縮部21h、M圧縮部21i及びM圧縮部21jは、夫々同時に2つの動画像に対する処理はできず、また、同時に動画像と静止画像とに対する処理を行うこともできない。
【0057】
従って、本実施の形態のような2系統の処理回路を用いた場合には、同時には2つの動画像の記録処理しかできず、また、同時には1つの動画像と1つの静止画像の記録処理しかできないことが考えられる。
【0058】
本実施の形態においても、信号処理及び制御部21は、
図6のフローチャートに従って、回想フォトモード、フォトインムービーモード及びマルチフレームモードの切換えが可能である。しかしながら、マルチフレームモードから静止画撮影操作部6bの操作によってフォトインムービーモードに移行した場合でも、1つの動画像と1つの静止画像の記録しかできない。
【0059】
そこで、本実施の形態においては、信号処理及び制御部21は、追尾されている部分指定領域の部分画像の状態によって、1つの動画と1つの静止画とを選択して記録するようになっている。即ち、信号処理及び制御部21は、追尾が成功しているか否かを判定する。例えば、信号処理及び制御部21は、追尾中の部分指定領域に部分画像の大部分が含まれる場合には、追尾が成功していると判定する。この場合には、信号処理及び制御部21は、例えば部分画像から得た静止画像を記録する。また、追尾中の部分指定領域に部分画像の大部分が含まれる状態でない場合には、追尾が成功していないものとして、信号処理及び制御部21は、例えば、全体画像を静止画として記録する。
【0060】
次に、このように構成された実施の形態の動作について
図9乃至
図16を参照して説明する。
図9乃至
図11及び
図16は本実施の形態の動作を説明するための説明図であり、
図12乃至
図15は本実施の形態の動作を説明するためのフローチャートである。
【0061】
本実施の形態においては、マルチフレームモードからフォトインムービーモードに移行した場合における動作のみが第1の実施の形態と異なる。マルチフレームモードからフォトインムービーモードに移行した場合には、画像処理部21b,21cからは、2つの動画像、又は1つの動画像と1つの静止画像とが出力される。画像処理部21cは動画像をM圧縮部21jに与える。画像処理部21bは動画像又は静止画像を出力し、画像処理部21bが動画像を出力する場合には、画像選択部21fは動画像をM圧縮部21iに与え、画像処理部21bが静止画像を出力する場合には、画像選択部21fは静止画像をS圧縮部21hに与える。
【0062】
図9はマルチフレームモードからフォトインムービーモードに移行した場合において、記録可能な動画像と静止画像との例を示している。
図9(a)はマルチフレームモードにおいて、入力画像をリサイズして得た全体画像に基づく動画像31aと部分指定領域の部分画像31bの動画像を記録している状態において、静止画撮影操作部6bの操作によってフォトインムービーに移行した場合に、部分画像31bから得た静止画31cを記録する状態を示している。この場合には、部分画像31bによる動画像は一時停止し、部分画像31bに基づく静止画像31cが得られる。
【0063】
一方、
図9(b)はマルチフレームモードにおいて、入力画像をリサイズして得た全体画像に基づく動画像32bと部分指定領域の部分画像32aの動画像を記録している状態において、静止画撮影操作部6bの操作によってフォトインムービーに移行した場合に、全体画像から得た静止画32cを記録する状態を示している。この場合には、入力画像からリサイズして得た全体画像に基づく動画像の記録は一時停止し、全体画像に基づく静止画像32cが得られる。
【0064】
なお、
図9の処理はマルチフレームモードにおいて静止画撮影操作部6bが操作された場合に、マルチフレームモードにおいて記録する2つの動画像の一方の動画像の記録を継続したまま、他方の動画像の記録を一時停止して、静止画撮影操作部6bの操作時点における静止画像を得るものであり、この点ではフォトインムービーモードへの移行というよりもマルチフレームモードにおける静止画記録であるが、説明の便宜上、
図9の例もマルチフレームモードからフォトインムービーモードへの移行として扱う。
【0065】
また、マルチフレームモード時における2つの動画記録の一方のみを継続し、他方の動画記録を停止し、一方の動画記録の元となった画像を静止画記録するようにしてもよい。即ち、この場合には、リサイズされた全体画像を動画記録すると共に全体画像の静止画記録が可能であり、また、入力画像中の部分指定領域における部分画像を動画記録すると共にこの部分画像を静止画として記録することもできる。
【0066】
図10はマルチフレームモードからフォトインムービーモードへの移行時において撮像中の一連の入力画像の一例を示しており、被写体が
図10(a)の状態から
図10(b)の状態を経て
図10(c)の状態に変化したことを示している。なお、
図10は被写体として3人の人物A〜Cが撮影されたものであり、そのうちの人物Aの顔を含む領域が部分指定領域として指定されたことを示している。また、
図11は部分画像を示しており、
図11(a)乃至(c)は、夫々
図10(a)乃至 (c)の入力画像中の破線で示す部分指定領域における部分画像を示している。
【0067】
マルチフレームモードにおいては、入力画像をリサイズして得た全体画像に基づく動画像と入力画像中の部分指定領域の部分画像による動画像とが記録される。いま、
図10(a)に示す入力画像35aに対して、破線に示す部分指定領域36aが設定されるものとする。追尾部21eは、入力画像35b,35cのように変化した場合でも追尾を行って、部分指定領域36b,36cを検出する。マルチフレームモードでは、入力画像35a乃至35cをリサイズして得た全体画像に基づく動画像と、部分指定領域36a〜36cに対応した部分画像37a〜37c(
図11)とが記録される。
【0068】
このような入力画像に対して、ユーザーが入力画像35bのタイミングで静止画撮影操作部6bを操作してフォトインムービーモードに移行するものとする。この場合には、例えば
図9(a)の記録方法を採用すると、部分画像37bが静止画として記録されることになる。また、
図9(b)の記録方法を採用すると、入力画像35bに基づく全体画像が静止画として記録されることになる。
【0069】
図10の入力画像37a〜37cによる動画像は、全体の動きが見えるので、撮影を中断しない方がよいと考えられる。また、
図11(a)の部分画像37aによる静止画像は、ユーザが指定した部分指定領域の部分画像が画面の大部分を占めており、主題がはっきりして迫力がある。従って、
図10及び
図11の例では、入力画像をリサイズした全体画像に基づく動画記録を継続すると共に、部分画像の動画記録を停止して、部分画像を静止画記録するようにした方がよい。
【0070】
しかしながら、
図10(a)では部分指定領域として、人物Aの顔を含む領域が指定さ
れているが、
図11(b)の部分画像37bは、人物Aの部分画像の大部分が人物Cに遮
られて写っていない。従って、部分画像37bはユーザが満足しない静止画であると考え
られる。そこで、本実施の形態においては、部分画像の追尾結果に従って、記録する動画
及び静止画を制御するようになっている。
【0071】
図12は信号処理及び制御部21によるこの制御を示している。なお、
図12は動画撮影中、特にマルチフレームモード時に静止画撮影を行う場合の処理を示しており、
図6のステップS17の中で行われる処理を示している。信号処理及び制御部21は、マルチフレームモードから静止画撮影操作部6bの操作によってフォトインムービーモードに移行した場合には、
図12のフローに従って記録を行う。即ち、ステップS21においてはマルチフレームモードから静止画撮影操作部6bの操作によってフォトインムービーモードに移行したか否かが判定される。マルチフレームモードからの移行でない場合には、処理をステップS7,S8に移行して、フォトインムービーモードにおける静止画撮影が行われる。
【0072】
マルチフレームモードからの移行の場合には、信号処理及び制御部21は、ステップS22において部分動画が追尾可能であるか否かを判定する。なお、本実施の形態においては、追尾部1eの追尾処理が完全に行われている場合でも、部分指定領域において部分画像の大部分が消失している場合等においては、追尾不能であるものと判定する。
【0073】
追尾可能な場合には、信号処理及び制御部21は、ステップ23において入力画像をリサイズした全体画像を動画記録し、ステップS24において部分画像を静止画記録する。
即ち、
図9(a)の記録方法を採用する。
【0074】
一方、追尾不能な場合には、信号処理及び制御部21は、ステップ25において入力画像をリサイズした全体画像を動画記録し、ステップS26において全体画像を静止画記録する。即ち、この場合には、入力画像をリサイズした全体画像を動画記録処理を継続すると共に、部分画像の動画像記録を停止し、全体画像を静止画記録する。
【0075】
即ち、信号処理及び制御部21は、動画としては全体の動きが分かる方が状況が分かって楽しめるので、マルチフレームモードにおいて静止画撮影操作部6bが操作された場合には、入力画像をリサイズした全体画像を動画記録する処理は継続する。一方、信号処理及び制御部21は、狭い画角での部分画像の動画像化は諦め、追尾可能な場合には部分画像を静止画記録し、追尾不能な場合には、全体画像を静止画記録する。
【0076】
図13及び
図14は信号処理及び制御部21による他の制御を示している。
図12の制御は、部分画像の追尾が不能と判定した場合には、全体画像を静止画として記録するものであった。しかし、
図7のように、表示画面5a上にメイン画像とサブ画像を同時に表示し、全体画像と部分画像のいずれかをユーザの選択操作によってメイン画像に指定することができる場合には、ユーザはメイン画像を静止画として記録することを希望していると考えられる。
図13及び
図14の例はこの場合に対応したものである。
図13及び
図14において夫々
図6又は
図12と同一の手順には同一符号を付して説明を省略する。
【0077】
なお、マルチフレームモードにおいて、
図7に示すように、メイン画像とサブ画像とを合成表示する機能を有していない撮影機器においては、
図12のフローチャートを採用した制御が行われる。
【0078】
図13のステップS41において、信号処理及び制御部21の追尾部21eは部分画像の追尾を開始する。また、信号処理及び制御部21は、部分画像を分配用仮記録部3にコマ記録する。ステップS43において信号処理及び制御部21は部分画像の追尾が可能であったか否かを判定し、追尾可能な場合には、ステップS44においてコマ記録した部分画像をクリアする。
【0079】
従って、部分画像の追尾が不能となった場合には、追尾不能となる前の追尾可能状態における部分画像のコマ画像が、分配用仮記録部3に記録されていることになる。
【0080】
図14は動画撮影中、特にマルチフレームモード時に静止画撮影を行う場合の処理を示しており、
図6のステップS17の中で行われる処理を示している。
図14においては、信号処理及び制御部21は、ステップS31において全体画像がサブ画像であるか否かを判定する。即ち、マルチフレームモードにおいて、ユーザの操作によって
図7(b)の表示が行われている場合には、ユーザは静止画撮影操作部6bを操作すると部分画像の静止画が記録されるものと考えている可能性がある。そこで、全体画像がサブ画像である場合には、信号処理及び制御部21は、部分画像の追尾が可能なときには、ステップ32において部分画像を動画記録し、ステップS33において部分画像を静止画記録する。また、信号処理及び制御部21は、部分画像の追尾が不能な場合には、ステップ34において部分画像を動画記録し、ステップS35において追尾可能なタイミングにおける部分画像を静止画記録する。例えば、
図10及び
図11の例では、
図11(a)に示す部分画像が静止画記録される。これにより、ユーザが希望する動画及び静止画を記録することが可能となる。
【0081】
図15及び
図16は信号処理及び制御部21による他の制御を示している。
図13及び
図14の制御は、メイン画像に指定された画像を動画記録及び静止画記録するものであった。しかし、ユーザは
図7のように、表示画面5a上に表示されたメイン画像とサブ画像の合成画像を静止画記録したいと考えることも想定される。
図15及び
図16の例はこの場合に対応したものである。
図15において
図14と同一の手順には同一符号を付して説明を省略する。
【0082】
図15は動画撮影中、特にマルチフレームモード時に静止画撮影を行う場合の処理を示しており、
図6のステップS17の中で行われる処理を示している。
図15のフローにおいても、信号処理及び制御部21は、ステップS31において、全体画像がサブ画像であるか否かが判定される。
【0083】
図16(a)は、表示部5の表示画面41aの略全域のメイン表示領域41bに全体画像に基づくメイン画像を配置し、表示画面41aのサブ表示領域41cに部分画像をサブ画像として配置するように、全体画像と部分画像との合成が行われた例を示している。表示画面41a中の破線は部分指定領域を示している。一方、
図16(b)は、メイン表示領域41bに部分画像に基づくメイン画像が配置され、サブ表示領域41cに全体画像に基づくサブ画像が配置された例を示している。
【0084】
信号処理及び制御部21は、
図16(b)のように全体画像がサブ画像である場合には、ステップS22において部分画像の追尾が可能であるか否かを判定する。信号処理及び制御部21は、部分画像の追尾が可能な場合には、ステップ32において部分画像を動画記録し、ステップS41において部分画像をメイン画像とし全体画像をサブ画像とした合成画像を静止画記録する。
【0085】
図16(b)は部分画像の追尾が不能な状態を示しており、この場合には、信号処理及び制御部21は、ステップ34において部分画像を動画記録し、ステップS42において全体画像をメイン画像とし部分画像をサブ画像とした合成画像、即ち、
図16(a)に対応した合成画像を静止画記録する。
【0086】
なお、全体画像がサブ画像でない場合には、信号処理及び制御部21は、ステップ25において入力画像をリサイズした全体画像を動画記録し、ステップS42において全体画像をメイン画像とし部分画像をサブ画像とした合成画像を静止画記録する。
【0087】
このように本実施の形態においては、同時には、2つの動画像を記録するか、又は1つの動画像と1つの静止画像の記録しかできない場合には、部分画像の追尾結果に従って、記録する動画像と静止画像を決定する。例えば、動画像としては、全体の動きが分かるように、入力画像をリサイズした全体画像に基づく動画像を記録すると共に、静止画像としては、部分指定領域の部分画像を追尾可能な場合には、部分画像を記録し、追尾不能な場合には全体画像を記録する。これにより、第1の実施の形態と同様の効果が得られると共に、回路規模が小さい場合でも、よりユーザの希望にそった撮影が可能である。