(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0015】
以下、図示の実施の形態によって本発明を説明する。
【0016】
本発明の一実施形態は、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる画像信号を静止画像又は動画像を表わすデジタル画像データに変換し、こうして生成されたデジタルデータを記録媒体に記録し、また記録媒体に記録されたデジタル画像データに基いて静止画像又は動画像を表示装置に再生表示し得るように構成される撮影機器であるカメラの例示である。
【0017】
なお、以下の説明に用いる各図面においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせて示している場合がある。したがって、本発明は、これらの図面に記載された構成要素の数量,構成要素の形状,構成要素の大きさの比率及び各構成要素の相対的な位置関係は、図示の形態のみに限定されるものではない。
【0018】
まず、本発明の一実施形態の撮影機器(カメラ)の概略構成を以下に説明する。
図1は、本発明の一実施形態の撮影機器(カメラ)を示し、主に電気的な内部構成を示すブロック構成図である。
【0019】
図1に示すように、本実施形態の撮影機器であるカメラ1は、信号処理制御部11と、撮像部12と、画像データ仮記録部13と、記録部14と、操作部16と、ズーム制御部17と、表示部18等によって主に構成されている。
【0020】
撮像部12は、レンズ部15と撮像素子15a等を備えて構成される。レンズ部15は、被写体からの光を透過させて被写体の光学像を形成する構成ユニットである。レンズ部15は、
図1においては図示を省略化しているが、例えば複数の光学レンズを同一の光軸上に並べて配置して形成される光学レンズユニットである。レンズ部15には、複数の光学レンズを各別に保持する複数の枠部材や、これら複数の枠部材を各別に駆動する駆動機構及び駆動源等を含んで構成される。なお、本実施形態におけるレンズ部15は、光学的な焦点距離を連続的に変更可能に構成されるいわゆるズームレンズ光学系を構成しているものとする。
【0021】
撮像素子15aは、例えばCCD(Charge Coupled Device;電荷結合素子)等の回路素子を用いたCCDイメージセンサー若しくはMOS(Metal Oxide Semiconductor;金属酸化膜半導体)等を用いたMOS型イメージセンサー等の固体撮像素子である光電変換素子等が適用される。撮像素子15aは、レンズ部15によって集光された光束が結像されて形成される被写体像を所定の受光面(撮像面)上に受光させ、この光学的結像に対し光電変換処理を行う。ここで、撮像素子15aは、被写体像(光学像)の光量を電荷量を表わすアナログ信号へと変換する。撮像素子15aによって生成された電気信号(アナログ画像信号)は信号処理制御部11の読取部11aへと出力される。
【0022】
信号処理制御部11は、カメラ1の各動作シーケンスを統括的に制御する制御系回路と撮像素子15aによって生成され出力された電気信号(アナログ画像信号)を受けて各種の信号処理等を行う信号処理系回路等によって構成される。
【0023】
信号処理制御部11は、例えば読取部11aと、第1画像処理部11bと、第2画像処理部11cと、部位判定部11dと、部位変化判定部11eと、画像選択部11fと、表示制御部11gと、S圧縮部11hと、第1M圧縮部11iと、第2M圧縮部11jと、記録制御部11k等によって構成される。
【0024】
読取部11aは、撮像素子15aから出力された電気信号(アナログ画像信号)を受けてリセットノイズ等の低減処理,波形整形処理,ゲインアップ処理,アナログ画像信号をデジタル画像信号(画像データ)に変換するAD変換処理等を行う信号処理部である。また、読取部11aは、撮像素子15aの信号を読み取る際のフレームレート(FR)を切り換えるフレームレート(FR)切換部として機能する。この読取部11aから出力される画像データは、画像データ仮記録部13へと伝送されて、画像データ仮記録部13に一時的に記憶される。
【0025】
第1画像処理部11bは、画像データ仮記録部13の第1仮記録部13aから読み出した画像データ(第1画像データ;後述する)に対して様々な画像処理(コントラスト調整処理や色補正処理等)を施す画像データ処理部である。この第1画像処理部11bにおいて各種の処理が行われた後の画像データは画像選択部11fへと伝送される。
【0026】
第2画像処理部11cは、画像データ仮記録部13の第2仮記録部13bから読み出した画像データ(第2画像データ;後述する)に対して様々な画像処理(コントラスト調整処理や色補正処理等)を施す画像データ処理部である。この第2画像処理部11cにおいて各種の処理が行われた後の画像データは画像選択部11fへと伝送される。
【0027】
画像選択部11fは、第1画像処理部11bと第2画像処理部11cとからの信号を受けていずれかを所定の条件に従って選択制御する回路部である。また、画像選択部11fは、画像合成機能等を有しており、例えば表示制御部11gを介して表示部18に表示されるべき画像として、複数の画像データに基いて合成処理画像等を生成する。
【0028】
S圧縮部11h,第1M圧縮部11i,第2M圧縮部11jは、所定の圧縮方式による画像データの圧縮処理等を行うデータ圧縮処理部である。これらのデータ圧縮処理部においてS圧縮部11hは主に取り扱う画像データを静止画像データとする。この場合には、例えばJPEG規格に準拠した方式等による圧縮処理が行われる。
【0029】
第1M圧縮部11i,第2M圧縮部11jは、取り扱う画像データを動画像データとする。この場合には、例えばMotion−JPEG規格やH.264規格等に準拠した各種方式等による圧縮及び展開処理が行われる。なお、第1M圧縮部11iは、主に第1画像データ(後述)を扱い、第2M圧縮部11jは、主に第2画像データ(後述)を扱うものとする。
【0030】
つまり、本カメラ1においては、第1画像データと第2画像データとについて同時に並行して画像処理等を行うことができるように、二系統の画像処理回路を有している。
【0031】
表示制御部11gは、表示部18を駆動制御する制御回路部である。表示制御部11gは、画像選択部11fによって選択設定された画像データ(静止画像若しくは動画像を表わす画像データ)を受けて表示部18を制御して、表示部18の表示パネルに画像を表示させる制御を行う。
【0032】
記録制御部11kは、記録部14を駆動制御する制御回路部である。記録制御部11kは、上記S圧縮部11h,第1M圧縮部11i,第2M圧縮部11j等からの出力を受けて記録部14へと画像データを伝送し記録する制御を行う。
【0033】
部位判定部11dは、被写体の所定の部位、例えば顔に相当する部位(第1の部位)や、被写体の形状等を取得画像データに基いて識別し、予め用意されたデータベース等を参照して被写体の形態、例えば顔を形成する各パーツ(目,鼻,口等)を識別したり、これらのパーツの位置等の配置形態等の情報から顔の向きを判定したり、被写体の種別(例えば人間,鳥類,犬猫等の種類)等を識別し判定したり、顔の位置から胴体,足等(第2の部位)の配置や状態を推定するデータ処理回路部である。具体的に云えば、部位判定部11dは、例えば顔検出手段,形態検出手段等と呼ばれるものが適用される。
【0034】
部位変化判定部11eは、上記部位判定部11dによって識別され判定された特定の部位の画面内における位置変化等(量,方向等)を判定するデータ処理回路部である。
【0035】
画像データ仮記録部13は、上記読取部11aからの出力(画像データ)等を受けて一時的にデータの記憶を行う一時記憶部である。画像データ仮記録部13は、例えばSDRAM等によって主に構成されている。画像データ仮記録部13は、例えば静止画像データを主に扱う第1仮記録部13aと、例えば動画像データを主に扱う第2仮記録部13bとを有して構成されている。
【0036】
記録部14は、画像データを始めとする各種データを記録するための構成部であって、記録媒体及びその駆動回路等によって構成される。記録媒体としては、例えば着脱自在に配設されるカード形状の半導体メモリ、いわゆるメモリカード等が適用される。また、記録媒体の形態は、例えばカメラ内に固定される媒体で構成されていてもよいし、半導体メモリ以外にも、光学板媒体,磁気媒体等、様々な形態のものを適用し得る。
【0037】
操作部16は、カメラ1に対する各種操作を行うための複数の操作部材及び対応する操作スイッチ等によって構成される。使用者が操作部16のうちの所定の操作部材を操作すると、対応する操作スイッチから所定の指示信号が発生し、その指示信号は、信号処理制御部11へと伝達される。この指示信号を受けて、信号処理制御部11は、適宜操作に応じた各種シーケンスを実行する。
【0038】
操作部16としては、具体的には、例えば電源ボタン,メニューボタン,コントロールダイヤル,モード切換ダイヤル,ファンクションボタン,再生切換ボタン等のほか、動画撮影の開始操作及び停止操作時に使用する動画撮影操作部16aと、シャッターリリースボタンであり静止画撮影操作部16b等の操作部材がある。さらに、操作部16には、各種の指示を入力するための入力用操作部材、例えばタッチパネル等が含まれる。タッチパネルは、例えば表示部18の表示パネルの外表面上に重ねて配置される。なお、操作部16に含まれる各種の操作部材の機能等については、従来の撮影機器等に採用されているものと同様であるものとして、その詳細説明は省略する。
【0039】
ズーム制御部17は、信号処理制御部11と協働してレンズ部15の動作制御のうち主にズーミング動作を制御する制御回路である。そのために、ズーム制御部17は、撮像部12に含まれる構成ユニットのうちレンズ部15を駆動する駆動機構及び駆動源等を駆動制御する。
【0040】
表示部18は、例えば液晶表示装置(LCD)等の表示パネルや表示パネルを駆動制御する表示用ドライバ等によって構成される。表示部18は、例えばレックビュー表示を行ったり、記録部14の記録媒体に記録済みの画像データ(JPEGファイル等)等に基く画像(静止画像,動画像等)の再生表示,撮影動作時のライブビュー表示等の表示を行う。また、表示部18は、各種設定を行う際のメニュー表示や、タッチパネルと連動して各種操作を行う際のタッチパネル用操作ボタン表示等も表示する。
【0041】
以上のように構成された本実施形態のカメラ1を用いて写真撮影を行う際の作用を、以下に説明する。
【0042】
図2,
図3は、本実施形態のカメラ1の処理シーケンスの一部を示すフローチャートである。このうち
図2はカメラ1の撮影制御シーケンスを示すフローチャートである。
図3は、
図2のステップS105の処理である特定部位判定処理シーケンスのサブルーチンである。
【0043】
まず、カメラ1が電源オン状態にあり、カメラ1の動作モードが撮影モードに設定されている状態とする。この状態においてカメラ1は、スルー画(ライブビュー画像)表示と第1画像(後述)の記録動作を常に実行するものとする(
図2のステップS101)。このとき実行される記録動作は一時記録である。したがって、所定の記録容量を超えると古い記録データが削除されて、常に所定容量の新しい記録データが記録され続けるといった作用が実行されている。
【0044】
なお、上記第1画像(データ)とは、カメラ1のレンズ部15のズーミング設定を使用者が任意に行なって、任意にズーム設定がなされた所定の画角の画像をいうものと定義する。これに対して、後述する第2画像(データ)は、カメラ1のレンズ部15を最も短焦点側(広角端)の焦点距離に設定した場合の画像をいうものと定義する。ここで、第2画像として広角端に設定した場合を例示しているが、これに限らず、撮影時の状況に応じて変更してもよい。その場合にも、撮影中の画角より広く設定すれば特定の効果が期待できる。
【0045】
ステップS103において、部位判定部11dは画像内の主要被写体が人間であるか否かの確認を行う。ここで、主要被写体が人間ではないことが確認された場合には、ステップS105の処理(
図3の詳細フローチャート参照)へと進む。また、主要被写体が人間であることを確認した場合には、ステップS104の処理へと進む。
【0046】
ステップS104において、被写体を人間として判定された場合の通常の撮影処理、即ち人間の顔をターゲットとしてAE処理及びAF処理を実行する。
【0047】
次いで、ステップS108において、カメラ1は、フレームレート,光学系,切出範囲等の各種の設定値を所定の値に設定する。
【0048】
続いてステップS111において、カメラ1は、静止画撮影動作の指示がなされたか否かの確認を行う。この場合において、静止画撮影動作指示は、例えば操作部16の静止画撮影操作部16bの指示信号の出力を監視することで確認できる。ここで、静止画撮影動作の指示がなされた場合には、ステップS112の処理に進む。また、静止画撮影動作の以外の指示がなされた場合には、ステップS115の処理に進む。
【0049】
静止画撮影モードに設定されている場合にステップS112の処理に進むと、このステップS112において、通常の静止画撮影動作が行われる。ここで対象となる画像データは第1画像、即ち使用者が設定した画角による画像データである。
【0050】
次に、ステップS113において、第2画像が存在するか否かの確認を行う。ここで、第2画像が存在する場合には、次のステップS114の処理に進む。また、第2画像が存在しない場合には、ステップS115の処理に進む。
【0051】
ステップS114において、カメラ1は、画像データ仮記録部13の第2仮記録部13bにおいて一時記録されている第2画像データについて、特定の期間(タイミング)、即ち上記のステップS111の処理の静止画撮影動作指示のタイミングにおける静止画像データを抽出し、第2処理部11c,画像選択部11f,S圧縮部11h,記録制御部11kを介して記録部14の記録媒体へと静止画像データとして記録する(通常の処理手順による)静止画像記録処理を実行する。
【0052】
ステップS115において、カメラ1は、操作部16からの指示信号を監視して、実行中の動画撮影動作の終了指示信号が出力されたか否かの確認を行う。ここで、動画撮影終了指示信号が確認された場合には、次のステップS116の処理に進む。また、動画撮影終了指示信号が確認されない場合には、上述のステップS101の処理に戻り、以降の処理を繰り返す。
【0053】
動画撮影動作の終了指示信号が確認されてステップS116の処理に進むと、このステップS116において、カメラ1は動画像ファイル化処理を実行する。この動画像ファイル化処理は、画像データ仮記録部13の第1仮記録部13aにおいて一時記録されている第1画像データを抽出し、第1処理部11b,画像選択部11f,第1M圧縮部11i,記録制御部11kを介して記録部14の記録媒体へと動画像データとして記録する(通常の処理手順による)動画像記録処理を実行する。
【0054】
なお、この動画像ファイル化処理においては、画像データ仮記録部13の第2仮記録部13bの第2画像データから、第2処理部11c,画像選択部11f,第2M圧縮部11j,記録制御部11kを介して記録部14の記録媒体に動画像データとして記録するようにしてもよい。この場合において、第2画像データの動画記録は、使用者の意思による記録操作(例えば動作モードの設定指示や直接的な記録操作指示等)を待って実行する形態や、若しくは第2画像データが存在する場合には自動的に実行する形態等、第2画像データを記録するトリガーとしては、さまざまなパターンが考えられる。
【0055】
一方、上述のステップS103の処理において、主要被写体が人間ではないことが確認されてステップS105の処理へと進むと、このステップS105において、特定部位判定処理(詳細な処理シーケンスは
図3のサブルーチン)が実行される。
【0056】
なお、本実施形態のカメラ1においては、部位判定部11dが検出し得る人間以外の主要被写体の具体例として、鳥類及び猫を判定し得るものとするが、その他の生物,動物等を判定するようにしてもよい。
【0057】
画像内に検出された主要被写体に関し、その主要被写体が如何なるものであるかを判定するためには、例えば記録部14や、その他の記憶部(不図示)に予め記憶されたデータベース等を参照する。このデータベース等は、例えば主要被写体となり得る生物,動物等の特徴的形状等の各種の情報が含まれる。部位判定部11dは、そのデータベース等を参照して画像内の主要被写体となる個々の生物,動物等を判定する。したがって、撮影対象となり得る生物,動物等に各対応するデータベース等を種々用意しておけば、さまざまな種類の被写体に対応することが可能となる。
【0058】
図3のステップS201において、カメラ1の部位判定部11dは、主要被写体が鳥類であるか否かの検出を行う。ここで、主要被写体として鳥類が検出された場合には、ステップS202の処理に進む。また、主要被写体として鳥類以外が検出された場合には、ステップS211の処理に進む。
【0059】
ステップS202において、カメラ1の部位判定部11dは、主要被写体として検出した鳥類の顔部(第1の部位)の判定処理を行う。
【0060】
まず、ステップS203において、カメラ1の部位判定部11dは、顔の横向き判定を実行する。ここで、顔の横向き判定がなされると、次のステップS204の処理に進む。また、顔が横向きではないと判定された場合には、この特定部位判定処理を抜けて、元の処理シーケンスに戻り(リターン)、
図2のステップS106の処理に進む。
【0061】
つまり、本実施形態のカメラ1においては、主要被写体である鳥類が顔を横向きにしている場合に限定して、後述する被写体の動作予測を行う例を示している。この動作予測についても、上述のデータベース等が参照される。したがって、データベース等を拡充することによって、鳥の顔の向きに応じて動作予測を行うことも可能である。
【0062】
ステップS204において、カメラ1の部位判定部11dは、上述のステップS202,S203の処理にて判定した顔部の位置から胴体部位(第2の部位)を判定する。
【0063】
ステップS205において、胴体部位の判定が可能か否かの確認を行う。ここで、胴体部位の判定が可能である場合には、ステップS206の処理に進む。また、胴体部位の判定が不可能である場合には、本処理シーケンスを抜けて、元の処理シーケンスに戻り(リターン)、
図2のステップS106の処理に進む。
【0064】
ステップS206において、カメラ1の部位判定部11dは、胴体部位の後方、即ち顔のある部位とは水平方向に反対側にある部位を腰と判定すると共に、その下側の部位を足として判定する。
【0065】
次に、ステップS207において、カメラ1の部位判定部11dは、足の判定が可能であるか否かの確認を行う。ここで、足の判定が可能である場合には、ステップS208の処理に進む。また、足の判定が不可能である場合には、本処理シーケンスを抜けて、元の処理シーケンスに戻り(リターン)、
図2のステップS106の処理に進む。
【0066】
ステップS208において、カメラ1の部位判定部11dは、足の下部領域や、足の先端部位の判定を行う。ここで、特定の部位(足の下部領域,足の先端部位等)の判定処理としては、例えば判定できる部分からの位置の差や、輪郭や色、コントラストなど画像の解析で判定を行う。その後、本処理シーケンスを抜けて、元の処理シーケンスに戻り(リターン)、
図2のステップS106の処理に進む。
【0067】
一方、上述のステップS201において、主要被写体として鳥類以外が検出された場合にステップS211の処理に進むと、このステップS211において、カメラ1の部位判定部11dは、主要被写体が猫であるか否か、即ち猫の顔(第1の部位)検出がなされたか否かを確認する。ここで、主要被写体として猫顔が検出された場合には、ステップS212の処理に進む。
【0068】
ステップS212において、カメラ1の部位判定部11dは、主要被写体の猫顔を特定部位として、以降の判定処理を続行する。
【0069】
即ち、まずステップS213において、カメラ1の部位判定部11dは、猫顔の横向き判定を実行する。この顔の横向き判定処理は、上述のステップS203の処理と略同様である。
【0070】
ここで、顔の横向き判定がなされると、次のステップS213の処理に進む。また、顔が横向きではないと判定された場合には、この特定部位判定処理を抜けて、元の処理シーケンスに戻り(リターン)、
図2のステップS106の処理に進む。
【0071】
続いて、ステップS214において、カメラ1の部位判定部11dは、顔部(第1の部位)の位置から胴体部位(第2の部位)を判定する。この処理は、上述のステップS204の処理と略同様である。
【0072】
ステップS205において、胴体部位の判定が可能か否かの確認を行う。この確認処理は、上述のステップS205の処理と略同様である。
【0073】
ここで、胴体部位の判定が可能である場合には、ステップS206の処理に進む。また、胴体部位の判定が不可能である場合には、本処理シーケンスを抜けて、元の処理シーケンスに戻り(リターン)、
図2のステップS106の処理に進む。
【0074】
ステップS206において、カメラ1の部位判定部11dは、胴体部位の後方、即ち顔のある部位とは水平方向に反対側にある部位を腰と判定すると共に、その下側の部位を足として判定する。この確認処理は、上述のステップS206の処理と略同様である。
【0075】
次に、ステップS207において、カメラ1の部位判定部11dは、足の判定が可能であるか否かの確認を行う。この確認処理は、上述のステップS207の処理と略同様である。
【0076】
ここで、足の判定が可能である場合には、ステップS208の処理に進む。また、足の判定が不可能である場合には、本処理シーケンスを抜けて、元の処理シーケンスに戻り(リターン)、
図2のステップS106の処理に進む。
【0077】
ステップS208において、カメラ1の部位判定部11dは、足の下部領域や、足の先端部位の判定を行う。この確認処理は、上述のステップS208の処理と略同様である。その後、本処理シーケンスを抜けて、元の処理シーケンスに戻り(リターン)、
図2のステップS106の処理に進む。
【0078】
撮影機器において、撮像素子により取得された画像データに基いて画像内にある人間の顔領域を検出して人間の顔であることを判定したり、その判定した人間の顔が特定人物の顔であることや若しくは笑顔であること等を識別し判定する技術は既に確立されている。
【0079】
また、人間以外の生物,動物等に関しても、顔検出を行うことは、顔を構成する各パーツ、例えば目,鼻,口等の陰影や配置パターン等を検出することによって判定は可能である。つまり、各種の生物,動物等の顔を構成する各パーツは、それぞれの生物,動物等の種類によって異なるものであることを鑑みて、近年においては、各種の生物,動物等の種類を二次元画像データを分析することによって判定が可能となっている。
【0080】
さらに、各種の生物,動物等に関して、正面の顔パターンのほかにも、横顔パターン等、各種の変形態の顔パターンをデータベース等に蓄積し、それを参照するように構成すれば、横顔検出等についても容易に可能である。
【0081】
これらの技術に加えて、具体的には例示すれば、例えば比較的小型の鳥類等においては、その全体を容易に画面内に収めることができることから、取得した画像内に納まる被写体の全体像に基いて、例えば胴体形状が独特な流線型の形状であることや、また特徴的な動きパターン等のパターンマッチング等を行うことで、画像内の主要被写体が鳥類であるか否かの判定を行うことが可能である。
【0082】
また、鳥類等においては、例えば足を止めた状態のまま、体(翼)や顔を頻繁に動かすといった特徴的な動きパターンを有する傾向が多く見られる。このことから、特徴的な動作パターンのデータベースを参照してパターン解析を行うことによって、画像内における鳥類の顔部分に相当する画像領域を判定することが可能である。
【0083】
さらにまた、均一な色彩の三角形のくちばしが顔部の先端に配置されているといった特徴的な形態の情報等を集積したデータベース等を用意しておけば、パターン認識による形態一致度等に基いて被写体検出を行い、鳥類の横顔判定処理を行うことも可能である。
【0084】
このようにして、鳥類である被写体の顔部パターンが判定されると、次に顔の大きさ(画像中における占有面積等)が推測されると共に、顔の向きや大きさ等の情報から胴体部分の位置が判定できる。例えば、顔が横向きにある動物の胴体部分はほぼ横長形状であると推定でき、その動体の下部に足部が存在すると推測できる。また、顔を検出した後、その大きさを検出し、この顔の大きさを基準とする所定の長さを有する領域、例えば顔幅寸法の5倍程度の長さ寸法を有する横長形状の領域を胴体部分であると推定できる。これとは別に、例えば顔を検出する際、その顔の位置や、顔が向いている方向(目線方向)等を基準として特定方向、例えば顔の位置よりも画面下方寄りの領域であって、顔の向いている方向とは反対方向にある領域等を胴体部分と推定することができる。
【0085】
他方、上述のステップS211の処理にて、主要被写体として猫顔ではないことが確認された場合には、ステップS221の処理に進む。
【0086】
ステップS221において、カメラ1は主要被写体の種類が検出不能であるものとして、元の処理シーケンスに戻り(リターン)、
図2のステップS106の処理に進む。
【0087】
このようにして、
図3の特定部位判定処理から、
図2の処理シーケンスにおけるステップS106に戻ると、このステップS106において、
図3の処理において、特定部位の判定が可能であったか否かの確認を行う。ここで、特定部位の判定が可能であった場合には、ステップS107の処理に進む。また、特定部位の判定が不可能であった場合には、ステップS121の処理に進む。
【0088】
ステップS107において、カメラ1は、画面中央領域をターゲットとしてAE処理及びAF処理を実行する。その後、上述のステップS108の処理に進む。
【0089】
一方、ステップS121において、カメラ1は、現在設定されているズーム状態を確認し、これ以上の光学的広角化が可能か否かの確認を行う。ここで、広角化が可能である場合には、ステップS122の処理に進む。また、広角化が不可能である場合には、上述のステップS111の処理に進む。
【0090】
ステップS122において、カメラ1はズーム制御部17を介してレンズ部15の駆動制御を行って光学系の広角化処理を実行する。この場合において、設定されるレンズ部15の焦点距離は、設定し得る最も広角端である。そして、上述したように、この時に得られる画像データによって表示される画像が第2画像である。
【0091】
ステップS123において、カメラ1は、切り出し範囲を設定する。ここで、切り出し範囲とは第1画像に相当する範囲である。つまり、この時点においては、上述のステップS122の処理にて、レンズ部15は最広角端に設定されており、撮像範囲は、
図1に示す符号Xwに相当する範囲となっている。
【0092】
そこで、表示部18に表示する画角範囲は、それ以前に使用者が設定していたズーム値、即ち第1画像に相当する画角範囲としておきたい。ここで、その画角範囲は、
図1に示す符号Xtに相当する範囲とする。そのために、実際の撮像範囲、即ち第2画角データから、所定の範囲を切り出し処理して第1画像データとし、この第1画像データに相当する画像を表示部18に表示するように処理する。そのための切り出し範囲設定処理である。したがって、この切り出し範囲は、使用者が設定したズーム値に相当する第1画像の撮影範囲に対応する範囲となる。
【0093】
ステップS124において、カメラ1の部位変化判定部11eは、主要被写体の所定の部位の変化を判定する処理を行う。この場合において、所定の部位としては、例えば腰部が沈み込む動作、若しくは足が縮む動作を検出する。
【0094】
上述のステップS124の処理にて、腰部が沈み込む動作若しくは足が縮む動作が検出された場合には、ステップS125の処理に進む。また、上記動作変化が確認されない場合には、上述のステップS111の処理に進む。
【0095】
ステップS125において、カメラ1の読取部11aは、撮像部12からのデータ読み出し処理に関し、例えばフレームレートの高速化を行う。その後、ステップS111の処理に進む。なお、単にフレームレートの高速化を行うのみでは、例えば適正な露出を得ることができない等、高画質な画像を維持できない可能性がある。したがって、読取部11aによるフレームレート切換処理が実行される際には、カメラ1の信号処理制御部11は、撮影条件パラメータの内、露出設定に関わるパラメータ、例えば感度設定値や絞り値等の設定変更を同時に行う。
【0096】
ここで、通常動作状態にある鳥類や猫等が、動作を開始する際の様子について簡略に解説する。
図4〜
図7は、本実施形態のカメラ1を用いて写真撮影を行うのに際し、鳥類等の生物を主要被写体とした場合の作用の一例を示す図である。また、
図8〜
図11は、同カメラ1を用いて写真撮影を行うのに際し、猫等の生物を主要被写体とした場合の作用の別の一例を示す図である。
【0097】
図4〜
図11において、符号14aで示す枠内の画像を第2画像(最広角画像)とする。また、符号14bで示される枠内の画像を第1画像(設定ズーム画像)とする。なお、第1画像14bの枠は設定されるズーム値によって変化する。その場合の最大範囲は、第2画像14aと同範囲である(最広角範囲)。なお、この例示では、第2画像を最広角範囲の画像としているが、撮影時の状況に応じて変更してもよい。この場合において、撮影中の画角より広くすれば特定の効果が期待できる。
【0098】
図4に示す状態は、鳥類の顔部位が検出された状態を示している。
図4において、点線円で示す符号14cは、検出された鳥類の顔領域を示す指標である。この状態は、
図3の処理シーケンス中、ステップS201〜S202の処理に相当する。
【0099】
図4の状態から
図5の状態に移行すると、画面内に検出された主要被写体である鳥類は飛び立つ動作を開始する準備をしている。鳥類が通常動作状態から飛び立つ際には、例えば飛び立つ方向に顔を向けたり(矢印A)、足を縮めて腰部を低く沈み込ませる動作(矢印B)等といった特徴的な仕草が見られる。
【0100】
その後、
図6の状態から
図7の状態にかけて、鳥類は実際に飛び立つ動作を行う。この場合、
図6の状態で縮めていた足が伸びると共に翼が広がり始め、
図7の状態で足が伸び切ると共に、翼を大きく広げてはばたく。そして、矢印A方向へと飛び立つ。このとき、主要被写体としての鳥類は、翼を広げると共に高速で一方向(矢印A方向)へと移動することになる。部位判定部11dは、検出した部位を追従して検出し続ける機能を有するので、その追従検出に対応させて移動する被写体の全体像がおさまるように、切り出し範囲設定を変更するようにしてもよい。すなわち、切り出し範囲として、使用者の設定操作に基くズーム値に相当する第1画像を、部位変化判定部11eの判定結果を反映させて第1画像の切り出し範囲をズームアウトして若干の広角側へシフトするようにしてもよい。
【0101】
同様に、
図8に示す状態は、猫の顔部位が検出された状態を示している。
図8において、点線円で示す符号14cは、検出された猫顔領域を示す指標である。この状態は、
図3の処理シーケンス中、ステップS211〜S212の処理に相当する。
【0102】
図8の状態から
図9の状態に移行すると、画面内に検出された主要被写体である猫は飛び上がる動作を開始する準備をしている。猫が通常動作状態から飛び上がる際には、例えば飛び上がる方向に顔を向けたり(矢印A)、後足を縮めて腰を低く沈み込ませる(矢印B)等といった特徴的な仕草が見られる。
【0103】
その後、
図10の状態から
図11の状態にかけて、猫は実際に飛び上がる動作を行う。この場合、
図10の状態で縮めていた後足が伸び始め、
図11の状態でさらに後足が伸びると共に、上体が伸びて、矢印A方向へと飛び上がる。
【0104】
このように、鳥類や猫等の動きの速い動物では、
図6,
図10の各状態から
図7,
図11の各状態へと移行した後の動作は、被写体の動く速さが非常に速いので、通常フレームレートによる動画撮影を行って、その間の所定の一コマを静止画像として取り出したとしても、いわゆる被写体ブレが生じてしまい、動きの瞬間を確実に捕らえることは困難である。
【0105】
そこで、本実施形態のカメラ1においては、上述したように、撮影中の被写体が急激な動作に移行する際の動き、具体的には例えば飛び立ったり、飛び上がったりする方向に顔を向けたり、足部を縮めて腰を低く沈み込ませる等の動作を検出する(
図2のステップS124の処理)。そして、このような動作を検出した時には、例えばフレームレートの高速化設定等を自動的に行って(
図2のステップS125の処理)、動作の速い被写体を撮影するのに適した設定で撮影動作を継続する。
【0106】
撮影中の被写体が急激な動作に移行する際の動きを予測する処理(
図2のステップS124の処理)の具体的な手段の例を以下に説明する。
【0107】
図12,
図13は、鳥類等の動物が通常動作状態から急激に動く場合の挙動変化の典型例を説明する図である。このうち
図12は、鳥類が通常動作状態(第1挙動)から動き始める際の第2挙動(飛び出し準備期間)を説明する図である。また。
図13は、鳥類が
図12の状態(準備期間)から継続する第3挙動(飛び立ち期間)を説明する図である。なお、
図12,
図13では、動物の具体例として鳥類を例に挙げて説明している。
【0108】
一般に、鳥類等が通常動作状態から飛び立つ場合において、被写体の主に移動する方向(
図12,
図13の例示では高さ方向)の変化量は、足を縮めて腰部を低く沈み込ませる際の移動量ΔH(
図12)に比べて、足を伸縮させる際の移動量ΔL(
図13)の方がずっと大きい傾向がある。
【0109】
例えば、
図12(a)の通常動作状態から
図12(b)の状態へと顔の向きを飛び立つ方向に合わせる挙動を行う際に、顔の向きの角度(即ち水平に対する脊椎角度)θbとし、被写体としての鳥類の脊椎で規定される背部長さLbとすると、
ΔH=(1/2)・Lb・tanθb
で表わすことができる。
【0110】
ここで、θb=45°程度とすると、ΔHは背部の長さの半分程度しか変化しない。
【0111】
一方、足の長さは根本部分から先端部分までを含めて長さLlを有する(
図13(b))。この足部長さLlは、例えば脊椎長さLbと略同等の長さを有する。
【0112】
しかも、
図13(b)に示すように、関節部分において、完全に折り畳むように曲げた状態から、略直線状となるように伸ばした状態となるまで容易に変化させることができるので、足の伸縮による飛び出し方向の変化量ΔLは、足長さLlに相当する量になる。
【0113】
さらに、この場合においては、上述したように翼を広げる動作等も加わるが、これらの動作も極めて高速な変化量を有するので、通常フレームレートによる撮影では捉え切れないことになる。
【0114】
図14は、被写体が通常動作状態から急激に動く場合(例として飛び立つ動作時)における被写体の各部位の変化量と変化速度との変位を示すグラフである。
図14において、通常フレームレート(FR)による撮影では、符号(I)で示す通常動作状態期間(第1挙動期間)から符号(II)で示す飛び立ち準備期間(第2挙動期間)の間では、充分に対応可能であるが、その後の符号(III)で示す飛び立ち期間(第3挙動期間)になると通常フレームレートでは捕らえることができない。
【0115】
このように、鳥類等において足の屈伸動作が生じる直後のタイミングにおいて、通常フレームレートによる撮影では捉え切れないことになる。したがって、足の屈伸動作の直前のタイミングの動作、例えば
図12(b)に示す脊椎角度θbの変化(腰部が低く沈みこむ動作)や、足を縮める動作等の特徴的な動作に着目し、そのような動作変化を検出し判定するように構成している。その動作変化を検出するためには、例えば腰部の変化がよく見える状況であるのが望ましい。したがって、鳥類,猫等の被写体動物が横向きであることが有効である。そのために、
図3の処理シーケンスにおいては、ステップS203,ステップS213の各処理において、部位判定部11dを用いて、主要被写体が横向きであることを判定するようにしている。
【0116】
例えば、
図15は主要被写体としての動物(本例では鳥類)が横向きにある時に、各部位の判定や各部位の方向を判定する際の概念を示す図である。
【0117】
図15に示すように、横向きにある動物(本例では鳥類)を主要被写体として撮影する場合において、顔の向きが横向きであるかどうかの判定(
図3のステップS203,ステップS213)は、例えば鳥類の場合、略三角形状の嘴の鋭角が向いている方向(
図15の矢印C方向)を顔の向きと判定することができる。
【0118】
こうして顔の向きが判定されると、胴体の位置の判定(
図3のステップS204,ステップS214)が行われる。胴体位置は、顔の向き(
図15の矢印C方向)とは反対方向(
図15の矢印E方向)に向けて、輪郭が連続的に所定の長さだけ繋がっている部分であると判定される(
図15の矢印Gの部位)。
【0119】
このようにして胴体位置が判定されると、次に腰や足の位置の判定(
図3のステップS206,ステップS216)が行われる。腰の位置は胴体位置の後方(顔とは反対方向:矢印E方向)の部位として、足の位置は、腰の位置の下方(
図15の矢印D方向)にあるものと判定する。
【0120】
なお、腰の位置については、鳥類等のように二足歩行の動物では、胴体の後方であってもやや中央寄りの位置となる一方、猫等のように四つ足動物の場合には、胴体の後方において端部寄りの位置となる。また、足の状態が折り畳むように曲げられているような場合には、足位置の判定が困難になる場合もある(
図3のステップS207,ステップS217)。そこで、足位置の判定は、例えば胴体の下方にあって、輪郭が連続的に繋がっている部分があれば足であると判定される(
図15の矢印Fの部位)。ここで、特定の部位(足や腰の位置等)の判定は、例えば判定できる部分からの位置の差や、輪郭や色、コントラストなど画像の解析によって判定を行う。
【0121】
以上説明したように上記一実施形態によれば、本実施形態のカメラ1は、例えば鳥類,犬猫等の小型動物等の動体を被写体として動画撮影を行っている際に、被写体が静止状態もしくは動作の緩慢な通常状態にあるとき(以下、単に通常動作状態という)には通常の撮影設定によって通常撮影動作を実行する。その通常撮影動作の実行中においては、順次取得される画像データに基いて、撮影対象としている被写体の動作を常時モニターし、撮影対象の被写体の動き予測を行う。そして、撮影中の被写体が、急激な動作に移行する際の動きを検出すると、動作の速い被写体を撮影するのに適した設定(例えばフレームレートの高速化を始め、感度や絞りの変更など、それに伴う撮影パラメータの変更等)となるように、カメラ1の設定を自動的に切り換えて、撮影動作を継続する。また、動作変化に対応させて、撮影範囲の変更を行うようにする。
【0122】
これによれば、動画撮影動作の実行中に、被写体の動きをモニターして、その動きを予測し、被写体の動く速さに応じて撮影設定を切り換えて撮影を行う。したがって、こうして取得された動画像は、その再生時において一時停止したとしても被写体ぶれのない高画質の静止画像として鑑賞できる。また、動画像の中から所望の一画像を静止画像として抽出記録しても、通常の静止画像と遜色のない高画質の静止画像を取得することができる。さらに、設定したズーム値による画像のほかに、装着されたズームレンズによる最広角端に設定した画像を同時に記録するようにしており、静止画像を抽出する際には最広角端での記録画像に基いて行うようにして、被写体が画面からはみ出すような画像とはならない。
【0123】
なお、上記一実施形態においては、主要被写体として人間以外の生物,動物等、具体的には鳥類若しくは猫等の動作を例示して説明しているが、人間自体を動作対象としても同様に適用できる。
【0124】
また、上記一実施形態においては、
図2の処理シーケンスにて人間以外の生物,動物等を検出した後に、レンズ部15の光学的広角化処理を行って第2画像データを取得するように構成している。これに対し、レンズ部15の光学的広角化処理は、例えば鳥類若しくは猫等の撮影を主目的とする動作モードを用意し、その動作モードに設定したときに、レンズ部15の光学的広角化処理を実行して第2画像データの取得を行うと共に、直前のズーム設定値若しくは当該動作モード設定後に任意に操作指示されたズーム値に対応する第1画像データの切り出し生成処理を行うようにしてもよい。
【0125】
上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。
【0126】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。