(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0013】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
【0014】
図1に示すように、撮像装置100は、具体的には、撮像部1と、ユニット回路部2と、手ぶれ量検出部3と、手ぶれ補正部4と、撮像処理部5と、画像記録部6と、表示制御部7と、表示部8と、メモリ9と、操作入力部10と、中央制御部11とを備えている。
また、撮像部1、ユニット回路部2、手ぶれ量検出部3、手ぶれ補正部4、撮像処理部5、画像記録部6、表示制御部7、メモリ9及び中央制御部11は、バスライン12を介して接続されている。
【0015】
撮像部(撮像手段)1は、所定の被写体を撮像してフレーム画像を生成する。具体的には、撮像部1は、光学素子1aと、撮像素子1bと、撮像制御部1cとを具備している。
【0016】
光学素子1aは、例えば、ズームレンズやフォーカスレンズや絞り等から構成され、被写体の光学像を結像する。
撮像素子1bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサ等から構成されている。
撮像制御部1cは、例えば、タイミング発生器やドライバにより撮像素子1bを走査駆動して、光学素子1aを通過した光学像を撮像素子1bにより所定周期毎に二次元の画像信号(RGBデータ)に変換させ、当該撮像素子1bの撮像領域A(
図4(a)等参照)から1画面分ずつフレーム画像を読み出してユニット回路部2に出力させる。
また、撮像制御部1cは、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体を撮像する際の条件の調整制御を行っても良い。
【0017】
ユニット回路部2は、例えば、図示は省略するが、CDS(Correlated Double Sampling)、AGC(Auto Gain Control)、ADC(Analog to Digital Converter)等を具備している。そして、ユニット回路部2は、撮像素子1bから出力されて入力される被写体の光学像に応じたアナログの画像信号をCDSにより保持し、当該画像信号をAGCにより増幅した後、増幅された画像信号をADCによりデジタルの画像信号に変換する。
また、ユニット回路部2は、A/D変換後の画像信号に対して、画素毎のR,G,Bの色成分データ(RGBデータ)を生成するRGB補間処理、RGBデータから輝度信号(Y)と色差信号(U、V)からなるYUVデータを画素毎に生成するYUV変換処理等を行う。
【0018】
手ぶれ量検出部(検出手段)3は、撮像部1による被写体の撮像の際の手ぶれ量を検出する。具体的には、手ぶれ量検出部3は、例えば、角速度センサ等により構成され、手ぶれ量を所定の時間間隔で逐次検出し、検出された手ぶれ量に係る手ぶれ量データを手ぶれ補正部4及び撮像処理部5に出力する。
【0019】
手ぶれ補正部(補正手段)4は、手ぶれ補正を行う。
即ち、手ぶれ補正部4は、光学素子1a及び撮像素子1bのうち、一方(例えば、撮像素子1b等)を他方(例えば、光学素子1a等)に対して相対的に光軸方向に略直交する方向に移動させる光学式手ぶれ補正を行う。具体的には、手ぶれ補正部4は、手ぶれ量検出部3から出力された手ぶれ量データが入力されると、当該手ぶれ量に応じて手ぶれ補正量(例えば、撮像素子1bを搭載するステージの駆動に必要な電流値や通電時間等)を算出し、算出された手ぶれ補正量に基づいて撮像素子1bの駆動に係る駆動制御信号を決定する。そして、手ぶれ補正部4は、決定された制御信号に従って撮像素子1bの駆動を制御して当該撮像素子1bを光軸方向に略直交する方向に移動させる。
このとき、手ぶれ補正部4は、手ぶれ量検出部3により検出される手ぶれ量が相対的に大きくなるほど手ぶれ補正処理の強度を強くするように撮像素子1bの駆動を制御する。ここで、手ぶれ量が大きいとは、一方向への動き(手ぶれ)が継続して行われ、且つ、単位時間当たりの動き量が所定値よりも大きいことをいう。
手ぶれ量が相対的に小さい状況では、撮像素子1bの動作範囲が狭いため、当該撮像素子1bの撮像領域Aが光学素子1aの中央部付近に位置した状態となる(
図4(a)参照)。一方、手ぶれ量が相対的に大きくなると撮像素子1bの動作範囲がより広くなるため、当該撮像素子1bの撮像領域Aが光学素子1aの周辺部に近付いた状態となる(
図4(b)参照)。
【0020】
撮像処理部5は、劣化低減処理部5aと、手ぶれ判定部5bと、重要度特定部5cと、重要度判定部5dと、第1動作制御部5eとを具備している。
なお、撮像処理部5の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【0021】
劣化低減処理部(劣化低減手段)5aは、画像情報の劣化を低減させる劣化低減処理を行う。
即ち、劣化低減処理部5aは、撮像部1による被写体の撮像によりユニット回路部2により生成された画像情報(例えば、RGBデータやYUVデータ等)に所定の劣化低減処理を施して、当該画像情報の劣化を低減させる。
即ち、光学素子1aの周辺部を通過することで結像された周辺光学像に歪みや色ズレ等の劣化が生じ易くなることから、劣化低減処理は、画像情報の劣化を低減する画像処理を含む。ここで、光学素子1aの周辺部とは、例えば、光学素子1aのイメージサークルC(
図4(a)等参照)の中で、中心からの距離が半径の長さの所定の割合以上離れている領域に対応する領域のことを言う。なお、
図4(a)〜
図5(b)には、イメージサークルCのうち、光学素子1aの周辺部に対応する領域にドットを付して模式的に表している。
具体的には、劣化低減処理としては、例えば、画像情報に対する歪曲補正処理や、画像情報に対するトリミング処理等が挙げられる。
【0022】
歪曲補正処理は、画像に生じる光学素子1aの歪曲収差、特に、光学素子1aの周辺部により結像された光学像の歪曲収差を補正する処理である。この歪曲補正処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【0023】
トリミング処理は、撮像画像の一部分を切り出す処理であり、具体的には、画像情報のうち、光学素子1aの周辺部により結像された光学像に対応する部分を削除して一部分(残りの部分)を切り出す処理である。
このトリミング処理は、例えば、画像情報の縦横比を維持したまま行われても良いし、縦横比を変更して新たな縦横比で画像の一部分の切り出しが行われても良い。具体的には、例えば、画像情報の縦横比を維持する場合、劣化低減処理部5aは、撮像領域Aの中で光学素子1aの周辺部を通過した光学像を結像する周辺部撮像領域A1の縁部と交わる交点を通るように互いに略直交し、且つ、トリミング前の画像情報の縦横比と略等しい比率の二本の線を引き、これら二本の線を基準としてトリミングの前後で縦横比が同じとなるトリミング領域Tを設定して切り出しを行う(
図5(a)参照)。また、例えば、画像情報の縦横比を変更する場合、劣化低減処理部5aは、撮像領域Aの周辺部撮像領域A1の縁部と交わる何れか一の辺との交点を通るように当該一の辺と略直交する線を引くことでトリミング領域Tを設定して切り出しを行う(
図5(b)参照)。
なお、上記したトリミング処理は、一例であってこれらに限られるものではなく、適宜任意に変更可能である。
【0024】
手ぶれ判定部(第1判定手段)5bは、手ぶれ量が所定の判定値よりも大きいか否かを判定する。
即ち、手ぶれ判定部5bは、手ぶれ量検出部3により検出された手ぶれ量が所定の判定値よりも大きいか否かを判定する。この判定値は、例えば、光学素子1aのイメージサークルCの周辺部までの距離を基準として規定されている。つまり、例えば、手ぶれ補正処理にて、光学素子1aのイメージサークルCの周辺部を通過した光が撮像素子1bの撮像領域A(周辺部撮像領域A1)に結像される位置まで当該撮像素子1bを移動させる必要がある場合、手ぶれ判定部5bは、手ぶれ量検出部3から出力されて入力された手ぶれ量データに基づいて、手ぶれ量が所定の判定値よりも大きいと判定する。
【0025】
重要度特定部(特定手段)5cは、画像情報のうちの端部分の情報の重要度を特定する。
即ち、重要度特定部5cは、手ぶれ判定部5bにより手ぶれ量が所定の判定値よりも大きいと判定された場合に、ユニット回路部2により生成される画像情報のうちの端部分の情報の重要度を特定する。
ここで、画像情報のうちの端部分の情報は、手ぶれ補正処理により光学素子1aのイメージサークルCの周辺部を通過した光が結像される撮像素子1bの撮像領域Aの端部分(周辺部撮像領域A1)により光電変換された画像情報を含む。
また、端部分の情報の重要度とは、画像情報全体に対する端部分の情報の相対的な意味での重要度や、当該端部分の情報の絶対的な意味での重要度を含む。また、端部分の情報の重要度は、画像情報の端部分における光学像の合焦度合い、端部分の情報の画像情報全体に対する明るさの度合い、端部分のコントラスト情報、画像情報内での被写体の相対的な位置、撮像処理における被写体を撮像するモードのうち、少なくとも何れか一に基づいて、所定の演算が行われることで数値化される。
例えば、重要度特定部5cは、撮像部1の測距位置や焦点距離や絞り値等から画像情報の端部分における光学像の合焦度合い(ボケ度合い)を特定して、端部分の光学像の合焦度合いに基づいて端部分の情報の重要度を数値化する。また、例えば、重要度特定部5cは、ユニット回路部2により生成された画像情報に基づいて、当該画像情報全体に対する端部分の明るさの度合い(明るいか暗いか等)を特定して、明るさの度合いに基づいて端部分の情報の重要度を数値化する。また、例えば、重要度特定部5cは、ユニット回路部2により生成された画像情報に基づいて、当該画像情報の端部分の画素値のコントラスト情報(画像の内容の複雑さ等)を特定して、コントラスト情報に基づいて端部分の情報の重要度を数値化する。また、例えば、重要度特定部5cは、ユニット回路部2により生成された画像情報に対して所定の被写体抽出処理を施して当該画像情報内で被写体の存する位置(例えば、中央よりの位置等)を特定して、被写体の存する位置に基づいて端部分の情報の重要度を数値化する。また、例えば、重要度特定部5cは、ユーザにより設定された被写体を撮像するモード(例えば、ポートレートモード等)の情報を取得して、撮像するモードに基づいて端部分の情報の重要度を数値化する。
なお、重要度特定部5cは、端部分の情報の重要度を数値化して特定する場合に、上記した複数の手法のうち、何れか一を用いても良いし、所定数を組み合わせて用いても良い。
【0026】
重要度判定部(第2判定手段)5dは、画像情報のうちの端部分の情報の重要度が所定の判定値よりも高いか否かを判定する。
即ち、重要度判定部5dは、重要度特定部5cにより特定された画像情報の端部分の情報の重要度が所定の判定値よりも高いか否かを判定する。この判定値は、例えば、仮にユーザが視認すると想定した際の当該画像情報の端部分の視認に対する影響度合いを基準として規定されている。つまり、例えば、画像をユーザが視認した際に端部分を注視するような内容(例えば、被写体が存していたり、ピントがあっている等)であったり、明るさや色が目立つような内容であった場合、重要度判定部5dは、重要度特定部5cにより特定された端部分の情報の重要度が所定の判定値よりも高いと判定する。
【0027】
第1動作制御部(制御手段)5eは、被写体の撮像処理にて劣化低減処理部5aの実行を制御する。
即ち、第1動作制御部5eは、重要度判定部5dにより画像情報のうちの端部分の情報の重要度が所定の判定値よりも高いと判定された場合に、劣化低減処理部5aに劣化低減処理を実行させる一方で、端部分の情報の重要度が所定の判定値よりも高くないと判定された場合に、劣化低減処理部5aによる劣化低減処理の実行を禁止させる。具体的には、手ぶれ量が所定の判定値よりも大きい場合、つまり、手ぶれ補正処理にて光学素子1aのイメージサークルCの周辺部を通過した光を撮像領域Aに結像させるように撮像素子1bを移動させる必要がある場合、第1動作制御部5eは、画像情報のうちの端部分の情報の重要度に応じて、劣化低減処理部5aにより劣化低減処理を実行させるか否かを制御する。
また、第1動作制御部5eは、被写体の撮像処理にて、手ぶれ判定部5bにより手ぶれ量が所定の判定値よりも大きくないと判定された場合に、劣化低減処理部5aによる劣化低減処理の実行を禁止させる。即ち、手ぶれ補正処理にて光学素子1aのイメージサークルCの周辺部を通過した光を撮像領域Aに結像させる位置まで撮像素子1bを移動させる必要がない場合、第1動作制御部5eは、撮像後の処理に時間のかかる高負荷の劣化低減処理の実行を禁止させる。
【0028】
画像記録部6は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成され、符号化部(図示略)により所定の圧縮形式(例えば、JPEG形式等)で符号化された記録用の画像データを記録する。
なお、画像記録部6は、例えば、記録媒体(図示略)が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。
【0029】
表示制御部7は、メモリ9に一時的に記憶されている表示用の画像データを読み出して表示部8に表示させる制御を行う。
具体的には、表示制御部7は、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている(何れも図示略)。そして、デジタルビデオエンコーダは、中央制御部11の制御下にてメモリ9から読み出されてVRAMに記録されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部8に出力する。
【0030】
表示部8は、例えば、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)等のディスプレイから構成され、表示制御部7からのビデオ信号に基づいて撮像部1により撮像された画像などを表示画面に表示する。具体的には、表示部8は、静止画撮像モードや動画撮像モードにて、撮像部1による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。
【0031】
メモリ9は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部11等によって処理されるデータ等を一時的に記憶する。
【0032】
操作入力部10は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部10は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定用ボタン、ズーム量の調整指示に係るズームボタン等を備え(何れも図示略)、これらのボタンの操作に応じて所定の操作信号を中央制御部11に出力する。
【0033】
中央制御部11は、撮像装置100の各部を制御するものである。具体的には、中央制御部11は、図示は省略するが、CPU(Central Processing Unit)等を備え、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
【0034】
<撮像処理>
次に、撮像装置100により被写体を撮像する場合に実行される撮像処理について、
図2〜
図5を参照して説明する。
図2は、撮像処理に係る動作の一例を示すフローチャートである。
【0035】
撮像処理は、ユーザによる操作入力部10の所定操作に基づいて、表示部8に表示されたメニュー画面内の複数のモードの中から、例えば、静止画撮像モードが選択指定された場合に、中央制御部11の制御下にて当該撮像装置100の各部により実行される処理である。
【0036】
図2に示すように、先ず、中央制御部11のCPUは、メモリ9に記憶されている各種フラグなどを初期化(イニシャライズ)し(ステップS1)、その後、ユーザによる操作入力部10のシャッタボタンの半押し操作に対応する操作信号が入力されたか否かを判定する(ステップS2)。
【0037】
ステップS2にて、半押し操作に対応する操作信号が入力されたと判定されると(ステップS2;YES)、中央制御部11のCPUは、撮像制御部1cに自動合焦処理及び自動露出調整処理を実行させる(ステップS3)。
なお、自動合焦処理及び自動露出調整処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【0038】
次に、中央制御部11のCPUは、ユーザによる操作入力部10のシャッタボタンの全押し操作に対応する操作信号が入力されたか否かを判定する(ステップS4)。
ここで、全押し操作に対応する操作信号が入力されたと判定されると(ステップS4;YES)、中央制御部11のCPUは、手ぶれ量検出部3に手ぶれ量を所定の時間間隔で検出させる(ステップS5)。手ぶれ量検出部3は、検出された手ぶれ量に係る手ぶれ量データを手ぶれ補正部4及び撮像処理部5に出力する。
続けて、中央制御部11のCPUは、撮像処理部5に判定処理(
図3参照)を実行させる(ステップS6)。
【0039】
<判定処理>
以下に、判定処理について
図3を参照して詳細に説明する。
ここで、
図3は、判定処理に係る動作の一例を示すフローチャートである。
【0040】
図3に示すように、手ぶれ判定部5bは、手ぶれ量検出部3から出力されて入力された手ぶれ量データに基づいて、手ぶれ量が所定の判定値よりも大きいか否かを判定する(ステップS21)。
ここで、手ぶれ量が所定の判定値よりも大きいと判定されると(ステップS21;YES)、重要度特定部5cは、手ぶれ補正処理にて撮像素子1bを移動させると光学素子1aのイメージサークルCの周辺部を通過した光が結像される撮像領域Aの端部分(周辺部撮像領域A1)を特定して(ステップS22)、ユニット回路部2により生成される画像情報のうち、特定された周辺部撮像領域A1に対応する情報の重要度を特定する(ステップS23)。具体的には、重要度特定部5cは、例えば、画像情報の端部分における光学像の合焦度合い、端部分の情報の画像情報全体に対する明るさの度合い、前記端部分のコントラスト情報、前記画像情報内での被写体の相対的な位置、前記撮像処理における被写体を撮像するモード等に基づいて、所定の演算を行って画像情報における端部分の情報の重要度を数値化して特定する。
【0041】
次に、重要度判定部5dは、重要度特定部5cにより特定された画像情報の端部分の情報の重要度が所定の判定値よりも高いか否かを判定する(ステップS24)。
ここで、端部分の情報の重要度が所定の判定値よりも高いと判定されると(ステップS24;YES)、第1動作制御部5eは、フラグに「1」をセットし(ステップS25)、一方、端部分の情報の重要度が所定の判定値よりも高くないと判定されると(ステップS24;NO)、第1動作制御部5eは、フラグに「0」をセットする(ステップS26)。
これにより、判定処理を終了する。
【0042】
図2に戻り、第1動作制御部5eは、判定処理にてセットされたフラグに応じて処理を分岐させる(ステップS7)。
具体的には、フラグに「0」がセットされている場合(ステップS7;「0」)、第1動作制御部5eは、劣化低減処理部5aによる劣化低減処理の実行を禁止させ、手ぶれ補正部4により光学式手ぶれ補正が行われた状態で撮像部1により被写体の撮像を通常通り行わせて、被写体の画像情報を生成させる(ステップS8)。
また、フラグに「1」がセットされている場合(ステップS7;「1」)、第1動作制御部5eは、手ぶれ補正部4により光学式手ぶれ補正が行われた状態で撮像部1により被写体の撮像を行わせた後、劣化低減処理部5aにより劣化低減処理を実行させる(ステップS9)。即ち、被写体の撮像後に、劣化低減処理部5aは、画像情報の劣化を低減する劣化低減処理(例えば、歪曲補正処理やトリミング処理等)を画像情報に施す。
【0043】
被写体の撮像後、画像記録部6は、符号化部により所定の圧縮形式で符号化された記録用の画像データを取得して記録する(ステップS10)。
その後、中央制御部11のCPUは、例えば、ユーザによる操作入力部10の所定操作に基づいて行われる撮像モードの選択指定等の各種処理(その他の処理)を実行した後(ステップS11)、処理をステップS2に戻す。また、ステップS2にて、半押し操作に対応する操作信号が入力されていないと判定されるか(ステップS2;NO)、或いは、ステップS4にて、全押し操作に対応する操作信号が入力されていないと判定された場合(ステップS4;NO)にも、中央制御部11のCPUは、処理をステップS11に移行して、それ以降の各種処理の実行を制御する。
【0044】
以上のように、本実施形態の手ぶれ補正を行う撮像装置100によれば、被写体の撮像の際の手ぶれ量が所定の判定値よりも大きいと判定された場合に、画像情報のうちの端部分の情報の重要度が所定の判定値よりも高いか否かを判定し、画像情報のうちの端部分の情報の重要度が所定値よりも高いと判定された場合に、被写体の撮像処理にて、画像情報の劣化を低減させる劣化低減処理(例えば、歪曲補正処理やトリミング処理等)を実行させる一方で、画像情報のうちの端部分の情報の重要度が所定値よりも高くないと判定された場合に、被写体の撮像処理にて、劣化低減処理の実行を禁止させるので、相対的に大きな手ぶれを補正する際に、画像情報のうちの端部分の情報の重要度を考慮して劣化低減処理を実行させるか否かを制御することができる。即ち、手ぶれ補正処理にて相対的に大きな手ぶれを補正するために、例えば、光学素子1aのイメージサークルCの周辺部を通過した光を撮像領域A(周辺部撮像領域A1)に結像させるように撮像素子1bを移動させる必要がある場合、光学素子1aの周辺部を通過することで結像された周辺光学像に歪みや色ズレ等の劣化が生じ易くなるが、画像情報のうちの端部分の情報の重要度を考慮することで、撮像後の処理に時間のかかる高負荷の劣化低減処理を実行させるか否かを制御することができる。
これにより、手ぶれ補正処理にて相対的に大きな手ぶれを補正する際に、必ずしも高負荷の劣化低減処理を実行する必要がなくなり、当該劣化低減処理の実行に起因する連続撮像速度や連続撮像可能枚数の低下といった撮像動作に対する影響の軽減を図ることができる。
【0045】
また、画像情報の端部分における光学像の合焦度合い、端部分の情報の画像情報全体に対する明るさの度合い、端部分のコントラスト情報、画像情報内での被写体の相対的な位置、撮像処理における被写体を撮像するモードのうち、少なくとも何れか一に基づいて、端部分の情報の重要度を特定するので、画像情報全体に対する端部分の情報の相対的な意味での重要度や当該端部分の情報の絶対的な意味での重要度等を特定することができる。この結果、画像情報のうちの端部分の情報の重要度が所定値よりも高いか否かの判定を、画像情報をユーザが仮に視認すると想定した際の当該画像情報の端部分の視認に対する影響度合いを考慮して適正に行うことができる。
【0046】
さらに、手ぶれ量が所定値よりも大きくないと判定された場合に、被写体の撮像処理にて、劣化低減処理の実行を禁止させるので、手ぶれ補正処理にて光学素子1aのイメージサークルCの周辺部を通過した光を撮像領域A(周辺部撮像領域A1)に結像させる位置まで撮像素子1bを移動させる必要がない場合には、撮像後の処理に時間のかかる高負荷の劣化低減処理の実行を禁止させることができる。
【0047】
また、劣化低減処理として、画像情報のうち、光学素子1aの周辺部により結像された光学像に対応する部分を削除するような当該画像情報に対するトリミング処理を行う場合に、画像情報の縦横比を変更してトリミング処理することができるので、画像情報の中で光学素子1aの周辺部により結像された光学像に対応する部分の削除を適正に行うことができる。即ち、画像情報の縦横比を変更せずにトリミング処理すると(
図5(a)参照)、画像情報の中で主要な被写体が存する確率の高い画像部分(例えば、撮像領域Aの光学素子1aの周辺部と反対側にて光電変換された画像部分等)まで削除してしまうが、画像情報の縦横比を変更してトリミング処理することで(
図5(b)参照)、画像情報の中で光学素子1aの周辺部により結像された光学像に対応する部分を含む最小限の領域を削除すればよくなり、画像情報から主要な被写体が削除される可能性を低下させることができる。
【0048】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、第1動作制御部5eは、被写体の撮像処理にて、重要度判定部5dにより画像情報のうちの端部分の情報の重要度が所定の判定値よりも高いと判定されると、撮像部1による被写体の撮像動作を制限するようにしても良い(
図6;ステップS19参照)。具体的には、第1動作制御部5eは、重要度判定部5dにより画像情報のうちの端部分の情報の重要度が所定の判定値よりも高いと判定された場合に、撮像部1による被写体の撮像動作を制限する一方で、端部分の情報の重要度が所定の判定値よりも高くないと判定された場合に、撮像部1による被写体の撮像動作を制限しないようになっている。つまり、手ぶれ補正処理にて光学素子1aのイメージサークルCの周辺部を通過した光を撮像領域Aに結像させるように撮像素子1bを移動させる必要がある場合、第1動作制御部5eは、画像情報のうちの端部分の情報の重要度を考慮して撮像動作を実行させるか否か、即ち、撮像動作を制限するか否かを制御する。
ここで、撮像部1による被写体の撮像動作の制限としては、例えば、手ぶれが収まるまで撮像素子1bによる光学像の光電変換の禁止、像劣化が生じない程度に手ぶれ補正の際の撮像素子1bの動作範囲の制限等が挙げられる。
【0049】
図6は、撮像処理の変形例に係る動作の一例を示すフローチャートである。
以下に説明する撮像処理の変形例は、ステップS19以外の各処理は、上記した
図2に示す撮像処理と略同様であり、その詳細な説明は省略する。
図6に示すように、ステップS7にて、フラグに「1」がセットされている場合(ステップS7;「1」)、第1動作制御部5eは、撮像部1による被写体の撮像動作を制限する(ステップS19)。具体的には、第1動作制御部5eは、撮像素子1bによる光学像の光電変換を禁止する。これにより、被写体を撮像した画像情報が生成されることがなくなるので、中央制御部11のCPUは、ステップS10をスキップして、その他の処理を実行した後(ステップS11)、処理をステップS2に戻す。
なお、この撮像処理の変形例では、必ずしも画像情報の劣化を低減させる劣化低減処理を実行させる必要がないため、撮像装置100が劣化低減処理部5aを具備するか否かは適宜任意に変更可能である。
【0050】
従って、手ぶれ補正処理にて相対的に大きな手ぶれを補正する際に、必ず撮像動作を制限するのではなく、少なくとも端部分の情報の重要度が所定値よりも高くないと判定された場合には通常通り被写体の撮像を行うことができるので、撮像動作が制限されて、例えば、撮像が禁止されたりぶれの残った画像が撮像されてしまうといった撮像動作に対する影響の軽減を図ることができる。
【0051】
また、上記実施形態にあっては、光学式手ぶれ補正として、撮像素子1bを光学素子1aに対して光軸方向に略直交する方向に移動させる構成を例示したが、手ぶれ補正機構の構成はこれに限られるものではなく、光学素子(特に、手ぶれ補正用レンズ等)1aを撮像素子1bに対して移動させるような構成であっても良いし、光学素子1a及び撮像素子1bの両方を移動させるような構成であっても良い。
【0052】
加えて、上記実施形態では、光学式手ぶれ補正を行う撮像装置100を例示して説明したが、手ぶれ補正の種類は一例であってこれに限られるものではなく、例えば、撮像素子1bの撮像領域Aにおける画像の切り出し領域(有効画素領域)の位置を変化させる電子式手ぶれ補正であっても良い。この場合、例えば、撮像領域A内での有効画素領域の基準位置(例えば、中心)に対する変位量に応じて手ぶれ量が所定の判定値よりも大きいか否かを判定するようにしても良い。また、例えば、有効画素領域の端部分により光電変換された画像情報の重要度を特定して、所定の判定値よりも高いか否かを判定するようにしても良い。
【0053】
さらに、上記実施形態では、手ぶれ判定部5bにより手ぶれ量が所定の判定値よりも大きくないと判定された場合に、劣化低減処理の実行を禁止させるようにしたが、一例であってこれに限られるものではなく、必ずしも劣化低減処理の実行を禁止させる必要はない。
【0054】
また、撮像装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
【0055】
加えて、上記実施形態にあっては、劣化低減手段、検出手段、第1判定手段、特定手段、第2判定手段、制御手段としての機能を、中央制御部11の制御下にて、劣化低減処理部5a、手ぶれ量検出部3、手ぶれ判定部5b、重要度特定部5c、重要度判定部5d、第1動作制御部5eが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部11のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、劣化低減処理ルーチン、検出処理ルーチン、第1判定処理ルーチン、特定処理ルーチン、第2判定処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、劣化低減処理ルーチンにより中央制御部11のCPUを、画像情報の劣化を低減させる劣化低減処理を行う手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部11のCPUを、撮像部1による被写体の撮像の際の手ぶれ量を検出する手段として機能させるようにしても良い。また、第1判定処理ルーチンにより中央制御部11のCPUを、検出された手ぶれ量が所定値よりも大きいか否かを判定する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部11のCPUを、手ぶれ量が所定値よりも大きいと判定された場合に、画像情報のうちの端部分の情報の重要度を特定する手段として機能させるようにしても良い。また、第2判定処理ルーチンにより中央制御部11のCPUを、特定された端部分の情報の重要度が所定値よりも高いか否かを判定する手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部11のCPUを、端部分の情報の重要度が所定値よりも高いと判定された場合に、被写体の撮像処理にて、劣化低減処理を実行させる一方で、端部分の情報の重要度が所定値よりも高くないと判定された場合に、被写体の撮像処理にて、劣化低減処理の実行を禁止させる手段として機能させるようにしても良い。
【0056】
<変形例1>
以下に、変形例1の撮像装置200について
図7及び
図8を参照して説明する。
図7は、変形例1の撮像装置200の概略構成を示すブロック図である。
なお、撮像装置200は、撮像処理部5の構成が上記実施形態の撮像装置100と異なる以外の点は上記撮像装置100と略同様であり、その詳細な説明は省略する。
【0057】
図7に示すように、撮像装置200の撮像処理部5は、劣化低減処理部5aと、手ぶれ判定部5bと、第2動作制御部5fとを具備している。
【0058】
第2動作制御部(制御手段)5fは、被写体の撮像処理にて、手ぶれ判定部5bにより手ぶれ量が所定の判定値よりも大きいと判定された場合に、劣化低減処理部5aに劣化低減処理を実行させる一方で、手ぶれ量が所定値よりも大きくないと判定された場合に、劣化低減処理部5aによる劣化低減処理の実行を禁止させる。即ち、第2動作制御部5fは、上記実施形態の撮像装置100の第1動作制御部5eのように、画像情報のうちの端部分の情報の重要度を考慮することなく、手ぶれ量検出部3により検出された手ぶれ量に応じて、劣化低減処理部5aにより劣化低減処理を実行させるか否かを制御する。
【0059】
なお、劣化低減処理部5a及び手ぶれ判定部5bは、上記実施形態の撮像装置100に備わるものと略同様であり、その詳細な説明は省略する。
【0060】
<判定処理>
以下に、撮像装置200による撮像処理にて行われる判定処理について
図8を参照して説明する。
なお、撮像装置200による撮像処理は、判定処理の内容が上記実施形態の撮像装置100と異なる以外の点は上記撮像装置100と略同様であり、その詳細な説明は省略する。
【0061】
図8に示すように、手ぶれ判定部5bは、手ぶれ量検出部3から出力されて入力された手ぶれ量データに基づいて、手ぶれ量が所定の判定値よりも大きいか否かを判定する(ステップS31)。
ここで、手ぶれ量が所定の判定値よりも大きいと判定されると(ステップS31;YES)、第2動作制御部5fは、フラグに「1」をセットし(ステップS32)、一方、手ぶれ量が所定の判定値よりも大きくないと判定されると(ステップS31;NO)、第2動作制御部5fは、フラグに「0」をセットする(ステップS33)。
これにより、判定処理を終了する。
【0062】
その後、撮像処理にて、第2動作制御部5fは、判定処理にてセットされたフラグに応じて処理を分岐させる(ステップS7;
図2参照)。
具体的には、フラグに「0」がセットされている場合(ステップS7;「0」)、第2動作制御部5fは、劣化低減処理部5aによる劣化低減処理の実行を禁止させ、手ぶれ補正部4により光学式手ぶれ補正が行われた状態で撮像部1により被写体の撮像を通常通り行わせて、被写体の画像情報を生成させる(ステップS8)。
また、フラグに「1」がセットされている場合(ステップS7;「1」)、第2動作制御部5fは、手ぶれ補正部4により光学式手ぶれ補正が行われた状態で撮像部1により被写体の撮像を行わせた後、劣化低減処理部5aにより劣化低減処理を実行させる(ステップS9)。即ち、被写体の撮像後に、劣化低減処理部5aは、画像情報の劣化を低減する劣化低減処理(例えば、歪曲補正処理やトリミング処理等)を画像情報に施す。
【0063】
従って、変形例1の撮像装置200によれば、相対的に大きな手ぶれを補正する際に、手ぶれ量検出部3により検出された手ぶれ量に応じて、劣化低減処理部5aにより劣化低減処理を実行させるか否かを制御することができる。
【0064】
なお、変形例1では、
図2に示す撮像処理を例示して説明したが、例えば、
図6に示すように、画像情報のうちの端部分の情報の重要度に応じて撮像動作を制限する撮像処理に適用しても良い。
【0065】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
【0066】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
被写体を撮像して画像情報を生成する撮像手段と、
被写体の撮像処理にて、手ぶれ補正を行う補正手段と、
前記画像情報の劣化を低減させる劣化低減処理を行う劣化低減手段と、
前記撮像手段による被写体の撮像の際の手ぶれ量を検出する検出手段と、
前記検出手段により検出された手ぶれ量が所定値よりも大きいか否かを判定する第1判定手段と、
前記第1判定手段により前記手ぶれ量が所定値よりも大きいと判定された場合に、前記画像情報のうちの端部分の情報の重要度を特定する特定手段と、
前記特定手段により特定された前記端部分の情報の重要度が所定値よりも高いか否かを判定する第2判定手段と、
被写体の撮像処理にて、前記第2判定手段により前記端部分の情報の重要度が所定値よりも高いと判定された場合に、前記劣化低減手段に前記劣化低減処理を実行させる一方で、前記端部分の情報の重要度が所定値よりも高くないと判定された場合に、前記劣化低減手段による前記劣化低減処理の実行を禁止させる制御手段と、
を備えたことを特徴とする撮像装置。
<請求項2>
前記特定手段は、更に、
前記端部分における光学像の合焦度合い、前記端部分の情報の画像情報全体に対する明るさの度合い、前記端部分のコントラスト情報、前記画像情報内での被写体の相対的な位置、前記撮像処理における被写体を撮像するモードのうち、少なくとも何れか一に基づいて、前記端部分の情報の重要度を特定することを特徴とする請求項1に記載の撮像装置。
<請求項3>
前記劣化低減処理は、前記画像情報に対する歪曲補正処理を含むことを特徴とする請求項1又は2に記載の撮像装置。
<請求項4>
前記撮像手段は、更に、被写体の光学像を結像する光学素子を有し、
前記劣化低減処理は、前記画像情報のうち、前記光学素子の周辺部により結像された光学像に対応する部分を削除するような当該画像情報に対するトリミング処理を含むことを特徴とする請求項1又は2に記載の撮像装置。
<請求項5>
前記トリミング処理は、更に、
前記画像情報の前記光学像に対応する部分を削除して当該画像情報の縦横比を変更する処理を含むことを特徴とする請求項4に記載の撮像装置。
<請求項6>
前記制御手段は、更に、
被写体の撮像処理にて、前記第1判定手段により前記手ぶれ量が所定値よりも大きくないと判定された場合に、前記劣化低減手段による前記劣化低減処理の実行を禁止させることを特徴とする請求項1〜5の何れか一項に記載の撮像装置。
<請求項7>
被写体を撮像して画像情報を生成する撮像手段と、
被写体の撮像処理にて、手ぶれ補正を行う補正手段と、
前記撮像手段により生成される画像情報の劣化を低減させる劣化低減処理を行う劣化低減手段と、
前記撮像手段による被写体の撮像の際の手ぶれ量を検出する検出手段と、
前記検出手段により検出された手ぶれ量が所定値よりも大きいか否かを判定する判定手段と、
被写体の撮像処理にて、前記判定手段により前記手ぶれ量が所定値よりも大きいと判定された場合に、前記劣化低減手段に前記劣化低減処理を実行させる一方で、前記手ぶれ量が所定値よりも大きくないと判定された場合に、前記劣化低減手段による前記劣化低減処理の実行を禁止させる制御手段と、
を備えたことを特徴とする撮像装置。
<請求項8>
被写体を撮像して画像情報を生成する撮像手段と、
被写体の撮像処理にて、手ぶれ補正を行う補正手段と、
前記撮像手段による被写体の撮像の際の手ぶれ量を検出する検出手段と、
前記検出手段により検出された手ぶれ量が所定値よりも大きいか否かを判定する第1判定手段と、
前記第1判定手段により前記手ぶれ量が所定値よりも大きいと判定された場合に、前記画像情報のうちの端部分の情報の重要度を特定する特定手段と、
前記特定手段により特定された前記端部分の情報の重要度が所定値よりも高いか否かを判定する第2判定手段と、
被写体の撮像処理にて、前記第2判定手段により前記端部分の情報の重要度が所定値よりも高いと判定された場合に、前記撮像手段による被写体の撮像動作を制限する一方で、前記端部分の情報の重要度が所定値よりも高くないと判定された場合に、前記撮像手段による被写体の撮像動作を制限しない制御手段と、
を備えたことを特徴とする撮像装置。
<請求項9>
被写体を撮像して画像情報を生成する撮像手段と、被写体の撮像処理にて、手ぶれ補正を行う補正手段とを備える撮像装置を用いた撮像方法であって、
前記画像情報の劣化を低減させる劣化低減処理を行うステップと、
前記撮像手段による被写体の撮像の際の手ぶれ量を検出するステップと、
検出された手ぶれ量が所定値よりも大きいか否かを判定するステップと、
前記手ぶれ量が所定値よりも大きいと判定された場合に、前記画像情報のうちの端部分の情報の重要度を特定するステップと、
特定された前記端部分の情報の重要度が所定値よりも高いか否かを判定するステップと、
被写体の撮像処理にて、前記端部分の情報の重要度が所定値よりも高いと判定された場合に、前記劣化低減処理を実行させる一方で、前記端部分の情報の重要度が所定値よりも高くないと判定された場合に、前記劣化低減処理の実行を禁止させるステップと、
を含むことを特徴とする撮像方法。
<請求項10>
被写体を撮像して画像情報を生成する撮像手段と、被写体の撮像処理にて、手ぶれ補正を行う補正手段とを備える撮像装置のコンピュータを、
前記画像情報の劣化を低減させる劣化低減処理を行う劣化低減手段、
前記撮像手段による被写体の撮像の際の手ぶれ量を検出する検出手段、
前記検出手段により検出された手ぶれ量が所定値よりも大きいか否かを判定する第1判定手段、
前記第1判定手段により前記手ぶれ量が所定値よりも大きいと判定された場合に、前記画像情報のうちの端部分の情報の重要度を特定する特定手段、
前記特定手段により特定された前記端部分の情報の重要度が所定値よりも高いか否かを判定する第2判定手段、
被写体の撮像処理にて、前記第2判定手段により前記端部分の情報の重要度が所定値よりも高いと判定された場合に、前記劣化低減手段に前記劣化低減処理を実行させる一方で、前記端部分の情報の重要度が所定値よりも高くないと判定された場合に、前記劣化低減手段による前記劣化低減処理の実行を禁止させる制御手段、
として機能させることを特徴とするプログラム。