(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-30
(45)【発行日】2022-09-07
(54)【発明の名称】像振れ補正装置、及びそれを備えた撮像装置、並びに像振れ補正方法
(51)【国際特許分類】
G03B 5/00 20210101AFI20220831BHJP
H04N 5/232 20060101ALI20220831BHJP
【FI】
G03B5/00 K
H04N5/232 480
H04N5/232 290
(21)【出願番号】P 2018242886
(22)【出願日】2018-12-26
【審査請求日】2021-06-11
(73)【特許権者】
【識別番号】000133227
【氏名又は名称】株式会社タムロン
(74)【代理人】
【識別番号】100094569
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100088694
【氏名又は名称】弟子丸 健
(74)【代理人】
【識別番号】100103610
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100095898
【氏名又は名称】松下 満
(74)【代理人】
【識別番号】100098475
【氏名又は名称】倉澤 伊知郎
(74)【代理人】
【識別番号】100130937
【氏名又は名称】山本 泰史
(74)【代理人】
【識別番号】100123630
【氏名又は名称】渡邊 誠
(72)【発明者】
【氏名】須藤 英理
(72)【発明者】
【氏名】藤波 研次
【審査官】越河 勉
(56)【参考文献】
【文献】特開2018-182730(JP,A)
【文献】特開2017-067954(JP,A)
【文献】特開2006-295626(JP,A)
【文献】特開2007-208925(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G03B 5/00
H04N 5/232
(57)【特許請求の範囲】
【請求項1】
撮像装置によって撮影される画像の像振れが抑制されるように、撮像素子によって取得された画像データのうちの出力範囲を変更する像振れ補正装置であって、
上記撮像装置の振れ量を検出する振れ量検出手段と、
この振れ量検出手段によって検出された振れ量に基づいて、上記撮像素子によって撮影される画像の像振れが抑制されるように、上記撮像素子によって取得された画像データのうちの出力範囲を決定する出力範囲設定部と、
この出力範囲設定部によって決定された出力範囲の画像データを出力する画像データ出力部と、を有し、
上記出力範囲設定部は、上記撮像素子によって撮影された
画像上の複数の点における平均的な像の振れ量が抑制されるように、画像データの出力範囲を決定することを特徴とする像振れ補正装置。
【請求項2】
撮影された画像上の所定の複数の点は、上記画像上にほぼ均等に分布するように設定されている請求項
1記載の像振れ補正装置。
【請求項3】
上記出力範囲設定部は、撮影された画像上の所定の複数の点における像の振れ量の絶対値を平均した値が最小となるように上記出力範囲を決定する請求項
1又は2に記載の像振れ補正装置。
【請求項4】
上記出力範囲設定部は、撮影された画像上の所定の複数の点における像の振れ量の平均値の絶対値が最小となるように上記出力範囲を決定する請求項
1又は2に記載の像振れ補正装置。
【請求項5】
上記出力範囲設定部は、撮影された画像上において、像の振れ量が所定の許容値以下となる領域が最も広くなるように上記出力範囲を決定する請求項
1又は2に記載の像振れ補正装置。
【請求項6】
上記振れ量検出手段は、上記撮像装置の振れ角度を検出する振れ角度センサである請求項1乃至
5の何れか1項に記載の像振れ補正装置。
【請求項7】
上記振れ量検出手段は、上記撮像素子によって撮影された第1の画像と、この第1の画像よりも前に上記撮像素子によって撮影された第2の画像に基づいて、上記撮像装置の振れ量を検出する請求項1乃至
5の何れか1項に記載の像振れ補正装置。
【請求項8】
上記振れ量検出手段は、上記第1の画像と上記第2の画像に基づいて、画像全体の動きベクトルを計算し、この動きベクトルに基づいて上記撮像装置の振れ量を検出する請求項
7記載の像振れ補正装置。
【請求項9】
さらに、夫々異なる計算アルゴリズムによって上記出力範囲を決定する複数の補正モードから任意の補正モードを選択するための補正モード選択スイッチを有し、上記出力範囲設定部は、上記補正モード選択スイッチにより選択された補正モードに基づいて、当該選択された補正モードに対応する計算アルゴリズムを使用して上記出力範囲を決定する請求項1乃至
8の何れか1項に記載の像振れ補正装置。
【請求項10】
撮像装置であって、
レンズ鏡筒と、
撮像装置本体と、
この撮像装置本体の内部に配置された、撮像面を有する撮像素子と、
この撮像素子によって取得された画像データのうちの出力範囲を変更する請求項1乃至
9の何れか1項に記載の像振れ補正装置と、
を有することを特徴とする撮像装置。
【請求項11】
撮像装置によって撮影される画像の像振れが抑制されるように、撮像素子によって取得された画像データのうちの出力範囲を変更する像振れ補正方法であって、
上記撮像装置の振れ量を検出する検出ステップと、
検出された振れ量に基づいて、上記撮像素子によって撮影される画像の像振れが抑制されるように、上記撮像素子によって取得された画像データのうちの出力範囲を決定する出力範囲設定ステップと、
この出力範囲設定ステップによって決定された出力範囲の画像データを出力する画像データ出力ステップと、を有し、
上記出力範囲設定ステップにおいては、上記撮像素子によって撮影された
画像上の複数の点における平均的な像の振れ量が抑制されるように、画像データの出力範囲が決定されることを特徴とする像振れ補正方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、像振れ補正装置に関し、特に、撮像装置によって撮影される画像の像振れが抑制されるように、撮像素子から画像データを読み出す出力範囲を変更する像振れ補正装置、及びそれを備えた撮像装置、並びに像振れ補正方法に関する。
【背景技術】
【0002】
近年、撮像装置の振れ量を検出し、検出された振れ量に基づいて、固体撮像素子から読み出す画像データの出力範囲をずらすことにより、撮影される動画の像振れを補正する像振れ補正機能を備えた動画撮影用のカメラが広く普及している。特開2017-208925号公報(特許文献1)には、デジタルカメラの電子的手振れ補正方法及び電子的手振れ補正機能付デジタルカメラが記載されている。この電子的手振れ補正方法においては、部分画像データ毎の動きベクトルを取り込み、画像データ全体の動きベクトルを算出する。次に、この画像データ全体の動きベクトルの方向に、固体撮像素子から読み出す画像データの出力範囲をずらすことにより、出力された画像データによって形成される画像の振れを補正している。
【0003】
撮像装置に振れが生じた場合、撮像素子の撮像面上に形成される像が振れるため、この振れ量だけ撮像素子から読み出す画像データの出力範囲をずらすことにより、像の振れを補正することができる。即ち、撮像素子から読み出す画像データの出力範囲をずらすことにより、動画を構成する各画像のなかで、同一の被写体をほぼ同一の位置に位置させることができ、手振れ等による画像の振れを抑制することができる。また、特許文献1記載の電子的手振れ補正機能付デジタルカメラにおいては、撮影された最新の画像と、1フレーム前に撮影された画像に基づいて、画像データ全体の動きベクトルを算出し、この動きベクトルに基づいて読み出す画像データの出力範囲をずらしている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、例えば、撮像光学系の射影方式が、一般的な光学系で使用されている中心射影方式である場合、撮像装置の振れによって生じる撮像面上の像の振れ量は、撮像面上の位置によって異なるものとなる。このため、例えば、撮像面の中心部において生じる像の振れを補正すべく、撮像素子から読み出す画像データの出力範囲をずらしたとしても、撮像面の周辺部においては像の振れ量が異なるため、撮像面の中心部における振れは補正されても、周辺部においては像振れが残ってしまうという問題がある。この問題は、振れ補正機能の性能の向上に伴い、近年、焦点距離の短い撮像光学系にも振れ補正機能が搭載されるようになったことにより、顕著になっている。
【0006】
また、特許文献1等に記載されている像振れ補正方法では、画角内のピントが合っている部分においては像の揺れが抑制されているものの、その周辺部ではゆらゆらと像が歪む所謂「コンニャク現象」が発生し、見苦しい動画となる場合がある。これは、特に、広角レンズで撮影が行われた場合に、像振れを補正するために必要な補正量が画角内で大きく異なり、像振れが補正された点からの距離によって、補正後の像振れの残り量が変化してしまうことに起因する。この「コンニャク現象」は、一般に、撮像装置のCMOSセンサにおける画像情報の読み出しの時間差に起因する、所謂「ローリングシャッター歪み」によるものであると理解されている。しかしながら、所謂「コンニャク現象」の原因は、「ローリングシャッター歪み」によるものばかりでなく、像振れ補正によるものも含まれていることが本件発明者により見出され、本発明により「コンニャク現象」の発生を抑制することに成功している。
【0007】
従って、本発明は、画角内における像振れの差異が目立たないように振れ補正機能を動作させることができる像振れ補正装置、及びそれを備えた撮像装置、並びに像振れ補正方法を提供することを目的としている。
【課題を解決するための手段】
【0008】
上述した課題を解決するために、本発明は、撮像装置によって撮影される画像の像振れが抑制されるように、撮像素子によって取得された画像データのうちの出力範囲を変更する像振れ補正装置であって、撮像装置の振れ量を検出する振れ量検出手段と、この振れ量検出手段によって検出された振れ量に基づいて、撮像素子によって撮影される画像の像振れが抑制されるように、撮像素子によって取得された画像データのうちの出力範囲を決定する出力範囲設定部と、この出力範囲設定部によって決定された出力範囲の画像データを出力する画像データ出力部と、を有し、出力範囲設定部は、撮像素子によって撮影された画像上の複数の点における平均的な像の振れ量が抑制されるように、画像データの出力範囲を決定することを特徴としている。
【0009】
このように構成された本発明によれば、撮像素子によって撮影された画像の各点における像の振れ量が全体的に抑制されるように、画像データの出力範囲を決定するので、画角内における像振れの差異が目立たず、像振れの少ない印象を与える画像を形成することができる。
【0010】
また、本発明は、撮像装置であって、レンズ鏡筒と、撮像装置本体と、この撮像装置本体の内部に配置された、撮像面を有する撮像素子と、この撮像素子によって取得された画像データのうちの出力範囲を変更する本発明の像振れ補正装置と、を有することを特徴としている。
【0011】
さらに、本発明は、撮像装置によって撮影される画像の像振れが抑制されるように、撮像素子によって取得された画像データのうちの出力範囲を変更する像振れ補正方法であって、撮像装置の振れ量を検出する検出ステップと、検出された振れ量に基づいて、撮像素子によって撮影される画像の像振れが抑制されるように、撮像素子によって取得された画像データのうちの出力範囲を決定する出力範囲設定ステップと、この出力範囲設定ステップによって決定された出力範囲の画像データを出力する画像データ出力ステップと、を有し、出力範囲設定ステップにおいては、撮像素子によって撮影された画像上の複数の点における平均的な像の振れ量が抑制されるように、画像データの出力範囲が決定されることを特徴としている。
【発明の効果】
【0012】
本発明の像振れ補正装置、及びそれを備えた撮像装置、並びに像振れ補正方法によれば、画角内における像振れの差異が目立たないように振れ補正機能を動作させることができる。
【図面の簡単な説明】
【0013】
【
図1】本発明の第1実施形態によるビデオカメラの断面図である。
【
図2】本発明の第1実施形態による像振れ補正方法を示すフローチャートである。
【
図3】本発明の第1実施形態による像振れ補正装置において、撮像素子によって取得された画像データの出力範囲の変更を説明する図である。
【
図4】カメラが或る角度振れた際に、撮像面上の各点において発生する振れ量を計算した一例を示す図である。
【
図5】像の移動量に対する振れ残り量の絶対値の平均値を示すグラフである。
【
図6】像の移動量に対する振れ残り量の平均値の絶対値を示すグラフである。
【
図7】像の移動量に対する振れ残り量の値が許容振れ量以下である点の数を示すグラフである。
【
図8】本発明の第2実施形態による像振れ補正装置において、動きベクトルの計算を説明するための図である。
【発明を実施するための形態】
【0014】
添付図面を参照して、本発明の実施形態を説明する。まず、
図1乃至
図6を参照して、本発明の第1実施形態によるカメラを説明する。
図1は本発明の第1実施形態によるビデオカメラの断面図である。
【0015】
<ビデオカメラの構成>
図1に示すように、本発明の第1実施形態の撮像装置であるビデオカメラ1は、レンズ鏡筒2と、撮像装置本体であるカメラ本体4と、を有する。また、レンズ鏡筒2の内部には、複数の撮影用レンズ6が配置されている。さらに、カメラ本体4は、撮影用レンズ6によって合焦された光により像が形成される撮像素子8と、ビデオカメラ1の振れ量を検出する振れ角度センサであるジャイロセンサ10と、撮像素子8によって取得された画像データを読み出す画像処理部12と、を有する。
【0016】
本発明の第1実施形態のビデオカメラ1は、ジャイロセンサ10によってビデオカメラ1の振れ量(振れ角度)を検出し、検出された振れ角度に基づいて取得された画像データのうちの出力範囲を変更することにより、撮影される動画を安定化させている。
【0017】
レンズ鏡筒2は、カメラ本体4に取り付けられ、入射した光を撮像素子8表面の撮像面8a上に結像させるように構成されている。レンズ鏡筒2は、内部に複数の撮影用レンズ6を保持しており、一部の撮影用レンズ6を光軸A方向に移動させることによりピント調整を可能としている。また、撮影用レンズ6のうちの一部は、画角調整用のレンズとして設けられ、カメラ本体4に設けられた画角調整レバー4aを操作することにより、レンズ鏡筒2の焦点距離を変化させることができるように構成されている。レンズ鏡筒2に備えられた、これらの撮影用レンズ6は、撮像装置の撮像光学系を構成する。
【0018】
ジャイロセンサ10はカメラ本体4内に設けられ、ビデオカメラ1のヨー方向及びピッチ方向の振れ角速度を検出するように構成されている。なお、本実施形態においては、ジャイロセンサ10として、圧電振動ジャイロセンサが使用されているが、振れ角度センサとして、振れ角加速度や、振れ加速度を測定する任意のセンサを使用することもできる。このように、ジャイロセンサ10は、ビデオカメラ1の振れ量を検出する振れ量検出手段として機能する。
【0019】
画像処理部12は、マイクロプロセッサ、インターフェイス回路、メモリ、及びこれらを作動させるプログラム(以上、図示せず)等により構成された画像処理用の回路である。この画像処理部12は、カメラ本体4に内蔵された撮像素子8からRAW画像データを読み出し、このRAW画像データを処理して、動画を構成する各フレーム画像の画像データを順次出力するように構成されている。画像処理部12から出力された画像データは、カメラ本体4に内蔵された記録装置である半導体メモリ14(半導体ディスク装置)に記録される。
【0020】
画像処理部12は、具体的には、出力範囲設定部12aと、画像データ出力部12bとして機能する。出力範囲設定部12aは、ジャイロセンサ10の検出信号に基づいて、撮像素子8によって撮影される画像の像振れが抑制されるように、撮像素子8によって取得された画像データのうちの出力範囲を決定するように構成されている。画像データ出力部12bは、出力範囲設定部12aによって決定された出力範囲の画像データを出力し、半導体メモリ14に記録するように構成されている。
【0021】
また、画像処理部12は、複数の補正モードを実行可能に構成されており、ユーザは、カメラ本体4に設けられた補正モード選択スイッチ4bを操作することにより、複数の補正モードの中から所望の補正モードを選択することができる。或いは、補正モードを選択するための画面を補正モード選択スイッチ4bとしてカメラ本体4のディスプレイ(図示せず)に表示して、所望の補正モードを選択するユーザ操作を受け付ける構成を採用することもできる。なお、ここでは補正モード選択スイッチ4bがカメラ本体4に設けられている構成を例に説明するが、本発明はこれに限定されるものではなく、レンズ鏡筒2等に設けられていても良い。
【0022】
このように、本実施形態においては、カメラ本体4に内蔵されているジャイロセンサ10、及び画像処理部12に内蔵されている出力範囲設定部12a及び画像データ出力部12bが、ビデオカメラ1によって撮影される画像の像振れを抑制する像振れ補正装置として機能する。
【0023】
<像振れ補正装置の作用・像振れ補正方法>
次に、
図2及び
図3を参照して、本発明の第1実施形態による像振れ補正装置の作用、及び像振れ補正方法を説明する。
図2は、本発明の第1実施形態による像振れ補正方法を示すフローチャートであり、このフローチャートによる処理は、カメラ本体4に内蔵された画像処理部12において、所定の時間間隔で繰り返し実行される。
図3は、撮像素子によって取得された画像データの出力範囲の変更を説明する図である。
【0024】
まず、
図2のステップS1においては、カメラ本体4に設けられた補正モード選択スイッチ4bによる、像振れ補正モード(補正モード)の設定状態が、画像処理部12によって取得される。本実施形態においては、補正モード選択スイッチ4bの設定により、像振れ補正装置による像振れ補正の実行、非実行を切り替えることができる他、撮影状況や、ユーザの好みに応じて3種類の像振れ補正モードを切り替えることができる。しかしながら、像振れ補正モードは、少なくとも1種類備えられていれば良く、また、補正の実行、非実行や、実行する像振れ補正モードの種類が自動的に切り替えられるように本発明を構成することもできる。各補正モードの詳細については後述する。
【0025】
次に、ステップS2においては、画像処理部12によって、補正モード選択スイッチ4bにおいて像振れ補正の実行が選択されているか否かが判断されることで、補正がOFFであるか否かが判断される。即ち、画像処理部12は、補正モード選択スイッチ4bにより、3種類の像振れ補正モードのうちの何れかが選択されている場合には(ステップS2においてNO)ステップS3に進み、像振れ補正が非実行(OFF)に設定されている場合には(ステップS2においてYES)、
図2に示すフローチャートの1回の処理を終了する。
【0026】
次いで、ステップS3においては、検出ステップとして、ジャイロセンサ10によって検出されたビデオカメラ1の振れ角速度[deg/sec]、及び画角調整レバー4aによって設定されている画角(撮像光学系の焦点距離[mm])の値が画像処理部12によって読み込まれる。即ち、カメラ本体4に内蔵されたジャイロセンサ10は、ビデオカメラ1のヨー方向及びピッチ方向の振れ角速度を検出し、これらの検出信号が画像処理部12によって取得される。さらに、取得された各振れ角速度は時間で積分され、ヨー方向の振れ角度[deg]及びピッチ方向の振れ角度[deg]が夫々計算される。なお、ヨー方向の振れ角度とは、撮像面を通る鉛直軸線を中心とする回転角度を意味し、ピッチ方向の振れ角度とは、撮像面を通る水平軸線を中心とする回転角度を意味している。
【0027】
また、画角調整レバー4aによる画角の設定位置も、画像処理部12によって取得される。さらに、画像処理部12に入力された画角の設定位置に基づいて、画像処理部12のマイクロプロセッサ(図示せず)により撮像光学系の焦点距離fが算出される。
【0028】
次に、ステップS4においては、レンズ鏡筒2の撮像光学系によって撮像素子8の撮像面8a上に形成される像の振れを抑制するために必要な、画像データの出力範囲が計算される。
ここで、ビデオカメラ1が、撮像面の中心からψ[deg]の方向に、Δθ[deg]振れた場合において、撮像素子8の撮像面8a上に形成される像の、撮像面の中心点における鉛直方向の振れは、
Δhv=ftanΔθ・sinψ [mm] (1)
と計算され、撮像面の中心点における水平方向の振れは、
Δhh=ftanΔθ・cosψ [mm] (2)
と計算される。なお、f[mm]は35mm換算焦点距離である。
【0029】
例えば、35mm換算焦点距離f=24[mm]の状態で、ビデオカメラ1が中心からψ=30[deg]の方向に、Δθ=1[deg]振れた場合において、撮像面の中心点(光軸Aが通る点)における鉛直方向の像の振れは0.210[mm]、水平方向の像の振れは0.363[mm]と計算される。
【0030】
即ち、ビデオカメラ1が振れていない状態において、撮像素子8の撮像面8a上に
図3に破線で示す画像V1が形成される場合には、ビデオカメラ1が振れることにより、撮像面8a上に形成される画像は、
図3に一点鎖線で示す画像V2に移動される。上記のように、ビデオカメラ1が中心からψ=30[deg]の方向に、Δθ=1[deg]振れた場合には、画像V1は、上方にΔy=0.210[mm]移動され、右方向にΔx=0.363[mm]移動されて、撮像面8a上の画像V2の位置にずれる。
【0031】
従って、撮像素子8によって取得された画像データのうちの出力範囲を、画像V1から画像V2に変更することにより、撮影される画像の像振れを抑制することができる。具体的には、上記のようにビデオカメラ1が振れた場合には、撮影画像として出力する画像データを、画像V1の範囲に対応する画素から、画像V2の範囲に対応する画素に変更する。これにより、動画を構成する各フレームの画像のなかで、同一の被写体をほぼ同一の位置に位置させることができ、手振れ等による画像の振れを抑制することができる。即ち、上記の数式(1)及び(2)を使用して、撮像面の中心点における像の振れを打ち消すために必要な鉛直方向及び水平方向の、出力範囲の基準移動量[mm]を夫々計算することができる。
【0032】
次に、ステップS5においては、画像処理部12の出力範囲設定部12aにより補正モード選択スイッチ4bにおいて選択(設定)された補正モードに応じた補正係数が算出される。上記のように、ビデオカメラ1が所定方向に所定角度振れた場合において、画像データの出力範囲を、上記数式(1)及び(2)によって計算される基準移動量だけ移動させることにより、撮像面の中心点における像の振れを打ち消すことができる。
【0033】
しかしながら、レンズ鏡筒2の撮像光学系が、一般的な撮像光学系において採用されている中心射影方式である場合には、ビデオカメラ1が所定角度振れた際に発生する振れ量が、撮像面8a上の各部において異なる値となる。従って、計算された基準移動量だけ像が移動するように画像データの出力範囲を移動させた場合には、撮像面の中心点における像の振れを十分に抑制できたとしても、撮像面の中心点以外の点においては像の振れが残り、画像全体としては振れがあるという印象を与えてしまう場合がある。
【0034】
ここで、撮像面上の各点において発生する振れ量Δhdは下式により計算することができる。
Δhd=f×(tan(β+Δθ)-tanβ) (3)
ただし、β=α×d、
α=tan-1(D/(2×f))
上式において、fは焦点距離[mm]、Δθはビデオカメラ1の振れ角度[deg]、Dはセンササイズ(撮像素子8の撮像面の一辺の長さ)[mm]、dは、中心点から振れ量Δhdを計算する点までの距離を(D/2)で除した値である。このような、撮像面上の各部における振れ量の相違は、焦点距離fの短い広角の(画角が大きい)撮像光学系において特に顕著となる。
【0035】
図4は、ビデオカメラ1が所定方向に或る角度Δθ[deg]振れた際に、撮像面上の各点において発生する振れ量Δhd[mm]を数式(3)により計算した一例を示す図である。
図4において、分割位置「0」は、撮像面の中心点(光軸Aが通る点、即ちd=0となる点)における垂直(鉛直)方向及び水平方向の像の振れ量を示している。
図4に示す例においては、撮像面の中心点において垂直方向に0.1257[mm]、水平方向に0.1257[mm]の像の振れが発生している。
【0036】
一方、
図4における分割位置「1」は、撮像面8aの上端の点(d=1となる点、ただしDを撮像面の高さとする)、及び右端の点(d=1となる点、ただしDを撮像面の幅とする)における像の振れ量を示している。即ち、
図4に示す例においては、撮像面8aの上端の点において垂直方向(鉛直方向)に0.1575[mm]、撮像面8aの右端の点において水平方向に0.1971[mm]の像の振れが夫々発生している。さらに、
図4における分割位置「0.1」~「0.9」は、撮像面8aの中心から上端まで、及び中心から右端までを10分割した各点(夫々d=0.1~0.9となる点)における垂直方向、水平方向の振れ量を夫々示している。また、撮像面8a上の各点において発生する振れ量は、水平の中心軸線、垂直の中心軸線に対して夫々上下左右が対称になる。従って、撮像面8aの上端の点における振れ量と撮像面8aの下端の点における振れ量は等しくなり、撮像面8aの右端の点における振れ量と撮像面8aの左端の点における振れ量は等しくなる。
【0037】
図4に示すように、ビデオカメラ1が或る方向に或る角度振れた際に、撮像面8a上の各点において発生する振れ量は異なる値となる。従来の振れ補正装置においては、例えば、撮像面8aの中心点において発生する振れが打ち消されるように、画像データの出力範囲(
図4の例では、垂直方向、水平方向とも0.1257[mm])だけ移動させていた。このように振れ補正装置を作動させることにより、撮像面の中心点における振れ量をほぼゼロにすることが可能になる。
【0038】
しかしながら、上記のように、撮像面上で発生する像の振れ量は、各点において異なるため、基準移動量の補正を行ったとしても撮像面の中心点以外の点では像振れが残存してしまう。
図4に示す例では、撮像面の上端又は下端の点においては、垂直(鉛直)方向に0.1575-0.1257=0.0318[mm]の像振れが残り、撮像面の右端又は左端の点においては、水平方向に0.1971-0.1257=0.0714[mm]の像振れが残ることになる。また、撮像面の中心と上端の中間点(分割位置=0.5、d=0.5となる点)においては、垂直(鉛直)方向に0.1337-0.1257=0.0008[mm]の像振れが残り、撮像面の中心と右端の中間点においては、水平方向に0.1436-0.1257=0.0179[mm]の像振れが残ることとなる。
【0039】
このように、従来の振れ補正装置においては、中心点等の撮像面上の特定の点の像振れが打ち消されるように、画像データの出力範囲の移動量が決定されていた。このため、従来の振れ補正装置では、基準とした特定の点以外では大きな振れが残存し、画像全体として像振れの大きい画像という印象を与えてしまう場合がある。これに対して、本発明の第1実施形態による像振れ補正装置においては、撮像素子8の撮像面8a上の各点における像の振れ量が、撮像面8aにおいて全体的に抑制されるように、出力範囲設定部12aにより移動量が算出される。即ち、本実施形態の像振れ補正装置においては、撮像面8a上の所定の複数の点における平均的な像の振れ量が抑制されるように、出力範囲が決定される。
【0040】
本実施形態の像振れ補正装置は、「振れ量最小モード」、「中央値最小モード」及び「許容振れ量域最大モード」の3種類の補正モードを備えている。これら3つの補正モードにおいては、夫々異なる計算アルゴリズムを使用して、画像データの出力範囲を移動させるべき量が計算される。これら何れの計算アルゴリズムを使用して移動量を計算した場合においても、撮像面上の複数の点における平均的な像の振れ量が抑制され、撮像面上の各点における像の振れ量が、撮像面において全体的に抑制される結果となる。
【0041】
ステップS5においては、補正モード選択スイッチ4bによって選択された補正モードに応じた計算アルゴリズムにより、補正モードに対応した出力範囲の移動量に基づいて、補正係数が垂直方向、水平方向について夫々算出される。各補正モードにおいて、補正係数を算出する具体的な計算アルゴリズムについては、後述する。
【0042】
次に、ステップS6においては、基準移動量に、ステップS5において計算された補正係数を乗じることにより、実際の出力範囲の移動量が算出される。即ち、撮像素子8の撮像面8a上に形成される像の基準移動量に、ステップS5において計算された補正係数を乗じることにより、最終的な移動量が算出され、出力範囲が決定される。以上のステップS4乃至S6における処理は、ジャイロセンサ10によって検出された振れ量に基づいて、撮像素子8によって撮影される画像の像振れが抑制されるように、撮像素子8によって取得された画像データのうちの出力範囲を決定する出力範囲設定ステップに相当する。
【0043】
次いで、ステップS7においては、画像データ出力ステップとして、ステップS6において決定された出力範囲に対応した画像データが、画像データ出力部12bによって半導体メモリ14へ出力される。画像データの出力範囲の移動量が、出力範囲の基準移動量に対して補正されることにより、画像の各点における像の振れ量が全体的に抑制される。
【0044】
次に、
図2に示すフローチャートのステップS5における補正係数の算出を具体的に説明する。
【0045】
<振れ量最小モード>
まず、
図5を新たに参照して、「振れ量最小モード」における補正係数の算出を説明する。補正モード選択スイッチ4bにより、「振れ量最小モード」が選択されている場合には、各方向の振れ残り量の絶対値を平均した値が最小になるように像の移動量が決定され、これに基づいて補正係数が算出される。ここで、「振れ残り量[mm]」とは、像振れ補正を実行した後にも残存することが予想される「振れ量[mm]」を意味する。具体的には、
図4に示す例において、撮像面上の像を、基準移動量である0.1257[mm]だけ水平方向に移動させた場合における、各分割位置での振れ残り量R
0~R
10[mm]を計算する。ここで、振れ残り量R
0は、分割位置「0」における振れ残り量を表し、振れ残り量R
1~R
10は、分割位置「0.1」~「1」における振れ残り量を夫々表している(従って、この場合、振れ残り量R
0=0となる)。
【0046】
次に、各振れ残り量R
0~R
10の絶対値を計算し、これらの合計を、振れ残り量を計算した点の数で除することにより、振れ残り量の絶対値の平均値を計算する。この際、撮像面の中心点は1点であるが、分割位置「0.1」~「1」は左右両側に2点ずつ存在するため、振れ残り量R
1~R
10の絶対値は2倍して平均値を計算する。従って、振れ残り量の絶対値の平均値R
AV1は、次式によって計算することができる。
【0047】
同様にして、撮像面上の像を、分割位置「0.1」における移動量である0.1264[mm]だけ水平方向に移動させた場合における、各分割位置での振れ残り量R0~R10[mm]を計算し(従って、この場合、振れ残り量R1=0となる)、これらの振れ残り量の絶対値の平均値RAV1[mm]を数式(4)により計算する。同様の計算により、各分割位置における移動量に対応した振れ残り量の絶対値の平均値RAV1[mm]を計算する。
【0048】
このようにして計算された、水平方向の各分割位置における移動量に対応した振れ残り量の絶対値の平均値R
AV1[mm]の一例を
図5に示す。
図5に示す例においては、分割位置「0.8」に対応する振れ残り量の絶対値の平均値R
AV1が最も小さくなっている。即ち、「振れ量最小モード」の計算アルゴリズムによれば、分割位置「0.8」に対応する0.1714[mm]だけ画像データの出力範囲を移動させることにより、画像全体における平均的な水平方向の振れが最小となる。
【0049】
さらに、垂直方向についても同様に、垂直方向の各分割位置における移動量に対応した振れ残り量の絶対値の平均値RAV1[mm]を計算し、この値が最小となる垂直方向の像の移動量を計算する。このように、水平方向、垂直方向の移動量を決定することにより、撮像面上の複数の点における平均的な像の振れ量が抑制され、撮像面上の各点における像の振れ量が、撮像面において全体的に抑制される。
【0050】
最後に、振れ残り量の絶対値の平均値R
AV1[mm]が最小となる移動量を、基準移動量で除することにより、補正係数を算出する。
図4、
図5に示す例では、R
AV1が最小となる0.1714[mm]を、基準移動量である0.1257[mm]で除することにより、水平方向に関する補正係数が、
補正係数=0.1714/0.1257≒1.364
と計算される。同様にして、垂直方向に関する補正係数も求めることができる。
【0051】
<中央値最小モード>
次に、
図6を新たに参照して、「中央値最小モード」における補正係数の算出を説明する。補正モード選択スイッチ4bにより、「中央値最小モード」が選択されている場合には、各方向の振れ残り量の平均値の絶対値が最小になるように、像の移動量が決定され、これに基づいて補正係数が算出される。具体的には、まず、
図4に示す例において、撮像面上の像を、基準移動量である0.1257[mm]だけ水平方向に移動させた場合における、各分割位置での振れ残り量R
0~R
10[mm]を計算する(従って、この場合、振れ残り量R
0=0となる)。
【0052】
次に、各振れ残り量R
0~R
10の平均値を計算する。上記のように、撮像面の中心点は1点であるが、分割位置「0.1」~「1」は左右両側に2点ずつ存在するため、振れ残り量R
1~R
10は2倍して平均値を計算する。この平均値の絶対値である、振れ残り量の平均値の絶対値R
AV2は、次式によって計算することができる。
【0053】
同様にして、撮像面上の像を、分割位置「0.1」における移動量である0.1264[mm]だけ水平方向に移動させた場合における、各分割位置での振れ残り量R0~R10[mm]を計算し(従って、この場合、振れ残り量R1=0となる)、これらの振れ残り量の平均値の絶対値RAV2[mm]を数式(5)により計算する。同様の計算により、各分割位置における移動量に対応した振れ残り量の平均値の絶対値RAV2[mm]を計算する。
【0054】
このようにして計算された、水平方向の各分割位置における移動量に対応した振れ残り量の平均値の絶対値R
AV2[mm]の一例を
図6に示す。
図6に示す例においては、分割位置「0.9」に対応する振れ残り量の平均値の絶対値R
AV2が最も小さくなっている。即ち、「中央値最小モード」の計算アルゴリズムによれば、分割位置「0.9」に対応する0.1836[mm]だけ水平方向に画像データの出力範囲を移動させることにより、画像全体における平均的な水平方向の振れが最小となる。この計算アルゴリズムに基づいて出力範囲を決定することにより、各点の振れ残り量の中央値を最小にすることができ、撮像面上の所定の複数の点における平均的な像の振れ量が抑制される。
【0055】
さらに、垂直方向についても同様に、垂直方向の各分割位置における移動量に対応した振れ残り量の平均値の絶対値RAV2[mm]を計算し、この値が最小となる垂直方向の像の移動量を計算する。このように、水平方向、垂直方向の移動量を決定することにより、撮像面上の複数の点における平均的な像の振れ量が抑制され、撮像面上の各点における像の振れ量が、撮像面において全体的に抑制される。
【0056】
最後に、振れ残り量の平均値の絶対値R
AV2[mm]が最小となる移動量を、基準移動量で除することにより、補正係数を算出する。
図4、
図6に示す例では、R
AV2が最小となる0.1836[mm]を、基準移動量である0.1257[mm]で除することにより、水平方向に関する補正係数が、
補正係数=0.1836/0.1257≒1.461
と計算される。同様にして、垂直方向に関する補正係数も求めることができる。
【0057】
<許容振れ量域最大モード>
次に、
図7を新たに参照して、「許容振れ量域最大モード」における補正係数の算出を説明する。補正モード選択スイッチ4bにより、「許容振れ量域最大モード」が選択されている場合には、振れ残り量が所定の許容振れ量以下になる点の数が最大になるように、像の移動量が決定され、これに基づいて補正係数が算出される。具体的には、まず、
図4に示す例において、撮像面上の像を、基準移動量である0.1257[mm]だけ水平方向に移動させた場合における、各分割位置での振れ残り量R
0~R
10[mm]を計算する(従って、この場合、振れ残り量R
0=0となる)。
【0058】
次に、これらの振れ残り量R
0~R
10のうち、値が所定の許容振れ量[mm]以下である点の数をカウントする。上記のように、撮像面の中心点は1点であるが、分割位置「0.1」~「1」は左右両側に2点ずつ存在するため、振れ残り量R
1~R
10の値が所定の許容振れ量以下である場合には、点の数を「2」とカウントする。
図7に示す例においては、撮像面上の像を、基準移動量だけ水平方向に移動させた場合において、振れ残り量の値が所定の許容振れ量以下である点の数は9個とカウントされている。
【0059】
同様にして、撮像面上の像を、分割位置「0.1」における移動量である0.1264[mm]だけ水平方向に移動させた場合における、各分割位置での振れ残り量R
0~R
10[mm]を計算し(従って、この場合、振れ残り量R
1=0となる)、その値が所定の許容振れ量以下である点の数をカウントする。このようにして計算された、水平方向の各分割位置における移動量に対応した、振れ残り量が所定の許容振れ量以下となる点の数の一例を
図7に示す。
図7に示す例においては、分割位置「0.5」及び「0.6」における移動量だけ水平方向に移動させた場合において、振れ残り量が許容振れ量以下となる点の数が「11」となり、最も多くなっている。
【0060】
即ち、「許容振れ量域最大モード」の計算アルゴリズムによれば、撮像面上の像が、分割位置「0.5」に対応する0.1436[mm]又は分割位置「0.6」に対応する0.1515[mm]だけ水平方向に画像データの出力範囲を移動させることにより、振れ残り量が許容振れ量以下となる点の数が最も多くなる。このように、振れ残り量が許容振れ量以下となる点の数を最大化することにより、画像全体の中で、振れ量が許容値以下となる画素の数を最大化することができる。この計算アルゴリズムに基づいて出力範囲の移動量を決定することにより、画像全体の中で、振れ量が許容可能な値以下に抑制された面積を最大化することができ、撮像面上の所定の複数の点における平均的な像の振れ量が抑制される。
さらに、垂直方向についても同様に、垂直方向の各分割位置における移動量に対応した振れ残り量が許容振れ量以下となる点の数を計算し、この数が最大となる垂直方向の出力範囲の移動量を計算する。
【0061】
最後に、振れ残り量が許容振れ量以下となる点の数が最大となる移動量を、基準移動量で除することにより補正係数を算出する。
図4、
図7に示す例では、許容振れ量以下となる点の数が最大となる0.1436[mm]を、基準移動量である0.1257[mm]で除することにより、水平方向に関する補正係数が、
補正係数=0.1436/0.1257≒1.142
と計算される。同様にして、垂直方向に関する補正係数も求めることができる。なお、
図7に示す例では、振れ残り量が許容振れ量以下となる点の数が分割位置「0.5」と「0.6」で同数となっているため、これらの分割位置に対応した移動量を平均し、この平均値に基づいて補正係数を計算しても良い。
【0062】
本発明の第1実施形態の像振れ補正装置によれば、撮像素子8によって撮影された画像の各点における像の振れ量が全体的に抑制されるように、画像データの出力範囲を決定する(
図5乃至
図7)ので、画角内における像振れの差異が目立たず、像振れの少ない印象を与える画像を形成することができる。
【0063】
また、本実施形態の像振れ補正装置によれば、出力範囲設定部12aは、撮像面8a上の所定の複数の点における平均的な像の振れ量R0~R10が抑制されるように、画像データの出力範囲を決定する。このため、特定の点における像の振れ量がほぼゼロにされるのではなく、像の振れ量を撮像面において全体的に抑制することができる。
【0064】
さらに、本実施形態の像振れ補正装置によれば、撮像面8a上において、複数の分割位置が、撮像面8a上に均等に、等間隔で分布するように設定されているので(
図4)、画角内の全体的な振れ量を像振れ補正に反映させることができ、振れ量を全体的に抑制することができる。
【0065】
また、本実施形態の像振れ補正装置によれば、「振れ量最小モード」において、出力範囲設定部12aは、撮像面8a上の所定の複数の点における像の振れ量の絶対値を平均した値が最小となるように画像データの出力範囲を決定する(
図5)。このため、撮像面8a上の複数の点における平均的な像の振れ量が抑制され、撮像面8a上の各点における像の振れ量を、撮像面8aにおいて全体的に抑制することができる。
【0066】
さらに、本実施形態の像振れ補正装置によれば、「中央値最小モード」において、出力範囲設定部12aは、撮像面8a上の所定の複数の点における像の振れ量の平均値の絶対値が最小となるように画像データの出力範囲を決定する(
図6)。このため、各点の振れ残り量の中央値を最小にすることができ、撮像面8a上の所定の複数の点における平均的な像の振れ量を抑制することができる。
【0067】
また、本実施形態の像振れ補正装置によれば、「許容振れ量域最大モード」において、出力範囲設定部12aは、撮像面8a上において、像の振れ量が所定の許容値以下となる領域が最も広くなるように画像データの出力範囲を決定する(
図7)。このため、画像全体の中で、振れ量が許容値以下となる画素の数を最大化することができる。この結果、画像全体の中で、振れ量が許容可能な値以下に抑制された面積を最大化することができ、撮像面8a上の所定の複数の点における平均的な像の振れ量を抑制することができる。
【0068】
さらに、本実施形態の像振れ補正装置によれば、出力範囲設定部12aは、補正モード選択スイッチ4bにより選択された補正モードに基づいて、異なる計算アルゴリズムを使用して移動量を決定する。このため、ユーザの撮影意図や、撮影シーンに適した補正モードを選択することができる。
【0069】
次に、
図8を参照して、本発明の第2実施形態による像振れ補正装置、及びそれを備えた撮像装置、並びに像振れ補正方法を説明する。
本発明の第2実施形態による像振れ補正装置は、撮像装置の振れ量を検出する振れ量検出手段が、上述した第1実施形態とは異なる。従って、ここでは、本発明の第2実施形態による像振れ補正装置の、第1実施形態とは異なる点のみを説明し、同様の構成、作用、効果については説明を省略する。
【0070】
上述した本発明の第1実施形態においては、振れ量検出手段として、振れ角度センサであるジャイロセンサ10が備えられ、このジャイロセンサ10の検出信号に基づいてビデオカメラ1の振れ量を検出していた。これに対し、本実施形態においては、撮像素子8によって撮影された第1の画像と、この第1の画像よりも前に撮像素子8によって撮影された第2の画像に基づいて、ビデオカメラ1の振れ量を検出している。具体的には、本実施形態においては、撮像素子8によって撮影された最新のフレームの画像と、その前に撮影されたフレームの画像を画像解析することにより、ビデオカメラ1の振れ量を検出している。
【0071】
即ち、ビデオカメラ1により静止した被写体を撮影している場合には、ビデオカメラ1に振れがなければ、同一の被写体は、最新のフレームと、その前のフレームで画像内の同一の位置に撮影されている。また、一般に、動画を撮影する際の各フレームの撮像間隔は非常に短いため、動きの遅い被写体であれば、同一の被写体は、最新のフレームと、その前のフレームでほぼ同一の位置に撮影される。本実施形態においては、この性質を利用して、振れ角度センサを使用することなく、撮像素子8によって撮影された画像の画像解析に基づいてビデオカメラ1の振れ量を検出している。
【0072】
具体的には、本実施形態においては、ビデオカメラの画像処理部12に内蔵された振れ量検出手段(図示せず)が、最新のフレームの画像(現画像)と、1つ前のフレームの画像(先行画像)に基づいて、画像の動きベクトルを計算してビデオカメラの振れ量を計算している。
図8は、動きベクトルの計算を説明するための図である。
【0073】
まず、画像処理部12の振れ量検出手段は、先行画像及び現画像が取得されると、
図8の(a)欄に示すように、先行画像の中に所定の大きさのブロックB1を設定する。次に、振れ量検出手段は、
図8の(b)欄に示すように、現画像の中にブロックB1と同じ大きさの複数のブロックB2、B3、B4...を設定する。これらのブロックは、画像内のブロックB1と同一の位置、及びブロックB1からずれた所定の範囲に設定される。
【0074】
さらに、振れ量検出手段は、先行画像の中に設定されたブロックB1と、現画像の中のブロックB2、B3、B4...夫々との間で画像の相関性を計算する。このようにして相関性が計算されたブロックの中で最も相関性が高いブロックが、先行画像のブロックB1の移動先であると推定される。例えば、先行画像のブロックB1と、現画像の中のブロックB4の相関性が最も高い場合には、先行画像においてブロックB1に位置していた被写体が、ビデオカメラの振れにより、現画像ではブロックB4に移動されたと推定される。さらに、このブロックB1からブロックB4への移動を表すベクトルが、動きベクトルKとして算出される。
【0075】
本実施形態のビデオカメラにおいては、動きベクトルKの鉛直方向成分及び水平方向成分が、夫々、第1実施形態における、各方向の振れ量として使用される。即ち、本実施形態においては、動きベクトルKの鉛直及び水平方向成分が、第1実施形態の
図2のフローチャートにおけるステップS4で算出される鉛直方向の振れΔhv、水平方向の振れΔhhとして使用される。なお、動きベクトルKの算出方法として種々の方法が知られており、公知の任意の算出方法を、本発明における「振れ量検出手段」として適用することができる。例えば、先行画像の中に複数のブロックを設定しておき、これらのブロック夫々について複数の動きベクトルKを算出し、その中で信頼性の高いものを画像全体の動きベクトルとして決定するように本発明を構成することもできる。
【0076】
また、本発明の第2実施形態による像振れ補正方法は、
図2のフローチャートにおける検出ステップであるステップS3、及びステップS4の処理が動きベクトルKの計算に置き換えられたものに相当し、これらのステップ以外の処理は第1実施形態と同様である。
【0077】
本発明の第2実施形態の像振れ補正装置によれば、撮像素子8によって撮影された第1の画像(
図8の(b)欄)と、この第1の画像よりも前に撮像素子8によって撮影された第2の画像(
図8の(a)欄)に基づいて、ビデオカメラの振れ量が検出される。この結果、振れ量を検出するための特別なセンサを備えることなく振れ量を検出することができる。
【0078】
また、本実施形態の像振れ補正装置によれば、第1の画像と第2の画像に基づいて、画像全体の動きベクトルKを計算し、この動きベクトルに基づいてビデオカメラの振れ量が検出される。この結果、動きのある被写体を撮影している場合でも、信頼性の高い動きベクトルKを計算することができ、精度の高い振れ補正を行うことができる。
【0079】
以上、本発明の実施形態を説明したが、上述した実施形態に種々の変更を加えることができる。特に、垂直、水平方向に対し、11点ずつ分割位置を設定し、これらの点について振れ量を評価していたが、振れを評価する点の数は任意に設定することができると共に、評価する点は必ずしも等間隔に設定されていなくても良い。
【0080】
また、上述した実施形態においては、撮像面上の平均的な像の振れ量が抑制されるように画像データの出力範囲が決定され、この出力範囲の移動量を基準移動量で除することにより補正係数を算出していた。しかしながら、補正係数を算出することなく、決定された移動量が直接実現されるように、画像データの出力範囲を決定することもできる。さらに、上述した実施形態においては、複数の補正モードが切り替え可能に構成されていたが、像振れ補正装置は補正モードを1つだけ備えていても良い。
【符号の説明】
【0081】
1 ビデオカメラ(撮像装置)
2 レンズ鏡筒
4 カメラ本体
4a 画角調整レバー
4b 補正モード選択スイッチ
6 撮影用レンズ
8 撮像素子
8a 撮像面
10 ジャイロセンサ(振れ角度センサ)
12 画像処理部
12a 出力範囲設定部
12b 画像データ出力部
14 半導体メモリ