特許 5694300 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5694300

(24)【登録日】2015年2月13日

(45)【発行日】2015年4月1日

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20150312BHJP

   G03B 5/00 20060101ALI20150312BHJP

   G06T 7/20 20060101ALI20150312BHJP

【ＦＩ】

   H04N5/232 Z

   G03B5/00 K

   G06T7/20 B

【請求項の数】11

【全頁数】26

(21)【出願番号】特願2012-512146(P2012-512146)

(86)(22)【出願日】2011年11月8日

(86)【国際出願番号】JP2011006230

(87)【国際公開番号】WO2012063469

(87)【国際公開日】20120518

【審査請求日】2014年7月1日

(31)【優先権主張番号】特願2010-253259(P2010-253259)

(32)【優先日】2010年11月11日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(72)【発明者】

【氏名】山田 整

(72)【発明者】

【氏名】大宮 淳

【審査官】 榎 一

(56)【参考文献】

【文献】 特開２０００−３４１５８２（ＪＰ，Ａ）

【文献】 特開２００９−２１９２９（ＪＰ，Ａ）

【文献】 特開２００９−１７１３４１（ＪＰ，Ａ）

【文献】 特開２００８−２３６６４５（ＪＰ，Ａ）

【文献】 特開２００８−２１９１２４（ＪＰ，Ａ）

【文献】 特開２００７−１２９５８７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／０２４６８４８（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００５／０２０６７３９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２〜２５７

Ｇ０３Ｂ ５／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

時間的に連続して撮影された複数の画像間の位置ずれを補正する画像処理装置であって、
第１の画像の時間的に後に撮影された第２の画像の前記第１の画像に対する位置ずれ量を示す移動量を、前記第１の画像および前記第２の画像それぞれから抽出される特徴点を用いて、推定する移動量推定部と、
前記移動量推定部により推定された前記移動量を用いて補正を行うか否かの判定を、前記特徴点に基づいて行う判定部と、
前記判定部により前記移動量を用いて補正を行うと判定された場合に、前記第２の画像の前記第１の画像に対する位置ずれを、前記移動量を用いて補正することにより、前記複数の画像間の位置ずれを補正する画像補正部とを備え、
前記複数の画像は、魚眼光学系を用いて撮影されており、
前記移動量推定部は、
前記第１の画像から第１特徴点を抽出し、前記第２の画像から第２特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部により抽出された前記第１特徴点と前記第２特徴点とでマッチングを行うことにより、前記第１の画像に対する前記第２の画像の位置ずれ量を示す移動量を推定する特徴点マッチング部と、
前記特徴点抽出部により抽出された前記第１特徴点と前記第２特徴点との座標を魚眼光学系の射影方式に応じた座標に変換する特徴点座標変換部とを備え、
前記特徴点マッチング部は、前記特徴点座標変換部により変換された前記第１特徴点の座標と前記第２特徴点の座標とでマッチングを行うことにより、前記第１の画像に対する前記第２の画像の位置ずれ量を示す移動量を推定する
画像処理装置。

【請求項4】

前記判定部は、前記特徴点に基づいて、前記移動量推定部により推定された前記移動量が前記第１の画像に対する前記第２の画像の位置ずれ量を示していると判定した場合に、前記移動量推定部により推定された前記移動量を用いて補正を行うと判定する
請求項１に記載の画像処理装置。

【請求項5】

前記判定部は、前記第１の画像または前記第２の画像で抽出される特徴点の数が所定の数より多いと判定した場合に、前記移動量推定部により推定された前記移動量を用いて補正を行うと判定する
請求項１または４に記載の画像処理装置。

【請求項6】

前記判定部は、前記第１の画像から抽出される第１特徴点と前記第２の画像から抽出される第２特徴点との座標が３次元投影された３次元座標上における前記第１特徴点の特徴点分布と前記第２特徴点の特徴点分布との一致度が所定の一致度よりも高いか否かを判定し、当該一致度が所定の一致度より高いと判定した場合に、前記移動量推定部により推定された前記移動量を用いて補正を行うと判定する
請求項１、４または５に記載の画像処理装置。

【請求項7】

前記判定部は、前記第１の画像から抽出される第１特徴点と前記第２の画像から抽出される第２特徴点との座標が投影された３次元座標上における前記第１特徴点の特徴点分布と前記第２特徴点の特徴点分布の一致度が所定の一致度より高い場合に、
さらに、前記第１の画像および前記第２の画像を領域分割し、分割した領域ごとに前記所定の一致度より高い前記第１特徴点と前記第２特徴点との特徴点分布を確認し、当該特徴点分布が前記分割した領域のうちの一部の領域に偏在する場合には、前記移動量推定部により推定された前記移動量を用いて補正を行わないと判定する
請求項１、４〜６のいずれか１項に記載の画像処理装置。

【請求項8】

前記画像処理装置は、さらに、撮影に用いた光学系の光軸周りの回転角度または前記光学系の光軸に対して互いに垂直な２軸のうち少なくとも１つの軸周りの回転角度を計測し、計測した前記回転角度を、前記第２の画像の前記第１の画像に対する移動量と推定するセンサ推定部を備える
請求項１に記載の画像処理装置。

【請求項9】

前記センサ推定部は、角加速度センサ、角速度センサ、加速度センサおよび方位センサのうち少なくとも１種類のセンサによって構成される
請求項８に記載の画像処理装置。

【請求項10】

前記画像処理装置は、さらに、前記判定部が前記移動量推定部により推定された移動量用いて補正を行わないと判定した場合に、前記センサ推定部により推定された移動量を用いて補正を行うか否かを決定する補正手段決定部を備える
請求項８に記載の画像処理装置。

【請求項11】

時間的に連続して撮影された複数の画像間の位置ずれを補正する画像処理方法であって、
第１の画像の時間的に後に撮影された第２の画像の前記第１の画像に対する位置ずれ量を示す移動量を、前記第１の画像および前記第２の画像それぞれから抽出される特徴点を用いて、推定する移動量推定ステップと、
前記移動量推定ステップにおいて推定された前記移動量を用いて補正を行うか否かの判定を、前記特徴点に基づいて行う判定ステップと、
前記判定ステップにおいて前記移動量を用いて補正を行うと判定された場合に、前記第２の画像の前記第１の画像に対する位置ずれを、前記移動量を用いて補正することにより、前記複数の画像間の位置ずれを補正する画像補正ステップとを含み、
前記複数の画像は、魚眼光学系を用いて撮影されており、
前記移動量推定ステップは、
前記第１の画像から第１特徴点を抽出し、前記第２の画像から第２特徴点を抽出する特徴点抽出ステップと、
前記特徴点抽出ステップにおいて抽出された前記第１特徴点と前記第２特徴点とでマッチングを行うことにより、前記第１の画像に対する前記第２の画像の位置ずれ量を示す移動量を推定する特徴点マッチングステップと、
前記特徴点抽出ステップにおいて抽出された前記第１特徴点と前記第２特徴点との座標を魚眼光学系の射影方式に応じた座標に変換する特徴点座標変換ステップとを含み、
前記特徴点マッチングステップにおいて、前記特徴点座標変換ステップにおいて変換された前記第１特徴点の座標と前記第２特徴点の座標とでマッチングを行うことにより、前記第１の画像に対する前記第２の画像の位置ずれ量を示す移動量を推定する
画像処理方法。

【請求項12】

時間的に連続して撮影された複数の画像間の位置ずれを補正することをコンピュータに実行させるためのプログラムであって、
第１の画像の時間的に後に撮影された第２の画像の前記第１の画像に対する位置ずれ量を示す移動量を、前記第１の画像および前記第２の画像それぞれから抽出される特徴点を用いて、推定する移動量推定ステップと、
前記移動量推定ステップにおいて推定された前記移動量を用いて補正を行うか否かの判定を、前記特徴点に基づいて行う判定ステップと、
前記判定ステップにおいて前記移動量を用いて補正を行うと判定された場合に、前記第２の画像の前記第１の画像に対する位置ずれを、前記移動量を用いて補正することにより、前記複数の画像間の位置ずれを補正する画像補正ステップとを含み、
前記複数の画像は、魚眼光学系を用いて撮影されており、
前記移動量推定ステップは、
前記第１の画像から第１特徴点を抽出し、前記第２の画像から第２特徴点を抽出する特徴点抽出ステップと、
前記特徴点抽出ステップにおいて抽出された前記第１特徴点と前記第２特徴点とでマッチングを行うことにより、前記第１の画像に対する前記第２の画像の位置ずれ量を示す移動量を推定する特徴点マッチングステップと、
前記特徴点抽出ステップにおいて抽出された前記第１特徴点と前記第２特徴点との座標を魚眼光学系の射影方式に応じた座標に変換する特徴点座標変換ステップとを含み、
前記特徴点マッチングステップにおいて、前記特徴点座標変換ステップにおいて変換された前記第１特徴点の座標と前記第２特徴点の座標とでマッチングを行うことにより、前記第１の画像に対する前記第２の画像の位置ずれ量を示す移動量を推定する
プログラム。

【請求項13】

時間的に連続して撮影された複数の画像間の位置ずれを補正する集積回路であって、
第１の画像の時間的に後に撮影された第２の画像の前記第１の画像に対する位置ずれ量を示す移動量を、前記第１の画像および前記第２の画像それぞれから抽出される特徴点を用いて、推定する移動量推定部と、
前記移動量推定部により推定された前記移動量を用いて補正を行うか否かの判定を、前記特徴点に基づいて行う判定部と、
前記判定部により前記移動量を用いて補正を行うと判定された場合に、前記第２の画像の前記第１の画像に対する位置ずれを、前記移動量を用いて補正することにより、前記複数の画像間の位置ずれを補正する画像補正部とを備え、
前記複数の画像は、魚眼光学系を用いて撮影されており、
前記移動量推定部は、
前記第１の画像から第１特徴点を抽出し、前記第２の画像から第２特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部により抽出された前記第１特徴点と前記第２特徴点とでマッチングを行うことにより、前記第１の画像に対する前記第２の画像の位置ずれ量を示す移動量を推定する特徴点マッチング部と、
前記特徴点抽出部により抽出された前記第１特徴点と前記第２特徴点との座標を魚眼光学系の射影方式に応じた座標に変換する特徴点座標変換部とを備え、
前記特徴点マッチング部は、前記特徴点座標変換部により変換された前記第１特徴点の座標と前記第２特徴点の座標とでマッチングを行うことにより、前記第１の画像に対する前記第２の画像の位置ずれ量を示す移動量を推定する
集積回路。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルスチルカメラ、ビデオカメラ、ウェアラブルカメラなどで撮影した映像の補正技術に関する。

【背景技術】

【0002】

例えば魚眼光学系等の超広角光学系を用いて撮影された映像の揺れ（画像間の位置ずれ）を画像処理で補正する方法がある。それは、時間的に連続して撮影された２枚の画像を用い、画像間で共通に写っている対象の情報を利用してＭＰＥＧ技術などに代表される動きベクトルを検出することでフレーム間（画像間）のカメラの揺れを推定して補正する方法である。このような動きベクトルを用いた方法では、動きベクトルを検出するために画像の領域を利用するというアルゴリズムの性質上、精度および計算コスト面での制限がある。そのため、検出可能なカメラの揺れの大きさの上限は事前に設定されており、例えば歩行時に撮影された映像やファインダレスで撮影された映像に含まれる揺れのような大きな揺れに対しては検出ができなかった。つまり、動きベクトルを用いた手法では扱えない大きさの揺れがあり、そのような大きさの揺れについては補正ができないという課題があった。

【0003】

それに対して、動きベクトルを用いた手法では扱えない大きさの揺れの補正が可能な方式として、特徴点ベースのマッチング手法がある。これは時間的に連続して撮影された２枚の画像間で共通に存在する被写体上のいくつかの特徴的な点を用いる。

【0004】

ここで、特徴点ベースのマッチング手法（特徴点マッチングとも記載）について具体的に説明する。

【0005】

図１Ａ〜図１Ｄは、特徴点ベースのマッチング手法を説明するための図である。以下、２枚の画像のうち、時間的に先に撮影された画像を画像ｔ−１、時間的に後に撮影された画像を画像ｔと表記する。

【0006】

図１Ａは、画像ｔ−１と、画像ｔ−１より時間的に後に撮影された画像ｔとを表す図である。図１Ｂは、図１Ａに示す画像ｔ−１、画像ｔから抽出された特徴点を表す図である。図１Ｃは、図１Ｂに示す画像ｔ−１、画像ｔから抽出された特徴点の性質の種類を示す図である。図１Ｄは、図１Ｂに示す画像ｔ−１、画像ｔから抽出された特徴点のマッチングを示す図である。ここで、特徴点とは、上述したように、画像処理によって検出可能な画像上の特徴的な点である。

【0007】

図１Ａに示す画像ｔ−１、画像ｔ上のコントラストの高い画素が、図１Ｂに示す特徴点として選択される。図１Ｂに示すようにコントラストが極めて高いようなコーナーに存在する特徴点は画像間（画像ｔ−１および画像ｔ）で共通して抽出されやすいが、コントラストがそれほど高くないような特徴点は画像間（画像ｔ−１および画像ｔ）で共通して抽出されにくい。

【0008】

図１Ｂに示す特徴点には、画像間（画像ｔ−１および画像ｔ）で共通に写っている領域から得られた特徴点（図１Ｃ中に○で示す特徴点）と、画像間（画像ｔ−１および画像ｔ）で共通に写っている領域から得られているが画像間（画像ｔ−１および画像ｔ）で位置が変わっている特徴点（図１Ｃ中に△で示す特徴点）とがある。また、図１Ｂに示す特徴点には、画像間（画像ｔ−１および画像ｔ）で共通に写っていない領域から得られた特徴点（図１Ｃ中に×で示す特徴点）も存在する。図１Ｂに示す特徴点のうちマッチング可能な特徴点は、画像間（画像ｔ−１および画像ｔ）で共通に写っている領域から得られた特徴点である（図１Ｃ中に○で示す特徴点）。

【0009】

しかし、画像間（画像ｔ−１および画像ｔ）で共通して写っている領域から得られた特徴点の位置や比は、マッチング前には未知であるため、どの特徴点が画像間（画像ｔ−１および画像ｔ）で共通に写っている領域から得られた特徴点であるかも未知である。そのため、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）などの手法を使い、画像ｔ−１で抽出された特徴点と画像ｔで抽出された特徴点とからそれぞれ特徴点の組合せを選び出し、事前に設定した評価関数でそれぞれの特徴点の組合せの評価値を求める（図１Ｄ）。この評価値は、画像間（画像ｔ−１および画像ｔ）で共通に写っている領域から得られている特徴点の組合せ（以下、ｉｎｌｉｅｒと表記する）であった場合に高くなりやすいように設計される。

【0010】

具体的には、画像ｔ−１で抽出された特徴点と画像ｔで抽出された特徴点とから選んだ２組の特徴点の組合せから回転行列を生成する。そして、生成した回転行列が正しいかどうかを検算するために、選んだ特徴点の組合せ以外の画像ｔ−１の特徴点を生成した回転行列で回転させ、回転させた後の画像ｔ−１の特徴点が画像ｔの特徴点と一致するかを確認する。回転させた後の画像ｔ−１の特徴点が画像ｔの特徴点と一致していれば、生成した回転行列が正しい画像間の揺れ量（位置ずれの程度）を表している可能性が高い事が分かるため、この一致度合を評価値とした評価関数を設定する。この評価関数を用いて規定回数探索を行った段階で探索を打ち切り、その時点で最大の評価値を得たｉｎｌｉｅｒを用いて回転行列を推定する。なお、このｉｎｌｉｅｒは図１Ｃ中で○に示す特徴点のような画像間で共通に存在する特徴点であり、主に撮影された画像内における遠景領域から得られる特徴点である。そして、遠景特徴点であるｉｎｌｉｅｒから推定された回転行列を用いて画像の揺れを補正する。

【0011】

一般的には、このような処理により、特徴点マッチングが行われる。つまり、特徴点マッチングは、画像間（画像ｔ−１および画像ｔ）で生じた位置ずれすなわち揺れを、画像ｔ−１と画像ｔとで共通に写っている領域から得られる画像ｔ−１の特徴点の分布と画像ｔの特徴点の分布とができるだけ一致するように反復的に探索を行う手法であり、画像ｔ−１と画像ｔとの共通に写っている領域から得られる特徴点分布が最も一致する時の移動量を画像間（画像ｔ−１および画像ｔ）の揺れ量とを推定する手法である。そして、この特徴点マッチングを行い、画像間（フレーム間）で生じた揺れ量を毎画像で推定し続けることで、推定した揺れ量を用いて映像（毎画像）の揺れを補正することができる。

【0012】

また、特徴点マッチングでは、一般的なアルゴリズムの特性として、特徴点分布における画像間（フレーム間）の類似性を用いるため、画像の部分的な領域情報を扱う動きベクトルを用いた手法と比較すると計算コストが低いという特徴がある。さらに、特徴点マッチングでは、画像全体の特徴点を用いたマッチングを行うことが可能であるため、ある程度の大きな揺れ量の推定も可能である。そのため、特徴点マッチングを適用することで、歩行時に撮影された映像やファインダレスで撮影された映像に含まれる大きな揺れであっても推定可能である。つまり、特徴点マッチングでは、動きベクトルを用いた手法では扱えない大きさの揺れを補正することができる。

【0013】

なお、例えば魚眼光学系を用いて撮影された映像の揺れの補正を行う場合には、魚眼光学系で採用されている射影方式に応じて外界からの光がレンズに入射する経路が変化するため、魚眼光学系で採用されている射影方式に応じた座標変換を行う必要がある。これは、画像処理で画像間（フレーム間）のカメラの揺れ量を推定する場合は、カメラが外界に対してどのように動いたかを知る必要があるからである。言い換えると、正しいカメラの揺れ量を求めるには、各画素が外界のどの位置から得られたかを知る必要があるためである。このため、動きベクトルなどを用いて揺れ量を推定する場合、特徴点マッチングを用いて揺れ量を推定する場合のいずれも、推定前に座標変換を考慮する必要がある。

【0014】

例えば特許文献１では、魚眼光学系で撮影された映像の揺れ量の推定方法として、画像処理の動きベクトルを用いて算出する方法が開示されている。

【先行技術文献】

【特許文献】

【0015】

【特許文献1】特開２００６−２９５６２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0016】

しかしながら、特徴点マッチングに限らず、画像処理を用いて揺れ量の推定を行う場合、画像処理では揺れ量の推定ができないような画像に対しても補正を行ってしまうことがあり、映像品質が劣化してしまう場合がある。

【0017】

以下、揺れ量が画像から推定できるかどうかが画像に写る被写体の内容に依存すること（被写体依存の問題）を説明する。

【0018】

図２Ａは画像にブラーが発生した場合の例を示す図であり、図２Ｂは画像に特徴のない場合の例を示す図である。図２Ｃは、画像に周期的な模様のある場合の例を示す図である。

【0019】

例えば、図２Ａに示すように画像中にブラーを含む場合、特徴点マッチングまたは動きベクトルに直接用いる画素値の値がブラーによってなまってしまう。そのため、これらの画像処理を用いて推定する揺れ量の推定精度は低くなってしまう。場合によっては、揺れ量の推定そのものができなくなってしまう。また、図２Ｂに示すように画像中に特徴的な被写体が写っていないような場合には、特徴点マッチングまたは動きベクトルが行う画像処理にとって手がかりとなるような画像の特徴が少ない。そのため、図２Ａと同様、これらの画像処理を用いて推定する揺れ量の推定精度は低くなる。そして場合によっては、揺れ量の推定そのものができなくなってしまう。また、図２Ｃに示すように、例えば地面のタイルなど画像中に周期的な模様（テクスチャ）のある場合、似たような特徴的な画像がその周囲に存在するため、特徴点マッチングまたは動きベクトルが行う画像処理にとって手がかりとなるような画像の特徴は複数存在する一方で、複数存在する手がかりの内容は似通っている。そのため、これらの画像処理を用いて推定した揺れ量の値はなかなか一意に決まらず、正しい揺れ量が推定できない。

【0020】

上記図２Ａ〜図２Ｃで説明した例は、画像情報を用いて処理するつまり画像処理によって揺れ量を推定する限りにおいて避ける事ができない。なお、上記特許文献１に記載の推定方法は、この図２Ａ〜図２Ｃに示すような画像の対応の考慮はされていない。

【0021】

さらに、図２Ａ〜図２Ｃに示す画像を含むシーンに対して動きベクトルなどの手法を用いた場合は精度の低下だけにとどまらず、補正を行わない場合よりも映像品質が劣化するような場合がある。

【0022】

本発明は、上述の事情を鑑みてなされたもので、画像処理では揺れ量の推定ができないような画像を含んでいても、時間的に連続して撮影された複数の画像間の揺れ量を高精度に補正することができる画像処理装置、画像処理方法、プログラムを提供することを目的とする。

【課題を解決するための手段】

【0023】

上記目的を達成するために、本発明の画像処理装置の一態様は、時間的に連続して撮影された複数の画像間の位置ずれを補正する画像処理装置であって、第１の画像の時間的に後に撮影された第２の画像の前記第１の画像に対する位置ずれ量を示す移動量を、前記第１の画像および前記第２の画像それぞれから抽出される特徴点を用いて、推定する移動量推定部と、前記移動量推定部により推定された前記移動量を用いて補正を行うか否かの判定を、前記特徴点に基づいて行う判定部と、前記判定部により前記移動量を用いて補正を行うと判定された場合に、前記第２の画像の前記第１の画像に対する位置ずれを、前記移動量を用いて補正することにより、前記複数の画像間の位置ずれを補正する画像補正部と、を備える。

【0024】

この構成により、前記特徴点に基づき、特徴点ベースのマッチング処理過程から取得できる画像情報から画像処理が苦手な画像であるかを判定することができる。そのため、画像処理では揺れ量の推定ができないような画像を含んでいても、時間的に連続して撮影された複数の画像間の揺れ量を高精度に補正することができる画像処理装置を実現することができる。

【0025】

なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。

【発明の効果】

【0026】

本発明によれば、画像処理では揺れ量の推定ができないような画像を含んでいても、時間的に連続して撮影された複数の画像間の揺れ量を高精度に補正することができる画像処理装置、画像処理方法、プログラムおよび撮影装置を実現することができる。

【図面の簡単な説明】

【0027】

【図1A】図１Ａは、特徴点ベースのマッチング手法を説明するための図である。

【図1B】図１Ｂは、特徴点ベースのマッチング手法を説明するための図である。

【図1C】図１Ｃは、特徴点ベースのマッチング手法を説明するための図である。

【図1D】図１Ｄは、特徴点ベースのマッチング手法を説明するための図である。

【図2A】図２Ａは、画像にブラーが発生した場合の例を示す図である。

【図2B】図２Ｂは、画像に特徴のない場合の例を示す図である。

【図2C】図２Ｃは、画像に周期的な模様のある場合の例を示す図である。

【図3】図３は、本発明の実施の形態１における全体構成を示すブロック図である。

【図4】図４は、本発明の実施の形態１における移動量推定部の構成を示すブロック図である。

【図5】図５は、本発明の実施の形態１における判定部２３の構成を示すブロック図である。

【図6】図６は、広角光学系で撮影された画像を２次元から３次元に投影する場合の図である。

【図7】図７は、３次元に投影された画像ｔ−１、画像ｔの特徴点の例を示す図である。

【図8】図８は、ブラーのない場合において３次元に投影された画像ｔ−１、画像ｔの特徴点を重ね合わせた場合の図である。

【図9】図９は、ブラーのある場合とない場合とにおける３次元に投影された特徴点の位置ずれの例を示す図である。

【図10】図１０は、ブラーのある場合において３次元に投影された画像ｔ−１、画像ｔの特徴点を重ね合わせた場合の例を示す図である。

【図11】図１１は、テクスチャ領域での特徴点を表す図である。

【図12】図１２は、テクスチャ領域で画像ｔ−１および画像ｔで、共通した特徴点を選択する事が難しいことを説明するための図である。

【図13】図１３は、テクスチャ領域がある場合に、特徴点分布の一致度が特徴点ごとに異なることを示す図である。

【図14】図１４は、テクスチャの探索領域を示す図である。

【図15】図１５は、本発明の実施の形態１における画像処理装置２０の処理の流れについて説明するためのフローチャートである。

【図16】図１６は、本発明の実施の形態１における画像処理装置２０の処理の流れについて説明するためのフローチャートである。

【図17】図１７は、本発明の実施の形態２における全体構成を示すブロック図である。

【図18】図１８は、本発明の実施の形態２における画像処理装置３０の処理の流れについて説明するためのフローチャートである。

【発明を実施するための形態】

【0028】

以下、本発明の実施の形態について図面を参照しながら説明する。

【0029】

（実施の形態１）
図３は、本発明の実施の形態１における全体構成を示すブロック図である。

【0030】

撮像部１０は、例えばデジタルスチルカメラやデジタルビデオカメラなどＣＣＤやＣＭＯＳセンサ等の撮像素子を備えたカメラであり、映像を撮影して電気信号として出力する。

【0031】

画像処理装置２０は、時間的に連続して撮影された複数の画像間の位置ずれを補正するための画像処理装置であって、画像取得部２１と画像処理部２０ａとを備える。

【0032】

画像取得部２１は、処理対象の画像データを取得する。具体的には、画像取得部２１は、撮像部１０で時間的に連続して撮影された複数の画像のうち第１の画像（画像ｔ−１）と、第１の画像（画像ｔ−１）の時間的に後に撮影された第２の画像（画像ｔ）の２枚の画像データを取得する。

【0033】

ここで、画像ｔ−１は第１の画像の例であり、画像ｔは第２の画像の例である。また、説明を簡単にするため、画像ｔ−１（第１の画像）は時系列上で画像ｔ（第２の画像）の直前に撮影された画像であり、画像ｔは画像ｔ−１が撮影された直後に撮影された画像であるとする。この画像ｔ−１および画像ｔの画像データは一般的なＪＰＥＧ形式で圧縮符号化されたものでも良いし、ＭＰＥＧ４等の動画形式で記録されたものでも良い。

【0034】

画像処理部２０ａは、移動量推定部２２と、判定部２３と、画像補正部２４とを備え、画像取得部２１により取得した画像データを処理する。

【0035】

移動量推定部２２は、図４に示すように、特徴点抽出部２２１と、特徴点座標変換部２２２と、特徴点マッチング部２２３と、メモリ２２４とを備え、第１の画像の時間的に後に撮影された第２の画像の第１の画像に対する位置ずれ量を示す移動量を、第１の画像および第２の画像それぞれから抽出される特徴点を用いて、推定する。なお、図４は、本発明の実施の形態１における移動量推定部２２の構成を示すブロック図である。

【0036】

特徴点抽出部２２１は、第１の画像から第１特徴点を抽出し、前記第２の画像から第２特徴点を抽出する。具体的には、特徴点抽出部２２１は、画像取得部２１により取得された画像ｔ−１および画像ｔが入力され、入力された画像ｔ−１および画像ｔの特徴点の抽出を行い、それぞれ特徴点データｔ−１および特徴点データｔを生成する。

【0037】

ここで特徴点とは、上述したように、画像処理によって検出可能な画像上の特徴的な点であり、例えば画像中の縦方向・横方向のエッジが共に強く出ているエッジの交差した点、ローカルの近傍に２つの異なる方向を向いた強いエッジの存在する点などである。特徴点は、時系列上で連続した画像ｔ−１と画像ｔとの２枚の画像間で共通に写っている点から安定的に検出（推定）できるもの（ｉｎｌｉｅｒ）が好ましい。しかし、特徴点抽出部２２１が特徴点を抽出する際、画像ｔ−１と画像ｔとの正確な位置関係は未知である。そのため、何らかの基準を用いて共通に存在する特徴点を抽出する必要がある。

【0038】

以下、共通に存在する特徴点を抽出するために用いる基準について説明する。

【0039】

例えば特徴点の抽出にＨａｒｒｉｓを用いた場合、画像のエッジを基準として縦・横のエッジが交差するようなコーナー点が抽出される。

【0040】

具体的には、特徴点抽出部２２１は、画素ごとにエッジの交差度を表す特徴点スコアを算出することにより上記のコーナー点を抽出する。ここで、理論上は、特徴点抽出部２２１により画素ごとに特徴点スコアが算出され存在することになる。しかし、例えば組込み系などリソース制限のある環境で画像処理装置２０が実装される場合、後段の特徴点マッチング部２２３でマッチング処理に用いる特徴点数に上限が存在する場合がある。これを考慮すると、特徴点抽出部２２１で算出された全ての特徴点を用いて、特徴点マッチング部２２３でマッチング処理を行うことは計算コストおよび演算精度の面から好ましくない。そのため、特徴点スコアの高いものから順に規定数に達するまでを特徴点として採用した上でマッチング処理を行うことが好ましい。

【0041】

ここで、特徴点スコアの高いものから順に規定数に達するまでを特徴点として採用するのが好ましい理由について説明する。Ｈａｒｒｉｓで使用されるエッジは画像のコントラスト（輝度値）変化を反映するため、照明条件が多少変化する程度である場合は画像のコントラストは保存され、エッジは消失しない。つまり、遮蔽によって障害物などに隠され、エッジ自体が消失する場合を除いては、エッジは画像間（フレーム間）で消失する可能性は低いからである。そのため、エッジ情報をベースとした特徴点スコアの高い点は、画像ｔ−１と画像ｔとにおいて特徴点として共通して存在する可能性が高い。

【0042】

以上から、共通に存在する特徴点を抽出するために用いる基準として特徴点スコアを使用する場合は、特徴点抽出部２２１は、ある特定の閾値よりもスコアの高い特徴点を抽出することになる。ここで、特徴点スコアを用いて特徴点を抽出する場合、上記の特定の閾値は画像内の平均スコアの値を用いてもよいし、複数の画像の時系列上でのスコアの平均などを基に決めた値を用いてもよい。また、上記の特定の閾値は、画像全体で１つの閾値を用いる必要はなく、領域ごとに生成される閾値を用いるとしてもよい。さらに、この領域ごとに生成される閾値は単一の画像を基に決めるとしてもよいし、時系列上の複数の画像を利用して決めるとしてもよい。

【0043】

また、特徴点スコアは、何らかのオブジェクトの認識を行った場合のオブジェクトのスコアを基に決めるとしてもよい。

【0044】

なお、この特徴点抽出部２２１を実現する代表的な方法としては、この他にＳＩＦＴ、ＳＵＲＦなどの方法が存在する。

【0045】

特徴点座標変換部２２２は、特徴点抽出部２２１により抽出された第１の画像の第１特徴点と第２の画像の第２特徴点との座標を魚眼光学系の射影方式に応じた座標に変換する。具体的には、特徴点座標変換部２２２は、時間的に連続して撮影された複数の画像が魚眼光学系を用いて撮影された場合に、撮影された複数の画像の特徴点の座標を魚眼光学系で採用されている射影方式に応じた座標に変換する座標変換を行う。

【0046】

このような座標変換を行うのは、例えば魚眼光学系の超広角光学系で採用している射影方式によって入力画像から得られる特徴点座標の位置と外界における位置が異なり、正しいカメラの揺れ量を画像から推定するために、入力画像から得られる特徴点座標の位置と外界における位置とを一致させる必要があるからである。そのため、特徴点座標変換部２２２は、入力画像から得られる特徴点の座標に対して射影変換の逆変換を行い、各特徴点の外界での位置を算出する。なお、この座標変換は、少なくとも特徴点マッチング部２２３から得られる遠景特徴点（ｉｎｌｉｅｒ）の座標に対して行われるが、遠景特徴点（ｉｎｌｉｅｒ）の座標に対する座標変換のみに限らず、画像全体の座標変換を行ってもよい。

【0047】

なお、特徴点座標変換部２２２は、時間的に連続して撮影された複数の画像が魚眼光学系を含む広角光学系を用いて撮影されていない場合には、処理を行わない。その場合には、特徴点抽出部２２１により抽出された第１の画像の第１特徴点と第２の画像の第２特徴点とは、直接、特徴点マッチング部２２３に入力されるとしてもよい。

【0048】

特徴点マッチング部２２３は、特徴点抽出部２２１により抽出された第１の画像の第１特徴点と第２の画像の第２特徴点とでマッチングを行うことにより、第１の画像に対する第２の画像の位置ずれ量を示す移動量を推定する。また、特徴点マッチング部２２３は、時間的に連続して撮影された複数の画像が魚眼光学系を用いて撮影された場合には、特徴点座標変換部２２２により変換された座標の第１特徴点と第２特徴点とでマッチングを行うことにより、前記第１の画像に対する前記第２の画像の位置ずれ量を示す移動量を推定する。

【0049】

具体的には、特徴点マッチング部２２３は、画像ｔ−１の特徴点データｔ−１と画像ｔの特徴点データｔとの間のマッチングすなわち対応関係の推定を行う。ここで、特徴点データｔ−１は、前フレーム期間で画像ｔ−１から特徴点抽出部２２１が抽出し、例えばメモリ２２４に記憶させていたものを用いるとする。また、特徴点データｔは、現フレーム期間で画像ｔから特徴点抽出部２２１が抽出した特徴点データｔを用いるとする。

【0050】

特徴点マッチング部２２３は、これら特徴点データｔ−１と特徴点データｔとを用いて画像ｔ−１および画像ｔの間に生じたカメラの動きを示す回転行列の推定を行う。ここで、回転行列の算出方法はＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）などの手法を用いる。この回転行列からはフレーム間すなわち画像間で発生したカメラの揺れ量を表すｒｏｌｌ、ｐｉｔｃｈ、ｙａｗの回転成分が得られる。なお、回転行列の推定に失敗した場合には、ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗには０を設定し、画像間では回転がなかったとして取り扱う。

【0051】

以上のように移動量推定部２２は、構成される。

【0052】

判定部２３は、図５に示すように、特徴点判定部２３１と、ブラー判定部２３２と、テクスチャ判定部２３３とを備え、抽出された特徴点に基づいて、移動量推定部２２により推定された移動量を用いて補正を行うか否かの判定を行う。ここで、図５は、本発明の実施の形態１における判定部２３の構成を示すブロック図である。

【0053】

判定部２３は、抽出された特徴点に基づいて、移動量推定部２２により推定された移動量が第１の画像に対する第２の画像の位置ずれ量（揺れ量）を示していると判定した場合に、移動量推定部２２により推定された移動量を用いて補正を行うと判定する。具体的には、判定部２３は、画像から得られる情報を基に画像処理の苦手なシーンすなわち画像処理ではカメラの揺れ量を推定できない画像を含むシーンを判定する。そして、判定部２３は、画像処理ではカメラの揺れ量を推定できない画像を含むシーンであると判定した場合は画像処理を行わないように画像補正部２４を制御する。

【0054】

画像処理でカメラの揺れ量を推定できない画像を含むシーンの例としては、図２Ａに示すように画像中にブラーを含む場合、図２Ｂに示すように、画像中に特徴的な被写体が写っていないような場合、図２Ｃに示すように、例えば地面のタイルなど周期的な模様（テクスチャ）のある場合などがある。以降、判定部２３のこれらの判定方法について説明する。

【0055】

まず、図２Ａに示すように画像中にブラーを含む画像の判定方法について説明する。図６は、広角光学系で撮影された画像を２次元から３次元に投影する場合の図である。図７は、３次元に投影された画像ｔ−１、画像ｔの特徴点の例を示す図である。図８は、ブラーのない場合において３次元に投影された画像ｔ−１、画像ｔの特徴点を重ね合わせた場合の図である。図９は、ブラーのある場合とない場合とにおける３次元に投影された特徴点の位置ずれの例を示す図である。図１０は、ブラーのある場合において３次元に投影された画像ｔ−１、画像ｔの特徴点を重ね合わせた場合の例を示す図である。

【0056】

ブラー判定部２３２は、ブラーを含む画像を特徴点マッチングの枠組みから判定する。以下、その方法について説明する。

【0057】

２次元（ｘ、ｙ）の画像から３次元情報である回転運動（ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ）を求める際または求めた後に、特徴点を３次元に投影することで、３次元に投影された特徴点から特徴点の分布の関係を確認することができる。具体的には、まず、図６に示すように特徴点が抽出された２次元の画像を３次元に投影する。ここで、図６（ａ）は、典型例として魚眼光学系を用いて撮影された画像であって特徴点が抽出された画像であることを示しており、図６（ｂ）は、３次元座標に投影された特徴点の分布を示している。このような座標変換を行うのは、上述したように、２次元（ｘ、ｙ）の画像平面上では求める事ができない３次元情報である回転運動（ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ）を求めるためであり、更に魚眼光学系で採用している射影方式によって入力画像から得られる特徴点座標の位置と外界における位置とが異なる場合は射影方式における位置ずれを考慮した補正を行うためである。つまり、このような座標変換は、正しいカメラの揺れ量の回転運動を画像から推定するために行っている。ここでは更に入力画像から得られる特徴点座標の位置と外界における位置とを一致させるために射影変換を行っている。また、このような座標変換は、魚眼光学系に限らず光学系（レンズ）の歪みの補正にも有用である。そして、求めた回転運動を用いて、特徴点を３次元に投影することで、３次元に投影された特徴点から特徴点の分布の関係がわかる。

【0058】

ブラー判定部２３２は、このような方法を用いて、特徴点を３次元座標へ投影した後に、移動量推定部２２で推定された画像間（フレーム間）に生じたカメラの揺れ量（移動量）から画像間（フレーム間）の特徴点の分布の関係を確認する。

【0059】

ここで、揺れ補正処理の対象としている画像中にブラーを含んでいない場合は、画像間（フレーム間）での画像のコントラストが保たれるため、図７に示すように画像ｔ−１および画像ｔでは画像間（フレーム間）の特徴点の分布は類似する。そのため、移動量推定部２２で正しい揺れ量（移動量）が推定された場合には、図８（ａ）の状態が図８（ｂ）の状態となるように、画像ｔ−１および画像ｔの特徴点の分布は大まかに一致する。一方で、揺れ補正処理の対象としている画像中にブラーを含んでいる場合には、画像間（フレーム間）での画像のコントラストが保たれない。そのため、画像ｔではブラーの影響で画像のコントラストが低くなるため、ブラーのない場合の特徴点の分布とは異なる特徴点の分布、具体的には図９に示すように画像間（フレーム間）の特徴点の分布の類似度が低い分布が得られることになる。この類似度が低い特徴点の分布を用いて画像間（フレーム間）のカメラの揺れ量（移動量）を推定した場合には、図１０（ａ）の状態が図１０（ｂ）の状態になるように、正しい揺れ量が推定できない。つまり、画像ｔ−１および画像ｔの特徴点の分布の一致度は低くなる。

【0060】

このような特性を用いて、ブラー判定部２３２は、特徴点の分布の一致度を用いて画像間（フレーム間）で画像にブラーが生じたかどうかをおおまかに判定する事ができる。

【0061】

以上のように、ブラー判定部２３２は、画像にブラーが生じたかどうかをおおまかに判定する。具体的には、ブラー判定部２３２は、例えば各々の特徴点の一致度が一定以内の距離にある特徴点の個数をカウントし、その特徴点の個数が閾値より少ない場合にはブラーが存在すると判定してもよい。また、ブラー判定部２３２は、各々の特徴点の一致度を計測し、その合計値が閾値より多い場合にブラーが存在すると判定するとしてもよい。また、各々の特徴点の移動方向を計測し、その移動方向の分散を用いて判定しても良い。

【0062】

以上のように、ブラー判定部２３２は、第１の画像から抽出される第１特徴点と第２の画像から抽出される第２特徴点との座標を３次元座標に投影し、投影した３次元座標上における第１特徴点の特徴点分布と第２特徴点の特徴点分布との一致度が所定の一致度よりも高いか否かを判定し、当該一致度が所定の一致度より高いと判定した場合に、移動量推定部２２により推定された移動量を用いて補正を行うと判定する。

【0063】

なお、画像処理装置２０がカメラのシャッタースピードを取得できる場合には、ブラー判定部２３２は、シャッタースピードの速さに応じてブラーの有無を判定するとしてもよい。

【0064】

次に、図２Ｂに示すように画像中に特徴的な被写体が写っていない画像の判定方法について説明する。

【0065】

特徴点判定部２３１は、第１の画像または第２の画像で抽出される特徴点の数が所定の数より多いか否かを判定する。特徴点判定部２３１は、第１の画像または第２の画像で抽出される特徴点の数が所定の数より多いと判定した場合に、移動量推定部により推定された移動量を用いて補正を行うと判定する。具体的には、特徴点判定部２３１は、入力画像からエッジ情報を算出し特定以上のエッジ強度を持つ画素の数が閾値に満たない場合に、特徴的な被写体が写っていないと判定する。

【0066】

なお、特徴点判定部２３１は、特定のオブジェクトが写っているかどうかの検出を行い、その特定オブジェクトの有無で特徴的な被写体が写っているかどうか判定するとしてもよいし、画像を複数領域に分割して領域ごとの輝度値の分散を調べ、その分散値の大小を基に特徴的な被写体が移っているかどうか判定するとしてもよい。

【0067】

次に、図２Ｃに示すように例えば地面のタイルなど周期的な模様（テクスチャ）のある画像の判定方法について説明する。図１１は、テクスチャ領域での特徴点を表す図である。図１２は、テクスチャ領域で画像ｔ−１および画像ｔで、共通した特徴点を選択する事が難しいことを説明するための図である。図１３は、テクスチャ領域がある場合に、特徴点分布の一致度が特徴点ごとに異なることを示す図である。図１４は、テクスチャの探索領域を示す図である。

【0068】

テクスチャ判定部２３３は、画像中にブラーを含む場合のように特徴点マッチングの枠組みから判定する。以下、その方法を採用する至った背景について説明する。

【0069】

画像中に周期的な模様（テクスチャ）を含むか否かに関わらず、抽出された特徴点全てを用いて特徴点マッチング部２２３で処理を行うと、上述したように計算コストが極めて高くなってしまう。そのため、実際にはこれらの抽出された特徴点からいくつかの代表的な特徴点に絞って処理を行う。

【0070】

このように絞った特徴点には、図１Ｃで示したような○、△、×の特徴点が存在し、○で示される画像間（フレーム間）で共通の特徴点（ｉｎｌｉｅｒ）が多ければ多いほど、画像間（フレーム間）のカメラの揺れ量（移動量）を安定して推定できる。逆に△や×の特徴点が多ければ多いほど、カメラの揺れ量（移動量）の推定が失敗する可能性が高くなる。そのため、安定してカメラの揺れ量（移動量）を推定するためには、特徴点の数を絞る過程において多くの○の特徴点（ｉｎｌｉｅｒ）を残す事が重要である。

【0071】

しかし、このように特徴点の数を絞る過程において問題となるのが、類似した高コントラストを持つ画素が周期的に存在するというテクスチャ領域の特性である。例えば、図１１（ａ）に示すように例えば地面のタイルなどのテクスチャ領域では類似した高コントラストを持つ画素が周期的に並ぶため、このコントラスト情報を利用した特徴点は、図１１（ｂ）に示すようにテクスチャ領域から多く抽出される。

【0072】

ところで、画像中にテクスチャ領域が存在しない場合であれば高コントラストを持つ画素は画像内で限られているため、特徴点の数を絞ったとしてもフレーム間で共通に存在する○の特徴点（ｉｎｌｉｅｒ）が残り易いので、特徴点マッチング部２２３により画像間（フレーム間）で発生したカメラの揺れ量（移動量）を推定することができる。

【0073】

一方、画像中にテクスチャ領域が存在する場合は、高コントラストを持つ画素が画像内に多く存在することになるため、図１２に示すようにテクスチャ領域から得られる特徴点が支配的になり、図１３（ａ）に示すように画像間（フレーム間）で共通しない△の特徴点が多く選択される可能性がある。これは、カメラの揺れ量（移動量）や写っている被写体の内容が既知ではない上、被写体を識別する大きな手掛かりである特徴点のコントラスト値がテクスチャ内で類似しているため、特徴点を絞るべき基準が存在せず、どの特徴点に絞って良いかを判断できなくなることで生じる。

【0074】

したがって、画像中にテクスチャ領域が存在する場合に、抽出された特徴点を用いて特徴点マッチング部２２３がマッチングを行うと、画像間（フレーム間）のカメラの揺れ量（移動量）を誤推定する場合がある。この誤推定は、特徴点の一致度をどのように定義するかにもよるが、一般的には、例えば図８（ｂ）において、揺れ量（移動量）推定後の画像ｔ−１の特徴点と画像ｔの特徴点との間の距離が一定以下の点の個数を一致度と設定する。そのため、テクスチャ判定部２３３は、画像ｔ−１の特徴点と画像ｔの特徴点の間の距離が一定以下の点の個数が多い場合に、マッチング成功すなわち移動量推定部２２により推定された移動量を用いて補正を行うと判定するとすればよい。

【0075】

なお、図８は、画像間（フレーム間）でブラーなどの誤差要因が生じていない場合であり、実際には多少程度のブラーやある程度の誤差が存在する。そのため、画像ｔ−１の特徴点と画像ｔの特徴点との間の距離を満たすものとして最小距離が設定され、この設定した最小距離を満たす特徴点はカメラの揺れ量（移動量）を表す特徴点とみなされる。しかし、図１３（ａ）に示すように画像間で位置の変わっている特徴点△が多数存在する場合、実際にはカメラの揺れ量（移動量）を表していない特徴点が、図１３（ｂ）に示すように最小距離の設定によってはカメラの揺れ量（移動量）を表している特徴点としてみなされることがある。つまり、先に説明したように、画像中にテクスチャ領域が存在する場合には、カメラの揺れ量（移動量）を誤推定しまう原因となる。

【0076】

このような背景から、テクスチャ判定部２３３は、この誤推定の原因となるテクスチャの有無を判定することで、移動量推定部２２により推定された移動量が第１の画像に対する第２の画像の位置ずれ量（揺れ量）を示しているかを判定する。

【0077】

具体的には、テクスチャ判定部２３３は、魚眼光学系などの広角光学系を用いて撮影された映像（画像）ではテクスチャが特定領域に偏って存在する傾向（図２Ｃに示すタイルの部分）を利用する。

【0078】

さらに具体的には、テクスチャ判定部２３３は、特徴点マッチング部２２３によりマッチングが行われた後にはカメラの揺れ量（移動量）が取得できるので、画像間（フレーム間）の特徴点の分布の一致度を取得できる。取得した特徴点分布の一致度が高い時は、正しい揺れ量が推定できた場合（図１Ｃの○を多く含む場合）とテクスチャによる誤推定の場合（図１Ｃの△を多く含む場合）とが考えられる。そこで、取得した特徴点の分布の一致度が高い場合には、さらに、この一致度の高い特徴点の分布（ｉｎｌｉｅｒの分布）を図１４のように領域ごとに分割して領域ごとの偏在を確認する。この領域ごとの一致度を算出した際に、一部の領域だけ一致度の高い特徴点の分布（ｉｎｌｉｅｒの分布）が突出して高い（つまり偏在している）場合は、テクスチャの影響を受けている可能性があると判定できる。

【0079】

そして、このようにテクスチャの影響を受けている可能性があると判定できる場合には、周辺領域のコントラスト値を求め、周辺領域のコントラスト類似度を計測する。計測した類似度が高い場合には、該当する領域（偏在している領域）にはテクスチャが存在することがわかる。

【0080】

以上のように、テクスチャ判定部２３３は、第１の画像から抽出される第１特徴点と第２の画像から抽出される第２特徴点との座標を３次元座標に投影を行い、投影した３次元座標上における第１特徴点の特徴点分布と第２特徴点の特徴点分布との一致度が所定の一致度より高い場合に、さらに、第１の画像および第２の画像を領域分割し、分割した領域ごとに前記所定の一致度より高い第１特徴点と第２特徴点との特徴点分布（ｉｎｌｉｅｒの分布）を確認し、当該特徴点分布（ｉｎｌｉｅｒの分布）が分割した領域のうちの一部の領域に偏在する場合には、移動量推定部２２により推定された前記移動量を用いて補正を行わないと判定する。

【0081】

なお、この判定により、テクスチャが存在する可能性があると判定された場合には、別途センサを用いて揺れ量（移動量）を推定し、その揺れ量（移動量）の補正を行うように制御してもよいし、テクスチャの存在する領域に対してマスクをかけ、テクスチャ領域を除外した上でもう一度、特徴点マッチング部２２３がマッチングを行って、カメラの揺れ量（移動量）を推定するとしてもよい。また、この結果を時系列上で利用し、テクスチャ領域にマスクをかけ続け、テクスチャの影響を除外するような制御法を用いてもよい。

【0082】

以上のように構成された判定部２３は、抽出された特徴点に基づいて、移動量推定部２２により推定された移動量を用いて補正を行うか否かの判定を行う。

【0083】

なお、ブラー判定部２３２およびテクスチャ判定部２３３は、第１の画像から抽出される第１特徴点と第２の画像から抽出される第２特徴点との座標を３次元座標に投影するという座標変換を行った上で、第１特徴点の特徴点分布と第２特徴点の特徴点分布との一致度を確認しているが、それに限らない。魚眼光学系を用いて撮影された画像でなく、光学系（レンズ）の歪みの補正を行わない場合には、この座標変換を行わずに、その後の処理を行うとしてもよい。

【0084】

画像補正部２４は、判定部２３により移動量を用いて補正を行うと判定された場合に、第２の画像の第１の画像に対する位置ずれを、移動量を用いて補正することにより、複数の画像間の位置ずれを補正する。具体的には、画像補正部２４は、特徴点マッチング部２２３で算出された補正値（移動量）を用いて画像ｔ−１、画像ｔのフレーム間（画像間）で生じたカメラの揺れを補正する。画像補正部２４は、補正量すなわち移動量を示すパラメータｒｏｌｌ、ｐｉｔｃｈおよびｙａｗを用いて例えばアフィン変換などを行うことにより画像ｔの画像ｔ−１に対する揺れの補正を行う。

【0085】

次に、以上のように構成された画像処理装置２０の処理の流れについて説明する。

【0086】

図１５および図１６は、本発明の実施の形態１における画像処理装置２０の処理の流れについて説明するためのフローチャートである。図１６は、図１５の処理を詳細化したものである。

【0087】

まず、画像処理装置２０は、画像取得部２１で処理対象の画像データを取得する。具体的には、画像取得部２１は、撮像部１０から得られる画像ｔおよび画像ｔ−１の画像データをそれぞれ読み込む。

【0088】

次に、移動量推定部２２は、第１の画像の時間的に後に撮影された第２の画像の前記第１の画像に対する位置ずれ量を示す移動量を、前記第１の画像および前記第２の画像それぞれから抽出される特徴点を用いて、推定する（Ｓ１０）。具体的には、特徴点抽出部２２１は、第１の画像から第１特徴点を抽出し、第２の画像から第２特徴点を抽出する（Ｓ１０１）。次いで、特徴点座標変換部２２２は、特徴点抽出部２２１により抽出された第１の画像の第１特徴点と第２の画像の第２特徴点との座標を魚眼光学系の射影方式に応じた座標に変換する（Ｓ１０２）。その結果、各特徴点の外界の位置が算出される。次いで、特徴点マッチング部２２３は、特徴点抽出部２２１により抽出された第１の画像の第１特徴点と第２の画像の第２特徴点とでマッチングを行うことにより、第１の画像に対する第２の画像の位置ずれ量を示す移動量を推定する（Ｓ１０３）。

【0089】

次に、判定部２３は、抽出された特徴点に基づいて、移動量推定部２２により推定された移動量を用いて補正を行うか否かの判定を行う（Ｓ２０）。具体的には、まず、特徴点判定部を行う。すなわち、特徴点判定部２３１は、第１の画像または第２の画像で抽出される特徴点の数が所定の数より多いか否かを判定する（Ｓ２０１）。特徴点判定部２３１は、第１の画像または第２の画像で抽出される特徴点の数が所定の数より多いと判定した場合に（Ｓ２０１のｐａｓｓ）、Ｓ２０２へと進む。なお、特徴点判定部２３１は、第１の画像または第２の画像で抽出される特徴点の数が所定の数より多くない（つまり少ない）と判定した場合には（Ｓ２０１のｆａｉｌ）、移動量推定部２２により推定された移動量を用いて補正を行わないと判定し、画像処理装置２０の処理を終了させる。次いで、ブラー判定を行う。すなわち、ブラー判定部２３２は、第１の画像から抽出される第１特徴点と第２の画像から抽出される第２特徴点との座標を３次元座標に投影し、３次元座標上における第１特徴点の特徴点分布と第２特徴点の特徴点分布との一致度が所定の一致度よりも高いか否かを判定する（Ｓ２０２）。ブラー判定部２３２は、当該一致度が所定の一致度より高いと判定した場合に、移動量推定部２２により推定された移動量を用いて補正を行うと判定し（Ｓ２０１のｐａｓｓ）、Ｓ２０３へと進む。なお、ブラー判定部２３２は、当該一致度が所定の一致度より高くない（つまり低い）と判定した場合に（Ｓ２０２のｆａｉｌ）、移動量推定部２２により推定された移動量を用いて補正を行わないと判定し、画像処理装置２０の処理を終了させる。次いで、テクスチャ判定を行う。すなわち、テクスチャ判定部２３３は、第１の画像から抽出される第１特徴点と第２の画像から抽出される第２特徴点との座標を３次元座標に投影を行い、３次元座標上における第１特徴点の特徴点分布と第２特徴点の特徴点分布との一致度が所定の一致度より高い場合に、さらに、第１の画像および第２の画像を領域分割し、分割した領域ごとに前記所定の一致度より高い第１特徴点と第２特徴点との特徴点分布（ｉｎｌｉｅｒの分布）を確認する（Ｓ２０３）。テクスチャ判定部２３３は、当該特徴点分布（ｉｎｌｉｅｒの分布）が分割した領域のうちの一部の領域に偏在しない場合には、（Ｓ２０３のｐａｓｓ）、移動量推定部２２により推定された前記移動量を用いて補正を行うと判定し、Ｓ３０へと進む。なお、テクスチャ判定部２３３は、当該特徴点分布（ｉｎｌｉｅｒの分布）が分割した領域のうちの一部の領域に偏在する場合には、（Ｓ２０３のｆａｉｌ）、移動量推定部２２により推定された移動量を用いて補正を行わないと判定し、画像処理装置２０の処理を終了させる。

【0090】

次に、画像補正部２４は、判定部２３により移動量を用いて補正を行うと判定された場合に、第２の画像の第１の画像に対する位置ずれを、移動量を用いて補正することにより、複数の画像間の位置ずれを補正する（Ｓ３０）。つまり、画像補正部２４は、判定部２３において全ての判定がクリアされた場合に、移動量推定部２２により推定された移動量（揺れ量）を用いて、映像の揺れを補正する。

【0091】

以上のようにして、画像処理装置２０は、処理を行う。

【0092】

このようにして、画像処理装置２０は、例えば魚眼光学系で撮影された映像の揺れ量を画像処理で推定する際、画像処理では揺れ量の推定ができないような画像に対して誤って推定された揺れ量を用いて補正を行うことで映像品質が劣化してしまうことを防止することができる。つまり、画像処理装置２０は、画像処理では揺れ量の推定ができないような画像を含んでいても、時間的に連続して撮影された複数の画像間の揺れ量を高精度に補正することで、もしくは誤った値で補正する事を避けることで最終的な映像品質を高めることができる。

【0093】

以上、本実施の形態によれば、画像処理では揺れ量の推定ができないような画像を含んでいても、時間的に連続して撮影された複数の画像間の揺れ量を高精度に補正することができる画像処理装置および画像処理方法を実現することできる。

【0094】

なお、本実施の形態の画像処理装置では、魚眼映像等の超広角映像に対して顕著な効果を奏するので、好ましい適用例であるがそれに限らない。画角７０度程度以下の通常画角映像に対しても適用が可能である。

【0095】

なお、上記では、画像処理装置２０は、画像取得部２１と画像処理部２０ａとを備えるとしたがそれに限られない。画像処理装置２０の最小構成として、画像処理部２０ａを備えていればよい。画像処理装置２０は、この画像処理部２０ａを少なくとも備えることにより、画像処理では揺れ量の推定ができないような画像を含んでいても、時間的に連続して撮影された複数の画像間の揺れ量を高精度に補正することができる。

【0096】

（実施の形態２）
実施の形態１では、揺れ量（移動量）を移動量推定部２２で画像処理を行うことにより算出していたが、それに限らない。揺れ量（移動量）をセンサでも同時に推定するとしてもよい。以下、本発明の実施の形態２における画像処理装置および画像処理方法について、図を参照しながら説明する。

【0097】

図１７は、本発明の実施の形態２における全体構成を示すブロック図である。図３および図４と同様の構成要素については同じ符号を用いて説明を省略し、異なる構成要素についてのみ説明を行う。

【0098】

図１７に示す本実施の形態の全体構成は、図３に示す実施の形態１の全体構成に対して、センサ推定部３１、補正手段決定部３２をさらに備える点で異なる。

【0099】

センサ推定部３１は、撮影に用いた光学系の光軸周りの回転角度または前記光学系の光軸に対して互いに垂直な２軸のうち少なくとも１つの軸周りの回転角度を計測し、計測した回転角度を、第１の画像に対する第２の画像の位置ずれ量を示す移動量と推定する。具体的には、センサ推定部３１は、センサを用いて画像間（フレーム間）のカメラの揺れ量（移動量）を推定する。ここで、センサ推定部３１は、角加速度センサ、角速度センサ、加速度センサ、ジャイロセンサおよび方位センサのうち少なくとも１種類のセンサによって構成される。なお、センサは、上記のうちいずれか、またはいくつかのセンサを用いて、画像間（フレーム間）に生じたカメラの揺れ量（移動量）を計測する。また、センサ推定部３１は、センサにより計測された揺れ量（移動量）を時系列上で処理をすることで、当該画像（フレーム）の揺れ量（移動量）を推定するとしてもよい。

【0100】

補正手段決定部３２は、判定部２３が移動量推定部２２により推定された移動量用いて補正を行わないと判定した場合に、センサ推定部３１により推定された移動量を用いて補正を行うか否かを決定する。具体的には、補正手段決定部３２は、判定部２３で画像処理の結果が適用不可能と判定された場合に、センサ推定部３１で推定された画像間（フレーム間）の揺れ量（移動量）が適用可能かを決定する。具体的には、補正手段決定部３２は、加速度センサもしくはジャイロセンサなどのセンサを用いて、画像間（フレーム間）または複数画像（複数フレーム）における挙動を観測することにより、センサ推定部３１で推定された揺れ量（移動量）を用いるか用いないかを決定する。

【0101】

なお、画像間（フレーム間）または複数画像（複数フレーム）における挙動の観測は、例えば複数画像間（フレーム間）でセンサの値が激しく揺らいでいる場合にはカメラの揺れ量（移動量）が大きいと判定することができる。そのため、補正手段決定部３２は、センサの値が激しく揺らいでいる場合にセンサの推定精度が下がるとしてセンサ推定部３１で推定された揺れ量（移動量）を用いての補正は行わないことを決定するとしてもよい。反対に、逆にセンサの挙動が安定している場合にはカメラが静止状態にあるとしてセンサ推定部３１で推定された揺れ量（移動量）を用いての補正を行うことを決定するとしてもよい。

【0102】

次に、以上のように構成され画像処理装置３０の処理の流れについて説明する。

【0103】

図１８は、本発明の実施の形態２における画像処理装置３０の処理の流れについて説明するためのフローチャートである。なお、図１６と同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0104】

すなわち、Ｓ１０において、移動量推定部２２は、第１の画像の時間的に後に撮影された第２の画像の前記第１の画像に対する位置ずれ量を示す移動量を、前記第１の画像および前記第２の画像それぞれから抽出される特徴点を用いて、推定する。

【0105】

次に、センサ推定部３１は、撮影に用いた光学系の光軸周りの回転角度または前記光学系の光軸に対して互いに垂直な２軸のうち少なくとも１つの軸周りの回転角度を計測し、計測した回転角度を、第１の画像に対する第２の画像の位置ずれ量を示す移動量と推定する（Ｓ１５）。

【0106】

次に、判定部２３は、抽出された特徴点に基づいて、移動量推定部２２により推定された移動量を用いて補正を行うか否かの判定を行う（Ｓ２０）。Ｓ２０において、判定部２３により、移動量推定部２２により推定された移動量を用いて補正を行わないと判定された場合に（Ｓ２０のｆａｉｌ）、画像処理装置３０の処理を終了させずに、Ｓ２５のセンサ信頼判定の処理へと進む。

【0107】

Ｓ２５において、補正手段決定部３２は、判定部２３が移動量推定部２２により推定された移動量を用いて補正を行わないと判定した場合に、センサ推定部３１により推定された移動量を用いて補正を行うか否かを決定する。補正手段決定部３２は、センサ推定部３１で推定された揺れ量（移動量）を用いて補正を行うことを決定する場合には（Ｓ２５のｐａｓｓ）、Ｓ３０へと進む。一方、補正手段決定部３２は、センサ推定部３１で推定された揺れ量（移動量）を用いて補正を行わないことを決定する場合には（Ｓ２５のｆａｉｌ）、画像処理装置２０の処理を終了させる。

【0108】

次に、画像補正部２４は、判定部２３により移動量推定部２２で推定された移動量を用いて補正を行うと判定された場合には（Ｓ２０のｐａｓｓ）、第２の画像の第１の画像に対する位置ずれを、移動量推定部２２で推定された移動量を用いて補正することにより、複数の画像間の位置ずれを補正する（Ｓ３０）。一方、画像補正部２４は、補正手段決定部３２によりセンサ推定部３１で推定された移動量を用いて補正を行うと判定された場合に（Ｓ２５のｐａｓｓ）、第２の画像の第１の画像に対する位置ずれを、センサ推定部３１で推定された移動量を用いて補正することにより、複数の画像間の位置ずれを補正する（Ｓ３０）。

【0109】

以上のようにして、画像処理装置３０は、処理を行う。

【0110】

以上、本実施の形態によれば、画像処理では揺れ量の推定ができないような画像を含んでいても、時間的に連続して撮影された複数の画像間の揺れ量を高精度に補正することができる画像処理装置および画像処理方法を実現することできる。具体的には、本実施の形態の画像処理装置および画像処理方法によれば、特徴点ベースのマッチング処理過程から取得できる画像情報から、画像処理が苦手な画像を含むシーンの判定を行ない、判定したシーンに応じてセンサまたは画像処理により推定された揺れ量の採否を切り替えることで、撮影された映像の揺れを高精度に補正することができる。

【0111】

以上、本発明によれば、時間的に連続して撮影された複数の画像間の揺れ量を高精度に補正することができる画像処理装置および画像処理方法を実現することできる。

【0112】

なお、本発明における画像処理装置は、補正を行う画像がいつ撮影されたものであるかは関知しない。また、上述の画像処理装置は、デジタルスチルカメラやデジタルビデオカメラに内蔵し、撮像画像をその場で補正する構成をとっているがそれに限られない。例えば、パーソナルコンピュータ上でアプリケーションとして実装するなど、撮像装置とは別に、画像処理装置を用意し、カメラなどの記録デバイスと直接ケーブル等で接続して撮像画像を入力するような構成にしてもよいし、ＳＤメモリカード等の記録媒体やネットワークを介して画像データを読み込んでもよい。

【0113】

以上、本発明の画像処理装置、画像処理方法、画像処理プログラムについて、実施の形態に基づいて説明してきたが、本発明は、これらの実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

【0114】

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

【0115】

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

【0116】

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

【0117】

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

【0118】

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

【0119】

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

【0120】

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

【0121】

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

【0122】

（５）上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。

【産業上の利用可能性】

【0123】

本発明の画像処理装置は、画像情報から画像処理の苦手なシーンの判定を行ない、シーンに応じてセンサ、画像の処理を切り替える事で、魚眼光学系等の広角光学系で撮影された映像の揺れを高精度に補正する装置等として有用である。また、本発明の画像処理装置は、例えばデジタルスチルカメラ、ビデオカメラ、ウェアラブルカメラやパーソナルコンピュータのソフトウェア等の映像補正処理装置として利用できる。

【符号の説明】

【0124】

１０ 撮像部
２０、３０ 画像処理装置
２０ａ 画像処理部
２１ 画像取得部
２２ 移動量推定部
２３ 判定部
２４ 画像補正部
３１ センサ推定部
３２ 補正手段決定部
２２１ 特徴点抽出部
２２２ 特徴点座標変換部
２２３ 特徴点マッチング部
２２４ メモリ
２３１ 特徴点判定部
２３２ ブラー判定部
２３３ テクスチャ判定部

【図1A】

【図1B】

【図1C】

【図1D】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】