特許 6374228 画像処理装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6374228

(24)【登録日】2018年7月27日

(45)【発行日】2018年8月15日

(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20180806BHJP

   G06T 7/254 20170101ALI20180806BHJP

【ＦＩ】

   H04N5/232 290

   G06T7/254 A

【請求項の数】7

【全頁数】17

(21)【出願番号】特願2014-120204(P2014-120204)

(22)【出願日】2014年6月11日

(65)【公開番号】特開2016-1771(P2016-1771A)

(43)【公開日】2016年1月7日

【審査請求日】2017年1月13日

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(72)【発明者】

【氏名】大木 光晴

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開２０１１−１１４４０７（ＪＰ，Ａ）

【文献】 特開２０１１−１３５４６２（ＪＰ，Ａ）

【文献】 特開２０１２−１９９８０２（ＪＰ，Ａ）

【文献】 特開２０１２−１９９８０３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ７／２５４

(57)【特許請求の範囲】

【請求項1】

動画像を構成するフレームに生じた歪みを補正する画像処理装置において、
ｆ−１枚目のフレームからｆ枚目のフレームへの各画素の移動量の平均値である大局的動きベクトルに基づいて、前記ｆ枚目のフレームに生じている歪みの低周波成分である歪低周波成分を補正するとともに、前記大局的動きベクトルの大きさと、前記ｆ枚目のフレームよりも以前に存在する基準フレームから前記ｆ枚目のフレームへの各画素の移動量とに基づいて、前記ｆ枚目のフレームに生じている歪みの高周波成分である歪高周波成分を補正する補正部
を備える画像処理装置。

【請求項2】

前記大局的動きベクトルの大きさと、前記基準フレームから前記ｆ枚目のフレームへの各画素の移動量を用いて、前記歪高周波成分の補正量を決定する補正量決定部をさらに備える
請求項１に記載の画像処理装置。

【請求項3】

前記ｆ−１枚目のフレームと前記ｆ枚目のフレームとを処理対象とした画素マッチング処理により、前記ｆ−１枚目のフレームから前記ｆ枚目のフレームへの各画素の移動量を求める画素マッチング部をさらに備える
請求項２に記載の画像処理装置。

【請求項4】

前記補正量決定部は、前記大局的動きベクトルの大きさの増加に対して、前記歪高周波成分の補正量を単調減少させる
請求項２に記載の画像処理装置。

【請求項5】

前記大局的動きベクトルの大きさが小さいほど、前記歪高周波成分の補正量を大きくし、前記大局的動きベクトルの大きさが大きいほど、前記歪高周波成分の補正量を小さくする重み係数を決定する重み決定部をさらに備え、
前記補正部は、決定された前記重み係数と、前記基準フレームから前記ｆ枚目のフレームへの各画素の移動量とに基づいて、前記歪高周波成分を補正する
請求項１乃至４のいずれかに記載の画像処理装置。

【請求項6】

動画像を構成するフレームに生じた歪みを補正するための画像処理装置の画像処理方法において、
前記画像処理装置が、
ｆ−１枚目のフレームからｆ枚目のフレームへの各画素の移動量の平均値である大局的動きベクトルに基づいて、前記ｆ枚目のフレームに生じている歪みの低周波成分である歪低周波成分を補正するとともに、前記大局的動きベクトルの大きさと、前記ｆ枚目のフレームよりも以前に存在する基準フレームから前記ｆ枚目のフレームへの各画素の移動量とに基づいて、前記ｆ枚目のフレームに生じている歪みの高周波成分である歪高周波成分を補正する補正ステップ
を含む画像処理方法。

【請求項7】

動画像を構成するフレームに生じた歪みを補正するためのコンピュータを、
ｆ−１枚目のフレームからｆ枚目のフレームへの各画素の移動量の平均値である大局的動きベクトルに基づいて、前記ｆ枚目のフレームに生じている歪みの低周波成分である歪低周波成分を補正するとともに、前記大局的動きベクトルの大きさと、前記ｆ枚目のフレームよりも以前に存在する基準フレームから前記ｆ枚目のフレームへの各画素の移動量とに基づいて、前記ｆ枚目のフレームに生じている歪みの高周波成分である歪高周波成分を補正する補正部と
して機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像処理方法、およびプログラムに関し、特に、CMOSイメージセンサのローリングシャッタに起因するフォーカルプレーン歪を補正する場合に用いて好適な画像処理装置、画像処理方法、およびプログラムに関する。

【背景技術】

【0002】

現在、撮像装置などに搭載されるイメージセンサとしてはCMOSイメージセンサ（以下、CMOSと略称する）が主流となっている。

【0003】

CMOSは、その構造上、全ての画素を同時に露光させ、その結果得られる画素信号を同時に読み出すことができない。そこで、画素をライン単位で順次走査して露光と画素信号の読み出す、いわゆるローリングシャッタを行うようになっている。ただし、全ての画素の露光タイミングを一致させることができる、いわゆるグローバルシャッタ機能を備えるCMOSも存在する。

【0004】

図１は、CMOSによるローリングシャッタを説明するための図であり、動画像を構成する連続した０枚目のフレームｆ０、１枚目のフレームｆ１、２枚目のフレームｆ２、・・・を示している。各フレームは、０乃至ｈ−１ライン分の画素で構成される。

【0005】

上述したように、ローリングシャッタでは、ライン単位で露光、読み出しが行われる。例えば、撮像される動画像のフレームレートが30fpsである場合、上下に隣接するラインの読み出しタイミングの時間差は、１／（３０×ｈ）秒となる。１／（３０×ｈ）秒は微少な時間ではあるが、累積されると無視できないものとなり、例えば、同一フレームのある程度離れた２本のラインに着目すると、これら２本のラインの読み出しタイミングは、同時刻とは言い難く、この時間差によりフレームに歪みが生じる。

【0006】

次に、ローリングシャッタに起因してフレームに生じる歪について説明する。

【0007】

図２は、動画撮像の被写体とする風景（家、ビルなどの建物）を示している。この被写体を、例えば、エンジンがかけられた状態で停車している自動車に固定されたビデオカメラにより、破線で囲まれた撮像範囲を動画像として撮像する場合を想定する。ただし、該ビデオカメラは、エンジンの振動により、左右に微小振動しているものとする。

【0008】

図３は、微小振動がある停車状態で撮像された動画像の１フレームを示している。同図に示されるように、動画像のフレームには、ビデオカメラの微小振動に起因する微小な左右振れ（以下、歪高周波成分と称する）が生じてしまうので、このままでは鑑賞には堪えられないものとなる。

【0009】

そこで、従来、このような歪高周波成分を補正する方法が確立されている。具体的には、時間的に近い２枚のフレーム（例えば、時間的に隣り合うｎ−１枚目のフレームとｎ枚目のフレーム）間で被写体の同一部位が写っている位置を特定する画素マッチング処理が行われ、２枚のフレーム間で各画素の対応関係が求められて、この対応関係に基づいてフレームに生じた歪高周波成分が補正される。

【0010】

図４は、図３に示された歪高周波成分が生じているフレームに対して歪補正を行った結果を示している。２枚のフレーム間で各画素の対応関係を正確に求めることができれば、同図に示されるように、歪高周波成分を補正することができる。ただし、図３に示された歪補正前と、図４に示された歪補正後でフレームとで画角を比較して明らかなように、歪補正後のフレームは、画角が狭められてしまうことになる。

【0011】

次に、上述したように自動車に固定されているビデオカメラで、自動車の走行中に進行方向に対して垂直な方向（真横方向）を撮影した場合を考える。

【0012】

図５は、走行しながら動画像を撮像した場合の撮像範囲の移動を示している。すなわち、自動車が図面上右方向に走行した場合、該ビデオカメラによる撮像範囲も、破線で示されるように、図面上の右方向に移動される。

【0013】

図６は、走行中で撮像された動画像の１フレームを示している。同図に示されるように、動画像のフレームには、図３の場合と同様、歪高周波成分が生じており、さらに、本来は直立していた家やビルが斜めに傾いて写ってしまう歪（以下、以下、歪低周波成分）が生じている。これは、同一のフレームにおける０ライン目が撮像されたタイミングと、ｍライン目（ｍは１からｈ−１までの整数）が撮像されたタイミングが同時ではなく、差があるためである。

【0014】

図６に示されたような歪高周波成分と歪低周波成分がフレームに生じている動画像についても、このままでは鑑賞に堪えられないものである。よって、従来、これらの歪補正についても様々方法が存在する。具体的には、上述した歪高周波成分の補正と同様、時間的に近い２枚のフレーム間で画素マッチング処理が行われ、２枚のフレーム間の各画素の対応関係に基づき、フレームに生じた歪み（歪高周波成分と歪低周波成分からなるもの）が一括して補正される。

【0015】

図７は、図６に示された歪高周波成分と歪低周波成分が生じているフレームに対して歪補正を行った結果を示している。２枚のフレーム間で各画素の対応関係を正確に求めることができれば、同図に示されるように、歪高周波成分と歪低周波成分についても一括して補正することができる。

【0016】

ただし、走行中に撮像された動画像のフレームは、図５に示されたように撮像範囲が変化するので、歪高周波成分と歪低周波成分を補正した後のフレームは、図４に示された歪高周波成分を補正した後のフレームよりもさらに画角が狭められたものとなる。

【0017】

ところで、図３に示された、停止状態で撮像された動画像の画素マッチング処理は、各フレームの撮像範囲が微小振動分しか変化していないので、探索範囲を狭くすることができる。よって、２枚のフレーム間における対応位置を比較的容易に正確に検出することができる。

【0018】

一方、図６に示された、走行中に撮像された動画像の画素マッチング処理は、各フレームの撮像範囲が異なるので、探索範囲を広げる必要がある。これは演算量が増えることに加えて、２枚のフレーム間における対応位置が誤検出されてしまう可能性も増すことになる。２枚のフレーム間における対応位置が誤検出され、これに基づいて歪補正が行われると、補正前の状態よりもさらに鑑賞に堪えがたい動画像になってしまう不具合も起こり得る。

【0019】

そこで従来、そのような不具合を抑止する方法として、画素マッチング処理の精度が良い場合にだけ歪補正を行い、悪い場合は補正を行わなかったり、走行中に撮像されるなどした、連続するフレームに同一方向への動きがある場合には、歪み調整値を小さくしたりすることが提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0020】

【特許文献1】特開２０１０−１６６５１２

【発明の概要】

【発明が解決しようとする課題】

【0021】

特許文献１の方法では、画素マッチング処理の精度が悪い場合には歪補正を行わない、あるいは、連続するフレームに同一方向への動きがある場合には歪み調整値を小さくするので、フレームが歪補正によって補正前よりもさらに劣化してしまうことを抑止できる。

【0022】

しかしながら、その場合、フレームには依然として歪みが存在するので、鑑賞に堪えがという不具合は解消されていないことになる。

【0023】

本開示はこのような状況に鑑みてなされたものであり、ローリングシャッタに起因してフレームに生じる歪を、鑑賞に堪えられる程度に補正できるようにするものである。

【課題を解決するための手段】

【0024】

本開示の一側面である画像処理装置は、ｆ−１枚目のフレームからｆ枚目のフレームへの各画素の移動量の平均値である大局的動きベクトルに基づいて、前記ｆ枚目のフレームに生じている歪みの低周波成分である歪低周波成分を補正するとともに、前記大局的動きベクトルの大きさと、前記ｆ枚目のフレームよりも以前に存在する基準フレームから前記ｆ枚目のフレームへの各画素の移動量とに基づいて、前記ｆ枚目のフレームに生じている歪みの高周波成分である歪高周波成分を補正する補正部を備える。

【0025】

前記大局的動きベクトルの大きさと、前記基準フレームから前記ｆ枚目のフレームへの各画素の移動量を用いて、前記歪高周波成分の補正量を決定する補正量決定部をさらに設けることができる。

【0026】

前記ｆ−１枚目のフレームと前記ｆ枚目のフレームとを処理対象とした画素マッチング処理により、前記ｆ−１枚目のフレームから前記ｆ枚目のフレームへの各画素の移動量を求める画素マッチング部をさらに設けることができる。

【0027】

前記補正量決定部は、前記大局的動きベクトルの大きさの増加に対して、前記歪高周波成分の補正量を単調減少させることができる。

【0028】

本開示の一側面である画像処理装置は、前記大局的動きベクトルの大きさが小さいほど、前記歪高周波成分の補正量を大きくし、前記大局的動きベクトルの大きさが大きいほど、前記歪高周波成分の補正量を小さくする重み係数を決定する重み決定部をさらに備えることができ、前記補正部は、決定された前記重み係数と、前記基準フレームから前記ｆ枚目のフレームへの各画素の移動量とに基づいて、前記歪高周波成分を補正することができる。

【0030】

本開示の一側面である画像処理方法は、動画像を構成するフレームに生じた歪みを補正するための画像処理装置の画像処理方法において、前記画像処理装置が、ｆ−１枚目のフレームからｆ枚目のフレームへの各画素の移動量の平均値である大局的動きベクトルに基づいて、前記ｆ枚目のフレームに生じている歪みの低周波成分である歪低周波成分を補正するとともに、前記大局的動きベクトルの大きさと、前記ｆ枚目のフレームよりも以前に存在する基準フレームから前記ｆ枚目のフレームへの各画素の移動量とに基づいて、前記ｆ枚目のフレームに生じている歪みの高周波成分である歪高周波成分を補正する補正ステップを含む。

【0031】

本開示の一側面であるプログラムは、動画像を構成するフレームに生じた歪みを補正するためのコンピュータを、ｆ−１枚目のフレームからｆ枚目のフレームへの各画素の移動量の平均値である大局的動きベクトルに基づいて、前記ｆ枚目のフレームに生じている歪みの低周波成分である歪低周波成分を補正するとともに、前記大局的動きベクトルの大きさと、前記ｆ枚目のフレームよりも以前に存在する基準フレームから前記ｆ枚目のフレームへの各画素の移動量とに基づいて、前記ｆ枚目のフレームに生じている歪みの高周波成分である歪高周波成分を補正する補正部として機能させる。

【0032】

本開示の一側面においては、ｆ−１枚目のフレームからｆ枚目のフレームへの各画素の移動量の平均値である大局的動きベクトルに基づいて、前記ｆ枚目のフレームに生じている歪みの低周波成分である歪低周波成分が補正されるとともに、前記大局的動きベクトルの大きさと、前記ｆ枚目のフレームよりも以前に存在する基準フレームから前記ｆ枚目のフレームへの各画素の移動量とに基づいて、前記ｆ枚目のフレームに生じている歪みの高周波成分である歪高周波成分が補正される。

【発明の効果】

【0033】

本開示の一側面によれば、ローリングシャッタに起因してフレームに生じる歪を、鑑賞に堪えられる程度に補正することができる。

【図面の簡単な説明】

【0034】

【図1】CMOSによるローリングシャッタを説明するための図である。

【図2】停車状態での撮像範囲を示す図である。

【図3】微小振動がある停車状態で動画撮像されたフレームを示す図である。

【図4】図３のフレームの補正結果を示す図である。

【図5】走行状態での撮像範囲を示す図である。

【図6】走行状態で動画撮像されたフレームを示す図である。

【図7】図６のフレームの補正結果を示す図である。

【図8】本開示の概要を説明するための図である。

【図9】本開示を適用した画像処理装置の構成例を示すブロック図である。

【図10】大局的動きベクトルと重み係数の関係を示す図である。

【図11】歪低周波成分の補正に用いる関数Ｈについて説明するための図である。

【図12】歪低周波成分の補正に用いる関数Ｈについて説明するための図である。

【図13】歪補正処理を説明するフローチャートである。

【図14】コンピュータの構成例を示すブロック図である。

【発明を実施するための形態】

【0035】

以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明するが、その前に、本開示の概要について説明する。

【0036】

＜本開示の概要＞
本実施の形態において、歪低周波成分とは、動画像のフレームに生じる歪のうち、動画像のフレームレートよりも低域の成分を指し、歪高周波成分とは、動画像のフレームレートよりも高域の成分を指すものとする。

【0037】

一般に、人間の視覚特性は、停止した状態で撮像された、撮影範囲が変化しない動画像を鑑賞した場合、画像内の細部の変化を認識することができ、移動中に撮像された、撮影範囲が変化する動画像を鑑賞した場合、画像内の大まかな変化は認識できるものの、細部の変化は認識できないことが知られている。

【0038】

具体的には、例えば、図３に示されたようなフレームからなる動画像を鑑賞した場合、生じている歪高周波成分は認識できる。したがって、このままでは鑑賞に堪えがたいので、歪高周波成分を補正することが望ましい。

【0039】

一方、図６に示されたようなフレームからなる動画像を鑑賞した場合、生じている歪低周波成分（本来は直立している被写体の傾き））は認識できるものの、歪高周波成分は認識できない。したがって、この場合、歪低周波成分だけを補正すれば、鑑賞に堪え得るものとなる。

【0040】

そこで、本実施の形態である画像処理装置では、歪低周波成分が大きい場合には、歪低周波成分のみを補正し、歪高周波成分をあまり補正しないようにする。また、歪低周波成分が小さい場合には、歪低周波成分と歪高周波成分を補正するようにする。

【0041】

図８は、図６に示された、走行中に動画撮像された歪高周波成分と歪低周波成分が生じているフレームを、本実施の形態である画像処理装置により歪補正した結果を示している。

【0042】

同図に示されるように、本開示の実施の形態である画像処理装置により、歪補正した場合、フレームに歪高周波成分が残ることもあるが、動画像として鑑賞するには差し支えないものとなる。

【0043】

＜本実施の形態である画像処理装置の構成例＞
図９は、本実施の形態である画像処理装置の構成例を示している。

【0044】

この画像処理装置１０は、画像データ保持部１１、画素マッチング部１２、積分部１３、重み計算部１４、位置変換データ保持部１５、変換累積部１６、変形量制御部１７、および変形部１８から構成される。

【0045】

画像処理装置１０には、動画像を構成するフレームが順次入力され、画像データ保持部１１、画素マッチング部１２、および変形部１８に入力される。これらに同時に入力されるフレームをｆ枚目のフレームとする。

【0046】

画像データ保持部１１は、画像処理装置１０に順次入力される動画像のフレームを１フレーム周期分だけ遅延して後段の画素マッチング部１２に出力する。

【0047】

画素マッチング部１２は、同時に入力されるｆ−１枚目のフレームと、ｆ枚目のフレームと、時間的に隣接する２枚のフレームを処理対象として画素マッチング処理を行い、ｆ−１枚目のフレームの各画素に対応するｆ枚目のフレームの画素の位置を特定する。

【0048】

ここで、ｆ−１枚目のフレームの各画素の座標を（ｘ_p，ｙ_p）とし、それに対応するｆ枚目のフレームの画素の座標を（ｘ_c，ｙ_c）とした場合、ｆ−１枚目のフレームの各画素に対応するｆ枚目のフレームの画素の位置関係は、次式（１）に示されるように、関数Ｇとして示すことができる。換言すれば、関数Ｇは、座標（ｘ_p，ｙ_p）を、座標を（ｘ_c，ｙ_c）に投影するものといえる。

【0049】

【数1】

・・・（１）

【0050】

なお、画素マッチング処理によって関数Ｇを求める方法については、例えば、”B. K. P. Horn and B. G. Schunck, “Determining optical flow”, AI Memo 572, Massachusetts Institute of Technology, 1980”に記載の方法を適用すればよい。なお、この他の既存の任意の方法を適用することもできる。

【0051】

画素マッチング部１２は、求めた関数Ｇ（図９においては、Previous To Currentと記述する）を積分部１３、および変換累積部１６に出力する。

【0052】

積分部１３は、ｆ−１枚目のフレームの各画素に対応するｆ枚目のフレームの画素の位置関係を示す関数Ｇに基づき、次式（２）を用いて、ｆ−１枚目のフレームからｆ枚目のフレームへの移動量の平均値（ｘ_gmv，ｙ_gmv）を算出する。式（２）において、NumOfPixelsは、フレーム内の画素の総数を意味する。

【0053】

【数2】

・・・（２）

【0054】

以下、ｆ−１枚目のフレームからｆ枚目のフレームへの移動量の平均値（ｘ_gmv，ｙ_gmv）を大局的動きベクトル(Global Motion Vector)とも称する。

【0055】

ところで、画素マッチング部１２から出力される関数Ｇについては不正確である可能性が残っているが、積分部１３にて積分していることにより、ランダムノイズ（関数Ｇの不正確さ）は除去できているので、結果として、大局的動きベクトルは正確であるといえる。

【0056】

積分部１３は、算出した大局的動きベクトルを重み計算部１４、および変形部１８に出力する。

【0057】

重み計算部１４は、入力される大局的動きベクトルに基づいて、フレーム内に生じている細部の揺らぎ（歪高周波成分）の補正量を決定付ける重み係数Ｗを決定する。

【0058】

図１０は、大局的動きベクトルと重み係数との関係を示している。なお、同図の横軸は大局的動きベクトルの大きさ、縦軸は重み係数の値であり、横軸の大局的動きベクトルにおける閾値TH1およびTH2、並びに、縦軸の重み係数における最大値Wmaxおよび最小値Wminは予め設定されている値であって、例えば、TH1＝20画素、TH2＝60画素、Wmax＝0.7、Wmin＝0.1とする。

【0059】

この場合、大局的動きベクトルの大きさが、画素換算で20以下であれば、フレームに生じている歪高周波成分を70％補正することになる。また、大局的動きベクトルの大きさが、画素換算で60以上であれば、フレームに生じている歪高周波成分を10％しか補正しないことになる。

【0060】

図９に戻る。位置変換データ保持部１５は、変形量制御部１７から入力される関数Ｆｎを１フレーム周期分だけ遅延させて、関数Ｆｐとして変換累積部１６に出力する。ただし、現在着目するｆ枚目のフレームが０枚目である場合、関数Ｆｐは存在しないので、その代わりに、初期設定である、恒等変換Ｉを出力する。

【0061】

変換累積部１６は、次式（３）に従い、画素マッチング部１２から入力される関数Ｇと、位置変換データ保持部１５から入力される関数Ｆｐを乗算して関数Ｆｃを算出して変換量制御部１７に出力する。

【0062】

【数3】

・・・（３）

【0063】

ここで、関数Ｇはｆ−１枚目のフレームの各画素に対応するｆ枚目のフレームの画素の位置関係を示し、関数Ｆｐは、現在着目しているｆ枚目のフレームよりも以前に存在する基準フレームの各画素に対応するｆ−１枚目のフレームの画素の位置関係を示すものである。

【0064】

よって、関数Ｆｃは、基準フレームの各画素に対するｆ枚目のフレームの画素の位置関係を示すものとなり、ｆ枚目のフレームに生じている細部の揺らぎを完全に補正する場合の位置関係を表していることになる。

【0065】

変形量制御部１７は、変換累積部１６から入力される関数Ｆｃと、重み計算部１４から入力される重み係数Ｗに基づき、次式（４）に従って関数Ｆｎを演算し、位置変換データ保持部１５および変形部１８に出力する。ただし、式（４）におけるＩは恒等変換を表す。

【0066】

【数4】

・・・（４）

【0067】

式（４）から明らかなように、重み係数Ｗの値が大きい場合、関数Ｆｎは、ほぼ関数Ｆｃに近いものとなる。この場合、後段の変形部１８において、ｆ枚目のフレームに生じている細部の揺らぎが完全に補正される。重み係数Ｗが小さい場合、関数Ｆｎ、ほぼ恒等変換Ｉとなる、この場合、後段の変形部１８において、ほとんど変形（歪補正）は行われない。

【0068】

変形部１８は、ｆ枚目のフレームを処理対象とし、変形量制御部１７から入力される関数Ｆｎに基づいて、ｆ枚目のフレームに生じている細部の揺らぎ（歪高周波成分）を補正する。また、変形部１８は、積分部１３から入力される大局的動きベクトルに基づいて、ｆ枚目のフレームに生じている特定の方向への被写体の傾き（歪低周波成分）を補正する。

【0069】

具体的に説明する。関数Ｆｎに基づく歪高周波成分の補正は、ｆ枚目のフレームの関数Ｆｎ（ｘ_b，ｙ_b）が示す座標に位置する画素の画素値を、座標（ｘ_b，ｙ_b）に書き込めばよい。

【0070】

大局的動きベクトルに基づく歪低周波成分の補正は、関数Ｈ（ｘ_i，ｙ_i）が示す座標に位置する画素の画素値を、座標（ｘ_i，ｙ_i）に書き込めばよい。ここで、関数Ｈは、次式（５）に示すとおりである。

【0071】

【数5】

・・・（５）

【0072】

変形部１８による歪高周波成分と歪低周波成分の補正は、次式（６）のようにまとめることができる。

【0073】

【数6】

・・・（６）

【0074】

すなわち、変形部１８は、ｆ枚目のフレームの座標（ｘ_o，ｙ_o）に位置する画素の画素値を、座標（ｘ_b，ｙ_b）に書き込む処理を行う。このようにして、すべての座標（ｘ_b，ｙ_b）に画素値を書き込んだフレームを作成することにより、ｆ枚目のフレームを補正することができる。

【0075】

ここで、大局的動きベクトルに基づく歪低周波成分の補正に用いる関数Ｈについて説明する。

【0076】

図１１は、ビデオカメラが図面左側から右側に横方向に移動しながら、静止している直線棒状の被写体を動画像で撮像した場合のｆ−１枚目のフレームと、ｆ枚目のフレームを示している。なお、静止している被写体５１は直立しているものとする。

【0077】

この場合、ｆ−１枚目のフレームには、本来直立している被写体５１が、投影像５２として斜めに傾いて投影される。同様に、ｆ枚目のフレームにも、本来直立している被写体５１が、投影像５３として斜めに傾いて投影される。

【0078】

この２枚のフレームから大局的動きベクトル（ｘ_gmv，ｙ_gmv）を求めると、ｘ_gmv＜０，ｙ_gmv＝０となる。ｘ_gmvの大きさは、投影像５２（または投影像５３）の０ライン目からｈ−１ライン目までのｘ方向のずれ量に相当する。したがって、同図に示されるｆ枚目のフレームを、補正後のｆ枚目のフレームになるように変形する補正が関数Ｈとなる。

【0079】

次に、図１２は、ビデオカメラが図面上側から下側に縦方向に移動しながら、静止している直線棒状の被写体を動画像で撮像した場合のｆ−１枚目のフレームと、ｆ枚目のフレームを示している。なお、静止している被写体６１は直立しているものとする。

【0080】

この場合、ｆ−１枚目やｆ枚目のフレームには、直線棒状の被写体６１が、本来の長さよりも短い投影像６２または６３として投影される。

【0081】

この２枚のフレームから大局的動きベクトル（ｘ_gmv，ｙ_gmv）を求めると、ｘ_gmv＝０，ｙ_gmv＜０となる。ｙ_gmvの大きさは、同図に示したように、投影像６２と投影像６３のｙ方向のずれ量である。従って、ｆ枚目のフレームにおける（ｈ＋ｙ_gmv）の長さの投影像６３を、理想的に歪のないフレームにおける被写体６４に変形（拡大または縮小）する補正が関数Ｈとなる。

【0082】

＜画像処理装置１０の動作＞
次に、画像処理装置１０による歪補正処理について説明する。図１３は、画像処理装置１０による歪補正処理を説明するフローチャートである。

【0083】

歪補正処理の前提として、後述するステップＳ３以降において、画像処理装置１０に対して、動画像を構成するフレームが所定のフレームレートで順次入力されるものとする。

【0084】

ステップＳ１においては、画像処理装置１０に対して入力される、処理対象とするフレームの番号を表すパラメータｆが０にリセットされる。ステップＳ２においては、位置変換データ保持部１５が、現状において変形量制御部１７から関数Ｆｎが入力されていないので、変換累積部１６に対して出力する位置変換データ（関数Ｆｐ）の初期設定を恒等変換Ｉとする。

【0085】

ステップＳ３においては、ｆ枚目（いまの場合、０枚目）のフレームが画像データ保持部１１に入力される。画像データ保持部１１は、このｆ枚目のフレームを１フレーム周期だけ保持し、次のフレームが画像処理装置１０に入力されたタイミングで、次のフレームとともに画素マッチング部１２に出力することになる。

【0086】

ステップＳ４においては、ｆ枚目の次（すなわち、ｆ+１枚目）のフレームが存在するか否かが判定され、存在する場合には処理はステップＳ５に進められる。なお、存在しない場合、該歪補正処理は終了される。

【0087】

ステップＳ５においては、パラメータｆが１だけインクリメントされる。ステップＳ６においては、ｆ枚目（いまの場合、１枚目）のフレームが画像処理装置１０（の画像データ保持部１１、画素マッチング部１２、および変形部１８）に入力される。これにより、現在のｆ枚目のフレームと、ｆ−１枚目のフレームが画素マッチング部１２に入力され、２枚のフレーム間で画素マッチング処理が行われる。そして、画素マッチング処理の結果として得られる関数Ｇが積分部１３および変換累積部１６に入力される。

【0088】

変換累積部１６は、ステップＳ７として、画素マッチング部１２からの関数Ｇと、位置変換データ保持部１５が保持している関数Ｆｐ（ただし、処理対象が１枚のフレームである場合には関数Ｆｐは恒等変換Ｉである）を式（３）に従って乗算し、その結果得られる関数Ｆｃを変換量制御部１７に出力する。

【0089】

一方、積分部１３は、ステップＳ８として、関数Ｇに基づき、式（２）に従って大局的動きベクトルを算出して重み計算部１４、および変形部１８に出力する。重み計算部１４は、ステップＳ９として、大局的動きベクトルに基づき、重み係数Ｗを決定する。

【0090】

なお、ステップＳ７の処理と、ステップＳ８およびＳ９の処理とは、実際には平行して実行される。

【0091】

ステップＳ１０においては、変形量制御部１７が、変換累積部１６からの関数Ｆｃと、重み計算部１４からの重み係数Ｗに基づき、式（４）に従って関数Ｆｎを演算することにより、１枚フレーム前に対して求めた関数Ｆｎを更新して、位置変換データ保持部１５および変形部１８に出力する。

【0092】

ステップＳ１１においては、変形部１８が、変形量制御部１７からの関数Ｆｎに基づいて、ｆ枚目のフレームに生じている細部の揺らぎ（歪高周波成分）を補正し、また、積分部１３からの大局的動きベクトルに基づく関数Ｈに従い、ｆ枚目のフレームに生じている特定の方向への被写体の傾き（歪低周波成分）を補正する。

【0093】

以上の処理により、処理対象であるｆ枚目のフレームに生じている歪みが補正されたことになる。この後、処理はステップＳ４に戻されて、ステップＳ４乃至Ｓ１１の処理が繰り返され、画像処理装置１０に対する動画像のフレームの入力がなくなったときに歪補正処理は終了される。

【0094】

以上説明したように、本実施の形態である画像処理装置１０によれば、CMOSのローリングシャッタに起因する歪みを歪高周波成分と歪低周波成分に分類し、歪低周波数成分の大きさ（大局的動きベクトルの大きさ）に応じて、歪高周波数成分の補正の程度を調整するので、該動画像が鑑賞される場合に目立つ歪みを補正することができる。

【0095】

なお、本実施の形態である画像処理装置１０は、画像を補正する画像処理装置に適用できる他、例えば、デジタルビデオカメラなどのCMOSが搭載された電子装置に適用できる。

【0096】

ところで、上述した画像処理装置１０の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

【0097】

図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

【0098】

このコンピュータ１００において、CPU１０１，ROM１０２，RAM１０３は、バス１０４により相互に接続されている。

【0099】

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。

【0100】

入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。

【0101】

以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

【0102】

コンピュータ１００（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

【0103】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

【0104】

本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【0105】

なお、本開示は以下のような構成も取ることができる。
（１）
動画像を構成するフレームに生じた歪みを補正する画像処理装置において、
前記フレームの歪みの高周波成分である歪高周波成分を検出する第１の検出部と、
前記フレームの歪みの低周波成分である歪低周波成分を検出する第２の検出部と、
前記歪高周波成分の補正量を決定する補正量決定部と、
検出された前記歪低周波成分に基づき、前記フレームに生じた前記歪低周波成分を補正するとともに、決定された前記補正量に従い、前記フレームに生じた前記歪高周波成分を補正する補正部と
を備える画像処理装置。
（２）
前記補正量決定部は、検出された前記歪低周波成分の大きさに基づき、前記歪高周波成分の補正量を決定する
前記（１）に記載の画像処理装置。
（３）
前記第１の検出部は、前記歪高周波成分として、時間的に前後する２枚のフレーム間の画素マッチング処理により、前記２枚のフレームの対応する画素の位置関係を検出し、
前記第２の検出部は、前記歪低周波成分として、前記２枚のフレームの対応する画素の位置関係の平均値を検出する
前記（１）または（２）に記載の画像処理装置。
（４）
前記補正量決定部は、検出された前記歪低周波成分の大きさの増加に対して、前記歪高周波成分の補正量を単調減少させる
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）
検出された前記歪低周波成分の大きさに基づいて重み係数を決定する重み決定部をさらに備え、
前記補正量決定部は、決定された前記重み係数に基づき、前記歪高周波成分の補正量を決定する
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）
１枚前のフレームに対する前記歪高周波成分の前記補正量と、検出された前記歪高周波成分とを乗算する乗算部をさらに備え、
前記補正量決定部は、さらに、１枚前のフレームに対する前記歪高周波成分の前記補正量と検出された前記歪高周波成分との乗算結果に基づき、前記歪高周波成分の補正量を決定する
前記（１）から（５）のいずれかに記載の画像処理装置。
（７）
動画像を構成するフレームに生じた歪みを補正するための画像処理装置の画像処理方法において、
前記画像処理装置による、
前記フレームの歪みの高周波成分である歪高周波成分を検出する第１の検出ステップと、
前記フレームの歪みの低周波成分である歪低周波成分を検出する第２の検出ステップと、
前記歪高周波成分の補正量を決定する補正量決定ステップと、
検出された前記歪低周波成分に基づき、前記フレームに生じた前記歪低周波成分を補正するとともに、決定された前記補正量に従い、前記フレームに生じた前記歪高周波成分を補正する補正ステップと
を含む画像処理方法。
（８）
動画像を構成するフレームに生じた歪みを補正するためのコンピュータを、
前記フレームの歪みの高周波成分である歪高周波成分を検出する第１の検出部と、
前記フレームの歪みの低周波成分である歪低周波成分を検出する第２の検出部と、
前記歪高周波成分の補正量を決定する補正量決定部と、
検出された前記歪低周波成分に基づき、前記フレームに生じた前記歪低周波成分を補正するとともに、決定された前記補正量に従い、前記フレームに生じた前記歪高周波成分を補正する補正部と
して機能させるプログラム。

【符号の説明】

【0106】

１０ 画像処理装置， １１ 画像データ保持部， １２ 画素マッチング部， １３ 積分部， １４ 重み計算部， １５ 位置変換データ保持部， １６ 変換累積部， １７ 変形量制御部， １８ 変形部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】