特許 7197785 映像処理装置、映像処理方法、及び映像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-20

(45)【発行日】2022-12-28

(54)【発明の名称】映像処理装置、映像処理方法、及び映像処理プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221221BHJP

   G06T 7/20 20170101ALI20221221BHJP

   G06T 7/269 20170101ALI20221221BHJP

【ＦＩ】

H04N5/232 290

G06T7/20 100

G06T7/269

【請求項の数】 7

(21)【出願番号】P 2019012524

(22)【出願日】2019-01-28

(65)【公開番号】P2020120363

(43)【公開日】2020-08-06

【審査請求日】2021-05-10

【新規性喪失の例外の表示】特許法第３０条第２項適用 １．ｈｔｔｐ：／／ｗｗｗ．ｎｅｕｒｏｓｃｉｅｎｃｅ２０１８．ｊｎｓｓ．ｏｒｇ／ｅｎ／ｉｎｄｅｘ．ｈｔｍｌ ｈｔｔｐ：／／ｗｗｗ．ｊｎｓｓ．ｏｒｇ／ａｂｓｔｒａｃｔ／ｎｅｕｒｏ２０１８／ｍｅｅｔｉｎｇ＿ｐｌａｎｎｅｒ／ｓｅｓｓｉｏｎ ｄｅｔａｉｌ．ｐｈｐ？ｓｔ＿ｉｄ＝２０１８１１５１３＆ｕ＿ｓ＿ｉｄ＝３Ｐ－ＬＢＡ＆ｐｓｅｔ＝Ｏ＆ｕ＝８８ｆｃ８６１ｄ０８２７ｂ９５７６６ｃ７６１４４ｂ６７ｃｄ４ｂｆ＆ｙｚ＝９３３７＆ｙｚｓｌ＝１６７９１ 中村大樹、五味裕章が、２０１８年７月６日付で、上記アドレスのウェブサイトで公開されている第４１回日本神経科学大会のウェブサイトにて、「視覚運動により誘発する腕・眼球応答の刺激特異性と身体動作によるオプティックフローの統計的性質」と題して、中村大樹および五味裕章が発明した「映像処理装置、映像処理方法、及び映像処理プログラム」に関する技術について公開。 ２．中村大樹、五味裕章が、２０１８年７月２８日付で、第４１回日本神経科学大会にて、「Ｓｐｅｃｉｆｉｃｉｔｉｅｓ ｏｆ ｍａｎｕａｌ ａｎｄ ｏｃｕｌａｒ ｆｏｌｌｏｗｉｎｇ ｒｅｓｐｏｎｓｅｓ ａｎｄ ｎａｔｕｒａｌ ｓｔａｔｉｓｔｉｃｓ ｏｆ ｏｐｔｉｃ ｆｌｏｗ ｉｎｄｕｃｅｄ ｂｙ ｂｏｄｙ ｍｏｖｅｍｅｎｔｓ」と題して、中村大樹および五味裕章が発明した「映像処理装置、映像処理方法、及び映像処理プログラム」に関する技術について公開。 ３．中村大樹、五味裕章が、２０１８年１０月２２日付で、Ｊｏｉｎｔ ｗｏｒｋｓｈｏｐ ｏｆ ＵＣＬ－ＩＣＮ，ＮＴＴ，ＵＣＬ－Ｇａｔｓｂｙ，ａｎｄ ＡＩＢＳ Ａｎａｌｙｓｉｓ ａｎｄ Ｓｙｎｔｈｅｓｉｓ ｆｏｒ Ｈｕｍａｎ／Ａｒｔｉｆｉｃｉａｌ Ｃｏｇｎｉｔｉｏｎ ａｎｄ Ｂｅｈａｖｉｏｕｒにて、「Ｓｔａｔｉｓｔｉｃａｌ ａｎａｌｙｓｉｓ ｏｆ ｏｐｔｉｃ ｆｌｏｗ ｉｎｄｕｃｅｄ ｂｙ ｂｏｄｙ ｍｏｔｉｏｎ ｃｈａｒａｃｔｅｒｉｚｉｎｇ ＯＦＲ ａｎｄ ＭＦＲ」と題して、中村大樹および五味裕章が発明した「映像処理装置、映像処理方法、及び映像処理プログラム」に関する技術について公開。

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100153017

【弁理士】

【氏名又は名称】大倉 昭人

(72)【発明者】

【氏名】中村 大樹

(72)【発明者】

【氏名】五味 裕章

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開平０４－１１７０７７（ＪＰ，Ａ）

【文献】特開平０５－２３３８１５（ＪＰ，Ａ）

【文献】特開２０１５－１０５９７５（ＪＰ，Ａ）

【文献】特開２００６－０９８５４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ７／２６９

(57)【特許請求の範囲】

【請求項1】

動画像の低空間周波数成分を抽出する空間周波数フィルタ部と、
前記空間周波数フィルタ部を通過した前記動画像に基づいて前記動画像を撮影したカメラの角速度を算出する角速度算出部と
を備えることを特徴とする映像処理装置。

【請求項2】

前記空間周波数フィルタ部を通過した前記動画像に対して、勾配法によって動きベクトルを推定する動きベクトル推定部をさらに備え、
前記角速度算出部は、前記動きベクトルから前記動画像を撮影したカメラの角速度を算出することを特徴とする請求項１に記載の映像処理装置。

【請求項3】

前記動画像内の領域の前記動きベクトルを平均化して平均動きベクトルを算出する平均動きベクトル算出部を更に備え、
前記角速度算出部は、該平均動きベクトルから前記動画像を撮影したカメラの角速度を算出する、請求項２に記載の映像処理装置。

【請求項4】

前記空間周波数フィルタ部のカットオフ周波数は、前記動画像を撮影したカメラのフレームレートと、該カメラの最大角速度に基づいて定められる、請求項１から３の何れか一項に記載の映像処理装置。

【請求項5】

前記空間周波数フィルタ部のカットオフ周波数は、前記動画像に含まれる動く対象物の大きさもしくは速度の少なくとも何れかに基づいて定められる、請求項１から４のいずれか一項に記載の映像処理装置。

【請求項6】

動画像の低空間周波数成分を抽出するステップと、
低空間周波数成分を抽出した前記動画像に基づいて前記動画像を撮影したカメラの角速度を算出するステップと
を含むことを特徴とする映像処理方法。

【請求項7】

コンピュータを、請求項１から５のいずれか一項に記載の映像処理装置として機能させるための映像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、動画像から当該動画像を撮影したカメラの動きを推定することが可能な映像処理装置、映像処理方法、及び映像処理プログラムに関する。

【背景技術】

【0002】

近年、動画像から、当該動画像を撮影したカメラの角速度等を計算する技術の開発が進められている。例えば、非特許文献１～３には、エピポーラ幾何によるカメラの並進速度・角速度の推定について開示されており、これらの技術を用いることで、視覚運動に関する研究に利用したり、カメラの手ぶれを補正して視聴者に見易い映像を提供することが可能となる。

【先行技術文献】

【非特許文献】

【0003】

【文献】″エピポーラ幾何″、［online］、平成30年、［平成30年11月22日検索］、インターネット〈URL：http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_calib3d/py_epipolar_geometry/py_epipolar_geometry.html〉

【文献】佐藤淳、“コンピュータビジョン―視覚の幾何学”、コロナ社

【文献】Gary Bradski & Adrian Kaehler 著，松田晃一訳、“詳解 OpenCV －コンピュータビジョンライブラリを使った画像処理・認識”、オライリージャパン

【文献】B. D. Lucas & T. Kanade、“An Iterative Image Registration Technique with an Application to Stereo Vision”、Proceedings of Imaging Understanding Workshop (1981) 、p.121 - 130

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、非特許文献１～３では、カメラの並進速度および角速度の推定にエピポーラ幾何を用いているために、フレーム間対応点検出等の為の計算負荷が大きいという問題がある。

【0005】

計算負荷を少なくする方法としては、非特許文献４のような輝度勾配法を用いて映像から動きベクトルを推定し、その推定結果に基づいてカメラの並進速度および角速度を推定する方法も考えられる。だがこの場合、カメラの並進速度や角速度とは無関係な動きベクトルの影響を強く受けるため、カメラの並進速度及び角速度の推定精度が低下してしまう問題がある。

【0006】

従って、かかる点に鑑みてなされた本開示の目的は、エピポーラ幾何による方法よりも軽い計算負荷で動画像から当該動画像を撮影したカメラの動きを比較的精度良く推定することが可能な映像処理装置、映像処理方法、及び映像処理プログラムを実現することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本開示に係る映像処理装置は、
動画像の低空間周波数成分を抽出する空間周波数フィルタ部と、
前記空間周波数フィルタ部を通過した前記動画像に基づいて前記動画像を撮影したカメラの角速度を算出する角速度算出部と
を備えることを特徴とする。

【0008】

また、上記課題を解決するため、本開示に係る映像処理方法は、
動画像の低空間周波数成分を抽出するステップと、
低空間周波数成分を抽出した前記動画像に基づいて前記動画像を撮影したカメラの角速度を算出するステップと
を含むことを特徴とする。

【0009】

また、上記課題を解決するため、本開示に係る映像処理プログラムは、コンピュータを上述の映像処理装置として機能させるプログラムであることを特徴とする。

【発明の効果】

【0010】

本開示によれば、軽い計算負荷で動画像から当該動画像を撮影したカメラの動きを比較的精度良く推定することが可能な映像処理装置、映像処理方法、及び映像処理プログラムを実現することができる。

【図面の簡単な説明】

【0011】

【図1】本開示の一実施形態に係る映像処理装置の構成を示すブロック図である。

【図2】図１の空間周波数フィルタ部の構成を示すブロック図である。

【図3】本開示の一実施形態に係る映像処理方法の処理手順を示すフローチャートである。

【図4】本開示の一実施形態に係る映像処理装置により推定された動画像の平均動きベクトルとジャイロセンサによるカメラの角速度との相関を確認する手法を示すブロック図である。

【図5A】図４に示す手法による、動画像の平均動きベクトルとジャイロセンサによるカメラ角速度との相関確認結果を示す図である。

【図5B】図４に示す手法による、動画像の平均動きベクトルとジャイロセンサによるカメラ角速度との相関確認結果を示す図である。

【図5C】図４に示す手法による、動画像の平均動きベクトルとジャイロセンサによるカメラ角速度との相関確認結果を示す図である。

【発明を実施するための形態】

【0012】

以下、本開示の一実施形態に係る映像処理装置１００について、図面を参照して説明する。

【0013】

図１に示すように、本実施形態に係る映像処理装置１００は、入力された動画像の輝度の低空間周波数成分を抽出する空間周波数フィルタ部１０と、空間周波数フィルタ部１０を通過した動画像に対して、輝度勾配法によって動画像の動きベクトルを推定する動きベクトル推定部３０と、動画像内の複数の領域の動きベクトルを平均化して平均動きベクトルを算出する平均動きベクトル算出部５０と、平均動きベクトルからカメラの角速度を算出する角速度算出部７０とを備えている。なお、上述の各機能部は、図１に図示しない制御部により制御されるように構成してもよい。

【0014】

以下では、各フレーム画像の各画素値をI(x,y)と表記する。ここで、x,yはそれぞれ画像の横方向および縦方向の画素インデックスである。動画像は各フレーム画像の時系列であり、ｔを時間インデックスとしてフレームtにおける画素値をI(x,y,t)と表記する。なお、以下では、画素値の記号を用いて「画像I(x,y)」と表現することもあるが、これは画像の全ての画素値を指すものとする。本実施形態に係る空間周波数フィルタ部１０は、図２に示すように、動画像I(x,y,t)を構成する各フレーム画像I(x,y)の入力に対してフーリエ変換を行って周波数データ

【数1】

（以降、文中ではI^~(f_x,f_y)と記載する）を出力するフーリエ変換部１２と、周波数データI^~(f_x,f_y)に対して事前に定義した周波数重みF(f_x,f_y)で重み付けして低空間周波数成分を通過させる低空間周波数フィルタ部１４と、フィルタ処理された周波数データ

【数2】

（以降、文中ではI^~’(f_x,f_y)と記載する）に対して逆フーリエ変換を行ってフィルタ処理された画像I’(x,y)を出力する逆フーリエ変換部１６とを備えている。フィルタ処理された画像I’(x,y)は、元の画像I(x,y)の低空間周波数成分を抽出した画像である。ここで、I^~(f_x,f_y)は周波数データの(f_x,f_y)要素の値であり、F(f_x,f_y)は(f_x,f_y)要素に対応する重みである。なお、上記I^~(f_x,f_y)、I^~’(f_x,f_y)及びI’(x,y)の算出は、以下の数式により行うことができる。

【0015】

まず、フーリエ変換部１２により画像I(x,y)をフーリエ変換することで生成される周波数データI^~(f_x,f_y)は、以下の数式（１）で求められる。

【0016】

【数3】

ここで、

【数4】

とおけば、数式（１）の右辺は

【数5】

となり、空間周波数f_x,f_yの組ごとに固定の重みw(x,y)を適用する並列フィルタ処理である。

【0017】

次に、低空間周波数フィルタ部１４によりフィルタ処理された周波数データI^~’(f_x,f_y)は、以下の数式（２）で求められる。

【0018】

【数6】

ここで、F(f_x,f_y)は、事前に定義した空間周波数f_x,f_yの組に対応する周波数重みである。

【0019】

次に、逆フーリエ変換部１６によりフィルタ処理された周波数データI^~’(f_x,f_y)を逆フーリエ変換することで生成されるフィルタ処理された画像I’(x,y)は、以下の数式（３）で求められる。

【0020】

【数7】

数式（１）のフーリエ変換と同様に、

【数8】

とおけば、数式（３）の右辺は

【数9】

となり、画素位置x,yの組ごとに固定の重みw’(f_x,f_y)を適用する並列フィルタ処理である。

【0021】

このように、空間周波数フィルタ部１０における処理は、数式（１）～（３）の順に実行する多段フィルタ処理であり、数式（１），（３）は並列処理が可能な並列フィルタ処理である。すなわち、空間周波数フィルタ部１０における処理は、条件分岐を含まない多段並列フィルタ処理であり、計算負荷が軽い。また、数式（１）、（３）における処理は、高速フーリエ変換（Fast Fourier Transform）を用いることで更に計算負荷を抑制することが可能である。

【0022】

なお、低空間周波数フィルタ部１４によるフィルタ処理における最適カットオフ空間周波数f_x ^cut[cycle/deg.]は、動画像を撮影したカメラのフレームレートf_t[frame/s]と、カメラの最大角速度v_max[deg./s]に基づいて、以下の数式（４）に示すように定めることができる。

【0023】

【数10】

【0024】

また、数式（４）は、以下の数式（５）のように変形することができる。

【0025】

【数11】

数式（５）は、時間周波数に関するサンプリング定理を意味している。最大角速度v_max[deg./s]で動く空間周波数f_x ^cut[cycle/deg.]の縞の動きを確実に記録するためには、v_max*f_x ^cut[frame/s]の２倍以上のフレームレートが必要である。逆に、フレームレートがf_t[frame/s]の場合にはf_t/2v_max[cycle/deg.]以下の空間周波数であれば、カメラが回転したときに生じた映像動きを確実に表現している。従って、最適カットオフ周波数は数式（４）に示すように定めることができる。

【0026】

なお、本実施形態において空間周波数フィルタ部１０は、ローパスフィルタとして機能するように構成したが、この態様には限定されず、主に低空間周波数成分を通過させるバンドパスフィルタとして構成してもよい。また、本実施形態において空間周波数フィルタ部１０は、フーリエ変換を用いて空間周波数領域で実現するように構成したが、この態様には限定されず、フーリエ変換の性質より、周波数重みF(f_x,f_y)を逆フーリエ変換したフィルタG(x,y)を用いて実空間領域で画像I(x,y)とフィルタG(x,y)との畳み込み演算として実現するように構成してもよい。

【0027】

本実施形態に係る動きベクトル推定部３０は、低空間周波数成分を抽出した動画像I’(x,y)から動きベクトルを推定する。この動きベクトルの推定は、例えば非特許文献４に示す動画像中の輝度勾配から動きベクトルを推定するＬｕｃａｓ－Ｋａｎａｄｅ法によって行うことができる。しかし、この態様には限定されず、参考文献１に示す一般化勾配法など様々な手法を用いることができる。
（参考文献１）三池、長、三浦、杉村、“一般化勾配法によるオプティカルフローの検出：不均一照明下での物体運動の計測”、情報処理学会論文誌：コンピュータビジョンとイメージメディア（CVIM）(2008)

【0028】

本実施形態で動きベクトルの推定に用いているＬｕｃａｓ－Ｋａｎａｄｅ法は、動画像中の局所的な輝度勾配から各画素位置の動きベクトルを推定する手法であり、空間周波数フィルタ部１０における処理と同様に計算過程に条件分岐を含まない多段並列処理である。従って、エピポーラ幾何によるカメラの動き推定などと比較して計算負荷を大幅に抑制することができる。

【0029】

平均動きベクトル算出部５０は、動きベクトル推定部３０で生成された動きベクトルを平均化して平均動きベクトルを生成する。平均動きベクトルを生成するに際しては、動画像の全領域で平均値を算出してもよいし、動画像の一部の領域で平均値を算出してもよい。動画像の一部の領域の動きベクトルを用いる場合には、例えば光があまり当たらないためにノイズを多く含むような領域を計算対象から除外したり、後述するように動く対象物が存在する領域を計算対象から除外してもよい。除外すべき領域の特定に際しては、例えば、参考文献２のような動きベクトルの自己評価手法を用いることができる。
（参考文献２）安藤繁、“画像の時空間微分算法を用いた速度ベクトル分布計測システム”、計測自動制御学会論文集(1986) 22(12)、p.1330-1336、インターネット〈URL：https://doi.org/10.9746/sicetr1965.22.1330〉

【0030】

上述の動きベクトルの計算に際しては、物体追跡技術を用いて動画像内の動く対象物を追跡し、当該対象物及びその近傍を除いた領域の画像から動きベクトルを計算するよう構成しても良いし、動きベクトルを出力する際に当該対象物及びその近傍を除いた領域の動きベクトルを出力するように構成してもよい。動画像から当該動画像を撮影したカメラの角速度を推定するに際しては、実際に動いている対象物を動きベクトルの計算対象から除外した方が、計算された動きベクトルがカメラの動きに起因した動きベクトルのみになるため、角速度の推定精度が高くなるものと考えられる。

【0031】

角速度算出部７０は、平均動きベクトル算出部５０で生成された平均動きベクトルから、動画像を撮影したカメラの角速度を算出する。カメラの動きには、回転方向の動きと並進方向の動きが存在するが、カメラの動きに起因する動画像の動き（ぶれ）は、主にカメラの回転方向の動きに起因している。従って、角速度算出部７０は、動画像の上下方向及び左右方向の動きベクトルがカメラの回転方向の動きに対応していると仮定してカメラの角速度を算出する。

【0032】

図１において、空間周波数フィルタ部１０、動きベクトル推定部３０、平均動きベクトル算出部５０、及び角速度算出部７０における各処理は、例えば、所定のプログラムを映像処理装置１００が備えるＣＰＵ(Central Processing Unit)やＧＰＵ(Graphics Processing Unit)、ＤＳＰ(Digital Signal Processor)で実行させることによって、ソフトウエア処理として実現することができる。しかし、この態様には限定されず、各機能部における処理は、例えばＡＳＩＣ(Application Specific Integrated Circuit)、ＰＬＤ(Programmable Logic Device)、又はＦＰＧＡ(Field Programmable Gate Array)等によってハードウエア処理として実現するように構成してもよい。

【0033】

上記所定のプログラムは、映像処理装置１００内又は外部の図示しない記憶部に格納される。記憶部は、読取り可能な記憶媒体を含み、当該記憶媒体には、磁気ディスク記憶媒体、磁気カセット、磁気テープ、その他の磁気及び光学記憶装置(例えば、ＣＤ(Compact Disk)、レーザーディスク（登録商標）、ＤＶＤ（登録商標）(Digital Versatile Disc)、フロッピー（登録商標）ディスク及びブルーレイディスク（登録商標))、ＥＰＲＯＭ、ＥＥＰＲＯＭ若しくはフラッシュメモリ等の書換え可能でプログラム可能なＲＯＭ若しくは情報を格納可能な他の有形の記憶媒体又はこれらいずれかの組合せが含まれる。

【0034】

次に、本実施形態に係る映像処理方法の手順について図３を用いて説明する。

【0035】

まず、映像処理装置１００は、空間周波数フィルタ部１０により、入力された動画像I(x,y,t)に対して低空間周波数フィルタ処理を行う（ステップＳ１０１）。空間周波数フィルタ部１０は、動画像I(x,y,t)を構成する各フレームの画像I(x,y)の入力に対してフーリエ変換部１２によりフーリエ変換を行って周波数データI^~(f_x,f_y)を出力する。次に、映像処理装置１００は、当該周波数データI^~(f_x,f_y)に対して低空間周波数フィルタ部１４により事前に定義した周波数重みF(f_x,f_y)で重み付けして低空間周波数成分を通過させる。最後に、映像処理装置１００は、フィルタ処理された周波数データI^~’(f_x,f_y)に対して逆フーリエ変換部１６により逆フーリエ変換を行ってフィルタ処理された画像I’(x,y)を出力する。

【0036】

次に、映像処理装置１００は、ステップＳ１０１において低空間周波数成分を抽出した画像I’(x,y)の時系列（動画像）から、動きベクトル推定部３０により動きベクトルを計算する（ステップＳ１０３）。動きベクトルの計算は、動画像の全領域に対して行ってもよいし、カメラの動きを推定するのに適した領域を選択して行うようにしてもよい。

【0037】

次に、映像処理装置１００は、平均動きベクトル算出部５０によりステップＳ１０３で推定した動画像の動きベクトルから平均動きベクトルを推定する（ステップＳ１０５）。平均動きベクトルの算出は、動画像の全領域に対して行ってもよいし、カメラの動きを推定するのに適した領域の動きベクトルを選択して平均化するようにしてもよい。

【0038】

次に、映像処理装置１００は、ステップＳ１０５で算出された平均動きベクトルから、角速度算出部７０により動画像を撮影したカメラの角速度を算出する（ステップＳ１０７）。

【0039】

以上の実施形態では、解析的な手法に基づいて、低空間周波数成分を抽出した動画像からカメラの角速度を算出する例を説明したが、解析的な手法に限らず、機械学習等を用いても良い。

【0040】

一例として、角速度算出部７０を機械学習で代替させる場合について説明する。この場合、角速度算出部７０が角速度推定用学習済みモデルを備えるように構成する。角速度推定用学習済みモデルは、適当な初期値を設定したモデル（ニューラルネットワーク等）に平均動きベクトルと角速度データとの組からなる学習用データを与え、予め学習させておく。学習方法については周知の機械学習法を用いれば良い。そして、角速度算出部７０では、角速度推定用学習済みモデルにステップＳ１０５で算出された平均動きベクトルを入力することで、モデルから出力される結果をカメラ角速度の算出結果（角速度の推定値）として用いる。

【0041】

解析的手法で動きベクトルから角速度を求める場合においても、カメラレンズの光学収差等に起因する動きベクトルの推定誤差等をあらかじめ補正係数として与えるようにしておくことで、同様に動きベクトルの推定誤差等の補正が可能である。

【0042】

同様に、平均動きベクトル算出部５０を機械学習で代替させることも可能である。つまり、動きベクトルを入力とし、平均動きベクトルを出力するようにモデルを学習させておき、平均動きベクトル算出部５０は、この学習済みモデルを用いて入力された動きベクトルを平均動きベクトルに変換して出力する。この場合において、モデルの入力として、動きベクトルだけでなく動画像（または動画像の特徴量）も入力として加えてモデルを学習させることで、平均動きベクトル算出部５０において、動画像と動きベクトルを入力として、平均動きベクトルを出力させることが可能である。これにより、カメラレンズの光学収差等に起因する動きベクトルの推定誤差等を考慮した平均動きベクトルの推定結果を得ることが期待できる。

【0043】

また、学習用データとして、動画像とカメラの角速度との組の集合を用意し、動画像を入力としてカメラの角速度を出力するようなモデルを学習させておけば、動きベクトル推定部３０、平均動きベクトル算出部５０、角速度算出部７０を、学習済みモデルに基づいて動画像から直接カメラの角速度の推定結果を得るような１つの処理ブロックで代替させることも可能である。

【0044】

以上述べたように、本実施形態に係る映像処理装置１００は、動画像の低空間周波数成分を抽出する空間周波数フィルタ部１０と、空間周波数フィルタ部１０を通過した動画像に基づいて動画像を撮影したカメラの角速度を算出する角速度算出部７０とを備えるように構成した。このような構成の採用によって、以下に述べるように動画像からカメラの角速度と相関が高い動きベクトルを抽出してカメラの角速度を精度よく推定することができる。

【0045】

映像（動画像）中に含まれる動きベクトルは、カメラ運動に起因した動きベクトルもあれば、物理的に動く物体に起因した動きベクトルも存在する。一般的に、カメラ運動に起因した動きベクトルは大域的な輝度成分の変化（大域的な輝度変化）として表出されやすく、物理的に動く物体に起因した動きベクトルは局所的な輝度成分の変化（局所的な輝度変化）として表出されやすい傾向がある。言い換えれば、大域的な輝度変化はカメラ運動（カメラの角速度）との相関性が高いといえる。

【0046】

Ｌｕｃａｓ－Ｋａｎａｄｅ法のような輝度勾配に基づく動きベクトル推定手法は、その動きベクトルがどのような要因で生じたかを区別しない。空間周波数フィルタを適用する前の原映像に輝度勾配法を適用すると、カメラ運動と相関の高い動きベクトルのほかに、物理的に動く物体等と相関の高い動きベクトルも多く算出されることになり、これらの区別ができないため、カメラ運動を精度よく推定することが難しくなる。

【0047】

これに対して、空間周波数フィルタ部１０を通過した動画像には大域的な輝度変化が多く含まれる一方で、局所的な輝度変化が抑えられるので、カメラの角速度との相関が高い大域的な輝度変化に基づく動きベクトルが算出されやすくなる。事前に入力する映像から高空間周波数成分をカットしておくことで、動きベクトル推定に用いる手法自体は変更することなく、原映像を入力とする場合よりも精度よく、カメラの角速度を推定することが可能となるのである。

【0048】

なお、上述したように、映像からカメラの角速度を求めるに際しては、周知の輝度勾配法を用いる他、機械学習等を用いることも可能である。この場合も、映像を入力としてカメラの角速度を出力するモデルの入力として、低空間周波数成分のみを含む画像を用いることで、カメラの角速度と相関の高い特徴が抽出されやすくなるので、出力されるカメラ角速度の推定精度向上が期待できる。

【0049】

以上説明したように、本発明は、動画像の低空間周波数成分を抽出する空間周波数フィルタ部１０を備え、空間周波数フィルタ部１０により低空間周波数成分を抽出した画像に基づいて、カメラの角速度を推定することを特徴とする。

【0050】

また、本実施形態では、空間周波数フィルタ部１０を通過した動画像に対して、輝度勾配法によって動きベクトルを推定する動きベクトル推定部３０をさらに備え、角速度算出部７０は、動きベクトルから動画像を撮影したカメラの角速度を算出するように構成した。このような構成の採用によって、動画像から輝度勾配法によって動きベクトルを推定する際に、カメラの角速度と相関が高い大域的な輝度変化に基づく動きベクトルが算出され易くなるため、カメラの角速度をより精度良く推定することができる。また、計算負荷の軽い輝度勾配法によって推定した動きベクトルを用いてカメラの角速度を推定するため、先行技術を用いた場合と比較して計算負荷を低減することができる。

【0051】

また、本実施形態では、動画像内の領域の動きベクトルを平均化して平均動きベクトルを算出する平均動きベクトル算出部５０を更に備え、角速度算出部７０は、平均動きベクトルから動画像を撮影したカメラの角速度を算出するように構成した。このような構成の採用によって、動画像内に動く対象物などカメラの角速度推定を阻害する物が写り込んでいる場合にも、動画像の全領域又は一部の領域の動きベクトルの平均値を用いることで、カメラの角速度の推定精度を高めることができる。

【0052】

また、本実施形態では、空間周波数フィルタ部１０のカットオフ周波数は、動画像を撮影したカメラのフレームレートと、カメラの最大角速度に基づいて定められるように構成した。このような構成の採用によって、時間方向のエイリアシングを抑えることができ、カメラが回転したときの輝度勾配を確実に検出することができる。

【0053】

また、空間周波数フィルタ部１０のカットオフ周波数は、後述する実施例に記載のように、動画像に含まれる動く対象物の大きさもしくは速度の少なくとも何れかに基づいて定められるように構成してもよい。

【0054】

また、本実施形態では、動きベクトル推定部３０において動きベクトルの推定に用いる輝度勾配法として、Ｌｕｃａｓ－Ｋａｎａｄｅ法を利用するように構成した。このような構成の採用によって、低空間周波数フィルタ処理と動きベクトル推定を、計算過程に条件分岐や対応点探索を含まない多段並列処理で行うことができるため、動画像から当該動画像を撮影したカメラの動き（角速度）を推定するための計算負荷を抑制することができる。

【0055】

また、本実施形態に係る映像処理方法は、動画像の低空間周波数成分を抽出するステップと、低空間周波数成分を抽出した前記動画像に基づいて前記動画像を撮影したカメラの角速度を算出するステップとを含むように構成した。このような構成の採用によって、動画像からカメラの角速度との相関が高い動きを抽出してカメラの角速度を精度よく推定することができる。

【0056】

本開示を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

【0057】

例えば、本実施形態では、１つの映像処理装置１００が、空間周波数フィルタ部１０、動きベクトル推定部３０、平均動きベクトル算出部５０、角速度算出部７０を備えるように構成したが、この態様には限定されない。例えば、空間周波数フィルタ部１０及び動きベクトル推定部３０による処理をサーバ上で行い、平均動きベクトル算出部５０及び角速度算出部７０による処理をＰＣ（Personal Computer）、スマートフォン又はタブレットＰＣ内で行うように構成してもよい。

【実施例】

【0058】

次に、本実施形態に係る映像処理装置１００によって動画像から推定された、当該動画像を撮影したカメラの角速度の推定精度の検証を行った。カメラの角速度の推定精度の検証は、図４の右上に示すように、人物の頭部に動画像撮影用のカメラに加えてジャイロセンサを搭載し、ジャイロセンサから取得した人物の頭部の各軸周りの角速度を、カメラで撮影された動画像（図４の左上に示す）から推定された平均動きベクトルと比較することにより行った。なお、ジャイロセンサの出力と動画像の平均動きベクトルとの比較に際しては、頭部のｙ軸周りの回転により動画像上にｘ軸方向の動きが発生し、頭部のｘ軸周りの回転により動画像上にｙ軸方向の動きが発生することから、動画像のｘ軸方向の動きベクトル

【数12】

（以降、文中ではv^~ _x(t)と記載する）を頭部（ジャイロセンサ）のｙ軸周りの角速度ω_y(t) と比較し、動画像のｙ軸方向の動きベクトルv^~ _ｙ(t)を頭部（ジャイロセンサ）のｘ軸周りの角速度ω_x(t)と比較した。図５Ａ~図５Ｃに比較結果を示す。

【0059】

図５Ａの上段には、人物の頭部にカメラを装着してボール遊びを行っている様子を撮影した動画像について、当該動画像から推定される平均動きベクトルと、カメラに隣接して配置されたジャイロセンサから出力される角速度とを比較した結果を示している。帯域制限をかけていない場合（比較例１）、ｘ軸方向及びｙ軸方向の平均動きベクトルと各ジャイロセンサの値との相関係数は、それぞれ０．５１と０．４９であったのに対して、空間周波数が０．１ｃｐｄ（cycle per degree）（本実施例においては、画角８２°に対し映像６４０pixelのため，１ｃｐｄ＝８２／６４０（cycle/pixel）である）の低空間周波数フィルタをかけた場合（実施例１）には、ｘ軸方向及びｙ軸方向の平均動きベクトルと各ジャイロセンサの値との相関係数は、それぞれ０．６９と０．７３へと向上した。これは、動画像の０．１ｃｐｄ以下の空間周波数成分を抽出することにより、より精度よく頭部回転（カメラ運動）に起因した動きベクトルが推定できることを示している。言い換えれば、０．１ｃｐｄ以下の低空間周波数フィルタを通過させた画像には、頭部回転（カメラ運動）に起因した大域的な輝度変化が多く（十分に）含まれ、ボールの動きに起因した局所的な輝度変化は抑制されるため、カメラの回転運動をより精度よく推定できたと考えられる。従って、ボールなど動く対象物の影響を抑制するための、例えば動く対象物の大きさや対象物の速さに応じたカットオフ周波数のフィルタを動画像に応じて定めるように構成してもよい。

【0060】

このボール遊びの例では、０．１～０．４ｃｐｄのバンドパスフィルタを採用した場合（実施例２）には、ｘ軸方向及びｙ軸方向の動きベクトルと各ジャイロセンサの値との相関係数は、それぞれ０．３９と０．５６であり、帯域制限無し（比較例１）と比較して殆ど相関係数の改善は見られなかった。これは、ボール遊びの動画像では、動く対象物であるボールの動きに起因した局所的な輝度勾配を含む画像情報が０．１～０．４ｃｐｄのバンドパスフィルタを通過した動画像にも相当程度含まれているが、ボールはカメラとは無関係に動いているため、カメラの動きとは相関性の低い動きが動きベクトルとして抽出されやすくなってしまうと考えられる。０．４ｃｐｄ以上のハイパスフィルタを採用した場合（比較例２）には、ｘ軸方向及びｙ軸方向の動きベクトルと各ジャイロセンサの値との相関係数は、それぞれ０．１６と０．１３であり、頭部回転（カメラ運動）に起因した動きベクトルの計算に必要な大域的な輝度勾配を含む画像情報が殆ど含まれていないと考えられる。

【0061】

図５Ａの下段には、人物の頭部にカメラを装着して屋外で散歩を行っている様子を撮影した動画像について、当該動画像から推定される平均動きベクトルと、カメラに隣接して配置されたジャイロセンサから出力される角速度とを比較した結果を示している。帯域制限をかけていない場合（比較例１）、ｘ軸方向及びｙ軸方向の平均動きベクトルと各ジャイロセンサの値との相関係数は、それぞれ０．３２と０．４２であったのに対して、カットオフ周波数が０．１ｃｐｄの低空間周波数フィルタをかけた場合（実施例１）には、ｘ軸方向及びｙ軸方向の動きベクトルと各ジャイロセンサの値との相関係数は、それぞれ０．６１と０．６７へと向上した。これは、ボール遊びの場合と同様に、動画像から動きベクトルを計算する際に、動画像の０．１ｃｐｄ以下の空間周波数成分を抽出することにより頭部回転（カメラ運動）に起因した大域的な輝度勾配を含む画像情報をより多く抽出することができるからであると考えられる。

【0062】

図５Ｂの上段には、人物の頭部にカメラを装着して学会のポスター発表を傾聴している様子を撮影した動画像について、当該動画像から推定される平均動きベクトルと、カメラに隣接して配置されたジャイロセンサから出力される角速度とを比較した結果を示している。帯域制限をかけていない場合（比較例１）、ｘ軸方向及びｙ軸方向の平均動きベクトルと各ジャイロセンサの値との相関係数は、それぞれ０．５３と０．６４であったのに対して、空間周波数が０．１ｃｐｄの低空間周波数フィルタをかけた場合（実施例１）には、ｘ軸方向及びｙ軸方向の動きベクトルとジャイロセンサとの相関係数は、それぞれ０．８１と０．７８へと向上した。これは、先の例と同様に、動画像から動きベクトルを推定する際に、動画像の０．１ｃｐｄ以下の空間周波数成分を抽出することにより頭部回転（カメラ運動）に起因した大域的な輝度勾配を含む画像情報をより多く抽出することができるからであると考えられる。但し、この学会ポスターの例では、０．１～０．４ｃｐｄのバンドパスフィルタを採用した場合（実施例２）においても、特にｘ軸方向の動きベクトルとジャイロセンサの値との相関係数が、０．８２へと改善が見られている。これは、学会ポスター発表の傾聴においては、動画像に写り込む対象物の大部分が動かないため、局所的な輝度勾配による動きであっても比較的カメラの角速度との相関が得られ易いためと考えられる。従って、０．１～０．４ｃｐｄというボール遊びの例では動きベクトルとカメラの角速度との相関が取りづらかった帯域の動画像であっても、比較的高い相関が得られるものと考えられる。

【0063】

図５Ｂの下段には、人物の頭部にカメラを装着して廊下でジョギングしている状態を撮影した動画像について、当該動画像から推定される平均動きベクトルと、カメラに隣接して配置されたジャイロセンサから出力される角速度とを比較した結果を示している。帯域制限をかけていない場合（比較例１）、ｘ軸方向及びｙ軸方向の平均動きベクトルと各ジャイロセンサの値との相関係数は、それぞれ０．５５と０．２５であったのに対して、空間周波数が０．１ｃｐｄの低空間周波数フィルタをかけた場合（実施例１）には、ｘ軸方向及びｙ軸方向の平均動きベクトルと各ジャイロセンサの値との相関係数は、それぞれ０．７２と０．５８へと向上した。これは、先の例と同様に、動画像から動きベクトルを推定する際に、動画像の０．１ｃｐｄ以下の空間周波数成分を抽出することにより頭部回転（カメラ運動）に起因した動きベクトルの計算に必要な大域的な輝度勾配を含む画像情報を選択的に抽出することができるからであると考えられる。但し、このジョギングの例では、０．１～０．４ｃｐｄのバンドパスフィルタを採用した場合（実施例２）においても、特にｙ軸方向の動きベクトルとジャイロセンサの値との相関係数が、０．５０へと改善が見られている。これは、ジョギングしている状態を撮影した動画像では、ｙ軸方向への撮影者の移動速度が速いために高空間周波数成分における時間方向のエイリアシングが生じｙ軸方向の動き推定誤差が大きくなっているところ、０．１～０．４ｃｐｄのバンドパスフィルタを通過させることでエイリアシングの影響が減り、ｙ軸方向の動き推定精度が向上したと考えられる。

【0064】

図５Ｃの上段には、人物の頭部にカメラを装着し、キャッチボールしている状態を撮影した動画像について、当該動画像から推定される平均動きベクトルと、カメラに隣接して配置されたジャイロセンサから出力される角速度とを比較した結果を示している。帯域制限をかけていない場合（比較例１）、ｘ軸方向及びｙ軸方向の平均動きベクトルと各ジャイロセンサの値との相関係数は、それぞれ０．２８と０．１３であったのに対して、空間周波数が０．１ｃｐｄの低空間周波数フィルタをかけた場合（実施例１）には、ｘ軸方向及びｙ軸方向の平均動きベクトルと各ジャイロセンサの値との相関係数は、それぞれ０．４２と０．７２へと向上した。これは、先の例と同様に、動画像から動きベクトルを推定する際に、動画像の０．１ｃｐｄ以下の空間周波数成分を抽出することにより頭部回転（カメラ運動）に起因した大域的な輝度勾配を含む画像情報を選択的に抽出することができるからであると考えられる。但し、このキャッチボールの例では、０．１～０．４ｃｐｄのバンドパスフィルタを採用した場合（実施例２）においても、特にｙ軸方向の平均動きベクトルとジャイロセンサの値との相関係数が、０．５４へと改善が見られている。これは、キャッチボールしている状態を撮影した動画像では、動く対象物であるボールの動きが速く、ボールの動きに起因する局所的な輝度勾配を含む画像情報がカメラの角速度と動画像上のｙ軸方向の動きとの相関を悪化させる要因となっているところ、０．１～０．４ｃｐｄのバンドパスフィルタによって、ボールの動きに起因する局所的な輝度勾配を含む画像情報が抑えられ、ｙ軸方向の動きベクトルとカメラの角速度との相関を向上させているものと考えられる。これは、図５Ｃの下段のゴロの捕球についても同様である。

【符号の説明】

【0065】

１０ 空間周波数フィルタ部
１２ フーリエ変換部
１４ 空間周波数フィルタ部
１６ 逆フーリエ変換部
３０ 動きベクトル推定部
５０ 平均動きベクトル算出部
７０ 角速度算出部
１００ 映像処理装置

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】