特許 6677980 パノラマビデオデータの処理装置、処理方法及び処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6677980

(24)【登録日】2020年3月18日

(45)【発行日】2020年4月8日

(54)【発明の名称】パノラマビデオデータの処理装置、処理方法及び処理プログラム

(51)【国際特許分類】

   G06T 3/00 20060101AFI20200330BHJP

   G06T 7/30 20170101ALI20200330BHJP

   G06T 7/70 20170101ALI20200330BHJP

   H04N 1/387 20060101ALI20200330BHJP

   G03B 15/00 20060101ALI20200330BHJP

   G03B 37/00 20060101ALI20200330BHJP

【ＦＩ】

   G06T3/00 755

   G06T7/30

   G06T7/70 B

   H04N1/387 110

   G03B15/00 W

   G03B37/00 A

【請求項の数】9

【全頁数】9

(21)【出願番号】特願2015-136346(P2015-136346)

(22)【出願日】2015年7月7日

(65)【公開番号】特開2017-21430(P2017-21430A)

(43)【公開日】2017年1月26日

【審査請求日】2018年2月13日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】要 強

(72)【発明者】

【氏名】三功 浩嗣

(72)【発明者】

【氏名】徐 栄

(72)【発明者】

【氏名】内藤 整

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２００８−２７６６２１（ＪＰ，Ａ）

【文献】 特開２００４−０４６５７３（ＪＰ，Ａ）

【文献】 特開２０１５−１２１８５０（ＪＰ，Ａ）

【文献】 特開２０１２−２４２８２１（ＪＰ，Ａ）

【文献】 Beom Su Kim et al.，Real-time Panorama Canvas of Natural Images，IEEE Transactions on Consumer Electronics，IEEE，２０１１年１１月，Vol. 57, No. 4，pp. 1961-1968，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6131177

【文献】 Mostafa Kamali et al.，Stabilizing Omnidirectional Videos Using 3D Structure and Spherical Image Warping，MVA2011 IAPR Conference on Machine Vision Applications，２０１１年 ６月，pp. 177-180，https://pdfs.semanticscholar.org/24ae/f030acc11d26d2f4ec1f1ec4ac8462230ebf.pdf

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ ７／００−７／９０

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ３７／００

Ｈ０４Ｎ １／３８７

(57)【特許請求の範囲】

【請求項1】

パノラマビデオデータの処理装置であって、
フレームの一部の領域であり２次元（平面）画像として見做せる大きさとして前記フレームの０．１５倍の大きさの画像のパッチから特徴点を抽出する抽出手段と、
前記パッチの特徴点に対応する、前記フレームの次のフレームの画素を判定する判定手段と、
前記パッチの特徴点と、前記判定手段が判定した画素の位置に基づき、前記パッチを前記次のフレームに射影する射影行列を決定する決定手段と、
前記射影行列により前記パッチを射影した前記次のフレームの第１領域に基づき、前記フレームと前記次のフレームの角度差を判定する角度判定手段と、
前記角度判定手段が判定する、前記パノラマビデオデータの連続するフレーム間それぞれの角度差に基づき前記パノラマビデオデータを変換する変換手段と、
を備えていることを特徴とするパノラマビデオデータの処理装置。

【請求項2】

前記パッチは、前記フレームの中央を含む画像である請求項１に記載のパノラマビデオデータの処理装置。

【請求項3】

前記変換手段は、前記パノラマビデオデータの連続するフレーム間の角度差が減少する様に前記パノラマビデオデータを変換することを特徴とする請求項１又は２に記載のパノラマビデオデータの処理装置。

【請求項4】

前記角度判定手段は、前記フレームと前記次のフレームの角度差として、互いに直交する第１方向、第２方向及び第３方向それぞれを回転軸とする３つの角度差を判定することを特徴とする請求項１から３のいずれか１項に記載のパノラマビデオデータの処理装置。

【請求項5】

前記角度判定手段は、前記パッチ内の位置と前記第１領域の対応する位置との水平方向の距離に基づき前記第１方向を回転軸とする第１角度差を求め、前記パッチ内の位置と前記第１領域の対応する位置との垂直方向の距離に基づき前記第２方向を回転軸とする第２角度差を求め、前記パッチの各辺と前記第１領域の対応する辺との角度差に基づき前記第３方向を回転軸とする第３角度差を求めることを特徴とする請求項４に記載のパノラマビデオデータの処理装置。

【請求項6】

前記角度判定手段は、前記パッチの形状を正方形とし、前記パッチの形状に対する前記第１領域の２つの対角線の長さの比に基づき前記角度差の信頼度の有無を判定し、
前記変換手段は、信頼度が無いと前記角度判定手段が判定した角度差を、前記パノラマビデオデータの変換に使用しないことを特徴とする請求項１から５のいずれか１項に記載のパノラマビデオデータの処理装置。

【請求項7】

前記変換手段は、前記パノラマビデオデータの連続するフレーム間の角度差をローパスフィルタによりフィルタし、フィルタ後の角度差に基づき前記パノラマビデオデータを変換することを特徴とする請求項１から６のいずれか１項に記載のパノラマビデオデータの処理装置。

【請求項8】

パノラマビデオデータを処理装置で処理する処理方法であって、
フレームの一部の領域であり２次元（平面）画像として見做せる大きさとして前記フレームの０．１５倍の大きさの画像のパッチから特徴点を抽出する抽出ステップと、
前記パッチの特徴点に対応する、前記フレームの次のフレームの画素を判定する画素判定ステップと、
前記パッチの特徴点と、前記判定ステップにおいて判定された画素の位置に基づき、前記パッチを前記次のフレームに射影する射影行列を決定する決定ステップと、
前記射影行列により前記パッチを射影した前記次のフレームの第１領域に基づき、前記フレームと前記次のフレームの角度差を判定する角度判定ステップと、
前記角度判定ステップにおいて判定された、前記パノラマビデオデータの連続するフレーム間それぞれの角度差に基づき前記パノラマビデオデータを変換する変換ステップと、
を含むことを特徴とするパノラマビデオデータの処理方法。

【請求項9】

請求項１から７のいずれか１項に記載の処理装置としてコンピュータを機能させることを特徴とするパノラマビデオデータの処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば、１つ以上の撮像装置により取得した全周囲映像といった、パノラマビデオデータの安定化技術に関する。

【背景技術】

【0002】

近年、撮影位置を中心に水平面内において３６０度の全周囲画像（パノラマ画像）を撮影するパノラマ撮影技術が注目を集めている。また、このパノラマ画像を連続して撮影することでパノラマ動画とすることも行われている。パノラマ画像は、例えば、その向きをそれぞれ異ならせた複数のカメラで撮影し、各カメラが撮影した画像のデータを合成することで生成される。或いは、フィッシュアイ・レンズの様な超広角レンズを用いることで撮影される。パノラマ画像の各被写体の位置は極座標で表されるが、ディスプレイ等に表示する際には平面座標に変換されて平面画像として表示される。また、パノラマ動画のデータ（以下、パノラマビデオデータ）から、ユーザが指定した視点を中心にある狭い領域を切り出して平面画像として表示することで、自由視点映像システムを構築することができる。

【0003】

例えば、パノラマ動画を、カメラを固定することなく、例えば、手持ちで撮影すると手振れ等の影響により再生時の映像が見難くなる。したがって、手持ち等で撮影して取得したパノラマビデオデータの手振れを抑える様な処理を事前に行って、処理後のパノラマビデオデータを保存しておくことが求められる。この事前処理により、ブレの無い安定した動画を再生することができる。

【0004】

非特許文献１は、カメラの射影行列と、各パノラマ画像の特徴軌跡からパノラマビデオデータを安定化させる構成を開示している。特許文献１は、カメラパラメータに基づきパノラマ画像を生成する構成を開示している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許第６１５７７４７号明細書

【非特許文献】

【0006】

【非特許文献1】Ｋａｍａｌｉ，Ｍ． ｅｔ ａｌ．，"Ｓｔａｂａｉｌｉｚｉｎｇ ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｖｉｄｅｏ ｕｓｉｎｇ ３Ｄ ｓｔｒｕｃｔｕｒｅ ａｎｄ ｓｐｈｅｒｉｃａｌ ｉｍａｇｅ ｗａｒｐｉｎｇ"，ＩＡＰＲ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ，ｐｐ．１７７−１８０，２０１１年

【発明の概要】

【発明が解決しようとする課題】

【0007】

非特許文献１の構成は、特徴軌跡の追跡に高い計算コストが必要となる。また、特許文献１に記載の構成は、カメラの内部パラメータが必要であり個々のカメラに応じたパラメータの調整等、処理が煩雑となる。

【0008】

本発明は、簡易にパノラマビデオデータの安定化処理を行う処理装置、処理方法及び処理プログラムを提供するものである。

【課題を解決するための手段】

【0009】

本発明の一側面によると、パノラマビデオデータの処理装置は、フレームの一部の領域であり２次元（平面）画像として見做せる大きさとして前記フレームの０．１５倍の大きさの画像のパッチの特徴点を抽出する抽出手段と、前記パッチの特徴点に対応する、前記フレームの次のフレームの画素を判定する判定手段と、前記パッチの特徴点と、前記判定手段が判定した画素の位置に基づき、前記パッチを前記次のフレームに射影する射影行列を決定する決定手段と、前記射影行列により前記パッチを射影した前記次のフレームの第１領域に基づき、前記フレームと前記次のフレームの角度差を判定する角度判定手段と、前記角度判定手段が判定する、前記パノラマビデオデータの連続するフレーム間それぞれの角度差に基づき前記パノラマビデオデータを変換する変換手段と、を備えていることを特徴とする。

【発明の効果】

【0010】

本発明によると、簡易にパノラマビデオデータの安定化処理を行うことができる。

【図面の簡単な説明】

【0011】

【図1】一実施形態による処理装置の構成図。

【図2】一実施形態によるパノラマビデオデータの安定化処理を示すフローチャート。

【図3】平面座標を示す図。

【図4】極座標を示す図。

【図5】一実施形態による回転角度を求める処理の説明図。

【図6】一実施形態による回転角度を求める処理の説明図。

【図7】一実施形態による回転角度を求める処理の説明図。

【図8】一実施形態による後処理の説明図。

【発明を実施するための形態】

【0012】

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

【0013】

＜第一実施形態＞
図１は、本実施形態による処理装置の構成図であり、図２は、本実施形態よるパノラマビデオデータ安定化処理のフローチャートである。図１の記憶部１には、撮像装置で撮影した安定化処理前のパノラマビデオデータ（以下、単に、ビデオデータとも呼ぶ。）が格納される。なお、記憶部１に格納されているビデオデータで再生される動画は、Ｎ個のフレームからなるものとする。また、制御部８は、処理装置の全体を制御する。Ｓ１０において、制御部８は、フレームのインデックスｉを１に初期化する。Ｓ１１において、パッチ選択部２は、記憶部１に記憶されているビデオデータのｉ番目のフレーム（以下、フレームＩｉと呼ぶ。）からパッチＰｉを選択する。本実施形態において、パッチＰｉとは、フレームＩｉの一部の領域の画像であり、パッチＰｉの大きさは、２次元（平面）画像と見做せる程度の大きさとする。なお、パッチＰｉの大きさを小さくし過ぎると、パッチＰｉ内の特徴点の数が少なくなり過ぎるため、パッチＰｉの大きさは、２次元画像と見做せる程度の大きさで可能な限り大きくする。例えば、パッチＰｉとして、元のフレームの大きさの０．１５倍程度の大きさを選択することができる。また、パッチＰｉとして選択するフレームＩｉ内の位置は任意であるが、例えば、フレームＩｉの中央を含む様にする。これは、通常、フレームの中央付近に特徴点が多いからである。なお、最初のフレームＩ１のパッチＰ１についてはユーザが選択し、その後のフレームからのパッチ選択については、ユーザが選択した位置或いはその近傍にて行う構成であっても良い。

【0014】

Ｓ１２において、特徴点抽出部３は、パッチＰｉの特徴点を抽出する。特徴点の抽出には任意の公知のアルゴリズムを使用することができる。Ｓ１３において、マッチング部４は、パッチＰｉの特徴点に対応する、次のフレームＩｉ＋１内の位置（画素）を判定する。Ｓ１４において、行列決定部５は、パッチＰｉの特徴点と、フレームＩｉ＋１の対応する位置との関係に基づき、射影行列であるホモグラフィック行列Ｈを求める。なお、パッチＰｉの位置（画素）は、図３に示す平面座標系で表される。本実施形態においては、水平方向の座標をＵ軸とし、垂直方向の座標をＶ軸とし、Ｕ軸の位置がｕであり、Ｖ軸の位置がｖである画素Ｑを（ｕ，ｖ）で表す。例えば、パッチＰｉの位置（ｕ，ｖ）に対応するフレームＩｉ＋１の平面座標系での位置が（ｕ´，ｖ´）であるとすると、２つの位置と、ホモグラフィック行列Ｈとの関係は以下の式で表される。

【0015】

（ｕ´，ｖ´，１）＝ｓＨ（ｕ，ｖ，１）Ｔ
なお、ｓは任意のスカラー値である。

【0016】

Ｓ１５において、回転角度判定部６は、求めたホモグラフィック行列ＨによりパッチＰｉを、フレームＩｉ＋１上に投影し、フレームＩｉ＋１上に投影されたパッチＰｉの領域Ｐ´を求める。図５は、パッチＰｉと、領域Ｐ´の一例を示している。Ｓ１６において、回転角度判定部６は、パッチＰｉと、領域Ｐ´それぞれのコーナーの位置を求める。そして、Ｓ１７において、回転角度判定部６は、パッチＰｉと、領域Ｐ´に基づき、フレームＩｉに対するフレームＩｉ＋１の回転角度Δαｉ、Δβｉ、Δγｉを以下に説明する用に求める。なお、図４に示す様に、α、β、γは、それぞれ、極座標系において互いに直交する３つの方向、つまり、Ｘ軸、Ｙ軸、Ｚ軸を回転軸とする回転角度とする。また、以下の説明においては、Ｘ軸及びＺ軸が水平方向であり、Ｙ軸が垂直方向であるものとする。

【0017】

まず、回転角度判定部６は、パッチＰｉと領域Ｐ´それぞれについて、Ｓ１６で求めたコーナーの位置から中心点を算出する。図５に示す様に、本例において、パッチＰの中心点をＯとし、領域Ｐ´の中心点をＯ´とする。そして、図５に示す様に、回転角度判定部６は、Ｕ軸方向における中心点Ｏ及びＯ´の距離ΔＳと、Ｖ軸方向における中心点Ｏ及びＯ´の距離ΔＴを求める。ΔＳは、Ｙ軸周りの回転により生じているため、Δβｉは以下の式により求めることができる。
Δβｉ＝３６０×ΔＳ／Ｗ
ここで、Ｗは、図６に示す様に、極座標における中心点Ｏ´を通る水平面内の円周である。なお、本実施形態では中心点Ｏ´を通る水平面内の円周をＷとするが、中心点Ｏを通る水平面内の円周としても良い。或いは、中心点Ｏを通る水平面内の円周と中心点Ｏ´を通る水平面内の円周の平均値等をＷとしても良い。さらには、中心点Ｏを通る水平面内の円周と中心点Ｏ´を通る水平面内の円周の小さい方の値以上であり、かつ、大きい方の値以下の任意の値をＷとすることができる。

【0018】

一方、ΔＴは、Ｘ軸周りの回転により生じているため、Δαｉは以下の式により求めることができる。
Δαｉ＝３６０×ΔＴ／Ｈ
ここで、Ｈは、極座標における円周の半分の値である。これは、全周囲画像を平面座標で示す場合、そのＶ軸方向の長さは、円周の半分に基づきスケーリングされるからである。

【0019】

また、Ｚ軸周りの回転は、本例においては、平面座標系の面内の回転となる。したがって、回転角度判定部６は、Ｚ軸周りの回転角度Δγｉを、パッチＰｉの辺と、領域Ｐ´の対応する辺との角度により求める。具体的には、図７に示す様に、パッチＰｉの４つの辺に対する、領域Ｐ´の対応する４つの辺の角度をそれぞれａ、ｂ、ｃ、ｄとすると、Δγｉは以下の式により求めることができる。
Δγｉ＝（ａ＋ｂ＋ｃ＋ｄ）／４

【0020】

なお、本実施形態では、パッチＰｉと、領域Ｐ´との中心点間の距離によりＸ軸及びＹ軸周りの回転角度を求めたが、パッチＰｉと、領域Ｐ´の重心や、その他の任意の基準で決めたパッチ及び領域内の対応する点間の距離により回転角度を求める構成であっても良い。

【0021】

回転角度判定部６がΔαｉ、Δβｉ、Δγｉを算出すると、制御部８は、Ｓ１８でｉを１だけ増加させ、Ｓ１９でｉがＮであるか否かを判定する。ｉがＮではないと、総てのフレーム対する処理は終了していないので、制御部８は、総てのフレーム対する処理が終了するまでＳ１１からの処理を各部に繰り返させる。一方、Ｓ１８でｉがＮであると、総てのフレームに対する処理が終了し、隣接するフレーム間の回転角度（Δαｉ，Δβｉ，Δγｉ）（ｉ＝１〜Ｎ−１）が算出されている。したがって、データ変換部７は、１番目のフレームを基準としたｋ番目のフレームのＸ軸、Ｙ軸、Ｚ軸周りの回転角度αｋ、βｋ、γｋを、以下の式で求めることができる。

【0022】

【数1】

【0023】

なお、α０、β０及びγ０は、所定の初期値である。データ変換部７は、Ｓ２０で、ｋ番目のフレームを（−αｋ、−βｋ、−γｋ）だけ回転させる様にデータ変換し、変換後のデータを記憶部１に保存する。これにより、各フレーム間の角度差が減少し、ブレを低減させることができる。変換後のビデオデータにより、ブレの少ない安定した動画像を再生することができる。

【0024】

本実施形態では、カメラパラメータを必要とせず、かつ、特徴軌跡の追跡の必要もない。したがって、簡易にパノラマビデオデータの安定化処理を行うことができる。なお、本実施形態ではパッチＰｉを正方形としたが、長方形や菱形、さらには他の多角形であっても良い。

【0025】

＜第二実施形態＞
続いて第二実施形態について、第一実施形態との相違点を中心に説明する。第一実施形態においてデータ変換部７は、回転角度判定部６が判定した（Δαｉ，Δβｉ，Δγｉ）の総てを使用してビデオデータの変換を行った。しかしながら、フレームのピントが合っていないことや、大きなブレ等により（Δαｉ，Δβｉ，Δγｉ）に大きな誤差が含まれると、安定化処理の精度が劣化する。特に、ｋ番目のフレーム回転角度（αｋ、βｋ、γｋ）は、上述した様に、（Δαｉ，Δβｉ，Δγｉ）の積算値であるため、あるところで誤差の大きな（Δαｉ，Δβｉ，Δγｉ）が生じると、その誤差は、それ以後の総てのフレームに波及してしまう。

【0026】

したがって、本実施形態では、図２のＳ１７において、（Δαｉ，Δβｉ，Δγｉ）を求めた際に、求めた（Δαｉ，Δβｉ，Δγｉ）の信頼度の有無を判定し、信頼度が無い場合、求めた（Δαｉ，Δβｉ，Δγｉ）を（０，０，０）に置き換える。つまり、信頼度が無い回転角度差についてはビデオデータの変換処理に使用しない。以下、図８を用いて信頼度の判定について説明する。
よう懇願する次第であります。

【0027】

図８に示す様に、本実施形態では、領域Ｐ´の２つの対角線の長さの比（Ｄ１／Ｄ２）を信頼度の尺度として使用する。例えば、パッチＰを正方形とすると、パッチＰの２つの対角線の長さの比は１である。パッチＰｉの形状に対して領域Ｐ´の形状がひどく変形すると、（Ｄ１／Ｄ２）の値は、１に対してかなり大きい値か、かなり小さい値になる。通常、連続するフレーム間においては、パッチＰに対して領域Ｐ´がそれ程変形することはないため、本実施形態では閾値Ｔｈ１と閾値Ｔｈ２（Ｔｈ１＜Ｔｈ２）を設定し、Ｔｈ１≦（Ｄ１／Ｄ２）≦Ｔｈ２であると、（Δαｉ，Δβｉ，Δγｉ）は信頼できると判定する。一方、（Ｄ１／Ｄ２）の値がＴｈ１より小さい場合と、Ｔｈ２より大きい場合には、（Δαｉ，Δβｉ，Δγｉ）は信頼できないと判定してその値を０とする。なお、その他の処理については第一実施形態と同様である。なお、パッチＰｉの形状に対する領域Ｐ´の形状の変形度合を示す他の値を信頼度の判定に使用する構成であっても良い。なお、本実施形態では信頼度が無いと判定された回転角度を総て０に置きかえるが、通常、連続するフレーム間の回転角度は小さく、０にすることの影響は少ない。

【0028】

＜第三実施形態＞
第一実施形態においては、回転角度判定部６が判定した（Δαｉ，Δβｉ，Δγｉ）をそのまま使用して（αｋ、βｋ、γｋ）を求めていた。本実施形態では、（Δαｉ，Δβｉ，Δγｉ）をｉ＝１から順に並べ、その波形をローパスフィルタによりフィルタする。そして、フィルタ後の、（Δαｉ，Δβｉ，Δγｉ）に基づき（αｋ、βｋ、γｋ）を求める。ローパスフィルタを行うことにより、急激な変化が緩和され変換後のビデオデータの安定性が向上する。

【0029】

なお、本発明による処理装置は、コンピュータを上記処理装置として機能・動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

【符号の説明】

【0030】

３：特徴点抽出部、４：マッチング部、５：行列決定部、６：回転角度判定部、７：データ変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】