特許 7039691 パノラマ映像の手振れ補正方法、装置及び携帯端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-11

(45)【発行日】2022-03-22

(54)【発明の名称】パノラマ映像の手振れ補正方法、装置及び携帯端末

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220314BHJP

   G03B 5/00 20210101ALI20220314BHJP

   G03B 15/00 20210101ALI20220314BHJP

   G03B 37/00 20210101ALI20220314BHJP

【ＦＩ】

H04N5/232 480

G03B5/00 K

G03B15/00 W

G03B37/00 B

G03B37/00 A

H04N5/232 380

H04N5/232 300

【請求項の数】 9

(21)【出願番号】P 2020519411

(86)(22)【出願日】2018-10-16

(65)【公表番号】

(43)【公表日】2020-12-10

(86)【国際出願番号】 CN2018110467

(87)【国際公開番号】W WO2019080748

(87)【国際公開日】2019-05-02

【審査請求日】2020-04-03

(31)【優先権主張番号】201711015180.0

(32)【優先日】2017-10-25

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520159673

【氏名又は名称】影石創新科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＡＲＡＳＨＩ ＶＩＳＩＯＮ ＩＮＣ．

【住所又は居所原語表記】Ｒｏｏｍ １１０１， １１０２， １１０３， １１ｔｈ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ ２， Ｊｉｎｌｉｔｏｎｇ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ， １１００ Ｘｉｎｇｙｅ Ｒｏａｄ， Ｈａｉｗａｎｇ Ｃｏｍｍｕｎｉｔｙ， Ｘｉｎ’ａｎ Ｓｔｒｅｅｔ， Ｂａｏ’ａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際特許業務法人

(72)【発明者】

【氏名】陳 聡

(72)【発明者】

【氏名】蔡 錦霖

【審査官】高野 美帆子

(56)【参考文献】

【文献】国際公開第２０１６／２０１４２３（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０７０４０６９４（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｇ０３Ｂ ５／００

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ３７／００

(57)【特許請求の範囲】

【請求項1】

携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得し、
拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定し、
ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させ、
ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得し、
現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成し、
前記拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定することは、
Ｓ１０２１：状態回転量を初期化し、

ここで、d ₀ は初期に測定した加速度値であり、gはワールド座標系の重力ベクトルであり、
過程共分散を初期化し、

Ｓ１０２２：角速度値ω _k を使用して第ｋ時点の状態遷移行列Φ(ω _k )を計算し、

ここで、ω _k は第ｋ時点の角速度値であり、Δtはジャイロスコープデータのサンプリング時間の間隔であり、

Ｓ１０２４：加速度値d _k により観測量の雑音分散行列を更新し、観測遷移ヤコビ行列H _k を計算し、現在の観測量と推定観測量誤差e _k を計算し、

ここで、ｈは観察関数であり、

ここで、ｇはワールド座標系の重力ベクトルであり、ｑは状態量、即ちワールド座標系からジャイロスコープ座標系までの回転量であり、v _k は測定雑音であり、

ことを特徴とするパノラマ映像の手振れ補正方法。

【請求項2】

携帯端末におけるジャイロスコープの加速度カウント値をリアルタイムで取得することは、加速度センサーを利用して３軸加速度カウント値を読み込むことであり、
携帯端末におけるジャイロスコープの角速度値をリアルタイムで取得することは、ジャイロセンサーを利用して３軸角速度カウント値を読み込むことである
ことを特徴とする請求項１に記載のパノラマ映像の手振れ補正方法。

【請求項3】

携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得した後、更に、
ローパスフィルタリングを利用して加速度カウント値に対し雑音低減処理を行い、

に基づいて加速度カウント値に対し、ローパスフィルタリングによる雑音低減処理を行い、ここで、d’_iは第i時点のローパスフィルタリング後の加速度カウント値であり、d_iは第i時点の加速度カウント値であり、R_iはジャイロスコープの第iフレーム映像の相対回転量で、R_i=exp[-ω_i・Δt]_xであり、ω_iは第i時点の角速度値であり、d’_i-1は第i－１時点のフィルタリング後の加速度カウント値であり、αはスムージング因子で、

であり、f_cはローパスフィルタリングの遮断周波数であり、R_cは時定数であり、Δtはジャイロスコープデータのサンプリング時間の間隔である
ことを特徴とする請求項１に記載のパノラマ映像の手振れ補正方法。

【請求項4】

前記ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させることは、
T_k≧t_j≧t_k-1になるように前記ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させることであり、
ここで、t_jはパノラマ映像のタイムスタンプであり、t_kはジャイロスコープの第ｋフレームのタイムスタンプであり、t_k-1はジャイロスコープの第ｋ-1フレームのタイムスタンプである
ことを特徴とする請求項１に記載のパノラマ映像の手振れ補正方法。

【請求項5】

前記ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得することは、
隣接するジャイロスコープのタイムスタンプの相対回転量を計算し、

ことを特徴とする請求項４に記載のパノラマ映像の手振れ補正方法。

【請求項6】

前記現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成することは、
経緯度二次元画像における格子点を球面座標系にマッピングし、
単位球上のすべての点をトラバースして、現在の回転行列を利用して単位球上のすべての点に対し回転を行って、安定した映像フレームを生成し、
ここで、下記式により前記現在の回転行列を利用して単位球上のすべての点に対し回転を行って、安定した映像フレームを生成し、

ここで、[x,y,z]^Tは単位円の回転前の球面座標であり、[x_new,y_new,z_new]^Tは回転後の球面座標であり、Q_jは現在の回転行列であり、ｔは変位ベクトルで、t=[0,0,0]^Tである
ことを特徴とする請求項５に記載のパノラマ映像の手振れ補正方法。

【請求項7】

携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得する取得モジュールと、
拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定する推定モジュールと、
ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させる同期モジュールと、
ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得する補間モジュールと、
現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する回転モジュールとを備え、
前記拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定することは、
Ｓ１０２１：状態回転量を初期化し、

ここで、d ₀ は初期に測定した加速度値であり、gはワールド座標系の重力ベクトルであり、
過程共分散を初期化し、

Ｓ１０２２：角速度値ω _k を使用して第ｋ時点の状態遷移行列Φ(ω _k )を計算し、

ここで、ω _k は第ｋ時点の角速度値であり、Δtはジャイロスコープデータのサンプリング時間の間隔であり、

Ｓ１０２４：加速度値d _k により観測量の雑音分散行列を更新し、観測遷移ヤコビ行列H _k を計算し、現在の観測量と推定観測量誤差e _k を計算し、

ここで、ｈは観察関数であり、

ここで、ｇはワールド座標系の重力ベクトルであり、ｑは状態量、即ちワールド座標系からジャイロスコープ座標系までの回転量であり、v _k は測定雑音であり、

ことを特徴とするパノラマ映像の手振れ補正装置。

【請求項8】

コンピュータープログラムが記憶されており、
処理装置により前記コンピュータープログラムを実行する際、前記請求項１乃至６のいずれか一項に記載のパノラマ映像の手振れ補正方法を実現する
ことを特徴とするコンピューター可読記憶媒体。

【請求項9】

一つ又は複数の処理装置と、
記憶装置と、
一つ又は複数のコンピュータープログラムとを備え、
前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶され、前記一つ又は複数の処理装置により実行されるように配置され、
前記処理装置により前記コンピュータープログラムを実行する際、前記請求項１乃至６のいずれか一項に記載のパノラマ映像の手振れ補正方法を実現する
ことを特徴とする携帯端末。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像処理の分野に関し、特に、パノラマ映像の手振れ補正方法、装置及び携帯端末に関する。

【背景技術】

【0002】

従来技術によるパノラマ映像は、ＶＲゴーグルを掛けて見ると、吐き気、めまいなどの違和感を生じ、ＶＲ酔いは、未だあまり解決されてない問題である。ハードウェア面でブレークスルーできていないことに加えて、ソフトウェア面での原因もある。特に、ＶＲパノラマ映像は、例えば、手持ち式パノラマカメラを使用して撮影する場合、画面の手振れによるＶＲ酔いの発生が更に加速される。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の目的は、パノラマ映像の手振れ補正方法、装置、コンピューター可読記憶媒体及び携帯端末を提供し、画面の手振れがＶＲ酔いの発生を加速させる問題を解決することである。

【課題を解決するための手段】

【0004】

本発明によるパノラマ映像の手振れ補正方法は、携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得し、拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定し、ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させ、ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得し；現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する。

【0005】

また、本発明によるパノラマ映像の手振れ補正装置は、携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得する取得モジュールと、拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定する推定モジュールと、ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させる同期モジュールと、ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得する補間モジュールと、現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する回転モジュールとを備える。

【0006】

また、本発明によるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されており、処理装置により前記コンピュータープログラムを実行する際、本発明による前記パノラマ映像の手振れ補正方法を実現する。

【0007】

また、本発明による携帯端末は、一つ又は複数の処理装置と、記憶装置と、一つ又は複数のコンピュータープログラムとを備え、前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶され、前記一つ又は複数の処理装置により実行されるように配置され、前記処理装置により前記コンピュータープログラムを実行する際、本発明による前記パノラマ映像の手振れ補正方法を実現する。

【発明の効果】

【0008】

本発明によれば、ジャイロスコープの状態に対しクォータニオン補間を行ってパノラマ映像フレームに対応する回転行列を取得するため、より正確な回転行列を得ることができる。そして、現在の回転行例によってパノラマ画像を回転させて安定した映像フレームを生成する。これにより、最終的に振れる映像フレームを安定させて、ＶＲ酔いを低減することができ、ノイズの多い場面やほとんどのスポーツシーンに対し非常に強いロバスト性をもたらす。

【図面の簡単な説明】

【0009】

【図1】本発明の第一の実施形態によるパノラマ映像の手振れ補正方法を説明するためのフローチャートである。

【図2】本発明の第一の実施形態によるパノラマ映像の手振れ補正方法のステップＳ１０２のフローチャートである。

【図3】本発明の第一の実施形態によるパノラマ映像の手振れ補正装置の構成図である。

【図4】本発明の第一の実施形態による携帯端末の構成図である。

【発明を実施するための形態】

【0010】

本発明の目的、技術的手段及び有益な効果をより明確に説明するために、以下、図面、実施形態に基づいて具体的に説明する。当然のことであるが、下記実施形態は本発明を説明するためのものであり、本発明を限定するものではない。

【0011】

[第一の実施形態]
図１に示すように、本実施形態によるパノラマ映像の手振れ補正方法は以下のステップを含む。

【0012】

Ｓ１０１：携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得する。
ここで、携帯端末におけるジャイロスコープの加速度カウント値をリアルタイムで取得することは、加速度センサーを利用して３軸加速度カウント値を読み込むことである。
また、携帯端末におけるジャイロスコープの角速度値をリアルタイムで取得することは、ジャイロセンサーを利用して３軸角速度カウント値を読み込むことである。

【0013】

ステップＳ１０１を行った後、下記のようなステップを行ってもよい。即ち、ローパスフィルタリングを利用して、加速度カウント値に対し雑音低減処理を行う。

【0014】

具体的には、下記式に基づいて加速度カウント値に対し、ローパスフィルタリングによる雑音低減処理を行う。

ここで、d’_iは第i時点のローパスフィルタリング後の加速度カウント値であり、d_iは第i時点の加速度カウント値であり、R_iはジャイロスコープの第iフレーム映像の相対回転量で、R_i=exp[-ω_i・Δt]_xであり、ω_iは第i時点の角速度値であり、d’_i-1は第i－１時点のフィルタリング後の加速度カウント値であり、αはスムージング因子で、

であり、f_cはローパスフィルタリングの遮断周波数であり、Rcは時定数であり、Δtはジャイロスコープデータのサンプリング時間の間隔である。

【0015】

Ｓ１０２：拡張カルマンフィルター（Extended Kalman Filtering）を使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定する。

【0016】

拡張カルマンフィルターは、非線形システムを線形化してからカルマンフィルタリングを行う、高効率の再帰形フィルターであって、雑音を完全に含んでいない一連のテストから、動的システムの状態を推定することができる。

【0017】

図２に示すように、本実施形態においてＳ１０２は具体的に下記ステップを含んでもよい。

【0018】

Ｓ１０２１：状態の回転量を初期化する。

ここで、d₀は初期に測定した加速度値であり、gはワールド座標系の重力ベクトルであり、
そして、過程共分散を初期化する。

【0019】

Ｓ１０２２：角速度値ω_kを使用して第ｋ時点の状態遷移行列Φ(ω_k)を計算する。

ここで、ω_kは第ｋ時点の角速度値であり、Δtはジャイロスコープデータのサンプリング時間の間隔である。

【0020】

ここで、Ｑ_kは状態雑音の共分散行列である。

【0021】

Ｓ１０２４：加速度値d_kにより観測量の雑音分散行列を更新し、観測遷移ヤコビ行列H_kを計算し、現在の観測量と推定観測量誤差e_kを計算する。

ここで、αは加速度変化量のスムージング因子であり、βは加速度大きさの影響因子であり、

ここで、ｈは観察関数であり、

ここで、ｇはワールド座標系の重力ベクトルであり、ｑは状態量、即ちワールド座標系からジャイロスコープ座標系までの回転量であり、v_kは測定雑音である。

【0022】

Ｓ１０２５：第ｋ時点の最適カルマン利得行列K_kを更新する。

【0023】

【0024】

Ｓ１０３：ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させる。

【0025】

ステップＳ１０３は具体的には、t_k≧t_j＞t_k-1になるようジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させる。ここで、t_jはパノラマ映像のタイムスタンプであり、t_kはジャイロスコープの第ｋフレームのタイムスタンプであり、t_k-1はジャイロスコープの第ｋ-1フレームのタイムスタンプである。

【0026】

Ｓ１０４：ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得する。

【0027】

本実施形態において、Ｓ１０４は具体的に下記ステップを含んでもよい。まず、隣接するジャイロスコープのタイムスタンプの相対回転量を計算する。

また、クォータニオン補間を行って、パノラマ映像フレームから第ｋフレームまでの相対回転量を取得する。

ここで、R_jは第ｋフレームの相対回転量である。

また、パノラマ映像フレーム中の第ｊフレームの映像の回転行列を計算する。

【0028】

Ｓ１０５：現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する。

【0029】

本実施形態において、Ｓ１０５は具体的に下記ステップを含んでもよい。即ち、経緯度二次元画像における格子点を球面座標系にマッピングし、単位球上のすべての点をトラバースして、現在の回転行列を使用して単位球上のすべての点に対し回転を行って、安定した映像フレームを生成する。
具体的には、下記式により現在の回転行列を使用して単位球上のすべての点に対し回転を行って、安定した映像フレームを生成する。

ここで、[x,y,z]^Tは単位円の回転前の球面座標であり、[x_new,y_new,z_new]^Tは回転後の球面座標であり、Q_jは現在の回転行列であり、ｔは変位ベクトルで、t=[0,0,0]^Tである。

【0030】

[第二の実施形態]
図３に示すように、本実施形態によるパノラマ映像の手振れ補正装置は、携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得する取得モジュール１１と、拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定する推定モジュール１２と、ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させる同期モジュール１３と、ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得する補間モジュール１４と、現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する回転モジュール１４とを備える。

【0031】

本発明の第二の実施形態によるパノラマ映像の手振れ補正装置と第一の実施形態によるパノラマ映像の手振れ補正方法は、同一の概念に属し、詳しい実現については本明細書に記載されているので、ここでは改めて言及しない。

【0032】

［第三の実施形態］
本実施形態よるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されており、処理装置によりコンピュータープログラムを実行する際、上記第一の実施形態によるパノラマ映像の手振れ補正方法のステップを実現する。

【0033】

［第四の実施形態］
図４には本実施形態による携帯端末の構成ブロック図が示され、携帯端末１００は、一つ又は複数の処理装置１０１と、記憶装置１０２と、一つ又は複数のコンピュータープログラムとを備える。処理装置１０１と記憶装置１０２は、バス（bus）により接続されており、一つ又は複数のコンピュータープログラムは記憶装置１０２に記憶され、一つ又は複数の処理装置１０１により実行されるように配置されている。処理装置１０１によりコンピュータープログラムを実行する際、上記第一の実施形態によるパノラマ映像の手振れ補正方法のステップを実現する。

【0034】

本発明の実施形態において、ジャイロスコープの状態に対しクォータニオン補間を行ってパノラマ映像フレームに対応する回転行列を取得するため、より正確な回転行列を得ることができる。そして、現在の回転行例によってパノラマ画像を回転させて安定した映像フレームを生成する。これにより、最終的に振れる映像フレームを安定させて、ＶＲ酔いを低減することができ、ノイズの多い場面やほとんどのスポーツシーンに対し非常に強いロバスト性をもたらす。

【0035】

当然のことであるが、上述した方法におけるすべて又は一部のステップは、プログラムで関連のハードウェアに指令を出して完了することができ、そのプログラムをコンピューター可読記憶媒体に記憶することができる。ここで、記憶媒体としては、例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなどがある。

【0036】

以上のように、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、本発明の趣旨及びその範囲から逸脱しない限り、その趣旨に基づいて変更、同等代替又は改善することができ、いずれも本発明の保護範囲に含まれる。

【図1】

【図2】

【図3】

【図4】