特許 7253621 パノラマ映像の手ぶれ補正方法及び携帯端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-29

(45)【発行日】2023-04-06

(54)【発明の名称】パノラマ映像の手ぶれ補正方法及び携帯端末

(51)【国際特許分類】

   H04N 23/68 20230101AFI20230330BHJP

   G03B 5/00 20210101ALI20230330BHJP

   G03B 15/00 20210101ALI20230330BHJP

   G03B 37/00 20210101ALI20230330BHJP

   H04N 23/695 20230101ALI20230330BHJP

【ＦＩ】

H04N23/68

G03B5/00 K

G03B15/00 P

G03B15/00 W

G03B37/00 A

H04N23/698

【請求項の数】 13

(21)【出願番号】P 2021535133

(86)(22)【出願日】2019-09-30

(65)【公表番号】

(43)【公表日】2022-02-10

(86)【国際出願番号】 CN2019109483

(87)【国際公開番号】W WO2020125132

(87)【国際公開日】2020-06-25

【審査請求日】2021-06-22

(31)【優先権主張番号】201811549643.6

(32)【優先日】2018-12-18

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520159673

【氏名又は名称】影石創新科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＡＲＡＳＨＩ ＶＩＳＩＯＮ ＩＮＣ．

【住所又は居所原語表記】Ｒｏｏｍ １１０１， １１０２， １１０３， １１ｔｈ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ ２， Ｊｉｎｌｉｔｏｎｇ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ， １１００ Ｘｉｎｇｙｅ Ｒｏａｄ， Ｈａｉｗａｎｇ Ｃｏｍｍｕｎｉｔｙ， Ｘｉｎ’ａｎ Ｓｔｒｅｅｔ， Ｂａｏ’ａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】陳 聰

【審査官】▲高▼橋 真之

(56)【参考文献】

【文献】特表２０２０－５１６１７７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／００５７４８８（ＵＳ，Ａ１）

【文献】特表２０１３－５１５２８３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／００８０４９５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０２３２８１８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０１５４０５９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６８

Ｇ０３Ｂ ５／００

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ３７／００

Ｈ０４Ｎ ２３／６９８

(57)【特許請求の範囲】

【請求項1】

ワールド座標系におけるいずれかの参考点のワールド座標をリアルタイムに取得すると同時に、携帯端末における前記参考点に対応するカメラ座標、及び携帯端末におけるジャイロスコープの現時点状態の角速度値を取得することと、
拡張カルマンフィルタを用いてカメラの動きを平滑化することと、
平滑化された動きに分解処理を行い、垂直及び水平の２方向の動きのみを保留するモードであるｅＰＴＺモードの仮想レンズ動きを生成し、前記仮想レンズの回転量を算出することと、
前記仮想レンズの回転量と、カメラ座標をワールド座標に変換する回転行列に基づいてオリジナルの映像を再投影して、安定した映像を生成することと、を含む
ことを特徴とするパノラマ映像の手ぶれ補正方法。

【請求項2】

Ｉは単位行列であり、
携帯端末におけるジャイロスコープの角速度値をリアルタイムに取得することは具体的には、角速度センサを利用して３軸角速度値を読み取ることである
ことを特徴とする請求項１に記載のパノラマ映像の手ぶれ補正方法。

【請求項3】

【請求項4】

拡張カルマンフィルタを用いてカメラの動きを平滑化することは具体的に以下の通りであり、

【請求項5】

【請求項6】

前記仮想レンズの回転量と、カメラ座標をワールド座標に変換する回転行列に基づいてオリジナルの映像を再投影して、安定した映像を生成することは、具体的に、
オリジナルの映像フレームにおける画素と、出力映像フレームにおける画素との対応関係を算出し、続いて対応関係に基づいてオリジナルの映像フレームに補間リサンプリングを行って、出力映像フレームを生成し、最終に安定した映像を生成し、

【請求項7】

プロセッサによって実行される時に、請求項１～６のいずれか一項に記載のパノラマ映像の手ぶれ補正方法のステップが実現されるコンピュータープログラムが記憶されるコンピュータ読み取り可能な記憶媒体。

【請求項8】

一つまたは複数のプロセッサと、
メモリと、
前記メモリに記憶され、前記一つまたは複数のプロセッサによって実行されるように構成される一つまたは複数のコンピュータープログラムと、を含む携帯端末において、
前記プロセッサが前記コンピュータープログラムを実行する時に、
ワールド座標系におけるいずれかの参考点のワールド座標をリアルタイムに取得すると同時に、携帯端末における前記参考点に対応するカメラ座標、及び携帯端末におけるジャイロスコープの現時点状態の角速度値を取得することと、
拡張カルマンフィルタを用いてカメラの動きを平滑化することと、
平滑化された動きに分解処理を行い、垂直及び水平の２方向の動きのみを保留するモードであるｅＰＴＺモードの仮想レンズ動きを生成し、前記仮想レンズの回転量を算出することと、
前記仮想レンズの回転量と、カメラ座標をワールド座標に変換する回転行列に基づいてオリジナルの映像を再投影して、安定した映像を生成することと、
を含むパノラマ映像の手ぶれ補正方法のステップが実現される
ことを特徴とする携帯端末。

【請求項9】

Ｉは単位行列であり、
携帯端末におけるジャイロスコープの角速度値をリアルタイムに取得することは具体的には、角速度センサを利用して３軸角速度値を読み取ることである
ことを特徴とする請求項８に記載の携帯端末。

【請求項10】

【請求項11】

拡張カルマンフィルタを用いてカメラの動きを平滑化することは具体的に以下の通りであり、

【請求項12】

【請求項13】

前記仮想レンズの回転量と、カメラ座標をワールド座標に変換する回転行列に基づいてオリジナルの映像を再投影して、安定した映像を生成することは、具体的に、
オリジナルの映像フレームにおける画素と、出力映像フレームにおける画素との対応関係を算出し、続いて対応関係に基づいてオリジナルの映像フレームに補間リサンプリングを行って、出力映像フレームを生成し、最終に安定した映像を生成し、

【発明の詳細な説明】

【技術分野】

【0001】

本願はパノラマ映像分野に属し、特にパノラマ映像の手ぶれ補正方法及び携帯端末に関する。

【背景技術】

【0002】

現在、パノラマ映像を撮影するときに、通常はパノラマ撮影設備を手持ちで撮影する。そして、移動して撮影する際に、人の手が不安定であるため、パノラマ撮影映像にジッタが発生する場合がある。パノラマ視野角を取得する場合、カメラの動き又は揺れによりオリジナルのレンズ焦点が失われ、パノラマ映像の視聴体験に影響を与えることが多い。現在解決方法の一つとしては、雲台でパノラマ撮影設備を安定させ、撮影される画面を安定させることである。しかしながら、欠点としては、雲台が高価で体積が一般的に大きく、そして、手持ちのパノラマ撮影設備で映像を撮影する際に画面にジッタが発生するという課題を完全に解決することができない。

【0003】

パノラマ映像の視聴者がパノラマ映像を視聴しているときに、パノラマ映像の垂直及び水平の２方向の視野角のみを視聴したい場合、映像において垂直方向及び水平方向に変化する視野角が保留され安定に保たれる必要があるため、垂直方向及び水平方向の動き状態のみを保留するパノラマ映像の手ぶれ補正方法を検討する必要がある。なお、文献１として中国実用新案公開第２０６２７４１１１号明細書（CN206274111U）を、文献２として中国特許出願公開第１０６５９４４６６号明細書（CN106594466B）を挙げることができる。

【発明の概要】

【0004】

本願は、パノラマ映像視野角を取得する時にオリジナルのレンズ焦点が失われるという課題を解決し、垂直及び水平方向において平滑化され安定した映像を生成し、そしてカメラのオリジナルの撮影視野角を保留することができるパノラマ映像の手ぶれ補正方法、コンピュータ読み取り可能な記憶媒体、及び携帯端末を提供することを目的とする。

【0005】

第一態様では、本願は、
ワールド座標系におけるいずれかの参考点のワールド座標をリアルタイムに取得すると同時に、携帯端末における前記参考点に対応するカメラ座標、及び携帯端末におけるジャイロスコープの現時点状態の角速度値を取得することと、
拡張カルマンフィルタを用いてカメラの動きを平滑化することと、
平滑化された動きに分解処理を行い、ｅＰＴＺモードの仮想レンズ動きを生成し、前記仮想レンズの回転量を算出することと、
前記仮想レンズの回転量と、カメラ座標をワールド座標に変換する回転行列に基づいてオリジナルの映像を再投影して、安定した映像を生成することと、を含むパノラマ映像の手ぶれ補正方法を提供する。

【0006】

第二態様では、本願はプロセッサによって実行される時に、上述したパノラマ映像の手ぶれ補正方法のステップが実現されるコンピュータープログラムが記憶されるコンピュータ読み取り可能な記憶媒体を提供する。

【0007】

第三態様，本願は、
一つまたは複数のプロセッサと、
メモリと、
前記メモリに記憶され、前記一つまたは複数のプロセッサによって実行されるように構成され、前記プロセッサによって実行される時に上述したパノラマ映像の手ぶれ補正方法のステップが実現される一つまたは複数のコンピュータープログラムと、を含む携帯端末を提供する。

【0008】

本願において、カメラの動きを分解し、垂直及び水平方向の動きのみが保留されるｅＰＴＺモードの仮想なレンズ動きを生成することにより、パノラマ映像を再生する時に、レンズの焦点が常に垂直及び/または水平方向に変化し、オリジナルのカメラ動きにおける他の方向の変化がフィルタリングされるようにすることができる。従って、該方法では、レンダリングレンズの動きを平滑に保って、安定した映像を生成し、そして、カメラオリジナルの撮影視野角を保留でき、ノイズが大きいシーン及び大部分の動きシーンに対しては、非常に強いロバスト性を有する。

【図面の簡単な説明】

【0009】

【図1】本願の実施例１に提供されるパノラマ映像の手ぶれ補正方法のフローチャートである。

【図2】本願の実施例３に提供される携帯端末の概略構造図である。

【発明を実施するための形態】

【0010】

本願の目的、技術案および利点をより明確にするために、以下、添付した図面および実施例を参照して本願を更に詳細に説明する。ここで記載の具体的な実施例はただ本願を解釈するために用いられ、本願を限定するものではない。
本願に記載の技術案を説明するために、以下具体的な実施例をもって説明する。

【0011】

実施例１
図１を参照し、本願の実施例１に提供されるパノラマ映像の手ぶれ補正方法は以下のステップを含む。

【0012】

Ｓ１０１において、ワールド座標系におけるいずれかの参考点のワールド座標をリアルタイムに取得すると同時に、携帯端末における前記参考点に対応するカメラ座標、及び携帯端末におけるジャイロスコープの現時点状態の角速度値を取得する。

【0013】

本願の実施例１において、Ｓ１０１は具体的に以下の通りであってもよい。

【0014】

【0015】

【0016】

【0017】

Ｓ１０２において、拡張カルマンフィルタを用いてカメラの動きを平滑化する。

【0018】

拡張カルマンフィルタアルゴリズムとは、非線形システムを線性化してから、カルマンフィルタを行うものである。カルマンフィルタは高効率の再帰型フィルタであり、一連のノイズを完全に含むわけではない測定から動的システムの状態を推定することが可能である。

【0019】

【0020】

【0021】

【0022】

Ｓ１０３において、平滑化された動きに分解処理を行い、ｅＰＴＺモードの仮想レンズ動きを生成し、前記仮想レンズの回転量を算出する。

【0023】

本願の実施例１において、Ｓ１０３は具体的に以下の通りであってもよい。

【0024】

【0025】

【0026】

【0027】

平滑化された動きに分解処理を行い、、ｅＰＴＺモードの仮想レンズ動きを生成し、前記仮想レンズの回転量を算出することは具体的に以下の通りである。

【0028】

【0029】

【0030】

【0031】

Ｓ１０４において、前記仮想レンズの回転量と、カメラ座標をワールド座標に変換する回転行列に基づいてオリジナルの映像を再投影して、安定した映像を生成する。

【0032】

本願の実施例１において、Ｓ１０４は具体的に以下の通りであってもよい。

【0033】

オリジナルの映像フレームにおける画素と、出力映像フレームにおける画素との対応関係を算出し、続いて対応関係に基づいてオリジナルの映像フレームに補間リサンプリングを行って、出力映像フレームを生成し、最終に安定した映像を生成する。

【0034】

【0035】

【0036】

実施例２
本願の実施例２は、プロセッサによって実行される時に、本願の実施例１に提供されるパノラマ映像の手ぶれ補正方法のステップが実現されるコンピュータープログラムが記憶されるコンピュータ読み取り可能な記憶媒体が提供する。

【0037】

前記コンピュータ読み取り可能な記憶媒体は、非一時的コンピュータ読み取り可能な記憶媒体である。

【0038】

実施例３
図２は本願の実施例３に提供される携帯端末の具体的な構造を示すブロック図であり、携帯端末１００は、一つまたは複数のプロセッサ１０１と、メモリ１０２と、一つまたは複数のコンピュータープログラムを含み、前記プロセッサ１０１と前記メモリ１０２はバスによって接続され、前記一つまたは複数のコンピュータープログラムは前記メモリ１０２に記憶され、前記一つまたは複数のプロセッサ１０１によって実行されるように構成され、前記プロセッサ１０１が前記コンピュータープログラムを実行する時に、本願の実施例１に提供されるパノラマ映像の手ぶれ補正方法のステップが実現される。

【0039】

本願の実施例において、カメラの動きを分解し、垂直及び水平方向の動きのみが保留されるｅＰＴＺモードの仮想なレンズ動きを生成することにより、ユーザがパノラマ映像を視聴する時に、レンズの焦点が常に垂直及び/または水平方向に変化し、オリジナルのカメラ動きの他の方向の変化がフィルタリングされて、パノラマ映像の水平方向の動きのみが保留されることに達成できる。従って、、該方法では、レンダリングレンズの動きを平滑に保って、安定した映像を生成し、そしてカメラオリジナルの撮影視野角を保留でき、ノイズが大きいシーン及び大部分の動きシーンに対しては非常に強いロバスト性を有する。

【0040】

当業者であれば理解できるように、上記実施例の様々な方法における全部又は一部のステップは、プログラムによって関連するハードウェアが指示されることにより完成される可能であり、該プログラムは、読み取り専用メモリ（ＲＯＭ，Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ，Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のコンピュータ読み取り可能な記憶媒体に記憶することができる。

【0041】

以上は本願の好適な実施例に過ぎず、本願を限定するものではなく、本願の精神及び原則内に行われるいかなる修正、均等置換及び改良等は、いずれも本願の保護範囲内に含まれるべきである。

【図1】

【図2】