特許 7603151 ジャイロスコープ回転方向を生成する方法及びコンピュータ機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-11

(45)【発行日】2024-12-19

(54)【発明の名称】ジャイロスコープ回転方向を生成する方法及びコンピュータ機器

(51)【国際特許分類】

   G01P 21/00 20060101AFI20241212BHJP

   H04N 23/60 20230101ALI20241212BHJP

   G01P 15/14 20130101ALN20241212BHJP

【ＦＩ】

G01P21/00

H04N23/60 500

G01P15/14

【請求項の数】 16

(21)【出願番号】P 2023519149

(86)(22)【出願日】2021-09-24

(65)【公表番号】

(43)【公表日】2023-10-13

(86)【国際出願番号】 CN2021120272

(87)【国際公開番号】W WO2022063221

(87)【国際公開日】2022-03-31

【審査請求日】2023-04-19

(31)【優先権主張番号】202011018567.3

(32)【優先日】2020-09-24

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520159673

【氏名又は名称】影石創新科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＡＲＡＳＨＩ ＶＩＳＩＯＮ ＩＮＣ．

【住所又は居所原語表記】Ｒｏｏｍ １１０１， １１０２， １１０３， １１ｔｈ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ ２， Ｊｉｎｌｉｔｏｎｇ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ， １１００ Ｘｉｎｇｙｅ Ｒｏａｄ， Ｈａｉｗａｎｇ Ｃｏｍｍｕｎｉｔｙ， Ｘｉｎ’ａｎ Ｓｔｒｅｅｔ， Ｂａｏ’ａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】董 鵬飛

(72)【発明者】

【氏名】陳 聡

【審査官】吉田 久

(56)【参考文献】

【文献】特開平１１－２１１４７９（ＪＰ，Ａ）

【文献】特開平９－１８９７１８（ＪＰ，Ａ）

【文献】国際公開第２０１９／０８０７４８（ＷＯ，Ａ１）

【文献】特開２０１３－２１３７４４（ＪＰ，Ａ）

【文献】国際公開第２０１７／０９４５２１（ＷＯ，Ａ１）

【文献】国際公開第２０１９／０６９９３０（ＷＯ，Ａ１）

【文献】国際公開第２０１６／０２４５６５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｐ ２１／００－２１／０２

Ｇ０１Ｐ １５／１４、１５／１８

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

ジャイロスコープ回転方向を生成する方法であって、
慣性計測ユニット（ＩＭＵ）の加速度値及び角速度値をリアルタイムで取得し、前記加速度値を第一加速度値とし、ＩＭＵ座標系からワールド座標系への姿勢を推定することと、
第一加速度値をＩＭＵ座標系からワールド座標系に変換して、第二加速度値を得ることと、
ワールド座標系において、第二加速度をフィルタリングし、重力加速度をフィルタアウトして、第三加速度を得ることと、
第三加速度をＩＭＵ座標系に変換して、第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分を得ることと、
第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分に従って、ジャイロスコープ回転方向を確定することとを含み、
上述した第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分に従って、ジャイロスコープ回転方向を確定することは、
第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分の大きさを比較して、最大加速度成分に対応する軸を得て、最大加速度成分に対応するとともに最大加速度成分の方向と同じ方向の軸が、カメラ回転時の回転軸に向く方向をジャイロスコープ回転方向として確定することである、ことを特徴とするジャイロスコープ回転方向を生成する方法。

【請求項2】

上述したＩＭＵ座標系からワールド座標系への姿勢を推定することは、具体的に、カルマンフィルタを使用してＩＭＵ座標系からワールド座標系への姿勢を推定することである、ことを特徴とする請求項１に記載のジャイロスコープ回転方向を生成する方法。

【請求項3】

上述したカルマンフィルタを使用してＩＭＵ座標系からワールド座標系への姿勢を推定することは、具体的に、前記加速度値及び角速度値と併せて拡張カルマンフィルタリングを利用して、ワールド座標系へのＩＭＵの回転量を推定して得ることである、ことを特徴とする請求項２に記載のジャイロスコープ回転方向を生成する方法。

【請求項4】

上述した前記加速度値を第一加速度値をとすることの後に、前記方法は、ローパスフィルタリングを利用して第一加速度値にノイズ低減処理を行って、ローパスフィルタリング

に記載のジャイロスコープ回転方向を生成する方法。

【請求項5】

上述したローパスフィルタリングを利用して第一加速度値にノイズ低減処理を行って、

ープデータのサンプリング時間間隔を表す、ことを特徴とする請求項４に記載のジャイロスコープ回転方向を生成する方法。

【請求項6】

上述した第一加速度値をＩＭＵ座標系からワールド座標系に変換して、第二加速度値を得ることは、具体的に、

加速度値である、ことを特徴とする請求項５に記載のジャイロスコープ回転方向を生成する方法。

【請求項7】

前記ワールド座標系において、第二加速度をフィルタリングし、重力加速度をフィルタアウトして、第三加速度を得ることは、具体的に、

る請求項６に記載のジャイロスコープ回転方向を生成する方法。

【請求項8】

上述した第二加速度をフィルタリングすることの前に、前記方法は、

とを更に含む、ことを特徴とする請求項７に記載のジャイロスコープ回転方向を生成する方法。

【請求項9】

上述した第三加速度をＩＭＵ座標系に変換して、第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分を得ることは、具体的に、

は、第三加速度である、ことを特徴とする請求項１～８の何れか一項に記載のジャイロスコープ回転方向を生成する方法。

【請求項10】

上述した第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分に従って、ジャイロスコープ回転方向を確定することの後に、前記方法は、
前記ジャイロスコープ回転方向をカメラの回転方向とし、前記ジャイロスコープ回転方向によってカメラと前記回転軸との位置関係を確定することを更に含む、ことを特徴とする請求項１に記載のジャイロスコープ回転方向を生成する方法。

【請求項11】

請求項１～１０の何れか一項に記載のジャイロスコープ回転方向を生成する方法を用いてジャイロスコープ回転方向を生成する装置であって、
慣性計測ユニット（ＩＭＵ）の加速度値及び角速度値をリアルタイムで取得し、前記加速度値を第一加速度値とし、ＩＭＵ座標系からワールド座標系への姿勢を推定するための推定モジュールと、
第一加速度値をＩＭＵ座標系からワールド座標系に変換して、第二加速度値を得るための変換モジュールと、
ワールド座標系において、第二加速度をフィルタリングし、重力加速度をフィルタアウトして、第三加速度を得るためのフィルタリングモジュールと、
第三加速度をＩＭＵ座標系に変換して、第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分を得るための加速度成分確定モジュールと、
第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分に従って、ジャイロスコープ回転方向を確定するための方向確定モジュールとを含む、ことを特徴とするジャイロスコープ回転方向を生成する装置。

【請求項12】

バレットタイム撮像効果を実現する方法であって、
カメラが撮像ターゲットの周りに回転する時に撮像したパノラマ映像を取得することと、
請求項１～１０の何れか一項に記載のジャイロスコープ回転方向を生成する方法におけるステップを実行することと、
ジャイロスコープ回転方向に従って、パノラマ映像におけるジャイロスコープ回転方向に対応する画面を生成することとを含む、ことを特徴とするバレットタイム撮像効果を実現する方法。

【請求項13】

請求項１２に記載のバレットタイム撮像効果を実現する方法を用いてバレットタイム撮像効果を実現する装置であって、
カメラが撮像ターゲットの周りに回転する時に撮像したパノラマ映像を取得するための取得モジュールと、
慣性計測ユニット（ＩＭＵ）の加速度値及び角速度値をリアルタイムで取得し、前記加速度値を第一加速度値とし、ＩＭＵ座標系からワールド座標系への姿勢を推定するための推定モジュールと、
第一加速度値をＩＭＵ座標系からワールド座標系に変換して、第二加速度値を得るための変換モジュールと、
ワールド座標系において、第二加速度をフィルタリングし、重力加速度をフィルタアウトして、第三加速度を得るためのフィルタリングモジュールと、
第三加速度をＩＭＵ座標系に変換して、第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分を得るための加速度成分確定モジュールと、
第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分に従って、ジャイロスコープ回転方向を確定するための方向確定モジュールと、
ジャイロスコープ回転方向に従って、パノラマ映像におけるジャイロスコープ回転方向に対応する画面を生成するための生成モジュールとを含む、ことを特徴とするバレットタイム撮像効果を実現する装置。

【請求項14】

コンピュータプログラムを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、請求項１～１０の何れか一項に記載のジャイロスコープ回転方向を生成する方法、又は、請求項１２に記載のバレットタイム撮像効果を実現する方法におけるステップが実現される、ことを特徴とするコンピュータ可読記憶媒体。

【請求項15】

１つ又は複数のプロセッサと、
メモリと、
１つ又は複数のコンピュータプログラムとを含み、前記プロセッサと前記メモリとがバスによって接続され、前記１つ又は複数のコンピュータプログラムが、前記メモリに記憶されるとともに、前記１つ又は複数のプロセッサによって実行されるように構成されたコンピュータ機器であって、前記プロセッサによって前記コンピュータプログラムが実行されると、請求項１～１０の何れか一項に記載のジャイロスコープ回転方向を生成する方法、又は、請求項１２に記載のバレットタイム撮像効果を実現する方法におけるステップが実現される、ことを特徴とするコンピュータ機器。

【請求項16】

１つ又は複数のプロセッサと、
メモリと、
１つ又は複数のコンピュータプログラムとを含み、前記プロセッサと前記メモリとがバスによって接続され、前記１つ又は複数のコンピュータプログラムが、前記メモリに記憶されるとともに、前記１つ又は複数のプロセッサによって実行されるように構成されたカメラであって、前記プロセッサによって前記コンピュータプログラムが実行されると、請求項１～１０の何れか一項に記載のジャイロスコープ回転方向を生成する方法、又は、請求項１２に記載のバレットタイム撮像効果を実現する方法におけるステップが実現される、ことを特徴とするカメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、映像処理の分野に属し、特に、ジャイロスコープ回転方向を生成する方法、バレットタイム撮像効果を実現する方法、装置、コンピュータ可読記憶媒体、コンピュータ機器及びカメラに関する。

【背景技術】

【0002】

バレットタイム（Ｂｕｌｌｅｔ ｔｉｍｅ）は、映画、テレビ広告又はコンピュータゲームに使用され、コンピュータ支援による撮影技術を用いて、可変速度エフェクト、例えば強化されたスローモーション、時間静止等の効果をシミュレートするものである。バレットタイムの特徴は、スローモーションと同時に撮像角度（視聴者の視角）もシーンの周りに回転するといったように、時間的に極端に変化するだけでなく、空間的にも極端に変化することにある。しかしながら、バレットタイムといった視覚エフェクトは、華麗に見えるが、多くの場合、製作された最終的な効果を人為的に念入りに編集する必要があり、もし人為的に視角を調整して編集しないと、生成された映像は、撮像者の不規則な回転に起因して、生成された映像画面における人又は景物が上下に変動し、不安定な変化となる恐れがあり、人にめまいを感じさせ易くなる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本願の実施例は、少なくとも上記の問題の１つを解決するために、ジャイロスコープ回転方向を生成する方法、バレットタイム撮像効果を実現する方法、装置、コンピュータ可読記憶媒体、コンピュータ機器及びカメラを提供する。

【課題を解決するための手段】

【0004】

第一局面において、本願は、ジャイロスコープ回転方向を生成する方法を提供している。

【0005】

前記方法は、
慣性計測ユニット（ＩＭＵ）の加速度値及び角速度値をリアルタイムで取得し、前記加速度値を第一加速度値とし、ＩＭＵ座標系からワールド座標系への姿勢を推定することと、
第一加速度値をＩＭＵ座標系からワールド座標系に変換して、第二加速度値を得ることと、
ワールド座標系において、第二加速度をフィルタリングし、重力加速度をフィルタアウトして、第三加速度を得ることと、
第三加速度をＩＭＵ座標系に変換して、第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分を得ることと、
第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分に従って、ジャイロスコープ回転方向を確定することとを含む。

【0006】

第二局面において、本願は、ジャイロスコープ回転方向を生成する装置を提供しており、前記装置は、
慣性計測ユニット（ＩＭＵ）の加速度値及び角速度値をリアルタイムで取得し、前記加速度値を第一加速度値とし、ＩＭＵ座標系からワールド座標系への姿勢を推定するための推定モジュールと、
第一加速度値をＩＭＵ座標系からワールド座標系に変換して、第二加速度値を得るための変換モジュールと、
ワールド座標系において、第二加速度をフィルタリングし、重力加速度をフィルタアウトして、第三加速度を得るためのフィルタリングモジュールと、
第三加速度をＩＭＵ座標系に変換して、第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分を得るための加速度成分確定モジュールと、
第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分に従って、ジャイロスコープ回転方向を確定するための方向確定モジュールとを含む。

【0007】

第三局面において、本願は、バレットタイム撮像効果を実現する方法を提供しており、前記方法は、
カメラが撮像ターゲットの周りに回転する時に撮像したパノラマ映像を取得することと、
上記に記載のジャイロスコープ回転方向を生成する方法におけるステップを実行することと、
バレットタイムのジャイロスコープ回転方向に従って、パノラマ映像におけるジャイロスコープ回転方向に対応する画面を生成することとを含む。

【0008】

第四局面において、本願は、バレットタイム撮像効果を実現する装置を提供しており、前記装置は、
カメラが撮像ターゲットの周りに回転する時に撮像したパノラマ映像を取得するための取得モジュールと、
慣性計測ユニット（ＩＭＵ）の加速度値及び角速度値をリアルタイムで取得し、前記加速度値を第一加速度値とし、ＩＭＵ座標系からワールド座標系への姿勢を推定するための推定モジュールと、
第一加速度値をＩＭＵ座標系からワールド座標系に変換して、第二加速度値を得るための変換モジュールと、
ワールド座標系において、第二加速度をフィルタリングし、重力加速度をフィルタアウトして、第三加速度を得るためのフィルタリングモジュールと、
第三加速度をＩＭＵ座標系に変換して、第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分を得るための加速度成分確定モジュールと、
第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分に従って、ジャイロスコープ回転方向を確定するための方向確定モジュールと、
バレットタイムのジャイロスコープ回転方向に従って、パノラマ映像におけるジャイロスコープ回転方向に対応する画面を生成するための生成モジュールとを含む。

【0009】

第五局面において、本願は、コンピュータプログラムを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、上記に記載のジャイロスコープ回転方向を生成する方法、又は、上記に記載のバレットタイム撮像効果を実現する方法におけるステップが実現される、コンピュータ可読記憶媒体を提供している。

【0010】

第六局面において、本願は、
１つ又は複数のプロセッサと、
メモリと、
１つ又は複数のコンピュータプログラムとを含み、前記プロセッサと前記メモリとがバスによって接続され、前記１つ又は複数のコンピュータプログラムが、前記メモリに記憶されるとともに、前記１つ又は複数のプロセッサによって実行されるように構成されたコンピュータ機器であって、前記プロセッサによって前記コンピュータプログラムが実行されると、上記に記載のジャイロスコープ回転方向を生成する方法、又は、上記に記載のバレットタイム撮像効果を実現する方法におけるステップが実現される、コンピュータ機器を提供している。

【0011】

第七局面において、本願は、
１つ又は複数のプロセッサと、
メモリと、
１つ又は複数のコンピュータプログラムとを含み、前記プロセッサと前記メモリとがバスによって接続され、前記１つ又は複数のコンピュータプログラムが、前記メモリに記憶されるとともに、前記１つ又は複数のプロセッサによって実行されるように構成されたカメラであって、前記プロセッサによって前記コンピュータプログラムが実行されると、上記に記載のジャイロスコープ回転方向を生成する方法、又は、上記に記載のバレットタイム撮像効果を実現する方法におけるステップが実現される、カメラを提供している。

【発明の効果】

【0012】

カメラ部品によっては、ユーザが例えばカメラ回転時の回転軸と平行になるようにカメラを装着するか、又は、カメラ回転時の回転軸と垂直になるようにカメラを装着するといったように、様々な方式でカメラを装着し得るため、様々な向きについて対応する必要がある。本願の実施例では、慣性計測ユニットＩＭＵの加速度値及び角速度値を取得し、前記加速度値を第一加速度値とし、第一加速度値を処理して第四加速度を得てから、第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分に従って、ジャイロスコープ回転方向を確定するようになっている。したがって、本願は、ジャイロスコープ回転方向をリアルタイムで判断でき、ヒューマンマシンインタラクション又は後の段階での念入りな編集を行うことなく、安定した視覚効果を持つバレットタイム映像を生成できるとともに、本願に係る方法は、簡単で、動作速度が速く、ロバスト性が良い。

【図面の簡単な説明】

【0013】

【図1】図1は、本願の一実施例によるジャイロスコープ回転方向を生成する方法又はバレットタイム撮像効果を実現する方法の応用シーンの模式図である。

【図2】図２は、本願の一実施例によるジャイロスコープ回転方向を生成する方法のフローチャートである。

【図3-8】図３－８は、ジャイロスコープ回転方向の分析の模式図である。

【図9】図９は、本願の一実施例によるジャイロスコープ回転方向を生成する装置の模式図である。

【図10】図１０は、本願の一実施例によるバレットタイム撮像効果を実現する装置の模式図である。

【図11】図１１は、本願の一実施例によるコンピュータ機器の具体的な構造のブロック図である。

【図12】図１２は、本願の一実施例によるカメラの具体的な構造のブロック図である。

【発明を実施するための形態】

【0014】

本願の目的、技術案及び有益な効果をより明確及び明白にするために、以下、図面及び実施例と併せて、本願を更に詳しく説明する。ここに記載される具体的な実施例は、本願を解釈するためのものに過ぎず、本願を限定するためのものではないことを理解されたい。

【0015】

本願に記載の技術案を説明するために、以下、具体的な実施例を通じて説明する。

【0016】

本願の一実施例によるジャイロスコープ回転方向を生成する方法又はバレットタイム撮像効果を実現する方法の応用シーンは、コンピュータ機器又はカメラであってもよく、コンピュータ機器又はカメラは、本願の一実施例によるジャイロスコープ回転方向を生成する方法を実行してジャイロスコープ回転方向を確定するか、又は、コンピュータ機器又はカメラは、本願の一実施例によるバレットタイム撮像効果を実現する方法を実行する際、本願の一実施例によるジャイロスコープ回転方向を生成する方法を実行してジャイロスコープ回転方向を得てから、ジャイロスコープ回転方向に従って、パノラマ映像におけるジャイロスコープ方向に対応する画面を生成する。本願の一実施例によるジャイロスコープ回転方向を生成する方法又はバレットタイム撮像効果を実現する方法の応用シーンには、互いに接続されたコンピュータ機器１００及びカメラ２００（図１に示す）が含まれてもよい。コンピュータ機器１００及びカメラ２００上には、少なくとも１つのアプリケーションプログラムが動作可能である。コンピュータ機器１００は、サーバ、デスクトップコンピュータ、モバイル端末等であってもよく、モバイル端末には、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、パーソナルデジタルアシスタント等が含まれる。カメラ２００は、通常のカメラ又はパノラマカメラ等であってもよい。通常のカメラとは、平面図像及び平面映像を撮像するための撮像装置である。コンピュータ機器１００又はカメラ２００は、本願の一実施例によるジャイロスコープ回転方向を生成する方法を実行してジャイロスコープ回転方向を確定するか、又は、コンピュータ機器又はカメラは、本願の一実施例によるバレットタイム撮像効果を実現する方法を実行する際、本願の一実施例によるジャイロスコープ回転方向を生成する方法を実行してジャイロスコープ回転方向を得てから、ジャイロスコープ回転方向に従って、パノラマ映像におけるジャイロスコープ方向に対応する画面を生成する。

【0017】

図２を参照して、同図は、本願の一実施例によるジャイロスコープ回転方向を生成する方法のフローチャートであり、本実施例では、主に当該ジャイロスコープ回転方向を生成する方法がコンピュータ機器又はカメラに応用された例を挙げて説明し、本願の一実施例によるジャイロスコープ回転方向を生成する方法は、以下のステップＳ１０１～Ｓ１０５を含む。
Ｓ１０１は、ＩＭＵ（Ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ、慣性計測ユニット）の加速度値及び角速度値をリアルタイムで取得し、前記加速度値を第一加速度値とし、ＩＭＵ座標系からワールド座標系への姿勢を推定する。

【0018】

ＩＭＵは、物体の３軸の姿勢角（又は角速度値）及び加速度値を計測する装置である。一般に、１つのＩＭＵには、３軸加速度計及び３軸ジャイロスコープが含まれ、加速度計は、キャリア座標システムにおける物体の独立した３軸の加速度信号を検出するのに対して、ジャイロスコープは、ナビゲーション座標系に対するキャリアの角速度信号を検出し、３次元空間における物体の角速度値及び加速度値を計測し、これを元に物体の姿勢を算出する。

【0019】

本願の一実施例において、ＩＭＵの加速度値及び角速度値をリアルタイムで取得することは、具体的に、重力センサを利用して３軸加速度計の加速度値を読み取り、角速度センサを利用して３軸ジャイロスコープの角速度値を読み取ることであってもよい。

【0020】

上述したＩＭＵ座標系からワールド座標系への姿勢を推定することは、具体的に、カルマンフィルタを使用してＩＭＵ座標系からワールド座標系への姿勢を推定することであってもよい。詳細的に、前記加速度値及び角速度値と併せて拡張カルマンフィルタリングを

【0021】

本願の一実施例において、Ｓ１０１の後に、ローパスフィルタリングを利用して第一加速度値にノイズ低減処理を行って、ローパスフィルタリング及びノイズ低減後の第一加速

【0022】

【0023】

拡張カルマンフィルタリング（Ｅｘｔｅｎｄｅｄ Ｋａｌｍａｎ Ｆｉｌｔｅｒｉｎｇ）：拡張カルマンフィルタリングは、非線形システムを線形化してから、カルマンフィルタリングを行うものであり、カルマンフィルタリングは、高効率の再帰型フィルタであり、完全にノイズを含むとはなっていない一連の計測から、動的システムの状態を推定できる。

【0024】

Ｓ１０２は、第一加速度値をＩＭＵ座標系からワールド座標系に変換して、第二加速度値を得る。

【0025】

本願の一実施例において、Ｓ１０２は、具体的に、

後の第一加速度値である。

【0026】

Ｓ１０３は、ワールド座標系において、第二加速度をフィルタリングし、重力加速度をフィルタアウトして、第三加速度を得る。

【0027】

本願の一実施例において、Ｓ１０３は、具体的に、以下のことであってもよい。

【0028】

【0029】

上述した重力加速度をフィルタアウトすることは、ハイパスフィルタを用いて処理可能

ｎは、フィルタの次数であり、プリセット値から得られてもよく、例えばｎ＝４とさ

であり、即ちカットオフ周波数をサンプリング周波数で除算したものであり、角周波数で表される）。

【0030】

ハイパスフィルタ（Ｈｉｇｈ－ｐａｓｓ ｆｉｌｔｅｒ）は、ローカットオフフィルタ、ローカットフィルタとも呼ばれており、特定のカットオフ周波数よりも高い周波数の通過を許容する一方で、低い周波数を大幅に減衰させるフィルタである。それによって、信号内の不要な低周波成分が除去され、言い換えれば、低周波干渉が除去される。

【0031】

本願の一実施例において、上述した第二加速度をフィルタリングすることの前に、前記方法は、以下のステップを更に含んでもよい。

【0032】

い（これは、正規化されたカットオフ周波数であり、即ちカットオフ周波数をサンプリング周波数で除算したものであり、角周波数で表される）。これによって、ノイズの影響が解消され、より安定した結果となる。

【0033】

バターワースフィルタ（Ｂｕｔｔｅｒｗｏｒｔｈ ｆｉｌｔｅｒ）は、電子フィルタの一種であり、最大平坦フィルタとも呼ばれている。バターワースフィルタの特徴は、周波数応答曲線が、通過帯域内において最大限に平坦であり、リップルがない一方で、阻止帯域内においてゼロまで徐々に降下することにある。

【0034】

Ｓ１０４は、第三加速度をＩＭＵ座標系に変換して、第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分を得る。

【0035】

【0036】

Ｓ１０５は、第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分に従って、ジャイロスコープ回転方向を確定する。

【0037】

本願の一実施例において、上述した第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分に従って、ジャイロスコープ回転方向を確定することは、具体的に、
第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分の大きさを比較して、最大加速度成分に対応する軸を得て、最大加速度成分に対応するとともに最大加速度成分の方向と同じ方向の軸が、カメラ回転時の回転軸に向く方向をジャイロスコープ回転方向として確定することであってもよい。

【0038】

本願の一実施例において、上述した第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分に従って、ジャイロスコープ回転方向を確定することの後に、前記方法は、
前記ジャイロスコープ回転方向をカメラの回転方向とし、前記ジャイロスコープ回転方向によってカメラと前記回転軸との位置関係を確定することを更に含んでもよい。

【0039】

図３に示すように、もし第四加速度のＹ軸の加速度成分が第四加速度のＸ軸及びＺ軸の加速度成分よりも大きく、且つ加速度成分の方向がＹ軸の正の半軸と同じ方向であれば、この時のジャイロスコープ回転方向は、Ｙ軸の正の半軸がカメラ回転時の回転軸に向く方向であることが示され、即ち、カメラの回転方向は、Ｙ軸の正の半軸がカメラ回転時の回転軸に向く方向となる。前記ジャイロスコープ回転方向によって、カメラ回転時の回転軸にカメラが垂直であるとともに、カメラの頂部がカメラ回転時の回転軸に向いていることが確定される。

【0040】

図４に示すように、もし第四加速度のＺ軸の加速度成分が第四加速度のＸ軸及びＹ軸の加速度成分よりも大きく、且つ加速度成分の方向がＺ軸の負の半軸と同じ方向であれば、この時のジャイロスコープ回転方向は、Ｚ軸の負の半軸がカメラ回転時の回転軸に向く方向であることが示され、即ち、カメラの回転方向は、Ｚ軸の負の半軸がカメラ回転時の回転軸に向く方向となる。前記ジャイロスコープ回転方向によって、カメラ回転時の回転軸にカメラが平行であることが確定されれば、カメラと回転軸とは、カメラの第一側面がカメラ回転時の回転軸に向いている位置関係となる。

【0041】

図５に示すように、もし第四加速度のＹ軸の加速度成分が第四加速度のＸ軸及びＺ軸の加速度成分よりも大きく、且つ加速度成分の方向がＹ軸の負半軸と同じ方向であれば、この時のジャイロスコープ回転方向は、Ｙ軸の負の半軸がカメラ回転時の回転軸に向く方向であることが示され、即ち、カメラの回転方向は、Ｙ軸の負の半軸がカメラ回転時の回転軸に向く方向となる。前記ジャイロスコープ回転方向によって、カメラ回転時の回転軸にカメラが垂直であることが確定されれば、カメラと回転軸とは、カメラの底部がカメラ回転時の回転軸に向いている位置関係となる。

【0042】

図６に示すように、もし第四加速度のＺ軸の加速度成分が第四加速度のＸ軸及びＹ軸の加速度成分よりも大きく、且つ加速度成分の方向がＺ軸の正の半軸と同じ方向であれば、この時のジャイロスコープ回転方向は、Ｚ軸の正の半軸がカメラ回転時の回転軸に向く方向であることが示され、即ち、カメラの回転方向は、Ｚ軸の正の半軸がカメラ回転時の回転軸に向く方向となる。前記ジャイロスコープ回転方向によって、カメラ回転時の回転軸にカメラが平行であることが確定されれば、カメラと回転軸とは、カメラの第二側面がカメラ回転時の回転軸に向いている位置関係となる。

【0043】

図７に示すように、もし第四加速度のＸ軸の加速度成分が第四加速度のＹ軸及びＺ軸の加速度成分よりも大きく、且つ加速度成分の方向がＸ軸の正の半軸と同じ方向であれば、この時のジャイロスコープ回転方向は、Ｘ軸の正の半軸がカメラ回転時の回転軸に向く方向であることが示され、即ち、カメラの回転方向は、Ｘ軸の正の半軸がカメラ回転時の回転軸に向く方向となる。前記ジャイロスコープ回転方向によって、カメラ回転時の回転軸にカメラが平行であることが確定されれば、カメラと回転軸とは、カメラの第三側面がカメラ回転時の回転軸に向いている位置関係となる。

【0044】

図８に示すように、もし第四加速度のＸ軸の加速度成分が第四加速度のＹ軸及びＺ軸の加速度成分よりも大きく、且つ加速度成分の方向がＸ軸の負半軸と同じ方向であれば、この時のジャイロスコープ回転方向は、Ｘ軸の負の半軸がカメラ回転時の回転軸に向く方向であることが示され、即ち、カメラの回転方向は、Ｘ軸の負の半軸がカメラ回転時の回転軸に向く方向となる。前記ジャイロスコープ回転方向によって、カメラ回転時の回転軸にカメラが垂直であることが確定されれば、カメラと回転軸とは、カメラの第四側面がカメラ回転時の回転軸に向いている位置関係となる。

【0045】

上述したのは、本発明の好ましい実施例に過ぎず、カメラが他の角度でカメラ回転時の回転軸に向いて回転する場合、ジャイロスコープ回転方向の分析は、図３～図８の例に示す通りとなり、ここで繰り返して述べない。

【0046】

図９を参照して、本願の一実施例によるジャイロスコープ回転方向を生成する装置は、コンピュータ機器又はカメラ上に動作されるコンピュータプログラム又はプログラムコードであってもよく、例えば、当該ジャイロスコープ回転方向を生成する装置は、アプリケーションソフトウェアであり、当該ジャイロスコープ回転方向を生成する装置は、本願の実施例によるジャイロスコープ回転方向を生成する方法における該当するステップを実行するために使用可能である。本願の一実施例によるジャイロスコープ回転方向を生成する装置は、
慣性計測ユニット（ＩＭＵ）の加速度値及び角速度値をリアルタイムで取得し、前記加速度値を第一加速度値とし、ＩＭＵ座標系からワールド座標系への姿勢を推定するための推定モジュール１１と、
第一加速度値をＩＭＵ座標系からワールド座標系に変換して、第二加速度値を得るための変換モジュール１２と、
ワールド座標系において、第二加速度をフィルタリングし、重力加速度をフィルタアウトして、第三加速度を得るためのフィルタリングモジュール１３と、
第三加速度をＩＭＵ座標系に変換して、第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分を得るための加速度成分確定モジュール１４と、
第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分に従って、カメラの回転方向を確定し、カメラの回転方向をジャイロスコープ回転方向とするための方向確定モジュール１５とを含む。

【0047】

本願の一実施例によるジャイロスコープ回転方向を生成する装置は、本願の一実施例によるジャイロスコープ回転方向を生成する方法と同じ構想に属し、その具体的な実現過程の詳細については、明細書の全文を参照されたく、ここで繰り返して述べない。

【0048】

本願の一実施例は、バレットタイム撮像効果を実現する方法を更に提供しており、本実施例では、主に当該バレットタイム撮像効果を実現する方法がコンピュータ機器又はカメラに応用された例を挙げて説明し、本願の一実施例によるバレットタイム撮像効果を実現する方法は、本願の一実施例ジャイロスコープ回転方向を生成する方法との相違点として、
Ｓ１０１の前に、カメラが撮像ターゲットの周りに回転する時に撮像したパノラマ映像を取得するステップを更に含み、
Ｓ１０５の後に、バレットタイムのジャイロスコープ回転方向に従って、パノラマ映像におけるジャイロスコープ回転方向に対応する画面を生成するステップを更に含むことにある。

【0049】

図１０を参照して、本願の一実施例によるバレットタイム撮像効果を実現する装置は、コンピュータ機器又はカメラ上に動作されるコンピュータプログラム又はプログラムコードであってもよく、例えば、当該バレットタイム撮像効果を実現する装置は、アプリケーションソフトウェアであり、当該バレットタイム撮像効果を実現する装置は、本願の実施例によるバレットタイム撮像効果を実現する方法における該当するステップを実行するために使用可能である。本願の一実施例によるバレットタイム撮像効果を実現する装置は、
カメラが撮像ターゲットの周りに回転する時に撮像したパノラマ映像を取得するための取得モジュール２１と、
慣性計測ユニット（ＩＭＵ）の加速度値及び角速度値をリアルタイムで取得し、前記加速度値を第一加速度値とし、ＩＭＵ座標系からワールド座標系への姿勢を推定するための推定モジュール２２と、
第一加速度値をＩＭＵ座標系からワールド座標系に変換して、第二加速度値を得るための変換モジュール２３と、
ワールド座標系において、第二加速度をフィルタリングし、重力加速度をフィルタアウトして、第三加速度を得るためのフィルタリングモジュール２４と、
第三加速度をＩＭＵ座標系に変換して、第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分を得るための加速度成分確定モジュール２５と、
第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分に従って、カメラの回転方向を確定し、カメラの回転方向をジャイロスコープ回転方向とするための方向確定モジュール２６と、
バレットタイムのジャイロスコープ回転方向に従って、パノラマ映像におけるジャイロスコープ回転方向に対応する画面を生成するための生成モジュール２７とを含む。

【0050】

本願の一実施例によるバレットタイム撮像効果を実現する装置は、本願の一実施例によるバレットタイム撮像効果を実現する方法と同じ構想に属し、その具体的な実現過程については、明細書の全文を参照されたく、ここで繰り返して述べない。

【0051】

本願の一実施例は、コンピュータプログラムを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、本願の一実施例によるジャイロスコープ回転方向を生成する方法、又は、バレットタイム撮像効果を実現する方法におけるステップが実現される、コンピュータ可読記憶媒体を更に提供している。

【0052】

図１１は、本願の一実施例によるコンピュータ機器の具体的な構造のブロック図を示しており、当該コンピュータ機器は、図１に示すコンピュータ機器であってもよく、コンピュータ機器１００は、１つ又は複数のプロセッサ１０１と、メモリ１０２と、１つ又は複数のコンピュータプログラムとを含み、前記プロセッサ１０１と前記メモリ１０２とがバスによって接続され、前記１つ又は複数のコンピュータプログラムが、前記メモリ１０２に記憶されるとともに、前記１つ又は複数のプロセッサ１０１によって実行されるように構成され、前記プロセッサ１０１によって前記コンピュータプログラムが実行されると、本願の一実施例によるジャイロスコープ回転方向を生成する方法、又は、バレットタイム撮像効果を実現する方法におけるステップが実現される。

【0053】

コンピュータ機器は、サーバ、デスクトップコンピュータ、モバイル端末等であってもよく、モバイル端末には、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、パーソナルデジタルアシスタント等が含まれる。

【0054】

図１２は、本願の一実施例によるカメラの具体的な構造のブロック図を示しており、当該カメラは、図１に示すカメラであってもよく、カメラ２００は、１つ又は複数のプロセッサ２０１と、メモリ２０２と、１つ又は複数のコンピュータプログラムとを含み、前記プロセッサ２０１と前記メモリ２０２とがバスによって接続され、前記１つ又は複数のコンピュータプログラムが、前記メモリ２０２に記憶されるとともに、前記１つ又は複数のプロセッサ２０１によって実行されるように構成され、前記プロセッサ２０１によって前記コンピュータプログラムが実行されると、本願の一実施例によるジャイロスコープ回転方向を生成する方法、又は、バレットタイム撮像効果を実現する方法におけるステップが実現される。

【0055】

カメラ部品によっては、ユーザが例えばカメラ回転時の回転軸と平行になるようにカメラを装着するか、又は、カメラ回転時の回転軸と垂直になるようにカメラを装着するといったように、様々な方式でカメラを装着し得るため、様々な向きについて対応する必要がある。本願の実施例では、慣性計測ユニットＩＭＵの加速度値及び角速度値を取得し、前記加速度値を第一加速度値とし、第一加速度値を処理して第四加速度を得てから、第四加速度のＸ軸、Ｙ軸、Ｚ軸の加速度成分に従って、ジャイロスコープ回転方向を確定するようになっている。したがって、本願は、ジャイロスコープ回転方向をリアルタイムで判断でき、ヒューマンマシンインタラクション又は後の段階での念入りな編集を行うことなく、安定した視覚効果を持つバレットタイム映像を生成できるとともに、本願に係る方法は、簡単で、動作速度が速く、ロバスト性が良い。

【0056】

本願の各実施例における各ステップは、必ずしもステップ番号によって示される順序で順次に実行されるとは限らないことを理解されたい。本明細書で明記されていない限り、これらのステップの実行は厳密な順序に限定されず、これらのステップは他の順序で実行されてもよい。更に、各実施例における少なくとも一部のステップは、複数のサブステップ又は複数の段階を含んでもよい。これらのサブステップ又は段階は、必ずしも同じ時点で実行される必要がなく、異なる時点で実行されてもよい。これらのサブステップ又は段階の実行順序も、必ずしも順次に実行される必要がなく、他のステップ、又は他のステップのサブステップ又は段階の少なくとも一部と、順番又は交互に実行されてもよい。

【0057】

当業者であれば理解できるように、上記実施例の方法における全部又は一部のフローは、コンピュータプログラムによって関連ハードウェアに指示することで実現されてもよい。前記プログラムは、不揮発性のコンピュータ可読記憶媒体に記憶されてもよい。当該プログラムが実行されると、上記の各方法の実施例のフローが含まれる。ここで、本願による各実施例に使用されるメモリ、ストレージ、データベース又は他の媒体へのいかなる言及も、不揮発性メモリ及び／又は揮発性メモリを含んでもよい。不揮発性メモリは、読取専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）又はフラッシュメモリを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）又は外部高速キャッシュメモリを含んでもよい。限定的ではなく説明的なものとして、ＲＡＭは、例えば、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張ＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、メモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの多くの形態で利用可能である。

【0058】

上述した実施例の各技術的特徴は、任意に組み合わせられてもよい。説明を簡潔にするために、上記実施例における各技術的特徴の可能な組み合わせがすべて説明されているわけではない。しかしながら、これらの技術的特徴の組み合わせは、矛盾がない限り、本明細書に記載された範囲内にあると見なされるべきである。

【0059】

上述した実施例は、本願のいくつかの実施形態を示したものに過ぎず、説明が具体的で詳しいが、これによって本願の特許請求の範囲への制限として理解されるわけにはいかない。当業者にとっては、本願の構想を逸脱しない前提で、若干の変形及び改良が可能であることを留意されたい。これらの変形及び改良は、いずれも本願の保護範囲に属する。それゆえ、本願の特許保護範囲は、添付の特許請求の範囲に準じるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】