特許 7016965 パノラマ映像の手ぶれ補正方法及び携帯端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-28

(45)【発行日】2022-02-07

(54)【発明の名称】パノラマ映像の手ぶれ補正方法及び携帯端末

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220131BHJP

   G06T 3/00 20060101ALI20220131BHJP

【ＦＩ】

H04N5/232 480

H04N5/232 380

G06T3/00 760

【請求項の数】 16

(21)【出願番号】P 2020548718

(86)(22)【出願日】2019-03-15

(65)【公表番号】

(43)【公表日】2021-07-15

(86)【国際出願番号】 CN2019078329

(87)【国際公開番号】W WO2019174640

(87)【国際公開日】2019-09-19

【審査請求日】2020-11-10

(31)【優先権主張番号】201810217087.6

(32)【優先日】2018-03-16

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520159673

【氏名又は名称】影石創新科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＡＲＡＳＨＩ ＶＩＳＩＯＮ ＩＮＣ．

【住所又は居所原語表記】Ｒｏｏｍ ６０１， ６０３， ６０５， ６／Ｆ， Ｂｕｉｌｄｉｎｇ Ａ， ＬＯＧＡＮ Ｃｅｎｔｕｒｙ Ｃｅｎｔｒｅ Ｎｏ． ２３， Ｈａｉｘｉｕ Ｒｏａｄ， Ｘｉｎ’ａｎ Ｓｔｒｅｅｔ， Ｂａｏ’ａｎ Ｄｉｓｔｒｉｃｔ Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００ Ｐ．Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際特許業務法人

(72)【発明者】

【氏名】陳 聡

(72)【発明者】

【氏名】劉 靖康

(72)【発明者】

【氏名】姜 文杰

(72)【発明者】

【氏名】郭 奕濱

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】中国特許出願公開第１０７８０１０１４（ＣＮ，Ａ）

【文献】特開２０１６－２０１６３８（ＪＰ，Ａ）

【文献】特表２０２０－５３６４６０（ＪＰ，Ａ）

【文献】特表２０２０－５１６１７７（ＪＰ，Ａ）

【文献】中国特許出願公開第１０８４６２８３８（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

出力映像フレームと出力映像フレームに対応する魚眼画像、映像フレームにおける画素のタイムスタンプ及び対応するカメラジャイロスコープのタイムスタンプをリアルタイムで取得するステップと、
映像フレームにおける画素のタイムスタンプとカメラジャイロスコープのタイムスタンプを同期させて、カメラジャイロスコープのタイムスタンプの下でカメラの動きの回転行列を計算するステップと、
カメラの動きをスムーズにして、スムーズな動きの軌跡の座標系を確立するステップと、
魚眼画像のゆがみを較正するステップと、
前方レンダリング方法により魚眼画像のレンダリングを行って、定常映像を生成するステップを含む
ことを特徴とするパノラマ映像の手ぶれ補正方法。

【請求項2】

前記出力映像フレームと出力映像フレームに対応する魚眼画像、映像フレームにおける画素のタイムスタンプと対応するカメラジャイロスコープのタイムスタンプをリアルタイムで取得するステップは、具体的に、
出力映像フレームと出力映像フレームに対応する魚眼画像を取得すること、

ことを特徴とする請求項１に記載のパノラマ映像の手ぶれ補正方法。

【請求項3】

前記映像フレームにおける画素のタイムスタンプとカメラジャイロスコープのタイムスタンプを同期させて、カメラジャイロスコープのタイムスタンプの下でカメラの動きの回転行列を計算するステップは、具体的に、

ことを特徴とする請求項２に記載のパノラマ映像の手ぶれ補正方法。

【請求項4】

前記カメラの動きをスムーズにして、スムーズな動きの軌跡の座標系を確立するステップは、具体的に、

式（５）によって、カメラでレンダリングされたスムーズな動きの軌跡の座標系の３Ｄ座標を計算することを含む
ことを特徴とする請求項３に記載のパノラマ映像の手ぶれ補正方法。

【請求項5】

魚眼画像のゆがみを較正するステップは、具体的に、

【請求項6】

前方レンダリング方法により魚眼画像のレンダリングを行って、定常映像を生成するステップは、
魚眼画像のゆがみ較正方法を用いて、魚眼画像とカメラ座標系の球面モデル格子点との対応関係を確立すること、
レンダリング後、スムーズな動きの軌跡座標系の球面モデル格子点を生成すること、
スムーズな動きの軌跡座標系の球面モデル格子点をパノラマ展開して、定常映像を生成することを含む
ことを特徴とする請求項５に記載のパノラマ映像の手ぶれ補正方法。

【請求項7】

コンピュータープログラムが記憶されており、
処理装置により前記コンピュータープログラムを実行する際、前記請求項１乃至６のいずれか一項に記載のパノラマ映像の手ぶれ補正方法を実現する
ことを特徴とするコンピューター可読記憶媒体。

【請求項8】

一つ又は複数の処理装置と、
記憶装置と、
一つ又は複数のコンピュータープログラムを備え、
前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶され、前記一つ又は複数の処理装置により実行されるように構成され、
前記処理装置により前記コンピュータープログラムを実行する際、前記請求項１乃至６のいずれか一項に記載のパノラマ映像の手ぶれ補正方法を実現する
ことを特徴とする携帯端末。

【請求項9】

出力映像フレームと出力映像フレームに対応する魚眼画像、映像フレームにおける画素のタイムスタンプ及び対応するカメラジャイロスコープのタイムスタンプをリアルタイムで取得するステップＳ２０１と、
映像フレームにおける画素のタイムスタンプをカメラジャイロスコープの取得システムに同期させ、現在の映像フレーム画素のタイムスタンプの下でカメラの動きの回転行列を計算して、現在の画素を取得する際のカメラの近似回転行列とするステップＳ２０２と、
出力映像フレームの画素を対応する球面モデル格子点に投影し、近似回転行列を用いて、対応する球面モデル格子点をセンサー座標系における格子点に回転させ、魚眼画像のゆがみを較正方法により、センサー座標系における格子点と魚眼画像における画素との関係を確立して、近似の逆マッピング画素を取得するステップＳ２０３と、
魚眼画像における近似の逆マッピング画素のカメラジャイロスコープのタイムスタンプを計算して、現在の画素を取得する際のカメラの正確な回転行列を取得し、正確な回転行列を用いて対応する球面モデル格子点を再び回転させて、センサー座標系における第二格子点を取得するステップＳ２０４と、
魚眼画像のゆがみ較正方法を用いて、センサー座標系における第二格子点と魚眼画像における画素との関係を確立して、魚眼画像における正確な画素を取得し、出力映像フレームの画素と魚眼画像における正確な画素とのマッピング関係により、逆レンダリング方法で魚眼画像のレンダリングを行って、定常映像を生成するステップＳ２０５を備える
ことを特徴とするパノラマ映像の手ぶれ補正方法。

【請求項10】

前記ステップＳ２０１は、
出力映像フレームと出力映像フレームに対応する魚眼画像を取得すること、

【請求項11】

前記ステップＳ２０２は、
映像フレームの画素のタイムスタンプをカメラジャイロスコープ取得システムに同期させ、両者の間の変換関係は式（８）の通りであること、

【請求項12】

【請求項13】

魚眼画像における近似の逆マッピング画素のカメラジャイロスコープのタイムスタンプを計算して、現在の画素を取得する際のカメラの正確な回転行列を取得することは、

ことを特徴とする請求項１２に記載のパノラマ映像の手ぶれ補正方法。

【請求項14】

同様に、

【請求項15】

コンピュータープログラムが記憶されており、
処理装置により前記コンピュータープログラムを実行する際、前記請求項１１乃至１４のいずれか一項に記載のパノラマ映像の手ぶれ補正方法を実現する
ことを特徴とするコンピューター可読記憶媒体。

【請求項16】

一つ又は複数の処理装置と、
記憶装置と、
一つ又は複数のコンピュータープログラムを備え、
前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶され、前記一つ又は複数の処理装置により実行されるように構成され、
前記処理装置により前記コンピュータープログラムを実行する際、前記請求項１１乃至１４のいずれか一項に記載のパノラマ映像の手ぶれ補正方法を実現する
ことを特徴とする携帯端末。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像処理の分野に関し、特に、パノラマ映像の手ぶれ補正方法及び携帯端末に関する。

【背景技術】

【0002】

ＣＭＯＳとＣＣＤセンサーは現在よく使用されている二種の画像センサーであり、いずれもフォトダイオード（ｐｈｏｔｏｄｉｏｄｅ）を使用して光電変換を行い、画像をデジタルデータに変換する。両者は、デジタルデータの伝送方式に主な違いがある。

【0003】

ＣＣＤセンサーでは、各行の各画素の電荷データは、順に次の画素に伝送されて、一番下の部分から出力され、センサー辺縁の増幅器により増幅されて出力される。ＣＭＯＳセンサーでは、画素ごとに一つの増幅器及びＡ／Ｄ変換回路に隣接しているので、記憶回路と同様の方式でデータを出力する。

【0004】

一般的なＣＭＯＳカメラはローリングシャッター（ｒｏｌｌｉｎｇ ｓｈｕｔｔｅｒ）式を使用して順次露光することで、魚眼画像を取得している。
ＣＭＯＳチップは、多くの並列のＡ／Ｄによって作業負荷を共有するが、すべてのセンサー配列は一度に一行ずつを変換しなければならず、これにより、各行の読み出し同士の時間遅延が非常に小さくなってしまう。単独の各行は、通常、前フレームの読み出しが終わったときに次のフレームの露光を始めることができる。スピードは速いけれど、各行の読み出し間の時間遅延は各行の露光開始間の遅延に変換することができ、両者が同時に発生しないようにする。その結果、フレームにおける各行は同じ時間量で露出し、但し異なる時点で露光を開始するので、両フレームが重なって露光できるようになって、スクロール読み出し中に完了できるスピードにより最終のフレームレートが決められる。

【0005】

このような露光タイプにより、同一フレーム画像の異なる行の間に時間差が生じてしまう。例えば、手持ち式のパノラマカメラで撮影する場合、高速の動きであれば、ＣＭＯＳカメラの順次露光特性によりゼリー効果が発生する。ゼリー効果は、これまで十分に解決されていなかった問題であり、特にＶＲパノラマ映像のように、映像の手ぶれ補正効果は不十分である。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の課題は、ＣＭＯＳチップのローリングシャッター式による画面手ぶれによって引き起こされるゼリー効果を解決して、カメラの手ぶれ補正効果が不良であるという問題を解決できるパノラマ映像の手ぶれ補正方法、コンピューター可読記憶媒体及び携帯端末を提供することである。

【課題を解決するための手段】

【0007】

本発明によるパノラマ映像の手ぶれ補正方法は、下記のステップを含む：
出力映像フレームと出力映像フレームに対応する魚眼画像、映像フレームにおける画素のタイムスタンプ及び対応するカメラジャイロスコープのタイムスタンプをリアルタイムで取得するステップと、
映像フレームにおける画素のタイムスタンプとカメラジャイロスコープのタイムスタンプを同期させて、カメラジャイロスコープのタイムスタンプの下でカメラの動きの回転行列を計算するステップと、
カメラの動きをスムーズにして、スムーズな動きの軌跡の座標系を確立するステップと、
魚眼画像のゆがみを較正するステップと、
前方レンダリング方法により魚眼画像のレンダリングを行って、定常映像を生成するステップ。

【0008】

また、本発明によるパノラマ映像の手ぶれ補正方法は、下記のステップを含む：
ステップＳ２０１：出力映像フレームと出力映像フレームに対応する魚眼画像、映像フレームにおける画素のタイムスタンプ及び対応するカメラジャイロスコープのタイムスタンプをリアルタイムで取得する；
ステップＳ２０２：映像フレームにおける画素のタイムスタンプをカメラジャイロスコープの取得システムに同期させ、現在の映像フレーム画素のタイムスタンプの下でカメラの動きの回転行列を計算して、現在の画素を取得する際のカメラの近似回転行列とする；
ステップＳ２０３：出力映像フレームの画素を対応する球面モデル格子点に投影し、近似回転行列を用いて、対応する球面モデル格子点をセンサー座標系における格子点に回転させ、魚眼画像のゆがみを較正方法により、センサー座標系における格子点と魚眼画像における画素との関係を確立して、近似の逆マッピング画素を取得する；
ステップＳ２０４：魚眼画像における近似の逆マッピング画素のカメラジャイロスコープのタイムスタンプを計算して、現在の画素を取得する際のカメラの正確な回転行列を取得し、正確な回転行列を用いて対応する球面モデル格子点を再び回転させて、センサー座標系における第二格子点を取得する；
ステップＳ２０５：魚眼画像のゆがみ較正方法を用いて、センサー座標系における第二格子点と魚眼画像における画素との関係を確立して、魚眼画像における正確な画素を取得し、出力映像フレームの画素と魚眼画像における正確な画素とのマッピング関係により、逆レンダリング方法で魚眼画像のレンダリングを行って、定常映像を生成する。

【0009】

本発明によるコンピューター可読記憶媒体には、コンピュータープログラムが記憶されており、処理装置により前記コンピュータープログラムを実行する際、本発明による前記パノラマ映像の手ぶれ補正方法を実現する。

【0010】

本発明による携帯端末は、一つ又は複数の処理装置、記憶装置、及び一つ又は複数のコンピュータープログラムを含み、前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶され、前記一つ又は複数の処理装置により実行されるように構成され、前記処理装置により前記コンピュータープログラムを実行する際、本発明による前記パノラマ映像の手ぶれ補正方法を実現する。

【発明の効果】

【0011】

本発明によれば、映像フレーム画素のタイムスタンプによって、リアルタイムで魚眼画像を画素ごとに現在の映像フレーム画素を使用したタイムスタンプの下でカメラの動きの回転行列をスムーズな動きの軌跡座標系に変換し、それからレンダリング出力することで、パノラマ映像配列のローリングシャッターゆがみを較正する。本発明によれば、ＣＭＯＳローリングシャッターによって引き起こされる画像のゆがみを較正し、ゼリー効果を解消することができ、より優れた映像、画像の手ぶれ補正効果を実現することができる。

【0012】

なお、本発明において、映像フレーム画素のタイムスタンプによって、現在の映像フレーム画素のタイムスタンプの下でカメラの動きの回転行列を計算して、現在の画素を取得する際のカメラの近似回転行列とし、出力映像フレームの画素の投影した対応する球面モデル格子点に対し、近似回転行列を用いて対応する球面モデル格子点をセンサー座標系における格子点に回転させる。魚眼画像ゆがみ較正方法により、センサー座標系における格子点と魚眼画像における画素の関係を確立して、近似の逆マッピング画素を取得し、魚眼画像における近似の逆マッピング画素のカメラジャイロスコープのタイムスタンプを計算して、現在の画素を取得する際のカメラの正確な回転行列を取得し、正確な回転行列を用いて対応する球面モデル格子点を再び回転させて、センサー座標系における第二格子点を取得する。魚眼画像ゆがみ較正方法により、センサー座標系における第二格子点と魚眼画像における画素との関係を確立して、魚眼画像における正確な画素を取得し、出力映像フレームの画素と魚眼画像における正確な画素とのマッピング関係により逆レンダリング方法で、魚眼画像のレンダリングを行って、定常映像を生成する。これにより、パノラマ映像配列のローリングシャッターゆがみを較正することができる。

【0013】

本発明によれば、ＣＭＯＳローリングシャッターによって引き起こされる画像のゆがみを較正し、ゼリー効果を解消することができ、より優れた映像、画像の手ぶれ補正効果を実現することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の第一実施形態によるパノラマ映像の手ぶれ補正方法のフローチャートである。

【図2】本発明の第一実施形態によるＣＭＯＳカメラの走査ライン配列のタイムスタンプを示す図である。

【図3】本発明の第一実施形態によるパノラマ映像の手ぶれ補正方法における前方マッピングレンダリング方法のマッピング過程を示す図である。

【図4】本発明の第二実施形態によるパノラマ映像の手ぶれ補正方法のフローチャートである。

【図5】本発明の第二実施形態によるパノラマ映像の手ぶれ補正方法における後方マッピングレンダリング方法のマッピング過程を示す図である。

【図6】本発明の第四実施形態による携帯端末の構造模式図である。

【発明を実施するための形態】

【0015】

本発明の目的、技術的手段及び発明の効果をさらに明らかにするため、以下、図面及び実施形態を参照しながら、本発明をさらに詳細に説明する。ここに記載される具体的な実施形態は本発明を説明するためにのみ使用され、本発明を限定するためではないことを理解すべきである。
以下、具体的な実施形態に基づいて、本発明の技術的手段を説明する。

【0016】

〈第一実施形態〉
図１を参照すると、本発明の第一実施形態によるパノラマ映像の手ぶれ補正方法は、以下のステップを含む。
Ｓ１０１：出力映像フレームと出力映像フレームに対応する魚眼画像、映像フレームにおける画素のタイムスタンプ及び対応するカメラジャイロスコープのタイムスタンプをリアルタイムで取得する。
本発明の第一実施形態において、Ｓ１０１は、具体的には、以下のステップを含み得る。

【0017】

Ｓ１０１１：出力映像フレームと出力映像フレームに対応する魚眼画像を取得する。

【0018】

Ｓ１０２：映像フレームにおける画素のタイムスタンプとカメラジャイロスコープのタイムスタンプを同期させて、カメラジャイロスコープのタイムスタンプの下でカメラの動きの回転行列を計算する。
図２を参照すると、本発明の第一実施形態において、Ｓ１０２は、具体的には、以下のステップを含み得る。

【0019】

【0020】

Ｓ１０３：カメラの動きをスムーズにして、スムーズな動きの軌跡の座標系を確立する。
本発明の第一実施形態において、Ｓ１０３は、具体的には、以下のステップを含み得る。

【0021】

式（５）によって、カメラでレンダリングされたスムーズな動きの軌跡の座標系の３Ｄ座標を計算する。

【0022】

Ｓ１０４：魚眼画像のゆがみを較正する。
本発明の第一実施形態において、Ｓ１０４は、具体的には、以下のステップを含み得る。

【0023】

式（６）において、ｕとｖはそれぞれカメラ座標系でのパノラマ展開図の横座標と縦座標である。

【0024】

Ｓ１０５：前方レンダリング方法により魚眼画像のレンダリングを行って、定常映像を生成する。
本発明の第一実施形態において、Ｓ１０５は、具体的には、以下のステップを含み得る。

【0025】

魚眼画像のゆがみ較正方法を用いて、魚眼画像とカメラ座標系の球面モデル格子点との対応関係を確立する；
レンダリング後、スムーズな動きの軌跡座標系の球面モデル格子点を生成する；
スムーズな動きの軌跡座標系の球面モデル格子点をパノラマ展開して、定常映像を生成する。詳しくは、補間方式を用いて色彩情報を入力し、投影して透視図又は小惑星像を生成する。

【0026】

図３に示すように、本実施形態において、
Ａ_１はＡ_２と対応する。ここで、Ａ_１は魚眼画像における座標であり、Ａ_２はＡ_１に対応するカメラ座標系の球面モデル格子点の座標であり、Ａ_３はＡ_２に対応し且つレンダリング後に生じたスムーズな動き軌跡座標の球面モデル格子点の座標であり、Ａ_４はＡ_３のパノラマ展開投影により生じた座標点である。
同様に、Ｂ_１はＢ_２と対応する。ここで、Ｂ_１は魚眼画像における座標であり、Ｂ_２はＢ_１に対応するカメラ座標系の球面モデル格子点の座標であり、Ｂ_３はＢ_２に対応し且つレンダリング後に生じたスムーズな動き軌跡座標の球面モデル格子点の座標であり、Ｂ_４はＢ_３のパノラマ展開投影により生じた座標点である。

【0027】

本実施形態において、映像フレーム画素のタイムスタンプによって、リアルタイムで魚眼画像を画素ごとに、現在の映像フレーム画素を使用したタイムスタンプの下でカメラの動きの回転行列をスムーズな動きの軌跡座標系に変換し、それからレンダリング出力することで、パノラマ映像配列のローリングシャッターゆがみを較正する。したがって、ＣＭＯＳローリングシャッターによって引き起こされる画像のゆがみを較正し、ゼリー効果を解消することができ、より優れた映像、画像の手ぶれ補正効果を実現することができる。

【0028】

〈第二実施形態〉
図４に示すように、本発明の第二実施形態によるパノラマ映像手ぶれ補正方法は、以下のステップを含む。

【0029】

Ｓ２０１：出力映像フレームと出力映像フレームに対応する魚眼画像、映像フレームにおける画素のタイムスタンプ及び対応するカメラジャイロスコープのタイムスタンプをリアルタイムで取得する。
本発明の第二実施形態において、Ｓ２０１は、具体的には下記のステップを含み得る。

【0030】

Ｓ２０１１：出力映像フレームと出力映像フレームに対応する魚眼画像を取得する。

【0031】

Ｓ２０２：映像フレームにおける画素のタイムスタンプをカメラジャイロスコープの取得システムに同期させ、現在の映像フレーム画素のタイムスタンプの下でカメラの動きの回転行列を計算して、現在の画素を取得する際のカメラの近似回転行列とする。
本発明の第二実施形態において、Ｓ２０２は、具体的には、下記のステップを含み得る。

【0032】

Ｓ２０２１：映像フレームの画素のタイムスタンプをカメラジャイロスコープ取得システムに同期さる。両者の間の変換関係は式（８）の通りである。

【0033】

Ｓ２０３：出力映像フレームの画素を対応する球面モデル格子点に投影し、近似回転行列を用いて、対応する球面モデル格子点をセンサー座標系における格子点に回転させ、魚眼画像のゆがみを較正方法により、センサー座標系における格子点と魚眼画像における画素との関係を確立して、近似の逆マッピング画素を取得する。
本実施形態において、Ｓ２０３は詳しく下記のステップを含む。

【0034】

【0035】

Ｓ２０４：魚眼画像における近似の逆マッピング画素のカメラジャイロスコープのタイムスタンプを計算して、現在の画素を取得する際のカメラの正確な回転行列を取得し、正確な回転行列を用いて対応する球面モデル格子点を再び回転させて、センサー座標系における第二格子点を取得する。

【0036】

本発明の第二実施形態において、魚眼画像における近似の逆マッピング画素のカメラジャイロスコープのタイムスタンプを計算して、現在の画素を取得する際のカメラの正確な回転行列を取得するステップは、具体的には、以下の通りである。
魚眼画像における近似の逆マッピング画素を用いて、式（１０）により当該画素のカメラジャイロスコープのタイムスタンプを計算する。

【0037】

Ｓ２０５：魚眼画像のゆがみ較正方法を用いて、センサー座標系における第二格子点と魚眼画像における画素との関係を確立して、魚眼画像における正確な画素を取得し、出力映像フレームの画素と魚眼画像における正確な画素とのマッピング関係により、逆レンダリング方法で魚眼画像のレンダリングを行って、定常映像を生成する。

【0038】

【0039】

【0040】

更に説明すべきことは、投影して生成した透視図又は小惑星像の色彩情報を、補間方式を用いて入力し、最終的に定常映像を生成することができることである。

【0041】

本実施形態において、映像フレーム画素のタイムスタンプにより現在の映像フレーム画素のタイムスタンプの下でカメラの動きの回転行列を計算して、現在の画素を取得する際のカメラの近似回転行列とし、出力映像フレームの画素を対応する球面モデル格子点に投影し、近似回転行列を用いて、対応する球面モデル格子点をセンサー座標系における格子点に回転させる。魚眼画像のゆがみを較正方法により、センサー座標系における格子点と魚眼画像における画素との関係を確立して、近似の逆マッピング画素を取得し、魚眼画像における近似の逆マッピング画素のカメラジャイロスコープのタイムスタンプを計算して、現在の画素を取得する際のカメラの正確な回転行列を取得し、正確な回転行列を用いて対応する球面モデル格子点を再び回転させて、センサー座標系における第二格子点を取得する。魚眼画像のゆがみ較正方法により、センサー座標系における第二格子点と魚眼画像における画素との関係を確立して、魚眼画像における正確な画素を取得し、出力映像フレームの画素と魚眼画像における正確な画素とのマッピング関係により、逆レンダリング方法で魚眼画像をレンダリングして、定常映像を生成する。

【0042】

これにより、パノラマ映像配列のローリングシャッターのゆがみを較正する。したがって、本発明によれば、ＣＭＯＳローリングシャッターによって引き起こされる画像のゆがみを較正し、ゼリー効果を解消することができ、より優れた映像、画像の手ぶれ補正効果を実現することができる。

【0043】

〈第三実施形態〉
本発明の第三実施形態によるコンピューター可読記憶媒体には、コンピュータープログラムが記憶されており、コンピュータープログラムを処理装置により実行する際、本発明の第一実施形態、第二実施形態によるパノラマ映像の手ぶれ補正方法のステップを実現する。

【0044】

〈第四実施形態〉
図６に示すように、本発明の第四実施形態による携帯端末１００は、一つ又は複数の処理装置１０１、記憶装置１０２及び一つ又は複数のコンピュータープログラムを備え、処理装置１０１と記憶装置１０２はバス配線により接続され、一つ又は複数のコンピュータープログラムは、記憶装置１０２に記憶され且つ一つ又は複数の処理装置１０１により実行されるように構成されており、処理装置１０１によりコンピュータープログラムを実行する際、本発明の第一実施形態、第二実施形態によるパノラマ映像の手ぶれ補正方法のステップを実現する。

【0045】

当業者は、上述した方法におけるすべて又は一部のステップが、プログラムで関連のハードウェアに指令を出して完了することができ、そのプログラムをコンピューター可読記憶媒体に記憶することができることを理解できる。ここで、記憶媒体として、例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなどがある。

【0046】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、本発明の趣旨及びその範囲から逸脱しない限り、その趣旨に基づいて変更、同等代替または改善することができ、いずれも本発明の保護範囲に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】