特許 7224526 カメラレンズの平滑化処理方法及び携帯端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-09

(45)【発行日】2023-02-17

(54)【発明の名称】カメラレンズの平滑化処理方法及び携帯端末

(51)【国際特許分類】

   H04N 23/68 20230101AFI20230210BHJP

   H04N 23/60 20230101ALI20230210BHJP

   G06T 5/00 20060101ALI20230210BHJP

   G03B 5/00 20210101ALI20230210BHJP

【ＦＩ】

H04N23/68

H04N23/60 500

G06T5/00 710

G03B5/00 K

【請求項の数】 9

(21)【出願番号】P 2022504280

(86)(22)【出願日】2020-07-15

(65)【公表番号】

(43)【公表日】2022-09-29

(86)【国際出願番号】 CN2020101987

(87)【国際公開番号】W WO2021012998

(87)【国際公開日】2021-01-28

【審査請求日】2022-01-27

(31)【優先権主張番号】201910664290.2

(32)【優先日】2019-07-23

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520159673

【氏名又は名称】影石創新科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＡＲＡＳＨＩ ＶＩＳＩＯＮ ＩＮＣ．

【住所又は居所原語表記】Ｒｏｏｍ １１０１， １１０２， １１０３， １１ｔｈ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ ２， Ｊｉｎｌｉｔｏｎｇ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ， １１００ Ｘｉｎｇｙｅ Ｒｏａｄ， Ｈａｉｗａｎｇ Ｃｏｍｍｕｎｉｔｙ， Ｘｉｎ’ａｎ Ｓｔｒｅｅｔ， Ｂａｏ’ａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】陳聡

(72)【発明者】

【氏名】郭灼

(72)【発明者】

【氏名】劉靖康

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特表２０１６－５０１４９７（ＪＰ，Ａ）

【文献】特開２０１８－１４２９１１（ＪＰ，Ａ）

【文献】国際公開第２０１４／１５６７３１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６８

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ５／００

Ｇ０３Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

カメラビデオの現在のビデオフレーム及び現在のビデオフレームのジャイロ情報を取得し、カメラの現在の姿勢の第１の回転行列を計算するステップと、
第１の回転行列に対して平滑化処理を行い、第３の回転行列を算出するステップと、
第３の回転行列に基づいて前記現在のビデオフレームに対して視点分解を行い、第４の回転行列を計算するステップと、
第４の回転行列に基づいて前記現在のビデオフレームに対して３Ｄ回転を行い、ブレ補正したビデオを再構成するステップと、を含む、
ことを特徴とするカメラレンズの平滑化処理方法。

【請求項2】

第１の回転行列に対して平滑化処理を行い、第３の回転行列を算出する前記ステップは、具体的に、
第１の回転行列に対して第１の平滑化処理を行い、第２の回転行列を得るステップと、
制限平滑化最大振幅値に基づいてカメラの第３の回転行列を計算するステップと、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項3】

第１の回転行列に対して第１の平滑化処理を行い、第２の回転行列を得る前記ステップは、具体的に、Ｎ＋１ウィンドウを用い、制約付き最小二乗で第１の回転行列の四元数に対して第１の平滑化を行い、第２の回転行列を算出することであり、前記第１の平滑化の式は、

【請求項4】

制限平滑化最大振幅値に基づいてカメラの第３の回転行列を計算する前記ステップは、具体的に、
平滑化最大振幅値を

に制限し、
第２の回転行列から第１の回転行列までの平滑化振幅値を計算し、計算式は

は四元数空間のベクトル回転を表し、Ｌｏｇは四元数対数演算子であり、Ｅｘｐは四元数指数演算子である、
ことを特徴とする請求項３に記載の方法。

【請求項5】

第１の回転行列に対して第１の平滑化処理を行い、第２の回転行列を得る前記ステップの後に、さらに、第２の回転行列に対して反復振幅制限平滑化フィルタの方法を用いて、第２の平滑化を行い、第２の回転行列を更新するステップを含み、具体的には、
初期化行列を第２の回転行列に等しくし、

Ｋ回目の反復に対して、球面（Ｓｌｅｒｐ）差分方法を用いて更新された第２の回転行列を計算し、計算式は

はジャイロスコープのサンプリング時間間隔である、
ことを特徴とする請求項３に記載の方法。

【請求項6】

第３の回転行列に基づいて前記現在のビデオフレームに対して視点分解を行い、第４の回転行列を計算する前記ステップは、具体的に、
Ｖをビデオフレームの元の中心視点に設定し、第３の回転行列に基づいて前記現在のビデオフレームに対して平滑化回転を行った後に得た平滑化ビデオフレームの中心視点を

とし、
平滑化ビデオフレームの中心視点位置及びカメラ視野角のｐｉｔｃｈ方向における閾値に基づいて計算して第４の回転行列を生成することであり、
前記第４の回転行列は第３の回転行列に基づいて前記現在のビデオフレームに対して平滑化回転を行った後の運動行列である、
ことを特徴とする請求項１に記載の方法。

【請求項7】

前記第４の回転行列の計算は具体的に、
カメラ視野角のｐｉｔｃｈ方向における閾値を

より大きい場合、カメラのビデオフレームを１つの側辺の方向においてそのまま保持し、前記側辺は上側、下側、左側又は右側であり、さらに第４の回転行列Ｒ_ｔを計算し、具体的には、前記現在のビデオフレームの左側方向をそのまま保持する場合、第４の回転行列を

はＲ^Ｔの第２の列ベクトルである、
ことを特徴とする請求項６に記載の方法。

【請求項8】

コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムはプロセッサにより実行されると、請求項１から７のいずれか１項に記載のカメラレンズの平滑化処理のステップを実現し、前記コンピュータ読み取り可能な記憶媒体は非一時的コンピュータ読み取り可能な記憶媒体である、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【請求項9】

１つ以上のプロセッサと、
メモリと、
前記メモリに記憶され、前記１つ以上のプロセッサにより実行されるように構成される１つ以上のコンピュータプログラムであって、前記プロセッサは前記コンピュータプログラムを実行すると、請求項１から７のいずれか１項に記載のカメラレンズの平滑化処理方法のステップを実現する１つ以上のコンピュータプログラムと、を含む、
ことを特徴とする携帯端末。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はビデオ分野に属し、特にアクションカメラレンズの平滑化処理方法及び携帯端末に関する。

【背景技術】

【0002】

現在、アクションカメラはアクションシーンを撮影する場合、ビデオの撮影レンズにブレ現象が発生して、ビデオの撮影品質及び視聴体験に影響を与えることとなる。そのため、カメラビデオレンズのブレを改善する方法を研究する必要がある。

【0003】

現在、解決方法の一つとして、雲台を用いてカメラを安定させ、その撮影画面を安定させることが挙げられ、当該解決手段の欠点は雲台の体積が大きく、かつ手持ちパノラマ撮影装置でビデオを撮影する時に画面がぶれるという問題を完全に解決していないことである。中国特許の「マイクロナノ衛星に用いるビデオの手ブレ補正方法、授権公告番号ＣＮ１０６０２７８５２Ｂ」は、構築されたマイクロナノ衛星プラットフォームを利用し、姿勢センサジャイロのみを使用し、それが取得した物理情報を利用し、微小カメラで撮影されたビデオ情報と結び付けて、ぶれるビデオを処理し、手ブレ補正を実現することを目的とするマイクロナノ衛星によるビデオの手ブレ補正方法を開示し、当該方法はビデオ情報を用いて前後フレームのマッチングなどを行う必要があり、プロセスが複雑である。

【0004】

本発明はカメラレンズの自己適応平滑化処理方法を提供し、当該方法はカメラのジャイロ情報によりカメラの姿勢行列を取得し、平滑化処理を通じてカメラの平滑化回転行列を算出しビデオを回転させることで、カメラレンズの自己適応平滑化によるブレ補正効果を実現する。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、アクションカメラのビデオレンズを自己適応調整可能にし、ビデオレンズのブレを補正することを目的とするカメラレンズの平滑化処理方法、装置及び携帯端末を提供し、本発明は平滑化するとともに、クリッピング視野角を最大限に小さくすることができる。

【課題を解決するための手段】

【0006】

第１の態様において、本発明は、カメラレンズの平滑化処理方法であって、
カメラビデオの現在のビデオフレーム及びジャイロ情報を取得し、現在の第１の回転行列を計算するステップと、
第１の回転行列に対して平滑化処理を行い、第３の回転行列を算出するステップと、
第３の回転行列に基づいてカメラのビデオフレームに対して視点分解を行い、第４の回転行列を計算するステップと、
第４の回転行列に基づいてカメラのビデオフレームに対して３Ｄ回転を行い、ブレ補正したビデオを再構成するステップと、を含むカメラレンズの平滑化処理方法を提供する。

【0007】

第２の態様において、本発明はコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムは、プロセッサにより実行されると、第１の態様に記載のカメラレンズの平滑化処理方法のステップを実現する。

【0008】

第３の態様において、本発明は、
１つ以上のプロセッサと、
メモリと、
前記メモリに記憶され、前記１つ以上のプロセッサにより実行されるように構成される１つ以上のコンピュータプログラムであって、前記プロセッサは前記コンピュータプログラムを実行すると、第１の態様に記載のカメラレンズの平滑化処理方法のステップを実現する１つ以上のコンピュータプログラムと、を含む携帯端末を提供する。

【発明の効果】

【0009】

本発明はカメラのジャイロ情報によりカメラの姿勢行列を取得し、平滑化処理を通じてカメラの平滑化回転行列を算出しビデオを回転させることで、カメラレンズの自己適応平滑化によるブレ補正効果を実現し、本発明はレンズの視野角を平滑化するとともに、クリッピング視野角を最大限に小さくすることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例１にて提供されるカメラレンズの平滑化処理方法のフローチャートである。

【図2】本発明の実施例３にて提供される携帯端末の構造概略図である。

【発明を実施するための形態】

【0011】

以下、本発明の目的、技術的解決手段及び有益な効果をさらに明確にするために、図面及び実施例を参照しながら、本発明について一層詳細に説明する。本明細書に説明される具体的な実施例は本発明を説明するためのものに過ぎず、本発明を限定するものではない。

【0012】

以下、本発明に記載の技術的解決手段を説明するために、具体的な実施例により説明する。

【0013】

実施例１
図１に示すように、本発明の実施例１にて提供されるカメラレンズの平滑化処理方法は以下のステップＳ１０１～Ｓ１０４を含む。

【0014】

Ｓ１０１において、カメラビデオの現在のビデオフレーム及びジャイロ情報を取得し、現在の第１の回転行列を計算する。

【0015】

前記カメラは通常のアクションカメラであってもよく、広角レンズを有するアクションカメラなどであってもよい。

【0016】

カメラビデオの現在のビデオフレームを取得する。

【0017】

現在のビデオフレームに対応するジャイロ情報を取得する。

【0018】

前記第１の回転行列はカメラの現在の姿勢行列であり、中国特許の「パノラマビデオのブレ補正の方法、装置及び携帯端末、出願番号２０１８１１５４９６４３６」における方法を用いて第１の回転行列を算出する。

【0019】

Ｓ１０２において、第１の回転行列に対して平滑化処理を行い、第３の回転行列を算出する。

【0020】

第１の回転行列に対して平滑化処理を行い、第３の回転行列を算出する前記ステップはステップＳ１０２１～Ｓ１０２２を含む。

【0021】

Ｓ１０２１において、第１の回転行列に対して第１の平滑化処理を行い、第２の回転行列を得る。

【0022】

Ｓ１０２２において、制限平滑化最大振幅値に基づいてカメラの第３の回転行列を計算する。

【0023】

第１の回転行列に対して第１の平滑化処理を行い、第２の回転行列を得る方法は具体的に以下のとおりである。

【0024】

Ｓ１０２１１において、Ｎ＋１ウィンドウを用い、Ｎを１以上の自然数とし、制約付き最小二乗で第１の回転行列の四元数に対して第１の平滑化を行い、第２の回転行列を算出し、前記第１の平滑化は式

【0025】

前記ステップＳ１０２１１の後に、さらに、第２の回転行列に対して反復振幅制限平滑化フィルタの方法を用いて、第２の平滑化を行い、更新された第２の回転行列を得るとしてもよく、前記反復振幅制限平滑化フィルタ方法は具体的に以下のＳ１０２１１１～Ｓ１０２１１２である。

【0026】

Ｓ１０２１１１において、初期化行列を第２の回転行列に等しくする。

【0027】

Ｓ１０２１１２において、Ｋ回目の反復に対して、球面（Ｓｌｅｒｐ）差分方法を用いて更新された第２の回転行列を計算し、計算式は

であり、ここで、

はジャイロスコープのサンプリング時間間隔であり、Ｋは１以上の自然数である。

【0028】

制限平滑化最大振幅値に基づいてカメラの第３の回転行列を計算する前記ステップであって、第３の回転行列はカメラの第１の回転行列に対して計算して生成された平滑化回転行列であるステップは具体的に以下のＳ１０２２１～Ｓ１０２２３である。

【0029】

Ｓ１０２２１において、平滑化最大振幅値を

に制限する。

【0030】

Ｓ１０２２２において、第２の回転行列から第１の回転行列までの平滑化振幅値を計算し、計算式は

であり、ここで、＊は共役を表す。

【0031】

【0032】

Ｓ１０３において、第３の回転行列に基づいてカメラのビデオフレームに対して視点分解を行い、第４の回転行列を計算する。

【0033】

第３の回転行列に基づいてカメラのビデオフレームに対して視点分解を行い、第４の回転行列を計算する前記ステップは具体的に以下のＳ１０３１～Ｓ１０３２である。

【0034】

Ｓ１０３１において、Ｖをビデオフレームの元の中心視点に設定し、第３の回転行列に基づいてビデオフレームに対して平滑化回転を行った後に得た平滑化ビデオフレームの中心視点を

とする。

【0035】

Ｓ１０３２において、平滑化ビデオフレームの中心視点位置及びカメラ視野角のｐｉｔｃｈ方向における閾値に基づいて計算して第４の回転行列を生成する。

【0036】

前記第４の回転行列は第３の回転行列に基づいてビデオフレームに対して平滑化回転を行った後の運動行列である。

【0037】

カメラ視野角のｐｉｔｃｈ方向における閾値を

に設定し、前記第４の回転行列の計算は具体的に以下のとおりである。

【0038】

【0039】

カメラの中心視点方向が閾値

より大きい場合、カメラのビデオフレームを１つの側辺の方向においてそのまま保持し、当該側辺を上側、下側、左側又は右側としてもよく、さらに第４の回転行列Ｒ_ｔを計算し、具体的には、カメラのビデオフレームの左側方向をそのまま保持する場合、第４の回転行列を

【0040】

Ｓ１０４において、第４の回転行列に基づいてカメラのビデオフレームに対して３Ｄ回転を行い、ブレ補正したビデオを再構成する。

【0041】

第４の回転行列に基づいてカメラのビデオフレームに対して３Ｄ回転を行い、ブレ補正したビデオを再構成するステップは具体的に、
第１の回転行列及び第４の回転行列に基づいて、カメラのビデオフレームに対して３Ｄ回転を行い、ブレ補正したビデオを再構成することであり、平滑化するとともに、クリッピング視野角を最大限に小さくすることができる。

【0042】

本発明において、カメラのジャイロ情報によりカメラの姿勢行列を取得し、平滑化処理を通じてカメラの平滑化回転行列を算出しビデオを回転させることで、カメラレンズの自己適応平滑化によるブレ補正効果を実現し、本発明はレンズの視野角を平滑化するとともに、カメラが撮影した元のビデオをそのまま保持し、レンズの視野角を自動的に調整でき、レンズが前向きに撮影する場合、地平線方向をそのまま保証し、空を撮影する、又は地上視野角である場合、画像の片側（例えば左側）の方位をそのまま保持し、本発明はレンズの視野角を平滑化するとともに、クリッピング視野角を最大限に小さくすることができる。

【0043】

実施例２
本発明の実施例２はコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムはプロセッサにより実行されると、本発明の実施例１にて提供されるカメラレンズの平滑化処理方法のステップを実現し、前記コンピュータ読み取り可能な記憶媒体は非一時的コンピュータ読み取り可能な記憶媒体であってもよい。

【0044】

実施例３
図２は本発明の実施例３にて提供される携帯端末の具体的な構造を示すブロック図であり、携帯端末１００は、１つ以上のプロセッサ１０１と、メモリ１０２と、１つ以上のコンピュータプログラムとを含み、そのうち、前記プロセッサ１０１と前記メモリ１０２はバスを介して接続され、前記１つ以上のコンピュータプログラムは前記メモリ１０２に記憶され、前記１つ以上のプロセッサ１０１により実行されるように構成され、前記プロセッサ１０１は前記コンピュータプログラムを実行する時に本発明の実施例１に提供されるカメラレンズの平滑化処理方法のステップを実現する。

【0045】

本発明の実施例において、当業者であれば、上記実施例の方法におけるステップの全部又は一部はプログラムにより関連するハードウェアを命令して完成することができ、前記プログラムはコンピュータ読み取り可能な記憶媒体に記憶することができ、前記記憶媒体は例えば、ＲＯＭ／ＲＡＭ、磁気ディスク又は光ディスクなどであることを理解することができる。

【0046】

以上は本発明の好適な実施例に過ぎず、本発明を限定するものではなく、本発明の趣旨及び原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本発明の保護範囲内に含まれるべきである。

【図1】

【図2】