知財求人 - 知財ポータルサイト「IP Force」
▶ ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-07
(45)【発行日】2022-01-12
(54)【発明の名称】ビデオ処理方法、装置および記憶媒体
(51)【国際特許分類】
H04N 5/232 20060101AFI20220104BHJP
G06T 7/38 20170101ALI20220104BHJP
H04N 5/272 20060101ALI20220104BHJP
H04N 21/4402 20110101ALI20220104BHJP
H04N 21/854 20110101ALI20220104BHJP
【ＦＩ】
H04N5/232
G06T7/38
H04N5/272
H04N21/4402
H04N21/854
【請求項の数】
13
(21)【出願番号】P 2020156102
(22)【出願日】2020-09-17
(65)【公開番号】P2021175174
(43)【公開日】2021-11-01
【審査請求日】2020-09-17
(31)【優先権主張番号】202010345830.3
(32)【優先日】2020-04-27
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520274253
【氏名又は名称】ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド
(74)【代理人】
【識別番号】100107489
【弁理士】
【氏名又は名称】大塩 竹志
(72)【発明者】
【氏名】チャン ビンリン
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】国際公開第２０１６／１５２６３４（ＷＯ，Ａ１）
【文献】特開２００４－３２８７８８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２３２
Ｈ０４Ｎ ５／２７２
Ｈ０４Ｎ ２１／８５４
Ｈ０４Ｎ ２１／４４０２
Ｇ０６Ｔ ７／３８
(57)【特許請求の範囲】
【請求項1】
ビデオ処理方法であって、端末に適用され、前記方法は、
第１ビデオセグメント内の目標対象を認識することと、
第２ビデオセグメントの現在のビデオフレームを取得することと、
前記第１ビデオセグメントの第１目標ビデオフレーム内の前記目標対象に対応する第１画像領域を取得し、前記第２ビデオセグメントの前記現在のビデオフレーム内の前記目標対象に対応する第２画像領域を取得することであって、前記第１目標ビデオフレームは、ビデオフレーム時刻に関して、前記第２ビデオセグメントの前記現在のビデオフレームに対応することと、
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得することと、を含むことを特徴とする、前記ビデオ処理方法。
【請求項2】
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得することは、前記第１画像領域および前記第２画像領域に従って、画像ステッチングアルゴリズムを使用して画像ステッチング境界を決定することと、
前記画像ステッチング境界に従って、前記第１目標ビデオフレームから前記第１画像領域を含む第１局部画像を取得し、前記第２ビデオセグメントの前記現在のビデオフレームから前記第２画像領域を含む第２局部画像を取得することと、
前記第１局部画像および前記第２局部画像を前記第１ビデオフレームにステッチングすることと、を含むことを特徴とする、
請求項１に記載のビデオ処理方法。
【請求項3】
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する前に、前記第１ビデオセグメント内の目標フレームを参照フレームとして使用することと、
前記第１目標ビデオフレームおよび前記参照フレームに対して画面整列処理を実行すること、および／または
前記第２ビデオセグメントの現在のビデオフレームおよび前記参照フレームに対して画面整列処理を実行することと、をさらに含むことを特徴とする、
請求項１に記載のビデオ処理方法。
【請求項4】
前記画面整列処理は、前記参照フレームおよび指定されたビデオフレームの背景特徴点から、同じ背景特徴を持つ目標背景特徴点を取得することであって、前記指定されたビデオフレームは、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームのいずれかであることと、
前記目標背景特徴点に従って、前記指定されたビデオフレームを前記参照フレームに整列することと、を含むことを特徴とする、
請求項３に記載のビデオ処理方法。
【請求項5】
画像収集装置によって収集されたビデオストリームをリアルタイムで取得することと、前記ビデオストリームの現在のビデオフレームについて、第２目標ビデオフレーム内の前記目標対象に対応する第３画像領域を取得することであって、前記第２目標ビデオフレームは、前記第１ビデオセグメント内の、前記ビデオストリームの前記現在のビデオフレーム時刻に対応するビデオフレームであることと、
前記第３画像領域を前記ビデオストリームの前記現在のビデオフレームに追加して、処理された第２ビデオフレームを取得することと、
前記第２ビデオフレームをビデオプレビューインターフェイスに表示することと、をさらに含むことを特徴とする、
請求項１に記載のビデオ処理方法。
【請求項6】
前記第３画像領域を前記ビデオストリームの前記現在のビデオフレームに追加することは、前記第２目標ビデオフレームにおける前記第３画像領域の位置に従って、前記ビデオストリームの前記現在のビデオフレームにおける前記第３画像領域の追加位置を決定することと、
前記第３画像領域を前記ビデオストリームの前記現在のビデオフレームにおける前記追加位置に追加することと、を含むことを特徴とする、
請求項５に記載のビデオ処理方法。
【請求項7】
前記第２目標ビデオフレームにおける前記第３画像領域の位置に従って、前記ビデオストリームの前記現在のビデオフレームにおける前記第３画像領域の追加位置を決定することは、前記第２目標ビデオフレームの背景特徴点から、前記第３画像領域の周囲のプリセット範囲内の第１背景特徴点を取得することと、
前記ビデオストリームの前記現在のビデオフレームの背景特徴点から、前記第１背景特徴点と同じ背景特徴を持つ第２背景特徴点を決定することと、
前記ビデオストリームの前記現在のビデオフレームにおける前記第２背景特徴点の位置に従って、前記追加位置を決定することと、を含むことを特徴とする、
請求項６に記載のビデオ処理方法。
【請求項8】
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する前に、前記第１ビデオセグメントの時間長が前記第２ビデオセグメントの時間長と異なる場合、前記第１ビデオセグメントおよび前記第２ビデオセグメントに対して時間長整列処理を実行することをさらに含むことを特徴とする、
請求項１に記載のビデオ処理方法。
【請求項9】
前記時間長整列処理は、前記第１ビデオセグメントおよび前記第２ビデオセグメントのうちの時間長がより短いビデオセグメントを参照として、時間長がより長いビデオセグメントのビデオフレームの一部を削除して、前記第１ビデオセグメントの時間長と前記第２ビデオセグメントの時間長が同じになるようにすること、
前記第１ビデオセグメントおよび前記第２ビデオセグメントのうちの時間長がより短いビデオセグメントの既存のビデオフレームに従って、前記時間長がより短いビデオセグメントのビデオフレームを増加して、前記第１ビデオセグメントの時間長と前記第２ビデオセグメントの時間長が同じになるようにすることのうちのいずれかの方法を含むことを特徴とする、
請求項８に記載のビデオ処理方法。
【請求項10】
前記第１ビデオフレームに基づいて、目標ビデオセグメントを生成することと、前記目標ビデオセグメントをビデオプレビューインターフェイスに表示することと、をさらに含むことを特徴とする、
請求項１ないし９のいずれか一項に記載のビデオ処理方法。
【請求項11】
ビデオ処理装置であって、端末に適用され、前記装置は、
第１ビデオセグメント内の目標対象を認識するように構成される認識モジュールと、
第２ビデオセグメントの現在のビデオフレームを取得するように構成される第１取得モジュールと、
前記第１ビデオセグメントの第１目標ビデオフレーム内の前記目標対象に対応する第１画像領域を取得し、前記第２ビデオセグメントの前記現在のビデオフレーム内の前記目標対象に対応する第２画像領域を取得するように構成される第２取得モジュールであって、前記第１目標ビデオフレームは、ビデオフレーム時刻に関して、前記第２ビデオセグメントの前記現在のビデオフレームに対応する第２取得モジュールと、
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得するように構成されるステッチングモジュールと、を備えることを特徴とする、前記ビデオ処理装置。
【請求項12】
ビデオ処理装置であって、プロセッサと、
プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、
第１ビデオセグメント内の目標対象を認識し、
第２ビデオセグメントの現在のビデオフレームを取得し、
前記第１ビデオセグメントの第１目標ビデオフレーム内の前記目標対象に対応する第１画像領域を取得し、前記第２ビデオセグメントの前記現在のビデオフレーム内の前記目標対象に対応する第２画像領域を取得し、前記第１目標ビデオフレームは、前記第２ビデオセグメントの前記現在のビデオフレームのビデオフレーム時刻に対応し、
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得するように構成されることを特徴とする、前記ビデオ処理装置。
【請求項13】
コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体であって、前記プログラム命令がプロセッサによって実行される時に、請求項１ないし１０のいずれか一項に記載の方法のステップを実現することを特徴とする、前記コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０２０年０４月２７日に中国特許局に提出された、出願番号がＣＮ２０２０１０３４５８３０３である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。
【0002】
本開示は、コンピュータ技術分野に関し、特に、ビデオ処理方法、装置および記憶媒体に関する。
【背景技術】
【0003】
ビデオにおける分身特殊効果は、比較的一般的なビデオ特殊効果技術であり、ビデオの同じシナリオ（つまり、ビデオの１フレーム）に複数の同一の対象（人物や物体など）が同時に登場することで表現される。例えば、人物Ａの分身特殊効果は、ビデオの同じシナリオに複数の人物Ａが登場することで表現されることができ、ここで、各人物Ａの行動は同じでも異なっていてもよい。分身特殊効果を含むビデオを取得する必要がある場合、通常、最初に素材としていくつかのオリジナルビデオを撮影する必要があり、その後、専門家が、撮影された素材をポストビデオ編集ツールを使用してステッチングし、最後に、同じ対象の複数の分身がビデオの同じシナリオに同時に現れるという効果を取得する。上記の方法おいて、最初に素材を撮影してからポストプロダクションを行う必要があるため、制作サイクルが長く、撮影時に適時なフィードバックを得ることができず、また、事前に撮影素材を計画（シナリオの選択やシナリオの場所の決定など）する必要があるため、準備プロセスが面倒であり、後処理を実行するための専門知識を持つ専門家を必要とし、専門知識の要件が高く、難易度が高い。
【発明の概要】
【発明が解決しようとする課題】
【0004】
関連技術に存在する問題を解決するために、本開示は、ビデオ処理方法、装置および記憶媒体を提供する。
【課題を解決するための手段】
【0005】
本開示の実施例の第１態様によれば、端末に適用されるビデオ処理方法を提供し、前記方法は、
第１ビデオセグメント内の目標対象を認識することと、
第２ビデオセグメントの現在のビデオフレームを取得することと、
前記第１ビデオセグメントの第１目標ビデオフレーム内の前記目標対象に対応する第１画像領域を取得し、前記第２ビデオセグメントの前記現在のビデオフレーム内の前記目標対象に対応する第２画像領域を取得することであって、前記第１目標ビデオフレームは、ビデオフレーム時刻に関して、前記第２ビデオセグメントの前記現在のビデオフレームに対応することと、
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得することと、を含む。
第１ビデオセグメント内の目標対象を認識することと、
第２ビデオセグメントの現在のビデオフレームを取得することと、
前記第１ビデオセグメントの第１目標ビデオフレーム内の前記目標対象に対応する第１画像領域を取得し、前記第２ビデオセグメントの前記現在のビデオフレーム内の前記目標対象に対応する第２画像領域を取得することであって、前記第１目標ビデオフレームは、ビデオフレーム時刻に関して、前記第２ビデオセグメントの前記現在のビデオフレームに対応することと、
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得することと、を含む。
【0006】
例示的に、前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得することは、
前記第１画像領域および前記第２画像領域に従って、画像ステッチングアルゴリズムを使用して画像ステッチング境界を決定することと、
前記画像ステッチング境界に従って、前記第１目標ビデオフレームから前記第１画像領域を含む第１局部画像を取得し、前記第２ビデオセグメントの前記現在のビデオフレームから前記第２画像領域を含む第２局部画像を取得することと、
前記第１局部画像および前記第２局部画像を前記第１ビデオフレームにステッチングすることと、を含む。
前記第１画像領域および前記第２画像領域に従って、画像ステッチングアルゴリズムを使用して画像ステッチング境界を決定することと、
前記画像ステッチング境界に従って、前記第１目標ビデオフレームから前記第１画像領域を含む第１局部画像を取得し、前記第２ビデオセグメントの前記現在のビデオフレームから前記第２画像領域を含む第２局部画像を取得することと、
前記第１局部画像および前記第２局部画像を前記第１ビデオフレームにステッチングすることと、を含む。
【0007】
例示的に、前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する前に、前記ビデオ処理方法は、
前記第１ビデオセグメント内の目標フレームを参照フレームとして使用することと、
前記第１目標ビデオフレームおよび前記参照フレームに対して画面整列処理を実行すること、および／または
前記第２ビデオセグメントの現在のビデオフレームおよび前記参照フレームに対して画面整列処理を実行することと、をさらに含む。
前記第１ビデオセグメント内の目標フレームを参照フレームとして使用することと、
前記第１目標ビデオフレームおよび前記参照フレームに対して画面整列処理を実行すること、および／または
前記第２ビデオセグメントの現在のビデオフレームおよび前記参照フレームに対して画面整列処理を実行することと、をさらに含む。
【0008】
例示的に、前記画面整列処理は、
前記参照フレームおよび指定されたビデオフレームの背景特徴点から、同じ背景特徴を持つ目標背景特徴点を取得することであって、前記指定されたビデオフレームは、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームのいずれかであることと、
前記目標背景特徴点に従って、前記指定されたビデオフレームを前記参照フレームに整列することと、を含む。
前記参照フレームおよび指定されたビデオフレームの背景特徴点から、同じ背景特徴を持つ目標背景特徴点を取得することであって、前記指定されたビデオフレームは、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームのいずれかであることと、
前記目標背景特徴点に従って、前記指定されたビデオフレームを前記参照フレームに整列することと、を含む。
【0009】
例示的に、前記ビデオ処理方法は、
画像収集装置によって収集されたビデオストリームをリアルタイムで取得することと、
前記ビデオストリームの現在のビデオフレームについて、第２目標ビデオフレーム内の前記目標対象に対応する第３画像領域を取得することであって、前記第２目標ビデオフレームは、前記第１ビデオセグメント内の、前記ビデオストリームの前記現在のビデオフレーム時刻に対応するビデオフレームであることと、
前記第３画像領域を前記ビデオストリームの前記現在のビデオフレームに追加して、処理された第２ビデオフレームを取得することと、
前記第２ビデオフレームをビデオプレビューインターフェイスに表示することと、をさらに含む。
画像収集装置によって収集されたビデオストリームをリアルタイムで取得することと、
前記ビデオストリームの現在のビデオフレームについて、第２目標ビデオフレーム内の前記目標対象に対応する第３画像領域を取得することであって、前記第２目標ビデオフレームは、前記第１ビデオセグメント内の、前記ビデオストリームの前記現在のビデオフレーム時刻に対応するビデオフレームであることと、
前記第３画像領域を前記ビデオストリームの前記現在のビデオフレームに追加して、処理された第２ビデオフレームを取得することと、
前記第２ビデオフレームをビデオプレビューインターフェイスに表示することと、をさらに含む。
【0010】
例示的に、前記第３画像領域を前記ビデオストリームの前記現在のビデオフレームに追加することは、
前記第２目標ビデオフレームにおける前記第３画像領域の位置に従って、前記ビデオストリームの前記現在のビデオフレームにおける前記第３画像領域の追加位置を決定することと、
前記第３画像領域を前記ビデオストリームの前記現在のビデオフレームにおける前記追加位置に追加することと、を含む。
前記第２目標ビデオフレームにおける前記第３画像領域の位置に従って、前記ビデオストリームの前記現在のビデオフレームにおける前記第３画像領域の追加位置を決定することと、
前記第３画像領域を前記ビデオストリームの前記現在のビデオフレームにおける前記追加位置に追加することと、を含む。
【0011】
例示的に、前記第２目標ビデオフレームにおける前記第３画像領域の位置に従って、前記ビデオストリームの前記現在のビデオフレームにおける前記第３画像領域の追加位置を決定することは、
前記第２目標ビデオフレームの背景特徴点から、前記第３画像領域の周囲のプリセット範囲内の第１背景特徴点を取得することと、
前記ビデオストリームの前記現在のビデオフレームの背景特徴点から、前記第１背景特徴点と同じ背景特徴を持つ第２背景特徴点を決定することと、
前記ビデオストリームの前記現在のビデオフレームにおける前記第２背景特徴点の位置に従って、前記追加位置を決定することと、を含む。
前記第２目標ビデオフレームの背景特徴点から、前記第３画像領域の周囲のプリセット範囲内の第１背景特徴点を取得することと、
前記ビデオストリームの前記現在のビデオフレームの背景特徴点から、前記第１背景特徴点と同じ背景特徴を持つ第２背景特徴点を決定することと、
前記ビデオストリームの前記現在のビデオフレームにおける前記第２背景特徴点の位置に従って、前記追加位置を決定することと、を含む。
【0012】
例示的に、前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する前に、前記ビデオ処理方法は、
前記第１ビデオセグメントの時間長が前記第２ビデオセグメントの時間長と異なる場合、前記第１ビデオセグメントおよび前記第２ビデオセグメントに対して時間長整列処理を実行することをさらに含む。
前記第１ビデオセグメントの時間長が前記第２ビデオセグメントの時間長と異なる場合、前記第１ビデオセグメントおよび前記第２ビデオセグメントに対して時間長整列処理を実行することをさらに含む。
【0013】
例示的に、前記時間長整列処理は、
前記第１ビデオセグメントおよび前記第２ビデオセグメントのうちの時間長がより短いビデオセグメントを参照として、時間長がより長いビデオセグメントのビデオフレームの一部を削除して、前記第１ビデオセグメントの時間長と前記第２ビデオセグメントの時間長が同じになるようにすること、
前記第１ビデオセグメントおよび前記第２ビデオセグメントのうちの時間長がより短いビデオセグメントの既存のビデオフレームに従って、前記時間長がより短いビデオセグメントのビデオフレームを増加して、前記第１ビデオセグメントの時間長と前記第２ビデオセグメントの時間長が同じになるようにすることのうちのいずれかの方法を含む。
前記第１ビデオセグメントおよび前記第２ビデオセグメントのうちの時間長がより短いビデオセグメントを参照として、時間長がより長いビデオセグメントのビデオフレームの一部を削除して、前記第１ビデオセグメントの時間長と前記第２ビデオセグメントの時間長が同じになるようにすること、
前記第１ビデオセグメントおよび前記第２ビデオセグメントのうちの時間長がより短いビデオセグメントの既存のビデオフレームに従って、前記時間長がより短いビデオセグメントのビデオフレームを増加して、前記第１ビデオセグメントの時間長と前記第２ビデオセグメントの時間長が同じになるようにすることのうちのいずれかの方法を含む。
【0014】
本開示の実施例の第２態様によれば、端末に適用されるビデオ処理装置を提供し、前記装置は、
第１ビデオセグメント内の目標対象を認識するように構成される認識モジュールと、
第２ビデオセグメントの現在のビデオフレームを取得するように構成される第１取得モジュールと、
前記第１ビデオセグメントの第１目標ビデオフレーム内の前記目標対象に対応する第１画像領域を取得し、前記第２ビデオセグメントの前記現在のビデオフレーム内の前記目標対象に対応する第２画像領域を取得するように構成される第２取得モジュールであって、前記第１目標ビデオフレームは、ビデオフレーム時刻に関して、前記第２ビデオセグメントの前記現在のビデオフレームに対応する第２取得モジュールと、
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得するように構成されるステッチングモジュールと、を備える。
第１ビデオセグメント内の目標対象を認識するように構成される認識モジュールと、
第２ビデオセグメントの現在のビデオフレームを取得するように構成される第１取得モジュールと、
前記第１ビデオセグメントの第１目標ビデオフレーム内の前記目標対象に対応する第１画像領域を取得し、前記第２ビデオセグメントの前記現在のビデオフレーム内の前記目標対象に対応する第２画像領域を取得するように構成される第２取得モジュールであって、前記第１目標ビデオフレームは、ビデオフレーム時刻に関して、前記第２ビデオセグメントの前記現在のビデオフレームに対応する第２取得モジュールと、
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得するように構成されるステッチングモジュールと、を備える。
【0015】
本開示の実施例の第３態様によれば、ビデオ処理装置を提供し、前記装置は、
プロセッサと、
プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、
第１ビデオセグメント内の目標対象を認識し、
第２ビデオセグメントの現在のビデオフレームを取得し、
前記第１ビデオセグメントの第１目標ビデオフレーム内の前記目標対象に対応する第１画像領域を取得し、前記第２ビデオセグメントの前記現在のビデオフレーム内の前記目標対象に対応する第２画像領域を取得し、前記第１目標ビデオフレームは、ビデオフレーム時刻に関して、前記第２ビデオセグメントの前記現在のビデオフレームに対応し、
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得するように構成される。
プロセッサと、
プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、
第１ビデオセグメント内の目標対象を認識し、
第２ビデオセグメントの現在のビデオフレームを取得し、
前記第１ビデオセグメントの第１目標ビデオフレーム内の前記目標対象に対応する第１画像領域を取得し、前記第２ビデオセグメントの前記現在のビデオフレーム内の前記目標対象に対応する第２画像領域を取得し、前記第１目標ビデオフレームは、ビデオフレーム時刻に関して、前記第２ビデオセグメントの前記現在のビデオフレームに対応し、
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得するように構成される。
【0016】
本開示の実施例の第４態様によれば、コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体を提供し、前記プログラム命令がプロセッサによって実行される時に、本開示の第１態様によって提供されるビデオ処理方法のステップを実現する。
例えば、本願は以下の項目を提供する。
（項目１）
ビデオ処理方法であって、
端末に適用され、上記方法は、
第１ビデオセグメント内の目標対象を認識することと、
第２ビデオセグメントの現在のビデオフレームを取得することと、
上記第１ビデオセグメントの第１目標ビデオフレーム内の上記目標対象に対応する第１画像領域を取得し、上記第２ビデオセグメントの上記現在のビデオフレーム内の上記目標対象に対応する第２画像領域を取得することであって、上記第１目標ビデオフレームは、ビデオフレーム時刻に関して、上記第２ビデオセグメントの上記現在のビデオフレームに対応することと、
上記第１画像領域および上記第２画像領域に従って、上記第１目標ビデオフレームおよび上記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得することと、を含むことを特徴とする、上記ビデオ処理方法。
（項目２）
上記第１画像領域および上記第２画像領域に従って、上記第１目標ビデオフレームおよび上記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得することは、
上記第１画像領域および上記第２画像領域に従って、画像ステッチングアルゴリズムを使用して画像ステッチング境界を決定することと、
上記画像ステッチング境界に従って、上記第１目標ビデオフレームから上記第１画像領域を含む第１局部画像を取得し、上記第２ビデオセグメントの上記現在のビデオフレームから上記第２画像領域を含む第２局部画像を取得することと、
上記第１局部画像および上記第２局部画像を上記第１ビデオフレームにステッチングすることと、を含むことを特徴とする、
上記項目に記載のビデオ処理方法。
（項目３）
上記第１画像領域および上記第２画像領域に従って、上記第１目標ビデオフレームおよび上記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する前に、
上記第１ビデオセグメント内の目標フレームを参照フレームとして使用することと、
上記第１目標ビデオフレームおよび上記参照フレームに対して画面整列処理を実行すること、および／または
上記第２ビデオセグメントの現在のビデオフレームおよび上記参照フレームに対して画面整列処理を実行することと、をさらに含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目４）
上記画面整列処理は、
上記参照フレームおよび指定されたビデオフレームの背景特徴点から、同じ背景特徴を持つ目標背景特徴点を取得することであって、上記指定されたビデオフレームは、上記第１目標ビデオフレームおよび上記第２ビデオセグメントの現在のビデオフレームのいずれかであることと、
上記目標背景特徴点に従って、上記指定されたビデオフレームを上記参照フレームに整列することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目５）
画像収集装置によって収集されたビデオストリームをリアルタイムで取得することと、
上記ビデオストリームの現在のビデオフレームについて、第２目標ビデオフレーム内の上記目標対象に対応する第３画像領域を取得することであって、上記第２目標ビデオフレームは、上記第１ビデオセグメント内の、上記ビデオストリームの上記現在のビデオフレーム時刻に対応するビデオフレームであることと、
上記第３画像領域を上記ビデオストリームの上記現在のビデオフレームに追加して、処理された第２ビデオフレームを取得することと、
上記第２ビデオフレームをビデオプレビューインターフェイスに表示することと、をさらに含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目６）
上記第３画像領域を上記ビデオストリームの上記現在のビデオフレームに追加することは、
上記第２目標ビデオフレームにおける上記第３画像領域の位置に従って、上記ビデオストリームの上記現在のビデオフレームにおける上記第３画像領域の追加位置を決定することと、
上記第３画像領域を上記ビデオストリームの上記現在のビデオフレームにおける上記追加位置に追加することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目７）
上記第２目標ビデオフレームにおける上記第３画像領域の位置に従って、上記ビデオストリームの上記現在のビデオフレームにおける上記第３画像領域の追加位置を決定することは、
上記第２目標ビデオフレームの背景特徴点から、上記第３画像領域の周囲のプリセット範囲内の第１背景特徴点を取得することと、
上記ビデオストリームの上記現在のビデオフレームの背景特徴点から、上記第１背景特徴点と同じ背景特徴を持つ第２背景特徴点を決定することと、
上記ビデオストリームの上記現在のビデオフレームにおける上記第２背景特徴点の位置に従って、上記追加位置を決定することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目８）
上記第１画像領域および上記第２画像領域に従って、上記第１目標ビデオフレームおよび上記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する前に、
上記第１ビデオセグメントの時間長が上記第２ビデオセグメントの時間長と異なる場合、上記第１ビデオセグメントおよび上記第２ビデオセグメントに対して時間長整列処理を実行することをさらに含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目９）
上記時間長整列処理は、
上記第１ビデオセグメントおよび上記第２ビデオセグメントのうちの時間長がより短いビデオセグメントを参照として、時間長がより長いビデオセグメントのビデオフレームの一部を削除して、上記第１ビデオセグメントの時間長と上記第２ビデオセグメントの時間長が同じになるようにすること、
上記第１ビデオセグメントおよび上記第２ビデオセグメントのうちの時間長がより短いビデオセグメントの既存のビデオフレームに従って、上記時間長がより短いビデオセグメントのビデオフレームを増加して、上記第１ビデオセグメントの時間長と上記第２ビデオセグメントの時間長が同じになるようにすることのうちのいずれかの方法を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目１０）
上記第１ビデオフレームに基づいて、目標ビデオセグメントを生成することと、
上記目標ビデオセグメントをビデオプレビューインターフェイスに表示することと、をさらに含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目１１）
ビデオ処理装置であって、
端末に適用され、上記装置は、
第１ビデオセグメント内の目標対象を認識するように構成される認識モジュールと、
第２ビデオセグメントの現在のビデオフレームを取得するように構成される第１取得モジュールと、
上記第１ビデオセグメントの第１目標ビデオフレーム内の上記目標対象に対応する第１画像領域を取得し、上記第２ビデオセグメントの上記現在のビデオフレーム内の上記目標対象に対応する第２画像領域を取得するように構成される第２取得モジュールであって、上記第１目標ビデオフレームは、ビデオフレーム時刻に関して、上記第２ビデオセグメントの上記現在のビデオフレームに対応する第２取得モジュールと、
上記第１画像領域および上記第２画像領域に従って、上記第１目標ビデオフレームおよび上記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得するように構成されるステッチングモジュールと、を備えることを特徴とする、上記ビデオ処理装置。
（項目１２）
ビデオ処理装置であって、
プロセッサと、
プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
上記プロセッサは、
第１ビデオセグメント内の目標対象を認識し、
第２ビデオセグメントの現在のビデオフレームを取得し、
上記第１ビデオセグメントの第１目標ビデオフレーム内の上記目標対象に対応する第１画像領域を取得し、上記第２ビデオセグメントの上記現在のビデオフレーム内の上記目標対象に対応する第２画像領域を取得し、上記第１目標ビデオフレームは、上記第２ビデオセグメントの上記現在のビデオフレームのビデオフレーム時刻に対応し、
上記第１画像領域および上記第２画像領域に従って、上記第１目標ビデオフレームおよび上記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得するように構成されることを特徴とする、上記ビデオ処理装置。
（項目１３）
コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体であって、
上記プログラム命令がプロセッサによって実行される時に、上記項目のいずれか一項に記載の方法のステップを実現することを特徴とする、上記コンピュータ可読記憶媒体。
（摘要）
本開示は、端末に適用される、ビデオ処理方法、装置および記憶媒体に関する。前記ビデオ処理方法は、第１ビデオセグメント内の目標対象を認識することと、第２ビデオセグメントの現在のビデオフレームを取得することと、前記第１ビデオセグメントの第１目標ビデオフレーム内の前記目標対象に対応する第１画像領域を取得し、前記第２ビデオセグメントの前記現在のビデオフレーム内の前記目標対象に対応する第２画像領域を取得することであって、前記第１目標ビデオフレームは、ビデオフレーム時刻に関して、前記第２ビデオセグメントの前記現在のビデオフレームに対応することと、前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得することと、を含む。これにより、目標対象の分身特殊効果を含むステッチングされたビデオを素早く取得でき、ユーザが複雑なポスト編集を手動で実行する必要がなく、処理効率が高い。
例えば、本願は以下の項目を提供する。
（項目１）
ビデオ処理方法であって、
端末に適用され、上記方法は、
第１ビデオセグメント内の目標対象を認識することと、
第２ビデオセグメントの現在のビデオフレームを取得することと、
上記第１ビデオセグメントの第１目標ビデオフレーム内の上記目標対象に対応する第１画像領域を取得し、上記第２ビデオセグメントの上記現在のビデオフレーム内の上記目標対象に対応する第２画像領域を取得することであって、上記第１目標ビデオフレームは、ビデオフレーム時刻に関して、上記第２ビデオセグメントの上記現在のビデオフレームに対応することと、
上記第１画像領域および上記第２画像領域に従って、上記第１目標ビデオフレームおよび上記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得することと、を含むことを特徴とする、上記ビデオ処理方法。
（項目２）
上記第１画像領域および上記第２画像領域に従って、上記第１目標ビデオフレームおよび上記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得することは、
上記第１画像領域および上記第２画像領域に従って、画像ステッチングアルゴリズムを使用して画像ステッチング境界を決定することと、
上記画像ステッチング境界に従って、上記第１目標ビデオフレームから上記第１画像領域を含む第１局部画像を取得し、上記第２ビデオセグメントの上記現在のビデオフレームから上記第２画像領域を含む第２局部画像を取得することと、
上記第１局部画像および上記第２局部画像を上記第１ビデオフレームにステッチングすることと、を含むことを特徴とする、
上記項目に記載のビデオ処理方法。
（項目３）
上記第１画像領域および上記第２画像領域に従って、上記第１目標ビデオフレームおよび上記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する前に、
上記第１ビデオセグメント内の目標フレームを参照フレームとして使用することと、
上記第１目標ビデオフレームおよび上記参照フレームに対して画面整列処理を実行すること、および／または
上記第２ビデオセグメントの現在のビデオフレームおよび上記参照フレームに対して画面整列処理を実行することと、をさらに含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目４）
上記画面整列処理は、
上記参照フレームおよび指定されたビデオフレームの背景特徴点から、同じ背景特徴を持つ目標背景特徴点を取得することであって、上記指定されたビデオフレームは、上記第１目標ビデオフレームおよび上記第２ビデオセグメントの現在のビデオフレームのいずれかであることと、
上記目標背景特徴点に従って、上記指定されたビデオフレームを上記参照フレームに整列することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目５）
画像収集装置によって収集されたビデオストリームをリアルタイムで取得することと、
上記ビデオストリームの現在のビデオフレームについて、第２目標ビデオフレーム内の上記目標対象に対応する第３画像領域を取得することであって、上記第２目標ビデオフレームは、上記第１ビデオセグメント内の、上記ビデオストリームの上記現在のビデオフレーム時刻に対応するビデオフレームであることと、
上記第３画像領域を上記ビデオストリームの上記現在のビデオフレームに追加して、処理された第２ビデオフレームを取得することと、
上記第２ビデオフレームをビデオプレビューインターフェイスに表示することと、をさらに含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目６）
上記第３画像領域を上記ビデオストリームの上記現在のビデオフレームに追加することは、
上記第２目標ビデオフレームにおける上記第３画像領域の位置に従って、上記ビデオストリームの上記現在のビデオフレームにおける上記第３画像領域の追加位置を決定することと、
上記第３画像領域を上記ビデオストリームの上記現在のビデオフレームにおける上記追加位置に追加することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目７）
上記第２目標ビデオフレームにおける上記第３画像領域の位置に従って、上記ビデオストリームの上記現在のビデオフレームにおける上記第３画像領域の追加位置を決定することは、
上記第２目標ビデオフレームの背景特徴点から、上記第３画像領域の周囲のプリセット範囲内の第１背景特徴点を取得することと、
上記ビデオストリームの上記現在のビデオフレームの背景特徴点から、上記第１背景特徴点と同じ背景特徴を持つ第２背景特徴点を決定することと、
上記ビデオストリームの上記現在のビデオフレームにおける上記第２背景特徴点の位置に従って、上記追加位置を決定することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目８）
上記第１画像領域および上記第２画像領域に従って、上記第１目標ビデオフレームおよび上記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する前に、
上記第１ビデオセグメントの時間長が上記第２ビデオセグメントの時間長と異なる場合、上記第１ビデオセグメントおよび上記第２ビデオセグメントに対して時間長整列処理を実行することをさらに含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目９）
上記時間長整列処理は、
上記第１ビデオセグメントおよび上記第２ビデオセグメントのうちの時間長がより短いビデオセグメントを参照として、時間長がより長いビデオセグメントのビデオフレームの一部を削除して、上記第１ビデオセグメントの時間長と上記第２ビデオセグメントの時間長が同じになるようにすること、
上記第１ビデオセグメントおよび上記第２ビデオセグメントのうちの時間長がより短いビデオセグメントの既存のビデオフレームに従って、上記時間長がより短いビデオセグメントのビデオフレームを増加して、上記第１ビデオセグメントの時間長と上記第２ビデオセグメントの時間長が同じになるようにすることのうちのいずれかの方法を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目１０）
上記第１ビデオフレームに基づいて、目標ビデオセグメントを生成することと、
上記目標ビデオセグメントをビデオプレビューインターフェイスに表示することと、をさらに含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目１１）
ビデオ処理装置であって、
端末に適用され、上記装置は、
第１ビデオセグメント内の目標対象を認識するように構成される認識モジュールと、
第２ビデオセグメントの現在のビデオフレームを取得するように構成される第１取得モジュールと、
上記第１ビデオセグメントの第１目標ビデオフレーム内の上記目標対象に対応する第１画像領域を取得し、上記第２ビデオセグメントの上記現在のビデオフレーム内の上記目標対象に対応する第２画像領域を取得するように構成される第２取得モジュールであって、上記第１目標ビデオフレームは、ビデオフレーム時刻に関して、上記第２ビデオセグメントの上記現在のビデオフレームに対応する第２取得モジュールと、
上記第１画像領域および上記第２画像領域に従って、上記第１目標ビデオフレームおよび上記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得するように構成されるステッチングモジュールと、を備えることを特徴とする、上記ビデオ処理装置。
（項目１２）
ビデオ処理装置であって、
プロセッサと、
プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
上記プロセッサは、
第１ビデオセグメント内の目標対象を認識し、
第２ビデオセグメントの現在のビデオフレームを取得し、
上記第１ビデオセグメントの第１目標ビデオフレーム内の上記目標対象に対応する第１画像領域を取得し、上記第２ビデオセグメントの上記現在のビデオフレーム内の上記目標対象に対応する第２画像領域を取得し、上記第１目標ビデオフレームは、上記第２ビデオセグメントの上記現在のビデオフレームのビデオフレーム時刻に対応し、
上記第１画像領域および上記第２画像領域に従って、上記第１目標ビデオフレームおよび上記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得するように構成されることを特徴とする、上記ビデオ処理装置。
（項目１３）
コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体であって、
上記プログラム命令がプロセッサによって実行される時に、上記項目のいずれか一項に記載の方法のステップを実現することを特徴とする、上記コンピュータ可読記憶媒体。
（摘要）
本開示は、端末に適用される、ビデオ処理方法、装置および記憶媒体に関する。前記ビデオ処理方法は、第１ビデオセグメント内の目標対象を認識することと、第２ビデオセグメントの現在のビデオフレームを取得することと、前記第１ビデオセグメントの第１目標ビデオフレーム内の前記目標対象に対応する第１画像領域を取得し、前記第２ビデオセグメントの前記現在のビデオフレーム内の前記目標対象に対応する第２画像領域を取得することであって、前記第１目標ビデオフレームは、ビデオフレーム時刻に関して、前記第２ビデオセグメントの前記現在のビデオフレームに対応することと、前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得することと、を含む。これにより、目標対象の分身特殊効果を含むステッチングされたビデオを素早く取得でき、ユーザが複雑なポスト編集を手動で実行する必要がなく、処理効率が高い。
【発明の効果】
【0017】
上記の技術的解決策によれば、第１ビデオセグメント内の目標対象を認識し、第２ビデオセグメントの現在のビデオフレームを取得し、その後、第１ビデオセグメントの第１目標ビデオフレーム内の目標対象に対応する第１画像領域を取得し、第２ビデオセグメントの現在のビデオフレーム内の目標対象に対応する第２画像領域を取得し、その後、第１画像領域および第２画像領域に従って、第１目標ビデオフレームおよび第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得する。ここで、第１目標ビデオフレームは、ビデオフレーム時刻に関して、第２ビデオセグメントの現在のビデオフレームに対応する。このように、既存の２つのセグメントのビデオに基づいて、当該２つのセグメントのビデオにおける時刻的に対応する２つのビデオフレームに対して、そのうちの１つのビデオフレームの目標対象を含む画面部分と、別のビデオフレームの目標対象を含む画面部分をステッチングして、処理された第１ビデオフレームを取得することにより、このような第１ビデオフレームに基づいて、後続プロセスで分身特殊効果を含むステッチングされたビデオを素早く取得でき、ユーザが複雑なポスト編集を手動で実行する必要がなく、処理効率が高い。
【0018】
上記の一般的な説明および後述する詳細な説明は、単なる例示および説明に過ぎず、本開示を限定するものではないことを理解されたい。
【図面の簡単な説明】
【0019】
ここでの図面は、本明細書に組み込まれてその一部を構成し、本開示と一致する実施例を示し、明細書とともに本開示の原理を説明するために使用される。
【図1】本開示の一実施形態によるビデオ処理方法のフローチャートである。
【図2】本開示によるビデオ処理方法において、目標対象を認識した例示的な結果を示す図である。
【図3】本開示によるビデオ処理方法における、第１画像領域および第２画像領域に従って、第１目標ビデオフレームおよび第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行するステップの例示的なフローチャートである。
【図4】本開示の別の実施形態によるビデオ処理方法のフローチャートである。
【図5A】本開示によるビデオ処理方法の実施プロセスにおける端末の例示的なインターフェイスの概略図である。
【図5B】本開示によるビデオ処理方法の実施プロセスにおける端末の例示的なインターフェイスの概略図である。
【図5C】本開示によるビデオ処理方法の実施プロセスにおける端末の例示的なインターフェイスの概略図である。
【図6】本開示の一実施形態によるビデオ処理装置のブロック図である。
【図7】一例示的な実施例によるビデオ処理装置のブロック図である。
【発明を実施するための形態】
【0020】
ここで、例示的な実施例について詳細に説明し、その例を図面に示す。別の指示がない限り、以下の説明が図面に関する場合、異なる図面の同じ数字は同じまたは類似の要素を表す。以下の例示的な実施例で説明される実施形態は、本開示と一致するすべての実施形態を表すものではない。むしろ、それらは、添付された特許請求の範囲に詳述されるように、本開示の特定の態様と一致する装置および方法の例である。
【0021】
図１は、本開示の一実施形態によるビデオ処理方法のフローチャートである。前記ビデオ処理方法は端末に適用されることができ、ここで、端末は、例えば、携帯電話、コンピュータ、メッセージ送受信装置、タブレットデバイス、携帯情報端末等であってもよい。図１に示されるように、前記ビデオ処理方法は以下のステップを含み得る。
【0022】
ステップ１１において、第１ビデオセグメント内の目標対象を認識する。
【0023】
ステップ１２において、第２ビデオセグメントの現在のビデオフレームを取得する。
【0024】
ステップ１３において、第１ビデオセグメントの第１目標ビデオフレーム内の目標対象に対応する第１画像領域を取得し、第２ビデオセグメントの現在のビデオフレーム内の目標対象に対応する第２画像領域を取得する。
【0025】
ステップ１４において、第１画像領域および第２画像領域に従って、第１目標ビデオフレームおよび第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得する。
【0026】
上記の技術案を採用することにより、既存の２つのセグメントのビデオに基づいて、当該２つのセグメントのビデオにおける時刻的に対応する２つのビデオフレームに対して、そのうちの１つのビデオフレームの目標対象を含む画面部分と、別のビデオフレームの目標対象を含む画面部分をステッチングして、処理された第１ビデオフレームを取得することができ、これにより、このような第１ビデオフレームに基づいて、後続プロセスで分身特殊効果を含むステッチングされたビデオを素早く取得でき、ユーザが複雑なポスト編集を手動で実行する必要がなく、処理効率が高い。
【0027】
以下、上記のいくつかのステップの具体的な実施形態についてそれぞれ詳細に説明する。
【0028】
ステップ１１において、第１ビデオセグメント内の目標対象を認識する。
【0029】
目標対象は、生き物（例えば、人間、動物、植物など）であってもよく、または無生物（例えば、テーブル、コンピュータなど）であってもよい。本開示の目的は、目標対象の分身特殊効果を実現することであり、つまり、処理されたビデオの同じシナリオに、異なる時刻に端末によって撮影された少なくとも２つの前記目標対象が含まれる。
【0030】
第１ビデオセグメントは、端末によって撮影された、目標対象を含む一セグメントのビデオである。実際の応用シナリオでは、目標対象について、端末によって目標対象を撮影して、第１ビデオセグメントを取得することができる。例えば、人物Ａの分身特殊効果を作成する場合、人物Ａが目標対象であり、ユーザは、端末を操作することにより、人物Ａを撮影でき（画面には人物Ａおよび人物Ａ以外の背景が含まれる）、撮影完了後に、速やかに第１ビデオセグメントを取得することができる。
【0031】
一可能なシナリオにおいて、第１ビデオセグメントを取得する方法は、
第１ビデオセグメントの撮影命令に応答して、第１ビデオセグメントの撮影停止命令を受信するまで、リアルタイムで取得されたビデオストリームの記録を開始することと、
記録されたビデオストリームを第１ビデオセグメントとして使用する方式で取得することと、を含み得る。
第１ビデオセグメントの撮影命令に応答して、第１ビデオセグメントの撮影停止命令を受信するまで、リアルタイムで取得されたビデオストリームの記録を開始することと、
記録されたビデオストリームを第１ビデオセグメントとして使用する方式で取得することと、を含み得る。
【0032】
ここで、第１ビデオセグメントの撮影命令は、第１ビデオセグメントの撮影の開始を指示し、第１ビデオセグメントの撮影停止命令は、今回の撮影の終了を指示し、ビデオストリームは、端末（例えば、端末のビューファインダ）によってリアルタイムでキャプチャされたビデオフレームである。したがって、第１ビデオセグメントは、端末が第１ビデオセグメントの撮影命令を受信してから、端末が第１ビデオセグメントの撮影停止命令を受信するまでの間に記録したビデオストリームである。
【0033】
第１ビデオセグメントの撮影命令および第１ビデオセグメントの撮影停止命令は、ユーザが端末を操作することにより生成できる。例えば、端末には、第１ビデオセグメントを撮影するための撮影開始ボタン（例えば、物理ボタンまたは仮想ボタン）が設けられ、ユーザが当該ボタンをクリックすると、それに応じて第１ビデオセグメントの撮影命令が生成でき、さらに、端末には、第１ビデオセグメントの撮影を停止することを指示する撮影停止ボタンが設けられ、ユーザが当該ボタンをクリックすると、それに応じて第１ビデオセグメントの撮影停止命令が生成でき、ここで、上記の撮影開始ボタンと撮影停止ボタンは、同じボタンであってもよく、別個のボタンであってもよい。別の例では、端末には、第１ビデオセグメントを撮影するための押圧領域（例えば、端末画面上の領域または端末本体上の領域）が設けられ、ユーザが前記領域を押圧すると、それに応じで第１ビデオセグメントの撮影命令が生成でき、ユーザが当該領域をもう押さない場合（例えば、ユーザの指が当該領域を押すことから、当該押す領域から離れるように変更される場合）、第１ビデオセグメントの撮影停止命令を生成し、つまり、長押しして撮影し、離して撮影を停止する。
【0034】
あるいは、第１ビデオセグメントの撮影停止命令は、第１ビデオセグメントの撮影命令に基づいて生成されることができる。例えば、撮影時間を事前設定し、第１ビデオセグメントの撮影命令を検出した時にタイミングを開始し、タイミング時間が前記撮影時間に達した場合、第１ビデオセグメントの撮影停止命令を生成することができる。当該シナリオでは、第１ビデオセグメントの時間は、事前設定された撮影時間と同じである。
【0035】
第１ビデオセグメント内の目標対象を認識することは、実際には、第１ビデオセグメントに含まれるビデオフレーム内の目標対象を識別することである。一可能な実施形態において、ステップ１１は、
第３ビデオフレームに従って、目標対象認識モデルによって、第３ビデオフレーム内の、目標対象に対応する画素点を決定することを含み得る。
第３ビデオフレームに従って、目標対象認識モデルによって、第３ビデオフレーム内の、目標対象に対応する画素点を決定することを含み得る。
【0036】
ここで、第３ビデオフレームは、第１ビデオセグメントにおける一フレームのビデオである。目標対象認識モデルは、画像内の各画素点が目標対象に属するか否かを認識することができる。一可能なシナリオにおいて、第３ビデオフレームを目標対象認識モデルに入力した後、図２に示されるような出力結果を取得することができ、ここで、白い画素点は目標対象を表し、黒い画素点は非目標対象を表す。
【0037】
一例として、目標対象認識モデルを取得する方法は、
トレーニングデータを取得することであって、各トレーニングデータには、１つの履歴画像と、前記履歴画像の各画素点が目標対象に属するか否かを示すマーク情報が含まれることと、
トレーニングデータに従って、画像分割モデルをトレーニングして、目標対象認識モデルを取得することと、を含み得る。
トレーニングデータを取得することであって、各トレーニングデータには、１つの履歴画像と、前記履歴画像の各画素点が目標対象に属するか否かを示すマーク情報が含まれることと、
トレーニングデータに従って、画像分割モデルをトレーニングして、目標対象認識モデルを取得することと、を含み得る。
【0038】
ここで、画像分割モデルは、ニューラルネットワークモデルであり、トレーニングごとに、一履歴画像を画像分割モデルの入力データとして使用し、前記履歴画像に対応するマーク情報をモデルの実際の出力として使用して、モデルのパラメータを調整し、複数のトレーニングの後、モデルのトレーニング停止条件を満たす場合、当該場合に取得したモデルを目標対象認識モデルとして使用する。
【0039】
決定された、目標対象に対応する画素点に従って、第３ビデオフレームにおける目標対象の位置を決定できる。また、これらの目標対象に対応する画素点に従って、第３ビデオフレーム内の目標対象に対応する画像領域を第３ビデオフレームからそのまま抽出することもできる。
【0040】
実際の応用シナリオでは、第１ビデオセグメント内の目標対象を認識するには、第１ビデオセグメントの各ビデオフレーム内の目標対象を認識する必要がある可能性があり、この場合、第１ビデオセグメントの各ビデオフレームをそれぞれ第３ビデオフレームとして扱って、上記のステップを実行すればよい。さらに、上述のように、第１ビデオセグメント内の目標対象を認識することにより、第１ビデオセグメントの各ビデオフレームにおける目標対象の位置を決定でき、第１ビデオセグメントの各ビデオフレーム内の目標対象に対応する画像領域をそのまま抽出できる。
【0041】
図１に戻って、ステップ１２において、第２ビデオセグメントの現在のビデオフレームを取得する。
【0042】
第２ビデオセグメントは、端末によって既に撮影された、目標対象を含む一セグメントのビデオである。本開示の目的は、第１ビデオセグメントトおよび第２ビデオセグメントの目標対象を同じ画面に対応してステッチングすることである。一可能な実施形態において、第２ビデオセグメントを取得する方法は、
ビデオ撮影命令に応答して、ビデオ撮影停止命令を受信するまで、リアルタイムで取得されたビデオストリームの記録を開始することと、
記録されたビデオストリームを第２ビデオセグメントとして使用することと、を含み得る。
ビデオ撮影命令に応答して、ビデオ撮影停止命令を受信するまで、リアルタイムで取得されたビデオストリームの記録を開始することと、
記録されたビデオストリームを第２ビデオセグメントとして使用することと、を含み得る。
【0043】
ここで、ビデオ撮影命令は、第２ビデオセグメントの撮影の開始を指示し、ビデオ撮影停止命令は、今回の第２ビデオセグメントの撮影の終了を指示する。第２ビデオセグメントは、端末がビデオ撮影命令を受信してから、ビデオ撮影停止命令を受信するまでの間に記録されたビデオストリームである。
【0044】
ビデオ撮影命令およびビデオ撮影停止命令は、ユーザが端末を操作することにより生成できる。例えば、端末には、第２ビデオセグメントを撮影するための撮影開始ボタン（例えば、物理ボタンまたは仮想ボタン）が設けられ、ユーザが当該ボタンをクリックすると、それに応じてビデオ撮影命令が生成でき、端末には、第２ビデオセグメントの撮影を停止することを指示する撮影停止ボタンが設けられ、ユーザが当該ボタンをクリックすると、それに応じてビデオ撮影停止命令が生成でき、ここで、上記の撮影開始ボタンと撮影停止ボタンは、同じボタンであってもよく、異なるボタンであってもよい。別の例では、端末には、第２ビデオセグメントを撮影するための押圧領域（例えば、端末画面上の領域または端末本体上の領域）が設けられ、ユーザが前記領域を押圧すると、それに応じでビデオ撮影命令が生成でき、ユーザが当該領域をもう押さない場合（例えば、ユーザの指が当該領域を押すことから、当該押す領域から離れるように変更される場合）、ビデオ撮影停止命令を生成し、つまり、長押しして撮影し、離して撮影を停止する。
【0045】
あるいは、ビデオ撮影停止命令は、ビデオ撮影命令に基づいて生成されることができる。例えば、撮影時間を事前設定し、ビデオ撮影命令を検出した時にタイミングを開始し、タイミング時間が前記撮影時間に達した場合、ビデオ撮影停止命令を生成することができる。このシナリオでは、第２ビデオセグメントの時間は、事前設定された撮影時間と同じである。
【0046】
ここで、第２ビデオセグメントの各ビデオフレームは、すべて第２ビデオセグメントの現在のビデオフレームとして使用できる。
【0047】
ステップ１３において、第１ビデオセグメントの第１目標ビデオフレーム内の目標対象に対応する第１画像領域を取得し、第２ビデオセグメントの現在のビデオフレーム内の目標対象に対応する第２画像領域を取得する。
【0048】
ここで、第１ビデオセグメントの第１目標ビデオフレームは、ビデオフレーム時刻に関して、第２ビデオセグメントの現在のビデオフレームに対応する。
【0049】
ここで言及する時刻の対応とは、タイムスタンプが一致することを意味するものではなく、時系列で第１ビデオセグメントと第２ビデオセグメントが対応関係を有することを意味し、当該対応関係は、第１ビデオセグメントのＮ番目のビデオフレームが第２ビデオセグメントのＭ番目のビデオフレームに対応することであり得、ここで、ＭとＮは、同じでも異なっていてもよいことに留意されたい。
【0050】
ステップ１１の前述の説明によると、第１ビデオセグメント内の目標対象を認識する（即ち、第１ビデオセグメントの各ビデオフレーム内の、目標対象に属する画素点を認識する）ことにより、第１ビデオセグメントの各ビデオフレームにおける目標対象の位置を決定でき、かつ第１ビデオセグメントの各ビデオフレーム内の目標対象に対応する画像領域をそのまま抽出できる。したがって、ステップ１１を介して、第１ビデオセグメントの第１目標ビデオフレームから目標対象を認識することができ、さらに、第１目標ビデオフレーム内の目標対象に対応する第１画像領域を取得することができる。
【0051】
前述の目標対象の認識方式を参照すると、同じ原理に基づいて、第２ビデオセグメントの現在のビデオフレーム内の目標対象を認識でき、さらに、認識結果に基づいて第２ビデオセグメントの現在のビデオフレーム内の目標対象の位置を決定でき、第２ビデオセグメントの現在のビデオフレーム内の目標対象に対応する画像領域をそのまま抽出でき、つまり、第２ビデオセグメントの現在のビデオフレーム内の目標対象に対応する第２画像領域を取得できる。
【0052】
ステップ１４において、第１画像領域および第２画像領域に従って、第１目標ビデオフレームおよび第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得する。
【0053】
つまり、取得された第１ビデオフレームには、第２ビデオセグメントの現在のビデオフレーム内の目標対象に対応する画像内容（即ち、第２画像領域）だけでなく、第１ビデオセグメントの第１目標ビデオフレーム内の目標対象に対応する画像内容（即ち、第１画像領域）も含まれ、これは、画面ステッチングによって生成された、分身特殊効果を含む新しい画像を取得することに相当する。
【0054】
一可能な実施形態において、図３に示されるように、ステップ１４は以下のステップを含み得る。
【0055】
ステップ３１において、第１画像領域および第２画像領域に従って、画像ステッチングアルゴリズムを使用して画像ステッチング境界を決定する。
【0056】
ここで、画像ステッチングアルゴリズムは、現在一般的に使用されている画像ステッチングアルゴリズム（または、画像融合アルゴリズムなど）を直接使用できる。２つの（または複数の）画像の場合、それぞれの画像で保持する必要がある部分を明確にした後、前記画像ステッチングアルゴリズムによって、他の画像とスティッチングするためのスティッチング境界として適切な各画像の画素点を決定でき、このような複数の画素点によりスティッチング境界を形成できるため、保持する必要がある第１画像領域および第２画像領域を明確にした後、第１ビデオセグメントの第１目標ビデオフレーム、第１画像領域、第２ビデオセグメントの現在のビデオフレーム、および第２画像領域に従って、画像ステッチングアルゴリズムよって画像ステッチング境界を直接決定することができる。
【0057】
ステップ３２において、画像ステッチング境界に従って、第１目標ビデオフレームから第１画像領域を含む第１局部画像を取得し、第２ビデオセグメントの現在のビデオフレームから第２画像領域を含む第２局部画像を取得する。
【0058】
例えば、画像ステッチング境界を限界として、第１目標ビデオフレームから、画像ステッチング境界の第１画像領域と同じ側にあるすべての画素点を取得して、第１局部画像として使用することができる。別の例では、第１局部画像には、第１画像領域と画像ステッチング境界の同じ一側にある、第１目標ビデオフレームのすべての画素点だけでなく、画像ステッチング境界にある一部またはすべての画素点も含まれる。
【0059】
例えば、画像ステッチング境界を限界として、第２ビデオセグメントの現在のビデオフレームから、第２画像領域と画像ステッチング境界の同じ一側にあるすべての画素点を取得して、第２局部画像として使用することができる。別の例では、第２局部画像には、第１画像領域と画像ステッチング境界の同じ一側にある、第２ビデオセグメントの現在のビデオフレームのすべての画素点だけでなく、画像ステッチング境界にある一部またはすべての画素点も含まれる。
【0060】
ここで、第１局部画像および第２局部画像は、元のビデオフレームと同じサイズの画像をちょうど組み合わされる必要がある。
【0061】
ステップ３３において、第１局部画像および第２局部画像を第１ビデオフレームにステッチングする。
【0062】
ステップ３２で取得された第１局部画像および第２局部画像に基づいて、直接ステッチングして新しい画像を取得して、処理された第１ビデオフレームとして使用することができる。
【0063】
実際の応用シナリオにおいて、ユーザは、まず端末で最初のビデオを撮影して第１ビデオセグメントを取得でき、最初のビデオの撮影を完了した後、ユーザは引き続き端末で２回目のビデオを撮影して第２ビデオセグメントを取得できる。その後、第１ビデオセグメントおよび第２ビデオセグメントのうちの互いに対応する２つのビデオフレームに基づいて、上記のステップ１１～ステップ１４を実行すると、処理された第１ビデオフレームを取得でき、前記第１ビデオフレームには、目標対象の分身特殊効果が含まれる。
【0064】
上記の技術的解決策によれば、第１ビデオセグメント内の目標対象を認識し、第２ビデオセグメントの現在のビデオフレームを取得し、その後、第１ビデオセグメントの第１目標ビデオフレーム内の目標対象に対応する第１画像領域を取得し、第２ビデオセグメントの現在のビデオフレーム内の目標対象に対応する第２画像領域を取得し、その後、第１画像領域および第２画像領域に従って、第１目標ビデオフレームおよび第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得する。ここで、第１目標ビデオフレームは、ビデオフレーム時刻に関して、第２ビデオセグメントの現在のビデオフレームに対応する。このように、既存の２つのセグメントのビデオに基づいて、当該２つのセグメントのビデオにおける時刻的に対応する２つのビデオフレームに対して、そのうちの１つのビデオフレームの目標対象を含む画面部分と、別のビデオフレームの目標対象を含む画面部分をステッチングして、処理された第１ビデオフレームを取得することにより、このような第１ビデオフレームに基づいて、後続プロセスで分身特殊効果を含むステッチングされたビデオを素早く取得でき、ユーザが複雑なポスト編集を手動で実行する必要がなく、処理効率が高い。
【0065】
第１ビデオセグメントと第２ビデオセグメントの撮影角度、撮影位置、および撮影テクニックが必ずしも同じではないため、第１ビデオセグメントのビデオフレームと第２ビデオセグメントのビデオフレームの間の画面上の位置変化を引き起こす。ここで、関連する位置変化は、並進、回転、伸張、拡大、縮小、および歪みのうちの少なくとも１つを含み得るが、これらに限定されない。したがって、ステッチング処理後に取得された第１ビデオフレームの画面内容をより調和させ、同じ画面内の目標対象間の過度の位置の違い（例えば、撮影中は目標対象が地面にあるが、第１ビデオセグメントと第２ビデオセグメントを撮影するときに端末が垂直方向に移動するため、ステッチングされた画面では、目標対象の１つは高台にあり、もう１つは低地にあるという状況）を回避するために、第１目標ビデオフレームおよび第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する前に、画面整列処理を実行することができる。
【0066】
例示的に、ステップ１４において、第１画像領域および第２画像領域に従って、第１目標ビデオフレームおよび第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する前に、本開示によるビデオ処理方法は、
第１ビデオセグメント内の目標フレームを参照フレームとして使用することと、
第１目標ビデオフレームおよび参照フレームに対して画面整列処理を実行すること、および／または
第２ビデオセグメントの現在のビデオフレームおよび参照フレームに対してい画面整列処理を実行することと、をさらに含み得る。
第１ビデオセグメント内の目標フレームを参照フレームとして使用することと、
第１目標ビデオフレームおよび参照フレームに対して画面整列処理を実行すること、および／または
第２ビデオセグメントの現在のビデオフレームおよび参照フレームに対してい画面整列処理を実行することと、をさらに含み得る。
【0067】
ここで、目標フレームは、第１ビデオセグメントの任意のフレームであり得る。例えば、目標フレームは、第１ビデオセグメントの最初のビデオフレームであり得る。
【0068】
第１目標ビデオフレームおよび参照フレームに対して画面整列処理を実行し、および／または、第２ビデオセグメントの現在のビデオフレームおよび参照フレームに対して画面整列処理を実行する。
【0069】
ここで、画面整列処理は、
参照フレームおよび指定されたビデオフレームの背景特徴点から、同じ背景特徴を持つ目標背景特徴点を取得することと、
目標背景特徴点に従って、指定されたビデオフレームを参照フレームに整列することと、を含み得る。
参照フレームおよび指定されたビデオフレームの背景特徴点から、同じ背景特徴を持つ目標背景特徴点を取得することと、
目標背景特徴点に従って、指定されたビデオフレームを参照フレームに整列することと、を含み得る。
【0070】
ここで、指定されたビデオフレームは、第１目標ビデオフレームおよび第２ビデオセグメントの現在のビデオフレームのいずれかである。
【0071】
本開示による撮影シナリオでは、第１ビデオセグメントおよび第２ビデオセグメントは、一般に同じ環境で撮影され、第１ビデオセグメントおよび第２ビデオセグメントにおける目標対象の位置および状態はいつでも変化できるが、画面中の目標対象以外の背景がほとんど静止状態にあるため、ビデオフレームの背景を参照として使用して画面整列を実行することができる。
【0072】
ここで、特徴抽出アルゴリズムにより、参照フレームの背景特徴点を抽出でき、同時に、指定されたビデオフレームの背景特徴点も抽出でき、この２つのフレームのそれぞれの背景特徴点に基づいて、同じ背景特徴を有する特徴点を目標背景特徴点として決定することができる。特徴抽出アルゴリズムを用いた特徴点の抽出方式は、先行技術に属するものであり、当分野の慣用の技術手段であるため、本開示ではこれ以上の詳細な説明を省略することに留意されたい。
【0073】
参照フレーム内の目標背景特徴点の位置、および指定されたビデオフレームにおける目標背景特徴点位置に従って、画面内の目標特徴点の位置変化を表す変換行列を取得できる。例えば、一般的に使用される最小二乗法を使用して前記変換行列を取得できる。別の例では、前記変換行列は、３×３行列であり得る。
【0074】
上述したように、指定されたビデオフレームは、第１目標ビデオフレームまたは第２ビデオセグメントの現在のビデオフレームである。第１目標ビデオフレームと参照フレームとの間の変換行列に基づいて、第１ビデオフレームを参照フレームに整列でき、および／または、第２ビデオセグメントの現在のビデオフレームと参照フレームとの間の変換行列に基づいて、第２ビデオセグメントの現在のビデオを参照フレームに整列できる。このようにして、第１目標ビデオフレームおよび第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する時に、画面をできるだけ互いに整列するように保証でき、これにより、第１ビデオフレームの各部分の画面構造に一貫性を持たせ、第１ビデオフレームの画面品質を向上させるのに役立ち、視覚的により調和させる。
【0075】
例示的に、図１に示される各ステップに加えて、本開示で提供される方法は、
第１ビデオフレームに基づいて、目標ビデオセグメントを生成することと、
目標ビデオセグメントをビデオプレビューインターフェイスに表示することと、をさらに含み得る。
第１ビデオフレームに基づいて、目標ビデオセグメントを生成することと、
目標ビデオセグメントをビデオプレビューインターフェイスに表示することと、をさらに含み得る。
【0076】
一可能な実施形態において、第１ビデオフレームを含む複数のビデオフレームを目標ビデオセグメントとして合成し、前記目標ビデオセグメントをビデオプレビューインターフェイスに表示することができる。目標ビデオセグメントの他のビデオフレームは、第１ビデオセグメントまたは第２ビデオセグメントから直接取得でき、または、目標ビデオセグメントの他のビデオフレームは、第１ビデオフレームと同じ方式に基づいて生成された分身特殊効果を含むビデオフレームであり得る。
【0077】
例えば、時間の経過に伴い（つまり、ビデオセグメントの最初のフレームからビデオセグメントの最後のフレームまで）、第２ビデオセグメントの現在のビデオフレームは、常に変化し、これに対応して、第２ビデオセグメントの現在のビデオフレームと時刻的に対応する第１目標ビデオフレームも常に変化するため、第２ビデオセグメントの現在のビデオフレームを取得するたびに、上記のステップ１１～ステップ１４を実行して、複数の処理された第１ビデオフレームを対応して取得でき、これらの第１ビデオフレーム、および第１ビデオセグメント内のこれらの第１ビデオフレームの時系列（即ち、第２ビデオセグメントにおける対応する時系列であり、上記の説明を参照すると、第１ビデオフレームは、第１ビデオセグメントおよび第２ビデオセグメン内の時刻的対応するビデオフレームに基づいて生成されたものである）に基づいて、目標ビデオセグメントを生成することができる。
【0078】
上記した方法により、処理された第１ビデオフレームを取得した後、当該第１ビデオフレームに基づいて、目標ビデオセグメントを直接生成することができ、即ち、分身特殊効果を含むビデオセグメントを生成することができる。
【0079】
例示的に、ステップ１４の前に、本開示によるビデオ処理方法は、
第１ビデオセグメントの時間長が第２ビデオセグメントの時間長と異なる場合、第１ビデオセグメントおよび第２ビデオセグメントに対して時間長整列処理を実行することをさらに含む。
第１ビデオセグメントの時間長が第２ビデオセグメントの時間長と異なる場合、第１ビデオセグメントおよび第２ビデオセグメントに対して時間長整列処理を実行することをさらに含む。
【0080】
第１ビデオセグメントおよび第２ビデオセグメントは別々に撮影されたものであるため、この２つのビデオの時間が異なる可能性がある。この場合、第１目標ビデオフレームおよび第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する前に、第１ビデオセグメントおよび第２ビデオセグメントに対して時間長整列処理を実行することができる。
【0081】
例えば、時間長整列処理は、
第１ビデオセグメントおよび第２ビデオセグメントのうちの時間長がより短いビデオセグメントを参照として、時間長がより長いビデオセグメントのビデオフレームの一部を削除して、第１ビデオセグメントの時間長と第２ビデオセグメントの時間長が同じになるようにすること、
第１ビデオセグメントおよび第２ビデオセグメントのうちの時間長がより短いビデオセグメントの既存のビデオフレームに従って、時間長がより短いビデオセグメントのビデオフレームを増加して、第１ビデオセグメントの時間長と第２ビデオセグメントの時間長が同じになるようにすることのうちのいずれかの方法を含む。
第１ビデオセグメントおよび第２ビデオセグメントのうちの時間長がより短いビデオセグメントを参照として、時間長がより長いビデオセグメントのビデオフレームの一部を削除して、第１ビデオセグメントの時間長と第２ビデオセグメントの時間長が同じになるようにすること、
第１ビデオセグメントおよび第２ビデオセグメントのうちの時間長がより短いビデオセグメントの既存のビデオフレームに従って、時間長がより短いビデオセグメントのビデオフレームを増加して、第１ビデオセグメントの時間長と第２ビデオセグメントの時間長が同じになるようにすることのうちのいずれかの方法を含む。
【0082】
第１の方法において、時間長整列処理は、２つのビデオセグメントのうちの時間長がより短いビデオセグメントを参照として、時間長がより長いビデオセグメントのビデオフレームの一部を削除して、第１ビデオセグメントの時間長と第２ビデオセグメントの時間長が同じになるようにすることができる。
【0083】
例えば、第１ビデオセグメントに３００フレームのビデオフレームが含まれ、第２ビデオセグメントに５００フレームのビデオフレームが含まれている場合、第２ビデオセグメントの３０１番目から５００番目のビデオフレームを第２ビデオセグメントから削除して、第２ビデオセグメントの最初の３００フレームを上記の処理プロセスで使用される第２ビデオセグメントとして使用する。
【0084】
第２の方法において、整列処理は、２つのビデオセグメントのうちの時間長がより長いビデオセグメントを参照として、時間長がより短いビデオセグメントのビデオフレームを拡張することができる。つまり、第１ビデオセグメントおよび第２ビデオセグメントのうちの時間長がより短いビデオセグメントの既存のビデオフレームに従って、時間長がより短いビデオセグメントのビデオフレームを増加して、第１ビデオセグメントの時間長と第２ビデオセグメントの時間長が同じになるようにする。
【0085】
ここで、時間長がより短いビデオセグメントの既存のビデオフレームに基づいて、ループまたは往復方式によりビデオセグメントの拡張を実現することができる。
【0086】
例えば、第１ビデオセグメントに３００フレームのビデオフレームが含まれ、第２ビデオセグメントに２００フレームのビデオフレームが含まれ、第２ビデオセグメントのビデオフレーム番号が順次にｕ１～ｕ２００である場合、
ループ方式でビデオセグメントを拡張する場合、第２ビデオセグメントをｕ１、ｕ２、ｕ３、…、ｕ１９９、ｕ２００、ｕ１、ｕ２、ｕ３、…、ｕ１００に拡張でき、
往復方式でビデオセグメントを拡張する場合、第２ビデオセグメントをｕ１、ｕ２、ｕ３、…、ｕ１９９、ｕ２００、ｕ１９９、ｕ１９８、…、ｕ１００に拡張できる。
ループ方式でビデオセグメントを拡張する場合、第２ビデオセグメントをｕ１、ｕ２、ｕ３、…、ｕ１９９、ｕ２００、ｕ１、ｕ２、ｕ３、…、ｕ１００に拡張でき、
往復方式でビデオセグメントを拡張する場合、第２ビデオセグメントをｕ１、ｕ２、ｕ３、…、ｕ１９９、ｕ２００、ｕ１９９、ｕ１９８、…、ｕ１００に拡張できる。
【0087】
例示的に、本開示の任意の実施例によるビデオ処理方法によれば、前記ビデオ処理方法は、
第１ビデオセグメントを収集するときの画像収集装置の撮影パラメータを取得することと、
撮影パラメータに応じで画像収集を実行するように、画像収集装置を制御して、第２ビデオセグメントを取得することと、をさらに含み得る。
第１ビデオセグメントを収集するときの画像収集装置の撮影パラメータを取得することと、
撮影パラメータに応じで画像収集を実行するように、画像収集装置を制御して、第２ビデオセグメントを取得することと、をさらに含み得る。
【0088】
画像収集装置で第２ビデオセグメントを撮影する場合、第１ビデオセグメントを撮影すときの前記画像収集装置の撮影パラメータを直接使用することができる。例えば、画像収集装置による第１ビデオセグメントの撮影を開始すると、画像収集装置の的撮影パラメータをロックできるため、第２ビデオセグメントを撮影するときに、画像収集装置は、自動的に第１ビデオセグメントと一致する撮影パラメータに基づいて撮影することができる。
【0089】
ここで、画像収集装置の撮影パラメータは、ＩＳＯ、露出時間、焦点距離、およびホワイトバランスパラメータのうちの少なくとも１つを含み得るが、これらに限定されない。
【0090】
上記した方法により、第２ビデオセグメントを撮影するときに、ユーザの手動調整を必要とせずに、第１ビデオセグメントに対応する撮影パラメータを自動的に使用できるため、撮影パラメータの設定が面倒であるという問題を解決でき、加えて、同じ撮影パラメータを使用して第１ビデオセグメントおよび第２ビデオセグメントを撮影すると、２つのビデオの画面が似ているように見えるため、後続のビデオ処理に役立つ。
【0091】
例示的に、本開示は、第１ビデオセグメントの撮影されたコンテンツに基づいて、ステッチングプレビュー機能をリアルタイムで提供することができる。したがって、図４に示されるように、本開示によるビデオ処理方法は、次のステップをさらに含み得る。
【0092】
ステップ４１において、画像収集装置によって収集されたビデオストリームをリアルタイムで取得する。
【0093】
ステップ４２において、ビデオストリームの現在のビデオフレームについて、第２目標ビデオフレーム内の目標対象に対応する第３画像領域を取得する。
【0094】
ステップ４３において、第３画像領域をビデオストリームの現在のビデオフレームに追加して、処理された第２ビデオフレームを取得する。
【0095】
ステップ４４において、第２ビデオフレームをビデオプレビューインターフェイスに表示する。
【0096】
ビデオストリームは、リアルタイムで伝送されるビデオフレームと見なすことができる。端末を例にとると、端末は、画像収集装置のビューファインダを介してリアルタイムで一連のビデオフレームを取得でき、この一連のビデオフレームがビデオストリームを構成し、現在取得可能なビデオフレームは、ビデオストリームの現在のビデオフレームである。ステップ４１で説明したように、端末は、画像収集装置によって収集されたビデオストリームをリアルタイムで取得することができる。
【0097】
ステップ４２おいて、ビデオストリームの現在のビデオフレームについて、第２目標ビデオフレーム内の目標対象に対応する第３画像領域を取得する。
【0098】
ここで、第２目標ビデオフレームは、第１ビデオセグメント内の、ビデオストリームの現在のビデオフレーム時刻に対応するビデオフレームである。ここで言及する時刻の対応とは、タイムスタンプが一致することを意味するものではなく、時系列で第１ビデオセグメントビデオストリームが対応関係を有することを意味し、当該対応関係は、第１ビデオセグメントのＫ番目のビデオフレームがビデオストリームのＩ番目のビデオフレームに対応することであり得、ここで、ＫとＩは、同じでもよいことに留意されたい。
【0099】
ステップ１１に関する前述の説明によると、目標対象を認識した後（例えば、目標対象認識モデルによって認識する）、ビデオフレームにおける目標対象の位置を決定でき、ビデオフレーム内の目標対象に対応する画像領域をそのまま抽出するできる。したがって、ビデオストリームの現在のビデオフレームに従って、目標対象を認識することにより、在第２目標ビデオフレーム内の目標対象に対応する第３画像領域を取得することができる。ここで、目標対象の認識については既に説明したので、ここでは繰り返さない。第３画像領域の取得も、前述の第１画像領域の取得原理と同じであるので、ここでは詳細に説明しない。
【0100】
ステップ４３において、第３画像領域をビデオストリームの現在のビデオフレームに追加して、処理された第２ビデオフレームを取得する。
【0101】
一可能な実施形態において、ステップ４３は、
第２目標ビデオフレームにおける第３画像領域の位置に従って、ビデオストリームの現在のビデオフレームにおける第３画像領域の追加位置を決定することと、
第３画像領域をビデオストリームの現在のビデオフレームにおける前記第３画像領域の追加位置に追加することと、を含み得る。
第２目標ビデオフレームにおける第３画像領域の位置に従って、ビデオストリームの現在のビデオフレームにおける第３画像領域の追加位置を決定することと、
第３画像領域をビデオストリームの現在のビデオフレームにおける前記第３画像領域の追加位置に追加することと、を含み得る。
【0102】
一可能な実施例において、第２目標ビデオフレームにおける第３画像領域の位置に従って、ビデオストリームの現在のビデオフレームにおける第３画像領域の追加位置を決定することは、
第２目標ビデオフレームにおける第３画像領域の位置と一致する、ビデオストリームの現在のビデオフレームにおける位置を、ビデオストリームの現在のビデオフレームにおける第３画像領域の追加位置として使用することを含み得る。
第２目標ビデオフレームにおける第３画像領域の位置と一致する、ビデオストリームの現在のビデオフレームにおける位置を、ビデオストリームの現在のビデオフレームにおける第３画像領域の追加位置として使用することを含み得る。
【0103】
つまり、第２目標ビデオフレームにおける第３画像領域の位置が位置座標セットＤ１に対応する場合、位置座標セットＤ１をビデオストリームの現在のビデオフレームにおける第３画像領域の追加位置として使用できる。
【0104】
別の可能な実施例において、第２目標ビデオフレームにおける第３画像領域の位置に従って、ビデオストリームの現在のビデオフレームにおける第３画像領域の追加位置を決定することは、
第２目標ビデオフレームの背景特徴点から、第３画像領域の周囲のプリセット範囲内の第１背景特徴点を取得することと、
ビデオストリームの現在のビデオフレームの背景特徴点から、第１背景特徴点と同じ背景特徴を持つ第２背景特徴点を決定することと、
ビデオストリームの現在のビデオフレームにおける第２背景特徴点の位置に従って、追加位置を決定することと、を含み得る。
第２目標ビデオフレームの背景特徴点から、第３画像領域の周囲のプリセット範囲内の第１背景特徴点を取得することと、
ビデオストリームの現在のビデオフレームの背景特徴点から、第１背景特徴点と同じ背景特徴を持つ第２背景特徴点を決定することと、
ビデオストリームの現在のビデオフレームにおける第２背景特徴点の位置に従って、追加位置を決定することと、を含み得る。
【0105】
上記した特徴抽出アルゴリズムにより、第２目標ビデオフレームの背景特徴点を抽出することができる。第２目標ビデオフレームにおける第２目標ビデオフレームの背景特徴点の位置に従って、第２目標ビデオフレームにおける第３画像領域の位置を組み合わせて、第３画像領域の周囲のプリセット範囲内の第１背景特徴点を決定することができる。
【0106】
これに対応して、上記した特徴抽出アルゴリズムにより、ビデオストリームの現在のビデオフレームの背景特徴点を抽出でき、これにより、ビデオストリームの現在のビデオフレームの背景特徴点から、第１背景特徴点と同じ背景特徴を持つ第２背景特徴点を決定することができる。
【0107】
このようにして、ビデオストリームの現在のビデオフレームにおける第２背景特徴点の位置に従って、追加位置を決定し、ここで、追加位置は、第２背景特徴点で包囲された位置である。
【0108】
なお、第１ビデオセグメントとビデオストリームの撮影角度、撮影テクニックが必ずしも同じではないため、第１ビデオセグメントのビデオフレームとビデオストリームのビデオフレームの間の画面上の位置変化を引き起こす。ここで、関連する位置変化は、並進、回転、伸張、拡大、縮小、および歪みのうちの少なくとも１つを含み得るが、これらに限定されない。したがって、プレビュー画面内容をより調和させ、プレビュー画面の同じ画面内の目標対象間の過度の位置の違い（例えば、撮影中は目標対象が地面にあるが、第１ビデオセグメントとビデオストリームを撮影するときに端末が垂直方向に移動するため、ステッチングされた画面では、目標対象の１つは高台にあり、もう１つは低地にあるという状況）を回避するために、第３画像領域をビデオストリームの現在のビデオフレームに追加する前に、画面整列処理を実行することができる。
【0109】
例示的に、第３画像領域をビデオストリームの前記現在のビデオフレームに追加するステップの前に、本開示によるビデオ処理方法は、
第２目標ビデオフレームおよびビデオストリームの現在のビデオフレームに対して画面整列処理を実行することをさらに含む。
第２目標ビデオフレームおよびビデオストリームの現在のビデオフレームに対して画面整列処理を実行することをさらに含む。
【0110】
例えば、画面整列処理は、
第２目標ビデオフレームおよびビデオストリームの現在のビデオフレームの背景特徴点から、同じ背景特徴を持つ第３背景特徴点を取得することと、
第３背景特徴点に従って、第２目標ビデオフレームをビデオストリームの現在のビデオフレームに整列することと、を含み得る。
第２目標ビデオフレームおよびビデオストリームの現在のビデオフレームの背景特徴点から、同じ背景特徴を持つ第３背景特徴点を取得することと、
第３背景特徴点に従って、第２目標ビデオフレームをビデオストリームの現在のビデオフレームに整列することと、を含み得る。
【0111】
本開示による撮影シナリオでは、第１ビデオセグメントおよびビデオストリームは、一般に同じ環境で撮影され、第１ビデオセグメントおよびビデオストリームにおける目標対象の位置および状態はいつでも変化できるが、画面中の目標対象以外の背景がほとんど静止状態にあるため、ビデオフレームの背景を参照として使用して画面整列を実行することができる。
【0112】
ここで、特徴抽出アルゴリズムにより、第２目標ビデオフレームの背景特徴点を抽出でき、同時に、ビデオストリームの現在のビデオフレームの背景特徴点も抽出でき、この２つのフレームのそれぞれの背景特徴点に基づいて、同じ背景特徴を有する特徴点を第３背景特徴点として決定することができる。
【0113】
第２目標ビデオフレームにおける第３背景特徴点の位置、およびビデオストリームの現在のビデオフレームにおける目標背景特徴点の位置に従って、画面内の目標特徴点の位置変化を表す変換行列を取得できる。これにより、この変換行列に基づいて、第２目標ビデオフレームをビデオストリームの現在のビデオフレームに整列することができる。
【0114】
このようにして、第３画像領域をビデオストリームの現在のビデオフレームに追加するときに、画面をできるだけ互いに整列するように保証でき、リアルタイムプレビュー画面の各部分の画面構造に一貫性を持たせ、第２ビデオフレームの画面品質を向上させるのに役立ち、視覚的により調和させる。
【0115】
ステップ４４において、第２ビデオフレームをビデオプレビューインターフェイスに表示する。
【0116】
第２ビデオフレームを取得した後、前記第２ビデオフレームをビデオプレビューインターフェイスに表示する。
【0117】
ビデオストリームの現在のビデオフレームをリアルタイムでプレビューする場合、ビデオストリーム内に目標対象または目標対象の位置があるかいないかに関係なく、ユーザにプレビューを提供するために、第３画像領域（第２目標ビデオフレーム内の目標対象に対応する領域）をビデオストリームの現在のビデオフレームにカバーするだけでよいので、ユーザは、リアルタイムでステッチング効果をプレビューし、撮影されたコンテンツの画面効果確認し、第２ビデオセグメントの撮影開始タイミングを決定することができる。
【0118】
上記の技術的解決策により、リアルタイムプレビュー機能に基づいて、第１ビデオセグメントの目標対象が現在の画面に追加された効果をリアルタイムで確認でき、これにより、ユーザが撮影されたコンテンツの表示効果を確認するのに役立ち、第２ビデオセグメントをより正確に記録でき、第２ビデオセグメントにおける目標対象がユーザの希望する位置にあるようにすることができる。
【0119】
【0120】
図５Ａは、第１ビデオセグメントの撮影プロセスにおける端末インターフェイスの表示状況を示す。ここで、Ｐ１は、第１ビデオセグメントの目標対象である。５Ａに示されるように、第１ビデオセグメントを撮影するとき、目標対象は画面の左側にある。画面の右側の円形領域は、撮影ボタンであり、図５Ａは、前記撮影ボタンが押された状態を示し、前記撮影ボタンを押すと、円形領域の中央にリアルタイムで撮影時間が表示される。図５Ａによれば、この時点で第１ビデオセグメントが１．６秒間撮影されたことがわかる。
【0121】
図５Ｂは、第１ビデオセグメントの撮影完了後のリアルタイムプレビュープロセスにおける端末インターフェイスの表示状況を示す。画面の右側の円形領域は、撮影ボタンであり、図５Ｂは、前記撮影ボタンが押されていない状態を示し、図５Ｂによれば、この時点では第２ビデオセグメントの撮影がまだ開始されておらず、リアルタイムプレビュー状態であることがわかる。Ｐ２は、端末がリアルタイムで取得されたビデオストリームの目標対象であり、目標対象の実際の位置を反映でき、図５Ｂによれば、最初のビデオが撮影された後、目標対象が画面の左側から画面の右側の位置に移動されたことがわかる。ステップ４１～ステップ４４を参照すると、Ｐ１は、第１ビデオセグメントの第２目標ビデオフレーム内の目標対象に対応する第３画像領域であり、Ｐ１がリアルタイムでビデオストリームの現在のビデオフレームに追加されて、処理された第２ビデオフレームが取得され、前記第２ビデオフレームがビデオプレビューインターフェイスに表示されることがわかる。このようにして、ハンドヘルド端末のユーザは、第１ビデオセグメントの目標対象が現在の画面に追加された場合にどのようなステッチング画面が形成されるかをリアルタイムでプレビューできるため、第２ビデオセグメントの撮影をより適切に制御でき、第２ビデオセグメントを撮影する適切なタイミングを選択でき、ステッチングされたビデオ画面内の目標対象が重なったり、目標対象間の距離が遠すぎたりすることを回避する。
【0122】
図５Ｃは、第２ビデオセグメントの撮影プロセスにおける端末インターフェイスの表示状況を示す。ここで、Ｐ１は、第１ビデオセグメントの目標対象である。図５Ｃに示されるように、第２ビデオセグメントを撮影するとき、目標対象は画面の右側にある。画面の右側の円形領域は、撮影ボタンであり、図５Ｃは、撮影ボタンが押された状態を示し、前記撮影ボタンを押すと、円形領域の中央にリアルタイムで撮影時間が表示される。図５Ｃによれば、第２ビデオセグメントが０．６秒間撮影されたことがわかる。Ｐ１は、第１ビデオセグメントの目標対象であり、Ｐ２は、端末によってリアルタイムで取得されたビデオストリームの目標対象である。図５ＣのＰ１に関する説明と表示原理は、図５Ｂと同様であり、つまり、第２ビデオセグメントの撮影プロセスにおいて、端末は、引き続きリアルタイムでビデオストリームを取得するため、引き続きリアルタイムでプレビューすることができ、図５Ｃと図５Ｂの違いは、リアルタイムで取得されたビデオストリームが記録されるか否かのみであり、ここで、図５Ｃでリアルタイムに取得されたビデオストリームは、第２ビデオセグメントとして記録され、図５Ｂでリアルタイムに取得されたビデオストリームは記録されない。Ｐ１は、第１ビデオセグメントの第２目標ビデオフレーム内の目標対象に対応する第３画像領域であり、Ｐ１がリアルタイムでビデオストリームの現在のビデオフレームに追加されて、処理された第２ビデオフレームが取得され、前記第２ビデオフレームがビデオプレビューインターフェイスに表示されることがわかる。このようにして、ハンドヘルド端末のユーザは、第２ビデオセグメントの撮影中に、第１ビデオセグメントの目標対象が現在の画面に追加された場合にどのようなステッチング画面が形成されるかをリアルタイムでプレビューできるため、第２ビデオセグメントの撮影をより適切に制御でき、ステッチングされたビデオ画面内の目標対象が重なったり、目標対象間の距離が遠すぎたりすることを回避する。
【0123】
また、第２ビデオフレーム（リアルタイムプレビュー）または目標ビデオセグメント（画面ステッチングによって生成されたビデオセグメント）をビデオプレビューインターフェイスに表示する場合、操作をキャンセルするための入り口をユーザに提供することもできる。つまり、第２ビデオフレームがビデオプレビューインターフェイスに表示されている場合、ユーザは、操作をキャンセルすることにより、第１ビデオセグメントを再撮影することができ、目標ビデオセグメントがビデオプレビューインターフェイスに表示されている場合、ユーザは、操作をキャンセルすることにより、第２ビデオセグメントを再撮影することができる。
【0124】
図６は、本開示の一実施形態によるビデオ処理装置のブロック図であり、前記ビデオ処理装置は、端末に適用されることができる。図６に示されるように、前記装置６０は、
第１ビデオセグメント内の目標対象を認識するように構成される認識モジュール６１と、
第２ビデオセグメントの現在のビデオフレームを取得するように構成される第１取得モジュール６２と、
前記第１ビデオセグメントの第１目標ビデオフレーム内の前記目標対象に対応する第１画像領域を取得し、前記第２ビデオセグメントの前記現在のビデオフレーム内の前記目標対象に対応する第２画像領域を取得するように構成される第２取得モジュール６３であって、前記第１目標ビデオフレームは、ビデオフレーム時刻に関して、前記第２ビデオセグメントの前記現在のビデオフレームに対応する第２取得モジュール６３と、
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得するように構成されるステッチングモジュール６４と、を備えることができる。
第１ビデオセグメント内の目標対象を認識するように構成される認識モジュール６１と、
第２ビデオセグメントの現在のビデオフレームを取得するように構成される第１取得モジュール６２と、
前記第１ビデオセグメントの第１目標ビデオフレーム内の前記目標対象に対応する第１画像領域を取得し、前記第２ビデオセグメントの前記現在のビデオフレーム内の前記目標対象に対応する第２画像領域を取得するように構成される第２取得モジュール６３であって、前記第１目標ビデオフレームは、ビデオフレーム時刻に関して、前記第２ビデオセグメントの前記現在のビデオフレームに対応する第２取得モジュール６３と、
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行して、処理された第１ビデオフレームを取得するように構成されるステッチングモジュール６４と、を備えることができる。
【0125】
例示的に、前記ステッチングモジュール６４は、
前記第１画像領域および前記第２画像領域に従って、画像ステッチングアルゴリズムを使用して画像ステッチング境界を決定するように構成される第１決定サブモジュールと、
前記画像ステッチング境界に従って、前記第１目標ビデオフレームから前記第１画像領域を含む第１局部画像を取得し、前記第２ビデオセグメントの前記現在のビデオフレームから前記第２画像領域を含む第２局部画像を取得するように構成される第１取得サブモジュールと、
前記第１局部画像および前記第２局部画像を前記第１ビデオフレームにステッチングするように構成されるステッチングサブモジュールと、を備える。
前記第１画像領域および前記第２画像領域に従って、画像ステッチングアルゴリズムを使用して画像ステッチング境界を決定するように構成される第１決定サブモジュールと、
前記画像ステッチング境界に従って、前記第１目標ビデオフレームから前記第１画像領域を含む第１局部画像を取得し、前記第２ビデオセグメントの前記現在のビデオフレームから前記第２画像領域を含む第２局部画像を取得するように構成される第１取得サブモジュールと、
前記第１局部画像および前記第２局部画像を前記第１ビデオフレームにステッチングするように構成されるステッチングサブモジュールと、を備える。
【0126】
例示的に、前記装置６０は、
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する前に、前記第１ビデオセグメント内の目標フレームを参照フレームとして使用するように構成される第１決定モジュールと、
前記第１目標ビデオフレームおよび前記参照フレームに対して画面整列処理を実行するように構成される第１整列モジュール、および／または
前記第２ビデオセグメントの現在のビデオフレームおよび前記参照フレームに対して画面整列処理を実行するように構成される第２整列モジュールと、をさらに備える。
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する前に、前記第１ビデオセグメント内の目標フレームを参照フレームとして使用するように構成される第１決定モジュールと、
前記第１目標ビデオフレームおよび前記参照フレームに対して画面整列処理を実行するように構成される第１整列モジュール、および／または
前記第２ビデオセグメントの現在のビデオフレームおよび前記参照フレームに対して画面整列処理を実行するように構成される第２整列モジュールと、をさらに備える。
【0127】
例示的に、前記画面整列処理は、
前記参照フレームおよび指定されたビデオフレームの背景特徴点から、同じ背景特徴を持つ目標背景特徴点を取得することであって、前記指定されたビデオフレームは、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームのいずれかであることと、
前記目標背景特徴点に従って、前記指定されたビデオフレームを前記参照フレームに整列することと、を含む。
前記参照フレームおよび指定されたビデオフレームの背景特徴点から、同じ背景特徴を持つ目標背景特徴点を取得することであって、前記指定されたビデオフレームは、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームのいずれかであることと、
前記目標背景特徴点に従って、前記指定されたビデオフレームを前記参照フレームに整列することと、を含む。
【0128】
例示的に、前記装置６０は、
画像収集装置によって収集されたビデオストリームをリアルタイムで取得するように構成される収集モジュールと、
前記ビデオストリームの現在のビデオフレームについて、第２目標ビデオフレーム内の前記目標対象に対応する第３画像領域を取得するように構成される第３取得モジュールであって、前記第２目標ビデオフレームは、前記第１ビデオセグメント内の、前記ビデオストリームの前記現在のビデオフレーム時刻に対応するビデオフレームである第３取得モジュールと、
前記第３画像領域を前記ビデオストリームの前記現在のビデオフレームに追加して、処理された第２ビデオフレームを取得するように構成される追加モジュールと、
前記第２ビデオフレームをビデオプレビューインターフェイスに表示するように構成される第１プレビューモジュールと、をさらに備える。
画像収集装置によって収集されたビデオストリームをリアルタイムで取得するように構成される収集モジュールと、
前記ビデオストリームの現在のビデオフレームについて、第２目標ビデオフレーム内の前記目標対象に対応する第３画像領域を取得するように構成される第３取得モジュールであって、前記第２目標ビデオフレームは、前記第１ビデオセグメント内の、前記ビデオストリームの前記現在のビデオフレーム時刻に対応するビデオフレームである第３取得モジュールと、
前記第３画像領域を前記ビデオストリームの前記現在のビデオフレームに追加して、処理された第２ビデオフレームを取得するように構成される追加モジュールと、
前記第２ビデオフレームをビデオプレビューインターフェイスに表示するように構成される第１プレビューモジュールと、をさらに備える。
【0129】
例示的に、前記追加モジュールは、
前記第２目標ビデオフレームにおける前記第３画像領域の位置に従って、前記ビデオストリームの前記現在のビデオフレームにおける前記第３画像領域の追加位置を決定するように構成される第２決定サブモジュールと、
前記第３画像領域を前記ビデオストリームの前記現在のビデオフレームにおける前記追加位置に追加するように構成される追加サブモジュールと、を備える。
前記第２目標ビデオフレームにおける前記第３画像領域の位置に従って、前記ビデオストリームの前記現在のビデオフレームにおける前記第３画像領域の追加位置を決定するように構成される第２決定サブモジュールと、
前記第３画像領域を前記ビデオストリームの前記現在のビデオフレームにおける前記追加位置に追加するように構成される追加サブモジュールと、を備える。
【0130】
例示的に、前記第２決定サブモジュールは、
前記第２目標ビデオフレームの背景特徴点から、前記第３画像領域の周囲のプリセット範囲内の第１背景特徴点を取得するように構成される第２取得サブモジュールと、
前記ビデオストリームの前記現在のビデオフレームの背景特徴点から、前記第１背景特徴点と同じ背景特徴を持つ第２背景特徴点を決定するように構成される第３決定サブモジュールと、
前記ビデオストリームの前記現在のビデオフレームにおける前記第２背景特徴点の位置に従って、前記追加位置を決定するように構成される第４決定サブモジュールと、を備える。
前記第２目標ビデオフレームの背景特徴点から、前記第３画像領域の周囲のプリセット範囲内の第１背景特徴点を取得するように構成される第２取得サブモジュールと、
前記ビデオストリームの前記現在のビデオフレームの背景特徴点から、前記第１背景特徴点と同じ背景特徴を持つ第２背景特徴点を決定するように構成される第３決定サブモジュールと、
前記ビデオストリームの前記現在のビデオフレームにおける前記第２背景特徴点の位置に従って、前記追加位置を決定するように構成される第４決定サブモジュールと、を備える。
【0131】
例示的に、前記装置６０は、
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する前に、前記第１ビデオセグメントの時間長が前記第２ビデオセグメントの時間長と異なる場合、前記第１ビデオセグメントおよび前記第２ビデオセグメントに対して時間長整列処理を実行するように構成される第３整列モジュールをさらに備える。
前記第１画像領域および前記第２画像領域に従って、前記第１目標ビデオフレームおよび前記第２ビデオセグメントの現在のビデオフレームに対して画面ステッチングを実行する前に、前記第１ビデオセグメントの時間長が前記第２ビデオセグメントの時間長と異なる場合、前記第１ビデオセグメントおよび前記第２ビデオセグメントに対して時間長整列処理を実行するように構成される第３整列モジュールをさらに備える。
【0132】
例示的に、前記時間長整列処理は、
前記第１ビデオセグメントおよび前記第２ビデオセグメントのうちの時間長がより短いビデオセグメントを参照として、時間長がより長いビデオセグメントのビデオフレームの一部を削除して、前記第１ビデオセグメントの時間長と前記第２ビデオセグメントの時間長が同じになるようにすること、
前記第１ビデオセグメントおよび前記第２ビデオセグメントのうちの時間長がより短いビデオセグメントの既存のビデオフレームに従って、前記時間長がより短いビデオセグメントのビデオフレームを増加して、前記第１ビデオセグメントの時間長と前記第２ビデオセグメントの時間長が同じになるようにすることのうちのいずれかの方法を含む。
前記第１ビデオセグメントおよび前記第２ビデオセグメントのうちの時間長がより短いビデオセグメントを参照として、時間長がより長いビデオセグメントのビデオフレームの一部を削除して、前記第１ビデオセグメントの時間長と前記第２ビデオセグメントの時間長が同じになるようにすること、
前記第１ビデオセグメントおよび前記第２ビデオセグメントのうちの時間長がより短いビデオセグメントの既存のビデオフレームに従って、前記時間長がより短いビデオセグメントのビデオフレームを増加して、前記第１ビデオセグメントの時間長と前記第２ビデオセグメントの時間長が同じになるようにすることのうちのいずれかの方法を含む。
【0133】
例示的に、前記装置６０は、
前記第１ビデオフレームに基づいて、目標ビデオセグメントを生成するように構成されるビデオ生成モジュールと、
前記目標ビデオセグメントをビデオプレビューインターフェイスに表示するように構成される第２プレビューモジュールと、をさらに備える。
前記第１ビデオフレームに基づいて、目標ビデオセグメントを生成するように構成されるビデオ生成モジュールと、
前記目標ビデオセグメントをビデオプレビューインターフェイスに表示するように構成される第２プレビューモジュールと、をさらに備える。
【0134】
上記の実施形態の装置に関して、装置の各モジュールが動作を実行する具体的な方法は、既に、前記方法に関する実施例で詳細に説明されており、ここでは詳細に説明しない。
【0135】
本開示は、コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体をさらに提供し、前記プログラム命令がプロセッサによって実行される時に、本開示によるビデオ処理方法のステップを実現する。
【0136】
図７は、一例示的な実施例によるビデオ処理装置のブロック図である。例えば、装置７００は、携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末等であってもよい。
【0137】
図７を参照すれば、装置７００は、処理コンポーネント７０２、メモリ７０４、電力コンポーネント７０６、マルチメディアコンポーネント７０８、オーディオコンポーネント７１０、入力／出力（Ｉ／Ｏ）インターフェース７１２、センサコンポーネント７１４、及び通信コンポーネント７１６のうちの１つまたは複数のコンポーネットを含むことができる。
【0138】
処理コンポーネント７０２は、一般に、ディスプレイ、電話の呼び出し、データ通信、カメラ操作、および記録操作に関する操作など、装置７００の全体的な操作を制御する。処理コンポーネント７０２は、上記ビデオ処理方法のステップの全てまたは一部を完了するために使用される、命令を実行するための一つまたは複数のプロセッサ７２０を含み得る。加えて、処理コンポーネント７０２は、処理コンポーネント７０２と他のコンポーネントとの間の対話を容易にするために使用される１つまたは複数のモジュールを含むことができる。例えば、処理コンポーネント７０２は、マルチメディアコンポーネント７０８と処理コンポーネント７０２との間の対話を容易にするために使用されるマルチメディアモジュールを含むことができる。
【0139】
メモリ７０４は、装置７００の動作をサポートするために、様々なタイプのデータを記憶するように構成される。これらのデータの例には、装置７００で動作する任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。メモリ７０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなど、あらゆるタイプの揮発性または不揮発性ストレージデバイスまたはそれらの組み合わせによって実現されることができる。
【0140】
電力コンポーネント７０６は、装置７００の様々なコンポーネントに電力を提供する。電力コンポーネント７０６は、電力管理システム、１つまたは複数の電源、及び装置７００の電力の生成、管理および分配に関する他のコンポーネントを含むことができる。
【0141】
マルチメディアコンポーネント７０８は、前記装置７００とユーザとの間の、出力インターフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含み得る。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして具現されることができる。タッチパネルは、タッチ、スワイプ及びタッチパネルでのジェスチャーを検知するための１つまたは複数のタッチセンサを含む。前記タッチセンサは、タッチまたはスワイプの操作の境界を感知するだけでなく、前記タッチまたはスワイプ動作に関連する持続時間及び圧力も検出する。いくつかの実施例では、マルチメディアコンポーネント７０８は、フロンドカメラおよび／またはリアカメラを含む。端末７００が、撮影モードまたはビデオモードなどの動作モードにあるとき、フロントカメラおよび／またはリアカメラは、外部マルチメディアデータを受信することができる。各フロンドカメラおよびリアカメラは固定された光学レンズ系または焦点距離および光学ズーム能力を有するものであってもよい。
【0142】
オーディオコンポーネント７１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント７１０は、１つのマイクロフォン（ＭＩＣ）を含み、装置７００が通話モード、録音モード及び音声認識モードなどの動作モードにあるとき、マイクロフォンは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ７０４にさらに格納されてもよく、または通信コンポーネント７１６を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント７１０は、オーディオ信号を出力するためのスピーカをさらに含む。
【0143】
Ｉ／Ｏインターフェース７１２は、処理コンポーネント７０２と周辺インターフェースモジュールとの間でインターフェースを提供し、上記周辺インターフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含むことができるが、これらに限定されない。
【0144】
センサコンポーネント７１４は、装置７００に各態様の状態の評価を提供するための１つまたは複数のセンサを含む。例えば、センサコンポーネント７１４は、装置７００のオン／オフ状態と、装置７００のディスプレイやキーパッドなどのコンポーネントの相対的な位置づけを検出することができ、センサコンポーネント７１４は、装置７００または装置７００のコンポーネントの位置の変化、ユーザとの装置７００の接触の有無、装置７００の向きまたは加速／減速、及び装置７００の温度の変化も検出することができる。センサコンポーネント７１４は、物理的接触なしに近くの物体の存在を検出するように構成された近接センサを含み得る。センサコンポーネント７１４は、撮像用途で使用するためのＣＭＯＳまたはＣＣＤ画像センサなどの光センサも含むことができる。いくつかの実施例において、前記センサコンポーネント７１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサをさらに含むことができる。
【0145】
通信コンポーネント７１６は、装置７００と他の装置の間の有線または無線通信を容易にするように構成される。装置７００は、ＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的実施例では、通信コンポーネント７１６は、放送チャネルによって外部の放送管理システムの放送信号または放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント７１６は、短距離通信を促進するための近距離通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて具現することができる。
【0146】
例示的な実施例において、装置７００は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子素子によって具現されることができ、上記のビデオ処理方法を実行するように構成される。
【0147】
例示的な実施例において、命令を含むメモリ７０４などの、命令を含む非一時的なコンピュータ可読記憶媒体をさらに提供し、前記命令は、装置７００のプロセッサ７２０によって実行されて上記のビデオ処理方法を完了することができる。例えば、前記非一時的なコンピュータ可読記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスクおよび光学データ記憶装置等であってもよい。
【0148】
別の例示的な実施例において、プログラム可能な機器によって実行可能なコンピュータプログラムを含むコンピュータプログラム製品をさらに含み、前記コンピュータプログラムは、プログラム可能な機器によって実行される時に、上記のビデオ処理方法を実行するためのコード部分を有する。
【0149】
当業者は、明細書を考慮して、本明細書に開示された技術案を実施した後に、本開示の他の実施形態を容易に想到し得るであろう。本出願は、本開示のあらゆる変形、応用または適応性変化を網羅することを意図し、これらの変形、応用または適応性変化は、本開示の普通の原理に準拠し、本開示によって開示されない本技術分野における公知知識または従来の技術的手段を含む。明細書と実施例は、例示としてのみ考慮され、本開示の真の範囲及び思想は添付の特許請求の範囲によって示される。
【0150】
本開示は、上記に既に説明し且つ図面に示した正確な構造に限定されるものではなく、その範囲から逸脱することなく様々な修正及び変更を行うことができることを理解されたい。本開示の範囲は、添付の特許請求の範囲によってのみ制限される。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
