▶ ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-12
(45)【発行日】2023-05-22
(54)【発明の名称】ビデオ処理方法及び装置、記憶媒体
(51)【国際特許分類】
H04N 21/44 20110101AFI20230515BHJP
H04N 21/431 20110101ALI20230515BHJP
【ＦＩ】
H04N21/44
H04N21/431
【請求項の数】
6
(21)【出願番号】P 2021075819
(22)【出願日】2021-04-28
(65)【公開番号】P2022024993
(43)【公開日】2022-02-09
【審査請求日】2021-04-28
(31)【優先権主張番号】202010737025.5
(32)【優先日】2020-07-28
(33)【優先権主張国・地域又は機関】CN
【前置審査】
(73)【特許権者】
【識別番号】520274253
【氏名又は名称】ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド
(74)【代理人】
【識別番号】100107489
【弁理士】
【氏名又は名称】大塩 竹志
(72)【発明者】
【氏名】チャン ビンリン
(72)【発明者】
【氏名】マ カイルン
(72)【発明者】
【氏名】シ ジェンフイ
(72)【発明者】
【氏名】ワン チンミン
【審査官】富樫 明
(56)【参考文献】
【文献】米国特許出願公開第２０１７／００９４１９３（ＵＳ，Ａ１）
【文献】特開２００８－１７８０８９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１２／０００２１１２（ＵＳ，Ａ１）
【文献】特開２０１３－１６２３３３（ＪＰ，Ａ）
【文献】国際公開第２０１８／１８００３９（ＷＯ，Ａ１）
【文献】特開２００２－３４４９４６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００－２１／８５８
(57)【特許請求の範囲】
【請求項1】
端末に適用されるビデオ処理方法であって、ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することと、
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することと
を含み、
前記第１ビデオフレームは、静止画フレームを含み、前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することは、
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定することと、
連続するＮ（Ｎは２より大きいか等しい正の整数である）個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するＮ個のビデオフレームのうちの１つの前記ビデオフレームを前記静止画フレームとして選択することと、
前記静止画フレームの前記主体領域を、前記第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成することと
を含み、
前記ビデオ処理方法は、
前記第１ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することをさらに含み、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用され、
前記目標対象を有する少なくとも１つのビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することは、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成することを含み、
前記第１ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することは、
前記ビデオのビデオフレームのうちの１つのビデオフレームを参照フレームとして選択することと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定することと
を含むことを特徴とする、ビデオ処理方法。
【請求項2】
前記ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することは、ビデオのビデオフレーム内の目標対象を識別することと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定することと
を含むことを特徴とする、
請求項１に記載のビデオ処理方法。
【請求項3】
端末に適用されるビデオ処理装置であって、ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定するように構成される第１決定モジュールと、
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成するように構成される生成モジュールと、
前記第１ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定するように構成される第２決定モジュールであって、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用される、第２決定モジュールと
を備え、
前記第１ビデオフレームは、静止画フレームを含み、前記生成モジュールは、
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定するように構成される第３決定サブモジュールと、
連続するＮ（Ｎは２より大きいか等しい正の整数である）個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するＮ個のビデオフレームのうちの１つの前記ビデオフレームを前記静止画フレームとして選択するように構成される第２選択サブモジュールと、
前記静止画フレームの前記主体領域を、前記第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成するように構成される生成サブモジュールと
を備え、
前記生成モジュールは、具体的に、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成するように構成され、
前記第２決定モジュールは、
前記ビデオのビデオフレームのうちの１つのビデオフレームを参照フレームとして選択するように構成される第３選択サブモジュールと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定するように構成される第６決定サブモジュールと
を備えることを特徴とする、ビデオ処理装置。
【請求項4】
前記第１決定モジュールは、ビデオのビデオフレーム内の目標対象を識別するように構成される識別サブモジュールと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定するように構成される第１決定サブモジュールと
を備えることを特徴とする、
請求項３に記載のビデオ処理装置。
【請求項5】
端末の通信装置であって、前記通信装置は少なくとも、プロセッサと、前記プロセッサで実行可能な実行可能命令を記憶するように構成されるメモリとを備え、
前記プロセッサは、前記実行可能命令を実行するときに、請求項１または請求項２に記載のビデオ処理方法におけるステップを実行するように構成される、端末の通信装置。
【請求項6】
コンピュータ実行可能命令が記憶された非一時的なコンピュータ可読記憶媒体であって、当該コンピュータ実行可能命令がプロセッサによって実行されるときに、請求項１または請求項２に記載のビデオ処理方法におけるステップを実現する、非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０２０年０７月２８日に中国特許局に提出された、出願番号がＣＮ２０２０１０７３７０２５５である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容は参照として本願に組み込まれる。
【背景技術】
【0002】
本発明は、マルチメディア技術に関し、特に、ビデオ処理方法及び装置、記憶媒体に関する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
マルチメディア技術の継続的な発展に伴い、映画やビデオの作品では、ビデオ特殊効果を使用して、色々な超現実的なビデオ効果、例えば、時間静止画特殊効果や分身特殊効果などを表示することがよくある。しかしながら、ビデオの特殊効果を実現するには、専門的な後処理と、ポストプロダクションツールを使用した多数の編集と作成が必要であり、特殊効果技術の宣伝と適用には役立たず、このような方式は、ビデオ撮影中に特殊効果を直接にプレビューすることも困難である。さらに、ビデオの特殊効果の作成は難しく、学習コストが高いため、ポストプロダクションスタッフにも高い専門的要件が必要である。
【課題を解決するための手段】
【0004】
本発明は、ビデオ処理方法及び装置、記憶媒体を提供する。
【0005】
例えば、本願は以下の項目を提供する。
（項目１）
端末に適用されるビデオ処理方法であって、
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することと、
上記目標対象を有する少なくとも１つの第１ビデオフレーム内の上記主体領域を、上記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、上記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することと、を含むことを特徴とする、上記ビデオ処理方法。
（項目２）
上記ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することは、
ビデオのビデオフレーム内の目標対象を識別することと、
上記目標対象に従って、上記主体領域及び上記背景領域を決定することと、を含むことを特徴とする、
上記項目に記載のビデオ処理方法。
（項目３）
上記第１ビデオフレームは静止画フレームを含み、上記第２ビデオフレームは、上記静止画フレームの後のビデオフレームを含み、
上記目標対象を有する少なくとも１つの第１ビデオフレーム内の上記主体領域を、上記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、上記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することは、
上記ビデオのビデオフレームの中から、少なくとも１つの上記静止画フレームを選択することと、
上記静止画フレームの上記主体領域を、上記第２ビデオフレームにオーバーレイして、上記特殊効果フレームを生成することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目４）
上記ビデオのビデオフレームの中から、少なくとも１つの上記静止画フレームを選択することは、
上記ビデオを再生するプロセス中、所定の操作命令を検出することと、
上記所定の操作命令を検出したときに表示されるビデオフレームが上記静止画フレームであると決定することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目５）
上記ビデオのビデオフレームの中から、少なくとも１つの上記静止画フレームを選択することは、
上記ビデオ内の所定の時間間隔を有するビデオフレームを上記静止画フレームとして選択することを含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目６）
上記ビデオのビデオフレームの中から、少なくとも１つの上記静止画フレームを選択することは、
上記ビデオのビデオフレーム内の上記目標対象の姿勢を決定することと、
連続するＮ（Ｎは２より大きいか等しい正の整数である）個の上記ビデオフレームにおいて、上記目標対象の姿勢が同じ姿勢である場合、上記連続するＮ個のビデオフレームのうちの１つの上記ビデオフレームを上記静止画フレームとして選択することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目７）
上記ビデオのビデオフレームの中から、少なくとも１つの上記静止画フレームを選択することは、
上記ビデオフレーム内の上記目標対象の位置を決定することと、
上記目標対象の位置と前の静止画フレームにおける目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが上記静止画フレームであると決定することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目８）
上記ビデオ処理方法は、
上記第１ビデオフレームにおける上記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することをさらに含み、上記位置合わせパラメータは、上記特殊効果フレームにおける上記主体領域の目標位置を決定するために使用され、
上記目標対象を有する少なくとも１つのビデオフレーム内の上記主体領域を、上記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、上記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することは、
上記位置合わせパラメータに従って、上記主体領域を、上記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームの上記目標位置にオーバーレイして、上記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成することを含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目９）
上記第１ビデオフレームにおける上記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することは、
上記ビデオのビデオフレームのうちの１つのビデオフレームを参照フレームとして選択することと、
上記参照フレーム内の目標対象に対する上記ビデオフレーム内の目標対象の位置オフセットに従って、上記位置合わせパラメータを決定することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目１０）
上記目標対象を有する少なくとも１つの第１ビデオフレーム内の上記主体領域を、上記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、上記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することは、
上記目標対象を有する少なくとも１つの第１ビデオフレーム内の上記主体領域を、上記第１ビデオフレームの前の少なくとも１つの第２ビデオフレームにオーバーレイして、上記特殊効果フレームを生成することを含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目１１）
端末に適用されるビデオ処理装置であって、
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定するように構成される第１決定モジュールと、
上記目標対象を有する少なくとも１つの第１ビデオフレーム内の上記主体領域を、上記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、上記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成するように構成される生成モジュールと、を備えることを特徴とする、上記ビデオ処理装置。
（項目１２）
上記第１決定モジュールは、
ビデオのビデオフレーム内の目標対象を識別するように構成される識別サブモジュールと、
上記目標対象に従って、上記主体領域及び上記背景領域を決定するように構成される第１決定サブモジュールと、を備えることを特徴とする、
上記項目に記載のビデオ処理装置。
（項目１３）
上記第１ビデオフレームは静止画フレームを含み、上記第２ビデオフレームは、上記静止画フレームの後のビデオフレームを含み、
上記生成モジュールは、
上記ビデオのビデオフレームの中から、少なくとも１つの上記静止画フレームを選択するように構成される第１選択サブモジュールと、
上記静止画フレームの上記主体領域を、上記第２ビデオフレームにオーバーレイして、上記特殊効果フレームを生成するように構成される生成サブモジュールと、を備えることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１４）
上記第１選択サブモジュールは、
上記ビデオを再生するプロセス中、所定の操作命令を検出するように構成される検出サブモジュールと、
上記所定の操作命令を検出したときに表示されるビデオフレームが上記静止画フレームであると決定するように構成される第２決定サブモジュールと、を備えることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１５）
上記第１選択サブモジュールは、具体的に、
上記ビデオ内の所定の時間間隔を有するビデオフレームを上記静止画フレームとして選択するように構成されることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１６）
上記第１選択サブモジュールは、
上記ビデオのビデオフレーム内の上記目標対象の姿勢を決定するように構成される第３決定サブモジュールと、
連続するＮ（Ｎは２より大きいか等しい正の整数である）個の上記ビデオフレームにおいて、上記目標対象の姿勢が同じ姿勢である場合、上記連続するＮ個のビデオフレームのうちの１つの上記ビデオフレームを上記静止画フレームとして選択するように構成される第２選択サブモジュールと、を備えることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１７）
上記第１選択サブモジュールは、
上記ビデオフレーム内の上記目標対象の位置を決定するように構成される第４決定サブモジュールと、
上記目標対象の位置と前の静止画フレーム内の目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが上記静止画フレームであると決定するように構成される第５決定サブモジュールと、を備えることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１８）
上記ビデオ処理装置はさらに、
上記第１ビデオフレームにおける上記目標対象の位置に従って、主体領域の位置合わせパラメータを決定するように構成される第２決定モジュールを備え、上記位置合わせパラメータは、上記特殊効果フレームにおける上記主体領域の目標位置を決定するために使用され、
上記生成モジュールは、具体的に、
上記位置合わせパラメータに従って、上記主体領域を、上記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームの上記目標位置にオーバーレイして、上記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成するように構成されることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１９）
上記第２決定モジュールは、
上記ビデオのビデオフレームのうちの１つのビデオフレームを参照フレームとして選択するように構成される第３選択サブモジュールと、
上記参照フレーム内の目標対象に対する上記ビデオフレーム内の目標対象の位置オフセットに従って、上記位置合わせパラメータを決定するように構成される第６決定サブモジュールと、を備えることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目２０）
上記生成モジュールは、具体的に、
上記目標対象を有する少なくとも１つの第１ビデオフレーム内の上記主体領域を、上記第１ビデオフレームの前の少なくとも１つの第２ビデオフレームにオーバーレイして、上記特殊効果フレームを生成するように構成されることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目２１）
端末の通信装置であって、
上記通信装置は少なくとも、プロセッサと、上記プロセッサで実行可能な実行可能命令を記憶するように構成されるメモリと、を備え、
上記プロセッサは、上記実行可能命令を実行するときに、上記項目のいずれか一項に記載のビデオ処理方法におけるステップを実行するように構成される、上記端末の通信装置。
（項目２２）
コンピュータ実行可能命令が記憶された非一時的なコンピュータ可読記憶媒体であって、
当該コンピュータ実行可能命令がプロセッサによって実行されるときに、上記項目のいずれか一項に記載のビデオ処理方法におけるステップを実現する、上記非一時的なコンピュータ可読記憶媒体。
（摘要）
本発明は、ビデオ処理方法及び装置、記憶媒体に関するものである。当該ビデオ処理方法は端末に適用され、前記ビデオ処理方法は、ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することと、前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することと、を含む。本発明の実施例における技術的解決策によれば、ビデオ画面を分割し、分割された異なる画像領域をオーバーレイする方式で、複数の主体を画面に同時に表示することができ、それにより、分身特殊効果を実現することができる。
（項目１）
端末に適用されるビデオ処理方法であって、
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することと、
上記目標対象を有する少なくとも１つの第１ビデオフレーム内の上記主体領域を、上記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、上記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することと、を含むことを特徴とする、上記ビデオ処理方法。
（項目２）
上記ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することは、
ビデオのビデオフレーム内の目標対象を識別することと、
上記目標対象に従って、上記主体領域及び上記背景領域を決定することと、を含むことを特徴とする、
上記項目に記載のビデオ処理方法。
（項目３）
上記第１ビデオフレームは静止画フレームを含み、上記第２ビデオフレームは、上記静止画フレームの後のビデオフレームを含み、
上記目標対象を有する少なくとも１つの第１ビデオフレーム内の上記主体領域を、上記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、上記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することは、
上記ビデオのビデオフレームの中から、少なくとも１つの上記静止画フレームを選択することと、
上記静止画フレームの上記主体領域を、上記第２ビデオフレームにオーバーレイして、上記特殊効果フレームを生成することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目４）
上記ビデオのビデオフレームの中から、少なくとも１つの上記静止画フレームを選択することは、
上記ビデオを再生するプロセス中、所定の操作命令を検出することと、
上記所定の操作命令を検出したときに表示されるビデオフレームが上記静止画フレームであると決定することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目５）
上記ビデオのビデオフレームの中から、少なくとも１つの上記静止画フレームを選択することは、
上記ビデオ内の所定の時間間隔を有するビデオフレームを上記静止画フレームとして選択することを含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目６）
上記ビデオのビデオフレームの中から、少なくとも１つの上記静止画フレームを選択することは、
上記ビデオのビデオフレーム内の上記目標対象の姿勢を決定することと、
連続するＮ（Ｎは２より大きいか等しい正の整数である）個の上記ビデオフレームにおいて、上記目標対象の姿勢が同じ姿勢である場合、上記連続するＮ個のビデオフレームのうちの１つの上記ビデオフレームを上記静止画フレームとして選択することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目７）
上記ビデオのビデオフレームの中から、少なくとも１つの上記静止画フレームを選択することは、
上記ビデオフレーム内の上記目標対象の位置を決定することと、
上記目標対象の位置と前の静止画フレームにおける目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが上記静止画フレームであると決定することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目８）
上記ビデオ処理方法は、
上記第１ビデオフレームにおける上記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することをさらに含み、上記位置合わせパラメータは、上記特殊効果フレームにおける上記主体領域の目標位置を決定するために使用され、
上記目標対象を有する少なくとも１つのビデオフレーム内の上記主体領域を、上記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、上記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することは、
上記位置合わせパラメータに従って、上記主体領域を、上記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームの上記目標位置にオーバーレイして、上記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成することを含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目９）
上記第１ビデオフレームにおける上記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することは、
上記ビデオのビデオフレームのうちの１つのビデオフレームを参照フレームとして選択することと、
上記参照フレーム内の目標対象に対する上記ビデオフレーム内の目標対象の位置オフセットに従って、上記位置合わせパラメータを決定することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目１０）
上記目標対象を有する少なくとも１つの第１ビデオフレーム内の上記主体領域を、上記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、上記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することは、
上記目標対象を有する少なくとも１つの第１ビデオフレーム内の上記主体領域を、上記第１ビデオフレームの前の少なくとも１つの第２ビデオフレームにオーバーレイして、上記特殊効果フレームを生成することを含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目１１）
端末に適用されるビデオ処理装置であって、
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定するように構成される第１決定モジュールと、
上記目標対象を有する少なくとも１つの第１ビデオフレーム内の上記主体領域を、上記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、上記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成するように構成される生成モジュールと、を備えることを特徴とする、上記ビデオ処理装置。
（項目１２）
上記第１決定モジュールは、
ビデオのビデオフレーム内の目標対象を識別するように構成される識別サブモジュールと、
上記目標対象に従って、上記主体領域及び上記背景領域を決定するように構成される第１決定サブモジュールと、を備えることを特徴とする、
上記項目に記載のビデオ処理装置。
（項目１３）
上記第１ビデオフレームは静止画フレームを含み、上記第２ビデオフレームは、上記静止画フレームの後のビデオフレームを含み、
上記生成モジュールは、
上記ビデオのビデオフレームの中から、少なくとも１つの上記静止画フレームを選択するように構成される第１選択サブモジュールと、
上記静止画フレームの上記主体領域を、上記第２ビデオフレームにオーバーレイして、上記特殊効果フレームを生成するように構成される生成サブモジュールと、を備えることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１４）
上記第１選択サブモジュールは、
上記ビデオを再生するプロセス中、所定の操作命令を検出するように構成される検出サブモジュールと、
上記所定の操作命令を検出したときに表示されるビデオフレームが上記静止画フレームであると決定するように構成される第２決定サブモジュールと、を備えることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１５）
上記第１選択サブモジュールは、具体的に、
上記ビデオ内の所定の時間間隔を有するビデオフレームを上記静止画フレームとして選択するように構成されることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１６）
上記第１選択サブモジュールは、
上記ビデオのビデオフレーム内の上記目標対象の姿勢を決定するように構成される第３決定サブモジュールと、
連続するＮ（Ｎは２より大きいか等しい正の整数である）個の上記ビデオフレームにおいて、上記目標対象の姿勢が同じ姿勢である場合、上記連続するＮ個のビデオフレームのうちの１つの上記ビデオフレームを上記静止画フレームとして選択するように構成される第２選択サブモジュールと、を備えることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１７）
上記第１選択サブモジュールは、
上記ビデオフレーム内の上記目標対象の位置を決定するように構成される第４決定サブモジュールと、
上記目標対象の位置と前の静止画フレーム内の目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが上記静止画フレームであると決定するように構成される第５決定サブモジュールと、を備えることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１８）
上記ビデオ処理装置はさらに、
上記第１ビデオフレームにおける上記目標対象の位置に従って、主体領域の位置合わせパラメータを決定するように構成される第２決定モジュールを備え、上記位置合わせパラメータは、上記特殊効果フレームにおける上記主体領域の目標位置を決定するために使用され、
上記生成モジュールは、具体的に、
上記位置合わせパラメータに従って、上記主体領域を、上記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームの上記目標位置にオーバーレイして、上記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成するように構成されることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１９）
上記第２決定モジュールは、
上記ビデオのビデオフレームのうちの１つのビデオフレームを参照フレームとして選択するように構成される第３選択サブモジュールと、
上記参照フレーム内の目標対象に対する上記ビデオフレーム内の目標対象の位置オフセットに従って、上記位置合わせパラメータを決定するように構成される第６決定サブモジュールと、を備えることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目２０）
上記生成モジュールは、具体的に、
上記目標対象を有する少なくとも１つの第１ビデオフレーム内の上記主体領域を、上記第１ビデオフレームの前の少なくとも１つの第２ビデオフレームにオーバーレイして、上記特殊効果フレームを生成するように構成されることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目２１）
端末の通信装置であって、
上記通信装置は少なくとも、プロセッサと、上記プロセッサで実行可能な実行可能命令を記憶するように構成されるメモリと、を備え、
上記プロセッサは、上記実行可能命令を実行するときに、上記項目のいずれか一項に記載のビデオ処理方法におけるステップを実行するように構成される、上記端末の通信装置。
（項目２２）
コンピュータ実行可能命令が記憶された非一時的なコンピュータ可読記憶媒体であって、
当該コンピュータ実行可能命令がプロセッサによって実行されるときに、上記項目のいずれか一項に記載のビデオ処理方法におけるステップを実現する、上記非一時的なコンピュータ可読記憶媒体。
（摘要）
本発明は、ビデオ処理方法及び装置、記憶媒体に関するものである。当該ビデオ処理方法は端末に適用され、前記ビデオ処理方法は、ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することと、前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することと、を含む。本発明の実施例における技術的解決策によれば、ビデオ画面を分割し、分割された異なる画像領域をオーバーレイする方式で、複数の主体を画面に同時に表示することができ、それにより、分身特殊効果を実現することができる。
【発明の効果】
【0006】
本発明の実施例の第１態様によれば、ビデオ処理方法を提供し、前記方法は端末に適用され、前記ビデオ処理方法は、
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することと、
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することと、を含む。
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することと、
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することと、を含む。
【0007】
いくつかの実施例において、前記ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することは、
ビデオのビデオフレーム内の目標対象を識別することと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定することと、を含む。
ビデオのビデオフレーム内の目標対象を識別することと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定することと、を含む。
【0008】
いくつかの実施例において、前記第１ビデオフレームは静止画フレームを含み、前記第２ビデオフレームは、前記静止画フレームの後のビデオフレームを含み、
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することは、
前記ビデオのビデオフレームの中から、少なくとも１つの前記静止画フレームを選択することと、
前記静止画フレームの前記主体領域を、前記第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成することと、を含む。
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することは、
前記ビデオのビデオフレームの中から、少なくとも１つの前記静止画フレームを選択することと、
前記静止画フレームの前記主体領域を、前記第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成することと、を含む。
【0009】
いくつかの実施例において、前記ビデオのビデオフレームの中から、少なくとも１つの前記静止画フレームを選択することは、
前記ビデオを再生するプロセス中、所定の操作命令を検出することと、
前記所定の操作命令を検出したときに表示されるビデオフレームが前記静止画フレームであると決定することと、を含む。
前記ビデオを再生するプロセス中、所定の操作命令を検出することと、
前記所定の操作命令を検出したときに表示されるビデオフレームが前記静止画フレームであると決定することと、を含む。
【0010】
いくつかの実施例において、前記ビデオのビデオフレームの中から、少なくとも１つの前記静止画フレームを選択することは、
前記ビデオ内の所定の時間間隔を有するビデオフレームを前記静止画フレームとして選択することを含む。
前記ビデオ内の所定の時間間隔を有するビデオフレームを前記静止画フレームとして選択することを含む。
【0011】
いくつかの実施例において、前記ビデオのビデオフレームの中から、少なくとも１つの前記静止画フレームを選択することは、
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定することと、
連続するＮ（Ｎは２より大きいか等しい正の整数である）個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するＮ個のビデオフレームのうちの１つの前記ビデオフレームを前記静止画フレームとして選択することと、を含む。
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定することと、
連続するＮ（Ｎは２より大きいか等しい正の整数である）個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するＮ個のビデオフレームのうちの１つの前記ビデオフレームを前記静止画フレームとして選択することと、を含む。
【0012】
いくつかの実施例において、前記ビデオのビデオフレームの中から、少なくとも１つの前記静止画フレームを選択することは、
前記ビデオフレーム内の前記目標対象の位置を決定することと、
前記目標対象の位置と前の静止画フレーム内の目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが前記静止画フレームであると決定することと、を含む。
前記ビデオフレーム内の前記目標対象の位置を決定することと、
前記目標対象の位置と前の静止画フレーム内の目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが前記静止画フレームであると決定することと、を含む。
【0013】
いくつかの実施例において、前記ビデオ処理方法は、
前記第１ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することをさらに含み、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用され、
前記少なくとも１つのビデオフレーム内の前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームにオーバーレイして、前記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成することは、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成することを含む。
前記第１ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することをさらに含み、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用され、
前記少なくとも１つのビデオフレーム内の前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームにオーバーレイして、前記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成することは、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成することを含む。
【0014】
いくつかの実施例において、前記第１ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することは、
前記ビデオのビデオフレームのうちの１つのビデオフレームを参照フレームとして選択することと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定することと、を含む。
前記ビデオのビデオフレームのうちの１つのビデオフレームを参照フレームとして選択することと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定することと、を含む。
【0015】
いくつかの実施例において、前記第２ビデオフレームは、前記静止画フレームの前のビデオフレームを含み、
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することは、
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記第１ビデオフレームの前の少なくとも１つの第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成することを含む。
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することは、
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記第１ビデオフレームの前の少なくとも１つの第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成することを含む。
【0016】
本発明の実施例の第２態様によれば、ビデオ処理装置を提供し、前記ビデオ処理装置は端末に適用され、前記ビデオ処理装置は、
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定するように構成される第１決定モジュールと、
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成するように構成される生成モジュールと、を備える。
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定するように構成される第１決定モジュールと、
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成するように構成される生成モジュールと、を備える。
【0017】
いくつかの実施例において、前記第１決定モジュールは、
ビデオのビデオフレーム内の目標対象を識別するように構成される識別サブモジュールと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定するように構成される第１決定サブモジュールと、を備える。
ビデオのビデオフレーム内の目標対象を識別するように構成される識別サブモジュールと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定するように構成される第１決定サブモジュールと、を備える。
【0018】
いくつかの実施例において、前記第１ビデオフレームは静止画フレームを含み、前記第２ビデオフレームは、前記静止画フレームの後のビデオフレームを含み、
前記生成モジュールは、
前記ビデオのビデオフレームの中から、少なくとも１つの前記静止画フレームを選択するように構成される第１選択サブモジュールと、
前記静止画フレームの前記主体領域を、前記第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成するように構成される生成サブモジュールと、を備える。
前記生成モジュールは、
前記ビデオのビデオフレームの中から、少なくとも１つの前記静止画フレームを選択するように構成される第１選択サブモジュールと、
前記静止画フレームの前記主体領域を、前記第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成するように構成される生成サブモジュールと、を備える。
【0019】
いくつかの実施例において、前記第１選択サブモジュールは、
前記ビデオを再生するプロセス中、所定の操作命令を検出するように構成される検出サブモジュールと、
前記所定の操作命令を検出したときに表示されるビデオフレームが前記静止画フレームであると決定するように構成される第２決定サブモジュールと、を備える。
前記ビデオを再生するプロセス中、所定の操作命令を検出するように構成される検出サブモジュールと、
前記所定の操作命令を検出したときに表示されるビデオフレームが前記静止画フレームであると決定するように構成される第２決定サブモジュールと、を備える。
【0020】
いくつかの実施例において、前記第１選択サブモジュールは、具体的に、
前記ビデオ内の所定の時間間隔を有するビデオフレームを前記静止画フレームとして選択するように構成される。
前記ビデオ内の所定の時間間隔を有するビデオフレームを前記静止画フレームとして選択するように構成される。
【0021】
いくつかの実施例において、前記第１選択サブモジュールは、
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定するように構成される第３決定サブモジュールと、
連続するＮ（Ｎは２より大きいか等しい正の整数である）個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するＮ個のビデオフレームのうちの１つの前記ビデオフレームを前記静止画フレームとして選択するように構成される第２選択サブモジュールと、を備える。
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定するように構成される第３決定サブモジュールと、
連続するＮ（Ｎは２より大きいか等しい正の整数である）個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するＮ個のビデオフレームのうちの１つの前記ビデオフレームを前記静止画フレームとして選択するように構成される第２選択サブモジュールと、を備える。
【0022】
いくつかの実施例において、前記第１選択サブモジュールは、
前記ビデオフレーム内の前記目標対象の位置を決定するように構成される第４決定サブモジュールと、
前記目標対象の位置と前の静止画フレーム内の目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが前記静止画フレームであると決定するように構成される第５決定サブモジュールと、を備える。
前記ビデオフレーム内の前記目標対象の位置を決定するように構成される第４決定サブモジュールと、
前記目標対象の位置と前の静止画フレーム内の目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが前記静止画フレームであると決定するように構成される第５決定サブモジュールと、を備える。
【0023】
いくつかの実施例において、前記ビデオ処理装置はさらに、
前記第１ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定するように構成される第２決定モジュールを備え、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用され、
前記生成モジュールは、具体的に、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成するように構成される。
前記第１ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定するように構成される第２決定モジュールを備え、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用され、
前記生成モジュールは、具体的に、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成するように構成される。
【0024】
いくつかの実施例において、前記第２決定モジュールは、
前記ビデオのビデオフレームのうちの１つのビデオフレームを参照フレームとして選択するように構成される第３選択サブモジュールと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定するように構成される第６決定サブモジュールと、を備える。
前記ビデオのビデオフレームのうちの１つのビデオフレームを参照フレームとして選択するように構成される第３選択サブモジュールと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定するように構成される第６決定サブモジュールと、を備える。
【0025】
いくつかの実施例において、前記第２ビデオフレームは、前記静止画フレームの前のビデオフレームを含み、前記生成モジュールは、具体的に、
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記第１ビデオフレームの前の少なくとも１つの第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成するように構成される。
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記第１ビデオフレームの前の少なくとも１つの第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成するように構成される。
【0026】
本発明の実施例の第３態様によれば、端末の通信装置を提供し、前記通信装置は少なくとも、プロセッサと、前記プロセッサで実行可能な実行可能命令を記憶するように構成されるメモリとを備え、
前記プロセッサは、前記実行可能命令を実行するときに、上記のいずれか１つのビデオ処理方法におけるステップを実行するように構成される。
前記プロセッサは、前記実行可能命令を実行するときに、上記のいずれか１つのビデオ処理方法におけるステップを実行するように構成される。
【0027】
本発明の実施例の第４態様によれば、非一時的なコンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体にはコンピュータ実行可能命令が記憶され、当該コンピュータ実行可能命令がプロセッサによって実行されるときに、上記のいずれか１つのビデオ処理方法におけるステップを実現する。
【0028】
本発明の実施例によって提供される技術的解決策は、次の有利な効果を含み得る。本発明の実施例の技術的解決策によれば、端末を使用してビデオ処理を実行し、異なるビデオフレーム画像の領域の一部を分割して、別のビデオフレームにオーバーレイして、ビデオ画面に複数の異なる位置にある目標対象を同時に表示することができ、それにより、分身効果を実現することができる。このような方式では、端末自体が目標対象の識別を実行するため、複雑な処理ツールやポストプロダクションスキルを必要とせずに、特殊効果フレームをインテリジェントに生成することができ、操作が簡単で、撮影中に特殊効果を直接生成するのに便利である。
【0029】
上記の一般的な説明および後述する詳細な説明は、単なる例示および説明に過ぎず、本発明を限定するものではないことを理解されたい。
【図面の簡単な説明】
【0030】
ここでの図面は、本明細書に組み込まれてその一部を構成し、本発明と一致する実施例を示し、明細書とともに本発明の原理を説明するために使用される。
【図1】一例示的な実施例によるビデオ処理方法のフローチャート１である。
【図2】一例示的な実施例によるビデオ処理方法のフローチャート２である。
【図3】一例示的な実施例によるビデオ処理方法のフローチャート３である。
【図4】一例示的な実施例による、静止画分身特殊効果を有するビデオを録画することを示す第１のフローチャートである。
【図5】一例示的な実施例による、静止画分身特殊効果を有するビデオを録画することを示す第２のフローチャートである。
【図6A】一例示的な実施例における静止画分身特殊効果の第１の概略図である。
【図6B】一例示的な実施例における静止画分身特殊効果の第２の概略図である。
【図7】一例示的な実施例によるビデオ処理装置の構造のブロック図である。
【図8】一例示的な実施例による端末のエンティティ構造のブロック図である。
【発明を実施するための形態】
【0031】
ここで、例示的な実施例について詳細に説明し、その例は図面に示す。特に明記しない限り、以下の説明が添付の図面に関する場合、異なる図面の同じ数字は同じまたは類似の要素を表す。以下の例示的な実施例で説明される実施形態は、本発明と一致するすべての実施形態を表すものではない。むしろ、それらは、添付された特許請求の範囲に詳述されたように、本発明の特定の態様と一致する装置および方法の例である。
【0032】
【0033】
ステップＳ１０１において、ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定する。
【0034】
ステップＳ１０２において、前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成する。
【0035】
本発明の実施例において、端末は、表示機能を備えた電子機器であり、ユーザは、端末を介してビデオを生成したり、ビデオ録画プロセス中にビデオコンテンツをプレビューすることができる。
【0036】
処理される上記ビデオは、録画済みのビデオファイルであってもよく、録画中のビデオであってもよい。ビデオを録画するプロセスは、連続する複数のビデオフレームを取得するプロセスを含み、録画済みのビデオ部分は、上記のビデオフレームで構成される。
【0037】
本発明の実施例において、目標識別の方式を採用して各ビデオフレーム内の目標対象を識別することができる。目標対象は、画面内で焦点が合っている主体部分であり得、ビデオ内の動く主体に含まれる。例えば、画面内の人物、動物及び車や飛行機などの可動物体であってもよい。
【0038】
画像分割技術により、上記の目標対象が位置する主体領域をビデオフレームの画像から分離することができる。目標対象が位置する主体領域を別のビデオフレームにオーバーレイすることにより、少なくとも２つの主体領域をビデオ画面に表示するという分身効果を実現することができる。
【0039】
上記の第１ビデオフレームは、分割された目標対象の主体領域を提供するビデオフレームとして使用され、第２ビデオフレームは、分割された主体領域によってオーバーレイされるビデオフレームとして使用される。第１ビデオフレームは、分割された主体領域を提供すると同時に、他の第１ビデオフレームの主体領域によってオーバーレイされる第２ビデオフレームとして使用されることもできる。例えば、第１フレーム内の主体領域を分割して、第２フレーム後の各ビデオフレームにオーバーレイし、１００番目のフレーム内の主体領域を分割して１０１番目のフレーム後の各ビデオフレームにオーバーレイする場合、第２フレームの後のビデオフレームはすべて上記の第２ビデオフレームであり、同時に、１００番目のフレームは、第１ビデオフレームと第２ビデオフレームの両方である。
【0040】
例えば、ビデオ内の主体人物が画面の最左端から画面の最右端へ歩き、ビデオ処理を実行するときに、主体人物が最左端に位置する画面から主体領域を分割する。その後、分割された主体領域を、ビデオ内の主体人物が左から右に歩くビデオフレームにオーバーレイする。このように、主体人物が最右端まで歩く過程を表示すると同時に、最左端に固定されている主体人物を表示し、それにより、静止画分身の特殊効果を実現する。
【0041】
本発明の実施例において、上記の目標対象が位置する主体領域は、目標対象エッジ内の画像領域であってもよく、例えば、画像分割技術により、ビデオフレームからエッジに沿って目標対象を分割し、目標対象のエッジで囲まれた領域を上記の主体領域として使用する。
【0042】
一実施例において、上記の目標対象が位置する主体領域は、長方形領域又は円形領域など、目標対象を含む固定形状のグラフィック領域であってもよい。ビデオの背景画面が静的環境である場合、複数のビデオフレームの目標対象以外の領域はすべて固定画像であり、単純な規則的なグラフィックにより、目標対象が位置する主体領域を分割することができる。
【0043】
別の実施例において、ビデオを録画するプロセス中、特殊効果フレームを生成した後、特殊効果フレームを所定のキャッシュに保存することができる。ビデオの録画が完了すると、特殊効果ビデオを生成するかどうかのプロンプトを表示する。ユーザの操作命令に従って、特殊効果ビデオを生成するかどうかを決定する。ユーザが特殊効果ビデオを生成すると決定した場合、元のビデオフレームをキャッシュされた特殊効果フレームに置き換えて、特殊効果ビデオとして生成して保存する。ユーザが特殊効果ビデオを生成する必要がないと決定した場合、キャッシュされた特殊効果フレームを削除することができる。
【0044】
特殊効果ビデオを生成した後、ユーザの実際のニーズに応じて、元のビデオを保存するかどうかの選択を提供できることに留意されたい。ユーザが元のビデオを保存しないと選択した場合、生成された特殊効果フレームに対応する元のビデオフレームを削除して、上記の特殊効果フレームに置き換えることができる。その後、特殊効果フレームに置き換えた後の各ビデオフレームで構成されたビデオフレームストリームを用いて、上記の特殊効果ビデオを生成する。ユーザが元のビデオを保留すると選択した場合、特殊効果フレームに置き換えた後の特殊効果ビデオ及び元のビデオフレームで構成された元のビデオをそれぞれ生成することができ、このようにして、ユーザが後続で当該２つのビデオを比較し、更なる調整を行うのに便利である。
【0045】
本発明の実施例の技術的解決策によれば、端末自体の画像分割技術により、ビデオ内の異なるビデオフレームの目標対象を自動的に識別して分割して、他のビデオフレームにオーバーレイし、それにより、複雑なポストプロダクションツールや作成スキルを必要とせずに、複数の目標対象の「分身」効果を有するビデオ特殊効果を簡単かつ迅速に生成することができる。このように、再生中又は撮影中にプレビューする場合、特殊効果フレームを画面に直接表示し、特殊効果を表示することができ、それにより、端末のビデオ作成が容易になると同時に、ユーザの視聴体験を向上させることができる。
【0046】
いくつかの実施例において、前記ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することは、
ビデオのビデオフレーム内の目標対象を識別することと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定することと、を含む。
ビデオのビデオフレーム内の目標対象を識別することと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定することと、を含む。
【0047】
本発明の実施例において、画像識別技術により、ビデオフレーム内の目標対象を識別し、例えば、エッジ識別技術により、画像内の異なる対象を識別する。人像識別により、画像内の人物特徴を有する対象などを識別する。もちろん、ユーザの操作に従って、識別される目標対象を決定することもできる。例えば、エッジ識別技術により画像内の異なる対象のエッジを決定し、その後、ユーザによってクリックされた画像領域を介して、目標対象の主体領域を決定する。さらに例えば、ユーザがタッチなどの操作で描いたエッジグラフィックを受信し、エッジグラフィックで囲まれた領域を上記の目標対象の主体領域として決定する。
【0048】
目標対象が位置する主体領域を決定した後、主体領域エッジ以外の領域を上記の背景領域として決定することができる。このように、簡単な方式で画像内の目標対象を識別し、目標対象に従ってビデオ画像を主体領域及び背景領域に分割する。
【0049】
いくつかの実施例において、前記第１ビデオフレームは静止画フレームを含み、前記第２ビデオフレームは、前記静止画フレームの後のビデオフレームを含み、図２に示されたように、上記のステップＳ１０２において、前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することは、次のステップを含み得る。
【0050】
ステップＳ２０１において、前記ビデオのビデオフレームの中から、少なくとも１つの静止画フレームを選択する。
【0051】
ステップＳ２０２において、前記静止画フレームの前記主体領域を、前記第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成する。
【0052】
本発明の実施例において、ビデオから異なる位置にあるビデオフレームを静止画フレームとして選択することができ、静止画フレーム内の主体領域は、静止画フレームの後の他のビデオフレームをオーバーレイするために使用される。このように、ビデオの静止画フレーム内の目標対象は「静止画モーション」効果を形成することができ、即ち、静止画フレームの後の各ビデオフレームでは、静止画フレーム内の目標対象を常に表示する。
【0053】
１セグメントのビデオに複数の静止画フレームがある場合、ビデオの再生に伴い、静止画フレームが順次に現された後、ビデオ画面には、静止画「分身」が順次に現されることを理解することができる。例えば、目標対象が走っている人物であり、人物が走っている途中、一定間隔で１つの静止画フレームが現され、この場合、ビデオ画面内には異なる位置に固定された複数の人物の「分身」が順次に現され、それにより、「静止画分身」という特殊効果を実現する。
【0054】
上記の目標対象を識別し、静止画フレームを選択し、特殊効果フレームを生成するプロセスは、ビデオの録画が完了した後、ビデオファイルを処理するプロセス中に実行されてもよく、ビデオ録画中に、ビデオフレームを取得するとともにいつでも実行でき、主体領域がオーバーレイされた特殊効果フレームをプレビューインターフェイスに直接表示することができる。
【0055】
さらに、ビデオを録画するプロセス中、撮影パラメータを固定することができることにより、光線の変化による撮影パラメータの自動調整によって引き起こされる特殊効果フレームの歪みを軽減することができる。撮影パラメータは、ＩＳＯ（光感度）、露出時間、焦点距離及びホワイトバランスパラメータなどを含み得るが、これらに限定されない。
【0056】
このように、異なる時間間隔の静止画フレームを選択することにより、様々な分身効果を作成することができ、それにより、ビデオ全体の楽しさを高めることができる。それとともに、作成プロセスがシンプルで操作が簡単であり、ビデオ録画中に直接作成を行う場合、複雑なポストプロダクションを行う必要がなく、ビデオ撮影の楽しさを高め、人間と機械のインタラクションの体験を豊かにすることができる。
【0057】
いくつかの実施例において、前記ビデオのビデオフレームの中から、少なくとも１つの静止画フレームを選択することは、
前記ビデオを再生するプロセス中、所定の操作命令を検出することと、
前記所定の操作命令を検出したときに表示されるビデオフレームが前記静止画フレームであると決定することと、を含む。
前記ビデオを再生するプロセス中、所定の操作命令を検出することと、
前記所定の操作命令を検出したときに表示されるビデオフレームが前記静止画フレームであると決定することと、を含む。
【0058】
上記の静止画フレームを選択する方式は様々であり得、異なるビデオ特性又はユーザの好みに応じて、異なる方式を使用して静止画フレームを選択することができる。本実施例において、受信したユーザ操作に従って、静止画フレームを選択することができる。
【0059】
本発明の実施例において、ビデオ再生プロセスは、既存のビデオファイルの再生プロセスであってもよく、録画プロセス中のプレビュー再生プロセスであってもよい。既存のビデオファイルの再生プロセスであれば、ユーザのニーズに応じて異なる再生速度で再生することもでき、例えば、ユーザが選択操作を行うようにビデオを明確に表示するために、０．５倍速、０．１倍速で再生するなど、低速再生方法を使用することができ、ビデオフレームをフレームごとに切り替える方式で再生することもできる。録画中のプレビュー再生の場合、ユーザは、撮影中の被写体の実際の動き、又はユーザと被写体の間の相互作用に従って、静止画フレームを柔軟に選択することができる。
【0060】
端末は、所定の操作命令に従って静止画フレームを決定することができ、ユーザの操作命令が所定の操作命令であると検出した場合、端末は、現在表示されているビデオフレームを静止画フレームとして決定することができることを理解することができる。ここで、所定の操作命令は、クリック、ダブルクリック、上方向へのスワイプ、下方向へのスワイプ又は不規則なスワイプなどのタッチ操作命令など、所定のジェスチャのタッチ命令であってもよく、音量ボタンとオンオフボタンを同時に押すなどのボタン操作命令であってもよく、音声入力命令などであってもよい。
【0061】
このように、端末がビデオを録画している場合でも、既存のビデオファイルを再生している場合でも、ユーザは、簡単な操作で静止画フレームの選択を実現し、「静止画分身」特殊効果の作成を完了することができ、操作が簡単で便利である。
【0062】
いくつかの実施例において、前記ビデオのビデオフレームの中から、少なくとも１つの静止画フレームを選択することは、
前記ビデオ内の所定の時間間隔を有するビデオフレームを前記静止画フレームとして選択することを含む。
前記ビデオ内の所定の時間間隔を有するビデオフレームを前記静止画フレームとして選択することを含む。
【0063】
本実施例において、端末は、所定の時間間隔に従って静止画フレームを自動的に選択することができ、例えば、所定の時間間隔は１０秒であり、ビデオの録画又はビデオファイルの再生プロセス中、端末は、１０秒ごとに，再生されたビデオフレームを静止画フレームとして使用する。
【0064】
もちろん、このような方式は、再生中又はプレビュー中に実行されなくてもよく、ビデオの各ビデオフレームを再生するときのフレーム周波数は固定されているため、再生することなく、所定の時間間隔のビデオフレーム間のビデオフレーム数を決定することができる。つまり、ビデオフレーム数の間隔に従って、ビデオファイルの各静止画フレームを直接決定することができる。例えば、ビデオの再生フレーム周波数が毎秒３０フレームであり、上記の所定の時間間隔が１０秒である場合、ビデオ内の３００フレームごとに１つの静止画フレームを決定することができる。
【0065】
このように、簡単な設定で、端末を介して静止画フレームの選択を自動的に完了することができ、選択のためにビデオを繰り返し見ることを必要としなく、正確なユーザ操作も必要としない。
【0066】
いくつかの実施例において、前記ビデオのビデオフレームの中から、少なくとも１つの静止画フレームを選択することは、
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定することと、
連続するＮ（Ｎは２より大きいか等しい正の整数である）個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するＮ個のビデオフレームのうちの１つの前記ビデオフレームを前記静止画フレームとして選択することと、を含む。
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定することと、
連続するＮ（Ｎは２より大きいか等しい正の整数である）個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するＮ個のビデオフレームのうちの１つの前記ビデオフレームを前記静止画フレームとして選択することと、を含む。
【0067】
本発明の実施例において、ビデオのコンテンツを介して自動選択を行うこともできる。ビデオフレーム内の目標対象の姿勢を検出することにより、選択される静止画フレームを決定する。異なるタイプのビデオについては、パーソナライズして自動的に選択することができる。
【0068】
静止画分身のビデオ特殊効果の撮影を行うプロセスでは、被写体及びユーザは、自律的に取ったポーズを静止画分身の動作として使用することができる。即ち、被写体が動いているときに、静止画分身効果を出したいときに特定の姿勢をとり、一定時間動きを止めてから動き続けることができる。
【0069】
このように、端末は、撮影画面内の目標対象の姿勢が連続するＮ個のビデオフレームで変化するかどうかに従って、静止画フレームを選択することができる。
【0070】
被写体は動きのないＮ個のビデオフレームで完全に変化しない姿勢を維持できない可能性があるため、ここでの「同じ姿勢」とは、所定の範囲を超えない動きを指すが、目標対象のわずかな揺れやまばたき、指の振りなどの体の部分の小さな動きに限定されないことを理解することができる。
【0071】
このように、目標対象の姿勢を識別することにより静止画フレームを選択し、ユーザが手動で選択する必要がないだけでなく、ビデオコンテンツの自動パーソナライズされた選択を実現できるため、ビデオ作成プロセスの柔軟性及び自動化程度が向上し、人間と機械のインタラクションの体験が向上する。
【0072】
いくつかの実施例において、前記ビデオのビデオフレームの中から、少なくとも１つの静止画フレームを選択することは、
前記ビデオフレーム内の前記目標対象の位置を決定することと、
前記目標対象の位置と前の静止画フレーム内の目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが前記静止画フレームであると決定することと、を含む。
前記ビデオフレーム内の前記目標対象の位置を決定することと、
前記目標対象の位置と前の静止画フレーム内の目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが前記静止画フレームであると決定することと、を含む。
【0073】
上記の実施例における方式と同様に、本実施例において、ビデオ画面に従って静止画フレームの選択を行い、各ビデオフレーム内の目標対象の位置に従って、固定距離の目標対象が位置するビデオフレームを静止画フレームとして選択する。例えば、目標対象の位置と前の静止画フレームの位置との間の距離が所定の距離であるたびに、現在のビデオフレームを静止画フレームとして選択し、それにより、複数の静止画をビデオ画面に均等に分布させることができる。
【0074】
本発明の実施例における上記のいくつかの静止画フレームを選択する方式は、実際の応用では、そのうちの１つを固定的に使用してもよいし、ユーザの設定に従って随時に切り替えてもよいし、同じビデオの作成で上記のいくつかの方式を同時に使用して選択してもよいことに留意されたい。このように、より多様な操作を実現することができ、自動と手動の組み合わせは、より豊かな特殊効果を作成するのに便利である。
【0075】
一実施例において、ビデオの録画を始める前に、プロンプト情報を表示し、プロンプト情報は、静止画フレームの自動選択機能をオンにするかどうかをユーザに確認するために使用される。受信したユーザ命令が、静止画フレームの自動選択機能をオンにすると決定した命令である場合、録画中に、上記の少なくとも１つの方式に従って、静止画フレームの自動選択を実行する。上記の少なくとも１つの方式は、目標対象の位置、姿勢又はビデオ内の所定の時間間隔に従って、静止画フレームを自動的に選択することを含む。
【0076】
別の実施例において、ビデオの録画を始める前に、ユーザ命令に従って、録画中に特殊効果フレームを作成する機能をオンにするか否かを決定することができ、特殊効果フレームを作成する機能がオンにすると、上記のプロンプト情報が表示される。
【0077】
このように、ユーザは、実際のニーズ、撮影しようとするビデオのタイプ及びコンテンツに従って、静止画フレームの自動選択をオンにするかどうか、及びどの方式で自動選択を実行するかを選択することができる。もちろん、ユーザは、ビデオの録画を始める前に、手動選択方式で静止画フレームを選択するか否かを決定することもできる。手動選択方式をデフォルト方式として使用することもでき、録画中の特殊効果フレームを作成する機能がオンになっている限り、デフォルトで手動選択方式を使用して静止画フレームを決定する。
【0078】
いくつかの実施例において、前記ビデオ処理方法は、
前記第１ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することをさらに含み、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用され、
前記少なくとも１つのビデオフレーム内の前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームにオーバーレイして、前記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成することは、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成することを含む。
前記第１ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することをさらに含み、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用され、
前記少なくとも１つのビデオフレーム内の前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームにオーバーレイして、前記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成することは、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成することを含む。
【0079】
本発明の実施例において、静止画フレームを決定した後、静止画フレームの目標対象が位置する主体領域を静止画フレームの後の各ビデオフレームにオーバーレイすることにより、「静止画」の効果を実現することができる。背景領域をオーバーレイするする必要がなく、このように、「静止画分身」が位置する領域を除いて、他の領域は、依然としてビデオの再生に伴って変化し、それにより、視覚的に実際の物理法則を超える非現実感を生み出し、特殊効果の視覚的な影響をもたらす。
【0080】
主体領域をオーバーレイして特殊効果フレームを生成するプロセスにおいて、連続するビデオでの主体領域の静止画効果を実現するために、主体領域を特殊効果フレームの指定された位置にオーバーレイする必要があることを理解することができる。したがって、ここでは、元のビデオフレーム、即ち静止画フレームにおける目標対象の位置に従って、主体領域の位置合わせパラメータを決定する。特殊効果フレームを生成する後続のプロセスにおいて、主体領域の位置合わせパラメータに従って、主体領域をオーバーレイする位置を決定し、それにより、特殊効果フレーム上の「静止画分身」の位置を静止画フレーム内の目標対象の位置と一致させる。
【0081】
いくつかの実施例において、前記第１ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することは、
前記ビデオのビデオフレームのうちの１つのビデオフレームを参照フレームとして選択することと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定することと、を含む。
前記ビデオのビデオフレームのうちの１つのビデオフレームを参照フレームとして選択することと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定することと、を含む。
【0082】
上記の位置合わせパラメータは、ビデオの参照フレームを基準として決定することができ、例えば、ビデオフレームの第１フレーム、又は最初の静止画フレームなどを参照フレームとして選択し、その後、参照フレームに対する後続の静止画フレーム及び参照フレームの目標対象の位置オフセットに従って、対応する位置合わせパラメータを決定することができる。このように、各静止画フレームの位置合わせパラメータはすべて、ビデオの参照フレームの相対位置に従って決定され、それにより、異なるビデオフレーム内の目標対象位置の連続性を維持する。
【0083】
つまり、本願実施例では、ビデオ画面全体の絶対位置ではなく、相対位置関係を使用し、このようにして、画面が揺れるなどの状況による位置ずれを低減することができ、それにより、特殊効果フレームの画面がよりスムーズになる。このように、ユーザが直接端末を持って撮影するとき、少し揺れても特殊効果フレームの画面効果に影響を与えないため、三脚などの固定ツールを使用して端末を固定する必要がない。
【0084】
いくつかの実施例において、前記第２ビデオフレームは、前記静止画フレームの前のビデオフレームであり、図３に示されたように、上記のステップＳ１０２において、前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成することは、次のステップを含む。
【0085】
ステップＳ３０１において、前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記第１ビデオフレームの前の少なくとも１つの第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成する。
【0086】
上記の実施例において、ビデオ録画中、又は録画済みのビデオファイルの再生中に、「静止画分身」がますます多くなる特殊効果が表示される。
【0087】
本発明の実施例において、録画済みのビデオファイルに対して、後続で特殊効果を調整することもでき、これにより、「静止画が減少する」という特殊効果を実現することができる。
【0088】
ビデオの初期作成又は録画中に、上記の実施例における方法により複数の静止画フレームを既に決定したため、ポストプレイの過程で、異なる位置にあるビデオフレームで、オーバーレイされた静止画フレームの主体領域を調整することができる。例えば、静止画フレームの前のビデオフレームで静止画フレームの主体領域をオーバーレイし、静止画フレームの後のビデオフレームで静止画フレームの主体領域をオーバーレイしなくなる。
【0089】
このように、ビデオ画面の最初に、複数の固定した目標対象が表示され、その後、ビデオ再生中に、目標対象が移動するにつれて、「静止画分身」を徐々に減少する。即ち、目標対象が「静止画分身」が位置する位置に移動するたびに、当該「静止画分身」は消え、目標対象とともに移動し続ける。
【0090】
このように、端末を使用して様々な特殊効果効果を作成することにより、ビデオの楽しさを高め、より豊かなビデオ作品の撮影を容易にすることができる。
【0091】
本発明の実施例は、次の例をさらに提供する。
【0092】
静止画分身特殊効果は、ビデオの編集によって作成され、同一人物の複数の静止画影像をビデオ画面に同時に表示させ、人物の位置変化に伴って静止画を増加又は減少させることができる。
【0093】
本発明の実施例において、ビデオ画面の目標識別及び画像分割技術などを含む、人工知能技術を使用して、ビデオ画面内の目標対象の主体領域の識別を実現する。また、位置合わせ技術により、主体領域の位置及びオーバーレイの時点などを自動的に計算する。このようにして、撮影中にビデオ結果をリアルタイムでプレビューし、特殊効果画面を有するビデオを迅速に生成することができる。携帯電話などのユーザ端末を介して映像を直接入手することができ、専門家がポストビデオ編集ツールを使用することを必要としなく、作成コストが低く、かかる時間も短く、幅広く適用できる。
【0094】
さらに、本願実施例において、参照フレームとの相対位置を使用して主体領域の位置合わせパラメータを決定する方法は、撮影中における揺れによる位置ずれを減少することができるため、三脚などの固定ツールを使わずに手持ち撮影が可能である。
【0095】
本発明の実施例において、図４に示されるように、端末を使用して上記の静止画分身特殊効果を有するビデオを録画するプロセスは、次のステップを含む。
【0096】
ステップＳ４０１において、カメラ機能をオンにした後、プレビューインターフェイスにプレビュー画面を表示する。
【0097】
ステップＳ４０２において、受信した命令に従って録画状態に入り、ビデオ画面の録画を始める。
【0098】
ステップＳ４０３において、録画したビデオ画面、及び生成した特殊効果フレームをプレビューインターフェイスに表示して、効果プレビューを実現する。
【0099】
ステップＳ４０４において、受信した切り替え命令に従って、静止画分身モードを切り替え、静止画分身モードで特殊効果フレームをプレビュー表示し、非静止画分身モードで、元のビデオフレームをプレビュー表示する。
【0100】
ステップＳ４０５において、ビデオフレーム及び特殊効果フレームを保存して、ビデオファイルを取得する。
【0101】
上記の特殊効果フレームを作成するプロセスは、図５に示されたフローチャートによって実現することができる。現在処理中のビデオが第１フレームであると、第１フレームの撮影パラメータをロックする。撮影パラメータは、ＩＳＯ、露出時間、焦点距離及びホワイトバランスパラメータなどを含み得るが、これらに限定されない。同時に、静止画選択モジュールを初期化して、静止画フレームを選択するための選択方法及びストレージスペースなどを提供する。また、第１フレームを参照フレームとして決定し、参照フレームに従って後続で目標対象位置を決定するための位置合わせモジュールを生成することもできる。
【0102】
現在処理中のビデオフレームが第１フレームの後の任意のフレーム、例えば、ｉ番目のフレームである場合、画像分割技術を使用して、当該フレームの目標対象が位置する主体領域ｍａｓｋ ｉを取得する。位置合わせモジュールを使用して当該フレーム内の目標対象の位置合わせパラメータＷｉを決定する。
【0103】
現在のフレームの番号ｉ及び主体領域ｍａｓｋ ｉを静止画選択モジュールに追加し、静止画選択モジュールは、プリセットされた選択ルールに従って、現在のフレーム又はその前の特定のフレームを新しい静止画フレームとして追加するか否かを決定する。選択ルールは、次のルールを含み得る。
【0104】
第１ルールにおいて、時間に従って静止画フレームを選択する。例えば、現在のフレームを１秒ごとに１つの静止画フレームとして自動的に追加する。
【0105】
第２ルールにおいて、受信したユーザ操作に従って静止画フレームを選択する。例えば、タッチスクリーンを介してユーザクリック操作を受信した場合、クリックしたときのビデオフレームを静止画フレームとして選択する。
【0106】
第３ルールにおいて、ビデオフレームにおける目標対象の位置に従って、静止画フレームを自動的に選択する。例えば、目標対象の位置と前の静止画フレームの位置との間の距離が所定の距離であるたびに、現在のビデオフレームを静止画フレームとして選択し、それにより、複数の静止画をビデオ画面に均等に分布させることができる。
【0107】
第４ルールにおいて、ビデオにおける目標対象の位置及び時間に従って、静止画フレームを自動的に選択する。例えば、連続するＮ個のビデオフレーム内の目標対象が１つの位置に留まると、当該Ｎ個のビデオフレームのうちの１つを静止画フレームとして選択し、それにより、被写体の意志に応じた自動的な静止画を実現することができる。
【0108】
静止画フレームを選択した後、各静止画フレーム内の目標対象の位置合わせパラメータを介して、静止画フレームの後の各ビデオフレームに目標対象の主体領域ｍａｓｋを描画し、それにより、複数の静止画分身を有する特殊効果フレームを生成する。
【0109】
本発明の実施例において、録画が終了した後に、ビデオを処理して、静止画増加および静止画減少の異なる効果を含む、特殊効果効果を生成することができる。静止画減少の効果は図６Ａに示される通りであり、静止画フレーム内の目標対象が位置する主体領域を、静止画フレームの前の各ビデオフレームにオーバーレイすることにより、再生中に静止画を徐々に低減する効果が得られる。静止画増加の効果は図６Ｂに示される通りであり、静止画フレーム内の目標対象が位置する主体領域を、静止画フレームの後の各ビデオフレームにオーバーレイすることにより、再生中に静止画を徐々に増加する効果が得られる。
【0110】
本発明の実施例の技術的技術的解決策によれば、人工知能技術により複雑なビデオ特殊効果編集アルゴリズムを端末の製品機能に統合し、ユーザは、撮影中に、合成された特殊効果をリアルタイムでプレビューし、プレビューフィードバックに応じて撮影プロセスを随時に調整でき、撮影終了後に特殊効果を有するビデオファイルを取得することができ、それにより、ユーザの使用体験を効率的に向上させる。
【0111】
図７は、一例示的な実施例によるビデオ処理装置の構造のブロック図であり、図７に示されたように、前記ビデオ処理装置７００は端末に適用され、前記ビデオ処理装置は、
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定するように構成される第１決定モジュール７０１と、
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成するように構成される生成モジュール７０２と、を備える。
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定するように構成される第１決定モジュール７０１と、
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも１つの第２ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも２つの主体領域を同時に含む特殊効果フレームを生成するように構成される生成モジュール７０２と、を備える。
【0112】
いくつかの実施例において、前記第１決定モジュールは、
ビデオのビデオフレーム内の目標対象を識別するように構成される識別サブモジュールと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定するように構成される第１決定サブモジュールと、を備える。
ビデオのビデオフレーム内の目標対象を識別するように構成される識別サブモジュールと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定するように構成される第１決定サブモジュールと、を備える。
【0113】
いくつかの実施例において、前記第１ビデオフレームは静止画フレームを含み、前記第２ビデオフレームは、前記静止画フレームの後のビデオフレームを含み、
前記生成モジュールは、
前記ビデオのビデオフレームの中から、少なくとも１つの前記静止画フレームを選択するように構成される第１選択サブモジュールと、
前記静止画フレームの前記主体領域を、前記第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成するように構成される生成サブモジュールと、を備える。
前記生成モジュールは、
前記ビデオのビデオフレームの中から、少なくとも１つの前記静止画フレームを選択するように構成される第１選択サブモジュールと、
前記静止画フレームの前記主体領域を、前記第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成するように構成される生成サブモジュールと、を備える。
【0114】
いくつかの実施例において、前記第１選択サブモジュールは、
前記ビデオを再生するプロセス中、所定の操作命令を検出するように構成される検出サブモジュールと、
前記所定の操作命令を検出したときに表示されるビデオフレームが前記静止画フレームであると決定するように構成される第２決定サブモジュールと、を備える。
前記ビデオを再生するプロセス中、所定の操作命令を検出するように構成される検出サブモジュールと、
前記所定の操作命令を検出したときに表示されるビデオフレームが前記静止画フレームであると決定するように構成される第２決定サブモジュールと、を備える。
【0115】
いくつかの実施例において、前記第１選択サブモジュールは、具体的に、
前記ビデオ内の所定の時間間隔を有するビデオフレームを前記静止画フレームとして選択するように構成される。
前記ビデオ内の所定の時間間隔を有するビデオフレームを前記静止画フレームとして選択するように構成される。
【0116】
いくつかの実施例において、前記第１選択サブモジュールは、
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定するように構成される第３決定サブモジュールと、
連続するＮ（Ｎは２より大きいか等しい正の整数である）個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するＮ個のビデオフレームのうちの１つの前記ビデオフレームを前記静止画フレームとして選択するように構成される第２選択サブモジュールと、を備える。
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定するように構成される第３決定サブモジュールと、
連続するＮ（Ｎは２より大きいか等しい正の整数である）個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するＮ個のビデオフレームのうちの１つの前記ビデオフレームを前記静止画フレームとして選択するように構成される第２選択サブモジュールと、を備える。
【0117】
いくつかの実施例において、前記第１選択サブモジュールは、
前記ビデオフレーム内の前記目標対象の位置を決定するように構成される第４決定サブモジュールと、
前記目標対象の位置と前の静止画フレーム内の目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが前記静止画フレームであると決定するように構成される第５決定サブモジュールと、を備える。
前記ビデオフレーム内の前記目標対象の位置を決定するように構成される第４決定サブモジュールと、
前記目標対象の位置と前の静止画フレーム内の目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが前記静止画フレームであると決定するように構成される第５決定サブモジュールと、を備える。
【0118】
いくつかの実施例において、前記ビデオ処理装置はさらに、
前記第１ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定するように構成される第２決定モジュールを備え、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用され、
前記生成モジュールは、具体的に、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成するように構成される。
前記第１ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定するように構成される第２決定モジュールを備え、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用され、
前記生成モジュールは、具体的に、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも１つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する２つの主体領域を同時に含む特殊効果フレームを生成するように構成される。
【0119】
いくつかの実施例において、前記第２決定モジュールは、
前記ビデオのビデオフレームのうちの１つのビデオフレームを参照フレームとして選択するように構成される第３選択サブモジュールと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定するように構成される第６決定サブモジュールと、を備える。
前記ビデオのビデオフレームのうちの１つのビデオフレームを参照フレームとして選択するように構成される第３選択サブモジュールと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定するように構成される第６決定サブモジュールと、を備える。
【0120】
いくつかの実施例において、前記第２ビデオフレームは、前記静止画フレームの前のビデオフレームを含み、前記生成モジュールは、具体的に、
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記第１ビデオフレームの前の少なくとも１つの第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成するように構成される。
前記目標対象を有する少なくとも１つの第１ビデオフレーム内の前記主体領域を、前記第１ビデオフレームの前の少なくとも１つの第２ビデオフレームにオーバーレイして、前記特殊効果フレームを生成するように構成される。
【0121】
上述の実施例の装置に関して、装置の各モジュールが動作を実行する具体的な方法は、既に、前記方法に関する実施例で詳細に説明されており、ここでは詳細に説明しない。
【0122】
図８は、一例示的な実施例による端末８００のブロック図である。例えば、端末８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などであってもよい。
【0123】
図８を参照すると、端末８００は、処理コンポーネント８０１、メモリ８０２、電力コンポーネント８０３、マルチメディアコンポーネント８０４、オーディオコンポーネント８０５、入力／出力（Ｉ／Ｏ）インターフェース８０６、センサコンポーネント８０７、及び通信コンポーネント８０８のうちの１つまたは複数のコンポーネントを備えることができる。
【0124】
処理コンポーネント８０１は、一般的に、端末８００の全体的な動作、例えば、ディスプレイ、電話の呼び出し、データ通信、カメラ操作及び記録操作に関する動作を制御する。処理コンポーネント８０１は、上記の方法のステップのすべてまたは一部を完了するための命令を実行するための１つまたは複数のプロセッサ８１０を備えることができる。加えて、処理コンポーネント８０１はさらに、処理コンポーネント８０１と他のコンポーネントの間のインタラクションを容易にするための１つまたは複数のモジュールを備えることができる。例えば、処理コンポーネント８０１は、マルチメディアコンポーネント８０４と処理コンポーネント８０１との間のインタラクションを容易にするためのマルチメディアモジュールを備えることができる。
【0125】
メモリ８０２は、端末８００での動作をサポートするために、様々なタイプのデータを格納するように構成される。これらのデータの例には、端末８００で動作する任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。メモリ８０２は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク、または光ディスクなど、あらゆるタイプの揮発性または不揮発性ストレージデバイスまたはそれらの組み合わせによって実現されることができる。
【0126】
電力コンポーネント８０３は、端末８００の様々なコンポーネントに電力を提供する。電力コンポーネント８０３は、電力管理システム、１つまたは複数の電源、及び端末８００のための電力の生成、管理および分配に関する他のコンポーネントを備えることができる。
【0127】
マルチメディアコンポーネント８０４は、前記端末８００とユーザとの間の出力インターフェースとして提供されるスクリーンを備える。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を備えることができる。スクリーンがタッチパネルを備える場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実装されることができる。タッチパネルは、タッチ、スワイプ及びタッチパネルでのジェスチャーを検知するための１つまたは複数のタッチセンサを備える。前記タッチセンサは、タッチまたはスワイプの操作の境界を感知するだけでなく、前記タッチまたはスワイプ動作に関連する持続時間及び圧力も検出することができる。いくつかの実施例において、マルチメディアコンポーネント８０４は、１つのフロントカメラおよび／またはリアカメラを備える。端末８００が撮影モードまたはビデオモードなどの動作モードにあるとき、フロントカメラおよび／またはリアカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラ及び／又はリアカメラは、固定された光学レンズシステムであってもよく、焦点距離と光学ズーム機能を有するものであってもよい。
【0128】
オーディオコンポーネント８０５は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８０５は、１つのマイクロフォン（ＭＩＣ）を備え、端末８００が通話モード、録音モード及び音声認識モードなどの動作モードにあるとき、マイクロフォンは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ８１０にさらに記憶されてもよく、または通信コンポーネント８０８を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント８０５は、さらに、オーディオ信号を出力するためのスピーカを備える。
【0129】
Ｉ／Ｏインターフェース８０６は、処理コンポーネント８０１と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを備えることができるが、これらに限定されない。
【0130】
センサコンポーネント８０７は、端末８００に各態様の状態の評価を提供するための１つまたは複数のセンサを備える。例えば、センサコンポーネント８０７は、端末８００のオン／オフ状態と、端末８００のディスプレイやキーパッドなどのコンポーネントの相対的な位置づけを検出することができ、センサコンポーネント８０７はまた、端末８００または端末８００のコンポーネントの位置の変化、ユーザとの端末８００の接触の有無、端末８００の向きまたは加速／減速、及び端末８００の温度の変化も検出することができる。センサコンポーネント８０７は、物理的接触なしに近くの物体の存在を検出するように構成された近接センサを備えることができる。センサコンポーネント８０７はまた、撮像用途で使用するためのＣＭＯＳまたはＣＣＤ画像センサなどの光センサをさらに備えることができる。いくつかの実施例において、当該センサコンポーネント８０７は、さらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを備えることができる。
【0131】
通信コンポーネント８０８は、端末８００と他の装置の間の有線または無線通信を容易にするように構成される。端末８００は、ＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例において、前記通信コンポーネント８０８は、放送チャンネルを介して外部放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント８０８は、さらに、短距離通信を促進するために、近距離通信（ＮＦＣ）モジュールを備える。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術又は他の技術に基づいて具現することができる。
【0132】
例示的な実施例において、端末８００は、上記の方法を実行するように構成される、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子素子によって具現されることができる。
【0133】
例示的な実施例において、命令を含むメモリ８０２など、命令を含む非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、前記命令は、端末８００のプロセッサ８１０によって実行されて上記の方法を完了することができる。例えば、前記非一時的なコンピュータ読み取り可能な記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスクおよび光学データ記憶装置などであってもよい。
【0134】
本発明の実施例は、非一時的なコンピュータ可読記憶媒体をさらに提供し、前記記憶媒体の命令がモバイル端末のプロセッサによって実行されるときに、モバイル端末に、上記の任意の実施例で提供された方法を実行させることができる。
【0135】
当業者は、明細書を考慮して、本明細書に開示された発明を実施した後に、本発明の他の実施形態を容易に想到し得るであろう。本願は、本発明のあらゆる変形、応用または適応性変化を網羅することを意図し、これらの変形、応用または適応性変化は、本発明の普通の原理に準拠し、本発明によって開示されない本技術分野における公知知識または従来の技術的手段を含む。明細書と実施例は、例示としてのみ考慮され、本発明の真の範囲および思想は添付の特許請求の範囲によって示される。
【0136】
本発明は、上記に既に説明し且つ図面に示した正確な構造に限定されるものではなく、その範囲から逸脱することなく様々な修正及び変更を行うことができることを理解されたい。本発明の範囲は、添付の特許請求の範囲によってのみ制限される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
