特許 7467780 画像処理方法、装置、デバイス及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-05

(45)【発行日】2024-04-15

(54)【発明の名称】画像処理方法、装置、デバイス及び媒体

(51)【国際特許分類】

   H04N 5/265 20060101AFI20240408BHJP

【ＦＩ】

H04N5/265

【請求項の数】 15

(21)【出願番号】P 2023548283

(86)(22)【出願日】2022-02-09

(65)【公表番号】

(43)【公表日】2024-02-06

(86)【国際出願番号】 CN2022075622

(87)【国際公開番号】W WO2022171114

(87)【国際公開日】2022-08-18

【審査請求日】2023-08-09

(31)【優先権主張番号】202110180571.8

(32)【優先日】2021-02-09

(33)【優先権主張国・地域又は機関】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】521431088

【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｚｉｔｉａｏ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】０２０７， ２／Ｆ， Ｂｕｉｌｄｉｎｇ ４， Ｚｉｊｉｎ Ｄｉｇｉｔａｌ Ｐａｒｋ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ，Ｐ． Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】イエ，シンジン

(72)【発明者】

【氏名】ウ，ジュンション

(72)【発明者】

【氏名】リュ，ハイタオ

(72)【発明者】

【氏名】ガオ，シイ

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２００５－２６１６４２（ＪＰ，Ａ）

【文献】特開２００６－０１４８７５（ＪＰ，Ａ）

【文献】中国特許出願公開第１０７９１１６１４（ＣＮ，Ａ）

【文献】中国特許出願公開第１１０１８９２４６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２６２－５／２７８

(57)【特許請求の範囲】

【請求項1】

画像処理方法であって、
初期ビデオ画像において、第１認識オブジェクトの動き状態を特定するステップと、
前記第１認識オブジェクトの動き状態に基づいて、素材オブジェクトの動き状態を特定するステップと、
前記素材オブジェクトの動き状態が第１状態に属する場合、前記素材オブジェクトの動き状態に応じて、前記素材オブジェクトと第１スタイルビデオ画像とを合成して第１ターゲットビデオ画像を得るステップと、
前記素材オブジェクトの動き状態が第２状態に属する場合、前記素材オブジェクトの動き状態に応じて、前記素材オブジェクトと第２スタイルビデオ画像とを合成して第２ターゲットビデオ画像を得るステップと、を含み、
前記第１スタイルビデオ画像及び前記第２スタイルビデオ画像は、前記初期ビデオ画像に基づいて得られた、異なるスタイル化された画像である、
ことを特徴とする方法。

【請求項2】

前記第１状態は、前記素材オブジェクトと前記初期ビデオ画像における第２認識オブジェクトとが第１位置関係を満すことを表し、前記第２状態は、前記素材オブジェクトと前記初期ビデオ画像における第２認識オブジェクトとが第２位置関係を満すことを表す、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記第１位置関係は具体的に、前記素材オブジェクトが前記第２認識オブジェクトの前景に位置することであり、前記第２位置関係は具体的に、前記素材オブジェクトが前記第２認識オブジェクトの背景に位置することである、
ことを特徴とする請求項２に記載の方法。

【請求項4】

前記第１スタイルビデオ画像は、前記初期ビデオ画像がスタイル移行処理された画像であり、前記第２スタイルビデオ画像は、前記初期ビデオ画像である、
ことを特徴とする請求項１に記載の方法。

【請求項5】

前記第１認識オブジェクトの動き状態は、
前記第１認識オブジェクトのターゲット移動方向に沿った移動状態と、
前記第１認識オブジェクトのターゲットオブジェクト姿勢への姿勢変化状態と、
前記第１認識オブジェクトのターゲット回転方向に沿った回転状態と、のいずれか１つを含む、
ことを特徴とする請求項１に記載の方法。

【請求項6】

初期ビデオ画像において、第１認識オブジェクトの動き状態を特定する前記ステップは、
前記初期ビデオ画像において、前記第１認識オブジェクトの表示パラメータ変数を検出するステップと、
前記表示パラメータ変数に基づいて、前記第１認識オブジェクトの動き状態を特定するステップと、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項7】

初期ビデオ画像において、第１認識オブジェクトの動き状態を特定する前記ステップの前に、前記方法はさらに、
前記初期ビデオ画像において、前記第１認識オブジェクトのオブジェクト姿勢を検出するステップを含み、
初期ビデオ画像において、第１認識オブジェクトの動き状態を特定する前記ステップは、
前記第１認識オブジェクトのオブジェクト姿勢がターゲット姿勢である場合、前記初期ビデオ画像において、前記第１認識オブジェクトの動き状態を特定するステップを含む、
ことを特徴とする請求項１に記載の方法。

【請求項8】

前記第１認識オブジェクトの動き状態に基づいて、素材オブジェクトの動き状態を特定する前記ステップの前に、前記方法はさらに、
素材オブジェクトのテンプレートビデオにおいて、前記第１認識オブジェクトの動き状態に対応するターゲットテンプレートビデオ画像を選択するステップを含み、
前記第１認識オブジェクトの動き状態に基づいて、素材オブジェクトの動き状態を特定する前記ステップは、
前記ターゲットテンプレートビデオ画像における前記素材オブジェクトの動き状態を前記素材オブジェクトの動き状態とするステップを含む、
ことを特徴とする請求項１に記載の方法。

【請求項9】

素材オブジェクトのテンプレートビデオにおいて、前記第１認識オブジェクトの動き状態に対応するターゲットテンプレートビデオ画像を選択する前記ステップは、
前記第１認識オブジェクトの動き状態に対応するターゲットジャンプフレーム数を特定するステップと、
前記ターゲットジャンプフレーム数に基づいて、前記第１認識オブジェクトの動き状態に対応するターゲットビデオフレーム番号を特定するステップと、
前記素材オブジェクトのテンプレートビデオにおける、前記ターゲットビデオフレーム番号に対応するテンプレートビデオ画像を、前記ターゲットテンプレートビデオ画像とするステップと、を含む、
ことを特徴とする請求項８に記載の方法。

【請求項10】

前記ターゲットテンプレートビデオ画像における前記素材オブジェクトの動き状態を前記素材オブジェクトの動き状態とする前記ステップは、
前記素材オブジェクトの前記ターゲットビデオフレーム番号での動き状態を前記素材オブジェクトの動き状態とするステップを含む、
ことを特徴とする請求項９に記載の方法。

【請求項11】

前記素材オブジェクトは、動く素材オブジェクトと固定素材オブジェクトとを含み、前記素材オブジェクトの動き状態は、動く素材オブジェクトの動き状態である、
ことを特徴とする請求項１に記載の方法。

【請求項12】

画像処理装置であって、
初期ビデオ画像において、第１認識オブジェクトの動き状態を特定するように配置される第１処理ユニットと、
前記第１認識オブジェクトの動き状態に基づいて、素材オブジェクトの動き状態を特定するように配置される第２処理ユニットと、
前記素材オブジェクトの動き状態が第１状態に属する場合、前記素材オブジェクトの動き状態に応じて、前記素材オブジェクトと第１スタイルビデオ画像とを合成して第１ターゲットビデオ画像を得るように配置される第１合成ユニットと、
前記素材オブジェクトの動き状態が第２状態に属する場合、前記素材オブジェクトの動き状態に応じて、前記素材オブジェクトと第２スタイルビデオ画像とを合成して第２ターゲットビデオ画像を得るように配置される第２合成ユニットと、
を含み、
前記第１スタイルビデオ画像及び前記第２スタイルビデオ画像は、前記初期ビデオ画像に基づいて得られた、異なるスタイル化された画像である、
ことを特徴とする装置。

【請求項13】

画像処理デバイスであって、
プロセッサと、
実行可能な指令を記憶するためのメモリと、
を含み、
前記プロセッサは、前記メモリから前記実行可能な指令を読み取って実行して、請求項１から１１のいずれか１項に記載の画像処理方法を実現するために用いられる、
ことを特徴とする画像処理デバイス。

【請求項14】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されるとき、請求項１から１１のいずれか１項に記載の画像処理方法をプロセッサに実現させる、
ことを特徴とするコンピュータ可読記憶媒体。

【請求項15】

請求項１から１１のいずれか１項に記載の画像処理方法をコンピュータに実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年０２月０９日に中国国家知識産権局に提出された、出願番号が２０２１１０１８０５７１．８であって、出願の名称が「画像処理方法、装置、デバイス及び媒体」である中国特許出願に基づく優先権を主張するものであり、その全内容を援用により本出願に組み込む。
［技術分野］
本開示は、マルチメディア技術の分野に関し、特に、画像処理方法、装置、デバイス及び媒体、プログラム製品に関する。

【背景技術】

【0002】

コンピュータ技術及び移動通信技術の急速な発展に伴い、電子デバイスに基づいた各種のビデオプラットフォームが広く使用されており、人々の日常生活を大いに充実する。ますます多くのユーザは、他のユーザが視聴するように、ビデオプラットフォームで自分のビデオ作品を喜んで共有する。

【0003】

ビデオを作成する場合、ユーザはまず、素材に対して一連の複雑な素材編集操作を行う必要があり、そして、編集後の素材に対してビデオクリップ操作を行い、最終的に１つのビデオ作品を生成する。ユーザは素材の編集が得意でないと、ビデオ作成の時間コストが高くなるだけでなく、ビデオ作品の品質も保証できず、ユーザの体験を低下させる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した技術的課題を解決するために、または、上述した技術的課題を少なくとも部分的に解決するために、本開示は、画像処理方法、装置、デバイス、媒体及びコンピュータプログラム製品を提供する。

【課題を解決するための手段】

【0005】

第１態様によれば、本開示は、画像処理方法であって、
初期ビデオ画像において、第１認識オブジェクトの動き状態を特定するステップと、
第１認識オブジェクトの動き状態に基づいて、素材オブジェクトの動き状態を特定するステップと、
素材オブジェクトの動き状態が第１状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第１スタイルビデオ画像とを合成して第１ターゲットビデオ画像を得るステップと、
素材オブジェクトの動き状態が第２状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第２スタイルビデオ画像とを合成して第２ターゲットビデオ画像を得るステップと、を含み、
第１スタイルビデオ画像及び第２スタイルビデオ画像は、初期ビデオ画像に基づいて得られた、異なるスタイル化された画像である方法を提供する。

【0006】

第２態様によれば、本開示は、画像処理装置であって、
初期ビデオ画像において、第１認識オブジェクトの動き状態を特定するように配置される第１処理ユニットと、
第１認識オブジェクトの動き状態に基づいて、素材オブジェクトの動き状態を特定するように配置される第２処理ユニットと、
素材オブジェクトの動き状態が第１状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第１スタイルビデオ画像とを合成して第１ターゲットビデオ画像を得るように配置される第１合成ユニットと、
素材オブジェクトの動き状態が第２状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第２スタイルビデオ画像とを合成して第２ターゲットビデオ画像を得るように配置される第２合成ユニットと、を含み、
第１スタイルビデオ画像及び第２スタイルビデオ画像は、初期ビデオ画像に基づいて得られた、異なるスタイル化された画像である装置を提供する。

【0007】

第３態様によれば、本開示は、画像処理デバイスであって、
プロセッサと、
実行可能な指令を記憶するためのメモリと、
を含み、
プロセッサは、第１態様に記載の画像処理方法を実現するように、メモリから実行可能な指令を読み取って実行するために用いられる画像処理デバイスを提供する。

【0008】

第４態様によれば、本開示は、プロセッサによって実行されるとき、第１態様に記載の画像処理方法をプロセッサに実現させるコンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供する。

【0009】

第５態様によれば、本開示は、デバイス上で実行されるとき、上記の第１態様に記載の画像処理方法をデバイスに実行させる、指令を含むコンピュータプログラム製品を提供する。

【0010】

本開示の実施例によって提供される技術案は、従来技術と比較すれば、以下のような利点を有する。
本開示の実施例の画像処理方法、装置、デバイス及び媒体は、初期ビデオ画像において、第１認識オブジェクトの動き状態を特定し、第１認識オブジェクトの動き状態に基づいて、素材オブジェクトの動き状態を特定し、そして、素材オブジェクトの動き状態を判断し、素材オブジェクトの動き状態が第１状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第１スタイルビデオ画像とを合成して第１ターゲットビデオ画像を得、素材オブジェクトの動き状態が第２状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第２スタイルビデオ画像とを合成して第２ターゲットビデオ画像を得ることができるので、自動的にビデオ素材としての初期ビデオ画像に対して素材編集を行って編集後の合成画像を得ることができ、ユーザが素材編集を手動で行う必要がなく、これにより、ビデオ作成の時間コストを削減し、ビデオ作品の品質を向上させ、ユーザの体験を向上させることができる。

【図面の簡単な説明】

【0011】

本開示の各実施例の上記及び他の特徴、利点、並びに態様は、添付の図面と併せて以下の具体的な実施形態を参照することによってより明らかになる。図面全体を通して、同一または類似の符号は、同一または類似の要素を示す。ここで、図面は、概略的なものであり、部品及び要素は必ずしも一定の縮尺で描かれているわけではない。

【図1】本開示の実施例による画像処理方法の概略フローチャートである。

【図2】本開示の実施例による別の画像処理方法の概略フローチャートである。

【図3】本開示の実施例によるさらに別の画像処理方法の概略フローチャートである。

【図4】本開示の実施例による画像処理プロセスの概略フローチャートである。

【図5】本開示の実施例による画像処理装置の構成概略図である。

【図6】本開示の実施例による画像処理デバイスの構成概略図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら本開示の実施例についてより詳しく説明する。本開示のいくつかの実施例は図面に示されているが、本開示は様々な形態で実現されることができ、本明細書に記載の実施例に制限されるものと解釈されるべきではなく、むしろ、これらの実施例は本開示をより深くかつ完全に理解するために提供されることを理解されたい。また、本開示の図面及び実施例は、例示的な目的のためにのみ使用され、本開示の保護範囲を制限することを意図するものではないことは理解されるべきである。

【0013】

本開示の方法の実施形態に記載される各ステップは、異なる順序に従って実行され、及び／または並行して実行されることが理解されるべきである。また、方法の実施形態は、追加のステップを含み、及び／または図示されるステップの実行を省略し得る。本開示の範囲はこの点に関して限定されない。

【0014】

本明細書で使用される「含む」という用語及びその変形は、自由形式の包含、即ち、「含むがこれらに限定されない」という意味である。「に基づく」という用語は、「少なくとも部分的に基づく」という意味である。「一実施例」という用語は、「少なくとも１つの実施例」を意味し、「別の実施例」という用語は、「少なくとも１つの別の実施形態」を意味し、「いくつかの実施例」という用語は、「少なくともいくつかの実施例」を意味する。他の用語の関連する定義は、以下で説明される。

【0015】

なお、本開示で言及される「第１」、「第２」などの概念は、異なる装置、モジュール又はユニットを区別するためにのみ使用され、これらの装置、モジュール、又はユニットによって実行される機能の順序又は相互依存関係を限定することを意図するものでもない。

【0016】

なお、本開示で言及される「１つ」、「複数」の修飾は限定ではなく、例示的なものであり、当業者であれば理解できるように、本明細書において特に指摘されない限り、「１つ又は複数」として理解されるべきである。

【0017】

本開示の実施形態における複数の装置の間でやり取りされるメッセージ又は情報の名称は、これらのメッセージ又は情報の範囲を限定することを意図するものではなく、説明する目的のためだけである。

【0018】

現在、ビデオを作成する場合、ユーザはまず、素材に対して一連の複雑な素材編集操作を行う必要があり、そして、編集後の素材に対してビデオクリップ操作を行い、最終的に１つのビデオ作品を生成する。ユーザは素材の編集が得意でないと、ビデオ作成の時間コストが高くなるだけでなく、ビデオ作品の品質も保証できず、ユーザの体験を低下させる。

【0019】

上記の問題を解決するために、本開示の実施例は、自動的にビデオ素材に対して素材編集を行うことができる画像処理方法、装置、デバイス及び媒体を提供する。

【0020】

以下、まず、図１を参照して本開示の実施例による画像処理方法を説明する。

【0021】

本開示のいくつかの実施例では、当該画像処理方法は、電子デバイスによって実行されてもよい。電子デバイスは、携帯電話、タブレット、デスクトップコンピュータ、ノートパソコン、車載端末、ウェアラブル電子デバイス、複合機、スマートホームデバイスなどの通信機能を有するデバイスを含んでもよく、仮想マシンまたはシミュレータによってシミュレートされたデバイスであってもよい。

【0022】

図１は、本開示の実施例による画像処理方法の概略フローチャートを示す。

【0023】

図１に示すように、当該画像処理方法は、ステップＳ１１０～Ｓ１４０を含む。

【0024】

ステップＳ１１０、初期ビデオ画像において、第１認識オブジェクトの動き状態を特定する。

【0025】

本開示の実施例では、電子デバイスは、初期ビデオ画像を取得した後、オブジェクト検出方法に基づいて、初期ビデオ画像における第１認識オブジェクトに対して動き分析を行って、第１認識オブジェクトの動き状態を特定することができる。

【0026】

いくつかの実施例では、初期ビデオ画像は、撮影が既に完了したビデオにおけるビデオ画像であってもよい。例えば、初期ビデオ画像は、電子デバイスのローカルに記憶されたビデオ、他の電子デバイスから送信されたビデオ、またはインターネットでのビデオなどにおけるビデオ画像であってもよい。

【0027】

別のいくつかの実施例では、初期ビデオ画像は、電子デバイスによってリアルタイムに撮影されたビデオ画像であってもよい。

【0028】

任意選択で、本開示の実施例では、初期ビデオ画像が、電子デバイスによってリアルタイムに撮影されたビデオ画像である場合、拡張現実（ＡＲ、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術に基づいて、スクリーン上で仮想世界と現実世界とを結合して、ビデオ素材に対する素材編集を実現することで、ユーザとインタラクションする効果を達成することができる。

【0029】

本開示の実施例では、第１認識オブジェクトは、実際の必要に応じて予め設定されてもよく、ここでは限定されない。

【0030】

いくつかの実施例では、第１認識オブジェクトは、人物、動物、または事物のいずれかを含むことができる。

【0031】

第１認識オブジェクトが人物であることを例として、第１認識オブジェクトの動き状態とは、人物の全体的な動き状態を指すことができる。

【0032】

別のいくつかの実施例では、第１認識オブジェクトは、任意の身体部位を含んでもよい。

【0033】

第１認識オブジェクトが手であることを例として、第１認識オブジェクトの動き状態とは、手の動き状態を指すことができる。

【0034】

本開示の実施例では、第１認識オブジェクトの動き状態が属する動きタイプは、実際の必要に応じて予め設定されてもよく、ここでは限定されない。

【0035】

任意選択で、第１認識オブジェクトの動き状態は、第１認識オブジェクトのターゲット移動方向に沿った移動状態と、第１認識オブジェクトのターゲットオブジェクト姿勢への姿勢変化状態と、第１認識オブジェクトのターゲット回転方向に沿った回転状態と、のいずれか１つを含んでもよい。

【0036】

いくつかの実施例では、ターゲット移動方向は、実際の必要に応じて予め設定されてもよく、ここでは限定されない。例えば、ターゲット移動方向は、ビデオ画像内の任意角度の奥行き方向であってもよい。さらに例えば、ターゲット移動方向は、ビデオ画像平面内の任意角度の方向であってもよい。

【0037】

これらの実施例では、ターゲット移動方向に沿った移動状態は、ターゲット移動方向に沿った移動距離を含んでもよい。

【0038】

ターゲットオブジェクトが手、ターゲット移動方向がビデオ画像に垂直な奥行き方向である場合、第１認識オブジェクトの動き状態は、ビデオ画像に垂直な奥行き方向に沿った手の移動距離であってもよい。

【0039】

別のいくつかの実施例では、ターゲットオブジェクト姿勢は、実際の必要に応じて予め設定されてもよく、ここでは限定されない。

【0040】

これらの実施例では、ターゲットオブジェクト姿勢への姿勢変化状態は、ターゲットオブジェクト姿勢への姿勢変化量を含んでもよい。

【0041】

ターゲットオブジェクトが手、ターゲットオブジェクト姿勢が手のひらを開く姿勢である場合、第１認識オブジェクトの動き状態は、手のひらを開く姿勢への手姿勢の姿勢変化量であってもよい。

【0042】

さらにいくつかの実施例では、ターゲット回転方向は、実際の必要に応じて予め設定されてもよく、ここでは限定されない。

【0043】

例えば、ターゲット回転方向は、ビデオ画像の奥行き方向における任意角度での時計回り方向または反時計回り方向であってもよい。さらに例えば、ターゲット方向は、ビデオ画像平面内での時計回り方向または反時計回り方向であってもよい。

【0044】

これらの実施例では、ターゲット回転方向に沿った回転状態は、ターゲット回転方向に沿った回転角度を含んでもよい。

【0045】

ターゲットオブジェクトが手、ターゲット回転方向がビデオ画像平面内での時計回り方向である場合、第１認識オブジェクトの動き状態は、手がビデオ画像平面内において回転する回転角度であってもよい。

【0046】

ステップＳ１２０、第１認識オブジェクトの動き状態に基づいて、素材オブジェクトの動き状態を特定する。

【0047】

本開示の実施例では、電子デバイスは、第１認識オブジェクトの動き状態を特定した後、第１認識オブジェクトの動き状態での素材オブジェクトの動き状態を特定することができる。

【0048】

本開示の実施例では、素材オブジェクトの動き状態は、第２認識オブジェクトに対する素材オブジェクトの位置関係変化状態であってもよい。

【0049】

素材オブジェクトの動き状態は、実際の必要に応じて予め設定されてもよく、ここでは限定されない。例えば、素材オブジェクトの動き状態は、ターゲット傾斜方向における第２認識オブジェクトとのなす夾角変化状態、第２認識オブジェクトに対するレイヤ変化状態、及び画像平面内の第２認識オブジェクトに対する位置変化状態などのうちの少なくとも１つを含んでもよい。

【0050】

第２認識オブジェクトは、実際の必要に応じて予め設定されてもよく、ここでは限定されない。例えば、第２認識オブジェクトは、例えば人物や動物のような画像本体であってもよい。

【0051】

いくつかの実施例では、ターゲット傾斜方向は、実際の必要に応じて予め設定されてもよく、ここでは限定されない。例えば、ターゲット傾斜方向は、ビデオ画像内の任意角度の奥行き方向であってもよい。さらに例えば、ターゲット傾斜方向は、ビデオ画像平面内の任意角度の方向であってもよい。

【0052】

これらの実施例では、ターゲット傾斜方向における第２認識オブジェクトとのなす夾角状態は、ターゲット傾斜方向における第２認識オブジェクトとのなす夾角角度を含んでもよい。

【0053】

別のいくつかの実施例では、第２認識オブジェクトに対するレイヤ状態は、第２認識オブジェクトに対するレイヤ位置を含んでもよい。

【0054】

例えば、第２認識オブジェクトに対するレイヤ位置は、第２認識オブジェクトの前景または後景を含んでもよい。

【0055】

さらにいくつかの実施例では、第２認識オブジェクトに対する画像平面内での位置状態は、第２認識オブジェクトに対する画像平面内での相対距離を含んでもよい。

【0056】

本開示の実施例では、素材オブジェクトは、実際の必要に応じて予め設定されてもよく、ここでは限定されない。

【0057】

例えば、素材オブジェクトはシーン飾り特殊効果であってもよい。さらに例えば、素材オブジェクトは、グリーティングカード飾り特殊効果であってもよい。

【0058】

いくつかの実施例では、素材オブジェクトは、動く素材オブジェクトを含んでもよい。この場合、素材オブジェクトの動き状態は、動く素材オブジェクトの動き状態であってもよい。

【0059】

例えば、動く素材オブジェクトは、動き可能なグリーティングカードフレーム特殊効果を含んでもよい。

【0060】

動く素材オブジェクトがグリーティングカードフレーム特殊効果、第２認識オブジェクトが人物であることを例として、素材オブジェクトの動き状態は、グリーティングカードフレーム特殊効果がビデオ画像に垂直な奥行き方向へ傾斜する過程において人物との間の夾角角度であれば、第１認識オブジェクトの動きに伴って、グリーティングカードフレーム特殊効果と人物との間の夾角角度も変化し、グリーティングカードフレーム特殊効果の倒れ及び立ち上がり効果を実現することができる。

【0061】

動く素材オブジェクトがグリーティングカードフレーム特殊効果、第２認識オブジェクトが人物であることを例として、素材オブジェクトの動き状態は、第２認識オブジェクトに対するレイヤ位置であれば、第１認識オブジェクトの動きに伴って、フレーム特殊効果は、人物の前景から人物の後景に切り替えてもよいし、人物の後景から人物の前景に切り替えてもよい。

【0062】

別のいくつかの実施例では、編集後のビデオ素材の美観をさらに向上させるために、素材オブジェクトは、動く素材オブジェクトと固定素材オブジェクトとを含んでもよい。この場合、素材オブジェクトの動き状態は、動く素材オブジェクトの動き状態であってもよい。固定素材オブジェクトは、固定された予め設定された表示状態で表示され、動き状態を有しない。

【0063】

例えば、動く素材オブジェクトは、動き可能なグリーティングカードフレーム特性を含んでもよく、固定素材オブジェクトは、動き不可能なグリーティングカードボトムフレーム特殊効果を含んでもよい。

【0064】

本開示の実施例では、電子デバイスは、素材オブジェクトの動き状態を特定した後、さらに素材オブジェクトの動き状態を判断することができ、素材オブジェクトの動き状態が第１状態に属する場合、ステップＳ１３０を実行し、素材オブジェクトの動き状態が第２状態に属する場合、ステップＳ１４０を実行する。

【0065】

ステップＳ１３０、素材オブジェクトの動き状態が第１状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第１スタイルビデオ画像とを合成して第１ターゲットビデオ画像を得る。

【0066】

本開示の実施例では、第１状態は、素材オブジェクトと初期ビデオ画像における第２認識オブジェクトとが第１位置関係を満たすことを表すことができる。

【0067】

素材オブジェクトの動き状態が、ターゲット傾斜方向において第２認識オブジェクトとの間に夾角が存在するという状態である場合、第１位置関係は具体的に、夾角の角度変化値が第１角度範囲に入るという関係であってもよく、或いは、第１関係は具体的に、変化中に、夾角の角度がいずれも第１角度範囲内に入るという関係であってもよい。

【0068】

ターゲット傾斜方向がビデオ画像に垂直な奥行き方向であることを例として、第１位置関係は具体的に、夾角の角度がビデオ画像に垂直な奥行き方向における［０°，４５°］の角度範囲内に入るという関係であってもよい。

【0069】

素材オブジェクトの動き状態が第２認識オブジェクトに対するレイヤ位置である場合、第１位置関係は具体的に、素材オブジェクトが第２認識オブジェクトの前景に位置するという関係であってもよい。

【0070】

素材オブジェクトの動き状態が、画像平面内において第２認識オブジェクトに対して距離が存在するという状態である場合、第１位置関係は具体的に、相対距離の変化値が第１距離範囲に入るという関係であってもよく、または、変化中に、相対距離がいずれも第１距離範囲に入るという関係であってもよい。

【0071】

従って、電子デバイスは、素材オブジェクトの動き状態が第１状態に属すると判定した場合、初期ビデオ画像に対応する第１スタイルビデオ画像を取得し、さらに素材オブジェクトの動き状態に応じて、素材オブジェクトと第１スタイルビデオ画像とを合成して、第１状態に対応する第１ターゲットビデオ画像を得ることができる。

【0072】

本開示の実施例では、第１スタイルビデオ画像は、初期ビデオ画像に基づいて得られた、第１スタイルを有するビデオ画像であってもよく、第１スタイルは、第１状態に対応するスタイルである。

【0073】

ステップＳ１４０、素材オブジェクトの動き状態が第２状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第２スタイルビデオ画像とを合成して第２ターゲットビデオ画像を得る。

【0074】

本開示の実施例では、第２状態は、素材オブジェクトと初期ビデオ画像における第２認識オブジェクトとが第２位置関係を満たすことを表すことができる。

【0075】

素材オブジェクトの動き状態が、ターゲット傾斜方向において第２認識オブジェクトとの間に夾角が存在するという状態である場合、第２位置関係は具体的に、夾角の角度変化値が第２角度範囲に入るという関係であってもよく、或いは、第２関係は具体的に、変化中に、夾角の角度がいずれも第２角度範囲内に入るという関係であってもよい。

【0076】

ターゲット傾斜方向がビデオ画像に垂直な奥行き方向であることを例として、第２位置関係は具体的に、夾角の角度がビデオ画像に垂直な奥行き方向における［４５，９０］の角度範囲内に入るという関係であってもよい。

【0077】

素材オブジェクトの動き状態が第２認識オブジェクトに対するレイヤ位置である場合、第２位置関係は具体的に、素材オブジェクトが第２認識オブジェクトの背景に位置するという関係であってもよい。

【0078】

素材オブジェクトの動き状態が、画像平面内において第２認識オブジェクトに対して距離が存在するという状態である場合、第２位置関係は具体的に、相対距離の変化値が第２距離範囲に入るという関係であってもよく、または、変化中に、相対距離がいずれも第２距離範囲に入るという関係であってもよい。

【0079】

従って、電子デバイスは、素材オブジェクトの動き状態が第２状態に属すると判定した場合、初期ビデオ画像に対応する第２スタイルビデオ画像を取得し、さらに素材オブジェクトの動き状態に応じて、素材オブジェクトと第２スタイルビデオ画像とを合成して、第２状態に対応する第２ターゲットビデオ画像を得ることができる。

【0080】

本開示の実施例では、第２スタイルビデオ画像は、初期ビデオ画像に基づいて得られた、第２スタイルを有するビデオ画像であってもよく、第２スタイルは、第２状態に対応するスタイルである。

【0081】

さらに、第１スタイルビデオ画像及び第２スタイルビデオ画像は、初期ビデオ画像に基づいて得られた、異なるスタイル化された画像であり、即ち、第１スタイルは、第２スタイルとは異なる。

【0082】

本開示の実施例では、初期ビデオ画像において、第１認識オブジェクトの動き状態を特定し、第１認識オブジェクトの動き状態に基づいて、素材オブジェクトの動き状態を特定し、そして、素材オブジェクトの動き状態を判断し、素材オブジェクトの動き状態が第１状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第１スタイルビデオ画像とを合成して第１ターゲットビデオ画像を得、素材オブジェクトの動き状態が第２状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第２スタイルビデオ画像とを合成して第２ターゲットビデオ画像を得ることができるので、自動的にビデオ素材としての初期ビデオ画像に対して素材編集を行って編集後の合成画像を得ることができ、ユーザが素材編集を手動で行う必要がなく、これにより、ビデオ作成の時間コストを削減し、ビデオ作品の品質を向上させ、ユーザの体験を向上させることができる。

【0083】

本開示の実施形態では、第１認識オブジェクトの動き状態を正確に特定するために、ステップＳ１１０は具体的に、ステップＳ１１１～Ｓ１１２を含むことができる。
ステップＳ１１１、初期ビデオ画像において、第１認識オブジェクトの表示パラメータ変数を検出する。

【0084】

初期ビデオ画像が先頭フレームのビデオ画像である場合、第１認識オブジェクトの表示パラメータ変数がゼロであると判定することができる。

【0085】

初期ビデオ画像が非先頭フレームビデオ画像である場合、初期ビデオ画像に隣接する前の参照ビデオ画像を取得することができる。

【0086】

この場合、電子デバイスは、オブジェクト検出方法に基づいて、第１認識オブジェクトの初期ビデオ画像における第１表示パラメータ、及び参照ビデオ画像における第２表示パラメータを検出し、そして、第１表示パラメータから第２表示パラメータを減算し、第１認識オブジェクトの表示パラメータ変数を得ることができる。

【0087】

第１表示パラメータ及び第２表示パラメータのパラメータタイプは、実際の必要に応じて予め設定された、第１認識オブジェクトの動き状態を算出するためのパラメータタイプであってもよく、ここでは限定されない。

【0088】

任意選択で、上記の表示パラメータは、第１認識オブジェクトのオブジェクト姿勢、第１認識オブジェクトの表示サイズ、ビデオ画像における第１認識オブジェクトの表示位置、及び第３認識オブジェクトに対する第１認識オブジェクトの距離などのうちの少なくとも１つを含んでもよい。

【0089】

第３認識オブジェクトは、実際の必要に応じて予め選択された位置参照オブジェクトであってもよく、ここでは限定されない。例えば、第１認識オブジェクトが手である場合、第３認識オブジェクトは頭部であってもよい。

【0090】

第１認識オブジェクトの動き状態がビデオ画像に垂直な奥行き方向に沿った手の移動距離であることを例として、表示パラメータは、手の表示サイズであってもよく、第１表示パラメータは、初期ビデオ画像における手の第１表示サイズであってもよく、第２表示パラメータは、参照ビデオ画像における手の第２表示サイズであってもよく、そして、第１表示サイズから第２表示サイズを減算し、第１認識オブジェクトの表示パラメータ変数を得る。

【0091】

ステップＳ１１２、表示パラメータ変数に基づいて、第１認識オブジェクトの動き状態を特定する。

【0092】

本開示の実施例では、電子デバイスは、表示パラメータ変数を第１認識オブジェクトの動き状態としてもよい。

【0093】

第１認識オブジェクトの動き状態がビデオ画像に垂直な奥行き方向に沿った手の移動距離、第１表示パラメータが初期ビデオ画像における手の第１表示サイズ、第２表示パラメータが参照ビデオ画像における手の第２表示サイズであることを例として、表示パラメータ変数がゼロ以上である場合、表示パラメータ変数を、手がビデオ画像に垂直な奥行き方向に沿って近づく移動距離とすることができ、表示パラメータ変数がゼロ不満である場合、表示パラメータ変数を、手がビデオ画像に垂直な奥行き方向に沿って離れる移動距離とすることができる。

【0094】

これにより、本開示の実施例では、第１認識オブジェクトの初期ビデオ画像における表示パラメータ変数を検出することで、第１認識オブジェクトを確実に動き分析し、さらに第１認識オブジェクトの動き状態を特定することができる。

【0095】

本開示の別の実施形態では、異なる素材オブジェクトの動き状態に対応するスタイルビデオ画像の取得方式が異なる。

【0096】

本開示のいくつかの実施例では、第１スタイルビデオ画像は、初期ビデオ画像がスタイル移行処理された画像であってもよい。

【0097】

さらに、ステップＳ１３０の前に、当該画像処理方法はさらに、
初期ビデオ画像に対して顔スタイル化処理を行い、スタイル化された顔画像を得るステップと、
初期ビデオ画像に対して非顔スタイル化処理を行い、スタイル化された非顔画像を得るステップと、
を含み、
スタイル化された顔画像とスタイル化された非顔画像を第１スタイルビデオ画像に合成する。

【0098】

まず、電子デバイスは、初期ビデオ画像に対して顔検出を行い、初期ビデオ画像における顔領域画像を得、顔領域画像を予めトレーニングされた顔スタイル化モデルに入力し、スタイル化された顔画像を得ることができる。

【0099】

例えば、顔スタイル化モデルは、漫画顔変換モデルであってもよく、電子デバイスは、顔領域画像を漫画顔変換モデルに入力し、漫画スタイルのスタイル化された顔画像を得ることができる。

【0100】

そして、電子デバイスは、予め設定された背景スタイル化アルゴリズムを利用して、初期ビデオ画像の非顔領域に対して非顔スタイル化処理を行い、スタイル化された非顔画像を得ることができる。

【0101】

例えば、背景スタイル化アルゴリズムは、奥義背景変換アルゴリズムであってもよく、電子デバイスは、奥義背景変換アルゴリズムを利用して初期ビデオ画像の非顔領域に対して非顔スタイル化処理を行い、漫画スタイルのスタイル化された非顔画像を得ることができる。

【0102】

最後に、電子デバイスは、初期ビデオ画像における顔領域画像の相対位置を特定し、スタイル化された顔画像をスタイル化された非顔画像の相対位置にスティッチングし、第１スタイルビデオ画像を得ることができる。

【0103】

これらの実施例では、任意選択で、ステップＳ１３０における、素材オブジェクトの動き状態に応じて、素材オブジェクトと第１スタイルビデオ画像とを合成して第１ターゲットビデオ画像を得るステップは具体的に、
素材オブジェクトを素材オブジェクトの動き状態で第１スタイルビデオ画像に重畳し、第１ターゲットビデオ画像を得るステップを含んでもよい。

【0104】

素材オブジェクトが動く素材オブジェクトを含む場合、直接に動く素材オブジェクトを動く素材オブジェクトの動き状態で第１スタイルビデオ画像の指定位置に重畳し、第１ターゲットビデオ画像を得る。

【0105】

素材オブジェクトが動く素材オブジェクトと固定素材オブジェクトとを含む場合、直接に動く素材オブジェクトを動く素材オブジェクトの動き状態で第１スタイルビデオ画像の指定位置に重畳するとともに、固定素材オブジェクトを予め設定された表示状態で第１スタイルビデオ画像に重畳して、第１ターゲットビデオ画像を得る。

【0106】

本開示の別のいくつかの実施例では、第２スタイルビデオ画像は、初期ビデオ画像であってもよい。

【0107】

さらに、ステップＳ１４０の前に、当該画像処理方法はさらに、初期ビデオ画像を第２スタイルビデオ画像とするステップを含んでもよい。

【0108】

具体的には、電子デバイスは、初期ビデオ画像をそのまま第２スタイルビデオ画像とすることができ、その結果、第２スタイルビデオ画像は、元の画像スタイルを有する初期ビデオ画像である。

【0109】

これにより、本開示の実施例では、異なるスタイル化処理方式により、初期ビデオ画像に対応する、異なるスタイルのスタイルビデオ画像を得ることができ、インタラクション興趣性をさらに向上させる。

【0110】

これらの実施例では、任意選択で、ステップＳ１４０における、素材オブジェクトの動き状態に応じて、素材オブジェクトと第２スタイルビデオ画像とを合成して第２ターゲットビデオ画像を得るステップは具体的に、
まず、第２スタイルビデオ画像に対して画像分割を行い、第２スタイルビデオ画像における第２認識オブジェクト画像、及び第２認識オブジェクト画像以外の背景画像を得、そして、素材オブジェクトを素材オブジェクトの動き状態で第２認識オブジェクト画像、背景画像と重畳し、第２ターゲットビデオ画像を得るステップを含んでもよい。

【0111】

素材オブジェクトが動く素材オブジェクトを含む場合、直接に、動く素材オブジェクトを動く素材オブジェクトの動き状態で第２認識オブジェクト画像及び背景画像の指定位置と重畳し、第２ターゲットビデオ画像を得る。

【0112】

素材オブジェクトが動く素材オブジェクトと固定素材オブジェクトとを含む場合、直接に、動く素材オブジェクトを動く素材オブジェクトの動き状態で第２認識オブジェクト画像及び背景画像の指定位置に重畳するとともに、固定素材オブジェクトを予め設定された表示状態で第２認識オブジェクト画像及び背景画像に重畳して、第２ターゲットビデオ画像を得る。

【0113】

インタラクション興趣性を向上させるために、本開示の実施例はさらに、別の画像処理方法を提供し、以下、図２を参照して説明する。

【0114】

本開示のいくつかの実施例では、当該画像処理方法は電子デバイスによって実行されてもよい。電子デバイスは、携帯電話、タブレット、デスクトップコンピュータ、ノートパソコン、車載端末、ウェアラブル電子デバイス、複合機、スマートホームデバイスなどの通信機能を有するデバイスを含んでもよく、仮想マシンまたはシミュレータによってシミュレートされたデバイスであってもよい。

【0115】

図２は、本開示の実施例による別の画像処理方法の概略フローチャートを示す。

【0116】

図２に示すように、当該画像処理方法はステップＳ２１０～Ｓ２５０を含む。

【0117】

ステップＳ２１０、初期ビデオ画像において、第１認識オブジェクトのオブジェクト姿勢を検出する。

【0118】

本開示の実施例では、電子デバイスは、初期ビデオ画像を取得した後、オブジェクト検出方法に基づいて、初期ビデオ画像における第１認識オブジェクトのオブジェクト姿勢を検出することができる。

【0119】

初期ビデオ画像について、図１に示すＳ１１０で既に説明され、ここでは贅言しない。

【0120】

ステップＳ２２０、第１認識オブジェクトのオブジェクト姿勢がターゲット姿勢である場合、初期ビデオ画像において、第１認識オブジェクトの動き状態を特定する。

【0121】

本開示の実施例では、電子デバイスはまず、第１認識オブジェクトのオブジェクト姿勢を判断することができ、第１認識オブジェクトのオブジェクト姿勢がターゲット姿勢である場合、初期ビデオ画像において、第１認識オブジェクトの動き状態を特定し、そうでない場合、初期ビデオ画像を処理しない。

【0122】

本開示の実施例では、ターゲット姿勢は、実際の必要に応じて予め設定されてもよく、ここでは限定されない。例えば、ターゲットオブジェクトは、手であってもよく、ターゲット姿勢は、手のひらを開く姿勢であってもよい。

【0123】

第１認識オブジェクトの動き状態を特定する具体的な方法について、図１に示すＳ１１０と類似し、ここでは贅言しない。

【0124】

Ｓ２３０、第１認識オブジェクトの動き状態に基づいて、素材オブジェクトの動き状態を特定する。

【0125】

本開示の実施例では、電子デバイスは、素材オブジェクトの動き状態を特定した後、さらに素材オブジェクトの動き状態を判断することができ、素材オブジェクトの動き状態が第１状態に属する場合、ステップＳ２４０を実行し、素材オブジェクトの動き状態が第２状態に属する場合、ステップＳ２５０を実行する。

【0126】

ステップＳ２４０、素材オブジェクトの動き状態が第１状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第１スタイルビデオ画像とを合成して第１ターゲットビデオ画像を得る。

【0127】

ステップＳ２５０、素材オブジェクトの動き状態が第２状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第２スタイルビデオ画像とを合成して第２ターゲットビデオ画像を得る。

【0128】

第１スタイルビデオ画像及び第２スタイルビデオ画像は、初期ビデオ画像に基づいて得られた、異なるスタイル化された画像であってもよい。

【0129】

ステップＳ２３０～Ｓ２５０は、図１に示すＳ１２０～Ｓ１４０と類似し、ここでは贅言しない。

【0130】

これにより、本開示の実施例では、第１認識オブジェクトが指定された姿勢である前提で、初期ビデオ画像を編集することができ、インタラクション興趣性をさらに向上させる。

【0131】

素材編集効率を高めるために、本開示の実施例は、さらに別の画像処理方法をさらに提供し、以下、図３を参照して説明する。

【0132】

本開示のいくつかの実施例では、当該画像処理方法は、電子デバイスによって実行されてもよい。電子デバイスは、携帯電話、タブレット、デスクトップコンピュータ、ノートパソコン、車載端末、ウェアラブル電子デバイス、複合機、スマートホームデバイスなどの通信機能を有するデバイスを含んでもよく、仮想マシンまたはシミュレータによってシミュレートされたデバイスであってもよい。

【0133】

図３は、本開示の実施例によるさらに別の画像処理方法の概略フローチャートを示す。

【0134】

図３に示すように、当該画像処理方法は、ステップＳ３１０～Ｓ３５０を含む。

【0135】

ステップＳ３１０、初期ビデオ画像において、第１認識オブジェクトの動き状態を特定する。

【0136】

ステップＳ３１０は、図１に示すＳ１１０と類似し、ここでは贅言しない。

【0137】

ステップＳ３２０、素材オブジェクトのテンプレートビデオにおいて、第１認識オブジェクトの動き状態に対応するターゲットテンプレートビデオ画像を選択する。

【0138】

本開示の実施例では、電子デバイスは、第１認識オブジェクトの動き状態を特定した後、素材オブジェクトのテンプレートビデオの複数のテンプレートビデオ画像から、第１認識オブジェクトの動き状態に対応するターゲットテンプレートビデオ画像を選択することができる。

【0139】

任意選択で、ステップＳ３２０は具体的に、ステップＳ３２１～Ｓ３２３を含んでもよい。
ステップＳ３２１、第１認識オブジェクトの動き状態に対応するターゲットジャンプフレーム数を特定する。

【0140】

いくつかの実施例では、第１認識オブジェクトの動き状態がゼロである場合、ターゲットジャンプフレーム数は０であり、第１認識オブジェクトの動き状態がゼロでない場合、ターゲットジャンプフレーム数は１である。

【0141】

別のいくつかの実施例では、電子デバイスは、動き状態とジャンプフレーム数との間の対応関係を予め設定することができ、ジャンプフレーム数は、動き状態に比例することができ、当該対応関係に基づいて、第１認識オブジェクトの動き状態に対応するターゲットジャンプフレーム数を特定する。

【0142】

ステップＳ３２２、ターゲットジャンプフレーム数に基づいて、第１認識オブジェクトの動き状態に対応するターゲットビデオフレーム番号を特定する。

【0143】

初期ビデオ画像が先頭フレームのビデオ画像である場合、初期ビデオフレーム番号は、０フレーム目であってもよい。

【0144】

初期ビデオ画像が非先頭フレームのビデオ画像である場合、初期ビデオフレーム番号は、初期ビデオ画像に隣接する前の参照ビデオ画像に対応するビデオフレーム番号であってもよい。

【0145】

さらに、電子デバイスは、初期ビデオフレーム番号、第１認識オブジェクトの動き方向、即ち、第１認識オブジェクトの表示パラメータ変数の変化方向、及びターゲットジャンプフレーム数に基づいて、第１認識オブジェクトの動き状態に対応するターゲットビデオフレーム番号を特定することができる。

【0146】

第１認識オブジェクトの表示パラメータ変数が正の数である場合、電子デバイスは、初期ビデオフレーム番号とターゲットジャンプフレーム数とを加算し、ターゲットビデオフレーム番号を得ることができ、第１認識オブジェクトの表示パラメータ変数が負の数である場合、電子デバイスは、初期ビデオフレーム番号からターゲットジャンプフレーム数を減算し、ターゲットビデオフレーム番号を得ることができる。

【0147】

さらに、ターゲットジャンプフレーム数が負の数である場合、初期ビデオ画像を処理することを停止する。

【0148】

ステップＳ３２３、素材オブジェクトのテンプレートビデオにおける、ターゲットビデオフレーム番号に対応するテンプレートビデオ画像を、ターゲットテンプレートビデオ画像とする。

【0149】

これにより、本開示の実施例では、第１認識オブジェクトの動き状態に対応するターゲットテンプレートビデオ画像を快速かつ確実に選択することができる。

【0150】

ステップＳ３３０、ターゲットテンプレートビデオ画像における素材オブジェクトの動き状態を素材オブジェクトの動き状態とする。

【0151】

本開示の実施例では、１つのテンプレートビデオ画像は、１種の動き状態を有する素材オブジェクトを含み、即ち、異なるテンプレートビデオ画像における素材オブジェクトの動き状態は異なり、また、各テンプレートビデオ画像における素材オブジェクトの動き状態は、実際の必要に応じて予め設定されてもよい。

【0152】

従って、第１認識オブジェクトの動き状態に基づいて素材オブジェクトの動き状態を特定する具体的な方法は、ターゲットテンプレートビデオ画像における素材オブジェクトの動き状態を素材オブジェクトの動き状態とする方法であってもよい。

【0153】

任意選択で、ステップＳ３３０は具体的に、
素材オブジェクトのターゲットビデオフレーム番号での動き状態を素材オブジェクトの動き状態とするステップを含んでもよい。

【0154】

１つのテンプレートビデオ画像が、１種の動き状態を有する素材オブジェクトを含むため、１つのテンプレートビデオ画像に対応するビデオフレーム番号は、素材オブジェクトの１種の動き状態を指示するために用いられてもよく、即ち、１つのテンプレートビデオ画像に対応するビデオフレーム番号は、対応するテンプレートビデオ画像における素材オブジェクトの動き状態を指示するために用いられてもよく、そのため、電子デバイスは、素材オブジェクトのターゲットビデオフレーム番号での動き状態を、素材オブジェクトの動き状態とすることができる。

【0155】

本開示の実施例では、電子デバイスは、素材オブジェクトの動き状態を特定した後、さらに素材オブジェクトの動き状態を判断することができ、素材オブジェクトの動き状態が第１状態に属する場合、ステップＳ３４０を実行し、素材オブジェクトの動き状態が第２状態に属する場合、ステップＳ３５０を実行する。

【0156】

任意選択で、電子デバイスは、ターゲットビデオフレーム番号が属するフレーム番号範囲を判断することで、素材オブジェクトの動き状態が第１状態に属するか、それとも第２状態に属するかを特定することができる。

【0157】

１つのテンプレートビデオ画像に対応するビデオフレーム番号が、対応するテンプレートビデオ画像における素材オブジェクトの動き状態を指示するために用いられてもよいため、第１状態に属する動き状態の素材オブジェクトを含むテンプレートビデオ画像ペアの第１フレーム番号範囲、及び第２状態に属する動き状態の素材オブジェクトを含むテンプレートビデオ画像ペアの第２フレーム番号範囲を特定することができる。

【0158】

具体的には、電子デバイスは、ターゲットビデオフレーム番号が属するフレーム番号範囲を判断し、ターゲットビデオフレーム番号が第１フレーム番号範囲に属すると判定した場合、素材オブジェクトの動き状態が第１状態に属すると特定し、ターゲットビデオフレーム番号が第２フレーム番号範囲に属すると判定した場合、素材オブジェクトの動き状態が第２状態に属すると特定することができる。

【0159】

ステップＳ３４０、素材オブジェクトの動き状態が第１状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第１スタイルビデオ画像とを合成して第１ターゲットビデオ画像を得る。

【0160】

ステップＳ３５０、素材オブジェクトの動き状態が第２状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第２スタイルビデオ画像とを合成して第２ターゲットビデオ画像を得る。

【0161】

第１スタイルビデオ画像及び第２スタイルビデオ画像は、初期ビデオ画像に基づいて得られた、異なるスタイル化された画像であってもよい。

【0162】

ステップＳ３４０～Ｓ３５０は図１に示すＳ１３０～Ｓ１４０と類似し、ここでは贅言しない。

【0163】

これにより、本開示の実施例では、直接に、ビデオフレーム番号により、素材オブジェクトの動き状態が第１状態に属するか、それとも第２状態に属するかを特定することができ、素材オブジェクトの動き状態を検出する必要がなく、データ処理量を低減し、さらに素材編集効率を向上させる。

【0164】

本開示の実施例による画像処理方法をより明瞭に説明するために、以下、素材オブジェクトのテンプレートビデオがグリーティングカード倒れ動画のテンプレートビデオ、素材オブジェクトがグリーティングカードであって、グリーティングカードが、動き可能なグリーティングカードフレーム特殊効果及び動き不可能なグリーティングカードボトムフレーム特殊効果を含むことを例として、本開示の実施例による画像処理過程を詳しく説明する。

【0165】

図４は、本開示の実施例による画像処理過程の概略フローチャートを示す。

【0166】

図４に示すように、当該画像処理過程は、ステップＳ４０１～Ｓ４１３を含んでもよい。

【0167】

ステップＳ４０１、撮影プレビュー画面内において、グリーティングカード倒れ動画の効果ビデオを再生し、効果ビデオにおける各フレームの効果ビデオ画像にはいずれも、効果制御案内情報が表示されており、当該効果制御案内情報は、ユーザが手を開いて手のひらを前後に押すように案内するために用いられてもよい。

【0168】

電子デバイスは、グリーティングカード倒れ動画の効果ビデオを再生する過程において、グリーティングカードフレーム特殊効果が人物の前景であれば、リアルタイムに撮影した画像に対応する漫画スタイルビデオ画像を取得し、グリーティングカードボトムフレーム特殊効果、グリーティングカードフレーム特殊効果、及び漫画スタイルビデオ画像を頂層から底層までの順序に従って順次に重畳し、効果ビデオ画像を得、グリーティングカードフレーム特殊効果が人物の後景であれば、リアルタイムに撮影した画像を肖像と背景画像に分割し、グリーティングカードボトムフレーム特殊効果、肖像、グリーティングカードフレーム特殊効果、及び背景画像を頂層から底層までの順序に従って順次に重畳し、効果ビデオ画像を得る。

【0169】

効果ビデオの再生が完了した後、各フレームのリアルタイム収集画像について、電子デバイスが画像の収集を停止するまで、ステップＳ４０２から後続のステップを実行することができる。

【0170】

ステップＳ４０２、リアルタイム収集画像において、ユーザが手を開いたか否かを検出し、そうでなければ、ステップＳ４０３を実行し、そうであれば、ステップＳ４０４を実行する。

【0171】

電子デバイスは、リアルタイム収集画像におけるユーザの手姿勢を検出することができ、手姿勢が、手のひらを開いた姿勢であれば、ステップＳ４０４を実行し、そうでなければ、ステップＳ４０３を実行する。

【0172】

ステップＳ４０３、撮影プレビュー画面内に、リアルタイム収集画像を表示し、ステップＳ４０２に戻る。

【0173】

ステップＳ４０４、リアルタイム収集画像の前のフレームの収集画像において、ユーザが手を開いたか否かを判断し、そうでなければ、ステップＳ４０５を実行し、そうであれば、ステップＳ４０６を実行する。

【0174】

電子デバイスは、手姿勢に対する前のフレームの収集画像の検出結果を取得し、当該検出結果に基づいて、前のフレームの収集画像において、ユーザの手が、手のひらを開いた姿勢であるか否かを特定することができる。

【0175】

ステップＳ４０５、リアルタイム収集画像に対応するグリーティングカード倒れ動画のテンプレートビデオにおける最初のフレームのテンプレートビデオ画像を特定し、そしてＳ４０８を実行する。

【0176】

ステップＳ４０６、リアルタイム収集画像における手サイズと、前のフレームの収集画像における手サイズとを比較して、手サイズ変化量を算出し、そして、Ｓ４０７を実行する。

【0177】

ステップＳ４０７、手サイズ変化量、手サイズ変化量の正負方向、及び前のフレームの収集画像に対応するビデオフレーム番号に基づいて、リアルタイム収集画像に対応するテンプレートビデオ画像を特定し、そして、Ｓ４０８を実行する。

【0178】

手サイズ変化量が正の数であれば、手が前に押されたことを意味し、電子デバイスは、手サイズ変化量に対応するターゲットジャンプフレーム数を取得し、そして、前のフレームの収集画像に対応するビデオフレーム番号とターゲットジャンプフレーム数とを加算して、グリーティングカード倒れ動画のテンプレートビデオの再生フレーム番号を特定することで、グリーティングカードフレーム特殊効果が前のフレームの収集画像に対して後へ倒れた効果を取得することができ、そうでない場合、電子デバイスは、前のフレームの収集画像に対応するビデオフレーム番号からターゲットジャンプフレーム数を減算してグリーティングカード倒れ動画のテンプレートビデオの再生フレーム番号を特定することで、グリーティングカードフレーム特殊効果が前のフレームの収集画像に対して前へ立ち上がる効果を取得することができる。

【0179】

ステップＳ４０８、グリーティングカード倒れ動画のテンプレートビデオの再生フレーム番号がフレーム番号の閾値よりも高いか否かを判断し、そうであれば、Ｓ４０９を実行し、そうでなければ、Ｓ４１１を実行する。

【0180】

ステップＳ４０９、リアルタイム収集画像に対して画像分割を行い、リアルタイム収集画像における肖像、背景画像を取得し、そして、ステップＳ４１０を実行する。

【0181】

ステップＳ４１０、グリーティングカードボトムフレーム特殊効果、肖像、グリーティングカードフレーム特殊効果、及び背景画像を頂層から底層までの順序に従って順次に重畳し、合成されたビデオ画像を得、そして、ステップＳ４１３を実行する。

【0182】

ステップＳ４１１、リアルタイム収集画像に対して漫画スタイル化処理を行い、漫画スタイルビデオ画像を得、そして、ステップＳ４１２を実行する。

【0183】

ステップＳ４１２、グリーティングカードボトムフレーム特殊効果、グリーティングカードフレーム特殊効果、及び漫画スタイルビデオ画像を順次に重畳し、合成されたビデオ画像を得、そして、ステップＳ４１３を実行する。

【0184】

ステップＳ４１３、撮影プレビュー画面内に、合成されたビデオ画像を表示する。

【0185】

これにより、図４に示す画像処理過程は、ユーザがビデオをリアルタイムに撮影する過程において、視覚的にグリーティングカードが顔を通って倒れたり立ち上がったりする効果の表示を実現することができ、また、グリーティングカードが倒れたり立ち上がったりする過程において、漫画効果と実際の人物効果との切り替えを実現することができ、撮影したビデオ素材に対してユーザが素材編集を行うことがなく、特殊効果を有する趣味ビデオを自動的に生成することができ、インタラクション興趣性を増加させ、ユーザの体験を向上させる。

【0186】

本開示の実施例はさらに、上記の画像処理方法を実現可能な画像処理装置を提供し、以下、図５を参照して本開示の実施例による画像処理装置を説明する。

【0187】

本開示のいくつかの実施例では、当該画像処理装置は電子デバイスであってもよい。電子デバイスは、携帯電話、タブレット、デスクトップコンピュータ、ノートパソコン、車載端末、ウェアラブル電子デバイス、複合機、スマートホームデバイスなどの通信機能を有するデバイスを含んでもよく、仮想マシンまたはシミュレータによってシミュレートされたデバイスであってもよい。

【0188】

図５は、本開示の実施例による画像処理装置の構成概略図を示す。

【0189】

図５に示すように、当該画像処理装置５００は、第１処理ユニット５１０、第２処理ユニット５２０、第１合成ユニット５３０、及び第２合成ユニット５４０を含むことができる。

【0190】

当該第１処理ユニット５１０は、初期ビデオ画像において、第１認識オブジェクトの動き状態を特定するように配置されてもよい。

【0191】

当該第２処理ユニット５２０は、第１認識オブジェクトの動き状態に基づいて、素材オブジェクトの動き状態を特定するように配置されてもよい。

【0192】

当該第１合成ユニット５３０は、素材オブジェクトの動き状態が第１状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第１スタイルビデオ画像とを合成して、第１ターゲットビデオ画像を得るように配置されてもよい。

【0193】

当該第２合成ユニット５４０は、素材オブジェクトの動き状態が第２状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第２スタイルビデオ画像とを合成して、第２ターゲットビデオ画像を得るように配置されてもよい。

【0194】

第１スタイルビデオ画像及び第２スタイルビデオ画像は、初期ビデオ画像に基づいて得られた、異なるスタイル化された画像であってもよい。

【0195】

本開示の実施例では、初期ビデオ画像において、第１認識オブジェクトの動き状態を特定し、第１認識オブジェクトの動き状態に基づいて、素材オブジェクトの動き状態を特定し、そして、素材オブジェクトの動き状態を判断し、素材オブジェクトの動き状態が第１状態に属する場合、素材オブジェクトの動き状態に基づいて素材オブジェクトと第１スタイルビデオ画像とを合成して、第１ターゲットビデオ画像を得、素材オブジェクトの動き状態が第２状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第２スタイルビデオ画像とを合成し、第２ターゲットビデオ画像を得ることができるので、自動的にビデオ素材としての初期ビデオ画像に対して素材編集を行って編集後の合成画像を得ることができ、ユーザが素材編集を手動で行う必要がなく、これにより、ビデオ作成の時間コストを削減し、ビデオ作品の品質を向上させ、ユーザの体験を向上させることができる。

【0196】

本開示のいくつかの実施例では、第１状態は、素材オブジェクトと初期ビデオ画像における第２認識オブジェクトとが第１位置関係を満たすことを表すことができ、第２状態は、素材オブジェクトと初期ビデオ画像における第２認識オブジェクトとが第２位置関係を満たすことを表すことができる。

【0197】

本開示のいくつかの実施例では、第１位置関係は具体的に、素材オブジェクトが第２認識オブジェクトの前景に位置することであってもよく、第２位置関係は具体的に、素材オブジェクトが第２認識オブジェクトの背景に位置することであってもよい。

【0198】

本開示のいくつかの実施例では、第１スタイルビデオ画像は、初期ビデオ画像がスタイル移行処理された画像であってもよく、第２スタイルビデオ画像は、初期ビデオ画像であってもよい。

【0199】

本開示のいくつかの実施例では、第１認識オブジェクトの動き状態は、
第１認識オブジェクトのターゲット移動方向に沿った移動状態と、
第１認識オブジェクトのターゲットオブジェクト姿勢への姿勢変化状態と、
第１認識オブジェクトのターゲット回転方向に沿った回転状態と、のいずれか１つを含んでもよい。

【0200】

本開示のいくつかの実施例では、当該第１処理ユニット５１０は、第１サブ処理ユニットと、第２サブ処理ユニットとを含んでもよい。

【0201】

当該第１サブ処理ユニットは、初期ビデオ画像において、第１認識オブジェクトの表示パラメータ変数を検出するように配置されてもよい。

【0202】

当該第２サブ処理ユニットは、表示パラメータ変数に基づいて、第１認識オブジェクトの動き状態を特定するように配置されてもよい。

【0203】

本開示のいくつかの実施例では、当該画像処理装置５００はさらに、第３処理ユニットを含んでもよく、当該第３処理ユニットは、初期ビデオ画像において、第１認識オブジェクトのオブジェクト姿勢を検出するように配置されてもよい。

【0204】

それに対応して、当該第１処理ユニット５１０はさらに、第１認識オブジェクトのオブジェクト姿勢がターゲット姿勢である場合、初期ビデオ画像において、第１認識オブジェクトの動き状態を特定するように配置されてもよい。

【0205】

本開示のいくつかの実施例では、当該画像処理装置５００はさらに、第４処理ユニットを含んでもよく、当該第４処理ユニットは、素材オブジェクトのテンプレートビデオにおいて、第１認識オブジェクトの動き状態に対応するターゲットテンプレートビデオ画像を選択するように配置されてもよい。

【0206】

それに対応して、当該第２処理ユニット５２０はさらに、ターゲットテンプレートビデオ画像における素材オブジェクトの動き状態を素材オブジェクトの動き状態とするように配置されてもよい。

【0207】

本開示のいくつかの実施例では、当該第４処理ユニットは、第３サブ処理ユニットと、第４サブ処理ユニットと、第５サブ処理ユニットとを含んでもよい。

【0208】

当該第３サブ処理ユニットは、第１認識オブジェクトの動き状態に対応するターゲットジャンプフレーム数を特定するように配置されてもよい。

【0209】

当該第４サブ処理ユニットは、ターゲットジャンプフレーム数に基づいて、第１認識オブジェクトの動き状態に対応するターゲットビデオフレーム番号を特定するように配置されてもよい。

【0210】

当該第５サブ処理ユニットは、素材オブジェクトのテンプレートビデオにおける、ターゲットビデオフレーム番号に対応するテンプレートビデオ画像を、ターゲットテンプレートビデオ画像とするように配置されてもよい。

【0211】

本開示のいくつかの実施例では、当該第２処理ユニット５２０はさらに、素材オブジェクトのターゲットビデオフレーム番号での動き状態を素材オブジェクトの動き状態とするように配置されてもよい。

【0212】

本開示のいくつかの実施例では、素材オブジェクトは、動く素材オブジェクトと固定素材オブジェクトとを含み、素材オブジェクトの動き状態は、動く素材オブジェクトの動き状態である。

【0213】

なお、図５に示す画像処理装置５００は、図１～図４に示す方法実施例の各ステップを実行し、図１～図４に示す方法実施例の各過程及び効果を実現することができ、ここでは贅言しない。

【0214】

本開示の実施例はさらに、画像処理デバイスを提供し、当該画像処理デバイスは、プロセッサと、メモリとを含んでもよく、メモリは、実行可能な指令を記憶するために用いられてもよい。プロセッサは、上記の実施例における画像処理方法を実現するように、メモリから実行可能な指令を読み取って実行するために用いられてもよい。

【0215】

図６は、本開示の実施例による画像処理デバイスの構成概略図を示す。以下、具体的に図６を参照し、本開示の実施例における画像処理デバイス６００を実現するのに適した構成概略図が示される。

【0216】

本開示の実施例における画像処理デバイス６００は電子デバイスであってもよい。電子デバイスは、携帯電話、ノートパソコン、デジタル放送受信機、ＰＤＡ（携帯情報端末）、ＰＡＤ（タブレット）、ＰＭＰ（ポータブルマルチメディアプレーヤー）、車載端末（例えば、車載ナビゲーション端末）、ウェアラブルデバイスなどの携帯端末、及びデジタルＴＶ、デスクトップコンピュータ、スマートホームデバイスなどの固定端末を含むことができるが、これらに限定されない。

【0217】

なお、図６に示す画像処理デバイス６００は、一例に過ぎず、本開示の実施例の機能及び使用範囲に任意の制限を与えるべきではない。

【0218】

図６に示すように、当該画像処理デバイス６００は、リードオンリーメモリ（ＲＯＭ）６０２に記憶されたプログラム、または記憶装置６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムに従って、様々な適切な動作及び処理を実行できる処理装置（例えば、中央処理ユニット、グラフィックプロセッサなど）６０１を含むことができる。ＲＡＭ６０３には、画像処理デバイス６００の操作に必要な様々なプログラム及びデータがさらに記憶されている。処理装置６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を介して互いに接続される。入出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続される。

【0219】

通常、Ｉ／Ｏインターフェース６０５には、例えばタッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロなどを含む入力装置６０６、例えば、液晶ディスプレー（ＬＣＤ）、スピーカー、バイブレーターなどを含む出力装置６０７、例えば、磁気テープ、ハードディスクなどを含む記憶装置６０８、及び通信装置６０９が接続されることができる。通信装置６０９は、画像処理デバイス６００が他の機器と無線または有線通信を行ってデータを交換することを可能にする。図６には、様々な装置を有する画像処理デバイス６００が示されているが、全ての示される装置を実施または具備することが要求されないことは理解されるべきである。代わりに、より多くのまたはより少ない装置を実施または具備してもよい。

【0220】

本開示の実施例はさらに、コンピュータ可読記憶媒体を提供し、当該記憶媒体はコンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサによって実行されるとき、上記の実施例における画像処理方法をプロセッサに実現させる。

【0221】

特に、本開示の実施例によれば、フローチャートを参照して以上で説明される過程は、コンピュータソフトウェアプログラムとして実現されることができる。

【0222】

本開示の実施例はさらに、コンピュータプログラム製品を提供し、当該コンピュータプログラム製品は、コンピュータプログラムを含むことができ、コンピュータプログラムがプロセッサによって実行されるとき、上記の実施例における画像処理方法をプロセッサに実現させる。

【0223】

例えば、本出願の実施例は、非一時的なコンピュータ可読媒体上に担持されるコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信装置６０９を介してネットワークからダウンロード及びインストールされ、または、記憶装置６０８からインストールされ、またはＲＯＭ６０２からインストールされることができる。当該コンピュータプログラムが処理装置６０１によって実行される場合、本出願の実施例の画像処理方法で限定される上記機能を実行する。

【0224】

なお、本開示の実施例に記載のコンピュータ可読媒体は、コンピュータ可読信号媒体、またはコンピュータ可読記憶媒体、または上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、または半導体のシステム、装置、若しくはデバイス、または任意の以上の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例としては、１つまたは複数のワイヤを有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組み合わせを含むことができるが、これらに限定されない。本開示の実施例では、コンピュータ可読記憶媒体は、指令実行システム、装置、またはデバイスによって使用され、またはこれらと組み合わせて使用されることができるプログラムを含むか、または記憶する任意の有形媒体であってもよい。本開示の実施例では、コンピュータ可読信号媒体は、ベースバンドで、または搬送波の一部として伝搬されるデータ信号を含むことができ、当該データ信号にコンピュータ可読のプログラムコードが担持される。このように伝搬されるデータ信号は、多種の形式を採用することができ、電磁信号、光信号、または上記の任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体を除いた任意のコンピュータ可読媒体であってもよく、当該コンピュータ可読信号媒体は、指令実行システム、装置、またはデバイスによって使用され、またはこれらと組み合わせて使用されるためのプログラムを送信、伝搬、または伝送することができる。コンピュータ可読媒体上に含まれるプログラムコードは、任意の適切な媒体によって伝送されることができ、電線、光ファイバケーブル、ＲＦ（無線周波数）など、または上記の任意の適切な組み合わせを含むが、これらに限定されない。

【0225】

いくつかの実施形態では、クライアントやサーバは、例えばＨＴＴＰなどのような、現在既知、又は将来開発される任意のネットワークプロトコルを利用して通信することができ、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続されることができる。通信ネットワークの例は、ローカルネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、ワールドワイドウェブ（例えば、インターネット）、エンドツーエンドネットワーク（例えば、ａｄｈｏｃエンドツーエンドネットワーク）、及び現在既知、又は将来開発されるネットワークを含む。

【0226】

上記コンピュータ可読媒体は、上記画像処理デバイスに含まれてもよいし、当該画像処理デバイスに配置されず、個別に存在しもよい。

【0227】

上記コンピュータ可読媒体に１つまたは複数のプログラムが担持されており、上記１つまたは複数のプログラムが当該画像処理デバイスによって実行される場合、当該画像処理デバイスに、
初期ビデオ画像において、第１認識オブジェクトの動き状態を特定するステップと、第１認識オブジェクトの動き状態に基づいて、素材オブジェクトの動き状態を特定するステップと、素材オブジェクトの動き状態が第１状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第１スタイルビデオ画像とを合成して、第１ターゲットビデオ画像を得るステップと、素材オブジェクトの動き状態が第２状態に属する場合、素材オブジェクトの動き状態に応じて、素材オブジェクトと第２スタイルビデオ画像とを合成して、第２ターゲットビデオ画像を得るステップと、を実行させ、第１スタイルビデオ画像及び第２スタイルビデオ画像は、初期ビデオ画像に基づいて得られた、異なるスタイル化された画像である。

【0228】

本開示の実施例では、本開示の操作を実行するためのコンピュータプログラムコードは、１種または多種のプログラミング言語またはそれらの組み合わせで作成されることができ、上記プログラミング言語は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋のようなオブジェクト指向プログラミング言語を含み、「Ｃ」言語のような従来の手続き型プログラミング言語または類似するプログラミング言語をさらに含むが、これらに限定されない。プログラムコードは、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で一部的に、１つの独立型ソフトウェアパッケージとして、ユーザのコンピュータ上で一部的にかつリモートコンピュータ上で一部的に、またはリモートコンピュータ若しくはサーバ上で完全に実行することができる。リモートコンピュータが関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む、任意の種類のネットワークを介してユーザのコンピュータに接続することができ、または、外部コンピュータに接続することができる（例えば、インタネットサービスプロバイダを利用してインターネットを介して接続する）。

【0229】

図面におけるフローチャート及びブロック図は、本出願の様々な実施例のシステム、方法及びコンピュータプログラム製品に従って実現可能な体系アーキテクチャ、機能及び操作を示す。この点について、フローチャートまたはブロック図における各ブロックは、１つのモジュール、プログラムセグメント、またはコードの一部を代表することができ、当該モジュール、プログラムセグメント、またはコードの一部は、所定の論理機能を実現するための１つまたは複数の実行可能な指令を含む。なお、いくつかの代替の実現において、ブロックに示されている機能は、図に示されている順序とは異なる順序に従って発生してもよい。例えば、連続的に示される２つのブロックは実際には、基本的に並行して実行されてもよく、ある場合、逆の順序に従って実行されてもよく、関連する機能に応じて決定される。また、ブロック図及び／又はフローチャートにおける各ブロック、並びにブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための、ハードウェアによる専用システムで実現されてもよいし、又は専用ハードウェアとコンピュータ指令との組み合わせで実現されてもよい。

【0230】

本開示の実施例に記述されたユニットは、ソフトウェアの方式で実現されてもよいし、ハードウェアの方式で実現されてもよい。ユニットの名称は、ある場合、当該ユニット自身への限定を構成しない。

【0231】

本明細書で上記に説明された機能は、少なくとも部分的に１つ又は複数のハードウェアロジック部材によって実行されてもよい。例えば、利用できるハードウェアロジック部材の例示的なタイプは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などを含むが、これらに限定されない。

【0232】

本開示において、機械可読媒体は、指令実行システム、装置又はデバイスによって、又はそれらと組み合わせて使用されてもよいプログラムを含むか、又は記憶する有形媒体であってもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置又はデバイス、或いは上記の内容の任意の適切な組み合わせを含むが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１つ又は複数のワイヤによる電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクト磁気ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。

【0233】

以上の記載は、本開示の好適な実施例及び適用される技術原理に対する説明にすぎない。当業者であれば理解できるように、本開示に係る開示範囲は、上記の技術特徴の特定の組み合わせによって形成される技術案に限定されず、その同時、上記の開示された構想から逸脱することなく、上記の技術特徴またはその等価特徴の任意の組み合わせによって形成される他の技術案、例えば、上記の特徴と、本開示に開示された（ただしこれに限定されていない）類似機能を有する技術特徴とを互いに置き換えることによって形成された技術案も含む。

【0234】

また、特定の順序を採用して各操作を記載したが、示される特定の順番、または順序に従ってこれらの操作を順に実行することを要求するものとして解釈されるべきではない。特定の環境で、マルチタスク及び並行処理は有利である可能性がある。同様に、以上の論述には、いくつかの具体的な実現の詳細が含まれるが、本開示の範囲に対する限定として解釈されるべきではない。単一の実施例の文脈で説明されるいくつかの特徴は、組み合わせて、単一の実施例で実現されてもよい。逆に、単一の実施例の文脈で説明される様々な特徴は、別々に、または任意の適切なサブ組み合わせの形態で、複数の実施例で実現されてもよい。

【0235】

構成特徴及び／または方法の論理動作に固有の言語で、本主題を説明したが、添付の特許請求の範囲で限定される主題は、上記の特定の特徴または動作に限定されないことを理解すべきである。むしろ、上述した特定の特徴及び動作は、特許請求の範囲を実現するための単なる例示的な形態である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】