特許 7467642 画像処理方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-05

(45)【発行日】2024-04-15

(54)【発明の名称】画像処理方法及び装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240408BHJP

   H04N 23/611 20230101ALI20240408BHJP

【ＦＩ】

H04N23/60 500

H04N23/611

【請求項の数】 10

(21)【出願番号】P 2022540466

(86)(22)【出願日】2020-12-08

(65)【公表番号】

(43)【公表日】2023-03-08

(86)【国際出願番号】 CN2020134683

(87)【国際公開番号】W WO2021135864

(87)【国際公開日】2021-07-08

【審査請求日】2022-06-29

(31)【優先権主張番号】201911397521.4

(32)【優先日】2019-12-30

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520476341

【氏名又は名称】北京字節跳動網絡技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】リ，シャオチー

(72)【発明者】

【氏名】ニ，グアンヤオ

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２０１５－１１４６９４（ＪＰ，Ａ）

【文献】特開２００７－０１３９５１（ＪＰ，Ａ）

【文献】国際公開第２０１５／０２９３９２（ＷＯ，Ａ１）

【文献】特開２０１３－１８６５２１（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０２０８０６２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６１１

(57)【特許請求の範囲】

【請求項1】

オリジナルビデオを取得することと、
前記オリジナルビデオから第１のビデオフレーム画像を選択することと、
前記オリジナルビデオから目標対象を含む第２のビデオフレーム画像を選択し、前記第２のビデオフレーム画像から前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を分離することと、
前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を処理して半透明の画像を得、前記半透明の画像を前記第１のビデオフレーム画像に重畳してエフェクト画像を得ることと、
前記オリジナルビデオにおいて、前記第２のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成することと
を含み、
前記第１のビデオフレーム画像には前記目標対象が含まれ、前記目標対象が前記第１のビデオフレーム画像中で占める画像部分と、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分とは異なり、
前述した、前記オリジナルビデオから第１のビデオフレーム画像を選択することは、
前記オリジナルビデオにおける１つの予め設定された時間長のビデオセグメント内で前記目標対象が占める画像部分に変化がないことに応答して、前記ビデオセグメント内から前記第１のビデオフレーム画像を選択することを含む、ことを特徴とする画像処理方法。

【請求項2】

前記第１のビデオフレーム画像は、前記オリジナルビデオの前記予め設定された時間長内の最後の１つのフレームの画像である、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前述した、前記オリジナルビデオから第１のビデオフレーム画像を選択することは、
前記オリジナルビデオにおいて前記目標対象が予め設定された動作をしていることに応答して、前記オリジナルビデオから前記目標対象が予め設定された動作をしているビデオフレーム画像を前記第１のビデオフレーム画像として選択することを更に含む、
ことを特徴とする請求項１に記載の方法。

【請求項4】

前記目標対象は、人物像である、
ことを特徴とする請求項１～３のいずれか１項に記載の方法。

【請求項5】

前述した、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を処理して半透明の画像を得、前記半透明の画像を前記第１のビデオフレーム画像に重畳してエフェクト画像を得ることは、
前記第１のビデオフレーム画像に対応する赤青緑の３つの色チャネルの第１の画素値を取得することと、
前記目標対象が前記第２のビデオフレーム画像中で占める画像部分に対応する赤青緑の３色チャネルの第２の画素値を取得することと、
前記第１の画素値と、前記第２の画素値と、予め設定された透明度とに基づいて、エフェクト画像を決定することであって、前記予め設定された透明度は、前記半透明の画像の、完全に不透明と完全に透明との間に介在する透明程度を示す、ことと
を含むことを特徴とする請求項１～３のいずれか１項に記載の方法。

【請求項6】

前述した、前記第１の画素値と、前記第２の画素値と、予め設定された透明度とに基づいて、エフェクト画像を決定することは、式
ｒ＝ｒ１×（１－ａ）＋ｒ０×ａと、
ｇ＝ｇ１×（１－ａ）＋ｇ０×ａと、
ｂ＝ｂ１×（１－ａ）＋ｂ０×ａと
に基づいて、エフェクト画像を決定することを含み、ここで、ｒ、ｇ、ｂはそれぞれ、前記エフェクト画像に対応する赤、緑、青チャンネルの画素値であり、ｒ１、ｇ１、ｂ１はそれぞれ、前記第１のビデオフレーム画像に対応する赤、緑、青チャンネルの画素値であり、ｒ０、ｇ０、ｂ０はそれぞれ、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分に対応する赤、緑、青チャンネルの画素値であり、ａは前記予め設定された透明度を示し、且つ、ａは０より大きく、１より小さい数値であり、ここで、「０」は完全に不透明であることを示し、「１」は完全に透明であることを示す、
ことを特徴とする請求項５に記載の方法。

【請求項7】

オリジナルビデオを取得するためのビデオ取得モジュールと、
前記オリジナルビデオから第１のビデオフレーム画像を選択するための画像選択モジュールであって、前記オリジナルビデオから目標対象を含む第２のビデオフレーム画像を選択し、前記第２のビデオフレーム画像から前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を分離するための前記画像選択モジュールと、
前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を処理して半透明の画像を得、前記半透明の画像を前記第１のビデオフレーム画像に重畳してエフェクト画像を得るための処理モジュールと、
前記オリジナルビデオにおいて、前記第２のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成するための画像置換モジュールと
を含み、
前記第１のビデオフレーム画像には前記目標対象が含まれ、前記目標対象が前記第１のビデオフレーム画像中で占める画像部分と、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分とは異なり、
前述した、前記オリジナルビデオから第１のビデオフレーム画像を選択することは、
前記オリジナルビデオにおける１つの予め設定された時間長のビデオセグメント内で前記目標対象が占める画像部分に変化がないことに応答して、前記ビデオセグメント内から前記第１のビデオフレーム画像を選択することを含む、ことを特徴とする画像処理装置。

【請求項8】

非一時的なコンピュータ読み取り可能な命令を記憶するためのメモリと、
前記コンピュータ読み取り可能な命令を実行するために用いられるプロセッサであって、前記プロセッサが実行すると、請求項１～６のいずれか１項に記載の画像処理方法を実現させるプロセッサと
を含む電子機器。

【請求項9】

非一時的なコンピュータ読み取り可能な命令を記憶するために用いられ、前記非一時的なコンピュータ読み取り可能な命令がコンピュータによって実行されると、前記コンピュータに請求項１～６のいずれか１項に記載の画像処理方法を実行させる非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項10】

コンピュータプログラムであって、前記コンピュータプログラムが電子機器上で実行されると、前記電子機器に請求項１～６のいずれか１項に記載の方法を実行させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、２０１９年１２月３０日に国家知識産権局に提出された、出願番号が２０１９１１３９７５２１．４であり、出願の名称が「画像処理方法及び装置」である中国特許出願の優先権を主張し、その内容の全てが参照によって本出願に組み込まれる。

【0002】

［技術分野］
本開示は、画像処理技術分野に関し、特に画像処理方法、装置及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0003】

インターネット技術及び画像処理技術が発展しつつあり、それに伴い、撮像時に画像にエフェクトを付加することが人気を集めている。ユーザは、相応なエフェクト機能を選択することにより、撮像した画像に好みのエフェクトを付加することができ、撮像の興趣性を高めることができる。従来技術における画像エフェクト機能では柔軟性に欠ける。

【発明の概要】

【発明が解決しようとする課題】

【0004】

この発明の概要は、構想を簡単な形で紹介するために提供され、これらの構想は、発明を実施するための以下の形態で詳細に記述される。この発明の概要は、権利化しようとする技術案のキーポイントとなる特徴又は必須な特徴を特定することを意図するものではなく、権利化しようとする技術案の範囲を制限することも意図していない。

【0005】

本開示が解決しようとする技術課題は、従来技術における画像エフェクト機能の表示効果が柔軟性に欠けるという技術課題を少なくとも部分的に解決する画像処理方法を提供することにある。また、画像処理装置、画像処理ハードウェア装置、コンピュータ読み取り可能な記憶媒体及び画像処理端末をさらに提供する。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本開示の一側面によれば、
オリジナルビデオを取得することと、
前記オリジナルビデオから第１のビデオフレーム画像を選択することと、
前記オリジナルビデオから目標対象を含む第２のビデオフレーム画像を選択し、前記第２のビデオフレーム画像から前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を分離することと、
前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第１のビデオフレーム画像に重畳してエフェクト画像を得ることと、
前記オリジナルビデオにおいて、前記第２のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成することと
を含む画像処理方法を提供する。

【0007】

上記目的を達成するために、本開示の一側面によれば、
オリジナルビデオを取得するためのビデオ取得モジュールと、
前記オリジナルビデオから第１のビデオフレーム画像を選択するための画像選択モジュールであって、前記オリジナルビデオから目標対象を含む第２のビデオフレーム画像を選択し、前記第２のビデオフレーム画像から前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を分離するための画像選択モジュールと、
前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第１のビデオフレーム画像に重畳してエフェクト画像を得るための透明化処理モジュールと、
前記オリジナルビデオにおいて、前記第２のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成するための画像置換モジュールと
を含む画像処理装置を提供する。

【0008】

上記目的を達成するために、本開示の一側面によれば、
非一時的なコンピュータ読み取り可能な命令を記憶するためのメモリと、
前記コンピュータ読み取り可能な命令を実行するために用いられるプロセッサであって、前記プロセッサが実行すると、上記の画像処理方法を実現させるプロセッサと
を含む電子機器を提供する。

【0009】

上記目的を達成するために、本開示の一側面によれば、
非一時的なコンピュータ読み取り可能な命令を記憶するために用いられ、前記非一時的なコンピュータ読み取り可能な命令がコンピュータによって実行されると、前記コンピュータに上記の画像処理方法を実行させるコンピュータ読み取り可能な記憶媒体を提供する。

【0010】

上記目的を達成するために、本開示の別の側面によれば、
上記いずれかの画像処理装置を含む画像処理端末を提供する。

【発明の効果】

【0011】

本開示の実施例は、オリジナルビデオを取得し、前記オリジナルビデオから第１のビデオフレーム画像を選択し、前記オリジナルビデオから目標対象を含む第２のビデオフレーム画像を選択し、前記第２のビデオフレーム画像から前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を分離し、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第１のビデオフレーム画像に重畳してエフェクト画像を得て、前記オリジナルビデオにおいて、前記第２のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成することにより、ユーザは、同一の目標対象の異なるビデオフレームにおける画像を同時に見ることができ、表示効果がより柔軟になる。

【0012】

上記の説明は、本開示の技術案の概要に過ぎず、本開示の技術的手段をより明確に理解し、明細書の内容に基づいて実施できるようにし、本開示の上記及び他の目的、特徴及び利点をより明らかで理解しやすいようにするために、以下、好ましい実施例を挙げて、添付図面と併せて、以下のように詳しく説明する。

【0013】

本開示の各実施例の上記及び他の特徴、利点、並びに態様は、添付図面と併せて、以下の発明を実施するための形態を参照することでより明らかとなる。全ての添付図面において、同一又は類似する要素を同一又は類似する符号で示している。添付図面は概略的なものであり、エレメント及び要素は必ずしも縮尺通りに描かれていないことを理解されたい。

【図面の簡単な説明】

【0014】

【図1a】本開示の１つの実施例による画像処理方法のフローチャート概略図である。

【図1b】本開示の１つの実施例による画像処理方法における第１のビデオフレーム画像の概略図である。

【図1c】本開示の１つの実施例による画像処理方法における幽体離脱エフェクト画像の模式図である。

【図2】本開示の１つの実施例による画像処理方法のフローチャート模式図である。

【図3】本開示の１つの実施例による画像処理方法のフローチャート模式図である。

【図4】本開示の１つの実施例による画像処理装置の構造模式図である。

【図5】本開示の１つの実施例による電子機器の構造模式図である。

【発明を実施するための形態】

【0015】

以下は、添付図面を参照しながら、本開示の実施例をより詳細に記述する。添付図面においては本開示のいくつかの実施例が示されているが、本開示を様々な形態で実現することができ、ここで記述された実施例に限定されると解釈されるべきではないことを理解されたい。逆に、これらの実施例は、本開示をより徹底的且つ完全に理解するために提供される。本開示の添付図面及び実施例は、例示的なものに過ぎず、本開示の保護範囲を制限するものではないことを理解されたい。

【0016】

本開示の方法の実施形態に記載された各ステップは、異なる順序で実行されてもよく、且つ／又は並行して実行されてもよいことを理解されたい。さらに、方法の実施形態は、追加のステップを含んでもよく、且つ／又は示されたステップの実行を省略してもよい。本開示の範囲はこの点において制限されない。

【0017】

本明細書で使用される「含む」という用語及びその変形は、非限定的な包括であり、即ち、「含むが、それらに限らない」を意味する。「基づいて」という用語は、「少なくとも部分的に基づいて」を意味する。「一実施例」という用語は、「少なくとも１つの実施例」を意味し、「別の実施例」という用語は、「少なくとも１つの別の実施例」を意味し、「いくつかの実施例」という用語は、「少なくともいくつかの実施例」を意味する。他の用語の関連定義は、以下の記述において与えられる。

【実施例1】

【0018】

従来技術における画像エフェクト機能の表示効果が柔軟性に欠けるという技術課題を解決するために、本開示の実施例は、画像処理方法を提供する。図１ａに示すように、該画像処理方法は、主に以下のステップＳ１１～ステップＳ１５を含む。

【0019】

ステップＳ１１：オリジナルビデオを取得する。

【0020】

オリジナルビデオ画像は、ライブ配信ビデオ、又は端末のローカルストレージに予め記憶されているビデオ、又は動画像、又は一連の静止画からなる画像シーケンスであってもよい。具体的には、端末のカメラヘッド又はカメラによってリアルタイムでビデオ画像を取得し得る。端末は、移動端末（例えば、スマートフォン、ｉＰｈｏｎｅ（登録商標）、タブレット、ノートブック又はウェアラブルデバイス）であってもよく、固定端末（例えば、デスクトップコンピュータ）であってもよい。

【0021】

ステップＳ１２：前記オリジナルビデオから第１のビデオフレーム画像を選択する。

【0022】

前記第１のビデオフレーム画像には、目標対象が含まれていてもよいし、目標対象が含まれていなくてもよい。前記第１のビデオフレーム画像は、前記オリジナルビデオの先頭フレーム画像、又は中間フレーム画像、又は最後のフレームの画像であってもよい。

【0023】

目標対象は、予め設定されてもよく、例えば、人物像、動物像（例えば、猫、犬など）などであり、具体的には、既存の目標検出アルゴリズムを用いてビデオ画像から目標対象を検出して得ることができる。採用可能な目標検出アルゴリズムは、ディープラーニングに基づく目標検出アルゴリズム、ニューラルネットワークに基づく画像認識アルゴリズムであってもよい。

【0024】

ステップＳ１３：前記オリジナルビデオから目標対象を含む第２のビデオフレーム画像を選択し、前記第２のビデオフレーム画像から前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を分離する。

【0025】

第２のビデオフレーム画像には目標対象が含まれ、この目標対象は、人物像、動物像（例えば、猫、犬など）などであってもよい。第１のビデオフレーム画像も目標対象を含む場合、第１のビデオフレーム画像及び第２のビデオフレーム画像は、同一の目標対象を含んでもよい。第２のビデオフレーム画像は、前記オリジナルビデオの先頭フレーム画像、又は中間フレーム画像、又は最後のフレームの画像であってもよい。

【0026】

第１のビデオフレーム画像及び第２のビデオフレーム画像は、２つの異なる画像である（例えば、目標対象のビデオにおける位置及び／又は姿勢が異なる）。目標対象のビデオにおける画像部分が異なる他、第１のビデオフレーム画像及び第２のビデオフレーム画像における残りの画像部分、即ち背景画像部分は、同じであっても異なっていてもよい。

【0027】

具体的には、前記オリジナルビデオにおける各フレーム画像のいずれにも目標対象が含まれる場合、２つの同一又は類似する画像を、それぞれ第１のビデオフレーム画像及び第２のビデオフレーム画像としてランダムに選択してもよい。又は、第２のビデオフレーム画像は、オリジナルビデオにおいて第１のビデオフレーム画像の後に再生される画像であってもよい。つまり、オリジナルビデオにおいて、第１のビデオフレーム画像の再生時間は、第２のビデオフレーム画像の再生時間よりも早い。例えば、最新のビデオを第２のビデオフレーム画像として採集し、前記第２のビデオフレーム画像と同一又は類似する過去のビデオフレーム画像から１つのフレーム画像を第１のビデオフレーム画像として選択する。

【0028】

ステップＳ１４：前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第１のビデオフレーム画像に重畳してエフェクト画像を得る。

【0029】

具体的には、図１ｂに示すように、前記目標対象が人物像であることを例として本実施例のエフェクト効果を説明する。図１ｂは第１のビデオフレーム画像であり、図１ｃはエフェクト画像、即ち、幽体離脱を実現するエフェクト画像である。

【0030】

ステップＳ１５：前記オリジナルビデオにおいて、前記第２のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成する。

【0031】

具体的には、エフェクト作成場面が既存ビデオのポストプロダクションである場合、前記オリジナルビデオにおいて、前記第２のビデオフレーム画像を前記エフェクト画像に置き換え、それにより、目標ビデオを得ることができる。エフェクト作成場面が、撮像中かつ再生中のビデオに対してリアルタイムでエフェクト処理を行う場面である場合、第２のビデオフレーム画像が撮像された時点で、第２のビデオフレーム画像をエフェクト画像に置き換えて再生することができる。つまり、オリジナルビデオの再生中の表示は、目標ビデオを形成する。そのうち、オリジナルビデオは、撮像されたビデオであり、目標ビデオは、表示が再生されたビデオである。

【0032】

本実施例は、オリジナルビデオから第１のビデオフレーム画像を選択し、前記オリジナルビデオから目標対象を含む第２のビデオフレーム画像を選択し、前記第２のビデオフレーム画像から前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を分離し、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第１のビデオフレーム画像に重畳してエフェクト画像を得て、前記オリジナルビデオにおいて、前記第２のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成することにより、ユーザは、同一の目標対象の異なるビデオフレームにおける画像を同時に見ることができ、表示効果がより柔軟になる。

【0033】

１つの選択的な実施例では、前記第１のビデオフレーム画像には前記目標対象が含まれ、前記目標対象が前記第１のビデオフレーム画像中で占める画像部分と、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分とは異なる。

【0034】

例えば、第１のビデオフレーム画像に含まれる前記目標対象は、人がしゃがむ画像であってもよく、前記第２のビデオフレーム画像に含まれる前記目標対象は、人が屈む又は立つ画像であってもよい。

【0035】

１つの選択的な実施例では、ステップＳ１４は、具体的には、以下のステップを含む。

【0036】

ステップＳ１４１：前記第１のビデオフレーム画像に対応する赤青緑の３つの色チャネルの第１の画素値を取得する。

【0037】

第１の画素値は、赤の３つの色チャネル、青の３つの色チャネル、緑の３つの色チャネルのうちの少なくとも１つの画素値を含む。

【0038】

第１のビデオフレーム画像が赤青緑画像でない場合、色空間変換によってそれを赤青緑画像に変換した後、赤青緑の３色チャネルの画素値を取得することができる。

【0039】

ステップＳ１４２：前記目標対象が前記第２のビデオフレーム画像中で占める画像部分に対応する赤青緑の３色チャネルの第２の画素値を取得する。

【0040】

第２の画素値は、赤の３つの色チャネル、青の３つの色チャネル、緑の３つの色チャネルのうちの少なくとも１つの画素値を含む。

【0041】

目標対象が前記第２のビデオフレーム画像中で占める画像部分が赤青緑画像でない場合、色空間変換によってそれを赤青緑画像に変換した後、赤青緑の３色チャネルの画素値を取得することができる。

【0042】

ステップＳ１４３：前記第１の画素値と、前記第２の画素値と、予め設定された透明度とに基づいて、エフェクト画像を決定する。

【0043】

予め設定された透明度は、カスタム設定されてもよく、０．５という値を取ってもよい。

【0044】

１つの選択的な実施例では、ステップＳ１４３は、具体的には、式
ｒ＝ｒ１×（１－ａ）＋ｒ０×ａと、
ｇ＝ｇ１×（１－ａ）＋ｇ０×ａと、
ｂ＝ｂ１×（１－ａ）＋ｂ０×ａと
に基づいて、エフェクト画像を決定することを含む。ここで、ｒ、ｇ、ｂはそれぞれ、エフェクト画像に対応する赤、緑、青チャンネルの画素値であり、ｒ１、ｇ１、ｂ１はそれぞれ、前記第１のビデオフレーム画像に対応する赤、緑、青チャンネルの画素値であり、ｒ０、ｇ０、ｂ０はそれぞれ、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分に対応する赤、緑、青チャンネルの画素値である。

【実施例2】

【0045】

本実施例は、上記実施例に基づいて、前述した、前記オリジナルビデオから第１のビデオフレーム画像を選択するステップをさらに限定する。この限定に基づいて、本実施例は、具体的には、図２に示すように、以下のステップＳ２１～ステップＳ２５を実現する。

【0046】

ステップＳ２１：オリジナルビデオを取得する。

【0047】

ステップＳ２２：前記オリジナルビデオにおける１つの予め設定された時間長のビデオセグメント内で前記目標対象が占める画像部分に変化がないことに応答して、前記ビデオセグメント内から前記第１のビデオフレーム画像を選択する。

【0048】

前記第１のビデオフレーム画像には、前記目標対象が含まれている。具体的には、目標対象が人物像である場合を例として、本ステップにおいて、目標対象（例えば、ユーザ）がオリジナルビデオにおいて同じ姿勢を予め設定された時間長（例えば、２ｓ）維持すると、オリジナルビデオからこの時間長内に取得されたいずれか１つのフレームの画像を第１のビデオフレーム画像とする。例えば、前記オリジナルビデオの前記時間長内の最後の１つのフレームの画像を前記第１のビデオフレーム画像とする。例えば、撮像しながらビデオを再生する場面において、２ｓ内に目標対象に変化がないことが検出された場合、現在撮像している画像、即ち、２ｓ内の最後の１つのフレームの画像を第１のビデオフレーム画像として取得する。

【0049】

ステップＳ２３：前記オリジナルビデオから目標対象を含む第２のビデオフレーム画像を選択し、前記第２のビデオフレーム画像から前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を分離する。

【0050】

第２のビデオフレーム画像は、オリジナルビデオの再生時間が予め設定された時間長（例えば、２ｓ）を超えた時点で採集された最新のビデオ画像である。前記予め設定された時間長のビデオセグメント内で前記目標対象が占める画像部分に変化がなく、予め設定された時間長を超えたときに、前記目標対象が占める画像部分に変化が生じる。つまり、最終的に得られた前記第１のビデオフレーム画像に含まれる前記目標対象が前記第１のビデオフレーム画像中で占める画像部分と、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分とは異なる。

【0051】

ステップＳ２４：前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第１のビデオフレーム画像に重畳してエフェクト画像を得る。

【0052】

予め設定された時間内に、前記現在画像から前記目標対象を分離する。前記予め設定された時間に達したとき、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を予め設定された透過度で第１のビデオフレーム画像に重畳する。

【0053】

ステップＳ２５：前記オリジナルビデオにおいて、前記第２のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成する。

【0054】

具体的には、目標対象が人物像である場合を例にして、本ステップにおいて、目標対象（例えば、ユーザ）がビデオ画像において同じ姿勢を予め設定された時間長（例えば、２ｓ）維持する必要がある。前記予め設定された時間に達したとき、図１ｃに示す幽体離脱というエフェクト、即ち、半透明の人物像活動を有するエフェクトをトリガする。

【0055】

上記ステップＳ２１、ステップＳ２３～ステップＳ２５の詳細については、上記実施例１を参照することができ、ここではこれ以上説明しない。

【実施例3】

【0056】

本実施例は、上記実施例に基づいて、前述した、前記オリジナルビデオから第１のビデオフレーム画像を選択するステップをさらに限定する。この限定に基づいて、本実施例は、具体的には、図３に示すように、以下のステップＳ３１～ステップＳ３５を実現する。

【0057】

ステップＳ３１：オリジナルビデオを取得する。

【0058】

ステップＳ３２：前記オリジナルビデオにおいて前記目標対象が予め設定された動作をしていることに応答して、前記オリジナルビデオから前記目標対象が予め設定された動作をしているビデオフレーム画像を前記第１のビデオフレーム画像として選択する。

【0059】

ここで、予め設定された動作は、予め設定された姿勢（例えば、ＯＫジェスチャ、手を振る、首を振るなど）であってもよく、あるいは、目標対象の姿勢に変化が生じ、例えば、しゃがむから屈むになり、又は屈むから立つになり、又は、頭を低く下げるから頭を持ち上げるになるなどであってもよい。

【0060】

ステップＳ３３：前記オリジナルビデオから目標対象を含む第２のビデオフレーム画像を選択し、前記第２のビデオフレーム画像から前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を分離する。

【0061】

前記第１のビデオフレーム画像には前記目標対象が含まれ、前記目標対象が前記第１のビデオフレーム画像中で占める画像部分と、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分とは異なる。

【0062】

ステップＳ３４：前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第１のビデオフレーム画像に重畳してエフェクト画像を得る。

【0063】

ステップＳ３５：前記オリジナルビデオにおいて、前記第２のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成する。

【0064】

上記ステップＳ３１、ステップＳ３３～ステップＳ３５の詳細については、上記実施例１を参照することができ、ここではこれ以上説明しない。

【0065】

上記各実施例に基づいて、明らかな変形（例えば、挙げられているモードを組み合わせる）又は同等な置換を行うこともできることが当業者に自明である。

【0066】

以上、画像処理方法の実施例における各ステップを上述した順序で説明したが、本開示の実施例におけるステップは、必ずしも上述した順序で実行される必要はなく、逆順、並列、交差などの他の順序で実行されてもよいことが当業者に自明である。また、上述したステップに加えて、当業者は、他のステップを追加してもよく、これらの明らかな変形又は同等な置換は、本開示の保護範囲に含まれるべきであり、ここではこれ以上説明しない。

【0067】

以下は、本開示の装置の実施例である。本開示の装置の実施例は、本開示の方法の実施例により実現されるステップを実行するために使用されてもよい。説明の便宜上、本開示の実施例に関連する部分のみが示され、開示されていない具体的な技術的詳細は、本開示の方法の実施例を参照されたい。

【実施例4】

【0068】

従来技術における画像エフェクト機能の表示効果が柔軟性に欠けるという技術課題を解決するために、本開示の実施例は、画像処理装置を提供する。この装置は、上記実施例１、実施例２及び実施例３に記載の画像処理方法の実施例におけるステップを実行することができる。図４に示すように、この装置は、主に、ビデオ取得モジュール４１、画像選択モジュール４２、透明化処理モジュール４３及び画像置換モジュール４４を含み、そのうち、
ビデオ取得モジュール４１は、オリジナルビデオを取得するためのものであり、画像選択モジュール４２は、前記オリジナルビデオから第１のビデオフレーム画像を選択するためのものであり、
前記画像選択モジュール４２は、さらに、前記オリジナルビデオから目標対象を含む第２のビデオフレーム画像を選択し、前記第２のビデオフレーム画像から前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を分離するためのものであり、
透明化処理モジュール４３は、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第１のビデオフレーム画像に重畳してエフェクト画像を得るためのものであり、
画像置換モジュール４４は、前記オリジナルビデオにおいて前記第２のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成するためのものである。

【0069】

さらに、前記第１のビデオフレーム画像には前記目標対象が含まれ、前記目標対象が前記第１のビデオフレーム画像中で占める画像部分と、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分とは異なる。

【0070】

さらに、前記画像選択モジュール４２は、具体的には、前記オリジナルビデオにおける１つの予め設定された時間長のビデオセグメント内で前記目標対象が占める画像部分に変化がないことに応答して、前記ビデオセグメント内から前記第１のビデオフレーム画像を選択するために用いられる。

【0071】

さらに、前記第１のビデオフレーム画像は、前記オリジナルビデオの前記時間長内の最後の１つのフレームの画像である。

【0072】

さらに、前記画像選択モジュール４２は、具体的には、前記オリジナルビデオにおいて前記目標対象が予め設定された動作をしていることに応答して、前記オリジナルビデオから前記目標対象が予め設定された動作をしているビデオフレーム画像を前記第１のビデオフレーム画像として選択するために用いられる。

【0073】

さらに、前記目標対象は、人物像である。

【0074】

さらに、前記透明化処理モジュール４３は、具体的には、前記第１のビデオフレーム画像に対応する赤青緑の３つの色チャネルの第１の画素値を取得することと、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分に対応する赤青緑の３色チャネルの第２の画素値を取得することと、前記第１の画素値、前記第２の画素値及び予め設定された透明度に基づいて、エフェクト画像を決定することとに用いられる。

【0075】

さらに、前記透明化処理モジュール４３は、具体的には、式
ｒ＝ｒ１×（１－ａ）＋ｒ０×ａと、
ｇ＝ｇ１×（１－ａ）＋ｇ０×ａと、
ｂ＝ｂ１×（１－ａ）＋ｂ０×ａと
に基づいて、エフェクト画像を決定するために用いられ、ここで、ｒ、ｇ、ｂはそれぞれ、前記エフェクト画像に対応する赤、緑、青チャンネルの画素値であり、ｒ１、ｇ１、ｂ１はそれぞれ、前記第１のビデオフレーム画像に対応する赤、緑、青チャンネルの画素値であり、ｒ０、ｇ０、ｂ０はそれぞれ、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分に対応する赤、緑、青チャンネルの画素値である。

【0076】

画像処理装置の実施例の動作原理、実現される技術的効果などに関する詳細の説明は、前述の画像処理方法の実施例における関連説明を参照することができるため、ここではこれ以上説明しない。

【実施例5】

【0077】

以下、本開示の実施例を実現することに適合する電子機器５００の構造模式図を示す図５を参照する。本開示の実施例中の端末機器は、例えば、携帯電話、ノートパソコン、デジタル放送受信機、ＰＤＡ（パーソナルデジタルアシスタント）、ＰＡＤ（タブレット）、ＰＭＰ（可搬式マルチメディア再生機）、車載端末（例えば、車載ナビゲーション端末）などの携帯端末、及び例えばデジタルＴＶ、デスクトップコンピュータなどの固定端末を含み得るが、それらに限られない。図５に示された電子機器は一例に過ぎず、本開示の実施例の機能及び使用範囲に何の制限も加えない。

【0078】

図５に示すように、電子機器５００は処理装置（例えば、中央処理装置、グラフィックプロセッサーなど）５０１を含んでもよく、それはリードオンリーメモリ（ＲＯＭ）５０２に記憶されたプログラム又は記憶装置５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたプログラムによって各種の適切な動作及び処理を実行することができる。ＲＡＭ ５０３には、電子機器５００の操作に必要な各種のプログラムやデータがさらに格納されている。処理装置５０１、ＲＯＭ ５０２及びＲＡＭ ５０３は、バス５０４を介して相互に接続される。入力／出力（Ｉ／Ｏ）インタフェース５０５もバス５０４に接続される。

【0079】

一般的には、例えばタッチスクリーン、タッチパネル、キーボード、マウス、カメラヘッド、マイクロホン、加速度計、ジャイロなどを含む入力装置５０６と、例えば液晶ディスプレイ（ＬＣＤ）、スピーカー、発振器などを含む出力装置５０７と、例えば磁気テープ、ハードディスクなどを含む記憶装置５０８と、通信装置５０９とがＩ／Ｏインタフェース５０５に接続されていてもよい。通信装置５０９は、電子機器５００が他のデバイスと無線又は有線通信してデータを交換することを可能にする。図５に各種の装置を備えた電子機器５００が示されているが、示された装置の全てを実施したり、具備したりすることを要求する意図がないことを理解されたい。それ以上又は以下の装置を代替的に実施したり、具備したりすることが可能である。

【0080】

特に、本開示の実施例によれば、フローチャートを参照しながら上述したプロセスは、コンピュータソフトウェアプログラムとして実現できる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それは非一時的なコンピュータ読み取り可能な媒体に搭載された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含む。このような実施例では、該コンピュータプログラムは、通信装置５０９によってネットワークからダウンロード及びインストールされ、又は記憶装置５０８からインストールされ、又はＲＯＭ ５０２からインストールされ得る。処理装置５０１によって該コンピュータプログラムが実行されると、本開示の実施例の方法で特定された上記機能が実行される。

【0081】

なお、本開示における上記コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体若しくはコンピュータ読み取り可能な記憶媒体又はそれらの任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気、磁気、光、電磁、赤外線又は半導体のシステム、装置又はデバイス或いはそれらの任意の組み合わせであってもよいが、それらに限られない。コンピュータ読み取り可能な記憶媒体は、より具体的な例として、１つ又は複数の導線を有する電気接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置又はそれらの任意の適切な組み合わせを含んでもよいが、それらに限られない。本開示では、コンピュータ読み取り可能な記憶媒体はプログラムを含むか記憶するいかなる有形媒体であってもよく、該プログラムはコマンド実行システム、装置又はデバイスに使用されるか、それらと組み合わせて使用されることが可能である。本開示では、コンピュータ読み取り可能な信号媒体は、ベースバンドで伝播されるデータ信号又は搬送波の一部として伝播するデータ信号を含んでもよく、その中にコンピュータ読み取り可能なプログラムコードを搭載している。このように伝播されるデータ信号は多種の形式を採用してもよく、電磁信号、光信号又はそれらの任意の適切な組み合わせを含むが、それらに限られない。コンピュータ読み取り可能な信号媒体は更に、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、該コンピュータ読み取り可能な信号媒体は、コマンド実行システム、装置又はデバイスに使用されるかそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。コンピュータ読み取り可能な媒体に含まれるプログラムコードは任意の適切な媒体で伝送可能であり、電線、光ケーブル、ＲＦ（ラジオ周波数）など又はそれらの任意の適切な組み合わせを含んでもよいが、それらに限られない。

【0082】

いくつかの実施形態において、クライアント、サーバは、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ハイパーテキスト転送プロトコル）などの任意の現在既知の又は将来開発されるネットワークプロトコルを用いて通信することができ、任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）、広域ネットワーク（「ＷＡＮ」）、ネット間ネット（例えば、インターネット）、及びエンドツーエンドネットワーク（例えば、ａｄ ｈｏｃエンドツーエンドネットワーク）、並びに現在既知の又は将来開発される任意のネットワークを含む。

【0083】

上記コンピュータ読み取り可能な媒体は、上記電子機器に含まれるものであってもよいし、該電子機器に実装されていない単独したものであってもよい。

【0084】

上記コンピュータ読み取り可能な媒体には、１つ又は複数のプログラムが搭載されており、上記１つ又は複数のプログラムが該電子機器によって実行されると、該電子機器に、オリジナルビデオを取得することと、前記オリジナルビデオから第１のビデオフレーム画像を選択することと、前記オリジナルビデオから目標対象を含む第２のビデオフレーム画像を選択し、前記第２のビデオフレーム画像から前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を分離することと、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第１のビデオフレーム画像に重畳してエフェクト画像を得ることと、前記オリジナルビデオにおいて、前記第２のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成することとを実行させる。

【0085】

本開示の操作を実行するためのコンピュータプログラムコードは、１種又は多種のプログラミング言語又はそれらの組み合わせを用いて書くことが可能であり、上記プログラミング言語は、オブジェクト指向のプログラミング言語、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋を含み、更に一般の手続き型プログラミング言語、例えば「Ｃ」言語又は類似的なプログラミング言語を含むが、それらに限られない。プログラムコードは、完全にユーザコンピュータで実行したり、部分的にユーザコンピュータで実行したり、独立したソフトウェアパッケージとして実行したり、一部をユーザコンピュータで一部をリモートコンピュータで実行したり、完全にリモートコンピュータ又はサーバで実行したりすることができる。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意のネットワークによってユーザコンピュータに接続でき、又は外部コンピュータに接続できる（例えば、インターネットサービスプロバイダーを用いてインターネット経由で接続する）。

【0086】

添付図面のうちフローチャート及びブロック図は、本開示の各種の実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び動作を示す。この点では、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又はコードの一部分を代表することができ、該モジュール、プログラムセグメント又はコードの一部分は、指定された論理機能を実現するための１つ又は複数の実行可能命令を含む。なお、いくつかの置換としての実現では、ブロックに表記される機能は、図面に示したものと異なる順序で実現されてもよい。例えば、二つの連続的に示されたブロックは、実質的には、基本的に並列に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図及び／又はフローチャートにおける各ブロック、並びにブロック図及び／又はフローチャートにおけるブロックの組み合わせは、指定される機能又は操作を実行するハードウェアに基づく専用システムによって実現してもよいし、又は専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。

【0087】

本開示の実施例に係るユニットはソフトウェアで実現してもよいし、ハードウェアで実現してもよい。ここで、ユニットの名称は該ユニット自身を限定しない場合がある。例えば、第１の取得手段は、「少なくとも２つのインターネットプロトコルアドレスを取得する手段」と記述してもよい。

【0088】

本明細書で上述された機能は、少なくとも部分的に１つ又は複数のハードウェア論理構成要素によって実行され得る。例えば、使用可能な例示的なハードウェア論理構成要素は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複合プログラマブル論理装置（ＣＰＬＤ）などを含むが、それらに限られない。

【0089】

本開示において、機械読み取り可能な媒体は、有形媒体であってもよく、コマンド実行システム、装置、又はデバイスによって使用され、あるいは、コマンド実行システム、装置、又はデバイスと組み合わせて使用されるプログラムを含み、又は記憶することができる。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であり得る。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁的、赤外線、又は半導体システム、装置、もしくはデバイス、又は上記の任意の好適な組み合わせを含み得るが、それらに限られない。機械読み取り可能な記憶媒体のより具体的な例は、１つ又は複数の配線に基づく電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、又はそれらの任意の適切な組み合わせを含む。

【0090】

本開示の１つ又は複数の実施例によれば、
オリジナルビデオを取得することと、
前記オリジナルビデオから第１のビデオフレーム画像を選択することと、
前記オリジナルビデオから目標対象を含む第２のビデオフレーム画像を選択し、前記第２のビデオフレーム画像から前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を分離することと、
前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第１のビデオフレーム画像に重畳してエフェクト画像を得ることと、
前記オリジナルビデオにおいて、前記第２のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成することと
を含む画像処理方法を提供する。

【0091】

さらに、前記第１のビデオフレーム画像には前記目標対象が含まれ、前記目標対象が前記第１のビデオフレーム画像中で占める画像部分と、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分とは異なる。

【0092】

さらに、前述した、前記オリジナルビデオから第１のビデオフレーム画像を選択することは、具体的には、前記オリジナルビデオにおける１つの予め設定された時間長のビデオセグメント内で前記目標対象が占める画像部分に変化がないことに応答して、前記ビデオセグメント内から前記第１のビデオフレーム画像を選択することである。

【0093】

さらに、前記第１のビデオフレーム画像は、前記オリジナルビデオの前記時間長内の最後の１つのフレームの画像である。

【0094】

さらに、前述した、前記オリジナルビデオから第１のビデオフレーム画像を選択することは、具体的には、前記オリジナルビデオにおいて前記目標対象が予め設定された動作をしていることに応答して、前記オリジナルビデオから前記目標対象が予め設定された動作をしているビデオフレーム画像を前記第１のビデオフレーム画像として選択することである。

【0095】

さらに、前記目標対象は、人物像である。

【0096】

さらに、前述した、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第１のビデオフレーム画像に重畳してエフェクト画像を得ることは、
前記第１のビデオフレーム画像に対応する赤青緑の３つの色チャネルの第１の画素値を取得することと、
前記目標対象が前記第２のビデオフレーム画像中で占める画像部分に対応する赤青緑の３色チャネルの第２の画素値を取得することと、
前記第１の画素値と、前記第２の画素値と、予め設定された透明度とに基づいて、エフェクト画像を決定することと
を含む。

【0097】

さらに、前述した、前記第１の画素値と、前記第２の画素値と、予め設定された透明度とに基づいて、エフェクト画像を決定することは、式
ｒ＝ｒ１×（１－ａ）＋ｒ０×ａと、
ｇ＝ｇ１×（１－ａ）＋ｇ０×ａと、
ｂ＝ｂ１×（１－ａ）＋ｂ０×ａと
に基づいて、エフェクト画像を決定することを含み、ここで、ｒ、ｇ、ｂはそれぞれ、前記エフェクト画像に対応する赤、緑、青チャンネルの画素値であり、ｒ１、ｇ１、ｂ１はそれぞれ、前記第１のビデオフレーム画像に対応する赤、緑、青チャンネルの画素値であり、ｒ０、ｇ０、ｂ０はそれぞれ、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分に対応する赤、緑、青チャンネルの画素値である。

【0098】

本開示の１つ又は複数の実施例によれば、
オリジナルビデオを取得するためのビデオ取得モジュールと、
前記オリジナルビデオから第１のビデオフレーム画像を選択するための画像選択モジュールであって、前記オリジナルビデオから目標対象を含む第２のビデオフレーム画像を選択し、前記第２のビデオフレーム画像から前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を分離するための画像選択モジュールと、
前記目標対象が前記第２のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第１のビデオフレーム画像に重畳してエフェクト画像を得るための透明化処理モジュールと、
前記オリジナルビデオにおいて、前記第２のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成するための画像置換モジュールと
を含む画像処理装置を提供する。

【0099】

さらに、前記第１のビデオフレーム画像には前記目標対象が含まれ、前記目標対象が前記第１のビデオフレーム画像中で占める画像部分と、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分とは異なる。

【0100】

さらに、前記画像選択モジュールは、具体的には、前記オリジナルビデオにおける１つの予め設定された時間長のビデオセグメント内で前記目標対象が占める画像部分に変化がないことに応答して、前記ビデオセグメント内から前記第１のビデオフレーム画像を選択するために用いられる。

【0101】

さらに、前記第１のビデオフレーム画像は、前記オリジナルビデオの前記時間長内の最後の１つのフレームの画像である。

【0102】

さらに、前記画像選択モジュールは、具体的には、前記オリジナルビデオにおいて前記目標対象が予め設定された動作をしていることに応答して、前記オリジナルビデオから前記目標対象が予め設定された動作をしているビデオフレーム画像を前記第１のビデオフレーム画像として選択するために用いられる。

【0103】

さらに、前記目標対象は、人物像である。

【0104】

さらに、前記透明化処理モジュールは、具体的には、前記第１のビデオフレーム画像に対応する赤青緑の３つの色チャネルの第１の画素値を取得することと、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分に対応する赤青緑の３色チャネルの第２の画素値を取得することと、前記第１の画素値、前記第２の画素値及び予め設定された透明度に基づいて、エフェクト画像を決定することとに用いられる。

【0105】

さらに、前記透明化処理モジュールは、具体的には、式
ｒ＝ｒ１×（１－ａ）＋ｒ０×ａと、
ｇ＝ｇ１×（１－ａ）＋ｇ０×ａと、
ｂ＝ｂ１×（１－ａ）＋ｂ０×ａと
に基づいて、エフェクト画像を決定するために用いられ、ここで、ｒ、ｇ、ｂはそれぞれ、前記エフェクト画像に対応する赤、緑、青チャンネルの画素値であり、ｒ１、ｇ１、ｂ１はそれぞれ、前記第１のビデオフレーム画像に対応する赤、緑、青チャンネルの画素値であり、ｒ０、ｇ０、ｂ０はそれぞれ、前記目標対象が前記第２のビデオフレーム画像中で占める画像部分に対応する赤、緑、青チャンネルの画素値である。

【0106】

本開示の１つ又は複数の実施例によれば、
非一時的なコンピュータ読み取り可能な命令を記憶するためのメモリと、
前記コンピュータ読み取り可能な命令を実行するために用いられるプロセッサであって、前記プロセッサが実行すると、上記画像処理方法を実現させるプロセッサと
を含む電子機器を提供する。

【0107】

本開示の１つ又は複数の実施例によれば、非一時的なコンピュータ読み取り可能な命令を記憶するために用いられ、前記非一時的なコンピュータ読み取り可能な命令がコンピュータによって実行されると、前記コンピュータに上記画像処理方法を実行させるコンピュータ読み取り可能な記憶媒体を提供する。

【0108】

上述したのは本開示の好ましい実施例及び適用する技術原理の説明に過ぎない。本開示に係る開示の範囲は、上記技術特徴の特定の組み合わせによる技術案に限定されなく、上記開示の構想を逸脱することなく上記技術特徴又はそれと同等な特徴を任意に組み合わせて形成した他の技術案をも同時に含むべきであることが当業者に自明である。例えば、上記特徴と本開示に開示された（それらに限らない）類似的な機能を有する技術的特徴を互いに取り替えて形成した技術案をも含む。

【0109】

また、各操作は、特定の順序で記述されているが、これは、そのような操作が、示されているその特定の順序で、又は順次的な順序で実行されることを求めている、と理解されるべきではない。所定の環境では、マルチタスク及び並行処理が有利であり得る。同様に、いくつかの具体的な実現の詳細が上記の記述に含まれているが、それらは、本開示の範囲を制限するものとして解釈されるべきではない。個々の実施例に関連して記載されている特定の特徴は、単一の実施例において組み合わせても実現可能である。逆に、単一の実施例に関連して記載されている様々な特徴はまた、複数の実施例で別々に、又は何らかの適切なサブコンビネーションで実現可能である。

【0110】

本主題は、構造的特徴及び／又は方法論理動作に特有の言語で記述されたが、添付の特許請求の範囲に限定された主題は、必ずしも上記で記述された特定の特徴又は動作に限定されないことを理解されたい。むしろ、上述された特定の特徴及び動作は、特許請求の範囲を実現する例示的な形態に過ぎない。

【図1a】

【図1b】

【図1c】

【図2】

【図3】

【図4】

【図5】