(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-25
(45)【発行日】2023-09-04
(54)【発明の名称】画像処理方法、装置、電子機器及びコンピュータ可読型記憶媒体
(51)【国際特許分類】
H04N 5/93 20060101AFI20230828BHJP
G09G 5/00 20060101ALI20230828BHJP
G06T 11/60 20060101ALI20230828BHJP
G06V 10/22 20220101ALI20230828BHJP
【FI】
H04N5/93
G09G5/00 530A
G09G5/00 550B
G09G5/00 530D
G06T11/60
G06V10/22
(21)【出願番号】P 2022509655
(86)(22)【出願日】2020-08-04
(86)【国際出願番号】 CN2020106861
(87)【国際公開番号】W WO2021031847
(87)【国際公開日】2021-02-25
【審査請求日】2022-02-15
(31)【優先権主張番号】201910759082.0
(32)【優先日】2019-08-16
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Beijing Bytedance Network Technology Co., Ltd.
【住所又は居所原語表記】Room B-0035, 2/F, No.3 Building, No.30, Shixing Road, Shijingshan District Beijing 100041 China
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】王 兢▲業▼
【審査官】松元 伸次
(56)【参考文献】
【文献】中国特許出願公開第108833818(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T1/00
7/00-7/90
11/60-13/80
17/05
19/00-19/20
G06V10/00-20/90
30/418
40/16
40/20
G09G5/00-5/36
5/377-5/42
H04N5/76-5/775
5/80-5/956
(57)【特許請求の範囲】
【請求項1】
画像処理方法であって、
動画画像を取得するステップと、
前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するステップと、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するステップと、を含
み、
前記前景ステッカーは、第1の動画シーケンスからなり、
前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するステップは、前記第1の動画シーケンスから第1のフレーム動画画像を選択して前記前景ステッカーとするステップを含み、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するステップは、前記動画画像の重畳進度に基づいて、周期的に前記第1の動画シーケンスにおける残り動画から動画画像を順に選択して画面特殊効果画像とするステップを含み、
前記前景ステッカー、前記画面特殊効果、フィルターは、画面方向に向かう方向において後ろから前に順に配列される、
ことを特徴とする画像処理方法。
【請求項2】
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するステップは、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成するステップを含む、
ことを特徴する請求項1に記載の画像処理方法。
【請求項3】
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成するステップは、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定するステップと、
前記オフセット量に基づいて前記前景ステッカーにおける各画素点を移動させて、前記歪みの画面特殊効果画像を得るステップと、を含む、
ことを特徴する請求項2に記載の画像処理方法。
【請求項4】
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定するステップは、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記動画画像の高さ、オフセット幅、システム時間、歪み係数、歪み密度及び補正係数のうちの少なくとも1つのパラメータを取得するステップと、
前記少なくとも1つのパラメータに基づいて、前記前景ステッカーにおける各画素点のオフセット量を確定するステップと、を含む、
ことを特徴する請求項3に記載の画像処理方法。
【請求項5】
前記少なくとも1つのパラメータに基づいて、前記前景ステッカーにおける各画素点のオフセット量を確定するステップは、
下記の式
【数5】
を採用して前記前景ステッカーにおける各画素点のオフセット量を確定するステップを含み、
xは、画素点の横座標であり、yは、画素点の縦座標であり、αは、前記オフセット幅であり、βは、前記歪み係数であり、tは、前記システム時間であり、δは、前記歪み密度であり、ε
1及びε
2は、前記補正係数であり、sin(.)は、正弦関数である、
ことを特徴する請求項4に記載の画像処理方法。
【請求項6】
前記方法は、
前記画面特殊効果画像に対してフィルター処理を行うステップと、
フィルター処理後の画面特殊効果画像をレンダリングするステップと、をさらに含む、
ことを特徴する請求項2~
5のいずれか1項に記載の画像処理方法。
【請求項7】
前記フィルターは、第2の動画シーケンスからなり、
前記画面特殊効果画像に対してフィルター処理を行うステップは、
前記動画画像の重畳進度に基づいて、周期的に前記第2の動画シーケンスから動画画像を順に選択してフィルター画像とするステップと、
前記フィルター画像を採用して前記画面特殊効果画像に対してフィルター処理を行うステップと、を含む、
ことを特徴する請求項
6に記載の画像処理方法。
【請求項8】
前記方法は、第1のタイマによって前記周期を制御するステップをさらに含む、
ことを特徴する請求項
1または6または7に記載の画像処理方法。
【請求項9】
前記方法は、前記動画画像に予め設定されたターゲットが出現したことを検出した後かつ前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳する前に、第2のタイマを起動させて計時するステップをさらに含む、
ことを特徴する請求項
6に記載の画像処理方法。
【請求項10】
前記方法は、前記第2のタイマの計時が予め設定された時間を超えたときに、前記フィルター、前記画面特殊効果、及び前記前景ステッカーを順にオフするステップをさらに含む、
ことを特徴する請求項
9に記載の画像処理方法。
【請求項11】
画像処理装置であって、
動画画像を取得するための画像取得手段と、
前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するためのステッカー重畳手段と、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するための特殊効果生成手段と、
を備
え、
前記前景ステッカーは、第1の動画シーケンスからなり、
前記ステッカー重畳手段は、前記第1の動画シーケンスから第1のフレーム動画画像を選択して前記前景ステッカーとし、
前記特殊効果生成手段は、前記動画画像の重畳進度に基づいて、周期的に前記第1の動画シーケンスにおける残り動画から動画画像を順に選択して画面特殊効果画像とし、
前記前景ステッカー、前記画面特殊効果、フィルターは、画面方向に向かう方向において後ろから前に順に配列される、
ことを特徴するの画像処理装置。
【請求項12】
非一時的なコンピュータ可読指令を記憶するための記憶器と、
前記コンピュータ可読指令の実行によって請求項1~
10のいずれか1項に記載の画像処理方法を実行するための処理器と、備える、
ことを特徴する電子機器。
【請求項13】
非一時的なコンピュータ可読指令を記憶するためのものであり、
前記非一時的なコンピュータ可読指令がコンピュータによって実行されるときに、前記コンピュータが請求項1~
10のいずれか1項に記載の画像処理方法を実行する、
ことを特徴するコンピュータ可読型記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願の相互参照]
本願は、2019年08月16日に中国特許庁に出願した、発明の名称が「画像処理方法、装置、電子機器及びコンピュータ可読型記憶媒体」である中国特許出願第201910759082.0号の優先権を主張し、その全ての内容が参照により本願に援用される。
【0002】
[技術分野]
本発明は、画像処理の技術分野に関し、特に画像処理方法、装置、電子機器及びコンピュータ可読型記憶媒体に関するものである。
【背景技術】
【0003】
スマート端末技術の発展に伴い、スマート端末の機能も多様化され、例えば、ユーザは、端末を利用して、ライブ配信やショート動画(Short video)の撮影を行うことができる。ライブ配信やショート動画の撮影において、予め設定された動作特殊効果の実現は、非常に面白いインタラクティブエンターテイメントである。
【0004】
現在、予め設定された動作特殊効果を実現する方法はない。
【発明の概要】
【0005】
この発明の概要は、簡単な形式で本発明の思想を説明するためのものであり、これらの思想は、後述する実施の形態で詳細に説明される。この発明の概要は、保護しようとする技術的構成の肝要な特徴や必要な特徴を特定するためのものではなく、保護しようとする技術的構成の保護範囲を限定するためのものでもない。
【0006】
本開示は、少なくとも、従来技術において予め設定された動作特殊効果を実現することができなかった技術的問題を部分的に解決する画像処理方法を提供する。また、画像処理装置、画像処理ハードウェア装置、コンピュータ可読型記憶媒体及び画像処理端末も提供する。
【0007】
上記の目的を実現するために、本開示の一形態に係る画像処理方法は、
動画画像を取得するステップと、
前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するステップと、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するステップと、を含む。
【0008】
上記の目的を実現するために、本開示の一形態に係る画像処理装置は、
動画画像を取得するための画像取得手段と、
前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するためのステッカー重畳手段と、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するための特殊効果生成手段と、を備える。
【0009】
上記の目的を実現するために、本開示の一形態に係る電子機器は、
非一時的なコンピュータ可読指令を記憶するための記憶器と、
前記コンピュータ可読指令の実行によって上記のいずれか1項に記載の画像処理方法を実行するための処理器と、備える。
【0010】
上記の目的を実現するために、本開示の一形態に係るコンピュータ可読型記憶媒体は、
非一時的なコンピュータ可読指令を記憶するためのものであり、
前記非一時的なコンピュータ可読指令がコンピュータによって実行されるときに、前記コンピュータが上記のいずれか1項に記載の画像処理方法を実行する。
【0011】
上記の目的を実現するために、本開示のもう一形態に係る画像処理端末は、上記のいずれか1項に記載の画像処理装置を備える。
【0012】
本開示の実施例は、動画画像を取得し、前記動画画像に予め設定されたターゲットが出現したことを検出したときに前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳し、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに画面特殊効果を生成することにより、予め設定されたターゲットで生じる予め設定された動作の画面特殊効果を実現することができる。
【0013】
以上、本発明の技術的構成の概要を説明してきた。以下、本発明の技術的構成をより詳細に理解し、この明細書の内容により本発明を充分に実施し、かつ本発明の上述した及びそれ以外の目的、特徴及び発明の効果をより容易に理解してもらうために、好適な実施例と図面により本発明を詳細に説明する。
【図面の簡単な説明】
【0014】
図面及び下記の実施の形態により、本開示の各実施例の上述した及びそれ以外の目的、特徴及び発明の効果は明らかになる。図面の全般において、同一又は類似の符号は、同一又は類似の構成要素を表す。なお、図面は、模式的なものであり、実際の構成要素を必ずしも実寸通りに表したものではない。
【
図1】本開示の一実施例に係る画像処理方法のフローチャートである。
【
図2】本開示の一実施例に係る画像処理方法のフローチャートである。
【
図3】本開示の一実施例に係る画像処理方法のフローチャートである。
【
図4】本開示の一実施例に係る電子機器の構成を示す図である。
【発明を実施するための形態】
【0015】
以下、図面及び実施例を参照しながら本開示を説明する。図面には、本開示の一部の実施例を示しているが、本開示は、いろいろな形式によって実現することができ、説明される実施例に限定されるものではなく、逆にこれらの実施例は、本開示を適切かつ完全に理解するためのものである。なお、本開示の図面及び実施例は、例示的なものであり、本開示の保護範囲を限定するためのものではない。
【0016】
なお、本開示の方法において、実施の形態に記載の各ステップは、異なる順序に従って、及び/又は、並行に実行される。また、方法の実施の形態は、あるステップを付加的に実行したり、及び/又は、あるステップの実行を省略したりすることができる。本開示は、これらに限定されるものではない。
【0017】
本開示で使用される用語「含む」及びその変形は、開放的な「含む」であり、すなわち「含むがこれらに限定しない」とのことを意味する。用語「基づく」は、「少なくとも部分的に基づく」とのことを意味する。用語「一実施例」は、「少なくとも1つの実施例」とのことを意味する。用語「別の実施例」は、「少なくとも1つの別の実施例」とのことを意味する。他の用語の関連定義は、以下で説明する。
【実施例1】
【0018】
従来技術において予め設定された動作特殊効果を実現することができなかった技術的問題を解決するために、画像処理方法を提供する。
図1に示したように、この画像処理方法は、主に以下のステップS11~S13を含む。
【0019】
ステップS11では、動画画像を取得する。
【0020】
動画画像は、実時間で入力される、ショート動画アプリケーションにおけるブロードキャスト動画のような動画ストリーミングであってもよく、端末に予め記憶されている動画画像であってもよい。端末は、スマートフォンやタブレット型コンピュータのような携帯端末であってもよく、デスクトップ型コンピュータのような固定端末であってもよい。
【0021】
ステップS12では、前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳する。
【0022】
予め設定されたターゲットは、例えば、ガッツポーズ、Vポーズ、OKポーズのような、予め設定されたポーズであることができる。
【0023】
前景ステッカーは、予め設定されたターゲットの前景としてのステッカーである。具体的には、予め設定されたターゲットの前景ステッカーは、インターネットから取得することができる。
【0024】
具体的には、既存の検出アルゴリズム(例えば、ニューラルネットワークによるターゲット検出アルゴリズムや、領域によるターゲット検出アルゴリズム等)を採用して動画画像に対して検出を行うことにより、予め設定されたターゲットを含む動画画像を検出することができる。
【0025】
ステップS13では、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成する。
【0026】
予め設定された動作は、前記予め設定されたターゲットと対応付けられた動作である。例えば、予め設定されたターゲットがガッツポーズである場合、対応する予め設定された動作は、拳を掲げる動作である。
【0027】
画面特殊効果は、画面揺動特殊効果及び/又は画面特殊効果画像であることができる。
【0028】
画面特殊効果画像は、前景ステッカーに基づいて生成されるものであることもでき、前記前景ステッカーと無関係の画像であることもできる。この画面特殊効果画像と予め設定された動作とは相互作用する。
【0029】
本実施例では、動画画像を取得し、前記動画画像に予め設定されたターゲットが出現したことを検出したときに前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳し、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに画面特殊効果を生成することにより、予め設定されたターゲットで生じる予め設定された動作の画面特殊効果を実現することができる。
【0030】
ある選択可能な実施例において、ステップS13は、具体的に、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成するステップを含む。
【0031】
画面特殊効果画像は、縦方向へ歪んだ前景ステッカー、横方向へ歪んだ前景ステッカー、又は縦方向と横方向とへ歪んだ前景ステッカーであることができる。
【0032】
ある選択可能な実施例において、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成するステップは、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定するステップと、
前記オフセット量に基づいて前記前景ステッカーにおける各画素点を移動させて、前記歪みの画面特殊効果画像を得るステップと、
を含む。
【0033】
オフセット量は、縦方向オフセット量、横方向オフセット量、又は縦方向と横方向とのオフセット量であることができる。
【0034】
ある選択可能な実施例において、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定するステップは、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記動画画像の高さ、オフセット幅、システム時間、歪み係数、歪み密度及び補正係数のうちの少なくとも1つのパラメータを取得するステップと、
前記少なくとも1つのパラメータに基づいて、前記前景ステッカーにおける各画素点のオフセット量を確定するステップと、
を含む。
【0035】
歪み係数は、歪みの速さを制御するためのものである。
【0036】
補正係数は、画面のちらつき現象を防止するためのものである。
【0037】
ある選択可能な実施例において、前記少なくとも1つのパラメータに基づいて、前記前景ステッカーにおける各画素点のオフセット量を確定するステップは、下記の式を採用して前記前景ステッカーにおける各画素点のオフセット量を確定するステップを含む。
【数1】
ここで、xは、画素点の横座標であり、例えば、正規化した横座標である。yは、画素点の縦座標であり、例えば、正規化した縦座標である。αは、前記オフセット幅であり、例えば、α=h/15であり、hは、動画画像の高さである。βは、歪みの速さを制御するための前記歪み係数であり、例えば、30と設定することができる。tは、前記システム時間であり、単位は、sである。δは、前記歪み密度であり、例えば、2.7と設定することができる。ε
1及びε
2は、前記補正係数である。sin(.)は、正弦関数である。
【0038】
横座標及び時間のみに関する三角関数を使用して縦方向オフセット量を制御すると、上下縁に画面のちらつき現象が発生してしまう。従って、補正項ε1及びε2が提案され、計算方法は、それぞれε1=h/3及びε2=-h/3である。
【0039】
ある選択可能な実施例において、前記方法は、下記のステップS14~S15をさらに含む。
【0040】
ステップS14では、前記画面特殊効果画像に対してフィルター処理を行う。
【0041】
ステップS15では、フィルター処理後の画面特殊効果画像をレンダリングする。
【0042】
ある選択可能な実施例において、前記前景ステッカー、前記画面特殊効果、前記フィルターは、画面方向に向かう方向において後ろから前に順に配列される。
【0043】
ある選択可能な実施例において、前記前景ステッカーは、第1の動画シーケンスからなる。
【0044】
対応的に、ステップS12は、具体的に、
前記第1の動画シーケンスから第1のフレーム動画画像を選択して前記前景ステッカーとするステップを含む。
【0045】
対応的に、ステップS13は、具体的に、
前記動画画像の重畳進度に基づいて、周期的に前記第1の動画シーケンスにおける残り動画から動画画像を順に選択して画面特殊効果画像とするステップを含む。
【0046】
具体的には、前景ステッカーも、動画シーケンスからなる。画面特殊効果の同期を確保するために、前景ステッカーの重畳周期とフィルターの重畳周期とを一致するようにする。この周期は、動画画像のフレームレートによって確定されることができる。
【0047】
ある選択可能な実施例において、前記フィルターは、第2の動画シーケンスからなる。
【0048】
対応的に、ステップS14は、下記のステップS141~S142をさらに含む。
【0049】
ステップS141では、前記動画画像の重畳進度に基づいて、周期的に前記第2の動画シーケンスから動画画像を順に選択してフィルター画像とするステップを含む。
【0050】
具体的には、フィルターは、マルティプライ(multiply)モードを採用することができ、動画シーケンスからなり、50ms毎に新しい動画をフィルターとして循環的に重畳する。
【0051】
ステップS142では、前記フィルター画像を採用して前記画面特殊効果画像に対してフィルター処理を行う。
【0052】
ある選択可能な実施例において、前記方法は、第1のタイマによって前記周期を制御するステップをさらに含む。
【0053】
具体的には、タイマをセットすることにより実現することができ、このタイマは予め設定された時間(例えば、50ms)毎に活性化される。
【0054】
ある選択可能な実施例において、前記動画画像に予め設定されたターゲットが出現したことを検出した後かつ前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳する前に、
第2のタイマを起動させて計時するステップをさらに含む。
【0055】
ある選択可能な実施例において、前記方法は、
前記第2のタイマの計時が予め設定された時間を超えたときに、前記フィルター、前記画面特殊効果、及び前記前景ステッカーを順にオフするステップをさらに含む。
【0056】
ある選択可能な実施例において、前記前景ステッカー、前記画面特殊効果、前記フィルターは、画面方向に向かう方向において後ろから前に順に配列される。
【0057】
画面方向に向かう方向は、3次元座標のある方向上の座標によって表され、例えば、Z軸方向であり、前記前景ステッカー、前記画面特殊効果、前記フィルターの座標は、Z軸方向に沿って順に減少する。
【実施例2】
【0058】
本実施例は、本開示を具体的に説明するためのものであり、
図2に示したように、この画像処理方法は、主に以下のステップS21~S25を含む。
【0059】
ステップS21では、動画画像を取得する。
【0060】
ステップS22では、前記動画画像に予め設定されたターゲットが出現したことを検出したときに、タイマを起動させて計時する。
【0061】
ステップS23では、前景ステッカーを重畳する。
【0062】
ステップS24では、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果画像を生成する。
【0063】
ステップS25では、前記画面特殊効果画像に対してフィルター処理を行う。
【0064】
ステップS26では、フィルター処理後の画面特殊効果画像をレンダリングする。
【0065】
予め設定されたターゲットが出現した後、タイマがセットされ、持続期間は2sであることができる。タイマが起動している期間中、3つの特殊効果をトリガし、前景ステッカーを重畳し、画面特殊効果及びフィルター特殊効果を生成する。それら3つのZ軸高さは順に減少する。
【0066】
フィルターは、マルティプライモードを採用し、動画シーケンスからなり、50ms毎に新しい動画をフィルターとして循環的に重畳し、別のタイマをセットすることによって実現され、このタイマは予め設定された時間(例えば、50ms)毎に活性化される。
【0067】
前景ステッカーも、動画シーケンスからなる。特殊効果の同期を確保するために、同様のタイマを採用し、50ms毎にトリガさせる。
【0068】
ステップS27では、前記第1のタイマの計時が予め設定された時間を超えたときに、前記フィルター、前記画面特殊効果、及び前記前景ステッカーを順にオフする。
【0069】
予め設定された時間は、2sであることができる。
【0070】
当業者であれば、上記の各実施例に基づいて、変更(例えば、説明した形式を組み合わせること)を行うことができ、均等置換を行うこともできる。
【0071】
以上で、上記の順に従って画像処理方法の実施例における各ステップを説明したが、当業者であれば、本開示の実施例におけるステップを上記の順に従って行わなくてもよく、すなわち逆順、並行、交差などの他の順に行ってもよい。そして、上記のステップに基づいて、当業者が他のステップを追加することもでき、これらの変更や均等置換の方式も本開示の保護範囲に属するため、その説明を省略する。
【0072】
以下は、本開示の方法に係る実施例を実行する装置に係る実施例であり、説明の便宜上、本開示の実施例に関連する部分のみを示し、具体的な技術的細部は開示せず、本開示の方法に係る実施例を参照することができる。
【実施例3】
【0073】
従来技術において予め設定された動作特殊効果を実現することができなかった技術的問題を解決するために、画像処理装置を提供する。この装置は、上記の実施例1に記載の画像処理方法に係る実施例におけるステップを実行する。
図3に示したように、この装置は、主に、画像取得手段31と、ステッカー重畳手段32と、特殊効果生成手段33と、を備える。
【0074】
画像取得手段31は、動画画像を取得する。
【0075】
ステッカー重畳手段32は、前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳する。
【0076】
特殊効果生成手段33は、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成する。
【0077】
さらに、前記特殊効果生成手段33は、具体的に、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成する。
【0078】
さらに、前記特殊効果生成手段33は、オフセット量確定ユニット331と、特殊効果生成ユニット332と、を備える。
【0079】
オフセット量確定ユニット331は、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定する。
【0080】
特殊効果生成ユニット332は、前記オフセット量に基づいて前記前景ステッカーにおける各画素点を移動させて、前記歪みの画面特殊効果画像を得る。
【0081】
さらに、前記オフセット量確定ユニット331は、具体的に、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記動画画像の高さ、オフセット幅、システム時間、歪み係数、歪み密度及び補正係数のうちの少なくとも1つのパラメータを取得し、前記少なくとも1つのパラメータに基づいて前記前景ステッカーにおける各画素点のオフセット量を確定する。
【0082】
さらに、前記オフセット量確定ユニット331は、具体的に、下記の式を採用して前記前景ステッカーにおける各画素点のオフセット量を確定する。
【数2】
ここで、xは、画素点の横座標であり、yは、画素点の縦座標であり、αは、前記オフセット幅であり、βは、前記歪み係数であり、tは、前記システム時間であり、δは、前記歪み密度であり、ε
1及びε
2は、前記補正係数であり、sin(.)は、正弦関数である。
【0083】
さらに、前記装置は、フィルター手段34と、画像レンダリング手段35と、をさらに備える。
【0084】
フィルター手段34は、前記画面特殊効果画像に対してフィルター処理を行う。
【0085】
画像レンダリング手段35は、フィルター処理後の画面特殊効果画像をレンダリングする。
【0086】
さらに、前記前景ステッカーは、第1の動画シーケンスからなる。
【0087】
対応的に、前記ステッカー重畳手段32は、具体的に、前記第1の動画シーケンスから第1のフレーム動画画像を選択して前記前景ステッカーとする。
【0088】
対応的に、前記特殊効果生成手段33は、具体的に、前記動画画像の重畳進度に基づいて、周期的に前記第1の動画シーケンスにおける残り動画から動画画像を順に選択して画面特殊効果画像とする。
【0089】
さらに、前記フィルターは、第2の動画シーケンスからなる。
【0090】
対応的に、前記フィルター手段34は、具体的に、前記動画画像の重畳進度に基づいて、周期的に前記第2の動画シーケンスから動画画像を順に選択してフィルター画像とし、前記フィルター画像を採用して前記画面特殊効果画像に対してフィルター処理を行う。
【0091】
さらに、前記装置は、第1のタイマ手段36をさらに備える。
【0092】
第1のタイマ手段36は、第1のタイマによって前記周期を制御する。
【0093】
さらに、前記装置は、第2のタイマ手段37をさらに備える。
【0094】
さらに、第2のタイマ手段37は、前記動画画像に予め設定されたターゲットが出現したことを検出した後かつ前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳する前に、第2のタイマを起動して計時する。
【0095】
さらに、第2のタイマ手段37は、前記第2のタイマの計時が予め設定された時間を超えたときに、前記フィルター、前記画面特殊効果、及び前記前景ステッカーを順にオフする。
【0096】
さらに、前記前景ステッカー、前記画面特殊効果、前記フィルターは、画面方向に向かう方向において後ろから前に順に配列される。
【0097】
画像処理装置に係る実施例の工作原理、実現される技術的効果などの詳細な説明については、前出の画像処理方法に係る実施例における説明を参照することができるため、その説明を省略する。
【実施例4】
【0098】
図4は、本開示に係る実施例の電子機器400の実現に適合する構成を模式的に示す図である。本開示に係る実施例における端末設備は、携帯電話、ノートパソコン、デジタル放送受信機、パーソナルデジタルアシスタント(PDA)、タブレット型コンピュータ(PAD)、携帯型メディアプレーヤー(PMP)、車載端末(例えば、車載ナビゲーション端末)などのような携帯端末や、デジタルテレビ、デスクトップ型コンピュータなどのような固定端末を含むことができるが、これらに限定されない。
図4に示す電子機器は、例示にすぎず、本開示に係る実施例の機能及び使用される範囲を限定するのではない。
【0099】
図4に示したように、電子機器400は、リードオンリーメモリ(ROM)に記憶されているプログラムや記憶装置408からランダムアクセスメモリ(RAM)403にアップロードしたプログラムに基づいて、各種の適切な動作や処理を行う処理装置(例えば、CPU、GPUなど)401を備えることができる。RAM403には、電子機器400の操作に必要な各種のプログラム及びデータも記憶されている。処理装置401とROM402とRAM403とは、バス404を介して互いに接続される。入出力(I/O)インターフェース405もバス404に接続される。
【0100】
I/Oインターフェース405には、例えばタッチスクリーン、タッチパネル、キーボード、マウス、カメラ、マイク、アクセラメーター、ジャイロスコープなどのような入力装置406、例えば液晶装置、スピーカー、バイブレータなどのような出力装置407、例えばテープ、ハードディスクなどのような記憶装置408、及び通信装置409が接続されることができる。通信装置409は、電子機器400と他の機器との無線や有線によるデータ交換を可能にすることができる。
図4では、各種の装置を有する電子機器400を示しているが、これらの全ての装置を備えることを要求するものではない。その代わりに、より多い装置又はより少ない装置を備えることもできる。
【0101】
特に、本開示の実施例によれば、以上でフローチャートを参照しながら説明した過程は、ソフトウェアプログラムによって実現することができる。例えば、本開示の実施例に係るソフトウェアプログラム製品は、非一時的なコンピュータ可読型記憶媒体に記憶されているソフトウェアプログラムを含み、このソフトウェアプログラムは、フローチャートに示す方法を実行するプログラムコードを含む。このような実施例では、このソフトウェアプログラムは、通信装置409を介してインターネットからダウンロードしてインストールされるか、又は、記憶装置408からインストールされるか、又は、ROM402からインストールされることができる。このソフトウェアプログラムが処理装置401によって実行されるときに、本開示の実施例に係る方法で限定された上記機能を実行する。
【0102】
なお、本開示におけるコンピュータ可読型媒体は、コンピュータ可読型信号媒体、コンピュータ可読型記憶媒体又はこれらの組み合わせであることができる。コンピュータ可読型記憶媒体は、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置やデバイス、又はこれらの組み合わせであることができるが、これらに限定されるものではない。コンピュータ可読型記憶媒体のより具体的な例としては、1つ又は複数の導線によって電気接続される、携帯式コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能なリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバー、コンパクトディスクリードオンリーメモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、又はこれらの組み合わせを含むことができるが、これらに限定されるものではない。本開示において、コンピュータ可読型記憶媒体は、プログラムを含むか又は記憶する有形的表現媒体であることができ、このプログラムは、指令によって実行されるシステム、装置やデバイスに使用されるか、又はこれらの組み合わせに使用されるものであることができる。本開示において、コンピュータ可読型信号媒体は、ベースバンドで又は搬送波の一部として伝播するデータ信号であることができ、このデータ信号は、コンピュータ可読型プログラムコードを搬送する。このようなデータ信号は、電磁気信号、光学信号又は上記のいずれかの適切な組み合わせのような各種の形式を採用することができるが、これらに限定されるものではない。コンピュータ可読型信号媒体は、コンピュータ可読型記憶媒体以外の何らかのコンピュータ可読型媒体であることもでき、この指令によって実行されるシステム、装置やデバイスに使用されるか、又はこれらの組み合わせに使用されるプログラムを発送、伝播又は伝送することができる。コンピュータ可読型媒体に含まれるプログラムコードは、何らかの適切な媒体(例えば、電線、光ケーブル、RF(ラジオ周波数)など、又は、上記のいずれかの適切な組み合わせ)によって伝送することができる。
【0103】
ある実施の形態において、クライアント、サーバは、HTTP(Hypertext Transfer Protocol、ハイパーテキストトランスファープロトコル)のようないずれかの既知の又は将来開発されるネットワークプロトコルによって通信を行うと共に、任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)と相互接続されることができる。通信ネットワークとしては、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、エクストラネット(例えば、インターネット)、エンドツーエンドネットワーク(例えば、Ad Hocエンドツーエンドネットワーク)、及びいずれかの既知の又は将来開発されるネットワークが挙げられる。
【0104】
上記のコンピュータ可読型媒体は、上記の電子機器に備えることができ、また、この電子機器に装着せずに単独的に存在することができる。
【0105】
コンピュータ可読型媒体には、1つ又は複数のプログラムが記憶されており、1つ又は複数のプログラムがこの電子機器によって実行される場合、この電子機器は、動画画像を取得し、前記動画画像に予め設定されたターゲットが出現したことを検出したときに前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳し、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに画面特殊効果を生成する。
【0106】
1種又は複数種のプログラミング言語又はその組み合わせによって本開示の操作を実行するためのコンピュータプログラムコードを編集することができ、前記プログラミング言語は、Java(登録商標)、Smalltalk、C++のようなオブジェクト指向プログラミング言語、C言語又はそれに類似するプログラミング言語のような常用の手続き型プログラミング言語を含むことができるが、これらに限定されるものではない。プログラムコードは、ユーザコンピュータで完全に実行されるか、又は、ユーザコンピュータで部分的に実行されるか、又は、1つのソフトウェアパッケージとして実行されるか、又は、一部がユーザコンピュータで実行され、一部がリモートコンピュータで実行されるか、又は、リモートコンピュータ若しくはサーバで完全に実行されることができる。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)やワイドエリアネットワーク(WAN)のような任意種類のネットワークによって、ユーザコンピュータに接続されるか、又は、外部コンピュータに接続されることができる(例えば、インターネットサービスプロバイダを利用して、インターネットによって接続される)。
【0107】
図面におけるフローチャート及びブロック図には、本開示に係る各実施例のシステム、方法及びソフトウェアプログラム製品の、実現可能なシステムアーキテクチャ、機能及び操作が示される。この点において、フローチャートやブロック図における各ブロックは、1つのモジュール、プログラムセグメント又はコードの一部を代表することができ、このモジュール、プログラムセグメント又はコードの一部は、1つ又は複数の所定のロジック機能を実現するための実行可能な指令を含む。もちろん、ある実施例において、ブロックに記載の機能は、図面に記載の順と異なる順に実現されることもできる。例えば、2つの接続されるブロックは、実際上、基本的に並行に実行されることができ、逆の順に実行されることもでき、これらは実現される機能によって決められる。なお、ブロック図及び/又はフローチャートにおける各ブロック、並びに、ブロック図及び/又はフローチャートにおけるブロックの組み合わせは、所定の機能や操作を実行する専門のハードウェアによるシステムによって実現するか、又は、専門のハードウェアとコンピュータ指令との組合せによって実現することができる。
【0108】
本開示の実施例に記述されるユニットは、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ユニットの名称は、ある場合はこのユニット自身を限定するのではない。
【0109】
本開示に記述される機能の少なくとも一部は、1つ又は複数のハードウェアロジック部材によって実行されることができる。例えば、限定的ではないが、使用可能なハードウェアロジック部材は、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、コンプレックスプログラムマブルロジックデバイス(CPLD)などを含む。
【0110】
本開示の全般において、機械可読型媒体は、有形的表現媒体であることができ、指令によって実行されるシステム、装置やデバイスに使用されるか、又は指令によって実行されるシステム、装置やデバイスと組み合わせて使用されるプログラムを含むか若しくは記憶することができる。機械可読型媒体は、機械可読型信号媒体又は機械可読型記憶媒体であることができる。機械可読型記憶媒体は、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置やデバイス、又はこれらの組み合わせであることができるが、これらに限定されるものではない。機械可読型記憶媒体のより具体的な例としては、1つ又は複数の線によって電気接続される、携帯式コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能なリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバー、コンパクトディスクリードオンリーメモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、又はこれらの組み合わせを含むことができる。
【0111】
本開示の1つ又は複数の実施例に係る画像処理方法は、
動画画像を取得するステップと、
前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するステップと、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するステップと、
を含む。
【0112】
さらに、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するステップは、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成するステップを含む。
【0113】
さらに、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成するステップは、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定するステップと、
前記オフセット量に基づいて前記前景ステッカーにおける各画素点を移動させて、前記歪みの画面特殊効果画像を得るステップと、
を含む。
【0114】
さらに、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定するステップは、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記動画画像の高さ、オフセット幅、システム時間、歪み係数、歪み密度及び補正係数のうちの少なくとも1つのパラメータを取得するステップと、
前記少なくとも1つのパラメータに基づいて、前記前景ステッカーにおける各画素点のオフセット量を確定するステップと、
を含む。
【0115】
さらに、前記少なくとも1つのパラメータに基づいて、前記前景ステッカーにおける各画素点のオフセット量を確定するステップは、
下記の式を採用して前記前景ステッカーにおける各画素点のオフセット量を確定するステップを含む。
【数3】
ここで、xは、画素点の横座標であり、yは、画素点の縦座標であり、αは、前記オフセット幅であり、βは、前記歪み係数であり、tは、前記システム時間であり、δは、前記歪み密度であり、ε
1及びε
2は、前記補正係数であり、sin(.)は、正弦関数である。
【0116】
さらに、前記前景ステッカーは、第1の動画シーケンスからなり、
対応的に、前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するステップは、
前記第1の動画シーケンスから第1のフレーム動画画像を選択して前記前景ステッカーとするステップを含み、
対応的に、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するステップは、
前記動画画像の重畳進度に基づいて、周期的に前記第1の動画シーケンスにおける残り動画から動画画像を順に選択して画面特殊効果画像とするステップを含む。
【0117】
さらに、前記方法は、
前記画面特殊効果画像に対してフィルター処理を行うステップと、
フィルター処理後の画面特殊効果画像をレンダリングするステップと、
をさらに含む。
【0118】
さらに、前記フィルターは、第2の動画シーケンスからなり、
対応的に、前記画面特殊効果画像に対してフィルター処理を行うステップは、
前記動画画像の重畳進度に基づいて、周期的に前記第2の動画シーケンスから動画画像を順に選択してフィルター画像とするステップと、
前記フィルター画像を採用して前記画面特殊効果画像に対してフィルター処理を行うステップと、
を含む。
【0119】
さらに、前記方法は、
第1のタイマによって前記周期を制御するステップをさらに含む。
【0120】
さらに、前記方法は、前記動画画像に予め設定されたターゲットが出現したことを検出した後かつ前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳する前に、
第2のタイマを起動させて計時するステップをさらに含む。
【0121】
さらに、前記方法は、
前記第2のタイマの計時が予め設定された時間を超えたときに、前記フィルター、前記画面特殊効果、及び前記前景ステッカーを順にオフするステップをさらに含む。
【0122】
さらに、前記前景ステッカー、前記画面特殊効果、前記フィルターは、画面方向に向かう方向での空間座標が順に減少する。
【0123】
本開示の1つ又は複数の実施例に係る画像処理装置は、
動画画像を取得するための画像取得手段と、
前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するためのステッカー重畳手段と、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するための特殊効果生成手段と、
を備える。
【0124】
さらに、前記特殊効果生成手段は、具体的に、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成するためのものである。
【0125】
さらに、前記特殊効果生成手段は、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定するためのオフセット量確定ユニットと、
前記オフセット量に基づいて前記前景ステッカーにおける各画素点を移動させて、前記歪みの画面特殊効果画像を得るための特殊効果生成ユニットと、
備える。
【0126】
さらに、前記オフセット量確定ユニットは、具体的に、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記動画画像の高さ、オフセット幅、システム時間、歪み係数、歪み密度及び補正係数のうちの少なくとも1つのパラメータを取得し、前記少なくとも1つのパラメータに基づいて前記前景ステッカーにおける各画素点のオフセット量を確定する。
【0127】
さらに、前記オフセット量確定ユニットは、具体的に、下記の式を採用して前記前景ステッカーにおける各画素点のオフセット量を確定する。
【数4】
ここで、xは、画素点の横座標であり、yは、画素点の縦座標であり、αは、前記オフセット幅であり、βは、前記歪み係数であり、tは、前記システム時間であり、δは、前記歪み密度であり、ε
1及びε
2は、前記補正係数であり、sin(.)は、正弦関数である。
【0128】
さらに、前記装置は、
前記画面特殊効果画像に対してフィルター処理を行うためのフィルター手段と、
フィルター処理後の画面特殊効果画像をレンダリングするための画像レンダリング手段と、
備える。
【0129】
さらに、前記前景ステッカーは、第1の動画シーケンスからなり、
対応的に、前記ステッカー重畳手段は、具体的に、前記第1の動画シーケンスから第1のフレーム動画画像を選択して前記前景ステッカーとし、
対応的に、前記特殊効果生成手段は、具体的に、前記動画画像の重畳進度に基づいて、周期的に前記第1の動画シーケンスにおける残り動画から動画画像を順に選択して画面特殊効果画像とする。
【0130】
さらに、前記フィルターは、第2の動画シーケンスからなり、
対応的に、前記フィルター手段は、具体的に、前記動画画像の重畳進度に基づいて、周期的に前記第2の動画シーケンスから動画画像を順に選択してフィルター画像とし、前記フィルター画像を採用して前記画面特殊効果画像に対してフィルター処理を行う。
【0131】
さらに、前記装置は、第1のタイマによって前記周期を制御するための第1のタイマ手段をさらに備える。
【0132】
さらに、前記装置は、前記動画画像に予め設定されたターゲットが出現したことを検出した後かつ前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳する前に、第2のタイマを起動して計時するための第2のタイマ手段をさらに備える。
【0133】
さらに、第2のタイマ手段は、前記第2のタイマの計時が予め設定された時間を超えたときに、前記フィルター、前記画面特殊効果、及び前記前景ステッカーを順にオフする。
【0134】
さらに、前記前景ステッカー、前記画面特殊効果、前記フィルターは、画面方向に向かう方向での空間座標が減少する。
【0135】
本開示の1つ又は複数の実施例に係る電子機器は、
非一時的なコンピュータ可読指令を記憶するための記憶器と、
前記コンピュータ可読指令の実行によって上記の画像処理方法を実行するための処理器と、
備える。
【0136】
本開示の1つ又は複数の実施例に係るコンピュータ可読型記憶媒体は、
非一時的なコンピュータ可読指令を記憶するためのものであり、
前記非一時的なコンピュータ可読指令がコンピュータによって実行されるときに、前記コンピュータが上記の画像処理方法を実行する。
【0137】
以上、本発明の実施例及びそれらに用いられる技術的構成を説明してきた。当業者が知っているように、本発明が開示する範囲は、前記技術的特徴の組合せによって構成される技術的構成にのみ限定されるものでなく、本開示の要旨を逸脱しない範囲において前記技術的特徴又は類似の技術的特徴の組合せにより形成される他の技術的構成を更に含むこともできる。例えば、前記技術的特徴と本開示の実施例に係る類似の技術的特徴(それにのみ限定されるものでない)により形成される技術的構成を更に含むこともできる。
【0138】
なお、以上、本開示の各ステップを所定の順番で説明してきたが、本開示の前記ステップは、前記所定の順番でのみ実施されるものではなく、別の順番で実施されることもできる。所定の条件において、複数のタスクを同時に実施するか或いは複数のタスクを並行に実施することにより想像外の効果を獲得することができる。同様に、前記明細書には本開示の複数の具体的な実施形態が含まれているが、本開示は前記具体的な実施形態にのみ限定されるものでない。ある実施例に記載されている所定の技術的特徴を結合させることによりその実施例を実施することができる。また、ある実施例に記載されている所定の技術的特徴を複数の実施例にそれぞれ結合させるか或いは適切な結合手段により複数の実施例に同時に結合させることができる。
【0139】
以上、所定の構造的特徴及び/又は方法のロジカルアクション(logical action)により本開示を説明してきたが、前記所定の構造的特徴及び/又は方法のロジカルアクションのみにより本開示の特許請求の範囲を特定するものでない。前記所定の構造的特徴及び/又は方法のロジカルアクションは本開示の例示に過ぎないものである。