特表 2022-551671 オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-12

(54)【発明の名称】オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体

(51)【国際特許分類】

   G09G 5/377 20060101AFI20221205BHJP

   G09G 5/00 20060101ALI20221205BHJP

   G09G 5/36 20060101ALI20221205BHJP

   G06T 7/70 20170101ALI20221205BHJP

   H04N 5/232 20060101ALI20221205BHJP

【ＦＩ】

G09G5/36 520M

G09G5/00 510A

G09G5/00 530D

G09G5/36 510M

G09G5/36 520B

G09G5/00 550A

G06T7/70 A

H04N5/232 290

H04N5/232 930

G09G5/00 530H

G09G5/36 520D

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022522321

(86)(22)【出願日】2020-08-04

(85)【翻訳文提出日】2022-04-13

(86)【国際出願番号】 CN2020106818

(87)【国際公開番号】W WO2021073204

(87)【国際公開日】2021-04-22

(31)【優先権主張番号】201910974919.3

(32)【優先日】2019-10-14

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

２．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】520476341

【氏名又は名称】北京字節跳動網絡技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】▲呂▼ ▲紹▼▲輝▼

【テーマコード（参考）】

5C122

5C182

5L096

【Ｆターム（参考）】

5C122DA03

5C122EA60

5C122EA61

5C122FH11

5C122FH14

5C122FH19

5C122FK24

5C122HB01

5C182AA03

5C182AB01

5C182AB02

5C182AB08

5C182AB25

5C182AC03

5C182AC14

5C182AC43

5C182BA03

5C182BA04

5C182BA06

5C182BA14

5C182BA29

5C182BA35

5C182CB11

5C182CB52

5C182CC22

5C182DA52

5C182DA54

5L096AA02

5L096AA06

5L096CA21

5L096DA01

5L096FA09

5L096FA16

5L096FA66

5L096FA69

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

本出願は、オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体を開示する。このオブジェクトの表示方法は、動画画像を受信するステップ（Ｓ１０１）と、前記動画画像における目標オブジェクトを識別するステップ（Ｓ１０２）と、識別された第１の目標オブジェクトに応じて、前記動画画像の第１の位置に第１の形状を有する第１のオブジェクトを表示するステップ（Ｓ１０３）と、識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２の形状を有する第２のオブジェクトを表示するステップ（Ｓ１０４）と、前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第１の閾値より小さい場合、前記第１のオブジェクトと第２のオブジェクトとを結合させて、前記第１のオブジェクトと前記第２のオブジェクトとが第３の形状を形成し、前記第３の形状は、前記第１の形状と前記第２の形状との組合せによって形成されるステップ（Ｓ１０５）と、を含む。上記の方法により、従来技術において動画効果を簡単かつ迅速に生成することができなかった技術的問題を解決する。

【特許請求の範囲】

【請求項1】

動画画像を受信するステップと、
前記動画画像における目標オブジェクトを識別するステップと、
識別された第１の目標オブジェクトに応じて、前記動画画像の第１の位置に第１の形状を有する第１のオブジェクトを表示するステップと、
識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２の形状を有する第２のオブジェクトを表示するステップと、
前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第１の閾値より小さい場合、前記第１のオブジェクトと第２のオブジェクトとを結合させて、前記第１のオブジェクトと前記第２のオブジェクトとが第３の形状を形成し、前記第３の形状は、前記第１の形状と前記第２の形状との組合せによって形成されるステップと、を含むことを特徴とするオブジェクトの表示方法。

【請求項2】

前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第２の閾値より小さい場合、第１のオブジェクトと第２のオブジェクトとを消失させるステップと、
第３の形状を有する第３のオブジェクトを含む第１のシーケンスフレームを表示するステップと、をさらに含むことを特徴する請求項１に記載のオブジェクトの表示方法。

【請求項3】

上記の識別された第１の目標オブジェクトに応じて、前記動画画像の第１の位置に第１の形状を有する第１のオブジェクトを表示するステップは、
識別された第１の目標オブジェクトに応じて、前記第１の目標オブジェクトの追跡点を取得するステップと、
前記第１の目標オブジェクトの追跡点に基づいて、前記第１の位置を算出するステップと、
前記第１の位置に前記第１のオブジェクトを表示するステップと、をさらに含むことを特徴する請求項１に記載のオブジェクトの表示方法。

【請求項4】

上記の識別された第１の目標オブジェクトに応じて、前記第１の目標オブジェクトの追跡点を取得するステップは、
識別された第１の目標オブジェクトに応じて、前記第１の目標オブジェクトの前記動画画像における位置を決定するステップと、
前記第１の目標オブジェクトの前記動画画像における位置に基づいて、前記第１の目標オブジェクトの追跡点を取得するステップと、をさらに含むことを特徴する請求項３に記載のオブジェクトの表示方法。

【請求項5】

上記の識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２のオブジェクトを表示するステップは、
識別された第２の目標オブジェクトに応じて、前記第２の目標オブジェクトの追跡点を取得するステップと、
前記第２の目標オブジェクトの追跡点に基づいて、前記第２の位置を算出するステップと、
前記第２の位置に前記第２のオブジェクトを表示するステップと、をさらに含むことを特徴する請求項１に記載のオブジェクトの表示方法。

【請求項6】

上記の識別された第２の目標オブジェクトに応じて、前記第２の目標オブジェクトの追跡点を取得するステップは、
識別された第２の目標オブジェクトに応じて、前記第２の目標オブジェクトの前記動画画像における位置を決定するステップと、
前記第２の目標オブジェクトの前記動画画像における位置に基づいて、前記第２の目標オブジェクトの追跡点を取得するステップと、をさらに含むことを特徴する請求項５に記載のオブジェクトの表示方法。

【請求項7】

上記の識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２の形状を有する第２のオブジェクトを表示するステップの後に、
前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離を算出するステップと、
前記距離に基づいて、前記第１のオブジェクト及び前記第２のオブジェクトの変化パラメータを取得するステップと、
前記変化パラメータに基づいて、前記第１のオブジェクト及び前記第２のオブジェクトの表示状態を変更するステップと、をさらに含むことを特徴する請求項１に記載のオブジェクトの表示方法。

【請求項8】

動画画像を受信するための画像受信手段と、
前記動画画像における目標オブジェクトを識別するための目標オブジェクト識別手段と、
識別された第１の目標オブジェクトに応じて、前記動画画像の第１の位置に第１の形状を有する第１のオブジェクトを表示するための第１のオブジェクト表示手段と、
識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２の形状を有する第２のオブジェクトを表示するための第２のオブジェクト表示手段と、
前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第１の閾値より小さい場合、前記第１のオブジェクトと第２のオブジェクトとを結合させて、前記第１のオブジェクトと前記第２のオブジェクトとが第３の形状を形成し、前記第３の形状が、前記第１の形状と前記第２の形状との組合せによって形成される結合手段と、を備えることを特徴するオブジェクトの表示装置。

【請求項9】

コンピュータ可読指令を記憶するためのメモリと、
前記コンピュータ可読指令を実行するためのプロセッサと、を備え、
前記プロセッサが動作するときに、請求項１～７のいずれか１項に記載のオブジェクトの表示方法を実現することを特徴する電子機器。

【請求項10】

コンピュータ可読指令を記憶した非一時的なコンピュータ可読型記憶媒体であって、
前記コンピュータ可読指令がコンピュータによって実行されるときに、前記コンピュータが請求項１～７のいずれか１項に記載のオブジェクトの表示方法を実行することを特徴する非一時的なコンピュータ可読型記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連特許出願の相互参照
本願は、２０１９年１０月１４日に中国特許庁に出願した、出願番号が２０１９１０９７４９１９．３であり、発明の名称が「オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体」である中国特許出願の優先権を主張し、その全ての内容が参照により本願に援用される。

【0002】

本発明は、画像処理の技術分野に関し、特にオブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体に関するものである。

【背景技術】

【0003】

コンピュータネットワークの発展及びスマートフォンの普及に伴い、一般ユーザは、単調な画像や文字のみで自分の情感を表すことに満足しなくなっている。動画は、より豊かな内容及び形式を具現して、ユーザに直観感を与えることができるので、ユーザの好感を受けてだんだん流行し、一般ユーザが独創的な動画を作成する趨勢となっている。しかし、独創的な自撮り類動画は、その表現方式が無味乾燥であり、動画特殊効果が映画作品により多く適用され、その内容の表現形式も多様であり、動画特殊効果の成功的な映画作品に対するサポート及び保障が分かる。

【0004】

しかし、現在の動画特殊効果の制作は、動画を撮影した後、ポストプロダクションによって完成されるので、表示される特殊効果は固定的であり、終了されるまで予め設定された時相論理（Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）に従ってプレイするしかない。また、ポストプロダクションの要求が高いので、一般ユーザは、特殊効果や複雑な特殊効果を迅速に生成又は作成することはできない。従って、如何にして動画効果を簡単かつ迅速に生成するかは、早急に解決すべき技術的問題である。

【発明の概要】

【0005】

下記の発明の概要は、簡単な形式で本発明の思想を説明するためのものであり、これらの思想は、後述する実施の形態で詳細に説明される。この発明の概要は、保護しようとする技術的構成の肝要な特徴や必要な特徴を特定するためのものではなく、保護しようとする技術的構成の保護範囲を限定するためのものでもない。

【0006】

第１の形態では、本開示の実施例に係るオブジェクトの表示方法は、
動画画像を受信するステップと、
前記動画画像における目標オブジェクトを識別するステップと、
識別された第１の目標オブジェクトに応じて、前記動画画像の第１の位置に第１の形状を有する第１のオブジェクトを表示するステップと、
識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２の形状を有する第２のオブジェクトを表示するステップと、
前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第１の閾値より小さい場合、前記第１のオブジェクトと第２のオブジェクトとを結合させて、前記第１のオブジェクトと前記第２のオブジェクトとが第３の形状を形成し、前記第３の形状は、前記第１の形状と前記第２の形状との組合せによって形成されるステップと、を含む。

【0007】

第２の形態では、本開示の実施例に係るオブジェクトの表示装置は、
動画画像を受信するための画像受信手段と、
前記動画画像における目標オブジェクトを識別するための目標オブジェクト識別手段と、
識別された第１の目標オブジェクトに応じて、前記動画画像の第１の位置に第１の形状を有する第１のオブジェクトを表示するための第１のオブジェクト表示手段と、
識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２の形状を有する第２のオブジェクトを表示するための第２のオブジェクト表示手段と、
前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第１の閾値より小さい場合、前記第１のオブジェクトと第２のオブジェクトとを結合させて、前記第１のオブジェクトと前記第２のオブジェクトとが第３の形状を形成し、前記第３の形状が、前記第１の形状と前記第２の形状との組合せによって形成される結合手段と、を備える。

【0008】

第３の形態では、本開示の実施例に係る電子機器置は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続され、前記少なくとも１つのプロセッサによって実行される指令が記憶されているメモリと、を備え、
前記指令が前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサが上記の第１形態におけるオブジェクトの表示方法を実行する。

【0009】

第４の形態では、本開示の実施例に係る非一時的なコンピュータ可読型記憶媒体は、
コンピュータに上記の第１形態におけるオブジェクトの表示方法を実行させるためのコンピュータ指令を記憶する。

【0010】

本出願は、オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体を開示する。このオブジェクトの表示方法は、動画画像を受信するステップと、前記動画画像における目標オブジェクトを識別するステップと、識別された第１の目標オブジェクトに応じて、前記動画画像の第１の位置に第１の形状を有する第１のオブジェクトを表示するステップと、識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２の形状を有する第２のオブジェクトを表示するステップと、前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第１の閾値より小さい場合、前記第１のオブジェクトと第２のオブジェクトとを結合させて、前記第１のオブジェクトと前記第２のオブジェクトとが第３の形状を形成し、前記第３の形状は、前記第１の形状と前記第２の形状との組合せによって形成されるステップと、を含む。上記の方法により、従来技術において動画効果を簡単かつ迅速に生成することができなかった技術的問題を解決する。

【0011】

以上、本発明の技術的構成の概要を説明してきた。以下、本発明の技術的構成をより詳細に理解し、この明細書の内容により本発明を充分に実施し、かつ本発明の上述した及びその以外の目的、特徴及び発明の効果をより容易に理解してもらうために、好適な実施例と図面により本発明を詳細に説明する。

【図面の簡単な説明】

【0012】

図面及び下記の実施の形態により、本開示の各実施例の上述した及びその以外の目的、特徴及び発明の効果は明らかになる。図面の全般において、同一または類似の符号は、同一又は類似の構成要素を表す。なお、図面は、模式的なものであり、本物や構成要素を必ずしも比例に従って作成したものではない。

【図1】本開示に係るオブジェクトの表示方法の実施例のフローチャートである。

【図2】本開示に係るオブジェクトの表示方法の実施例におけるステップＳ１０３の具体的実施例のフローチャートである。

【図3】本開示に係るオブジェクトの表示方法の実施例のさらなる実施例のフローチャートである。

【図4】本開示に係るオブジェクトの表示方法の実施例におけるオブジェクト状態変化の実施例のフローチャートである。

【図5】本開示の実施例に係るオブジェクトの表示装置の実施例の構造を示す図である。

【図6】本開示の実施例に係る電子機器の構造を示す図である。

【発明を実施するための形態】

【0013】

以下、図面及び実施例を参照しながら本開示を説明する。図面には、本開示の一部の実施例を示しているが、本開示は、いろいろな形式によって実現することができ、説明される実施例に限定されるものではなく、逆にこれらの実施例は、本開示を適切かつ完全に理解するためのものである。なお、本開示の図面及び実施例は、例示的なものであり、本開示の保護範囲を限定するためのものではない。

【0014】

なお、本開示の方法において、実施の形態に記載の各ステップは、異なる順序に従って、及び／又は、並行に実行されてもよい。また、方法の実施の形態は、あるステップを付加的に実行する、及び／又は、あるステップの実行を省略することができる。本開示は、これらに限定されるものではない。

【0015】

本開示で使用される用語「含む」及びその変形は、開放的な「含む」であり、すなわち「含むがこれらに限定しない」を意味する。用語「基づく」は、「少なくとも部分的に基づく」を意味する。用語「一実施例」は、「少なくとも１つの実施例」を意味する。用語「別の実施例」は、「少なくとも１つの別の実施例」を意味する。他の用語の関連定義は、以下で説明する。

【0016】

なお、本開示における「第一」、「第二」という用語は、異なる装置、モジュールやユニットを区別するためのものであり、それらの装置、モジュールやユニットが実施するステップの順番または依存関係を限定するものではない。

【0017】

なお、本開示における「１個」、「複数個」という用語は、事項の数量の例示にしか過ぎないものであり、事項の数量を限定するものでない。特別な説明がない場合、当業者は本開示における「１個」、「複数個」という用語を「１個または複数個」に理解することができる。

【0018】

本開示の実施の形態において、複数個の装置がインタラクトする情報または情報の名称は、本開示を説明するためのものであり、その情報または情報の範囲を限定するものでない。

【0019】

図１は、本開示の実施例に係るオブジェクトの表示方法の実施例のフローチャートであり、本開示の実施例に係るオブジェクトの表示方法は、オブジェクトの表示装置によって実施され、このオブジェクトの表示装置は、ソフトウェアによって、または、ソフトウェアとハードウェアとの組合せによって具現されることができ、このオブジェクトの表示装置は、オブジェクトの表示システムにおけるある装置（例えば、オブジェクトの表示サーバまたはオブジェクトの表示端末装置）に集積されて設けられることができる。図１に示したように、この方法は、以下のステップＳ１０１～Ｓ１０５を含む。

【0020】

ステップＳ１０１では、動画画像を受信する。

【0021】

選択的に、このステップにおいて、受信される動画画像は、イメージセンサから受信される動画画像である。前記イメージセンサは、画像をキャプチャする各種の装置であり、代表的なイメージセンサとしては、撮影機、カメラ、撮像機などがある。この実施例において、前記イメージセンサは、端末装置におけるカメラ（例えば、スマートフォンにおけるフロントカメラまたは背面カメラ）であることができ、カメラがキャプチャした画像は、スマートフォンの表示画面に表示することができる。このステップでは、イメージセンサが撮影した動画画像を受信してオブジェクトの表示背景画像とする。

【0022】

選択的に、このステップにおいて、受信される動画画像は、記憶装置から受信される動画画像ファイルである。前記動画画像ファイルは、事前に撮影して前記記憶装置に保存しておく動画である。選択的に、前記記憶装置は、ローカルストレージまたはネットワークストレージである。このステップでは、記憶装置から送信された動画画像ファイルを受信してこれをオブジェクトの表示背景画像として装置における表示装置に表示する。

【0023】

このステップにおいて、動画画像には、人の顔が含まれることができ、選択的に、前記動画画像における複数の画像フレームのうちの少なくとも１つのフレームに人の顔が含まれる。代表的に、ユーザが携帯端末装置のカメラを作動させて自分の動画を自撮りし、カメラが取得した動画画像には、ユーザの顔が含まれている。または、前記動画画像ファイルには、人の顔の画像が撮影されている。

【0024】

ステップＳ１０２では、前記動画画像における目標オブジェクトを識別する。

【0025】

前記目標オブジェクトは、いずれかの予め設定された、前記動画画像から識別する必要があるオブジェクトであり、代表的な目標オブジェクトとしては、人の顔であることができる。

【0026】

動画画像の目標オブジェクトを識別するには、いずれかの目標識別アルゴリズムを使用することができる。代表的には、例えば深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）に基づくものであり、前記目標オブジェクトが人の顔である場合、人の顔がある画像を使用してニューラルネットワークに学習させ、学習されたニューラルネットワークによって前記動画画像における各画像フレームに対して分類し、前記画像フレームに人の顔が含まれているか否かを判定し、前記画像フレームに人の顔が含まれている場合、顔検出アルゴリズムによって顔のキーポイントを検出して顔の位置を確定することができる。または、人の顔の外接枠が標記されている画像を使用してニューラルネットワークに学習させ、学習されたニューラルネットワークによって前記動画画像における各画像フレームに対して外接枠の回帰（ｒｅｇｒｅｓｓｉｏｎ）を行って、人の顔の範囲を縮小させ、その後、顔検出アルゴリズムによって顔のキーポイントを検出して顔の位置を確定することができる。または、人の顔のキーポイントが標記されている画像を使用してニューラルネットワークに学習させ、学習されたニューラルネットワークによって前記動画画像における各画像フレームに対して人の顔のキーポイントの回帰を行って、画像フレームに人の顔が含まれているか否か及び人の顔のキーポイントの位置を確定することができる。

【0027】

なお、上述した人の顔及び識別方法は例示にすぎず、本開示を限定するのではなく、実際上、実現しようとする効果及びシーンに基づいて、目標オブジェクト及びその目標オブジェクトに適合する識別アルゴリズムを予め選択することができる。

【0028】

ステップＳ１０３では、識別された第１の目標オブジェクトに応じて、前記動画画像の第１の位置に第１の形状を有する第１のオブジェクトを表示する。

【0029】

前記オブジェクトは、実際の動画画像に表示するための仮想的要素であり、代表的な仮想的要素は、マッピングであることができ、前記マッピングは、静的なマッピングやシーケンスフレームのマッピングであることができる。

【0030】

このステップにおいて、前記動画画像において第１の目標オブジェクトが識別された場合、前記第１の目標オブジェクトに対応する第１のオブジェクトを取得し、この第１のオブジェクトを前記動画画像の第１の位置に表示させ、前記第１のオブジェクトは、第１の形状を有する。選択的に、目標オブジェクトとオブジェクトとの対応関係を予め設定し、動画画像に目標オブジェクトが出現した場合、前記対応関係から目標オブジェクトに対応するオブジェクトを取得し、前記対応関係は、プロファイルに保存されることができ、プロファイルによって、識別しようとする目標オブジェクト、オブジェクトの類型及び目標オブジェクトとオブジェクトとの対応関係を配置することができる。

【0031】

図２に示したように、このステップにおいて、上記の識別された第１の目標オブジェクトに応じて、前記動画画像の第１の位置に前記第１のオブジェクトを表示するステップは、以下のステップＳ２０１～Ｓ２０３を含む。

【0032】

ステップＳ２０１では、識別された第１の目標オブジェクトに応じて、前記第１の目標オブジェクトの追跡点を取得する。

【0033】

ステップＳ２０２では、前記第１の目標オブジェクトの追跡点に基づいて、前記第１の位置を算出する。

【0034】

ステップＳ２０３では、前記第１の位置に前記第１のオブジェクトを表示する。

【0035】

上記したステップにおいて、第１の目標オブジェクトが識別されると、第１の目標オブジェクトのキーポイントも検出され、具体的なことはステップＳ１０２における説明を参照されたい。前記キーポイントのうちの１つ又は複数は、予め第１の目標オブジェクトの追跡点として設定される、または、前記キーポイントのうちの１つ又は複数に基づいて前記追跡点を確定し、前記追跡点は、前記第１のオブジェクトの表示位置を確定するために用いられる。ステップＳ２０２において、前記第１の目標オブジェクトの追跡点に基づいて、前記第１の位置を算出する。選択的に、前記第１の目標オブジェクトは、人の顔である。選択的に、前記追跡点は、人の顔の鼻端キーポイントとエッジキーポイントとの連結線の延長線上の点であり、人の顔の領域の外部に位置する。延長する割合は予め設定され、この割合によって、エッジ点から外部に向かって延長する長さを算出して前記追跡点を得る。ステップＳ２０３において、第１のオブジェクトの特定点を前記追跡点に重ね合わせ、前記第１のオブジェクトを前記第１の位置に表示させる。選択的に、前記第１のオブジェクトの特定点は、前記第１のオブジェクトの中心点であり、この中心点の位置を前記追跡点の位置に設定して、前記第１のオブジェクトを前記第１の位置に表示させる。これにより、第１の目標オブジェクトの異なる画像フレームでの位置が変化された場合、前記第１のオブジェクトも変化されるため、第１のオブジェクトが前記目標オブジェクトに追従して移動する効果を達成する。

【0036】

選択的に、上記の識別された第１の目標オブジェクトに応じて、前記第１の目標オブジェクトの追跡点を取得するステップは、識別された第１の目標オブジェクトに応じて、前記第１の目標オブジェクトの前記動画画像における位置を決定するステップと、前記第１の目標オブジェクトの前記動画画像における位置に基づいて、前記第１の目標オブジェクトの追跡点を取得するステップと、を含む。この実施例において、前記第１の目標オブジェクトが識別された場合、まず前記第１の目標オブジェクトの前記動画画像における位置を決定し、選択的に、前記第１の目標オブジェクトが前記動画画像において左側又は右側に位置するかを決定し、前記第１の目標オブジェクトの前記動画画像における位置に基づいて、前記第１の目標オブジェクトの追跡点を取得する。選択的に、前記第１の目標オブジェクトが人の顔であり、前記第１の目標オブジェクトが前記動画画像の左側に位置すると決定された場合、動画画像において人の顔の右側のエッジキーポイントと人顔の鼻端キーポイントとを取得して、前記追跡点が前記人の顔の右側（観測視角に対して）に位置するようにする。同様に、前記第１の目標オブジェクトが前記動画画像の右側に位置すると決定された場合、動画画像において人の顔の左側のエッジキーポイントと人の顔の鼻端キーポイントとを取得して、前記追跡点が前記人の顔の左側に位置するようにする。

【0037】

本開示において、前記第１のオブジェクトは、第１の形状を有する。選択的に、前記第１の形状は、円形の一部、ハート形の一部や矩形の一部などのような１つの完全な形状の一部であることができ、雲の一部や山の一部などのような不規則的な形状の一部であることもできる。

【0038】

なお、上記した目標オブジェクト及びキーポイントの選択と追跡点の算出は、いずれも例示にすぎず、本開示を限定するものではなく、実際上、いずれかの目標オブジェクト、キーポイント及び追跡点の算出方法は、本開示の技術的構成に適用されることができる。

【0039】

ステップＳ１０４では、識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２の形状を有する第２のオブジェクトを表示する。

【0040】

選択的に、上記の識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２のオブジェクトを表示するステップは、識別された第２の目標オブジェクトに応じて、前記第２の目標オブジェクトの追跡点を取得するステップと、前記第２の目標オブジェクトの追跡点に基づいて、前記第２の位置を算出するステップと、前記第２の位置に前記第２のオブジェクトを表示するステップと、を含む。

【0041】

選択的に、上記の識別された第２の目標オブジェクトに応じて、前記第２の目標オブジェクトの追跡点を取得するステップは、識別された第２の目標オブジェクトに応じて、前記第２の目標オブジェクトの前記動画画像における位置を決定するステップと、前記第２の目標オブジェクトの前記動画画像における位置に基づいて、前記第２の目標オブジェクトの追跡点を取得するステップと、を含む。

【0042】

選択的に、前記第２の形状は、前記第１の形状と相補する形状である。例えば、前記第１の形状が半分のハート形である場合、前記第２の形状は、残り半分のハート形である。

【0043】

上記の選択的なステップの具体的な実施の形態は、前記ステップＳ１０３における第１の目標オブジェクト及び第１のオブジェクトの選択的なステップと同じであるので、その説明は省略する。

【0044】

ステップＳ１０５では、前記第１の目標オブジェクトと第２の目標オブジェクトとの間の距離が第１の閾値より小さい場合、前記第１のオブジェクトと第２のオブジェクトとを結合させて、前記第１のオブジェクトと前記第２のオブジェクトとが第３の形状を形成する。

【0045】

選択的に、前記第１の目標オブジェクトと第２の目標オブジェクトとの間の距離が第１の閾値より小さいことは、第１の目標オブジェクトの第１のアンカー（ａｎｃｈｏｒ）を取得することと、第２の目標オブジェクトの第２のアンカーを取得することと、前記第１のアンカーと第２のアンカーとの第１の距離を算出することと、前記第１の距離が第１の閾値より小さい場合、前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第１の閾値より小さいと判定することと、を含む。選択的に、前記アンカーは、前記目標オブジェクトのキーポイントである、または、前記目標オブジェクトのキーポイントによって算出される点であることができ、代表的には、前記アンカーは、人の顔の鼻端キーポイントであり、または、前記アンカーは、人の顔における眼キーポイントと鼻端キーポイントによって形成される三角形の中心点である。アンカーを取得した後にアンカーの座標を得ると、第１のアンカーの座標と第２のアンカーの座標とに基づいて前記第１の距離を算出し、前記第１の距離は、前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離を表し、前記第１の距離が予め設定された第１の閾値より小さい場合、前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第１の閾値より小さい。

【0046】

選択的に、前記第１のオブジェクトと第２のオブジェクトとを結合させて、前記第１のオブジェクトと前記第２のオブジェクトとが第３の形状を形成するようにすることは、前記第１のオブジェクトの第１の形状と前記第２のオブジェクトの第２の形状とを、相補する位置に沿って結合させて第３の形状を形成することを含む。代表的には、前記第１の形状と前記第２の形状とは、相補する半分のハート形であることができ、前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第１の閾値より小さいと判定した場合、２つの相補する半分のハート形を、これらの相補する位置に沿って結合させて、１つの完全なハート形を形成する。

【0047】

上記したステップで説明した技術的構成によれば、画像における２つの目標オブジェクト間の距離を算出して両オブジェクトを結合させることにより、事前に動画を撮影することなく動画に特殊効果を作成し、これをいずれかの動画にリアルタイムにレンダリングすることができる。

【0048】

さらに、図３に示したように、前記ステップＳ１０５の後に、以下のステップＳ３０１～Ｓ３０２を含む。

【0049】

ステップＳ３０１では、前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第２の閾値より小さい場合、第１のオブジェクトと第２のオブジェクトとを消失させる。

【0050】

ステップＳ３０２では、第３の形状を有する第３のオブジェクトを含む第１のシーケンスフレームを表示する。

【0051】

ステップＳ３０１において、ステップＳ１０５の方法に基づいて、継続して第１のアンカーと第２のアンカーとの間の第１の距離を算出し、前記第１の距離が第２の閾値より小さい場合、前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第２の閾値より小さいと判定し、前記第１のオブジェクト及び第２のオブジェクトが消失するように制御し、前記消失は、前記第１のオブジェクト及び第２のオブジェクトをレンダリングしなくてもよく、前記第１のオブジェクト及び第２のオブジェクトの透明度を１と設定することにより、それらを透明にして不可視とすることができる。

【0052】

ステップＳ３０２において、第１のシーケンスフレームを取得し、この第１のシーケンスフレームを第１のオブジェクト及び第２のオブジェクトを消失させた位置に表示する。第１のシーケンスフレームには、第１の形状を有する第３のオブジェクトが含まれ、具体的には、前記第１のシーケンスフレームに第３のオブジェクトが含まれ、第１シーケンスフレームにおける各フレームは、第３のオブジェクトの状態変化を表し、代表的に、前記第３のオブジェクトが１つの仮想的なハート形であり、前記第１のシーケンスフレームは、例えば小から大に、白色から赤色になるなどの前記仮想的なハート形の動的変化を表す。つまり、前記第１シーケンスフレームは、前記第１のオブジェクトと前記第２のオブジェクトが結合してなる第３のオブジェクトの変化状態を表す。

【0053】

さらに、図４に示したように、前記ステップＳ１０４の後に、以下のステップＳ４０１～Ｓ４０３を含む。

【0054】

ステップＳ４０１では、前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離を算出する。

【0055】

ステップＳ４０２では、前記距離に基づいて、前記第１のオブジェクト及び前記第２のオブジェクトの変化パラメータを取得する。

【0056】

ステップＳ４０３では、前記変化パラメータに基づいて、前記第１のオブジェクト及び前記第２のオブジェクトの表示状態を変更する。

【0057】

ステップＳ４０１において、同様に、ステップＳ１０５で説明した方法を使用して第１の目標オブジェクトと第２の目標オブジェクトとの間の距離を算出することができるので、その説明は省略する。

【0058】

ステップＳ４０２において、前記距離と関連する変化パラメータを取得し、前記変化パラメータは、予め設定された対応関係であることができ、例えば、前記距離の第１の値が第１のカラー値に対応し、第２の値が第２のカラー値に対応することにより、前記距離によって前記オブジェクトのカラー変化などを制御することができる。

【0059】

ステップＳ４０３において、前記変化パラメータに基づいて、前記第１のオブジェクト及び前記第２のオブジェクトの表示状態を変更する。代表的に、前記変化パラメータが前記第１のオブジェクト及び前記第２のオブジェクトのカラーを確定し、前記変化パラメータによって前記第１のオブジェクト及び前記第２のオブジェクトのカラーを変更する。

【0060】

上記したステップは、２つの目標オブジェクト間の距離によってオブジェクトの表示状態を変更する。代表的に、前記第１の目標オブジェクト及び前記第２の目標オブジェクトは、人の顔であり、前記第１のオブジェクト及び前記第２のオブジェクトは、それぞれ相補する２つの半分のハート形であり、２つの人の顔が近接する場合、前記距離によって対応するオブジェクトのカラーを取得する。例えば、距離が近いほど、淡紅色から深紅色へのようにカラーが濃くなり、このようにカラーと人の顔の間の距離とが対応し、画像に対してリアルタイムにレンダリングして、フレーム画像におけるオブジェクトのそれぞれに対してポストプロダクションして異なる形態にする必要がない。

【0061】

本開示は、オブジェクトの表示方法、装置、電子機器及びコンピュータ可読記憶媒体を開示する。前記オブジェクトの表示方法は、複数の画像フレームを含む動画画像を受信するステップと、識別された第１の目標オブジェクトに応じて、前記動画画像の第１の位置に第１の形状を有する第１のオブジェクトを表示するステップと、識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２の形状を有する第２のオブジェクトを表示するステップと、前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第１の閾値より小さい場合、前記第１のオブジェクトと第２のオブジェクトとを結合させて、前記第１のオブジェクトと前記第２のオブジェクトとが第３の形状を形成するステップと、を含む。上記の方法により、従来技術において動画効果を簡単かつ迅速に生成することができなかった技術的問題を解決する。

【0062】

全文において、上記した順に従って上記方法の実施例における各ステップを説明したが、当業者であれば、本開示の実施例におけるステップを上記した順に従って行わなくてもよく、すなわち逆順、並行、交差などの他の順に行ってもよい。そして、上記したステップに基づいて、当業者が他のステップを追加することもでき、これらの変更や均等置換の方式も本開示の保護範囲に属するため、その説明を省略する。

【0063】

図５は、本開示の実施例に係るオブジェクトの表示装置の実施例の構造を示す図である。図５に示したように、この装置５００は、画像受信手段５０１と、目標オブジェクト識別手段５０２と、第１のオブジェクト表示手段５０３と、第２のオブジェクト表示手段５０４と、結合手段５０５と、を備える。

【0064】

画像受信手段５０１は、動画画像を受信する。

【0065】

目標オブジェクト識別手段５０２は、前記動画画像における目標オブジェクトを識別する。

【0066】

第１のオブジェクト表示手段５０３は、識別された第１の目標オブジェクトに応じて、前記動画画像の第１の位置に第１の形状を有する第１のオブジェクトを表示する。

【0067】

第２のオブジェクト表示手段５０４は、識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２の形状を有する第２のオブジェクトを表示する。

【0068】

結合手段５０５は、前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第１の閾値より小さい場合、前記第１のオブジェクトと第２のオブジェクトとを結合させて、前記第１のオブジェクトと前記第２のオブジェクトとが第３の形状を形成し、前記第３の形状は、前記第１の形状と前記第２の形状との組合せによって形成される。

【0069】

さらに、前記オブジェクトの表示装置５００は、
前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第２の閾値より小さい場合、第１のオブジェクト及びオブジェクトを消失させるための消失制御手段と、
第３の形状を有する第３のオブジェクトを含む第１のシーケンスフレームを表示するためのシーケンスフレーム表示手段と、
をさらに備える。

【0070】

さらに、前記第１のオブジェクト表示手段５０３は、
識別された第１の目標オブジェクトに応じて、前記第１の目標オブジェクトの追跡点を取得するための第１の追跡点取得ユニットと、
前記第１の目標オブジェクトの追跡点に基づいて、前記第１の位置を算出するための第１の位置算出ユニットと、
前記第１の位置に前記第１のオブジェクトを表示するための第１のオブジェクト表示ユニットと、
をさらに備える。

【0071】

さらに、前記第１の追跡点取得ユニットは、
識別された第１の目標オブジェクトに応じて、前記第１の目標オブジェクトの前記動画画像における位置を決定するための第１の目標オブジェクト位置決定部と、
前記第１の目標オブジェクトの前記動画画像における位置に基づいて、前記第１の目標オブジェクトの追跡点を取得するための第１の追跡点取得部と、
をさらに備える。

【0072】

さらに、前記第２のオブジェクト表示手段５０４は、
識別された第２の目標オブジェクトに応じて、前記第２の目標オブジェクトの追跡点を取得するための第２の追跡点取得ユニットと、
前記第２の目標オブジェクトの追跡点に基づいて、前記第２の位置を算出するための第２の位置算出ユニットと、
前記第２の位置に前記第２のオブジェクトを表示するための第２のオブジェクト表示ユニットと、
をさらに備える。

【0073】

さらに、前記第２の追跡点取得ユニットは、
識別された第２の目標オブジェクトに応じて、前記第２の目標オブジェクトの前記動画画像における位置を決定するための第２の目標オブジェクト位置決定部と、
前記第２の目標オブジェクトの前記動画画像における位置に基づいて、前記第２の目標オブジェクトの追跡点を取得するための第２の追跡点取得部と、
をさらに備える。

【0074】

さらに、前記オブジェクトの表示装置５００は、
前記第１の目標オブジェクトと前記第２の目標オブジェクトとの距離を算出するための距離算出手段と、
前記距離に基づいて、前記第１のオブジェクト及び前記第２のオブジェクトの変化パラメータを取得するための変化パラメータ取得手段と、
前記変化パラメータに基づいて、前記第１のオブジェクト及び前記第２のオブジェクトの表示状態を変更するための表示状態変更手段と、
をさらに備える。

【0075】

図５に示す装置は、図１～図４に示す実施例の方法を実行することができ、本実施例において詳細に説明しない部分は、図１～図４に示す実施例に係る説明を参照することができる。この技術的構成の実行過程や技術的効果は、図１～図４に示す実施例における説明を参照することができるので、その説明は省略する。

【0076】

図６は、本開示の実施例に適用される電子機器の構造を示す図である。本開示の実施例における端末装置は、携帯電話、ノートパソコン、デジタル放送受信機、パーソナルデジタルアシスタント（ＰＤＡ）、タブレット型コンピュータ（ＰＡＤ）、携帯型メディアプレーヤー（ＰＭＰ）、車載端末（例えば、車載ナビゲーション端末）などのような携帯端末や、デジタルテレビ、デスクトップ型コンピュータなどのような固定端末を含むことができるが、これらに限定されない。図６に示す電子機器は、例示にすぎず、本開示に係る実施例の機能及び使用される範囲を限定するものではない。

【0077】

図６に示したように、電子機器６００は、リードオンリーメモリ（ＲＯＭ）６０２に記憶されているプログラムや記憶装置６０８からランダムアクセスメモリ（ＲＡＭ）６０３にアップロードしたプログラムに基づいて、各種の適切な動作や処理を行う処理装置（例えば、ＣＰＵ、ＧＰＵなど）６０１を備えることができる。ＲＡＭ６０３には、電子機器６００の動作に必要な各種のプログラム及びデータも記憶されている。処理装置６０１とＲＯＭ６０２とＲＡＭ６０３とは、バス６０４を介して互いに接続される。入出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続される。

【0078】

通常、Ｉ／Ｏインターフェース６０５には、例えばタッチスクリーン、タッチパネル、キーボード、マウス、カメラ、マイク、アクセラメーター、ジャイロスコープなどのような入力装置６０６、例えば液晶表示装置、スピーカー、バイブレータなどのような出力装置６０７、例えばテープ、ハードディスクなどのような記憶装置６０８、及び通信装置６０９が接続されることができる。通信装置６０９は、電子機器６００と他の機器との無線や有線によるデータ交換を可能にすることができる。図６では、各種の装置を有する電子機器６００を示しているが、これらの全ての装置を備えることを要求するものではない。その代わりに、より多い装置またはより少ない装置を備えることもできる。

【0079】

特に、本開示の実施例によれば、以上でフローチャートを参照しながら説明した過程は、ソフトウェアプログラムによって実現することができる。例えば、本開示の実施例に係るソフトウェアプログラム製品は、非一時的なコンピュータ可読型記憶媒体に記憶されているソフトウェアプログラムを含み、このソフトウェアプログラムは、フローチャートに示す方法を実行するプログラムコードを含む。このような実施例では、このソフトウェアプログラムは、通信装置６０９を介してインターネットからダウンロードしてインストールされるか、または、記憶装置６０８からインストールされるか、または、ＲＯＭ６０２からインストールされることができる。このソフトウェアプログラムが処理装置６０１によって実行されるときに、本開示の実施例に係る方法で限定された上記機能を実行する。

【0080】

なお、本開示におけるコンピュータ可読型媒体は、コンピュータ可読型信号媒体、コンピュータ可読型記憶媒体又はこれらの組み合わせであることができる。コンピュータ可読型記憶媒体は、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置やデバイス、又はこれらの組み合わせであることができるが、これらに限定されることではない。コンピュータ可読型記憶媒体のより具体的な例としては、１つ又は複数の導線によって電気接続される、携帯式コンピューター磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又はこれらの組み合わせを含むことができるが、これらに限定されることではない。本開示において、コンピュータ可読型記憶媒体は、プログラムを含むまたは記憶する有形的表現媒体であることができ、このプログラムは、指令によって実行されるシステム、装置やデバイスに使用されるか、又はこれらの組み合わせに使用されるものであることができる。本開示において、コンピュータ可読型信号媒体は、ベースバンドで又は搬送波の一部として伝播するデータ信号であることができ、このデータ信号は、コンピュータ可読型プログラムコードを持ち運んでいる。このようなデータ信号は、電磁気信号、光学信号又は上記の任意の適切な組み合わせのような各種の形式を採用することができるが、これらに限定されることではない。コンピュータ可読型信号媒体は、コンピュータ可読型記憶媒体以外のいずれのコンピュータ可読型媒体であることもでき、指令によって実行されるシステム、装置やデバイスに使用されるか、又はこれらの組み合わせに使用されるプログラムを発送、伝播又は伝送することができる。コンピュータ可読型媒体に含まれるプログラムコードは、いずれの適切な媒体（例えば、電線、光ケーブル、ＲＦ（ラジオ周波数）など、または、上記のいずれかの適切な組み合わせ）によって伝送することができる。

【0081】

ある実施の形態において、クライアント、サーバは、ＨＴＴＰ（Hypertext Transfer Protocol、ハイパーテキストトランスファープロトコル）のようないずれかの既知の又は将来開発されるネットワークプロトコルによって通信を行うと共に、任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続されることができる。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、エクストラネット（例えば、インターネット）、エンドツーエンドネットワーク（例えば、ａｄ Ｈｏｃエンドツーエンドネットワーク）、及びいずれかの既知の又は将来開発されるネットワークが挙げられる。

【0082】

上記のコンピュータ可読型媒体は、上記の電子機器に備えることができ、また、この電子機器に装着せずに単独的に存在することができる。

【0083】

コンピュータ可読型媒体には、１つ又は複数のプログラムが記憶されており、１つ又は複数のプログラムがこの電子機器によって実行されるとき、この電子機器は、動画画像を受信し、前記動画画像における目標オブジェクトを識別し、識別された第１の目標オブジェクトに応じて前記動画画像の第１の位置に第１の形状を有する第１のオブジェクトを表示し、識別された第２の目標オブジェクトに応じて前記動画画像の第２の位置に第２の形状を有する第２のオブジェクトを表示し、前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第１の閾値より小さい場合、前記第１のオブジェクトと第２のオブジェクトとを結合させて、前記第１のオブジェクトと前記第２のオブジェクトとが第３の形状を形成し、前記第３の形状は、前記第１の形状と前記第２の形状との組合せによって形成される。

【0084】

１種又は複数種のプログラミング言語又はその組み合わせによって本開示の操作を実行するためのコンピュータプログラムコードを編集することができ、前記プログラミング言語は、Jａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋のようなオブジェクト指向プログラミング言語、Ｃ言語又はそれに類似するプログラミング言語のような常用の手続き型プログラミング言語を含むことができるが、これらに限定されることではない。プログラムコードは、ユーザコンピュータで完全に実行されるか、又は、ユーザコンピュータで部分的に実行されるか、又は、１つのソフトウェアパッケージとして実行されるか、又は、一部がユーザコンピュータで実行され、一部がリモートコンピュータで実行されるか、又は、リモートコンピュータ又はサーバで完全に実行されることができる。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）のような任意種類のネットワークによって、ユーザコンピュータに接続されるか、または、外部コンピュータに接続されることができる（例えば、インターネットサービスプロバイダを利用して、インターネットによって接続される）。

【0085】

図面におけるフローチャート及びブロック図には、本開示に係る各実施例のシステム、方法及びソフトウェアプログラム製品の、実現可能なシステムアーキテクチャ、機能及び操作が示される。この点において、フローチャートやブロック図における各ブロックは、１つのモジュール、プログラムセグメント又はコードの一部を代表することができ、このモジュール、プログラムセグメント又はコードの一部は、１つ又は複数の所定のロジック機能を実現するための実行可能な指令を含む。もちろん、ある実施例において、ブロックに記載の機能は、図面に記載の順と異なる順に実現されることもできる。例えば、２つの接続されるブロックは、実際上基本的に並行に実行されることができ、逆の順に実行されることもでき、これらは実現される機能によって決められる。なお、ブロック図及び／又はフローチャートにおける各ブロック、および、ブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能や操作を実行する専用のハードウェアによるシステムによって実現するか、または、専用のハードウェアとコンピュータ指令との組合せによって実現することができる。

【0086】

本開示の実施例に記述されるユニットは、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ユニットの名称は、ある場合はこのユニット自身を限定するものではない。

【0087】

本開示に記述される機能の少なくとも一部は、１つ又は複数のハードウェアロジックコンポーネントによって実行されることができる。例えば、限定的ではないが、使用可能なハードウェアロジックコンポーネントは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などを含む。

【0088】

本開示の全般において、機械可読型媒体は、有形の表現媒体であることができ、指令によって実行されるシステム、装置やデバイスに使用されるか、又は指令によって実行されるシステム、装置やデバイスと組み合わせて使用されるプログラムを含むまたは記憶することができる。機械可読型媒体は、機械可読型信号媒体又は機械可読型記憶媒体であることができる。機械可読型記憶媒体は、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置やデバイス、又はこれらの組み合わせであることができるが、これらに限定されることではない。機械可読型記憶媒体のより具体的な例としては、１つ又は複数の線によって電気接続される、携帯式コンピューター磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又はこれらの組み合わせを含むことができる。

【0089】

本開示の１つまたは複数の実施例に係るオブジェクトの表示方法は、
動画画像を受信するステップと、
前記動画画像における目標オブジェクトを識別するステップと、
識別された第１の目標オブジェクトに応じて、前記動画画像の第１の位置に第１の形状を有する第１のオブジェクトを表示するステップと、
識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２の形状を有する第２のオブジェクトを表示するステップと、
前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第１の閾値より小さい場合、前記第１のオブジェクトと第２のオブジェクトとを結合させて、前記第１のオブジェクトと前記第２のオブジェクトとが第３の形状を形成し、前記第３の形状は、前記第１の形状と前記第２の形状との組合せによって形成されるステップと、
を含む。

【0090】

さらに、前記方法は、
前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第２の閾値より小さい場合、第１のオブジェクトと第２のオブジェクトとを消失させるステップと、
第３の形状を有する第３のオブジェクトを含む第１のシーケンスフレームを表示するステップと、
をさらに含む。

【0091】

さらに、上記の識別された第１の目標オブジェクトに応じて、前記動画画像の第１の位置に第１の形状を有する第１のオブジェクトを表示するステップは、
識別された第１の目標オブジェクトに応じて、前記第１の目標オブジェクトの追跡点を取得するステップと、
前記第１の目標オブジェクトの追跡点に基づいて、前記第１の位置を算出するステップと、
前記第１の位置に前記第１のオブジェクトを表示するステップと、
をさらに含む。

【0092】

さらに、上記の識別された第１の目標オブジェクトに応じて、前記第１の目標オブジェクトの追跡点を取得するステップは、
識別された第１の目標オブジェクトに応じて、前記第１の目標オブジェクトの前記動画画像における位置を決定するステップと、
前記第１の目標オブジェクトの前記動画画像における位置に基づいて、前記第１の目標オブジェクトの追跡点を取得するステップと、
をさらに含む。

【0093】

さらに、上記の識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２のオブジェクトを表示するステップは、
識別された第２の目標オブジェクトに応じて、前記第２の目標オブジェクトの追跡点を取得するステップと、
前記第２の目標オブジェクトの追跡点に基づいて、前記第２の位置を算出するステップと、
前記第２の位置に前記第２のオブジェクトを表示するステップと、
をさらに含む。

【0094】

さらに、上記の識別された第２の目標オブジェクトに応じて、前記第２の目標オブジェクトの追跡点を取得するステップは、
識別された第２の目標オブジェクトに応じて、前記第２の目標オブジェクトの前記動画画像における位置を決定するステップと、
前記第２の目標オブジェクトの前記動画画像における位置に基づいて、前記第２の目標オブジェクトの追跡点を取得するステップと、
をさらに含む。

【0095】

さらに、上記の識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２の形状を有する第２のオブジェクトを表示するステップの後に、
前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離を算出するステップと、
前記距離に基づいて、前記第１のオブジェクト及び前記第２のオブジェクトの変化パラメータを取得するステップと、
前記変化パラメータに基づいて、前記第１のオブジェクト及び前記第２のオブジェクトの表示状態を変更するステップと、
をさらに含む。

【0096】

本開示の１つ又は複数の実施例に係るオブジェクトの表示装置は、
動画画像を受信するための画像受信手段と、
前記動画画像における目標オブジェクトを識別するための目標オブジェクト識別手段と、
識別された第１の目標オブジェクトに応じて、前記動画画像の第１の位置に第１の形状を有する第１のオブジェクトを表示するための第１のオブジェクト表示手段と、
識別された第２の目標オブジェクトに応じて、前記動画画像の第２の位置に第２の形状を有する第２のオブジェクトを表示するための第２のオブジェクト表示手段と、
前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第１の閾値より小さい場合、前記第１のオブジェクトと第２のオブジェクトとを結合させて、前記第１のオブジェクトと前記第２のオブジェクトとが第３の形状を形成し、前記第３の形状が、前記第１の形状と前記第２の形状との組合せによって形成される結合手段と、
を備える。

【0097】

さらに、前記オブジェクトの表示装置は、
前記第１の目標オブジェクトと前記第２の目標オブジェクトとの間の距離が第２の閾値より小さい場合、第１のオブジェクト及びオブジェクトを消失させるための消失制御手段と、
第３の形状を有する第３のオブジェクトを含む第１のシーケンスフレームを表示するためのシーケンスフレーム表示手段と、
をさらに備える。

【0098】

さらに、前記第１のオブジェクト表示手段は、
識別された第１の目標オブジェクトに応じて、前記第１の目標オブジェクトの追跡点を取得するための第１の追跡点取得ユニットと、
前記第１の目標オブジェクトの追跡点に基づいて、前記第１の位置を算出するための第１の位置算出ユニットと、
前記第１の位置に前記第１のオブジェクトを表示するための第１のオブジェクト表示ユニットと、
をさらに備える。

【0099】

さらに、前記第１の追跡点取得ユニットは、
識別された第１の目標オブジェクトに応じて、前記第１の目標オブジェクトの前記動画画像における位置を決定するための第１の目標オブジェクト位置決定部と、
前記第１の目標オブジェクトの前記動画画像における位置に基づいて、前記第１の目標オブジェクトの追跡点を取得するための第１の追跡点取得部と、
をさらに備える。

【0100】

さらに、前記第２のオブジェクト表示手段は、
識別された第２の目標オブジェクトに応じて、前記第２の目標オブジェクトの追跡点を取得するための第２の追跡点取得ユニットと、
前記第２の目標オブジェクトの追跡点に基づいて、前記第２の位置を算出するための第２の位置算出ユニットと、
前記第２の位置に前記第２のオブジェクトを表示するための第２のオブジェクト表示ユニットと、
をさらに備える。

【0101】

さらに、前記第２の追跡点取得ユニットは、
識別された第２の目標オブジェクトに応じて、前記第２の目標オブジェクトの前記動画画像における位置を決定するための第２の目標オブジェクト位置決定部と、
前記第２の目標オブジェクトの前記動画画像における位置に基づいて、前記第２の目標オブジェクトの追跡点を取得するための第２の追跡点取得部と、
をさらに備える。

【0102】

さらに、前記オブジェクトの表示装置は、
前記第１の目標オブジェクトと前記第２の目標オブジェクトとの距離を算出するための距離算出手段と、
前記距離に基づいて、前記第１のオブジェクト及び前記第２のオブジェクトの変化パラメータを取得するための変化パラメータ取得手段と、
前記変化パラメータに基づいて、前記第１のオブジェクト及び前記第２のオブジェクトの表示状態を変更するための表示状態変更手段と、
をさらに備える。

【0103】

本開示の１つまたは複数の実施例に係るオブジェクトの電子機器は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続され、前記少なくとも１つのプロセッサによって実行される指令が記憶されているメモリと、を備え、
前記指令が前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサが上記のしたいずれか１つの前記オブジェクトの表示方法を実行する。

【0104】

本開示の１つ又は複数の実施例に係る非一時的なコンピュータ可読型記憶媒体は、
コンピュータに上記したいずれか１つの前記オブジェクトの表示方法を実行させるためのコンピュータ指令を記憶する。

【0105】

以上、本発明の実施例とそれらに用いられる技術的構成を説明してきた。当業者が理解するように、本発明が開示する範囲は、前記技術的特徴の組合せによって構成される技術的構成のみに限定されるものでなく、本開示の要旨を逸脱しない範囲において前記技術的特徴または類似の技術的特徴の組合せにより形成される他の技術的構成を更に含むこともできる。例えば、前記技術的特徴と本開示の実施例に係る類似の技術的特徴（それのみに限定されるものでない）により形成される技術的構成を更に含むこともできる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】