特許7109553追加オブジェクトの表示方法及びその、装置、コンピュータ装置並びに記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-21
(45)【発行日】2022-07-29
(54)【発明の名称】追加オブジェクトの表示方法及びその、装置、コンピュータ装置並びに記憶媒体
(51)【国際特許分類】
H04N 5/262 20060101AFI20220722BHJP
G06F 3/04842 20220101ALI20220722BHJP
H04N 5/222 20060101ALI20220722BHJP
【ＦＩ】
H04N5/262
G06F3/04842
H04N5/222
【請求項の数】
15
(21)【出願番号】P 2020539223
(86)(22)【出願日】2019-01-07
(65)【公表番号】
(43)【公表日】2021-05-06
(86)【国際出願番号】 CN2019070616
(87)【国際公開番号】W WO2019141100
(87)【国際公開日】2019-07-25
【審査請求日】2020-08-12
(31)【優先権主張番号】201810050497.6
(32)【優先日】2018-01-18
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】肖 仙▲敏▼
(72)【発明者】
【氏名】▲張▼ 中宝
(72)【発明者】
【氏名】▲蒋▼ ▲輝▼
(72)【発明者】
【氏名】王 文涛
(72)【発明者】
【氏名】肖 ▲鵬▼
(72)【発明者】
【氏名】黎 雄志
(72)【発明者】
【氏名】▲張▼ 元昊
(72)【発明者】
【氏名】林 ▲鋒▼
【審査官】西谷 憲人
(56)【参考文献】
【文献】米国特許出願公開第２０１５／０２７７６８６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／００１８２８９（ＵＳ，Ａ１）
【文献】特開２０１３－１１５６９２（ＪＰ，Ａ）
【文献】特開２０１３－１１５６９１（ＪＰ，Ａ）
【文献】特開２０１７－１６９２２２（ＪＰ，Ａ）
【文献】特許第５６７１６７１（ＪＰ，Ｂ１）
【文献】国際公開第２０１２／１４４２２５（ＷＯ，Ａ１）
【文献】中国特許出願公開第１０７２７４４３１（ＣＮ，Ａ）
【文献】中国特許出願公開第１０６３８５５９１（ＣＮ，Ａ）
【文献】Mediocre Tutorials and Reviews:"Tutorial I How to Create Moving Emojis on Snapchat"，Youtube[online][video]，2017年02月10日，[検索日2021年10月7日],インターネット:<URL:https://www.youtube.com/watch?v=Lvn53BDFbRs>
【文献】Clustering of Static-Adaptive Correspondences for Deformable Object Tracking，2015IEEE Conference on Computer Vision and Pattern Recognition，2015年01月06日，2784-2791
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２２２
Ｇ０６Ｆ ３／０４８４２
(57)【特許請求の範囲】
【請求項1】
端末における追加オブジェクトの表示方法であって、ビデオを再生するとき、ビデオ再生インターフェースにユーザの操作を受け取ることが可能なトリガーコントロールを表示する第１のステップと、
前記トリガーコントロールに対するアクティブ化操作に応答して前記ビデオの再生を一時停止し、前記ビデオ再生インターフェースに参照画面フレームを表示する第２のステップであって、前記参照画面フレームが前記ビデオにおける一時停止時点での画面フレームである、ステップと、
前記トリガーコントロールに対するドラッグ操作に応答して、前記参照画面フレームにおける前記ドラッグ操作の終了位置での表示オブジェクトである目標オブジェクトを取得する第３のステップと、
前記ビデオの再生の一時停止を解除するとき、前記目標オブジェクトに対応するように前記トリガーコントロールに対応する追加オブジェクトを前記ビデオの画面フレームに表示する第４のステップであって、前記追加オブジェクトは、文字または画像要素である、ステップと、を含む、前記追加オブジェクトの表示方法。
【請求項2】
前記第４のステップの前に、更に、前記ビデオにおける各画面フレームにおいて前記目標オブジェクトを追跡して、第１表示情報を取得する第５のステップであって、前記第１表示情報が前記各画面フレームにおける前記目標オブジェクトの表示位置、表示サイズ及び表示姿勢のうちの少なくとも１つを示すことに用いられる、ステップと、
前記第１表示情報に基づいて第２表示情報を生成する第６のステップであって、前記第２表示情報が前記各画面フレームにおける前記追加オブジェクトの表示位置、表示サイズ及び表示姿勢のうちの少なくとも１つを示すことに用いられる、ステップと、を含み、
前記第４のステップは、
前記ビデオの一時停止を解除するとき、前記第２表示情報に基づいて前記各画面フレームに前記追加オブジェクトをそれぞれ表示するステップを含む
請求項１に記載の方法。
【請求項3】
前記第１表示情報が前記各画面フレームにおける前記目標オブジェクトの目標点のピクセル座標を含み、前記目標点が前記目標オブジェクトにおける前記ドラッグ操作の終了位置に対応する位置点であり、前記第６のステップは、
前記各画面フレームにおける前記目標オブジェクトの目標点のピクセル座標及び前記追加オブジェクトと前記目標点との相対位置情報に基づき、前記各画面フレームにおける前記追加オブジェクトのピクセル座標を取得する第７のステップと、
前記各画面フレームにおける前記追加オブジェクトのピクセル座標を含む前記第２表示情報を生成する第８のステップと、を含む
請求項２に記載の方法。
【請求項4】
前記方法は、更に、前記ビデオ再生インターフェースに前記追加オブジェクトのプレビュー図を表示する第９のステップと、
前記参照画面フレームにおける前記プレビュー図の表示位置を取得する第１０のステップと、
前記参照画面フレームにおける前記プレビュー図の表示位置及び前記参照画面フレームにおける前記ドラッグ操作の終了位置に基づき、前記追加オブジェクトと前記目標点との相対位置情報を取得する第１１のステップと、を含むことを特徴とする
請求項３に記載の方法。
【請求項5】
前記方法は、更に、前記追加オブジェクトのプレビュー図に対するドラッグ操作に応答して前記ビデオ再生インターフェースにおける前記追加オブジェクトのプレビュー図の位置を移動させる第１２のステップを含む
請求項４に記載の方法。
【請求項6】
前記第１表示情報が前記各画面フレームにおける前記目標オブジェクトの表示サイズを含み、前記第６のステップは、
前記各画面フレームにおける前記目標オブジェクトの表示サイズ及び前記目標オブジェクトの元のサイズに基づき、前記各画面フレームにおける前記追加オブジェクトの拡大縮小倍率を計算する第１３のステップであって、前記目標オブジェクトの元のサイズが前記参照画面フレームにおける前記目標オブジェクトの表示サイズであるステップと、
前記追加オブジェクトの元のサイズ及び前記拡大縮小倍率に基づいて前記各画面フレームにおける前記追加オブジェクトの表示サイズを取得する第１４のステップと、
前記各画面フレームにおける前記追加オブジェクトの表示サイズを含む前記第２表示情報を生成する第１５のステップと、を含むことを特徴とする
請求項２に記載の方法。
【請求項7】
前記第１表示情報が前記各画面フレームにおける前記目標オブジェクトの表示位置及び表示姿勢を含み、前記第６のステップは、
前記各画面フレームにおける前記目標オブジェクトの表示位置及び表示姿勢並びに前記追加オブジェクトと前記目標点との相対位置情報に基づき、前記各画面フレームにおける前記追加オブジェクトの表示位置及び表示姿勢を取得する第１６のステップと、
前記各画面フレームにおける前記追加オブジェクトの表示位置及び表示姿勢を含む前記第２表示情報を生成する第１７のステップと、を含むことを特徴とする
請求項３に記載の方法。
【請求項8】
前記第５のステップは、前記参照画面フレームから開始して、再生時間順序及び／又は再生時間順序の逆順序で前記各画面フレームにおいて前記目標オブジェクトを１フレームずつ追跡して、前記第１表示情報を取得する第１８のステップを含むことを特徴とする
請求項２に記載の方法。
【請求項9】
前記第５のステップは、変形可能オブジェクト追跡の静的適応対応クラスタリング（ＣＭＴ）アルゴリズムによって前記ビデオにおける各画面フレームにおいて前記目標オブジェクトを追跡して、前記第１表示情報を取得する第１９のステップを含むことを特徴とする
請求項２に記載の方法。
【請求項10】
前記方法は、更に、前記トリガーコントロールに対応して、前記ビデオ再生インターフェースにスイッチコントロールを表示する第２０のステップと、
前記スイッチコントロールに対するアクティブ化操作に応答して、追加オブジェクト選択インターフェースを表示する第２１のステップであって、前記追加オブジェクト選択インターフェースに少なくとも２つの候補オブジェクトが含まれる、ステップと、
前記追加オブジェクト選択インターフェースでの選択操作に応答して、前記選択操作に対応する候補オブジェクトを前記トリガーコントロールに対応する新しい追加オブジェクトとして取得する第２２のステップと、を含むことを特徴とする
請求項１～９のいずれか１項に記載の方法。
【請求項11】
前記追加オブジェクトが静的表示オブジェクトであり、又は、前記追加オブジェクトが動的表示オブジェクトであることを特徴とする請求項１～９のいずれか１項に記載の方法。
【請求項12】
端末に適用される追加オブジェクトの表示装置であって、ビデオ再生インターフェースにユーザの操作を受け取ることが可能なトリガーコントロールを表示することに用いられるコントロール表示モジュールであって、前記ビデオ再生インターフェースがビデオを再生することに用いられる、コントロール表示モジュールと、
前記トリガーコントロールに対するアクティブ化操作に応答して、前記ビデオの再生を一時停止して、前記ビデオ再生インターフェースに参照画面フレームを表示することに用いられる一時停止モジュールであって、前記参照画面フレームが前記ビデオにおける一時停止時点での画面フレームである、一時停止モジュールと、
前記トリガーコントロールに対するドラッグ操作に応答して、前記参照画面フレームにおける前記ドラッグ操作の終了位置での表示オブジェクトである目標オブジェクトを取得することに用いられるオブジェクト取得モジュールと、
前記ビデオの再生の一時停止を解除するとき、前記目標オブジェクトに対応するように前記トリガーコントロールに対応する追加オブジェクトを前記ビデオの画面フレームに表示することに用いられるオブジェクト表示モジュールであって、前記追加オブジェクトは、文字または画像要素である、オブジェクト表示モジュールと、を備えることを特徴とする、前記追加オブジェクトの表示装置。
【請求項13】
前記装置は、更に、前記オブジェクト表示モジュールが前記目標オブジェクトに対応するように前記トリガーコントロールに対応する追加オブジェクトを前記ビデオに表示する前に、前記ビデオにおける各画面フレームにおいて前記目標オブジェクトを追跡して、第１表示情報を取得することに用いられる追跡モジュールであって、前記第１表示情報が前記各画面フレームにおける前記目標オブジェクトの表示位置、表示サイズ及び表示姿勢のうちの少なくとも１つを示すことに用いられる、追跡モジュールと、
前記第１表示情報に基づいて第２表示情報を生成することに用いられる情報生成モジュールであって、前記第２表示情報が前記各画面フレームにおける前記追加オブジェクトの表示位置、表示サイズ及び表示姿勢のうちの少なくとも１つを示すことに用いられる、情報生成モジュールと、
前記ビデオの再生の一時停止を解除するとき、前記第２表示情報に基づき、それぞれ前記各画面フレームに前記追加オブジェクトを表示することに用いられる前記オブジェクト表示モジュールと、を備えることを特徴とする
請求項１２に記載の装置。
【請求項14】
コンピュータであって、プロセッサ及びメモリを備え、前記メモリには少なくとも１つの命令、少なくとも一部のプログラム、コードセット又は命令セットが記憶され、請求項１～１１のいずれか１項に記載の追加オブジェクトの表示方法を実現するよう、前記少なくとも１つの命令、前記少なくとも一部のプログラム、前記コードセット又は命令セットが前記プロセッサによりロードして実行されることを特徴とする、前記コンピュータ。
【請求項15】
前記端末のコンピュータによって実行された場合に請求項１～１１のいずれか１項に記載の追加オブジェクトの表示方法を行うよう構成された命令を備える、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０１８年０１月１８日に提出した中国特許出願第２０１８１００５０４９７．６号、発明の名称「追加オブジェクトの表示方法及びその、装置並びにコンピュータ装置」の優先権を主張し、上記出願の全内容が援用により本願に組み込まれている。
本願はコンピュータ応用技術分野に関し、特に追加オブジェクトの表示方法及びその、装置、コンピュータ装置並びに記憶媒体に関するものである。
本願は、２０１８年０１月１８日に提出した中国特許出願第２０１８１００５０４９７．６号、発明の名称「追加オブジェクトの表示方法及びその、装置並びにコンピュータ装置」の優先権を主張し、上記出願の全内容が援用により本願に組み込まれている。
本願はコンピュータ応用技術分野に関し、特に追加オブジェクトの表示方法及びその、装置、コンピュータ装置並びに記憶媒体に関するものである。
【背景技術】
【0002】
ビデオ処理技術の継続的な発展に伴い、ビデオの再生効果を向上させるよう、多くのアプリケーションプログラムは追加オブジェクトを表示する機能をビデオに追加することを提供する。
関連技術において、ユーザーは追加オブジェクトを表示する機能をビデオに追加する必要がある場合、ビデオ再生インターフェースに目標位置及び追加対象の追加オブジェクトを指定し、端末が後続にビデオを再生するとき、該追加オブジェクトを該目標位置に連続表示してもよい。ところが、関連技術に示される技術案によれば、ユーザーが指定された目標位置に位置した後、追加オブジェクトのビデオでの表示位置が固定される。その結果、後続のビデオ再生過程において追加オブジェクトとビデオ再生画面とがマッチングしなくなる。
関連技術において、ユーザーは追加オブジェクトを表示する機能をビデオに追加する必要がある場合、ビデオ再生インターフェースに目標位置及び追加対象の追加オブジェクトを指定し、端末が後続にビデオを再生するとき、該追加オブジェクトを該目標位置に連続表示してもよい。ところが、関連技術に示される技術案によれば、ユーザーが指定された目標位置に位置した後、追加オブジェクトのビデオでの表示位置が固定される。その結果、後続のビデオ再生過程において追加オブジェクトとビデオ再生画面とがマッチングしなくなる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本願の実施例はビデオにおける追加オブジェクトとビデオ再生画面とをマッチングすることのできる追加オブジェクトの表示方法及びその、装置、コンピュータ装置並びに記憶媒体を提供し、技術案は以下のとおりである。
【課題を解決するための手段】
【0004】
一態様に係る端末が実行する追加オブジェクトの表示方法であって、前記方法は、ビデオ再生インターフェースにトリガーコントロールを表示するステップであって、前記ビデオ再生インターフェースがビデオを再生することに用いられる、ステップと、
前記トリガーコントロールに対するアクティブ化操作に応答して、前記ビデオの再生を一時停止して、前記ビデオ再生インターフェースに参照画面フレームを表示するステップであって、前記参照画面フレームが前記ビデオにおける一時停止時点での画面フレームである、ステップと、
前記トリガーコントロールに対するドラッグ操作に応答して、目標オブジェクトを取得するステップであって、前記目標オブジェクトが前記参照画面フレームにおける前記ドラッグ操作の終了位置での表示オブジェクトである、ステップと、
前記ビデオを再生するとき、前記目標オブジェクトに対応するように前記トリガーコントロールに対応する追加オブジェクトを前記ビデオの画面フレームに表示するステップと、を含む。
前記トリガーコントロールに対するアクティブ化操作に応答して、前記ビデオの再生を一時停止して、前記ビデオ再生インターフェースに参照画面フレームを表示するステップであって、前記参照画面フレームが前記ビデオにおける一時停止時点での画面フレームである、ステップと、
前記トリガーコントロールに対するドラッグ操作に応答して、目標オブジェクトを取得するステップであって、前記目標オブジェクトが前記参照画面フレームにおける前記ドラッグ操作の終了位置での表示オブジェクトである、ステップと、
前記ビデオを再生するとき、前記目標オブジェクトに対応するように前記トリガーコントロールに対応する追加オブジェクトを前記ビデオの画面フレームに表示するステップと、を含む。
【0005】
一態様に係る端末に適用される追加オブジェクトの表示装置であって、前記装置は、ビデオ再生インターフェースにトリガーコントロールを表示することに用いられるコントロール表示モジュールであって、前記ビデオ再生インターフェースがビデオを再生することに用いられる、コントロール表示モジュールと、
前記トリガーコントロールに対するアクティブ化操作に応答して、前記ビデオの再生を一時停止して、前記ビデオ再生インターフェースに参照画面フレームを表示することに用いられる一時停止モジュールであって、前記参照画面フレームが前記ビデオにおける一時停止時点での画面フレームである、一時停止モジュールと、
前記トリガーコントロールに対するドラッグ操作に応答して、目標オブジェクトを取得することに用いられるオブジェクト取得モジュールであって、前記目標オブジェクトが前記参照画面フレームにおける前記ドラッグ操作の終了位置での表示オブジェクトである、オブジェクト取得モジュールと、
前記ビデオを再生するとき、前記目標オブジェクトに対応するように前記トリガーコントロールに対応する追加オブジェクトを前記ビデオの画面フレームに表示することに用いられるオブジェクト表示モジュールと、を備える。
前記トリガーコントロールに対するアクティブ化操作に応答して、前記ビデオの再生を一時停止して、前記ビデオ再生インターフェースに参照画面フレームを表示することに用いられる一時停止モジュールであって、前記参照画面フレームが前記ビデオにおける一時停止時点での画面フレームである、一時停止モジュールと、
前記トリガーコントロールに対するドラッグ操作に応答して、目標オブジェクトを取得することに用いられるオブジェクト取得モジュールであって、前記目標オブジェクトが前記参照画面フレームにおける前記ドラッグ操作の終了位置での表示オブジェクトである、オブジェクト取得モジュールと、
前記ビデオを再生するとき、前記目標オブジェクトに対応するように前記トリガーコントロールに対応する追加オブジェクトを前記ビデオの画面フレームに表示することに用いられるオブジェクト表示モジュールと、を備える。
【0006】
好ましくは、前記装置は、更に、前記オブジェクト表示モジュールが前記目標オブジェクトに対応するように前記トリガーコントロールに対応する追加オブジェクトを前記ビデオに表示する前に、前記ビデオにおける各画面フレームにおいて前記目標オブジェクトを追跡して、第１表示情報を取得することに用いられる追跡モジュールであって、前記第１表示情報が前記各画面フレームにおける前記目標オブジェクトの表示位置、表示サイズ及び表示姿勢のうちの少なくとも１つを示すことに用いられる、追跡モジュールと、
前記第１表示情報に基づいて第２表示情報を生成することに用いられる情報生成モジュールであって、前記第２表示情報が前記各画面フレームにおける前記追加オブジェクトの表示位置、表示サイズ及び表示姿勢のうちの少なくとも１つを示すことに用いられる情報生成モジュールと、
前記ビデオを再生するとき、前記第２表示情報に基づき、それぞれ前記各画面フレームに前記追加オブジェクトを表示することに用いられる前記オブジェクト表示モジュールと、を備える。
前記第１表示情報に基づいて第２表示情報を生成することに用いられる情報生成モジュールであって、前記第２表示情報が前記各画面フレームにおける前記追加オブジェクトの表示位置、表示サイズ及び表示姿勢のうちの少なくとも１つを示すことに用いられる情報生成モジュールと、
前記ビデオを再生するとき、前記第２表示情報に基づき、それぞれ前記各画面フレームに前記追加オブジェクトを表示することに用いられる前記オブジェクト表示モジュールと、を備える。
【0007】
好ましくは、前記第１表示情報が前記各画面フレームにおける前記目標オブジェクトの目標点のピクセル座標を含み、前記目標点が前記目標オブジェクトにおける前記ドラッグ操作の終了位置に対応する位置点であり、前記情報生成モジュールは、具体的に、前記各画面フレームにおける前記目標オブジェクトの目標点のピクセル座標及び前記追加オブジェクトと前記目標点との相対位置情報に基づき、前記各画面フレームにおける前記追加オブジェクトのピクセル座標を取得することと、前記各画面フレームにおける前記追加オブジェクトのピクセル座標を含む前記第２表示情報を生成することと、に用いられる。
【0008】
好ましくは、前記装置は、更に、前記ビデオ再生インターフェースに前記追加オブジェクトのプレビュー図を表示することに用いられるプレビュー図表示モジュールと、
前記参照画面フレームにおける前記プレビュー図の表示位置を取得することに用いられる表示位置取得モジュールと、
前記参照画面フレームにおける前記プレビュー図の表示位置及び前記参照画面フレームにおける前記ドラッグ操作の終了位置に基づき、前記追加オブジェクトと前記目標点との相対位置情報を取得することに用いられる相対位置取得モジュールと、を備える。
前記参照画面フレームにおける前記プレビュー図の表示位置を取得することに用いられる表示位置取得モジュールと、
前記参照画面フレームにおける前記プレビュー図の表示位置及び前記参照画面フレームにおける前記ドラッグ操作の終了位置に基づき、前記追加オブジェクトと前記目標点との相対位置情報を取得することに用いられる相対位置取得モジュールと、を備える。
【0009】
好ましくは、前記装置は、更に、前記追加オブジェクトのプレビュー図に対するドラッグ操作に応答して、前記ビデオ再生インターフェースにおける前記追加オブジェクトのプレビュー図の位置を移動させることに用いられる移動モジュールを備える。
【0010】
好ましくは、前記第１表示情報が前記各画面フレームにおける前記目標オブジェクトの表示サイズを含み、前記情報生成モジュールは、具体的に、前記各画面フレームにおける前記目標オブジェクトの表示サイズ及び前記目標オブジェクトの元のサイズに基づき、前記各画面フレームにおける前記追加オブジェクトの拡大縮小倍率を計算し、前記目標オブジェクトの元のサイズが前記参照画面フレームにおける前記目標オブジェクトの表示サイズであることと、前記追加オブジェクトの元のサイズ及び前記拡大縮小倍率に基づいて前記各画面フレームにおける前記追加オブジェクトの表示サイズを取得することと、前記各画面フレームにおける前記追加オブジェクトの表示サイズを含む前記第２表示情報を生成することと、に用いられる。
【0011】
好ましくは、前記第１表示情報が前記各画面フレームにおける前記目標オブジェクトの表示位置及び表示姿勢を含み、前記情報生成モジュールは、具体的に、前記各画面フレームにおける前記目標オブジェクトの表示位置及び表示姿勢並びに前記追加オブジェクトと前記目標点との相対位置情報に基づき、前記各画面フレームにおける前記追加オブジェクトの表示位置及び表示姿勢を取得することと、前記各画面フレームにおける前記追加オブジェクトの表示位置及び表示姿勢を含む前記第２表示情報を生成することと、に用いられる。
【0012】
好ましくは、前記追跡モジュールは、具体的に、前記参照画面フレームから開始して、再生時間順序及び／又は再生時間順序の逆順序で前記各画面フレームにおいて前記目標オブジェクトを１フレームずつ追跡して、前記第１表示情報を取得することに用いられる。
【0013】
好ましくは、前記追跡モジュールは、具体的に、変形可能オブジェクト追跡の静的適応対応クラスタリング（ＣＭＴ）アルゴリズムによって前記ビデオにおける各画面フレームにおいて前記目標オブジェクトを追跡して、前記第１表示情報を取得することに用いられる。
【0014】
好ましくは、前記装置は、更に、前記トリガーコントロールに対応して、前記ビデオ再生インターフェースにスイッチコントロールを表示することに用いられるスイッチコントロール表示モジュールと、
前記スイッチコントロールに対するアクティブ化操作に応答して、追加オブジェクト選択インターフェースを表示することに用いられる選択インターフェース表示モジュールであって、前記追加オブジェクト選択インターフェースに少なくとも２つの候補オブジェクトが含まれる、選択インターフェース表示モジュールと、
前記追加オブジェクト選択インターフェースでの選択操作に応答して、前記選択操作に対応する候補オブジェクトを前記トリガーコントロールに対応する新しい追加オブジェクトとして取得することに用いられる追加オブジェクト取得モジュールと、を備える。
好ましくは、前記追加オブジェクトが静的表示オブジェクトであり、又は、前記追加オブジェクトが動的表示オブジェクトである。
前記スイッチコントロールに対するアクティブ化操作に応答して、追加オブジェクト選択インターフェースを表示することに用いられる選択インターフェース表示モジュールであって、前記追加オブジェクト選択インターフェースに少なくとも２つの候補オブジェクトが含まれる、選択インターフェース表示モジュールと、
前記追加オブジェクト選択インターフェースでの選択操作に応答して、前記選択操作に対応する候補オブジェクトを前記トリガーコントロールに対応する新しい追加オブジェクトとして取得することに用いられる追加オブジェクト取得モジュールと、を備える。
好ましくは、前記追加オブジェクトが静的表示オブジェクトであり、又は、前記追加オブジェクトが動的表示オブジェクトである。
【0015】
一態様に係るコンピュータ装置であって、前記コンピュータ装置はプロセッサ及びメモリを備え、前記メモリに少なくとも１つの命令、少なくとも一部のプログラム、コードセット又は命令セットが記憶され、上記追加オブジェクトの表示方法を実現するよう、前記少なくとも１つの命令、前記少なくとも一部のプログラム、前記コードセット又は命令セットが前記プロセッサによりロードして実行される。
【0016】
一態様に係るコンピュータ可読記憶媒体であって、前記記憶媒体に少なくとも１つの命令、少なくとも一部のプログラム、コードセット又は命令セットが記憶され、上記追加オブジェクトの表示方法を実現するよう、前記少なくとも１つの命令、前記少なくとも一部のプログラム、前記コードセット又は命令セットがプロセッサによりロードして実行される。
【発明の効果】
【0017】
本願に係る技術案は以下の有益な効果を有してもよい。
【0018】
ビデオ再生インターフェースに１つのトリガーコントロールを予め表示し、ユーザーの該トリガーコントロールに対するアクティブ化操作を検出した場合、ビデオの再生を一時停止してもよく、トリガーコントロールに対するドラッグ操作を受信した場合、ドラッグ操作の終了位置に対応する表示オブジェクトを目標オブジェクトとして決定し、後続の再生過程において各画面フレームにおける同様の目標オブジェクトに対応するように追加オブジェクトを表示する。これにより、ビデオ再生過程において追加オブジェクトとビデオ再生画面とがマッチングするように維持する効果を実現する。
【0019】
理解すべきものは、以上の一般的な説明及び以後の詳細な説明は例示的・解釈的なものであって、本願を制限するためのものではない。
【図面の簡単な説明】
【0020】
【発明を実施するための形態】
【0021】
本図面は明細書に合せられ本明細書の一部を構成し、本願に適合する実施例を示し、明細書と共に本願の原理を解釈するのに用いられる。
【0022】
ここで例示的な実施例を詳しく説明し、その例を図面に示す。以下の説明は図面に関わる場合、特に示さない限り、異なる図面における同じ数字が同様又は類似の要素を示す。以下の例示的な実施例に説明される実施形態は本願に一致するすべての実施形態を代表しない。逆に、それらは添付の特許請求の範囲に詳しく説明した、本願のいくつかの態様に一致する装置及び方法の例に過ぎない。
【0023】
本願に係る技術案は一定の計算能力を有し、ビデオ再生機能を持つ端末に適用されてもよい。例えば、該端末はスマートフォン、タブレットコンピュータ又は電子ブックリーダー等のモバイル端末であってもよく、又は、該端末は更にデスクトップパソコン又はノートパソコン等のパーソナルコンピュータ装置であってもよい。
【0024】
本願に係る技術案を理解しやすくするために、以下に本願に関わるいくつかの用語を解釈する。
【0025】
１、追加オブジェクト
本願の実施例では、追加オブジェクトはステッカー又はビデオステッカーとも称され、後期に既存のビデオ上位層に追加して表示する文字又は画像要素である。
追加オブジェクトはタイプに応じて動的オブジェクト（動的ステッカーとも称される）及び静的オブジェクト（静的ステッカーとも称される）に分けられてもよい。動的オブジェクトは自身にアニメーション効果を有するオブジェクトを指し、アニメーション表情に類似する。そして、静的オブジェクトはアニメーション効果を有しないオブジェクトを指し、静的画像に類似する。
追加オブジェクトは透明、半透明又は不透明な表示オブジェクトであってもよい。
本願の実施例では、追加オブジェクトはステッカー又はビデオステッカーとも称され、後期に既存のビデオ上位層に追加して表示する文字又は画像要素である。
追加オブジェクトはタイプに応じて動的オブジェクト（動的ステッカーとも称される）及び静的オブジェクト（静的ステッカーとも称される）に分けられてもよい。動的オブジェクトは自身にアニメーション効果を有するオブジェクトを指し、アニメーション表情に類似する。そして、静的オブジェクトはアニメーション効果を有しないオブジェクトを指し、静的画像に類似する。
追加オブジェクトは透明、半透明又は不透明な表示オブジェクトであってもよい。
【0026】
２、画面フレーム
本願の画面フレームはビデオ再生過程においてタイムスタンプに基づいて再生する画像データを指す。
本願の画面フレームはビデオ再生過程においてタイムスタンプに基づいて再生する画像データを指す。
【0027】
３、オブジェクト追跡
本願のオブジェクト追跡とは、ビデオの画面フレームシーケンスにおいて、１フレームの画面フレームに含まれる各表示オブジェクトのうちの指定された表示オブジェクトに対して、ビデオの画面フレームシーケンスにおける該画面フレーム以外の他の画面フレームから該指定された表示オブジェクトを見つけて、他の各画面フレームでの該指定された表示オブジェクトの位置、サイズ及び姿勢（一般的に回転角度であってもよい）等の情報を取得することを意味する。
ここで、１つの画面フレームにおける表示オブジェクトは該画面フレームにおける可視化要素を指し、例えば画面フレームにおける人物、顔、机、石、部屋、雲又は空等はいずれも該画面フレームにおける表示オブジェクトであってもよい。
本願のオブジェクト追跡とは、ビデオの画面フレームシーケンスにおいて、１フレームの画面フレームに含まれる各表示オブジェクトのうちの指定された表示オブジェクトに対して、ビデオの画面フレームシーケンスにおける該画面フレーム以外の他の画面フレームから該指定された表示オブジェクトを見つけて、他の各画面フレームでの該指定された表示オブジェクトの位置、サイズ及び姿勢（一般的に回転角度であってもよい）等の情報を取得することを意味する。
ここで、１つの画面フレームにおける表示オブジェクトは該画面フレームにおける可視化要素を指し、例えば画面フレームにおける人物、顔、机、石、部屋、雲又は空等はいずれも該画面フレームにおける表示オブジェクトであってもよい。
【0028】
４、変形可能オブジェクト追跡の静的適応対応クラスタリングアルゴリズム
変形可能オブジェクト追跡の静的適応対応クラスタリング（ＣＭＴ：Ｃｌｕｓｔｅｒｉｎｇ ｏｆ Ｓｔａｔｉｃ－Ａｄａｐｔｉｖｅ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ ｆｏｒ Ｄｅｆｏｒｍａｂｌｅ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ）アルゴリズムは、オブジェクト追跡アルゴリズムの１つであり、ビデオシーンにおける表示オブジェクト（例えば、人又は物体）の追跡に適用されてもよい。ＣＭＴアルゴリズムは特徴による追跡方法であり、代表的な光束法をアルゴリズムの一部として使用する。
変形可能オブジェクト追跡の静的適応対応クラスタリング（ＣＭＴ：Ｃｌｕｓｔｅｒｉｎｇ ｏｆ Ｓｔａｔｉｃ－Ａｄａｐｔｉｖｅ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ ｆｏｒ Ｄｅｆｏｒｍａｂｌｅ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ）アルゴリズムは、オブジェクト追跡アルゴリズムの１つであり、ビデオシーンにおける表示オブジェクト（例えば、人又は物体）の追跡に適用されてもよい。ＣＭＴアルゴリズムは特徴による追跡方法であり、代表的な光束法をアルゴリズムの一部として使用する。
【0029】
５、辞書
本願に関わる辞書はマッピング関係を有するデータを保存するための集合であり、キーバリュー（ｋｅｙ－ｖａｌｕｅ）ペアを記憶するための容器として見なされてもよく、１つのキーバリューペアが１つのエントリー（ｅｎｔｒｙ）であると見なされてもよい。辞書はｋｅｙによって要素をアクセスし、且つｋｅｙが繰り返し不可能であり、ｖａｌｕｅが必ずオブジェクトでなければならず、キーバリューペアが辞書に秩序的に記憶されてもよいし、無秩序で記憶されてもよい。
本願に関わる辞書はマッピング関係を有するデータを保存するための集合であり、キーバリュー（ｋｅｙ－ｖａｌｕｅ）ペアを記憶するための容器として見なされてもよく、１つのキーバリューペアが１つのエントリー（ｅｎｔｒｙ）であると見なされてもよい。辞書はｋｅｙによって要素をアクセスし、且つｋｅｙが繰り返し不可能であり、ｖａｌｕｅが必ずオブジェクトでなければならず、キーバリューペアが辞書に秩序的に記憶されてもよいし、無秩序で記憶されてもよい。
【0030】
【0031】
ステップ１１において、ビデオ再生インターフェースにトリガーコントロールを表示し、該ビデオ再生インターフェースがビデオを再生することに用いられる。
【0032】
本願の実施例では、端末はビデオを再生するとき、ビデオ再生インターフェースに１つのトリガーコントロールを表示してもよく、該トリガーコントロールはビデオ再生インターフェースの上位層にフローティングされており、ユーザーの操作、例えばカーソル操作又はタッチ操作等を受け取ることができる。
【0033】
例えば、図２は本願の実施例に係るトリガーコントロールを表示するインターフェースを示す図である。図２に示すように、端末はビデオ再生インターフェース２０にビデオ画面２１を再生し、該ビデオ画面２１にトリガーコントロール２２が含まれており、該トリガーコントロール２２はビデオ画面２１に元々含まれる表示オブジェクトではなく、端末がビデオ画面２１の上位層に追加したフローティング表示されているオブジェクトである。
【0034】
ステップ１２において、ビデオを再生するとき、該トリガーコントロールに対するアクティブ化操作に応答して、該ビデオの再生を一時停止して、該ビデオ再生インターフェースに参照画面フレームを表示し、該参照画面フレームがビデオにおける一時停止時点での画面フレームである。
【0035】
ビデオが目標オブジェクトを含む画面まで再生される場合、ユーザーはトリガーコントロールに対してアクティブ化操作（例えば、クリックタッチ操作）を実行してもよく、このとき、ユーザーが追加オブジェクトを追加すべき目標オブジェクトを選択するよう、端末はビデオの再生を一時停止してもよい。
【0036】
図２に示すように、トリガーコントロール２２はユーザーのクリックタッチ操作を受け取ってもよく、ユーザーのトリガーコントロール２２に対するクリックタッチ操作を検出した場合、端末がビデオの再生を一時停止すると同時に、トリガーコントロール２２がアクティブ化状態に入り、このとき、一時停止したビデオ画面フレームが上記参照画面フレームである。
【0037】
ステップ１３において、該トリガーコントロールに対するドラッグ操作に応答して、目標オブジェクトを取得し、該目標オブジェクトが該参照画面フレームにおける該ドラッグ操作の終了位置での表示オブジェクトである。
【0038】
本願の実施例では、端末がユーザーのトリガーコントロールに対するアクティブ化操作に応答した後、該トリガーコントロールはユーザーのドラッグ操作を受け取ってもよく、ドラッグ操作が終了する場合、端末はドラッグ操作の終了位置に基づいて参照画面フレームにおける目標オブジェクトを取得してもよい。
【0039】
図２に示すように、参照画面フレームには若干の表示オブジェクト、例えば人物オブジェクト２３、家屋２４及び丘２５等が含まれる。トリガーコントロール２２がアクティブ化状態に入った後、ユーザーはタッチスワイプ操作によってトリガーコントロール２２をドラッグして、ドラッグ操作が終了する際のトリガーコントロール２２の位置する箇所での表示オブジェクト（すなわち、図２における人物オブジェクト２３）を目標オブジェクトとして決定してもよい。
【0040】
参照画面フレームから目標オブジェクトを取得した後、端末は該ビデオにおける各画面フレームにおいて該目標オブジェクトを追跡して、第１表示情報を取得してもよく、該第１表示情報が該各画面フレームにおける該目標オブジェクトの表示位置、表示サイズ及び表示姿勢のうちの少なくとも１つを示すことに用いられ、端末は該第１表示情報に基づいて第２表示情報を生成し、該第２表示情報が該各画面フレームにおける該追加オブジェクトの表示位置、表示サイズ及び表示姿勢のうちの少なくとも１つを示すことに用いられる。
【0041】
ステップ１４において、該ビデオを再生するとき、該目標オブジェクトに対応するように該トリガーコントロールに対応する追加オブジェクトを該ビデオの画面フレームに表示する。
【0042】
本願の実施例では、端末は目標オブジェクトを決定した後、後続に該ビデオを再生するとき、該目標オブジェクトに対応するように該トリガーコントロールに対応する追加オブジェクトをビデオ再生インターフェースに表示してもよい。該目標オブジェクトに対応するように該トリガーコントロールに対応する追加オブジェクトを表示することとは、目標オブジェクト上位層に追加オブジェクトをオーバーレイ表示することを意味してもよく、又は、目標オブジェクトの周りに追加オブジェクトを表示することを意味してもよく、又は、該目標オブジェクトのある相対位置で該追加オブジェクトを表示することを意味してもよい。
【0043】
例えば、該目標オブジェクトに対応するように該トリガーコントロールに対応する追加オブジェクトを表示するとき、目標オブジェクトを決定した後、端末は該ビデオを再生するとき、上記第２表示情報に基づき、それぞれ各画面フレームに該追加オブジェクトを表示してもよい。
【0044】
図２に示すように、端末は人物オブジェクト２３が目標オブジェクトであると決定した後、後続に該ビデオを再生する過程において、再生した画面フレームに該人物オブジェクト２３が含まれる場合、該人物オブジェクト２３に対応するように追加オブジェクト２４を表示する。
【0045】
図１に示されるプロセスによれば、端末はビデオ再生インターフェースに１つのトリガーコントロールを予め表示し、ユーザーの該トリガーコントロールに対するアクティブ化操作を検出した場合、ビデオの再生を一時停止してもよく、後続にトリガーコントロールに対するドラッグ操作を再び受信した場合、ドラッグ操作の終了位置に対応する表示オブジェクトを目標オブジェクトとして決定し、後続の再生過程において各画面フレームにおける同様の目標オブジェクトに対応するように追加オブジェクトを表示し、これにより、ビデオ再生過程において追加オブジェクトとビデオ再生画面とがマッチングするように維持する効果を実現する。
【0046】
本願の上記図１に示される実施例に係る技術案において、トリガーコントロールに対応する追加オブジェクトをビデオに表示するとき、端末は予め設定された追加オブジェクトと目標オブジェクトとの位置関係に応じて追加オブジェクトを表示してもよく、又は、端末は更にユーザーが目標オブジェクトを選択する際に設定した追加オブジェクトと目標オブジェクトとの位置関係に応じて追加オブジェクトを表示してもよい。
【0047】
図３は本願の例示的な実施例に係る追加オブジェクトの表示方法のフローチャートであり、該追加オブジェクトの表示方法は端末により実行されてもよい。該方法は以下のステップを含んでもよい。
【0048】
ステップ３０１において、ビデオ再生インターフェースにトリガーコントロールを表示する。
【0049】
ステップ３０２において、ビデオを再生するとき、該トリガーコントロールに対するアクティブ化操作に応答して、該ビデオの再生を一時停止して、該ビデオ再生インターフェースに参照画面フレームを表示する。該参照画面フレームは、ビデオにおける一時停止時点での画面フレームである。
【0050】
ステップ３０３において、該トリガーコントロールに対するドラッグ操作に応答して、目標オブジェクトを取得する。該目標オブジェクトは、該参照画面フレームにおける該ドラッグ操作の終了位置での表示オブジェクトである。
上記ステップ３０１～ステップ３０３に示される技術案は上記図１におけるステップ１１～ステップ１３を参照してもよく、ここで詳細な説明は省略する。
好ましくは、端末は更にビデオ再生インターフェースに追加オブジェクトのプレビュー図を表示する。
上記ステップ３０１～ステップ３０３に示される技術案は上記図１におけるステップ１１～ステップ１３を参照してもよく、ここで詳細な説明は省略する。
好ましくは、端末は更にビデオ再生インターフェースに追加オブジェクトのプレビュー図を表示する。
【0051】
本願の実施例では、トリガーコントロールがアクティブ化された（つまり、該トリガーコントロールに対するアクティブ化操作を受け取った）後、該追加オブジェクトのプレビュー図がトリガーコントロールに追従してビデオ再生インターフェースを移動してもよい。
【0052】
例えば、図４は本願の実施例に係るトリガーコントロール及び追加オブジェクトのプレビュー図を表示するインターフェースを示す図である。図４に示すように、端末はビデオ再生インターフェース４０にビデオ画面４１を再生し、該ビデオ画面４１にトリガーコントロール４２及び追加オブジェクトのプレビュー図４３が含まれている。ユーザーのトリガーコントロール４２に対するドラッグ操作を受け取った場合、トリガーコントロール４２と追加オブジェクトのプレビュー図４３とは、ビデオ画面４１の新しい位置まで一緒に移動する。
【0053】
好ましくは、トリガーコントロールに対するドラッグ操作の操作点がトリガーコントロール又は追加オブジェクトのプレビュー図に対応する領域にある。つまり、本願の実施例では、ユーザーがトリガーコントロール又は追加オブジェクトのプレビュー図において実行したドラッグ操作はいずれもトリガーコントロールに対するドラッグ操作と見なされてもよい。
【0054】
例えば、図４では、ユーザーはトリガーコントロール４２又は追加オブジェクトのプレビュー図４３の位置する箇所からドラッグし始めるとき、いずれもトリガーコントロール４２及びビデオ画面４１における追加オブジェクトのプレビュー図４３の位置を移動することができる。
【0055】
好ましくは、端末はビデオ再生インターフェースにおいて、該トリガーコントロールに対応して、該ビデオ再生インターフェースにスイッチコントロールを表示し、該スイッチコントロールに対するアクティブ化操作に応答して、追加オブジェクト選択インターフェースを表示し、該追加オブジェクト選択インターフェースに少なくとも２つの候補オブジェクトが含まれており、該追加オブジェクト選択インターフェースでの選択操作に応答して、該選択操作に対応する候補オブジェクトを該トリガーコントロールに対応する新しい追加オブジェクトとして取得する。
好ましくは、該追加オブジェクトが静的表示オブジェクトであり、又は、該追加オブジェクトが動的表示オブジェクトである。
好ましくは、該追加オブジェクトが静的表示オブジェクトであり、又は、該追加オブジェクトが動的表示オブジェクトである。
【0056】
本願の実施例では、ユーザーは更にトリガーコントロールに対応する追加オブジェクトを自在に切り替えてもよい。例えば、図５は本願の実施例に係る追加オブジェクトを切り替える模式図である。図５に示すように、端末はビデオ再生インターフェース５０にビデオ画面５１を再生し、該ビデオ画面５１にトリガーコントロール５２、追加オブジェクトのプレビュー図５３及びスイッチコントロール５４が含まれており、ユーザーのスイッチコントロール５４に対するクリック操作（すなわち、上記スイッチコントロールに対するアクティブ化操作）を受け取った場合、端末は追加オブジェクト選択インターフェース５５を表示し、該追加オブジェクト選択インターフェース５５に候補オブジェクト５５ａ及び候補オブジェクト５５ｂが含まれており、候補オブジェクト５５ａが現在の追加オブジェクトに対応する。更に、ユーザーの候補オブジェクト５５ｂに対するクリック操作（すなわち、上記選択操作）を受け取った場合、端末は追加オブジェクトのプレビュー図５３に表示している内容を候補オブジェクト５５ｂのプレビュー図に切り替える。
【0057】
好ましくは、端末はビデオ再生インターフェースに追加オブジェクトのプレビュー図を表示する場合、更に該追加オブジェクトのプレビュー図に対応するように拡大縮小コントロールを表示し、該拡大縮小コントロールに対する拡大縮小操作に応答して、該追加オブジェクトのプレビュー図を拡大縮小すると同時に、拡大縮小後の追加オブジェクトのプレビュー図のサイズを該追加オブジェクトの新しい表示サイズとして取得する。
【0058】
本願の実施例では、端末はビデオ再生インターフェースにおける追加オブジェクトのプレビュー図のサイズを該追加オブジェクトの表示サイズとして記録してもよく、且つ、ユーザーは該追加オブジェクトの表示サイズを自在に拡大縮小してもよい。
【0059】
例えば、図６は本願の実施例に係る追加オブジェクトを拡大縮小する模式図である。図６に示すように、端末はビデオ再生インターフェース６０にビデオ画面６１を再生し、該ビデオ画面６１にトリガーコントロール６２、追加オブジェクトのプレビュー図６３及び拡大縮小コントロール６６が含まれており、ユーザーの拡大縮小コントロール６６に対するドラッグ操作（すなわち、上記拡大縮小コントロールに対する拡大縮小操作）を受け取った場合、端末は追加オブジェクトのプレビュー図６３のサイズを調整して、調整後の追加オブジェクトのプレビュー図６３のサイズを該追加オブジェクトの新しい表示サイズとして取得する。
【0060】
好ましくは、端末は該参照画面フレームにおける該プレビュー図の表示位置を取得し、該参照画面フレームにおける該プレビュー図の表示位置及び該参照画面フレームにおける該ドラッグ操作の終了位置に基づき、該追加オブジェクトとドラッグ操作の終了位置との相対位置情報を取得する。
【0061】
本願の実施例では、ユーザーがトリガーコントロールをドラッグする過程において、追加オブジェクトのプレビュー図がトリガーコントロールに追従して移動しなくてもよく、トリガーコントロールに対するドラッグ操作を受信した後、端末は参照画面フレームにおける該プレビュー図の位置及びドラッグ操作の終了位置に基づき、追加オブジェクトと目標点との相対位置情報を取得してもよい。
【0062】
例えば、初期時刻において、トリガーコントロールがプレビュー図の左下にあり、ユーザーがトリガーコントロールをドラッグした後、トリガーコントロールがプレビュー図の左下の下方左寄り３０度で２００個のピクセル離れる箇所にあり、そうすると端末は追加オブジェクトと目標点との相対位置情報「目標点がプレビュー図の左下の下方左寄り３０度で２００ピクセル離れる箇所にある」を取得することができる。
【0063】
好ましくは、端末は該追加オブジェクトのプレビュー図に対するドラッグ操作に応答して、該ビデオ再生インターフェースにおける該追加オブジェクトのプレビュー図の位置を移動する。
【0064】
本願の実施例では、ユーザーはそれぞれトリガーコントロール及び追加オブジェクトのプレビュー図を位置移動してもよい。例えば、図７は本願の実施例に係るトリガーコントロール及び追加オブジェクトのプレビュー図を表示するインターフェースを示す図である。図７に示すように、端末はビデオ再生インターフェース７０にビデオ画面７１を再生し、該ビデオ画面７１にトリガーコントロール７２及び追加オブジェクトのプレビュー図７３が含まれており、ユーザーのトリガーコントロール７２に対するドラッグ操作を受け取った場合、トリガーコントロール７２が新しい位置まで移動し、この過程において追加オブジェクトのプレビュー図７３の位置が変化しないことに対応して、ユーザーのプレビュー図７３に対するドラッグ操作を受け取った場合、プレビュー図７３が新しい位置まで移動し、このとき、トリガーコントロール７２の位置が変化しない。
【0065】
ステップ３０４において、該ビデオにおける各画面フレームにおいて該目標オブジェクトを追跡して、第１表示情報を取得し、該第１表示情報が該各画面フレームにおける該目標オブジェクトの表示位置、表示サイズ及び表示姿勢のうちの少なくとも１つを示すことに用いられる。
【0066】
上記各画面フレームはビデオにおけるすべての画面フレームであってもよく、又は、上記各画面フレームは更にビデオにおける一部の画面フレームであってもよい。例えば、上記各画面フレームがビデオにおける一部の画面フレームである場合、上記各画面フレームはビデオにおける参照画面フレームの後のすべての画面フレームであってもよく、又は、上記各画面フレームは更にビデオにおける参照画面フレームの前のすべての画面フレームであってもよく、又は、上記各画面フレームは更にビデオにおける参照画面フレームの前又は後の所定期間内の画面フレームであってもよい。
好ましくは、端末はＣＭＴアルゴリズムによってビデオにおける各画面フレームにおいて目標オブジェクトを追跡して、該第１表示情報を取得する。
好ましくは、端末はＣＭＴアルゴリズムによってビデオにおける各画面フレームにおいて目標オブジェクトを追跡して、該第１表示情報を取得する。
【0067】
本願の実施例では、異なる端末のオペレーティングシステムに対して、追跡アルゴリズムはいずれもＣＭＴアルゴリズムを用いてもよく、つまり本願の技術案はマルチプラットフォームをサポートすることができる。ＣＭＴアルゴリズムによって各画面フレームにおける目標オブジェクトを追跡するとき、端末はまず初期化アルゴリズム、追跡すべき画像及び追跡領域を処理し、次に後続の各画面フレームをマッチング処理する必要がある。図８及び図９に示すように、図８は本願の実施例に係るＣＭＴアルゴリズムの初期化プロセスを示す図であり、図９は本願の実施例に係るＣＭＴアルゴリズムの各画面フレームの処理プロセス（画面フレームにおけるマッチングする領域を見つける）を示す図である。
図８に示されるＣＭＴアルゴリズムの初期化についての具体的な説明は以下のとおりである。
図８に示されるＣＭＴアルゴリズムの初期化についての具体的な説明は以下のとおりである。
【0068】
１、初期化された変数を作成し、該初期化された変数は追跡領域、初期フレームのグレースケールマップ、物体の中心位置及び結果に含まれる位置を含み、初期化された画像の特徴検出アルゴリズムは加速化断片試験による特徴抽出（ＦＡＳＴ：Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）アルゴリズムであってもよく、特徴点記述アルゴリズムはバイナリ・ロバスト不変拡張可能キーポイント（ＢＲＩＳＫ：Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｖａｒｉａｎｔ Ｓｃａｌａｂｌｅ Ｋｅｙｐｏｉｎｔｓ）アルゴリズムであってもよい。
【0069】
２、第１フレームの画像の特徴点を検出し、該特徴点は前景点（目標選択ブロックにおける点）、背景特徴点（目標選択ブロック以外の点）を含み、前景点と背景点とを含む潜在的なデータベース（ｄａｔａｂａｓｅ＿ｐｏｔｅｎｔｉａｌ）のデータセットを構築する。
【0070】
３、特徴点マッチャーｍａｔｃｈｅｒを初期化し、該特徴点マッチャーは２枚の画像の特徴点をマッチングすることに用いられる。一致器を初期化し、該一致器は目標となる回転角度及び尺度因子を評価することと、目標領域の（前景点）特徴点及び番号を保存することと、に用いられる。
図９に示すように、ＣＭＴアルゴリズムによって各画面フレームを処理する過程についての説明は以下のとおりである。
１、特徴点検出（ＦＡＳＴ）及び記述（ＢＲＩＳＫ）アルゴリズムによって現在の画像特徴点に対して特徴検出及び記述を行う。
２、以前に保存される第１フレームの目標特徴点と現在の特徴点とをグローバルマッチングして、マッチングした点を取得する。
３、光束法によって前回マッチングして得られた目標特徴点に基づいて現在のフレームにおける目標となる特徴点を予測する。
４、グローバルマッチングした点と光束法によって追跡した点とを融合する（つまり、和集合を取る）。
図９に示すように、ＣＭＴアルゴリズムによって各画面フレームを処理する過程についての説明は以下のとおりである。
１、特徴点検出（ＦＡＳＴ）及び記述（ＢＲＩＳＫ）アルゴリズムによって現在の画像特徴点に対して特徴検出及び記述を行う。
２、以前に保存される第１フレームの目標特徴点と現在の特徴点とをグローバルマッチングして、マッチングした点を取得する。
３、光束法によって前回マッチングして得られた目標特徴点に基づいて現在のフレームにおける目標となる特徴点を予測する。
４、グローバルマッチングした点と光束法によって追跡した点とを融合する（つまり、和集合を取る）。
【0071】
５、目標に対して拡大縮小及び回転の推定を行い、次にローカルマッチングする点と一致器によって計算して得られた点とを融合して目標特徴点を取得する。
【0072】
一致器による計算の目的は回転及び拡大縮小によって目標領域の点を推定することである。そして、ローカルマッチングとは、現在フレームにおける検出により得られた各キーポイントと、第１フレームにおける回転及び尺度変換後のすべての前景のキーポイントとのユークリッド距離を意味する。該ユークリッド距離が閾値より小さい（例えば、閾値は、予め２０に設定されてもよい）場合、該前景のキーポイントは現在フレームにおいて検出されたキーポイントにマッチングする可能性があることを意味し、つぎにこれらの可能な前景のキーポイントは、１つの特徴記述データベースｄａｔａｂａｓｅ＿ｐｏｔｅｎｔｉａｌを構成するために用いられる。更に現在フレームにおける検出により得られた各キーポイントの特徴記述は、ｋｎｎＭａｔｃｈでｄａｔａｂａｓｅ＿ｐｏｔｅｎｔｉａｌにマッチングされ、各特徴記述子についてｄａｔａｂａｓｅ＿ｐｏｔｅｎｔｉａｌから複数（例えば、２つ）の最適なマッチング結果を探す。安定しないキーポイントを排除するポリシーは、グローバルマッチングのものと類似する。
【0073】
上記ＣＭＴアルゴリズムによって、端末はビデオの各画面フレームに含まれる上記目標オブジェクトの位置、サイズ及び姿勢等の情報（すなわち、上記第１表示情報）を追跡してもよい。
【0074】
ステップ３０５において、該第１表示情報に基づいて第２表示情報を生成し、該第２表示情報が該各画面フレームにおける該追加オブジェクトの表示位置、表示サイズ及び表示姿勢のうちの少なくとも１つを示すことに用いられる。
【0075】
好ましくは、上記第１表示情報が該各画面フレームにおける該目標オブジェクトの目標点のピクセル座標を含み、端末は該各画面フレームにおける該目標オブジェクトの目標点のピクセル座標及び該追加オブジェクトと該目標点との相対位置情報に基づき、該各画面フレームにおける該追加オブジェクトのピクセル座標を取得して、該各画面フレームにおける該追加オブジェクトのピクセル座標を含む該第２表示情報を生成する。
【0076】
本願の実施例では、第１表示情報で示される位置情報は該各画面フレームにおける目標オブジェクトの目標点のピクセル座標であってもよく、目標点はユーザーの上記トリガーコントロールに対するドラッグ操作の終了位置の目標オブジェクトでの位置点であってもよく、例えば、ユーザーが参照画面フレームにおいてトリガーコントロールを人物Ａの鼻の先までドラッグする場合、該人物Ａを含む各画面フレームの目標点が画面フレームにおける人物Ａの鼻の先の位置する位置点であることに対応して、生成された第１表示情報にも各画面フレームにおける人物Ａの鼻の先の位置する位置点のピクセル座標が含まれる。端末は後続に各画面フレームにおける人物Ａの鼻の先の位置する位置点のピクセル座標及び追加オブジェクトと目標点との相対位置情報に基づき、各画面フレームにおける追加オブジェクトのピクセル座標を取得する。
【0077】
好ましくは、端末は参照画面フレームにおけるプレビュー図の表示位置を取得して、該参照画面フレームにおける該プレビュー図の表示位置及び該参照画面フレームにおける該ドラッグ操作の終了位置に基づき、該追加オブジェクトと該目標点との相対位置情報を取得する。
【0078】
例えば、図５では、追加オブジェクトの参照画面フレームにおけるプレビュー図の表示位置の左下が目標点（すなわち、ドラッグ後のトリガーコントロールの位置する位置点）と重なる場合、追加オブジェクトと該目標点との相対位置情報は目標点が追加オブジェクトの左下と重なることであってもよい。
【0079】
好ましくは、第１表示情報が該各画面フレームにおける該目標オブジェクトの表示サイズを含み、該第１表示情報に基づいて第２表示情報を生成するとき、端末は該各画面フレームにおける該目標オブジェクトの表示サイズ及び該目標オブジェクトの元のサイズに基づき、該各画面フレームにおける該追加オブジェクトの拡大縮小倍率を計算し、該目標オブジェクトの元のサイズが該参照画面フレームにおける該目標オブジェクトの表示サイズであり、該追加オブジェクトの元のサイズ及び該拡大縮小倍率に基づいて該各画面フレームにおける該追加オブジェクトの表示サイズを取得し、該各画面フレームにおける追加オブジェクトの表示サイズを含む該第２表示情報を生成する。
【0080】
本願の実施例では、異なる画面フレームにおける目標オブジェクトの表示サイズが異なる可能性があることに対応して、第２表示情報を生成するとき、追加オブジェクトを異なる画面フレームにおける目標オブジェクトのサイズの変化につれて拡大縮小させるよう、端末は各画面フレームにおける目標オブジェクトの表示サイズと目標オブジェクトの元のサイズとの倍数関係（すなわち、上記拡大縮小倍率）に基づき、追加オブジェクトの元のサイズと組み合わせて、各異なる画面フレームにおける追加オブジェクトの表示サイズを決定してもよい。
【0081】
好ましくは、該第１表示情報が該各画面フレームにおける該目標オブジェクトの表示位置及び表示姿勢を含み、該第１表示情報に基づいて第２表示情報を生成するとき、端末は該各画面フレームにおける該目標オブジェクトの表示位置及び表示姿勢並びに該追加オブジェクトと該目標点との相対位置情報に基づき、該各画面フレームにおける該追加オブジェクトの表示位置及び表示姿勢を取得し、該各画面フレームにおける該追加オブジェクトの表示位置及び表示姿勢を含む該第２表示情報を生成する。
【0082】
本願の実施例では、異なる画面フレームにおける目標オブジェクトの位置及び姿勢が異なる可能性があることに対応して、第２表示情報を生成するとき、追加オブジェクトの位置及び姿勢を異なる画面フレームにおける目標オブジェクトの位置及び姿勢に追従して変化（例えば、偏移）させるよう、端末は各画面フレームにおける目標オブジェクトの位置及び姿勢に基づき、各異なる画面フレームにおける追加オブジェクトの位置及び姿勢を決定してもよい。
【0083】
好ましくは、該ビデオにおける各画面フレームにおいて該目標オブジェクトを追跡して、第１表示情報を取得するとき、端末は該参照画面フレームから開始して、再生時間順序及び／又は再生時間順序の逆順序で該各画面フレームにおいて該目標オブジェクトを１フレームずつ追跡して、上記第１表示情報を取得する。
【0084】
本願の実施例では、端末は再生時間順序のみで参照画面フレームから開始して、参照画面フレームの後の画面フレームにおいて目標オブジェクトを追跡してもよく、又は、端末は更に再生時間順序の逆順序で参照画面フレームから開始して、参照画面フレームの前の画面フレームにおいて目標オブジェクトを追跡してもよく、又は、端末は更に再生時間順序及び再生時間順序の逆順序で参照画面フレームから開始して、それぞれ参照画面フレームの前及び後の画面フレームにおいて目標オブジェクトを追跡してもよい。
【0085】
好ましくは、ビデオにおける各画面フレームにおいて目標オブジェクトを追跡するとき、参照画面フレームから開始して、参照画面フレームの前及び／又は後の所定期間内の目標オブジェクトのみを追跡してもよい。例えば、参照画面フレームの後の所定期間内の目標オブジェクトを追跡する場合を例とすれば、可能な実現方式では、端末はデフォルトの追跡時間（例えば、５ｓ）に応じて参照画面フレームに対応する再生時点の後のデフォルトの追跡時間内に再生する画面フレームを決定して、決定された画面フレームのみにおいて目標オブジェクトを追跡してもよく、上記デフォルトの追跡時間は開発者が端末に予め設定されたものであってもよいし、ユーザーが設定したものであってもよい。
【0086】
又は、他の可能な実現方式では、端末は更に参照画面フレームから開始して、再生時間順序で目標オブジェクトを１フレームずつ追跡してもよく、目標オブジェクトを追跡した場合、次の画面フレームにおいて該目標オブジェクトを追跡し続け、ある画面フレームにおいて該目標オブジェクトを追跡できない場合、端末が該目標オブジェクトに対する追跡を停止する。
ステップ３０６において、該ビデオを再生するとき、該第２表示情報に基づき、それぞれ該各画面フレームに該追加オブジェクトを表示する。
ステップ３０６において、該ビデオを再生するとき、該第２表示情報に基づき、それぞれ該各画面フレームに該追加オブジェクトを表示する。
【0087】
オブジェクトを追跡する（すなわち、第１表示情報及び第２表示情報を生成する過程）プロセス及び該各画面フレームに該追加オブジェクトを表示するプロセスは同時に行われる２つのプロセスであってもよい。図１０は本願の実施例に係るオブジェクトを追跡するフローチャートであり、図１０に示すように、追加オブジェクトがステッカーである場合を例とすれば、該オブジェクト追跡プロセスは以下のステップを含む。
【0088】
ステップ１０１において、ステッカーに対応する目標オブジェクトを取得した後、追跡し始める操作（例えば、ユーザーがビデオ再生インターフェースにおけるステッカー以外の他の領域をクリックする）を検出した後に追跡し始め、ビデオ停止時のビデオフレーム画像Ａを取得し、ステッカーの位置する領域Ｂを追跡し、画像Ａ及び領域Ｂに基づいて追跡オブジェクト（順方向に同時に追跡できるよう、２つの追跡オブジェクトを含む）を初期化すると同時に、現在のビデオのタイムスタンプＣ及びビデオ時間Ｄを取得する。
【0089】
ステップ１０２において、２つのスレッドを開始し、タイムスタンプＣでビデオを同時に順方向／逆方向に復号し、一方のスレッドがタイムスタンプＣから０時刻まで復号し、他方のスレッドがタイムスタンプＣからビデオ時間Ｄまで復号する。
【0090】
ステップ１０３において、２つのスレッドがビデオを復号して、１フレームのフレーム画像及び対応するタイムスタンプを取得することとなり、端末が各フレームの画像を追跡オブジェクトに送って追跡処理を行う。
【0091】
ステップ１０４において、追跡処理によって２種類の結果が得られることとなり、画像において目標オブジェクトを追跡した場合、中心点及び拡大縮小値を取得することとなり、前フレームのオブジェクトに対応するタイムスタンプを押して、ステッカーが表示可能であるとマーキングして、辞書に保存する。
ステップ１０５において、追跡できない場合、同様にタイムスタンプを押して、ステッカーが表示不可能であるとマーキングして、辞書に保存する。
ステップ１０５において、追跡できない場合、同様にタイムスタンプを押して、ステッカーが表示不可能であるとマーキングして、辞書に保存する。
【0092】
追跡が完了した後、端末はタイムスタンプｋｅｙ且つ追跡データｖａｌｕｅの辞書を取得し、追跡データは目標オブジェクトを追跡したかどうかを示す情報（ステッカーが対応するタイムスタンプに表示されるかどうかを制御することに用いられる）を含み、更に中心点及び拡大縮小値を含み、該中心点及び拡大縮小値がステッカーの位置及びサイズの変化を制御することに用いられる。ビデオプレビューインターフェースが継続再生し、再生過程において、描画された各フレームにいずれもタイムスタンプがあり、端末はタイムスタンプに基づき、辞書には該タイムスタンプに対応する追跡データがあるかどうかを検索し、ＹＥＳの場合、これらの追跡データに基づいてステッカーの属性を変化させると同時に、動的ステッカーもタイムスタンプに基づいて表示中の画像を変化させる。プレビュー時、ステッカーとビデオとが分離した２つのｖｉｅｗであり、このように、ステッカーを絶えず処理し、ビデオを生成して表示する際にビデオ画面とステッカーとを合成し、合成時にビデオにおける各フレームにいずれもタイムスタンプがあり、端末はこのタイムスタンプに基づいてステッカーの情報（位置、サイズ及びステッカー画像）を取得し、変化後のステッカーを生成し、次にビデオフレームと融合する。
【0093】
要するに、本願の実施例の技術案では、端末はビデオ再生インターフェースに１つのトリガーコントロールを予め表示し、ユーザーの該トリガーコントロールに対するアクティブ化操作を検出した場合、ビデオの再生を一時停止してもよく、後続にトリガーコントロールに対するドラッグ操作を再び受信した場合、ドラッグ操作の終了位置に対応する表示オブジェクトを目標オブジェクトとして決定し、後続の再生過程において各画面フレームにおける同様の目標オブジェクトに対応するように追加オブジェクトを表示する。これにより、ビデオ再生過程において追加オブジェクトとビデオ再生画面とがマッチングするように維持する効果を実現する。
【0094】
なお、本願の実施例の技術案では、トリガーコントロールがビデオ再生インターフェースに予め表示されているため、ユーザーはアクティブ化及びドラッグ操作によって追加オブジェクトを現在のインターフェースに追加してもよく、それにより追加オブジェクトを追加表示する効率を向上させる。
【0095】
本技術案では、主にステッカー（すなわち、追加表示オブジェクト）に追従する機能及び相互作用に対して設計するとともに、物体の追跡精度の面でより高いレベルを維持している。機能の面で、本技術案は静的ステッカー及び動的ステッカーの追跡をサポートし、且つビデオ全体における目標を追跡することができ、相互作用の面で、ユーザーはネイル（すなわち、追加表示オブジェクトに対応するタッチコンポーネント）をクリックして画面を停止させてもよく、このとき、ステッカーをドラッグして目標位置を定め、任意の領域をクリックした後に追跡を処理し始め、処理を完了した後に継続再生し、再生過程において追跡データに基づいてステッカーの属性を変化させる。
【0096】
動的ステッカーのリソースはアニメイテッドポータブルネットワーク グラフィックス（ＡＰＮＧ：Ａｎｉｍａｔｅｄ Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）のフォーマットファイルを用いてもよく、動的ステッカーを追加した後、端末はＡＰＮＧファイルを復号し、次にタイムスタンプに基づいて対応する画面フレームに描画し、ビデオ描画時のタイムスタンプに基づいてＡＰＮＧに対応する画像を見つける。ＡＰＮＧはＰＮＧのビットマップアニメーション拡張であり、ＰＮＧフォーマットの動的画像効果を実現することができる。
【0097】
上記図３に示される実施例の技術案はショートビデオを撮影した後にステッカー遊び方を追加するシーンに適用されてもよい。つまり、撮影後に静的又は動的ステッカーを追加して、必要に応じて追跡目標を選択し、次に密着追従モードで追跡してもよい。
上記密着追従モードはステッカー追加オブジェクトが各画面フレームにおいて目標オブジェクトに密着して表示されるモードを指す。
上記密着追従モードはステッカー追加オブジェクトが各画面フレームにおいて目標オブジェクトに密着して表示されるモードを指す。
【0098】
追加オブジェクトがステッカーである場合を例とすれば、図１１は本願の例示的な実施例に係る密着追従モードの操作模式図である。図１１に示すように、ステッカーの密着追従モードにおける使用方式は主に以下のステップを含む。
【0099】
１、ビデオ（例えば、撮影ビデオ）を取得した後に自動的にビデオ編集インターフェースに入り、編集欄に１つのステッカー（静的又は動的）を追加する。
２、編集すべきステッカーをクリックして編集状態に入り、編集ブロックが出現する。
３、ビデオ再生過程において、選択すべき追跡目標がある場合、ユーザーは編集ブロック左下のネイルボタン（すなわち、トリガーコントロール）をクリックすると、ビデオプレビューインターフェースが再生を停止すると同時に、追跡操作過程に直観的に表示するよう、ステッカー下方に透明な灰色マスク層が出現することとなる。
４、ユーザーがステッカーをドラッグして正確に測位し、次にステッカー以外の他の領域をクリックする。
５、プレビューインターフェースにｌｏａｄｉｎｇ状態が出現することとなり、追跡処理を行い、処理を完了した後にビデオの再生が再開され、選択中のステッカーも追跡データに基づいて位置及びサイズの変化を行うこととなる。
２、編集すべきステッカーをクリックして編集状態に入り、編集ブロックが出現する。
３、ビデオ再生過程において、選択すべき追跡目標がある場合、ユーザーは編集ブロック左下のネイルボタン（すなわち、トリガーコントロール）をクリックすると、ビデオプレビューインターフェースが再生を停止すると同時に、追跡操作過程に直観的に表示するよう、ステッカー下方に透明な灰色マスク層が出現することとなる。
４、ユーザーがステッカーをドラッグして正確に測位し、次にステッカー以外の他の領域をクリックする。
５、プレビューインターフェースにｌｏａｄｉｎｇ状態が出現することとなり、追跡処理を行い、処理を完了した後にビデオの再生が再開され、選択中のステッカーも追跡データに基づいて位置及びサイズの変化を行うこととなる。
【0100】
ステッカーの密着追従モードは実際の使用過程において顔を選択し、顔を遮る役割を果たし、且つ動的ステッカーによって娯楽化されたビデオ画面を作り、顔を遮る以外に、他のシーン、例えば物体を遮る等に使用されてもよい。
【0101】
図１２は本願の例示的な実施例に係る他の密着追従モードの操作模式図であり、図１２に示すように、ビデオ再生過程において、画面上位層に１つのネイルのアイコン（すなわち、トリガーコントロール）及びステッカーを表示する。ユーザーがネイルをクリックすると、ビデオの再生が一時停止し、このとき、画面が停止する。画面が停止した後、ステッカーが追従する目標（すなわち、図１２における人物の頭）を選択するよう、ユーザーは停止した画面においてステッカーをドラッグしてもよい。ユーザーが停止した画面におけるステッカーとネイルとを除く他の領域をクリックすると、ビデオの再生が再開され、且つステッカーが選択された目標（人物の頭）に追従して運動し始める。
【0102】
上記図３に示される実施例の技術案は更にショートビデオを撮影した後にステッカー遊び方を追加するシーンに適用されてもよい。つまり、撮影後に静的又は動的ステッカーを追加して、必要に応じて追跡目標を選択し、次にカイトモードにおける追跡を行ってもよい。
【0103】
カイトモードはステッカーが目標オブジェクトに追従して一緒に移動変化するが、目標オブジェクトを遮ることがないモードを意味し、密着追従モードは厳格的にはカイトモードにおける１つの特別なシーンにまとめられてもよく、測位追跡目標領域がステッカーそのものの位置する領域であるが、カイトモードにおける選択中の領域が随意にドラッグされてもよく、ステッカーが選択中の領域の相対位置情報に基づいて位置及びサイズを適切に変化させるだけであり、図１３は本願の例示的な実施例に係るカイトモードの操作模式図である。図１３に示すように、カイトモードは以下のとおりである。
【0104】
１、ビデオ（例えば、撮影されたビデオ）を取得した後に自動的にビデオ編集インターフェースに入り、編集欄に１つのステッカー（静的又は動的）を追加する。
２、編集すべきステッカーをクリックして編集状態に入り、編集ブロックが出現する。
３、ビデオ再生過程において、選択すべき追跡目標がある場合、ユーザーは編集ブロック左下のネイルボタン（すなわち、トリガーコントロール）をクリックしてもよく、ビデオプレビューインターフェースが再生を停止すると同時に、追跡操作過程に直観的に表示するよう、ステッカー下方に透明な灰色マスク層が出現することとなる。
４、ユーザーがネイルをドラッグすると、ネイルが選択状態でステッカーから独立したままドラッグされ、追跡すべき目標の上方にドラッグされると同時に、ステッカーをドラッグして正確に測位し、端末がステッカーとネイルとの相対位置を処理し、次にユーザーがステッカー以外の他の領域をクリックする。
５、プレビューインターフェースにｌｏａｄｉｎｇ状態が出現することとなり、追跡処理を行い、処理を完了した後にビデオの再生が再開され、選択中のステッカーも追跡データに基づいて位置及びサイズを変化させることとなる。
２、編集すべきステッカーをクリックして編集状態に入り、編集ブロックが出現する。
３、ビデオ再生過程において、選択すべき追跡目標がある場合、ユーザーは編集ブロック左下のネイルボタン（すなわち、トリガーコントロール）をクリックしてもよく、ビデオプレビューインターフェースが再生を停止すると同時に、追跡操作過程に直観的に表示するよう、ステッカー下方に透明な灰色マスク層が出現することとなる。
４、ユーザーがネイルをドラッグすると、ネイルが選択状態でステッカーから独立したままドラッグされ、追跡すべき目標の上方にドラッグされると同時に、ステッカーをドラッグして正確に測位し、端末がステッカーとネイルとの相対位置を処理し、次にユーザーがステッカー以外の他の領域をクリックする。
５、プレビューインターフェースにｌｏａｄｉｎｇ状態が出現することとなり、追跡処理を行い、処理を完了した後にビデオの再生が再開され、選択中のステッカーも追跡データに基づいて位置及びサイズを変化させることとなる。
【0105】
ステッカーのカイトモードは使用シーンにおいて、１つの動的ステッカーが追跡目標、例えば建物を追跡する目標に基づくように選択してもよく、このとき、建物等をマーキングするよう、ステッカーが地理位置の識別子として表示される。
【0106】
図１４は本願の例示的な実施例に係る他のカイトモードの操作模式図であり、図１４に示すように、ビデオ再生過程において、画面上位層に１つのネイルのアイコン（すなわち、トリガーコントロール）及びステッカーを表示する。図１２と異なるのは、図１４に示されるモードにおいて、画面が停止した場合、ユーザーがネイルを押さえると、該ネイルがステッカーから離れてユーザーにドラッグされることが可能であり、ユーザーがステッカーに対応する目標を選択するようにネイルをドラッグするとき、ネイルとステッカーとの相対位置関係を示すよう、ネイルとステッカーとの間に１本の接続線を表示してもよいということである。ユーザーはドラッグを完了して指を離すと、ネイルが点滅するアニメーション形式で表示され、ユーザーが停止した画面におけるステッカーとネイルとを除く他の領域をクリックした後、ビデオの再生が再開され、且つステッカーが選択された目標に追従してカイトと類似の形式で運動し始める。
【0107】
本願の技術案はビデオ編集段階に追加オブジェクトを追加表示する効率がより低いという問題を解決することを目的とし、ユーザーに２種類の追跡モード（密着追従モード及びカイトモード）を提供することができ、フレンドリーな操作を提供することにより追跡目標を正確に選択することができ、ショートビデオにおけるどのタイムスタンプで追跡目標を選択したかにかかわらず、いずれもショートビデオ全体を追跡することとなる。動的ステッカーの追跡能力をサポートし、娯楽性を向上させるように確保するとともに、追跡精度も確保すべきである。
【0108】
図１５は例示的な実施例に係る追加オブジェクトの表示装置のブロック図である。図１又は図３のいずれか１つの実施例に示される方法の全部又は一部のステップを実行するよう、該バーチャルオブジェクト制御装置は端末に適用されてもよい。該追加オブジェクトの表示装置は、
【0109】
ビデオ再生インターフェースにトリガーコントロールを表示することに用いられるコントロール表示モジュール１５０１であって、前記ビデオ再生インターフェースがビデオを再生することに用いられる、コントロール表示モジュール１５０１と、
【0110】
前記ビデオ再生インターフェースに参照画面フレームを表示するよう、前記トリガーコントロールに対するアクティブ化操作に応答して、前記ビデオの再生を一時停止することに用いられる一時停止モジュール１５０２であって、前記参照画面フレームが前記ビデオにおける一時停止時点での画面フレームである、一時停止モジュール１５０２と、
【0111】
前記トリガーコントロールに対するドラッグ操作に応答して、目標オブジェクトを取得することに用いられるオブジェクト取得モジュール１５０３であって、前記目標オブジェクトが前記参照画面フレームにおける前記ドラッグ操作の終了位置での表示オブジェクトである、オブジェクト取得モジュール１５０３と、
【0112】
前記ビデオを再生するとき、前記目標オブジェクトに対応するように前記トリガーコントロールに対応する追加オブジェクトを前記ビデオの画面フレームに表示することに用いられるオブジェクト表示モジュール１５０４と、を備えてもよい。
【0113】
好ましくは、前記装置は、更に、前記オブジェクト表示モジュール１５０４が前記目標オブジェクトに対応するように前記トリガーコントロールに対応する追加オブジェクトを前記ビデオに表示する前に、前記ビデオにおける各画面フレームにおいて前記目標オブジェクトを追跡して、第１表示情報を取得することに用いられる追跡モジュールであって、前記第１表示情報が前記各画面フレームにおける前記目標オブジェクトの表示位置、表示サイズ及び表示姿勢のうちの少なくとも１つを示すことに用いられる、追跡モジュールと、
前記第１表示情報に基づいて第２表示情報を生成することに用いられる情報生成モジュールであって、前記第２表示情報が前記各画面フレームにおける前記追加オブジェクトの表示位置、表示サイズ及び表示姿勢のうちの少なくとも１つを示すことに用いられる、情報生成モジュールと、
具体的に、前記ビデオを再生するとき、前記第２表示情報に基づき、それぞれ前記各画面フレームに前記追加オブジェクトを表示することに用いられる前記オブジェクト表示モジュール１５０４と、を備える。
前記第１表示情報に基づいて第２表示情報を生成することに用いられる情報生成モジュールであって、前記第２表示情報が前記各画面フレームにおける前記追加オブジェクトの表示位置、表示サイズ及び表示姿勢のうちの少なくとも１つを示すことに用いられる、情報生成モジュールと、
具体的に、前記ビデオを再生するとき、前記第２表示情報に基づき、それぞれ前記各画面フレームに前記追加オブジェクトを表示することに用いられる前記オブジェクト表示モジュール１５０４と、を備える。
【0114】
好ましくは、前記第１表示情報が前記各画面フレームにおける前記目標オブジェクトの目標点のピクセル座標を含み、前記目標点が前記目標オブジェクトにおける前記ドラッグ操作の終了位置に対応する位置点であり、前記情報生成モジュールは、具体的に、
前記各画面フレームにおける前記目標オブジェクトの目標点のピクセル座標及び前記追加オブジェクトと前記目標点との相対位置情報に基づき、前記各画面フレームにおける前記追加オブジェクトのピクセル座標を取得することと、
前記各画面フレームにおける前記追加オブジェクトのピクセル座標を含む前記第２表示情報を生成することと、に用いられる。
好ましくは、前記装置は、更に、前記ビデオ再生インターフェースに前記追加オブジェクトのプレビュー図を表示することに用いられるプレビュー図表示モジュールと、
前記参照画面フレームにおける前記プレビュー図の表示位置を取得することに用いられる表示位置取得モジュールと、
前記参照画面フレームにおける前記プレビュー図の表示位置及び前記参照画面フレームにおける前記ドラッグ操作の終了位置に基づき、前記追加オブジェクトと前記目標点との相対位置情報を取得することに用いられる相対位置取得モジュールと、を備える。
前記各画面フレームにおける前記目標オブジェクトの目標点のピクセル座標及び前記追加オブジェクトと前記目標点との相対位置情報に基づき、前記各画面フレームにおける前記追加オブジェクトのピクセル座標を取得することと、
前記各画面フレームにおける前記追加オブジェクトのピクセル座標を含む前記第２表示情報を生成することと、に用いられる。
好ましくは、前記装置は、更に、前記ビデオ再生インターフェースに前記追加オブジェクトのプレビュー図を表示することに用いられるプレビュー図表示モジュールと、
前記参照画面フレームにおける前記プレビュー図の表示位置を取得することに用いられる表示位置取得モジュールと、
前記参照画面フレームにおける前記プレビュー図の表示位置及び前記参照画面フレームにおける前記ドラッグ操作の終了位置に基づき、前記追加オブジェクトと前記目標点との相対位置情報を取得することに用いられる相対位置取得モジュールと、を備える。
【0115】
好ましくは、前記装置は、更に、前記追加オブジェクトのプレビュー図に対するドラッグ操作に応答して、前記ビデオ再生インターフェースにおける前記追加オブジェクトのプレビュー図の位置を移動させることに用いられる移動モジュールを備える。
【0116】
好ましくは、前記第１表示情報が前記各画面フレームにおける前記目標オブジェクトの表示サイズを含み、前記情報生成モジュールは、具体的に、
前記各画面フレームにおける前記目標オブジェクトの表示サイズ及び前記目標オブジェクトの元のサイズに基づき、前記各画面フレームにおける前記追加オブジェクトの拡大縮小倍率を計算し、前記目標オブジェクトの元のサイズが前記参照画面フレームにおける前記目標オブジェクトの表示サイズであることと、
前記追加オブジェクトの元のサイズ及び前記拡大縮小倍率に基づいて前記各画面フレームにおける前記追加オブジェクトの表示サイズを取得することと、
前記各画面フレームにおける前記追加オブジェクトの表示サイズを含む前記第２表示情報を生成することと、に用いられる。
前記各画面フレームにおける前記目標オブジェクトの表示サイズ及び前記目標オブジェクトの元のサイズに基づき、前記各画面フレームにおける前記追加オブジェクトの拡大縮小倍率を計算し、前記目標オブジェクトの元のサイズが前記参照画面フレームにおける前記目標オブジェクトの表示サイズであることと、
前記追加オブジェクトの元のサイズ及び前記拡大縮小倍率に基づいて前記各画面フレームにおける前記追加オブジェクトの表示サイズを取得することと、
前記各画面フレームにおける前記追加オブジェクトの表示サイズを含む前記第２表示情報を生成することと、に用いられる。
【0117】
好ましくは、前記第１表示情報が前記各画面フレームにおける前記目標オブジェクトの表示位置及び表示姿勢を含み、前記情報生成モジュールは、具体的に、
前記各画面フレームにおける前記目標オブジェクトの表示位置及び表示姿勢並びに前記追加オブジェクトと前記目標点との相対位置情報に基づき、前記各画面フレームにおける前記追加オブジェクトの表示位置及び表示姿勢を取得することと、
前記各画面フレームにおける前記追加オブジェクトの表示位置及び表示姿勢を含む前記第２表示情報を生成することと、に用いられる。
前記各画面フレームにおける前記目標オブジェクトの表示位置及び表示姿勢並びに前記追加オブジェクトと前記目標点との相対位置情報に基づき、前記各画面フレームにおける前記追加オブジェクトの表示位置及び表示姿勢を取得することと、
前記各画面フレームにおける前記追加オブジェクトの表示位置及び表示姿勢を含む前記第２表示情報を生成することと、に用いられる。
【0118】
好ましくは、前記追跡モジュールは、具体的に、前記参照画面フレームから開始して、再生時間順序及び／又は再生時間順序の逆順序で前記各画面フレームにおいて前記目標オブジェクトを１フレームずつ追跡して、前記第１表示情報を取得することに用いられる。
【0119】
好ましくは、前記追跡モジュールは、具体的に、変形可能オブジェクト追跡の静的適応対応クラスタリング（ＣＭＴ）アルゴリズムによって前記ビデオにおける各画面フレームにおいて前記目標オブジェクトを追跡して、前記第１表示情報を取得することに用いられる。
【0120】
好ましくは、前記装置は、更に、前記トリガーコントロールに対応して、前記ビデオ再生インターフェースにスイッチコントロールを表示することに用いられるスイッチコントロール表示モジュールと、
前記スイッチコントロールに対するアクティブ化操作に応答して、追加オブジェクト選択インターフェースを表示することに用いられる選択インターフェース表示モジュールであって、前記追加オブジェクト選択インターフェースに少なくとも２つの候補オブジェクトが含まれる、選択インターフェース表示モジュールと、
前記追加オブジェクト選択インターフェースでの選択操作に応答して、前記選択操作に対応する候補オブジェクトを前記トリガーコントロールに対応する新しい追加オブジェクトとして取得することに用いられる追加オブジェクト取得モジュールと、を備える。
好ましくは、前記追加オブジェクトが静的表示オブジェクトであり、又は、前記追加オブジェクトが動的表示オブジェクトである。
前記スイッチコントロールに対するアクティブ化操作に応答して、追加オブジェクト選択インターフェースを表示することに用いられる選択インターフェース表示モジュールであって、前記追加オブジェクト選択インターフェースに少なくとも２つの候補オブジェクトが含まれる、選択インターフェース表示モジュールと、
前記追加オブジェクト選択インターフェースでの選択操作に応答して、前記選択操作に対応する候補オブジェクトを前記トリガーコントロールに対応する新しい追加オブジェクトとして取得することに用いられる追加オブジェクト取得モジュールと、を備える。
好ましくは、前記追加オブジェクトが静的表示オブジェクトであり、又は、前記追加オブジェクトが動的表示オブジェクトである。
【0121】
図１６は本願の例示的な実施例に係る端末１６００のブロック図である。該端末１６００はスマートフォン、タブレットコンピュータ、ＭＰ３プレーヤー（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ、動画専門家集団圧縮規格オーディオレイヤ３）、ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ、動画専門家集団圧縮規格オーディオレイヤ４）プレーヤー、ノートパソコン又はデスクトップパソコンであってもよい。端末１６００は更にユーザー装置、携帯式端末、ラップトップ端末、デスクトップ端末等の他の名称と呼ばれる可能性がある。
【0122】
一般的に、端末１６００はプロセッサ１６０１及びメモリ１６０２を備える。
プロセッサ１６０１は１つ又は複数の処理コア、例えば４コアプロセッサ、８コアプロセッサ等を含んでもよい。プロセッサ１６０１はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、デジタル信号処理）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、フィールドプログラマブルゲートアレイ）、ＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ、プログラマブルロジックアレイ）のうちの少なくとも１つのハードウェア形式で実現されてもよい。プロセッサ１６０１は更にメインプロセッサ及びコプロセッサを含んでもよく、メインプロセッサはウェイクアップ状態におけるデータを処理するためのプロセッサであって、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）とも称されるが、コプロセッサは待機状態におけるデータを処理するための低消費電力プロセッサである。いくつかの実施例では、プロセッサ１６０１はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、グラフィックス処理ユニット）に統合されてもよく、ＧＰＵはディスプレイに表示すべき内容の描画及びレンダリングを担うことに用いられる。いくつかの実施例では、プロセッサ１６０１は更にＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）プロセッサを含んでもよく、該ＡＩプロセッサは機械学習に関連する計算操作を処理することに用いられる。
プロセッサ１６０１は１つ又は複数の処理コア、例えば４コアプロセッサ、８コアプロセッサ等を含んでもよい。プロセッサ１６０１はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、デジタル信号処理）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、フィールドプログラマブルゲートアレイ）、ＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ、プログラマブルロジックアレイ）のうちの少なくとも１つのハードウェア形式で実現されてもよい。プロセッサ１６０１は更にメインプロセッサ及びコプロセッサを含んでもよく、メインプロセッサはウェイクアップ状態におけるデータを処理するためのプロセッサであって、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）とも称されるが、コプロセッサは待機状態におけるデータを処理するための低消費電力プロセッサである。いくつかの実施例では、プロセッサ１６０１はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、グラフィックス処理ユニット）に統合されてもよく、ＧＰＵはディスプレイに表示すべき内容の描画及びレンダリングを担うことに用いられる。いくつかの実施例では、プロセッサ１６０１は更にＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）プロセッサを含んでもよく、該ＡＩプロセッサは機械学習に関連する計算操作を処理することに用いられる。
【0123】
メモリ１６０２は１つ又は複数のコンピュータ可読記憶媒体を含んでもよく、該コンピュータ可読記憶媒体は非一時的なものであってもよい。メモリ１６０２は更に高速ランダムアクセスメモリと、不揮発性メモリ例えば１つ又は複数のディスクストレージデバイス、フラッシュストレージデバイスとを含んでもよい。いくつかの実施例では、メモリ１６０２の非一時的コンピュータ可読記憶媒体は少なくとも１つの命令を記憶することに用いられ、本願の方法実施例に係る追加オブジェクトの表示方法を実現するよう、該少なくとも１つの命令がプロセッサ１６０１により実行される。
【0124】
いくつかの実施例では、端末１６００は更に周辺装置インターフェース１６０３及び少なくとも１つの周辺装置を含むことが好ましい。プロセッサ１６０１、メモリ１６０２及び周辺装置インターフェース１６０３がバス又は信号線によって接続されてもよい。各周辺装置がバス、信号線又は回路基板によって周辺装置インターフェース１６０３に接続されてもよい。具体的に、周辺装置は無線周波数回路１６０４、タッチスクリーン１６０５、カメラ１６０６、オーディオ回路１６０７、測位コンポーネント１６０８及び電源１６０９のうちの少なくとも１つを含む。
【0125】
周辺装置インターフェース１６０３はＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、入力／出力）に関連する少なくとも１つの周辺装置をプロセッサ１６０１及びメモリ１６０２に接続することに用いられてもよい。いくつかの実施例では、プロセッサ１６０１、メモリ１６０２及び周辺装置インターフェース１６０３が同じチップ又は回路基板に統合され、他のいくつかの実施例では、プロセッサ１６０１、メモリ１６０２及び周辺装置インターフェース１６０３のうちのいずれか１つ又は２つがチップ又は回路基板において独立して実現されてもよく、本実施例は制限しない。
【0126】
無線周波数回路１６０４は電磁信号とも称されるＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、無線周波数）信号を送受信することに用いられる。無線周波数回路１６０４が電磁信号によって通信ネットワーク及び他の通信装置と通信する。無線周波数回路１６０４が電気信号を電磁信号に変換して送信し、又は、受信された電磁信号を電気信号に変換する。好ましくは、無線周波数回路１６０４はアンテナシステム、ＲＦ送受信機、１つ又は複数の増幅器、チューナー、発振器、デジタル信号プロセッサ、符号復号チップセット、加入者識別モジュールカード等を含む。無線周波数回路１６０４が少なくとも１種類の無線通信プロトコルによって他の端末と通信する。該無線通信プロトコルはワールドワイドウェブ、メトロポリタンエリアネットワーク、イントラネット、各世代の移動通信ネットワーク（２Ｇ、３Ｇ、４Ｇ及び５Ｇ）、無線ローカルエリヤネットワーク及び／又はＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ、ワイヤレスフィデリティ）ネットワークを含むが、それらに限らない。いくつかの実施例では、無線周波数回路１６０４は更にＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ、近距離無線通信）に関連する回路を含んでもよく、本願は制限しない。
【0127】
ディスプレイ１６０５はＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ユーザーインターフェース）を表示することに用いられる。該ＵＩは図形、テキスト、アイコン、ビデオ及びそれらの任意の組み合わせを含んでもよい。ディスプレイ１６０５がタッチスクリーンである場合、ディスプレイ１６０５は更にディスプレイ１６０５の表面又は表面上方でのタッチ信号を収集する能力を有する。該タッチ信号は制御信号としてプロセッサ１６０１に入力して処理されてもよい。このとき、ディスプレイ１６０５は更にソフトボタン及び／又はソフトキーボードとも称されるバーチャルボタン及び／又はバーチャルキーボードを提供することに用いられる。いくつかの実施例では、ディスプレイ１６０５は１つであってもよく、端末１６００のフロントパネルに設置され、他のいくつかの実施例では、ディスプレイ１６０５は少なくとも２つであってもよく、それぞれ端末１６００の異なる表面に設置され又は折り畳み設計され、別のいくつかの実施例では、ディスプレイ１６０５はフレキシブルディスプレイであってもよく、端末１６００の湾曲表面又は折り畳み面に設置される。ひいては、ディスプレイ１６０５は更に矩形ではない不規則な図形、すなわち異形スクリーンに設置されてもよい。ディスプレイ１６０５はＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、有機発光ダイオード）等の材質で製造されてもよい。
【0128】
カメラコンポーネント１６０６は画像又はビデオを収集することに用いられる。好ましくは、カメラコンポーネント１６０６は前置カメラ及び後置カメラを含む。一般的に、前置カメラが端末のフロントパネルに設置されるが、後置カメラが端末の背面に設置される。いくつかの実施例では、主カメラ及び被写界深度カメラの融合による背景ボケ機能、主カメラ及び広角カメラの融合によるパノラマ撮影及びＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）撮影機能又は他の融合撮影機能を実現するよう、後置カメラは少なくとも２つであり、それぞれ主カメラ、被写界深度カメラ、広角カメラ、望遠カメラのうちのいずれか１つである。いくつかの実施例では、カメラコンポーネント１６０６は更にフラッシュを含んでもよい。フラッシュはモノクロ温度フラッシュであってもよいし、デュアル色温度フラッシュであってもよい。デュアル色温度フラッシュは暖光フラッシュ及び冷光フラッシュの組み合わせを指し、異なる色温度における光補償に使用されてもよい。
【0129】
オーディオ回路１６０７はマイクロフォン及び拡声器を含んでもよい。マイクロフォンはユーザー及び環境の音波を収集して、音波を電気信号に変換してプロセッサ１６０１に入力して処理し、又は音声通信を実現するように無線周波数回路１６０４に入力することに用いられる。ステレオ収集又は騒音低減のため、マイクロフォンは複数であってもよく、それぞれ端末１６００の異なる箇所に設置される。マイクロフォンは更にアレイマイクロフォン又は全方向収集型のマイクロフォンであってもよい。拡声器はプロセッサ１６０１又は無線周波数回路１６０４からの電気信号を音波に変換することに用いられる。拡声器は従来の薄膜拡声器であってもよいし、圧電セラミック拡声器であってもよい。拡声器が圧電セラミック拡声器である場合、距離測定等の用途に使用されるよう、電気信号を人間の聞こえる音波に変換することができるだけでなく、電気信号を人間の聞こえない音波に変換することもできる。いくつかの実施例では、オーディオ回路１６０７は更にヘッドホンジャックを含んでもよい。
【0130】
ナビゲーション又はＬＢＳ（Ｌｏｃａｔｉｏｎ Ｂａｓｅｄ Ｓｅｒｖｉｃｅ、位置情報サービス）を実現するよう、測位コンポーネント１６０８は端末１６００の現在の地理位置を測位することに用いられる。測位コンポーネント１６０８は米国のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、全地球測位システム）、中国の北斗システム又はロシアのガリレオシステムに基づく測位コンポーネントであってもよい。
【0131】
電源１６０９は端末１６００の各コンポーネントに給電することに用いられる。電源１６０９は交流電流、直流電流、一次電池又は可充電電池であってもよい。電源１６０９が可充電電池を含む場合、該可充電電池は有線充電電池又はインダクティブ充電電池であってもよい。有線充電電池は有線回線により充電される電池であるが、インダクティブ充電電池はワイヤレスコイルにより充電される電池である。該可充電電池は更に急速充電技術をサポートすることに用いられてもよい。
【0132】
いくつかの実施例では、端末１６００は更に１つ又は複数のセンサ１６１０を備える。該１つ又は複数のセンサ１６１０は加速度センサ１６１１、ジャイロセンサ１６１２、圧力センサ１６１３、指紋センサ１６１４、光センサ１６１５及び近接センサ１６１６を含むが、それらに限らない。
【0133】
加速度センサ１６１１は端末１６００の確立した座標系の３つの座標軸における加速度サイズを検出してもよい。例えば、加速度センサ１６１１は３つの座標軸での重力加速度の成分を検出することに用いられてもよい。プロセッサ１６０１は加速度センサ１６１１の収集した重力加速度信号に基づき、タッチスクリーン１６０５が水平ビュー又は垂直ビューでユーザーインターフェースの表示を行うように制御してもよい。加速度センサ１６１１は更にゲーム又はユーザーの運動データを収集することに用いられてもよい。
【0134】
ジャイロセンサ１６１２は端末１６００の本体方向及び回転角度を検出することができ、ジャイロセンサ１６１２は加速度センサ１６１１と協働してユーザーの端末１６００に対する３Ｄアクションを収集することができる。プロセッサ１６０１はジャイロセンサ１６１２の収集したデータに基づき、アクションセンシング（例えば、ユーザーの傾斜操作によってＵＩを変化させる）、撮影時の画像の安定化、ゲーム制御及び慣性ナビゲーション機能を実現することができる。
【0135】
圧力センサ１６１３は端末１６００の側枠及び／又はタッチスクリーン１６０５の下位層に設置されてもよい。圧力センサ１６１３が端末１６００の側枠に設置される場合、ユーザーの端末１６００に対する把持信号を検出し、プロセッサ１６０１が圧力センサ１６１３の収集した把持信号に基づいて左手・右手の識別又はショートカット操作を行ってもよい。圧力センサ１６１３がタッチスクリーン１６０５の下位層に設置される場合、プロセッサ１６０１がユーザーのタッチスクリーン１６０５に対する圧力操作によってＵＩインターフェースにおける実行可能なコントロールに対する制御を実現する。実行可能なコントロールはボタンコントロール、スクロールバーコントロール、アイコンコントロール、メニューコントロールのうちの少なくとも１つを含む。
【0136】
指紋センサ１６１４はユーザーの指紋を収集することに用いられ、プロセッサ１６０１が指紋センサ１６１４の収集した指紋に基づいてユーザーの身分を識別し、又は、指紋センサ１６１４が収集された指紋に基づいてユーザーの身分を識別する。ユーザーの身分が信頼できる身分であると識別される場合、プロセッサ１６０１は該ユーザーが関連する敏感な操作を実行することを許可し、該敏感な操作はスクリーンをロック解除する、暗号化された情報を表示する、ソフトウェアをダウンロードする、支払及び設置を変更する等を含む。指紋センサ１６１４は端末１６００の正面、背面又は側面に設置されてもよい。端末１６００に物理ボタン又はメーカーＬｏｇｏが設置される場合、指紋センサ１６１４は物理ボタン又はメーカーＬｏｇｏと一体に統合されてもよい。
【0137】
光センサ１６１５は環境光強度を収集することに用いられる。一実施例では、プロセッサ１６０１は光センサ１６１５の収集した環境光強度に基づき、タッチスクリーン１６０５の表示輝度を制御することができる。具体的に、環境光強度がより高い場合、タッチスクリーン１６０５の表示輝度を高くし、環境光強度がより低い場合、タッチスクリーン１６０５の表示輝度を低くする。他の実施例では、プロセッサ１６０１は更に光センサ１６１５の収集した環境光強度に基づき、カメラコンポーネント１６０６の撮影パラメータを動的に調整してもよい。
【0138】
近接センサ１６１６は距離センサとも称され、一般的に端末１６００のフロントパネルに設置される。近接センサ１６１６はユーザーと端末１６００の正面との間の距離を収集することに用いられる。一実施例では、近接センサ１６１６はユーザーと端末１６００の正面との間の距離が徐々に短くなると検出する場合、プロセッサ１６０１はタッチスクリーン１６０５が画面点灯状態から画面消灯状態に切り替えるように制御し、近接センサ１６１６はユーザーと端末１６００の正面との間の距離が徐々に長くなると検出する場合、プロセッサ１６０１はタッチスクリーン１６０５が画面消灯状態から画面点灯状態に切り替えるように制御する。
【0139】
当業者であれば理解されるように、図１６に示される構造は端末１６００を制限するものではなく、図示より多く又は少ないコンポーネントを備え、又はいくつかのコンポーネントを組み合わせ、又は異なるコンポーネントを用いて配置してもよい。
【0140】
例示的な実施例では、更に命令を含む非一時的コンピュータ可読記憶媒体、例えば少なくとも１つの命令、少なくとも一部のプログラム、コードセット又は命令セットを含むメモリを提供し、上記図１又は図３におけるいずれか１つの実施例の方法の全部又は一部のステップを完了するよう、上記少なくとも１つの命令、少なくとも一部のプログラム、コードセット又は命令セットがプロセッサにより実行されてもよい。例えば、前記非一時的コンピュータ可読記憶媒体はＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク及び光データ記憶装置等であってもよい。
【0141】
当業者が明細書を考慮し及びここで開示される発明を実践した後、本願の他の実施形態に容易に想到し得る。本願は本願のいかなる変形、用途又は適応変化を含むように意図され、これらの変形、用途又は適応変化は本願の一般的な原理に従い本願に開示されていない本技術分野における周知技術又は慣用の技術手段を含むものである。明細書及び実施例は例示的なものであると見なされ、本願の真の範囲及び精神は以下の特許請求の範囲によって示される。
【0142】
理解すべきものは、本願は以上に説明されて図面に示される正確な構造に制限されるものではなく、その範囲を逸脱せずに種々の修正や変更を行うことができる。本願の範囲は単に添付の特許請求の範囲により制限される。
【符号の説明】
【0143】
１６００ 端末
１６０１ プロセッサ
１６０２ メモリ
１６０３ 周辺装置インターフェース
１６０４ 無線周波数回路
１６０５ ディスプレイ
１６０６ カメラコンポーネント
１６０７ オーディオ回路
１６０８ 測位コンポーネント
１６０９ 電源
１６１０ センサ
１６１１ 加速度センサ
１６１２ ジャイロセンサ
１６１３ 圧力センサ
１６１４ 指紋センサ
１６１５ 光センサ
１６１６ 近接センサ
１６０１ プロセッサ
１６０２ メモリ
１６０３ 周辺装置インターフェース
１６０４ 無線周波数回路
１６０５ ディスプレイ
１６０６ カメラコンポーネント
１６０７ オーディオ回路
１６０８ 測位コンポーネント
１６０９ 電源
１６１０ センサ
１６１１ 加速度センサ
１６１２ ジャイロセンサ
１６１３ 圧力センサ
１６１４ 指紋センサ
１６１５ 光センサ
１６１６ 近接センサ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】