特許 7098120 画像処理方法、装置及記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-01

(45)【発行日】2022-07-11

(54)【発明の名称】画像処理方法、装置及記憶媒体

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220704BHJP

   G06T 7/00 20170101ALI20220704BHJP

   G06Q 50/00 20120101ALI20220704BHJP

   G06F 3/0481 20220101ALI20220704BHJP

   G06F 3/01 20060101ALI20220704BHJP

【ＦＩ】

G06T19/00 600

G06T7/00 300F

G06Q50/00 300

G06F3/0481

G06F3/01 510

【請求項の数】 21

(21)【出願番号】P 2020505230

(86)(22)【出願日】2018-08-01

(65)【公表番号】

(43)【公表日】2020-10-01

(86)【国際出願番号】 CN2018097860

(87)【国際公開番号】W WO2019024853

(87)【国際公開日】2019-02-07

【審査請求日】2020-03-27

(31)【優先権主張番号】201710661746.0

(32)【優先日】2017-08-04

(33)【優先権主張国・地域又は機関】CN

【前置審査】

(73)【特許権者】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】林 ▲経▼▲緯▼

(72)【発明者】

【氏名】朱 ▲瑩▼

(72)【発明者】

【氏名】廖 戈▲語▼

【審査官】板垣 有紀

(56)【参考文献】

【文献】中国特許出願公開第１０６２９５５０４（ＣＮ，Ａ）

【文献】特開２０１５－０９５０３１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／００３３６１１（ＵＳ，Ａ１）

【文献】特表２０１４－５３２３３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｑ ５０／００

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

画像処理装置に適用される画像処理方法であって、
取得した画像データから、環境における実オブジェクトの特徴を認識することと、
前記実オブジェクトの特徴でソーシャルネットワークを照会し、前記実オブジェクトが前記ソーシャルネットワークの属性を有するかを決定することであって、
前記実オブジェクトの特徴で前記ソーシャルネットワークの特徴データベースを照会することと、
前記実オブジェクトが前記ソーシャルネットワークの登録ユーザの特徴とマッチングする場合に、前記実オブジェクトが前記ソーシャルネットワークの登録ユーザ属性を有すると決定することと、
前記実オブジェクトが前記ソーシャルネットワークの被共有オブジェクトの特徴とマッチングする場合に、前記実オブジェクトが前記ソーシャルネットワークの被共有オブジェクト属性を有すると決定することとを含む、ことと、
前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得することと、
取得した画像データに応じて、レンダリングすることと、
レンダリングして形成した画像内の前記実オブジェクトの位置に応じて、前記拡張現実モデルにおける仮想オブジェクトをレンダリングすることで、一緒に表示される前記実オブジェクトと前記仮想オブジェクトとを形成することとを含むことを特徴とする方法。

【請求項2】

前記した取得した画像データから、環境における実オブジェクトの特徴を認識することは、
前記ソーシャルネットワークにおけるピアクライアントが環境をキャプチャして伝送した画像データを受信し、受信した画像データから、ピアクライアントの環境にある実オブジェクトの特徴を認識し、
及び/又は、
環境をキャプチャして画像データを形成し、キャプチャして形成した画像データから、ローカルクライアントの環境にある実オブジェクトの特徴を認識することを含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記したキャプチャして形成した画像データから、ローカルクライアントの環境にある実オブジェクトの特徴を認識することは、
前記ソーシャルネットワークにおけるピアクライアントと通信する場合に、ローカルクライアント環境をキャプチャして前記ピアクライアントに伝送するための画像データを形成し、キャプチャされた画像データから、ローカルクライアント環境における実オブジェクトの特徴を認識し、
又は、
前記ローカルクライアントのキャプチャ動作に応答する場合に、ローカルクライアント環境をキャプチャして画像データを形成し、キャプチャされた画像データから、ローカルクライアント環境における実オブジェクトの特徴を認識することを含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得する前に、
認識された実オブジェクトの特徴がソーシャルネットワークの認識できる条件を満足するかを判断することをさらに含み、
前記条件は、
画像特徴点が認識された場合に、認識された画像特徴点の数が特徴点データ量の閾値を超える条件と、
生体特徴が認識された場合に、認識された生体特徴の完全性が完成性閾値を超える条件との少なくとも１つを含むことを特徴とする請求項１に記載の方法。

【請求項5】

前記した前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得することは、
前記実オブジェクトが、前記ソーシャルネットワークにおける登録ユーザである場合に、前記登録ユーザが前記ソーシャルネットワークに予め設置した仮想アイテム、仮想背景、及びフィルターの少なくとも一つを含む仮想オブジェクトを取得し、
前記実オブジェクトが、前記ソーシャルネットワークの被共有オブジェクトの属性を有する場合に、前記ソーシャルネットワークにおける前記被共有オブジェクトに対する仮想オブジェクトを取得し、前記仮想オブジェクトは、前記ソーシャルネットワークにおける前記被共有オブジェクトに対する記事と、前記ソーシャルネットワークにおける前記被共有オブジェクトに対する広告との少なくとも一つを含むことを特徴とする請求項１に記載の方法。

【請求項6】

前記した取得した画像データから、環境における実オブジェクトの特徴を認識することは、
サーバの認識サービスを呼び出し、取得した画像データから、環境における実オブジェクトの特徴を認識し、
又は、
画像認識スレッドを開始し、開始した画像認識スレッドで、取得した画像データを認識し、環境における実オブジェクトの特徴を得ることを含むことを特徴とする請求項１に記載の方法。

【請求項7】

前記したレンダリングして形成した画像内の前記実オブジェクトの位置に応じて、前記拡張現実モデルにおける仮想オブジェクトをレンダリングすることは、
前記画像データ内の前記実オブジェクトのポーズ変化を検出し、
出力された画像内の実オブジェクトの位置に、前記拡張現実モデルにおいて前記ポーズ変化に適応する仮想オブジェクトをレンダリングし出力することを含むことを特徴とする請求項１に記載の方法。

【請求項8】

前記した前記ソーシャルネットワークから前記実オブジェクトに適応する拡張現実モデルを取得することは、 ローカルクライアントで、前記実オブジェクトに適応する拡張現実モデルを照会し、
ローカルクライアントで見つからないと、前記ソーシャルネットワークから、前記実オブジェクトに適応する拡張現実モデルを照会して得ることを含むことを特徴とする請求項１に記載の方法。

【請求項9】

画像処理装置であって、
取得した画像データから、環境における実オブジェクトの特徴を認識するための認識モジュールと、
前記実オブジェクトの特徴で、ソーシャルネットワークを照会し、前記実オブジェクトが前記ソーシャルネットワークの属性を有するかを決定するための照会モジュールであって、前記照会モジュールが、
前記実オブジェクトの特徴で前記ソーシャルネットワークの特徴データベースを照会し、
前記実オブジェクトが前記ソーシャルネットワークの登録ユーザの特徴とマッチングする場合に、前記実オブジェクトが前記ソーシャルネットワークの登録ユーザ属性を有すると決定し、
前記実オブジェクトが前記ソーシャルネットワークの被共有オブジェクトの特徴とマッチングする場合に、前記実オブジェクトが前記ソーシャルネットワークの被共有オブジェクト属性を有すると決定する、照会モジュールと、
前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得するためのモデルモジュールと、
取得した画像データに応じてレンダリングし、レンダリングして形成した画像内の前記実オブジェクトの位置に応じて、前記拡張現実モデルにおける仮想オブジェクトをレンダリングすることで、一緒に表示される前記実オブジェクトと前記仮想オブジェクトとを形成するためのレンダリングモジュールとを含むことを特徴とする装置。

【請求項10】

前記認識モジュールは、具体的に、
前記ソーシャルネットワークにおけるピアクライアントが環境をキャプチャして伝送した画像データを受信し、受信した画像データから、ピアクライアントの環境にある実オブジェクトの特徴を認識し、
及び/又は、
環境をキャプチャして画像データを形成し、キャプチャして形成した画像データから、ローカルクライアントの環境にある実オブジェクトの特徴を認識することを特徴とする請求項９に記載の装置。

【請求項11】

前記認識モジュールは、具体的に、
前記ソーシャルネットワークにおけるピアクライアントと通信する場合に、ローカルクライアント環境をキャプチャして前記ピアクライアントに伝送するための画像データを形成し、キャプチャされた画像データから、ローカルクライアント環境における実オブジェクトの特徴を認識し、
又は、
前記ローカルクライアントのキャプチャ動作に応答する場合に、ローカルクライアント環境をキャプチャして画像データを形成し、キャプチャされた画像データから、ローカルクライアント環境における実オブジェクトの特徴を認識することを特徴とする請求項１０に記載の装置。

【請求項12】

前記認識モジュールは、さらに、前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得する前に、認識された実オブジェクトの特徴がソーシャルネットワークの認識できる条件を満足するかを判断し、
前記条件は、
画像特徴点が認識された場合に、認識された画像特徴点の数が特徴点データ量の閾値を超える条件と、
生体特徴が認識された場合に、認識された生体特徴の完全性が完成性閾値を超える条件との少なくとも一つを含むことを特徴とする請求項９に記載の装置。

【請求項13】

画像処理装置であって、
実行可能なプログラムを記憶するためのメモリと、
前記メモリに記憶されている実行可能なプログラムを実行する場合に、以下の動作を実現するプロセッサとを含んでおり、
取得した画像データから、環境における実オブジェクトの特徴を認識することと、
前記実オブジェクトの特徴でソーシャルネットワークを照会し、前記実オブジェクトが前記ソーシャルネットワークの属性を有するかを決定することであって、
前記実オブジェクトの特徴で前記ソーシャルネットワークの特徴データベースを照会し、
前記実オブジェクトが前記ソーシャルネットワークの登録ユーザの特徴とマッチングする場合に、前記実オブジェクトが前記ソーシャルネットワークの登録ユーザ属性を有すると決定し、
前記実オブジェクトが前記ソーシャルネットワークの被共有オブジェクトの特徴とマッチングする場合に、前記実オブジェクトが前記ソーシャルネットワークの被共有オブジェクト属性を有すると決定する、決定することと、
前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得することと、
取得した画像データに応じてレンダリングすることと、
レンダリングして形成した画像内の前記実オブジェクトの位置に応じて、前記拡張現実モデルにおける仮想オブジェクトをレンダリングすることで、一緒に表示される前記実オブジェクトと前記仮想オブジェクトとを形成することとを含むことを特徴とする装置。

【請求項14】

前記プロセッサは、さらに、前記実行可能なプログラムを実行する場合に、以下の動作を実現し、
前記ソーシャルネットワークにおけるピアクライアントが環境をキャプチャして伝送した画像データを受信し、受信した画像データから、ピアクライアントの環境にある実オブジェクトの特徴を認識し、
及び/又は、
環境をキャプチャして画像データを形成し、キャプチャして形成した画像データから、ローカルクライアントの環境にある実オブジェクトの特徴を認識することを特徴とする請求項１３に記載の装置。

【請求項15】

前記プロセッサは、さらに、前記実行可能なプログラムを実行する場合に、以下の動作を実現し、
前記ソーシャルネットワークにおけるピアクライアントと通信する場合に、ローカルクライアント環境をキャプチャして前記ピアクライアントに伝送するための画像データを形成し、キャプチャされた画像データから、ローカルクライアント環境における実オブジェクトの特徴を認識し、
又は、
前記ローカルクライアントのキャプチャ動作に応答する場合に、ローカルクライアント環境をキャプチャして画像データを形成し、キャプチャされた画像データから、ローカルクライアント環境における実オブジェクトの特徴を認識することを特徴とする請求項１４に記載の装置。

【請求項16】

前記プロセッサは、さらに、前記実行可能なプログラムを実行する場合に、以下の動作を実現し、
前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得する前に、
認識された実オブジェクトの特徴がソーシャルネットワークの認識できる条件を満足するかを判断し、
前記条件は、
画像特徴点が認識された場合に、認識された画像特徴点の数が特徴点データ量の閾値を超える条件と、
生体特徴が認識された場合に、認識された生体特徴の完全性が完成性閾値を超える条件との少なくとも一つを含むことを特徴とする請求項１３に記載の装置。

【請求項17】

前記プロセッサは、さらに、前記実行可能なプログラムを実行する場合に、以下の動作を実現し、
前記実オブジェクトが前記ソーシャルネットワークにおける登録ユーザである場合に、前記登録ユーザが前記ソーシャルネットワークに予め設置した仮想アイテム、仮想背景及びフィルターの少なくとも一つを含む仮想オブジェクトを取得し、
前記実オブジェクトが前記ソーシャルネットワークの被共有オブジェクトの属性を有する場合に、前記ソーシャルネットワークにおける前記被共有オブジェクトに対する仮想オブジェクトを取得し、前記仮想オブジェクトは、前記ソーシャルネットワークにおける前記被共有オブジェクトに対する記事と、前記ソーシャルネットワークにおける前記被共有オブジェクトに対する広告との少なくとも一つを含むことを特徴とする請求項１３に記載の装置。

【請求項18】

前記プロセッサは、さらに、前記実行可能なプログラムを実行する場合に、以下の動作を実現し、
サーバの認識サービスを呼び出し、取得した画像データから、環境における実オブジェクトの特徴を認識し、
又は、
画像認識スレッドを開始し、開始した画像認識スレッドで、取得した画像データを認識し、環境における実オブジェクトの特徴を得ることを特徴とする請求項１３に記載の装置。

【請求項19】

前記プロセッサは、さらに、前記実行可能なプログラムを実行する場合に、以下の動作を実現し、
前記画像データ内の前記実オブジェクトのポーズ変化を検出し、
出力された画像内の実オブジェクトの位置に、前記拡張現実モデルにおける前記ポーズ変化に適応する仮想オブジェクトをレンダリングし出力することを特徴とする請求項１３に記載の装置。

【請求項20】

前記プロセッサは、さらに、前記実行可能なプログラムを実行する場合に、以下の動作を実現し、
ローカルクライアントで前記実オブジェクトに適応する拡張現実モデルを照会し、
ローカルクライアントで見つからないと、前記ソーシャルネットワークから、前記実オブジェクトに適応する拡張現実モデルを照会して得ることを特徴とする請求項１３に記載の装置。

【請求項21】

プロセッサにより実行される場合に、請求項１～８のいずれか一項に記載の画像処理方法を実現する実行可能なプログラムが記憶されていることを特徴とする記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１７年０８月０４日に中国専利局に提出した、出願番号が２０１７１０６６１７４６.０であって、発明の名称が「画像処理方法、装置及記憶媒体」である中国特許出願の優先権を主張し、本願で、その全ての内容を援用するものとする。

【0002】

本出願は、画像技術分野に関し、特に、画像処理方法、装置及記憶媒体に関する。

【背景技術】

【0003】

インターネット、特にモバイルインターネットの急速な発展に伴い、ソーシャルネットワークに基づく様々なクライアントが出現し、ユーザのオンラインソーシャルネットワーキングに大きな利便性を提供し、ユーザは、様々なスマート端末デバイスを使用してソーシャルネットワークのクライアントをインストールし、いつでもどこでもソーシャルネットワークにおけるユーザユーザとオフライン又はオンラインでインタラクションすることができる。

【0004】

ソーシャルネットワークの様々なシーンにおいて、オブジェクトのイメージを展示することは、クライアントの基本的な機能であるが、現在の展示方式は単一であり、オブジェクトがユーザであることを例として、 関連する技術では、一般に、アバター又は自撮り画像の形式を採用してユーザのイメージを展示しており、ソーシャルネットワークの視認性を果たし、しかし、現在、このような方式は、ソーシャルネットワークがユーザのニーズを個性的に展示することに適応しにくくなり、ソーシャルネットワークの多様化特性の障害となっている。

【0005】

ソーシャルネットワークのアプリケーションシーンはますます多様化されているため、複数のアプリケーションシーンのそれぞれに対して展示方式を設置する方案を提供すれば、ユーザは異なるアプリケーションシーンに対して設置を行う必要があるので、効率が比較的低く、実施の現実的な意味はなく、ソーシャルネットワークのバックグラウンドの処理は複雑化され、非常に大きなオーバーヘッドが発生してしまう。

【0006】

ソーシャルネットワークの多様化に適応するために、ソーシャルネットワークの様々なアプリケーションシーンにおいてオブジェクトの展示方式を拡張する需要については、現在に有効な解決策はない。

【発明の概要】

【課題を解決するための手段】

【0007】

本出願の実施例は、上記の技術的問題を解決しながら、ソーシャルネットワークにおけるオブジェクトの展示方式を効果的に拡張することを実現することができる画像処理方法、装置及記憶媒体を提供する。

【0008】

上記の目的を達成するために、本出願の実施例の技術案は以下のように実現される。
一態様によれば、本出願の実施例は画像処理方法を提供し、
取得された画像データから、環境での実オブジェクトの特徴を認識し、
前記実オブジェクトの特徴でソーシャルネットワークを照会し、前記実オブジェクトが前記ソーシャルネットワークの属性を有すると決定し、
前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得し、
取得された画像データに応じてレンダリングし、
レンダリングして形成された画像内の前記実オブジェクトの位置に応じて、前記拡張現実モデルにおける仮想オブジェクトをレンダリングすることで、一緒に表示される前記実オブジェクトと前記仮想オブジェクトとを形成する、ことを含む。

【0009】

他の態様によれば、本出願の実施例は画像処理装置を提供し、
取得された画像データから、環境での実オブジェクトの特徴を認識するための認識モジュールと、
前記実オブジェクトの特徴で、ソーシャルネットワークを照会し、前記実オブジェクトが前記ソーシャルネットワークの属性を有すると決定するための照会モジュールと、
前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得するためのモデルモジュールと、
取得された画像データに応じて、レンダリングし、レンダリングして形成された画像内の前記実オブジェクトの位置に応じて、前記拡張現実モデルにおける仮想オブジェクトをレンダリングすることで、一緒に表示される前記実オブジェクトと前記仮想オブジェクトとを形成するためのレンダリングモジュールとを含む。

【0010】

他の態様によれば、本出願の実施例は記憶媒体を提供し、プロセッサにより実行される場合に、本出願の実施例で提供される画像処理方法を実現する実行可能なプログラムが記憶されている。

【0011】

他の態様によれば、本出願の実施例は画像処理装置を提供し、
実行可能なプログラムを記憶するためのメモリと、
前記メモリに記憶されている実行可能なプログラムを実行する場合に、本出願の実施例で提供される画像処理方法を実現するプロセッサとを含む。

【0012】

本出願の実施例は、少なくとも、以下の有益な効果を有する。
１) 画像データから実オブジェクトの特徴を認識しソーシャルネットワークを照会する形態によれば、ソーシャルネットワークの任意のシーンにおける画像データについて、ソーシャルネットワークに属する実オブジェクトを迅速に認識し、相応するシーンに、ソーシャルネットワークにおける実オブジェクトに適応する拡張現実効果をフュージョンし、一緒に表示される実オブジェクトと仮想オブジェクトとを形成し、ソーシャルネットワークにオブジェクトを拡張する展示方式を提供し、仮想―現実結合の效果を達成することができる。
２) ソーシャルネットワークにおいて異なる実オブジェクトについての拡張現実モデルは多様化の特性を有し、これにより、画像データのレンダリングに適用される場合に、異なるオブジェクトの差別化の表示效果を実現する。

【図面の簡単な説明】

【0013】

本出願の実施例における技術案をより明確に説明するために、以下実施例の記述において使用する必要がある図面を簡単に紹介し、もちろん、以下に記述の図面が本出願のいくつかの実施例に過ぎず、当業者にとって、創造的な労力をしない前提で、これらの図面に応じて他の図面を得ることもできる。

【図1-1】本出願の実施例で提供される画像処理装置のオプションのハードウェア構成の模式図である。

【図1-2】本出願の実施例で提供される画像処理装置のオプションの機能構成の模式図である。

【図2】本出願の実施例で提供されるＡＲ装置として実施される画像処理装置のオプションのシステム構成の模式図である。

【図3】本出願の実施例で提供されるＡＲ装置として実施される画像処理装置の他のオプションのシステム構成の模式図である。

【図4】本出願の実施例で提供される画像処理方法のオプションの実現フローの模式図である。

【図5】本出願の実施例で提供される画像処理方法の他のオプションの実現フローの模式図である。

【図6】本出願の実施例で提供される顔特徴点の模式図である。

【図7】本出願の実施例で提供される実オブジェクトと仮想オブジェクトとを一緒に表示する効果の模式図である。

【図8】本出願の実施例で提供される実オブジェクトと仮想オブジェクトとを一緒に表示する効果の模式図である。

【図9】本出願の実施例で提供される実オブジェクトと仮想オブジェクトとを一緒に表示する効果の模式図である。

【図10-1】本出願の実施例で提供される漫画キャラクター装飾とカスタムネットワーク仮想キャラクターの効果の模式図である。

【図10-2】本出願の実施例で提供される漫画キャラクター装飾とカスタムネットワーク仮想キャラクターの効果の模式図である。

【図11】本出願の実施例で提供される画像処理方法の他のオプションの実現フローの模式図である。

【発明を実施するための形態】

【0014】

本出願の目的、技術案、及び利点をより明確にするために、以下では、添付図面を参照しながら、本出願をさらに詳細に記述し、記述される実施例は、本出願のすべてではなく、本出願の実施例の一部である。創造的な努力なしに本出願の実施例に基づいて当業者によって得られる他のすべての実施例は、本出願の保護範囲内に入るものとする。

【0015】

本出願をさらに詳細に説明する前に、本出願の実施例に係る名詞及び用語を説明し、本出願の実施例に係る名詞及び用語は、以下の解釈に適用される。

【0016】

１) 拡張現実(ＡＲ、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)、現実世界に仮想情報を適用する技術であり、実オブジェクトと仮想オブジェクトとを、同一の画面又は空間にリアルタイムで重畳して同時に存在する。

【0017】

拡張現実技術は、現実世界の情報と仮想世界の情報とをシームレスに集積し、現実世界で体験できない情報（視覚、音、味覚等）に対して、科学技術を用いてシミュレートを行った後に重畳し、仮想情報を現実世界に適用して、人間の感覚によって知覚され、それによって、仮想と現実とが結合した感覚的な体験を達成するようになる。

【0018】

例えば、実映像（即ち、現実世界における実オブジェクトの写真又はビデオのみを含む）における実オブジェクトの位置と姿勢を算出し、実映像において、実オブジェクトの位置と姿勢に応じて、仮想オブジェクトを含む映像、例えば、画像、ビデオ、又は３次元(３Ｄ、Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ)モデル等の技術を適用し、３次元空間の実映像に仮想オブジェクトを含む映像を追加する。例えば、実オブジェクトの写真、又はビデオにおける顔の位置と姿勢に応じて、顔の位置決めに基づく仮想アイテムを追加し、顔の装飾効果を実現し、また、例えば、スキャンされた製品のＱＲコード（登録商標）に応じて、表示されているＱＲコード（登録商標）の近くに製品情報及び/又は製品を購入できる店舗及びアドレスを表示等する。

【0019】

拡張現実は、シーンに応じてリアルタイムのインタラクション特性をさらに実現でき、例えば、ＡＲ類ゲームを実現する過程では、ＡＲシステムに装備されたグローブ又はハンドルによりゲーム内のアクションを制御し、又は、ＡＲの碁のタイプの試合において、ＡＲシステムに装備されたグローブにより碁石を制御等してもよい。

【0020】

２)クライアントは、本明細書ではデバイスにインストールされたクライアント、又はデバイスのサードパーティのクライアントを指し、ソーシャルネットワークに基づく様々なアプリケーションをサポートし、ビデオ通話機能やピクチャの送信機能等の複数のソーシャル機能を実現するために用いられる。

【0021】

３)装置は、クライアントの運行をサポートする電子機器、例えば、スマートフォン、タブレットコンピュータ、画像処理装置ディスプレイとヘッドマウントディスプレイ(ＨＭＤ、Ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ)に基づく装置等であり、なお、ＨＭＤは、光学の原理に基づく透過型ＨＭＤであってもよいし、ビデオ合成技術に基づく透過型ＨＭＤであってもよい。本明細書では、デバイスは、クライアントのホストデバイスとも呼ばれる。

【0022】

４)ソーシャルネットワークは、ネットワーク（例えば、ワイドエリアネットワークやローカルエリアネットワーク等）配置に基づくサーバで、複数のユーザがクライアント（ＱＱやエンタープライズＩＭ等）を介して互いに通信を行うことをサポートするのを実現するネットワークである。

【0023】

５)画像データは、環境での実オブジェクトの画像上の各点の光の強度とスペクトル（色）の表示であり、デジタル化処理と分析を容易にするために、光の強度とスペクトル情報とに応じて、現実世界の画像情報をデータ情報に変換し、画像データである。

【0024】

６)拡張現実モデルは、画像処理装置がデジタルグラフィック技術により描き出した拡張現実に用いられるデジタル化シーンであり、例えば、ソーシャルネットワークにおけるパーソナライゼーションのＡＲ装飾は、帽子や、メガネ、背景画像等の装飾であってもよい。

【0025】

７)実オブジェクトは、画像データに現実生活の人と物を含み、なお、物に、川や山等の自然の景物、都市の風景や建物の風景等の文化的な景物、又は、その他のタイプの物体が含まれる。

【0026】

８)仮想オブジェクトは、クライアントが画像データをレンダリングする場合に、画像データをキャプチャする環境に存在しない仮想オブジェクトをレンダリングする必要があり、実オブジェクトと仮想オブジェクトのフュージョンを実現し、表示効果を高めるか、情報量を増やすことを実現し、例えば、実オブジェクトが人物である場合、仮想オブジェクトは、キャラクターの画像をデコレートするための様々なアイテム及び仮想背景であってもよいし、個人の名刺であってもよい。

【0027】

９)レンダリングは、クライアントにおいてレンダリングエンジンを使用して画面に出力される実オブジェクトと仮想オブジェクトの可視映像である。例えば、ソーシャルクライアントを使用してソーシャルネットワーキングする過程では、ソーシャルネットワーキングのアクティブな雰囲気を高めるために、実オブジェクトを含む画像又はビデオに対して適切なレンダリングを行い、例えば、ユーザの画像又はビデオに現在のソーシャルシーンに適合する幾つかの仮想オブジェクトを追加して、特殊の効果を形成する。

【0028】

現在、添付の図面を参照しながら、本出願の実施例を実現する画像処理装置について記述する。画像処理装置は様々な形態で実施可能であり、以下、本出願の実施例の画像処理装置のハードウェア構成について説明する。

【0029】

図１－１を参照し、図１－１は、本出願の実施例で提供される画像処理装置のオプションのハードウェア構成の模式図である。実際の応用では、前記したクライアントを運行する様々なデバイス、デスクトップコンピュータ、ノートブックコンピュータ、スマートフォンとして実現することができる。図１－１に示す画像処理装置１００は、少なくとも一つのプロセッサ１０１、メモリ１０２、ディスプレイコンポーネント１０３、少なくとも一つの通信インターフェース１０４、及びカメラ１０５を含む。画像処理装置１００の各コンポーネントは、バスシステム１０６による結合される。 バスシステム１０６は、これらのコンポーネント間の接続通信を実現するために用いられることが理解され得る。 配置データバスに加えて、バスシステム１０６は、電源バス、制御バス、及び状態信号バスをさらに含む。但し、明確に説明するために、図１において、様々なバスはいずれもバスシステム１０６として標記される。

【0030】

ディスプレイコンポーネント１０３は、画像処理装置ディスプレイ、携帯電話ディスプレイ、及びタブレットコンピュータディスプレイを含んでもよく、表示のために用いられる。

【0031】

通信インターフェース１０４は、アンテナシステム、ブルートゥース（登録商標）(Ｂｌｕｅｔｏｏｔｈ（登録商標）)、ＷｉＦｉ (Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ)、近距離無線通信（ＮＦＣ、Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）モジュール、及び／又はデータラインを含んでもよい。

【0032】

カメラ１０５は、標準カメラ、望遠カメラ、広角レンズ、ズームカメラ、デジタルライトフィールドカメラ、デジタルカメラ等であってもよい。

【0033】

メモリ１０２は、揮発性メモリ又は不揮発性メモリであってもよいし、揮発性メモリと不揮発性メモリの両方を含んでもよいことが理解され得る。

【0034】

本出願の実施例におけるメモリ１０２は、画像処理装置１００の動作をサポートするために様々なタイプの配置データを記憶するために用いられる。これらの配置データの例には、画像処理装置１００で動作するためのプログラム、例えば、クライアント１０２１を含み、オペレーティングシステム１０２２及びデータベース１０２３をさらに含み、なお、本出願の実施例の方法を実現するプログラムはクライアント１０２１に含まれてもよい。

【0035】

本発明の実施例で開示された方法は、プロセッサ１０１に適用されるか又はプロセッサ１０１により実施されてよい。プロセッサ１０１は、集積回路チップであってよく、信号の処理能力を有する。実現の過程で、画像処理方法の各ステップは、プロセッサ１０１の中のハードウェアの集積論理回路、又はソフトウェアの形式の命令を用いて完成されてよい。上記のプロセッサ１０１は、汎用プロセッサ、デジタル信号プロセッサ(ＤＳＰ、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ)、又は別のプログラマブル論理素子、個別ゲート又はトランジスタ論理装置、個別ハードウェアコンポーネント等であってよい。プロセッサ１０１は、本出願の実施例において提供される各方法、ステップ、及び論理ブロック図を実現し又は実行し得る。汎用プロセッサはマイクロプロセッサ、任意の従来のプロセッサ等であってよい。本出願の実施例を参照して提供される方法のステップは、ハードウェア復号化プロセッサにより実行され完成されるか、又は復号化プロセッサ内のハードウェア及びソフトウェアモジュールの組合せにより、実行され完成される。ソフトウェアモジュールは、記憶媒体の中に配置されてもよく、当該記憶媒体は、メモリ１０２に配置され、プロセッサ１０１は、メモリ１０２の中の情報を読み取り、そのハードウェアとの組合せで本出願の実施例で提供される画像処理方法を完成する。

【0036】

また、図１－１に示す画像処理装置の機能構成について説明し、ソフトウェアの実施を例として、図１－２を参照し、図１－２は、本出願の実施例で提供されるローカルクライアント (自端クライアントと相手端クライアントは相対的な概念であることが理解され得る) を運行する画像処理装置のオプションの機能構成の模式図であり、図１－２に示す各機能モジュールを参照しながら説明し、図１－１によれば、図１－２に示す機能モジュールのハードウェア上の実現が理解され得る。

【0037】

認識モジュール２１０は、取得された画像データから環境での実オブジェクトの特徴を認識する。

【0038】

本出願のオプションの実施例において、認識モジュール２１０は、ソーシャルネットワークにおけるピアクライアントが環境をキャプチャし伝送した画像データを受信し、受信した画像データからピアクライアントの環境にある実オブジェクトの特徴を認識し、及び/又は、環境をキャプチャして画像データを形成し、キャプチャして形成した画像データからローカルクライアントの環境にある実オブジェクトの特徴を認識する。

【0039】

本出願のオプションの実施例において、認識モジュール２１０は、具体的に、ソーシャルネットワークにおけるピアクライアントと通信する場合に、ローカルクライアント環境をキャプチャして、ピアクライアントに伝送するための画像データを形成し、キャプチャされた画像データからローカルクライアント環境での実オブジェクトの特徴を認識し、又は、ローカルクライアントのキャプチャ動作に応答する場合に、ローカルクライアント環境をキャプチャして画像データを形成し、キャプチャされた画像データからローカルクライアント環境での実オブジェクトの特徴を認識する。

【0040】

本出願のオプションの実施例において、認識モジュール２１０は、具体的に、ソーシャルネットワークにおける実オブジェクトに適応する拡張現実モデルを取得する前に、認識された実オブジェクトの特徴がソーシャルネットワークの認識できる条件を満足することを判断し、条件は、画像特徴点が認識された場合に、認識された画像特徴点の数が特徴点データ量閾値を超える条件と、生体特徴が認識された場合に、認識された生体特徴の完全性が完全性閾値を超える条件との少なくとも一つを含む。

【0041】

照会モジュール２２０は、実オブジェクトの特徴でソーシャルネットワークを照会して、実オブジェクトにソーシャルネットワークに属する属性があるかどうかを決定する。

【0042】

本出願の実施例に係るソーシャルネットワークの属性は、ソーシャルネットワークによってキャリアされる機能、例えば、メディア機能(例えば、コンテンツアグリゲーション)、ソーシャルネットワーキン、電子商取引、支払い等に対し、これらの機能を実現するプロセスに係るメンバーがタイプ/機能で行うまとめは、例えば、
メンバーがソーシャルネットワークの登録ユーザであることを表す登録ユーザ属性と、
メンバーが支払いを受け取るアカウントであることを表す支払いオブジェクト属性と、
被共有物品属性とも呼ばれ、メンバーがソーシャルネットワークで共有される物品、例えば、美食や製品等の様々な物品であることを表す被共有オブジェクト属性と、
メンバーがソーシャルネットワークで共有されるメディア情報、例えば、ビデオ、オーディオ、携帯電話ゲーム等、実際の形態を持たない様々な製品であることを表す被共有メディア情報属性とを含む。

【0043】

本出願のオプション実施例において、照会モジュール２２０は、具体的に、実オブジェクトの特徴でソーシャルネットワークの特徴データベースに照会し、実オブジェクトがソーシャルネットワークの登録ユーザの特徴とマッチングする場合に、実オブジェクトがソーシャルネットワークに属する登録ユーザであると決定し、この場合、実オブジェクトはソーシャルネットワークの登録ユーザ属性を有し、実オブジェクトがソーシャルネットワークの被共有オブジェクトの特徴とマッチングする場合に、実オブジェクトがソーシャルネットワークの被共有オブジェクトであると決定し、この場合、実オブジェクトはソーシャルネットワークの被共有オブジェクト属性を有する。

【0044】

モデルモジュール２３０は、ソーシャルネットワークのモデルベースにおける実オブジェクトに適応する拡張現実モデルを取得する。

【0045】

本出願のオプションの実施例において、モデルモジュール２３０は、具体的に、実オブジェクトがソーシャルネットワークにおける登録ユーザである場合に、登録ユーザのソーシャルネットワークで予め設置した仮想アイテム、仮想背景、及びフィルターの少なくとも一つを含む仮想オブジェクトを取得し、実オブジェクトがソーシャルネットワークにおける被共有オブジェクトである場合に、ソーシャルネットワークにおける被共有オブジェクトに対する仮想オブジェクトを取得し、仮想オブジェクトはソーシャルネットワークにおける被共有オブジェクトに対する記事、ソーシャルネットワークにおける被共有オブジェクトに対する広告の少なくとも一つを含む。

【0046】

本出願のオプションの実施例において、モデルモジュール２３０は、具体的に、サーバの認識サービスを呼び出し、取得された画像データから実オブジェクトの特徴を認識し、又は、画像認識スレッドを開始し、開始された画像認識スレッドにおいて取得された画像データを認識して実オブジェクトの特徴を得る。

【0047】

レンダリングモジュール２４０は、取得された画像データに応じてレンダリングし、及びレンダリングして形成された画像内の実オブジェクトの位置に応じて、拡張現実モデルにおける仮想オブジェクトをレンダリングすることで、一緒に表示される実オブジェクトと仮想オブジェクトとを形成する。

【0048】

本出願のオプションの実施例において、レンダリングモジュール２４０は、具体的に、画像データ内の実オブジェクトのポーズ変化を検出し、出力された画像内の実オブジェクトの位置に、拡張現実モデルにおけるポーズ変化に適応する仮想オブジェクトをレンダリングして出力することで、重畳される実オブジェクトと仮想オブジェクトとを形成するために用いられる。

【0049】

本出願のオプションの実施例において、照会モジュール２２０は、具体的に、ローカルのバッファ又はデータベースにおいて実オブジェクトに適応する拡張現実モデルを照会し、見つからないと、ソーシャルネットワークから実オブジェクトに適応する拡張現実モデルを照会して得る。

【0050】

本出願の実施例で提供される画像処理装置がＡＲ眼鏡として実施される場合、ＡＲ機能を実現する構成について例示的に説明し、図２と図３を参照し、図２は本出願の実施例で提供される画像処理装置がＡＲ装置として実施されるオプションの構成の模式図であり、環境の画像データのキャプチャ、画像データと拡張現実モデルを実現するための仮想オブジェクトとの合成を実現するために用いられ、図３は、本出願の実施例で提供される画像処理装置がＡＲ装置として実施されるオプションの他の構成の模式図であり、画像データと仮想オブジェクトとの合成の出力を実現するために用いられる。

【0051】

画像処理装置の構成はそれぞれ図２と図３に示されたが、図２と図３に示す構成を組み合わせて使用でき、環境の画像データのキャプチャから、画像データと仮想オブジェクトとの合成表示效果のレンダリング出力までのことを実現し、図２と図３に係るコンポーネントについて説明する。

【0052】

カメラは、画像又はビデオを含む実オブジェクトを含む環境の画像データを取得し、取得された画像又はビデオを画像合成器に送信して、拡張現実モデルの仮想オブジェクトと合成動作を行う。

【0053】

シーン発生器は、画像データ内の実オブジェクトの位置情報に応じて、例えば、ヘッドトラッカーにより、画像データ内の頭部の位置情報を取得し、拡張現実モデル内の位置情報に対応する仮想オブジェクトを抽出し、当該仮想オブジェクトを画像合成器に送信する。

【0054】

シーン発生器は、さらに、位置情報に応じて仮想オブジェクトを生成し、当該仮想オブジェクトをディスプレイに送信し、仮想オブジェクトは、画像合成器上で実オブジェクトと重畳するために用いられる。

【0055】

画像合成器は、取得された実オブジェクトの画像又はビデオ、及び仮想オブジェクトを合成し、合成画像又は合成ビデオとをレンダリングし、レンダリング結果は定期的に更新されてディスプレイに表示される。

【0056】

ディスプレイは、画像合成器によって送信された合成画像又は合成ビデオを表示して、実オブジェクトと拡張現実モデルの仮想オブジェクトとが一緒に表示される效果を形成する。

【0057】

ここで添付図面を参照して本出願の実施例の画像処理方法を実現する実施プロセスに従って、画像処理装置が図１ないし図３に従ってスマートフォン又はＡＲメガネとして実施されることを例として、図４を参照し、図４は、本出願の実施例で提供される画像処理方法のオプションの実現フローの模式図であり、画像処理装置が実オブジェクトを含む環境を取得して形成した画像データ、及び拡張現実モデルの仮想画像について説明し、以下のステップに係る。

【0058】

ステップ５０１において、実オブジェクトを含む画像データを取得する。

【0059】

実オブジェクトの画像データを取得することは、拡張現実を実現する最初のステップであり、現実世界における画像を画像処理装置に入力して、画像処理装置によって拡張現実モデルから抽出された仮想画像と合成され、上記の表示コンポーネントに出力された場合にのみ、ユーザは、最終の拡張シーン画像を見ることができる。

【0060】

ここで、実オブジェクトの画像データは、前述のカメラによってキャプチャされてもよく、例えば、デジタルライトフィールドカメラが人物や自然の景物等の実オブジェクトを撮影している場合に、完全なライトフィールド情報を取得できるため、ユーザは、画像処理装置を使用する過程で人間の目が見たいところに自動合焦を行うことを実現できるようにする。そして、取得された光は、実ライトフィールドでキャプチャされたライトセットであり、仮想画像と合成された後、メガネを通して真と偽を区別できない。もちろん、他の画像処理装置によってキャプチャされて送信された画像データを受信してもよい。

【0061】

即ち、可能な実現形態では、画像処理装置はカメラにより現実の環境での画像データをキャプチャし、当該現実の環境に実オブジェクトが存在するので、キャプチャされた画像データは実オブジェクトを含む。他の可能な実現形態では、他の画像処理装置は実オブジェクトを含む画像データをキャプチャした後に、本実施例の画像処理装置に送信し、当該画像処理装置は当該画像データを受信する。

【0062】

ステップ５０２において、実オブジェクトの位置情報を検出する。

【0063】

仮想オブジェクトと、人や物等の実オブジェクトとの完璧な組み合わせを実現するには、仮想オブジェクトを現実世界の正確な位置にマージする必要があり、従って、画像データ内の実オブジェクトの位置をリアルタイムに検出し、ひいては実オブジェクトのアクションの方向をトラッキングし、システムがどの拡張現実オブジェクトにおけるどの仮想オブジェクトを表示するか、及び当該仮想オブジェクトの位置を決定するのに役立ち、観察者の視野に従って座標系を再構築する。実オブジェクトの位置情報を測定する方法は、複数の方法があり、例えば、ビデオ検出方法であり、モード認識技術に従ってビデオ画像内の事前定義されたマーク、物体、又は基準点を認識し、次に、そのシフトと回転角度に応じて座標変換行列を算出し、座標変換行列で実オブジェクトの位置情報を表し、又は、ジャイロスコープによりユーザの頭部の回転角度を測定し、実オブジェクトの位置情報を決定して、如何に視野内の仮想オブジェクトの座標とコンテンツを変換するかを判定する。

【0064】

即ち、画像処理装置は、画像データを取得した後に、上述した位置情報の測定方法のいずれかを用いて、画像データ内の実オブジェクトの位置情報を検出する。そして、画像処理装置は、実オブジェクトが現実の環境で移動している過程で、実オブジェクトを含む複数の画像データを取得し、画像データの間の位置及び姿勢の変化に応じて、実オブジェクトが運動している軌跡をトラッキングして、これにより、各画像データ内の実オブジェクトの位置情報を決定してもよい。なお、各画像データの位置及び姿勢の変化は、ジャイロスコープによって検出されるか、トラッキングアルゴリズムを使用して隣接する２つの画像データをトラッキングすることによって取得される。

【0065】

ステップ５０３において、拡張現実モデルから仮想オブジェクトを取得する。

【0066】

ＡＲ装置の没入感を取得するために、ディスプレイは、現実感を有する画像を表示し、拡張現実シーンでシミュレーション及び表示を行う必要がある。従って、画像処理装置は、拡張現実モデルから仮想オブジェクトを取得する。

【0067】

拡張現実シーン内の実オブジェクトの位置決めマークが認識された後、事前定義されたマークから現在の拡張現実シーン内のマークへの座標変換行列を再構築し、画像処理装置は、この座標変換行列に従って、拡張現実モデルにおける仮想オブジェクトを描き、レンダリングする。

【0068】

ステップ５０４において、位置情報に応じて、実オブジェクトと仮想オブジェクトとを合并表示するか、直接表示する。

【0069】

画像処理装置の画像合成器は、まず、カメラの位置情報と、実オブジェクトの位置決めマークとに応じて、仮想オブジェクト座標からカメラ視覚平面へのアフィン変換を算出し、アフィン変換行列に従って、視覚平面に仮想オブジェクトを描くことにより、仮想オブジェクトと、実オブジェクトのビデオ又は写真とを合併してからディスプレイに一緒に表示し、実オブジェクトと仮想オブジェクトとが一緒に表示される效果を形成する。

【0070】

例を挙げて、ソーシャルネットワークを使用するクライアントがビデオ通話を行うシーンにおいて、仮想オブジェクトと、実オブジェクトのビデオ又は画像とを合成しクライアントの通話インターフェースに表示し、例えば、通話者のビデオ又は画像の顔に帽子やメガネ等の仮想オブジェクトをリアルタイムで重畳し、ビデオ会話の面白さを大幅に向上させ、又は、ソーシャルネットワークのクライアントを使用して実オブジェクトをオフラインでスキャンするシーンにおいて、実オブジェクトの映像にソーシャルネットワーク内のユーザの個人名刺を共同に表示し、オフラインソーシャルネットワーキングとオンラインソーシャルネットワーキングとのシームレスなアクセスを実現する。

【0071】

図４に基づいて、画像処理装置が実オブジェクトを含む画像データと、拡張現実モデルの仮想オブジェクトとをフュージョンする処理プロセスについて説明したが、以下、ユーザがソーシャルネットワークのクライアント(ピアクライアントとの通信に関するので、ここでローカルクライアントとも称される)を用いてソーシャルネットワークの適用シーンで画像処理を行うプロセスについて説明し、図５は、本出願の実施例で提供される画像処理方法の他のオプションの実現フローの模式図であり、図５に示すステップに従って説明する。

【0072】

ステップ６０１において、ローカルクライアントは画像データを取得する。

【0073】

本出願のオプションの実施例において、画像データの取得方式は、ユーザ自身がローカルクライアントを介してカメラを呼び出して撮影することで取得し、即ち、ローカルクライアントのプロセスで環境をキャプチャして、画像データを形成してもよく、 又は、ローカルクライアントとソーシャルネットワークにおける他のユーザのピアクライアント（数量は制限されない）を使用してビデオ通信を行うプロセスでピアクライアントにより画像データを送信してもよく、即ち、ローカルクライアントのプロセスで、ソーシャルネットワークにおけるピアクライアントが環境をキャプチャして伝送した画像データを受信し、受信した画像データから環境内の実オブジェクトの特徴を認識してもよい。

【0074】

ステップ６０２において、ローカルクライアントは、取得した画像データから、実オブジェクトの特徴を識別する。

【0075】

ここで、実オブジェクトは自然景物、文化的な景物、自然界の中で生きている物体（人間を含む）であってもよい。なお、実オブジェクトの特徴は複数のタイプがあり、例えば、画像特徴であり、顔の特徴点、物体の輪郭特徴、テクスチャ特徴等を含み、また、例えば、生体特徴であり、声紋特徴、虹彩特徴、指紋特徴等を含む。本出願の実施例において、主に人間を例として説明し、例えば、画像データから人の顔特徴情報を認識し、他のタイプ特徴の実施については、以下の説明に従って理解することができる。

【0076】

本出願のオプションの実施例において、ローカルクライアントは自身のホストデバイスのカメラを呼び出して撮影し、ユーザの顔を含む１つ又は複数の顔画像を取得し、撮影して得られた顔画像に対して顔特徴点の認識を行い、例えば、形状特徴の次元認識の観点から、外部輪郭特徴により異なる顔器官を検出し、顔器官の異なる部分の顔特徴点を認識する。

【0077】

本出願の別のオプションの実施例において、複数のフレームの顔画像を取得することもでき、撮影された顔画像の複数のフレームをそれぞれ認識して、各顔画像における複数の顔特徴点の位置を取得する。例えば、顔の特徴点は、目の特徴点、鼻の特徴点、唇の特徴点、眉の特徴点、及び顔のエッジの特徴点のいずれか１つ又は複数を含む。

【0078】

複数のフレームの顔画像は連続的に撮影されてもよく、例えば、顔画像は、指定された期間に撮影されたビデオ内の連続する複数のフレームの顔画像であってもよく、指定された期間は、例えば１秒又は０.５秒である。もちろん、顔画像は撮影されたビデオ内の時間軸に離散的に分布する複数のフレームの顔画像であってもよい。

【0079】

例示的に、図６に示す顔特徴点の認識結果を得ることができ、以下の説明の都合上、数字を採用して認識して取得した各顔特徴点をマーキングし、例えば、図６に示す１～２０は顔のエッジの特徴点を表し、２１～２８及び２９～３６は対応してユーザの左眉の特徴点と右眉の特徴点を表し、３７～４４及び８８はユーザの左目の特徴点を表し、なお、８８は左瞳孔であり、４５～５１及び８９はユーザの右目特徴点を表し、なお、８９は右瞳孔特徴点であり、５３～６５はユーザの鼻特徴点を表し、６６～８７はユーザの唇特徴点を表す。なお、以上は例示であり、オプションの実施例では、以上の顔特徴点の一部又はより多い特徴点を認識してもよいし、他の方式で各特徴点をマッキングしてもよく、いずれも本出願の実施例の範囲に属する。

【0080】

本出願の実施例において、顔特徴の認識を例として上記の実オブジェクトの特徴認識について説明し、なお、顔特徴認識技術は、使用される基準によって違い、通常は認識される特徴に応じて、２つのタイプに分類される。

【0081】

(１)局所的な特徴に基づく方法
本出願のオプションの実施例において、局所的な特徴に基づく方法は、顔の局所的な幾何学的特徴、例えば、幾つかの顔器官（目、鼻、口等）の相対位置と、相対距離を利用して顔を記述してもよい。その特徴成分は、通常、特徴点間のユークリッド距離、曲率、及び角度を含み、顔の明らかな特徴の効率的な記述を実現することができる。

【0082】

例えば、積分投影法を用いて顔特徴点を位置決めし、特徴点間のユークリッド距離を特徴成分として多次元の顔特徴ベクトルを認識し分類のために用いる。特徴成分は、主に、眉と目の中心の間の垂直距離、眉ラジアンの複数の記述データ、鼻の幅及び鼻の垂直位置、鼻孔の位置及び顔の幅等を含み、上記の顔特徴情報の認識により、認識プロセスで１００％の正しい認識率が得られる。

【0083】

本出願のオプションの実施例において、局所的な特徴に基づく方法はさらに、顔の特徴の一般的特徴に関する経験的記述であってもよい。

【0084】

例えば、顔画像は、いくつかの明らかな基本的特徴を有し、例えば、顔領域は通常、２つの目、鼻、口等の顔の特徴を含み、明るさは一般に周囲の領域の明るさよりも低くなり、２つの目はほぼ対称であり、鼻と口は対称軸上に分布されている。

【0085】

局所的な特徴に基づく方法は、上記の積分投影法及び事前ルール方法に加えて、幾何学的形状情報に基づく方法等をさらに含み、本出願の実施例において、局所的な特徴に基づく方法のタイプは限定されない。

【0086】

(２) 全体に基づく方法
ここで、全体に基づく方法は、顔画像を全体として、それにある変換処理を行い、特徴を認識することであり、この方法は顔の属性全体を考慮し、顔の構成要素の間のトポロジカル関係と各構成要素自身の情報も保留する。

【0087】

顔画像の次元は通常非常に高く、且つ高次元空間での顔画像の分布は非常にコンパクトではないため、分類に不利で、算出の複雑さも非常に大きい。部分空間解析法を使用して、一定の目標に応じて一つの線形又は非線形の空間変換を探し、元の高次元データを低次元の部分空間に圧縮して、部分空間でのデータの分布がよりコンパクトとなり、算出の複雑さを軽減する。

【0088】

また、さらに、顔画像上に１組の矩形のグリッドノードをセットし、各ノードの特徴をこのノードでのマルチスケールウェーブレット特徴で記述し、各ノード間の接続関係を幾何学的距離で表し、これにより、２次元トポロジーグラフに基づく顔の記述を構築する。 顔認識プロセスでは、２つの画像での各ノードと接続間の類似性に応じて認識を行う。

【0089】

全体に基づく方法は、上記の部分空間解析法と、エラスティックグラフマッチング法に加えて、ニューラルネットワークに基づく方法等をさらに含み、本出願の実施例において、全体に基づく方法のタイプは限定されない。

【0090】

本出願のオプションの実施例において、画像データの特徴認識については、特徴を認識する実行本体の違いに従って、以下の二つの方式に分類される。

【0091】

方式１：ローカルクライアントはサーバの認識サービスを呼び出し、サーバの認識サービスに画像データを送信し、サーバは、取得された画像データから実オブジェクトの特徴を認識し、ローカルクライアントに戻す。

【0092】

方式１は、特に、ローカルクライアントの算出リソースが限られている場合に適用し、ローカルクライアントが特徴認識を行うことで消費される算出リソース、それによって引き起こされる遅延を効果的に削減することができる。例えば、ビデオにおける特徴認識については、ビデオ内のオブジェクトは一般に運動状態にあるので、運動中のオブジェクトの特徴点認識は対応する操作が複雑になり、クライアントのホストデバイスを占めるオーバーヘッドも大きくなり、この場合、サーバの認識サービスを呼び出し、サーバの認識サービスは取得された画像データから実オブジェクトの特徴を認識し、ローカルクライアントに返す。

【0093】

方式２：ローカルクライアントのプロセスでは、画像認識スレッドを開始し、開始された画像認識スレッドにおいて取得された画像データを認識して実オブジェクトの特徴を取得する。

【0094】

簡単な画像データの特徴認識ついては、特徴点を迅速に認識するために、クライアントのホストデバイスのプロセスで画像認識スレッドを開始することができる。

【0095】

例えば、クライアントのホストデバイス自身によりこの特徴認識操作を完成し、認識プロセスでは、ユーザが音楽を聴いたり、ゲームやビデオのプロセスを開始したりする場合があるため、他のアプリケーションのリソースを占有しないように、クライアントのプロセスで画像認識スレッドを開始してもよい。なお、開始されたスレッドの量は、認識の算出の複雑さ（例えば、ビデオのフレームレートや画像の解像度等）に応じて決定されてもよく、算出の複雑さが比較的低い場合、相対的に少ないスレッドのみを開始し、認識の算出の複雑さが比較的高い場合、複数のスレッドを開始してもよい。開始した後に、開始された画像認識スレッドで取得された画像データを認識し、実オブジェクトの特徴を取得し、これにより、画像データの特徴情報が正常に認識されることを保証するとともに、他のアプリケーションのプロセスやスレッドが中断されることを避ける。

【0096】

本出願のオプションの実施例において、認識された特徴について、認識された実オブジェクトの特徴が実オブジェクトを認識できる条件を満足することを判断でき、条件は、画像特徴点が認識された場合に、認識された画像特徴点の数が特徴点データ量閾値を超える条件と、生体特徴が認識された場合に、認識された生体特徴の完全性が完成性閾値を超える条件との少なくとも一つを含み、条件を満足すると、後続のステップを実行し、条件を満足しないと、ステップ６０１に戻り、条件を満足する特徴が取得されるまでとなる。

【0097】

ユーザが実オブジェクトに関する画像データをキャプチャする場合に、以下の状況のいずれかがあり得る： １) 暗い光の環境に位置している。２)実オブジェクトは移動状態である。３)カメラは移動状態である。４)実オブジェクトの特徴部分が遮蔽され、例えば、ユーザが顔を撮影する場合に、顔のほとんどが遮蔽される。上記の場合のいずれかが発生した場合、取得された特徴情報が後続の操作を完了するには不十分であるので、実オブジェクトの特徴でソーシャルネットワークを照会する前に、相応する特徴情報の数又は完整性を判断し、不完全な特徴の照会によるソーシャルネットワークの算出リソースの消費を避けることができる。

【0098】

例を挙げて、顔認識に目、鼻、口等の顔の特徴が必要であり、目、鼻、口がそれぞれ１００以上の特徴点があると仮定すると、ユーザが画像を撮影するときに、撮影の光が過度に暗い、又はユーザとカメラが相対的な移動状態にある、又はユーザの顔のほとんどが遮蔽されるので、撮影された画像は、同じ特徴点と無効な特徴点を除いて、目、鼻、口の特徴点はすべて１００未満であり、従って、今回のキャプチャは失敗し、キャプチャを再度行う必要があり、さもなければ、次の操作を実行できる。

【0099】

ステップ６０３において、ローカルクライアントは、実オブジェクトの特徴に応じて、ソーシャルネットワークを照会して、実オブジェクトがソーシャルネットワークに属するかどうかを決定し、属すると、ステップ６０４を実行し、属しないと、ステップ６０１に戻る。

【0100】

本出願のオプションの実施例において、実オブジェクトの特徴に応じて、ソーシャルネットワークにおけるサーバで実行される特徴データベースで、当該実オブジェクトの特徴にマッチングするプリセット特徴情報が記憶されているかどうかを照会し、記憶されていると、当該実オブジェクトが当該ソーシャルネットワークに属すると決定し、記憶されていないと、ソーシャルネットワークに属しないと決定する。

【0101】

例えば、ローカルクライアントがＱＱクライアントであることを例として、ユーザは、「ＱＱ－ＡＲ」機能オプションを選択し、自分又は他のユーザの画像を撮影し、撮影が完了すると、ＱＱクライアントは写真内のユーザの顔に関する特徴情報をキャプチャし、その特徴情報に応じて、ソーシャルネットワークにおいて、当該ユーザの特徴情報が存在するかどうかを探し、ユーザが自分の画像を事前アップロードしていると、ソーシャルネットワークにユーザの顔のプリセット特徴情報が事前に記憶されているため、当該ユーザのプリセット特徴情報を探し出すことができ、当該ユーザが当該ソーシャルネットワークに属すると決定し、ユーザが自分の画像をアップロードしていないと、当該ユーザがソーシャルネットワークに属していないと決定する。

【0102】

ソーシャルネットワークにおける各種の実オブジェクトは、ソーシャルネットワークの登録ユーザを含むだけでなく、ソーシャルネットワークにおける被共有オブジェクト、例えば、製品等の様々な物品も含むことができ、特徴データベースに記録されている対応する特徴によりソーシャルネットワークを照会し、例えば、登録ユーザの顔の特徴、被共有オブジェクトのテクスチャ機能、及びグラフィックコード等によりソーシャルネットワークの特徴データベースを照会し、このようにすれば、照会結果に応じて、次の２つのシーンに分けることができる。

【0103】

シーン１：照会されたオブジェクトのタイプは、ソーシャルネットワークの登録ユーザである
本出願のオプションの実施例において、実オブジェクトの特徴でソーシャルネットワークの特徴データベースを照会し、実オブジェクトがソーシャルネットワークの登録ユーザの特徴とマッチングする場合に、実オブジェクトがソーシャルネットワークに属する登録ユーザであると決定する。

【0104】

例えば、ローカルクライアントのユーザが自身又は他のユーザの画像を撮影する場合に、ローカルクライアントによって取得されたのは人間に関する画像データであり、画像データ内の特徴に応じてネットワークにおける特徴データベースを照会し、特徴データに画像データのユーザに関する画像が予め記憶されていると、当該ユーザがソーシャルネットワークに属する登録ユーザであると決定し、ソーシャルネットワークの登録ユーザのＩＤを取得することができる。

【0105】

なお、特徴データベースには未登録ユーザの画像特徴が記憶されず、登録ユーザの画像特徴が事前に記憶されているので、特徴データベースにユーザの画像データの特徴が記憶されているかどうかによって、ユーザがソーシャルネットワークの登録ユーザであるかどうかを判断することができる。

【0106】

シーン２：照会されたオブジェクトのタイプは、ソーシャルネットワーク内の被共有オブジェクトである
本出願のオプションの実施例において、実オブジェクトの特徴でソーシャルネットワークの特徴データベースを照会し、実オブジェクトがソーシャルネットワークの被共有オブジェクトの特徴とマッチングする場合に、実オブジェクトがソーシャルネットワークの被共有オブジェクトであると決定する。

【0107】

例えば、ユーザが実オブジェクトを撮影し、例えば、製品又は景物を撮影し、クライアントによって取得されるのは実オブジェクトに関する画像データであり、実オブジェクトに関する特徴情報、例えば、製品ＱＲコード（登録商標）又は景物輪郭等の特徴を取得し、次に、取得された特徴に応じてネットワークにおける特徴データベースを照会し、特徴データに実オブジェクトにマッチングする被共有オブジェクトの画像が予め記憶されていると、実オブジェクトがソーシャルネットワークの被共有オブジェクトであると決定し、ソーシャルネットワークにおける被共有オブジェクトのＩＤを取得することができ、ソーシャルネットワークにおける共有されるものについての関連コンテンツは、ＩＤに基づいて照会して得ることをサポートする。

【0108】

照会されるオブジェクトのタイプが被共有オブジェクトである場合に、一つの一般的な適用は、ユーザがソーシャルネットワークにおけるあるユーザによって共有された製品を見たが、どこで購入するか分からない場合に、そのＱＲコード（登録商標）又はバーコードをスキャンするだけでよく、スキャンが完了した後、画像処理装置のスクリーン又はＨＭＤにＡＲの方式で購入できる店舗及び店舗のアドレスを一緒に表示することができ、なお、アドレス情報は実際のアドレスであってもよいし、ホームページアドレス、例えば、電子商取引のネットワークアドレスであってもよく、これにより購入可能である。

【0109】

ステップ６０４において、ローカルクライアントはソーシャルネットワークから実オブジェクトに適応する拡張現実モデルを取得する。

【0110】

本出願のオプションの実施例において、実オブジェクトがソーシャルネットワークにおける登録ユーザである場合に、登録ユーザがソーシャルネットワークに予め設置した拡張現実モデルにおける仮想オブジェクトを取得し、仮想オブジェクトは、装飾效果を実現でき、例えば、仮想アイテム、仮想背景及びフィルターの少なくとも一つを含む。ここで、上記のフィルターは、内部フィルター、内蔵フィルター、又は外部フィルターであってもよく、もちろん、仮想オブジェクトは情報展示の效果を実現でき、例えば、ソーシャルネットワーク内のユーザの名刺、共有される情報インデックス等を展示できる。

【0111】

例えば、ソーシャルネットワークのサーバにおいて、ユーザの顔特徴の認識及びマッチングにより、ソーシャルネットワークにおける当該ユーザ顔特徴にマッチングする画像を探し出し、マッチングした画像により、対応するソーシャルネットワークにおけるＩＤを取得し、ＩＤに従って、関連する拡張現実モデルを適応する拡張現実モデルとして探し出し、ソーシャルネットワークの登録ユーザの拡張現実モデルは、ネットワークによってランダムに割り当てられる、少なくとも登録ユーザを表示するために用いられる個人名刺に関してもよく、ユーザに従ってパーソナライゼーションの設置を実現してもよい。

【0112】

本出願のオプションの実施例において、実オブジェクトがソーシャルネットワークにおける被共有オブジェクトである場合に、ソーシャルネットワークにおける被共有オブジェクト対する仮想オブジェクトを取得し、仮想オブジェクトは、ソーシャルネットワークにおける被共有オブジェクト対する記事、ソーシャルネットワークにおける被共有オブジェクトに対する広告の少なくとも一つを含む。

【0113】

例えば、ユーザが好きな製品、又は美しい観光地を見つけたが、当該製品又は景物に関する関連情報を知らない場合に、ユーザは「ＱＱ－ＡＲ」を通じて製品又は景物を狙うことができ、そして、画面に製品又は景物をスキャンしているアニメーションが表示され、そして、アニメーションが終了すると、製品又は景物のスキャンが成功したことを表し、次に、製品の包装、外観、バーコード、ＱＲコード（登録商標）等の情報に基づいて、それに関連する記事や広告、又は製品を購入する店舗とアドレスを探し出し、あるいは、景物の特徴、外観、地理的位置等の情報に基づいて、それに関連する記事や広告を探し出す。

【0114】

本出願のオプションの実施例において、拡張現実モデルの取得については、ローカルクライアントのバッファに拡張現実モデルをバッファリングする技術案を提供し、例えば、ローカルクライアントのユーザについて、ソーシャルネットワークは潜在的な友人や、興味があるユーザ又は製品を算出し、対応する拡張現実モデルをローカルクライアントに事前にプッシュしてバッファリングし、仮想オブジェクトのレンダリング速度を加速させ、遅延を避ける。

【0115】

従って、拡張現実モデルを照会するローカルバッファ、ソーシャルネットワークの優先度のソートに応じて、以下の二つの異なる照会結果に係る。

【0116】

方式１：ホストデバイスのバッファ又はデータベースに記憶される。
本出願のオプションの実施例において、ソーシャルネットワークから実オブジェクトに適応する拡張現実モデルを取得する前に、まず、クライアントのバッファ又はホストデバイスのデータベースにおいて、ソーシャルネットワークにおける実オブジェクトのＩＤで、実オブジェクトに適応する拡張現実モデルを照会し、このようにすれば、ローカルクライアントに既に対応する拡張現実モデルが記憶されている場合について、毎回ソーシャルネットワークに要求する必要はなく、拡張現実モデルにおける仮想オブジェクトのレンダリング速度を加速させ、遅延を最大限に減少することができる。

【0117】

例えば、ユーザは、「ＱＱ－ＡＲ」を通じて自身を狙って画像、又は一部のビデオを撮影した後、ユーザ自身の顔特徴パラメータを取得し、クライアントは、当該特徴パラメータに応じてバッファにおいて以前に使用された拡張現実モデル、例えば、設置されたパーソナライゼーションＡＲ装飾がバッファリングされているかどうかを照会し、バッファリングされていると、バッファから当該拡張現実モデルを取得し、このようにすれば、拡張現実モデルを取得する効率を向上させる。

【0118】

方式２：ソーシャルネットワークサーバに記憶される
ローカルクライアントのホストデバイスのバッファとデータベースとで実オブジェクトの拡張現実モデルが照会されなかった場合、実オブジェクトのＩＤでソーシャルネットワークのサーバにおいて実オブジェクトを記憶する拡張現実モデルを照会する。

【0119】

ステップ６０５において、ローカルクライアントは、取得した画像データに応じてレンダリングする。

【0120】

ステップ６０６において、ローカルクライアントは、レンダリングして形成された画像内の実オブジェクトの位置に応じて、拡張現実モデルにおける仮想オブジェクトをレンダリングすることで、一緒に表示される実オブジェクトと仮想オブジェクトとを形成する。

【0121】

ここで、表示の方式の違いによって、以下の二つの場合に分けることができる。

【0122】

方式１：スマートフォン、コンピュータ等のデバイス
ソーシャルネットワークのインスタントメッセージング通信シーンでは、スマートフォンやコンピュータ等のデバイスにインストールされているクライアントが拡張現実モデルを取得すると、拡張現実モデルと、インスタントメッセージング通信で伝送される画像データにキャリアされる実オブジェクトとを合成し、合成されたビデオ又は画像の方式でスマートフォンのスクリーン又はコンピュータのスクリーンに表示する。

【0123】

方式２：ＨＭＤのＶＲメガネを設置する
ＶＲメガネは、ビデオ合成技術の透過型のＨＭＤの表示方式に基づいて、カメラにより現実世界のビデオ又は画像を取得し、次に、発生した又は取得した仮想オブジェクトと、当該現実世界のビデオ又は画像とを合成し、相応するレンダリングを行い、次に、ＨＭＤを通じてディスプレイに表示する。

【0124】

レンダリング中に、拡張現実モデルの仮想オブジェクトと実オブジェクトとの間の位置関係を考慮する必要があり、以下、例を挙げて説明する。

【0125】

１)図７に示すように、ユーザは、ローカルクライアントを通じてソーシャルネットワークの他のユーザとビデオチャットを行い、ピアクライアントの画像データ(他のユーザの映像がキャリアされている)を受信し、ローカルクライアントは画像データに対して顔特徴認識７１を行い、ユーザがソーシャルネットワークの登録ユーザであると認識し、ソーシャルネットワークにおける当該ユーザが予め設定した拡張現実モデルがＡＲ装飾－ダイビングメガネであると照会し、レンダリング中に、ＡＲメガネ装飾とユーザの目との相対位置に応じて、ダイビングメガネ７２を人の目の「目の前」にレンダリングする。

【0126】

２)図８に示すように、ローカルクライアントは、ホストデバイスの位置する環境に対してビデオキャプチャを行い、環境での人の顔に対して画像データをキャプチャし、顔特徴認識８１を行って、ローカルクライアントのユーザがソーシャルネットワークの登録ユーザであると認識し、ソーシャルネットワークを照会して、予定の拡張現実モデルがＡＲ装飾であることを得て、対応する水の波の背景８３とダイビングメガネ８２とを含み、ダイビングメガネ８２、仮想の背景８３とユーザの目の相対位置、及び背景８３とユーザとの階層関係に応じて、仮想の背景８３をユーザの下層にセットし、背景８３がユーザを遮蔽することを避ける。

【0127】

３)図９に示すように、ユーザは、ローカルクライアントのスキャン機能を用いて、ホストデバイスのカメラを呼び出して新しい友人の顔をスキャンし、即ち、環境での人の顔に対して画像データをキャプチャし、顔特徴認識９１を行って、新しい友人がソーシャルネットワークの登録ユーザであると認識し、予定の拡張現実モデルがＡＲ装飾であると照会し、ＡＲ装飾に応じて、ローカルクライアントの人の顔を表示するインターフェースにおいて、人の顔の位置に応じてウサギの耳９２と口を開けた動作９３とが追加されたパーソナライゼーションの装飾をレンダリングして合成した後に、ユーザにウサギの耳と口を開けた頭の画像が表示される。

【0128】

本出願の他のオブジョンの実施例では、画像データがビデオデータ又は一連の写真である場合について、ローカルクライアントは画像データ内の実オブジェクトのポーズ変化を検出し、ここで、ポーズ変化はユーザとクライアント装置との間の相対位置が変化し、又は角度が変化したことであり、なお、角度が変化したことは、ユーザとクライアントとの間のサイドビュー角度、トップビュー角度又はボトムビュー角度が変化したことである。出力された画像内の実オブジェクトの位置に応じて、拡張現実モデルにおけるポーズ変化に適応する仮想オブジェクトをレンダリングして出力し、重畳される実オブジェクトと仮想オブジェクトとを形成し、実オブジェクトと仮想オブジェクトとのシームレスフュージョンの效果を保証する。

【0129】

ローカルクライアントは、スキャンされた画像データに応じて、ユーザの位置が移動したことを検出し、ローカルクライアントは、ＨＤＭ又は携帯電話等の装置のＡＲソフトウェア開発キット(ＳＤＫ、Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ)を利用して、レンダリングされた実オブジェクトに対してトラッキング、マッチングを行い、即ち、実オブジェクトによって強調された移動、又は、ローカルクライアントと実オブジェクトとの距離、物体角度の変化に伴い、拡張現実モデルに対応するウィジェットと背景も対応するレンダリング変更を行い、これにより、より良い拡張現実の效果を形成する。

【0130】

現在、多くのＩＭクライアントは自己ネットワーク仮想キャラクター(Ａｖａｔａｒ)を設置することをサポートし、チャット中に表現され、図１０－１と図１０－２に示すように、ユーザが好きな３Ｄ Ａｖａｔａｒイメージを選択しビデオチャット中に適用することを許可し、頭が動いたり口が開いたりすると、ユーザが選択したＡｖａｔａｒもそれに応じて動作を行う。また、漫画のイメージの装飾があり、例えば、ユーザが、一つの漫画のイメージを選択して仮想世界の自己を代表し、ユーザは、漫画のイメージの衣装と顔等を変更できる。新しい技術の出現により、以上のシーンは、ユーザの要求をよく満足できなくなる。一方、漫画キャラクターは自己と関連性を備えず、若いユーザにとって、自分に漫画のキャラクターのイメージを追加するよりも、ユーザが演じるある漫画のキャラクターの効果を友人に直接見せると、パーソナライズをよりよく表現できる。

【0131】

本出願の実施例で提供される画像処理方法の技術案は、前述の問題を解決するために使用されてもよく、図１１を参照し、図１１は、本出願の実施例で提供される画像処理方法の他のオブジョンの実現フローの模式図であり、ソーシャルネットワークには顔認識サーバとソーシャル装飾サーバとが設置され、以下のステップを含む。

【0132】

ステップ８０１において、クライアントはキャプチャ動作を行う。

【0133】

クライアントは、人の顔を含む画像を取得し、画像に対して特徴をキャプチャする操作を行うことで、画像に含まれる特徴点を取得することができる。

【0134】

例えば、モバイルＱＱクライアントにおいてスキャン機能を呼び出し、例えば、「+」クリックして「スキャン」を選択し、次に、「ＱＱ－ＡＲ」を選択し、顔(ユーザ自身又は他の人)を狙い、スキャンしてもよい。説明の都合上、ここで、スキャンされるユーザをユーザ丙と称する。

【0135】

ステップ８０２において、クライアントは、十分な特徴点があるかどうかを判断し、ある場合、ステップ８０３を実行し、 さもなければ、ステップ８０２を実行し続ける。

【0136】

キャプチャ動作の後、キャプチャされた特徴点の量を取得し、特徴点の量が特徴点データ量閾値を超えるかどうかが判断し、超えると、特徴点の量が十分であり、顔のスキャンが成功することを表し、超えないと、特徴点の量が不十分であり、キャプチャを継続する必要があることを表す。

【0137】

十分な特徴点があるかどうかを判断することは、スクリーンに表示されている一つのスキャン中の正面の顔のアニメーションを観察することができ、通常、アニメーションが終了すると、顔のスキャンが成功したことを表し、成功しなかった場合、スキャンが１秒間停止した後、ステップ８０２を実行し続ける。

【0138】

ステップ８０３において、クライアントは、ローカルにＡＲ装飾のバッファがあるかどうかを検出し、あると、ステップ８０４を実行し、ないと、ステップ８０５を実行する。

【0139】

ＡＲ装飾を初めて使用するユーザにとって、クライアントローカルにはローカルに対応するＡＲ装飾バッファがなく、また、撮影されたのが他の人の顔情報である場合に、通常、ローカルに相応するＡＲ装飾バッファがなく、もちろん、実際の適用において、ＱＱクライアントは、バックグラウンドサーバによってプッシュされた他のユーザ(例えば、潜在的な友人や、興味のあるユーザ等)のＡＲ装飾を受信でき、ユーザはオフラインソーシャルネットワーキングの際に潜在的なユーザに会って、ＱＱクライアントを用いてスキャンすると、すぐにＡＲ装飾を取得し、バックグラウンドサーバを照会する必要がないため、遅延を最大限に減少する。

【0140】

ステップ８０４において、クライアントはＡＲピクチャ又はビデオを表示する。

【0141】

ここで、ＡＲピクチャ又はビデオは、ＡＲ装飾と、ユーザによって撮影された画像との合成ピクチャ、ＡＲ装飾と、ユーザによって撮影されたビデオとの合成ビデオである。クライアントはＡＲ装飾を取得した後に、ＡＲ装飾をユーザによって撮影された画像又はビデオと合成して、ＡＲピクチャ又はビデオを取得し、ＡＲピクチャ又はビデオにおいてユーザに装飾を追加する効果を実現する。

【0142】

ステップ８０５において、クライアントは写真を顔認識サーバにアップロードする。

【0143】

ローカルライブラリで相応するＡＲ装飾を見つからないと、顔認識サーバで顔認識を行う必要があり、認識結果に応じて、顔認識サーバに記憶されている画像とマッチング操作を行う。

【0144】

ステップ８０６において、顔認識サーバは、マッチングが成功したことを認識する。

【0145】

当該顔認識サーバにマッチングする画像があると、マッチングが成功したことを表し、当該顔認識サーバにユーザ丙の画像を記憶しており、ユーザ丙がソーシャルネットワークにおける登録ユーザであることを説明する。

【0146】

ステップ８０６に進み、二つのシーンがあり、シーン１は、ユーザ丙がクライアントを使用するユーザ自身であり、ＡＲ装飾を設置していない。シーン２は、ユーザ丙が別の人である。

【0147】

ステップ８０７において、顔認識サーバはソーシャルネットワークアカウントを取得する。

【0148】

ここで、ソーシャルネットワークアカウントはＱＱ番号であってもよいし、ＷｅＣｈａｔ番号又は他のＩＭアカウントであってもよい。

【0149】

ソーシャル装飾サーバは、各ソーシャルネットワークアカウントに対応するパーソナライゼーションの装飾を記憶し、顔認識サーバは登録ユーザを認識した後に、登録ユーザのソーシャルネットワークアカウントを取得し、取得されたソーシャルネットワークアカウントは、ソーシャル装飾サーバがソーシャルネットワークアカウントによりパーソナライゼーションの装飾をプルするために用いられる。

【0150】

ステップ８０８において、顔認識サーバはソーシャル装飾サーバに、パーソナライゼーションの装飾モデルをプルする要求を送信する。当該要求は取得されたソーシャルネットワークアカウントを携帯する。

【0151】

ステップ８０９において、ソーシャル装飾サーバは、パーソナライゼーションの装飾モデルをプルする。

【0152】

シーン１である場合、ユーザ丙は、クライアントを使用するユーザ自身であり、ＡＲ装飾を設置していない。

【0153】

ここで、顔認識サーバは、ソーシャル装飾サーバからパーソナライゼーションの装飾モデルを取得し、次に、ソーシャル装飾サーバによりクライアントに相応するパーソナライゼーションの装飾モデルを推薦する。

【0154】

シーン２である場合に、ユーザ丙は他の人である。

【0155】

ここで、ユーザ丙がＡＲ装飾を設置していると、顔サーバはソーシャル装飾サーバからユーザ丙によって設置されたＡＲ装飾を取得し、次に、ソーシャル装飾サーバによりクライアントに相応するパーソナライゼーションの装飾モデルを推薦する。ユーザ丙がＡＲ装飾を設置していないと、この操作は終了する。

【0156】

ステップ８１０において、パーソナライゼーションの装飾モデルをクライアントに送信する。

【0157】

ステップ８１１において、クライアントは、ローカルＡＲＳＤＫに応じて、モデルをロードする。

【0158】

ここで、ユーザが移動するとき、クライアントは、ＨＤＭ、携帯電話等の装置のＡＲ ＳＤＫを利用して、表示されるコンテンツとグラフィックスとをトラッキング、マッチングし、パーソナライゼーションの装飾がユーザの移動に伴ってレンダリングされ、変化されるようにし、これにより、より良い拡張現実の效果を形成する。

【0159】

前述の実現を通じて、例えば、ローカルクライアントがＱＱクライアントであることを例として、以下の典型的なシーンに適用され得る。

【0160】

シーン１：オンラインソーシャルネットワーキング－インスタントビデオチャット中で、ＡＲ装飾を実現する
ローカルクライアントのユーザは、インスタントメッセージング（ＱＱ、ＷｅＣｈａｔ等を含む）を使用してピアユーザ（例えば、親戚や友人）とビデオチャットする際に、ユーザがローカルクライアントでカメラを呼び出してビデオ又は画像をリアルタイムで撮影することで、実オブジェクトについてのビデオ又は画像のパラメータを取得し、パーソナライゼーションを強調し、チャットの雰囲気を盛り上げるために、ビデオ又は画像を撮影する前に (ビデオ又は画像の撮影中であってもよい)実オブジェクトに相応する仮想オブジェクト、例えば、パーソナライゼーションの装飾と仮想背景とを追加する。ピアクライアントのユーザにとって、当該ユーザはカメラを使用してビデオ又は写真の撮影を実施する場合に、ローカルユーザと同様に、撮影されたビデオ又はピクチャを装飾するか、撮影されたビデオ又は写真をローカルユーザに直接伝送して、ローカルユーザが上記の装飾操作を実行してもよい。

【0161】

もちろん、上記のＡＲ装飾は、ソーシャルネットワークにおけるユーザの他の情報、例えば、個人名刺に置き換えることができ、ソーシャルネットワークのアカウントや、グラフィックコード等を含む。

【0162】

シーン２：オンラインソーシャルネットワーキング－ビデオ伝送プロセスにおいてＡＲ装飾を実現する
ローカルユーザは、インスタントメッセージング（ＱＱ、ＷｅＣｈａｔ等を含む）を使用してピアユーザ（例えば、親戚や友人）とビデオチャットする際に、ユーザの両方は、面白くて素敵だと思うビデオ又は写真を相手に送る可能性があり、 例えば、ローカルユーザ（又はピアユーザ）が食事の写真を撮影した後、インスタントメッセージングクライアントは当該写真内の実オブジェクトの特徴を認識し、認識された特徴に応じて、対応する装飾をマッチングし、次に、その写真の上に、マッチングした装飾を追加してからをピアユーザ（又はローカルユーザ）に送信する。

【0163】

シーン３：オフラインソーシャルネットワーキング－クライアントが他のユーザをスキャンする
ローカルクライアント、例えば、モバイルＱＱのユーザは、クライアントの「スキャン」オプションをクリックし、次に「ＱＱ－ＡＲ」を選択して、スキャンされるユーザの顔を狙い、次に、スクリーンに、スキャンしている実オブジェクトに関するアニメーションを表示する。アニメーションが終了すると、スキャンが成功したことを表し、つまり、キャプチャされた画像データから環境での実オブジェクトの特徴を認識し、ソーシャルネットワークから特徴に基づいて、対応するＩＤを照会して、照会されたＩＤに応じて、ユーザが予め設置したＡＲ装飾をローカルクライアントにプルし、スキャンされた顔の上に装飾の効果を即時に形成する。

【0164】

シーン４：オフラインソーシャルネットワーキング－クライアントがユーザ自身をスキャンする。
ローカルクライアント、例えば、モバイルＱＱのユーザは「ＱＱ－ＡＲ」を通じて、カメラを用いて自分の顔を狙い、その後、スクリーンに顔をスキャンしているアニメーションが表示され、アニメーションが終了すると、顔のスキャンが成功したことを表す。スクリーンの下側に少なくとも一つのパーソナライゼーションの装飾を表示し、ユーザは、好きなパーソナライゼーションの装飾を選択した後、パーソナライゼーションの装飾はスクリーンに適用される。さらに、パーソナライゼーションの装飾は仮想アイテム、仮想背景及びフィルター等であってもよく、仮想アイテムは帽子、メガネ又は他の顔ウィジェット等であってもよい。ユーザがパーソナライゼーションの装飾をアップロードすることをクリックして決定すると、ユーザの顔写真とパーソナライゼーションのＡＲ装飾とがそれぞれサーバにアップロードされ、ユーザのＱＱ番号とバインドする。

【0165】

結論として、本出願の実施例は、以下の有益な効果を達成する。
１)画像データから特徴を認識しソーシャルネットワークを照会する形態によれば、ソーシャルネットワークの任意のシーンにおける画像データについて、ソーシャルネットワークに属する実オブジェクトを迅速に認識でき、相応するシーンで、ソーシャルネットワークにおける実オブジェクトに適応する拡張現実効果をフュージョンすることができる。

【0166】

２)ソーシャルネットワークにおいて異なる実オブジェクトに対する拡張現実モデルは、多様化の特性、例えば、必要に応じて、ＡＲの形式の装飾、ソーシャル名刺等を有し、これにより、画像データのレンダリングに適用される場合に、異なるオブジェクトの差別化の表示效果を実現する。

【0167】

３)仮装装飾と相手の人物とを結合することで、ユーザに一つの新しい汎社会的なトピックエントリポイントを提供し、オフラインソーシャルネットワーキングからオンラインソーシャルネットワーキングへのシームレスなアクセスに有益である。

【0168】

４)クライアントは、状況に応じて、ローカル又はサーバの認識サービスを呼び出すことで、画像データから特徴を認識し、遅延を減らし、実オブジェクトと仮想オブジェクトの同期表示を実現することは有益である。

【0169】

５) 優先的にクライアントのホストデバイスで拡張現実モデルを照会する方式によれば、クライアントが拡張現実モデルをローカルに事前に保存した場合については、クライアントに仮想オブジェクトを即時に表示することを実現し、ネットワークによる実オブジェクトと仮想オブジェクトの非同期表示の問題を避けることができる。

【0170】

６)画像データから認識した特徴の完全度合いに応じて、ソーシャルネットワークに拡張現実モデルを要求するかどうかを決定し、ソーシャルネットワークのバックグラウンドの無効なコンピューティングを避け、ソーシャルネットワークの算出リソースを効果的に削減する。

【0171】

以上の開示は、本出願の好適な実施例に過ぎず、本出願の保護範囲を限定するものではない。本出願の精神と範囲で行われるいかなる修正、同等の置換、及び改善等は本出願の保護範囲に含まれるものとする。

【符号の説明】

【0172】

100 画像処理装置
101 プロセッサ
102 メモリ
103 ディスプレイコンポーネント
104 通信インターフェース
105 カメラ
210 認識モジュール
220 照会モジュール
230 モデルモジュール
240 レンダリングモジュール
1021 クライアント
1022 オペレーティングシステム
1023 データベース

【図1-1】

【図1-2】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10-1】

【図10-2】

【図11】