特許 7159357 画像処理方法及び装置、電子機器並びに記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-14

(45)【発行日】2022-10-24

(54)【発明の名称】画像処理方法及び装置、電子機器並びに記憶媒体

(51)【国際特許分類】

   G06T 15/00 20110101AFI20221017BHJP

   G06T 7/187 20170101ALI20221017BHJP

【ＦＩ】

G06T15/00

G06T7/187

【請求項の数】 13

(21)【出願番号】P 2020570186

(86)(22)【出願日】2020-03-24

(65)【公表番号】

(43)【公表日】2022-02-02

(86)【国際出願番号】 CN2020080924

(87)【国際公開番号】W WO2021098107

(87)【国際公開日】2021-05-27

【審査請求日】2020-12-16

(31)【優先権主張番号】201911154806.5

(32)【優先日】2019-11-22

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】321006888

【氏名又は名称】ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】スー リウ

【審査官】永野 志保

(56)【参考文献】

【文献】特開２０１９－０７０８７１（ＪＰ，Ａ）

【文献】特開２０１０－２５０４２０（ＪＰ，Ａ）

【文献】特開２００７－２１３６２３（ＪＰ，Ａ）

【文献】特開２０１９－０７０８７０（ＪＰ，Ａ）

【文献】特開２０１９－０７０８７２（ＪＰ，Ａ）

【文献】特開２０１２－０９５７３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００

Ｇ０６Ｔ ７／１８７

(57)【特許請求の範囲】

【請求項1】

ターゲット画像におけるレンダリングされるべき第１対象、及び前記ターゲット画像における、前記第１対象の所属する第２対象を認識することと、
前記ターゲット画像及び前記第２対象に基づいて、タグを含む参照画像を生成することであって、前記参照画像のサイズは前記ターゲット画像と同じであり、前記タグは、前記第２対象の被覆範囲を記録するためのものである、ことと、
前記参照画像及び前記第１対象に基づいて、レンダリングされるべき領域を決定することであって、前記レンダリングされるべき領域は、前記タグに対応する被覆領域内に位置する、ことと、
ターゲット素材を利用して前記レンダリングされるべき領域に対してレンダリングを行い、レンダリング結果を生成することと、を含み、
前記第１対象は、瞳を含み、前記第２対象は、眼を含み、又は、
前記第１対象は、鼻梁を含み、前記第２対象は、鼻を含み、又は、
前記第１対象は、耳たぶを含み、前記第２対象は、耳を含むことを特徴とする、画像処理方法。

【請求項2】

前記ターゲット画像及び前記第２対象に基づいて、タグを含む参照画像を生成することは、
前記ターゲット画像と同じサイズの第１初期画像を生成することと、
前記第１初期画像において、前記第２対象の被覆領域をタグ付けし、前記参照画像を得ることと、を含むことを特徴とする
請求項１に記載の方法。

【請求項3】

前記第１初期画像において、前記第２対象の被覆領域をタグ付けし、前記参照画像を得ることは、
前記第１初期画像において、前記第２対象の被覆領域に含まれる少なくとも１つの画像点をターゲット画素値に変更し、前記参照画像を得ることを含むことを特徴とする
請求項２に記載の方法。

【請求項4】

前記参照画像及び前記第１対象に基づいて、レンダリングされるべき領域を決定することは、
前記ターゲット画像と同じサイズの第２初期画像を生成することと、
前記第２初期画像において、前記参照画像及び前記第１対象に基づいて、レンダリングされるべき領域を決定することと、を含むことを特徴とする
請求項１から３のうちいずれか一項に記載の方法。

【請求項5】

前記第２初期画像において、前記参照画像及び前記第１対象に基づいて、レンダリングされるべき領域を決定することは、
前記第２初期画像において、前記第１対象に対応する領域を初期レンダリングされるべき領域とすることと、
前記初期レンダリングされるべき領域の画素ドットをトラバースし、前記参照画像における、前記画素ドットに対応する位置に、前記タグが含まれる場合、前記画素ドットをレンダリングされるべき画素ドットとすることと、
前記レンダリングされるべき画素ドットからなる領域を前記レンダリングされるべき領域とすることと、を含むことを特徴とする
請求項４に記載の方法。

【請求項6】

前記ターゲット画像におけるレンダリングされるべき第１対象、及び前記ターゲット画像における、前記第１対象の所属する第２対象を認識することは、
前記ターゲット画像に対して特徴抽出を行い、前記第１対象に対応する第１特徴点集合及び前記第２対象に対応する第２特徴点集合をそれぞれ得ることと、
前記第１特徴点集合に含まれる第１特徴点を第１所定の方式で連結し、前記第１対象に対応する領域を得ることと、
前記第２特徴点集合に含まれる第２特徴点を第２所定の方式で連結し、前記第２対象に対応する領域を得ることと、を含むことを特徴とする
請求項１から５のうちいずれか一項に記載の方法。

【請求項7】

前記第１特徴点に含まれる第１特徴点を第１所定の方式で連結し、前記第1対象に対応する領域を得ることは、
少なくとも３つの前記第１特徴点を一組として、前記第１特徴点集合を分割し、少なくとも一組の第１特徴点サブ集合を得ることと、
少なくとも一組の前記第１特徴点サブ集合に含まれる前記第１特徴点を順次連結し、少なくとも１つの第１メッシュを得ることと、
前記少なくとも１つの第１メッシュで被覆される領域を第１対象に対応する領域とすることと、を含むことを特徴とする
請求項６に記載の方法。

【請求項8】

前記第２特徴点集合に含まれる第２特徴点を第２所定の方式で連結し、前記第２対象に対応する領域を得ることは、
少なくとも３つの前記第２特徴点を一組として、前記第２特徴点集合を分割し、少なくとも一組の第２特徴点サブ集合を得ることと、
少なくとも一組の前記第２特徴点サブ集合に含まれる前記第２特徴点を順次連結し、少なくとも１つの第２メッシュを得ることと、
前記少なくとも１つの第２メッシュで被覆される領域を第２対象に対応する領域とすることと、を含むことを特徴とする
請求項６又は７に記載の方法。

【請求項9】

前記方法は、
前記ターゲット画像の透明度を変更し、変更結果を得ることと、
前記レンダリング結果と前記変更結果をフュージョンし、フュージョン画像を得ることと、を更に含むことを特徴とする
請求項１から８のうちいずれか一項に記載の方法。

【請求項10】

ターゲット画像におけるレンダリングされるべき第１対象、及び前記ターゲット画像における、前記第１対象の所属する第２対象を認識するように構成される認識モジュールと、
前記ターゲット画像及び前記第２対象に基づいて、タグを含む参照画像を生成するように構成される参照画像生成モジュールであって、前記参照画像のサイズは前記ターゲット画像と同じであり、前記タグは、前記第２対象の被覆範囲を記録するためのものである、参照画像生成モジュールと、
前記参照画像及び前記第１対象に基づいて、レンダリングされるべき領域を決定するように構成されるレンダリングされるべき領域決定モジュールであって、前記レンダリングされるべき領域は、前記タグに対応する被覆領域内に位置する、レンダリングされるべき領域決定モジュールと、
ターゲット素材を利用して前記レンダリングされるべき領域に対してレンダリングを行い、レンダリング結果を生成するように構成されるレンダリングモジュールと、を備え、
前記第１対象は、瞳を含み、前記第２対象は、眼を含み、又は、
前記第１対象は、鼻梁を含み、前記第２対象は、鼻を含み、又は、
前記第１対象は、耳たぶを含み、前記第２対象は、耳を含むことを特徴とする、画像処理装置。

【請求項11】

プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
前記プロセッサは、前記メモリに記憶されている命令を呼び出して、請求項１から９のうちいずれか一項に記載の方法を実行するように構成されることを特徴とする、電子機器。

【請求項12】

コンピュータに請求項１から９のうちいずれか一項に記載の方法を実行させるためのコンピュータプログラムを記憶したことを特徴とする、コンピュータ可読記憶媒体。

【請求項13】

コンピュータに、請求項１から９のうちいずれか一項に記載の方法を実行させることを特徴とする、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本開示は、２０１９年１１月２２日に提出された出願番号２０１９１１１５４８０６．５、名称「画像処理方法及び装置、電子機器並びに記憶媒体」の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本開示に組み込まれる。

【0002】

本開示は、画像処理技術分野に関し、特に画像処理方法及び装置、電子機器並びに記憶媒体に関する。

【背景技術】

【0003】

画像レンダリングは、三次元の光エネルギー伝達を二次元画像に変換するプロセスである。シーン及びエンティティは、三次元形態で表され、現実世界に、より近似し、操縦及び変換が容易である。しかしながら、ターゲット対象に対してレンダリングを行う過程において、レンダリングに滲みが発生しやすい。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、画像処理の技術的解決手段を提供する。

【課題を解決するための手段】

【0005】

本開示の一態様によれば、画像処理方法を提供する。前記方法は、
ターゲット画像におけるレンダリングされるべき第１対象、及び前記ターゲット画像における、前記第１対象の所属する第２対象を認識することと、
前記ターゲット画像及び前記第２対象に基づいて、タグを含む参照画像を生成することであって、前記タグは、前記第２対象の被覆範囲を記録するためのものである、ことと、
前記参照画像及び前記第１対象に基づいて、レンダリングされるべき領域を決定することであって、前記レンダリングされるべき領域は、前記タグに対応する被覆領域内に位置する、ことと、
ターゲット素材を利用して前記レンダリングされるべき領域に対してレンダリングを行い、レンダリング結果を生成することと、を含む。

【0006】

１つの可能な実現形態において、前記ターゲット画像及び前記第２対象に基づいて、タグを含む参照画像を生成することは、
前記ターゲット画像と同じサイズの第１初期画像を生成することと、
前記第１初期画像において、前記第２対象の被覆領域をタグ付けし、前記参照画像を得ることと、を含む。

【0007】

１つの可能な実現形態において、前記第１初期画像において、前記第２対象の被覆領域をタグ付けし、前記参照画像を得ることは、
前記第１初期画像において、前記第２対象の被覆領域に含まれる少なくとも１つの画像点をターゲット画素値に変更し、前記参照画像を得ることを含む。

【0008】

１つの可能な実現形態において、前記参照画像及び前記第１対象に基づいて、レンダリングされるべき領域を決定することは、
前記ターゲット画像と同じサイズの第２初期画像を生成することと、
前記第２初期画像において、前記参照画像及び前記第１対象に基づいて、レンダリングされるべき領域を決定することと、を含む。

【0009】

１つの可能な実現形態において、前記第２初期画像において、前記参照画像及び前記第１対象に基づいて、レンダリングされるべき領域を決定することは、
前記第２初期画像において、前記第１対象に対応する領域を初期レンダリングされるべき領域とすることと、
前記初期レンダリングされるべき領域の画素ドットをトラバースし、前記参照画像における、前記画素ドットに対応する位置に、前記タグが含まれる場合、前記画素ドットをレンダリングされるべき画素ドットとすることと、
前記レンダリングされるべき画素ドットからなる領域を前記レンダリングされるべき領域とすることと、を含む。

【0010】

１つの可能な実現形態において、前記ターゲット画像におけるレンダリングされるべき第１対象、及び前記ターゲット画像における、前記第１対象の所属する第２対象を認識することは、
前記ターゲット画像に対して特徴抽出を行い、前記第１対象に対応する第１特徴点集合及び前記第２対象に対応する第２特徴点集合をそれぞれ得ることと、
前記第１特徴点集合に含まれる第１特徴点を第１所定の方式で連結し、前記第１対象に対応する領域を得ることと、
前記第２特徴点集合に含まれる第２特徴点を第２所定の方式で連結し、前記第２対象に対応する領域を得ることと、を含む。

【0011】

１つの可能な実現形態において、前記第１特徴点に含まれる第１特徴点を第１所定の方式で連結し、前記第1対象に対応する領域を得ることは、
少なくとも３つの前記第１特徴点を一組として、前記第１特徴点集合を分割し、少なくとも一組の第１特徴点サブ集合を得ることと、
少なくとも一組の前記第１特徴点サブ集合に含まれる前記第１特徴点を順次連結し、少なくとも１つの第１メッシュを得ることと、
前記少なくとも１つの第１メッシュで被覆される領域を第１対象に対応する領域とすることと、を含む。

【0012】

１つの可能な実現形態において、前記第２特徴点集合に含まれる第２特徴点を第２所定の方式で連結し、前記第２対象に対応する領域を得ることは、
少なくとも３つの前記第２特徴点を一組として、前記第２特徴点集合を分割し、少なくとも一組の第２特徴点サブ集合を得ることと、
少なくとも一組の前記第２特徴点サブ集合に含まれる前記第２特徴点を順次連結し、少なくとも１つの第２メッシュを得ることと、
前記少なくとも１つの第２メッシュで被覆される領域を第２対象に対応する領域とすることと、を含む。

【0013】

１つの可能な実現形態において、前記方法は、
前記ターゲット画像の透明度を変更し、変更結果を得ることと、
前記レンダリング結果と前記変更結果をフュージョンし、フュージョン画像を得ることと、を更に含む。

【0014】

１つの可能な実現形態において、前記第１対象は、瞳を含み、前記第２対象は、眼を含み、前記ターゲット素材は、瞳を美しくするための素材を含む。

【0015】

本開示の一態様によれば、画像処理装置を提供する。前記装置は、
ターゲット画像におけるレンダリングされるべき第１対象、及び前記ターゲット画像における、前記第１対象の所属する第２対象を認識するように構成される認識モジュールと、
前記ターゲット画像及び前記第２対象に基づいて、タグを含む参照画像を生成するように構成される参照画像生成モジュールであって、前記タグは、前記第２対象の被覆範囲を記録するためのものである、参照画像生成モジュールと、
前記参照画像及び前記第１対象に基づいて、レンダリングされるべき領域を決定するように構成されるレンダリングされるべき領域決定モジュールであって、前記レンダリングされるべき領域は、前記タグに対応する被覆領域内に位置する、レンダリングされるべき領域決定モジュールと、
ターゲット素材を利用して前記レンダリングされるべき領域に対してレンダリングを行い、レンダリング結果を生成するように構成されるレンダリングモジュールと、を備える。

【0016】

１つの可能な実現形態において、前記参照画像生成モジュールは、
前記ターゲット画像と同じサイズの第１初期画像を生成し、
前記第１初期画像において、前記第２対象の被覆領域をタグ付けし、前記参照画像を得るように構成される。

【0017】

１つの可能な実現形態において、前記参照画像生成モジュールは更に、
前記第１初期画像において、前記第２対象の被覆領域に含まれる少なくとも１つの画像点をターゲット画素値に変更し、前記参照画像を得るように構成される。

【0018】

１つの可能な実現形態において、レンダリングされるべき領域決定モジュールは、
前記ターゲット画像と同じサイズの第２初期画像を生成し、
前記第２初期画像において、前記参照画像及び前記第１対象に基づいて、レンダリングされるべき領域を決定するように構成される。

【0019】

１つの可能な実現形態において、前記レンダリングされるべき領域決定モジュールは更に、
前記第２初期画像において、前記第１対象に対応する領域を初期レンダリングされるべき領域とし、
前記初期レンダリングされるべき領域の画素ドットをトラバースし、前記参照画像における、前記画素ドットに対応する位置に、前記タグが含まれる場合、前記画素ドットをレンダリングされるべき画素ドットとし、
前記レンダリングされるべき画素ドットからなる領域を前記レンダリングされるべき領域とするように構成される。

【0020】

１つの可能な実現形態において、前記認識モジュールは、
前記ターゲット画像に対して特徴抽出を行い、前記第１対象に対応する第１特徴点集合及び前記第２対象に対応する第２特徴点集合をそれぞれ得て、
前記第１特徴点集合に含まれる第１特徴点を第１所定の方式で連結し、前記第１対象に対応する領域を得て、
前記第２特徴点集合に含まれる第２特徴点を第２所定の方式で連結し、前記第２対象に対応する領域を得るように構成される。

【0021】

１つの可能な実現形態において、前記認識モジュールは更に、
少なくとも３つの前記第１特徴点を一組として、前記第１特徴点集合を分割し、少なくとも一組の第１特徴点サブ集合を得て、
少なくとも一組の前記第１特徴点サブ集合に含まれる前記第１特徴点を順次連結し、少なくとも１つの第１メッシュを得て、
前記少なくとも１つの第１メッシュで被覆される領域を第１対象に対応する領域とするように構成される。

【0022】

１つの可能な実現形態において、前記認識モジュールは更に、
少なくとも３つの前記第２特徴点を一組として、前記第２特徴点集合を分割し、少なくとも一組の第２特徴点サブ集合を得て、
少なくとも一組の前記第２特徴点サブ集合に含まれる前記第２特徴点を順次連結し、少なくとも１つの第２メッシュを得て、
前記少なくとも１つの第２メッシュで被覆される領域を第２対象に対応する領域とするように構成される。

【0023】

１つの可能な実現形態において、前記装置は、フュージョンモジュールを更に備え、前記フュージョンモジュールは、
前記ターゲット画像の透明度を変更し、変更結果を得て、
前記レンダリング結果と前記変更結果をフュージョンし、フュージョン画像を得るように構成される。

【0024】

１つの可能な実現形態において、前記第１対象は、瞳を含み、前記第２対象は、眼を含み、前記ターゲット素材は、瞳を美しくするための素材を含む。

【0025】

本開示の一態様によれば、電子機器を提供する。前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
前記プロセッサは、上記画像処理方法を実行するように構成される。

【0026】

本開示の一態様によれば、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記画像処理方法を実現させる。

【0027】

本開示の一態様によれば、コンピュータ可読コードを含んでいるコンピュータプログラムを提供する。前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器におけるプロセッサは、画像処理方法を実行する。

【発明の効果】

【0028】

本開示の実施例に係る画像処理方法によれば、ターゲット画像におけるレンダリングされるべき第１対象、及び前記第１対象が所属する第２対象を認識し、ターゲット画像及び第２対象に基づいて、タグを含む参照画像を生成し、且つ参照画像及び第１対象に基づいて、タグに対応する被覆領域内に位置するレンダリングされるべき領域を決定することで、ターゲット素材を利用してレンダリングされるべき領域に対してレンダリングを行い、レンダリング結果を生成する。上記プロセスにより、第１対象の所属する第２対象に基づいて生成された、タグを含む参照画像に基づいて、第１対象をレンダリングする場合、レンダリング範囲を制約することで、レンダリング結果の信頼性及び真実性を向上させることができる。

【0029】

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本開示を限定するものではないことが理解されるべきである。本発明の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。

【図面の簡単な説明】

【0030】

【図1】本開示の一実施例による画像処理方法を示すフローチャートである。

【図2】本開示の一実施例によるターゲット画像を示す概略図である。

【図3】本開示の一実施例によるターゲット素材を示す概略図である。

【図4】本開示の一実施例による第１特徴点集合を示す概略図である。

【図5】本開示の一実施例による第２特徴点集合を示す概略図である。

【図6】本開示の一実施例による第２対象を示す概略図である。

【図7】本開示の一実施例による参照画像を示す概略図である。

【図8】本開示の一実施例によるレンダリング結果を示す概略図である。

【図9】本開示の一実施例によるフュージョン結果を示す概略図である。

【図10】本開示の一実施例による画像処理装置を示すブロック図である。

【図11】本開示の一実施例による電子機器を示すブロック図である。

【図12】本開示の一実施例による電子機器を示すブロック図である。

【0031】

ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本開示に適合する実施例を示し、かつ、明細書とともに本開示の技術的解決手段を解釈することに用いられる。

【発明を実施するための形態】

【0032】

以下、図面を参照しながら本開示の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。

【0033】

ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。

【0034】

本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。

【0035】

なお、本開示をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。

【0036】

図１は、本開示の一実施例による画像処理方法を示すフローチャートである。該方法は、画像処理装置に適用可能である。画像処理装置は、端末装置、サーバ又は他の処理装置等であってもよい。ここで、端末装置は、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。

【0037】

幾つかの可能な実現形態において、該画像処理方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。

【0038】

図１に示すように、前記画像処理方法は、以下を含んでもよい。

【0039】

ステップＳ１１において、ターゲット画像におけるレンダリングされるべき第１対象、及びターゲット画像における、第１対象の所属する第２対象を認識する。

【0040】

ステップＳ１２において、ターゲット画像及び第２対象に基づいて、タグを含む参照画像を生成し、タグは、第２対象の被覆範囲を記録するためのものである。

【0041】

ステップＳ１３において、参照画像及び第１対象に基づいて、レンダリングされるべき領域を決定し、レンダリングされるべき領域は、タグに対応する被覆領域内に位置する。

【0042】

ステップＳ１４において、ターゲット素材を利用してレンダリングされるべき領域をレンダリングし、レンダリング結果を得る。

【0043】

本開示の実施例に係る画像処理方法において、ターゲット画像におけるレンダリングされるべき第１対象、及び第１対象の所属する第２対象を認識し、ターゲット画像及び第２対象に基づいて、タグを含む参照画像を生成し、参照画像及び第１対象に基づいて、タグに対応する被覆領域内に位置するレンダリングされるべき領域を決定することで、ターゲット素材を利用してレンダリングされるべき領域に対してレンダリングを行い、レンダリング結果を生成する。上記プロセスにより、第１対象の所属する第２対象に基づいて生成された、タグを含む参照画像に基づいて、第１対象をレンダリングする場合、レンダリング範囲を制約することで、レンダリング結果の信頼性及び真実性を向上させることができる。

【0044】

上記実施例において、ターゲット画像の実現方式は限定されるものではない。レンダリングを必要とする如何なる画像はいずれもターゲット画像の実現方式とてもよい。１つの可能な実現形態において、ターゲット画像は、例えば、アバター画像、半身画像又は全身画像などのような、顔領域を含む対象であってもよい。

【0045】

図２は、本開示の一実施例によるターゲット画像を示す概略図である。図示されるように、本開示の実施例において、ターゲット画像は、顔を含むアバター画像であってもよい。ターゲット画像におけるレンダリングされるべき第１対象の具体的なコンテンツを実際のレンダリング需要に応じて確認することもでき、これは、本開示の実施例に限定されない。

【0046】

１つの可能な実現形態において、ターゲット画像が顔領域を含む対象である場合、第１対象は、瞳、鼻梁、耳たぶ又は唇などのような、顔における１つの部位であってもよい。それは、実際の需要に応じて決定されてもよい。第１対象の所属する第２対象の具体的なコンテンツは、第１対象の実際の状況に応じて柔軟に決定されてもよい。例えば、第１対象が瞳である場合、第２対象は、眼であってもよい。第１対象が鼻梁である場合、第２対象は、鼻であってもよい。第１対象が耳たぶである場合、第２対象は、耳であってもよい。第１対象が唇である場合、第２対象は、口部であってもよい。なお、ターゲット画像の数も限定されるものではない。１つの可能な実現形態において、ターゲット画像は、一枚のピクチャを含んでもよく、複数のピクチャを含んでもよい。つまり、複数枚のピクチャにおける対象を一括してレンダリングする。

【0047】

ターゲット画像、第１対象及び第２対象の実現方式がいずれも実際の状況に応じて柔軟に決定されてもよいため、ターゲット画像及び第２対象に基づいて生成された参照画像、参照画像に含まれるタグ、参照画像及び第１対象に基づいて決定されたレンダリングされるべき領域は、いずれもターゲット画像などの実現形態に応じて柔軟に変わってもよい。ここで、詳細に説明しないようにする。詳細は、下記各実施例を参照されたい。

【0048】

上記実施例のステップＳ１４から分かるように、レンダリング結果は、ターゲット素材に基づいてレンダリングされるべき領域をレンダリングすることで得られるものであってもよい。ターゲット素材の実現方式は、第１対象の実際の状況に応じて柔軟に設定されてもよい。下記各実施例に限定されるものではない。例えば、第１対象が瞳である場合、該ターゲット素材は、瞳を美しくする素材であってもよい。第１対象が鼻梁である場合、該ターゲット素材は、陰影素材であってもよい。第１対象が耳たぶである場合、該ターゲット素材は、イヤリング素材であってもよい。第１対象が唇である場合、該ターゲット素材は、口紅素材であってもよい。

【0049】

１つの可能な実現形態において、第１対象は、瞳対象を含んでもよく、第２対象は、眼対象を含んでもよく、ターゲット素材は、瞳を美しくするための素材を含んでもよい。一例において、瞳を美しくするための素材は、瞳美容素材であってもよい。該瞳美容素材の具体的なコンテンツは、柔軟に選択されて設定されてもよい。その取得方式は、実際の状況に応じて柔軟に決定されてもよい。一例において、瞳美容素材は、瞳美容素材ライブラリからランダムに選択されてもよい。一例において、瞳美容素材は、必要に応じて選択された特定の特定素材等であってもよい。図３は、本開示の一実施例によるターゲット素材を示す概略図である。図面から分かるように、本開示の例において、該ターゲット素材は、一定の光沢のあるテクスチャを有する紫色の瞳美容素材であってもよい（図面によって制限を受けるため、紫色は、図で見えていない）。

【0050】

瞳対象を含む第１対象、眼対象を含む第２対象及び瞳美容素材を含む瞳美容素材により、本開示の実施例で提供される画像処理方法を、顔画像に対して瞳を美しくして処理するプロセスに適用することができる。これにより、眼対象に基づいて生成されたタグ付き参照画像により、レンダリング範囲を効果的に制約し、レンダリング過程において瞳美容素材を瞳外の領域にレンダリングする可能性を減少させる。

【0051】

本開示の実施例の画像処理方法は、顔領域を含む画像の処理への適用に限定されず、任意の画像に適用可能であり、本開示は、これを限定するものではないことに留意されたい。

【0052】

ターゲット画像の取得方式は、限定されず、下記実施例に限定されるものではない。１つの可能な実現形態において、読み取り又は受信の方式により、ターゲット画像を取得することができる。１つの可能な実現形態において、能動的な撮影又は他の能動的な取得方式により、ターゲット画像を得る。

【0053】

上記実施例で得られたターゲット画像に基づいて、ステップステップＳ１１によりターゲット画像における第１対象及び第２対象を認識することができる。ステップＳ１１の実現形態は、限定されるものではない。１つの可能な実現形態において、ターゲット画像において対象検出を行う方式で、ターゲット画像におけるレンダリングされるべき第１対象及び第２対象を決定することができる。一例において、ターゲット画像において、第１対象に対する対象検出及び第２対象に対する対象検出をそれぞれ行うことができる。一例において、まず、ターゲット画像において第２対象に対する対象検出を行い、続いて、第２対象の検出結果に基づいて、ターゲット画像をトリミングし第２対象の画像を保留することもできる。第１対象が第２対象に属するため、トリミングされた画像において対象検出を更に行い、第１対象に対応する領域を得ることができる。

【0054】

対象検出の方式は本開示の実施例において限定されるものではない。画像からターゲット対象を検出できる如何なる方式は、対象検出の実現形態としてもよい。１つの可能な実現形態において、特徴抽出により、対象検出を実現させる。

【0055】

従って、１つの可能な実現形態において、ステップＳ１１は、以下を含んでもよい。

【0056】

ステップＳ１１１において、ターゲット画像に対して特徴抽出を行い、第１対象に対応する第１特徴点集合及び第２対象に対応する第２特徴点集合をそれぞれ得る。

【0057】

ステップＳ１１２において、第１特徴点集合に含まれる第１特徴点を第１所定の方式で連結し、第１対象に対応する領域を得る。

【0058】

ステップＳ１１３において、第２特徴点集合に含まれる第２特徴点を第２所定の方式で連結し、第２対象に対応する領域を得る。

【0059】

ターゲット画像に対して特徴抽出を行うことで、第１特徴点集合及び第２特徴点集合を得て、更に、第１特徴点集合における点を第１所定の方式で連結することで第１対象に対応する領域を得て、第２特徴点集合における点を第２所定の方式で連結することで連結することで第２対象に対応する領域を得る。ここで、第１対象に対応する領域は、第１対象の被覆領域と呼ばれてもよく、第２対象に対応する領域は、第２対象の被覆領域と呼ばれてもよい。

【0060】

上記プロセスにより、特徴抽出により、第１特徴点集合及び第２特徴点集合に基づいて、ターゲット画像での、第１対象と第２対象の位置を迅速に位置決めすることで、第１対象に対応する領域及び第１対象の所属する第２対象に対応する領域を得ることができる。後続で、第２対象の位置により、第１対象のレンダリングプロセスを制約することを容易にし、レンダリング結果の信頼性を向上させる。

【0061】

上記実施例において、ステップＳ１１１の実現形態は限定されるものではない。つまり、特徴抽出の具体的な形態は、本開示の実施例において限定されるものではない。特徴抽出を実行できる如何なる演算方法は、いずれもステップＳ１１１の実現形態としてもよい。

【0062】

上記実施例に記載したように、第１対象及び第２対象に対する対象検出の順番は、実際の状況に応じて柔軟に選択されてもよい。特徴抽出は、対象検出の１つの可能な実現形態であるため、第１対象及び第２対象に対して同時に特徴抽出を行ってもよい。また、まず第２対象に対して特徴抽出を行い、更に、第１対象に対して特徴抽出を行う。両者の特徴抽出方式は、同じであっても異なってもよい。ここで、詳細な説明を省略する。上記要因によれば、第１特徴点集合と第２特徴点集合という両者は、共通の特徴点を有してもよく、共通の特徴点を有しなくてもよい。共通の特徴を有するかどうかに関わらず、後続で第１対象に対応する領域及び第２対象に対応する領域を得る過程に影響を与えない。従って、本開示の実施例において、２つの特徴点集合間の関係を限定するものではない。図４は、本開示の一実施例による第１特徴点集合を示す概略図である。図５は、本開示の一実施例による第２特徴点集合を示す概略図である。図示されるように、一例において、図４における第１特徴点集合は、図２における顔画像に対して瞳特徴点抽出を行うことで得られた点集合である。図５における第２特徴点集合は、第２における顔画像に対して眼特徴点抽出を行うことで得られた点集合である。図面から分かるように、本開示の例における第１特徴点集合及び第２特徴点集合は、ターゲット画像に対してそれぞれ特徴抽出を行うことで得られたものである。第１特徴点集合と第２特徴点集合は、瞳と眼との境界で、重なり合った特徴点を有する。

【0063】

第１特徴点集合及び第２特徴点集合を得た後、ステップＳ１１２及びステップＳ１１３により、第１対象に対応する領域及び第２対象に対応する領域を得ることができる。本開示の実施例において、ステップＳ１１２とステップＳ１１３の実行順番は限定されるものではなく、同時に実行されてもよく、順次実行されてもよい。順次実行される場合、まずステップＳ１１２を実行してもよく、まずステップＳ１１３を実行してもよい。ここで、限定されるものではない。

【0064】

ステップＳ１１２から分かるように、第１対象の取得過程は、第１特徴点集合を第１所定の方式で連結することであってもよい。第１所定の方式の具体的な実現形態は、本開示の実施例において限定されるものではない。第１対象の実際の状況に応じて決定されてもよい。ここで、限定されるものではない。同様に、第２対象に対応する領域を得るための第２所定の方式は、実際の状況に応じて柔軟に選択されてもよい。第２所定の方式は、第１所定の方式と同じであってもよく異なってもよい。

【0065】

１つの可能な実現形態において、ステップＳ１１２は、
第１特徴点集合に含まれる第１特徴点を第１所定の方式の順番に応じて連結し、少なくとも１つの第１メッシュを得て、第１メッシュで被覆される領域を第１対象に対応する領域とすることを含んでもよい。

【0066】

上記実施例から分かるように、第１対象に対応する領域を得る場合、第１特徴点集合に含まれる第１特徴点を第１所定の方式の順番に応じて連結することができる。上記実施例に記載したように、第１所定の方式は、実際の状況に応じて設定されてもよい。従って、第１特徴点の連結順番も、事前設定された方式で決定される。第１特徴点を所定の順番で連結した後、少なくとも１つのメッシュを得る。本開示の実施例において、該メッシュを第１メッシュと呼んでもよい。第１メッシュの数及び形状は、いずれも、第１特徴点集合に含まれる第１特徴点の数及び第１所定の方式に応じて決定されてもよい。一例において、第１所定の方式は、第１特徴点集合における３つずつの第１特徴点を一組として連結し、複数の三角メッシュを構成することであってもよい。具体的にはどのような３つの点を一組とするかを限定せず、実際の状況に応じて設定してもよい。一例において、第１所定の方式は、第１特徴点集合における４つずつの第１特徴点を一組として連結し、複数の四角メッシュを構成することであってもよい。同様に、分割方式は限定されるものではない。

【0067】

上記所定の方式の例から分かるように、１つの可能な実現形態において、ステップＳ１１２は以下を含んでもよい。

【0068】

ステップＳ１１２１において、少なくとも３つの第１特徴点を一組として、第１特徴点集合を分割し、少なくとも一組の第１特徴点サブ集合を得る。

【0069】

ステップＳ１１２２において、少なくとも一組の第１特徴点サブ集合に含まれる第１特徴点を順次連結し、少なくとも１つの第１メッシュを得る。

【0070】

ステップＳ１１２３において、少なくとも１つの第１メッシュで被覆される領域を第１対象に対応する領域とする。

【0071】

ここで、一組とした第１特徴点の数は、３個であってもよく、３個より多くてもよい。例えば、４個、５個又は６個等であってもよく、ここでこれを限定するものではない。上記過程により、第１特徴点集合の実際の状況に応じて、第１対象の所在する領域を効果的に完全に被覆することができ、多すぎる計算リソースを必要とせず、第１対象を迅速かつ効果的に決定し、後続のレンダリング過程に備える。

【0072】

同様に、１つの可能な実現形態において、ステップＳ１１３は、
第２特徴点集合に含まれる第２特徴点を第２所定の方式の順番に応じて連結し、少なくとも１つの第２メッシュを得て、第２メッシュで被覆される領域を第２対象に対応する領域とすることを含んでもよい。

【0073】

上記実施例の具体的な実現過程は、第１対象の実現過程を参照することができる。１つの可能な実現形態において、ステップＳ１１３は、以下を含んでもよい。

【0074】

ステップＳ１１３１において、少なくとも３つの第２特徴点を一組として、第２特徴点集合を分割し、少なくとも一組の第２特徴点サブ集合を得る。

【0075】

ステップＳ１１３２において、少なくとも一組の第２特徴点サブ集合に含まれる第２特徴点を順次連結し、少なくとも１つの第２メッシュを得る。

【0076】

ステップＳ１１３３において、少なくとも１つの第２メッシュで被覆される領域を第２対象に対応する領域とする。

【0077】

図６は、本開示の一実施例による第２対象を示す概略図である。図面から分かるように、一例において、図５における第２特徴点集合における第２特徴点を第２所定の方式で連結し、３つのメッシュを得ることができる。これらの三角メッシュは、共同で第２対象に対応する領域を構成する。

【0078】

ここで、上記第１メッシュ及び第２メッシュは、ポリゴンメッシュ（Ｐｏｌｙｇｏｎ ｍｅｓｈ）として、三次元コンピュータグラフィックスにおける多面体形状の頂点と多辺形の集合を表すものであり、非構造メッシュとも呼ばれる。例示的には、第１メッシュ及び第２メッシュは、三角メッシュの形態を用いてもよい。三角メッシュにより、第１対象に対応する領域及び第２対象に対応する領域を囲んで形成することで、後続のレンダリングに寄与する。

【0079】

第１対象及び第２対象を決定した後、ステップＳ１２により、ターゲット画像及び第２対象に基づいて、タグを含む参照画像を生成することができ、タグは、第２対象の被覆領域を記録するためのものである。ステップＳ１２の実現形態は、第１対象及び第２対象の実際の状況に応じて柔軟に決定されてもよく、下記実施例に限定されるものではない。１つの可能な実現形態において、ステップＳ１２は、以下を含んでもよい。

【0080】

ステップＳ１２１において、サイズがターゲット画像のサイズと同じである第１初期画像を生成する。

【0081】

ステップＳ１２２において、第１初期画像において、第２対象の被覆領域をタグ付けし、参照画像を得る。

【0082】

サイズがターゲット画像のサイズと同じである第１初期画像を生成し、第１初期画像において、第２対象の被覆領域をタグ付けし、参照画像を得る。該過程において、サイズがターゲット画像のサイズと同じである再構成画像を利用して、ターゲット画像における、第２対象の位置を効果的にタグ付けすることで、後続のレンダリング過程において、タグに基づいて、第１対象をレンダリングする場合、レンダリングされる画素が第２対象の位置制約を超えているかどうかを決定し、レンダリングに滲みが発生する可能性を減少させ、レンダリングの信頼性及び真実性を向上させることができる。

【0083】

上記実施例において、第１初期画像の寸法は、ターゲット画像の寸法と同じである。その具体的な画像コンテンツは、本開示の実施例において限定されるものではない。一例において、第１初期画像は、空白画像であってもよい。一例において、第１初期画像は、テクスチャで覆われた画像であってもよい。被覆用テクスチャは、本開示の実施例において限定されるものではなく、実際の状況に応じて柔軟に設定されてもよい。ここで、テクスチャは、物体の表面の細部を表す一枚又は複数枚の二次元ピクチャであり、テクスチャマッピング（ｔｅｘｔｕｒｅ ｍａｐｐｉｎｇ）と呼ばれてもよい。一例において、第１初期画像は、単色のテクスチャで覆われた画像であってもよい。該テクスチャの色は、柔軟に設定されてもよく、黒色、白色又は赤色等であってもよい。第１初期画像の生成過程は、本開示の実施例において限定されるものではない。ターゲット画像のサイズを読み取った後に構築された同一のサイズの画像であってもよい。

【0084】

第１初期画像を生成した後、ステップＳ１２２により、第１初期画像において、第２対象の被覆領域をタグ付けし、参照画像を得ることができる。第１初期画像のサイズがターゲット画像のサイズと同じであるため、第１初期画像における、タグ付けされた領域の位置は、ターゲット画像における、第２対象の位置と一致する。タグ付け方式は、本開示の実施例において限定されるものではない。第１初期画像において第２対象に対応する領域と第１初期対象自体の他の領域を区分できる如何なるタグ付け方式は、タグ付けの実現形態としてもよい。１つの可能な実現形態において、タグ付けの方式は、第１初期画像において、タグ付けを必要とする位置にタグを追加することであってもよい。タグは、符号、データ又はテクスチャ等であってもよく、ここで限定されるものではない。

【0085】

１つの可能な実現形態において、タグ付けは、画像における画素値を調整する方式で実現することができる。該実現形態において、ステップＳ１２２は、
第１初期画像において、第２対象の被覆領域に含まれる少なくとも１つの画素ドットをターゲット画素値に変更し、参照画像を得ることを含んでもよい。

【0086】

ここで、ターゲット画像値を有する画像領域は、参照画像における、タグを含む画像領域である。なお、第１初期画像について、第２対象の被覆領域に対して画素値をタグ付けするに加えて、第２対象の被覆領域以外の他の領域をターゲット画素値と異なる画素値に調整することで、２つの異なる領域を明らかに区分することを実現させることもできる。

【0087】

第１初期画像において、第２対象の被覆領域に含まれる少なくとも１つの画素ドットをターゲット画素値に変更し、参照画像を得る。第２対象の被覆領域の色の変更というような簡単な方式で、第２対象の被覆領域のタグ付けを実現させ、プロセスが簡単であり、コストを節約する。

【0088】

１つの可能な実現形態において、ステップＳ１２２は、
第１初期画像において、第２対象の被覆領域を所定のテクスチャによりレンダリングし、参照画像を得ることを含んでもよい。

【0089】

上記実施例において、第２対象に対応する領域をレンダリングするための所定のテクスチャの具体的な実現形態は、本開示の実施例において限定されるものではなく、第２対象に対応する領域と第１初期画像の他の領域を区分できるものであればよい。一例において、第１初期画像が空白画像である場合、所定のテクスチャは、空白領域を含まない任意のテクスチャであってもよい。一例において、第１初期画像が単色のテクスチャで覆われた場合、所定のテクスチャは、該色を含まない任意のテクスチャであってもよい。図７は、本開示の一実施例による参照画像を示す概略図である。図面から分かるように、本開示の例において、第１初期画像は、黒色テクスチャで覆われた画像であり、第２対象を赤色テクスチャによりレンダリングすることで、図示される参照画像を得る。

【0090】

第１初期画像において、第２対象の被覆領域を所定のテクスチャによりレンダリングすることで参照画像を得る。簡単な方式で、参照画像において、第２対象の位置をタグ付けすることができる。後続でタグに基づいて、レンダリングされるべき領域に対するレンダリングのために、十分な準備を行う。それと同時に、タグ付けされた第２対象のレンダリングをレンダリング過程全体に適用する。同一のレンダリング手段により、画像処理過程全体を完了し、余分なリソース消費を減少させ、画像処理全体の構造を向上させると共にコストを節約する。

【0091】

参照画像を得た後、ステップＳ１３により、レンダリングされるべき領域を決定することができる。１つの可能な実現形態において、ステップＳ１３は以下を含んでもよい。

【0092】

ステップＳ１３１において、サイズがターゲット画像のサイズと同じである第２初期画像を生成する。

【0093】

ステップＳ１３２において、第２初期画像において、参照画像及び第１対象に基づいて、レンダリングされるべき領域を決定する。

【0094】

上記実施例にのいて、サイズがターゲット画像のサイズと同じである第２初期画像において、参照画像及び第１対象に基づいて、レンダリングされるべき領域を決定する。参照画像がターゲット画像における、第２対象の位置に基づいて生成されたものであるため、上記過程において、レンダリングされるべき領域は、第２対象の位置により制約される。これにより、レンダリングの場合、必要なレンダリング範囲から滲みが発生する可能性を減少させ、レンダリング結果の信頼性を向上させることができる。

【0095】

具体的には、参照画像及び第１対象に基づいてレンダリングされるべき領域を如何に決定するかに関わる具体的な実現形態は、参照画像におけるタグの実際の状況に応じて柔軟に決定されてもよい。１つの可能な実現形態において、ステップＳ１３２は以下を含んでもよい。

【0096】

ステップＳ１３２１において、第２初期画像において、第１対象に対応する領域を初期レンダリングされるべき領域とする。

【0097】

ステップＳ１３２２において、初期レンダリングされるべき領域の画素ドットをトラバースし、参照画像における、画素ドットに対応する位置に、タグが含まれる場合、画素ドットをレンダリングされるべき画素ドットとする。

【0098】

ステップＳ１３２３において、レンダリングされるべき画素ドットからなる領域をレンダリングされるべき領域とする。

【0099】

ステップＳ１３２１において、第２初期画像の生成過程と実現形態はいずれも限定されるものではなく、上記実施例で提出された第１初期画像の生成過程と実現形態を参照することができる。ここで、詳細な説明を省略する。第２初期画像の実現形態は、第１初期画像と同じであっても異なってもよい。

【0100】

第２初期画像を生成した後、ステップＳ１３２２により、初期レンダリングされるべき領域の画素ドットをトラバースすることができる。各画素ドットまでトラバースされる時、参照画像において、該画素ドットと同一の位置を持つ画像点を探すことができる。本開示の実施例において、トラバースした画像点をトラバース画素ドットと表記し、参照画像における対応する画素ドットを参照画像点と表記してもよい。続いて、参照画素ドットがタグ付けされているかどうかを判定することができる。上記実施例で開示された内容から分かるように、参照画像におけるタグ付けされた領域は、ターゲット画像における、第２対象の位置である。従って、参照画素ドットがタグ付けされた場合、レンダリングされるべき領域におけるトラバース画素ドットは、第２対象の範囲内に位置することを示す。この場合、トラバース画素ドットは、待レンダリング画素ドットとして、ターゲット素材によるレンダリングを待つ。参照画素ドットがタグ付けされていない場合、レンダリングされるべき領域におけるトラバース画素ドットが第２対象の範囲を超えたことを示す。この場合、該トラバース画素ドットをレンダリングすると、レンダリングが所定の範囲を超えることが発生する可能性がある。従って、該参照画素ドットを、レンダリングされるべき画素ドットとしなくてもよい。

【0101】

初期レンダリングされるべき領域における画素ドットをトラバースした後、全てのレンダリングされるべき画素ドットを得ることができる。これらのレンダリングされるべき画素ドットは、共同でレンダリングされるべき領域を構成することができる。

【0102】

レンダリングされるべき領域を得た後、ステップＳ１４により、ターゲット素材を利用して、レンダリングされるべき領域をレンダリングし、レンダリング結果を得ることができる。レンダリングの具体的な方式は、本開示の実施例において、限定されるものではなく、適用可能な如何なるレンダリング方法は、本開示の実施例における実現形態としてもよい。一例において、ＯｐｅｎＧＬにより、シェイダーｓｈａｄｅｒにおいて、レンダリングを実現させることができる。上記実施例で提出された、第１初期画像において所定のテクスチャによりレンダリングを行うための具体的な実現形態は、同様のレンダリング方式を用いてもよい。図８は、本開示の一実施例によるレンダリング結果を示す概略図である。図面から分かるように、第２初期画像は、黒色テクスチャで覆われた画像であり、図３に示した瞳美容素材によりレンダリングされ、図示したレンダリング結果を得る。

【0103】

第２初期画像において、第１対象に対応する領域を初期レンダリングされるべき領域として、初期レンダリングされるべき領域における画素ドットをトラバースし、参照画像における、該画素ドットに対応する画素ドットがタグ付けされた場合、該画素ドットをレンダリングされるべき画素ドットとし、レンダリングされるべき画素ドットからなる領域をレンダリングされるべき領域とする。該過程によれば、ターゲット素材によるレンダリングを必要とする領域をトリミングし、該領域が第１対象の所属する第２対象の制約範囲を超える可能性を減少させ、レンダリング結果の信頼性及び真実性を向上させる。

【0104】

レンダリング結果を得た後、該レンダリング結果と元のターゲット画像を結合することで、ターゲット画像に対して修飾又は洗練を更に行うことができる。具体的な結合方式は、ターゲット画像及びターゲット素材の実際の状況に応じて決定されてもよい。例えば、ターゲット画像が顔領域を含む画像であり、ターゲット素材が瞳美容素材である場合、該結合は、レンダリング結果とターゲット画像をフュージョンする等であってもよい。従って、１つの可能な実現形態において、本開示の実施例で提出された方法は、以下を更に含んでもよい。

【0105】

ステップＳ１５において、ターゲット画像の透明度を変更し、変更結果を得る。

【0106】

ステップＳ１６において、レンダリング結果と変更結果をフュージョンし、フュージョン画像を得る。

【0107】

上記実施例において、ターゲット画像の透明度変更に関わる具体的な数値は、限定されるものではなく、実際の状況に応じて柔軟に設定されてもよく、レンダリング結果とターゲット画像とのフュージョン結果を確保できるものであればよい。レンダリング結果を生成する第２初期画像のサイズがターゲット画像のサイズと同じであるため、レンダリング結果は、ターゲット画像における対応する位置に効果的にフュージョンされることが可能である。例えば、ターゲット画像が顔画像であり、ターゲット素材が瞳美容素材である場合、フュージョン結果における瞳美容素材がレンダリングされた位置は、顔画像における、瞳の位置と一致するため、レンダリング結果と透明度が変更されたターゲット画像をフュージョンする場合、レンダリングされた瞳美容素材は、自然に顔画像における、瞳の所在する位置にフュージョンされ、顔画像における瞳美容効果を実現させる。図９は、本開示の一実施例によるフュージョン結果を示す概略図である。図面から分かるように、上記各実施例で提出された画像処理方法によれば、図３における瞳美容素材を図２における顔画像の瞳位置に効果的かつ正確にフュージョンすることができる。

【0108】

適用シーンの例
顔画像に対してメイクアップを行うことは、顔画像処理における主流となる方式である。例えば、顔画像に対する瞳美容、顔画像の口部への口紅追加又は鼻梁部位への陰影追加などを行う。瞳美容を例として、顔画像を瞳美容素材によりレンダリングする場合、顔画像における眼の開閉度が異なる可能性があるため、瞳美容過程において、瞳美容素材をまぶた又はまぶた外などの領域にレンダリングする可能性が極めて高い。これにより、瞳美容結果が不正確であり、瞳美容結果の真実性を低減させる。

【0109】

従って、確実なレンダリング方式による画像処理過程は、瞳美容の品質を大幅に向上させ、該画像処理方法の品質を向上させて適用範囲を拡大することができる。

【0110】

図２～図９に示すように、本開示の実施例は、画像処理方法を提供する。該処理方法の具体的な過程は以下の通りであってもよい。

【0111】

図２は、瞳美容を必要とする顔画像（即ち、上記各実施例に記載したターゲット画像）である。本開示の適用例において、まず、特徴点抽出により、該顔画像の瞳輪郭点（図４に示す）をそれぞれ抽出して第２対象の第２特徴点集合とし、眼輪郭点（図５に示す）を抽出して第１対象の第１特徴点集合とする。眼輪郭点を得た後、眼輪郭点を所定の順番に応じて連結して眼三角メッシュを得て第１メッシュ（図６に示す）とすることができる。同様に、瞳輪郭点を所定の順番に応じて連結してもう１つの瞳三角メッシュを得て第２メッシュとすることもできる。

【0112】

図６に示した眼三角メッシュを得た後、サイズが図２のサイズと同じである黒色テクスチャマッピングを作成して第１初期画像する。続いて、黒色テクスチャマッピング及び図６における眼三角メッシュの頂点座標をｓｈａｄｅｒに入力し、ＯｐｅｎＧＬにより、黒色テクスチャマッピングにおける、眼三角メッシュに対応する位置での画素ドットを赤色にレンダリングしてタグとする。他の位置での画素ドットを元の状態のままにする。これにより、眼輪郭のｍａｓｋテクスチャを得る。つまり、タグを含む参照画像（図７に示す）を得る。

【0113】

眼輪郭のｍａｓｋテクスチャを得た後、該眼輪郭のｍａｓｋテクスチャ及びこの前に得た瞳三角メッシュの頂点座標、並びに図３に示した瞳美容素材を共同でｓｈａｄｅｒに入力することで、瞳美容素材のレンダリングを実現させる。本開示の適用例において、瞳美容素材のレンダリング過程は以下の通りであってもよい。まず、黒色テクスチャマッピングを生成して第２初期画像とする。続いて、瞳三角メッシュの頂点座標に基づいて、瞳の位置を決定する。瞳位置での各画素ドットをトラバースする。１つの画像点までにトラバースされるたびに、眼輪郭のｍａｓｋテクスチャにおける、該画素ドットに対応する画素ドットの色が赤色であるかどうかを判定する。赤色であると、該画素ドットが眼の範囲内であり、レンダリングされるべき画素ドットであり、瞳美容素材を該画素ドットにレンダリングしてもよいことを示す。赤色ではないと、該画素ドットが眼の範囲外に位置し、瞳美容素材を該画素ドットにレンダリングしなくてもよいことを示す。瞳位置での各画素ドットがいずれもトラバースされた後、レンダリング結果を得ることができる。該レンダリング結果は、トリミングされた瞳美容素材と見なされてもよく、また、該瞳美容素材の位置は、顔画像における、瞳の位置と一致する。レンダリング結果は、図8に示すとおりである。

【0114】

レンダリング結果を得た後、レンダリング結果と初期顔画像を透明度フュージョンすることができる。レンダリング結果の位置は、顔画像における、瞳の位置と一致するため、フュージョンされた瞳は、顔画像の瞳に正確にフュージョンされる。これにより、顔の瞳美容を実現させる。フュージョン結果は図９に示すとおりである。図面から分かるように、上記過程によれば、確実な瞳美容結果を得ることができる。フュージョンされた瞳は、瞳の範囲を超えることなく、眼周位置にレンダリングされることもない。

【0115】

本開示の実施例の画像処理方法は、上記顔領域を含む画像の処理への適用に限定されず、顔画像に対する瞳美容処理過程にも限定されず、任意の画像処理に適用可能であり、本開示は、これを限定するものではないことに留意されたい。

【0116】

本開示に言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本開示において逐一説明しないことが理解されるべきである。

【0117】

具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、当業者であれば理解すべきである。

【0118】

図１０は、本開示の実施例による画像処理装置を示すブロック図である。該画像処理装置は、端末装置、サーバ又は他の処理装置等であってもよい。ここで、端末装置は、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。

【0119】

幾つかの可能な実現形態において、該画像処理装置は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。

【0120】

図１０に示すように、前記画像処理装置２０は、
ターゲット画像におけるレンダリングされるべき第１対象、及び前記ターゲット画像における、前記第１対象の所属する第２対象を認識するように構成される認識モジュール２１と、
前記ターゲット画像及び前記第２対象に基づいて、タグを含む参照画像を生成するように構成される参照画像生成モジュール２２であって、前記タグは、前記第２対象の被覆範囲を記録するためのものである、参照画像生成モジュール２２と、
参照画像及び第１対象に基づいて、レンダリングされるべき領域を決定するように構成されるレンダリングされるべき領域決定モジュール２３であって、レンダリングされるべき領域は、タグに対応する被覆領域内に位置する、レンダリングされるべき領域決定モジュール２３と、
ターゲット素材を利用してレンダリングされるべき領域に対してレンダリングを行い、レンダリング結果を生成するように構成されるレンダリングモジュール２４と、を備えてもよい。

【0121】

１つの可能な実現形態において、参照画像生成モジュールは、サイズがターゲット画像のサイズと同じである第１初期画像を生成し、第１初期画像において、第２対象の被覆領域をタグ付けし、参照画像を得るように構成される。

【0122】

１つの可能な実現形態において、参照画像生成モジュールは更に、第１初期画像において、第２対象の被覆領域に含まれる少なくとも１つの画像点をターゲット画素値に変更し、参照画像を得るように構成される。

【0123】

１つの可能な実現形態において、レンダリングされるべき領域決定モジュールは、サイズがターゲット画像のサイズと同じである第２初期画像を生成し、第２初期画像において、参照画像及び第１対象に基づいて、レンダリングされるべき領域を決定するように構成される。

【0124】

１つの可能な実現形態において、レンダリングされるべき領域決定モジュールは更に、第２初期画像において、第１対象に対応する領域を初期レンダリングされるべき領域とし、初期レンダリングされるべき領域の画素ドットをトラバースし、参照画像における、画素ドットに対応する位置に、タグが含まれる場合、画素ドットをレンダリングされるべき画素ドットとし、レンダリングされるべき画素ドットからなる領域をレンダリングされるべき領域とするように構成される。

【0125】

１つの可能な実現形態において、認識モジュールは、ターゲット画像に対して特徴抽出を行い、第１対象に対応する第１特徴点集合及び第２対象に対応する第２特徴点集合をそれぞれ得て、第１特徴点集合に含まれる第１特徴点を第１所定の方式で連結し、第１対象に対応する領域を得て、第２特徴点集合に含まれる第２特徴点を第２所定の方式で連結し、第２対象に対応する領域を得るように構成される。

【0126】

１つの可能な実現形態において、認識モジュールは更に、少なくとも３つの第１特徴点を一組として、第１特徴点集合を分割し、少なくとも一組の第１特徴点サブ集合を得て、少なくとも一組の第１特徴点サブ集合に含まれる第１特徴点を順次連結し、少なくとも１つの第１メッシュを得て、少なくとも１つの第１メッシュで被覆される領域を第１対象に対応する領域とするように構成される。

【0127】

１つの可能な実現形態において、認識モジュールは更に、少なくとも３つの第２特徴点を一組として、第２特徴点集合を分割し、少なくとも一組の第２特徴点サブ集合を得て、少なくとも一組の第２特徴点サブ集合に含まれる第２特徴点を順次連結し、少なくとも１つの第２メッシュを得て、少なくとも１つの第２メッシュで被覆される領域を第２対象に対応する領域とするように構成される。

【0128】

１つの可能な実現形態において、装置は、フュージョンモジュールを更に備え、フュージョンモジュールは、ターゲット画像の透明度を変更し、変更結果を得て、レンダリング結果と変更結果をフュージョンし、フュージョン画像を得るように構成される。

【0129】

１つの可能な実現形態において、第１対象は、瞳を含み、第２対象は、眼を含み、ターゲット素材は、瞳を美しくするための素材を含む。

【0130】

本開示の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記方法を実現させる。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。

【0131】

本開示の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、プロセッサは、上記方法を実行するように構成される。

【0132】

電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。

【0133】

図１１は本開示の実施例による電子機器８００を示すブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。

【0134】

図１１を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４及び通信コンポーネント８１６のうちの１つ又は複数を備えてもよい。

【0135】

処理コンポーネント８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理コンポーネント８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理コンポーネント８０２はマルチメディアモジュールを備えることで、マルチメディアコンポーネント８０８と処理コンポーネント８０２とのインタラクションに寄与する。

【0136】

メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、読出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。

【0137】

電源コンポーネント８０６は電子機器８００の様々なユニットに電力を提供する。電源コンポーネント８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。

【0138】

マルチメディアコンポーネント８０８は、上記電子機器８００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアコンポーネント８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又はビデオモードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。

【0139】

オーディオコンポーネント８１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント８１０は、マイクロホン（ＭＩＣ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信コンポーネント８１６を経由して送信することができる。幾つかの実施例において、オーディオコンポーネント８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。

【0140】

Ｉ／Ｏインタフェース８１２は、処理コンポーネント８０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。

【0141】

センサコンポーネント８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサコンポーネント８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサコンポーネント８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサコンポーネント８１４は、ＣＭＯＳ又はＣＣＤ画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサコンポーネント８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。

【0142】

通信コンポーネント８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信コンポーネント８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信コンポーネント８１６は、近接場通信（ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及び他の技術に基づいて実現される。

【0143】

例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。

【0144】

例示的な実施例において、コンピュータプログラム命令を記憶したメモリ８０４のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され上記方法を完了する。

【0145】

図１２は、本開示の実施例による電子機器１９００を示すブロック図である。例えば、電子機器１９００は、サーバとして提供されてもよい。図１２を参照すると、電子機器１９００は、処理コンポーネント１９２２を備える。それは1つ又は複数のプロセッサと、メモリ１９３２で表されるメモリリソースを更に備える。該メモリリースは、アプリケーションプログラムのような、処理コンポーネント１９２２により実行される命令を記憶するためのものである。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は1つ以上のモジュールを含んでもよい。なお、処理コンポーネント１９２２は、命令を実行して、上記方法を実行するように構成される。

【0146】

電子機器１９００は、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６と、電子機器１９００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース１９５０と、入力出力（Ｉ／Ｏ）インタフェース１９５８を更に備えてもよい。電子機器１９００は、メモリ１９３２に記憶されているオペレーティングシステム、例えば、Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭ又は類似したオペレーティングシステムを実行することができる。

【0147】

例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ１９３２のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２により実行されて上記方法を完了する。

【0148】

本開示は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本開示の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。

【0149】

コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。

【0150】

ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。

【0151】

本開示の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよく、ユーザコンピュータ上で部分的に実行してもよく、独立したソフトウェアパッケージとして実行してもよく、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよく、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本開示の各態様を実現させることができる。

【0152】

ここで、本開示の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本開示の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。

【0153】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び/又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能/操作を実現する各態様の命令を含む製品を備える。

【0154】

コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現させる。

【0155】

図面におけるフローチャート及びブロック図は、本開示の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができることにも留意されたい。

【0156】

以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術への改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】