特許 7316387 顔画像の処理方法、デバイス、可読媒体及び電子装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-19

(45)【発行日】2023-07-27

(54)【発明の名称】顔画像の処理方法、デバイス、可読媒体及び電子装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20230720BHJP

   G06T 7/00 20170101ALI20230720BHJP

【ＦＩ】

G06T1/00 340A

G06T7/00 660A

【請求項の数】 11

(21)【出願番号】P 2021571584

(86)(22)【出願日】2020-11-06

(65)【公表番号】

(43)【公表日】2022-08-09

(86)【国際出願番号】 CN2020127260

(87)【国際公開番号】W WO2021139382

(87)【国際公開日】2021-07-15

【審査請求日】2021-12-06

(31)【優先権主張番号】202010010716.5

(32)【優先日】2020-01-06

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520476341

【氏名又は名称】北京字節跳動網絡技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】▲諸▼葛 晶晶

(72)【発明者】

【氏名】▲楊▼ 清▲帥▼

(72)【発明者】

【氏名】李 ▲しゅあん▼

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２０１１－０４９９８８（ＪＰ，Ａ）

【文献】特開２００９－２８２９３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １１／８０

(57)【特許請求の範囲】

【請求項1】

予め設定された認識アルゴリズムに応じて、処理対象顔画像における、人間の目の第１の座標及び、前記人間の目の視線と顔画像全体の長方形の辺である前記顔画像のエッジとの交点を指示するためのエッジ座標を含む視線情報を取得することと、
前記視線情報に基づいて前記顔画像における、前記第１の座標及び前記エッジ座標を端点とする視線線分を含む目標領域を決定することと、
予め設定された効果素材を前記目標領域にレンダリングすることにより、目標画像を得ることとを含む、
ことを特徴とする顔画像の処理方法。

【請求項2】

前記視線情報は被写界深度距離をさらに含み、前記被写界深度距離は前記人間の目から前記顔画像を撮影するレンズまでの距離であり、前記視線情報に基づいて前記顔画像における目標領域を決定することは、
前記被写界深度距離に基づいて前記被写界深度距離と負相関がある第１の距離を決定し、且つ前記顔画像の画像サイズに基づいて前記画像サイズと正相関がある第２の距離を決定することと、
前記視線線分を含み、かつ幅は前記第１の距離であり、長さが前記第２の距離である矩形領域を前記目標領域とすることとを含む、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記予め設定された効果素材を前記目標領域にレンダリングすることにより、目標画像を得ることは、
前記第１の距離及び前記第２の距離に応じて前記効果素材の大きさを調整して、調整された前記効果素材を前記目標領域にレンダリングすることにより、前記目標画像を得ることを含む、
ことを特徴とする請求項２に記載の方法。

【請求項4】

前記視線線分を含み、かつ幅が前記第１の距離であり、長さが前記第２の距離である矩形を前記目標領域とすることは、
辺の長さが前記第１の距離であり、中点が前記第１の座標であり、かつ前記視線線分と垂直する第１の辺を決定することと、
辺の長さが前記第２の距離であり、かつ前記第１の辺に垂直する第２の辺を決定することと、
前記第１の辺と前記第２の辺で構成され、かつ前記視線線分を含む矩形を前記目標領域とすることとを含む、
ことを特徴とする請求項２又は３に記載の方法。

【請求項5】

前記予め設定された認識アルゴリズムに応じて、処理対象顔画像における視線情報を取得することは、
前記顔画像を予めトレーニングされた視線認識モデルに入力することにより、視線認識モデルが出力する第１の座標、前記エッジ座標及び被写界深度距離を得ることを含む、
ことを特徴とする請求項２～４のいずれか一項に記載の方法。

【請求項6】

前記顔画像に複数の前記視線線分が存在し、前記視線情報に基づいて前記顔画像における目標領域を決定した後、前記方法は、さらに、
前記視線情報に基づいて複数の前記視線線分の交点座標を決定することと、
前記エッジ座標、及び／又は前記交点座標を付加効果座標とすることと、
前記付加効果座標を中心とする付加領域を決定することと、
前記予め設定された効果素材を前記目標領域にレンダリングすることにより、目標画像を得ることとを含み、
ここで、前記予め設定された効果素材を前記目標領域にレンダリングすることにより、目標画像を得ることは、
前記効果素材を前記目標領域にレンダリングし、且つ予め設定された付加効果素材を前記付加領域にレンダリングすることにより、前記目標画像を取得することを含む、
ことを特徴とする請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記視線情報は被写界深度距離をさらに含み、前記被写界深度距離は前記人間の目から前記顔画像を撮影するレンズまでの距離であり、
前記付加効果座標を中心とする付加領域を決定することは、
前記被写界深度距離及び前記付加効果座標に基づいて、前記付加効果座標に対応する付加被写界深度距離を決定することと、
前記付加効果座標を中心とし、大きさは前記付加被写界深度距離に基づいて決定される前記付加領域を決定することとを含む、
ことを特徴とする請求項６に記載の方法。

【請求項8】

予め設定された認識アルゴリズムに応じて、処理対象顔画像における、人間の目の第１の座標及び、前記人間の目の視線と顔画像全体の長方形の辺である前記顔画像のエッジとの交点を指示するためのエッジ座標を含む視線情報を取得するための取得モジュールと、
前記視線情報に基づいて前記顔画像における、前記第１の座標及び前記エッジ座標を端点とする視線線分を含む目標領域を決定するための第１の確定モジュールと、
予め設定された効果素材を前記目標領域にレンダリングすることにより、目標画像を得るためのレンダリングモジュールとを含む、
ことを特徴とする顔画像の処理デバイス。

【請求項9】

コンピュータプログラムが記憶されるコンピュータ可読媒体であって、
当該プログラムが処理デバイスにより実行されるときに、請求項１～７のいずれか一項に記載の方法を実現する、
ことを特徴とするコンピュータ可読媒体。

【請求項10】

コンピュータプログラムが記憶される電子装置であって、
コンピュータプログラムが記憶されている記憶デバイスと、
前記記憶デバイスにおける前記コンピュータプログラムを実行することにより、請求項１～７のいずれか一項に記載の方法のステップを実現するための処理デバイスとを含む、
ことを特徴とする電子装置。

【請求項11】

プログラムコードを含み、コンピュータがコンピュータプログラムを実行するときに、前記プログラムコードは実行されることにより、請求項１～７のいずれか一項に記載の方法のステップを実現する、
ことを特徴とする前記コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は２０２０年１月６日に中国特許局に出願され、出願番号は２０２０１００１０７１６．５であり、出願名称は「顔画像の処理方法、デバイス、可読媒体及び電子装置」の中国特許出願の優先権を主張し、その全ての内容は引用により本願に組み込まれる。
本願は画像処理技術分野に関し、より具体的には、顔画像の処理方法、デバイス、可読媒体及び電子装置に関する。

【背景技術】

【0002】

端末技術及び画像処理技術の発展に伴い、端末装置で提供できる画像処理操作はますます豊富になっている。ユーザの異なる需要を満たすために、端末装置は顔を含む画像に様々な効果を追加することができ、例えば画像における人間の目についてレーザ、発光、泣きの効果をレンダリングすることができる。しかしながら、人間の目に対するレンダリング効果は、一般的には人間の目の所在位置の近傍に固定的に表示され、人間の目の真実な状態を反映することができない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本願の目的は顔画像の処理方法、デバイス、可読媒体及び電子装置を提供することであり、従来の顔画像処理方法において、人間の目のレンダリングを行うときに、レンダリング効果は人間の目の所在位置の近傍のみに固定して表示されることができ、人間の目の真実な状態を反映することができないという技術的問題を解決することに用いられる。

【課題を解決するための手段】

【0004】

当該発明の内容部分を提供することにより、概要を簡単に説明し、これらの構想は後の具体的な実施形態部分において詳細に説明される。当該発明の内容部分は保護を請求する技術案の重要な特徴又は必要な特徴を認識することを意図していなく、保護を請求する技術案の範囲を限定するためのものでもない。第１の態様において、本開示は顔画像の処理方法を提供し、前記方法は、
予め設定された認識アルゴリズムに従って、処理対象顔画像における視線情報を取得し、前記視線情報は、人間の目の第１の座標及びエッジ座標を含み、前記エッジ座標は前記人間の目の視線と前記顔画像のエッジとの交点を指示するために用いられることと、
前記視線情報に基づいて前記顔画像における目標領域を決定し、前記目標領域は前記第１の座標及び前記エッジ座標を端点とする視線線分を含むことと、
予め設定された効果素材を前記目標領域にレンダリングすることにより、目標画像を得ることと、を含む。

【0005】

第２の態様において、本開示は顔画像の処理デバイスを提供し、前記デバイスは、
予め設定された認識アルゴリズムに従って、処理対象顔画像における、人間の目の第１の座標、及び前記人間の目の視線と前記顔画像のエッジとの交点を指示するためのエッジ座標を含む、視線情報を取得するための取得モジュールと、
前記視線情報に基づいて前記顔画像における、前記第１の座標及び前記エッジ座標を端点とする視線線分を含む、目標領域を決定するための第１の確定モジュールと、
予め設定された効果素材を前記目標領域にレンダリングすることにより、目標画像を得るためのレンダリングモジュールとを含む。

【0006】

第３の態様において、本開示はコンピュータ可読媒体を提供し、それにはコンピュータプログラムが記憶され、当該処理デバイスがプロセッサにより実行されるとき、本開示の第１の態様に記載の方法のステップを実現する。

【0007】

第４の態様において、本開示は電子装置を提供し、
コンピュータプログラムが記憶されている記憶デバイスと、
本開示の第１の態様に記載の方法のステップを実現するように、前記記憶デバイスにおける前記コンピュータプログラムを実行するための処理デバイスとを含む。

【発明の効果】

【0008】

上記技術案によって、本開示はまず予め設定された認識アルゴリズムに基づいて処理対象顔画像を認識することにより、人間の目の第１の座標及びエッジ座標を含む視線情報を取得し、ここで、エッジ座標は人間の目の視線と顔画像のエッジとの交点を指示するために用いられ、その後に視線情報に基づいて顔画像における、第１の座標及びエッジ座標を端点とする視線線分を含む目標領域を決定し、最後に予め設定された効果素材を目標領域にレンダリングすることにより、目標画像を得る。本開示は顔画像に含まれる視線情報を認識することにより、レンダリングする必要がある目標領域を決定し、さらに効果素材を目標領域にレンダリングすることにより、レンダリング効果を人間の目の視線に追従させることができる。

【0009】

本開示の他の特徴及び利点は後の具体的な実施形態部分において詳細に説明される。

【図面の簡単な説明】

【0010】

図面を参照しながら以下の具体的な実施形態を参照し、本開示の各実施例の上記及び他の特徴、利点及び方面はより明らかになる。図面において、同一又は類似の符号は同一又は類似の要素を示す。添付図面は模式的なものであり、素子及び要素は必ずしも割合に応じて描画されない。図面において、

【図1】１つの例示的な実施例に応じて示された顔画像の処理方法のフローチャートである。

【図2】１つの例示的な実施例に応じて示された効果素材である。

【図3】１つの例示的な実施例に応じて示された顔画像である。

【図4】１つの例示的な実施例に応じて示された目標画像である。

【図5】１つの例示的な実施例に応じて示されたもう１つの顔画像の処理方法のフローチャートである。

【図6】１つの例示的な実施例に応じて示された顔画像である。

【図7】１つの例示的な実施例に応じて示されたもう１つの顔画像の処理方法のフローチャートである。

【図8】１つの例示的な実施例に応じて示されたもう１つの顔画像の処理方法のフローチャートである。

【図9】１つの例示的な実施例に応じて示された付加効果素材である。

【図10a】１つの例示的な実施例に応じて示された顔画像である。

【図10b】１つの例示的な実施例に応じて示された目標画像である。

【図11】１つの例示的な実施例に応じて示された顔画像の処理デバイスのブロック図である。

【図12】１つの例示的な実施例に応じて示されたもう１つの顔画像の処理デバイスのブロック図である。

【図13】１つの例示的な実施例に応じて示されたもう１つの顔画像の処理デバイスのブロック図である。

【図14】１つの例示的な実施例に応じて示されたもう１つの顔画像の処理デバイスのブロック図である。

【図15】１つの例示的な実施例に応じて示された電子装置の構成模式図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施例について、図面を参照しながら、より詳細に説明する。図面に本開示のいくつかの実施例が示されているが、理解すべきことは、本開示は様々な形式で実現されてもよく、かつここで説明された実施例に限定されるもので解釈されるべきではなく、逆にこれらの実施例を提供することは本開示をより充分にかつ完全に理解するためである。理解すべきことは、本開示の図面及び実施例は例示的な作用のみに用いられ、本開示の保護範囲を限定するものではない。

【0012】

理解すべきことは、本開示の方法の実施形態に記載の各ステップは異なる順序に応じて実行され、及び／又は並列に実行されてもよい。また、方法の実施形態は追加的なステップを含むか、及び／又は示されるステップの実行を省略してもよい。本開示の範囲は、これらの点に限定されるものではない。

【0013】

本明細書で使用される用語「含む」及びその変形は開放的な含みであり、即ち「含むがこれに限定されるものではない」。用語「基づいて」は「少なくとも部分的に基づいて」である。用語「１つの実施例」は「少なくとも１つの実施例」を示す。用語「他の実施例」は「少なくとも１つの他の実施例」を示す。用語「いくつかの実施例」は「少なくともいくつかの実施例」を示す。他の用語の関連する定義については後述する。

【0014】

注意すべきことは、本開示において言及された「第一」、「第二」等の概念は異なるデバイス、モジュール又はユニットを区別するためにのみ用いられ、これらのデバイス、モジュール又はユニットが実行する機能の順序又は相互依存関係を限定するものではない。

【0015】

注意すべきことは、本開示において言及された「１つ」、「複数」の修飾は模式的なものであり、限定的なものではなく、当業者であれば理解すべきことは、文脈で明確に指摘しない限り、そうでなければ「１つ又は複数の」と理解すべきである。

【0016】

本開示の実施形態における複数のデバイスの間に対話するメッセージ又は情報の名称は説明的な目的のみに用いられ、これらのメッセージ又は情報の範囲を限定するためではない。

【0017】

図１は１つの例示的な実施例に応じて示された顔画像の処理方法のフローチャートであり、図１に示すように、当該方法は以下のステップを含む。

【0018】

ステップ１０１、予め設定された認識アルゴリズムに従って、処理対象顔画像における視線情報を取得する。視線情報は、人間の目の第１の座標及びエッジ座標を含み、エッジ座標は人間の目の視線と顔画像のエッジとの交点を指示するために用いられる。

【0019】

例えば、処理対象顔画像は、例えばユーザが端末装置により撮影された１枚の顔を含む写真であってもよく、又は端末装置により撮影されたビデオのうちの１つのフレームの顔を含む画像であってもよく、ユーザにより端末装置の表示インタフェースで選択された１枚の顔を含む画像であってもよい。まず、予め設定された認識アルゴリズムに従って、顔画像に含まれる視線情報を認識する。認識アルゴリズムはまず顔画像における顔を認識し、さらに顔における人間の目の位置を決定し、最後に視線情報を取得してもよい。ここで、視線情報は人間の目の視線を表すことができ、例えば人間の目の顔画像での第１の座標、及び人間の目の視線と顔画像のエッジとの交点の顔画像でのエッジ座標を含んでもよい。第１の座標及びエッジ座標によって、視線の方向（つまり人間の目がどちらの方向を見ているか）を表すことができる。顔画像に含まれる視線は、第１の座標を起点とし、エッジ座標を終点とする。なお、顔画像に１つ又は複数の顔が含まれてもよく、人の顔各々は２つの人間の目が含まれてもよく、そのため、人間の目各々は１つの視線に対応する。それに応じて、視線各々はいずれも１つのグループの第１の座標及びエッジ座標に対応する。顔画像にＮ個の人間の目が含まれる場合、ステップ１０１で取得されたのはＮ個の視線情報であり、視線情報各々は１つのグループの第１の座標及びエッジ座標を含み、１つの人間の目の視線を表すために用いられると理解されてもよい。

【0020】

ステップ１０２、視線情報に基づいて顔画像における目標領域を決定し、目標領域は第１の座標及びエッジ座標を端点とする視線線分を含む。

【0021】

例示的には、ユーザは端末装置によって指定された効果（例えばレーザ、発光、泣きなどであってもよい）を選択することができ、このとき、人間の目に対して指定された効果をレンダリングすべきであり、顔画像において、視線情報に基づいて１つの目標領域を決定する必要があり、つまり指定された効果が顔画像において表示する必要がある位置である。目標領域は第１の座標及びエッジ座標を端点とする視線線分を含む。目標領域は、視線線分を含む矩形であってもよいし、又は他の形であってもよい。例えば目標領域は視線線分の中点を中心とし、視線線分の長さを長さとし、人間の目の長さを幅として、決定された矩形であってもよい。さらに視線線分をエッジ座標の方向に延伸し、長さが顔画像の対角線の長さと同じ延長線分を取得してもよく、目標領域は延長線分の中点を中心とし、延長線分の長さを長さとし、予め設定された幅を幅とし、得られた矩形である。

【0022】

ここで、目標領域は視線線分と一対一に対応し、顔画像に複数の人間の目（例えば：顔画像における単一の顔の２つの人間の目、又は顔画像における複数の顔の複数の人間の目）が含まれると、人間の目各々は１つのグループの第１の座標及びエッジ座標に対応し、グループ各々の第１の座標及びエッジ座標は１つの視線線分を決定し、対応する視線線分各々は１つの目標領域を決定し、つまり顔画像において複数の目標領域を決定する。

【0023】

ステップ１０３、予め設定された効果素材を目標領域にレンダリングすることにより、目標画像を得る。

【0024】

例示的には、目標領域についてレンダリングする前に、さらにユーザの指定した効果に基づいて、予め記憶された素材ライブラリから指定された効果に対応する効果素材を見つけてもよい。ここで、素材ライブラリには様々な効果における効果各々に対応する効果素材が含まれ、素材ライブラリは端末装置に予め記憶されてもよく、端末装置がアクセスできるサーバに記憶されてもよく、端末装置がある効果に対応する効果素材を使用する必要があるときに、サーバから当該効果素材を検索して取得する。効果素材を確定した後、ｏｐｅｎＧＬ（Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ）により効果素材をテクスチャマップとして、目標領域内にレンダリングして、目標画像を得る。目標領域は視線情報に基づいて決定されるため、目標領域内に効果素材をレンダリングすることにより、レンダリング効果は人間の目の視線を追従することができ、人間の目の真実な状態を反映することができる。

【0025】

さらに、レンダリング効果が視覚的な３Ｄ（英語：３ Ｄｉｍｅｎｓｉｏｎｓ， 中国語：三次元）効果を有するように、効果素材を両端の幅が一致しない素材に設定してもよい。目標領域をレンダリングするとき、効果素材における幅の小さい一端を目標領域における第１の座標に近い端（つまり人間の目に近い端）にレンダリングし、効果素材における幅の大きい端を目標領域におけるエッジ座標に近い端にレンダリングする。効果素材がレーザであることを例とし、このようにして得られた目標画像は人間の目の端に位置するレーザ光線がより細く、画像エッジの端に位置するレーザ光線がより粗く、それにより視覚的な３Ｄ効果を生成する。

【0026】

なお、目標画像を得た後、ユーザの異なる需要に応じて、目標画像に対して異なる操作を行うことができ、例えば目標画像を端末装置の表示インタフェースに表示してもよく、目標画像を指定された記憶経路内に記憶してもよく、また目標画像を指定されたサーバに送信して共有することなどもよく、本開示はこれを具体的に限定しない。

【0027】

効果素材が図２であり、顔画像が図３である例を挙げ、まず認識アルゴリズムにより図３における左眼の第１の座標及びエッジ座標：（Ｐ０，Ｐ１）、右眼の第１の座標及びエッジ座標：（Ｐ２，Ｐ３）を得、さらに（Ｐ０，Ｐ１）及び（Ｐ２，Ｐ３）に基づいて左眼に対応する目標領域Ａ、及び右眼に対応する目標領域Ｂを決定し、最後に図２をそれぞれ目標領域Ａ及びＢにレンダリングし、図４に示すような目標画像を得る。

【0028】

以上のように、本開示はまず予め設定された認識アルゴリズムに従って処理対象顔画像を認識することにより、人間の目の第１の座標及びエッジ座標を含む視線情報を取得し、ここで、エッジ座標は人間の目の視線と顔画像のエッジとの交点を指示するために用いられ、その後に視線情報に基づいて、顔画像において第１の座標及びエッジ座標を端点とする視線線分を含む目標領域を決定し、最後に予め設定された効果素材を目標領域にレンダリングすることにより、目標画像を得る。本開示は顔画像に含まれる視線情報を認識することにより、レンダリングする必要がある目標領域を決定し、さらに効果素材を目標領域にレンダリングすることにより、レンダリング効果を人間の目の視線に追従させることができる。

【0029】

図５は１つの例示的な実施例に応じて示されたもう１つの顔画像の処理方法のフローチャートであり、図５に示すように、視線情報は被写界深度距離をさらに含み、被写界深度距離は人間の目から顔画像を撮影するレンズまでの距離であり、ステップ１０２の実現方式は以下のステップを含んでもよい。

【0030】

ステップ１０２１、被写界深度距離に基づいて第１の距離を決定し、顔画像の画像サイズに基づいて第２の距離を決定し、第１の距離と被写界深度距離との間に負の相関があり、第２の距離と画像サイズとの間には正の相関がある。

【0031】

ステップ１０２２、視線線分を含み、かつ幅が第１の距離であり、長さが第２の距離である矩形領域を目標領域とする。

【0032】

例を挙げて、レンダリング効果が視覚的な３Ｄ効果を有するように、さらに視線情報に含まれる被写界深度距離を合わせて目標領域を決定してもよい。ここで、被写界深度距離は、顔画像における人間の目と、当該顔画像を撮影するレンズとの間の距離であると理解してもよく、人間の目とレンズとの距離が近いほど、被写界深度距離が小さく、人間の目とレンズとの距離が遠いほど、被写界深度距離が大きい。まず、被写界深度距離に基づいて第１の距離を決定し、顔画像の画像サイズに基づいて第２の距離を決定し、ここで、第１の距離と被写界深度距離との間に負の相関があり、第２の距離と画像サイズとの間には正の相関がある。その後、第１の距離を幅にし、第２の距離を長さにして、視線線分を含む矩形を決定し、目標領域とする。このように、被写界深度距離が小さいほど、目標領域の幅が広くなり、被写界深度距離が大きいほど、目標領域の幅が狭くなる。

【0033】

具体的には、第１の距離は数式１に基づいて決定することができる。

【数1】

ここで、Ｗは第１の距離を示し、Ｚは被写界深度距離を示し、α及びβは予め設定された調整パラメータであり、ＷがＺの変化に伴って変化する感度を調整するために用いられる。逆正接関数

【数2】

を利用してＷが大きすぎるか又は小さすぎることを制限する。

【0034】

選択される目標領域が小さすぎて、効果素材が顔画像において切断されるという問題を回避するために、目標領域を顔画像の範囲外に延伸してもよい。そのため、顔画像の対角線の長さを第２の距離として設定してもよく、対角線の長さを第２の距離の最小値としてもよく、それにより効果素材が顔画像において切断されるという問題は生じないことを保証する。

【0035】

それに応じて、ステップ１０３の実現方式は以下のとおりであってもよい。

【0036】

第１の距離及び第２の距離に応じて効果素材の大きさを調整して、調整された効果素材を目標領域にレンダリングすることにより、目標画像を得る。

【0037】

例示的には、第１の距離と第２の距離に応じて効果素材の大きさを調整し、調整された後の効果素材の幅は第１の距離であり、長さは第２の距離であり、次にｏｐｅｎＧＬによって調整された効果素材をテクスチャマップとして、目標領域にレンダリングして、目標画像を得る。効果素材がレーザであることを例とし、被写界深度距離が小さいほど、目標領域の幅が広くなり、調整された効果素材が広くなり、目標画像におけるレーザ光線が広くなり、被写界深度距離が大きいほど、目標領域の幅が狭くなり、調整された効果素材が狭くなり、目標画像におけるレーザ光線が狭くなり、それにより視覚的な３Ｄ効果を生成する。

【0038】

具体的には、ステップ１０２２において目標領域を決定することは以下のステップを含んでもよい。

【0039】

ステップ１）、第１の辺を決定し、第１の辺の長さは第１の距離とし、第１の辺の中点は第１の座標とし、かつ第１の辺は視線線分と垂直する。

【0040】

ステップ２）、第２の辺を決定し、第２の辺の長さは第２の距離であり、かつ第２の辺は第１の辺と垂直する。

【0041】

ステップ３）、第１の辺と第２の辺で構成され、かつ視線線分を含む矩形を目標領域とする。

【0042】

例示的には、まず目標領域の第１の辺を決定し、第１の辺は視線線分の法線とし、かつ、第１の辺は辺長が第１の距離とし、かつ中点が第１の座標である線分である。その後、さらに目標領域の第２の辺を決定し、第２の辺は第１の辺に垂直し、長さが第２の長さの線分とし、かつ第２の辺と第１の辺との交点が第１の辺の１つの端点に位置する。最後に、第１の辺と第２の辺で構成された矩形を目標領域とし、目標領域内に視線線分が含まれる。図６における左眼を例に挙げて、左眼の第１の座標及びエッジ座標は（Ｐ０，Ｐ１）であり、ステップ１）からステップ３）によって決定された第１の辺がＭＮとし、第２の辺がＭＯとし、左眼の目標領域がＡ１とし、図６に示すとおりである。右眼の目標領域を決定する方式は左眼と同じであり、ここでは説明を省略する。Ａ１の４つの頂点の座標は数式２に基づいて決定することができる。

【数3】

【数4】

【数5】

【数6】

ここで、Ｖｅｒｔｅｘ_{ＬｅｆｔＴｏｐ}はＡ１の左上隅の座標を示し、Ｖｅｒｔｅｘ_{ＲｉｇｈｔＴｏｐ}はＡ１の右上隅の座標を示し、Ｖｅｒｔｅｘ_{ＬｅｆｔＢｏｔｔｏｍ}はＡ１の左下隅の座標を示し、Ｖｅｒｔｅｘ_{ＲｉｇｈｔＢｏｔｔｏｍ}はＡ１の右下隅の座標を示し、Ｗは第１の距離（つまりＭＮの長さ）を示し、Ｈは第２の距離（つまりＭＯの長さ）を示し、ｄｙはｓｉｎθを示し、ｄｘはｃｏｓθを示し、θは視線線分と顔画像の下縁とのなす角である。

【0043】

選択的に、ステップ１０１の実現方式は以下のとおりであってもよい。

【0044】

顔画像を予めトレーニングされた視線認識モデルに入力することにより、視線認識モデルが出力した第１の座標、エッジ座標及び被写界深度距離を得る。

【0045】

例を挙げて、認識アルゴリズムは、その中には顔画像が入力された予めトレーニングされた視線認識モデルであってもよく、視線認識モデルが顔画像における第１の座標、エッジ座標及び被写界深度距離を輸出することができる。ここで、視線認識モデルは予め設定されたサンプル入力グループ及びサンプル出力グループに基づいてトレーニングして得られたニューラルネットワークであってもよく、例えば畳み込みニューラルネットワーク（英語：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，略称：ＣＮＮ）であってもよい。畳み込みニューラルネットワークは本開示の実施例のニューラルネットワークの１つの例のみであり、本開示はこれに限定されず、他の様々なニューラルネットワークを含んでもよい。視線認識モデルは、例えば、入力層と、畳み込み層と、フィードバック層と、全接続層と、出力層とを含んでもよい。まず顔画像を入力層に入力し、畳み込み層を通過して、顔画像から畳み込み層特徴を抽出する。さらにフィードバック層に通過させ、前回のフィードバック層特徴と次回のフィードバック層特徴を結合し、畳み込み層から現在のフィードバック層特徴を抽出し、その後に全接続層によって、フィードバック層特徴に対して抽象化処理を行うことにより、顔画像の第１の座標、エッジ座標及び被写界深度距離を生成し、最後に出力層によって第１の座標、エッジ座標及び被写界深度距離を出力する。

【0046】

図７は１つの例示的な実施例に応じて示されたもう１つの顔画像の処理方法のフローチャートであり、図７に示すように、顔画像に複数の視線線分が存在するシーンにおいて、ステップ１０２の後に、当該方法は以下のステップをさらに含む。

【0047】

ステップ１０４、視線情報に基づいて複数の視線線分の交点座標を決定する。

【0048】

ステップ１０５、エッジ座標、及び／又は交点座標を付加効果座標とする。

【0049】

ステップ１０６、付加効果座標を中心とする付加領域を決定する。

【0050】

対応して、ステップ１０３は以下のステップを含む。

【0051】

効果素材を目標領域にレンダリングして、予め設定された付加効果素材を付加領域にレンダリングすることにより、目標画像を得る。

【0052】

具体的な実現シーンにおいて、例えば顔画像における単一の顔の両目がそれぞれ２つの視線線分に対応することができ、前記２つの視線線分が交差する可能性があり、例えば顔画像に複数の顔を含む可能性があり、前記複数の顔に対応する視線線分が交差する可能性があり、さらに例えば人間の目の視線も顔画像のエッジと交差する（つまり、エッジ座標が指示する点）。このとき、交差する位置で付加的な効果（例えば衝突、スパーク等であってもよい）をレンダリングしてもよい。まず、複数の視線線分の交点座標を決定し、交点座標の個数はゼロであってもよく（つまり、複数の視線線分が互いに平行であるか、又は顔画像内に交点が存在しない）、又は１つ又は複数であってもよい。

【0053】

顔画像に２つの視線線分ａｂ及びｃｄが存在することを例として、ａｂとｃｄの交点座標を決定することは以下のステップによって取得してもよい。

【0054】

ａｂ及びｃｄにおける４つの端点の座標は以下のとおりである。ａの横座標はａ．ｘであり、ａの縦座標はａ．ｙであり、ｂの横座標はｂ．ｘであり、ｂの縦座標はｂ．ｙであり、ｃの横座標はｃ．ｘであり、ｃの縦座標はｃ．ｙであり、ｄの横座標はｄ．ｘであり、ｄの縦座標はｄ．ｙである。まず、ａｃとｂｃの外積を算出する。

【0055】

ａｒｅａ＿ａｂｃ＝（ａ．ｘ－ｃ．ｘ）＊（ｂ．ｙ－ｃ．ｙ）－（ａ．ｙ－ｃ．ｙ）＊（ｂ．ｘ－ｃ．ｘ）
ａｂとｂｄの外積を算出する。

【0056】

ａｒｅａ＿ａｂｄ＝（ａ．ｘ－ｄ．ｘ）＊（ｂ．ｙ－ｄ．ｙ）－（ａ．ｙ－ｄ．ｙ）＊（ｂ．ｘ－ｄ．ｘ）
ｃａとｄａの外積を算出する。

【0057】

ａｒｅａ＿ｃｄａ＝（ｃ．ｘ－ａ．ｘ）＊（ｄ．ｙ－ａ．ｙ）－（ｃ．ｙ－ａ．ｙ）＊（ｄ．ｘ－ａ．ｘ）
ｃｂとｄｂの外積を算出する。

【0058】

ａｒｅａ＿ｃｄｂ＝ａｒｅａ＿ｃｄａ＋ａｒｅａ＿ａｂｃ－ａｒｅａ＿ａｂｄ
ａｒｅａ＿ａｂｃ＝＝ａｒｅａ＿ａｂｄであれば、ａｂとｃｄが平行であることを示し、つまりａｂとｃｄとの間に交点がない。ａｒｅａ＿ａｂｃ＊ａｒｅａ＿ａｂｄ＞＝０又はａｒｅａ＿ｃｄａ＊ａｒｅａ＿ｃｄｂ＞＝０であれば、ａｂとｃｄが平行ではないけど、顔画像内に交点が存在しないことを示す。

【0059】

上記条件を満たさない場合、ａｂとｃｄとの間に交点が存在することを示し、交点座標の横座標Ｘ及び縦座標Ｙは数式３によって取得してもよい。

【0060】

Ｘ＝（ａ．ｘ＋ｄｘ）
Ｙ＝（ａ．ｙ＋ｄｙ）
ｄｘ＝ｔ＊（ｂ．ｘ－ａ．ｘ）
ｄｙ＝ｔ＊（ｂ．ｙ－ａ．ｙ）
ｔ＝ａｒｅａ＿ｃｄａ／（ａｒｅａ＿ａｂｄ－ａｒｅａ＿ａｂｃ） 数式３
ここで、ｔは三角形ｃｄａの面積と四角形ａｂｃｄの面積との比率であると理解してもよく、点ａから交点までの長さとａｂの長さの比率であると理解してもよい。

【0061】

以上は２つの視線線分の間の交点座標だけで例を挙げて説明しており、２つ以上の視線線分が存在する場合、交点座標の確定方式は同じであり、ここでは説明を省略する。

【0062】

さらに、交点座標の個数がゼロでなければ、エッジ座標及び交点座標を付加効果座標とすることができ、交点座標の個数がゼロであれば、エッジ座標のみを付加効果座標とする。そして、付加効果座標を中心とする付加領域を決定する。付加領域は付加効果座標を中心とする矩形であってもよく、他の形であってもよい。付加領域を決定した後、ｏｐｅｎＧＬによって効果素材を目標領域にレンダリングすると同時に、付加効果素材を付加領域にレンダリングすることにより、目標画像を得ることができる。ここで、付加的な効果も同様にユーザによって選択されてもよく、その後にユーザが選択した付加的な効果に基づいて、予め記憶された付加的な素材ライブラリから付加的な効果に対応する付加効果素材を見つける。

【0063】

図８は１つの例示的な実施例に応じて示されたもう１つの顔画像の処理方法のフローチャートであり、図８に示すように、視線情報は被写界深度距離をさらに含み、被写界深度距離は人間の目から顔画像を撮影するレンズまでの距離であり、ステップ１０６の実現方式は以下のステップを含むことができる。

【0064】

ステップ１０６１、被写界深度距離及び付加効果座標に基づいて、付加効果座標に対応する付加被写界深度距離を決定する。

【0065】

ステップ１０６２、付加効果座標を中心とする付加領域を決定し、付加領域の大きさは付加被写界深度距離に基づいて決定される。

【0066】

例示的には、付加効果も視覚的な３Ｄ効果を有するように、同様に視線情報に含まれる被写界深度距離を合わせて付加領域を決定することができる。まず、被写界深度距離及び付加効果座標に基づいて、付加効果座標に対応する付加被写界深度距離を決定してよい。付加被写界深度距離は数式４によって決定することができる。

【0067】

Ｚ_ｆ＝Ｚ＊（１－ｔ） 数式４
ここで、Ｚ_ｆは付加被写界深度距離を示し、Ｚは被写界深度距離を示し、ｔは数式３によって決定され、三角形ｃｄａの面積と四角形ａｂｃｄの面積との比率である。

【0068】

次に、付加被写界深度距離に基づいて、付加領域の大きさを決定し、付加領域の大きさと付加被写界深度距離の間は負の相関がある。つまり、付加被写界深度距離が大きいほど、付加効果座標がレンズから遠いことを示し、そのため、付加領域が小さく、付加被写界深度距離が小さいほど、付加効果座標がレンズに近いことを示し、そのため、付加領域が大きい。付加領域が正方形である例を上げると、付加領域の辺の長さは数式５に基づいて決定することができる。

【数7】

ここで、Ｗ_ｆは付加領域の辺の長さを示し、α及びβは予め設定された調整パラメータとし、Ｗ_ｆがＺ_ｆに伴って変化する感度を調整するために用いられる。逆正接関数

【数8】

を利用してＷ_ｆが大きすぎるか又は小さすぎることを制限する。

【0069】

効果素材を図２とし、付加効果素材は図９であり、顔画像は図３であることを例として、確定された付加領域はＣ、Ｄ、Ｅとし、図１０ａに示すように、図２を目標領域にレンダリングし、図９の素材を付加領域にレンダリングすることにより、得られた目標画像は図１０ｂに示すとおりである。

【0070】

なお、上記実施例において、効果素材（又は付加効果素材）を目標領域（又は付加領域）にレンダリングするときに、ｏｐｅｎＧＬにおけるＧＬ＿ＭＡＸ＿ＥＸＴ混合方程式を採用し、効果素材が位置するレイヤー、付加効果素材が位置するレイヤーと顔画像が位置するレイヤーを合併し、その後にカラーフィルタ混合モードを採用して効果素材、付加効果素材と顔画像を混合し、レンダリングを実現してもよい。ここで、目標画像に表示されたのは結果色であり、顔画像の色は基礎色であり、効果素材と付加効果素材の色は混合色であり、カラーフィルタ混合モードにおけるカラーフィルタ混合数式は、結果色＝２５５－［（２５５－基礎色）＊（２５５－混合色）］／２５５であってもよい。

【0071】

以上により、本開示はまず予め設定された認識アルゴリズムに基づいて処理対象顔画像を認識することにより、人間の目の第１の座標及びエッジ座標を含む視線情報を取得し、ここで、エッジ座標は人間の目の視線と顔画像のエッジとの交点を指示するために用いられ、その後に視線情報に基づいて顔画像において、第１の座標及びエッジ座標を端点とする視線線分を含む目標領域を決定し、最後に予め設定された効果素材を目標領域にレンダリングすることにより、目標画像を得る。本開示は顔画像に含まれる視線情報を認識することにより、レンダリングする必要がある目標領域を決定し、さらに効果素材を目標領域にレンダリングすることにより、レンダリング効果を人間の目の視線に追従させることができる。

【0072】

図１１は１つの例示的な実施例に示された顔画像の処理デバイスのブロック図であり、図１１に示すように、当該デバイス２００は、
予め設定された認識アルゴリズムに従って、処理対象顔画像における、人間の目の第１の座標及び人間の目の視線と顔画像のエッジとの交点を指示するためのエッジ座標を含む、視線情報を取得するための取得モジュール２０１と、
視線情報に基づいて顔画像における、第１の座標及びエッジ座標を端点とする視線線分を含む、目標領域を決定するための第１の確定モジュール２０２と、
予め設定された効果素材を目標領域にレンダリングすることにより、目標画像を得るためのレンダリングモジュール２０３とを含む。

【0073】

図１２は１つの例示的な実施例に応じて示されたもう１つの顔画像の処理デバイスのブロック図であり、図１２に示すように、視線情報は被写界深度距離をさらに含み、被写界深度距離は人間の目から顔画像を撮影するレンズまでの距離であり、第１の確定モジュールは、
被写界深度距離に基づいて、被写界深度距離との間に負の相関がある第１の距離を決定し、顔画像の画像サイズに基づいて、画像サイズとの間には正の相関がある第２の距離を決定するための第１の確定サブモジュール２０２１と、
視線線分を含み、かつ幅が第１の距離であり、長さが第２の距離である矩形領域を目標領域とするための第２の確定サブモジュール２０２２とを含む。

【0074】

選択的に、レンダリングモジュール２０３は、
第１の距離及び第２の距離に応じて効果素材の大きさを調整し、調整された効果素材を目標領域にレンダリングすることにより、目標画像を得るために用いられる。

【0075】

選択的に、第２の確定サブモジュールは以下のステップを実行するために用いられる。

【0076】

ステップ１）、第１の辺を決定し、第１の辺の長さは第１の距離とし、第１の辺の中点は第１の座標とし、かつ第１の辺は視線線分と垂直することとする。

【0077】

ステップ２）、第２の辺を決定し、第２の辺の長さは第２の距離とし、かつ第２の辺は第１の辺に垂直することとする。

【0078】

ステップ３）、第１の辺と第２の辺で構成され、かつ視線線分を含む矩形を目標領域とする。

【0079】

選択的に、取得モジュール２０１は、
顔画像を予めトレーニングされた視線認識モデルに入力することにより、視線認識モデルが出力した第１の座標、エッジ座標及び被写界深度距離を得るために用いられる。

【0080】

図１３は１つの例示的な実施例に示されたもう１つの顔画像の処理デバイスのブロック図であり、図１３に示すように、顔画像には複数の視線線分が存在し、当該デバイス２００は、
視線情報に基づいて顔画像における目標領域を決定した後、視線情報に基づいて複数の視線線分の交点座標を決定し、

エッジ座標、及び／又は交点座標を付加効果座標とし、及び

付加効果座標を中心とする付加領域を決定するための第２の確定モジュール２０４と、
効果素材を目標領域にレンダリングして、予め設定された付加効果素材を付加領域にレンダリングすることにより、目標画像を得るためのレンダリングモジュール２０３とをさらに含む。

【0081】

図１４は１つの例示的な実施例に示されたもう１つの顔画像の処理デバイスのブロック図であり、図１４に示すように、第２の確定モジュール２０４は、
被写界深度距離及び付加効果座標に基づいて、付加効果座標に対応する付加被写界深度距離を決定するための第３の決定サブモジュール２０４１と、
付加効果座標を中心とする付加領域を決定し、付加領域の大きさは付加被写界深度距離に基づいて決定される第４の決定サブモジュール２０４２とを含む。

【0082】

上記実施例におけるデバイスについて、ここで各モジュールが動作を実行する具体的な方式は関連する当該方法の実施例において詳細に説明され、ここで詳細に説明しない。

【0083】

以上により、本開示はまず予め設定された認識アルゴリズムに基づいて処理対象顔画像を認識することにより、人間の目の第１の座標及びエッジ座標を含む視線情報を取得し、ここで、エッジ座標は人間の目の視線と顔画像のエッジとの交点を指示するために用いられ、その後に視線情報に基づいて顔画像において、第１の座標及びエッジ座標を端点とする視線線分を含む目標領域を決定し、最後に予め設定された効果素材を目標領域にレンダリングすることにより、目標画像を得る。本開示は顔画像に含まれる視線情報を認識することにより、レンダリングする必要がある目標領域を決定し、さらに効果素材を目標領域にレンダリングすることにより、レンダリング効果を人間の目の視線に追従させることができる。

【0084】

以下に図１５を参照し、それは本開示の実施例を実現することに適する電子装置３００の模式的な構成図を示す。本開示の実施例における電子装置（つまり、上記画像の処理方法の実行主体）は、サーバであってもよく、当該サーバは例えばローカルサーバ又はクラウドサーバであってもよく、端末装置であってもよく、端末装置は、携帯電話、ノートパソコン、デジタル放送受信機、ＰＤＡ（パーソナルデジタルアシスタント）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（携帯型マルチメディアプレーヤ）、車載端末（例えば車載ナビゲーション端末）等の移動端末及びデジタルＴＶ、デスクトップコンピュータ等の固定端末を含んでよいけど、それらに限定されない。ユーザはサーバをログインすることにより顔画像をアップロードしてもよく、端末装置によって顔画像を直接にアップロードするか、又は端末装置によって顔画像を採集してもよい。図１５に示された電子装置は１つの例に過ぎず、本開示の実施例の機能及び使用範囲にいかなる制限を与えない。

【0085】

図１５に示すように、電子装置３００は処理デバイス（例えば中央プロセッサ、グラフィックプロセッサなど）３０１を含んでもよく、それはリードオンリーメモリ（ＲＯＭ）３０２に記憶されたプログラム又は記憶デバイス３０８からランダムアクセスメモリ（ＲＡＭ）３０３にロードされたプログラムに基づいて様々な適切な動作及び処理を実行してもよい。ＲＡＭ３０３には、さらに電子装置３００の操作に必要な様々なプログラム及びデータが記憶される。処理デバイス３０１、ＲＯＭ３０２、及びＲＡＭ３０３は、バス３０４を介して相互に接続される。入力／出力（Ｉ／Ｏ）インタフェース３０５もバス３０４に接続される。

【0086】

一般的に、以下のデバイスはＩ／Ｏインタフェース３０５に接続してもよく、例えばタッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロ等を含む入力デバイス３０６、例えば液晶ディスプレイ（ＬＣＤ）、スピーカ、振動器等を含む出力デバイス３０７、例えば磁気テープ、ハードディスク等を含む記憶デバイス３０８、及び通信デバイス３０９を含む。通信デバイス３０９は、電子装置３００と他の装置との間で無線又は有線の通信を行ってデータをやり取りすることを許可することができる。図１５は様々なデバイスを有する電子装置３００を示したが、理解すべきことは、全ての示されたデバイスを実施するか備えることが要求されるものではない。その代わりに、より多くのデバイスを実施したり、より少なくのデバイスを備えてもよい。

【0087】

特に、本開示の実施例によれば、以上のフローチャートを参照して説明した過程をコンピュータソフトウェアプログラムとして実現することができる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それは非一時的なコンピュータ可読媒体に担持されたコンピュータプログラムを含み、当該コンピュータプログラムはフローチャートに示された方法を実行するためのプログラムコードを含む。このような実施例において、当該コンピュータプログラムは通信デバイス３０９によってネットワークからダウンロード及びインストールされるか、又は記憶デバイス３０８からインストールされ、又はＲＯＭ ３０２からインストールされえる。当該コンピュータプログラムが処理デバイス３０１により実行されるとき、本開示の実施例の方法に限定された上記機能を実行する。

【0088】

なお、本開示の上記コンピュータ可読媒体はコンピュータ可読信号媒体又はコンピュータ可読記憶媒体又は上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、又は半導体のシステム、デバイス、若しくはパーツ、又はこれらのいずれかの組み合わせとしてもよいが、これらに限定されるものではない。コンピュータ可読記憶媒体のより具体的な例は、１つ又は複数のワイアを有する電気的な接続、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ）又はフラッシュメモリ、光ファイバ、ポータブルコンパクトな磁気ディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶パーツ、磁気記憶パーツあるいは上記任意の適切な組み合わせを含むが、これに限定されるものではない。本開示では、コンピュータ可読記憶媒体は、プログラムを含む又は記憶する任意の有形媒体であってもよいし、当該プログラムは、命令実行システム、デバイス又はパーツに使用され、あるいはそれと結合し使用されてもよい。本開示では、コンピュータ読み出し可能な信号媒体は、ベースバンド内又は搬送波の一部として伝播されるデータ信号を含まれてもよいし、それにはコンピュータ可読プログラムコードが搭載されている。このように伝播されるデータ信号は、様々な形式を用いてもよいし、電磁信号、光信号、又は上記任意の適切な組み合わせを含んでもよいけど、これらに限定されない。コンピュータ読み出し可能な信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよいし、当該コンピュータ可読信号媒体は、命令実行システム、デバイス、又はパーツに使用されるか、あるいはそれと結合して使用されるプログラムを送信、伝播、又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは任意の適切な媒体で伝送でき、電線、光ケーブル、ＲＦ（ラジオ）など、又は上記任意の適切な組み合わせを含んでもよいけど、これらに限定されない。

【0089】

いくつかの実施形態において、端末装置、サーバはＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ， ハイパーテキスト転送プロトコル）のような任意の現在知られているか又は将来に開発されるネットワークプロトコルを利用して通信することができ、かつ任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）とお互いに接続してもよい。通信ネットワークの例はローカルエリアネットワーク（“ＬＡＮ”）、ワイドエリアネットワーク（“ＷＡＮ”）、インターネットワーク（例えば、インターネット）及びエンドツーエンドネットワーク（例えば、アドホックエンドツーエンドネットワーク）、及び任意の現在知られているか又は将来に開発されるネットワークを含む。

【0090】

上記コンピュータ可読媒体は上記電子装置に含まれてもよく、単独で存在し、当該電子装置に装着されていなくてもよい。

【0091】

上記コンピュータ可読媒体は１つ又は複数のプログラムを担持し、上記１つ又は複数のプログラムが当該電子装置により実行されるときに、当該電子機器が、予め設定された認識アルゴリズムに従って、処理対象顔画像における視線情報を取得し、前記視線情報は、人間の目の第１の座標及びエッジ座標を含み、前記エッジ座標は人間の目の視線と前記顔画像のエッジとの交点を指示するために用いられ、前記視線情報に基づいて前記顔画像における目標領域を決定し、前記目標領域は前記第１の座標及び前記エッジ座標を端点とする視線線分を含み、予め設定された効果素材を前記目標領域にレンダリングすることにより、目標画像を得るようにする。

【0092】

１種類又は複数種類のプログラミング言語又はその組み合わせで本開示の操作を実行するために用いられるコンピュータプログラムコードを作成することができ、上記プログラミング言語はオブジェクト指向プログラミング言語を含み、例えばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋であり、さらに一般的なプロセス式プログラミング言語を含み、例えば「Ｃ」言語又は類似するプログラミング言語であるが、これらに限定されない。プログラムコードは完全にユーザコンピュータ上で実行されてもよいし、部分的にユーザコンピュータ上で実行されてもよいし、１つの独立なソフトウェアパッケージとして実行され、部分的にユーザコンピュータで、他の部分は遠隔コンピュータで実行され、又は完全に遠隔コンピュータ又はサーバで実行されてもよい。遠隔コンピュータに関する状況において、遠隔コンピュータは任意の種類のネットワーク（ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む）を介して、ユーザコンピュータに接続されてもよいし、又は、外部コンピュータに接続されてもよい（例えばインターネットサービスプロバイダを利用してインターネットを介して接続される）。

【0093】

図面のフローチャート及びブロック図は、本開示の様々な実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示す。この点において、フローチャート又はブロック図における各ブロックは１つのモジュール、プログラムセグメント、又はコードの一部を表すことができ、当該モジュール、プログラムセグメント、又はコードの一部は１つ又は複数の所定の論理機能を実現するための実行可能な指令を含む。注意すべきことは、いくつかの代替としての実現において、ブロックにマークされた機能は図面と異なる順序で発生してもよい。例えば、２つの連続的に示されるブロックは実際に基本的に並行して実行されてもよく、それらは逆の順序で実行されてもよく、これは関連する機能に依存する。注意すべきことは、ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行する専用のハードウェアに基づくシステムで実現されてもよく、又は専用ハードウェアとコンピュータ指令の組み合わせで実現されてもよい。

【0094】

本開示の実施例におけるモジュールはソフトウェアの方式で実現されてもよく、ハードウェアの方式で実現されてもよい。ここで、モジュールの名称はある場合に当該モジュール自体を限定するものではなく、例えば、第１の確定モジュールはさらに「目標領域を決定するモジュール」として説明されてもよい。

【0095】

本明細書で説明した機能は、少なくとも一部が１つ又は複数のハードウェアロジックパーツによって実行されてもよい。例えば、非限定的に、使用可能な例示的なタイプのハードウェアロジックパーツは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などを含む。

【0096】

本開示のコンテキストにおいて、機器可読媒体は有形の媒体であってもよく、それは指令実行システム、デバイス又は装置の使用又は指令実行システム、デバイス又は装置と組み合わせて使用されるプログラムを含むか又は記憶してもよい。機器可読媒体は機器可読信号媒体又は機器可読記憶媒体であってもよい。機器可読媒体は電子的、磁気的、光学的、電磁的、赤外線の、又は半導体システム、デバイス又は装置、又は上記の内容の任意の適切な組み合わせを含んでもよいけどそれらに限定されない。機器可読記憶媒体のより具体的な例は１つ以上の線に基づく電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ）又はフラッシュメモリ、光ファイバ、携帯式コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記コンテンツの任意の適切な組み合わせを含む。

【0097】

本開示の１つ又は複数の実施例によれば、例１は顔画像の処理方法を提供し、予め設定された認識アルゴリズムに応じて、処理対象顔画像における、人間の目の第１の座標及び前記人間の目の視線と前記顔画像のエッジとの交点を指示するためのエッジ座標を含む視線情報を取得することと、前記視線情報に基づいて前記顔画像における、前記第１の座標及び前記エッジ座標を端点とする視線線分を含む目標領域を決定することと、予め設定された効果素材を前記目標領域にレンダリングすることにより、目標画像を得ることとを含む。

【0098】

本開示の１つ又は複数の実施例によれば、例２は例１の方法を提供し、前記視線情報は被写界深度距離をさらに含み、前記被写界深度距離は前記人間の目から前記顔画像を撮影するレンズまでの距離であり、前記視線情報に基づいて前記顔画像における目標領域を決定することは、前記被写界深度距離に基づいて前記被写界深度距離と負相関がある第１の距離を決定して、前記顔画像の画像サイズに基づいて前記画像サイズと正相関がある第２の距離を決定することと、前記視線線分を含み、かつ幅は前記第１の距離であり、長さが前記第２の距離である矩形領域を前記目標領域とすることとを含む。

【0099】

本開示の１つ又は複数の実施例によれば、例３は例２の方法を提供し、前記予め設定された効果素材を前記目標領域にレンダリングすることにより、目標画像を取得することは、前記第１の距離及び前記第２の距離に応じて効果素材の大きさを調整して、調整された前記効果素材を前記目標領域にレンダリングすることにより、前記目標画像を得ることを含む。

【0100】

本開示の１つ又は複数の実施例によれば、例４は例２の方法を提供し、前記視線線分を含み、かつ幅が前記第１の距離であり、長さが前記第２の距離である矩形を前記目標領域とすることは、辺の長さが前記第１の距離であり、中点が前記第１の座標であり、かつ前記視線線分と垂直する第１の辺を決定することと、辺の長さが前記第２の距離であり、かつ前記第１の辺に垂直する第２の辺を決定することと、前記第１の辺と前記第２の辺で構成され、かつ前記視線線分を含む矩形を前記目標領域とすることとを含む。

【0101】

本開示の１つ又は複数の実施例によれば、例５は例２～例４のいずれか一項に記載の方法を提供し、前記予め設定された認識アルゴリズムに応じて、処理対象顔画像における視線情報を取得することは、前記顔画像を予めトレーニングされた視線認識モデルに入力することにより、前記視線認識モデルが出力する前記第１の座標、前記エッジ座標及び前記被写界深度距離を得ることを含む。

【0102】

本開示の１つ又は複数の実施例によれば、例６は例１～例４のいずれか一項に記載の方法を提供し、前記顔画像に複数の前記視線線分が存在し、前記視線情報に基づいて前記顔画像における目標領域を決定した後、前記方法は、前記視線情報に基づいて複数の前記視線線分の交点座標を決定することと、前記エッジ座標、及び／又は前記交点座標を付加効果座標とすることと、前記付加効果座標を中心とする付加領域を決定することと、前記予め設定された効果素材を前記目標領域にレンダリングすることにより、目標画像を得ることとを含む。ここで、前記予め設定された効果素材を前記目標領域にレンダリングすることにより、目標画像を得ることは、前記効果素材を前記目標領域にレンダリングし、且つ予め設定された付加効果素材を前記付加領域にレンダリングすることにより、前記目標画像を取得することを含む。

【0103】

本開示の１つ又は複数の実施例によれば、例７は例６の方法を提供し、前記視線情報は被写界深度距離をさらに含み、前記被写界深度距離は前記人間の目から前記顔画像を撮影するレンズまでの距離であり、前記付加効果座標を中心とする付加領域を決定することは、前記被写界深度距離及び前記付加効果座標に基づいて、前記付加効果座標に対応する付加被写界深度距離を決定することと、前記付加効果座標を中心とし、大きさは前記付加被写界深度距離に基づいて決定される前記付加領域を決定することとを含む。

【0104】

本開示の１つ又は複数の実施例によれば、例８は顔画像の処理デバイスを提供し、前記デバイスは、予め設定された認識アルゴリズムに応じて、処理対象顔画像における、人間の目の第１の座標及び前記人間の目の視線と前記顔画像のエッジとの交点を指示するためのエッジ座標を含む視線情報を取得するための取得モジュールと、前記視線情報に基づいて前記顔画像における、前記第１の座標及び前記エッジ座標を端点とする視線線分を含む目標領域を決定するための第１の確定モジュールと、予め設定された効果素材を前記目標領域にレンダリングすることにより、目標画像を得るためのレンダリングモジュールとを含む。

【0105】

本開示の１つ又は複数の実施例によれば、例９はコンピュータ可読媒体を提供し、その上にはコンピュータプログラムが記憶され、当該プログラムが処理デバイスにより実行される場合に例１～例７に記載の方法のステップを実現する。

【0106】

本開示の１つ又は複数の実施例によれば、例１０は電子装置を提供し、コンピュータプログラムが記憶される記憶デバイスと、例１から例７における前記方法のステップを実現するように、前記記憶デバイスにおける前記コンピュータプログラムを実行するための処理デバイスとを含む。

【0107】

本開示の１つ又は複数の実施例によれば、例１１はコンピュータプログラムを提供し、コンピュータは当該コンピュータプログラムを運転するときに、コンピュータコードは実行されることにより、例１から例７における前記方法のステップを実現するプログラムコードとを含む。

【0108】

以上の説明は本開示の好ましい実施例及び適用される技術原理の説明のみである。当業者であれば理解されるように、本開示に係る開示範囲は、上記技術的特徴の特定の組み合わせの技術的解決手段に限定されるものではなく、同時に上記開示の構想から逸脱することなく、上記技術的特徴又はその同等の特徴を任意に組み合わせて形成された他の技術的解決手段をカバーすべきである。例えば、上記特徴は、本開示において開示され（但し、これらに限定されるものではない）、同様の機能を有する技術的特徴を相互に置換した技術案である。

【0109】

また、特定の順序で各操作を記述したが、これらの操作は示された特定の順序又は手順の順序で実行されることを要求するものと理解すべきではない。一定の環境で、マルチタスク及び並列処理が有利である可能性がある。同様に、上記においていくつかの具体的な実現の詳細を含むが、これらは本開示の範囲を限定するものと解釈されるべきではない。個別の実施例のコンテキストに記述されたいくつかの特徴はさらに単一の実施例に組み合わせて実現してもよい。逆に、単一の実施例のコンテキストに説明された様々な特徴は単独で又は任意の適切なサブセットの方式で複数の実施例に実現することもできる。

【0110】

構造的な特徴及び／又は方法の論理動作に特定した言語を用いて本テーマを説明したが、添付の特許請求の範囲に限定されたテーマは必ずしも上記特定の特徴又は動作に限定されるものではないと理解すべきである。逆に、上記説明した特定の特徴及び動作は単なる特許請求の範囲を実現するための例示的な形態である。上記実施例におけるデバイスについて、ここで各モジュールが動作を実行する具体的な方式は当該方法に関連する実施例において詳細に説明され、ここで詳細に説明しない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10a】

【図10b】

【図11】

【図12】

【図13】

【図14】

【図15】