特許 7183414 画像処理の方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-25

(45)【発行日】2022-12-05

(54)【発明の名称】画像処理の方法及び装置

(51)【国際特許分類】

   G06T 11/80 20060101AFI20221128BHJP

   G06F 3/04845 20220101ALI20221128BHJP

【ＦＩ】

G06T11/80 D

G06F3/04845

【請求項の数】 19

(21)【出願番号】P 2021526360

(86)(22)【出願日】2020-10-10

(65)【公表番号】

(43)【公表日】2022-08-01

(86)【国際出願番号】 CN2020120102

(87)【国際公開番号】W WO2021218040

(87)【国際公開日】2021-11-04

【審査請求日】2021-05-13

(31)【優先権主張番号】202010358288.5

(32)【優先日】2020-04-29

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】512015127

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】ワン シュンチャン

(72)【発明者】

【氏名】ファン ウェイチャイ

(72)【発明者】

【氏名】リ フアン

(72)【発明者】

【氏名】パン ウェンジエ

(72)【発明者】

【氏名】マ ウェンボ

【審査官】松永 隆志

(56)【参考文献】

【文献】国際公開第２００８／１０２４４０（ＷＯ，Ａ１）

【文献】特開２０００－０１１１４４（ＪＰ，Ａ）

【文献】特開２００７－２９３６４９（ＪＰ，Ａ）

【文献】国際公開第２０１８／０１２１３６（ＷＯ，Ａ１）

【文献】特開２０１３－１７１４７０（ＪＰ，Ａ）

【文献】国際公開第２０１８／２２１０９２（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１５８７２９（ＷＯ，Ａ１）

【文献】国際公開第２０１９／０１４６４６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１９／２０

Ｇ０６Ｆ ３／０４８４５

(57)【特許請求の範囲】

【請求項1】

画像処理の方法であって、前記方法は、
顔を含む画像を取得することと、
前記顔におけるターゲットオブジェクトの顔美化素材に対する選択動作を受信することであって、前記ターゲットオブジェクトが顔における器官である、受信することと、
予めトレーニングされたターゲットキーポイントモデルを用いて、前記ターゲットオブジェクトの前記顔でのキーポイント位置を識別することと、
前記キーポイント位置と前記顔美化素材の形状を用いて、前記ターゲットオブジェクトの前記顔での形状を調整することと、
調整されたターゲットオブジェクトの前記画像での領域を分割し、分割された領域を得ることと、
前記顔美化素材に基づいて前記分割された領域を充填し、ターゲット画像を得ることと、を含む画像処理の方法。

【請求項2】

前記キーポイント位置と前記顔美化素材の形状を用いて、前記ターゲットオブジェクトの前記顔での形状を調整することは、
前記キーポイント位置を用いて前記ターゲットオブジェクトの前記顔でのソース領域を得ることと、
前記ソース領域の形状を前記顔美化素材の形状と似た形状に調整することと、を含む、請求項１に記載の方法。

【請求項3】

調整されたターゲットオブジェクトの前記画像での領域を分割することは、
調整されたターゲットオブジェクトの前記画像での領域を三角分割することを含む、請求項１又は請求項２に記載の方法。

【請求項4】

前記顔美化素材に基づいて前記分割された領域を充填し、ターゲット画像を得ることは、
前記顔美化素材に基づいて前記分割された領域にテクスチャマッピングを行い、前記ターゲット画像を得ることを含む、請求項１～請求項３のいずれか１項に記載の方法。

【請求項5】

前記画像を取得することは、
撮影動作を受信することと、
前記撮影動作に応じて撮影して前記画像を得ることと、を含む、請求項１～請求項４のいずれか１項に記載の方法。

【請求項6】

前記ターゲットオブジェクトは眉毛であり、前記顔美化素材は眉毛素材である、請求項１～請求項５のいずれか１項に記載の方法。

【請求項7】

前記方法はさらに、
前記ターゲット画像に対する共有動作を受信する場合、前記共有動作の経路に基づいて前記ターゲット画像を共有することを含む、請求項１～請求項６のいずれか１項に記載の方法。

【請求項8】

前記方法はさらに、
前記ターゲット画像に対する記憶動作を受信した場合、前記ターゲット画像を記憶することを含む、請求項１～請求項７のいずれか１項に記載の方法。

【請求項9】

画像処理の装置であって、前記装置は、
顔を含む画像を取得するための処理モジュールと、
前記顔におけるターゲットオブジェクトの顔美化素材に対する選択動作を受信するために使用される受信モジュールであって、前記ターゲットオブジェクトが顔における器官である受信モジュールと、を含み、
前記処理モジュールはさらに、予めトレーニングされたターゲットキーポイントモデルを用いて、前記ターゲットオブジェクトの前記顔でのキーポイント位置を識別するために使用され、
前記処理モジュールはさらに、前記キーポイント位置と前記顔美化素材の形状を用いて、前記ターゲットオブジェクトの前記顔での形状を調整するために使用され、
前記処理モジュールはさらに、調整されたターゲットオブジェクトの前記画像での領域を分割し、分割された領域を得るために使用され、
前記処理モジュールはさらに、前記顔美化素材に基づいて前記分割された領域を充填し、ターゲット画像を得るために使用される、画像処理の装置。

【請求項10】

前記処理モジュールは、
前記キーポイント位置を用いて前記ターゲットオブジェクトの前記顔でのソース領域を得ること、及び
前記ソース領域の形状を前記顔美化素材の形状と似た形状に調整することのために使用される、請求項９に記載の装置。

【請求項11】

前記処理モジュールは、
調整されたターゲットオブジェクトの前記画像での領域を三角分割するために使用される、請求項９又は請求項１０に記載の装置。

【請求項12】

前記処理モジュールは、
前記顔美化素材に基づいて前記分割された領域にテクスチャマッピングを行い、前記ターゲット画像を得るために使用される、請求項９～請求項１１のいずれか１項に記載の装置。

【請求項13】

前記処理モジュールは、
撮影動作を受信すること、及び
前記撮影動作に応じて撮影して前記画像を得ることのために使用される、請求項９～請求項１２のいずれか１項に記載の装置。

【請求項14】

前記ターゲットオブジェクトは眉毛であり、前記顔美化素材は眉毛素材である、請求項９～請求項１３のいずれか１項に記載の装置。

【請求項15】

前記処理モジュールはさらに、
前記ターゲット画像に対する共有動作を受信する場合、前記共有動作の経路に基づいて前記ターゲット画像を共有するために使用される、請求項９～請求項１４のいずれか１項に記載の装置。

【請求項16】

前記処理モジュールはさらに、
前記ターゲット画像に対する記憶動作を受信した場合、前記ターゲット画像を記憶するために使用される、請求項９～請求項１５のいずれか１項に記載の装置。

【請求項17】

電子機器であって、
少なくとも１つのプロセッサ、及び前記少なくとも１つのプロセッサと通信接続されるメモリを含み、前記メモリには、前記少なくとも１つのプロセッサによって実行できる命令が記憶され、前記命令が、前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに、請求項１～請求項８のいずれか１項に記載の方法を実行させる、電子機器。

【請求項18】

コンピュータ命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令は、コンピュータに請求項１～請求項８のいずれか１項に記載の方法を実行させるために使用される、コンピュータ可読記憶媒体。

【請求項19】

プログラムコードを含むコンピュータプログラムであって、コンピュータが前記コンピュータプログラムを実行するとき、前記プログラムコードは請求項１～請求項８のいずれか１項に記載の方法を実行する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２０年４月２９日に中国特許局に提出した、出願番号が２０２０１０３５８２８８．５で、出願の名称が「画像処理の方法及び装置」という中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み合わせられる。

【0002】

本願は、画像処理及びコンピュータ技術の分野に関し、特に、人工知能及びコンピュータ視覚技術の分野に関し、具体的には、画像処理の方法及び装置に関する。

【背景技術】

【0003】

端末機器の発展に伴って、多くの端末機器には撮影機器が含まれており、適応する顔美化アプリケーションも多く発展してきた。

【0004】

顔美化アプリケーションにおいて、通常、いくつかの顔美化素材を提供し、ユーザは必要に応じて顔美化素材を選択することができ、アプリケーションは、顔美化素材をユーザの顔に追加することができる。例えば、眉毛の美化処理において、ユーザは、アプリケーション素材に提供される眉形を選択することができ、その後、アプリケーションは、アプリケーション素材における眉形をユーザの顔の眉毛部に覆い、眉毛の美化を実現することができる。

【0005】

しかし、現在の技術では、眉毛の美化は通常、あまり自然ではなく、より良い美化効果を達成することができない。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本願の実施例は、従来技術における顔美化処理の美化効果が劣る技術的問題を解決するための画像処理の方法及び装置を提供する。

【課題を解決するための手段】

【0007】

本願の実施例の第１態様は、画像処理の方法を提供し、前記方法は、
顔を含む画像を取得することと、
前記顔におけるターゲットオブジェクトの顔美化素材に対する選択動作を受信することであって、前記ターゲットオブジェクトが顔における器官である、受信することと、
予めトレーニングされたターゲットキーポイントモデルを用いて、前記ターゲットオブジェクトの前記顔でのキーポイント位置を識別することと、
前記キーポイント位置と前記顔美化素材の形状を用いて、前記ターゲットオブジェクトの前記顔での形状を調整することと、
調整されたターゲットオブジェクトの前記画像での領域を分割し、分割された領域を得ることと、
前記顔美化素材に基づいて前記分割された領域を充填し、ターゲット画像を得ることと、を含む。

【0008】

本願の実施例の第２態様は、画像処理の装置を提供し、前記装置は、
顔を含む画像を取得するための処理モジュールと、
前記顔におけるターゲットオブジェクトの顔美化素材に対する選択動作を受信するために使用される受信モジュールであって、前記ターゲットオブジェクトが顔における器官である受信モジュールと、を含み、
前記処理モジュールはさらに、予めトレーニングされたターゲットキーポイントモデルを用いて、前記ターゲットオブジェクトの前記顔でのキーポイント位置を識別するために使用され、
前記処理モジュールはさらに、前記キーポイント位置と前記顔美化素材の形状を用いて、前記ターゲットオブジェクトの前記顔での形状を調整するために使用され、
前記処理モジュールはさらに、調整されたターゲットオブジェクトの前記画像での領域を分割し、分割された領域を得るために使用され、
前記処理モジュールはさらに、前記顔美化素材に基づいて前記分割された領域を充填し、ターゲット画像を得るために使用される。

【0009】

本願の実施例の第３態様は電子機器を提供し、前記電子機器は、少なくとも１つのプロセッサ、及び前記少なくとも１つのプロセッサと通信接続されたメモリを含み、ここで、前記メモリには、前記少なくとも１つのプロセッサが実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに前記第１態様のいずれか１つに記載の方法を実行させることができる。

【0010】

本願の実施例の第４態様は、コンピュータ命令を記憶する非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、コンピュータに前記第１態様におけるいずれか１つに記載の方法を実行させるために使用される。

【0011】

本願の実施例の第５態様は、プログラムコードを含むコンピュータプログラムを提供し、コンピュータが前記コンピュータプログラムを実行するとき、前記プログラムコードは前記第１態様におけるいずれか１つに記載の方法を実行する。

【発明の効果】

【0012】

以上のように、本願の実施例は、従来技術に対して以下の有益な効果を有している。
本願の実施例は、画像処理の方法及び装置を提供し、ターゲットオブジェクトの顔でのキーポイント位置を識別した後、まず、顔美化素材の形状に基づいてターゲットオブジェクトの顔での形状を調整し、その後更に調整された領域に対して分割と素材充填を行い、顔美化素材をターゲットオブジェクトに直接にカバーすることによる、完全に遮蔽することができない可能性のある解決策と比較して、本願の実施例に係る形状を調整してから分割と充填を行う解決策は、遮蔽できない現象の発生を回避し、より自然な顔美化効果を得ることができる。具体的には、顔を含む画像を取得し、顔におけるターゲットオブジェクトの顔美化素材に対する選択動作を受信し、ターゲットオブジェクトが顔における器官であり、予めトレーニングされたターゲットキーポイントモデルを用いて、ターゲットオブジェクトの顔でのキーポイント位置を識別し、キーポイント位置と顔美化素材の形状を用いてターゲットオブジェクトの顔での形状を調整し、調整されたターゲットオブジェクトの画像での領域を分割し、分割された領域を得、顔美化素材に基づいて分割された領域を充填し、ターゲット画像を得ることができる。つまり、形状を調整してから分割と充填を行う解決策を用いることにより、遮蔽できない現象の発生を回避し、より自然な顔美化効果を得ることができる。

【0013】

理解すべきものとして、本明細書に記載された内容は、本願の実施例の主要又は重要な特徴を特定することを意図するものではなく、本願の範囲を制限するためにも使用されない。本願の他の特徴は、以下の明細書によって容易に理解される。

【図面の簡単な説明】

【0014】

【図1】本願の実施例によって提供される画像処理の方法に適用されるシステムアーキテクチャを示す模式図である。

【図2】本願の実施例によって提供される画像処理の方法のフローチャートを示す模式図である。

【図3】本願の実施例によって提供される眉毛処理の例を示す模式図である。

【図4】本願の実施例によって提供される画像処理装置の構成を示す模式図である。

【図5】本願の実施例に係る画像処理の方法を実施するための電子機器のブロック図である。

【発明を実施するための形態】

【0015】

以下、添付図面を参照して本願の例示の実施例を説明するが、本願の実施例の様々な詳細が理解を容易にするために含まれており、単なる例示のものと考えられるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、本明細書に記載された実施例に様々な変更及び修正を加えることができることを理解するはずである。同様に、明確かつ簡潔にするために、以下の説明において、よく知られている機能及び構造の説明は省略されている。競合しない場合には、以下の実施例および実施例の特徴は互いに組み合わされてもよい。

【0016】

通常、顔に対して顔美化処理を行う場合、ユーザは、顔美化素材を選択することができ、顔美化素材は、顔の各器官の素材であってもよく、端末機器は、顔美化素材を画像におけるユーザ固有の器官にカバーすることができる。例えば、眉毛の美化において、顔美化素材には様々なタイプの眉形が提供され、ユーザは、その中の１つの眉形を選択することができ、端末機器は、ユーザが選択した眉形を用いて画像における自体の眉毛を覆い、眉毛の美化を実現することができる。

【0017】

しかし、顔美化素材で本物の器官を覆う顔美化方式を用いると、顔美化素材と画像の融合度が悪いため、顔美化処理後の画像は不自然で、顔美化効果に影響を与える一方、元の画像における器官が大きいか、又は不規則であるため、顔美化素材はよく遮られない現象があり、例えば、いくつかの眉毛の素材は太めの眉、乱雑な眉、不規則な眉などの眉形を上手くカバーすることができず、又は、普通の人の眉形はそれぞれ違っているので、眉毛の素材は一定の引張り変形があり、顔美化後の画像にも一定の引張り変形効果があり、顔美化効果が悪いという結果になる。

【0018】

これに基づいて、本願の実施例において、ターゲットオブジェクトの顔でのキーポイント位置を識別した後、まず、顔美化素材の形状に基づいてターゲットオブジェクトの顔での形状を調整し、その後更に調整された領域に対して分割と素材充填を行い、顔美化素材をターゲットオブジェクトに直接にカバーすることによる、完全に遮蔽することができない可能性のある解決策と比較して、本願の実施例に係る形状を調整してから分割と充填を行う解決策は、遮蔽できない現象の発生を回避し、より自然な顔美化効果を得ることができる。

【0019】

本願の実施例に記載の顔美化素材は、予め描画又は取得した素材であってもよく、例えば、眉を美化するシーンを例にとって、顔美化素材は、ダイユ眉、羽眉、柳眉などの眉形を含んでもよく、唇を美化するシーンを例にとって、唇素材は、薄い唇、厚い唇などの唇形を含んでもよい。本願の実施例は、顔美化素材については具体的に限定しない。顔美化素材がネットワーク又はサーバに記憶されることができ、端末機器は、顔美化をする際に、ネットワーク又はサーバから顔美化素材を取得することができる。顔美化素材は、端末機器のローカルに記憶されてもよいし、本願の実施例は、顔美化素材の取得を具体的に限定しない。

【0020】

本願の実施例に記載のターゲットオブジェクトは顔の器官、例えば眉毛、鼻、口又は目などであってもよく、本願の実施例は、これを具体的に限定しない。

【0021】

本願の実施例に記載のターゲットキーポイントモデルは、深度学習によってトレーニングして得られるニューラルネットワークモデルであってもよく、例えば、人体器官のキーポイントマークを含むサンプル画像を採用して、ターゲットキーポイントモデルをトレーニングすることにより、当該ターゲットキーポイントモデルに画像を入力した後、当該ターゲットキーポイントモデルがターゲットオブジェクトのキーポイント位置を出力することができる。

【0022】

本願の実施例の方法は、端末に適用されてもよく、端末は、携帯電話、タブレット、ノートパソコン、又はデスクトップコンピュータなどの電子機器を含むことができる。本願の実施例は、適用された具体的な機器を具体的に限定しない。

【0023】

例示的に、端末は、グラフィカルユーザインターフェース（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ、ＧＵＩ）を提供することができ、グラフィカルユーザインターフェースにおいて、ユーザ動作を受信するためのコントロール、スイッチなどを設定することができ、ユーザがグラフィカルユーザインターフェースにおいて、本願の実施例のような動作を行うことができるようにする。理解すべきものとして、グラフィカルユーザインターフェースの具体的な内容は、実際の適用シーンに基づいて決定されてもよく、本発明の実施例はこれを具体的に限定しない。

【0024】

図１に示すように、図１は、本願の実施例によって提供される方法に適用される適用シーンアーキテクチャを示す模式図である。

【0025】

１つの可能な適用シーンにおいて、顔美化素材とターゲットキーポイント識別モデルは、端末機器のローカルにあり、端末機器１１は、他の機器と対話する必要がない。例示的に、ユーザは、端末機器１１で顔を含む画像の取得をトリガし、端末機器１１のグラフィカルユーザインターフェースでターゲットオブジェクトの顔美化素材を選択することができ、端末機器１１は、予めトレーニングされたターゲットキーポイントモデルを用いて、ターゲットオブジェクトの顔でのキーポイント位置を識別し、及びキーポイント位置と顔美化素材の形状を用いてターゲットオブジェクトの顔での形状を調整し、調整されたターゲットオブジェクトの画像での領域を分割し、分割された領域を得、顔美化素材に基づいて分割された領域を充填し、ターゲット画像を得ることができる。即ち、端末機器１１は、形状を調整してから分割と充填を行う解決策を用いることにより、遮蔽できない現象の発生を回避し、より自然な顔美化効果を得ることができる。

【0026】

１つの可能な適用シーンにおいて、顔美化素材又はターゲットキーポイント識別モデルの１つ又は複数は、サーバ１２に設けられており、端末機器１１は、サーバ１２と対話する必要がある。例示的に、ユーザは、端末機器１１で顔を含む画像の取得をトリガし、端末機器１１のグラフィカルユーザインターフェースでターゲットオブジェクトの顔美化素材を選択することができ、端末機器１１は、サーバ１２から顔美化素材を取得することができ、又はさらに画像をサーバ１２に送信し、サーバ１２により、予めトレーニングされたターゲットキーポイントモデルを用いて、ターゲットオブジェクトの顔でのキーポイント位置を識別することができ、端末機器１１はさらに、サーバ１２からキーポイント位置を取得し、キーポイント位置と顔美化素材の形状を用いてターゲットオブジェクトの顔での形状を調整し、調整されたターゲットオブジェクトの画像での領域を分割し、分割された領域を得、顔美化素材に基づいて分割された領域を充填し、ターゲット画像を得ることができる。つまり、形状を調整してから分割と充填を行う解決策を用いることにより、遮蔽できない現象の発生を回避し、より自然な顔美化効果を得ることができる。理解すべきものとして、具体的なアプリケーションでは、サーバの数は、１以上の任意の値であってもよく、本願の実施例はこれを具体的に限定しない。

【0027】

理解すべきものとして、本願の実施例は、他の適用シーンにも適用可能であり、上記シーンの例は、本願の実施例をより良く説明するためであり、本願の実施例を限定するものではない。

【0028】

図２に示すように、図２は、本願の実施例によって提供される画像処理の方法のフローチャートを示す模式図である。当該方法は、具体的に以下のステップを含むことができる。

【0029】

Ｓ１０１において、顔を含む画像を取得する。

【0030】

本願の実施例において、画像は、ユーザが端末機器のローカルなギャラリーで選択してアップロードするものであってもよい。画像は、ユーザが端末機器のカメラなどの機器を利用して撮影したものであってもよい。また画像は、ユーザがネットワークからダウンロードしたものであってもよい。本願の実施例は、画像を取得する具体的な形態を限定しない。

【0031】

１つの可能な実施形態において、ユーザは、端末機器における顔美化アプリケーション（ａｐｐｌｉｃａｔｉｏｎ、ＡＰＰ）を開いて、当該ＡＰＰで画像をリアルタイムに撮影し、又はＡＰＰで端末機器のローカルの画像をアップロードして、顔を含む画像を得ることができる。

【0032】

Ｓ１０２において、前記顔におけるターゲットオブジェクトの顔美化素材に対する選択動作を受信し、前記ターゲットオブジェクトが顔における器官である。

【0033】

本願の実施例において、ユーザは、顔美化が必要な画像を選択した後、具体的に顔美化を行うターゲットオブジェクトの顔美化素材をさらに選択することができ、ターゲットオブジェクトは、顔における器官、例えば、眉毛、鼻、口又は目などであってもよく、ターゲットオブジェクトの顔美化素材により、ターゲットオブジェクトの顔美化を実現する。

【0034】

１つの可能な実施形態において、端末機器のユーザインタフェースには画像や顔器官に対応する顔美化素材が表示されることができ、ユーザはクリック、ドラッグ、音声制御などの選択動作により、ターゲットオブジェクトの顔美化素材の選択を実現することができる。

【0035】

理解すべきものとして、実際のアプリケーションでは、端末機器のユーザインタフェースの具体的な内容及びユーザが顔美化素材を選択するために必要な実行ステップは、実際の適用シーンに基づいて決定することができ、本願の実施例は、これを具体的に限定しない。

【0036】

Ｓ１０３において、予めトレーニングされたターゲットキーポイントモデルを用いて、前記ターゲットオブジェクトの前記顔でのキーポイント位置を識別する。

【0037】

本願の実施例において、ターゲットオブジェクトの顔でのキーポイント位置は、ターゲットオブジェクトの顔における領域を識別するために使用されてもよく、異なるターゲットオブジェクトに対して、キーポイントの数と位置がいずれも異なり、本願の実施例は、ターゲットオブジェクトの顔でのキーポイント位置を具体的に限定しない。

【0038】

１つの可能な実施形態において、ターゲットキーポイントモデルは、予めトレーニングされて顔美化ＡＰＰに設置されてもよく、ターゲットキーポイントモデルを利用してターゲットオブジェクトの顔でのキーポイント位置を識別することができる。

【0039】

Ｓ１０４において、前記キーポイント位置と前記顔美化素材の形状を用いて、前記ターゲットオブジェクトの前記顔での形状を調整する。

【0040】

本願の実施例において、ターゲットオブジェクトの顔でのキーポイント位置を取得した後、顔美化素材の形状に応じてターゲットオブジェクトの顔での形状を調整することができ、ターゲットオブジェクトの顔での形状と顔美化素材の形状が一致するようになり、その後、調整されたターゲットオブジェクトの領域に応じて適応する顔美化処理を行うことができる。

【0041】

例えば、ターゲットオブジェクトが眉毛であることを例にとって、画像での顔の眉形が太い眉であるが、ユーザが選択した顔美化素材がダイユ眉である場合、まず、顔における眉毛の形状を顔美化素材の形状と似ている又は同じ形状に調整することができる。

【0042】

理解すべきものとして、本願の実施例において、ターゲットオブジェクトの顔での形状と顔美化素材の形状が一致するように、顔美化素材の形状に応じてターゲットオブジェクトの顔での形状を調整するため、その後、顔美化素材に基づいて顔美化を行うとき、顔美化素材がターゲットオブジェクトをカバーすることができない現象は現れない。

【0043】

Ｓ１０５において、調整されたターゲットオブジェクトの前記画像での領域を分割し、分割された領域を得る。

【0044】

本願の実施例において、分割は、任意の多角形の分割であってもよく、調整されたターゲットオブジェクトの画像での領域を分割することにより、その後、分割された領域に基づいて充填することができ、直接に顔美化素材を用いて画像中にターゲットオブジェクトをカバーする形態に比べて、画像とより良い融合効果を達成することができ、顔美化効果は更に自然である。

【0045】

Ｓ１０６において、前記顔美化素材に基づいて前記分割された領域を充填し、ターゲット画像を得る。

【0046】

本願の実施例において、顔美化素材には、ターゲットオブジェクトの色や形などを含むことができ、顔美化素材に基づいて分割された領域を充填することにより、元の画像との融合の良いターゲット画像を得ることができる。

【0047】

以上説明したように、本願の実施例において、ターゲットオブジェクトの顔でのキーポイント位置を識別した後、まず、顔美化素材の形状に基づいてターゲットオブジェクトの顔での形状を調整し、その後更に調整された領域に対して分割と素材充填を行い、顔美化素材をターゲットオブジェクトに直接にカバーすることによる、完全に遮蔽することができない可能性のある解決策と比較して、本願の実施例に係る形状を調整してから分割と充填を行う解決策は、遮蔽できない現象の発生を回避し、より自然な顔美化効果を得ることができる。具体的な実施において、顔を含む画像を取得し、顔におけるターゲットオブジェクトの顔美化素材に対する選択動作を受信し、ターゲットオブジェクトが顔における器官であり、予めトレーニングされたターゲットキーポイントモデルを用いて、ターゲットオブジェクトの顔でのキーポイント位置を識別し、キーポイント位置と顔美化素材の形状を用いてターゲットオブジェクトの顔での形状を調整し、調整されたターゲットオブジェクトの画像での領域を分割し、分割された領域を得、顔美化素材に基づいて分割された領域を充填し、ターゲット画像を得る。つまり、形状を調整してから分割と充填を行う解決策を用いることにより、遮蔽できない現象の発生を回避し、より自然な顔美化効果を得ることができる。

【0048】

図２に対応する実施例に基づき、１つの可能な実施形態において、当該方法はさらに、前記ターゲット画像に対する共有動作を受信した場合、前記共有動作の経路に基づいて前記ターゲット画像を共有することを含む。

【0049】

本願の実施例において、端末機器のユーザインタフェースでは１つ又は複数の共有ボタンが提供されてもよく、各共有ボタンは、異なる共有経路に対応してもよく、例えば、各共有ボタンは、一種のソーシャルアプリケーションに対応してもよく、当該共有ボタンを選択するとき、当該共有ボタンに基づいてターゲット画像を対応するソーシャルアプリケーションに共有することができる。

【0050】

具体的なアプリケーションにおいて、ユーザは、共有ボタンの選択をトリガし、さらに共有ボタンに対応するソーシャルアプリケーションにジャンプし、ターゲット画像の共有を容易にすることができる。

【0051】

図２に対応する実施例に基づき、１つの可能な実施形態において、当該方法はさらに、前記ターゲット画像の記憶動作を受信した場合、前記ターゲット画像を格納することを含む。

【0052】

本願の実施例において、端末機器のユーザインタフェースには、１つ又は複数の記憶ボタンが提供されてもよく、各記憶ボタンは、異なる記憶経路に対応してもよく、例えば、記憶ボタンはローカルに記憶されたボタンであってもよいし、クラウドに記憶されたボタンであってもよく、本願の実施例は、これを具体的に限定しない。

【0053】

具体的なアプリケーションにおいて、ユーザは、記憶ボタンの選択をトリガし、さらにターゲット画像の記憶を容易にすることができる。

【0054】

図２に対応する実施例に基づき、１つの可能な実施形態において、前記キーポイント位置と前記顔美化素材の形状を用いて、前記ターゲットオブジェクトの前記顔での形状を調整することは、前記キーポイント位置を用いて前記ターゲットオブジェクトの前記顔でのソース領域を得ることと、前記ソース領域の形状を前記顔美化素材の形状と似た形状に調整することと、を含む。

【0055】

本願の実施例において、キーポイント位置に基づき、ターゲットオブジェクトの顔でのソース領域を描画することができ、例えば、全てのキーポイント位置を接続して、ターゲットオブジェクトの顔でのソース領域を得る。理解すべきものとして、ターゲットオブジェクトの顔でのソース領域は、当該顔におけるターゲットオブジェクトの元の領域とも呼ばれ、ソース領域の形状と大きさは、具体的な顔と関連する。

【0056】

ソース領域を取得した後、ソース領域の形状を顔美化素材の形状と似た形状に調整することができ、例えば、ソース領域に適応した引張り、変形などが可能で、ソース領域の形状を顔美化素材と一致させ、大きさを顔の大きさに一致させる。

【0057】

本願の実施例において、具体的なターゲットオブジェクトの顔での形状を調整する形態を提供し、オブジェクトの顔での形状をより簡単に正確に調整することができる。

【0058】

図２に対応する実施例に基づき、１つの可能な実施形態において、前記調整されたターゲットオブジェクトの前記画像での領域を分割することは、調整されたターゲットオブジェクトの前記画像での領域を三角分割することを含む。

【0059】

本願の実施例において、三角分割の方式を採用して、比較的に安定した分割実現を得ることができ、それにより、後で画像におけるターゲットオブジェクトを処理するとき、より良い処理効果を達成することができる。三角分割は比較的古典的な分割方式であり、本願の実施例はこれを繰り返さない。

【0060】

図２に対応する実施例に基づき、１つの可能な実施形態において、前記顔美化素材に基づいて前記分割された領域を充填し、ターゲット画像を得ることは、前記顔美化素材に基づいて前記分割された領域にテクスチャマッピングを行い、前記ターゲット画像を得ることを含む。

【0061】

本願の実施例において、分割された領域を充填するとき、顔美化素材に基づいて分割された領域にテクスチャマッピングを行い、より良い画像融合を実現し、より良い融合効果を持つターゲット画像を得ることができる。

【0062】

図２に対応する実施例に基づき、１つの可能な実施形態において、画像を取得することは、撮影動作を受信することと、前記撮影動作に応じて撮影して前記画像を得ることと、を含む。

【0063】

本願の実施例において、ユーザは、顔美化ＡＰＰにおける撮影ボタンをトリガし、リアルタイムで画像を撮影し、画像に対するリアルタイム処理を実現することができる。

【0064】

例示的に、図３は、本願の実施例に係る画像処理方法の眉毛処理の例を示す模式図である。

【0065】

顔美化素材は、底面モデル（例えば顔モデル）で描画された素材であってもよく、カメラのサンプリング前処理（カメラ撮影とも呼ばれる）により画像を得た後、眉毛のキーポイントモデルに基づいて画像における眉毛のキーポイント位置を識別し、眉毛のキーポイント位置と顔美化素材に基づいて画像における眉毛の形状をシェイプ調整し、分割ネットワークに基づいて調整された領域を分割し、顔美化素材に基づいて分割領域のテクスチャマッピングを実現し、融合された画像を得ることができ、より良い画像融合を実現し、これにより、より良い融合効果を持つターゲット画像を得ることができる。

【0066】

図４は、本願の実施例によって提供される画像処理の装置の構成を示す模式図である。図４に示すように、本実施例によって提供される画像処理の装置は、
顔を含む画像を取得するための処理モジュール４１と、
前記顔におけるターゲットオブジェクトの顔美化素材に対する選択動作を受信するための受信モジュール４２と、を含み、前記ターゲットオブジェクトが顔における器官であり、
前記処理モジュール４１はさらに、予めトレーニングされたターゲットキーポイントモデルを用いて、前記ターゲットオブジェクトの前記顔でのキーポイント位置を識別するために使用され、
前記処理モジュール４１はさらに、前記キーポイント位置と前記顔美化素材の形状を用いて、前記ターゲットオブジェクトの前記顔での形状を調整するために使用され、
前記処理モジュール４１はさらに、調整されたターゲットオブジェクトの前記画像での領域を分割し、分割された領域を得るために使用され、
前記処理モジュール４１はさらに、前記顔美化素材に基づいて前記分割された領域を充填し、ターゲット画像を得るために使用される。

【0067】

１つの可能な実施形態において、前記処理モジュールは具体的に、
前記キーポイント位置を用いて前記ターゲットオブジェクトの前記顔でのソース領域を得ること、及び
前記ソース領域の形状を前記顔美化素材の形状と似た形状に調整することのために使用される。

【0068】

１つの可能な実施形態において、前記処理モジュールは具体的に、
調整されたターゲットオブジェクトの前記画像での領域を三角分割するために使用される。

【0069】

１つの可能な実施形態において、前記処理モジュールは具体的に、
前記顔美化素材に基づいて前記分割された領域にテクスチャマッピングを行い、前記ターゲット画像を得るために使用される。

【0070】

１つの可能な実施形態において、前記処理モジュールは具体的に、
撮影動作を受信すること、及び
前記撮影動作に応じて撮影して前記画像を得ることのために使用される。

【0071】

１つの可能な実施形態において、前記ターゲットオブジェクトは眉毛であり、前記顔美化素材は眉毛素材である。

【0072】

１つの可能な実施形態において、前記処理モジュールはさらに、
前記ターゲット画像に対する共有動作を受信する場合、前記共有動作の経路に基づいて前記ターゲット画像を共有するために使用される。

【0073】

１つの可能な実施形態において、前記処理モジュールはさらに、
前記ターゲット画像に対する記憶動作を受信した場合、前記ターゲット画像を記憶するために使用される。

【0074】

以上より、本願の実施例において、ターゲットオブジェクトの顔でのキーポイント位置を識別した後、まず、顔美化素材の形状に基づいてターゲットオブジェクトの顔での形状を調整し、その後更に調整された領域に対して分割と素材充填を行い、顔美化素材をターゲットオブジェクトに直接にカバーすることによる、完全に遮蔽することができない可能性のある解決策と比較して、本願の実施例に係る形状を調整してから分割と充填を行う解決策は、遮蔽できない現象の発生を回避し、より自然な顔美化効果を得ることができる。具体的な実施形態において、顔を含む画像を取得し、顔におけるターゲットオブジェクトの顔美化素材に対する選択動作を受信し、ターゲットオブジェクトが顔における器官であり、予めトレーニングされたターゲットキーポイントモデルを用いて、ターゲットオブジェクトの顔でのキーポイント位置を識別し、キーポイント位置と顔美化素材の形状を用いてターゲットオブジェクトの顔での形状を調整し、調整されたターゲットオブジェクトの画像での領域を分割し、分割された領域を得、顔美化素材に基づいて分割された領域を充填し、ターゲット画像を得ることができる。つまり、形状を調整してから分割と充填を行う解決策を用いることにより、遮蔽できない現象の発生を回避し、より自然な顔美化効果を得ることができる。

【0075】

本願の各実施例によって提供された画像処理の装置は、前記各対応する実施例に示すような方法を実行するために使用されてもよく、その実施形態と原理は同じであり、ここでは繰り返さない。

【0076】

本願の実施例に基づいて、本願はさらに、電子機器と読み取り可能な記憶媒体を提供する。

【0077】

図５に示すように、本願の実施例に係る画像処理の方法を実施するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、および他の適切なコンピュータなどさまざまな形式のデジタルコンピュータを表すことを目的としている。電子機器は、パーソナルデジタルアシスタント、セルラー電話、スマートフォン、ウェアラブル機器および他の類似のコンピューティング装置などさまざまな形式のモバイル装置を表してもよい。本明細書に示す部品、それらの接続および関係、およびそれらの機能は、単なる例であり、本明細書で記載および/または要求される本願の実施を制限することを意図しない。

【0078】

図５に示すように、当該電子機器は、１つ又は複数のプロセッサ５０１、メモリ５０２、および高速インターフェースと低速インターフェースを含む様々な部品を接続するためのインターフェースを含む。様々な部品は、異なるバスを使用して相互に接続され、共通のマザーボードに取り付けられてもよいし、又は必要に応じて他の形態でインストールされてもよい。プロセッサは、電子機器で実行された命令を処理することができ、前記命令は、ＧＵＩのグラフィック情報を外部入力/出力装置（例えばインターフェースに結合された表示機器など）に表示するようにメモリ内またはメモリ上に記憶された命令を含む。他の実施形態では、必要に応じて、複数のプロセッサおよび／または複数のバスを、複数のメモリと共に使用してもよい。同様に、複数の電子機器を接続して、各機器は、いくつかの必要な操作を提供してもよい（例えば、サーバアレイ、ブレードサーバのグループ、またはマルチプロセッサシステムとして）。図５では、１つのプロセッサ５０１を例に取る。

【0079】

メモリ５０２は、本願によって提供される非一時的なコンピュータで読み取り可能な記憶媒体である。そのうち、前記メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶されることにより、前記少なくとも１つのプロセッサが本願によって提供される画像処理の方法を実行する。本願の非一時的なコンピュータで読み取り可能な記憶媒体には、コンピュータ命令が記憶され、当該コンピュータ命令が、本願によって提供される画像処理の方法をコンピュータに実行させるために使用される。

【0080】

メモリ５０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラムおよびモジュール、例えば、本願の実施例における画像処理の方法に対応するプログラム命令/モジュール（例えば、図４に示すような処理モジュール４１と受信モジュール４２）を記憶するために使用できる。プロセッサ５０１は、メモリ５０２に記憶される非一時的なソフトウェアプログラム、命令およびモジュールを実行することによって、サーバの様々な機能応用およびデータ処理を実行し、即ち、上記方法の実施例における画像処理の方法を実施する。

【0081】

メモリ５０２は、プログラム記憶領域およびデータ記憶領域を含んでもよく、そのうち、プログラム記憶領域は、操作システムと少なくとも１つの機能に必要な応用プログラムを記憶してもよく、データ記憶領域には、画像処理の電子機器の使用によって作成されたデータなどを記憶してもよい。なお、メモリ５０２は、高速ランダムアクセスメモリを含んでもよく、また、少なくとも１つの磁気メモリ、フラッシュメモリ、または他の非一時的な固体メモリなどの非一時的なメモリを含んでもよい。いくつかの実施例では、メモリ５０２が、選択的に、プロセッサ５０１に対してリモートに設定されたメモリを含み、これらのリモートメモリが、ネットを介して画像処理の電子機器に接続されてもよい。上記ネットの例は、インターネット、企業イントラネット、ローカルネット、モバイル通信ネット、およびこれらの組み合わせを含むが、これらに限定されない。

【0082】

画像処理の方法を実施するための電子機器は、さらに入力装置５０３と出力装置５０４を含んでもよい。プロセッサ５０１、メモリ５０２、入力装置５０３および出力装置５０４は、バスまたは他の形態で接続されてもよいが、図５では、バスで接続される例を示す。

【0083】

入力装置５０３は、入力された数字または文字情報を受信して、画像処理の電子機器のユーザ設定及び機能制御に関連するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、指示棒、１つまたは複数のマウスボタン、トラックボール、操縦棒などの入力装置である。出力装置５０４は、表示機器、補助照明装置（例えば、ＬＥＤ）および触覚フィードバック装置（例えば、振動モーター）などを含んでもよい。当該表示機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイを含んでもよいが、これらに限定されない。いくつかの実施形態では、表示機器はタッチスクリーンであってもよい。

【0084】

本明細書で説明するシステムおよび技術の様々な実施形態は、数字電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実施されることができる。これらの様々な実施形態は以下を含んでもよく、１つまたは複数のコンピュータプログラムで実施され、当該１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行および/または解釈されることができ、当該プログラム可能なプロセッサは、専用または汎用プログラム可能なプロセッサであってもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび命令を受信し、そしてデータおよび命令を当該記憶システム、当該少なくとも１つの入力装置および当該少なくとも１つの出力装置に送信することができる。

【0085】

これらの計算プログラム（プログラム、ソフトウェア、ソフトウェア応用、またはコードとも呼ばれる）は、プログラム可能なプロセッサの機械命令を含み、高級過程および/またはオブジェクトに向けたプログラミング言語、および/またはアセンブリ/機械言語を用いてこれらの計算プログラムを実施することができる。本明細書で使用されるように、「機械で読み取り可能な媒体」および「コンピュータで読み取り可能な媒体」という用語は、機械命令および/またはデータをプログラム可能なプロセッサに提供するための任意のコンピュータプログラム製品、機器、および/または装置（例えば、磁気ディスク、光ディスク、メモリ、プログラム可能な論理装置（ＰＬＤ））を指し、機械で読み取り可能な信号としての機械命令を受信する機械で読み取り可能な媒体を含む。「機械で読み取り可能な信号」という用語は、機械命令および/またはデータをプログラム可能なプロセッサに提供するための任意の信号を指す。

【0086】

ユーザとの対話を提供するために、ここで説明するシステムおよび技術をコンピュータに実施することができ、当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）、およびユーザがコンピュータに入力を提供できるキーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）を有する。他のタイプの装置は、さらにユーザとの対話を提供するために使用されてもよく、例えば、ユーザに提供されるフィードバックが、任意の形式の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、任意の形式（音響入力、音声入力、または触覚入力を含む）を使用して、ユーザからの入力を受信してもよい。

【0087】

本明細書で説明するシステムおよび技術は、バックグラウンド部品を含む計算システム（例えば、データサーバとして）、または中間部品を含む計算システム（例えば、応用サーバ）、または前端部品を含む計算システム（例えば、グラフィカルユーザインターフェースまたはインターネットブラウザを備えたユーザコンピュータ、ユーザが、当該グラフィカルユーザインターフェースまたは当該インターネットブラウザを通じて本明細書で説明するシステムおよび技術の実施形態と対話できる）、またはこのようなバックグラウンド部品、中間部品、または前端部品の任意の組合せを含む計算システムに実施されてもよい。任意の形式または媒体の数字データ通信（例えば、通信ネット）を通じて、システムの部品を相互に接続してもよい。通信ネットの例は、ローカルネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）およびインターネットを含む。

【0088】

コンピュータシステムは、クライアントおよびサーバを含んでもよい。通常、クライアントとサーバは、互いに離れており、通信ネットを介して相互作用する。クライアントとサーバ間の関係は、対応するコンピュータ上で実行され、互いにクライアント-サーバ関係を持つコンピュータプログラムによって生成される。

【0089】

本願の実施例の技術的手段により、ターゲットオブジェクトの顔でのキーポイント位置を識別した後、まず、顔美化素材の形状に基づいてターゲットオブジェクトの顔での形状を調整し、その後更に調整された領域に対して分割と素材充填を行い、顔美化素材をターゲットオブジェクトに直接にカバーすることによる、完全に遮蔽することができない可能性のある解決策と比較して、本願の実施例に係る形状を調整してから分割と充填を行う解決策は、遮蔽できない現象の発生を回避し、より自然な顔美化効果を得ることができる。具体的な実施において、顔を含む画像を取得し、顔におけるターゲットオブジェクトの顔美化素材に対する選択動作を受信し、ターゲットオブジェクトが顔における器官であり、予めトレーニングされたターゲットキーポイントモデルを用いて、ターゲットオブジェクトの顔でのキーポイント位置を識別し、キーポイント位置と顔美化素材の形状を用いてターゲットオブジェクトの顔での形状を調整し、調整されたターゲットオブジェクトの画像での領域を分割し、分割された領域を得、顔美化素材に基づいて分割された領域を充填し、ターゲット画像を得ることができる。つまり、形状を調整してから分割と充填を行う解決策を用いることにより、遮蔽できない現象の発生を回避し、より自然な顔美化効果を得ることができる。

【0090】

本願の実施例の別の態様に基づき、本願の実施例はまた、プログラムコードを含むコンピュータプログラムを提供し、コンピュータが前記コンピュータプログラムを実行するとき、前記プログラムコードは上記任意の実施例に記載の方法を実行する。

【0091】

理解すべきものとして、上記のさまざまな形式のフローを使用して、ステップの順序を変更、追加、又は削除してもよい。例えば、本願に記載された各ステップは、本願に開示された技術の解決手段の所望の結果が達成され得る限り、並列、順次、又は異なる順序で実行されてもよく、本明細書に限定されない。

【0092】

上記の具体的な実施形態は、本願の保護範囲に対する制限を構造しない。当業者は、設計要件及び他の要素によって、様々な修正、組み合わせ、サブ組み合わせ、及び置換を行うことができることを理解すべきである。本願の精神と原則の範囲内で行われた修正、同等の代替、及び改善などは、いずれも本願の保護範囲に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】