▶ ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-17
(45)【発行日】2022-10-25
(54)【発明の名称】画像処理方法及び装置
(51)【国際特許分類】
G06T 1/00 20060101AFI20221018BHJP
【ＦＩ】
G06T1/00 340A
【請求項の数】
21
(21)【出願番号】P 2020536145
(86)(22)【出願日】2019-11-19
(65)【公表番号】
(43)【公表日】2021-07-29
(86)【国際出願番号】 CN2019119534
(87)【国際公開番号】W WO2020177394
(87)【国際公開日】2020-09-10
【審査請求日】2020-06-26
(31)【優先権主張番号】201910169503.4
(32)【優先日】2019-03-06
(33)【優先権主張国・地域又は機関】CN
【前置審査】
(73)【特許権者】
【識別番号】321006888
【氏名又は名称】ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】▲蘇▼柳
(72)【発明者】
【氏名】▲楊▼瑞健
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開２０１１－０５３９４２（ＪＰ，Ａ）
【文献】特開２００８－２７１２４０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００－１／４０
Ｇ０６Ｔ ３／００－５／５０
Ｇ０６Ｔ ９／００－９／４０
(57)【特許請求の範囲】
【請求項1】
画像を処理する方法であって、第１画像を取得し、前記第１画像における顔部領域を認識し、前記顔部領域に関連するキーポイント情報を決定するステップであって、前記キーポイント情報が、前記顔部領域のキーポイント情報及び外縁キーポイント情報を含み、前記外縁キーポイント情報が対応する領域が、前記顔部領域を含み且つ前記顔部領域より大きく、前記顔部領域のキーポイント情報は、前記顔部領域の器官のキーポイント情報と前記顔部領域の縁部のキーポイント情報とを含み、前記外縁キーポイント情報に対応する外縁キーポイントの数は、前記顔部領域の縁部のキーポイント情報に対応するキーポイントの数より大きい、ステップと、
前記キーポイント情報に基づいて複数の変形領域を決定し、前記複数の変形領域のうちの少なくとも一部の変形領域に基づいて、前記顔部領域に対して画像変形処理を行って第２画像を生成するステップと
を含み、
前記顔部領域に関連するキーポイント情報を決定するステップは、
顔部キーポイント検出アルゴリズムによって前記顔部領域を検出して、前記顔部領域の器官のキーポイント情報及び前記顔部領域の縁部のキーポイント情報を取得するステップと、
前記顔部領域の縁部のキーポイント情報と前記顔部領域の中心点との間の相対的位置関係を決定するステップであって、前記相対的位置関係が、前記顔部領域の縁部のキーポイントと前記顔部領域の中心点との間の距離及び前記顔部領域の縁部のキーポイントの前記顔部領域の中心点に対する方向を含む、ステップと、
前記相対的位置関係に基づいて、前記顔部領域の外部に向かう方向に第１縁部のキーポイントを所定距離で伸ばして、前記第１縁部のキーポイントに対応する外縁キーポイントを取得するステップであって、前記第１縁部のキーポイントが、前記顔部領域の縁部のキーポイントのうちのいずれか１つのキーポイントであり、前記所定距離が、前記第１縁部のキーポイントと顔部領域の中心点との間の距離と正相関する、ステップと、
取得された前記第１縁部のキーポイントに対応する外縁キーポイントに対して、カーブフィッティングを行い、曲線補間アルゴリズムによって、前記カーブフィッティングの結果に対して補間処理を行い、前記外縁キーポイント情報を取得するステップと
を含む、方法。
【請求項2】
前記顔部領域の縁部が前記顔部領域の輪郭に対応し、前記器官のキーポイント情報は、器官の中心キーポイント情報及び／又は器官の輪郭キーポイント情報を含み、前記キーポイント情報に基づいて複数の変形領域を決定する前記ステップは、
前記キーポイント情報のうちの任意の隣接する３つのキーポイントに基づいて、前記複数の変形領域を決定するステップを含む、請求項１に記載の方法。
【請求項3】
前記複数の変形領域のうちの少なくとも一部の変形領域に基づいて前記顔部領域に対して画像変形処理を行う前記ステップは、前記顔部領域における処理しようとする第１目標領域を決定するステップと、
前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定するステップと、
前記第１目標領域に対応する変形領域に対して画像変形処理を行うステップと
を含む、請求項１又は２に記載の方法。
【請求項4】
前記第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、
前記左眼領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記左眼領域に対応する第１組の変形領域を決定し、及び／又は、前記右眼領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記右眼領域に対応する第２組の変形領域を決定するステップを含み
前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、
前記第１組の変形領域及び／又は前記第２組の変形領域に対して画像変形処理を行うステップを含み、
前記第１組の変形領域の画像変形方向が前記第２組の変形領域の画像変形方向と反対であり、それによって前記左眼領域と前記右眼領域との間の距離を大きくしたり小さくする、請求項３に記載の方法。
【請求項5】
前記第１目標領域は、左眼の眼角領域及び／又は右眼の眼角領域を含む眼角領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、
前記左眼の眼角領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記左眼の眼角領域に対応する第３組の変形領域を決定し、及び／又は、前記右眼の眼角領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記右眼の眼角領域に対応する第４組の変形領域を決定するステップを含み、
前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、
前記第３組の変形領域及び／又は前記第４組の変形領域を第１特定方向に引き伸ばし又は圧縮して、前記左眼領域の眼角の位置及び／又は前記右眼領域の眼角の位置を調整するステップを含む、請求項３に記載の方法。
【請求項6】
前記第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、
前記左眼領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記左眼領域に対応する第５組の変形領域を決定し、及び／又は、前記右眼領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記右眼領域に対応する第６組の変形領域を決定するステップを含み、
前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、
前記第５組の変形領域に対して変形処理を行って、回転角度が第１設定角度を満たすように左眼領域の輪郭キーポイントを左眼領域の中心キーポイントに対して回転させ、及び／又は、前記第６組の変形領域に対して変形処理を行って、回転角度が第２設定角度を満たすように右眼領域の輪郭キーポイントを右眼領域の中心キーポイントに対して回転させるステップを含む、請求項３に記載の方法。
【請求項7】
前記第１目標領域は鼻領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、
前記鼻領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記鼻領域に対応する第７組の変形領域を決定するステップを含み、
前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、
前記第７組の変形領域を第２特定方向に引き伸ばし又は圧縮して前記鼻領域を長くしたり短くするステップを含む、請求項３に記載の方法。
【請求項8】
前記第１目標領域は鼻翼領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、
前記鼻翼領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記鼻翼領域に対応する第８組の変形領域を決定するステップを含み、
前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、
前記第８組の変形領域を第３特定方向に圧縮又は引き伸ばして前記鼻翼領域を狭くしたり広くするステップを含む、請求項３に記載の方法。
【請求項9】
前記第１目標領域はあご領域又は人中領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、
前記あご領域又は人中領域に対応するキーポイント情報に基づいて前記複数の変形領域から前記あご領域又は人中領域に対応する第９組の変形領域を決定するステップを含み、
前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、
前記第９組の変形領域を第４特定方向に圧縮又は引き伸ばして前記あご領域又は人中領域を短くしたり長くするステップを含む、請求項３に記載の方法。
【請求項10】
前記第１目標領域は口部領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、
前記口部領域に対応するキーポイント情報に基づいて前記複数の変形領域から前記口部領域に対応する第１０組の変形領域を決定するステップを含み、
前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、
前記口部領域の縁部が前記口部領域の中心に向かう方向に前記第１０組の変形領域を圧縮処理し、又は前記口部領域の中心が前記口部領域の縁部に向かう方向に前記第１０組の変形領域に対して引き伸ばし処理を行うステップを含む、請求項３に記載の方法。
【請求項11】
前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、前記顔部領域の縁部のキーポイント情報に基づいて、前記複数の変形領域から前記顔部領域に対応する第１１組の変形領域を決定するステップを含み、
前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、
前記顔部領域の縁部が前記顔部領域の中線に向かう方向に前記第１１組の変形領域を圧縮処理し、又は前記顔部領域の中線が前記顔部領域の縁部に向かう方向に前記第１１組の変形領域に対して引き伸ばし処理を行うステップを含む、請求項３に記載の方法。
【請求項12】
前記第１目標領域は額領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、前記額領域のキーポイント情報に基づいて、前記複数の変形領域から前記額領域に対応する第１２組の変形領域を決定するステップを含み、
前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、
前記第１２組の変形領域を第５特定方向に引き伸ばし又は圧縮処理して前記顔部領域の生え際を高くしたり低くするステップを含み、
前記第５特定方向は、前記額領域のキーポイントが前記キーポイントに最も近い眉間に向かう方向であり、又は、前記第５特定方向は、前記額領域のキーポイントが前記キーポイントに最も近い眉間から離れる方向である、請求項３に記載の方法。
【請求項13】
前記額領域のキーポイント情報の決定方式は、前記額領域の少なくとも３つのキーポイントを決定するステップと、
前記少なくとも３つのキーポイントと前記顔部領域における眼部以下の第１組の輪郭点情報に基づいて、前記額領域のキーポイント情報を決定するステップと
を含み、
前記少なくとも３つのキーポイントのうちの第１キーポイントが、前記額領域の中線に位置し、前記少なくとも３つのキーポイントのうちの第２キーポイントと第３キーポイントが、前記中線の両側に位置する、請求項１２に記載の方法
【請求項14】
前記少なくとも３つのキーポイントと前記顔部領域における眼部以下の第１組の輪郭点情報に基づいて、前記額領域のキーポイント情報を決定する前記ステップは、前記顔部領域における眼部以下の第１組の輪郭点情報のうちの両端に位置するキーポイント及び前記少なくとも３つのキーポイントに基づいて、カーブフィッティングを行って、カーブフィッティングキーポイント情報を取得するステップと、
曲線補間アルゴリズムに基づいて、前記カーブフィッティングキーポイント情報に対して補間処理を行って、前記額領域のキーポイント情報を取得するステップと
を含む、請求項１３に記載の方法。
【請求項15】
前記顔部領域の縁部のキーポイント情報を取得するステップは、前記顔部領域における眼部以下の第１組の輪郭点情報を取得するステップと、
前記額領域の第２組の輪郭点情報を決定し、前記第１組の輪郭点情報と前記第２組の輪郭点情報に基づいて、前記顔部領域の縁部のキーポイント情報を決定するステップと、を含む請求項１に記載の方法。
【請求項16】
前記方法は、前記顔部領域の振れパラメータを決定し、前記振れパラメータに基づいて前記少なくとも一部の変形領域のうちの各変形領域に対応する変形パラメータと変形方向を決定し、各変形領域が、対応する変形パラメータと変形方向に従って画像変形処理されるようにするステップを更に含む、請求項１～１５のいずれか一項に記載の方法。
【請求項17】
前記顔部領域の振れパラメータを決定する前記ステップは、前記顔部領域のうちのいずれか１つの領域の左側縁部キーポイント、右側縁部キーポイント及び中心キーポイントを決定するステップであって、前記領域が顔面部領域、鼻領域、口部領域の中の少なくとも１つを含む、ステップと、
前記左側キーポイントと前記中心キーポイントとの間の第１距離を決定し、前記右側縁部キーポイントと前記中心キーポイントとの間の第２距離を決定するステップと、
前記第１距離と前記第２距離に基づいて前記顔部領域の振れパラメータを決定するステップと
を含む、請求項１６に記載の方法。
【請求項18】
前記方法は、前記顔部領域における第２目標領域を認識し、前記第２目標領域に対して特徴処理を行って第３画像を生成するステップを更に含み、前記第２目標領域が、眼周囲領域、ほうれい線領域、歯領域、眼部領域、頬骨筋領域のうちの少なくとも１つを含む、請求項１～１７のいずれか一項に記載の方法。
【請求項19】
画像処理装置であって、前記画像処理装置は、第１決定ユニットと変形処理ユニットとを含み、
前記第１決定ユニットが、第１画像を取得し、前記第１画像における顔部領域を認識し、前記顔部領域に関連するキーポイント情報を決定するように構成され、前記キーポイント情報が、前記顔部領域のキーポイント情報及び外縁キーポイント情報を含み、前記外縁キーポイント情報が対応する領域が、前記顔部領域を含み且つ前記顔部領域より大きく、前記顔部領域のキーポイント情報は、前記顔部領域の器官のキーポイント情報と前記顔部領域の縁部のキーポイント情報とを含み、前記外縁キーポイント情報に対応する外縁キーポイントの数は、前記顔部領域の縁部のキーポイント情報に対応するキーポイントの数より大きく、
前記第１決定ユニットが、前記キーポイント情報に基づいて複数の変形領域を決定するように更に構成され、
前記変形処理ユニットが、前記複数の変形領域のうちの少なくとも一部の変形領域に基づいて、前記顔部領域に対して画像変形処理を行って第２画像を生成するように構成され、
前記第１決定ユニットが、
顔部キーポイント検出アルゴリズムによって前記顔部領域を検出して、前記顔部領域の器官のキーポイント情報及び前記顔部領域の縁部のキーポイント情報を取得するステップと、
前記顔部領域の縁部のキーポイント情報と前記顔部領域の中心点との間の相対的位置関係を決定するステップであって、前記相対的位置関係が、前記顔部領域の縁部のキーポイントと前記顔部領域の中心点との間の距離及び前記顔部領域の縁部のキーポイントの前記顔部領域の中心点に対する方向を含む、ステップと、
前記相対的位置関係に基づいて、前記顔部領域の外部に向かう方向に第１縁部のキーポイントを所定距離で伸ばして、前記第１縁部のキーポイントに対応する外縁キーポイントを取得するステップであって、前記第１縁部のキーポイントが、前記顔部領域の縁部のキーポイントのうちのいずれか１つのキーポイントであり、前記所定距離が、前記第１縁部のキーポイントと顔部領域の中心点との間の距離と正相関する、ステップと、
取得された前記第１縁部のキーポイントに対応する外縁キーポイントに対して、カーブフィッティングを行い、曲線補間アルゴリズムによって、前記カーブフィッティングの結果に対して補間処理を行い、前記外縁キーポイント情報を取得するステップと
を実行するように構成される、画像処理装置。
【請求項20】
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行されると、請求項１～１８のいずれか一項に記載の方法を実現する、コンピュータ読み取り可能な記憶媒体。
【請求項21】
画像処理装置であって、前記画像処理装置は、メモリと、プロセッサと、前記メモリに記憶されているコンピュータプログラムとを含み、前記コンピュータプログラムは、前記プロセッサ上で作動可能であり、前記プロセッサは、前記コンピュータプログラムを実行すると、請求項１～１８のいずれか一項に記載の方法を実現する、画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、出願番号が２０１９１０１６９５０３．４であり、出願日が２０１９年３月６日である中国特許出願に基づいて提出され、且つ該中国特許出願の優先権を主張し、該中国特許出願の全ての内容が参照によって本願に組み込まれる。
本願は、出願番号が２０１９１０１６９５０３．４であり、出願日が２０１９年３月６日である中国特許出願に基づいて提出され、且つ該中国特許出願の優先権を主張し、該中国特許出願の全ての内容が参照によって本願に組み込まれる。
【0002】
本願は、画像処理技術に関し、具体的には、画像処理方法及び装置に関する。
【背景技術】
【0003】
インターネット技術の急速な発展に伴い、顔画像処理を実現するために、画像処理方式が多く登場している。顔領域のみに対して圧縮処理する場合、画像に穴（ｈｏｌｅ）が生じる場合があり、顔領域のみに対して引き伸ばし処理を行う場合、画像において画素が重なる場合がある。
【発明の概要】
【課題を解決するための手段】
【0004】
本願の実施例は画像処理方法及び装置を提供する。
【0005】
上記目的を達成するために、本願の実施例の技術的解決手段は以下のように実現される。
【0006】
本願の実施例は、第１画像を取得し、前記第１画像における顔部領域を認識し、前記顔部領域に関連するキーポイント情報を決定するステップであって、前記キーポイント情報が、前記顔部領域のキーポイント情報及び外縁キーポイント情報を含み、前記外縁キーポイント情報が対応する領域が、前記顔部領域を含み且つ前記顔部領域より大きいステップと、前記キーポイント情報に基づいて複数の変形領域を決定し、前記複数の変形領域のうちの少なくとも一部の変形領域に基づいて、前記顔部領域に対して画像変形処理を行って第２画像を生成するステップと、を含む画像処理方法を提供する。
【0007】
本願のいくつかの選択可能な実施例では、前記顔部領域のキーポイント情報は、前記顔部領域の器官のキーポイント情報と前記顔部領域の縁部のキーポイント情報とを含み、前記顔部領域の縁部が前記顔部領域の輪郭に対応し、前記器官のキーポイント情報は、器官の中心キーポイント情報及び／又は器官の輪郭キーポイント情報を含む。
【0008】
本願のいくつかの選択可能な実施例では、前記キーポイント情報に基づいて複数の変形領域を決定する前記ステップは、前記キーポイント情報のうちの任意の隣接する３つのキーポイントに基づいて、前記複数の変形領域を決定するステップを含む。
【0009】
本願のいくつかの選択可能な実施例では、前記複数の変形領域のうちの少なくとも一部の変形領域に基づいて前記顔部領域に対して画像変形処理を行う前記ステップは、前記顔部領域における処理しようとする第１目標領域を決定するステップと、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定するステップと、前記第１目標領域に対応する変形領域に対して画像変形処理を行うステップと、を含む。
【0010】
本願のいくつかの選択可能な実施例では、前記第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、前記左眼領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記左眼領域に対応する第１組の変形領域を決定し、及び／又は、前記右眼領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記右眼領域に対応する第２組の変形領域を決定するステップを含み、前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、前記第１組の変形領域及び／又は前記第２組の変形領域に対して画像変形処理を行うステップを含み、ここで、前記第１組の変形領域の画像変形方向が前記第２組の変形領域の画像変形方向と反対であり、それによって前記左眼領域と前記右眼領域との間の距離を大きくしたり小さくする。
【0011】
本願のいくつかの選択可能な実施例では、前記第１目標領域は、左眼の眼角領域及び／又は右眼の眼角領域を含む眼角領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、前記左眼の眼角領域に対応するキーポイント情報に基づいて、前記複数の変形領域から第３組の変形領域を決定し、及び／又は、前記右眼の眼角領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記右眼の眼角領域に対応する第４組の変形領域を決定するステップを含み、前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、前記第３組の変形領域及び／又は前記第４組の変形領域を第１特定方向に引き伸ばし又は圧縮して、前記左眼領域の眼角の位置及び／又は前記右眼領域の眼角の位置を調整するステップを含む。
【0012】
本願のいくつかの選択可能な実施例では、前記第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、前記左眼領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記左眼領域に対応する第５組の変形領域を決定し、及び／又は、前記右眼領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記右眼領域に対応する第６組の変形領域を決定するステップを含み、前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、前記第５組の変形領域に対して変形処理を行って、回転角度が第１設定角度を満たすように左眼領域の輪郭キーポイントを左眼領域の中心キーポイントに対して回転させ、及び／又は、前記第６組の変形領域に対して変形処理を行って、回転角度が第２設定角度を満たすように右眼領域の輪郭キーポイントを右眼領域の中心キーポイントに対して回転させるステップを含む。
【0013】
本願のいくつかの選択可能な実施例では、前記第１目標領域は鼻領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、前記鼻領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記鼻領域に対応する第７組の変形領域を決定するステップを含み、前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、前記第７組の変形領域を第２特定方向に引き伸ばし又は圧縮して前記鼻領域を長くしたり短くするステップを含む。
【0014】
本願のいくつかの選択可能な実施例では、前記第１目標領域は鼻翼領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、前記鼻翼領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記鼻翼領域に対応する第８組の変形領域を決定するステップを含み、前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、前記第８組の変形領域を第３特定方向に圧縮又は引き伸ばして前記鼻翼領域を狭くしたり広くするステップを含む。
【0015】
本願のいくつかの選択可能な実施例では、前記第１目標領域はあご領域又は人中領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、前記あご領域又は人中領域に対応するキーポイント情報に基づいて前記複数の変形領域から前記あご領域又は人中領域に対応する第９組の変形領域を決定するステップを含み、前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、前記第９組の変形領域を第４特定方向に圧縮又は引き伸ばして前記あご領域又は人中領域を短くしたり長くするステップを含む。
【0016】
本願のいくつかの選択可能な実施例では、前記第１目標領域は口部領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、前記口部領域に対応するキーポイント情報に基づいて前記複数の変形領域から前記口部領域に対応する第１０組の変形領域を決定するステップを含み、前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、前記口部領域の縁部が前記口部領域の中心に向かう方向に前記第１０組の変形領域を圧縮処理し、又は前記口部領域の中心が前記口部領域の縁部に向かう方向に前記第１０組の変形領域に対して引き伸ばし処理を行うステップを含む。
【0017】
本願のいくつかの選択可能な実施例では、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、前記顔部領域の縁部のキーポイント情報に基づいて、前記複数の変形領域から前記顔部領域に対応する第１１組の変形領域を決定するステップを含み、前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、前記顔部領域の縁部が前記顔部領域の中点に向かう方向に前記第１１組の変形領域を圧縮処理し、又は前記顔部領域の中点が前記顔部領域の縁部に向かう方向に前記第１１組の変形領域に対して引き伸ばし処理を行うステップを含む。
【0018】
本願のいくつかの選択可能な実施例では、前記第１目標領域は額領域であり、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定する前記ステップは、前記額領域のキーポイント情報に基づいて、前記複数の変形領域から前記額領域に対応する第１２組の変形領域を決定するステップを含み、前記第１目標領域に対応する変形領域に対して画像変形処理を行う前記ステップは、前記第１２組の変形領域を第５特定方向に引き伸ばし又は圧縮処理して前記顔部領域の生え際を高くしたり低くするステップを含み、前記第５特定方向は、前記額領域のキーポイントが前記キーポイントに最も近い眉間に向かう方向であり、又は、前記第５特定方向は、前記額領域のキーポイントが前記キーポイントに最も近い眉間から離れる方向である。
【0019】
本願のいくつかの選択可能な実施例では、前記額領域のキーポイント情報の決定方式は、前記額領域の少なくとも３つのキーポイントを決定するステップと、前記少なくとも３つのキーポイントと前記顔部領域における眼部以下の第１組の輪郭点情報に基づいて、前記額領域のキーポイント情報を決定するステップと、を含む。
【0020】
本願のいくつかの選択可能な実施例では、前記少なくとも３つのキーポイントのうちの第１キーポイントが、前記額領域の中線に位置し、前記少なくとも３つのキーポイントのうちの第２キーポイントと第３キーポイントが、前記中線の両側に位置する。
【0021】
本願のいくつかの選択可能な実施例では、前記少なくとも３つのキーポイントと前記顔部領域における眼部以下の第１組の輪郭点情報に基づいて、前記額領域のキーポイント情報を決定する前記ステップは、前記顔部領域における眼部以下の第１組の輪郭点情報のうちの両端に位置するキーポイント及び前記少なくとも３つのキーポイントに基づいて、カーブフィッティングを行って、カーブフィッティングキーポイント情報を取得するステップと、曲線補間アルゴリズムに基づいて、前記カーブフィッティングキーポイント情報に対して補間処理を行って、前記額領域のキーポイント情報を取得するステップと、を含む。
【0022】
本願のいくつかの選択可能な実施例では、前記顔部領域に関連するキーポイント情報を決定する前記ステップは、顔部キーポイント検出アルゴリズムによって前記顔部領域を検出して、前記顔部領域に含まれる器官のキーポイント情報及び前記顔部領域の縁部のキーポイント情報を取得するステップと、前記顔部領域の縁部のキーポイント情報に基づいて前記外縁キーポイント情報を取得するステップと、を含む。
【0023】
本願のいくつかの選択可能な実施例では、前記顔部領域の縁部のキーポイント情報を取得するステップは、前記顔部領域における眼部以下の第１組の輪郭点情報を取得するステップと、前記額領域の第２組の輪郭点情報を決定し、前記第１組の輪郭点情報と前記第２組の輪郭点情報に基づいて、前記顔部領域の縁部のキーポイント情報を決定するステップと、を含む。
【0024】
本願のいくつかの選択可能な実施例では、前記顔部領域の縁部のキーポイント情報に基づいて前記外縁キーポイント情報を取得する前記ステップは、前記顔部領域の縁部のキーポイントと前記顔部領域の中心点との間の距離及び前記顔部領域の縁部のキーポイントの前記顔部領域の中心点に対する方向を含む、前記顔部領域の縁部のキーポイント情報と前記顔部領域の中点との間の相対的位置関係を決定するステップと、前記相対的位置関係に基づいて、前記顔部領域の外部に向かう方向に第１縁部のキーポイントを所定距離で伸ばして、前記第１縁部のキーポイントに対応する外縁キーポイントを取得するステップであって、前記第１縁部のキーポイントが、前記顔部領域の縁部のキーポイントのうちのいずれか１つのキーポイントであり、前記所定距離が、前記第１縁部のキーポイントと顔部領域の中心点との間の距離と相関するステップと、を含む。
【0025】
本願のいくつかの選択可能な実施例では、前記方法は、前記顔部領域の振れパラメータを決定し、前記振れパラメータに基づいて前記少なくとも一部の変形領域のうちの各変形領域に対応する変形パラメータと変形方向を決定し、各変形領域が、対応する変形パラメータと変形方向に従って画像変形処理されるようにするステップを更に含む。
【0026】
本願のいくつかの選択可能な実施例では、前記顔部領域の振れパラメータを決定する前記ステップは、前記顔部領域のうちのいずれか１つの領域の左側縁部キーポイント、右側縁部キーポイント及び中心キーポイントを決定するステップであって、前記領域が顔面部領域、鼻領域、口部領域の中の少なくとも１つを含むステップと、前記左側キーポイントと前記中心キーポイントとの間の第１距離を決定し、前記右側縁部キーポイントと前記中心キーポイントとの間の第２距離を決定するステップと、前記第１距離と前記第２距離に基づいて前記顔部領域の振れパラメータを決定するステップと、を含む。
【0027】
本願のいくつかの選択可能な実施例では、前記方法は、前記顔部領域における第２目標領域を認識し、前記第２目標領域に対して特徴処理を行って第３画像を生成するステップを更に含み、前記第２目標領域が、眼周囲領域、ほうれい線領域、歯領域、眼部領域、頬骨筋領域の中の少なくとも一項を含む。
【0028】
本願の実施例は、第１画像を取得し、前記第１画像における顔部領域を認識し、前記顔部領域に関連するキーポイント情報を決定するように構成される第１決定ユニットであって、前記キーポイント情報が、前記顔部領域のキーポイント情報及び外縁キーポイント情報を含み、前記外縁キーポイント情報が対応する領域が、前記顔部領域を含み且つ前記顔部領域より大きいうに構成され、更に前記キーポイント情報に基づいて複数の変形領域を決定する第１決定ユニットと、
前記複数の変形領域のうちの少なくとも一部の変形領域に基づいて、前記顔部領域に対して画像変形処理を行って第２画像を生成するように構成される変形処理ユニットと、を含む画像処理装置を更に提供する。
前記複数の変形領域のうちの少なくとも一部の変形領域に基づいて、前記顔部領域に対して画像変形処理を行って第２画像を生成するように構成される変形処理ユニットと、を含む画像処理装置を更に提供する。
【0029】
本願のいくつかの選択可能な実施例では、前記顔部領域のキーポイント情報は、前記顔部領域の器官のキーポイント情報と前記顔部領域の縁部のキーポイント情報とを含み、前記顔部領域の縁部が前記顔部領域の輪郭に対応し、前記器官のキーポイント情報は、器官の中心キーポイント情報及び／又は器官の輪郭キーポイント情報を含む。
【0030】
本願のいくつかの選択可能な実施例では、前記第１決定ユニットは、前記キーポイント情報のうちの任意の隣接する３つのキーポイントに基づいて、前記複数の変形領域を決定するように構成される。
【0031】
本願のいくつかの選択可能な実施例では、前記第１決定ユニットは、前記顔部領域における処理しようとする第１目標領域を決定し、前記第１目標領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記第１目標領域に対応する変形領域を決定するように構成され、
前記変形処理ユニットは、前記第１目標領域に対応する変形領域に対して画像変形処理を行うように構成される。
前記変形処理ユニットは、前記第１目標領域に対応する変形領域に対して画像変形処理を行うように構成される。
【0032】
本願のいくつかの選択可能な実施例では、前記第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、前記第１決定ユニットは、前記左眼領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記左眼領域に対応する第１組の変形領域を決定し、及び／又は、前記右眼領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記右眼領域に対応する第２組の変形領域を決定するように構成され、
前記変形処理ユニットは、前記第１組の変形領域及び／又は前記第２組の変形領域に対して画像変形処理を行うように構成され、ここで、前記第１組の変形領域の画像変形方向が前記第２組の変形領域の画像変形方向と反対であり、それによって前記左眼領域と前記右眼領域との間の距離を大きくしたり小さくする。
前記変形処理ユニットは、前記第１組の変形領域及び／又は前記第２組の変形領域に対して画像変形処理を行うように構成され、ここで、前記第１組の変形領域の画像変形方向が前記第２組の変形領域の画像変形方向と反対であり、それによって前記左眼領域と前記右眼領域との間の距離を大きくしたり小さくする。
【0033】
本願のいくつかの選択可能な実施例では、前記第１目標領域は、左眼の眼角領域及び／又は右眼の眼角領域を含む眼角領域であり、前記第１決定ユニットは、前記左眼の眼角領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記左眼の眼角領域に対応する第３組の変形領域を決定し、及び／又は、前記右眼の眼角領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記右眼の眼角領域に対応する第４組の変形領域を決定するように構成され、
前記変形処理ユニットは、前記第３組の変形領域及び／又は前記第４組の変形領域を第１特定方向に引き伸ばし又は圧縮して、前記左眼領域の眼角の位置及び／又は前記右眼領域の眼角の位置を調整するように構成される。
前記変形処理ユニットは、前記第３組の変形領域及び／又は前記第４組の変形領域を第１特定方向に引き伸ばし又は圧縮して、前記左眼領域の眼角の位置及び／又は前記右眼領域の眼角の位置を調整するように構成される。
【0034】
本願のいくつかの選択可能な実施例では、前記第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、前記第１決定ユニットは、前記左眼領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記左眼領域に対応する第５組の変形領域を決定し、及び／又は、前記右眼領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記右眼領域に対応する第６組の変形領域を決定するように構成され、
前記変形処理ユニットは、前記第５組の変形領域に対して変形処理を行って、回転角度が第１設定角度を満たすように左眼領域の輪郭キーポイントを左眼領域の中心キーポイントに対して回転させ、及び／又は、前記第６組の変形領域に対して変形処理を行って、回転角度が第２設定角度を満たすように右眼領域の輪郭キーポイントを右眼領域の中心キーポイントに対して回転させるように構成される。
前記変形処理ユニットは、前記第５組の変形領域に対して変形処理を行って、回転角度が第１設定角度を満たすように左眼領域の輪郭キーポイントを左眼領域の中心キーポイントに対して回転させ、及び／又は、前記第６組の変形領域に対して変形処理を行って、回転角度が第２設定角度を満たすように右眼領域の輪郭キーポイントを右眼領域の中心キーポイントに対して回転させるように構成される。
【0035】
本願のいくつかの選択可能な実施例では、前記第１目標領域は鼻領域であり前記第１決定ユニットは、前記鼻領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記鼻領域に対応する第７組の変形領域を決定するように構成され、
前記変形処理ユニットは、前記第７組の変形領域を第２特定方向に引き伸ばし又は圧縮して前記鼻領域を長くしたり短くするように構成される。
前記変形処理ユニットは、前記第７組の変形領域を第２特定方向に引き伸ばし又は圧縮して前記鼻領域を長くしたり短くするように構成される。
【0036】
本願のいくつかの選択可能な実施例では、前記第１目標領域は鼻翼領域であり、前記第１決定ユニットは、前記鼻翼領域に対応するキーポイント情報に基づいて、前記複数の変形領域から前記鼻翼領域に対応する第８組の変形領域を決定するように構成され、
前記変形処理ユニットは、前記第８組の変形領域を第３特定方向に圧縮又は引き伸ばして前記鼻翼領域を狭くしたり広くするように構成される。
前記変形処理ユニットは、前記第８組の変形領域を第３特定方向に圧縮又は引き伸ばして前記鼻翼領域を狭くしたり広くするように構成される。
【0037】
本願のいくつかの選択可能な実施例では、前記第１目標領域はあご領域又は人中領域であり、前記第１決定ユニットは、前記あご領域又は人中領域に対応するキーポイント情報に基づいて前記複数の変形領域から前記あご領域又は人中領域に対応する第９組の変形領域を決定するように構成され、
前記変形処理ユニットは、前記第９組の変形領域を第４特定方向に圧縮又は引き伸ばして前記あご領域又は人中領域を短くしたり長くするように構成される。
前記変形処理ユニットは、前記第９組の変形領域を第４特定方向に圧縮又は引き伸ばして前記あご領域又は人中領域を短くしたり長くするように構成される。
【0038】
本願のいくつかの選択可能な実施例では、前記第１目標領域は口部領域であり、前記第１決定ユニットは、前記口部領域に対応するキーポイント情報に基づいて前記複数の変形領域から前記口部領域に対応する第１０組の変形領域を決定するように構成され、
前記変形処理ユニットは、前記口部領域の縁部が前記口部領域の中心に向かう方向に前記第１０組の変形領域を圧縮処理し、又は前記口部領域の中心が前記口部領域の縁部に向かう方向に前記第１０組の変形領域に対して引き伸ばし処理を行うように構成される。
前記変形処理ユニットは、前記口部領域の縁部が前記口部領域の中心に向かう方向に前記第１０組の変形領域を圧縮処理し、又は前記口部領域の中心が前記口部領域の縁部に向かう方向に前記第１０組の変形領域に対して引き伸ばし処理を行うように構成される。
【0039】
本願のいくつかの選択可能な実施例では、前記第１決定ユニットは、前記顔部領域の縁部のキーポイント情報に基づいて、前記複数の変形領域から前記顔部領域に対応する第１１組の変形領域を決定するように構成され、
前記変形処理ユニットは、前記顔部領域の縁部が前記顔部領域の中線に向かう方向に前記第１１組の変形領域を圧縮処理し、又は前記顔部領域の中線が前記顔部領域の縁部に向かう方向に前記第１１組の変形領域に対して引き伸ばし処理を行うように構成される。
前記変形処理ユニットは、前記顔部領域の縁部が前記顔部領域の中線に向かう方向に前記第１１組の変形領域を圧縮処理し、又は前記顔部領域の中線が前記顔部領域の縁部に向かう方向に前記第１１組の変形領域に対して引き伸ばし処理を行うように構成される。
【0040】
本願のいくつかの選択可能な実施例では、前記第１目標領域は額領域であり、前記第１決定ユニットは、前記額領域に対応するキーポイント情報に基づいて前記複数の変形領域から前記額領域に対応する第１２組の変形領域を決定するように構成され、
前記変形処理ユニットは、前記第１２組の変形領域を第５特定方向に引き伸ばし又は圧縮処理して前記顔部領域の生え際を高くしたり低くするように構成され、前記第５特定方向は、前記額領域のキーポイントが前記キーポイントに最も近い眉間に向かう方向であり、又は、前記第５特定方向は、前記額領域のキーポイントが前記キーポイントに最も近い眉間から離れる方向である。
前記変形処理ユニットは、前記第１２組の変形領域を第５特定方向に引き伸ばし又は圧縮処理して前記顔部領域の生え際を高くしたり低くするように構成され、前記第５特定方向は、前記額領域のキーポイントが前記キーポイントに最も近い眉間に向かう方向であり、又は、前記第５特定方向は、前記額領域のキーポイントが前記キーポイントに最も近い眉間から離れる方向である。
【0041】
本願のいくつかの選択可能な実施例では、前記第１決定ユニットは、前記額領域の少なくとも３つのキーポイントを決定し、前記少なくとも３つのキーポイントと前記顔部領域における眼部以下の第１組の輪郭点情報に基づいて、前記額領域のキーポイント情報を決定するように構成される。
【0042】
本願のいくつかの選択可能な実施例では、前記少なくとも３つのキーポイントのうちの第１キーポイントが、前記額領域の中線に位置し、前記少なくとも３つのキーポイントのうちの第２キーポイントと第３キーポイントが、前記中線の両側に位置する。
【0043】
本願のいくつかの選択可能な実施例では、前記第１決定ユニットは、前記顔部領域における眼部以下の第１組の輪郭点情報のうちの両端に位置するキーポイント情報及び前記少なくとも３つのキーポイント情報に基づいてカーブフィッティングを行ってカーブフィッティングキーポイント情報を取得し、曲線補間アルゴリズムに基づいて、前記カーブフィッティングキーポイント情報に対して補間処理を行って前記額領域に対応するキーポイント情報を取得するように構成される。
【0044】
本願のいくつかの選択可能な実施例では、前記第１決定ユニットは、顔部キーポイント検出アルゴリズムによって前記顔部領域を検出して、前記顔部領域の器官のキーポイント情報及び前記顔部領域の縁部のキーポイント情報を取得し、前記顔部領域の縁部のキーポイント情報に基づいて前記外縁キーポイント情報を取得するように構成される。
【0045】
本願のいくつかの選択可能な実施例では、前記第１決定ユニットは、前記顔部領域における眼部以下の第１組の輪郭点情報を取得し、前記額領域に対応する第２組の輪郭点情報を決定し、前記第１組の輪郭点情報と前記第２組の輪郭点情報に基づいて、前記顔部領域の縁部のキーポイント情報を決定するように構成される。
【0046】
本願のいくつかの選択可能な実施例では、前記第１決定ユニットは、前記顔部領域の縁部のキーポイントと前記顔部領域の中心点との間の距離及び前記顔部領域の縁部のキーポイントの前記顔部領域の中心点に対する方向を含む、前記顔部領域の縁部のキーポイント情報と前記顔部領域の中点との間の相対的位置関係を決定し、前記相対的位置関係に基づいて、前記顔部領域の外部に向かう方向に第１縁部のキーポイントを所定距離で伸ばして、前記第１縁部のキーポイントに対応する外縁キーポイントを取得するように構成され、前記第１縁部のキーポイントが、前記顔部領域の縁部のキーポイントのうちのいずれか１つのキーポイントであり、前記所定距離が、前記第１縁部のキーポイントと顔部領域の中心点との間の距離と相関する。
【0047】
本願のいくつかの選択可能な実施例では、前記装置は、前記顔部領域の振れパラメータを決定し、前記振れパラメータに基づいて前記少なくとも一部の変形領域のうちの各変形領域に対応する変形パラメータと変形方向を決定し、各変形領域が、対応する変形パラメータと変形方向に従って画像変形処理されるようにするように構成される第２決定ユニットを更に含む。
【0048】
本願のいくつかの選択可能な実施例では、前記第２決定ユニットは、顔面部領域、鼻領域、口部領域の中の少なくとも１つを含む前記顔部領域のうちのいずれか１つの領域の左側縁部キーポイント、右側縁部キーポイント及び中心キーポイントを決定し、前記左側キーポイントと前記中心キーポイントとの間の第１距離を決定し、前記右側縁部キーポイントと前記中心キーポイントとの間の第２距離を決定し、前記第１距離と前記第２距離に基づいて前記顔部領域の振れパラメータを決定するように構成される。
【0049】
本願のいくつかの選択可能な実施例では、前記装置は、前記顔部領域における第２目標領域を認識し、前記第２目標領域に対して特徴処理を行って第３画像を生成するように構成される画像処理ユニットを更に含み、前記第２目標領域が、眼周囲領域、ほうれい線領域、歯領域、眼部領域、頬骨筋領域の中の少なくとも一項を含む。
【0050】
本願の実施例は、コンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、このプログラムがプロセッサにより実行される時に本願の実施例に記載の方法のステップを実現するコンピュータ読取可能記憶媒体を更に提供する。
【0051】
本願の実施例は、メモリと、プロセッサと、メモリに記憶されている、プロセッサ上で作動可能なコンピュータプログラムと、を含み、前記プロセッサが前記プログラムを実行する時に本願の実施例に記載の方法のステップを実現する画像処理装置を更に提供する。
【0052】
本願の実施例で提供される画像処理方法及び装置によれば、前記方法は、第１画像を取得し、前記第１画像における顔部領域を認識し、前記顔部領域に関連するキーポイント情報を決定するステップであって、前記キーポイント情報が、前記顔部領域のキーポイント情報及び外縁キーポイント情報を含み、前記外縁キーポイント情報が対応する領域が、前記顔部領域を含み且つ前記顔部領域より大きいステップと、前記キーポイント情報に基づいて複数の変形領域を決定し、前記複数の変形領域のうちの少なくとも一部の変形領域に基づいて、前記顔部領域に対して画像変形処理を行って第２画像を生成するステップと、を含む。
【0053】
本願の実施例の技術的解決手段を採用すれば、顔部領域の外縁のキーポイントを決定することで顔部領域外縁の変形領域を決定し、それによって顔部領域の変形処理過程で顔部領域の外縁を適応的に変形処理して、顔部領域の変形処理による画像中の穴又は画素重畳を回避して、画像処理効果を高めた。
例えば、本願は以下の項目を提供する。
（項目１）
第１画像を取得し、上記第１画像における顔部領域を認識し、上記顔部領域に関連するキーポイント情報を決定するステップであって、上記キーポイント情報が、上記顔部領域のキーポイント情報及び外縁キーポイント情報を含み、上記外縁キーポイント情報が対応する領域が、上記顔部領域を含み且つ上記顔部領域より大きいステップと、
上記キーポイント情報に基づいて複数の変形領域を決定し、上記複数の変形領域のうちの少なくとも一部の変形領域に基づいて、上記顔部領域に対して画像変形処理を行って第２画像を生成するステップと、を含む画像処理方法。
（項目２）
上記顔部領域のキーポイント情報は、上記顔部領域の器官のキーポイント情報と上記顔部領域の縁部のキーポイント情報とを含み、上記顔部領域の縁部が上記顔部領域の輪郭に対応し、
上記器官のキーポイント情報は、器官の中心キーポイント情報及び／又は器官の輪郭キーポイント情報を含む項目１に記載の方法。
（項目３）
上記キーポイント情報に基づいて複数の変形領域を決定する上記ステップは、
上記キーポイント情報のうちの任意の隣接する３つのキーポイントに基づいて、上記複数の変形領域を決定するステップを含む項目１又は２に記載の方法。
（項目４）
上記複数の変形領域のうちの少なくとも一部の変形領域に基づいて上記顔部領域に対して画像変形処理を行う上記ステップは、
上記顔部領域における処理しようとする第１目標領域を決定するステップと、
上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定するステップと、
上記第１目標領域に対応する変形領域に対して画像変形処理を行うステップと、を含む項目１－３のいずれか一項に記載の方法。
（項目５）
上記第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、
上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記左眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記左眼領域に対応する第１組の変形領域を決定し、及び／又は、上記右眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記右眼領域に対応する第２組の変形領域を決定するステップを含み
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記第１組の変形領域及び／又は上記第２組の変形領域に対して画像変形処理を行うステップを含み、
ここで、上記第１組の変形領域の画像変形方向が上記第２組の変形領域の画像変形方向と反対であり、それによって上記左眼領域と上記右眼領域との間の距離を大きくしたり小さくする項目４に記載の方法。
（項目６）
上記第１目標領域は、左眼の眼角領域及び／又は右眼の眼角領域を含む眼角領域であり、
上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記左眼の眼角領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記左眼の眼角領域に対応する第３組の変形領域を決定し、及び／又は、上記右眼の眼角領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記右眼の眼角領域に対応する第４組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記第３組の変形領域及び／又は上記第４組の変形領域を第１特定方向に引き伸ばし又は圧縮して、上記左眼領域の眼角の位置及び／又は上記右眼領域の眼角の位置を調整するステップを含む項目４に記載の方法。
（項目７）
上記第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、
上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記左眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記左眼領域に対応する第５組の変形領域を決定し、及び／又は、上記右眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記右眼領域に対応する第６組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記第５組の変形領域に対して変形処理を行って、回転角度が第１設定角度を満たすように左眼領域の輪郭キーポイントを左眼領域の中心キーポイントに対して回転させ、及び／又は、上記第６組の変形領域に対して変形処理を行って、回転角度が第２設定角度を満たすように右眼領域の輪郭キーポイントを右眼領域の中心キーポイントに対して回転させるステップを含む項目４に記載の方法。
（項目８）
上記第１目標領域は鼻領域であり
上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記鼻領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記鼻領域に対応する第７組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記第７組の変形領域を第２特定方向に引き伸ばし又は圧縮して上記鼻領域を長くしたり短くするステップを含む項目４に記載の方法。
（項目９）
上記第１目標領域は鼻翼領域であり、上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記鼻翼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記鼻翼領域に対応する第８組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記第８組の変形領域を第３特定方向に圧縮又は引き伸ばして上記鼻翼領域を狭くしたり広くするステップを含む項目４に記載の方法。
（項目１０）
上記第１目標領域はあご領域又は人中領域であり、上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記あご領域又は人中領域に対応するキーポイント情報に基づいて上記複数の変形領域から上記あご領域又は人中領域に対応する第９組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記第９組の変形領域を第４特定方向に圧縮又は引き伸ばして上記あご領域又は人中領域を短くしたり長くするステップを含む項目４に記載の方法。
（項目１１）
上記第１目標領域は口部領域であり、上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記口部領域に対応するキーポイント情報に基づいて上記複数の変形領域から上記口部領域に対応する第１０組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記口部領域の縁部が上記口部領域の中心に向かう方向に上記第１０組の変形領域を圧縮処理し、又は上記口部領域の中心が上記口部領域の縁部に向かう方向に上記第１０組の変形領域に対して引き伸ばし処理を行うステップを含む項目４に記載の方法。
（項目１２）
上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記顔部領域の縁部のキーポイント情報に基づいて、上記複数の変形領域から上記顔部領域に対応する第１１組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記顔部領域の縁部が上記顔部領域の中線に向かう方向に上記第１１組の変形領域を圧縮処理し、又は上記顔部領域の中線が上記顔部領域の縁部に向かう方向に上記第１１組の変形領域に対して引き伸ばし処理を行うステップを含む項目４に記載の方法。
（項目１３）
上記第１目標領域は額領域であり、上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記額領域のキーポイント情報に基づいて、上記複数の変形領域から上記額領域に対応する第１２組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記第１２組の変形領域を第５特定方向に引き伸ばし又は圧縮処理して上記顔部領域の生え際を高くしたり低くするステップを含み、上記第５特定方向は、上記額領域のキーポイントが上記キーポイントに最も近い眉間に向かう方向であり、又は、上記第５特定方向は、上記額領域のキーポイントが上記キーポイントに最も近い眉間から離れる方向である項目４に記載の方法。
（項目１４）
上記額領域のキーポイント情報の決定方式は、
上記額領域の少なくとも３つのキーポイントを決定するステップと、
上記少なくとも３つのキーポイントと上記顔部領域における眼部以下の第１組の輪郭点情報に基づいて、上記額領域のキーポイント情報を決定するステップと、を含む項目１３に記載の方法。
（項目１５）
上記少なくとも３つのキーポイントのうちの第１キーポイントが、上記額領域の中線に位置し、上記少なくとも３つのキーポイントのうちの第２キーポイントと第３キーポイントが、上記中線の両側に位置する項目１４に記載の方法
（項目１６）
上記少なくとも３つのキーポイントと上記顔部領域における眼部以下の第１組の輪郭点情報に基づいて、上記額領域のキーポイント情報を決定する上記ステップは、
上記顔部領域における眼部以下の第１組の輪郭点情報のうちの両端に位置するキーポイント及び上記少なくとも３つのキーポイントに基づいて、カーブフィッティングを行って、カーブフィッティングキーポイント情報を取得するステップと、
曲線補間アルゴリズムに基づいて、上記カーブフィッティングキーポイント情報に対して補間処理を行って、上記額領域のキーポイント情報を取得するステップと、を含む項目１４又は１５に記載の方法。
（項目１７）
上記顔部領域に関連するキーポイント情報を決定する上記ステップは、
顔部キーポイント検出アルゴリズムによって上記顔部領域を検出して、上記顔部領域の器官のキーポイント情報及び上記顔部領域の縁部のキーポイント情報を取得するステップと、
上記顔部領域の縁部のキーポイント情報に基づいて上記外縁キーポイント情報を取得するステップと、を含む項目１－１６のいずれか一項に記載の方法。
（項目１８）
上記顔部領域の縁部のキーポイント情報を取得するステップは、
上記顔部領域における眼部以下の第１組の輪郭点情報を取得するステップと、
上記額領域の第２組の輪郭点情報を決定し、上記第１組の輪郭点情報と上記第２組の輪郭点情報に基づいて、上記顔部領域の縁部のキーポイント情報を決定するステップと、を含む項目１７に記載の方法。
（項目１９）
上記顔部領域の縁部のキーポイント情報に基づいて上記外縁キーポイント情報を取得する上記ステップは、
上記顔部領域の縁部のキーポイント情報と上記顔部領域の中心点との間の相対的位置関係を決定するステップであって、上記相対的位置関係が、上記顔部領域の縁部のキーポイントと上記顔部領域の中心点との間の距離及び上記顔部領域の縁部のキーポイントの上記顔部領域の中心点に対する方向を含むステップと、
上記相対的位置関係に基づいて、上記顔部領域の外部に向かう方向に第１縁部のキーポイントを所定距離で伸ばして、上記第１縁部のキーポイントに対応する外縁キーポイントを取得するステップであって、上記第１縁部のキーポイントが、上記顔部領域の縁部のキーポイントのうちのいずれか１つのキーポイントであり、上記所定距離が、上記第１縁部のキーポイントと顔部領域の中心点との間の距離と相関するステップと、を含む項目１７に記載の方法。
（項目２０）
上記顔部領域の振れパラメータを決定し、上記振れパラメータに基づいて上記少なくとも一部の変形領域のうちの各変形領域に対応する変形パラメータと変形方向を決定し、各変形領域が、対応する変形パラメータと変形方向に従って画像変形処理されるようにするステップを更に含む項目１－１９のいずれか一項に記載の方法。
（項目２１）
上記顔部領域の振れパラメータを決定する上記ステップは、
上記顔部領域のうちのいずれか１つの領域の左側縁部キーポイント、右側縁部キーポイント及び中心キーポイントを決定するステップであって、上記領域が顔面部領域、鼻領域、口部領域の中の少なくとも１つを含むステップと、
上記左側キーポイントと上記中心キーポイントとの間の第１距離を決定し、上記右側縁部キーポイントと上記中心キーポイントとの間の第２距離を決定するステップと、
上記第１距離と上記第２距離に基づいて上記顔部領域の振れパラメータを決定するステップと、を含む項目２０に記載の方法。
（項目２２）
上記顔部領域における第２目標領域を認識し、上記第２目標領域に対して特徴処理を行って第３画像を生成するステップを更に含み、上記第２目標領域が、眼周囲領域、ほうれい線領域、歯領域、眼部領域、頬骨筋領域の中の少なくとも一項を含む項目１－２１のいずれか一項に記載の方法。
（項目２３）
第１決定ユニットと変形処理ユニットとを含み、
上記第１決定ユニットが、第１画像を取得し、上記第１画像における顔部領域を認識し、上記顔部領域に関連するキーポイント情報を決定するように構成され、上記キーポイント情報が、上記顔部領域のキーポイント情報及び外縁キーポイント情報を含み、上記外縁キーポイント情報が対応する領域が、上記顔部領域を含み且つ上記顔部領域より大きく、
上記第１決定ユニットが、上記キーポイント情報に基づいて複数の変形領域を決定するように更に構成され、
上記変形処理ユニットが、上記複数の変形領域のうちの少なくとも一部の変形領域に基づいて、上記顔部領域に対して画像変形処理を行って第２画像を生成するように構成される、画像処理装置。
（項目２４）
上記顔部領域のキーポイント情報は、上記顔部領域の器官のキーポイント情報と上記顔部領域の縁部のキーポイント情報とを含み、上記顔部領域の縁部が上記顔部領域の輪郭に対応し、
上記器官のキーポイント情報は、器官の中心キーポイント情報及び／又は器官の輪郭キーポイント情報を含む項目２３に記載の装置。
（項目２５）
上記第１決定ユニットは、上記キーポイント情報のうちの任意の隣接する３つのキーポイントに基づいて、上記複数の変形領域を決定するように構成される項目２３又は２４に記載の装置。
（項目２６）
上記第１決定ユニットは、上記顔部領域における処理しようとする第１目標領域を決定し、上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定するように構成され、
上記変形処理ユニットは、上記第１目標領域に対応する変形領域に対して画像変形処理を行うように構成される項目２３－２５のいずれか一項に記載の装置。
（項目２７）
上記第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、
上記第１決定ユニットは、上記左眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記左眼領域に対応する第１組の変形領域を決定し、及び／又は、上記右眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記右眼領域に対応する第２組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記第１組の変形領域及び／又は上記第２組の変形領域に対して画像変形処理を行うように構成され、ここで、上記第１組の変形領域の画像変形方向が上記第２組の変形領域の画像変形方向と反対であり、それによって上記左眼領域と上記右眼領域との間の距離を大きくしたり小さくする項目２６に記載の装置。
（項目２８）
上記第１目標領域は、左眼の眼角領域及び／又は右眼の眼角領域を含む眼角領域であり、
上記第１決定ユニットは、上記左眼の眼角領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記左眼の眼角領域に対応する第３組の変形領域を決定し、及び／又は、上記右眼の眼角領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記右眼の眼角領域に対応する第４組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記第３組の変形領域及び／又は上記第４組の変形領域を第１特定方向に引き伸ばし又は圧縮して、上記左眼領域の眼角の位置及び／又は上記右眼領域の眼角の位置を調整するように構成される項目２６に記載の装置。
（項目２９）
上記第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、
上記第１決定ユニットは、上記左眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記左眼領域に対応する第５組の変形領域を決定し、及び／又は、上記右眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記右眼領域に対応する第６組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記第５組の変形領域に対して変形処理を行って、回転角度が第１設定角度を満たすように左眼領域の輪郭キーポイントを左眼領域の中心キーポイントに対して回転させ、及び／又は、上記第６組の変形領域に対して変形処理を行って、回転角度が第２設定角度を満たすように右眼領域の輪郭キーポイントを右眼領域の中心キーポイントに対して回転させるように構成される項目２６に記載の装置。
（項目３０）
上記第１目標領域は鼻領域であり
上記第１決定ユニットは、上記鼻領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記鼻領域に対応する第７組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記第７組の変形領域を第２特定方向に引き伸ばし又は圧縮して上記鼻領域を長くしたり短くするように構成される項目２６に記載の装置。
（項目３１）
上記第１目標領域は鼻翼領域であり、
上記第１決定ユニットは、上記鼻翼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記鼻翼領域に対応する第８組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記第８組の変形領域を第３特定方向に圧縮又は引き伸ばして上記鼻翼領域を狭くしたり広くするように構成される項目２６に記載の装置。
（項目３２）
上記第１目標領域はあご領域又は人中領域であり、
上記第１決定ユニットは、上記あご領域又は人中領域に対応するキーポイント情報に基づいて上記複数の変形領域から上記あご領域又は人中領域に対応する第９組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記第９組の変形領域を第４特定方向に圧縮又は引き伸ばして上記あご領域又は人中領域を短くしたり長くするように構成される項目２６に記載の装置。
（項目３３）
上記第１目標領域は口部領域であり、
上記第１決定ユニットは、上記口部領域に対応するキーポイント情報に基づいて上記複数の変形領域から上記口部領域に対応する第１０組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記口部領域の縁部が上記口部領域の中心に向かう方向に上記第１０組の変形領域を圧縮処理し、又は上記口部領域の中心が上記口部領域の縁部に向かう方向に上記第１０組の変形領域に対して引き伸ばし処理を行うように構成される項目２６に記載の装置。
（項目３４）
上記第１決定ユニットは、上記顔部領域の縁部のキーポイント情報に基づいて、上記複数の変形領域から上記顔部領域に対応する第１１組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記顔部領域の縁部が上記顔部領域の中線に向かう方向に上記第１１組の変形領域を圧縮処理し、又は上記顔部領域の中線が上記顔部領域の縁部に向かう方向に上記第１１組の変形領域に対して引き伸ばし処理を行うように構成される項目２６に記載の装置。
（項目３５）
上記第１目標領域は額領域であり、
上記第１決定ユニットは、上記額領域に対応するキーポイント情報に基づいて上記複数の変形領域から上記額領域に対応する第１２組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記第１２組の変形領域を第５特定方向に引き伸ばし又は圧縮処理して上記顔部領域の生え際を高くしたり低くするように構成され、上記第５特定方向は、上記額領域のキーポイントが上記キーポイントに最も近い眉間に向かう方向であり、又は、上記第５特定方向は、上記額領域のキーポイントが上記キーポイントに最も近い眉間から離れる方向である項目２６に記載の装置。
（項目３６）
上記第１決定ユニットは、上記額領域の少なくとも３つのキーポイントを決定し、上記少なくとも３つのキーポイントと上記顔部領域における眼部以下の第１組の輪郭点情報に基づいて、上記額領域のキーポイント情報を決定するように構成される項目３５に記載の装置。
（項目３７）
上記少なくとも３つのキーポイントのうちの第１キーポイントが、上記額領域の中線に位置し、上記少なくとも３つのキーポイントのうちの第２キーポイントと第３キーポイントが、上記中線の両側に位置する項目３６に記載の装置。
（項目３８）
上記第１決定ユニットは、上記顔部領域における眼部以下の第１組の輪郭点情報のうちの両端に位置するキーポイント及び上記少なくとも３つのキーポイント情報に基づいてカーブフィッティングを行って、カーブフィッティングキーポイント情報を取得し、曲線補間アルゴリズムに基づいて、上記カーブフィッティングキーポイント情報に対して補間処理を行って、上記額領域のキーポイント情報を取得するように構成される項目３６又は３７に記載の装置。
（項目３９）
上記第１決定ユニットは、顔部キーポイント検出アルゴリズムによって上記顔部領域を検出して、上記顔部領域の器官のキーポイント情報及び上記顔部領域の縁部のキーポイント情報を取得し、上記顔部領域の縁部のキーポイント情報に基づいて上記外縁キーポイント情報を取得するように構成される項目２３－３８のいずれか一項に記載の装置。
（項目４０）
上記第１決定ユニットは、上記顔部領域における眼部以下の第１組の輪郭点情報を取得し、上記額領域の第２組の輪郭点情報を決定し、上記第１組の輪郭点情報と上記第２組の輪郭点情報に基づいて、上記顔部領域の縁部のキーポイント情報を決定するように構成される項目３９に記載の装置。
（項目４１）
上記第１決定ユニットは、
上記顔部領域の縁部のキーポイント情報と上記顔部領域の中心点との間の相対的位置関係を決定するステップであって、上記相対的位置関係が、上記顔部領域の縁部のキーポイントと上記顔部領域の中心点との間の距離及び上記顔部領域の縁部のキーポイントの上記顔部領域の中心点に対する方向を含むステップと、
上記相対的位置関係に基づいて、上記顔部領域の外部に向かう方向に第１縁部のキーポイントを所定距離で伸ばして、上記第１縁部のキーポイントに対応する外縁キーポイントを取得するステップであって、上記第１縁部のキーポイントが、上記顔部領域の縁部のキーポイントのうちのいずれか１つのキーポイントであり、上記所定距離が、上記第１縁部のキーポイントと顔部領域の中心点との間の距離と相関するステップと、を実行するように構成される、項目３９に記載の装置。
（項目４２）
上記顔部領域の振れパラメータを決定し、上記振れパラメータに基づいて上記少なくとも一部の変形領域のうちの各変形領域に対応する変形パラメータと変形方向を決定し、各変形領域が、対応する変形パラメータと変形方向に従って画像変形処理されるようにするように構成される第２決定ユニットを更に含む項目２３－４１のいずれか一項に記載の装置。
（項目４３）
上記第２決定ユニットは、顔面部領域、鼻領域、口部領域の中の少なくとも１つを含む上記顔部領域のうちのいずれか１つの領域の左側縁部キーポイント、右側縁部キーポイント及び中心キーポイントを決定し、上記左側キーポイントと上記中心キーポイントとの間の第１距離を決定し、上記右側縁部キーポイントと上記中心キーポイントとの間の第２距離を決定し、上記第１距離と上記第２距離に基づいて上記顔部領域の振れパラメータを決定するように構成される項目４２に記載の装置。
（項目４４）
上記顔部領域における第２目標領域を認識し、上記第２目標領域に対して特徴処理を行って第３画像を生成するように構成される画像処理ユニットを更に含み、上記第２目標領域が、眼周囲領域、ほうれい線領域、歯領域、眼部領域、頬骨筋領域の中の少なくとも一項を含む、項目２３－４３のいずれか一項に記載の装置。
（項目４５）
コンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、
上記プログラムがプロセッサにより実行される時に、項目１－２２のいずれか一項に記載の方法のステップを実現するコンピュータ読取可能記憶媒体。
（項目４６）
メモリと、プロセッサと、メモリに記憶されている、プロセッサ上で作動可能なコンピュータプログラムと、を含み、上記プロセッサが上記プログラムを実行する時に項目１－２２のいずれか一項に記載の方法のステップを実現する画像処理装置。
例えば、本願は以下の項目を提供する。
（項目１）
第１画像を取得し、上記第１画像における顔部領域を認識し、上記顔部領域に関連するキーポイント情報を決定するステップであって、上記キーポイント情報が、上記顔部領域のキーポイント情報及び外縁キーポイント情報を含み、上記外縁キーポイント情報が対応する領域が、上記顔部領域を含み且つ上記顔部領域より大きいステップと、
上記キーポイント情報に基づいて複数の変形領域を決定し、上記複数の変形領域のうちの少なくとも一部の変形領域に基づいて、上記顔部領域に対して画像変形処理を行って第２画像を生成するステップと、を含む画像処理方法。
（項目２）
上記顔部領域のキーポイント情報は、上記顔部領域の器官のキーポイント情報と上記顔部領域の縁部のキーポイント情報とを含み、上記顔部領域の縁部が上記顔部領域の輪郭に対応し、
上記器官のキーポイント情報は、器官の中心キーポイント情報及び／又は器官の輪郭キーポイント情報を含む項目１に記載の方法。
（項目３）
上記キーポイント情報に基づいて複数の変形領域を決定する上記ステップは、
上記キーポイント情報のうちの任意の隣接する３つのキーポイントに基づいて、上記複数の変形領域を決定するステップを含む項目１又は２に記載の方法。
（項目４）
上記複数の変形領域のうちの少なくとも一部の変形領域に基づいて上記顔部領域に対して画像変形処理を行う上記ステップは、
上記顔部領域における処理しようとする第１目標領域を決定するステップと、
上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定するステップと、
上記第１目標領域に対応する変形領域に対して画像変形処理を行うステップと、を含む項目１－３のいずれか一項に記載の方法。
（項目５）
上記第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、
上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記左眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記左眼領域に対応する第１組の変形領域を決定し、及び／又は、上記右眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記右眼領域に対応する第２組の変形領域を決定するステップを含み
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記第１組の変形領域及び／又は上記第２組の変形領域に対して画像変形処理を行うステップを含み、
ここで、上記第１組の変形領域の画像変形方向が上記第２組の変形領域の画像変形方向と反対であり、それによって上記左眼領域と上記右眼領域との間の距離を大きくしたり小さくする項目４に記載の方法。
（項目６）
上記第１目標領域は、左眼の眼角領域及び／又は右眼の眼角領域を含む眼角領域であり、
上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記左眼の眼角領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記左眼の眼角領域に対応する第３組の変形領域を決定し、及び／又は、上記右眼の眼角領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記右眼の眼角領域に対応する第４組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記第３組の変形領域及び／又は上記第４組の変形領域を第１特定方向に引き伸ばし又は圧縮して、上記左眼領域の眼角の位置及び／又は上記右眼領域の眼角の位置を調整するステップを含む項目４に記載の方法。
（項目７）
上記第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、
上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記左眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記左眼領域に対応する第５組の変形領域を決定し、及び／又は、上記右眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記右眼領域に対応する第６組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記第５組の変形領域に対して変形処理を行って、回転角度が第１設定角度を満たすように左眼領域の輪郭キーポイントを左眼領域の中心キーポイントに対して回転させ、及び／又は、上記第６組の変形領域に対して変形処理を行って、回転角度が第２設定角度を満たすように右眼領域の輪郭キーポイントを右眼領域の中心キーポイントに対して回転させるステップを含む項目４に記載の方法。
（項目８）
上記第１目標領域は鼻領域であり
上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記鼻領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記鼻領域に対応する第７組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記第７組の変形領域を第２特定方向に引き伸ばし又は圧縮して上記鼻領域を長くしたり短くするステップを含む項目４に記載の方法。
（項目９）
上記第１目標領域は鼻翼領域であり、上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記鼻翼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記鼻翼領域に対応する第８組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記第８組の変形領域を第３特定方向に圧縮又は引き伸ばして上記鼻翼領域を狭くしたり広くするステップを含む項目４に記載の方法。
（項目１０）
上記第１目標領域はあご領域又は人中領域であり、上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記あご領域又は人中領域に対応するキーポイント情報に基づいて上記複数の変形領域から上記あご領域又は人中領域に対応する第９組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記第９組の変形領域を第４特定方向に圧縮又は引き伸ばして上記あご領域又は人中領域を短くしたり長くするステップを含む項目４に記載の方法。
（項目１１）
上記第１目標領域は口部領域であり、上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記口部領域に対応するキーポイント情報に基づいて上記複数の変形領域から上記口部領域に対応する第１０組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記口部領域の縁部が上記口部領域の中心に向かう方向に上記第１０組の変形領域を圧縮処理し、又は上記口部領域の中心が上記口部領域の縁部に向かう方向に上記第１０組の変形領域に対して引き伸ばし処理を行うステップを含む項目４に記載の方法。
（項目１２）
上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記顔部領域の縁部のキーポイント情報に基づいて、上記複数の変形領域から上記顔部領域に対応する第１１組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記顔部領域の縁部が上記顔部領域の中線に向かう方向に上記第１１組の変形領域を圧縮処理し、又は上記顔部領域の中線が上記顔部領域の縁部に向かう方向に上記第１１組の変形領域に対して引き伸ばし処理を行うステップを含む項目４に記載の方法。
（項目１３）
上記第１目標領域は額領域であり、上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定する上記ステップは、
上記額領域のキーポイント情報に基づいて、上記複数の変形領域から上記額領域に対応する第１２組の変形領域を決定するステップを含み、
上記第１目標領域に対応する変形領域に対して画像変形処理を行う上記ステップは、
上記第１２組の変形領域を第５特定方向に引き伸ばし又は圧縮処理して上記顔部領域の生え際を高くしたり低くするステップを含み、上記第５特定方向は、上記額領域のキーポイントが上記キーポイントに最も近い眉間に向かう方向であり、又は、上記第５特定方向は、上記額領域のキーポイントが上記キーポイントに最も近い眉間から離れる方向である項目４に記載の方法。
（項目１４）
上記額領域のキーポイント情報の決定方式は、
上記額領域の少なくとも３つのキーポイントを決定するステップと、
上記少なくとも３つのキーポイントと上記顔部領域における眼部以下の第１組の輪郭点情報に基づいて、上記額領域のキーポイント情報を決定するステップと、を含む項目１３に記載の方法。
（項目１５）
上記少なくとも３つのキーポイントのうちの第１キーポイントが、上記額領域の中線に位置し、上記少なくとも３つのキーポイントのうちの第２キーポイントと第３キーポイントが、上記中線の両側に位置する項目１４に記載の方法
（項目１６）
上記少なくとも３つのキーポイントと上記顔部領域における眼部以下の第１組の輪郭点情報に基づいて、上記額領域のキーポイント情報を決定する上記ステップは、
上記顔部領域における眼部以下の第１組の輪郭点情報のうちの両端に位置するキーポイント及び上記少なくとも３つのキーポイントに基づいて、カーブフィッティングを行って、カーブフィッティングキーポイント情報を取得するステップと、
曲線補間アルゴリズムに基づいて、上記カーブフィッティングキーポイント情報に対して補間処理を行って、上記額領域のキーポイント情報を取得するステップと、を含む項目１４又は１５に記載の方法。
（項目１７）
上記顔部領域に関連するキーポイント情報を決定する上記ステップは、
顔部キーポイント検出アルゴリズムによって上記顔部領域を検出して、上記顔部領域の器官のキーポイント情報及び上記顔部領域の縁部のキーポイント情報を取得するステップと、
上記顔部領域の縁部のキーポイント情報に基づいて上記外縁キーポイント情報を取得するステップと、を含む項目１－１６のいずれか一項に記載の方法。
（項目１８）
上記顔部領域の縁部のキーポイント情報を取得するステップは、
上記顔部領域における眼部以下の第１組の輪郭点情報を取得するステップと、
上記額領域の第２組の輪郭点情報を決定し、上記第１組の輪郭点情報と上記第２組の輪郭点情報に基づいて、上記顔部領域の縁部のキーポイント情報を決定するステップと、を含む項目１７に記載の方法。
（項目１９）
上記顔部領域の縁部のキーポイント情報に基づいて上記外縁キーポイント情報を取得する上記ステップは、
上記顔部領域の縁部のキーポイント情報と上記顔部領域の中心点との間の相対的位置関係を決定するステップであって、上記相対的位置関係が、上記顔部領域の縁部のキーポイントと上記顔部領域の中心点との間の距離及び上記顔部領域の縁部のキーポイントの上記顔部領域の中心点に対する方向を含むステップと、
上記相対的位置関係に基づいて、上記顔部領域の外部に向かう方向に第１縁部のキーポイントを所定距離で伸ばして、上記第１縁部のキーポイントに対応する外縁キーポイントを取得するステップであって、上記第１縁部のキーポイントが、上記顔部領域の縁部のキーポイントのうちのいずれか１つのキーポイントであり、上記所定距離が、上記第１縁部のキーポイントと顔部領域の中心点との間の距離と相関するステップと、を含む項目１７に記載の方法。
（項目２０）
上記顔部領域の振れパラメータを決定し、上記振れパラメータに基づいて上記少なくとも一部の変形領域のうちの各変形領域に対応する変形パラメータと変形方向を決定し、各変形領域が、対応する変形パラメータと変形方向に従って画像変形処理されるようにするステップを更に含む項目１－１９のいずれか一項に記載の方法。
（項目２１）
上記顔部領域の振れパラメータを決定する上記ステップは、
上記顔部領域のうちのいずれか１つの領域の左側縁部キーポイント、右側縁部キーポイント及び中心キーポイントを決定するステップであって、上記領域が顔面部領域、鼻領域、口部領域の中の少なくとも１つを含むステップと、
上記左側キーポイントと上記中心キーポイントとの間の第１距離を決定し、上記右側縁部キーポイントと上記中心キーポイントとの間の第２距離を決定するステップと、
上記第１距離と上記第２距離に基づいて上記顔部領域の振れパラメータを決定するステップと、を含む項目２０に記載の方法。
（項目２２）
上記顔部領域における第２目標領域を認識し、上記第２目標領域に対して特徴処理を行って第３画像を生成するステップを更に含み、上記第２目標領域が、眼周囲領域、ほうれい線領域、歯領域、眼部領域、頬骨筋領域の中の少なくとも一項を含む項目１－２１のいずれか一項に記載の方法。
（項目２３）
第１決定ユニットと変形処理ユニットとを含み、
上記第１決定ユニットが、第１画像を取得し、上記第１画像における顔部領域を認識し、上記顔部領域に関連するキーポイント情報を決定するように構成され、上記キーポイント情報が、上記顔部領域のキーポイント情報及び外縁キーポイント情報を含み、上記外縁キーポイント情報が対応する領域が、上記顔部領域を含み且つ上記顔部領域より大きく、
上記第１決定ユニットが、上記キーポイント情報に基づいて複数の変形領域を決定するように更に構成され、
上記変形処理ユニットが、上記複数の変形領域のうちの少なくとも一部の変形領域に基づいて、上記顔部領域に対して画像変形処理を行って第２画像を生成するように構成される、画像処理装置。
（項目２４）
上記顔部領域のキーポイント情報は、上記顔部領域の器官のキーポイント情報と上記顔部領域の縁部のキーポイント情報とを含み、上記顔部領域の縁部が上記顔部領域の輪郭に対応し、
上記器官のキーポイント情報は、器官の中心キーポイント情報及び／又は器官の輪郭キーポイント情報を含む項目２３に記載の装置。
（項目２５）
上記第１決定ユニットは、上記キーポイント情報のうちの任意の隣接する３つのキーポイントに基づいて、上記複数の変形領域を決定するように構成される項目２３又は２４に記載の装置。
（項目２６）
上記第１決定ユニットは、上記顔部領域における処理しようとする第１目標領域を決定し、上記第１目標領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記第１目標領域に対応する変形領域を決定するように構成され、
上記変形処理ユニットは、上記第１目標領域に対応する変形領域に対して画像変形処理を行うように構成される項目２３－２５のいずれか一項に記載の装置。
（項目２７）
上記第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、
上記第１決定ユニットは、上記左眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記左眼領域に対応する第１組の変形領域を決定し、及び／又は、上記右眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記右眼領域に対応する第２組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記第１組の変形領域及び／又は上記第２組の変形領域に対して画像変形処理を行うように構成され、ここで、上記第１組の変形領域の画像変形方向が上記第２組の変形領域の画像変形方向と反対であり、それによって上記左眼領域と上記右眼領域との間の距離を大きくしたり小さくする項目２６に記載の装置。
（項目２８）
上記第１目標領域は、左眼の眼角領域及び／又は右眼の眼角領域を含む眼角領域であり、
上記第１決定ユニットは、上記左眼の眼角領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記左眼の眼角領域に対応する第３組の変形領域を決定し、及び／又は、上記右眼の眼角領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記右眼の眼角領域に対応する第４組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記第３組の変形領域及び／又は上記第４組の変形領域を第１特定方向に引き伸ばし又は圧縮して、上記左眼領域の眼角の位置及び／又は上記右眼領域の眼角の位置を調整するように構成される項目２６に記載の装置。
（項目２９）
上記第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、
上記第１決定ユニットは、上記左眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記左眼領域に対応する第５組の変形領域を決定し、及び／又は、上記右眼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記右眼領域に対応する第６組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記第５組の変形領域に対して変形処理を行って、回転角度が第１設定角度を満たすように左眼領域の輪郭キーポイントを左眼領域の中心キーポイントに対して回転させ、及び／又は、上記第６組の変形領域に対して変形処理を行って、回転角度が第２設定角度を満たすように右眼領域の輪郭キーポイントを右眼領域の中心キーポイントに対して回転させるように構成される項目２６に記載の装置。
（項目３０）
上記第１目標領域は鼻領域であり
上記第１決定ユニットは、上記鼻領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記鼻領域に対応する第７組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記第７組の変形領域を第２特定方向に引き伸ばし又は圧縮して上記鼻領域を長くしたり短くするように構成される項目２６に記載の装置。
（項目３１）
上記第１目標領域は鼻翼領域であり、
上記第１決定ユニットは、上記鼻翼領域に対応するキーポイント情報に基づいて、上記複数の変形領域から上記鼻翼領域に対応する第８組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記第８組の変形領域を第３特定方向に圧縮又は引き伸ばして上記鼻翼領域を狭くしたり広くするように構成される項目２６に記載の装置。
（項目３２）
上記第１目標領域はあご領域又は人中領域であり、
上記第１決定ユニットは、上記あご領域又は人中領域に対応するキーポイント情報に基づいて上記複数の変形領域から上記あご領域又は人中領域に対応する第９組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記第９組の変形領域を第４特定方向に圧縮又は引き伸ばして上記あご領域又は人中領域を短くしたり長くするように構成される項目２６に記載の装置。
（項目３３）
上記第１目標領域は口部領域であり、
上記第１決定ユニットは、上記口部領域に対応するキーポイント情報に基づいて上記複数の変形領域から上記口部領域に対応する第１０組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記口部領域の縁部が上記口部領域の中心に向かう方向に上記第１０組の変形領域を圧縮処理し、又は上記口部領域の中心が上記口部領域の縁部に向かう方向に上記第１０組の変形領域に対して引き伸ばし処理を行うように構成される項目２６に記載の装置。
（項目３４）
上記第１決定ユニットは、上記顔部領域の縁部のキーポイント情報に基づいて、上記複数の変形領域から上記顔部領域に対応する第１１組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記顔部領域の縁部が上記顔部領域の中線に向かう方向に上記第１１組の変形領域を圧縮処理し、又は上記顔部領域の中線が上記顔部領域の縁部に向かう方向に上記第１１組の変形領域に対して引き伸ばし処理を行うように構成される項目２６に記載の装置。
（項目３５）
上記第１目標領域は額領域であり、
上記第１決定ユニットは、上記額領域に対応するキーポイント情報に基づいて上記複数の変形領域から上記額領域に対応する第１２組の変形領域を決定するように構成され、
上記変形処理ユニットは、上記第１２組の変形領域を第５特定方向に引き伸ばし又は圧縮処理して上記顔部領域の生え際を高くしたり低くするように構成され、上記第５特定方向は、上記額領域のキーポイントが上記キーポイントに最も近い眉間に向かう方向であり、又は、上記第５特定方向は、上記額領域のキーポイントが上記キーポイントに最も近い眉間から離れる方向である項目２６に記載の装置。
（項目３６）
上記第１決定ユニットは、上記額領域の少なくとも３つのキーポイントを決定し、上記少なくとも３つのキーポイントと上記顔部領域における眼部以下の第１組の輪郭点情報に基づいて、上記額領域のキーポイント情報を決定するように構成される項目３５に記載の装置。
（項目３７）
上記少なくとも３つのキーポイントのうちの第１キーポイントが、上記額領域の中線に位置し、上記少なくとも３つのキーポイントのうちの第２キーポイントと第３キーポイントが、上記中線の両側に位置する項目３６に記載の装置。
（項目３８）
上記第１決定ユニットは、上記顔部領域における眼部以下の第１組の輪郭点情報のうちの両端に位置するキーポイント及び上記少なくとも３つのキーポイント情報に基づいてカーブフィッティングを行って、カーブフィッティングキーポイント情報を取得し、曲線補間アルゴリズムに基づいて、上記カーブフィッティングキーポイント情報に対して補間処理を行って、上記額領域のキーポイント情報を取得するように構成される項目３６又は３７に記載の装置。
（項目３９）
上記第１決定ユニットは、顔部キーポイント検出アルゴリズムによって上記顔部領域を検出して、上記顔部領域の器官のキーポイント情報及び上記顔部領域の縁部のキーポイント情報を取得し、上記顔部領域の縁部のキーポイント情報に基づいて上記外縁キーポイント情報を取得するように構成される項目２３－３８のいずれか一項に記載の装置。
（項目４０）
上記第１決定ユニットは、上記顔部領域における眼部以下の第１組の輪郭点情報を取得し、上記額領域の第２組の輪郭点情報を決定し、上記第１組の輪郭点情報と上記第２組の輪郭点情報に基づいて、上記顔部領域の縁部のキーポイント情報を決定するように構成される項目３９に記載の装置。
（項目４１）
上記第１決定ユニットは、
上記顔部領域の縁部のキーポイント情報と上記顔部領域の中心点との間の相対的位置関係を決定するステップであって、上記相対的位置関係が、上記顔部領域の縁部のキーポイントと上記顔部領域の中心点との間の距離及び上記顔部領域の縁部のキーポイントの上記顔部領域の中心点に対する方向を含むステップと、
上記相対的位置関係に基づいて、上記顔部領域の外部に向かう方向に第１縁部のキーポイントを所定距離で伸ばして、上記第１縁部のキーポイントに対応する外縁キーポイントを取得するステップであって、上記第１縁部のキーポイントが、上記顔部領域の縁部のキーポイントのうちのいずれか１つのキーポイントであり、上記所定距離が、上記第１縁部のキーポイントと顔部領域の中心点との間の距離と相関するステップと、を実行するように構成される、項目３９に記載の装置。
（項目４２）
上記顔部領域の振れパラメータを決定し、上記振れパラメータに基づいて上記少なくとも一部の変形領域のうちの各変形領域に対応する変形パラメータと変形方向を決定し、各変形領域が、対応する変形パラメータと変形方向に従って画像変形処理されるようにするように構成される第２決定ユニットを更に含む項目２３－４１のいずれか一項に記載の装置。
（項目４３）
上記第２決定ユニットは、顔面部領域、鼻領域、口部領域の中の少なくとも１つを含む上記顔部領域のうちのいずれか１つの領域の左側縁部キーポイント、右側縁部キーポイント及び中心キーポイントを決定し、上記左側キーポイントと上記中心キーポイントとの間の第１距離を決定し、上記右側縁部キーポイントと上記中心キーポイントとの間の第２距離を決定し、上記第１距離と上記第２距離に基づいて上記顔部領域の振れパラメータを決定するように構成される項目４２に記載の装置。
（項目４４）
上記顔部領域における第２目標領域を認識し、上記第２目標領域に対して特徴処理を行って第３画像を生成するように構成される画像処理ユニットを更に含み、上記第２目標領域が、眼周囲領域、ほうれい線領域、歯領域、眼部領域、頬骨筋領域の中の少なくとも一項を含む、項目２３－４３のいずれか一項に記載の装置。
（項目４５）
コンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、
上記プログラムがプロセッサにより実行される時に、項目１－２２のいずれか一項に記載の方法のステップを実現するコンピュータ読取可能記憶媒体。
（項目４６）
メモリと、プロセッサと、メモリに記憶されている、プロセッサ上で作動可能なコンピュータプログラムと、を含み、上記プロセッサが上記プログラムを実行する時に項目１－２２のいずれか一項に記載の方法のステップを実現する画像処理装置。
【図面の簡単な説明】
【0054】
【図1】本願の実施例の画像処理方法のフローチャートである。
【図2】本願の実施例の画像処理方法における変形領域の模式図である。
【図3a】本願の実施例の画像処理方法における顔部キーポイントの模式図である。
【図3b】本願の実施例の画像処理方法における顔部キーポイントの模式図である。
【図3c】本願の実施例の画像処理方法における顔部キーポイントの模式図である。
【図4】本願の実施例の画像処理方法の別のフローチャートである。
【図5】本願の実施例の画像処理方法の更に別のフローチャートである。
【図6】本願の実施例の画像処理の応用模式図である。
【図7】本願の実施例の画像処理装置の構成の構造模式図である。
【図8】本願の実施例の画像処理装置の別の構成の構造模式図である。
【図9】本願の実施例の画像処理装置の更に別の構成の構造模式図である。
【図10】本願の実施例の画像処理装置のハードウェア構成の構造模式図である。
【発明を実施するための形態】
【0055】
以下、図面及び具体的な実施例を参照しながら本願を更に詳細に説明する。
【0056】
本願の実施例は画像処理方法を提供する。図１は本願の実施例の画像処理方法のフローチャートであり、図１に示すように、方法は、
第１画像を取得し、第１画像における顔部領域を認識し、顔部領域に関連するキーポイント情報を決定するステップ１０１であって、キーポイント情報が、顔部領域のキーポイント情報及び外縁キーポイント情報を含み、外縁キーポイント情報が対応する領域が、顔部領域を含み且つ顔部領域より大きいステップ１０１と、
キーポイント情報に基づいて複数の変形領域を決定し、複数の変形領域のうちの少なくとも一部の変形領域に基づいて、顔部領域に対して画像変形処理を行って第２画像を生成するステップ１０２と、を含む。
第１画像を取得し、第１画像における顔部領域を認識し、顔部領域に関連するキーポイント情報を決定するステップ１０１であって、キーポイント情報が、顔部領域のキーポイント情報及び外縁キーポイント情報を含み、外縁キーポイント情報が対応する領域が、顔部領域を含み且つ顔部領域より大きいステップ１０１と、
キーポイント情報に基づいて複数の変形領域を決定し、複数の変形領域のうちの少なくとも一部の変形領域に基づいて、顔部領域に対して画像変形処理を行って第２画像を生成するステップ１０２と、を含む。
【0057】
本実施例では、第１画像には目標対象の顔部が含まれ、この目標対象は画像内の真実人物であってもよく、他の実施形態では、目標対象はアニメキャラクター等のような仮想人物であってもよい。第１画像には顔が含まれることが理解される。本願の実施例は主に画像における顔に対して画像処理を行う。勿論、本願の実施例は他の目標対象の顔部に対して画像処理を行っても良い。実際に応用するに際して、所定の顔認識アルゴリズムによって第１画像に対して顔部認識を行って、第１画像における顔部領域を認識するようにしてもよい。
【0058】
本実施例では、顔部領域に関連するキーポイント情報はキーポイントの位置情報を含み、一例として、キーポイントの位置情報はキーポイントの座標情報で表して良い。ここで、顔部領域のキーポイント情報は、顔部領域の器官のキーポイント情報、及び顔部領域の輪郭に対応する顔部領域の縁部のキーポイント情報を含み、外縁キーポイント情報は顔部領域の縁部のキーポイント情報に基づいて決定される。ここで、器官のキーポイント情報は、器官の中心キーポイント情報及び／又は器官の輪郭キーポイント情報を含む。
【0059】
顔部領域に関連するキーポイントは、顔部領域に含まれる器官のキーポイント、顔部領域の縁部のキーポイント、外縁キーポイントを含むことが理解される。
【0060】
本願のいくつかの選択可能な実施例では、顔部領域に関連するキーポイント情報を決定するステップ１０１は、顔部キーポイント検出アルゴリズムによって顔部領域を検出して顔部領域の各器官のキーポイント情報及び顔部領域の縁部のキーポイント情報を取得するステップと、顔部領域の縁部のキーポイント情報に基づいて外縁キーポイント情報を取得するステップと、を含む。
【0061】
ある実施例では、顔部領域の縁部のキーポイント情報を取得するステップは、顔部領域における眼部以下領域の第１組の輪郭点情報を取得するステップと、額領域の第２組の輪郭点情報を決定し、第１組の輪郭点情報と第２組の輪郭点情報に基づいて顔部領域の縁部のキーポイント情報を決定するステップと、を含む。
【0062】
ここで、額領域の第２組の輪郭点情報を決定するステップは、額領域の少なくとも３つのキーポイントを決定するステップと、少なくとも３つのキーポイントと第１組の輪郭点情報に基づいて額領域のキーポイント情報を決定するステップと、を含む。少なくとも３つのキーポイントのうちの第１キーポイントが額領域の中線に位置し、少なくとも３つのキーポイントのうちの第２キーポイントと第３キーポイントが中線の両側に位置する。
【0063】
ある実施例では、少なくとも３つのキーポイントと第１組の輪郭点情報に基づいて額領域に対応するキーポイント情報を決定するステップは、顔部領域における眼部以下の第１組の輪郭点情報のうちの両端に位置するキーポイント及び上記額領域における少なくとも３つのキーポイントに基づいてカーブフィッティングを行って、カーブフィッティングキーポイント情報を取得するステップと、曲線補間アルゴリズムに基づいてカーブフィッティングキーポイント情報に対して補間処理を行って、額領域に対応するキーポイント情報を取得するステップと、を含む。
【0064】
図２は本願の実施例の画像処理方法における変形領域の模式図であり、図３ａ－図３ｃは本願の実施例の画像処理方法における顔部キーポイントの模式図であり、図２及び図３ａ－図３ｃに示すように、第１態様では、顔部領域に含まれる器官のキーポイントは、具体的には眉毛、目、鼻、口のような顔部領域に含まれる少なくとも１つの器官のキーポイントである。いくつかの実施形態では、器官のキーポイント情報は、器官の中心キーポイント情報及び／又は器官の輪郭キーポイント情報を含んでよい。器官が目であることを例とすると、目のキーポイント情報は目の中心キーポイント情報と目の輪郭キーポイント情報を含んでよく、更に器官が眉毛であることを例とすると、眉毛のキーポイント情報は眉毛の輪郭キーポイント情報を含んでよい。そのように本実施例では、まず顔部キーポイント検出アルゴリズムによって検出して顔部領域における各器官のキーポイント情報を取得する。
【0065】
第２態様では、顔部キーポイント検出アルゴリズムによって顔部領域における眼部以下の第１組の輪郭点情報を取得し、図３ａにされるように、第１組の輪郭点がキーポイント０－キーポイント３２であり、更に例えば、図３ｂに示される中実点「・」が、第１組の輪郭キーポイントを表す。いくつかの実施例では、顔部キーポイント検出アルゴリズムによって、顔部領域における眼部以下領域の数少ないＭ１個の輪郭点、例えば５個の輪郭点等を取得し、更にこのＭ１個の輪郭点に対して曲線補間を行ってＭ２個の輪郭点を取得し、Ｍ１個の輪郭点とＭ２個の輪郭点を第１組の輪郭点情報とするようにしてもよい。
【0066】
ここで、顔部キーポイント検出アルゴリズムとしては任意の顔認識アルゴリズムを用いても良い。
【0067】
第３態様では、額領域のキーポイント情報を取得する。一例として、所定パラメータに基づいて顔部領域の額領域における少なくとも３つのキーポイント情報を決定してもよく、３つのキーポイント情報を決定することを例とすると、キーポイント１が額領域の中線に位置するキーポイントに対応し、第１キーポイントとし、キーポイント２とキーポイント３がそれぞれキーポイント１の両側に位置し、第１組の輪郭点情報のうちの両端に位置するキーポイント４とキーポイント５（例えば、図３ａにおけるキーポイント０とキーポイント３２）及びキーポイント１、キーポイント２、キーポイント３に基づいてカーブフィッティングを行ってカーブフィッティングキーポイント情報を取得し、曲線補間アルゴリズムに基づいてカーブフィッティングキーポイント情報に対して補間処理を行って、額領域とマッチング可能な第２組の輪郭点情報を取得する。
【0068】
これをもって、第１組の輪郭点情報と第２組の輪郭点情報を組み合わせて顔部領域の縁部のキーポイント情報とし、図２に示すように、顔部領域の縁部のキーポイント情報に対応するキーポイントが顔部領域の縁部の全ての位置に位置し、即ち顔部領域の全ての縁部をカバーしている。
【0069】
ある実施例では、顔部領域の縁部のキーポイント情報に基づいて外縁キーポイント情報を取得するステップは、前記顔部領域の縁部のキーポイント情報と前記顔部領域の中心点との間の相対的位置関係を決定するステップであって、前記相対的位置関係が、前記顔部領域の縁部のキーポイントと前記顔部領域の中心点との間の距離及び前記顔部領域の縁部のキーポイントの前記顔部領域の中心点に対する方向を含むステップと、前記相対的位置関係に基づいて、前記顔部領域の外部に向かう方向に第１縁部のキーポイントを所定距離で伸ばして、前記第１縁部のキーポイントに対応する外縁キーポイントを取得するステップであって、前記第１縁部のキーポイントが、前記顔部領域の縁部のキーポイントのうちのいずれか１つのキーポイントであり、前記所定距離が、前記第１縁部のキーポイントと顔部領域の中心点との間の距離と相関するステップと、を含み、第１縁部のキーポイントと顔部領域の中心点との間の距離が大きいほど、伸ばす所定距離が大きく、逆には、第１縁部のキーポイントと顔部領域の中心点との間の距離が小さいほど、伸ばす所定距離が小さい。他の実施形態では、顔部領域の中心点に限定されず、他のキーポイントを選択してもよいことは言うまでもなく、例えば、鼻の先に対応するキーポイント等を選択してもよく、本実施例ではこれについて限定しない。
【0070】
図３ｃに示すように、本実施例で取得される顔部領域に関連するキーポイントは顔部領域に位置するキーポイントの他に、顔部領域の外部に位置する外縁キーポイントを更に含み、外縁キーポイントに対応する領域が顔部領域を含み且つ顔部領域より大きいことは理解され得る。ある実施例では、外縁キーポイントの数量が顔部領域の縁部のキーポイントの数量と一致してもよく、即ち、顔部領域の縁部のキーポイント情報に基づいて外縁キーポイント情報を決定し得る。別の実施例では、外縁キーポイントの数量が顔部領域の縁部のキーポイントの数量と異なってもよく、例えば、外縁キーポイントの数量が顔部領域の縁部のキーポイントの数量より大きくてもよい。実際に応用するに際して、上記方法によって顔部領域の縁部のキーポイントの数量と一致する外縁キーポイントを取得した後、例えば、Ｎ１個の外縁キーポイントを決定した後、Ｎ１個の外縁キーポイントに対して曲線補間を行ってＮ２個の外縁キーポイントを取得し、Ｎ１個の外縁キーポイントの情報とＮ２個の外縁キーポイントの情報を本実施例における外縁キーポイント情報とするようにしてもよい。
【0071】
本実施例では、外縁キーポイント情報を決定する目的は、画像の変形処理過程で、特に図２に示す三角変形領域の変形処理で画像変形処理を行う過程で、外縁キーポイント情報と顔部領域の縁部のキーポイント情報で形成された三角変形領域を用いて適応的に変形処理し、即ち、顔部領域に関連する過渡的領域（即ち、外縁キーポイントと顔部領域の縁部のキーポイントとの間の領域）を適応的に変形処理して、より好適な画像変形効果を取得し、顔部融合の効果を違和感ないようにすることである。外縁キーポイントの数量を顔部領域の縁部のキーポイントの数量より大きくする目的は、過渡的領域（即ち、外縁キーポイントと顔部領域の縁部のキーポイントとの間の領域）における三角変形領域の面積を小さくして変形処理精度を高め、変形効果をより好適にすることである。
【0072】
関連技術において、一方では、顔キーポイントの認識で認識できる顔部器官のキーポイントがまばらであり、本願の実施例は、それに基づいて補間によってキーポイントを増加し、例えば、眉間領域にいくつかのキーポイントを増加する。他方では、従来の顔キーポイント認識では顔の眼部以下の一部のキーポイントしか認識できなく、図３ａに示すように、本実施例の顔キーポイント認識は、額領域で複数のキーポイントが増加し、増加したキーポイントが額又は生え際の位置に対応し、それによって額のキーポイントに基づいて額領域又は生え際を調整できる。
【0073】
一例として、図２に示すように、取得されたキーポイント情報に対応するキーポイントの数量は１０６であってもよい。
【0074】
本願のいくつかの選択可能な実施例では、キーポイント情報に基づいて複数の変形領域を決定するステップ１０２は、キーポイント情報のうちの任意の隣接する３つのキーポイントに基づいて複数の変形領域を決定するステップを含む。詳細については図２を参照してもよい。本実施例において、決定された三角形変形領域に基づいて目標領域に対して画像変形処理を行う。
【0075】
本実施例における顔部領域に関連するキーポイント情報が外縁キーポイント情報を含むので、外縁キーポイントと顔部領域に対応する輪郭キーポイントとに基づいて外縁領域に対応する三角変形領域を決定でき、即ち、本実施例における変形領域は、図２に示すような顔部領域以外の過渡的領域に対応する変形領域を含む。従って、顔部領域内の変形領域に基づいて変形処理する時に、顔部領域以外の変形領域に対して対応的に変形処理が行われ、それによって顔部領域の圧縮による画像中の穴又は顔部領域の引き伸ばしによる画像中の画素重畳が回避される。
【0076】
本願の実施例の技術的解決手段を採用すれば、顔部領域の外縁のキーポイントを決定することで顔部領域外縁の変形領域を決定し、それによって顔部領域の変形処理過程で顔部領域の外縁を適応的に変形処理して、顔部領域の変形処理による画像中の穴又は画素重畳を回避して、画像処理効果を高めた。
【0077】
本願のいくつかの選択可能な実施例では、複数の変形領域のうちの少なくとも一部の変形領域に基づいて顔部領域に対して画像変形処理を行うステップは、顔部領域における処理しようとする第１目標領域を決定するステップと、第１目標領域に対応するキーポイント情報に基づいて複数の変形領域から第１目標領域に対応する変形領域を決定し、第１目標領域に対応する変形領域に対して画像変形処理を行うステップと、を含む。
【0078】
本実施例では、、顔部領域における変形処理しようとする目標領域を決定し、目標領域が、眼部領域、鼻領域、口部領域、あご領域、人中領域、額領域、顔面部領域等の中の少なくとも一項を含み、異なる目標領域に対して目標領域に対応する変形領域を決定し、変形領域の変形処理によって目標領域の変形処理を実現して第２画像を生成する。ここで、異なる目標領域に対して目標領域に対応する変形領域を決定するステップは、目標領域に対応するキーポイント情報を決定し、複数の変形領域から、キーポイント情報を含む全ての変形領域を決定するステップを含む。例えば目標領域が眉毛領域であれば、眉毛領域に対応する全てのキーポイントを決定し、これらの全てのキーポイントを含む変形領域を、変形処理しようとする変形領域とする。
【0079】
第１の実施形態として、第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、第１目標領域に対応するキーポイント情報に基づいて複数の変形領域から第１目標領域に対応する変形領域を決定するステップは、左眼領域に対応するキーポイント情報に基づいて複数の変形領域から左眼領域に対応する第１組の変形領域を決定し、及び／又は、右眼領域に対応するキーポイント情報に基づいて複数の変形領域から右眼領域に対応する第２組の変形領域を決定するステップを含み、第１目標領域に対応する変形領域に対して画像変形処理を行うステップは、第１組の変形領域及び／又は第２組の変形領域に対して画像変形処理を行うステップを含み、ここで、第１組の変形領域の画像変形方向が第２組の変形領域の画像変形方向と反対であり、それによって左眼領域と右眼領域との間の距離を大きくしたり小さくする。
【0080】
本実施例では、第１組の変形領域と第２組の変形領域は眼部領域のキーポイントを含む全ての変形領域である。本実施例は、眼部領域の顔部領域での位置を調整するために用いられ、顔部領域に２つの眼部領域、即ち左眼領域と右眼領域を含めば、左眼と右眼との間の距離を調節するためのものであると理解可能であり、顔部領域に１つの眼部領域のみを含む場合に、例えば横顔の場合に、眼部領域の顔部領域での位置を調節するためのものであると理解可能である。実際に応用するに際して、第１組の変形領域と第２組の変形領域を反対な画像変形方向に画像変形させてもよく、例えば、左眼の中心点と右眼の中心点との間の連結線を決定し、この連結線の中点を決定し、第１組の変形領域と第２組の変形領域をそれぞれこの連結線の中点に向かう方向へ移動させ、それによって左眼領域と右眼領域との間の距離を対応的に小さくし、又は第１組の変形領域と第２組の変形領域をそれぞれこの連結線の中点から離れた方向へ移動させ、それによって左眼領域と右眼領域との間の距離を対応的に大きくする。
【0081】
第２の実施形態として、第１目標領域は、左眼の眼角領域及び／又は右眼の眼角領域を含む眼角領域であり、第１目標領域に対応するキーポイント情報に基づいて複数の変形領域から第１目標領域に対応する変形領域を決定するステップは、左眼の眼角領域に対応するキーポイント情報に基づいて複数の変形領域から左眼の眼角領域に対応する第３組の変形領域を決定し、及び／又は、右眼の眼角領域に対応するキーポイント情報に基づいて複数の変形領域から右眼の眼角領域に対応する第４組の変形領域を決定するステップを含み、第１目標領域に対応する変形領域に対して画像変形処理を行うステップは、第３組の変形領域及び／又は第４組の変形領域を第１特定方向に引き伸ばし又は圧縮して左眼領域の眼角の位置及び／又は右眼領域の眼角の位置を調整するステップを含む。
【0082】
本実施例では、第３組の変形領域は左眼の眼角領域に対応するキーポイントを含む全ての変形領域であり、第４組の変形領域は右眼の眼角領域に対応するキーポイントを含む全ての変形領域である。ここで、眼角は眼部領域の内眼角及び／又は外眼角であってもよく、内眼角と外眼角は相対的に定義されたものであり、例えば、左眼の中心点と右眼の中心点の連結線の中点を基準とすれば、内眼角とは、上記連結線の中点に近い眼角のことを指し、外眼角とは上記連結線の中点から離れた眼角のことを指す。本実施例は、眼角の顔部領域での位置を調整するもの、又は眼部の眼角領域の大きくを調整するためのものであると理解可能である。実際に応用するに際して、調整される内眼角又は外眼角のキーポイントを決定し、このキーポイントを含む変形領域を決定し、変形領域を上記連結線の中点に向かう方向へ移動させ、又は上記連結線の中点から離れた方向へ移動させるようにしてもよい。一例として、第１特定方向は上記連結線の中点に向かう方向であり、又は、第１特定方向は上記連結線の中点から離れた方向である。
【0083】
第３の実施形態として、第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、第１目標領域に対応するキーポイント情報に基づいて複数の変形領域から第１目標領域に対応する変形領域を決定するステップは、左眼領域及び／又は右眼領域に対応するキーポイント情報に基づいて複数の変形領域から左眼領域に対応する第５組の変形領域を決定し、及び／又は、右眼領域に対応するキーポイント情報に基づいて複数の変形領域から右眼領域に対応する第６組の変形領域を決定するステップを含み、第１目標領域に対応する変形領域に対して画像変形処理を行うステップは、第５組の変形領域に対して変形処理を行って、回転角度が第１設定角度を満たすように左眼領域の輪郭キーポイントを左眼領域の中心キーポイントに対して回転させ、及び／又は、第６組の変形領域に対して変形処理を行って、回転角度が第２設定角度を満たすように右眼領域の輪郭キーポイントを右眼領域の中心キーポイントに対して回転させるステップを含む。
【0084】
本実施例では、第５組の変形領域は左眼領域のキーポイントを含む全ての変形領域であり、第６組の変形領域は右眼領域のキーポイントを含む全ての変形領域である。本実施例は眼部領域の角度を調整するためのものであり、眼部と顔部の他の器官との間の相対的角度、例えば眼部と鼻との間の相対的角度を調節するためのものであると理解可能であり、実際に応用するに際して、眼部の中心点を回転中心とし、時計回り又は反時計回りに所定の角度回転させて実現する。一例として、所定の回転行列によって眼部領域に対応する変形領域に対して変形処理を行って眼部領域の輪郭キーポイントを眼部領域の中心キーポイントに対して回転させてもよい。ここで、左眼領域の輪郭キーポイントの左眼領域の中心キーポイントに対する回転角度が第１設定角度を満たし、右眼領域の輪郭キーポイントの右眼領域の中心キーポイントに対する回転角度が第２設定角度を満たし、左眼領域の回転方向と右眼領域の回転方向が反対方向になってもよく、第１設定角度と第２設定角度の数値が同じであっても異なってもよい。
【0085】
第４の実施形態として、第１目標領域は鼻領域であり、第１目標領域に対応するキーポイント情報に基づいて複数の変形領域から第１目標領域に対応する変形領域を決定するステップは、鼻領域に対応するキーポイント情報に基づいて複数の変形領域から鼻領域に対応する第７組の変形領域を決定するステップを含み、第１目標領域に対応する変形領域に対して画像変形処理を行うステップは、第７組の変形領域を第２特定方向に引き伸ばし又は圧縮して鼻領域を長くしたり短くするステップを含む。
【0086】
本実施例では、第７組の変形領域は鼻キーポイントを含む全ての変形領域であり、本実施例は鼻領域の長さ又は高さを調整するためのものであり、鼻領域の長さ又は鼻の高さを調節するためのものであると理解可能である。実際に応用するに際して、第７組の変形領域を第２特定方向に引き伸ばし又は圧縮して鼻領域を長くしたり小さくしてもよい。ここで、いくつかの実施形態では、第２特定方向は顔部領域に沿った長さ方向であり、例えば、顔部領域における２つの眉間の連結線の中点、鼻中心点及び唇中心点で形成された直線を顔部領域の長さ方向としてもよく、そのようにこの長さ方向に沿って鼻領域の中心から鼻領域の外部へ第７組の変形領域を引き伸ばし、それによって鼻領域が長くなり、また、この長さ方向に沿って鼻領域の外部から鼻領域の中心へ第７組の変形領域を圧縮し、それによって鼻領域が短くなる。
【0087】
別の実施形態として、第２特定方向は顔部領域に垂直であり且つ顔部領域から離れた方向であってもよく、そのように第２特定方向に鼻領域の高さを調整する。実際に応用するに際して、本実施形態は画像における顔が横顔である場合に適するものになり、即ち、画像における顔が横顔である場合に、顔部領域の振れパラメータを決定し、この振れパラメータに基づいて第２特定方向を決定し、即ち顔の振れ状況に基づいて鼻の高さに対応する方向を決定し、更に第２特定方向に鼻領域に対応する第７組の変形領域に対して変形処理を行うことで、鼻の高さを増加又は短縮する。
【0088】
第５の実施形態として、第１目標領域は鼻翼領域であり、第１目標領域に対応するキーポイント情報に基づいて複数の変形領域から第１目標領域に対応する変形領域を決定するステップは、鼻翼領域に対応するキーポイント情報に基づいて複数の変形領域から鼻翼領域に対応する第８組の変形領域を決定するステップを含み、第１目標領域に対応する変形領域に対して画像変形処理を行うステップは、第８組の変形領域を第３特定方向に圧縮又は引き伸ばして鼻翼領域を狭くしたり広くするステップを含む。
【0089】
本実施例では、第８組の変形領域は鼻翼領域に対応するキーポイントを含む全ての変形領域であり、鼻翼領域とは鼻の先の両側に含まれる領域のことを指し、本実施例は鼻翼領域の幅を調整するためのものであり、鼻翼の幅を調節するためのものであると理解可能である。実際に応用するに際して、鼻翼領域に対応するキーポイントを決定し、このキーポイントを含む変形領域を決定し、変形領域を第３特定方向に圧縮又は引き伸ばして鼻翼領域を狭くしたり広くするようにしてもよく、ここで、第３特定方向は上記顔部領域の長さ方向に垂直な顔部領域の幅方向である。
【0090】
第６の実施形態として、第１目標領域はあご領域又は人中領域であり、第１目標領域に対応するキーポイント情報に基づいて複数の変形領域から第１目標領域に対応する変形領域を決定するステップは、あご領域又は人中領域に対応するキーポイント情報に基づいて複数の変形領域からあご領域又は人中領域に対応する第９組の変形領域を決定するステップを含み、第１目標領域に対応する変形領域に対して画像変形処理を行うステップは、第９組の変形領域を第４特定方向に圧縮又は引き伸ばしてあご領域又は人中領域を短くしたり長くするステップを含む。
【0091】
本実施例では、第９組の変形領域はあごキーポイント又は人中キーポイントを含む全ての変形領域であり、本実施例はあご領域又は人中領域の長さを調整するためのものであり、あご領域又は人中領域の長さを調節するためのものであると理解可能である。ここで、あご領域とは下顎領域のことを指し、人中領域とは鼻と口との間の領域のことを指す。実際に応用するに際して、第９組の変形領域を第４特定方向に圧縮又は引き伸ばしてあご領域又は人中領域を短くしたり長くしてもよい。ここで、第４特定方向は顔部領域に沿った長さ方向である。
【0092】
第７の実施形態として、第１目標領域は口部領域であり、第１目標領域に対応するキーポイント情報に基づいて複数の変形領域から第１目標領域に対応する変形領域を決定するステップは、口部領域に対応するキーポイント情報に基づいて複数の変形領域から口部領域に対応する第１０組の変形領域を決定するステップを含み、第１目標領域に対応する変形領域に対して画像変形処理を行うステップは、口部領域の縁部が口部領域の中心に向かう方向に第１０組の変形領域を圧縮処理し、又は口部領域の中心が口部領域の縁部に向かう方向に第１０組の変形領域に対して引き伸ばし処理を行うステップを含む。
【0093】
本実施例では、第１０組の変形領域は口部のキーポイントを含む全ての変形領域であり、本実施例は口部領域の大きさを調整するためのものであり、口部領域の増大処理又は口部領域の縮小処理のためのものであると理解可能である。実際に応用するに際して、口部領域に対応するキーポイントを決定し、キーポイントを含む全ての変形領域を第１０組の変形領域と決定し、第１０組の変形領域を口部領域の縁部が口部領域の中心に向かう方向に圧縮処理し、又は第１０組の変形領域を口部領域の中心が口部領域の縁部に向かう方向に引き伸ばし処理するようにしてもよい。
【0094】
第８の実施形態として、第１目標領域に対応するキーポイント情報に基づいて複数の変形領域から第１目標領域に対応する変形領域を決定するステップは、顔部領域の縁部のキーポイント情報に基づいて複数の変形領域から顔部領域に対応する第１１組の変形領域を決定するステップを含み、第１目標領域に対応する変形領域に対して画像変形処理を行うステップは、顔部領域の縁部が顔部領域の中線に向かう方向に第１１組の変形領域を圧縮処理し、又は顔部領域の中線が顔部領域の縁部に向かう方向に第１１組の変形領域に対して引き伸ばし処理を行うステップを含む。
【0095】
本実施例では、第１１組の変形領域は顔部領域の縁部のキーポイントを含む全ての変形領域であり、顔部領域の縁部のキーポイントは、図３ｂに示される第１組の輪郭キーポイント及び／又は第２組の輪郭キーポイントのうちの少なくとも一部のキーポイントを参照してもよく、本実施例は顔部領域の幅を調整するためのものであり、「顔痩せ」又は「顔を太くする」処理のためのものであると理解可能である。実際に応用するに際して、顔部領域の縁部が顔部領域の中線に向かう方向に第１１組の変形領域を圧縮処理し、又は顔部領域の中線が顔部領域の縁部に向かう方向に第１１組の変形領域に対して引き伸ばし処理を行うようにしてもよく、一例として、顔部領域の中線が顔部領域の中点（鼻の先に対応するキーポイント）を含み、そのように顔部領域の縁部が顔部領域の中点に向かう方向に第１１組の変形領域を圧縮処理し、又は顔部領域の中点が顔部領域の縁部に向かう方向に第１１組の変形領域に対して引き伸ばし処理を行うようにしてもよい。
【0096】
ある実施例では、異なる位置のキーポイントに対応する変形領域の変形割合が異なり、一例として、頬領域に含まれるキーポイントに対応する変形領域の変形割合が最も大きく、他の領域に対応する変形領域の変形割合が徐々に小さくなってもよい。例えば、図３ａに示すキーポイント０、キーポイント１６、キーポイント３２に近いキーポイントに対応する変形領域の変形割合が最も小さく、キーポイント８とキーポイント２４に近いキーポイントに対応する変形領域の変形割合が最も大きく、それによって変形効果（例えば、顔痩せ効果又は顔を太くする効果）は違和感がない。
【0097】
第９の実施形態として、第１目標領域は額領域であり、第１目標領域に対応するキーポイント情報に基づいて複数の変形領域から第１目標領域に対応する変形領域を決定するステップは、額領域のキーポイント情報に基づいて複数の変形領域から額領域に対応する第１２組の変形領域を決定するステップを含み、第１目標領域に対応する変形領域に対して画像変形処理を行うステップは、第１２組の変形領域を第５特定方向に引き伸ばし又は圧縮処理して顔部領域の生え際を高くしたり低くするステップを含み、第５特定方向は、額領域のキーポイントがキーポイントに最も近い眉間に向かう方向であり、又は、第５特定方向は、額領域のキーポイントがキーポイントに最も近い眉間から離れる方向である。
【0098】
本実施例では、第１２組の変形領域は額領域のキーポイントを含む全ての変形領域であり、額領域のキーポイントの決定方式は上述した方式を参照してもよく、ここで詳細な説明を省略する。本実施例は、額領域の幅を調整するためのものであり、生え際の顔部領域での相対的高さを調整するためのものであると理解可能である。実際に応用するに際して、額領域のキーポイントを決定し、複数の変形領域からこのキーポイントを含む全ての変形領域を決定して第１２組の変形領域とするようにしてもよく、例えば、図２に示す額領域に対応する三角変形領域及び額領域以外の外縁領域に対応する三角変形領域を本実施例における第１２組の変形領域とし、この第１２組の変形領域を第５特定方向に引き伸ばし又は圧縮処理して顔部領域の生え際を高くしたり低くする。ここで、画像における顔に２つの眉毛を含めば、額領域に対応するある特徴点に対して、先にこの特徴点に最も近い眉間を決定し、この特徴点のこの眉間に対する方向を決定し、この方向を第５特定方向とし、また、変形領域に含まれる３つのキーポイントに対して、各キーポイントに対応する第５特定方向をそれぞれ決定し、各特徴点に対応する第５特定方向にこの変形領域に対して変形処理を行い、具体的には変形領域における３つのキーポイントに対してそれぞれの対応の第５特定方向に沿って移動させるようにしてもよい。
【0099】
以上から分かるように、本実施例の画像処理方法は以下のことを実現できる。１、生え際の調節を実現でき、即ち、生え際の位置を調節して生え際を高くたり低くすることができる。２、鼻領域の長さ調節を実現でき、即ち、鼻の長さ調節を実現し、鼻を長くしたり短くすることができる。３、鼻翼領域の調節を実現でき、即ち、鼻翼の幅の調節を実現することができる。４、人中領域の調節を実現でき、即ち、人中領域の長さ調整を実現し、人中領域を長くしたり短くすることができる。５、口の形の調節を実現でき、即ち、口の大きさの調整を実現することができる。６、あご領域の調節を実現でき、即ち、あご領域の長さ調整を実現し、あご領域を長くしたり短くすることができる。７、顔型の調節を実現でき、即ち、顔部輪郭の調節を実現し、顔部輪郭を狭くしたり広くし、例えば「顔痩せ」を実現することができる。８、目の距離の調整を実現でき、即ち、左眼と右眼との間の距離を調節することができる。９、目の角度の調整を実現でき、即ち、目の相対的角度を調節することができる。１０、眼角位置の調整を実現でき、即ち、眼角の位置を調節し、「眼角整形」を実現し、目を大きくすることができる。１１、横顔の時の鼻の高さの調整を実現でき、即ち、横顔の「高い鼻」を実現することができる。
【0100】
本願の実施例は画像処理方法を更に提供する。図４は本願の実施例の画像処理方法の別のフローチャートであり、図４に示すように、方法は、
第１画像を取得し、第１画像における顔部領域を認識し、顔部領域に関連するキーポイント情報を決定するステップ２０１であって、キーポイント情報が、顔部領域のキーポイント情報及び外縁キーポイント情報を含み、外縁キーポイント情報が対応する領域が、顔部領域を含み且つ顔部領域より大きいステップ２０１と、
キーポイント情報に基づいて複数の変形領域を決定するステップ２０２と、
顔部領域の振れパラメータを決定し、振れパラメータに基づいて少なくとも一部の変形領域のうちの各変形領域に対応する変形パラメータと変形方向を決定するステップ２０３と、
複数の変形領域のうちの少なくとも一部の変形領域及び各変形領域に対応する変形パラメータと変形方向に基づいて顔部領域に対して画像変形処理を行って第２画像を生成するステップ２０４と、を含む。
第１画像を取得し、第１画像における顔部領域を認識し、顔部領域に関連するキーポイント情報を決定するステップ２０１であって、キーポイント情報が、顔部領域のキーポイント情報及び外縁キーポイント情報を含み、外縁キーポイント情報が対応する領域が、顔部領域を含み且つ顔部領域より大きいステップ２０１と、
キーポイント情報に基づいて複数の変形領域を決定するステップ２０２と、
顔部領域の振れパラメータを決定し、振れパラメータに基づいて少なくとも一部の変形領域のうちの各変形領域に対応する変形パラメータと変形方向を決定するステップ２０３と、
複数の変形領域のうちの少なくとも一部の変形領域及び各変形領域に対応する変形パラメータと変形方向に基づいて顔部領域に対して画像変形処理を行って第２画像を生成するステップ２０４と、を含む。
【0101】
本実施例におけるステップ２０１－ステップ２０２についての説明は具体的には前記実施例におけるステップ１０１－ステップ１０２の説明を参照してもよい。
【0102】
前記実施例は主に顔部領域が振れしていない場合に適用され、顔部領域が振れした場合に、即ち横顔の場合に、先に顔部領域の振れパラメータを決定し、続いて振れパラメータによって、変形処理しようとするそれぞれの変形領域に対応する変形パラメータと変形方向を決定し、決定された変形パラメータと変形方向に従って変形領域を変形処理する必要があることが理解できる。
【0103】
本願のいくつかの選択可能な実施例では、顔部領域の振れパラメータを決定するステップは、顔面部領域、鼻領域、口部領域の少なくとも１つを含む顔部領域のうちのいずれか１つの領域の左側縁部キーポイント、右側縁部キーポイント及び中心キーポイントを決定するステップと、左側キーポイントと中心キーポイントとの間の第１距離を決定し、右側縁部キーポイントと中心キーポイントとの間の第２距離を決定するステップと、第１距離と第２距離に基づいて顔部領域の振れパラメータを決定するステップと、を含む。
【0104】
一例において、鼻領域を例とすると、鼻の中心点（例えば、鼻の先）、鼻翼の最も左側のキーポイント及び鼻翼の最も右側のキーポイントをそれぞれ決定し、鼻翼の最も左側のキーポイントと鼻の中心点との間の第１距離、及び鼻翼の最も右側のキーポイントと鼻の中心点との間の第２距離を計算し、第１距離と第２距離に基づいて顔部領域の振れパラメータを決定する。更にこの振れパラメータに基づいて前記実施例における第１目標領域の変形方向を調整する。
【0105】
鼻翼領域を第１目標領域として変形処理を行うことを例とすると、顔部領域が振れしたので、鼻翼左側領域と鼻翼右側領域の変形パラメータが異なり、第１距離が第２距離より大きければ、鼻翼左側領域の変形パラメータが鼻翼右側領域の変形パラメータより大きく、一例として、鼻翼の最も左側のキーポイントの移動割合は、第１距離を鼻翼の最も左側のキーポイントと鼻翼中心点との間の距離で割った、０－１の範囲内の値であってもよく、同じ理由で、鼻翼の最も右側のキーポイントの移動割合は、第２距離を鼻翼の最も右側のキーポイントと鼻翼中心点との間の距離で割った、０－１の範囲内の値であってもよく、そのように、鼻翼両側のキーポイントの移動距離は顔部領域の振れに伴って変化する。
【0106】
本願の実施例の技術的解決手段を採用すれば、顔部領域の外縁のキーポイントを決定することで顔部領域外縁の変形領域を決定し、それによって顔部領域の変形処理過程で顔部領域の外縁を適応的に変形処理して、顔部領域の変形処理による画像中の穴又は画素重畳を回避して、画像処理効果を高めた。一方、顔部領域輪郭の閉鎖キーポイント情報を形成することで、顔部領域の額領域の変形処理が実現される。更に、顔部領域の振れを検出することで、横顔場合の鼻の高さの調整が実現される。
【0107】
本願の実施例は画像処理方法を更に提供する。図５は本願の実施例の画像処理方法の更に別のフローチャートであり、図５に示すように、方法は、
第１画像を取得し、第１画像における顔部領域を認識し、顔部領域に関連するキーポイント情報を決定するステップ３０１であって、キーポイント情報が、顔部領域のキーポイント情報及び外縁キーポイント情報を含み、外縁キーポイント情報が対応する領域が、顔部領域を含み且つ顔部領域より大きいステップ３０１と、
キーポイント情報に基づいて複数の変形領域を決定し、複数の変形領域のうちの少なくとも一部の変形領域に基づいて顔部領域に対して画像変形処理を行って第２画像を生成するステップ３０２と、
顔部領域における第２目標領域を認識し、第２目標領域に対して特徴処理を行って第３画像を生成するステップ３０３であって、第２目標領域が、眼周囲領域、ほうれい線領域、歯領域、眼部領域、頬骨筋領域の中の少なくとも一項を含むステップ３０３と、を含む。
第１画像を取得し、第１画像における顔部領域を認識し、顔部領域に関連するキーポイント情報を決定するステップ３０１であって、キーポイント情報が、顔部領域のキーポイント情報及び外縁キーポイント情報を含み、外縁キーポイント情報が対応する領域が、顔部領域を含み且つ顔部領域より大きいステップ３０１と、
キーポイント情報に基づいて複数の変形領域を決定し、複数の変形領域のうちの少なくとも一部の変形領域に基づいて顔部領域に対して画像変形処理を行って第２画像を生成するステップ３０２と、
顔部領域における第２目標領域を認識し、第２目標領域に対して特徴処理を行って第３画像を生成するステップ３０３であって、第２目標領域が、眼周囲領域、ほうれい線領域、歯領域、眼部領域、頬骨筋領域の中の少なくとも一項を含むステップ３０３と、を含む。
【0108】
本実施例におけるステップ３０１－ステップ３０２についての説明は具体的には前記実施例におけるステップ１０１－ステップ１０２の説明を参照してもよく、簡略化するために、ここで詳細な説明を省略する。
【0109】
本実施例では、変形領域に基づいて顔部領域に対して画像変形処理を行うことに加えて、本実施例は画像に基づいて特徴処理を行うこともでき、いくつかの実施形態では、画像の特徴処理は画像における画素への処理であってもよく、特徴処理の手段は、ノイズ除去処理、ガウシアンぼかし処理、高低周波数処理、マスク処理等の中の少なくとも１つを含んでよい。ここで、第２目標領域が眼周囲領域である時に、第２目標領域への処理は具体的には目のくまの除去処理であってもよく、第２目標領域がほうれい線領域である時に、第２目標領域への処理は具体的にはほうれい線除去処理であってもよく、第２目標領域が歯領域である時に、第２目標領域への処理は具体的には歯の美白処理であってもよく、第２目標領域が眼部領域である時に、第２目標領域への処理は具体的には眼部領域の輝度向上処理であってもよく、第２目標領域が頬骨筋領域である時に、第２目標領域への処理は頬骨筋領域の増大又は縮小処理及び／又は頬骨筋領域の輝度処理等であってもよい。
【0110】
ガウス処理において、第２目標領域にガウシアンぼかし処理を実行してもよく、つまり、第２目標領域に肌荒れの補正処理を実行する。
【0111】
マスク処理において、例えば、図６に示すように、第２目標領域とマッチング可能なマスクを第２目標領域にカバーし、図６は第２目標領域を処理する例を示す。一例において、第２目標領域が眼周囲領域であることを例とすると、まず眼部領域を決定し、決定された眼部領域に基づいて眼周囲領域を決定し、一般的には目のくまが目の下に位置し、そのように具体的には眼部領域の下の領域を第２目標領域（眼周囲領域）としてもよく、実際に応用するに際して、眼周囲領域に対応するマスクを予め設置してもよく、そのように眼周囲領域に対応するマスクを眼周囲領域にカバーして第３画像を生成する。ほうれい線領域の処理は眼周囲領域の処理と類似し、即ち、先にほうれい線領域を決定し、予め設置されたほうれい線領域に対応するマスクをほうれい線領域にカバーして第３画像を生成する。
【0112】
歯領域の処理において、予め設定された色の照合表によって、取り替えようとする、色を表す目標パラメータを決定し、歯領域を決定し、歯領域に対応するパラメータを目標パラメータに調整して歯の色の調整を遂げる。
【0113】
眼部領域の処理において、具体的には眼部領域の明るさを高くしてもよい。
【0114】
本願の実施例は画像処理装置を更に提供し、図７は本願の実施例の画像処理装置の構成の構造模式図であり、図７に示すように、装置は、
第１画像を取得し、第１画像における顔部領域を認識し、顔部領域に関連するキーポイント情報を決定するように構成される第１決定ユニット４１であって、キーポイント情報が、顔部領域のキーポイント情報及び外縁キーポイント情報を含み、外縁キーポイント情報が対応する領域が、顔部領域を含み且つ顔部領域より大きいように構成され、更にキーポイント情報に基づいて複数の変形領域を決定する第１決定ユニット４１と、
複数の変形領域のうちの少なくとも一部の変形領域に基づいて顔部領域に対して画像変形処理を行って第２画像を生成するように構成される変形処理ユニット４２と、を含む。
第１画像を取得し、第１画像における顔部領域を認識し、顔部領域に関連するキーポイント情報を決定するように構成される第１決定ユニット４１であって、キーポイント情報が、顔部領域のキーポイント情報及び外縁キーポイント情報を含み、外縁キーポイント情報が対応する領域が、顔部領域を含み且つ顔部領域より大きいように構成され、更にキーポイント情報に基づいて複数の変形領域を決定する第１決定ユニット４１と、
複数の変形領域のうちの少なくとも一部の変形領域に基づいて顔部領域に対して画像変形処理を行って第２画像を生成するように構成される変形処理ユニット４２と、を含む。
【0115】
本願のいくつかの選択可能な実施例では、顔部領域のキーポイント情報は、顔部領域の器官のキーポイント情報と顔部領域の輪郭に対応する顔部領域の縁部のキーポイント情報を含み、器官のキーポイント情報は、器官の中心キーポイント情報及び／又は器官の輪郭キーポイント情報を含む。
【0116】
本願のいくつかの選択可能な実施例では、第１決定ユニット４１は、キーポイント情報のうちの任意の隣接する３つのキーポイントに基づいて複数の変形領域を決定するように構成される。
【0117】
本願のいくつかの選択可能な実施例では、第１決定ユニット４１は、顔部領域における処理しようとする第１目標領域を決定し、第１目標領域に対応するキーポイント情報に基づいて複数の変形領域から第１目標領域に対応する変形領域を決定するように構成され、
変形処理ユニット４２は、第１目標領域に対応する変形領域に対して画像変形処理を行うように構成される。
変形処理ユニット４２は、第１目標領域に対応する変形領域に対して画像変形処理を行うように構成される。
【0118】
第１の実施形態として、第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、
第１決定ユニット４１は、左眼領域に対応するキーポイント情報に基づいて複数の変形領域から左眼領域に対応する第１組の変形領域を決定し、及び／又は、右眼領域に対応するキーポイント情報に基づいて複数の変形領域から右眼領域に対応する第２組の変形領域を決定するように構成され、
変形処理ユニット４２は、第１組の変形領域及び／又は第２組の変形領域に対して画像変形処理を行うように構成され、ここで、第１組の変形領域の画像変形方向が第２組の変形領域の画像変形方向と反対であり、それによって左眼領域と右眼領域との間の距離を大きくしたり小さくする。
第１決定ユニット４１は、左眼領域に対応するキーポイント情報に基づいて複数の変形領域から左眼領域に対応する第１組の変形領域を決定し、及び／又は、右眼領域に対応するキーポイント情報に基づいて複数の変形領域から右眼領域に対応する第２組の変形領域を決定するように構成され、
変形処理ユニット４２は、第１組の変形領域及び／又は第２組の変形領域に対して画像変形処理を行うように構成され、ここで、第１組の変形領域の画像変形方向が第２組の変形領域の画像変形方向と反対であり、それによって左眼領域と右眼領域との間の距離を大きくしたり小さくする。
【0119】
第２の実施形態として、第１目標領域は、左眼の眼角領域及び／又は右眼の眼角領域を含む眼角領域であり、
第１決定ユニット４１は、左眼の眼角領域に対応するキーポイント情報に基づいて複数の変形領域から左眼の眼角領域に対応する第３組の変形領域を決定し、及び／又は、右眼の眼角領域に対応するキーポイント情報に基づいて複数の変形領域から右眼の眼角領域に対応する第４組の変形領域を決定するように構成され、
変形処理ユニット４２は、第３組の変形領域及び／又は第４組の変形領域を第１特定方向に引き伸ばし又は圧縮して左眼領域の眼角の位置及び／又は右眼領域の眼角の位置を調整するように構成される。
第１決定ユニット４１は、左眼の眼角領域に対応するキーポイント情報に基づいて複数の変形領域から左眼の眼角領域に対応する第３組の変形領域を決定し、及び／又は、右眼の眼角領域に対応するキーポイント情報に基づいて複数の変形領域から右眼の眼角領域に対応する第４組の変形領域を決定するように構成され、
変形処理ユニット４２は、第３組の変形領域及び／又は第４組の変形領域を第１特定方向に引き伸ばし又は圧縮して左眼領域の眼角の位置及び／又は右眼領域の眼角の位置を調整するように構成される。
【0120】
第３の実施形態として、第１目標領域は、左眼領域及び／又は右眼領域を含む眼部領域であり、
第１決定ユニット４１は、左眼領域に対応するキーポイント情報に基づいて複数の変形領域から左眼領域に対応する第５組の変形領域を決定し、及び／又は、右眼領域に対応するキーポイント情報に基づいて複数の変形領域から右眼領域に対応する第６組の変形領域を決定するように構成され、
変形処理ユニット４２は、第５組の変形領域に対して変形処理を行って、回転角度が第１設定角度を満たすように左眼領域の輪郭キーポイントを左眼領域の中心キーポイントに対して回転させ、及び／又は、第６組の変形領域に対して変形処理を行って、回転角度が第２設定角度を満たすように右眼領域の輪郭キーポイントを右眼領域の中心キーポイントに対して回転させるように構成される。
第１決定ユニット４１は、左眼領域に対応するキーポイント情報に基づいて複数の変形領域から左眼領域に対応する第５組の変形領域を決定し、及び／又は、右眼領域に対応するキーポイント情報に基づいて複数の変形領域から右眼領域に対応する第６組の変形領域を決定するように構成され、
変形処理ユニット４２は、第５組の変形領域に対して変形処理を行って、回転角度が第１設定角度を満たすように左眼領域の輪郭キーポイントを左眼領域の中心キーポイントに対して回転させ、及び／又は、第６組の変形領域に対して変形処理を行って、回転角度が第２設定角度を満たすように右眼領域の輪郭キーポイントを右眼領域の中心キーポイントに対して回転させるように構成される。
【0121】
第４の実施形態として、第１目標領域は鼻領域であり、
第１決定ユニット４１は、鼻領域に対応するキーポイント情報に基づいて複数の変形領域から鼻領域に対応する第７組の変形領域を決定するように構成され、
変形処理ユニット４２は、第７組の変形領域を第２特定方向に引き伸ばし又は圧縮して鼻領域を長くしたり短くするように構成される。
第１決定ユニット４１は、鼻領域に対応するキーポイント情報に基づいて複数の変形領域から鼻領域に対応する第７組の変形領域を決定するように構成され、
変形処理ユニット４２は、第７組の変形領域を第２特定方向に引き伸ばし又は圧縮して鼻領域を長くしたり短くするように構成される。
【0122】
第５の実施形態として、第１目標領域は鼻翼領域であり、
第１決定ユニット４１は、鼻翼領域に対応するキーポイント情報に基づいて複数の変形領域から鼻翼領域に対応する第８組の変形領域を決定するように構成され、
変形処理ユニット４２は、第８組の変形領域を第３特定方向に圧縮又は引き伸ばして鼻翼領域を狭くしたり広くするように構成される。
第１決定ユニット４１は、鼻翼領域に対応するキーポイント情報に基づいて複数の変形領域から鼻翼領域に対応する第８組の変形領域を決定するように構成され、
変形処理ユニット４２は、第８組の変形領域を第３特定方向に圧縮又は引き伸ばして鼻翼領域を狭くしたり広くするように構成される。
【0123】
第６の実施形態として、第１目標領域はあご領域又は人中領域であり、
第１決定ユニット４１は、あご領域又は人中領域に対応するキーポイント情報に基づいて複数の変形領域からあご領域又は人中領域に対応する第９組の変形領域を決定するように構成され、
変形処理ユニット４２は、第９組の変形領域を第４特定方向に圧縮又は引き伸ばしてあご領域又は人中領域を短くしたり長くするように構成される。
第１決定ユニット４１は、あご領域又は人中領域に対応するキーポイント情報に基づいて複数の変形領域からあご領域又は人中領域に対応する第９組の変形領域を決定するように構成され、
変形処理ユニット４２は、第９組の変形領域を第４特定方向に圧縮又は引き伸ばしてあご領域又は人中領域を短くしたり長くするように構成される。
【0124】
第７の実施形態として、第１目標領域は口部領域であり、
第１決定ユニット４１は、口部領域に対応するキーポイント情報に基づいて複数の変形領域から口部領域に対応する第１０組の変形領域を決定するように構成され、
変形処理ユニット４２は、口部領域の縁部が口部領域の中心に向かう方向に第１０組の変形領域を圧縮処理し、又は口部領域の中心が口部領域の縁部に向かう方向に第１０組の変形領域に対して引き伸ばし処理を行うように構成される。
第１決定ユニット４１は、口部領域に対応するキーポイント情報に基づいて複数の変形領域から口部領域に対応する第１０組の変形領域を決定するように構成され、
変形処理ユニット４２は、口部領域の縁部が口部領域の中心に向かう方向に第１０組の変形領域を圧縮処理し、又は口部領域の中心が口部領域の縁部に向かう方向に第１０組の変形領域に対して引き伸ばし処理を行うように構成される。
【0125】
第８の実施形態として、第１決定ユニット４１は、顔部領域の縁部のキーポイント情報に基づいて複数の変形領域から顔部領域に対応する第１１組の変形領域を決定するように構成され、
変形処理ユニット４２は、顔部領域の縁部が顔部領域の中点に向かう方向に第１１組の変形領域を圧縮処理し、又は顔部領域の中点が顔部領域の縁部に向かう方向に第１１組の変形領域に対して引き伸ばし処理を行うように構成される。
変形処理ユニット４２は、顔部領域の縁部が顔部領域の中点に向かう方向に第１１組の変形領域を圧縮処理し、又は顔部領域の中点が顔部領域の縁部に向かう方向に第１１組の変形領域に対して引き伸ばし処理を行うように構成される。
【0126】
第９の実施形態として、第１目標領域は額領域であり、
第１決定ユニット４１は、額領域に対応するキーポイント情報に基づいて複数の変形領域から額領域に対応する第１２組の変形領域を決定するように構成され、
変形処理ユニット４２は、第１２組の変形領域を第５特定方向に引き伸ばし又は圧縮処理して顔部領域の生え際を高くしたり低くするように構成され、第５特定方向は、額領域のキーポイントがキーポイントに最も近い眉間に向かう方向であり、又は、第５特定方向は、額領域のキーポイントがキーポイントに最も近い眉間から離れる方向である。
第１決定ユニット４１は、額領域に対応するキーポイント情報に基づいて複数の変形領域から額領域に対応する第１２組の変形領域を決定するように構成され、
変形処理ユニット４２は、第１２組の変形領域を第５特定方向に引き伸ばし又は圧縮処理して顔部領域の生え際を高くしたり低くするように構成され、第５特定方向は、額領域のキーポイントがキーポイントに最も近い眉間に向かう方向であり、又は、第５特定方向は、額領域のキーポイントがキーポイントに最も近い眉間から離れる方向である。
【0127】
選択可能に、第１決定ユニット４１は、額領域の少なくとも３つのキーポイントを決定し、少なくとも３つのキーポイントと顔部領域における眼部以下の第１組の輪郭点情報に基づいて額領域のキーポイント情報を決定するように構成される。
【0128】
いくつかの実施形態では、少なくとも３つのキーポイントのうちの第１キーポイントが額領域の中線に位置し、少なくとも３つのキーポイントのうちの第２キーポイントと第３キーポイントが中線の両側に位置する。
【0129】
いくつかの実施形態では、第１決定ユニット４１は、顔部領域における眼部以下の第１組の輪郭点情報のうちの両端に位置するキーポイント及び上記少なくとも３つのキーポイントに基づいてカーブフィッティングを行ってカーブフィッティングキーポイント情報を取得し、曲線補間アルゴリズムに基づいてカーブフィッティングキーポイント情報に対して補間処理を行って額領域のキーポイント情報を取得するように構成される。
【0130】
本願のいくつかの選択可能な実施例では、第１決定ユニット４１は、顔部キーポイント検出アルゴリズムによって顔部領域を検出して顔部領域の器官のキーポイント情報及び顔部領域の縁部のキーポイント情報を取得し、顔部領域の縁部のキーポイント情報に基づいて外縁キーポイント情報を取得するように構成される。
【0131】
本願のいくつかの選択可能な実施例では、第１決定ユニット４１は、顔部領域における眼部以下の第１組の輪郭点情報を取得し、額領域に対応する第２組の輪郭点情報を決定し、第１組の輪郭点情報と第２組の輪郭点情報に基づいて顔部領域の縁部のキーポイント情報を決定するように構成される。
【0132】
本願のいくつかの選択可能な実施例では、第１決定ユニット４１は、顔部領域の縁部のキーポイントと顔部領域の中心点との間の距離及び顔部領域の縁部のキーポイントの顔部領域の中心点に対する方向を含む、顔部領域の縁部のキーポイント情報と顔部領域の中点との間の相対的位置関係を決定し、相対的位置関係に基づいて、顔部領域の縁部のキーポイントのうちのいずれか１つのキーポイントである第１縁部のキーポイントを顔部領域の外部に向かう方向に、第１縁部のキーポイントと顔部領域の中心点との間の距離に関連する所定距離で伸ばして、第１縁部のキーポイントに対応する外縁キーポイントを取得するように構成される。
【0133】
本願のいくつかの選択可能な実施例では、図８に示すように、上記装置は、顔部領域の振れパラメータを決定し、振れパラメータに基づいて少なくとも一部の変形領域のうちの各変形領域に対応する変形パラメータと変形方向を決定し、各変形領域が対応する変形パラメータと変形方向に従って画像変形処理されるようにするように構成される第２決定ユニット４３を更に含む。
【0134】
いくつかの実施形態では、第２決定ユニット４３は、顔面部領域、鼻領域、口部領域の少なくとも１つを含む顔部領域のうちのいずれか１つの領域の左側縁部キーポイント、右側縁部キーポイント及び中心キーポイントを決定し、左側キーポイントと中心キーポイントとの間の第１距離を決定し、右側縁部キーポイントと中心キーポイントとの間の第２距離を決定し、第１距離と第２距離に基づいて顔部領域の振れパラメータを決定するように構成される。
【0135】
本願のいくつかの選択可能な実施例では、図９に示すように、装置は、眼周囲領域、ほうれい線領域、歯領域、眼部領域、頬骨筋領域の中の少なくとも一項を含む、顔部領域における第２目標領域を認識し、第２目標領域に対して特徴処理を行って第３画像を生成するように構成される画像処理ユニット４４を更に含む。
【0136】
本願の実施例では、装置における第１決定ユニット４１、変形処理ユニット４２、第２決定ユニット４３及び画像処理ユニット４４は、実用上、いずれも中央処理装置（ＣＰＵ、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ディジタル信号プロセッサ（ＤＳＰ、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、マイクロコントローラーユニット（ＭＣＵ、Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によって実現することができる。
【0137】
上記実施例で提供された画像処理装置によって画像処理を行う時に、上述したように分割した各プログラムモジュールを例にして説明したが、実用において、必要に応じて上記処理を異なるプログラムモジュールによって完了するように割り当ててもよく、即ち装置の内部構造を異なるプログラムモジュールに分割して上述した全てまたは一部の処理を完了するようにしてもよいことを説明する必要がある。なお、上記実施例で提供された画像処理装置及び画像処理方法の実施例が同じ構想によるものであり、その具体的な実施過程の詳細については方法の実施例を参照し、ここで重複説明を省略する。
【0138】
本願の実施例は画像処理装置を更に提供し、図１０は本願の実施例の画像処理装置のハードウェア構成の構造模式図であり、図１０に示すように、画像処理装置は、メモリ５２と、プロセッサ５１と、メモリ５２に記憶されている、プロセッサ５１上で作動可能なコンピュータプログラムと、を含み、プロセッサ５１がプログラムを実行する時に本願の実施例の方法のステップを実現する。
【0139】
画像処理装置における各コンポーネントがバスシステム５３によって接続されてもよいことが理解可能である。バスシステム５３がこれらのコンポーネントの間の接続通信を実現するためのものであることが理解可能である。バスシステム５３はデータバスに加えて、更に電源バス、制御バス及び状態信号バスを含む。ただし、説明を明瞭にするために、図１０において各種のバスがすべてバスシステム５３とされている。
【0140】
メモリ５２は揮発性メモリ又は不揮発性メモリであってもよく、揮発性及び不揮発性メモリの両方を含んでもよいことが理解可能である。ここで、不揮発性メモリは、読み出し専用メモリー（ＲＯＭ、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブル読み出し専用メモリー（ＰＲＯＭ、Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能プログラマブル読み出し専用メモリー（ＥＰＲＯＭ、Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的消去可能なプログラマブル読み出し専用メモリー（ＥＥＰＲＯＭ、Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ランダムアクセスメモリ（ＦＲＡＭ（登録商標）、ｆｅｒｒｏｍａｇｎｅｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、磁性面メモリ、光ディスク又はシーディーロム（ＣＤ－ＲＯＭ、Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよく、磁性面メモリは磁気ディスクメモリ又は磁気テープメモリであってもよい。揮発性メモリはランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよく、外部キャッシュとして用いられる。例示的なものであり限定する意図がない説明によれば、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期スタティックランダムアクセスメモリ（ＳＳＲＡＭ、Ｓｙｎｃｈｒｏｎｏｕｓ Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ、Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダブルデータレート同期ダイナミックランダムアクセスメモリ（ＤＤＲＳＤＲＡＭ、Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、強化型同期ダイナミックランダムアクセスメモリ（ＥＳＤＲＡＭ、Ｅｎｈａｎｃｅｄ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期接続ダイナミックランダムアクセスメモリ（ＳＬＤＲＡＭ、ＳｙｎｃＬｉｎｋ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダイレクトラムバスランダムアクセスメモリ（ＤＲＲＡＭ、Ｄｉｒｅｃｔ Ｒａｍｂｕｓ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような多くの形のＲＡＭが使用可能である。本願の実施例に記載のメモリ５２は、これらのメモリ及び他のいかなる適切なメモリを含むが、それらに限定されない。
【0141】
上記の本願の実施例で開示された方法は、プロセッサ５１に用いることができ、又はプロセッサ５１によって実現することができる。プロセッサ５１は信号処理能力を有する集積回路チップであってもよい。実施過程では、上記方法の各ステップはプロセッサ５１のハードウェアの集積論理回路又はソフトウェア形態のコマンドによって完成可能である。上記プロセッサ５１は共通プロセッサ、ＤＳＰまたは他のプログラマブル論理デバイス、離散ゲートまたはトランジスタ論理デバイス、離散ハードウェアコンポーネント等であってもよい。プロセッサ５１は、本願の実施例で開示された各方法、ステップ及び論理ブロック図を実現又は実行することができる。共通プロセッサは、マイクロプロセッサ又はいかなる一般のプロセッサ等であってもよい。本願の実施例で開示された方法のステップによれば、ハードウェア復号プロセッサにより実行、完成し、又は復号プロセッサ中のハードウェア及びソフトウェアモジュールの組合により実行、完成するように直接体現することができる。ソフトウェアモジュールは記憶媒体にあってもよく、該記憶媒体はメモリ５２に位置し、プロセッサ５１はメモリ５２中の情報を読み取り、そのハードウェアと組み合わせて上記方法のステップを完成する。
【0142】
例示的な実施例では、画像処理装置は一つ以上の特定用途向け集積回路（ＡＳＩＣ、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ、プログラマブルロジックデバイス（ＰＬＤ、Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、結合プログラム可能論理回路（ＣＰＬＤ、Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ、汎用プロセッサ、制御器、ＭＣＵ、マイクロプロセッサ（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）又は他の電子素子によって実現し、上記方法を実行するために用いることができる。
【0143】
本願の実施例は、コンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、このプログラムがプロセッサにより実行される時に本願の実施例の上記方法のステップを実現するコンピュータ読取可能記憶媒体を更に提供する。
【0144】
なお、本願が提供するいくつかの実施例では、開示した装置および方法は、他の形態で実現することができることを理解すべきである。以上に記載の機器の実施例は例示的なものに過ぎず、例えば、上記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、複数のユニットまたはコンポーネントは組み合わせてもよいし、または別のシステムに統合してもよいし、または一部の特徴を省略もしくは実行しなくてもよい。また、図示または説明した各構成要素の結合、または直接結合、または通信接続は、いくつかのインタフェース、機器またはユニットを介した間接結合または通信接続であり得、電気的、機械的または他の形態であり得る。
【0145】
別々の部材として前述したユニットは物理的に分離されてもされなくてもよく、ユニットとして示された部材は物理的ユニットであってもなくてもよく、一箇所にあっても複数のネットワークユニットに分散してもよく、本実施例の解決手段の目的を達成するには、実際の必要に応じて一部または全てのユニットを選択することができる。
【0146】
また、本願の各実施例における各機能ユニットは全て一つの処理ユニットに統合されてもよいし、一つのユニットとして別々に使用されてもよいし、二つ以上で一つのユニットに統合されてもよく、上記統合されたユニットはハードウェアの形で、またはハードウェアとソフトウェアを組み合わせた機能ユニットの形で実現され得る。
【0147】
当業者であれば、上記各方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解でき、前記プログラムは、携帯型記憶装置、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記各方法の実施例を含むステップを実行する。
【0148】
あるいは、本願の上記統合されたユニットはソフトウェア機能モジュールの形で実現されかつ独立した製品として販売または使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような見解をもとに、本願の実施例の技術的解決手段は実質的にまたは従来技術に寄与する部分がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器などであってもよい）に本願の各実施例の前記方法の全てまたは一部を実行させる複数の命令を含む。前記記憶媒体は、携帯型記憶装置、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。
【0149】
以上で説明したのは本願の具体的な実施形態に過ぎず、本願の保護範囲がそれに限定されるものでなく、本願に記載された技術範囲内に当業者に容易に想到される変化又は取り替えは、全て本願の保護範囲に含まれる。従って、本願の保護範囲は請求項の保護範囲に準ずるべきである。
【図1】
【図2】
【図3a】
【図3b】
【図3c】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
