特許 7160958 画像処理方法及び装置、画像処理デバイス並びに記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-17

(45)【発行日】2022-10-25

(54)【発明の名称】画像処理方法及び装置、画像処理デバイス並びに記憶媒体

(51)【国際特許分類】

   G06T 11/80 20060101AFI20221018BHJP

   G06T 7/70 20170101ALI20221018BHJP

【ＦＩ】

G06T11/80 A

G06T7/70 A

【請求項の数】 10

(21)【出願番号】P 2020572416

(86)(22)【出願日】2020-05-29

(65)【公表番号】

(43)【公表日】2022-03-16

(86)【国際出願番号】 CN2020093442

(87)【国際公開番号】W WO2021128731

(87)【国際公開日】2021-07-01

【審査請求日】2020-12-24

(31)【優先権主張番号】201911360894.4

(32)【優先日】2019-12-25

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】321006888

【氏名又は名称】ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】李通

(72)【発明者】

【氏名】▲劉▼文▲韜▼

(72)【発明者】

【氏名】▲錢▼晨

【審査官】永野 志保

(56)【参考文献】

【文献】特開２０１１－２３３０７３（ＪＰ，Ａ）

【文献】特開２００８－２４２８０７（ＪＰ，Ａ）

【文献】特開平０６－０２８４６５（ＪＰ，Ａ）

【文献】特表２０１６－５１５２３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／８０

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

画像処理方法であって、
第一の画像におけるターゲットオブジェクトに含まれる第一の部位の第一のキーポイントの位置情報および第二の部位の第二のキーポイントの位置情報を取得することと、
前記第一のキーポイントの位置情報および前記第二のキーポイントの位置情報のそれぞれに基づいて、前記第一のキーポイントを含む第一の領域および前記第二のキーポイントを含む第二の領域を確定することであって、前記第一の領域の変位幅と前記第二の領域の変形幅とは異なる、ことと、
変形命令に応じて、前記第一の領域内および前記第二の領域内の予め設定された変形グリッドのグリッドポイントの第一の変位量を確定することと、
前記第一の領域内の前記グリッドポイントと前記第一の領域内の画素ポイントとの間の相対位置に応じて、前記第一の領域内の前記グリッドポイントの前記第一の変位量の減衰パラメータを確定することと、
前記減衰パラメータに基づいて前記第一の変位量を減衰させることにより、前記第一の変位量よりも小さい第二の変位量を取得することと、
前記第一の領域内の前記グリッドポイントの前記第二の変位量に基づいて、前記第一の領域内の画素ポイントの変形を制御し、前記第二の領域内の前記グリッドポイントの前記第一の変位量に基づいて、前記第二の領域内の画素ポイントの変形を制御し、変形された第二の画像を取得することと
を含む、画像処理方法。

【請求項2】

前記第一の領域内の前記グリッドポイントの前記第二の変位量に基づいて、前記第一の領域内の画素ポイントの変形を制御し、前記第二の領域内の前記グリッドポイントの前記第一の変位量に基づいて、前記第二の領域内の画素ポイントの変形を制御し、変形された第二の画像を取得することは、
前記第二の変位量に基づいて、前記第一の領域内の隣接する画素ポイント間の間隔を制御し、前記第一の変位量に基づいて、前記第二の領域内の隣接する画素ポイント間の間隔を制御し、変形された第二の画像を取得することを含む、 請求項１に記載の画像処理方法。

【請求項3】

前記第一の領域内の前記グリッドポイントと前記第一の領域内の画素ポイントとの間の相対位置に応じて、前記第一の領域内の前記グリッドポイントの前記第一の変位量の減衰パラメータを確定することは、
複数の前記第一のキーポイントの連結線に位置する画素ポイントを確定し、第一のセットを取得することと、
前記第一のセットの画素ポイントと前記変形グリッドのグリッドポイントとの間の相対位置に応じて、第二のセットを取得することであって、前記第二のセットは、それぞれ前記第一のセットの各画素ポイントに最も近い、前記変形グリッドにおけるターゲットグリッドポイントを含む、ことと、
前記第二のセットの各前記ターゲットグリッドポイントと、前記第一のセットの前記ターゲットグリッドポイントによって制御された画素ポイントとの間の相対位置に応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することと
を含む、 請求項１に記載の画像処理方法。

【請求項4】

前記第二のセットの各前記ターゲットグリッドポイントと、前記第一のセットの前記ターゲットグリッドポイントによって制御された画素ポイントとの間の相対位置に応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することは、
それぞれ各前記第一のキーポイントを中心とし、前記第二のセットの各前記ターゲットグリッドポイントを所定の方向に前記第一のキーポイントから離れる方向へトラバースして、各前記第一のキーポイントに対する前記第二のセットの各前記ターゲットグリッドポイントの所定の方向の各間隔を得、前記各間隔に対してソートを行うことにより、前記各間隔に対するソート結果を取得することと、
前記各間隔に対するソート結果に応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することと
を含む、請求項３に記載の画像処理方法。

【請求項5】

前記各間隔に対するソート結果に応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することは、
前記第二のセットのいずれか１つの前記ターゲットグリッドポイントが複数の前記第一のキーポイントの所定の方向に位置する場合に、複数の前記第一のキーポイントに対応する前記各間隔に対するソート結果に応じて、前記減衰パラメータの候補値を確定することと、
前記候補値のうちの最大値をいずれか１つの前記ターゲットグリッドポイントの前記減衰パラメータとして選択することと
を含む、請求項４に記載の画像処理方法。

【請求項6】

前記第一の部位は、上肢であり、
第一の画像におけるターゲットオブジェクトに含まれる第一の部位の第一のキーポイントの位置情報を取得することは、
前記第一の画像における上肢の骨格キーポイントの位置情報を取得することを含み、
前記骨格キーポイントは、肩部キーポイント、肘関節キーポイント、手首キーポイント、手部キーポイントのうちの少なくとも１つを含む、請求項１～５のいずれか一項に記載の画像処理方法。

【請求項7】

画像処理装置であって、
第一の画像におけるターゲットオブジェクトに含まれる第一の部位の第一のキーポイントの位置情報および第二の部位の第二のキーポイントの位置情報を取得するように構成されている取得モジュールと、
前記第一のキーポイントの位置情報および前記第二のキーポイントの位置情報のそれぞれに基づいて、前記第一のキーポイントを含む第一の領域および前記第二のキーポイントを含む第二の領域を確定するように構成されている第一の確定モジュールであって、前記第一の領域の変形幅と前記第二の領域の変形幅とは異なる、第一の確定モジュールと、
変形命令に応じて、前記第一の領域内および前記第二の領域内の予め設定された変形グリッドのグリッドポイントの第一の変位量を確定し、前記第一の領域内の前記グリッドポイントと前記第一の領域内の画素ポイントとの間の相対位置に応じて、前記第一の領域内の前記グリッドポイントの前記第一の変位量の減衰パラメータを確定し、前記減衰パラメータに基づいて前記第一の変位量を減衰させることにより、前記第一の変位量よりも小さい第二の変位量を取得するように構成されている第二の確定モジュールと、
前記第一の領域内の前記グリッドポイントの前記第二の変位量に基づいて、前記第一の領域内の画素ポイントの変形を制御し、前記第二の領域内の前記グリッドポイントの前記第一の変位量に基づいて、前記第二の領域内の画素ポイントの変形を制御し、変形された第二の画像を取得するように構成されている制御モジュールと
を備える、画像処理装置。

【請求項8】

画像処理装置であって、前記画像処理装置は、
メモリと、
前記メモリに接続されているプロセッサと
を備え、
前記プロセッサは、 前記メモリに記憶されているコンピュータ実行可能な命令を実行することにより、請求項１～６のいずれか一項に記載の画像処理方法を実行するように構成されている、画像処理装置。

【請求項9】

コンピュータ実行可能な命令が記憶されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ実行可能な命令は、コンピュータによって実行されると、請求項１～６のいずれか一項に記載の画像処理方法を実行することを前記コンピュータに行わせる、コンピュータ読み取り可能な記憶媒体。

【請求項10】

請求項１～６のいずれか一項に記載の画像処理方法を実行することをコンピュータに行わせるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本開示は出願番号２０１９１１３６０８９４．４、出願日２０１９年１２月２５日の中国特許出願に基づいて提案され、この中国特許出願の優先権を主張し、この中国特許出願の全ての内容が参考として本開示に組み込まれる。

【0002】

本開示は、画像技術分野に関し、特に画像処理方法及び装置、画像処理デバイス並びに記憶媒体に関する。

【背景技術】

【0003】

画像技術分野では、ユーザーに対して１枚の写真を撮った後、当該写真の一部に対して変形処理を行う必要がある。現在、一般的には画像全体を変形させ、又は画像の一部の領域を変形させるが、他の領域を変形させない。画像の一部の領域を変形させる場合、変形された領域と変形されていない領域の間の遷移が非常に不自然であるため、画像効果が非常に低く、ユーザーが満足できなくなる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の実施例では画像処理方法及び装置、画像処理デバイス並びに記憶媒体を提供することが望まれる。

【課題を解決するための手段】

【0005】

本開示の実施例の技術的解決策は以下のように実現される。

【0006】

本開示の実施例の第一の態様による画像処理方法は、第一の画像におけるターゲットオブジェクトに含まれる第一の部位の第一のキーポイントの位置情報を取得することと、前記第一のキーポイントの位置情報に基づき、前記第一のキーポイントを含む第一の領域を確定することと、前記第一の領域内の予め設定された変形グリッドのグリッドポイントと前記第一の領域内の画素ポイントとの間の相対位置に応じて、前記第一の領域内のグリッドポイントの変位量を確定することと、前記第一の領域内のグリッドポイントの変位量に基づき、前記第一の領域内の画素ポイントの変形を制御し、変形された第二の画像を取得することと、を含む。

【0007】

本開示のいくつかの選択可能な実施例では、前記第一の領域内の予め設定された変形グリッドのグリッドポイントと前記第一の領域内の画素ポイントとの間の相対位置に応じて、前記第一の領域内のグリッドポイントの変位量を確定することは、前記第一の領域内の予め設定された変形グリッドのグリッドポイントと前記第一の領域内の画素ポイントとの間の相対位置に応じて、前記グリッドポイントの変位量の減衰パラメータを確定することと、変形命令に応じて、前記グリッドポイントの第一の変位量を確定することと、前記減衰パラメータに基づいて前記第一の変位量を減衰させ、前記第一の変位量よりも小さい第二の変位量を取得することと、を含む。

【0008】

本開示のいくつかの選択可能な実施例では、前記第一の領域内のグリッドポイントの変位量に基づき、前記第一の領域内の画素ポイントの変形を制御し、変形された第二の画像を取得することは、前記第二の変位量に基づき、前記第一の領域内の隣接する画素ポイント間の間隔を制御し、変形された第二の画像を取得することを含む。

【0009】

本開示のいくつかの選択可能な実施例では、前記第一の領域内の予め設定された変形グリッドのグリッドポイントと前記第一の領域内の画素ポイントとの間の相対位置に応じて、前記グリッドポイントの変位量の減衰パラメータを確定することは、複数の前記第一のキーポイントの連結線に位置する画素ポイントを確定し、第一のセットを取得することと、前記第一のセットの画素ポイントと前記変形グリッドのグリッドポイントとの間の相対位置に応じて、第二のセットを取得することであって、前記第二のセットは、それぞれ前記第一のセットの各画素ポイントに最も近い、前記変形グリッドにおけるターゲットグリッドポイントを含む、ことと、前記第二のセットの各前記ターゲットグリッドポイントと、前記第一のセットの前記ターゲットグリッドポイントによって制御された画素ポイントとの間の相対位置に応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することと、を含む。

【0010】

本開示のいくつかの選択可能な実施例では、前記第二のセットの各前記ターゲットグリッドポイントと、前記第一のセットの前記ターゲットグリッドポイントによって制御された画素ポイントとの間の相対位置に応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することは、それぞれ各前記第一のキーポイントを中心とし、前記第二のセットの各前記ターゲットグリッドポイントを所定の方向に外側へトラバースし、各前記第一のキーポイントに対する前記第二のセットの各前記ターゲットグリッドポイントの所定の方向の間隔ソートを取得することと、前記間隔ソートに応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することと、を含む。

【0011】

本開示のいくつかの選択可能な実施例では、前記間隔ソートに応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することは、前記第二のセットのいずれか１つの前記ターゲットグリッドポイントが複数の前記第一のキーポイントの所定の方向に位置する場合、複数の前記第一のキーポイントに対応する前記間隔ソートに応じて、前記減衰パラメータの候補値を確定することと、前記候補値のうちの最大値をいずれか１つの前記ターゲットグリッドポイントの前記減衰パラメータとして選択することと、を含む。

【0012】

本開示のいくつかの選択可能な実施例では、前記第一の部位は上肢であり、第一の画像におけるターゲットオブジェクトに含まれる第一の部位のキーポイントの位置情報を取得することは、前記第一の画像における上肢の骨格キーポイントの位置情報を取得することを含み、前記骨格キーポイントが肩部キーポイント、肘関節キーポイント、手首キーポイント及び手部キーポイントのうちの少なくとも１つを含む。

【0013】

本開示のいくつかの選択可能な実施例では、前記方法は、さらに前記第一の画像におけるターゲットオブジェクトに含まれる第二の部位の第二のキーポイントの位置情報に基づき、第二の部位に対応する第二の領域を確定することと、前記第二の領域内の予め設定された変形グリッドのグリッドポイントの第一の変位量に基づき、前記第一の画像内の第二の領域内の変形を制御し、変形された第二の画像を取得することと、を含む。

【0014】

本開示の実施例で開示される画像処理装置は、第一の画像におけるターゲットオブジェクトに含まれる第一の部位の第一のキーポイントの位置情報を取得するように構成される取得モジュールと、前記第一のキーポイントの位置情報に基づき、前記第一のキーポイントを含む第一の領域を確定するように構成される第一の確定モジュールと、前記第一の領域内の予め設定された変形グリッドのグリッドポイントと前記第一の領域内の画素ポイントとの間の相対位置に応じて、前記第一の領域内のグリッドポイントの変位量を確定するように構成される第二の確定モジュールと、前記第一の領域内のグリッドポイントの変位量に基づき、前記第一の領域内の画素ポイントの変形を制御し、変形された第二の画像を取得するように構成される制御モジュールと、を備える。

【0015】

本開示のいくつかの選択可能な実施例では、前記第二の確定モジュールは、前記第一の領域内の予め設定された変形グリッドのグリッドポイントと前記第一の領域内の画素ポイントとの間の相対位置に応じて、前記グリッドポイントの変位量の減衰パラメータを確定することと、変形命令に応じて、前記グリッドポイントの第一の変位量を確定することと、前記減衰パラメータに基づいて前記第一の変位量を減衰させ、前記第一の変位量よりも小さい第二の変位量を取得することと、を実行するように構成される。

【0016】

本開示のいくつかの選択可能な実施例では、前記制御モジュールは、前記第二の変位量に基づき、前記第一の領域内の隣接する画素ポイント間の間隔を制御し、変形された第二の画像を取得するように構成される。

【0017】

本開示のいくつかの選択可能な実施例では、前記第二の確定モジュールは、複数の前記第一のキーポイントの連結線に位置する画素ポイントを確定し、第一のセットを取得することと、前記第一のセットの画素ポイントと前記変形グリッドのグリッドポイントとの間の相対位置に応じて、第二のセットを取得することであって、前記第二のセットは、それぞれ前記第一のセットの各画素ポイントに最も近い、前記変形グリッドにおけるターゲットグリッドポイントを含む、ことと、前記第二のセットの各前記ターゲットグリッドポイントと、前記第一のセットの前記ターゲットグリッドポイントによって制御された画素ポイントとの間の相対位置に応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することと、を実行するように構成される。

【0018】

本開示のいくつかの選択可能な実施例では、前記第二の確定モジュールは、それぞれ各前記第一のキーポイントを中心とし、前記第二のセットの各前記ターゲットグリッドポイントを所定の方向に外側へトラバースして、各前記第一のキーポイントに対する前記第二のセットの各前記ターゲットグリッドポイントの所定の方向の間隔ソートを取得することと、前記間隔ソートに応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することと、を実行するように構成される。

【0019】

本開示のいくつかの選択可能な実施例では、前記第二の確定モジュールは、前記第二のセットのいずれか１つの前記ターゲットグリッドポイントが複数の前記第一のキーポイントの所定の方向に位置する場合に、複数の前記第一のキーポイントに対応する前記間隔ソートに応じて、前記減衰パラメータの候補値を確定することと、前記候補値のうちの最大値をいずれか１つの前記ターゲットグリッドポイントの前記減衰パラメータとして選択することと、を実行するように構成される。

【0020】

本開示のいくつかの選択可能な実施例では、前記第一の部位は上肢であり、前記取得モジュールは、前記第一の画像における上肢の骨格キーポイントの位置情報を取得するように構成され、前記骨格キーポイントが肩部キーポイント、肘関節キーポイント、手首キーポイント及び手部キーポイントのうちの少なくとも１つを含む。

【0021】

本開示のいくつかの選択可能な実施例では、前記第一の確定モジュールは、さらに前記第一の画像におけるターゲットオブジェクトに含まれる第二の部位の第二のキーポイントの位置情報に基づき、第二の部位に対応する第二の領域を確定するように構成され、
前記制御モジュールは、さらに前記第二の領域内の予め設定された変形グリッドのグリッドポイントの第一の変位量に基づき、前記第一の画像内の第二の領域内の変形を制御し、変形された第二の画像を取得するように構成される。

【0022】

本開示の実施例の第三の態様による画像処理デバイスは、メモリと、前記メモリに接続され、前記メモリに記憶されたコンピュータ実行可能命令を実行して上記のいずれか１つの技術的解決策による画像処理方法を実現するように構成されるプロセッサと、を備える。

【0023】

本開示の実施例の第四の態様によるコンピュータ記憶媒体は、コンピュータ実行可能命令を記憶しており、前記コンピュータ実行可能命令がプロセッサによって実行された後、上記のいずれか１つの技術的解決策による画像処理方法を実現できる。
例えば、本願は以下の項目を提供する。
（項目１）
画像処理方法であって、
第一の画像におけるターゲットオブジェクトに含まれる第一の部位の第一のキーポイントの位置情報を取得することと、
前記第一のキーポイントの位置情報に基づき、前記第一のキーポイントを含む第一の領域を確定することと、
前記第一の領域内の予め設定された変形グリッドのグリッドポイントと前記第一の領域内の画素ポイントとの間の相対位置に応じて、前記第一の領域内のグリッドポイントの変位量を確定することと、
前記第一の領域内のグリッドポイントの変位量に基づき、前記第一の領域内の画素ポイントの変形を制御し、変形された第二の画像を取得することと、を含む、前記画像処理方法。
（項目２）
前記第一の領域内の予め設定された変形グリッドのグリッドポイントと前記第一の領域内の画素ポイントとの間の相対位置に応じて、前記第一の領域内のグリッドポイントの変位量を確定することは、
前記第一の領域内の予め設定された変形グリッドのグリッドポイントと前記第一の領域内の画素ポイントとの間の相対位置に応じて、前記グリッドポイントの変位量の減衰パラメータを確定することと、
変形命令に応じて、前記グリッドポイントの第一の変位量を確定することと、
前記減衰パラメータに基づいて前記第一の変位量を減衰させ、前記第一の変位量よりも小さい第二の変位量を取得することと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記第一の領域内のグリッドポイントの変位量に基づき、前記第一の領域内の画素ポイントの変形を制御し、変形された第二の画像を取得することは、
前記第二の変位量に基づき、前記第一の領域内の隣接する画素ポイント間の間隔を制御し、変形された第二の画像を取得することを含むことを特徴とする
項目２に記載の方法。
（項目４）
前記第一の領域内の予め設定された変形グリッドのグリッドポイントと前記第一の領域内の画素ポイントとの間の相対位置に応じて、前記グリッドポイントの変位量の減衰パラメータを確定することは、
複数の前記第一のキーポイントの連結線に位置する画素ポイントを確定し、第一のセットを取得することと、
前記第一のセットの画素ポイントと前記変形グリッドのグリッドポイントとの間の相対位置に応じて、第二のセットを取得することであって、前記第二のセットは、それぞれ前記第一のセットの各画素ポイントに最も近い、前記変形グリッドにおけるターゲットグリッドポイントを含む、ことと、
前記第二のセットの各前記ターゲットグリッドポイントと、前記第一のセットの前記ターゲットグリッドポイントによって制御された画素ポイントとの間の相対位置に応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することと、を含むことを特徴とする
項目２に記載の方法。
（項目５）
前記第二のセットの各前記ターゲットグリッドポイントと、前記第一のセットの前記ターゲットグリッドポイントによって制御された画素ポイントとの間の相対位置に応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することは、
それぞれ各前記第一のキーポイントを中心とし、前記第二のセットの各前記ターゲットグリッドポイントを所定の方向に外側へトラバースして、各前記第一のキーポイントに対する前記第二のセットの各前記ターゲットグリッドポイントの所定の方向の間隔ソートを取得することと、
前記間隔ソートに応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することと、を含むことを特徴とする
項目４に記載の方法。
（項目６）
前記間隔ソートに応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することは、
前記第二のセットのいずれか１つの前記ターゲットグリッドポイントが複数の前記第一のキーポイントの所定の方向に位置する場合に、複数の前記第一のキーポイントに対応する前記間隔ソートに応じて、前記減衰パラメータの候補値を確定することと、
前記候補値のうちの最大値をいずれか１つの前記ターゲットグリッドポイントの前記減衰パラメータとして選択することと、を含むことを特徴とする
項目５に記載の方法。
（項目７）
前記第一の部位は上肢であり、第一の画像におけるターゲットオブジェクトに含まれる第一の部位の第一のキーポイントの位置情報を取得することは、
前記第一の画像における上肢の骨格キーポイントの位置情報を取得することを含み、前記骨格キーポイントが肩部キーポイント、肘関節キーポイント、手首キーポイント及び手部キーポイントのうちの少なくとも１つを含むことを特徴とする
項目１～６のいずれか一項に記載の方法。
（項目８）
前記方法はさらに、
前記第一の画像におけるターゲットオブジェクトに含まれる第二の部位の第二のキーポイントの位置情報に基づき、第二の部位に対応する第二の領域を確定することと、
前記第二の領域内の予め設定された変形グリッドのグリッドポイントの第一の変位量に基づき、前記第一の画像内の第二の領域の変形を制御し、変形された第二の画像を取得することと、を含むことを特徴とする
項目１～７のいずれか一項に記載の方法。
（項目９）
画像処理装置であって、
第一の画像におけるターゲットオブジェクトに含まれる第一の部位の第一のキーポイントの位置情報を取得するように構成される取得モジュールと、
前記第一のキーポイントの位置情報に基づき、前記第一のキーポイントを含む第一の領域を確定するように構成される第一の確定モジュールと、
前記第一の領域内の予め設定された変形グリッドのグリッドポイントと前記第一の領域内の画素ポイントとの間の相対位置に応じて、前記第一の領域内のグリッドポイントの変位量を確定するように構成される第二の確定モジュールと、
前記第一の領域内のグリッドポイントの変位量に基づき、前記第一の領域内の画素ポイントの変形を制御し、変形された第二の画像を取得するように構成される制御モジュールと、を備える、前記画像処理装置。
（項目１０）
前記第二の確定モジュールは、前記第一の領域内の予め設定された変形グリッドのグリッドポイントと前記第一の領域内の画素ポイントとの間の相対位置に応じて、前記グリッドポイントの変位量の減衰パラメータを確定することと、変形命令に応じて、前記グリッドポイントの第一の変位量を確定することと、前記減衰パラメータに基づいて前記第一の変位量を減衰させ、前記第一の変位量よりも小さい第二の変位量を取得することと、を実行するように構成されることを特徴とする
項目９に記載の装置。
（項目１１）
前記制御モジュールは、前記第二の変位量に基づき、前記第一の領域内の隣接する画素ポイント間の間隔を制御し、変形された第二の画像を取得するように構成されることを特徴とする
項目１０に記載の装置。
（項目１２）
前記第二の確定モジュールは、複数の前記第一のキーポイントの連結線に位置する画素ポイントを確定し、第一のセットを取得することと、前記第一のセットの画素ポイントと前記変形グリッドのグリッドポイントとの間の相対位置に応じて、第二のセットを取得することであって、前記第二のセットは、それぞれ前記第一のセットの各画素ポイントに最も近い、前記変形グリッドにおけるターゲットグリッドポイントを含む、ことと、前記第二のセットの各前記ターゲットグリッドポイントと、前記第一のセットの前記ターゲットグリッドポイントによって制御された画素ポイントとの間の相対位置に応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することと、を実行するように構成されることを特徴とする
項目１０に記載の装置。
（項目１３）
前記第二の確定モジュールは、それぞれ各前記第一のキーポイントを中心とし、前記第二のセットの各前記ターゲットグリッドポイントを所定の方向に外側へトラバースして、各前記第一のキーポイントに対する前記第二のセットの各前記ターゲットグリッドポイントの所定の方向の間隔ソートを取得することと、前記間隔ソートに応じて、前記第二のセットの各前記ターゲットグリッドポイントの前記減衰パラメータを確定することと、を実行するように構成されることを特徴とする項目１２に記載の装置。
（項目１４）
前記第二の確定モジュールは、前記第二のセットのいずれか１つの前記ターゲットグリッドポイントが複数の前記第一のキーポイントの所定の方向に位置する場合に、複数の前記第一のキーポイントに対応する前記間隔ソートに応じて、前記減衰パラメータの候補値を確定することと、前記候補値のうちの最大値をいずれか１つの前記ターゲットグリッドポイントの前記減衰パラメータとして選択することと、を実行するように構成されることを特徴とする
項目１３に記載の装置。
（項目１５）
前記第一の部位は上肢であり、
前記取得モジュールは、前記第一の画像における上肢の骨格キーポイントの位置情報を取得するように構成され、前記骨格キーポイントが肩部キーポイント、肘関節キーポイント、手首キーポイント及び手部キーポイントのうちの少なくとも１つを含むことを特徴とする
項目９～１４のいずれか一項に記載の装置。
（項目１６）
前記第一の確定モジュールは、さらに前記第一の画像におけるターゲットオブジェクトに含まれる第二の部位の第二のキーポイントの位置情報に基づき、第二の部位に対応する第二の領域を確定するように構成され、
前記制御モジュールは、さらに前記第二の領域内の予め設定された変形グリッドのグリッドポイントの第一の変位量に基づき、前記第一の画像内の第二の領域内の変形を制御し、変形された第二の画像を取得するように構成されることを特徴とする
項目９～１５のいずれか一項に記載の装置。
（項目１７）
画像処理装置であって、
メモリと、
前記メモリに接続され、前記メモリに記憶されたコンピュータ実行可能命令を実行して項目１～８のいずれか一項に記載の方法を実現するように構成されるプロセッサと、を備える、前記画像処理装置。
（項目１８）
コンピュータ実行可能命令を記憶しており、前記コンピュータ実行可能命令がプロセッサによって実行された後、項目１～８のいずれか一項に記載の方法を実現できるコンピュータ記憶媒体。

【発明の効果】

【0024】

本開示の実施例によって提供される技術的解決策では、変形グリッドを用いて第一の画像全体を変形させる前に、まず、第一の部位の第一のキーポイントを確定し、次に、第一のキーポイントに基づき、保護する必要がある第一の領域内の画素ポイントを取得することができる。変形する時に、第一の領域内のグリッドポイントの変位量は、単一の変形命令のみに応じて確定されず、当該第一の領域内のグリッドポイントと画素ポイントとの間の相対位置に基づいて確定される。このようにして、グリッドポイントと画素ポイントとの間の相対位置を導入してグリッドポイントの変位量を確定することによって、第一の領域内のグリッドポイントの変位量に対する精確な制御を実現することができ、さらに同一の画像内の異なる領域内の画素の変形を細かく制御することで、画像変形効果を効果的に高める。

【図面の簡単な説明】

【0025】

【図1】本開示の実施例による画像処理方法のフローチャートである。

【図2A】本開示の実施例による第一の画像に配置された標準変形グリッドの使用図である。

【図2B】本開示の実施例による第一の領域と第二の領域の概略図である。

【図3】本開示の実施例による減衰パラメータを確定するプロセスの概略図である。

【図4】本開示の実施例によるキーポイントの連結線及び第二のセットのグリッドポイントの概略図である。

【図5】本開示の実施例による画像処理装置の構造概略図である。

【図6】本開示の実施例による画像処理デバイスの構造概略図である。

【発明を実施するための形態】

【0026】

以下に明細書の図面及び具体的な実施例を組み合わせながら本開示の実施例の技術的解決策をさらに詳しく説明する。

【0027】

本開示の実施例の用語は特定の実施例を説明するためのものだけであり、本開示の実施例を制限することを意図するものではない。本開示の実施例と添付の特許請求の範囲で使用される単数形態の「一種類」、「前記」及び「当該」は、文脈が他の意味を明確に示していない限り、複数形態を含むことを意図する。本開示の実施例における用語「及び／又は」は１つ又は複数の関連している、示された項目の任意又は全ての可能な組み合わせを指し且つ含むことが理解されるべきである。

【0028】

本開示の実施例では第一、第二、第三などの用語を使用して様々な情報を説明する可能性があるが、これらの情報はこれらの用語に限定されるべきではないことが理解されるべきである。これらの用語は同一のタイプの情報を互いに区別するためにのみ使用される。例えば、本開示の実施例の範囲から逸脱することなく、第一の情報も第二の情報と呼ばれてもよく、同様に、第二の情報も第一の情報と呼ばれてもよい。文脈に応じて、本明細書で使用される「もし」という単語は、「…時に」又は「…場合」又は「確定に応じて」と解釈されてもよい。

【0029】

図１に示すように、本開示の実施例による画像処理方法は、
第一の画像におけるターゲットオブジェクトに含まれる第一の部位の第一のキーポイントの位置情報を取得するステップＳ１１０と、
第一のキーポイントの位置情報に基づき、第一のキーポイントを含む第一の領域を確定するステップＳ１２０と、
第一の領域内の予め設定された変形グリッドのグリッドポイントと第一の領域内の画素ポイントとの間の相対位置に応じて、第一の領域内のグリッドポイントの変位量を確定するステップＳ１３０と、
第一の領域内のグリッドポイントの変位量に基づき、第一の領域内の画素ポイントの変形を制御し、変形された第二の画像を取得するステップＳ１４０と、を含む。

【0030】

本実施例によって提供される画像処理方法は、画像処理機能を備えた電子デバイスに応用されてもよい。例示的に、当該画像装置は、携帯電話又はウェアラブルデバイスなどを含む様々な端末装置を備えることができる。当該端末装置はさらに車載端末装置、又は画像収集専用且つある位置に固定された固定端末装置を含むことができる。別のいくつかの実施例では、画像装置はさらにサーバー、例えば、ローカルサーバー、又はクラウドプラットフォームに位置して画像処理サービスを提供するためのクラウドサーバーなどを含むことができる。

【0031】

いくつかの実施例では、ターゲットオブジェクトは、例えば人体、動物、又は仮想三次元モデルでレンダリングされた仮想オブジェクトなどであり、本開示では、ターゲットオブジェクトの具体的な形態が限定されない。ターゲットオブジェクトの第一の部位は肢体部位であってもよく、例えば、ターゲットオブジェクトが人体である場合、ターゲットオブジェクトの第一の部位は、腕、脚部又は腹部などであってもよく、本開示の実施例ではこれらに限定されない。

【0032】

本実施例では、画像の変形処理を行う前に、第一の画像は複数の領域に分けられてもよく、第一の領域は、複数の領域のうちの１つ又は複数の領域を含むことができる。

【0033】

いくつかの実施例では、第一の領域は変形を抑制する必要がある第一の部位を含む領域であってもよく、又は、第一の領域は変形を強化する必要がある第一の部位を含む領域であってもよい。例示的に、変形を強化する必要がある第一の部位の領域は大きく変形する必要がある領域であってもよく、変形を抑制する必要がある第一の部位の領域は小さく変形する必要がある領域であってもよい。

【0034】

本実施例では、第一の画像を取得した後、第一の画像に対して変形処理を行う前に、変形グリッドを確定することができる。例えば、第一の画像に変形グリッドを配置する。例示的に、変形グリッドは横線と縦線が交差して形成されたグリッドポイントを含むことができる。変形グリッドに含まれる横線は緯線と呼ばれてもよく、縦線は経線と呼ばれてもよく、変形グリッド内の線は経線及び緯線とまとめて呼ばれてもよい。第一の画像に対して変形処理を行う前に、経線及び緯線は標準の横方向と縦方向にそれぞれ配置された直線であってもよい。

【0035】

経線と緯線で構成された変形グリッドを統一して変形させると、画像における各領域の変形幅が同じであり、これにより、変形する必要がない領域、小さく変形する必要がある領域、又は大きく変形する必要がある領域も統一した変形幅に従って無差別に変形される可能性があり、且つこの統一した変形幅に従う変形方式により、生成された第二の画像に不整合などの現像が発生する可能性があり、第一の画像の変形効果が低い。

【0036】

図２Ａは予め設定された変形グリッドが配置された１枚の画像の概略図である。図２Ｂは図２Ａにおける人物画像を例とし、右側の上肢領域を第一の領域として確定することを示す図である。

【0037】

本実施例では、まず、第一の画像におけるターゲットオブジェクトに含まれる第一の部位の第一のキーポイントを確定する。例示的に、当該第一のキーポイントは第一の部位の骨格キーポイント又は輪郭キーポイントであってもよく、骨格キーポイントが人体骨格又は動物骨格の位置のキーポイントである。輪郭キーポイントは人体又は動物の体表に示される輪郭のキーポイントであってもよい。第一のキーポイントは、第一の部位に位置するポイントであってもよく、且つ第一の部位の位置決めに利用可能なポイントであってもよく、骨格キーポイントの分布位置により、第一の画像における第一の部位の位置が決定されることが理解できる。したがって、本実施例では、１つ又は複数の骨格キーポイントの位置に基づき、第一の領域を確定することができる。

【0038】

本実施例では、ステップＳ１２０で、第一のキーポイントの位置情報に基づき、第一の領域の境界を少なくとも確定することができ、第一の領域の境界に基づいて第一の領域を確定することができる。ステップＳ１３０で、第一の領域が確定された後、第一の領域内の画素ポイントを取得することができる。

【0039】

本実施例では、予め設定された変形グリッドを用いて画像変形を行うという変形方法はグリッド変形と呼ばれてもよい。いくつかの実施例では、予め設定された変形グリッドを用いて画像変形を行う時に、第一の領域内の画素ポイントは位置が移動しょうとする可能性がある画素ポイントであり、画素ポイントの位置が移動した後、画素ポイント間の間隔の大きさが変化する。

【0040】

いくつかの実施例では、Ｓ１４０は、第一の領域内のグリッドポイントの変位量に基づき、第一の領域内の画素ポイント間の疎密度を調整し、それによって第一の領域内の画素ポイントの変形を制御し、変形された第二の画像を取得することを含むことができる。

【0041】

このようにして第一の画像における第一の部位のキーポイントを確定し、第一のキーポイントに基づいて第一の領域内の画素ポイントを取得し、画像変形を行う時に、第一の領域内のグリッドポイントの変位量は、単一の変形命令のみに応じて確定されず、当該領域内のグリッドポイントと画素ポイントとの間の相対位置に基づいて確定される。このようにして第一の領域内のグリッドポイントの変位量に対する精確な制御により、画像の異なる領域内の画素変形（即ち画素ポイント間の間隔の大きさ）を細かく制御することができ、それによって画像変形効果を高める。

【0042】

本開示のいくつかの選択可能な実施例では、Ｓ１３０は、第一の領域内の予め設定された変形グリッドのグリッドポイントと第一の領域内の画素ポイントとの間の相対位置に応じて、グリッドポイントの変位量の減衰パラメータを確定することと、変形命令に応じて、グリッドポイントの第一の変位量を確定することと、減衰パラメータに基づいて第一の変位量を減衰させ、第一の変位量よりも小さい第二の変位量を取得することと、を含むことができる。

【0043】

本実施例では、グリッドポイントと第一の領域内の画素ポイントとの間の相対位置に基づいて第一の領域内の特定の画素と各グリッドポイントとの距離を取得し、さらに当該距離に基づいてグリッドポイントの変位量の減衰パラメータの大きさを確定することができる。例えば、当該特定の画素ポイントは第一のキーポイントの位置の画素ポイントであってもよく、又は、当該特定の画素ポイントは第一のキーポイントの位置の付近の画素ポイントであってもよい。これは、上記相対位置に基づき、第一の領域内のグリッドポイントの変位量の減衰パラメータを確定する一例に過ぎず、具体的にはこれに限定されない。

【0044】

本実施例では、変形命令は、マンマシンインタラクションインタフェースによって受信されたユーザー入力に従って生成される命令、又はワンキービューティー又はボディビューティーなどの画像前処理機能に基づいて生成された変形命令であってもよい。例えば、画像内の人物画像に対する自動腰痩せ機能を有しているため、画像処理デバイスは、自動腰痩せ機能に応じて対応する変形命令を生成する。当該変形命令には変形パラメータが含まれてもよく、例示的に、当該変形パラメータは上記第一の変位量を含むことができる。

【0045】

第一の変位量が確定された後、減衰パラメータ及び第一の変位量を既知の量として用い、各第一の変位量に対する減衰処理を行い、それによって第一の変位量よりも小さい第二の変位量を取得する。

【0046】

本開示のいくつかの選択可能な実施例では、減衰パラメータは第一の領域内のグリッドポイントの変位量を低減するためのパラメータである。第一の領域内の画素ポイントの変形幅と第一の領域内のグリッドポイントの変位量が正相関であり、即ち、グリッドポイントの変位量が大きいほど、第一の領域内の画素ポイントの変形幅が大きくなり、それに応じて、グリッドポイントの変位量が小さいほど、第一の領域内の画素ポイントの変形幅が小さくなる。

【0047】

いくつかの選択可能な実施例では、減衰パラメータは、減衰係数、減衰値のうちの少なくとも１つを含むがこれらに限定されない。

【0048】

減衰係数は、減衰比とも呼ばれてもよく、例えば、変形命令に応じて第一の領域内の各グリッドポイントの元の第一の変位量を計算し、当該第一の変位量と当該減衰係数を乗算し、第一の領域内の各グリッドポイントの最終的な第二の変位量を取得する。

【0049】

減衰値が正である場合、元の第一の変位量から当該減衰値を差し引き、元の第一の変位量よりも小さい第二の変位量を取得することができる。

【0050】

本開示のいくつかの選択可能な実施例では、ステップＳ１４０は、第二の変位量に基づき、第一の領域内の隣接する画素ポイント間の間隔を制御し、変形された第二の画像を取得することを含むことができる。

【0051】

例示的に、第二の変位量に基づいて第一の領域内のいくつかの隣接する画素間の間隔を増大させ、及び／又は第二の変位量に基づいて第一の領域内のいくつかの隣接する画素間の間隔を縮小させることにより、変形された第一の領域は、隣接する画素間の等間隔の特徴から隣接する画素間の不等間隔の特徴に変換される。例えば、グリッドポイントＡの第二の変位量がグリッドポイントＢの第二の変位量よりも大きい場合、グリッドポイントＡによって制御される画素ポイント間の間隔の変化量がグリッドポイントＢによって制御される画素ポイント間の間隔の変化量よりも大きい。

【0052】

例えば、腰部がある領域に含まれる隣画素ポイント間の距離が縮小される場合、腰部に対応する画素ポイントの総数を変更せずに腰痩せ効果を達成する。例えば、胸部がある領域に含まれる隣画素ポイント間の間隔が増大される場合、胸部に対応する画素ポイントの総数を変更せずに豊胸効果を達成する。

【0053】

このようにして第一の領域内の隣接する画素ポイント間の間隔の変化が大きいほど、対応する部位又は領域の変形幅が大きくなる。逆に、第一の領域内の隣接する画素ポイント間の間隔の変化が小さいほど、対応する部位又は領域の変形幅が小さくなる。

【0054】

本実施例では、第一の領域内のグリッドポイントの変位量を減衰させ、変形命令に基づいて得られた第一の変位量を第二の変位量に縮小させることにより、第一の領域の変形幅を抑制する（弱める）ことができ、それによって第一の領域と他の領域の変形幅が異なり、異なる領域の異なる変形幅の変形ニーズを満たすため、第二の画像に変形される第一の画像の変形効果が高くなる。

【0055】

本開示のいくつかの実施例では、図３に示すように、第一の領域内の予め設定された変形グリッドのグリッドポイントと第一の領域内の画素ポイントとの間の相対位置に応じて、グリッドポイントの変位量の減衰パラメータを確定することは、ステップ３０１、ステップ３０２とステップ３０３を含むことができる。

【0056】

ステップ３０１において、複数の第一のキーポイントの連結線に位置する画素ポイントを確定し、第一のセットを取得する。

【0057】

ステップ３０２において、第一のセットの画素ポイントと変形グリッドのグリッドポイントとの間の相対位置に応じて、第二のセットを取得する。ここで、第二のセットは、それぞれ前記第一のセットの各画素ポイントに最も近い、前記変形グリッドにおけるターゲットグリッドポイントを含む。

【0058】

ステップ３０３において、第二のセットの各ターゲットグリッドポイントと、第一のセットのターゲットグリッドポイントによって制御された画素ポイントとの間の相対位置に応じて、第二のセットの各ターゲットグリッドポイントの減衰パラメータを確定する。

【0059】

本実施例では、第一のキーポイントが確定された後、隣接する第一のキーポイントを直接連結して１本又は複数本の連結線を取得し、これらの連結線に位置する画素ポイントは第一のセットを構成する。図４に示すように、第一のキーポイントの連結線上の画素ポイントは、第一のセットを構成する。第一のセットが取得された後、変形グリッドの各グリッドポイントと第一のセットの画素ポイントとの間の相対位置に応じて、第一のセットの各画素ポイントにそれぞれ最も近いグリッドポイントをターゲットグリッドポイントとして見つけ、第二のセットを構成する。

【0060】

ここで、第一のセットは第一のキーポイントの連結線上の画素ポイントで形成され、第二のセットは上記連結線と隣接するターゲットグリッドポイントを含む。したがって、第一のセットは画素ポイントのセットであり、第二のセットはグリッドポイントのセットであり、具体的にはターゲットグリッドポイントのセットである。

【0061】

変形プロセスでは、第一の画像の変形は、変形グリッドのグリッドポイントに基づいて行われる。第二のセットのターゲットグリッドポイントで囲まれた領域は、前記第一の領域である。

【0062】

本実施例では、第一のセットのターゲットグリッドポイントによって制御された画素ポイントは、ターゲットグリッドポイントに最も近い画素ポイントであってもよい。第二のセットの各ターゲットグリッドポイントの減衰パラメータは、各ターゲットグリッドポイントと第一のキーポイントで形成される連結線上の画素ポイントとの間の相対位置に応じて確定されてもよいことが理解できる。

【0063】

例示的に、一方では、第二のセットのターゲットグリッドポイントには、第一のキーポイントに近いターゲットグリッドポイント、第一のキーポイントに遠いターゲットグリッドポイントがある。第二のセットの第一のキーポイントに近いターゲットグリッドポイントは、第一のキーポイントに遠いターゲットグリッドポイントに対して、より大きな減衰パラメータを有する。一方、第一のセットの画素ポイントは、第一の領域内の一部の画素ポイントであってもよい。第一の領域の第一のセット以外の残りの画素ポイントには、第一のセットの画素ポイントに近い画素ポイント、第一のセットの画素ポイントに遠い画素ポイントがある。第一のセットの画素ポイントに遠い画素ポイントは、一般的に第一のキーポイントに遠いターゲットグリッドポイントによって制御され、そのため、第一のキーポイントに遠い画素ポイントの減衰の変形幅は、第一のキーポイントに近い画素ポイントの減衰の変形幅よりも小さい。

【0064】

本開示のいくつかの選択可能な実施例では、ステップ３０３は、それぞれ各第一のキーポイントを中心とし、第二のセットの各ターゲットグリッドポイントを所定の方向に外側へトラバースし、各第一のキーポイントに対する第二のセットの各ターゲットグリッドポイントの所定の方向の間隔ソートを取得することと、間隔ソートに応じて、第二のセットの各ターゲットグリッドポイントの減衰パラメータを確定することと、を含むことができる。

【0065】

いくつかの実施例では、第二のセットの各ターゲットグリッドポイントと第一のセットの各画素との最小距離に基づき、第二のセットの各ターゲットグリッドポイントの減衰パラメータを確定することができる。上記最小距離は、上記間隔ソートに使用される間隔の１つの選択可能な例である。例えば、第一のセットにＭ個の画素ポイントがあり、第二のセットにＮ個のターゲットグリッドポイントがあると仮定する。Ｍ、Ｎはいずれも正整数である。このＮ個のターゲットグリッドポイントとＭ個の画素ポイントはＭ個の距離を有し、Ｎ個のターゲットグリッドポイントのそれぞれに対応するＭ個の距離のうちの最小距離が確定される。Ｎ個のターゲットグリッドポイントに対応する最小距離をソートし、上記間隔ソートを取得する。上記最小距離が小さいほど、対応する間隔ソートが高くなり、対応するターゲットグリッドポイントの減衰パラメータが大きくなる。それに応じて、上記最小距離が大きいほど、対応する間隔ソートが低くなり、対応するターゲットグリッドポイントの減衰パラメータが小さくなる。このようにしてグリッドポイントと第一のキーポイントとの間の相対位置は、上記間隔又は間隔ソートで特徴付けられてもよい。

【0066】

しかし、この方式は、第一の部位の姿勢が特殊な場合、第一の部位の中心位置に最も近いグリッドポイントの減衰パラメータが小さくなる可能性があるため、画像効果が期待通りにならない現象が発生する。

【0067】

本実施例では、各第一のキーポイントをトラバースの開始位置とし、第二のセットの各ターゲットグリッドポイントをトラバースして、当該第一のキーポイントに対する第二のセットの各ターゲットグリッドポイントの所定の方向の間隔ソートを取得することができる。例示的に、当該所定の方向は、第一の部位の変形を抑制する必要がある方向、又は変形が禁止される方向であってもよい。いくつかの実施例では、当該所定の方向は、変形グリッドの横線方向と縦線方向のうち、第一のキーポイントに対応する連結線との角度が大きい方向であってもよい。別のいくつかの実施例では、当該所定の方向は、変形グリッドの横線方向と縦線方向のうち、第一のキーポイントで形成された連結線の全体的な延長方向との角度が大きい方向であってもよい。別のいくつかの実施例では、当該所定の方向は、変形グリッドの横線方向と縦線方向のうち、第一の部位の延在方向との角度が大きい方向であってもよい。一般的には、第二のセットの１つのグリッドポイントは、１つの画素ポイントの所定の方向のみに位置する可能性がある。

【0068】

本実施例では、上記間隔ソートは対応する減衰パラメータと一定の相関性を有することができる。例えば、減衰パラメータがターゲットグリッドポイントの第一の変位量の減衰に直接使用される場合、間隔ソートが高いほど、減衰パラメータの値は小さくなる。

【0069】

いくつの選択可能な実施例では、間隔ソートに応じて、第二のセットのターゲットグリッドポイントの減衰パラメータを確定することは、第二のセットのいずれか１つのターゲットグリッドポイントが複数の第一のキーポイントの所定の方向に位置する場合、各第一のキーポイントに対応する間隔ソートに応じて、減衰パラメータの候補値を確定することと、候補値のうちの最大値をいずれか１つのターゲットグリッドポイントの減衰パラメータとして選択することと、を含む。

【0070】

本実施形態では、第二のセットの１つのターゲットグリッドポイントが複数の第一のキーポイントの所定の方向に位置する場合、複数の間隔ソートが確定される。この時、１つの間隔ソートが１つの減衰パラメータに対応する。このようにして１つのターゲットグリッドポイントが異なる第一のキーポイントに対応する間隔ソートを取得することができ、さらに複数の減衰パラメータの複数の候補パラメータ値を取得することができる。最終的に複数の減衰パラメータの候補値のうちの最大値が当該ターゲットグリッドポイントの減衰パラメータとして選択されるため、第一のキーポイントで形成された連結線に近いほど、ターゲットグリッドポイントの減衰パラメータが大きくなることが確保される。

【0071】

本開示のいくつかの選択可能な実施例では、第一の部位は上肢である。当該上肢は、上腕、前腕及び／又は手部の少なくとも１つを含むことができる。

【0072】

本開示のいくつかの選択可能な実施例では、Ｓ１１０は、第一の画像における上肢の骨格キーポイントの位置情報を取得することを含むことができ、骨格キーポイントが肩部キーポイント、肘関節キーポイント、手首キーポイント及び手部キーポイントのうちの少なくとも１つを含む。上記第一のキーポイントの連結線は、肩部キーポイント、肘関節キーポイント、手首キーポイントから手部キーポイントまでの少なくとも１つのキーポイントの順次連結された線であってもよい。前記第一のセットに含まれる画素ポイントは、肩部キーポイントから肘関節キーポイントまでの連結線上の画素ポイント、肘関節キーポイントから手首キーポイントまでの連結線上の画素ポイント、手首キーポイントから手部キーポイントまでの連結線上の画素ポイントのうちの少なくとも１つを含むことができる。

【0073】

本開示のいくつかの選択可能な実施例では、方法は、さらに第一の画像におけるターゲットオブジェクトに含まれる第二の部位の第二のキーポイントの位置情報に基づき、第二の部位に対応する第二の領域を確定することと、第二の領域内の予め設定された変形グリッドのグリッドポイントの第一の変位量に基づき、第一の画像内の第二の領域内の変形を制御し、変形された第二の画像を取得することと、を含む。ここで、第二の部位は第一の部位と異なる。図２Ｂに示すように、右側の上肢以外の腰部領域も第二の領域として確定されてもよい。

【0074】

本開示の実施例では、第一の領域と第二の領域のグリッドポイントの第一の変位量はいずれも変形命令に応じて確定された初期変位量であってもよい。

【0075】

変形幅は、グリッドポイントの変位量によって制御されてもよい。したがって、本実施例では、第一の領域は変形を抑制する必要がある領域であってもよく、第二の領域は変形を行う必要がある領域であってもよい。予め設定された変形グリッドを用いて変形するプロセスでは、減衰パラメータに基づき、同じ変形命令に応じて、第一の領域の変形幅が第二の領域の変形幅よりも小さくなることができる。ここで、変形幅に対応する変形方向は、対応する領域の変形部位の増大、縮小、回転、鏡像、線形状の変化などのうちの少なくとも１つを含むが、これらに限定されない。

【0076】

例えば、画像内の人体に変形処理を行う時に、変形処理が行われる第一の部位が腰部である場合、予め設定された変形グリッドを用いた腰部変形処理プロセスに、人物画像の中央に腰部を圧縮すると、腰部の近くに位置する腕が伸ばされて変形する可能性がある。

【0077】

腰部変形による腕への悪影響を低減するために、本実施例では、腕がある画像領域を第一の領域として設定し、腰部がある画像領域を第二の領域として設定することができる。このようにして本実施例で減衰パラメータにより同じ変形グリッドを用いて第一の領域と第二の領域を変形させると、第一の領域の変形幅は小さく、第二の領域の変形幅は大きい。このようにして第二の領域の大きな変形により腰痩せ効果を達成し、一方、第一の領域の減衰パラメータにより腕の形状を維持し、これにより、画像全体の変形効果を高める。

【0078】

いくつかの実施例では、第一の領域と第二の領域は隣接する２つの領域であってもよい。

【0079】

別のいくつかの実施例では、第一の領域と第二の領域は分離している２つの領域であってもよい。例えば、第一の領域と第二の領域の間に第三の領域が設けられ、第二の領域は、変形する必要がある第二の部位を含む領域であり、第一の領域は変形を抑制する必要がある第一の部位を含む領域であり、第三の領域は第一の部位と第二の部位を含めない領域である。

【0080】

いくつかの実施例では、第一の領域の外（例えば、第二の領域）のグリッドポイントが変形される時の位置マッピング式は次の通りである。

【0081】

ｓｒｃ＋（ｄｓｔ－ｓｒｃ） （１）
ここで、ｓｒｃが変形される前のグリッドポイントの位置であり、ｄｓｔが変形された後のグリッドポイントの位置であり、ｄｓｔ－ｓｒｃが第一の変位量である。

【0082】

第一の領域内のグリッドポイントが変形される時に用いられる第二の変位量の計算式（２）又は式（３）は次の通りである。

【0083】

ｓｒｃ＋（ｄｓｔ－ｓｒｃ）＊（１－ｓ） （２）
ここで、ｓｒｃが変形される前のグリッドポイントの位置であり、ｄｓｔが変形された後のグリッドポイントの位置であり、ｄｓｔ－ｓｒｃが第一の変位量であり、ｓが減衰パラメータの減衰係数である。例示的に、ｓの値の範囲は０－１の任意の値であってもよい。（ｄｓｔ－ｓｒｃ）＊（１－ｓ）が第一の変位量よりも小さい第二の変位量を表す。

【0084】

ｓｒｃ＋（ｄｓｔ－ｓｒｃ）－Ｓ （３）
ここで、ｓｒｃが変形される前のグリッドポイントの位置であり、ｄｓｔが変形された後のグリッドポイントの位置であり、ｄｓｔ－ｓｒｃが第一の変位量であり、Ｓが減衰パラメータの減衰値である。例示的に、Ｓの値の範囲が任意の正整数であってもよい。ｓｒｃ＋（ｄｓｔ－ｓｒｃ）－Ｓが第一の変位量よりも小さい第二の変位量を表す。

【0085】

図５に示すように、本開示の実施例による画像処理装置は、
第一の画像におけるターゲットオブジェクトに含まれる第一の部位の第一のキーポイントの位置情報を取得するように構成される取得モジュール５１０と、
第一のキーポイントの位置情報に基づき、第一のキーポイントを含む第一の領域を確定するように構成される第一の確定モジュール５２０と、
第一の領域内の予め設定された変形グリッドのグリッドポイントと第一の領域内の画素ポイントとの間の相対位置に応じて、第一の領域内のグリッドポイントの変位量を確定するように構成される第二の確定モジュール５３０と、
第一の領域内のグリッドポイントの変位量に基づき、第一の領域内の画素ポイントの変形を制御し、変形された第二の画像を取得するように構成される制御モジュール５４０と、を備える。

【0086】

本実施例で提供される画像処理装置は、画像変形に利用可能な様々な電子デバイス、例えば端末装置又はサーバーに応用される。

【0087】

いくつかの実施例では、上記取得モジュール５１０、第一の確定モジュール５２０、第二の確定モジュール５３０及び制御モジュール５４０はいずれもプログラムモジュールであり、前記プログラムモジュールがプロセッサによって実行された後、上記のいずれか１つのモジュールの機能が実現されてもよい。

【0088】

別のいくつかの実施例では、上記取得モジュール５１０、第一の確定モジュール５２０、第二の確定モジュール５３０及び制御モジュール５４０はいずれもソフトウェアとハードウェアを組み合わせたモジュールであり、ソフトウェアとハードウェアを組み合わせたモジュールは、プログラマブルアレイを含むがこれに限定されなく、プログラマブルアレイがフィールドプログラマブルアレイと複雑なプログラマブルアレイを含むがこれらに限定されない。

【0089】

また、いくつかの実施例では、上記取得モジュール５１０、第一の確定モジュール５２０、第二の確定モジュール５３０及び制御モジュール５４０はいずれも純粋なハードウェアモジュールであり、純粋なハードウェアモジュールは、専用集積回路を含むがこれに限定されない。

【0090】

いくつかの実施例では、上記第二の確定モジュール５３０は、第一の領域内の予め設定された変形グリッドのグリッドポイントと第一の領域内の画素ポイントとの間の相対位置に応じて、グリッドポイントの変位量の減衰パラメータを確定し、変形命令に応じて、グリッドポイントの第一の変位量を確定し、減衰パラメータに基づいて第一の変位量を減衰させ、第一の変位量よりも小さい第二の変位量を取得するように構成される。

【0091】

いくつかの実施例では、上記制御モジュール５４０は、第二の変位量に基づき、第一の領域内の隣接する画素ポイント間の間隔を制御し、変形された第二の画像を取得するように構成される。

【0092】

いくつかの実施例では、上記第二の確定モジュール５３０は、さらに複数の第一のキーポイントの連結線に位置する画素ポイントを確定し、第一のセットを取得し、第一のセットの画素ポイントと変形グリッドのグリッドポイントとの間の相対位置に応じて、第二のセットを取得し、第二のセットが変形グリッドにおける、第一のセットの各画素ポイントに最も近いターゲットグリッドポイントを含み、第二のセットの各ターゲットグリッドポイントと第一のセットのターゲットグリッドポイントによって制御された画素ポイントとの間の相対位置に応じて、第二のセットの各ターゲットグリッドポイントの減衰パラメータを確定するように構成される。

【0093】

いくつかの実施例では、上記第二の確定モジュール５３０は、それぞれ各第一のキーポイントを中心とし、第二のセットの各ターゲットグリッドポイントを所定の方向に外側へトラバースして、各第一のキーポイントに対する第二のセットの各ターゲットグリッドポイントの所定の方向の間隔ソートを取得し、間隔ソートに応じて、第二のセットの各ターゲットグリッドポイントの減衰パラメータを確定するように構成される。

【0094】

いくつかの実施例では、上記第二の確定モジュール５３０は、第二のセットのいずれか１つのターゲットグリッドポイントが複数の第一のキーポイントの所定の方向に位置する場合、複数の第一のキーポイントに対応する間隔ソートに応じて、減衰パラメータの候補値を確定し、候補値のうちの最大値をいずれか１つのターゲットグリッドポイントの減衰パラメータとして選択するように構成される。

【0095】

いくつかの実施例では、上記第一の部位は上肢であり、上記取得モジュール５１０は、第一の画像における上肢の骨格キーポイントの位置情報を取得するように構成され、骨格キーポイントが肩部キーポイント、肘関節キーポイント、手首キーポイント及び手部キーポイントのうちの少なくとも１つを含む。

【0096】

いくつかの実施例では、上記第一の確定モジュール５２０は、第一の画像におけるターゲットオブジェクトに含まれる第二の部位の第二のキーポイントの位置情報に基づき、第二の部位に対応する第二の領域を確定するように構成され、
上記制御モジュール５４０は、さらに第二の領域内の予め設定された変形グリッドのグリッドポイントの第一の変位量に基づき、第一の画像内の第二の領域内の変形を制御し、変形された第二の画像を取得するように構成される。

【0097】

以下に上記の実施例を具体的な例で説明する。

【0098】

グリッド変形は、画像の変形に使用される変形ツールであり、変形前の変形グリッドは規則的なグリッドであり、一般的に真っ直ぐな経糸と緯線を含んで矩形のグリッドを構成する。

【0099】

第一の領域と第二の領域は変形待ち画像で確定される。第一の領域は、変形幅を抑制する必要がある第一の部位がある領域であり、第二の領域は、第一の領域に対して、変形幅を抑制する必要がない第二の部位がある領域である。例えば、変形グリッドを用いて人体の腰部を変形させる場合、腕が腰部の傍にある可能性があり、腰部の変形による腕への影響を低減するために、本開示の実施形態の技術的解決策が採用され、腕は前記第一の部位であってもよく、腰部は前記第二の部位であってもよい。

【0100】

本例では、第一の領域にあるグリッドポイントの第一の変位量（例えば、当該第一の変位量が変形命令に基づいて直接得られた元の変位量であってもよい）に基づいて減衰処理を行い、第一の変位量よりも小さい第二の変位量を取得する。

【0101】

このようにして第一の領域内のグリッドポイントの変位量を減少することで、第一の領域内の画素ポイントの変形幅を低減することができる。

【0102】

腕が前記第一の部位であること、腕を含む画像領域が第一の領域であることが例として説明される場合、本例で提供される画像処理方法は、次のステップを含むことができる。

【0103】

ステップ１で、第一のキーポイントを確定する。例えば、第一のキーポイントを確定することは、腕の４つのキーポイントを第一のキーポイントとして確定することを含むことができる。この４つの第一のキーポイントがＡＢＣＤの４つのキーポイントと略称されると仮定する。例えば、上肢に対して、ＡＢＣＤの４つのキーポイントは、肩部キーポイント、肘関節キーポイント、手首キーポイントと手部キーポイントであってもよい。

【0104】

ステップ２で、ＡＢＣＤの４つのキーポイントを接続し、第一のキーポイントで形成された連結線を取得する。

【0105】

ステップ３で、第一のセットと第二のセットを確定し、第一のセットに含まれる画素ポイントが上記連結線に位置する。第二のセットに含まれるグリッドポイントは、変形グリッドにおける、第一のセットの画素ポイントからの距離が最も小さいグリッドポイントである。

【0106】

ステップ４で、第二のセットの各グリッドポイントと第一のセットの対応するグリッドポイントによって制御された画素ポイントとの間の相対位置に応じて、第二のセットの各グリッドポイントの減衰パラメータを確定する。

【0107】

ステップ５で、第一の領域に対して、各グリッドポイントの減衰パラメータに基づいて第一の変位量を減衰させ、第一の変位量よりも小さい第二の変位量を取得し、第二の変位量に基づいて変形処理を行うことができ、第二の領域に対して、第一の変位量に基づいて変形処理を行うことができる。

【0108】

したがって、第一の領域のグリッドポイントの変位量を正確に制御することにより、第一の領域の変形幅が第二の領域の変形幅よりも小さくなり、同一の画像内の異なる領域の画素の変形を細かく制御し、それによって画像の変形効果を高めることができる。

【0109】

図６に示すように、本開示の実施例による画像処理デバイスは、
情報を記憶するように構成されるメモリと、
ディスプレイ及びメモリに接続され、メモリに記憶されたコンピュータ実行可能命令を実行することにより、上記の１つ又は複数の技術的解決策による画像処理方法、例えば図１及び／又は図３に示す画像処理方法を実現することができるように構成されるプロセッサと、を備える。

【0110】

当該メモリは様々なタイプのメモリであってもよく、ランダムメモリ、読み取り専用メモリ、フラッシュメモリなどであってもよい。前記メモリは、情報の記憶、例えばコンピュータ実行可能命令などの記憶に用いられてもよい。コンピュータ実行可能命令は様々なプログラム命令、例えば、ターゲットプログラム命令及び／又はソースプログラム命令などであってもよい。

【0111】

プロセッサは様々なプロセッサ、例えば、中央処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、プログラマブルアレイ、デジタル信号プロセッサ、専用集積回路又は画像プロセッサなどであってもよい。

【0112】

プロセッサはバスを介してメモリに接続されてもよい。バスは集積回路バスなどであってもよい。

【0113】

いくつかの実施例では、端末装置はさらに通信インタフェースを備えることができ、当該通信インタフェースがネットワークインタフェースを含むことができ、ネットワークインタフェースが例えばＬＡＮインタフェース、送受信アンテナなどを含む。通信インタフェースは同様にプロセッサに接続され、情報の送受信に用いられてもよい。

【0114】

いくつかの実施例では、端末装置はさらにマンマシンインタラクションインタフェースを備え、例えば、マンマシンインタラクションインタフェースがキーボード、タッチスクリーンなどの様々な輸出入装置を含むことができる。

【0115】

いくつかの実施例では、画像処理装置はさらに、様々なプロンプト、収集された顔画像及び／又は様々なインタフェースを表示できるディスプレイを備える。

【0116】

本開示の実施例によるコンピュータ記憶媒体は、コンピュータ実行可能コードを記憶しており、コンピュータ実行可能コードが実行された後、上記の１つ又は複数の技術的解決策による画像処理方法、例えば図１及び／又は図３に示す画像処理方法を実現することができる。

【0117】

本開示で提供されるいくつかの実施例では、開示されたデバイス及び方法は他の方式によって実現されてもよいことが理解されるべきである。上述したデバイスの実施例は例示的なものだけであり、例えば、前記ユニットの区分は、論理的な機能区分だけであり、実際に実現する時に他の区分方式があってもよく、例えば、複数のユニット又は構成要素が組み合わせられてもよく、又は別のシステムに統合されてもよく、又はいくつかの特徴が無視又は実行されなくてもよい。また、表示又は討論される各構成部分の間の相互結合、又は直接結合、又は通信接続は、いくつかのインタフェース、デバイス又はユニットを介した間接結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。

【0118】

分離部材として説明される前記ユニットは、物理的に分離されてもよく、又は物理的に分離されなくてもよく、ユニットとして表示される部材は、物理ユニットであってもよく、又は物理ユニットでなくてもよく、即ち１つの位置に配置されてもよいし、複数のネットワークユニットに分布してもよく、実際のニーズに応じてその中の一部又は全てのユニットを選択して本実施例の解決策の目的を達成することができる。

【0119】

また、本開示の各実施例における各機能ユニットは全て１つの処理モジュールに統合されてもよいし、各ユニットはそれぞれ個別に１つのユニットとして用いられてもよいし、２つ以上のユニットは１つのユニットに統合されてもよく、上記の統合されたユニットは、ハードウェアの形で実現されてもよいし、ハードウェアとソフトウェアを組み合わせた機能ユニットの形で実現されてもよい。

【0120】

本開示のいずれか１つの実施例で開示される技術的特徴は、衝突しない場合で、任意に組み合わせて新しい方法の実施例又はデバイスの実施例を形成することができる。

【0121】

本開示のいずれか１つの実施例で開示される方法の実施例は、衝突しない場合で、任意に組み合わせて新しい方法の実施例を形成することができる。

【0122】

本開示のいずれか１つの実施例で開示されるデバイスの実施例は、衝突しない場合で、任意に組み合わせて新しいデバイスの実施例を形成することができる。

【0123】

当業者は、上記方法の実施例の全て又は一部のステップが関連するハードウェアに指示するプログラムによって実現されてもよいことを理解してもよい。前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、当該プログラムが実行されると、上記方法の実施例に含まれるステップが実行される。前記記憶媒体は、移動記憶デバイス、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶できる様々な媒体を含む。

【0124】

上記は本開示の具体的な実施形態だけであるが、本開示の保護範囲がこれに限られなく、当業者であれば、本出願で開示された技術範囲内で、変更又は置き換えを容易に想到することができ、それらは全て本開示の保護範囲に含まれるべきである。したがって、本開示の保護範囲は前記特許請求の範囲に準じるべきである。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】