特許 7162084 画像処理方法及び装置、画像処理装置並びに記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-19

(45)【発行日】2022-10-27

(54)【発明の名称】画像処理方法及び装置、画像処理装置並びに記憶媒体

(51)【国際特許分類】

   G06T 11/80 20060101AFI20221020BHJP

   G06T 3/00 20060101ALI20221020BHJP

【ＦＩ】

G06T11/80 A

G06T3/00 750

【請求項の数】 10

(21)【出願番号】P 2020572864

(86)(22)【出願日】2020-05-29

(65)【公表番号】

(43)【公表日】2022-02-18

(86)【国際出願番号】 CN2020093447

(87)【国際公開番号】W WO2021103470

(87)【国際公開日】2021-06-03

【審査請求日】2020-12-24

(31)【優先権主張番号】201911205289.X

(32)【優先日】2019-11-29

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】321006888

【氏名又は名称】ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】トン・リ

(72)【発明者】

【氏名】ウェイリアン・ジャン

(72)【発明者】

【氏名】ウェンタオ・リウ

(72)【発明者】

【氏名】チェン・チェン

【審査官】永野 志保

(56)【参考文献】

【文献】特開平１０－２４０９０８（ＪＰ，Ａ）

【文献】特開平０９－３０５７９８（ＪＰ，Ａ）

【文献】特開平０８－０５０６６０（ＪＰ，Ａ）

【文献】特許第６１１６７８４（ＪＰ，Ｂ１）

【文献】特開２０１１－１０７８７７（ＪＰ，Ａ）

【文献】特開２０１２－０４３０５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／８０

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

画像処理方法であって、
第一の姿態にあるターゲット部位の第一の代替画像を取得することであって、前記第一の代替画像は変形処理後の前記ターゲット部位の変形効果画像である、ことと、
第一の画像における第二の姿態にあるターゲット部位の姿態パラメータを確定することであって、前記第一の姿態と前記第二の姿態は、前記ターゲット部位の現在の姿態状態を説明することに用いられる、ことと、
前記姿態パラメータに基づき、前記第一の代替画像を前記第二の姿態に対応する第二の代替画像に変換することと、
前記第二の代替画像を第一の画像における前記ターゲット部位に融合して第二の画像を取得することと、を含む、前記画像処理方法。

【請求項2】

前記姿態パラメータに基づき、前記第一の代替画像を前記第二の姿態に対応する第二の代替画像に変換することは、
前記第一の代替画像における前記ターゲット部位の複数の第一のキーポイントの座標を取得することと、
前記複数の第一のキーポイントの座標に基づき、前記第一の代替画像から、前記複数の第一のキーポイントのうちのいずれかのグループのキーポイントによって囲まれる少なくとも１つの元の多角形領域を確定することと、
前記姿態パラメータに基づき、前記少なくとも１つの元の多角形領域を変形させ、変形後の前記第二の代替画像を取得することと、を含むことを特徴とする
請求項１に記載の方法。

【請求項3】

前記第一の画像における第二の姿態にあるターゲット部位の姿態パラメータを確定することは、
前記第一の画像の前記ターゲット部位に対してキーポイント検出を行い、前記ターゲット部位の複数のキーポイントの座標を取得することと、
前記ターゲット部位の複数のキーポイントの座標に基づき、前記ターゲット部位の前記姿態パラメータを確定することと、を含むことを特徴とする
請求項１又は２に記載の方法。

【請求項4】

前記ターゲット部位は腹部を含み、
前記第一の画像における第二の姿態にあるターゲット部位の姿態パラメータを確定することは、
前記第一の画像における腹部の少なくとも３種類のキーポイントの座標を取得することを含み、ここで、前記少なくとも３種類のキーポイントは、少なくとも２つの第一のエッジキーポイント、少なくとも２つの第二のエッジキーポイント及び少なくとも２つの中軸線キーポイントを含み、前記少なくとも２つの第一のエッジキーポイントと前記少なくとも２つの第二のエッジキーポイントは、それぞれいずれかの前記中軸線キーポイントの両側に分布し、前記少なくとも３種類のキーポイントの位置は、前記ターゲット部位の前記姿態パラメータを特徴付けることに用いられることを特徴とする
請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記姿態パラメータに基づき、前記第一の代替画像を前記第二の姿態に対応する第二の代替画像に変換することは、
前記少なくとも３種類のキーポイントの任意の３つの隣接するキーポイントによって形成される三角形領域に基づき、ターゲット三角形領域を取得することと、
前記第一の代替画像から取得された複数の第一のキーポイントの座標に基づき、前記複数の第一のキーポイントの任意の３つの隣接する第一のキーポイントによって囲まれる元の三角形領域を取得することであって、前記第一のキーポイントと前記少なくとも３種類のキーポイントは、いずれも前記ターゲット部位のキーポイントである、ことと、
前記元の三角形領域と前記ターゲット三角形領域の間のマッピング関係に従って、前記第一の代替画像を前記第二の代替画像に変換することと、を含むことを特徴とする
請求項４に記載の方法。

【請求項6】

前記方法はさらに、
前記姿態パラメータに基づき、前記第一の画像における前記ターゲット部位のターゲット領域を確定することを含み、
前記第二の代替画像を第一の画像における前記ターゲット部位に融合して第二の画像を取得することは、
前記第二の代替画像を前記第一の画像における前記ターゲット領域に融合して前記第二の画像を取得することを含むことを特徴とする
請求項１～５のいずれか一項に記載の方法。

【請求項7】

画像処理装置であって、
第一の姿態にあるターゲット部位の第一の代替画像を取得するように構成される取得モジュールであって、前記第一の代替画像は変形処理後の前記ターゲット部位の変形効果画像である、取得モジュールと、
第一の画像における、第二の姿態にあるターゲットオブジェクトのターゲット部位の姿態パラメータを確定するように構成される第一の確定モジュールであって、前記第一の姿態と前記第二の姿態は、前記ターゲット部位の現在の姿態状態を説明することに用いられる、第一の確定モジュールと、
前記姿態パラメータに基づき、前記第一の代替画像を前記第二の姿態に対応する第二の代替画像に変換するように構成される変換モジュールと、
前記第二の代替画像を第一の画像における前記ターゲット部位に融合して第二の画像を取得するように構成される生成モジュールと、を備える、前記画像処理装置。

【請求項8】

画像処理装置であって、
メモリと、
前記メモリに接続され、前記メモリに記憶されたコンピュータ実行可能命令を実行して請求項１～６のいずれか一項に記載の方法を実行するように構成されるプロセッサと、を備える、前記画像処理装置。

【請求項9】

コンピュータに、請求項１～６のいずれか一項に記載の方法を実行させるためのコンピュータ実行可能命令を記憶した、コンピュータ読み取り可能な記憶媒体。

【請求項10】

コンピュータに、請求項１～６のいずれか一項に記載の方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本開示は出願番号２０１９１１２０５２８９．Ｘ、出願日２０１９年１１月２９日の中国特許出願に基づいて提案され、この中国特許出願の優先権を主張し、この中国特許出願の全ての内容がここで導入により本開示に組み込まれる。

【0002】

本開示は、画像処理技術分野に関し、特に画像処理方法及び装置、画像処理装置並びに記憶媒体に関する。

【背景技術】

【0003】

画像処理技術分野では、ユーザーに対して１枚の写真を撮った後、当該写真の一部にステッカーを貼る必要があるという画像変形操作が存在している。しかし、ステッカーを貼ることで画像変形を行うようなスキームでは、ステッカーを貼ることで画像変形を行った後に生成された新しい画像では、画像の変形効果が低い。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の実施例では画像処理方法及び装置、画像処理装置並びに記憶媒体を提供することが望まれる。

【課題を解決するための手段】

【0005】

本開示の実施例の技術的解決策は以下のように実現される。

【0006】

本開示の実施例の第一の態様による画像処理方法は、第一の姿態にあるターゲット部位の第一の代替画像を取得することと、第一の画像における第二の姿態にあるターゲット部位の姿態パラメータを確定することと、前記姿態パラメータに基づき、前記第一の代替画像を前記第二の姿態に対応する第二の代替画像に変換することと、前記第二の代替画像を第一の画像における前記ターゲット部位に融合して第二の画像を取得することと、を含む。

【0007】

本開示のいくつかの選択可能な実施例では、前記姿態パラメータに基づき、前記第一の代替画像を前記第二の姿態に対応する第二の代替画像に変換することは、前記第一の代替画像における前記ターゲット部位の複数の第一のキーポイントの座標を取得することと、前記複数の第一のキーポイントの座標に基づき、前記第一の代替画像から、前記複数の第一のキーポイントのうちのいずれかのグループのキーポイントによって囲まれる少なくとも１つの元の多角形領域を確定することと、前記姿態パラメータに基づき、前記少なくとも１つの元の多角形領域を変形させ、変形後の前記第二の代替画像を取得することと、を含む。

【0008】

本開示のいくつかの選択可能な実施例では、前記第一の画像における、第二の姿態にあるターゲット部位の姿態パラメータを確定することは、前記第一の画像の前記ターゲット部位に対してキーポイント検出を行い、前記ターゲット部位の複数のキーポイントの座標を取得することと、前記ターゲット部位の複数のキーポイントの座標に基づき、前記ターゲット部位の前記姿態パラメータを確定することと、を含む。

【0009】

本開示のいくつかの選択可能な実施例では、前記ターゲット部位は、腹部を含み、前記第一の画像における、第二の姿態にあるターゲット部位の姿態パラメータを確定することは、前記第一の画像における腹部の少なくとも３種類のキーポイントの座標を取得することを含む。ここで、前記少なくとも３種類のキーポイントは、少なくとも２つの第一のエッジキーポイント、少なくとも２つの第二のエッジキーポイント及び少なくとも２つの中軸線キーポイントを含み、前記少なくとも２つの第一のエッジキーポイントと前記少なくとも２つの第二のエッジキーポイントは、それぞれいずれかの前記中軸線キーポイントの両側に分布し、前記少なくとも３種類のキーポイントの位置は、前記ターゲット部位の前記姿態パラメータを特徴付けることに用いられる。

【0010】

本開示のいくつかの選択可能な実施例では、前記姿態パラメータに基づき、前記第一の代替画像を前記第二の姿態に対応する第二の代替画像に変換することは、前記少なくとも３種類のキーポイントの任意の３つの隣接するキーポイントによって形成される三角形領域に基づき、ターゲット三角形領域を取得することと、前記第一の代替画像から取得された複数の第一のキーポイントの座標に基づき、前記複数の第一のキーポイントの任意の３つの隣接する第一のキーポイントによって囲まれる元の三角形領域を取得することであって、前記第一のキーポイントと前記少なくとも３種類のキーポイントは、いずれも前記ターゲット部位のキーポイントである、ことと、前記元の三角形領域と前記ターゲット三角形領域の間のマッピング関係に従って、前記第一の代替画像を前記第二の代替画像に変換することと、を含む。

【0011】

本開示のいくつかの選択可能な実施例では、前記方法はさらに、前記姿態パラメータに基づき、前記第一の画像における前記ターゲット部位のターゲット領域を確定することを含み、前記第二の代替画像を第一の画像における前記ターゲット部位に融合して第二の画像を取得することは、前記第二の代替画像を前記第一の画像における前記ターゲット領域に融合して前記第二の画像を取得することを含む。

【0012】

本開示の実施例の第二の態様による画像処理装置は、第一の姿態にあるターゲット部位の第一の代替画像を取得するように構成される取得モジュールと、第一の画像における第二の姿態にあるターゲットオブジェクトのターゲット部位の姿態パラメータを確定するように構成される第一の確定モジュールと、前記姿態パラメータに基づき、前記第一の代替画像を前記第二の姿態に対応する第二の代替画像に変換するように構成される変換モジュールと、前記第二の代替画像を第一の画像における前記ターゲット部位に融合して第二の画像を取得するように構成される生成モジュールと、を備える。

【0013】

本開示のいくつかの選択可能な実施例では、前記変換モジュールは、前記第一の代替画像における前記ターゲット部位の複数の第一のキーポイントの座標を取得し、前記複数の第一のキーポイントの座標に基づき、前記第一の代替画像から、前記複数の第一のキーポイントのうちのいずれかのグループのキーポイントによって囲まれる少なくとも１つの元の多角形領域を確定し、前記姿態パラメータに基づき、前記少なくとも１つの元の多角形領域を変形させ、変形後の前記第二の代替画像を取得するように構成される。

【0014】

本開示のいくつかの選択可能な実施例では、前記第一の確定モジュールは、前記第一の画像の前記ターゲット部位に対してキーポイント検出を行い、前記ターゲット部位の複数のキーポイントの座標を取得し、前記ターゲット部位の複数のキーポイントの座標に基づき、前記ターゲット部位の前記姿態パラメータを確定するように構成される。

【0015】

本開示のいくつかの選択可能な実施例では、前記ターゲット部位は、腹部を含み、前記第一の確定モジュールは、前記第一の画像における腹部の少なくとも３種類のキーポイントの座標を取得するように構成され、前記少なくとも３種類のキーポイントは、少なくとも２つの第一のエッジキーポイント、少なくとも２つの第二のエッジキーポイント及び少なくとも２つの中軸線キーポイントを含み、前記少なくとも２つの第一のエッジキーポイントと前記少なくとも２つの第二のエッジキーポイントは、それぞれいずれかの前記中軸線キーポイントの両側に分布し、前記少なくとも３種類のキーポイントの位置は、前記ターゲット部位の前記姿態パラメータを特徴付けることに用いられる。

【0016】

本開示のいくつかの選択可能な実施例では、前記変換モジュールは、前記少なくとも３種類のキーポイントの任意の３つの隣接するキーポイントによって形成される三角形領域に基づき、ターゲット三角形領域を取得し、前記第一の代替画像から取得された複数の第一のキーポイントの座標に基づき、前記複数の第一のキーポイントの任意の３つの隣接する第一のキーポイントによって囲まれる元の三角形領域を取得し、前記第一のキーポイントと前記少なくとも３種類のキーポイントは、いずれも前記ターゲット部位のキーポイントであり、前記元の三角形領域と前記ターゲット三角形領域の間のマッピング関係に従って、前記第一の代替画像を前記第二の代替画像に変換するように構成される。

【0017】

本開示のいくつかの選択可能な実施例では、前記装置はさらに、前記姿態パラメータに基づき、前記第一の画像における前記ターゲット部位のターゲット領域を確定するように構成される確定モジュールを備え、前記生成モジュールは、前記第二の代替画像を前記第一の画像における前記ターゲット領域に融合して前記第二の画像を取得するように構成される。

【0018】

本開示の実施例の第三の態様による画像処理装置は、メモリと、前記メモリに接続され、前記メモリに記憶されたコンピュータ実行可能命令を実行して上記のいずれかの技術的解決策による画像処理方法を実現するように構成されるプロセッサと、を備える。

【0019】

本開示の実施例の第四の態様によるコンピュータ記憶媒体は、コンピュータ実行可能命令を記憶しており、前記コンピュータ実行可能命令がプロセッサによって実行された後、上記のいずれかの技術的解決策による画像処理方法を実現できる。

【発明の効果】

【0020】

本開示の実施例によって提供される技術的解決策では、画像変形を行う時に、１つの代替画像を第一の画像における変形待ちターゲット部位に直接貼り付けることなく、第一の画像における変形待ちターゲット部位の現在の第二の姿態に基づき、姿態パラメータを取得し、当該姿態パラメータを利用し、第一の姿態にあるターゲット部位の第一の代替画像を第二の姿態にあるターゲット部位の第二の代替画像に変換した後、第二の代替画像を第一の画像に融合して第二の画像を取得することができる。これにより、変形された第二の画像では、第一の代替画像と第一の画像のターゲット部位の姿態の大きな違いによる変形効果の低下の現象が低減され、第一の画像におけるターゲット部位の変形効果を効果的に向上させることができる。

【図面の簡単な説明】

【0021】

【図1】本開示の実施例による画像処理方法のフローチャートである。

【図2】本開示の実施例による人体輪郭のキーポイントの概略図である。

【図3】本開示の実施例による第二の代替画像を生成するプロセスの概略図である。

【図4】本開示の実施例による元の三角形領域をターゲット三角形領域に変換する概略図である。

【図5】本開示の実施例による腹部をターゲット部位として変形する比較概略図である。

【図6】本開示の実施例による画像処理装置の構造概略図である。

【図7】本開示の実施例による画像装置の構造概略図である。

【発明を実施するための形態】

【0022】

以下に明細書の図面及び具体的な実施例を組み合わせながら本開示の実施例の技術的解決策をさらに詳しく説明する。

【0023】

図１に示すように、本実施例による画像処理方法は、以下のステップＳ１１０～Ｓ１４０を含む。

【0024】

Ｓ１１０において、第一の姿態にあるターゲット部位の第一の代替画像を取得する。

【0025】

Ｓ１２０において、第一の画像における第二の姿態にあるターゲットオブジェクトのターゲット部位の姿態パラメータを確定する。

【0026】

Ｓ１３０において、姿態パラメータに基づき、第一の代替画像を第二の姿態に対応する第二の代替画像に変換する。

【0027】

Ｓ１４０において、第二の代替画像を第一の画像におけるターゲット部位に融合して第二の画像を取得する。

【0028】

本実施例による画像処理方法は、画像処理機能を備えた電子装置に応用されてもよい。例示的に、当該画像装置は、携帯電話又はウェアラブルデバイスなどを含む様々な端末装置を備えることができる。当該端末装置はさらに車載端末装置、又は画像収集専用且つある位置に固定された固定端末装置を含むことができる。別のいくつかの実施例では、画像装置はさらにサーバー、例えば、ローカルサーバー、又はクラウドプラットフォームに位置して画像処理サービスを提供するためのクラウドサーバーなどを含むことができる。

【0029】

いくつかの実施例では、ターゲット部位例えば人体のある部位、又は、動物又は他のオブジェクトのある部位などである。本開示の実施例はこれに限定されない。

【0030】

いくつかの実施例では、第一の代替画像は例えば変形処理後のターゲット部位の変形効果画像である。例示的に、ターゲット部位が人体の腹部である場合、第一の代替画像は例えば腹筋効果を有する１枚の腹部画像であってもよい。

【0031】

いくつかの実施例では、第一の姿態と第二の姿態は、ターゲット部位の現在の姿態状態を説明することに用いられる。例えば、ターゲット部位が人体の腹部であることを例として説明し、人体が立っている場合、腹部が直立姿態にあり、人体が前屈し、腹部が後ろへ屈曲する姿態にあり、人体が腹部を前に持ち上げる場合、腹部が前屈姿態にある。人体が右側へ屈曲する場合、腹部は右側に押圧し且つ左側に伸ばす姿態にあり、人体が左側に屈曲する場合、腹部は左側に押圧し且つ右側に伸ばす姿態にある。人体の腰部動作の屈曲幅が異なり、姿態に違いがあると考えられてもよい。例えば、第一の姿態は、腹部が直立している姿態である可能性があり、第二の姿態は、上記のいずれかの屈曲状況における腹部の屈曲姿態であってもよい。

【0032】

ターゲット部位を変形させる前に、電子装置には様々な姿態における第一の代替画像が記憶されていない可能性がある。この場合、第二の姿態に対応する１つの第二の代替画像を生成することができる。ここで、第二の代替画像も変形処理後のターゲット部位の変形効果画像であってもよく、且つ当該第二の代替画像は第二の姿態にあるターゲット部位の変形効果画像を説明することに用いられる。

【0033】

Ｓ１４０で第二の代替画像を第一の画像に融合して第二の画像を取得する方式は様々である。いくつかの実施形態では、第二の代替画像を第一の画像におけるターゲット部位が位置する領域内に貼り付けて第二の画像を取得することができ、即ち、画像層を貼り付けることで第二の画像を生成する。例えば、第一の画像を第一の画像層として設定し、第二の代替画像を第二の画像層に追加し、第二の画像層の第二の代替画像以外の領域が全て透明領域であり、第二の代替画像を第一の画像におけるターゲット部位に位置合わせして画像層の融合を行い、第二の画像を取得する。

【0034】

別のいくつかの実施形態では、さらに第一の画像におけるターゲット部位が位置するターゲット領域内の画素値を除去し、第二の代替画像に基づき、画素値が除去されたターゲット領域内に画素値を再充填することができる。ここで、ターゲット領域内の画素値を除去することは、例えばターゲット領域内の画素値をあるデフォルト値に設定すること、又はターゲット領域が位置する画素領域の透明度をあるデフォルト値に設定することであってもよい。上述した、画素値が除去されたターゲット領域内に画素値を再充填することは、例えば、ターゲット領域の画素値に値を新たに付与し、ターゲット領域内のいずれかの位置にある画素のデフォルト値を第二の代替画像における対応する位置にある画素値に代替させることを含むことができる。上記は第二の画像を生成する例だけであり、具体的な実施形態は様々であり、本開示で一つずつ限定されない。

【0035】

本実施例では、第一の姿態にあるターゲット部位の第一の代替画像を第一の画像におけるターゲット部位に直接貼り付けることなく、第一の画像に示されたターゲット部位の姿態パラメータに基づき、当該姿態パラメータを利用して第一の代替画像を調整し、ターゲット部位の現在の姿態（即ち第二の姿態）に一致する第二の代替画像を取得し、取得された第二の代替画像を第一の画像におけるターゲット部位の位置に貼り付けて第二の画像を生成する。これにより、第一の姿態における第一の代替画像を第一の画像における第二の姿態を有するターゲット部位に直接貼り付ける場合と比較して、第一の画像のターゲット部位の変形効果がより高くなることができる。

【0036】

いくつかの選択可能な実施例では、Ｓ１３０は、第一の代替画像におけるターゲット部位の複数の第一のキーポイントの座標を取得することと、複数の第一のキーポイントの座標に基づき、第一の代替画像から、複数の第一のキーポイントのうちのいずれかのグループのキーポイントによって囲まれる少なくとも１つの元の多角形領域を確定することと、姿態パラメータに基づき、少なくとも１つの元の多角形領域を変形させ、変形後の第二の代替画像を取得することと、を含むことができる。

【0037】

本実施例では第一の代替画像を第二の代替画像に変換することにより、第二の代替画像はターゲット部位の実際の姿態により一致することができる。

【0038】

本実施例では、元の多角形領域は、いずれかの多角形で囲まれた領域であってもよく、当該多角形が三角形、四辺形、五角形などであってもよいが、本実施例はこれに限定されない。

【0039】

本実施例では、単純なマトリックス変換を行うことなく、多角形アフィン変換などの方式を採用して元の多角形領域の変換を行い、上記の元の多角形領域を取得することができる。元の多角形領域が元の三角形領域であることを例とすると、三角形アフィン変換方式を採用して元の三角形領域の変換を行い、変換されたターゲット三角形領域を得ることができる。

【0040】

本実施例では第一の代替画像のキーポイントの検出には、従来のいずれかのキーポイント検出方法が利用されてもよい。例えば、第一の代替画像を人体検出モデルに入力し、第一の代替画像におけるキーポイントの座標（第一のキーポイントの座標）を取得する。

【0041】

いくつかの選択可能な実施例では、上記方法はさらに姿態パラメータに基づき、第一の画像におけるターゲット部位の位置を確定することを含む。それに応じて、Ｓ１４０は、第二の代替画像を第一の画像におけるターゲット領域に融合して第二の画像を取得することと、を含むことができる。本実施例では、姿態パラメータは、第一の画像におけるターゲット部位のキーポイントの座標によって具体化されてもよく、これにより、当該キーポイントの座標はさらに第一の画像におけるターゲット部位の位置を決めることに用いられてもよく、確定されたターゲット部位の第一の画像での位置により、Ｓ１４０で第二の代替画像を第一の画像に融合し、所望の変形効果を有する第二の画像を生成することが容易になる。

【0042】

いくつかの実施例では、Ｓ１２０は、第一の画像のターゲット部位に対してキーポイント検出を行い、ターゲット部位の複数のキーポイントの座標を取得し、ターゲット部位の複数のキーポイントの座標に基づき、ターゲット部位の姿態パラメータを確定することを含むことができる。

【0043】

例示的に、キーポイント検出モデルを利用して第一の画像のターゲット部位に対してキーポイント検出を行うことができる。ここで、キーポイント検出モデルはディープ学習モデル、例えば様々なニューラルネットワークであってもよい。本実施例では、キーポイント検出モデルはオープンポーズ（ｏｐｅｎ ｐｏｓｅ）モデルであってもよい。

【0044】

図２は人体のキーポイントの概略図である。本実施例では、ターゲット部位が腹部であることを例とすると、姿態パラメータを確定するためのターゲット部位のキーポイントは腹部の輪郭のキーポイントであってもよい。腹部の輪郭のキーポイントについては図２におけるキーポイント２８、２９及び３０、キーポイント５７、５８及び５６を参照することができる。

【0045】

いくつかの選択可能な実施例では、Ｓ１３０は、姿態パラメータに基づき、第一の代替画像をアフィン変換して第二の姿態に対応する第二の代替画像を取得することを含むことができる。例えば、上記実施例における元の多角形領域に対する変形又は元の三角形領域に対する変形を組み合わせると、いずれも本実施例におけるアフィン変換方式を採用することができる。

【0046】

第二の姿態に対応する上記第二の代替画像は、含まれているターゲット部位が第二の姿態にある第二の代替画像、又は、含まれているターゲット部位の姿態と第二の姿態の姿態相違度が予め設定された値よりも小さい第二の代替画像を含むことができる。アフィン変換における線形変更操作及び／又は平行移動操作により、第一の代替画像は、第二の姿態に適合する第二の代替画像に変換される。

【0047】

例示的に、第一の姿態の姿態パラメータと第二の姿態の姿態パラメータを既知の量にし、アフィン変換の変換マトリックスのフィッティングを行い、フィッティングされた変換マトリックスを取得し、当該変換マトリックスを利用して第一の代替画像における各画素ポイントの位置に対して変換処理を行い、第二の姿態に適合する第二の代替画像を取得する。当然、これはアフィン変換の一例に過ぎず、具体的な実現はこれに限定されない。ここで、前記実施例のように、第一の姿態の姿態パラメータと第二の姿態の姿態パラメータは、ターゲット部位のキーポイントの座標によって具体化されてもよい。

【0048】

本開示のいくつかの選択可能な実施例では、ターゲット部位は、腹部を含むが、本開示の実施例は腹部に限定されない。

【0049】

本開示のいくつかの選択可能な実施例では、第一の画像における、第二の姿態にあるターゲット部位の姿態パラメータを確定することは、腹部の少なくとも３種類のキーポイントを取得し、少なくとも３種類のキーポイントが少なくとも２つの第一のエッジキーポイント、少なくとも２つの第二のエッジキーポイント及び少なくとも２つの中軸線キーポイントを含み、前記少なくとも２つの第一のエッジキーポイントと少なくとも２つの第二のエッジキーポイントがいずれかの前記中軸線キーポイントの両側に分布し、少なくとも３種類のキーポイントの位置がターゲット部位の姿態パラメータを特徴付けることに用いられることを含む。例示的に、第一のエッジキーポイントと第二のエッジキーポイントの両方は２つであってもよく、中軸線キーポイントは３つ又は４つであってもよく、当然、本実施例において第一のエッジキーポイント、第二のエッジキーポイントと中軸線キーポイントの数は上記の例に限定されない。

【0050】

いくつかの選択可能な実施例では、中軸線キーポイントは第一のエッジキーポイントと第二のエッジキーポイントに基づいて確定されてもよい。別のいくつかの実施例では、中軸線キーポイントについては骨格キーポイント検出機能を備えたモデルを利用しての中軸線上のターゲット部位である骨格のキーポイントを取得することができる。例えば、ターゲット部位が腹部であることを例とすると、骨盤中心点のキーポイントを検出することにより、腹部の中軸線キーポイントを取得することができる。本開示の実施例では、第一のエッジキーポイントと第二のエッジキーポイントの両方はエッジポイントと略称されてもよい。

【0051】

本開示のいくつかの選択可能な実施例では、上記Ｓ１３０で、姿態パラメータに基づき、第一の代替画像を第二の姿態に対応する第二の代替画像に変換する方式については、図３に示すように、Ｓ１３０はＳ１２１、Ｓ１２２とＳ１３３を含むことができる。

【0052】

Ｓ１２１において、少なくとも３種類のキーポイントの任意の３つの隣接するキーポイントによって形成される三角形領域に基づき、ターゲット三角形領域を取得する。

【0053】

Ｓ１２２において、第一の代替画像から取得された複数の第一のキーポイントの座標に基づき、複数の第一のキーポイントの任意の３つの隣接する第一のキーポイントによって囲まれる元の三角形領域を取得し、第一のキーポイントと少なくとも３種類のキーポイントがいずれもターゲット部位のキーポイントである。

【0054】

Ｓ１２３において、元の三角形領域とターゲット三角形領域の間のマッピング関係に従って、第一の代替画像を第二の代替画像に変換する。

【0055】

本実施例では、元の三角形領域とターゲット三角形領域の間のマッピング関係を確定し、さらに画像における画素ポイントと三角形領域の変化の間の関連関係に従って、第一の代替画像を第二の代替画像に変換することで、第二の姿態に対応する第二の代替画像を取得することができる。

【0056】

図４に示すように、任意の３つの隣接する第一のキーポイントによって囲まれる元の三角形領域において、元の三角形領域の頂点には、中軸線キーポイントと少なくとも１つのエッジキーポイントが少なくとも含まれる。いくつかの例では、上記の３種類のキーポイントにおける隣接して分布するいずれかの３つのキーポイントを任意に接続すると、１つの元の三角形領域を取得できる。別のいくつかの例では、少なくとも２種類のキーポイントのうちの３つのキーポイントを接続して１つの元の三角形領域を取得し、この時に、１つの元の三角形領域の３つの頂点に対応するキーポイントは上記の３種類のキーポイントのうちの少なくとも２種類である。例えば、図４の元の三角形領域における左側のエッジキーポイントは第一のエッジキーポイントであり、右側のエッジキーポイントは第二のエッジキーポイントであり、中心のキーポイントは中軸線キーポイントである。

【0057】

元の三角形領域をアフィン変換することにより、元の三角形領域の辺長及び形状を変更し、図４に示すターゲット三角形領域を取得することができる。

【0058】

元の三角形領域に対するアフィン変換により、ターゲット部位のエッジ部位と中央部位の変形量の差が大き過ぎなく、そのため、エッジ部位と中央部位の変形が連続性を有し、これにより、変形効果が高くなる。

【0059】

以下に上記のいずれかの実施例を組み合わせながら１つの具体的な例を提供する。

【0060】

本例は人体画像における腹部を変形させるシーンで応用されてもよい。ユーザーは、端末装置で処理待ち人体画像を第一の画像としてアップロードし、人体画像の腹部をターゲット部位として選択することができる。さらに、端末装置では腹部変形効果を有している様々なステッカー画像、例えば８ブロック腹筋効果があるステッカー画像、４ブロック腹筋効果があるステッカー画像などが提供されてもよい。

【0061】

ユーザーは、様々なステッカー画像からターゲットステッカー画像、例えば、８ブロック腹筋効果があるステッカー画像を第一の代替画像として選択することができる。

【0062】

ターゲットステッカー画像を使用して人体画像における腹部を変形させるプロセスでは、ターゲットステッカー画像の姿態が第一の姿態にある可能性があり、人体画像における腹部が実際に第二の姿態にあることを考慮し、ターゲットステッカー画像を直接貼り付けると、最終的な腹部変形効果が実際の第二の姿態に一致せず、変形効果が低い。

【0063】

これに基づき、本開示の実施例ではまず人体画像における腹部のキーポイントを識別し、腹部のキーポイントの座標を取得し、具体的に腹部輪郭のキーポイントの座標を取得することができ、これにより、腹部のキーポイントの座標に基づいて人体画像における腹部の姿態パラメータを確定することができる。

【0064】

さらに、腹部の姿態パラメータに基づき、ターゲットステッカー画像を第二の姿態に対応する第二のステッカー画像（即ち第二の代替画像）に変換することができる。この変換プロセスは、多角形アフィン変換によって実現されてもよく、具体的なアフィン変換プロセスについては、上記実施例を参照することができる。図５に示すように、図５の右側は第一の姿態にあるターゲットステッカー画像であり、図５の左側は変換後の第二の姿態に対応するステッカー画像である。

【0065】

最後、第二の姿態に対応するステッカー画像を、第一の画像のターゲット部位が位置する領域に融合させ、所望の変形効果を有している人体画像、即ち第二の画像を取得することができる。

【0066】

これにより、融着処理後に得られた第二の画像では、第一の代替画像と第一の画像におけるターゲット部位の姿態の大きな違いによる変形効果の低下の現象が低減され、第一の画像のターゲット部位の変形効果が高くなる。

【0067】

図６に示すように、本開示の実施例による画像処理装置は、
第一の姿態にあるターゲット部位の第一の代替画像を取得するように構成される取得モジュール１１０と、
第一の画像における、第二の姿態にあるターゲットオブジェクトのターゲット部位の姿態パラメータを確定するように構成される第一の確定モジュール１２０と、
前記姿態パラメータに基づき、前記第一の代替画像を前記第二の姿態に対応する第二の代替画像に変換するように構成される変換モジュール１３０と、
前記第二の代替画像を第一の画像における前記ターゲット部位に融合して第二の画像を取得するように構成される生成モジュール１４０と、を備える。

【0068】

いくつかの実施例では、前記取得モジュール１１０、第一の確定モジュール１２０、変換モジュール１３０及び生成モジュール１４０はいずれもプログラムモジュールであり、前記プログラムモジュールがプロセッサによって実行された後、上記のいずれかのモジュール機能が実現されてもよい。

【0069】

別のいくつかの実施例では、上記取得モジュール１１０、第一の確定モジュール１２０、変換モジュール１３０及び生成モジュール１４０はいずれもソフトウェアとハードウェアを組み合わせたモジュールであり、上記のソフトウェアとハードウェアを組み合わせたモジュールは、プログラマブルアレイを含むがこれに限定されなく、前記プログラマブルアレイがフィールドプログラマブルアレイと複雑なプログラマブルアレイを含むがこれらに限定されない。

【0070】

また、いくつかの実施例では、前記取得モジュール１１０、第一の確定モジュール１２０、変換モジュール１３０及び生成モジュール１４０はいずれも純粋なハードウェアモジュールであり、上記の純粋なハードウェアモジュールは、専用集積回路を含むがこれに限定されない。

【0071】

いくつかの実施例では、前記変換モジュール１３０は、第一の代替画像におけるターゲット部位の複数の第一のキーポイントの座標を取得し、複数の第一のキーポイントの座標に基づき、第一の代替画像から、複数の第一のキーポイントのうちのいずれかのグループのキーポイントによって囲まれる少なくとも１つの元の多角形領域を確定し、前記姿態パラメータに基づき、少なくとも１つの元の多角形領域を変形させ、変形後の第二の代替画像を取得するように構成される。

【0072】

いくつかの実施例では、前記第一の確定モジュール１２０は、第一の画像のターゲット部位に対してキーポイント検出を行い、ターゲット部位の複数のキーポイントの座標を取得し、ターゲット部位の複数のキーポイントの座標に基づき、ターゲット部位の姿態パラメータを確定するように構成される。

【0073】

いくつかの実施例では、前記ターゲット部位は、腹部を含み、前記第一の確定モジュール１２０は、第一の画像における腹部の少なくとも３種類のキーポイントを取得するように構成され、少なくとも３種類のキーポイントが少なくとも２つの第一のエッジキーポイント、少なくとも２つの第二のエッジキーポイント及び少なくとも２つの中軸線キーポイントを含み、少なくとも２つの第一のエッジキーポイントと少なくとも２つの第二のエッジキーポイントがそれぞれいずれかの中軸線キーポイントの両側に分布し、上記の少なくとも３種類のキーポイントの位置がターゲット部位の姿態パラメータを特徴付けることに用いられる。

【0074】

いくつかの実施例では、前記変換モジュール１３０は、前記少なくとも３種類のキーポイントの任意の３つの隣接するキーポイントによって形成される三角形領域に基づき、ターゲット三角形領域を取得し、第一の代替画像から取得された複数の第一のキーポイントの座標に基づき、複数の第一のキーポイントの任意の３つの隣接する第一のキーポイントによって囲まれる元の三角形領域を取得し、第一のキーポイントと少なくとも３種類のキーポイントがいずれもターゲット部位のキーポイントであり、元の三角形領域とターゲット三角形領域の間のマッピング関係に従って、第一の代替画像を第二の代替画像に変換するように構成される。

【0075】

いくつかの実施例では、前記装置はさらに姿態パラメータに基づき、第一の画像におけるターゲット部位のターゲット領域を確定するように構成される第二の確定モジュールを備え、
前記生成モジュール１４０は、第二の代替画像を第一の画像におけるターゲット領域に融合して第二の画像を取得するように構成される。

【0076】

図７に示すように、本開示の実施例による画像装置は、
コンピュータ実行可能命令を記憶するように構成されるメモリと、
ディスプレイ及び前記メモリに接続され、メモリに記憶されたコンピュータ実行可能命令を実行することにより、上記の１つ又は複数の技術的解決策による画像処理方法、例えば、図１及び／又は図４に示す画像処理方法を実現することができるように構成されるプロセッサと、を備える。

【0077】

当該メモリは様々なタイプのメモリであってもよく、ランダムメモリ、読み取り専用メモリ、フラッシュメモリなどであってもよい。前記メモリは、情報の記憶、例えばコンピュータ実行可能命令などの記憶に用いられてもよい。前記コンピュータ実行可能命令は様々なプログラム命令、例えば、ターゲットプログラム命令及び／又はソースプログラム命令などであってもよい。

【0078】

前記プロセッサは様々なプロセッサ、例えば、中央処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、プログラマブルアレイ、デジタル信号プロセッサ、専用集積回路又は画像プロセッサなどであってもよい。

【0079】

前記プロセッサはバスを介して前記メモリに接続されてもよい。前記バスは集積回路バスなどであってもよい。

【0080】

いくつかの実施例では、前記端末装置はさらに通信インタフェースを備えることができ、当該通信インタフェースがネットワークインタフェースを含むことができ、ネットワークインタフェースが例えばＬＡＮインタフェース、送受信アンテナなどを含むことができる。前記通信インタフェースは同様に前記プロセッサに接続され、情報の送受信に用いられてもよい。

【0081】

いくつかの実施例では、前記端末装置はさらにヒューマンマシンインタフェースを備え、例えば、前記ヒューマンマシンインタフェースがキーボード、タッチスクリーンなどの様々な輸出入装置を含むことができる。

【0082】

いくつかの実施例では、前記画像装置はさらに、様々なプロンプト情報、収集された顔画像、様々なインタフェースなどを表示できるディスプレイを備える。

【0083】

本開示の実施例によるコンピュータ記憶媒体は、コンピュータ実行可能コードを記憶しており、前記コンピュータ実行可能コードが実行された後、上記の１つ又は複数の技術的解決策による画像処理方法、例えば図１及び／又は図４に示す画像処理方法を実現することができる。

【0084】

本開示で提供されるいくつかの実施例では、開示された装置及び方法は他の方式によって実現されてもよいことが理解されるべきである。上述した装置の実施例は例示的なものだけであり、例えば、前記ユニットの区分は、論理的機能区分だけであり、実際に実現する時に他の区分方式があってもよく、例えば、複数のユニット又は構成要素が組み合わせられてもよく、又は別のシステムに統合されてもよく、又はいくつかの特徴が無視又は実行されなくてもよい。また、表示又は討論される各構成部分の間の相互結合、又は直接結合、又は通信接続は、いくつかのインタフェース、デバイス又はユニットを介した間接結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。

【0085】

分離部材として説明される前記ユニットは、物理的に分離されてもよく、又は物理的に分離されなくてもよく、ユニットとして表示される部材は、物理ユニットであってもよく、又は物理ユニットでなくてもよく、即ち１つの位置に配置されてもよいし、複数のネットワークユニットに分布してもよく、実際のニーズに応じてその中の部分又は全てのユニットを選択して本実施例の解決策の目的を達成することができる。

【0086】

また、本開示の各実施例における各機能ユニットは全て１つの処理モジュールに統合されてもよいし、各ユニットはそれぞれ個別に１つのユニットとして用いられてもよいし、２つ以上のユニットは１つのユニットに統合されてもよく、上記の統合されたユニットは、ハードウェアの形で実現されてもよいし、ハードウェアとソフトウェアを組み合わせた機能ユニットの形で実現されてもよい。

【0087】

本開示のいずれかの実施例で開示される技術的特徴は、衝突しない場合で、任意に組み合わせて新しい方法の実施例又は装置の実施例を形成することができる。

【0088】

本開示のいずれかの実施例で開示される方法の実施例は、衝突しない場合で、任意に組み合わせて新しい方法の実施例を形成することができる。

【0089】

本開示のいずれかの実施例で開示される装置の実施例は、衝突しない場合で、任意に組み合わせて新しい装置の実施例を形成することができる。

【0090】

当業者は、上記方法の実施例の全て又は一部のステップが関連するハードウェアに指示するプログラムによって実現されてもよいことを理解してもよい。前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、当該プログラムが実行されると、上記方法の実施例に含まれるステップが実行される。前記記憶媒体は、移動記憶装置、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶できる様々な媒体を含む。

【0091】

上記は本出願の具体的な実施形態であるが、本出願の保護範囲がこれに限られなく、当業者であれば、本出願で開示された技術範囲内で、変更又は置き換えを容易に想到することができ、それらは全て本出願の保護範囲に含まれるべきである。したがって、本出願の保護範囲は前記特許請求の範囲に準じるべきである。

【符号の説明】

【0092】

110 取得モジュール
120 第一の確定モジュール
130 変換モジュール
140 生成モジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】