特表 2023-514342 画像処理方法および画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-04-05

(54)【発明の名称】画像処理方法および画像処理装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20230329BHJP

【ＦＩ】

G06T1/00 500A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022549510

(86)(22)【出願日】2020-11-17

(85)【翻訳文提出日】2022-08-17

(86)【国際出願番号】 CN2020129503

(87)【国際公開番号】W WO2021218118

(87)【国際公開日】2021-11-04

(31)【優先権主張番号】202010364388.9

(32)【優先日】2020-04-30

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520230293

【氏名又は名称】北京達佳互▲れん▼信息技術有限公司

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】▲ヤン▼ ▲シン▼

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057AA20

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CB01

5B057CB08

5B057CB12

5B057CC01

5B057DB02

5B057DB06

5B057DB09

(57)【要約】

コンピュータ技術の分野に属する画像処理方法および画像処理装置を開示する。方法は、第１画像における複数の第１キーポイントを確定することと、第１画像のターゲット領域を確定し、ここで、ターゲット領域は、複数の第１キーポイントに対応する領域を拡張することに基づいて得られることと、当該領域およびターゲット領域に基づいてターゲット部位を調整することにより、第２画像を得ることと、を含む。上記のスキームにより、調整して得られた第２画像においてターゲット部位の変化が第１画像における他の領域に徐々に影響を与えることができ、ターゲット部位を調整する際に、顔部領域の他の領域の画素点に影響を与え、画像に奇形を起こすことを防止し、画像処理効果を最適化した。

【特許請求の範囲】

【請求項1】

第１画像における複数の第１キーポイントを確定し、前記複数の第１キーポイントは、ターゲット部位のキーポイントであることと、
前記第１画像のターゲット領域を確定し、前記ターゲット領域は、前記複数の第１キーポイントに対応する領域を拡張することに基づいて得られることと、
第２画像を取得し、前記第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、前記調整は、前記領域の中心点と第１調整パラメータに基づくものであり、前記第１局部画像は、前記領域に対応する画像であり、前記第２局部画像は、前記ターゲット領域における前記第１局部画像以外の画像であることと、を含む、
ことを特徴とする画像処理方法。

【請求項2】

前記第２画像を取得することは、
前記領域の中心点と前記第１調整パラメータに基づいて、前記第１局部画像の形状を調整することと、
前記第２局部画像における画素点を前記第２局部画像に分散充填することにより、前記第２画像を得ることと、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記第２局部画像における画素点を前記第２局部画像に分散充填することにより、前記第２画像を得ることは、
前記第１局部画像が縮小されることに応答して、第１移動方向を確定し、前記第１移動方向は、前記中心点に近いことと、
前記第１調整パラメータに基づいて、第１移動距離を確定することと、
前記第２画像を確定し、前記第２画像は、前記第２局部画像における画素点を前記第１移動方向に前記第１移動距離移動させることにより得られることと、を含む、
ことを特徴とする請求項２に記載の方法。

【請求項4】

前記第２局部画像における画素点を前記第２局部画像に分散充填することにより、前記第２画像を得ることは、
前記第１局部画像が拡大されることに応答して、第２移動方向を確定し、前記第２移動方向は、前記中心点から離れることと、
前記第１調整パラメータに基づいて、第２移動距離を確定することと、
前記第２画像を確定し、前記第２画像は、前記第２局部画像における画素点を前記第２移動方向に前記第２移動距離移動させることにより得られることと、を含む、
ことを特徴とする請求項２に記載の方法。

【請求項5】

前記第１画像のターゲット領域を確定することは、
ターゲット中心点を確定し、前記ターゲット中心点は、前記複数の第１キーポイントに基づいて得られることと、
第１キーポイントごとに、第２キーポイントを確定し、前記第２キーポイント、前記第１キーポイント、および前記ターゲット中心点は、同一直線上にあり、且つ第１距離は、第２距離より大きく、前記第１距離は、前記第２キーポイントと前記ターゲット中心点との距離であり、前記第２距離は、前記第１キーポイントと前記ターゲット中心点との距離であることと、
前記ターゲット領域を確定し、前記ターゲット領域は、複数の第２キーポイントに基づいて確定されることと、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項6】

前記ターゲット中心点を確定することは、以下のいずれかを含み、即ち、
前記複数の第１キーポイントの中心点を前記ターゲット中心点として確定すること、
第１キーポイントの一部の中心点を前記ターゲット中心点として確定し、前記第１キーポイントの一部は、前記領域の中心領域内に位置すること、である、
ことを特徴とする請求項５に記載の方法。

【請求項7】

前記第１画像における複数の第１キーポイントを確定することは、
第３画像における複数の第３キーポイントを確定し、前記複数の第３キーポイントは、前記ターゲット部位のキーポイントであり、前記第３画像は、前記第１画像より前のフレームの画像であることと、
第１画像における複数の第４キーポイントを確定し、前記複数の第４キーポイントは、前記ターゲット部位のキーポイントであり、且つ、前記第４キーポイントは、キーポイント確定モデルによって確定されることと、
前記複数の第１キーポイントを確定し、前記複数の第１キーポイントは、前記複数の第３キーポイントと前記複数の第４キーポイントに基づいて確定されることと、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項8】

前記複数の第１キーポイントを確定することは、
第４キーポイントごとに、前記複数の第３キーポイントのうちの第１ターゲットキーポイントを確定し、前記第１ターゲットキーポイントと前記第４キーポイントは、同じ画素値を有することと、
第１位置と第２位置の平均位置を確定し、前記第１位置は、前記第１ターゲットキーポイントの位置であり、前記第２位置は、前記第４キーポイントの位置であることと、
前記第１キーポイントを取得し、前記第１キーポイントは、前記第４キーポイントの像素値を前記平均位置にレンダリングすることにより得られることと、を含む、
ことを特徴とする請求項７に記載の方法。

【請求項9】

前記複数の第１キーポイントを確定することは、以下のいずれかを含み、即ち、
前記ターゲット部位が遮蔽されることに応答して、前記複数の第３キーポイントのうちの第２ターゲットキーポイントを確定し、前記第２ターゲットキーポイントは、遮蔽されたターゲット部位に対応するキーポイントであり、前記複数の第１キーポイントを取得し、前記複数の第１キーポイントは、前記第２ターゲットキーポイントと前記複数の第４キーポイントとからなること、
前記ターゲット部位が遮蔽されることに応答して、前記複数の第３キーポイントを前記複数の第１キーポイントとすること、である、
ことを特徴とする請求項７に記載の方法。

【請求項10】

前記ターゲット部位が遮蔽されることに応答して、第２調整パラメータを確定し、前記第２調整パラメータは、前記第３画像を調整するためのパラメータであることと、
第１調整パラメータを確定し、前記第１調整パラメータは、予め設定された幅に基づいて前記第２調整パラメータを調整することにより得られることと、をさらに含む、
ことを特徴とする請求項７に記載の方法。

【請求項11】

フレーム数を確定し、前記フレーム数は、前記ターゲット部位が遮蔽された画像の連続フレーム数であることと、
前記フレーム数がターゲットフレーム数に達したことに応答して、次のフレームの画像に対する画像処理を停止することと、をさらに含む、
ことを特徴とする請求項１０に記載の方法。

【請求項12】

第１画像における複数の第１キーポイントを確定するように構成され、前記複数の第１キーポイントは、ターゲット部位のキーポイントである第１確定モジュールと、
前記第１画像のターゲット領域を確定するように構成され、前記ターゲット領域は、前記複数の第１キーポイントに対応する領域を拡張することに基づいて得られる第２確定モジュールと、
第２画像を取得するように構成され、前記第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、前記調整は、前記領域の中心点と第１調整パラメータに基づくものであり、前記第１局部画像は、前記領域に対応する画像であり、前記第２局部画像は、前記ターゲット領域における前記第１局部画像以外の画像である画像取得モジュールと、を含む、
ことを特徴とする画像処理装置。

【請求項13】

前記画像取得モジュールは、
前記領域の中心点と前記第１調整パラメータに基づいて、前記第１局部画像の形状を調整するように構成される形状調整ユニットと、
前記第２局部画像における画素点を前記第２局部画像に分散充填することにより、前記第２画像を得るように構成される充填ユニットと、を含む、
ことを特徴とする請求項１２に記載の装置。

【請求項14】

前記充填ユニットは、以下のように構成され、即ち、前記第１局部画像が縮小されることに応答して、第１移動方向を確定し、前記第１移動方向は、前記中心点に近く、前記第１調整パラメータに基づいて、第１移動距離を確定し、前記第２画像を確定し、前記第２画像は、前記第２局部画像における画素点を前記第１移動方向に前記第１移動距離移動させることにより得られることを特徴とする請求項１３に記載の装置。

【請求項15】

前記充填ユニットは、以下のように構成され、即ち、前記第１局部画像が拡大されることに応答して、第２移動方向を確定し、前記第２移動方向は、前記中心点から離れ、前記第１調整パラメータに基づいて、第２移動距離を確定し、前記第２画像を確定し、前記第２画像は、前記第２局部画像における画素点を前記第２移動方向に前記第２移動距離移動させることにより得られることを特徴とする請求項１３に記載の装置。

【請求項16】

前記第２確定モジュールは、
ターゲット中心点を確定するように構成され、前記ターゲット中心点は、前記複数の第１キーポイントに基づいて得られる第１確定ユニットと、
第１キーポイントごとに、第２キーポイントを確定するように構成され、前記第２キーポイント、前記第１キーポイント、および前記ターゲット中心点は、同一直線上にあり、且つ第１距離は、第２距離より大きく、前記第１距離は、前記第２キーポイントと前記ターゲット中心点との距離であり、前記第２距離は、前記第１キーポイントと前記ターゲット中心点との距離である第２確定ユニットと、
前記ターゲット領域を確定するように構成され、前記ターゲット領域は、複数の第２キーポイントに基づいて確定される第３確定ユニットと、を含む、
ことを特徴とする請求項１２に記載の装置。

【請求項17】

前記第１確定ユニットは、前記複数の第１キーポイントの中心点を前記ターゲット中心点として確定するように構成され、
前記第１確定ユニットは、第１キーポイントの一部の中心点を前記ターゲット中心点として確定するように構成され、前記第１キーポイントの一部は、前記領域の中心領域内に位置する、
ことを特徴とする請求項１６に記載の装置。

【請求項18】

前記第１確定モジュールは、
第３画像における複数の第３キーポイントを確定するように構成され、前記複数の第３キーポイントは、前記ターゲット部位のキーポイントであり、前記第３画像は、前記第１画像より前のフレームの画像である第４確定ユニットと、
第１画像における複数の第４キーポイントを確定するように構成され、前記複数の第４キーポイントは、前記ターゲット部位のキーポイントであり、且つ、前記第４キーポイントは、キーポイント確定モデルによって確定される第５確定ユニットと、
前記複数の第１キーポイントを確定するように構成され、前記複数の第１キーポイントは、前記複数の第３キーポイントと前記複数の第４キーポイントに基づいて確定される第６確定ユニットと、を含む、
ことを特徴とする請求項１２に記載の装置。

【請求項19】

前記第６確定ユニットは、以下のように構成され、即ち、第４キーポイントごとに、前記複数の第３キーポイントのうちの第１ターゲットキーポイントを確定し、前記第１ターゲットキーポイントと前記第４キーポイントは、同じ画素値を有し、第１位置と第２位置の平均位置を確定し、前記第１位置は、前記第１ターゲットキーポイントの位置であり、前記第２位置は、前記第４キーポイントの位置であり、前記第１キーポイントを取得し、前記第１キーポイントは、前記第４キーポイントの像素値を前記平均位置にレンダリングすることにより得られることを特徴とする請求項１８に記載の装置。

【請求項20】

前記第６確定ユニットは、以下のように構成され、即ち、前記ターゲット部位が遮蔽されることに応答して、前記複数の第３キーポイントのうちの第２ターゲットキーポイントを確定し、前記第２ターゲットキーポイントは、遮蔽されたターゲット部位に対応するキーポイントであり、前記複数の第１キーポイントを取得し、前記複数の第１キーポイントは、前記第２ターゲットキーポイントと前記複数の第４キーポイントとからなり、
前記第６確定ユニットは、前記ターゲット部位が遮蔽されることに応答して、前記複数の第３キーポイントを前記複数の第１キーポイントとするように構成される、
ことを特徴とする請求項１８に記載の装置。

【請求項21】

前記ターゲット部位が遮蔽されることに応答して、第２調整パラメータを確定するように構成され、前記第２調整パラメータは、前記第３画像を調整するためのパラメータである第３確定モジュールと、
第１調整パラメータを確定するように構成され、前記第１調整パラメータは、予め設定された幅に基づいて前記第２調整パラメータを調整することにより得られる第４確定モジュールと、をさらに含む、
ことを特徴とする請求項１８に記載の装置。

【請求項22】

フレーム数を確定するように構成され、前記フレーム数は、前記ターゲット部位が遮蔽された画像の連続フレーム数である第５確定モジュールと、
前記フレーム数がターゲットフレーム数に達したことに応答して、次のフレームの画像に対する画像処理を停止するようにも構成される画像処理モジュールと、をさらに含む、
ことを特徴とする請求項２１に記載の装置。

【請求項23】

１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行可能な命令を記憶するための揮発性または不揮発性メモリと、を含み、
ここで、前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
第１画像における複数の第１キーポイントを確定し、前記複数の第１キーポイントは、ターゲット部位のキーポイントであるステップ、
前記第１画像のターゲット領域を確定し、前記ターゲット領域は、前記複数の第１キーポイントに対応する領域を拡張することに基づいて得られるステップ、
第２画像を取得し、前記第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、前記調整は、前記領域の中心点と第１調整パラメータに基づくものであり、前記第１局部画像は、前記領域に対応する画像であり、前記第２局部画像は、前記ターゲット領域における前記第１局部画像以外の画像であるステップ、である、
ことを特徴とする電子機器。

【請求項24】

前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
前記領域の中心点と前記第１調整パラメータに基づいて、前記第１局部画像の形状を調整するステップ、
前記第２局部画像における画素点を前記第２局部画像に分散充填することにより、前記第２画像を得るステップ、である、
ことを特徴とする請求項２３に記載の方法。

【請求項25】

前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
前記第１局部画像が縮小されることに応答して、第１移動方向を確定し、前記第１移動方向は、前記中心点に近いステップ、
前記第１調整パラメータに基づいて、第１移動距離を確定するステップ、
前記第２画像を確定し、前記第２画像は、前記第２局部画像における画素点を前記第１移動方向に前記第１移動距離移動させることにより得られるステップ、である、
ことを特徴とする請求項２４に記載の方法。

【請求項26】

前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
前記第１局部画像が拡大されることに応答して、第２移動方向を確定し、前記第２移動方向は、前記中心点から離れるステップ、
前記第１調整パラメータに基づいて、第２移動距離を確定するステップ、
前記第２画像を確定し、前記第２画像は、前記第２局部画像における画素点を前記第２移動方向に前記第２移動距離移動させることにより得られるステップ、である、
ことを特徴とする請求項２４に記載の方法。

【請求項27】

前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
ターゲット中心点を確定し、前記ターゲット中心点は、前記複数の第１キーポイントに基づいて得られるステップ、
第１キーポイントごとに、第２キーポイントを確定し、前記第２キーポイント、前記第１キーポイント、および前記ターゲット中心点は、同一直線上にあり、且つ第１距離は、第２距離より大きく、前記第１距離は、前記第２キーポイントと前記ターゲット中心点との距離であり、前記第２距離は、前記第１キーポイントと前記ターゲット中心点との距離であるステップ、
前記ターゲット領域を確定し、前記ターゲット領域は、複数の第２キーポイントに基づいて確定されるステップ、である、
ことを特徴とする請求項２３に記載の方法。

【請求項28】

前記１つ以上のプロセッサは、以下のステップの少なくとも１つを実行するように構成され、即ち、
前記複数の第１キーポイントの中心点を前記ターゲット中心点として確定するステップ、
第１キーポイントの一部の中心点を前記ターゲット中心点として確定し、前記第１キーポイントの一部は、前記領域の中心領域内に位置するステップ、である、
ことを特徴とする請求項２７に記載の方法。

【請求項29】

前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
第３画像における複数の第３キーポイントを確定し、前記複数の第３キーポイントは、前記ターゲット部位のキーポイントであり、前記第３画像は、前記第１画像より前のフレームの画像であるステップ、
第１画像における複数の第４キーポイントを確定し、前記複数の第４キーポイントは、前記ターゲット部位のキーポイントであり、且つ、前記第４キーポイントは、キーポイント確定モデルによって確定されるステップ、
前記複数の第１キーポイントを確定し、前記複数の第１キーポイントは、前記複数の第３キーポイントと前記複数の第４キーポイントに基づいて確定されるステップ、である、
ことを特徴とする請求項２３に記載の方法。

【請求項30】

前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
第４キーポイントごとに、前記複数の第３キーポイントのうちの第１ターゲットキーポイントを確定し、前記第１ターゲットキーポイントと前記第４キーポイントは、同じ画素値を有するステップ、
第１位置と第２位置の平均位置を確定し、前記第１位置は、前記第１ターゲットキーポイントの位置であり、前記第２位置は、前記第４キーポイントの位置であるステップ、
前記第１キーポイントを取得し、前記第１キーポイントは、前記第４キーポイントの像素値を前記平均位置にレンダリングすることにより得られるステップ、である、
ことを特徴とする請求項２９に記載の方法。

【請求項31】

前記１つ以上のプロセッサは、以下のステップの少なくとも１つを実行するように構成され、即ち、
前記ターゲット部位が遮蔽されることに応答して、前記複数の第３キーポイントのうちの第２ターゲットキーポイントを確定し、前記第２ターゲットキーポイントは、遮蔽されたターゲット部位に対応するキーポイントであり、前記複数の第１キーポイントを取得し、前記複数の第１キーポイントは、前記第２ターゲットキーポイントと前記複数の第４キーポイントとからなるステップ、
前記ターゲット部位が遮蔽されることに応答して、前記複数の第３キーポイントを前記複数の第１キーポイントとするステップ、である、
ことを特徴とする請求項２９に記載の方法。

【請求項32】

前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
前記ターゲット部位が遮蔽されることに応答して、第２調整パラメータを確定し、前記第２調整パラメータは、前記第３画像を調整するためのパラメータであるステップ、
第１調整パラメータを確定し、前記第１調整パラメータは、予め設定された幅に基づいて前記第２調整パラメータを調整することにより得られるステップ、である、
ことを特徴とする請求項２９に記載の方法。

【請求項33】

前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
フレーム数を確定し、前記フレーム数は、前記ターゲット部位が遮蔽された画像の連続フレーム数であるステップ、
前記フレーム数がターゲットフレーム数に達したことに応答して、次のフレームの画像に対する画像処理を停止するステップ、である、
ことを特徴とする請求項３２に記載の方法。

【請求項34】

命令が記憶され、前記命令が電子機器のプロセッサによって実行されるときに、以下のステップを前記電子機器に実行させることができ、即ち、
第１画像における複数の第１キーポイントを確定し、前記複数の第１キーポイントは、ターゲット部位のキーポイントであるステップ、
前記第１画像のターゲット領域を確定し、前記ターゲット領域は、前記複数の第１キーポイントに対応する領域を拡張することに基づいて得られるステップ、
第２画像を取得し、前記第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、前記調整は、前記領域の中心点と第１調整パラメータに基づくものであり、前記第１局部画像は、前記領域に対応する画像であり、前記第２局部画像は、前記ターゲット領域における前記第１局部画像以外の画像であるステップ、である、
ことを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、２０２０年０４月３０日に提出された出願番号２０２０１０３６４３８８.９、発明名称「画像処理方法、画像処理装置、および電子機器」の中国特許出願の優先権を主張し、その全ての内容は参照により本開示に援用する。

【0002】

本開示は、コンピュータ技術の分野に関し、特に画像処理方法および画像処理装置に関するものである。

【背景技術】

【0003】

現在、ユーザーが撮影した画像における人の顔部の美肌補正に対するニーズは、ますます高くなり、例えば、ユーザーは、人の顔部における目をもっと大きく、眉毛をもっと細く、鼻筋をもっと高くすることを望んでいる。したがって、画像における人の顔部がユーザーのニーズを満たすように、撮影した画像を画像処理する必要がある。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示の実施例は、画像処理効果を最適化することができる画像処理方法および画像処理装置に関する。前記技術案は、以下の通りである。

【0005】

本開示の実施例の一側面によれば、
第１画像における複数の第１キーポイントを確定し、前記複数の第１キーポイントは、ターゲット部位のキーポイントであることと、
前記第１画像のターゲット領域を確定し、前記ターゲット領域は、前記複数の第１キーポイントに対応する領域を拡張することに基づいて得られることと、
第２画像を取得し、前記第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、前記調整は、前記領域の中心点と第１調整パラメータに基づくものであり、前記第１局部画像は、前記領域に対応する画像であり、前記第２局部画像は、前記ターゲット領域における前記第１局部画像以外の画像であることと、を含む、画像処理方法に関する。

【0006】

いくつかの実施例では、前記第２画像を取得することは、
前記領域の中心点と前記第１調整パラメータに基づいて、前記第１局部画像の形状を調整することと、
前記第２局部画像における画素点を前記第２局部画像に分散充填することにより、前記第２画像を得ることと、含む。

【0007】

いくつかの実施例では、前記第２局部画像における画素点を前記第２局部画像に分散充填することにより、前記第２画像を得ることは、
前記第１局部画像が縮小されることに応答して、第１移動方向を確定し、前記第１移動方向は、前記中心点に近いことと、
前記第１調整パラメータに基づいて、第１移動距離を確定することと、
前記第２画像を確定し、前記第２画像は、前記第２局部画像における画素点を前記第１移動方向に前記第１移動距離移動させることにより得られることと、
含む。

【0008】

いくつかの実施例では、前記第２局部画像における画素点を前記第２局部画像に分散充填することにより、前記第２画像を得ることは、
前記第１局部画像が拡大されることに応答して、第２移動方向を確定し、前記第２移動方向は、前記中心点から離れることと、
前記第１調整パラメータに基づいて、第２移動距離を確定することと、
前記第２画像を確定し、前記第２画像は、前記第２局部画像における画素点を前記第２移動方向に前記第２移動距離移動させることにより得られることと、
含む。

【0009】

いくつかの実施例では、前記第１画像のターゲット領域を確定することは、
ターゲット中心点を確定し、前記ターゲット中心点は、前記複数の第１キーポイントに基づいて得られることと、
第１キーポイントごとに、第２キーポイントを確定し、前記第２キーポイント、前記第１キーポイント、および前記ターゲット中心点は、同一直線上にあり、且つ第１距離は、第２距離より大きく、前記第１距離は、前記第２キーポイントと前記ターゲット中心点との距離であり、前記第２距離は、前記第１キーポイントと前記ターゲット中心点との距離であることと、
前記ターゲット領域を確定し、前記ターゲット領域は、複数の第２キーポイントに基づいて確定されることと、含む。

【0010】

いくつかの実施例では、前記ターゲット中心点を確定することは、以下のいずれかを含み、即ち、
前記複数の第１キーポイントの中心点を前記ターゲット中心点として確定すること、
第１キーポイントの一部の中心点を前記ターゲット中心点として確定し、前記第１キーポイントの一部は、前記領域の中心領域内に位置すること、である。

【0011】

いくつかの実施例では、前記第１画像における複数の第１キーポイントを確定することは、
第３画像における複数の第３キーポイントを確定し、前記複数の第３キーポイントは、前記ターゲット部位のキーポイントであり、前記第３画像は、前記第１画像より前のフレームの画像であることと、
第１画像における複数の第４キーポイントを確定し、前記複数の第４キーポイントは、前記ターゲット部位のキーポイントであり、且つ、前記第４キーポイントは、キーポイント確定モデルによって確定されることと、
前記複数の第１キーポイントを確定し、前記複数の第１キーポイントは、前記複数の第３キーポイントと前記複数の第４キーポイントに基づいて確定されることと、含む。

【0012】

いくつかの実施例では、前記複数の第１キーポイントを確定することは、
第４キーポイントごとに、前記複数の第３キーポイントのうちの第１ターゲットキーポイントを確定し、前記第１ターゲットキーポイントと前記第４キーポイントは、同じ画素値を有することと、
第１位置と第２位置の平均位置を確定し、前記第１位置は、前記第１ターゲットキーポイントの位置であり、前記第２位置は、前記第４キーポイントの位置であることと、
前記第１キーポイントを取得し、前記第１キーポイントは、前記第４キーポイントの像素値を前記平均位置にレンダリングすることにより得られることと、含む。

【0013】

いくつかの実施例では、前記複数の第１キーポイントを確定することは、以下のいずれかを含み、即ち、
前記ターゲット部位が遮蔽されることに応答して、前記複数の第３キーポイントのうちの第２ターゲットキーポイントを確定し、前記第２ターゲットキーポイントは、遮蔽されたターゲット部位に対応するキーポイントであり、前記複数の第１キーポイントを取得し、前記複数の第１キーポイントは、前記第２ターゲットキーポイントと前記複数の第４キーポイントとからなること、
前記ターゲット部位が遮蔽されることに応答して、前記複数の第３キーポイントを前記複数の第１キーポイントとすること、である。

【0014】

いくつかの実施例では、前記方法は、
前記ターゲット部位が遮蔽されることに応答して、第２調整パラメータを確定し、前記第２調整パラメータは、前記第３画像を調整するためのパラメータであることと、
第１調整パラメータを確定し、前記第１調整パラメータは、予め設定された幅に基づいて前記第２調整パラメータを調整することにより得られることと、をさらに含む。

【0015】

いくつかの実施例では、前記方法は、
フレーム数を確定し、前記フレーム数は、前記ターゲット部位が遮蔽された画像の連続フレーム数であることと、
前記フレーム数がターゲットフレーム数に達したことに応答して、次のフレームの画像に対する画像処理を停止することと、さらに含む。

【0016】

本開示の実施例の別の側面によれば、
第１画像における複数の第１キーポイントを確定するように構成され、前記複数の第１キーポイントは、ターゲット部位のキーポイントである第１確定モジュールと、
前記第１画像のターゲット領域を確定するように構成され、前記ターゲット領域は、前記複数の第１キーポイントに対応する領域を拡張することに基づいて得られる第２確定モジュールと、
第２画像を取得するように構成され、前記第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、前記調整は、前記領域の中心点と第１調整パラメータに基づくものであり、前記第１局部画像は、前記領域に対応する画像であり、前記第２局部画像は、前記ターゲット領域における前記第１局部画像以外の画像である画像取得モジュールと、を含む、画像処理装置に関する。

【0017】

いくつかの実施例では、前記画像取得モジュールは、
前記領域の中心点と前記第１調整パラメータに基づいて、前記第１局部画像の形状を調整するように構成される形状調整ユニットと、
前記第２局部画像における画素点を前記第２局部画像に分散充填することにより、前記第２画像を得るように構成される充填ユニットと、を含む。

【0018】

いくつかの実施例では、前記充填ユニットは、以下のように構成され、即ち、前記第１局部画像が縮小されることに応答して、第１移動方向を確定し、前記第１移動方向は、前記中心点に近く、前記第１調整パラメータに基づいて、第１移動距離を確定し、前記第２画像を確定し、前記第２画像は、前記第２局部画像における画素点を前記第１移動方向に前記第１移動距離移動させることにより得られる。

【0019】

いくつかの実施例では、前記充填ユニットは、以下のように構成され、即ち、前記第１局部画像が拡大されることに応答して、第２移動方向を確定し、前記第２移動方向は、前記中心点から離れ、前記第１調整パラメータに基づいて、第２移動距離を確定し、前記第２画像を確定し、前記第２画像は、前記第２局部画像における画素点を前記第２移動方向に前記第２移動距離移動させることにより得られる。

【0020】

いくつかの実施例では、前記第２確定モジュールは、
ターゲット中心点を確定するように構成され、前記ターゲット中心点は、前記複数の第１キーポイントに基づいて得られる第１確定ユニットと、
第１キーポイントごとに、第２キーポイントを確定するように構成され、前記第２キーポイント、前記第１キーポイント、および前記ターゲット中心点は、同一直線上にあり、且つ第１距離は、第２距離より大きく、前記第１距離は、前記第２キーポイントと前記ターゲット中心点との距離であり、前記第２距離は、前記第１キーポイントと前記ターゲット中心点との距離である第２確定ユニットと、
前記ターゲット領域を確定するように構成され、前記ターゲット領域は、複数の第２キーポイントに基づいて確定される第３確定ユニットと、を含む。

【0021】

いくつかの実施例では、前記第１確定ユニットは、前記複数の第１キーポイントの中心点を前記ターゲット中心点として確定するように構成され、
前記第１確定ユニットは、第１キーポイントの一部の中心点を前記ターゲット中心点として確定するように構成され、前記第１キーポイントの一部は、前記領域の中心領域内に位置する。

【0022】

いくつかの実施例では、前記第１確定モジュールは、
第３画像における複数の第３キーポイントを確定するように構成され、前記複数の第３キーポイントは、前記ターゲット部位のキーポイントであり、前記第３画像は、前記第１画像より前のフレームの画像である第４確定ユニットと、
第１画像における複数の第４キーポイントを確定するように構成され、前記複数の第４キーポイントは、前記ターゲット部位のキーポイントであり、且つ、前記第４キーポイントは、キーポイント確定モデルによって確定される第５確定ユニットと、
前記複数の第１キーポイントを確定するように構成され、前記複数の第１キーポイントは、前記複数の第３キーポイントと前記複数の第４キーポイントに基づいて確定される第６確定ユニットと、を含む。

【0023】

いくつかの実施例では、前記第６確定ユニットは、以下のように構成され、即ち、第４キーポイントごとに、前記複数の第３キーポイントのうちの第１ターゲットキーポイントを確定し、前記第１ターゲットキーポイントと前記第４キーポイントは、同じ画素値を有し、第１位置と第２位置の平均位置を確定し、前記第１位置は、前記第１ターゲットキーポイントの位置であり、前記第２位置は、前記第４キーポイントの位置であり、前記第１キーポイントを取得し、前記第１キーポイントは、前記第４キーポイントの像素値を前記平均位置にレンダリングすることにより得られる。

【0024】

いくつかの実施例では、前記第６確定ユニットは、以下のように構成され、即ち、前記ターゲット部位が遮蔽されることに応答して、前記複数の第３キーポイントのうちの第２ターゲットキーポイントを確定し、前記第２ターゲットキーポイントは、遮蔽されたターゲット部位に対応するキーポイントであり、前記複数の第１キーポイントを取得し、前記複数の第１キーポイントは、前記第２ターゲットキーポイントと前記複数の第４キーポイントとからなり、
前記第６確定ユニットは、前記ターゲット部位が遮蔽されることに応答して、前記複数の第３キーポイントを前記複数の第１キーポイントとするように構成される。

【0025】

いくつかの実施例では、前記装置は、
前記ターゲット部位が遮蔽されることに応答して、第２調整パラメータを確定するように構成され、前記第２調整パラメータは、前記第３画像を調整するためのパラメータである第３確定モジュールと、
第１調整パラメータを確定するように構成され、前記第１調整パラメータは、予め設定された幅に基づいて前記第２調整パラメータを調整することにより得られる第４確定モジュールと、をさらに含む。

【0026】

いくつかの実施例では、前記装置は、
フレーム数を確定するように構成され、前記フレーム数は、前記ターゲット部位が遮蔽された画像の連続フレーム数である第５確定モジュールと、
前記フレーム数がターゲットフレーム数に達したことに応答して、次のフレームの画像に対する画像処理を停止するようにも構成される画像処理モジュールと、をさらに含む。

【0027】

本開示の実施例の別の側面によれば、１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行可能な命令を記憶するための揮発性または不揮発性メモリと、を含み、
ここで、前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
第１画像における複数の第１キーポイントを確定し、前記複数の第１キーポイントは、ターゲット部位のキーポイントであるステップ、
前記第１画像のターゲット領域を確定し、前記ターゲット領域は、前記複数の第１キーポイントに対応する領域を拡張することに基づいて得られるステップ、
第２画像を取得し、前記第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、前記調整は、前記領域の中心点と第１調整パラメータに基づくものであり、前記第１局部画像は、前記領域に対応する画像であり、前記第２局部画像は、前記ターゲット領域における前記第１局部画像以外の画像であるステップ、である、電子機器に関する。

【0028】

いくつかの実施例では、前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
前記領域の中心点と前記第１調整パラメータに基づいて、前記第１局部画像の形状を調整するステップ、
前記第２局部画像における画素点を前記第２局部画像に分散充填することにより、前記第２画像を得るステップ、である。

【0029】

いくつかの実施例では、前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
前記第１局部画像が縮小されることに応答して、第１移動方向を確定し、前記第１移動方向は、前記中心点に近いステップ、
前記第１調整パラメータに基づいて、第１移動距離を確定するステップ、
前記第２画像を確定し、前記第２画像は、前記第２局部画像における画素点を前記第１移動方向に前記第１移動距離移動させることにより得られるステップ、である。

【0030】

いくつかの実施例では、前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
前記第１局部画像が拡大されることに応答して、第２移動方向を確定し、前記第２移動方向は、前記中心点から離れるステップ、
前記第１調整パラメータに基づいて、第２移動距離を確定するステップ、
前記第２画像を確定し、前記第２画像は、前記第２局部画像における画素点を前記第２移動方向に前記第２移動距離移動させることにより得られるステップ、である。

【0031】

いくつかの実施例では、前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
ターゲット中心点を確定し、前記ターゲット中心点は、前記複数の第１キーポイントに基づいて得られるステップ、
第１キーポイントごとに、第２キーポイントを確定し、前記第２キーポイント、前記第１キーポイント、および前記ターゲット中心点は、同一直線上にあり、且つ第１距離は、第２距離より大きく、前記第１距離は、前記第２キーポイントと前記ターゲット中心点との距離であり、前記第２距離は、前記第１キーポイントと前記ターゲット中心点との距離であるステップ、
前記ターゲット領域を確定し、前記ターゲット領域は、複数の第２キーポイントに基づいて確定されるステップ、である。

【0032】

いくつかの実施例では、前記１つ以上のプロセッサは、以下のステップの少なくとも１つを実行するように構成され、即ち、
前記複数の第１キーポイントの中心点を前記ターゲット中心点として確定するステップ、
第１キーポイントの一部の中心点を前記ターゲット中心点として確定し、前記第１キーポイントの一部は、前記領域の中心領域内に位置するステップ、
である。

【0033】

いくつかの実施例では、前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
第３画像における複数の第３キーポイントを確定し、前記複数の第３キーポイントは、前記ターゲット部位のキーポイントであり、前記第３画像は、前記第１画像より前のフレームの画像であるステップ、
第１画像における複数の第４キーポイントを確定し、前記複数の第４キーポイントは、前記ターゲット部位のキーポイントであり、且つ、前記第４キーポイントは、キーポイント確定モデルによって確定されるステップ、
前記複数の第１キーポイントを確定し、前記複数の第１キーポイントは、前記複数の第３キーポイントと前記複数の第４キーポイントに基づいて確定されるステップ、である。

【0034】

いくつかの実施例では、前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
第４キーポイントごとに、前記複数の第３キーポイントのうちの第１ターゲットキーポイントを確定し、前記第１ターゲットキーポイントと前記第４キーポイントは、同じ画素値を有するステップ、
第１位置と第２位置の平均位置を確定し、前記第１位置は、前記第１ターゲットキーポイントの位置であり、前記第２位置は、前記第４キーポイントの位置であるステップ、
前記第１キーポイントを取得し、前記第１キーポイントは、前記第４キーポイントの像素値を前記平均位置にレンダリングすることにより得られるステップ、である。

【0035】

いくつかの実施例では、前記１つ以上のプロセッサは、以下のステップの少なくとも１つを実行するように構成され、即ち、
前記ターゲット部位が遮蔽されることに応答して、前記複数の第３キーポイントのうちの第２ターゲットキーポイントを確定し、前記第２ターゲットキーポイントは、遮蔽されたターゲット部位に対応するキーポイントであり、前記複数の第１キーポイントを取得し、前記複数の第１キーポイントは、前記第２ターゲットキーポイントと前記複数の第４キーポイントとからなるステップ、
前記ターゲット部位が遮蔽されることに応答して、前記複数の第３キーポイントを前記複数の第１キーポイントとするステップ、である。

【0036】

いくつかの実施例では、前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
前記ターゲット部位が遮蔽されることに応答して、第２調整パラメータを確定し、前記第２調整パラメータは、前記第３画像を調整するためのパラメータであるステップ、
第１調整パラメータを確定し、前記第１調整パラメータは、予め設定された幅に基づいて前記第２調整パラメータを調整することにより得られるステップ、である。

【0037】

いくつか実施例では、前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
フレーム数を確定し、前記フレーム数は、前記ターゲット部位が遮蔽された画像の連続フレーム数であるステップ、
前記フレーム数がターゲットフレーム数に達したことに応答して、次のフレームの画像に対する画像処理を停止するステップ、である。

【0038】

本開示の実施例の別の側面によれば、命令が記憶され、前記命令が電子機器のプロセッサによって実行されるときに、以下のステップを前記電子機器に実行させることができ、即ち、
第１画像における複数の第１キーポイントを確定し、前記複数の第１キーポイントは、ターゲット部位のキーポイントであるステップ、
前記第１画像のターゲット領域を確定し、前記ターゲット領域は、前記複数の第１キーポイントに対応する領域を拡張することに基づいて得られるステップ、
第２画像を取得し、前記第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、前記調整は、前記領域の中心点と第１調整パラメータに基づくものであり、前記第１局部画像は、前記領域に対応する画像であり、前記第２局部画像は、前記ターゲット領域における前記第１局部画像以外の画像であるステップ、である、コンピュータ可読記憶媒体に関する。

【0039】

本開示の実施例の別の側面によれば、命令が電子機器のプロセッサによって実行されるときに、以下のステップを前記電子機器に実行させることができ、即ち、
第１画像における複数の第１キーポイントを確定し、前記複数の第１キーポイントは、ターゲット部位のキーポイントであるステップ、
前記第１画像のターゲット領域を確定し、前記ターゲット領域は、前記複数の第１キーポイントに対応する領域を拡張することに基づいて得られるステップ、
第２画像を取得し、前記第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、前記調整は、前記領域の中心点と第１調整パラメータに基づくものであり、前記第１局部画像は、前記領域に対応する画像であり、前記第２局部画像は、前記ターゲット領域における前記第１局部画像以外の画像であるステップ、
である、コンピュータプログラム製品に関する。

【0040】

本開示の実施例では、第１画像におけるターゲット部位が位置する領域を拡張することにより、ターゲット領域を得て、結果として、調整して得られた第２画像においてターゲット部位の変化が第１画像における他の領域に徐々に影響を与えることができ、ターゲット部位を調整する際に、画像における他の領域の画素点に影響を与え、画像に奇形を起こすことを防止し、画像処理効果を最適化した。

【0041】

上記の一般的な説明および後述の詳細な説明は、単なる例示的および説明的なものに過ぎず、本開示を限定するものではないことを理解すべきである。

【0042】

本開示の実施例における技術案をより明確に説明するために、以下、実施例の説明で使用される図面を簡単に説明する。以下の説明における図面は、本開示のいくつかの実施例に過ぎない。当業者にとって、創造的な作業を行うことなく、これらの図面に基づいて他の図面を得ることもできる。

【図面の簡単な説明】

【0043】

【図1】一例示的な実施例による画像処理方法の原理図である。

【図2】一例示的な実施例による端末のブロック図である。

【図3】一例示的な実施例によるサーバーのブロック図である。

【図4】一例示的な実施例による画像処理装置のブロック図である。

【図5】一例示的な実施例による画像処理方法のフローチャートである。

【図6】一例示的な実施例による画像処理方法のフローチャートである。

【図7】一例示的な実施例による顔部領域のキーポイントの概略図である。

【図8】一例示的な実施例によるターゲット領域の概略図である。

【発明を実施するための形態】

【0044】

以下、当業者に本開示の技術案をよりよく理解させるために、図面を参照して、本開示の実施例における技術案を明確かつ完全に説明する。

【0045】

なお、本開示の明細書および請求の範囲並びに上記の図面における用語「第１」、「第２」などは、必ずしも特定の順序または前後の順序を説明するためのものではなく、類似のオブジェクトを区別するためのものである。このように使用されたデータは、本明細書で説明された本開示の実施例が本明細書に図示または説明されたもの以外の順序で実施可能であるように、適切な場合には交換可能であることが理解されるべきである。以下、例示的な実施例で説明された実施形態は、本開示と一致する全ての実施形態を表していない。逆に、それらは、添付の特許請求の範囲に詳述された、本開示のいくつかの側面に一致する装置および方法の例にすぎない。

【0046】

本開示に係るユーザー情報は、ユーザーによって許可された情報または各当事者によって十分に許可された情報である。

【0047】

本開示は、画像処理方法を提供する。ここで、電子機器は、第１画像におけるターゲット部位を調整することにより、第１画像に対する画像処理を完了する。図１を参照すると、本開示の実施例の実施環境は、ユーザーおよび電子機器を含む。ここで、ユーザーは、画像処理動作をトリガーし、電子機器は、当該画像処理動作を受信し、当該画像処理動作に基づいて第１画像を画像処理する。

【0048】

ここで、当該第１画像は、撮影された静止画像であり、または、第１画像は、ビデオストリーム中の画像である。本開示の実施例では、これについて具体的に限定しない。当該第１画像がビデオストリーム中の画像であることに応答して、電子機器は、ビデオストリームから当該第１画像を確定する。ここで、当該ビデオストリームは、長いビデオに対応するビデオストリームであり、または、当該ビデオストリームは、短いビデオに対応するビデオストリームである。

【0049】

当該第１画像が静止画像であることに応答して、電子機器は、まず静止画像を収集する必要があり、あるいは、電子機器は、他の電子機器から送信した静止画像を受信する。いくつかの実施例では、電子機器は、画像収集機能を有する。相応的に、電子機器は、静止画像を収集する。電子機器が静止画像を収集するプロセスは、以下の通りであり、即ち、電子機器は、撮影した画面をビューファインダーに表示し、ユーザーの確認動作を受信したことに応答して、電子機器は、当該確認動作に基づいて当該ビューファインダー内の画面が第１画像であると確認する。いくつかの実施例では、電子機器は、他の電子機器から送信した静止画像を受信し、受信した第１画像を静止画像として確定する。ここで、他の電子機器が当該静止画像を収集するプロセスは、電子機器が静止画像を収集するプロセスと類似し、ここでは説明を省略する。

【0050】

当該第１画像がビデオストリーム中の画像であることに応答して、電子機器は、まずビデオストリームを収集する必要があり、あるいは、電子機器は、他の電子機器から送信したビデオストリームを受信する。いくつかの実施例では、電子機器は、画像収集機能を有する。相応的に、電子機器は、ユーザーから入力された撮影開始命令を受信し、ビデオストリームの収集を開始する。ユーザーから入力された撮影終了命令を受信したことに応答して、ビデオストリームの収集を停止し、撮影開始命令と撮影終了命令との間のビデオストリームを確定し、当該ビデオストリームからいずれかのフレームの画像を第１画像として確定する。いくつかの実施例では、電子機器は、他の電子機器から送信したビデオストリームを受信し、受信したビデオストリームから第１画像を確定する。ここで、他の電子機器がビデオストリームを収集するプロセスは、電子機器がビデオストリームを収集するプロセスと類似し、ここでは説明を省略する。

【0051】

なお、電子機器は、第１画像を収集するプロセスで、第１画像に対して画像処理を行い、画像処理を行った後の第２画像を直接に出力する。または、電子機器は、まず第１画像を収集し、第１画像を出力し、画像処理命令を受信したことに応答して、第１画像に対して画像処理を行うことにより、第２画像を得て、本開示の実施例では、これについて具体的に限定しない。

【0052】

いくつかの実施例では、画像処理命令には、今回の画像処理のターゲット部位と第１調整パラメータが含まれ、電子機器は、当該画像処理命令に基づいて今回の画像処理のターゲット部位と第１調整パラメータを確定する。いくつかの実施例では、電子機器は、画像処理のターゲット部位と第１調整パラメータを事前に設定し、画像調整命令を受信したことに応答して、当該ターゲット部位と第１調整パラメータとに直接に基づいて当該第１画像に対して画像処理を行う。

【0053】

なお、当該ターゲット部位は、顔部領域における五感または顔部輪郭であり、例えば、当該ターゲット部位は、目、眉毛、鼻筋、口または頬などである。または、当該ターゲット部位は、例えば腰、足などの他の身体部位である。

【0054】

いくつかの実施例では、当該電子機器は、端末であり、例えば、当該電子機器は、カメラ、携帯電話、タブレットコンピュータ、ウェアラブルデバイスなどである。ここで、端末に画像処理アプリケーションをインストールし、当該画像処理アプリケーションを介して画像処理を行う。当該画像処理アプリケーションは、カメラアプリケーション、美顔カメラアプリケーション、動画撮影アプリケーションなどである。

【0055】

いくつかの実施例では、当該電子機器は、画像処理を行うためのサーバーである。相応的に、電子機器は、他の電子機器から送信した処理すべき第１画像を受信し、当該第１画像を画像処理することにより、第２画像を得て、得られた第２画像を他の電子機器に返信する。サーバーは、単一のサーバー、複数のサーバーからなるサーバークラスター、またはクラウドサーバーなどである。

【0056】

例示的な実施例では、以下のような電子機器をさらに提供し、当該電子機器は、１つ以上のプロセッサと、
当該１つ以上のプロセッサによって実行可能な命令を記憶するための揮発性または不揮発性メモリと、を含み、
ここで、１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
第１画像における複数の第１キーポイントを確定し、第１画像における複数の第１キーポイントを確定し、複数の第１キーポイントは、ターゲット部位のキーポイントであるステップ、
第１画像のターゲット領域を確定し、ターゲット領域は、複数の第１キーポイントに対応する領域を拡張することに基づいて得られるステップ、
第２画像を取得し、第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、調整は、領域の中心点と第１調整パラメータに基づくものであり、第１局部画像は、領域に対応する画像であり、第２局部画像は、ターゲット領域における第１局部画像以外の画像であるステップ、である。

【0057】

いくつかの実施例では、１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
領域の中心点と第１調整パラメータに基づいて、第１局部画像の形状を調整するステップ、
第２局部画像における画素点を第２局部画像に分散充填することにより、第２画像を得るステップ、である。

【0058】

いくつかの実施例では、１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
第１局部画像が縮小されることに応答して、第１移動方向を確定し、第１移動方向は、中心点に近いステップ、
第１調整パラメータに基づいて、第１移動距離を確定するステップ、
第２画像を確定し、第２画像は、第２局部画像における画素点を第１移動方向に第１移動距離移動させることにより得られるステップ、である。

【0059】

いくつかの実施例では、１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
第１局部画像が拡大されることに応答して、第２移動方向を確定し、第２移動方向は、中心点から離れるステップ、
第１調整パラメータに基づいて、第２移動距離を確定するステップ、
第２画像を確定し、第２画像は、第２局部画像における画素点を第２移動方向に第２移動距離移動させることにより得られるステップ、である。

【0060】

いくつかの実施例では、１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
ターゲット中心点を確定し、ターゲット中心点は、複数の第１キーポイントに基づいて得られるステップ、
第１キーポイントごとに、第２キーポイントを確定し、第２キーポイント、第１キーポイント、およびターゲット中心点は、同一直線上にあり、且つ第１距離は、第２距離より大きく、第１距離は、第２キーポイントとターゲット中心点との距離であり、第２距離は、第１キーポイントとターゲット中心点との距離であるステップ、
ターゲット領域を確定し、ターゲット領域は、複数の第２キーポイントに基づいて確定されるステップ、である。

【0061】

いくつかの実施例では、１つ以上のプロセッサは、以下のステップの少なくとも１つを実行するように構成され、即ち、
複数の第１キーポイントの中心点をターゲット中心点として確定するステップ、
第１キーポイントの一部の中心点をターゲット中心点として確定し、第１キーポイントの一部は、領域の中心領域内に位置するステップ、である。

【0062】

いくつかの実施例では、１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
第３画像における複数の第３キーポイントを確定し、複数の第３キーポイントは、ターゲット部位のキーポイントであり、第３画像は、第１画像より前のフレームの画像であるステップ、
第１画像における複数の第４キーポイントを確定し、複数の第４キーポイントは、ターゲット部位のキーポイントであり、且つ、第４キーポイントは、キーポイント確定モデルによって確定されるステップ、
複数の第１キーポイントを確定し、複数の第１キーポイントは、複数の第３キーポイントと複数の第４キーポイントに基づいて確定されるステップ、である。

【0063】

いくつかの実施例では、１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
第４キーポイントごとに、複数の第３キーポイントのうちの第１ターゲットキーポイントを確定し、第１ターゲットキーポイントと第４キーポイントは、同じ画素値を有するステップ、
第１位置と第２位置の平均位置を確定し、第１位置は、第１ターゲットキーポイントの位置であり、第２位置は、第４キーポイントの位置であるステップ、
第１キーポイントを取得し、第１キーポイントは、第４キーポイントの像素値を平均位置にレンダリングすることにより得られるステップ、である。

【0064】

いくつかの実施例では、１つ以上のプロセッサは、以下のステップの少なくとも１つを実行するように構成され、即ち、
ターゲット部位が遮蔽されることに応答して、複数の第３キーポイントのうちの第２ターゲットキーポイントを確定し、第２ターゲットキーポイントは、遮蔽されたターゲット部位に対応するキーポイントであり、複数の第１キーポイントを取得し、複数の第１キーポイントは、第２ターゲットキーポイントと複数の第４キーポイントとからなるステップ、
ターゲット部位が遮蔽されることに応答して、複数の第３キーポイントを複数の第１キーポイントとするステップ、である。

【0065】

いくつかの実施例では、１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
ターゲット部位が遮蔽されることに応答して、第２調整パラメータを確定し、第２調整パラメータは、第３画像を調整するためのパラメータであるステップ、
第１調整パラメータを確定し、第１調整パラメータは、予め設定された幅に基づいて第２調整パラメータを調整することにより得られるステップ、である。

【0066】

いくつかの実施例では、１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
フレーム数を確定し、フレーム数は、ターゲット部位が遮蔽された画像の連続フレーム数であるステップ、
フレーム数がターゲットフレーム数に達したことに応答して、次のフレームの画像に対する画像処理を停止するステップ、である。

【0067】

本開示の実施例では、第１画像におけるターゲット部位が位置する領域を拡張することにより、ターゲット領域を得て、結果として、調整して得られた第２画像においてターゲット部位の変化が第１画像における他の領域に徐々に影響を与えることができ、ターゲット部位を調整する際に、画像における他の領域の画素点に影響を与え、画像に奇形を起こすことを防止し、画像処理効果を最適化した。

【0068】

いくつかの実施例では、電子機器は、端末として提供される。図２は、一例示的な実施例による端末のブロック図である。いくつかの実施例では、当該端末２００は、スマートフォン、タブレット、ＭＰ３（Moving Picture Experts Group Audio Layer III、エムペグオーディオレイヤー３）プレーヤー、ＭＰ４（Moving Picture Experts Group Audio Layer IV、エムペグオーディオレイヤー４）プレーヤー、ノートパソコンまたはデスクトップパソコンである。端末２００は、ユーザーデバイス、携帯端末、ラップトップ端末、デスクトップ端末などの他の名称と呼ばれることもある。

【0069】

通常、端末２００は、１つ以上のプロセッサ２０１と揮発性または不揮発性メモリ２０２とを含む。

【0070】

いくつかの実施例では、プロセッサ２０１は、例えば４コアプロセッサ、８コアプロセッサなどの１つ以上の処理コアを含む。プロセッサ１０１は、ＤＳＰ（Digital Signal Processing、デジタル信号処理）、ＦＰＧＡ（Field－Programmable Gate Array、フィールドプログラマブルゲートアレイ）、ＰＬＡ（Programmable Logic Array、プログラマブル論理アレイ）のうちの少なくとも１つのハードウェアにより実現される。いくつかの実施例では、プロセッサ２０１は、メインプロセッサおよびコプロセッサを含み、メインプロセッサは、起動状態のデータを処理するためのプロセッサであり、ＣＰＵ（Central Processing Unit、中央処理装置）とも呼ばれ、コプロセッサは、スタンバイ状態のデータを処理するための低消費電力プロセッサである。いくつかの実施例では、プロセッサ２０１は、ＧＰＵ（Graphics Processing Unit、画像プロセッサ）を統合し、ＧＰＵは、ディスプレイが表示する必要があるコンテンツのレンダリングと描画に使用される。いくつかの実施例では、プロセッサ２０１は、ＡＩ（Artificial Intelligence、人工知能）プロセッサをさらに含んでもよく、当該ＡＩプロセッサは、機械学習に関連する計算動作を処理するために使用される。

【0071】

メモリ２０２は、１つ以上のコンピュータ可読記憶媒体を含み、当該コンピュータ可読記憶媒体は、非一時的である。メモリ２０２は、１つ以上のディスク記憶デバイス、フラッシュストレージデバイスなどの、高速ランダムアクセスメモリ、および不揮発性メモリをさらに含む。いくつかの実施例では、メモリ２０２内の非一時的なコンピュータ可読記憶媒体は、少なくとも１つの命令を記憶するために使用され、当該少なくとも１つの命令は、本開示の方法の実施例による画像処理方法を実現するために、プロセッサ２０１によって実行されるために使用される。

【0072】

いくつかの実施例では、選択肢の一つとして、端末２００は、周辺デバイスインターフェース２０３と少なくとも１つの周辺デバイスとをさらに含む。プロセッサ２０１、メモリ２０２、および周辺デバイスインターフェース２０３は、バスまたは信号線を介して接続されている。各周辺デバイスは、バス、信号線、または回路基板を介して周辺デバイスインターフェース２０３に接続されている。例示的に、周辺デバイスは、高周波回路２０４、タッチディスプレイ２０５、カメラアセンブリ２０６、オーディオ回路２０７、位置決めアセンブリ２０８および電源２０９のうちの少なくとも１つを含む。

【0073】

周辺デバイスインターフェース２０３は、少なくとも１つの周辺デバイスをプロセッサ２０１およびメモリ２０２に接続するために使用される。ここで、当該少なくとも１つの周辺デバイスは、Ｉ／Ｏ（Input／Output、入力／出力）に関連する周辺デバイスである。いくつかの実施例では、プロセッサ２０１、メモリ２０２、および周辺デバイスインターフェース２０３は、同一のチップまたは回路基板に集積され、いくつかの他の実施例では、プロセッサ２０１、メモリ２０２、および周辺デバイスインターフェース２０３のいずれか１つまたは２つは、個別のチップまたは回路基板上に実現され、本実施例ではこれに対して限定しない。

【0074】

高周波回路２０４は、ＲＦ（Radio Frequency、高周波）信号を受信および送信するために使用され、電磁信号とも呼ばれる。高周波回路２０４は、電磁信号を介して通信ネットワークおよび他の通信デバイスと通信する。高周波回路２０４は、電気信号を電磁信号に変換して送信するか、または受信した電磁信号を電気信号に変換する。選択肢の一つとして、高周波回路２０４は、アンテナシステム、ＲＦトランシーバ、１つ以上の増幅器、チューナー、発振器、デジタル信号プロセッサ、コーデックチップセット、加入者識別モジュールカードなどを含む。高周波回路２０４は、少なくとも１つの無線通信プロトコルを介して他の電子機器と通信する。当該無線通信プロトコルには、メトロポリタンエリアネットワーク、すべての世代のモバイル通信ネットワーク（２Ｇ、３Ｇ、４Ｇ、および５Ｇ）、無線ＬＡＮおよび/またはＷｉＦｉ（Wireless Fidelity、ワイヤレスフィデリティ）ネットワークが含まれるが、これらに限定されない。いくつかの実施例では、高周波回路２０４は、ＮＦＣ（Near Field Communication、近距離無線通信）に関する回路をさらに含み、本開示ではこれに対して限定しない。

【0075】

ディスプレイ２０５は、ＵＩ（User Interface、ユーザーインターフェース）を表示するために使用される。当該ＵＩは、グラフィック、テキスト、アイコン、ビデオ、およびそれらの任意の組み合わせを含む。ディスプレイ２０５がタッチディスプレイであることに応答して、ディスプレイ２０５は、ディスプレイ２０５の表面または表面の上方にあるタッチ信号を収集する能力をさらに有する。当該タッチ信号は、制御信号としてプロセッサ２０１に入力されて処理される。このとき、ディスプレイ２０５は、仮想ボタンおよび／または仮想キーボードを提供するためにも使用され、ソフトボタンおよび／またはソフトキーボードとも呼ばれる。いくつかの実施例では、ディスプレイ２０５は、１つであり、端末２００のフロントパネルに設けられ、別の実施例では、ディスプレイ２０５は、少なくとも２つであり、端末２００の異なる表面にそれぞれ設けられ、または折り畳みの形で設計され、さらに別の実施例では、ディスプレイ２０５は、フレキシブルディスプレイであり、端末２００の曲げ面または折り畳み面に設けられる。さらに、ディスプレイ２０５は、非矩形の不規則な形状、すなわち特殊な形状のスクリーンに設定されている。ディスプレイ２０５は、ＬＣＤ（Liquid Crystal Display、液晶ディスプレイ）およびＯＬＥＤ（Organic Light-Emitting Diode、有機発光ダイオード）などの材料で作られている。

【0076】

カメラアセンブリ２０６は、画像またはビデオを収集するために使用される。いくつかの実施例では、カメラアセンブリ２０６は、フロントカメラとリアカメラを含む。通常、フロントカメラは端末２００のフロントパネルに設置され、リアカメラは端末２００の背面に設置される。いくつかの実施例では、メインカメラと被写界深度カメラとの融合によって背景ぼかし機能を実現し、メインカメラと広角カメラとの融合によってパノラマ撮影及びＶＲ（Virtual Reality、仮想現実）撮影機能またはその他の融合撮影機能を実現するために、リアカメラは少なくとも２つで、それぞれがメインカメラ、被写界深度カメラ、広角カメラ、長焦点カメラのいずれかである。いくつかの実施例では、カメラアセンブリ２０６は、フラッシュをさらに含む。フラッシュは、モノクロ温度フラッシュであってもよいし、デュアルカラー温度フラッシュであってもよい。デュアルカラー温度フラッシュとは、暖光フラッシュと冷光フラッシュとの組み合わせを指し、異なる色温度での光線補償に使用される。

【0077】

オーディオ回路２０７は、マイクおよびスピーカーを含む。マイクは、ユーザーおよび環境の音波を収集し、音波を電気信号に変換してプロセッサ２０１に入力して処理し、または高周波回路２０４に入力することにより、音声通信を実現する。ステレオ収集またはノイズ低減の目的で、マイクは複数であり、端末２００の異なる部位にそれぞれ配置される。いくつかの実施例では、マイクは、アレイマイクまたは全指向性収集型マイクである。スピーカは、プロセッサ２０１または高周波回路１４０４からの電気信号を音波に変換するために使用される。スピーカは、従来のフィルムスピーカであってもよく、圧電セラミックスピーカであってもよい。スピーカが圧電セラミックスピーカであることに応答して、電気信号を人間に聞こえる音波に変換するだけでなく、電気信号を人間に聞こえない音波に変換することにより測距するなどの用途も考えられる。いくつかの実施例では、オーディオ回路２０７は、ヘッドフォンジャックをさらに含む。

【0078】

位置決めアセンブリ２０８は、端末２００の現在の地理的位置を位置決めすることにより、ナビゲーションまたはＬＢＳ（Location Based Service、位置情報に基づくサービス）を実現する。位置決めアセンブリ２０８は、米国のＧＰＳ(Global Positioning System、全地球測位システム)、中国の北斗システム、ロシアのグロナスナビゲーションシステム又はヨーロッパのガリレオシステムに基づく位置決めアセンブリである。

【0079】

電源２０９は、端末２００の各アセンブリに電力を供給するために使用される。電源２０９は、交流、直流、使い捨て電池、または充電式電池である。電源２０９が充電式電池を含むことに応答して、当該充電式電池は、有線充電式電池または無線充電式電池であってもよい。当該充電式電池は、クイックチャージ技術にも対応できる。

【0080】

いくつかの実施例では、端末２００は、１つ以上のセンサ２１０をさらに含む。当該１つ以上のセンサ２１０は、加速度センサ２１１、ジャイロセンサ２１２、圧力センサ２１３、指紋センサ２１４、光学センサ２１５、および近接センサ２１６を含むが、これらに限定されない。

【0081】

加速度センサ２１１は、端末２００により確立された座標系の３つの座標軸上の加速度の大きさを検出する。例えば、加速度センサ２１１は、３つの座標軸上の重力加速度の成分を検出するために使用される。プロセッサ２０１は、加速度センサ２１１によって収集された重力加速度信号に基づいて、横方向または縦方向のビューでユーザーインターフェースの表示を行うようにタッチディスプレイ１４０５を制御する。加速度センサ１４１１は、ゲームまたはユーザーの動きデータの収集にも利用できる。

【0082】

ジャイロセンサ２１２は、端末２００の機体の方向および回動角度を検出し、ジャイロセンサ２１２は、加速度センサ２１１と協働して、ユーザーによる端末２００の３Ｄ動作を収集する。プロセッサ２０１は、ジャイロセンサ２１２によって収集されたデータに基づいて、動作感知（例えば、ユーザーの傾き操作に応じてＵＩを変化させる）、撮影時の画像安定、ゲーム制御、および慣性ナビゲーションなどの機能を実現する。

【0083】

圧力センサ２１３は、端末２００の側面枠および／またはタッチディスプレイ２０５の下層に配置される。圧力センサ２１３が端末２００の側面枠に配置されることに応答して、端末２００へのユーザーの保持信号を検出し、プロセッサ２０１は、圧力センサ２１３によって収集された保持信号に基づいて、左右手の識別または迅速な操作を行う。圧力センサ２１３がタッチディスプレイ２０５の下層に配置されることに応答して、プロセッサ２０１は、タッチディスプレイ２０５へのユーザーの圧力操作に応じて、ＵＩインターフェイス上の操作可能なコントロールを制御する。操作可能なコントロールには、ボタンコントロール、スクロールバーコントロール、アイコンコントロール、メニューコントロールのうちの少なくとも１つが含まれる。

【0084】

指紋センサ２１４は、ユーザーの指紋を収集するために使用され、プロセッサ２０１は、指紋センサ２１４によって収集された指紋に基づいてユーザーの身元を認識し、または、指紋センサ２１４は、収集された指紋に基づいてユーザーの身元を認識する。ユーザーの身元が信頼できる身元であると認識された場合、プロセッサ２０１によって、当該ユーザーに関連する敏感な操作を実行させ、当該敏感な操作は、スクリーンのロック解除、暗号化された情報の閲覧、ソフトウェアのダウンロード、支払いおよび設定変更などを含む。指紋センサ２１４は、端末２００の前面、背面、または側面に設けられる。端末２００には物理的なボタンまたはメーカーのＬｏｇｏ（ロゴ）が配置されたことに応答して、指紋センサ２１４は物理的なボタンまたはメーカーのＬｏｇｏと統合されている。

【0085】

光センサ２１５は、環境の光強度を収集するために使用される。一実施例では、プロセッサ２０１は、光学センサ２１５によって収集された環境の光強度に基づいて、タッチディスプレイ２０５の表示輝度を制御する。具体的に、環境の光強度が高いことに応答して、タッチディスプレイ２０５の表示輝度を上げ、環境の光強度が低いことに応答して、タッチディスプレイ２０５の表示輝度を下げる。別の実施例では、プロセッサ２０１は、光学センサ２１５によって収集された環境の光強度に基づいて、カメラアセンブリ２０６の撮影パラメータを動的に調整することができる。

【0086】

近接センサ２１６は、距離センサとも呼ばれ、通常、端末２００のフロントパネルに配置される。近接センサ２１６は、ユーザーと端末２００の正面との間の距離を収集するために使用される。一実施例では、ユーザーと端末２００の正面との間の距離が徐々に小さくなることを近接センサ２１６が検出したことに応答して、プロセッサ２０１は、明るい画面状態から閉じた画面状態に切り替えるようにタッチディスプレイ２０５を制御し、ユーザーと端末２００の正面との間の距離が徐々に大きくなることを近接センサ１４１６が検出したことに応答して、プロセッサ２０１は、閉じた画面状態から明るい画面状態に切り替えるようにタッチディスプレイ２０５を制御する。

【0087】

当業者であれば、図２に示される構造は、端末２００を限定するものではなく、図示よりも多いまたは少ないアセンブリを含んでもよく、または、いくつかのアセンブリを組み合わせたり、あるいは異なるアセンブリ配置を採用したりすることができることを理解できる。

【0088】

いくつかの実施例では、電子機器は、サーバーとして提供される。図１５は、一例示的な実施例によるサーバーの概略構造図であり、当該サーバー３００は、構成または性能の相違により大きな差異を生じることができ、１つ以上のプロセッサ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ、ＣＰＵ）３０１と、１つ以上のメモリ３０２を含み、ここで、前記メモリ３０２には、少なくとも１つの命令が記憶され、当該少なくとも１つの命令が前記プロセッサ３０１によってアップロードされ実行されることにより、上述の様々な方法の実施例による方法を実現する。もちろん、当該サーバー３００は、入出力を行うために、有線または無線ネットワークインターフェース、キーボード、および入出力インターフェースなどの部品をさらに有し、当該サーバーは、デバイスの機能を実現するための他の部品を含んでもよく、ここでは説明を省略する。

【0089】

例示的な実施例では、コンピュータ可読記憶媒体をさらに提供し、当該コンピュータ可読記憶媒体に命令が記憶され、上記の命令が電子機器のプロセッサによって実行されるときに、以下のステップを当該電子機器に実行させることができ、即ち、
第１画像における複数の第１キーポイントを確定し、当該複数の第１キーポイントは、ターゲット部位のキーポイントであるステップ、
当該第１画像のターゲット領域を確定し、当該ターゲット領域は、当該複数の第１キーポイントに対応する領域を拡張することに基づいて得られるステップ、
第２画像を取得し、当該第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、当該調整は、当該領域の中心点と第１調整パラメータに基づくものであり、当該第１局部画像は、当該領域に対応する画像であり、当該第２局部画像は、当該ターゲット領域における当該第１局部画像以外の画像であるステップ、である。

【0090】

ここで、前記コンピュータ可読記憶媒体は、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、読み出し専用メモリ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリ）、ＣＤ-ＲＯＭ（Ｃｏｍｐａｃｔ－Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、読み出し専用ディスク）、磁気テープ、フロッピーディスク、光データ記憶デバイスなどである。

【0091】

本開示の実施例では、第１画像におけるターゲット部位が位置する領域を拡張することにより、ターゲット領域を得て、結果として、調整して得られた第２画像においてターゲット部位の変化が第１画像における他の領域に徐々に影響を与えることができ、ターゲット部位を調整する際に、画像における他の領域の画素点に影響を与え、画像に奇形を起こすことを防止し、画像処理効果を最適化した。

【0092】

本開示では、コンピュータプログラム製品をさらに提供し、コンピュータプログラム製品内の命令が電子機器のプロセッサによって実行されるときに、以下のステップを当該電子機器に実行させることができ、即ち、

【0093】

第１画像における複数の第１キーポイントを確定し、当該複数の第１キーポイントは、ターゲット部位のキーポイントであるステップ、
当該第１画像のターゲット領域を確定し、当該ターゲット領域は、当該複数の第１キーポイントに対応する領域を拡張することに基づいて得られるステップ、
第２画像を取得し、当該第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、当該調整は、当該領域の中心点と第１調整パラメータに基づくものであり、当該第１局部画像は、当該領域に対応する画像であり、当該第２局部画像は、当該ターゲット領域における当該第１局部画像以外の画像であるステップ、である。
本開示の実施例では、第１画像におけるターゲット部位が位置する領域を拡張することにより、ターゲット領域を得て、結果として、調整して得られた第２画像においてターゲット部位の変化が第１画像における他の領域に徐々に影響を与えることができ、ターゲット部位を調整する際に、画像における他の領域の画素点に影響を与え、画像に奇形を起こすことを防止し、画像処理効果を最適化した。

【0094】

図４は、一例示的な実施例による画像処理装置のブロック図である。図４を参照すると、当該装置は、
第１画像における複数の第１キーポイントを確定するように構成され、当該複数の第１キーポイントは、ターゲット部位のキーポイントである第１確定モジュール４１０と、
当該第１画像のターゲット領域を確定するように構成され、当該ターゲット領域は、当該複数の第１キーポイントに対応する領域を拡張することに基づいて得られる第２確定モジュール４２０と、
第２画像を取得するように構成され、当該第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、当該調整は、当該領域の中心点と第１調整パラメータに基づくものであり、当該第１局部画像は、当該領域に対応する画像であり、当該第２局部画像は、当該ターゲット領域における当該第１局部画像以外の画像である画像取得モジュール４３０と、を含む。

【0095】

いくつかの実施例では、当該画像取得モジュール４３０は、
当該領域の中心点と当該第１調整パラメータに基づいて、当該第１局部画像の形状を調整するように構成される形状調整ユニットと、
当該第２局部画像における画素点を当該第２局部画像に分散充填することにより、当該第２画像を得るように構成される充填ユニットと、を含む。

【0096】

いくつかの実施例では、当該充填ユニットは、以下のように構成され、即ち、当該第１局部画像が縮小されることに応答して、第１移動方向を確定し、当該第１移動方向は、当該中心点に近く、当該第１調整パラメータに基づいて、第１移動距離を確定し、当該第２画像を確定し、当該第２画像は、当該第２局部画像における画素点を当該第１移動方向に当該第１移動距離移動させることにより得られる。

【0097】

いくつかの実施例では、当該充填ユニットは、以下のように構成され、即ち、当該第１局部画像が拡大されることに応答して、第２移動方向を確定し、当該第２移動方向は、当該中心点から離れ、当該第１調整パラメータに基づいて、第２移動距離を確定し、当該第２画像を確定し、当該第２画像は、当該第２局部画像における画素点を当該第２移動方向に当該第２移動距離移動させることにより得られる。

【0098】

いくつかの実施例では、当該第２確定モジュール４２０は、
ターゲット中心点を確定するように構成され、当該ターゲット中心点は、当該複数の第１キーポイントに基づいて得られる第１確定ユニットと、
第１キーポイントごとに、第２キーポイントを確定するように構成され、当該第２キーポイント、当該第１キーポイント、および当該ターゲット中心点は、同一直線上にあり、且つ第１距離は、第２距離より大きく、当該第１距離は、当該第２キーポイントと当該ターゲット中心点との距離であり、当該第２距離は、当該第１キーポイントと当該ターゲット中心点との距離である第２確定ユニットと、
当該ターゲット領域を確定するように構成され、当該ターゲット領域は、複数の第２キーポイントに基づいて確定される第３確定ユニットと、を含む、

【0099】

いくつかの実施例では、当該第１確定ユニットは、当該複数の第１キーポイントの中心点を当該ターゲット中心点として確定するように構成され、
当該第１確定ユニットは、第１キーポイントの一部の中心点を当該ターゲット中心点として確定するように構成され、当該第１キーポイントの一部は、当該領域の中心領域内に位置する。

【0100】

いくつかの実施例では、当該第１確定モジュール４１０は、
第３画像における複数の第３キーポイントを確定するように構成され、当該複数の第３キーポイントは、当該ターゲット部位のキーポイントであり、当該第３画像は、当該第１画像より前のフレームの画像である第４確定ユニットと、
第１画像における複数の第４キーポイントを確定するように構成され、当該複数の第４キーポイントは、当該ターゲット部位のキーポイントであり、且つ、当該第４キーポイントは、キーポイント確定モデルによって確定される第５確定ユニットと、
当該複数の第１キーポイントを確定するように構成され、当該複数の第１キーポイントは、当該複数の第３キーポイントと当該複数の第４キーポイントに基づいて確定される第６確定ユニットと、を含む。

【0101】

いくつかの実施例では、当該第６確定ユニットは、以下のように構成され、即ち、第４キーポイントごとに、当該複数の第３キーポイントのうちの第１ターゲットキーポイントを確定し、当該第１ターゲットキーポイントと当該第４キーポイントは、同じ画素値を有し、第１位置と第２位置の平均位置を確定し、当該第１位置は、当該第１ターゲットキーポイントの位置であり、当該第２位置は、当該第４キーポイントの位置であり、当該第１キーポイントを取得し、当該第１キーポイントは、当該第４キーポイントの像素値を当該平均位置にレンダリングすることにより得られる。

【0102】

いくつかの実施例では、当該第６確定ユニットは、以下のように構成され、即ち、当該ターゲット部位が遮蔽されることに応答して、当該複数の第３キーポイントのうちの第２ターゲットキーポイントを確定し、当該第２ターゲットキーポイントは、遮蔽されたターゲット部位に対応するキーポイントであり、当該複数の第１キーポイントを取得し、当該複数の第１キーポイントは、当該第２ターゲットキーポイントと当該複数の第４キーポイントとからなり、
当該第６確定ユニットは、当該ターゲット部位が遮蔽されることに応答して、当該複数の第３キーポイントを当該複数の第１キーポイントとするように構成される。

【0103】

いくつかの実施例では、当該装置は、
当該ターゲット部位が遮蔽されることに応答して、第２調整パラメータを確定するように構成され、当該第２調整パラメータは、当該第３画像を調整するためのパラメータである第３確定モジュールと、
第１調整パラメータを確定するように構成され、当該第１調整パラメータは、予め設定された幅に基づいて当該第２調整パラメータを調整することにより得られる第４確定モジュールと、をさらに含む。

【0104】

いくつかの実施例では、当該装置は、
フレーム数を確定するように構成され、当該フレーム数は、当該ターゲット部位が遮蔽された画像の連続フレーム数である第５確定モジュールと、
当該フレーム数がターゲットフレーム数に達したことに応答して、次のフレームの画像に対する画像処理を停止するようにも構成される画像処理モジュールと、をさらに含む。

【0105】

なお、上記実施例による画像処理装置は、画像処理を行う際に、上記の各機能モジュールの区分のみを例に挙げて説明し、実際の適用では、必要に応じて異なる機能モジュールによって上記の機能を実現することができ、即ち、上記の機能のすべてまたは一部を実現するために、電子機器の内部構造を異なる機能モジュールに分割する。また、上記実施例による画像処理装置と画像処理方法の実施例は同じ概念に属し、その具体的な実現プロセスについて、方法の実施例を参照し、ここでは説明を省略する。

【0106】

本開示の実施例では、第１画像におけるターゲット部位が位置する領域を拡張することにより、ターゲット領域を得て、結果として、調整して得られた第２画像においてターゲット部位の変化が第１画像における他の領域に徐々に影響を与えることができ、ターゲット部位を調整する際に、画像における他の領域の画素点に影響を与え、画像に奇形を起こすことを防止し、画像処理効果を最適化した。

【0107】

関連技術では、ユーザーが画像におけるある部位を美肌補正しようとすることに応答して、電子機器は、一般的に、顔画像における当該部位に対応する複数のキーポイントを取得し、当該部位に対応する複数のキーポイントの顔画像における位置を調整することにより、当該部位に対する美肌補正処理を実現する。例えば、ユーザーが顔画像における目を拡大しようとする場合、電子機器により、目に対応する複数のキーポイントを、目を中心に外側に移動させることで、目の拡大を実現する。さらに例えば、ユーザーが顔画像における眉毛を細眉にしようとする場合、電子機器により、眉毛に対応する複数のキーポイントを、眉毛を中心に内側に移動させることで、細眉処理を実現する。

【0108】

上記の関連技術では、目を拡大処理する場合、目に対応する複数のキーポイントが目を中心に外側に移動し、移動後のキーポイントが目の周りの画素点の位置を占めるようになり、目の周りの画素点が蓄積される。眉毛を細眉処理する場合、眉毛に対応する複数のキーポイントが眉毛を中心に内側に移動し、細眉処理後の眉毛の周りに画素点が失われる。以上のことから分かるように、関連技術における画像処理では、画像の画素点の位置の突然変異により、画像の奇形を招き、顔画像の美肌補正効果が悪い。

【0109】

図５は、一例示的な実施例による画像処理方法のフローチャートであり、図５を参照すると、当該画像処理方法は、以下のステップを含む。

【0110】

Ｓ５０１において、第１画像における複数の第１キーポイントを確定し、当該複数の第１キーポイントは、ターゲット部位のキーポイントである。

【0111】

Ｓ５０２において、当該第１画像のターゲット領域を確定し、当該ターゲット領域は、当該複数の第１キーポイントに対応する領域を拡張することに基づいて得られる。

【0112】

Ｓ５０３において、第２画像を取得し、当該第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、当該調整は、当該領域の中心点と第１調整パラメータに基づくものであり、当該第１局部画像は、当該領域に対応する画像であり、当該第２局部画像は、当該ターゲット領域における当該第１局部画像以外の画像である。

【0113】

いくつかの実施例では、当該第２画像を取得することは、
当該領域の中心点と当該第１調整パラメータに基づいて、当該第１局部画像の形状を調整することと、
当該第２局部画像における画素点を当該第２局部画像に分散充填することにより、当該第２画像を得ることと、を含む。

【0114】

いくつかの実施例では、当該当該第２局部画像における画素点を当該第２局部画像に分散充填することにより、当該第２画像を得ることは、
当該第１局部画像が縮小されることに応答して、第１移動方向を確定し、当該第１移動方向は、当該中心点に近くことと、
当該第１調整パラメータに基づいて、第１移動距離を確定することと、
当該第２画像を確定し、当該第２画像は、当該第２局部画像における画素点を当該第１移動方向に当該第１移動距離移動させることにより得られることと、を含む。

【0115】

いくつかの実施例では、当該当該第２局部画像における画素点を当該第２局部画像に分散充填することにより、当該第２画像を得ることは、
当該第１局部画像が拡大されることに応答して、第２移動方向を確定し、当該第２移動方向は、当該中心点から離れることと、
当該第１調整パラメータに基づいて、第２移動距離を確定することと、
当該第２画像を確定し、当該第２画像は、当該第２局部画像における画素点を当該第２移動方向に当該第２移動距離移動させることにより得られることと、を含む。

【0116】

いくつかの実施例では、当該当該第１画像のターゲット領域を確定することは、
ターゲット中心点を確定し、当該ターゲット中心点は、当該複数の第１キーポイントに基づいて得られることと、
第１キーポイントごとに、第２キーポイントを確定し、当該第２キーポイント、当該第１キーポイント、および当該ターゲット中心点は、同一直線上にあり、且つ第１距離は、第２距離より大きく、当該第１距離は、当該第２キーポイントと当該ターゲット中心点との距離であり、当該第２距離は、当該第１キーポイントと当該ターゲット中心点との距離であることと、
当該ターゲット領域を確定し、当該ターゲット領域は、複数の第２キーポイントに基づいて確定されることと、を含む。

【0117】

いくつかの実施例では、当該ターゲット中心点を確定することは、以下のいずれかを含み、即ち、
当該複数の第１キーポイントの中心点を当該ターゲット中心点として確定すること、
第１キーポイントの一部の中心点を当該ターゲット中心点として確定し、当該第１キーポイントの一部は、当該領域の中心領域内に位置すること、である。

【0118】

いくつかの実施例では、当該第１画像における複数の第１キーポイントを確定することは、
第３画像における複数の第３キーポイントを確定し、当該複数の第３キーポイントは、当該ターゲット部位のキーポイントであり、当該第３画像は、当該第１画像より前のフレームの画像であることと、
第１画像における複数の第４キーポイントを確定し、当該複数の第４キーポイントは、当該ターゲット部位のキーポイントであり、且つ、当該第４キーポイントは、キーポイント確定モデルによって確定されることと、
当該複数の第１キーポイントを確定し、当該複数の第１キーポイントは、当該複数の第３キーポイントと当該複数の第４キーポイントに基づいて確定されることと、を含む。

【0119】

いくつかの実施例では、当該当該複数の第１キーポイントを確定することは、
第４キーポイントごとに、当該複数の第３キーポイントのうちの第１ターゲットキーポイントを確定し、当該第１ターゲットキーポイントと当該第４キーポイントは、同じ画素値を有することと、
第１位置と第２位置の平均位置を確定し、当該第１位置は、当該第１ターゲットキーポイントの位置であり、当該第２位置は、当該第４キーポイントの位置であることと、
当該第１キーポイントを取得し、当該第１キーポイントは、当該第４キーポイントの像素値を当該平均位置にレンダリングすることにより得られることと、を含む。

【0120】

いくつかの実施例では、当該当該複数の第１キーポイントを確定することは、以下のいずれかを含み、即ち、
当該ターゲット部位が遮蔽されることに応答して、当該複数の第３キーポイントのうちの第２ターゲットキーポイントを確定し、当該第２ターゲットキーポイントは、遮蔽されたターゲット部位に対応するキーポイントであり、当該複数の第１キーポイントを取得し、当該複数の第１キーポイントは、当該第２ターゲットキーポイントと当該複数の第４キーポイントとからなること、
当該ターゲット部位が遮蔽されることに応答して、当該複数の第３キーポイントを当該複数の第１キーポイントとすること、である。

【0121】

いくつかの実施例では、当該方法は、
当該ターゲット部位が遮蔽されることに応答して、第２調整パラメータを確定し、当該第２調整パラメータは、当該第３画像を調整するためのパラメータであることと、
第１調整パラメータを確定し、当該第１調整パラメータは、予め設定された幅に基づいて当該第２調整パラメータを調整することにより得られることと、をさらに含む。

【0122】

いくつかの実施例では、当該方法は、
フレーム数を確定し、当該フレーム数は、当該ターゲット部位が遮蔽された画像の連続フレーム数であることと、
当該フレーム数がターゲットフレーム数に達したことに応答して、次のフレームの画像に対する画像処理を停止することと、をさらに含む。

【0123】

本開示の実施例では、第１画像におけるターゲット部位が位置する領域を拡張することにより、ターゲット領域を得て、結果として、調整して得られた第２画像においてターゲット部位の変化が第１画像における他の領域に徐々に影響を与えることができ、ターゲット部位を調整する際に、画像における他の領域の画素点に影響を与え、画像に奇形を起こすことを防止し、画像処理効果を最適化した。

【0124】

図６は、一例示的な実施例による画像処理方法のフローチャートであり、図６を参照すると、当該画像処理方法は、以下のステップを含む。

【0125】

Ｓ６０１において、電子機器は、第１画像における複数の第１キーポイントを確定する。

【0126】

ここで、当該複数の第１キーポイントは、ターゲット部位のキーポイントである。ターゲット部位は、第１画像内の顔部領域における五感または顔部輪郭であり、例えば、当該ターゲット部位は、目、眉毛、鼻筋、口または頬などである。または、当該ターゲット部位は、例えば腰、足などの他の身体部位である。

【0127】

ここで、当該ターゲット部位は、ユーザーによって選択されたターゲット部位であり、または、当該ターゲット部位は、予め確定されたターゲット部位である。いくつかの実施例では、電子機器は、ユーザーの選択動作を受信し、当該選択動作に基づいてユーザーによって選択されたターゲット部位を確定する。いくつかの実施例では、電子機器は、形状調整すべきターゲット部位を予め設定し、本ステップにおいて、電子機器は、予め設定されたターゲット部位を直接に呼び出す。本開示の実施例では、これについて具体的に限定しない。なお、当該ターゲット部位は、第１画像における一部位である。または、当該ターゲット部位は、第１画像における複数の部位である。本開示の実施例では、これについても具体的に限定しない。

【0128】

本ステップにおいて、電子機器は、ターゲット部位の複数の第１キーポイントを確定する。例えば、図７を参照すると、図７は、一例示的な実施例による顔部領域のキーポイントの概略図である。ターゲット部位が眉毛である場合、当該複数の第１キーポイントは、図７の番号９～２８の１０個のキーポイントである。

【0129】

なお、電子機器は、現在の第１画像のみに基づいて、当該ターゲット部位の複数の第１キーポイントを確定する。または、電子機器は、第１画像より前のフレームの画像を介して、ターゲット部位に対応する複数の第１キーポイントを確定する。いくつかの実施例では、電子機器は、第１画像からターゲット部位に対応する複数の第１キーポイントを直接に確定することができる。本実施形態では、電子機器は、第１画像からターゲット部位に対応する複数の第１キーポイントを直接に確定することにより、複数の第１キーポイントを確定する処理フローを簡略化し、画像処理の効率を向上させる。

【0130】

いくつかの実施例では、電子機器は、複数の第３キーポイントに基づいて、当該ターゲット部位に対応する複数の第１キーポイントを確定し、ここで、当該複数の第３キーポイントは、第１画像より前のフレームの画像におけるターゲット部位のキーポイントである。当該プロセスは、以下のステップ（Ａ１）～（Ａ３）によって実現される。

【0131】

（Ａ１）電子機器は、第３画像における複数の第３キーポイントを確定する。

【0132】

ここで、当該複数の第３キーポイントは、当該ターゲット部位のキーポイントであり、当該第３画像は、当該第１画像より前のフレームの画像である。

【0133】

いくつかの実施例では、電子機器に第３画像の複数のキーポイントが記憶され、本ステップにおいて、電子機器は、ターゲット部位に基づいて、複数のキーポイントから複数の第３キーポイントを直接に確定する。本実施形態では、電子機器において取得した画像を事前に処理し、各画像と画素点との対応関係を記憶することにより、ターゲット部位に基づいて複数の第３キーポイントを直接に確定することができ、複数の第３キーポイントを取得するフローを簡略化し、処理効率を向上させることができる。

【0134】

いくつかの実施例では、電子機器は、第１確定モデルによって当該複数の第３キーポイントを確定する。ここで、電子機器は、当該第３画像を第１確定モデルに入力することにより、当該第３画像のすべてのキーポイントを得て、当該すべてのキーポイントから複数の第３キーポイントを確定する。または、電子機器は、当該第３画像を第２確定モデルに入力し、当該第２確定モデルは、当該複数の第３キーポイントを出力する。

【0135】

ここで、当該第１確定モデルと第２確定モデルは、いずれかのニューラルネットワークモデルである。相応的に、本ステップの前に、電子機器は、必要に応じてモデル訓練を行い、モデルパラメータを調整することにより、訓練して当該第１確定モデルと第２確定モデルを得る。

【0136】

なお、当該キーポイントの数は、必要に応じて設定され、本開示の実施例では、当該キーポイントの数について具体的に限定せず、例えば、当該キーポイントの数は、１００、１０１または１０５などである。図７を参照すると、図７は、顔部領域の１０１個のキーポイントを示す。

【0137】

本実施例では、モデルによって複数の第３キーポイントを確定することで、複数の第３キーポイントを確定する精度が向上する。

【0138】

（Ａ２）電子機器は、第１画像における複数の第４キーポイントを確定する。

【0139】

ここで、当該複数の第４キーポイントは、当該ターゲット部位のキーポイントであり、且つ、当該第４キーポイントは、キーポイント確定モデルによって確定される。

【0140】

本ステップは、ステップ（Ａ１）において電子機器が複数の第３キーポイントを確定するプロセスと類似し、ここでは説明を省略する。

【0141】

電子機器は、当該複数の第１キーポイントを確定する。

【0142】

ここで、当該複数の第１キーポイントは、当該複数の第３キーポイントと当該複数の第４キーポイントに基づいて確定される。

【0143】

本ステップにおいて、電子機器は、複数の第４キーポイントの像素値を平均位置にレンダリングすることにより、複数の第１キーポイントを得て、当該プロセスは、以下のステップ（a１）-（a３）によって実現される。

【0144】

（a１）電子機器は、第４キーポイントごとに、当該複数の第３キーポイントのうちの第１ターゲットキーポイントを確定する。

【0145】

ここで、当該第１ターゲットキーポイントと当該第４キーポイントは、同じ画素値を有する。

【0146】

いくつかの実施例では、電子機器は、まず、いずれかの第４キーポイントを選択し、次に、複数の第３キーポイントから当該第４キーポイントの画素値と同じ画素値を有する第１ターゲットキーポイントを確定する。

【0147】

（a２）電子機器は、第１位置と第２位置の平均位置を確定する。

【0148】

ここで、当該第１位置は、当該第３キーポイントの位置であり、当該第２位置は、当該第４キーポイントの位置である。いくつかの実施例では、電子機器は、第３画像および第１画像において同じ座標系を確立し、同一座標系において、同じ画素値を有する第３キーポイントおよび第４キーポイントの座標の位置をそれぞれ確定して、第１位置および第２位置を得て、当該第１位置および第２位置を平均して平均位置を得る。

【0149】

いくつかの実施例では、電子機器は、第３画像および第１画像において異なる座標系をそれぞれに確立し、第３キーポイントと第４キーポイントのそれぞれの座標系における座標の位置をそれぞれに確定し、次に、座標系間のマッピング関係により、同一座標系における第３キーポイントと第４キーポイントの座標の位置を得る。

【0150】

なお、電子機器は、まず、複数の第３キーポイントの第１位置を確定し、次に、複数の第４キーポイントの第２位置を確定する。または、電子機器は、まず、複数の第４キーポイントの第２位置を確定し、次に、複数の第３キーポイントの第１位置を確定する。または、電子機器は、複数の第３キーポイントの第１位置と複数の第４キーポイントの第２位置を同時に確定する。本開示の実施例では、電子機器が第１位置と第２位置を確定する順序は、具体的に限定されない。

【0151】

（a３）電子機器は、第１キーポイントを取得する。

【0152】

ここで、当該第１キーポイントは、当該第４キーポイントの像素値を当該平均位置にレンダリングすることにより得られる。

【0153】

なお、電子機器は、第３キーポイントと第４キーポイントとの対応関係に基づいて、第３画像および第１画像における他の画素点の位置も平均することにより、第１画像におけるすべての画素点を調整することもできる。

【0154】

なお、電子機器は、第３キーポイントの画素値と第４キーポイントの画素値も重み付け加算し、重み付け加算された画素値を複数の第１キーポイントの画素値としてレンダリングする。

【0155】

本実施例では、画素値が同じ複数の第３キーポイントと複数の第４キーポイントの位置を平均することにより、複数の第１キーポイントを得て、結果として、第１画像における複数の第１キーポイントの位置を滑らかに変化させ、収集された第１画像における第１キーポイントの位置が突然に変異することを防止し、動的動画を収集する際に、第１画像における画面も滑らかで安定することを保証した。

【0156】

なお、画像の収集中に、画像が遮蔽された状況がある。第１画像においてターゲット部位が遮蔽された状況がない場合、電子装置は、複数の第４キーポイントを直接に複数の第１キーポイントとする。第１画像におけるターゲット部位が遮蔽された場合、電子機器によって取得された第４キーポイントは、キーポイントを失い、電子機器は、前のフレームの画像におけるターゲット部位を取得することにより、複数の第１キーポイントを確定する。相応的に、電子機器は、第１画像を収集した後、第１画像におけるキーポイントを識別し、第１画像におけるターゲット部分が遮蔽されたことを電子機器が検出したことに応答して、電子機器は、前に収集した第３画像を取得し、当該第３画像は、完全なキーポイントを有する画像である。

【0157】

いくつかの実施例では、電子機器は、複数の第３キーポイントから失われた第４キーポイントを選択し、相応的に、当該プロセスとして、ターゲット部位が遮蔽されることに応答して、電子機器は、当該複数の第３キーポイントのうちの第２ターゲットキーポイントを確定し、当該第２ターゲットキーポイントは、遮蔽されたターゲット部位に対応するキーポイントであり、当該複数の第１キーポイントを取得し、当該複数の第１キーポイントは、当該第２ターゲットキーポイントと当該複数の第４キーポイントとからなる。

【0158】

いくつかの実施例では、電子機器は、複数の第３キーポイントを直接に第１キーポイントとし、当該プロセスとして、当該ターゲット部位が遮蔽されることに応答して、電子機器は、当該複数の第３キーポイントを当該複数の第１キーポイントとする。

【0159】

Ｓ６０２において、電子機器は、当該第１画像のターゲット領域を確定し、当該ターゲット領域は、当該複数の第１キーポイントに対応する領域を拡張することに基づいて得られる。

【0160】

本ステップにおいて、電子機器は、当該第１画像において当該複数の第１キーポイントに対応する領域を確定し、さらに当該領域を拡張することにより、当該ターゲット領域を得る。当該プロセスは、以下のステップ（１）～（２）によって実現される。

【0161】

（１）電子機器は、当該複数の第１キーポイントで囲まれた領域を確定する。

【0162】

ここで、電子機器は、隣接する第１キーポイントを順次に接続し、複数の第１キーポイントに囲まれた画像領域を当該領域とする。

【0163】

（２）電子機器は、当該領域および当該複数の第１キーポイントに基づいて、当該領域を拡張することにより、当該ターゲット領域を得る。

【0164】

当該プロセスは、以下のステップ（２-１）～（２-３）によって実現される。

【0165】

（２-１）電子機器は、ターゲット中心点を確定する。

【0166】

ここで、当該ターゲット中心点は、当該複数の第１キーポイントに基づいて得られる。

【0167】

いくつかの実施例では、電子機器は、当該複数の第１キーポイントの中心点を当該ターゲット中心点として確定する。例えば、図７を引き続き参照し、ターゲット部位が眉毛であることを例に挙げて説明し、眉毛に対応する複数の第１キーポイントは、１９～２８この１０個のキーポイントであり、電子機器は、この１０個のキーポイントに対応する中心点を確定する。

【0168】

いくつかの実施例では、電子機器は、まず、複数の第１キーポイントから中心領域の第１キーポイントの一部を選び、次に、当該第１キーポイントの一部の中心点を確定する。相応的に、電子機器は、第１キーポイントの一部の中心点を当該ターゲット中心点として確定し、当該第１キーポイントの一部は、当該領域の中心領域内に位置する。例えば、図７を引き続き参照し、ターゲット部位が眉毛であることを例に挙げて説明し、眉毛に対応する複数の第１キーポイントは、１９～２８この１０個のキーポイントであり、電子機器は、キーポイント１９～２８から、まず例えばキーポイント２１、２２、２６、２７などの中間位置にある４つのキーポイントを選択し、これら４つのキーポイントの平均点を中心点として確定する。

【0169】

電子機器は、第１キーポイントごとに、第２キーポイントを確定し、当該第２キーポイント、当該第１キーポイント、および当該ターゲット中心点は、同一直線上にあり、且つ第１距離は、第２距離より大きく、当該第１距離は、当該第２キーポイントと当該ターゲット中心点との距離であり、当該第２距離は、当該第１キーポイントと当該ターゲット中心点との距離である。

【0170】

本ステップにおいて、電子機器は、当該ターゲット中心点を端点として、放射線をなすように各第１キーポイントに接続する。例えば、上記のステップ（１）における例示を例に挙げて引き続き説明し、第１キーポイント２１、２２、２６、２７の平均点をターゲット中心点として、それぞれに第１キーポイント１９～２８の方向へ放射線を作り、１０本の放射線を得る。次に、電子機器は、各放射線から第２キーポイントを確定し、当該複数の第２キーポイントを得て、当該第２キーポイントと当該ターゲット中心点との距離は、当該第２キーポイントが位置する放射線における第１キーポイントと当該ターゲット中心点との距離より大きい。

【0171】

本ステップにおいて、電子機器は、ターゲット中心点を端点として、得られた放射線において線分を切り取り、当該線分の他方の端点は、当該第２キーポイントとなる。ここで、当該線分の長さは、当該放射線におけるターゲット中心点から第１キーポイントまでの長さより長い。ここで、当該線分の長さは、経験値に基づいて定められたプリセット長さであり、本開示の実施例では、当該線分の長さについて具体的に限定しない。

【0172】

なお、当該複数の第２キーポイントを確定するプロセスは、ステップＳ６０１のステップ（Ａ１）において電子機器が複数の第３キーポイントを確定するプロセスと類似し、ここでは説明を省略する。

【0173】

（２-３）電子機器は、当該ターゲット領域を確定する。

【0174】

ここで、当該ターゲット領域は、複数の第２キーポイントに基づいて確定される。

【0175】

いくつかの実施例では、電子機器は、複数の第２キーポイントを順次に接続し、複数の第２キーポイントに囲まれた画像領域を当該ターゲット領域とする。いくつかの実施例では、電子機器は、メッシュ（mesh）アルゴリズムにより、当該複数の第２キーポイントに対応するメッシュ領域を確定し、当該メッシュ領域を当該ターゲット領域とする。当該プロセスとして、電子機器は、当該複数の第２キーポイントを端点とし、当該複数の第１キーポイントに対応するターゲット部位をメッシュ拡張することにより、メッシュ領域を得る。電子機器は、得られたメッシュ領域と第１キーポイントに対応する領域とからターゲット領域を構成する。図８を参照すると、電子機器は、複数の第２キーポイントを端点とし、複数の第１キーポイントにそれぞれに接続して、メッシュ拡張を実現し、三角形パッチ形式のメッシュ領域を得て、複数の三角形パッチと第１キーポイントに対応する領域とから当該ターゲット領域を構成する。

【0176】

Ｓ６０３において、電子機器は、当該領域の中心点と当該第１調整パラメータに基づいて、当該第１局部画像の形状を調整する。

【0177】

ここで、当該第１局部画像は、当該領域に対応する画像である。当該第１調整パラメータは、第１局部画像を調整するためのパラメータである。ここで、第１調整パラメータは、システムのデフォルトの整数パラメータであり、または、第１調整パラメータは、ユーザーによる設定に基づいて生成されたパラメータであり、または、第１調整パラメータは、第３画像の第２調整パラメータに基づいて確定されたパラメータである。当該第１調整パラメータには、少なくとも、調整方式および調整強度が含まれ、さらに、色パラメータおよび輝度パラメータなどが含まれる。電子機器は、第１調整パラメータにおける調整方式に基づいて、ターゲット部位に対して形状調整を行い、当該形状調整は、当該ターゲット部位に対してズームイン調整、縮小調整などを行うものである。ここで、当該第１調整パラメータは、電子機器によって受信されたユーザーから入力された調整パラメータである。または、当該第１調整パラメータは、電子機器において異なるターゲット部位に基づいて設定された調整パラメータである。例えば、ターゲット部位が目である場合、当該調整パラメータは、目を拡大することであり、当該ターゲット部位が眉毛である場合、当該調整パラメータは、眉毛を細くすることである。相応的に、目に対する調整は、ズームイン調整であり、眉毛に対する調整は、ズームアウト調整である。

【0178】

電子機器は、第１局部画像の形状を調整することにより、当該ターゲット部位の拡大または縮小を実現する。いくつかの実施例では、電子機器は、メッシュアルゴリズムに基づいて、第１局部画像における各画素点の関係を確定し、第１局部画像における画素リストを調整する。

【0179】

いくつかの実施例では、電子機器は、液化アルゴリズムによりターゲット部位を調整し、当該プロセスとして、電子機器は、ターゲット部位に対応する中心位置を確定し、当該中心位置を中心として円を描き、当該ターゲット部位に対応する第１局部画像が当該円内に収まるようになり、当該円の大きさを変更することにより、当該ターゲット部位に対応する第１局部画像の調整を実現する。

【0180】

ここで、電子機器は、形状調整を行うための第１調整パラメータを確定し、当該第１調整パラメータに基づいて第１局部画像に対して形状調整を行う。相応的に、電子機器が当該第１調整パラメータに基づいて当該第１局部画像に対して形状調整を行うプロセスは、以下のステップ（１）～（２）によって実現される。

【0181】

（１）電子機器は、第１調整パラメータを確定する。

【0182】

いくつかの実施例では、電子機器は、現在の調整パラメータを第１調整パラメータとして確定する。いくつかの実施例では、ターゲット部位が遮蔽されていない場合、電子機器は、現在の調整パラメータを第１調整パラメータとして確定する。ターゲット部位が遮蔽された場合、電子機器は、前のフレームの画像の第２調整パラメータに基づいて、第１調整パラメータを確定する。相応的に、当該第１調整パラメータを確定するプロセスとして、ターゲット部位が遮蔽されることに応答して、第２調整パラメータを確定し、当該第２調整パラメータは、当該第３画像を調整するためのパラメータであり、第１調整パラメータを確定し、前記第１調整パラメータは、予め設定された幅に基づいて前記第２調整パラメータを調整することにより得られる。

【0183】

ここで、第２調整パラメータは、電子機器が第３画像を調整する際に使用する調整パラメータである。当該第２調整パラメータは、システムのデフォルトの調整パラメータであり、または、ユーザーによる設定に基づいて生成された調整パラメータである。

【0184】

本実施形態では、画像の第１調整パラメータを徐々に変更することにより、画像の調整プロセスをより滑らかにすることができ、画像の調整時に変異が突然に生じることを防止することができる。

【0185】

例えば、画像の収集中に、画像が遮蔽された場合があり、このような場合、電子機器によるターゲット部位の調整に応答して、電子機器は、フォールトトレラント処理を行う。順延時間としてターゲット数の画像を選択することにより、キーフレームが欠落している場合、前のフレームを継続して現在のフレームのターゲット部位を調整することができる。調整幅を徐々に弱め、第１キーポイントが失われなくなった場合、第１調整パラメータを元の調整パラメータに復元する。

【0186】

相応的に、電子機器は、フレーム数を確定し、前記フレーム数がターゲットフレーム数に達したことに応答して、次のフレームの画像に対する画像処理を停止し、当該フレーム数は、当該ターゲット部位が遮蔽された画像の連続フレーム数である。

【0187】

電子機器がフレーム数を記録する過程で、フレーム数がターゲットフレーム数に達する前に、画像のターゲット部分が遮蔽されなくなったことが検出された場合、第１調整パラメータを第２調整パラメータに徐々に復元することもできる。例えば、目前の第１画像が第４キーポイントを失う画像であることに応答して、電子機器は、キーポイントが連続して欠落している画像のフレーム数に１を加算する。目前の画像のフレーム数がnであり、第１画像が複数の第４キーポイントを失うことに応答して、電子機器は、目前のフレーム数をn＋１に更新する。目前の第１画像が、第４キーポイントを失う画像であることに応答して、電子機器は、キーポイントが連続して欠落しているフレーム数をクリアする。電子機器は、さらに、調整パラメータが第２調整パラメータに復元するまで、予め設定された幅に基づいて現在の調整パラメータを増加させる。

【0188】

なお、電子機器は、まず、第１画像におけるターゲット部位を調整し、次に、第４キーポイントが連続して欠落しているフレーム数を確定する。または、電子機器は、まず、第４キーポイントが連続して欠落しているフレーム数を確定し、次に、第１画像におけるターゲット部位を調整する。または、電子機器は、第１画像におけるターゲット部位を調整する同時に、第４キーポイントが連続して欠落しているフレーム数を確定する。本開示の実施例では、これについて具体的に限定しない。ここで、当該ターゲットフレーム数は、必要に応じて設定され、本開示の実施例では、当該ターゲットフレーム数について具体的に限定しない。例えば、当該ターゲットフレーム数は、５０、６０、または８０などである。

【0189】

（２）電子機器は、中心点と当該第１調整パラメータに基づいて、当該第１局部画像における各画素点を調整する。

【0190】

本ステップにおいて、電子機器は、中心点の位置を変更しないまま、第１調整パラメータに基づいて、第１局部画像における画素点の位置を調整し、当該第１局部画像に対する形状調整を実現する。

【0191】

本実施形態では、電子機器は、第１調整パラメータと中心点に基づいて、第１局部画像における各画素点位置を調整することにより、ターゲット部位に対する調整を実現し、ターゲット部位以外の領域に対する調整を防止し、調整の精度を向上させる。

【0192】

ステップＳ６０４において、電子機器は、当該第２局部画像における画素点を当該第２局部画像に分散充填することにより、第２画像を得る。

【0193】

ここで、当該第２局部画像は、当該ターゲット領域における当該第１局部画像以外の画像である。電子機器は、ターゲット部位を調整することにより、第１局部画像における画素点の位置を変化させ、この結果、ターゲット領域に奇形領域が生じる。本ステップにおいて、電子機器は、ターゲット領域における画素点の位置を第１局部画像とともに調整し、ターゲット部位の調整を第１局部画像以外の他の領域に滑らかに移行させることを実現し、画像に変異が突然に生じることを防止する。

【0194】

ここで、第１局部画像を調整するプロセスには、第１局部画像に対してズームイン調整を行うプロセスと、第１局部画像に対してズームアウト調整を行うプロセスの２種類がある。相応的に、本ステップにおいて、電子機器が、当該第１画像における当該ターゲット領域内の第２局部画像の画素点を第２局部画像に分散充填することにより、第２画像を得る方法も、以下の２つの実施形態がある。

【0195】

第１実施形態では、ズームアウト調整を行う場合、以下のステップ（Ａ１）～（Ａ３）によって、画素点に対する拡散充填を実現する。

【0196】

（Ａ１）第１局部画像が縮小されることに応答して、電子機器は、第１移動方向を確定し、当該第１移動方向は、当該中心点に近い。

【0197】

本ステップにおいて、第１局部画像に対してズームアウト調整を行うと、第２局部画像における画素点の移動方向は、第１局部画像が縮小されるプロセスにおける移動方向と一致し、当該第２局部画像における画素点の移動方向が当該中心点に近い方向と確定される。

【0198】

（Ａ２）電子機器は、当該第１調整パラメータに基づいて、第１移動距離を確定する。

【0199】

本ステップにおいて、電子機器は、第１調整パラメータに基づいて、第１局部画像に対してズームアウト調整を行うときに生じる可能性のある歪み領域を確定し、当該歪み領域により、第２局部画像において画素点が当該歪み画像を充填する場合に移動する必要がある第１移動距離を確定する。

【0200】

（Ａ３）電子機器は、第２画像を確定し、当該第２画像は、当該第２局部画像における画素点を当該第１移動方向に当該第１移動距離移動させることにより得られる。

【0201】

なお、電子機器が第１局部画像を調整するプロセスと電子機器が第２局部画像を調整するプロセスは、同期して実行され、または、まず第１局部画像を調整し、次に第２局部画像を調整する。ここで、電子機器は、第１局部画像と第２局部画像を同期して調整する場合、直接に第１調整パラメータに基づいて、予め確定された移動距離アルゴリズムによって、第１移動距離を確定する。

【0202】

いくつかの実施例では、電子機器は、第２局部画像における画素点と第１局部画像における画素点を移動させて、第１画像に対する画像調整を実現する。いくつかの実施例では、電子機器は、複数の第１キーポイントのうちの各キーポイントに対応する三角形パッチによって、当該第１キーポイントの移動距離および移動方向に基づいて、第２局部画像に対応する三角形パッチにおける画素点の位置を調整し、当該第１キーポイントの移動距離および移動方向に基づいて、三角形パッチにおける画素点を調整する。

【0203】

なお、いずれかの三角形パッチにおける画素点についても、各画素点の移動距離および移動方向が同じまたは異なる。各画素点の移動距離および移動方向が同じである場合、電子機器は、直接に画素点の数に基づいて、移動距離および移動方向を平均し、各画素点の移動距離および移動方向が異なる場合、電子機器は、異なる画素点の移動距離および移動方向を確定する。

【0204】

第２実施形態では、ズームイン調整を行う場合、以下のステップ（Ｂ１）～（Ｂ３）によって、画素点に対する拡散充填を実現する。

【0205】

（Ｂ１）当該第１局部画像が拡大されることに応答して、電子機器は、第２移動方向を確定し、当該第２移動方向は、当該中心点から離れる。

【0206】

本ステップにおいて、第１局部画像に対してズームイン調整を行うと、第２局部画像における画素点の移動方向は、第１局部画像が拡大されるプロセスにおける移動方向と一致し、当該第２局部画像における画素点の移動方向が当該中心点から離れると確定される。

【0207】

（Ｂ２）電子機器は、当該第１調整パラメータに基づいて、第２移動距離を確定する。

【0208】

本ステップは、Ｓ６０５におけるステップ（Ａ２）と類似し、ここでは説明を省略する。

【0209】

（Ｂ３）電子機器は、前記第２画像を確定し、前記第２画像は、当該第２局部画像における画素点を当該第２移動方向に当該第２移動距離移動させることにより得られる。

【0210】

本ステップは、Ｓ６０５におけるステップ（Ａ３）と類似し、ここでは説明を省略する。

【0211】

上記のすべての選択可能な技術案について、任意の組み合わせで本開示の選択可能な実施例を形成し、ここではそれらについて説明しない。

【0212】

当業者は、明細書を考慮し、本明細書に開示された発明を実践した後、本開示の他の実施形態を容易に想到する。本開示は、本開示の任意の変形、用途、または適応的変化をカバーすることを意図し、これらの変形、用途、または適応的変化は、本開示の一般的な原理に従い、本開示に開示されていない本技術分野における公知の常識または慣用的な技術手段を含む。明細書および実施例は、単に例示的なものとみなされ、本開示の真の範囲および精神は、以下の特許請求の範囲によって示される。

【0213】

本開示は、上記で説明され図面に示された正確な構造に限定されず、その範囲から逸脱することなく、様々な修正および変更を行うことができることを理解すべきである。本開示の範囲は、添付の特許請求の範囲のみによって制限される。

【符号の説明】

【0214】

２００ 端末
２０１ プロセッサ
２０２ メモリ
２０３ 周辺デバイスインターフェース
２０４ 高周波回路
２０５ タッチディスプレイ
２０６ カメラアセンブリ
２０７ オーディオ回路
２０８ 位置決めアセンブリ
２０９ 電源
２１０ センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2022-08-17

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】０２０４

【補正方法】変更

【補正の内容】

【0204】

第２実施形態では、ズームイン調整を行う場合、以下のステップ（Ｂ１）～（Ｂ３）によって、画素点に対する分散充填を実現する。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

第１画像における複数の第１キーポイントを確定し、前記複数の第１キーポイントは、ターゲット部位のキーポイントであることと、
前記第１画像のターゲット領域を確定し、前記ターゲット領域は、前記複数の第１キーポイントに対応する領域を拡張することに基づいて得られることと、
第２画像を取得し、前記第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、前記調整は、前記領域の中心点と第１調整パラメータに基づくものであり、前記第１局部画像は、前記領域に対応する画像であり、前記第２局部画像は、前記ターゲット領域における前記第１局部画像以外の画像であることと、を含む、
画像処理方法。

【請求項2】

前記第２画像を取得することは、
前記領域の中心点と前記第１調整パラメータに基づいて、前記第１局部画像の形状を調整することと、
前記第２局部画像における画素点を前記第２局部画像に分散充填することにより、前記第２画像を得ることと、を含む、
請求項１に記載の方法。

【請求項3】

前記第２局部画像における画素点を前記第２局部画像に分散充填することにより、前記第２画像を得ることは、
前記第１局部画像が縮小されることに応答して、第１移動方向を確定し、前記第１移動方向は、前記中心点に近いことと、
前記第１調整パラメータに基づいて、第１移動距離を確定することと、
前記第２画像を確定し、前記第２画像は、前記第２局部画像における画素点を前記第１移動方向に前記第１移動距離移動させることにより得られることと、を含む、
請求項２に記載の方法。

【請求項4】

前記第２局部画像における画素点を前記第２局部画像に分散充填することにより、前記第２画像を得ることは、
前記第１局部画像が拡大されることに応答して、第２移動方向を確定し、前記第２移動方向は、前記中心点から離れることと、
前記第１調整パラメータに基づいて、第２移動距離を確定することと、
前記第２画像を確定し、前記第２画像は、前記第２局部画像における画素点を前記第２移動方向に前記第２移動距離移動させることにより得られることと、を含む、
請求項２に記載の方法。

【請求項5】

前記第１画像のターゲット領域を確定することは、
ターゲット中心点を確定し、前記ターゲット中心点は、前記複数の第１キーポイントに基づいて得られることと、
第１キーポイントごとに、第２キーポイントを確定し、前記第２キーポイント、前記第１キーポイント、および前記ターゲット中心点は、同一直線上にあり、且つ第１距離は、第２距離より大きく、前記第１距離は、前記第２キーポイントと前記ターゲット中心点との距離であり、前記第２距離は、前記第１キーポイントと前記ターゲット中心点との距離であることと、
前記ターゲット領域を確定し、前記ターゲット領域は、複数の第２キーポイントに基づいて確定されることと、を含む、
請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記ターゲット中心点を確定することは、以下のいずれかを含み、即ち、
前記複数の第１キーポイントの中心点を前記ターゲット中心点として確定すること、
第１キーポイントの一部の中心点を前記ターゲット中心点として確定し、前記第１キーポイントの一部は、前記領域の中心領域内に位置すること、である、
請求項５に記載の方法。

【請求項7】

前記第１画像における複数の第１キーポイントを確定することは、
第３画像における複数の第３キーポイントを確定し、前記複数の第３キーポイントは、前記ターゲット部位のキーポイントであり、前記第３画像は、前記第１画像より前のフレームの画像であることと、
第１画像における複数の第４キーポイントを確定し、前記複数の第４キーポイントは、前記ターゲット部位のキーポイントであり、且つ、前記第４キーポイントは、キーポイント確定モデルによって確定されることと、
前記複数の第１キーポイントを確定し、前記複数の第１キーポイントは、前記複数の第３キーポイントと前記複数の第４キーポイントに基づいて確定されることと、を含む、
請求項１～４のいずれか一項に記載の方法。

【請求項8】

前記複数の第１キーポイントを確定することは、
第４キーポイントごとに、前記複数の第３キーポイントのうちの第１ターゲットキーポイントを確定し、前記第１ターゲットキーポイントと前記第４キーポイントは、同じ画素値を有することと、
第１位置と第２位置の平均位置を確定し、前記第１位置は、前記第１ターゲットキーポイントの位置であり、前記第２位置は、前記第４キーポイントの位置であることと、
前記第１キーポイントを取得し、前記第１キーポイントは、前記第４キーポイントの像素値を前記平均位置にレンダリングすることにより得られることと、を含む、
請求項７に記載の方法。

【請求項9】

前記複数の第１キーポイントを確定することは、以下のいずれかを含み、即ち、
前記ターゲット部位が遮蔽されることに応答して、前記複数の第３キーポイントのうちの第２ターゲットキーポイントを確定し、前記第２ターゲットキーポイントは、遮蔽されたターゲット部位に対応するキーポイントであり、前記複数の第１キーポイントを取得し、前記複数の第１キーポイントは、前記第２ターゲットキーポイントと前記複数の第４キーポイントとからなること、
前記ターゲット部位が遮蔽されることに応答して、前記複数の第３キーポイントを前記複数の第１キーポイントとすること、である、
請求項７に記載の方法。

【請求項10】

前記ターゲット部位が遮蔽されることに応答して、第２調整パラメータを確定し、前記第２調整パラメータは、前記第３画像を調整するためのパラメータであることと、
第１調整パラメータを確定し、前記第１調整パラメータは、予め設定された幅に基づいて前記第２調整パラメータを調整することにより得られることと、をさらに含む、
請求項７に記載の方法。

【請求項11】

フレーム数を確定し、前記フレーム数は、前記ターゲット部位が遮蔽された画像の連続フレーム数であることと、
前記フレーム数がターゲットフレーム数に達したことに応答して、次のフレームの画像に対する画像処理を停止することと、をさらに含む、
請求項１０に記載の方法。

【請求項12】

第１画像における複数の第１キーポイントを確定するように構成され、前記複数の第１キーポイントは、ターゲット部位のキーポイントである第１確定モジュールと、
前記第１画像のターゲット領域を確定するように構成され、前記ターゲット領域は、前記複数の第１キーポイントに対応する領域を拡張することに基づいて得られる第２確定モジュールと、
第２画像を取得するように構成され、前記第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、前記調整は、前記領域の中心点と第１調整パラメータに基づくものであり、前記第１局部画像は、前記領域に対応する画像であり、前記第２局部画像は、前記ターゲット領域における前記第１局部画像以外の画像である画像取得モジュールと、を含む、
ことを特徴とする画像処理装置。

【請求項13】

１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行可能な命令を記憶するための揮発性または不揮発性メモリと、を含み、
ここで、前記１つ以上のプロセッサは、以下のステップを実行するように構成され、即ち、
第１画像における複数の第１キーポイントを確定し、前記複数の第１キーポイントは、ターゲット部位のキーポイントであるステップ、
前記第１画像のターゲット領域を確定し、前記ターゲット領域は、前記複数の第１キーポイントに対応する領域を拡張することに基づいて得られるステップ、
第２画像を取得し、前記第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、前記調整は、前記領域の中心点と第１調整パラメータに基づくものであり、前記第１局部画像は、前記領域に対応する画像であり、前記第２局部画像は、前記ターゲット領域における前記第１局部画像以外の画像であるステップ、である、
電子機器。

【請求項14】

命令が記憶され、前記命令が電子機器のプロセッサによって実行されるときに、以下のステップを前記電子機器に実行させることができ、即ち、
第１画像における複数の第１キーポイントを確定し、前記複数の第１キーポイントは、ターゲット部位のキーポイントであるステップ、
前記第１画像のターゲット領域を確定し、前記ターゲット領域は、前記複数の第１キーポイントに対応する領域を拡張することに基づいて得られるステップ、
第２画像を取得し、前記第２画像は、第１局部画像および第２局部画像における画素点の位置を調整することにより得られ、前記調整は、前記領域の中心点と第１調整パラメータに基づくものであり、前記第１局部画像は、前記領域に対応する画像であり、前記第２局部画像は、前記ターゲット領域における前記第１局部画像以外の画像であるステップ、である、
コンピュータ可読記憶媒体。

【国際調査報告】