特表 2024-519355 画像処理方法、装置、機器、記憶媒体、プログラム製品及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-10

(54)【発明の名称】画像処理方法、装置、機器、記憶媒体、プログラム製品及びプログラム

(51)【国際特許分類】

   G06T 7/11 20170101AFI20240501BHJP

   G06T 7/00 20170101ALI20240501BHJP

【ＦＩ】

G06T7/11

G06T7/00 660A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023570322

(86)(22)【出願日】2021-10-29

(85)【翻訳文提出日】2023-11-13

(86)【国際出願番号】 CN2021127480

(87)【国際公開番号】W WO2022237089

(87)【国際公開日】2022-11-17

(31)【優先権主張番号】202110527077.4

(32)【優先日】2021-05-14

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＦＲＡＭ

(71)【出願人】

【識別番号】321006888

【氏名又は名称】ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】リー スーイン

(72)【発明者】

【氏名】チェン ズーカイ

(72)【発明者】

【氏名】ワン チュエン

(72)【発明者】

【氏名】チエン チェン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA08

5L096BA18

5L096CA02

5L096DA01

5L096EA06

5L096EA35

5L096FA02

5L096FA06

5L096FA09

5L096FA25

5L096FA62

5L096FA69

5L096GA30

5L096GA51

5L096HA11

5L096JA11

5L096JA22

5L096KA04

5L096MA03

(57)【要約】

本発明の実施例は、画像処理方法、装置、機器、記憶媒体、プログラム製品及びプログラムを提供し、ここで、前記画像処理方法は、処理対象画像に基づいて、目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置を決定することと、前記目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置に基づいて、前記目標部位における非遮蔽領域の画素位置を決定することと、前記目標部位における非遮蔽領域の画素位置に基づいて、前記非遮蔽領域に対してレンダリング処理を実行することと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像処理方法であって、
処理対象画像に基づいて、目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置を決定することと、
前記目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置に基づいて、前記目標部位における非遮蔽領域の画素位置を決定することと、
前記目標部位における非遮蔽領域の画素位置に基づいて、前記非遮蔽領域に対してレンダリング処理を実行することと、を含む、前記画像処理方法。

【請求項2】

前記処理対象画像に基づいて、目標部位の画素位置を決定することは、
前記処理対象画像に対してキーポイント検出を実行して、前記目標部位のキーポイント情報を取得することと、
前記目標部位のキーポイント情報に基づいて、前記目標部位の画素位置を決定することと、を含む、
請求項１に記載の画像処理方法。

【請求項3】

前記処理対象画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、
画像分割モデル及び前記処理対象画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することを含む、
請求項１又は２に記載の画像処理方法。

【請求項4】

前記画像分割モデル及び前記処理対象画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、
前記処理対象画像に基づいて、前記目標部位を含む切断画像を決定することと、
前記切断画像に基づいて、前記画像分割モデルに入力される目標画像を決定することと、
前記画像分割モデルを使用して前記目標画像を処理して、出力画像を取得することと、
前記出力画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む、
請求項３に記載の画像処理方法。

【請求項5】

前記処理対象画像に基づいて、前記目標部位を含む切断画像を決定することは、
前記処理対象画像及びアフィン変換行列に基づいて、アフィン変換後の画像を決定することと、
前記アフィン変換後の画像を切断して、前記切断画像を取得することと、を含み、
前記出力画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、
前記出力画像及び前記アフィン変換行列に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することを含む、
請求項４に記載の画像処理方法。

【請求項6】

前記出力画像は、前記目標画像又は前記切断画像の画素と同じ行列数の目標行列を含み、前記目標行列の各要素の要素値は、前記各要素に対応する画素が前記目標部位又は非目標部位に属する確率を表し、
前記出力画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、
前記目標行列の各要素の要素値を、前記切断画像の各画素に対応する要素値として決定することと、
前記切断画像の各画素に対応する要素値及び前記アフィン変換行列に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む、
請求項４又は５に記載の画像処理方法。

【請求項7】

前記切断画像の各画素に対応する要素値及び前記アフィン変換行列に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、
前記切断画像の各画素に対応する要素値及び前記アフィン変換行列に基づいて、前記処理対象画像のうち、前記切断画像に対応する前記目標部位を含む局所画像の各画素に対応する要素値を決定することと、
前記局所画像の各画素に対応する要素値に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む、
請求項６に記載の画像処理方法。

【請求項8】

前記局所画像の各画素に対応する要素値に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、
前記目標部位の画素位置で、前記局所画像の各画素に対応する要素値から、第１閾値条件を満たす目標要素値を決定することと、
前記局所画像の第１指定画素に対応する前記処理対象画像内の第２指定画素の画素位置を決定することと、
前記目標要素値に対応する前記局所画像上の画素位置及び前記第２指定画素の画素位置に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む、
請求項７に記載の画像処理方法。

【請求項9】

前記局所画像の各画素に対応する要素値に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、
前記処理対象画像における前記局所画像以外の指定領域の各画素に対応する要素値を決定することと、
前記目標部位の画素位置で、前記指定領域の各画素に対応する要素値及び前記局所画像の各画素の要素値から、第１閾値条件を満たす指定要素値を決定することと、
前記指定要素値に対応する前記処理対象画像上の画素位置に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む、
請求項７に記載の画像処理方法。

【請求項10】

前記画像処理方法は、前記出力画像に基づいて、前記目標部位の画素位置上の各画素に対応する要素値を決定することを更に含み、
前記目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置に基づいて、前記目標部位における非遮蔽領域の画素位置を決定することは、
前記目標部位の画素位置上の各画素に対応する要素値で、第２閾値条件を満たす候補要素値を決定することと、
前記候補要素値に対応する画素位置を、遷移領域の画素位置として決定することと、
前記目標部位における被遮蔽領域の画素位置及び前記遷移領域の画素位置に基づいて、前記目標部位における非遮蔽領域の画素位置を決定することと、を含む、
請求項４ないし９のいずれか一項に記載の画像処理方法。

【請求項11】

前記画像処理方法は、
前記遷移領域の画素位置に基づいて、前記遷移領域に対して平滑化処理を実行することを更に含む、
請求項１０に記載の画像処理方法。

【請求項12】

前記画像分割モデルは、訓練サンプルセット及び目標サンプルセットを介して訓練して取得し、前記訓練サンプルセットは、複数の訓練サンプル画像を含み、各前記訓練サンプル画像の少なくとも１つの部位は遮蔽され、前記目標サンプルセットは、複数の目標サンプル画像を含み、各前記目標サンプル画像は、前記部位内の非遮蔽領域のマスクを含む、
請求項３ないし１１のいずれか一項に記載の画像処理方法。

【請求項13】

前記訓練サンプルセットは、遮蔽物画像セット内の各遮蔽物画像の遮蔽物が、切断画像セット内の各切断画像の少なくとも１つの遮蔽なしの部位をランダムに遮蔽することによって取得されるものであり、
前記目標サンプルセットは、前記少なくとも１つの遮蔽なしの部位に対する、前記各遮蔽物画像における遮蔽物の位置に基づいて決定されるものである、
請求項１２に記載の画像処理方法。

【請求項14】

前記目標サンプルセットは、各前記訓練サンプル画像の前記少なくとも１つの部位内の非遮蔽領域に基づいて決定されるものであり、
前記各前記訓練サンプル画像の前記少なくとも１つの部位内の非遮蔽領域は、各前記訓練サンプル画像の遮蔽物領域及び各前記訓練サンプル画像の前記少なくとも１つの部位のキーポイント情報によって決定されるものである、
請求項１２に記載の画像処理方法。

【請求項15】

画像処理装置であって、
処理対象画像に基づいて、目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置を決定するように構成される第１決定部と、
前記目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置に基づいて、前記目標部位における非遮蔽領域の画素位置を決定するように構成される第２決定部と、
前記目標部位における非遮蔽領域の画素位置に基づいて、前記非遮蔽領域に対してレンダリング処理を実行するように構成されるレンダリング部と、を備える、前記画像処理装置。

【請求項16】

画像処理機器であって、メモリとプロセッサとを備え、
前記メモリは、プロセッサで実行可能なコンピュータプログラムを記憶し、
前記プロセッサは、前記コンピュータプログラムを実行するときに、請求項１ないし１４のいずれか一項に記載の画像処理方法を実現する、前記画像処理機器。

【請求項17】

１つ又は複数のプログラムを記憶し、前記１つ又は複数のプログラムが、１つ又は複数のプロセッサによって実行されるときに、請求項１ないし１４のいずれか一項に記載の画像処理方法を実現する、コンピュータ記憶媒体。

【請求項18】

請求項１ないし１４のいずれか一項に記載の画像処理方法を実行する命令を含むプログラムコードを運ぶ、コンピュータプログラム製品。

【請求項19】

画像処理機器で実行されるときに、前記画像処理機器のプロセッサに、請求項１ないし１４のいずれか一項に記載の画像処理方法を実行させるコンピュータ可読コードを含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、２０２１年０５月１４日に中国特許局に提出された、出願番号が２０２１１０５２７０７７．４であり、発明の名称が「画像処理方法、装置、機器及びコンピュータ記憶媒体」である中国特許出願の優先権を主張し、その内容の全てが引用により本願に組み込まれる。

【0002】

本発明の実施例は、画像処理の技術分野に関するが、これらに限定されなく、特に、画像処理方法、装置、機器、記憶媒体、プログラム製品及びプログラムに関する。

【背景技術】

【0003】

カメラ技術の普及と応用に伴い、画像撮影やビデオ撮影のための機器の使用は、人々の日常生活の中での生活を記録するための重要な手段の１つになっている。画像やビデオの美しさを高めるために、画像やビデオの人物の特定の部位をレンダリングすることができ、例えば、画像の顔の部位及び／又は画像の肢体部位に対してビューティメイクアップ特殊処理を実行することができる。

【0004】

関連技術では、特定の部位をレンダリングするとき、この部位が遮蔽された場合、例えば、特定の部位が遮蔽物によって遮蔽された場合、その部位に対して実行したレンダリングは、遮蔽物上に表示され、それにより、不自然なビューティメイクアップ効果をもたらす。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の実施例は、画像処理方法、装置、機器、記憶媒体、プログラム製品及びプログラムを提供する。

【課題を解決するための手段】

【0006】

第１態様において、画像処理方法を提供し、前記方法は、処理対象画像に基づいて、目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置を決定することと、前記目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置に基づいて、前記目標部位における非遮蔽領域の画素位置を決定することと、前記目標部位における非遮蔽領域の画素位置に基づいて、前記非遮蔽領域に対してレンダリング処理を実行することと、を含む。

【0007】

いくつかの実施例では、前記処理対象画像に基づいて、目標部位の画素位置を決定することは、前記処理対象画像に対してキーポイント検出を実行して、前記目標部位のキーポイント情報を取得することと、前記目標部位のキーポイント情報に基づいて、前記目標部位の画素位置を決定することと、を含む。

【0008】

このようにして、目標部位のキーポイント情報に基づいて、目標部位の画素位置を決定し、目標部位の画素位置は、目標部位の可視部分の画素位置及び不可視部分の画素位置を含み、目標部位の不可視部分の画素位置は、目標部位における被遮蔽領域の画素位置であるため、更に、目標部位の画素位置から、目標部位における被遮蔽領域の画素位置を削除して、目標部位における非遮蔽領域の画素位置を取得することができ、目標部位における非遮蔽領域の画素位置は、目標部位の可視部分の画素位置である。

【0009】

いくつかの実施例では、前記処理対象画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、画像分割モデル及び前記処理対象画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む。

【0010】

このようにして、目標部位における被遮蔽領域の画素位置は、画像分割モデルに基づいて決定されるため、それにより、決定された目標部位における被遮蔽領域の画素位置をより正確にすることができる。

【0011】

いくつかの実施例では、前記画像分割モデル及び前記処理対象画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、前記処理対象画像に基づいて、前記目標部位を含む切断画像を決定することと、前記切断画像に基づいて、前記画像分割モデルに入力される目標画像を決定することと、前記画像分割モデルを使用して前記目標画像を処理して、出力画像を取得することと、前記出力画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む。

【0012】

このようにして、処理対象画像を切断して、取得された切断画像には、目標対象が含まれたままであるため、それにより、切断画像内の目標部位の割合は、処理対象画像内の目標部位の割合より小さく、画像分割モデルに入力される、切断画像によって決定された目標画像内の目標部位の割合を、処理対象画像内の目標部位の割合より小さくすることにより、画像分割モデルは、切断画像の特徴以外の画像特徴を処理する必要がないだけでなく、切断画像の特徴以外の画像特徴の干渉を回避し、更に、画像分割モデルによって出力された出力画像の精度を向上し、また、画像分割モデルを使用して出力画像を取得する計算量を削減し、目標部位における被遮蔽領域の画像位置の検出効率を向上させることができる。

【0013】

いくつかの実施例では、前記処理対象画像に基づいて、前記目標部位を含む切断画像を決定することは、前記処理対象画像及びアフィン変換行列に基づいて、アフィン変換後の画像を決定することと、前記アフィン変換後の画像を切断して、前記切断画像を取得することと、を含み、前記出力画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、前記出力画像及び前記アフィン変換行列に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む。

【0014】

このようにして、まず、アフィン変換行列及び処理対象画像に基づいて、アフィン変換後の画像を取得し、次に、アフィン変換後の画像に基づいて、切断画像を決定するため、それにより、切断画像が、処理対象画像の真直度と平行度を維持し、切断画像のサイズが画像分割モデルの入力に適合できるようにし、次に、画像分割モデルを介して、切断画像に基づいて決定された目標画像を処理することにより、目標部位における被遮蔽領域を表す出力画像を正確に取得でき、更に、出力画像及びアフィン変換行列により、処理対象画像の目標部位における被遮蔽領域の画素位置を正確に取得することができる。

【0015】

いくつかの実施例では、前記出力画像は、前記目標画像又は前記切断画像の画素と同じ行列数の目標行列を含み、前記目標行列の各要素の要素値は、前記各要素に対応する画素が前記目標部位又は非目標部位に属する確率を表し、前記出力画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、前記目標行列の各要素の要素値を、前記切断画像の各画素に対応する要素値として決定することと、前記切断画像の各画素に対応する要素値及び前記アフィン変換行列に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む。

【0016】

このようにして、切断画像の各画素に対応する要素値及びアフィン変換行列に基づいて、処理対象画像のうち、切断画像に対応する局所画像の各画素が被遮蔽領域の画素であるかどうかを取得でき、更に、目標部位の各画素位置及び被遮蔽領域の各画素位置に基づいて、非遮蔽領域の各画素位置を正確に決定し、それにより、非遮蔽領域に対してレンダリング処理を実行し、目標部位のレンダリングが自然になるようにする。

【0017】

いくつかの実施例では、前記切断画像の各画素に対応する要素値及び前記アフィン変換行列に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、前記切断画像の各画素に対応する要素値及び前記アフィン変換行列に基づいて、前記処理対象画像のうち、前記切断画像に対応する前記目標部位を含む局所画像の各画素に対応する要素値を決定することと、前記局所画像の各画素に対応する要素値に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む。

【0018】

このようにして、切断画像の各画素に対応する要素値及びアフィン変換行列に基づいて、処理対象画像のうち、切断画像に対応する局所画像の各画素に対応する要素値を逆算することができ、更に、局所画像の各画素に対応する要素値に基づいて、目標部位における被遮蔽領域の画素位置を決定し、それにより、目標部位における被遮蔽領域の画素位置をすばやく決定する方法を提供する。

【0019】

いくつかの実施例では、前記局所画像の各画素に対応する要素値に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、前記目標部位の画素位置で、前記局所画像の各画素に対応する要素値から、第１閾値条件を満たす目標要素値を決定することと、前記局所画像の第１指定画素に対応する前記処理対象画像内の第２指定画素の画素位置を決定することと、前記目標要素値に対応する前記局所画像上の画素位置及び前記第２指定画素の画素位置に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む。

【0020】

このようにして、目標部位における被遮蔽領域の局所画像上の画素位置、及び決定された局所画像の第１指定画素に対応する処理対象画像内の第２指定画素の画素位置に基づいて、処理対象画像の目標部位における被遮蔽領域の画素位置を決定し、それにより、局所画像の各画素が目標部位に属するかどうかの判断結果をダンプ及び処理するだけで、判断結果のダンプ及び処理にかかる時間が短縮される。

【0021】

いくつかの実施例では、前記局所画像の各画素に対応する要素値に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、前記処理対象画像における前記局所画像以外の指定領域の各画素に対応する要素値を決定することと、前記目標部位の画素位置で、前記指定領域の各画素に対応する要素値及び前記局所画像の各画素の要素値から、第１閾値条件を満たす指定要素値を決定することと、前記指定要素値に対応する前記処理対象画像上の画素位置に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む。

【0022】

このようにして、処理対象画像における前記局所画像以外の指定領域の各画素に対応する要素値を決定することにより、処理対象画像の各画素に対応する要素値を取得でき、更に、処理対象画像の各画素に対応する要素値のサイズに基づいて、処理対象画像の目標部位における被遮蔽領域の画素位置を決定でき、目標部位における被遮蔽領域の画素位置を正確に決定することができる。

【0023】

いくつかの実施例では、前記画像処理方法は、前記出力画像に基づいて、前記目標部位の画素位置上の各画素に対応する要素値を決定することを更に含み、前記目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置に基づいて、前記目標部位における非遮蔽領域の画素位置を決定することは、前記目標部位の画素位置上の各画素に対応する要素値で、第２閾値条件を満たす候補要素値を決定することと、前記候補要素値に対応する位置を、前記遷移領域の画素位置として決定することと、前記目標部位における被遮蔽領域の画素位置及び前記遷移領域の画素位置に基づいて、前記目標部位における非遮蔽領域の画素位置を決定する。

【0024】

このようにして、まず、遷移領域の画素位置を決定することができ、遷移領域の各画素に対応する要素値は、各画素が目標部位に属する可能性もあり、非目標部位に属する可能性もあることを表し、それにより、目標部位における被遮蔽領域の画素位置及び遷移領域の画素位置に基づいて、目標部位における非遮蔽領域の画素位置を決定し、遷移領域の特定の画素が非遮蔽領域の画素として決定される状況を効果的に回避し、更に、目標部位における非遮蔽領域の画素位置を正確に決定するすることができる。

【0025】

いくつかの実施例では、前記画像処理方法は、前記遷移領域の画素位置に基づいて、前記遷移領域に対して平滑化処理を実行することを更に含む。

【0026】

このようにして、遷移領域の各画素に対応する要素値は、各画素が目標部位に属する可能性もあり、非目標部位に属する可能性もあることを表すため、それにより、遷移領域に対して平滑化処理を実行して、被遮蔽領域と非遮蔽領域との遷移を自然になるようにし、処理対象画像の処理の精度と自然度を向上させることができる。

【0027】

いくつかの実施例では、前記画像分割モデルは、訓練サンプルセット及び目標サンプルセットを介して訓練して取得し、前記訓練サンプルセットは、複数の訓練サンプル画像を含み、各前記訓練サンプル画像の少なくとも１つの部位は遮蔽され、前記目標サンプルセットは、複数の目標サンプル画像を含み、各前記目標サンプル画像は、前記部位内の非遮蔽領域のマスクを含む。

【0028】

このようにして、複数の訓練サンプル画像を訓練入力として、複数の目標サンプル画像を訓練目標として、画像分割モデルを訓練して取得し、それにより、画像分割モデルを介して、後続に入力される目標画像を処理して、更に、目標部位における非遮蔽領域の画素位置を取得でき、したがって、画像処理機器によって、目標部位における非遮蔽領域の画素位置を自動的に取得し、人手を節約でき、決定された目標部位における非遮蔽領域の画素位置が正確になる。

【0029】

いくつかの実施例では、前記訓練サンプルセットは、遮蔽物画像セット内の各遮蔽物画像の遮蔽物が、切断画像セット内の各切断画像の少なくとも１つの遮蔽なしの部位をランダムに遮蔽することによって取得されるものであり、前記目標サンプルセットは、前記少なくとも１つの遮蔽なしの部位に対する、前記各遮蔽物画像における遮蔽物の位置に基づいて決定される。

【0030】

このようにして、各遮蔽物画像の遮蔽物は、少なくとも１つの遮蔽なしの部位をランダムに遮蔽して、訓練サンプルセットを取得し、それにより、遮蔽物は、部位の異なる位置を遮蔽して、異なる訓練サンプル画像を取得でき、１つの遮蔽物及び１つの部位により、複数の訓練サンプルを組み合わせることができ、更に、少ない切断画像及び少ない遮蔽物画像に基づいて、多くの訓練サンプルを決定でき、したがって、訓練して取得されたが画像分割モデルは性能が高く、決定された目標部位における非遮蔽領域の画素位置の精度は高くなる。

【0031】

いくつかの実施例では、前記目標サンプルセットは、各前記訓練サンプル画像の前記少なくとも１つの部位内の非遮蔽領域に基づいて決定されるものであり、前記各前記訓練サンプル画像の前記少なくとも１つの部位内の非遮蔽領域は、各前記訓練サンプル画像の遮蔽物領域及び各前記訓練サンプル画像の前記少なくとも１つの部位のキーポイント情報によって決定されるものである。

【0032】

このようにして、各訓練サンプル画像の少なくとも１つの部位のキーポイント情報に基づいて、各訓練サンプル画像の少なくとも１つの部位の領域を決定し、次に、少なくとも１つの部位の領域及び決定された各訓練サンプル画像の遮蔽物領域に基づいて、少なくとも１つの部位内の非遮蔽領域を取得し、少なくとも１つの部位内の非遮蔽領域に基づいて、目標サンプルセットを決定することができ、それにより、目標サンプルセットは、取得された、少なくとも１つの部位が遮蔽された訓練サンプルに基づいて決定され、訓練サンプルは、直接取得された、少なくとも１つの部位が遮蔽されたサンプルであるため、それにより、訓練サンプルセット及び目標サンプルセットを容易に取得し、取得された訓練サンプルセット及び目標サンプルセットは、実際のシーンに適合する。

【0033】

第２態様において、画像処理装置を提供し、前記装置は、処理対象画像に基づいて、目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置を決定するように構成される第１決定ユニットと、前記目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置に基づいて、前記目標部位における非遮蔽領域の画素位置を決定するように構成される第２決定ユニットと、前記目標部位における非遮蔽領域の画素位置に基づいて、前記非遮蔽領域に対してレンダリング処理を実行するように構成されるレンダリングユニットと、を備える。

【0034】

第３態様において、画像処理機器を提供し、前記機器は、メモリと、プロセッサとを備え、前記メモリは、前記プロセッサで実行可能なコンピュータプログラムが記憶し、前記プロセッサは、前記コンピュータプログラムを実行するときに、上記の画像処理方法のステップを実現する。

【0035】

第４態様において、コンピュータ記憶媒体を提供し、前記コンピュータ記憶媒体には、１つ又は複数のプログラムが記憶され、前記１つ又は複数のプログラムは、１つ又は複数のプロセッサによって実行することにより、上記の画像処理方法のステップを実現する。

【0036】

第５態様において、コンピュータプログラム製品を提供し、前記コンピュータプログラム製品は、プログラムコードを運び、前記プログラムコードに含まれる命令は、上記の画像処理方法のステップを実行する。

【0037】

第６態様において、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードが画像処理機器で実行されるときに、前記画像処理機器のプロセッサは、上記の画像処理方法のステップを実行する。

【0038】

本発明の実施例では、目標部位の画素位置及び目標部位における被遮蔽領域の画素位置に基づいて、目標部位における非遮蔽領域の画素位置を決定し、目標部位における非遮蔽領域の画素位置を決定することにより、目標部位における非遮蔽領域の画素位置を正確に決定でき、非遮蔽領域に対してレンダリング処理を実行して取得された画像の精度及び自然度を高くし、また、まず、目標部位における非遮蔽領域の画素位置を決定し、次に、非遮蔽領域に対してレンダリング処理を実行するため、それにより、非遮蔽領域以外の他の領域はレンダリングする必要がなく、非遮蔽領域のみをレンダリングし、それにより、レンダリング必要のある領域が小さくなり、目標部位における非遮蔽領域のレンダリング効率を向上させる。

【0039】

本発明の上記の目的、特徴及び利点をより理解しやすくするために、以下では、添付の図面を参照して好ましい実施例を詳細に説明する。

【図面の簡単な説明】

【0040】

【図1】本発明の実施例による画像処理方法を実現するためのフロチャートである。

【図2】本発明の実施例による目標部位領域及び目標部位における被遮蔽領域の概略図である。

【図3】本発明の実施例による別の画像処理方法を実現するためのフロチャートである。

【図4】本発明の実施例による更に別の画像処理方法を実現するためのフロチャートである。

【図5】本発明の実施例による更に別の画像処理方法を実現するためのフロチャートである。

【図6】本発明の別の実施例による画像処理方法を実現するためのフロチャートである。

【図7】本発明の更に別の実施例による画像処理方法を実現するためのフロチャートである。

【図8】本発明の実施例による画像分割モデルの決定方法を実現するためのフロチャートである。

【図9】本発明の実施例による別の画像分割モデルの決定方法を実現するためのフロチャートである。

【図10】本発明の実施例による訓練サンプル画像及び目標サンプル画像を決定するためのフロチャートある。

【図11】本発明の実施例による更に別の画像分割モデルの決定方法を実現するためのフロチャートである。

【図12】本発明の実施例による訓練サンプル画像及び目標サンプル画像を決定するための別のフロチャートある。

【図13】本発明の実施例による画像処理装置の構成の模式的な構造図である。

【図14】本発明の実施例による画像処理機器のハードウェアエンティティの概略図である。

【発明を実施するための形態】

【0041】

本発明の実施例の技術的解決策をより明確に説明するために、以下では、実施例の説明に必要な図面を簡単に説明する。ここでの図面は、本明細書に組み込まれ、本明細書の一部を構成し、これらの図面は、本発明と一致する実施例を示すものであり、明細書とともに本発明の技術的解決策を説明するために使用される。

【0042】

以下では、実施例及び図面を参照して本発明の技術的解決策について具体てきに詳細に説明する。以下のいくつかの特定の実施例は、互いに組み合わせることができ、同じ又は類似の概念又はプロセスについては、いくつかの実施例では繰り返して説明しないことがある。

【0043】

本発明の明細書における「第１」、「第２」などの用語は、特定の順番又は前後順番を限定するものではなく、類似する対象を区別するものであることに留意されたい。本発明の実施例における複数は、特に説明のない限り、少なくとも２つを指し得る。

【0044】

さらに、本発明の実施例に記載の技術的解決策は、競合することなく、任意に組み合わせることができる。

【0045】

ビューティメイクアップ特殊効果のリアリティに対するユーザの要求が徐々に高まっていることを前提に、顔が部分的に遮蔽された場合の特殊効果の安定性及び自然度は、ますます重要になっている。

【0046】

関連技術では、キーポイント検出の技術案によって、画像内の特定の部位が遮蔽されたかどうかを判断する。例えば、画像処理機器は、画像における当該部位の複数のキーポイントに基づいて、各キーポイントが遮蔽されたかどうかを決定し、次に、当該部位の遮蔽されたキーポイントの割合に基づいて、当該部位が完全に遮蔽されたかどうかを決定することができる。この方法は、部位（唇など）が完全に遮蔽されたかどうかを判断する場合に役立つ。

【0047】

ただし、実際のシーンでは、通常、特定の部位が完全に遮蔽されるのではなく、部分的に遮蔽される。特定の部位が部分的に遮蔽された場合、画像処理機器は、その部位の遮蔽範囲を正確に決定できず、当該部位に対してレンダリング処理を実行するとき、当該部位の各画素が遮蔽されたかどうかの状況を取得できないため、当該部位の遮蔽物をレンダリングしやすいか、又は、当該部位の遮蔽されていない領域がレンダリングされないため、レンダリングの精度が低くなり、レンダリング効果が不自然になる。

【0048】

本発明の実施形態では、画像分割モデル及び目標画像により、目標画像に対応する遮蔽マスクを決定し、目標部位のキーポイント情報を決定することにより、リアルなビューティメイクアップ効果に達成する。

【0049】

遮蔽マスクは、目標部位における非遮蔽領域と、目標部位における非遮蔽領域以外の他の領域を区別するために使用され得る。目標部位における非遮蔽領域は、目標部位の可視領域であり、目標部位における非遮蔽領域以外の他の領域は、目標部位の不可視領域（即ち、目標部位の遮蔽領域）を含み得、目標部位の遮蔽領域と目標部位における非遮蔽領域は、両方とも目標部位領域に属する。

【0050】

いくつかの実施形態では、遮蔽マスクは、目標画像の画素と同じ行列数の目標行列であり得、目標行列の説明については、以下の実施例の説明を参照することができる。

【0051】

遮蔽物体は、指、手、又は腕などの人体部位を含み得、又は、ウォーターカップ、植物などのような物体を含み得、本発明の実施例は、これを具体的に限定しない。

【0052】

本発明の実施例における目標部位は、１つの部位又は少なくとも２つの部位であり得る。例えば、目標部位は、顔面上の部位であり得、顔面上の部位は、顔面器官を含み得る。別の例では、目標部位は、非顔面上の部位であり得、非顔面上の部位は、手、足、四肢、又は胴体の特定の部位を含み得る。いくつかの実施形態では、目標部位は、眉毛、目、鼻、口、顔の輪郭、まぶた、頬骨、人中、指、つま先、爪、腰などの少なくとも１つを含み得、本発明の実施例は、これを具体的に限定しない。

【0053】

本発明の実施例における目標部位は、人体上の部位であり得ることに留意されたい。別のいくつかの実施例では、目標部位は、非人体上の部位であり得、非人体は、例えば、猫又は犬などの動物である。

【0054】

本願実施例における画像処理機器は、サーバ、携帯電話（Ｍｏｂｉｌｅ Ｐｈｏｎｅ）、タブレットコンピュータ（Ｐａｄ）、無線トランシーバ機能を備えたＰＣ、ポケットＰＣ、デスクトップＰＣ、携帯情報端末、携帯メディアプレーヤ、スマートスピーカ、ナビゲーション装置、スマートウォッチ、スマート眼鏡、スマートネックレスなどのウェアラブル機器、歩数計、デジタルＴＶ、仮想現実（ＶＲ：ＶｉｒｔｕａｌＲｅａｌｉｔｙ）端末機器、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）端末機器、産業用制御（Ｉｎｄｕｓｔｒｉａｌ Ｃｏｎｔｒｏｌ）における無線端末、自動運転（Ｓｅｌｆ Ｄｒｉｖｉｎｇ）における無線端末、遠隔医療手術（Ｒｅｍｏｔｅ Ｍｅｄｉｃａｌ Ｓｕｒｇｅｒｙ）における無線端末、スマートグリッド（Ｓｍａｒｔ Ｇｒｉｄ）における無線端末、輸送安全（Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓａｆｅｔｙ）における無線端末、スマートシティ（Ｓｍａｒｔ Ｃｉｔｙ）における無線端末、スマートホーム（Ｓｍａｒｔ Ｈｏｍｅ）における無線端末、カーネットワーキングシステムにおける車、車載機器、車載モジュールなどのうちの１つ、又は少なくとも２つの組み合わせを含み得る。

【0055】

図１は、本発明の実施例による画像処理方法を実現するためのフロチャートであり、当該方法は、画像処理機器に適用され、以下のステップＳ１０１～ステップＳ１０３を含む。

【0056】

ステップＳ１０１において、処理対象画像に基づいて、目標部位の画素位置及び目標部位における被遮蔽領域の画素位置を決定する。

【0057】

処理対象画像は、レンダリング処理待ちの画像であり得、処理対象画像は、顔の画像を含み得る。いくつかの実施プロセスでは、処理対象画像の顔が占める面積と、処理対象画像の総面積との比率は、特定の設定値より大きい場合がある。いくつかの実施形態では、処理対象画像は、画像処理機器内のカメラによって撮影された画像であり得る。別のいくつかの実施形態では、処理対象画像は。画像処理機器よってダウンロードされた画像であり得る。更に別のいくつかの実施形態では、処理対象画像は、撮影又はダウンロードされたビデオの画像フレームであり得る。

【0058】

処理対象画像は、目標部位と目標部位を遮蔽する遮蔽物を含み得る。遮蔽物は、目標部位を部分的に遮蔽することができる。

【0059】

目標部位の画素位置は、可視目標部位の画素位置及び不可視目標部位の画素位置（即ち、目標部位における被遮蔽領域の画素位置）を含み得る。

【0060】

目標部位の画素位置は、目標部位のエッジ画素の画素位置、又は、目標部位の各画素の画素位置を指し得る。目標部位における被遮蔽領域の画素位置は、目標部位における被遮蔽領域のエッジ画素の画素位置、又は、目標部位における被遮蔽領域の各画素の画素位置を含み得る。

【0061】

いくつかの実施形態では、処理対象画像に基づいて、目標部位の画素位置を決定することは、処理対象画像に対してキーポイント検出を実行して、目標部位のキーポイント情報を取得することと、目標部位のキーポイント情報に基づいて、目標部位の画素位置を決定することと、を含み得る。

【0062】

いくつかの実施形態では、処理対象画像に基づいて、目標部位における被遮蔽領域の画素位置を決定することは、処理対象画像を画像分割モデルに入力し、画像分割モデルを介して目標部位における被遮蔽領域の画素位置を出力することを含み得る。

【0063】

ステップＳ１０２において、目標部位の画素位置及び目標部位における被遮蔽領域の画素位置に基づいて、目標部位における非遮蔽領域の画素位置を決定する。

【0064】

いくつかの実施形態では、画像処理機器は、目標部位の画素位置内の、目標部位における被遮蔽領域の画素位置以外の画素位置を、目標部位における非遮蔽領域の画素位置として決定することができる。

【0065】

別のいくつかの実施形態では、画像処理機器は、遷移領域を決定することができ、遷移領域の各画素が目標部位に属する確率と、非目標部位に属する確率との差は、プリセットの値未満であり、目標部位の画素位置内の、目標部位における被遮蔽領域の画素位置以外の画素位置を、目標部位における非遮蔽領域の画素位置として決定する。

【0066】

目標部位における被遮蔽領域の画素位置は、目標部位における被遮蔽領域のエッジ画素の画素位置、又は、目標部位における被遮蔽領域の各画素の画素位置を含み得る。

【0067】

ステップＳ１０３において、目標部位における非遮蔽領域の画素位置に基づいて、非遮蔽領域に対してレンダリング処理を実行する。

【0068】

目標部位における非遮蔽領域の画素位置により、画像処理機器は、目標部位における非遮蔽領域の正確な位置を取得でき、それにより、非遮蔽領域に対して正確なレンダリング処理を実行することができる。レンダリング処理は、別のいくつかの実施形態では、特殊効果処理又はビューティメイクアップ特殊効果処理と呼ばれ得る。

【0069】

目標部位における非遮蔽領域に対してレンダリング処理を実行することは、口の非遮蔽領域に対して口紅レンダリングを実行すること、眉毛の非遮蔽領域に対して眉毛レンダリングを実行すること、まぶたの非遮蔽領域に対してアイシャドウレンダリングを実行すること、頬の非遮蔽領域に対してチークレンダリングを実行することなど顔のビューティメイクアップに使用可能なすべてのレンダリングのうちの少なくとも１つを含み得、本発明では、繰り返して説明しない。

【0070】

いくつかの実施形態では、画像処理機器は、目標部位の属性情報を決定することができ、目標部位の属性情報に基づいて、目標部位における非遮蔽領域に対してレンダリング処理を実行する。ここで、属性情報は、名前、サイズ、色、形状などのうちの少なくとも１つを含み得る。実施プロセスでは、画像処理機器は、目標部位の属性情報に基づいて、目標部位における非遮蔽領域に対応するに対応するレンダリングスタイルを決定し、次に、当該レンダリングスタイルに基づいて、目標部位における非遮蔽領域に対してレンダリング処理を実行することができる。例えば、画像処理機器は、目標部位の名前が口であり、且つ口の形状が厚いと決定した場合、口の非遮蔽領域に対して薄色のレンダリング又はグラデーションリップのレンダリングを実行することができる。

【0071】

いくつかの実施形態では、複数のレンダリングスタイルを、画像処理機器の表示画面に表示することができ、画像処理機器は、複数のレンダリングスタイルの目標レンダリングスタイルに対するユーザの動作に応答して、目標レンダリングスタイルで、非遮蔽領域に対してレンダリング処理を実行することができる。

【0072】

図２は、本発明の実施例による目標部位領域及び目標部位における被遮蔽領域の概略図であり、図２における目標部位は口であり、図２に示されるように、図２における目標部位領域及び目標部位における被遮蔽領域は、本発明の任意の実施例で言及された処理対象画像、切断画像、アフィン変換（Ａｆｆｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）後の画像、局所画像又は目標画像に適用できる。

【0073】

目標部位が口である場合を例として、処理対象画像の目標部位領域は、領域Ｐと領域Ｑの組み合わせであり、目標部位の画素位置は、領域Ｐと領域Ｑの各画素の画素位置、又は領域Ｐと領域Ｑの組み合わせ領域のエッジ画素の各画素の画素位置である。

【0074】

遮蔽物領域は、領域Ｑと領域Ｒの組み合わせであり得る。目標部位における被遮蔽領域は、領域Ｑであり得、目標部位における被遮蔽領域の画素位置は、領域Ｑの各画素の画素位置又は領域Ｑのエッジの画素位置であり得る。

【0075】

本発明の実施例では、目標部位の画素位置及び目標部位における被遮蔽領域の画素位置に基づいて、目標部位における非遮蔽領域の画素位置を決定し、目標部位における非遮蔽領域の画素位置を決定することにより、目標部位における非遮蔽領域の画素位置を正確に決定でき、非遮蔽領域に対してレンダリング処理を実行して取得された画像の精度及び自然度を高くし、また、まず、目標部位における非遮蔽領域の画素位置を決定し、次に、非遮蔽領域に対してレンダリング処理を実行するため、それにより、非遮蔽領域以外の他の領域はレンダリングする必要がなく、非遮蔽領域のみをレンダリングし、それにより、レンダリング必要のある領域が小さくなり、目標部位における非遮蔽領域のレンダリング効率を向上させる。

【0076】

図３は、本発明の実施例による別の画像処理方法を実現するためのフロチャートであり、図３に示されるように、当該方法は、画像処理機器に適用され、以下のステップＳ３０１～ステップＳ３０５を含む。

【0077】

ステップＳ３０１において、処理対象画像に対してキーポイント検出を実行して、目標部位のキーポイント情報を取得する。

【0078】

処理対象画像に対してキーポイント検出を実行することは、処理対象画像に基づいて、各部位（目標部位を含む）の位置を特定することを指し得、各部位は、眉毛、目、鼻、口、顔の輪郭などのうちの少なくとも１つを含み得る。処理対象画像に対してキーポイント検出を実行することは、処理対象画像の目標部位に対してキーポイント検出を実行することを含み得る。本発明の実施例におけるキーポイント情報はすべてキーポイント座標情報を指し得る。キーポイント座標情報は、キーポイント２次元座標情報又はキーポイント３次元座標情報であり得る。

【0079】

目標部位のキーポイント情報は、８１点、１０６点、１０００点のキーポイント情報を含み得、それにより、８１点、１０６点、１０００点のキーポイント情報により、目標部位を特定することができる。

【0080】

ステップＳ３０２において、目標部位のキーポイント情報に基づいて、目標部位の画素位置を決定する。

【0081】

ステップＳ３０３において、画像分割モデル及び処理対象画像に基づいて、目標部位における被遮蔽領域の画素位置を決定する。

【0082】

いくつかの実施形態では、画像分割モデル及び処理対象画像に基づいて、出力画像を決定し、出力画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することができる。例えば、処理対象画像に基づいて、前記画像分割モデルに入力される目標画像を決定し、次に、前記画像分割モデルを使用して前記目標画像を処理して、出力画像を取得し、前記出力画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することができる。

【0083】

いくつかの実施形態では、画像分割モデルは、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）モデルを含み得る。ここで、セマンティックセグメンテーションモデルは、セマンティックセグメンテーションネットワークとも呼ばれ得、セマンティックセグメンテーションネットワークは、Ｄｅｅｐｌａｂ ｖ３ネットワーク、完全畳み込みネットワーク（ＦＣＮｓ：Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋｓ）、ＳｅｇＮｅｔ、Ｕ－Ｎｅｔ、ＤｅｅｐＬａｂ ｖ１ネットワーク、ＤｅｅｐＬａｂ ｖ２ネットワーク、完全畳み込み（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ）ＤｅｎｓｅＮｅｔ、Ｅ－Ｎｅｔ、Ｌｉｎｋ－Ｎｅｔ、Ｍａｓｋ Ｒ－ＣＮＮ、ピラミッドシーン解析ネットワーク（ＰＳＰＮｅｔ：Ｐｙｒａｍｉｄ Ｓｃｅｎｅ Ｐａｒｓｅｉｎｇ Ｎｅｔｗｏｒｋ）、ＲｅｆｉｎｅＮｅｔ、Ｇ－ＦＲＮｅｔ（Ｇａｔｅｄ Ｆｅｅｄｂａｃｋ Ｒｅｆｉｎｅｍｅｎｔ Ｎｅｔｗｏｒｋ）のうちの少なくとも１つを含み得る。別のいくつかの実施形態では、画像分割モデルは、インスタンス分割モデル（Ｉｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）又はパノプティックセグメンテーション（Ｐａｎｏｐｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）を含み得る。

【0084】

いくつかの実施形態では、処理対象画像を、画像分割モデルに入力することにより、画像分割モデルが処理対象の画像を処理するようにして、処理対象画像に対応する出力画像を取得し、それにより、処理対象画像に対応する出力画像に基づいて、目標部位における被遮蔽領域の画素位置を決定することができる。

【0085】

別のいくつかの実施形態では、処理対象画像に対して切断、色転換、正規化転換、アフィン変換などの処理のうちの少なくとも１つを実行して、目標画像を取得する。次に、目標画像を画像分割モデルに入力することにより、画像分割モデルが目標画像を処理し、目標画像に対応する出力画像を出力するようにし、それにより、処理対象画像に対応する出力画像に基づいて、目標部位における被遮蔽領域の画素位置を決定する。ここで、処理対象画像に対して色変換を実行することは、処理対象画像に対してグレースケール又はグレースケール変換を実行して、グレースケール画像を取得することを含み得る。

【0086】

以下では、目標画像を決定するためのいくつかの方式について説明する。例えば、処理対象画像に対して切断処理を実行して目標画像を取得でき、別の例では、処理対象画像に対してアフィン変換処理を実行して、アフィン変換後の画像を取得し、アフィン変換後の画像を切断して目標画像を取得することができる。別の例では、処理対象画像を切断し、次に、切断画像に対して、色転換及び／又は正規化転換を実行した後、目標画像を取得する。本発明のいくつかの実施例では、画像処理機器は、処理対象画像に対してアフィン変換処理を実行して、アフィン変換後の画像を取得し、アフィン変換後の画像を切断した後、切断画像を取得し、次に、切断画像に対して色転換と正規化転換処理をそれぞれ実行して、目標画像を取得することができる。処理対象画像に基づいて、目標画像を取得する方式は他にもあり得、本発明では、繰り返して説明しない。

【0087】

ステップＳ３０４において、目標部位の画素位置及び目標部位における被遮蔽領域の画素位置に基づいて、目標部位における非遮蔽領域の画素位置を決定する。

【0088】

ステップＳ３０５において、目標部位における非遮蔽領域の画素位置に基づいて、非遮蔽領域に対してレンダリング処理を実行する。

【0089】

本発明の実施例では、目標部位のキーポイント情報に基づいて、目標部位の画素位置を決定し、目標部位の画素位置は、目標部位の可視部分の画素位置及び不可視部分の画素位置を含み、目標部位の不可視部分の画素位置は、目標部位における被遮蔽領域の画素位置であるため、次に、目標部位の画素位置から、目標部位における被遮蔽領域の画素位置を削除して、目標部位における非遮蔽領域の画素位置を取得することができ、目標部位における非遮蔽領域の画素位置は、目標部位の可視部分の画素位置である。

【0090】

本発明の実施例では、目標部位における被遮蔽領域の画素位置は、画像分割モデルに基づいて決定されるため、それにより、決定された目標部位における被遮蔽領域の画素位置をより正確にすることができる。

【0091】

図４は、本発明の実施例による更に別の画像処理方法を実現するためのフロチャートであり、図４に示されるように、当該方法は、画像処理機器に適用され、以下のステップＳ４０１～ステップＳ４０７を含む。

【0092】

ステップＳ４０１において、処理対象画像に基づいて、目標部位の画素位置を決定する。

【0093】

ステップＳ４０２において、処理対象画像に基づいて、目標部位を含む切断画像を決定する。

【0094】

いくつかの実施形態では、画像処理機器は、処理対象画像及びアフィン変換行列に基づいて、アフィン変換後の画像を取得し、次に、アフィン変換後の画像を切断して、切断画像を取得することができる。

【0095】

いくつかの実施形態では、アフィン変換行列は、処理対象画像からアフィン変換後の画像へのアフィン変換行列であり得、ここで、アフィン変換後の画像は、目標部位の局所領域（目標部位を含む局所領域は、切断画像であり得る）のサイズを含み、モデル入力画像のサイズと一致することができる。別のいくつかの実施形態では、アフィン変換行列は、オリジナル写真からモデル入力サイズの写真へのアフィン変換行列であり得る。

【0096】

画像処理機器は、処理対象画像の目標部位が占める領域及び／又は画像分割モデルによって入力可能な入力画像のサイズに基づいて、処理対象画像に対応するアフィン変換行列を決定することができる。アフィン変換行列は、処理対象画像に対して、並進（Ｔｒａｎｓｌａｔｉｏｎ）、縮小（Ｓｃａｌｅ）、反転（Ｆｌｉｐ）、回転（Ｒｏｔａｔｉｏｎ）、剪断（Ｓｈｅａｒ）、並進、回転、縮小、斜め切断などのうちの少なくとも１つの転換を実行することができる。

【0097】

画像処理機器は、アフィン変換後の画像に対してキーポイント認識を実行して、アフィン変換後の画像の目標部位のキーポイント情報を取得し、次に、アフィン変換後の画像の目標部位のキーポイント情報に基づいて、アフィン変換後の画像を切断することができる。別のいくつかの実施形態では、画像処理機器は、処理対象画像の目標部位のキーポイント情報に基づいて、又は、処理対象画像の目標部位のキーポイント情報及びアフィン変換行列に基づいて、アフィン変換後の画像を切断することができる。更に別のいくつかの実施形態では、画像処理機器は、処理対象画像又はアフィン変換後の画像の目標部位の中心点などの位置情報に基づいて、アフィン変換後の画像を切断して、切断画像を取得することができる。切断画像には、目標部位全体が含まれる必要がある。

【0098】

別のいくつかの実施形態では、画像処理機器は、処理対象画像を切断して、切断画像を取得することができる。例えば、画像処理機器は、処理対象画像に対してキーポイント認識を実行して、処理対象画像の目標部位のキーポイント情報を取得し、処理対象画像の目標部位のキーポイント情報に基づいて、処理対象画像を切断して、切断画像を取得する。

【0099】

処理対象画像又はアフィン変換後の画像を切断することにより、処理対象画像又はアフィン変換後の画像の無関係な背景のほとんどを削除して、関心のある領域を保持することができる。切断画像は、長方形であり得る。別のいくつかの実施形態では、切断画像は、非長方形であり得、例えば、目標部位の輪郭形状、三角形、非長方形の四辺形又は五角形などであり得、本発明の実施例は、切断画像の具体的な形状については限定しない。

【0100】

ステップＳ４０３において、切断画像に基づいて、画像分割モデルに入力される目標画像を決定する。

【0101】

いくつかの実施形態では、画像処理機器は、切断画像に対して色転換及び／又は正規化転換を実行して、目標画像を取得することができる。

【0102】

このように、切断画像に対して色転換及び／又は正規化転換を実行して、画像分割モデルに入力される目標画像を取得することにより、切断画像に対して色転換を実行する場合、画像分割モデルに入力される特徴を簡略化し、出力画像を取得する計算量を削減し、且つ出力画像を取得する速度を上げることができ、切断画像に対して正規化転換を実行する場合、切断画像の特徴を保持できるが、パラメータのサイズを小さくすることにより、出力画像の取得速度を上げ、且つ取得した出力画像の精度を向上させることができる。

【0103】

別のいくつかの実施形態では、画像処理機器は、切断画像を目標画像として使用することができる。

【0104】

ステップＳ４０４において、画像分割モデルを使用して目標画像を処理して、出力画像を取得する。

【0105】

いくつかの実施形態では、出力画像は、目標画像の画素と同じ行列数の目標行列を含み得、目標行列の各要素の要素値は、各要素に対応する画素が目標部位又は非目標部位に属する確率を表す。この実施形態では、各要素の値の範囲は、０～１の任意の値である。目標行列の各要素の要素値が、各要素に対応する画素が目標部位に属する確率を表す場合、第１閾値より大きい要素値に対応する目標画像の画素が可視目標部位に属すると決定し、第１閾値以下の要素値に対応する目標画像の画素が可視目標部位以外の他の領域に属すると決定する。目標行列の各要素の要素値が、各要素に対応する画素が非目標部位に属する確率を表す場合、第２閾値より小さい要素値に対応する目標画像の画素が可視目標部位に属すると決定し、第２閾値以上の要素値に対応する目標画像の画素が可視目標部位以外の他の領域に属すると決定する。

【0106】

別のいくつかの実施形態では、各要素の値の範囲は、他の値であり得、例えば、各要素の値の範囲は、０～２５５の任意の値である。

【0107】

更に別のいくつかの実施形態では、目標行列の各要素の要素値は、第１の値又は第２の値であり得、例えば、第１の値は、１であり、第２の値は、０であり、第１の値に対応する画素は、当該画素が可視目標部位領域に属することを表し、第２の値に対応する画素は、当該画素が可視目標部位領域以外の他の領域に属することを表す。可視目標部位領域以外の他の領域は、不可視目標部位領域及び目標部位以外の他の領域を含み得る。

【0108】

更に別のいくつかの実施形態では、出力画像は、第１色及び／又は第１テクスチャの遮蔽マスク、及び第２色及び／又は第２テクスチャの遮蔽マスクを含み得る。第１色及び／又は第１テクスチャの遮蔽マスクに対応する目標画像上の領域は、可視目標部位領域であり得、第２色及び／又は第２テクスチャの遮蔽マスクに対応する目標画像上の領域は、可視目標部位領域以外の他の領域であり得る。

【0109】

ここで、目標画像又は切断画像の各画素は、目標行列の各要素と１対１の対応関係を有する。

【0110】

ステップＳ４０５において、出力画像に基づいて、目標部位における被遮蔽領域の画素位置を決定する。

【0111】

画像分割モデルに入力される目標画像は、処理対象画像及びアフィン変換行列に基づいて取得されるため、それにより、画像分割モデルによって出力された出力画像に基づいて、目標画像の可視目標部位領域及び可視目標部位領域以外の他の領域を決定でき、更に、出力画像、アフィン変換行列及び目標部位の画素位置に基づいて、処理対象画像内の目標部位における被遮蔽領域の画素位置を決定することができる。

【0112】

ステップＳ４０６において、目標部位の画素位置及び目標部位における被遮蔽領域の画素位置に基づいて、目標部位における非遮蔽領域の画素位置を決定する。

【0113】

ステップＳ４０７において、目標部位における非遮蔽領域の画素位置に基づいて、非遮蔽領域に対してレンダリング処理を実行する。

【0114】

本発明の実施例では処理対象画像を切断して、決定された切断画像には、目標対象が含まれたままであるため、それにより、切断画像内の目標部位の割合は、処理対象画像内の目標部位の割合より小さく、画像分割モデルに入力される、切断画像によって決定された目標画像内の目標部位の割合を、処理対象画像内の目標部位の割合より小さくすることにより、画像分割モデルは、切断画像の特徴以外の画像特徴を処理する必要がないだけでなく、切断画像の特徴以外の画像特徴の干渉を回避し、更に、画像分割モデルによって出力された出力画像の精度を向上し、また、画像分割モデルを使用して出力画像を取得する計算量を削減し、目標部位における被遮蔽領域の画像位置の検出効率を向上させることができる。

【0115】

図５は、本発明の実施例による更に別の画像処理方法を実現するためのフロチャートであり、図５に示されるように、当該方法は、画像処理機器に適用され、以下のステップＳ５０１～ステップＳ５０８を含む。

【0116】

ステップＳ５０１において、処理対象画像に基づいて、目標部位の画素位置を決定する。

【0117】

ステップＳ５０２において、処理対象画像及びアフィン変換行列に基づいて、アフィン変換後の画像を決定する。

【0118】

ステップＳ５０３において、アフィン変換後の画像を切断して、切断画像を取得する。

【0119】

アフィン変換は、２次元座標から２次元座標への線形変換であり、アフィン変換は、２次元グラフィックスの真直度（Ｓｔｒａｉｇｈｔｎｅｓｓ）と平行度（Ｐａｒａｌｌｅｌｎｅｓｓ）維持でき、真直度は、変換後の直線が変わらず曲がらない直線であり、円弧が変わらず円弧であることを指し、平行度は、２次元グラフィックス間の相対的な位置関係が変わらず、平行線が変わらず平行線であり、交差する直線の交差角度が変わらないことを指す。アフィン変換は、一連の原子変換の複合によって実現でき、並進、縮小、反転、回転、及び剪断のうちの少なくとも１つを含む。したがって、これらの５種類の変換の少なくとも１つをオリジナル画像から変換画像に変換する過程は、アフィン変換行列を用いて決定でき、即ち、画像のアフィン変換は、アフィン変換行列によって実現する。

【0120】

切断画像のサイズは、画像分割モデルに対応する入力サイズと同じである。

【0121】

このように、画像分割モデルに入力される目標画像は、アフィン変換行列及び処理対象画像によって取得されるため、それにより、取得された目標画像は、処理対象画像の真直度と平行度を維持でき、且つ目標画像は、画像分割モデルの入力に適合し、次に、画像分割モデルによって目標画像を処理することにより、目標部位における被遮蔽領域を表す出力画像を正確に取得し、更に、出力画像及びアフィン変換行列により、処理対象画像における被遮蔽領域の画素位置を正確に取得することができる。

【0122】

本発明の実施形態では、まず、処理対象画像に対してアフィン変換を実行して、アフィン変換後の画像を取得し、次に、アフィン変換後の画像を切断して、切断画像を取得するため、それにより、アフィン変換が回転を含む場合にも、切断画像は処理対象画像の特徴を保持することができ、更に、取得された出力画像の精度を向上させる。まず、処理対象画像を切断し、次に、アフィン変換を実行する場合、アフィン変換が回転を含む場合、画像に充填画素を追加して、画像のサイズが画像分割モデルのサイズと同じになるようにし、更に、モデルへの入力に使用される画像にノイズを追加しため、モデルによって出力される出力画像が不正確になる状況が発生する。

【0123】

ステップＳ５０４において、切断画像に基づいて、画像分割モデルに入力される目標画像を決定する。

【0124】

ステップＳ５０５において、画像分割モデルを使用して目標画像を処理して、出力画像を取得する。

【0125】

ステップＳ５０６において、出力画像及びアフィン変換行列に基づいて、目標部位における被遮蔽領域の画素位置を決定する。

【0126】

ここで、出力画像は、目標画像の画素と同じ行列数の目標行列を含み得、目標行列の各要素の要素値は、各要素に対応する画素が目標部位又は非目標部位に属する確率を表す。

【0127】

この実施形態では、出力画像は、１つの目標行列であり、目標行列は、Ｍ行Ｎ列の行列であり得、目標画像の画素は、Ｍ行Ｎ列の画素を含み得る。ＭとＮは、１以上の正の整数であり得、ＭとＮは、同じでもよく、異なってもよい。

【0128】

目標行列の各要素の要素値が、各要素に対応する画素が目標部位属する確率を表す場合、各要素の要素値が大きいほど、当該要素に対応する目標画像の画素が目標部位に属する確率が高くなり、そうでない場合、低くなる。目標行列の各要素の要素値が、各要素に対応する画素が非目標部位属する確率を表す場合、各要素の要素値が小さいほど、当該要素に対応する目標画像の画素が目標部位に属する確率が低くなり、そうでない場合、高くなる。

【0129】

ステップＳ５０７において、目標部位の画素位置及び目標部位における被遮蔽領域の画素位置に基づいて、目標部位における非遮蔽領域の画素位置を決定する。

【0130】

ステップＳ５０８において、目標部位における非遮蔽領域の画素位置に基づいて、非遮蔽領域に対してレンダリング処理を実行する。

【0131】

本発明の実施例では、まず、アフィン変換行列及び処理対象画像に基づいて、アフィン変換後の画像を取得し、次に、アフィン変換後の画像に基づいて、切断画像を決定するため、それにより、切断画像が、処理対象画像の真直度と平行度を維持し、切断画像のサイズが画像分割モデルの入力に適合できるようにし、次に、画像分割モデルを介して、切断画像に基づいて決定された目標画像を処理することにより、目標部位における被遮蔽領域を表す出力画像を正確に取得でき、更に、出力画像及びアフィン変換行列により、処理対象画像の目標部位における被遮蔽領域の画素位置を正確に取得することができる。

【0132】

図６は、本発明の別の実施例による画像処理方法を実現するためのフロチャートであり、図６に示されるように、当該方法は、画像処理機器に適用され、以下のステップＳ６０１～ステップＳ６０９を含む。

【0133】

ステップＳ６０１において、処理対象画像に基づいて、目標部位の画素位置を決定する。

【0134】

ステップＳ６０２において、処理対象画像及びアフィン変換行列に基づいて、アフィン変換後の画像を決定する。

【0135】

ステップＳ６０３において、アフィン変換後の画像を切断して、切断画像を取得する。

【0136】

ステップＳ６０４において、切断画像に基づいて、画像分割モデルに入力される目標画像を決定する。

【0137】

ステップＳ６０５において、画像分割モデルを使用して目標画像を処理して、出力画像を取得する。

【0138】

ここで、出力画像は、目標画像の画素と同じ行列数の目標行列を含み得、目標行列の各要素の要素値は、各要素に対応する画素が目標部位又は非目標部位に属する確率を表す。

【0139】

ステップＳ６０６において、目標行列の各要素の要素値を、切断画像の各画素に対応する要素値として決定する。

【0140】

ステップＳ６０７において、切断画像の各画素に対応する要素値及びアフィン変換行列に基づいて、目標部位における被遮蔽領域の画素位置を決定する。

【0141】

実施プロセスでは、ステップＳ６０７は、以下の方式によって実現でき、具体的には、切断画像の各画素に対応する要素値及びアフィン変換行列に基づいて、処理対象画像のうち、切断画像に対応する目標部位を含む局所画像の各画素に対応する要素値を決定し、局所画像の各画素に対応する要素値に基づいて、目標部位における被遮蔽領域の画素位置を決定する。

【0142】

このように、切断画像の各画素に対応する要素値及びアフィン変換行列に基づいて、処理対象画像のうち、切断画像に対応する局所画像の各画素に対応する要素値を逆算することができ、更に、局所画像の各画素に対応する要素値に基づいて、目標部位における被遮蔽領域の画素位置を決定し、それにより、目標部位における被遮蔽領域の画素位置をすばやく決定する方式を提供することができる。

【0143】

いくつかの実施例では、画像処理機器は、目標部位の画素位置で、局所画像の各画素に対応する要素値から、第１閾値条件を満たす目標要素値を決定し、局所画像の第１指定画素が、処理対象画像内の第２指定画素の画素位置に対応すると決定し、目標要素値に対応する局所画像上の画素位置及び第２指定画素の画素位置に基づいて、目標部位における被遮蔽領域の画素位置を決定することができる。

【0144】

いくつかの実施形態では、局所画像の各画素に対応する要素値から、第１閾値条件を満たす目標要素値を決定することは、局所画像の各画素に対応する要素値から、第１閾値より大きいか、又は第２閾値より小さい目標要素値を決定することを含み得る。

【0145】

ここで、目標行列の各要素の要素値が、各要素に対応する画素が目標部位属する確率を表す場合、第２閾値より小さい目標要素値を決定し、目標行列の各要素の要素値が、各要素に対応する画素が非目標部位属する確率を表す場合、第１閾値より大きい目標要素値を決定する。それにより、画像処理機器は、切断画像における目標部位の遮蔽領域の各画素位置を取得し、更に、切断画像における目標部位の遮蔽領域の各画素位置及びアフィン変換行列に基づいて、局所画像における目標部位の遮蔽領域の各画素位置を取得することができる。

【0146】

目標要素値に対応する画素が可視目標部位に属する確率は、不可視目標部位以外の他の領域に属する概率より大きい。

【0147】

第１指定画素は、局所画像の任意の１つ又は少なくとも２つの画素であり得る。実施プロセスでは、第１指定画素は、局所画像の左上の画素であり得る。他の実施形態では、第１指定画素は、局所画像の右上の画素、左下の画素、右下の画素、中央位置の画素、又は他の位置の画素などであり得る。本発明の実施例は、第１指定画素位置の具体的な実施形態については限定しない。

【0148】

このように、目標部位における被遮蔽領域の局所画像上の画素位置、及び決定された局所画像の第１指定画素に対応する処理対象画像内の第２指定画素の画素位置に基づいて、処理対象画像の目標部位における被遮蔽領域の画素位置を決定し、それにより、局所画像の各画素が目標部位に属するかどうかの判断結果をダンプ及び処理するだけで、判断結果のダンプ及び処理にかかる時間が短縮される。

【0149】

別のいくつかの実施例では、画像処理機器は、処理対象画像における局所画像以外の指定領域の各画素に対応する要素値を決定し、目標部位の画素位置で、指定領域の各画素に対応する要素値及び局所画像の各画素の要素値から、第１閾値条件を満たす指定要素値を決定し、指定要素値に対応する処理対象画像上の画素位置に基づいて、目標部位における被遮蔽領域の画素位置を決定することができる。

【0150】

いくつかの実施形態では、指定領域の各画素に対応する要素値及び局所画像の各画素の要素値から、第１閾値条件を満たす指定要素値を決定することは、指定領域の各画素に対応する要素値及び局所画像の各画素の要素値から、第１閾値より大きいか、又は第２閾値より小さい指定要素値を決定することを含み得る。

【0151】

実施プロセスでは、目標行列の各要素の要素値が、各要素に対応する画素が目標部位属する確率を表す場合、決定された指定領域の各画素に対応する要素値は、０である。目標行列の各要素の要素値が、各要素に対応する画素が非目標部位属する確率を表す場合、決定された指定領域の各画素に対応する要素値は、１である。別のいくつかの実施形態では、目標行列の各要素の要素値が０～２５５の間である場合、決定された指定領域の各画素に対応する要素値は、０又は２５５である。

【0152】

このように、処理対象画像における局所画像以外の指定領域の各画素に対応する要素値を決定することにより、処理対象画像の各画素に対応する要素値を取得でき、更に、処理対象画像の各画素に対応する要素値のサイズに基づいて、処理対象画像内の目標部位における被遮蔽領域の画素位置を決定でき、目標部位における被遮蔽領域の画素位置を正確に決定する方式が簡単且つ容易に実現できる。

【0153】

ステップＳ６０８において、目標部位の画素位置及び目標部位における被遮蔽領域の画素位置に基づいて、目標部位における非遮蔽領域の画素位置を決定する。

【0154】

ステップＳ６０９において、目標部位における非遮蔽領域の画素位置に基づいて、非遮蔽領域に対してレンダリング処理を実行する。

【0155】

本発明の実施例では、切断画像の各画素に対応する要素値及びアフィン変換行列に基づいて、処理対象画像のうち、切断画像に対応する局所画像の各画素が被遮蔽領域の画素であるかどうかを取得でき、更に、目標部位の各画素位置及び被遮蔽領域の各画素位置に基づいて、非遮蔽領域の各画素位置を正確に決定し、それにより、非遮蔽領域に対してレンダリング処理を実行し、目標部位のレンダリングが自然になるようにする。

【0156】

図７は、本発明の更に別の実施例による画像処理方法を実現するためのフロチャートであり、図７に示されるように、当該方法は、画像処理機器に適用され、以下のステップＳ７０１～ステップＳ７１０を含む。

【0157】

ステップＳ７０１において、処理対象画像に対してキーポイント検出を実行して、目標部位のキーポイント情報を取得する。

【0158】

ステップＳ７０２において、目標部位のキーポイント情報に基づいて、目標部位の画素位置を決定する。

【0159】

ステップＳ７０３において、処理対象画像に基づいて、目標部位を含む切断画像を決定する。

【0160】

ステップＳ７０４において、切断画像に基づいて、画像分割モデルに入力される目標画像を決定する。

【0161】

ステップＳ７０５において、画像分割モデルを使用して目標画像を処理して、出力画像を取得する。

【0162】

ステップＳ７０６において、出力画像に基づいて、目標部位における被遮蔽領域の画素位置を決定する。

【0163】

いくつかの実施形態では、画像処理機器は、出力画像に基づいて、目標部位の画素位置上の各画素に対応する要素値を決定し、次に、目標部位の画素位置上の各画素に対応する要素値に基づいて、目標部位における被遮蔽領域の画素位置を決定することができる。

【0164】

画像処理機器は、目標行列の各要素の要素値を、切断画像の各画素に対応する要素値として決定し、次に、切断画像の各画素に対応する要素値及びアフィン変換行列に基づいて、処理対象画像のうち、切断画像に対応する目標部位を含む局所画像の各画素に対応する要素値を決定することができ、局所画像は、処理対象画像の目標部位を含む部分であるため、それにより、画像処理機器は、局所画像の各画素に対応する要素値に基づいて、目標部位の画素位置上の各画素に対応する要素値を決定することができる。

【0165】

別の実施形態では、画像処理機器が処理対象画像を切断して、切断画像を取得する場合、画像処理機器は、切断画像の各画素に対応する要素値に基づいて、局所画像の各画素に対応する要素値を決定し、更に、目標部位の画素位置上の各画素に対応する要素値を取得することができる。

【0166】

ステップＳ７０７において、目標部位の画素位置上の各画素に対応する要素値で、第２閾値条件を満たす候補要素値を決定する。

【0167】

いくつかの実施形態では、ステップＳ７０７は、以下の方式で実現でき、具体的には、目標部位の画素位置上の各画素に対応する要素値で、第１閾値以下で第３閾値より大きいか、又は第２閾値以上で第４閾値以下の候補要素値を決定する。

【0168】

ステップＳ７０７の前に、画像処理機器は、出力画像に基づいて、目標部位の画素位置上の各画素に対応する要素値を決定するステップを実行する。

【0169】

実施プロセスでは、目標行列の各要素の要素値が、各要素に対応する画素が目標部位属する確率を表す場合、第２閾値以上で第４閾値以下の候補要素値を決定し、目標行列の各要素の要素値が、各要素に対応する画素が非目標部位属する確率を表す場合、第１閾値以下で第３閾値より大きい候補要素値を決定する。

【0170】

いくつかの実施形態では、第１閾値と０．５との差の絶対値は、第３閾値と０．５との差の絶対値と同じであるか、又は、第２閾値と０．５との差の絶対値は、第４閾値と０．５との差の絶対値と同じである。

【0171】

ステップＳ７０８において、候補要素値に対応する位置を、遷移領域の画素位置として決定する。

【0172】

遷移領域の各画素が目標部位に属する確率と、非目標部位に属する確率との差は、目標値より小さい。

【0173】

ステップＳ７０９において、目標部位における被遮蔽領域の画素位置及び遷移領域の画素位置に基づいて、目標部位における非遮蔽領域の画素位置を決定する。

【0174】

この実施形態では、目標部位は、３つの領域を含み得、この３つの領域はそれぞれ、目標部位における被遮蔽領域、遷移領域、及び目標部位における非遮蔽領域である。画像処理機器は、目標部位の画素位置で、目標部位における被遮蔽領域の画素位置及び遷移領域的像素位置以外の画素位置を、目標部位における非遮蔽領域の画素位置として決定することができる。

【0175】

ステップＳ７１０において、遷移領域の画素位置に基づいて、遷移領域に対して平滑化処理を実行する。

【0176】

遷移領域に対して平滑化処理を実行することは、遷移領域の画素位置に基づいて、遷移領域に対して透明度の平滑化処理を実行することを含み得る。透明度の平滑化処理は、アンチエイリアス処理とも呼ばれ得る。

【0177】

いくつかの実施形態では、画像処理機器は、ステップＳ７１０を実行しなくてもよい。

【0178】

本発明の実施例では、まず、遷移領域の画素位置を決定することができ、遷移領域の各画素に対応する要素値は、各画素が目標部位に属する可能性もあり、非目標部位に属する可能性もあることを表し、それにより、目標部位における被遮蔽領域の画素位置及び遷移領域の画素位置に基づいて、目標部位における非遮蔽領域の画素位置を決定し、遷移領域の特定の画素が非遮蔽領域の画素として決定される状況を効果的に回避し、更に、目標部位における非遮蔽領域の画素位置を正確に決定するすることができる。

【0179】

さらに、遷移領域の各画素に対応する要素値は、各画素が目標部位に属する可能性もあり、非目標部位に属する可能性もあることを表すため、それにより、遷移領域に対して平滑化処理を実行して、被遮蔽領域と非遮蔽領域との遷移が自然になり、処理対象画像の処理の精度と自然度を向上させることができる。

【0180】

いくつかの実施例では、前記画像分割モデルは、訓練サンプルセット及び目標サンプルセットを介して訓練して取得し、前記訓練サンプルセットは、複数の訓練サンプル画像を含み、各前記訓練サンプル画像の少なくとも１つの部位は遮蔽され、前記目標サンプルセットは、複数の目標サンプル画像を含み、各前記目標サンプル画像は、前記部位内の非遮蔽領域のマスクを含む。

【0181】

以下では、本発明の任意の実施例における画像分割モデルを決定する方法について説明する。

【0182】

図８は、本発明の実施例による画像分割モデルの決定方法を実現するためのフロチャートであり、図８に示されるように、当該方法は、画像処理機器に適用され、以下のステップＳ８０１～ステップＳ８０３を含む。

【0183】

ステップＳ８０１において、訓練サンプルセットを取得し、訓練サンプルセットは、複数の訓練サンプル画像を含み、各訓練サンプル画像の少なくとも１つの部位は遮蔽される。

【0184】

いくつかの実施形態では、少なくとも１つの部位は、目標部位のみ含み得る。このようにして、各訓練サンプル画像において、目標部位は、遮蔽物によって遮蔽される。別のいくつかの実施形態では、少なくとも１つの部位は、目標部位を含むだけでなく、目標部位以外の他の部位も含み得、例えば、少なくとも１つの部位は、顔画像のレンダリング可能な複数の部位を含み得る。このようにして、各訓練サンプル画像の遮蔽物は、目標部位及び／又は遮蔽目標部位以外の他の部位を遮蔽することができる。

【0185】

ステップＳ８０２において、目標サンプルセットを取得し、目標サンプルセットは、複数の目標サンプル画像を含み、各目標サンプル画像は、部位内の非遮蔽領域のマスクを含む。

【0186】

実施プロセスでは、各目標サンプル画像は、非遮蔽領域以外の他の領域マスクをも含み得る。

【0187】

少なくとも１つの部位が目標部位のみを含む場合、部位内の非遮蔽領域マスクは、目標部位における非遮蔽領域マスクであり得る。少なくとも１つの部位が目標部位を含むだけでなく、他の部位も含む場合、部位内の非遮蔽領域マスクは、目標部位における非遮蔽領域マスクを含むだけでなく、他の部位内の非遮蔽領域マスクも含む。

【0188】

ステップＳ８０３において、訓練サンプルセット及び目標サンプルセットに基づいて、画像分割モデルを訓練して取得する。

【0189】

画像処理機器は、まず、初期分割モデルを取得し、次に、訓練サンプルセット及び目標サンプルセットを使用して、初期分割モデルに対して監視学習を実行して、画像分割モデルを取得することができる。監視学習は、実の目標（Ｇｒｏｕｄ Ｔｒｕｔｈ）の監視学習であり得る。

【0190】

少なくとも１つの部位が目標部位のみを含む場合、取得された画像分割モデルは、入力された画像の各画素が、可視目標部位又は可視目標部位以外の他の領域に属すると決定することができる。

【0191】

少なくとも１つの部位が複数の部位を含む場合、取得された画像分割モデルは、入力された画像の各画素が、各可視部位又は各可視部位以外の他の領域に属すると決定することができる。例えば、処理対象画像が複数の部位を含む場合、画像処理機器は、処理対象画像を切断して、複数の切断画像を取得し、複数の切断画像に基づいて、複数の目標画像を取得し、複数の目標画像を画像分割モデルに入力でき、それにより、複数の目標画像の各画素が、各可視部位又は各可視部位以外の他の領域に属することを取得し、更に、入力された画像の各画素が、各可視部位又は各可視部位以外の他の領域に属することを取得する。

【0192】

本発明の実施例では、複数の訓練サンプル画像を訓練入力として、複数の目標サンプル画像を訓練目標として、画像分割モデルを訓練して取得し、それにより、画像分割モデルを介して、後続に入力される目標画像を処理して、更に、目標部位における非遮蔽領域の画素位置を取得でき、したがって、画像処理機器によって、目標部位における非遮蔽領域の画素位置を自動的に取得し、人手を節約でき、決定された目標部位における非遮蔽領域の画素位置が正確になる。

【0193】

いくつかの実施例では、前記訓練サンプルセットは、遮蔽物画像セット内の各遮蔽物画像の遮蔽物が、切断画像セット内の各切断画像の少なくとも１つの遮蔽なしの部位をランダムに遮蔽することによって取得されるものであり、前記目標サンプルセットは、前記少なくとも１つの遮蔽なしの部位に対する、前記各遮蔽物画像における遮蔽物の位置に基づいて決定される。

【0194】

図９は、本発明の実施例による別の画像分割モデルの決定方法を実現するためのフロチャートであり、図９に示されるように、当該方法は、画像処理機器に適用され、以下のステップＳ９０１～ステップＳ９０５を含む。

【0195】

ステップＳ９０１において、切断画像のセットを取得し、切断画像のセット内の各切断画像は、ラベル付きの少なくとも１つの遮蔽なしの部位を含む。

【0196】

各切断画像の少なくとも１つの部位はすべて、遮蔽なし領域である。画像処理機器は、各切断画像の少なくとも１つの部位のキーポイント情報を決定し、少なくとも１つの部位のキーポイント情報に基づいて、少なくとも１つの部位にラベルを付けることができる。いくつかの実施形態では、画像処理機器は、ラベル付きの少なくとも１つの部位に基づいて、少なくとも１つの部位の領域マスクを決定することができる。

【0197】

画像処理機器は、複数の顔画像を取得し、次に、各顔画像に対してキーポイント認識を実行し、それにより、顔のキーポイントに基づいて少なくとも１つの部位を切断するだけでなく、少なくとも１つの部位のキーポイント情報に基づいて、少なくとも１つの部位にラベルを付けて、切断画像セットを取得することができる。いくつかの実施形態では、画像処理機器は、まず、各顔画像に対してアフィン変換を実行して、各アフィン変換後の画像を取得でき、異なる顔画像に対してアフィン変換を実行するために使用されるアフィン変換行列は、同じでもよく、異なってもよく、次に、画像処理機器は、各アフィン変換後の画像を切断して、各切断画像を取得することができる。

【0198】

いくつかの実施形態では、画像処理機器は、切断後の画像に対して色転換、正規化転換、アフィン変換などの処理の少なくとも１つを更に実行し、処理後の画像の少なくとも１つの部位にラベルを付け、それにより、切断画像セットを取得することができる。

【0199】

ステップＳ９０２において、遮蔽物画像セットを取得し、遮蔽物画像セット内の各遮蔽物画像は、ラベル付きの遮蔽物を含む。

【0200】

画像処理機器は、遮蔽物を含む複数の遮蔽物画像を取得し、次に、遮蔽物画像の遮蔽物にラベルを付けることができる。さらに、画像処理機器は、ラベル付きの遮蔽物に基づいて、遮蔽物領域マスクを決定することができる。

【0201】

いくつかの実施形態では、画像処理機器は、遮蔽物画像に対して色転換、正規化転換、アフィン変換などの処理の少なくとも１つを更に実行し、処理後の画像の遮蔽物にラベルを付け、それにより、遮蔽物画像セットを取得することができる。

【0202】

ステップＳ９０３において、各遮蔽物画像の遮蔽物は、少なくとも１つの遮蔽なしの部位をランダムに遮蔽して、訓練サンプルセットを取得する。

【0203】

１つの遮蔽別は、少なくとも１つの部位を自由に遮蔽でき、したがって、１つの切断画像及び１つの遮蔽物画像に基づいて、複数の訓練サンプル画像を取得することができる。

【0204】

ステップＳ９０４において、少なくとも１つの遮蔽なしの部位に対する、各遮蔽物画像における遮蔽物の位置に基づいて、目標サンプルセットを決定する。

【0205】

ステップＳ９０４によれば、目標サンプルセット内の各訓練サンプル画像は、訓練サンプルセット内の各訓練サンプル画像の部位内の非遮蔽領域の分割決定ある。非遮蔽領域の分割結果は、非遮蔽領域のマスク及び非遮蔽領域以外の領域マスクを含み得る。

【0206】

ステップＳ９０５において、訓練サンプルセット及び目標サンプルセットに基づいて、画像分割モデルを訓練して取得する。

【0207】

本発明の実施例では、各遮蔽物画像の遮蔽物は、少なくとも１つの遮蔽なしの部位をランダムに遮蔽して、訓練サンプルセットを取得し、それにより、遮蔽物は、部位の異なる位置を遮蔽して、異なる訓練サンプル画像を取得でき、１つの遮蔽物及び１つの部位により、複数の訓練サンプルを組み合わせることができ、更に、少ない切断画像及び少ない遮蔽物画像に基づいて、多くの訓練サンプルを決定でき、したがって、訓練して取得されたが画像分割モデルは性能が高く、決定された目標部位における非遮蔽領域の画素位置の精度を高くする。

【0208】

図１０は、本発明の実施例による訓練サンプル画像及び目標サンプル画像を決定するためのフロチャートあり、図１０に示されるように、まず、画像処理機器は、遮蔽なしの顔画像１１を取得し、次に、顔画像１１に対して顔のキーポイント検出を実行して、顔のキーポイントを取得し、顔のキーポイントに基づいて、目標部位のキーポイント情報を取得することができる。画像処理機器は、顔画像１１に対してアフィン変換を実行して、アフィン変換後の画像を取得し、次に、アフィン変換後の画像を切断して、切断画像を取得し、次に、切断画像に対してグレースケール処理及び／又は正規化処理を実行して、画像１２を取得することができる。画像１２及び画像１２の目標部位のキーポイント情報に基づいて、画像１２に対応する、目標部位領域マスクを含む画像１３を決定する。いくつかの実施形態では、顔画像１１は、２次元のキーポイントラベルを有する画像であり得、即ち、顔画像１１は、各部位に対応するキーポイント座標を有し、各部位は、顔の輪郭及び顔立ちなどを含む。

【0209】

その次、画像処理機器は、遮蔽物画像１４を取得し、次に、遮蔽物画像１４の遮蔽物にラベルを付けたラベリング結果に基づいて、遮蔽物画像に対応する、遮蔽物領域マスクを含む画像１５を取得することができる。実施プロセスでは、遮蔽物画像１４及び画像１５に対してアフィン変換処理をそれぞれ実行し，画像１４に対してアフィン変換を実行した後、グレースケール処理を実行して、それにより、画像１６及び画像１７を取得することができる。

【0210】

次に、画像処理機器は、画像１２と画像１６をランダムに組み合わせて、画像１６における遮蔽物が画像１２の目標部位をランダムに遮蔽するようにして、画像１８を取得し、次に、画像１２の目標部位に対する、画像１６における遮蔽物の位置、及び画像１３の目標部位領域マスク及び画像１７の遮蔽物領域マスクに基づいて、画像１８に対応する、可視目標部位領域を含むマスク及び当該可視目標部位領域以外の他の領域マスクを含む画像１９を取得することができる。

【0211】

ここで、画像１８は、訓練サンプル画像であり得、画像１９は、訓練サンプル画像に対応する目標サンプル画像であり得る。

【0212】

いくつかの実施例では、前記目標サンプルセットは、各前記訓練サンプル画像の前記少なくとも１つの部位内の非遮蔽領域に基づいて決定されるものであり、前記各前記訓練サンプル画像の前記少なくとも１つの部位内の非遮蔽領域は、各前記訓練サンプル画像の遮蔽物領域及び各前記訓練サンプル画像の前記少なくとも１つの部位のキーポイント情報によって決定される。

【0213】

図１１は、本発明の実施例による更に別の画像分割モデルの決定方法を実現するためのフロチャートであり、図１１に示されるように、当該方法は、画像処理機器に適用され、図１１に対応する実施例と、図９又は図１０に対応する実施例との違いは、図９又は図１０に対応する実施例における画像処理機器が取得するのはそれぞれ、非遮蔽の顔画像及び遮蔽物画像であり得、図１１に対応する実施例における画像処理機器が取得するのは、遮蔽物が顔の部位を遮蔽した遮蔽画像である。当該方法は、以下のステップＳ１１０１～ステップＳ１１０５を含む。

【0214】

ステップＳ１１０１において、訓練サンプルセットを取得し、訓練サンプルセットは、複数の訓練サンプル画像を含み、各訓練サンプル画像の少なくとも１つの部位は遮蔽される。

【0215】

訓練サンプル画像は、顔の部位を遮蔽した遮蔽画像であり得る。複数の訓練サンプル画像は、直接取得したものであり得、例えば、複数の訓練サンプル画像は、撮影によって取得すること、ダウンロードによって取得すること、ビデオから切り取ることによって取得することのうちの少なくとも１つによって取得することができる。

【0216】

ステップＳ１１０２において、各訓練サンプル画像の遮蔽物領域を決定する。

【0217】

手動のラベル付きの方式を採用して、各訓練サンプル画像の遮蔽物領域を決定することができる。

【0218】

ステップＳ１１０３において、遮蔽物領域及び各訓練サンプル画像の少なくとも１つの部位のキーポイント情報に基づいて、各訓練サンプル画像の少なくとも１つの部位内の非遮蔽領域を決定する。

【0219】

少なくとも１つの部位のキーポイント情報を介して、少なくとも１つの部位領域を決定し、次に、遮蔽物領域及び少なくとも１つの部位領域に基づいて、少なくとも１つの部位内の非遮蔽領域を決定することができる。

【0220】

ステップＳ１１０４において、少なくとも１つの部位内の非遮蔽領域に基づいて、目標サンプルセットを決定する。

【0221】

画像処理機器は、少なくとも１つの部位内の非遮蔽領域に基づいて、各訓練サンプル画像に対応する目標サンプル画像を決定でき、目標サンプル画像は、部位内の非遮蔽領域マスク及び部位内の非遮蔽領域以外の他の領域マスクを含み、それにより、目標サンプルセットを取得することができる。

【0222】

ステップＳ１１０５において、訓練サンプルセット及び目標サンプルセットに基づいて、画像分割モデルを訓練して取得する。

【0223】

本発明の実施例では、各訓練サンプル画像の少なくとも１つの部位のキーポイント情報に基づいて、各訓練サンプル画像の少なくとも１つの部位の領域を決定し、次に、少なくとも１つの部位の領域及び決定された各訓練サンプル画像の遮蔽物領域に基づいて、少なくとも１つの部位内の非遮蔽領域を取得し、少なくとも１つの部位内の非遮蔽領域に基づいて、目標サンプルセットを決定することができ、それにより、目標サンプルセットは、取得された、少なくとも１つの部位が遮蔽された訓練サンプルに基づいて決定され、訓練サンプルは、直接取得された、少なくとも１つの部位が遮蔽されたサンプルであるため、それにより、訓練サンプルセット及び目標サンプルセットを容易に取得し、取得された訓練サンプルセット及び目標サンプルセットは、実際のシーンに適合する。

【0224】

図１２は、本発明の実施例による訓練サンプル画像及び目標サンプル画像を決定するための別のフロチャートあり、図１２に示されるように、まず、画像処理機器は、目標部位を遮蔽した顔画像２１を取得し、次に、顔画像に対してキーポイント検出を実行して、顔のキーポイントを取得し、顔のキーポイントに基づいて、目標部位のキーポイント情報を取得することができる。画像処理機器は、顔画像２１に対してアフィン変換を実行して、アフィン変換後の画像を取得し、次に、アフィン変換後の画像を切断して、切断画像を取得し、次に、切断画像に対してグレースケール処理及び／又は正規化処理を実行して、画像２２を取得することができる。画像２２及び顔のキーポイントの目標部位のキーポイント情報に基づいて、画像２２に対応する、目標部位領域マスク及び非目標部位領域マスクを含む画像２３を決定する。

【0225】

その次、画像処理機器は、顔画像２１を介して、遮蔽物に対して遮蔽物にラベルを付け、ラベル付きの顔画像及びアフィン変換行列に基づいて、アフィン変換後の画像を決定し、次に、アフィン変換後の画像を切断して、それにより、切断画像の遮蔽物のラベルに基づいて、遮蔽物領域マスク及び遮蔽物以外の他の領域マスクを含む画像２４を決定することができる。ここで、顔画像２１に対してアフィン変換を実行するために使用されるアフィン変換行列及び切断位置は、それぞれ、ラベル付きの顔画像２１に対してアフィン変換を実行するために使用されるアフィン変換行列及び切断位置と同じである。別のいくつかの実施形態では、画像処理機器は、ラベル付きの顔画像２１に対してのみアフィン変換及び切断を実行し、それにより、画像２２を取得し、画像２２及び顔のキーポイントの目標部位のキーポイント情報に基づいて、画像２３を決定し、画像２２の遮蔽ラベルに基づいて、画像２４を決定することができる。更に別のいくつかの実施形態では、画像処理機器は、画像２２に基づいて遮蔽物に対して遮蔽ラベルを付けて、遮蔽ラベル付きの結果に基づいて画像２２に対応する遮蔽物領域を含む画像２４を取得することができる。

【0226】

次に、画像処理機器は、画像２３及び画像２４を組み合わせて、画像２２に対応する、可視目標部位領域を含むマスク及び当該可視目標部位領域以外の他の領域マスクを含む画像２５を取得することができる。

【0227】

ここで、画像２２は、訓練サンプル画像であり得、画像２５は、訓練サンプル画像に対応する目標サンプル画像であり得る。

【0228】

いくつかの実施形態では、画像分割モデルは、図９又は図１０に対応する実施例によって決定された訓練サンプル画像及び目標サンプル画像に基づくだけでたく、また、図１１又は図１２に対応する実施例によって決定された訓練サンプル画像及び目標サンプル画像に基づいて、訓練して取得することができる。別のいくつかの実施形態では、画像分割モデルは、図９又は図１０に対応する実施例によって決定された訓練サンプル画像及び目標サンプル画像に基づいて、訓練して取得することができる。更に別のいくつかの実施形態では、画像分割モデルは、図１１又は図１２に対応する実施例によって決定された訓練サンプル画像及び目標サンプル画像に基づいて、訓練して取得することができる。

【0229】

いくつかの実施例では、画像分割モデルに入力される目標画像は、グレースケール画像である。別のいくつかの実施例では、画像分割モデルに入力される目標画像は、マルチチャンネルＲＧＢ画像であり得る。

【0230】

画像処理機器が処理対象画像を取得した後、処理対象画像を処理して、画像分割モデルに入力可能な目標画像を取得することができる。例示的に、画像処理機器は、処理対象画像に対してキーポイント検出を実行して、処理対象画像の目標部位のサイズ及び位置を取得し、アフィン変換行列及び目標部位のサイズ及び位置に基づいて、処理対象画像に対応するアフィン変換後の画像を決定し、アフィン変換後の画像を切断して、画像分割モデルの入力サイズと同じサイズの切断画像を取得することができる。画像処理機器は、切断画像に対して色転換及び／又は正規化転換を実行することもできる。画像処理機器は、まず、アフィン変換を実行し、次に、色転換及び／又は正規化転換を実行し、それにより、画像分割モデルに入力される目標画像を取得することができる。別の実施形態では、画像処理機器は、まず、色転換及び／又は正規化転換を実行し、次に、アフィン変換を実行し、それにより、画像分割モデルに入力される目標画像を取得することができる。

【0231】

画像分割モデルにより、目標画像に対応する出力画像を取得でき、出力画像は、目標画像の画素と同じ行列数の目標行列であり、目標行列の各要素の要素値は、各要素に対応する画素が目標部位又は非目標部位に属する確率を表す。それにより、出力画像に基づいて、目標画像の目標部位における非遮蔽領域の画素位置を決定でき、更に、目標画像の目標部位における非遮蔽領域の画素位置及び目標部位の画素位置に基づいて、処理対象画像の目標部位における非遮蔽領域の画素位置を取得することができる。したがって、目標画像の遮蔽判断マスクに基づいて、処理対象画像の遮蔽判断マスクを取得することができる。実施プロセスでは、遮蔽判断マスクは、目標部位における非遮蔽領域マスク及び目標部位における非遮蔽領域以外の他の領域マスクを含み得る。示例性地，画像処理機器は、出力画像及び処理対象画像に対してアフィン変換を実行するためのアフィン変換行列に基づいて、処理対象画像のマスク位置を逆算することができ、ここで、処理対象画像のマスク位置を逆算することは、以下の２つの方式を有し得る。

【0232】

第１の方式：モデルによって出力された目標行列の各要素の要素値を、切断画像の各要素に対応する要素値として決定し、次に、切断画像の各要素に対応する要素値及びアフィン変換行列に基づいて、処理対象画像のうち、切断画像に対応する目標部位を含む局所画像の各画素の要素値を決定し、次に、局所画像以外の指定領域の各画素に対応する要素値を充填して、処理対象画像の画素に対応する行列を取得し、最後に、処理対象画像の画素に対応する行列に基づいて、処理対象画像の遮蔽判断マスクを取得する。いくつかの実施形態では、切断画像の各要素に対応する要素値は、モデルによって出力された目標行列の各要素の要素値であり、分布範囲は、０～２５５（０に近いのは唇の部分であり、２５５に近いのは非唇の部分である）又は０～１（０に近いのは唇の部分であり、１に近いのは非唇の部分である）であり、局所画像以外の指定領域の各画素に対応する要素値を２５５又は１に充填する。

【0233】

第２の方式：モデルによって出力された目標行列の各要素の要素値を、切断画像の各要素に対応する要素値として決定し、次に、切断画像の各要素に対応する要素値及びアフィン変換行列に基づいて、処理対象画像のうち、切断画像に対応する目標部位を含む局所画像の各画素の要素値を決定し、次に、処理対象画像に対応する局所画像の左上点の位置を決定し、最後に、局所画像の各画素の要素値及び処理対象画像に対応する局所画像の左上点の位置に基づいて、処理対象画像の遮蔽判断マスクを取得する。

【0234】

第２の方式を採用する場合、遮蔽判断結果に対してダンプ及び処理するときの空間及び時間を節約することができる。

【0235】

目標部位のビューティメイクアップ特殊効果をより多様で自然なものにするために、特殊効果は、目標部位のキーポイントによって提供されたポイント情報と組み合わせて、目標部位のエッジ及び位置を特定し、これに基づいて、目標部位遮蔽の判断を追加し、対応する画素が遮蔽されると判断した場合には特殊効果を追加せず、最もリアルなレンダリング効果を実現する。

【0236】

いくつかの実施形態では、目標部位領域の遮蔽判断結果を、スムーズ且つ安定して使用できるようにするため、結果の使用には高低の二重閾値戦略を採用する。画素の遮蔽判断結果が低閾値より低い場合、本発明の技術案を採用して、当該画素に対して画素レンダリング処理を実行し、画素の遮蔽判断結果が高閾値より高い場合、当該画素に対して画素レンダリング処理を実行ないか又は他の技術案を採用して画素レンダリング処理を実行し、画素の遮蔽判断結果が２つの閾値の間にある場合、当該画素に対して透明度の平滑化処理を実行する。ここで、他の技術案で画素レンダリング処理を実行することは、例えば、スムーディング処理、そばかす除去処理、影処理などのうちの少なくとも１つであり得る。

【0237】

本発明の実施例では、顔解析の技術案を使用して、顔遮蔽情報を提供することにより、部位のすべての元の遮蔽情報から、画素レベルの遮蔽情報まで正確になることができる。局所領域マスクを学習する方式を採用することにより、精度を向上させると同時に、時間を短縮させる。顔のキーポイントと遮蔽マスクを組み合わせる方式を使用して、特殊レンダリングを実行することにより、ビューティメイクアップのリアルリティを高める。二重閾値戦略を採用することにより、遮蔽マスクのエッジがより、平滑になり、より自然になり、且つより安定になる。

【0238】

生放送又は自撮りなどの一般的な美顔シーンにおいて、ユーザは、正確な遮蔽情報を取得できないことにより、手又は他の物体が唇を遮蔽すると、遮蔽物が口紅の特殊効果でレンダリングされ、「ばれる」現象が生じる。本発明の実施例における技術案を使用して、処理対象画像の唇領域のどの画素が非唇であるかを取得し、特殊効果が遮蔽物ではなく、レンダリングする必要のある場所にのみ表示できるようにする。さらに、手や他の遮蔽物が唇又は他の顔の部位の特殊効果を遮蔽する場合、遮蔽物に特殊効果レンダリングを実行せず、且つ非遮蔽の顔画像の特殊効果は正常にレンダリングされ、エッジは自然で平滑である。

【0239】

前述した実施例に基づいて、本発明の実施例は、画像処理装置を提供し、当該装置に含まれる各ユニット、及び各ユニットに含まれる各モジュールは、画像処理機器内のプロセッサによって実現でき、もちろん、具体的な論理回路によって実現できる。

【0240】

図１３は、本発明の実施例による画像処理装置の構成の模式的な構造図であり、図１３に示されるように、当該画像処理装置１３００は、
処理対象画像に基づいて、目標部位の画素位置及び目標部位における被遮蔽領域の画素位置を決定するように構成される第１決定部１３０１と、
前記目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置に基づいて、前記目標部位における非遮蔽領域の画素位置を決定するように構成される第２決定部１３０２と、
目標部位における非遮蔽領域の画素位置に基づいて、非遮蔽領域に対してレンダリング処理を実行するように構成されるレンダリング部１３０３と、を備える。

【0241】

いくつかの実施例では、第１決定部１３０１はさらに、処理対象画像に対してキーポイント検出を実行して、目標部位のキーポイント情報を取得し、目標部位のキーポイント情報に基づいて、目標部位の画素位置を決定する。

【0242】

いくつかの実施例では、第１決定部１３０１はさらに、画像分割モデル及び処理対象画像に基づいて、目標部位における被遮蔽領域の画素位置を決定するように構成される。

【0243】

いくつかの実施例では、第１決定部１３０１はさらに、処理対象画像に基づいて、目標部位を含む切断画像を決定し、切断画像に基づいて、画像分割モデルに入力される目標画像を決定し、画像分割モデルを使用して目標画像を処理して、出力画像を取得し、出力画像に基づいて、目標部位における被遮蔽領域の画素位置を決定するように構成される。

【0244】

いくつかの実施例では、第１決定部１３０１はさらに、処理対象画像及びアフィン変換行列に基づいて、アフィン変換後の画像を決定し、アフィン変換後の画像を切断して、切断画像を取得し、出力画像及びアフィン変換行列に基づいて、目標部位における被遮蔽領域の画素位置を決定するように構成される。

【0245】

いくつかの実施例では、出力画像は、目標画像又は切断画像の画素と同じ行列数の目標行列を含み、目標行列の各要素の要素値は、各要素に対応する画素が目標部位又は非目標部位に属する確率を表し、第１決定部１３０１はさらに、目標行列の各要素の要素値を、切断画像の各画素に対応する要素値として決定し、切断画像の各画素に対応する要素値及びアフィン変換行列に基づいて、目標部位における被遮蔽領域の画素位置を決定するように構成される。

【0246】

いくつかの実施例では、第１決定部１３０１はさらに、切断画像の各画素に対応する要素値及びアフィン変換行列に基づいて、処理対象画像のうち、切断画像に対応する目標部位を含む局所画像の各画素に対応する要素値を決定し、局所画像の各画素に対応する要素値に基づいて、目標部位における被遮蔽領域の画素位置を決定するように構成される。

【0247】

いくつかの実施例では、第１決定部１３０１はさらに、目標部位の画素位置で、局所画像の各画素に対応する要素値から、第１閾値条件を満たす目標要素値を決定し、局所画像の第１指定画素が、処理対象画像内の第２指定画素の画素位置に対応すると決定し、目標要素値に対応する局所画像上の画素位置及び第２指定画素の画素位置に基づいて、目標部位における被遮蔽領域の画素位置を決定するように構成される。

【0248】

いくつかの実施例では、第１決定部１３０１はさらに、処理対象画像における局所画像以外の指定領域の各画素に対応する要素値を決定し、目標部位の画素位置で、指定領域の各画素に対応する要素値及び局所画像の各画素の要素値から、第１閾値条件を満たす指定要素値を決定し、指定要素値に対応する処理対象画像上の画素位置に基づいて、目標部位における被遮蔽領域の画素位置を決定するように構成される。

【0249】

いくつかの実施例では、第１決定部１３０１はさらに、出力画像に基づいて、目標部位の画素位置上の各画素に対応する要素値を決定するように構成され、第２決定部１３０２はさらに、目標部位の画素位置上の各画素に対応する要素値で、第２閾値条件を満たす候補要素値を決定し、候補要素値に対応する位置を、遷移領域の画素位置として決定し、目標部位における被遮蔽領域の画素位置及び遷移領域の画素位置に基づいて、目標部位における非遮蔽領域の画素位置を決定するように構成される。

【0250】

いくつかの実施例では、画像処理装置１３００はさらに、遷移領域の画素位置に基づいて、遷移領域に対して平滑化処理を実行するように構成される平滑化処理部１３０４を備える。

【0251】

いくつかの実施例では、前記画像分割モデルは、訓練サンプルセット及び目標サンプルセットを介して訓練して取得し、前記訓練サンプルセットは、複数の訓練サンプル画像を含み、各前記訓練サンプル画像の少なくとも１つの部位は遮蔽され、前記目標サンプルセットは、複数の目標サンプル画像を含み、各前記目標サンプル画像は、前記部位内の非遮蔽領域のマスクを含む。

【0252】

いくつかの実施例では、画像処理装置１３００はさらに、訓練サンプルセットを取得し、目標サンプルセットを取得し、訓練サンプルセット及び目標サンプルセットに基づいて、画像分割モデルを訓練して取得するように構成されるモデル決定部１３０５を備え、訓練サンプルセットは、複数の訓練サンプル画像を含み、各訓練サンプル画像の少なくとも１つの部位は遮蔽され、目標サンプルセットは、複数の目標サンプル画像を含み、各目標サンプル画像は、部位内の非遮蔽領域のマスクを含む。

【0253】

いくつかの実施例では、前記訓練サンプルセットは、遮蔽物画像セット内の各遮蔽物画像の遮蔽物が、切断画像セット内の各切断画像の少なくとも１つの遮蔽なしの部位をランダムに遮蔽することによって取得されるものであり、
前記目標サンプルセットは、前記少なくとも１つの遮蔽なしの部位に対する、前記各遮蔽物画像における遮蔽物の位置に基づいて決定される。

【0254】

いくつかの実施例では、モデル決定部１３０５はさらに、切断画像セット及び遮蔽物画像セットを取得し、訓練サンプルセットを取得し、目標サンプルセットを取得するように構成され、ここで、切断画像のセット内の各切断画像は、ラベル付きの少なくとも１つの遮蔽なしの部位を含み、遮蔽物画像セット内の各遮蔽物画像は、ラベル付きの遮蔽物を含み、訓練サンプルセットを取得することは、各遮蔽物画像の遮蔽物は、少なくとも１つの遮蔽なしの部位をランダムに遮蔽して、訓練サンプルセットを取得することを含み、目標サンプルセットを取得することは、少なくとも１つの遮蔽なしの部位に対する、各遮蔽物画像における遮蔽物の位置に基づいて、目標サンプルセットを決定することを含む。

【0255】

いくつかの実施例では、前記目標サンプルセットは、各前記訓練サンプル画像の前記少なくとも１つの部位内の非遮蔽領域に基づいて決定されるものであり、前記各前記訓練サンプル画像の前記少なくとも１つの部位内の非遮蔽領域は、各前記訓練サンプル画像の遮蔽物領域及び各前記訓練サンプル画像の前記少なくとも１つの部位のキーポイント情報によって決定される。

【0256】

いくつかの実施例では、モデル決定部１３０５はさらに、各訓練サンプル画像の遮蔽物領域を決定し、遮蔽物領域及び各訓練サンプル画像の少なくとも１つの部位のキーポイント情報に基づいて、各訓練サンプル画像の少なくとも１つの部位内の非遮蔽領域を決定し、少なくとも１つの部位内の非遮蔽領域に基づいて、目標サンプルセットを決定するように構成される。

【0257】

上記の装置の実施例に関する説明は、上記の方法の実施例に関する説明と類似しており、方法の実施例と類似した有益な効果を有する。本発明の装置の実施例に開示されていない技術的詳細については、本発明の方法の実施例の説明を参照することによって理解できる。

【0258】

なお、本発明実施例では、上記の画像処理方法が、ソフトウェア機能モジュールの形で実行され、独立した製品として販売又は使用される場合、１つのコンピュータ可読記憶媒体に記憶されることもできることに留意されたい。このような理解に基づいて、本発明の実施例の技術的解決策の本質的な部分、即ち、先行技術に貢献のある部分、又は当該技術の解決策の全部又は一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、一台の画像処理機器に、本発明の実施例の各実施方法における全部又は一部の処理を実行させるためのいくつかの命令を含む。本発明の実施例は、特定のハードウェア及びソフトウェアの組み合わせに限定されない。

【0259】

図１４は、本発明の実施例による画像処理機器のハードウェアエンティティの概略図であり、図１４に示されるように、当該画像処理機器１４００のハードウェアエンティティは、メモリ１４０１と、プロセッサ１４０２とを備え、前記メモリ１４０１は、プロセッサ１４０２で実行可能なコンピュータプログラムを記憶するように構成され、前記プロセッサ１４０２は、前記プログラムを実行するときに、上記の実施例による画像処理方法のステップを実現するように構成される。

【0260】

メモリ１４０２は、プロセッサ１４０１によってコンピュータプログラムを記憶するように構成され、プロセッサ１４０１及び画像処理機器１４００の各要素によって処理される又は処理されたデータ（画像データ、音声データ、音声通信データ、ビデオ通信データなど）をキャッシュすることもでき、フラッシュメモリ（ＦＬＡＳＨ）又はランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を介して実現できる。

【0261】

プロセッサ１４０１は、プログラムを実行するときに、上記の画像処理方法を実現する。プロセッサ１４０１は通常、画像処理機器１４００の全体的な動作を制御する。

【0262】

本発明の実施例は、コンピュータ記憶媒体を提供し、前記コンピュータ記憶媒体には、１つ又は複数のプログラムが記憶され、前記１つ又は複数のプログラムは、１つ又は複数のプロセッサによって実行することにより、上記の実施例のいずれかに記載の画像処理方法のステップを実現する。

【0263】

本発明の実施例は、コンピュータプログラム製品を提供し、当該コンピュータプログラム製品は、コンピュータ可読コードを運び、前記コンピュータ可読コードに含まれる命令は、上記の実施例のいずれかに記載の画像処理方法のステップを実行する。

【0264】

本発明の実施例は、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記画像処理機器のプロセッサに、上記の実施例のいずれかに記載の画像処理方法のステップを実行させる。

【0265】

ここで、上記のコンピュータ記憶媒体及び画像処理機器、コンピュータプログラム製品、コンピュータプログラムの実施例に関する説明は、上記方法の実施例に関する説明と類似しており、方法の実施例と類似した有益な効果を有することに留意されたい。本発明のコンピュータ記憶媒体及び画像処理機器、コンピュータプログラム製品、コンピュータプログラムの実施例に開示されていない技術的詳細については、本発明の方法の実施例の説明を参照することによって理解できる。

【0266】

上記プロセッサは、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理デバイス（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、図形プロセッサ（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、組み込みニューラルネットワークプロセッサ（ＮＰＵ：ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ）コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであり得る。上記プロセッサの機能を実現する電子機器は他のものでもあり得、本発明の実施例はこれに限定されないことが理解できる。

【0267】

上記コンピュータ可読記憶媒体／メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ランダムアクセスメモリ（ＦＲＡＭ：ｆｅｒｒｏｍａｇｎｅｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、磁気メモリ、光ディスク、又は読み取り専用コンパクトディスク（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）などであってもよく、携帯電話、コンピュータ、タブレット機器、携帯情報端末などの上記メモリの１つ又は任意の組み合わせを含む様々な画像処理機器であってもよい。

【0268】

本願実施例におけるプロセッサ又は画像処理装置は、信号処理機能を備えた集積回路チップであり得る。実現プロセスにおいて、上記の方法の実施例の各ステップは、プロセッサ内のハードウェア統合論理回路又はソフトウェア形の命令によって完了することができる。上記のプロセッサは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポ―ネットなどであってもよい。本発明の実施例で開示される各方法、ステップ及び論理ブロックを実現又は実行することができる。汎用プロセッサはマイクロプロセッサであってもよく、又は前記プロセッサは任意の従来のプロセッサなどであってもよい。本発明の実施例で開示される方法のステップは、ハードウェア復号化プロセッサによって直接実行されてもよいし、復号化プロセッサ内のハードウェアとソフトウェアモジュールの組み合わせによって実行されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラマブル読み取り専用メモリ、又は電気的に消去可能なプログラマブルメモリ、レジスタなどの従来の記憶媒体に配置することができる。当該記憶媒体はメモリ内に配置され、プロセッサはメモリ内の情報を読み取り、そのハードウェアと組み合わせて上記の方法のステップを完了する。

【0269】

本明細書全体で言及される「１つの実施例」又は「一実施例」又は「前述の実施例」又は「いくつかの実施形態」又は「いくつかの実施例」は、実施例に相関する特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施例に含まれることを意味することを理解されたい。したがって、本明細書における「１つの実施例では」又は「一実施例では」又は「本発明の実施例」又は「前述の実施例」又は「いくつかの実施形態」又は「いくつかの実施例」は、必ずしも同じ実施例を指すとは限らない。さらに、これらの特定の特徴、構造、又は特性は、任意の適切な方式で、１つ又は複数の実施例に組み合わせることができる。本発明の各実施例において、上記の各プロセスのシーケンス番号の大きさは、実行シーケンスを意味するものではなく、各プロセスの実行シーケンスは、その機能と内部論理によって決定されるべきであり、本発明の実施例の実施プロセスにいかなる制限も構成すべきではないことを理解されたい。上記の本発明の実施例の番号は、実施例の優劣を表すものではなく、説明の便宜を図るためのものである。

【0270】

特に明記しない限り、画像処理機器は、本発明の実施例の任意のステップを実行し、画像処理機器のプロセッサがこのステップを実行することであり得る。特に明記しない限り、本発明の実施形態は、画像処理機器が以下のステップを実行する順序を限定しない。さらに、異なる実施例でデータが処理される方法は、同じ方法又は異なる方法であり得る。本発明の実施例における任意のステップは、画像処理機器によって独立して実行され得、即ち、画像処理機器が上記の実施例における任意のステップを実行するとき、他のステップの実行に依存しないことができる。

【0271】

本発明で提供されるいくつかの実施例では、開示された方法は、他の方式で実現できることを理解されたい。以上に説明した機器の実施例は単なる例示的なものであり、例えば、前記ユニットの分割は、論理的な機能の分割に過ぎない。実際の実現では、別の分割方法が存在でき、例えば、複数のユニット又はコンポーネントを組み合わせるか別のシステムに統合することができ、又は一部の特徴を無視するか実行しないことができる。さらに、図示又は説明された各構成要素間の相互結合又は直接結合又は通信接続は、いくつかのインターフェース、機器又はユニットを介した間接な結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。

【0272】

前記分離部材として説明されたユニットは、物理的に分離されてもされていなくてもよく、ユニットとして表示された部材は、物理的なユニットであってもなくてもよい。つまり、前記ユニットは、１箇所に配置されてもよいし、複数のネットワークユニットに分散されてもよく、実際の必要に応じて、そのうちの一部又はすべてのユニットを選択して、本実施例の技術案の目的を実現することができる。

【0273】

また、本発明の各実施例における各機能ユニットは、すべて１つの第２処理ユニットに統合されてもよく、各ユニットが個別に１つのユニットとして使用されてもよく、２つ以上のユニットが１つのユニットに統合されてもよい。前記統合されたユニットは、ハードウェアの形で、又はハードウェアとソフトウェア機能ユニットの組み合わせの形で具現することができる。

【0274】

本発明で提供されるいくつかの方法の実施例で開示される方法は、競合することなく任意に組み合わせて、新しい方法の実施例を取得することができる。

【0275】

本発明で提供されるいくつかの製品の実施例で開示される特徴は、競合することなく任意に組み合わせて、新しい製品の実施例を取得することができる。

【0276】

本発明で提供されるいくつかの方法又は機器の実施例で開示される特徴は、競合することなく任意に組み合わせて、新しい方法の実施例又は機器の実施例を取得することができる。

【0277】

当業者なら、上記方法の実施例を実現する全部又は一部のステップは、プログラム命令に関連するハードウェアによって完了することができ、前記プログラムは、コンピュータ可読記憶媒体に記憶することができ、前記プログラムが実行されるとき、上記方法の実施例のステップを実行し、前記記憶媒体は、リムーバブルストレージ、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ又は光ディスクなどのプログラムコードを記憶することができる様々な媒体を含むことを理解することができる。

【0278】

又は、本発明の上記の統合されたユニットは、ソフトウェア機能モジュールの形で実現され且つ独立した製品として販売又は使用される場合、１つのコンピュータ記憶媒体に記憶されてもよい。このような理解に基づいて、本発明の実施例の技術的解決策の本質的な部分、即ち、先行技術に貢献のある部分、又は当該技術の解決策の全部又は一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、一台のコンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器などであリ得る）に、本発明の実施例の方法の全部又は一部を実行させるためのいくつかの命令を含む。前述した記憶媒体は、リムーバブルストレージ、ＲＯＭ、磁気メモリ又は光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。

【0279】

例えば、本発明の実施例及び添付の特許請求の範囲で使用された単数形の「１つの」、「前記」及び「当該」は、文脈が他の意味を明確に示さない限り、複数形も含むものとする。

【0280】

本明細書における「及び／又は」という用語は、関連付けられた関係についてのみ説明し、３つの関係が存在し得ることを表示し、例えば、Ａ及び／又はＢは、Ａが独立で存在する場合、ＡとＢの両方が存在する場合、Ｂが独立で存在する場合の３つの場合を表示することができる。さらに、本明細書における記号「／」は、通常、関連付けられた対象間の関係が、「又は」という関係にあることを表示する。

【0281】

本発明の各実施例において、完全な技術的解決策を形成できる限りすべてのステップ又はステップの一部が実行され得ることに留意されたい。

【0282】

上記の内容は、本発明の実施形態に過ぎず、本発明の保護範囲はこれに限定されない。本発明で開示された技術的範囲内で、当業者が容易に想到し得る変形又は置換はすべて、本発明の保護範囲内に含まれるべきである。したがって、本発明の保護範囲は、特許請求の保護範囲に従うものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2023-11-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像処理方法であって、
処理対象画像に基づいて、目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置を決定することと、
前記目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置に基づいて、前記目標部位における非遮蔽領域の画素位置を決定することと、
前記目標部位における非遮蔽領域の画素位置に基づいて、前記非遮蔽領域に対してレンダリング処理を実行することと、を含む、前記画像処理方法。

【請求項2】

前記処理対象画像に基づいて、目標部位の画素位置を決定することは、
前記処理対象画像に対してキーポイント検出を実行して、前記目標部位のキーポイント情報を取得することと、
前記目標部位のキーポイント情報に基づいて、前記目標部位の画素位置を決定することと、を含む、
請求項１に記載の画像処理方法。

【請求項3】

前記処理対象画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、
画像分割モデル及び前記処理対象画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することを含む、
請求項１又は２に記載の画像処理方法。

【請求項4】

前記画像分割モデル及び前記処理対象画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、
前記処理対象画像に基づいて、前記目標部位を含む切断画像を決定することと、
前記切断画像に基づいて、前記画像分割モデルに入力される目標画像を決定することと、
前記画像分割モデルを使用して前記目標画像を処理して、出力画像を取得することと、
前記出力画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む、
請求項３に記載の画像処理方法。

【請求項5】

前記処理対象画像に基づいて、前記目標部位を含む切断画像を決定することは、
前記処理対象画像及びアフィン変換行列に基づいて、アフィン変換後の画像を決定することと、
前記アフィン変換後の画像を切断して、前記切断画像を取得することと、を含み、
前記出力画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、
前記出力画像及び前記アフィン変換行列に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することを含む、
請求項４に記載の画像処理方法。

【請求項6】

前記出力画像は、前記目標画像又は前記切断画像の画素と同じ行列数の目標行列を含み、前記目標行列の各要素の要素値は、前記各要素に対応する画素が前記目標部位又は非目標部位に属する確率を表し、
前記出力画像に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、
前記目標行列の各要素の要素値を、前記切断画像の各画素に対応する要素値として決定することと、
前記切断画像の各画素に対応する要素値及び前記アフィン変換行列に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む、
請求項４又は５に記載の画像処理方法。

【請求項7】

前記切断画像の各画素に対応する要素値及び前記アフィン変換行列に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、
前記切断画像の各画素に対応する要素値及び前記アフィン変換行列に基づいて、前記処理対象画像のうち、前記切断画像に対応する前記目標部位を含む局所画像の各画素に対応する要素値を決定することと、
前記局所画像の各画素に対応する要素値に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む、
請求項６に記載の画像処理方法。

【請求項8】

前記局所画像の各画素に対応する要素値に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、
前記目標部位の画素位置で、前記局所画像の各画素に対応する要素値から、第１閾値条件を満たす目標要素値を決定することと、
前記局所画像の第１指定画素に対応する前記処理対象画像内の第２指定画素の画素位置を決定することと、
前記目標要素値に対応する前記局所画像上の画素位置及び前記第２指定画素の画素位置に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含み、または、
前記局所画像の各画素に対応する要素値に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することは、
前記処理対象画像における前記局所画像以外の指定領域の各画素に対応する要素値を決定することと、
前記目標部位の画素位置で、前記指定領域の各画素に対応する要素値及び前記局所画像の各画素の要素値から、第１閾値条件を満たす指定要素値を決定することと、
前記指定要素値に対応する前記処理対象画像上の画素位置に基づいて、前記目標部位における被遮蔽領域の画素位置を決定することと、を含む、
請求項７に記載の画像処理方法。

【請求項9】

前記画像処理方法は、前記出力画像に基づいて、前記目標部位の画素位置上の各画素に対応する要素値を決定することを更に含み、
前記目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置に基づいて、前記目標部位における非遮蔽領域の画素位置を決定することは、
前記目標部位の画素位置上の各画素に対応する要素値で、第２閾値条件を満たす候補要素値を決定することと、
前記候補要素値に対応する画素位置を、遷移領域の画素位置として決定することと、
前記目標部位における被遮蔽領域の画素位置及び前記遷移領域の画素位置に基づいて、前記目標部位における非遮蔽領域の画素位置を決定することと、を含む、
請求項４ないし８のいずれか一項に記載の画像処理方法。

【請求項10】

前記画像処理方法は、
前記遷移領域の画素位置に基づいて、前記遷移領域に対して平滑化処理を実行することを更に含む、
請求項９に記載の画像処理方法。

【請求項11】

画像処理装置であって、
処理対象画像に基づいて、目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置を決定するように構成される第１決定部と、
前記目標部位の画素位置及び前記目標部位における被遮蔽領域の画素位置に基づいて、前記目標部位における非遮蔽領域の画素位置を決定するように構成される第２決定部と、
前記目標部位における非遮蔽領域の画素位置に基づいて、前記非遮蔽領域に対してレンダリング処理を実行するように構成されるレンダリング部と、を備える、前記画像処理装置。

【請求項12】

画像処理機器であって、メモリとプロセッサとを備え、
前記メモリは、プロセッサで実行可能なコンピュータプログラムを記憶し、
前記プロセッサは、前記コンピュータプログラムを実行するときに、請求項１ないし１０のいずれか一項に記載の画像処理方法を実現する、前記画像処理機器。

【請求項13】

１つ又は複数のプログラムを記憶し、前記１つ又は複数のプログラムが、１つ又は複数のプロセッサによって実行されるときに、請求項１ないし１０のいずれか一項に記載の画像処理方法を実現する、コンピュータ記憶媒体。

【請求項14】

画像処理機器で実行されるときに、前記画像処理機器のプロセッサに、請求項１ないし１０のいずれか一項に記載の画像処理方法を実行させるコンピュータ可読コードを含む、コンピュータプログラム。

【国際調査報告】