特許 6585838 画像歪み処理方法及び装置、コンピュータ記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6585838

(24)【登録日】2019年9月13日

(45)【発行日】2019年10月2日

(54)【発明の名称】画像歪み処理方法及び装置、コンピュータ記憶媒体

(51)【国際特許分類】

   G06T 3/00 20060101AFI20190919BHJP

   G06T 1/00 20060101ALI20190919BHJP

   H04N 1/387 20060101ALI20190919BHJP

【ＦＩ】

   G06T3/00 760

   G06T1/00 340A

   H04N1/387 800

【請求項の数】15

【全頁数】26

(21)【出願番号】特願2018-517437(P2018-517437)

(86)(22)【出願日】2017年4月17日

(65)【公表番号】特表2018-536221(P2018-536221A)

(43)【公表日】2018年12月6日

(86)【国際出願番号】CN2017080822

(87)【国際公開番号】WO2017186016

(87)【国際公開日】20171102

【審査請求日】2018年5月1日

(31)【優先権主張番号】201610270547.2

(32)【優先日】2016年4月27日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】514187420

【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】クイアン，メングレン

(72)【発明者】

【氏名】ワン，ジビン

(72)【発明者】

【氏名】チェン，ペイ

(72)【発明者】

【氏名】クイウ，シュアン

(72)【発明者】

【氏名】リ，シャオイ

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１１−０５３９４２（ＪＰ，Ａ）

【文献】 特開２０１３−１７１４７０（ＪＰ，Ａ）

【文献】 特開２０１１−２３３０７３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １／３８７

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

取得した画像における顔画像の五官基準点を位置決めすることと、
配置参照点と配置基準点を含む歪みモデルを取得することと、
前記五官基準点において前記配置参照点に対応する現在の参照点と、配置基準点に対応する整合対象基準点とを決定することと、
前記配置基準点に対応し且つ処理対象画像中にある位置を、前記対応する整合対象基準点とマッピング点対を形成する目標基準点として決定することと、
前記目標基準点と前記整合対象基準点との位置関係及びマッピング点対と処理対象画像点との位置関係に基づいて、前記処理対象画像点を対応する目標位置にマッピングすることと、を含む画像歪み処理方法。

【請求項2】

前記歪みモデルが、複種類の五官タイプに対応する配置基準点と配置参照点を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記配置基準点に対応し且つ処理対象画像中にある位置を目標基準点として決定するステップが、
前記配置参照点によって形成された図形の第１の重心点を取得し、前記配置基準点と第１の重心点とを連結して第１の線分を形成し、前記第１の重心点と異なる配置参照点とを連結して第１の参照線分集合を形成することと、
前記第１の線分と第１の参照線分集合中の線分との夾角関係、前記第１の線分の長さ、前記第１の参照線分集合中の線分の長さに基づいて、歪み因数を決定することと、
前記現在の参照点によって形成された図形の第２の重心点を取得し、前記目標基準点と第２の重心点とを連結して第２の線分を形成し、前記第２の重心点と異なる現在の参照点とを連結して第２の参照線分集合を形成することと、
前記夾角関係に基づいて、前記第２の線分と第２の参照線分集合中の各線分との夾角を決定することと、
前記歪み因数、前記夾角、及び第２の参照線分集合中の線分の長さに基づいて、前記目標基準点の位置を決定することと、を含む請求項１に記載の方法。

【請求項4】

前記配置参照点によって形成された図形が隣接する三つの配置参照点によって形成された配置三角形図形であって、前記現在の参照点によって形成された図形は配置三角形図形と同じルールで形成された現在三角形図形であって、前記配置参照点と配置基準点との位置関係及び現在の参照点と整合対象基準点との位置関係に基づいて、五官の類似性マッピングを行って、前記配置基準点の処理対象画像中の対応する目標基準点を得るステップが、
前記配置三角形図形の配置重心点を取得し、前記配置基準点と配置重心点とを連結して前記第１の線分を形成し、前記配置基準点に隣接する二つの目標配置参照点を取得し、前記配置重心点と目標配置参照点とを連結して第１の配置参照線分と第２の配置参照線分を形成することと、
前記第１の線分と第１の配置参照線分との夾角α、前記第１の線分と第２の配置参照線分との夾角β、前記第１の線分の長さDsrc、前記第１の配置参照線分の長さｄ₁、前記第２の配置参照線分の長さｄ₂を取得して、式

【数14】

に従って、歪み因数ｋを決定することと、
前記現在三角形図形の現在の重心点を取得し、前記目標基準点と現在の重心点とを連結して第２の線分を形成し、前記目標配置参照点に対応する二つの目標現在参照点を取得し、前記現在の重心点と目標現在参照点とを連結して第１の現在参照線分と第２の現在参照線分を形成することと、式

【数15】

に従って、前記第２の線分と第１の現在参照線分との夾角α’と第２の線分と第２の現在参照線分との夾角β’を決定することと、
前記第１の現在参照線分の長さｄ_１’、第２の現在参照線分の長さｄ_２’に基づいて、式

【数16】

に従って、第２の線分の長さDdstを算出して、前記目標基準点の位置を決定することと、を含む請求項３に記載の方法。

【請求項5】

前記目標基準点と整合対象基準点との位置関係及びマッピング点対と処理対象画像点との位置関係に基づいて前記処理対象画像点を対応する目標位置にマッピングするステップが、
処理対象画像点と整合対象基準点との位置に基づいて、各マッピング点対に対応する影響重み因数を算出することと、
各マッピング点対に対応する変位オフセットを計算することと、
前記各マッピング点対に対応する影響重み因数と変位オフセットに基づいて、処理対象画像点の変位を算出することと、
前記変位に基づいて、前記処理対象画像点を対応する目標位置にマッピングすることと、を含む請求項１に記載の方法。

【請求項6】

前記処理対象画像点と整合対象基準点との位置に基づいて各マッピング点対に対応する影響重み因数を算出するステップが、式

【数17】

に従って、ｉ番目のマッピング点対に対応する影響重み因数Ｗ_ｉを算出することを含み（ここで、Ａは処理対象画像点の位置座標を示し、Ｓ_ｉはｉ番目のマッピング点対中の整合対象基準点の座標を示し、｜Ａ―Ｓ_ｉ｜はＡからＳ_ｉまでの距離を示し、ｊはインテックスで、Ｎはマッピング点対の総数である）、
前記各マッピング点対に対応する変位オフセットを計算し、前記各マッピング点対に対応する影響重み因数と変位オフセットに基づいて処理対象画像点の変位を算出し、前記変位に基づいて前記処理対象画像点を対応する目標位置にマッピングするステップが、 式

【数18】

に従って、目標位置Ａ’を算出する（ここで、Ｄ_ｉはｉ番目のマッピング点対中の目標基準点の座標を示す）ことを含む請求項４に記載の方法。

【請求項7】

前記処理対象画像点を対応する目標位置にマッピングするステップが、
前記処理対象画像を分割して原始ブロックを得て、各原始ブロックの対応する頂点を第１の処理対象画像点とし、各原始ブロック内の他の点を第２の処理対象画像点とすることと、
前記マッピング関係に基づいて、前記第１の処理対象画像点を対応する目標位置にマッピングして第１の映射画像点を得て、前記第１の映射画像点によって前記原始ブロックに対応するマッピングブロックを形成することと、
前記第２の処理対象画像点を原始ブロックを処理ユニットとして前記原始ブロックに対応するマッピングブロック内の対応する位置にマッピングすることと、を含む請求項１に記載の方法。

【請求項8】

取得した画像における顔画像の五官基準点を位置決めするように構成された基準点位置決め手段と、
配置参照点と配置基準点を含む歪みモデルを取得し、前記五官基準点において前記配置参照点に対応する現在の参照点と、配置基準点に対応する整合対象基準点を決定するように構成された基準点区別手段と、
前記配置基準点の処理対象画像における、対応する整合対象基準点とマッピング点対を形成する対応する目標基準点を決定するように構成された類似性マッピング手段と、
前記目標基準点と前記整合対象基準点との位置関係及びマッピング点対と処理対象画像点との位置関係に基づいて、前記処理対象画像点を対応する目標位置にマッピングするように構成された処理対象画像点マッピング手段と、を含む画像歪み処理装置。

【請求項9】

前記歪みモデルが、複種類の五官タイプに対応する配置基準点と配置参照点を含む請求項８に記載の装置。

【請求項10】

前記類似性マッピング手段が、
前記配置参照点によって形成された図形の第１の重心点を取得し、前記配置基準点と第１の重心点とを連結して第１の線分を形成し、前記第１の重心点と異なる配置参照点とを連結して第１の参照線分集合を形成し、前記第１の線分と第１の参照線分集合中の線分との夾角関係、前記第１の線分の長さ、前記第１の参照線分集合中の線分の長さに基づいて、歪み因数を決定するように構成された歪み因数決定ユニットと、
前記現在の参照点によって形成された図形の第２の重心点を取得し、前記目標基準点と第２の重心点とを連結して第２の線分を形成し、前記第２の重心点と異なる現在の参照点とを連結して第２の参照線分集合を形成し、前記夾角関係に基づいて、前記第２の線分と第２の参照線分集合中の各線分との夾角を決定するように構成された夾角決定ユニットと、
前記歪み因数、前記夾角、及び第２の参照線分集合中の線分の長さに基づいて、前記目標基準点の位置を決定するように構成された目標基準点決定ユニットと、を含む請求項８に記載の装置。

【請求項11】

前記配置参照点によって形成された図形は隣接する三つの配置参照点によって形成された配置三角形図形であって、前記現在の参照点によって形成された図形は配置三角形図形と同じルールで形成された現在三角形図形であって、前記歪み因数決定ユニットがさらに、前記配置三角形図形の配置重心点を取得し、前記配置基準点と配置重心点とを連結して前記第１の線分を形成し、前記配置基準点に隣接する二つの目標配置参照点を取得し、前記配置重心点と目標配置参照点とを連結して第１の配置参照線分と第２の配置参照線分を形成し、前記第１の線分と第１の配置参照線分との夾角α、前記第１の線分と第２の配置参照線分との夾角β、前記第１の線分の長さDsrc、前記第１の配置参照線分の長さｄ₁、前記第２の配置参照線分の長さｄ₂を取得して、式

【数19】

に従って、歪み因数ｋを決定するように構成され、
前記夾角決定ユニットがさらに、前記現在三角形図形の現在の重心点を取得し、前記目標基準点と現在の重心点とを連結して第２の線分を形成し、前記目標配置参照点に対応する二つの目標現在参照点を取得し、前記現在の重心点と目標現在参照点とを連結して第１の現在参照線分と第２の現在参照線分を形成し、式

【数20】

に従って、前記第２の線分と第１の現在参照線分との夾角α’と第２の線分と第２の現在参照線分との夾角β’を決定するように構成され、
前記目標基準点決定ユニットがさらに、前記第１の現在参照線分の長さｄ_１’、第２の現在参照線分の長さｄ_２’を取得して、式

【数21】

に従って、第２の線分の長さDdstを算出して、前記目標基準点の位置を決定するように構成される請求項１０に記載の装置。

【請求項12】

前記処理対象画像点マッピング手段が、
処理対象画像点と整合対象基準点との位置に基づいて、各マッピング点対に対応する影響重み因数を算出するように構成された影響重み因数計算ユニットと、
各マッピング点対に対応する変位オフセットを計算し、前記各マッピング点対に対応する影響重み因数と変位オフセットに基づいて、処理対象画像点の変位を算出し、前記変位に基づいて、前記処理対象画像点を対応する目標位置にマッピングするように構成された目標位置決定ユニットと、を含む請求項８に記載の装置。

【請求項13】

前記影響重み因数計算ユニットがさらに、式

【数22】

に従って、ｉ番目のマッピング点対に対応する影響重み因数Ｗ_ｉを算出するように構成され（ここで、Ａは処理対象画像点の位置座標を示し、Ｓ_ｉはｉ番目のマッピング点対中の整合対象基準点の座標を示し、｜Ａ―Ｓ_ｉ｜はＡからＳｉまでの距離を示し、ｊはインテックスで、Ｎはマッピング点対の総数である）、
前記目標位置決定ユニットがさらに、式

【数23】

に従って、目標位置Ａ’を算出するように構成された（ここで、Ｄ_ｉはｉ番目のマッピング点対中の目標基準点の座標を示す。）請求項１２に記載の装置。

【請求項14】

目標位置決定ユニットが、
前記処理対象画像を分割して原始ブロックを得て、各原始ブロックの対応する頂点を第１の処理対象画像点とし、各原始ブロック内の他の点を第２の処理対象画像点とするように構成された分割ユニットと、
前記マッピング関係に基づいて、前記第１の処理対象画像点を対応する目標位置にマッピングして第１の映射画像点を得て、前記第１の映射画像点によって前記原始ブロックに対応するマッピングブロックを形成するように構成された第１のマッピングユニットと、
前記第２の処理対象画像点を原始ブロックを処理ユニットとして前記原始ブロックに対応するマッピングブロック内に対応する位置にマッピングするように構成された第２のマッピングユニットと、を含む請求項８に記載の装置。

【請求項15】

請求項１乃至７の中のいずれか１項に記載の画像歪み処理方法を実行するように構成されたコンピュータ実行可能な命令が記憶されるコンピュータ記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータ技術分野に関し、特に、画像歪み処理方法及び装置、コンピュータ記憶媒体に関する。

【背景技術】

【0002】

画像処理技術とコンピュータ技術の発展に伴って、ユーザが撮影したポートレートを美化したり変形させたりするニーズがますます高まっている。五官変形は画像変形分野において非常に重要の応用で、広告、映画、アニメ等の分野で汎用されている。

【0003】

既存の顔歪み技術は、通常、局部画像の変形アルゴリズムに基づいて、モデルパラメータを用いて変形して、ユーザが提示した目標形状に自己適応的に整合することができない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

これに鑑み、上記課題に対して、画像歪み処理方法及び装置、コンピュータ記憶媒体を提供して歪み後の画像と目標画像の一致度を向上させる必要がある。

【課題を解決するための手段】

【0005】

取得した画像における顔画像の五官基準点を位置決めすることと、
配置参照点と配置基準点を含む歪みモデルを取得して、前記五官基準点において、前記配置参照点に対応する現在の参照点と、配置基準点に対応する整合対象基準点とを決定することと、
前記配置基準点の処理対象画像における、対応する整合対象基準点とマッピング点対を形成する対応する目標基準点を決定することと、
目標基準点と整合対象基準点との位置関係及びマッピング点対と処理対象画像点との位置関係に基づいて、前記処理対象画像点を対応する目標位置にマッピングすることと、を含む画像歪み処理方法を提供する。

【0006】

取得した画像における顔画像の五官基準点を位置決めするように構成された基準点位置決め手段と、
配置参照点と配置基準点を含む歪みモデルを取得して、前記五官基準点において、前記配置参照点に対応する現在の参照点と、配置基準点に対応する整合対象基準点とを決定するように構成された基準点区別手段と、
前記配置基準点の処理対象画像における、対応する整合対象基準点とマッピング点対を形成する対応する目標基準点を決定するように構成された類似性マッピング手段と、
目標基準点と整合対象基準点との位置関係及びマッピング点対と処理対象画像点との位置関係に基づいて、前記処理対象画像点を対応する目標位置にマッピングするように構成された処理対象画像点マッピング手段と、を含む画像歪み処理装置を提供する。

【0007】

上記画像歪み処理方法を実行するコンピュータプログラムが記憶されるコンピュータ記憶媒体を提供する。

【発明の効果】

【0008】

上記画像歪み処理方法及び装置、コンピュータ記憶媒体によると、処理対象画像を取得して、処理対象画像中の顔画像を識別して、顔画像の五官基準点を位置決めし、配置参照点と配置基準点を含む歪みモデルを取得して、五官基準点において配置参照点に対応する現在の参照点と配置基準点に対応する整合対象基準点とを決定し、配置参照点と配置基準点との位置関係及び現在の参照点と整合対象基準点との位置関係に基づいて、五官の類似性マッピングを行って、配置基準点の処理対象画像における、対応する整合対象基準点とマッピング点対を形成する対応する目標基準点を得て、マッピング点対中の目標基準点と整合対象基準点との位置関係及びマッピング点対と処理対象画像点との位置関係に基づいて、処理対象画像点のマッピング関係を決定し、マッピング関係に基づいて、処理対象画像点を対応する目標位置にマッピングし、歪みモデルに配置参照点と配置基準点を含み、且つ対応する処理対象画像中の現在の参照点と整合対象基準点に基づいて、まず五官類似性マッピング目標基準点を得て、それから処理対象画像点のマッピング関係を決定することで、処理対象画像点を対応する目標位置にマッピングし、自己適応的に歪みモデルに応じて歪み大きさを決定でき、歪み後の画像と目標画像の一致度を向上させる。

【図面の簡単な説明】

【0009】

【図1】一実施例における画像歪み処理方法の適用環境を示す図である。

【図2】一実施例における図１の端末の内部構造を示す図である。

【図3】一実施例における図１のサーバの内部構造を示す図である。

【図4】一実施例における画像歪み処理方法を示すフローチャートである。

【図5】一実施例における顔画像の五官基準点を示す図である。

【図6】一実施例における歪みモデル五官基準点を示す図である。

【図7】一実施例における処理対象画像の五官基準点を示す図である。

【図8】一実施例における目標基準点の位置を決定することを示すフローチャートである。

【図9】一実施例における配置参照点と配置基準点の位置関係を示す図である。

【図10】一実施例における目標基準点の位置の決定を示す図である。

【図11】一実施例における三角形図形に基づいて目標基準点の位置を決定することを示すフローチャートである。

【図12】一実施例における配置参照点によって配置三角形図形を形成することを示す図である。

【図13】他の一実施例における配置参照点と配置基準点の位置関係を示す図である。

【図14】他の一実施例における目標基準点の位置の決定を示す図である。

【図15】一実施例における処理対象画像点を対応する目標位置にマッピングすることを示すフローチャートである。

【図16】一実施例における点マッピング計算を示す図である。

【図17】一実施例における点マッピング結果を示す図である。

【図18】一実施例における分割して処理対象画像点を対応する目標位置にマッピングすることを示すフローチャートである。

【図19】一実施例における処理対象画像の分割を示す図である。

【図20】一実施例における処理対象画像の分割マッピングを示す図である。

【図21】一実施例における歪み後の画像を示す図である。

【図22】一実施例における画像歪み処理方法の技術構成図である。

【図23】一実施例における画像歪み処理装置の構造を示すブロック図である。

【図24】一実施例における類似性マッピング手段の構造を示すブロック図である。

【図25】一実施例における処理対象画像点マッピング手段の構造を示すブロック図である。

【図26】一実施例における目標位置決定ユニットの構造を示すブロック図である。

【発明を実施するための形態】

【0010】

図１は一実施例における画像歪み処理方法を実行する適用環境を示す図である。図１に示すように、該適用環境は、端末１１０と、サーバ１２０とを含む。端末１１０とサーバ１２０はネットワークを介して通信を行うことができる。

【0011】

端末１１０は、スマートフォン、タブレットＰＣ、ノートブックコンピュータ、デスクトップコンピュータ等を含むが、これらに限定されることはない。端末１１０は、サーバ１２０に歪みモデル取得要求を送信したり、画像データ等を送信することができ、サーバ１２０は端末１１０に歪みモデル等を送信することができる。画像歪み処理方法を端末又はサーバで実施することができる。

【0012】

一実施例において、図１中の端末１１０の内部構造は図２に示すとおりで、該端末１１０はシステムバスを介して接続されたプロセッサ、図形処理ユニット、記憶媒体、メモリ、ネットワークインターフェース、スクリーン、入力デバイスを含む。ここで、端末１１０の記憶媒体にオペレーティングシステムが記憶されていて、端末に適用される画像歪み処理方法を実現するための第１の画像歪み処理装置をさらに含む。該プロセッサは、計算と制御能力を提供し、端末１１０全体の運行を支援する。端末１１０中の図形処理ユニットは少なくとも、表示画面の描き能力を提供し、メモリは記憶媒体中の第１の画像歪み処理装置の運行のために環境を提供し、端末中のメモリは記憶媒体中の第１の画像歪み処理装置の運行のために環境を提供し、該メモリにコンピュータ読取可能な命令が記憶されていることができ、該コンピュータ読取可能な命令が前記プロセッサによって実行される時に、前記プロセッサが画像歪み処理方法を実行することになる。ネットワークインターフェースはサーバ１２０とのネットワーク通信に用いられ、例えば歪みモデル取得要求をサーバ１２０に送信し、サーバ１２０から返信されたデータ等を受信する。スクリーンはアプリケーションインターフェース等を表示するに用いられ、入力デバイスはユーザが入力した命令又はデータ等を受信する。タッチパネル付き端末１１０の場合、スクリーンと入力デバイスがタッチパネルであることができる。

【0013】

一実施例において、図１中のサーバ１２０の内部構造は図３に示すとおりで、該サーバ１２０はシステムバスを介して接続されたプロセッサ、記憶媒体、メモリ、ネットワークインターフェースを含む。ここで、該サーバ１２０の記憶媒体にオペレーティングシステム、データペース、サーバ１２０に適用される画像歪み処理方法を実現するための第２の画像歪み処理装置を含む。該サーバ１２０のプロセッサは計算と制御能力を提供し、サーバ１２０全体の運行を支援する。該サーバ１２０のメモリは記憶媒体中の第２の画像歪み処理装置の運行のために環境を提供し、サーバ中のメモリは記憶媒体中の第２の画像歪み処理装置の運行のために環境を提供し、該メモリにコンピュータ読取可能な命令が記憶されることができ、該コンピュータ読取可能な命令がプロセッサによって実行される時に、プロセッサが画像歪み処理方法を実行することになる。該サーバ１２０のネットワークインターフェースは外部の端末１１０とネットワークを介して接続されて通信を行うに用いられ、例えば端末１１０から送信された画像データを受信したり、端末１１０にデータ等を返信したりする。

【0014】

図４に示すように、一実施例において、画像歪み処理方法を提供し、上記適用環境中の端末又はサーバに適用される場合を例に説明し、ステップＳ２１０〜ステップＳ２４０を含む。

【0015】

ステップＳ２１０において、処理対象画像を取得して、処理対象画像中の顔画像を識別し、顔画像の五官基準点を位置決めする。

【0016】

具体的に、処理対象画像はカメラがリアルタイムに撮影した画像であることができ、端末が予め記憶した画像であることもでき、サーバからリアルタイムに取得した画像であることもできる。顔検出アルゴリズムによって処理対象画像中の顔画像を識別することができ、顔検出アルゴリズムは需要に応じて自己定義することができ、例えばＯｐｅｎＣＶ顔検出アルゴリズム、ＩＯＳ、Ａｎｄｒｏｉｄシステム付属の顔検出アルゴリズム、Ｆａｃｅ＋＋顔検出等であることができる。任意の入力された処理対象画像について、顔検出アルゴリズムは画像中に顔及び具体的な顔範囲が含まれているか否かを返信することができ、例えば矩形ボックスで顔の位置を標記し、複数の顔があると複数の矩形ボックスを返信する。五官基準点は、顔の五官、表情動きを決定するにおいて重要な点を指し、図５は顔画像の五官基準点を示す図で、五官基準点は、顔輪郭基準点である図中の１〜９番の点、左右目基準点である図中の１０〜１４番の点、１５〜１９番の点、鼻基準点である図中の２０〜２６番の点、唇基準点である図中の２７〜３０番の点、左右眉毛基準点である図中の３１〜３２番の点、３３〜３４番の点等を含み、異なる部位は異なるタイプの基準点に対応し、五官基準点は少なくとも１種類の基準点を含む。

【0017】

ステップＳ２２０において、配置参照点と配置基準点を含む歪みモデルを取得して、五官基準点において配置参照点に対応する現在の参照点と、配置基準点に対応する整合対象基準点とを決定する。

【0018】

具体的に、歪みモデルは目標形状の画像で、例えばシャープな顔、大きい目、小さい鼻等の目標特徴が載せられた。オフライン前処理又は任意の目標画像についてのオンライン前処理を経て歪みモデルを得ることができ、前処理のプロセスは、五官基準点を抽出し、目標画像の五官基準点の具体的な位置を得て、座標による記録とアイコンによる標記を行う。検出アルゴリズムによって直接に歪みモデルの五官基準点を得ることができないと、オフラインで手動に標記する方式で五官基準点を標記することができる。配置参照点と配置基準点はいずれも五官基準点で、その中、配置参照点は現在の処理対象画像と歪みモデルの五官基準点との位置差異を判断するに用いられ、配置基準点は現在の処理対象画像と歪みモデルの五官基準点との歪み傾向を計算するに用いられ、他の処理対象画像点の歪みに影響を与える制御点である。異なる五官変形について、異なる配置参照点を設定することができ、例えば、鼻先、左右目に対応する外輪郭点、顎先点等の顔形参照点、左目中央点、鼻先、左目に対応する顔部輪郭点等の左目歪み参照点、右目中央点、鼻先、右目に対応する顔部輪郭点等の右目歪み参照点、左目中央点、鼻先、右目中央点等の鼻歪み参照点、口上の異なる点の位置に基づいて決定された口中央点、鼻先、左目中央点、又は口中央点、鼻先、右目中央点等の左右に分けられた参照点等の口歪み参照点を設定することができる。

【0019】

処理対象画像から検出された五官基準点と歪みモデル中の配置参照点及び配置基準点とが対応するように制御することで、同一なアルゴリズムで処理対象画像と歪みモデルの五官基準点の検出を行って、検出された五官基準点の一致性を保証できる。処理対象画像から検出された五官基準点と歪みモデル中の配置参照点及び配置基準点が対応しないと、例えば数量が異なると、二回目の検出を行うか、又は整合アルゴリズムから整合しない基準点を除去することができる。例えば、歪みモデル中の配置参照点が鼻先、左右目に対応する外輪郭点、顎先の四つの点であると、処理対象画像の五官基準点から対応する鼻先、左右目に対応する外輪郭点、顎先の点を取得して現在の参照点とする。画像歪みにおいて、現在の参照点の位置は不変で、位置決めて参照する作用を果たす。図６に示すように、歪み手段を示す図で、その中の３１１、３１２、３１３、３１４は配置参照点で、３１５〜３２０は配置基準点であって、図７は処理対象画像を示す図で、その中の３２１、３２２、３２３、３２４は現在の参照点で、３２５〜３３０は整合対象基準点であって、現在の参照点の数量と配置参照点の数量が同じで、対応し、整合対象基準点の数量と配置基準点の数量も同じで、対応する。

【0020】

ステップＳ２３０において、配置参照点と配置基準点との位置関係及び現在の参照点と整合対象基準点との位置関係に基づいて、五官類似性マッピングを行って、配置基準点の処理対象画像中の対応する目標基準点を得て、目標基準点は対応する整合対象基準点とマッピング点対を形成する。

【0021】

具体的に、各配置参照点を組み合わせて対応する図形を形成することができ、例えば隣接する任意の三つの点で配置三角形を形成し、四つの点で配置四角形を形成し、一方、現在の参照点についても配置参照点と同じルールの組み合せを行って対応する現在の三角形、現在の四角形等を形成することができる。配置図形と現在の図形との間の面積比、配置図形と現在の図形中の対応する図形角度比及び配置基準点と配置参照点の距離比、配置基準点と配置参照点との間に形成された線分の位置関係に基づいて、配置基準点を処理対象画像の対応位置にマッピングして、目標基準点を得る。マップング中に、まず歪み因数を計算して、歪み因数に基づいて目標基準点の位置を計算することができる。類似性マッピングを行う具体的なアルゴリズムは需要に応じて自己定義することができ、一実施例において、隣接する現在の参照点を連結して参照線分を得て、隣接する現在の参照点を連結して現在の線分を得て、配置基準点に接近する参照線分を取得して、配置基準点と参照線分の位置関係に基づいて、目標基準点と現在の線分の位置関係を決定して、位置関係に基づいて目標基準点の位置を決定し、例えば、配置基準点がちょうど参照線分上にあると、目標基準点の位置も対応する現在の線分上に位置する。目標基準点が整合対象基準点に対応し、目標基準点と整合対象基準点との間の変位オフセットが歪みモデルと処理対象画像との歪み大きさを表す。

【0022】

ステップＳ２４０において、マッピング点対中の目標基準点と整合対象基準点との位置関係及びマッピング点対と処理対象画像点との位置関係に基づいて、処理対象画像点のマッピング関係を決定し、マッピング関係に基づいて、処理対象画像点を対応する目標位置にマッピングする。

【0023】

具体的に、マッピング点対中の目標基準点と整合対象基準点との変位オフセットを計算し、目標基準点と整合対象基準点の座標によって対応する変位オフセットを計算することができ、例えば目標基準点の座標が（ｘ、ｙ）で、整合対象基準点の座標が（ａ、ｂ）であると、変位差異は（ｘ−ａ、ｙ−ｂ）である。ベクトルの形態で変位オフセットを表すことができる。マッピング点対の分布位置に基づいて、異なる領域に対応するマッピング点対が含まれるように処理対象画像を分割し、例えば第１の領域に第１のマッピング点対を含むと、第１の領域内の処理対象画像の点は第１のマッピング点対の影響のみを受け、他のマッピング点対は第１の領域内の処理対象画像点の歪みに影響を与えない。各領域に分割せずに、マッピング点対と処理対象画像点との距離に基づいて、各マッピング点対による処理対象画像点の歪みについての影響の重みを計算することもできる。影響重みと変位オフセットとを結合して、処理対象画像点のマッピング関係を算出し、マッピング関係に基づいて直接に処理対象画像点の歪み後の位置を決定して、処理対象画像点を対応する目標位置にマッピングすることができる。

【0024】

本実施例において、処理対象画像を取得し、処理対象画像中の顔画像を識別して、顔画像の五官基準点を位置決めし、配置参照点と配置基準点を含む歪みモデルを取得して、五官基準点において配置参照点に対応する現在の参照点と、配置基準点に対応する整合対象基準点を決定し、配置参照点と配置基準点との位置関係及び現在の参照点と整合対象基準点との位置関係に基づいて、五官の類似性マッピングを行って、配置基準点の処理対象画像中の、対応する整合対象基準点とマッピング点対を形成する対応する目標基準点を得て、マッピング点対中の目標基準点と整合対象基準点との位置関係及びマッピング点対と処理対象画像点との位置関係に基づいて、処理対象画像点のマッピング関係を決定し、マッピング関係に基づいて処理対象画像点を対応する目標位置にマッピングし、歪みモデルに配置参照点と配置基準点を含み、且つ対応する処理対象画像中の現在の参照点と整合対象基準点によって、まず五官類似性マッピング目標基準点を得て、それから処理対象画像点のマッピング関係を決定することで、処理対象画像点を対応する目標位置にマッピングし、自己適応的に歪みモデルに応じて歪み大きさを決定でき、歪み後の画像と目標画像の一致度を向上させる。

【0025】

一実施例において、歪みモデルは、複種類の五官タイプに対応する配置基準点と配置参照点を含む。

【0026】

具体的に、変形の五官タイプが異なると、対応する配置基準点と配置参照点の位置や数量も異なる。例えば、顔形状の変形の場合、配置参照点は鼻先、左右目に対応する外輪郭点、顎先点で、配置基準点は顔部外輪郭上の点である。左目歪みの場合、配置参照点が右目中央点、鼻先、右目に対応する顔部輪郭点で、配置基準点が目外輪郭上の点である。配置基準点は通常、変形する五官外輪郭上の点であって、配置参照点は需要に応じて変形した五官付近の位置決めしやすい点を選択することができる。複種類の五官タイプに対応する配置基準点と配置参照点を含み、複種類のタイプの五官歪みを一回で完成し、且つ各五官歪み間の歪み大きさが相互影響して、全般的に五官歪みを行うことができる。

【0027】

一実施例において、図８に示すように、ステップＳ２３０はステップＳ２３１〜ステップＳ２３４を含む。

【0028】

ステップＳ２３１において、配置参照点によって形成される図形の第１の重心点を取得し、配置基準点と第１の重心点とを連結して第１の線分を形成し、第１の重心点と異なる配置参照点とを連結して第１の参照線分集合を形成する。

【0029】

具体的に、取得する配置参照点の数量は需要に応じて自己定義することができ、少なくとも三つであって、例えば任意の隣接する四つの配置参照点によって形成される四角形の第１の重心点４００を取得する。配置基準点は通常、複数であって、順に各配置基準点に対応する目標基準点の位置を決定する。図９に示すように、配置基準点４１０と第１の重心点４００とを連結して第１の線分４１１を形成し、第１の重心点４００と異なる配置参照点４２０、４３０、４４０、４５０を連結して第１の参照線分集合４１２、４１３、４１４、４１５を形成する。

【0030】

ステップＳ２３２において、第１の線分と第１の参照線分集合中の線分の夾角関係、第１の線分の長さ、第１の参照線分集合中の線分の長さに基づいて、歪み因数を決定する。

【0031】

具体的に、第１の線分と第１の参照線分４１２、４１３、４１４、４１５とがそれぞれ夾角ε_１、ε_２、ε_３、ε_４を形成する。第１の線分と第１の参照線分集合中の線分との距離に基づいて、歪み重みを決定することもでき、例えば第１の参照線分４１２、第１の参照線分集合４１５の歪みの重みが大きく、第１の参照線分４１３、４１４の歪みの重みが小さい。そして、第１の参照線分集合中の一部の目標線分を選択して目標夾角を計算し、歪み因数を計算する時に目標夾角のみを考慮することもでき、例えば第１の参照線分４１２、第１の参照線分集合４１５を目標線分として選択し、計算する時に目標夾角ε_１、目標夾角ε_２のみを考慮することができる。歪み因数を決定するアルゴリズムも需要に応じて自己定義することができ、例えば線形の函数と非線形の函数を利用することができる。一実施例において、線形の函数を利用し、例えば式

【0032】

具体的に、取得する現在の参照点の数量や位置は、配置参照点の数量や位置に対応し、例えば、任意の隣接する四つの現在の参照点によって形成される四角形の第２の重心点５００を取得し、図１０に示すように、まず一つの目標基準点の位置を仮設し、目標基準点５１０と第２の重心点５００とを連結して第２の線分５１１を形成し、第２の重心点５００と異なる配置参照点５２０、５３０、５４０、５５０とを連結して第２の参照線分集合５１２、５１３、５１４、５１５を形成し、第２の線分５１１と第２の参照線分５１２、５１３、５１４、５１５とによってそれぞれ第２の夾角φ_１、φ_２、φ_３、φ_４を形成する。例えば第１の線分と第１の参照線分とがそれぞれ形成した第１の夾角がε_１、ε_２、ε_３、ε_４であると、アルゴリズムを自己定義して、第１の線分と第１の参照線分とがそれぞれ形成いた夾角の関係に基づいて、第２の線分５１１と第２の参照線分集合中の線分との夾角を決定することができ、例えば、第２の夾角中に対応する夾角の比例が第１の夾角の比例と同様であるように、任意の二つの第１の夾角を選択して、当該二つの第１の夾角の比例を計算して、第２の線分の方向を得て、φ_１、φ_２、φ_３、φ_４の具体的な角度値を決定する。

【0033】

ステップＳ２３３において、現在の参照点によって形成された図形の第２の重心点を取得し、目標基準点と第２の重心点とを連結して第２の線分を形成し、第２の重心点と異なる現在の参照点とを連結して第２の参照線分集合を形成し、夾角関係に基づいて、第２の線分と第２の参照線分集合中の各線分の夾角を決定する。

【0034】

具体的に、取得する現在の参照点の数量や位置は、配置参照点の数量や位置に対応し、例えば、任意の隣接する四つの現在の参照点によって形成される四角形の第２の重心点５００を取得し、図１０に示すように、まず一つの目標基準点の位置を仮設し、目標基準点５１０と第２の重心点５００とを連結して第２の線分５１１を形成し、第１の重心点５００と異なる配置参照点５２０、５３０、５４０、５５０とを連結して第２の参照線分集合５１２、５１３、５１４、５１５を形成し、第２の線分５１１と第２の参照線分５１２、５１３、５１４、５１５とによってそれぞれ第２の夾角φ_１、φ_２、φ_３、φ_４を形成する。例えば第１の線分と第１の参照線分とがそれぞれ形成した第１の夾角がε_１、ε_２、ε_３、ε_４であると、アルゴリズムを自己定義して、第１の線分と第１の参照線分とがそれぞれ形成いた夾角の関係に基づいて、第２の線分５１１と第２の参照線分集合中の線分との夾角を決定することができ、例えば、第２の夾角中に対応する夾角の比例が第１の夾角の比例と同様であるように、任意の二つの第１の夾角を選択して、当該二つの第１の夾角の比例を計算して、第２の線分の方向を得て、φ_１、φ_２、φ_３、φ_４の具体的な角度値を決定する。

【0035】

ステップＳ２３４において、歪み因数、夾角と第２の参照線分集合中の線分の長さに基づいて目標基準点の位置を決定する。

【0036】

具体的に、アルゴリズムを自己定義して目標基準点の位置を決定することができ、例えば、線形の函数と非線形の函数を利用することができ、一実施例において、式

【0037】

【数2】

に基づいて目標基準点の位置を計算し、ここで、Ddstは第２の線分５１１の長さで、φ_１〜φ_ｎはそれぞれ第２の線分と第２の参照線分集合中の線分との夾角で、ｎは第２の参照線分集合中の線分の数量で、第１の参照線分集合中の線分の数量と一致し、Ｐ_１〜Ｐ_ｎは歪みの重みで、具体的に大きさは歪み因数を計算する際に利用したのと同じである。第２の線分５１１の長さを決定した後、線分の一つの端点が第２の重心点５００の位置によって決定され、且つ線分の方向が決定されたので、他の端点である目標基準点の位置を決定することができる。

【0038】

本実施例において、配置参照点と現在の参照点によって形成された図形重心及び各種線分長さ、角度関係によって目標基準点の位置を決定することで、目標基準点の位置を計算する精度を向上させ、変形後の処理対象画像と目標画像がさらに接近し、特徴の一致度が一層高くなる。

【0039】

一実施例において、配置参照点によって形成された図形は隣接する三つの配置参照点によって形成された配置三角形の図形で、現在の参照点によって形成された図形は配置三角形の図形と同一なルールで形成された現在三角形図形であって、図１１に示すように、ステップＳ２３０は、ステップＳ２３６〜ステップＳ２３９を含む。

【0040】

ステップＳ２３６において、配置三角形図形の配置重心点を取得し、配置基準点と配置重心点とを連結して第１の線分を形成し、配置基準点に隣接する二つの目標配置参照点を取得し、配置重心点と目標配置参照点とを連結して第１の配置参照線分と第２の配置参照線分を形成する。

【0041】

具体的に、配置参照点が四つである時、任意の隣接する三つの配置参照点によって三つの配置三角形図形を形成し、図１２に示すように、配置参照点３２１、３２２、３２３、３２４中の任意の隣接する三つによって配置三角形図形Ｓ１、Ｓ２、Ｓ３を形成する。配置基準点の位置に基づいてどの配置三角形図形で目標基準点を計算するかを決定することができ、例えば配置基準点との距離が最も近い配置三角形図形を利用することができる。図１３に示すように、配置基準点６１０と配置重心点６００とを連結して第１の線分６１１を形成し、配置重心点６００と配置参照点６２０、６３０とを連結して第１の配置参照線分６１２と第２の配置参照線分６１３を形成する。

【0042】

ステップＳ２３７において、第１の線分と第１の配置参照線分との夾角α、第１の線分と第２の配置参照線分との夾角β第１の線分の長さDsrc、第１の配置参照線分の長さｄ₁、第２の配置参照線分の長さｄ₂を取得し、式

【0043】

【数3】

に従って、歪み因数ｋを決定する。

【0044】

ステップＳ２３８において、現在三角形図形の現在の重心点を取得し、目標基準点と現在の重心点とを連結して第２の線分を形成し、目標配置参照点に対応する二つの目標現在参照点を取得し、現在の重心点と目標現在参照点とを連結して第１の現在参照線分と第２の現在参照線分を形成し、式

【0045】

【数4】

に従って、第２の線分と第１の現在参照線分との夾角α’と第２の線分と第２の現在参照線分との夾角β’を決定する。

【0046】

具体的に、図１４に示すように、まず一つの目標基準点の位置を仮設し、目標基準点７１０と現在の重心点７００とを連結して第２の線分７１１を形成し、現在の重心点７００と目標現在参照点７２０、７３０とを連結して第１の現在参照線分７１２と第２の現在参照線分７１３を形成し、第２の線分７１１と第１の現在参照線分７１２と第２の現在参照線分７１３とがそれぞれ夾角α’とβ’を形成し、式

【0047】

【数5】

に従って、α’とβ’の具体的な角度値を決定し、例えばα：β＝１：２であって、第１の現在参照線分７１２と第２の現在参照線分７１３とによって形成された夾角が６０°であると、α’とβ’はそれぞれ２０°と４０°であって、これから第２の線分の方向を得る。

【0048】

ステップＳ２３９において、第１の現在参照線分の長さｄ_１’、第２の現在参照線分の長さｄ_２’を取得して、式

【0049】

【数6】

に従って、第２の線分の長さDdstを算出して、目標基準点の位置を決定する。

【0050】

具体的に、第２の線分７１１の長さを決定した後、線分の一つの端点が現在の重心点７００の位置によって決定され、線分の方向が決定されたので、他の端点である目標基準点の位置を決定することができる。

【0051】

本実施例において、三角形の重心を利用し、三角形の端点が少なく且つ安定的な図形であって、目標基準点の位置を高速且つ簡単に算出することができ、計算する時、配置基準点に隣接する二つの目標配置参照点で計算し、位置が近い時に影響が大きい原則を充分に考慮して、目標基準点の位置を計算する精度を確保できる。

【0052】

一実施例において、図１５に示すように、ステップＳ２４０は、ステップＳ２４１〜ステップＳ２４２を含む。

【0053】

ステップＳ２４１において、処理対象画像点と整合対象基準点との位置に基づいて、各マッピング点対に対応する影響重み因数を算出する。

【0054】

具体的に、処理対象画像点に近いマッピング点対ほど、処理対象画像点の歪みに対する影響が大きく、当該逆関係に基づいて、処理対象画像点と各整合対象基準点との位置距離を計算し、逆関係に基づいて、距離が大きいものに小さいに影響重み因数を割り当て、距離が小さいものに大きい影響重み因数を割り当てることができ、具体的な割り当てアルゴリズムは需要に応じて自己定義することができ、例えばマッピング点対の総数に応じて異なるレベルの影響重み因数を割り当てることができ、例えば四つのマッピング点対であると、四つのレベルの影響重み因数を割り当て、且つ各レベルの影響重み因数の合計は１であって、例えば０.１、０.２、０.３、０.４と割り当て、処理対象画像点と四つのマッピング点対中の整合対象基準点との距離を計算して、距離の大きさに応じて排列して対応する影響重み因数を探し、距離が最大であると影響重み因数は最小であって、これにより各マッピング点対に対応する影響重み因数を得ることができる。

【0055】

ステップＳ２４２において、各マッピング点対に対応する変位オフセットを計算し、各マッピング点対に対応する影響重み因数と変位オフセットに基づいて、処理対象画像点の変位を算出し、変位に基づいて、処理対象画像点を対応する目標位置にマッピングする。

【0056】

具体的に、マッピング点対を(S₁,D₁)、(S_２,D_２)、…、(S_ｎ,D_ｎ)、と表すことができ、ここで、ｎはマッピング点対の総数で、その中の各点はいずれも対応する座標、例えばS₁(S_1ｘ,S_1ｙ)があると、マッピング点対に対応する変位オフセットはＤ_ｉ―Ｓ_ｉであって、ここでＤ_ｉは第ｉ個のマッピング点対中の目標基準点の座標で、Ｓ_ｉは第ｉ個のマッピング点対中の整合対象基準点の座標であって、座標が二次元座標であるので、変位オフセットは絶対変位距離と方向を含む。処理対象画像点の変位を画像中の全部又は一部のマッピング点対に対応する変位オフセットと対応する影響重み因数によって得ることができ、処理対象画像に予めて分割処理が行われていると、各領域内の処理対象画像点の変位は当該領域内のマッピング点対の影響のみを受け、処理対象画像点がマッピングされる対応する目標位置を計算する時、まず同一の領域内の各マッピング点対に対応する影響重み因数と変位オフセットを取得して、その後処理対象画像点がマッピングされる目標位置を算出する。図１６は点マッピングの計算を示す図で、図１６は(S₁,D₁)、(S_２,D_２)、…、(S_６,D_６)の六つのマッピング点対を含み、マッピング点対中の二つの点間の矢印は各マッピング点対に対応する変位オフセットを示し、矢印の方向は歪みの方向を示し、矢印の長さは歪みの大きさを示す。ここで、処理対象画像点Ａと整合対象基準点Ｓ_１との間の点線はＡとＳ_１との間のユークリッド距離を示す。図１７は点マッピング結果を示す図で、ここで、処理対象画像点ＡがＡ’にマッピングされ、処理対象画像点ＢがＢ’にマッピングされ、Ａ点がマッピング点対に近いので、歪みが大きく、Ｂ点がマッピング点対から遠く離れているので、歪みが小さく、Ａ点と(S₁,D₁)、(S_２,D_２)、(S_３,D_３)との距離が(S_４,D_４)、(S_５,D_５)、(S_６,D_６)との距離より近いので、Ａについての(S₁,D₁)、(S_２,D_２)、(S_３,D_３)による影響が(S_４,D_４)、(S_５,D_５)、(S_６,D_６)より大きく、Ａ点の歪み方向が(S₁,D₁)、(S_２,D_２)、(S_３,D_３)の変位方向に似ている。

【0057】

本実施例において、異なるマッピング点対の処理対象画像点の歪みに対する影響重みは異なっていて、全般的に歪みした状況で局部の歪みの差異を考慮して、歪み後の画像の精度が一層高くなる。

【0058】

一実施例において、ステップＳ２４１は、

【0059】

【数7】

に従って、第ｉ個のマッピング点対に対応する影響重み因数Ｗ_ｉを算出することを含み、ここで、Ａは処理対象画像点の位置座標を示し、Ｓ_ｉは第ｉ個のマッピング点対中の整合対象基準点の座標を示し、｜Ａ―Ｓ_ｉ｜はＡからＳｉまでの距離を示し、ｊはインテックスで、Ｎはマッピング点対の総数である。

【0060】

具体的に、｜Ａ―Ｓ_ｉ｜はＡからＳ_ｉまでの距離を示し、例えばユークリッド距離である。式に従って、ＡからＳｉまでの距離が大きいほど、影響重み因数Ｗ_ｉが小さく、且つ式に従って算出されるＮ個の影響重み因数の合計は１である。

【0061】

ステップＳ２４２は、

【0062】

【数8】

に従って、目標位置Ａ’を算出することを含み、ここで、Ｄ_ｉは第ｉ個のマッピング点対中の目標基準点の座標を示す。

【0063】

具体的に、Ｎがマッピング点対の総数であるので、処理対象画像点Ａの歪み後の位置は処理対象画像中の全てのマッピング点対と関連し、局部の重み差異を考慮するともに画像の全体性を考慮した。

【0064】

本実施例において、影響重み因数を各マッピング点対と処理対象画像点との距離に基づいて自己適応的に算出することもでき、一層精確で計算が簡単であって、且つ処理対象画像中の全てのマッピング点対が現在の処理対象画像点の歪みに全て影響し、現在の処理対象画像点との距離が近いほど、影響が大きい。

【0065】

一実施例において、図１８に示すように、ステップＳ２４０においてマッピング関係に基づいて処理対象画像点を対応する目標位置にマッピングするステップは、ステップＳ２４３〜ステップＳ２４５を含む。

【0066】

ステップＳ２４３において、処理対象画像を分割して原始ブロックを得て、各原始ブロックの対応する頂点を第１の処理対象画像点とし、各原始ブロック内の他の点を第２の処理対象画像点とする。

【0067】

具体的に、分割するルールは需要に応じて自己定義することができ、例えば、三角形、四角形等に分割することができる。分割するブロックの数量によって計算の複雑度と精度が決められる。多くのブロックに分割され、各ブロックが小さいほど、計算の複雑度が高く、精度が高い。分割した後、各原始ブロックの頂点を第１の処理対象画像点として、第１の処理対象画像点は歪み中に目標歪み位置を精確に計算する必要のある点である。各原始ブロック内の他の点は第２の処理対象画像点で、第２の処理対象画像点の歪み後の位置は第１の処理対象画像点の歪み後の位置によって决定され、精確に計算する必要がなく、点の計算数を大幅に低減し、計算速度を高める。図１９は一実施例における分割を示す図で、処理対象画像を分割して複数の三角形原始ブロックを得た。

【0068】

ステップＳ２４４において、マッピング関係に基づいて、第１の処理対象画像点を対応する目標位置にマッピングして、第１の映射画像点を得て、第１の映射画像点によって原始ブロックに対応するマッピングブロックを形成する。

【0069】

具体的に、第１の処理対象画像点をマッピング関係に基づいて対応する目標位置にマッピングして第１のマッピング画像点を得て、各三角形の原始の三つの頂点のオフセット量に基づいて、ブロック全体のオフセット量を算出することができ、図２０に示すように、処理対象画像中の三角形の原始ブロック８１０が画像中のマッピングブロック８２０の位置にオフセットする。

【0070】

ステップＳ２４５において、第２の処理対象画像点を原始ブロックを処理ユニットとして原始ブロックに対応するマッピングブロック内の対応する位置にマッピングする。

【0071】

具体的に、各三角形の原始ブロック内の第２の処理対象画像点が、全て直接に対応するマッピングブロック内の対応する位置にマッピングされる。各三角形の原始ブロックの歪み後の画像中の位置を得ることができ、各三角形の原始ブロックの頂点はいずれも共有されるので、図２１に示すように、歪み後の画像も連続する画素である。歪み全般をＯｐｅｎＧＬ ＥＳ（ＯｐｅｎＧＬ ｆｏｒ Ｅｍｂｅｄｄｅｄ Ｓｙｓｔｅｍｓ）を用いて実現することができ、出力画像の頂点シェーダー（Ｖｅｒｔｅｘ Ｓｈａｄｅｒ）の座標を調整することで、処理対象画像の歪み効果を実現できる。ＧＰＵの計算力がかなり大きいので、短時間で全ての計算プロセスを完成できる。例えば、解像度が６４０ｘ４８０である画像の場合、ローエンド携帯端末ｉＰｏｄ Ｔｏｕｃｈ ５で２０ｍｓ、即ち５０ＦＰＳで完成でき、リアルタイムな歪みの性能を実現できる。

【0072】

具体的な一実施例において、画像歪み処理方法の技術構成は、図２２に示すように、オンライン処理部分９２０とオフライン処理部分９１０とを含み、ここで、オフライン処理部分９１０は歪みモデルを生成し、検出された歪みモデル中の配置参照点と配置基準点を識別するように構成される。オフライン処理部分９１０は、目標歪み画像を取得するように構成された目標画像取得ユニット９１１と、目標歪み画像を検出して配置参照点と配置基準点を得るように構成された顔検出及び五官基準点検出ユニット９１２と、顔が検出されないと、人為的に標記する方式で顔が位置する領域を標記し、配置参照点と配置基準点を標記して、最終的に配置参照点と配置基準点を含む歪みモデルを得るように構成された手動標記ユニット９１３と、を含む。オンライン処理部分９２０は、処理対象である入力画像を取得するように構成された処理対象画像取得ユニット９２１と、処理対象画像中の顔を検出して五官の位置決めを行って、歪みモデルに対応する現在の参照点と整合対象基準点を含む五官基準点を得るように構成された基準点位置決め手段９２２と、歪みモデルと処理対象画像中の配置参照点と配置基準点との位置関係及び現在の参照点と整合対象基準点との位置関係に基づいて、ブロック単位でブロックの歪み量を計算するように構成されたブロック歪み量計算ユニット９２３と、各ブロックの歪みに基づいて、歪み後の画像全体を生成するように構成された目標歪み画像生成ユニット９２４と、を含む。

【0073】

一実施例において、図２３に示すように、画像歪み処理装置を提供し、
処理対象画像を取得し、処理対象画像中の顔画像を識別して、顔画像の五官基準点を位置決めするように構成された基準点位置決め手段１０１０と、
配置参照点と配置基準点を含む歪みモデルを取得して、五官基準点において配置参照点に対応する現在の参照点と、配置基準点に対応する整合対象基準点とを決定するように構成された基準点区別手段１０２０と、
配置参照点と配置基準点との位置関係及び現在の参照点と整合対象基準点との位置関係に基づいて、五官類似性マッピングを行って、配置基準点の処理対象画像中の、対応する整合対象基準点とマッピング点対を形成する対応する目標基準点を得るように構成された類似性マッピング手段１０３０と、
マッピング点対中の目標基準点と整合対象基準点との位置関係及びマッピング点対と処理対象画像点との位置関係に基づいて、処理対象画像点のマッピング関係を決定し、マッピング関係に基づいて、処理対象画像点を対応する目標位置にマッピングするように構成された処理対象画像点マッピング手段１０４０と、を含む。

【0074】

一実施例において、歪みモデルは、複種類の五官タイプに対応する配置基準点と配置参照点を含む。

【0075】

一実施例において、図２４に示すように、類似性マッピング手段１０３０は、
配置参照点によって形成された図形の第１の重心点を取得し、配置基準点と第１の重心点とを連結して第１の線分を形成し、第１の重心点と異なる配置参照点とを連結して第１の参照線分集合を形成し、第１の線分と第１の参照線分集合中の線分との夾角関係、第１の線分の長さ、第１の参照線分集合中の線分の長さに基づいて、歪み因数を決定するように構成された歪み因数決定ユニット１０３１と、
現在の参照点によって形成された図形の第２の重心点を取得し、目標基準点と第２の重心点とを連結して第２の線分を形成し、第２の重心点と異なる現在の参照点とを連結して第２の参照線分集合を形成し、夾角関係に基づいて、第２の線分と第２の参照線分集合中の各線分との夾角を決定するように構成された夾角決定ユニット１０３２と、
歪み因数、夾角と第２の参照線分集合中の線分の長さに基づいて、目標基準点の位置を決定するように構成された目標基準点決定ユニット１０３３と、を含む。

【0076】

一実施例において、配置参照点によって形成された図形は隣接する三つの配置参照点によって形成された配置三角形図形であって、現在の参照点によって形成された図形は配置三角形図形と同じルールで形成された現在三角形図形であって、歪み因数決定ユニット１０３１はさらに、配置三角形図形の配置重心点を取得し、配置基準点と配置重心点とを連結して第１の線分を形成し、配置基準点に隣接する二つの目標配置参照点を取得し、配置重心点と目標配置参照点とを連結して第１の配置参照線分と第２の配置参照線分を形成し、第１の線分と第１の配置参照線分との夾角α、第１の線分と第２の配置参照線分との夾角β、第１の線分の長さDsrc、第１の配置参照線分の長さｄ₁、第２の配置参照線分の長さｄ₂を取得して、式

【0077】

【数9】

に従って、歪み因数ｋを決定するように構成される。

【0078】

夾角決定ユニット１０３２はさらに、現在三角形図形の現在の重心点を取得し、目標基準点と現在の重心点とを連結して第２の線分を形成し、目標配置参照点に対応する二つの目標現在参照点を取得し、現在の重心点と目標現在参照点とを連結して第１の現在参照線分と第２の現在参照線分を形成し、式

【0079】

【数10】

に従って、前記第２の線分と第１の現在参照線分との夾角α’と第２の線分と第２の現在参照線分との夾角β’を決定するように構成される。

【0080】

目標基準点決定ユニット１０３３はさらに、第１の現在参照線分の長さｄ_１’、第２の現在参照線分の長さｄ_２’を取得して、式

【0081】

【数11】

に従って、第２の線分の長さDdstを算出して、前記目標基準点の位置を決定するように構成される。

【0082】

一実施例において、図２５に示すように、処理対象画像点マッピング手段１０４０は、
処理対象画像点と整合対象基準点との位置に基づいて、各マッピング点対に対応する影響重み因数を算出するように構成された影響重み因数計算ユニット１０４１と、
各マッピング点対に対応する変位オフセットを計算し、各マッピング点対に対応する影響重み因数と変位オフセットに基づいて、処理対象画像点の変位を算出し、変位に基づいて、処理対象画像点を対応する目標位置にマッピングするように構成された目標位置決定ユニット１０４２と、を含む。

【0083】

一実施例において、影響重み因数計算ユニット１０４１はさらに、式

【0084】

【数12】

に従って、第ｉ個のマッピング点対に対応する影響重み因数Ｗ_ｉを計算するように構成され、ここで、Ａは処理対象画像点の位置座標を示し、Ｓ_ｉは第ｉ個のマッピング点対中の整合対象基準点の座標を示し、｜Ａ―Ｓ_ｉ｜はＡ〜Ｓ_ｉの距離を示し、ｊはインテックスで、Ｎはマッピング点対の総数である。

【0085】

目標位置決定ユニット１０４２はさらに、式

【0086】

【数13】

に従って、目標位置Ａ’を算出するように構成され、ここで、Ｄ_ｉは第ｉ個のマッピング点対中の目標基準点の座標を示す。

【0087】

一実施例において、図２６に示すように、目標位置決定ユニット１０４２は、
処理対象画像を分割して原始ブロックを得て、各原始ブロックの対応する頂点を第１の処理対象画像点とし、各原始ブロック内の他の点を第２の処理対象画像点とする分割ユニット１０４２ａと、
マッピング関係に基づいて、第１の処理対象画像点を対応する目標位置にマッピングして、第１の映射画像点を得て、第１の映射画像点によって原始ブロックに対応するマッピングブロックを形成するように構成された第１のマッピングユニット１０４２ｂと、
第２の処理対象画像点を原始ブロックを処理ユニットとして原始ブロックに対応するマッピングブロック内の対応する位置にマッピングするように構成された第２のマッピングユニット１０４２ｃと、を含む。

【0088】

実際の応用において、前記画像歪み処理装置中の各ユニットが実現する機能を全て画像歪み処理装置に設置された中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）又はマイクロプロセッサ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ、ＭＰＵ）又はデジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）又はフィールド・プログラマブル・ゲート・アレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）等によって実現されることもできる。

【0089】

上記実施例の方法のステップの全部又は一部をコンピュータプログラムによって関連するハードウェアに完成するように命令する方式で実現することができ、前記プログラムはコンピュータ読取可能な記憶媒体に記憶され、例えば本発明の実施例において、当該プログラムはコンピュータシステムの記憶媒体に記憶されることができ、またコンピュータシステムにおける少なくとも一つのプロセッサによって実行されて、上記各方法の実施例のステップを実現する。ここで、前記記憶媒体は、磁気ディスク、ＣＤ、読み出し専用メモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）又はランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）等であることができる。

【0090】

対応して、本発明の実施例においてコンピュータプログラムが記憶されるコンピュータ記憶媒体を提供し、該コンピュータプログラムは本発明の実施例に係る画像歪み処理方法を実行するように構成される。

【0091】

以上に述べた実施例の各技術的特徴を任意に組み合せすることができ、説明が簡単であるように、上記実施例中の各技術的特徴の全ての組み合せを説明しているのではないが、これらの技術的特徴の組み合せが矛盾いない限り、いずれも本願に記載の範囲に含まれる。

【0092】

上述した実施例は本発明の幾つかの実施形態を表し、具体的且つ詳細に説明したが、本発明の保護範囲を限定するものではない。当業者は本発明の構想を離脱せずに様々な変形や改良が可能であって、これらは全て本発明の保護範囲に含まれる。よって、本発明の保護範囲は特許請求の範囲を基準としなければならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】