特許 7327140 画像処理方法及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-07

(45)【発行日】2023-08-16

(54)【発明の名称】画像処理方法及び情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230808BHJP

   G06T 7/50 20170101ALI20230808BHJP

【ＦＩ】

G06T7/00 660A

G06T7/50

【請求項の数】 10

(21)【出願番号】P 2019226684

(22)【出願日】2019-12-16

(65)【公開番号】P2020098603

(43)【公開日】2020-06-25

【審査請求日】2022-08-09

(31)【優先権主張番号】201811549825.3

(32)【優先日】2018-12-18

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】郭 松

(72)【発明者】

【氏名】李 斐

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２００９－２１１１７８（ＪＰ，Ａ）

【文献】特開２０１１－０２２９９４（ＪＰ，Ａ）

【文献】特開２００５－２０９１４８（ＪＰ，Ａ）

【文献】国際公開第２０１５／０６８４７０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｇ０６Ｖ ４０／００－４０／７０

(57)【特許請求の範囲】

【請求項1】

２次元画像における顔対象に基づいて、３次元顔モデルを構築し、
構築された３次元顔モデルと２次元画像における顔対象との対応関係を決定し、
前記対応関係に基づいて、３次元顔モデルにおけるキーポイント近傍の関心領域を用いて２次元画像における対応するキーポイントの関心領域を決定し、決定された２次元画像の関心領域から画像特徴を、対応するキーポイントの画像特徴として抽出するように構成されるプロセッサを含む、情報処理装置。

【請求項2】

プロセッサは、２次元画像における顔対象の、複数のキーポイントを含む２次元形状に基づいて、前記３次元顔モデルを構築するように構成される、請求項１に記載の情報処理装置。

【請求項3】

プロセッサは、さらに、
抽出された各キーポイントの画像特徴に基づいて、予め取得された回帰部を用いて顔対象の２次元形状の現在の増分を構築し、
取得された顔対象の２次元形状及び顔対象の２次元形状の現在の増分に基づいて、顔対象の現在の２次元形状を取得するように構成される、請求項２に記載の情報処理装置。

【請求項4】

プロセッサは、さらに、
所定条件が満たされるまで、３次元顔モデルの構築、対応関係の決定、関心領域の決定、画像特徴の抽出、現在の増分の構築及び現在の２次元形状の取得のステップを反復的に実行するように構成される、請求項３に記載の情報処理装置。

【請求項5】

キーポイントは、目尻、眉、鼻の先、口元及び／又は顎の中心を含む、請求項１乃至４の何れかに記載の情報処理装置。

【請求項6】

前記回帰部は、２次元形状が予めラベル付けされた、顔対象を含む２次元訓練画像に基づいて訓練により取得される、請求項３又は４に記載の情報処理装置。

【請求項7】

プロセッサは、さらに、
２次元画像における関心領域を決定する際に、前記対応関係に基づいて、３次元顔モデルにおける関心領域を２次元画像に投影し、投影結果を２次元画像における関心領域とするように構成される、請求項１乃至４の何れかに記載の情報処理装置。

【請求項8】

３次元顔モデルにおけるキーポイント近傍の関心領域は、３次元顔モデルにおけるキーポイントを中心とする球体内の３次元顔モデルの部分を含む、請求項７に記載の情報処理装置。

【請求項9】

プロセッサは、さらに、
３次元顔モデルと２次元画像における顔対象との対応関係を決定する際に、顔対象の３次元姿勢を決定し、
２次元画像における関心領域を決定する際に、決定された３次元姿勢に基づいて、３次元顔モデルにおけるキーポイントが２次元画像において見えるか否かを判断し、２次元画像において見えるキーポイント近傍の関心領域のみを投影するように構成される、請求項７に記載の情報処理装置。

【請求項10】

２次元画像における顔対象に基づいて、３次元顔モデルを構築するステップと、
構築された３次元顔モデルと２次元画像における顔対象との対応関係を決定するステップと、
前記対応関係に基づいて、３次元顔モデルにおけるキーポイント近傍の関心領域を用いて２次元画像における対応するキーポイントの関心領域を決定し、決定された２次元画像の関心領域から画像特徴を、対応するキーポイントの画像特徴として抽出するステップと、を含む、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理の分野に関し、具体的には、顔対象を含む２次元画像から画像特徴を抽出する画像処理方法、及び上記画像処理方法を実現可能な情報処理装置に関する。

【背景技術】

【0002】

画像処理技術の発展に伴い、顔認識、顔属性分類及び３次元顔再構築などの顔に関する多くのタスクが益々注目され、応用されている。

【0003】

顔に関連する各種のタスクでは、通常、予め定義された一連のキーポイント（例えば目尻、鼻の先、口元及び顎の中心点など）に対して各種の前処理を行い、例えば後続の処理を行うために、キーポイントに関連する画像特徴を抽出する必要がある。本分野では、キーポイントに関連する画像特徴を抽出するためのアルゴリズムが多数あるが、顔の表情及び姿勢、並びに外部環境の変化が顔画像へ影響を与えるため、殆どのアルゴリズムは現実のシーンの要求を満たすことができない。

【0004】

よって、人間の顔（即ち、顔対象）を含む２次元画像からキーポイントに関連する画像特徴を抽出するための改良された方法が求められている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

以下は、本発明の態様を基本的に理解させるために、本発明の簡単な概要を説明する。なお、この簡単な概要は、本発明を網羅的な概要ではなく、本発明のポイント又は重要な部分を意図的に特定するものではなく、本発明の範囲を意図的に限定するものではなく、後述するより詳細的な説明の前文として、単なる概念を簡単な形で説明することを目的とする。

【0006】

従来の画像処理方法を改善する要望を鑑み、本発明は、顔対象を含む２次元画像から画像特徴を抽出し、特徴抽出の正確性を改善できる画像処理方法を提供することを目的の１つとする。

【課題を解決するための手段】

【0007】

本開示の１つの態様では、２次元画像における顔対象に基づいて、３次元顔モデルを構築するステップと、構築された３次元顔モデルと２次元画像における顔対象との対応関係を決定するステップと、前記対応関係に基づいて、３次元顔モデルにおけるキーポイント近傍の関心領域を用いて２次元画像における対応するキーポイントの関心領域を決定し、決定された２次元画像の関心領域から画像特徴を、対応するキーポイントの画像特徴として抽出するステップと、を含む、画像処理方法を提供する。

【0008】

本開示のもう１つの態様では、上記の画像処理方法を実行するように構成されるプロセッサを含む、情報処理装置を提供する。

【0009】

本発明の他の態様では、コンピュータにより上記の画像処理方法を実現する、プログラムをさらに提供する。

【0010】

本発明の他の態様では、機器が読み取り可能な命令コードが記憶されている記憶媒体であって、前記命令コードが機器により読み取られて実行される際に、コンピュータに上記の画像処理方法を実行させる、記憶媒体をさらに提供する。

【0011】

本開示の実施例の各態様によれば、少なくとも、２次元画像に含まれる３次元情報を用いて２次元画像におけるキーポイントの画像特徴の抽出の正確性を向上させることができる。

【0012】

以下は図面を参照しながら本発明の好ましい実施例を詳細に説明することにより、本開示の上記及び他の利点はより明確になる。

【図面の簡単な説明】

【0013】

本開示の上記及び他の利点及び特徴を理解させるために、以下は図面を参照しながら本開示の具体的な実施形態を詳細に説明する。図面及び以下の詳細な説明は本明細書に含まれ、本明細書の一部を構成する。同一の機能及び構造を有する素子は同一の符号で示される。なお、これらの図面は単なる本開示の典型的な例を説明するためのものであり、本開示の範囲を限定するものではない。

【図1】本開示の実施例に係る画像処理方法の流れの一例を示すフローチャートである。

【図2】本開示の実施例に係る画像処理方法の流れの他の例を示すフローチャートである。

【図3】本開示の実施例に係る画像処理方法の流れの他の例を示すフローチャートである。

【図4】図３に示す画像処理方法の流れを説明するための図である。

【図5】図３に示す画像処理方法の流れを説明するための図である。

【図6】図３に示す画像処理方法の流れを説明するための図である。

【図7】図２又は図３の例に適用される回帰部の取得方法の流れを示すフローチャートである。

【図8】本開示の実施例に係る画像処理装置の構成の一例を示すブロック図である。

【図9】本開示の実施例に係る画像処理装置の構成の他の例を示すブロック図である。

【図10】本開示の実施例に係る画像処理装置の構成の他の例を示すブロック図である。

【図11】本開示の実施例に係る画像処理方法及び装置を実現するための可能なハードウェア構成を示すブロック図である。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら本発明の例示的な実施例を詳細に説明する。説明の便宜上、明細書には実際の実施形態の全ての特徴が示されていない。なお、実際に実施する際に、開発者の具体的な目標を実現するために、特定の実施形態を変更してもよい、例えばシステム及び業務に関する制限条件に応じて実施形態を変更してもよい。また、開発作業が非常に複雑であり、且つ時間がかかるが、本公開の当業者にとって、この開発作業は単なる例の作業である。

【0015】

なお、本発明を明確にするために、図面には本発明に密に関連する装置の構成要件及び／又は処理のステップのみが示され、本発明と関係のない細部が省略されている。

【0016】

本開示の１つの態様では、画像処理方法を提供する。図１は本開示の実施例に係る画像処理方法１００の流れの一例を示すフローチャートである。

【0017】

図１に示すように、画像処理方法１００は以下のステップを含んでもよい。３次元顔モデルの構築のステップＳ１０１において、２次元画像における顔対象に基づいて、３次元顔モデルを構築する。対応関係の決定のステップＳ１０３において、構築された３次元顔モデルと２次元画像における顔対象との対応関係を決定する。画像特徴の抽出のステップＳ１０５において、該対応関係に基づいて、３次元顔モデルにおけるキーポイント近傍の関心領域を用いて２次元画像における対応するキーポイントの関心領域を決定し、決定された２次元画像の関心領域から画像特徴を、対応するキーポイントの画像特徴として抽出する。

【0018】

一例として、本開示の実施例の画像処理方法に適用される２次元画像は、顔対象（人間の顔）を含む任意の２次元画像であってもよく、ここで、顔対象は、様々な年齢、性別、人種などの様々な身分を有する人の顔であってもよく、様々な表情及び／又は姿勢を有してもよい。また、２次元画像には、様々な背景が存在してもよく、例えば該画像は現実のシーンにおいて撮影された写真画像であってもよい。

【0019】

本実施例の画像処理方法は、顔対象を含む２次元画像を処理し、該２次元画像に含まれる３次元情報を十分に利用することで、キーポイントの画像特徴を抽出する処理の正確性を向上させることができる。

【0020】

より具体的には、顔対象のキーポイント及びその特徴は、顔に関連する各種の画像処理に利用される可能性のある重要な情報である。これらのキーポイントは、例えば目尻、眉、鼻の先、口元及び／又は顎の中心（顎の中心点）などを含んでもよい。従来の２次元顔画像の処理では、各キーポイントの特徴は、その近傍の局所領域から直接抽出される。これらの局所領域は、主にキーポイントを中心とする円形又は矩形の領域を選択し、これらの領域は各キーポイントの具体的な状況（キーポイントの位置及び顔の姿勢など）を考慮していないため、領域に大量の複雑な背景が含まれ、キーポイントの特徴が不正確になり、さらに間違っている。輪郭のキーポイント及び大きな姿勢の顔におけるキーポイントの場合は、特徴が不正確である現象がより深刻である。本実施例に係る方法は、２次元画像における顔対象と３次元顔モデルとの対応関係を用いて、３次元顔モデルにおける関心領域を計算して該関心領域に基づいて２次元画像における関心領域を決定し、該関心領域から特徴を抽出する。３次元顔モデルに背景領域がないため、３次元モデルの関心領域を用いて対応する２次元画像において決定された関心領域はより簡単であり、これらの領域から抽出された特徴はより正確である。

【0021】

一例として、３次元顔モデルの構築のステップＳ１０１において、３次元変形モデル（３ＤＭＭ）又は３次元点分布モデルなどの従来の３次元顔モデルを用いて、２次元画像における顔対象を反映するモデルを構築してもよい。本明細書では主に３次元変形モデルを一例にして説明するが、他の適切な方法を用いて３次元顔モデルを構築してもよく、ここでその説明を省略する。

【0022】

一般に、３次元顔モデルは、Ｍ個の点の３次元位置を含む行列で表されてもよい。

【数1】

【0023】

３次元変形モデルにより構築された３次元顔モデルＳは、次の式（２）で表されてもよい。

【数2】

【0024】

ここで、Ｓ_０は平均顔モデルであり、
（外１）

は身分を表すｎ_１番目の基底関数であり、
（外２）

は該基底関数の再構成係数であり、Ｎ_ｉｄは身分を表す基底関数の総数であり、
（外３）

は表情を表すｎ_２番目の基底関数であり、
（外４）

は該基底関数の再構成係数であり、Ｎ_ｅｘｐは表情を表す基底関数の総数である。２種類の再構成係数の集合ｃ（ｃ_ｉｄ，ｃ_ｅｘｐ）は、再構成された３次元顔モデルを表す形状パラメータである。

【0025】

一例として、Ｐ． Ｐａｙｓａｎ、Ｒ． Ｋｎｏｔｈｅ、Ｂ． Ａｍｂｅｒｇ、Ｓ． Ｒｏｍｄｈａｎｉ、Ｔ． Ｖｅｔｔｅｒらの論文「Ａ ３Ｄ ｆａｃｅ ｍｏｄｅｌ ｆｏｒ ｐｏｓｅ ａｎｄ ｉｌｌｕｍｉｎａｔｉｏｎ ｉｎｖａｒｉａｎｔ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ」（Ｓｉｘｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ ａｎｄ Ｓｉｇｎａｌ Ｂａｓｅｄ Ｓｕｒｖｅｉｌｌａｎｃｅ、第２９６－３０１頁、２００９年」により平均顔モデルＳ_０及び合計１９９個の身分を表す基底関数（Ｎ_ｉｄ＝１９９）を取得してもよく、Ｃ． Ｃａｏ、Ｙ． Ｗｅｎｇ、Ｓ． Ｚｈｏｕ、Ｙ． Ｔｏｎｇ、Ｋ． Ｚｈｏｕらの論文「Ｆａｃｅｗａｒｅｈｏｕｓｅ： ａ ３ｄ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｄａｔａｂａｓｅ ｆｏｒ ｖｉｓｕａｌ ｃｏｍｐｕｔｉｎｇ」（ＩＥＥＥ Ｔｒａｎｓ． Ｖｉｓ． Ｃｏｍｐｕｔ． Ｇｒａｐｈ．， 第３号、第２０巻、第４１３－４２５頁、２０１４年）により合計２９個の表情を表す基底関数（Ｎ_ｅｘｐ＝２９）を取得してもよい。

【0026】

３次元顔モデルの構築のステップＳ１０１において、２次元画像における顔対象の関連情報に基づいて、式（２）で示す３次元顔モデルの形状パラメータを決定してもよい。

【0027】

１つの好ましい実施例では、該３次元顔モデルは、２次元画像における顔対象の、複数のキーポイントを含む２次元形状に基づいて構築されてもよい。一例として、構築された３次元顔モデルにおけるキーポイントの２次元空間における投影と顔対象の２次元キーポイントとの距離を最小にしてもよい。以下はこれについて詳細に説明する。

【0028】

一般に、顔対象の２次元形状Ｕは、Ｌ個のキーポイントの２次元位置を含む行列で表されてもよい。

【数3】

【0029】

本実施例では、顔対象を含む処理すべき２次元画像では、例えば上記の式（３）のような顔対象の２次元形状Ｕが既に予めラベル付つけされ、或いは既に取得された（例えば、前処理により上記の２次元形状Ｕが既に取得された）。

【0030】

一方、一般的な３次元顔モデル（本実施例に適用される３次元変形モデルを含む）では、顔の所定のキーポイントの位置、即ち該ポイントの全ての３次元ポイントにおけるインデックスは固定されている。このため、Ｓ（：，ｄ）で３次元顔モデルにおける全てのＭ個の３次元ポイントにおけるＬ個のキーポイントのサブ集合を表してもよく、ここで、ｄはＬ次元のベクトルであり、Ｌ個の２次元キーポイントに対応する３次元キーポイントのインデックスを表す。それに応じて、該サブ集合Ｓ（：，ｄ）は２次元画像における顔対象の２次元形状Ｕに対応する。

【0031】

上述したように、構築された３次元顔モデルにおけるキーポイントＳ（：，ｄ）の２次元空間における投影点と２次元画像における顔対象のキーポイントＬとの距離を最小化することで、３次元顔モデルの形状パラメータｃを決定してもよい。

【0032】

また、対応関係の決定のステップＳ１０３において、式（２）で示す構築された３次元顔モデルと２次元画像における顔対象との対応関係を決定してもよい。一例として、該対応関係の決定は、３次元顔モデルにおける３次元キーポイント（Ｓ（：，ｄ））から顔対象の２次元形状（Ｕ）への投影関係を決定することを含んでもよい。

【0033】

具体的には、次の投影関係を決定してもよい。

【数4】

ここで、
（外５）

は３次元顔モデルから２次元空間への投影関数である。弱透視投影を用いる場合、
（外６）

は次のようにさらに拡張されてもよい。

【数5】

【0034】

ここで、ｓは拡大／縮小パラメータであり、Ｐは直交投影行列
（外７）

であり、Ｒは３つの回転角α、β、γ（頭の姿勢の水平方向の回転、傾斜及び鉛直方向の回転にそれぞれ対応する）により制御される回転行列であり、ｔはｔ_ｘ及びｔ_ｙにより構成された２次元平行移動パラメータベクトルである。式（５）における上記パラメータはベクトルｐ＝（ｓ、α、β、γ、ｔ_ｘ、ｔ_ｙ）^Ｔで示されてもよい。

【0035】

このように、上記の式（５）は次のように表されてもよい。

【数6】

【0036】

上記の式（４）～式（５）に基づいて、次の式（６）のような最適化関数を構築してもよい。

【数7】

【0037】

式（６）により、３次元顔モデルにおける３次元キーポイントＳ（：，ｄ）の２次元空間への投影点ｐＳ（：，ｄ）と顔対象の２次元キーポイントＵとの距離が最小になる場合、最適化された投影パラメータｐ及び３次元顔モデルの最適された形状パラメータｃを取得することができる。

【0038】

なお、図１のフローチャート１００では３次元顔モデルの構築のステップＳ１０１及び対応関係の決定のステップＳ１０３の順序関係が示されているが、上記の例において説明されたように、この２つのステップは並行又は同時に実行されてもよい。例えば上記の式（６）の最適化関数により形状パラメータｃの決定（即ち３次元顔モデルの構築）及び投影パラメータｐの決定（即ち対応関係の決定）を同時に行ってもよい。

【0039】

或いは、３次元顔モデルの構築のステップＳ１０１及び対応関係の決定のステップＳ１０３を反復的に実行してもよい。例えば、最初は、３次元顔モデルの形状パラメータｃを０に設定してもよい。その後、ｋ番目の反復では、

【数8】

に従って投影パラメータｐ^ｋを決定し、

【数9】

に従って形状パラメータｃ^ｋを決定し、反復停止条件を満たした場合に反復を停止してもよい。一例として、反復停止条件は、例えば上記の２つのパラメータの隣接する反復間のそれぞれの差が十分に小さいこと、又は反復回数が所定の合計反復回数に達することであってもよい。上記の投影パラメータｐが取得されると、３次元顔モデルの姿勢（即ち回転行列Ｒ、それは２次元画像における顔対象の姿勢を表してもよい）を容易に決定することができる。

【0040】

３次元顔モデルが構築され、該３次元顔モデルと２次元画像における顔対象との対応関係が決定された後に、画像特徴の抽出のステップＳ１０５において、該対応関係に基づいて、３次元顔モデルにおけるキーポイント近傍の関心領域を用いて２次元画像における対応するキーポイントの関心領域を決定し、決定された２次元画像の関心領域から画像特徴を、対応するキーポイントの画像特徴として抽出してもよい。

【0041】

一例として、３次元顔モデルにおける関心領域を用いて２次元画像における関心領域を決定するステップは、該対応関係に基づいて、３次元顔モデルにおける関心領域を２次元画像に投影し、投影結果を２次元画像における関心領域とするステップを含んでもよい。一例として、３次元顔モデルにおける関心領域は、３次元顔モデルにおけるキーポイントを中心とする球体内の３次元顔モデルの部分、即ち該球体内に含まれる、３次元顔モデルである３次元曲面上の各点のサブ集合を含んでもよい。一例として、該球体の半径は、実験などにより予め設定された合理的な半径であってもよい。

【0042】

それに応じて、投影により取得された２次元画像の関心領域は、３次元顔モデルの上記のサブ集合における各点の２次元画像における投影点の集合である。各キーポイントの位置及び顔の姿勢が異なるため、各キーポイントに対応する投影後の関心領域の形状も異なる。しかし、従来の２次元画像からキーポイント近傍の円形又は矩形の領域を直接決定する方法に比べて、本実施例の方法により決定された関心領域は２次元画像におけるキーポイントにより合致し、また、３次元顔モデルに背景領域がないため、２次元画像における背景領域の干渉を排除しやすい。

【0043】

一例として、上記の式（５）に従って、３次元顔モデルにおけるｌ番目のキーポイントの関心領域の２次元空間に投影することで得られた２次元画像における関心領域Ｐａｔｃｈ^ｌは次のように表されてもよい。

【0044】

Ｐａｔｃｈ^ｌ＝ｐ^ｋＳ（：，ｄ^ｌ） 式（７）
式（７）における各パラメータは式（５）における対応するパラメータと同様な意味を有し、ここで、Ｓ（：，ｄ^ｌ）は、３次元顔モデルにおけるｌ番目の３次元キーポイント近傍の関心領域におけるｄ^ｌ個の点のサブ集合（例えば、ｌ番目の３次元キーポイントを中心とする球体内に含まれる、３次元顔モデルである３次元曲面上の各点のサブ集合）を表し、ｄ^ｌは上記サブ集合における３次元の点に対応するインデックスを表す。

【0045】

例えば上記の方法により決定された２次元画像における関心領域について、従来技術における各画像特徴の抽出方法を用いて該関心領域から画像特徴を、キーポイントに対応する画像特徴として抽出してもよい。例えば、ＳＩＦＴ（スケール不変特徴変換）、ＬＢＦ（局所二値特徴）などの既知の特徴演算子を用いて上記画像特徴の抽出を行ってもよい。一例として、ＳＩＦＴ特徴演算子Φ（）を用いて２次元画像におけるキーポイントＵの関心領域から特徴Φ（Ｕ）を抽出する。上述したように、３次元顔モデルに背景領域がないため、３次元モデルの関心領域を用いて対応する２次元画像において決定された関心領域はより簡単であり、これらの領域から抽出された特徴はより正確である。

【0046】

本実施例の上記の例示的なプロセスでは、３次元顔モデルに存在し、且つ処理される２次元画像において見えない顔キーポイント（例えば、２次元画像における顔対象の姿勢などの原因により画像に見えない）が特に考慮されていない。一例として、顔の左部分がカメラに向かっている顔の２次元画像では顔の右部分におけるキーポイント（例えば右目の目尻など）が見えないと考えられる。このため、３次元顔モデルには全てのＬ個のキーポイントが含まれるが、２次元画像には、顔対象のＬ１個のキーポイント（Ｌ１＜Ｌ）のみが見える場合がある。従って、１つの変形例では、計算プロセスでは２次元画像において見えない（Ｌ－Ｌ１）個のキーポイントを特に考慮してもよい。

【0047】

この変形例では、１つの前提として、３次元顔モデルと２次元画像における顔対象との対応関係を決定する際に、顔対象の３次元姿勢（例えば上記の回転行列Ｒ）が決定されている。その後、３次元顔モデルにおけるキーポイント近傍の関心領域を用いて２次元画像における対応するキーポイントの関心領域を決定する際に、決定された３次元姿勢（例えば上記の回転行列Ｒ）に基づいて、３次元顔モデルにおけるキーポイントが２次元画像において見えるか否かを判断し、２次元画像において見えるキーポイント近傍の関心領域のみを投影してもよい。

【0048】

一例として、３次元顔モデルにおけるキーポイントが２次元画像において見えるか否かを判断する計算方法としては、各キーポイント周囲の３次元曲面法線ベクトルの方向とカメラ方向との夾角を計算し、夾角が９０度よりも小さい場合は見えると判断し、そうでない場合は見えないと判断してもよい。

【0049】

例えば、３次元顔モデルにおける所定のキーポイントについて、まず３次元顔モデルにおける該キーポイントの周囲のポイント集合の３次元曲面法線ベクトルを計算し、これらの３次元曲面法線ベクトルの平均値を該キーポイントの法線ベクトルとして計算する。３次元顔モデルの頭の姿勢（回転行列Ｒ）に基づいて該法線ベクトルを回転させた後に、該法線ベクトルがカメラ方向に向かっているか、それともカメラ方向から離されるかを決定し、即ち該キーポイントが２次元画像において見えるか否かを決定してもよい。例えば、ｌ番目のキーポイントの３次元曲面法線ベクトルＮ_ｌについて、次の式（８）
に従ってその方向性ｖ_ｌを計算してもよい。

【0050】

ｖ_ｌ＝Ｎ_ｌ・Ｒ_１２ 式（８）
ここで、Ｒ_１２は回転行列Ｒにおける１行目及び２行目を表す。式（８）により計算された方向性ｖ_ｌが正である場合、ｌ番目のキーポイントが２次元画像において見えると判断し、そうでない場合、それが見えないと判断する。

【0051】

この変形例では、各キーポイントが２次元画像において見えるか否かの情報が取得されると、３次元顔モデルにおける２次元画像において見えるキーポイント近傍の関心領域のみを投影し、投影により得られた２次元画像における関心領域から特徴を抽出してもよい。

【0052】

２次元画像において見えないキーポイントについて、顔の対称性によりその対称点の特徴を計算し、即ち、見える対称的なキーポイントについて上記の方法を用いて画像特徴を取得し、取得された特徴を該見えないキーポイントの画像特徴としてもよい。例えば、顔の左部分がカメラに向いている顔の２次元画像の例では、見える左目の目尻について抽出された特徴を、見えない右目の目尻の特徴としてもよい。或いは、不正確な特徴による後続の処理のアルゴリズムの性能の降下を回避するために、見えないキーポイントの特徴を０に直接設定してもよい。

【0053】

また、２次元画像において見えないキーポイントを考慮すると、例えば上記の式（７）の方法により各キーポイントが見えるか否かが決定された場合、このような可視性に基づいて、ステップＳ１０１及びステップＳ１０３における３次元顔モデルの構築及び該モデルと顔対象との対応関係の決定の精度を改善してもよい。より具体的には、可視性ベクトルＶを導入して上記の式（６）を改善してもよい。

【数10】

【0054】

ここで、・は各要素の積を表す。

【0055】

なお、この変形例では各キーポイントの可視性が考慮されているが、このような付加的な考慮は単なる好ましい例を示し、必要なものではない。言い換えれば、キーポイントの可視性を考慮せずに本実施例の基本的な処理を行う場合であっても、従来の２次元画像からキーポイントの特徴を直接抽出する方法に比べて、特徴抽出の正確性を向上させる改善効果を得ることができる。

【0056】

以上は図１を参照しながら本開示の実施例に係る画像処理方法の流れの一例を説明した。以下は、図２を参照しながら本開示の実施例に係る画像処理方法の流れの他の例を説明する。

【0057】

図２は本開示の実施例に係る画像処理方法の流れの他の例を示すフローチャートである。図２に示すように、本実施例の画像処理方法２００と図１の画像処理方法１００との相違点として、増分の構築のステップＳ２０７及び２次元形状の構築のステップＳ２０９をさらに含む。増分の構築のステップＳ２０７において、抽出された各キーポイントの画像特徴に基づいて、予め取得された回帰部（ｒｅｇｒｅｓｓｏｒ）を用いて顔対象の２次元形状の現在の増分を構築する。それに応じて、２次元形状の構造のステップＳ２０９において、取得された顔対象の２次元形状及び顔対象の２次元形状の現在の増分に基づいて、顔対象の現在の２次元形状を取得する。

【0058】

上記の相違点を除いて、本実施例の画像処理方法２００における他のステップは図１の画像処理方法１００の対応するステップと略同様である。従って、上記の図１を参照しながら説明された方法１００における２次元画像における顔対象の２次元形状（又はキーポイントの集合）Ｕ及び対応する３次元顔モデルＳを参照しながら、図２の方法２００を説明する。

【0059】

具体的には、ステップＳ１０１～Ｓ１０５に対応するステップＳ２０１～Ｓ２０５の後に、決定された２次元画像のキーポイントの関心領域から抽出された画像特徴Φ^１（Ｕ^０）を、２次元画像の画像特徴としてもよい。ここで、Ｕ^０は予め取得され、或いは以前に知られている（例えば予めラベル付され、或いは前処理により取得された）顔対象の２次元形状（即ち、キーポイントの集合）である。

【0060】

そして、ステップＳ２０７において、抽出された各キーポイントの画像特徴Φ^１（Ｕ^０）に基づいて、予め得られた回帰部Ｒ^１（）を用いて顔対象の２次元形状の現在の増分Ｒ^１（Φ^１（Ｕ^０））を構築してもよい。ここで、回帰部Ｒ^１（）は、予め得られた顔対象の２次元形状Ｕ^０と実際の２次元形状との差分、即ち前者の実行すべき変位調整を表してもよい。ステップＳ２０９において、このように得られた２次元形状の現在の増分Ｒ^１（Φ^１（Ｕ^０））を用いて予め得られた２次元形状Ｕ^０を調整し、顔対象の実際の２次元形状により近い現在の２次元形状Ｕ^１を取得してもよい。

【0061】

Ｕ^１＝Ｕ^０＋Ｒ^１（Φ^１（Ｕ^０）） 式（９）
一例として、上記の式（９）における回帰部Ｒ^１（）は、真実又は現実の２次元形状が予めラベル付けされた、顔対象を含む２次元訓練画像に基づいて訓練により取得されてもよい。また、各種の従来のタイプの回帰部、例えば線形回帰部、サポートベクトル回帰部などを採用してもよく、ここでその説明を省略する（これらの回帰部は単なる一例であり、制限するものではなく、該回帰部の取得方法の例は図７を参照しながら後述する）。

【0062】

以上の図１を参照しながら説明するように、本開示の実施例の画像処理方法はキーポイントの特徴抽出の正確性を改善することができる。それに応じて、図２に示す方法の例では、このように正確に抽出された画像特徴を用いて、既知のキーポイント自体の情報（即ち、既知の顔対象の２次元形状）を修正し、キーポイント自体の位置の精度を改善することができる。キーポイント自体の正確性又は精度を改善することで、例えば２次元の顔の位置合わせなどの後続の画像処理の正確度を改善することができる。

【0063】

以下は図３を参照しながら本開示の実施例に係る画像処理方法の流れの他の例を説明する。

【0064】

図３は本開示の実施例に係る画像処理方法の流れの他の例を示すフローチャートである。図３に示すように、本実施例の画像処理方法３００と図２の画像処理方法２００との相違点として、所定条件（即ち、反復の停止条件）を満たすか否かを判断するステップＳ３１１をさらに含み、該条件が満たさない場合、該条件が満たされるまで、ステップＳ２０１～Ｓ２０９にそれぞれ対応する３次元顔モデルの構築のステップＳ３０１、対応関係の決定のステップＳ３０３、画像特徴の抽出のステップＳ３０５、増分の構築のステップＳ３０７及び２次元形状の構築の構造Ｓ３０９を反復的に実行する。一例として、反復の停止条件は、所定の反復回数に達すること、又は所定のパラメータの隣接する反復間の差（例えば、２回の隣接する反復間の２次元形状の差）が十分に小さくなることなどであってもよい。

【0065】

上記の相違点を除いて、本実施例の画像処理方法３００における他のステップは図２の画像処理方法２００の対応するステップと略同様である。言い換えれば、この方法３００では、反復の停止条件が満たされるか否かを判断するステップＳ３１１を除いて、他のステップにおける処理はステップＳ２０１～Ｓ２０９と略同様であり、その相違点は、現在の反復（ｋ回目の反復）が前回の反復（ｋ－１番目の反復）の結果に基づいて行われることのみである。このため、上記の図２を参照しながら説明された方法２００における対応する処理に基づいて、図３の方法３００を説明し、主に該方法と方法２００との差異（又は方法２００の基礎となる図１を参照しながら説明された方法１００との差異）を説明する。

【0066】

具体的には、本実施例の方法３００では、最初（即ち、反復回数ｋ＝１の場合）に、関連パラメータの初期値を設定してもよい。例えば、最初に、顔対象を含む処理すべき２次元画像の２次元形状を平均顔画像の２次元形状（即ち、従来の前処理を用いて、従来技術における既知の平均顔画像におけるキーポイントの位置と処理すべき画像における顔対象とに対して初期位置合わせを行うことで得られた結果）に設定し、図１に示す方法１００と同様に、式（２）における形状パラメータが０の３次元顔モデル（平均顔モデル）を最初に使用される３次元モデルとして設定してもよい。その後、現在のｋ回目の反復において、前回であるｋ－１回目の反復の結果に基づいて関連処理を行う。

【0067】

例えば、ｋ回目の反復では、方法３００の３次元顔モデルの構築のステップＳ３０１及び対応関係の決定のステップＳ３０３において、前のｋ－１回目の反復により得られた顔対象の２次元形状Ｕ^ｋ－１に基づいて、図１のステップＳ１０１及びＳ１０３と同様な方法により（例えば式（１）～（６）を用いて）、現在の反復における３次元顔モデルＳ^ｋ（形状パラメータｃ^ｋ）、及び該顔モデルと２次元画像における顔対象との対応関係（投影パラメータｐ^ｋ）を取得してもよい。

【0068】

次に、画像特徴の抽出のステップＳ３０５において、今回の反復において決定された３次元顔モデルＳ^ｋ及び該３次元顔モデルと２次元画像における顔対象との対応関係（投影パラメータｐ^ｋ）に基づいて、図１のステップＳ１０５と同様な方法により（例えば式（７）を用いて）、３次元顔モデルＳ^ｋにおける各キーポイントの関心領域を２次元画像に投影し、投影結果を２次元画像における対応するキーポイントの関心領域（即ち、顔対象の２次元形状Ｕ^ｋ－１における対応するキーポイントの関心領域）とし、これらの関心領域から画像特徴Φ^ｋ（Ｕ^ｋ－１）を抽出してもよい。

【0069】

その後、増分の構築のステップＳ３０７において、今回の反復において抽出された画像特徴Φ^ｋ（Ｕ^ｋ－１）に基づいて、図２のステップＳ２０７と同様な方法により、予め取得されたｋ番目の回帰部Ｒ^ｋ（）を用いて、今回の反復における２次元形状の現在の増分Ｒ^ｋ（Φ^ｋ（Ｕ^ｋ－１））を構築する。該増分は、取得された顔対象の２次元形状Ｕ^ｋ－１とその実際の２次元形状との差又は変位を表してもよい。

【0070】

次に、２次元形状の構築のステップＳ３０９において、顔対象の実際の２次元形状により近い現在の２次元形状Ｕ^ｋを取得するように、今回の反復において取得された２次元形状の現在の増分Ｒ^ｋ（Φ^ｋ（Ｕ^ｋ－１））を用いて、例えば次の式（９’）に従って、前回の反復において取得された２次元形状Ｕ^ｋ－１を調整してもよい。

【0071】

Ｕ^ｋ＝Ｕ^ｋ－１＋Ｒ^ｋ（Φ^ｋ（Ｕ^ｋ－１）） 式（９’）
例えば、上記の式（９’）における回帰部Ｒ^ｋ（）は、２次元形状が予めラベル付けされた、顔対象を含む２次元訓練画像に基づいて訓練により取得されてもよい。また、各種の従来のタイプの回帰部、例えば線形回帰部、サポートベクトル回帰部などを採用してもよく、ここでその説明を省略する（これらの回帰部は単なる一例であり、制限するものではなく、該回帰部の取得方法の例は図７を参照しながら後述する）。

【0072】

その後、ステップＳ３１１において、所定の反復停止条件が満たされるか否かを判断する。ステップＳ３１１において該条件が満たされないと判断されると、処理はステップＳ３０１に戻り、ステップＳ３１１において反復停止条件が満たされるまで、ステップＳ３０１乃至ステップＳ３１１の処理をｋ＋１回目の反復として再度実行してもよい。反復停止条件が満たされる場合、処理を終了させ、顔対象の２次元形状、即ち２次元画像におけるキーポイントの最終位置を処理結果として出力する。

【0073】

以上の図２を参照しながら説明するように、本開示の実施例の画像処理方法は、正確に抽出された画像特徴を用いて、既知のキーポイント自体の情報（即ち、例えば初期の前処理により取得された顔対象の２次元形状）を修正する際に、キーポイント自体の位置の精度を改善することができる。図３の方法３００では、上記改善処理を反復的に実行することで、図２の方法２００に比べて、決定されたキーポイントの正確性又は精度をさらに改善することができる。

【0074】

以下は図４乃至図６を参照しながら図３の方法の処理及びその効果を説明する。図４乃至図６は図３に示す画像処理方法の流れを説明するための図である。

【0075】

一例として、図４乃至図６は図３の方法３００の一例における１回目～３回目の反復（即ち反復回数ｋ＝１、２、３）の状況をそれぞれ示している。各図では、上から下への４つのサブ図は、反復における２次元画像及びその顔対象の２次元形状又はキーポイントの集合Ｕ^ｋ（白色の点で示す）、該２次元形状に基づいて構築された３次元モデル及びその３次元キーポイントの集合Ｓ^ｋ（：ｄ）（黒色の点で示す）、３次元モデルにおいて決定された特定点であるｌ番目のキーポイント（図中の顔の右部分の輪郭の１番目のキーポイント）の関心領域Ｓ^ｋ（：ｄｌ）（黒色の領域で示す）、及び３次元モデルの関心領域に基づいて取得された２次元画像における該キーポイントの関心領域
（外８）

（黒色の点の周囲の白色領域で示す）を順次示している。

【0076】

図４乃至図６から分かるように、本開示の実施例の画像処理方法は、キーポイント自体の正確性又は精度を改善することができ、キーポイントと２次元画像における顔対象との位置合わせの正確度を改善することができる。また、構築された３次元顔モデルは、２次元画像における顔対象をより正確に反映することができる。

【0077】

以上は図１乃至図６を参照しながら本開示の実施例に係る画像処理方法の流れの例を説明した。図２及び図３に示す方法では、予め訓練された回帰部を用いて２次元形状の増分を構築する。以下は、図７を参照しながらこの回帰部の訓練方法の例を説明する。図７は図２又は図３の例に適用される回帰部の取得方法の流れを示すフローチャートである。

【0078】

なお、回帰部を取得するための訓練処理は回帰部を適用するテスト処理（例えば上記の図２又は図３に示す画像処理方法の流れ）に基本的に対応するため、以下は主に訓練処理とテスト処理との相違点を説明し、テスト処理の同一又は類似の部分を省略し、或いは簡単に説明する。

【0079】

より具体的には、回帰部を取得するための訓練方法７００は図３に示す画像処理方法３００の流れと同様である。図７に示すように、訓練方法７００と図３の画像処理方法３００との相違点として、増分の構築のステップＳ３０７の代わりに回帰部の訓練のステップＳ７０７を有する。また、訓練方法７００の各ステップにおける処理対象は何れも訓練サンプル画像である（処理すべきターゲット画像ではない）。

【0080】

回帰部を訓練するために、訓練データセットを提供する必要がある。訓練データセットは、例えばＮ個の訓練サンプル画像Ｉ_ｉ及びそのグラウンドトゥルース（ｇｒｏｕｎｄｔｒｕｔｈ）キーポイントの位置
（外９）

、即ち
（外１０）

を含んでもよい。また、各訓練サンプル画像Ｉｉにおける初期キーポイントの位置
（外１１）

を設定してもよい。一例として、訓練サンプル画像におけるキーポイントの初期位置は、例えば図４における上部のサブ図面に示すように、平均顔画像の２次元形状（即ち、平均顔画像における２次元形状に対して初期的な前処理及び訓練サンプル画像における顔対象との初期的な位置合わせのみを行う）を採用してもよい。また、最初に、式（２）に示すように３次元顔モデル
（外１２）

の初期の形状パラメータｃを０に設定してもよい。訓練により、カスケードされた回帰部
（外１３）

を取得でき、ここで、Ｋは例えば図７に示す訓練方法に関連する反復の総回数である。

【0081】

初期設定後の各反復では、前回の反復の処理結果に基づいて対応する処理を行ってもよい。例えば、現在のｋ番目の反復では、まず、ステップＳ７０１及びＳ７０３において、図３におけるステップＳ３０１及びＳ３０３と同様に、各サンプル画像Ｉ_ｉについて前のｋ－１番目の反復の結果に基づいて今回の反復における３次元顔モデルを構築し、それと顔対象との対応関係を決定してもよい。

【0082】

一例として、式（６）と同様の次の式（１０）に従って、前のｋ－１番目の反復において取得されたサンプル画像Ｉ_ｉの２次元形状
（外１４）

に基づいて、該サンプル画像に対応する３次元モデルの現在のｋ番目の反復における投影パラメータ
（外１５）

及び形状パラメータ
（外１６）

を計算してもよい。

【数11】

【0083】

或いは、式（６’）を参照して同様の方法を用いてキーポイントの可視性を考慮し、式（１０）を修正してもよく（この場合は、訓練サンプル画像では、キーポイントの可視性が予めラベル付けされている）、ここでその説明を省略する。また、キーポイントの可視性に関連する他の処理は上記のテスト処理と類似する方法を参照して修正してもよく、ここでその説明を省略する。

【0084】

上記の式（１０）により決定された形状パラメータ
（外１７）

に基づいて、式（２）と同様の次の式（１１）に従ってサンプル画像Ｉ_ｉの現在の反復における３次元顔モデル
（外１８）

を表してもよい。

【数12】

【0085】

なお、上記の式（１１）の右側では、簡潔化のために、サンプル画像Ｉ_ｉの形状パラメータ
（外１９）

における身分パラメータ
（外２０）

及び表情パラメータ
（外２１）

の下付きを特に示していないが、異なるサンプル画像Ｉ_ｉについて上記の形状パラメータは異なる。

【0086】

次に、ステップＳ７０５において、図３におけるステップＳ３０５と同様に、各サンプル画像Ｉ_ｉについて、ステップＳ３０５において決定された対応関係（投影パラメータ
（外２２）

）に基づいて、３次元顔モデル
（外２３）

におけるキーポイント近傍の関心領域を用いて２次元画像における対応するキーポイントの関心領域を決定し、決定された２次元画像の関心領域から画像特徴を対応するキーポイントの画像特徴として抽出してもよい。

【0087】

一例として、３次元顔モデルにおける関心領域を２次元画像に投影し、投影結果を２次元画像における関心領域としてもよい。１つの態様では、３次元顔モデルにおける関心領域は、３次元顔モデルにおけるキーポイントを中心とする球体内の３次元顔モデルの部分、即ち該球体内に含まれる、３次元顔モデルである３次元曲面上の各点のサブ集合を含んでもよい。それに応じて、投影により取得された２次元画像における感心領域は、該サブ集合における各点の２次元画像における投影点の集合である。

【0088】

例えば、上記の式（５）～（７）を参照すると、３次元顔モデル
（外２４）

におけるｌ番目のキーポイントの関心領域の２次元空間に投影して得られた２次元画像における関心領域
（外２５）

は次にように表されてもよい。

【数13】

【0089】

式（１２）における各パラメータは式（７）における対応するパラメータと同様の意味を有し、ここで、
（外２６）

は、ｋ回目の反復における３次元顔モデル
（外２７）

におけるｌ番目の３次元キーポイント近傍の関心領域における
（外２８）

個の点のサブ集合（例えば、ｌ番目の３次元キーポイントを中心とする所定半径の球体内に含まれる、３次元顔モデルである３次元曲面上の各点のサブ集合）を表し、
（外２９）

は上記サブ集合における３次元の点に対応するインデックスを表す。

【0090】

このように取得された各サンプル画像Ｉ_ｉの各関心領域
（外３０）

について、特徴抽出関数
（外３１）

を学習し、即ち各関心領域の画像特徴
（外３２）

を取得してもよい。

【0091】

その後、ステップＳ７０７において、抽出されたＮ個のサンプル画像の各キーポイントの特徴
（外３３）

（ｉ＝１，２，…Ｎ）に基づいて、次の式（１３）を用いて、ｋ階目の回帰部Ｒ^ｋを共同に訓練してもよい。

【数14】

【0092】

式（１３）の最適化により、Ｎ個のサンプル画像の各キーポイントの特徴
（外３４）

に基づいて構築された回帰部
（外３５）

は、各サンプル画像の２次元形状の今回の反復において用いられる変位又は増分の調整を最適に表すことができる。言い換えれば、式（１３）の作用は、回帰部
（外３６）

で表される変位増分が各サンプル画像の真の２次元形状
（外３７）

と前のｋ－１回目の反復において取得された２次元形状
（外３８）

との差
（外３９）

を最適に表すこと、即ち該回帰部
（外４０）

と上記差
（外４１）

との距離が最小になることである。上述したように、回帰部Ｒ^ｋ自体は各種の適切な従来の形式、例えば線形回帰部、サポートベクタマシン回帰部などを採用してもよく、その具体的な訓練方法も各種の従来技術を採用してもよく、ここでその説明を省略する。

【0093】

次に、ステップＳ７０９において、各サンプル画像Ｉ_ｉについて、取得された回帰部Ｒ^ｋを用いてその２次元形状の増分
（外４２）

をそれぞれ構築し、取得された現在の２次元形状
（外４３）

が真の２次元形状に近くなるように、該増分に基づいて前の反復において取得された２次元形状
（外４４）

を調整してもよい。

【数15】

【0094】

その後、ステップＳ７１１において、反復の停止条件が満たされるか否かを判断する。例えば、反復の停止条件は、所定の反復回数Ｋに達すること、２回の隣接する反復間の２次元形状の差が所定閾値よりも小さいこと、又は現在の２次元形状と真の２次元形状との差が所定閾値よりも小さいことなどを含んでもよい。ステップＳ７１１において該条件が満たされないと判断された場合、処理はステップＳ７０１に戻り、ステップＳ７１１において反復の停止条件が満たされると判断されるまで、ステップＳ７０１乃至ステップＳ７１１の処理を繰り返してもよい。反復の停止条件が満たされた場合、訓練処理を終了させ、カスケードされた回帰部
（外４５）

を取得する。それと同時に、各反復における特徴の演算子、即ち特徴抽出関数集合
（外４６）

を取得する。

【0095】

上記の訓練処理により取得されたカスケード回帰部
（外４７）

及び特徴抽出関数集合
（外４８）

を用いて、図３に示す画像処理方法の処理を行うことができる。

【0096】

また、本開示は画像処理装置を提供する。図８は本開示の実施例に係る画像処理装置の構成の一例を示すブロック図である。

【0097】

図８に示すように、画像処理装置８００は、３次元顔モデル構築部８０１、対応関係決定部８０２及び画像特徴抽出部８０３を含んでもよい。３次元顔モデル構築部８０１は、２次元画像における顔対象に基づいて、３次元顔モデルを構築する。対応関係決定部８０２は、構築された３次元顔モデルと２次元画像における顔対象との対応関係を決定する。画像特徴抽出部８０３は、該対応関係に基づいて、３次元顔モデルにおけるキーポイント近傍の関心領域を用いて２次元画像における対応するキーポイントの関心領域を決定し、決定された２次元画像の関心領域から画像特徴を、対応するキーポイントの画像特徴として抽出する。

【0098】

上記の画像処理装置及びその各部は、例えば図１に示す本開示の実施例の画像処理方法及びその各ステップの動作及び／又は処理を行い、同様の効果を実現することができ、ここでその説明を省略する。

【0099】

図９は本開示の実施例に係る画像処理装置の構成の他の例を示すブロック図である。

【0100】

図９に示すように、画像処理装置９００は、図８の画像処理装置８００との相違点として、３次元顔モデル構築部８０１、対応関係決定部８０２及び画像特徴抽出部８０３にそれぞれ対応する３次元顔モデル構築部９０１、対応関係決定部９０２及び画像特徴抽出部９０３に加えて、増分構築部９０４及び２次元形状構築部９０５をさらに含む。増分構築部９０４は、抽出された各キーポイントの画像特徴に基づいて、予め取得された回帰部を用いて顔対象の２次元形状の現在の増分を構築する。２次元形状構築部９０５は、取得された顔対象の２次元形状及び顔対象の２次元形状の現在の増分に基づいて、顔対象の現在の２次元形状を取得する。上記の相違点を除いて、本実施例の画像処理装置９００は、図８の画像処理装置８００と完全に同じであり、ここでその説明を省略する。

【0101】

上記の画像処理装置及びその各部は、例えば図２に示す本開示の実施例の画像処理方法及びその各ステップの動作及び／又は処理を行い、同様の効果を実現することができ、ここでその説明を省略する。

【0102】

図１０は本開示の実施例に係る画像処理装置の構成の他の例を示すブロック図である。

【0103】

図１０に示すように、画像処理装置１０００は、図９の画像処理装置９００との相違点として、３次元顔モデル構築部９０１、対応関係決定部９０２、画像特徴抽出部９０３、増分構築部９０４及び２次元形状構築部９０５にそれぞれ対応する３次元顔モデル構築部１００１、対応関係決定部１００２、画像特徴抽出部１００３、増分構築部１００４及び２次元形状構築部１００５に加えて、所定条件（即ち反復の停止条件）が満たされるか否かを判定する反復停止条件判定部１００６をさらに含む。画像処理装置１００が処理すべき画像を処理する際に、反復停止条件判定部１００６により反復の停止条件が満たされないと判定された場合、反復停止条件判定部１００６により反復の停止条件が満たされると判定されるまで、３次元顔モデル構築部１００１、対応関係決定部１００２、画像特徴抽出部１００３、増分構築部１００４及び２次元形状構築部１００５はそれぞれの処理を反復的に実行する。一例として、反復の停止条件は、所定の反復回数に達すること、又は所定のパラメータの隣接する反復間の差（例えば、２回の隣接する反復間の２次元形状の差）が十分に小さくなることなどであってもよい。上記の相違点を除いて、本実施例の画像処理装置１０００は、図９の画像処理装置９００と完全に同じであり、ここでその説明を省略する。

【0104】

上記の画像処理装置及びその各部は、例えば図３に示す本開示の実施例の画像処理方法及びその各ステップの動作及び／又は処理を行い、同様の効果を実現することができ、ここでその説明を省略する。

【0105】

また、本開示では、上記の画像処理方法を実行するように構成されるプロセッサを含む、情報処理装置をさらに提供する。

【0106】

より具体的には、１つの態様では、該プロセッサは、２次元画像における顔対象に基づいて、３次元顔モデルを構築し、構築された３次元顔モデルと２次元画像における顔対象との対応関係を決定し、該対応関係に基づいて、３次元顔モデルにおけるキーポイント近傍の関心領域を用いて２次元画像における対応するキーポイントの関心領域を決定し、決定された２次元画像の関心領域から画像特徴を、対応するキーポイントの画像特徴として抽出するように構成されてもよい。

【0107】

一例として、プロセッサは、２次元画像における顔対象の、複数のキーポイントを含む２次元形状に基づいて、該３次元顔モデルを構築するように構成されてもよい。

【0108】

１つの好ましい態様では、プロセッサは、さらに、抽出された各キーポイントの画像特徴に基づいて、予め取得された回帰部を用いて顔対象の２次元形状の現在の増分を構築し、取得された顔対象の２次元形状及び顔対象の２次元形状の現在の増分に基づいて、顔対象の現在の２次元形状を取得するように構成されてもよい。

【0109】

１つの好ましい態様では、プロセッサは、さらに、所定条件が満たされるまで、３次元顔モデルの構築、対応関係の決定、関心領域の決定、画像特徴の抽出、現在の増分の構築及び現在の２次元形状の取得のステップを反復的に実行するように構成されてもよい。

【0110】

一例として、キーポイントは、目尻、眉、鼻の先、口元及び／又は顎の中心を含んでもよい。

【0111】

一例として、該回帰部は、２次元形状が予めラベル付けされた、顔対象を含む２次元訓練画像に基づいて訓練により取得されてもよい。

【0112】

１つの好ましい態様では、プロセッサは、さらに、２次元画像における関心領域を決定する際に、該対応関係に基づいて、３次元顔モデルにおける関心領域を２次元画像に投影し、投影結果を２次元画像における関心領域とするように構成されてもよい。

【0113】

一例として、３次元顔モデルにおけるキーポイント近傍の関心領域は、３次元顔モデルにおけるキーポイントを中心とする球体内の３次元顔モデルの部分を含んでもよい。

【0114】

１つの好ましい態様では、プロセッサは、さらに、３次元顔モデルと２次元画像における顔対象との対応関係を決定する際に、顔対象の３次元姿勢を決定し、２次元画像における関心領域を決定する際に、決定された３次元姿勢に基づいて、３次元顔モデルにおけるキーポイントが２次元画像において見えるか否かを判断し、２次元画像において見えるキーポイント近傍の関心領域のみを投影するように構成されてもよい。

【0115】

図１１は本開示の実施例に係る情報処理装置及び画像処理方法を実現するための可能なハードウェア構成を示すブロック図である。

【0116】

図１１において、中央処理部（ＣＰＵ）１１０１は、読み出し専用メモリ（ＲＯＭ）１１０２に記憶されているプログラム、又は記憶部１１０８からランダムアクセスメモリ（ＲＡＭ）１１０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ１１０３には、必要に応じて、ＣＰＵ１１０１が各種の処理を実行するに必要なデータが記憶されている。ＣＰＵ１１０１、ＲＯＭ１１０２、及びＲＡＭ１１０３は、バス１１０４を介して互いに接続されている。入力／出力インターフェース１１０５もバス１１０４に接続されている。

【0117】

入力部１１０６（キーボード、マウスなどを含む）、出力部１１０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部１１０８（例えばハードディスクなどを含む）、通信部１１０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース１１０５に接続されている。通信部１１０９は、ネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライバ１１１０は、入力／出力インターフェース１１０５に接続されてもよい。取り外し可能な媒体１１１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライバ１１１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部１１０８にインストールされている。

【0118】

また、本開示は、機器が読み取り可能な命令コードが記憶されているプログラムプロダクトをさらに提供する。該命令コードは機器により読み取られ、実行される際に、上記の本開示の実施例に係る画像処理方法を実行することができる。それに応じて、本開示は、このようなプログラムプロダクトが記録されている磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの各種の記憶媒体をさらに含む。

【0119】

本開示は、機器が読み取り可能な命令コードが記憶されている記憶媒体をさらに提供する。該命令コードが機器により読み取られ、実行される際に、機器に画像処理方法を実行させることができる。

【0120】

該記憶媒体は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等を含んでもよいが、これらに限定されない。

【0121】

上記本開示の具体的な実施例の説明では、１つの実施形態における説明及び／又は特徴は同一又は類似の方式で他の１つ又は複数の実施形態において用いられてもよいし、他の実施形態における特徴と組み合わせてもよいし、他の実施形態における特徴を置き換えてもよい。

【0122】

また、本開示の各実施例の方法は、明細書に説明された時間的順序で実行するものに限定されず、他の時間的順序で順次、並行、又は独立して実行されてもよい。このため、本明細書に説明された方法の実行順序は、本発明の技術的な範囲を限定するものではない。

【0123】

なお、本開示の上記の方法の各動作プロセスは、各種の機器読み取り可能な記憶媒体に記憶されたコンピュータ実行可能なプログラムにより実現されてもよい。

【0124】

また、本開示の目的は次の方式により実現されてもよい。上記の実行可能なプログラムコードが記憶された記憶媒体をシステム又は装置に直接又は間接に提供し、該システム又は装置におけるコンピュータ又は中央処理装置（ＣＰＵ）により該プログラムコードを読み出し、実行する。

【0125】

この場合、該システム又は装置がプログラムを実行する機能を有する限り、本開示の実施形態はプログラムに限定されない。また、該プログラムは、任意の形式、例えばオブジェクトプログラム、インタープリタにより実行されるプログラム、又はオペレーティングシステムに提供されるスクリプトプログラムなどであってもよい。

【0126】

上記の機器読み取り可能な記憶媒体は、各種の記憶装置及び記憶部、半導体装置、光ディスク、磁気ディスク及び光磁気ディスクなどのディスク、並びに情報を記憶可能な媒体などを含むが、これらに限定されない。

【0127】

また、本開示の各実施例は、ユーザ情報処理端末がインターネット上の対応するウェブサイトに接続することで、本開示のコンピュータプログラムコードを情報処理端末にダウンロードしてインストールし、該プログラムを実行することを含んでもよい。

【0128】

また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
２次元画像における顔対象に基づいて、３次元顔モデルを構築し、
構築された３次元顔モデルと２次元画像における顔対象との対応関係を決定し、
前記対応関係に基づいて、３次元顔モデルにおけるキーポイント近傍の関心領域を用いて２次元画像における対応するキーポイントの関心領域を決定し、決定された２次元画像の関心領域から画像特徴を、対応するキーポイントの画像特徴として抽出するように構成されるプロセッサを含む、情報処理装置。
（付記２）
プロセッサは、２次元画像における顔対象の、複数のキーポイントを含む２次元形状に基づいて、前記３次元顔モデルを構築するように構成される、付記１に記載の情報処理装置。
（付記３）
プロセッサは、さらに、
抽出された各キーポイントの画像特徴に基づいて、予め取得された回帰部を用いて顔対象の２次元形状の現在の増分を構築し、
取得された顔対象の２次元形状及び顔対象の２次元形状の現在の増分に基づいて、顔対象の現在の２次元形状を取得するように構成される、付記２に記載の情報処理装置。
（付記４）
プロセッサは、さらに、
所定条件が満たされるまで、３次元顔モデルの構築、対応関係の決定、関心領域の決定、画像特徴の抽出、現在の増分の構築及び現在の２次元形状の取得のステップを反復的に実行するように構成される、付記３に記載の情報処理装置。
（付記５）
キーポイントは、目尻、眉、鼻の先、口元及び／又は顎の中心を含む、付記１乃至４の何れかに記載の情報処理装置。
（付記６）
前記回帰部は、２次元形状が予めラベル付けされた、顔対象を含む２次元訓練画像に基づいて訓練により取得される、付記３又は４に記載の情報処理装置。
（付記７）
プロセッサは、さらに、
２次元画像における関心領域を決定する際に、前記対応関係に基づいて、３次元顔モデルにおける関心領域を２次元画像に投影し、投影結果を２次元画像における関心領域とするように構成される、付記１乃至４の何れかに記載の情報処理装置。
（付記８）
３次元顔モデルにおけるキーポイント近傍の関心領域は、３次元顔モデルにおけるキーポイントを中心とする球体内の３次元顔モデルの部分を含む、付記７に記載の情報処理装置。
（付記９）
プロセッサは、さらに、
３次元顔モデルと２次元画像における顔対象との対応関係を決定する際に、顔対象の３次元姿勢を決定し、
２次元画像における関心領域を決定する際に、決定された３次元姿勢に基づいて、３次元顔モデルにおけるキーポイントが２次元画像において見えるか否かを判断し、２次元画像において見えるキーポイント近傍の関心領域のみを投影するように構成される、付記７に記載の情報処理装置。
（付記１０）
２次元画像における顔対象に基づいて、３次元顔モデルを構築するステップと、
構築された３次元顔モデルと２次元画像における顔対象との対応関係を決定するステップと、
前記対応関係に基づいて、３次元顔モデルにおけるキーポイント近傍の関心領域を用いて２次元画像における対応するキーポイントの関心領域を決定し、決定された２次元画像の関心領域から画像特徴を、対応するキーポイントの画像特徴として抽出するステップと、を含む、画像処理方法。
（付記１１）
前記３次元顔モデルは、２次元画像における顔対象の、複数のキーポイントを含む２次元形状に基づいて構築される、付記１０に記載の画像処理方法。
（付記１２）
抽出された各キーポイントの画像特徴に基づいて、予め取得された回帰部を用いて顔対象の２次元形状の現在の増分を構築ステップと、
取得された顔対象の２次元形状及び顔対象の２次元形状の現在の増分に基づいて、顔対象の現在の２次元形状を取得するステップと、をさらに含む、付記１１に記載の画像処理方法。
（付記１３）
所定条件が満たされるまで、３次元顔モデルの構築、対応関係の決定、関心領域の決定、画像特徴の抽出、現在の増分の構築及び現在の２次元形状の取得のステップを反復的に実行する、付記１２に記載の画像処理方法。
（付記１４）
キーポイントは、目尻、眉、鼻の先、口元及び／又は顎の中心を含む、付記１０乃至１３の何れかに記載の画像処理方法。
（付記１５）
２次元形状が予めラベル付けされた、顔対象を含む２次元訓練画像に基づいて、訓練により前記回帰部を取得する、付記１２又は１３に記載の画像処理方法。
（付記１６）
３次元顔モデルにおけるキーポイント近傍の関心領域を用いて２次元画像における対応するキーポイントの関心領域を決定するステップは、
前記対応関係に基づいて、３次元顔モデルにおける関心領域を２次元画像に投影し、投影結果を２次元画像における関心領域とするステップ、を含む、付記１０乃至１３の何れかに記載の画像処理方法。
（付記１７）
３次元顔モデルにおけるキーポイント近傍の関心領域は、３次元顔モデルにおけるキーポイントを中心とする球体内の３次元顔モデルの部分を含む、付記１６に記載の画像処理方法。
（付記１８）
３次元顔モデルと２次元画像における顔対象との対応関係を決定するステップは、顔対象の３次元姿勢を決定するステップ、を含み、
３次元顔モデルにおけるキーポイント近傍の関心領域を用いて２次元画像における対応するキーポイントの関心領域を決定するステップは、決定された３次元姿勢に基づいて、３次元顔モデルにおけるキーポイントが２次元画像において見えるか否かを判断するステップ、を含み、
２次元画像において見えるキーポイント近傍の関心領域のみを投影する、付記１６に記載の画像処理方法。
（付記１９）
プログラムを記憶した記録媒体であって、前記プログラムがコンピュータにより実行される際に、
２次元画像における顔対象に基づいて、３次元顔モデルを構築するステップと、
構築された３次元顔モデルと２次元画像における顔対象との対応関係を決定するステップと、
前記対応関係に基づいて、３次元顔モデルにおけるキーポイント近傍の関心領域を用いて２次元画像における対応するキーポイントの関心領域を決定し、決定された２次元画像の関心領域から画像特徴を、対応するキーポイントの画像特徴として抽出するステップと、を含む、画像処理方法をコンピュータに実行させる、記録媒体。

【0129】

なお、本開示では、「第１」及び「第２」等の関係用語は、単なる１つの実体又は操作と他の実体又は操作とを区別するためのものであり、これらの実体又は操作間にこのような実際の関係又は順序が存在することを意味することではない。また、用語「含む」、「有する」又は他の任意の変形は、排他的に含むことに限定されず、一連の要素を含むプロセス、方法、物又は装置は、これらの要素を含むことだけではなく、明示的に列挙されていない他の要素、又はこのプロセス、方法、物若しくは装置の固有の要素を含む。また、さらなる制限がない限り、用語「１つの…を含む」より限定された要素は、該要素を含むプロセス、方法、物又は装置に他の同一の要素が存在することを排除しない。

【0130】

以上は図面を参照しながら本発明の好ましい実施例を説明しているが、上記実施例及び例は例示的なものであり、制限的なものではない。当業者は、特許請求の範囲の主旨及び範囲内で本発明に対して各種の修正、改良、均等的なものに変更してもよい。これらの修正、改良又は均等的なものに変更することは本発明の保護範囲に含まれるものである。

【0131】

本願は、２０１８年１２月１８日に中国特許庁に出願した出願番号が２０１８１１５４９８２５．３号、発明名称が「画像処理方法及び情報処理装置」の中国特許出願に基づく優先権を主張するものであり、その全内容を本願に参照により援用する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】