特許 6469483 画像処理装置、画像処理方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6469483

(24)【登録日】2019年1月25日

(45)【発行日】2019年2月13日

(54)【発明の名称】画像処理装置、画像処理方法、及びコンピュータプログラム

(51)【国際特許分類】

   G06T 3/00 20060101AFI20190204BHJP

   G06T 1/00 20060101ALI20190204BHJP

【ＦＩ】

   G06T3/00 770

   G06T1/00 340A

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2015-46071(P2015-46071)

(22)【出願日】2015年3月9日

(65)【公開番号】特開2016-167136(P2016-167136A)

(43)【公開日】2016年9月15日

【審査請求日】2017年12月26日

(73)【特許権者】

【識別番号】593006630

【氏名又は名称】学校法人立命館

(74)【代理人】

【識別番号】100111567

【弁理士】

【氏名又は名称】坂本 寛

(74)【代理人】

【識別番号】110000280

【氏名又は名称】特許業務法人サンクレスト国際特許事務所

(72)【発明者】

【氏名】瀬尾 昌孝

(72)【発明者】

【氏名】陳 延偉

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２００６−１０９３８４（ＪＰ，Ａ）

【文献】 特開２０１３−１９１０３６（ＪＰ，Ａ）

【文献】 Masataka SEO，外2名，“Individual-Adapted Facial Shape Transformation based on Subspace Learning”，2011 6th International Conference on Computer Sciences and Convergence Information Technology (ICCIT)，IEEE，２０１１年，pp.878-882

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

複数の補正前のサンプル画像それぞれの特徴を表す第１特徴量と、これらの各サンプル画像に対応する複数の補正後のサンプル画像それぞれの特徴を表す第２特徴量とに基づいて、補正対象画像を補正するための補正関数を求める画像処理装置であって、
第１座標軸を前記第１特徴量とし、前記第１座標軸に直交する第２座標軸を前記第１特徴量から前記第２特徴量への変化量とした直交座標において、前記補正前のサンプル画像ごとに前記第１特徴量に対応する前記変化量を示す複数の座標点をプロットするプロット部と、
前記第１座標軸をその軸方向に所定の間隔ごとに区切る区切り部と、
前記第１座標軸の各区切り点を通過し且つ前記第２座標軸と平行な各仮想区切り線の近傍に位置する前記座標点に基づいて、前記各仮想区切り線上における前記第２座標軸の値を示す基準スコアを算出する基準スコア算出部と、
前記基準スコアを前記各仮想区切り線上にプロットし、当該プロットした複数の前記基準スコアを繋ぐ曲線の関数を前記補正関数として算出する補正関数算出部と、
を備えていることを特徴とする画像処理装置。

【請求項2】

前記基準スコア算出部は、前記仮想区切り線の近傍に２以上の前記座標点が位置する場合、前記２以上の座標点それぞれに対して、当該２以上の座標点の平均値からの距離に応じた重みを付け、その重みを考慮して前記基準スコアを算出する請求項１に記載の画像処理装置。

【請求項3】

前記区切り部は、前記間隔を調整可能である請求項１又は２に記載の画像処理装置。

【請求項4】

前記区切り部は、複数の前記間隔内にそれぞれ位置する前記座標点の個数が均等になるように、複数の前記間隔を調整する請求項３に記載の画像処理装置。

【請求項5】

前記基準スコア算出部は、一の仮想区切り線上における基準スコアを、当該一の仮想区切り線以外の他の仮想区切り線上における基準スコアを考慮して算出する請求項１〜４のいずれか一項に記載の画像処理装置。

【請求項6】

複数の補正前のサンプル画像それぞれの特徴を表す第１特徴量と、これらの各サンプル画像に対応する複数の補正後のサンプル画像それぞれの特徴を表す第２特徴量とに基づいて、補正対象画像を補正するための補正関数を求める画像処理方法であって、
第１座標軸を前記第１特徴量とし、前記第１座標軸に直交する第２座標軸を前記第１特徴量から前記第２特徴量への変化量とした直交座標において、前記補正前のサンプル画像ごとに前記第１特徴量に対応する前記変化量を示す複数の座標点をプロットするプロットステップと、
前記第１座標軸をその軸方向に所定の間隔ごとに区切る区切りステップと、
前記第１座標軸の各区切り点を通過し且つ前記第２座標軸と平行な各仮想区切り線の近傍に位置する前記座標点に基づいて、前記各仮想区切り線上における前記第２座標軸の値を示す基準スコアを算出する基準スコア算出ステップと、
前記基準スコアを前記各仮想区切り線上にプロットし、当該プロットした複数の前記基準スコアを繋ぐ曲線の関数を前記補正関数として算出する補正関数算出ステップと、
を含むことを特徴とする画像処理方法。

【請求項7】

複数の補正前のサンプル画像それぞれの特徴を表す第１特徴量と、これらの各サンプル画像に対応する複数の補正後のサンプル画像それぞれの特徴を表す第２特徴量とに基づいて、補正対象画像を補正するための補正関数を求める処理をコンピュータに実行させるためのコンピュータプログラムであって、
コンピュータを、第１座標軸を前記第１特徴量とし、前記第１座標軸に直交する第２座標軸を前記第１特徴量から前記第２特徴量への変化量とした直交座標において、前記補正前のサンプル画像ごとに前記第１特徴量に対応する前記変化量を示す複数の座標点をプロットするプロット部と、
前記第１座標軸をその軸方向に所定の間隔ごとに区切る区切り部と、
前記第１座標軸の各区切り点を通過し且つ前記第２座標軸と平行な各仮想区切り線の近傍に位置する前記座標点に基づいて、前記各仮想区切り線上における前記第２座標軸の値を示す基準スコアを算出する基準スコア算出部と、
前記基準スコアを前記各仮想区切り線上にプロットし、当該プロットした複数の前記基準スコアを繋ぐ曲線の関数を前記補正関数として算出する補正関数算出部として機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関する。

【背景技術】

【0002】

従来より、高画質で加工の容易なデジタル画像の普及に伴い、例えば顔画像の一部の形状を縮小または拡大することで小顔にしたり目を大きくしたりする美顔補正が広く行われている。近年、美顔補正などの顔画像の形状を補正するニーズの増加及び多用化に伴い、顔画像の形状を自動的に補正する手法が提案されている。

【0003】

このような補正手法として、顔画像の形状を補正するための補正関数を予め規定しておき、この規定された補正関数を補正対象の顔画像に適用することで、自動的に顔画像を補正する手法が知られている。しかし、この補正手法では、顔画像が異なる場合であっても予め規定された補正関数が適用されるので、個人の顔画像の特徴を十分に反映させた補正を実現することができない場合があり、場合によっては不自然な補正画像が作成される可能性がある。

【0004】

そこで、非特許文献１に示すように、個人の顔画像の特徴に応じた補正を行う手法が提案されている。この補正手法では、まず、補正前の顔画像である複数のサンプル画像と、これらの各サンプル画像を手動により補正した後の複数のサンプル画像とに基づいてコンピュータ等により予め機械学習を行う。この機械学習では、補正前のサンプル画像の特徴を表す特徴量と、補正後のサンプル画像の特徴を表す特徴量とを抽出する。そして、補正前のサンプル画像の特徴量から、対応する補正後のサンプル画像の特徴量に補正する補正関数（例えばＢ−ｓｐｌｉｎｅ関数）を求める。

【0005】

次に、上記機械学習による学習結果に基づいて、補正対象の顔画像である補正対象画像の特徴を表す特徴量を抽出する。そして、この補正対象画像の特徴量から、前記補正関数に基づいて補正対象画像の補正後の特徴を表す特徴量を推定し、その推定した特徴量に基づいて補正対象画像を補正するようになっている。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】瀬尾昌孝および陳延偉、「顔形状の部分空間を用いた個人の顔形状に応じた小顔補正法」、日本顔会誌、ｖｏｌ.１１、Ｎｏ．２、ｐｐ.４１−５０、２０１１年９月

【発明の概要】

【発明が解決しようとする課題】

【0007】

非特許文献１の補正手法では、機械学習で補正関数を求める際に用いられるデータ（例えば補正前後における特徴量の変化量）のばらつきが少ない場合には、適切な補正関数を求めることができる。しかし、上記データのばらつきが大きくなると、適切な補正関数を求めることが困難となり、補正対象画像の補正精度が低下するという問題がある。
本発明は、上記問題点に鑑みてなされたものであり、補正対象画像を補正する補正関数を適切に求めることができるようにする。

【課題を解決するための手段】

【0008】

前記目的を達成するための本発明の画像処理装置は、複数の補正前のサンプル画像それぞれの特徴を表す第１特徴量と、これらの各サンプル画像に対応する複数の補正後のサンプル画像それぞれの特徴を表す第２特徴量とに基づいて、補正対象画像を補正するための補正関数を求める画像処理装置であって、第１座標軸を前記第１特徴量とし、前記第１座標軸に直交する第２座標軸を前記第１特徴量から前記第２特徴量への変化量とした直交座標において、前記補正前のサンプル画像ごとに前記第１特徴量に対応する前記変化量を示す複数の座標点をプロットするプロット部と、前記第１座標軸をその軸方向に所定の間隔ごとに区切る区切り部と、前記第１座標軸の各区切り点を通過し且つ前記第２座標軸と平行な各仮想区切り線の近傍に位置する前記座標点に基づいて、前記各仮想区切り線上における前記第２座標軸の値を示す基準スコアを算出する基準スコア算出部と、前記基準スコアを前記各仮想区切り線上にプロットし、当該プロットした複数の前記基準スコアを繋ぐ曲線の関数を前記補正関数として算出する補正関数算出部と、
を備えていることを特徴とする。

【0009】

本発明の画像処理装置によれば、直交座標の第１座標軸を所定の間隔ごとに区切った複数の仮想区切り線上に、各仮想区切り線の近傍に位置する座標点に基づいて算出された基準スコアを第２座標軸の値としてそれぞれプロットすることで、当該プロットされた複数の基準スコアを繋ぐ曲線の関数を補正関数として算出することができる。したがって、直交座標にプロットされた座標点にばらつきがあっても、補正対象画像を補正するための補正関数を適切に求めることができる。その結果、補正対象画像の補正精度を向上させることができる。

【0010】

前記画像処理装置において、前記基準スコア算出部は、前記仮想区切り線の近傍に２以上の前記座標点が位置する場合、前記２以上の座標点それぞれに対して、当該２以上の座標点の平均値からの距離に応じた重みを付け、その重みを考慮して前記基準スコアを算出するのが好ましい。
この場合、仮想区切り線の近傍に２以上の座標点が位置する場合には、これら２以上の座標点の平均値から各座標点までの距離に応じた重みを考慮して基準スコアを算出するので、その仮想区切り線上にプロットされる基準スコアの算出精度を向上させることができる。これにより、補正関数をさらに適切に求めることができる。

【0011】

前記画像処理装置において、前記区切り部は、前記間隔を調整可能であるのが好ましい。
この場合、仮想区切り線により第１座標軸を区切る間隔を適切に調整することで、各仮想区切り線上にプロットされる基準スコアの算出精度をさらに向上させることができる。

【0012】

前記画像処理装置において、前記区切り部は、複数の前記間隔内にそれぞれ位置する前記座標点の個数が均等になるように、複数の前記間隔を調整するのが好ましい。
この場合、各仮想区切り線上にプロットされる基準スコアの算出精度にばらつきが生じるのを抑えることができる。

【0013】

前記画像処理装置において、前記基準スコア算出部は、一の仮想区切り線上における基準スコアを、当該一の仮想区切り線以外の他の仮想区切り線上における基準スコアを考慮して算出するのが好ましい。
この場合、各仮想区切り線上にプロットされる基準スコアの算出精度をさらに向上させることができる。

【0014】

本発明の画像処理方法は、複数の補正前のサンプル画像それぞれの特徴を表す第１特徴量と、これらの各サンプル画像に対応する複数の補正後のサンプル画像それぞれの特徴を表す第２特徴量とに基づいて、補正対象画像を補正するための補正関数を求める画像処理方法であって、第１座標軸を前記第１特徴量とし、前記第１座標軸に直交する第２座標軸を前記第１特徴量から前記第２特徴量への変化量とした直交座標において、前記補正前のサンプル画像ごとに前記第１特徴量に対応する前記変化量を示す複数の座標点をプロットするプロットステップと、前記第１座標軸をその軸方向に所定の間隔ごとに区切る区切りステップと、前記第１座標軸の各区切り点を通過し且つ前記第２座標軸と平行な各仮想区切り線の近傍に位置する前記座標点に基づいて、前記各仮想区切り線上における前記第２座標軸の値を示す基準スコアを算出する基準スコア算出ステップと、前記基準スコアを前記各仮想区切り線上にプロットし、当該プロットした複数の前記基準スコアを繋ぐ曲線の関数を前記補正関数として算出する補正関数算出ステップと、を含むことを特徴とする。
本発明の画像処理方法は、上述の画像処理装置と同様の作用効果を奏する。

【0015】

本発明のコンピュータプログラムは、複数の補正前のサンプル画像それぞれの特徴を表す第１特徴量と、これらの各サンプル画像に対応する複数の補正後のサンプル画像それぞれの特徴を表す第２特徴量とに基づいて、補正対象画像を補正するための補正関数を求める処理をコンピュータに実行させるためのコンピュータプログラムであって、コンピュータを、第１座標軸を前記第１特徴量とし、前記第１座標軸に直交する第２座標軸を前記第１特徴量から前記第２特徴量への変化量とした直交座標において、前記補正前のサンプル画像ごとに前記第１特徴量に対応する前記変化量を示す複数の座標点をプロットするプロット部と、前記第１座標軸をその軸方向に所定の間隔ごとに区切る区切り部と、前記第１座標軸の各区切り点を通過し且つ前記第２座標軸と平行な各仮想区切り線の近傍に位置する前記座標点に基づいて、前記各仮想区切り線上における前記第２座標軸の値を示す基準スコアを算出する基準スコア算出部と、前記基準スコアを前記各仮想区切り線上にプロットし、当該プロットした複数の前記基準スコアを繋ぐ曲線の関数を前記補正関数として算出する補正関数算出部として機能させることを特徴とする。
本発明のコンピュータプログラムは、上述の画像処理装置と同様の作用効果を奏する。

【発明の効果】

【0016】

本発明によれば、補正対象画像を補正するための補正関数を適切に求めることができる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る画像処理装置の機能ブロック図である。

【図2】補正関数学習部の機能ブロック図を示している。

【図3】補正関数を示す説明図である。

【図4】画像処理装置が実行する補正処理の内容を示すフローチャートである。

【図5】学習用画像の特徴点を示す説明図である。

【図6】部分空間法を用いた顔輪郭の形状変化の一例を示す説明図である。

【図7】補正関数学習部が実行する学習処理の内容を示すフローチャートである。

【図8】学習用画像と特徴基底の係数との関係を示す説明図である。

【図9】プロット部の処理内容を示す説明図である。

【図10】区切り部の処理内容を示す説明図である。

【図11】基準スコア算出部の処理内容を示す説明図である。

【図12】補正関数算出部の処理内容を示す説明図である。

【図13】推定部及び補正部の処理内容を示す説明図である。

【図14】本実施形態の補正手法と従来の補正手法とを比較したものであり、（ａ）は元画像、（ｂ）は従来の補正画像、（ｃ）は本実施形態の補正画像である。

【発明を実施するための形態】

【0018】

以下、本発明の好ましい実施形態を図面に基づいて説明する。
本実施形態に係る画像処理装置は、以下に説明する画像補正処理を実行するコンピュータプログラムをコンピュータにインストールして構成されたものであり、画像処理装置における各種の機能は、このコンピュータプログラムによって実現されている。
なお、前記コンピュータは、演算処理装置、記憶部、入出力デバイスなどを有している。

【0019】

図１は、本発明の一実施形態に係る画像処理装置１の機能ブロック図を示している。この画像処理装置１は、例えば、顔画像の一部又は全部の形状を縮小または拡大することで小顔にしたり目を大きくしたりする美顔補正を行うものである。画像処理装置１は、記憶部２、特徴基底取得部３、補正関数学習部４、推定部５、及び補正部６としての機能を備えている。

【0020】

記憶部２は、補正対象画像である元画像７の補正に用いる補正関数等を予め学習するための複数の学習用画像を含む画像情報１０を記憶している。
画像情報１０には、複数（ここでは５０個）の補正前のサンプル画像１１（以下、補正前サンプル画像ともいう）と、これらの補正前サンプル画像１１に対応する複数（ここでは５０個）の補正後のサンプル画像１２（以下、補正後サンプル画像ともいう）が学習用画像として含まれている。

【0021】

各補正前サンプル画像１１は、それぞれ異なる女性を正面から撮影した顔画像である。各補正後サンプル画像１２は、対応する補正前サンプル画像１１に対して、例えばディスプレイ上で手動により美顔補正をした後の状態を示す顔画像である。
元画像７は、複数の補正前サンプル画像１１のいずれとも異なる女性を正面から撮影した顔画像である。
なお、本実施形態では、元画像７及び各サンプル画像１１，１２として女性の顔画像を用いているが、男性の顔画像を用いても良い。

【0022】

特徴基底取得部３は、画像情報１０に含まれる各学習用画像の顔形状の特徴を表す複数の特徴基底を、部分空間法を用いて取得するものである。本実施形態の特徴基底取得部３は、元画像７を学習用画像として画像情報１０に含めた状態で特徴基底を取得する。例えば、特徴基底取得部３は、主成分分析を用いて、各サンプル画像１１，１２及び元画像７の形状情報（特徴点座標）から、これらの画像１１，１２，７の平均形状を算出し、その平均形状に基づいて特徴基底を算出する。
なお、本実施形態では部分空間法として、主成分分析を用いているが、独立成分分析など他の分析法を用いても良い。

【0023】

補正関数学習部４は、特徴基底取得部３で学習した特徴基底に基づいて、補正前サンプル画像１１から、対応する補正後サンプル画像１２に補正する補正関数を学習するものである。本実施形態の補正関数学習部４は、補正前サンプル画像１１の特徴を各特徴基底とその係数（第１特徴量）とで表した第１特徴情報、及び補正後サンプル画像１２の特徴を各特徴基底とその係数（第２特徴量）とで表した第２特徴情報を抽出し、第１特徴情報から第２特徴情報に補正する補正関数を算出する。

【0024】

図２は、補正関数学習部４の機能ブロック図を示している。図３は、補正関数学習部４が学習する補正関数を示す説明図である。
図２及び図３において、補正関数学習部４は、抽出部４０、プロット部４１、区切り部４２、基準スコア算出部４３、及び補正関数算出部４４を有している。

【0025】

抽出部４０は、特徴基底取得部３が取得した複数の特徴基底に基づいて、各補正前サンプル画像１１の上記第１特徴情報の第１特徴量と、各補正後サンプル画像１２の上記第２特徴情報の第２特徴量とを抽出するものである。

【0026】

プロット部４１は、横軸（第１座標軸）を第１特徴量とし、横軸に直交する縦軸（第２座標軸）を第１特徴量から第２特徴量への変化量とした直交座標において、補正前サンプル画像１２ごとに第１特徴量に対応する前記変化量を示す複数の座標点Ｐ（図３中の白抜き四角点）をプロットするものである。

【0027】

区切り部４２は、上記直交座標の横軸をその軸方向に所定の間隔ｄごとに区切るものである。本実施形態の区切り部４２は、前記間隔ｄを全て一定間隔に設定している。なお、説明の便宜上、横軸の各区切り点には、縦軸と平行な仮想区切り線Ｌをそれぞれ配置している。

【0028】

基準スコア算出部４３は、各仮想区切り線Ｌの近傍に位置する前記座標点Ｐに基づいて、当該各仮想区切り線Ｌ上における縦軸の値を示す基準スコアを算出するものである。
補正関数算出部４４は、各仮想区切り線Ｌ上において、図３中の黒丸点で示すように前記基準スコアをプロットし、当該プロットした複数の基準スコアを繋ぐ曲線の関数を上記補正関数として算出するものである。

【0029】

図２において、推定部５は、補正関数学習部４で学習した補正関数に基づいて、元画像７の補正後の特徴を、各特徴基底を用いて推定するものである。本実施形態の推定部５は、まず元画像７の特徴を各特徴基底とその係数とで表した第３特徴情報を抽出し、この第３特徴情報から、補正関数に基づいて元画像７の補正後の特徴を各特徴基底とその係数とで表した第４特徴情報を推定する。
補正部６は、推定部５で推定された第４特徴情報に基づいて元画像７を補正し、その補正画像８を出力するものである。

【0030】

図４は、画像処理装置１が実行する補正処理の内容を示すフローチャートである。以下、図４を参照しつつ、画像処理装置１が実行する補正処理の手順について説明する。
まず、特徴基底取得部３は、元画像７が入力されると、記憶部２から画像情報１０を読み出し、その画像情報１０に学習用画像として元画像７を含める（ステップＳ１）。これにより、画像情報１０には、５０個の補正前サンプル画像１１と、５０個の補正後サンプル画像１２と、１個の元画像７とからなる合計１０１個の学習用画像が含まれる。

【0031】

次に、特徴基底取得部３は、主成分分析（ＰＣＡ）により各学習用画像の特徴を表す特徴基底を取得する（ステップＳ２、特徴基底学習ステップ）。具体的には、特徴基底取得部３は、図５に示すように、まず画像情報１０に含まれる１０１個の学習用画像それぞれについて、ｘｙ座標空間における顔の輪郭、眉毛、目、鼻及び口などに複数（ここではｎ個）の特徴点（図中の黒丸点）を付与し、これらの特徴点の座標（特徴点座標）を取得する。そして、特徴基底取得部３は、各学習用画像から取得したｎ個の特徴点座標を形状ベクトルＵ_ｂ＝（ｘ_１，ｙ_１，ｘ_２，ｙ_２，・・・，ｘ_ｎ，ｙ_ｎ）^Ｔとして表す。ここで、下付の変数ｂは学習用画像の画像番号（１≦ｂ≦１０１）であり、上付のＴは転置行列を表す。

【0032】

次に、特徴基底取得部３は、全ての学習用画像の形状ベクトルＵ_ｂの平均を表す平均形状ベクトルＵ_ａｖｅを下記式（１）により算出する。

【数1】

ここで、変数Ｎは学習用画像の全画像個数である。

【0033】

次に、特徴基底取得部３は、形状ベクトルＵおよび平均形状ベクトルＵ_ａｖｅから共分散行列Ｓを下記式（２）により算出し、その算出した共分散行列Ｓから固有値λ_ｂと固有ベクトルｖ_ｂとを下記式（３）により算出する。

【数2】

【数3】

【0034】

そして、特徴基底取得部３は、算出された固有ベクトルｖ_ｂのうち、例えば固有値の大きいｍ個（ｍ≦２ｎ）の固有ベクトルＶ＝（ｖ_１，ｖ_２，・・・，ｖ_ｍ）を取得し、この固有ベクトルＶを構成する複数の成分を特徴基底として取得する。
さらに、特徴基底取得部３は、固有ベクトルＶを用いて、形状ベクトルＵ_ｂの形状特徴ベクトルＷ_ｂ＝（ｗ_１，ｗ_２，・・・，ｗ_ｍ）を下記式（４）により算出する。
Ｗ_ｂ＝Ｖ^Ｔ（Ｕ_ｂ−Ｕ_ａｖｅ） ・・・（４）

【0035】

そして、特徴基底取得部３は、上記各特徴基底ｖ_１，ｖ_２，・・・，ｖ_ｍを基底とし、上記形状特徴ベクトルＷ_ｂの成分ｗ_１，ｗ_２，・・・，ｗ_ｍを各基底の係数として、その線形和である下記式（５）を作成する。
Ｕ_ｂ＝Ｕ_ａｖｅ＋ｗ_１ｖ_１＋ｗ_２ｖ_２＋・・・＋ｗ_ｍｖ_ｍ ・・・（５）
上記式（５）により、各学習用画像の顔形状の特徴を表現することができる。

【0036】

図６は、部分空間法における上記式（５）を用いた顔輪郭の形状変化の一例を示している。
図例では、平均の顔輪郭形状Ｕ_ａｖｅに対して、第１特徴基底ｖ_１の係数ｗ_１の値を変化させた場合と、第２特徴基底ｖ_２の係数ｗ_２を変化させた場合とを示している。図中のｕは係数ｗ_１の値、ｒは係数ｗ_２の値である。図６に示すように、係数ｗ_１又は係数ｗ_２を変化させると、顔輪郭が平均の顔輪郭形状Ｕ_ａｖｅからそれぞれ異なる形状に変化しているのが分かる。

【0037】

次に、図４のステップＳ３において、補正関数学習部４により、特徴基底取得部３で取得した特徴基底の係数に基づいて、補正前サンプル画像１１から対応する補正後サンプル画像１２に補正する補正関数を学習する（特徴基底学習ステップ）。

【0038】

図７は、補正関数学習部４が実行する学習処理の内容を示すフローチャートである。図７に示すように、補正関数学習部４の抽出部４０は、上記式（５）から各補正前サンプル画像１１の特徴基底ｖ_ｉの係数ｗ_ｉ^ｊ（以下、補正前サンプル係数ともいう）と、各補正後サンプル画像１２の特徴基底ｖ_ｉの係数ｗ_ｉ^ｊ’（以下、補正後サンプル係数ともいう）とを抽出する（ステップＳ４０）。ここで、下付の変数ｉは、特徴基底の基底番号（１≦ｉ≦ｍ）であり、上付の変数ｊは、補正前サンプル画像１１とこれに対応する補正後サンプル画像１２とを一組とした画像組番号（１≦ｊ≦５０）である。補正前サンプル画像１１，１２とサンプル係数ｗ_ｉ^ｊ，ｗ_ｉ^ｊ’との関係を図８に示す。

【0039】

次に、補正関数学習部４のプロット部４１は、図９に示すように、横軸を補正前サンプル係数ｗ_ｉ（第１特徴量）とし、縦軸を補正前サンプル係数ｗ_ｉから補正後サンプル係数ｗ_ｉ’（第２特徴量）への変化量（ｗ_ｉ’−ｗ_ｉ）とした直交座標を作成する。そして、プロット部４１は、この直交座標上に、上記各画像組の補正前サンプル係数ｗ_ｉに対応する前記変化量（ｗ_ｉ’−ｗ_ｉ）を示す複数（ここでは５０個）の座標点Ｐ（図９中の白抜き四角点）をプロットする（図７のステップＳ４１、プロットステップ）。

【0040】

次に、補正関数学習部４の区切り部４２は、図１０に示すように、直交座標の横軸をその軸方向に一定の間隔ｄごとに区切る（図７のステップＳ４２、区切りステップ）。図１０では、横軸の各区切り点に仮想区切り線Ｌを配置している。

【0041】

なお、本実施形態の区切り部４２は、上記間隔ｄを一定にしているが、各間隔ｄをそれぞれ調整可能としても良い。この場合、区切り部４２は、複数の間隔ｄ内にそれぞれ位置する座標点Ｐの個数が均等になるように各間隔ｄを調整することができる。
例えば、図１０では、縦軸付近に多くの座標点Ｐが存在するので、縦軸付近では間隔ｄを短くして仮想区切り線Ｌを多く配置すればよい。また、縦軸から横軸方向に離れるに従って座標点Ｐの個数は減少するので、縦軸から離れるに従って間隔ｄを長くして仮想区切り線Ｌを少なく配置すればよい。このように間隔ｄを適宜調整することで、各間隔ｄ内にそれぞれ位置する座標点Ｐの個数を均等にすることができる。

【0042】

次に、補正関数学習部４の基準スコア算出部４３は、各仮想区切り線Ｌの近傍に位置する座標点Ｐに基づいて、各仮想区切り線Ｌ上における縦軸の値を示す基準スコアを算出する（図７のステップＳ４３、基準スコア算出ステップ）。ここでは、一例として、図１１に示すように、一の仮想区切り線Ｌ_１の近傍（図中の二点鎖線で囲む部分）に２以上（ここでは６個）の座標点Ｐが位置する場合における当該仮想区切り線Ｌ１上に配置される基準スコアの算出方法について説明する。

【0043】

基準スコア算出部４３は、まず、一の座標点Ｐ_ｎに着目し、当該座標点Ｐ_ｎの近くに存在する４本の仮想区切り線Ｌ_１〜Ｌ_４それぞれに配置される仮基準スコアφ_０^ｎ〜φ_３^ｎを下記式（６）を用いて算出する。

【数4】

【0044】

上記式（６）において、下付の変数ｋ及び変数ａは仮想区切り線Ｌの番号（０≦ｋ≦３，０≦ａ≦３）である。また、上付の変数ｎは、各仮想区切り線Ｌ_ｋの近傍に位置する複数の座標点Ｐの番号（ここでは１≦ｎ≦６）である。
なお、仮基準スコアを算出するために用いる仮想区切り線の本数は４本に限定されるものではなく、少なくとも２本の仮想区切り線を用いればよい。

【0045】

上記式（６）中のＢ_ｋ（ｓ_ｎ）は、前記各仮基準スコアφ_０^ｎ〜φ_３^ｎに付与される第１の重みを示している。この第１の重みＢ_ｋ（ｓ_ｎ）は、座標点Ｐ_ｎから各仮想区切り線Ｌ_ｋまでの横軸方向の距離に応じて算出される。すなわち、上記式（６）を用いることで、仮想区切り線Ｌ_１上における仮基準スコアφ_１^ｎは、他の仮想区切り線Ｌ_０，Ｌ_２，Ｌ_３上における仮基準スコアφ_０^ｎ，φ_２^ｎ，φ_３^ｎを考慮して算出される。なお、上記式（６）中のＢ_ａ（ｓ_ｎ）は、上記Ｂ_ｋ（ｓ_ｎ）と同様に、第１の重みを示している。

【0046】

前記第１の重みＢ_ｋ（ｓ_ｎ）は、座標点Ｐ_ｎから各仮想区切り線Ｌ_ｋまでの横軸方向の距離が短いほど大きい値が付与される。本実施形態の第１の重みＢ_ｋ（ｓ_ｎ）は、前記間隔ｄ＝１とし、座標点Ｐ_ｎから仮想区切り線Ｌ_１までの横軸方向の距離をｓ_ｎ（０≦ｓ_ｎ＜１）とした場合、Ｂ−ｓｐｌｉｎｅ基底関数である下記式（７）〜（１０）を用いて算出することができる。

【数5】

【数6】

【数7】

【数8】

【0047】

基準スコア算出部４３は、上記手法により一の座標点Ｐ_ｎに対する仮基準スコアφ_０^ｎ〜φ_３^ｎを算出した後は、残りの５個の座標点Ｐそれぞれに対する仮基準スコアφ_０〜φ_３を、上記手法と同様に算出する。
そして、基準スコア算出部４３は、６個の各座標点Ｐ_１〜Ｐ_６のそれぞれに着目して算出された、仮想区切り線Ｌ_１（Ｌ_ｋ）上における複数の仮基準スコアφ_１^１〜φ_１^６（φ_ｋ^ｎ）から、最終的な基準スコアφ_１（φ_ｋ）を下記式（１１）を用いて算出する。

【数9】

【0048】

上記式（１１）中の（ｃ^２／Σｃ^２）は、基準スコアφ_ｋを算出する際に考慮される第２の重みを示している。この第２の重み（ｃ^２／Σｃ^２）は、一の仮想区切り線Ｌ_ｋに近似する複数の座標点Ｐ_ｎの平均値（図中の白抜き三角点）から各座標点Ｐ_ｎまでの縦軸方向の距離ｈ_ｎに応じて、当該各座標点Ｐ_ｎに対してそれぞれ付与される。本実施形態の第２の重みは、前記距離ｈ_ｎが短いほど大きい値が付与される。したがって、前記距離ｈ_ｎが極端に長い場合、つまり外れ値となる座標点Ｐは、第２の重みの値が小さくなるので、当該座標点Ｐが基準スコアφ_ｋの算出に影響を及ぼすのを抑制することができる。

【0049】

なお、第２の重み（ｃ^２／Σｃ^２）の式中のｃは、補正前サンプル係数ｗ_ｉ^ｎ及び補正後サンプル係数ｗ_ｉ^ｎ’を用いた下記式（１２）及び式（１３）により算出することができる。

【数10】

【数11】

ここで、ΔＷ_ａｖｅは、ΔＷの平均値である。

【0050】

基準スコア算出部４３は、仮想区切り線Ｌ_１上における基準スコアφ_１を算出した後は、その他の複数の仮想区切り線Ｌ上に配置される基準スコアφを、それぞれ上記手法と同様に算出する。

【0051】

次に、補正関数学習部４の補正関数算出部４４は、図１２に示すように、基準スコア算出部４３で算出された複数の基準スコアφを、直交座標上の対応する仮想区切り線Ｌ上にプロットする（図７のステップＳ４４）。
そして、補正関数算出部４４は、図３に示すように、直交座標上にプロットされた全ての基準スコアφを繋ぐ自由曲線の関数を補正関数として算出する。この補正関数は、例えばＢ−ｓｐｌｉｎｅ関数を用いて算出することができる。補正関数学習部４は、特徴基底ｖ_ｉごとに上記手順を繰り返すことで、特徴基底ｖ_ｉごとの補正関数Ｆ_ｉ（ｗ_ｉ）を作成する（図７のステップＳ４５、補正関数算出ステップ）。
なお、補正関数は、Ｂ−ｓｐｌｉｎｅ関数以外の他の変換関数を用いても良い。

【0052】

図４に戻り、次に、推定部５は、元画像７の補正後における各特徴基底ｖ_ｉの係数ｗ_ｉ’を推定する（ステップＳ５、推定ステップ）。そして、補正部６により、推定された各特徴基底ｖ_ｉの係数ｗ_ｉ’に基づいて元画像７を補正する（ステップＳ６、補正ステップ）。

【0053】

図１３は、図４のステップＳ５及びステップＳ６の処理内容を示す説明図である。図１３に示すように、推定部５は、まず元画像７の各特徴基底ｖ_ｉの係数ｗ_ｉを抽出する。この係数ｗ_ｉは、上記式（５）から抽出することができる。
次に、推定部５は、抽出した上記係数ｗ_ｉと補正関数Ｆ_ｉ（ｗ_ｉ）を用いた下記式（６）により、元画像７の補正後における各特徴基底ｖ_ｉの係数ｗ_ｉ’を算出する。
ｗ_ｉ’＝ｗ_ｉ＋Ｆ_ｉ（ｗ_ｉ） ・・・（６）

【0054】

次に、補正部６は、推定部５で算出された上記係数ｗ_ｉ’に基づいて、元画像７の補正後における形状ベクトルＵ_ｉを上記式（５）により算出する。そして、補正部６は、算出した形状ベクトルＵ_ｉに基づいて、元画像７の顔形状をワーピング等により変形させて補正画像８を作成する。補正部６は、作成された補正画像８を出力して補正処理を終了する。

【0055】

図１４は、本実施形態の補正手法と従来の補正手法とを比較したものである。図１４（ａ）は本実施形態及び従来の各補正手法に用いた元画像である。図１４（ｂ）は従来の補正手法により顔輪郭等を補正した後の補正画像である。図１４（ｃ）は本実施形態の補正手法により顔輪郭等を補正した後の補正画像である。
図１４（ｂ）の従来の補正画像では、顔輪郭の一部（特に左頬の部分）が不自然な形状をしているのが分かる。これに対して、図１４（ｃ）の本実施形態の補正画像では、顔輪郭の全体が自然な形状となっており、従来の補正画像よりも補正精度が向上しているのが分かる。

【0056】

以上、本実施形態の画像処理装置１によれば、補正対象画像（元画像）７を学習用画像として画像情報１０に含めた状態で、各学習用画像の特徴を表すための複数の特徴基底ｖ_ｉを抽出しているため、これらの特徴基底ｖ_ｉを用いることで補正対象画像７の特徴を表す第３特徴情報を正確に表すことができる。これにより、補正対象画像７の補正後の特徴を表す第４特徴情報も正確に表すことができるので、補正対象画像７の補正精度を向上させることができる。特に、本実施形態のように顔画像を美顔補正する場合に有用である。

【0057】

また、補正関数学習部４において補正関数を学習するときに、直交座標の横軸を所定の間隔ｄごとに区切った複数の仮想区切り線Ｌ上に、各仮想区切り線Ｌの近傍に位置する座標点Ｐに基づいて算出された基準スコアφを直交座標の縦軸の値としてそれぞれプロットすることで、当該プロットされた複数の基準スコアφを繋ぐ自由曲線の関数を補正関数として算出することができる。したがって、直交座標にプロットされた座標点Ｐにばらつきがあっても、補正対象画像７を補正するための補正関数を適切に求めることができる。その結果、補正対象画像７の補正精度をさらに向上させることができる。

【0058】

また、補正関数学習部４の基準スコア算出部４３は、仮想区切り線Ｌの近傍に２以上の座標点Ｐが位置する場合には、その２以上の座標点Ｐそれぞれに対して、当該２以上の座標点Ｐの平均値からの距離ｈに応じた重みを付け、その重みを考慮して基準スコアφを算出する。したがって、仮想区切り線Ｌの近傍に２以上の座標点Ｐが位置する場合には、その仮想区切り線Ｌ上にプロットされる基準スコアφの算出精度を向上させることができるので、補正関数をさらに適切に求めることができる。

【0059】

また、補正関数学習部４の区切り部４２は、直交座標の横軸を区切る間隔ｄを調整可能とした場合には、上記間隔ｄを適切に調整することで、各仮想区切り線上にプロットされる基準スコアの算出精度をさらに向上させることができる。
また、区切り部４２は、複数の間隔ｄ内にそれぞれ位置する座標点Ｐの個数が均等になるように各間隔ｄを調整することで、各仮想区切り線Ｌ上にプロットされる基準スコアφの算出精度にばらつきが生じるのを抑えることができる。

【0060】

また、基準スコア算出部４３は、一の仮想区切り線Ｌ上における基準スコアφを、当該一の仮想区切り線Ｌ以外の他の仮想区切り線Ｌ上における基準スコアφを考慮して算出するので、各仮想区切り線Ｌ上にプロットされる基準スコアφの算出精度をさらに向上させることができる。

【0061】

上述の実施形態はすべて例示であって制限的なものではない。本発明の権利範囲は特許請求の範囲によって規定され、そこに記載された構成と均等の範囲内のすべての変更は本発明の技術的範囲に含まれる。例えば、上記実施形態の画像処理装置１は、顔画像の美顔補正に適用しているが、顔画像以外の画像を補正する場合にも適用することができる。

【符号の説明】

【0062】

１ 画像処理装置
７ 元画像（補正対象画像）
１１ 補正前のサンプル画像
１２ 補正後のサンプル画像
４１ プロット部
４２ 区切り部
４３ 基準スコア算出部
４４ 補正関数算出部
ｄ 間隔
Ｌ 仮想区切り線
Ｐ 座標点
φ 基準スコア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】