特許 6387831 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6387831

(24)【登録日】2018年8月24日

(45)【発行日】2018年9月12日

(54)【発明の名称】特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20180903BHJP

【ＦＩ】

   G06T7/00 300F

   G06T7/00 510B

【請求項の数】5

【全頁数】13

(21)【出願番号】特願2014-557390(P2014-557390)

(86)(22)【出願日】2014年1月14日

(86)【国際出願番号】JP2014000102

(87)【国際公開番号】WO2014112346

(87)【国際公開日】20140724

【審査請求日】2016年12月14日

(31)【優先権主張番号】特願2013-4228(P2013-4228)

(32)【優先日】2013年1月15日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100124154

【弁理士】

【氏名又は名称】下坂 直樹

(72)【発明者】

【氏名】森下 雄介

【審査官】 松田 直也

(56)【参考文献】

【文献】 国際公開第２００６／０５１６０７（ＷＯ，Ａ１）

【文献】 特開２０１０−２３１３５４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

対象画像に応じてあらかじめ検出した特徴点ごとに座標値として表された特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、
正準変量を求める行列と、正準相関の２乗を対角成分に持つ行列と、前記特徴点位置初期情報の前記座標値の平均値のベクトルと、特徴点推定位置の平均値のベクトルとから構成される特徴点位置推定辞書情報を格納する特徴点位置推定辞書記憶手段と、
前記特徴点位置初期情報の前記座標値と前記特徴点位置推定辞書情報とから正準相関分析を用いて前記対象画像における所望の点数の前記特徴点推定位置を推定する特徴点推定位置推定手段と、
前記特徴点推定位置と、前記対象画像の形状に関するモデル、前記対象画像のテクスチャに関するモデル、および前記対象画像の形状に関するモデルと前記対象画像のテクスチャに関するモデルを統合した統合モデルと、前記特徴点推定位置から正規化された画像を抽出する関数を用いて、前記対象画像の特徴点位置探索の探索パラメータを求めるモデルパラメータ計算手段と、
前記探索パラメータと前記統合モデルを用いて形状に関するパラメータとテクスチャに関するパラメータを求め、
前記形状に関するパラメータと前記形状に関するモデルから正規化された前記特徴点推定位置を求め、
前記テクスチャに関するパラメータと前記テクスチャに関するモデルを用いて、前記探索パラメータから推定された画像を求め、
前記正規化された前記特徴点推定位置から前記正規化された画像を抽出する関数を用いて抽出した画像と、前記推定された画像の差分を求めることと前記探索パラメータを更新することを繰り返して前記対象画像の特徴点位置を探索し検出する特徴点位置探索手段と、を備えた、特徴点位置検出装置。

【請求項2】

前記対象画像は生体であり、前記特徴点位置は目、鼻、口、手、指、爪、骨、臓器、または、目、鼻、口、手、指、爪、骨、臓器の輪郭の情報を含む、請求項１に記載の特徴点位置検出装置。

【請求項3】

正準変量を求める行列と、正準相関の２乗を対角成分に持つ行列と、特徴点位置初期情報の座標値の平均値のベクトルと、特徴点推定位置の平均値のベクトルとから構成される特徴点位置推定辞書情報を格納する特徴点位置推定辞書記憶手段を有する情報処理装置が、
対象画像に応じてあらかじめ検出した特徴点ごとに座標値として表された特徴点位置初期情報を入力し、
前記特徴点位置初期情報の前記座標値と前記特徴点位置推定辞書情報とから正準相関分析を用いて前記対象画像における所望の点数の前記特徴点推定位置を推定すし、
前記特徴点推定位置と、前記対象画像の形状に関するモデル、前記対象画像のテクスチャに関するモデル、および前記対象画像の形状に関するモデルと前記対象画像のテクスチャに関するモデルを統合した統合モデルと、前記特徴点推定位置から正規化された画像を抽出する関数を用いて、前記対象画像の特徴点位置探索の探索パラメータを求め、
前記探索パラメータと前記統合モデルを用いて形状に関するパラメータとテクスチャに関するパラメータを求め、
前記形状に関するパラメータと前記形状に関するモデルから正規化された前記特徴点推定位置を求め、
前記テクスチャに関するパラメータと前記テクスチャに関するモデルを用いて、前記探索パラメータから推定された画像を求め、
前記正規化された前記特徴点推定位置から前記正規化された画像を抽出する関数を用いて抽出した画像と、前記推定された画像の差分を求めることと前記探索パラメータを更新することを繰り返して前記対象画像の特徴点位置を探索し検出することを含む特徴点位置検出方法。

【請求項4】

正準変量を求める行列と、正準相関の２乗を対角成分に持つ行列と、特徴点位置初期情報の座標値の平均値のベクトルと、特徴点推定位置の平均値のベクトルとから構成される特徴点位置推定辞書情報を格納する特徴点位置推定辞書記憶手段を有する情報処理装置を、
対象画像に応じてあらかじめ検出した特徴点ごとに座標値として表された特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、
前記特徴点位置初期情報の前記座標値と前記特徴点位置推定辞書情報とから正準相関分析を用いて前記対象画像における所望の点数の前記特徴点推定位置を推定する特徴点推定位置推定手段と、
前記特徴点推定位置と、前記対象画像の形状に関するモデル、前記対象画像のテクスチャに関するモデル、および前記対象画像の形状に関するモデルと前記対象画像のテクスチャに関するモデルを統合した統合モデルと、前記特徴点推定位置から正規化された画像を抽出する関数を用いて、前記対象画像の特徴点位置探索の探索パラメータを求めるモデルパラメータ計算手段と、
前記探索パラメータと前記統合モデルを用いて形状に関するパラメータとテクスチャに関するパラメータを求め、
前記形状に関するパラメータと前記形状に関するモデルから正規化された前記特徴点推定位置を求め、
前記テクスチャに関するパラメータと前記テクスチャに関するモデルを用いて、前記探索パラメータから推定された画像を求め、
前記正規化された前記特徴点推定位置から前記正規化された画像を抽出する関数を用いて抽出した画像と、前記推定された画像の差分を求めることと前記探索パラメータを更新することを繰り返して前記対象画像の特徴点位置を探索し検出する手段として動作させるプログラム。

【請求項5】

特徴点位置初期情報入力手段から所定の画像の特徴点の位置を入力し、請求項１または２記載の特徴点位置検出装置を用いて前記画像の種類を特定する画像特定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔などの画像から目や鼻などの特徴点の位置を検出するための特徴点位置検出技術に関する。

【背景技術】

【0002】

特徴点位置検出とは、顔などの画像中から目、鼻、口などの器官の特徴点位置を検出することであり、高精度な顔認証や表情認識などのために重要な技術となっている。

【0003】

顔の特徴点位置を検出する技術として、例えばＡｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ（ＡＡＭ）が知られている（非特許文献１）。ＡＡＭでは、複数の顔画像とそれらの画像に予め入力された特徴点位置の情報から、統計的手法により顔のテクスチャと形状に関するモデルを構築し、このモデルを検出対象の顔が含まれる画像にフィッティングする。そして、検出対象の顔画像とモデルから計算される顔画像が近くなるようにモデルのパラメータを繰り返し更新することで、特徴点位置を検出する。ＡＡＭは提案されて以来様々な拡張がなされており、横顔の検出に対応させるために複数のモデルを組み合わせる方法や、高速化、高精度化のための改良が提案されている。

【0004】

ＡＡＭではモデルのフィッティングを行う際の初期値（初期パラメータ）の影響を強く受けることが知られている。その問題に対処するため、例えば非特許文献２では、円柱型の頭部モデルを用いてＡＡＭのパラメータを推定することで特徴点検出の性能を改善している。また、特許文献１では、顔の向きの変化に対応するために、顔画像を回転させることにより、顔の向きの変化にロバストな識別手法を提供している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００９−１５７７６７号公報

【非特許文献】

【0006】

【非特許文献1】Ｔ．Ｆ．Ｃｏｏｔｅｓ，Ｇ．Ｊ．Ｅｄｗａｒｄｓ ａｎｄ Ｃ．Ｊ．Ｔａｙｌｏｒ．“Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ”，ＩＥＥＥ ＰＡＭＩ，Ｖｏｌ．２３，Ｎｏ．６，ｐｐ．６８１−６８５，２００１．

【非特許文献2】Ｊａｅｗｏｎ Ｓｕｎｇ，ｅｔ ａｌ．，“Ｐｏｓｅ Ｒｏｂｕｓｔ Ｆａｃｅ Ｔｒａｃｋｉｎｇ ｂｙ Ｃｏｍｂｉｎｉｎｇ Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ ａｎｄ Ｃｙｌｉｎｄｅｒ Ｈｅａｄ Ｍｏｄｅｌｓ，”ＩＪＣＶ，２００８．

【非特許文献3】Ｄ．Ｃｒｉｓｔｉｎａｃｃｅ ａｎｄ Ｔ．Ｆ．Ｃｏｏｔｅｓ，“Ａ Ｃｏｍｐａｒｉｓｏｎ ｏｆ Ｓｈａｐｅ Ｃｏｎｓｔｒａｉｎｅｄ Ｆａｃｉａｌ Ｆｅａｔｕｒｅ Ｄｅｔｅｃｔｏｒｓ，”Ｉｎ ６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ ２００４，Ｋｏｒｅａ，ｐｐ．３５７−３８０，２００４．

【発明の開示】

【発明が解決しようとする課題】

【0007】

しかしながら、顔の表情変動や個人変動、姿勢変動により、様々に変化する顔画像に対して正確にＡＡＭをフィッティングするには、非特許文献２の頭部モデルを用いることや、特許文献１の顔画像を回転させるだけでは、情報量が少ないといった問題があった。その結果、表情変動や個人変動、姿勢変動による顔画像の変化があった場合、モデルのフィッティングが局所解に陥るなどの支障が生じ、高精度な顔特徴点位置の検出が困難であった。

【0008】

本発明は、上記の課題を解決するためになされたものであり、その目的は、対象とする顔などの画像の、表情変動や個人変動、姿勢変動などによる様々な変化に対しても、モデルのフィッティングが局所解に陥ることを防ぐことのできる、高精度な特徴点検出を可能とすることである。

【課題を解決するための手段】

【0009】

本発明による特徴点位置推定装置は、対象画像に応じてあらかじめ検出した特徴点ごとに座標値として表された特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、正準変量を求める行列と、正準相関の２乗を対角成分に持つ行列と、前記特徴点位置初期情報の前記座標値の平均値のベクトルと、特徴点推定位置の平均値のベクトルとから構成される特徴点位置推定辞書情報を格納する特徴点位置推定辞書記憶手段と、前記特徴点位置初期情報の前記座標値と前記特徴点位置推定辞書情報とから正準相関分析を用いて前記対象画像における所望の点数の前記特徴点推定位置を推定する特徴点推定位置推定手段と、前記特徴点推定位置と、前記対象画像の形状に関するモデル、前記対象画像のテクスチャに関するモデル、および前記対象画像の形状に関するモデルと前記対象画像のテクスチャに関するモデルを統合した統合モデルと、前記特徴点推定位置から正規化された画像を抽出する関数を用いて、前記対象画像の特徴点位置探索の探索パラメータを求めるモデルパラメータ計算手段と、前記探索パラメータと前記統合モデルを用いて形状に関するパラメータとテクスチャに関するパラメータを求め、前記形状に関するパラメータと前記形状に関するモデルから正規化された前記特徴点推定位置を求め、前記テクスチャに関するパラメータと前記テクスチャに関するモデルを用いて、前記探索パラメータから推定された画像を求め、前記正規化された前記特徴点推定位置から前記正規化された画像を抽出する関数を用いて抽出した画像と、前記推定された画像の差分を求めることと前記探索パラメータを更新することを繰り返して前記対象画像の特徴点位置を探索し検出する特徴点位置探索手段とを備えた。

【0010】

本発明による特徴点位置推定方法は、正準変量を求める行列と、正準相関の２乗を対角成分に持つ行列と、特徴点位置初期情報の座標値の平均値のベクトルと、特徴点推定位置の平均値のベクトルとから構成される特徴点位置推定辞書情報を格納する特徴点位置推定辞書記憶手段を有する情報処理装置が、対象画像に応じてあらかじめ検出した特徴点ごとに座標値として表された特徴点位置初期情報を入力し、前記特徴点位置初期情報の前記座標値と前記特徴点位置推定辞書情報とから正準相関分析を用いて前記対象画像における所望の点数の前記特徴点推定位置を推定すし、前記特徴点推定位置と、前記対象画像の形状に関するモデル、前記対象画像のテクスチャに関するモデル、および前記対象画像の形状に関するモデルと前記対象画像のテクスチャに関するモデルを統合した統合モデルと、前記特徴点推定位置から正規化された画像を抽出する関数を用いて、前記対象画像の特徴点位置探索の探索パラメータを求め、前記探索パラメータと前記統合モデルを用いて形状に関するパラメータとテクスチャに関するパラメータを求め、前記形状に関するパラメータと前記形状に関するモデルから正規化された前記特徴点推定位置を求め、前記テクスチャに関するパラメータと前記テクスチャに関するモデルを用いて、前記探索パラメータから推定された画像を求め、前記正規化された前記特徴点推定位置から前記正規化された画像を抽出する関数を用いて抽出した画像と、前記推定された画像の差分を求めることと前記探索パラメータを更新することを繰り返して前記対象画像の特徴点位置を探索し検出する。

【0011】

本発明による特徴点位置推定プログラムは、正準変量を求める行列と、正準相関の２乗を対角成分に持つ行列と、特徴点位置初期情報の座標値の平均値のベクトルと、特徴点推定位置の平均値のベクトルとから構成される特徴点位置推定辞書情報を格納する特徴点位置推定辞書記憶手段を有する情報処理装置を、対象画像に応じてあらかじめ検出した特徴点ごとに座標値として表された特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、前記特徴点位置初期情報の前記座標値と前記特徴点位置推定辞書情報とから正準相関分析を用いて前記対象画像における所望の点数の前記特徴点推定位置を推定する特徴点推定位置推定手段と、前記特徴点推定位置と、前記対象画像の形状に関するモデル、前記対象画像のテクスチャに関するモデル、および前記対象画像の形状に関するモデルと前記対象画像のテクスチャに関するモデルを統合した統合モデルと、前記特徴点推定位置から正規化された画像を抽出する関数を用いて、前記対象画像の特徴点位置探索の探索パラメータを求めるモデルパラメータ計算手段と、前記探索パラメータと前記統合モデルを用いて形状に関するパラメータとテクスチャに関するパラメータを求め、前記形状に関するパラメータと前記形状に関するモデルから正規化された前記特徴点推定位置を求め、前記テクスチャに関するパラメータと前記テクスチャに関するモデルを用いて、前記探索パラメータから推定された画像を求め、前記正規化された前記特徴点推定位置から前記正規化された画像を抽出する関数を用いて抽出した画像と、前記推定された画像の差分を求めることと前記探索パラメータを更新することを繰り返して前記対象画像の特徴点位置を探索し検出する手段として動作させる。

【発明の効果】

【0012】

本発明によれば、対象とする顔などの画像の、表情変動や個人変動、姿勢変動などによる様々な変化に対しても、モデルのフィッティングが局所解に陥ることを防いだ、高精度な特徴点検出が可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施形態の特徴点位置検出装置の構成を示すブロック図である。

【図2】本発明の実施形態の特徴点位置検出装置の動作を示すフローチャートである。

【図3】本発明の実施形態の特徴点位置検出装置が処理の対象とする顔画像の例を示す図である。

【図4】本発明の実施形態の特徴点位置検出装置の特徴点位置初期情報入力手段が入力する特徴点位置初期情報の例を示す図である。

【図5】本発明の実施形態の特徴点位置検出装置の特徴点推定位置推定手段が推定する特徴点推定位置の例を示す図である。

【発明を実施するための最良の形態】

【0014】

以下、図を参照しながら、本発明の最良の実施形態を詳細に説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。

【0015】

本発明の実施形態の特徴点位置検出装置について、図面を参照して説明する。図１は、本発明の実施形態の顔などの画像の特徴点の位置を検出する特徴点位置検出装置１の構成を示すブロック図である。

【0016】

図１に示すように、本実施形態の特徴点位置検出装置１は、データ処理装置１００と記憶装置２００とを有する。データ処理装置１００は、顔などの画像の特徴点位置初期情報を入力する特徴点位置初期情報入力手段１１０と、特徴点推定位置を推定する特徴点推定位置推定手段１２０と、モデルパラメータ計算手段１３０と、特徴点位置を探索する顔特徴点位置探索手段１４０とを有する。記憶装置２００は、顔などの画像の特徴点位置推定辞書を記憶する特徴点位置推定辞書記憶手段２１０を有する。

【0017】

特徴点位置初期情報入力手段１１０は、外部から特徴点位置の初期情報を顔などの画像３００に応じて入力する。特徴点位置の初期情報とは、例えば、外部の任意の、画像の特徴点の検出装置で得られる目、鼻、口などの特徴点位置の情報である。特徴点推定位置推定手段１２０は、特徴点位置初期情報入力手段１１０で入力された特徴点位置の初期情報から、特徴点位置推定辞書記憶手段２１０に記憶されている特徴点位置の推定辞書を用いて、対象とする画像３００における所望の点数の特徴点推定位置を推定する。

【0018】

モデルパラメータ計算手段１３０は、特徴点推定位置推定手段１２０で推定した特徴点推定位置を基に、特徴点位置の探索における探索パラメータを求める。探索パラメータについては、後述のより具体的な実施形態の説明で詳しく述べる。特徴点位置探索手段１４０は、モデルパラメータ計算手段１３０で求めた探索パラメータを初期値とすることに基づいて、画像３００の目や鼻や口などのモデルのパラメータフィッティングを行うことによって特徴点位置の探索を行い、特徴点位置３１０を検出する。

【0019】

次に、特徴点位置検出装置１の動作について、図面を参照して説明する。図２は、図１に示す特徴点位置検出装置１の動作を示すフローチャートである。

【0020】

まず、特徴点位置初期情報入力手段１１０が、外部から特徴点位置の初期情報を顔画像などの画像３００に応じて入力する（ステップＳ１１１）。次に、特徴点推定位置推定手段１２０が、Ｓ１１１で入力された特徴点位置の初期情報から、特徴点位置推定辞書記憶手段２１０に記憶されている特徴点位置の推定辞書を用いて、対象とする画像３００における所望の点数の特徴点推定位置を推定する（ステップＳ１１２）。

【0021】

次に、モデルパラメータ計算手段１３０が、Ｓ１１２で推定した特徴点推定位置を基に、特徴点位置の探索における探索パラメータを求める（ステップＳ１１３）。次に、特徴点位置探索手段１４０が、Ｓ１１３で求めた探索パラメータを初期値とすることに基づいて、モデルのパラメータフィッティングを行うことによって特徴点位置の探索を行い、特徴点位置３１０を検出する（ステップＳ１１４）。

【0022】

本実施形態によれば、特徴点位置初期情報入力手段１１０で入力された特徴点位置の初期情報から、特徴点位置探索手段１４０における適切なモデルパラメータの初期値、つまり、より正解に近いモデルパラメータを特徴点位置探索手段１４０の初期値とすることに基づいて、特徴点位置探索を行うことができる。これにより、特徴点位置探索時に局所解に陥ることが防がれ、高精度な特徴点位置の検出が可能となる。

【0023】

次に、本実施形態の構成と動作とについて、さらに具体的に説明する。

【0024】

図１に示す実施形態の特徴点位置検出装置１において、記憶装置２００は、例えば、半導体メモリまたはハードディスクによって実現される。特徴点位置初期情報入力手段１１０、特徴点推定位置推定手段１２０、モデルパラメータ計算手段１３０、および、特徴点位置探索手段１４０は、例えば、プログラム制御に従って処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実現される。また、特徴点位置推定辞書記憶手段２１０は、例えば、半導体メモリまたはハードディスクによって実現される。

【0025】

特徴点位置初期情報入力手段１１０は、外部からの特徴点位置の初期情報を、画像３００に応じて、特徴点推定位置推定手段１２０に入力する。画像３００に応じてとは、顔画像などの画像の人物を予め特定しておくことなどにより可能である。特徴点位置の初期情報とは、例えば、外部の任意の特徴点の検出装置などから予め得ることができる、目、鼻、口などの特徴点の位置（座標）である。

【0026】

特徴点位置の座標は、特徴点位置検出装置１が処理対象とする画像上の特徴点の位置を、特徴点位置ごとにそれぞれｘ座標値、ｙ座標値の二つの数字の組として表す。外部の特徴点位置の初期情報の入力には、例えば、外部の任意の特徴点の検出装置を繋ぐことや、非特許文献３の特徴点の検出技術を用いること、あるいは、人間の手による特徴点位置の入力などが可能である。

【0027】

図３は、特徴点位置検出装置１が処理の対象とする画像３００の例である顔画像３０１を示す図である。また、図４は、特徴点位置初期情報入力手段１１０で入力する顔特徴点位置初期情報３０２を、顔画像３０１に重ね合わせて示した図である。図４では、特徴点位置初期情報入力手段１１０で入力する顔特徴点位置初期情報３０２が×印で示されている。ここでは、左右の眉の両端部と、左右の目の中央部および両端部と、鼻の下部と、口の両端部および中央部との１４点に×印が付されている。

【0028】

特徴点推定位置推定手段１２０は、特徴点位置初期情報入力手段１１０から入力された顔特徴点位置初期情報３０２、ここでは顔特徴点位置の座標値の情報から、特徴点位置推定辞書記憶手段２１０に記憶されている特徴点位置の推定辞書を用いて、対象とする顔画像３０１に応じた所望の点数の顔特徴点推定位置を推定する。図５では、顔特徴点推定位置３０３を×印で、顔画像３０１に重ね合わせて示している。所望の点数の顔特徴点推定位置３０３の推定は、例えば、正準相関分析により行うことができる。また、所望の点数は、個別に指定することができる。

【0029】

ここでは、特徴点推定位置推定手段１２０が、特徴点位置初期情報入力手段１１０から入力された１４個の顔特徴点位置初期情報３０２の座標値から、正準相関分析により、７５個の顔特徴点推定位置３０３の座標値を推定する場合を示す。正準相関分析は多変量群間の相関関係を分析する手法である。ここで、１４個の顔特徴点位置初期情報３０２の二次元座標値を縦に並べた２８次元のベクトルをｘとおくと、７５個の顔特徴点推定位置３０３の二次元座標値を縦に並べた１５０次元ベクトルｙは、
（数１）

【0030】

により計算される。ただし、数１のＴはベクトル及び行列の転置を表す。また、Ｕ、Ｖ、Λは正準相関分析により求まる行列であり、それぞれ、Ｕはベクトルｘの正準変量を求める行列で大きさは２８×ｒ、Ｖはベクトルｙの正準変量を求める行列で大きさは１５０×ｒ、Λは正準相関の２乗を対角成分に持つ行列で大きさはｒ×ｒ、を意味する。なお、ｒはｘとｙの次元以下の正の整数であり、ここでは１から２８までの間の任意の整数である。さらに、ｘ_０、ｙ_０は、それぞれ、ｘ_０は１４個の顔特徴点位置初期情報３０２の二次元座標値の平均値を縦に並べた２８次元ベクトル、ｙ_０は７５個の顔特徴点推定位置３０３の二次元座標値の平均値を縦に並べた１５０次元ベクトルである。Λ、Ｕ、Ｖ、ｘ_０、ｙ_０は、特徴点位置推定辞書記憶手段２１０に記憶される。

【0031】

モデルパラメータ計算手段１３０は、特徴点推定位置推定手段１２０で推定した顔特徴点推定位置３０３を基に、顔の特徴点位置の探索における探索パラメータを求める。ここでは、特徴点推定位置推定手段１２０において１４点の顔特徴点位置初期情報３０２の座標値から７５点の顔特徴点推定位置３０３の座標値を推定した場合の例を示す。７５個の顔特徴点推定位置３０３の二次元座標値を縦に並べた１５０次元ベクトルをｙ、顔特徴点位置探索手段１４０の顔の形状に関するモデルをＳ、顔のテクスチャに関するモデルをＴ、形状に関するモデルＳとテクスチャに関するモデルＴの統合モデルをＡとしたとき、探索パラメータｐは、
（数２）

【0032】

により計算される。数２のＳ（ｙ）、Ｔ（ｙ）はそれぞれ、ｙを入力として、予め定義されたモデルＳ、モデルＴに従って各モデルに関する探索パラメータを返す関数、またＡは、Ｓ（ｙ），Ｔ（ｙ）を入力として、予め定義されたモデルＡに従って探索パラメータを返す関数である。なお、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ（ＡＡＭ）では通常、モデルＳ、モデルＴ、モデルＡは線形の部分空間としてモデル化するため、それぞれの部分空間を構成するベクトルを並べた行列をＳ、Ｔ、Ａと置きなおすと、
（数３）

【0033】

により計算される。ただし、Ｓ、Ｔ、Ａの行列サイズは、それぞれ、１５０×ｒ_ｓ、（ｇ（ｙ）の次元数）×ｒ_ｔ、（ｒ_ｓ＋ｒ_ｔ）×ｒ_ａであり、ｒ_ｓ、ｒ_ｔ、ｒ_ａは各モデルのランクを示す。この場合、ｐ_ｓ、ｐ_ｔ、ｐ_ａのサイズは、それぞれ、ｒ_ｓ×１、ｒ_ｔ×１、ｒ_ａ×１となる。また、ｇ（ｙ）は、７５個の顔特徴点推定位置３０３の二次元座標値を縦に並べた１５０次元ベクトルｙから、顔の二次元画像上での位置および大きさ、二次元画像上での回転角度、および顔形状が正規化された顔画像を抽出する関数である。関数ｇの出力は、正規化された顔画像の各画素の値を縦に並べたベクトルである。例えば、正規化顔画像の大きさが１００画素×１００画素の場合、関数ｇの出力は１００００次元ベクトルとなる。非特許文献１のＡＡＭでは、関数ｇはｗａｒｐ ｉｍａｇｅとして知られている。ｗａｒｐ ｉｍａｇｅでは、複数の特徴点位置の座標値の任意の三点から構成される三角形を定義し、この三角形ごとにアフィン変換を行うことで顔画像の正規化を行う。また、ｇ_０は、予め複数の顔画像およびその特徴点位置情報ｙから求めたｇ（ｙ）の平均ベクトルである。

【0034】

特徴点位置探索手段１４０では、モデルパラメータ計算手段１３０で求めた探索パラメータｐを初期値として、モデルのパラメータフィッティングを行うことで特徴点位置の探索を行い、特徴点位置の検出を行う。モデルのパラメータフィッティングには、例えばＡＡＭの場合、非特許文献１の手法を用いることができる。

【0035】

すなわち、探索パラメータｐを初期値としてＡＡＭでモデルのパラメータフィッティングを行う場合、予めＡＡＭで学習したモデルＳ、モデルＴ、モデルＡを利用して、まず、第一のステップにおいて、探索パラメータｐとモデルＡから顔の形状に関するパラメータｐ_ｓと顔のテクスチャに関するパラメータｐ_ｔを求める。次に、第二のステップにおいて、形状に関するパラメータｐ_ｓとモデルＳを用いて顔の特徴点位置ｙを求め、正規化された顔画像ｇ_ｓをｇ_ｓ＝ｇ（ｙ＋ｙ_０）により求める。次に、第三のステップにおいて、テクスチャに関するパラメータｐ_ｔとモデルＴを用いて、探索パラメータｐから推定される顔画像ｇ_ｍを求める。さらに、第四のステップにおいて、差分画像ｄをｄ＝ｇ_ｓ−ｇ_ｍにより計算し、探索パラメータを更新する値δｐをδｐ＝−Ｒ×ｄにより求め、ｐ＝ｐ＋δｐにより探索パラメータｐを更新する。ここで、Ｒは予めＡＡＭで学習した行列である。第一のステップから第四のステップまでを複数回繰り返すことにより、顔画像３０１の特徴点位置を確定することができる。

【0036】

以上により、顔画像の表情変動や個人変動、姿勢変動などに対して、少数の特徴点位置の初期情報を外部から入力することによって、所望の特徴点位置のおおよその位置を推定し、所望の特徴点位置のおおよその位置から特徴点位置の探索を開始することができる。これにより、正解とは異なる姿勢や表情などの顔形状を、入力画像に対して誤ってフィッティングする場合が抑制される。つまりは局所解に陥ることが防がれる。

【0037】

すなわち、特徴点位置初期情報入力手段１１０で入力された特徴点位置の初期情報から、特徴点探索手段１４０における適切なモデルパラメータの初期値、つまり、より正解に近いモデルパラメータを、特徴点位置探索手段１４０の初期値とすることに基づいて特徴点位置探索を行うことが可能となる。これにより、顔画像の表情変動や個人変動、姿勢変動などに対しても、高精度な特徴点位置の検出が可能となる。

【0038】

本発明は、顔の画像における特徴点位置の高精度な特定を可能とするにとどまらず、画像全般における特徴点位置の高精度な特定を可能とする。例えば、特徴点位置初期情報入力手段１１０において、顔の特徴点位置の代わりに手の特徴点位置として親指や人差し指あるいは爪等の初期情報を、予め別の手段で検出し特徴点位置初期情報入力手段１１０で入力することで、手の指の輪郭や爪などの検出が可能である。

【0039】

また、医療画像における骨や臓器などの輪郭の特定なども可能である。すなわち、特徴点位置としての所定の骨や臓器の初期情報を、予め別の手段で検出し特徴点位置初期情報入力手段１１０で入力することで、所定の骨や臓器の検出が可能である。また同様に、牛などの家畜の白黒などの模様の特定なども可能である。

【0040】

またさらに、本実施形態により特徴点位置の高精度な特定が可能となるので、これを用いて動物や植物の種類の特定、人工物としての自動車や船、飛行機、電子機器、建造物、絵画などの種類の特定も可能となる。例えば、自動車の場合、所定の種類の自動車の特徴点位置としてのヘッドライトの初期情報を、予め別の手段で検出し特徴点位置初期情報入力手段１１０で入力することで、所定の自動車のヘッドライトの検出が可能となる。これにより、逆に、自動車の種類を特定することができる。動植物や他の人工物に対しても同様である。

【0041】

本発明は上記実施形態に限定されることなく、請求の範囲に記載した発明の範囲内で、種々の変形が可能であり、それらも本発明の範囲内に含まれるものであることはいうまでもない。

【0042】

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

【0043】

付記
（付記１）
対象画像に応じて外部からの特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する特徴点推定位置推定手段と、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求めるモデルパラメータ計算手段と、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する特徴点位置探索手段と、を備えた、特徴点位置検出装置。
（付記２）
前記特徴点推定位置は前記特徴点位置初期情報よりも多い、付記１に記載の特徴点位置検出装置。
（付記３）
前記特徴点位置推定辞書情報を格納する特徴点位置推定辞書記憶手段を備えた、付記１または２に記載の特徴点位置検出装置。
（付記４）
前記対象画像は人体を有する、付記１から３の内の１項記載の特徴点位置検出装置。
（付記５）
前記人体の前記特徴点位置は顔の目あるいは鼻あるいは口の情報を有する、付記４に記載の特徴点位置検出装置。
（付記６）
対象画像に応じて外部からの特徴点位置初期情報を入力し、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定し、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求め、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する、特徴点位置検出方法。
（付記７）
前記特徴点推定位置は前記特徴点位置初期情報よりも多い、付記６に記載の特徴点位置検出方法。
（付記８）
前記特徴点位置推定辞書情報は格納された特徴点位置推定辞書を用いる、付記６または７に記載の特徴点位置検出方法。
（付記９）
前記対象画像は人体を有する、付記６から８の内の１項記載の特徴点位置検出方法。
（付記１０）
前記人体の前記特徴点位置は顔の目あるいは鼻あるいは口の情報を有する、付記９に記載の特徴点位置検出方法。
（付記１１）
特徴点位置検出装置に、対象画像に応じて外部からの特徴点位置初期情報を入力する処理と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する処理と、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求める処理と、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する処理と、を実行させる特徴点位置検出プログラム。
（付記１２）
前記特徴点推定位置は前記特徴点位置初期情報よりも多い、付記１１に記載の特徴点位置検出プログラム。
（付記１３）
前記特徴点位置推定辞書情報は格納された特徴点位置推定辞書を用いる、付記１１または１２に記載の特徴点位置検出プログラム。
（付記１４）
前記対象画像は人体を有する、付記１１から１３の内の１項記載の特徴点位置検出プログラム。
（付記１５）
前記人体の前記特徴点情報は顔の目あるいは鼻あるいは口の情報を有する、付記１４に記載の特徴点位置検出プログラム。
（付記１６）
対象画像に応じて外部からの特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する特徴点推定位置推定手段と、前記所望の点数の特徴点推定位置から特徴点位置の探索を開始する特徴点位置探索手段と、を備えた、特徴点位置検出装置。
（付記１７）
対象画像に応じて外部からの特徴点位置初期情報を入力し、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定し、前記所望の点数の特徴点推定位置から特徴点位置の探索を開始する、特徴点位置検出方法。
（付記１８）
特徴点位置検出装置に、対象画像に応じて外部からの特徴点位置初期情報を入力する処理と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する処理と、前記所望の点数の特徴点推定位置から特徴点位置の探索を開始する処理と、を実行させる特徴点位置検出プログラム。

【0044】

この出願は、２０１３年１月１５日に出願された日本出願特願２０１３−００４２２８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【産業上の利用可能性】

【0045】

本発明は、顔などの画像から目や鼻などの特徴点の位置を検出するための特徴点位置検出技術に関し、顔認証や表情認識などのために利用される。

【符号の説明】

【0046】

１ 特徴点位置検出装置
１００ データ処理装置
１１０ 特徴点位置初期情報入力手段
１２０ 特徴点推定位置推定手段
１３０ モデルパラメータ計算手段
１４０ 特徴点位置探索手段
２００ 記憶装置
２１０ 特徴点位置推定辞書記憶手段
３００ 画像
３０１ 顔画像
３０２ 顔特徴点位置初期情報
３０３ 顔特徴点推定位置
３１０ 顔特徴点位置

【図1】

【図2】

【図3】

【図4】

【図5】