特許 5894426 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5894426

(24)【登録日】2016年3月4日

(45)【発行日】2016年3月30日

(54)【発明の名称】計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20160317BHJP

   G06T 7/20 20060101ALI20160317BHJP

【ＦＩ】

   G06T1/00 340A

   G06T1/00 315

   G06T7/20 300B

【請求項の数】15

【全頁数】23

(21)【出願番号】特願2011-272203(P2011-272203)

(22)【出願日】2011年12月13日

(65)【公開番号】特開2013-125307(P2013-125307A)

(43)【公開日】2013年6月24日

【審査請求日】2014年6月4日

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100105050

【弁理士】

【氏名又は名称】鷲田 公一

(72)【発明者】

【氏名】築澤 宗太郎

(72)【発明者】

【氏名】久保谷 寛行

(72)【発明者】

【氏名】ニュウ ジヘン

(72)【発明者】

【氏名】スギリ プラナタ

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１０−１２８７４２（ＪＰ，Ａ）

【文献】 特開２０１１−１２８９６６（ＪＰ，Ａ）

【文献】 特開２００５−１８２２４７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／００６９８７９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−７／６０

(57)【特許請求の範囲】

【請求項1】

複数の顔形状候補のうち、三次元形状の計測対象となる候補を抽出する計測対象抽出装置であって、
前記複数の顔形状候補のそれぞれについて、入力される顔画像と前記顔形状候補のテクスチャとの一致度を表す顔テクスチャ評価値を算出する顔テクスチャ評価値算出部と、
前記複数の顔形状候補のそれぞれについて、基準となる顔形状と前記顔形状候補との間の第１の尤度を算出する尤度算出部と、
前記複数の顔形状候補のそれぞれについて、前記顔テクスチャ評価値と前記第１の尤度との相関の強さを表す第１の相関評価値を算出する相関評価部と、
前記複数の顔形状候補のうち、前記第１の相関評価値が第１の閾値よりも低い顔形状候補を前記計測対象として抽出する抽出部と、
を具備する計測対象抽出装置。

【請求項2】

前記顔テクスチャ評価値算出部は、前記顔テクスチャ評価値を算出し、前記顔形状候補の各顔部品のそれぞれについて、前記顔画像と前記顔部品との一致度を表す顔部品テクスチャ評価値を算出し、
前記尤度算出部は、前記第１の尤度を算出し、前記顔形状候補の前記顔部品のそれぞれについて、前記基準となる顔形状と前記顔部品との間の第２の尤度を算出し、
前記相関評価部は、前記第１の相関評価値を算出し、前記顔形状候補の前記顔部品のそれぞれについて、前記顔部品テクスチャ評価値と前記第２の尤度との相関の強さを表す第２の相関評価値を算出し、
前記抽出部は、前記第１の相関評価値が前記第１の閾値よりも低い顔形状候補の各顔部品のうち、前記第２の相関評価値が第２の閾値より低い顔部品を前記計測対象として抽出する、
請求項１に記載の計測対象抽出装置。

【請求項3】

前記抽出部は、前記第２の相関評価値が前記第２の閾値より低い顔部品のうち、前記顔部品の総数に対する所定の割合の数の顔部品を、前記第２の相関評価値が低い順に選択し、選択した顔部品を前記計測対象として抽出する、
請求項２に記載の計測対象抽出装置。

【請求項4】

前記尤度算出部は、前記複数の顔形状候補のそれぞれについて、前記顔形状候補を表す複数の特徴点の三次元座標と、前記基準となる顔形状の前記複数の特徴点に対応する位置の三次元座標との間の変化量を表す前記第１の尤度を算出する、
請求項１に記載の計測対象抽出装置。

【請求項5】

前記尤度算出部は、前記顔形状候補の各顔部品の位置と前記基準となる顔形状の位置とを比較することにより、前記顔形状候補の各顔部品の位置と、前記各顔部品を動かす表情筋の可動範囲との一致度を表す前記第１の尤度を算出する、
請求項２に記載の計測対象抽出装置。

【請求項6】

前記基準となる顔形状は、無表情時の顔形状である、
請求項１記載の計測対象抽出装置。

【請求項7】

前記基準となる顔形状は、所定の時間だけ過去に取得された顔形状である、
請求項１記載の計測対象抽出装置。

【請求項8】

請求項１に記載の計測対象抽出装置と、
前記計測対象抽出装置で前記計測対象として抽出された顔形状候補の三次元形状を計測する三次元形状計測部と、
前記複数の顔形状候補のそれぞれについて、前記顔テクスチャ評価値と前記第１の尤度とに基づいて、第１の形状候補評価値を算出する形状候補評価部と、
前記抽出された顔形状候補のそれぞれについて、前記三次元形状を用いて、第２の形状候補評価値を算出する再評価部と、
前記第１の形状候補評価値および前記第２の形状候補評価値に基づいて、前記複数の顔形状候補の中から、前記顔画像に対する推定形状を決定する決定部と、
を具備する顔形状推定装置。

【請求項9】

前記計測対象抽出装置において、
前記顔テクスチャ評価値算出部は、前記顔テクスチャ評価値を算出し、前記顔形状候補の各顔部品のそれぞれについて、前記顔画像と前記顔部品との一致度を表す顔部品テクスチャ評価値を算出し、
前記尤度算出部は、前記第１の尤度を算出し、前記顔形状候補の前記顔部品のそれぞれについて、前記基準となる顔形状と前記顔部品との間の第２の尤度を算出し、
前記相関評価部は、前記第１の相関評価値を算出し、前記顔形状候補の前記顔部品のそれぞれについて、前記顔部品テクスチャ評価値と前記第２の尤度との相関の強さを表す第２の相関評価値を算出し、
前記抽出部は、前記第１の相関評価値が前記第１の閾値よりも低い顔形状候補の各顔部品のうち、前記第２の相関評価値が第２の閾値より低い顔部品を前記計測対象として抽出し、
前記三次元形状計測部は、前記抽出部で抽出された顔部品の三次元形状を計測し、
前記再評価部は、前記顔部品の前記三次元形状を用いて、前記第２の形状候補評価値を算出する、
請求項８に記載の顔形状推定装置。

【請求項10】

前記再評価部は、前記抽出された顔形状候補のそれぞれについて、前記三次元形状と前記顔形状候補の三次元座標との比較結果、および、前記顔テクスチャ評価値に基づいて、前記第２の形状候補評価値を算出する、
請求項８に記載の顔形状推定装置。

【請求項11】

前記再評価部は、前記抽出された顔形状候補および前記三次元形状に関する情報を用いて新たな顔形状候補を生成し、前記新たな顔形状候補のそれぞれに対応する、前記顔テクスチャ評価値と前記第１の尤度とに基づいて、前記新たな顔形状候補に対する前記第２の形状候補評価値を算出する、
請求項８に記載の顔形状推定装置。

【請求項12】

前記決定部は、前記第１の形状候補評価値および前記第２の形状候補評価値のうち最も大きい値に対応する顔形状候補を前記推定形状に決定する、
請求項８に記載の顔形状推定装置。

【請求項13】

前記決定部は、前記第１の形状候補評価値および前記第２の形状候補評価値を用いて算出される重みに基づいて、前記複数の顔形状候補の重み付き平均を求めることにより、前記推定形状を決定する、
請求項８に記載の顔形状推定装置。

【請求項14】

複数の顔形状候補のうち、三次元形状の計測対象となる候補を抽出する計測対象抽出方法であって、
前記複数の顔形状候補のそれぞれについて、入力される顔画像と前記顔形状候補のテクスチャとの一致度を表す顔テクスチャ評価値を算出し、
前記複数の顔形状候補のそれぞれについて、基準となる顔形状と前記顔形状候補との間の第１の尤度を算出し、
前記複数の顔形状候補のそれぞれについて、前記顔テクスチャ評価値と前記第１の尤度との相関の強さを表す第１の相関評価値を算出し、
前記複数の顔形状候補のうち、前記第１の相関評価値が第１の閾値よりも低い顔形状候補を前記計測対象として抽出する、
計測対象抽出方法。

【請求項15】

請求項１４に記載の計測対象抽出方法により前記計測対象として抽出された顔形状候補の三次元形状を計測し、
前記複数の顔形状候補のそれぞれについて、前記顔テクスチャ評価値と前記第１の尤度とに基づいて、第１の形状候補評価値を算出し、
前記抽出された顔形状候補のそれぞれについて、前記三次元形状を用いて、第２の形状候補評価値を算出し、
前記第１の形状候補評価値および前記第２の形状候補評価値に基づいて、前記複数の顔形状候補の中から、前記顔画像に対する推定形状を決定する、
顔形状推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法に関する。

【背景技術】

【0002】

人の感情又は状態を知るために、表情変化が発生している顔の形状を推定することがある。例えば、車を運転中に眠気が発生した場合、運転手の顔には、眉をひそめる、深呼吸に伴って唇を突き出す、頬をふくらませるといった、表情変化が発生することが多い。そのため、これらの表情変化は、運転手の眠気を調べるための指標となる。

【0003】

従来から用いられる顔形状推定方法では、顔形状の推定精度を向上させるために、目、鼻、又は口等の顔部品が無表情時の標準的な形状および位置にあるという制約を設けて、顔形状が推定される。しかし、この顔形状推定方法では、当該制約が設けられるため、標準的な形状から逸脱し、上述した表情変化が発生した顔を検出することができない。なお、ここでは、「表情変化」とは、顔が無表情ではない状態にあることを示す。

【0004】

これに対して、非特許文献１に開示されている技術（以下、従来技術１）では、表情変化が発生した顔の画像を予め学習しておくことで、表情変化時の顔部品の形状および位置を検出する。また、特許文献１（以下、従来技術２）に開示されている技術では、顔部品の三次元位置を測距し、顔部品の三次元位置から顔の立体的な形状を推定する。これにより、非特許文献１または特許文献１に開示されている技術では、上述した表情変化が発生した顔を検出することが可能となる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００５−１８２２４７号公報

【非特許文献】

【0006】

【非特許文献1】Paul Viola and Michael J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, 2001

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、従来技術１は、学習に用いる画像が二次元の情報であるため、顔部品の形状が二次元的（平面的）には変化しないが、三次元的（立体的）には変化する場合の表情変化には対応できない。たとえば、従来技術１は、唇を突き出す、頬をふくらませる等の表情変化には対応できない。

【0008】

また、従来技術２は、表情変化を検出（顔の立体的な形状を推定）するためには、顔全体の三次元位置を測距する必要があり、顔形状推定の計算処理量が膨大になる。そのため、従来技術２は、表情変化が発生した顔を実時間で検出することが困難である。

【0009】

本発明の目的は、二次元画像のみでは検出することが困難な立体的な表情変化が発生した顔の形状を高精度かつ低計算量で推定することができる計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法を提供することである。

【課題を解決するための手段】

【0010】

本発明の一態様に係る計測対象抽出装置は、複数の顔形状候補のうち、三次元形状の計測対象となる候補を抽出する計測対象抽出装置であって、前記複数の顔形状候補のそれぞれについて、入力される顔画像と前記顔形状候補のテクスチャとの一致度を表す顔テクスチャ評価値を算出する顔テクスチャ評価値算出部と、前記複数の顔形状候補のそれぞれについて、基準となる顔形状と前記顔形状候補との間の第１の尤度を算出する尤度算出部と、前記複数の顔形状候補のそれぞれについて、前記顔テクスチャ評価値と前記第１の尤度との相関の強さを表す第１の相関評価値を算出する相関評価部と、前記複数の顔形状候補のうち、前記第１の相関評価値が第１の閾値よりも低い顔形状候補を前記計測対象として抽出する抽出部と、を具備する構成を採る。

【0011】

本発明の一態様に係る顔形状推定装置は、前記計測対象抽出装置と、前記計測対象抽出装置で前記計測対象として抽出された顔形状候補の三次元形状を計測する三次元形状計測部と、前記複数の顔形状候補のそれぞれについて、前記顔テクスチャ評価値と前記第１の尤度とに基づいて、第１の形状候補評価値を算出する形状候補評価部と、前記抽出された顔形状候補のそれぞれについて、前記三次元形状を用いて、第２の形状候補評価値を算出する再評価部と、前記第１の形状候補評価値および前記第２の形状候補評価値に基づいて、前記複数の顔形状候補の中から、前記顔画像に対する推定形状を決定する決定部と、を具備する構成を採る。

【0012】

本発明の一態様に係る計測対象抽出方法は、複数の顔形状候補のうち、三次元形状の計測対象となる候補を抽出する計測対象抽出方法であって、前記複数の顔形状候補のそれぞれについて、入力される顔画像と前記顔形状候補のテクスチャとの一致度を表す顔テクスチャ評価値を算出し、前記複数の顔形状候補のそれぞれについて、基準となる顔形状と前記顔形状候補との間の第１の尤度を算出し、前記複数の顔形状候補のそれぞれについて、前記顔テクスチャ評価値と前記第１の尤度との相関の強さを表す第１の相関評価値を算出し、前記複数の顔形状候補のうち、前記第１の相関評価値が第１の閾値よりも低い顔形状候補を前記計測対象として抽出する。

【0013】

本発明の一態様に係る顔形状推定方法は、前記計測対象抽出方法により前記計測対象として抽出された顔形状候補の三次元形状を計測し、前記複数の顔形状候補のそれぞれについて、前記顔テクスチャ評価値と前記第１の尤度とに基づいて、第１の形状候補評価値を算出し、前記抽出された顔形状候補のそれぞれについて、前記三次元形状を用いて、第２の形状候補評価値を算出し、前記第１の形状候補評価値および前記第２の形状候補評価値に基づいて、前記複数の顔形状候補の中から、前記顔画像に対する推定形状を決定する。

【発明の効果】

【0014】

本発明によれば、二次元画像のみでは検出することが困難な立体的な表情変化が発生した顔の形状を高精度かつ低計算量で推定することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施の形態１に係る計測対象抽出装置の主要構成を示すブロック図

【図2】本発明の実施の形態１に係る計測対象抽出装置の構成を示すブロック図

【図3】本発明の実施の形態１に係るその他の計測対象抽出装置の構成を示すブロック図

【図4】本発明の実施の形態１に係るその他の計測対象抽出装置の構成を示すブロック図

【図5】本発明の実施の形態１に係る顔形状推定装置の構成を示すブロック図

【図6】本発明の実施の形態１に係る顔形状推定装置の動作を示すフロー図

【図7】本発明の実施の形態１に係る顔テクスチャ評価値と顔表情変化尤度との相関を示す図

【図8】本発明の実施の形態１に係る顔テクスチャ評価値と顔表情変化尤度との相関を示す図

【図9】本発明の実施の形態２に係る計測対象抽出装置の構成を示すブロック図

【図10】本発明の実施の形態２に係る顔形状推定装置の構成を示すブロック図

【図11】本発明の実施の形態２に係る顔形状推定装置の動作を示すフロー図

【図12】本発明の実施の形態３に係る計測対象抽出装置の構成を示すブロック図

【図13】本発明の実施の形態３に係る顔形状推定装置の動作を示すフロー図

【図14】本発明の実施の形態３に係る表情筋尤度の算出方法の説明に供する図

【図15】本発明の実施の形態４に係る顔形状推定装置の構成を示すブロック図

【図16】本発明の実施の形態４に係る顔形状推定装置の動作を示すフロー図

【発明を実施するための形態】

【0016】

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

【0017】

＜実施の形態１＞
図１は、本実施の形態に係る計測対象抽出装置１００の主要構成を示すブロック図である。図１に示す計測対象抽出装置１００は、主に、顔テクスチャ評価値算出部１０３と、顔表情変化尤度算出部１０４と、相関評価部１０５と、抽出部１０７とを有する。計測対象抽出装置１００は、複数の顔形状候補のうち、三次元形状の計測対象となる候補を抽出する。

【0018】

計測対象抽出装置１００において、顔テクスチャ評価値算出部１０３は、複数の顔形状候補のそれぞれについて、入力される顔画像と顔形状候補のテクスチャとの一致度を表す顔テクスチャ評価値を算出する。顔表情変化尤度算出部１０４は、複数の顔形状候補のそれぞれについて、基準となる顔形状と顔形状候補との間の第１の尤度（顔表情変化尤度）を算出する。相関評価部１０５は、複数の顔形状候補のそれぞれについて、顔テクスチャ評価値と第１の尤度との相関の強さを表す第１の相関評価値を算出する。抽出部１０７は、複数の顔形状候補のうち、第１の相関評価値が第１の閾値よりも低い顔形状候補を計測対象として抽出する。

【0019】

［計測対象抽出装置１００の構成］
図２は、本実施の形態に係る計測対象抽出装置１００の構成を示すブロック図である。図２において、計測対象抽出装置１００は、入力部１０１と、顔形状候補保持部１０２と、顔テクスチャ評価値算出部１０３と、顔表情変化尤度算出部１０４と、相関評価部１０５と、判断部１０６と、抽出部１０７とを有する。

【0020】

入力部１０１は、外部から入力される二次元の画像を取得し、顔テクスチャ評価値算出部１０３へ出力する。入力部１０１が取得する画像は、例えば、ハンドルの上、又は、ダッシュボードの上等、顔を撮影できる場所に設置されたカメラによって撮像された画像でもよく、予め撮影されたビデオ映像データから１フレームずつデータを切り出した画像でもよく、又は、ストレージ等に格納されている画像でもよい。また、入力部１０１に入力される画像は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサおよびレンズを備えたデジタルカメラによって撮影されるＰＰＭ（Portable Pix Map file format）形式の画像でもよい。

【0021】

顔形状候補保持部１０２は、少なくとも１つ以上の顔形状候補を保持し、顔形状候補を顔テクスチャ評価値算出部１０３および顔表情変化尤度算出部１０４へ出力する。「顔形状候補」は、顔の複数の特徴点の座標（三次元座標）と、各特徴点の輝度情報であるテクスチャ（各特徴点の画像）とからなるデータである。例えば、顔形状候補は、顔の目尻、目頭、口角、眉頭等の顔部品をそれぞれ示す特徴点の三次元座標と、特徴点周辺の輝度分布を示すテクスチャとで表現される。

【0022】

顔テクスチャ評価値算出部１０３は、入力部１０１から入力される画像（入力画像）と、顔形状候補保持部１０２から入力される顔形状候補とを比較して、入力画像に対する顔テクスチャ評価値を算出する。顔テクスチャ評価値算出部１０３は、顔形状候補のそれぞれについての顔テクスチャ評価値を相関評価部１０５へ出力する。

【0023】

「顔テクスチャ評価値」は、顔形状候補のテクスチャ（顔形状候補に含まれる特徴点のテクスチャ）と、入力画像との一致度（二次元での一致度）を表す値である。顔テクスチャ評価値は、特徴点のテクスチャと入力画像との一致度が高いほど、高い値となる。例えば、顔テクスチャ評価値算出部１０３は、或る顔形状候補に対して、当該顔形状候補の複数の特徴点における入力画像との一致度（評価値）をそれぞれ算出し、各特徴点の一致度（評価値）の総和を、当該顔形状候補の顔テクスチャ評価値としてもよい。

【0024】

具体的には、顔テクスチャ評価値算出部１０３は、まず、入力画像上に顔形状候補の各特徴点を投影し、各特徴点の入力画像平面上での二次元座標を算出する。次いで、顔テクスチャ評価値算出部１０３は、算出した二次元座標周辺の入力画像（テクスチャ）と、顔形状候補の各特徴点のテクスチャとの一致度を算出する。一致度は、例えば、ＳＡＤ（Sum of Absolute Difference）または正規化相互相関によって算出される。

【0025】

顔表情変化尤度算出部１０４は、顔形状候補保持部１０２から入力される顔形状候補を用いて顔表情変化尤度を算出し、顔形状候補のそれぞれについての顔表情変化尤度を相関評価部１０５へ出力する。「顔表情変化尤度」は、表情変化した顔の自然さを表す値である。すなわち、「顔表情変化尤度」は、顔形状候補の表す顔の形状が顔としてどの程度自然な形状をしているかを表す値である。

【0026】

顔表情変化尤度は、基準となる顔形状と顔形状候補との間の尤度である。例えば、基準となる顔形状を無表情時の顔形状とした場合、無表情の状態からの変化量が大きいほど、顔表情変化尤度は低い値となる。例えば、顔表情変化尤度算出部１０４は、或る顔形状候補の特徴点の三次元座標と、無表情の顔形状（基準となる顔形状）の上記特徴点に対応する位置の三次元座標との間の変化量（つまり、距離）の総和に反比例する関数の値を、当該顔形状候補の顔表情変化尤度としてもよい。

【0027】

相関評価部１０５は、顔形状候補のそれぞれについて、顔テクスチャ評価値算出部１０３から入力される顔テクスチャ評価値と、顔表情変化尤度算出部１０４から入力される顔表情変化尤度との相関の強さを表す相関評価値を算出し、相関評価値を判断部１０６へ出力する。「相関評価値」は、例えば、顔テクスチャ評価値および顔表情変化尤度で表されるサンプル集合における、顔テクスチャ評価値と顔表情変化尤度との比例直線からの距離の逆数等で表される。この場合、顔テクスチャ評価値と顔表情変化尤度との相関が強いほど（比例直線からの距離が小さいほど）、相関評価値は大きい値をとる。

【0028】

判断部１０６は、相関評価部１０５から入力される、各顔形状候補の相関評価値が所定の閾値よりも小さいか否かを判断し、判断結果を抽出部１０７へ出力する。

【0029】

抽出部１０７は、顔形状候補保持部１０２が保持している顔形状候補のうち、判断部１０６から入力される判断結果において相関評価値が所定の閾値よりも低い顔形状候補を、三次元形状の計測対象として抽出する。すなわち、抽出部１０７は、顔テクスチャ評価値と顔表情変化尤度との相関が弱い顔形状候補を抽出する。これにより、顔形状候補保持部１０２で保持されている複数の顔形状候補のうち、抽出部１０７で抽出された顔形状候補のみが三次元形状の計測（三次元測距）の対象となる。

【0030】

なお、本実施の形態では、計測対象抽出装置１００において、顔表情変化尤度を算出する基準として、無表情時の顔形状を用いる場合について説明している。しかし、例えば、所定の時間だけ過去に推定した顔形状が信用できる場合には、計測対象抽出装置１００は、顔表情変化尤度を算出する基準として、過去に推定した顔形状を用いてもよい。例えば、図３に示す計測対象抽出装置１００において、顔形状候補保持部１０２ａは、所定時間だけ過去に取得された顔の形状に関する情報（形状情報）を保持してもよい。形状情報は、図２における顔形状候補と同様、顔の複数の特徴点の座標（三次元座標）と、各特徴点の輝度情報であるテクスチャ（各特徴点の画像）とからなる。また、所定の時間だけ過去に取得された顔に関する形状情報は、実際に計測された値でもよく、別のシステムで推定された値でもよく、後述する顔形状推定装置２００（図５）における推定結果でもよい。

【0031】

また、計測対象抽出装置１００において、顔表情変化尤度を算出する基準として、無表情時の顔形状を用いる場合には、顔表情変化尤度を予め算出することも可能である。よって、例えば、図４に示す計測対象抽出装置１００において、顔形状候補保持部１０２ｂは、予め算出された、各顔形状候補の顔表情変化尤度を保持し、顔表情変化尤度を相関評価部１０５に直接出力してもよい。つまり、この場合、顔表情変化尤度算出部１０４が不要となる。

【0032】

［顔形状推定装置２００の構成］
図５は、本実施の形態に係る顔形状推定装置２００の構成を示すブロック図である。図５において、顔形状推定装置２００は、計測対象抽出装置１００（図２）と、形状候補評価部２０１と、三次元計測部２０２と、再評価部２０３と、決定部２０４とを有する。

【0033】

以下では、顔形状推定装置２００が複数の顔形状候補に基づいて顔形状を推定する場合を一例として説明する。

【0034】

形状候補評価部２０１には、計測対象抽出装置１００の顔テクスチャ評価値算出部１０３から顔テクスチャ評価値が入力され、計測対象抽出装置１００の顔表情変化尤度算出部１０４から顔表情変化尤度が入力される。形状候補評価部２０１は、顔テクスチャ評価値および顔表情変化尤度を用いて、各顔形状候補のそれぞれについての形状候補評価値を算出し、形状候補評価値を決定部２０４へ出力する。「形状候補評価値」は、入力画像撮影時の顔形状と顔形状候補との一致度（評価値）を表す値であり、例えば、顔テクスチャ評価値と顔表情変化尤度との積で表される。

【0035】

三次元計測部２０２は、計測対象抽出装置１００の抽出部１０７で三次元形状の計測対象（三次元測距対象）として抽出された顔形状候補が入力画像へ投影された画像位置の三次元形状を計測（測距）し、各顔形状候補の計測した三次元形状を再評価部２０３へ出力する。例えば、三次元計測部２０２は、顔形状候補を入力画像平面へ投影し、投影した画像領域に対して測距を行う。測距は、例えば、レーザーレンジセンサまたはステレオカメラ等の距離センサを利用することで実施される。

【0036】

再評価部２０３は、三次元計測部２０２から入力された三次元形状と、抽出部１０７から入力された顔形状候補とに基づいて、三次元形状の計測対象である顔形状候補のそれぞれについての新評価値を算出し、新評価値を決定部２０４へ出力する。「新評価値」は、顔形状候補と三次元形状との一致度を表す値である。新評価値は、顔形状候補と三次元形状との一致度が高いほど、高い値となる。例えば、再評価部２０３は、抽出部１０７から入力された顔形状候補の各特徴点（三次元座標）と三次元形状（三次元座標）とを比較して、当該顔形状候補の複数の特徴点における三次元形状との一致度（評価値）をそれぞれ算出し、各特徴点の一致度（評価値）の総和と、当該顔形状候補の顔テクスチャ評価値との積を、当該顔形状候補の新評価値としてもよい。すなわち、新評価値（三次元形状から求まる評価値）は、形状候補評価値（二次元画像から求まる評価値）に相当する値である。

【0037】

決定部２０４は、顔形状候補、形状候補評価部２０１から入力される形状候補評価値および再評価部２０３から入力される新評価値に基づいて、顔形状候補保持部１０２が保持する顔形状候補のうち、入力画像（顔画像）に対する推定形状とする候補を決定する。例えば、決定部２０４は、新評価値および形状候補評価値を含む評価値のうち、最も大きい値に対応する顔形状候補を、入力画像に対する顔の推定形状として決定する。

【0038】

なお、決定部２０４は、新評価値および形状候補評価値を用いて算出される重みに基づいて、複数の顔形状候補（三次元座標）の重み付き平均を求めることにより、入力画像に対する推定形状を決定してもよい。ただし、決定部２０４は、新評価値を算出した顔形状候補については、形状候補評価値ではなく、新評価値を重みとして用いる。また、決定部２０４は、新評価値または形状候補評価値を重みとして直接使用せず、各評価値を二乗した値を使用したり、新評価値または形状候補評価値を変数としたシグモイド関数のような単調増加関数を用いたりしてもよい。

【0039】

［顔形状推定装置２００の動作］
以上の構成を有する顔形状推定装置２００の動作について説明する。図６は、顔形状推定装置２００による顔形状の推定処理を示すフロー図である。例えば、カメラによって画像が撮像される場合、図６に示す処理フローは、撮影作業の開始と共にスタートする。また、撮影作業は、ユーザの操作によって開始されてもよく、外部からの何らかの信号をトリガとして開始されてもよい。

【0040】

図６に示すステップ（以下、「Ｓ」で表す）１０１において、入力部１０１は、人物の顔を撮像した画像（入力画像）を取得し、入力画像を顔テクスチャ評価値算出部１０３へ出力する。

【0041】

Ｓ１０２において、顔テクスチャ評価値算出部１０３は、顔形状候補保持部１０２から入力される顔形状候補と、Ｓ１０１で入力部１０１から入力された入力画像とから、各顔形状候補の顔テクスチャ評価値を算出する。

【0042】

Ｓ１０３において、顔表情変化尤度算出部１０４は、顔形状候補保持部１０２から入力される顔形状候補の顔表情変化尤度を算出する。

【0043】

Ｓ１０４において、形状候補評価部２０１は、Ｓ１０２で算出された顔テクスチャ評価値と、Ｓ１０３で算出された顔表情変化尤度とから、顔形状候補の形状候補評価値を算出する。例えば、形状候補評価値は、顔テクスチャ評価値と顔表情変化尤度との積または和として算出される。

【0044】

Ｓ１０５において、相関評価部１０５は、Ｓ１０２で算出された顔テクスチャ評価値と、Ｓ１０３で算出された顔表情変化尤度との相関評価値ｅを算出する。例えば、相関評価値ｅは、以下の方法で算出される。まず、相関評価部１０５は、複数の顔形状候補の顔テクスチャ評価値および顔表情変化尤度をサンプル集合とし、顔テクスチャ評価値および顔表情変化尤度を変数としたときの第一主成分を算出し、第一主成分を表す直線を取得する。なお、相関評価部１０５は、第一主成分を表す直線の代わりに、予め取得した顔テクスチャ評価値および顔表情変化尤度の比例直線を用いてもよい。次に、相関評価部１０５は、第一主成分である直線と評価対象である顔形状候補（顔テクスチャ評価値および顔表情変化尤度で表されるサンプル点）との間の距離ｄを算出する。そして、相関評価部１０５は、次式（１）に従って相関評価値ｅを算出する。

【数1】

【0045】

このとき、入力画像の顔表情が、顔表情変化尤度を算出した際に使用した無表情状態の顔形状（または、所定の時刻だけ過去に取得した顔形状。つまり、基準となる顔形状）から大きく変化していない場合、顔テクスチャ評価値および顔表情変化尤度の関係は以下のようになる。入力画像と近似する顔形状候補では、顔テクスチャ評価値および顔表情変化尤度が共に高い値となり、入力画像と大きく異なる顔形状候補では、顔テクスチャ評価値および顔表情変化尤度が共に低い値となる（図７参照）。したがって、顔テクスチャ評価値および顔表情変化尤度のうち、一方が高く、他方が低いという状態は生じにくいため、サンプル集合は第一主成分を表す直線の周辺に分布することになる（図７参照）。

【0046】

一方、入力画像の顔表情が、顔表情変化尤度を算出した際に使用した無表情状態の顔形状（または、所定の時刻だけ過去に取得した顔形状。つまり、基準となる顔形状）から大きく変化している場合、入力画像と近似しない顔形状候補は、顔テクスチャ評価値が低くなるため、顔テクスチャ評価値および顔表情変化尤度が共に低い値となるが（図７参照）、入力画像（二次元画像）上ではその違いがあまり現れない状況では、上述したような分布（図７参照）にはならない。

【0047】

例えば、口を半開きにした顔形状、および、口を突き出した顔形状は、二次元平面に投影した顔の特徴点の位置はほぼ同じ位置となる。また、上記２種類の顔形状と、基準となる顔形状である無表情時の顔形状とは、二次元画像上では近似している。よって、入力画像（二次元画像）上では、上記２種類の顔形状を表す顔形状候補に対する顔テクスチャ評価値は双方とも高い値となる（図８参照）。すなわち、二次元画像上では、上記２種類の顔形状候補は区別しにくいと言える。一方、口を半開きにした顔形状は無表情状態の顔形状（基準となる顔形状）と比較して表情変化が小さいため、顔表情変化尤度が高い値となるのに対し（図８参照）、口を突き出した顔形状候補は無表情状態の顔形状と比較して表情変化が大きいため、顔表情変化尤度は低い値となる（図８参照）。したがって、口を半開きにした顔形状候補の場合、第一主成分を表す直線の周辺に存在するため、相関評価値は高い値となるのに対し、口を突き出した顔形状候補の場合、第一主成分を表す直線から大きく離れて分布するため、相関評価値は低い値となる。

【0048】

このように、顔形状（顔の表情）によっては、二次元平面上での評価値（顔テクスチャ評価値）のみで区別できる顔形状（相関評価値が高い顔形状候補）、および、二次元平面上での評価値のみでは区別できない顔形状（相関評価値が低い顔形状候補）が存在する。そのため、二次元平面上での評価値のみでは区別できない顔形状を区別するために、顔形状推定装置２００は、相関評価値が低い顔形状候補が二次元平面上に写っている領域の三次元計測を行い、実際の三次元形状を確認する。

【0049】

そこで、計測対象抽出装置１００は、以下の処理（Ｓ１０６，Ｓ１０７）によって、三次元形状の計測（測距）が必要となる顔形状候補を抽出する。

【0050】

Ｓ１０６において、判断部１０６は、各顔形状候補に対して、Ｓ１０５で算出された相関評価値が所定の閾値よりも小さいか否かを判断する。

【0051】

Ｓ１０７において、抽出部１０７は、Ｓ１０６で所定の閾値よりも小さい相関評価値を持つと判断された顔形状候補を抽出する。抽出された顔形状候補は、三次元計測（三次元測距）の対象となる。

【0052】

Ｓ１０８において、三次元計測部２０２は、Ｓ１０７で抽出された顔形状候補（閾値よりも小さい相関評価値を持つ顔形状候補）の三次元形状を計測（測距）する。

【0053】

Ｓ１０９において、再評価部２０３は、Ｓ１０８で取得した三次元形状（計測結果）と、顔形状候補の各特徴点の三次元座標との比較結果、および、顔テクスチャ評価値に基づいて新評価値を算出する。例えば、再評価部２０３は、三次元形状（計測結果）と、顔形状候補の特徴点の三次元座標との比較の際、まず、顔形状候補の特徴点の三次元座標と、二次元平面上に投影した特徴点において計測結果から取得した三次元座標との距離を、特徴点毎に算出する。次いで、再評価部２０３は、各特徴点で算出した距離の総和を算出し、距離の総和を比較結果として取得する。

【0054】

また、新評価値は、上述したように、計測結果と顔形状候補との比較結果を反映し、形状候補評価値の代わりとなる値であり、比較結果の値が小さいほど高い値となる。再評価部２０３は、例えば、次式（２）に従って、新評価値ｒを算出する。

【数2】

【0055】

ただし、e_tは、顔テクスチャ評価値であり、Ｓは、計測結果と顔形状候補との間の距離の総和（比較結果）である。なお、式（２）は、顔表情変化尤度の値が０から１の値をとる場合の式である。

【0056】

Ｓ１１０において、決定部２０４は、Ｓ１０４で算出された全ての顔形状候補の形状候補評価値と、Ｓ１０９で算出された新評価値とに基づいて、入力画像に対する推定顔形状を決定する。決定部２０４は、例えば、全顔形状候補の三次元座標の中から、新評価値および形状候補評価値を含む全ての評価値のうち、最も高い値を持つ顔形状候補を推定形状として決定する。

【0057】

Ｓ１１１において、顔形状推定装置２００は、顔形状の推定処理が終了した場合（Ｓ１１１：ＹＥＳ）、図６に示す処理を終了させ、顔形状の推定処理が終了していない場合（Ｓ１１１：ＮＯ）、Ｓ１０１の処理に戻る。

【0058】

このように、本実施の形態では、計測対象抽出装置１００は、二次元画像のみでは区別できない顔形状候補を抽出して、三次元形状の計測対象とする。具体的には、計測対象抽出装置１００は、顔テクスチャ評価値と顔表情変化尤度との相関評価値が閾値より小さい顔形状候補を抽出する。例えば、計測対象抽出装置１００は、顔テクスチャ評価値が高い値であるものの、顔表情変化尤度が低い値となる顔形状候補（例えば、図８における口を突き出した顔形状候補）のみを抽出する。

【0059】

また、顔形状推定装置２００において、形状候補評価部２０１が、複数の顔形状候補のそれぞれについて、顔テクスチャ評価値と顔表情変化尤度（第１の尤度）とに基づいて、形状候補評価値（第１の形状候補評価値）を算出し、三次元計測部２０２が、計測対象抽出装置１００で計測対象として抽出された顔形状候補の三次元形状を計測し、再評価部２０３が、抽出された顔形状候補のそれぞれについて、三次元形状を用いて、新評価値（第２の形状候補評価値）を算出し、決定部２０４が、形状候補評価値（第１の形状候補評価値）および新評価値（第２の形状候補評価値）に基づいて、複数の顔形状候補の中から、顔画像に対する推定形状とする候補を決定する。

【0060】

これにより、顔形状推定装置２００は、計測対象抽出装置１００で抽出された顔形状候補についてのみ、三次元形状を計測（測距）すればよい。すなわち、計測対象抽出装置１００によって、顔形状推定装置２００での三次元測距の対象を限定する。こうすることで、顔形状推定装置２００は、全ての顔形状候補に対して三次元形状を計測する必要が無くなり、三次元形状を計測するための計算量を低く抑えることが可能となる。

【0061】

また、計測対象抽出装置１００は二次元画像のみでは区別できない顔形状候補を抽出し、顔形状推定装置２００は抽出された顔形状候補について三次元形状を計測し、計測した三次元形状に基づいて形状候補評価値を再評価する。

【0062】

例えば、図８において、三次元計測の対象となる顔形状候補である口を突き出した顔形状候補については、顔テクスチャ評価値が高く、かつ、顔表情変化尤度が低くなるので、形状候補評価部２０１で算出される形状候補評価値は、口半開きの顔形状候補と比較して、小さい値になる。これに対して、顔形状推定装置２００が口を突き出した顔形状候補に対して三次元形状を計測した結果、三次元形状と顔形状候補との差異（式（２）に示す距離Ｓ）が小さい場合には、新評価値ｒは、口半開きの顔形状候補の形状候補評価値よりも高い値になる可能性がある。この場合、決定部２０４は、口を突き出した顔形状候補を入力画像に対する推定形状として決定する。すなわち、顔形状推定装置２００は、二次元画像により算出された形状候補評価値が小さい顔形状候補であっても、三次元形状を確認した結果、入力画像との差異が小さい場合には、形状候補評価値に相当する新評価値として高い値を算出する。つまり、顔形状推定装置２００は、三次元形状の計測対象である顔形状候補の評価値を、形状候補評価値から新評価値に更新していると言える。

【0063】

こうすることで、二次元画像のみでは安定して検出することが困難な立体的な表情変化が発生した顔の形状についても高精度で推定することができる。

【0064】

よって、本実施の形態によれば、二次元画像のみでは安定して検出することが困難な立体的な表情変化が発生した顔の形状を高精度かつ低計算量で推定することができる。

【0065】

＜実施の形態２＞
［計測対象抽出装置３００の構成］
図９は、本実施の形態に係る計測対象抽出装置３００の構成を示すブロック図である。なお、図９において、実施の形態１（図２）と同一構成である部分には同一の符号を付してその説明を省略する。

【0066】

図９において、顔テクスチャ評価値算出部３０１は、顔テクスチャ評価値算出部１０３と同様の処理（顔テクスチャ評価値の算出処理）に加え、入力部１０１から入力される画像（入力画像）と、顔形状候補保持部１０２から入力される顔形状候補の各顔部品とを比較して、顔部品毎の評価値（顔部品テクスチャ評価値）を算出する。「顔部品テクスチャ評価値」は、顔形状候補の特徴点毎、若しくは、目又は鼻等の顔部品毎に算出される値であり、それぞれの顔部品に対応する領域での入力画像と顔形状候補との一致度を表す。

【0067】

例えば、顔テクスチャ評価値算出部３０１は、まず、入力画像上に顔形状候補の各特徴点を投影し、各特徴点の入力画像平面上での二次元座標を算出する。次いで、顔テクスチャ評価値算出部３０１は、算出した二次元座標周辺の入力画像（テクスチャ）と、顔形状候補の顔部品の各特徴点のテクスチャとの一致度を算出する。一致度は、例えば、ＳＡＤ（Sum of Absolute Difference）又は正規化相互相関によって算出される。

【0068】

なお、顔テクスチャ評価値算出部３０１は、実施の形態１のように顔全体でのテクスチャの一致度として顔テクスチャ評価値を表すのではなく、全ての顔部品の顔部品テクスチャ評価値の総和として顔テクスチャ評価値を表してもよい。

【0069】

顔表情変化尤度算出部３０２は、顔表情変化尤度算出部１０４と同様の処理（顔表情変化尤度の算出処理）に加え、顔形状候補保持部１０２から入力される顔形状候補の顔部品のそれぞれについて、顔部品表情変化尤度を算出する。「顔部品表情変化尤度」は、顔形状候補の各顔部品の自然さを表す値（すなわち、顔部品の形状変化がどの程度顔として自然な形状をしているかを表す値）である。

【0070】

具体的には、顔表情変化尤度算出部３０２は、顔形状候補の各顔部品のそれぞれについて、基準となる顔形状の顔部品と顔形状候補の顔部品との間の尤度として顔部品表情変化尤度を算出する。例えば、顔表情変化尤度算出部３０２は、所定の時刻だけ過去に取得した顔形状（基準となる顔形状）における各特徴点の座標と、顔形状候補の各顔部品に対応する特徴点の座標との距離に反比例する関数の値を、当該顔部品の顔部品表情変化尤度としてもよい。または、顔表情変化尤度算出部３０２は、予め取得した無表情時の顔形状（基準となる顔形状）での各顔部品と、顔形状候補の各顔部品に対応する特徴点の座標との距離に反比例する関数の値を、当該顔部品の顔部品表情変化尤度としてもよい。

【0071】

相関評価部３０３は、相関評価部１０５と同様の処理（相関評価値の算出処理）に加え、顔テクスチャ評価値算出部３０１から入力される顔部品テクスチャ評価値と、顔表情変化尤度算出部３０２から入力される顔部品表情変化尤度との相関の強さを表す顔部品相関評価値を算出する。このように、計測対象抽出装置３００では、顔全体の相関評価値に加え、顔部分テクスチャ評価値と顔部分表情変化尤度との相関を表す顔部分相関評価値が顔部品毎に求められる。

【0072】

判断部３０４は、相関評価部３０３から入力される、各顔形状候補の相関評価値が所定の閾値よりも小さいか否かを判断する。さらに、判断部３０４は、相関評価値が所定の閾値よりも小さい顔形状候補について、各顔部品の顔部品相関表価値が所定の閾値よりも小さいか否かを判断する。判断部３０４は、判断結果を抽出部３０５へ出力する。

【0073】

抽出部３０５は、判断部３０４の判断結果に基づいて、顔形状候補保持部１０２が保持している顔形状候補において、相関評価値が閾値よりも低い顔形状候補の各顔部品のうち、顔部品相関評価値が閾値より低い顔部品のみを三次元形状の計測対象として抽出する。

【0074】

［顔形状推定装置４００の構成］
図１０は、本実施の形態に係る顔形状推定装置４００の構成を示すブロック図である。なお、図１０において、実施の形態１（図５）と同一構成である部分には同一の符号を付してその説明を省略する。

【0075】

図１０において、三次元計測部４０１は、計測対象抽出装置３００の抽出部３０５で抽出された顔形状候補の顔部品についてのみ、三次元形状を計測（測距）する。

【0076】

再評価部４０２は、三次元計測部４０１で計測された三次元形状（計測結果）を用いて、新評価値を算出する。すなわち、再評価部４０２は、顔部品の三次元形状と顔形状候補の顔部品との比較を行い、当該顔部品を含む顔形状候補に対する新評価値を算出する。

【0077】

［顔形状推定装置４００の動作］
以上の構成を有する顔形状推定装置４００の動作について説明する。図１１は、顔形状推定装置４００による顔形状の推定処理を示すフロー図である。なお、図１１において、実施の形態１（図６）と同一処理には同一符号を付してその説明を省略する。

【0078】

図１１に示すＳ２０１において、顔テクスチャ評価値算出部３０１は、各顔形状候補の顔テクスチャ評価値、および、各顔形状候補の各顔部品に対する顔部品テクスチャ評価値を算出する。

【0079】

Ｓ２０２において、顔表情変化尤度算出部３０２は、各顔形状候補の顔表情変化尤度、および、各顔形状候補の各顔部分に対する顔部品表情変化尤度を算出する。

【0080】

Ｓ２０３において、形状候補評価部２０１は、例えば、Ｓ２０１で算出された顔部品テクスチャ評価値およびＳ２０２で算出された顔部品表情変化尤度を用いて、顔形状候補の形状候補評価値を算出する。例えば、形状候補評価値は、各顔部品の顔部品テクスチャ評価値と顔部品表情変化尤度との積の総和として算出される。なお、形状候補評価部２０１は、実施の形態１と同様、Ｓ２０１で算出された顔テクスチャ評価値およびＳ２０２で算出された顔表情変化尤度を用いて、顔形状候補の形状候補評価値を算出してもよい。

【0081】

Ｓ２０４において、相関評価部３０３は、Ｓ２０１で算出された顔テクスチャ評価値と、Ｓ２０２で算出された顔表情変化尤度との相関評価値ｅと、Ｓ２０１で算出された各顔部品の顔部品テクスチャ評価値と、Ｓ２０２で算出された顔部品表情変化尤度との顔部品相関評価値e_pを算出する。

【0082】

顔部品相関評価値e_pは、実施の形態１における相関評価値eの算出と同様にして算出される。具体的には、相関評価部３０３は、まず、複数の顔形状候補の各顔部品テクスチャ評価値および顔部品表情変化尤度をサンプル集合とし、顔部品テクスチャ評価値および顔部品表情変化尤度を変数としたときの第一主成分を算出し、第一主成分を表す直線を取得する。なお、相関評価部３０３は、第一主成分を表す直線の代わりに、予め取得した顔テクスチャ評価値および顔表情変化尤度の比例直線を用いてもよい。次に、相関評価部３０３は、第一主成分である直線と評価対象である顔形状候補（顔部品）との間の距離d_pを算出する。そして、相関評価部３０３は、次式（３）に従って、顔部品相関評価値e_pを算出する。

【数3】

【0083】

Ｓ２０５において、判断部３０４は、各顔形状候補に対してＳ２０４で算出された相関評価値が所定の閾値よりも小さいか否かを判断する。さらに、判断部３０４は、相関評価値が閾値よりも小さい顔形状候補の各顔部品に対して、Ｓ２０４で算出された顔部品相関評価値が所定の閾値よりも小さいか否かを判断する。

【0084】

Ｓ２０６において、抽出部３０５は、Ｓ２０５で所定の閾値よりも小さい顔部品相関評価値を持つと判断された顔部品を抽出する。すなわち、相関評価値が閾値よりも小さい顔形状候補の顔部品のうち、顔部品相関評価値が閾値よりも小さい顔部品が、三次元計測（三次元測距）の対象となる。

【0085】

なお、抽出部３０５は、三次元計測の対象として、例えば、相関評価値が閾値よりも小さい顔形状候補において、閾値よりも小さい顔部品相関評価値e_pを持つ顔部品の全てを選択してもよい。または、抽出部３０５は、相関評価値が閾値よりも小さい顔形状候補において、顔部品相関評価値e_pが閾値より低い顔部品のうち、顔部品の総数に対する所定の割合の顔部品を顔部品相関評価値e_pが低いものから順に選択し、選択された顔部品を三次元計測の対象として抽出してもよい。

【0086】

Ｓ２０７において、三次元計測部４０１は、Ｓ２０６で抽出された顔形状候補の顔部品（顔部品相関評価値が閾値よりも小さい顔部品）の領域に対してのみ、三次元形状を計測（測距）する。なお、顔部品に対する測距の方法は、実施の形態１と同様でもよい。

【0087】

Ｓ２０８において、再評価部４０２は、Ｓ２０６で取得した顔部品の三次元形状（計測結果）と、顔形状候補の各顔部品との比較を行い、比較結果に基づいて新評価値を算出する。

【0088】

再評価部４０２は、例えば、顔形状候補の各顔部品の特徴点の三次元座標と、二次元平面上に投影した特徴点において計測結果から取得した三次元座標との距離を、特徴点毎に算出する。次いで、再評価部４０２は、各特徴点で算出した距離を比較結果として取得する。この際、再評価部４０２は、計測結果と、特徴点の三次元座標との比較を、三次元形状の計測（測距）を行った顔部品に含まれる特徴点に対してのみ行う。

【0089】

新評価値は、実施の形態１と同様、計測結果と顔形状候補との比較結果を反映し、形状候補評価値の代わりとなる値であり、比較結果の値が小さいほど高い値となる。再評価部４０２は、例えば、次式（４）に従って、新評価値rを算出する。

【数4】

【0090】

ただし、r'は、三次元形状を計測していない顔部品の顔部品テクスチャ評価値と顔部品表情変化尤度との積の総和であり、e_tpは、三次元形状を計測した各顔部品の顔テクスチャ評価値であり、S_pは、三次元形状を計測した各顔部品の計測結果と顔部品の特徴点との間の距離である。なお、式（４）は、表情変化尤度の値が０から１の値をとる場合の式である。

【0091】

このようにして、本実施の形態では、計測対象抽出装置３００は、顔全体での評価を行うとともに、顔部品毎にも評価を行う。これにより、実施の形態１と同様、顔形状推定装置２００での三次元形状の計測対象となる顔形状候補を限定することができる。また、本実施の形態によれば、三次元形状の計測対象となる顔形状候補において、三次元計測の対象となる顔部品をさらに限定する。こうすることで、実施の形態１と比較して、計算量をさらに削減して、顔の形状を高精度で推定することができる。

【0092】

＜実施の形態３＞
図１２は、本実施の形態に係る計測対象抽出装置５００の構成を示すブロック図である。なお、図１２において、実施の形態２（図９）と同一構成である部分には同一の符号を付してその説明を省略する。図１２に示す計測対象抽出装置５００では、実施の形態２（図９）と比較して、顔表情変化尤度算出部３０２の代わりに表情筋尤度算出部５０１を備える。

【0093】

図１２において、表情筋尤度算出部５０１は、顔形状候補保持部１０２から入力される顔形状候補を用いて、顔形状候補を構成する各顔部品を動かすための筋肉である表情筋の可動範囲に基づいて、表情筋尤度を顔部品毎に算出する。「表情筋尤度」は、例えば、顔形状候補の各顔部品の位置と、各顔部品を動かす表情筋の可動範囲との一致度を表す。

【0094】

図１３は、本実施の形態に係る顔形状推定装置による顔形状の推定処理を示すフロー図である。なお、本実施の形態に係る顔形状推定装置は、実施の形態２に係る顔形状推定装置４００（図１０）と比較して、計測対象抽出装置３００（図９）の代わりに計測対象抽出装置５００（図１２）を備える点のみが異なるので、詳細な説明を省略する。また、図１３において、実施の形態２（図１１）と同一処理には同一符号を付してその説明を省略する。

【0095】

Ｓ３０１において、表情筋尤度算出部５０１は、各顔部品を動かすための表情筋の可動範囲に基づいて、顔形状候補の顔表情変化尤度および表情筋変化尤度を算出する。

【0096】

表情筋は、顔の表情を動かすための筋肉であり、眼輪筋および大頬骨筋等の筋肉の総称である。本実施の形態では、計測対象抽出装置５００は、顔形状候補の各特徴点を動かす表情筋の伸縮方向を予め取得している。表情筋尤度算出部５０１は、基準となる顔形状の特徴点の位置と顔形状候補の各顔部品の特徴点とを比較して、実施の形態２における顔部品表情変化尤度の代わりに、基準となる顔形状の特徴点から顔部品の位置への実際の移動方向（及び距離）と、各顔部品を動かす表情筋の可動範囲との一致度を表す値を表情筋尤度として算出する。

【0097】

具体的には、表情筋尤度算出部５０１は、以下の通りにして表情筋尤度を算出する。

【0098】

表情筋尤度算出部５０１は、表情筋の伸縮方向を取得する際、例えば、標準的な頭部形状の人において、表情筋が骨格と付着する端点を結ぶ直線を、顔形状候補の特徴点を動かす表情筋毎に算出する。そして、表情筋尤度算出部５０１は、算出した直線と平行な単位ベクトルを、各表情筋の伸縮方向として取得する。ただし、１つの特徴点を動かす表情筋が複数ある場合には、表情筋尤度算出部５０１は、その複数の表情筋の全ての伸縮方向（単位ベクトル）を、当該特徴点を動かす表情筋の伸縮方向として取得する。

【0099】

次いで、表情筋尤度算出部５０１は、表情筋尤度を算出する際、例えば、各特徴点において、基準となる顔形状の特徴点と顔形状候補の特徴点とを結ぶベクトルと、表情筋の伸縮方向として取得した単位ベクトルとのなす角をθとし（図１４参照）、次式（５）に示す表情筋尤度ｋを算出する。

【数5】

【0100】

ただし、ｍは基準となる顔形状の特徴点と顔形状候補の特徴点とを結ぶベクトルの絶対値である（図１４参照）。なお、基準となる顔形状は、所定の時間だけ過去の顔形状推定結果でもよく、予め取得した無表情時の顔形状でもよい。また、特徴点を動かす表情筋が複数ある場合、表情筋尤度算出部５０１は、全ての伸縮方向のベクトルに対して式（５）に示すｋを算出し、算出したｋのうち、最大値を当該特徴点の表情筋尤度としてもよい。

【0101】

式（５）より、表情筋の伸縮方向とは異なる方向に特徴点が移動するほど（θが大きくなるほど）、表情筋尤度ｋは小さい値をとる（θ＝９０°のとき、ｋは最小値となる）。また、式（５）より、顔形状候補の特徴点の基準に対する移動量が大きいほど（ｍが大きくなるほど）、表情筋尤度ｋは小さい値をとる。すなわち、表情筋尤度ｋは、顔表情変化尤度と同様、基準となる顔形状からの変化量が大きいほど、低い値となる。

【0102】

このようにして、本実施の形態では、計測対象抽出装置５００は、特徴点の動く方向および範囲を、表情筋という実際に特徴点の動きを制御するもので規定し、顔形状候補の特徴点に対する表情筋との適合度を表情筋尤度として取得する。これにより、本実施の形態では、実施の形態１および２における顔表情変化尤度と同様、表情筋尤度として、顔形状が表す表情変化の顔としての自然さを正確に表せるため、顔形状の推定精度を向上させることができる。

【0103】

＜実施の形態４＞
図１５は、本実施の形態に係る顔形状推定装置６００の構成を示すブロック図である。なお、図１５において、実施の形態１（図５）と同一構成である部分には同一の符号を付してその説明を省略する。

【0104】

図１５において、再評価部６０１は、三次元計測部２０２から入力される計測結果と、入力部１０１から入力される画像（入力画像）とから、新たな顔形状候補を生成し、顔形状候補群に追加する。また、再評価部６０１は、顔形状候補群に追加される新たな顔形状候補について、形状候補評価部２０１で得られる値と同様の形状候補評価値を、新評価値として算出する。

【0105】

図１６は、顔形状推定装置６００による顔形状の推定処理を示すフロー図である。なお、図１６において、実施の形態１（図６）と同一処理には同一符号を付してその説明を省略する。

【0106】

図１６に示すＳ４０１において、再評価部６０１は、まず、入力画像平面に投影した顔形状候補の特徴点の奥行きをＳ１０８で取得された計測結果を用いて設定し、設定後の顔形状候補の特徴点の三次元座標を、新たな顔形状候補の特徴点の三次元座標として取得する。これにより、顔形状候補群に、新たな顔形状候補が追加される。

【0107】

次いで、再評価部６０１は、新たな顔形状候補の特徴点の元となった特徴点に対応するテクスチャを、当該新たな顔形状候補のテクスチャとして設定する。また、再評価部６０１は、新たな顔形状候補の元となった顔形状候補に対する顔テクスチャ評価値を、当該新たな顔形状候補に対する顔テクスチャ評価値に設定する。また、再評価部６０１は、新たな顔形状候補に対する顔表情変化尤度を、取り得る最大の値に設定する。そして、再評価部６０１は、設定した顔テクスチャ評価値および顔表情変化尤度を用いて、新たな顔形状候補に対する形状候補評価値（例えば、顔テクスチャ評価値と顔表情変化尤度との積または和）を算出する。なお、取り得る最大の値とは、例えば、顔表情変化尤度が-1から1の間の実数値をとる場合、最大値である１のことを意味する。

【0108】

このように、本実施の形態では、顔形状推定装置６００は、三次元形状の計測結果を特徴点の座標に反映させた新たな顔形状候補を追加する。これにより、顔形状推定装置６００は、三次元形状の実測値を考慮した顔形状候補を用いて顔形状の推定を行うことにより、顔形状の推定精度を向上させることができる。

【0109】

以上、本発明の各実施の形態について説明した。

【0110】

なお、上記各実施の形態に係る顔形状推定装置の各構成部の機能は、マイクロコンピュータが制御プログラムを実行して実現されてもよい。例えば、顔形状推定装置は、制御部であるＣＰＵと、制御プログラムが記録されたＲＯＭと、プログラム実行用のＲＡＭと、撮像装置であるカメラと、投光器と、表示・警報装置である表示部とを有し、制御部が顔形状推定装置の各構成部の動作を制御してもよい。図５，１０，１５に示す各構成部は、制御部が実行する顔形状推定処理をブロックとして明示したものである。

【0111】

また、顔形状推定装置（図５，１０，１５）は、パーソナルコンピュータ、ＯＡ機器、携帯電話等の情報端末、または、自動車、飛行機、船、電車等の移動手段に搭載される情報提供装置として有用である。また、顔形状推定装置（図５，１０，１５）は、監視、警報装置、ロボット、または、映像音響再生装置等の用途にも応用できる。

【産業上の利用可能性】

【0112】

本発明は、二次元画像だけでは推定が困難な表情変化をした顔の形状でも高精度かつ低計算量で推定することができるものとして有用である。

【符号の説明】

【0113】

１００，３００，５００ 計測対象抽出装置
２００，４００，６００ 顔形状推定装置
１０１ 入力部
１０２，１０２ａ，１０２ｂ 顔形状候補保持部
１０３，３０１ 顔テクスチャ評価値算出部
１０４，３０２ 顔表情変化尤度算出部
１０５，３０３ 相関評価部
１０６，３０４ 判断部
１０７，３０５ 抽出部
２０１ 形状候補評価部
２０２，４０１ 三次元計測部
２０３，４０２，６０１ 再評価部
２０４ 決定部
５０１ 表情筋尤度算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】