特許 6417664 人物属性推定装置、人物属性推定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6417664

(24)【登録日】2018年10月19日

(45)【発行日】2018年11月7日

(54)【発明の名称】人物属性推定装置、人物属性推定方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20181029BHJP

   G06T 7/70 20170101ALI20181029BHJP

   G06T 1/00 20060101ALI20181029BHJP

【ＦＩ】

   G06T7/00 660A

   G06T7/70 B

   G06T1/00 340A

【請求項の数】14

【全頁数】23

(21)【出願番号】特願2013-271942(P2013-271942)

(22)【出願日】2013年12月27日

(65)【公開番号】特開2015-125731(P2015-125731A)

(43)【公開日】2015年7月6日

【審査請求日】2016年8月16日

(73)【特許権者】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100095957

【弁理士】

【氏名又は名称】亀谷 美明

(74)【代理人】

【識別番号】100096389

【弁理士】

【氏名又は名称】金本 哲男

(74)【代理人】

【識別番号】100101557

【弁理士】

【氏名又は名称】萩原 康司

(72)【発明者】

【氏名】栗田 尚樹

(72)【発明者】

【氏名】山本 一真

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１２−２２６６０９（ＪＰ，Ａ）

【文献】 特開２００９−２３０７５１（ＪＰ，Ａ）

【文献】 特開２０１０−００９５１７（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０５３３１１（ＷＯ，Ａ１）

【文献】 特開２０１３−１５６７１８（ＪＰ，Ａ）

【文献】 特開２００８−２８２０８９（ＪＰ，Ａ）

【文献】 山本 一真 外1名，顔向き正規化と部分推定結果の統合による多様な顔向きに対応した性別推定，情報処理学会 研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ） ２０１３−ＣＶＩＭ−１８７，日本，情報処理学会，２０１３年 ５月２３日，pp.1-7

【文献】 淺水 宏文 外3名，加齢の影響が大きいＧａｂｏｒ特徴成分を用いた顔画像からの年齢層の推定，映像情報メディア学会技術報告 Ｖｏｌ．３７ Ｎｏ．８ ヒューマンインフォメーション （ＨＩ２０１３−１〜３２） メディア工学 （ＭＥ２０１３−２９〜６０） 映像表現＆コンピュータグラフィックス （ＡＴ２０１３−１〜３２），日本，映像情報メディア学会，２０１３年 ２月１１日，第37巻 第8号，pp.57-60，ISSN 1342-6893

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

動画像のフレーム画像から検出された、人物の複数の顔画像の顔向きを正規化する顔向き正規化処理部と、
前記複数の顔画像を正規化した複数の顔向き正規化画像を、それぞれ前記人物の属性に関する同一粒度の評価指標のいずれかに評価する属性評価処理部と、
それぞれの前記評価の結果の信頼度を求める信頼度演算処理部と、
前記人物の複数の顔向き正規化画像それぞれの前記評価の結果を、それぞれの前記信頼度を考慮に入れつつ統合して、あらかじめ設定した粒度で人物属性を推定する人物属性推定処理部と、
を備えることを特徴とする人物属性推定装置。

【請求項2】

前記人物属性推定処理部は、前記評価の結果と前記信頼度に応じた重み付けとに基づいて、前記人物属性を推定することを特徴とする請求項１に記載の人物属性推定装置。

【請求項3】

前記人物属性推定処理部は、所定基準以下の信頼度の評価結果を除いて前記人物属性を推定することを特徴とする請求項１又は２に記載の人物属性推定装置。

【請求項4】

前記人物属性推定処理部は、前記人物属性の推定結果を、当該推定結果の信頼度と併せて出力することを特徴とする請求項１〜３のいずれか一項に記載の人物属性推定装置。

【請求項5】

前記人物属性推定処理部は、複数の顔向き正規化画像についての前記評価の結果の分散度を考慮して前記人物属性の推定結果の信頼度を求めることを特徴とする請求項４に記載の人物属性推定装置。

【請求項6】

前記属性評価処理部は、前記顔向き正規化画像の特徴量を、複数の顔画像の学習データの特徴量を抽出した統計情報に照らして、前記属性の評価を行うものであり、
前記信頼度演算処理部は、前記顔向き正規化画像と前記複数の顔画像の学習データとの類似度を求めることを特徴とする請求項１〜５のいずれか一項に記載の人物属性推定装置。

【請求項7】

前記信頼度演算処理部は、前記類似度を段階的に評価することを特徴とする請求項６に記載の人物属性推定装置。

【請求項8】

前記信頼度演算処理部は、カスケード型識別器における識別通過数により前記類似度を段階的に評価することを特徴とする請求項７に記載の人物属性推定装置。

【請求項9】

前記信頼度演算処理部は、前記顔画像の検出サイズに基づいて前記信頼度を求めることを特徴とする請求項１〜５のいずれか一項に記載の人物属性推定装置。

【請求項10】

前記信頼度演算処理部は、前後のフレーム画像間での顔領域の動きに基づいて前記信頼度を求めることを特徴とする請求項１〜８のいずれか一項に記載の人物属性推定装置。

【請求項11】

前記信頼度演算処理部は、前記前後のフレーム画像間での前記顔領域のオプティカルフロー強度に基づいて前記信頼度を求めることを特徴とする請求項１０に記載の人物属性推定装置。

【請求項12】

前記属性が年齢、性別又は表情であることを特徴とする請求項１〜１１のいずれか一項に記載の人物属性推定装置。

【請求項13】

動画像のフレーム画像から検出された、人物の複数の顔画像の顔向きを正規化するステップと、
前記複数の顔画像を正規化した複数の顔向き正規化画像を、それぞれ前記人物の属性に関する同一粒度の評価指標のいずれかに評価するステップと、
それぞれの前記評価の結果の信頼度を求めるステップと、
前記人物の複数の顔向き正規化画像それぞれの前記評価の結果を、それぞれの前記信頼度を考慮に入れつつ統合して、あらかじめ設定した粒度で人物属性を推定するステップと、
を備えることを特徴とする人物属性推定方法。

【請求項14】

動画像のフレーム画像から検出された、人物の複数の顔画像の顔向きを正規化する機能と、
前記複数の顔画像を正規化した複数の顔向き正規化画像を、それぞれ前記人物の属性に関する同一粒度の評価指標のいずれかに評価する機能と、
それぞれの前記評価の結果の信頼度を求める機能と、
前記人物の複数の顔向き正規化画像それぞれの前記評価の結果を、それぞれの前記信頼度を考慮に入れつつ統合して、あらかじめ設定した粒度で人物属性を推定する機能と、
をコンピュータに実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔画像から性別や年齢等の人物属性を推定する人物属性推定装置、人物属性推定方法及びプログラムに関する。

【背景技術】

【0002】

ショッピングセンター等の店舗へ来店する顧客の性別や年齢等の人物属性を把握することで、来店する客層に応じた販売促進の企画や広告等のマーケティングを行うことができる。人物属性を把握する方法としては、店舗に設置されたカメラ等によって撮像された画像から、画像に写っている人物属性を自動的に推定することで、多くの人物属性の把握を簡便に行うことができる。

【0003】

例えば、特許文献１には、顔特徴量に基づいて、その顔を有する人物の年齢が、あらかじめ設定された複数の年齢範囲のいずれに分類されるのかを判定して、その人物の年齢を推定する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−００３６６２号公報

【非特許文献】

【0005】

【非特許文献1】P. Viola and M. Jones, ”Rapid Object Detection using a Boosted Cascade of Simple Features. ”Computer Vision and Pattern Recognition, 2001. CVPR 2001.Proceedings of the 2001 IEEE Computer Society Conference on, Vol.1, pp.511-518,2001.

【非特許文献2】T. Cootes, G. Edwards andC. Taylor, ”Active Appearance Models. ” Pattern Analysis and Machine Intelligence, IEEE Transactions on,Vol.23, No.6, pp.681-685, 2001.

【非特許文献3】坂谷達夫，山口修，”顔認識のための射影変換に基づいた３次元正規化法”，信学技法PRMU, Vol.105, No.375, pp.49-54, 2005

【非特許文献4】R. Lienhart and J. Maydt,”An Extended Set of Haar-like Features for Rapid ObjectDetection”, Image Processing. 2002. Proceedings. 2002International Conference on, Vol.1, pp.900-903, 2002

【非特許文献5】C. Huang et al., ”Vector Boosting for Rotation Invariant Multi-View Face Detection”, Computer Vision, 2005. ICCV 2005. Tenth IEEE InternationalConference on, Vol.1, pp.446-453, 2005.

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記の特許文献１は、顔特徴量に基づき二つの年齢帯をスコア判定により判別する２クラス判定を、広い幅の上層の年齢帯から、より狭い幅の最下層の年齢帯に至るまで繰り返すことで、人物の年齢帯を絞り込むツリー構造を有している。また、特許文献１は、スコア値が二つの年齢帯の境目付近に該当するような場合には、２クラス判定をそこで中止し、その人物が二つの年齢帯の両方に属するものとして扱うようにしている。すなわち、人物の年齢が二つの年齢帯のいずれに属するかの「らしさ」を表すスコア値が、二つの年齢帯の境目付近に該当する場合には、最下層の年齢帯まで絞り込む前に判定を中止するものとなっている。

【0007】

ここで、人物属性の統計をマーケティング等に利用することを考えた場合、人物属性の推定結果は、より下層の属性として出力されることが望ましい。しかしながら、特許文献１においては、同一人物の複数の顔画像に対する判定結果が広い幅の年齢帯に属することになると、それらの判定結果を統合して得られた属性の推定結果は、より広い幅の年齢帯となるおそれがある。

【0008】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、様々な顔向きの顔画像それぞれの属性評価結果に対する信頼度を考慮して、あらかじめ設定した所望の粒度の人物属性を推定することが可能な、新規かつ改良された人物属性推定装置、人物属性推定方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明のある観点によれば、動画像のフレーム画像から検出された、人物の複数の顔画像の顔向きを正規化する顔向き正規化処理部と、前記複数の顔画像を正規化した複数の顔向き正規化画像を、それぞれ前記人物の属性に関する同一粒度の評価指標のいずれかに評価する属性評価処理部と、それぞれの前記評価の結果の信頼度を求める信頼度演算処理部と、前記人物の複数の顔向き正規化画像それぞれの前記評価の結果を、それぞれの前記信頼度を考慮に入れつつ統合して、あらかじめ設定した粒度で人物属性を推定する人物属性推定処理部と、を備えることを特徴とする人物属性推定装置が提供される。

【0010】

また、前記人物属性推定処理部は、前記評価結果と前記信頼度に応じた重み付けとに基づいて、前記人物属性を推定するものであってもよい。

【0011】

また、前記人物属性推定処理部は、所定基準以下の信頼度の評価結果を除いて前記人物属性を推定するものであってもよい。

【0012】

また、前記人物属性推定処理部は、前記人物属性の推定結果を、当該推定結果の信頼度と併せて出力するものであってもよい。

【0013】

また、前記人物属性推定処理部は、複数の顔向き正規化画像についての前記評価結果の分散度を考慮して前記人物属性の推定結果の信頼度を求めるものであってもよい。

【0014】

また、前記属性評価処理部は、前記顔向き正規化画像の特徴量を、複数の顔画像の学習データの特徴量を抽出した統計情報に照らして、前記属性の評価を行うものであり、前記信頼度演算処理部は、前記顔向き正規化画像と前記複数の顔画像の学習データとの類似度を求めるものであってもよい。

【0015】

また、前記信頼度演算処理部は、前記類似度を段階的に評価するものであってもよい。

【0016】

また、前記信頼度演算処理部は、カスケード型識別器における識別通過数により前記類似度を段階的に評価するものであってもよい。

【0017】

また、前記信頼度演算処理部は、前記顔画像の検出サイズに基づいて前記信頼度を求めるものであってもよい。

【0018】

また、前記信頼度演算処理部は、前後のフレーム画像間での顔領域の動きに基づいて前記信頼度を求めるものであってもよい。

【0019】

また、前記信頼度演算処理部は、前記前後のフレーム画像間での前記顔領域のオプティカルフロー強度に基づいて前記信頼度を求めるものであってもよい。

【0020】

また、前記属性が年齢、性別又は表情であってもよい。

【0021】

また、上記課題を解決するために、本発明の別の観点によれば、動画像のフレーム画像から検出された、人物の複数の顔画像の顔向きを正規化するステップと、前記複数の顔画像を正規化した複数の顔向き正規化画像を、それぞれ前記人物の属性に関する同一粒度の評価指標のいずれかに評価するステップと、それぞれの前記評価の結果の信頼度を求めるステップと、前記人物の複数の顔向き正規化画像それぞれの前記評価の結果を、それぞれの前記信頼度を考慮に入れつつ統合して、あらかじめ設定した粒度で人物属性を推定するステップと、を備えることを特徴とする人物属性推定方法が提供される。

【0022】

また、上記課題を解決するために、本発明のさらに別の観点によれば、動画像のフレーム画像から検出された、人物の複数の顔画像の顔向きを正規化する機能と、前記複数の顔画像を正規化した複数の顔向き正規化画像を、それぞれ前記人物の属性に関する同一粒度の評価指標のいずれかに評価する機能と、それぞれの前記評価の結果の信頼度を求める機能と、前記人物の複数の顔向き正規化画像それぞれの前記評価の結果を、それぞれの前記信頼度を考慮に入れつつ統合して、あらかじめ設定した粒度で人物属性を推定する機能と、をコンピュータに実現させるためのプログラムが提供される。

【発明の効果】

【0023】

以上説明したように本発明によれば、様々な顔向きの顔画像から人物属性を推定する際に、それぞれの顔画像の属性評価の信頼度を考慮しつつ、詳細な人物属性の推定結果を出力することが可能となる。

【図面の簡単な説明】

【0024】

【図1】本発明の第１の実施形態にかかる人物属性推定装置を示すブロック図である。

【図2】同実施形態にかかる人物属性推定処理を示すフローチャートである。

【図3】同実施形態にかかる顔検出処理の一例の処理結果を示す説明図である。

【図4】同実施形態にかかる顔特徴点抽出処理の一例の処理結果を示す説明図である。

【図5】同実施形態にかかる顔向き正規化処理の一例の処理結果を示す説明図である。

【図6】同実施形態にかかる信頼度演算処理に用いる学習サンプルと未学習サンプルの一例を示す説明図である。

【図7】カスケード識別器の構造の一例を示す説明図である。

【図8】本発明の第２の実施形態にかかる人物属性推定装置を示すブロック図である。

【図9】同実施形態にかかる人物属性推定処理を示すフローチャートである。

【図10】同実施形態にかかる顔トラッキング処理の一例を示す説明図である。

【発明を実施するための形態】

【0025】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0026】

＜＜第１の実施形態＞＞
＜１．人物属性推定装置の基本構成＞
まず、図１を参照して、第１の実施形態にかかる人物属性推定装置の概略構成について説明する。図１は、第１の実施形態にかかる人物属性推定装置１００を示すブロック図である。人物属性推定装置１００は、同一人物が撮影された複数枚の画像を入力画像として、画像中の人物の性別や年齢等の属性を推定する装置である。

【0027】

人物属性推定装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により構成される情報処理装置である。また、人物属性推定装置１００は、例えばカメラ等と一体となった装置であってもよい。さらに、人物属性推定装置１００は、後述する人物属性推定装置１００の機能を有するプログラムであっても実現できる。

【0028】

図１に示したように、人物属性推定装置１００は、例えば記憶部１１０と、入力部１２０と、顔検出処理部１３０と、顔特徴点抽出処理部１４０と、顔向き正規化処理部１５０と、属性評価処理部１６０と、信頼度演算処理部１７０と、人物属性推定処理部１８０とを備える。

【0029】

記憶部１１０は、例えばカメラ等により撮像された人物の顔が含まれる画像を記憶している。画像は、例えばカメラ等により撮像された人物や風景等の画像である。また、記憶部１１０は、後述するように、人物属性推定処理部１８０が各顔向き正規化画像の人物属性の評価結果と信頼度とに基づいて人物属性を推定する際に用いる、信頼度に対する重み付けの情報を記憶している。

【0030】

入力部１２０は、例えばカメラ等により撮像された人物の顔が含まれる画像を、人物属性推定装置１００に接続された外部装置から取得する。外部装置は、例えば人物属性推定装置１００に直接又はネットワークを介して接続されたカメラ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｉｒｉａｌ Ｂｕｓ）メモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、光ディスク等の記録媒体、あるいは、当該記録媒体に記憶された情報を読み取るデバイス等である。本実施形態にかかる人物属性推定装置１００では、記憶部１１０に記憶された画像又は入力部１２０が取得した画像の少なくともいずれか一方の画像から、人物の属性の推定を行う。

【0031】

顔検出処理部１３０は、画像中の人物の顔を含む領域（以下、「顔領域」とする。）を検出する。顔検出処理部１３０により処理される画像は、例えば記憶部１１０又は入力部１２０から取得される。顔検出処理部１３０は、画像中から顔領域を抜き出した顔画像を生成する。

【0032】

顔特徴点抽出処理部１４０は、例えば顔検出処理部１３０で生成された顔画像から、顔の特徴を表す顔特徴点を抽出する。顔特徴点としては、顔のパーツである目、鼻、口等がある。顔特徴点抽出処理部１４０で抽出された顔特徴点は、顔向き正規化処理部１５０に出力される。

【0033】

顔向き正規化処理部１５０は、顔特徴点及び顔画像から、顔画像の顔向きを正規化した顔向き正規化画像を生成する。顔画像の正規化とは、例えば正面を向いた顔向きを基準として、顔が正面以外を向いている顔画像を、基準となる正面を向いた顔画像になるように変換することである。顔向き正規化処理部１５０は、生成した顔向き正規化画像を、属性評価処理部１６０及び信頼度演算処理部１７０に出力する。

【0034】

属性評価処理部１６０は、顔向き正規化処理部１５０により生成された顔向き正規化画像を、性別や年齢等の人物属性について、あらかじめ設定された同一粒度の評価指標のいずれかに評価する。本実施形態にかかる属性評価処理部１６０は、生成された顔向き正規化画像の状態にかかわらず、すべての顔向き正規化画像を、同一粒度の評価指標のいずれかに評価する。属性評価処理部１６０は、顔向き正規化画像ごとに、人物属性の評価結果を人物属性推定処理部１８０に出力する。

【0035】

評価指標は、例えば人物属性が性別である場合、男性らしさ又は女性らしさを表す評価値とすることができる。また、例えば人物属性が年齢である場合、年齢をそのまま評価指標とし、又は所定の年齢帯を評価指標とすることができる。「同一粒度の評価指標のいずれかに評価する」とは、例えば、評価指標が男性らしさ又は女性らしさを表す評価値の場合には、評価値が等間隔で表されており、各顔向き正規化画像に対して、必ずいずれかの評価値を与えることを意味する。また、評価指標が年齢そのものである場合には、「同一粒度の評価指標のいずれかに評価する」とは、各顔向き正規化画像を、必ずいずれかの年齢に評価することを意味する。さらに、評価指標が年齢帯である場合には、「同一粒度の評価指標のいずれかに評価する」とは、各年齢帯が同一の幅で規定されており、各顔向き正規化画像を、必ずいずれかの年齢帯に評価することを意味する。

【0036】

信頼度演算処理部１７０は、顔向き正規化処理部１５０で生成された顔向き正規化画像ごとに、属性評価処理部１６０で求めた属性評価結果に対する信頼度を求める。画像から検出される顔領域の大きさや明暗差、顔の表情等の撮影状態により顔向き正規化画像の状態に差が生じ、属性評価処理部１６０にかかる属性評価結果の精度にばらつきが発生する。このため、属性評価結果の信頼度も顔向き正規化画像ごとにそれぞれ異なることから、信頼度演算処理部１７０において、各属性評価結果に対する信頼度を求める。信頼度演算処理部１７０は、顔向き正規化画像ごとに、属性評価結果に対する信頼度を人物属性推定処理部１８０に出力する。

【0037】

人物属性推定処理部１８０は、属性評価処理部１６０で求めた人物属性の評価結果と、信頼度演算処理部１７０で求めた信頼度とを統合して、あらかじめ設定した粒度の人物属性を推定する。人物属性の推定は、属性評価結果の信頼度が高いほど人物属性の推定結果により反映されやすくなるように評価結果を統合して、顔画像の人物の属性を推定する。

【0038】

例えば、人物属性推定処理部１８０は、各顔向き正規化画像に対する属性評価結果と、当該属性評価結果に対応する信頼度に応じた重み付けとに基づいて、人物属性を推定する。例えば、信頼度が低い属性評価結果ほど重み付けが小さくなり、信頼度が高い属性評価結果の重みが大きくなるように、各属性評価結果に対して設定される値である。重み付けには、記憶部１１０にあらかじめ記憶された、信頼度に応じた値が使用される。

【0039】

「あらかじめ設定した粒度の人物属性を推定する」とは、人物属性が性別である場合には、人物の性別を男性又は女性のいずれかに属させるようにあらかじめ設定し、そのいずれかに推定することである。また、人物属性が年齢や年齢帯である場合には、「あらかじめ設定した粒度の人物属性を推定する」とは、人物の年齢を年齢そのもの又は所定の年齢帯のいずれかに属させるようにあらかじめ設定し、そのいずれかに推定することである。

【0040】

＜２．処理フロー＞
次に、図１及び図２を参照して、第１の実施形態にかかる人物属性推定装置１００による人物属性推定処理について説明する。図２は、同実施形態にかかる人物属性推定処理を示すフローチャートである。

【0041】

まず、顔検出処理部１３０は、記憶部１１０に記憶された画像又は入力部１２０が取得した画像から、顔領域を抽出し、画像から顔領域を抜き出した顔画像を生成する顔検出処理を実行する（Ｓ１００）。

【0042】

次いで、顔特徴点抽出処理部１４０は、顔検出処理部１３０で生成された顔画像から、例えば顔のパーツである目、鼻、口の端部や中央部等の顔特徴点を抽出する顔特徴点抽出処理を実行する（Ｓ１０４）。

【0043】

次いで、顔向き正規化処理部１５０は、顔検出処理部１３０で生成された顔画像及び顔特徴点抽出処理部１４０にて抽出された顔特徴点から、顔画像の顔向きを正規化した顔向き正規化画像を生成する顔向き正規化処理を実行する（Ｓ１０８）。

【0044】

次いで、属性評価処理部１６０は、顔向き正規化処理部１５０で生成された顔向き正規化画像を、性別や年齢等の人物属性について、あらかじめ設定した同一粒度の評価指標のいずれかに評価する属性評価処理を実行する（Ｓ１１２）。本実施形態では、生成された顔向き正規化画像の状態にかかわらず、すべての顔向き正規化画像を、同一粒度の評価指標のいずれかに評価する。

【0045】

次いで、信頼度演算処理部１７０は、顔向き正規化処理部１５０で生成された顔向き正規化画像ごとに、属性評価結果に対する信頼度を求める信頼度演算処理を実行する（Ｓ１１６）。

【0046】

次いで、人物属性推定処理部１８０は、属性評価及び信頼度の演算が終了した顔向き正規化画像のサンプル数ｉが、あらかじめ設定した閾値Ｎ以上となったか否かを判別する（Ｓ１２０）。サンプル数ｉが閾値Ｎに満たない場合（Ｓ１２０：Ｎｏ）、サンプル数ｉのカウンタ値をｉ＝ｉ＋１とし（Ｓ１２８）、サンプル数ｉが閾値Ｎ以上となるまで、顔検出処理（Ｓ１００）から信頼度演算処理（Ｓ１１６）までの各処理を繰り返す。

【0047】

サンプル数ｉが閾値Ｎに到達すると（Ｓ１２０：Ｙｅｓ）、人物属性推定処理部１８０は、属性評価処理部１６０で求めた顔向き正規化画像ごとの人物属性の評価結果と、信頼度演算処理部１７０で求めた顔向き正規化画像ごとの属性評価結果の信頼度とを統合して、あらかじめ設定した粒度で顔画像の人物の属性を推定する人物属性推定処理を実行する（Ｓ１２４）。例えば、人物属性推定処理部１８０は、顔向き正規化画像ごとの属性評価結果と、当該顔向き正規化画像に対応する信頼度に応じた重み付けとに基づいて、人物属性を推定する。例えば、信頼度が低い属性評価結果ほど重み付けが小さくなり、信頼度が高い属性評価結果の重みが大きくなるように、各属性評価結果に対して設定される値とすることができる。

【0048】

以上、第１の実施形態にかかる人物属性推定処理の概要について説明した。本実施形態にかかる人物属性推定処理では、画像から検出された顔画像のすべてについて顔向き正規化画像を生成し、それぞれの顔向き正規化画像に対して人物属性評価及び信頼度演算を行う。したがって、顔画像の撮影状態にかかわらず、その信頼度とともに属性評価結果が得られる。その結果、信頼度を考慮に入れつつ複数の属性評価結果を統合して、人物属性を推定することができる。

【0049】

また、第１の実施形態にかかる人物属性推定処理では、複数の顔向き正規化画像の属性評価結果及び信頼度を統合して、あらかじめ設定した粒度の人物属性を推定する。したがって、人物属性の推定結果の情報を利用するユーザが望む人物属性が得られるようになり、利用に適した人物属性の推定結果とすることができる。

【0050】

＜３．処理例＞
次に、図３から図７を参照して、第１の実施形態にかかる人物属性推定装置１００により、人物属性として性別を推定する一処理例について説明する。

【0051】

［３−１．顔検出処理（ステップＳ１００）］
まず、図２のステップＳ１００における顔検出処理は、画像中の人物の顔のある領域を検出し、画像中から顔領域を抜き出した顔画像を生成する処理である。顔検出処理は、既知の様々な手法を用いることができる。本処理例にかかる顔検出処理では、例えば非特許文献１に開示されているように、ＡｄａＢｏｏｓｔベースの識別器をカスケード状に並べて効率よく検出する方法等を用いる。

【0052】

図３は、本処理例にかかる顔検出処理の処理結果を示す説明図である。図３に示した例では、顔検出処理によって抽出された画像１０内の顔領域２０を矩形で示す。顔領域２０は、例えば顔特徴点である目、鼻、口が少なくとも含まれるように抽出される。また画像１０からこの顔領域２０を抜き出した画像が、顔画像となる。

【0053】

［３−２．顔特徴点抽出処理（ステップＳ１０４）］
図２のステップＳ１０４における顔特徴点抽出処理は、顔検出処理部１３０により生成された顔画像から、顔のパーツである目、鼻、口等の顔特徴点を抽出する処理である。顔特徴点抽出処理は、既知の様々な手法を用いることができる。本処理例にかかる顔特徴点抽出処理では、例えば非特許文献２に開示されているように、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ）を用いて抽出する方法等を用いる。

【0054】

図４は、本処理例にかかる顔特徴点抽出処理の処理結果を示す説明図である。図４に示した例では、顔特徴点抽出処理により、顔領域２０から顔特徴点Ｐ１〜Ｐ８が抽出されている。本処理例では、顔特徴点として、両目の目頭Ｐ１、両目の中心Ｐ２、両目の目尻Ｐ３、鼻Ｐ４、口の上端Ｐ５、口の下端Ｐ６、口の左端Ｐ７、口の右端Ｐ８が抽出される。

【0055】

［３−３．顔向き正規化処理（ステップＳ１０８）］
図２のステップＳ１０８における顔向き正規化処理は、例えば非特許文献３に開示されているような、射影変換に基づいた３次元正規化法を用いて顔向きの正規化を行うことができる。

【0056】

３次元正規化法は、顔画像上の複数の特徴点から、一般３次元顔形状への投影行列を求め、回転、サイズ、顔の向きによる姿勢変化を同時に正規化する方法である。３次元正規化法は、まず、平均的な３次元顔形状である一般３次元顔形状を作成し、一般３次元顔形状上の特徴点座標を予め定める。

【0057】

次に、一般３次元顔形状の特徴点座標と計測行列Ｗから、運動行列Ｍを算出する。顔特徴点抽出処理により、顔画像からＮ個の特徴点が得られる場合、画像上のｉ番目の特徴点座標を（ｕ_ｉ，ｖ_ｉ）、全特徴点の重心を（ｕ_ｃ，ｖ_ｃ）、特徴点座標から重心座標を引いた座標を（ｕ^’_ｉ，ｖ^’_ｉ）＝（ｕ_ｉ−ｕ_ｃ，ｖ_ｉ−ｖ_ｃ）としたときに、計測行列Ｗは以下の（１）式により２×Ｎ行列として定義される。

【0058】

【数1】

【0059】

また、一般３次元顔形状の対応するｉ番目の特徴点座標を（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）、重心座標を（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）、特徴点座標から重心を引いた座標を（ｘ’_ｉ，ｙ’_ｉ，ｚ’_ｉ）とすると、形状行列Ｓは以下の（２）式により３×Ｎ行列として定義される。

【0060】

【数2】

【0061】

このとき、顔画像と一般３次元形状の間の投影関係を表す２×３行列の運動行列Ｍは、以下の（３）式で定義される。

【0062】

【数3】

【0063】

さらに、以下の（４）式により形状行列Ｓの疑似逆行列Ｓ^＋を計算することで、運動量列Ｍを求める。

【0064】

【数4】

【0065】

次いで得られた運動行列を用いて、顔画像の３次元正規化処理を行う。得られた運動行列Ｍは、顔形状上の特徴点を顔画像上に投影した場合に、顔画像上の特徴点との誤差が最小となるような投影行列とみなすことができる。この、投影関係に基づいて、任意の顔形状の点（ｘ，ｙ，ｚ）と対応する顔画像上の点（ｕ，ｖ）を以下の（５）式により求め、正規化画像に必要な全てのｘ，ｙ座標について対応する顔画像上の点を求める。

【0066】

【数5】

【0067】

得られた点の画素値を３次元形状の画素値と置き換えることで、顔向き正規化画像が算出される。

【0068】

図５は、本処理例にかかる顔向き正規化処理の処理結果を示す説明図である。図５を参照すると、顔向きの異なる画像から得られる顔画像と顔特徴点、顔画像に３次元正規化処理をして得られる顔向き正規化画像、顔画像をアフィン変換により正規化した位置正規化画像が示される。

【0069】

位置正規化画像は、顔特徴点抽出処理により得られる顔画像の特徴点の位置に基づいて、顔画像を２次元的な変換であるアフィン変換することで得られる。具体的には、位置正規化画像は、例えば顔画像から検出された目、鼻、口等の特徴点が、正面向きのときに表示される顔画像の位置に移動するように、線形変換と平行移動の組み合わせにより顔画像を変形させることで得られる。

【0070】

図５に示した例では、正面向き、右１５°向き、右３０°向き、上１５°向きのそれぞれの顔向きについて、抽出された顔画像と顔特徴点、顔向き正規化画像、位置正規化画像を示している。

【0071】

顔画像は、顔検出処理部１３０により画像１０から抽出された顔領域２０であり、顔特徴点として、両目の中心Ｐ２、鼻Ｐ４、口の左端Ｐ７、口の右端Ｐ８が抽出されている。

【0072】

図５を参照して、顔画像の左側である顔の左半分の領域を比較すると、位置正規化画像は、顔の正面向き、右１５°向き、右３０°向き、上１５°向きのそれぞれの顔向きで目や眉の形状、鼻の大きさ等の見え方が異なることが分かる。特に、「右１５°向き→右３０°向き」と顔向きが大きくなるに従い、見え方に大きな変化が現れる。一方、顔向き正規化画像は、顔の正面向き、右１５°向き、右３０°向き、上１５°向きのいずれの場合においても、大きな見え方の変化がなく、顔向きの大きさによって見え方が変化しない。

【0073】

また、顔画像の右側である顔の右半分の領域を比較すると、位置正規化画像は、特徴点である両目の中心Ｐ２、鼻Ｐ４、口の左端Ｐ７、口の右端Ｐ８は、正面向きと同じ位置に移動されているが、目や眉の形状、鼻の大きさ、口の形等の見え方が正面向きと大きく異なることがわかる。一方、顔向き正規化画像は、右３０°向きの下側や右端の領域において、撮影時のオクルージョンによる影響からノイズが発生する領域はあるが、ノイズが発生していない領域を比較すると、いずれの向きにおいても、見え方に大きな変化がないことがわかる。

【0074】

［３−４．属性評価処理（ステップＳ１１２）］
図２のステップＳ１１２における属性評価処理は、例えば、非特許文献４に開示されているＨａａｒ−ｌｉｋｅ特徴を特徴量として利用し、非特許文献５に開示されているＶｅｃｔｏｒ−Ｂｏｏｓｔを識別器として利用することで行うことができる。Ｈａａｒ−ｌｉｋｅ特徴は、非特許文献４に開示されているように、局所領域の明暗差をもとに抽出される特徴量である。

【0075】

属性評価処理に用いる識別器は、様々な顔画像の学習データから画像特徴量を抽出し、統計情報として解析することにより生成される。このときに用いる顔画像の学習データは、様々な属性の人物の顔を異なる角度から撮影して得られる顔画像であり、例えば、正面向き、横１５°向き、下１５°向き、上１５°向きの顔画像群とすることができる。これらの顔画像群から、推定する人物属性に応じた画像特徴量を抽出して得られる識別器を記憶部１１０にあらかじめ記憶しておき、正規化処理した顔向き正規化画像の人物の属性を、識別器を用いて評価する。

【0076】

なお、使用される特徴量と識別器は、推定する人物属性の種類に合わせて変更されることが望ましい。これは、性別、年齢といった異なる属性の推定においては、適切な特徴量と識別器が異なるからである。推定する人物属性の種類に合わせて、使用する特徴量と識別器を変更することで、属性評価結果の精度を向上させることができる。

【0077】

例えば、人物属性として性別を推定する場合に、単に二値により男女を判定するのではなく、男性らしさという尺度を人物属性評価値として、−１．０〜＋１．０の範囲の０．１単位の連続値として人物属性を評価することができる。この場合、人物属性評価値が＋１．０のときが最も男性らしく、−１．０のときが最も女性らしいとなる。本処理例では、すべての顔向き正規化画像に対して、同一粒度の評価指標としていずれかの評価値が与えられる。本処理例で判定する人物は男性であるため、人物属性評価値が０よりも大きい値であれば正しい評価となる。

【0078】

本処理例では、推定する人物属性が性別であり、男性又は女性のどちらかしかないために、等間隔で設定された人物属性評価値という尺度を評価指標として属性評価を行っているが、例えば、推定する人物属性が年齢の場合には、年齢をそのまま評価指標としたり、同一の幅で設定された所定の年齢帯を評価指標としたりしてもよい。いずれの場合においても、本処理例では、すべての顔向き正規化画像に対していずれかの評価結果が与えられる。

【0079】

［３−５．信頼度演算処理（Ｓ１１６）］
図２のステップＳ１１６における信頼度演算処理について詳細に説明する。信頼度演算処理は、正規化処理により得られた顔向き正規化画像について、属性評価処理により得られた人物属性の評価結果に対する信頼度を求める。

【0080】

顔向き正規化画像に基づく人物属性の評価は、顔向き正規化画像が、属性評価処理に用いる識別器を学習するための顔画像の学習データの画像パターンに類似する場合には、精度の高い属性評価を期待することができる。一方、顔向き正規化画像が、顔画像の学習データに含まれていないような画像パターン（未知データ）の場合には、属性評価結果の精度が必ずしも高くならないことが知られている。

【0081】

例えば、顔画像が、属性評価処理に用いる識別器の学習段階で想定していた撮影環境でない場合や、想定していない装飾品を身に着けている場合に、属性評価結果の精度が低下すると考えられる。また、顔画像自体が想定していた撮影環境であっても、顔検出処理、顔特徴点抽出処理、顔向き正規化処理のエラーにより、顔向き正規化画像が学習データの画像パターンから外れる場合にも、属性評価結果の精度が低下すると考えられる。本処理例による信頼度演算処理では、各顔向き正規化画像と、属性評価処理に用いる識別器を学習するための学習データとの類似度を演算し、各顔向き正規化画像についての属性評価結果に対する信頼度を求める。

【0082】

信頼度演算処理は、例えば、非特許文献１に開示されているＡｄａＢｏｏｓｔベースの識別器をカスケード状に並べたカスケード型識別器を用いて、顔向き正規化画像と、属性評価処理に用いる識別器の学習データとの類似度を演算する方法とすることができる。信頼度演算処理に用いる識別器を学習する際には、属性評価処理に用いる識別器の学習データを学習サンプルとして使用する。また、未学習サンプルとしては、属性評価処理に用いる識別器の学習データとして想定していなかった装飾品を装着した顔画像や、顔向きや表情が学習データの画像パターンとは大きく異なっている顔画像、顔以外の背景画像、等の未学習データを使用する。

【0083】

図６は、信頼度演算処理に用いる識別器を学習するための学習サンプル及び未学習サンプルの例を示している。学習サンプルは、属性評価処理の識別器の学習データとして用いた、正面向き、左１５°向き、下１５°向き、上１５°向きの顔画像が用いられる。また、未学習サンプルのうちの未学習の顔画像のサンプルは、装飾品（マスク）を装着した顔画像、表情が大きく異なる（笑顔）顔画像、顔向きが大きく異なる顔画像（横９０°向き）、想定外の撮影環境（照明の影響大）の顔画像が用いられている。さらに、顔画像を含まない未学習サンプルとして、単なる背景画像が用いられている。

【0084】

これらの学習サンプル及び未学習サンプルは本の一例にすぎず、実際には、多くの学習サンプル、未学習サンプルを用いて、信頼度演算処理に用いるカスケード型識別器を学習することができる。

【0085】

図７は、信頼度演算処理に用いるカスケード型識別器の構成例を示す説明図である。カスケード型識別器は、各段の識別器において、顔向き正規化画像の学習データらしさを識別するように構成されている。このカスケード型識別器は、後段に行くほど、すなわち、各段の識別器を通過するにしたがって、より高精度に学習データらしさを識別する機能を有している。

【0086】

かかるカスケード型識別器を用いて信頼度を求める際には、通過識別器の数をｍとした場合に、単にｍを信頼度としてもよいし、ｍ^２を信頼度としてもよい。あるいは、以下の（６）式を用いて信頼度を求めるようにしてもよい。なお、図７に示したカスケード型識別器の例では、通過識別器の数ｍは０から４の間の値である。

【0087】

【数6】

【0088】

［３−６．人物属性推定処理（ステップＳ１２４）］
図２のステップＳ１２４における人物属性推定処理について詳細に説明する。本処理例では、人物属性推定処理は、属性評価結果及び信頼度を求めた顔向き正規化画像のサンプルの数ｉがＮ個以上となったときに、人物属性の評価結果と、各属性評価結果に対する信頼度に応じて設定された重み付けとに基づいて、顔画像の人物の属性をあらかじめ設定された粒度で推定する。例えば、人物属性推定処理により、人物の性別、年齢、又は年齢帯が推定される。

【0089】

顔向き正規化画像に対する属性評価結果は、各顔向き正規化画像と、属性評価処理に用いる識別器の学習データとの類似度によって精度が異なり、学習データでは想定されていない画像パターンの顔向き正規化画像については、属性評価結果の信頼度が低くなる。このため、人物属性推定処理では、信頼度に応じて人物属性の評価結果に重み付けを行い、複数の顔向き正規化画像に対する属性評価結果を統合する。

【0090】

すなわち、信頼度が高くなるにしたがって重みを大きくすることにより、属性評価結果を統合する際に、信頼度の低い属性評価結果の影響を小さくすることができ、人物属性の推定精度を向上させることができる。

【0091】

重み付けは、例えば、図７に示したカスケード型識別器の通過識別器数ｍをそのまま信頼度とした場合、識別器数ｍ＝０，１，２，３，４それぞれの場合の重みを０．１，０．３，０．５，０．７，０．９とすることができる。

【0092】

そして、Ｍ枚の入力画像があるときに、各画像から得られたＭ枚の顔向き正規化画像に対する属性評価結果をｈ_ｉとし、信頼度をｗ_ｉとした場合に、以下の（７）式を用いて単に属性評価結果の重み付け加算をして統合結果Ｈを求めてもよい。

【0093】

【数7】

【0094】

本処理例では、属性評価結果を統合して得られる、性別を推定するための人物属性評価値が、−１．０×Ｍ〜＋１．０×Ｍの範囲の値として算出される。この場合、人物属性推定処理部１８０は、例えば人物属性評価値が０よりも大きい場合に人物は男性であると推定し、人物属性評価値が０よりも小さい場合に人物は女性であると推定する。また、人物属性推定処理は、例えば人物属性評価値が０である場合に人物の性別は不明であると推定する。

【0095】

このように、人物属性推定処理では、信頼度に応じて各顔向き正規化画像の属性評価結果に重み付けをして統合することで、信頼度が低い属性評価結果による影響を少なくすることができ、人物属性の推定精度を向上させることができる。

【0096】

このとき、複数の属性評価結果を統合する際に、信頼度に閾値を設け、閾値よりも低い信頼度の属性評価結果のサンプルをあらかじめ除いて、属性評価結果を統合してもよい。信頼度が低い属性評価結果を除くことにより、信頼度が高い属性評価結果のみを用いて人物属性が推定されるため、推定精度をより向上させることができる。

【0097】

また、人物属性推定処理による人物属性の推定結果を出力する際には、当該推定結果の信頼度も併せて出力してもよい。人物属性の推定結果の信頼度は、例えば属性評価結果の統合に用いた各属性評価結果に対する信頼度の平均値として求めることができる。また、同一人物の顔画像について求めたすべての属性評価結果の分散度を考慮に入れて、人物属性の推定結果の信頼度を求めてもよい。例えば、属性評価結果の分散度が低いほど信頼度が高くなるように値を設定して推定結果の信頼度としてもよいし、当該値を係数として、上述の信頼度の平均値に乗算して推定結果の信頼度としてもよい。

【0098】

人物属性の推定結果と併せて信頼度を出力することにより、推定結果の利用者が推定結果の信頼度を知ることができ、推定された人物属性の使用の可否や使用方法の判断の材料とすることができる。

【0099】

＜４．第１の実施形態による効果＞
以上、本実施形態にかかる人物属性推定装置１００について説明した。本実施形態にかかる人物属性推定装置１００は、同一人物の顔画像を有する画像から検出した顔画像のすべてについて顔向き正規化画像を生成し、各顔向き正規化画像に対して同一粒度での人物属性評価及び信頼度演算を行う。したがって、顔画像の撮影状態にかかわらず、その信頼度とともに属性評価結果が得られる。その結果、信頼度を考慮に入れつつ複数の属性評価結果を統合して、人物属性を推定することができる。

【0100】

また、本実施形態にかかる人物属性推定装置１００は、複数の顔向き正規化画像の属性評価結果を、各顔向き正規化画像に対する信頼度に応じた重み付けで統合し、最終的な人物属性をあらかじめ設定した粒度で推定する。これにより、本実施形態にかかる人物属性推定装置１００では、信頼度の低い属性評価結果の影響を小さくして人物属性の推定をすることができ、推定結果の信頼度を向上させることができる。また、本実施形態にかかる人物属性推定装置１００は、あらかじめ設定した粒度の人物属性の推定結果が出力されるために、人物属性の推定結果の情報を利用するユーザが望む人物属性が得られるようになり、利用に適した人物属性の推定結果とすることができる。

【0101】

また、本実施形態にかかる人物属性推定処理では、複数の顔画像の学習データの特徴量を抽出した統計情報が記憶部１１０に記憶されており、顔向き正規化画像の特徴量を統計情報に照らして属性評価処理を行う。そして、属性評価結果の信頼度として、顔向き正規化画像と、複数の顔画像の学習データとの類似度が用いられる。これにより、顔向き正規化画像が、あらかじめ想定された顔画像のパターンに似ているほど人物属性の推定に対する影響が大きくなるため、人物属性の推定精度を向上させることができる。

【0102】

＜＜第２の実施形態＞＞
＜１．人物属性推定装置＞
まず、図８を参照して、第２の実施形態にかかる人物属性推定装置の概略構成について説明する。図８は、第２の実施形態にかかる人物属性推定装置２００を示すブロック図である。人物属性推定装置２００は、所定の単位時間ごとに撮像される複数のフレーム画像により構成される動画像を入力画像として、動画像中の人物の性別や年齢等の属性を推定する装置である。以下、第１の実施形態にかかる人物属性推定装置１００と異なる点を中心に説明する。

【0103】

図２は、人物属性推定装置２００は、例えば記憶部２１０と、入力部２２０と、顔検出処理部２３０と、顔トラッキング処理部２４０と、顔特徴点抽出処理部２５０と、顔向き正規化処理部２６０と、属性評価処理部２７０と、信頼度演算処理部２８０と、人物属性推定処理部２９０とを備える。

【0104】

記憶部２１０は、例えばカメラ等により撮像された単位時間ごとのフレーム画像からなる動画像を記憶している。動画像は、例えばカメラ等により撮像された人物や風景等の動画像である。また、記憶部２１０は、第１の実施形態にかかる記憶部１１０と同様に、人物属性推定処理部２９０が人物属性を推定する際に用いる、信頼度に対する重み付けの情報を記憶している。

【0105】

入力部２２０は、例えばカメラ等により撮像された人物の顔が含まれる動画像を、人物属性推定装置２００に接続された外部装置から取得する。外部装置は、例えば人物属性推定装置２００に直接又はネットワークを介して接続されたカメラ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｉｒｉａｌ Ｂｕｓ）メモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、光ディスク等の記録媒体、あるいは、当該記録媒体に記憶された情報を読み取るデバイス等である。本実施形態にかかる人物属性推定装置２００では、記憶部２１０に記憶された動画像又は入力部２２０が取得した動画像の少なくともいずれか一方の動画像から、人物の属性の推定を行う。

【0106】

顔検出処理部２３０は、動画像を構成する各フレーム画像中の人物の顔領域を検出する。顔検出処理部２３０により処理される画像は、例えば記憶部２１０又は入力部２２０から取得される。顔検出処理部２３０は、各フレーム画像中から顔領域を抜き出した顔画像を生成する。

【0107】

顔トラッキング処理部２４０は、あるフレーム画像に対して顔検出処理部２３０により生成された顔画像と、一つ前のフレーム画像中の顔画像との関連付けをする。顔トラッキング処理を行うことにより、各フレーム画像中の顔画像の大きさや位置関係から、同一人物の顔画像を認識することができる。また、顔トラッキング処理部２４０は、各フレーム画像中の顔画像の大小関係や、フレーム画像間での顔画像の移動量、移動速度を求めてもよい。

【0108】

顔特徴点抽出処理部２５０、顔向き正規化処理部２６０及び属性評価処理部２７０は、第１の実施形態にかかる顔特徴点抽出処理部１４０、顔向き正規化処理部１５０及び属性評価処理部１６０と同様の機能を有し、各フレーム画像中から抜き出した顔画像から、各処理を行う。

【0109】

信頼度演算処理部２８０は、顔向き正規化処理部２６０で生成された顔向き正規化画像ごとに、属性評価処理部２７０で求めた属性評価結果に対する信頼度を求める。本実施形態にかかる信頼度演算処理部２８０は、動画像を構成する各フレーム画像中の顔の映り方や動きに基づいて、各属性評価結果に対する信頼度を求める。

【0110】

人物属性推定処理部２９０は、第１の実施形態にかかる人物属性推定処理部１８０と同様の機能を有し、属性評価処理部２７０で求めた人物属性の評価結果と、信頼度演算処理部２８０で求めた信頼度とに基づいて人物属性を推定する。

【0111】

＜２．処理フロー＞
次に、図８〜図１０を参照して、第２の実施形態にかかる人物属性推定装置２００による人物属性推定処理について説明する。図９は、同実施形態にかかる人物属性推定処理を示すフローチャートである。

【0112】

まず、顔検出処理部２３０は、記憶部２１０に記憶されたフレーム画像又は入力部２２０が取得したフレーム画像から、顔領域を抽出し、フレーム画像から顔領域を抜き出した顔画像を生成する顔検出処理を実行する（Ｓ２００）。

【0113】

次いで、顔トラッキング処理部２４０は、フレーム画像ごとに顔検出処理により生成された顔画像に基づき、あるフレーム画像中の顔画像と一つ前のフレーム画像中の顔画像との関連付けをする（Ｓ２０４）。顔トラッキング処理により、各フレーム画像中の顔画像の大きさや位置関係から、同一人物の顔画像が認識される。

【0114】

顔トラッキング処理は、例えば、オプティカルフローにより、各フレーム画像中のあるポイント又は領域の変化量を追跡することで、同一人物の顔画像を認識するようにしてもよい。また、顔トラッキング処理は、各フレーム画像中の顔画像の大きさや位置関係から同一人物の顔画像を認識するようにしてもよい。顔トラッキング処理の結果、各フレーム画像中の顔画像の大小関係や、フレーム画像間での顔画像の移動量、移動速度等も求めることができる。

【0115】

図１０は、顔トラッキング処理の一例を示す説明図である。動画像を構成するフレーム画像１〜３には、二人の人物の顔が映っている。各フレーム画像Ｘ（＝１，２，３）に映る人物Ｙ（＝１，２）の顔画像を顔_{（Ｘ，Ｙ）}とすると、顔トラッキング処理では、各フレーム画像Ｘの顔画像_{（Ｘ，Ｙ）}と一つ前のフレーム画像Ｘ−１の顔画像_{（Ｘ−１，Ｙ）}との関連付けが行われる。

【0116】

図１０に示した例では、人物１の顔_{（Ｘ，１）}の位置は、それぞれフレーム画像１、フレーム画像２、フレーム画像３と移るにしたがって、一つ前のフレーム画像の顔画像の位置と重なり合う範囲で移動している。また、人物１の顔_{（Ｘ，１）}の大きさは、フレームが進むにつれて徐々に大きくなるように変化している。したがって、顔トラッキング処理部２４０は、顔_{（１，１）}、顔_{（２，１）}、顔_{（３，１）}が同一人物の顔画像であると認識する。

【0117】

また、人物２の顔_{（Ｘ，２）}の位置も、それぞれフレーム画像１、フレーム画像２、フレーム画像３と移るにしたがって、一つ前のフレーム画像の顔画像の位置と重なり合う範囲で移動している。また、人物２の顔_{（Ｘ，２）}の大きさは、すべてのフレーム画像１〜３においてほとんど変化がない。したがって、顔トラッキング処理部２４０は、顔_{（１，２）}、顔_{（２，２）}、顔_{（３，２）}が同一人物の顔画像であると認識する。

【0118】

複数のフレーム画像中の同一人物の顔画像が特定されると、次いで、顔特徴点抽出処理部２５０、顔向き正規化処理部２６０、及び属性評価処理部２７０は、それぞれ、第１の実施形態による顔特徴点抽出処理（Ｓ１０４）、顔正規化処理（Ｓ１０８）、及び属性評価処理（Ｓ１１２）と同様の手順で、顔特徴点抽出処理（Ｓ２０８）、顔向き正規化処理（Ｓ２１２）、及び属性評価処理（Ｓ２１６）を実行する。

【0119】

次いで、信頼度演算処理部２８０は、顔向き正規化処理部２６０で生成された同一人物の顔向き正規化画像ごとに、属性評価結果に対する信頼度を求める信頼度演算処理を実行する（Ｓ２２０）。本実施形態にかかる信頼度演算処理部２８０は、動画像を構成する各フレーム画像中の顔の映り方や動きに基づいて、各属性評価結果に対する信頼度を求める。

【0120】

例えば、カメラが設置された通路を、前方から人物が歩いてくるシーンを想定すると、人物が遠方にいる場合には、検出される顔画像の解像度は低くなり、また、遠方の人物の顔画像は焦点が合っていないことが考えられる。このような顔画像により生成される顔向き正規化画像に対する属性評価は、その精度が低くなる場合がある。したがって、信頼度演算処理部２８０は、例えば、顔画像の検出サイズが大きくなるほど信頼度が高くなるようにして信頼度を求めることができる。この場合の信頼度は、検出サイズの大きさをそのまま信頼度としてもよいし、検出サイズを適宜の段階に区分して信頼度を段階表示してもよい。

【0121】

また、動画像に映る人物が高速で移動する場合には、被写体がブレて撮像されることが考えられる。このような動画像から検出される顔画像では、生成される顔向き正規化画像に対する属性評価の精度が低くなる場合がある。したがって、信頼度演算処理部２８０は、例えば、フレーム画像中の顔画像の検出位置の、フレーム画像間での移動量の大きさが大きくなるほど信頼度が低くなるように信頼度を求めることができる。この場合の信頼度は、例えば、移動量又は移動速度が０の場合の信頼度を１００とし、想定される最大の移動量又は移動速度に対応する信頼度を０として、移動量や移動速度の大きさに応じて信頼度を求めることができる。

【0122】

次いで、人物属性推定処理部２９０は、属性評価及び信頼度の演算が終了した同一人物の顔向き正規化画像のサンプル数ｉが、あらかじめ設定した閾値Ｎ以上となったか否かを判別する（Ｓ２２４）。サンプル数ｉが閾値Ｎに満たない場合（Ｓ２２４：Ｎｏ）、サンプル数ｉのカウンタ値をｉ＝ｉ＋１とし（Ｓ２３２）、サンプル数ｉが閾値Ｎ以上となるまで、顔検出処理（Ｓ２００）から信頼度演算処理（Ｓ２２０）までの各処理を繰り返す。

【0123】

サンプル数ｉが閾値Ｎに到達すると（Ｓ２２４：Ｙｅｓ）、人物属性推定処理部２９０は、第１の実施形態にかかる人物属性推定処理（Ｓ１２４）と同様の手順で、人物属性の属性評価結果と、各属性評価結果に対する信頼度に応じて設定された重み付けとに基づいて、顔画像の人物の属性をあらかじめ設定した粒度で推定する（Ｓ２２８）。

【0124】

本実施形態では、顔向き正規化画像に対する属性評価結果は、動画像中の顔の映り方や動きによって精度が異なり、顔画像の解像度が低い場合や顔の移動速度が速い場合等の顔向き正規化画像については、属性評価結果の信頼度が低くなる。このため、人物属性推定処理では、信頼度に応じて人物属性の評価結果に重み付けを行い、複数のフレーム画像から生成された顔向き正規化画像に対する属性評価結果を統合する。

【0125】

すなわち、信頼度が高くなるにしたがって重みを大きくすることにより、属性評価結果を統合する際に、信頼度の低い属性評価結果の影響を小さくすることができ、人物属性の推定精度を向上させることができる。例えば、信頼度の大きさによって、０．１〜０．９の範囲内の値の重みを設定する。その結果、信頼度が低い属性評価結果による影響を少なくすることができ、人物属性の推定精度を向上させることができる。

【0126】

このとき、第１の実施形態にかかる人物属性推定処理の場合と同様に、複数の属性評価結果を統合する際に、信頼度に閾値を設け、閾値よりも低い信頼度の属性評価結果のサンプルをあらかじめ除いて、属性評価結果を統合してもよいし、人物属性の推定結果の出力と併せて推定結果の信頼度を出力してもよい。

【0127】

＜３．第２の実施形態による効果＞
以上、本実施形態にかかる人物属性推定装置２００について説明した。本実施形態にかかる人物属性推定装置２００は、動画像を構成するフレーム画像から検出した顔画像のすべてについて顔向き正規化画像を生成し、各顔向き正規化画像に対して人物属性評価及び信頼度演算を行う。したがって、フレーム画像中の顔の撮像状態にかかわらず、その信頼度とともに属性評価結果が得られる。その結果、信頼度を考慮に入れつつ複数の属性評価結果を統合して、人物属性を推定することができる。

【0128】

また、本実施形態にかかる人物属性推定装置２００は、動画像を構成するフレーム画像から検出した複数の顔向き正規化画像の属性評価結果を、各顔向き正規化画像に対する信頼度に応じた重み付けで統合し、最終的な人物属性を推定する。これにより、本実施形態にかかる人物属性推定装置２００では、信頼度の低い属性評価結果の影響を小さくして人物属性の推定をすることができ、推定結果の信頼度を向上させることができる。また、本実施形態にかかる人物属性推定装置２００は、あらかじめ設定した粒度の人物属性の推定結果が出力されるために、人物属性の推定結果の情報を利用するユーザが望む人物属性が得られるようになり、利用に適した人物属性の推定結果とすることができる。

【0129】

また、本実施形態にかかる人物属性推定処理では、動画像を構成する各フレーム画像中の顔の映り方や動きに基づいて、属性結果の信頼度を求める。これにより、顔画像が鮮明に映っているほど人物属性の推定に対する影響が大きくなるため、人物属性の推定精度を向上させることができる。

【0130】

＜＜その他の実施形態＞＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0131】

例えば、上記の実施形態では、推定する人物属性として性別を推定したが、本発明はかかる例に限定されない。例えば、年齢や表情等を人物属性とする場合においても、本発明により人物属性を推定することができる。

【0132】

例えば、上記の第１の実施形態では、各顔向き正規化画像と、属性評価処理に用いる識別器の学習データとの類似度に応じた信頼度を求めたが、本発明はかかる例に限定されない。例えば、第２の実施形態で説明したように、画像中の顔画像の検出サイズに応じた信頼度としてもよい。

【0133】

例えば、上記の実施形態では、属性評価及び信頼度を求めた顔向き正規化画像のサンプル数ｉが閾値Ｎに到達した後に、属性評価結果と、当該属性評価結果に対する重み付けとに基づいて最終的に人物属性を推定したが、本発明はかかる例に限定されない。例えば、同一人物の顔画像である限り、サンプル数をカウントすることなく、一つの顔向き正規化画像に対する属性評価及び信頼度を求めるたびに、信頼度に応じた重み付けをしながら属性評価結果を統合して、人物属性を推定するようにしてもよい。このように属性結果と信頼度とに基づいて人物属性を推定することにより、リアルタイムで撮像された画像や動画像を利用して、人物属性を推定することが可能となる。

【0134】

例えば、上記の実施形態では、顔向き正規化処理として投影変換に基づいた３次元正規化法を例に説明したが、本発明はかかる例に限定されない。例えば、他の顔向き正規化処理法を用いて顔向き正規化処理を行ってもよい。

【0135】

例えば、上記の実施形態では、属性評価処理においてＨａａｒ−ｌｉｋｅ特徴を特徴量としＶｅｃｔｏｒ Ｂｏｏｓｔを識別器として属性評価処理をしたが、本発明はかかる例に限定されない。例えば、エッジ量を特徴量としてもよい。また、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を識別器としてもよい。

【0136】

例えば、上記の第１の実施形態では、顔検出処理部１３０により生成される顔画像を使用して、ステップＳ１０４からステップＳ１２８の処理を行ったが、本発明はかかる例に限定されない。例えば、顔検出処理により抽出される画像の顔領域を使用して、ステップＳ１０４からステップＳ１２８の処理を行ってもよい。同様に、上記の第２の実施形態では、顔検出処理部２３０により生成される顔画像を使用して、ステップＳ２０４からステップＳ２３２の処理を行ったが、例えば、顔検出処理により抽出される画像の顔領域を使用して、ステップＳ２０４からステップＳ２３２の処理を行ってもよい。

【0137】

例えば、上記の実施形態では、人物属性推定装置１００，２００は、記憶部１１０．２１０と入力部１２０，２２０を備えるが、本発明はかかる例に限定されない。例えば、人物属性推定装置１００，２００は、記憶部１１０，２１０と入力部１２０，２２０のいずれか一方のみを備える構成でもよい。

【符号の説明】

【0138】

１０ 画像
２０ 顔領域
１００，２００ 人物属性推定装置
１１０，２１０ 記憶部
１２０，２２０ 入力部
１３０，２３０ 顔検出処理部
２４０ 顔トラッキング処理部
１４０，２５０ 顔特徴点抽出処理部
１５０，２６０ 顔向き正規化処理部
１６０，２７０ 属性評価処理部
１７０，２８０ 信頼度演算処理部
１８０，２９０ 人物属性推定処理部
Ｐ１〜Ｐ８ 顔特徴点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】