特許 6249263 顔認識システム、顔認識方法、表示制御装置、表示制御方法および表示制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6249263

(24)【登録日】2017年12月1日

(45)【発行日】2017年12月20日

(54)【発明の名称】顔認識システム、顔認識方法、表示制御装置、表示制御方法および表示制御プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20171211BHJP

   G08B 13/196 20060101ALI20171211BHJP

   G08B 25/00 20060101ALI20171211BHJP

   H04N 7/18 20060101ALI20171211BHJP

【ＦＩ】

   G06T7/00 510B

   G08B13/196

   G08B25/00 510M

   H04N7/18 K

【請求項の数】18

【全頁数】41

(21)【出願番号】特願2017-538887(P2017-538887)

(86)(22)【出願日】2016年6月6日

(86)【国際出願番号】JP2016066778

(87)【国際公開番号】WO2017043132

(87)【国際公開日】20170316

【審査請求日】2017年9月12日

(31)【優先権主張番号】特願2015-176534(P2015-176534)

(32)【優先日】2015年9月8日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100134430

【弁理士】

【氏名又は名称】加藤 卓士

(72)【発明者】

【氏名】浜田 康志

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１４−０１１５２３（ＪＰ，Ａ）

【文献】 特開２０１３−１９６２９４（ＪＰ，Ａ）

【文献】 特開平９−０９１４３２（ＪＰ，Ａ）

【文献】 特開２０１４−１８６４９６（ＪＰ，Ａ）

【文献】 特開２０１４−０５９８１９（ＪＰ，Ａ）

【文献】 特開２０１３−２４２７０２（ＪＰ，Ａ）

【文献】 米国特許第８０７３２８７（ＵＳ，Ｂ１）

【文献】 長峯 隆、外２名，“３Ｄ顔画像における個人性の分析”，情報処理学会研究報告，日本，社団法人情報処理学会，１９９１年１２月２０日，Vol.91, No.111，pp.57-64

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

Ｇ０８Ｂ １３／１９４−１３／１９６，２５／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

顔画像の部分領域ごとの照合処理によって導き出された類似度を取得する類似度取得手段と、
前記類似度が閾値を超えた第１領域と、前記類似度が前記閾値を超えていない第２領域との少なくとも一方を、前記顔画像に重畳して表示するよう制御する表示制御手段と、
を備える表示制御装置。

【請求項2】

前記表示制御手段は、前記第１領域と前記第２領域とを対照可能に前記顔画像に重畳して表示するよう制御する、請求項１に記載の表示制御装置。

【請求項3】

前記表示制御手段は、異なる顔から生成された顔画像が類似しているとの認識結果を取得した場合、前記顔画像に前記第１領域を重畳して表示し、同じ顔から生成された顔画像が類似していないとの認識結果を取得した場合、前記顔画像に前記第２領域を重畳して表示するよう制御する、請求項１に記載の表示制御装置。

【請求項4】

前記表示制御手段は、前記第１領域および前記第２領域を、前記類似度の高低を判別可能に、前記顔画像に重畳して表示するよう制御する、請求項１乃至３のいずれか１項に記載の表示制御装置。

【請求項5】

前記表示制御手段は、前記類似度が所定の範囲内にある前記部分領域を連結した連結領域を生成し、前記連結領域を前記顔画像に重畳して表示するよう制御する、請求項１乃至４のいずれか１項に記載の表示制御装置。

【請求項6】

注目すべき照合処理の結果を含む注目領域を取得する注目領域取得手段をさらに備え、
前記表示制御手段は、前記注目領域を前記顔画像に重畳して表示するよう制御する、請求項１乃至５のいずれか１項に記載の表示制御装置。

【請求項7】

注目すべきでない照合処理の結果を含む非注目領域を取得する非注目領域取得手段をさらに備え、
前記表示制御手段は、前記非注目領域を前記顔画像に重畳して表示するよう制御する、請求項１乃至６のいずれか１項に記載の表示制御装置。

【請求項8】

前記閾値は、第１閾値と前記第１閾値より小さな第２閾値とを含み、
前記表示制御手段は、前記類似度が第１閾値を超えた第３領域と前記類似度が前記第２閾値を超えない第４領域との少なくとも一方を前記顔画像に重畳して表示するよう制御する、請求項１乃至７のいずれか１項に記載の表示制御装置。

【請求項9】

前記表示制御手段は、異なる画像から生成した顔画像が類似しているとの認識結果を取得した場合、前記第３領域を前記顔画像に重畳して表示するよう制御する、請求項８に記載の表示制御装置。

【請求項10】

前記類似度取得手段は、第１顔画像と第２顔画像との部分領域ごとの照合処理によって導き出す類似度を取得し、
前記表示制御手段は、
前記類似度が前記閾値を超えた部分領域を示す第１マークと前記類似度が前記閾値を超えていない部分領域を示す第２マークとの少なくとも一方を生成するマーク生成手段と、
前記第１顔画像と前記第２顔画像とのいずれかの前記部分領域に、前記第１マークと前記第２マークとの前記少なくとも一方を重畳した表示データを生成する表示データ生成手段と、
を有する、請求項１に記載の表示制御装置。

【請求項11】

前記マーク生成手段は、前記マークを生成する条件と前記マークを表示するための画像とを対応付けて記憶するマーク記憶手段を有する、請求項１０に記載の表示制御装置。

【請求項12】

前記マークは、所定の形状の記号、前記部分領域の色、または、前記部分領域の塗りつぶしを含む、請求項１０または１１に記載の表示制御装置。

【請求項13】

前記マーク生成手段は、前記類似度の高低に対応して前記マークのサイズ、濃淡、または、透明度を変化させる、請求項１０乃至１２のいずれか１項に記載の表示制御装置。

【請求項14】

顔画像の部分領域ごとの照合処理によって導き出された類似度を取得する類似度取得ステップと、
前記類似度が閾値を超えた第１領域と、前記類似度が前記閾値を超えていない第２領域との少なくとも一方を、前記顔画像に重畳して表示するよう制御する表示制御ステップと、
を含む表示制御方法。

【請求項15】

顔画像の部分領域ごとの照合処理によって導き出された類似度を取得する類似度取得ステップと、
前記類似度が閾値を超えた第１領域と、前記類似度が前記閾値を超えていない第２領域との少なくとも一方を、前記顔画像に重畳して表示するよう制御する表示制御ステップと、
をコンピュータに実行させる表示制御プログラム。

【請求項16】

第１顔画像を生成する撮像手段と、
第２顔画像を蓄積する蓄積手段と、
前記第１顔画像と前記第２顔画像との部分領域ごとの照合処理によって類似度を導き出す導出手段と、
前記類似度に基づいて、前記第１顔画像を認識する顔認識手段と、
前記類似度が閾値を超えた第１領域と前記類似度が前記閾値を越えていない第２領域との少なくとも一方と、前記第１顔画像の認識結果とを、前記第１顔画像と前記第２顔画像との少なくとも一方に重畳して表示する表示手段と、
を備える顔認識システム。

【請求項17】

前記第１顔画像の認識結果と、前記第１領域と前記第２領域との前記少なくとも一方と、を対応付けて蓄積する履歴手段と、
前記蓄積された履歴を参照して、前記照合処理の注目領域と前記照合処理の非注目領域との少なくとも一方を生成する領域生成手段と、
をさらに備え、
前記表示手段は、前記注目領域と前記非注目領域との少なくとも一方を、前記第１顔画像と前記第１顔画像との少なくとも一方に重畳して表示する、請求項１６に記載の顔認識システム。

【請求項18】

撮像手段が生成した第１顔画像と蓄積手段に蓄積された第２画像との部分領域ごとの照合処理によって類似度を導き出す導出ステップと、
前記類似度に基づいて、前記第１顔画像を認識する顔認識ステップと、
前記類似度が閾値を超えた第１領域と、前記類似度が前記閾値を越えていない第２領域との少なくとも一方と、前記第１顔画像の認識結果とを、前記第１顔画像と前記第１顔画像との少なくとも一方に重畳して表示手段に表示する表示ステップと、
を含む顔認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔認識システム、顔認識方法、表示制御装置、表示制御方法および表示制御プログラムに関する。

【背景技術】

【0002】

上記技術分野において、特許文献１には、顔画像の部位（目、口、鼻）の照合により画像データベースから画像を検索する技術が開示されている。また、特許文献２には、顔画像の部位領域（目領域、口領域、鼻領域）の照合による類似度に基づいて、ユーザに対応する応答文を報知する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−１４６５８１号公報

【特許文献2】特開２００５−０７８４１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記文献に記載の技術では、顔認識結果に基づく情報が出力されるのみなので、オペレータが顔認識結果の要因を一目で把握して顔認識結果を確認あるいは修正することができなかった。

【0005】

本発明の目的は、上述の課題を解決する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る表示制御装置は、
顔画像の部分領域ごとの照合処理によって導き出された類似度を取得する類似度取得手段と、
前記類似度が閾値を超えた第１領域と、前記類似度が前記閾値を超えていない第２領域との少なくとも一方を、前記顔画像に重畳して表示するよう制御する表示制御手段と、
を備える。

【0007】

上記目的を達成するため、本発明に係る表示制御方法は、
顔画像の部分領域ごとの照合処理によって導き出された類似度を取得する類似度取得ステップと、
前記類似度が閾値を超えた第１領域と、前記類似度が前記閾値を超えていない第２領域との少なくとも一方を、前記顔画像に重畳して表示するよう制御する表示制御ステップと、
を含む。

【0008】

上記目的を達成するため、本発明に係る表示制御プログラムは、
顔画像の部分領域ごとの照合処理によって導き出された類似度を取得する類似度取得ステップと、
前記類似度が閾値を超えた第１領域と、前記類似度が前記閾値を超えていない第２領域との少なくとも一方を、前記顔画像に重畳して表示するよう制御する表示制御ステップと、
をコンピュータに実行させる。

【0009】

上記目的を達成するため、本発明に係る顔認識システムは、
第１顔画像を生成する撮像手段と、
第２顔画像を蓄積する蓄積手段と、
前記第１顔画像と前記第２顔画像との部分領域ごとの照合処理によって類似度を導き出す導出手段と、
前記類似度に基づいて、前記第１顔画像を認識する顔認識手段と、
前記類似度が閾値を超えた第１領域と前記類似度が前記閾値を越えていない第２領域との少なくとも一方と、前記第１顔画像の認識結果とを、前記第１顔画像と前記第２顔画像との少なくとも一方に重畳して表示する表示手段と、
を備える。

【0010】

上記目的を達成するため、本発明に係る顔認識方法は、
撮像手段が生成した第１顔画像と蓄積手段に蓄積された第２画像との部分領域ごとの照合処理によって類似度を導き出す導出ステップと、
前記類似度に基づいて、前記第１顔画像を認識する顔認識ステップと、
前記類似度が閾値を超えた第１領域と、前記類似度が前記閾値を越えていない第２領域との少なくとも一方と、前記第１顔画像の認識結果とを、前記第１顔画像と前記第１顔画像との少なくとも一方に重畳して表示手段に表示する表示ステップと、
を含む。

【発明の効果】

【0011】

本発明によれば、オペレータが顔認識結果の要因を一目で把握できるので、その場で顔認識結果を確認あるいは修正することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の第１実施形態に係る表示制御装置の構成を示すブロック図である。

【図2A】本発明の第２実施形態に係る表示画面の概要を示す図である。

【図2B】本発明の第２実施形態に係る表示画面の他の概要を示す図である。

【図3】本発明の第２実施形態に係る顔認識システムの構成を示すブロック図である。

【図4】本発明の第２実施形態に係る顔認識システムの動作手順を示すシーケンス図である。

【図5】本発明の第２実施形態に係る表示制御装置の機能構成を示すブロック図である。

【図6】本発明の第２実施形態に係る顔画像記憶部の構成を示す図である。

【図7】本発明の第２実施形態に係る閾値記憶部の構成を示す図である。

【図8A】本発明の第２実施形態に係るマーク記憶部の構成を示す図である。

【図8B】本発明の第２実施形態に係る重畳画像データ生成テーブルの構成を示す図である。

【図9】本発明の第２実施形態に係る重畳表示データ生成テーブルの構成を示す図である。

【図10】本発明の第２実施形態に係る顔認識装置の機能構成を示すブロック図である。

【図11A】本発明の第２実施形態に係る撮像顔画像データベースの構成を示す図である。

【図11B】本発明の第２実施形態に係る照合対象顔画像データベースの構成を示す図である。

【図12】本発明の第２実施形態に係る部分領域データベースの構成を示す図である。

【図13】本発明の第２実施形態に係る顔認識テーブルの構成を示す図である。

【図14】本発明の第２実施形態に係るオペレータ端末の機能構成を示すブロック図である。

【図15】本発明の第２実施形態に係る操作処理テーブルの構成を示す図である。

【図16】本発明の第２実施形態に係る表示制御装置のハードウェア構成を示すブロック図である。

【図17】本発明の第２実施形態に係る表示制御装置の処理手順を示すフローチャートである。

【図18A】本発明の第２実施形態に係るマーク生成処理の手順の一例を示すフローチャートである。

【図18B】本発明の第２実施形態に係るマーク生成処理の手順の他例を示すフローチャートである。

【図19】本発明の第２実施形態に係る顔認識装置のハードウェア構成を示すブロック図である。

【図20】本発明の第２実施形態に係る顔認識装置の処理手順を示すフローチャートである。

【図21】本発明の第３実施形態に係る表示画面の概要を示す図である。

【図22】本発明の第３実施形態に係る表示制御装置の機能構成を示すブロック図である。

【図23】本発明の第３実施形態に係る領域連結テーブルの構成を示す図である。

【図24】本発明の第３実施形態に係る表示制御装置の領域連結処理の手順を示すフローチャートである。

【図25】本発明の第４実施形態に係る表示画面の概要を示す図である。

【図26】本発明の第４実施形態に係る顔認識システムの動作手順を示すシーケンス図である。

【図27】本発明の第４実施形態に係る表示制御装置の機能構成を示すブロック図である。

【図28】本発明の第４実施形態に係る表示制御装置の表示制御処理の手順を示すフローチャートである。

【図29】本発明の第５実施形態に係る表示画面の概要を示す図である。

【図30】本発明の第５実施形態に係る顔認識システムの動作手順を示すシーケンス図である。

【図31】本発明の第５実施形態に係る表示制御装置の機能構成を示すブロック図である。

【図32】本発明の第５実施形態に係る表示制御装置の表示制御処理の手順を示すフローチャートである。

【図33】本発明の第６実施形態に係る表示画面の概要を示す図である。

【図34】本発明の第６実施形態に係る顔認識システムの動作手順を示すシーケンス図である。

【図35】本発明の第６実施形態に係る表示制御装置の機能構成を示すブロック図である。

【図36】本発明の第６実施形態に係る表示制御装置の表示制御処理の手順を示すフローチャートである。

【図37】本発明の第６実施形態に係る顔認識装置の機能構成を示すブロック図である。

【図38】本発明の第６実施形態に係る顔認識履歴（学習）データベースの構成を示す図である。

【図39】本発明の第６実施形態に係る注目領域／非注目領域生成テーブルの構成を示す図である。

【図40】本発明の第６実施形態に係る注目領域／非注目領域生成処理の手順を示すフローチャートである。

【図41】本発明の第７実施形態に係る顔認識システムの構成を示すブロック図である。

【図42A】本発明の第８実施形態に係る顔認識システムの構成を示すブロック図である。

【図42B】本発明の第８実施形態に係る顔認識システムの他の構成を示すブロック図である。

【図43】本発明の第９実施形態に係る顔認識システとしての通信端末の機能構成を示すブロック図である。

【発明を実施するための形態】

【0013】

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

【0014】

［第１実施形態］
本発明の第１実施形態としての表示制御装置１００について、図１を用いて説明する。表示制御装置１００は、顔認識する顔画像の表示を制御する装置である。

【0015】

図１に示すように、表示制御装置１００は、類似度取得部１０１と、表示制御部１０２と、を含む。類似度取得部１０１は、顔画像の部分領域ごとの照合処理によって導き出された類似度を取得する。表示制御部１０２は、類似度が閾値を超えた第１領域と、類似度が閾値を超えていない第２領域との少なくとも一方を、顔画像に重畳して表示するよう制御する。

【0016】

本実施形態によれば、顔画像の部分領域ごとの類似度の程度を顔画像に重畳して表示することで、オペレータが顔認識結果の要因を一目で把握できるので、その場で顔認識結果を確認あるいは修正することができる。

【0017】

［第２実施形態］
次に、本発明の第２実施形態に係る表示制御装置を含む顔認識システムについて説明する。本実施形態に係る表示制御装置は、顔認識装置で顔画像の部分領域ごとに照合されて導出された類似度を取得し、取得した類似度が閾値を超えるか超えないかをそれぞれ示すマークを顔画像に重畳して表示するように制御することで、ユーザあるいはオペレータが顔認識結果の要因を一目で把握でき、その場で顔認識結果を確認あるいは修正することができるようにする。

【0018】

《顔認識結果の表示画面》
図２Ａは、本実施形態に係る端末２１０の表示画面の概要を示す図である。なお、図２Ａの表示画面は、携帯端末の表示画面であっても、ＰＣ(Personal Computer)の表示画面であっても、顔認識専用あるいは監視専用の装置の表示画面であってもよく、限定されない。

【0019】

図２Ａの左側に示した端末２１０の表示画面には、撮像された顔画像あるいは認識対象の顔画像２１１に、部分領域（図２Ａにおいては、縦５×横５＝２５）の各々における類似度を所定閾値と比較し、所定閾値を超えた場合を示す“○”が重畳されている。ここで、“○”の大小は、類似度から所定閾値を引いた差分値に対応している。すなわち、大きな○２１２は、類似度が所定閾値よりかなり大きな部分領域を示している。一方、小さな○２１３は、類似度が所定閾値より余り大きくない部分領域を示している。このように、類似度の高低が判別可能に重畳表示される。なお、左側の表示画面において、“●”は類似度が所定閾値を超えない部分領域を示している。左側の表示画面からは、目の周囲や口の中央が類似領域であることがユーザあるいはオペレータによって一目で理解できる。

【0020】

図２Ａの右側に示した端末２１０の表示画面には、撮像された顔画像あるいは認識対象の顔画像２１１に、部分領域（図２Ａにおいては、縦５×横５＝２５）の各々における類似度を所定閾値と比較し、所定閾値を超えた場合を示す“□”が重畳されている。ここで、“□”の大小は、類似度から所定閾値を引いた差分値に対応している。すなわち、大きな□２１４は、類似度が所定閾値よりかなり大きな部分領域を示している。一方、小さな□２１５は、類似度が所定閾値より余り大きくない部分領域を示している。なお、右側の表示画面において、“■”は類似度が所定閾値を超えない部分領域を示している。右側の表示画面からは、左側と同様に、目の周囲や口の中央が類似領域であることがユーザあるいはオペレータによって一目で理解できる。

【0021】

なお、図２Ａにおいては、類似度を示すマークとして大小の“○”と“□"とを示したが、マークの形状は図２Ａに限定されない。また、類似度の大小をマークの大小に対応させたが、マークの色の種類や色度、あるいは、マークの濃淡、あるいは、顔画像に重畳した場合の透明度などで表わしてもよい。

【0022】

図２Ｂは、本実施形態に係る端末２１０の表示画面の他の概要を示す図である。

【0023】

図２Ｂの左側に示した端末２１０の表示画面には、撮像された顔画像２２１と、認識対象の蓄積された顔画像２２２とが表示されている。そして、認識対象の蓄積された顔画像２２２において、縦４×横４＝１６の部分領域の類似部分２２３が透明度のある所定の色で塗りつぶされている（図２Ｂでは、左下がりの斜線で示す）。一方、非類似部分２２４は塗りつぶされていない。ここで、類似部分とは、部分領域の類似度が所定閾値を超えた領域である。なお、この重畳表示は、顔画像２２２の部分領域に、透明度のある色で塗りつぶした枠を、類似領域マークとして重畳したものである。

【0024】

図２Ｂの右側に示した端末２１０の表示画面には、撮像された顔画像２３１と、認識対象の蓄積された顔画像２３２とが表示されている。そして、認識対象の蓄積された顔画像２３２において、縦４×横４＝１６の部分領域の非類似部分２３３が透明度のある所定の色で塗りつぶされている（図２Ｂでは、右下がりの斜線で示す）。一方、類似部分２３４は塗りつぶされていない。ここで、非類似部分とは、部分領域の類似度が所定閾値を超えない領域である。なお、この重畳表示は、顔画像２３２の部分領域に、透明度のある色で塗りつぶした枠を、非類似領域マークとして重畳したものである。

【0025】

なお、図２Ｂにおいては、認識対象の蓄積された顔画像２２２や２３２に、類似領域マークや非類似領域マークを重畳した例を示したが、撮像された顔画像２２１や２３１に類似領域マークや非類似領域マークを重畳してもよい。また、類似領域マークと非類似領域マークとは、顔画像への一方の重畳であっても、両方の重畳であってもよい。両方を重畳する場合には、類似領域マークと非類似領域マークとは対照可能に表示される。また、画面に重畳表示する顔画像は、撮像された顔画像２２１や２３１と、認識対象の蓄積された顔画像２２２や２３２と、のいずれか一方であってもよい。

【0026】

またさらに、図２Ａや図２Ｂでは、撮像した顔画像と、認識対象の蓄積された顔画像とを比較して、その類似度を算出したが、比較は、撮像した複数の顔画像間であっても、蓄積された複数の顔画像間であってもよい。このように、マークは、所定の形状の記号、部分領域の色、または、部分領域の塗りつぶしを含むものである。

【0027】

《顔認識システム》
図３および図４を参照して、本実施形態の顔認識システム３００の構成および操作について説明する。

【0028】

（システム構成）
図３は、本実施形態に係る顔認識システム３００の構成を示すブロック図である。

【0029】

顔認識システム３００は、ネットワーク３５０によって接続される、撮像装置（カメラ）３２０〜３２ｍと、端末２１０〜２１ｎと、表示制御装置３３０と、顔認識装置３４０と、を備える。

【0030】

撮像装置（カメラ）３２０〜３２ｍは、空港などに配置された監視カメラを含む。また、端末２１０〜２１ｎは、空港などに配置された監視用のオペレータ端末２１０であっても、ユーザ端末としてのノートＰＣ２１ｉや携帯端末（スマートフォンやタブレットなど）であってもよい。表示制御装置３３０は、顔認識装置３４０で顔画像の部分領域ごとに比較された結果の類似度を閾値と比較して、その結果を顔画像に重畳して端末２１０〜２１ｎへの表示制御を行なう。顔認識装置３４０は、撮像装置（カメラ）３２０〜３２ｍが撮像した画像から顔画像を抽出し、蓄積部から読み出した顔画像と部分領域ごとに比較して類似度を導出し、その類似度に基づいて顔の認識をする。そして、顔認識装置３４０は、顔認識結果と部分領域の類似度とを表示制御装置３３０に送信すると共に、顔認識結果を端末２１０〜２１ｎに送信する。

【0031】

なお、表示制御装置３３０と顔認識装置３４０とは、破線で示すように、ローカルネットワークで接続されていてもよい。

【0032】

（動作シーケンス）
図４は、本実施形態に係る顔認識システム３００の動作手順を示すシーケンス図である。なお、図４において、撮像装置（カメラ）３２０〜３２ｍはカメラ３２０で代表させ、端末２１０〜２１ｎはオペレータ端末２１０で代表させる。

【0033】

ステップＳ４０１において、顔認識システム３００の初期化が行なわれる。カメラ３２０は、ステップＳ４０３において、人物を撮像して、顔認識装置３４０に送信する。なお、カメラ３２０の撮像は特定の人物でなく、空港ロビーや道路上などの人混みの撮像でよく、顔認識装置３４０などにおいて各人物が抽出され、さらに各人物の顔画像が抽出される。また、カメラ３２０側に高機能な画像処理部が設置され、顔認識装置３４０に、顔画像の特徴量のみが送信される構成であってもよい。

【0034】

カメラ３２０から撮像画像を受信した顔認識装置３４０は、ステップＳ４０５において、顔画像を部分領域に分割する。なお、部分領域は、図２Ａや図２Ｂのように碁盤上の分割でなく、顔認識の重要度に対応して面積の異なる矩形領域であっても、矩形領域でなく曲線で囲まれた領域であってもよい。さらに、撮像した顔画像から抽出した目、鼻、口などの部位を含む領域であってもよく、限定されない。

【0035】

顔認識装置３４０は、ステップＳ４０７において、顔画像を蓄積する顔画像データベースから読み出した各顔画像と、撮像した顔画像との、対応する部分領域を比較して類似度を算出する。なお、顔画像の部分領域を対応させるための拡大／縮小処理も行なわれるが、同じ角度からの顔画像においては顔の縦横比は変えないのが望ましい。部分領域の類似度の算出には、例えば、画素単位の輝度や色などの比較の累積や、部分領域を細分化した領域の特徴量の累積や、部分領域全体の輝度や色の特徴量や部分領域内のエッジの特徴量などがあるが、限定されない。例えば、部分領域あるいは部分領域を細分化した領域の画素単位の輝度値の並びを用いてＳＳＤ(Sum of Squared Difference)、あるいはＳＡＤ(Sum of Absolute Difference)、あるいは正規化相関値などを類似度として算出してもよい。

【0036】

顔認識装置３４０は、ステップＳ４０９において、部分領域の類似度を、重みを考慮しながら累積して、その累積値を閾値と比較することによって、類似や非類似の顔認識を行なう。そして、類似の顔があれば認識結果として報知する。同時に、顔認識装置３４０は、ステップＳ４１１において、顔認識結果、顔画像の各部分領域の照合結果（類似度）を表示制御装置３３０に送信する。なお、顔認識結果は、オペレータ端末２１０に直接通知されてもよい。

【0037】

表示制御装置３３０は、ステップＳ４１３において、顔認識装置３４０から受信した各部分領域の類似度を所定閾値と比較する。表示制御装置３３０は、ステップＳ４１５において、顔画像の、類似度が所定閾値を超える部分領域、および／または、類似度が所定閾値を超えない部分領域に、所定マークを重畳して重畳表示画像データを生成する。そして、表示制御装置３３０は、ステップＳ４１７において、重畳表示画像データをオペレータ端末２１０に送信する。

【0038】

オペレータ端末２１０は、ステップＳ４１９において、表示制御装置３３０から受信した重畳画像を表示する。なお、オペレータ端末２１０は、同時に顔認識装置３４０による顔認識結果（類似／非類似）を表示する。オペレータ端末２１０は、ステップＳ４２１において、オペレータが重畳表示を見て行なった操作を、カメラ３２０や表示制御装置３３０や顔認識装置３４０に送信する。

【0039】

なお、図４においては、表示制御装置３３０において重畳表示画像を生成する場合を示したが、表示制御装置３３０から送信されたマークを示す画像を、オペレータ端末２１０において顔画像に重畳してもよい。

【0040】

《表示制御装置の機能構成》
図５は、本実施形態に係る表示制御装置３３０の機能構成を示すブロック図である。

【0041】

表示制御装置３３０は、通信制御部５０１と、顔画像取得部５０２と、顔画像記憶部５０３と、類似度取得部５０４と、比較部５０５と、閾値記憶部５０６と、を備える。表示制御装置３３０は、さらに、マーク生成部５０７と、マーク記憶部５０８と、画像重畳部５０９と、重畳画像送信部５１０と、を備える。

【0042】

通信制御部５０１は、ネットワーク３５０を介する、顔認識装置３４０やオペレータ端末２１０との通信を制御する。顔画像取得部５０２は、通信制御部５０１を介して、顔認識装置３４０から顔認識された顔画像を取得する。顔認識された顔画像としては、撮像された顔画像と認識対象の蓄積された顔画像との少なくとも一方を含む。

【0043】

類似度取得部５０４は、顔認識装置３４０から各部分領域の類似度を部分領域ＩＤ(Identifier)と対応付けて取得する。比較部５０５は、各部分領域の類似度と所定閾値とを比較して、比較結果（類似度が閾値を超えるか否か）を出力する。閾値記憶部５０６は、比較部５０５で各部分領域の類似度と比較する閾値を記憶する。かかる閾値は、類似度を、閾値を超えるか否かに分ける１つの閾値であっても、類似度が第１閾値を超えるか第２閾値を超えないかを分ける２つの閾値（第１閾値＞１つの閾値＞第２閾値）であってもよい。さらに、重畳画像によりオペレータに伝える情報に対応して、種々の閾値を設定可能である。

【0044】

マーク生成部５０７は、比較部５０５の出力に対応して、顔画像の部分領域に重畳すべきマークを生成する。なお、マークの生成は、比較部５０５の出力に対応して、使用するマークをマーク記憶部５０８から選択することで実現する。マーク記憶部５０８は、比較部５０５の出力に対応して、顔画像の部分領域に重畳すべきマークを記憶する。なお、マークには、部分領域の塗りつぶしも含まれる。

【0045】

画像重畳部５０９は、顔画像記憶部５０３に記憶された顔画像に、マーク生成部５０７が生成した、類似度が閾値を超えるか否かを示すマークを重畳する。重畳画像送信部５１０は、画像重畳部５０９が重畳した、部分領域にマークが重畳された顔画像を、ネットワーク３５０を介してオペレータ端末２１０に送信する。

【0046】

なお、図５において、比較部５０５と、閾値記憶部５０６と、マーク生成部５０７と、マーク記憶部５０８と、画像重畳部５０９と、重畳画像送信部５１０とは、図１の表示制御部１０２に相当する。

【0047】

（顔画像記憶部）
図６は、本実施形態に係る顔画像記憶部５０３の構成を示す図である。顔画像記憶部５０３は、マークとの重畳画像を生成するための、顔認識装置３４０における顔認識結果と顔画像とを記憶する。なお、顔画像記憶部５０３の構成は、図６に限定されない。

【0048】

顔画像記憶部５０３は、顔認識処理を識別する顔認識ＩＤ６０１と、カメラ３２０が撮像した撮像画像を識別する撮像画像ＩＤ６０２と、顔認識装置３４０で認識対象となった蓄積画像を識別する蓄積画像ＩＤ６０３と、顔認識装置３４０における顔認識結果６０４と、を記憶する。さらに、顔画像記憶部５０３は、重畳する顔画像が撮像画像か蓄積画像か、あるいは両方かを示す重畳画像フラグ６０５を記憶する。

【0049】

（閾値記憶部）
図７は、本実施形態に係る閾値記憶部５０６の構成を示す図である。閾値記憶部５０６は、顔画像の部分領域ごとの類似度と比較する、重畳マークに対応する閾値を記憶する。なお、閾値記憶部５０６の構成は、図７に限定されない。

【0050】

閾値記憶部５０６は、類似度との比較における閾値の用途７０１に対応付けて、閾値７０２を記憶する。図７においては、例えば、類似度を、閾値を超えるか否かに分ける、類似度により部分領域を分岐するための１つの閾値Ｔｈ0と、類似度が第１閾値を超える高類似度の部分領域を分離するため、類似度が第２閾値を超えない低類似度の部分領域を分離するための、２つの閾値Ｔｈ1（第１閾値）およびＴｈ2（第２閾値）とが記憶されている。なお、重畳マークを細かく変化させるため、類似度を分離する閾値をさらに設けてもよい。

【0051】

（マーク記憶部）
図８Ａは、本実施形態に係るマーク記憶部５０８の構成を示す図である。マーク記憶部５０８は、各部分領域の類似度と閾値との比較結果の条件とそれをオペレータに示すマークの条件とを考慮して選択される、様々なマークを記憶する。なお、マーク記憶部５０８の構成は、図８に限定されない。

【0052】

マーク記憶部５０８は、マークを識別するマークＩＤ８１１に対応付けて、マークの形状８１２と、マークの基本画像データ８１３と、類似度に対応する変化８１４と、を記憶する。基本画像データ８１３には、マークの基本となるサイズ、色、濃淡、あるいは、画素単位の画像データなどが記憶される。

【0053】

（重畳画像データ生成テーブル）
図８Ｂは、本実施形態に係る重畳画像データ生成テーブル８２０の構成を示す図である。重畳画像データ生成テーブル８２０は、マーク生成部５０７までの処理において、各部分領域の重畳画像データを生成するために使用される。

【0054】

重畳画像データ生成テーブル８２０は、マークが重畳表示される顔画像を識別する表示顔画像ＩＤ８２１の各部分領域ＩＤ８２２に対応付けて、部分領域の類似度８２３と、閾値を超えるか否かの比較結果８２４と、比較結果８２４を示すためのマークＩＤ８２５と、比較結果８２４に対応するレベル８２６と、を記憶する。そして、重畳画像データ生成テーブル８２０は、各部分領域に重畳する重畳画像データ８２７を記憶する。

【0055】

（重畳表示データ生成テーブル）
図９は、本実施形態に係る重畳表示データ生成テーブル９００の構成を示す図である。重畳表示データ生成テーブル９００は、画像重畳部５０９の処理において、顔画像の各部分領域に各部分領域の重畳画像データを重畳して表示画像データを生成するために使用される。

【0056】

重畳表示データ生成テーブル９００は、表示顔画像ＩＤ８２１に対応付けて顔画像データ９０２を記憶する。そして、マーク生成部５０７で生成された部分領域の重畳画像データ８２７と、各部分領域の重畳結果データ９０４と、を記憶する。そして、重畳表示データ生成テーブル９００は、各部分領域の重畳結果データ９０４を全顔画像とした表示画像データ９０５を記憶する。

【0057】

なお、図９においては、各部分領域ごとに重畳画像を生成したが、別個にマークを集めた重畳用画像データを生成して、表示顔画像データと重畳用画像データとをまとめて重畳してもよい。

【0058】

《顔認識装置の機能構成》
図１０は、本実施形態に係る顔認識装置３４０の機能構成を示すブロック図である。

【0059】

顔認識装置３４０は、通信制御部１００１と、撮像画像取得部１００２と、顔画像抽出部１００３と、撮像顔画像データベース１００４と、照合対象顔画像データベース１００５と、部分領域データベース１００６と、を備える。また、顔認識装置３４０は、部分領域生成部１００７と、部分領域類似度算出部１００８と、顔認識部１００９と、認識結果および類似度送信部１０１０と、オペレータ操作取得部１０１１と、を備える。

【0060】

通信制御部１００１は、ネットワーク３５０を介して、撮像装置（カメラ）３２０、オペレータ端末２１０、表示制御装置３３０、との通信を制御する。撮像画像取得部１００２は、通信制御部１００１を介して、撮像装置（カメラ）３２０から撮像画像を取得する。顔画像抽出部１００３は、撮像画像取得部１００２が取得した撮像画像から顔画像を抽出する。なお、撮像装置（カメラ）３２０から顔画像が送られる場合や、さらに、顔画像の特徴量が送信される場合には、顔画像抽出部１００３は無くてもよい。撮像顔画像データベース１００４は、撮像した顔画像を検索可能に蓄積する。

【0061】

照合対象顔画像データベース１００５は、撮像顔画像の認識のための照合を行なう対照顔画像を検索可能に蓄積する。部分領域データベース１００６は、本実施形態において、照合して類似度を算出する部分領域を検索可能に格納する。なお、部分領域データベース１００６は、部分領域のためのデータのみでなく部分領域を生成するアルゴリズムを格納してもよい。

【0062】

部分領域生成部１００７は、部分領域データベース１００６から選択されて規定された部分領域に基づいて、撮像顔画像データベース１００４から検索された撮像顔画像と、照合対象顔画像データベース１００５から検索された撮像顔画像との、部分領域を生成する。部分領域類似度算出部１００８は、部分領域生成部１００７で生成された撮像画像の部分領域と照合対象顔画像の部分領域とを対応付けて比較し、各部分領域の類似度を算出する。顔認識部１００９は、顔認識テーブル１０９１を有し、部分領域類似度算出部１００８が算出した各部分領域の類似度の累積あるいはパターンなどから顔画像が似ているか否かを認識する。

【0063】

顔認識結果および類似度送信部１０１０は、顔認識部１００９が出力した顔が似ているか否かの顔認識結果と、部分領域類似度算出部１００８が出力した各部分領域の類似度とを、通信制御部１００１を介して、表示制御装置３３０に送信する。なお、顔認識結果は、オペレータ端末２１０に直接送られてもよい。オペレータ操作取得部１０１１は、オペレータ端末２１０からのオペレータの操作を、通信制御部１００１を介して受信し、オペレータ操作に対応する処理を実行させる。

【0064】

なお、図１０の顔認識装置３４０においては、撮像顔画像と照合対象顔画像とから顔認識を行なったが、どちらの顔画像も撮像顔画像である場合や、どちらの顔画像も照合対象顔画像である場合は、同じデータベースから顔画像が読み出されることになる。

【0065】

（撮像顔画像データベース）
図１１Ａは、本実施形態に係る撮像顔画像データベース１００４の構成を示す図である。なお、撮像顔画像データベース１００４の構成は、図１１Ａに限定されない。

【0066】

撮像顔画像データベース１００４は、撮像顔画像を識別する撮像顔画像ＩＤ１１１１に対応付けて、撮像装置を識別する撮像装置ＩＤ１１１２と、撮像日時１１１３と、撮像された顔画像データ１１１４と、その特徴量１１１５と、を格納する。

【0067】

（照合対象顔画像データベース）
図１１Ｂは、本実施形態に係る照合対象顔画像データベース１００５の構成を示す図である。なお、照合対象顔画像データベース１００５の構成は、図１１Ｂに限定されない。

【0068】

照合対象顔画像データベース１００５は、照合する対象顔画像を識別する対象顔画像ＩＤ１１２１に対応付けて、顔画像に付随する顔画像属性１１２２と、その顔画像の人物に付随する人物属性１１２３と、顔画像データ１１２４と、その特徴量１１２５と、を格納する。顔画像属性１１２２には、顔画像の取得日時、顔画像の取得場所、などを記憶する。人物属性１１２３には、人物に氏名、年齢、性別、住所などを記憶する。

【0069】

（部分領域データベース）
図１２は、本実施形態に係る部分領域データベース１００６の構成を示す図である。なお、部分領域データベース１００６の構成は、図１２に限定されない。

【0070】

部分領域データベース１００６は、顔画像を分ける部分領域を識別する部分領域ＩＤ１２０１に対応付けて、部分領域生成のアルゴリズム１２０２を格納する。例えば、部分領域生成のアルゴリズム１２０２には、顔画像のメッシュ分割のサイズ、縦Ｈ×横Ｗや、目、鼻、口などの特徴部分（部位）を含む領域や、特徴部分とメッシュ（より小さい縦ｈ×横ｗ）との混在や、メッシュ（縦Ｈ×横Ｗ）とメッシュ（より小さい縦ｈ×横ｗ）との混在などが示されている。

【0071】

しかしながら、図１２のアルゴリズムに限定されるものではない。例えば、顔認識の重要領域を細かな領域とし、非重要領域をより粗い領域としたり、その逆であったりする。また、部分領域生成のアルゴリズム１２０２を各部分領域の照合方法（類似度算出方式）に対応させて変化させることもできる。その他、以下のような部分領域生成も含まれる。・メッシュとして、矩形以外に三角形や六角形などの多角形や円などの閉曲線で領域を生成する。・２つ以上の領域について重なりが生じる領域生成をする。・オペレータの操作に基づいて部分領域を生成する。

【0072】

（顔認識テーブル）
図１３は、本実施形態に係る顔認識テーブル１０９１の構成を示す図である。顔認識テーブル１０９１は、顔認識部１００９において、部分領域の類似度から顔認識をするために使用される。

【0073】

顔認識テーブル１０９１は、顔認識のために比較した、撮像顔画像を識別する撮像顔画像ＩＤ１３０１と照合対象顔画像を識別する照合対象顔画像ＩＤ１３０２とに対応付けて、各部分領域の類似度にスコアを付した類似度スコア１３０３と、トータルスコア１３０４と、を記憶する。そして、トータルスコア１３０４と予め記憶された顔類似閾値との比較結果１３０５と、比較結果１３０５に対応した類似／非類似の顔認識結果１３０６と、を記憶する。なお、トータルスコア１３０４は、各部分領域の類似度スコア１３０３に領域の重み付けをして算出してもよい。また、顔類似閾値は、部分領域の分け方や類似度の算出方式やスコアの付け方などに対応して、好適に設定される。

【0074】

《オペレータ端末の機能構成》
図１４は、本実施形態に係るオペレータ端末２１０の機能構成を示すブロック図である。

【0075】

オペレータ端末２１０は、通信制御部１４０１と、表示画像受信部１４０２と、表示部１４０３と、操作部１４０４と、オペレータ操作送信部１４０５と、を備える。また、オペレータ端末２１０に撮像装置（カメラ）３２０がローカルに接続される場合、オペレータ端末２１０は、撮像画像取得部１４０６と、撮像画像送信部１４０７と、を備える。

【0076】

通信制御部１４０１は、ネットワーク３５０を介して、撮像装置（カメラ）３２０、顔認識装置３４０、表示制御装置３３０、との通信を制御する。表示画像受信部１４０２は、通信制御部１４０１を介して、表示部１４０３に表示するための、通常の画像データ、重畳画像データあるいは重畳される画像データなどを受信する。例えば、撮像装置（カメラ）３２０からであれば、撮像画像を受信する。顔認識装置３４０からであれば、顔認識結果の通知画像を受信する。表示制御装置３３０からであれば、顔画像の部分領域に、類似度の閾値との比較結果を示すマークを重畳した画像データを受信する。表示部１４０３は、表示画像受信部１４０２が受信した画像を表示する。

【0077】

操作部１４０４は、操作処理テーブル１４４１を有し、オペレータがタッチパネルなどから入力した操作内容を判定する。なお、タッチパネルの場合、操作内容は表示部１４０３の表示内容とも関連付けられる。オペレータ操作送信部１４０５は、オペレータの操作内容を、通信制御部１４０１を介して、操作を実現する各装置に伝達する。撮像画像取得部１４０６は、ローカルに接続された撮像装置（カメラ）３２０からの撮像画像を取得する。撮像画像送信部１４０７は、撮像画像を、通信制御部１４０１を介して顔認識装置３４０に送信する。なお、スマードフォンやタブレットなどのカメラが搭載された通信端末は、撮像画像取得部１４０６と、撮像画像送信部１４０７と、を有している。

【0078】

（操作処理テーブル）
図１５は、本実施形態に係る操作処理テーブル１４４１の構成を示す図である。操作処理テーブル１４４１は、オペレータからの例えばタッチパネルへの操作入力を判定して、適切な操作命令に変換するために使用される。

【0079】

操作処理テーブル１４４１は、操作部１４０４であるタッチパネルの操作位置（座標）１５０１とオペレータ（特に、指）の動作種類１５０２とに対応付けて、操作内容１５０３を記憶する。なお、かかるオペレータの操作動作や操作内容については、具体例は省略する。

【0080】

《表示制御装置のハードウェア構成》
図１６は、本実施形態に係る表示制御装置３３０のハードウェア構成を示すブロック図である。

【0081】

図１６で、ＣＰＵ(Central Processing Unit)１６１０は演算制御用のプロセッサであり、プログラムを実行することで図５の機能構成部を実現する。ＲＯＭ(Read Only Memory)１６２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部５０１は、ネットワーク３５０を介して、顔認識装置３４０、オペレータ端末２１０や他の装置との通信を制御する。

【0082】

ＲＡＭ(Random Access Memory)１６４０は、ＣＰＵ１６１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１６４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。類似度１６４１は、顔認識装置３４０から受信した各部分領域の類似度を記憶する領域である。閾値１６４２は、類似度１６４１と比較するための閾値を記憶する領域である。判定結果１６４３は、各部分領域の類似度１６４１と閾値１６４２との比較結果を記憶する領域である。生成されたマーク１６４４は、判定結果１６４３に対応した一目で類似度を認識できるマークを記憶する領域である。顔画像１６４５は、生成されたマーク１６４４を重畳する顔画像を記憶する領域である。重畳表示データ生成テーブル９００は、図９に示した、重畳表示データを生成するためのテーブルを記憶する領域である。送受信データ１６４６は、通信制御部５０１を介して送受信されるデータを記憶する領域である。

【0083】

ストレージ１６５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。顔画像記憶部５０３は、図６に示したように、部分領域ごとにマークが重畳される顔画像を記憶する。閾値記憶部５０６は、図７に示したように、各部分領域の類似度と比較する閾値を記憶する。マーク記憶部５０８は、図８に示したように、各部分領域の類似度と閾値との比較結果に対応して、重畳するマークを記憶する。ストレージ１６５０には、以下のプログラムが格納される。表示制御装置制御プログラム１６５１は、本表示制御装置３３０の全体を制御するプログラムである。類似度判定モジュール１６５２は、各部分領域の類似度と閾値とを比較して判定結果を生成するモジュールである。マーク生成モジュール１６５３は、マーク記憶部５０８を参照して、類似度判定モジュール１６５２による判定結果に対応するマークを生成するモジュールである。重畳画像生成モジュール１６５４は、顔画像１６４５に生成されたマーク１６４４を重畳して、重畳表示データを生成してオペレータ端末２１０での表示を制御するモジュールである。

【0084】

なお、図１６のＲＡＭ１６４０やストレージ１６５０には、表示制御装置３３０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。

【0085】

《表示制御装置の処理手順》
図１７は、本実施形態に係る表示制御装置３３０の処理手順を示すフローチャートである。このフローチャートは、図１６のＣＰＵ１６１０がＲＡＭ１６４０を使用して実行し、図５の機能構成部を実現する。

【0086】

表示制御装置３３０は、ステップＳ１７０１において、顔画像を受信して、顔画像記憶部５０３に記憶する。表示制御装置３３０は、ステップＳ１７０３において、顔認識装置３４０から顔画像の各部分領域の類似度を取得する。そして、表示制御装置３３０は、ステップＳ１７０５において、各部分領域の類似度と閾値とを比較して対応するマークを生成するマーク生成処理を実行する。

【0087】

各部分領域に対応するマークを生成した後、表示制御装置３３０は、ステップＳ１７０７において、マークを重畳表示するか否かをオペレータのオペレータ端末２１０での操作により判定する。マークの表示がオペレータから指示されれば、表示制御装置３３０は、ステップＳ１７０９において、顔画像の部分領域に類似度に対応するマークを重畳する。

【0088】

表示制御装置３３０は、ステップＳ１７１１において、部分領域の処理が終了したかを判定する。部分領域の処理が終了してなければ、表示制御装置３３０は、ステップＳ１７０３に戻って、残りの部分領域の類似度を取得してステップＳ１７０９までの処理を繰り返す。部分領域の処理が終了していれば、表示制御装置３３０は、ステップＳ１７１３において、マークが重畳された顔画像がオペレータ端末２１０の表示部１４０３に表示されるように表示制御処理を実行する。

【0089】

（マーク生成処理：閾値）
図１８Ａは、本実施形態に係るマーク生成処理（Ｓ１７０５）の手順の一例を示すフローチャートである。図１８Ａは、１つの閾値を用いて、部分領域の類似度が閾値を超える場合と、閾値を超えない場合とで対応するマークを生成する例である。

【0090】

表示制御装置３３０は、ステップＳ１８１１において、各部分領域の類似度が閾値Ｔｈ0を超えるか否かを判定する。類似度が閾値Ｔｈ0を超える場合、表示制御装置３３０は、ステップＳ１８１３において、類似度が閾値Ｔｈ0を超えた類似領域であることを示すマークを、その類似度レベルも表わすように生成する。一方、類似度が閾値Ｔｈ0を超えない場合、表示制御装置３３０は、ステップＳ１８１５において、類似度が閾値Ｔｈ0を超えない非類似領域であることを示すマークを、その類似度レベルも表わすように生成する。

【0091】

なお、閾値を超えるか超えないかの一方のみにマークを重畳する場合は、ステップＳ１８１３とＳ１８１５の一方があればよい。また、両方のマークを生成して、重畳時にいずれを重畳するかを選択してもよい。

【0092】

（マーク生成処理：第１および第２閾値）
図１８Ｂは、本実施形態に係るマーク生成処理の手順（Ｓ１７０５）の他例を示すフローチャートである。図１８Ｂは、２つの閾値を用いて、部分領域の類似度がより高い閾値を超える場合と、より低い閾値を超えない場合とで対応するマークを生成する例である。

【0093】

表示制御装置３３０は、ステップＳ１８２１において、各部分領域の類似度が閾値Ｔｈ1（＞Ｔｈ0）を超えるか否かを判定する。類似度が閾値Ｔｈ1を超える場合、表示制御装置３３０は、ステップＳ１８２３において、類似度が閾値Ｔｈ1を超えた類似領域であることを示すマークを、その類似度レベルも表わすように生成する。一方、表示制御装置３３０は、ステップＳ１８２５において、各部分領域の類似度が閾値Ｔｈ2（＜Ｔｈ0）を超えないか否かを判定する。類似度が閾値Ｔｈ2（＜Ｔｈ0）を超えない場合、表示制御装置３３０は、ステップＳ１８２７において、類似度が閾値Ｔｈ2を超えない非類似領域であることを示すマークを、その類似度レベルも表わすように生成する。

【0094】

なお、閾値を超えるか超えないかの一方のみにマークを重畳する場合は、ステップＳ１８２１およびＳ１８２３と、ステップＳ１８２５およびＳ１８２７との一方があればよい。また、両方のマークを生成して、重畳時にいずれを重畳するかを選択してもよい。

【0095】

《顔認識装置のハードウェア構成》
図１９は、本実施形態に係る顔認識装置３４０のハードウェア構成を示すブロック図である。

【0096】

図１９で、ＣＰＵ１９１０は演算制御用のプロセッサであり、プログラムを実行することで図５の機能構成部を実現する。ＲＯＭ１９２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部１００１は、ネットワーク３５０を介して、表示制御装置３３０、オペレータ端末２１０や他の装置との通信を制御する。

【0097】

ＲＡＭ１９４０は、ＣＰＵ１９１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１９４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。撮像顔画像および部分領域画像１９４１は、撮像した顔画像とその部分領域画像とを記憶する領域である。照合対象顔画像および部分領域画像１９４２は、照合対象の蓄積された顔画像とその部分領域画像とを記憶する領域である。部分領域の類似度１９４３は、対応する撮像顔画像の部分領域と照合対象画像の部分領域とを照合した結果の類似度を記憶する領域である。顔認識テーブル１０９１は、図１３に示したように、部分領域の類似度から顔認識をするためのテーブルを記憶する領域である。顔認識結果１９４４は、顔認識テーブル１０９１を用いて顔認識した結果を記憶する領域である。送受信データ１９４５は、通信制御部１００１を介して表示制御装置３３０やオペレータ端末２１０、撮像装置（カメラ）３２０と送受信されるデータを記憶する領域である。

【0098】

ストレージ１９５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。照合対象顔画像データベース１００５は、図１１Ｂに示したように、照合対象の顔画像を蓄積するデータベースである。撮像顔画像データベース１００４は、図１１Ａに示したように、撮像装置（カメラ）３２０が撮像した顔画像を格納するデータベースである。部分領域データベース１００６は、図１２に示したように、顔画像を照合する適切な部分領域を規定するためのデータベースである。類似度算出アルゴリズム１９５１は、顔画像の部分領域ごとの類似度を算出するためのアルゴリズムを記憶する。顔認識アルゴリズム１９５２は、部分領域ごとの類似度から顔認識するためのアルゴリズムを記憶する。ストレージ１９５０には、以下のプログラムが格納される。顔認識装置制御プログラム１９５３は、本顔認識装置３４０の全体を制御するプログラムである。部分領域照合モジュール１９５４は、撮像顔画像および照合対象顔画像の部分領域を生成し、各部分領域の類似度を生成するための比較照合を行なうモジュールである。顔認識モジュール１９５５は、各部分領域の類似度に基づいて顔画像を認識するモジュールである。顔認識結果・類似度出力モジュール１９５６は、顔認識モジュール１９５５の出力である顔認識結果と、部分領域照合モジュール１９５４の出力である部分領域の類似度とを、表示制御装置３３０またはオペレータ端末２１０に出力するモジュールである。

【0099】

なお、図１９のＲＡＭ１９４０やストレージ１９５０には、顔認識装置３４０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。

【0100】

《顔認識装置の処理手順》
図２０は、本実施形態に係る顔認識装置３４０の処理手順を示すフローチャートである。このフローチャートは、図１９のＣＰＵ１９１０がＲＡＭ１９４０を使用して実行し、図１０の機能構成部を実現する。

【0101】

顔認識装置３４０は、ステップＳ２００１において、撮像装置（カメラ）３２０から撮像顔画像を受信する。あるいは、撮像画像を受信して、顔画像を抽出する。顔認識装置３４０は、ステップＳ２００３において、照合対象顔画像データベース１００５から照合対象顔画像を取得する。なお、照合対象顔画像の取得は、アルゴリズムなしに順に読み出してもよいが、撮像画像の特徴やオペレータからの指示に従って、選択された範囲の照合対象顔画像を読み出して照合するのが望ましい。

【0102】

顔認識装置３４０は、ステップＳ２００５において、撮像顔画像と照合対象顔画像とを同じ部分領域に分割して、部分領域ごとの類似度を算出する。そして、顔認識装置３４０は、ステップＳ２００７において、部分領域の類似度に基づいて顔認識処理を行なう。顔認識装置３４０は、ステップＳ２００９において、顔認識結果と部分領域の類似度とを、表示制御装置３３０あるいはオペレータ端末２１０に出力する。

【0103】

本実施形態によれば、類似度が閾値を超えるか超えないかをそれぞれ示すマークを顔画像に重畳して表示するように制御することで、オペレータが顔認識結果の要因を一目で把握でき、その場で顔認識結果を確認あるいは修正することができる。

【0104】

［第３実施形態］
次に、本発明の第３実施形態に係る表示制御装置を含む顔認識システムについて説明する。本実施形態に係る表示制御装置は、上記第２実施形態と比べると、所定範囲の類似度を有し、かつ、隣接する部分領域を連結して新たな連結領域を生成して顔画像に重畳表示する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0105】

《顔認識結果の表示画面》
図２１は、本実施形態に係る端末２１０の表示画面の概要を示す図である。図２１の表示画面は、携帯端末の表示画面であっても、ＰＣの表示画面であっても、顔認識専用あるいは監視専用の装置であってもよく、限定されない。なお、図２１において、図２Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。

【0106】

図２１の左端に示した端末２１０の表示画面は、図２Ａの左側に示した表示画面と同じである。ここで、図２１の上段の中央および右端に示した表示画面は、左端の表示画面において、部分領域の類似度が閾値を超える類似領域を連結して、類似領域をより分かり易くした表示画面である。一方、図２１の下段の中央および右端に示した表示画面は、左端の表示画面において、部分領域の類似度が閾値を超えない非類似領域を連結して、非類似領域をより分かり易くした表示画面である。

【0107】

図２１の上段の中央に示した端末２１０の表示画面は、左端の表示画面の大きな○２１２や小さな○２１３が隣接する領域を連結した領域２１２２乃至２１２４などを示している。図２１の上段の右端に示した端末２１０の表示画面は、上段の中央の表示画面において、領域２１２２乃至２１２４などをさらに連結した領域２１３２乃至２１３４を示している。このように、図２１の上段においては、細分割された顔画像の部分領域の類似度と閾値との照合結果から、閾値を超える類似領域がまとめられて（連結されて）、より粗く分割された類似領域に変化させる。

【0108】

図２１の下段の中央に示した端末２１０の表示画面は、左端の表示画面の“●”が隣接する領域を連結した領域２１４２乃至２１４４などを示している。図２１の下段の右端に示した端末２１０の表示画面は、下段の中央の表示画面において、領域２１４２乃至２１４４などをさらに連結した領域２１５２乃至２１５４を示している。このように、図２１の下段においては、細分割された顔画像の部分領域の類似度と閾値との照合結果による非類似領域がまとめられて（連結されて）、より粗く分割された非類似領域に変化させる。

【0109】

なお、類似領域の連結や非類似領域の連結は、隣接する類似領域や隣接する非類似領域を連結していく処理や、閾値を変化させて類似領域や非類似領域として残った部分を連結する処理、あるいは、最初の部分領域のサイズ（分割数に対応）を変化させるなどにより行なわれる。また、図２１では３段階のみを示したが、多段階の部分領域が実現でき、オペレータが見た場合に類似要因がより認識し易い段階を選択できる。また、適切な段階は、表示画面のサイズ、顔画像のサイズや濃淡、重畳するマークの形状などにも影響されるので、オペレータにより選択されてもよい。

【0110】

《表示制御装置の機能構成》
図２２は、本実施形態に係る表示制御装置２２３０の機能構成を示すブロック図である。なお、図２２において、図５と同様の機能構成部には同じ参照番号を付して、重複する説明を省略する。

【0111】

部分領域連結部２２１１は、領域連結テーブル２２１２を有し、比較部５０５の出力である類似領域あるいは非類似領域という比較結果から、隣接する類似領域や隣接する非類似領域を連結して、マーク生成部５０７に対して連結領域を示すより大きなマークを生成させる。

【0112】

なお、図２１の尚書きで説明したように、最初の部分領域のサイズ（分割数に対応）を漸次変化させる場合、本実施形態の顔認識システムでは顔認識装置３４０において部分領域のサイズ（分割数に対応）を変化させることになる。しかしながら、表示制御装置３３０と顔認識装置３４０とが一体化した装置やシステムでは、統一的に部分領域のサイズ（分割数に対応）を漸次変化させることができる。

【0113】

（領域連結テーブル）
図２３は、本実施形態に係る領域連結テーブル２２１２の構成を示す図である。領域連結テーブル２２１２は、部分領域連結部２２１１が類似領域や非類似領域を連結して、マーク生成部５０７が新たな連結領域に対応する連結マークを生成するために使用される。

【0114】

領域連結テーブル２２１２は、部分領域を識別する部分領域ＩＤ２３０１に対応付けて、連結するための類似度条件２３０２と、連結するための位置条件２３０３と、連結するか否かの連結領域結果２３０４と、を記憶する。さらに、領域連結テーブル２２１２は、部分領域を連結した後の連結領域の顔画像上の連結領域座標２３０５と、顔画像の連結領域の重畳する連結マーク２３０６と、を記憶する。なお、連結領域座標２３０５と連結マーク２３０６とは、連結された部分領域２３１０に対して同じ座標と連結マークとが割り当てられる。

【0115】

《領域連結処理手順》
図２４は、本実施形態に係る表示制御装置２２３０の領域連結処理の手順を示すフローチャートである。このフローチャートは、図１６のＣＰＵ１６１０がＲＡＭ１６４０を使用して実行し、図２２の機能構成部を実現する。なお、顔画像と類似度のマークとの重畳処理については、図１７の処理手順と類似であるので、説明を省略する。

【0116】

表示制御装置２２３０は、ステップＳ２４０１において、部分領域を連結する類似度の範囲を設定する。表示制御装置２２３０は、ステップＳ２４０３において、設定された類似度範囲内の部分領域を抽出する。そして、表示制御装置２２３０は、ステップＳ２４０５において、抽出された類似度範囲内の部分領域の内から隣接する部分領域を選別する。隣接する部分領域であれば、表示制御装置２２３０は、ステップＳ２４０７において、設定された類似度範囲内で隣接する部分領域を連結する。

【0117】

表示制御装置２２３０は、ステップＳ２４０９において、ステップＳ２４０３で抽出された全ての部分領域について処理をしたかを判定し、処理か終了するまでステップＳ２４０５からＳ２４０９を繰り返す。全ての抽出した部分領域の処理が終了すると、表示制御装置２２３０は、ステップＳ２４１１において、連結して生成されたより大きな連結領域に対応するマークを生成する。そして、表示制御装置２２３０は、ステップＳ２４１３において、顔画像の連結領域を示す連結マークを重畳して、オペレータ端末２１０への表示を制御する。

【0118】

なお、連結マークも、同様に類似度レベルを形状、色、濃淡、透明度などで変化させてもよい。

【0119】

本実施形態によれば、所定範囲の類似度を有し、かつ、隣接する部分領域を連結して新たな連結領域を生成して顔画像に重畳表示するので、オペレータが顔認識結果の要因をより容易に把握でき、その場で顔認識結果を確認あるいは修正することができる。

【0120】

［第４実施形態］
次に、本発明の第４実施形態に係る表示制御装置を含む顔認識システムについて説明する。本実施形態に係る表示制御装置は、上記第２実施形態および第３実施形態と比べると、顔を誤認識した場合の要因となった部分領域を生成して顔画像に重畳表示する点で異なる。その他の構成および動作は、第２実施形態や第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0121】

《顔認識結果の表示画面》
図２５は、本実施形態に係る端末２１０の表示画面の概要を示す図である。図２５の表示画面は、携帯端末の表示画面であっても、ＰＣの表示画面であっても、顔認識専用あるいは監視専用の装置であってもよく、限定されない。なお、図２５において、図２Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。

【0122】

図２５の上段の端末２１０の表示画面は、顔認識装置３４０で非類似２５１１、２５２１と判定された、撮像顔画像２５１０と照合対象顔画像２５２０とが表示されている。しかしながら、照合対象顔画像２５２０ではメガネを掛けているのみで、実際は同じ顔画像である。このように、顔認識装置３４０において非類似との誤認識が発生した場合に、顔認識装置３４０による再認識や、オペレータによるオペレータ端末２１０からの指摘に応答して、本実施形態の表示制御装置は、どの部分領域あるいは連結領域において非類似と判定されたために誤認識が発生したかを判定する。そして、本実施形態の表示制御装置は、部分領域あるいは連結領域２５１２、２５２２に誤認識の原因があることをオペレータに報知する。

【0123】

図２５の下段の端末２１０の表示画面は、顔認識装置３４０で類似２５３１、２５４１と判定された、撮像顔画像２５３０と照合対象顔画像２５４０とが表示されている。しかしながら、撮像顔画像２５３０は男性であり、一方、照合対象顔画像２５４０は女性であり、実際は異なる顔画像である。このように、顔認識装置３４０において類似との誤認識が発生した場合に、顔認識装置３４０による再認識や、オペレータによるオペレータ端末２１０からの指摘に応答して、本実施形態の表示制御装置は、どの部分領域あるいは連結領域において類似と判定されたために誤認識が発生したかを判定する。そして、本実施形態の表示制御装置は、部分領域あるいは連結領域２５３２、２５４２に、全く同じメガネの類似度が誤認識の原因があることをオペレータに報知する。

【0124】

なお、図２５においては、矩形状の部分領域あるいは連結領域を示したが、誤認識の原因を示す領域は矩形状に検定されない、あるいは、顔画像上に１つである必要もない。

【0125】

《顔認識システム》
図２６は、本実施形態に係る顔認識システムの動作手順を示すシーケンス図である。なお、図２６において、図４と同様のステップには同じステップ番号を付して、重複する説明を省略する。

【0126】

ステップＳ４０１からＳ４１９までの図４に従う重畳表示が行なわれた後、オペレータが顔認識装置３４０の誤認識と気付いた場合に、オペレータがオペレータ端末２１０に誤認識の要因表示を指示する。オペレータ端末２１０は、ステップＳ２６２１において、本実施形態の表示制御装置２６３０に対して誤認識の要因表示を依頼する。

【0127】

顔が非類似と認識された誤認識の場合には、表示制御装置２６３０は、ステップＳ２６２３において、低い類似領域にマークを重畳して重畳画像データを生成する。一方、顔が類似と認識された誤認識の場合には、表示制御装置２６３０は、ステップＳ２６２５において、高い類似領域にマークを重畳して重畳画像データを生成する。そして、表示制御装置２６３０は、ステップＳ２６２７において、いずれかの誤認識要因の領域を示した重畳画像をオペレータ端末２１０に送信する。オペレータ端末２１０は、ステップＳ２６２９において、図２５のように、重畳画像を表示して、オペレータに誤認識要因の領域を報知する。

【0128】

《表示制御装置の機能構成》
図２７は、本実施形態に係る表示制御装置２６３０の機能構成を示すブロック図である。なお、図２７において、図５または図２２と同様の機能構成部には同じ参照番号を付して、重複する説明を省略する。

【0129】

誤認識領域選別部２７１４は、オペレータ端末２１０から誤認識要因の領域表示の指示と、顔認識装置３４０の認識結果とを受けて、比較部５０５からの部分領域の類似度と閾値との比較結果の出力から、類似との誤認識の場合は類似度の特に高い領域を選別する。一方、誤認識領域選別部２７１４は、非類似との誤認識の場合は類似度の特に低い領域を選別する。そして、誤認識領域選別部２７１４は、部分領域連結部２２１１の選別された部分領域の連結領域を生成させる。

【0130】

《表示制御処理手順》
図２８は、本実施形態に係る表示制御装置２６３０の表示制御処理の手順を示すフローチャートである。このフローチャートは、図１６のＣＰＵ１６１０がＲＡＭ１６４０を使用して実行し、図２７の機能構成部を実現する。なお、顔画像と類似度のマークとの重畳処理については、図１７の処理手順と類似であるので、説明を省略する。

【0131】

表示制御装置２６３０は、ステップＳ２８０１において、誤認識要因の領域を表示するように、オペレータ端末２１０から指示されたか否かを判定する。誤認識要因の領域表示の指示があれば、表示制御装置２６３０は、ステップＳ２８０３において、顔認識装置３４０の認識結果を取得する。

【0132】

表示制御装置２６３０は、ステップＳ２８０５において、取得した顔認識結果が類似であるか否かを判定する。顔認識結果が類似であれば、表示制御装置２６３０は、ステップＳ２８０７において、類似度が特に高くて類似との顔認識結果に影響を及ぼした部分領域の連結領域を生成し、誤認識要因の連結領域を示すマークを生成する。顔認識結果が類似でなければ、表示制御装置２６３０は、ステップＳ２８０９において、取得した顔認識結果が非類似であるか否かを判定する。顔認識結果が非類似であれば、表示制御装置２６３０は、ステップＳ２８１１において、類似度が特に低くて非類似との顔認識結果に影響を及ぼした部分領域の連結領域を生成し、誤認識要因の連結領域を示すマークを生成する。

【0133】

表示制御装置２６３０は、ステップＳ２８１３において、顔画像に生成したマークを重畳して、オペレータ端末２１０への図２５のような重畳画像の表示を制御する。

【0134】

本実施形態によれば、顔を誤認識した場合の要因となった部分領域を生成して顔画像に重畳表示するので、オペレータが顔の誤認識の要因をより容易に把握でき、その場で顔認識結果を確認あるいは修正することができる。

【0135】

［第５実施形態］
次に、本発明の第５実施形態に係る表示制御装置を含む顔認識システムについて説明する。本実施形態に係る表示制御装置は、上記第２実施形態から第４実施形態と比べると、顔が似ていると認識をした場合の要因となった部分領域を生成して顔画像に重畳表示する点で異なる。その他の構成および動作は、第２実施形態から第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0136】

《顔認識結果の表示画面》
図２９は、本実施形態に係る端末２１０の表示画面の概要を示す図である。図２９の表示画面は、携帯端末の表示画面であっても、ＰＣの表示画面であっても、顔認識専用あるいは監視専用の装置であってもよく、限定されない。なお、図２９において、図２Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。

【0137】

図２９の上段の端末２１０の表示画面は、顔認識装置３４０で似ている顔２９１１と判定された、撮像顔画像２９１０と照合対象顔画像２９２０とが表示されている。図２９の上段の表示画面は、親子の顔画像である。なお、共に撮像顔画像であっても、共に照合対象顔画像であってもよい。似ている顔２９１１と顔認識装置３４０で認識された場合に、オペレータあるいはユーザがオペレータ端末２１０や携帯端末から、どこが似ているのかを問い合わせた場合に、似ている顔２９１１と認識した主要因の部分領域あるいは連結領域２９１２、２９２２を顔画像に重畳表示することで、オペレータあるいはユーザに特に似ている部分を通知する。

【0138】

図２９の下段の端末２１０の表示画面は、顔認識装置３４０で似ている顔２９３１と判定された、撮像顔画像２９３０と照合対象顔画像２９４０とが表示されている。図２９の下段の表示画面は、右側がタレントの顔画像である。なお、共に撮像顔画像であっても、共に照合対象顔画像であってもよい。似ている顔２９３１と顔認識装置３４０で認識された場合に、オペレータあるいはユーザがオペレータ端末２１０や携帯端末から、どこが似ているのかを問い合わせた場合に、似ている顔２９３１と認識した主要因の部分領域あるいは連結領域２９３２、２９４２を顔画像に重畳表示することで、オペレータあるいはユーザに特に似ている部分を通知する。

【0139】

なお、図２９においては、矩形状の部分領域あるいは連結領域を示したが、似ている顔との認識結果の原因を示す領域は矩形状に限定されない、あるいは、顔画像上に１つである必要もない。

【0140】

《顔認識システム》
図３０は、本実施形態に係る顔認識システムの動作手順を示すシーケンス図である。なお、図３０において、図４または図２６と同様のステップには同じステップ番号を付して、重複する説明を省略する。

【0141】

ステップＳ４０１からＳ４１９までの図４に従う重畳表示が行なわれた後、オペレータが顔認識装置３４０により「似ている顔」との認識結果を得た場合に、オペレータがオペレータ端末２１０に、あるいは、ユーザが携帯端末に、「似ている顔」の要因表示を指示する。オペレータ端末２１０は、ステップＳ３０２１において、本実施形態の表示制御装置３０３０に対して「似ている顔」の要因表示を依頼する。

【0142】

表示制御装置３０３０は、ステップＳ３０２５において、高い類似領域にマークを重畳して重畳画像データを生成する。そして、表示制御装置３０３０は、ステップＳ２６２７において、「似ている顔」の認識要因の領域を示した重畳画像をオペレータ端末２１０に送信する。オペレータ端末２１０は、ステップＳ２６２９において、図２９のように、重畳画像を表示して、オペレータに「似ている顔」の認識要因の領域を報知する。なお、図３０には、オペレータ端末２１０からの認識要因の表示指示を説明したが、ユーザによる携帯端末からの指示の処理も同様である。

【0143】

《表示制御装置の機能構成》
図３１は、本実施形態に係る表示制御装置３０３０の機能構成を示すブロック図である。なお、図３１において、図５または図２２と同様の機能構成部には同じ参照番号を付して、重複する説明を省略する。

【0144】

類似領域選別部３１１４は、オペレータ端末２１０から「似ている顔」の認識要因の領域表示の指示を受けて、比較部５０５からの部分領域の類似度と閾値との比較結果の出力から、類似度の特に高い領域を選別して、部分領域連結部２２１１の選別された部分領域の連結領域を生成させる。

【0145】

《表示制御処理手順》
図３２は、本実施形態に係る表示制御装置３０３０の表示制御処理の手順を示すフローチャートである。このフローチャートは、図１６のＣＰＵ１６１０がＲＡＭ１６４０を使用して実行し、図３１の機能構成部を実現する。なお、顔画像と類似度のマークとの重畳処理については、図１７の処理手順と類似であるので、説明を省略する。

【0146】

表示制御装置３０３０は、ステップＳ３２０１において、顔類似認識の要因となる領域を表示するように、オペレータ端末２１０や携帯端末から指示されたか否かを判定する。顔類似認識の要因となる領域表示の指示があれば、表示制御装置３０３０は、ステップＳ３２０３において、類似度が特に高くて類似との顔認識結果に影響を及ぼした部分領域の連結領域を生成し、類似認識要因の連結領域を示すマークを生成する。表示制御装置３０３０は、ステップＳ３２０５において、顔画像に生成したマークを重畳して、オペレータ端末２１０への図２９のような重畳画像の表示を制御する。

【0147】

本実施形態によれば、顔が似ていると認識をした場合の要因となった部分領域を生成して顔画像に重畳表示するので、オペレータが、顔が似ている要因をより容易に把握できる。

【0148】

［第６実施形態］
次に、本発明の第６実施形態に係る表示制御装置を含む顔認識システムについて説明する。本実施形態に係る表示制御装置は、上記第２実施形態から第５実施形態と比べると、顔認識結果を蓄積して学習し、生成された顔画像を照合するための注目領域や非注目領域を顔画像に重畳表示する点で異なる。その他の構成および動作は、第２実施形態から第５実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0149】

《顔認識時の表示画面》
図３３は、本実施形態に係る端末２１０の表示画面の概要を示す図である。図３３の表示画面は、携帯端末の表示画面であっても、ＰＣの表示画面であっても、顔認識専用あるいは監視専用の装置であってもよく、限定されない。なお、図３３において、図２Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。

【0150】

図３３の上段の端末２１０の表示画面は、顔認識装置３４０で認識結果の履歴を蓄積して、その学習から誤認識の要因となる部分領域あるいは連結領域３３１２、３３２２を、非注目領域３３１１として重畳した、撮像顔画像３３１０と照合対象顔画像３３２０とが表示されている。なお、共に撮像顔画像であっても、共に照合対象顔画像であってもよい。あるいは、撮像顔画像または照合対象顔画像の一方の表示でもよい。認識結果の履歴を蓄積から、例えば一般的にあるいはこの顔画像においては、目および目の周辺領域はメガネを掛けると同じ顔画像でも非類似と誤認識するので、認識対象から除くように顔画像にマークを重畳する。この重畳画像を見ると、オペレータは目および目の周辺領域には注目せずに、残る領域の類似／非類似を判定することができ、非類似との誤認識を少なくすることができる。

【0151】

図３３の下段の端末２１０の表示画面は、顔認識装置３４０で認識結果の履歴を蓄積して、その学習から誤認識の要因となる部分領域あるいは連結領域３３３２、３３４２を、注目領域３３３１として重畳した、撮像顔画像３３３０と照合対象顔画像３３４０とが表示されている。なお、共に撮像顔画像であっても、共に照合対象顔画像であってもよい。あるいは、撮像顔画像または照合対象顔画像の一方の表示でもよい。認識結果の履歴を蓄積から、例えば一般的にあるいはこの顔画像においては、目と鼻および目と鼻の周辺領域が類似していれば他の領域の類似／非類似は認識結果への影響が小さいと学習して、目と鼻および目と鼻の周辺領域以外は認識対象から除くように顔画像にマークを重畳する。この重畳画像を見ると、オペレータは目と鼻および目と鼻の周辺領域に注目することで、残る領域の類似／非類似による誤認識を避けることができる。

【0152】

なお、図３３においては、矩形状の部分領域あるいは連結領域を示したが、非注目領域あるいは注目領域を示す領域は矩形状に限定されない、あるいは、顔画像上に１つである必要もない。

【0153】

《顔認識システム》
図３４は、本実施形態に係る顔認識システムの動作手順を示すシーケンス図である。なお、図３４において、図４と同様のステップには同じステップ番号を付して、重複する説明を省略する。

【0154】

ステップＳ４０１からＳ４１９までの図４に従う重畳表示が行なわれた後、顔認識装置３４４０は、ステップＳ３４１１において、顔認識結果、顔画像部分領域の照合結果（類似度）を顔認識履歴（学習）データベースに解析可能に蓄積する。

【0155】

オペレータは、自分の顔認識前に、オペレータ端末２１０に注目領域および／または非注目領域の重畳指示を入力する。あるいは、予めオペレータ端末２１０に設定しておいてもよい。オペレータ端末２１０は、ステップＳ３４２１において、顔認識装置３４４０に対して注目領域／非注目領域の重畳表示を依頼する。

【0156】

顔認識装置３４４０は、ステップＳ３４２５において、学習データベースの蓄積情報から注目領域／非注目領域を抽出する。そして、顔認識装置３４４０は、ステップＳ３４２７において、抽出した注目領域／非注目領域を表示制御装置３４３０に送信する。

【0157】

表示制御装置３４３０は、ステップＳ３４２４において、顔認識装置３４４０から注目領域／非注目領域を取得して、ステップＳ３４３１において、撮像顔画像および／または照合対象顔画像に注目領域および／または非注目領域を重畳する。そして、表示制御装置３４３０は、ステップＳ３４３３において、注目領域／非注目領域を示した重畳画像をオペレータ端末２１０に送信する。オペレータ端末２１０は、ステップＳ３４３５において、図３３のように、重畳画像を表示して、オペレータに注目領域／非注目領域を報知する。

【0158】

なお、図３４においては、矩形状の部分領域あるいは連結領域を示したが、似ている顔との認識結果の原因を示す領域は矩形状に検定されない、あるいは、顔画像上に１つである必要もない。また、表示制御装置３４３０と顔認識装置３４４０とが一体である場合は、注目領域／非注目領域の抽出と顔画像への重畳は一体に実行される。

【0159】

《表示制御装置の機能構成》
図３５は、本実施形態に係る表示制御装置３４３０の機能構成を示すブロック図である。なお、図３５において、図５と同様の機能構成部には同じ参照番号を付して、重複する説明を省略する。

【0160】

注目領域／非注目領域取得部３５１５は、オペレータ端末２１０からの指示の下で、顔認識装置３４４０で抽出されて送信された、注目領域および／または非注目領域のマークを通信取得する。画像重畳部３５０９は、顔画像記憶部５０３からの顔画像に対して、マーク生成部５０７からの部分領域のマークや、注目領域／非注目領域取得部３５１５が取得した注目領域および／または非注目領域を重畳して重畳画像データを生成する。

【0161】

なお、マークは、連結領域に対応するマークなど他のマークであってもよい。

【0162】

《表示制御処理手順》
図３６は、本実施形態に係る表示制御装置３４３０の表示制御処理の手順を示すフローチャートである。このフローチャートは、図１６のＣＰＵ１６１０がＲＡＭ１６４０を使用して実行し、図３５の機能構成部を実現する。なお、顔画像と類似度のマークとの重畳処理については、図１７の処理手順と類似であるので、説明を省略する。

【0163】

表示制御装置３４３０は、ステップＳ３６０１において、重畳するのが注目領域であるか否かを判定する。注目領域の重畳表示であれば、表示制御装置３４３０は、ステップＳ３６０３において、顔認識装置３４４０から注目領域を取得する。注目領域でなければ、表示制御装置３４３０は、ステップＳ３６０５において、重畳するのが非注目領域であるか否かを判定する。非注目領域の重畳表示であれば、表示制御装置３４３０は、ステップＳ３６０７において、顔認識装置３４４０から非注目領域を取得する。そして、表示制御装置３４３０は、ステップＳ３６０９において、取得した注目領域または非注目領域を顔画像に重畳して、オペレータ端末２１０への表示を制御する。

【0164】

なお、注目領域および非注目領域を表示する場合のフローチャートについては、図示および説明を省略する。

【0165】

《顔認識装置の機能構成》
図３７は、本実施形態に係る顔認識装置３４４０の機能構成を示すブロック図である。なお、図３７において、図１０と同様の機能構成部には同じ参照番号を付して、重複する説明を省略する。

【0166】

顔認識履歴（学習）データベース３７１２は、顔認識装置３４４０における部分領域の類似度に基づく認識結果と、認識対象顔画像、および、認識要因などの履歴を蓄積する。注目領域／非注目領域生成送信部３７１３は、注目／非注目領域生成テーブル３７１４を有し、顔認識履歴（学習）データベース３７１２を参照して、注目領域／非注目領域を生成する。

【0167】

（顔認識履歴データベース：学習データベース）
図３８は、本実施形態に係る顔認識履歴（学習）データベース３７１２の構成を示す図である。顔認識履歴（学習）データベース３７１２の構成は、図３８に限定されない。

【0168】

顔認識履歴（学習）データベース３７１２は、撮像顔画像を識別する撮像画像ＩＤ３８０１と照合対象顔画像を識別する照合対象顔画像ＩＤ３８０２とに対応付けて、顔認識装置の認識結果３８０３と、オペレータの認識結果３８０４と、を蓄積する。そして、顔認識履歴（学習）データベース３７１２は、学習内容３８０５を記憶する。顔認識装置の認識結果３８０３は、例えば、認識結果と判定に影響した領域などを含む。また、オペレータの認識結果３８０４は、例えば、認識結果と注目領域などを含む。また、学習内容３８０５には、顔認識装置の認識結果とオペレータの認識結果との一致や不一致、一致した原因、不一致の原因などを含む。

【0169】

なお、図３８には図示しないが、顔認識日時などの認識条件を学習に必要とする限り蓄積してもよい。

【0170】

（注目領域／非注目領域生成テーブル）
図３９は、本実施形態に係る注目領域／非注目領域生成テーブル３７１４の構成を示す図である。注目領域／非注目領域生成テーブル３７１４は、注目領域／非注目領域生成送信部３７１３が顔認識履歴（学習）データベース３７１２に蓄積された履歴に基づいて、注目領域と非注目領域を生成するために使用される。

【0171】

注目領域／非注目領域生成テーブル３７１４は、顔画像の部分領域を識別する部分領域ＩＤ３９０１に対応付けて、顔画像上の部分領域座標３９０２と、認識結果への影響度３９０３と、を記憶する。認識結果への影響度３９０３は、認識結果に高影響を与えた高影響スコアと認識結果に高影響を与えなかった低影響スコアとを含む。そして、その部分領域を注目領域とするか否か３９０４と、非注目領域とするか否か３９０５と、を記憶する。なお、図３９においては、上の２つの部分領域は注目領域と判定され、３番目の領域は非注目領域と判定され、４番目の領域は注目領域と非注目領域とのいずれでもないと判定されている。

【0172】

なお、図３９には部分領域のみを示したが、連結領域などにおいても同様である。

【0173】

《注目領域／非注目領域生成処理手順》
図４０は、本実施形態に係る注目領域／非注目領域生成処理の手順を示すフローチャートである。このフローチャートは、図１９のＣＰＵ１９１０がＲＡＭ１９４０を使用して実行し、図３７の機能構成部を実現する。なお、顔画像と類似度のマークとの重畳処理については、図１７の処理手順と類似であるので、説明を省略する。

【0174】

顔認識装置３４４０は、ステップＳ４００１において、オペレータ端末２１０から注目領域／非注目領域の生成を指示されたか否かを判定する。注目領域／非注目領域の生成を指示されたならば、顔認識装置３４４０は、ステップＳ４００３において、撮像装置（カメラ）３２０から撮像顔画像を取得する。次に、顔認識装置３４４０は、ステップＳ４００５において、取得した撮像顔画像の認識のための照合対象顔画像を取得する。そして、顔認識装置３４４０は、ステップＳ４００７において、取得した撮像顔画像および照合対象顔画像から、顔認識履歴（学習）データベース３７１２に蓄積された履歴を参照して、注目領域と非注目領域とを生成する。顔認識装置３４４０は、ステップＳ４００９において、生成された注目領域／非注目領域と顔画像とは、重畳表示されるために表示制御装置３４３０に送信される。

【0175】

本実施形態によれば、顔認識結果を蓄積して学習し、生成された顔画像を照合するための注目領域や非注目領域を顔画像に重畳表示するので、オペレータがより容易に顔認識をすることができる。

【0176】

［第７実施形態］
次に、本発明の第７実施形態に係る表示制御装置を含む顔認識システムについて説明する。本実施形態に係る表示制御装置は、上記第２実施形態から第６実施形態と比べると、顔認識システムを構成する機能構成部に含まれる点で異なる。その他の構成および動作は、第２実施形態から第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0177】

《顔認識システム》
図４１は、本実施形態に係る顔認識システム４１００の構成を示すブロック図である。この顔認識システム４１００は、顔認識システムを構成する最小限の機能構成部で表現したものである。

【0178】

顔認識システム４１００は、撮像部３２０と、顔認識装置３４０と、表示部４１１０と、を備える。ここで、表示部４１１０は、部分領域の類似度が閾値を超えるか否かのマークを生成して顔画像に重畳する表示制御装置３３０と、重畳画像を表示する表示部１４０３を有するオペレータ端末２１０とを有する。顔認識装置３４０は、蓄積部、撮像顔画像の部分領域生成部、蓄積顔画像の部分領域生成部、部分領域ごとの類似度算出部、部分領域の類似度に基づく顔認識部などを有する。

【0179】

本実施形態によれば、上記実施形態のそれぞれの効果を多様な機能構成の異なる組み合わせで実現することができる。

【0180】

［第８実施形態］
次に、本発明の第８実施形態に係る表示制御装置を含む顔認識システムについて説明する。本実施形態に係る表示制御装置は、上記第２実施形態から第７実施形態と比べると、クラウドサーバ内に表示制御サーバとして実現される点で異なる。その他の構成および動作は、第２実施形態から第７実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0181】

《顔認識システム》
図４２Ａは、本実施形態に係る顔認識システム４２０１の構成を示すブロック図である。なお、図４２Ａにおいて、図３と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。

【0182】

顔認識システム４２０１は、ネットワーク３５０に接続するクラウドサーバ４２６０を備える。クラウドサーバ４２６０は、上記実施形態で説明した表示制御装置に対応する表示制御サーバ４２３０および顔認識装置に対応する顔認識サーバ４２４０を含む。

【0183】

空港などに配置された監視用のオペレータ端末２１０や、ユーザ端末としてのノートＰＣ２１ｉや携帯端末（スマートフォンやタブレットなど）からの、顔画像への種々の顔認識処理の支援となるマーク重畳の要請に従って、クラウドサーバ４２６０において、統合処理が実行されて、各端末２１０〜２１ｎにおける重畳画像の表示が制御される。

【0184】

図４２Ｂは、本実施形態に係る顔認識システム４２０２の構成を示すブロック図である。なお、図４２Ｂにおいて、図３または図４２Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。

【0185】

顔認識システム４２０２においては、端末４２１１〜４２１ｎはユーザの携帯端末（スマートオフォン、タブレットあるいは携帯電話）である。ユーザの携帯端末に搭載されたカメラによる撮像映像をクラウドサーバ４２６０に送信すれば、クラウドサーバ４２６０においてユーザ所望の顔認識処理の支援となるマーク重畳画像が、ユーザの携帯端末の画面に表示される。

【0186】

本実施形態によれば、上記実施形態のそれぞれの効果を、自装置が機能を備えていなくてもクラウドサーバに依頼すれば実現することができる。

【0187】

［第９実施形態］
次に、本発明の第９実施形態に係る表示制御装置を含む顔認識システムについて説明する。本実施形態に係る表示制御装置は、上記第２実施形態から第８実施形態と比べると、顔認識システムとしての通信端末に顔認識アプリケーションの一部として含まれる点で異なる。その他の構成および動作は、第２実施形態から第８実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0188】

《顔認識システム》
図４３は、本実施形態に係る顔認識システとしての通信端末４３１０の機能構成を示すブロック図である。なお、図４３には、新規な参照番号“４３ＸＸ”が付されているが、これらは図５や図１０の機能構成部を通信端末４３１０に集中して搭載したものであり、その処理機能は同じ名称であれば同様であるので、重複する説明を省略する。

【0189】

通信端末４３１０は、通信制御部４３０１と、顔認識アプリケーション４３０２と、撮像部（カメラ）４３０３と、表示部４３０４と、操作部４３０５と、を備える。顔認識アプリケーション４３０２は、通信端末４３１０にダウンロードされるアプリケーションプログラムに相当する。また、通信端末４３１０に予め搭載されていてもよい。

【0190】

顔認識アプリケーション４３０２は、照合対象顔画像取得部４３２１と、照合対象顔画像データベース４３２２と、部分領域生成部４３２３と、類似度算出部４３２４と、を有する。さらに、顔認識アプリケーション４３０２は、閾値およびマーク情報に基づきマークを生成するマーク生成部４３２５と、部分領域の類似度に基づいて顔画像を認識する顔認識部４３２６と、撮像部（カメラ）４３０３が撮像した撮像顔画像および／または照合対象顔画像に、マークを重畳して表示部４３０４に表示させる重畳画像生成部４３２７と、を有する。

【0191】

本実施形態によれば、上記実施形態のそれぞれの効果を、端末のみで実現することができる。

【0192】

［他の実施形態］
なお、上記実施形態においては、表示制御装置と顔認識装置とを別途に設けた例を説明したが、全体を１つの装置にまとめても、その一部を一方の装置に含むようにしてもよい。例えば、部分領域の照合機能を表示制御装置が有して、照合結果を顔認識装置に通知してもよい。さらに、部分領域照合装置として、部分領域を照合して、その結果を表示制御装置と顔認識装置とに出力する新たな装置を設けてもよい。すなわち、本実施形態の表示制御装置と顔認識装置とに含まれる機能が実現できれば、そのような配置であってもよい。

【0193】

また、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

【0194】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムとしての表示制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

【0195】

この出願は、２０１５年９月８日に出願された日本国特許出願 特願２０１５−１７６５３４号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18A】

【図18B】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42A】

【図42B】

【図43】