特許 6573311 顔認識システム、顔認識サーバ及び顔認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6573311

(24)【登録日】2019年8月23日

(45)【発行日】2019年9月11日

(54)【発明の名称】顔認識システム、顔認識サーバ及び顔認識方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20190902BHJP

【ＦＩ】

   G06T7/00 300F

【請求項の数】8

【全頁数】12

(21)【出願番号】特願2015-120455(P2015-120455)

(22)【出願日】2015年6月15日

(65)【公開番号】特開2017-4431(P2017-4431A)

(43)【公開日】2017年1月5日

【審査請求日】2018年5月17日

(73)【特許権者】

【識別番号】000005821

【氏名又は名称】パナソニック株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】特許業務法人栄光特許事務所

(72)【発明者】

【氏名】常野 正茂

(72)【発明者】

【氏名】鶴海 馨

(72)【発明者】

【氏名】齊藤 寛夫

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００８−２８７６５７（ＪＰ，Ａ）

【文献】 特開２００８−２６２４３５（ＪＰ，Ａ）

【文献】 特開２０１５−７２５７８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／００７０９７４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

カメラ装置と顔認識サーバとが接続された顔認識システムであって、
前記顔認識サーバは、
前記カメラ装置により撮像領域が撮像された映像データを基に、前記映像データに現れる人物の顔を有する顔画像データの特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部により抽出された前記顔画像データの特徴量を顔特徴量メモリに保存する保存部と、
前記特徴量抽出部により抽出された前記顔画像データの特徴量との間の類似度が所定値以上となる前記顔画像データの特徴量が、前記カメラ装置の撮像時刻より所定時間を超えて前記顔特徴量メモリに保存された場合に、前記特徴量抽出部により抽出された前記顔画像データの特徴量を用いて、統計処理する統計処理部と、を備える、
顔認識システム。

【請求項2】

請求項１に記載の顔認識システムであって、
前記顔認識サーバは、前記特徴量抽出部により抽出された前記顔画像データの特徴量との間の類似度が所定値以上となる前記顔画像データの特徴量が、前記カメラ装置の撮像時刻より所定時間を超えずに前記顔特徴量メモリに保存された場合に、前記カメラ装置により撮像された前記映像データに対応する前記顔画像データが所定の保存条件を満たさないと、前記特徴量抽出部により抽出された前記顔画像データの特徴量を破棄する、
顔認識システム。

【請求項3】

請求項２に記載の顔認識システムであって、
前記顔認識サーバは、前記カメラ装置により撮像された前記映像データに対応する前記顔画像データが前記所定の保存条件を満たす場合に、前記特徴量抽出部により抽出された前記顔画像データの特徴量を前記顔特徴量メモリに保存する、
顔認識システム。

【請求項4】

請求項１に記載の顔認識システムであって、
前記顔認識サーバは、前記特徴量抽出部により抽出された前記顔画像データの特徴量との間の類似度が前記所定値以上となる前記顔画像データの特徴量が前記顔特徴量メモリに保存されていない場合に、前記特徴量抽出部により抽出された前記顔画像データの特徴量を用いて、統計処理する、
顔認識システム。

【請求項5】

請求項１〜４のうちいずれか一項に記載の顔認識システムであって、
前記所定時間は、前記撮像領域の周囲の環境に合わせて任意に設定可能である、
顔認識システム。

【請求項6】

請求項１〜５のうちいずれか一項に記載の顔認識システムであって、
端末装置、が更に接続され、
前記顔認識サーバは、前記端末装置からの検索要求に応じて、前記統計処理部により統計処理された前記顔画像データの特徴量を検索し、前記検索要求に合致した検索結果を前記端末装置に送信する、
顔認識システム。

【請求項7】

カメラ装置が接続された顔認識サーバであって、
前記カメラ装置により撮像領域が撮像された映像データを基に、前記映像データに現れる人物の顔を有する顔画像データの特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部により抽出された前記顔画像データの特徴量を顔特徴量メモリに保存する保存部と、
前記特徴量抽出部により抽出された前記顔画像データの特徴量との間の類似度が所定値以上となる前記顔画像データの特徴量が、前記カメラ装置の撮像時刻より所定時間を超えて前記顔特徴量メモリに保存された場合に、前記特徴量抽出部により抽出された前記顔画像データの特徴量を用いて、統計処理する統計処理部と、を備える、
顔認識サーバ。

【請求項8】

カメラ装置と顔認識サーバとが接続された顔認識システムにおける顔認識方法であって、
前記カメラ装置により撮像領域が撮像された映像データを基に、前記映像データに現れる人物の顔を有する顔画像データの特徴量を抽出する処理と、
抽出された前記顔画像データの特徴量を顔特徴量メモリに保存する処理と、
抽出された顔画像データの特徴量との間の類似度が所定値以上となる前記顔画像データの特徴量が、前記カメラ装置の撮像時刻より所定時間を超えて前記顔特徴量メモリに保存された場合に、抽出された前記顔画像データの特徴量を用いて、統計処理する処理と、を実行する、
顔認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラ装置により撮像された映像を用いて、人物の顔を認識する顔認識システム、顔認識サーバ及び顔認識方法に関する。

【背景技術】

【0002】

従来、店舗内に設定された撮像領域に出現した人物の客層を判定する際、人物の行動形態から分析対象となる顧客であるか否かを判定し、該当しない人物を分析対象から排除することで、店舗に来店した顧客の客層を精度良く分析する客層分析システムが知られている（例えば、特許文献１参照）。

【0003】

この客層分析システムでは、例えば店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように撮像領域が設定される。客席に向かって移動する行動と異なる行動をとる人物を検出し、その人物を分析対象から排除することで、店員など顧客以外の人物が分析対象に含まれ、同一の顧客が重複して分析対象に含まれることを避ける。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−２３２４９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の構成では、人物が所定の行動形態をとらない場合には、その人物を分析対象から排除できるが、人物が所定の行動形態をとっているか否かを判定するためには、複雑な判断処理が必要であった。

【0006】

また、人物が所定の行動形態をとっていると判断できた場合でも、同じ人物が所用で店舗の出入口を２回以上往復すると、重複して集計してしまうことが考えられた。また特許文献１の構成では、人物が所定の行動形態をとらない場合には、その人物が分析対象の顧客であっても、分析対象から排除されてしまうことが考えられた。

【0007】

本発明は、上述した従来の状況に鑑みて案出され、複雑な判断を行うことなく、同一の人物が重複して含まれないように効率的に統計処理できる顔認識システム、顔認識サーバ及び顔認識方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明は、カメラ装置と顔認識サーバとが接続された顔認識システムであって、前記顔認識サーバは、前記カメラ装置により撮像領域が撮像された映像データを基に、前記映像データに現れる人物の顔を有する顔画像データの特徴量を抽出する特徴量抽出部と、前記特徴量抽出部により抽出された前記顔画像データの特徴量を顔特徴量メモリに保存する保存部と、前記特徴量抽出部により抽出された前記顔画像データの特徴量との間の類似度が所定値以上となる前記顔画像データの特徴量が、前記カメラ装置の撮像時刻より所定時間を超えて前記顔特徴量メモリに保存された場合に、前記特徴量抽出部により抽出された前記顔画像データの特徴量を用いて、統計処理する統計処理部と、を備える、顔認識システムである。

【0009】

また、本発明は、カメラ装置が接続された顔認識サーバであって、前記カメラ装置により撮像領域が撮像された映像データを基に、前記映像データに現れる人物の顔を有する顔画像データの特徴量を抽出する特徴量抽出部と、前記特徴量抽出部により抽出された前記顔画像データの特徴量を顔特徴量メモリに保存する保存部と、前記特徴量抽出部により抽出された前記顔画像データの特徴量との間の類似度が所定値以上となる前記顔画像データの特徴量が、前記カメラ装置の撮像時刻より所定時間を超えて前記顔特徴量メモリに保存された場合に、前記特徴量抽出部により抽出された前記顔画像データの特徴量を用いて、統計処理する統計処理部と、を備える、顔認識サーバである。

【0010】

また、本発明は、カメラ装置と顔認識サーバとが接続された顔認識システムにおける顔認識方法であって、前記カメラ装置により撮像領域が撮像された映像データを基に、前記映像データに現れる人物の顔を有する顔画像データの特徴量を抽出する処理と、抽出された前記顔画像データの特徴量を顔特徴量メモリに保存する処理と、抽出された顔画像データの特徴量との間の類似度が所定値以上となる前記顔画像データの特徴量が、前記カメラ装置の撮像時刻より所定時間を超えて前記顔特徴量メモリに保存された場合に、抽出された前記顔画像データの特徴量を用いて、統計処理する処理と、を実行する、顔認識方法である。

【発明の効果】

【0011】

本発明によれば、複雑な判断を行うことなく同一の人物が重複して含まれないように統計処理できる。

【図面の簡単な説明】

【0012】

【図1】本実施形態の顔認識システムの内部構成の一例を詳細に示すブロック図

【図2】本実施形態の顔認識サーバにおける顔検出処理の動作手順の一例を説明するフローチャート

【図3】ユーザ端末のディスプレイに表示されるＵＩ画面の一例を示す説明図

【図4】本実施形態の変形例の顔認識システムの内部構成の一例を詳細に示すブロック図

【発明を実施するための形態】

【0013】

以下、適宜図面を参照しながら、本発明に顔認識システム、顔認識サーバ及び顔認識方法を具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0014】

図１は、本実施形態の顔認識システム５の内部構成の一例を詳細に示すブロック図である。図１に示す顔認識システム５は、複数台のカメラ装置１０、顔認識サーバ３０及びユーザ端末６０が接続された構成を有する。

【0015】

各カメラ装置１０は、予め設定された店舗内等の所定の場所を撮像領域として撮像する。各カメラ装置１０は、撮像された映像に現れる、この撮像領域を通過する人物の顔を含む顔画像データを取得する。各カメラ装置１０は、撮像部１１、顔検出部１２、顔切出し部１３及び通信部１４を有する。なお、本実施形態のカメラ装置１０は、１台であってもよいし、複数台であってもよい。

【0016】

撮像部は、ＣＣＤ（電荷結合素子：Charge Couples Device）イメージセンサやＣＭＯＳ（相補性金属酸化膜半導体：Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を有し、予め設定された撮像領域から入射する光を受光面に結像し、その光学像を電気信号に変換する。これにより、撮像領域の映像を表す映像データのフレームが得られる。

【0017】

顔検出部１２は、撮像部１１によって撮像された映像に含まれる顔を検出する。この顔検出処理は、例えば目、鼻、口等の顔のパーツを検出する方法、肌色を検出する方法、頭髪を検出する方法、首や肩などの部分を検出する方法等、公知の技術を用いて、顔を検出する処理である。また、顔検出処理方法として、統計的学習に基づくパターン認識技術を用いてもよい。

【0018】

顔切出し部１３は、顔検出部１２によって検出された顔を含む顔画像データを、撮像部１１によって撮像された映像のフレームから切り出す。切り出される顔画像データは、撮像された顔を含む程度の大きさを有する矩形の画像を含むデータである。顔検出部１２及び顔切出し部１３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）等のプロセッサ１６によって実行される機能である。プロセッサ１６は、例えば内部メモリに記憶されたアプリケーションプログラムを実行することで、顔検出部１２及び顔切出し部１３の機能を実現する。

【0019】

通信部１４は、有線若しくは無線で顔認識サーバ３０と接続され、顔切出し部１３によって切り出された顔画像データを顔認識サーバ３０に送信する。例えばカメラ装置１０がネットワークカメラである場合、通信部１４はＩＰ（Internet Protocol）ネットワークを介して顔画像データを送信可能である。

【0020】

顔認識サーバ３０は、各カメラ装置１０から受信した顔画像データに含まれる顔を予め登録された顔と照合して認識する。顔認識サーバ３０は、通信部３１、顔特徴量抽出部３２、顔特徴量比較部３３、撮像時刻比較部３４、保存部３５、事前通過比較元顔特徴量データメモリ４１及び顔画像データメモリ４２を有する。

【0021】

通信部３１は、カメラ装置１０から顔画像データを受信し、また、ユーザ端末６０からの要求（例えば後述する検索要求）に応じて、当該要求に合致する検索結果（つまり、統計データ）をユーザ端末６０に送信する。

【0022】

特徴量抽出部の一例としての顔特徴量抽出部３２は、通信部３１が受信した顔画像データから顔の特徴量（以下、単に「顔特徴量」という）を抽出する。顔特徴量抽出処理は、公知の技術を用いて、例えば眼の位置、目と鼻と口の位置関係、しわの寄り方等の特徴量を抽出する処理である。

【0023】

顔特徴量比較部３３は、顔特徴量抽出部３２によって抽出された顔特徴量と、事前通過比較元顔特徴量データメモリ４１に登録されている顔特徴量とを比較し、これらの類似度が所定値以上に高いか否かを判別する。また、これらの類似度が所定値以上に高くない場合（つまり、類似度が所定値未満である場合）、顔特徴量比較部３３は、類似度が低いと判定する。なお、類似度が高いと判定する際の所定値（第１閾値）に対し、類似度が低いと判定する際の所定値（第２閾値）は、同じ値でもよいし、第１閾値より低い値であってもよい。

【0024】

顔特徴量メモリの一例としての事前通過比較元顔特徴量データメモリ４１は、カメラ装置１０から送られた顔画像データから、顔特徴量抽出部３２によって抽出された顔特徴量が所定の保存条件を満たす場合に、この顔特徴量を、撮像領域を通過した人物の顔を含む顔画像データの特徴量として、一定期間において保存する。このとき、顔画像データの特徴量の他、撮像時刻や撮像領域（位置）の情報も付属情報として保存される。

【0025】

なお、一定期間の開始は、カメラ装置１０によって画像データが撮像された撮像時刻であり、この撮像時刻は、例えば画像データのヘッダに含まれる。また、一定期間は、撮像領域の環境に合わせて、ユーザ端末６０の操作に応じて任意に設定・変更可能である。例えば撮像領域がレストラン等の店舗内である場合、一定期間は一例として２時間に設定される。また、撮像領域がオフィスビル内である場合、一定期間は一例として６〜７時間に設定される。この一定期間は、顔認識サーバ３０に事前に設定されてもよいし、管理者等のユーザがユーザ端末６０を操作して顔認識サーバ３０に対し一定期間の値を送信することで設定されてもよい。

【0026】

顔画像データメモリ４２は、事前通過比較元顔特徴量データメモリ４１に登録された顔特徴量の顔画像データを、顔特徴量と同様、一定期間、顔特徴量に紐付けて保存する。ここでは、一定期間が経過し、事前通過比較元顔特徴量データメモリ４１に保存された顔特徴量が消去されると、顔画像データメモリ４２に保存された、顔特徴量に対応する顔画像データも同時に消去されるが、画像データを消去することなく、より長い期間（例えば１年等）保存しておいてもよい。消去することなく、画像データを相当量蓄積しておくことで、ビッグデータとして活用することも可能になる。

【0027】

撮像時刻比較部３４は、顔特徴量抽出部３２によって抽出された顔特徴量と、事前通過比較元顔特徴量データメモリ４１に登録されている顔特徴量との類似度が所定値（第１閾値）以上に高い場合、カメラ装置１０から受信した顔画像データの撮像時刻を取得する。前述したように、撮像時刻は顔画像データのヘッダ情報に記述されている。

【0028】

また、撮像時刻比較部３４は、この登録された顔特徴量は、顔特徴量抽出部３２によって顔特徴量が抽出された顔画像データの撮像時刻から所定時間前までに、事前通過比較元顔特徴量データメモリ４１に保存されたものであるか否かを判別する。所定時間は、後述する統計処理を行う際、同一の人物を重複して計数（ダブルカウント）しないようにするために設定される時間であり、撮像領域の環境に合わせて適正な値に設定される。例えば、事前通過比較元顔特徴量データメモリ４１に顔特徴量を保存可能な一定期間が２４時間である場合、所定時間はそれにより短い２時間等に設定される。なお、一定期間と所定時間とが同じ期間であってもよく、この場合、所定時間より前の顔特徴量は、事前通過比較元顔特徴量データメモリ４１に存在しなくなるので、撮像時刻比較部３４を省くことも可能である。

【0029】

保存部３５は、事前通過比較元顔特徴量データメモリ４１及び顔画像データメモリ４２に接続され、顔画像データの特徴量を事前通過比較元顔特徴量データメモリ４１に保存し、この特徴量に対応する顔画像データを顔画像データメモリ４２に保存する。なお、後述するように、顔特徴量を統計処理しない場合でも、この顔特徴量に対応する顔画像データが保存条件を満たす場合には、顔特徴量は保存される。

【0030】

顔認識サーバ３０は、更に、年齢性別判定部３６、統計部３７、保存部３８、統計データ検索部３９及び年齢性別統計データメモリ４３を有する。年齢性別判定部３６は、顔特徴量抽出部３２によって抽出された顔特徴量を基に、公知の技術を用いて年齢及び性別を推定する。推定される年齢は、ある程度の年齢幅で表現されてもよいし、代表値で表現されてもよい。

【0031】

統計処理部の一例としての統計部３７は、年齢及び性別を統計の対象とする統計処理を行う。この統計処理では、例えばカメラ装置１０によって撮像された映像に含まれる顔の数が年齢及び性別毎に集計され、年齢性別統計データとして登録される。統計処理は、単に年齢及び性別毎に人数（顔の数）をカウントアップする以外に、全体の人数の中に占める各年齢層の比率や男女の比率等を算出する処理等を含めてもよい。その他、統計処理は、後述する検索条件（年月日、期間、場所、年齢、性別、カメラＩＤ等）のＡＮＤ条件又はＯＲ条件に従って、検索可能なように集計し、年齢性別統計データとしてもよい。なお、年齢性別統計データは、少なくとも年齢と性別とに分類された統計データであり、それ以外の要素で細分類されてもよい。保存部３８は、年齢性別統計データメモリ４３に接続され、統計部３７で統計処理された年齢性別統計データを年齢性別統計データメモリ４３に保存する。年齢性別統計データメモリ４３は、年齢性別統計データを長期間に亘って保存し、統計データを利用する際に用いられる。

【0032】

統計データ検索部３９は、ユーザ端末６０からの要求に従って、所定の検索条件で年齢性別統計データメモリ４３を検索し、この検索結果をユーザ端末６０に返信する。

【0033】

ユーザ端末６０は、顔認識サーバ３０に対し、各種の設定や要求を行う汎用のコンピュータ装置であり、通信部６１、制御部６２、ディスプレイ６３及び操作部６４を有する。通信部６１は、顔認識サーバ３０と有線又は無線で接続され、通信可能である。例えば、通信部６１は顔認識サーバ３０とＩＰネットワークを介して接続される。

【0034】

制御部６２は、ユーザ端末６０の動作を統括的に制御し、アプリケーションを実行し、顔認識サーバ３０に対して、ユーザの入力操作に応じた検索処理を要求する。ディスプレイ６３は各種の情報を表示し、後述する検索条件や検索結果等をＵＩ画面に表示する。操作部６４は、キーボードやマウス等であり、検索条件等、ユーザからの入力操作を受け付ける。

【0035】

なお、ユーザ端末６０が携帯可能なタブレット端末で構成される場合、操作部６４はディスプレイ６３とともにタッチパネルとして一体化されており、ディスプレイ６３の画面に直接入力操作可能である。

【0036】

上記構成を有する顔認識システム５の動作を示す。

【0037】

図２は、本実施形態の顔認識サーバ３０における顔検出処理の動作手順の一例を説明するフローチャートである。顔認識サーバ３０内の通信部３１は、カメラ装置１０から送られた顔画像データを受信する（Ｓ１）。

【0038】

顔特徴量抽出部３２は、受信した顔画像データから顔特徴量を抽出する（Ｓ２）。顔特徴量として、例えば眼の位置、目と鼻と口の位置関係、しわの寄り方等の特徴量が抽出される。顔特徴量比較部３３は、顔特徴量抽出部３２によって抽出された顔特徴量と、事前通過比較元顔特徴量データメモリ４１に登録されている顔特徴量とを比較し（Ｓ３）、これらの類似度が所定値（第１閾値）以上に高いか否かを判別する（Ｓ４）。

【0039】

類似度が所定値以上に高くない場合（つまり、類似度が低いと判断された場合）、保存部３５は、顔特徴量抽出部３２によって抽出された顔特徴量を事前通過比較元顔特徴量データメモリ４１に保存する（Ｓ７）。年齢性別判定部３６は、顔特徴量抽出部３２によって抽出された顔特徴量を基に、公知の技術を用いて年齢及び性別を推定し、統計部３７は、推定された、年齢及び性別を統計の対象とする統計処理を行う（Ｓ８）。この統計処理は、抽出された顔特徴量から推定される、人物の年齢及び性別毎に区分された年齢性別統計データのデータ数を値１増加（カウントアップ）させるように計数する。

【0040】

保存部３８は、統計部３７によって統計処理された年齢性別統計データを年齢性別統計データメモリ４３に保存する（Ｓ９）。

【0041】

一方、ステップＳ４で類似度が所定値（第１閾値）以上に高いと判断された場合、撮像時刻比較部３４は、顔特徴量抽出部３２によって顔特徴量が抽出された顔画像データの撮像時刻と、事前通過比較元顔特徴量データメモリ４１に登録された顔特徴量の撮像時刻とを比較し（Ｓ５）、事前通過比較元顔特徴量データメモリ４１に保存された類似度の高い特徴量が、顔特徴量抽出部３２によって顔特徴量が抽出された顔画像データの撮像時刻から所定時間前まで（所定時間の範囲内）に保存されたか否かを判別する（Ｓ６）。

【0042】

所定時間の範囲外である場合（Ｓ６，ＮＯ）、新たな顔画像データの顔特徴量であるとして、統計部３７は、ステップＳ８において、前述した統計処理を行う。一方、ステップＳ６で所定時間の範囲内であると判断された場合（Ｓ６，ＹＥＳ）、統計部３７は、抽出された顔特徴量が既に保存済みであると判断する。そして、統計部３７は、この顔特徴量の顔画像データが保存条件を満たすか否かを判別する（Ｓ１０）。保存条件を満たさない場合（Ｓ１０，ＮＯ）、顔認識サーバ３０は、この顔特徴量を事前通過比較元顔特徴量データメモリ４１に保存することなく廃棄する（Ｓ１１）。一方、顔画像データが保存条件を満たす場合（Ｓ１０，ＹＥＳ）、保存部３５は、この顔特徴量を事前通過比較元顔特徴量データメモリ４１に保存する（Ｓ１２）。

【0043】

ここで、保存条件として、例えば最初の画像のみ保存することが設定されている場合、ステップＳ１０で判断される顔画像データは最初の画像ではないので、これに対応する顔特徴量は保存されず、廃棄されることになる。また、顔画像データに含まれる顔の向きが正面で、かつ、顔が大きく映っていることが保存条件である場合、顔画像データがこの保存条件に該当しないと、これに対応する顔特徴量は廃棄される。また、全て保存することが保存条件である場合、画像データにかかわらず、顔特徴量は全て保存される。なお、この保存条件は、保存部３５に事前に設定される他、動作の途中でユーザ端末６０からの設定情報によって変更されてもよい。

【0044】

上記ステップＳ１〜Ｓ１２までの処理で、年齢性別統計データ及び顔特徴量の保存が完了すると、統計データ検索部３９は、ユーザ端末６０からの要求を受け付け、この要求に従って、年齢性別統計データメモリ４３に登録されている年齢性別統計データを検索し、該当する年齢性別統計データをユーザ端末６０に返信する（Ｓ１３）。この後、顔認識サーバ３０は本動作を終了する。

【0045】

ユーザ端末６０は、顔認識サーバ３０に対し年齢性別統計データを検索する要求を行い、この検索結果を顔認識サーバ３０から受信する。図３はユーザ端末６０のディスプレイ６３に表示されるＵＩ（ユーザインタェース）画面を示す図である。ディスプレイ６３の画面の左側には、ユーザが年齢性別統計データメモリ４３に登録されている年齢性別統計データを検索するための検索条件が表示されている。

【0046】

ここでは、検索条件として、撮像した年月日、時間帯（期間）、場所、年齢、性別、カメラＩＤ等のキーワードを選択可能である。ユーザは、各検索項目の入力ボックスにチェックマークを入力することで、これらの検索項目を、事前に設定されたＡＮＤ条件あるいはＯＲ条件で検索可能である。

【0047】

ユーザ端末６０は、ユーザが設定した検索条件を顔認識サーバ３０に送信すると、統計データ検索部３９は、この検索条件に従って年齢性別統計データメモリ４３に登録されている年齢性別統計データを検索する。顔認識サーバ３０は、検索条件に合致する人物の顔特徴量を、年齢性別統計データメモリ４３から抽出し、また、顔画像データメモリ４２に登録されている、この顔特徴量に紐付けられた顔画像データを顔画像データメモリ４２から抽出する。顔認識サーバ３０は、抽出した顔特徴量及び顔画像データをユーザ端末６０に送信する。

【0048】

この結果、ユーザ端末６０のディスプレイ６３の画面の右側には、検索条件に合致する人物の顔特徴量及び顔画像データが表示される。ここでは、検索結果として、３名の人物の顔特徴量ＴＫ１，ＴＫ２，ＴＫ３及び顔画像データＧ１，Ｇ２，Ｇ３が表示されている。

【0049】

以上により、本実施形態の顔認識システム５では、顔認識サーバ３０内の顔特徴量抽出部３２は、カメラ装置１０によって撮像領域に対して撮像された映像に現れる顔を含む顔画像データの顔特徴量を抽出する。保存部３５は、撮像領域を通過した顔を含む顔画像データの顔特徴量を事前通過比較元顔特徴量データメモリ４１に保存する。統計部３７は、カメラ装置１０により撮像され、顔特徴量抽出部３２により抽出された顔画像データの顔特徴量に対し、所定値以上に類似度の高い顔特徴量が、カメラ装置１０による撮像時刻より所定時間前までに事前通過比較元顔特徴量データメモリ４１に保存されていない場合、顔特徴量抽出部３２により抽出された顔画像データの顔特徴量を統計処理する。

【0050】

これにより、顔認識サーバ３０は、撮像時刻に近い時刻に保存された類似度の高い顔特徴量を同一の人物のものと判断し、この撮像時刻に得られた顔特徴量は統計処理されないので、複雑な判断を行うことなく同一の人物が重複して含まれないように効率的に統計処理できる。また、顔認識システム５では、カメラ装置１０で映像フレームから切り出された顔画像データが顔認識サーバ３０に伝送されるので、映像データを伝送する場合と比べ、データ伝送量を少なくすることができる。

【0051】

また、類似度の高い顔特徴量が所定時間前までに事前通過比較元顔特徴量データメモリ４１に保存されている場合、カメラ装置１０によって撮像された顔画像データが所定の保存条件を満たしていないと、保存部３５は、顔特徴量抽出部３２によって抽出された顔画像データの顔特徴量を破棄する。これにより、不要な顔特徴量を省き、保存されるデータ量を削減できる。

【0052】

また、カメラ装置１０によって撮像された顔画像データが所定の保存条件を満たしていると、顔特徴量抽出部３２によって抽出された顔画像データの顔特徴量を事前通過比較元顔特徴量データメモリ４１に保存する。これにより、有効な顔特徴量のデータが増え、顔特徴量の類似度の判定精度が向上する。

【0053】

また、統計部３７は、カメラ装置１０により撮像され、顔特徴量抽出部３２により抽出された顔画像データの顔特徴量に対し、所定値（第２閾値）に達しない類似度の低い顔特徴量が、事前通過比較元顔特徴量データメモリ４１に保存されている場合、顔特徴量抽出部３２により抽出された顔像データの顔特徴量を統計処理する。これにより、初めての人物の顔を見逃すことなく、統計処理できる。

【0054】

また、所定時間は、レストランやビル内等、撮像領域の環境に合わせて設定可能である。これにより、撮像領域の環境によらず、同一の人物が重複して含まれないように統計処理できる。

【0055】

また、顔認識サーバ３０は、ユーザ端末６０（端末装置）からの要求に応じて、年齢性別統計データメモリ４３に登録された年齢性別統計データ（統計処理された顔画像データの特徴量）を検索し、この検索結果をユーザ端末６０に返信する。これにより、ユーザの利用に貢献でき、様々な活用が期待される。

【0056】

（本実施形態の変形例）
図４は、本実施形態の変形例の顔認識システム５Ａの内部構成の一例を詳細に示すブロック図である。本実施形態と同一の構成要素については同一の符号を付すことで、その説明を省略する。本実施形態の変形例の顔認識システム５Ａでは、カメラ装置１０Ａは、上記した本記実施形態と異なり、撮像部１１及び通信部１４だけを有し、撮像部１１で撮像された画像データを、通信部１４によりそのまま顔認識サーバ３０Ａに送信するだけである。

【0057】

顔認識サーバ３０Ａは、上記本実施形態と異なり、プロセッサ４０内に顔検出部５２及び顔切出し部５３を有する。顔検出部５２は、カメラ装置１０Ａから送信された画像データ（映像）に対し、上記本実施形態の顔検出部１２と同様、映像に含まれる顔を検出する。顔切出し部５３は、上記本実施形態の顔切出し部１３と同様、顔検出部５２によって検出された顔を含む顔画像データを映像のフレームから切り出す。

【0058】

このように、本実施形態の変形例の顔認識システム５Ａでは、顔認識サーバ３０Ａに負荷のかかる処理を効率的に集中させるので、カメラ装置１０Ａの負荷を軽減できる。このように、カメラ装置１０Ａは、撮像した画像データ（映像）を顔認識サーバ３０に送信するだけであるので、簡易な構成で済み、例えば撮像領域にカメラ装置１０Ａが既設であっても利用可能である。また、本実施形態の変形例の顔認識システム５Ａでは、カメラ装置１０Ａは汎用のネットワークカメラでも利用可能である。

【0059】

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【産業上の利用可能性】

【0060】

本発明は、カメラ装置により撮像された映像を用いる際、複雑な判断を行うことなく同一の人物が重複して含まれないように効率的に統計処理でき、有用である。

【符号の説明】

【0061】

５、５Ａ 顔認識システム
１０、１０Ａ カメラ装置
１１ 撮像部
１２、５２ 顔検出部
１３、５３ 顔切出し部
１４ 通信部
１６、４０、６６ プロセッサ
３０、３０Ａ 顔認識サーバ
３１ 通信部
３２ 顔特徴量抽出部
３３ 顔特徴量比較部
３４ 撮像時刻比較部
３５、３８ 保存部
３６ 年齢性別判定部
３７ 統計部
３９ 統計データ検索部
４１ 事前通過比較元顔特徴量データメモリ
４２ 顔画像データメモリ
４３ 年齢性別統計データメモリ
６０ ユーザ端末
６１ 通信部
６２ 制御部
６３ ディスプレイ
６４ 操作部
ＴＫ１、ＴＫ２、ＴＫ３ 顔特徴量
Ｇ１、Ｇ２、Ｇ３ 顔画像データ

【図1】

【図2】

【図3】

【図4】