特許 6854881 顔画像照合システムおよび顔画像検索システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6854881

(24)【登録日】2021年3月18日

(45)【発行日】2021年4月7日

(54)【発明の名称】顔画像照合システムおよび顔画像検索システム

(51)【国際特許分類】

   G06F 16/535 20190101AFI20210329BHJP

   G06Q 50/10 20120101ALI20210329BHJP

   G06T 7/00 20170101ALI20210329BHJP

【ＦＩ】

   G06F16/535

   G06Q50/10

   G06T7/00 660A

【請求項の数】7

【全頁数】17

(21)【出願番号】特願2019-509281(P2019-509281)

(86)(22)【出願日】2018年3月16日

(86)【国際出願番号】JP2018010442

(87)【国際公開番号】WO2018180588

(87)【国際公開日】20181004

【審査請求日】2019年9月12日

(31)【優先権主張番号】特願2017-60932(P2017-60932)

(32)【優先日】2017年3月27日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2018-18832(P2018-18832)

(32)【優先日】2018年2月6日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100116687

【弁理士】

【氏名又は名称】田村 爾

(74)【代理人】

【識別番号】100098383

【弁理士】

【氏名又は名称】杉村 純子

(74)【代理人】

【識別番号】100155860

【弁理士】

【氏名又は名称】藤松 正雄

(72)【発明者】

【氏名】武田 隆史

(72)【発明者】

【氏名】三戸 崇

(72)【発明者】

【氏名】小倉 慎矢

【審査官】 松尾 真人

(56)【参考文献】

【文献】 特開２００７−２４９９５３（ＪＰ，Ａ）

【文献】 特開２０１４−２２９０６８（ＪＰ，Ａ）

【文献】 特開２００６−０９２３９６（ＪＰ，Ａ）

【文献】 特開２０１４−１４２８１０（ＪＰ，Ａ）

【文献】 特開２００８−２５２７１３（ＪＰ，Ａ）

【文献】 特開２０１０−１１３６９２（ＪＰ，Ａ）

【文献】 特開２００４−０１３７６８（ＪＰ，Ａ）

【文献】 特開２０１１−１０７９９７（ＪＰ，Ａ）

【文献】 特開２０１１−０７０２７５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｑ １０／００−９９／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

撮像装置による撮影画像に含まれる顔画像を記憶するデータベースから、指定された検索条件に基づいて顔画像を検索する顔画像検索システムにおいて、
前記撮影画像に含まれる顔画像の人物が一人で行動しているか否かを判定し、判定結果の情報を該人物の顔画像に対応付けて前記データベースに記憶させる判定手段と、
前記検索条件として、一人で行動している人物の検索または複数人で行動している人物の検索が指定された場合に、該指定に合致する判定結果の情報が対応付けられた顔画像を前記データベースから検索する検索手段と、
いずれかの撮像装置の撮影範囲において、同一の人物の顔画像が複数の撮影画像にわたって検出された場合に、当該人物を判定対象人物として、前記複数の撮影画像のそれぞれについて、同じ撮影画像中における判定対象人物の顔画像の検出位置に近接する領域で検出された他の人物の顔画像の数を近接人物数として算出し、撮影画像毎に算出した近接人物数の最大値を最大近接人物数として保存する近接人物数判定手段と、を備え、
前記近接人物数判定手段は、前記複数の撮影画像のそれぞれを順にカウント処理の対象として、対象の撮影画像において判定対象人物の顔画像との距離が所定値以下の位置に存在する他の顔画像を特定して近接人物数をカウントし、対象の撮影画像での近接人物数とこれまでの最大近接人物数とを比較し、対象の近接人物数の方が多いと判定された場合は最大近接人物数更新処理に遷移し、そうでない場合は次の撮影画像を対象としたカウント処理に遷移し、前記最大近接人物数更新処理では、最大近接人物数の値を対象の撮影画像での近接人物数の値に置き換えて保存し、次の撮影画像を対象としたカウント処理に遷移することを特徴とする顔画像検索システム。

【請求項2】

請求項１に記載の顔画像検索システムにおいて、
前記判定手段は、異なる撮像装置による複数の撮像画像に同一の人物が含まれる場合に、前記複数の撮影画像に含まれる他の人物の共通性に基づいて、前記同一の人物が一人で行動しているか否かを判定することを特徴とする顔画像検索システム。

【請求項3】

請求項１又は請求項２に記載の顔画像検索システムにおいて、
前記撮像装置は、施設の入場口に設置された第１の撮像装置と、前記施設内及び前記施設の出場口に設置された第２の撮像装置とを含み、
前記第１の撮像装置による撮影画像に基づく同一人物判定処理によって同一の人物であると判定された複数の顔画像の中から、前記人物を代表する顔画像である代表顔画像を選定する選定手段と、
前記選定手段により選定された代表顔画像を前記データベースに登録する登録手段と、
前記第２の撮像装置による撮影画像に含まれる顔画像を前記データベースに登録された代表顔画像と照合する照合手段とを更に備えたことを特徴とする顔画像検索システム。

【請求項4】

請求項３に記載の顔画像検索システムにおいて、
前記選定手段は、前記複数の顔画像を予め登録された基準顔と比較し、前記基準顔との類似度に基づいて前記人物の代表顔画像を選定し、
前記基準顔として、正面を向いて目を開いた顔画像を用いることを特徴とする顔画像検索システム。

【請求項5】

請求項３又は請求項４に記載の顔画像検索システムにおいて、
前記登録手段は、前記同一人物判定処理に使用された撮影画像に前記人物とは別の人物の顔画像が含まれる場合に、前記別の人物の顔画像を含むグループ属性推定用データを前記人物の代表顔画像に対応付けて前記データベースに登録し、
前記判定手段は、前記第２の撮像装置による撮影画像に複数の人物の顔画像が含まれる場合に、前記データベースに登録されたグループ属性推定用データに基づいて、当該撮影画像に含まれる顔画像の人物が一人で行動しているかグループで行動しているかを示すグループ属性を推定し、当該グループ属性を前記判定結果の情報に含めて該人物の顔画像に対応付けて前記データベースに記憶させることを特徴とする顔画像検索システム。

【請求項6】

請求項５に記載の顔画像検索システムにおいて、
前記判定手段は、前記複数の人物についてのグループ属性を、各人物の顔画像が同じ撮影画像から検出される頻度、撮影画像における各人物の顔画像間の距離を示す近接度、撮影画像における各人物の視線の関係を示す親密度の少なくともいずれかに基づいて推定し、更に、前記複数の人物の顔画像から推定される各人物の年齢又は性別の少なくともいずれかに基づいて、前記複数の人物の関係性を推定することを特徴とする顔画像検索システム。

【請求項7】

請求項５又は請求項６に記載の顔画像検索システムにおいて、
複数の人物により構成された各グループについて得られたデータを、各人物の年齢又は性別、前記施設に対する入場日時又は出場日時、グループ属性の少なくともいずれかに基づいて集計する集計手段を更に備えたことを特徴とする顔画像検索システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入場口及び出場口を有する施設で撮影された顔画像を照合する顔画像照合システム、および指定された検索条件に基づいて顔画像を検索する顔画像検索システムに関する。

【背景技術】

【0002】

従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には、犯罪防止や事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて注意する、あるいは映像を記録するものである。

【0003】

映像監視システムにおいて、映像を記録するための記録媒体には、従来のビデオテープ媒体から、ハードディスクドライブ（ＨＤＤ）に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年ではこのような記録媒体の大容量化が進んでいる。
記録媒体の大容量化は、記録できる映像の量を飛躍的に増大させ、より多地点や長時間の記録を可能にしつつある反面、記録画像を目視でチェックする負担の増加が問題として顕在化しつつある。

【0004】

このような背景から、所望の映像をより簡単に見つけ出すための検索機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象（イベント）の発生を画像認識技術を用いてリアルタイムに自動検知して映像とともに記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的な一つに人物検索機能がある。
人物検索機能とは、映像中への人物の登場を自動検知の対象とし、リアルタイムに記録し、事後に録画画像中から人物登場画像を探し出せる機能である。機能面から人物検索機能は、以下の２種類に大別される。

【0005】

一つ目は、登場イベント検索機能である。登場イベント検索機能は、映像中への人物の登場（イベント）の有無を、単純に探し出す機能である。検索結果としては、イベントの有無に加え、イベント有と判定された場合には、そのイベント数と各イベントの発生時刻やイベントを撮影した撮像装置番号、撮影した画像（人物登場画像）等が提示される。なお、この検索条件（検索クエリ）には、イベント発生時刻や撮像装置番号等の検索対象範囲を絞り込むための情報として与える場合が多い。この検索対象範囲を絞り込むための情報は、絞り込みパラメータと称される。

【0006】

二つ目は、類似人物検索機能である。上述の登場イベント検索機能が、登場人物を特定しない検索であるのに対し、こちらはユーザが指定する特定人物が、他の時間、あるいは他の地点の撮像装置で撮影されていないかどうかを、録画画像中から探し出す機能である。検索結果としては、特定人物が映った他の画像の有無に加え、有の場合には、その数と撮影時刻、撮像装置番号、撮影した画像（人物登場画像）、類似度等が提示される。

【0007】

特定人物の指定は、探したい人物が映った画像（以降、検索キー画像）をユーザが１つ指定することで実施される。検索キー画像は、録画画像や外部装置にある任意の画像から指定される。検索は、この検索キー画像中の人物の画像特徴量を画像認識技術により抽出し、録画画像中の人物の画像特徴量と照合し、その類似性（類似度）を求め、同一人物判定を実施することにより実現される。録画画像中の人物特徴量の抽出と記録は、映像録画時等の別タイミングにて予め実施しておく。この検索条件においても、絞り込みパラメータを与えることが可能である場合が多い。

【0008】

このような映像監視システムに関し、従来より種々の発明が提案されている。
特許文献１には、時刻と類似度のような２元の情報について、その大小関係や前後関係を視覚的に同時に把握できるようにする発明が開示されている。
特許文献２には、複数の画像を検索条件として登録することで、対象の向きや撮影角度の違いによる検索見逃しを少なくし、対象検索人物の映った画像をより多く得ることができるようにする発明が開示されている。
特許文献３には、類似画像検索の結果から、多数の画像を選択して、一度にキーワードを付与できるようにする発明が開示されている。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００９−３０１５０１号公報

【特許文献2】特開２０１１−０４８６６８号公報

【特許文献3】特開２０１２−２４２８７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

従来、ショッピングセンターやアミューズメントパークなどの各種の施設に訪れた来場者が施設内をどのように行動しているかを分析して、マーケティングに活かす試みが行われている。これまでは、施設の各所に配した人員が来場者をカウントするような、人力に頼った手法が主に用いられており、その改善が求められていた。
本発明は、上記のような従来の事情に鑑みて為されたものであり、施設内での来場者の行動の分析に適した顔画像照合システムを提供することを第１の目的とする。

【0011】

また、絞り込みパラメータによって、一人で映っているのか、複数人で映っているのかを指定して検索したい場合がある。例えば、ほとんどの人が複数人で利用する遊園地などの施設では、一人で施設を利用しようとする人の手荷物検査を入念に行う運用をして、園内での犯罪の抑止に努めている。これは園内で発生する置き引き等の犯罪が主に一人で実行されるためである。一方で、空港や重要施設で引き起こされる組織的なテロ等は複数人によって実行されることが多いため、複数人で行動する人物に注意を払う必要がある。従来の顔画像検索システムでは撮影映像を目視で判断するしかなかく、監視者の負担となっていた。
本発明は、上記のような従来の事情に鑑みて為されたものであり、一人で映っているのか、複数人で映っているのかを指定して検索することが可能な顔画像検索システムを提供することを第２の目的とする。

【課題を解決するための手段】

【0012】

本発明では、上記第１の目的を達成するために、顔画像照合システムを以下のように構成した。
すなわち、入場口及び出場口を有する施設で撮影された顔画像を照合する顔画像照合システムにおいて、前記入場口に設置された第１の撮像装置と、前記施設内及び前記出場口に設置された第２の撮像装置と、前記第１の撮像装置による撮影画像に基づく同一人物判定処理によって同一の人物であると判定された複数の顔画像の中から、前記人物を代表する顔画像である代表顔画像を選定する選定手段と、前記選定手段により選定された代表顔画像をデータベースに登録する登録手段と、前記第２の撮像装置による撮影画像に含まれる顔画像を前記データベースに登録された代表顔画像と照合する照合手段と、を備える。

【0013】

このような構成によれば、施設の入場口に設置された撮像装置で得られた代表顔画像を用いて、施設内及び出場口に設置された撮像装置で得られた顔画像を照合できるので、施設内での来場者の行動を分析するのに有効である。

【0014】

ここで、一構成例として、前記選定手段は、前記複数の顔画像を予め登録された基準顔と比較し、前記基準顔との類似度に基づいて前記人物の代表顔画像を選定し、前記基準顔として、正面を向いて目を開いた顔画像を用いる構成としてもよい。

【0015】

また、一構成例として、前記登録手段は、前記同一人物判定処理に使用された撮影画像に前記人物とは別の人物の顔画像が含まれる場合に、前記別の人物の顔画像を含むグループ属性推定用データを前記人物の代表顔画像に対応付けて前記データベースに登録し、前記顔画像照合システムは、前記第２の撮像装置による撮影画像に複数の人物の顔画像が含まれる場合に、前記データベースに登録されたグループ属性推定用データに基づいて、前記複数の人物はグループで行動しているか否かを示すグループ属性を推定するグループ属性推定手段を更に備える構成としてもよい。

【0016】

また、前記グループ属性推定手段は、前記複数の人物についてのグループ属性を、各人物の顔画像が同じ撮影画像から検出される頻度、撮影画像における各人物の顔画像間の距離を示す近接度、撮影画像における各人物の視線の関係を示す親密度の少なくともいずれかに基づいて推定し、更に、前記複数の人物の顔画像から推定される各人物の年齢又は性別の少なくともいずれかに基づいて、前記複数の人物の関係性を推定する構成としてもよい。

【0017】

また、前記グループ属性推定手段で得られたデータを、各人物の年齢又は性別、前記施設に対する入場日時又は出場日時、グループ属性の少なくともいずれかに基づいて集計する集計手段を更に備える構成としてもよい。

【0018】

本発明では、上記第２の目的を達成するために、顔画像検索システムを以下のように構成した。
すなわち、撮像装置による撮影画像に含まれる顔画像を記憶するデータベースから、指定された検索条件に基づいて顔画像を検索する顔画像検索システムにおいて、前記撮影画像に含まれる顔画像の人物が一人で行動しているか否かを判定し、判定結果の情報を該人物の顔画像に対応付けて前記データベースに記憶させる判定手段と、前記検索条件として、一人で行動している人物の検索または複数人で行動している人物の検索が指定された場合に、該指定に合致する判定結果の情報が対応付けられた顔画像を前記データベースから検索する検索手段と、を備えたことを特徴とする。

【0019】

ここで、一構成例として、前記判定手段は、異なる撮像装置による複数の撮像画像に同一の人物が含まれる場合に、前記複数の撮影画像に含まれる他の人物の共通性に基づいて、前記同一の人物が一人で行動しているか否かを判定する構成としてもよい。

【発明の効果】

【0020】

本発明によれば、施設内での来場者の行動の分析に適した顔画像照合システムを提供することができる。また、一人で映っているのか、複数人で映っているのかを指定して検索することが可能な顔画像検索システムを提供することができる。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施形態に係る顔画像照合システムの概略構成の例を示す図である。

【図2】図１の顔画像照合システムが適用される施設の概要を示す図である。

【図3】図１の顔画像照合システムにおける照合サーバの機能ブロックの例を示す図である。

【図4】図１の顔画像照合システムの運用例を示す図である。

【図5】図１の顔画像照合システムによる処理結果のデータ例を示す図である。

【図6】本発明の別の実施形態に係る顔画像検索システムにおける近接人物数判定の処理フローを示す図である。

【図7】本発明の別の実施形態に係る顔画像検索システムにおける常時近接者数判定の処理フローを示す図である。

【発明を実施するための形態】

【0022】

本発明の一実施形態に係る顔画像照合システムについて、図面を参照して説明する。
図１には、本発明の一実施形態に係る顔画像照合システムの概略構成の例を示してある。また、図２には、図１の顔画像照合システムが適用される施設の概要を示してある。図２の例では、施設内に店Ａ〜店Ｇの各店舗があり、施設内に入場した人物が店Ａ、店Ｆ、店Ｃ、店Ｇ、店Ｅを経由して施設から出場する様子を示してある。

【0023】

本例の顔画像照合システムは、複数であるＮ台の撮像装置１００（１）〜１００（Ｎ）と、照合サーバ２００と、保守ＰＣ３００と、ネットワークスイッチ４００と、集計サーバ５００とを備えている。
撮像装置１００（１）〜１００（Ｎ）は、入場口、施設内の各店舗、出場口の各所に設置されている。入場口に設置される撮像装置１００（１）は、顔検知用の撮像装置である。また、施設内の各店舗に設置される撮像装置１００（２）〜１００（Ｎ−１）、及び、出場口に設置される撮像装置１００（Ｎ）は、顔照合用の撮像装置である。各々の撮像装置１００は、ＩＰカメラ（ネットワークカメラ）等で構成され、撮像により得られた撮影画像をデジタル変換し、ネットワークスイッチ４００を介して照合サーバ２００へ送信する。

【0024】

照合サーバ２００は、撮像装置１００からネットワークスイッチ４００を介して受信した撮影画像を蓄積し、顔検知、代表顔選定、人物属性判定、顔照合、グループ属性照合等の各種の処理を行う。
保守ＰＣ３００は、ネットワークスイッチ４００を介して照合サーバ２００に接続され、照合サーバ２００の保守に用いられる。
集計サーバ５００は、ネットワークスイッチ４００及びＷＡＮ回線を介して照合サーバ２００に接続され、照合サーバ２００から送信される出力データを受信して集計処理を行う。

【0025】

図３には、照合サーバ２００の機能ブロックの例を示してある。
照合サーバ２００は、顔検知部２０１、同一人物判定部２０２、代表顔選定部２０３、フォーマット変換部２０４、属性判定部２０５、ＩＤ付与人物情報生成部２０６、登録処理部２０７、顔データベース２０８、顔照合部２１０、グループ属性照合部２１１、照合履歴データベース２１２、転送処理部２１４の各機能部を備えている。

【0026】

顔検知部２０１は、入場口にある撮像装置１００（１）により得られた撮影画像（以下、「検知用画像」という）から顔画像を検知する。具体的には、例えば、検知用画像を解析して顔が映った領域を検知し、該領域の画像データを顔画像として抽出する。顔画像の検知は、時系列的に連続した画像フレーム毎（又は所定数の画像フレーム毎）に行われる。したがって、入場口を通過する人物毎に複数枚の顔画像が得られることになる。

【0027】

同一人物判定部２０２は、顔検知部２０１で検知された顔画像について、同一人物判定処理を行う。具体的には、例えば、画像フレームにおける顔画像の位置を画像フレーム間で比較しながら撮像エリア内における人物の動きを追跡し、同一であると判定された人物毎に顔画像をグループ化する。

【0028】

代表顔選定部２０３は、同一人物判定部２０２で同一の人物であると判定された複数の顔画像の中から、当該人物を代表する顔画像である代表顔画像を選定する。本例では、従来のように顔検知サイズの大きいものを代表顔画像として選定するのではなく、予め登録された基準顔との類似度に基づいて代表顔画像を選定する。具体的には、同一の人物であると判定された複数の顔画像を基準顔と比較して、顔画像毎に基準顔との類似度を算出し、類似度が最も高いものを代表顔画像として選定する。なお、類似度が高い順に所定数を代表顔画像として選定してもよい。

【0029】

基準顔としては、正面を向いて目を開いた顔画像が用いられる。これにより、後続の顔照合における照合類似度が高い傾向となるような顔画像を代表顔画像に選定することができる。言い換えれば、目を閉じている顔画像や、俯きや横を向いている顔画像など、照合類似度が低くなることを事前に予想できる顔画像が代表顔画像に選定されることを防ぐことができる。本例では、男性（眼鏡着用）、男性（眼鏡非着用）、女性（眼鏡着用）、女性（眼鏡非着用）の４パターンの基準顔を用いているが、年齢層や髪型等を考慮して基準顔のパターン数を増やしてもよい。

【0030】

フォーマット変換部２０４は、顔検知部２０１で検知された顔画像を、属性判定部２０５における人物属性判定処理に適したフォーマットに変換する。

【0031】

属性判定部２０５は、フォーマット変換部２０４で変換された顔画像に基づいて、代表顔選定部２０３で選定された代表顔画像に代表される人物について人物属性を判定する人物属性判定処理を行う。人物属性としては、例えば、人物の年齢や性別が挙げられる。

【0032】

ＩＤ付与人物情報生成部２０６は、代表顔選定部２０３で選定された代表顔画像や属性判定部２０５で判定された人物属性に対応付ける人物ＩＤを発行する。人物ＩＤは、施設に来場した各人物を一意に識別する情報である。

【0033】

登録処理部２０７は、ＩＤ付与人物情報生成部２０６で発行された人物ＩＤを対応付けて、当該人物について得られた代表顔画像や人物属性を顔データベース２０８に登録する。登録処理部２０７は更に、グループ属性推定に使用されるグループ属性推定用データを生成し、グループＩＤを対応付けて顔データベース２０８に登録する。グループＩＤは、一緒に行動する複数の人物をまとめた各グループを一意に識別する情報であり、人物ＩＤと紐付けられる。

【0034】

グループ属性推定用データには、登録対象の人物（顔データベース２０８に代表顔画像等を登録する人物）についての同一人物判定処理に使用された検知用画像に含まれる別の人物の顔画像が含まれる。また、登録対象の人物と前記別の人物とについて検出頻度、近接度、親密度を判定するための情報も、グループ属性推定用データに含まれる。

【0035】

顔データベース２０８は、人物ＩＤにより識別される人物毎に、代表顔画像、人物属性（年齢や性別）、グループＩＤを保持する。また、顔データベース２０８は、グループＩＤにより識別されるグループ毎に、グループ属性推定用データを保持する。

【0036】

顔照合部２１０は、施設内の各店舗及び出場口にある撮像装置１００（２）〜１００（Ｎ）により得られた撮影画像（以下、「照合用画像」という）について、顔データベース２０８に登録されている代表顔画像と照合する。顔照合は、例えば、ＬＦＭ（Live Face Matching）等の技術を用いて行うことができる。顔照合部２１０は、照合用画像に代表顔画像と同じ人物が映っていると判定した場合には、その結果を照合履歴データベース２１２に登録する。これにより、代表顔画像の人物が、施設内をどのように行動したか（どの店舗に訪れたか）を特定できる。また、照合用画像が撮影された時刻情報も併せて照合履歴データベース２１２に登録することで、代表顔画像の人物が施設内の各店舗に入店した時刻も特定できるようになる。なお、店舗の入口と出口に撮像装置を設ければ、店舗から出店した時刻や店舗内の滞在時間も特定できるようになる。

【0037】

グループ属性照合部２１１は、施設内の各店舗及び出場口にある撮像装置１００（２）〜１００（Ｎ）により得られた照合用画像について、顔データベース２０８に登録されているグループ属性推定用データを用いてグループ属性推定を行う。すなわち、照合用画像に複数の人物が映っている場合（複数の顔画像が含まれる場合）に、これらの人物がグループで行動しているか否かを示すグループ属性を推定し、その結果を照合履歴データベース２１２に登録する。グループ属性推定には、Ｅｎｒａ−Ｅｎｒａ等の類似判定技術が使用される。

【0038】

グループ属性を推定する手法としては、一例として、以下のような手法が挙げられる。（１）各人物の顔画像が同じ元画像から検出される頻度が基準値より高い場合に、グループ属性＝“有”（グループで行動している）と判断し、そうでない場合に、グループ属性＝“無”（単独で行動している）と判断する。（２）元画像における各人物の顔画像間の距離を示す近接度が基準値より高い場合に、グループ属性＝“有”と判断し、そうでない場合に、グループ属性＝“無”と判断する。（３）元画像における各人物の視線の関係（どの人物を見ているか）を示す親密度が基準値より高い場合に、グループ属性＝“有”と判断し、そうでない場合に、グループ属性＝“無”と判断する。
なお、「元画像」は、照合用画像でもよく、検知用画像でもよく、両方でもよい。また、これら（１）〜（３）の手法の組み合わせによりグループ属性の推定を行うこともできる。

【0039】

グループ属性照合部２１１は更に、グループで行動していると判定された複数の人物について、各々の人物の顔画像の分析結果に基づいて、これら人物の関係性を推定する。すなわち、各人物の人物属性（年齢や性別）に基づいて、例えば、年齢差が２０歳以上であれば親子の関係、年齢差が５０歳以上であれば祖父母と孫の関係、年齢差が１０歳未満の男女であれば恋人又は夫婦の関係であると推定し、その結果を照合履歴データベース２１２に登録する。

【0040】

転送処理部２１４は、照合履歴データベース２１２に登録されているデータ（顔照合部２１０及びグループ属性照合部２１１による処理結果）を集計し、集計結果のデータを集計サーバ５００や保守ＰＣ３００へ転送する。集計は、例えば、各人物の年齢又は性別毎、施設に対する入場日時又は出場日時毎、グループ属性毎、これらの幾つかの組み合わせ毎など、種々の条件に基づいて行うことができる。

【0041】

図４には、本例の顔画像照合システムの運用例を示してある。
照合サーバ２００における処理は、店舗開店期間（本例では、９：００〜２１：００）に行われるリアルタイム（オンライン）処理と、店舗閉店期間（本例では、２１：００〜９：００）に行われるオフライン処理とに大別される。

【0042】

リアルタイム処理では、主に、以下のようなデータ収集処理が行われる。
施設に人物が入場した際に、入場口にあるカメラで撮影された検知用画像に基づいて、施設に人物が入場したことを検知する。すなわち、検知用画像から得られた複数の顔画像の中から代表顔画像を選定して、顔データベース２０８に登録する。このとき、検知日時（検知用画像の撮影日時）、人物ＩＤ、入場場所（カメラの設置場所の情報）、人物属性１（年齢）、人物属性２（性別）などの情報も併せて登録する。また、検知用画像に基づいて、グループ属性推定用の前処理を行う。この前処理により、検知日時（検知用画像の撮影日時）、グループＩＤ（検知用画像に含まれる複数の人物に共通）、入場場所（カメラの設置場所の情報）、グループ属性推定用データなどの情報が顔データベース２０８に登録される。

【0043】

その後、人物が店舗に訪れる毎に、その店舗にあるカメラで撮影された照合用画像に基づいて、店舗に人物が訪れたことを検知する。また、人物が施設から出場すると、出場口にあるカメラで撮影された照合用画像に基づいて、施設から人物が出場したことを検知する。これらのタイミングで、照合用画像に含まれる顔画像に基づいて、顔データベース２０８に登録された代表顔画像との照合や、検知頻度・近接度・親密度等に基づくグループ属性推定などを行い、その結果を照合履歴データベース２１２に記録する。

【0044】

オフライン処理では、主に、以下のような集計・転送処理及びデータベース更新処理が行われる。これらの処理は、事前にスケジュールされた時刻が到来したことを契機に、自動的に起動される。
集計処理は、照合履歴データベース２１２に登録されているデータを集計して出力ファイル（例えば、ＣＳＶ形式のデータ）を生成する。
転送処理は、集計処理で作成した出力ファイルを集計サーバ５００へ転送する。
データベース更新処理は、各データベース（顔データベース２０８や照合履歴データベース２１２）の内容を更新する。

【0045】

図５には、本例の顔画像照合システムによる処理結果のデータ例を示してある。
このデータ例では、人物１（女性）と人物２（男性）がグループである（グループ属性＝“有”）と判断されており、互いの年齢差より親子関係にあると判断されている。また、人物３（女性）と人物４（男性）がグループである（グループ属性＝“有”）と判断されており、互いの年齢差より友人又は恋人関係にあると判断されている。一方、人物５（女性）は単独で行動している（グループ属性＝“無”）と判断されておいる。更に、このデータ例には、各人物（或いはグループ）が、施設に入場した時刻、訪れた店舗及びその時刻、施設から出場した時刻も記録されている。
このように、本例の顔画像照合システムによって、各人物が施設内をどのように行動しているかを分析できるだけでなく、グループで行動しているか否かを判定することができ、グループで行動している場合には、グループとしての行動も分析することができる等の他の観点についても分析できることが分かる。

【0046】

以上のように、本例の顔画像照合システムは、入場口に設置された顔検知用の撮像装置１００（１）と、施設内の各店舗及び出場口に設置された顔照合用の撮像装置１００（２）〜１００（Ｎ）と、顔検知用の撮像装置による撮影画像に基づく同一人物判定処理によって同一の人物であると判定された複数の顔画像の中から、当該人物を代表する顔画像である代表顔画像を選定する代表顔選定部２０３と、代表顔選定部２０３により選定された代表顔画像を顔データベース２０８に登録する登録処理部２０７と、顔照合用の撮像装置による撮影画像に含まれる顔画像を顔データベース２０８に登録された代表顔画像と照合する顔照合部２１０とを備えた構成となっている。
これにより、従来のように施設の各所に配置された人員が来場者をカウントすることを要せずに、来場者が施設内をどのように行動しているかを分析することができ、その結果を活かしたマーケティングを行えるようになる。しかも、来場者の人物属性（年齢や性別）を顔画像から自動的に判別して代表顔画像に対応付けて登録できるので、施設各所の人員が来場者の人物属性を区別しながらカウントする必要がない。

【0047】

また、本例の顔画像照合システムは、代表顔選定部２０３が、複数の顔画像を予め登録された基準顔と比較し、基準顔との類似度に基づいて人物の代表顔画像を選定し、このとき、基準顔として、正面を向いて目を開いた顔画像を用いる構成となっている。
これにより、顔照合部２１０による照合類似度が高い傾向にある顔画像を代表顔画像に選定できるので、顔照合を精度よく行えるようになる。

【0048】

また、本例の顔画像照合システムは、登録処理部２０７が、同一人物判定処理に使用された撮影画像に登録対象の人物とは別の人物の顔画像が含まれる場合に、別の人物の顔画像を含むグループ属性推定用データを登録対象の人物の代表顔画像に対応付けて顔データベース２０８に登録する構成となっており、更に、顔照合用の撮像装置による撮影画像に複数の人物の顔画像が含まれる場合に、顔データベース２０８に登録されたグループ属性推定用データに基づいて、これら複数の人物はグループで行動しているか否かを示すグループ属性を推定するグループ属性照合部２１１を更に備えている。
これにより、施設内に一緒に入場した来場者達をグループの可能性があるとして予め登録しておくことができ、また、その後の行動の共通性に基づいて実際にグループでどのように行動しているかを把握できるようになる。その結果、来場者達のグループが施設内をどのように行動しているかを分析することができ、その結果を活かしたマーケティングを行えるようになる。

【0049】

また、本例の顔画像照合システムは、グループ属性照合部２１１が、複数の人物についてのグループ属性を、各人物の顔画像が同じ撮影画像から検出される頻度、撮影画像における各人物の顔画像間の距離を示す近接度、撮影画像における各人物の視線の関係を示す親密度の少なくともいずれかに基づいて推定し、更に、これら複数の人物の顔画像から推定される各人物の年齢又は性別の少なくともいずれかに基づいて、これら複数の人物の関係性を推定する構成となっている。
これにより、施設内を複数人で行動する来場者達のグループを精度よく特定できるようになる。また、各来場者の人物属性から互いの関係性を推定するので、グループの種類（例えば、親子、祖父母と孫、友人、恋人又は夫婦等）に応じた行動の違いも分析できるようになる。

【0050】

また、本例の顔画像照合システムは、グループ属性照合部２１１で得られたデータを、各人物の年齢又は性別、施設に対する入場日時又は出場日時、グループ属性の少なくともいずれかに基づいて集計し、その結果のデータを転送する転送処理部２１４を更に備えている。
これにより、来場者達の各人物についての分析のみならず、各グループについて得られた各種の情報を、種々の観点から分析できるようになり、どのような人物で構成されたグループが、いつ、どこで、何をしたのかを分析することにより、各人物だけなく、特定の属性グループへ向けたマーケティングに活用することができる。

【0051】

ここで、例えば、来場者の入場日時と出場日時から施設の滞在時間を算出し、来場者（或いはグループ）の滞在時間を加味した行動分析を行って、マーケティングに活用するようにしてもよい。
また、施設内の店舗だけでなく通路や広場にも撮像装置を設置して来場者の顔照合を行うことで、来場者（或いはグループ）の動線を加味した行動分析を行って、マーケティングに活用するようにしてもよい。

【0052】

これまでの説明では、施設の入場口及び出場口が１つの場合を例にしているが、入場口及び出場口はそれぞれ複数であってもよいことは言うまでもない。また、入場口と出場口は別々である必要は無く、これらを兼用した入出場口があってもよい。この場合には、施設の外側に向けた撮像装置と、施設の内側に向けた撮像装置とを入出場口に設置しておけばよい。

【0053】

次に、本発明の別の実施形態に係る顔画像検索システムについて説明する。本実施形態に係る顔画像検索システムは、上述した顔画像照合システムを拡張または変形したものであり、図３に破線で示すように、検索サーバ６００および操作端末７００を更に備えている。検索サーバ６００は、操作端末７００の操作者により指定された検索条件に基づいて照合サーバ２００内の顔データベース２０８（または照合履歴データベース２１２）から顔画像を検索し、検索結果を操作端末７００に送信して表示出力させる処理を行う。

【0054】

本実施形態に係る顔画像検索システムでは、グループ属性照合部２１１に、グループ行動判定機能を持たせている。グループ行動判定機能は、撮像装置１００による撮像画像に含まれる顔画像の人物が、グループで行動しているのか、それとも一人で行動しているのかを判定し、判定結果の情報を該人物の顔画像に対応付けて顔データベース２０８（または照合履歴データベース２１２）に記憶させるものである。本例では、グループ行動判定機能を、近接人物数判定処理と、常時近接者数判定処理とを行うことで実現している。

【0055】

近接人物数判定処理は、一つの撮像装置の撮影範囲において、歩行中である人物の顔画像が複数の画像フレーム（撮影画像）にわたって検出された場合に、それぞれの画像フレームについて、同じ画像フレーム中における当該人物の顔画像の検出位置に近接する領域で検出された他の人物の顔画像の数（近接人物数）を算出し、画像フレーム毎に算出した近接人物数の最大値を保存する処理である。近接人物数の最大値を求める理由は、画像処理において顔画像を検出する場合、遮蔽物の影響や光の加減等の撮影条件の変化により、一時的に顔画像の検出ができない場合があるためである。

【0056】

近接人物数判定処理について、図６の処理フローを参照して説明する。
最初に、メモリの確保や最大近接人物数の初期化を行う（ステップＳ１０１）。その後、判定対象人物が最初に検出された画像フレームから順に、以下の処理を行う。
まず、画像フレームに含まれる顔画像の検出数や検出位置などを取得する（ステップＳ１０２）。
次に、画像フレームにおいて判定対象人物の顔画像の近辺に存在する他の人物の顔画像の数をカウントする（ステップＳ１０３）。本例では、画像フレームにおける判定対象人物の顔画像との距離が所定値以下の位置に存在する他の顔画像を特定し、その数を近接人物数としてカウントしているが、他の手法により近接人物数のカウントを行っても構わない。

【0057】

次に、ステップＳ１０３でカウントした当該画像フレームでの近接人物数と最大近接人物数とを比較する（ステップＳ１０４）。その結果、当該画像フレームでの近接人物数の方が多いと判定された場合は、最大近接人物数更新処理（ステップＳ１０５）に遷移し、そうでない場合は、人物領域追跡処理（ステップＳ１０６）に遷移する。
最大近接人物数更新処理（ステップＳ１０５）では、最大近接人物数の値を当該画像フレームでの近接人物数の値に置き換えて保存し、その後、人物領域追跡処理（ステップＳ１０６）に遷移する。

【0058】

人物領域追跡処理（ステップＳ１０６）では、直前あるいは直近数フレームの検出結果と、現在の画像フレームの検出結果とに基づいて、人物の動きを追跡する。例えば、顔画像の位置や特徴量を画像フレーム間で比較することで、人物の動きの追跡を行う。
その後、追跡が終了しているか否かを判定する（ステップＳ１０７）。ここでは、追跡が終了した人物（例えば、撮像エリアから外れた人物）が存在する場合に、追跡が終了していると判定し、追跡が終了した人物が存在しない場合に、追跡が終了していないと判定する。

【0059】

ステップＳ１０７の人物追跡判定で、追跡が終了していないと判定された場合は、ステップＳ１０２に戻り、次の画像フレームについての処理を行う。一方、追跡が終了したと判定された場合は、判定対象人物に関する最大近接人物数を確定し、その値を記録する（ステップＳ１０８）。その後、確保したメモリの解放等の処理を行う。

【0060】

常時近接者数判定処理は、ある人物が複数の撮像装置によって撮影された場合において、近接人物数判定処理（図６）に追加して実施される処理である。常時近接者数判定処理では、判定対象人物とともに撮影された人物が、たまたま判定対象人物の近くにいた人物か、判定対象人物と常に行動を共にしている人物かを判定し、常に行動を共にしている人物の数を常時近接者数として保存する。
以降では、たまたま判定対象人物の近くにいた人物を単に「近接人物」と記載し、判定対象人物と常に行動を共にしている人物を「常時近接人物」と記載する。

【0061】

常時近接者数判定処理について、図７の処理フローを参照して説明する。
最初に、メモリの確保などを行う（ステップＳ２０１）。
次に、近接人物数判定処理で記録された近接人物数（すなわち、最大近接人物数）を取得する（ステップＳ２０２）。
次に、近接人物数が０か１以上かを判定し（ステップＳ２０３）、近接人物数が０の場合には、常時近接者数に０を記録する（ステップＳ２０９）。

【0062】

一方、近接人物数が１以上の場合には、他の撮像装置による撮影状況の検索を行う（ステップＳ２０４）。すなわち、判定対象人物の顔画像の特徴量を用いて、判定対象人物が映っている他の撮像装置による撮像画像を検索する。
その後、他の撮像装置による撮像画像に、判定対象人物が存在し且つ近接人物数が１以上である場合があるかを判定する（ステップＳ２０５）。すなわち、他の撮像装置による撮像画像の中に、判定対象人物が他の人物とともに映った撮像画像があるかを判定する。

【0063】

その結果、判定対象人物が他の人物とともに映った撮像画像が見つからなかった場合には、常時近接者数に０を記録する（ステップＳ２０９）。
一方、判定対象人物が他の人物とともに映った撮像画像が見つかった場合には、その撮像画像に含まれる他の人物の顔画像の特徴量を取得する（ステップＳ２０６）。
その後、取得した他の人物の顔画像の特徴量を、近接人物数判定処理で検出された近接人物の顔画像の特徴量と比較し、特徴量の類似度が所定値以上の近接人物が存在するか否かを判定する（ステップＳ２０７）。

【0064】

ステップＳ２０７で類似度の高い近接人物が存在すると判定された場合には、類似度の高い近接人物の組み合わせの数、すなわち、異なる撮像装置による複数の撮像画像に共通して出現した近接人物の数を算出し、常時近接者数として記録する（ステップＳ２０８）。ここで、判定対象人物が存在し且つ近接人物数が１以上の撮影画像を撮影した他の撮像装置が、複数ある場合には、それら他の撮像装置のそれぞれについて算出した常時近接者数の合計を記録すればよい。ただし、同じ近接人物が２重にカウントされないように重複を排除する必要があることは言うまでもない。
一方、ステップＳ２０７で類似度の高い近接人物が存在しないと判定された場合には、常時近接者数に０を記録する（ステップＳ２０９）。
ステップＳ２０８，Ｓ２０９における常時近接者数の記録後は、確保したメモリの解放等の処理を行う。

【0065】

上記のグループ行動判定機能によって算出された常時近接者数は、判定対象人物の顔画像に対応付けて顔データベース２０８（または照合履歴データベース２１２）に記憶される。そして、操作端末７００の操作者により単独行動または複数人行動を指定した検索条件が設定された場合に、その指定に合致する常時近接者数が対応付けられた顔画像の検索が検索サーバ６００によって行われ、検索結果が操作端末７００に表示出力される。すなわち、単独行動が指定された場合には、常時近接者数＝０の人物の顔画像が検索され、複数人行動が指定された場合には常時近接者数≧１の人物の顔画像が検索される。

【0066】

以上のように、本例の顔画像検索システムは、撮像装置による撮影画像に含まれる顔画像を記憶する顔データベース２０８（または照合履歴データベース２１２）から、指定された検索条件に基づいて顔画像を検索する顔画像検索システムであり、撮影画像に含まれる顔画像の人物が一人で行動しているか否かを判定し、判定結果の情報を該人物の顔画像に対応付けて上記のデータベースに記憶させるグループ属性照合部２１１と、検索条件として、一人で行動している人物の検索または複数人で行動している人物の検索が指定された場合に、該指定に合致する判定結果の情報が対応付けられた顔画像を上記データベースから検索する検索サーバ６００とを備えた構成となっている。

【0067】

これにより、一人で映っているのか、複数人で映っているのかを指定して検索することが可能となり、ユーザにとって利便性の高いものとなる。具体例を挙げれば、一人で行われる犯罪や複数で行われる犯罪に絞った調査を行う場合に有効である。すなわち、従来の顔画像検索システムでは撮影映像を目視で判断するしかなかったが、本例の顔画像検索システムでは行動人数を絞り込んで検索できるので、調査の効率を大幅に高めることができる。

【0068】

また、本例の顔画像検索システムは、マーケティングの用途でデジタルサイネージに表示する内容を切り替えるような目的にも利用可能である。例えば、複数人で行動する人物がデジタルサイネージの近くに来た場合に、居酒屋の宴会コースをデジタルサイネージに表示させ、一人で行動する人物がデジタルサイネージの近くに来た場合に、カウンターのみのバーをデジタルサイネージに表示させるようなことも行える。

【0069】

ここで、本例の顔画像検索システムは、異なる撮像装置による複数の撮像画像に同一の人物が含まれる場合に、これら複数の撮影画像に含まれる他の人物の共通性に基づいて、同一の人物が一人で行動しているか否かを判定する構成となっているので、個々の撮像装置による撮影映像だけで行動人数を判定する場合に比べ、精度良く行動人数を判定することができる。

【0070】

なお、本例の顔画像検索システムでは、撮影画像に含まれる顔画像の人物が一人で行動しているか否かの判定結果の情報として、常時近接者数を用いているので、行動人数を指定した検索にも対応することができる。すなわち、行動人数を指定した検索の場合には、常時近接者数＝（行動人数−１）の人物の顔画像を検索すればよい。また、行動人数を指定した検索を更に拡張し、行動人数を範囲指定できるようにしてもよい。

【0071】

また、本例の顔画像検索システムでは、複数人で行動する人達は一緒に入場する傾向が高いことに鑑みて、入場口にある撮像装置１００（１）の撮影画像を用いて近接人物数判定処理を行い、施設内及び出場口にある他の撮像装置１００（２）〜１００（Ｎ）を更に用いて常時近接者数判定処理を行っているが、このような構成に限定されない。すなわち、近接人物数判定処理および常時近接者数判定処理は、任意の撮像装置を用いて行うことができる。

【0072】

また、本例の顔画像検索システムは、入場口や出場口がある施設以外にも適用できることは言うまでもない。また、画像フレーム間での人物追跡や、異なる撮像装置間での人物の共通性の判定などを行う際に、顔画像の特徴量だけでなく、服装、持ち物、髪型等の他の特徴量を加味するようにしてもよい。また、顔データベース２０８や照合履歴データベース２１２に代えて（又はこれらとともに）、撮像装置による撮像画像を記録する画像データベースを備え、画像データベースに蓄積されている撮影画像を用いてグループ行動判定を行ってもよい。

【0073】

なお、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。例えば、上記の各実施形態で説明した構成を組み合わせて用いてもよい。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式を実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。

【産業上の利用可能性】

【0074】

本発明は、入場口及び出場口を有する施設で撮影された顔画像を照合する顔画像照合システムに利用することができる。

【符号の説明】

【0075】

１００（１）〜１００（Ｎ）：撮像装置、 ２００：照合サーバ、 ３００：保守ＰＣ、 ４００：ネットワークスイッチ、 ５００：集計サーバ、 ６００：検索サーバ、 ７００：操作端末、
２０１：顔検知部、 ２０２：同一人物判定部、 ２０３：代表顔選定部、 ２０４：フォーマット変換部、 ２０５：属性判定部、２０６：ＩＤ付与人物情報生成部、 ２０７：登録処理部、 ２０８：顔データベース、 ２１０：顔照合部、 ２１１：グループ属性照合部、 ２１２：照合履歴データベース、 ２１４：転送処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】