(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】情報処理装置及び顔認識システム
(51)【国際特許分類】
G08B 25/00 20060101AFI20231129BHJP
G06T 7/00 20170101ALI20231129BHJP
【ＦＩ】
G08B25/00 510M
G06T7/00 510F
【請求項の数】
12
(21)【出願番号】P 2019033126
(22)【出願日】2019-02-26
(65)【公開番号】P2020140239
(43)【公開日】2020-09-03
【審査請求日】2021-11-10
(73)【特許権者】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100174104
【弁理士】
【氏名又は名称】奥田 康一
(72)【発明者】
【氏名】井上 清司
【審査官】馬場 慎
(56)【参考文献】
【文献】米国特許出願公開第２０１７／０３３００２８（ＵＳ，Ａ１）
【文献】特開２００４－２５９２５３（ＪＰ，Ａ）
【文献】特開２０１２－１３３４１１（ＪＰ，Ａ）
【文献】特開２００３－１８７３５２（ＪＰ，Ａ）
【文献】特開２０１４－１８２４８０（ＪＰ，Ａ）
【文献】特開２００８－１７６６５３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｂ ２３／００ － ３１／００
Ｇ０６Ｖ ４０／００ － ４０／７０
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １１／６０ － １３／８０
Ｇ０６Ｔ １７／０５
Ｇ０６Ｔ １９／００ － １９／２０
(57)【特許請求の範囲】
【請求項1】
人物の顔が撮像された撮像データを取得する取得部と、複数の顔画像データを記憶している記憶部と、
前記顔画像データを参照し、前記撮像データと対比して前記顔画像データ毎に一致率を算定し、前記顔画像データと、該顔画像データに対応する一致率とを出力する算定部と、
前記撮像データとの一致率が所定閾値以上の前記顔画像データが１つのみの場合は、前記撮像データと、前記顔画像データを示す照合対象データとを他の情報処理装置に送信しない一方、前記撮像データとの一致率が前記所定閾値以上の前記顔画像データが複数ある場合は、前記撮像データと、一致率が前記所定閾値以上の複数の前記顔画像データを示す前記照合対象データとを前記他の情報処理装置に送信する送信部と
を有する情報処理装置。
【請求項2】
前記他の情報処理装置は、前記算定部よりも精密な画像対比機能を持つ請求項１に記載の情報処理装置。
【請求項3】
前記他の情報処理装置は、前記情報処理装置から受信した前記照合対象データに基づく複数の前記顔画像データを参照し、前記情報処理装置から受信した前記撮像データと対比して前記顔画像データ毎に一致率を算定し、前記撮像データとの一致率が所定閾値以上の１つの前記顔画像データである判定済顔画像データがある場合に、該判定済顔画像データを示すデータを前記情報処理装置に返信する請求項１又は請求項２に記載の情報処理装置。
【請求項4】
人物の顔を撮像し前記撮像データを前記取得部へ出力する撮像部をさらに有する請求項１乃至請求項３の何れかに記載の情報処理装置。
【請求項5】
前記算定部は、前記撮像データから人物の顔部分を照合顔画像データとして抽出し、前記送信部は、前記照合顔画像データと前記照合対象データとを前記他の情報処理装置に送信する
請求項１に記載の情報処理装置。
【請求項6】
前記情報処理装置と前記他の情報処理装置とは、ネットワークにより接続されている請求項１に記載の情報処理装置。
【請求項7】
前記送信部は、前記撮像データと、前記照合対象データとしての一致率が前記所定閾値以上の複数の前記顔画像データとを前記他の情報処理装置に送信する請求項３に記載の情報処理装置。
【請求項8】
前記他の情報処理装置は、前記情報処理装置から受信した複数の前記顔画像データにおける前記判定済顔画像データを示す順番を前記情報処理装置へ返信する請求項７に記載の情報処理装置。
【請求項9】
前記他の情報処理装置は、前記判定済顔画像データを前記情報処理装置へ返信する請求項７に記載の情報処理装置。
【請求項10】
前記送信部は、前記撮像データと、一致率が前記所定閾値以上の複数の前記顔画像データを示す前記照合対象データとしての複数の識別情報とを前記他の情報処理装置に送信し、前記他の情報処理装置は、
前記情報処理装置と同様の内容の複数の前記顔画像データを前記情報処理装置から取得して記憶しており、
前記情報処理装置から受信した前記識別情報に対応する、前記情報処理装置から受信して記憶した前記顔画像データを参照し、前記情報処理装置から受信した前記撮像データと対比して前記顔画像データ毎に一致率を算定し、前記撮像データとの一致率が所定閾値以上の１つの前記顔画像データである判定済顔画像データがある場合に、該判定済顔画像データを示す前記識別情報を前記情報処理装置に返信する
請求項１に記載の情報処理装置。
【請求項11】
前記他の情報処理装置は、前記情報処理装置から前記照合対象データを受信するまでは、前記照合対象データを保持していない
請求項３に記載の情報処理装置。
【請求項12】
情報処理装置とサーバとからなる顔認識システムにおいて、前記情報処理装置は、
人物の顔が撮像された撮像データを取得する取得部と、
複数の顔画像データを記憶している記憶部と、
前記顔画像データを参照し、前記撮像データと対比して前記顔画像データ毎に一致率を算定し、前記顔画像データと、該顔画像データに対応する一致率とを出力する算定部と、
前記撮像データとの一致率が所定閾値以上の前記顔画像データが１つのみの場合は、前記撮像データと、前記顔画像データを示す照合対象データとを前記サーバに送信しない一方、前記撮像データとの一致率が前記所定閾値以上の前記顔画像データが複数ある場合は、前記撮像データと、一致率が前記所定閾値以上の複数の前記顔画像データを示す前記照合対象データとを前記サーバに送信する送信部と
を有し、
前記サーバは、
前記情報処理装置から受信した前記照合対象データに基づく複数の前記顔画像データを参照し、前記情報処理装置から受信した前記撮像データと対比して前記顔画像データ毎に一致率を算定し、前記撮像データとの一致率が所定閾値以上の１つの前記顔画像データである判定済顔画像データがある場合に、該判定済顔画像データを示すデータを前記情報処理装置に返信する制御部
を有する顔認識システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は情報処理装置及び顔認識システムに関し、小売店舗で万引き犯を監視している映像から常習万引き犯に似た人物を探して管理者に通知する、又は、病院や老人ホームなどで徘徊する老人を監視カメラで発見した際に看護師や介護担当者に通知する顔認識システムに適用して好適なものである。
【背景技術】
【0002】
従来の顔認識システムにおいては、利用者の端末で自動認証により顔認識が照合できなかった場合、カメラで取得した顔画像と照合用の顔画像とを、ネットワークを介して審査者の端末に送信するものが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００２－２５１３８０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の顔認識システムは、１つのカメラ又は複数のカメラに対して１つの顔認識処理装置をネットワークで接続して処理を行い、その処理結果を管理者に通知していた。
【0005】
しかしながら１台の顔認識処理装置に対して複数のカメラから送られる連続画像を元に顔認識処理を行う場合には、接続するカメラの増加に伴いネットワークを流れる画像（データトラフィック）が増加し、また顔認識処理装置側の画像処理量も増加するため、カメラから画像を送り顔認識処理結果を通知するまでのシステム全体のパフォーマンスが低下していた。
【0006】
また、接続するカメラの台数が１台の場合であっても複数台の場合であっても、顔認識処理装置の最小構成は変わらないため、価格が割高になっていた。つまりカメラと顔認識処理装置とをネットワークを経由して利用する場合に、パフォーマンスとコストバランスとの問題があった。
【0007】
これは、１種類の認識性能（識別精度と処理速度とを含む能力）をもつ顔認識ソフトウェアを利用して顔認識システムを実現するために発生する課題で、１つの場所（地域）で照合対象になる人数は多くはないが、複数の地域（カメラ）から送られる画像を１つの顔認識処理装置で照合しようとするため、従来の顔認識処理装置は、１箇所で多くの人数の顔データベースで照合し、一致度の高い人物を絞り込む能力（識別精度）を有するものが利用されていた。
【0008】
ここで、例えば全国に点在する支店を保有する小売企業が、各店舗に訪れる万引き犯や商品に穴をあける等の悪戯をする犯人を見つけるために顔認識システムを使用する場合、各店舗で照合に使われる顔データベースには、犯人がその店舗に何度も訪れることを考慮すると、犯人がその地域に住んでいる可能性が高いため、他の離れた地域の犯人の顔データベースと照合する必要性は低い。つまり効率性を考慮すれば、特定の場所や地域で必要とされる顔データベースのみに絞って運用が可能であれば、１箇所で高い識別能力をもつ顔認識処理装置を必要とはしていない場合があった。
【0009】
このため、顔認識システムにおいては、個々の場所（地域）毎に編成された小規模の顔データベースだけを処理することで認識精度を維持しつつ処理速度を向上させ、また監視対象となるカメラが追加されても、ネットワーク負荷を増大させることなく、認識精度及び処理速度を維持することが望まれている。
【0010】
本発明は以上の点を考慮してなされたもので、顔データベースの規模に関わらず、ネットワーク負荷を増大させずに認識精度及び処理速度を維持しつつ顔認識処理を行い得る情報処理装置及び顔認識システムを提案しようとするものである。
【課題を解決するための手段】
【0011】
かかる課題を解決するため本発明の情報処理装置においては、人物の顔が撮像された撮像データを取得する取得部と、複数の顔画像データを記憶している記憶部と、顔画像データを参照し、撮像データと対比して顔画像データ毎に一致率を算定し、顔画像データと、該顔画像データに対応する一致率とを出力する算定部と、撮像データとの一致率が所定閾値以上の顔画像データが１つのみの場合は、撮像データと、顔画像データを示す照合対象データとを他の情報処理装置に送信しない一方、撮像データとの一致率が所定閾値以上の顔画像データが複数ある場合は、撮像データと、一致率が所定閾値以上の複数の顔画像データを示す照合対象データとを他の情報処理装置に送信する送信部とを設けるようにした。
【0012】
また本発明の顔認識システムにおいては、情報処理装置とサーバとからなる顔認識システムにおいて、情報処理装置は、人物の顔が撮像された撮像データを取得する取得部と、複数の顔画像データを記憶している記憶部と、顔画像データを参照し、撮像データと対比して顔画像データ毎に一致率を算定し、顔画像データと、該顔画像データに対応する一致率とを出力する算定部と、撮像データとの一致率が所定閾値以上の顔画像データが１つのみの場合は、撮像データと、顔画像データを示す照合対象データとをサーバに送信しない一方、撮像データとの一致率が所定閾値以上の顔画像データが複数ある場合は、撮像データと、一致率が所定閾値以上の複数の顔画像データを示す照合対象データとをサーバに送信する送信部とを設け、サーバは、情報処理装置から受信した照合対象データに基づく複数の顔画像データを参照し、情報処理装置から受信した撮像データと対比して顔画像データ毎に一致率を算定し、撮像データとの一致率が所定閾値以上の１つの顔画像データである判定済顔画像データがある場合に、該判定済顔画像データを示すデータを情報処理装置に返信する制御部を設けるようにした。
【0013】
これにより本発明は、顔データベースに登録されている顔画像データの量が少ない場合は、情報処理装置単体で顔認識処理を完結できると共に、顔データベースに登録されている顔画像データの量が増加してきて、撮像データと一致する顔画像データを情報処理装置単体では識別能力が不足し１枚に絞り込めない場合は、情報処理装置よりも顔認識能力の高い他の情報処理装置で顔照合処理により１枚に絞り込むことができる。
【発明の効果】
【0014】
本発明によれば、顔データベースの規模に関わらず、ネットワーク負荷を増大させずに認識精度及び処理速度を維持しつつ顔認識処理を行い得る情報処理装置及び顔認識システムを実現できる。
【図面の簡単な説明】
【0015】
【図1】顔認識システムの全体構成を示す図である。
【図2】顔認識カメラの構成を示すブロック図である。
【図3】顔認識サーバの構成を示すブロック図である。
【図4】携帯端末の構成を示すブロック図である。
【図5】顔認識カメラの機能構成を示すブロック図である。
【図6】顔認識カメラによる顔認識処理手順を示すフローチャートである。
【図7】第１の実施の形態における顔認識システムによる顔認識処理手順を示すシーケンスチャートである。
【図8】通過履歴情報作成処理手順を示すフローチャートである。
【図9】通過履歴情報表示画面を示す図である。
【図10】顔データベース登録画面を示す図である。
【図11】類似顔提示画面を示す図である。
【図12】第２の実施の形態における顔認識システムによる顔認識処理手順を示すシーケンスチャートである。
【発明を実施するための形態】
【0016】
以下、発明を実施するための形態（以下実施の形態とする）について、図面を用いて説明する。
【0017】
［１．第１の実施の形態］
［１－１．顔認識システムの構成］
図１に示すように第１の実施の形態による顔認識システム１は、例えば同一店舗内に設置された顔認識カメラ２、顔認識サーバ４、ルータ８及びＷｉ－Ｆｉ（登録商標）アクセスポイント１０と、携帯端末６とにより構成されている。
［１－１．顔認識システムの構成］
図１に示すように第１の実施の形態による顔認識システム１は、例えば同一店舗内に設置された顔認識カメラ２、顔認識サーバ４、ルータ８及びＷｉ－Ｆｉ（登録商標）アクセスポイント１０と、携帯端末６とにより構成されている。
【0018】
顔認識カメラ２は、カメラであると共に、顔認識サーバ４と比較して顔認識能力が低い顔認識ソフトウェアにより顔認識処理を実行する。顔認識カメラ２は、ルータ８を介して顔認識サーバ４とネットワーク接続されており、該顔認識サーバ４とデータの送受信を行う。
【0019】
顔認識サーバ４は、顔認識カメラ２と比較して顔認識能力が高い顔認識ソフトウェアにより、顔認識カメラ２から受信した画像データに対し顔認識処理を実行する。顔認識サーバ４は、ルータ８を介して顔認識カメラ２とネットワーク接続されており、該顔認識カメラ２とデータの送受信を行う。
【0020】
ルータ８は、有線又は無線によりＷｉ－Ｆｉアクセスポイント１０と接続されており、Ｗｉ－Ｆｉアクセスポイント１０を介して携帯端末６とデータの送受信を行う。またルータ８は、有線ＬＡＮ（Local Area Network）により顔認識カメラ２及び顔認識サーバ４と接続されており、該顔認識カメラ２及び該顔認識サーバ４とデータの送受信を行う。
【0021】
携帯端末６は、所謂スマートフォン、タブレットやＰＤＡ（Personal Digital Assistant）等の使用者による持ち運びが容易な可搬型のモバイル端末により構成されている。携帯端末６は、アクセスポイント１０及びルータ８を介して顔認識カメラ２及び顔認識サーバ４と無線通信を行う。
【0022】
［１－２．顔認識カメラの構成］
図２に示すように顔認識カメラ２は、処理装置２０、ＯＳ（Operating System）２６、カメラ撮像部２８、顔認識処理部３０及びＷｅｂ（World Wide Web）サービス部３２により構成されている。処理装置２０は、通常のＰＣ（Personal Computer）と同等の構成であり、ＣＰＵ（Central Processing Unit）２１、メモリ２２、補助記憶装置としてのＳＳＤ（Solid State Drive）２３及び通信部２４が搭載されている。ＣＰＵ２１は、図示しないＲＯＭ（Read Only Memory）から所定のプログラムを読み出して図示しないＲＡＭ（Random Access Memory）をワークメモリとして用いて各種演算を行い顔認識カメラ２を統轄制御して種々の処理を実行する。メモリ２２は、不揮発性の記憶装置である。ＳＳＤ２３は、後述する通過履歴情報及び顔データベースを記憶する。通過履歴情報は、カメラ撮像部２８が撮像した、人物の顔を含む全身の画像を複数人分記憶したデータである。顔データベースは、通過履歴情報から管理者により選択された人物の顔画像である登録顔画像が顔画像データとして登録されたデータである。
図２に示すように顔認識カメラ２は、処理装置２０、ＯＳ（Operating System）２６、カメラ撮像部２８、顔認識処理部３０及びＷｅｂ（World Wide Web）サービス部３２により構成されている。処理装置２０は、通常のＰＣ（Personal Computer）と同等の構成であり、ＣＰＵ（Central Processing Unit）２１、メモリ２２、補助記憶装置としてのＳＳＤ（Solid State Drive）２３及び通信部２４が搭載されている。ＣＰＵ２１は、図示しないＲＯＭ（Read Only Memory）から所定のプログラムを読み出して図示しないＲＡＭ（Random Access Memory）をワークメモリとして用いて各種演算を行い顔認識カメラ２を統轄制御して種々の処理を実行する。メモリ２２は、不揮発性の記憶装置である。ＳＳＤ２３は、後述する通過履歴情報及び顔データベースを記憶する。通過履歴情報は、カメラ撮像部２８が撮像した、人物の顔を含む全身の画像を複数人分記憶したデータである。顔データベースは、通過履歴情報から管理者により選択された人物の顔画像である登録顔画像が顔画像データとして登録されたデータである。
【0023】
通信部２４は、ルータ８（図１）に接続されており、顔認識サーバ４及び携帯端末６とデータを送受信する。ＯＳ２６は、処理装置２０と、該処理装置２０の外部とのＩ／Ｏインターフェースとして機能する。撮像部としてのカメラ撮像部２８は、レンズを有するカメラであり、人物の顔を含む風景を撮像し、撮像画像を画像データである撮像データとして処理装置２０へ供給する。Ｗｅｂサービス部３２は、Ｗｅｂサービスの形式で実装されており、携帯端末６からの要求に応じて処理結果を該携帯端末６へ送信する機能を実現する。
【0024】
顔認識処理部３０は、カメラ撮像部２８から取得した撮像データに基づく撮像画像における、人物の顔の部分である照合顔画像と、顔データベースに記憶されている複数の登録顔画像とを対比することにより、照合顔画像と一致する登録顔画像を検出する顔認識処理を実行する。この顔認識処理部３０は、顔認識サーバ４の顔認識処理部４６と比較して、顔認識能力が低いものとなっている。また顔認識処理部３０は、顔認識処理の認識結果に応じて、内部で管理しているアラーム通知ステータスを更新すると共に、カメラ撮像部２８から次の撮像データを取得して顔認識処理を継続的に繰り返す。アラーム通知ステータスは、照合顔画像と一致した登録顔画像が検出された際に、ＯＦＦからＯＮへ更新される。
【0025】
［１－３．顔認識サーバの構成］
図３に示すように顔認識サーバ４は、処理装置４０、ＯＳ４４及び顔認識処理部４６により構成されている。処理装置４０は、通常のＰＣと同等の構成であり、ＣＰＵ４１、メモリ４２及び通信部４３が搭載されている。ＣＰＵ４１は、図示しないＲＯＭから所定のプログラムを読み出して図示しないＲＡＭをワークメモリとして用いて各種演算を行い顔認識サーバ４を統轄制御して種々の処理を実行する。メモリ４２は、不揮発性の記憶装置である。通信部４３は、ルータ８（図１）に接続されており、顔認識カメラ２及び携帯端末６とデータを送受信する。ＯＳ４４は、処理装置４０と、該処理装置４０の外部とのＩ／Ｏインターフェースとして機能する。
図３に示すように顔認識サーバ４は、処理装置４０、ＯＳ４４及び顔認識処理部４６により構成されている。処理装置４０は、通常のＰＣと同等の構成であり、ＣＰＵ４１、メモリ４２及び通信部４３が搭載されている。ＣＰＵ４１は、図示しないＲＯＭから所定のプログラムを読み出して図示しないＲＡＭをワークメモリとして用いて各種演算を行い顔認識サーバ４を統轄制御して種々の処理を実行する。メモリ４２は、不揮発性の記憶装置である。通信部４３は、ルータ８（図１）に接続されており、顔認識カメラ２及び携帯端末６とデータを送受信する。ＯＳ４４は、処理装置４０と、該処理装置４０の外部とのＩ／Ｏインターフェースとして機能する。
【0026】
顔認識処理部４６は、顔認識カメラ２から受信した照合顔画像データにより示される照合顔画像と、顔認識カメラ２から受信した、顔データベースに記憶されている複数の登録顔画像データにより示される複数の登録顔画像とを対比することにより、顔照合処理を実行する。この顔認識処理部４６は、顔認識カメラ２の顔認識処理部３０と比較して、顔認識能力が高く、精密な画像対比機能を持っている。
【0027】
またこの顔認識サーバ４は、顔認識カメラ２から顔照合処理の依頼を受けて、顔認識カメラ２に顔照合処理の判定結果を返すものの、携帯端末６への情報通知は行わない。さらに顔認識サーバ４は、顔照合処理をする際の顔データベースを保持しておらず、顔認識カメラ２から渡される画像のみで、顔照合処理を行う。
【0028】
［１－４．携帯端末の構成］
図４に示すように携帯端末６は、処理装置５０、ＯＳ５６及び顔認識情報操作アプリケーション５８により構成されており、管理者により操作される。処理装置５０は、ＣＰＵ５１、メモリ５２、通信部５３及び操作表示部５４が搭載されている。ＣＰＵ５１は、図示しないＲＯＭから所定のプログラムを読み出して図示しないＲＡＭをワークメモリとして用いて各種演算を行い携帯端末６を統轄制御して種々の処理を実行する。メモリ５２は、不揮発性の記憶装置である。通信部５３は、Ｗｉ－Ｆｉアクセスポイント１０に接続されており、顔認識カメラ２及び顔認識サーバ４とデータを送受信する。操作表示部５４は、例えばＬＣＤ（Liquid Crystal Display）とタッチパネルとが一体化されており、各種画面を表示すると共に利用者の操作指示を受け付ける。ＯＳ５６は、処理装置５０と、該処理装置５０の外部とのＩ／Ｏインターフェースとして機能する。
図４に示すように携帯端末６は、処理装置５０、ＯＳ５６及び顔認識情報操作アプリケーション５８により構成されており、管理者により操作される。処理装置５０は、ＣＰＵ５１、メモリ５２、通信部５３及び操作表示部５４が搭載されている。ＣＰＵ５１は、図示しないＲＯＭから所定のプログラムを読み出して図示しないＲＡＭをワークメモリとして用いて各種演算を行い携帯端末６を統轄制御して種々の処理を実行する。メモリ５２は、不揮発性の記憶装置である。通信部５３は、Ｗｉ－Ｆｉアクセスポイント１０に接続されており、顔認識カメラ２及び顔認識サーバ４とデータを送受信する。操作表示部５４は、例えばＬＣＤ（Liquid Crystal Display）とタッチパネルとが一体化されており、各種画面を表示すると共に利用者の操作指示を受け付ける。ＯＳ５６は、処理装置５０と、該処理装置５０の外部とのＩ／Ｏインターフェースとして機能する。
【0029】
顔認識情報操作アプリケーション５８は、通常のスマートフォンやタブレットで動作する１つのアプリケーションであり、顔認識カメラ２と連携する専用のソフトウェアである。この顔認識情報操作アプリケーション５８は、顔認識カメラ２のアラーム通知ステータスを監視すると共に、各種情報を管理者に提示する。また顔認識カメラ２と携帯端末６とは、固定のＩＰ（Internet Protocol）アドレスをそれぞれ保持し、互いに予め登録さているＩＰアドレスとポート番号で定められたプログラムとだけ通信を実行することにより、セキュリティを確保している。
【0030】
［１－５．顔認識カメラの機能構成］
ここで、顔認識カメラ２における後述する顔認識処理に関係する基本的な機能を機能ブロック図により表すと、図５のようになる。顔認識カメラ２のＣＰＵ２１（図２）は所定の顔認識プログラムを実行することにより、取得部６０、記憶部６２、算定部６４及び送信部６６の各機能ブロックを実現する。
ここで、顔認識カメラ２における後述する顔認識処理に関係する基本的な機能を機能ブロック図により表すと、図５のようになる。顔認識カメラ２のＣＰＵ２１（図２）は所定の顔認識プログラムを実行することにより、取得部６０、記憶部６２、算定部６４及び送信部６６の各機能ブロックを実現する。
【0031】
取得部６０は、ＣＰＵ２１及びカメラ撮像部２８（図２）と対応しており、人物の顔が撮像された撮像データを取得する。記憶部６２は、ＳＳＤ２３（図２）と対応しており、複数の顔画像データである登録顔画像を記憶している。算定部６４は、顔認識処理部３０（図２）と対応しており、顔画像データを参照し、撮像データと対比して顔画像データ毎に一致率を算定し、顔画像データと、該顔画像データに対応する一致率とを出力する。また算定部６４は、撮像データの顔の特徴を特徴量データに変換し、登録済みの顔画像データの特徴量と対比し、類似度が所定の閾値以上であるかを判定する。このように、撮像データ及び顔画像データは、特徴量を含むものとなっている。送信部６６は、ＣＰＵ２１及び通信部２４（図２）と対応しており、撮像データとの一致率が所定閾値以上の顔画像データが複数ある場合に、撮像データと、一致率が所定閾値以上の複数の顔画像データとを他の情報処理装置としての顔認識サーバ４に送信する。
【0032】
［１－６．顔認識カメラによる顔認識処理］
次に、顔認識カメラ２による顔認識処理の具体的な処理手順について、図６に示すフローチャートを用いて詳細に説明する。ＣＰＵ２１は、顔認識処理プログラムを実行することにより図６に示す顔認識処理手順ＲＴ１を開始し、ステップＳＰ１へ移る。ステップＳＰ１においてＣＰＵ２１は、顔認識処理部３０により、カメラ撮像部２８から撮像データを読み出して顔認識処理を開始し、ステップＳＰ２へ移る。ステップＳＰ２においてＣＰＵ２１は、顔認識処理の最初の処理として、撮像画像中から被写体の顔を検出する顔検出処理を顔認識処理部３０により行い、ステップＳＰ３へ移る。具体的に顔認識処理部３０は、顔検出処理において、顔が写っているかどうか、撮像データにより示される撮像画像中を探索する。ステップＳＰ３においてＣＰＵ２１は、撮像画像中で顔を発見したか否かを顔認識処理部３０により判定する。ここで否定結果が得られると、ＣＰＵ２１はステップＳＰ１へ戻り、上述した処理を繰り返す。
次に、顔認識カメラ２による顔認識処理の具体的な処理手順について、図６に示すフローチャートを用いて詳細に説明する。ＣＰＵ２１は、顔認識処理プログラムを実行することにより図６に示す顔認識処理手順ＲＴ１を開始し、ステップＳＰ１へ移る。ステップＳＰ１においてＣＰＵ２１は、顔認識処理部３０により、カメラ撮像部２８から撮像データを読み出して顔認識処理を開始し、ステップＳＰ２へ移る。ステップＳＰ２においてＣＰＵ２１は、顔認識処理の最初の処理として、撮像画像中から被写体の顔を検出する顔検出処理を顔認識処理部３０により行い、ステップＳＰ３へ移る。具体的に顔認識処理部３０は、顔検出処理において、顔が写っているかどうか、撮像データにより示される撮像画像中を探索する。ステップＳＰ３においてＣＰＵ２１は、撮像画像中で顔を発見したか否かを顔認識処理部３０により判定する。ここで否定結果が得られると、ＣＰＵ２１はステップＳＰ１へ戻り、上述した処理を繰り返す。
【0033】
一方ステップＳＰ３において肯定結果が得られると、このことは、撮像画像中で顔を発見したことを表し、このときＣＰＵ２１はステップＳＰ４へ移る。ステップＳＰ４においてＣＰＵ２１は、図８に示す通過履歴情報作成処理手順ＳＲＴ１を経てステップＳＰ５へ移る。ステップＳＰ５においてＣＰＵ２１は、顔認識処理の次の処理として、照合顔画像と登録顔画像とが一致しているか照合する顔照合処理を顔認識処理部３０により行い、ステップＳＰ６へ移る。具体的に顔認識処理部３０は、顔照合処理において、撮像画像において発見した顔を囲む画像領域である照合顔画像だけを対象に、予め登録されている顔データベースにおける登録顔画像と顔照合処理を実行する。ステップＳＰ６においてＣＰＵ２１は、一致度が一定以上の顔である顔候補を複数の登録顔画像中で発見したか否かを顔認識処理部３０により判定する。具体的に顔認識処理部３０は、例えば閾値である８０％以上の一致度を持つ顔を発見した場合、一致度が一定以上の顔を発見したと判定する。ここで否定結果が得られると、ＣＰＵ２１はステップＳＰ１へ戻り、上述した処理を繰り返す。
【0034】
一方ステップＳＰ６において肯定結果が得られると、このことは、一致度が一定以上の顔候補を複数の登録顔画像中で発見したことを表し、このときＣＰＵ２１はステップＳＰ７へ移る。ステップＳＰ７においてＣＰＵ２１は、顔照合処理における判定基準を満たした顔候補が顔データベースの中にどれだけあったかを計測することにより、一致度が一定以上の顔候補を複数の登録顔画像中で複数発見したか否かを顔認識処理部３０により判定する。ここで否定結果が得られると、このことは、一致度が一定以上の顔候補を複数の登録顔画像中で１つのみ発見したため、この顔候補を、一致した顔とすることを表し、このときＣＰＵ２１はステップＳＰ８へ移る。ステップＳＰ８においてＣＰＵ２１は、アラーム通知ステータスを顔認識処理部３０によりＯＦＦからＯＮに更新し、ステップＳＰ１へ戻り、上述した処理を繰り返す。携帯端末６は、Ｗｅｂサービス部３２に対して、アラーム通知ステータスの変更があったか否かを１秒に１回問い合わせており、アラーム通知ステータスがＯＦＦからＯＮに変更されたことを検出すると、後述する管理者判断動作に移る。
【0035】
一方ステップＳＰ７において肯定結果が得られると、このことは、一致度が一定以上の顔候補を複数の登録顔画像中で複数発見した、すなわち照合顔画像の人物と一致する人物を顔認識処理部３０では複数の登録顔画像中から１人に絞り込めなかったことを表し、このときＣＰＵ２１はステップＳＰ９へ移る。ステップＳＰ９においてＣＰＵ２１は、顔認識サーバ４において高精度な顔照合処理を行ってもらうことを示す後述する判定依頼を通信部２４により顔認識サーバ４へ送信し、ステップＳＰ９へ移る。顔認識サーバ４は、顔認識カメラ２から判定依頼を受信すると、顔認識カメラ２よりも高精度な顔照合処理を行い、判定結果を顔認識カメラ２へ送信する。
【0036】
ステップＳＰ１０においてＣＰＵ２１は、判定結果を通信部２４により顔認識サーバ４から受信し、ステップＳＰ１１へ移る。ステップＳＰ１１においてＣＰＵ２１は、顔認識サーバ４から受信した判定結果に基づき、複数の登録顔画像の中から、一致度が一定以上の顔を顔認識サーバ４において発見したか否かを顔認識処理部３０により判定する。ここで否定結果が得られると、このことは、顔認識カメラ２において複数の顔候補（登録顔画像）を発見し、それらの顔候補に対し顔認識サーバ４において照合顔画像と顔照合処理を行った結果、顔認識サーバ４においても１人に絞り込める程の一致度が一定以上の顔は発見されなかったことを表し、このときＣＰＵ２１はステップＳＰ１へ戻り、上述した処理を繰り返す。
【0037】
一方ステップＳＰ１１において肯定結果が得られると、このことは、顔認識カメラ２において複数の顔候補（登録顔画像）を発見し、それらの顔候補を顔認識サーバ４において照合顔画像と顔照合処理を行った結果、１人に絞り込める程の一致度が一定以上の顔が発見されたことを表し、このときＣＰＵ２１はステップＳＰ８へ移る。ステップＳＰ８においてＣＰＵ２１は、アラーム通知ステータスを顔認識処理部３０により更新し、ステップＳＰ１へ戻り、上述した処理を繰り返す。携帯端末６は、Ｗｅｂサービス部３２に対して、アラーム通知ステータスの変更があったか否かを１秒に１回問い合わせており、アラーム通知ステータスがＯＦＦからＯＮに変更されたことを検出すると、後述する管理者判断動作に移る。
【0038】
［１－７．顔認識システムによる顔認識処理手順］
次に顔認識システム１による、主に顔認識カメラ２と顔認識サーバ４との間のデータの流れを示す顔認識処理手順ＲＴ２について、図７のシーケンスチャートを用いて説明する。ステップＳＰ２１において顔認識カメラ２のＣＰＵ２１は、一致度が一定以上の顔候補を登録顔画像中で複数発見した場合、上述した判定依頼を通信部２４により顔認識サーバ４へ送信する。ここで顔認識処理部３０は、顔照合処理において１人に絞り込めずに例えば３人の顔候補にまで絞り込めた場合、これら３人（例えば顔Ａ、顔Ｂ及び顔Ｃ）の登録顔画像を示す３枚の登録顔画像データそのものと、これら登録顔画像と類似であると判定した、１枚の顔Ｓの照合顔画像を示す照合顔画像データそのものとを、判定依頼として顔認識サーバ４へ送信する。このとき顔認識処理部３０は、複数の画像データをどのような順序で顔認識サーバ４へ送信したかをメモリ２２に記憶する。具体的に顔認識処理部３０は、例えば顔Ｓ、顔Ａ、顔Ｂ、顔Ｃの順序で画像データを顔認識サーバ４へ送信した場合、そのデータ送信順序を記憶する。
次に顔認識システム１による、主に顔認識カメラ２と顔認識サーバ４との間のデータの流れを示す顔認識処理手順ＲＴ２について、図７のシーケンスチャートを用いて説明する。ステップＳＰ２１において顔認識カメラ２のＣＰＵ２１は、一致度が一定以上の顔候補を登録顔画像中で複数発見した場合、上述した判定依頼を通信部２４により顔認識サーバ４へ送信する。ここで顔認識処理部３０は、顔照合処理において１人に絞り込めずに例えば３人の顔候補にまで絞り込めた場合、これら３人（例えば顔Ａ、顔Ｂ及び顔Ｃ）の登録顔画像を示す３枚の登録顔画像データそのものと、これら登録顔画像と類似であると判定した、１枚の顔Ｓの照合顔画像を示す照合顔画像データそのものとを、判定依頼として顔認識サーバ４へ送信する。このとき顔認識処理部３０は、複数の画像データをどのような順序で顔認識サーバ４へ送信したかをメモリ２２に記憶する。具体的に顔認識処理部３０は、例えば顔Ｓ、顔Ａ、顔Ｂ、顔Ｃの順序で画像データを顔認識サーバ４へ送信した場合、そのデータ送信順序を記憶する。
【0039】
顔認識サーバ４のＣＰＵ４１は、顔候補の全ての登録顔画像データと１枚の照合顔画像データとを判定依頼として顔認識カメラ２から受信すると、ステップＳＰ２２において、この複数の登録顔画像と１枚の照合顔画像との顔照合処理を顔認識処理部４６により行い、ステップＳＰ２３へ移る。このとき顔認識処理部４６は、顔Ｓ、顔Ａ、顔Ｂ、顔Ｃの順序で画像データを顔認識カメラ２から受信しているため、直近に受信した画像データは顔Ｃ、１個前に受信した画像データは顔Ｂ、２個前に受信した画像データは顔Ａ、３個前に受信した画像データは顔Ｓとなる。このように顔認識サーバ４は、顔照合処理をする際の顔データベースを保持しておらず、顔認識カメラ２から渡される画像のみで、顔照合処理を行う。
【0040】
ステップＳＰ２３においてＣＰＵ４１は、一致度が最も高い１つの登録顔画像を発見したか否かを顔認識処理部４６により判定する。ここで肯定結果が得られると、このときＣＰＵ４１はステップＳＰ２４へ移る。ステップＳＰ２４においてＣＰＵ４１は、顔認識処理部４６により、例えば顔Ａが顔Ｓと一致したと判定したとし、顔Ａの登録顔画像データを判定済顔画像データとする。このときＣＰＵ４１は、顔Ａを示すデータ送信順番を判定結果として、すなわち２個前に受信した画像データが顔Ｓと一致したことを示す情報を判定結果として通信部４３により顔認識カメラ２へ送信する。
【0041】
一方ステップＳＰ２３において否定結果が得られると、このときＣＰＵ４１はステップＳＰ２５へ移る。ステップＳＰ２５においてＣＰＵ４１は、一致した顔が存在しなかったことを示す判定結果を通信部４３により顔認識カメラ２へ送信する。
【0042】
［１－８．通過履歴情報作成処理］
次に、顔認識カメラ２による通過履歴情報作成処理の具体的な処理手順について、図８に示すフローチャートを用いて詳細に説明する。ＣＰＵ２１は、顔認識処理手順ＲＴ１（図６）のステップＳＰ４において図８に示す通過履歴情報作成処理手順ＳＲＴ１を開始し、ステップＳＰ３１へ移る。ステップＳＰ３１においてＣＰＵ２１は、撮像画像中で発見した顔が、直前の撮像画像における顔と同一人物であるか否かを顔認識処理部３０により判定する。ここで肯定結果が得られると、このときＣＰＵ２１はステップＳＰ３５へ移り、通過履歴情報作成処理手順ＳＲＴ１を終了し、顔認識処理手順ＲＴ１（図６）のステップＳＰ５へ移る。このように顔認識処理部３０は、撮像画像中で発見した顔を常にトラッキングしており、同一人物と判定してトラッキングし続けている最中は、その顔の人物を新たに通過履歴情報には追加しない。
次に、顔認識カメラ２による通過履歴情報作成処理の具体的な処理手順について、図８に示すフローチャートを用いて詳細に説明する。ＣＰＵ２１は、顔認識処理手順ＲＴ１（図６）のステップＳＰ４において図８に示す通過履歴情報作成処理手順ＳＲＴ１を開始し、ステップＳＰ３１へ移る。ステップＳＰ３１においてＣＰＵ２１は、撮像画像中で発見した顔が、直前の撮像画像における顔と同一人物であるか否かを顔認識処理部３０により判定する。ここで肯定結果が得られると、このときＣＰＵ２１はステップＳＰ３５へ移り、通過履歴情報作成処理手順ＳＲＴ１を終了し、顔認識処理手順ＲＴ１（図６）のステップＳＰ５へ移る。このように顔認識処理部３０は、撮像画像中で発見した顔を常にトラッキングしており、同一人物と判定してトラッキングし続けている最中は、その顔の人物を新たに通過履歴情報には追加しない。
【0043】
一方ステップＳＰ３１において否定結果が得られると、このときＣＰＵ２１はステップＳＰ３２へ移る。ステップＳＰ３２においてＣＰＵ２１は、撮像画像中で発見した顔を含む全身の画像に基づき人物の年齢を推定する公知の年齢推定処理を顔認識処理部３０により行い、ステップＳＰ３３へ移る。ステップＳＰ３３においてＣＰＵ２１は、撮像画像中で発見した顔を含む全身の画像に基づき人物の性別を推定する公知の性別推定処理を顔認識処理部３０により行い、ステップＳＰ３４へ移る。
【0044】
ステップＳＰ３４においてＣＰＵ２１は、顔認識処理部３０により、ステップＳＰ３（図６）において発見した人の顔画像を含む全身画像を、顔画像毎に固有の識別情報としてのＩＤと、顔画像を発見した時間である発見時間と、ステップＳＰ３２において推定した推定年齢と、ステップＳＰ３３において推定した推定性別と対応付けて、通過履歴情報として処理装置２０の内のＳＳＤ２３内に保存し、ステップＳＰ３５へ移り、通過履歴情報作成処理手順ＳＲＴ１を終了し、顔認識処理手順ＲＴ１（図６）のステップＳＰ５へ移る。
【0045】
このように顔認識カメラ２は、カメラ撮像部２８の前を通過する人の顔の画像を自動的に切り出して、該顔を含む全身の画像を、ＩＤ、発見時間、推定年齢及び推定性別と対応付けて通過履歴情報に逐次追加するように保存していく。また顔認識カメラ２は、１人の被写体に関し、検出した最初の顔画像を含む全身画像を通過履歴情報に保存し、その後トラッキングを続けている限りは該被写体の顔画像を含む全身画像は通過履歴情報に保存しない。
【0046】
［１－９．顔データベース作成処理］
管理者は、携帯端末６（図４）の顔認識情報操作アプリケーション５８を操作して顔認識カメラ２のＷｅｂサービス部３２を呼び出すことにより、処理装置２０に保存された通過履歴情報を適宜読み出し、携帯端末６の操作表示部５４に図９に示す通過履歴情報表示画面ＤＩＰ１として表示させる。
管理者は、携帯端末６（図４）の顔認識情報操作アプリケーション５８を操作して顔認識カメラ２のＷｅｂサービス部３２を呼び出すことにより、処理装置２０に保存された通過履歴情報を適宜読み出し、携帯端末６の操作表示部５４に図９に示す通過履歴情報表示画面ＤＩＰ１として表示させる。
【0047】
通過履歴情報表示画面ＤＩＰ１は、顔画像表示部ＳＦＩ１、ＩＤ表示部ＳＩＤ１及び発見時間表示部ＳＴ１を有しており、複数の顔画像を発見時間の時系列で表示する。顔画像表示部ＳＦＩ１は、通過履歴情報に保存された全身画像における顔画像のみを表示する。ＩＤ表示部ＳＩＤ１は、通過履歴情報において顔画像に対応付けられたＩＤを表示する。発見時間表示部ＳＴ１は、通過履歴情報において顔画像に対応付けられた発見時間を表示する。管理者は、照合するために顔データベースに追加して登録したい顔画像を通過履歴情報表示画面ＤＩＰ１の中から１つ選択する。
【0048】
顔認識情報操作アプリケーション５８は、顔画像が通過履歴情報表示画面ＤＩＰ１の中から１つ選択されると、図１０に示す顔データベース登録画面ＤＩＰ２を操作表示部５４に表示する。顔データベース登録画面ＤＩＰ２は、ＩＤ表示部ＳＩＤ２、ニックネーム入力部ＩＮＮ、顔画像表示部ＳＦＩ２、年齢表示部ＳＡＧ１、性別表示部ＳＳＸ１、コメント入力部ＩＣＭ及び登録ボタンＢＲＧを有している。ＩＤ表示部ＳＩＤ２は、通過履歴情報において顔画像に対応付けられたＩＤを表示する。ニックネーム入力部ＩＮＮは、顔画像表示部ＳＦＩ２に表示された顔画像のニックネームが管理者により入力される。顔画像表示部ＳＦＩ２は、通過履歴情報に保存された全身画像における顔画像のみを表示する。年齢表示部ＳＡＧ１は、通過履歴情報において顔画像に対応付けられた推定年齢を表示する。性別表示部ＳＳＸ１は、通過履歴情報において顔画像に対応付けられた推定性別を表示する。コメント入力部ＩＣＭは、犯人、クレーマー、いたずら犯、店員やＶＩＰ等の、管理者が照合通知を要求する人物のタイプや、何を万引きしようとしたのか等、付加的な情報が管理者により入力される。
【0049】
登録ボタンＢＲＧが管理者により押下されると、顔認識情報操作アプリケーション５８は、顔データベース登録画面ＤＩＰ２において入力された内容を顔データベースへ登録するように、顔認識カメラ２のＷｅｂサービス部３２に依頼する。顔認識カメラ２のＷｅｂサービス部３２は、顔データベース登録画面ＤＩＰ２において入力された内容を顔データベースに追加保存することにより、顔データベースに照合すべき顔画像である登録顔画像として追加登録すると共に、顔認識処理部３０に同様の内容を供給する。顔認識処理部３０は、取得した顔画像を、以後の顔認識処理手順ＲＴ１（図６）におけるステップＳＰ５の顔照合処理において、発見された顔（照合顔画像）と照合される登録顔画像として用いる。
【0050】
［１－１０．顔一致管理者判断動作］
顔認識情報操作アプリケーション５８は、アラーム通知ステータスがＯＮになったことを検知すると、照合顔画像を顔認識カメラ２の顔認識処理部３０からＷｅｂサービス部３２を経由して取り出すと共に、該照合顔画像と一致していると判断された登録顔画像を顔認識カメラ２の顔データベースからＷｅｂサービス部３２を経由して取り出して、図１１に示す類似顔提示画面ＤＩＰ３を携帯端末６の操作表示部５４に表示させる。
顔認識情報操作アプリケーション５８は、アラーム通知ステータスがＯＮになったことを検知すると、照合顔画像を顔認識カメラ２の顔認識処理部３０からＷｅｂサービス部３２を経由して取り出すと共に、該照合顔画像と一致していると判断された登録顔画像を顔認識カメラ２の顔データベースからＷｅｂサービス部３２を経由して取り出して、図１１に示す類似顔提示画面ＤＩＰ３を携帯端末６の操作表示部５４に表示させる。
【0051】
類似顔提示画面ＤＩＰ３は、ＩＤ表示部ＳＩＤ３、登録顔画像表示部ＳＦＩ３、照合顔画像表示部ＳＦＩ４、発見時間表示部ＳＴ２、ニックネーム表示部ＳＮＮ、年齢表示部ＳＡＧ２、性別表示部ＳＳＸ２、スコア表示部ＳＳＣ、ＯＫボタンＢＯＫ及びＮＧボタンＢＮＧを有している。ＩＤ表示部ＳＩＤ２は、顔データベースにおいて登録顔画像に対応付けられたＩＤを表示する。登録顔画像表示部ＳＦＩ３は、顔データベースに保存された登録顔画像を表示する。照合顔画像表示部ＳＦＩ４は、登録顔画像と一致していると判断された照合顔画像を表示する。発見時間表示部ＳＴ２は、顔データベースにおいて登録顔画像に対応付けられた発見時間を表示する。ニックネーム表示部ＳＮＮは、顔データベースにおいて登録顔画像に対応付けられたニックネームを表示する。年齢表示部ＳＡＧ２は、顔データベースにおいて登録顔画像に対応付けられた推定年齢を表示する。性別表示部ＳＳＸ２は、顔データベースにおいて登録顔画像に対応付けられた推定性別を表示する。スコア表示部ＳＳＣは、顔認識カメラ２から受信した、登録顔画像と照合顔画像との一致度を表示する。
【0052】
管理者は、類似顔提示画面ＤＩＰ３に表示された登録顔画像表示部ＳＦＩ３における登録顔画像と、照合顔画像表示部ＳＦＩ４における照合顔画像とを見比べて、同一人物であると判断した場合はＯＫボタンＢＯＫを、同一人物ではない判断した場合はＮＧボタンＢＮＧを押下する。管理者がＯＫボタンＢＯＫを押下した場合、顔認識情報操作アプリケーション５８は、顔データベースに登録済みの人物と同一人物を発見したことを顔認識カメラ２へ通知する。一方、管理者がＮＧボタンＢＮＧを押下した場合、顔認識情報操作アプリケーション５８は、顔データベースに登録済みの人物とは異なる人物であったことを顔認識カメラ２へ通知する。この場合顔認識カメラ２は、照合顔画像とは異なる人物であると判定された登録顔画像における推定年齢や推定性別等に基づき、以後の顔照合処理においては同一人物と誤って判定しないようにする。
【0053】
［１－１１．効果等］
以上の構成において顔認識システム１は、顔認識カメラ２において、記憶部６２に記憶している複数の登録顔画像を参照し、人物の顔が撮像された撮像画像から抽出した照合顔画像と対比して登録顔画像毎に一致率を算定し、登録顔画像と、該登録顔画像に対応する一致率とを出力し、照合顔画像との一致率が所定閾値以上の登録顔画像が複数ある場合に、照合顔画像と、一致率が所定閾値以上の複数の登録顔画像とを顔認識サーバ４に送信し、顔認識サーバ４において、顔認識カメラ２から受信した複数の登録顔画像を参照し、顔認識カメラ２から受信した照合顔画像と対比して登録顔画像毎に一致率を算定し、照合顔画像との一致率が所定閾値以上の１つの登録顔画像がある場合に、該登録顔画像を示すデータ送信順番を顔認識カメラ２に返信するようにした。
以上の構成において顔認識システム１は、顔認識カメラ２において、記憶部６２に記憶している複数の登録顔画像を参照し、人物の顔が撮像された撮像画像から抽出した照合顔画像と対比して登録顔画像毎に一致率を算定し、登録顔画像と、該登録顔画像に対応する一致率とを出力し、照合顔画像との一致率が所定閾値以上の登録顔画像が複数ある場合に、照合顔画像と、一致率が所定閾値以上の複数の登録顔画像とを顔認識サーバ４に送信し、顔認識サーバ４において、顔認識カメラ２から受信した複数の登録顔画像を参照し、顔認識カメラ２から受信した照合顔画像と対比して登録顔画像毎に一致率を算定し、照合顔画像との一致率が所定閾値以上の１つの登録顔画像がある場合に、該登録顔画像を示すデータ送信順番を顔認識カメラ２に返信するようにした。
【0054】
すなわち顔認識システム１は、顔識別能力は相対的に低いが処理速度の速い顔認識ソフトウェアである顔認識処理部３０が搭載された顔認識カメラ２と、顔識別能力は相対的に高いが処理速度の遅い顔認識ソフトウェアである顔認識処理部４６が搭載されネットワークを介し顔認識カメラ２に接続された顔認識サーバ４とを設け、顔認識カメラ２の顔データベースに登録されている登録顔画像の量が多く、照合顔画像と一致する登録顔画像を顔認識カメラ２の顔認識処理部３０の顔識別能力では１枚に絞り込めなかった場合、複数の候補の登録顔画像を顔認識サーバ４に送信し、顔認識処理部４６により照合させるようにした。
【0055】
このため顔認識システム１は、顔データベースに登録されている登録顔画像の量が少ない場合は、照合顔画像と一致する登録顔画像を顔認識カメラ２単体で顔照合処理により１枚に絞り込みアラーム通知ステータスを更新して照合通知を行うことができる。一方、顔認識システム１は、顔データベースに登録されている登録顔画像の量が増加してきて、照合顔画像と一致する登録顔画像を顔認識カメラ２単体では識別能力が不足し１枚に絞り込めない場合は、顔認識カメラ２よりも顔認識能力の高い顔認識サーバ４で顔照合処理により１枚に絞り込み、顔認識カメラ２において照合通知を行うことができる。
【0056】
これにより顔認識システム１は、顔データベースに登録されている登録顔画像の量が少ない場合は、顔認識カメラ２単体で顔認識処理を完結できるため、ネットワークに負荷をかけずに顔認識カメラ２を増設可能になり、また顔データベースの規模に合わせて、システム性能と識別性能とを維持しながらシステムを拡張できる。
【0057】
また顔認識システム１は、顔認識サーバ４に接続される顔認識カメラ２の台数が増えても、従来と比較してネットワークのトラフィックを大幅に削減し、顔データベース内の登録顔画像の量の増加に伴う識別精度の劣化を押さえつつ、顔認識システム１全体として、撮像から照合通知までの処理時間を大幅に短縮できる。
【0058】
かくして顔認識システム１は、処理時間や認識精度を低下させることなく、シームレスにシステムを拡張していくことができる。
【0059】
また顔認識システム１は、顔認識カメラ２で照合するデータ量を少なくできるため、顔認識カメラ２のＣＰＵ２１の性能が低くても、実用上問題なく運用することができる。これにより顔認識システム１は、顔認識カメラ２のハードウェアのコストを抑えることができ、結果的に、コストを抑えつつシステム全体の導入を開始できる。
【0060】
また顔認識システム１は、撮像画像に顔検出処理が行われ照合対象の被写体の顔が切り出された照合顔画像と、類似候補としてあがった複数の人物の顔画像である複数の登録顔画像とを顔認識カメラ２から顔認識サーバ４に送信し、顔認識サーバ４において、顔認識カメラ２から受信した照合顔画像と登録顔画像とに基づき顔照合処理を行うようにした。このため顔認識システム１は、顔照合処理と、顔データベースの中から照合顔画像と類似している登録顔画像をある程度まで絞り込む顔照合処理とを顔認識サーバ４において行わなくても良くできる。これにより顔認識システム１は、顔認識サーバ４において撮像画像に顔検出処理を行って照合顔画像を抽出してから、該照合顔画像と全ての登録顔画像とを高精度で顔照合処理する場合と比較して、顔認識サーバ４において顔検出処理にかかる時間を省くことができると共に顔照合処理にかかる時間を短縮させることができ、高精度な顔認識処理による判定結果を可能な限り短時間で顔認識サーバ４から顔認識カメラ２へ返信することができる。
【0061】
また顔認識システム１は、一致したと判定した登録顔画像を示すデータ送信順番を判定結果として顔認識サーバ４から顔認識カメラ２へ返信するようにした。これにより顔認識システム１は、登録顔画像データそのものを判定結果として顔認識サーバ４から顔認識カメラ２へ返信する場合と比較して、トラフィックを削減し、システム全体のパフォーマンスを向上させることができる。
【0062】
以上の構成によれば顔認識システム１は、顔認識カメラ２と、顔認識サーバ４とからなる顔認識システム１において、顔認識カメラ２は、人物の顔が撮像された撮像データを取得する取得部６０と、複数の顔画像データを記憶している記憶部６２と、顔画像データを参照し、撮像データと対比して顔画像データ毎に一致率を算定し、顔画像データと、該顔画像データに対応する一致率とを出力する算定部６４と、撮像データとの一致率が所定閾値以上の顔画像データが複数ある場合に、撮像データと、一致率が所定閾値以上の複数の顔画像データを示す照合対象データとを顔認識サーバ４に送信する送信部６６とを設け、顔認識サーバ４は、顔認識カメラ２から受信した照合対象データに基づく複数の顔画像データを参照し、顔認識カメラ２から受信した撮像データと対比して顔画像データ毎に一致率を算定し、撮像データとの一致率が所定閾値以上の１つの顔画像データである判定済顔画像データがある場合に、該判定済顔画像データを示すデータであるデータ送信順番を顔認識カメラ２に返信するＣＰＵ４１及び通信部４３を設けるようにした。
【0063】
これにより顔認識システム１は、顔データベースに登録されている登録顔画像の量が少ない場合は、顔認識カメラ２単体で顔認識処理を完結できると共に、顔データベースに登録されている登録顔画像の量が増加してきて、照合顔画像と一致する登録顔画像を顔認識カメラ２単体では識別能力が不足し１枚に絞り込めない場合は、顔認識カメラ２よりも顔認識能力の高い顔認識サーバ４で顔照合処理により１枚に絞り込むことができる。
【0064】
［２．第２の実施の形態］
［２－１．顔認識システムの構成］
図１に示すように、第２の実施の形態による顔認識システム１０１は、第１の実施の形態による顔認識システム１と比較して、顔認識カメラ２及び顔認識サーバ４に代わる顔認識カメラ１０２及び顔認識サーバ１０４を有する点において相違するものの、他の点については同様に構成されている。
［２－１．顔認識システムの構成］
図１に示すように、第２の実施の形態による顔認識システム１０１は、第１の実施の形態による顔認識システム１と比較して、顔認識カメラ２及び顔認識サーバ４に代わる顔認識カメラ１０２及び顔認識サーバ１０４を有する点において相違するものの、他の点については同様に構成されている。
【0065】
［２－２．顔認識カメラの構成］
図２に示すように、第２の実施の形態による顔認識カメラ１０２は、第１の実施の形態による顔認識カメラ２と比較して、処理装置２０のＣＰＵ２１に代わる処理装置１２０のＣＰＵ１２１を有する点において相違するものの、他の点については同様に構成されている。
図２に示すように、第２の実施の形態による顔認識カメラ１０２は、第１の実施の形態による顔認識カメラ２と比較して、処理装置２０のＣＰＵ２１に代わる処理装置１２０のＣＰＵ１２１を有する点において相違するものの、他の点については同様に構成されている。
【0066】
［２－３．顔認識サーバの構成］
図３に示すように、第２の実施の形態による顔認識サーバ１０４は、第１の実施の形態による顔認識サーバ４と比較して、処理装置４０のＣＰＵ４１に代わる処理装置１４０のＣＰＵ１４１を有する点において相違するものの、他の点については同様に構成されている。また顔認識サーバ１０４は、起動時において、顔認識カメラ１０２のＳＳＤ２３に記憶された顔データベースを顔認識カメラ１０２から取得してメモリ４２に記憶することにより、顔認識サーバ１０４が保持している顔データベースを、顔認識カメラ１０２が保持している顔データベースと同期を取る。
図３に示すように、第２の実施の形態による顔認識サーバ１０４は、第１の実施の形態による顔認識サーバ４と比較して、処理装置４０のＣＰＵ４１に代わる処理装置１４０のＣＰＵ１４１を有する点において相違するものの、他の点については同様に構成されている。また顔認識サーバ１０４は、起動時において、顔認識カメラ１０２のＳＳＤ２３に記憶された顔データベースを顔認識カメラ１０２から取得してメモリ４２に記憶することにより、顔認識サーバ１０４が保持している顔データベースを、顔認識カメラ１０２が保持している顔データベースと同期を取る。
【0067】
［２－４．顔認識システムによる顔認識処理手順］
次に顔認識システム１０１による顔認識処理手順ＲＴ１０２について、図７と対応するステップに同一符号を付した図１２のシーケンスチャートを用いて説明する。電源が投入されるとステップＳＰ１３１において顔認識サーバ１０４のＣＰＵ１４１は、顔認識カメラ１０２のＳＳＤ２３に記憶された顔データベースを顔認識カメラ１０２から取得する要求である顔データベース取得要求を顔認識カメラ１０２へ送信する。
次に顔認識システム１０１による顔認識処理手順ＲＴ１０２について、図７と対応するステップに同一符号を付した図１２のシーケンスチャートを用いて説明する。電源が投入されるとステップＳＰ１３１において顔認識サーバ１０４のＣＰＵ１４１は、顔認識カメラ１０２のＳＳＤ２３に記憶された顔データベースを顔認識カメラ１０２から取得する要求である顔データベース取得要求を顔認識カメラ１０２へ送信する。
【0068】
顔データベース取得要求を顔認識サーバ１０４から受信すると、ステップＳＰ１３２において顔認識カメラ１０２のＣＰＵ１２１は、ＳＳＤ２３から顔データベースを読み出して顔認識サーバ１０４へ送信する。
【0069】
顔データベースを顔認識カメラ１０２から受信すると、ステップＳＰ１３３において顔認識サーバ１０４のＣＰＵ１４１は、該顔データベースをメモリ４２に記憶することにより、顔認識サーバ１０４が現在保持している顔データベースを、顔認識カメラ１０２が現在保持している顔データベースと同期を取る。
【0070】
続いてステップＳＰ１２１において顔認識カメラ１０２のＣＰＵ１２１は、一致度が一定以上の顔候補を登録顔画像中で複数発見した場合、上述した判定依頼を通信部２４により顔認識サーバ１０４へ送信する。ここで顔認識処理部３０は、顔照合処理において１人に絞り込めずに例えば３人の顔候補にまで絞り込めた場合、これら３人（例えば顔Ａ、顔Ｂ及び顔Ｃ）の登録顔画像を示す３つの照合対象データとしてのＩＤと、これら登録顔画像と類似であると判定した、１枚の顔Ｓの照合顔画像を示す照合顔画像データを暗号化したデータとを、判定依頼として顔認識サーバ１０４へ送信する。
【0071】
顔認識サーバ１０４のＣＰＵ１４１は、顔候補の全ての登録顔画像のＩＤと暗号化された１枚の照合顔画像データとを判定依頼として顔認識カメラ１０２から受信すると、ステップＳＰ１３４において、受信した複数のＩＤに対応した複数の登録顔画像をメモリ４２の顔データベースから読み出し、ステップＳＰ１２２へ移る。ステップＳＰ１２２においてＣＰＵ１４１は、顔認識処理部４６により、照合顔画像を復号化し、顔データベースから読み出した複数の登録顔画像と１枚の照合顔画像との顔照合処理を行い、ステップＳＰ２３へ移る。
【0072】
ステップＳＰ２３においてＣＰＵ１４１は、一致度が最も高い１つの登録顔画像を発見したか否かを顔認識処理部４６により判定する。ここで肯定結果が得られると、このときＣＰＵ１４１はステップＳＰ１２４へ移る。ステップＳＰ１２４においてＣＰＵ１４１は、顔認識処理部４６により、例えば顔Ａが顔Ｓと一致したと判定したとし、顔Ａの登録顔画像データを判定済顔画像データとする。このときＣＰＵ１４１は、顔Ａを示すＩＤを判定結果として顔認識カメラ１０２へ送信する。
【0073】
一方ステップＳＰ２３において否定結果が得られると、このときＣＰＵ１４１はステップＳＰ２５へ移る。ステップＳＰ２５においてＣＰＵ１４１は、一致した顔が存在しなかったことを示す判定結果を通信部４３により顔認識カメラ１０２へ送信する。
【0074】
このように顔認識システム１０１は、顔認識カメラ１０２と顔認識サーバ１０４とで顔データベースの同期を予め取り、顔候補である複数の登録顔画像のＩＤを判定依頼として顔認識カメラ１０２から顔認識サーバ１０４へ送信するようにした。これにより顔認識システム１０１は、顔候補である複数の登録顔画像データそのものを判定依頼として顔認識カメラ１０２から顔認識サーバ１０４へ送信する場合と比較して、トラフィックを削減し、システム全体のパフォーマンスを向上させることができる。これは、顔候補である登録顔画像の枚数が多い程、効果を顕著に奏する。
【0075】
その他の点においても、第２の実施の形態による顔認識システム１０１は、第１の実施の形態による顔認識システム１と同様の作用効果を奏し得る。
【0076】
［３．他の実施の形態］
なお上述した第１の実施の形態においては、顔認識処理手順ＲＴ２のステップＳＰ２４において、一致した顔を示すデータ送信順番を判定結果として顔認識サーバ４から顔認識カメラ２へ送信する場合について述べた。本発明はこれに限らず、一致した顔を示す画像データそのものを顔認識サーバ４から顔認識カメラ２へ送信しても良い。
なお上述した第１の実施の形態においては、顔認識処理手順ＲＴ２のステップＳＰ２４において、一致した顔を示すデータ送信順番を判定結果として顔認識サーバ４から顔認識カメラ２へ送信する場合について述べた。本発明はこれに限らず、一致した顔を示す画像データそのものを顔認識サーバ４から顔認識カメラ２へ送信しても良い。
【0077】
また上述した実施の形態においては、顔認識サーバ４を顔認識カメラ２と同一店舗に設置する場合について述べた。本発明はこれに限らず、顔認識サーバ４を顔認識カメラ２と同一店舗以外に設置しても良い。第２の実施の形態においても同様である。
【0078】
さらに、例えば顔認識カメラ２が複数個存在する場合は顔認識カメラ２毎に固有のカメラ番号を全身画像に付加して通過履歴情報に保存したり、全身画像に基づき推定した身長を該全身画像に付加して通過履歴情報に保存したりする等、他の種々の情報を通過履歴情報に付加して保存し、後で検索を容易にしても良い。
【0079】
さらに本発明は、上述した各実施の形態及び他の実施の形態に限定されるものではない。すなわち本発明は、上述した各実施の形態と上述した他の実施の形態の一部又は全部を任意に組み合わせた実施の形態や、一部を抽出した実施の形態にもその適用範囲が及ぶものである。
【0080】
さらに上述した実施の第１の形態においては、情報処理装置としての顔認識カメラ２と、サーバとしての顔認識サーバ４とによって、顔認識システムとしての顔認識システム１を構成する場合について述べた。このうち情報処理装置は、取得部としての取得部６０と、記憶部としての記憶部６２と、算定部としての算定部６４と、送信部としての送信部６６とによって構成した。またこのうちサーバは、制御部としてのＣＰＵ４１によって構成した。本発明はこれに限らず、その他種々の構成でなる情報処理装置と、サーバとによって、顔認識システムを構成しても良い。この場合、情報処理装置は、その他種々の構成でなる取得部と、記憶部と、算定部と、送信部とによって構成しても良く、サーバは、その他種々の構成でなる制御部によって構成しても良い。
【産業上の利用可能性】
【0081】
本発明は、撮像データを顔認識する種々のシステムでも利用できる。
【符号の説明】
【0082】
１、１０１……顔認識システム、２、１０２……顔認識カメラ、４、１０４……顔認識サーバ、６……携帯端末、８……ルータ、１０……Ｗｉ－Ｆｉアクセスポイント、２０、１２０……処理装置、２１、１２１……ＣＰＵ、２２……メモリ、２３……ＳＳＤ、２４……通信部、２６……ＯＳ、２８……カメラ撮像部、３０……顔認識処理部、３２……Ｗｅｂサービス部、４０……処理装置、４１……ＣＰＵ、４２……メモリ、４３……通信部、４４……ＯＳ、４６……顔認識処理部、５０……処理装置、５１……ＣＰＵ、５２……メモリ、５３……通信部、５４……操作表示部、５６……ＯＳ、５８……顔認識情報操作アプリケーション、６０……取得部、６２……記憶部、６４……算定部、６６……送信部、ＤＩＰ１……通過履歴情報表示画面、ＤＩＰ２……顔データベース登録画面、ＤＩＰ３……類似顔提示画面、ＳＦＩ１……顔画像表示部、ＳＩＤ１……ＩＤ表示部、ＳＴ１……発見時間表示部、ＳＩＤ２……ＩＤ表示部、ＩＮＮ……ニックネーム入力部、ＳＦＩ２……顔画像表示部、ＳＡＧ１……年齢表示部、ＳＳＸ１……性別表示部、ＩＣＭ……コメント入力部、ＢＲＧ……登録ボタン、ＳＩＤ３……ＩＤ表示部、ＳＦＩ３……登録顔画像表示部、ＳＦＩ４……照合顔画像表示部、ＳＴ２……発見時間表示部、ＳＮＮ……ニックネーム表示部、ＳＡＧ２……年齢表示部、ＳＳＸ２……性別表示部、ＳＳＣ……スコア表示部、ＢＯＫ……ＯＫボタン、ＢＮＧ……ＮＧボタン。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】