特許 7575770 顔検知方法、顔検知プログラムおよびサーバ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-22

(45)【発行日】2024-10-30

(54)【発明の名称】顔検知方法、顔検知プログラムおよびサーバ

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241023BHJP

   H04N 7/18 20060101ALI20241023BHJP

   G08B 25/00 20060101ALI20241023BHJP

【ＦＩ】

G06T7/00 660A

H04N7/18 D

G08B25/00 510M

【請求項の数】 13

(21)【出願番号】P 2020043111

(22)【出願日】2020-03-12

(65)【公開番号】P2021144506

(43)【公開日】2021-09-24

【審査請求日】2023-03-02

(73)【特許権者】

【識別番号】320008672

【氏名又は名称】ｉ－ＰＲＯ株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】神尾 崇

(72)【発明者】

【氏名】宮田 英作

【審査官】▲柳▼谷 侑

(56)【参考文献】

【文献】特開２００６－０１１７２８（ＪＰ，Ａ）

【文献】特開２０１９－２１５８９９（ＪＰ，Ａ）

【文献】特開２０１３－００５３３６（ＪＰ，Ａ）

【文献】国際公開第２０１４／１３２８４１（ＷＯ，Ａ１）

【文献】特開２００４－３５５３７７（ＪＰ，Ａ）

【文献】特開２０１１－０６００５８（ＪＰ，Ａ）

【文献】LI Yingjie et al.，Towards suspicious behavior discovery in video surveillance system，[online]，2009年02月02日，https://ieeexplore.ieee.org/document/4771993/

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

カメラとサーバとが互いに通信可能に接続されて実行される顔検知方法であって、
前記カメラにより撮像された撮像映像を取得し、
１以上の人物の顔を検知するための第１の検知条件を取得し、
前記撮像映像に基づいて、１以上の人物の顔を検知し、
検知された前記顔の領域を切り出した１以上の顔切出し画像を生成し、
前記顔切出し画像の人物と同一または類似する人物が前記第１の検知条件を満たす検知対象でないと判定した場合、所定の検知期間内に前記顔切出し画像の人物が検知された検知回数をカウントし、
前記検知回数が所定回数以上であると判定した場合、前記人物のカテゴリをお得意様と判定し、
前記人物に対応する前記顔切出し画像と前記検知回数と前記カテゴリとを対応付けて出力する、
顔検知方法。

【請求項2】

前記１以上の人物の顔を検知するための第１の検知条件を取得し、
前記顔切出し画像の人物が前記第１の検知条件を満たす検知対象であると判定した場合、前記所定の検知期間内に前記顔切出し画像の人物の前記検知回数をカウントし、
前記検知回数が所定回数以上であると判定した場合、前記人物の前記カテゴリを不審者と判定する、
請求項１に記載の顔検知方法。

【請求項3】

前記第１の検知条件は、前記不審者のカテゴリを有する人物を検知するための検知条件である、
請求項２に記載の顔検知方法。

【請求項4】

ユーザにより予め登録された複数のブラックリスト顔画像のそれぞれに、前記不審者のカテゴリを有する人物の前記顔切出し画像を前記ブラックリスト顔画像として登録する、
請求項２に記載の顔検知方法。

【請求項5】

前記複数のブラックリスト顔画像のそれぞれと前記顔切出し画像とを照合して、前記顔切出し画像の人物と同一または類似するブラックリスト顔画像が登録されているか否かを判定し、
前記ブラックリスト顔画像と同一または類似する前記顔切出し画像があると判定した場合、アラート通知画面を生成して出力する、
請求項４に記載の顔検知方法。

【請求項6】

カメラとサーバとが互いに通信可能に接続されて実行される顔検知方法であって、
前記カメラにより撮像された撮像映像を取得し、
１以上の人物の顔を検知するための第１の検知条件を取得し、
前記撮像映像に基づいて、１以上の人物の顔を検知し、
検知された前記顔の領域を切り出した１以上の顔切出し画像を生成し、
前記顔切出し画像の人物と同一または類似する人物が前記第１の検知条件を満たす検知対象であると判定した場合、所定の検知期間内に前記顔切出し画像の人物が検知された検知回数をカウントし、
前記検知回数が所定回数以上であると判定した場合、前記人物のカテゴリをお得意様と判定し、
前記人物に対応する前記顔切出し画像と前記検知回数と前記カテゴリとを対応付けて出力する、
顔検知方法。

【請求項7】

前記第１の検知条件は、前記お得意様のカテゴリを有する人物を検知するための検知条件である、
請求項６に記載の顔検知方法。

【請求項8】

ユーザにより予め登録された複数の重要人物顔画像のそれぞれに、前記お得意様のカテゴリを有する人物の前記顔切出し画像を前記重要人物顔画像として登録する、
請求項１または６に記載の顔検知方法。

【請求項9】

前記複数の重要人物顔画像のそれぞれと前記顔切出し画像とを照合して、前記顔切出し画像と同一または類似する重要人物顔画像が登録されているか否かを判定し、
前記重要人物顔画像と同一または類似する前記顔切出し画像があると判定した場合、アラート通知画面を生成して出力する、
請求項８に記載の顔検知方法。

【請求項10】

ユーザにより予め登録された複数の非検知顔画像のそれぞれと前記顔切出し画像とを照合して、前記顔切出し画像と同一または類似する非検知顔画像が登録されているか否かを判定し、
前記非検知顔画像と同一または類似する前記顔切出し画像があると判定した場合、アラート通知画面の生成を省略する、
請求項１または６に記載の顔検知方法。

【請求項11】

カメラとサーバとが互いに通信可能に接続されて実行される顔検知方法であって、
前記カメラにより撮像された撮像映像を取得し、
前記撮像映像に基づいて、１以上の人物の顔を検知し、
検知された前記顔の領域を切り出した１以上の顔切出し画像を生成し、
所定の検知期間内に前記顔切出し画像の人物と同一または類似する人物が検知された検知回数をカウントし、
前記検知回数に基づいて、前記人物のカテゴリを判定し、
前記人物に対応する前記顔切出し画像と前記検知回数と前記カテゴリとを対応付けて出力し、
前記顔切出し画像の人物が前記検知期間内に再検知された場合、前記顔切出し画像の人物の検知期間を、前記再検知されたタイミングから前記検知期間だけ延長する、
顔検知方法。

【請求項12】

カメラとの間で通信可能に接続されたサーバにより実行される顔検知プログラムであって、
前記カメラにより撮像された撮像映像を取得するステップと、
１以上の人物の顔を検知するための第１の検知条件を取得するステップと、
前記撮像映像に基づいて、１以上の人物の顔を検知するステップと、
検知された前記顔の領域を切り出した１以上の顔切出し画像を生成するステップと、
前記顔切出し画像の人物と同一または類似する人物が前記第１の検知条件を満たす検知対象でないと判定した場合、所定の検知期間内に前記顔切出し画像の人物が検知された検知回数をカウントするステップと、
前記検知回数が所定回数以上であると判定した場合、前記人物のカテゴリをお得意様と判定するステップと、
前記人物に対応する前記顔切出し画像と前記検知回数と前記カテゴリとを対応付けて出力するステップと、
を実行するための、
顔検知プログラム。

【請求項13】

カメラとの間で通信可能に接続されたサーバであって、
前記カメラにより撮像された撮像映像と、１以上の人物の顔を検知するための第１の検知条件とを取得する取得部と、
前記取得部により取得された前記撮像映像に基づいて、１以上の人物の顔を検知し、検知された前記顔の領域を切り出した１以上の顔切出し画像を生成して、前記顔切出し画像の人物と同一または類似する人物が前記第１の検知条件を満たす検知対象でないと判定した場合、所定の検知期間内に前記顔切出し画像の人物が検知された検知回数をカウントし、前記検知回数が所定回数以上であると判定した場合、前記人物のカテゴリをお得意様と判定するプロセッサと、
前記人物に対応する前記顔切出し画像と前記検知回数と前記カテゴリとを対応付けて出力する出力部と、を備える、
サーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、顔検知方法、顔検知プログラムおよびサーバに関する。

【背景技術】

【0002】

特許文献１には、建物の複数のゾーンの各々を撮像するカメラから顔画像データを受信し、顔画像データの人物の立ち入りの許可／不許可を判定する情報処理装置が開示されている。この情報処理装置では、複数のカメラの各々のカメラ識別情報と複数のゾーンとを紐付けた第１のテーブルと、登録顔画像データと登録顔画像データの人物の立ち入りが許可されたゾーンとを紐付けた第２のテーブルと、顔画像データの人物を撮像したカメラのカメラ識別情報に基づいて、第１のテーブルを参照し、顔画像データの人物が撮像された撮影ゾーンを判定し、判定された撮影ゾーンに基づいて、第２のテーブルを参照し、顔画像データの人物の立ち入りの許可／不許可を判定する。特許文献１によれば、カメラにより撮像された顔画像データの人物の立ち入りの許可／不許可を判定し、不許可の人物によるゾーンへの立ち入りをユーザに報知できる。

【先行技術文献】

【特許文献】

【0003】

【文献】特願２０１９－７５９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１では、立ち入りが許可された人物を予め登録しなければならないため、例えば店舗、病院、警察署、学校等の不特定多数の人物が立ち入りするような建物に入る人物の種別（カテゴリ）の判定に適用することは困難であった。

【0005】

本開示は、上述した従来の事情に鑑みて案出され、撮像映像中で注目するべき人物の顔画像を提示し、人物を対象とした監視業務を効率的に支援する顔検知方法、顔検知プログラムおよびサーバを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示は、カメラとサーバとが互いに通信可能に接続されて実行される顔検知方法であって、前記カメラにより撮像された撮像映像を取得し、１以上の人物の顔を検知するための第１の検知条件を取得し、前記撮像映像に基づいて、１以上の人物の顔を検知し、検知された前記顔の領域を切り出した１以上の顔切出し画像を生成し、前記顔切出し画像の人物と同一または類似する人物が前記第１の検知条件を満たす検知対象でないと判定した場合、所定の検知期間内に前記顔切出し画像の人物が検知された検知回数をカウントし、前記検知回数が所定回数以上であると判定した場合、前記人物のカテゴリをお得意様と判定し、前記人物に対応する前記顔切出し画像と前記検知回数と前記カテゴリとを対応付けて出力する、顔検知方法を提供する。
また、本開示は、カメラとサーバとが互いに通信可能に接続されて実行される顔検知方法であって、前記カメラにより撮像された撮像映像を取得し、１以上の人物の顔を検知するための第１の検知条件を取得し、前記撮像映像に基づいて、１以上の人物の顔を検知し、検知された前記顔の領域を切り出した１以上の顔切出し画像を生成し、前記顔切出し画像の人物と同一または類似する人物が前記第１の検知条件を満たす検知対象であると判定した場合、所定の検知期間内に前記顔切出し画像の人物が検知された検知回数をカウントし、前記検知回数が所定回数以上であると判定した場合、前記人物のカテゴリをお得意様と判定し、前記人物に対応する前記顔切出し画像と前記検知回数と前記カテゴリとを対応付けて出力する、顔検知方法を提供する。
また、本開示は、カメラとサーバとが互いに通信可能に接続されて実行される顔検知方法であって、前記カメラにより撮像された撮像映像を取得し、前記撮像映像に基づいて、１以上の人物の顔を検知し、検知された前記顔の領域を切り出した１以上の顔切出し画像を生成し、所定の検知期間内に前記顔切出し画像の人物と同一または類似する人物が検知された検知回数をカウントし、前記検知回数に基づいて、前記人物のカテゴリを判定し、前記人物に対応する前記顔切出し画像と前記検知回数と前記カテゴリとを対応付けて出力し、前記顔切出し画像の人物が前記検知期間内に再検知された場合、前記顔切出し画像の人物の検知期間を、前記再検知されたタイミングから前記検知期間だけ延長する、顔検知方法を提供する。

【0007】

また、本開示は、カメラとの間で通信可能に接続されたサーバにより実行される顔検知プログラムであって、前記カメラにより撮像された撮像映像を取得するステップと、１以上の人物の顔を検知するための第１の検知条件を取得するステップと、前記撮像映像に基づいて、１以上の人物の顔を検知するステップと、検知された前記顔の領域を切り出した１以上の顔切出し画像を生成するステップと、前記顔切出し画像の人物と同一または類似する人物が前記第１の検知条件を満たす検知対象でないと判定した場合、所定の検知期間内に前記顔切出し画像の人物が検知された検知回数をカウントするステップと、前記検知回数が所定回数以上であると判定した場合、前記人物のカテゴリをお得意様と判定するステップと、前記人物に対応する前記顔切出し画像と前記検知回数と前記カテゴリとを対応付けて出力するステップと、を実行するための、顔検知プログラムを提供する。

【0008】

また、本開示は、カメラとの間で通信可能に接続されたサーバであって、前記カメラにより撮像された撮像映像と、１以上の人物の顔を検知するための第１の検知条件とを取得する取得部と、前記取得部により取得された前記撮像映像に基づいて、１以上の人物の顔を検知し、検知された前記顔の領域を切り出した１以上の顔切出し画像を生成して、前記顔切出し画像の人物と同一または類似する人物が前記第１の検知条件を満たす検知対象でないと判定した場合、所定の検知期間内に前記顔切出し画像の人物が検知された検知回数をカウントし、前記検知回数が所定回数以上であると判定した場合、前記人物のカテゴリをお得意様と判定するプロセッサと、前記人物に対応する前記顔切出し画像と前記検知回数と前記カテゴリとを対応付けて出力する出力部と、を備える、サーバを提供する。

【発明の効果】

【0009】

本開示によれば、撮像映像中で注目するべき人物の顔画像を提示し、人物を対象とした監視業務を効率的に支援できる。

【図面の簡単な説明】

【0010】

【図1】実施の形態に係る顔検知システムのユースケース（屋内）を示す図

【図2】実施の形態に係る顔検知システムのユースケース（屋外）を示す図

【図3】実施の形態に係る顔検知システムの内部構成例を示す図

【図4】検知条件の一例を示す図

【図5】実施の形態に係る顔検知システムの動作手順例を示すシーケンス図

【図6】検索結果（お得意様）の一例を示す図

【図7】検索結果（不審者）の一例を示す図

【図8】アラート通知画面の一例

【発明を実施するための形態】

【0011】

以下、適宜図面を参照しながら、本開示に係る顔検知方法、顔検知プログラムおよびサーバの構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0012】

図１および図２を参照して、実施の形態に係る顔検知システム１００のユースケース例について説明する。図１は、実施の形態に係る顔検知システム１００のユースケース（屋内）を示す図である。図２は、実施の形態に係る顔検知システム１００のユースケース（屋外）を示す図である。なお、図１および図２では示していないが、実施の形態に係る顔検知システム１００は、屋内または屋外のいずれかにカメラを設置する例に限定されず、屋内および屋外の両方にカメラを設置してもよい。

【0013】

実施の形態に係る顔検知システム１００は、ユーザ（例えば、病院、警察署、学校等の施設の職員、警備会社の職員、あるいは管理者等）により予め設定された検知条件に基づいて、１以上のカメラにより撮像された録画映像あるいはライブ映像に映る人物を検知する。顔検知システム１００は、検知された人物の少なくとも顔を含む領域で切り出して生成された顔切出し画像を生成し、この顔切出し画像に対応する人物が所定の検知期間で検知された回数をカウントし、検知された人物の顔切出し画像と検知回数とをユーザに提示するシステムである。

【0014】

実施の形態に係る顔検知システム１００は、カメラＣ１と、端末装置Ｐ１と、サーバＳ１と、登録データベースＤＢと、を含んで構成される。なお、カメラＣ１は、少なくとも１台以上であればよい。また、登録データベースＤＢは、必須の構成でなく、サーバＳ１の構成に含まれてもよいし、端末装置Ｐ１の構成に含まれてもよい。

【0015】

複数のカメラＣ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，…のそれぞれは、屋内あるいは屋外に画角固定に設置され、サーバＳ１との間でデータ通信可能に接続される。複数のカメラＣ１，…のそれぞれは、撮像された複数の撮像画像のそれぞれに画像処理を実行し、複数の撮像画像のそれぞれに映る１以上の人物のそれぞれが同一人物であるか否かを判定する。複数のカメラＣ１，…のそれぞれは、同一人物が撮像されていると判定した複数の撮像画像のそれぞれから、人物ごとのベストショット画像を選定する。複数のカメラＣ１，…のそれぞれは、選定された人物ごとのベストショット画像と、ベストショット画像のメタデータと、自カメラの識別情報（例えば、製造番号、管理番号、識別番号、名称等）とを対応付けてサーバＳ１に送信する。なお、ベストショット画像と対応付けられるカメラの識別情報は、複数のカメラＣ１，…のそれぞれから予めサーバＳ１に送信され、サーバＳ１内のメモリに記憶される。

【0016】

ここでいうベストショット画像は、視認性または認識認証処理精度の観点から、例えば人物が正面を向いている画像、ピンボケしていない画像、人物の目が開いている画像等が選定されることが望ましい。また、ここでいうメタデータは、少なくともベストショット画像が撮像された撮像日時の情報を含むデータである。

【0017】

なお、実施の形態に係る複数のカメラＣ１，…のそれぞれは、ベストショット画像を選定可能なカメラの例を示すが、これに限定されない。複数のカメラＣ１，…のそれぞれは、ベストショット画像を選定可能でなくてよい。さらに、複数のカメラＣ１，…のそれぞれは、撮像された複数の撮像画像のそれぞれをそのままサーバＳ１に送信してもよい。

【0018】

ここで、複数のカメラＣ１，…のユースケースについて説明する。例えば、図１に示すユースケースにおけるカメラＣ１は、店舗内（つまり屋内）に設置され、撮像エリアＡｒ１を撮像する。ここで、撮像エリアＡｒ１は、店舗の入り口から入ってくる人物Ｈ１を撮像可能に設定されている。カメラＣ１は、撮像エリアＡｒ１内を撮像した複数の撮像画像のそれぞれから人物Ｈ１のベストショット画像Ｂｓ１を選定し、サーバＳ１に送信する。

【0019】

また、例えば、図２に示すユースケースにおける複数のカメラＣ２，Ｃ３，Ｃ４，Ｃ５のそれぞれは、施設の周囲（つまり屋外）に設置され、施設の周囲に位置する人物Ｈ２を撮像する。カメラＣ２は、撮像エリアＡｒ２を撮像する。カメラＣ３は、撮像エリアＡｒ３を撮像する。カメラＣ４は、撮像エリアＡｒ４を撮像する。カメラＣ５は、撮像エリアＡｒ５を撮像する。カメラＣ５は、撮像エリアＡｒ５内を撮像した複数の撮像画像のそれぞれから人物Ｈ２のベストショット画像Ｂｓ２を選定し、サーバＳ１に送信する。

【0020】

なお、図１および図２には示していないが、複数のカメラＣ１，…のそれぞれは、屋内および屋外の両方に設置されてよいことは言うまでもない。

【0021】

サーバＳ１は、ネットワークＮＷ１を介して端末装置Ｐ１、登録データベースＤＢ、および複数のカメラＣ１，…との間でデータ通信可能に接続される。なお、カメラの台数は、１台以上であればよい。また、サーバＳ１は、登録データベースＤＢと一体に構成されてもよい。サーバＳ１は、事前に複数のカメラＣ１，…のそれぞれのカメラの識別情報を記録する。

【0022】

サーバＳ１は、複数のカメラＣ１，…のそれぞれから送信されたベストショット画像に対応付けられたカメラの識別情報に基づいて、このベストショット画像に用いる検知条件を取得する。サーバＳ１は、ベストショット画像から人物の顔を検知し、検知された人物の顔の領域を切り出した顔切出し画像を生成する。なお、サーバＳ１は、複数のカメラＣ１，…のそれぞれから複数の撮像画像のそれぞれが送信される場合、複数の撮像画像のそれぞれから人物ごとのベストショット画像を選定し、選定されたベストショット画像から人物の顔を検知し、検知された人物の顔の領域を切り出した顔切出し画像を生成する。

【0023】

サーバＳ１は、生成された顔切出し画像が検知条件を満たすか否か、または顔切出し画像が登録データベースＤＢに登録（格納）された複数の顔画像のそれぞれと同一または類似するか否かを判定する。サーバＳ１は、判定結果に基づいて、顔切出し画像と、この回切出し画像の人物が検知された検知回数とを含む検索結果、または登録データベースＤＢに登録された顔画像と、顔切出し画像とを含むアラート通知画面を生成して、端末装置Ｐ１に送信する。

【0024】

端末装置Ｐ１は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートＰＣ、タブレット端末、スマートフォン等であって、ネットワークＮＷ１を介して登録データベースＤＢおよびサーバＳ１との間で有線あるいは無線通信可能に接続される。なお、ここでいう無線通信は、線ネットワークは、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、４Ｇ（第４世代移動通信システム）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａｄｖａｎｃｅｄ、５Ｇ（第５世代移動通信システム）、Ｗｉ－Ｆｉ（登録商標）、またはＷｉＧｉｇ（Ｗｉｒｅｌｅｓｓ Ｇｉｇａｂｉｔ）等である。

【0025】

端末装置Ｐ１は、ユーザ操作を受け付けるユーザインターフェース（ＵＩ：Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を備え、ユーザにより選択された複数の顔画像のそれぞれを登録データベースＤＢに送信して、登録する。また、端末装置Ｐ１は、ユーザにより入力された検知条件を、ネットワークＮＷ１を介してサーバＳ１に送信する。

【0026】

端末装置Ｐ１は、サーバＳ１から送信された検索結果を取得して、モニタに表示する。なお、検知結果は、１以上の顔切出し画像のサムネイル画像または登録データベースＤＢに登録された顔画像と、サムネイル画像または顔画像の人物のカテゴリの情報とを含む。また、端末装置Ｐ１は、サーバＳ１から登録データベースＤＢに事前に登録された顔画像と類似または同一の人物が検知された旨を示すアラート通知画面を受信すると、このアラート通知画面をモニタに表示する。

【0027】

ネットワークＮＷ１は、無線ネットワークまたは有線ネットワークである。無線ネットワークは、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、４Ｇ（第４世代移動通信システム）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａｄｖａｎｃｅｄ、５Ｇ（第５世代移動通信システム）、Ｗｉ－ｆｉ（登録商標）、またはＷｉＧｉｇ（Ｗｉｒｅｌｅｓｓ Ｇｉｇａｂｉｔ）である。有線ネットワークは、例えばイントラネットまたはインターネットである。

【0028】

登録データベースＤＢは、事前にユーザにより入力された複数の顔画像のそれぞれと、複数の顔画像のそれぞれの人物のカテゴリの情報と、検知回数の情報とを対応付けて登録（格納）する。また、登録データベースＤＢは、サーバＳ１から送信された検知条件を満たす人物の顔切出し画像を登録（格納）する、登録データベースＤＢは、サーバＳ１から登録された顔切出し画像（つまり顔画像）の人物のカテゴリについて変更指令が送信されると、この変更指令に基づく人物のカテゴリ変更処理を実行する。なお、登録データベースＤＢは、サーバＳ１と一体に構成されてもよいし、端末装置Ｐ１と一体に構成されてもよい。

【0029】

図３は、実施の形態に係る顔検知システム１００における端末装置Ｐ１およびサーバＳ１の内部構成例を示す図である。

【0030】

端末装置Ｐ１は、通信部１０と、プロセッサ１１と、メモリ１２と、モニタ１３と、操作部１４と、を含んで構成される。

【0031】

通信部１０は、ネットワークＮＷ１を介して、登録データベースＤＢとサーバＳ１における通信部２０との間でデータ通信可能に接続される。通信部１０は、操作部１４により受け付けられたユーザにより指定された顔画像、または入力された検知条件を含む検索要求（制御信号）をサーバＳ１に送信する。また、通信部１０は、サーバＳ１から検索結果またはアラート通知画面を受信し、プロセッサ１１に入力する。

【0032】

プロセッサ１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成され、メモリ１２と協働して、各種の処理および制御を行う。具体的には、プロセッサ１１はメモリ１２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。

【0033】

プロセッサ１１は、操作部１４により受け付けられたユーザ操作に基づいて、検知条件を含む検索要求（制御信号）を生成する。また、プロセッサ１１は、サーバＳ１から送信された検索結果に含まれる顔切出し画像をサムネイル画像（例えば、図６の検知顔画像ＰＣ１１）に変換し、変換されたサムネイル画像と、サムネイル画像の人物のカテゴリの情報と、サムネイル画像の人物の検知回数とをモニタ１３に出力して表示させる。

【0034】

メモリ１２は、例えばプロセッサ１１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、プロセッサ１１の動作を規定したプログラムおよびデータを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを有する。ＲＡＭには、プロセッサ１１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ１１の動作を規定するプログラムが書き込まれている。

【0035】

モニタ１３は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）等のディスプレイを用いて構成される。モニタ１３は、サーバＳ１から送信された検索結果あるいはアラート通知画面を表示する。

【0036】

操作部１４は、ユーザ操作を受け付けるユーザインターフェースであって、例えばマウス、キーボード、タッチパネル、タッチパッド、ポインティングデバイス等を用いて構成される。操作部１４は、ユーザ操作に基づく信号をプロセッサ１１に出力する。操作部１４は、例えばユーザによる登録データベースＤＢに登録される顔画像に関する入力操作、ユーザによる検知条件に関する入力操作等を受け付ける。

【0037】

次に、サーバＳ１の内部構成について説明する。サーバＳ１は、通信部２０と、プロセッサ２１と、メモリ２２と、を含んで構成される。

【0038】

取得部および出力部の一例としての通信部２０は、端末装置Ｐ１における通信部１０、登録データベースＤＢおよび複数のカメラＣ１，…のそれぞれとの間でデータ通信可能に接続される。通信部２０は、端末装置Ｐ１から送信された検索要求（制御信号）をプロセッサ２１に出力する。通信部２０は、複数のカメラＣ１，…のそれぞれから送信されたベストショット画像をプロセッサ２１に出力する。また、通信部２０は、プロセッサ２１により生成された検索結果あるいはアラート通知画面を端末装置Ｐ１における通信部１０に送信する。

【0039】

プロセッサ２１は、例えばＣＰＵまたはＦＰＧＡを用いて構成され、メモリ２２と協働して、各種の処理および制御を行う。具体的には、プロセッサ２１はメモリ２２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。

【0040】

プロセッサ２１は、複数のカメラＣ１，…のそれぞれから送信されたベストショット画像を受け取ると、ベストショット画像から人物の顔を検知する。プロセッサ２１は、検知された人物の顔の領域を切り出した顔切出し画像を生成するとともに、顔切出し画像の人物の属性（年齢、性別、身長等）を画像解析する。また、プロセッサ２１は、ベストショット画像と対応付けられたカメラの識別情報に基づいて、ベストショット画像を撮像したカメラを特定し、特定されたカメラに設定された検知条件を取得、または複数の検知条件のそれぞれのうち特定されたカメラの識別情報を含む検知条件を検索して取得する。プロセッサ２１は、顔切出し画像の人物が取得された検知条件を満たすか否かを判定する。なお、ここでいう検知条件は、検知条件に含まれる複数の検知項目のそれぞれのうち検知項目「検知期間」および検知項目「回数」以外の検知項目のそれぞれ（図４参照）である。検知項目「検知期間」および検知項目「回数」は、顔切出し画像の人物のカテゴリの判定等に用いられる。

【0041】

プロセッサ２１は、顔切出し画像の人物が検知条件を満たすと判定した場合、登録データベースＤＢに登録された複数の顔画像のそれぞれを参照し、顔切出し画像と登録データベースＤＢに登録された複数の顔画像のそれぞれとを照合する。

【0042】

プロセッサ２１は、登録データベースＤＢに同一または類似する顔画像が登録されていると判定した場合、顔切出し画像の人物の検知回数を取得する。プロセッサ２１は、取得された顔切出し画像の人物の検知回数と、この顔切出し画像の人物が満たす検知条件のカテゴリとに基づいて、この人物のカテゴリを判定する。プロセッサ２１は、登録データベースＤＢに登録されたこの人物の検知回数をインクリメントさせる。プロセッサ２１は、登録データベースＤＢに登録された顔画像と、生成された顔切出し画像と、インクリメント後の検知回数とを含む検索結果を生成して、端末装置Ｐ１に送信し、モニタ１３に出力（表示）させる。

【0043】

なお、プロセッサ２１は、判定されたカテゴリが登録データベースＤＢに登録されたカテゴリと異なる場合、登録データベースＤＢに登録されたこの人物の検知回数をインクリメントさせるとともに、この人物のカテゴリの情報を判定されたカテゴリの情報に変更して登録（記録）させる。

【0044】

なお、プロセッサ２１は、顔切出し画像の人物が所定のカテゴリを満たす場合には、検知条件のカテゴリに基づいて、登録データベースＤＢに顔切出し画像を送信するとともに、検知条件のカテゴリに対応するデータベース（つまり、登録データベースＤＢ、ＶＩＰ（ｖｅｒｙ ｉｍｐｏｒｔａｎｔ ｐｅｒｓｏｎ）リストデータベースＤＢ１（図３参照）またはブラックリストデータベースＤＢ２（図３参照）のいずれか）に顔切出し画像を登録（格納）させる。

【0045】

例えば、プロセッサ２１は、顔切出し画像の人物がお得意様・上顧客を検索するための検知条件であって、かつ検知条件に含まれる検知項目「検知期間」および検知項目「回数」の両方を満たすと判定した場合、登録データベースＤＢにおけるＶＩＰリストデータベースＤＢ１に顔切出し画像を送信して登録（格納）する。また、プロセッサ２１は、顔切出し画像の人物が不審者を検索するための検知条件であって、かつ検知条件に含まれる検知項目「検知期間」および検知項目「回数」の両方を満たすと判定した場合、登録データベースＤＢにおけるブラックリストデータベースＤＢ２に顔切出し画像を送信して登録（格納）する。

【0046】

一方、プロセッサ２１は、登録データベースＤＢに同一または類似する顔画像が登録されていないと判定した場合、この顔切出し画像の人物が満たす検知条件のカテゴリに基づいて、顔切出し画像の人物のカテゴリを判定する。プロセッサ２１は、顔切出し画像と、顔切出し画像の人物のカテゴリとを対応付けて登録データベースＤＢに送信し、登録（格納）させる。また、プロセッサ２１は、登録データベースＤＢに登録された顔画像と、生成された顔切出し画像と、インクリメント後の検知回数とを含む検索結果を生成して、端末装置Ｐ１に送信し、モニタ１３に出力（表示）させる。

【0047】

なお、プロセッサ２１は、顔画像がＶＩＰリストデータベースＤＢ１（図３参照）またはブラックリストデータベースＤＢ２（図３参照）に登録（格納）されている場合には、ＶＩＰリストデータベースＤＢ１またはブラックリストデータベースＤＢ２に登録されている顔画像と、顔切出し画像とを含むアラート通知画面（図８参照）を生成、またはこの人物の検知欄を検知枠（図６、図７参照）で囲った検索結果を生成して、ネットワークＮＷ１を介して端末装置Ｐ１に送信する。

【0048】

メモリ２２は、例えばプロセッサ２１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、プロセッサ２１の動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。ＲＡＭには、プロセッサ２１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ２１の動作を規定するプログラムが書き込まれている。メモリ２２は、複数のカメラＣ１，…のそれぞれが設置されている設置位置の情報と複数のカメラＣ１，…のそれぞれの識別情報とを対応付けて記憶する。

【0049】

メモリ２２は、例えばプロセッサ２１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、プロセッサ２１の動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。ＲＡＭには、プロセッサ２１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ２１の動作を規定するプログラムが書き込まれている。

【0050】

登録データベースＤＢは、サーバＳ１および端末装置Ｐ１との間で有線通信または無線通信可能に接続され、ユーザ操作により事前に登録された複数の顔画像のそれぞれと、サーバＳ１から送信された検知条件を満たす人物の顔切出し画像とを登録（格納）する。登録データベースＤＢは、ＶＩＰリストデータベースＤＢ１と、ブラックリストデータベースＤＢ２と、ホワイトリストデータベースＤＢ３と、を含んで構成される。なお、ＶＩＰリストデータベースＤＢ１、ブラックリストデータベースＤＢ２、およびホワイトリストデータベースＤＢ３のそれぞれは、一体に構成されず、別体として構成されてよい。また、実施の形態に係る顔検知システム１００は、ＶＩＰリストデータベースＤＢ１またはブラックリストデータベースＤＢ２のうちいずれか１つと、ホワイトリストデータベースＤＢ３とを含んで構成されていればよい。

【0051】

ＶＩＰリストデータベースＤＢ１は、ユーザ操作により事前に登録された複数の顔画像のそれぞれを登録（格納）する。また、ＶＩＰリストデータベースＤＢ１は、サーバＳ１から送信された顔切出し画像の人物のうち、例えばお得意様・上顧客等のカテゴリを有する人物の顔切出し画像と検知回数とを対応付けて登録（格納）する。なお、ＶＩＰリストデータベースＤＢ１は、ユーザ操作に基づく顧客（人物）情報と、顔画像（顔切出し画像）とを対応付けて登録してもよい。

【0052】

サーバＳ１は、ＶＩＰリストデータベースＤＢ１に登録された人物を検知すると、ＶＩＰリストデータベースＤＢ１に登録された人物が検知された旨のアラート通知画面またはこの人物の検知欄を検知枠で囲った検索結果を生成して、端末装置Ｐ１に送信し、モニタに出力させる。

【0053】

ブラックリストデータベースＤＢ２は、ユーザ操作により事前に登録された複数の顔画像のそれぞれを登録（格納）する。また、ブラックリストデータベースＤＢ２は、サーバＳ１から送信された顔切出し画像の人物のうち、例えばターゲット・不審者等のカテゴリを有する人物の顔切出し画像と検知回数とを対応付けて登録（格納）する。ここでいうターゲットは、例えば事件・事故等に関係し、警察官、管理者または警備者による捜査・捜索対象となる人物である。なお、ブラックリストデータベースＤＢ２は、ユーザ操作に基づく顧客（人物）情報と、顔画像（顔切出し画像）とを対応付けて登録してもよい。

【0054】

サーバＳ１は、ブラックリストデータベースＤＢ２に登録された人物を検知すると、ブラックリストデータベースＤＢ２に登録された人物が検知された旨のアラート通知画面またはこの人物の検知欄を検知枠で囲った検索結果を生成して、端末装置Ｐ１に送信し、モニタに出力させる。

【0055】

ホワイトリストデータベースＤＢ３は、複数のカメラＣ１，…のそれぞれが設置された商業施設、店舗、警察署、病院、学校等の不特定多数の人物が出入り可能な建物に出入りする人物（例えば、店舗の店員、建物の従業員、学校の教員、建物の清掃業者、警備会社の社員、警察署の警察官、病院の病院関係者等の人物）の顔画像のそれぞれを、ユーザ操作により事前に登録（格納）する。なお、ホワイトリストデータベースＤＢ３に登録される顔画像は、例えば、免許証、社員証等に印刷された顔画像であってよい。

【0056】

サーバＳ１は、ホワイトリストデータベースＤＢ３に登録された人物を検知した場合、この人物についてのアラート通知画面の生成を省略したり、この人物が検知条件を満たすか否かの判定を省略したり、検索結果に含まれるこの人物に関する情報を削除したりする。

【0057】

ここで、図４を参照して、ユーザにより設定される検知条件について説明する。図４は、検知条件ＬＴの一例を示す図である。検知条件ＬＴは、ユーザによる入力操作に基づく検知項目「検知期間」および検知項目「回数」を少なくとも含み、端末装置Ｐ１により生成される。なお、図４に示す各検知項目および各条件は、一例であり、これに限定されないことは言うまでもない。

【0058】

なお、検知項目「検知期間」は、無期限という条件が設定されてもよい。また、図４には示していないが、検知項目「回数」は、例えば５回以上で注意、１０回以上で要注意、１２回以上で不審者等のように検知回数に対応する複数のカテゴリが設定されてもよい。

【0059】

さらに、図４には示していないが検知条件ＬＴは、検知条件ＬＴを満たす顔切出し画像の人物のカテゴリと、検知条件ＬＴを満たさない顔切出し画像の人物のカテゴリとを設定可能であってよい。例えば、ユーザは、検知条件ＬＴを満たさない顔切出し画像の人物への検知項目「検知期間」およびこの検知項目「回数」の条件が設定され、この検知項目「検知期間」およびこの検知項目「回数」の条件を満たす人物を他のカテゴリ「お得意様候補」、「常連客」等と判定するように設定されてもよい。これにより、ユーザは、例えば、店舗に出入する複数の人物のそれぞれからお得意様候補となる人物、または常連客を検索することができる。

【0060】

検知条件ＬＴは、複数の検知項目のそれぞれと、複数の検知項目のそれぞれに対応する条件とを含んで生成される。例えば、図４に示す検知条件ＬＴは、６つの検知項目のそれぞれと、６つの検知項目のそれぞれに対応する条件とを含んで生成される。なお、図４に示す検知条件ＬＴは、例えば、宝石店の店内に設置されたカメラに設定され、不審者を検知するための条件である。このような検知条件ＬＴのカテゴリは、不審者検知と設定され、所定の条件を満たす顔切出し画像をブラックリストデータベースＤＢ２に登録する。

【0061】

検知項目「時間帯」は、カメラにより撮像されたベストショット画像（つまり顔切出し画像）の撮像日時に関する条件である。図４に示す検知項目「時間帯」は、条件「１０：００～２０：００」が設定された例を示す。プロセッサ２１は、カメラにより撮像されたベストショット画像（つまり顔切出し画像）の撮像日時が条件「１０：００～２０：００」に該当する撮像日時に撮像された撮像画像であると判定した場合、検知項目「時間帯」の条件「１０：００～２０：００」を満たすと判定する。

【0062】

なお、検知項目「時間帯」の条件として「２４時間」、「０：００～２３：５９」等が設定された場合、プロセッサ２１は、検知条件に基づく人物の検索処理、登録データベースＤＢに登録された人物の検索処理、登録データベースＤＢへの登録処理等を２４時間、つまり常時実行してよい。

【0063】

検知項目「性別」は、カメラにより撮像されたベストショット画像（つまり顔切出し画像）の人物の性別に関する条件である。図４に示す検知項目「時間帯」には、条件「男性」が設定された例が示されている。図４に示す例においてサーバＳ１は、顔切出し画像に対応する人物の性別が条件「男性」であると判定した場合、検知項目「性別」の条件「男性」を満たすと判定する。

【0064】

検知項目「年齢」は、カメラにより撮像されたベストショット画像（つまり顔切出し画像）の人物の年齢に関する条件である。図４に示す検知項目「年齢」には、条件「４０代～６０代」が設定された例が示されている。図４に示す例においてサーバＳ１は、顔切出し画像の人物の年齢が条件「４０代～６０代」であると判定した場合、検知項目「年齢」の条件「４０代～６０代」を満たすと判定する。

【0065】

検知項目「カメラ」は、ベストショット画像（つまり顔切出し画像）を撮像したカメラに関する条件である。つまり、図４に示す検知条件を設定するカメラの情報である。図４に検知項目「カメラ」には、条件「ＸＸＸＸ」が設定された例が示されている。なお、条件には、１以上のカメラの識別情報が設定されてもよいし、カメラが設置された１以上の場所（例えば、建物、部屋、フロアの情報等）が設定されてもよい。サーバＳ１は、条件「ＸＸＸＸ」が示すカメラにより撮像されたベストショット画像について、各検知項目に対応する条件を満たすか否かを判定する。

【0066】

検知項目「検知期間」は、カメラにより撮像されたベストショット画像（つまり顔切出し画像）の人物の検知期間に関する条件である。図４に示す検知項目「検知期間」には、条件「１ヶ月」が設定された例が示されている。図４に示す例においてサーバＳ１は、検知項目「時間帯」、「性別」、「年齢」に対応するすべての条件を満たすと判定した顔切出し画像の人物が登録データベースＤＢに登録されているか否か（つまり、登録データベースＤＢに登録された複数の顔画像のそれぞれと同一または類似する顔切出し画像であるか否か）を判定する。なお、検知期間は、上述の例に限定されず、１週間、１０日、１ヶ月、６ヶ月、１年等が設定可能であってよい。

【0067】

サーバＳ１は、顔切出し画像の人物が登録データベースＤＢに登録されていないと判定した場合には、検知項目「時間帯」、「性別」、「年齢」に対応するすべての条件を満たすと判定（つまり検知）されたタイミング（撮像日時）から１ヶ月後の撮像日時を検知期間として設定し、顔切出し画像を登録データベースＤＢに送信して登録（格納）させる。なお、検知期間の管理は、サーバＳ１により実行されてもよいし、登録データベースＤＢにより実行されてもよい。検知期間の管理を登録データベースＤＢが行う場合、登録データベースＤＢは、検知期間を超えた顔切出し画像を削除してもよい。

【0068】

一方、サーバＳ１は、顔切出し画像の人物が登録データベースＤＢに登録されていると判定した場合には、顔切出し画像の人物の検知期間を検知されたタイミング（撮像日時）から１ヶ月後までに設定して、顔切出し画像を登録データベースＤＢに送信して登録（格納）させる。

【0069】

また、サーバＳ１は、検知項目「検知期間」が示す検知期間を過ぎるまで（図４の例では１ヶ月）の間に登録データベースＤＢに登録された人物が再度検知された場合には、検知項目「時間帯」、「性別」、「年齢」に対応するすべての条件を満たすと判定（つまり検知）されたタイミング（撮像日時）から１ヶ月後の撮像日時を、新たな検知期間として設定する。

【0070】

なお、図４には示されていないが、検知項目「検知期間」とは別の検知項目として「有効期間」が設定されてもよい。検索項目「有効期間（有効期限）」が設定されている場合、サーバＳ１は、検知項目「検知期間」の条件が示す検知期間内に検知された検知項目「回数」の条件を満たすか否かを判定するとともに、検知項目「有効期間（有効期限）」の条件が示す期間だけ登録データベースＤＢに登録された顔切出し画像を登録（格納）してもよい。このような場合、サーバＳ１は、検知項目「有効期間（有効期限）」を過ぎるまで（図４の例では１ヶ月）の間に登録データベースＤＢに登録された人物が再度検知された場合には、検知項目「時間帯」、「性別」、「年齢」に対応するすべての条件を満たすと判定（つまり検知）されたタイミング（撮像日時）から１ヶ月後の撮像日時を、新たな有効期間（有効期限）として設定する。

【0071】

検知項目「回数」は、カメラにより撮像されたベストショット画像（つまり顔切出し画像）の人物の検知回数に関する条件である。なお、ここでいう検知回数は、検知項目「検知期間」の条件に設定された検知期間に検知された検知回数である。図４に示す検知項目「年齢」には、条件「６回」が設定された例が示されている。

【0072】

サーバＳ１は、検知項目「回数」および検知項目「検知期間」の両方を満たすと判定した場合、この人物のカテゴリの情報を変更（例えば、図４の検知条件例では、「重要」から「最重要」・「不審者」に変更）するとともに、登録データベースＤＢに登録された顔画像と顔切出し画像とを含むアラート通知画面、この人物の検知欄を検知枠で囲った検索結果を生成して、ネットワークＮＷ１を介して端末装置Ｐ１に送信し、モニタに表示させる。

【0073】

一方、サーバＳ１は、検知項目「回数」および検知項目「検知期間」の両方を満たさないと判定した場合、顔切出し画像と登録データベースＤＢに登録された複数の顔画像のそれぞれとを照合する。サーバＳ１は、登録データベースＤＢに登録された複数の顔画像のそれぞれと同一または類似する顔切出し画像であると判定した場合、顔画像の人物の検知回数を取得してインクリメントし、顔画像と、インクリメント後の顔画像と、インクリメント後の検知回数とを対応付けた検索結果を生成する。また、サーバＳ１は、登録データベースＤＢに登録された複数の顔画像のそれぞれと同一または類似する顔切出し画像でないと判定した場合、インクリメント後の顔画像と、インクリメント後の検知回数とを対応付けた検索結果を生成する。

【0074】

以上により、実施の形態に係る顔検知システム１００は、検知条件に基づく人物を検知（検索）した検索結果を生成するとともに、検知条件として設定された検知期間内に検知された検知回数に基づいて、検知された人物のカテゴリを設定した検索結果をユーザに提示できる。これにより、ユーザは、検索結果に含まれる検知（検索）された人物が有するカテゴリまたはアラート通知画面に基づいて、検知（検索）された人物の重要度、優先度等を直感的に把握でき、監視・管理業務を効率的に行うことができる。

【0075】

図５を参照して、実施の形態に係る顔検知システム１００の動作手順について説明する。図５は、実施の形態に係る顔検知システム１００の動作手順例を示すシーケンス図である。

【0076】

まず、実施の形態に係る顔検知システム１００の検索処理について説明する。

【0077】

１以上のカメラＣ１，…のそれぞれは、撮像された複数の撮像画像のそれぞれからベストショット画像を選定し、選定されたベストショット画像をサーバＳ１に送信する（Ｓｔ１）。なお、１以上のカメラＣ１，…のそれぞれがベストショット画像の設定機能を有していない場合、撮像された複数の撮像画像のそれぞれをサーバＳ１に送信してもよい。

【0078】

端末装置Ｐ１は、ユーザ操作による検知条件の入力を受け付け可能であって、ユーザ操作に基づいて、検知条件を生成する（Ｓｔ２）。端末装置Ｐ１は、生成された検知条件をサーバＳ１に送信する（Ｓｔ３）。

【0079】

サーバＳ１は、端末装置Ｐ１から送信された検知条件を記憶する（Ｓｔ４）。サーバＳ１は、複数のカメラＣ１，…のそれぞれから送信されたベストショット画像から１以上の人物の顔を検知し、検知された人物の顔領域を切り出した顔切出し画像を生成する。サーバＳ１は、生成された顔切出し画像に基づいて、顔切出し画像の人物の属性（例えば、年齢、性別、身長等）を画像解析する。サーバＳ１は、記憶された検知結果が示すカメラに関する情報に基づいて、ベストショット画像が撮像されたカメラに対応する検知条件に基づく人物の検索を実行する（Ｓｔ５）。

【0080】

ここで、サーバＳ１により実行される検索処理は、検知条件に含まれる複数の検知項目のそれぞれのうち検知項目「検知期間」および検知項目「回数」以外の検知項目のそれぞれをすべて満たす人物の検索、検知条件に含まれる複数の検知項目のそれぞれをすべて満たす人物の検索、およびＶＩＰリストデータベースＤＢ１またはブラックリストデータベースＤＢ２に事前に登録された複数の顔画像のそれぞれと同一または類似する顔切出し画像の人物の検索である。

【0081】

サーバＳ１は、ステップＳｔ５の処理で実行された検知条件に基づく検索結果を生成する（Ｓｔ６）。ここで、生成される検索結果は、顔切出し画像と、検知回数とを少なくとも含んで生成される。

【0082】

サーバＳ１は、登録データベースＤＢに登録された複数の顔画像のそれぞれと同一または類似する顔切出し画像であるか否かを判定し、登録データベースＤＢに登録されていないと判定した場合には、顔切出し画像を登録データベースＤＢに登録する（Ｓｔ７）。なお、サーバＳ１は、顔切出し画像と同一または類似する顔画像が登録データベースＤＢに登録されていると判定した場合には、登録データベースＤＢに登録された顔画像を取得し、この顔画像と、顔切出し画像と、検知回数とを含む検索結果を生成する。サーバＳ１は、生成された検索結果を端末装置Ｐ１に送信する（Ｓｔ８）。

【0083】

なお、検索結果に基づく登録処理として、サーバＳ１は、ステップＳｔ７において、登録データベースＤＢに登録されていると顔画像と同一または類似すると判定された顔切出し画像について、さらに顔切出し画像の人物が検知項目「検知期間」および検知項目「回数」に対応付けられた条件を満たすか否かを判定する。サーバＳ１は、顔切出し画像の人物が検知項目「検知期間」および検知項目「回数」に対応付けられた条件を満たすと判定した場合、顔切出し画像の人物に検知項目「回数」に対応付けられたカテゴリを設定する。サーバＳ１は、人物が有するカテゴリに対応するいずれかの登録（格納）先（つまり、ＶＩＰリストデータベースＤＢ１、ブラックリストデータベースＤＢ２、およびホワイトリストデータベースＤＢ３のいずれか）に顔切出し画像と検知回数とを登録（格納）する。

【0084】

なお、サーバＳ１は、登録（格納）先として、単に登録データベースＤＢが設定されている場合、カテゴリ、顔画像（顔切出し画像）、検知回数、検知期間のそれぞれを対応付けて登録データベースＤＢに登録してもよい。

【0085】

端末装置Ｐ１は、サーバＳ１から送信された検索結果をモニタ１３に表示する（Ｓｔ９）。

【0086】

次に、実施の形態に係る顔検知システム１００の登録処理について説明する。

【0087】

また、端末装置Ｐ１は、ＶＩＰリストデータベースＤＢ１、ブラックリストデータベースＤＢ２、およびホワイトリストデータベースＤＢ３のいずれかに登録（格納）する顔画像（つまり、登録用顔画像）についてユーザによる入力操作を受け付ける（Ｓｔ１０）。端末装置Ｐ１は、ユーザにより入力された顔画像（登録用顔画像）と、この顔画像を登録（格納する）ユーザにより指定されたＶＩＰリストデータベースＤＢ１、ブラックリストデータベースＤＢ２、およびホワイトリストデータベースＤＢ３のいずれかの登録（格納）先の情報とを対応付けてサーバＳ１に送信する（Ｓｔ１１）。

【0088】

サーバＳ１は、端末装置Ｐ１から送信された顔画像と、顔画像に対応付けられた登録（格納）先の情報とに基づいて、顔画像を登録（格納）する（Ｓｔ１２）。なお、図５に示す動作手順例において、ＶＩＰリストデータベースＤＢ１、ブラックリストデータベースＤＢ２、およびホワイトリストデータベースＤＢ３への顔画像の登録（格納）処理は、サーバＳ１により実行される例を示すが、端末装置Ｐ１により実行されてもよい。

【0089】

端末装置Ｐ１およびサーバＳ１は、ステップＳｔ２～ステップＳｔ１２までを含む処理ＲＰを定期的、またはユーザの必要に応じて繰り返し実行する。

【0090】

次に、実施の形態に係る顔検知システム１００によるアラート通知画面の生成処理について説明する。

【0091】

１以上のカメラＣ１，…のそれぞれは、人物の撮像を継続し、撮像領域内で人物を撮像すると、撮像された複数の撮像画像のそれぞれからこの人物のベストショット画像を選定し、選定されたベストショット画像をサーバＳ１に送信する（Ｓｔ１３）。なお、１以上のカメラＣ１，…のそれぞれがベストショット画像の設定機能を有していない場合、撮像された複数の撮像画像のそれぞれをサーバＳ１に送信してもよい。

【0092】

サーバＳ１は、登録データベースＤＢにおけるＶＩＰリストデータベースＤＢ１またはブラックリストデータベースＤＢ２に登録（格納）された複数の顔画像のそれぞれと、ベストショット画像から切り出されて生成された顔切出し画像との照合処理を実行する（Ｓｔ１４）。

【0093】

サーバＳ１は、登録データベースＤＢにおけるＶＩＰリストデータベースＤＢ１またはブラックリストデータベースＤＢ２に登録（格納）された複数の顔画像のそれぞれと同一または類似する顔切出し画像であると判定した場合、登録された顔画像と、顔切出し画像とを含むアラート通知画面の生成する（Ｓｔ１５）。サーバＳ１は、生成されたアラート通知画面を端末装置Ｐ１に送信する（Ｓｔ１６）。

【0094】

端末装置Ｐ１は、サーバＳ１から送信されたアラート通知画面をモニタ１３に出力して表示する（Ｓｔ１７）。

【0095】

以上により、実施の形態に係る顔検知システム１００は、検知条件を満たす人物の検知（検索）処理と、ＶＩＰリストデータベースＤＢ１およびブラックリストデータベースＤＢ２に登録（格納）された複数の顔画像のそれぞれと同一または類似する顔切出し画像の人物の検索処理と、ホワイトリストデータベースＤＢ３に登録（格納）された複数の顔画像のそれぞれと同一または類似する顔切出し画像の人物の検知（検索）結果の省略処理とを実行できるとともに、ユーザにより設定された少なくとも２つの処理を同時に実行した検索結果をユーザに提示できる。

【0096】

図６を参照して、サーバＳ１により生成されたお得意様・上顧客に関する検索結果について説明する。図６は、お得意様・上顧客に関する検索結果ＭＮ１の一例を示す図である。なお、図６に示すカテゴリは、一例であってこれに限定されないことは言うまでもない。また、図６に示す検索結果ＭＮ１の例では、検知条件のうち検知項目「回数」の条件が４回であり、検知項目「回数」が３回まで人物のカテゴリを「重要」と設定し、検知項目「回数」が４回以上の人物を「最重要」と設定する例を示す。なお、カテゴリは、図６の例に限定されず、例えば「最重要」と設定されず、「常連客」、「お得意様」、「上顧客」等が設定されてもよい。

【0097】

図６に示す検索結果ＭＮ１は、検索結果として人物が有するカテゴリと、ベストショット画像（顔切出し画像）が撮像された撮像日時と、カメラの識別情報としてのカメラＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と、検知期間内における検知回数としての発報回数と、顔切出し画像としての検出顔画像と、登録データベースＤＢに登録された顔画像としての登場人物と、顔切出し画像の人物の氏名と、を含んで生成される。なお、図６に示す検索結果ＭＮ１は一例であって、これに限定されないことは言うまでもない。検索結果ＭＮ１は、カテゴリと、顔切出し画像（検出顔画像）と、を少なくとも含んで生成されればよい。図６に示す検索結果ＭＮ１は、３人の人物のそれぞれの検索欄を含む。

【0098】

検知顔画像ＰＣ１１の人物は、登録データベースＤＢに顔画像ＰＣ１２が登録されている。検知顔画像ＰＣ１１の人物は、検知期間内における検知回数が検知回数欄ＣＴ１に示す「４回」であって検知項目「回数」の条件を満たすため、サーバＳ１によりカテゴリ欄ＣＴＧ１が「重要」から「最重要」に変更されて、表示される。また、検知顔画像ＰＣ１１の人物の検索欄は、検知項目「回数」の条件を満たすため、検知枠ＭＫ１で囲われ、強調表示される。

【0099】

検知顔画像ＰＣ２１の人物は、登録データベースＤＢに顔画像ＰＣ２２が登録されている。検知顔画像ＰＣ２１の人物は、検知期間内における検知回数が検知回数欄ＣＴ２に示す「３回」であって検知項目「回数」の条件を満たさないため、カテゴリ欄ＣＴＧ２に「重要」と表示される。

【0100】

検知顔画像ＰＣ３１の人物は、登録データベースＤＢに顔画像ＰＣ３２が登録されている。検知顔画像ＰＣ３１の人物は、検知期間内における検知回数が検知回数欄ＣＴ３に示す「２回」であって検知項目「回数」の条件を満たさないため、カテゴリ欄ＣＴＧ３に「重要」と表示される。

【0101】

図７を参照して、サーバＳ１により生成された不審者に関する検索結果について説明する。図７は、不審者に関する検索結果ＭＮ２の一例を示す図である。なお、図７に示すカテゴリは、一例であってこれに限定されないことは言うまでもない。また、図７に示す検索結果ＭＮ１の例では、検知条件のうち検知項目「回数」の条件が６回であり、検知項目「回数」が５回まで人物のカテゴリを「重要」と設定し、検知項目「回数」が６回以上の人物を「不審者」と設定する例を示す。

【0102】

図７に示す検索結果ＭＮ２は、検索結果として人物が有するカテゴリと、ベストショット画像（顔切出し画像）が撮像された撮像日時と、カメラの識別情報としてのカメラＩＤと、検知期間内における検知回数としての発報回数と、顔切出し画像としての検知顔画像と、登録データベースＤＢに登録された顔画像としての登場人物と、顔切出し画像の人物の氏名と、を含んで生成される。なお、図７に示す検索結果ＭＮ２は一例であって、これに限定されないことは言うまでもない。検索結果ＭＮ２は、カテゴリと、顔切出し画像（検出顔画像）と、を少なくとも含んで生成されればよい。図７に示す検索結果ＭＮ２は、３人の人物のそれぞれの検索欄を含む。

【0103】

検知顔画像ＰＣ４１の人物は、登録データベースＤＢまたはブラックリストデータベースＤＢ２に顔画像ＰＣ４２が登録されている。検知顔画像ＰＣ４１の人物は、検知期間内における検知回数が検知回数欄ＣＴ４に示す「８回」であって検知項目「回数」の条件を満たすため、カテゴリ欄ＣＴＧ４に「不審者」と表示される。また、検知顔画像ＰＣ４１の人物の検索欄は、検知項目「回数」の条件を満たすため、検知枠ＭＫ２で囲われ、強調表示される。

【0104】

検知顔画像ＰＣ５１の人物は、登録データベースＤＢに顔画像ＰＣ５２が登録されている。検知顔画像ＰＣ５１の人物は、検知期間内における検知回数が検知回数欄ＣＴ５に示す「３回」であって検知項目「回数」の条件を満たさないため、カテゴリ欄ＣＴＧ５に「重要」と表示される。

【0105】

検知顔画像ＰＣ６１の人物は、登録データベースＤＢに顔画像ＰＣ６２が登録されている。検知顔画像ＰＣ６１の人物は、検知期間内における検知回数が検知回数欄ＣＴ６に示す「２回」であって検知項目「回数」の条件を満たさないため、カテゴリ欄ＣＴＧ６に「重要」と表示される。

【0106】

次に、図８を参照して、サーバＳ１がブラックリストデータベースＤＢ２に登録された顔画像のそれぞれと同一または類似する顔切出し画像であると判定した場合に生成されるアラート通知画面ＡＭＮについて説明する。図８は、アラート通知画面ＡＭＮの一例である。なお、図８では、ブラックリストデータベースＤＢ２に登録された顔画像のそれぞれと同一または類似する顔切出し画像であると判定した場合の例を示すが、ＶＩＰリストデータベースＤＢ１に登録された顔画像のそれぞれと同一または類似する顔切出し画像であると判定した場合にも同様のアラート通知画面が生成されてよいことは言うまでもない。

【0107】

アラート通知画面ＡＭＮは、ベストショット画像ＢＳ０と、顔切出し画像としての検知顔画像ＢＳ１と、ブラックリストデータベースＤＢ２に登録された顔画像としての登録顔画像Ｒ１と、ベストショット画像（顔切出し画像）が撮像された撮像日時の情報Ｄｔ１と、ブラックリストデータベースＤＢ２に登録された顔画像の人物に関する人物情報Ｄｔ２と、ライブボタンＢｔ１と、再生ボタンＢｔ２と、を含んで生成される。

【0108】

なお、図８に示すアラート通知画面ＡＭＮは一例であって、これに限定されないことは言うまでもない。アラート通知画面ＡＭＮは、顔切出し画像としての検知顔画像ＢＳ１と、ブラックリストデータベースＤＢ２に登録された顔画像としての登録顔画像Ｒ１と、を少なくとも含んで生成されればよい。

【0109】

ライブボタンＢｔ１は、端末装置Ｐ１のモニタ１３に表示された後、ユーザ操作により選択（押下）されると、顔切出し画像としての検知顔画像ＢＳ１が撮像されたカメラのライブ映像を再生する。端末装置Ｐ１は、ユーザ操作によりライブボタンＢｔ１が選択（押下）されると、ライブ映像を要求する制御指令を生成して、サーバＳ１に送信する。サーバＳ１は、顔切出し画像としての検知顔画像ＢＳ１を撮像したカメラにより撮像されたライブ映像を読み込んで端末装置Ｐ１に送信することにより、ライブ映像をストリーム再生させる。

【0110】

再生ボタンＢｔ２は、端末装置Ｐ１のモニタ１３に表示された後、ユーザ操作により選択（押下）されると、顔切出し画像としての検知顔画像ＢＳ１が撮像された前後の複数の撮像画像のそれぞれを含む録画映像を再生する。端末装置Ｐ１は、ユーザ操作により再生ボタンＢｔ２が選択（押下）されると、顔切出し画像としての検知顔画像ＢＳ１が撮像された前後の録画映像を要求する制御指令を生成して、サーバＳ１に送信する。サーバＳ１は、顔切出し画像としての検知顔画像ＢＳ１を撮像したカメラにより撮像された録画映像を読み込んで端末装置Ｐ１に送信する。なお、サーバＳ１は、複数のカメラＣ１，…のそれぞれから録画映像を取得してもよいし、複数のカメラＣ１，…のそれぞれまたはサーバＳ１とデータ通信可能に接続され、複数のカメラＣ１，…のそれぞれにより撮像された録画映像を記録可能な外部レコーダ（不図示）等から録画映像を取得してもよい。

【0111】

以上により、実施の形態に係る顔検知システム１００は、１以上のカメラＣ１，…とサーバＳ１とが互いに通信可能に接続され、カメラＣ１，…により撮像された撮像映像を取得し、撮像映像に基づいて、１以上の人物の顔を検知し、検知された顔の領域を切り出した１以上の顔切出し画像を生成し、顔切出し画像の人物と所定の検知期間内に同一または類似する人物が検知された検知回数をカウントし、検知回数に基づいて、人物のカテゴリを判定し、人物に対応する顔切出し画像と検知回数とカテゴリとを対応付けて出力する。

【0112】

これにより、実施の形態に係る顔検知システム１００は、検知条件に基づく人物を検知（検索）した検索結果を生成するとともに、検知条件として設定された検知期間内に検知された検知回数に基づいて、検知された人物のカテゴリを設定した検索結果をユーザに提示できる。これにより、ユーザは、検索結果に含まれる検知（検索）された人物が有するカテゴリまたはアラート通知画面に基づいて、検知（検索）された人物の重要度、優先度等を直感的に把握でき、監視・管理業務を効率的に行うことができる。

【0113】

実施の形態に係る顔検知システム１００は、１以上の人物の顔を検知するための条件として、例えば「不審者」を検知（検索）するための検知条件（第１の検知条件の一例）を取得し、顔切出し画像の人物が不審者を検知するための検知条件を満たす検知対象であると判定した場合、顔切出し画像の人物の検知回数をカウントし、検知回数が所定回数以上である（つまり、検知条件の検知項目「回数」の条件を満たす）と判定した場合、人物のカテゴリを「不審者」と判定する。これにより、顔検知システム１００は、「不審者」を検索した検索結果をユーザに提示できる。ユーザは、検索結果に含まれる人物のカテゴリに基づいて、注目すべき人物として不審者が現れたことを知ることができる。

【0114】

また、実施の形態に係る顔検知システム１００は、不審者の顔を検知するための検知条件（第１の検知条件の一例）を取得し、不審者を検知（検索）するための検知条件を満たす検知対象でないと判定した場合、顔切出し画像の人物の検知回数をカウントし、検知回数が所定回数以上である場合、顔切出し画像の人物のカテゴリを「お得意様」と判定する。これにより、顔検知システム１００は、例えば店舗内で撮像された顔切出し画像の人物が不審者でないと判定するとともに、検知回数が多い（つまり、店舗に頻繁に訪れる）人物のカテゴリを「お得意様」と判定して、ユーザに提示できる。よって、ユーザは、人物のカテゴリに基づいて、注目すべき人物としてお得意様が現れたことを知ることができる。なお、カテゴリは「お得意様」に限定されず、例えば「お得意様候補」、「常連客」であってもよい。これにより、ユーザは、例えば店舗に出入する複数の人物のそれぞれからお得意様候補となる人物、または常連客を検索することができる。

【0115】

また、実施の形態に係る顔検知システム１００は、１以上の人物の顔を検知するための条件として、例えば「お得意様」を検知（検索）するための検知条件（第２の検知条件の一例）を取得し、顔切出し画像の人物が「お得意様」を検知（検索）するための検知条件を満たす検知対象であると判定した場合、顔切出し画像の人物の検知回数をカウントし、検知回数が所定回数以上である（つまり、検知条件の検知項目「回数」の条件を満たす）と判定した場合、人物のカテゴリを「お得意様」と判定する。これにより、顔検知システム１００は、「お得意様」を検索した検索結果をユーザに提示できる。なお、カテゴリは「お得意様」に限定されず、例えば「お得意様候補」、「常連客」であってもよい。よって、ユーザは、人物のカテゴリに基づいて、注目すべき人物として「お得意様」が現れたことを知ることができる。

【0116】

また、実施の形態に係る顔検知システム１００は、ユーザによりブラックリストデータベースＤＢ２に予め登録された複数の顔画像のそれぞれ（ブラックリスト顔画像の一例）に、「不審者」のカテゴリを有する人物の顔切出し画像を登録する。これにより、実施の形態に係る顔検知システム１００は、ユーザによる監視業務において監視対象となるターゲット「不審者」をブラックリストデータベースＤＢ２に自動登録することで、撮像映像中で特に注目するべき人物として「不審者」のカテゴリを有する人物を検索可能に設定できる。

【0117】

また、実施の形態に係る顔検知システム１００は、ブラックリストデータベースＤＢ２に登録された複数の顔画像のそれぞれと顔切出し画像とを照合して、顔切出し画像の人物と同一または類似する顔画像が登録されているか否かを判定する。顔検知システム１００は、ブラックリスト顔画像と同一または類似する顔切出し画像があると判定した場合、アラート通知画面ＡＭＮを生成して出力する。これにより、実施の形態に係る顔検知システム１００は、ユーザによる監視業務において監視対象となるターゲットについて、撮像映像中で特に注目するべき人物の顔画像としてアラート通知画面により提示し、人物を対象とした監視業務を効率的に支援できる。

【0118】

また、実施の形態に係る顔検知システム１００は、ユーザによりＶＩＰリストデータベースＤＢ１に予め登録された複数の顔画像のそれぞれ（重要人物顔画像の一例）に、「お得意様」のカテゴリを有する人物の顔切出し画像を顔画像として登録する。これにより、実施の形態に係る顔検知システム１００は、ユーザによる監視業務において注目すべき「お得意様」をＶＩＰリストデータベースＤＢ１に自動登録することで、撮像映像中で特に注目するべき人物として「お得意様」のカテゴリを有する人物を検索可能に設定できる。

【0119】

また、実施の形態に係る顔検知システム１００は、ＶＩＰリストデータベースＤＢ１に登録された複数の顔画像のそれぞれと顔切出し画像とを照合して、顔切出し画像と同一または類似する重要人物顔画像が登録されているか否かを判定する。顔検知システム１００は、ＶＩＰリストデータベースＤＢ１に登録された複数の顔画像と同一または類似する顔切出し画像があると判定した場合、アラート通知画面を生成して出力する。これにより、実施の形態に係る顔検知システム１００は、ユーザによる監視業務において監視対象となる「お得意様」、「上顧客」等の重要人物について、撮像映像中で特に注目するべき人物の顔画像としてアラート通知画面により提示し、人物を対象とした監視業務を効率的に支援できる。

【0120】

また、実施の形態に係る顔検知システム１００は、ユーザによりホワイトリストデータベースＤＢ３に予め登録された複数の顔画像のそれぞれ（非検知顔画像の一例）と顔切出し画像とを照合して、顔切出し画像と同一または類似する顔画像が登録されているか否かを判定する。顔検知システム１００は、ホワイトリストデータベースＤＢ３に登録された複数の顔画像と同一または類似する顔切出し画像があると判定した場合、アラート画面の生成を省略する。これにより、実施の形態に係る顔検知システム１００は、カメラＣ１，…が設置された建物、施設等に出入りする従業員、店員、管理者、警察官、あるいは教員等の関係者が撮像映像中で特に注目するべき人物の顔画像として検知（検索）され、ユーザに提示されることを防止できる。

【0121】

また、実施の形態に係る顔検知システム１００は、顔切出し画像の人物が検知期間（検知条件に含まれる検知項目「検知期間」または検知項目「有効期限」の条件）内に再検知された場合、顔切出し画像の人物の検知期間を、再検知されたタイミングから検知期間（つまり、検知項目「検知期間」または検知項目「有効期限」の条件）だけ延長する。これにより、実施の形態に係る顔検知システム１００は、検知期間の観点から撮像映像中で特に注目するべきでない、または注目度が低い人物の顔画像についてアラート通知画面を生成し、ユーザに提示することを防止できる。

【0122】

以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0123】

本開示は、撮像映像中で注目するべき人物の顔画像を提示し、人物を対象とした監視業務を効率的に支援する顔検知方法、顔検知プログラムおよびサーバの提示として有用である。

【符号の説明】

【0124】

１０，２０ 通信部
１１，２１ プロセッサ
１２，２２ メモリ
１３ モニタ
１４ 操作部
１００ 顔検知システム
Ｃ１ カメラ
ＤＢ１ ＶＩＰリストデータベース
ＤＢ２ ブラックリストデータベース
ＤＢ３ ホワイトリストデータベース
ＬＴ 検知条件
ＮＷ１ ネットワーク
Ｐ１ 端末装置
Ｓ１ サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】