特許 6499750 顔照合システムおよび顔照合方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6499750

(24)【登録日】2019年3月22日

(45)【発行日】2019年4月10日

(54)【発明の名称】顔照合システムおよび顔照合方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20190401BHJP

【ＦＩ】

   G06T7/00 510F

   G06T7/00 300F

   G06T7/00 660A

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2017-507249(P2017-507249)

(86)(22)【出願日】2015年3月25日

(86)【国際出願番号】JP2015059149

(87)【国際公開番号】WO2016151802

(87)【国際公開日】20160929

【審査請求日】2017年8月29日

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(72)【発明者】

【氏名】丸田 聡史

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１４−００２５０６（ＪＰ，Ａ）

【文献】 特開２００４−３６２２６８（ＪＰ，Ａ）

【文献】 特開２００７−０６５１５４（ＪＰ，Ａ）

【文献】 特開２００４−２４６６９３（ＪＰ，Ａ）

【文献】 特開２００７−１７９５８９（ＪＰ，Ａ）

【文献】 国際公開第２０１４／１５５６３９（ＷＯ，Ａ１）

【文献】 特開２０１４−１６４６９７（ＪＰ，Ａ）

【文献】 特開２００９−０４８４４７（ＪＰ，Ａ）

【文献】 特開２０１１−０４８６６８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

画像データから特徴量を抽出し、データベースに登録された特徴量との比較によって照合を行う特徴量処理装置と、表示装置と、で構成される顔照合システムであって、
前記特徴量処理装置は、事前設定した定期確認時間になっているかを判定し、定期確認時間と判定した場合、前記データベースから登録済みの特徴量を読み出し、 他の登録済みの特徴量の各々と類似度の照合を行い、類似度が予め設定した閾値以上である場合は、当該特徴量を重複確認対象情報として登録する巡回照合を行い、登録した前記重複確認対象情報を読み出して、前記データベースへの重複登録を確認するための画面を前記表示装置に表示することを特徴とする顔照合システム。

【請求項2】

請求項１において、
前記特徴量処理装置は、特徴量に紐づけて重複確認済みの情報を前記データベースに紐づけておき、他の登録済みの特徴量との類似度の照合を行う前に、重複確認済みの情報を確認し、他の登録済みの特徴量と重複確認済みであると判定した場合、他の登録済みの特徴量との類似度の照合を実行しない顔照合システム。

【請求項3】

請求項１または２において、
前記データベースには前記特徴量に紐づけられる人物属性が登録され、
前記重複確認対象情報には顔映像および前記人物属性を含み、
前記特徴量処理装置は、前記表示装置の画面上に、前記重複確認対象情報の顔映像および人物属性を表示する顔照合システム。

【請求項4】

請求項１から３のいずれか1項において、
前記画像データは監視カメラで撮影され、伝送される画像データ映像もしくは監視カメラで撮影された映像を記憶する記憶装置から伝送される画像データである顔照合システム。

【請求項5】

画像データから特徴量を抽出し、データベースに登録された特徴量との比較によって照合を行う顔照合方法であって、
事前設定した定期確認時間になっているかを判定し、定期確認時間と判定した場合、データベースから登録済みの特徴量を読み出し、他の登録済みの特徴量の各々と類似度の照合を行い、類似度が予め設定した閾値以上である場合は、当該特徴量を重複確認対象情報として登録する巡回照合を行い、登録した前記重複確認対象情報を読み出して、前記データベースへの重複登録を確認するための画面を表示することを特徴とする顔照合方法。

【請求項6】

請求項５において、
特徴量に紐づけて重複確認済みの情報を前記データベースに紐づけておき、他の登録済みの特徴量との類似度の照合を行う前に、重複確認済みの情報を確認し、他の登録済みの特徴量と重複確認済みであると判定した場合、他の登録済みの特徴量との類似度の照合を実行しない顔照合方法。

【請求項7】

請求項５または６において、
前記データベースには前記特徴量に紐づけられる人物属性が登録され、
前記重複確認対象情報には顔映像および前記人物属性を含み、
前記重複確認対象情報の顔映像および人物属性を画面に表示する顔照合方法。

【請求項8】

請求項５から７のいずれか1項において、
前記画像データは監視カメラで撮影され、伝送される画像データ映像もしくは監視カメラで撮影された映像を記憶する記憶装置から伝送される画像データである顔照合方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は顔照合システム関し、例えば管理者が不審者等を予めデータベースに登録する顔照合システムに適用可能である。

【背景技術】

【0002】

監視カメラよって撮影された映像から、類似した人物が存在するか否かを検知および判断するシステムの一例が、例えば特開２０１０−２３１４０２号公報に提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−２３１４０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の課題は管理者が不審者等を予めデータベースに登録する場合の重複登録を検出する技術を提供することにある。

【課題を解決するための手段】

【0005】

本開示のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。
すなわち、画像データから特徴量を抽出し、データベースに登録された特徴量との比較によって照合を行う顔照合システムおよび顔照合方法は、データベースから登録済みの特徴量を読み出し、他の登録済みの特徴量との類似度の照合を行い、類似度が予め設定した閾値以上である場合は、重複確認対象情報として登録する。

【発明の効果】

【0006】

上記顔照合システムおよび顔照合方法によれば、重複登録を検出することができる。

【図面の簡単な説明】

【0007】

【図1】既知の人物ＤＢに紐づけられる形で統制され登録される特徴量ＤＢを説明するための図である。

【図2A】複数人いる管理者が、同一の不審者を重複して登録を行なうことを説明するための図である。

【図2B】複数人いる管理者が、同一の不審者を重複して登録を行なうことを説明するための図である。

【図3】比較例に係る監視システムの照合処理を説明するためのフロー図である。

【図4】実施例に係る顔照合技術を用いた監視システム構成を説明するための図である。

【図5A】実施例に係る監視システムにおける監視カメラで撮影される映像を用いて特徴量ＤＢへ登録する方法のイメージを示す図である。

【図5B】実施例に係る監視システムにおける映像を用いて特徴量ＤＢへ登録する方法を説明するための図である。

【図6A】重複登録を確認する第１の方法を説明するためのフロー図である。

【図6B】第１の方法による特徴量ＤＢの重複登録を確認する画面を説明するための図である。

【図7A】重複登録を確認する第２の方法を説明するためのフロー図である。

【図7B】第２の方法による特徴量ＤＢの重複登録を確認する画面を説明するための図である。

【発明を実施するための形態】

【0008】

以下、実施形態及び実施例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。

【0009】

まず、本開示に先立って検討した技術（以下、比較例という。）に係る顔照合システムについて説明する。

【0010】

近年、監視システムにおいて、既存のモニタリングのみの監視システムから、ＶＣＡ（Video Content Analysis）画像解析という付加価値をもった監視システムへの移行が期待されている。それら、画像解析技術の一つとして顔照合技術（システム）があげられる。顔照合技術は、人物の名前や性別等の属性情報と人物の顔画像から得た顔特徴量をデータベース化して登録した装置を備え、監視カメラや映像記録装置から撮影された映像を取得し、それら映像の中から人物の顔を検出／顔特徴量抽出した後、予め登録されたデータベースと照合を行う。
これら顔照合技術を監視システムに用いることにより、システム管理者が、不審者等を予めデータベースに登録しておき、監視カメラや映像記録装置から撮影された映像から、類似した人物が存在するか否かを検知および判断する。

【0011】

図１は既知の人物データベース（以下、人物ＤＢと略する）３−１に紐づけられて登録される特徴量データベース（以下、特徴量ＤＢと略する）４−１を説明するための図である。比較例に係る顔照合システム１０１では、人物の顔特徴量を予め登録する特徴量ＤＢは、例えばある施設の入退管理を目的としており、既知の人物ＤＢ（例えば社員ＤＢ等）に紐づけられる形で構築されている。元々、ある施設の社員等の人物情報を管理することに用いられる社員情報管理テーブル１Ａには社員番号や氏名等の人物属性および顔写真等が含まれる。社員情報管理テーブル１Ａの内容は人物ＤＢ３−１に人物情報管理装置３によって登録されている。特徴量処理装置４は、人物の顔特徴量を特徴量ＤＢ４−１に、ネットワークスイッチ（ＳＷ）２を介して、バッチ処理等により、一つの人物情報が一つの人物顔特徴量データとして紐づく形で登録される。図１では、管理番号、氏名、社員番号等の人物属性、およびサムネイル等が顔特徴量と紐づく形で特徴量ＤＢテーブル１Ｂが登録される。その為、同一人物の重複登録といった無駄がない形で顔照合システムの特徴量ＤＢ４−１は構築されることとなる。

【0012】

次に、比較例に係る顔照合システムを用いた監視システムにおいて不審人物に対する顔照合を行う場合について説明する。管理者は、監視カメラで撮影された映像、別装置で撮影された静止画または動画を用いて、不審人物と思しき人物を選択し、不審人物の顔特徴量を特徴量ＤＢ４−１に登録する。このとき、不審人物の顔特徴量は、特定情報でない形で登録する運用となる。そのため問題となるのが、不審人物の顔特徴量の登録を行う管理者が複数人いる場合、同一の不審者を重複して登録を行ってしまうことが想定される点である。これについて図２Ａおよび図２Ｂを用いて説明する。図２Ａおよび図２Ｂは複数人いる管理者が、同一の不審者を重複して登録を行なうことを説明するための図である。図２Ａは第１の管理者が不審者を登録する場合の図であり、図２Ｂは第２の管理者が不審者を登録する場合の図である。

【0013】

図２Ａに示すように、第１の管理者が監視カメラ２２Ａで撮影された映像５Ａにて人物を選択し、特徴量ＤＢ４−１ヘの登録画面６Ａで丸顔人物Ａを不審者として特徴量ＤＢ４−１に登録を行う。この際、第１の管理者は名称の欄に「不審者Ａ」、性別の欄に「男性」等の属性情報を入力し、「登録」のボタンをクリックして登録する。一方、図２Ｂに示すように、第２の管理者は、監視カメラ２２Ｂで撮影された映像５Ｂにて人物を選択し、特徴量ＤＢの登録画面６Ｂで丸顔人物Ｂを不審者Ｂとして特徴量ＤＢ４−１に登録を行なう。この際、第２の管理者は名称の欄に「不審者Ｂ」、性別の欄に「男性」等を入力し、「登録」のボタンをクリックして登録する。実は、これらは同一人物を特徴量ＤＢ４−１に登録をしてしまっている状況であるが、各々の管理者が他の管理者が登録した人物を把握していないため、重複登録が発生してしまう。また、同一の管理者が不審者を登録する運用ルールとした場合でも、時間経過とともに人間の記憶は薄れ、同一の不審者を重複して登録を行ってしまうことが想定される。このように、有限である特徴量ＤＢ４−１の登録数を重複登録により無駄に消費してしまう問題が発生する。

【0014】

また、特徴量ＤＢ４−１の登録数は、照合する時間に影響を及ぼすものである。これについて図３を用いて説明する。図３は比較例に係る監視システムの照合処理を示すフロー図である。

【0015】

監視カメラ２２Ａで撮影された映像５Ａを取得し（ステップＳ１１）し、映像デコード（ステップＳ１２）の後、顔検出を行なう（ステップＳ１３）。その後、顔検出された数分、顔器官検出（ステップＳ１６）、顔特徴量抽出（ステップＳ１７）、照合処理を行なう（ステップＳ１８）。しかし、ステップＳ１８の照合処理は、特徴量ＤＢ４−１の登録レコード数が多ければ多いほど時間が多く消費される。また、これらは顔検出数分だけ繰り返しで処理時間が消費されることとなる。これでは、監視カメラ２２Ａにて撮影された映像を取得し、それら映像の中から人物の顔を検出し、顔特徴量の抽出／照合をリアルタイムで処理することが成し得なくなる。そのため、特徴量ＤＢ４−１には顔特徴量が効率的に登録されることが望ましく、重複登録といった問題を解決することが望まれる。

【0016】

そこで、実施形態に係る顔照合システムは、監視カメラにて撮影される映像の中もしくは外部から入力される静止画または動画の中から人物の顔検出および顔特徴量抽出／照合を行ない、データベース（特徴量ＤＢ）に登録するときに重複登録を事前確認した後に人物情報登録を行なう、またはシステム運用中にデータベースに登録されている顔特徴量を用いて巡回照合を行なうことにより重複登録である可能性を管理者に注意喚起するようにされる。

【0017】

巡回照合では、予め設定する時間が経過する毎に、データベースから登録済みの特徴量を読み出し、他の登録済みの特徴量との類似度の照合を行い、類似度が予め設定した閾値以上である場合は、重複確認対象情報として登録する。重複確認対象情報を画面に表示することにより、管理者に注意喚起する。

【0018】

実施形態によれば、不特定多数の人物が撮影される映像から、任意の人物を照合対象とする目的でデータベースに登録する際、既に同一の人物を登録済みであるか否かを事前確認する手段を得ることにより、有限であるデータベースの重複登録を避けることができるため、効率的にデータベースへの登録情報管理が行える。また、実施形態によれば、システム運用中にデータベースに登録されている顔特徴量を用いて巡回照合を行なうことにより重複登録確認する手段を得ることにより、有限であるデータベースへの重複登録を検出し管理者に注意喚起することができるため、効率的にデータベースへの登録情報管理が行える。

【0019】

また、それら効率的にデータベースの登録の構築を行なうことにより、照合対象の最大登録数の無駄がなくなり、データベースの全ての登録情報に照合を行ない完了するまでの処理時間の増大を抑制することが可能となる。

【実施例】

【0020】

実施例に係る顔照合技術（顔照合システム）を用いた監視システムについて図４を用いて説明する。図４は実施例に係る監視システムの構成を示すブロック図である。

【0021】

実施例に係る監視システム１００は、監視フロアに設置される監視カメラ２２と、監視センタ内の映像記録装置２４および映像表示装置２８と、それらを接続するネットワークＳＷ２３と、を備える。監視カメラ２２は監視エリア内に複数設置され、それぞれの監視場所の周囲を撮影する。監視カメラ２２にて撮影される映像または映像記録装置２４に記録される映像を、ネットワークＳＷ２３を介して、映像表示装置２８にて閲覧してシステム運用を行なう。監視システム１００は、さらに顔特徴量を抽出し照合し通報し登録する特徴量処理装置２５、特徴量ＤＢ２５−１への登録操作を行う登録操作装置２６、および通報結果を表示する表示装置２７を追加する形で構成される。特徴量処理装置２５は、例えば、コンピュータシステムなどから構成され、顔特徴量の抽出／照合等を行うプログラムを格納する記憶部やそのプログラムを実行するＣＰＵ等を含む構成とされる。登録操作装置２６も特徴量処理装置２５と同様な構成であり、特徴量ＤＢ２５−１への登録操作を行うプログラムを格納する記憶部やそのプログラムを実行するＣＰＵ等を含む構成とされる。特徴量処理装置２５と登録操作装置２６とは一つのコンピュータシステムで構成してもよい。特徴量ＤＢ２５−１は、例えば、ハードディスクドライブ等の記憶装置を含み構成される。表示装置２７および映像表示装置２８はそれぞれ液晶表示装置等で構成される。表示装置２７と映像表示装置２８とは一つの液晶表示装置で構成してもよい。特徴量処理装置２５は、監視カメラ２２にて撮影される映像または映像記録装置２４にて記録される映像を取得し、映像の中から人物の顔検出および顔特徴量の抽出／照合を行ない、特徴量ＤＢ２５−１に登録した人物に類似した人物を発見したと判断する場合は、表示装置２７に通報を行なう。管理者は、表示装置２７にて通報される情報を元に施設安全維持を図るべく対処を行なう。

【0022】

ここで、監視システム１００における映像を用いて特徴量ＤＢ２５−１へ登録する方法について図５Ａおよび図５Ｂを用いて説明する。図５Ａは実施例に係る監視システムにおける監視カメラ２２で撮影された映像を用いて顔特徴量を特徴量ＤＢ２５−１へ登録する方法のイメージを示す図である。図５Ｂは実施例に係る監視システムにおける映像を用いて顔特徴量を特徴量ＤＢ２５−１へ登録する方法を示すフロー図である。

【0023】

監視カメラ２２で撮影される映像５を取得し（ステップＳ３１）、映像デコードした（ステップＳ３２）後、顔検出を行なう（ステップＳ３３）。特徴量ＤＢ２５−１に登録する管理者は、監視カメラ２２で撮影される映像５にて対象人物の顔Ｂを選択すると（ステップＳ３４）、特徴量照合処理装置２５は顔Ｂの目、鼻、口などの顔器官を検出し（ステップＳ３５）、顔特徴量を抽出する（ステップＳ３６）。表示装置２７は管理者が顔Ｂの特徴量を特徴量ＤＢ２５−１へ登録するための登録画面６を表示する。一例として登録画面６には、人物属性の入力欄、顔Ｂのサムネイル等が表示される。管理者は顔Ｂのサムネイルが表示された登録画面６を見ながら、登録操作装置２６を操作して、入力欄に「不審者Ｂ（登録名）」、「男性（性別）」等の人物属性を入力する（ステップＳ３７）。入力された人物属性は、顔特徴量、サムネイルと共に特徴量ＤＢ２５−１に登録する（ステップＳ３８）。なお、顔Ｂの顔特徴量の抽出（ステップＳ３６）は人物属性の入力前に終了していても良いし、特徴量ＤＢ２５−１への登録（ステップＳ３８）の時点で行われても良い。管理者が、属性情報等の必要な情報を入力し、登録画面６の「登録」ボタンをマウスでクリックしたり指でタッチしたりして特徴量ＤＢ２５−１への登録を行なう（ステップＳ３８）と特徴量ＤＢ２５−１への書き込みがなされ特徴量ＤＢ２５−１に登録される（ステップＳ３９）。

【0024】

次に、不特定多数の人物が撮影される映像から任意の人物を照合対象とする目的で特徴量ＤＢ２５−１に登録する際、既に同一の人物を登録済みであるか否かを事前確認した後登録する方法（第１の方法）について図６Ａおよび図６Ｂを用いて説明する。図６Ａは第１の方法による重複登録を確認するフロー図である。図６Ｂは第１の方法による特徴量ＤＢ２５−１の重複登録を確認する画面を示す図である。

【0025】

監視カメラ２２で撮影される映像５を取得し（ステップＳ４１）、映像デコードした（ステップＳ４２）後、顔検出を行なう（ステップＳ４３）。特徴量ＤＢ２５−１に登録する管理者は、対象人物の顔を選択し（ステップＳ４４）、特徴量照合処理装置２５は管理者が選択した顔の目、鼻、口などの顔器官を検出し（ステップＳ４５）、顔特徴量を抽出する（ステップＳ４６）。表示装置２７は管理者が選択した顔の特徴量を特徴量ＤＢ２５−１へ登録するための登録画面を表示する。一例として登録画面には、人物属性の入力欄、管理者が選択した顔のサムネイル等が表示される。（ステップＳ４７）。管理者は、人物属性の入力欄に属性情報等の必要な情報を入力し、特徴量ＤＢ２５−１への登録を行なう（ステップＳ４８）と、特徴量処理装置２５は本入力情報における顔特徴量を用いて、既に特徴量ＤＢ２５−１に登録されている顔特徴量に対して照合処理を行なう（ステップ４９）。照合判定は、事前設定する“似ている度合（類似度）”を示す閾値を用いて判定を行なう（ステップＳ５０）。なお、本閾値は、管理者によって設定変更が可能である。照合結果の判定において、類似度が閾値を超えるものが存在する場合（ステップＳ５０でＹｅｓの場合）は、一例として、図６Ｂに示すように、表示装置２７に表示される特徴量ＤＢ２５−１への重複登録を確認する確認画面７Ａを介して、登録対象と既登録データを比較して管理者が判断を行なう（ステップＳ５１）。例えば、確認画面７Ａには登録対象の顔映像、既登録データの顔映像および人物属性、登録可否を確認するメッセージ等、が表示される。管理者が登録すると判断する場合（ステップＳ５１でＹｅｓの場合）は、例えば、確認画面７Ａの「Ｙｅｓ」ボタンをマウスでクリックしたり指でタッチしたりして登録する。これにより、登録対象は特徴量ＤＢ２５−１への書き込みがなされ特徴量ＤＢ２５−１に登録される（ステップＳ５２）。管理者が登録しないと判断する場合（ステップＳ５１でＮｏの場合）は、確認画面７Ａの「Ｎｏ」ボタンをマウスでクリックしたり指でタッチしたりして、特徴量ＤＢ２５−１に登録せずに処理を終了する。また、照合結果判定にて、類似度が閾値を超えるものが無い場合（ステップＳ５０でＮｏの場合）は、特徴量ＤＢ２５−１への書き込みがなされ特徴量ＤＢ２５−１に登録される（ステップＳ５２）。

【0026】

次に、システム運用中に特徴量ＤＢ２５−１に登録されている顔特徴量を用いて巡回照合を行なうことにより重複登録を確認する方法（第２の方法）について図７Ａおよび図７Ｂを用いて説明する。なお、特徴量ＤＢ２５−１への登録は図５Ｂに示すフローによって行われる。図７Ａは第２の方法による重複登録を確認するフロー図である。図７Ｂは第２の方法による特徴量ＤＢ２５−１の重複登録を確認する画面を示す図である。

【0027】

システム運用中に、事前設定する定期確認時間になっているかの判定（ステップＳ７１）を介して、巡回照合による重複登録を確認する処理を動作させる。定期確認時間は閾値を用いて判定を行い、本閾値は管理者によって設定変更が可能である。また、巡回照合による確認作業を処理する負荷が照合処理に影響を及ぼさない運用時に処理がされるよう設定されるのが望ましいものである。定期確認時間と判断する場合（ステップＳ７１でＹｅｓの場合）は、特徴量ＤＢ２５−１より登録済みのデータ数（登録数）を取得する（ステップＳ７２）。次に特徴量ＤＢ２５−１に登録済みのデータとインデックスの番号とを対応させて巡回照合を行う。つまり、インデックスの番号に対応する特徴量ＤＢ２５−１に登録済みのデータに対して他の登録済みのデータと照合を行い、それをステップＳ７２で取得した特徴量ＤＢ２５−１の登録数分繰り返すことになる（ステップＳ７４〜ステップＳ８０）。そのため、最初のループに入る前にインデックスの番号の初期化を行う（ステップＳ７３）。そして、今のインデックスの番号がステップＳ７２で取得した特徴量ＤＢ２５−１の登録数を下回っているかどうかを判断する（ステップＳ７４）。下回っている場合（ステップＳ７４でＮｏの場合）、ステップＳ７５〜ステップＳ８０の照合を行う。つまり、本登録数分、順次的に特徴量ＤＢ２５−１から読出しを行ない（ステップＳ７５）、各人物情報毎に登録されている顔特徴量を抽出して取得し（ステップＳ７６）、本顔特徴量を用いて、自インデックスを除く特徴量ＤＢ２５−１に登録されている他の顔特徴量に対して照合処理を行なう（ステップＳ７７）。照合結果の判定は、事前設定する類似度を示す閾値を用いて判定を行なう（ステップＳ７８）。なお、本閾値は、管理者によって設定変更が可能である。照合結果の判定において、類似度が閾値を超えるものが存在する場合（ステップＳ７８でＹｅｓの場合）は、重複確認の対象情報として保存を行なう（ステップＳ７９）。重複確認の対象情報としては、後述する図７Ｂのような後から管理者が重複確認をするための画面を表示するために保存する情報である。例えば、ステップＳ７８で類似度が閾値を超えた際の照合元と照合対象の顔特徴量やサムネイル画像を対応付けて保存しておいてもよいし、特徴量ＤＢ２５−１に保存された照合元と照合対象に対応したインデックスの番号を対応付けて保存するようにしてもよい。そして、ステップＳ７９において、重複確認対象情報を画面に表示するために特徴量ＤＢ２５−１あるいは別の記憶領域に保存することで重複確認対象情報の登録を行う。

【0028】

また、ステップＳ７４において、インデックスの番号がステップＳ７２で取得した特徴量ＤＢ２５−１の登録数を下回っていない場合（ステップＳ７４でＹｅｓの場合）、つまり特徴量ＤＢ２５−１に登録済みの情報に対して全て重複確認を終えると、一例として、図７Ｂに示すように、重複確認の対象情報を読み出して表示装置２７に特徴量ＤＢ２５−１への重複登録を確認する確認画面７Ｂを表示する（ステップＳ８１）。管理者は、確認画面７Ｂを介して、既登録データにて重複登録がされているかを判断し、必要な場合は既登録データの削除を行なう。例えば、図７Ｂに示すように、確認画面７Ｂには既登録データの顔映像および人物属性、削除を確認するメッセージ等、が表示される。管理者は重複登録されているデータを確認画面７Ｂの「削除」ボタンをマウスでクリックしたり指でタッチしたりして削除する。

【0029】

なお、重複登録を確認する第２の方法は、事前設定する定期確認時間になっているかの判定（ステップＳ７１）を介した動作となっているが、管理者が指定した任意のタイミングで処理を動作させてもよい。例えば、表示装置２７に重複確認ボタンを設け、管理者が重複確認ボタンを押下した際に特徴量ＤＢ２５−１より登録済みの登録数を取得する（ステップＳ７２）ようにしてもよい。

【0030】

実施例によれば、有限である特徴量ＤＢの重複登録を避けることができるため、または重複登録を検出し管理者に注意喚起して重複登録を削除することができるため、効率的に特徴量ＤＢへの登録情報管理が行え、照合対象の最大登録数の無駄がなくなり、特徴量ＤＢの全ての登録情報に照合を行ない完了するまでの処理時間を短縮することができる。

【0031】

また、既登録データにおいて、巡回照合を行い、類似度が閾値を超えるものを重複確認の対象情報として保存することによって、既登録データ内で重複登録の可能性がある対象をまとめて確認することができる。このような処理にすることで、管理者が顔特徴量を登録する際の重複確認処理や登録画面の表示を行わなくても重複確認が可能となる。

【0032】

以上、本発明者によってなされた発明を実施形態及び実施例に基づき具体的に説明したが、本発明は、上記実施の形態及び実施例に限定されるものではなく、種々変更可能であることはいうまでもない。

【0033】

例えば、表示装置２７に表示された重複登録を確認する確認画面７Ｂに、「確認」ボタンを設け、管理者が重複していないと判断した場合に「確認」ボタンを押すような実装にしてもよい。このとき、管理者が「確認」ボタンを押すと、「確認」ボタンを押された重複確認の対象情報に対応する既登録データに対して重複確認済みである情報を付与する。例えば、図７Ｂの重複確認画面において、管理番号９００１（不審者Ａ）、管理番号９５６７（不審者Ｇ）、管理番号９７８９（不審者Ｍ）が表示されており、管理者が不審者Ａ、不審者Ｇ、不審者Ｍは重複していないと判断する。ここで管理者が「確認」ボタンを押すと、重複確認の対象情報として紐づけられている不審者Ａ、不審者Ｇ、不審者Ｍに対応する顧客ＤＢ２５−１に保存された各既登録データに重複確認済みである情報を付与する。例えば、不審者Ａの既登録データに対して、不審者Ｇと不審者Ｍの既登録データは重複確認済みである情報を付与し、不審者Ｇの既登録データに対して、不審者Ａと不審者Ｍの既登録データは重複確認済みである情報を付与し、不審者Ｍの既登録データに対して、不審者Ａと不審者Ｇの既登録データは重複確認済みである情報を付与する。そして、例えば図７ＡのステップＳ７８において、照合元の重複確認済みである情報を確認し、照合対象が重複確認済みであるかどうかを判定する処理を加え、重複確認済みであれば、ステップＳ７８のＮｏへ進むようにする。このような構成にすることで、管理者が一度重複確認を判断した既登録データの組み合わせを再度重複確認の対象情報として登録することを防ぐことができ、管理者は最低限の確認で重複登録の確認を行うことができるようになる。好ましくは、ステップＳ７８において、照合を行う前に重複確認済みであるかどうかを判定するようにし、重複確認済みであれば照合を実行しない構成にすることで無駄な照合処理を行わないようにして巡回照合の時間を短縮するようにするとよい。

【0034】

本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリに格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。

【0035】

また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

【産業上の利用可能性】

【0036】

本開示は管理者が不審者等を予めデータベースに登録する顔照合システムに利用可能である。

【符号の説明】

【0037】

１Ａ・・・社員情報管理テーブル
１Ｂ・・・特徴量ＤＢテーブル
２・・・ネットワークＳＷ
３・・・人物情報管理装置
３−１・・・人物ＤＢ
４・・・特徴量処理装置
４−１・・・特徴量ＤＢ
５，５Ａ，５Ｂ，５Ｃ・・・映像
６，６Ａ，６Ｂ・・・登録画面
７Ａ，７Ｂ・・・確認画面
２２，２２Ａ，２２Ｂ・・・監視カメラ
２３・・・ネットワークＳＷ
２４・・・映像記録装置
２５・・・特徴量処理装置
２５−１・・・特徴量ＤＢ
２６・・・登録操作装置
２７・・・表示装置
２８・・・映像表示装置
１００・・・監視システム
１０１・・・顔照合システム

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】