特許 6376403 同一人物映像に対する顔画像間欠切出し制御機構を用いたターゲット発見システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6376403

(24)【登録日】2018年8月3日

(45)【発行日】2018年8月22日

(54)【発明の名称】同一人物映像に対する顔画像間欠切出し制御機構を用いたターゲット発見システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20180813BHJP

   H04N 7/18 20060101ALI20180813BHJP

【ＦＩ】

   G06T7/00 510F

   H04N7/18 E

【請求項の数】2

【全頁数】13

(21)【出願番号】特願2015-95545(P2015-95545)

(22)【出願日】2015年5月8日

(65)【公開番号】特開2016-212615(P2016-212615A)

(43)【公開日】2016年12月15日

【審査請求日】2017年7月20日

【新規性喪失の例外の表示】特許法第３０条第２項適用 次期東京オリンピックに向けた監視カメラ及び顔画像識別技術の活用，澤田雅之，平成２７年２月２０日，ｐ４１−４３，ｐ４６−４８

(73)【特許権者】

【識別番号】315006001

【氏名又は名称】澤田 雅之

(74)【代理人】

【識別番号】100080104

【弁理士】

【氏名又は名称】仁科 勝史

(72)【発明者】

【氏名】澤田 雅之

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２００８−３０１１６２（ＪＰ，Ａ）

【文献】 特開２０００−３０６０９５（ＪＰ，Ａ）

【文献】 特開２００３−２９６７１１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

監視カメラと、監視カメラ顔画像生成プロセスと、顔画像識別照合プロセスと、ウオッチリストと、警報表示端末とで構成され、監視カメラ顔画像生成プロセスにおいて監視カメラのライブ映像から生成する監視カメラ顔画像を用いて、顔画像識別照合プロセスにおいてウオッチリストに予め登録した発見したい人物の顔画像であるターゲット顔画像と照合することにより、発見したい人物を監視カメラのライブ映像の中から発見し、警報表示端末に通知する仕組みであるターゲット発見システムにおいて、

前記発見の精度を高めるために、同一の人物を捉えた一連のライブ映像の中から、一定の時間間隔で当該人物の複数の監視カメラ顔画像を生成してターゲット顔画像との照合に供することができるようにするために、

前記監視カメラ顔画像生成プロセスが、顔検出部と、顔画像間欠切出し制御機構と、顔切出し部を有し、該顔画像間欠切出し制御機構が、ウィンドウ管理テーブルと、間欠切出し制御機能と、ウィンドウサイズ閾値設定機能と、監視カメラ顔画像生成時間間隔設定機能とを備え、

前記監視カメラ顔画像生成プロセスにおける顔検出部で、
ライブ映像のフレーム画像の中から顔画像を検出してウィンドウとして捉え、該ウィンドウのサイズと前記フレーム画像上の位置とウィンドウ識別符号を前記ウィンドウ管理テーブルに書き込み、

前記監視カメラ顔画像生成プロセスにおける顔画像間欠切出し制御機構で、
前記ウィンドウ管理テーブルに書き込まれたウィンドウサイズがウィンドウサイズ閾値設定機能で予め設定した閾値を超えた時点から、前記顔検出部で顔画像の検出ができなくなる時点までの間にわたって、
前記顔切出し部に対してウィンドウ識別符号で特定する同一人物の顔画像を、監視カメラ顔画像生成時間間隔設定機能で予め設定した監視カメラ顔画像生成時間間隔でライブ映像の中から複数の監視カメラ顔画像として順次生成させ、

前記顔画像識別照合プロセスにおいて、
前記監視カメラ顔画像が順次生成されるその都度に前記ウオッチリストに予め登録した発見したい人物の顔画像であるターゲット顔画像と前記順次生成された監視カメラ顔画像とを順次照合すること

を特徴とする同一人物映像に対する顔画像間欠切出し制御機構を用いたターゲット発見システム。

【請求項2】

上記顔画像間欠切出し制御機構に、監視カメラ顔画像最大生成数設定機能を付加し、
該監視カメラ顔画像最大生成数設定機能で、
監視カメラの視野内に同一の人物が長時間にわたって留まる場合に、当該人物に係る上記監視カメラ顔画像が長時間にわたって生成され続けないようにするための監視カメラ顔画像の最大生成数を予め設定し、
前記顔画像間欠切出し制御機構で、
上記ウィンドウ識別符号ごとに生成済みの監視カメラ顔画像の枚数を計数して、前記監視カメラ顔画像最大生成数に達した場合には当該人物に係る監視カメラ顔画像の生成を停止させることを特徴とする請求項１に記載の同一人物映像に対する顔画像間欠切出し制御機構を用いたターゲット発見システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオカメラで撮影した監視カメラ顔画像とウオッチリストに予め登録済みのターゲット顔画像とを顔画像識別照合技術を用いて比較照合することにより、監視カメラ顔画像の人物を特定する顔画像自動識別照合システムに関するもので、詳しくは、同一人物映像に対する顔画像間欠切出し制御機構を用いたターゲット発見システムに関する。

【背景技術】

【0002】

実運用に耐えるターゲット発見システムとするには、高い本人発見率と極めて低い他人誤認率の両立を実現する必要がある。ここで、本人発見率とは、監視カメラで捉えた人物がウオッチリスト内に登録された人物と真に同一である場合に、発見の警報を出力する確率をいい、他人誤認率とは、監視カメラで捉えた人物がウオッチリスト内に登録された人物と同一ではないにも関わらず、同一であるとして発見の警報を誤って出力する確率をいう。

【0003】

上記監視カメラ顔画像及び上記ターゲット顔画像が共に運転免許証写真に相当する高品質な顔画像であれば、すなわち、監視カメラ顔画像及びターゲット顔画像が共に緻密かつ鮮明にほぼ正面から撮影された瞬きしていない無表情な顔画像であれば、高い本人発見率と極めて低い他人誤認率の両立を実現することは難しくはない。

【0004】

ターゲット顔画像については、緻密かつ鮮明にほぼ正面から撮影された瞬きしていない無表情な顔画像を用いることが可能である。しかし、監視カメラ顔画像に関しては不可能ではないがいくつかの問題がある。

【0005】

監視カメラ顔画像の元となるライブ映像については、通路を歩行中の顔であれば、「監視カメラ稼働中」等の表示を際立たせて注意を引き付けたとしても、通路に設置した監視カメラに正対し続けるとは限らない。通路を歩行する際には、足元の段差や障害物の有無に気をつけるために目線を下げて俯きがちになったり、周囲の物音や人の気配の方向、あるいは興味を引かれたショーウィンドウなどに目線を遣ることに伴って顔が動くからである。

【0006】

また、カウンター越しに対話中の顔であっても、カウンター内に設置した監視カメラに正対し続けるとは限らない。鞄から眼鏡を取り出したり、身分証を確認したり、同伴者と相談などする都度、目線に連れて顔が動くからである。

【0007】

監視カメラで同一の人物をこのように捉えた一連のライブ映像の中からでも、人の目であれば、照合に最も適する一つの顔画像（理想は緻密かつ鮮明にほぼ正面から撮影された瞬きしていない無表情な顔画像）を選び出すことは難しくはない。

【0008】

しかし、ターゲット発見システムの監視カメラ顔画像生成プロセスにおいて照合に最も適する一つの顔画像を人の目と同じように選び出そうとすれば、技術的に複雑な仕組みを設けなければならないので処理遅延の発生原因となる。

【0009】

一方、ターゲット発見システムにおいては、処理を高速に行う必要がある。すなわち、監視カメラで人物を捉えた時点からターゲット顔画像と合致した場合の警報を出力する時点までの処理に要する時間を、数十秒の単位ではなく秒の単位の短時間とする必要がある。

【0010】

ところが、照合に最も適する一つの顔画像を機械的に選び出そうとすると、仕組みの複雑さに伴う前記処理遅延の発生に加えて、同一の人物を捉えた一連のライブ映像の始めから終わりまでを対象として顔画像比較選別の処理をしなければならないため、監視カメラで人物を捉えた時点からターゲット顔画像と合致した場合の警報を出力する時点までの処理に要する時間を、秒の単位の短時間とすることが困難となる。

【0011】

そこで、従来のターゲット発見システムでは、ライブ映像のフレーム画像の中から顔検出部において顔画像を自動的に検出して捉えたウィンドウのサイズが予め設定した閾値を超えた場合には、フレーム画像上の該当するウィンドウの位置とサイズを顔切出し部に通知し、顔切出し部において通知されたウィンドウの位置とサイズに基づいてフレーム画像から顔画像を切出して監視カメラ顔画像を生成するとともに、後に続くフレーム画像からの同一の人物の顔画像に係る連続した通知を防止するために、通知済みであることを示す通知済み符号をウィンドウ管理テーブル上の当該ウィンドウに付与しているにすぎなかった。

【0012】

このため、監視カメラが同一の人物を捉えた一連のライブ映像の中には、緻密かつ鮮明にほぼ正面から撮影されており瞬きしておらず無表情であるところの正に理想的な顔画像が存在するとは限らないが、理想に最も近い顔画像、すなわち、一連のライブ映像の中には照合に最も適する顔画像は必ず存在しているにも関わらず、従来のターゲット発見システムでは、生成された監視カメラ顔画像が照合に最も適する顔画像であるか否かは全く関知できなかった。このことが、従来のターゲット発見システムにおいて、高い本人発見率と極めて低い他人誤認率の実現を阻む最大の原因であった。

【先行技術文献】

【特許文献】

【0013】

【特許文献1】特開２０００−３０６０９５号公開特許公報

【特許文献2】特開２００３−２９６７１１号公開特許公報

【発明の概要】

【発明が解決しようとする課題】

【0014】

顔画像識別照合技術を用いて監視カメラのライブ映像の中からターゲット（発見したい人物）を自動的に発見するターゲット発見システムにおいて、高い本人発見率と極めて低い他人誤認率の両立を実現するために、照合に最も適する顔画像をライブ映像の中から切出して照合に供することが本発明の課題である。

【課題を解決するための手段】

【0015】

本発明は、同一人物映像に対する顔画像間欠切出し制御機構を用いたターゲット発見システムである。第１の発明は、上記課題を解決するために、同一人物映像に対する顔画像間欠切出し制御機構を新規創作し、ターゲット発見システムに次のように用いた。

【0016】

第１に、ターゲット発見システムは、監視カメラと、監視カメラ顔画像生成プロセスと、顔画像識別照合プロセスと、ウオッチリストと、警報表示端末とで構成され、監視カメラ顔画像生成プロセスにおいて監視カメラのライブ映像から生成する監視カメラ顔画像を用いて、顔画像識別照合プロセスにおいてウオッチリストに予め登録した発見したい人物の顔画像であるターゲット顔画像と照合することにより、発見したい人物を監視カメラのライブ映像の中から発見し、警報表示端末に通知する仕組みとする。

【0017】

第２に、同一の人物を捉えた一連のライブ映像の中から、一定の時間間隔で当該人物の複数の監視カメラ顔画像を生成してターゲット顔画像との照合に供することができるようにするために、以下の手段を採用する。

【0018】

第３に、前記監視カメラ顔画像生成プロセスが、顔検出部と、顔画像間欠切出し制御機構と、顔切出し部を有し、該顔画像間欠切出し制御機構が、ウィンドウ管理デーブルと、間欠切出し制御機能と、ウィンドウサイズ閾値設定機能と、監視カメラ顔画像生成時間間隔設定機能とを備える。

【0019】

第４に、前記監視カメラ顔画像生成プロセスにおける顔検出部で次のことを行う。すなわち、監視カメラから入力されるライブ映像のフレーム画像の中から人物の顔画像を検出して、顔画像の大きさに応じたウィンドウとして捉え、該ウィンドウのサイズと前記フレーム画像上の位置とウィンドウ識別符号を前記ウィンドウ管理テーブルに書き込む。

【0020】

第５に、前記監視カメラ顔画像生成プロセスにおける顔画像間欠切出し制御機構で次のことを行う。すなわち、前記ウィンドウ管理テーブルに書き込まれたウィンドウサイズがウィンドウサイズ閾値設定機能で予め設定した閾値を超えた時点から、顔検出部で顔画像の検出ができなくなる時点までの間にわたって、顔切出し部に対して前記ウィンドウ識別符号で特定する同一人物の顔画像を、監視カメラ顔画像生成時間間隔設定機能で予め設定した監視カメラ顔画像生成時間間隔でライブ映像の中から監視カメラ顔画像として順次生成させることにより、同一人物に係る一連のライブ映像の中に存在する照合に最も適する顔画像をサンプリングの手法で捉えて監視カメラ顔画像として生成させる。サンプリングの手法とは、一定時間間隔でデータを取り出す（読み出す）手法を言う。

【0021】

第６に、前記顔画像識別照合プロセスにおいて、前記の同一人物の複数の監視カメラ顔画像が順次生成されるその都度に、前記ウオッチリストに予め登録した発見したい人物の顔画像であるターゲット顔画像と順次照合する。前記サンプリングの手法で生成された照合に最も適する監視カメラ顔画像とターゲット顔画像との照合精度は、当該人物の他の監視カメラ顔画像とターゲット顔画像との照合精度よりも高くなる特性を用いて、前記顔画像識別照合プロセスにおける監視カメラ顔画像とターゲット顔画像の同一性を判定する基準となる閾値を従来のターゲット発見システムに比べて高く設定することにより、高い本人発見率と極めて低い他人誤認率の両立を実現する。

【0022】

第２の発明は、監視カメラの視野内に同一の人物が長時間にわたって留まる場合であっても、以下の仕組みにより前記顔画像識別照合プロセスが過負荷に陥らない特徴を備えた同一人物映像に対する顔画像間欠切出し制御機構を用いたターゲット発見システムである。
第１に、上記顔画像間欠切出し制御機構に、監視カメラ顔画像最大生成数設定機能を付加し、監視カメラの視野内に同一の人物が長時間にわたって留まる場合に、当該人物に係る上記監視カメラ顔画像が長時間にわたって生成され続けないようにするための監視カメラ顔画像の最大生成数を予め設定する。
第２に、前記顔画像間欠切出し制御機構で、上記ウィンドウ識別符号ごとに生成済みの監視カメラ顔画像の枚数を計数して、前記監視カメラ顔画像最大生成数設定機能で予め設定した監視カメラ顔画像最大生成数に達した場合には、前記ウィンドウ識別符号で特定する人物に係る監視カメラ顔画像の生成を停止させる。

【発明の効果】

【0023】

本発明による顔画像間欠切出し制御機構を用いたターゲット発見システムでは、同一人物に係る一連のライブ映像の中から照合に最も適する顔画像をサンプリングの手法で捉えて、サンプリングの都度に生成される全ての監視カメラ顔画像を生成順に用いて、顔画像識別照合プロセスにおいてウオッチリストに登録された各ターゲット顔画像との照合を行うことができる。

【0024】

前記照合の際に、監視カメラ顔画像の人物がターゲット顔画像の人物と真に同一であった場合には、照合に最も適する監視カメラ顔画像とターゲット顔画像との照合精度が、当該人物に係る他の監視カメラ顔画像とターゲット顔画像との照合精度に比べて最も高くなることは明白である。

【0025】

本発明では、照合に最も適する監視カメラ顔画像を、すなわち、同一人物であるターゲット顔画像との照合精度が最も高くなる監視カメラ顔画像を、サンプリングの手法で生成し、ターゲット顔画像との照合に供することができる。このため、前記顔画像識別照合プロセスにおいて、監視カメラ顔画像とターゲット顔画像との同一性を判定する基準とする閾値を、従来のターゲット発見システムと比べて高く設定できる。従って、本発明では、本人発見率を低下させることなく、他人誤認率を極めて低い確率に抑え込むことができるのであり、言い換えれば、高い本人発見率と極めて低い他人誤認率の両立を実現することができる。

【0026】

また、監視カメラ顔画像の人物がターゲット顔画像の人物と真に同一であった場合には、同一の人物に係る複数の監視カメラ顔画像が同一性を判定する基準となる前記閾値を超えることも十分にあり得る。この場合には、監視カメラ顔画像が前記閾値を超える都度、ターゲット発見の警報が該当するターゲット顔画像及び監視カメラ顔画像とともに警報表示端末に出力される。

【0027】

このため、警報表示端末の運用者側から見れば、同一の人物に係る複数回にわたる警報出力は、真にターゲット本人かあるいは誤認のおそれがあるかの判断材料の一つとして活用できるので、実質的な他人誤認率を限りなく零に近づけることができる。

【0028】

次に、本発明による顔画像間欠切出し制御機構を用いたターゲット発見システムでは、同一の人物に係る監視カメラ顔画像が順次に生成されるその都度に、顔画像識別照合プロセスにおいてターゲット顔画像との照合を行うことから、監視カメラ顔画像の生成速度が顔画像識別照合プロセスの処理速度以下（生成速度が処理速度より遅い）であれば、特段の処理遅延が生じることはない。

【0029】

監視カメラ顔画像の生成速度が顔画像識別照合プロセスの処理速度を超えている（生成速度が処理速度より速い）場合には、従来のターゲット発見システムと同様に、顔画像識別照合プロセスを複数本設けて同時に作動させて複数の監視カメラ顔画像を並行して処理することにより、特段の処理遅延が生じないようにできる。

【0030】

さらに、第２の発明の効果ではあるが、同一の人物について監視カメラ顔画像として生成された累計枚数をウィンドウ識別符号ごとの監視カメラ顔画像既生成数として計数して、監視カメラ顔画像既生成数が予め設定した監視カメラ顔画像最大生成数に達した場合には当該ウィンドウ識別符号で特定する人物に係る監視カメラ顔画像の生成を停止することにより、監視カメラの視野内に同一の人物が長時間にわたって留まる場合に、当該人物に係る監視カメラ顔画像が長時間にわたって生成され続けて顔画像識別照合プロセスが過負荷に陥ることを防止できる。

【0031】

以上に記載した効果により、本発明による顔画像間欠切出し制御機構を用いたターゲット発見システムでは、監視カメラが同一の人物を捉えた一連のライブ映像の中から照合に最も適する顔画像を含む複数の監視カメラ顔画像を順次に生成するその都度にターゲット顔画像との照合を行うため、照合に最も適する監視カメラ顔画像の活用による高い本人発見率と極めて低い他人誤認率の両立を実現できるとともに、監視カメラが人物を捉えた時点からターゲット顔画像と合致した場合の警報を出力する時点までの処理に要する時間を秒の単位の短時間とすることができる。

【図面の簡単な説明】

【0032】

【図1】ターゲット発見システムの概要を示すブロック図

【図2】上記システムの処理ステップを示したフローチャート

【図3】顔画像間欠切出し制御機構を用いたターゲット発見システムにおける監視カメラ顔画像生成プロセスのブロック図

【図4】上記プロセスの処理ステップを示したフローチャート

【図5】顔画像識別照合プロセスのブロック図

【図6】上記プロセスの処理ステップを示したフローチャート

【図7】顔画像間欠切出し制御機構のブロック図

【図8】上記機構の処理ステップを示した説明図

【発明を実施するための形態】

【0033】

以下、本発明の実施形態について、図面を参照して説明する。図１は、ターゲット発見システムの概要を示すブロック図であり、図２は、ターゲット発見システムの処理ステップを示したフローチャートである。図１に示されるターゲット発見システムの概要は、監視カメラ１００と、監視カメラ顔画像生成プロセス２００と、顔画像識別照合プロセス３００と、ウオッチリスト４００と、警報表示端末５００とで構成される。

【0034】

ターゲット発見システムの概要の動作原理は図２に示されるとおりである。
第１に、監視カメラ１００でライブ映像を撮影する。
第２に、監視カメラ顔画像生成プロセス２００において、監視カメラ１００から入力するライブ映像の中から監視カメラ顔画像を生成し、顔画像識別照合プロセス３００に出力する。
第３に、顔画像識別照合プロセス３００において、監視カメラ顔画像生成プロセス２００から入力する監視カメラ顔画像とウオッチリスト４００に登録したターゲット顔画像との照合を行う。
第４に、前記照合で、合致した場合にはターゲットを発見した旨の警報を警報表示端末５００に出力する。

【0035】

以上説明したターゲット発見システムの概要は、従来より存在するシステムであり、本発明の特徴は、該システム中、監視カメラ顔画像生成プロセス２００において同一の人物に係る複数の監視カメラ顔画像を一定の時間間隔で順次生成するための顔画像間欠切出し制御機構を設けたことである。そして、監視カメラ顔画像生成プロセス２００では、同一の人物に係る複数の監視カメラ顔画像を順次生成し、顔画像識別照合プロセス３００では、同一の人物に係る全ての監視カメラ顔画像とウオッチリスト４００に登録したターゲット顔画像との照合を、同一の人物に係る複数の監視カメラ顔画像が順次生成されるその都度に行う。図３が、この監視カメラ顔画像生成プロセス２００のブロック図であり、図４は、監視カメラ顔画像生成プロセス２００の処理ステップを示したフローチャートである。

【0036】

図３に示される監視カメラ顔画像生成プロセス２００は、顔検出部２１０、顔画像間欠切出し制御機構２２０、顔切出し部２３０及び画像バッファ２４０で構成され、図４のフローチャートで示される動作原理は、次のとおりである。

【0037】

第１に、顔検出部２１０は、監視カメラ１００から入力されるライブ映像のフレーム画像の中から人物の顔画像を検出（複数の顔画像の同時検出も可能）して、顔画像間欠切出し制御機構２２０に通知する。

【0038】

第２に、顔画像間欠切出し制御機構２２０は、顔検出部２１０から通知された顔画像の中から監視カメラ顔画像として生成する顔画像と生成するタイミングを判別して、顔切出し部２３０を制御する。

【0039】

第３に、顔切出し部２３０は、顔画像間欠切出し制御機構２２０の制御に基づき、ライブ映像の中から同一の人物に係る複数の顔画像を一定の時間間隔で間欠的に切出して監視カメラ顔画像を順次生成し、画像バッファ２４０に出力する。

【0040】

第４に、画像バッファ２４０は、顔切出し部から入力される監視カメラ顔画像を、顔画像識別照合プロセス３００における識別照合処理が完了するまでの間、一時的に保持する。

【0041】

監視カメラ顔画像生成プロセス２００の次には顔画像識別照合プロセス３００がある。顔画像識別照合プロセス３００における処理は、監視カメラ顔画像生成プロセス２００において監視カメラ顔画像が順次生成されるその都度に、行われる。図５は、顔画像識別照合プロセス３００のブロック図であり、図６は、顔画像識別照合プロセス３００の処理ステップを示したフローチャートである。

【0042】

図５に示される顔画像識別照合プロセス３００は、ベクトルデータ生成部３１０、類似度計算部３２０、同一性判定部３３０及び警報表示端末用インタフェース部３４０で構成され、図６のフローチャートで示される動作原理は、次のとおりである。

【0043】

第１に、ベクトルデータ生成部３１０において、監視カメラ顔画像生成プロセス２００の画像バッファ２４０から監視カメラ顔画像を取り込み、顔画像間の類似度計算に用いるベクトルデータを生成して類似度計算部３２０に出力する。

【0044】

第２に、類似度計算部３２０において、ウオッチリスト４００内に登録された各ターゲット顔画像から予め生成したベクトルデータと、ベクトルデータ生成部３１０で監視カメラ顔画像から生成したベクトルデータとの間の距離計算を行って類似度スコア値を算出し、同一性判定部３３０に出力する。

【0045】

第３に、同一性判定部３３０において、類似度計算部３２０から入力される各ターゲット顔画像との類似度スコア値の中の最上位の類似度スコア値が、同一性判定の基準とするために予め設定した閾値を超えた場合には、該当するターゲット顔画像が監視カメラ顔画像と同一人物のものであると判定する。

【0046】

第４に、前記同一性判定部３３０において同一人物のものであると判定された場合には、ターゲット発見の警報を該当するターゲット顔画像及び監視カメラ顔画像とともに、警報表示端末用インタフェース部３４０を経て警報表示端末５００に出力する。

【0047】

なお、ライブ映像の中から複数人の顔画像が監視カメラ顔画像としてほぼ同時に生成される場合に顔画像識別照合プロセス３００において警報出力までの処理遅延が増大しないようにするには、顔画像識別照合プロセス３００を複数本設けて同時に作動させることにより、複数人の監視カメラ顔画像を並行して処理する。

【0048】

ここで本発明の特徴的部分をなす顔画像間欠切出し制御機構２２０の詳細について説明する。図７は、監視カメラ顔画像生成プロセス２００における顔画像間欠切出し制御機構２２０の詳細を示すブロック図であり、図８は、顔画像間欠切出し制御機構２２０の処理ステップを示した説明図である。

【0049】

図７に示される顔画像間欠切出し制御機構２２０は、ウィンドウ管理テーブル２２１と、間欠切出し制御機能２２２と、間欠切出し制御機能２２２に各種設定を行う監視カメラ顔画像生成時間間隔設定機能２２３とウィンドウサイズ閾値設定機能２２４と監視カメラ顔画像最大生成数設定機能２２５とで構成される。顔画像間欠切出し制御機構２２０の制御は、主として間欠切出し制御機能２２２によって行われる。顔画像間欠切出し制御機構２２０の動作原理は、次のとおりである。

【0050】

第１に、監視カメラ１００から入力されるライブ映像のフレーム画像の中から顔検出部２１０において人物の顔画像を検出（複数の顔画像の同時検出も可能）して、顔画像の大きさに応じたウィンドウとして捉え、フレーム画像上におけるウィンドウの位置とサイズをウィンドウ管理テーブル２２１上で、次のフレーム画像が処理されてウィンドウ管理テーブル２２１が更新されるまでの間、一時的に管理する。

【0051】

次のフレーム画像上ではウィンドウの位置やサイズが一つ前のフレーム画像と比べて変化し得るが、顔検出部２１０において前後のフレーム画像の差分を取ってウィンドウの位置とサイズの変化を抽出することにより同一人物の顔画像を捉えたウィンドウを特定する。

【0052】

そして、ウィンドウ管理テーブル２２１上の各ウィンドウにウィンドウ識別符号を付与して前後のフレーム画像において同一人物の顔画像を捉えたウィンドウ間でウィンドウ識別符号を継承することにより、後に続くどの時点のフレーム画像においても同一人物の顔画像を捉えたウィンドウを特定できるようにする。

【0053】

第２に、従来のターゲット発見システムにおいてウィンドウ識別符号が同じである顔画像に係る顔切出し部への連続した切出し通知を防止するために用いていた通知済み符号に代えて、本発明による顔画像間欠切出し制御機構２２０を用いたターゲット発見システムでは、顔切出し部２３０への切出しを通知した最新の時刻をウィンドウ識別符号ごとにウィンドウ管理テーブル２２１で管理するとともに、ウィンドウ識別符号ごとの監視カメラ顔画像既生成数を間欠切出し制御機能２２２で計数して、当該ウィンドウが消滅するまでの間、すなわち、顔画像の検出ができなくなる時点までにわたってウィンドウ管理テーブル２２１で管理する。

【0054】

第３に、監視カメラ顔画像生成時間間隔設定機能２２３を用いて監視カメラ顔画像生成時間間隔を設定し、ウィンドウサイズ閾値設定機能２２４を用いて監視カメラ顔画像の生成対象とするウィンドウサイズの閾値を設定し、監視カメラ顔画像最大生成数設定機能２２５を用いて監視カメラ顔画像の最大生成数を設定する。

【0055】

第４に、顔検出部２１０において１枚のフレーム画像を処理する都度に、かつ、次のフレーム画像が処理されるまでの間に、顔検出部２１０からウィンドウ管理テーブル２２１に書き込まれる全てのウィンドウについて次の処理を間欠切出し制御機能２２２で順次に行う。

【0056】

間欠切出し制御機能２２２で、ウィンドウ管理テーブル２２１に書き込まれたウィンドウサイズを予め設定されたウィンドウサイズ閾値と比較し、ウィンドウサイズが閾値を初めて超えた時点で監視カメラ顔画像生成時間間隔に基づく監視カメラ顔画像の間欠的な生成を開始する。

【0057】

具体的には、ウィンドウサイズが閾値を初めて超えた時点でフレーム画像上の該当するウィンドウの位置とサイズを顔切出し部２３０に通知して監視カメラ顔画像を生成させるとともに、通知した現在時刻を最新通知時刻としてウィンドウ管理テーブル２２１にウィンドウ識別符号ごとにセットし、また、監視カメラ顔画像既生成数として１をウィンドウ管理テーブル２２１にウィンドウ識別符号ごとにセットする。

【0058】

この後に続くフレーム画像を処理する都度に、ウィンドウ管理テーブル２２１にウィンドウ識別符号ごとにセットされている監視カメラ顔画像既生成数を監視カメラ顔画像最大生成数と比較する。

【0059】

比較の結果、監視カメラ顔画像既生成数が監視カメラ顔画像最大生成数に達していない場合には、次に、ウィンドウ管理テーブル２２１にウィンドウ識別符号ごとにセットされている最新通知時刻と現在時刻との時間間隔が監視カメラ顔画像生成時間間隔に達したか否かを判断する。

【0060】

その結果、監視カメラ顔画像生成時間間隔に達した場合には、フレーム画像上の該当するウィンドウの位置とサイズを顔切出し部２３０に通知して監視カメラ顔画像を生成させるとともに、ウィンドウ識別符号ごとの監視カメラ顔画像既生成数に１を加算し、また、最新通知時刻として現在時刻をウィンドウ管理テーブル２２１にウィンドウ識別符号ごとにセットする。

【0061】

なお、監視カメラ顔画像既生成数が監視カメラ顔画像最大生成数に達した場合には監視カメラ顔画像の生成を終了する。このようにして、ウィンドウ管理テーブル２２１に書き込まれたウィンドウサイズがウィンドウサイズ閾値設定機能で予め設定した閾値を超えた時点から、顔検出部２１０で顔画像の検出ができなくなる時点までの間にわたって、顔切出し部２３０に対してウィンドウ識別符号で特定する同一人物の顔画像を、監視カメラ顔画像生成時間間隔設定機能２２３で予め設定した監視カメラ顔画像生成時間間隔でライブ映像の中から複数の監視カメラ顔画像として順次生成させるのである。

【0062】

この仕組みにより、同一人物に係る一連のライブ映像の中に存在する照合に最も適する顔画像をサンプリングの手法で捉えて、照合に最も適する監視カメラ顔画像として、ターゲット顔画像との照合に供することができる。

【符号の説明】

【0063】

１００・・・・・監視カメラ
２００・・・・・監視カメラ顔画像生成プロセス
２１０・・・・・顔検出部
２２０・・・・・顔画像間欠切出し制御機構
２２１・・・・・ウィンドウ管理テーブル
２２２・・・・・間欠切出し制御機能
２２３・・・・・監視カメラ顔画像生成時間間隔設定機能
２２４・・・・・ウィンドウサイズ閾値設定機能
２２５・・・・・監視カメラ顔画像最大生成数設定機能
２３０・・・・・顔切出し部
２４０・・・・・画像バッファ
３００・・・・・顔画像識別照合プロセス
３１０・・・・・ベクトルデータ生成部
３２０・・・・・類似度計算部
３３０・・・・・同一性判定部
３４０・・・・・警報表示端末用インタフェース部
４００・・・・・ウオッチリスト
５００・・・・・警報表示端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】