(58)【調査した分野】(Int.Cl.,DB名)
【背景技術】
【0002】
近年、犯罪事件発生数の増加や発生した犯罪事件の凶悪化が進み、犯罪抑止効果としての監視カメラ等の撮像装置による映像監視システムのニーズが高まっている。また、監視カメラ等の撮像装置が汎用性を得たことにより、撮像装置を多地点に設置し、多地点で取得した映像を扱う監視カメラシステムが普及している。このような監視カメラシステムは、繁華街、空港、港湾、発電所など、いろいろなところで運用されている。
また一方で、撮像装置が安価で、設置が容易となってきたことから、設置される地点数が多くなっている。この反面、多地点の映像を同時に監視する監視システムの運用業務は、ユーザにとって、これまで以上に負担となっている。そこで、監視業務の負担軽減を目的に、監視カメラで撮像された人物に対して、画像処理により、人物の特定を自動的に行う特定人物検知や、監視カメラで撮像された録画映像内から特定の人物を検索する画像検索技術などが開発されている。
【0003】
ここで、
図9を参照して、従来の人物検知システムの装置と処理部の構成を説明する。
図9は、従来の人物検知システムの構成を示すブロック図である。900はネットワーク、901−1〜901−nは撮像装置、902は監視端末、903は特定人物検知サーバである。また、監視端末902において、921は画像表示部、922は検知表示部である。さらに特定人物検知サーバ903において、931は事前登録部、932は特定人物検知部である。ここで、nは自然数である。
特定人物検知システムは、撮像装置901−1〜901−nと監視端末902と特定人物検知サーバ903がネットワーク900にて接続されて構成されている。
なお、撮像装置901−1〜901−nは、ネットワークカメラ等の撮像装置である。また、監視端末902は、液晶ディスプレイやCRT等のディスプレイモニタ、キーボードやマウス等のユーザ入力部などを備える、PC(パーソナル・コンピュータ)等の装置である。さらに、ネットワーク900は、各装置を相互に接続しデータ通信を行う専用線、イントラネット、インターネット、無線LAN(ローカル・エリア・ネットワーク)等の通信網である。
【0004】
図9において、撮像装置901−1〜901−nは、撮像した画像に対してデジタル変換処理を行い、変換された画像データをネットワーク900を介して監視端末902や特定人物検知サーバ903へ出力する。
【0005】
監視端末902は、画像表示部921と検知表示部922から構成され、撮像装置901−1〜901−nからネットワーク900を介して入力された画像の表示や、特定人物検知サーバ903からネットワーク900を介して入力された検知信号によるメッセージ等を表示するユーザインタフェースを提供する。
画像表示部921は、撮像装置901−1、901−nからネットワーク900を介して入力された画像を処理し、監視端末902の図示しないディスプレイモニタの表示画面上に出力表示する。
検知表示部922は、特定人物検知サーバ903からネットワーク900を介して入力された検知信号を、特定人物が検知されたことを示すメッセージをディスプレイモニタの表示画面上に表示する。また検知表示部922は、特定人物が検知されたことを示す警報音を、図示していないスピーカ等で出力し、ユーザに通報する。
【0006】
特定人物検知サーバ903は、事前登録部931と特定人物検知部932から構成され、CPU(セントラル・プロセッシング・ユニット:中央処理装置)やMPU(マイクロ・プロセッシング・ユニット:マイコン)などの制御部や演算部と、RAM(ランダム・アクセス・メモリ)やフラッシュメモリ等の内部メモリと、HDD(ハード・ディスク・ドライブ)等の記憶媒体を備える、コンピュータ等の装置である。
事前登録部931は、特定したい人物の顔画像を事前に登録処理する。この顔画像は、事前に準備した照合対象画像である顔画像で、これを事前登録部931に入力する。入力は、ファイル指定する方法、撮像装置901−1〜901−nを経由する方法、デジタルカメラやスキャナ装置から入力する方法等がある。
【0007】
事前登録部931は、入力された当該顔画像から、画像特徴量を抽出し、特定人物リストに登録する処理を行う。画像特徴量は、例えば、画像の色分布やエッジパターンの構図分布等、またはそれらの組み合わせである。特定人物リストは、例えば、データベースであり、画像特徴量の他に人物に関する名前や所属等の情報も登録可能とする。特定人物リストは、HDD等の記憶媒体(図示しない)に格納される。
特定人物検知部932は、撮像装置901−1〜901−nからネットワーク900を介して入力された画像中に、任意の人物の存在を探し出し、さらにその人物が、上述の特定したい人物であるかどうかを判断する処理を実行する。
撮像された画像から特徴量を抽出し、特徴量があらかじめ定めた所定の条件と合致した場合に、合致した画像を表示する技術が、例えば、特許文献1に記載されている。
【発明を実施するための形態】
【0017】
従来例の
図10で説明したように、事前登録時に想定される人物の顔画像を収集することは、人物検知の精度を向上させることには効果があるが、きわめて多大な時間を要する。そこで、本発明では、人物の様々な角度の画像を、システム運用中に追加することで、検知精度の向上を行う。これは、顔の角度にのみについてでなく、顔画像の変化を招く、照明位置、化粧、顔の経年変化、眼鏡等の装飾具による顔画像の違いによっても同様なことが言える。このような様々な要因による顔画像を予め事前に予測することは、困難である。そのため、運用中に顔画像を順次追加、登録することでより正確に人物の検知が可能とする。
即ち、本発明は、画像処理により特定の人物を自動検知する機能を有し、特定人物検知精度の向上する。
以下、本発明を一実施例を
図1〜
図8によって説明する。なお、各図の説明において、従来の技術を説明した
図9と
図10を含め、同一の機能を有する構成要素には同一の参照番号を付し、重複を避けるため説明を省略する。
【0018】
図1は、本発明の特定人物検知システムの一実施例の構成を示すブロック図である。102は監視端末、103は特定人物検知サーバである。また、監視端末102において、従来の画像表示部921と検知表示部922に加え、121は検索要求生成部、122は追加登録操作部である。さらに特定人物検知サーバ103において、従来の事前登録部931とは事前登録部と特定人物検知部932に加え、131はリアルタイム登録部、132は画像検索部である。
【0019】
監視端末102は、画像表示部921、検知表示部922、検索要求生成部121、および追加登録操作部122から構成され、撮像装置901−1〜901−nからネットワーク900を介して入力された画像の表示や、特定人物検知サーバ903からネットワーク900を介して入力された検知信号によるメッセージ等を表示するユーザインタフェースを提供する。なお、監視端末102は、監視端末902と同様に、液晶ディスプレイやCRT等のディスプレイモニタ、キーボードやマウス等でGUI(グラフィカル・ユーザ・インタフェース)操作するためのユーザ入力部などを備える、PC(パーソナル・コンピュータ)等の装置である。
特定人物検知サーバ103は、事前登録部931、特定人物検知部932、リアルタイム登録部131、および画像検索部132から構成され、CPU(セントラル・プロセッシング・ユニット:中央処理装置)やMPU(マイクロ・プロセッシング・ユニット:マイコン)などの制御部や演算部と、RAM(ランダム・アクセス・メモリ)やフラッシュメモリ等の内部メモリと、HDD(ハード・ディスク・ドライブ)等の記憶媒体を備える、コンピュータ等の装置である。
【0020】
図1において、監視端末102は、画像検索対応監視端末であり、特定人物検知サーバ103は、更新型の特定人物検知サーバである。本発明の特定人物検知サーバ103は、従来の特定人物検知サーバ903と同様に、CPUやMPUなどの制御部や演算部と、RAMやフラッシュメモリ等の内部メモリと、HDD等の記憶媒体を備える、コンピュータ等の装置である。
【0021】
特定人物検知サーバ103のリアルタイム登録部131は、撮像装置901−1〜901−nからネットワーク900を介して入力された画像中から見つけ出された1個もしくは複数個の任意の人物に対し、その人物を不特定人物リスト、若しくは特定人物リストに登録する処理を実行する。この処理は、リアルタイムに実施される。
不特定人物リストは、特定人物リストと同様に、例えば、データベースである。不特定人物リストは、HDD等の記憶媒体(図示しない)に格納される。不特定人物リストには、特定人物リストのデータと同じデータに加え、例えば、画像類似度から算出する信頼度を登録人物毎に登録する。信頼度は、例えば、特定人物検知処理において、算出される画像類似度を参照して、最も高い値の画像類似度を用いれば良い。また、HDD等の記憶媒体は、特定人物検知サーバ103に直接接続されても良く、ネットワーク900を介して接続されても良い。
【0022】
特定人物検知サーバ103の画像検索部132は、任意の人物の画像を用いて、不特定人物リストを対象に、主に、類似する画像を検索する処理を実行する。不特定人物リストから、検索キー画像で指定された人物の画像検索を行う。なお本書では、以降、探し出したい人物の画像、つまり、検索のキーとなる画像を検索キー画像と呼ぶ。
画像検索部132は、具体的には、検索キー画像から抽出した画像特徴量と不特定人物リストの画像特徴量との比較によって画像類似度を算出し、算出した画像類似度が所定の閾値以上の人物リストの画像を抽出する。
該当人物の検索キー画像は、リアルタイム登録部131に入力された画像、つまり、特定人物リストまたは、不特定人物リストに含まれる画像や、後述する監視端末102の追加登録操作部122で指定される画像などである。また、検索キー画像は、画像そのものではなく、その画像から抽出した画像特徴量でも良い。本実施例では、画像と特定人物リストの画像特徴量とを検索キー画像として利用する。
また、画像検索部132は、類似する画像を検索する機能の提供だけでなく、撮像時刻範囲や撮像カメラ、人物情報等のみの条件によって、不特定人物リストから該当するデータ、つまり、人物の画像を検索する処理機能も含む。
【0023】
監視端末102の検索要求生成部121は、不特定人物リストから該当人物の類似画像を検索するため、更新型特定人物検知サーバに送信する画像検索要求信号を生成する。具体的には、監視端末102のユーザ入力部であるキーボードやマウスなどを操作して、ユーザによって指定された少なくとも検索キー画像または画像特徴量のいずれか、および、後述する
図5の画面部位511で指定される検索条件、をもとに検索要求信号を生成する。
検索要求信号に含まれ、ユーザに指定された検索キー画像は、特定人物検知サーバの画像検索部において、画像特徴量が抽出される。また、検索キー画像として、画像特徴量そのものを指定しても良い。
【0024】
監視端末102の追加登録操作部122は、不特定人物リストからユーザの判断で、または自動的に、確定された人物情報が付加されたデータを特定人物リストへ追加する。追加登録操作部122の処理によって、不特定人物リストから特定人物リストに追加するべきデータを選び出す作業が画像検索によって効率良く、かつ、短時間で可能となる。
画像検索は、画像検索対応の監視端末102の検索要求生成部121および更新型の特定人物検知サーバの画像検索部132によって実行される。
具体的には、画像検索によって得られた画像毎の信頼度で、所定の閾値以上であり、類似性が高く明らかに該当人物の画像と判断できる画像については、不特定人物リストから特定人物リストへ自動的に追加する。また、信頼度が閾値未満の画像に対しては、ユーザが判断するように構成する。
【0025】
図1の実施例に、さらに、上記
図1の実施例には示さなかったが、システム構成に録画装置を加えても良い。
例えば、ネットワーク900に録画装置を接続し、撮像装置901−1〜901−nからネットワーク900を介して入力された画像を録画装置に常時記憶する。
さらに、特定人物リストおよび不特定人物リスト等のデータベースを、HDD等の記憶媒体ではなく、録画装置に記憶するようにしても良い。
監視端末102および特定人物検知サーバ103は、ネットワーク900を介して録画装置に接続し、録画装置から画像データを読み込む。録画装置を備えた本実施例は、ネットワーク900を介して直接撮像装置901−1〜901−nからの画像を取得する替わりに、録画装置を介して特定人物検知のための画像および付加情報(撮像装置のID、撮像年月日、等)を取得する。その他の動作は、
図1の実施例と同じであるので、説明を省略する。
【0026】
次に、本発明の特定人物検知システムを構成する各装置および各処理部の処理の流れの一実施例について、以下、説明する。
【0027】
図2は、
図1に示した本発明の特定人物検知システムの一実施例での各装置間における、通信シーケンスの一実施例を示す図である。
時間軸211は、撮像装置901−1から901−nにおける時系列方向を示す軸で、
図2上部から下部に向けて時間が進むことを示している。同様に、時間軸213は、更新型の特定人物検知サーバ103における時間軸を示し、時間軸212は、画像検索対応の監視端末102における時間軸を示す。また、矢印の方向に通信がなされる。
【0028】
通信201および通信202は、撮像装置901−1が撮像した画像を、特定人物検知サーバ103に伝送する通信(画像配信)処理を示す。
通信203は、特定人物検知サーバ103が検知した内容を、監視端末102に伝送する通信(発報)処理を示す。
通信204は、監視端末102にて、ユーザ操作により指示された内容を、特定人物検知サーバ103に伝送する通信(追加登録)処理を示す。
通信205は、特定人物検知サーバ103にて追加登録した結果を、監視端末102に伝送する通信処理を示す。
イベント206は、特定人物検知サーバ103が、特定人物を検知したことを示す。また、イベント207は、特定人物検知サーバ303が、リアルタイム登録したことを示す。
【0029】
通信201、202は、任意の所定間隔にて、常時繰り返して実施される。通信201〜203と通信204〜205は、同期関係であっても良いが、非同期関係にあっても良い。
【0030】
図3によって、本発明の不特定人物検知システムの一実施例における、特定人物検知サーバ103におけるリアルタイム登録処理の一実施例を説明する。
図3は、特定人物検知サーバ103にて常時、繰り返し実施される処理動作の一実施例を示すフローチャートである。なお、
図3の処理のほとんどは、特定人物検知部932が制御および実行する。このため、特定人物検知部932が制御する処理若しくは実行する処理には、特に処理装置名を記載しない。
【0031】
図3において、ステップS301では、画像データ着信待機を行う。撮像装置901−1〜901−nのいずれかからの画像データの着信を検知するとステップS302の処理に進む。
ステップS302では、通信201や202によって送信された着信が検知された撮像装置901−1〜901−nのいずれかの画像を受信する。
図3には記載しないが、画像がデータ圧縮されていた場合には、データ伸張処理を行う。
【0032】
ステップS303では、受信した画像に対して顔検出を行う。また、同時に検出した顔の数を検出顔数として一時記憶し、顔カウンタCtを初期化する。顔カウンタCtは、複数の人物が同一画像から検出された場合に、人物毎に以降のステップの処理を実施するために用いる。
顔検出の処理は、例えば、背景画像との差分により動体検出を行い、さらにその動体領域の形状等にて顔判定をする方法や、眼、鼻、口等の主要構成要素の配置や、額と眼の濃淡差等の顔の特性を使って画像内探索を行う方法、等の周知の画像認識技術により行う。本発明では、いずれの方法であっても良い。
ステップS304では、前のステップS303で顔が1つ以上検出された(Ct>0)場合には、ステップS305に処理を進め、検出されなかった場合には、ステップS301に処理を戻す。
【0033】
ステップS305では、前のステップS303で検出した顔に対して画像特徴量抽出処理を行う。画像特徴量とは、画像認識技術を用いて算出される画像の傾向を示す値である。画像特徴量には、例えば、画像の色分布やエッジパターンの構図分布、眼、鼻、口等の主要構成要素の配置、それらの組合せ等を用いる。本発明では上記のいずれを使用しても良い。
ステップS306では、前のステップS305で抽出した画像特徴量を、特定人物リストに事前登録されている各人物の画像特徴量と比較する。そして、特定人物リストの中で最も近い特徴量を有する顔(候補顔)を探し出す。この特徴量の近さは、一般に画像類似度と呼ばれ、画像同士の近さ、いわゆる類似性を示す数値であり、画像特徴量の多次元空間における両特徴量間のスカラー量にて算出する。その算出方法の詳細については、例えば、「大規模な画像集合のための表現モデル」(廣池敦他、日本写真学会誌2003年66巻1号P93−P101)のような論文を参照することができる。
【0034】
ステップS307では、ステップS306で探し出した候補顔の画像類似度が、特定人物であるかどうかを判断(特定人物検知)する。この判断は、ステップS306で算出した画像類似度が予め与えた閾値以上であるか否かで行う。また、ステップS306で算出した画像類似度等を用いて特定人物検知の信頼度を算出する。信頼度が閾値以上であった場合には、特定人物を検知したとしてステップS308に処理を進め、それ以外の場合には、特定人物を検知しなかったとしてステップS309に処理を進める。
ステップS308では、特定人物検知を監視端末102へ通信403として送信する。通報完了後、ステップS309へ処理を進める。
ステップS309では、ステップS305で抽出した画像特徴量と、ステップS306で探し出した候補顔の情報とその信頼度を、リアルタイム登録部131に出力する。
【0035】
ステップS310では、リアルタイム登録部131に検知結果を出力する。リアルタイム登録部131は、入力された候補顔の信頼度を評価し、予め与えた閾値
以上であるかどうかを判定する。閾値
以上であった場合には、候補顔を特定人物リストに登録するためステップS311に処理を進め、それ以外の場合には、不特定人物リストに登録するためステップS312に処理を進める。
ステップS311では、リアルタイム登録部は、画像特徴量を特定人物リストに追加登録する。また同時に、候補顔の情報、すなわち、名前や所属等の人物に関わる情報も併せて特定人物リストに追加登録する。登録完了後、顔カウンタCtをカウントアップし、ステップS313に処理を進める。
ステップS312では、リアルタイム登録部は、画像特徴量を不特定人物リストに追加登録する。また同時に、候補顔の情報、すなわち、名前や所属等の人物に関わる情報と、候補顔との信頼度も併せて不特定人物リストに追加登録する。登録完了後、顔カウンタCtをカウントアップし、ステップS313に処理を進める。
【0036】
ステップS313では、特定人物検知部932は、顔カウンタCtとステップS303にて一時記憶した検出顔数を比較する。顔カウンタCtが検出顔数未満の場合には、ステップS305に処理を進め、それ以外の場合、即ち、同一画像から検出されたすべての顔を処理し終えた場合には、ステップS301に処理を戻す。
【0037】
図4によって、本発明の不特定人物検知システムの一実施例における、監視端末から特定人物検知サーバに対して、追加登録の指示がなされた場合の特定人物検知サーバの処理の一実施例を説明する。
図4は、本発明の不特定人物検知システムの特定人物検知サーバ103に対して、追加登録の指示がなされた場合の特定人物検知サーバ303における処理の流れを示すフローチャートである。なお、
図4の処理のほとんどは画像検索部132が制御および実行する。このため、画像検索部132が実行する処理の場合には、特に処理装置名を記載しない。
【0038】
図4において、ステップS401では、指示データ着信待機を行う。着信を検知するとステップS402の処理に進む。
ステップS402では、、通信204にて送られてきた監視端末302からの指示を受信する(
図2参照)。
ステップS403では、ステップS402で受信した指示内容を解析する。指示内容が検索要求である場合は、ステップS404に処理を進め、確定要求であった場合は、ステップS409に処理を進める。
ステップS404では、ステップS402で受信した指示内容の検索方法を判定する。検索方法が、例えば、撮像時刻範囲や撮像時刻、候補顔の人物情報等の条件によって行われる通常検索要求であった場合にはステップS405に処理を進め、画像または、画像特徴量の条件によって行われる画像検索の要求であった場合にはステップS406に処理を進める。
【0039】
ステップS405では、ステップS402で受信した通常検索要求の条件によって不特定人物リストから追加登録の判断をユーザに仰ぐデータを検索する。この検索は、不特定人物リストのデータ毎に条件と合致するか逐次的に処理し、画像を探し出す処理である。
ステップS406では、ステップS402で受信した画像検索要求の条件によって不特定人物リストから追加登録の判断を仰ぐデータを画像検索する。この検索は、例えば、条件に含まれる画像から抽出した画像特徴量と不特定人物リストのデータ毎の画像特徴量を比較し、算出した画像類似度を元に類似性の高い画像を探し出す処理である。
ステップS407では、ステップS405またはステップS406において選択された、不特定人物リストの対象のデータを抽出する。その後、ステップS408に処理を進める。
【0040】
ステップS408では、ステップS407で抽出したデータを、監視端末102へ通信205として送信する。その後、ステップS401に処理を戻す。
ステップS409では、確定要求に含まれる、不特定人物リストの該当の画像に対して、人物情報および画像特徴量、撮像時刻等を特定人物リストへ追加する。その後、ステップS401に処理を戻す。
【0041】
本発明の特定人物検知システムの一実施例における追加登録を指示する場合の操作を、
図5のユーザインターフェースを用いて説明する。
図5は、本発明の特定人物検知システムにおける特定人物検知サーバ103に対して、ユーザがGUI操作等の操作によって、追加登録を指示する際の監視端末102のディスプレイモニタの表示画面の一実施例を示す図である。
500は、監視端末102のディスプレイモニタの画面上に表示される追加登録画面である。この追加登録画面500内に、以降で説明する画面部位それぞれが表示される。ただし、検索された画像を表示する画面部位503は、検索条件(画面部位511)が入力され、かつ、画面部位501の未確定データ画像検索の画面部位524が選択操作、または画面部位502の未確定データ通常検索の画面部位524が選択操作された後に表示され、これらの操作の都度更新される。
【0042】
511は、不特定人物リストに対する検索条件を指定する画面部位である。512、513は、不特定人物リストに対する検索条件の、特に撮像されたカメラを指定する画面部位である。
514、515は、不特定人物リストに対する検索条件の、特に撮像時刻を指定する画面部位である。画面部位514の右側の同じ行には、検索する撮像時刻の先頭時刻指定入力欄があり、この欄に表示される年月日および時刻を変更することによって検索開始時刻が変更可能である。同様に、画面部位515の右側の同じ行には、検索する撮像時刻の末尾時刻指定入力欄があり、この欄に表示される年月日および時刻を変更することによって検索終了時刻が変更可能である。
画面部位512〜515の左には、当該画面部位を選択するためのチェックボックスがある。
【0043】
516は、不特定人物リストに対する検索条件の、信頼度を指定する画面部位である。
画面部位516の左には、当該画面部位を選択するためのチェックボックスがある。例えば、信頼度“高”を80%、信頼度“中”を50%、信頼度“低”を30%とした場合に、“高”がチェックされている場合には、信頼度80%以上のすべての画像を検索し、“中”がチェックされている場合には、信頼度50%以上80%未満の画像を検索し、“低”がチェックされている場合には、信頼度30%以上50%未満の画像を検索する。また、“高”と“中”とがチェックされている場合には、信頼度50%以上のすべての画像を検索し、“中”と“低”とがチェックされている場合には、信頼度30%以上80%未満の画像を検索し、“高”、“中”、“低”すべてがチェックされている場合には、信頼度30%以上のすべての画像を検索する。
また、画面部位516の左がチェックボックスではなく、ラジオボタンである場合には、信頼度“高”を80%、信頼度“中”を50%、信頼度“低”を30%とした場合に、“高”がチェックされている場合には、信頼度80%以上のすべての画像を検索し、“中”がチェックされている場合には、信頼度50%以上のすべての画像を検索し、“低”がチェックされている場合には、信頼度30%以上のすべての画像を検索する。
【0044】
次に、画面部位501において、517は、特定人物リストを人物情報で分類し、表示する画面部位である。518は、分類された人物をユーザが選択する画面部位である。画面部位518には、人物すべてを一度に表示できない時には、スライダの画面部位が付属している。
また、519は、特定人物リストにおいて保持され、画面部位518で選択された人物の画像を1つ表示する画面部位である。520は、画面部位519で指定された人物の画像を他の画像へ切り替える画面部位である。左右のボタン図形のいずれかを選択押下することによって切り替える。
521は、不特定人物リストに対して、画像検索を実施するためのボタン図形の画面部位である。
なお571は、参照する画像をどこから読み込むかを選択するための画面部位である。例えば、HDD等の記憶媒体から読み込む場合や、USB接続等により外部記憶媒体またはリムーバル記憶媒体から読み込む場合等、選択可能である。
以上述べたように、
図5において、画面部位511によって検索条件を決め、画像検索のための画面部位501を使用して検索し、画面部位519に表示された画像を、ユーザが特定人物として確定することによって、画像検索による未確定データの特定人物リストへの追加操作ができる。
【0045】
さて、画面部位502において、522は、不特定人物リストを人物情報で分類し、表示する画面部位である。また523は、分類された人物をユーザが選択する画面部位である。画面部位523には、人物すべてを一度に表示できない時には、スライダの画面部位が付属している。
524は、不特定人物リストに対して、通常検索を実施するためのボタン図形の画面部位である。
550は、画像531〜540を所定の人物であると確定する時に、特定人物リストのどの人物の画像データであるかを、確定情報として選択する画面部位である。
なお、画面部位550には、人物すべてを一度に表示できない時には、スライダの画面部位が付属している。
【0046】
図5において、画面部位511によって検索条件を決め、通常検索のための画面部位502を使用して検索する。このユーザ操作によって、画面部位503が表示される。若しくは、すでに
図5において、画面部位503が表示されている場合には、画面部位503が更新される。画面部位503には、画像すべてを一度に表示できない時には、スライダの画面部位が付属している。
【0047】
次に、画面部位503の画面部位531〜540の画像のいずれかをユーザが確認し、当該画像に関連する(本実施例では、画像の下側に)確定ボタン551〜560を選択することによって、ユーザが特定人物として確定することによって、画像検索による未確定データの特定人物リストへの追加操作ができる。
画面部位550でユーザが必要な人物を選択してから、確定ボタンの画面部位551〜560のいずれかを選択することによって、関連する画面部位531〜540の画像のいずれかのデータを、特定人物リストの当該人物の画像データとして追加登録することができる。また例えば、1つの画面部位531の画像に複数の人物が撮像されている(図示しない)場合には、マウス等でどちらかの人物を指定して画面部位550で人物を変更することによって、容易に特定人物リストに追加することができる。
【0048】
図6によって、本発明の特定人物検知システムにおける、監視端末102から特定人物検知サーバ103に対して追加登録を行う場合の、監視端末の具体的な操作手順をさらに説明する(
図1〜
図5参照)。
図6は、本発明の特定人物検知システムにおける確定動作手順の一実施例を説明するためのフローチャートで、画像検索対応の監視端末102から更新型の特定人物検知サーバ103に対して、追加登録を指示する際、ユーザによる画像検索対応監視端末302のインターフェース操作を説明している。
図6のフローチャートでは、ユーザ操作による動作であり、
図5の追加登録画面500での画面部位や画像GUI操作等の操作が主体である。即ち、以下の処理ステップは、ユーザの動作(操作)である。
【0049】
ステップS601では、画面部位511にて、ユーザは、不特定人物リストの内、ユーザが確定するデータの検索条件を指定する。例えば、画面部位512のチェックボックスを選択すると、検索時においてカメラ1のデータを検索対象とする。逆に画面部位512のチェックボックスが選択されていなければ、カメラ1のデータを検索対象外とする。その後、ユーザは、ステップS602に移る。
ステップS602では、ユーザは、検索方法を選択する。ユーザが画像検索を望む場合は、ステップS603に進む。または、通常検索を望む場合は、ステップS608に進む。
【0050】
ステップS603では、ユーザは、画像検索における検索キー画像の取得方法を選択する。既に人物が特定されている画像、つまり、特定人物リストから検索キー画像を選択する場合は、ステップS604に進む。または、ユーザが保持する画像、つまり、USBメモリ等の外部接続の記憶媒体に保存されている画像等から検索キー画像を選択する場合は、ステップS605に進む。
ステップS604では、画面部位517にて、これまでに人物が特定されている特定人物リストから人物を選択する。その後、ユーザは、ステップS606に進む。
ステップS606では、ユーザは、特定人物リストのステップS604で指定した人物の画像を選択する。ステップS604で指定された人物の画像が複数ある場合は、ユーザは、画面部位520を用いて、その1つを選択する。その後、ユーザは、ステップS607に進む。
ステップ607では、ユーザは、画面部位521である画像検索ボタンを押下する。監視端末102は、このボタン押下を検知することで、画像検索要求を生成し、特定人物検知サーバ103に画像検索要求を送信する。ここで、特定人物検知サーバ103における画像検索部132において、画像検索がなされ、監視端末102に結果が返信される。その結果、
図5の画面部位531〜540の画像が表示される。その後、ユーザは、ステップS610に進む。
【0051】
ステップS610では、ユーザは、付加する人物情報を画面部位550にて選択する。
図5においては、人物Aが選択されており、後述する確定処理において、各画像には人物情報として「A」が付加される。その後、ユーザは、ステップS611に進む。
ステップS611では、ユーザは、ステップS610において、選択した人物の画像をユーザの判断にて選択する。ユーザは、ステップS610において選択した人物であれば、自身の判断によって各画像のボタン図形の画面部位551〜560それぞれを押下する。監視端末102は、ボタン図形の押下を検知することで、画像毎の確定要求を生成し、特定人検知サーバ103に確定要求を送信する。
ステップS605では、ユーザは、監視端末102が参照可能な画像を選択する。例えば、監視端末102に接続されたUSB接続等により外部記憶媒体またはリムーバル記憶媒体から画像を選択する。その後、ユーザは、ステップS607に進む。
【0052】
ステップS608では、ユーザは、不特定人物リストから確定させたい人物を画面部位523を用いて選択する。
図5においては、人物「A」が選択されており、不特定人物リストから画面部位511で指定された条件で人物「A」のデータが後述する通常検索にて、抽出される。その後、ユーザは、ステップS609に進む。
ステップS609では、ユーザは、通常検索ボタンの画面部位524を押下する。監視端末102は、ボタンの押下を検知することで、通常検索要求を生成し、特定人物検知サーバ103に通常検索要求を送信する。ここで、特定人物検知サーバ103における画像検索部132において、検索がなされ、監視端末102に結果が返信される。その結果の例を表したのが、画面部位531〜540である。その後、ユーザは、ステップS610に進む。
【0053】
次に、本発明の特定人物検知システムにおける特定人物リストおよび不特定人物リストの一実施例を
図7に示す。
図7は、本発明の特定人物検知システムにおける特定人物検知サーバの特定人物リストおよび不特定人物リストの一実施例を説明するための図である。
図7(a)は、特定人物リスト、
図7(b)は、不特定人物リストである。
項目711、721は、登録IDを表し、リスト毎に固有の値がデータ毎に割り振られている。項目712、713、722、723は、画像が撮像された時刻やカメラの情報である。項目714、724は、該当画像から抽出された画像特徴量が記憶された場所を示すHDD等の記憶媒体のアドレスである。項目716、727は、画像が記憶された場所を示すHDD等の記憶媒体のアドレスである。
【0054】
図7(a)の特定人物リストにおいて、特定人物リストの項目715は、画像毎に付与された人物情報であり、例えば人物の名前や識別番号である。
図7(b)の不特定人物リストにおいて、項目725は、特定人物検知処理により付与された人物情報であり、システムが自動で仮に付与した、例えば、人物の名前や識別番号である。また項目726は、項目725に付与された人物情報の信頼度である。
図7(b)の項目725の人物情報において、特定人物リストにない人物がグレイな人物として、“人物W”と表示されている。
なお、
図7(a)、(b)のリストは、ユーザの操作に応じて、監視端末102のディスプレイモニタの表示画面として出力することも可能であり、その場合には、グレイな人物の欄を強調する色表示等のデコレーション表示が可能である。同様に、信頼度の値を、信頼度“高”、信頼度“中”、信頼度“低”の設定値で色分け表示するようにしても良い。
【0055】
上記記載の特定人物検知システムXの動作を、特定人物リストないしは不特定人物リストに登録されている情報を画像特徴量の関係を示す
図8によって説明する。
図8は、画像特徴量の距離空間での特定人物検知や画像検索における画像特徴量間の関係を概念的に表した図である。
ここで、同一人物の顔画像から抽出した画像特徴量811から813が特定人物検知用として特定人物リストに登録されているとする。ここで、例えば、新たに撮像装置で撮像された人物の顔画像の画像特徴量814,817を得たとする。その場合に、画像特徴量813と814の距離(差)が予め設定した距離の閾値より近ければ(閾値未満であれば)、画像特徴量814の画像は、所定の人物と特定し、当該特定人物リストに新たに追加登録することができる。または、画像検索によって得られた、類似する画像の画像特徴量817をユーザの判断によって新たに特定人物リストに追加登録することができる。
その後、画像特徴量814と距離が近い別の画像特徴量815や816が特定人物検知の対象画像となった場合に、画像特徴量815や816、818を該当人物と判断することができる。
【0056】
即ち、従来の特定人物検知システムでは、撮像角度、画像解像度、照明環境等の条件により、特定人物リストに記憶する画像特徴量の差が大きくなり、本来同一であるはずの人物を別々の人物として判断していた。しかし、本発明の特定人物検知システムによれば、システム運用中に、リアルタイムに、画像特徴量の距離に応じて自動的に判断するか、あるいはユーザの判断によって、特定人物リストまたは不特定人物リストに、まとめて登録することができる。この結果、人物特定検知の精度を飛躍的に向上させることができる。
さらには、人物特定検知精度が向上したことにより、撮像角度、画像解像度、照明環境等の条件的制約が大幅に緩和され、ドアやゲートを設置できないような場所でも特定人物検知システムを使用することが可能となり、特定人物検知システムの適用範囲を広げることができる。
【0057】
なお、上記実施の形態の構成および動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
また、説明の簡略化のため、上記
図1の実施例では、システムを構成する装置は、各1台で説明した。しかし、これらはネットワークに対し、複数台の接続が可能である。
また同様に、上記実施例においては、事前登録部931と特定人物検知部932、リアルタイム登録部131、画像検索部132を、更新型の特定人物検知サーバ103に一体に備える構成としたが、一部の処理部を別個の装置に備える構成としても良い。
また同様に、上記実施例においては、画像表示部921と検知表示部922、検索操作部121、追加登録操作部122を、画像検索対応の監視端末102に一体に備える構成としたが、一部の処理部を別個の装置に備える構成としても良い。
また同様に、上記実施例においては、特定人物リストと不特定人物リストを別個の構成として示したが、これらを統合した構成として、一元管理するようにしても良い。