(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0021】
本発明の通信端末識別情報特定処理システム1の全体の構成の一例を
図1に模式的に示す。通信端末識別情報特定処理システム1は,本システムを管理する企業等が利用する管理コンピュータ2と,無線LAN通信スポットにおける各種無線LANの通信装置74とを有している。
【0022】
管理コンピュータ2は,サーバやパーソナルコンピュータなどの各種のコンピュータにより実現される。
図2にコンピュータのハードウェア構成の一例を示す。管理コンピュータ2などのコンピュータは,プログラムの演算処理を実行するCPUなどの演算装置70と,情報を記憶するRAMやハードディスクなどの記憶装置71と,ディスプレイなどの表示装置72と,キーボードやポインティングデバイス(マウスやテンキーなど)などの入力装置73と,演算装置70の処理結果や記憶装置71に記憶する情報をインターネットやLANなどのネットワークを介して送受信する通信装置74とを有している。
【0023】
なお,
図1では管理コンピュータ2が一台のコンピュータで実現される場合を示したが,複数台のコンピュータにその機能が分散配置され,実現されても良い。また,本発明における各手段は,その機能が論理的に区別されているのみであって,物理上あるいは事実上は同一の領域を為していても良い。
【0024】
本発明における各処理部,記憶部は、その機能が論理的に区別されているのみであって、物理上あるいは事実上は同一の領域をなしていても良い。またデータベースの代わりにデータファイルであっても良いことは言うまでもなく,データベースとの記載にはデータファイルも含んでいる。
【0025】
無線LAN通信スポットでは,利用者が利用する可搬型通信端末4と無線LANによる通信を行う一または二以上のアクセスポイント30と,アクセスポイント30を管理する一または二以上の無線LANスイッチ31と,無線LAN通信スポット周辺における可搬型通信端末4の利用者を撮影するための撮影装置32とを備える。なお無線LAN通信スポットは,任意の場所に,少なくとも複数,設けられていることが好ましいが,一つであってもよい。
図1では管理コンピュータ2が複数の無線通信スポットを管理する場合を示している。
【0026】
アクセスポイント30は,無線LAN通信スポットにおいて,可搬型通信端末4が無線LANによる通信を行うための装置であって,可搬型通信端末4との間で無線通信を行う。また,アクセスポイント30は,後述する無線LANスイッチ31と有線または無線による通信を行う。すなわち,アクセスポイント30は,可搬型通信端末4と無線LANスイッチ31との通信を中継する装置である。
【0027】
無線LANスイッチ31は,アクセスポイント30を介して,可搬型通信端末4からMACアドレスなどの可搬型通信端末4またはその利用者を識別するための通信端末識別情報を取得し,管理する。通信端末識別情報は,MACアドレスのほか,可搬型通信端末4またはその利用者を識別するための情報であればいかなる情報であってもよく,たとえば無線LAN通信スポットを利用するためのユーザIDなどであってもよい。ただしMACアドレスのように直接的に,可搬型通信端末4との通信に用いない情報を通信端末識別情報とする場合,通信端末識別情報は,可搬型通信端末4との通信に用いる情報との関係性を維持しておき,その関係性を参照することでMACアドレスなどの可搬型通信端末4との通信に用いる情報を特定する。
【0028】
なお,無線LAN通信スポットにおいては,管理コンピュータ2との間の通信において,無線LANスイッチ31を介する構成を説明するが,無線LANスイッチ31を用いずに,アクセスポイント30に無線LANスイッチ31と同等の機能を持たせてもよい。この場合,アクセスポイント30と通信している可搬型通信端末4の通信端末識別情報を,アクセスポイント30が取得し,保持していてもよい。本発明の説明においては,特に明記がなくても,アクセスポイント30が可搬型通信端末4と無線LANスイッチ31との通信を中継している。無線LAN通信スポットにおけるアクセスポイント30および/または無線LANスイッチ31を無線通信装置という。
【0029】
撮影装置32は,無線LAN通信スポットの通信可能圏内および/またはその周辺にいる,無線LANによる通信を可搬型通信端末4で行っている人物を撮影するための装置である。撮影装置32は無線LAN通信スポットに1台が設置されていてもよいし,2台以上が設置されていてもよい。撮影装置32としては防犯カメラを用いることができ,この場合,撮影装置32は静止画または動画の画像情報を取得する。なお,撮影装置32に集音装置(マイク)を備えておき,音情報を取得していてもよい。
【0030】
撮影装置32が後述する管理コンピュータ2に撮影した画像情報を送る場合には,撮影装置32から送ってもよいし,無線LANスイッチ31を介して送ってもよい。
【0031】
なお,撮影装置32を用いる場合には,顔を可能な限り正面から撮影できると認識の精度が向上する。そのため,利用者を正面付近から撮影できる位置に設置されていると好ましい。たとえば撮影装置32の設置場所として,バスや電車などの交通機関,各施設の出入口,後述するセキュリティゲートの前方付近に設置されるとよい。
【実施例1】
【0032】
本発明の第1の実施態様として,撮影装置32が取得した画像情報が管理コンピュータ2に送られ,管理コンピュータ2側でその画像情報に人物が写っているかの認識処理を実行する場合を説明する。したがって,撮影装置32が撮影した画像情報や,無線LANスイッチ31が取得した通信端末識別情報は,管理コンピュータ2に送られる。
【0033】
管理コンピュータ2は,画像情報取得処理部20と人物認識処理部21と認識情報記憶部22と通信端末識別情報取得処理部23と通信端末識別情報記憶部24と通信端末識別情報比較処理部25と出力処理部26とを有する。
【0034】
画像情報取得処理部20は,無線LAN通信スポットにおける撮影装置32または無線LANスイッチ31から,撮影された画像情報を取得する。
【0035】
人物認識処理部21は,画像情報取得処理部20で取得した画像情報から,人物が含まれているかを認識する。画像情報から人物を認識する処理としては,たとえば公知の顔認証処理技術を用いることができるが,ほかの認識処理技術を用いてもよい。あらたに存在を認識した人物に対しては,その人物を識別するための識別情報(人物ID)を割り当てる。複数の人物を認識した場合には,認識した人物ごとに処理を実行させる。
【0036】
認識情報記憶部22は,人物認識処理部21で存在を認識した人物の画像情報(たとえば認識した人物の顔部分の画像情報),人物ID,認識された日時情報,どこの無線LAN通信スポットで認識したかを示す情報などが記憶されている。
【0037】
通信端末識別情報取得処理部23は,無線LAN通信スポットにおけるアクセスポイント30や無線LANスイッチ31などの無線通信装置から,可搬型通信端末4から受信した通信端末識別情報を取得する。この際に,どのアクセスポイント30または無線LANスイッチ31から取得したかを特定するため,アクセスポイント30や無線LANスイッチ31,それらが設置されている無線LAN通信スポットの識別情報などと併せて取得するとよい。さらに,通信端末識別情報を取得した日時情報も取得する。
【0038】
なお,通信端末識別情報取得処理部23は,通信端末識別情報を定期的にまたは不定期に取得すればよい。
【0039】
通信端末識別情報記憶部24は,認識された人物が利用している可搬型通信端末4の候補となる通信端末識別情報を記憶している。候補となる通信端末識別情報は,認識された人物ごとに管理されている。
図5に通信端末識別情報記憶部24の一例を模式的に示す。
【0040】
通信端末識別情報比較処理部25は,通信端末識別情報取得処理部23で取得した通信端末識別情報群と,すでに通信端末識別情報記憶部24に記憶している通信端末識別情報とを比較することで,候補となる通信端末識別情報の絞込を行う。
【0041】
出力処理部26は,所定の終了条件を充足した段階で,その時点で通信端末識別情報記憶部24に記憶している,当該認識された人物の候補となる通信端末識別情報を,所定のコンピュータの表示装置72などに出力する。なお,表示装置72に出力するほか,印刷装置で出力してもよいし,電子メールやメッセージシステムなどで,所定の通知先に通知出力をしてもよい。また,捜査機関の所定の通知先に通知をしてもよい。
【0042】
出力処理部26における終了条件の一例としては,たとえば撮影装置32で撮影した画像情報において,当該認識した人物を検出できなくなる,候補となる通信端末識別情報(通信端末識別情報記憶部24における当該人物の記憶領域の通信端末識別情報)が一つになる,などがあるが,ほかの条件を設定してもよい。
【0043】
つぎに本実施例における処理プロセスの一例を
図3のフローチャートを用いて説明する。また,利用者の移動状況を
図4に示す。本実施態様においては,あるイベント会場に1カ所の無線LAN通信スポットが設置されており,撮影装置32として防犯カメラを用い,その防犯カメラで無線LAN通信スポットの通信可能範囲内の一部または全部を撮影した画像情報を用いている場合を示す。なお,複数のイベント会場の場合であっても同様に処理を実行できる。
【0044】
本実施例の場合,無線LAN通信スポットとしてエリア1が設けられており,そこに,アクセスポイント30,無線LANスイッチ31,防犯カメラが設置されている。そして,時間の経過とともに,エリア1にいる人員構成に変動が生じている。すなわち,ある時点においては,エリア1には4人(利用者「a」乃至「d」)がいたところ,その時点から所定時間経過後には4人(利用者「a」,「b」,「e」,「f」)が,さらにそこから所定時間経過後には4人(利用者「a」,「e」,「f」,「g」)がいた場合を示している。つまり,当初,エリア1にいた人員構成が,利用者「a」乃至「d」の4人から,利用者「a」,「b」,「e」,「f」の4人になり(利用者「c」,「d」がエリア1からいなくなり,利用者「e」,「f」がエリア1に入ってくる),さらに,利用者「a」,「e」,「f」,「g」の4人になった(利用者「b」がエリア1からいなくなり,利用者「g」がエリア1に入ってくる)場合である。
【0045】
また,エリア1ではそれぞれの時点で,MACアドレスが無線LANスイッチ31で記録されており,さらに,防犯カメラが撮影をしている。そして,MACアドレス,画像情報は,いずれも管理コンピュータ2に送られている。
【0046】
まず,無線LAN通信スポットであるエリア1のアクセスポイント30の通信可能範囲内に位置した場合,その利用者が利用する可搬型通信端末4と無線LANスイッチ31との間で通信の確立が行われ,可搬型通信端末4のMACアドレスが,アクセスポイント30を介して無線LANスイッチ31に送られる。そして無線LANスイッチ31では,受け取ったMACアドレスを,無線LAN通信スポットを識別する情報,日時情報などとともに記憶している。
【0047】
エリア1の防犯カメラは動画像や静止画像などで撮影範囲内を撮影する。そして防犯カメラが撮影した画像情報を,無線LAN通信スポットや撮影装置32を識別する情報,撮影した日時情報などとともに,管理コンピュータ2に送信する。送られた画像情報は,管理コンピュータ2の画像情報取得処理部20で取得する(S100)。
【0048】
管理コンピュータ2の人物認識処理部21は,取得した画像情報に人物が写っているかの認識処理を実行する(S110)。そして人物が写っていることを認識した場合,その人物が過去に写った人物であるかを,認識情報記憶部22に記憶した,過去に認識した人物の情報と比較することで判定する(S120)。そして人物認識処理部21における処理の後,終了条件,たとえば従前から対象としていた人物を認識しなくなった,あるいは後述する当該人物の候補となる通信端末識別情報が一つとなったなどの条件を充足したかを出力処理部26が判定し(S130),終了条件を充足したことを判定すると通信端末識別情報記憶部24に記憶している,当該人物の記憶領域における通信端末識別情報を出力する。一方,終了条件を充足していない場合には,S140以降の処理を続行する。
【0049】
もし新しい人物を認識した場合には,当該人物に対して任意の識別情報(人物ID)を割り当てるとともに,認識情報記憶部22に,その顔画像などの情報と人物ID,認識した日時情報,エリア1で認識したことを示す情報などを記憶させる(S140)。
【0050】
一方,認識情報記憶部22との比較の結果,すでに認識していた場合にはその人物を特定する。
【0051】
たとえば
図4の場合,最初の時点においては,人物認識処理部21は,画像情報に,利用者「a」,「b」,「c」,「d」の4人の人物が写っていることを認識する。これら4人について,過去に認識された人物であるかを認識情報記憶部22と照合して判定すると,いずれも新しい人物であるので,利用者「a」乃至「d」について,それぞれに人物IDを割り当て,新たに認識した人物であるとして認識情報記憶部22に人物ID,顔部分などの画像情報,認識した無線LAN通信スポット,認識日時などの各情報を記憶させる。
【0052】
そして,人物認識処理部21では,利用者「a」,「b」,「c」,「d」の4人の人物を新たに認識しているので,それら4人の人物が利用する可搬型通信端末4の通信端末識別情報の候補となる通信端末識別情報を記憶するための記憶領域を,通信端末識別情報記憶部24に確保する(S150)。
【0053】
つぎに通信端末識別情報取得処理部23は,当該人物を認識した画像情報に対応する無線LAN通信スポットを識別する情報に基づいて,当該無線LAN通信スポットにおける無線LANスイッチ31から,そこで記憶しているMACアドレスや日時情報を取得する(S170)。
図4の場合,エリア1には,利用者「a」乃至「d」がそれぞれ1乃至4の可搬型通信端末4を利用しており,それら各可搬型通信端末4のMACアドレス「12−34−56−78−90−12」,「34−56−78−90−12−34」,「56−78−90−12−34−56」,「78−90−12−34−56−78」が,無線LAN通信スポットを示す「エリア1」,日時情報とともに無線LANスイッチ31に送られているので,これらの情報を取得することとなる。
【0054】
通信端末識別情報記憶部24における候補となる通信端末識別情報の記憶領域が空であれば(すなわち新たに人物を認識した場合)(S180),S170で取得したMACアドレスや日時情報を候補となる通信端末識別情報として記憶させる(S190)。すなわち,利用者「a」乃至「d」の候補となる通信端末識別情報として,それぞれ取得したMACアドレスや日時情報が通信端末識別情報記憶部24に記憶される。利用者「a」乃至「d」の記憶領域に記憶される候補となる通信端末識別情報の一例が
図5である。なお,この時点においては,利用者「a」乃至「d」の候補となる通信端末識別情報としては,同じ情報が記憶されている。
【0055】
そして一定時間経過後(S220),
図4に示すように,エリア1では利用者「c」,「d」がいなくなり,新たに利用者「e」,「f」が入ってきている。そのような状況で画像情報取得処理部20で取得した防犯カメラで撮影した画像情報について(S100),上述と同様に,人物認識処理部21で人物の認識処理を実行する(S110)。すなわち,人物として認識した利用者「a」,「b」,「e」,「f」についてその顔画像情報などに基づいて認識情報記憶部22を参照すると(S120),利用者「a」,「b」はその存在が確認され,それ以外の利用者は確認できない。そうすると,利用者「a」,「b」については,通信端末識別情報記憶部24に記憶する利用者「a」,「b」のそれぞれの候補となる通信端末識別情報の記憶領域を特定する(S160)。また,利用者「a」を認識していることから終了条件は充足していないので(S130),利用者「e」,「f」について,それぞれ新たに認識した人物として,人物IDを割り当て,認識情報記憶部22に人物ID,顔部分などの画像情報,認識した無線LAN通信スポット,認識日時などの各情報を記憶させる(S140)。そして,利用者「e」,「f」についての候補となる通信端末識別情報の記憶領域を通信端末識別情報記憶部24に確保する(S150)。
【0056】
通信端末識別情報取得処理部23は,当該人物を認識した画像情報に対応する無線LAN通信スポットを識別する情報に基づいて,当該無線LAN通信スポットにおける無線LANスイッチ31から,そこで記憶しているMACアドレスや日時情報を取得する(S170)。
図4の場合,この時点でのエリア1には,利用者「a」,「b」,「e」,「f」がいるので,それぞれ取得した各可搬型通信端末4のMACアドレス「12−34−56−78−90−12」,「34−56−78−90−12−34」,「90−12−34−56−78−90」,「12−AB−34−CD−56−EF」が,無線LAN通信スポットを示す「エリア1」,日時情報とともに無線LANスイッチ31に送られているので,これらの情報を取得することとなる。
【0057】
利用者「e」,「f」については,通信端末識別情報記憶部24における候補となる通信端末識別情報の記憶領域が空であるので,(S180),S170で取得したMACアドレスや日時情報を候補として記憶させる(S190)。また,利用者「a」,「b」については通信端末識別情報記憶部24における候補となる通信端末識別情報がすでに記憶されているので,通信端末識別情報比較処理部25は,
図5に記憶している候補となるMACアドレスの情報と,新たに取得したMACアドレスの情報とを比較し(S200),利用者「a」,「b」については重複するMACアドレス「12−34−56−78−90−12」,「34−56−78−90−12−34」を,新たな候補となる通信端末識別情報として記憶する(S210)。この状態の通信端末識別情報記憶部24を模式的に示すのが
図6である。
【0058】
さらに一定時間経過後(S220),
図4に示すように,エリア1には利用者「b」がいなくなり,新たに利用者「g」が入ってきている。そのような状況で画像情報取得処理部20で取得した防犯カメラで撮影した画像情報について(S100),上述と同様に,人物認識処理部21で人物の認識処理を実行する(S110)。 すなわち,人物として認識した利用者「a」,「e」,「f」,「g」についてその顔画像情報などに基づいて認識情報記憶部22を参照すると(S120),利用者「a」,「e」,「f」はその存在が確認され,それ以外の利用者は確認できない。そうすると,利用者「a」,「e」,「f」については,通信端末識別情報記憶部24に記憶する利用者「a」,「e」,「f」のそれぞれの候補となる通信端末識別情報の記憶領域を特定する(S160)。また,利用者「a」を認識していることから終了条件は充足していないので(S130),利用者「g」について,それぞれ新たに認識した人物として,人物IDを割り当て,認識情報記憶部22に人物ID,顔部分などの画像情報,認識した無線LAN通信スポット,認識日時などの各情報を記憶させる(S140)。そして,利用者「g」についての候補となる通信端末識別情報の記憶領域を通信端末識別情報記憶部24に確保する(S150)。
【0059】
通信端末識別情報取得処理部23は,当該人物を認識した画像情報に対応する無線LAN通信スポットを識別する情報に基づいて,当該無線LAN通信スポットにおける無線LANスイッチ31から,そこで記憶しているMACアドレスや日時情報を取得する(S170)。
図4の場合,エリア1には,利用者「a」,「e」,「f」,「g」がいるので,それぞれ取得した各可搬型通信端末4のMACアドレス「12−34−56−78−90−12」,「90−12−34−56−78−90」,「12−AB−34−CD−56−EF」,「34−GH−56−IJ−78−KL」が,無線LAN通信スポットを示す「エリア1」,日時情報とともに無線LANスイッチ31に送られているので,これらの情報を取得することとなる。
【0060】
利用者「g」については,通信端末識別情報記憶部24における候補となる通信端末識別情報の記憶領域が空であるので,(S180),S170で取得したMACアドレスや日時情報を候補として記憶させる(S190)。また,利用者「a」,「e」,「f」については通信端末識別情報記憶部24における候補となる通信端末識別情報がすでに記憶されているので,通信端末識別情報比較処理部25は,
図6に記憶しているMACアドレスの候補情報と,新たに取得したMACアドレスの情報とを比較し(S200),利用者「a」については重複するMACアドレス「12−34−56−78−90−12」を,利用者「e」,「f」については重複するMACアドレス「12−34−56−78−90−12」,「90−12−34−56−78−90」,「12−AB−34−CD−56−EF」を,それぞれ新たな候補となる通信端末識別情報として記憶する(S210)。この状態の通信端末識別情報記憶部24を模式的に示すのが
図7である。
【0061】
この時点において,利用者「a」の通信端末識別情報記憶部24の記憶領域における候補となる通信端末識別情報が一つとなったので,終了条件を充足する。そのため,出力処理部26は,利用者「a」が利用するMACアドレスを,利用者「a」の通信端末識別情報記憶部24の当該記憶領域に記憶している「12−34−56−78−90−12」として特定し,利用者「a」のMACアドレスとして出力処理を実行する。
【0062】
なお,仮に利用者「a」の候補となる通信端末識別情報が一つではない場合には,一定時間経過後(S170),
図4に示すように,エリア1には利用者「a」がいなくなり,新たに利用者「h」が入ってきている。そのような状況で画像情報取得処理部20で取得した防犯カメラで撮影した画像情報について(S180),S110と同様に,人物認識処理部21で人物の認識処理を実行する(S190)。そうすると利用者「e」,「f」,「g」,「h」の存在が認識されるが,人物認識処理部21を参照して,認識した各利用者を過去の認識した情報と比較すると(S200),利用者「e」,「f」,「g」はその存在が確認され,それ以外の利用者「h」は確認できない。
【0063】
そのため,利用者「a」を検出できなくなったとして,利用者「a」についての終了条件を充足し,出力処理部26は,その時点における利用者「a」の通信端末識別情報記憶部24の当該記憶領域に記憶しているMACアドレスを特定し,利用者「a」の候補となるMACアドレスとして出力処理を実行する。
【0064】
このように,終了条件としては,上述のように,通信端末識別情報記憶部24の当該利用者の記憶領域に記憶しているMACアドレスが一つになったときのほか,防犯カメラで撮影した画像情報で当該利用者が検出できなくなったときであってもよいし,ほかに任意に設定した条件であってもよい。
【0065】
なお,本実施態様においては,管理コンピュータ2の各機能を無線LAN通信スポットにおける無線LANスイッチ31などに備えて,その処理を実行させてもよい。
【実施例2】
【0066】
つぎに本発明の第2の実施態様として,第1の実施態様の変形例として,利用者が無線LAN通信スポットを移動する場合の処理を説明する。この場合の利用者の移動状況を
図8に示す。
【0067】
本実施態様においては,あるイベント会場にエリア1からエリア3の3つの無線LAN通信スポットが設置されており,撮影装置32として防犯カメラを用い,その防犯カメラで無線LAN通信スポットの通信可能範囲内の一部または全部を撮影した画像情報を用いている場合を示す。なお,複数のイベント会場の場合であっても同様に処理を実行できる。
【0068】
時間の経過とともに,エリア1乃至エリア3にいる人員構成に変動が生じている。すなわち,ある時点においては,エリア1には4人(利用者「a」乃至「d」)がいたところ,その時点から所定時間経過後にはエリア2に4人(利用者「a」,「b」,「e」,「f」)が,さらにそこから所定時間経過後にはエリア3に4人(利用者「a」,「e」,「f」,「g」)がいた場合を示している。つまり,当初,エリア1にいた利用者「a」,「b」はエリア2に移動し,さらに,利用者「a」はエリア3に移動している。
【0069】
また,エリア1,エリア2,エリア3ではそれぞれの時点で,通信端末識別情報としてのMACアドレスが無線LANスイッチ31で記録されており,さらに,防犯カメラが撮影をしている。そして,MACアドレス,画像情報は,いずれも管理コンピュータ2に送られている。
【0070】
まず,無線LAN通信スポットであるエリア1のアクセスポイント30の通信可能範囲内に位置した場合,その利用者が利用する可搬型通信端末4と無線LANスイッチ31との間で通信の確立が行われ,可搬型通信端末4のMACアドレスが,アクセスポイント30を介して無線LANスイッチ31に送られる。そして無線LANスイッチ31では,受け取ったMACアドレスを,無線LAN通信スポットを識別する情報,日時情報などとともに記憶している。
【0071】
エリア1の防犯カメラは動画像や静止画像などで撮影範囲内を撮影する。そして防犯カメラは撮影した画像情報を,無線LAN通信スポットや撮影装置32を識別する情報,撮影した日時情報などとともに,管理コンピュータ2に送信する。送られた画像情報は,管理コンピュータ2の画像情報取得処理部20で取得する(S100)。
【0072】
管理コンピュータ2の人物認識処理部21は,取得した画像情報に人物が写っているかの認識処理を実行する(S110)。そして人物が写っていることを認識した場合,その人物が過去に写った人物であるかを,認識情報記憶部22に記憶した,過去に認識した人物の情報と比較することで判定する(S120)。そして人物認識処理部21における処理の後,終了条件,たとえば従前から対象としていた人物を認識しなくなった,あるいは後述する当該人物の候補となる通信端末識別情報が一つとなったなどの条件を充足したかを出力処理部26が判定し(S130),終了条件を充足したことを判定すると通信端末識別情報記憶部24に記憶している,当該人物の記憶領域における通信端末識別情報を出力する。一方,終了条件を充足していない場合には,S140以降の処理を続行する。
【0073】
もし新しい人物を認識した場合には,当該人物に対して任意の識別情報(人物ID)を割り当てるとともに,認識情報記憶部22に,その顔画像などの情報と人物ID,認識した日時情報,エリア1で認識したことを示す情報などを記憶させる(S140)。
【0074】
一方,認識情報記憶部22との比較の結果,すでに認識していた場合にはその人物を特定する。
【0075】
たとえば
図8の場合,最初の時点においては,人物認識処理部21は,画像情報に,利用者「a」,「b」,「c」,「d」の4人の人物が写っていることを認識する。これら4人について,過去に認識された人物であるかを認識情報記憶部22と照合して判定すると,いずれも新しい人物であるので,利用者「a」乃至「d」について,それぞれに人物IDを割り当て,新たに認識した人物であるとして認識情報記憶部22に人物ID,顔部分などの画像情報,認識した無線LAN通信スポット,認識日時などの各情報を記憶させる。
【0076】
そして,人物認識処理部21では,利用者「a」,「b」,「c」,「d」の4人の人物を新たに認識しているので,それら4人の人物が利用する可搬型通信端末4の通信端末識別情報の候補となる通信端末識別情報を記憶するための記憶領域を,通信端末識別情報記憶部24に確保する(S150)。
【0077】
つぎに通信端末識別情報取得処理部23は,当該人物を認識した画像情報に対応する無線LAN通信スポットを識別する情報に基づいて,当該無線LAN通信スポットにおける無線LANスイッチ31から,そこで記憶しているMACアドレスや日時情報を取得する(S170)。
図8の場合,エリア1には,利用者「a」乃至「d」がそれぞれ1乃至4の可搬型通信端末4を利用しており,それら各可搬型通信端末4のMACアドレス「12−34−56−78−90−12」,「34−56−78−90−12−34」,「56−78−90−12−34−56」,「78−90−12−34−56−78」が,無線LAN通信スポットを示す「エリア1」,日時情報とともに無線LANスイッチ31に送られているので,これらの情報を取得することとなる。
【0078】
通信端末識別情報記憶部24における候補となる通信端末識別情報の記憶領域が空であれば(すなわち新たに人物を認識した場合)(S180),S170で取得したMACアドレスや日時情報を候補となる通信端末識別情報として記憶させる(S190)。すなわち,利用者「a」乃至「d」の候補となる通信端末識別情報として,それぞれ取得したMACアドレスや日時情報が記憶される。利用者「a」乃至「d」の候補となる通信端末識別情報の記憶領域に記憶される情報の一例が
図5と同様である。なお,この時点においては,利用者「a」乃至「d」の候補となる通信端末識別情報としては,同じ情報が記憶されている。
【0079】
以上のようにしてエリア1に対する処理を実行するが,各利用者は時間の経過とともに場所を移動している。そして一定時間経過後(S220),
図8に示すように,エリア1にいた利用者「a」と「b」はエリア2に移動し,エリア2には利用者「a」,「b」,「e」,「f」がいたとする。この場合においても,エリア2における無線LANスイッチ31はアクセスポイント30を介して各利用者の可搬型通信端末4との間で接続を確立し,MACアドレスを取得している。また,エリア2の防犯カメラは,エリア2の通信可能範囲内またはその周辺を撮影し,撮影した画像情報は管理コンピュータ2に送られている。
【0080】
管理コンピュータ2の画像情報取得処理部20で取得した防犯カメラで撮影した画像情報について(S100),上述と同様に,人物認識処理部21で人物の認識処理を実行する(S110)。すなわち,人物として認識した利用者「a」,「b」,「e」,「f」についてその顔画像情報などに基づいて認識情報記憶部22を参照すると(S120),利用者「a」,「b」はその存在が確認され,それ以外の利用者は確認できない。そうすると,利用者「a」,「b」については,通信端末識別情報記憶部24に記憶する利用者「a」,「b」のそれぞれの候補となる通信端末識別情報の記憶領域を特定する(S160)。また,利用者「a」を認識していることから終了条件は充足していないので(S130),利用者「e」,「f」について,それぞれ新たに認識した人物として,人物IDを割り当て,認識情報記憶部22に人物ID,顔部分などの画像情報,認識した無線LAN通信スポット,認識日時などの各情報を記憶させる(S140)。そして,利用者「e」,「f」についての候補となる通信端末識別情報の記憶領域を通信端末識別情報記憶部24に確保する(S150)。
【0081】
通信端末識別情報取得処理部23は,当該人物を認識した画像情報に対応する無線LAN通信スポットを識別する情報に基づいて,当該無線LAN通信スポットにおける無線LANスイッチ31から,そこで記憶しているMACアドレスや日時情報を取得する(S170)。
図8の場合,この時点でのエリア2には,利用者「a」,「b」,「e」,「f」がいるので,それぞれ取得した各可搬型通信端末4のMACアドレス「12−34−56−78−90−12」,「34−56−78−90−12−34」,「90−12−34−56−78−90」,「12−AB−34−CD−56−EF」が,無線LAN通信スポットを示す「エリア2」,日時情報とともに無線LANスイッチ31に送られているので,これらの情報を取得することとなる。
【0082】
利用者「e」,「f」については,通信端末識別情報記憶部24における候補となる通信端末識別情報の記憶領域が空であるので,(S180),S170で取得したMACアドレスや日時情報を候補として記憶させる(S190)。また,利用者「a」,「b」については通信端末識別情報記憶部24における候補となる通信端末識別情報がすでに記憶されているので,通信端末識別情報比較処理部25は,
図5に記憶している,候補となるMACアドレスの情報と,新たに取得したMACアドレスの情報とを比較し(S200),利用者「a」,「b」については重複するMACアドレス「12−34−56−78−90−12」,「34−56−78−90−12−34」を,新たな候補となる通信端末識別情報として記憶する(S210)。この状態の通信端末識別情報記憶部24を模式的に示すのが
図9である。
【0083】
さらに一定時間の経過とともに(S220),利用者「a」,「e」,「f」はエリア2からエリア3に移動し,エリア3には利用者「a」,「e」,「f」,「g」がいたとする。この場合においても,エリア3における無線LANスイッチ31はアクセスポイント30を介して各利用者の可搬型通信端末4との間で接続を確立し,MACアドレスを取得している。また,エリア3の防犯カメラは,エリア3の通信可能範囲内またはその周辺を撮影し,撮影した画像情報は管理コンピュータ2に送られている。
【0084】
管理コンピュータ2の画像情報取得処理部20で取得した防犯カメラで撮影した画像情報について(S100),上述と同様に,人物認識処理部21で人物の認識処理を実行する(S110)。すなわち,人物として認識した利用者「a」,「e」,「f」,「g」についてその顔画像情報などに基づいて認識情報記憶部22を参照すると(S120),利用者「a」,「e」,「f」はその存在が確認され,それ以外の利用者は確認できない。そうすると,利用者「a」,「e」,「f」については,通信端末識別情報記憶部24に記憶する利用者「a」,「e」,「f」のそれぞれの候補となる通信端末識別情報の記憶領域を特定する(S160)。また,利用者「a」を認識していることから終了条件は充足していないので(S130),利用者「g」について,それぞれ新たに認識した人物として,人物IDを割り当て,認識情報記憶部22に人物ID,顔部分などの画像情報,認識した無線LAN通信スポット,認識日時などの各情報を記憶させる(S140)。そして,利用者「g」についての候補となる通信端末識別情報の記憶領域を通信端末識別情報記憶部24に確保する(S150)。
【0085】
通信端末識別情報取得処理部23は,当該人物を認識した画像情報に対応する無線LAN通信スポットを識別する情報に基づいて,当該無線LAN通信スポットにおける無線LANスイッチ31から,そこで記憶しているMACアドレスや日時情報を取得する(S170)。
図8の場合,エリア3には,利用者「a」,「e」,「f」,「g」がいるので,それぞれ取得した各可搬型通信端末4のMACアドレス「12−34−56−78−90−12」,「90−12−34−56−78−90」,「12−AB−34−CD−56−EF」,「34−GH−56−IJ−78−KL」が,無線LAN通信スポットを示す「エリア3」,日時情報とともに無線LANスイッチ31に送られているので,これらの情報を取得することとなる。
【0086】
利用者「g」については,通信端末識別情報記憶部24における候補となる通信端末識別情報の記憶領域が空であるので,(S180),S170で取得したMACアドレスや日時情報を候補として記憶させる(S190)。また,利用者「a」,「e」,「f」については通信端末識別情報記憶部24における候補となる通信端末識別情報がすでに記憶されているので,通信端末識別情報比較処理部25は,
図9に記憶している候補となるMACアドレスの情報と,新たに取得したMACアドレスの情報とを比較し(S200),利用者「a」については重複するMACアドレス「12−34−56−78−90−12」を,利用者「e」,「f」については重複するMACアドレス「12−34−56−78−90−12」,「90−12−34−56−78−90」,「12−AB−34−CD−56−EF」を,それぞれ新たな候補となる通信端末識別情報として記憶する(S210)。この状態の通信端末識別情報記憶部24を模式的に示すのが
図10である。
【0087】
この時点において,利用者「a」の通信端末識別情報記憶部24の記憶領域における候補となる通信端末識別情報が一つとなったので,終了条件を充足する。そのため,出力処理部26は,利用者「a」が利用するMACアドレスを,利用者「a」の通信端末識別情報記憶部24の当該記憶領域に記憶している「12−34−56−78−90−12」として特定し,利用者「a」のMACアドレスとして出力処理を実行する。
【0088】
なお,仮に利用者「a」の候補となる通信端末識別情報が一つではない場合には,一定時間経過後(S170),利用者「a」がどのエリアの防犯カメラで撮影した画像情報から検出できなくなった場合,利用者「a」を検出できなくなったとして,利用者「a」についての終了条件を充足し,出力処理部26は,その時点における利用者「a」の通信端末識別情報記憶部24の当該記憶領域に記憶しているMACアドレスを特定し,利用者「a」の候補となるMACアドレスとして出力処理を実行する。
【実施例3】
【0089】
第1および第2の実施態様では管理コンピュータ2で人物の認識処理を行っていたが,第3の実施態様では,撮影装置32で人物の認識処理を行う場合を説明する。すなわち,
図1における人物認識処理部21や認識情報記憶部22が撮影装置32に組み込まれている場合を説明する。第3の実施態様におけるシステム構成の一例を
図11に模式的に示す。
【0090】
管理コンピュータ2は,認識通知受付処理部27と通信端末識別情報取得処理部23と通信端末識別情報記憶部24と通信端末識別情報比較処理部25と出力処理部26とを有する。
【0091】
認識通知受付処理部27は,撮影装置32で人物を認識した場合,その通知を受け取り,新しい人物を認識したことの通知を受け付けた場合には,通信端末識別情報記憶部24において,その人物に対する候補となる通信端末識別情報を記憶するための記憶領域を確保する。またすでに認識している人物であることの通知を受け付けた場合には,通信端末識別情報記憶部24における,その人物に対する候補となる通信端末識別情報を記憶するための記憶領域を特定する。
【0092】
通信端末識別情報取得処理部23と通信端末識別情報記憶部24と通信端末識別情報比較処理部25と出力処理部26の各機能は第1および第2の実施態様とほぼ同様である。
【0093】
つぎに本実施態様における処理プロセスの一例を
図12のフローチャートを用いて説明する。なお,利用者の移動状況は
図4と同様である。すなわち,無線LAN通信スポットとしてエリア1が設けられており,そこに,アクセスポイント30,無線LANスイッチ31,防犯カメラが設置されている。そして,時間の経過とともに,エリア1にいる人員構成に変動が生じている。すなわち,ある時点においては,エリア1には4人(利用者「a」乃至「d」)がいたところ,その時点から所定時間経過後には4人(利用者「a」,「b」,「e」,「f」)が,さらにそこから所定時間経過後には4人(利用者「a」,「e」,「f」,「g」)がいた場合を示している。つまり,当初,エリア1にいた人員構成が,利用者「a」乃至「d」の4人から,利用者「a」,「b」,「e」,「f」の4人になり(利用者「c」,「d」がエリア1からいなくなり,利用者「e」,「f」がエリア1に入ってくる),さらに,利用者「a」,「e」,「f」,「g」の4人になった(利用者「b」がエリア1からいなくなり,利用者「g」がエリア1に入ってくる)場合である。
【0094】
また,エリア1ではそれぞれの時点で,MACアドレスが無線LANスイッチ31で記録されており,さらに,防犯カメラが撮影をしている。そして,MACアドレス,画像情報は,いずれも管理コンピュータ2に送られている。
【0095】
まず,無線LAN通信スポットであるエリア1のアクセスポイント30の通信可能範囲内に位置した場合,その利用者が利用する可搬型通信端末4と無線LANスイッチ31との間で通信の確立が行われ,可搬型通信端末4のMACアドレスが,アクセスポイント30を介して無線LANスイッチ31に送られる。そして無線LANスイッチ31では,受け取ったMACアドレスを,無線LAN通信スポットを識別する情報,日時情報などとともに記憶している。
【0096】
エリア1の防犯カメラは動画像や静止画像などで撮影範囲内を撮影する。そして防犯カメラの人物認識処理部21は,撮影した画像情報に人物が写っているかの認識処理を実行する(S300)。そして人物が写っていることを認識した場合,その人物が過去に写った人物であるかを,認識情報記憶部22に記憶した,過去に認識した人物の情報と比較することで判定する(S310)。そして,新しい人物を認識したことを管理コンピュータ2に通知し,管理コンピュータ2の認識通知受付処理部27でその通知を受け付ける。管理コンピュータ2の認識通知受付処理部27では,上記通知を受け付けているので,終了条件,たとえば従前から対象としていた人物を認識しなくなった,あるいは後述する当該人物の候補となる通信端末識別情報が一つとなったなどの条件を充足したかを出力処理部26が判定し(S320),終了条件を充足したことを判定すると通信端末識別情報記憶部24に記憶している,当該人物の記憶領域における通信端末識別情報を出力する。一方,終了条件を充足していない場合には,S330以降の処理を続行する。
【0097】
もし新しい人物を認識した場合には,当該人物に対して任意の識別情報(人物ID)を割り当てるとともに,認識情報記憶部22に,その顔画像などの情報と人物ID,認識した日時情報,エリア1で認識したことを示す情報などを記憶させる(S330)。
【0098】
一方,認識情報記憶部22との比較の結果,すでに認識していた場合にはその人物を特定する。
【0099】
たとえば
図4の場合,最初の時点においては,人物認識処理部21は,画像情報に,利用者「a」,「b」,「c」,「d」の4人の人物が写っていることを認識する。これら4人について,過去に認識された人物であるかを認識情報記憶部22と照合して判定すると,いずれも新しい人物であるので,新しい人物として利用者「a」,「b」,「c」,「d」を認識したことを管理コンピュータ2に通知し,管理コンピュータ2の認識通知受付処理部27でその通知を受け付ける。また,利用者「a」を認識していることから終了条件は充足していないので(S320),撮影装置32では,利用者「a」乃至「d」について,それぞれに人物IDを割り当て,新たに認識した人物であるとして認識情報記憶部22に人物ID,顔部分などの画像情報,認識した無線LAN通信スポット,認識日時などの各情報を記憶させる(S330)。
【0100】
そして,認識通知受付処理部27では,利用者「a」,「b」,「c」,「d」の4人の人物を新たに認識したことの通知を受け付けているので,それら4人の人物が利用する可搬型通信端末4の通信端末識別情報の候補となる通信端末識別情報を記憶するための記憶領域を,通信端末識別情報記憶部24に確保する(S340)。
【0101】
つぎに通信端末識別情報取得処理部23は,当該人物を認識した画像情報に対応する無線LAN通信スポットを識別する情報に基づいて,当該無線LAN通信スポットにおける無線LANスイッチ31から,そこで記憶しているMACアドレスや日時情報を取得する(S360)。
図4の場合,エリア1には,利用者「a」乃至「d」がそれぞれ1乃至4の可搬型通信端末4を利用しており,それら各可搬型通信端末4のMACアドレス「12−34−56−78−90−12」,「34−56−78−90−12−34」,「56−78−90−12−34−56」,「78−90−12−34−56−78」が,無線LAN通信スポットを示す「エリア1」,日時情報とともに無線LANスイッチ31に送られているので,これらの情報を取得することとなる。
【0102】
通信端末識別情報記憶部24における候補となる通信端末識別情報の記憶領域が空であれば(すなわち新たに人物を認識した場合)(S370),S360で取得したMACアドレスや日時情報を候補となる通信端末識別情報として記憶させる(S380)。すなわち,利用者「a」乃至「d」の候補となる通信端末識別情報として,それぞれ取得したMACアドレスや日時情報が記憶される。利用者「a」乃至「d」の記憶領域に記憶される候補となる通信端末識別情報の一例が
図5である。なお,この時点においては,利用者「a」乃至「d」の候補となる通信端末識別情報としては,同じ情報が記憶されている。
【0103】
そして一定時間経過後(S410),
図4に示すように,エリア1では利用者「c」,「d」がいなくなり,新たに利用者「e」,「f」が入ってきている。そのような状況で画像情報取得処理部20で取得した防犯カメラで撮影した画像情報について,人物認識処理部21で人物の認識処理を実行する(S300)。すなわち,人物として認識した利用者「a」,「b」,「e」,「f」についてその顔画像情報などに基づいて認識情報記憶部22を参照すると(S310),利用者「a」,「b」はその存在が確認され,それ以外の利用者は確認できない。そうすると,撮影装置32から管理コンピュータ2に対して,利用者「a」,「b」を認識したこと,新たな利用者として利用者「e」,「f」を認識したことの通知が送られる。
【0104】
この通知は管理コンピュータ2の認識通知受付処理部27で受け付け,認識通知受付処理部27は,利用者「a」,「b」については,通信端末識別情報記憶部24に記憶する利用者「a」,「b」のそれぞれの候補となる通信端末識別情報の記憶領域を特定する(S350)。また,利用者「a」を認識していることから終了条件は充足していないので(S320),撮影装置32においては,利用者「e」,「f」について,それぞれ新たに認識した人物として,人物IDを割り当て,認識情報記憶部22に人物ID,顔部分などの画像情報,認識した無線LAN通信スポット,認識日時などの各情報を記憶させる(S330)。そして,管理コンピュータ2の認識通知受付処理部27は,利用者「e」,「f」についての候補となる通信端末識別情報の記憶領域を通信端末識別情報記憶部24に確保する(S340)。
【0105】
通信端末識別情報取得処理部23は,当該人物を認識した画像情報に対応する無線LAN通信スポットを識別する情報に基づいて,当該無線LAN通信スポットにおける無線LANスイッチ31から,そこで記憶しているMACアドレスや日時情報を取得する(S360)。
図4の場合,この時点でのエリア1には,利用者「a」,「b」,「e」,「f」がいるので,それぞれ取得した各可搬型通信端末4のMACアドレス「12−34−56−78−90−12」,「34−56−78−90−12−34」,「90−12−34−56−78−90」,「12−AB−34−CD−56−EF」が,無線LAN通信スポットを示す「エリア1」,日時情報とともに無線LANスイッチ31に送られているので,これらの情報を取得することとなる。
【0106】
利用者「e」,「f」については,通信端末識別情報記憶部24における候補となる通信端末識別情報の記憶領域が空であるので,(S370),S360で取得したMACアドレスや日時情報を候補として記憶させる(S380)。また,利用者「a」,「b」については通信端末識別情報記憶部24における候補となる通信端末識別情報がすでに記憶されているので,通信端末識別情報比較処理部25は,
図5に記憶している,候補となるMACアドレスの情報と,新たに取得したMACアドレスの情報とを比較し(S390),利用者「a」,「b」については重複するMACアドレス「12−34−56−78−90−12」,「34−56−78−90−12−34」を,新たな候補となる通信端末識別情報として記憶する(S400)。この状態の通信端末識別情報記憶部24を模式的に示すのが
図6である。
【0107】
さらに一定時間経過後(S410),
図4に示すように,エリア1には利用者「b」がいなくなり,新たに利用者「g」が入ってきている。そのような状況で画像情報取得処理部20で取得した防犯カメラで撮影した画像情報について,人物認識処理部21で人物の認識処理を実行する(S300)。 すなわち,人物として認識した利用者「a」,「e」,「f」,「g」についてその顔画像情報などに基づいて認識情報記憶部22を参照すると(S310),利用者「a」,「e」,「f」はその存在が確認され,それ以外の利用者は確認できない。撮影装置32から管理コンピュータ2に対して,利用者「a」,「b」を認識したこと,新たな利用者として利用者「e」,「f」を認識したことの通知が送られる。
【0108】
この通知は管理コンピュータ2の認識通知受付処理部27で受け付け,認識通知受付処理部27は,利用者「a」,「e」,「f」については,通信端末識別情報記憶部24に記憶する利用者「a」,「e」,「f」のそれぞれの候補となる通信端末識別情報の記憶領域を特定する(S350)。また,利用者「a」を認識していることから終了条件は充足していないので(S320),撮影装置32においては,利用者「g」について,それぞれ新たに認識した人物として,人物IDを割り当て,認識情報記憶部22に人物ID,顔部分などの画像情報,認識した無線LAN通信スポット,認識日時などの各情報を記憶させる(S330)。そして,管理コンピュータ2の認識通知受付処理部27は,利用者「g」についての候補となる通信端末識別情報の記憶領域を通信端末識別情報記憶部24に確保する(S340)。
【0109】
通信端末識別情報取得処理部23は,当該人物を認識した画像情報に対応する無線LAN通信スポットを識別する情報に基づいて,当該無線LAN通信スポットにおける無線LANスイッチ31から,そこで記憶しているMACアドレスや日時情報を取得する(S360)。
図4の場合,エリア1には,利用者「a」,「e」,「f」,「g」がいるので,それぞれ取得した各可搬型通信端末4のMACアドレス「12−34−56−78−90−12」,「90−12−34−56−78−90」,「12−AB−34−CD−56−EF」,「34−GH−56−IJ−78−KL」が,無線LAN通信スポットを示す「エリア1」,日時情報とともに無線LANスイッチ31に送られているので,これらの情報を取得することとなる。
【0110】
利用者「g」については,通信端末識別情報記憶部24における候補となる通信端末識別情報の記憶領域が空であるので(S370),S360で取得したMACアドレスや日時情報を候補として記憶させる(S380)。また,利用者「a」,「e」,「f」については通信端末識別情報記憶部24における候補となる通信端末識別情報がすでに記憶されているので,通信端末識別情報比較処理部25は,
図6に記憶している候補となるMACアドレスの情報と,新たに取得したMACアドレスの情報とを比較し(S390),利用者「a」については重複するMACアドレス「12−34−56−78−90−12」を,利用者「e」,「f」については重複するMACアドレス「12−34−56−78−90−12」,「90−12−34−56−78−90」,「12−AB−34−CD−56−EF」を,それぞれ新たな候補となる通信端末識別情報として記憶する(S400)。この状態の通信端末識別情報記憶部24を模式的に示すのが
図7である。
【0111】
この時点において,利用者「a」の通信端末識別情報記憶部24の記憶領域における候補となる通信端末識別情報が一つとなったので,終了条件を充足する。そのため,出力処理部26は,利用者「a」が利用するMACアドレスを,利用者「a」の通信端末識別情報記憶部24の当該記憶領域に記憶している「12−34−56−78−90−12」として特定し,利用者「a」のMACアドレスとして出力処理を実行する。
【0112】
なお,仮に利用者「a」の候補となる通信端末識別情報が一つではない場合には,第1の実施態様と同様に,撮影装置32で利用者「a」を認識できなくなった時点で終了条件を充足し,その旨の通知を管理コンピュータ2に通知する。この通知を管理コンピュータ2の出力処理部26で受け付けることで,出力処理部26は,その時点における利用者「a」の通信端末識別情報記憶部24の当該記憶領域に記憶しているMACアドレスを特定し,利用者「a」の候補となるMACアドレスとして出力処理を実行する。
【0113】
このように,終了条件としては,上述のように,通信端末識別情報記憶部24の当該利用者の記憶領域に記憶しているMACアドレスが一つになったときのほか,防犯カメラで撮影した画像情報で当該利用者が検出できなくなったときであってもよいし,ほかに任意に設定した条件であってもよい。
【0114】
なお,本実施態様においては,管理コンピュータ2の各機能を,無線LAN通信スポットにおける無線LANスイッチ31などに備えて,それらの処理を実行してもよい。
【実施例4】
【0115】
つぎに本発明の第4の実施態様として,第3の実施態様の変形例として,利用者が無線LAN通信スポットを移動する場合(第2の実施態様と同様)の処理を説明する。この場合の利用者の移動状況を示す図が
図8である。
【0116】
本実施態様においては,第2の実施態様の場合と同様に,時間の経過とともに,エリア1乃至エリア3にいる人員構成に変動が生じている。すなわち,ある時点においては,エリア1には4人(利用者「a」乃至「d」)がいたところ,その時点から所定時間経過後にはエリア2に4人(利用者「a」,「b」,「e」,「f」)が,さらにそこから所定時間経過後にはエリア3に4人(利用者「a」,「e」,「f」,「g」)がいた場合を示している。つまり,当初,エリア1にいた利用者「a」,「b」はエリア2に移動し,さらに,利用者「a」はエリア3に移動している。
【0117】
まず,無線LAN通信スポットであるエリア1のアクセスポイント30の通信可能範囲内に位置した場合,その利用者が利用する可搬型通信端末4と無線LANスイッチ31との間で通信の確立が行われ,可搬型通信端末4のMACアドレスが,アクセスポイント30を介して無線LANスイッチ31に送られる。そして無線LANスイッチ31では,受け取ったMACアドレスを,無線LAN通信スポットを識別する情報,日時情報などとともに記憶している。
【0118】
エリア1の防犯カメラは動画像や静止画像などで撮影範囲内を撮影する。そして防犯カメラの人物認識処理部21は,撮影した画像情報に人物が写っているかの認識処理を実行する(S300)。そして人物が写っていることを認識した場合,その人物が過去に写った人物であるかを,認識情報記憶部22に記憶した,過去に認識した人物の情報と比較することで判定する(S310)。そして,新しい人物を認識したことを管理コンピュータ2に通知し,管理コンピュータ2の認識通知受付処理部27でその通知を受け付ける。管理コンピュータ2の認識通知受付処理部27では,上記通知を受け付けているので,終了条件,たとえば従前から対象としていた人物を認識しなくなった,あるいは後述する当該人物の候補となる通信端末識別情報が一つとなったなどの条件を充足したかを出力処理部26が判定し(S320),終了条件を充足したことを判定すると通信端末識別情報記憶部24に記憶している,当該人物の記憶領域における通信端末識別情報を出力する。一方,終了条件を充足していない場合には,S330以降の処理を続行する。
【0119】
もし新しい人物を認識した場合には,当該人物に対して任意の識別情報(人物ID)を割り当てるとともに,認識情報記憶部22に,その顔画像などの情報と人物ID,認識した日時情報,エリア1で認識したことを示す情報などを記憶させる(S330)。
【0120】
一方,認識情報記憶部22との比較の結果,すでに認識していた場合にはその人物を特定する。
【0121】
たとえば
図8の場合,最初の時点においては,人物認識処理部21は,画像情報に,利用者「a」,「b」,「c」,「d」の4人の人物が写っていることを認識する。これら4人について,過去に認識された人物であるかを認識情報記憶部22と照合して判定すると,いずれも新しい人物であるので,新しい人物として利用者「a」,「b」,「c」,「d」を認識したことを管理コンピュータ2に通知し,管理コンピュータ2の認識通知受付処理部27でその通知を受け付ける。また撮影装置32では,利用者「a」乃至「d」について,それぞれに人物IDを割り当て,新たに認識した人物であるとして認識情報記憶部22に人物ID,顔部分などの画像情報,認識した無線LAN通信スポット,認識日時などの各情報を記憶させる(S330)。
【0122】
そして,認識通知受付処理部27では,利用者「a」,「b」,「c」,「d」の4人の人物を新たに認識したことの通知を受け付けているので,それら4人の人物が利用する可搬型通信端末4の通信端末識別情報の候補となる通信端末識別情報を記憶するための記憶領域を,通信端末識別情報記憶部24に確保する(S340)。
【0123】
つぎに通信端末識別情報取得処理部23は,当該人物を認識した画像情報に対応する無線LAN通信スポットを識別する情報に基づいて,当該無線LAN通信スポットにおける無線LANスイッチ31から,そこで記憶しているMACアドレスや日時情報を取得する(S360)。
図8の場合,エリア1には,利用者「a」乃至「d」がそれぞれ1乃至4の可搬型通信端末4を利用しており,それら各可搬型通信端末4のMACアドレス「12−34−56−78−90−12」,「34−56−78−90−12−34」,「56−78−90−12−34−56」,「78−90−12−34−56−78」が,無線LAN通信スポットを示す「エリア1」,日時情報とともに無線LANスイッチ31に送られているので,これらの情報を取得することとなる。
【0124】
通信端末識別情報記憶部24における候補となる通信端末識別情報の記憶領域が空であれば(すなわち新たに人物を認識した場合)(S370),S360で取得したMACアドレスや日時情報を候補となる通信端末識別情報として記憶させる(S380)。すなわち,利用者「a」乃至「d」の候補となる通信端末識別情報として,それぞれ取得したMACアドレスや日時情報が記憶される。利用者「a」乃至「d」の記憶領域に記憶される候補となる通信端末識別情報の一例が
図5である。なお,この時点においては,利用者「a」乃至「d」の候補となる通信端末識別情報としては,同じ情報が記憶されている。
【0125】
以上のようにしてエリア1に対する処理を実行するが,各利用者は時間の経過とともに場所を移動している。そして一定時間経過後(S410),
図8に示すように,エリア1にいた利用者「a」と「b」はエリア2に移動し,エリア2には利用者「a」,「b」,「e」,「f」がいたとする。この場合においても,エリア2における無線LANスイッチ31はアクセスポイント30を介して各利用者の可搬型通信端末4との間で接続を確立し,MACアドレスを取得している。また,エリア2の防犯カメラは,エリア2の通信可能範囲内またはその周辺を撮影している。
【0126】
撮影装置32の人物認識処理部21は,撮影した画像情報について人物の認識処理を実行する(S300)。すなわち,人物として認識した利用者「a」,「b」,「e」,「f」についてその顔画像情報などに基づいて認識情報記憶部22を参照すると(S310),利用者「a」,「b」はその存在が確認され,それ以外の利用者は確認できない。そうすると,利用者「a」,「b」については,通信端末識別情報記憶部24に記憶する利用者「a」,「b」のそれぞれの候補となる通信端末識別情報の記憶領域を特定する(S350)。また,利用者「a」を認識していることから終了条件を充足していないので(S320),撮影装置32においては,利用者「e」,「f」について,それぞれ新たに認識した人物として,人物IDを割り当て,認識情報記憶部22に人物ID,顔部分などの画像情報,認識した無線LAN通信スポット,認識日時などの各情報を記憶させる(S330)。そして,管理コンピュータ2の認識通知受付処理部27は,利用者「e」,「f」についての候補となる通信端末識別情報の記憶領域を通信端末識別情報記憶部24に確保する(S340)。
【0127】
通信端末識別情報取得処理部23は,当該人物を認識した画像情報に対応する無線LAN通信スポットを識別する情報に基づいて,当該無線LAN通信スポットにおける無線LANスイッチ31から,そこで記憶しているMACアドレスや日時情報を取得する(S360)。
図8の場合,この時点でのエリア2には,利用者「a」,「b」,「e」,「f」がいるので,それぞれ取得した各可搬型通信端末4のMACアドレス「12−34−56−78−90−12」,「34−56−78−90−12−34」,「90−12−34−56−78−90」,「12−AB−34−CD−56−EF」が,無線LAN通信スポットを示す「エリア2」,日時情報とともに無線LANスイッチ31に送られているので,これらの情報を取得することとなる。
【0128】
利用者「e」,「f」については,通信端末識別情報記憶部24における候補となる通信端末識別情報の記憶領域が空であるので,(S370),S360で取得したMACアドレスや日時情報を候補として記憶させる(S380)。また,利用者「a」,「b」については通信端末識別情報記憶部24における候補となる通信端末識別情報がすでに記憶されているので,通信端末識別情報比較処理部25は,
図5に記憶している候補となるMACアドレスの情報と,新たに取得したMACアドレスの情報とを比較し(S390),利用者「a」,「b」については重複するMACアドレス「12−34−56−78−90−12」,「34−56−78−90−12−34」を,新たな候補となる通信端末識別情報として記憶する(S400)。この状態の通信端末識別情報記憶部24を模式的に示すのが
図9である。
【0129】
さらに一定時間の経過とともに(S410),利用者「a」,「e」,「f」はエリア2からエリア3に移動し,エリア3には利用者「a」,「e」,「f」,「g」がいたとする。この場合においても,エリア3における無線LANスイッチ31はアクセスポイント30を介して各利用者の可搬型通信端末4との間で接続を確立し,MACアドレスを取得している。また,エリア3の防犯カメラは,エリア3の通信可能範囲内またはその周辺を撮影している。
【0130】
撮影装置32の人物認識処理部21は,撮影した画像情報について人物の認識処理を実行する(S300)。すなわち,人物として認識した利用者「a」,「e」,「f」,「g」についてその顔画像情報などに基づいて認識情報記憶部22を参照すると(S310),利用者「a」,「e」,「f」はその存在が確認され,それ以外の利用者は確認できない。そうすると,利用者「a」,「e」,「f」については,通信端末識別情報記憶部24に記憶する利用者「a」,「e」,「f」のそれぞれの候補となる通信端末識別情報の記憶領域を特定する(S350)。また,利用者「a」を認識していることから終了条件は充足していないので(S320),撮影装置32においては,利用者「g」について,それぞれ新たに認識した人物として,人物IDを割り当て,認識情報記憶部22に人物ID,顔部分などの画像情報,認識した無線LAN通信スポット,認識日時などの各情報を記憶させる(S330)。そして,管理コンピュータ2の認識通知受付処理部27は,利用者「e」,「f」についての候補となる通信端末識別情報の記憶領域を通信端末識別情報記憶部24に確保する(S340)。
【0131】
通信端末識別情報取得処理部23は,当該人物を認識した画像情報に対応する無線LAN通信スポットを識別する情報に基づいて,当該無線LAN通信スポットにおける無線LANスイッチ31から,そこで記憶しているMACアドレスや日時情報を取得する(S360)。
図8の場合,エリア3には,利用者「a」,「e」,「f」,「g」がいるので,それぞれ取得した各可搬型通信端末4のMACアドレス「12−34−56−78−90−12」,「90−12−34−56−78−90」,「12−AB−34−CD−56−EF」,「34−GH−56−IJ−78−KL」が,無線LAN通信スポットを示す「エリア3」,日時情報とともに無線LANスイッチ31に送られているので,これらの情報を取得することとなる。
【0132】
利用者「g」については,通信端末識別情報記憶部24における候補となる通信端末識別情報の記憶領域が空であるので,(S370),S360で取得したMACアドレスや日時情報を候補として記憶させる(S380)。また,利用者「a」,「e」,「f」については通信端末識別情報記憶部24における候補となる通信端末識別情報がすでに記憶されているので,通信端末識別情報比較処理部25は,
図9に記憶している候補となるMACアドレスの情報と,新たに取得したMACアドレスの情報とを比較し(S390),利用者「a」については重複するMACアドレス「12−34−56−78−90−12」を,利用者「e」,「f」については重複するMACアドレス「12−34−56−78−90−12」,「90−12−34−56−78−90」,「12−AB−34−CD−56−EF」を,新たな候補となる通信端末識別情報として記憶する(S400)。この状態の通信端末識別情報記憶部24を模式的に示すのが
図10である。
【0133】
この時点において,利用者「a」の通信端末識別情報記憶部24の記憶領域における候補となる通信端末識別情報が一つとなったので,終了条件を充足する。そのため,出力処理部26は,利用者「a」が利用するMACアドレスを,利用者「a」の通信端末識別情報記憶部24の当該記憶領域に記憶している「12−34−56−78−90−12」として特定し,利用者「a」のMACアドレスとして出力処理を実行する。
【0134】
なお,仮に利用者「a」の候補となる通信端末識別情報が一つではない場合には,第2の実施態様と同様に,撮影装置32で利用者「a」を認識できなくなった時点で終了条件を充足し,その旨の通知を管理コンピュータ2に通知する。この通知を管理コンピュータ2の出力処理部26で受け付けることで,出力処理部26は,その時点における利用者「a」の通信端末識別情報記憶部24の当該記憶領域に記憶しているMACアドレスを特定し,利用者「a」の候補となるMACアドレスとして出力処理を実行する。
【0135】
このように,終了条件としては,上述のように,通信端末識別情報記憶部24の当該利用者の記憶領域に記憶しているMACアドレスが一つになったときのほか,防犯カメラで撮影した画像情報で当該利用者が検出できなくなったときであってもよいし,ほかに任意に設定した条件であってもよい。
【実施例5】
【0136】
つぎに第1の実施態様乃至第4の実施態様における変形例を説明する。本実施態様においては,第1の実施態様乃至第4の実施態様における管理コンピュータ2や撮影装置32において,さらに人物(利用者)の顔画像情報などの人物認識処理に用いる個人の特徴情報と,その個人の属性情報とを記憶している場合である。
【0137】
本実施態様の場合,管理コンピュータ2や撮影装置32に属性情報記憶部(図示せず)をさらに備えており,それを参照することで,人物認識処理部21が認識した人物が具体的に誰であるのかを特定した上で認識情報記憶部22に記憶させる。
【0138】
すなわち属性情報記憶部には,個人の顔画像情報などの特徴情報と,氏名,住所,年齢などの属性情報を記憶している。そして人物認識処理部21において人物を認識すると,さらに属性情報記憶部に記憶する顔画像情報などの特徴情報と比較することで,当該認識した人物が誰であるかを特定する。特定した場合,認識情報記憶部22に,顔画像などの情報と人物ID,認識した日時情報,認識した無線LAN通信スポットを示す情報などに加え,当該人物の属性情報を対応づけて記憶させる。
【0139】
本実施態様のような構成を備えることで,第1乃至第4の実施態様では特定できなかった,「誰の」通信端末識別情報であるかまでを特定することができる。
【0140】
なお,属性情報記憶部を管理コンピュータ2に備えるのではなく,撮影装置32など無線LAN通信スポットのいずれかの装置に備えてもよい。また,捜査機関のコンピュータに属性情報記憶部を備え,管理コンピュータ2や撮影装置32などから捜査機関のコンピュータに対して,撮影装置32で撮影した画像情報から認識した顔画像情報などを送り,合致する人物の属性情報を捜査機関のコンピュータから受け取るように構成してもよい。
【実施例6】
【0141】
つぎに,第1乃至第5の実施態様の変形例を説明する。本実施態様においては,無線LAN通信スポットにおけるアクセスポイント30または無線LANスイッチ31が,接続を確立している可搬型通信端末4の受信電波強度を監視し,可搬型通信端末4の方向や距離を特定することで,可搬型通信端末4の通信端末識別情報の絞込処理を実行し,その精度を向上させる場合である。
【0142】
すなわち,アクセスポイント30や無線LANスイッチ31では,それらと接続を確立している可搬型通信端末4の受信電波強度を監視している。そして受信電波強度から可搬型通信端末4の方向や距離を特定する。受信電波強度から可搬型通信端末4の方向や距離を特定するには,特定のMACアドレスにおけるアクセスポイント30同士での受信電波強度からなる円(通信可能範囲)の重なりなどによって特定することができる。これを模式的に示すのが
図13である。
図13においては「X」地点が重なる範囲なので,この位置に可搬型通信端末4が存在することが特定できる。
【0143】
図13に示すように,ある無線LAN通信スポットに3つのアクセスポイント30があったとする。そしてそれぞれのアクセスポイント30では可搬型通信端末4からの受信電波強度を監視しているので,監視している電波強度に応じて,どの範囲に可搬型通信端末4がいるか,円状で表現される。この場合,受信電波強度が強いとアクセスポイント30の近くにあると考えられるので半径の小さい円が,受信電波強度が弱いとアクセスポイント30の遠くにあると考えられるので半径の大きい円となる。そうすると,3つのアクセスポイント30のそれぞれで,特定の通信端末識別情報を備える可搬型通信端末4に対する円が成立する。この円が重畳する位置が当該可搬型通信端末4が所在する位置となる。その結果,受信電波強度から可搬型通信端末4の方向や距離を特定することができる。
【0144】
そしてこのようにして特定した方向や距離の位置を撮影する撮影装置32の画像情報に基づいて上述の各実施態様の人物認識処理を実行することで,当該位置に写っている人物が絞り込むことができる。
【0145】
本実施態様における上述の処理は,通信可能範囲を仮想的な座標に置換して演算処理を実行することで,可搬型通信端末4の方向や距離の特定処理が行えるが,ほかの方法によってもよい。
【実施例7】
【0146】
第1乃至第6の実施態様の変形例を説明する。第1乃至第6の実施態様においては,通信端末識別情報記憶部24において,人物ごとに,候補となる通信端末識別情報を記憶しておき,通信端末識別情報比較処理部25が,新たに無線LANスイッチ31などから取得した通信端末識別情報と比較して,重複する通信端末識別情報を,新たな候補となる通信端末識別情報として記憶させていた。本実施態様においては,通信端末識別情報記憶部24に,候補となる通信端末識別情報に対応づけて,通信端末識別情報ごとの信頼度を示すカウンター(信頼度情報)をさらに記憶している場合を説明する。
【0147】
すなわち,通信端末識別情報比較処理部25は,上記候補となる通信端末識別情報と取得した通信端末識別情報との比較の際に,重複した通信端末識別情報を新たな候補とするのではなく,新たな候補となる通信端末識別情報をそれらの和集合を演算することで特定し,積集合(重複)となる通信端末識別情報については,信頼度情報をカウントアップ(たとえば+1)をする。
【0148】
この処理を第1の実施態様における利用者「a」の通信端末識別情報の比較(
図3のS190乃至S200)を例に用いて説明する。なお,通信端末識別情報比較処理部25における候補となる通信端末識別情報の比較処理以外はほぼ同様であるので,説明を省略する。
【0149】
第1の実施態様においては,利用者「a」,「b」,「c」,「d」が認識され,通信端末識別情報取得処理部23では,可搬型通信端末4のMACアドレスとして「12−34−56−78−90−12」,「34−56−78−90−12−34」,「56−78−90−12−34−56」,「78−90−12−34−56−78」を取得している。そして,利用者「a」,「b」,「c」,「d」のそれぞれの通信端末識別情報記憶部24における記憶領域は,いずれも空なので(S180),利用者「a」乃至「d」の候補となるMACアドレスとして,それぞれ取得したMACアドレスを記憶する(S190)。この際に,各MACアドレスの信頼度情報を初期値,たとえば「0」に設定する。この状態の通信端末識別情報記憶部24の一例を
図14に模式的に示す。なお本実施態様の説明では利用者「a」を説明するので,利用者「a」の通信端末識別情報記憶部24の記憶領域のみを示している。
【0150】
つぎに,一定時間経過後,利用者「a」,「b」,「e」,「f」が認識された場合,通信端末識別情報取得処理部23では,可搬型通信端末4のMACアドレスとして「12−34−56−78−90−12」,「34−56−78−90−12−34」,「90−12−34−56−78−90」,「12−AB−34−CD−56−EF」を取得している。そして利用者「e」,「f」のそれぞれの通信端末識別情報記憶部24における記憶領域はいずれも空なので,候補となるMACアドレスとして,それぞれ取得したMACアドレスを,信頼度情報を初期値「0」に設定して記憶させる(S190)。
【0151】
一方,利用者「a」,「b」については,通信端末識別情報記憶部24における候補となるMACアドレスがすでに記憶されているので,通信端末識別情報比較処理部25は,
図14に記憶している候補となるMACアドレスの情報と,新たに取得したMACアドレスの情報とを比較し(S200),和集合をとる。すなわち,利用者「a」については,
図14に記憶している候補となるMACアドレスに加えて,新たに取得したMACアドレスを候補に加える。また,
図14に記憶している候補となるMACアドレスの情報と,新たに取得したMACアドレスの積集合をとり,重複するMACアドレス「12−34−56−78−90−12」,「34−56−78−90−12−34」については,信頼度情報をカウントアップし,「1」に更新する。これを模式的に示すのが
図15である。
【0152】
さらに一定時間経過後,利用者「a」,「e」,「f」,「g」が認識された場合,通信端末識別情報取得処理部23では,可搬型通信端末4のMACアドレスとして「12−34−56−78−90−12」,「90−12−34−56−78−90」,「12−AB−34−CD−56−EF」,「34−GH−56−IJ−78−KL」を取得している。そして利用者「g」の通信端末識別情報における記憶領域は空なので,候補となるMACアドレスとして,それぞれ取得したMACアドレスを,信頼度情報を初期値「0」に設定して記憶させる(S190)。
【0153】
一方,利用者「a」,「e」,「f」については通信端末識別情報記憶部24における候補となるMACアドレスがすでに記憶されているので,通信端末識別情報比較処理部25は,
図14に記憶している候補となるMACアドレスの情報と,新たに取得したMACアドレスの情報とを比較し(S200),和集合をとる。すなわち,利用者「a」については,
図15に記憶している候補となるMACアドレスに加えて,新たに取得したMACアドレスを候補に加える。また,
図15に記憶している候補となるMACアドレスの情報と,新たに取得したMACアドレスの積集合をとり,重複するMACアドレス「12−34−56−78−90−12」については,信頼度情報をカウントアップし,「2」に更新する。また,重複するMACアドレス「90−12−34−56−78−90」,「12−AB−34−CD−56−EF」については,信頼度情報をカウントアップし,「1」に更新する。これを模式的に示すのが
図16である。
【0154】
以上のような処理を終了条件を充足するまで実行する。この場合,人物認識処理部21が利用者「a」を認識できなくなった時点で終了条件を充足することとなるので,その時点において信頼度情報がもっとも大きいMACアドレスを,出力処理部26が,利用者「a」の利用する可搬型通信端末4のMACアドレスとして出力をする。なお,信頼度情報がもっとも大きいMACアドレスを出力するほか,所定値以上,たとえば「1」以上のMACアドレス,あるいはすべてのMACアドレスを信頼度情報とともに出力してもよい。
【0155】
なお,上記では,比較処理の結果,積集合を演算した結果,重複したMACアドレスについて信頼度情報をカウントアップしたが,積集合を演算した結果,重複していないMACアドレスの信頼度情報をカウントダウン(たとえば−1)してもよい。さらに,カウントアップとカウントダウンを組み合わせてもよい。
【0156】
以上のような処理を実行することで,相対的に信頼度情報の大きいMACアドレスがより,信頼性の高いMACアドレスの候補として出力することができる。
【0157】
さらに,本実施態様のほかの実施態様として,第6の実施態様のように,特定の方向や距離からMACアドレスの絞込を行っている場合には,カウントアップの値を通常よりも大きくすることで,信頼度情報を更新してもよい。
【0158】
さらに,可搬型通信端末4が,ある無線LAN通信スポットからほかの無線LAN通信スポットに移動した(ローミング)したことを検出できる場合,人物認識処理部21で人物を認識した際に,そこから一定時間内にローミングしてきた可搬型通信端末4のMACアドレスの信頼度を,通常のカウントアップの値よりも大きくしてもよい。これによって絞込の精度を上げることができる。
【0159】
さらに,人物認識処理部21で人物を検出できなくなった際に,それから一定時間内にその無線LAN通信スポットからローミングした可搬型通信端末4のMACアドレスの信頼度を,通常のカウントアップの値よりも大きくしてもよい。
【0160】
さらに,本実施態様によれば,候補となるMACアドレスと,取得したMACアドレスとの和集合を取り,新たなMACアドレスの候補とすることから,候補となるMACアドレスの数が増える恐れがある。そこで,相対的に信頼度情報の低い候補となるMACアドレスについては,通信端末識別情報の当該利用者の記憶領域から削除してもよい。すなわち,信頼度情報が一定の閾値以下(または未満)である場合,信頼度情報の値が高いものからソートした際に,所定の順位より下である場合,それらを削除してもよい。
【0161】
さらに,信頼度情報は,通信端末識別情報特定処理システム1を設置してテストをしてチューニングすることにより,その精度を向上させることができる。
アクセスポイントを介して通信を利用する際に,その利用者が利用する可搬型通信端末の通信端末識別情報を特定する通信端末識別情報特定処理システムを提供することを目的とする。
無線LAN通信スポットを撮影装置で撮影した画像情報に基づいて,人物認識処理を行う人物認識処理部と,通信端末識別情報を取得する通信端末識別情報取得処理部と,人物ごとに,その人物が利用する可搬型通信端末の候補となる通信端末識別情報を記憶する通信端末識別情報記憶部と,通信端末識別情報記憶部に記憶する候補となる可搬型通信端末の通信端末識別情報と,通信端末識別情報取得処理部で取得した通信端末識別情報とを比較し,新たな候補となる通信端末識別情報を生成する通信端末識別情報比較処理部と,通信端末識別情報記憶部に記憶する通信端末識別情報の候補の一部または全部を出力する出力処理部と,を備える通信端末識別情報特定処理システムである。