【実施例1】
【0010】
図1は、本実施例における監視カメラシステム1000の代表的なシステム構成を示す図である。監視カメラシステム1000は、中央サーバ101と画像DBサーバ102と、駅サーバ103と、がネットワークNを介して接続されている。
【0011】
中央サーバ101は、複数の駅サーバ103を管理するサーバであり、必要に応じて画像DBサーバ102にアクセスし、種々の演算を行う。中央サーバ101の詳細は、
図2で後述する。
【0012】
画像DBサーバ102は、検索対象である画像群を格納するシステム外部のDBサーバである。
図1の例では、前述の通り、画像DBサーバ102が中央サーバ101とネットワークNを介して接続されている。以下では、画像DBサーバ102が指名手配犯の顔画像を格納し、画像DBサーバ102が警察システム内に設けられている前提で説明しているが、中央サーバ101に備えられていてもよい。
図3−
図5で後述する処理により、駅に入場する、又は駅から退場するユーザの顔画像をクエリ画像として記憶されている画像DBサーバ102内の画像群から指名手配犯の画像を検索するシーンに適用可能となる。
【0013】
上記のように画像DBサーバ102を中央サーバ内に記憶した場合は、警察システムから所定の画像群を駅管理会社に預託する場合等に有効である。
【0014】
駅サーバ103は、駅ごとに設置されるサーバであり、駅サーバ103が設置される駅を管理するとともに、中央サーバ101に集約する情報を収集する。駅サーバ103の詳細は
図2で後述する。
【0015】
図2は、中央サーバ101および駅サーバ103の機能構成を示す図である。
図2に示すように、中央サーバ101は、記憶部201と、第1の突合せ部202と、第2の突合せ部203と、第3の突合せ部204と、通知部205と、紐付部206とを有して構成されている。また、駅サーバ103は、改札管理部1031と、構内管理部1032とを有して構成されている。まず、中央サーバ101について説明する。
【0016】
記憶部201は、ハードウェアとしては、例えば、HDD(Hard Disk Drive)等の記憶装置から構成され、警察受信画像2011と、カメラ受信画像データ2012と、カード情報2013と、検知済み画像2014と、通知情報2015と、改札情報2016とを記憶する。
【0017】
警察受信画像2011は、警察システムから受信した画像データである。カメラ受信画像データ2012は、改札カメラ部104が撮像した改札画像や構内カメラ部106が撮像した構内画像を含む画像データである。カメラ受信画像データ2012の例については
図5を用いて後述する。カード情報2013は、駅改札を入退場したときのICカードの履歴を含むデータである。カード情報2013の例については、
図7を用いて後述する。検知済み画像2014は、改札画像や構内画像のうち、犯人と推定される人物が検知された画像データである。通知情報2015は、検知済み画像2014や検知済み画像2014に含まれる犯人と推定される人物のカード情報2013や個人情報を含むデータである。改札情報2016は、利用者がICカードにより入退場した駅改札の履歴を含むデータである。改札情報2016の例については、
図6を用いて後述する。
【0018】
第1の突合せ部202は、警察受信画像2011とカメラ受信画像データ2012に含まれる改札画像とを突き合せて犯人と推定される人物を照合する処理を行う。突き合せ方法についての詳細は
図3、4で後述する。
【0019】
第2の突合せ部203は、警察受信画像2011とカメラ受信画像データ2012に含まれる構内画像とを突き合せて犯人と推定される人物を照合する処理を行う。突き合せ方法についての詳細は
図3、4で後述する。
【0020】
第3の突合せ部204は、第1の突合せ部202、第2の突合せ部203において犯人が推定された場合に、カメラ受信画像データ2012に含まれる改札画像とカード情報2013とを突き合せて犯人と推定される人物を照合する処理を行う。突き合せ方法についての詳細は
図3で後述する。
【0021】
通知部205は、第1の突合せ部202、第2の突合せ部203、第3の突合せ部204において犯人が推定された場合に、駅サーバ103および画像DBサーバ102に、通知情報2015を送信する。
【0022】
紐付部206は、記憶部201で記憶している警察受信画像とカメラ受信画像データとICカード情報と改札情報との紐付を行う。
駅サーバ103は、
図2に示すように、改札管理部1031と、構内管理部2032とを有している。改札管理部1031は、駅改札ゲートや駅改札周辺の機器を管理する。改札管理部1031は、駅改札付近に備えられ、駅改札およびその周辺を撮像する改札カメラ部104と、駅改札ゲートに備えられ、接触または非接触により利用者のICカードに記録されている情報を読み取るICカード読み取り部105とを有している。
【0023】
構内管理部1032は、改札管理部1031以外の駅構内周辺の機器を管理する。構内管理部1032は、改札カメラ部104以外の場所に設けられ、駅構内周辺を撮像する構内カメラ部106を有している。駅改札以外の場所として、例えば、駅改札内にあるホーム付近や、駅改札外にある券売機付近が挙げられる。駅改札外のコンコースやコンコースに並ぶ店舗付近等、これら以外の場所に構内カメラ部106が設けられていてもよい。また、改札カメラ部104は、例えば、ホームとホームとを接続する階段や廊下等、改札内のうちホーム以外の場所に設けられていてもよい。
【0024】
図3は、中央サーバ101、駅サーバ103、及び画像DBサーバ102間の処理シーケンスを示す図である。
S301処理では、画像DBサーバ102は、中央サーバ101に指名手配犯の画像を1日1回、1週間に1回等に定期処理として行う。中央サーバ101は、画像DBサーバ102から受信した画像を警察受信画像として記憶部201に記憶する。
【0025】
S302処理では、駅サーバ103は、改札カメラ部104が撮像した改札画像及び構内カメラ部106が撮像した構内画像を中央サーバ101に送信する。中央サーバ101は、駅サーバ103から受信した画像をカメラ受信画像として記憶部201に記憶する。
【0026】
S303処理では、駅サーバ103は、駅改札を入退場したときにICカード読み取り部205が読み取った利用者のICカードに記録されているICカード情報、利用者がICカードにより入退場した駅改札に記憶されている改札情報2016を、中央サーバ101に送信する。中央サーバ101は、駅サーバ103から受信した情報を、それぞれ、ICカード情報2013、改札情報2016として記憶部201に記憶する。ICカード情報2013、改札情報2016から、利用客のICカードID、改札ID、改札通過時の時刻を把握することができる。
【0027】
S304処理では、中央サーバ101の第1の突合せ部202が、記憶部201に格納している警察受信画像及び検知済み画像と、カメラ受信画像の中から改札カメラ部104が撮像した改札画像とを照合する処理を数秒間に1回定期処理として行う。S304処理の詳細については
図4で後述する。
【0028】
S305処理では、中央サーバ101の第2の突合せ部203が、記憶部201に格納している警察受信画像及び検知済み画像と、カメラ受信画像の中から構内カメラ部106が撮像した構内画像とを照合する処理を数秒間に1回定期処理として行う。S305処理の詳細については
図4で後述する。
【0029】
S306処理は、S304処理が成功した時に実施する。中央サーバ101の第3の突合せ部204が、検知済み画像2014とカード情報2013の紐づけを実施する。例えば、第3の突合せ部204は、検知済み画像2014の撮影時刻505と、検知済み画像2014を撮像した改札カメラ部104が備えられた駅改札を識別するための改札IDとが一致するエントリを改札情報2016から検索し、紐づけ部210が、これらの情報を該当するエントリのICカードIDと紐づけ、通知情報2015に格納する。
【0030】
また、第3の突合せ部204は、前記ICカードIDと一致するIDをICカード情報2013から検索し、紐づけ部210が、該当するエントリに名前等個人情報が登録されていた場合、これらの情報を紐づけ、通知情報2015に格納する。通知情報2015は、カメラ受信画像データの中で検知済み画像を含むエントリと警察受信画像とを対応付けた情報である。具体的な内容については後述する。
【0031】
本処理により、事前にICカードに顔写真を登録していなくとも、指名手配犯とICカードの紐づけを実施することが可能となる。例えば指名手配犯で名前が判明していない、写真が無く似顔絵、外国国籍で名前がわからない、といった状態でも犯人の検知が可能となる。これにより指名手配犯の乗降駅をはじめ、ICカードを使った購買品、またその位置を特定することができるため、指名手配犯の足取りや生活パターンを把握することが可能となる。また、もし使用されたICカードに指名手配犯の個人情報が登録されていればその情報を得ることができ、オートチャージ等に加入していた場合銀行口座情報等も把握できる。もし指名手配犯以外の個人情報が登録されていたとしても、その人物から指名手配犯につながる可能性もあり得る。
【0032】
例えば、S305処理で、中央サーバ101の第2の突合せ部203が、指名手配犯を含む警察受信画像と、
図5に示すカメラ受信画像データ2012のエントリ#2の人物を含むカメラ受信画像とを照合した結果、指名手配犯の人物とカメラ受信画像の人物が一致したと判定したとする。この場合、第2の突合せ部203は、当該エントリに含まれる改札IDであるEB1と撮像時刻である10:05:01をキーとして
図6に示す改札情報2016にアクセスし、これらの改札IDおよび撮像時刻と同じ改札IDおよび入場時刻または退場時刻を含むエントリを検索し、検索したエントリに含まれるICカードIDであるA00002を読み取る。これにより、EB1により識別される駅改札を、ICカードIDがA00002であるICカードを所持した人物が通過したことがわかる。ここで、紐付け部206が、前記指名手配犯を含む警察受信画像、前記判定したカメラ受信画像、及び前記ICカードIDA00002を紐づけて記憶部201に蓄積する。
【0033】
更に、紐付け部206は、ICカード情報2013から検索されたICカードIDであるA00002をキーにして
図7に示すICカード情報2013にアクセスし、そのICカードIDを含むエントリを検索し、検索したエントリに含まれる名前であるXXXXを、前記紐づけた情報に更に紐づける。
【0034】
最後に、紐付け部206は、前記紐づけた情報を通知情報2015に格納する。この時、仮に名前XXXXが登録されていなかったとしても、紐付けられているカメラ受信画像とICカード情報から、名前XXXXと推定される人物の顔及びICカードID A00002を紐づけることができることが特徴である。
【0035】
S307処理は、S304処理もしくはS305処理が成功した時に実施する。中央サーバ101の通知部205は、駅サーバ103に通知情報2015に格納している指名手配犯発見の通知を送信する。
【0036】
S308処理は、S304処理もしくはS305処理が成功した時に実施する。中央サーバ101の通知部205は、画像DBサーバ102に通知情報2015に格納している指名手配犯発見の通知を送信する。
【0037】
図3について、例えば駅Aの構内カメラ部1032により指名手配犯が撮像され、その後、駅Aの改札を通り乗車したケースを考える。このケースではまず、指名手配犯が構内カメラ部1032により撮像され、S305処理でその人物が照合され、検知されたとする。第2の突合せ部203は、この時に検知した画像を検知済み画像2014として記憶部201に登録する。これにより、次回以降の指名手配犯の画像サンプルが増え、指名手配犯発見の可能性が上がる。また、検知済み画像に当日身に着けている衣類等が映っていた場合、指名手配犯発見に向けた有力な情報となり、指名手配犯発見の可能性が上がる。その後、S307処理及びS308処理を通じて、指名手配犯が駅構内で検知されたことが駅Aの駅サーバ103及び画像DBサーバ102へ通知される。
【0038】
その後、定期的に呼び出されるS304処理で、指名手配犯が改札通過時に改札カメラ部104により撮像された場合、第2の突合せ部203は、そのときのカメラ受信画像と、S301処理で受信した指名手配犯を含む警察受信画像及び前記S305処理で保存した過去の検知済み画像とを照合し、S304で撮像されたカメラ受信画像に含まれる人物が、警察受信画像及び検知済み画像に含まれる人物であることを検知する。
【0039】
次に、紐付け部206は、S306処理で、S304処理で照合に用いられた改札通過時の指名手配犯を含む警察受信画像とカメラ受信画像と検知済み画像とを、改札情報2016およびICカード情報2013に記憶されているID等の個人情報に紐づける。これにより、指名手配犯画像を含む警察受信画像とカメラ受信画像と検知済み画像と、ICカード情報2013に記憶されているICカードと改札情報2016とを紐づけることができる。もし当該ICカードに名前や生年月日等も登録されていればそれらの情報も指名手配犯画像と結び付けることができる。その後、通知部205は、S307処理で駅Aに設置されている駅サーバ103に指名手配犯情報を通知する。また、通知部205は、S308処理で画像DBサーバ102へ指名手配犯情報を通知する。
【0040】
また別の使い方として、駅構内の犯罪があった場合にも応用可能である。以下では、駅構内の場合について説明しているが、改札付近で犯罪が生じた場合も同様に考えることができる。
【0041】
例えば、一昨日時点では無実であった人物ZZが昨夜酒に酔い、駅員に暴行を加え逃亡したとする。この場合、暴行があった駅に設置されている駅サーバ103の構内カメラ部106が駅構内を撮像している。したがって、改札管理部1031は、暴行が行われた時刻に構内カメラ部106により撮像された画像を駅サーバ103の表示部に表示する。当該表示により、暴行を受けた駅員がその画像を確認する。駅サーバ103は、入力装置から人物ZZを特定できた旨の入力を受け付けると、その人物ZZが撮像された時刻とその画像とを検知済み画像として中央サーバ101に送信する。中央サーバ101の第2の突合せ部203は、駅サーバ103から受信した検知済み画像を検知済み画像2014として記憶部201に記憶するとともに、記憶部201に記憶されているカメラ受信画像データ2012の中から、同じ人物ZZが撮像された画像を抽出する。
【0042】
人物の特定方法については、例えば、人物の顔や服装などの特徴の一致度が所定の閾値(例えば、90%)以上であれば当該人物であると判定する等、種々の方法を用いることができる。この例の場合、暴行を起こした駅の昨夜のカメラ画像及び昨夜の周辺駅のカメラ画像と、駅サーバ103から受信した検知済み画像とを照合すればよい。
【0043】
第2の突合せ部203により人物ZZが検知できれば、その人物ZZが使用したICカードの足取りが確認できる。例えば、第2の突合せ部203は、検知済み画像に含まれる時刻をキーにして
図6に示す改札情報2016にアクセスし、改札情報2016の中からその時刻と同じ入場時刻または退場時刻を含むエントリを検索し、検索したエントリに含まれるICカードIDを読み取る。
【0044】
あるいは、第2の突合せ部203は、検知済み画像に含まれる時刻をキーにして
図7に示すICカード情報2013にアクセスし、ICカード情報2013の中からその時刻と同じ入場時刻または退場時刻を含むエントリを検索し、検索したエントリに含まれるIDを読み取る。このように、第2の突合せ部203が、人物ZZが検知されたとき(この例では暴行されたとき)の画像が撮像された時刻をキーにして、当該人物の入退場履歴を追跡することができるため、その足取りを確認することができる。
【0045】
また、ICカードに個人情報が登録されていれば、その人物の個人情報も把握することが可能である。この様に、改札通過した時点では犯罪者を検知することができなかった場合でも、その後の足取りを確認することにより、その犯人を検知することが可能である。また、改札通過時点で犯罪者を検知することができなかった場合、マスク等の変装をしていない可能性があり、検知しやすい可能性を期待できる。
【0046】
あるいは、集団的犯罪組織に対しても応用可能である。例えば、第2の突合せ部203は、上記の手法により複数の指名手配犯の過去の足取りを検知し、もし同時刻に同駅で、複数の指名手配犯のそれぞれが乗降していたことがわかればそれらの人物は共に行動していた可能性が高く、またもし彼らが特定の駅で頻繁に降りていればアジト等である可能性がある。この様な使い方によりテロリスト等集団的に行動する犯罪組織の検挙に貢献できる。
【0047】
図4は、中央サーバ101の処理フローを示す図であり、S304及びS305の詳細を示す図である。本処理により、受信カメラ画像と、警察受信画像及び検知済み画像とを照合する。
【0048】
S401では、第1の突合せ部202、第2の突合せ部203は、画像DBサーバ102から受信した犯人画像を含む警察受信画像及び検知済み画像を、それぞれ、改札画像、構内画像と照合する。検知済み画像2014は、当日検知した画像であり、犯人の顔や服装が当日のものとなっているため、照合精度が向上する。もちろん、検知済み画像にさらに過去の画像を含めてもよい。このためもし指名手配犯が改札通過時はマスクを着用する等顔を隠したとしても、服装等の顔以外の外見に関する特徴情報から紐付が可能となる。また、事前に犯人画像がICカードに登録されている必要が無いため、もし過去のICカード利用のデータが残されていれば指名手配犯が過去にどの様な駅で乗降したか、どの様な物を購入したか等、過去の足取りを把握することが可能となる。また、ICカード以外にも個人IDが特定できる端末に対する紐付も可能である。
【0049】
S402では、第1の突合せ部202、第2の突合せ部203は、照合結果の合否を判定し、成功であれば403へ、失敗であれば404へ遷移する。
【0050】
S403では、第1の突合せ部202、第2の突合せ部203は、検知した内容を記憶する。
【0051】
S404では、第1の突合せ部202、第2の突合せ部203は、演算対象の全画像を確認済みかの合否を判定し、成功であれば処理終了、失敗であれば401へ遷移する。
【0052】
図5は、カメラ受信画像データ2012の例を示す図である。カメラ受信画像データ2012は、改札画像に関するデータと、構内画像に関するデータとを含む。
【0053】
図5に示すように、カメラ受信画像データ2012は、エントリを識別するための項番501、改札カメラ部104または構内カメラ部106を識別するためのカメラID502、駅改札を識別するための改札ID503、駅改札が設置されている駅を示す設置駅504、改札カメラ部104または構内カメラ部106が画像を撮像した時刻を示す撮影時刻505、改札カメラ部104または構内カメラ部106により撮像された画像を示す撮影画像506を含む。
【0054】
第1の突合せ部202、第2の突合せ部203は、それぞれ、駅サーバ103から受信した改札画像、構内画像を、カメラ受信画像データ2012の撮影画像506として記憶する。また、第1の突合せ部202、第2の突合せ部203は、それぞれ、改札画像、構内画像とともに受信したカメラID502、改札ID503、設置駅504、撮影時刻505、撮影画像506を、記憶した撮影画像506と同じエントリに記憶する。
【0055】
図5では、例えば、B駅に設置された改札カメラ部104のカメラIDがK152であり、その改札カメラ部104は、改札IDがEB1により識別される駅改札付近に設置されていることがわかる。また、当該改札カメラ部104は、ある日の10:05:01に、撮像画像ΩAを撮像したことがわかる。このように、第1の突合せ部202、第2の突合せ部203は、駅サーバ103から受信したカメラ受信画像とともに、これらの情報を履歴形式で蓄積してカメラ受信画像データ2012に記憶する。なお、#1や#4のエントリでは改札IDが記録されていない。その理由は、これらのエントリは構内カメラ部106により撮像されたカメラ受信画像であるためである。
【0056】
図6は、改札情報2016の例を示す図である。
図6に示すように、改札情報2016は、駅改札を識別するための改札ID601、利用者がその駅改札から入場したときの時刻を示す入場時刻602、利用者がその駅改札から退場したときの時刻を示す退場時刻603、入退場したときに使用されたICカードを識別するためのICカードID604を含む。
【0057】
図6では、例えば、ICカードIDがA00002で識別されるICカードを所持した利用者が、10:05:01に、EB1で識別される駅改札から入場したことを示している。また、例えば、ICカードIDがA83194で識別されるICカードを所持した利用者が、10:05:00に、EB2で識別される駅改札から入場したことを示している。
【0058】
図7は、ICカード情報2013の例を示す図である。
図7に示すように、ICカード情報2013は、エントリを識別するための項番701、ICカードを識別するためのID702、そのICカードの所有者を示す名前703、そのICカードを用いて入場された駅を示す入場駅704、その入場された駅に設けられた駅改札のうち入場した駅改札を示す入場改札705、その駅改札から入場した時刻を示す入場時刻706、そのICカードを用いて退場された駅を示す退場駅707、その退場された駅に設けられた駅改札のうち退場した駅改札を示す退場改札708、その駅改札から退場した時刻を示す退場時刻709を含む。
【0059】
図7では、例えば、IDがA00001で識別されるICカードの所有者は登録がなく、A駅の駅改札EA4から15:30:33に入場し、C駅の改札SJ2から16:30:12に退場したことを示している。また、IDがA00002で識別されるICカードの所有者はXXXXであり、B駅の駅改札EB1から10:05:01に入場し、現時点で未退場であり、いずれかの駅構内にいることがわかる。
【0060】
このように、本システムでは、撮影された画像を検索クエリ画像として画像DBサーバ内を検索、照合する手段と、当該検索、照合でヒットした画像DBサーバ内の画像とICカード情報とを紐付けているため、撮像されたカードの使用者と記憶部に記憶されている人物の画像とを照合してカード情報と人物の画像とを紐付けることができる。