(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-05
(45)【発行日】2024-11-13
(54)【発明の名称】人物同定方法、人物同定システム及び人物同定プログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20241106BHJP
【FI】
G06Q50/10
(21)【出願番号】P 2022040152
(22)【出願日】2022-03-15
【審査請求日】2023-12-12
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110003199
【氏名又は名称】弁理士法人高田・高橋国際特許事務所
(72)【発明者】
【氏名】小堀 訓成
【審査官】酒井 優一
(56)【参考文献】
【文献】特開2009-193549(JP,A)
【文献】特開2021-197044(JP,A)
【文献】特開2019-192969(JP,A)
【文献】米国特許出願公開第2015/0332476(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
カメラ画像に含まれる人物を同定する人物同定方法であって、
少なくとも2基のアンテナを用いた近距離無線通信によってユーザ端末に付与されたユーザ情報を
それぞれ取得し、当該
少なくとも2基のアンテナを
それぞれ用いた遠距離通信によって当該ユーザ情報を外部に送信するステップと、
少なくとも2基の第1カメラを用いて、前記
少なくとも2基のアンテナ
の何れかによる近距離無線通信の範囲の少なくとも一部を含む第1範囲の画像を
カメラごとに取得するステップと、
少なくとも1基の第2カメラを用いて、前記
少なくとも2基のアンテナによる近距離無線通信の範囲を含まない第2範囲の画像を
カメラごとに取得するステップと、
前記第1範囲の画像に含まれる人物を
カメラごとに同定するステップと、
前記第2範囲の画像に含まれる人物を
カメラごとに同定するステップと、
を含み、
前記少なくとも2基のアンテナの総数は、前記少なくとも2基の第1カメラと前記少なくとも1基の第2カメラの合計数よりも少なく、
前記第1範囲の画像に含まれる人物を
カメラごとに同定するステップが、
前記第1範囲の画像に含まれる人物の認識情報を生成するステップと、
前記第1範囲の画像に含まれる人物の認識情報と、前記
第1範囲の画像にその近距離無線通信の範囲が含まれるアンテナの識別情報と、
当該アンテナが取得した前記ユーザ情報と、に基づいて、前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれるか否かを判定するステップと、
前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれると判定された場合、当該ユーザの追跡支援情報を生成するステップと、
を含み、
前記第2範囲の画像に含まれる人物を
カメラごとに同定するステップが、
前記第2範囲の画像に含まれる人物の認識情報を生成するステップと、
前記第2範囲の画像に含まれる人物の認識情報と、前記追跡支援情報と、に基づいて、前記第1範囲の画像に含まれると判定されたユーザと同一のユーザが、前記第2範囲の画像に含まれるか否かを判定するステップと、
を含む
ことを特徴とする人物同定方法。
【請求項2】
請求項1に記載の人物同定方法であって、
前記追跡支援情報は、前記第1範囲の画像に含まれると判定されたユーザのユーザ情報と、前記第1範囲の画像を取得した第1カメラの位置の情報と、当該第1カメラによって前記第1範囲の画像が取得された時刻の情報と、を含み、
前記第2範囲の画像に含まれる人物を
カメラごとに同定するステップが、更に、
前記追跡支援情報に含まれる前記第1範囲の画像が取得された時刻の情報と、前記追跡支援情報に含まれる前記第1範囲の画像を取得した第1カメラの位置の情報と、前記第2範囲の画像が取得された時刻の情報と、前記
第2範囲の画像を取得した第2カメラの位置の情報と、に基づいて、前記追跡支援情報を絞り込むステップを含み、
前記追跡支援情報を絞り込むステップが、前記第2範囲の画像が取得された時刻から所定時間遡った期間において、前記
第2範囲の画像を取得した第2カメラの位置から所定距離以内に位置する第1カメラにより取得された前記第1範囲の画像に基づいて生成された追跡支援情報を抽出するステップを含む
ことを特徴とする人物同定方法。
【請求項3】
請求項1又は2に記載の人物同定方法であって、
前記
少なくとも1基の第2カメラは、少なくとも2基のカメラを含み、
前記第2範囲の画像に含まれる人物を
カメラごとに同定するステップが、更に、
前記第1範囲の画像に含まれると判定されたユーザと同一のユーザが前記第2範囲の画像に含まれると判定された場合、当該ユーザの追跡確認情報を生成するステップであって、前記追跡確認情報が、前記第2範囲の画像に含まれると判定されたユーザのユーザ情報と、前記第2範囲の画像を取得した第2カメラの位置の情報と、当該第2カメラによって前記第2範囲の画像が取得された時刻の情報と、を含むステップと、
前記追跡確認情報に含まれる前記第2範囲の画像が取得された時刻の情報と、前記追跡確認情報に含まれる前記
第2範囲の画像を取得した第2カメラの位置の情報と、人物同定の対象である前記第2範囲の画像が取得された時刻の情報と、人物同定の対象である前記第2範囲の画像を取得し
た第2カメラの位置の情報と、に基づいて、前記追跡確認情報の絞り込みを行うステップと、
を含み、
前記追跡支援情報を絞り込むステップが、人物同定の対象である前記第2範囲の画像が取得された時刻から所定時間遡った期間において、人物同定の対象である前記第2範囲の画像を取得し
た第2カメラの位置から所定距離以内に位置する別の第2カメラにより取得された前記第2範囲の画像に基づいて生成された追跡確認情報を抽出するステップを含む
ことを特徴とする人物同定方法。
【請求項4】
請求項1~3の何れか1項に記載の人物同定方法であって、
更に、
前記少なくとも2基の第1カメラにより
それぞれ取得された前記第1範囲の画像の内の少なくとも2つの画像に同一のユーザが含まれると判定された場合、前記少なくとも2つの画像を取得した第1カメラの各位置の情報と、前記少なくとも2つの画像が取得された各時刻の情報と、に基づいて、当該ユーザの移動方向を計算するステップを含み、
前記第1範囲の画像に含まれる人物を同定するステップが、更に、
前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれると判定された場合、当該ユーザの移動方向の情報が計算されているか否かを判定するステップと、
前記移動方向の情報が計算されていると判定された場合、当該移動方向の情報に基づいて、前記第1範囲の画像を取得した第1カメラから見て前記移動方向の先に位置する第2カメラの識別情報を前記追跡支援情報に追加するステップと、
を含み、
前記第2範囲の画像に含まれる人物を
カメラごとに同定するステップが、更に、
前記移動方向の先に位置する第2カメラの識別情報が前記追跡支援情報に含まれているか否かを判定するステップと、
前記移動方向の先に位置する第2カメラの識別情報が前記追跡支援情報に含まれていると判定された場合、当該第2カメラの識別情報に基づいて、前記第2範囲の画像に含まれる人物の絞り込みを行うステップと、
を含む
ことを特徴とする人物同定方法。
【請求項5】
カメラ画像に含まれる人物を同定する人物同定システムであって、
近距離無線通信によってユーザ端末に付与されたユーザ情報を
それぞれ取得し、遠距離通信によって当該ユーザ情報を外部に
それぞれ送信する
少なくとも2基のアンテナと、
前記
少なくとも2基のアンテナ
の何れかによる近距離無線通信の範囲の少なくとも一部を含む第1範囲を
カメラごとに撮影する
少なくとも2基の第1カメラと、
前記
少なくとも2基のアンテナによる近距離無線通信の範囲を含まない第2範囲を
カメラごとに撮影する
少なくとも1基の第2カメラと、
前記第1範囲の画像に含まれる人物を
カメラごとに同定する第1同定処理と、前記第2範囲の画像に含まれる人物を
カメラごとに同定する第2同定処理と、を行う管理サーバと、
を備え、
前記少なくとも2基のアンテナの総数は、前記少なくとも2基の第1カメラと前記少なくとも1基の第2カメラの合計数よりも少なく、
前記管理サーバは、前記第1同定処理において、
前記第1範囲の画像に含まれる人物の認識情報を生成し、
前記第1範囲の画像に含まれる人物の認識情報と、前記
第1範囲の画像にその近距離無線通信の範囲が含まれるアンテナの識別情報と、
当該アンテナが取得した前記ユーザ情報と、に基づいて、前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれるか否かを判定し、
前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれると判定された場合、当該ユーザの追跡支援情報を生成し、
前記管理サーバは、前記第2同定処理において、
前記第2範囲の画像に含まれる人物の認識情報を生成し、
前記第2範囲の画像に含まれる人物の認識情報と、前記追跡支援情報と、に基づいて、前記第1範囲の画像に含まれると判定されたユーザと同一のユーザが、前記第2範囲の画像に含まれるか否かを判定する
ことを特徴とする人物同定システム。
【請求項6】
請求項5に記載の人物同定システムであって、
前記追跡支援情報は、前記第1範囲の画像に含まれると判定されたユーザのユーザ情報と、前記第1範囲の画像を取得した第1カメラの位置の情報と、当該第1カメラによって前記第1範囲の画像が取得された時刻の情報と、を含み、
前記管理サーバは、前記第2同定処理において、
前記追跡支援情報に含まれる前記第1範囲の画像が取得された時刻の情報と、前記追跡支援情報に含まれる前記第1範囲の画像を取得した第1カメラの位置の情報と、前記第2範囲の画像が取得された時刻の情報と、前記
第2範囲の画像を取得した第2カメラの位置の情報と、に基づいて、前記追跡支援情報の絞り込み処理を更に行い、
前記管理サーバは、前記追跡支援情報の絞り込み処理において、
前記第2範囲の画像が取得された時刻から所定時間遡った期間において、前記
第2範囲の画像を取得した第2カメラの位置から所定距離以内に位置する第1カメラにより取得された前記第1範囲の画像に基づいて生成された追跡支援情報を抽出する
ことを特徴とする人物同定システム。
【請求項7】
請求項5又は6に記載の人物同定システムであって、
前記
少なくとも1基の第2カメラは、少なくとも2基のカメラを含み、
前記管理サーバは、前記第2同定処理において、更に、
前記第1範囲の画像に含まれると判定されたユーザと同一のユーザが前記第2範囲の画像に含まれると判定された場合、当該ユーザの追跡確認情報を生成し、
前記追跡確認情報は、前記第2範囲の画像に含まれると判定されたユーザのユーザ情報と、前記第2範囲の画像を取得した第2カメラの位置の情報と、当該第2カメラによって前記第2範囲の画像が取得された時刻の情報と、を含み、
前記管理サーバは、前記第2同定処理において、更に、
前記追跡確認情報に含まれる前記第2範囲の画像が取得された時刻の情報と、前記追跡確認情報に含まれる前記
第2範囲の画像を取得した第2カメラの位置の情報と、前記第2同定処理の対象である前記第2範囲の画像が取得された時刻の情報と、前記第2同定処理の対象である前記第2範囲の画像を取得し
た第2カメラの位置の情報と、に基づいて、前記追跡確認情報の絞り込み処理を更に行い、
前記管理サーバは、前記追跡確認情報の絞り込み処理において、
前記第2同定処理の対象である前記第2範囲の画像が取得された時刻から所定時間遡った期間において、前記第2同定処理の対象である前記第2範囲の画像を取得し
た第2カメラの位置から所定距離以内に位置する別の第2カメラにより取得された前記第2範囲の画像に基づいて生成された追跡確認情報を抽出する
ことを特徴とする人物同定システム。
【請求項8】
請求項5~7の何れか1項に記載の人物同定システムであって、
前記管理サーバは、更に、
前記少なくとも2基の第1カメラにより
それぞれ取得された前記第1範囲の画像の内の少なくとも2つの画像に同一のユーザが含まれると判定された場合、前記少なくとも2つの画像を取得した第1カメラの各位置の情報と、前記少なくとも2つの画像が取得された各時刻の情報と、に基づいて、当該ユーザの移動方向を計算し、
前記管理サーバは、前記第1同定処理において、更に、
前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれると判定された場合、当該ユーザの移動方向の情報が計算されているか否かを判定し、
前記移動方向の情報が計算されていると判定された場合、当該移動方向の情報に基づいて、前記第1範囲の画像を取得した第1カメラから見て前記移動方向の先に位置する第2カメラの識別情報を前記追跡支援情報に追加し、
前記管理サーバは、前記第2同定処理において、更に、
前記移動方向の先に位置する第2カメラの識別情報が前記追跡支援情報に含まれているか否かを判定し、
前記移動方向の先に位置する第2カメラの識別情報が前記追跡支援情報に含まれていると判定された場合、当該第2カメラの識別情報に基づいて、前記第2範囲の画像に含まれる人物の絞り込みを行う
ことを特徴とする人物同定システム。
【請求項9】
カメラ画像に含まれる人物の同定をコンピュータに実行させる人物同定プログラムであって、
前記人物同定プログラムが、
少なくとも2基のアンテナを用いた近距離無線通信によってユーザ端末に付与されたユーザ情報を
それぞれ取得し、当該
少なくとも2基のアンテナを
それぞれ用いた遠距離通信によって当該ユーザ情報を外部に送信する処理と、
少なくとも2基の第1カメラを用いて、前記
少なくとも2基のアンテナ
の何れかによる近距離無線通信の範囲の少なくとも一部を含む第1範囲の画像を
カメラごとに取得する処理と、
少なくとも1基の第2カメラを用いて、前記
少なくとも2基のアンテナによる近距離無線通信の範囲を含まない第2範囲の画像を取得する処理と、
前記第1範囲の画像に含まれる人物を
カメラごとに同定する処理と、
前記第2範囲の画像に含まれる人物を
カメラごとに同定する処理と、
をコンピュータに実行させ、
前記少なくとも2基のアンテナの総数は、前記少なくとも2基の第1カメラと前記少なくとも1基の第2カメラの合計数よりも少なく、
前記第1範囲の画像に含まれる人物を
カメラごとに同定する処理が、
前記第1範囲の画像に含まれる人物の認識情報を生成する処理と、
前記第1範囲の画像に含まれる人物の認識情報と、前記
第1範囲の画像にその近距離無線通信の範囲が含まれるアンテナの識別情報と、
当該アンテナが取得した前記ユーザ情報と、に基づいて、前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれるか否かを判定する処理と、
前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれると判定された場合、当該ユーザの追跡支援情報を生成する処理と、
を含み、
前記第2範囲の画像に含まれる人物を
カメラごとに同定する処理が、
前記第2範囲の画像に含まれる人物の認識情報を生成する処理と、
前記第2範囲の画像に含まれる人物の認識情報と、前記追跡支援情報と、に基づいて、前記第1範囲の画像に含まれると判定されたユーザと同一のユーザが、前記第2範囲の画像に含まれるか否かを判定する処理と、
を含む
ことを特徴とする人物同定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、カメラ画像と通信を組み合わせて当該カメラ画像に含まれる人物を同定する方法、システム及びプログラムに関する。
【背景技術】
【0002】
特開2016-122300号公報は、カメラ画像と通信を組み合わせてカメラ画像に含まれる人物を同定するシステムを開示する。この従来のシステムは、撮像装置(カメラ)の近傍に設置されて検知信号をユーザの携帯端末に送信するビーコン装置と、人物の同定処理を行う画像処理装置と、を含む。ビーコン装置から検知信号を受信した場合、ユーザの携帯端末は、当該ビーコン装置の識別情報と、ユーザ情報と、を画像処理装置に送信する。このユーザ情報には、ユーザに付与される識別情報、ユーザの顔画像等の特徴情報、又はこれらの情報の組み合わせが含まれる。
【0003】
画像処理装置が行う同定処理では、ビーコン装置の識別情報と、ユーザ情報が取得された時刻情報とに基づいて、当該ビーコン装置の近傍に設置されたカメラの画角内にユーザが存在することが予測される。同定処理では、また、このカメラが取得したカメラ画像と、ユーザ情報が取得された時刻情報と、を用いた認識処理により、カメラ画像から人物が抽出される。そして、この抽出された人物の特徴情報と、ユーザ情報に含まれる特徴情報とが照合され、これにより、カメラ画像に含まれるユーザが特定される。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2016-122300号公報
【文献】特開2012-008802号公報
【文献】特開2020-194295号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来のシステムにおけるビーコン装置を、データの送受信が可能なアンテナに置き換えた場合を考える。この場合、アンテナは、例えば、携帯端末との近距離無線通信によってユーザ情報を取得し、遠距離通信によってこれを外部装置(例えば、画像処理装置)に送信する。このようなアンテナを含むシステムによれば、従来のシステムと同様に、カメラ画像と通信を組み合わせてカメラ画像に含まれる人物を同定することが可能となる。
【0006】
ここで、システムを構成するカメラの設置数が増えることは、カメラ画像に含まれる人物の見守り、カメラ画像を用いた防犯等の観点から望ましい。また、アンテナの設置数が増えれば、携帯端末(即ち、ユーザ)の位置情報の正確性が高まり、カメラ画像に含まれる人物の同定の精度が向上することが期待される。その一方で、アンテナの設置数が増えることは、コスト増加の面から懸念がある。従って、カメラの設置総数よりもアンテナのそれが少ない状況においても、カメラ画像に含まれる人物を同定するための技術の開発が望まれる。
【0007】
本開示の1つの目的は、カメラの設置総数よりもユーザ情報を送受信するアンテナのそれが少ない場合においても、カメラ画像に含まれる人物を同定することのできる技術を提供することにある。
【課題を解決するための手段】
【0008】
第1の観点は、カメラ画像に含まれる人物を同定する方法であり、次の特徴を有する。
前記方法は、
アンテナを用いた近距離無線通信によってユーザ端末に付与されたユーザ情報を取得し、当該アンテナを用いた遠距離通信によって取得するステップと、
第1カメラを用いて、前記アンテナによる近距離無線通信の範囲の少なくとも一部を含む第1範囲の画像を取得するステップと、
第2カメラを用いて、前記近距離無線通信の範囲を含まない第2範囲の画像を取得するステップと、
前記第1範囲の画像に含まれる人物を同定するステップと、
前記第2範囲の画像に含まれる人物を同定するステップと、
を含む。
前記第1範囲の画像に含まれる人物を同定するステップは、
前記第1範囲の画像に含まれる人物の認識情報を生成するステップと、
前記第1範囲の画像に含まれる人物の認識情報と、前記アンテナの識別情報と、前記アンテナが取得した前記ユーザ情報と、に基づいて、前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれるか否かを判定するステップと、
前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれると判定された場合、当該ユーザの追跡支援情報を生成するステップと、
を含む。
前記第2範囲の画像に含まれる人物を同定するステップは、
前記第2範囲の画像に含まれる人物の認識情報を生成するステップと、
前記第2範囲の画像に含まれる人物の認識情報と、前記追跡支援情報と、に基づいて、前記第1範囲の画像に含まれると判定されたユーザと同一のユーザが、前記第2範囲の画像に含まれるか否かを判定するステップと、
を含む。
【0009】
第2の観点は、第1の観点において更に次の特徴を有する。
前記追跡支援情報は、前記第1範囲の画像に含まれると判定されたユーザのユーザ情報と、前記第1範囲の画像を取得した第1カメラの位置の情報と、当該第1カメラによって前記第1範囲の画像が取得された時刻の情報と、を含む。
前記第2範囲の画像に含まれる人物を同定するステップは、更に、
前記追跡支援情報に含まれる前記第1範囲の画像が取得された時刻の情報と、前記追跡支援情報に含まれる前記第1範囲の画像を取得した第1カメラの位置の情報と、前記第2範囲の画像が取得された時刻の情報と、前記第2カメラの位置の情報と、に基づいて、前記追跡支援情報を絞り込むステップを含む。
前記追跡支援情報を絞り込むステップは、前記第2範囲の画像が取得された時刻から所定時間遡った期間において、前記第2カメラの位置から所定距離以内に位置する第1カメラにより取得された前記第1範囲の画像に基づいて生成された追跡支援情報を抽出するステップを含む。
【0010】
第3の観点は、第1又は2の観点において更に次の特徴を有する。
前記第2カメラは、少なくとも2台のカメラを含む。
前記第2範囲の画像に含まれる人物を同定するステップは、更に、
前記第1範囲の画像に含まれると判定されたユーザと同一のユーザが前記第2範囲の画像に含まれると判定された場合、当該ユーザの追跡確認情報を生成するステップであって、前記追跡確認情報が、前記第2範囲の画像に含まれると判定されたユーザのユーザ情報と、前記第2範囲の画像を取得した第2カメラの位置の情報と、当該第2カメラによって前記第2範囲の画像が取得された時刻の情報と、を含むステップと、
前記追跡確認情報に含まれる前記第2範囲の画像が取得された時刻の情報と、前記追跡確認情報に含まれる前記第2カメラの位置の情報と、人物同定の対象である前記第2範囲の画像が取得された時刻の情報と、人物同定の対象である前記第2範囲の画像を取得した前記第2カメラの位置の情報と、に基づいて、前記追跡確認情報の絞り込みを行うステップと、
を含む。
前記追跡支援情報を絞り込むステップは、人物同定の対象である前記第2範囲の画像が取得された時刻から所定時間遡った期間において、人物同定の対象である前記第2範囲の画像を取得した前記第2カメラの位置から所定距離以内に位置する別の第2カメラにより取得された前記第2範囲の画像に基づいて生成された追跡確認情報を抽出するステップを含む。
【0011】
第4の観点は、第1~3の観点の何れか1つにおいて更に次の特徴を有する。
前記第1カメラは、少なくとも2台のカメラを含む。
前記方法は、更に、
前記少なくとも2台の第1カメラにより取得された前記第1範囲の画像の内の少なくとも2つの画像に同一のユーザが含まれると判定された場合、前記少なくとも2つの画像を取得した第1カメラの各位置の情報と、前記少なくとも2つの画像が取得された各時刻の情報と、に基づいて、当該ユーザの移動方向を計算するステップを含む。
前記第1範囲の画像に含まれる人物を同定するステップは、更に、
前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれると判定された場合、当該ユーザの移動方向の情報が計算されているか否かを判定するステップと、
前記移動方向の情報が計算されていると判定された場合、当該移動方向の情報に基づいて、前記第1範囲の画像を取得した第1カメラから見て前記移動方向の先に位置する第2カメラの識別情報を前記追跡支援情報に追加するステップと、
を含む。
前記第2範囲の画像に含まれる人物を同定するステップは、更に、
前記移動方向の先に位置する第2カメラの識別情報が前記追跡支援情報に含まれているか否かを判定するステップと、
前記移動方向の先に位置する第2カメラの識別情報が前記追跡支援情報に含まれていると判定された場合、当該第2カメラの識別情報に基づいて、前記第2範囲の画像に含まれる人物の絞り込みを行うステップと、
を含む。
【0012】
第5の観点は、カメラ画像に含まれる人物を同定するシステムであり、次の特徴を有する。
前記システムは、アンテナと、第1及び第2カメラと、管理サーバと、を備える。
前記アンテナは、近距離無線通信によってユーザ端末に付与されたユーザ情報を取得し、遠距離通信によって当該ユーザ情報を外部に送信する。
前記第1カメラは、前記アンテナによる近距離無線通信の範囲の少なくとも一部を含む第1範囲を撮影する。
前記第2カメラは、前記近距離無線通信の範囲を含まない第2範囲を撮影する。
前記管理サーバは、前記第1範囲の画像に含まれる人物を同定する第1同定処理と、前記第2範囲の画像に含まれる人物を同定する第2同定処理と、を行う。
前記管理サーバは、前記第1同定処理において、
前記第1範囲の画像に含まれる人物の認識情報を生成し、
前記第1範囲の画像に含まれる人物の認識情報と、前記アンテナの識別情報と、前記アンテナが取得した前記ユーザ情報と、に基づいて、前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれるか否かを判定し、
前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれると判定された場合、当該ユーザの追跡支援情報を生成する。
前記管理サーバは、前記第2同定処理において、
前記第2範囲の画像に含まれる人物の認識情報を生成し、
前記第2範囲の画像に含まれる人物の認識情報と、前記追跡支援情報と、に基づいて、前記第1範囲の画像に含まれると判定されたユーザと同一のユーザが、前記第2範囲の画像に含まれるか否かを判定する。
【0013】
第6の観点は、第5の観点において更に次の特徴を有する。
前記追跡支援情報は、前記第1範囲の画像に含まれると判定されたユーザのユーザ情報と、前記第1範囲の画像を取得した第1カメラの位置の情報と、当該第1カメラによって前記第1範囲の画像が取得された時刻の情報と、を含む。
前記管理サーバは、前記第2同定処理において、
前記追跡支援情報に含まれる前記第1範囲の画像が取得された時刻の情報と、前記追跡支援情報に含まれる前記第1範囲の画像を取得した第1カメラの位置の情報と、前記第2範囲の画像が取得された時刻の情報と、前記第2カメラの位置の情報と、に基づいて、前記追跡支援情報の絞り込み処理を更に行う。
前記管理サーバは、前記追跡支援情報の絞り込み処理において、
前記第2範囲の画像が取得された時刻から所定時間遡った期間において、前記第2カメラの位置から所定距離以内に位置する第1カメラにより取得された前記第1範囲の画像に基づいて生成された追跡支援情報を抽出する。
【0014】
第7の観点は、第5又は6の観点において更に次の特徴を有する。
前記第2カメラは、少なくとも2台のカメラを含む。
前記管理サーバは、前記第2同定処理において、更に、
前記第1範囲の画像に含まれると判定されたユーザと同一のユーザが前記第2範囲の画像に含まれると判定された場合、当該ユーザの追跡確認情報を生成する。前記追跡確認情報は、前記第2範囲の画像に含まれると判定されたユーザのユーザ情報と、前記第2範囲の画像を取得した第2カメラの位置の情報と、当該第2カメラによって前記第2範囲の画像が取得された時刻の情報と、を含む。
前記管理サーバは、前記第2同定処理において、更に、
前記追跡確認情報に含まれる前記第2範囲の画像が取得された時刻の情報と、前記追跡確認情報に含まれる前記第2カメラの位置の情報と、前記第2同定処理の対象である前記第2範囲の画像が取得された時刻の情報と、前記第2同定処理の対象である前記第2範囲の画像を取得した前記第2カメラの位置の情報と、に基づいて、前記追跡確認情報の絞り込み処理を更に行う。
前記管理サーバは、前記追跡確認情報の絞り込み処理において、
前記第2同定処理の対象である前記第2範囲の画像が取得された時刻から所定時間遡った期間において、前記第2同定処理の対象である前記第2範囲の画像を取得した前記第2カメラの位置から所定距離以内に位置する別の第2カメラにより取得された前記第2範囲の画像に基づいて生成された追跡確認情報を抽出する。
【0015】
第8の観点は、第5~7の観点の何れか1つにおいて更に次の特徴を有する。
前記第1カメラは、少なくとも2台のカメラを含む。
前記管理サーバは、更に、
前記少なくとも2台の第1カメラにより取得された前記第1範囲の画像の内の少なくとも2つの画像に同一のユーザが含まれると判定された場合、前記少なくとも2つの画像を取得した第1カメラの各位置の情報と、前記少なくとも2つの画像が取得された各時刻の情報と、に基づいて、当該ユーザの移動方向を計算する。
前記管理サーバは、前記第1同定処理において、更に、
前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれると判定された場合、当該ユーザの移動方向の情報が計算されているか否かを判定し、
前記移動方向の情報が計算されていると判定された場合、当該移動方向の情報に基づいて、前記第1範囲の画像を取得した第1カメラから見て前記移動方向の先に位置する第2カメラの識別情報を前記追跡支援情報に追加する。
前記管理サーバは、前記第2同定処理において、更に、
前記移動方向の先に位置する第2カメラの識別情報が前記追跡支援情報に含まれているか否かを判定し、
前記移動方向の先に位置する第2カメラの識別情報が前記追跡支援情報に含まれていると判定された場合、当該第2カメラの識別情報に基づいて、前記第2範囲の画像に含まれる人物の絞り込みを行う。
【0016】
第9の観点は、カメラ画像に含まれる人物の同定をコンピュータに実行させるプログラムであり、次の特徴を有する。
前記プログラムは、
アンテナを用いた近距離無線通信によってユーザ端末に付与されたユーザ情報を取得し、当該アンテナを用いた遠距離通信によって取得する処理と、
第1カメラを用いて、前記アンテナによる近距離無線通信の範囲の少なくとも一部を含む第1範囲の画像を取得する処理と、
第2カメラを用いて、前記近距離無線通信の範囲を含まない第2範囲の画像を取得する処理と、
前記第1範囲の画像に含まれる人物を同定する処理と、
前記第2範囲の画像に含まれる人物を同定する処理と、
をコンピュータに実行させる。
前記第1範囲の画像に含まれる人物を同定する処理は、
前記第1範囲の画像に含まれる人物の認識情報を生成する処理と、
前記第1範囲の画像に含まれる人物の認識情報と、前記アンテナの識別情報と、前記アンテナが取得した前記ユーザ情報と、に基づいて、前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれるか否かを判定する処理と、
前記ユーザ端末に関連付けられるユーザが前記第1範囲の画像に含まれると判定された場合、当該ユーザの追跡支援情報を生成する処理と、
を含む。
前記第2範囲の画像に含まれる人物を同定する処理は、
前記第2範囲の画像に含まれる人物の認識情報を生成する処理と、
前記第2範囲の画像に含まれる人物の認識情報と、前記追跡支援情報と、に基づいて、前記第1範囲の画像に含まれると判定されたユーザと同一のユーザが、前記第2範囲の画像に含まれるか否かを判定する処理と、
を含む。
【発明の効果】
【0017】
第1、5又は8の観点によれば、第1範囲の画像に含まれる人物の同定処理(第1同定処理)において、ユーザ端末に関連付けられるユーザが第1範囲の画像に含まれると判定された場合、当該ユーザの追跡支援情報が生成される。この追跡支援情報は、第2範囲の画像に含まれる人物の同定処理(第2同定処理)において、第1範囲の画像に含まれると判定されたユーザと同一のユーザが、第2範囲の画像に含まれるか否かの判定に用いられる。従って、アンテナの設置総数がカメラの設置総数よりも少ない場合においても、第2範囲に含まれるユーザを同定することが可能となる。このことは、インフラ資源が限られた環境下でのユーザの効率的な追跡に寄与する。
【0018】
第2又は6の観点によれば、追跡支援情報の絞り込みが行われる。そのため、第2同定処理を実行するコンピュータの処理負荷を削減することが可能となる。このことは、ユーザのより効率的な追跡に寄与する。
【0019】
第3又は7の観点によれば、第2同定処理において、第1範囲の画像に含まれると判定されたユーザと同一のユーザが第2範囲の画像に含まれると判定された場合、当該ユーザの追跡確認情報が生成される。この追跡確認情報は、第2同定処理とは別の第2同定処理に用いられる。そのため、第2同定処理及び別の第2同定処理が繰り返されることによってこのユーザを追跡し続けることが可能となる。
【0020】
第4又は8の観点によれば、ユーザの移動方向に基づいて、当該移動方向の先に位置する第2カメラの識別情報が追跡支援情報に追加される。そのため、第2同定処理を実行するコンピュータの処理負荷を削減することが可能となる。このことは、ユーザのより効率的な追跡に寄与する。
【図面の簡単な説明】
【0021】
【
図1】本開示の実施形態に係るシステムにおいて行われる人物同定の概要を説明する図である。
【
図2】実施形態が想定する状況を説明する図である。
【
図3】実施形態に係るシステムの全体構成例を示すブロック図である。
【
図4】
図3に示した管理サーバの機能構成例を示すブロック図である。
【
図5】第2同定処理に用いられる追跡支援情報の絞り込み例を説明する図である。
【
図6】追跡支援情報に追加される識別情報を有するカメラの特定手法の一例を説明する図である。
【
図7】管理サーバ(プロセッサ)による第1同定処理の流れの一例を示すフローチャートである。
【
図8】管理サーバ(プロセッサ)による第2同定処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0022】
以下、図面を参照しながら、本開示の実施形態に係る人物同定方法、人物同定システム及び人物同定プログラムについて説明する。尚、実施形態に係る人物同定方法は、実施形態に係る人物同定システムにおいて行われるコンピュータ処理により実現される。実施形態に係る人物同定プログラムは、実施形態に係る人物同定方法をコンピュータに実行させるためのプログラムである。各図において、同一又は相当する部分には同一符号を付してその説明を簡略化し又は省略する。
【0023】
1.実施形態の概要
1-1.人物同定
図1は、本開示の実施形態に係るシステム(以下、単に「システム」とも称す。)において行われる人物同定の概要を説明する図である。実施形態に係るシステムは、少なくとも2基のアンテナを備えている。
図1には、少なくとも2基のアンテナの一例として、アンテナ11、12及び1Xが描かれている。以下、これらを特に区別しない場合、アンテナ11、12及び1Xを「アンテナ1」と総称する。アンテナ1は、実施形態に係るシステムが提供するサービス(例えば、人物見守りサービス、人物追跡サービス)のユーザUが携帯する端末(以下、「ユーザ端末」とも称す。)と通信を行う。
【0024】
図1には、ユーザ端末の一例として、ユーザ端末21及び22が描かれている。ユーザ端末21はユーザU1が携帯する端末であり、ユーザ端末22はユーザU2が携帯する端末である。以下、これらを特に区別しない場合、ユーザ端末21及び22は「ユーザ端末2」と総称される。アンテナ1によるユーザ端末2との通信は、例えば、近距離無線通信により行われる。ここで、近距離無線通信には、通信距離が数メートルから数十メートルの通信方式が利用される。具体的な通信方式としては、Bluetooth(登録商標)、Zigbee(登録商標)などが例示される。
【0025】
ユーザ端末2との近距離無線通信において、アンテナ1は、ユーザUに関する情報(以下、「ユーザ情報」とも称す。)を取得する。ユーザ情報としては、ユーザUに付与される識別情報が例示される。識別情報は、例えば、サービスの初回の利用時に、実施形態に係るシステムによってユーザ端末2ごとに設定される。ユーザ端末2の識別情報の設定は、一定の周期(例えば1日ごと)でリセットされてもよい。ユーザ情報には、また、アンテナ1からユーザ端末2までの距離と、アンテナ1に対するユーザ端末2の方位の情報とが含まれる(つまり、ユーザ端末2の位置の情報)。
【0026】
ユーザ情報には、ユーザUの顔画像等の特徴情報が含まれてもよい。特徴情報は、例えば、ユーザUにより設定される。特徴情報は、ユーザUによるサービスの利用中に行われた管理サーバ(後述)による人物認識の結果に基づいて設定されてもよい。この場合は、例えば、人物認識の結果に基づいて設定された特徴情報が、ユーザ端末2が有するユーザ情報に追加される。
【0027】
アンテナ1は、また、ネットワーク上の基地局(不図示)との間で遠距離通信を行う。ここで、遠距離通信には、通信距離が数kmから数十kmの通信方式が利用される。具体的な通信方式としては、各種のLPWA(Low Power Wide Area)、LTE(Long Term Evolution)などが例示される。基地局を介したアンテナ1の接続先には、管理サーバ(後述)が含まれる。アンテナ1と基地局の間にはWi-Fi(登録商標)等の中継モジュールが存在していてもよい。この中継モジュールは、基地局と管理サーバの間にも存在していてもよい。
【0028】
基地局との遠距離通信において、アンテナ1は、当該アンテナ1の識別情報を送信する。アンテナ1の識別情報としては、アンテナ1が設置されている位置の情報、このアンテナ1による近距離無線通信の範囲(CR11、CR12及びCR1X。以下、範囲CR11、CR12及びCR1Xを特に区別しない場合、これらを「通信範囲CR1」と総称する。)の情報などが例示される。ユーザ端末2からユーザ情報が取得された場合、アンテナ1は、このユーザ情報と、このユーザ情報が取得された時刻の情報とを基地局に送信する。
【0029】
アンテナ1の識別情報、このアンテナ1が取得したユーザ情報、及びこのユーザ情報が取得された時刻の情報は「アンテナ情報ANT」(後述)に含まれる情報の一例である。
【0030】
実施形態に係るシステムは、また、少なくとも2基のカメラを備えている。
図1には、少なくとも2基のカメラの一例として、カメラ31、32及び3Yが描かれている。カメラ31は、アンテナ11による通信範囲CR11の少なくとも一部を含む範囲SR31を撮影する。カメラ32は、アンテナ12による通信範囲CR12の少なくとも一部を含む範囲SR32を撮影する。カメラ3Yは、アンテナ1Xによる通信範囲CR1Xの少なくとも一部を含む範囲SR3Yを撮影する。以下、カメラ31、32及び3Yを特に区別しない場合、これらを「カメラ3」と総称する。また、範囲SR31、SR32及びSR3Yを特に区別しない場合、これらを「撮影範囲SR3」と総称する。
【0031】
カメラ3は、屋内又は屋外の構造物に取り付けられてその周囲を観測する。カメラ3の撮影方向は一点に固定されていてもよいし、撮影方向が水平又は垂直方向に移動してもよい。カメラ3は、また、ネットワーク上の基地局との間で遠距離通信を行う。この遠距離通信には、アンテナ1が利用する通信方式と同じものが利用される。基地局との遠距離通信において、カメラ3は、当該カメラ3の識別情報と、当該カメラ3が取得した画像情報を送信する。カメラ3の識別情報としては、カメラ3が設置されている位置の情報が例示される。カメラ3が取得した画像情報は、典型的には動画であるが、静止画でもよい。カメラ3が取得した画像情報には、この画像情報が取得された時刻の情報も含まれている。
【0032】
カメラ3の識別情報、及びこのカメラ3が取得した画像情報は「カメラ情報CAM1」(後述)に含まれる情報の一例である。
【0033】
実施形態に係るシステムでは、管理サーバ(後述)において撮影範囲SR3の画像に含まれる人物を同定する「同定処理」が行われる。同定処理では、例えば、撮影範囲SR3の画像に含まれる人物を認識する処理が行われる。撮影範囲SR3の画像に含まれる人物が認識された場合、この人物の認識情報が生成される。認識情報としては、認識された人物の位置の情報が例示される。認識情報には、認識された人物の顔画像等の特徴情報が含まれていてもよい。同定処理では、また、撮影範囲SR3の画像に含まれる人物の認識情報と、アンテナ1の識別情報と、このアンテナ1が取得したユーザ情報とに基づいて、当該撮影範囲SR3の画像にユーザUが含まれるか否かが判定される。
【0034】
1-2.同定処理の特徴
ここで、カメラ3及びアンテナ1の設置数を増やすことを考える。カメラ3の設置数が増えることは、撮影範囲SR3の画像に含まれる人物の見守り、カメラ3が取得した画像情報を用いた防犯等の観点から望ましい。また、アンテナ1の設置数が増えれば、ユーザ端末2の位置情報の正確性が高まり、撮影範囲SR3の画像に含まれる人物の同定の精度が向上することが期待される。その一方で、アンテナ1の設置数が増えることは、コスト増加の面から懸念がある。
【0035】
そこで、実施形態では、アンテナ1の設置総数がカメラのそれよりも少ない状況を考える。ここで、カメラ3の撮影範囲SR3は、アンテナ1による通信範囲CR1の少なくとも一部を含んでいる。そのため、アンテナ1の設置総数がカメラのそれよりも少ない状況では、通信範囲CR1を含まない範囲を撮影するカメラが存在することになる。
【0036】
図2は、実施形態が想定する状況を説明する図である。
図2には、
図1に示したアンテナ1及びカメラ3に加えて、カメラ41、42及び4Zが描かれている。カメラ41、42及び4Zは、通信範囲CR1を含まない範囲SR41、42及び4Zをそれぞれ撮影するカメラの一例である。カメラ41、42及び4Zの基本的な構成は、カメラ3と同じである。以下、カメラ41、42及び4Zを特に区別しない場合、これらを「カメラ4」と総称する。また、範囲SR41、SR42及びSR4Zを特に区別しない場合、これらを「撮影範囲SR4」と総称する。
【0037】
基地局との遠距離通信において、カメラ4は、当該カメラ4の識別情報と、当該カメラ4が取得した画像情報を送信する。カメラ4の識別情報としては、カメラ4が設置されている位置の情報が例示される。カメラ4が取得した画像情報は、典型的には動画であるが、静止画でもよい。カメラ4が取得した画像情報には、この画像情報が取得された時刻の情報も含まれている。
【0038】
カメラ4の識別情報、及びこのカメラ4が取得した画像情報は「カメラ情報CAM2」(後述)に含まれる情報の一例である。
【0039】
実施形態では、同定処理において、撮影範囲SR3の画像に含まれる人物の同定に加えて、撮影範囲SR4の画像に含まれる人物の同定が行われる。以下、説明の便宜上、前者を同定するための処理を「第1同定処理」とも称し、後者のそれを「第2同定処理」とも称す。第1同定処理の概要については既述の通りであるが、第1同定処理では、更に、ユーザUの「追跡支援情報」が生成される。追跡支援情報の生成は、撮影範囲SR3の画像にユーザUが含まれると判定された場合に行われる。
【0040】
追跡支援情報は、例えば、撮影範囲SR3の画像に含まれると判定されたユーザUのユーザ情報(具体的には、ユーザ端末2の識別情報及び位置の情報)、この撮影範囲SR3の画像を取得したカメラ3の識別情報、及びこの画像が取得された時刻の情報を含む。追跡支援情報が生成された場合、この追跡支援情報は第2同定処理において利用される。
【0041】
第2同定処理では、撮影範囲SR4の画像に含まれる人物を認識する処理が行われる。撮影範囲SR4の画像に含まれる人物が認識された場合、この人物の認識情報が生成される。認識情報としては、認識された人物の位置の情報が例示される。認識情報には、認識された人物の顔画像等の特徴情報が含まれていてもよい。第2同定処理では、また、撮影範囲SR4の画像に含まれる人物の認識情報と、追跡支援情報とに基づいて、当該撮影範囲SR4の画像にユーザUが含まれるか否かが判定される。
【0042】
このように、実施形態に係るシステムによれば、第1同定処理において生成された追跡支援情報が、第2同定処理において撮影範囲SR4の画像に含まれる人物の同定に用いられる。そのため、アンテナ1の設置総数がカメラの設置総数よりも少ない場合においても、撮影範囲SR4に含まれるユーザUを同定することが可能となる。このことは、インフラ資源が限られた環境下でのユーザUの効率的な追跡に寄与する。
【0043】
実施形態に係るシステムでは、第2同定処理においてユーザUの「追跡確認情報」が生成されてもよい。「追跡支援情報」の生成は、撮影範囲SR3の画像にユーザUが含まれると判定された場合に行われる。これに対し、「追跡確認情報」の生成は、撮影範囲SR4の画像にユーザUが含まれると判定された場合に行われる。追跡確認情報は、例えば、撮影範囲SR4の画像に含まれると判定されたユーザUのユーザ情報、この撮影範囲SR4の画像を取得したカメラ4の識別情報、及びこの画像が取得された時刻の情報を含む。追跡確認情報が生成された場合、この追跡確認情報は、「別の第2同定処理」において用いられる。
【0044】
別の第2同定処理とは、追跡確認情報が生成された第2同定処理とは異なる撮影範囲SR4の画像を対象とした第2同定処理、又は、追跡確認情報が生成された第2同定処理と共通する撮影範囲SRの画像を対象とする第2同定処理であって、追跡確認情報が生成された第2同定処理とは異なる時刻において行われる第2同定処理を意味する。
【0045】
以下、実施形態に係るシステムについてより詳細に説明する。
【0046】
2.人物同定システムの構成例
2-1.全体構成例
図3は、実施形態に係るシステムの全体構成例を示すブロック図である。
図3に示される例では、実施形態に係るシステムが、アンテナ1と、カメラ3及び4と、管理サーバ5と、ディスプレイ6とを備えている。
【0047】
アンテナ1は、屋内又は屋外の構造物に設置される通信装置である。アンテナ1の総設置数は、少なくとも2である。アンテナ1は、ユーザ端末2と近距離無線通信を行う。この近距離無線通信には、通信距離が数メートルから数十メートルの通信方式が利用される。近距離無線通信において、アンテナ1は、ユーザ端末2からユーザ情報USRを取得する。ユーザ情報USRには、例えば、ユーザ端末2の識別情報と、アンテナ1からユーザ端末2までの距離と、アンテナ1に対するユーザ端末2の方位の情報とが含まれる。ユーザ情報USRには、ユーザUの顔画像等の特徴情報が含まれていてもよい。
【0048】
アンテナ1は、また、ネットワーク7を介して管理サーバ5と遠距離通信を行う。遠距離通信には、通信距離が数kmから数十kmの通信方式が利用される。この遠距離通信において、アンテナ1は、管理サーバ5にアンテナ情報ANTを送信する。このアンテナ情報ANTには、例えば、アンテナ1の識別情報が含まれる。アンテナ1がユーザ情報USRを取得した場合、アンテナ情報ANTにこのユーザ情報USRが追加される。
【0049】
カメラ3及び4は、屋内又は屋外の構造物に取り付けられる観測装置である。カメラ3の総設置数は少なくとも2であり、カメラ4の総設置数も少なくとも2である。カメラ3及び4を合計した総設置数は、アンテナ1の総設置数よりも多い。カメラ3は、アンテナ1による通信範囲CR1の少なくとも一部を含む範囲(つまり、撮影範囲SR3)を撮影する。一方、カメラ4は、通信範囲CR1を含まない範囲(つまり、撮影範囲SR4)を撮影する。
【0050】
カメラ3及び4は、ネットワーク7を介して管理サーバ5とそれぞれ遠距離通信を行う。この遠距離通信において、カメラ3は、カメラ情報CAM1を管理サーバ5に送信する。カメラ情報CAM1には、例えば、カメラ3の識別情報、及びこのカメラ3が取得した画像情報が含まれる。一方、カメラ4は、カメラ情報CAM2を管理サーバ5に送信する。カメラ情報CAM2には、例えば、カメラ4の識別情報、及びこのカメラ4が取得した画像情報が含まれる。
【0051】
ここで、実施形態と本開示の観点との対応関係について説明する。カメラ3は本開示の観点の「第1カメラ」に対応し、カメラ4は本開示の観点の「第2カメラ」に対応している。また、撮影範囲SR3は本開示の観点の「第1範囲」に対応し、撮影範囲SR4は本開示の観点の「第2範囲」に対応している。
【0052】
管理サーバ5は、実施形態に係るシステムが提供するサービスを管理するコンピュータである。管理サーバ5は、アンテナ1、カメラ3及び4から受信した各種情報(アンテナ情報ANT、カメラ情報CAM1及びCAM2に基づいた情報処理を行う。情報処理を行う構成として、管理サーバ5は、少なくとも1つのプロセッサ51と、少なくとも1つのメモリ52とを備える。プロセッサ51は、CPU(Central Processing Unit)を含んでいる。メモリ52は、DDRメモリなどの揮発性のメモリであり、プロセッサ51が使用する各種プログラムの展開及び各種情報の一時保存を行う。管理サーバ5がアンテナ1、カメラ3及び4から受信した各種情報は、メモリ52に格納される。
【0053】
プロセッサ51は、メモリ52に格納された人物同定用のプログラムを実行することにより、第1及び第2同定処理に関連する各種の処理を行う。プロセッサ51は、また、第1及び第2同定処理の結果をディスプレイ6に出力するための表示制御を行う。
【0054】
ディスプレイ6は、表示制御により生成された画像データDIMGが出力される表示装置である。ディスプレイ6は、実施形態に係るサービスを提供する事業者の施設に設置される。ディスプレイ6は、ユーザUの見守り等を行うユーザUの保護者の端末の表示装置である。前者の場合、管理サーバ5と有線又は無線で接続される。後者の場合、ディスプレイ6は、ネットワーク7を介して管理サーバ5に接続される。ディスプレイ6の総数は特に限定されないが、例えば、前者の場合であれば少なくとも2であり、後者の場合であれれば少なくとも1である。
【0055】
2-2.管理サーバの機能構成例
図4は、
図3に示した管理サーバ5の機能構成例を示すブロック図である。
図4に示される例では、管理サーバ5は、情報取得部53と、第1同定部54と、第1表示制御部55と、第2同定部56と、第2表示制御部57と、を備えている。尚、
図3に示したブロックの各機能は、メモリ52に格納された所定のプログラムをプロセッサ51が実行することにより実現される。尚、
図4には第1同定部54及び第1表示制御部55が1つずつ描かれているが、カメラ3の総設置数に応じてこれらの機能が設定されてもよい。このことは、第2同定部56及び第2表示制御部57の機能にも言える。
【0056】
2-2-1.情報取得部
情報取得部53は、外部から各種情報を取得してメモリ52に格納する。各種情報には、アンテナ情報ANTと、カメラ情報CAM1及びCAM2とが含まれる。情報取得部53は、また、メモリ52に格納した各種情報を読み出す。情報取得部53は、更に、アンテナ情報ANTを第1同定部54及び第2同定部56に送信し、カメラ情報CAM1を第1同定部54及び第1表示制御部55に送信し、カメラ情報CAM2を第2同定部56及び第2表示制御部57に送信する。
【0057】
2-2-2.第1同定部
第1同定部54は、第1同定処理を行う。第1同定処理では、カメラ情報CAM1に含まれる画像(つまり、撮影範囲SR3の画像)に含まれる人物を認識する処理が行われる。撮影範囲SR3の画像に含まれる人物が認識された場合、この人物の認識情報が生成される。認識情報としては、認識された人物の位置の情報が例示される。認識情報には、認識された人物の顔画像等の特徴情報が含まれていてもよい。
【0058】
第1同定処理では、また、カメラ3に対応するアンテナ1のアンテナ情報ANTが取得される。カメラ3に対応するアンテナ1とは、その通信範囲DR1の一部が撮影範囲SR3に含まれるアンテナ1である。カメラ3に対応するアンテナ1は、例えば、カメラ3が設置されている位置の情報と、アンテナ1が設置されている位置の情報と、このアンテナ1の通信範囲CR1の情報とに基づいて特定される。尚、カメラ3が設置されている位置の情報は、カメラ3の識別情報から取得される。アンテナ1が設置されている位置の情報と、このアンテナ1の通信範囲CR1の情報は、アンテナ1の識別情報から取得される。
【0059】
カメラ3に対応するアンテナ1のアンテナ情報ANTが取得されたら、このアンテナ情報ANTに含まれるユーザ情報と、撮影範囲SR3の画像に含まれる人物の認識情報とが照合される。この照合では、例えば、アンテナ1が取得したユーザ情報USR(具体的には、ユーザ端末2の位置の情報)と、認識された人物の位置の情報とが比較される。同時に、アンテナ1がユーザ情報を取得した時刻の情報と、カメラ情報CAM1に含まれる画像が取得された時刻の情報とが比較される。そして、位置及び時刻においてユーザ情報と認識情報が一致する場合、認識された人物がユーザUであると同定される。尚、アンテナ1やカメラ3の設計誤差を考慮し、位置及び時刻にはマージンが設定されていてもよい。
【0060】
撮影範囲SR3の画像においてユーザUが同定された場合、第1同定処理では、認識された人物に同定情報IDNが付与される。同定情報IDNは、実施形態に係るシステムによって設定されるものであり、ユーザ端末2の識別情報とは異なる情報から構成される。尚、同定情報IDNの付与は本開示において必須ではなく、認識された人物とユーザ端末2の識別情報とを関連付けることのできる他の情報が、当該認識された人物に付与されてもよい。同定情報IDNは、第1表示制御部55に送信される。
【0061】
撮影範囲SR3の画像においてユーザUが同定された場合、第1同定処理では、また、追跡支援情報TRAが生成される。追跡支援情報TRAには、例えば、撮影範囲SR3の画像において同定されたユーザUのユーザ情報USR(具体的には、ユーザ端末2の識別情報及び位置の情報)、この撮影範囲SR3の画像を取得したカメラ3の識別情報、及びこの画像が取得された時刻の情報が含まれる。追跡支援情報TRAは、第2同定部56に送信される。
【0062】
2-2-3.第1表示制御部
第1表示制御部55は、第1表示制御を行う。第1表示制御では、第1同定部54による第1同定処理において処理された撮影範囲SR3の画像に基づいて画像データDIMGが生成され、外部装置(例えば、ディスプレイ6)に出力される。第1同定処理において同定されたユーザUに同定情報IDNが付与されている場合、第1表示制御では、撮影範囲SR3の画像に含まれるユーザUの近傍に同定情報IDNが重畳される。
【0063】
2-2-4.第2同定部
第2同定部56は、第2同定処理を行う。第2同定処理では、カメラ情報CAM2に含まれる画像(つまり、撮影範囲SR4の画像)に含まれる人物を認識する処理が行われる。撮影範囲SR4の画像に含まれる人物が認識された場合、この人物の認識情報が生成される。認識情報としては、認識された人物の位置の情報が例示される。認識情報には、認識された人物の顔画像等の特徴情報が含まれていてもよい。
【0064】
第2同定処理では、また、カメラ4に対応するカメラ3の追跡支援情報TRAが取得される。カメラ4に対応するカメラ3としては、カメラ4の周辺に設置されたカメラ3が例示される。カメラ4に対応するカメラ3は、例えば、カメラ4が設置されている位置の情報と、カメラ3のそれとに基づいて特定される。尚、カメラ3及び4が設置されている位置の情報は、カメラ3及び4の各識別情報から取得される。
【0065】
カメラ4に対応するカメラ3の追跡支援情報TRAが取得されたら、この追跡支援情報TRAに含まれるカメラ3の位置の情報と、カメラ4の位置の情報とが比較される。同時に、このカメラ3が撮影範囲SR3の画像を取得した時刻の情報と、カメラ4が撮影範囲SR4の画像を取得した時刻の情報とが比較される。尚、カメラ3及び4の設計誤差を考慮し、位置及び時刻にはマージンが設定されていてもよい。
【0066】
そして、例えば、カメラ4からの距離が所定距離以内のカメラ3であって、撮影範囲SR4の画像が取得された時刻から撮影範囲SR3の画像が取得された時刻までの時間差が所定時間以内である当該撮影範囲SR3の画像を取得したカメラ3が存在する場合、当該撮影範囲SR4の画像において認識された人物が、当該撮影範囲SR3の画像に基づいて生成された追跡支援情報TRAに含まれるユーザUであると同定される。この同定の精度を高めるため、撮影範囲SR4の画像において認識された人物の特徴情報と、追跡支援情報TRAに含まれるユーザUの特徴情報との比較が更に行われてもよい。
【0067】
撮影範囲SR4の画像においてユーザUが同定された場合、第2同定処理では、認識された人物に同定情報IDNが付与される。同定情報IDNは、第1同定部54から受信した同定情報IDNがそのまま付与されてもよいし、撮影範囲SR4の画像において独自に設定された同定情報IDNが付与されてもよい。ユーザUの効率的な追跡のため、同定情報IDNは第1同定部54から受信したものが流用されることが望ましい。同定情報IDNは、第2表示制御部57に送信される。
【0068】
撮影範囲SR4の画像においてユーザUが同定された場合、第2同定処理では、また、追跡確認情報TRCが生成されてもよい。追跡確認情報TRCには、例えば、撮影範囲SR4の画像において同定されたユーザUのユーザ情報USR(具体的には、ユーザ端末2の識別情報及び位置の情報)、この撮影範囲SR4の画像を取得したカメラ4の識別情報、及びこの画像が取得された時刻の情報が含まれる。
【0069】
追跡確認情報TRCが生成されている場合、第2同定処理では、この追跡確認情報TRCに含まれるカメラ4(以下、「比較対象カメラ」とも称す。)の位置の情報と、第2同定処理の対象である撮影範囲SR4の画像を取得したカメラ4(以下、「処理対象カメラ」とも称す。)の位置の情報が比較される。同時に、比較対象カメラが撮影範囲SR4の画像を取得した時刻の情報と、処理対象カメラが撮影範囲SR4の画像を取得した時刻の情報とが比較される。
【0070】
そして、例えば、処理対象カメラからの距離が所定距離以内の比較対象カメラであって、撮影範囲SR4の画像が取得された時刻同士の時間差が所定時間以内である比較対象カメラが存在する場合、処理対象カメラが取得した撮影範囲SR4の画像において認識された人物が、比較対象カメラのそれに基づいて生成された追跡確認情報TRCに含まれるユーザUであると同定される。この同定の精度を高めるため、撮影範囲SR4の画像において認識された人物の特徴情報と、追跡確認情報TRCに含まれるユーザUの特徴情報との比較が更に行われてもよい。
【0071】
2-2-5.第2表示制御部
第2表示制御部57は、第2表示制御を行う。第2表示制御では、第2同定部56による第2同定処理において処理された撮影範囲SR4の画像に基づいて画像データDIMGが生成され、外部装置(例えば、ディスプレイ6)に出力される。第2同定処理において同定されたユーザUに同定情報IDNが付与されている場合、第2表示制御では、撮影範囲SR4の画像に含まれるユーザUの近傍に同定情報IDNが重畳される。
【0072】
2-2-6.第2同定部の別の例
ここで、第2同定部56は、第2同定処理に用いられる追跡支援情報TRA又は追跡確認情報TRCに対して絞り込みを行ってもよい。以下、追跡支援情報TRAを代表例して、絞り込みの例を説明する。
【0073】
図5は、第2同定処理に用いられる追跡支援情報TRAの絞り込み例を説明する図である。この絞り込み例では、カメラ41に着目し、撮影範囲SR41の画像が時刻t1で取得されたと仮定する。この絞り込み例では、時刻t1から所定時間Tpだけ遡った過去の時刻(t4-Tp)が設定される。そして、カメラ41が設置されている位置を中心とし、所定時間Tp×Vの円CA1が設定される(Vは、一般的な歩行者の移動速度)。そうすると、この円CA1の内側に位置するカメラ3(
図5に示される例では、カメラ31~35)が特定される。
【0074】
図5に示される例では、円CA1の内側に位置するカメラ3の撮影範囲SR3の画像に基づいて生成された追跡支援情報TRAが抽出される。
図5に示される例では、また、この追跡支援情報TRAのうち、時刻(t1-Tp)から時刻t1までに取得された撮影範囲SR3の画像に基づいて生成されたものが抽出される。
【0075】
2-2-7.第1及び第2同定部の別の例
既に説明したように、カメラ3の設置総数は2である。そのため、2基のカメラ3によって取得された撮影範囲SR3の各画像において同一のユーザUが同定されるケースが想定される。このような場合には、2基のカメラ3の各位置の情報と、これらのカメラ3によって2種類の撮影範囲SR3の画像が取得された各時刻の情報とに基づいて、当該ユーザの移動方向(動線の方向)を予測することができる。この移動方向の予測は、別途、プロセッサ51により計算されるものとする。
【0076】
この例では、移動方向が計算されている場合を考える。第1同定部54は、撮影範囲SR3の画像においてユーザUが同定された場合、当該ユーザUの移動方向の情報を取得する。第1同定部54は、また、この移動方向の情報に基づいて、撮影範囲SR3の画像を取得したカメラ3から見たときに、当該移動方向の先に位置するカメラ4を特定する。そして、第1同定部54は、このカメラ4の識別情報(例えば、カメラ4が設置されている位置の情報)を追跡支援情報TRAに追加する。
【0077】
図6は、追跡支援情報TRAに追加される識別情報を有するカメラ4の特定手法の一例を説明する図である。
図6に示される例では、カメラ34及び38に着目する。
図6に示される例では、また、撮影範囲SR38の画像が時刻t2で取得され、かつ、撮影範囲SR34の画像が時刻t2よりも後の時刻t3で取得されたと仮定する。
【0078】
時刻t3において取得された撮影範囲SR34の画像に基づいた第1同定処理の結果としてユーザUが同定された場合、第1同定部54は、当該ユーザUの移動方向Duが計算されているか否かを判定する。そして、移動方向Duが計算されていると判定された場合、第1同定部54は、当該移動方向Duの先に存在するカメラ4(
図6に示される例では、カメラ41及び45)を特定する。カメラ4の特定に際しては、一般的な歩行者の移動速度Vに基づいた絞り込みが行われてもよいし、ユーザUの移動速度Vuに基づいた絞り込が行われてもよい。移動速度Vuは、例えば、カメラ34及び38の位置の情報と、時刻t2及びt3の時間差とに基づいて計算することができる。
【0079】
既に説明したように、追跡支援情報TRAには、撮影範囲SR3の画像において同定されたユーザUのユーザ情報USRが含まれている。そのため、移動方向Duの先に存在するカメラ4の識別情報が追跡支援情報TRAに追加されることで、当該カメラ4により取得された撮影範囲SR4の画像に基づいた第2同定処理において、ユーザUが同定され易くなる。
【0080】
第2同定部56は、カメラ4に対応するカメラ3の追跡支援情報TRAを取得した場合、この追跡支援情報TRAに処理対象カメラの識別情報が含まれているか否かを判定する。そして、処理対象カメラの識別情報が追跡支援情報TRAに含まれていると判定された場合、この識別情報に基づいて、撮影範囲SR4の画像において認識された人物の絞り込みを行う。
【0081】
2-3.管理サーバによる処理例
図7は、管理サーバ5(プロセッサ51)による第1同定処理の流れの一例を示すフローチャートである。
図7に示される処理ルーチンは、例えばカメラ3ごとに、所定の周期で繰り返し実行される。
【0082】
図7に示されるルーチンでは、まず、情報が取得される(ステップS11)。ステップS11の処理では、例えば、アンテナ情報ANT及びカメラ情報CAM1が取得される。既に説明したように、アンテナ情報ANTには、例えば、アンテナ1の識別情報(位置情報及び通信範囲CR1の情報)、このアンテナ1が取得したユーザ情報USR(ユーザ端末2の識別情報)、及びこのユーザ情報USRが取得された時刻の情報が含まれている。カメラ情報CAM1には、例えば、カメラ3の識別情報(位置情報)、及びこのカメラ3が取得した画像情報(撮影範囲SR3の画像と、この画像情報が取得された時刻)が含まれている。
【0083】
ステップS11の処理に続いて、撮影範囲SR3の画像に含まれる人物が認識される(ステップS12)。ステップS12の処理では、公知の画像処理に基づいて、撮影範囲SR3の画像に含まれる人物の位置が認識される。撮影範囲SR3の画像に含まれる人物の位置が認識された場合、この人物の認識情報が生成される。ステップS12の処理では、撮影範囲SR3の画像に含まれる人物の位置の認識に加えて、この人物の特徴が認識されてもよい。この場合は、特徴情報が認識情報に追加される。
【0084】
ステップS12の処理に続いて、撮影範囲SR3の画像に含まれる人物が認識されたか否かが判定される(ステップS13)。ステップS13の処理は、例えば、ステップS12における人物の認識情報の生成があったか否かに基づいて判定される。ステップS13の判定結果が否定的な場合、第1同定処理が終了される。そうでない場合、ステップS14の処理に進む。
【0085】
ステップS14の処理では、カメラ3に対応するアンテナ1のアンテナ情報ANTに、ユーザ情報USRが含まれるか否かが判定される。既に説明したように、カメラ3に対応するアンテナ1とは、その通信範囲DR1の一部が撮影範囲SR3に含まれるアンテナ1である。ステップS14の判定結果が否定的な場合、第1同定処理が終了される。そうでない場合、ステップS15の処理に進む。
【0086】
ステップS15の処理では、ステップS12の処理において生成された認識情報と、ユーザ情報USRとが比較される。具体的には、認識情報に含まれる人物の位置と、ユーザ情報USRに含まれるユーザUの位置とが比較される。同時に、ステップS12の処理の対象とされた撮影範囲SR3の画像が取得された時刻と、ユーザ情報USRが取得された時刻とが比較される。そして、位置及び時刻において認識情報とユーザ情報USRが一致する場合、認識情報に含まれる人物がユーザUであると同定される。尚、アンテナ1やカメラ3の設計誤差を考慮し、位置及び時刻にはマージンが設定されていてもよい。
【0087】
ステップS15の処理において、認識情報と一致するユーザ情報USRがない場合、この認識情報に含まれる人物についての同定は行われず、第1同定処理が終了される。尚、この場合は、認識情報に含まれる人物がユーザUでない旨の情報が当該人物に付与されてもよい。
【0088】
ステップS15の処理において人物の同定が行われた場合、当該人物に同定情報IDNが付与される(ステップS16)。既に説明したように、同定情報IDNは、実施形態に係るシステムによって設定される任意の情報であり、ユーザ端末2の識別情報とは異なる情報から構成される。また、ステップS16の処理では、ユーザ情報USRと同定情報IDNが関連付けられて所定のメモリに記録される。所定のメモリとしては、キャッシュメモリのようなメモリ52よりも上位のメモリが例示される。
【0089】
ステップS16の処理に続いて、追跡支援情報TRAが生成される(ステップS17)。既に説明したように、追跡支援情報TRAには、例えば、撮影範囲SR3の画像において同定されたユーザUのユーザ情報USR(具体的には、ユーザ端末2の識別情報及び位置の情報)、この撮影範囲SR3の画像を取得したカメラ3の識別情報、及びこの画像が取得された時刻の情報が含まれる。また、ステップS17の処理では、生成された追跡支援情報TRAが所定のメモリに記録される。
【0090】
ステップS17の処理では、
図6で説明した移動方向Duの情報に基づいて、当該当該移動方向Duの先に存在するカメラ4の特定が行われてもよい。また、カメラ4が特定された場合には、このカメラ4の認識情報が追跡支援情報TRAに追加されてもよい。
【0091】
図8は、管理サーバ5(プロセッサ51)による第2同定処理の流れの一例を示すフローチャートである。
図8に示される処理ルーチンは、例えばカメラ4ごとに、所定の周期で繰り返し実行される。
【0092】
図8に示されるルーチンでは、まず、ステップS21~S23の処理が行われる。ステップS21の処理の内容は
図7のステップS11のそれと同じであり、ステップS22の処理の内容は
図7のステップS12のそれと同じであり、ステップS23の処理の内容は
図7のステップS13のそれと同じである。ステップS23の判定結果が否定的な場合、第2同定処理が終了される。そうでない場合、ステップS24の処理に進む。
【0093】
ステップS24の処理では、カメラ4に対応するカメラ3の追跡支援情報TRAが存在するか否かが判定される。既に説明したように、カメラ4に対応するカメラ3としては、カメラ4の周辺に設置されたカメラ3が例示される。ステップS24の判定結果が否定的な場合、第2同定処理が終了される。そうでない場合、ステップS25の処理に進む。
【0094】
ステップS24の処理では、追跡支援情報TRAが存在するか否かの判定を行う前に、
図5で説明した追跡支援情報TRAの絞り込みが行われてもよい。この場合は、例えば、カメラ4が設置されている位置の情報と、ステップS22の処理の対象とされた撮影範囲SR4の画像が取得された時刻の情報と、当該カメラ4に対応するカメラ3が設置されている位置の情報と、追跡支援情報TRAのうち、当該カメラ3により取得された撮影範囲SR3の画像に基づいて生成されたものとに基づいて、絞り込みが行われる。
【0095】
ステップS25の処理では、追跡支援情報TRAと、カメラ4の識別情報及びステップS22の処理の対象とされた撮影範囲SR4の画像が取得された時刻の情報と、が比較される。具体的には、追跡支援情報TRAに含まれる撮影範囲SR3の画像を取得したカメラ3の位置と、カメラ4の位置とが比較される。同時に、この撮影範囲SR3の画像が取得された時刻と、撮影範囲SR4の画像が取得された時刻とが比較される。
【0096】
そして、例えば、カメラ4からの距離が所定距離以内のカメラ3であって、撮影範囲SR4の画像が取得された時刻から撮影範囲SR3の画像が取得された時刻までの時間差が所定時間以内である当該撮影範囲SR3の画像を取得したカメラ3が存在する場合、ステップS22の処理において認識された人物が、追跡支援情報TRAに含まれるユーザUであると同定される。
【0097】
ステップS24及びS25の処理では、追跡支援情報TRAの代わりに追跡確認情報TRCに基づいて、撮影範囲SR4の画像に含まれる人物の同定が行われてもよい。この場合の説明は、上述したステップS24及びS25の説明において、「カメラ3」を「比較対象カメラ」と読み替え、「カメラ4」を「処理対象カメラ」と読み替えればよい。
【0098】
ステップS25の処理では、
図6で説明した追跡支援情報TRAに含まれるカメラ4の識別情報を用いて、ステップS22の対象とされた撮影範囲SR4の画像において認識された人物の絞り込みを行ってもよい。
【0099】
ステップS25の処理において人物の同定が行われた場合、当該人物に同定情報IDNが付与される(ステップS26)。ステップS26の処理の内容は、
図7のステップS16の処理と同じである。
【0100】
ステップS26の処理に続いて、追跡確認情報TRCが生成される(ステップS27)。既に説明したように、追跡支援情報TRAには、例えば、撮影範囲SR4の画像に含まれると判定されたユーザUのユーザ情報、この撮影範囲SR4の画像を取得したカメラ4の識別情報、及びこの画像が取得された時刻の情報を含む。また、ステップS27の処理では、生成された追跡確認情報TRCが所定のメモリに記録される。
【0101】
3.効果
以上説明した実施形態によれば、撮影範囲SR3の画像に含まれる人物を同定するための処理(第1同定処理)においてユーザUが同定された場合、追跡支援情報TRAが生成される。そして、この追跡支援情報TRAは、撮影範囲SR4の画像に含まれる人物を同定するための処理(第2同定処理)に用いられる。従って、アンテナ1の設置総数がカメラの設置総数よりも少ない場合においても、撮影範囲SR4に含まれるユーザUを同定することが可能となる。このことは、インフラ資源が限られた環境下でのユーザUの効率的な追跡に寄与する。
【0102】
また、実施形態によれば、撮影範囲SR4の画像に含まれる人物を同定するための処理(第2同定処理)においてユーザUが同定された場合、追跡確認情報TRCが生成されてもよいし、この追跡確認情報TRCが別の第2同定処理において用いられてもよい。この場合は、第1同定処理においてユーザUが一旦同定されれば、第2同定処理及び別の第2同定処理が繰り返されることによってこのユーザUを追跡し続けることが可能となる。このことは、サービスの利便性の向上に寄与する。
【0103】
また、実施形態によれば、
図5で説明した追跡支援情報TRAの絞り込みや
図6で説明したカメラ4の識別情報の追跡支援情報TRAへの追加が行われてもよい。この場合は、第2同定処理を実行するコンピュータの処理負荷を削減することが可能となる。このことは、ユーザUのより効率的な追跡に寄与する。
【符号の説明】
【0104】
1,11,12,1X アンテナ
2,21,22 ユーザ端末
3,31,32,33,34,35,36,37,38,39,3Y カメラ
4,41,42,43,44,45,4Z カメラ
5 管理サーバ
51 プロセッサ
52 メモリ
U,U1,U2 ユーザ
Du 移動方向
CR1,CR11,CR12,CR1X 通信範囲
SR3,SR31,SR32,SR3Y 撮影範囲
SR4,SR41,SR42,SR4Z 撮影範囲
ANT アンテナ情報
CAM1,CAM2 カメラ情報
IDN 同定情報
TRA 追跡支援情報
TRC 追跡確認情報
USR ユーザ情報