特許 7567948 情報処理システム、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】情報処理システム、方法およびプログラム

(51)【国際特許分類】

   G06Q 50/40 20240101AFI20241008BHJP

【ＦＩ】

G06Q50/40

【請求項の数】 11

(21)【出願番号】P 2023008571

(22)【出願日】2023-01-24

(62)【分割の表示】P 2021123890の分割

【原出願日】2015-12-16

(65)【公開番号】P2023052590

(43)【公開日】2023-04-11

【審査請求日】2023-01-24

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】細井 利憲

【審査官】塩田 徳彦

(56)【参考文献】

【文献】特開２０１０－０５５５９４（ＪＰ，Ａ）

【文献】特開２００８－０４０７３８（ＪＰ，Ａ）

【文献】特開２０００－２００３５７（ＪＰ，Ａ）

【文献】特開２００３－２７９３６４（ＪＰ，Ａ）

【文献】特開２０１０－１１３６９２（ＪＰ，Ａ）

【文献】特開２００６－２２１３５５（ＪＰ，Ａ）

【文献】特開２０１５－０９５０３７（ＪＰ，Ａ）

【文献】特開２０１５－１３３１３１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１２７６６２（ＵＳ，Ａ１）

【文献】国際公開第２０１４／１２５８８２（ＷＯ，Ａ１）

【文献】特開２０１０－０３８８３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

カメラにより撮像された少なくとも１人の人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出する特徴抽出手段と、
前記人物が移動した区間ごとに、前記人物のＩＤと、前記種別と、前記区間内に前記人物が存在した時間とを対応付けて記憶する記憶手段と、
を備え、
前記人物の顔と登録済みの人物の顔との類似度合いを表す顔認識スコアを計算する顔照合手段と、
前記顔認識スコアと閾値とを比較して、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定する同一人物判定手段と、をさらに備え、
前記同一人物判定手段は、前記人物の顔と、前記登録済みの前記人物の顔と、前記区間内に前記人物が存在した時間と、過去に計算された前記区間内に前記人物が存在した時間とに基づいて、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定する、
情報処理システム。

【請求項2】

前記類似度合いが第１の閾値を超えるか、あるいは前記類似度合いが第１の閾値よりも低い第２の閾値を超え、かつ、前記区間内に前記人物が存在した時間が、過去に計算された前記区間内に前記人物が存在した時間のうちの最短時間よりも長い場合、前記同一人物判定手段は、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物であると判定する、
請求項１に記載の情報処理システム。

【請求項3】

カメラにより撮像された少なくとも１人の人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出する特徴抽出手段と、
前記人物が移動した区間ごとに、前記人物のＩＤと、前記種別と、前記区間内に前記人物が存在した時間とを対応付けて記憶する記憶手段と、
を備え、
前記人物の顔と登録済みの人物の顔との類似度合いを表す顔認識スコアを計算する顔照合手段と、
前記顔認識スコアと閾値とを比較して、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定する同一人物判定手段と、をさらに備え、
前記類似度合いが第１の閾値を超えるか、あるいは前記類似度合いが第１の閾値よりも低い第２の閾値を超え、かつ、前記区間内に前記人物が存在した時間が、過去に計算された前記区間内に前記人物が存在した時間のうちの最短時間よりも長い場合、前記同一人物判定手段は、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物であると判定する、
情報処理システム。

【請求項4】

前記外見的特徴は、性別、体格、年代、及び服装の少なくとも１つである、
請求項１乃至３のいずれか１項に記載の情報処理システム。

【請求項5】

前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物でないと判定された場合、前記記憶手段は、前記人物が移動した区間ごとに、当該同一人物ではないと判定した前記人物の種別と、前記区間内に前記人物が存在した時間とを対応付けて記憶する、
請求項１乃至４のいずれか１項に記載の情報処理システム。

【請求項6】

前記同一人物判定手段は、前記人物の顔と、前記登録済みの前記人物の顔と、前記区間内に前記人物が存在した時間と、過去に計算された前記区間内に前記人物が存在した時間とに基づいて、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定する、
請求項２乃至５のいずれか１項に記載の情報処理システム。

【請求項7】

コンピュータが、
カメラにより撮像された少なくとも１人の人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出し、
前記人物が移動した区間ごとに、前記人物のＩＤと、前記人物の種別と、前記区間内に前記人物が存在した時間とを対応付けて記憶する、
ことを含む方法であって、
前記コンピュータは、
前記人物の顔と登録済みの人物の顔との類似度合いを表す顔認識スコアを計算し、
前記顔認識スコアと閾値とを比較して、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定し、
前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定するとき、前記コンピュータは、
前記人物の顔と、前記登録済みの前記人物の顔と、前記区間内に前記人物が存在した時間と、過去に計算された前記区間内に前記人物が存在した時間とに基づいて、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定する、
方法。

【請求項8】

カメラにより撮像された少なくとも１人の人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出することと、
前記人物が移動した区間ごとに、前記人物のＩＤと、前記人物の種別と、前記区間内に前記人物が存在した時間とを対応付けて記憶することとを
コンピュータに実行させるためのプログラムであって、
前記人物の顔と登録済みの人物の顔との類似度合いを表す顔認識スコアを計算することと、
前記顔認識スコアと閾値とを比較して、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定することと、
を前記コンピュータにさらに実行させ、
前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定させるとき、前記コンピュータに、
前記人物の顔と、前記登録済みの前記人物の顔と、前記区間内に前記人物が存在した時間と、過去に計算された前記区間内に前記人物が存在した時間とに基づいて、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定させる、
プログラム。

【請求項9】

カメラにより撮像された少なくとも１人の人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出し、
前記カメラによる撮像時刻に基づいて、前記人物が移動した区間に前記人物が存在した時間を算出し、
前記区間ごとに、前記人物のＩＤと、前記種別と、算出した前記時間とを対応付けて記憶する情報処理システムであって、
前記情報処理システムは、
前記人物の顔と登録済みの人物の顔との類似度合いを表す顔認識スコアを計算し、
前記顔認識スコアと閾値とを比較して、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定し、
前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定するとき、
前記情報処理システムは、
前記人物の顔と、前記登録済みの前記人物の顔と、前記区間内に前記人物が存在した時間と、過去に計算された前記区間内に前記人物が存在した時間とに基づいて、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定する、
情報処理システム。

【請求項10】

コンピュータが、
カメラにより撮像された少なくとも１人の人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出し、
前記カメラによる撮像時刻に基づいて、前記人物が移動した区間に前記人物が存在した時間を算出し、
前記区間ごとに、前記人物のＩＤと、前記種別と、算出した前記時間とを対応付けて記憶する、
ことを含む方法であって、
前記コンピュータは、
前記人物の顔と登録済みの人物の顔との類似度合いを表す顔認識スコアを計算し、
前記顔認識スコアと閾値とを比較して、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定し、
前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定するとき、
前記コンピュータは、
前記人物の顔と、前記登録済みの前記人物の顔と、前記区間内に前記人物が存在した時間と、過去に計算された前記区間内に前記人物が存在した時間とに基づいて、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定する、
方法。

【請求項11】

カメラにより撮像された少なくとも１人の人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出することと、
前記カメラによる撮像時刻に基づいて、前記人物が移動した区間に前記人物が存在した時間を算出することと、
前記区間ごとに、前記人物のＩＤと、前記種別と、算出した前記時間とを対応付けて記憶することとを
コンピュータに実行させるためのプログラムであって、
前記人物の顔と登録済みの人物の顔との類似度合いを表す顔認識スコアを計算し、
前記顔認識スコアと閾値とを比較して、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定することと、
を前記コンピュータに実行させ、
前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定させるとき、前記コンピュータに、
前記人物の顔と、前記登録済みの前記人物の顔と、前記区間内に前記人物が存在した時間と、過去に計算された前記区間内に前記人物が存在した時間とに基づいて、前記画像から抽出した前記人物が前記登録済みの前記人物と同一人物かを判定させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人物の移動時間の記憶に関する。

【背景技術】

【0002】

一般に、同一人物がある２地点に存在した時刻に基づいて、２地点間の移動にかかる時間を計算することができる。その移動時間を蓄積していくことで、その後、２地点間を人物が移動する場合の移動時間を計算できる。

【0003】

特許文献１には、ある地点と別の地点との間を人物が移動する時間を自動的に計測する方式が開示されている。この方式では、人物が持ち歩くデバイスが人物固有の情報を送信し、各計測地点に配置された装置がその情報を受信する。この方式であれば、ある特定の人物が各計測地点に存在した時間を取得することができる。各計測地点での存在時刻の差分を計算することにより人物の移動時間を取得する。取得された移動時間は計測地点・計測時刻と共に記憶される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００３－２７９３６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

関連技術における第１の問題点は、移動時間の記憶において、各人物の種別や特徴は考慮されていない点である。

【0006】

その理由は、人物が持ち歩くデバイスに基づいて移動時間に関する情報が収集されており、人物の種別や特徴に関する情報の収集はされていないからである。

【0007】

本発明の目的は、人物の種別や特徴に関する情報とその人物の移動時間とを対応付けて記憶するシステムを提供することにある。

【課題を解決するための手段】

【0008】

本発明の一態様における情報処理システムは、カメラにより撮像された少なくとも１人の人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出する特徴抽出手段と、前記人物のＩＤと、前記種別と、所定の範囲における前記人物が存在した時間とを対応付けた情報を記憶する記憶手段と、を備えている。

【0009】

本発明の他の一態様における情報処理システムは、カメラにより撮像された少なくとも１人の人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出し、前記カメラによる撮像時刻に基づいて、所定の範囲における前記人物が存在した時間を算出し、前記人物のＩＤと、前記種別と、算出した前記時間とを対応付けた情報を記憶する。

【0010】

本発明の一態様における方法は、カメラにより撮像された少なくとも１人の人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出し、前記人物のＩＤと、前記人物の種別と、所定の範囲における前記人物が存在した時間とを対応付けた情報を記憶する、ことを含む。

【0011】

本発明の他の一態様における方法は、カメラにより撮像された少なくとも１人の人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出し、前記カメラによる撮像時刻に基づいて、所定の範囲における前記人物が存在した時間を算出し、前記人物のＩＤと、前記種別と、算出した前記時間とを対応付けた情報を記憶する、ことを含む。

【0012】

本発明の一態様におけるプログラムは、カメラにより撮像された少なくとも１人の人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出することと、前記人物のＩＤと、前記人物の種別と、所定の範囲における前記人物が存在した時間とを対応付けた情報を記憶することとをコンピュータに実行させる。

【0013】

本発明の他の一態様におけるプログラムは、カメラにより撮像された少なくとも１人の人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出することと、前記カメラによる撮像時刻に基づいて、所定の範囲における前記人物が存在した時間を算出することと、前記人物のＩＤと、前記種別と、算出した前記時間とを対応付けた情報を記憶することとをコンピュータに実行させる。

【発明の効果】

【0014】

本発明における第１の効果は、人物の種別や特徴に関する情報とその人物の移動時間とを対応付けて記憶できる点である。

【図面の簡単な説明】

【0015】

【図1】図１は、本発明の第１の実施の形態における移動時間記憶システム１の構成を示すブロック図である。

【図2】図２は、本発明の第１の実施の形態における移動時間記憶システム１の動作を示すフローチャートである。

【図3】図３は、本発明の第２の実施の形態における移動時間記憶システム２の構成を示すブロック図である。

【図4】図４は、本発明の第２の実施の形態における移動時間記憶システム２の動作を示すフローチャートである。

【図5】図５は、本発明の第３の実施の形態における移動時間記憶システム３の構成を示すブロック図である。

【図6】図６は、本発明の第３の実施の形態における移動時間記憶システム３の動作を示すフローチャートである。

【図7】図７は、本発明の第３の実施の形態における移動時間記憶システム３の動作を示すフローチャートである。

【図8】図８は、本発明の第４の実施の形態における移動時間記憶システム４の構成を示すブロック図である。

【図9】図９は、本発明の第４の実施の形態における移動時間とその出現頻度ヒストグラムの模式図である。

【図10】図１０は、本発明の第１の実施例にける移動時間記憶システム５の構成を示すブロック図である。

【図11】図１１は、本発明の第２の実施例にける移動時間記憶システム６の構成を示すブロック図である。

【図12】図１２は、一般的な顔認識特性を示す概念図である。

【発明を実施するための形態】

【0016】

次に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、各図面および明細書記載の各実施の形態において、同様の機能を備える構成要素には同様の符号が与えられている。

【0017】

ここで、画像による顔認識の特性について一般的に知られている事項を述べる。

【0018】

一般に、顔画像認識のエラー率には、本人棄却率（ＦａｌｓｅＮｅｇａｔｉｖｅＲａｔｅとも呼ばれる）と他人受入率（ＦａｌｓｅＰｏｓｉｔｉｖｅＲａｔｅとも呼ばれる）との２種類がある。これらのエラー率は、互いにトレードオフの関係にある。これらのエラー率は、運用上、顔画像認識結果である顔認識スコアに関する閾値を調整することで設定される。

【0019】

一般に、顔画像認識において、認識率を悪化させる主要因は、顔画像が登録されてからの時間経過に起因する顔の経年変化や照明条件に起因する顔の見え方の違い、カメラ設置角度に起因する顔の向き（姿勢）の違い等である。したがって、顔画像認識処理は、一般に、顔画像を特徴量と呼ばれるデータに変換した後に実行されることが多い。しかし、それでも認識率の低下は発生してしまう。顔画像の認識率を高くするためには、人物の最新の顔画像を登録すること、および複数の顔画像を登録して様々な撮影条件に対応することが重要である。

【0020】

図１２は、上記の顔認識特性を示す概念図である。

【0021】

図１２は、顔画像の特徴量を２次元ベクトルと仮定し、平面に図示したものである。人物ＡおよびＢの顔の特徴量がそれぞれ３つずつ点として登録されている。登録された人物の最新の顔画像の特徴量は、普通、閾値Ｔ以上の高い顔認識スコアとなり、図１２に示した閾値Ｔの領域に入る。しかし、例えば、先に述べた悪化要因の１つである経年変化がある場合、登録された人物Ａの最新の顔画像の特徴量は、低い顔認識スコアとなる。このため、図中の黒丸で示した点のように、人物Ａの最新の顔画像の特徴量は、閾値Ｔの領域には入らず、より低い閾値である閾値Ｙの領域に入る。閾値Ｙの領域には、他の人物Ｂの顔の特徴量も入り得る。このため、この黒丸で示した点を人物Ａとして追加登録した場合、人物Ｂを人物Ａと誤って登録することが起こり得る。しかし、この黒丸で示した点が経年変化した人物Ａの最新の顔画像の特徴量である場合、その後の顔認識を正しく動作させるためには、この点を人物Ａとして追加登録する必要がある。実際にこの黒丸で示した点が人物Ａであるかは、他の情報を利用するなどして確認されることが望ましい。

【0022】

［第１の実施の形態］
図１は、本発明の第１の実施の形態における移動時間記憶システム１の構成を示すブロック図である。

【0023】

図１を参照すると、本発明の第１の実施の形態における移動時間記憶システム１は、特徴抽出手段１１と、移動時間計算手段１２と、記憶手段１３と、を備える。

【0024】

第１の実施の形態における移動時間記憶システム１は、複数のカメラにより撮像された少なくとも１人の人物が含まれる複数の画像の撮像地点と前記画像の撮像時刻と前記人物の顔データと前記人物の種別とを抽出する。また、移動時間記憶システム１は、前記撮像地点、前記撮像時刻および前記顔データに基づいて、前記人物の移動時間を計算する。そして、移動時間記憶システム１は、前記移動時間と前記人物の種別とを対応付けて記憶する。

【0025】

つまり、第１の実施の形態における移動時間記憶システム１は、人物が持ち歩くデバイスではなく、人物の画像に基づいて、前記人物の移動時間を計算する。よって、移動時間記憶システム１は、人物の画像に基づいて、前記人物の種別を取得することができるため、前記人物の種別と移動時間とを対応付けて記憶することが可能となる。

【0026】

以下、第１の実施の形態における移動時間記憶システム１が備える各構成要素について説明する。

【0027】

＝＝＝特徴抽出手段１１＝＝＝
特徴抽出手段１１は、複数のカメラにより撮像された、各々に少なくとも１人の人物が含まれる、複数の画像を受信する。特徴抽出手段１１は、受信した画像に基づいて、人物の顔データと、人物の種別と、画像の撮像地点と、画像の撮像時刻とを抽出する。

【0028】

顔データは、上記で説明した顔認識に用いるためのデータである。例えば、顔画像や特徴量と呼ばれる顔画像を数値列に変換したデータなどがこれに相当する。

【0029】

人物の種別は、画像から判断できる人物のあらゆる外見的特徴を意味する。例えば、性別、体格（身長など）、年代、服装（服の種別、色、持ち物）等である。

【0030】

撮像地点は、カメラが設置された位置に関する情報（例えば、地点ＩＤなど）であり、その地点に画像の人物が存在したことを意味する。

【0031】

撮像時刻は、カメラが画像を撮像した時刻であり、その時刻に画像の人物が存在したことを意味する。

【0032】

＝＝＝移動時間計算手段１２＝＝＝
移動時間計算手段１２は、特徴抽出手段１１が登録済みの人物と同一人物の顔データを新しく抽出した場合、新しい顔データが抽出された画像の撮像時刻と、その人物の直近に記憶された画像の撮像時刻との差分を計算する。ここで計算された時間は、撮像時刻の差分を計算した２つの画像の撮像地点間の移動時間である。

【0033】

＝＝＝記憶手段１３＝＝＝
記憶手段１３は、人物が移動した区間を示す情報（区間ＩＤなど）と、移動時間計算手段１２で計算されたその区間の移動時間と、特徴抽出手段１１が抽出したその人物の種別とを対応付けて記憶する。記憶手段１３は、さらに、人物を特定する人物ＩＤを対応付けて記憶してもよい。

【0034】

人物ＩＤは、人物に固有の番号である。同一の人物ＩＤが付された情報は、同一人物の情報であることを意味する。

【0035】

本実施の形態において、記憶手段１３は、特徴抽出手段１１が登録済みの人物と同一人物の顔データを抽出した場合に、その人物の種別を取得するものとする。しかし、人物の種別を取得するタイミングはこれに限定されない。

【0036】

表１は、記憶手段１３が記憶する、移動区間と移動時間と人物の種別との対応付けの例を示す。

【0037】

【表1】

【0038】

表１は、同一の区間１－２の移動時間と人物の種別とを対応付けた表である。しかし、複数の区間の情報が同一の表にまとめられていてもよい。また、人物の種別は、表１のように数種類記憶されることが望ましいが、少なくとも１種類記憶されていればよい。

【0039】

図２は、本発明の第１の実施の形態における移動時間記憶システム１の動作を示すフローチャートである。

【0040】

移動時間記憶システム１は、人物を含む画像に基づいて、人物の顔データと、人物の種別と、画像の撮像地点と、画像の撮像時刻とを抽出する（ステップＳ１）。

【0041】

移動時間記憶システム１は、抽出した顔データに基づいて、この画像の人物が既に登録されている人物であるかを照合する（ステップＳ２）。

【0042】

移動時間記憶システム１は、画像の人物が登録済みの人物であると判定した場合（ステップＳ３のＹ）、抽出した画像の撮像地点および撮像時刻と、その人物が直近に記憶された画像の撮像地点および撮像時刻とに基づいて、２地点間の移動時間を計算する（ステップＳ４）。

【0043】

移動時間記憶システム１は、計算した移動時間と抽出した人物の種別とを対応付けて記憶する（ステップＳ５）。

【0044】

移動時間記憶システム１は、画像の人物が新規の人物であると判定した場合（ステップＳ３のＮ）、ステップＳ１で抽出した人物の特徴（顔データ、人物の種別、撮像地点、および撮像時刻）を新規の人物ＩＤと対応付けて記憶する、すなわち抽出された人物を新規に人物登録する（ステップＳ６）。第１の実施の形態における移動時間記憶システム１は、人物の画像に基づいて、その人物の移動時間を計算する。移動時間記憶システム１は、人物の画像を用いることによって、人物の種別を取得することができため、人物の種別と移動時間とを対応付けて記憶することができる。

【0045】

［第２の実施の形態］
図３は、本発明の第２の実施の形態における移動時間記憶システム２の構成を示すブロック図である。

【0046】

図３を参照すると、本発明の第２の実施の形態における移動時間記憶システム２は、データ処理装置２１０と、記憶装置２２０と、を備える。

【0047】

データ処理装置２１０は、顔登録手段２１１と、顔照合手段２１２と、同一人物判定手段２１３と、特徴抽出手段１１と、移動時間計算手段１２と、を有する。

【0048】

記憶装置２２０は、登録データ記憶手段２２１と、人物存在データ記憶手段２２２と、記憶手段１３と、を有する。

【0049】

本実施の形態の移動時間記憶システム２は、顔登録手段２１１と、顔照合手段２１２と、同一人物判定手段２１３と、登録データ記憶手段２２１と、人物存在データ記憶手段２２２と、をさらに備える点で第１の実施の形態の移動時間記憶システム１と相違する。

【0050】

以下、本実施の形態の第１の実施の形態との相違点について説明する。

【0051】

＝＝＝登録データ記憶手段２２１＝＝＝
登録データ記憶手段２２１は、人物ＩＤと、特徴抽出手段１１が抽出した顔データとを対応付けて記憶する。このとき、登録データ記憶手段２２１は、さらに人物の種別を対応付けて記憶してもよい。

【0052】

人物ＩＤには、基本的に新規の人物ＩＤが順次割り当てられる。しかし、後述する同一人物判定手段２１３において、登録済みの人物と同一人物であると判定された場合、その人物の人物ＩＤが割り当てられる。

【0053】

＝＝＝人物存在データ記憶手段２２２＝＝＝
人物存在データ記憶手段２２２は、人物ＩＤと、特徴抽出手段１１が抽出した画像の撮像地点と、画像の撮像時刻とを対応づけて記憶する。ここで、人物ＩＤと、特徴抽出手段１１が抽出した画像の撮像地点と、画像の撮像時刻とは、まとめて人物存在情報と呼ばれる。

【0054】

＝＝＝顔照合手段２１２＝＝＝
顔照合手段２１２は、特徴抽出手段１１で抽出された顔データを登録データ記憶手段２２１が記憶する顔データと照合する。顔照合手段２１２は、抽出された顔データと登録済みの人物の顔データとの類似度合いを表す顔認識スコアを計算する。

【0055】

＝＝＝同一人物判定手段２１３＝＝＝
同一人物判定手段２１３は、顔照合手段２１２が計算した顔認識スコアと所定の閾値とを比較し、抽出された人物が登録済みの人物と同一人物であるかを判定する。顔認識スコアｔが非常に高い閾値Ｔを超える場合、同一人物判定手段２１３は、抽出された人物が登録済みの人物と同一人物であると判定する。

【0056】

図４は、移動時間記憶システム２が画像に基づいて抽出した人物の特徴を人物ＩＤと対応付けて登録する処理を示すフローチャートである。

【0057】

はじめに、移動時間記憶システム２は、カメラにより撮像された画像に基づいて抽出された顔データを登録データ記憶手段２２１に記憶された顔データと照合する（ステップＳ２１１）。ここでは、抽出された顔データと登録済みの顔データとの類似度合いを表す顔認識スコアｔを計算する。初期状態では、登録データ記憶手段２２１に顔データが登録されていないため、この処理は事実上省略される。

【0058】

次に、移動時間記憶システム２は、顔認識スコアと所定の閾値とを比較し、抽出された人物が登録済みの人物と同一人物であるかを判定する（ステップＳ２１２）。移動時間記憶システム２は、顔認識スコアｔが次式を満たした場合に、抽出された人物が登録済みの人物と同一人物であると判定する。

【0059】

【数1】

【0060】

移動時間記憶システム２は、式（１）の通り、顔認識スコアｔが所定の閾値Ｔよりも高い場合、抽出された人物が登録済みの人物Ｐと同一人物であると判定する。通常、登録データ記憶手段２２１には複数の人物の複数の顔データが登録されている。しかし、移動時間記憶システム２は、顔認識スコアが１位となった人物Ｐについて上記処理を実行すればよい。

【0061】

次に、移動時間記憶システム２は、抽出された顔データ、撮像地点、および撮像時刻を人物ＩＤと対応付けて記憶する、すなわち、抽出された人物の特徴を新規人物の特徴または登録済みの人物の特徴として登録する。抽出された人物が登録済みの人物Ｐと同一人物であると判定された場合（ステップＳ２１２のＹ）、移動時間記憶システム２は、抽出された顔データ、撮像地点、および撮像時刻を人物Ｐの人物ＩＤと対応付けて記憶する（ステップＳ２１３）。抽出された人物が登録済みの人物Ｐと異なる人物であると判定された場合（ステップＳ２１２のＮ）、移動時間記憶システム２は、抽出された顔データ、撮像地点、および撮像時刻を新規の人物ＩＤと対応付けて記憶する（ステップＳ２１４）。

【0062】

ここで、顔データと人物ＩＤとは、登録データ記憶手段２２１に記憶される。撮像地点および撮像時刻と人物ＩＤとは、人物存在データ記憶手段２２２に記憶される。

【0063】

なお、顔データと人物ＩＤについては、システム稼働前に事前に登録しておいてもよい。人物存在情報がないままでも、問題なく動作する。

【0064】

また、登録データ記憶手段２２１と人物存在データ記憶手段２２２とは、一つのデータ形式にまとめて記憶されていても構わない。例えば、表形式のデータ（リレーショナルデータベース）にまとめて記憶されてもよい。

【0065】

また、顔認識に使用されるカメラが固定カメラである必要はない。カメラ自身が旋回するＰａｎ－Ｔｉｌｔ―ズームをしてもよいし、カメラを人や車などに搭載して移動させてもよい。つまり、顔が撮影された際の人物がいる地点を取得できさえすれば、本発明の効果を得られる。この場合、任意の粒度で撮像地点が出現するため、計測履歴が存在しない地点が生じてしまうが、地図をメッシュ状に区切ってその１メッシュ範囲について１つの地点ＩＤを割り当てれば、本発明をそのまま適用できる。

【0066】

また、人物存在データ記憶手段２２２に記憶される情報を増やすために、顔認識以外の手段で得られた人物存在情報も追加利用してもよい。たとえば、個人の携帯端末を用いた所有者認識結果を人物存在データ記憶手段２２２に追加してもよい。

【0067】

第２の実施の形態における移動時間記憶システム２は、人物の画像に基づいて、その人物の移動時間を計算する。移動時間記憶システム２は、人物の画像を用いることによって、人物の種別を取得することができため、人物の種別と移動時間とを対応付けて記憶することができる。

【0068】

［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。

【0069】

第３の実施の形態における移動時間記憶システム３は、以下の２点において第２の実施の形態における移動時間記憶システム２と異なる。第１の点は、移動時間計算手段３２は同一人物が２地点間を移動する時間（移動時間）を計算するとともに、過去に計算された移動時間の中から、その２地点間の最短の移動時間（以降、最短移動時間と呼ぶ）および複数の経路を結合した移動時間（以降、結合経路移動時間と呼ぶ）も計算する点である。最短移動時間は、移動区間と対応付けられて最短移動時間記憶手段３２３に記憶される。移動時間計算手段３２の詳細な動作は、図６を参照しながら後述される。第２の点は、同一人物判定手段３１３は、顔照合手段２１２が計算した顔認識スコアと所定の閾値と最短移動時間とに基づいて、画像から抽出された人物が登録済みの人物と同一人物であるかを判定する点である。図５に示す他の構成は、第２の実施の形態の移動時間記憶システム２と同様であるため、詳細な説明は省略される。同一人物判定手段３１３の詳細な動作は、以下で説明される。

【0070】

＝＝＝同一人物判定手段３１３＝＝＝
同一人物判定手段２１３は、顔照合手段２１２が計算した顔認識スコアと所定の閾値とを比較し、抽出された人物が登録済みの人物と同一人物であるかを判定する。顔認識スコアｔが非常に高い閾値Ｔを超えるか、または所定の閾値Ｙ（＜Ｔ）以上である場合、かつ、抽出された人物の撮像地点と登録済みの人物の撮像地点との間の移動時間が、記憶手段２３に記憶された最短移動時間Ｓを超えている場合、同一人物判定手段３１３は、抽出された人物が登録済みの人物と同一人物であると判定する。

【0071】

図６は、移動時間記憶システム３が２地点間の最短移動時間を計算する処理を示すフローチャートである。

【0072】

まず、移動時間記憶システム３は、人物存在データ記憶手段２２２に記憶された人物ＩＤと撮像地点と撮像時刻とに関する情報から、同一人物が２地点に存在した時刻の差分のうち最短の値を探索することで、移動時間を直接的に計算する（ステップＳ３２１）。例えば、移動時間記憶システム３は、２地点１－２間について、同一の人物が存在した時刻の差分を計算し、それらの最小値を最短移動時間とする。表２に示す情報が人物存在データ記憶手段２２２に記憶されている場合、表３に示す暫定の最短移動時間が求まる。

【0073】

【表2】

【0074】

次に、移動時間記憶システム３は、複数の経路を結合した場合の移動時間を計算する（ステップＳ３２２）。これは、経由地点が１つまたは複数あるとみなした場合の移動時間に相当する。例えば、経由地点が１つの場合は、地点１と別の地点３とにおける撮像時刻の差分と、地点３と地点２とにおける撮像時刻の差分との総和時間を地点１－３－２間の移動時間とする。表３は、上記のように複数の経路を結合した場合の移動時間を計算し、それらと先に計算された直接的な移動時間との最小をとった最短移動時間を示す。

【0075】

【表3】

【0076】

なお、複数の経路を結合して考える場合、一人の人物存在情報のみに基づいて移動時間を計算するだけでなく、他の人物の人物存在情報に基づいて移動時間を計算し、それらを足し合わせてもよい。このようにして、人物存在情報から予想しうる移動時間の最短実績を、最短移動時間とする。この表４の右端列は、計算手順を簡易的に示したものである。後述する式２に登場するＣ₂（Ｐ）－Ｃ₁（Ｐ）は、単にｍ（１，２）と表記されている。

【0077】

【表4】

【0078】

なお、人物存在情報の量が十分でない場合には、表４の後半部分のように移動時間が不明となる区間が多い。その場合には、逆経路の差分時間も最短時間の候補とすることで、表５のように移動時間を計算できる。

【0079】

【表5】

【0080】

なお、地点間の人物の移動時間は、交通状況や移動手段の変化により変化していく。このため、最短移動時間を計算するのに用いる人物存在情報を、直近の一定期間（例：１日、１週間など）に絞り込むことにより、より正確な最短移動時間の計算が可能となる。

【0081】

さらに、地点間の移動時間については、日時、曜日、季節、により定期的に変動する場合がよくある。このため、最短移動時間を計算するのに用いる人物存在情報を、日時、曜日、季節、によって絞り込むことにより、より正確な最短移動時間の計算が可能となる。

【0082】

さらに、地点間の移動時間については、物理的な移動速度の制約により下限がある。このため、一部の最短移動時間に所定の下限値を人手で設定してもよい。

【0083】

図７は、移動時間記憶システム３が画像に基づいて抽出した人物の特徴を人物ＩＤと対応付けて登録する処理を示すフローチャートである。

【0084】

第２の実施の形態との違いは、図７のステップＳ３１２である。ステップＳ３１２は、顔認識スコアと所定の閾値と最短移動時間記憶手段３２３に記憶された最短移動時間とに基づいて、特徴抽出手段１１で抽出された人物が登録済みの人物と同一であるか否か判定する（ステップＳ３１２）。移動時間記憶システム３は、顔認識スコアが上記の式（１）または下記の式（２）を満たした場合、抽出された人物と登録済みの人物とが同一であると判定する。

【0085】

現在処理中のカメラがある地点（撮像地点）の地点ＩＤを１、ある人物（人物ＩＤ＝Ｐ）の最新の存在が記憶された地点の地点ＩＤを２とする。また、現在処理中のカメラで顔が撮影された時刻（撮像時刻）をＣ₁（Ｐ）、その人物の最新の存在が記憶された時刻をＣ₂（Ｐ）、地点１－２の間の最短移動時間をＭ（１，２）とする。

【0086】

【数2】

【0087】

式２は、同一人物判定の条件を表す。抽出された人物の顔認識スコアｔ（Ｐ，１，２）が閾値Ｔより低い閾値Ｙよりも高い、かつ、人物Ｐの最新の存在が記憶された時刻と、現在処理中のカメラで顔が撮影された時刻との時間差（移動時間）が、同一区間１－２の最短移動時間よりも長い場合、同一人物判定手段３１３は、抽出された人物を人物Ｐと同一人物と判定する。

【0088】

なお、記憶手段２３において、最短移動時間が不明の区間、つまり２地点の片方または両方に同一人物の人物存在情報がない区間については、式（１）のみが適用される。

【0089】

次に、本実施の形態の効果について説明する。

【0090】

本実施の形態では、顔照合手段を備え、かつ、同一人物判定手段で、移動時間と顔認識スコアの双方を考慮して同一人物か否か判定したうえで、顔データと人物ＩＤを登録する顔登録手段を備えるため、より高い精度で移動時間を計算できる。

【0091】

以下では、この効果が得られる理由について説明する。

【0092】

本実施の形態では、顔認識スコアｔが非常に高い閾値Ｔより大きい場合か、顔認識スコア閾値Ｙと移動時間の双方の条件を満たした場合のどちらかのみに、その登録済みの人物のＩＤで登録される。このため、登録される顔データの人物ＩＤに関して、１人の顔データについて複数のＩＤが付与されることはあっても、複数の人物の顔に１つのＩＤが付与されることは非常に少ない。つまり、他人を誤認識して受け入れることが少ないため、誤って最短移動時間を過少に計算してしまうことがほとんどない。特に、非常に高い閾値Ｔよりも若干低い閾値Ｙを用いることができるため、登録済みの顔データと最新の顔データが多少異なる場合においても、最新の顔データを登録でき、より顔認識の精度が高くなる。このことより、本発明のシステムを稼働させていくと、顔認識精度と移動時間計算精度が互いに改善していく。

【0093】

さらに、最短移動時間の計算において、２地点間の直接的な移動時間の記憶だけでなく、複数の区間をそれぞれ別々の人物が要した時間を結合して計算するため、地点間の存在（移動）の実績が少ない区間においても移動時間を計算でき、より高い精度で最短の移動時間を計算できる。さらに、移動時間の計算に用いるデータを、定期的な情報と、直近の情報に絞り込むことによってより高い計算精度を得られる。

【0094】

なお、第２の実施の形態の場合、もし顔認識スコアの閾値Ｔを無暗に高く調整しすぎると、他人受入れ率が限りなく０％に近づくが、本人棄却率が高くなってしまい、カメラの前の人物の殆どを認識できなくなり、移動時間を十分計測できない場合がある。しかし、本実施形態では、閾値Ｔより低い閾値Ｙも使用するため、この問題が軽減される。

【0095】

［第４の実施の形態］
次に、本発明の第４の実施の形態について説明する。

【0096】

第４の実施の形態における移動時間記憶システム４は、以下の２点において第３の実施の形態における移動時間記憶システム３と異なる。第１の点は、記憶手段４３は移動区間と移動時間と人物の種別とに加えて、出現頻度指数も対応付けて記憶する点である。出現頻度とは、ある移動時間が過去に出現した頻度を表す指標である。記憶手段４３は最短でない移動時間も記憶する。つまり、出現頻度指数は、移動時間に関する頻度ヒストグラムである（図９参照）。第２の点は、同一人物判定手段４１３は、顔照合手段２１２が計算した顔認識スコアと所定の閾値と最短移動時間と出現頻度指数とに基づいて、画像から抽出された人物が登録済みの人物と同一人物であるかを判定する点である。図８に示す他の構成は、第３の実施の形態の移動時間記憶システム２と同様であるため、詳細な説明は省略される。同一人物判定手段４１３の詳細な動作は、以下で説明される。

【0097】

＝＝＝同一人物判定手段４１３＝＝＝
同一人物判定手段４１３は、式（１）および式（２）だけでなく、移動時間の出現頻度ｑを用いて登録済みの人物と同一人物であるか判定する。出現頻度ｑがある閾値Ｑ以上である場合、その場所にその移動時間で該当人物が存在する尤度は高い。図９は、移動時間とその出現頻度ヒストグラムの模式図である。この模式図の例では、人物の移動経路・手段が２種類（たとえば、電車と徒歩）ある場合を想定しており、過去のたいていの人物は２つのピークの移動時間のどちらかに近い移動時間だったことがわかる。このため、本実施の形態において、同一人物判定手段４１３は、同一人物判定の条件に下記の式（３）を用いる。具体的には、式（１）、式（２）、または式（３）を満たした場合に、同一人物判定手段４１３は、抽出された人物を登録済みの人物と同一人物であると判定する。

【0098】

【数3】

【0099】

式（３）のＹ’は、顔認識スコアの閾値である。Ｙ’は固定値でも構わないが、出現頻度ｑが高いほど低く設定できる。このため、単調現象な関数ｆ（・）を用いて、Ｙ’は、式（４）のように計算されてもよい。例えば、Ｙ’は、ｆ（・）として単調現象になるようにパラメータを調整したシグモイド関数によって計算されれればよい。

【0100】

【数4】

【0101】

次に、本実施形態の効果について説明する。

【0102】

本実施形態を用いることで、人がよく移動する経路について顔認識によって同一人物だと認識し易くなり、移動時間テーブルを計算する際に、より多くの情報を利用できるようになる。この結果、移動時間計算精度がより高くなる。

【0103】

＜実施例１＞
次に、本発明の第２の形態の第１の実施例ついて、図１０を参照して説明する。本実施例は、各地点のカメラの処理と、複数の地点にまたがる処理との２種類に分けられる。このため、図１０のように各地点の処理にはＰＣ５１０を、複数の地点にまたがる処理にはサーバ５２０を割り当てて構成すればよい。各地点の処理には、顔照合手段２１２、同一人物判定手段２１３、特徴抽出手段１１が含まれ、これらはソフトウェアとして構成される。一方、複数の地点にまたがる処理には、登録データ記憶手段２２１、人物存在データ記憶手段２２２、移動時間計算手段１２、記憶手段１３が含まれ、これらはメモリ上のデータとソフトウェアとして構成される。なお、各記憶手段については、ＰＣ５１０側に記憶手段を用意して一時的にデータを記憶してから、サーバ５２０側に送信して記憶してもよい。本実施例の場合、ＰＣ５１０では１台または複数台のカメラ画像を常時処理し、サーバ５２０側では、移動時間計算手段が移動時間を計算したタイミングで記憶手段を更新すればよい。また、移動時間の計算は、定期的に実行してもよい。

【0104】

＜実施例２＞
次に、本発明の第３の形態の第２の実施例ついて図１１を参照して説明する。本実施例は、最短移動時間を計算した上で、特定の人物の移動経路を特定する例である。図５との差異は、移動経路特定手段６００を備えることであり、指定された人物ＩＤの移動経路を特定する。具体的には、人物存在データ記憶手段２２２から、該当する人物ＩＤのデータを参照し、抽出する。本発明を用いれば、人物存在データ記憶手段２２２には、顔認識結果と最短移動時間に関して妥当なデータが記憶されていくため、人物の存在地点の遷移を把握できる。

【0105】

以上、各実施の形態および実施例を参照して本発明を説明したが、本発明は上記実施の形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しえる様々な変更をすることができる。

【0106】

また、本発明の各実施の形態における各構成要素は、その機能をハードウェア的に実現することはもちろん、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリなどのコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られる。この読み取られたプログラムは、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における構成要素として機能させる。

【0107】

上記の各実施の形態および実施例の一部または全部は、以下の付記のようにも記載されうるが、以下には限定されない。

【0108】

（付記１）
複数のカメラにより撮像された少なくとも１人の人物が含まれる複数の画像の撮像地点と前記画像の撮像時刻と前記人物の顔データと前記人物の種別とを抽出する特徴抽出手段と、
前記撮像地点、前記撮像時刻、及び前記顔データに基づいて、前記人物の移動時間を計算する移動時間計算手段と、
前記移動時間と前記種別とを対応付けて記憶する記憶手段と、から構成される、移動時間記憶システム。

【0109】

（付記２）
前記移動時間計算手段は、２地点間の前記移動時間と、他の人物が存在した他の地点を経由した前記２地点間の移動時間との総和のうち、最短の移動時間である最短移動時間を計算する、付記１に記載の移動時間記憶システム。

【0110】

（付記３）
前記最短移動時間は、直近の一定時間の前記撮像地点と前記撮像時刻とに基づいて計算される、付記２に記載の移動時間記憶システム。

【0111】

（付記４）
前記最短移動時間は、過去の定期的な前記撮像地点と前記撮像時刻とに基づいて計算される、付記２に記載の移動時間記憶システム。

【0112】

［産業上の利用可能性］
本発明によれば、人物の移動経路をより高精度に特定して行動を解析する用途に適用できる。例えば、大規模店舗における来店客の行動解析に利用できる。

【符号の説明】

【0113】

１～６ 移動時間記憶システム
１１ 特徴抽出手段
１２、３２ 移動時間計算手段
１３、４３ 記憶手段
２１０ データ処理装置
２１２ 顔照合手段
２１３、３１３、４１３ 同一人物判定手段
２２０ 記憶装置
２２１ 登録データ記憶手段
２２２ 人物存在データ記憶手段
３２３ 最短移動時間記憶手段
５１０ ＰＣ
５２０ サーバ
６００ 移動経路特定手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】