(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-25
(45)【発行日】2022-12-05
(54)【発明の名称】歩容解析装置
(51)【国際特許分類】
G06T 7/20 20170101AFI20221128BHJP
H04N 7/18 20060101ALI20221128BHJP
【ＦＩ】
G06T7/20 300Z
H04N7/18 K
【請求項の数】
7
(21)【出願番号】P 2018207876
(22)【出願日】2018-11-05
(65)【公開番号】P2020077017
(43)【公開日】2020-05-21
【審査請求日】2021-08-24
(73)【特許権者】
【識別番号】519135633
【氏名又は名称】公立大学法人大阪
(74)【代理人】
【識別番号】100124039
【弁理士】
【氏名又は名称】立花 顕治
(74)【代理人】
【識別番号】100179213
【弁理士】
【氏名又は名称】山下 未知子
(74)【代理人】
【識別番号】100170542
【弁理士】
【氏名又は名称】桝田 剛
(72)【発明者】
【氏名】中島 重義
【審査官】佐田 宏史
(56)【参考文献】
【文献】特開２０１８－０２６０１８（ＪＰ，Ａ）
【文献】特開２０００－３４８１６５（ＪＰ，Ａ）
【文献】特開２０１８－１６９７２０（ＪＰ，Ａ）
【文献】国際公開第２００６／０１３７６５（ＷＯ，Ａ１）
【文献】東山 侑真、外３名，“様々な歩行状況下における歩容認証手法の性能評価”，情報処理学会 研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ），日本，情報処理学会，2013年05月23日，Vol.2013-CVIM-187, No.10，pp.1-8
【文献】岩下 友美、倉爪 亮，“アフィンモーメント不変量による歩行者の個人識別”，画像ラボ，日本，日本工業出版株式会社，2011年05月10日，Vol.22, No.5，pp.23-29
【文献】槇原 靖、外２名，“第１節 歩容による高精度個人認証技術の開発”，高精度化する個人認証技術，第１版，日本，株式会社エヌ・ティー・エス、吉田 隆，2014年11月18日，pp.181-191
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００，７／００－７／９０
Ｇ０６Ｖ １０／００－１０／９８
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
人物の歩容を捉えた動画に含まれる複数のフレームの各々に対し、当該フレームの撮影点から前記人物までの距離に応じて生じる、当該フレームに写る前記人物のサイズの変動をキャンセルするように、当該フレームに含まれる前記人物に対応する領域である人物領域のサイズ調整を行うサイズ調整部と、前記サイズ調整された人物領域どうしを重ね合わせることにより、ＧＥＩ（歩容エネルギー画像）を作成するＧＥＩ作成部と、
前記ＧＥＩを微分した微分画像を作成する微分部と、
前記微分画像と前記各フレームの前記サイズ調整された人物領域の輪郭とをマッチングし、前記マッチング時の前記微分画像に対する前記各人物領域の移動量を算出する移動量算出部と、
前記移動量を補正する補正部と、
前記補正された移動量に基づいて、前記人物の歩容の特徴量を算出する特徴量算出部と
を備え、
前記補正部は、前記フレームに写る前記人物のサイズの対数関数に前記移動量をフィットさせることにより、前記移動量の近似関数を導出し、前記移動量から前記近似関数の値を減算することにより、前記移動量を補正する、
歩容解析装置。
【請求項2】
前記サイズ調整部は、前記フレームに写る前記人物のサイズが前記距離に反比例し、前記距離は時刻に対し線形に変化するとの仮定の下、前記人物領域のサイズ調整を行う、請求項１に記載の歩容解析装置。
【請求項3】
前記サイズ調整部は、前記人物領域の面積が前記フレームに写る前記人物のサイズの二乗に比例するとのさらなる仮定の下、前記人物領域の面積を表す時刻の関数を導出し、当該関数を特定するパラメータに基づいて、前記人物領域のサイズ調整を行う、請求項２に記載の歩容解析装置。
【請求項4】
前記特徴量には、前記移動量の時系列データのスペクトルの特徴を表すスペクトル指標が含まれる、請求項１から３のいずれかに記載の歩容解析装置。
【請求項5】
前記サイズ調整部、前記ＧＥＩ作成部、前記微分部、前記移動量算出部、前記補正部及び前記特徴量算出部は、同じ又は異なる動画に写る２人以上の人物の各々の像に対し処理を行い、前記２人以上の人物にそれぞれ対応する前記特徴量どうしを比較することにより、前記２人以上の人物が同一人物であるか否かを判定する判定部
をさらに備える、
請求項１から４のいずれかに記載の歩容解析装置。
【請求項6】
人物の歩容を捉えた動画に含まれる複数のフレームの各々に対し、当該フレームの撮影点から前記人物までの距離に応じて生じる、当該フレームに写る前記人物のサイズの変動をキャンセルするように、当該フレームに含まれる前記人物に対応する領域である人物領域のサイズ調整を行うステップと、前記サイズ調整された人物領域どうしを重ね合わせることにより、ＧＥＩ（歩容エネルギー画像）を作成するステップと、
前記ＧＥＩを微分した微分画像を作成するステップと、
前記微分画像と前記各フレームの前記サイズ調整された人物領域の輪郭とをマッチングし、前記マッチング時の前記微分画像に対する前記各人物領域の移動量を算出するステップと、
前記移動量を補正するステップと、
前記補正された移動量に基づいて、前記人物の歩容の特徴量を算出するステップと
をコンピュータに実行させ、
前記移動量を補正するステップは、前記フレームに写る前記人物のサイズの対数関数に前記移動量をフィットさせることにより、前記移動量の近似関数を導出し、前記移動量から前記近似関数の値を減算することにより、前記移動量を補正するステップを含む、
歩容解析プログラム。
【請求項7】
コンピュータにより実行される歩容解析方法であって、
人物の歩容を捉えた動画に含まれる複数のフレームの各々に対し、当該フレームの撮影点から前記人物までの距離に応じて生じる、当該フレームに写る前記人物のサイズの変動をキャンセルするように、当該フレームに含まれる前記人物に対応する領域である人物領域のサイズ調整を行うステップと、
前記サイズ調整された人物領域どうしを重ね合わせることにより、ＧＥＩ（歩容エネルギー画像）を作成するステップと、
前記ＧＥＩを微分した微分画像を作成するステップと、
前記微分画像と前記各フレームの前記サイズ調整された人物領域の輪郭とをマッチングし、前記マッチング時の前記微分画像に対する前記各人物領域の移動量を算出するステップと、
前記移動量を補正するステップと、
前記補正された移動量に基づいて、前記人物の歩容の特徴量を算出するステップと
を含み、
前記移動量を補正するステップは、前記フレームに写る前記人物のサイズの対数関数に前記移動量をフィットさせることにより、前記移動量の近似関数を導出し、前記移動量から前記近似関数の値を減算することにより、前記移動量を補正するステップを含む、
歩容解析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物の歩容を捉えた動画に基づいて、人物の歩容を解析する歩容解析装置、方法及びプログラムに関する。
【背景技術】
【0002】
近年、ＧＥＩと呼ばれる歩容エネルギー画像に基づいて、人物の歩く様子、すなわち歩容を解析する様々な技術が提案されている（例えば、非特許文献１等参照）。ＧＥＩとは、人物の歩容を捉えた動画に含まれる複数のフレームを、人物に対応する領域（人物領域）どうしが重なるように重ね合わせた画像であり、人が歩くときのエネルギーの分散を表す画像である。図６は、ＧＥＩの一例であり（ただし、図６は、後述するとおり、本発明に係る処理が施された後のＧＥＩであり、従来手法によってのみ作成されたものではない。後述する図７の微分画像についても同じである。背景技術の説明としては、図６及び図７は、ＧＥＩ及び微分画像を理解するための参考図として参照されたい。）、ＧＥＩは、図５のような歩行中の人物のシルエットが抽出されたシルエット画像を重ね合わせることにより作成される。そして、このような歩容のエネルギーの分散は、人によって異なる。そのため、２枚のＧＥＩの相関係数が高ければ、歩容が似ており、両画像に写る人物は同一人物であると判定することができ、反対に、相関係数が低ければ、別人物であると判定することができる。かかる判定手法は、従来、ＧＥＩに基づく人物の同定を行う場面でしばしば用いられてきた。
【0003】
しかしながら、上述の判定手法には問題がある。図５にも示されるように、しばしば人物の背景化と、背景の人物化が起こる。例えば、図５の例では、人物の胸辺りの服の色が背景の色と似ているため、当該服の部分は人物領域として抽出されることなく、人物領域から抜けてしまっている。これが人物の背景化である。また、図５の例では、人物領域に人物の陰が入り込んでしまっている。これが背景の人物化である。人物の背景化及び背景の人物化によるシルエット画像上での人物領域の誤認識は、シルエット画像を重ね合わせて作成されるＧＥＩにも反映される。従って、２枚のＧＥＩの相関係数を比較して人物の同定を行おうとしたとき、人物の背景化及び背景の人物化が起きていると、同一人物であるにも関わらず相関係数が低くなり、誤判定が生じ得る。
【0004】
以上のような問題を解決するために、本発明者は、特許文献１の方法を発明した。この方法では、ＧＥＩの微分画像（図７参照）を作成し、微分画像と、シルエット画像に現れる人物の輪郭（図８参照）とをマッチング（位置合わせ）する。そして、このマッチング時の微分画像に対するシルエット画像の移動量に基づいて、人物の歩容の特徴量を算出し、この特徴量に基づいて人物の同定を行う。この方法によれば、人物領域全体ではなく、人物の輪郭の動きに基づいて歩容の特徴量が算出されるため、人物の背景化及び背景の人物化の影響が低減され、精度よく人物の歩容を解析することができる。また、微分画像には、歩行中に余り動かない腰等の身体の重心に近い部位が濃く表れ、歩行中によく動く身体の部位が薄く表れる傾向がある。そのため、微分画像とシルエット画像に含まれる人物の輪郭とは、歩行中に余り動かない部位の輪郭どうしが強く重なるようにマッチングされる。よって、このマッチング時に微分画像を基準として算出される移動量の動きは、人物の歩容のリズムを適切に表すことになる。よって、この意味でも、特許文献１の方法は、精度よく人物の歩容を解析することができる。
【先行技術文献】
【非特許文献】
【0005】
【文献】東山侑真、他３名，「様々な歩行状況下における歩容認証手法の性能評価」，情報処理学会，研究報告コンピュータビジョンとイメージメディア（ＣＶＩＭ），２０１３－ＣＶＩＭ－１８７巻，１０号，１－８頁，２０１３年５月２３日
【特許文献】
【0006】
【文献】特開２０１８－２６０１８号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、本発明者は、さらに研究を進めていく中で、特許文献１の方法に潜む課題を見出した。具体的には、図１Ａに示すように、カメラの撮影方向（光軸方向）と、人物の進行方向とが概ね垂直な場合には、問題は顕在化しないが、図１Ｂに示すように、これらの方向が斜めに交差している場合には、問題が生じ得る。つまり、動画に写る人物のサイズが、前者の場合には変化しないが、後者の場合には時刻とともに変化する。よって、後者の場合、シルエット画像間で人物のサイズが異なるため、ＧＥＩの作成時にシルエット画像の重ね合わせが上手くいかず、微分画像がにじんでしまう。さらに、その後のマッチングでは、微分画像に対しシルエット画像の人物の輪郭を位置合わせすることができなくなる。その結果、マッチングにより得られる移動量の動きが歩容のリズムを適切に表さなくなり、誤判定が生じ得る。
【0008】
図２Ａは、カメラの撮影方向と人物の進行方向とが概ね垂直な場合の、特許文献１の方法で得られた実際の人物の重心の上下方向の移動量である。このグラフは、４ステップ（２ストライド）分の移動量のグラフである。このグラフからは、移動量は、ステップ毎に山を形成し、ストライド毎に周期的な波形を形成することが分かる。なお、１回のストライドとは、右足を前に出す１回のステップと、続いて左足を前に出す１回のステップとからなる（左右が逆であってもよい）。一方、図２Ｂは、カメラの撮影方向と人物の進行方向とが斜めに交差している場合の、同じく特許文献１の方法で得られた実際の人物の重心の上下方向の移動量（位置）のグラフである。図２Ｂが示すように、特許文献１の方法で移動量を算出すると、移動量の動きが歩容のリズムを適切に表さない。また、図２Ｂの例では、点線の円で囲んだ部分においては、一瞬で１００ピクセル近く移動している。この１００ピクセルは２６ｃｍ程に相当するが、人物が通常歩行するときに、一瞬で２６ｃｍも重心の位置が上下することはない。これは、フレームに写る人物のサイズが変化したために、フレーム上の人物の輪郭が広がり、マッチングにエラーが出たためと考えることができる。
【0009】
本発明は、カメラでの撮影方向によらず、精度よく人物の歩容を解析することができる歩容解析装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
第１観点に係る歩容解析装置は、人物の歩容を捉えた動画に含まれる複数のフレームの各々に対し、当該フレームの撮影点から前記人物までの距離に応じて生じる、当該フレームに写る前記人物のサイズの変動をキャンセルするように、当該フレームに含まれる前記人物に対応する領域である人物領域のサイズ調整を行うサイズ調整部と、前記サイズ調整された人物領域どうしを重ね合わせることにより、ＧＥＩ（歩容エネルギー画像）を作成するＧＥＩ作成部と、前記ＧＥＩを微分した微分画像を作成する微分部と、前記微分画像と前記各フレームの前記サイズ調整された人物領域の輪郭とをマッチングし、前記マッチング時の前記微分画像に対する前記各人物領域の移動量を算出する移動量算出部と、前記移動量を補正する補正部と、前記補正された移動量に基づいて、前記人物の歩容の特徴量を算出する特徴量算出部とを備える。前記補正部は、前記フレームに写る前記人物のサイズの対数関数に前記移動量をフィットさせることにより、前記移動量の近似関数を導出し、前記移動量から前記近似関数の値を減算することにより、前記移動量を補正する。
【0011】
第２観点に係る歩容解析装置は、第１観点に係る歩容解析装置であって、前記サイズ調整部は、前記フレームに写る前記人物のサイズが前記距離に反比例し、前記距離は時刻に対し線形に変化するとの仮定の下、前記人物領域のサイズ調整を行う。
【0012】
第３観点に係る歩容解析装置は、第２観点に係る歩容解析装置であって、前記サイズ調整部は、前記人物領域の面積が前記フレームに写る前記人物のサイズの二乗に比例するとのさらなる仮定の下、前記人物領域の面積を表す時刻の関数を導出し、当該関数を特定するパラメータに基づいて、前記人物領域のサイズ調整を行う。
【0013】
第４観点に係る歩容解析装置は、第１観点から第３観点のいずれかに係る歩容解析装置であって、前記特徴量には、前記移動量の時系列データのスペクトルの特徴を表すスペクトル指標が含まれる。
【0014】
第５観点に係る歩容解析装置は、第１観点から第４観点のいずれかに係る歩容解析装置であって、判定部をさらに備える。前記サイズ調整部、前記ＧＥＩ作成部、前記微分部、前記移動量算出部、前記補正部及び前記特徴量算出部は、同じ又は異なる動画に写る２人以上の人物の各々の像に対し処理を行う。前記判定部は、前記２人以上の人物にそれぞれ対応する前記特徴量どうしを比較することにより、前記２人以上の人物が同一人物であるか否かを判定する。
【0015】
第６観点に係る歩容解析プログラムは、以下のステップ（１）～（６）をコンピュータに実行させる。第７観点に係る歩容解析方法は、以下のステップ（１）～（６）を含む。
（１）人物の歩容を捉えた動画に含まれる複数のフレームの各々に対し、当該フレームの撮影点から前記人物までの距離に応じて生じる、当該フレームに写る前記人物のサイズの変動をキャンセルするように、当該フレームに含まれる前記人物に対応する領域である人物領域のサイズ調整を行うステップ
（２）前記サイズ調整された人物領域どうしを重ね合わせることにより、ＧＥＩ（歩容エネルギー画像）を作成するステップ
（３）前記ＧＥＩを微分した微分画像を作成するステップ
（４）前記微分画像と前記各フレームの前記サイズ調整された人物領域の輪郭とをマッチングし、前記マッチング時の前記微分画像に対する前記各人物領域の移動量を算出するステップ
（５）前記移動量を補正するステップ
（６）前記補正された移動量に基づいて、前記人物の歩容の特徴量を算出するステップ
（１）人物の歩容を捉えた動画に含まれる複数のフレームの各々に対し、当該フレームの撮影点から前記人物までの距離に応じて生じる、当該フレームに写る前記人物のサイズの変動をキャンセルするように、当該フレームに含まれる前記人物に対応する領域である人物領域のサイズ調整を行うステップ
（２）前記サイズ調整された人物領域どうしを重ね合わせることにより、ＧＥＩ（歩容エネルギー画像）を作成するステップ
（３）前記ＧＥＩを微分した微分画像を作成するステップ
（４）前記微分画像と前記各フレームの前記サイズ調整された人物領域の輪郭とをマッチングし、前記マッチング時の前記微分画像に対する前記各人物領域の移動量を算出するステップ
（５）前記移動量を補正するステップ
（６）前記補正された移動量に基づいて、前記人物の歩容の特徴量を算出するステップ
【0016】
（５）の前記移動量を補正するステップは、前記フレームに写る前記人物のサイズの対数関数に前記移動量をフィットさせることにより、前記移動量の近似関数を導出し、前記移動量から前記近似関数の値を減算することにより、前記移動量を補正するステップを含む。
【発明の効果】
【0017】
本発明では、カメラでの撮影方向によらず、精度よく人物の歩容を解析することができる。
【図面の簡単な説明】
【0018】
【図1A】カメラの撮影方向と人物の進行方向との関係を示す図。
【図1B】カメラの撮影方向と人物の進行方向との関係を示す別の図。
【図2A】カメラの撮影方向と人物の進行方向とが概ね垂直な場合の、従来技術による人物の重心の上下方向の移動量の時系列グラフ。
【図2B】カメラの撮影方向と人物の進行方向とが斜めに交差している場合の、従来技術による人物の重心の上下方向の移動量（位置）の時系列グラフ。
【図3】歩容解析装置の構成を示すブロック図。
【図4】歩容解析処理の流れを示すフローチャート。
【図5】人物領域を表す二値フレーム（シルエット画像）を示す図。
【図6】ＧＥＩを示す図。
【図7】ＧＥＩを微分した微分画像を示す図。
【図8】二値フレームの輪郭を抽出した輪郭フレームを示す図。
【図9】補正前の人物の重心の移動量（位置）の上下方向の成分の波形を示すグラフ。
【図10】補正後の人物の重心の移動量の上下方向の成分の波形を示すグラフ。
【図11】人物の重心の移動量の時系列データのスペクトルを示すグラフ。
【発明を実施するための形態】
【0019】
以下、図面を参照しつつ、本発明の一実施形態に係る歩容解析装置について説明する。
＜１．歩容解析装置の構成＞
図３に、本実施形態に係る歩容解析装置１を含む歩容解析システム１００の全体構成を示す。歩容解析装置１は、人物Ｐ１，Ｐ２の歩容を捉えた動画Ｍ１，Ｍ２に基づいて、歩容を解析する装置である。本実施形態に係る歩容解析装置１は、動画Ｍ１に写る人物Ｐ１の歩容の特徴量Ｃ１と、動画Ｍ２に写る人物Ｐ２の歩容の特徴量Ｃ２とを算出し、これらの特徴量Ｃ１，Ｃ２を比較することにより、人物Ｐ１，Ｐ２が同一人物であるか否かを判定する。動画Ｍ１，Ｍ２は、それぞれ異なる位置に設置されたカメラ２１，２２により撮影され、歩容解析装置１は、カメラ２１，２２とともに、歩容解析システム１００を構成する。動画Ｍ１，Ｍ２は、インターネット、ＬＡＮ、専用のケーブル等のネットワーク６経由で、カメラ２１，２２から歩容解析装置１に送信される。なお、歩容解析装置１とカメラ２１，２２とは、常時接続されていてもよいし、動画Ｍ１，Ｍ２の受け渡し時のみ接続されてもよい。
＜１．歩容解析装置の構成＞
図３に、本実施形態に係る歩容解析装置１を含む歩容解析システム１００の全体構成を示す。歩容解析装置１は、人物Ｐ１，Ｐ２の歩容を捉えた動画Ｍ１，Ｍ２に基づいて、歩容を解析する装置である。本実施形態に係る歩容解析装置１は、動画Ｍ１に写る人物Ｐ１の歩容の特徴量Ｃ１と、動画Ｍ２に写る人物Ｐ２の歩容の特徴量Ｃ２とを算出し、これらの特徴量Ｃ１，Ｃ２を比較することにより、人物Ｐ１，Ｐ２が同一人物であるか否かを判定する。動画Ｍ１，Ｍ２は、それぞれ異なる位置に設置されたカメラ２１，２２により撮影され、歩容解析装置１は、カメラ２１，２２とともに、歩容解析システム１００を構成する。動画Ｍ１，Ｍ２は、インターネット、ＬＡＮ、専用のケーブル等のネットワーク６経由で、カメラ２１，２２から歩容解析装置１に送信される。なお、歩容解析装置１とカメラ２１，２２とは、常時接続されていてもよいし、動画Ｍ１，Ｍ２の受け渡し時のみ接続されてもよい。
【0020】
歩容解析装置１は、ハードウェアとしては、汎用のコンピュータである。歩容解析装置１には、ＣＤ－ＲＯＭ、ＵＳＢメモリ等のコンピュータで読み取り可能な記録媒体５から、又はネットワーク６を介して別のコンピュータから歩容解析プログラム２がインストールされている。歩容解析プログラム２は、本発明の一実施形態に係る歩容解析プログラムであり、カメラ２１，２２から取得される動画Ｍ１，Ｍ２に基づいて、人物Ｐ１，Ｐ２の歩容を解析する機能を有するアプリケーションソフトウェアである。歩容解析プログラム２は、歩容解析装置１に後述するステップを実行させる。
【0021】
図３に示すとおり、歩容解析装置１は、表示部１０、入力部２０、記憶部３０、制御部４０及び通信部５０を有する。これらの部１０～５０は、互いにバス線７で接続されている。表示部１０は、液晶ディスプレイ等で構成されており、適当な画面をユーザに対し表示する。また、入力部２０は、マウスやキーボード、タッチパネル、操作ボタン等で構成されており、歩容解析装置１に対するユーザからの操作を受け付ける。通信部５０は、歩容解析装置１をネットワーク６に接続し、ネットワーク６上に存在するカメラ２１，２２等の外部装置との間でデータ通信を行う通信インターフェースである。記憶部３０は、ハードディスク、フラッシュメモリ等の不揮発性の記憶装置から構成されており、記憶部３０内には、歩容解析プログラム２が格納されている。
【0022】
制御部４０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等から構成されており、記憶部３０内に格納されている歩容解析プログラム２を読み出して実行することにより、仮想的に動画取得部４１、サイズ調整部４２、ＧＥＩ作成部４３、微分部４４、移動量算出部４５、補正部４６、特徴量算出部４７、判定部４８及び表示制御部４９として動作する。各部４１～４９の動作については、後述する。
【0023】
＜２．歩容解析処理の流れ＞
以下、図４を参照しつつ、歩容解析装置１により実行される歩容解析処理について説明する。まず、動画取得部４１が、通信部５０を介してネットワーク６経由で、カメラ２１，２２からそれぞれ動画Ｍ１，Ｍ２を取得する（ステップＳ１）。動画Ｍ１には、人物Ｐ１の歩容が捉えられており、動画Ｍ２には、人物Ｐ２の歩容が捉えられている。
以下、図４を参照しつつ、歩容解析装置１により実行される歩容解析処理について説明する。まず、動画取得部４１が、通信部５０を介してネットワーク６経由で、カメラ２１，２２からそれぞれ動画Ｍ１，Ｍ２を取得する（ステップＳ１）。動画Ｍ１には、人物Ｐ１の歩容が捉えられており、動画Ｍ２には、人物Ｐ２の歩容が捉えられている。
【0024】
続くステップＳ２では、サイズ調整部４２が、動画Ｍ１，Ｍ２に含まれる複数のフレームの各々に対し、当該フレームに写る人物Ｐ１，Ｐ２のサイズの変動をキャンセルするように、当該フレームに含まれる人物Ｐ１，Ｐ２に対応する領域（人物領域）のサイズ調整を行う。フレームに写る人物Ｐ１，Ｐ２のサイズの変動は、それぞれ動画Ｍ１，Ｍ２の撮影点から人物Ｐ１，Ｐ２までの距離に応じて生じる。すなわち、この変動は、遠近法により、撮影点から人物Ｐ１，Ｐ２が遠い程、フレーム上に人物Ｐ１，Ｐ２が小さく写り、近い程、大きく写る現象である。
【0025】
より具体的には、サイズ調整部４２は、動画Ｍ１に含まれる複数のフレームＦ１１，Ｆ１２，・・・の平均画像を作成し、これを背景画像Ｈ１とする。平均画像とは、画素毎に、フレームＦ１１，Ｆ１２，・・・の画素値を平均した画像である。続いて、サイズ調整部４２は、各フレームＦ１１，Ｆ１２，・・・から背景画像Ｈ１を減算し、差分フレームＩ１１，Ｉ１２，・・・を作成する。差分フレームＩ１１，Ｉ１２，・・・は、それぞれ、画素毎に、フレームＦ１１，Ｆ１２，・・・の画素値から背景画像Ｈ１の画素値を減算した画像である。さらに、サイズ調整部４２は、各差分フレームＩ１１，Ｉ１２，・・・を二値化し、二値フレームＫ１１，Ｋ１２，・・・を作成する（二値フレームについては、図５参照）。二値化とは、所定の閾値以上の画素値を有する画素に画素値「１（白）」を与え、それ以外の画素に画素値「０（黒）」を与える処理である。二値フレームＫ１１，Ｋ１２，・・・上では、人物Ｐ１に対応する人物領域が「白」で表され、背景に対応する領域が「黒」で表される。すなわち、二値フレームＫ１１，Ｋ１２，・・・は、人物Ｐ１のシルエットを表すシルエット画像である。
【0026】
人物Ｐ１が歩行している場合、二値フレームＫ１１，Ｋ１２，・・・に写る人物Ｐ１のサイズである人物サイズＬ（ｔ）は、時刻とともに変化する。なお、ｔは、時間軸に沿って配列されるフレームＫ１１，Ｋ１２，・・・の配列順を表すフレーム番号であり、これに対応する時刻を表す。ここで、人物サイズＬ（ｔ）に基づいて、フレームＫ１１，Ｋ１２，・・・に含まれる人物領域のサイズ調整を行うために、以下の仮定Ａ１～Ａ３をおく。まず、人物Ｐ１が地面という２次元平面上を一定速度で一定の方向に移動すると仮定し、近似的に、人物Ｐ１を撮影するカメラ２１の位置（撮影点）から人物Ｐ１までの距離Ｄ（ｔ）が、時刻ｔに対し線形に変化するものとみなす。これが仮定Ａ１である。次に、人物Ｐ１の実世界での身長（サイズ）は変わらないため、フレームＫ１１，Ｋ１２，・・・に写る人物Ｐ１の人物サイズＬ（ｔ）は、距離Ｄ（ｔ）に反比例する。これが仮定Ａ２である。最後に、フレームＫ１１，Ｋ１２，・・・上での人物の背景化及び背景の人物化は不定期に出現し、さらに人物Ｐ１の手が胴体に重なる等の影響は無視できる程度に小さいと仮定し、フレームＫ１１，Ｋ１２，・・・に含まれる人物領域の面積Ｓ（ｔ）が、人物サイズＬ（ｔ）の二乗に比例するものとみなす。これが仮定Ａ３である。
【0027】
以上の仮定Ａ１～Ａ３は、それぞれ以下の式（１）～（３）ように数式化される。ここで、α，β，α'，β'，α''，β''，γ及びδは、所定の定数である。式（２）は、線形式の逆数であり、双曲線を描く。
【数1】
【0028】
サイズ調整部４２は、二値フレームＫ１１，Ｋ１２，・・・に含まれる各時刻ｔでのフレーム（以下、Ｋ１（ｔ）と表すことがある）に対し、当該フレームＫ１（ｔ）に含まれる人物領域の面積Ｓ（ｔ）を算出する。そして、式（３）に従って、こうして得られた（ｔ，Ｓ（ｔ））の多数のデータセットから、時刻ｔの関数であるＳ（ｔ）を導出する。すなわち、関数Ｓ（ｔ）を特定するためのパラメータα''及びβ''が導出される。なお、Ｓ（ｔ）の導出方法は、特に限定されないが、例えば、最小二乗誤差となるように関数Ｓ（ｔ）を最適化する任意のアルゴリズムを用いることができ、好ましい例を挙げると、最大勾配法を用いることができる。
【0029】
ここで、二値フレームＫ１１，Ｋ１２，・・・に含まれる１枚の基準フレーム（例えば、時間軸に沿って中央のフレーム）のフレーム番号をｔmと表す。サイズ調整部４２は、二値フレームＫ１１，Ｋ１２，・・・に含まれる各時刻ｔでのフレームＫ１（ｔ）に対し、当該フレームＫ１（ｔ）に含まれる人物領域をＬ（ｔm）／Ｌ（ｔ）倍にサイズ調整する。これにより、各時刻ｔでの人物領域のサイズが、基準フレームＫ１（ｔm）の人物サイズＬ（ｔm）を基準として正規化される。このとき、本実施形態では、人物領域だけでなく、フレームＫ１（ｔ）の全体をＬ（ｔm）／Ｌ（ｔ）倍にサイズ調整する。また、このときの倍率であるＬ（ｔm）／Ｌ（ｔ）は、式（３）から（α''ｔ＋β''）／（α''ｔm＋β''）と表すことができるため、この式に従って、既出のパラメータα''及びβ''に基づいて導出される。なお、Ｌ（ｔm）／Ｌ（ｔ）では、δが相殺されるため、δについては考慮する必要がない。
【0030】
サイズ調整部４２は、同様の方法で、動画Ｍ２に含まれる複数のフレームＦ２１，Ｆ２２，・・・に基づいて、順次、背景画像Ｈ２、差分フレームＩ２１，Ｉ２２，・・・、二値フレームＫ２１，Ｋ２２，・・・（以下、Ｋ２（ｔ）と表すことがある）を導出する。さらに同様に、サイズ調整部４２は、各時刻ｔでの二値フレームＫ２（ｔ）に含まれる人物領域が、基準フレームＫ２（ｔm）を基準としてサイズ調整されるように、二値フレームＫ２（ｔ）の全体を等倍率でサイズ調整する。
【0031】
続くステップＳ３では、ＧＥＩ作成部４３が、人物Ｐ１，Ｐ２にそれぞれ対応するＧＥＩ（歩容エネルギー画像）７１，７２を作成する。具体的には、ＧＥＩ作成部４３は、ステップＳ２でサイズ調整された二値フレームＫ１１，Ｋ１２，・・・を、それぞれに含まれる人物領域どうしが重なるように重ね合わせることにより、ＧＥＩ７１を作成する。本実施形態では、ＧＥＩ作成部４３は、二値フレームＫ１１，Ｋ１２，・・・にそれぞれ写る人物領域の重心Ｇ１１，Ｇ１２，・・・を計算し、これらの重心Ｇ１１，Ｇ１２，・・・どうしが重なるように人物領域を位置合わせする。ＧＥＩ７１とは、図６に示すような画像であり、画素毎に、位置合わせされた二値フレームＫ１１，Ｋ１２，・・・の画素値を平均した画像である。なお、人物領域の位置合わせの方法は、これに限られず、人物領域が適切に重なる限り、任意の方法を採用することができる。例えば、ＩＣＰ（Iterative Closest Point）と呼ばれる位置合わせのアルゴリズムを用いることもできる。また、例えば、２つの人物領域どうしの相対位置を変化させながら両人物領域間の積和を計算し、当該積和が最大となるような相対位置で両人物領域を重ね合わせることもできる。
【0032】
また、ＧＥＩ作成部４３は、同様の方法で、ステップＳ２でサイズ調整された二値フレームＫ２１，Ｋ２２，・・・を、それぞれに含まれる人物領域どうしが重なるように重ね合わせることにより、ＧＥＩ７２を作成する。
【0033】
ところで、人物が歩くときには、手足が前後及び鉛直上下に概ね周期的に移動する。そのため、図６に示すように、ＧＥＩ上では、常時動いている手足に対応する領域は薄くなる。また、頭や上半身に対応する領域も、歩行中前後に揺れるため、薄くなる。これに対し、身体の重心に近く、ほぼ等速運動をしている腰の辺りに対応する領域は、色が濃くなる。さらに、前方斜め下に蹴り出した太ももに対応する領域も、余り動かないため、色が濃くなる。
【0034】
続くステップＳ４では、微分部４４が、ＧＥＩ７１，７２を微分し、それぞれ微分画像Ｊ１，Ｊ２を作成する。ここでいう微分とは、画素毎に、当該画素と当該画素に隣接する画素との間の画素値の変化量を求める処理である。本実施形態では、ＰＲＥＷＩＴＴフィルタを用いた１次微分が行われる。すなわち、画素毎に、画像の上下及び左右の両方向の画素値の変化量を算出し、当該上下及び左右の変化量の二乗和のルートが新たな画素値とされる。
【0035】
図７は、ＧＥＩ７１の微分画像Ｊ１を示している。同図から分かるように、微分画像Ｊ１上では、人物領域の輪郭が現れ、ＧＥＩ７１上で濃く現れた部分は、当該輪郭上でも濃く現れ、ＧＥＩ７１上で薄く現れた部分は、当該輪郭上でも薄く現れる傾向にある。すなわち、ＧＥＩを微分した微分画像上では、人物領域の輪郭が、身体の歩行中に余り動かない部位、典型的には、腰の辺り及び前方斜め下に蹴り出した太ももの近傍において濃く現れる。つまり、ＧＥＩ上において、身体の歩行中に余り動かない部位に対応する領域と背景領域との境界では、白と黒のコントラストが大きくなるため、微分画像上では、このような境界に対応する輪郭上の画素値（微分成分）が大きくなる。一方、微分画像上では、人物領域の輪郭のうち、身体の歩行中によく動く部位の近傍の箇所においては薄く現れる。
【0036】
続くステップＳ５では、移動量算出部４５は、微分画像Ｊ１と、ステップＳ２でサイズ調整された各二値フレームＫ１１，Ｋ１２，・・・に含まれる人物領域の輪郭とをマッチング（位置合わせ）し、このマッチング時の微分画像Ｊ１に対する各人物領域の移動量（位置調整量）ｄ１１，ｄ１２，・・・を算出する。具体的には、まず、移動量算出部４５は、ステップＳ２でサイズ調整された各二値フレームＫ１１，Ｋ１２，・・・に対しエッジ検出を行い、人物領域の輪郭が現れる輪郭フレームＬ１１，Ｌ１２，・・・を作成する（輪郭フレームについては、図８参照）。次に、移動量算出部４５は、微分画像Ｊ１と、各輪郭フレームＬ１１，Ｌ１２，・・・とを、両画像に現れる人物領域の輪郭どうしが重なるようにマッチングする。そして、このマッチングの結果に従って、各人物領域を微分画像Ｊ１に対し位置合わせしたときの、各人物領域の移動量ｄ１１，ｄ１２，・・・を算出する。このとき、移動量ｄ１１，ｄ１２，・・・は、微分画像Ｊ１上において、ＧＥＩ７１の作成時にステップＳ２で重心Ｇ１１，Ｇ１２，・・・を重ね合わせた位置Ｇ１からの、微分画像Ｊ１に対する位置合わせ後の人物領域上の重心Ｇ１１，Ｇ１２，・・・の位置の移動量として算出することができる（図７参照）。本実施形態では、移動量ｄ１１，ｄ１２，・・・は、２次元ベクトルであり、上下方向の移動量と、左右方向の移動量との２つの値を要素とする。
【0037】
本実施形態では、微分画像Ｊ１と人物領域の輪郭とのマッチングは、微分画像Ｊ１と輪郭フレームＬ１１，Ｌ１２，・・・との相対位置を変化させながら両画像の積和を計算し、当該積和が最大となるような両画像の相対位置を検出することにより行われる。なお、このときの相対位置が、移動量ｄ１１，ｄ１２，・・・である。ただし、マッチングの方法は、これに限られず、人物領域の輪郭どうしが重なる限り、任意の方法を採用することができる。
【0038】
微分画像Ｊ１上では、上記のとおり、歩行中に余り動かない部分が濃く現れる。従って、このような微分画像Ｊ１に対して各輪郭フレームＬ１１，Ｌ１２，・・・がマッチングされることにより、ステップＳ５では、人物領域のうち、歩行中に余り動かない部位どうしが優先的に重なるように位置合わせされる。また、微分画像Ｊ１と輪郭フレームＬ１１，Ｌ１２，・・・とを、両画像の積和が最大化されるようにマッチングするということは、歩行中に余り動かない部分の輪郭どうしが強く重なるように位置合わせするということである。従って、微分画像Ｊ１を基準として算出される移動量ｄ１１，ｄ１２，・・・の動きは、人物Ｐ１の歩容のリズムを適切に表し得る。
【0039】
移動量ｄ１１，ｄ１２，・・・は、この順番に、動画Ｍ１のフレームレートに対応する時間間隔で並ぶ時系列データを構成している。図９は、２回のストライド分の時間に対応する移動量ｄ１１，ｄ１２，・・・の上下方向の成分の時系列グラフである。ここで、図２Ａ及び図２Ｂのグラフをもう一度参照されたい。図２Ａ及び図２Ｂは、ステップＳ２のサイズ調整がされていない場合の、実際の人物の重心の上下方向の移動量のグラフである。図２Ａは、カメラの撮影方向と人物の進行方向とが概ね垂直な場合のグラフであり、図２Ｂは、これらの方向が斜めに交差している場合のグラフである。図２Ｂでは、カメラに写る人物のサイズが時刻とともに変動することの影響から、図２Ａのようなステップ毎の山やストライド毎の周期性といった歩容のリズムに由来する特徴を見出すことはできない。しかし、図９のグラフには、僅かにこうした歩容の特徴を見出すことができる。これは、ステップＳ２のサイズ調整により、人物領域の重ね合わせが上手くいき、マッチングが成功したためである。
【0040】
移動量算出部４５は、同様の方法で、微分画像Ｊ２とステップＳ２でサイズ調整された各二値フレームＫ２１，Ｋ２２，・・・とに基づいて、輪郭フレームＬ２１，Ｌ２２，・・・を算出し、移動量ｄ２１，ｄ２２，・・・を算出する。すなわち、微分画像Ｊ２と、各輪郭フレームＬ２１，Ｌ２２，・・・とを、人物領域の輪郭どうしが重なるようにマッチングし、このマッチング時の微分画像Ｊ２に対する各人物領域の移動量ｄ２１，ｄ２２，・・・を算出する。
【0041】
ところで、以上のとおり算出される移動量ｄ１１，ｄ１２，・・・及びｄ２１，ｄ２２，・・・には、図９に示すとおり、歩容の特徴がある程度現れるものの、依然として図２Ａほど明確には現れない。つまり、フレームＦ１１，Ｆ１２，・・・間で人物領域のサイズを正規化するのみでは、撮影方向に由来する人物のサイズの変動に伴う誤差を除去しきれていない。図９のグラフは、右上がりに延びており、このような傾向の誤差により、ステップの山がかき消されている。この誤差とは、以下のようなものである。
【0042】
フレームに写る人物のサイズが変化すると、これに比例して、動画が捉える人物の速度も変化する。また、移動量は、速度の積分である。よって、フレームに写る人物のサイズの変動は、誤差として移動量の値に蓄積される。ここで、上記のとおり、人物サイズＬ（ｔ）は、式（２）のとおり、双曲線で変化する。双曲線の積分は、対数で表される。以上のことから、移動量をＧ（ｔ）と表すとき、式（３）も参照して、Ｇ（ｔ）は、以下の式（４）のとおり数式化される。ここで、ε、ξ、η及びθは、所定の定数である。
【数2】
【0043】
続くステップＳ６では、補正部４６は、以上の式（４）に従って、移動量ｄ１１，ｄ１２，・・・及びｄ２１，ｄ２２，・・・を補正する。より具体的には、補正部４６は、ステップＳ２で算出されたα''及びβ''の値を（４）式に代入した上で、（ｔ，ｄ１（ｔ））の多数のデータセットから、時刻ｔの関数であるＧ（ｔ）を導出する。すなわち、関数Ｇ（ｔ）を特定するためのパラメータη及びθが導出される。なお、ｄ１（ｔ）とは、ステップＳ５で算出された移動量ｄ１１，ｄ１２，・・・のうち、時刻ｔでの移動量である。Ｇ（ｔ）の導出方法は、特に限定されないが、例えば、最小二乗誤差となるように関数Ｇ（ｔ）を最適化する任意のアルゴリズムを用いることができ、好ましい例を挙げると、最大勾配法を用いることができる。
【0044】
以上のとおり、ステップＳ６では、補正部４６は、ステップＳ５で算出された移動量ｄ１１，ｄ１２，・・・を、式（４）の人物サイズＬ（ｔ）の対数関数にフィットさせることにより、移動量ｄ１１，ｄ１２，・・・の近似関数Ｇ（ｔ）を導出する。続いて、補正部４６は、各時刻ｔに対し、以上のとおり導出されたパラメータη及びθに基づき、式（４）に従って、近似関数Ｇ（ｔ）の値を算出する。そして、補正部４６は、各時刻ｔに対し、ステップＳ５で算出された移動量ｄ１（ｔ）から、近似関数Ｇ（ｔ）の値を減算することにより、移動量ｄ１（ｔ）の補正値であるｄ１’（ｔ）を算出する。すなわち、ｄ１’（ｔ）＝ｄ１（ｔ）－Ｇ（ｔ）である。
【0045】
【0046】
補正部４６は、同様の方法で、各時刻ｔに対し、移動量ｄ２（ｔ）の補正値である補正値ｄ２’（ｔ）を導出する。なお、ｄ２（ｔ）は、ステップＳ５で算出されたｄ２１，ｄ２２，・・・のうち、時刻ｔでの移動量である。
【0047】
続くステップＳ７では、特徴量算出部４７は、ステップＳ６で補正された移動量ｄ１１，ｄ１２，・・・である移動量ｄ１１’，ｄ１２’，・・・に基づいて、人物Ｐ１の歩容の特徴量Ｃ１を算出する。本実施形態では、特徴量Ｃ１として、補正後の移動量ｄ１１’，ｄ１２’，・・・の時系列データを周波数解析したスペクトルの特徴を表すスペクトル指標ｖｒ，ｖｉ，ｗｒ，ｗｉが算出される。より具体的には、特徴量算出部４７は、移動量ｄ１１’，ｄ１２’，・・・に含まれる上下方向の成分の時系列データを離散フーリエ変換してスペクトルを導出し、当該スペクトルの実数部及び虚数部をそれぞれスペクトル指標ｖｒ，ｖｉとする。周波数解析の対象となるデータは、移動量ｄ１１’，ｄ１２’，・・・の上下方向の成分の１回のストライドに対応する時系列データである。また、基本周波数の１倍、２倍、３倍、４倍、５倍及び６倍の周波数でのｖｒ，ｖｉが算出される。基本周波数は、１回のストライドに対応する周波数、すなわち、１回のストライドに要する時間（周期）の逆数である。
【0048】
また、特徴量算出部４７は、補正後の移動量ｄ１１’，ｄ１２’，・・・に含まれる左右方向の成分の時系列データを離散フーリエ変換してスペクトルを導出し、当該スペクトルの実数部及び虚数部をそれぞれスペクトル指標ｗｒ，ｗｉとする。周波数解析の対象となるデータは、上下方向の成分の場合と同じく、移動量ｄ１１’，ｄ１２’，・・・の左右方向の成分の１回のストライドに対応する時系列データである。また、上下方向の成分の場合と同じく、基本周波数の１倍、２倍、３倍、４倍、５倍及び６倍の周波数でのｗｒ，ｗｉが算出される。
【0049】
さらに、特徴量算出部４７は、同様の方法で、ステップＳ６で補正された移動量ｄ２１，ｄ２２，・・・である移動量ｄ２１’，ｄ２２’，・・・に基づいて、人物Ｐ２の歩容の特徴量Ｃ２となるスペクトル指標ｖｒ，ｖｉ，ｗｒ，ｗｉを算出する。
【0050】
図１１は、上記のとおり定義されるスペクトル指標ｖｒ，ｖｉ，ｗｒ，ｗｉの例（概念図）である。本実施形態では、上記のとおり、１回のストライドに対応する移動量の時系列データに基づいて、基本周波数の１倍～６倍の整数倍の周波数でのｖｒ，ｖｉ，ｗｒ，ｗｉが算出される。しかしながら、勿論、ここでの例に限定されず、１回のストライドよりも長い移動量の時系列データを周波数解析してもよいし、基本周波数の６倍よりも大きい周波数帯でのスペクトル指標を算出してもよい。ただし、１回のストライド分の移動量の時系列データからでも、十分な精度を達成することができる。その意味では、３回以下のストライドに対応する移動量の時系列データを周波数解析することが好ましい。また、本発明者が検証したところ、基本周波数の６倍を超える周波数帯のスペクトル指標を用いて解析を行うと、移動量の時系列データに含まれる高周波成分のノイズが影響し、誤差が大きくなる。その意味では、基本周波数の７倍以下の周波数帯でのスペクトル指標を算出することが好ましく、６倍以下の周波数帯であればより好ましい。また、スペクトルの特徴を表すスペクトル指標も、ｖｒ，ｖｉ，ｗｒ，ｗｉに限られず、適宜設定することができる。
【0051】
続くステップＳ８では、判定部４８が、人物Ｐ１の歩容の特徴量Ｃ１と、人物Ｐ２の歩容の特徴量Ｃ２とを比較するべく、特徴量Ｃ１，Ｃ２の差分を算出する。本実施形態では、特徴量Ｃ１，Ｃ２を構成する４つのスペクトル指標ｖｒ，ｖｉ，ｗｒ，ｗｉは、各々、６つの周波数に対応する６つの値からなる６次元ベクトルであるため、特徴量Ｃ１，Ｃ２は、各々、６×４＝２４次元のベクトルである。判定部４８は、これら２４個の要素について、各要素どうしの差の二乗の平均（分散）を算出し、特徴量Ｃ１,Ｃ２の差分を表す差分値とする。
【0052】
続くステップＳ９では、判定部４８は、ステップＳ８の差分値を予め設定されている閾値と比較する。そして、差分値が閾値以下であれば、人物Ｐ１と人物Ｐ２とを同一人物であると判定し、差分値が閾値よりも大きければ、人物Ｐ１と人物Ｐ２とを別人物であると判定する。
【0053】
以上の判定が終わると、表示制御部４９は、以上の判定結果を示す画面を作成し、表示部１０上に表示させる（ステップＳ１０）。以上により、歩容解析処理は終了する。
【0054】
＜３．用途＞
上記実施形態に係る歩容解析装置１は、例えば、近年、空港や商業施設等の至るところに設置されている監視カメラに捉えられた人物の動画から、人の動きの流れ（動線）を発見するために用いることができる。特に、テロ対策への応用も期待される。
上記実施形態に係る歩容解析装置１は、例えば、近年、空港や商業施設等の至るところに設置されている監視カメラに捉えられた人物の動画から、人の動きの流れ（動線）を発見するために用いることができる。特に、テロ対策への応用も期待される。
【0055】
＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。また、以下の変形例の要旨は、適宜組み合わせることができる。
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。また、以下の変形例の要旨は、適宜組み合わせることができる。
【0056】
＜４－１＞
上記実施形態に係る歩容解析処理は、異なる場所で撮影された異なる動画に写る複数の人物が同一人物であるか否かを判定するのに用いられた。かかる構成では、例えば、異なるＡ地点及びＢ地点にそれぞれカメラを配置し、Ａ地点及びＢ地点でカメラに捉えられた人物が同一人物か否かを判定することにより、ある人物がＡ地点からＢ地点に移動したか否かの判定を行うことができる。
上記実施形態に係る歩容解析処理は、異なる場所で撮影された異なる動画に写る複数の人物が同一人物であるか否かを判定するのに用いられた。かかる構成では、例えば、異なるＡ地点及びＢ地点にそれぞれカメラを配置し、Ａ地点及びＢ地点でカメラに捉えられた人物が同一人物か否かを判定することにより、ある人物がＡ地点からＢ地点に移動したか否かの判定を行うことができる。
【0057】
しかしながら、本発明に係る歩容解析処理の用途は、これに限定されない。例えば、ある動画の異なる時刻に写る人物どうしが同一人物であるか否かを判定するのにも使用することができる。この場合、１台のカメラで撮影された動画の異なるシーンを切り出し、これらのシーンに写る人物どうしが同一人物であるか否かを判定することができる。
【0058】
別の例を挙げると、個人の歩容の特徴量のデータを予め記録しておき、当該記録されているデータと、カメラにより撮影された動画から算出される人物の歩容の特徴量のデータとを比較し、これらが一致するか否かで同一人物か否かを判定することができる。
【0059】
さらに、同一人物の同定に限らず、正常な人の歩容と怪我をした人の歩容とを比較し、怪我をした人の回復の程度を評価するのにも使用することができる。
【0060】
＜４－２＞
上記実施形態では、ＧＥＩが、動画に含まれる各フレーム上の人物領域の重心を重ね合わせることにより作成されたが、ＧＥＩは、他の方法によっても作成することができる。例えば、人物の頭の頂点に対応する点や、腰の位置等、重心以外の特定の点を重ね合わせることによっても算出することもできる。
上記実施形態では、ＧＥＩが、動画に含まれる各フレーム上の人物領域の重心を重ね合わせることにより作成されたが、ＧＥＩは、他の方法によっても作成することができる。例えば、人物の頭の頂点に対応する点や、腰の位置等、重心以外の特定の点を重ね合わせることによっても算出することもできる。
【符号の説明】
【0061】
１ 歩容解析装置
２ 歩容解析プログラム
４２ サイズ調整部
４３ ＧＥＩ作成部
４４ 微分部
４５ 移動量算出部
４６ 補正部
４７ 特徴量算出部
４８ 判定部
７１，７２ ＧＥＩ
Ｐ１，Ｐ２ 人物
Ｍ１，Ｍ２ 動画
Ｋ１１，Ｋ１２，・・・，Ｋ２１，Ｋ２２，・・・ 二値フレーム
Ｊ１，Ｊ２ 微分画像
Ｌ１１，Ｌ１２，・・・，Ｌ２１，Ｌ２２，・・・輪郭フレーム
ｄ１１，ｄ１２，・・・，ｄ１２，ｄ２２，・・・ 移動量
Ｃ１，Ｃ２ 特徴量
ｖｒ スペクトル指標
ｖｉ スペクトル指標
ｗｒ スペクトル指標
ｗｉ スペクトル指標
２ 歩容解析プログラム
４２ サイズ調整部
４３ ＧＥＩ作成部
４４ 微分部
４５ 移動量算出部
４６ 補正部
４７ 特徴量算出部
４８ 判定部
７１，７２ ＧＥＩ
Ｐ１，Ｐ２ 人物
Ｍ１，Ｍ２ 動画
Ｋ１１，Ｋ１２，・・・，Ｋ２１，Ｋ２２，・・・ 二値フレーム
Ｊ１，Ｊ２ 微分画像
Ｌ１１，Ｌ１２，・・・，Ｌ２１，Ｌ２２，・・・輪郭フレーム
ｄ１１，ｄ１２，・・・，ｄ１２，ｄ２２，・・・ 移動量
Ｃ１，Ｃ２ 特徴量
ｖｒ スペクトル指標
ｖｉ スペクトル指標
ｗｒ スペクトル指標
ｗｉ スペクトル指標
【図1A】
【図1B】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
