特許 7497382 歩行タイミング検出装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-31

(45)【発行日】2024-06-10

(54)【発明の名称】歩行タイミング検出装置、方法及びプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240603BHJP

   A61B 5/11 20060101ALI20240603BHJP

【ＦＩ】

G06T7/20 300

A61B5/11 120

A61B5/11 230

【請求項の数】 6

(21)【出願番号】P 2022024762

(22)【出願日】2022-02-21

(65)【公開番号】P2023121415

(43)【公開日】2023-08-31

【審査請求日】2023-06-05

(73)【特許権者】

【識別番号】000000918

【氏名又は名称】花王株式会社

(74)【代理人】

【識別番号】110001863

【氏名又は名称】弁理士法人アテンダ国際特許事務所

(72)【発明者】

【氏名】熊本 匡純

(72)【発明者】

【氏名】須藤 元喜

(72)【発明者】

【氏名】高柳 直人

(72)【発明者】

【氏名】富崎 真澄

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開平１１－２５８９７３（ＪＰ，Ａ）

【文献】特開２０１５－０９９５０９（ＪＰ，Ａ）

【文献】Lawrence O'Gorman and Guang Yang，Orthographic Perspective Mappings for Consistent Wide-Area Motion Feature Maps From Multiple Cameras，IEEE TRANSACTIONS ON IMAGE PROCESSING，2016年06月30日，VOL.25 NO.6，p2817-2832

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

Ａ６１Ｂ ５／１１

(57)【特許請求の範囲】

【請求項1】

所定の歩行通路上を歩行する歩行者を歩行方向前方又は後方から前記歩行通路が含まれるように撮像して得られた第１の動画データを取得する動画データ取得手段と、
前記第１の動画データの各フレームに対して前記歩行通路の平面形状と一致又は相似するように射影変換して第２の動画データを生成する射影変換手段と、
前記第２の動画データの各フレームに対して、当該フレームの画像に含まれる歩行者の投影部について当該画像における歩行方向前方又は後方の端部位置を検出する端部位置検出手段と、
前記端部位置検出手段により検出された前記端部位置の経時的変化に基づき、歩行者の着地タイミング及び離地タイミングの少なくも一方又は双方を算出する歩行タイミング算出手段とを備えた
ことを特徴とする歩行タイミング検出装置。

【請求項2】

前記第１の動画データ又は前記第２の動画データの各フレームに対して動体抽出処理を行う動体抽出手段を備えた
ことを特徴とする請求項１記載の歩行タイミング検出装置。

【請求項3】

前記歩行タイミング算出手段は、各フレームに対して歩行方向と直交する方向に分布する前記歩行方向前方の端部位置の歩行方向と直交する方向における脚の重心位置を算出し、前記重心位置が極値になるタイミングに基づき離地タイミングを算出する
ことを特徴とする請求項１又は２記載の歩行タイミング検出装置。

【請求項4】

前記歩行タイミング算出手段は、初期フレームから時間軸方向に向かって、当該フレームでの最前方の端部位置の歩行方向成分の微分係数が所定の閾値より大きい場合には前記微分係数を累積させるとともに当該フレームでの前記微分係数が所定の閾値以下の場合には累積値を初期化させる処理を繰り返し行い、前記累積値が初期値以外の極値になるタイミングに基づき着地タイミングを算出する
ことを特徴とする請求項１又は２記載の歩行タイミング検出装置。

【請求項5】

コンピュータを用いて歩行タイミングを検出する方法であって、
所定の歩行通路上を歩行する歩行者を歩行方向前方又は後方から前記歩行通路が含まれるように撮像して得られた第１の動画データを取得するステップと、
前記第１の動画データの各フレームに対して前記歩行通路の平面形状と一致又は相似するように射影変換して第２の動画データを生成するステップと、
前記第２の動画データの各フレームに対して、当該フレームの画像に含まれる歩行者の投影部について当該画像における歩行方向前方又は後方の端部位置を検出するステップと、
検出された前記端部位置の経時的変化に基づき、歩行者の着地タイミング及び離地タイミングの少なくも一方又は双方を算出するステップとを備えた
ことを特徴とする歩行タイミング検出方法。

【請求項6】

コンピュータを、請求項１から４の何れか１項に記載の歩行タイミング検出装置として機能させる
ことを特徴とする歩行タイミング検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、歩行者の歩行特徴量のうち特に着地タイミング及び離地タイミングを検出する技術に関する。

【背景技術】

【0002】

従来、歩行者の歩幅、歩隔、歩行周期、立脚期、遊脚期、両脚支持期などの歩行特徴量を検出する技術としては、歩行通路に感圧シートを配置して歩行者の足跡を検出するもの（例えば特許文献１参照）、デプスカメラを用いて例えば頭部など歩行者の特定の部位についてその移動軌跡を観測するもの（例えば特許文献２）が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－０５２９９９号公報

【文献】特開２０１７－２０５１３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に記載のものでは、感圧シートが必要となるのでコストがかかるとともに感圧シートを敷くための手間やスペースが必要であるという問題があった。また、特許文献２に記載のものも高価なデプスカメラが必要であるためコストがかかるという問題があった。

【0005】

そこで、感圧シートやデプスカメラを使用することなく１台の一般的なカメラで歩行者を撮像し、この撮像した動画データに基づき歩行特徴量を検出することが検討されている。ここで、種々の歩行特徴量を検出可能とすることや歩行姿勢の撮影も行いたいなどの事情に鑑みて、当該１台のカメラを歩行者の歩行方向前方に設置することが検討されている。しかし従来は、このような場合において、歩行特徴量のうち特に立脚期、遊脚期、両脚支持期等の算出に用いられる着地タイミングや離地タイミングを動画データから正確に検出する技術は確立されていなかった。なお、各特許文献に記載のものはそもそも前提となるセンシング技術が異なるため、動画データを用いた検出技術に各特許文献に記載の技術を適用することは不可能である。

【0006】

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、着地タイミングや離地タイミングを動画データから正確に検出することができる歩行タイミング検出装置、方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本願発明に係る歩行タイミング検出装置は、所定の歩行通路上を歩行する歩行者を歩行方向前方又は後方から前記歩行通路が含まれるように撮像して得られた第１の動画データを取得する動画データ取得手段と、前記第１の動画データの各フレームに対して前記歩行通路の平面形状と一致又は相似するように射影変換して第２の動画データを生成する射影変換手段と、前記第２の動画データの各フレームに対して、当該フレームの画像に含まれる歩行者の投影部について当該画像における歩行方向前方又は後方の端部位置を検出する端部位置検出手段と、前記端部位置検出手段により検出された前記端部位置の経時的変化に基づき、歩行者の着地タイミング及び離地タイミングの少なくも一方又は双方を算出する歩行タイミング算出手段とを備えたことを特徴とする。

【発明の効果】

【0008】

本発明によれば、感圧シートやデプスカメラを用いることなく、一般的なカメラによる撮像データに基づき着地タイミングや離地タイミングである歩行タイミングを正確に検出できるので、利便性が高く且つ低コストなものとなる。

【図面の簡単な説明】

【0009】

【図1】歩行タイミング検出の使用形態を説明する図

【図2】歩行タイミング装置の機能ブロック図

【図3】歩行動画データのフレーム画像の一例

【図4】射影変換処理を説明する図

【図5】動体抽出処理を説明する図

【図6】端部位置検出処理を説明する図

【図7】着地タイミング検出部の機能ブロック部

【図8】平滑化処理された最端部位置の歩行方向成分及び微分係数の累積値の経時的変化を示すグラフ

【図9】離地タイミング検出部の機能ブロック図

【図10】平滑化処理された端部位置と重心位置の関係を示すグラフ

【図11】平滑化処理された重心位置の経時的変化を示すグラフ

【発明を実施するための形態】

【0010】

本発明の一実施の形態に係る歩行タイミング検出装置について図面を参照して説明する。図１は歩行タイミング検出装置の使用形態を説明する図、図２は歩行タイミング検出装置の機能ブロック図である。

【0011】

本実施の形態に係る歩行タイミング検出装置１００は、図１に示すように、所定の歩行通路１上を歩行する歩行者１０を撮像するカメラ５０と接続し、カメラ５０により撮像された動画データに基づき歩行タイミングを検出する。

【0012】

ここで、歩行タイミングとは、歩行者の歩容の評価に用いられるとともに歩行者の歩行を特徴付ける各種パラメータの総称である歩行特徴量の１つであり、他の歩行特徴量の算出にも用いられる。歩行タイミングは、着地タイミングと離地タイミングとを含む概念である。着地タイミングとは、歩行者の足裏面のうち踵が着地したタイミングを意味する。また、離地タイミングとは、歩行者の足裏面のうちつま先が離地したタイミングを意味する。なお、本願において足とは足首より先の部位を意味し、脚は足を含むものである点に留意されたい。

【0013】

本実施の形態に係る歩行タイミング検出装置１００は、歩行タイミングとして着地タイミング及び離地タイミングの双方を検出する。また、本実施の形態に係る歩行タイミング検出装置は、検出した着地タイミング及び離地タイミングに基づき、他の歩行特徴量を算出する。

【0014】

歩行通路１は、例えば、幅６０ｃｍ、長さ２４０ｃｍ程度の矩形領域からなる。歩行通路１は、床面に絨毯やシートなどを敷設して他の床面の領域と区画することにより形成することができる。また、歩行通路１は、床面に歩行通路１と他の領域との境界線となる位置にテープ等を貼ることにより形成することができる。また、歩行通路１は、矩形の領域を特定可能とするよう、少なくとも３つの角部にマーカーを設けることにより形成することができる。また、歩行通路１は、矩形の領域を特定可能とするよう、少なくとも４つの辺上の任意の位置にマーカーを設けることにより形成することができる。つまり、歩行通路１は視覚的に他の床面の領域と区別できるような構成であればよい。また、動画データを取得するカメラの位置・画角が固定され、且つ、狭い通路など歩く方向がある程度定まっている条件に関しては、予めマーカーを用いてキャリブレーションを行うことにより、歩行路を他の床面の領域と視覚的に区別したり、マーカーを設置した状態で動画データを取得したりする必要はない。

【0015】

なお、正確な歩行タイミングを検出するために、床面は影が映り込まないよう反射率が低く、且つ、水平又は水平に限りなく近いことが好ましい。

【0016】

歩行者１０は、歩行通路１の幅方向略中心線上を歩行通路１の長さ方向に歩行する。歩行者１０は、歩行通路１に対して歩行方向手前に立ち、この立ち位置から歩行を開始する。また、歩行者１０は、歩行通路１上を歩き抜け、歩行通路１の歩行方向前方で歩行を停止する。すなわち、歩行通路１上における歩行者１０の歩行は、歩行開始時及び方向停止時の動作を含まない、安定した歩行状態である。安定した歩容を観測するために、歩行通路１の長手方向の前後には数ｍ程度のスペースがあると好ましい。

【0017】

カメラ５０は、歩行通路１の歩行者１０の歩行方向前方に静止した状態で設置される。すなわち、カメラ５０は、歩行通路１上を歩行する歩行者１０を正面から撮影する。カメラ５０は、歩行通路１との間に歩行者１０を含む障害物がない条件において、少なくとも撮像した動画データに歩行通路１の全体が映り込まれるよう、設置位置、撮影方向、画角などの撮影条件が設定されている。本実施の形態では、カメラ５０は、歩行通路１の幅方向中心を通り歩行通路１の長さ方向と平行な線の上に設置され、且つ、撮影方向の水平成分は歩行通路１の長さ方向と平行である。カメラ５０の、画角、撮影方向の鉛直方向成分、歩行通路１との距離、床面との高さは、少なくとも撮像した動画データに歩行通路１の全体が映り込まれるのであれば任意である。なお、カメラ５０により撮像した動画データは、歩行者１０の全身が映り込まれている必要はない点に留意されたい。カメラ５０により撮像された歩行動画データのフレーム画像の一例を図３に示す。

【0018】

歩行タイミング検出装置１００は、図２に示すように、歩行動画取得部１１０と、通路特定部１２０と、射影変換部１３０と、動体抽出部１４０と、端部位置検出部１５０と、着地タイミング検出部１６０と、離地タイミング検出部１７０と、各種データを記憶する記憶部１８０と、歩行特徴量検出部１９０とを備えている。

【0019】

歩行タイミング検出装置１００は、主演算装置、主記憶部、補助記憶部、表示装置、入力装置等を備えた従来周知のコンピュータにより構成することができる。歩行タイミング検出装置１００は、前述の各部として機能させるプログラムをコンピュータにインストールすることにより実装することができる。歩行タイミング検出装置１００は、専用のハードウェアとして実装することができる。歩行タイミング検出装置１００は、複数の装置に分散して実装することができる。

【0020】

歩行動画取得部１１０は、カメラ５０が撮像した画像を歩行動画データとして所定のフレームレート（例えば３０ｆｐｓ）でリアルタイムに取得するとともに、取得した歩行動画データ１８１を記憶部１８０に記憶する。なお、歩行動画取得部１１０は、過去にカメラ５０で撮像した歩行動画データ１８１をネットワークや任意の記憶メディアを介して取得し、これを記憶部１８０に記憶してもよい。

【0021】

通路特定部１２０は、カメラ５０が撮像した歩行動画データに含まれている歩行通路１の投影領域を特定する。本実施の形態ではカメラ５０を静止状態で設置しているので、歩行動画データ中の何れかのフレームの画像データ（例えば最初のフレームの画像データ）を処理対象とすることができる。歩行通路１の投影領域の特定結果は二次元画像データの二次元座標系のデータからなる。歩行通路１の投影領域の特定結果は歩行通路１の形状に応じて種々の表現が可能である。本実施の形態では歩行通路１は矩形なので、歩行通路１の四隅の点座標データを特定結果とする。歩行通路１の投影領域の特定結果は、後段の射影変換部１３０に提供される。

【0022】

通路特定部１２０による歩行通路１の投影領域の特定処理は種々の方法を用いることができる。例えば、通路特定部１２０は、歩行通路１が矩形である場合は、四隅に設けたマーカーの位置を画像データ上で判定することで歩行通路１の範囲を特定することができる。この場合、予め通路特定部１２０に記憶してあるマーカーの形状や色を用いて、各マーカーを周知の画像処理アルゴリズムにより特定し、その位置を画像データから抽出する。また、撮像データを取得するカメラ５０の位置・画角が固定されている場合、予めマーカーを設置することで位置を特定し、座標情報として通路特定部１２０に記憶させておくこともできる。

【0023】

通路特定部１２０は、処理対象である画像データを表示装置に表示させて利用者により歩行通路１の投影領域を指定・入力させることにより、歩行通路１の投影領域の特定を行うこともできる。より具体的には、通路特定部１２０は、歩行通路１の投影領域を特定可能な点群の、画像データにおける座標位置を利用者から入力させる。本実施の形態では歩行通路１は矩形なので、歩行通路１の四隅の座標位置を利用者から入力させる。他の例としては、通路特定部１２０は、歩行通路１の複数の特徴点を画像データから検出し、この複数の特徴点から歩行通路１の投影領域を特定することができる。

【0024】

射影変換部１３０は、図４に示すように、歩行動画データ１８１の各フレーム画像２００に対して、歩行通路１の投影領域２１０における画像を、実空間における歩行通路１の平面形状と一致又は相似するように射影変換して歩行通路１の平面画像２２０を生成することにより射影変換動画データ１８２を生成する。実空間における歩行通路１の平面形状に関するデータは、予め記憶部１８０に通路諸元データ１８９として記憶されている。射影変換部１３０は、通路特定部１２０により特定された歩行通路１の投影領域２１０の座標データ及び記憶部１８０に記憶されている歩行通路１の平面形状に関する通路諸元データ１８９に基づき、各フレーム画像の射影変換処理を行う。本実施の形態では、射影変換部１３０は、平面画像２２０のＸ軸方向を歩行通路１の幅方向に一致させ、且つ、平面画像２２０のＹ軸方向を歩行通路１の長さ方向に一致させるよう射影変換処理を行う。

【0025】

ここで、射影変換部１３０は、歩行通路１の平面画像に対して低解像度化処理を行う低解像度化処理部１３１を機能的に内包することができる。本実施の形態では、通路諸元データ１８９として予め記憶する歩行通路１の平面形状を、解像度の低い平面画像における座標データ群として設定することにより、射影変換動画データ１８２の解像度を低いものとしている。すなわち、射影変換処理と低解像度化処理を同時に行う。例えば、カメラ５０で撮像した歩行動画データの画像データ２００の幅及び高さが１９２０×１０８０ピクセルであり、当該画像データ２００に含まれる歩行通路１の投影領域２１０の幅及び高さが概ね５００×５００ピクセルの範囲程度である場合を考える。また、実空間において矩形の歩行通路１の幅が６０ｃｍ、歩行方向長さが２４０ｃｍである場合を考える。このとき、歩行通路１の平面形状に関するデータとして、６０×２４０ピクセルの矩形データを設定する。これにより、射影変換動画データ１８２を構成する平面画像２２０の１ピクセルに対応する実空間の大きさは１ｃｍ^２となる。なお、実空間の大きさと射影変換動画データ１８２の１ピクセルとの対応関係、すなわち射影変換動画データ１８２の解像度は、カメラ５０の解像度に応じて或いは任意に設定可能である。

【0026】

動体抽出部１４０は、射影変換部１３０により生成された射影変換動画データ１８２の各フレームの平面画像２２０に対して動体抽出処理を行う。動体抽出のアルゴルズムは種々のものを用いることができる。本実施の形態では、２つの異なるフレームを比較することにより平面画像２２０中の動体を抽出する。さらに具体的には、本実施の形態では、処理対象をＮ番目のフレームとすると、Ｎ番目のフレームとＮ－１番目のフレームの加重平均を累積して計算し、当該加重平均とＮ番目のフレームの差分を算出することにより動体抽出処理を行う。また、動体抽出部１４０は、後処理の行程として、減色化処理部１４１を機能的に内包することができ。この減色化処理部１４１は、動体部と非動体部との区別をより明確にするとともに処理負荷を軽減するためである。本実施の形態では、減色化処理として白黒二値化処理を行っている。なお、さらに前処理の行程として、例えばグレースケール化などの減色化処理や、ガウシアンフィルタ適用などのノイズ除去処理を行うようにしてもよい。

【0027】

図５に動体抽出部１４０による処理例を示す。図５（ａ）は動体抽出処理前の射影変換動画データ１８２の平面画像２２０ａである。図５（ａ）には歩行通路１を歩行する歩行者１０の両脚部（足部を含む）が映っている。この画像における歩行者の歩行状態は、右脚（紙面左側の脚）１１が接地しており、左脚（紙面右側の脚）１２が地面を離れて前方（紙面下方）に移動中である。図５（ｂ）は動体抽出処理後の射影変換動画データ１８２の平面画像２２０ｂである。図５（ｂ）に示すように、動体抽出処理後の平面画像２２０ｂは、接地しており動きがない又は動きが小さい右脚１１及び非動体である歩行通路１の表面部分は抽出されず、動きがある左脚１２が抽出されている。図５（ｃ）は、動体抽出処理について理解を容易にするため、図５（ａ）の平面画像２２０ａに、抽出した動体部の輪郭を重畳したものである。

【0028】

端部位置検出部１５０は、動体抽出後の射影変換動画データ１８２の各フレームの平面画像２２０に対して、当該平面画像２２０に含まれる歩行者１０の投影部について当該画像における歩行方向前方の端部位置を検出し、端部位置データ１８３として記憶部１８０に記憶する。より具体的には、端部位置検出部１５０は、図６に示すように、平面画像２２０においてＹ軸方向（歩行方向）の最大値から最小方向に向かって動体部が存在しているかを行走査し、各Ｘ座標について動体部を最初に検出したＹ軸方向の位置を検出して、端部位置データ１８３として記憶部１８０に記憶する。ここで、動体部が検出されなかったＸ座標についてはＹ軸方向の検出位置として最小値（例えばゼロ）を記録する。

【0029】

着地タイミング検出部１６０は、前記端部位置検出部１５０により検出された端部位置データ１８３を処理対象として、端部位置の経時的変化に基づき歩行者の着地タイミングを算出する。着地タイミング検出部１６０は、特に、各フレームの平面画像２２０における最前方の端部位置の歩行方向成分すなわちＹ軸成分の経時的変化に基づき、歩行者の着地タイミングを算出する。

【0030】

着地タイミング検出部１６０は、図７に示すように、最端部位置検出部１６１と、平滑化処理部１６２と、累積処理部１６３と、着地タイミング算出部１６４とを含む。

【0031】

最端部位置検出部１６１は、フレームごとに、端部位置データ１８３に含まれる最前方すなわちＹ軸方向が最大の端部位置を検出して、端部位置データ１８３に記憶する。なお、最前方すなわちＹ軸方向が最大の端部位置を「最端部位置」と呼ぶものとする。この最端部位置はつま先位置に相当するものである。

【0032】

平滑化処理部１６２は、着地タイミングの算出処理の前処理として、端部位置データ１８３の最端部位置の歩行方向成分すなわちＹ軸成分について時間軸方向に平滑化処理を行う。本実施の形態では、平滑化処理部１６２は、時間軸方向の移動平均を算出する。より具体的には、平滑化処理部１６２は、フレーム番号Ｎの最端部位置の歩行方向成分について前後１フレームの値を用いて移動平均算出処理を行い、端部位置データ１８３に記憶する。

【0033】

累積処理部１６３は、初期フレームから時間軸方向に向かって、当該フレームでの最端部位置の歩行方向成分の微分係数が所定の閾値より大きい場合には当該フレームの微分係数をそれ以前までに累積した微分係数の累積値に加算するとともに、当該フレームの微分係数が所定の閾値以下の場合には累積値を初期化させる処理を繰り返し行い、各フレーム時点での累積値を累積値データ１８４として記憶部１８０に記憶する。ここで各フレームにおける微分係数の算出は、当該フレームのデータと当該フレームに後続するフレームのデータを用いた微分処理により行う。前述したように、最端部位置はつま先位置に相当するので、最端部位置の歩行方向成分の微分係数が所定の閾値以下の期間は、つま先位置がほぼ停止している、すなわち着地している期間であると考えられる。これに着目して、着地タイミング検出部１６０は、最端部位置の歩行方向成分の微分係数を累積させるとともに、当該微分係数が所定の閾値以下の場合には累積値を初期化させる処理を行うことにより、歩行者１０の歩みごとに現れる累積値のピークすなわち極値のタイミングを明確化している。なお、累積処理部１６３は、累積処理を複数回実施することで累積値のピークのタイミングをより明確にすることができる。また、本実施の形態では、前記所定の閾値としてゼロを用いた。

【0034】

着地タイミング算出部１６４は、累積地データ１８４から累積値のピークすなわち極値を観測したフレーム番号を検出し、当該フレーム番号を時間情報に変換するとともに所定の時間軸方向の補正を行うことにより着地タイミングを算出し、算出した着地タイミングを歩行タイミングデータ１８８として記憶部１８０に記憶する。フレーム番号から時間情報への変換には射影変換動画データ１８２のフレームレート値を用いればよい。また、前述の補正処理は、累積値のピークが観測されるタイミングと実際の着地タイミング（踵が着地したタイミング）とは若干のずれがあることが実験の結果判明したことから行うものである。本実施の形態では、前述の補正処理では、累積値のピークが観測されたタイミングから所定の補正値を減算することにより着地タイミングを算出している。

【0035】

図８に平滑化処理された最端部位置の歩行方向成分及び微分係数の累積値の経時的変化を示すグラフの一例を示す。図中、実線が平滑化処理された最端部位置の歩行方向成分を示し、点線が微分係数の累積値を示す。

【0036】

離地タイミング検出部１７０は、前記端部位置検出部１５０により検出された端部位置データ１８３を処理対象として、端部位置の経時的変化に基づき歩行者の着地タイミングを算出する。着地タイミング検出部１７０は、後で述べるように、各フレームの平面画像２２０に対して前記歩行方向前方の端部位置を歩行方向と直交する方向すなわちＸ軸方向における値としたとき、かかる値の重心位置（以下、単に「重心位置」とするが、脚の画像の位置を上記の方法で求めた、いうなれば脚画像輪郭の重心位置とでもいうべきものであって、被験者の体重の中心ではない）を算出し、前記重心位置が極値になるタイミングに基づき、歩行者の離地タイミングを算出する。

【0037】

離地タイミング検出部１７０は、図９に示すように、第１の平滑化処理部１７１と、重心位置検出部１７２と、第２の平滑化処理部１７３と、離地タイミング算出部１７４とを含む。

【0038】

第１の平滑化処理部１７１は、後段の重心位置検出処理の前処理として、端部位置データ１８３の歩行方向前方の端部位置について時間軸方向に平滑化処理を行う。本実施の形態では、第１の平滑化処理部１７１は時間軸方向の移動平均を算出する。より具体的には、第１の平滑化処理部１７１は、フレーム番号Ｎの端部位置の歩行方向成分について過去１７フレームの値を用いて移動平均算出処理を行い、端部位置データ１８３に記憶する。

【0039】

重心位置検出部１７２は、図１０に示すように、各フレームに対して、歩行方向と直交する方向すなわちＸ軸方向を横軸、歩行方向すなわちＹ軸方向を縦軸とし、当該フレームの端部位置データをプロットしたグラフにおいて、当該端部位置データがＸ軸方向に分布された分布データであると捉え、重心位置のＸ軸成分を算出する。この重心位置検出部１７２の処理により、重心位置のＸ軸成分の時系列データである重心位置データ１８５が得られる。重心位置検出部１７２は、算出した重心位置データ１８５を記憶部１８０に記憶する。

【0040】

第２の平滑化処理部１７３は、後段の離地タイミングの算出処理の前処理として、重心位置データ１８５について時間軸方向に平滑化処理を行う。本実施の形態では、第２の平滑化処理部１７３は重心位置データ１８５に対してバターワースフィルタを適用することにより平滑化処理を行う。

【0041】

離地タイミング算出部１７４は、重心位置データ１８５のピークすなわち極値（極大値及び極小値）を観測したフレーム番号を検出し、検出したフレーム番号を時間情報に変換するとともに所定の時間軸方向の補正を行うことにより離地タイミングを算出し、算出した離地タイミングを歩行タイミングデータ１８８として記憶部１８０に記憶する。フレーム番号から時間情報への変換には射影変換動画データ１８２のフレームレート値を用いればよい。また、前述の補正処理は、重心位置のピークが観測されるタイミングと実際の離地タイミング（つま先が離地したタイミング）とは若干のずれがあることが実験の結果判明したことから行うものである。本実施の形態では、前述の補正処理では、重心位置のピークが観測されたタイミングから所定の補正値を加算することにより離地タイミングを算出している。図１１に平滑化処理された重心位置の経時的変化を示すグラフの一例を示す。

【0042】

歩行特徴量算出部１９０は、歩行タイミングデータ１８８として記憶部１８０に記憶されている着地タイミング及び離地タイミングに基づき、種々の歩行特徴量を算出する。歩行特徴量算出部１９０は、特徴量の算出にあたって、着地タイミングや離地タイミングのほか、記憶部１８０に記憶されている各種データを参照することができる。算出する歩行特徴量としては、例えば、歩行周期、立脚期、遊脚期、両脚支持期が挙げられる。

【0043】

このような歩行タイミング検出装置１００によれば、感圧シートやデプスカメラを用いることなく、一般的なカメラによる撮像データに基づき歩行タイミングを検出できるので、利便性が高く且つ低コストなものとなる。

【0044】

以上、本発明の一実施の形態について詳述したが、本発明は上記実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよい。

【0045】

例えば、上記実施の形態では、歩行者１０を歩行方向の前方から撮像した歩行動画データに基づき歩行タイミングを検出していたが、歩行者１０を歩行方向の後方から撮像した歩行動画データに基づき歩行タイミングを検出してもよい。この場合、端部位置検出部では、動体抽出後の射影変換動画データの各フレームの平面画像に対して、当該平面画像に含まれる歩行者１０の投影部について当該画像における歩行方向後方の端部位置を検出する。そして、着地タイミングは、上記実施形態における離地タイミング検出ロジックにより検出することができる。同様に、離地タイミングは、上記実施形態における着地タイミング検出ロジックにより検出することができる。

【0046】

また、上記実施の形態では、歩行タイミング検出装置１００は、着地タイミングと離地タイミングの双方を検出していたが、いずれか一方のみを検出するようにしてもよい。

【0047】

また、上記実施の形態では、歩行タイミング検出装置１００とカメラ５０とを別装置として構成しているが、歩行タイミング検出装置１００にカメラ５０を内蔵させるようにしてもよい。

【0048】

また、上記実施の形態では、歩行通路１として矩形のものを用いたが、歩行通路１の形状は任意である。

【0049】

また、上記実施の形態では、カメラ５０で歩行者１０の歩行状態を撮影して歩行動画データを取得した後に、当該取得した歩行動画データに基づき歩行タイミングの検出処理を行っているが、カメラ５０で撮影しながらリアルタイムで歩行タイミングの検出処理を行うようにしてもよい。

【符号の説明】

【0050】

１…歩行通路
１０…歩行者
５０…カメラ
１００…歩行タイミング検出装置
１１０…歩行動画取得部
１２０…通路特定部
１３０…射影変換部
１４０…動体検出部
１５０…端部位置検出部
１６０…着地タイミング検出部
１７０…離地タイミング検出部
１９０…歩行特徴量算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】