特許 6241447 歩行者移動推定方法および推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6241447

(24)【登録日】2017年11月17日

(45)【発行日】2017年12月6日

(54)【発明の名称】歩行者移動推定方法および推定装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20171127BHJP

   B60R 21/00 20060101ALI20171127BHJP

【ＦＩ】

   G08G1/16 C

   B60R21/00 624C

【請求項の数】4

【全頁数】11

(21)【出願番号】特願2015-91067(P2015-91067)

(22)【出願日】2015年4月28日

(65)【公開番号】特開2016-207113(P2016-207113A)

(43)【公開日】2016年12月8日

【審査請求日】2016年3月23日

(73)【特許権者】

【識別番号】000003137

【氏名又は名称】マツダ株式会社

(74)【代理人】

【識別番号】100080768

【弁理士】

【氏名又は名称】村田 実

(72)【発明者】

【氏名】舟久保 晃

(72)【発明者】

【氏名】山崎 慎也

(72)【発明者】

【氏名】岩本 太郎

【審査官】 岩田 玲彦

(56)【参考文献】

【文献】 特開２０１４−０８５９２０（ＪＰ，Ａ）

【文献】 特表２０１１−５１３８６８（ＪＰ，Ａ）

【文献】 草地良規・山澤一誠・竹村治雄・横矢直和，動画像中の歩行者追跡による映像入れ換え合成，映像情報メディア学会誌Vol.52 No.9 1998，日本，社団法人映像情報メディア学会，１９９８年 ９月２０日，第５２巻 第９号，pp.1357-1365

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００−１／１６

Ｂ６０Ｒ ２１／００

(57)【特許請求の範囲】

【請求項1】

立ち止まっている歩行者が歩行開始してから所定時間経過後の将来位置を予測する歩行者移動推定方法において、
前記歩行者が第一歩を着地するまでの歩行加速度と該歩行者が第一歩を着地するまでの該歩行者の頭部の平均加速度との相関関係、及び前記歩行者が第一歩を着地した後の到達歩行速度と該歩行者が第一歩を着地するまでの股関節の平均角速度との相関関係に基づいて求められた予測用データであって、該歩行者が立ち止まっている位置からの移動距離を決定するものを予め準備し、
その上で、実行ステップとして、
自車両の前方を撮像して画像を生成する第１ステップと、
前記画像から立ち止まっている歩行者を検出する第２ステップと、
前記第２ステップで検出された立ち止まっている歩行者が第一歩を着地するまでの頭部の平均加速度を検出する第３ステップと、
前記第２ステップで検出された立ち止まっている歩行者が第一歩を着地するまでの股関節の平均角速度を検出する第４ステップと、
前記第３ステップで得られた平均加速度と前記第４ステップで得られた前記平均角速度とに基づいて、前記予測用データを利用することにより、前記所定時間経過後の歩行者の将来位置を予測する第５ステップと、
を備えていることを特徴とする歩行者移動推定方法。

【請求項2】

立ち止まっている歩行者が歩行開始してから所定時間経過後の将来位置を予測する歩行者移動推定方法であって、
自車両の前方を撮像して画像を生成する第１ステップと、
前記画像から立ち止まっている歩行者を検出する第２ステップと、
前記第２ステップで検出された立ち止まっている歩行者が第一歩を着地するまでの頭部の平均加速度を検出する第３ステップと、
前記第２ステップで検出された立ち止まっている歩行者が第一歩を着地するまでの股関節の平均角速度を検出する第４ステップと、
前記第３ステップで得られた平均加速度と前記第４ステップで得られた前記平均角速度とに基づいて、前記所定時間経過後の歩行者の将来位置を予測する第５ステップと、
を備え、
前記所定時間をｔ、検出された前記平均加速度をＡh、検出された前記平均角速度をωfとしたとき、前記第５ステップにおいて予測される将来位置が、次式によって算出される移動距離Ｌとして決定される（ただし、Ａ、Ｂ、Ｃ、Ｄはそれぞれ定数）、ことを特徴とする歩行者移動推定方法。

【数2】

【請求項3】

立ち止まっている歩行者が歩行開始してから所定時間経過後の将来位置を予測する歩行者移動推定装置であって、
自車両の前方を撮像して画像を生成する撮像手段と、
前記画像から立ち止まっている歩行者を検出する歩行者検出手段と、
前記歩行者検出手段で検出された立ち止まっている歩行者が第一歩を着地するまでの頭部の平均加速度を検出する平均加速度検出手段と、
前記歩行者検出手段で検出された立ち止まっている歩行者が第一歩を着地するまでの股関節の平均角速度を検出する平均角速度検出手段と、
前記歩行者が第一歩を着地するまでの歩行加速度と前記頭部の平均加速度との相関関係、及び前記歩行者が第一歩を着地した後の到達歩行速度と前記股関節の平均角速度との相関関係に基づいて求められた予測用データであって、該歩行者が立ち止まっている位置からの移動距離を決定するものを記憶する記憶手段と、
前記平均加速度検出手段で検出された平均加速度と前記平均角速度検出手段で検出された平均角速度とに基づいて、前記記憶手段が記憶する予測用データを利用することにより、前記所定時間経過後の歩行者の将来位置を予測する将来位置予測手段と、
を備えていることを特徴とする歩行者移動推定装置。

【請求項4】

立ち止まっている歩行者が歩行開始してから所定時間経過後の将来位置を予測する歩行者移動推定装置であって、
自車両の前方を撮像して画像を生成する撮像手段と、
前記画像から立ち止まっている歩行者を検出する歩行者検出手段と、
前記歩行者検出手段で検出された立ち止まっている歩行者が第一歩を着地するまでの頭部の平均加速度を検出する平均加速度検出手段と、
前記歩行者検出手段で検出された立ち止まっている歩行者が第一歩を着地するまでの股関節の平均角速度を検出する平均角速度検出手段と、
前記平均加速度検出手段で検出された平均加速度と前記平均角速度検出手段で検出された平均角速度とに基づいて、前記所定時間経過後の歩行者の将来位置を予測する将来位置予測手段と、
を備え、
前記所定時間をｔ、検出された前記平均加速度をＡh、検出された前記平均角速度をωfとしたとき、前記将来位置予測手段により予測される将来位置が、次式によって算出される移動距離Ｌとして決定される（ただし、Ａ、Ｂ、Ｃ、Ｄはそれぞれ定数）、ことを特徴とする歩行者移動推定装置。

【数2】

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、歩行者移動推定方法および推定装置に関するものである。

【背景技術】

【0002】

車両においては、安全上からの運転支援の一環として、カメラ等によって検出された車両前方の歩行者に対して衝突の可能性があると判断されたときは、警報器を作動させたり、自動的にブレーキを作動させたり、衝突回避のために自動的にハンドル操作する等のことが考えられている。特許文献１には、歩行者の意思が反映された膝部位置の移動速度および肩部位置の移動速度に基づいて、歩行者の横断開始の判定を精度よく行う技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−６６８１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、歩行者の中には、立ち止まっている状態から、自車両の進路に侵入する方向に向けて歩行を開始する場合がある。このような歩行を開始した歩行者が、所定時間内（例えば自動ブレーキを作動させるのに必要な余裕時間内）に、実際に自車両の進路に侵入するか否かを判断することは、例えば自動ブレーキ等の衝突回避の制御の実行・非実行の区別や、作動中の衝突回避の制御を中断する等の制御を行う上で重要である。しかしながら、歩行者が立ち止まっている状態から歩行を開始して、所定時間経過した時点ではどの位置に存在するかをあらあじめ精度よく予測できる技術は従来存在しなかった。

【0005】

本発明は以上のような事情を勘案してなされたもので、その第１の目的は、立ち止まっている歩行者が歩行を開始してから所定時間経過後における歩行者の将来位置を精度よく予測できるようにした歩行者移動推定方法を提供することにある。また、本発明の第２の目的は、上記歩行者移動推定方法を実現するための歩行者移動推定装置を提供することにある。

【課題を解決するための手段】

【0006】

前記目的を達成するため、本発明にあっては、基本的に、立ち止まっているいる歩行者が歩行を開始したときの挙動を観察した結果として、次のような知見に基づいてなされたものである。すなわち、立ち止まっているいる歩行者が歩行を開始してその第一歩を着地するまでの股関節の平均角速度が、歩行者が行おうとしている（到達しようとしている）到達歩行速度と大きな相関関係を有すること、および上記第一歩を着地するまでの頭部の平均加速度が上記到達歩行速度になるまでの歩行加速度と大きな相関関係を有すること、という知見に基づいてなされたものである。

【0007】

具体的には、本発明方法にあっては、次のような解決手法を採択してある。すなわち請求項１に記載のように、
立ち止まっている歩行者が歩行開始してから所定時間経過後の将来位置を予測する歩行者移動推定方法において、
前記歩行者が第一歩を着地するまでの歩行加速度と該歩行者が第一歩を着地するまでの該歩行者の頭部の平均加速度との相関関係、及び前記歩行者が第一歩を着地した後の到達歩行速度と該歩行者が第一歩を着地するまでの股関節の平均角速度との相関関係に基づいて求められた予測用データであって、該歩行者が立ち止まっている位置からの移動距離を決定するものを予め準備し、
その上で、実行ステップとして、
自車両の前方を撮像して画像を生成する第１ステップと、
前記画像から立ち止まっている歩行者を検出する第２ステップと、
前記第２ステップで検出された立ち止まっている歩行者が第一歩を着地するまでの頭部の平均加速度を検出する第３ステップと、
前記第２ステップで検出された立ち止まっている歩行者が第一歩を着地するまでの股関節の平均角速度を検出する第４ステップと、
前記第３ステップで得られた平均加速度と前記第４ステップで得られた前記平均角速度とに基づいて、前記予測用データを利用することにより、前記所定時間経過後の歩行者の将来位置を予測する第５ステップと、
を備えているようにしてある。上記解決手法によれば、所定時間経過（例えば２秒あるいは３秒）後の歩行者の移動位置を精度よく推定することができる。

【0008】

また、本発明方法にあっては、次のような解決手法も採択している。すなわち請求項２に記載のように、
立ち止まっている歩行者が歩行開始してから所定時間経過後の将来位置を予測する歩行者移動推定方法であって、
自車両の前方を撮像して画像を生成する第１ステップと、
前記画像から立ち止まっている歩行者を検出する第２ステップと、
前記第２ステップで検出された立ち止まっている歩行者が第一歩を着地するまでの頭部の平均加速度を検出する第３ステップと、
前記第２ステップで検出された立ち止まっている歩行者が第一歩を着地するまでの股関節の平均角速度を検出する第４ステップと、
前記第３ステップで得られた平均加速度と前記第４ステップで得られた前記平均角速度とに基づいて、前記所定時間経過後の歩行者の将来位置を予測する第５ステップと、
を備え、
前記所定時間をｔ、検出された前記平均加速度をＡh、検出された前記平均角速度をωfとしたとき、前記第５ステップにおいて予測される将来位置が、次式によって算出される移動距離Ｌとして決定される（ただし、Ａ、Ｂ、Ｃ、Ｄはそれぞれ定数）、
ようにしてある。

【0009】

【数2】

この場合、推定される歩行者の移動位置を、立ち止まっている位置からの移動距離として精度よく推定することができる。また、この移動距離を算出するための具体的な計算式を提供することができる。

【0010】

前記目的を達成するため、本発明装置にあっては次のような解決手法を採択してある。すなわち、請求項３に記載のように、
立ち止まっている歩行者が歩行開始してから所定時間経過後の将来位置を予測する歩行者移動推定装置であって、
自車両の前方を撮像して画像を生成する撮像手段と、
前記画像から立ち止まっている歩行者を検出する歩行者検出手段と、
前記歩行者検出手段で検出された立ち止まっている歩行者が第一歩を着地するまでの頭部の平均加速度を検出する平均加速度検出手段と、
前記歩行者検出手段で検出された立ち止まっている歩行者が第一歩を着地するまでの股関節の平均角速度を検出する平均角速度検出手段と、
前記歩行者が第一歩を着地するまでの歩行加速度と前記頭部の平均加速度との相関関係、及び前記歩行者が第一歩を着地した後の到達歩行速度と前記股関節の平均角速度との相関関係に基づいて求められた予測用データであって、該歩行者が立ち止まっている位置からの移動距離を決定するものを記憶する記憶手段と、
前記平均加速度検出手段で検出された平均加速度と前記平均角速度検出手段で検出された平均角速度とに基づいて、前記記憶手段が記憶する予測用データを利用することにより、前記所定時間経過後の歩行者の将来位置を予測する将来位置予測手段と、
を備えているようにしてある。上記解決手法によれば、請求項１に記載の方法を実行するための装置が提供される。

【0011】

また、本発明装置にあっては、次のような解決手法も採択している。すなわち請求項４に記載のように、
立ち止まっている歩行者が歩行開始してから所定時間経過後の将来位置を予測する歩行者移動推定装置であって、
自車両の前方を撮像して画像を生成する撮像手段と、
前記画像から立ち止まっている歩行者を検出する歩行者検出手段と、
前記歩行者検出手段で検出された立ち止まっている歩行者が第一歩を着地するまでの頭部の平均加速度を検出する平均加速度検出手段と、
前記歩行者検出手段で検出された立ち止まっている歩行者が第一歩を着地するまでの股関節の平均角速度を検出する平均角速度検出手段と、
前記平均加速度検出手段で検出された平均加速度と前記平均角速度検出手段で検出された平均角速度とに基づいて、前記所定時間経過後の歩行者の将来位置を予測する将来位置予測手段と、
を備え、
前記所定時間をｔ、検出された前記平均加速度をＡh、検出された前記平均角速度をωfとしたとき、前記将来位置予測手段により予測される将来位置が、次式によって算出される移動距離Ｌとして決定される（ただし、Ａ、Ｂ、Ｃ、Ｄはそれぞれ定数）、
ようにしてある。

【0012】

【数2】

この場合、請求項２に対応した方法を実行するための装置が提供される。

【発明の効果】

【0013】

本発明によれば、立ち止まっている歩行者が歩行を開始してから所定時間経過後における歩行者の将来位置を精度よく予測することができる。

【図面の簡単な説明】

【0014】

【図1】本発明による歩行者移動推定装置の一例を示す全体系統図。

【図2】立ち止まっている歩行者が歩行開始して第一歩が着地された状態を示す図。

【図3】頭部の平均加速度と過渡期の加速度との相関関係を示す図。

【図4】股関節の角速度と過渡後の到達速度との相関関係を示す図。

【図5】所定時間経過後の移動距離を到達速度と過渡期の加速度との関係でもって示す図。

【図6】本発明の制御例を示すフローチャート。

【発明を実施するための形態】

【0015】

図１は、車両としての自動車に搭載された歩行者移動推定装置Ｓの一例を示すものである。図中１は、車両前方を撮像するカメラであり、特に前方の歩行者を検出するためのものとなっている。２は、歩行者検出部であり、カメラ１で撮像された画像から、歩行者のうち特に立ち止まっているいる歩行者を検出する。

【0016】

図１中、３は、頭部の平均加速度検出部であり、立ち止まっている歩行者が、歩行開始して第一歩を着地するまでの間の過渡期での歩行者頭部の平均加速度を検出するものである。具体的には、図２において、立ち止まっている歩行者Ｐが、歩行開始した際に、その頭部が歩行方向へと移動されるが（頭部の移動が、撮像された画像の変化にもとづいて検出される）、平均加速度検出部４は、第一歩を着地するまでの間の頭部の歩行方向（併進方向）への平均加速度をＡｈを検出する。

【0017】

図１中、４は、股関節の平均角速度検出部であり、歩行開始して第一歩を着地するまでの間の過渡期での歩行者の股関節の平均角速度を検出するものである。具体的には、
具体的には、図２において、立ち止まっている歩行者Ｐが、歩行開始した際に、その股関節が動かされることになるが（股関節の動きが、撮像された画像の変化にもとづいて検出される）、平均角速度検出部５は、第一歩を着地するまでの間の股関節の平均角速度をωｆとして検出する。

【0018】

図１中、５は、将来位置予測部であり、前記各検出部３、４で検出された平均加速度Ａｈと平均角速度ωｆとを、記憶部６に記憶されている後述する予測式に当てはめて、立ち止まっている歩行者が所定時間経過後にどの位置にいるかを予測するものである。この将来位置予測部５での予測結果は、歩行者が立ち止まっている位置からの移動距離として算出される。そして、将来位置予測部５で予測された歩行者の所定時間経過後の将来位置（移動距離）は、衝突回避の制御（例えば自動ブレーキ制御や自動操舵制御）用として出力される。

【0019】

ここで、多くの被験者について、立ち止まっている状態から歩行を開始させて、種々異なる到達速度となるように歩行実験を行ない、このときの被験者の挙動を観察した結果、次のような結果が得られた。すなわち、図３に示すように、頭部の平均加速度Ａｈが、過渡期の歩行加速度と大きな相関関係を有する、という結果が得られた。具体的には、Ｘ−Ｙ軸座標系において、Ｘ軸方向に平均加速度Ａｈを、Ｙ軸方向に過渡期での加速度（歩行加速度）を設定したとき、「過渡期の加速度ｙ＝０．７９４４ｘ（＝Ａｈ）＋０．０９３８」という一次関数でもって表される十分な相関関係を有するという結果が得られた。

【0020】

同様に、図４に示すように、股関節の平均角速度ωｆが、過渡後の到達速度（到達歩行速度）と大きな相関関係を有する、という結果が得られた。具体的には、Ｘ−Ｙ軸座標系において、Ｘ軸方向に平均角速度ωｆを、Ｙ軸方向に過渡後の到達速度を設定したとき、「過渡後の到達歩行速度ｙ＝０．０１４２ｘ（＝ωｆ）＋０．５９８９」という一次関数でもって表される十分な相関関係を有するという結果が得られた。

【0021】

一方、前述した多数の被験者による実験において、第一歩を着地するまでの頭部の進行方向への平均加速度と過渡後の到達速度との相関関係、第一歩を着地するまでの頭部の進行方向への平均速度と過渡期の加速度との相関関係、第一歩を着地するまでの頭部の進行方向への平均速度と過渡後の到達速度との相関関係、第一歩を着地した時点における頭部の進行方向への速度と過渡期の加速度との相関関係、第一歩を着地した時点における頭部の進行方向への速度と過渡後の到達速度との相関関係についても検証したが、いずれも十分な相関関係は得られなかった。また、股関節の動きについては、第一歩を着地までの平均角速度と過渡期の加速度との相関関係、第一歩目の平均振り出し速度（脚部の振り出し速度）と過渡期の加速度との相関関係、第一歩目の平均振り出し速度（脚部の振り出し速度）と過渡後の到達速度との相関関係についても検証したが、いずれも十分な相関関係は得られなかった
次に、図５において、Ｘ軸に時間ｔを、Ｙ軸に歩行速度Ｖを設定した場合に、歩行開始から所定時間ｔ１を経過した時点での歩行者の移動距離Ｌは、図５におけるハッチングを付した面積でもって示されることになる。図５において、Ｖａが、過渡後の到達速度であり（Ｖａ＝０．０１４２ωｆ＋０．５９８９）、この到達速度Ｖａに到達するまでの早さを決定するのが、到達速度Ｖａになるまでの傾斜角度Ａａに対応した過渡期の歩行加速度Ａｈとなる。そして、図５においてハッチングを付した部分の面積（移動距離Ｌ）は、Ａｈとωｆと経過時間ｔを用いて、次式（１）で示されることになる。経過時間ｔとして、適宜の所定時間ｔ１（例えば２秒、３秒等）を代入することにより、任意のタイミングでの移動距離Ｌがすみやかに算出（予測）されることになる。

【0022】

【数1】

前述した式（１）での各数値を定数符号となるＡ〜Ｄを用いて示すと、次式（２）で示される。

【0023】

【数2】

歩行開始からの所定経過後のタイミングとして、２秒後と３秒後について、それぞれ上記式（１）を用いて算出された移動距離と、多数の被験者による実験結果で得られた移動距離との乖離は、２秒後で最大０．４ｍであり、３秒後で最大０．７ｍ程度であった。この程度の乖離であれば、例えば時速６０ｋｍ／ｈで走行している状態で、例えば自動ブレーキを利用し歩行者への衝突回避を行うには十分である。つまり、本発明による歩行者の将来位置の予測結果は、その精度が十分に確保されたものとなる。

【0024】

次に、前述した所定時間経過後の歩行者の移動距離を決定する制御例について、図６のフローチャートを参照しつつ説明する。なお、以下の説明でＱはステップを示す。まず、Ｑ１において、車両前方の画像がカメラ１を利用して取得される。この後、Ｑ２において、得られた画像から歩行者が抽出される。

【0025】

Ｑ２の後、Ｑ３において、抽出された歩行者のうち、立ち止まっている歩行者が存在するか否かが判別される。このＱ３の判別でＹＥＳのときは、Ｑ４において、歩行開始から第一歩を着地するまでの頭部の平均加速度Ａｈが検出される。次いでＱ５において、歩行開始から第一歩を着地するまでの歩行者の股関節の平均角速度ωｆが検出される。

【0026】

Ｑ５の後、Ｑ６において、検出された平均加速度Ａｈと平均角速度ωｆとを前述した式（１）にあてはめて、所定時間（例えば３秒）経過後の歩行者の移動距離（将来予測位置）が算出される。この後、Ｑ７において、Ｑ６で算出された移動距離が、歩行者への衝突回避の制御用として出力される。なお、前記Ｑ３の判別でＮＯのときは、そのままリーンされる。

【0027】

以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。

【産業上の利用可能性】

【0028】

本発明は、立ち止まっている歩行者の将来位置を精度よく予測することができ、歩行者への衝突回避等の制御に利用して好適である。

【符号の説明】

【0029】

Ａｈ：第一歩を着地までの頭部の平均加速度
ωｆ：第一歩を着地までの股関節の平均角速度
Ｐ：歩行者
Ｓ：歩行者移動推定装置
１：カメラ（撮像手段）
２：歩行者検出部
３：平均加速度検出部
４：平均角速度検出部
５：将来位置予測部
６：記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】