特許 6100635 移動体検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6100635

(24)【登録日】2017年3月3日

(45)【発行日】2017年3月22日

(54)【発明の名称】移動体検出装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20170313BHJP

   H04N 7/18 20060101ALI20170313BHJP

   G08G 1/16 20060101ALI20170313BHJP

【ＦＩ】

   G06T7/20 B

   G06T7/20 200Z

   H04N7/18 J

   G08G1/16 C

【請求項の数】16

【全頁数】22

(21)【出願番号】特願2013-141690(P2013-141690)

(22)【出願日】2013年7月5日

(65)【公開番号】特開2014-135039(P2014-135039A)

(43)【公開日】2014年7月24日

【審査請求日】2015年9月2日

(31)【優先権主張番号】特願2012-272455(P2012-272455)

(32)【優先日】2012年12月13日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際特許業務法人

(72)【発明者】

【氏名】後藤 邦博

(72)【発明者】

【氏名】佐藤 育郎

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２０１３−０６９０４５（ＪＰ，Ａ）

【文献】 特開２０１０−１２８９１９（ＪＰ，Ａ）

【文献】 特開２００９−１５７５８１（ＪＰ，Ａ）

【文献】 特開２００７−２５７１４８（ＪＰ，Ａ）

【文献】 坂 貴志 他，オプティカルフロー拘束方程式による物体遮蔽判定法に関する研究，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，１９９７年 ３月 ７日，第96巻 第564号，pp.7-13

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

移動体の検出対象となる領域を繰り返し撮影する撮像部（１１）と、
前記移動体の特徴となる画像パターンを辞書として記憶する辞書記憶部（１２）と、
前記撮像部にて繰り返し撮影される画像に基づき、画像中での物体の位置を示す特徴点を抽出する抽出手段（１０ａ）と、
前記抽出手段にて抽出される時間的に前後する画像の前記特徴点に基づき、当該特徴点のオプティカルフローを算出する算出手段（１０ｂ）と、
前記算出手段にて算出される前記オプティカルフローに基づき、前記移動体における特徴点をグループ化し、グループ化された特徴点を包含する基準矩形を設定する矩形設定手段（１０ｃ）と、
前記矩形設定手段にて設定される前記基準矩形を包含する識別領域であって、前記移動体の領域を包含するような識別領域を設定する領域設定手段（１０ｄ）と、
前記領域設定手段にて設定される前記識別領域に対し、前記辞書記憶部に記憶された辞書を用いて前記移動体を識別する識別手段（１０ｅ）と、
前記識別手段による識別の結果、前記辞書との一致度が高い画像領域に基づいて前記移動体の領域を特定する特定手段（１０ｆ）と、
を備え、
前記領域設定手段は、前記基準矩形に含まれる前記特徴点の距離及び横方向の分散度合いに基づき、前記識別領域の横幅を決定すること（Ｓ１４２，Ｓ１４３，Ｓ１４４）
を特徴とする移動体検出装置（１）。

【請求項2】

請求項１に記載の移動体検出装置において、
前記辞書記憶部には、前記移動体の各部位の特徴を示す画像パターンである複数の辞書が記憶されており、
前記識別手段は、前記移動体の各部位に対応する領域を特定し、当該領域における特徴点のオプティカルフローに基づき、当該領域が他の物体に隠れているか否かに基づき、選択的に前記辞書を用いること（Ｓ１５２，Ｓ１５３，Ｓ１５４）
を特徴とする移動体検出装置。

【請求項3】

移動体の検出対象となる領域を繰り返し撮影する撮像部（１１）と、
前記移動体の特徴となる画像パターンを辞書として記憶する辞書記憶部（１２）と、
前記撮像部にて繰り返し撮影される画像に基づき、画像中での物体の位置を示す特徴点を抽出する抽出手段（１０ａ）と、
前記抽出手段にて抽出される時間的に前後する画像の前記特徴点に基づき、当該特徴点のオプティカルフローを算出する算出手段（１０ｂ）と、
前記算出手段にて算出される前記オプティカルフローに基づき、前記移動体における特徴点をグループ化し、グループ化された特徴点を包含する基準矩形を設定する矩形設定手段（１０ｃ）と、
前記矩形設定手段にて設定される前記基準矩形を包含する識別領域であって、前記移動体の領域を包含するような識別領域を設定する領域設定手段（１０ｄ）と、
前記領域設定手段にて設定される前記識別領域に対し、前記辞書記憶部に記憶された辞書を用いて前記移動体を識別する識別手段（１０ｅ）と、
前記識別手段による識別の結果、前記辞書との一致度が高い画像領域に基づいて前記移動体の領域を特定する特定手段（１０ｆ）と、
を備え、
前記辞書記憶部には、前記移動体の各部位の特徴を示す画像パターンである複数の辞書が記憶されており、
前記識別手段は、前記移動体の各部位に対応する領域を特定し、当該領域における特徴点のオプティカルフローに基づき、当該領域が他の物体に隠れているか否かに基づき、選択的に前記辞書を用いること（Ｓ１５２，Ｓ１５３，Ｓ１５４）
を特徴とする移動体検出装置（１）。

【請求項4】

移動体の検出対象となる領域を繰り返し撮影する撮像部（１１）と、
前記移動体の特徴となる画像パターンを辞書として記憶する辞書記憶部（１２）と、
前記撮像部にて繰り返し撮影される画像に基づき、画像中での物体の位置を示す特徴点を抽出する抽出手段（１０ａ）と、
前記抽出手段にて抽出される時間的に前後する画像の前記特徴点に基づき、当該特徴点のオプティカルフローを算出する算出手段（１０ｂ）と、
前記算出手段にて算出される前記オプティカルフローに基づき、前記移動体における特徴点をグループ化し、グループ化された特徴点を包含する基準矩形を設定する矩形設定手段（１０ｃ）と、
前記矩形設定手段にて設定される前記基準矩形を包含する識別領域であって、前記移動体の領域を包含するような識別領域を設定する領域設定手段（１０ｄ）と、
前記領域設定手段にて設定される前記識別領域に対し、前記辞書記憶部に記憶された辞書を用いて前記移動体を識別する識別手段（１０ｅ）と、
前記識別手段による識別の結果、前記辞書との一致度が高い画像領域に基づいて前記移動体の領域を特定する特定手段（１０ｆ）と、
を備え、
前記移動体は、歩行者であり、
前記辞書記憶部には、歩行者の上半身の特徴を示す画像パターンである上半身辞書、及び、歩行者の全身の特徴を示す画像パターンである全身辞書が記憶されており、
前記識別手段は、歩行者の脚部領域を特定し、当該脚部領域における特徴点のオプティカルフローに基づき、当該脚部領域が他の物体に隠れている場合には前記上半身辞書を用い、前記脚部領域が隠れていない場合には前記全身辞書を用いること（Ｓ１５１〜Ｓ１５４）
を特徴とする移動体検出装置（１）。

【請求項5】

請求項４に記載の移動体検出装置において、
前記辞書記憶部には、歩行者の横方向の半身の特徴を示す画像パターンである横半身辞書、及び、歩行者の全身の特徴を示す画像パターンである全身辞書が記憶されており、
前記識別手段は、特徴点のオプティカルフローに基づき、歩行者の横方向の半身が他の物体に隠れている場合には前記横半身辞書を用い、他の物体に隠れていない場合には前記全身辞書を用いること（Ｓ５００〜Ｓ５０２）
を特徴とする移動体検出装置。

【請求項6】

移動体の検出対象となる領域を繰り返し撮影する撮像部（１１）と、
前記移動体の特徴となる画像パターンを辞書として記憶する辞書記憶部（１２）と、
前記撮像部にて繰り返し撮影される画像に基づき、画像中での物体の位置を示す特徴点を抽出する抽出手段（１０ａ）と、
前記抽出手段にて抽出される時間的に前後する画像の前記特徴点に基づき、当該特徴点のオプティカルフローを算出する算出手段（１０ｂ）と、
前記算出手段にて算出される前記オプティカルフローに基づき、前記移動体における特徴点をグループ化し、グループ化された特徴点を包含する基準矩形を設定する矩形設定手段（１０ｃ）と、
前記矩形設定手段にて設定される前記基準矩形を包含する識別領域であって、前記移動体の領域を包含するような識別領域を設定する領域設定手段（１０ｄ）と、
前記領域設定手段にて設定される前記識別領域に対し、前記辞書記憶部に記憶された辞書を用いて前記移動体を識別する識別手段（１０ｅ）と、
前記識別手段による識別の結果、前記辞書との一致度が高い画像領域に基づいて前記移動体の領域を特定する特定手段（１０ｆ）と、
を備え、
前記移動体は、歩行者であり、
前記辞書記憶部には、歩行者の横方向の半身の特徴を示す画像パターンである横半身辞書、及び、歩行者の全身の特徴を示す画像パターンである全身辞書が記憶されており、
前記識別手段は、特徴点のオプティカルフローに基づき、歩行者の横方向の半身が他の物体に隠れている場合には前記横半身辞書を用い、他の物体に隠れていない場合には前記全身辞書を用いること（Ｓ５００〜Ｓ５０２）
を特徴とする移動体検出装置（１）。

【請求項7】

請求項４〜６の何れか一項に記載の移動体検出装置において、
前記辞書記憶部には、右方向へ移動する歩行者の特徴を示す画像パターンである右向き辞書、及び、左方向へ移動する歩行者の特徴を示す画像パターンである左向き辞書が記憶されており、
前記識別手段は、歩行者の移動方向を特定し、当該移動方向が右方向への移動である場合には前記右向き辞書を用い、前記移動方向が左方向への移動である場合には前記左向き辞書を用いること
を特徴とする移動体検出装置。

【請求項8】

移動体の検出対象となる領域を繰り返し撮影する撮像部（１１）と、
前記移動体の特徴となる画像パターンを辞書として記憶する辞書記憶部（１２）と、
前記撮像部にて繰り返し撮影される画像に基づき、画像中での物体の位置を示す特徴点を抽出する抽出手段（１０ａ）と、
前記抽出手段にて抽出される時間的に前後する画像の前記特徴点に基づき、当該特徴点のオプティカルフローを算出する算出手段（１０ｂ）と、
前記算出手段にて算出される前記オプティカルフローに基づき、前記移動体における特徴点をグループ化し、グループ化された特徴点を包含する基準矩形を設定する矩形設定手段（１０ｃ）と、
前記矩形設定手段にて設定される前記基準矩形を包含する識別領域であって、前記移動体の領域を包含するような識別領域を設定する領域設定手段（１０ｄ）と、
前記領域設定手段にて設定される前記識別領域に対し、前記辞書記憶部に記憶された辞書を用いて前記移動体を識別する識別手段（１０ｅ）と、
前記識別手段による識別の結果、前記辞書との一致度が高い画像領域に基づいて前記移動体の領域を特定する特定手段（１０ｆ）と、
を備え、
前記撮像部の取り付け位置と前記グループ化された特徴点までの距離に基づき、前記移動体の領域の特定に関する一連の処理を中断する撮像距離中断手段を更に備えていること
を特徴とする移動体検出装置（１）。

【請求項9】

請求項８に記載の移動体検出装置において、
前記矩形設定手段にて設定される前記基準矩形に含まれる前記グループ化された特徴点の数及び位置のうち少なくとも一方に基づき、前記移動体の領域の特定に関する一連の処理を中断する特徴点中断手段を備えていること
を特徴とする移動体検出装置。

【請求項10】

請求項８または９に記載の移動体検出装置において、
前記矩形設定手段にて設定される前記基準矩形に含まれる前記グループ化された特徴点に基づき、前記特定手段による一致度判定のための閾値を通常時よりも低く設定する判定閾値設定手段を備えていること
を特徴とする移動体検出装置。

【請求項11】

移動体の検出対象となる領域を繰り返し撮影する撮像部（１１）と、
前記移動体の特徴となる画像パターンを辞書として記憶する辞書記憶部（１２）と、
前記撮像部にて繰り返し撮影される画像に基づき、画像中での物体の位置を示す特徴点を抽出する抽出手段（１０ａ）と、
前記抽出手段にて抽出される時間的に前後する画像の前記特徴点に基づき、当該特徴点のオプティカルフローを算出する算出手段（１０ｂ）と、
前記算出手段にて算出される前記オプティカルフローに基づき、前記移動体における特徴点をグループ化し、グループ化された特徴点を包含する基準矩形を設定する矩形設定手段（１０ｃ）と、
前記矩形設定手段にて設定される前記基準矩形を包含する識別領域であって、前記移動体の領域を包含するような識別領域を設定する領域設定手段（１０ｄ）と、
前記領域設定手段にて設定される前記識別領域に対し、前記辞書記憶部に記憶された辞書を用いて前記移動体を識別する識別手段（１０ｅ）と、
前記識別手段による識別の結果、前記辞書との一致度が高い画像領域に基づいて前記移動体の領域を特定する特定手段（１０ｆ）と、
を備え、
前記矩形設定手段にて設定される前記基準矩形に含まれる前記グループ化された特徴点の数及び位置のうち少なくとも一方に基づき、前記移動体の領域の特定に関する一連の処理を中断する特徴点中断手段を更に備えていること
を特徴とする移動体検出装置（１）。

【請求項12】

請求項１１に記載の移動体検出装置において、
前記矩形設定手段にて設定される前記基準矩形に含まれる前記グループ化された特徴点に基づき、前記特定手段による一致度判定のための閾値を通常時よりも低く設定する判定閾値設定手段を備えていること
を特徴とする移動体検出装置。

【請求項13】

移動体の検出対象となる領域を繰り返し撮影する撮像部（１１）と、
前記移動体の特徴となる画像パターンを辞書として記憶する辞書記憶部（１２）と、
前記撮像部にて繰り返し撮影される画像に基づき、画像中での物体の位置を示す特徴点を抽出する抽出手段（１０ａ）と、
前記抽出手段にて抽出される時間的に前後する画像の前記特徴点に基づき、当該特徴点のオプティカルフローを算出する算出手段（１０ｂ）と、
前記算出手段にて算出される前記オプティカルフローに基づき、前記移動体における特徴点をグループ化し、グループ化された特徴点を包含する基準矩形を設定する矩形設定手段（１０ｃ）と、
前記矩形設定手段にて設定される前記基準矩形を包含する識別領域であって、前記移動体の領域を包含するような識別領域を設定する領域設定手段（１０ｄ）と、
前記領域設定手段にて設定される前記識別領域に対し、前記辞書記憶部に記憶された辞書を用いて前記移動体を識別する識別手段（１０ｅ）と、
前記識別手段による識別の結果、前記辞書との一致度が高い画像領域に基づいて前記移動体の領域を特定する特定手段（１０ｆ）と、
を備え、
前記矩形設定手段にて設定される前記基準矩形に含まれる前記グループ化された特徴点に基づき、前記特定手段による一致度判定のための閾値を通常時よりも低く設定する判定閾値設定手段を更に備えていること
を特徴とする移動体検出装置（１）。

【請求項14】

請求項１〜１３の何れか一項に記載の移動体検出装置において、
前記矩形設定手段は、前記グループ化された特徴点までの距離、及び、仮想的に設定される前記移動体の高さに基づき、前記基準矩形の縦幅を決定すること（Ｓ１４１）
を特徴とする移動体検出装置。

【請求項15】

請求項１〜１４の何れか一項に記載の移動体検出装置において、
前記矩形設定手段は、前記基準矩形の縦幅に基づき、前記基準矩形の横幅を決定すること（Ｓ１４１）
を特徴とする移動体検出装置。

【請求項16】

請求項１〜１５の何れか一項に記載の移動体検出装置において、
前記領域設定手段は、前記識別領域の縦幅を、前記基準矩形の縦幅よりも大きく設定すること（Ｓ１４３，Ｓ１４４）
を特徴とする移動体検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影した画像から歩行者などの移動体を検出する移動体検出装置に関する。

【背景技術】

【0002】

従来、カメラ等によって撮影された画像から歩行者などの移動体を検出する技術が提案されている。この種の技術に、オプティカルフローを用いたものがある。オプティカルフローとは、カメラ等によって時系列に得られる画像中で、物体の動きをベクトルで表したものである。

【0003】

具体的には画像の中で特徴点を抽出し、時間的に前後する画像で当該特徴点の位置を特定すれば、特徴点毎の動きベクトルが得られる。本明細書では、動きベクトルを「オプティカルフロー」と記述する。

【0004】

このオプティカルフローを用い、歩行者を検出する歩行者検出装置が提案されている（例えば、特許文献１参照）。この装置では、オプティカルフローが揃った領域を移動体領域と特定し、移動体領域の下部に、当該移動体領域のサイズに応じたサイズの下部領域を設定し、当該下部領域が歩行者の脚部に相当するか否かを判断して、歩行者の全身領域を特定する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００９−１５７５８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記特許文献１のようにオプティカルフローが揃った領域を即座に移動体領域とすると、オプティカルフローに含まれるノイズから、移動体を誤検出してしまう虞がある。また、下部領域が脚部に相当するか否かの判断にあたり、当該下部領域が例えば駐車車両の影になって隠れていたような場合、脚部とは判定されない虞があり、自車にとって危険である脚部の隠れた歩行者の検出が行えないことが懸念される。

【0007】

本発明は、上述した課題を解決するためになされたものであり、その目的は、移動体の一部が画像中で隠れているような場合であっても、当該移動体を確実に検出することが可能な移動体検出装置を提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するためになされた移動体検出装置（１）では、撮像部（１１）が、移動体の検出対象となる領域を繰り返し撮影する。撮像部は、例えば車両の前方を撮影する単眼カメラとして具現化される。もちろん、車両の走行を考えた場合には車両の前方を撮影するのが現実的であるが、これに限られるものではない。

【0009】

また、辞書記憶部（１２）には、移動体の特徴となる画像パターンが辞書として記憶されている。この辞書は、数千枚というような画像データから作成されるものであり、この辞書による画像走査を行うことで移動体を識別可能となる。

【0010】

このとき、抽出手段（１０ａ）は、撮像部にて繰り返し撮影される画像に基づき、画像中での物体の位置を示す特徴点を抽出する。特徴点は、例えば画像中の輝度の違いによって検出される物体などの輪郭のうちその接線方向が急激に変わっている点として抽出することが考えられる。

【0011】

また、算出手段（１０ｂ）は、抽出手段にて抽出される時間的に前後する画像の特徴点に基づき、当該特徴点のオプティカルフローを算出する。オプティカルフローは、上述したように特徴点の動きベクトルであり、方向及び画像中での長さを有している。

【0012】

ここで特に本発明では、矩形設定手段（１０ｃ）が、算出手段にて算出されるオプティカルフローに基づき、移動体における特徴点をグループ化し、グループ化された特徴点を包含する基準矩形を設定する。移動体における特徴点は、そのオプティカルフローが、その移動体に対応する消失点の近傍に収束する。そこで、ある消失点の近傍にオプティカルフローが収束する特徴点をグループ化する。

【0013】

領域設定手段（１０ｄ）は、矩形設定手段にて設定される基準矩形を包含する識別領域を設定する。この識別領域は、移動体の領域を包含するような領域である。基準矩形を包含するとは、基準矩形から移動体がはみ出す可能性を考慮し、それよりも大きな識別領域を設定するというものである。なお、基準矩形と同一の大きさの領域を識別領域とする場合を含む。

【0014】

これに対し、識別手段（１０ｅ）は、領域設定手段にて設定される識別領域に対し、辞書記憶部に記憶された辞書を用いて移動体を識別する。つまり、移動体の誤検出を防止するという意味で、辞書による識別領域の走査を行い、移動体を識別するのである。

【0015】

そして、識別手段による識別の結果、特定手段（１０ｆ）によって、辞書との一致度が高い画像領域に基づいて移動体の領域が特定される。
このように本発明では、移動体を包含するような識別領域を設定し、当該識別領域に対し、移動体の特徴を示す辞書を用いて、移動体を識別するようにした。このようにすれば、移動体の一部が画像中で隠れているような場合であっても、当該移動体を確実に検出することができる。

【0016】

なお、移動体としての歩行者を検出する場合、例えば脚部の隠れた歩行者を検出する場合など、その効果が際立つ。そこで以下では、移動体としての歩行者を例に挙げた実施形態を説明する。もちろん、歩行者に限定されるわけではなく、車両や動物などの種々の移動体検出に適用できる。

【図面の簡単な説明】

【0017】

【図1】歩行者検出装置の概略構成を示すブロック図である。

【図2】歩行者検出処理を示すフローチャートである。

【図3】歩行者検出処理の前半部分を具体化する説明図である。

【図4】歩行者検出処理中の識別領域設定処理の詳細を示すフローチャートである。

【図5】識別領域設定処理中の基準矩形の設定を示す説明図である。

【図6】識別領域設定処理中の識別領域の設定を示す説明図である。

【図7】識別領域設定処理中の識別領域の設定を示す説明図である。

【図8】歩行者検出処理中の歩行者識別処理の詳細を示すフローチャートである。

【図9】歩行者検出処理中の辞書の選択を示す説明図である。

【図10】第２実施形態の識別領域設定処理の詳細を示すフローチャートである。

【図11】（ａ）はカメラ位置判断処理を示すフローチャートであり、（ｂ）はカメラ位置判断処理を具体的に示す説明図である。

【図12】フロー群判断処理の詳細を示すフローチャートである。

【図13】フロー群判断処理を具体的に示す説明図である。

【図14】第２実施形態の歩行者識別処理を示すフローチャートである。

【図15】判定閾値設定処理の詳細を示すフローチャートである。

【図16】判定閾値設定処理を具体的に示す説明図である。

【図17】横方向判定処理の詳細を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態を図面に基づいて説明する。
［第１実施形態］
図１に示す歩行者検出装置１は、制御部１０を中心に構成されており、この制御部１０には、撮像部１１、辞書記憶部１２、及び、報知部１３が接続されている。

【0019】

制御部１０は、いわゆるコンピュータであり、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ及びこれらを接続するバスラインを含む。この制御部１０が、後述するように、歩行者検出処理を実行する。

【0020】

撮像部１１は、車両の前方を撮影する単眼カメラ及び単眼カメラにて撮影された画像を記憶するバッファで構成される。この単眼カメラにより、走行する自車の前方の画像が撮影される。撮影された画像は、時系列の画像としてバッファに保存される。制御部１０は、後述する歩行者検出処理において、バッファから複数枚の画像を取得する。なお、単眼カメラは、ルームミラーの近傍などに取り付けられる。

【0021】

辞書記憶部１２は、例えばＨＤＤ（ハードディスクドライブ）などとして具現化される。もちろん、ＨＤＤ以外のＤＶＤ−ＲＯＭやＣＤ−ＲＯＭを用いてもよい。辞書記憶部１２には、数千枚という学習用歩行者／非歩行者画像から特徴量を抽出しＳＶＭなどの学習手法により生成された歩行者辞書が記憶されている。本実施形態では、歩行者の全身をパターン化した全身辞書、歩行者の上半身をパターン化した上半身辞書、及び、歩行者の横方向の半身をパターン化した横半身辞書などの辞書が記憶されている。

【0022】

報知部１３は、制御部１０の歩行者検出処理によって歩行者が検出された場合、当該検出結果に基づく報知を行うための構成である。具体的には、スピーカや表示器として具現化される。

【0023】

次に、図２のフローチャートに基づき、歩行者検出処理を説明する。歩行者検出処理は、制御部１０により、自車の走行中に繰り返し、実行される。
最初のＳ１００では、画像を取得する。この処理は、撮像部１１のバッファから、単眼カメラにて撮影された複数枚の画像を取得するものである。例えば時間的に前後する２枚の画像を取得するという具合である。ここでは、時刻ｔの画像、及び、時間Δｔが経過した後の時刻（ｔ＋Δｔ）の画像が取得されたものとして説明を続ける。

【0024】

続くＳ１１０では、特徴点を抽出する。この処理は、画像中の特徴点を抽出するものである。特徴点の抽出方法は特に限定されないが、例えば画像中の輝度の違いから物体の輪郭を特定し、当該輪郭の接線方向が大きく変わっている点を特徴点として抽出するという具合である。

【0025】

次のＳ１２０では、オプティカルフローを算出する。この処理は、Ｓ１１０にて抽出された特徴点の動きを算出するものである。具体的には、時刻ｔにおける特徴点から時刻（ｔ＋Δｔ）における特徴点への画像中の長さ及び方向で示される動きベクトルをオプティカルフローとして算出する。

【0026】

続くＳ１３０では、移動体を検出する。この処理は、同様の動きを示す特徴点をグループ化し、グループ化された特徴点の中で、移動体を示すものを抽出するものである。静止する物体における特徴点のオプティカルフローは、その方向へ延長する直線がＦＯＥ（Focus of Expansion）を通る（ＦＯＥへ収束する）。一方、移動体における特徴点のオプティカルフローは、各移動体に対応する消失点近傍へ向かうことが知られている。したがって、ＦＯＥに収束しないオプティカルフローを構成する特徴点が、移動体を示すものとなる。また、多少のばらつきはあるものの、そのオプティカルフローが消失点近傍へ向かう特徴点をグループ化する。

【0027】

ここで、Ｓ１００〜Ｓ１３０の理解を容易にするため、具体例を挙げて説明を加える。
図３（ａ）に示すような画像が取得されたものとする（図２中のＳ１００）。この画像が時刻（ｔ＋Δｔ）における画像であるとし、特徴点を抽出し（Ｓ１１０）、オプティカルフローを算出すると（Ｓ１２０）、図３（ｂ）に示す如くとなる。なお、図３（ｂ）では、時刻（ｔ＋Δｔ）における特徴点を模式的に黒丸で示している。ここで特徴点から出ている棒線がオプティカルフローを示す。

【0028】

このとき、静止する物体の特徴点Ｘ１，Ｘ２，Ｘ３，Ｘ４などのオプティカルフローは、その方向へ延長した直線（図中に二点鎖線で示した）がＦＯＥへ収束する。また、移動体における特徴点は、当該移動体に対応する消失点（不図示）の近傍へ収束する。したがって、ＦＯＥへ収束せず消失点の近傍へ収束するオプティカルフローを構成する特徴点Ａ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７のグループが、移動体を示すものとなる。

【0029】

図２の説明に戻り、Ｓ１４０では、識別領域設定処理を実行する。ここで移動体の領域を包含するような識別領域を設定する。
続くＳ１５０では、歩行者識別処理を実行する。歩行者識別処理では、図１中の辞書記憶部１２に記憶された歩行者辞書を用いて、Ｓ１４０にて設定された識別領域を走査し、歩行者を識別する。

【0030】

次のＳ１６０では、結果を報知する。この処理は、図１中の報知部１３にて歩行者が検出されたことを報知するものである。例えば報知部１３がスピーカで構成される場合、スピーカを介して歩行者の検出を報知するという具合である。また例えば報知部１３が表示器で構成される場合、表示器に車両前方の画像を表示し、当該画像に重ねて歩行者領域を表示するという具合である。

【0031】

次に、図４のフローチャートに基づいて、Ｓ１４０の識別領域設定処理の詳細を説明する。
最初のＳ１４１では、基準矩形を設定する。この処理は、移動体を示すものとしてグループ化された特徴点に対し、当該移動体の領域を示す矩形範囲を設定するものである。ここでは移動体が歩行者であることを前提に、歩行者に合わせた基準矩形を設定する。

【0032】

具体的には、例えば歩行者の身長を１８０ｃｍと仮定し、グループ化された特徴点までの距離を算出して、基準矩形の縦幅を決定する。そして、歩行者の足先部分の縦方向の座標（Ｙ座標）を画像中で算出する。このように歩行者の身長を基に足先部分のＹ座標を決定するのは、次のような理由による。それは、歩行者の脚部におけるオプティカルフローは、バラバラになる可能性が高く、別途グループ化されることが考えられるためである。また歩行者の脚部が駐車車両などに隠れている場合も、別途グループ化されることが考えられる。そのため、特徴点の距離から基準矩形の縦幅を決定すれば、たとえ歩行者の脚部を示す特徴点がない場合であっても、適切に基準矩形の縦幅を決定することができる。このとき、基準矩形の横幅は、その縦幅の半分として決定する。

【0033】

続くＳ１４２では、基準矩形の中に含まれる特徴点が横方向（Ｘ方向）に分散しているか否かを判断する。この判断は、複数の特徴点の横方向における最大幅を算出し、当該最大幅と予め設定される閾値とを比較して行う。この判断は、歩行者の横方向の半身からのみ特徴点が検出される可能性を考慮するものである。つまり、歩行者であれば、画像から分かる距離に応じて、横方向に、ある程度の幅を持っている。したがって、設定された閾値よりも横方向の幅が小さい場合には、歩行者の横方向の半身からのみ特徴点が検出される可能性が高い。一例として、歩行者の輪郭の片側が建物などに隠れている場合が考えられる。この意味で、グループ化された特徴点の距離に応じて、複数の閾値を設定しておく。ここで特徴点が分散していると判断された場合（Ｓ１４２：ＹＥＳ）、Ｓ１４３へ移行する。一方、特徴点が分散していないと判断された場合（Ｓ１４２：ＮＯ）、Ｓ１４４へ移行する。

【0034】

Ｓ１４３では、特徴点の横方向の重心を基準に、基準矩形の２倍の横幅を持つ領域を識別領域として設定する。なお、縦幅については、基準矩形の上下に一定の余裕を持たせて識別領域を設定する。

【0035】

Ｓ１４４では、特徴点の横方向の重心を基準に、基準矩形の３倍の横幅を持つ領域を識別領域として設定する。なお、縦幅については、Ｓ１４３と同様に、基準矩形の上下に一定の余裕を持たせて識別領域を設定する。

【0036】

Ｓ１４３及びＳ１４４ではそれぞれ基準矩形の２倍、３倍として識別領域の横幅を決定したが、特徴点の分散が閾値よりも小さい場合に識別領域の横幅を大きく設定するという趣旨であるため、必ずしも２倍、３倍にする必要はない。

【0037】

ここで、識別領域設定処理に対する理解を容易にするため、具体例を挙げて説明を加える。
図５（ａ）では、特徴点Ａ１〜Ａ７が移動体を示すものとしてグループ化されたとする。このとき、特徴点Ａ１〜Ａ７に対応する基準矩形Ｋを設定する（図４中のＳ１４１）。具体的には、最初に特徴点Ａ１〜Ａ７までの距離を算出する。この距離は、各特徴点Ａ１〜Ａ７までの距離の平均値としてもよいし、中間値としてもよい。例えば特徴点Ａ１〜Ａ７までの距離の平均値が１０．５ｍとして算出されるという具合である。そして、歩行者の身長を１８０ｃｍと仮定し、移動体の距離における画像中の基準矩形Ｋの縦幅Ｈを決定する。ここで移動体までの距離と俯角や焦点距離などのカメラパラメータから、画像中での足下部分のＹ座標を算出する。また、基準矩形Ｋの横幅Ｗは、縦幅Ｈの半分として決定される。これにより、歩行者の脚部領域Ｌに対応する特徴点Ａ６，Ａ７が別にグループ化されて、図５（ｂ）に示すように特徴点Ａ１〜Ａ５から基準矩形Ｋを決定する場合でも、同様の基準矩形Ｋが得られる。なお、歩行者の身長を１８０ｃｍと仮定したのは、十分な縦幅を確保するためである。もちろん、成人男性の平均身長など別の値を用いてもよいし、複数の身長を仮定して複数の基準矩形を設定してもよい。また、横幅Ｗを縦幅Ｈの半分としている点についても、縦幅Ｈに基づいて横幅Ｗを決定すればよく、必ずしも半分とする必要はない。

【0038】

次に、基準矩形Ｋの中に含まれる特徴点Ａ１〜Ａ７が横方向（Ｘ方向）に分散しているか否かを判断する（図４中のＳ１４２）。
図６（ａ）に示すように、複数の特徴点Ａ１〜Ａ７の横方向における最大幅ＴＷ１を算出し、当該最大幅ＴＷ１と予め設定される閾値とを比較する。上述したように、特徴点Ａ１〜Ａ７までの距離に応じた複数の閾値が予め設定されている。このとき、最大幅ＴＷ１が閾値以上である場合（Ｓ１４２：ＹＥＳ）、図６（ｂ）に示すように、特徴点Ａ１〜Ａ７の横方向の重心を基準に、基準矩形Ｋの２倍の横幅（Ｗ×２）を持つ領域を識別領域Ｓとして設定する。縦幅については、基準矩形Ｋの上側にＨ１、下側にＨ２の余裕を持たせて設定する。なお、ここでは特徴点Ａ１〜Ａ７の横方向の重心を基準に識別領域Ｓを設定したが、基準矩形Ｋの中心を基準に設定してもよい。

【0039】

一方、図７（ａ）に示すように、複数の特徴点Ａ１，Ａ２，Ａ５，Ａ６の横方向における最大幅ＴＷ２を算出し当該最大幅ＴＷ２と予め設定される閾値とを比較した結果、最大幅ＴＷ２が閾値を下回っている場合（Ｓ１４２：ＮＯ）、図７（ｂ）に示すように、特徴点Ａ１，Ａ２，Ａ５，Ａ６の横方向の重心を基準に、基準矩形Ｋの３倍の横幅（Ｗ×３）を持つ領域を識別領域Ｓとして設定する。このような場合、歩行者の横方向の半身からのみ特徴点が検出された可能性があり、破線で示すような位置に歩行者が存在する場合も考えられるためである。縦幅については、基準矩形Ｋの上側にＨ１、下側にＨ２の余裕を持たせて設定する。なお、ここでは特徴点Ａ１，Ａ２，Ａ５，Ａ６の横方向の重心を基準に識別領域Ｓを設定したが、基準矩形Ｋの中心を基準に設定してもよい。

【0040】

次に、図８のフローチャートに基づき、図２中のＳ１５０の歩行者識別処理の詳細を説明する。
最初の１５１では、歩行者の脚部領域を特定する。この処理は、図４中のＳ１４１で設定した基準矩形を基に、脚部領域を特定するものである。図５（ａ）及び（ｂ）に示したように歩行者の身長から足下部分のＹ座標が決定されるため、このＹ座標を基準にして、脚部領域Ｌを特定することが可能となる。

【0041】

続くＳ１５２では、脚部領域における特徴点のオプティカルフローがＦＯＥに収束するか否かを判断する。この処理は、Ｓ１５１にて特定した脚部領域が駐車車両などによって隠れているか否かを判断するものである。つまり、静止する物体で脚部領域が隠れている場合、脚部領域に対応する特徴点は静止する物体のものとなるため、脚部領域における特徴点のオプティカルフローはＦＯＥに収束する。

【0042】

例えば図９（ａ）に示すように、脚部領域Ｌに対応する特徴点Ａ６，Ａ７が隠れていない場合には、脚部領域Ｌの特徴点Ａ６，Ａ７はＦＯＥに収束しない。これに対し図９（ｂ）に示すように、脚部領域Ｌが例えば駐車車両Ｔの影になって隠れている場合には、脚部領域Ｌの特徴点Ｂ１，Ｂ２，Ｂ３は静止する物体である駐車車両Ｔのものであるため、図中に二点鎖線で示すように、ＦＯＥに収束する。

【0043】

Ｓ１５２の処理において脚部領域における特徴点のオプティカルフローがＦＯＥに収束すると判断された場合（Ｓ１５２：ＹＥＳ）、Ｓ１５３にて脚部が隠れているとして上半身辞書を選択し、その後、Ｓ１５５へ移行する。一方、脚部領域における特徴点のオプティカルフローがＦＯＥに収束しないと判断された場合（Ｓ１５２：ＮＯ）、Ｓ１５４にて脚部が隠れていないとして全身辞書を選択し、その後、Ｓ１５５へ移行する。

【0044】

Ｓ１５５では、識別領域を走査する。この処理は、Ｓ１５３又はＳ１５４にて選択された辞書を用いて、マッチング処理を行うものである。具体的には、識別領域の内部を走査し、各位置について、その一致度を算出する。

【0045】

次のＳ１５６では一致度が大きくなった領域に基づく歩行者領域を判定し、その後、歩行者識別処理を終了する。ここでは、予め定められた判定閾値と一致度とを比較し、一致度が判定閾値を越えている領域を歩行者領域として判定する。

【0046】

以上詳述したように、本実施形態では、撮像部１１で繰り返し撮影される画像を取得し（図２中のＳ１００）、画像中の特徴点を抽出し（Ｓ１１０）、特徴点毎のオプティカルフローを算出する（Ｓ１２０）。その後、オプティカルフローに基づいて特徴点をグループ化し（Ｓ１３０）、基準矩形を設定した後、当該基準矩形を包含する識別領域を設定する（Ｓ１４０）。そして、設定された識別領域を辞書記憶部１２に記憶されている辞書を用いて走査することで歩行者領域を判定する（Ｓ１５０）。

【0047】

すなわち、移動体の検出対象となる領域を繰り返し撮影する撮像部１１と、移動体の特徴となる画像パターンを辞書として記憶する辞書記憶部１２と、撮像部１１にて繰り返し撮影される画像に基づき、画像中での物体の位置を示す特徴点を抽出する抽出手段１０ａと、抽出手段１０ａにて抽出される時間的に前後する画像の特徴点に基づき、当該特徴点のオプティカルフローを算出する算出手段１０ｂと、算出手段１０ｂにて算出されるオプティカルフローに基づき、移動体における特徴点をグループ化し、グループ化された特徴点を包含する基準矩形を設定する矩形設定手段１０ｃと、矩形設定手段１０ｃにて設定される基準矩形を包含する識別領域であって、移動体の領域を包含するような識別領域を設定する領域設定手段１０ｄと、領域設定手段１０ｄにて設定される識別領域に対し、辞書記憶部１２に記憶された辞書を用いて移動体を識別する識別手段１０ｅと、識別手段１０ｅによる識別の結果、辞書との一致度が高い画像領域に基づいて移動体の領域を特定する特定手段１０ｆと、を備えている。

【0048】

つまり、移動体としての歩行者を包含するような識別領域を設定し、当該識別領域に対し、歩行者の特徴を示す辞書を用いて、歩行者を識別するようにした。このようにすれば、歩行者の一部が画像中で隠れているような場合であっても、当該歩行者を確実に検出することができる。

【0049】

また、本実施形態では、移動体を示すものとしてグループ化された特徴点に対し当該移動体の領域を示す基準矩形を設定するのであるが、移動体が歩行者であることを前提に、歩行者に合わせた基準矩形を設定する（図３中のＳ１４１）。

【0050】

具体的には、例えば歩行者の身長を１８０ｃｍと仮定し、グループ化された特徴点までの距離を算出して、基準矩形の縦幅を決定する。そして、歩行者の足先部分の縦方向の座標（Ｙ座標）を画像中で算出する。すなわち、矩形設定手段１０ｃは、グループ化された特徴点までの距離、及び、仮想的に設定される移動体の高さに基づき、基準矩形の縦幅を決定する。これにより、移動体の上下部分が隠れているような場合であっても、ここでは歩行者の脚部が隠れている場合であっても、適切な縦幅を有する基準矩形を設定することができる。

【0051】

このとき、本実施形態では、基準矩形の横幅を、その縦幅の半分として決定する。すなわち、矩形設定手段１０ｃは、基準矩形の縦幅に基づき、基準矩形の横幅を決定する。これにより、適切な横幅を有する基準矩形を比較的容易に設定することができる。

【0052】

さらにまた、本実施形態では、基準矩形の中に含まれる特徴点が横方向に分散しているか否かを判断し（図４中のＳ１４２）、特徴点が分散していると判断された場合（Ｓ１４２：ＹＥＳ）、特徴点の横方向の重心を基準に、基準矩形の２倍の横幅を持つ領域を識別領域として設定する（Ｓ１４３）。一方、特徴点が分散していないと判断された場合（Ｓ１４２：ＮＯ）、特徴点の横方向の重心を基準に、基準矩形の３倍の横幅を持つ領域を識別領域として設定する（Ｓ１４４）。すなわち、領域設定手段１０ｄは、基準矩形に含まれる特徴点の距離及び横方向の分散度合いに基づき、識別領域の横幅を決定する。これにより、歩行者の横方向の半身のみから特徴点が検出された場合、つまり特徴点が横方向に分散していない場合には、横幅の大きな識別領域が設定されるため、歩行者の領域を確実に識別領域に内包させることができる。

【0053】

このとき、本実施形態では、基準矩形の上下に一定の余裕を持たせて識別領域を設定する（図４中のＳ１４３，Ｓ１４４）。すなわち、領域設定手段１０ｄは、識別領域の縦幅を、基準矩形の縦幅よりも大きく設定する。これにより、縦方向においても、歩行者の領域を確実に識別領域に内包させることができる。

【0054】

また、本実施形態では、歩行者の脚部領域を特定し（図８中のＳ１５１）、脚部領域における特徴点のオプティカルフローがＦＯＥに収束するか否かを判断する（Ｓ１５２）。この判断結果に基づき、選択的に辞書を用いる（Ｓ１５３，Ｓ１５４）。すなわち、辞書記憶部１２には、移動体の各部位の特徴を示す画像パターンである複数の辞書が記憶されており、識別手段１０ｅは、移動体の各部位に対応する領域を特定し、当該領域における特徴点のオプティカルフローに基づき、当該領域が他の物体に隠れているか否かに基づき、選択的に辞書を用いる。

【0055】

具体的には、辞書記憶部１２に歩行者の全身をパターン化した全身辞書、及び、歩行者の上半身をパターン化した上半身辞書が記憶されており、脚部領域における特徴点のオプティカルフローがＦＯＥに収束すると判断された場合（図８中のＳ１５２：ＹＥＳ）、脚部が隠れているとして上半身辞書を選択する（Ｓ１５３）。一方、脚部領域における特徴点のオプティカルフローがＦＯＥに収束しないと判断された場合（Ｓ１５２：ＮＯ）、脚部が隠れていないとして全身辞書を選択する（Ｓ１５４）。すなわち、辞書記憶部１２には、歩行者の上半身の特徴を示す画像パターンである上半身辞書、及び、歩行者の全身の特徴を示す画像パターンである全身辞書が記憶されており、識別手段１０ｅは、歩行者の脚部領域を特定し、当該脚部領域における特徴点のオプティカルフローに基づき、当該脚部領域が他の物体に隠れている場合には上半身辞書を用い、脚部領域が隠れていない場合には全身辞書を用いる。これにより、脚部が隠れている歩行者であっても、その検出精度を向上させることができる。

【0056】

［第２実施形態］
第２実施形態は、上記実施形態における識別領域設定処理及び歩行者識別処理を異にするものである。そこで、上記実施形態と同様の処理については同一の符号を付して説明を割愛し、識別領域設定処理及び歩行者識別処理の異なる部分を中心に説明する。

【0057】

本実施形態では、識別領域設定処理において、図１０に示すように、カメラ位置判断処理（Ｓ２００）及び、フロー群判断処理（Ｓ３００）を実行する。カメラ位置判断処理はＳ１４１の前のステップで実行し、フロー群判断処理は、Ｓ１４１の後のステップで実行する。

【0058】

カメラ位置判断処理は、図１１（ａ）に示すごとくである。
最初のＳ２０１において、特徴点までの距離を算出する。この処理は、移動体を示すものとしてグループ化された特徴点までの距離を算出するものである。上述したように平均値でもよいし、中間値でもよい。

【0059】

続くＳ２０２では、Ｓ２０１にて算出された距離が車両の先端部よりも近いか否かを判断する。具体的には、図１１（ｂ）に示すように、撮像部１１がたとえば車両のルームミラー付近に取り付けられていることを前提として、撮像部１１から車両先端部までの距離をＤとすると、特徴点までの距離がこの距離Ｄよりも短いものであれば、誤検出である可能性が高い。たとえば、移動物の誤検出であったり、すでに衝突している状態であったり、あるいは、中空にある移動物であったりするという具合である。ここで車両先端部より近いと判断された場合（Ｓ２０２：ＹＥＳ）、図２中のＳ１５０及びＳ１６０の処理を実行せず、歩行者検出処理を終了する。一方、車両先端部よりも近くないと判断された場合（Ｓ２０２：ＮＯ）、カメラ位置判断処理を終了し、図１０中のＳ１４１へ移行する。

【0060】

フロー群判断処理は、図１２に示すごとくである。
最初のＳ３０１では、基準矩形の特徴点数を取得する。この処理は、Ｓ１４１で設定した基準矩形の内部に存在する特徴点の数を取得するものである。

【0061】

続くＳ３０２では、グループ化された特徴点が基準矩形の内部に一定割合以上含まれているか否かを判断する。グループ化された特徴点までの距離から基準矩形を作成した場合、当該グループ化された特徴点が基準矩形に含まれるとは限らないためである。

【0062】

これを具体的に説明する。図１３（ａ）に示すように、グループ化された特徴点をＣ１〜Ｃ５とする。このとき、特徴点Ｃ１〜Ｃ５が画像の上部に検出された場合、その距離から基準矩形Ｋを設定すると、基準矩形Ｋが特徴点Ｃ１〜Ｃ５よりも下方に設定されることがある。ここでは、５つの特徴点Ｃ１〜Ｃ５のうち特徴点Ｃ５だけが基準矩形Ｋに含まれている。

【0063】

また、図１３（ｂ）に示すように、横幅の大きな看板などの物体から特徴点Ｃ１〜Ｃ５を抽出した場合、特徴点Ｃ１〜Ｃ５が画像の左右方向に分散して存在することがある。ここでは、基準矩形Ｋを特徴点Ｃ１〜Ｃ５の左右方向における重心位置に設定しているが、５つの特徴点Ｃ１〜Ｃ５のうちの特徴点Ｃ１だけが基準矩形に含まれている。

【0064】

つまり、グループ化された特徴点が基準矩形の内部に一定割合以上含まれていない場合には、誤検出である可能性が高くなるのである。なお、「一定割合」は、実際のデータに基づいて設定すればよいが、例えば４０％という具合に設定される。

【0065】

Ｓ３０２で特徴点が一定以上の割合で含まれていると判断された場合（Ｓ３０２：ＹＥＳ）、Ｓ３０３へ移行する。一方、特徴点が一定以上の割合で含まれていないと判断された場合（Ｓ３０２：ＮＯ）、誤検出の可能性が高いとして、図２中のＳ１５０及びＳ１６０の処理を実行せず、歩行者検出処理を終了する。

【0066】

Ｓ３０３では、基準矩形における特徴点の位置を取得する。この処理は、基準矩形に含まれる特徴点の位置を取得するものである。
続くＳ３０４では、特徴点が局所的に集中しているか否かを判断する。この処理は、基準矩形に含まれる特徴点が基準矩形内部のある領域に集中して存在するか否かを判断するものである。この場合も誤検出である可能性が高くなるためである。

【0067】

これを具体的に説明する。図１３（ｃ）に示すように、グループ化された特徴点をＣ１〜Ｃ５とする。ここでは、その距離から基準矩形Ｋを設定すると、基準矩形Ｋの下半分に特徴点Ｃ１〜Ｃ５が集中している。もともと歩行者の脚部の特徴点はバラツキが大きいためグループ化される可能性が小さく、当該特徴点Ｃ１〜Ｃ５が歩行者の脚部に対応する可能性は小さい。

【0068】

つまり、グループ化された特徴点が局所的に集中している場合には、誤検出である可能性が高くなるのである。
Ｓ３０４で特徴点が局所的に集中していると判断された場合（Ｓ３０４：ＹＥＳ）、誤検出の可能性が高いとして、図２中のＳ１５０及びＳ１６０の処理を実行せず、歩行者検出処理を終了する。一方、特徴点が局所的に集中していないと判断された場合（Ｓ３０４：ＮＯ）、フロー群判断処理を終了し、図１０中のＳ１４２へ移行する。

【0069】

本実施形態では、歩行者識別処理において、図１４に示すように、判定閾値設定処理（Ｓ４００）及び、横方向判定処理（Ｓ５００）を実行する。判定閾値設定処理はＳ１５６の前のステップで実行し、横方向判定処理は、Ｓ１５２において否定判断した場合に実行する。

【0070】

判定閾値設定処理は、図１５に示すごとくである。判定閾値設定処理は、移動物を検出した際、その確度が高い場合には一致判定の閾値を低く設定しても十分に目的が達成されることに着目したものである。

【0071】

最初のＳ４０１では、特徴点が十分か否かを判断する。この処理は、基準矩形に含まれるグループ化された特徴点の数が十分な数であるか否かを判断するものである。基準矩形の大きさに合わせて、十分といえる特徴点の数を予め定めておくことが考えられる。ここで特徴点の数が十分であると判断された場合（Ｓ４０１：ＹＥＳ）、Ｓ４０２へ移行する。一方、特徴点の数が十分でないと判断された場合（Ｓ４０１：ＮＯ）、以降の処理を実行せず、判定閾値設定処理を終了する。この場合、通常の判定閾値が設定される。

【0072】

Ｓ４０２では、消失点への一致度を算出する。移動物のオプティカルフローは、消失点へ収束する。例えば図１６（ａ）に示すように、歩行者を示す大部分の特徴点のオプティカルフローが消失点へ収束するという具合である。そこで、例えば消失点近傍における分散を考える。図１６（ｂ）は分散が小さくなっており、移動物である確度が高くなる。一方、図１６（ｃ）は分散が大きくなっており、移動物である確度が小さくなる。

【0073】

続くＳ４０３では、一致度が大きいか否かを判断する。例えば図１６を用いて説明したような分散を算出することによって判断するという具合である。ここで一致度が大きいと判断された場合（Ｓ４０３：ＹＥＳ）、Ｓ４０４へ移行する。一方、一致度が大きくないと判断された場合（Ｓ４０３：ＮＯ）、Ｓ４０４の処理を実行せず、判定閾値設定処理を終了する。

【0074】

Ｓ４０４では、判定閾値を低く設定する。この処理は、図１４中のＳ１５６における一致度判定に用いる判定閾値を通常よりも低く設定するものである。
横方向判定処理は、図１７に示すごとくである。上記実施形態では、図８に示したように、脚部領域を特定し（Ｓ１５１）、脚部領域に相当する特徴点のオプティカルフローがＦＯＥに収束するか否かを判断する（Ｓ１５２）。ここでＦＯＥに収束していないと判断された場合（Ｓ１５２：ＮＯ）、脚部が隠れていないとして全身辞書を選択していた（Ｓ１５４）。これに対し、本実施形態では、さらに、横方向の半身が隠れている場合には、横半身辞書を用いるものである。

【0075】

図１７の最初のＳ５０１では、横半身が隠れているか否かを判断する。この処理は、他にグループ化された特徴点などから歩行者の横方向の半身を隠す静止物があるか否かを判断するものである。ここで横半身が隠れていると判断された場合（Ｓ５０１：ＹＥＳ）、Ｓ５０２にて横半身辞書を選択し、その後、横方向判定処理を終了する。一方、横半身が隠れていないと判断された場合（Ｓ５０１：ＮＯ）、Ｓ５０３にて全身辞書を選択し、その後、横方向判定処理を終了する。

【0076】

本実施形態においても、上記実施形態と同様の効果が奏される。
加えて、本実施形態では、識別領域設定処理（図１０参照）におけるカメラ位置判断処理（Ｓ２００）によって、グループ化された特徴点までの距離を算出し（図１１中のＳ２０１）、当該距離が車両先端部よりも近い場合（Ｓ２０２：ＹＥＳ）、誤検出として、歩行者検出処理（図２参照）を終了する。すなわち、撮像部１１の取り付け位置とグループ化された特徴点までの距離に基づき、移動体の領域の特定に関する一連の処理を中断する撮像距離中断手段１０ｇを備えている。これにより、誤検出の可能性が高い特徴点に基づく一連の処理が中断されるため、全体としての処理スピードを向上させることができる。

【0077】

また、本実施形態では、識別領域設定処理（図１０参照）におけるフロー群判断処理（Ｓ３００）によって、基準矩形の内部の特徴点の数を取得し（図１２中のＳ３０１）、グループ化された特徴点が基準矩形に一定割合以上含まれるか否かを判断する（Ｓ３０２）。ここでグループ化された特徴点が基準矩形に一定割合以上含まれない場合（Ｓ３０２：ＮＯ）、誤検出として、歩行者検出処理（図２参照）を終了する。また、基準矩形の内部の特徴点の位置を取得し（Ｓ３０３）、グループ化された特徴点が基準矩形のある領域に集中しているか否かを判断する（Ｓ３０４）。ここでグループ化された特徴点が基準矩形のある領域に集中している場合（Ｓ３０４：ＹＥＳ）、誤検出として、歩行者検出処理（図２参照）を終了する。すなわち、矩形設定手段１０ｃにて設定される基準矩形に含まれるグループ化された特徴点の数及び位置のうち少なくとも一方に基づき、移動体の領域の特定に関する一連の処理を中断する特徴点中断手段１０ｈを備えている。これにより、誤検出の可能性が高い特徴点に基づく一連の処理が中断されるため、全体としての処理スピードを向上させることができる。

【0078】

さらにまた、本実施形態では、歩行者識別処理（図１４参照）における判定閾値設定処理（Ｓ４００）によって、基準矩形に含まれる特徴点の数が十分であって（図１５中のＳ４０１：ＹＥＳ）、かつ、特徴点の消失点への一致度が大きい場合には（Ｓ４０２，Ｓ４０３：ＹＥＳ）、判定閾値を低くする（Ｓ４０４）。すなわち、矩形設定手段１０ｃにて設定される基準矩形に含まれるグループ化された特徴点に基づき、特定手段１０ｆによる一致度判定のための閾値を通常時よりも低く設定する判定閾値設定手段１０ｉを備えている。これにより、グループ化された特徴点が歩行者である確度が大きい場合には一致度判定の閾値が低く設定されるため、歩行者を的確に、またもれなく特定することができる。

【0079】

また、本実施形態では、歩行者識別処理（図１４参照）における横方向判定処理（Ｓ５００）によって、横半身が隠れているか否かを判断し（図１７中のＳ５０１）、横半身が隠れている場合には（Ｓ５０１：ＹＥＳ）、横半身辞書を選択し（Ｓ５０２）、横半身が隠れていない場合には（Ｓ５０１：ＮＯ）、全身辞書を選択する（Ｓ５０３）。これにより、歩行者の横方向の半身が隠れている場合であっても、歩行者を適切に特定することができる。

【0080】

以上本発明は、上述した実施形態に何ら限定されるものではなく、その技術的範囲を逸脱しない限りにおいて、種々なる形態で実施可能である。
（イ）上記第２実施形態では、歩行者の横方向の半身の特徴を示す横方向辞書を上半身辞書及び全身辞書とともに用いたが、上半身辞書を用いず、横方向辞書及び全身辞書を用いるようにしてもよい。

【0081】

（ロ）上記実施形態では、辞書記憶部１２に、歩行者の上半身の特徴を示す上半身辞書、歩行者の横方向の半身の特徴を示す横方向辞書及び歩行者の全身の特徴を示す全身辞書を記憶していた。これに対し、歩行者の頭部や胴体部分の特徴点のオプティカルフローから歩行者の移動方向が分かるため、歩行者の移動方向を考慮した向き別の辞書を選択的に用いるようにしてもよい。すなわち、辞書記憶部には、右方向へ移動する歩行者の特徴を示す画像パターンである右向き辞書、及び、左方向へ移動する歩行者の特徴を示す画像パターンである左向き辞書が記憶されており、識別手段１０ｅは、歩行者の移動方向を特定し、当該移動方向が右方向への移動である場合には右向き辞書を用い、移動方向が左方向への移動である場合には左向き辞書を用いるようにしてもよい。このようにすれば、さらに検出精度を向上させることができる。

【0082】

（ハ）上記実施形態では歩行者の検出について述べたが、車両や動物の検出など他の移動体にも適用することができる。

【符号の説明】

【0083】

１…歩行者検出装置、１０…制御部、１０ａ…抽出手段、１０ｂ…算出手段、１０ｃ…矩形設定手段、１０ｄ…領域設定手段、１０ｅ…識別手段、１０ｆ…特定手段、１０ｇ…撮像距離中断手段、１０ｈ…特徴点中断手段、１０ｉ…判定閾値設定手段、１１…撮像部、１２…辞書記憶部、１３…報知部、Ａ１〜Ａ７，Ｂ１〜Ｂ３，Ｃ１〜Ｃ５，Ｘ１〜Ｘ４…特徴点、Ｋ…基準矩形、Ｌ…脚部領域、Ｓ…識別領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】