特開 2025-24786 物体検知装置及び物体検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025024786

(43)【公開日】2025-02-21

(54)【発明の名称】物体検知装置及び物体検知方法

(51)【国際特許分類】

   G01S 15/931 20200101AFI20250214BHJP

   G01S 15/86 20200101ALI20250214BHJP

   G08G 1/16 20060101ALI20250214BHJP

【ＦＩ】

G01S15/931

G01S15/86

G08G1/16 C

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023129048

(22)【出願日】2023-08-08

(71)【出願人】

【識別番号】322003857

【氏名又は名称】パナソニックオートモーティブシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】野尻 篤史

【テーマコード（参考）】

5H181

5J083

【Ｆターム（参考）】

5H181AA01

5H181BB13

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181LL01

5H181LL02

5H181LL04

5H181LL07

5H181LL08

5J083AA02

5J083AB13

5J083AD01

5J083AD04

5J083AE08

5J083AF08

5J083AG05

(57)【要約】

【課題】本開示は、検知対象物の精度の高い位置を求めることができる物体検知装置を提供する。
【解決手段】本開示に係る物体検知装置は、推定回路と累積部と抽出部とを有する。推定回路は、１つ以上の測距センサで測定した物体までの第１距離と、撮像センサで取得された物体の画像から推定した物体の方位と用いて、物体の第１位置を複数回推定する。累積部は、複数回推定した物体の第１位置を撮像センサからの所定の距離毎に累積させる。抽出部は、累積結果から物体の第２位置を抽出する。
【選択図】図４

【特許請求の範囲】

【請求項1】

１つ以上の測距センサで測定した物体までの第１距離と、撮像センサで取得された前記物体の画像から推定した前記物体の方位と用いて、前記物体の第１位置を複数回推定する推定回路と、
前記複数回推定した前記物体の第１位置を前記撮像センサからの所定の距離毎に累積させる累積部と、
前記累積結果から前記物体の第２位置を抽出する抽出部と、
を備えた物体検知装置。

【請求項2】

前記画像を用いて前記物体の種類を検出する物体検出回路をさらに備え、
前記１つ以上の測距センサが複数であり、
前記推定回路は、前記物体の種類が所定の物体でない場合、
前記複数の測距センサで測定した複数の第２距離を用いて、前記物体の第２位置を抽出する、請求項１に記載の物体検知装置。

【請求項3】

前記画像を用いて前記物体の種類を検出する物体検出回路をさらに備え、
前記撮像センサからの前記所定の距離は、前記物体の種類に応じた間隔によって設定される
請求項１に記載の物体検知装置。

【請求項4】

前記抽出部は、前記物体の第１位置の累積値が閾値を超える場合、前記物体の第２位置として抽出する、
請求項１に記載の物体検知装置。

【請求項5】

前記推定回路は、前記画像を用いて前記物体の第４位置をさらに推定し、
前記抽出部は、前記累積結果のうち前記第４位置を含む所定の範囲に収まる位置を、前記物体の前記第２位置として抽出する、
請求項１に記載の物体検知装置。

【請求項6】

１つ以上測距センサで測定した物体までの第１距離と、撮像センサで取得された前記物体の画像から推定した前記物体の方位と用いて、前記物体の第１位置を複数回推定し、
前記複数回推定した前記物体の第１位置を前記撮像センサからの所定の距離毎に累積させ、
前記累積結果から前記物体の第２位置を抽出する、
物体検知方法。

【請求項7】

さらに、前記画像を用いて前記物体の種類を検出し、
前記物体の種類が所定の物体でない場合、
前記複数の測距センサで測定した複数の第２距離を用いて、前記物体の第２位置を抽出する、
請求項６に記載の物体検知方法。

【請求項8】

さらに、前記画像を用いて前記物体の種類を検出し、
前記撮像センサからの前記所定の距離は、前記物体の種類に応じた間隔によって設定される、
請求項６に記載の物体検知方法。

【請求項9】

前記物体の第１位置の累積値が閾値を超える場合、前記物体の第２位置として抽出する、
請求項６に記載の物体検知方法。

【請求項10】

さらに、前記画像を用いて前記物体の第４位置をさらに推定し、
前記累積結果のうち前記第４位置を含む所定の範囲に収まる位置を、前記物体の前記第２位置として抽出する、
請求項６に記載の物体検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物体検知装置及び物体検知方法に関する。

【背景技術】

【0002】

車両に搭載される物体検知装置は、車両の周辺における物体を検知し、検知結果が車両における物体との衝突回避などの運転支援処理に用いられる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１８／０７９２５２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

物体検知装置では、物体の画像を取得する撮像センサと物体までの距離を測定する測距センサとが併用されて、物体が検知されることがある。測距センサでは反射波による検知が困難になる場合があり、例えば特許文献１のような感度調整が図られている。しかしながら、特許文献１に開示された感度調整の検討では、検知距離の精度が不十分となる場合がある。

【0005】

本開示は、検知対象物の精度の高い位置を求めることができる物体検知装置及び物体検知方法を提供する。

【課題を解決するための手段】

【0006】

本開示に係る物体検知装置は、推定回路と累積部と抽出部とを有する。推定回路は、１つ以上の測距センサで測定した物体までの第１距離と、撮像センサで取得された物体の画像から推定した物体の方位と用いて、物体の第１位置を複数回推定する。累積部は、複数回推定した物体の第１位置を撮像センサからの所定の距離毎に累積させる。抽出部は、累積結果から物体の第２位置を抽出する。

【発明の効果】

【0007】

本開示に係る物体検知装置及び物体検知方法によれば、検知対象物の精度の高い位置を求めることができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る物体検知装置が搭載される車両の概略構成を示す側面図。

【図2】実施形態に係る物体検知装置が搭載される車両の概略構成を示す平面図。

【図3】実施形態に係る物体検知装置が搭載される車両のハードウェア構成を示すブロック図。

【図4】実施形態に係る物体検知装置が搭載される車両の機能構成を示すブロック図。

【図5】実施形態における推定された方位を示す図。

【図6】実施形態における直線上への複数の領域の設定を示す図。

【図7】実施形態における直線上の反射強度の分布を示す図。

【図8】実施形態における物体及び路面の反射特性の違いを示す図。

【図9】実施形態における物体及び路面の反射点を示す図。

【図10】実施形態における直線上の累積反射強度の分布を示す図。

【図11】実施形態に係る物体検知装置の動作を示すフローチャート。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、本開示に係る物体検知装置の実施形態について説明する。

【0010】

（実施形態）
実施形態に係る物体検知装置は、車両に搭載され、車両の周辺における物体を検知し、検知結果が車両における物体との衝突回避などの運転支援処理に用いられるが、検知対象物の精度の高い位置を求めるための工夫が施される。

【0011】

例えば、既存技術の物体検知装置は、測距センサによって、反射面の大きい物体ほど反射強度が大きく（強く）、遠方まで物体の検出が可能な一方、反射面の小さな物体は反射強度が小さく（弱く）なるため、物体から測距センサまでの距離によっては、精度よく検出することが困難となる場合がある。このため、物体検知装置は、測距センサの反射閾値を下げることにより感度調整を行い、反射強度の小さい物体を検出可能とし、検知範囲の確保を行う。しかしながら、測距センサは、閾値の下げに伴って路面などの非検知対象物も検知してしまう。

【0012】

そこで、特許文献１では、撮像センサが検知した物体の距離付近に限定して閾値を下げる方法を採用するが、撮像センサの種類や検知対象の背景などの影響により、検知結果を用いて正しい範囲に感度調整が設定されなかった場合、非検知対象物を誤検知する。このため、既存技術の物体検知装置は、検知対象物を不正確な位置で検知判断してしまう場合がある。そこで本開示では、検知エリア全体の閾値を低く設定し、路面などの非検知対象物と検知対象物を区別することで、反射強度の小さい検知対象物であっても位置検出の精度を向上することができる。

【0013】

物体検知装置２は、図１及び図２に示すような車両１に搭載され得る。以下では、車両１の進行方向をＸ軸の正方向とし、車幅の右側面から左側面の方向をＹ軸の正方向とし、Ｘ方向及びＹ方向に直交する方向をＺ方向とし、車両１の屋根方向をＺ軸の正方向とする。

【0014】

車両１は、車体８、複数の車輪９ｆ，９ｒ、複数の撮像センサ１１＿Ｆ，１１＿Ｒ、複数の測距センサ１２＿Ｆ１～１２＿Ｆ４，１２＿Ｒ１～１２＿Ｒ４、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１４及びＨＭＩ（Ｈｕｍａｎ－Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）７を有する。

【0015】

車輪９ｆ，９ｒは、Ｘ軸方向に沿って車体８に取り付けられる。前輪である車輪９ｆは、車体８の前方部に取り付けられ、後輪である車輪９ｒは、車体８の後方部に取り付けられる。なお、Ｘ軸方向で、＋Ｘ方向を前方、－Ｘ方向を後方とも表記する。

【0016】

車体８は、ＸＹ平面視で略矩形をしており、Ｘ軸方向で、前方部の前方バンパー付近の前端部８ｆ、後方部の後方バンパー付近の後端部８ｒを有する。

【0017】

前端部８ｆには、撮像センサ１１＿Ｆと複数の測距センサ１２＿Ｆ１～１２＿Ｆ４とが取り付けられる。撮像センサ１１＿Ｆは、前端部８ｆにおける車幅中央付近に配される。複数の測距センサ１２＿Ｆ１～１２＿Ｆ４は、前端部８ｆにおいてＹ軸方向に配列される。各測距センサ１２＿Ｆ１～１２＿Ｆ４は、互いにＹ軸方向に離間し、撮像センサ１１＿Ｆに対して概ねＹ軸方向に離間している。なお、撮像センサ１１＿Ｆと複数の測距センサ１２＿Ｆ１～１２＿Ｆ４とは、Ｘ軸では、同じ位置に配置されなくてもよい。

【0018】

図１、図２では、前端部８ｆに４個の測距センサ１２＿Ｆ１～１２＿Ｆ４が配される構成が例示されるが、前端部８ｆの測距センサ１２の個数は、３個以下でもよいし、５個以上でもよく、車幅中央を通るＸ軸に対して、線対称に配置されることが望ましい。

【0019】

撮像センサ１１＿Ｆは、通信線４１ｆを介してＥＣＵ１４に接続される。撮像センサ１１＿Ｆは、画像を取得可能な任意のセンサが用いられ得る。撮像センサ１１＿Ｆは、例えば、ＣＭＯＳイメージセンサであってもよいし、ＣＣＤイメージセンサであってもよい。撮像センサ１１＿Ｆは、車体８の周辺の画像を取得可能であり、取得された画像に応じた画像データをＥＣＵ１４へ供給可能である。

【0020】

測距センサ１２＿Ｆ１～１２＿Ｆ４は、それぞれ、通信線４２ｆを介してＥＣＵ１４に接続される。測距センサ１２＿Ｆ１～１２＿Ｆ４は、距離を測定可能な任意のセンサが用いられ得る。測距センサ１２＿Ｆ１～１２＿Ｆ４は、ソナー（超音波センサ）であってもよいし、レーダ（Ｒａｄａｒ）、ライダー（ＬｉＤＡＲ）であってもよい。測距センサ１２＿Ｆ１～１２＿Ｆ４は、車体８の周辺の物体までの距離を示す信号を取得可能である。

【0021】

複数の測距センサ１２＿Ｆ１～１２＿Ｆ４は、所定の間隔で送信波を送波し、送波のタイミングとは異なるタイミングで反射波を受波する。測距センサ１２＿Ｆ１～１２＿Ｆ４は、測定媒体（例えば、ソナーの場合における音波、レーダの場合における電波、ライダーの場合におけるレーザー光）の速度ｖと送波タイミングから受波タイミングまでの時間（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）Ｔとに応じて、物体までの距離Ｌを示す信号を生成してもよい。

【0022】

なお、各々の測距センサ１２＿Ｆ１～１２＿Ｆ４は、例えば送波タイミングと受波タイミングとが交互に入れ替わるように構成されてもよい。例えば、測距センサ１２＿Ｆ１が送波し、測距センサ１２＿Ｆ４が受波し、測距センサ１２＿Ｆ２が送波し、測距センサ１２＿Ｆ１が受波し、測距センサ１２＿Ｆ３が送波し、測距センサ１２＿Ｆ２が受波し、測距センサ１２＿Ｆ４が送波し、測距センサ１２＿Ｆ３が受波し、測距センサ１２＿Ｆ１が送波し、測距センサ１２＿Ｆ４が受波する、といった動作が周期的に繰り返されてもよい。

【0023】

測距センサ１２＿Ｆ１～１２＿Ｆ４は、取得された信号をＥＣＵ１４へ供給可能である。

【0024】

ＥＣＵ１４は、ＨＭＩ７に接続される。ＥＣＵ１４は、物体検知装置２を含む。ＥＣＵ１４は、物体検知装置２を用いて、撮像センサ１１＿Ｆで取得された画像と測距センサ１２＿Ｆ１～１２＿Ｆ４で測定された距離とに応じて車体８の前方付近の物体を検知可能である。ＥＣＵ１４は、物体検知装置２の検知結果に応じて、車両１を制御し、物体との衝突回避などの運転支援処理を実行可能である。

【0025】

後端部８ｒには、撮像センサ１１＿Ｒと複数の測距センサ１２＿Ｒ１～１２＿Ｒ４とが取り付けられる。撮像センサ１１＿Ｒは、後端部８ｒにおける車幅中央付近に配される。複数の測距センサ１２＿Ｒ１～１２＿Ｒ４は、前端部８ｒにおいてＹ軸方向に配列される。各測距センサ１２＿Ｒ１～１２＿Ｒ４は、互いにＹ軸方向に離間し、撮像センサ１１＿Ｒに対して概ねＹ軸方向に離間している。なお、撮像センサ１１＿Ｒと複数の測距センサ１２＿Ｒ１～１２＿Ｒ４とは、Ｘ軸では、同じ位置に配置されなくてもよい。

【0026】

図１、図２では、後端部８ｒに４個の測距センサ１２＿Ｒ１～１２＿Ｒ４が配される構成が例示されるが、後端部８ｒに配される測距センサ１２の個数は、３個以下でもよいし、５個以上でもよい。複数個の測距センサ１２は、車幅中央を通るＸ軸に対して、線対称に配置されることが望ましい。

【0027】

撮像センサ１１＿Ｒは、通信線４１ｒを介してＥＣＵ１４に接続される。撮像センサ１１＿Ｒは、画像を取得可能な任意のセンサが用いられ得る。撮像センサ１１＿Ｒは、例えば、ＣＭＯＳイメージセンサであってもよいし、ＣＣＤイメージセンサであってもよい。撮像センサ１１＿Ｒは、車体８の周辺の画像を取得可能であり、取得された画像に応じた画像データをＥＣＵ１４へ供給可能である。

【0028】

測距センサ１２＿Ｒ１～１２＿Ｒ４は、それぞれ、通信線４２ｒを介してＥＣＵ１４に接続される。測距センサ１２＿Ｒ１～１２＿Ｒ４は、距離を測定可能な任意のセンサが用いられ得る。測距センサ１２＿Ｒ１～１２＿Ｒ４は、ソナーであってもよいし、レーダ（Ｒａｄａｒ）、ライダー（ＬｉＤＡＲ）であってもよい。測距センサ１２＿Ｒ１～１２＿Ｒ４は、車体８の周辺の物体までの距離を示す信号を取得可能である。

【0029】

測距センサ１２＿Ｒ１～１２＿Ｒ４は、測定媒体（例えば、ソナーの場合における音波、レーダの場合における電波、ライダーの場合におけるレーザー光）の速度ｖと送波タイミングから受波タイミングまでの時間（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）Ｔとに応じて、物体までの距離Ｌを示す信号を生成してもよい。

【0030】

なお、各々の測距センサ１２＿Ｒ１～１２＿Ｒ４は、例えば送波タイミングと受波タイミングとが交互に入れ替わるように構成されてもよい。例えば、測距センサ１２＿Ｒ１が送波し、測距センサ１２＿Ｒ４が受波し、測距センサ１２＿Ｒ２が送波し、測距センサ１２＿Ｒ１が受波し、測距センサ１２＿Ｒ３が送波し、測距センサ１２＿Ｒ２が受波し、測距センサ１２＿Ｒ４が送波し、測距センサ１２＿Ｒ３が受波し、測距センサ１２＿Ｒ１が送波し、測距センサ１２＿Ｒ４が受波する、といった動作が周期的に繰り返されてもよい。

【0031】

測距センサ１２＿Ｒ１～１２＿Ｒ４は、取得された信号をＥＣＵ１４へ供給可能である。

【0032】

ＥＣＵ１４は、物体検知装置２を含む。ＥＣＵ１４は、物体検知装置２を用いて、撮像センサ１１＿Ｒで取得された画像と測距センサ１２＿Ｒ１～１２＿Ｒ４で測定された距離とに応じて車体８の後方付近の物体を検知可能である。ＥＣＵ１４は、物体検知装置２の検知結果に応じて、車両１を制御し、所定の運転支援処理を実行可能である。

【0033】

以下では、簡略化のため、主として、後端部８ｒに取り付けられる撮像センサ１１＿Ｒ及び測距センサ１２＿Ｒ１～１２＿Ｒ４を用いて説明する。撮像センサ１１＿Ｒ、測距センサ１２＿Ｒ１～１２＿Ｒ４、通信線４１ｒ，４２ｒを、単に、撮像センサ１１、測距センサ１２＿１～１２＿４、通信線４１，４２と表記する。以下の説明は、前端部８ｆに取り付けられる撮像センサ１１＿Ｆ及び１２＿Ｆ１～１２＿Ｆ４についても同様に適用可能である。

【0034】

次に、車両１のハードウェア構成について図３を用いて説明する。

【0035】

車両１は、図１に示す構成に加えて、インタフェース（Ｉ／Ｆ）１３、車両制御装置６及びバス１３を有する。インタフェース１３、ＥＣＵ１４、ＨＭＩ７、車両制御装置６は、バス１３を介して互いに通信可能に接続される。ＥＣＵ１４は、物体検知装置２に加えて、揮発性記憶部１５、不揮発性記憶部１６を含む。

【0036】

インタフェース１３は、通信線４１を介して撮像センサ１１に接続され、通信線４２を介して複数の測距センサ１２＿１～１２＿４に接続される。

【0037】

揮発性記憶部１５は、一時的に情報を記憶可能な任意のデバイスが用いられ、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。不揮発性記憶部１６は、不揮発に情報を記憶可能なデバイス又は装置が用いられ、例えば、フラッシュメモリであってもよいし、ハードディスクであってもよい。不揮発性記憶部１６は、運転支援処理のためのプログラムＰＧを格納してもよい。

【0038】

ＥＣＵ１４は、車体８の後方（Ｘ軸の負方向）付近の物体が物体検知装置２で検知されることに応じて、車両制御装置６を制御して車両１を停止させたり、物体の存在に応じた警告情報をＨＭＩ７で報知させたりする。

【0039】

車両制御装置６は、車輪９ｆ，９ｒを駆動制御する。車両制御装置６は、車輪９ｆ，９ｒを回転させたり、車輪９ｆ，９ｒの回転を停止させたり、車輪９ｆ，９ｒを操舵させたりすることが可能である。車両制御装置６は、図示しないが、例えば車速センサ、アクセルセンサ、ブレーキセンサ、ブレーキアクチュエータ、及びエンジンコントローラ（又はモータコントローラ）などを含んでもよい。

【0040】

車両制御装置６は、ＥＣＵ１４の制御信号に応じて、ブレーキアクチュエータ及び／又はエンジンコントローラ（又はモータコントローラ）を制御することで、物体検知装置２が検知した物体を回避するよう車両１を制御してもよい。

【0041】

ＨＭＩ７は、ＥＣＵ１４の制御信号に応じて、視覚的及び／又は聴覚的な手段で警告を示す情報を報知してもよい。ＨＭＩ７は、警告を示す表示オブジェクトを生成して車室内の画面に表示させたり、警告音、警告メッセージの音声信号を生成して車室内のスピーカから出力させたりしてもよい。

【0042】

次に、車両１の機能構成について図４を用いて説明する。

【0043】

車両１は、撮像センサ１１、複数の測距センサ１２＿１～１２＿４、物体検知装置２、駆動制御部１６及び報知部１７を有する。

【0044】

駆動制御部１６は、車両制御装置６（図３参照）で実現され得る。報知部１７は、ＨＭＩ７で実現され得る。

【0045】

物体検知装置２は、複数の機能を含む。物体検知装置２に含まれる複数の機能は、その全てがＥＣＵ１４内でハードウェア的に（例えば、回路として）実現されていてもよい。物体検知装置２に含まれる複数の機能は、その全てがＥＣＵ１４内でソフトウェア的に実現されてもよい。物体検知装置２に含まれる複数の機能は、その一部がハードウェア的に実現され、残りの一部がソフトウェア的に実現されてもよい。ソフトウェア的に実現される機能は、ＥＣＵ１４がプログラムＰＧを実行することによりコンパイル時に一括して又は処理の進行に応じて逐次的に揮発性記憶部１５に機能モジュールとして展開されてもよい。これにより、等価的に、当該機能がＥＣＵ１４内にソフトウェア的に実現されるとみなすことができる。

【0046】

物体検知装置２は、図４に示すように、検知処理部３、判断部４及び制御部５を含んでもよい。

【0047】

検知処理部３は、撮像センサ１１、複数の測距センサ１２＿１～１２＿４と判断部４との間に配される。判断部４は、検知処理部３と制御部５との間に配される。制御部５は、判断部４と駆動制御部１６、報知部１７との間に配される。

【0048】

検知処理部３は、車体８の周辺の路面ＲＤ上に仮想的に座標空間を設定する。検知処理部３は、撮像センサ１１の位置を原点として座標空間を設定してもよい。撮像センサ１１で取得された画像から得られる情報として、被写体の方位の精度は比較的高いが、被写体までの距離の精度が比較的低い。測距センサ１２＿１～１２＿４の信号から得られる情報として、測定対象の方位の精度は比較的低いが、測定対象までの距離の精度が比較的高い。検知処理部３は、撮像センサ１１で取得された画像と測距センサ１２＿１～１２＿４の信号とを組み合わせて用いる。検知処理部３は、撮像センサ１１で取得された画像と測距センサ１２＿１～１２＿４で測定された距離とに応じて、路面ＲＤ上の座標空間における物体の有無及びその座標位置を検出する。

【0049】

例えば、検知処理部３は、距離算出部３１、物体検出部３２、推定部３３、累積部３４及び抽出部３５を有してもよい。距離算出部３１は、複数の測距センサ１２＿１～１２＿４と推定部３３との間に配される。物体検出部３２は、撮像センサ１１と推定部３３との間に配される。推定部３３は、距離算出部３１、物体検出部３２と累積部３４との間に配される。累積部３４は、推定部３３と抽出部３５との間に配される。

【0050】

距離算出部３１は、測距センサ１２＿１～１２＿４の信号を受ける。距離算出部３１は、受けた信号から反射強度と距離とを抽出する。反射強度と距離（Ｄｓ）とが対応づけられた測距情報を生成する。距離算出部３１は、測距情報を推定部３３へ供給する。

【0051】

物体検出部３２は、撮像センサ１１で取得された画像を受ける。物体検出部３２は、画像に対して特徴抽出を行い、特徴抽出結果に対して予め学習した特徴との比較処理を行うことなどにより、画像に含まれる物体を検出する。物体検出部３２は、画像における物体の画素位置を特定してもよい。物体検出部３２による検出結果は、画像における物体の画素位置と物体の種類とを含む。物体の種類は、例えば、歩行者、自転車等を含む。物体検出部３２は、検出結果を推定部３３へ供給する。

【0052】

なお、物体検出部３２は、検出結果を距離算出部３１に供給してもよく、検出結果を供給された距離算出部３１は、歩行者、自転車等が存在する検出結果の場合、反射強度の閾値を下げて、受けた信号から反射強度と距離とを抽出してもよく、歩行者、自転車等が存在しない検出結果の場合、反射強度の閾値を下げずに、受けた信号から反射強度と距離とを抽出してもよい。これにより、検出結果に応じて、距離算出部３１での抽出処理の負荷を軽減することができる。

【0053】

推定部３３は、測距情報を距離算出部３１から受け、検出結果を物体検出部３２から受ける。推定部３３は、撮像センサ１１で取得される画像を用いて物体の方位θｃを推定する。推定部３３は、物体検出部３２の検出結果から、画像における物体の画素位置の情報を抽出する。推定部３３は、画像における物体の画素位置に応じて、カメラ検出距離Ｄｃを省略して、物体の方位θｃを推定してもよい。推定部３３は、画像を用いて物体の位置（方位θｃ、カメラ検出距離Ｄｃ）をさらに推定してもよい。

【0054】

例えば、推定部３３は、撮像センサ１１（カメラ）の搭載高さ及び搭載角、レンズ特性などから推定する路面と物体検出部３２により検出した物体が路面と接する位置から物体の位置を算出する。

【0055】

推定部３３は、図５に示す画像から検出した物体ＯＢの位置Ｐｃから撮像センサ１１を基準とした物体方位θｃとカメラ検出距離Ｄｃとを算出する。なお、推定部３３は、画像から検出した物体ＯＢとのカメラ検出距離Ｄｃは算出しなくてもよい。また、距離算出部３１が測定したソナー検出距離Ｄｓを物体ＯＢからの反射距離とみなして、画像から求めた物体ＯＢの方位θｃ上にフュージョン距離Ｄｆを算出し、推定結果を累積部３４へ供給する。推定結果は、物体ＯＢの方位に関する情報と物体ＯＢの距離に関する情報とを含む。なお、撮像センサ１１と測距センサ１２とによる測定は、周期的に繰り返し行ってもよい。また、測距センサ１２は、１回の測定によって、複数のソナー検出距離Ｄｓを測定する場合もある。例えば、ｋ回（ｋは１以上の整数）の測定を繰り返し、それぞれ、ｎ個の距離を検出する場合、推定結果である累積部３４へ供給される物体ＯＢの方位に関する情報（θｃ（ｋ））、フュージョン距離Ｄｆ（ｋ）、物体ＯＢのソナー検出距離（Ｄｓ（ｋ、ｎ））に関する情報とはそれぞれｋ個、ｋ×ｎ個となる。なお、ソナー検出距離Ｄｓ（ｋ、ｎ）は、測定ごとに、ｎの値は異なる場合があり、ｋ、ｎのそれぞれにおいて異なる距離となる場合がある。なお、図５では、測距センサ１２＿４が、１回の測定で、１つのソナー検出距離Ｄｓ（１、１）を検出していることを示す。

【0056】

累積部３４は、推定結果を推定部３３から受ける。累積部３４は、撮像センサ１１で取得された画像と測距センサ１２＿１～１２＿４で測定された距離との組み合わせに応じて路面ＲＤに複数の座標領域を設定する。累積部３４は、推定部３３で推定された方位に対応する直線ＯＲ上に複数の座標領域を設定してもよい。累積部３４は、複数の座標領域のそれぞれを、物体に応じた幅で直線上に設定してもよい。

【0057】

累積部３４は、物体検出部３２による検出結果に含まれた物体の種類の情報を参照し、物体の種類に応じた幅を特定（判定）する。物体が歩行者であれば、歩行者として予想される幅Ｗを特定する。なお、累積部３４は、方位に対応する直線ＯＲ（図５参照）上で、図６に示すように、撮像センサ１１からの距離Ｄｃに対応する位置を含む幅Ｗの座標領域ＣＲ３を設定してもよい。累積部３４は、座標領域ＣＲ３に対して、撮像センサ１１に向かって幅Ｗの単位で座標領域ＣＲ２，ＣＲ１を順に設定し、撮像センサ１１から遠方に幅Ｗの単位で座標領域ＣＲ４，ＣＲ５，ＣＲ６を順に設定してもよい。また、累積部３４は、フュージョン距離Ｄｆの分布状況に合わせて幅Ｗの座標領域を設定してもよい。

【0058】

例えば、反射強度を縦軸に取り、直線ＯＲ上における撮像センサ１１からの距離を横軸にとって、フュージョン距離Ｄｆの算出に使用した測距センサ１２の信号で示される反射強度をプロットすると、図７のような反射強度の分布が得られる。図７では、撮像センサ１１の画像から特定された物体ＯＢまでの距離Ｄｃに対応する位置が白三角で示される。図７に示す反射強度の分布では、物体ＯＢからの反射強度と路面ＲＤからの反射強度とが、混在しており且つその強度の大きさが類似している。このため、図７の状態では、物体検知装置は、反射強度を基準に物体ＯＢを判断することは困難である。

【0059】

累積部３４は、路面ＲＤからの反射強度の平均的な大きさより若干大きいレベルで閾値Ｓｔｈ１を設定することができる。これにより、壁など反射強度が比較的大きな物体に対して、累積部３４は、複数の反射強度のうち、閾値Ｓｔｈ１を超える反射強度（図示なし）を物体の反射強度として路面ＲＤの反射強度と区別することができる。

【0060】

しかし、図７のように、歩行者など反射強度が壁などより比較的小さな物体は、閾値Ｓｔｈ１以下に埋もれてしまい、さらに路面ＲＤの反射強度も混在するため、累積部３４は、物体の反射強度を路面ＲＤの反射強度と区別することが困難である。

【0061】

ここで、図８の（ａ）、（ｂ）では、歩行者に対して、撮像センサ１１で取得された画像から得られる情報として、特定された方位θｃが実線の直線ＯＲで示される。

【0062】

測距センサ１２＿１～１２＿４の信号から得られる情報として、図８の（ａ）、（ｂ）では、歩行者に対して、測距センサ１２＿３で測定される距離が一点鎖線の円で示され、測距センサ１２＿４で測定される距離が点線の円で示される。なお、図８の（ａ）、（ｂ）では、測距センサ１２で得られる距離は、おおよそ歩行者の位置と一致する。

【0063】

測距センサ１２の送信波に対して、物体（例えば、歩行者）の反射箇所は、図９（ａ）、（ｂ）に示すように、Ｚ軸方向のばらつきがあるもののＸＹ平面上の位置がある程度密集している。なお、図８の（ａ）、（ｂ）に示すように、密集しているＸＹ平面上の位置は、物体に対応し、直線ＯＲの付近に存在する。このため、物体（例えば、歩行者）が複数の測距センサ１２で測定される距離は、図８の（ａ）の直線ＯＲと一点鎖線の円及び点線の円とのそれぞれの交点で示されるように、直線ＯＲ上における特定の領域に密集しやすい。

【0064】

一方、路面ＲＤの反射箇所は、図８の（ｂ）の白三角、図９の（ｃ）の黒丸に示すように、ＸＹ平面上の位置がばらついている。ばらついているＸＹ平面上の位置は、物体（例えば、歩行者）と異なり、直線ＯＲの付近に存在していない。このため、路面ＲＤが複数の測距センサ１２で測定される距離は、図８の（ｂ）に直線ＯＲと一点鎖線の円及び点線の円とのそれぞれの交点で示されるように、直線ＯＲ上でばらつく傾向にある。

【0065】

図８の（ａ）と図８（ｂ）とを比較すると、物体及び路面ＲＤ間のばらつき具合いの違い、例えば、算出したフュージョン距離のばらつきに着目することで、複数の反射強度から物体の反射強度と路面ＲＤの反射強度とを区別できることが期待される。

【0066】

そのため、累積部３４は、反射強度用の閾値を下げて、物体及び路面ＲＤの反射強度をそれぞれ拾うようにする。累積部３４は、直線ＯＲ上に設定された複数の座標領域のそれぞれで、測距センサ１２の信号で示す反射強度を累積させる。

【0067】

例えば、図７に示すように、累積部３４は、閾値のレベルをＳｔｈ１からＳｔｈ２へ下げる。閾値Ｓｔｈ２のレベルは、路面ＲＤからの反射強度の平均的な大きさより若干小さいレベルである。図７の場合、閾値Ｓｔｈ２を超える反射強度として、座標領域ＣＲ２に１個の反射強度が分布し、座標領域ＣＲ４に４個の反射強度が分布し、座標領域ＣＲ６に２個の反射強度が分布する例が示される。

【0068】

累積部３４は、複数の反射強度のうち閾値Ｓｔｈ２を超える反射強度を、直線ＯＲ上の複数の座標領域ＣＲ１～ＣＲ６のそれぞれで累積させる。図７の場合、累積部３４は、座標領域ＣＲ２で１個の反射強度を累積させ、座標領域ＣＲ４で４個の反射強度を累積させ、座標領域ＣＲ６で２個の反射強度を累積させる。これにより、累積部３４は、図１０に示すような累積結果を得ることができる。図１０では、座標領域ＣＲ１～ＣＲ６ごとの累積反射強度の分布がヒストグラムで示される。以上の説明では座標領域ＣＲ１～ＣＲ６を撮像センサ１１から求めた距離Ｄｃを基準に設定したが、座標領域ＣＲの設定においては直線ＯＲ上の反射強度の一番高いフュージョン距離Ｄｆを基準に幅Ｗの単位で設定してもよい。

【0069】

累積部３４は、累積結果を抽出部３５へ供給する。

【0070】

抽出部３５は、累積結果を累積部３４から受ける。抽出部３５は、累積部３４の累積結果から物体の座標位置を抽出する。抽出部３５は、直線ＯＲ上に設定される複数の座標領域のうち測距センサ１２の信号で示す反射強度の累積値が閾値を超える座標領域に対応する座標位置を物体の座標位置として抽出する。このとき、抽出部３５は、累積反射強度用の閾値を物体に応じたレベルで設定してもよい。あるいは非検知対象とする路面などの物体の累積反射強度を上回る閾値に設定してもよい。これにより、抽出部３５は、検知対象の物体に応じた適正なレベルの閾値を用いて、物体の座標位置として抽出できる。

【0071】

例えば、抽出部３５は、物体検出部３２による検出結果に含まれた物体の種類の情報を参照し、物体の種類に応じたレベルを特定する。物体が歩行者であれば、歩行者として予想される累積反射強度を特定し、図１０に示すように、特定されたレベルより低いレベルでかつ路面などの非検知対象物の想定される累積反射強度より高いレベルで、累積反射強度用の閾値ＣＳｔｈのレベルを設定する。抽出部３５は、各座標領域ＣＲ１～ＣＲ６の累積反射強度と閾値ＣＳｔｈとを比較する。抽出部３５は、複数の座標領域ＣＲ１～ＣＲ６のうち、累積反射強度が閾値ＣＳｔｈを超えている座標領域ＣＲ４の距離Ｄｔに対応する座標位置を物体ＯＢの座標位置とすることができる。

【0072】

抽出部３５は、抽出された座標位置が撮像センサ１１の画像から推定される位置を含む所定の位置範囲に収まるかどうかで、抽出された座標位置の確からしさを確認してもよい。抽出部３５は、抽出された座標位置が所定の位置範囲に収まれば、抽出された座標位置が物体の座標位置として「確からしい」として判断部４へ出力し、抽出された座標位置が所定の位置範囲に収まらなければ、抽出された座標位置が物体の座標位置として「確からしくない」として破棄してもよい。

【0073】

例えば、抽出部３５は、図１０に点線の三角で示される距離Ｄｃに対応する座標位置を中心としその前後所定長さ（例えば、前後に１．５×Ｗの長さ）の位置範囲ΔＰを所定の位置範囲として設定する。図１０の場合、抽出された距離Ｄｔに対応する座標位置は、所定の位置範囲ΔＰに収まっている。このため、抽出部３５は、抽出された座標位置が物体ＯＢの座標位置として確からしいとして判断部４へ出力することができる。

【0074】

以上の説明では座標領域ＣＲの距離Ｄｃを用いて説明したが、距離分解能を上げるために座標領域ＣＲの累積反射強度を構成するフュージョン距離Ｄｆの一つを選んで処理してもよい。

【0075】

図４に示す検知処理部３は、検知結果を判断部４へ供給する。検知結果は、物体の有無及びその座標位置の情報を含む。

【0076】

判断部４には、路面上の座標空間における衝突の可能性が高い位置範囲が衝突判断範囲として予め設定されている。判断部４は、検知処理部３から検知結果を受けると、検知結果に応じて、物体の座標位置が衝突判断範囲内か否かを判断する。判断部４は、判断結果を制御部５へ供給する。

【0077】

制御部５は、判断結果に応じて、運転支援処理を実行可能である。制御部５は、物体の座標位置が衝突判断範囲外であれば、注意喚起の情報を生成して報知部１７へ供給する。これにより、報知部１７は、注意喚起の情報をユーザに向けて報知する。

【0078】

制御部５は、物体の座標位置が衝突判断範囲内であれば、ブレーキの作動の要求を含む制御情報を生成して駆動制御部１６へ供給する。これにより、駆動制御部１６は、ブレーキを作動させて車両１を停止させる。それとともに、制御部５は、警告の情報を生成して報知部１７へ供給する。これにより、報知部１７は、警告の情報をユーザに向けて報知する。

【0079】

次に、物体検知装置２の動作について図１１を用いて説明する。

【0080】

物体検知装置２の検知処理部３において、距離算出部３１は、測距センサ１２＿１～１２＿４から測距情報を取得する（Ｓ１）。距離算出部３１は、受けた信号から反射強度と距離とを抽出する。距離算出部３１は、反射強度と距離とが対応づけられた測距情報を生成する。距離算出部３１は、測距情報を推定部３３へ供給する。

【0081】

物体検出部３２は、撮像センサ１１より画像データを取得し、取得画像より検出処理を実行する（Ｓ２）。物体検出部３２は、画像に対して特徴抽出を行い、特徴抽出結果に対して予め学習した特徴との比較処理を行うことなどにより、画像に含まれる物体を検出する。物体検出部３２は、画像における物体の画素位置を特定してもよい。物体検出部３２による検出結果は、画像における物体の画素位置と物体の種類とを含む。物体の種類は、例えば、歩行者、自転車等を含む。物体検出部３２は、検出結果を推定部３３へ供給する。

【0082】

推定部３３は、物体検出部３２の検出結果が人など検知処理対象物であるか否か判断する（Ｓ３）。推定部３３は、検出結果に含まれた物体の種類の情報を参照し、物体の種類の情報に応じて、検出結果が検知処理対象物であるか否か判断してもよい。

【0083】

検出結果が検知処理対象物でなければ（Ｓ３でＮｏ）、推定部３３は、処理をＳ１に戻す。なお、この場合、反射強度は十分大きいので、撮像センサ１１による位置推定は省略して、複数の測距センサ１２による位置推定を行ってもよい。

【0084】

検出結果が検知処理対象物であれば（Ｓ３でＹｅｓ）、累積部３４は、反射強度用の閾値を下げて、物体及び路面ＲＤの反射強度をそれぞれ拾うようにする（Ｓ４）。累積部３４は、図７のように、閾値のレベルをＳｔｈ１からＳｔｈ２へ下げる。閾値Ｓｔｈ２のレベルは、路面ＲＤからの反射を含む検知対象物の反射強度が閾値を超えるレベルに設定する。なお、推定部３３で検出結果が検知処理対象物である場合、測距センサ１２の閾値を下げた後に、再度、測距してもよい。

【0085】

推定部３３は、撮像センサ１１で取得される画像を用いて物体の方位θｃを推定する。推定部３３は、物体検出部３２の検出結果から、画像における物体の画素位置の情報を抽出する。また、推定部３３は、距離算出部３１が測定した物体距離Ｄｓを物体ＯＢからの反射距離とみなして、画像から求めた物体ＯＢの方位θｃ上にフュージョン距離Ｄｆを算出する。

【0086】

累積部３４は、算出した推定結果を推定部３３から受ける。累積部３４は、撮像センサ１１で取得された画像と測距センサ１２＿１～１２＿４で測定された距離Ｄｓとの組み合わせに応じて路面ＲＤに複数の座標領域を設定する（Ｓ５）。累積部３４は、推定部３３で推定された方位に対応する直線ＯＲ上に複数の座標領域を設定してもよい。累積部３４は、複数の座標領域のそれぞれを、物体に応じた幅で直線上に設定してもよい。

【0087】

累積部３４は、複数の座標領域のそれぞれで反射強度を積算し、距離ｖｓ累積反射強度分布を求める（Ｓ６）。累積部３４は、複数の反射強度のうち閾値Ｓｔｈ２を超える反射強度を、直線ＯＲ上の複数の座標領域ＣＲ１～ＣＲ６のそれぞれで累積させる。累積部３４は、累積結果を抽出部３５へ供給する。

【0088】

抽出部３５は、閾値を上回る累積反射強度の距離に対応する座標位置を検知対象の座標位置として抽出する（Ｓ７）。抽出部３５は、累積結果を累積部３４から受ける。抽出部３５は、累積反射強度用の閾値を物体に応じたレベルで設定する。抽出部３５は、直線ＯＲ上に設定される複数の座標領域のうち測距センサ１２の信号で示す反射強度の累積値が閾値を超える座標領域に対応する座標位置を物体の座標位置として抽出する。

【0089】

なお、抽出部３５は、抽出された検知対象が撮像センサ１１の検知座標と比較して、妥当性のある範囲内であるか判断してもよい。

【0090】

抽出部３５は、抽出された座標位置が撮像センサ１１の画像から推定される位置を含む所定の位置範囲に収まるかどうかで、抽出された座標位置の確からしさを確認する。抽出部３５は、抽出された座標位置が所定の位置範囲に収まれば、抽出された座標位置が物体の座標位置として「確からしい」として判断部４へ出力し、抽出された座標位置が所定の位置範囲に収まらなければ、抽出された座標位置が物体の座標位置として「確からしくない」として破棄してもよい。なお、抽出部３５は、撮像センサ１１の検知座標の代わりに、測距センサ１２の検知距離を用いてもよい。

【0091】

以上のように、実施形態では、物体検知装置２において、撮像センサ１１で取得された画像と測距センサ１２で測定された距離との組み合わせに応じて路面ＲＤに設定される複数の座標領域のそれぞれで測距センサ１２の信号を累積させ、その累積結果から物体の座標位置を抽出する。これにより、測距センサ１２の閾値を下げて感度を上げながら反射強度が比較的小さい物体と路面とを区別して検知できるので、撮像センサ１１及び測距センサ１２の組み合わせによる検知可能な反射強度の範囲を拡大でき、反射強度の小さい検知対象物であっても位置検出の精度を向上することができる。

【0092】

なお、上述の実施形態の物体検出装置において、各構成要素に用いた「・・・部」という表記は、上述のとおり、「・・・回路（ｃｉｒｃｕｉｔｒｙ）」、「・・・アッセンブリ」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されうる。

【0093】

また、上述の実施形態の物体検出装置は、例えば不揮発性記憶部１６にインストールされているプログラムＰＧをＥＣＵ１４が実行することにより、物体検出処理を行うこととした。

【0094】

しかし、物体検出装置で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のＥＣＵ１４で読み取り可能な記録媒体に記録されて提供されてもよい。あるいは、ネットワークを介してプログラムをダウンロードし、ＥＣＵ１４で実行させてもよい。

【0095】

また、物体検出装置の機能の少なくとも一部が、ＣＰＵを有さない専用のハードウェア回路によって実現されてもよい。

【0096】

このように、上述の実施形態の物体検出装置は、ソフトウェア、ハードウェア、またはハードウェアと連携したソフトウェアで実現することが可能である。また、上述の実施形態の物体検出装置は、システム、装置、方法、集積回路、コンピュータープログラム、または記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータープログラム、及び記録媒体の任意な組み合わせで実現されてもよい。なお、プログラム製品は、コンピュータープログラムが記録されたコンピュータが読み取り可能な媒体である。

【0097】

また、上述の実施形態の物体検出装置の各機能ブロックは、部分的に、または全体的に、集積回路であるＬＳＩとして実現され、上述の実施形態の物体検出装置の各処理は、部分的に、または全体的に、１つのＬＳＩまたはＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように１つのチップから構成されてもよい。ＬＳＩはデータの入力と出力とを備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0098】

ただし、集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。上述の実施形態の物体検出装置の各処理が、デジタル処理またはアナログ処理として実現されてもよい。

【0099】

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

【0100】

本開示のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、本開示の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、本開示の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、本開示の範囲や要旨に含まれると同様に、特許請求の範囲に記載された本開示とその均等の範囲に含まれるものである。

【符号の説明】

【0101】

１ 車両
２ 物体検知装置
３ 検知処理部
４ 判断部
５ 制御部
３１ 距離算出部
３２ 物体検出部
３３ 推定部
３４ 累積部
３５ 抽出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】