(58)【調査した分野】(Int.Cl.,DB名)
前記超音波センサによって物体が検知されたときに設定される前記検知範囲の中での前記候補点の密度は、前記超音波センサによっては物体が検知されなかったときに設定される前記所定の範囲の中での前記候補点の密度よりも高くされる請求項2に記載の物体検知装置。
前記超音波センサによって物体が検知されたときには、複数の前記候補点は、前記検知範囲の中にのみ設定される請求項1ないし3のいずれか1つに記載の物体検知装置。
前記位置算出部は、複数の前記候補点の位置、および、前記車両に対する物体の相対速度に基づいて、複数の前記候補点の前記第2時刻の位置を予測する請求項1ないし6のいずれか1つに記載の物体検知装置。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。
【0013】
(第1実施形態)
第1実施形態について説明する。本実施形態の物体検知装置は、車両に搭載された超音波センサとカメラとの連携によって、車両の外部の物体を検知するものである。
【0014】
図1に示すように、物体検知装置は、超音波センサ10と、画像センサ20と、ECU30と、車内LAN40とを備えている。ECU30、および、後述する制御部13、制御部22等は、CPU、ROM、RAM、I/Oなどを備えた周知のマイクロコンピュータによって構成され、ROMなどに記憶されたプログラムに従って各種演算などの処理を実行する。
【0015】
超音波センサ10は、超音波の送受信により物体を検知するものであり、マイクロホン11と、送波部12と、制御部13と、受波部14と、距離算出部15とを備えている。なお、本実施形態では、物体検知装置は超音波センサ10を複数備えている。
【0016】
マイクロホン11は、車両の外表面に面して配置されており、物体を検知するための超音波を車両の外側に向けて送信するものである。具体的には、マイクロホン11は、互いに対向する2つの電極の間に圧電膜が配置された構成の図示しない圧電素子を備えている。そして、2つの電極は送波部12に接続されており、送波部12から交流電圧が印加されて圧電膜が変形することにより、マイクロホン11から車両の外側へ超音波が送信される。
【0017】
超音波センサ10では、制御部13が送波部12に周期的に送波指示を送っている。送波部12は、制御部13からの送波指示を受信すると、マイクロホン11に信号を送信し、これにより、マイクロホン11から超音波が送信される。
【0018】
また、マイクロホン11は、超音波を受信し、受信した超音波の音圧に応じた電圧を出力するように構成されている。具体的には、マイクロホン11が備える圧電素子の2つの電極は、受波部14にも接続されており、超音波を受信して圧電膜が変形したときの2つの電極間の電圧が受波部14に入力されるようになっている。受波部14は、マイクロホン11から入力された電圧をA/D変換し、これにより生成された信号を出力する。
【0019】
距離算出部15は、受波部14がA/D変換によって生成した信号を用いて物体との距離を算出するものである。距離算出部15は、受波部14から信号が入力されると、この信号に対して直交復調を行い、受信波の振幅を検出する。そして、距離算出部15は、受信波の振幅を所定の閾値と比較し、制御部13が送波部12に送波指示を出してから受信波の振幅が閾値以上となるまでの時間に基づいて、物体との距離を算出する。
【0020】
距離算出部15は、算出した物体との距離を制御部13に送信し、制御部13は、距離算出部15から送信された距離情報を、車内LAN40を介して画像センサ20に送信する。
【0021】
画像センサ20は、車両の周囲を撮像し、これにより得られた画像を用いて物体を検知するものであり、カメラ21と、制御部22と、特徴抽出部23と、位置算出部24とを備えている。
【0022】
カメラ21は、車両の周囲を撮像するものである。制御部22は、超音波センサ10の制御部13からの距離情報を受信すると、カメラ21に撮像指示を出すように構成されており、カメラ21は、制御部22からの撮像指示を受信すると、時間差を設けて2枚の画像を撮像する。カメラ21が1回目、2回目に画像を撮像する時刻をそれぞれ第1時刻、第2時刻とし、第1時刻、第2時刻に車両の周囲を撮像して取得した画像をそれぞれ第1画像、第2画像とする。カメラ21は、取得した画像情報を特徴抽出部23に送信する。
【0023】
特徴抽出部23は、第1画像および第2画像それぞれから特徴点を抽出するものである。ここでは、輝度に特徴を有する画素を特徴点とする。例えば、隣接する2つの画素の輝度の差が所定値より大きい場合に、この2つの画素の一方を特徴点とする。特徴抽出部23は、抽出した特徴点の位置を位置算出部24に送信する。
【0024】
位置算出部24は、特徴抽出部23が抽出した特徴点の位置に基づいて、物体の位置を算出するものである。詳細には、位置算出部24には制御部13が送信した距離情報が車内LAN40、制御部22を介して入力されており、位置算出部24は、特徴点の位置、および、超音波センサ10が検出した物体との距離に基づいて、物体の位置を算出する。
【0025】
位置算出部24は、第1画像から抽出された特徴点の画像内での位置に基づいて、物体の位置の候補を示す点として複数の候補点を設定する。なお、候補点は、後述する範囲Rの中では範囲Rの外よりも密度が高くなるように設定される。また、位置算出部24には、図示しない車速センサ等から車内LAN40を介して車両の移動情報が送信されており、位置算出部24は、複数の候補点の位置、および、車両の移動情報に基づいて、複数の候補点の第2時刻の位置を予測する。そして、位置算出部24は、予測した位置と、第2画像から抽出された特徴点の位置とを比較して、物体の位置を算出する。位置算出部24は、算出した物体の位置をECU30に送信する。
【0026】
ECU30は、制御部31と、物体判定部32とを備えている。制御部31は、車内LAN40を介して超音波センサ10および画像センサ20との通信を行うものである。物体判定部32は、画像センサ20から送信された情報に基づいて、所定の距離よりも近い場所に物体があるか否かを判定するものである。制御部31は、物体判定部32の判定結果に応じて、車内LAN40を介して図示しないモニタ、ブザー等で構成される報知部に指示を出し、運転者への報知等を行う。
【0027】
物体検知装置の作動について説明する。物体検知装置では、超音波センサ10と画像センサ20との連携によって物体を検知する。具体的には、物体検知装置は、
図2に示すステップS11〜ステップS17によって物体の検知を行う。
【0028】
ステップS11では、超音波センサ10が超音波の送受信を行う。すなわち、超音波センサ10の制御部13が送波部12に送波指示を出し、送波部12からマイクロホン11に交流電圧が印加されることによって、マイクロホン11から超音波が送信される。また、マイクロホン11は、超音波を受信すると、受信した超音波の音圧に応じて信号を出力し、受波部14は、マイクロホン11の出力信号にA/D変換などの処理を施し、距離算出部15に出力する。そして、距離算出部15は、受波部14から入力された信号に基づいて超音波を反射した物体との距離を算出する。
【0029】
本実施形態の物体検知装置は、2つの超音波センサ10を用いた三角測量によって物体との距離を検知する。ここでは、
図3に示すように、車両50に搭載された複数の超音波センサ10のうちの2つを超音波センサ10a、10bとして、超音波センサ10aが超音波を送信するとともに、超音波センサ10a、10bが超音波を受信する場合について説明する。超音波センサ10a、10bは、それぞれ第1センサ、第2センサに相当する。
【0030】
超音波センサ10aが超音波を送信してから超音波を受信するまでの時間をT
Aとし、 超音波センサ10aが超音波を送信してから超音波センサ10bが超音波を受信するまでの時間をT
Bとする。そして、時間T
A、T
Bの間に超音波が進む距離をL
A1、L
B1とすると、超音波センサ10aと物体との距離はL
A1/2、超音波センサ10bと物体との距離はL
B1−L
A1/2となる。
【0031】
したがって、超音波センサ10a、10bの位置を示す点をA
1、B
1とし、物体の位置を示す点をP
s1とすると、点P
s1は、点A
1を中心とした半径L
A1/2の円と、点B
1を中心とした半径L
B1−L
A1/2の円との交点となる。
【0032】
ステップS11では、例えば、超音波センサ10a、10bのいずれか一方の距離算出部15が、L
A1、L
B1を用いて点P
s1の位置を求め、点P
s1に物体が存在するものとして物体との距離を算出する。
【0033】
なお、ここでは、物体が超音波センサ10aおよび超音波センサ10bと同じ水平面上にあるものとして物体の位置を算出している。また、距離算出部15は、線分A
1B
1の中点と点P
s1との距離を車両50と物体との距離として算出する。距離算出部15が算出した距離をd
sとする。
【0034】
ステップS12では、制御部13は、距離算出部15によって物体が検知されたか否かを判定し、判定結果、および、距離算出部15が算出した距離d
sを画像センサ20に送信する。例えば、制御部13は、距離d
sが所定の距離以下であるときに物体が検知されたと判定し、距離d
sが所定の距離よりも長いときに物体が検知されなかったと判定する。
【0035】
ステップS12にて物体が検知されたと判定されると、ステップS13にて、位置算出部24は、距離d
sに基づいて検知範囲としての範囲Rを設定し、範囲Rの中でのピッチと外でのピッチを設定する。ここで設定するピッチは、ステップS15で候補点を設定する際に用いられるものであり、ピッチが小さいほど候補点の密度が高くなる。
【0036】
本実施形態では、範囲Rの中での候補点の密度が範囲Rの外での候補点の密度に比べて高くなるようにピッチが設定される。すなわち、範囲Rの中でのピッチが範囲Rの外でのピッチよりも小さくされる。また、範囲Rの中でのピッチは、ステップS14で設定されるピッチよりも小さくされる。範囲Rは、例えば、車両50からの水平方向距離がd
sの点を中心とし所定の幅と高さを有する直方体状の範囲とされる。
【0037】
ステップS12にて物体が検知されなかったと判定されると、ステップS14にて、位置算出部24は、候補点が配置される範囲を所定の範囲とし、候補点のピッチを所定のピッチとする。この所定の範囲は、例えば、ステップS13で設定される範囲Rよりも大きく、車両50から所定の距離にある直方体状の範囲とされる。物体検知装置は、ステップS13、S14からステップS15に進む。
【0038】
ステップS15では、画像センサ20が移動ステレオ演算を行う。詳細には、まず、制御部22がカメラ21に撮像指示を出し、カメラ21が車両50の周囲を撮像する。このとき、制御部22は時間差を設けて2回撮像するようにカメラ21に指示を出す。
【0039】
カメラ21が第1時刻に撮像した第1画像および第2時刻に撮像した第2画像は特徴抽出部23に送信される。特徴抽出部23は、第1画像および第2画像それぞれから特徴点を抽出し、特徴点の位置を位置算出部24に送信する。
【0040】
位置算出部24は、第1画像の特徴点の位置に基づいて、第1時刻におけるカメラ21から見た物体の方向を取得する。そして、物体の位置の候補を示す複数の候補点を設定する。候補点は、ステップS13またはステップS14によって設定された情報に基づいて設定される。
【0041】
すなわち、ステップS13が行われた場合には、ステップS13にて設定された範囲Rおよびピッチに基づいて、候補点を設定する。これにより、範囲Rの中では範囲Rの外に比べて候補点の密度が高くなる。本実施形態では、範囲Rの中と外それぞれにおいて、等間隔のピッチで候補点が並んでおり、範囲Rの中でのピッチ、すなわち、隣り合う2つの候補点の間の距離は、範囲Rの外でのピッチよりも小さくされている。
【0042】
例えば、
図4に示すように、特徴点の位置から物体が直線L
1で示す方向にあると推定された場合、直線L
1上の複数の点が候補点として設定される。ここでは、候補点を5つ設定した場合について説明する。
【0043】
5つの候補点をカメラ21から近い順に点P
11、点P
21、点P
31、点P
41、点P
51とする。点P
21、点P
31、点P
41は範囲Rに含まれ、点P
11、点P
51は範囲Rの外側に位置している。また、点P
11と点P
21との距離は点P
41と点P
51との距離に等しく、点P
21と点P
31との距離は点P
31と点P
41との距離に等しい。また、点P
11と点P
21との距離、点P
41と点P
51との距離は、点P
21と点P
31との距離、点P
31と点P
41との距離よりも長くされている。点P
11、点P
21、点P
31、点P
41、点P
51の高さをそれぞれh
1、h
2、h
3、h
4、h
5とする。水平方向における点P
11、点P
21、点P
31、点P
41、点P
51とカメラ21との距離をそれぞれd
1、d
2、d
3、d
4、d
5とする。
【0044】
なお、候補点が6つ以上設定されるとき、例えば、点P
11点〜P
51に加えて点P
11よりもカメラ21に近い場所に候補点が設定されるときには、この候補点と点P
11との距離が点P
11と点P
21との距離に等しくなるように、各候補点が配置される。また、例えば、点P
11点〜P
51に加えて点P
51よりもカメラ21から遠い場所に候補点が設定されるときには、この候補点と点P
51との距離が点P
41と点P
51との距離に等しくなるように、各候補点が配置される。
【0045】
また、ステップS14が行われた場合には、複数の候補点は、直線L
1上の所定の範囲において等間隔に並ぶように設定される。
【0046】
位置算出部24には、図示しない車速センサ等から車内LAN40および制御部22を介して、第1時刻から第2時刻までの間に車両50が移動した距離に関する情報が送信される。位置算出部24は、送信された情報に基づいて、複数の候補点それぞれについて、第2時刻での位置を予測する。
【0047】
図5に示すように、5つの候補点に対応する第2時刻の候補点をそれぞれ点P
12、点P
22、点P
32、点P
42、点P
52とする。そして、第1時刻から第2時刻までの間にカメラ21が水平方向に移動した距離をΔdとすると、位置算出部24は、点P
12〜点P
52とカメラ21との距離がそれぞれd
1−Δd、d
2−Δd、d
3−Δd、d
4−Δd、d
5−Δdとなると予測する。また、候補点の高さは第1時刻と第2時刻とで変化しないものとする。すなわち、点P
12〜点P
52の高さはそれぞれh
1〜h
5とされる。
【0048】
また、位置算出部24は、第2画像の特徴点の位置に基づいて、第2時刻での物体の方向を取得する。
図5において、直線L
2は、第2画像から検出された第2時刻での物体の方向を示している。そして、予測された点P
12〜点P
52の中から、直線L
2に最も近いものを選択し、選択した候補点に対応する位置を物体の位置とする。例えば、予測された点P
12〜点P
52と直線L
2との関係が
図5に示すようになったときには、点P
32に対応する位置が第2時刻における物体の位置とされる。
【0049】
位置算出部24は、このように決定された物体の位置に基づいて車両50と物体との距離を算出し、制御部22および車内LAN40を介してECU30に送信する。位置算出部24が算出した物体との距離をd
cとする。
【0050】
なお、ここではカメラ21が車両の周囲を2回撮像した後に候補点を設定したが、候補点の設定等を行った後に2回目の撮像を行ってもよい。
【0051】
ステップS16では、物体判定部32は、位置算出部24によって物体が検知されたか否かを判定し、判定結果を制御部31に送信する。例えば、物体判定部32は、距離d
cが所定の距離以下であるときに物体が検知されたと判定し、距離d
cが所定の距離よりも長いときに物体が検知されなかったと判定する。
【0052】
ステップS16にて物体が検知されたと判定されると、制御部31は、ステップS17にて、図示しないモニタ、ブザー等を用いて運転者への報知を行い、物体検知処理を終了する。一方、ステップS16にて物体が検知されなかったと判定されると、物体検知装置はステップS11に進む。
【0053】
以上説明したように、本実施形態では、超音波センサ10が検出した距離d
sに基づいて範囲Rを設定し、範囲Rの中では、範囲Rの外よりも密度が高くなるように候補点を設定する。このように、超音波センサ10が検出した位置に近い範囲でのみ画像センサ20による演算を高分解能で行うことにより、例えば地面からカメラ21までの高さの範囲すべてについて高分解能で演算する場合に比べて、演算量を小さくすることができる。したがって、演算量の増加を抑制しつつ検出精度を向上させることができる。
【0054】
また、本実施形態では、複数の超音波センサ10を用いて物体の位置を検出しているので、1つの超音波センサ10によって位置を検出する場合に比べて、範囲Rを狭く設定することができ、演算量をさらに小さくすることができる。
【0055】
(第2実施形態)
第2実施形態について説明する。本実施形態は、第1実施形態に対して物体検知処理を変更したものであり、その他については第1実施形態と同様であるため、第1実施形態と異なる部分についてのみ説明する。
【0056】
本実施形態では、超音波センサ10および画像センサ20による物体検知を複数回行い、物体が所定の回数検知されたときに物体の検知を確定し、運転者への報知を行う。
【0057】
具体的には、
図6に示すように、本実施形態ではステップS11の前にステップS21が行われ、物体が検知された回数を示すカウンタが0に設定される。そして、ステップS16にて物体が検知されたと判定されると、ステップS22にてカウンタに1が加算され、ステップS23にて、物体判定部32は、カウンタが所定の閾値よりも大きいか否かを判定する。
【0058】
カウンタが閾値よりも大きいと判定されると、物体検知装置はステップS17に進み、物体の検知が確定し、運転者への報知が行われる。一方、カウンタが閾値以下であると判定されると、物体検知装置はステップS11に進み、超音波センサ10および画像センサ20による物体の検知を繰り返す。
【0059】
このように物体検知処理を繰り返すことにより、物体の誤検知を抑制することができる。
【0060】
(第3実施形態)
第3実施形態について説明する。本実施形態は、第2実施形態に対して物体検知処理を変更したものであり、その他については第2実施形態と同様であるため、第2実施形態と異なる部分についてのみ説明する。
【0061】
本実施形態では、超音波センサ10が検出した距離d
sが車内LAN40を介してECU30に送信される。そして、距離d
sと距離d
cとの差が小さい場合には、距離d
sと距離d
cとの差が大きい場合に比べて、早期に物体検知が確定される。
【0062】
具体的には、
図7に示すように、物体検知装置はステップS16からステップS31に進み、物体判定部32は、距離d
sと距離d
cとの差の絶対値が所定の値以下であるか否かを判定する。そして、ステップS31にて|d
s−d
c|が所定の値以下であると判定された場合には、物体検知装置はステップS32にてカウンタに2を加算し、ステップS23に進む。
【0063】
一方、ステップS31にて|d
s−d
c|が所定の値よりも大きいと判定された場合には、物体検知装置はステップS22に進み、カウンタに1を加算してステップS23に進む。
【0064】
このような処理により、|d
s−d
c|が小さい場合には、|d
s−d
c|が大きい場合に比べて物体の検知が早期に確定される。
【0065】
距離d
sと距離d
cとの差が小さい場合には、両センサが同一物体を検出している可能性が高く、また、至近距離に物体が存在することが予想される。したがって、距離d
sと距離d
cとの差が小さい場合に物体の検知を早期に確定させ、運転者への報知や自動ブレーキングを行うことにより、物体との接触等を抑制することができる。
【0066】
なお、本実施形態ではカウンタに加算する値を変化させることにより物体の検知を確定させるまでの処理を早めたが、別の方法によってこの処理を早めてもよい。例えば、|d
s−d
c|が小さいときにカウンタの閾値を小さくするようにしてもよい。また、|d
s−d
c|が小さいときにカウンタと閾値との比較を行わずに物体の検知を確定させるようにしてもよい。
【0067】
(第4実施形態)
第4実施形態について説明する。本実施形態は、第1実施形態に対して超音波センサ10による物体の検知方法を変更したものであり、その他については第1実施形態と同様であるため、第1実施形態と異なる部分についてのみ説明する。
【0068】
第1実施形態では、物体を点として考えて、物体の位置を示す点P
s1を検出したが、
図8に示すような方法によれば、物体を幅がある面として考えて物体位置を検出することができる。
【0069】
すなわち、超音波センサ10aに戻る超音波が反射する位置を示す点をP
s2とすると、点P
s2は、点A
1を中心とした半径L
A1/2の円周上にある。そして、物体を面として考えるなら、この面は点P
s2を通り、直線P
s2A
1に垂直である。
図8では、この面を直線L
3で示している。
【0070】
また、入射角と反射角の関係を考慮すれば、超音波センサ10bに到達する超音波が反射する位置を示す点P
s3は、直線L
3に対して点A
1に対称な点と点B
1とを結ぶ直線と、直線L
3との交点となる。直線L
3に対して点A
1に対称な点をOとすると、線分P
s3A
1の長さは線分OP
s3の長さに等しく、直線OB
1の長さはL
B1となる。したがって、点Oは、点A
1を中心とする半径L
A1の円と、点B
1を中心とする半径L
B1の円との交点である。
【0071】
距離算出部15は、超音波の送受信によって距離L
A1、L
B1が得られたとき、点A
1を中心とする半径L
A1の円と点B
1を中心とする半径L
B1の円との交点をOとし、線分OA
1の中点をP
s2とし、点P
s2を通る直線OA
1の垂線と直線OB
1との交点をP
s3とする。そして、距離算出部15は、線分P
s2P
s3上に物体があるものとして、物体との距離を算出する。
【0072】
(第5実施形態)
第5実施形態について説明する。本実施形態は、第1実施形態に対して超音波センサ10による物体の検知方法を変更したものであり、その他については第1実施形態と同様であるため、第1実施形態と異なる部分についてのみ説明する。
【0073】
図9に示すように、本実施形態の超音波センサ10は、車両の移動の前後で超音波の送受信を2回行う。なお、ここでは、1回目に超音波を送信してから反射波を受信するまでの間に超音波センサ10が移動する距離、および、2回目に超音波を送信してから反射波を受信するまでの間に超音波センサ10は移動する距離を無視して物体との距離を算出する。
【0074】
超音波センサ10が1回目に超音波を送信した位置を示す点をA
2とし、超音波センサ10が1回目に超音波を送信してから反射波を受信するまでの間に超音波が進んだ距離をL
A2とすると、点A
2と物体との距離はL
A2/2となる。
【0075】
また、超音波センサ10が2回目に超音波を送信した位置を示す点をB
2とし、超音波センサ10が2回目に超音波を送信してから反射波を受信するまでの間に超音波が進んだ距離をL
B2とすると、点B
2と物体との距離はL
B2/2となる。
【0076】
距離算出部15は、点A
2を中心とする半径L
A2/2の円と、点B
2を中心とする半径L
B2/2の円との交点P
s4に対応する位置に物体があるものとして、物体との距離を算出する。
【0077】
このように車両の移動を挟んで超音波の送受信を2回行うことにより物体との距離を測定する本実施形態においても、第1実施形態と同様に範囲Rを狭く設定することができ、演算量をさらに小さくすることができる。
【0078】
(第6実施形態)
第6実施形態について説明する。本実施形態は、第5実施形態に対して超音波センサ10による物体の検知方法を変更したものであり、その他については第5実施形態と同様であるため、第5実施形態と異なる部分についてのみ説明する。
【0079】
第5実施形態では、物体を点として考えて、物体の位置を示す点P
s4を検出したが、
図10に示すような方法によれば、超音波の送受信を車両の移動の前後で2回行う場合に、物体を幅がある面として考えて物体位置を検出することができる。
【0080】
すなわち、1回目の送受信で超音波センサ10に戻る超音波が反射する位置を示す点をP
s5とすると、点P
s5は、点A
2を中心とする半径L
A2/2の円周上にある。また、2回目の送受信で超音波センサ10に戻る超音波が反射する位置を示す点をP
s6とすると、点P
s6は、点B
2を中心とする半径L
B2/2の円周上にある。
【0081】
そして、物体を面として考えるなら、この面は点P
s5および点P
s6を通り、かつ、直線P
s5A
2および直線P
s6B
2に垂直である。したがって、上記の2つの円の共通接線をL
4とすると、点P
s5および点P
s6は、上記の2つの円と接線L
4の接点となる。
【0082】
距離算出部15は、距離L
A2、L
B2を用いて、上記の距離L
A2、距離L
B2、点P
s5、点P
s6、直線L
4の関係に基づいて点P
s5および点P
s6の位置を求め、線分P
s5P
s6上に物体があるものとして、物体との距離を算出する。
【0083】
(他の実施形態)
なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。
【0084】
例えば、超音波センサ10によって物体が検知された場合に、候補点を範囲Rの中にのみ設定してもよく、このように候補点を設定することにより、演算量を小さくすることができる。
【0085】
また、距離算出部15が直交復調によって受信波の周波数を求め、この周波数を用いて物体の車両に対する相対速度を算出し、複数の候補点の位置、および、物体の相対速度に基づいて、第2時刻での候補点の位置を予測してもよい。また、相対速度を考慮して範囲Rを設定してもよく、例えば、物体の相対速度が大きいほど範囲Rを広く設定してもよい。