【解決手段】移動体用空間情報算出装置(衝突防止システム30)は、センサ装置21から自移動体の位置を基準にした対象物に関する情報を含むセンサ情報が入力される入力部2と、センサ情報に基づいて対象物を認識する物体認識部3と、物体認識部が認識した対象物について、センサ情報に基づいて衝突予測時間及び対象部角度を求める算出部4と、算出部が求めた衝突予測時間及び対象部角度を用いて衝突予測時間と対象部角度とによる空間情報を生成し生成した空間情報を記憶させる空間情報生成部5とを具備する。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
図1Aは第1の実施の形態に係る移動体用空間情報算出装置を含む衝突防止システムを示すブロック図である。
図1Bは衝突防止システムを搭載する自動車を示す説明図である。
図1A及び
図1Bにおいて同一の構成要素には同一符号を付してある。本実施の形態は自移動体として自動車を例に示しているが、自動車に限定されるものではない。例えば、移動ロボット等に適用することもできる。
【0010】
衝突防止システムにおける関連技術には、例えばLidar装置やイメージセンサを用いるものがある。このような関連技術においては、自車に取り付けたLidar装置等のセンサ情報によって、他車のポイントクラウドデータを取得し、このポイントクラウドデータをレイキャスティング処理によって距離空間(XY空間)に投影する。そして、投影したXY空間上においてパスプランニングを行う。即ち、関連技術における写像は、センサ情報によって取得した角度情報をXY空間に変換するものであり、演算量が膨大となってしまう。なお、関連技術では、他車との衝突をブレーキによって回避することができない場合には、XY空間によって取得したパスプラニングの情報から操舵角の情報に変換する処理も必要である。
【0011】
これに対し、本実施の形態における衝突防止システムは、他車等の対象物に対する衝突予測時間であるTTC(Time to Clash)に相当するτマージンと、対象物の各部(以下、対象部という)が位置する方向を自車の進行方向を基準にして示す角度(以下、対象部角度という)とによるτ−θ空間を採用する。そして、本実施の形態における衝突防止システムの移動体用空間情報算出装置は、自車に取り付けたセンサ情報からτ−θ空間への写像を行う。
【0012】
関連技術におけるXY空間への写像に対して、本実施の形態におけるτ−θ空間への写像に要する演算量は極めて小さい。また、対象部角度θと操舵角との変換は比較的容易であることから、他車との衝突をブレーキによって回避することができない場合においても、τ−θ空間によって取得したパスプラニングの情報を操舵角の情報に変換する処理は極めて少ない演算量で行うことができる。
【0013】
図2及び
図3は本実施の形態におけるτ−θ空間を説明するための説明図である。
図2は自車と他車や障害物等の対象物との位置関係を上方から見たものであり、
図3は
図2に対応したτ−θ空間を示している。
【0014】
図2の例は、道路L上において、自車M1が車道外側線L1とセンターラインL2との間の走行車線上を矢印に示す方向に移動中であることを示している。また、センターラインL2を超えた対向車線上には、他車M2が位置し、他車M2は矢印に示す方向に移動中である。また、車道外側線L1の外側には壁O1が設けられ、壁O1の外側には樹木O2が植えられている。
【0015】
自車M1は進行方向に向けて所定の視野範囲で撮影を行うイメージセンサI1を備えている。このイメージセンサI1で取得したセンサ情報を用いて、τ−θ空間を生成する。
【0016】
図3に示すτ−θ空間は、縦軸に衝突予測時間τをとり横軸に対象部角度θをとって、自車に対する対象物の位置をプロットしたものである。即ち、
図3は、センサ情報をτ−θ空間に写像することにより生成されている。この写像は、センサ情報からτマージン及び対象部角度を算出して、算出した値をτーθ空間にプロットするという極めて少ない演算量で行われる。
【0017】
図3のτ−θ空間において、衝突予測時間τ及び対象部角度θが0のラインは自車(イメージセンサI1)の位置を示す。また、衝突予測時間軸(以下、時間軸)は、自車の進行方向を示している。他車M2は、τ−θ空間上においては、他車MM2で表されている。
【0018】
τ−θ空間は、自車と対象物とが相対的に等速直線運動をしていると仮定した場合の位置関係を示している。時間軸方向は、自車と対象物との距離情報だけでなく、相対速度の情報を含むτマージンを示しており、τ−θ空間の縦軸の値から容易に衝突予測時間を知ることができる。
【0019】
略直線である車道外側線L1及び壁O1等の対象物は、τ−θ空間上においては、衝突予測時間が大きくなるに従って対象部角度が小さくなる曲線の車道外側線ML1及び壁MO1によって示される。同様に、他車M2の進行方向は、τ−θ空間上においては他車MM2に付した矢印に示すように、曲線形状となる。
【0020】
即ち、τ−θ空間は、自車と対象物とが平行方向に相対的には等速直線運動をしていると仮定した場合に、時間の経過による対象物と自車との位置関係の変化に応じたものであり、カメラ等で撮像された画像の状態に近く、自車の運転者が衝突予測時間と対象物位置とについて直感しやすくなっている。
【0021】
図3のτ−θ空間の状態が得られる時間を基準にして、t秒後までの間に自車が存在する領域は、
図3の斜線部にて示すことができる。現在の自車の対象部角度θは自車位置近傍の広い角度範囲に分布しており、t秒後の自車の対象部角度θは進行方向近傍の比較的狭い角度範囲に分布する。換言すると、
図3の領域H1は、自車が所定の速度で前進する場合において、自車が存在する領域、即ち、衝突可能性範囲を示している。なお、
図3の領域H2は、自車が所定の速度で後進する場合における衝突可能性範囲を示している。以下、衝突可能性範囲を、単に衝突範囲という。
【0022】
本実施の形態においては、対象物が衝突範囲に含まれないように、自車の速度及び進行方向を制御する。なお、例えば自車の操舵角に応じてセンサ情報を補正したτ−θ空間を生成することが可能である。
【0023】
図1Aの衝突防止システム30は、
図1Bに示す自動車40に取り付けられたセンサ装置21を有する。センサ装置21は、対象物に関する物理情報(センサ情報)を取得して出力する。センサ装置21としては、例えば対象物の光学情報を取得するカメラや対象物までの距離や角度の情報を取得するLidar装置やレーダ装置等の各種センサが考えられる。
図1Bでは、1台のセンサ装置21がフロントガラス41の上部に取り付けられた例を示しているが、センサ装置21の設置場所及び台数は適宜設定可能であり、例えば、前方確認用だけでなく後方や側方確認用のセンサを採用してもよい。
【0024】
図1Bに示す、運転制御部22、車輪操舵装置25及び駆動装置26は、一般的な自動車に搭載されている駆動機構と同様である。運転制御部22は、操舵制御装置23及び駆動制御装置24を含む。車輪操舵装置25は、車輪42の向きを変更する。なお、操舵制御装置23は、ハンドル43の操作に基づいて車輪操舵装置25を駆動して、前および/または後ろの車輪42を所望の方向に変更することもできる。また、操舵制御装置23は、自動運転制御部20からの制御信号に従って車輪操舵装置25を駆動して、車輪42を所望の方向に変更することができる。
【0025】
なお、自動運転制御部20及び運転制御部22は、CPU等のプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各種機能を実現してもよい。
【0026】
エンジンやモータ等の駆動装置26は車輪42を回転させて自動車40を前方又は後方に進行させることができる。駆動制御装置24は、自動運転制御部20からの制御信号に従って駆動装置26を駆動して、車輪42の回転を制御することができる。また、自動車40には図示しないアクセルペダルが設けられており、駆動制御装置24は、運転者のアクセルペダルの操作に基づいて、駆動装置26を制御して、車輪42の回転速度等を制御することができる。
【0027】
図1Aに示す自動運転制御部20は、空間情報算出部10と、認識物体管理部11と、制御量算出部12で構成される。空間情報算出部10は、センサ情報入力部2、物体認識部3、τ及びθ算出部4、τーθ空間生成部5及び記憶部6により構成されている。
【0028】
センサ装置21からのセンサ情報は、センサ情報入力部2に与えられる。センサ情報入力部2は、所定のレートで入力されるセンサ情報を物体認識部3に順次出力する。物体認識部3は、センサ情報に基づいて人や車両や障害物等の各種物体を対象物として認識する。例えば、物体認識部3は、センサ情報に基づいて物体の形状を認識し、図示しないメモリに記憶されている各種物体の形状特徴との比較によって、対象物として物体を認識する。あるいは、物体認識部3は、画像中の移動体の移動方向前面の形状を認識してもよい。また、物体認識部3は、例えば自動車のフロントビュー又はバックビューにより得られる形状部分を対象物として認識してもよい。物体認識部3は、認識した物体(対象物)に関する情報をτ及びθ算出部4に出力する。物体認識部3は、センサ情報として撮像画像が入力される場合には、対象物の画像上の座標情報や視野角に関する情報をτ及びθ算出部4に出力してもよい。
【0029】
τ及びθ算出部4は、入力されたセンサ情報を用いて、物体認識部3が認識した物体について、τマージンを算出する。τマージンは、自車及び対象物が現在の相対速度を維持した場合において両者が衝突するまでの時間余裕を示す。自車と対象物とが相対的に等速直線運動をする場合には、自車から対象物を見た場合の視野角(以下、対象物視野角という)φを用いてτマージンを下記(1)式によって示すことができる。この(1)式は、τマージンを対象物視野角φとその時間微分値とによって算出可能であることを示している。
τ=φ/(dφ/dt) …(1)
また、文献(Real-time Time-TO-Collision from variation of Intrinsic(Amaury Negre,Christophe Braillon, Jim Crowley, Christian Laugier著))には、τマージンを下記(2)式によって算出できることが示されている。なお、(2)式において、Zは距離を示し、sは対象物のサイズを示している。
τ=−Z/(Z/dt)=s/(s/dt) …(2)
例えば、τ及びθ算出部4は、上記(1),(2)式等の演算によってτマージンを算出する。例えば、自動車に固定されたセンサ装置21の画角(視野範囲)が既知であるとする。
図4は進行方向の撮像画像の一例を示す説明図であり、
図2に対応する画像を示している。即ち、
図2の車道外側線L1、センターラインL2、他車M2、壁O1及び樹木O2は、それぞれ
図4の画像部分PL1,PL2,PM2,PO1,PO2によって示される。他車M2についての対象物視野角は、
図4の角度φである。また、
図4のθ=0の線は、自車の進行方向を示している。
【0030】
センサ装置21の視野範囲は、例えば自車M1のロール軸の方向である進行方向を基準にして既知の所定範囲となる。センサ装置21から見た対象物の方向は、この進行方向を基準にした角度で表すことができる。センサ装置21の視野範囲は既知であるので、撮像画像中の各座標位置と進行方向に対する角度とは1対1に対応する。従って、撮像画像中における対象物の座標位置から対象物視野角φを簡単に求めることができる。
【0031】
例えば、τ及びθ算出部4は、撮像画像中の座標位置と進行方向に対する角度との対応関係を記述したテーブルを用いる。τ及びθ算出部4は、物体認識部3の出力を用いてテーブルを参照することで、対象物視野角φを算出してもよい。
【0032】
また、τ及びθ算出部4は、所定のフレームレートで順次入力される撮像画像を用いて、対象物視野角φ及びその時間微分値を求めて、上記(1)式の演算によりτマージンを算出する。
【0033】
更に、τ及びθ算出部4は、自車に対する対象物の対象部角度θを求める。対象部角度θは、進行方向を基準とした角度で表すことができる。対象部角度θは、撮像画像中の対象物の各部の座標位置から求めることができる。
【0034】
τ及びθ算出部4は、画像中における進行方向を代表対象部角度θ0として、代表対象部角度θ0の周囲の所定の角度範囲が対象物に対応するものとしてもよい。また、例えば、対象物を自動車とした場合、対象物がフロント部分の両端の対象部角度θ1,θ2の間(対象物視野角φ)の範囲にあるとしてもよい。
【0035】
なお、代表対象部角度θ0は、自車の進行方向を基準とした対象物の方向を示す角度(以下、対象物角度という)と考えてもよい。即ち、自動車等の既知の物体については、τ−θ空間上において代表対象部角度θ0の角度方向に既知サイズの対象物を配置してもよく、τ−θ空間はτマージンと対象物角度とによる空間であると表現してもよい。
【0036】
このように、τ及びθ算出部4は、極めて少ない演算量の簡単な演算によって、τマージン及び対象部角度を求めることができる。τマージン及び対象部角度は、τ−θ空間生成部5に供給される。
【0037】
なお、τ及びθ算出部4は、上記(1),(2)式に限らず、公知の種々の手法によってτマージンを算出してもよい。例えば、2D画像から3D画像を生成するSfM(Structure from Motion)技術を採用した場合には、画像上の各ピクセルの3D空間上の配置を求める過程で、τマージンを求めることもできる。また、センサ装置21がLidar装置等によって構成されている場合には、τ及びθ算出部4は、物体認識部3の出力から対象部角度θを直接取得してもよい。なお、Lidar装置やSfMを採用してτマージンを求める場合には、具体的な人や車などの物体を対象物とする必要はなく、各点や所定の点の集まりを物体としてτマージンを算出してもよい。
【0038】
図5はτ及びθ算出部4におけるτマージンの他の算出方法を説明するための説明図である。対象物視野角φの変化は、撮像画像中の対象物のサイズの変化に等しい。
図5は時間t0における撮像画像Pt0と時間t1(=t0+Δt)における撮像画像Pt1とを示している。撮像画像Pt0,Pt1には同一の自動車が撮像されており、自動車のサイズ(高さ)はh0からh1に変化している。この場合には、τマージンは、h0/h1に比例する。即ち、上記(2)式のように撮像画像中の対象物のサイズの変化によって、τマージンを求めることが可能である。この手法においても、上記(1)式と同様に、物体の実際の大きさや物体までの相対距離、相対速度を求めることなく、τマージンを算出することができる。
【0039】
τ−θ空間生成部(空間情報生成部)5は、τマージン及び対象部角度をτ−θ空間にプロットする。τ−θ空間生成部5は、自車M1の情報を取得して、衝突範囲に関する情報を含むτ−θ空間情報を生成する。なお、自車情報としては、自車の速度情報、操舵に関する情報等が考えられる。例えば、自車情報は運転制御部22から取得できる。τ−θ空間生成部5は、生成したτ−θ空間情報を記憶部6に記憶させる。また、τ−θ空間生成部5は、τ−θ空間情報を、認識物体管理部11に供給する。
【0040】
なお、
図1Aでは、τ−θ空間生成部5には、自動運転制御部20の外部から自車情報が入力される例を示したが、センサ情報入力部2に入力されるセンサ情報を用いることで、例えば上述したSfM等の公知の手法により自車情報を算出することも可能である。この場合には、自動運転制御部20の外部からの自車情報の入力を省略できる。
【0041】
このように、空間情報算出部10は、少ない演算量でτマージン及び対象部角度を求めると共に、求めたτマージン及び対象部角度をτ−θ空間にプロットする処理によって、センサ装置21の出力からτ−θ空間への写像を行っている。即ち、本実施の形態の空間情報算出部10における写像は、関連技術における光学情報からXY空間への写像に比べて、極めて少ない演算量で行うことができる。
【0042】
認識物体管理部11は、τ−θ空間上の対象物毎に、衝突予測時間、即ち逐次変化するτ−θ空間情報を管理すると共に、制御量算出部12に出力する。制御量算出部12は、対象物毎のτ−θ空間情報によって、時々刻々変化する自車に対する各対象物の位置や衝突可能性等を判定する。
【0043】
制御量算出部12は、τ−θ空間情報を用いて、パスプランニングを実行する。即ち、制御量算出部12は、対象物が衝突の虞のある物体である場合には、当該対象物との衝突を回避するための制御量を算出して、操舵制御信号及び速度制御信号として出力する。操舵制御信号は操舵量、即ち、自動車40の進行方向を規定する車輪42の向きを制御するためのもので、操舵制御装置23に供給される。速度制御信号は、自動車40の速度を規定する車輪42の回転速度を制御するためのもので、駆動制御装置24に供給される。
【0044】
図6は制御量算出部12における制御量算出の手法の一例を示す説明図である。
図6は
図3のτ−θ空間において、障害物MO3が現れた場合の例を示しており、かつ現在から約4.5秒後までの衝突範囲H1,H2を示している。障害物MO3は、一部が衝突範囲H1内に含まれている。自車と障害物MO3との間で相対的に等速直線運動が行われた場合には、約4秒後に自車が障害物MO3に衝突することを示している。
【0045】
制御量算出部12は、τ−θ空間情報によって障害物MO3が衝突範囲H1内に存在することが示されると、衝突の可能性がある時刻において、障害物MO3及び他の対象物と衝突が生じない位置に、自車の到達目標領域(塗り潰し部)PM1を設定する。次に、制御量算出部12は、到達目標領域PM1に到達するために、所定の間隔毎の操舵方向を決定する。
図6の例では、1秒毎の操舵方向V0〜V4を示している。自車は
図6の太線に示すルートを通過して到達目標領域PM1に到達する。
【0046】
なお、
図6の例は、現在時刻において、所定時間後毎の操舵角を示しているが、実際にはτ−θ空間情報が順次更新され、到達目標領域PM1及び各時間の操舵角も再計算される。また、自車と障害物MO3との相対速度が一定の例を示したが、速度を変化させてもよい。例えば、自車の速度を低下させて相対速度を小さくしてもよい。この場合には、衝突範囲H1は時間軸方向には狭い範囲となり、衝突までの時間余裕が大きくなると共に、到達目標領域PM1の設定範囲が広がる。更に、設定する操舵角が比較的小さくて済む可能性がある。
【0047】
なお、本実施の形態においては、衝突範囲に存在する対象物との衝突を回避するための制御量を算出して、自動的に速度や操舵角を制御する例を説明したが、衝突範囲に対象物が存在することを示す表示又は警告音等の警報を発生するようにしてもよい。制御量算出部12は、例えば、対象物の存在、衝突の回避方法の表示、警告音又は音声による運転者への警告を発生するための信号を生成することができる。モニタ27は、入力された信号に基づいて映像及び音響を出力する。
【0048】
次に、本実施の形態の動作について
図7を参照して説明する。
図7は自動運転制御部20の動作を説明するためのフローチャートである。
【0049】
いま、自車が所定の速度で走行しているとする。センサ装置21は、自車の周囲の物体に関するセンサ情報を所定のレートで取得する。センサ情報は順次センサ情報入力部2に入力され、物体認識部3に出力される(S1)。物体認識部3は、入力されたセンサ情報に基づいて各種物体を対象物として認識し、対象物に関する情報をτ及びθ算出部4に出力する(S2)。
【0050】
τ及びθ算出部4は、入力された情報を用いて、対象物について、自車及び対象物が現在の速度を維持した場合におけるτマージン及び対象部角度を求めてτ−θ空間生成部5に出力する(S3)。
【0051】
τ−θ空間生成部5は、τマージン及び対象部角度をプロットすることでτ−θ空間を生成し、τ−θ空間情報を記憶部6に記憶させる(S4)。また、τ−θ空間生成部5は、自車情報を取得して、衝突範囲に関する情報を含むτ−θ空間情報を生成してもよい。τ−θ空間情報は、認識物体管理部11に供給される。
【0052】
空間情報算出部10は、τマージン及び対象部角度を求めると共に、求めたτマージン及び対象部角度をプロットするという極めて少ない演算量の処理によって、センサ装置21の出力からτ−θ空間への写像を行っている。
【0053】
認識物体管理部11は、対象物毎に、衝突予測時間の管理を行う(S5)。認識物体管理部11は、対象物毎に、逐次変化するτ−θ空間情報を制御量算出部12に出力する。
【0054】
制御量算出部12は、各対象物のτ−θ空間情報によって、時々刻々変化する自車に対する各対象物の位置や衝突可能性等の判定を行い、衝突を回避するための進行方向及び速度を求める。制御量算出部12は、求めた進行方向を得るための操舵量制御信号及び求めた速度を得るための速度制御信号を、運転制御部22に供給する。
【0055】
操舵制御装置23は、操舵制御信号に基づいて車輪操舵装置25を駆動して、車輪42の向きを制御する。また、駆動制御装置24は、速度制御信号に基づいて駆動装置26を駆動して、車輪42の回転速度を制御する。こうして、自車は障害物を回避するように走行が自動制御される。
【0056】
なお、
図7は、τ−θ空間情報に基づいて、衝突の可能性のある対象物に対する回避動作を自動的に行う例を示したが、警告表示や警報等によって運転者に知らせてもよい。また、衝突の可能性のある対象物を発見した場合或いは常時、
図3や
図6等のτ−θ空間を表示して運転者に衝突の可能性等について知らせてもよい。
【0057】
このように、本実施の形態においては、センサ情報に基づいて算出した衝突予測時間及び対象部角度をプロットすることによってτ−θ空間情報を生成する。衝突予測時間及び対象部角度の算出は、極めて少ない演算量で実行することができ、センサ情報からτ−θ空間への写像に要する演算量は極めて少ない。これにより、衝突防止システムの性能を向上させることができる。
(変形例)
図8は変形例において採用される動作を示すフローチャートである。
図8において
図7と同一の手順には同一符号を付して説明を省略する。また、
図9は
図8中のS11,S12の具体的な処理を示すフローチャートである。本変形例では、衝突防止システムにおいて、センサ装置21としてカメラとLidar装置の両方を採用する例について説明する。
【0058】
図10はLidar装置におけるポイントクラウドデータを説明するための図である。自車M1は、Lidar装置RI及びカメラI2を搭載している。カメラI2は、自車M1の前方を撮像した画像をセンサ情報入力部2に出力する。Lidar装置RIは、パルス状に発光するレーザーを対象物に照射し、対象物からの散乱光を測定することで、対象物までの距離及び角度を求めることができる。
図10においては、Lidar装置RIにより検出した対象物の位置等を黒丸印のポイントクラウドデータPDで示している。Lidar装置RIは取得したポイントクラウドデータPDをセンサ情報入力部2に出力する。
【0059】
センサ情報入力部2は、Lidar装置RI及びカメラI2からのセンサ情報を物体認識部3に出力する。物体認識部3はセンサ情報に基づいて認識した対象物に関する情報をτ及びθ算出部4に出力する。
【0060】
τ及びθ算出部4は、センサ情報に基づいて対象物のτマージンτ及び対象部角度θを算出する。τ及びθ算出部4は、τマージン及び対象部角度を統合して用いる。例えば、τ及びθ算出部4は、Lidar装置RI及びカメラI2の各センサ情報によって求めたτマージン及び対象部角度とのマッチング演算によって算出結果が一致していると判定した場合にのみ、算出したτマージン及び対象部角度を用いてもよい。
【0061】
また、τ及びθ算出部4は、Lidar装置RI及びカメラI2の各センサ情報を統合したセンサ情報を用いてτマージン及び対象部角度を算出してもよい。例えば、τ及びθ算出部4は、Lidar装置RIのセンサ情報をカメラI2のセンサ情報によって補正した後、τマージン及び対象部角度を算出してもよい。この場合にも、τ及びθ算出部4は、SfM等の公知の手法を採用することができる。
【0062】
このような変形例においては、
図8のS11において、センサ情報入力部2はLidar装置RIからのポイントクラウドデータの入力を行う。続いて、物体認識部3並びにτ及びθ算出部4においてτマージン及び対象部角度の算出を行う(S12)。
【0063】
具体的には、
図9のS21に示すように、センサ情報入力部2は、ポイントクラウドデータ0の入力を行う。センサ情報入力部2は、カメラI2における撮像の1フレーム期間だけ待機した後(S22)、ポイントクラウドデータ1の入力を行う(S23)。物体認識部3は、ポイントクラウドデータ0に基づいて物体認識を行う(S24)。物体認識部3は、具体的な人や車等の物体だけでなく、点や線、四角などの具体性のないオブジェクトを物体認識してもよく、物体認識処理によって得られた物体を対象物0とする。次に、物体認識部3は、ポイントクラウドデータ1に基づいて物体認識を行う(S25)。この物体認識処理によって得られた物体を対象物1とする。物体認識部3は対象物0,1に関する情報のマッチング演算を行う(S26)。例えば、物体認識部3は、対象物0,1の形状や大きさ等についてのマッチング計算によって、同一の物体であるか否かの判定を行う。例えば、物体認識部3は、ICP(Iterative Closest Point)など既知の技術を使用してマッチングを行っても良い。なお、マッチング対象としては任意の点や、線、など具体的な人や車などのオブジェクトでなくても良い。
【0064】
物体認識部3は、マッチング演算によって、対象物0,1が同一の物体であると判定した場合には、対象物0,1のセンサ情報をτ及びθ算出部4に出力する。τ及びθ算出部4は、対象物0,1のセンサ情報に基づいて、自車から対象物1までの距離及び距離の微分値を算出する(S28)。τ及びθ算出部4は、距離及び距離の微分値からτマージンを算出し、対象物1のセンサ情報から対象部角度を求める(S29)。
【0065】
一方、カメラI2のセンサ情報は、
図8のS1においてセンサ情報入力部2に入力される。そして、カメラI2のセンサ情報に基づいて、τマージン及び対象部角度が算出される(S2、S3)。
【0066】
τ及びθ算出部4は、Lidar装置RI及びカメラI2からのセンサ情報に基づいて算出されたτマージン及び対象部角度を統合する(S13)。統合後のτマージン及び対象部角度がτ−θ空間生成部5に供給される。
【0067】
なお、統合手法として、カメラI2とLidar装置RIで具体的な人や車のようなオブジェクトでマッチングした場合には、例えばノイズの大小等に基づいて、カメラI2又はLidar装置RIのいずれか一方の結果を優先して採用してもよい。マッチングしなかったところは両方の結果を表示したり、両方の結果がマッチングした部分のみを表示したりするようにしてもよい。また、他の統合手法として、τ-θ空間にマッピングする際に各センサの出力を任意の確率分布で掛け合わせても良い。この手法では、複数のセンサによってマッピングされた部分は存在確率が高くなる。また、閾値以上の存在確率となった場所にオブジェクトが存在するとして、認識物体管理部11に管理させてもよい。他の作用は
図1の例と同様である。
【0068】
このように、この変形例においては、τマージン及び対象部角度は、Lidar装置RI及びカメラI2のセンサ情報に基づいて算出されており、いずれか一方のセンサ情報を用いて算出される場合よりも高精度の算出が可能である。
(変形例2)
図11は変形例2におけるモニタの表示画面の一例を示す図である。モニタ27は、制御量算出部12からの出力信号を用いて衝突範囲に存在する対象物に関する情報を表示させることができる。
図11の表示画面27aには、対象物である2台の自動車が異なる枠51,52に囲まれ表示されている。対象物を囲う枠は、衝突予測時間の大小に応じて表示形態、例えば色や線の太さ等を異ならせて表示されている。枠51は、衝突範囲に存在しないことを点線で示し、枠52は、衝突範囲に存在することを太い実線で示している。
【0069】
また、衝突範囲に存在する対象物については、その表示の近傍に衝突予測時間の情報や衝突回避策を表示してもよい。
図11の例では、枠52の自動車までの衝突予測時間52aがxx.xx秒であること、そして、右側にハンドルを切った方がよいことを示す操舵指示表示53が表示されている。なお、衝突範囲に対象物が存在する場合には、モニタ27は警報音を発生させてもよい。運転者は警報音及び表示によって、衝突の危険性がある対象物が存在すること及びこの衝突を回避するための操作等を表示又は音声によって認識することができる。
【0070】
なお、衝突予測時間が所定の時間以上の対象物については、衝突予測時間の表示を省略するようにしてもよい。また、操舵指示表示53に加えて、衝突を回避するために必要な操舵角の情報を表示するようにしてもよい。更に、枠内の面積と当該枠の対象物までの衝突予測時間との積が所定の閾値を超えた場合には、衝突の危険性が増大したと判定して、表示画面27a全体の表示形態を変更するようにしてもよい。例えば、表示の明るさを一定周期で変更していてもよい。
【0071】
この変形例2では、運転者に衝突の危険性をモニタによって確実に認識させることができ、安全運転に一層寄与することができる。
(変形例3)
図12乃至
図18は変形例3を説明するための図である。
図12は自車の周囲の状態を説明するXY空間(距離空間)を示している。
図13は
図12の自車M11のカメラによって取得したセンサ情報に基づくτ−θ空間を示している。
【0072】
図12の例は、自車M11が壁やセンターライン等の走路境界O11,O12によって区画された走行車線L11を走行している状態を示している。この走行車線L11上には、自車M11の進行方向において、静止している障害物M12が存在する。なお、障害物M12は、自車M11を基準にした相対速度が負となる他車であることもある。自車M11は、矢印に示すように、直進方向だけでなく、ハンドルを切って右方向又左方向に進行することもできる。
【0073】
図13のτ−θ空間では、自車M11はτ=0の位置に自車MM11として示してある。また、障害物M12は、τ=t0の位置に障害物MM12として示してある。また、走路境界O11,O12は、それぞれ走路境界MO11,MO12として示してある。なお、走路境界MO11,MO12の極小点τ11、τ12は、自車MM11が最も早く走路境界MO11,MO12に到達する時間を示している。即ち、極小点τ11、τ12は、自車M11が現在の進行方向を基準に走路境界O11,O22のそれぞれに直交する方向に進行した場合における衝突予測時間を示している。なお、範囲MO11a,MO11bは、衝突予測時間の範囲に相当する。また、斜線部は、カメラの画角AF外であることで撮像されないか又は障害物MM12によって遮られて撮像されない未知領域OVを示している。
【0074】
制御量算出部12は、認識物体管理部11の出力に基づいて、自車MM11がt0秒後に障害物MM12に衝突することを認識すると、このt0秒後において自車MM11が障害物MM12を回避する到達目標位置を設定する。
【0075】
図14に示すように、τ=t0の位置において、到達目標位置として設定可能なヨー(yaw)角方向の角度(以下、設定可能ヨー角という)は、範囲AH1,AH2で表される。制御量算出部12は、各対象物及び未知領域OVのいずれにも接しない最大径の円が得られる範囲AH1,AH2上の中心位置のヨー角(到達目標ヨー角)を設定する。
図14の例では到達目標ヨー角AP1を星印によって示してある。例えば、制御量算出部12は、到達目標ヨー角を、設定可能ヨー角のうち大きい範囲の中点に設定してもよい。
【0076】
次に、制御量算出部12は、到達目標ヨー角AP1に到達するために、所定の間隔Δt秒毎にヨー角を設定する。
図15の例では、現在からΔt秒後、2×Δt秒後及び3×Δt秒後に設定したヨー角Ψ0〜Ψ2(四角印)を示している。
【0077】
更に、制御量算出部12は、所定時間経過後のτ−θ空間を推定することで、衝突回避の確実性を向上させることができる。自車MM11に対して相対速度が負の障害物MM12は、時間の経過と共に、τ−θ空間におけるヨー角方向のサイズは大きくなる。
【0078】
図16はΔt秒毎の障害物MM12のτ−θ空間上におけるサイズの変化を示している。
図16のτ−θ空間は、τ及びθ毎に、アフィン変換A(τ,θ)を実行することで推定が可能である。なお、アフィン変換A(τ,θ)は、基本的には、τ-θ空間の位置(ピクセル単位又は所定のブロック単位)毎に異なる写像となる。時間の経過と共に、τ−θ空間における障害物MM12のサイズは大きくなるので、制御量算出部12は、障害物MM12のサイズの時間的な変化を考慮して、到達目標ヨー角AP1に到達するまでの所定の間隔Δt秒毎にヨー角を設定する。これにより、自車M11が障害物M12に衝突する危険性を確実に回避することができる。
【0079】
ところで、
図13乃至
図16の説明では、障害物M12の長さ(奥行き)は考慮されていない。このため、t0後において到達目標ヨー角AP1に到達しても、その後に障害物M12に衝突する可能性がある。障害物M12の長さは、カメラでは撮像できない。即ち、障害物MM12の奥行きは、τ−θ空間上では未知領域OV内に存在する。そこで、制御量算出部12は、障害物MM12の長さを衝突予測時間上においてt1と仮定し、τ=t0+t1の位置において、到達目標ヨー角AP2を設定する。
【0080】
図17はこの到達目標ヨー角AP2を説明するためのものである。τ=t0+t1の位置において、設定可能ヨー角は、範囲AH3で表される。制御量算出部12は、各対象物及び未知領域OVのいずれにも接しない最大径の円が得られる範囲AH3上の中心位置のヨー角(到達目標ヨー角AP2)を設定する。なお、制御量算出部12は、到達目標ヨー角を、範囲AH3の中点に設定してもよい。
【0081】
なお、制御量算出部12は、時間t0+t1経過後の到達目標ヨー角AP2を決定する際には、τ-θ空間上での平行移動や回転を行うアフィン変換A(τ,θ)を実行することで、原点をt0経過後に移動させた場合のτ-θ空間を推定する。
【0082】
制御量算出部12は、到達目標ヨー角AP1,AP2に到達するように、所定の時間間隔で操舵角を決定する。こうして、確実な衝突回避が可能となる。
【0083】
未知領域OVの時間軸方向の長さが異なると、
図17における範囲AH3は変化する。従って、到達目標ヨー角AP2の算出に際して、未知領域OVの時間軸方向の長さを適宜設定することで、より正確に制御量を算出することが可能となる。例えば、未知領域OVの時間軸方向の長さを、障害物MM12の長さとして設定してもよい。
【0084】
図18はこの場合の未知領域OVを説明するためのものである。
図18に示す未知領域OVの時間軸方向の長さOVaは、障害物MM12の長さを推定することにより得たものである。物体認識部3は、例えば、自動車のトップビューの形状によって対象物が乗用車、牽引車、あるいはバス等の車種を判定することも可能である。物体認識部3は、メモリに車両のトップビューの形状と長さとの関係を記憶させておき、当該メモリを参照することで、制御量算出部12は障害物MM12の長さOVaを設定することができる。これにより、到達目標ヨー角AP2の算出精度を向上させることができ、確実な衝突回避が可能となる。
(第2の実施の形態)
図19は第2の実施の形態を示すブロック図である。
図19において
図1Aと同一の構成要素には同一符号を付して説明を省略する。第1の実施の形態におけるτ−θ空間は、自車に対する他車の位置情報を含んでいるが、他車の移動情報は含んでいない。このため、他車が自車の衝突範囲に位置するまでは他車が衝突する可能性があるか否かを判別できない場合がある。また、パスプランニングの十分な性能が得られない場合がある。そこで、本実施の形態においては、対象物の動きを判定することで、制御量算出部12におけるパスプランニングの性能を向上させる。
【0085】
本実施の形態は自動運転制御部20に代えて、対象物動き推定部13を付加した自動運転制御部60を採用した点が第1の実施の形態と異なる。対象物動き推定部13は、認識物体管理部11の出力に基づいて対象物の動きを推定した結果を制御量算出部12に供給する。制御量算出部12は、認識物体管理部11の出力及び対象物動き推定部13の推定結果を用いて、パスプランニングを実行する。
【0086】
なお、対象物動き推定部13は認識物体管理部11の出力だけでなく、自車情報を用いて対象物の動きを推定してもよい。
【0087】
図20は対象物動き推定部13の具体的な回路構成の一例を示すブロック図である。対象物動き推定部13は、第2衝突予測時間算出部61及び第2対象部角度算出部62を有している。第2衝突予測時間算出部61は、認識物体管理部11からのτマージンを微分し、所定時間経過後のτマージンの予測値τeを求めて動き推定部63に出力する。また、第2対象部角度算出部62は、認識物体管理部11からの対象部角度を微分し、所定時間経過後の対象部角度の予測値θeを求めて動き推定部63に出力する。
【0088】
動き推定部63は、τマージン及びその予測値τeと対象部角度及びその予測値θeとを用いて、各対象物の動きを推定した結果を制御量算出部12に出力する。
【0089】
次に、本実施の形態の動作について
図21、
図22を参照して説明する。
図21は自車M21と他車M31との位置関係を上方から示すものである。
図21の縦軸は距離を示しており、自車M21は縦軸に平行な方向に直進する。また、他車M31は自車M21に向かう方向に進行する。
【0090】
いま、他車M31が距離xに位置するときに求められた最新のτマージンが認識物体管理部11に記憶されているとする。例えば、他車M31の現在時刻のτマージンは1秒であるとする。他車M31が自車M21に対して相対的に平行して等速直線運動している場合の他車M31の位置を破線にて示している。対象物の動き推定を行わない場合には等速直線運動か仮定される。この場合、他車M31は、1秒前には距離2x(M31cvbe)に位置し、1秒後には自車M21の側方を通過する位置(M31cvaf)と考えられる。
【0091】
現在時刻において距離xに位置する他車M31は、
図21に示すように、現在時刻から1秒前において、距離4xに位置し、この場合に他車M31cvbeのτマージンがτ=4秒と算出されるものとする。他車M31が等速直線運動をするならば現在時刻には他車M31はτ=3秒の位置に存在する。しかしながら、現在時刻において算出されたτマージンは1秒である。したがって、他車M31は、自車M21に対して相対的に加速度運動をしており、等速直線運動を仮定した場合よりも短時間に自車M21に衝突する可能性があることが分かる。
【0092】
他車M31は、
図22においてはMM31にて示している。τ−θ空間上では、対象物のサイズは衝突予測時間が短くなるほど大きくなる。他車M31cvbeは、
図22においてMM31cvbeによって示される。また、他車M31cvafは、
図22においてMM31cvafによって示される。他車M31は、自車M21の側方を、自車M21に平行な逆方向に進行すると仮定されている。他社M31が自車M21に近づくにつれて、MM31cvbe、MM31、MM31cvafの順に対象部角度θが大きくなっている。
【0093】
また、現在時刻の他車M31の対象部角度と、1秒前の他車M31beの対象部角度とは略同一である。即ち、1秒前から現在時刻までは対象部角度に変化がなく、他車M31は自車M21に向かって進行していることが分かる。
【0094】
対象物動き推定部13は、例えば現在時刻とは異なる時間の予測値τe及びθeを求めて、このような対象物の動きを推定する。対象物動き推定部13は、他車の動きを推定した結果を制御量算出部12に供給している。制御量算出部12は、認識物体管理部11及び対象物動き推定部13の出力に基づいて、自車M21が他車M31に衝突しないように、操舵角及び速度を制御する。
【0095】
本実施の形態においては、例えば異なる時刻のτマージンとその予測値及び対象部角度とその予測値によって、対象物の動きを推定する。τ−θ空間情報と動き推定結果とに基づいて自車のパスプランニングを実行する。これにより、衝突を回避する高精度のパスプランニングを実現することができる。
【0096】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。