(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下、図面を参照しながら、本開示の実施形態を説明する。
[1.第1実施形態]
[1−1.構成]
本実施形態の運転支援システム2は車両に搭載され、
図1に示すように状態推定装置1を備える。運転支援システム2は、更に、GNSS受信機3、地図メモリ4、光学センサ5、状態量センサ6及び制御装置7を備えてもよい。以下、状態推定装置1を搭載する車両を自車とする。
【0012】
GNSS受信機3は、GNSS用の人工衛星からの送信電波を、アンテナを介して受信する装置である。GNSS受信機3は、自車の絶対位置を測定し、測定した絶対位置を位置データとして状態推定装置1に出力する。
【0013】
地図メモリ4は、通常のナビゲーションに使用するための自車の走行可能な道路の地図データを記憶している。当該地図データには地物を表す地物データ及び道路形状を表す形状データが含まれる。ここでいう地物データは、車両の走行可能な道路に沿って設置されている道路標識を表す標識データを含む。標識データは、当該道路標識の地図上の位置、標識の種類、自車が走行している道路に対する標識の高さ、標識の大きさ及び標識に表示されている文字、標識を支える支柱のデータを含む。形状データは、自車の走行中の道路の境界又は車線の境界を示す境界表示の位置のデータである境界データを含む。
【0014】
光学センサ5は、自車の前方の地物を含む画像を取得する。ここでいう地物には、自車の前方の道路標識などの位置地物と、道路の境界及び車線の境界などの形状地物とが含まれる。光学センサ5は、自車の前方の地物を表す画像を状態推定装置1に出力する。本実施形態においては、光学センサ5は、水平な同一線上に備えられ、光軸が平行となるように配置された一対のカメラであるステレオカメラである。なお、当該ステレオカメラを構成する一対のカメラの焦点距離は同一であるとする。以下、
図2に示すように自車のステレオカメラの設置された位置を基準とした実空間の座標系をカメラ座標系とし、そのカメラ座標系における座標を(Xc,Yc,Zc)で表す。ここで、Xcはステレオカメラが撮像する水平方向の座標を表し、Ycはステレオカメラが撮像する鉛直方向の座標を表し、Zcはステレオカメラが撮像する光軸方向の座標を表す。ここで、Xcは、ステレオカメラの光軸方向を向いた際に左方向に行くほど座標の値は増加し、Ycは、上方向に行くほど座標の値は増加する。これに対して、撮像された画像における座標系を
図3に示すように画像座標系とし、その画像座標系における座標を(u,v)で表す。また、画像中心を(cu,cv)とする。ここで、uは撮像される画像の水平方向における座標を表し、撮像された画像の右方向に行くほど座標の値は増加する。vは撮像される画像の鉛直方向における座標を表し、撮像される画像の下方向に行くほど座標の値は増加する。また、ステレオカメラにより
図4に示すような画像を取得することができる。
【0015】
状態量センサ6は、自車の車速及びヨーレートなどの自車の状態を検出する。状態量センサ6は、検出した自車の状態を表す自車状態量をECUに出力する。ここでいう自車状態量とは、自車の速度及び加速度を含み、状態量センサ6は、具体的には、速度センサ及び加速度センサである。
【0016】
制御装置7は、状態推定装置1からの入力に応じて自車のアクセル、ブレーキ及びステアリングの制御を行うことにより自動運転や運転支援などの機能を実現する装置である。
状態推定装置1は入力される地図データ、画像及び自車状態量により、自車の位置を推定し、推定された自車の位置及び当該自車の位置における道路の形状を制御装置7に出力する。
【0017】
状態推定装置1は、ECUであり、CPU11と、RAM、ROM、フラッシュメモリ等の半導体メモリであるメモリ12と、を有する周知のマイクロコンピュータを中心に構成される。なお、ここでいうECUは自車の電子制御装置である。状態推定装置1の各種機能は、ECUのCPU11が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ12が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、状態推定装置1を構成するマイクロコンピュータの数は1つでも複数でもよい。
【0018】
状態推定装置1の各種機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つ又は複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。
【0019】
[1−2.処理]
次に、状態推定装置1が一定周期で実行する状態推定処理について、
図5のフローチャートを用いて説明する。なお、状態推定処理を開始する前に、状態推定装置1は自車の位置及び車両方位の初期化を行う。すなわちGNSS受信機3から取得する位置情報を自車の位置として設定する。
【0020】
S110で状態推定装置1は、前回の推定結果及び状態量センサ6から取得した自車の速度及び加速度に基づいて今回の処理サイクルでの自車の位置及び車両方位を予測し、当該予測された状態を予測状態として生成する。この場合において、前回の推定結果とは、前回の処理サイクルにおける後述するS170で補正された縦位置のデータ、S240で補正された横位置のデータ及びS250で補正された車両方位のデータのことである。また、最初の処理サイクルの場合には初期化された値に基づいて今回の処理サイクルにおける自車の位置及び車両方位が予測される。なお、自車の位置及び車両方位の予測方法は公知の技術であり、詳細な説明は省略する。
【0021】
S120で状態推定装置1は、S110で生成された予測状態に含まれる車両の位置である予測位置に従って、地図メモリ4から地図データを取得する。
S130で状態推定装置1は、光学センサ5により撮像された画像を光学センサ5から取得する。
【0022】
S140で状態推定装置1は、S130で取得した画像に含まれている地物を検出する。すなわち、光学センサ5により撮像された画像に対して、あらかじめメモリに記憶されている地物データの表す地物の形状パターンのパターンマッチングを行い、当該パターンマッチングにより検出した地物を検出地物とする。なお、ここでいうパターンマッチングは公知の技術であり、説明を省略する。
【0023】
S150で状態推定装置1は、検出地物の自車に対する縦位置を検出する。具体的には、検出地物の自車に対する縦位置は、光学センサ5であるステレオカメラによって同時に撮像された視差のある画像同士を比較することによって算出される。ここで、検出地物の自車に対する縦位置は、検出地物のステレオカメラにおける光軸方向の座標Zcで表される。座標Zcは、同時に撮像された視差のある画像それぞれに共通して写っている検出地物の横方向の位置の差である視差をd、一対のカメラ同士の距離である基線距離をb、一対のカメラそれぞれの焦点距離をfuとして(1)式で表される。当該式において、一対のカメラ同士の距離b及び焦点距離fuは設計時に決まる既知の値であるので、視差dから、検出地物と自車との距離がZcで表される。
【0024】
【数1】
S160で状態推定装置1は、地物の対応付けを行う。具体的には、車両が予測位置に存在するものとして、検出地物に含まれる検出標識及び検出境界と地物データに含まれる標識データ及び形状データに含まれる境界データとの位置関係の比較を行う。比較により導出される車両との相対的な位置関係によって、検出標識及び検出境界それぞれが同一物に該当すると推定される標識データ及び境界データの示す標識及び境界を特定することで対応付けを行う。
【0025】
S170で状態推定装置1は、縦位置の補正を行う。具体的には、自車の進行方向に沿った位置を縦位置として、S120で取得した地図データから特定される予測位置に対する検出標識の縦位置とS150で状態推定装置1により測定された検出標識の縦位置との差分を縦補正量として算出する。状態推定装置1は、当該縦補正量だけ予測位置の表す縦位置を補正し、比較位置として設定する。
【0026】
S180で状態推定装置1は、中心位置検出処理を行うことにより、検出標識の中心位置である標識中心位置を検出する。中心位置検出処理の詳細は後述する。
S190で状態推定装置1は、S180における中心位置検出処理の結果、検出不適状態であるか否かを判定する。検出不適状態であると判定された場合、S200で状態推定装置は道路境界の推定に用いることができる形状地物がS140で検出されているか否かを判定する。S200で、道路境界の推定に用いることができる形状地物が検出されていると判定された場合には、処理を終了する。すなわち、横位置及び車両方位の補正を行わず、処理を終了する。S200で、道路境界の推定に用いることができる形状地物が検出されていないと判定された場合には、S210以降の処理を行う。ここでいう、検出地物として、道路境界の推定に用いることができる形状地物が検出されない状態の例を
図6に示す。すなわち、当該検出されない状態の例としては、光学センサの検出範囲は2本の実線R1の内側であるとすると、点線で示したR2のように、走行している車両などにより検出範囲が遮られる場合がある。このような場合が、形状地物である道路境界Bが検出されない場合の例として挙げられる。
【0027】
S210で、S170で算出した縦補正量があらかじめ決められた閾値以上であるか否かを判定する。
S210で状態推定装置1がS170で算出された縦補正量があらかじめ決められた閾値より大きいと判定した場合には、S220で状態推定装置1は、地図データの再取得を行う。すなわち、状態推定装置1は、S170で設定された比較位置での、標識データ及び境界データを含む地図データを取得する。
【0028】
S230で、状態推定装置1は、地物の再対応付けを行う。具体的には、S160と同様の処理であるが、車両がS170で設定された比較位置に存在するものとして、位置関係の比較を行う点で相違する。
【0029】
S210で状態推定装置1がS170で補正した縦補正量があらかじめ決められた閾値よりも小さいと判定された場合には、状態推定装置1は、S220及びS230の処理を省略し、S240以降の処理を行う。
【0030】
S240で状態推定装置1は、横位置の補正を行う。具体的には以下のように行う。検出標識に対応する標識データが表す検出標識の比較位置又は予測位置に対する横位置を予測横位置とし、S130で取得した画像に基づいて求められる検出標識の自車に対する横位置を検出横位置とする。予測横位置と検出横位置とを比較することにより行われる。ここでいう、検出標識に対応する標識データとは、S160で対応付けがなされた検出標識又はS230で再対応付けがなされた検出標識に対応する標識データのことである。画像に基づいた横位置は以下のように求められる。すなわち、検出標識の自車に対する横位置Xcは、検出標識のステレオカメラにおける光軸方向の座標Zc、検出標識の画像上の座標u、画像中心の横方向の座標cu及びステレオカメラの焦点距離fuから(2)式を用いて求められる。
【0031】
【数2】
予測横位置と検出横位置との差分を車両の横補正量とする。状態推定装置1は、当該横補正量だけ比較位置又は予測位置の横位置を車両の横方向にシフトさせることにより、横位置を補正する。
【0032】
S250で状態推定装置1は車両方位の補正を行う。すなわち、車両方位の補正は以下のように行われる。比較位置又は予測位置において、光学センサが撮像する自車の周辺の境界表示の仮想的な画像を境界データに基づいて推定する。当該仮想的な画像における道路の境界と実際の光学センサにより撮像される画像における道路の境界との比較を行い、それぞれの道路の境界が一致するように、車両方位を補正する。車両方位の補正方法については、公知の技術であり、説明を省略する。
【0033】
なお、S110が状態予測部、S120が地図取得部、S140及びS200が地物検出部、S150が関係検出部、S160及びS230が対応付け部、S170が第1補正部、S180が中心検出部、S210が補正算出部、S240及びS250が第2補正部による処理に相当する。また、地物検出部のうち、標識を検出するものが標識検出部、境界を検出するものが境界検出部に相当する。
<中心位置検出処理>
状態推定装置1が行う中心位置検出処理を
図7に示す。
【0034】
S310で状態推定装置1は、S130で取得した画像を取得する。
S320で状態推定装置1は、S140で取得した検出地物の取得を行う。
S330で状態推定装置1は、検出標識の左右両側に欠損があるか否かを判定する。なお、ここでいう欠損とは、
図8に示すような画像の一部が光学センサにより正しく認識されなかったものをいう。ここでは、光学センサによる地物の検出において画角から標識が外れ、補完が必要となる状態を例として挙げる。欠損はこれに限定されるものではなく、汚れや検出する環境などの要因により光学センサにより地物の検出が適切にされなかった場合をいう。欠損の方法は、具体的には、状態推定装置1は検出標識の横幅と、標識データの示す横幅とを比較することにより行われる。比較の結果、それぞれの横幅の差分があらかじめ決められた閾値である横幅閾値以下である場合には、状態推定装置1は検出標識の横側に欠損が無いと判定する。
【0035】
S330で状態推定装置1により欠損が無いと判定した場合、S340で、検出標識の横幅の中点を標識中心位置として確定し、処理を終了する。
S330で状態推定装置1は、欠損があると判定した場合、S350で当該欠損が検出標識の片側のみに存在するか否かを判定する。具体的には、状態推定装置1は検出された検出標識の画像と標識データの示す検出標識の画像との比較を行う。
【0036】
S350で状態推定装置1が当該画像の比較により検出標識の片側のみに欠損が存在すると判定した場合には、状態推定装置1は標識データの示す標識の輪郭形状を表す画像から、S360で欠損部分の補完を行う。すなわち、標識データには欠損の無い状態の検出標識が含まれているので、状態推定装置1は欠損がある標識に標識データを重ね合わせることで欠損を補完し、S370で状態推定装置1は、補完された検出標識の横幅の中点を標識中心位置として確定する。
【0037】
S350で状態推定装置1が当該画像の比較により検出標識の両側に欠損が存在すると判定した場合には、S380で、状態推定装置1は、検出標識の支柱が検出されるか否かを判定する。ここでいう支柱とは、検出標識を支える柱のことであり、検出標識の横方向の中心に位置する。すなわち、状態推定装置1は、検出標識の支柱と、標識データの示す支柱との比較を行う。当該比較により標識データの示す支柱が検出された場合、すなわちS380で状態推定装置1により検出標識の支柱が検出された場合には、S390で状態推定装置1は、支柱の位置を標識中心位置として確定し、処理を終了する。
【0038】
S380で状態推定装置1により検出標識の支柱が検出されたと判定されなかった場合には、S400で検出不適状態であると判定し、S410で欠損の有無にかかわらず、検出標識の横幅の中点を標識中心位置として確定し処理を終了する。
【0039】
[1−3.効果]
以上詳述した第1実施形態によれば、以下の効果を奏する。
(1a)本実施形態の状態推定装置によれば、縦位置の補正量である縦補正量が大きい場合、補正された自車の縦位置に基づいて自車の横位置及び車両方位を補正することにより、縦位置を補正した場合でも自車の横位置及び車両方位がずれることを抑制することができる。
【0040】
すなわち、
図9に示すように、補正前の自車の位置Pにおいて、地物M1を検出したとする。地物M1に相当する地物データD1が地図データに存在した場合、自車と地物M1との相対的な位置関係を維持したまま、検出された地物M1に対応する地物データD1を重ね合わせるように補正することにより縦位置の補正を行う。当該補正により自車の位置が位置Qに補正されたとする。ここで、縦補正量が小さい場合には、補正前の地物データD2に基づいて、自車の横位置及び車両の補正を行う。このようにすることによりデータの再取得にかかる時間を削減することができる。また、データの再取得にかかる処理負荷の低減を図ることができる。一方、縦補正量が大きい場合、
図10に示すように、前述と同様の縦位置の補正を行った後、自車が位置Qに存在するものとして地物データの再取得を行い、得られた地物データD3との対応付けを行い、自車の横位置及び車両方位の補正を行う。縦補正量が大きい場合には、補正前の位置Pと補正後の位置Qとの自車の横位置及び車両方位のずれが大きいことが予測されるため、データの再取得及び対応付けを行うことでより、自車の状態推定の予測精度を向上させることができる。
【0041】
(1b)本実施形態の状態推定装置によれば、検出不適状態の場合に、道路の境界が検出されるか否かによって検出された検出中心位置を用いて横位置及び車両方位の補正を行うか、当該補正を行わず処理を終了するかを切り替える。これにより、道路の境界が検出できない状態においては、標識中心位置に基づいて自車の位置を補正することができる。一方で、道路の境界が検出できる状態においては、標識中心位置に基づいた自車の位置の補正を行うことにより自車の位置が誤って補正されることを抑制することができる。よって、自車の位置の補正の精度を向上することができる。
【0042】
(1c)本実施形態の状態推定装置によれば、取得された画像において、検出された標識の標識中心位置の比較を行うことで、補正の元となる画像が正確に取れたか否かを判定する。判定に応じて、補正を行うか否かを変更することにより、状態推定の精度を向上させる。
【0043】
[2.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【0044】
(2a)上記実施形態では光学センサ5はステレオカメラであるが、上記実施形態では、光学センサ5はステレオカメラであるが、光学センサ5の形態はこれに限定されるものではない。例えば、レーザレーダであるとしてもよく、単眼カメラであるとしてもよい。光学センサ5としてレーザレーダを用いた場合、レーザレーダがレーザを出射してから当該レーザを受光するまでの時間により自車と標識との距離を測定してもよい。また、この場合、上記実施形態で撮像された画像の代わりに距離が測定された点の集合である測距点群に基づいて各地物と車両との距離を求めてもよい。
【0045】
(2b)また、上記実施形態では、ステレオカメラを用いた三角測量により、自車と地物との距離を測定したが、自車と地物との距離の測定方法はこれに限定されるものではない。例えば地物データに含まれる標識データは、地物の高さを表す地物高さデータ又は地物のサイズを表す地物サイズデータを含むとしてもよい。これにより、状態推定装置1は地物高さデータ又は地物サイズデータと、
図11に示す光学センサ5により撮像された画像における検出地物の高さH又は地物のサイズSとを比較することで、自車と地物との距離を測定してもよい。なお、
図11では、道路脇に存在する標識を検出地物としているが検出地物の種類は、これに限定されるものではない。ガードレールなどの高さH、サイズSがあらかじめ地物高さデータ及び地物サイズデータとして、記憶されているものであればよい。この場合において、地物の高さHに基づいて距離を測定する場合には、逆光の場合や、取得した画像の地物部分の輝度が飽和している場合、模様が無い場合など地物のサイズSが正確に測定できない場合にも自車と地物との距離を測定することができる。また、地物のサイズSに基づいて距離を測定する場合には、路面が急勾配などで車両と地物との相対的な高さHが正確に測定できない場合にも自車と地物との距離を測定することができる。また、これらの地物の高さHに基づいた距離の測定方法と地物のサイズSに基づいた距離の測定方法とを組み合わせて自車と地物との距離を測定しても良い。または車両の周辺状況に応じて、これらの距離の測定方法を選択するように構成されてもよい。具体的には、光学センサ5から取得した画像や、地図データに含まれる周辺環境や道路の形状の情報に基づいて、距離の測定方法を選択するように構成されてもよい。なお、当該距離の測定方法を選択する処理が選択部に相当し、状態推定処理のS150で行われるとしてもよい。
【0046】
(2c)上記実施形態では、自車との距離を測定する地物は標識であるとしたが、自車との距離を測定する地物はこれに限定されるものではない。例えば、信号機などでもよい。
【0047】
(2d)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【0048】
(2e)上述した状態推定装置1の他、当該状態推定装置1を構成要素とするシステム、当該状態推定装置1としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、状態推定方法など、種々の形態で本開示を実現することもできる。