特許 7603541 運転支援装置及び運転支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-12

(45)【発行日】2024-12-20

(54)【発明の名称】運転支援装置及び運転支援方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241213BHJP

   G01C 21/28 20060101ALI20241213BHJP

【ＦＩ】

G08G1/16 C

G01C21/28

【請求項の数】 15

(21)【出願番号】P 2021110032

(22)【出願日】2021-07-01

(65)【公開番号】P2023007052

(43)【公開日】2023-01-18

【審査請求日】2024-02-06

(73)【特許権者】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】酒井 貴大

(72)【発明者】

【氏名】坂野 盛彦

(72)【発明者】

【氏名】粂 秀行

(72)【発明者】

【氏名】早川 仁

(72)【発明者】

【氏名】門司 竜彦

【審査官】西畑 智道

(56)【参考文献】

【文献】特開２０１５－０６９２８９（ＪＰ，Ａ）

【文献】特開２０１９－０６７１５９（ＪＰ，Ａ）

【文献】国際公開第２０１６／１５９１７２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｇ０１Ｃ ２１／００－２１／３６

Ｇ０１Ｃ ２３／００－２５／００

(57)【特許請求の範囲】

【請求項1】

少なくとも一つのセンサにより自車両の周囲の区画線を認識する運転支援装置であって、
前記センサが取得したデータから区画線情報を検出する区画線検出部と、
前記検出された区画線情報から区画線種別を推定し、前記区画線種別毎の尤度を推定する区画線種別候補推定部と、
前記自車両の進行方向に対し前記区画線種別の尤度に基づいて区画線種別分岐点を検出し、前記区画線種別分岐点の前後の領域を第一の領域と第二の領域とに分割する区画線種別分岐点推定部と、
前記第一の領域の区画線と前記第二の領域の区画線との統合要否の判定結果に基づいて、対応付けられた前記第一の領域の区画線と前記第二の領域の区画線とを連続的に認識可能な区画線に統合する区画線情報統合部とを備える運転支援装置。

【請求項2】

請求項１に記載の運転支援装置であって、
前記区画線の領域毎に区画線の各々の形状から計算された近似パラメータを用いて区画線間の距離を求めて、前記第一の領域の区画線と前記第二の領域の区画線の各々の形状から計算された近似パラメータが所定の範囲内にある場合に、前記第一の領域の区画線と前記第二の領域の区画線とが統合要と判定する区画線統合要否判定部を備え、
前記区画線情報統合部は、前記区画線統合要否判定部が統合要と判定した場合、前記第一の領域の区画線と前記第二の領域の区画線を連続的に認識可能な区画線に統合する運転支援装置。

【請求項3】

請求項１に記載の運転支援装置であって、
前記センサが取得したデータから車両周囲の状況を推定するシーン理解部と、
前記シーン理解部の出力に基づいて、前記センサごとに決定された前記区画線種別の信頼度を推定し、前記センサ毎の区画線の信頼度を決定する区画線信頼度推定部と、を備え、
前記区画線種別候補推定部は、前記推定された信頼度を参照して、前記センサが取得した輝度及び反射強度の少なくとも一方を用いて、前記区画線のエッジに基づいて区画線種別候補の区画線情報を前記センサ毎に決定する運転支援装置。

【請求項4】

請求項１に記載の運転支援装置であって、
前記区画線種別候補推定部は、自車両の進行方向に一定間隔でサンプリングした区画線の輝度情報と、輝度情報をモデル化した区画線形状モデルとの比較によって区画線種別毎の尤度を計算する運転支援装置。

【請求項5】

請求項１に記載の運転支援装置であって、
前記区画線情報統合部は、区画線種別を利用して前記区画線を対応付け、区画線情報を統合する運転支援装置。

【請求項6】

請求項１に記載の運転支援装置であって、
前記区画線種別分岐点推定部は、区画線種別分岐点の前後の領域に区画線を分割して区画線種別ごとに区画線情報を管理する運転支援装置。

【請求項7】

請求項１に記載の運転支援装置であって、
前記区画線種別分岐点推定部は、複数の区画線種別が割り当てられた場合、区画線種別の尤度の比率に基づいて、区画線種別分岐点を検出する運転支援装置。

【請求項8】

請求項３に記載の運転支援装置であって、
前記シーン理解部は、外乱要因とセンサ種別と区画線種別とに基づいて、区画線の信頼度を設定する運転支援装置。

【請求項9】

請求項３に記載の運転支援装置であって、
前記区画線情報統合部は、前記シーン理解部が推定した車両周囲の状況に基づくセンサ毎の信頼度を用いて、前記センサ毎に尤度が計算された種別の区画線を統合する運転支援装置。

【請求項10】

請求項３に記載の運転支援装置であって、
前記区画線情報統合部は、前記シーン理解部が推定した車両周囲の状況において出現しやすい区画線種別の尤度を用いて、前記センサ毎に尤度が計算された種別の区画線を統合する運転支援装置。

【請求項11】

請求項１に記載の運転支援装置であって、
前記区画線種別候補推定部は、前記検知された区画線情報及び地図情報から区画線の種別を認識し、
前記区画線種別分岐点推定部は、前記地図情報を利用して、前記自車両の走行方向において前記区画線種別の尤度が変化する点である区画線種別分岐点を検出する運転支援装置。

【請求項12】

請求項１に記載の運転支援装置であって、
前記区画線情報統合部は、地図情報から取得したレーン数及び道幅を利用して、前記区画線を統合する運転支援装置。

【請求項13】

請求項１に記載の運転支援装置であって、
前記区画線情報統合部は、地図情報から推定された位置において出現しやすい区画線種別の尤度を用いて、前記センサ毎に尤度が計算された種別の区画線を統合する運転支援装置。

【請求項14】

請求項１に記載の運転支援装置であって、
前記区画線情報統合部は、統合された区画線の位置、種別、及び分岐点の情報を地図情報に登録する運転支援装置。

【請求項15】

少なくとも一つのセンサにより自車両の周囲の区画線を認識する運転支援装置が実行する運転支援方法であって、
前記運転支援装置は、所定の処理を実行する演算装置と、前記演算装置に接続された記憶デバイスとを有し、
前記運転支援方法は、
前記演算装置が、前記センサが取得したデータから区画線情報を検出する区画線検出手順と、
前記演算装置が、前記検出された区画線情報から区画線種別を推定し、前記区画線種別毎の尤度を推定する区画線種別候補推定手順と、
前記演算装置が、前記自車両の進行方向に対し前記区画線種別の尤度に基づいて区画線種別分岐点を検出し、前記区画線種別分岐点の前後の領域を第一の領域と第二の領域とに分割する区画線種別分岐点推定手順と、
前記演算装置が、前記第一の領域の区画線と前記第二の領域の区画線との統合要否の判定結果に基づいて、対応付けられた前記第一の領域の区画線と前記第二の領域の区画線とを連続的に認識可能な区画線に統合する区画線情報統合手順とを備える運転支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転支援装置に関する。

【背景技術】

【0002】

現在、様々な運転支援システムが開発され製品化している。この中で、レーンキープシステム、レーンチェンジシステムなどのアプリケーションを実現するためには、車両に搭載されたセンサを用いて、車両周辺の区画線を高い精度で検出し、追跡する必要がある。

【0003】

区画線を追跡する場合、一般的にはカルマンフィルタが用いられる。この方法では、前時刻までの物体位置から次時刻の物体位置を予測できる。しかし、得られた観測（検出した区画線位置）に対して追跡中の白線を正しく対応付けできなければ予測の精度が低下する。区画線同士の対応付けでは、区画線の位置、形状、種別が用いられる。しかし既存の方法では、一般的に観測した区画線に対して１種類の区画線種別が割り当てられるが、観測範囲が広いセンサの場合、複数の区画線種別が含まれる可能性がある。このため、高速道路の合流車線や交差点付近など区画線種別が頻繁に変化する場所では区画線種別が正しい判別が困難で、区画線の追跡に失敗することがある。

【0004】

本技術分野の背景技術として、以下の先行技術がある。特許文献１（特開２０１０－２４４４５６号公報）には、境界線候補抽出部で車載カメラで取得した画像からパターンマッチングやハフ変換など公知の画像処理により道路上の車線の境界線候補を抽出し、抽出した境界線候補の境界線らしさの確信度を１又は２以上の複数の種類の境界線特徴算出部において尤度で算出し、算出した尤度を境界線特徴統合部で乗算して統合することにより境界線らしさを示す尤度で出力し、出力される尤度のうち最大の尤度を有する境界線候補を、境界線選択部において道路上の境界線として選択し、境界線特徴算出部では、輝度分散や内部エッジ量などを用いて境界線候補の尤度を算出するとともに、路面特徴抽出部などで検出した特徴量により、境界線候補の尤度を変更して出力する境界認識装置が記載されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１０－２４４４５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

レーンキープシステムやレーンチェンジシステムのように周囲の区画線情報を利用するシステムは長期間にわたって安定した区画線情報を必要とする。長期間、安定した区画線情報を得るためには１フレーム分の観測結果だけでは瞬間的な未検知や誤検知が含まれる可能性があるため、各フレームの認識結果を対応付けて、数フレーム分の観測結果を統合する必要がある。特許文献１に開示された技術を適用する場合、観測結果に対して一つの区画線種別しか割り当てられないため、区画線種別が頻繁に変化する場合でも、観測結果に一番多く含まれる一つの区画線種別が割り当てられるため、区画線の対応付けに失敗することがある。また、出力される区画線位置は区画線種別に依存するため、観測結果に対して一つの区画線種別ではなく領域毎に区画線種別を割り当てることが望まれる。

【0007】

そこで本発明は、車両に取り付けたセンサを利用して高い精度で区画線を追跡する運転支援装置の提供を目的とする。

【課題を解決するための手段】

【0008】

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、少なくとも一つのセンサにより自車両の周囲の区画線を認識する運転支援装置であって、前記センサが取得したデータから区画線情報を検出する区画線検出部と、前記検出された区画線情報から区画線種別を推定し、前記区画線種別毎の尤度を推定する区画線種別候補推定部と、前記自車両の進行方向に対し前記区画線種別の尤度に基づいて区画線種別分岐点を検出し、前記区画線種別分岐点の前後の領域を第一の領域と第二の領域とに分割する区画線種別分岐点推定部と、前記第一の領域の区画線と前記第二の領域の区画線との統合要否の判定結果に基づいて、対応付けられた前記第一の領域の区画線と前記第二の領域の区画線とを連続的に認識可能な区画線に統合する区画線情報統合部とを備える運転支援装置。

【発明の効果】

【0009】

本発明の一態様によれば、車両に取り付けたセンサを利用して高い精度で区画線を追跡できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

【図面の簡単な説明】

【0010】

【図1】実施例１の運転支援装置の構成を示す図である。

【図2】実施例１の区画線検出部が実行する処理のフローチャートである。

【図3】実施例１の区画線候補抽出方法の一例を示す図である。

【図4】実施例１の区画線候補抽出方法の一例を示す図である。

【図5】実施例１の一定の幅を持った区画線の検出方法の一例を示す図である。

【図6】実施例１の区画線種別候補推定部が実行する処理のフローチャートである。

【図7】実施例１の区画線種別候補推定方法の一例を示す図である。

【図8】実施例１の区画線情報の一例を示す図である。

【図9】実施例１の区画線種別統合部が実行する処理のフローチャートである。

【図10】実施例１の統合された区画線情報の一例を示す図である。

【図11】実施例１の区画線種別分岐点推定部が実行する処理のフローチャートである。

【図12】実施例１の区画線種別分岐点推定方法の一例を示す図である。

【図13】実施例１の区画線統合要否判定部が実行する処理のフローチャートである。

【図14】実施例１の区画線信頼度推定部が実行する処理のフローチャートである。

【図15】実施例１の区画線情報統合部が実行する処理のフローチャートである。

【図16】実施例１の区画線情報統合方法の一例を示す図である。

【図17】実施例１の区画線情報統合方法の一例を示す図である。

【図18】実施例２の運転支援装置の構成を示す図である。

【図19】実施例２のシーン理解部が実行する処理のフローチャートである。

【図20】実施例２のシーン理解方法の一例を示す図である。

【図21】実施例２の区画線種別統合部が実行する処理のフローチャートである。

【図22】実施例２の区画線種別統合部で利用するリストの一例を示す図である。

【図23】実施例２の区画線種別統合部が実行する処理のフローチャートである。

【図24】実施例３の運転支援装置の構成を示す図である。

【図25】実施例３の区画線種別候補推定部が実行する処理のフローチャートである。

【図26】実施例３の区画線候補種別推定方法の一例を示す図である。

【発明を実施するための形態】

【0011】

＜実施例１＞
図１は、本発明の実施例１の運転支援装置１００の構成を示す図である。図１に示す運転支援装置１００は、乗用車などの移動体に搭載されており、外部システム３００と組み合わされて使用される。以下では、運転支援装置１００が搭載される移動体を「自車両」と称して説明する。また、運転支援装置１００は予め定められたタイミングで（例えば５０ミリ秒毎に）繰り返し動作する。そして、運転支援装置１００は、自車両に搭載されたカメラ、ＬｉＤＡＲなどの各種センサ１１０からデータを取得する機能、車両から速度、ハンドル転舵角、シフトブレーキ、ウィンカーの状態などの車両情報１２０を取得する機能を有する。

【0012】

図１に示すように、運転支援装置１００は、その機能として、区画線検出部２００、区画線種別候補推定部２１０、区画線種別統合部２２０、区画線種別分岐点推定部２３０、区画線統合要否判定部２４０、区画線信頼度推定部２５０、及び区画線情報統合部２６０を有し、演算の結果を外部システム３００へ出力する。運転支援装置１００は、例えば、演算装置であるＣＰＵやＧＰＵ、記憶デバイスであるＲＡＭやＲＯＭ等を有しており、ＲＯＭに格納された所定のプログラムをＲＡＭに展開してＣＰＵ実行することによって、これらの機能を実現できる。なお、運転支援装置１００が有する機能の一部又は全てをＦＰＧＡ、ＡＳＩＣなどのハードウェアの演算装置を用いて実現してもよい。

【0013】

運転支援装置１００には、自車両に取り付けられたセンサ１１０が取得したデータ、及び自車両からＣＡＮなどのネットワークを経由して取得した車両情報１２０が入力される。運転支援装置１００は、自車両に搭載されたセンサ１１０（例えばカメラ、ＬｉＤＡＲ）から所定のフレームレートで順次データを取得する。車両情報１２０は、自車両から得られる自車両の移動に関する情報、及びこれに準ずるものを指しており、例えば車両速度、ハンドル角度、車両旋回半径、アクセルやブレーキの状態、シフトレバーの状態などである。車両情報１２０もセンサ１１０から得られる情報と同様に所定のフレームレートで順次取得される。

【0014】

区画線検出部２００は、センサ１１０から得られるデータから区画線を検出する。区画線の検出は公知の方法で検出することを想定しており、例えば画像から区画線を抽出する場合には、Line Segment Detector(LSD)、ハフ変換などがある。区画線検出部２００は、検出した区画線の位置情報を区画線種別候補推定部２１０へ出力する。

【0015】

区画線種別候補推定部２１０は、区画線検出部２００が検出した各区画線が属する可能性が高い区画線種別を推定する。区画線種別の推定は、公知の方法、例えば区画線種別のパターンを利用したパターンマッチング、区画線種別毎の周期性をモデル化した区画線モデルを利用できる。区画線種別候補推定部２１０は、区画線種別判定結果を区画線種別統合部２２０へ出力する。

【0016】

区画線種別統合部２２０は、区画線種別候補推定部２１０が推定した各区画線の種別の情報を区画線ごとに統合する。統合した結果、尤度が一定以上となる区画線種別を区画線の種別として割り当てる。区画線種別統合部２２０は、割り当てられた区画線種別を区画線種別分岐点推定部２３０に出力する。

【0017】

区画線種別分岐点推定部２３０は、区画線種別統合部２２０が区画線を統合した結果、一つの統合された区画線に複数の区画線種別が割り当てられた場合に、区画線種別が変化する点を検出する。統合された区画線に含まれる区画線種別の割合を利用して区画線種別が変化する点を検出できる。区画線種別が変わる変化点が見つかった場合に、変化点の前後の区画線の領域を領域に分割して、分割された領域に区画線種別を割り当てる。区画線種別分岐点推定部２３０は、分割された領域毎に割り当てられた区画線種別を区画線統合要否判定部２４０に出力する。

【0018】

区画線統合要否判定部２４０は、分割された区画線を統合する必要があるかを判定する。判定の結果は区画線情報統合部２６０で利用される。なお、区画線統合要否判定部２４０は、道路構造が複雑で、斜め方向の白線が多く存在する場合に有効なので、道路構造が簡単な場合は設けなくてもよい。

【0019】

区画線信頼度推定部２５０は、検出された区画線に信頼度を付与する。例えば、一般的にカメラで検出した区画線は車両から遠いほど信頼度を低くする、複数のセンサ１１０で同じ場所に区画線が検出された場合には信頼度を高くするなどによって信頼度を決定する。区画線信頼度推定部２５０は、推定された信頼度を区画線情報統合部２６０へ出力する。

【0020】

区画線情報統合部２６０は、追跡している区画線と新たに観測された区画線を対応付け、対応付けられた区画線の情報を統合して、出力対象の区画線であるかを判定する。例えば区画線の形状、位置、種別などを利用して区画線同士を対応付ける。また、道路構造令に定められた車線幅を参照して、不必要な区画線については出力対象から除外してもよい。区画線情報統合部２６０は、出力対象と判定された区画線の情報を外部システム３００へ出力する。

【0021】

前述した各機能ブロックによる区画線の検出は、車両の左側及び右側の区画線に別々に行うとよい。なお、道路構造例において定められるルールを参照して、車両の両側で検出された区画線の整合性を判定してもよい。

【0022】

外部システム３００は、例えばレーンキープシステム、レーンチェンジシステムなど区画線情報を利用して自車両の走行可能な車線を認識するシステムや、自車両が走行した経路の周辺環境をセンシングして地図を生成するアプリケーションなどである。

【0023】

次に、運転支援装置１００が実行する処理について、センサ１１０としてカメラ及びＬｉＤＡＲの少なくとも一つを利用した場合についてフローチャートを参照して説明する。

【0024】

図２は、区画線検出部２００が実行する処理のフローチャートである。

【0025】

まず、Ｓ２０１にて、区画線検出部２００は、取得したデータから区画線の候補となる線分を抽出する。区画線の候補は、一般的な白線やオレンジ線で構成された区画線の他、ボッツドッツやキャッツアイなどで構成された区画線も含む。図３に区画線候補抽出方法の一例を示す。図３は、自車両前方に取り付けたカメラが取得した画像から変換された俯瞰画像である。区画線候補は公知の方法で検出することを想定しており、例えば、Ｌｉｎｅ Ｓｅｇｍｅｎｔ Ｄｅｔｅｃｔｏｒ（ＬＳＤ）、ハフ変換などの方法を用いて、画像から区画線を抽出できる。また、車両姿勢に基づいて路面推定を行い、路面上にある点列のうち反射強度が一定以上の点列を抽出する方法を用いて、ＬｉＤＡＲで取得した点列から区画線候補を検出できる。

【0026】

次に、Ｓ２０２にて、区画線検出部２００は、Ｓ２０１で抽出した区画線候補のノイズを除去するためにフィルタリングする。ＬＳＤなどの方法で線分を抽出すると、路面のひび割れ、電柱や建物の影の他に、図３（ｂ）に示すように路面標示も抽出されるためである。例えば、自車両に対する線分の向きと長さを用いてフィルタリングする方法がある。具体的には、まず図４に示すように自車両の向きを基準として線分の傾きを算出し、線分の長さを重みとして、－９０°から＋９０°の範囲で所定の角度間隔（例えば１０°ずつ）に分割されたヒストグラムを作成する。そして、図３（ｃ）に示すように、作成されたヒストグラムのうち、最も値の大きいもの±１０°の範囲のみを残して、他を廃棄する。前述したヒストグラムは、１０°毎に区切り、線分の長さを重みとして作成し、最後最も大きいもの±１０°の結果のみを残したが、ヒストグラムの分割方法、重みの付け方法、残す線分の決め方は、様々な方法を採用でき、これに限定するものではない。これらの数値はセンサ１１０の分解能などから決定されるべきである。また、前述の説明ではヒストグラムを生成して残す線分を決定したが、例えば自車両の向きに近い線分を残す方法を利用してもよい。

【0027】

次に、Ｓ２０３にて、区画線検出部２００は、Ｓ２０２の結果に基づいて線分をグルーピングする。すなわち、破線や白線の擦れなどによって一本の区画線が複数の線分に分割されて出力された場合に、当該複数の線分が同一のグループに属するかを判定して、線分をグルーピングする。例えば、線分のグルーピングは、区画線候補の自車両からの位置と角度を利用して、所定の閾値以内のものを同一のレーンを区画する区画線候補とする。区画線候補の位置は、例えば検出した各区画線候補を直線で近似して得られたパラメータの内、区画線候補の車両横方向の位置、及び車両進行方向に対する傾きから計算した角度を区画線の角度から算出するとよい。本実施例では、車両横方向に見て区画線同士の位置の差が０．５ｍ以内の区画線に対する角度の誤差が１０°以内となる線分を対応付けた。

【0028】

次に、Ｓ２０４にて、区画線検出部２００は、区画線候補の中から区画線を抽出する。ここで区画線とは、一定の幅を持った線を指す。図５に一定の幅を持った区画線の検出方法の一例を示す。図５では車両の進行方向にサンプリング間隔を一定の幅で設定し、設定したサンプリング線上を走査して輝度が暗から明、明から暗に変化する点（区画線のエッジ）の組を検出する。検出した点の組の内、所定の幅を持つものを区画線として抽出する。今回、所定の幅とは道路構造令に路面標示で定義されている０．１５～０．４５ｍの幅を持つものとした。しかし、この幅の設定は検出したい対象を想定して、さらに広く又は狭くしてもよい。

【0029】

なお、区画線種別にボッツドッツやキャッツアイなどの車両の進行方向の長さが短いものも含める場合、前述したサンプリング間隔が長いと区画線が検出できない場合がある。このため、カメラやＬｉＤＡＲでボッツドッツやキャッツアイを検出すれば、ボッツドッツやキャッツアイにも本実施例の方法を適用できる。

【0030】

次に、Ｓ２０５にて、区画線検出部２００は、Ｓ２０４で抽出した区画線位置に基づいて、以降の処理で利用する区画線位置を算出する。区画線位置は、一定間隔で設定されたサンプリング線と区画線の交点の内、車両に近い側の交点を区画線位置とする。これにより、検出した区画線が点列として表現される。今回、区画線位置を一定間隔ごとにサンプリングした点列で表現したが、線の状態で扱ってもよい。

【0031】

次に、区画線種別候補推定部２１０について図６を参照して説明する。まず、Ｓ２１１にて、区画線種別候補推定部２１０は、自車両から一定間隔となるようなサンプリング間隔を設定し、サンプリング線上の該当区画線の輝度を抽出する（Ｓ２１１）。サンプリング間隔は今回１．５ｍと仮定して説明するが、他の間隔を採用してもよい。

【0032】

次に、Ｓ２１２にて、区画線種別候補推定部２１０は、Ｓ２１１で抽出したサンプリング間隔ごとに路面の区画線の輝度をプロットしたグラフ形状と、予め輝度をモデル化した区画線形状のモデルをテンプレートマッチングなどの既知の方法で照合して一致度を求める。区画線形状のモデルとは、図７に示すような縦軸に輝度横軸に車両からの横位置とったモデルである。例えば、図７（ａ）に示すような一重白線の場合は、区画線形状モデルが毎周期現れる。図７（ｂ）に示すようなゼブラ模様の場合は、ピークの位置と太さが変化する区画線形状モデルが現れる。図７（ｃ）に示すようなオレンジ線と一重白線からなる二重線の場合は、オレンジ線側のピークが少し低くなった区画線形状モデルが毎周期現れる。図７（ｄ）に示すような白破線と白一重区画線からなる区画線の場合は、ピーク数の異なる区画線形状モデルが一定周期で現れる。このように検出したい区画線を区画線種別ごとに予めモデル化しておく。サンプリング線ごとに検出した輝度をプロットしたグラフ形状がどの区画線形状モデルと一致するかは、テンプレートマッチングの結果、最も一致しているものを選択するとよい。また、検出した輝度のグラフ形状と区画線形状モデルの横位置にはズレが発生するが、このズレは区画線の車両横位置分ずらすことで解消する。最終的な区画線種別毎の計算は、どの区画線形状グラフが決められた領域内、例えば車両から前方５０ｍの範囲でそれぞれどの程度出現したかに基づいて決定する。この各区画線種別でどの区画線形状モデルが何％出現するかという閾値は、サンプリング間隔ごとに異なるので、設定されたサンプリング間隔で予め求めておく。今回、検出範囲を５０ｍと設定して１０ｍ毎の範囲で区画線種別を求めて、該当する区画線種別の尤度を０．２ずつ加算することで、各区画線種別の尤度を求めた。今回、このような方法で尤度を算出したが、追跡している区画線情報に基づいて、ベイズ推定などによって区画線種別の尤度を計算してもよい。

【0033】

次に、Ｓ２１３にて、区画線種別候補推定部２１０は、Ｓ２１２で推定した区画線ごとの区画線種別の尤度を、図８に示すようにリストに登録する。このリストには、図８に示すように、区画線を検出したセンサ種別、区画線ＩＤ、区画線種別毎の尤度、区画線を表現する点列の座標が登録される。

【0034】

次に、区画線種別統合部２２０について図９を参照して説明する。まず、Ｓ２２１にて、区画線種別統合部２２０は、複数のセンサ１１０で取得したデータの座標を変換して、座標系を統合する。例えば、自車両を中心とした座標系を、車両後方のタイヤの中心を原点として、前方を＋ｘ、左方を＋ｙ、鉛直上向きを＋ｚ、各軸左回りの回転を＋と定義する。この時、各センサ１１０から得られたデータは、この座標系からセンサ１１０取り付け位置姿勢分のオフセットを持つことになる。このため、このオフセットを解消するように各データを変換することで、全てのデータを同一の座標系上に変換できる。なお、取得されたデータが既に同一の座標系上で表現されている場合は、Ｓ２２１の処理は必要ない。

【0035】

次に、Ｓ２２２にて、区画線種別統合部２２０は、各センサ１１０で取得した区画線を対応付ける。区画線形状を示す点列から計算された近似パラメータ間の距離を用いて、一定の範囲内にある区画線を対応付ける。点列を近似したパラメータは直線、二次曲線、円の近似パラメータをそれぞれ求めて、近似パラメータと点列の距離を計算して、最も距離が小さくなるものを最も適した近似パラメータとする。近似パラメータ同士の距離の計算方法、及び点列と近似パラメータ間の距離計算方法は公知のため説明を省略する。さらに、この時に追跡している区画線とも同時に対応付ける。追跡している区画線との対応付けも、前述の方法を用いる。また、今回近似パラメータを利用して対応付けたが、対応付け方法はこれに限定されない。

【0036】

次に、Ｓ２２３にて、区画線種別統合部２２０は、Ｓ２２２で対応付けた区画線の種別の尤度を統合する。尤度は、以下の式を用いて統合する。

【0037】

【数1】

【0038】

式（１）にて、Ｔｉは各区画線種別が正解であること、Ｓｆｃはフロントカメラの区画線種別判定結果、ＳｌはＬｉＤＡＲの区画線判定結果、Ｐ（Ｓｆｃ│Ｔｉ）はフロントカメラで認識した結果が各区画線種別である尤度、Ｐ（Ｓｌ│Ｔｉ）はＬｉＤＡＲで認識した結果が各区画線種別である尤度、Ｐ（Ｔｉ）が事前確率、Ｐ（Ｔｉ│Ｓｆｃ，Ｓｌ）が事後確率である。ここで、事前確率は対応付いた追跡している区画線に登録されている各尤度を指す。また今回、ベイズ推定による尤度統合方法を示したが、各センサ１１０で推定した区画線種別の尤度の平均をとる、センサ種別毎の重みを加えて加重平均をとるなどでもよい。

【0039】

次に、Ｓ２２４にて、区画線種別統合部２２０は、Ｓ２２３で統合した尤度に基づいて区画線の種別を判定する。今回、尤度が０．４以上となっているものを区画線種別として付与した。ここで、複数の区画線の尤度が高くなっている場合は、複数の区画線種別を付与する。また、今回尤度の閾値を０．４としたが、この数値は任意に決めてよい。

【0040】

次に、Ｓ２２５にて、区画線種別統合部２２０は、メモリ上の区画線情報を示すリスト（図１０）に登録する。リストには、区画線ＩＤ及び各区画線種別の尤度が登録される。

【0041】

次に、区画線種別分岐点推定部２３０について図１１を参照して説明する。まず、Ｓ２３１にて、区画線種別分岐点推定部２３０は、区画線分岐点候補を設定する。区画線種別の分岐点候補の設定は図１０で設定した区画線種別とそれぞれの種別の尤度に基づいて割合を計算し、その割合から分岐点の候補を設定する。分岐点候補の設定例を図１２（ａ）に示す。この例は図１０の区画線ＩＤ３の区画線を示す。図１０のリストから該当区画線の種別は、一重区画線とゼブラゾーンの種別が割り当てられている。そして、一重区画線の尤度が０．４、ゼブラゾーンの尤度が０．４となっている。ここから、二つの方法で候補点を決定する。一つは種別間の尤度の比率である。尤度の比率から１対１となっているため、図１２（ａ）に示す検出距離Ｒの中心に候補点を設定する。もう一つは検出領域に対する比率である。今回、区画線種別の尤度がどちらも０．４となっているので自車両側から検出距離Ｒ×０．４、検出距離の限界側（自車両から遠方側）から検出距離Ｒ×０．４の場所に設定する。この方法で設定した場合、図１２（ａ）のＰのように３点の候補点が設定される。なお、この処理は一つの区画線に対して複数の区画線種別が割り当てられている場合のみ実施される。また、候補点の設定方法は、この方法に限定されない。

【0042】

次に、Ｓ２３２にて、区画線種別分岐点推定部２３０は、Ｓ２３１で設定された分岐点候補から区画線分岐点を推定する。区画線分岐点の推定は、設定された分岐点候補の位置で分割した後に、分割した領域毎に区画線種別毎の尤度を計算する（Ｓ２１２）。例えば、図１２（ａ）に示す点Ｐの内、真ん中の点で分割した場合、図１２（ｂ）に示すように領域Ｒ１と領域Ｒ２に分割される。この分割された領域毎にＳ２１２の処理を実行する。今回の例では一重区画線とゼブラゾーンの尤度が、それぞれの対応する領域で最も高くなる点Ｐを求める。図示した例だと、Ｒ１でゼブラゾーンのＲ２で一重区画線の尤度が最も高くなる真ん中の点Ｐが変化点である。また、今回、領域毎の区画線種別の尤度が高くなる点を変化点としたが、分岐点の区画線モデルや画像とのテンプレートマッチングなどを利用して、区画線分岐点を求めてもよい。なお、この処理は一つの区画線に対して複数の区画線種別が割り当てられている場合のみ実施する。

【0043】

ここまでの処理で分岐点が検出された区画線がある場合は（Ｓ２３３でｙｅｓ）、Ｓ２３４の処理へ進み、分岐点が無い場合は（Ｓ２３３でｎｏ）、区画線種別分岐点推定部２３０の処理を終了する。

【0044】

Ｓ２３４にて、区画線種別分岐点推定部２３０は、検出した分岐点に基づいて領域を図１２（ｂ）のように分割する。分割は分岐点を基準に自車両近傍側、自車両遠方側とした。

【0045】

Ｓ２３５にて、区画線種別分岐点推定部２３０は、分割された領域毎に区画線情報をリストに再登録する。Ｓ２３５では、区画線種別のみではなく、各領域に属している区画線を表現するための点列も分割される。また併せて、分岐点の情報（位置、及びどの区画線をどの区画線に分割したか）も登録する。

【0046】

次に、区画線統合要否判定部２４０について図１３を参照して説明する。区画線統合要否判定部２４０は、分割した区画線情報を再結合するか否かを判定する。一つ前の処理で区画線種別分岐点が検出されていない場合は、区画線統合要否判定部２４０の処理をスキップする。まず、Ｓ２４１にて、区画線統合要否判定部２４０は、分岐点情報を読み込む。

【0047】

次に、Ｓ２４２にて、区画線統合要否判定部２４０は、Ｓ２４１で読み込んだ分岐点情報を用いて、各領域に属する点列位置間の距離を計算する。これは、交差点前後の点列を取得した場合など、遠く離れた区画線を分割する意図がある。今回、破線の閾値を基準として点列間距離が３ｍ以上離れている場合に分割することとした。それ以外の場合はＳ２４３へ移る。

【0048】

次に、Ｓ２４３にて、区画線統合要否判定部２４０は、分割した領域毎の点列を利用して近似パラメータを計算する。近似パラメータは既に説明したため説明を省略する。ここでは、求めた近似パラメータを利用して点列間の角度を計算する。ここで、角度が所定の閾値以上に大きい場合は、車線増加部分などレーンが増える状況であることが考えられるため、分割することとした。

【0049】

次に、Ｓ２４４にて、区画線統合要否判定部２４０は、区画線を分岐点付近の区画線を統合するか分割するかという情報を登録する。登録された情報は以降の処理で利用される。

【0050】

次に、区画線信頼度推定部２５０について図１４を参照して説明する。区画線信頼度推定部２５０は、ここまでに求めた区画線情報に信頼度を付与する。区画線信頼度推定部２５０では、まず、Ｓ２５１にて、区画線信頼度推定部２５０は、区画線情報の座標を変換し、同一の座標系に統合する。座標変換の方法は既に説明したため説明を省略する。

【0051】

次に、Ｓ２５２にて、区画線信頼度推定部２５０は、座標変換した区画線を利用して区画線間を対応付ける。区画線は、分割された区画線単位で対応付ける。また、ここでも同様に過去に追跡している区画線とも対応付ける。区画線の対応付け方法は既に説明したため説明を省略する。

【0052】

次に、Ｓ２５３にて、区画線信頼度推定部２５０は、区画線ごとの信頼度を推定する。センサ１１０の観測範囲の重複領域において、同一の区画線が各センサ１１０で検出できたか否かに基づいて信頼度を推定した。例えば、カメラとＬｉＤＡＲで自車両前方に重複領域を持つ場合に、一方のセンサ１１０のみで検出された区画線の信頼度を０．５、両方のセンサ１１０で検出された区画線の信頼度を１．０とした。区画線を検出できたセンサ１１０の数で信頼度を設定する例を説明した、追跡した回数や、追跡可否からベイズ推定にて区画線の存在確率を計算して、それらを信頼度としてもよい。

【0053】

次に、区画線情報統合部２６０について図１５を参照して説明する。区画線情報統合部２６０は、検出された区画線情報を統合する。まず、Ｓ２６１にて、区画線情報統合部２６０は、区画線情報の座標を変換する、座標変換処理は既に説明したため説明を省略する。

【0054】

次に、Ｓ２６２にて、区画線情報統合部２６０は、区画線を対応付ける。ここでは、近似パラメータを利用した対応付けと、区画線種別を用いた対応付けを行う。近似パラメータ利用した対応付けは、既に説明したため説明を省略する。区画線種別を用いた対応付けは、二つの処理を実行する。一つは区画線種別を利用した妥当性判定である。例えば、図１６に示すような片側２車線で車道幅員ａが６ｍ以上である場合、センターラインは白色の実線となる。このように、区画線情報から道路状況の推定が可能となる。このため、推定された信頼度の高い区画線位置を利用して道路幅を区画線種別を利用して道路状況を推定する。この時、信頼度が低い区画線、例えば図１６の状況でセンターライン付近に区画線種別が破線となる区画線が検出されている場合は、対応付けや追跡の対象から除外する。もう一つは区画線領域毎の対応付けである。検出された区画線情報は区画線種別ごとに管理される。これは検出される区画線位置の表現する点列が図１７に示すように区画線Ｔの内側Ｄを区画線位置とするためである。このことから区画線領域毎に近似パラメータを推定して、同じ区画線種別同士で区画線間の距離を求めて、区画線を対応付ける。

【0055】

次に、Ｓ２６３にて、区画線情報統合部２６０は、Ｓ２６２で対応付けられた区画線領域の情報を統合する。ここで、区画線情報は一致することを前提とするため、区画線の位置を表現する点列パラメータを統合する。このように、区画線種別ごとに区画線を表現する点列を管理することで、安定して区画線を追跡する。また、ここで、区画線領域毎に区切って管理しているが、区画線領域毎の接続関係は区画線種別分岐点にて保持されるため、区画線追跡の問題にならない。

【0056】

以上、一連の処理を実行後、区画線情報を利用する外部アプリケーションへ出力する。

【0057】

＜実施例２＞
実施例２では、運転支援装置１００にシーン理解部２７０が追加される。シーン理解部２７０の追加によって、区画線種別統合部２２０と区画線信頼度推定部２５０の処理が変更される。

【0058】

区画線を精度よく認識するためには、車両周囲の環境を認識して逆光やトンネル出入り口など照明環境が大きく変化するシーンや、雨や霧などの天候を考慮して、センサ１１０が取得したセンサ情報に優先度をつける必要がある。区画線種別の観点では、下りカーブのシーンではドットラインが出現しやすい、交差点付近ではゼブラゾーンや複雑な形状の区画線が出現しやすいなどがある。実施例２のシーン理解部２７０は、これらの外的要因を認識する機能を想定している。

【0059】

図１８は、本発明の実施例２の運転支援装置１００の構成を示す図である。図１８に示すように、運転支援装置１００は、その機能として、区画線検出部２００、区画線種別候補推定部２１０、区画線種別統合部２２０、区画線種別分岐点推定部２３０、区画線統合要否判定部２４０、区画線信頼度推定部２５０、区画線情報統合部２６０、及びシーン理解部２７０を有し、演算の結果を外部システム３００へ出力する。

【0060】

まず、シーン理解部２７０について述べる。シーン理解部２７０は大きく分けて二つのシーンを認識する。一つはセンサ１１０の認識性能が著しく低下するシーンである。これは、例えば逆光やトンネル出入り口など証明条件が大きく変化するシーンや、フロントガラスやカメラのレンズへ水や汚れなどが付着することでセンシング範囲がさえぎられるシーン、雨や霧、雪などの天候要因である。もう一つは、下り坂でのカーブ、路面標示といった特定の区画線種別が出現しやすくなるシーンである。このため、シーン理解部２７０には、地図情報４００が入力される。

【0061】

次に、シーン理解部２７０について図１９を参照して説明する。まず、Ｓ２７１にて、シーン理解部２７０は、各種センサ１１０で取得したデータの座標を変換する。今回、データの座標変換はＬｉＤＡＲで取得した距離情報を画像上に投影する。データの座標は、センサ１１０の間の相対位置姿勢を利用して変換できる。センサ１１０の間の相対位置姿勢を利用した座標変換は公知であるため、説明を省略する。

【0062】

次に、Ｓ２７２にて、シーン理解部２７０は、センサ１１０の認識性能が著しく低下するシーンを認識する。センサ１１０の認識性能が著しく低下するシーンは、自車両に搭載されるセンサ１１０に依存するため、センサ１１０の構成ごとに予め性能が低下するシーンを設定する。設定したシーンは、例えば、画像中の輝度が大きく変化するシーンの検出によって逆光やトンネル出入り口を判定したり、一定時間同じ場所に認識される物体によってレンズやフロントガラスへの付着物を判定する。また、対象となるシーンを予め学習した機械学習によってシーンを判定してもよい。

【0063】

次に、Ｓ２７３にて、シーン理解部２７０は、Ｓ２７２で認識性能が著しく低下するシーンが認識された場合、Ｓ２７４で影響があるセンサ１１０とセンシング領域を推定する。影響があるセンサ１１０とセンシング領域の推定は以下の手順で行う。まず、図２０（ａ）に示すようなシーン、例えば画像からセンサ１１０の性能低下要因ｅ（逆光）が、Ｓ２７２で認識された場合、画像上の位置に基づいてして自車両のどの方向に外乱要因があるかを推定する。外乱要因がある方向は、自車両に対するセンサ１１０の取り付け位置が既知であれば容易に推定できる。その後、方向、影響範囲、及びデータを取得したセンサ種別を考慮して、例えば図２０（ｂ）に示す状況では、ａ１～ａ２で区切られた範囲内にある検知結果を性能低下要因ｅの影響があるセンサ１１０とセンシング領域を推定する。これによって、フロントカメラの検出結果をＦの右側の一部と右側方カメラの検出結果をＲが影響を受けていると推定され、フロントカメラの検出結果をＦの左側の一部と左側方カメラの検出結果は影響を受けないと推定される。ここで、センサ種別を考慮するのは、例えばセンサ１１０が逆光の影響を受けているシーンでも、カメラで区画線を検知した結果は影響を受け、ＬｉＤＡＲで区画線を検知した結果は影響を受けないため、影響を受けるセンサ１１０の検知結果のみを対象とすることである。

【0064】

次に、Ｓ２７４にて、シーン理解部２７０は、推定される外乱と、当該外乱の影響を受けるセンサ１１０と、当該外乱の影響を受ける区画線の情報を推定し、Ｓ２７５にて、推定された情報を図８に示すリストに登録する。この時、影響を受けたセンサ１１０と区画線の情報に基づいて外乱要因をリストへ登録する。

【0065】

次に、Ｓ２７６にて、シーン理解部２７０は、地図情報４００を参照して、特定の区画線種別の出現しやすい道路状況を認識する。下り坂のカーブや高速道路の合流付近など、区画線の出現頻度に偏りがある環境である場合には、図２２（ｂ）に示すような周辺状況と、その状況で出現頻度に偏りがある（すなわち出現しやすい）区画線種別の出現確率を示す区画線尤度初期値をリストから読み込んで、各区画線の尤度の初期値として設定する。どの道路状況を推定するかは識別したい区画線種別により変化するため、限定しない。道路状況の認識は、外乱推定と同様に、識別したい環境を予め学習した機械学習や、路面標示のテンプレートマッチングを用いて認識できる。

【0066】

次に、シーン理解部２７０は、Ｓ２７６にて特定の道路状況が認識された場合（Ｓ２７７でｙｅｓ）、Ｓ２７８にて、道路状況をメモリに登録する。

【0067】

次に、図２１を参照して、シーン理解部２７０の追加によって処理内容が変化する区画線種別統合部２２０について説明する。図２１において、Ｓ２２１、Ｓ２２２、Ｓ２２４、Ｓ２２５の処理は、図９と同じなので説明を省略する。Ｓ２２３’にて、シーン理解部２７０で認識した外乱要因のセンサ１１０への影響を区画線種別統合に利用するために、予め設定しておいた図２２（ａ）に示すようなセンサ種別と外乱影響による各認識結果の信頼度を読み込んで利用する。ここで、センサ種別と外乱は図８のリストに記載されており、その情報に基づいて図２２（ａ）のリストを検索して、区画線の信頼度を設定する。この時、信頼度を利用した尤度統合の式は式（１）で示したＰ（Ｓｆｃ│Ｔｉ）に対して以下の式（２）、式（３）のように重みを反映したものを代入して計算する。ここで、０が信頼度が最も低く、１が信頼度が最も高い状態を示している。

【0068】

【数2】

【数3】

【0069】

ここで、Ｓｉはセンサ種別、Ｔ０は正解である確率、Ｔ１は不正解である確率、Ｒは信頼度である。

【0070】

次に、図２３（ａ）を参照して、シーン理解部２７０の追加によって処理内容が変化する区画線信頼度推定部２５０について説明する。図２３（ａ）において、Ｓ２５１、Ｓ２５２の処理は、図１４と同じなので説明を省略する。Ｓ２５３’にて、Ｓ２２３’と同様に、シーン理解部２７０が認識した外乱要因のセンサ１１０への影響を区画線種別統合に利用するために、予め設定しておいた図２３（ｂ）に示すセンサ種別と外乱影響による各認識結果の信頼度を読み込んで区画線の信頼度を設定する。ここで、センサ種別と外乱は図８のリストに記載されており、その情報に基づいて図２３（ｂ）のリストを検索して、区画線の信頼度を求める。区画線の信頼度は区画線種別の領域毎に付与される。なお、一つの区画線が二つのセンサ１１０で検出された場合、信頼度が高い方のセンサ１１０の検出結果を使用するとよい。また、ここで、区画線の信頼度とは、センサ種別、外乱、区画線種別に基づいて、予めリストに登録されている。これは、逆光や薄暮などの状況では、特にオレンジ線が認識しづらくなるためである。しかし、メモリ容量などの関係で設定できないことも考えられるため、信頼度の設定方法はこれに限定しない。

【0071】

＜実施例３＞
図２４を用いて、地図情報４００を組み合わせた場合の実施例について説明する。地図情報４００は、道路の幅や区画線や車線同士の繋がり等の情報が詳細に記された高精度地図や、交差点情報などが含まれるナビ用地図のいずれでもよい。地図情報４００に登録された区画線情報や、車線数、道幅などの情報を利用すると、より高精度の区画線種別判定、区画線分岐点の推定、及び区画線情報の統合が可能となる。地図情報４００は、図２４中の区画線種別候補推定部２１０、区画線種別分岐点推定部２３０、区画線情報統合部２６０の処理に利用される。このため、処理内容が変更される各機能ブロック２１０、２３０、２６０の処理について説明する。

【0072】

次に、図２５を参照して、区画線種別候補推定部２１０について説明する。区画線種別候補推定部２１０は、地図情報４００を考慮して区画線種別候補を推定する。まず、Ｓ２２１’にて、区画線種別候補推定部２１０は、地図情報４００を読み込むために自車両の位置が利用する地図上でどの位置にあたるかを計算する。例えば、ＧＮＳＳにより取得した緯度・経度・高度を利用して自車両の地図上での位置を計算し、地図情報４００から自車両の周辺情報を読み込む。この時、ＧＮＳＳから取得される情報はマルチパスの影響などによって瞬間的な誤差を含む可能性があるため、時系列フィルタなどを利用して数フレーム分のデータから推定した値を利用してもよい。

【0073】

次に、Ｓ２２２’にて、区画線種別候補推定部２１０は、地図情報４００から自車両の周辺情報を読み込む。周辺情報は利用する地図情報４００により制限される。今回、高精度地図を利用することを想定して区画線種別、区画線位置、レーン数、道路幅、車線の接続情報を読み込む。地図情報４００を読み込む範囲は自車両から予め定められた距離内の情報である。

【0074】

次に、Ｓ２２３’にて、区画線種別候補推定部２１０は、Ｓ２２２’で読み込んだ情報を自車両を中心とした座標系に変換する。座標の変換は、ＧＮＳＳ情報から取得した緯度・経度を用いてヒュベニの公式など公知の方法で行う。

【0075】

次に、Ｓ２２４’にて、区画線種別候補推定部２１０は、Ｓ２２３’で座標を変換した地図情報４００と自車両が検出した区画線情報とを対応付ける。地図情報４００から得られる区画線位置情報は点列であるため、この対応付けは区画線同士の対応付けと同じ方法で行う。地図情報４００から得られる区画線情報が点列ではなく関数で表現される場合にも、所定の間隔のサンプリングによって、点列情報を得ることができる。

【0076】

次に、Ｓ２２５’にて、区画線種別候補推定部２１０は、区画線種別を判定する。区画線種別は、自車両が検出した区画線情報に対応付いた地図情報４００の区画線種別を割り当てて判定できる。自車両で検出した区画線に地図情報４００から取得した区画線情報が対応付けられない場合には誤検知と判定して、検出した区画線情報を削除する。地図情報４００が最新のものであると仮定することによって、対応付けられない区画線情報を削除する。このため、地図を更新する意図がある場合、地図情報４００から得られる区画線種別を初期値として実施例１の方法を利用して、区画線種別を推定してもよい。また、ナビ地図などの区画線種別などが登録されていない地図を用いる場合、交差点前、カーブ前などの情報を利用して区画線種別判定の際の初期値の値を変更して、地図情報４００を利用する。

【0077】

区画線種別分岐点推定部２３０は、区画線種別候補推定部２１０が地図情報４００より読み込んだ区画線情報と検出した区画線との対応付け結果を利用して、対応する区画線が検知された区画線に区画線種別の分岐点を設定する。地図情報４００に区画線種別の分岐点が登録されていない場合、実施例１の方法で分岐点を推定する。

【0078】

区画線情報統合部２６０は、地図情報４００に登録されているレーン数、道幅、及び区画線種別を利用して区画線を統合する。区画線情報統合処理は、基本的に図１５に示すものと同じであり、Ｓ２６３の区画線統合において地図情報４００を利用する。例えば図２６（ａ）に示すような地図情報４００が得られている時、図２６（ｂ）のような観測結果が得られたとする。ここで、図中ｂは実線がかすれなどにより破線として判定された区画線を、図中ｃはガードレールなどの構造物を誤検知した実線を、図中ｄは追跡している区画線情報を示す。ここで、まず、地図情報４００に登録されているレーン数と道幅を利用して、自車両が観測した区画線情報から誤検知と思われるものを除去する。この時、観測された各区画線位置を利用して図２６（ａ）のように各区画線間の距離ａを計算する。各区画線の組み合わせから計算した距離と各区間線間の距離ａの差の絶対値をスコアとして、ハンガリアン法などの対応付け方法を用いて、スコアが最も小さくなる組み合わせを見つける。この時、見つける組み合わせは地図情報４００に示すレーン数を最大値とする。この処理によって、図中ｃのような誤検知が除去される。この処理によって、選別された観測値を利用して、次に追跡している区画線と新たに観測された区画線を対応付ける。対応付けの方法は既に説明しているため説明を省略する。最後に、対応付けた区画線の区画線種別を補正する。補正は図中ｂのように地図情報４００と比較して異なる区画線情報を誤った判定結果として地図情報４００で上書きする。

【0079】

これら一連の処理によって推定された区画線情報が外部システム３００へ出力される。

【0080】

＜実施例４＞
実施例４では、運転支援装置１００を用いて推定された区画線情報を地図情報４００として登録する実施例について説明する。地図情報４００は、サーバや運転支援装置内の記憶装置内に登録される。地図情報４００に登録する際には、図２４中の外部システム３００が地図情報４００となる。運転支援装置自体については既に実施例１～３で説明しているため説明は省略する。

【0081】

区画線情報の地図情報４００への登録は、自動運転のために利用される周辺環境の区画線、障害物位置などを記した地図の生成や、工事中などの理由により区画線情報が登録されているものと異なる可能性がある場合を想定する。システム側で周辺地図が存在しないことを認識したタイミングで地図を生成や更新してもよいし、ユーザが地図生成・更新モードに変更することをトリガに地図を生成や更新してもよい。地図情報４００は、ＧＮＳＳなどの情報を利用して自車両を中心とした座標系から絶対値で表現できる座標系へ変換してから記録する。これにより、車両間での地図の共有なども可能となる。また、地図へ登録する情報は、区画線位置、区画線種別、区画線分岐点、及び時刻である。区画線分岐点の登録によって、地図情報４００を利用した自己位置推定で困難となる車両前後方向の位置の推定や交差点へ侵入する際の処理の切り替えに利用できる。

【0082】

以上に説明したように、本発明の実施例の運転支援装置１００は、センサ１１０が取得したデータから区画線情報を検知する区画線検出部２００と、前記検知された区画線情報から区画線の種別を認識し、種別毎の尤度を計算する区画線種別候補推定部２１０と、自車両の進行方向に対し区画線種別の尤度が変化する点である区画線種別分岐点を検出し、区画線種別分岐点の前後の領域を第一の領域と第二の領域とに区別する区画線種別分岐点推定部２３０と、第一の領域の区画線と第二の領域の区画線を連続的に認識可能な区画線に統合する区画線情報統合部２６０とを備えるので、追跡すべき区画線を連続的に認識でき、高い精度で区画線を追跡できる。

【0083】

また、第一の領域の区画線と第二の領域の区画線との統合要否を判定する区画線統合要否判定部２４０を備え、区画線情報統合部２６０は、区画線統合要否判定部２４０が統合要と判定した場合、第一の領域の区画線と第二の領域の区画線を連続的に認識可能な区画線に統合するので、道路構造が複雑で、斜め方向の白線が多く存在する場合でも区画線を統合できる。

【0084】

また、センサ１１０が取得したデータから車両周囲の状況を推定するシーン理解部２７０と、シーン理解部２７０の出力に基づいて、センサ１１０ごとに決定された区画線種別の信頼度を推定し、センサ１１０毎の区画線の信頼度を決定する区画線信頼度推定部２５０とを備え、区画線種別候補推定部２１０は、推定された信頼度を参照して、センサ１１０が取得した輝度及び反射強度の少なくとも一方を用いて、区画線のエッジに基づいて区画線種別候補の区画線情報をセンサ１１０毎に決定するので、センサ１１０が取得する情報に外乱の影響があっても、区画線を正しく追跡できる。

【0085】

また、区画線種別候補推定部２１０は、自車両の進行方向に一定間隔でサンプリングした区画線の輝度情報と、輝度情報をモデル化した区画線形状モデルとの比較によって区画線種別毎の尤度を計算するので、センサ１１０の種別（カメラ、ＬｉＤＡＲなど）によらず、同じロジックで区画線を追跡できる。

【0086】

また、区画線情報統合部２６０は、区画線種別を利用して、前記区画線を対応付け、区画線情報を統合するので、単に位置を見るより高精度に区画線を追跡でき、誤った対応付けによる区画線の誤検出を低減できる。

【0087】

また、区画線種別分岐点推定部２３０は、区画線種別分岐点の前後の領域に区画線を分割して区画線種別ごとに区画線情報を管理するので、分岐点の前後で区画線の種別が正確に決定できる。

【0088】

また、区画線種別分岐点推定部２３０は、複数の区画線種別が割り当てられた場合、区画線種別の尤度の比率に基づいて、区画線分岐点を検出するので、複雑な処理が不要となり、早く低負荷で区画線の種別を決定できる。

【0089】

また、シーン理解部２７０は、外乱要因とセンサ種別と区画線種別とに基づいて、区画線の信頼度を設定するので、外乱によって区画線の見え方が変わることから、外乱要因によって細かく重みを設定して、外乱の影響によらず区画線を正しく認識できる。

【0090】

また、区画線情報統合部２６０は、シーン理解部２７０が推定した車両周囲の状況において出現しやすい区画線種別の尤度を用いて、センサ１１０毎に尤度が計算された種別の区画線を統合するので、区画線種別を早く正確に認識できる。

【0091】

また、区画線種別候補推定部２１０は、検知された区画線情報及び地図情報４００から区画線の種別を認識し、区画線種別分岐点推定部２３０は、地図情報４００を利用して、自車両の走行方向において区画線種別の尤度が変化する点である区画線種別分岐点を検出するので、区画線種別及び変化点を早く正確に認識できる。

【0092】

また、区画線情報統合部２６０は、地図情報４００から取得したレーン数及び道幅を利用して、第一の領域の区画線と第二の領域の区画線を統合するので、ガードレールなどの構造物を区画線であるとする誤認識を防止できる。

【0093】

また、区画線情報統合部２６０は、地図情報４００から推定された位置において出現しやすい区画線種別の尤度を用いて、センサ１１０毎に尤度が計算された種別の区画線を統合するので、区画線種別を早く正確に認識できる。

【0094】

また、区画線情報統合部２６０は、統合された区画線の位置、種別、及び分岐点の情報を地図情報に登録するので、最新情報を地図に反映し、地図情報を更新できる。

【0095】

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

【0096】

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

【0097】

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

【0098】

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

【符号の説明】

【0099】

１００ 運転支援装置
１１０ 外界認識センサ
１２０ 車両情報
１３０ ＧＮＳＳ受信装置
２００ 区画線検出部
２１０ 区画線種別候補推定部
２２０ 区画線種別統合部
２３０ 区画線種別分岐点推定部
２４０ 区画線統合要否判定部
２５０ 区画線信頼度推定部
２６０ 区画線情報統合部
２７０ シーン理解部
３００ 外部システム
４００ 地図情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】