特許 7757228 区画線認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-10-10

(45)【発行日】2025-10-21

(54)【発明の名称】区画線認識装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20251014BHJP

   B60W 30/00 20060101ALI20251014BHJP

【ＦＩ】

G08G1/16 C

B60W30/00

【請求項の数】 7

(21)【出願番号】P 2022054451

(22)【出願日】2022-03-29

(65)【公開番号】P2023146972

(43)【公開日】2023-10-12

【審査請求日】2024-11-27

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100154380

【弁理士】

【氏名又は名称】西村 隆一

(74)【代理人】

【識別番号】100081972

【弁理士】

【氏名又は名称】吉田 豊

(72)【発明者】

【氏名】千葉原 剛

【審査官】白石 剛史

(56)【参考文献】

【文献】特開２００４－２４６７９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｂ６０Ｗ ３０／００

(57)【特許請求の範囲】

【請求項1】

自車両の周囲の状況を撮像する撮像部と、
自車両の周囲の照度を検出する照度検出器と、
前記撮像部により取得された撮像画像に基づいて、道路の車線を規定する区画線を認識するとともに前記区画線の擦れ度合いを認識する第１認識部と、
前記照度検出器により検出された照度に基づいて、前記区画線の照度を推定する照度推定部と、
前記第１認識部により認識された前記区画線の擦れ度合いに基づいて、前記区画線内の第１領域と該第１領域に隣接する前記区画線外の第２領域との輝度比を推定する輝度比推定部と、
前記輝度比推定部により推定された輝度比に基づいて、前記第１領域の反射率を推定する反射率推定部と、
前記照度推定部により推定された前記区画線の照度と、前記反射率推定部により推定された前記第１領域の反射率とに基づいて、前記第１領域の輝度を推定する輝度推定部と、
前記輝度推定部により推定された前記第１領域の輝度に基づいて、前記区画線の端部の位置を認識する第２認識部と、を備え、
前記区画線内の領域と該領域に隣接する前記区画線外の領域との輝度比に対する、前記区画線の反射率の特性を示す反射率情報を記憶する記憶部をさらに備え、
前記反射率推定部は、前記輝度比推定部により推定された輝度比と前記反射率情報とに基づいて、前記第１領域の反射率を推定することを特徴とする区画線認識装置。

【請求項2】

請求項１に記載の区画線認識装置において、
前記第２認識部は、前記輝度推定部により推定された前記第１領域の輝度に基づいて、前記第１領域を含む領域であって前記第１領域との輝度差が所定程度以内である領域の車線幅方向の端部の位置を前記区画線の端部の位置として認識することを特徴とする区画線認識装置。

【請求項3】

請求項１または２に記載の区画線認識装置において、
太陽の位置を含む環境情報を取得する情報取得部をさらに備え、
前記照度推定部は、前記環境情報により示される太陽の位置に基づき前記区画線が前記自車両の周囲の構造物の影で覆われているか否かを判定し、判定結果に基づいて前記照度検出器により検出された照度を補正して前記区画線の照度を推定することを特徴とする区画線認識装置。

【請求項4】

請求項３に記載の区画線認識装置において、
前記照度推定部は、前記撮像部により取得された撮像画像に基づいて前記構造物の位置、大きさ、および形状を認識し、認識結果に基づいて、前記区画線が前記自車両の周囲の前記構造物の影で覆われているか否かを判定することを特徴とする区画線認識装置。

【請求項5】

請求項３または４に記載の区画線認識装置において、
前記環境情報にはさらに、前記構造物の情報を含む地図情報が含まれ、
前記照度推定部は、前記環境情報に基づいて、前記区画線が前記自車両の周囲の前記構造物の影で覆われているか否かを判定することを特徴とする区画線認識装置。

【請求項6】

請求項３～５のうちのいずれか１項に記載の区画線認識装置において、
前記環境情報にはさらに、天候に関する情報が含まれ、
前記輝度比推定部はさらに、前記環境情報により示される前記天候に基づいて、前記第１領域から前記撮像部までの間における輝度の減衰量を推定し、該減衰量に基づいて前記第１領域の輝度を補正することを特徴とする区画線認識装置。

【請求項7】

請求項１～６のうちのいずれか１項に記載の区画線認識装置において、
前記記憶部は、前記区画線の擦れ度合いに対する、前記区画線内の領域と該区画線外の領域との輝度比の特性を示す輝度比情報をさらに記憶し、
前記輝度比推定部は、前記第１認識部により認識された前記区画線の擦れ度合いと前記輝度比情報とに基づいて、前記第１領域と前記第２領域との輝度比を推定することを特徴とする区画線認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、道路の区画線を認識する区画線認識装置に関する。

【背景技術】

【0002】

この種の装置として、従来、路面の撮像画像の輝度に基づいて、路面上の車線区分線を認識するようにした装置が知られている（例えば特許文献１参照）。特許文献１記載の装置は、路面の撮像画像に基づいて路面の反射率を算出し、隣接画素との輝度差が路面の反射率に基づき設定した閾値以上である画素を車線区分線の候補として抽出する。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４０２３３３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、路面の撮像画像においては、車線区分線が存在しない領域においても隣接画素との輝度差が閾値以上である画素が存在する場合がある。したがって、特許文献１記載の装置のように、輝度差に基づいて車線区分線の候補となる画素を抽出するようにしたのでは、車線区分線を精度よく認識できないおそれがある。

【課題を解決するための手段】

【0005】

本発明の一態様である区画線認識装置は、自車両の周囲の状況を撮像する撮像部と、自車両の周囲の照度を検出する照度検出器と、撮像部により取得された撮像画像に基づいて、道路の車線を規定する区画線を認識するとともに区画線の擦れ度合いを認識する第１認識部と、照度検出器により検出された照度に基づいて、区画線の照度を推定する照度推定部と、第１認識部により認識された区画線の擦れ度合いに基づいて、区画線内の第１領域と該第１領域に隣接する区画線外の第２領域との輝度比を推定する輝度比推定部と、輝度比推定部により推定された輝度比に基づいて、第１領域の反射率を推定する反射率推定部と、照度推定部により推定された区画線の照度と、反射率推定部により推定された第１領域の反射率とに基づいて、第１領域の輝度を推定する輝度推定部と、輝度推定部により推定された第１領域の輝度に基づいて、区画線の端部の位置を認識する第２認識部と、を備える。区画線認識装置は、区画線内の領域と該領域に隣接する区画線外の領域との輝度比に対する、区画線の反射率の特性を示す反射率情報を記憶する記憶部をさらに備える。反射率推定部は、輝度比推定部により推定された輝度比と反射率情報とに基づいて、第１領域の反射率を推定する。

【発明の効果】

【0006】

本発明によれば、道路の車線を規定する区画線を精度よく認識できる。

【図面の簡単な説明】

【0007】

【図1】本発明の実施形態に係る車両制御装置の要部構成を示すブロック図。

【図2】自車両前方の撮像画像の一例を示す図。

【図3】図２の道路の一部を上方から見た図。

【図4】区画線の擦れ度合いを説明するための図。

【図5A】輝度比テーブルの一例を示す図。

【図5B】反射率テーブルの一例を示す図。

【図6】輝度の算出を説明するための図。

【図7】図１のコントローラで実行される処理の一例を示すフローチャート。

【発明を実施するための形態】

【0008】

以下、図１～図７を参照して本発明の実施形態について説明する。本発明の実施形態に係る区画線認識装置は、自動運転機能を有する車両、すなわち自動運転車両に適用することができる。なお、本実施形態に係る区画線認識装置が適用される車両を、他車両と区別して自車両と呼ぶことがある。自車両は、内燃機関（エンジン）を走行駆動源として有するエンジン車両、走行モータを走行駆動源として有する電気自動車、エンジンと走行モータとを走行駆動源として有するハイブリッド車両のいずれであってもよい。自車両は、ドライバによる運転操作が不要な自動運転モードでの走行だけでなく、ドライバの運転操作による手動運転モードでの走行も可能である。

【0009】

自動運転車両は、自動運転モードでの走行（以下、自動走行または自律走行と呼ぶ。）時、車両の所定部位（例えばフロントガラス上部）に設置された撮像ユニットにより得られた画像データに基づいて、道路の車線を規定する区画線を認識する。自動運転車両は、認識した区画線の情報に従って、自車線の中央付近を自車両が走行するように走行用アクチュエータを制御する。

【0010】

ところで、日照状況や、路面上に張った水（以下、水膜と呼ぶ。）、区画線の摩耗や汚損等によって、撮像ユニットにより得られた画像データに基づき区画線を精度よく認識できない場合がある。この場合、良好に自動走行できないおそれがある。各種の高精度センサを車両に別途搭載して車両周囲の状況や路面の状態を検出することで、上記のような問題に対処することが可能である。しかしながら、装置の構成を複雑化するとともにコスト増大を招くおそれがある。そこで、本実施形態では、以下のように区画線認識装置を構成する。

【0011】

図１は、本発明の実施形態に係る区画線認識装置を有する車両制御装置の要部構成を示すブロック図である。この車両制御装置１００は、コントローラ１０と、通信ユニット１と、測位ユニット２と、内部センサ群３と、カメラ４と、走行用のアクチュエータＡＣとを有する。また、車両制御装置１００は、車両制御装置１００の一部を構成する区画線認識装置５０を有する。区画線認識装置５０は、カメラ４の撮像画像データに基づいて、自車両が走行する道路の区画線を認識するものである。

【0012】

通信ユニット１は、インターネット網や携帯電話網等に代表される無線通信網を含むネットワークを介して図示しない各種サーバと通信し、地図情報、走行履歴情報および交通情報などを定期的に、あるいは任意のタイミングでサーバから取得する。ネットワークには、公衆無線通信網だけでなく、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等も含まれる。取得した地図情報は、記憶部１２に出力され、地図情報が更新される。測位ユニット（ＧＮＳＳユニット）２は、測位衛星から送信された測位用の信号を受信する測位センサを有する。測位衛星は、ＧＰＳ衛星や準天頂衛星などの人工衛星である。測位ユニット２は、測位センサが受信した測位情報を利用して、自車両の現在位置（緯度、経度、高度）を測定する。

【0013】

内部センサ群３は、自車両の走行状態を検出する複数のセンサ（内部センサ）の総称である。例えば内部センサ群３には、自車両の車速を検出する車速センサ、自車両の前後方向の加速度および左右方向の加速度（横加速度）をそれぞれ検出する加速度センサ、走行駆動源の回転数を検出する回転数センサ、自車両の重心の鉛直軸回りの回転角速度を検出するヨーレートセンサなどが含まれる。手動運転モードでのドライバの運転操作、例えばアクセルペダルの操作、ブレーキペダルの操作、ステアリングホイールの操作等を検出するセンサも内部センサ群３に含まれる。

【0014】

カメラ４は、ＣＣＤやＣＭＯＳ等の撮像素子を有して自車両の周囲（前方、後方および側方）を撮像する。照度センサ５は、受光素子を有し、受光素子に入射する光の明るさ（照度）を検出する。照度センサ５は、自車両周囲の照度を検出可能なように、自車両の外側（例えば、ルーフ上）または自車両の内側（ダッシュボード上）に設置される。なお、フロントガラスを通過する光は、ガラスによって幾分減衰するので、照度センサ５を自車両の内側に設置する場合には、この減衰量を考慮してセンサ値を補正してもよい。

【0015】

アクチュエータＡＣは、自車両の走行を制御するための走行用アクチュエータである。走行駆動源がエンジンである場合、アクチュエータＡＣには、エンジンのスロットルバルブの開度（スロットル開度）を調整するスロットル用アクチュエータが含まれる。走行駆動源が走行モータである場合、走行モータがアクチュエータＡＣに含まれる。自車両の制動装置を作動するブレーキ用アクチュエータと転舵装置を駆動する転舵用アクチュエータもアクチュエータＡＣに含まれる。

【0016】

コントローラ１０は、電子制御ユニット（ＥＣＵ）により構成される。より具体的には、コントローラ１０は、ＣＰＵ（マイクロプロセッサ）等の演算部１１と、ＲＯＭ，ＲＡＭ等の記憶部１２と、Ｉ／Ｏインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。なお、エンジン制御用ＥＣＵ、走行モータ制御用ＥＣＵ、制動装置用ＥＣＵ等、機能の異なる複数のＥＣＵを別々に設けることができるが、図１では、便宜上、これらＥＣＵの集合としてコントローラ１０が示される。

【0017】

記憶部１２には、高精度の詳細な地図情報（高精度地図情報と呼ぶ）が記憶される。高精度地図情報には、道路の位置情報、道路形状（曲率など）の情報、道路の勾配の情報、交差点や分岐点の位置情報、車線数の情報、車線の幅員および車線毎の位置情報（車線の中央位置や車線位置の境界線の情報）、地図上の目印としてのランドマーク（信号機、標識、建物等）の位置情報、路面の凹凸などの路面プロファイルの情報が含まれる。記憶部１２には、各種制御のプログラム、プログラムで用いられる閾値等の情報についての情報も記憶される。

【0018】

演算部１１は、機能的構成として、情報取得部１１１と、計測ポイント設定部１１２と、擦れ率認識部１１３と、照度推定部１１４と、輝度比推定部１１５と、反射率推定部１１６と、輝度推定部１１７と、端部認識部１１８と、走行制御部１１９とを有する。なお、図１に示すように、情報取得部１１１と計測ポイント設定部１１２と擦れ率認識部１１３と照度推定部１１４と輝度比推定部１１５と反射率推定部１１６と輝度推定部１１７と端部認識部１１８とは、区画線認識装置５０に含まれる。

【0019】

情報取得部１１１は、環境情報を取得する。詳細には、情報取得部１１１は、測位ユニット２により測定された自車両の現在位置と、現在の日時とに基づいて、太陽の位置を推定する。推定する太陽の位置は、絶対位置でもよいし、自車両に対する相対位置でもよい。情報取得部１１１は、推定した太陽の位置を示す情報を環境情報として取得する。また、情報取得部１１１は、通信ユニット１を介して外部のサーバ（不図示）から降雨などの天候に関する情報（以下、天候情報と呼ぶ。）を環境情報として取得する。

【0020】

計測ポイント設定部１１２は、路面上に計測ポイントを設定する。図２は、自車両が道路ＲＤを走行中にカメラ４により取得された、自車両前方の撮像画像の一例を示す図である。図２には、道路ＲＤの路面上に設定された計測ポイントＭＰが、撮像画像に模式的に重ね合わせて示されている。図３は、図２の道路の一部を上方から見た図である。計測ポイント設定部１１２は、カメラ４により取得された撮像画像に基づいて、区画線ＬＬ，ＬＣ，ＬＲに対応する路面上の領域を認識する。この推定には、機械学習が用いられてもよいし、その他の画像認識技術が用いられてもよい。以下、このとき認識された領域を、区画線認識領域または単に区画線領域と呼ぶ。計測ポイント設定部１１２は、進行方向前方の遠方の位置（自車両から一定距離離れた位置）に計測ポイントＭＰ０を設定する。計測ポイントＭＰ０は、撮像画像上において所定のピクセル数を有する領域であり、図２に示すように、区画線認識領域上に配置される。図２において、実線の計測ポイントＭＰ０は、現在時点（図２の時点）において設定された計測ポイントＭＰ０を模式的に表し、破線の計測ポイントＭＰ０は、過去の時点において（自車両が現在の走行位置よりも進行方向手前の位置を走行しているときに）設定された計測ポイントＭＰ０を模式的に表す。なお、図２に示す計測ポイントＭＰ０の設定方法は一例であり、計測ポイントＭＰ０の形状やサイズ、計測ポイントＭＰ０が設定される位置はこれに限らない。

【0021】

擦れ率認識部１１３は、カメラ４の撮像画像に基づいて、計測ポイントＭＰ０における区画線の擦れ度合い（以下、区画線擦れ率とも呼ぶ。）を認識する。具体的には、擦れ率認識部１１３は、区画線認識領域外の計測ポイントＭＰ０の輝度上限を境界値とし、計測ポイントＭＰ０のうち境界値以下の輝度を有する領域（画素群）の面積を計測ポイントＭＰ１の全面積（全画素数）で除算して、計測ポイントＭＰ０の区画線擦れ率を算出する。図４は、区画線擦れ率を説明するための図である。特性ｆ１，ｆ２は、カメラ４の撮像画像に基づき取得された計測ポイントＭＰ１，ＭＰ２の輝度の分布、具体的には輝度毎の画素数を表す。図中の線ＢＤは、計測ポイントＭＰ２の最大輝度を表し、領域ＦＡは、最大輝度ＢＤ以下の輝度を有する、計測ポイントＭＰ１の画素群を表す。計測ポイントＭＰ１の区画線擦れ率は、領域ＦＡ内の画素数を特性ｆ１の全画素数で除算した値となる。

【0022】

照度推定部１１４は、自車両前方の路面の照度を推定する。詳細には、まず、照度推定部１１４は、照度センサ５により検出されたセンサ値（照度）を取得する。このとき、照度推定部１１４は、影の影響を除いた条件下で照度センサ５により検出された照度を取得する。また、太陽の位置と照度センサ５の位置の関係に基づき、照度センサ５が有する斜入射光特性（受光角特性）により、太陽の直射光の照度と天空光の照度を分離し、太陽高度や日時に対しそれぞれの照度を記憶する。すなわち、照度推定部１１４は、太陽の直射光の照度と、天空光（アンビエント光）の照度をそれぞれ取得する。次いで、照度推定部１１４は、記憶部１２に記憶された地図情報に基づき自車両周囲の構造物の位置や大きさ、形状を認識するとともに、情報取得部１１１により取得された環境情報に含まれる太陽の位置情報に基づいて、構造物（図２の建物ＢＬ）により自車両前方の道路上に生じる影（図２の領域ＳＤ）の位置や大きさ、形状を推定する。このとき、照度推定部１１４は、カメラ４により取得された撮像画像に基づいて、構造物により自車両前方の路面上に生じる影の位置や大きさ、形状を推定してもよい。照度推定部１１４は、推定した構造物の影の位置や大きさ、形状に基づいて計測ポイントＭＰ０が影で覆われているか否かを判定し、計測ポイントＭＰ０が影で覆われているとき、天空率に基づき、天空光に対する影の影響の減衰率を推定し、推定結果に基づいて、照度センサ５により検出された照度を補正する。

【0023】

輝度比推定部１１５は、擦れ率認識部１１３により認識された計測ポイントＭＰ０の区画線擦れ率に基づいて、計測ポイントＭＰ１と計測ポイントＭＰ２の輝度比を推定する。計測ポイントＭＰ１と計測ポイントＭＰ２は、計測ポイント設定部１１２により、図２に示すように、計測ポイントＭＰ０（図２の実線で表された計測ポイントＭＰ０）よりも進行方向手前の位置に設定される。より詳細には、過去の時点において（自車両が現在の走行位置よりも進行方向手前の位置を走行しているときに）設定された計測ポイントＭＰ０（図２の破線で表された計測ポイントＭＰ０）の設定位置に、該計測ポイントＭＰ０に対応する計測ポイントＭＰ１と計測ポイントＭＰ２とを設定する。このように、計測ポイント設定部１１２は、照度や擦れ率の取得に用いられた対象領域（計測ポイントＭＰ０）が自車両にある程度近づいてから、その対象領域に対して計測ポイントＭＰ１と計測ポイントＭＰ２とを設定する。またこのとき、計測ポイント設定部１１２は、図２および図３に示すように、区画線認識領域内に計測ポイントＭＰ１を設定し、該計測ポイントＭＰ１に対応する計測ポイントＭＰ２を区画線認識領域外に設定する。計測ポイントＭＰ１，ＭＰ２は、区画線の幅よりも小さい幅を有する矩形の領域であり、例えばはがきサイズの大きさを有する領域である。なお、計測ポイントＭＰ１，ＭＰ２は矩形以外の形状を有してもよい。また、計測ポイントＭＰ１，ＭＰ２のサイズや、計測ポイントＭＰ１，ＭＰ２が設定される位置はこれに限らない。

【0024】

詳細には、輝度比推定部１１５は、輝度比テーブル（以下、輝度比情報ともいう。）を用いて、計測ポイントＭＰ１の区画線擦れ率に基づき計測ポイントＭＰ２の計測ポイントＭＰ１に対する輝度比（ＭＰ１の輝度／ＭＰ２の輝度）を推定する。図５Ａは、輝度比テーブルの一例を示す図である。図５Ａに示すように、輝度比テーブルは、区画線擦れ率ＣＦ（ＣＦ₁～ＣＦ_n）に対する区画線認識領域の内側と外側との輝度比ＢＲ（ＢＲ₁～ＢＲ_n）の特性を示す情報である。区画線擦れ率ＣＦ₁は、区画線に摩耗や汚損がない状態であり、区画線の視認性が最も高い状態に相当する。区画線擦れ率ＣＦ_nは、区画線が摩耗して消えてしまっている状態であり、区画線の視認性が最も低い状態に相当する。なお、ＣＦ_n-1＜ＣＦ_nである。輝度比ＢＲは、区画線擦れ率ＣＦが増加するにつれて減少する。なお、輝度比ＢＲは、区画線擦れ率ＣＦに対して線形的な特性を有していてもよいし、その他の特性を有していてもよい。このように、区画線の擦れ度合いを輝度比のデータとして計測し量子化することで、区画線の擦れ度合いを定量化できる。その結果、区画線の擦れ度合いを数値として扱うことが可能となる。

【0025】

なお、図５Ａの輝度比テーブルは、区画線擦れ率が異なる複数の区画線のサンプルを同じ環境（光源や降雨、道路の状態）下でカメラ４またはカメラ４と同等の性能を有する撮像装置により撮像し、その撮像画像に基づき取得された区画線の内側および外側の輝度に基づいて予め生成され、記憶部１２に記憶される。

【0026】

反射率推定部１１６は、反射率テーブル（以下、反射率情報ともいう。）を用いて、輝度比推定部１１５により推定された、計測ポイントＭＰ１と計測ポイントＭＰ２との輝度比に基づいて、計測ポイントＭＰ１の反射率を推定する。図５Ｂは、反射率テーブルの一例を示す図である。図５Ｂに示すように、反射率テーブルは、区画線認識領域の内側と外側との輝度比ＢＲ₁～ＢＲ_nに対する、区画線認識領域内の反射率ＲＦ₁～ＲＦ_nの特性を示す情報である。反射率ＲＦは、図５Ａの輝度比に対応する区画線擦れ率ＣＦに基づき予測された反射率である。反射率ＲＦは、輝度比ＢＲが増加するにつれて増加する。なお、反射率ＲＦは、輝度比ＢＲに対して線形的な特性を有していてもよいし、その他の特性を有していてもよい。

【0027】

図５Ｂの反射率テーブルには、光源（太陽）と反射点（観測点）とカメラ４（より詳細には、カメラ４のレンズの位置）とがなす角度毎に予め生成され記憶部１２に記憶される。反射率推定部１１６は、情報取得部１１１により取得された環境情報により示される太陽の位置と、測位ユニット２により測定された自車両の現在位置とに基づいて、光源（太陽）と反射点とカメラ４とがなす角度を算出し、算出した角度に対応する反射率テーブルを記憶部１２から読み出して使用する。

【0028】

輝度推定部１１７は、照度推定部１１４により推定された照度と、反射率推定部１１６により推定された反射率とに基づいて、計測ポイントＭＰ１の輝度を推定する。具体的には、輝度推定部１１７は、次式（i）（ii）を用いて、計測ポイントＭＰ１の輝度Ｌ（θ）を算出する。以下、このようにして推定された計測ポイントＭＰ１の輝度を推定輝度と呼ぶ。図６は、輝度の算出を説明するための図である。θは、計測ポイントＭＰ１とカメラ４とを結ぶ直線の鉛直方向に対する角度、すなわち反射角を表す。Ｅ（θ）は、反射角がθであるときの照度を表す。Ｒは、反射率を表す。Ｉ（θ）は、反射角がθであるときの光源Ｓの光度を表す。ｒは、計測ポイントＭＰ１とカメラ４との直線距離である。

【数1】

【数2】

【0029】

また、輝度推定部１１７は、情報取得部１１１により取得された環境情報に含まれる天候情報と、測位ユニット２により測定された自車両の現在位置とに基づいて、自車両前方の路面の状態を推定する。輝度推定部１１７は、推定した路面の状態、より詳細には路面上の水膜の状態に基づいて、路面上の水膜の透過率を算出する。なお、水膜には、路面上を覆う雪など、氷の結晶や粒を含む水が含まれてもよい。水膜の状態とは、水溜まりの深さや積雪の深さである。また、自車両にレインセンサ（雨滴センサ）が搭載されている場合には、輝度推定部１１７は、レインセンサのセンサ値に基づいて、自車両前方の路面上の水膜の状態を推定してもよい。さらに、輝度推定部１１７は、カメラ４の撮像画像に基づき降雨や降雪の状況を認識して、路面上の水膜の状態を推定してもよい。

【0030】

輝度推定部１１７はさらに、算出した水膜の透過率に基づいて、輝度の水膜による減衰量（計測ポイントＭＰ１からカメラ４までの減衰量）を推定し、推定した減衰量に基づいて計測ポイントＭＰ１の推定輝度を補正する。これにより、カメラ４の撮像画像上の計測ポイントＭＰ１の輝度をより精度よく推定できる。なお、フロントガラスを通過する光は、ガラスによって幾分減衰するので、カメラ４を自車両の内側に設置する場合には、この減衰量も考慮して計測ポイントＭＰ１の推定輝度を補正してもよい。

【0031】

端部認識部１１８は、輝度推定部１１７により算出された推定輝度（上記補正が行われている場合には、上記補正後の推定輝度）に基づいて、区画線の端部（エッジ）の位置を認識する。より詳細には、端部認識部１１８は、カメラ４の撮像画像上の計測ポイントＭＰ１を含む領域（画素群）であって計測ポイントＭＰ１との輝度差が所定程度以内である領域（画素群）の車線幅方向の端部の位置（画素）を、区画線の端部の位置として認識する。

【0032】

走行制御部１１９は、自動運転モードにおいて、区画線認識装置５０により認識された区画線に基づいて目標軌道を生成し、その目標軌道に沿って自車両が走行するようにアクチュエータＡＣを制御する。なお、手動運転モードでは、走行制御部１１９は、内部センサ群３により取得されたドライバからの走行指令（ステアリング操作等）に応じてアクチュエータＡＣを制御する。

【0033】

図７は、予め定められたプログラムに従い図１のコントローラ１０で実行される処理の一例を示すフローチャートである。図７のフローチャートに示す処理は、例えば、自車両が自動運転モードで走行中に所定周期毎に繰り返される。また例えば、自車両が自動運転モードで走行中に所定距離走行する毎に繰り返される。

【0034】

まず、ステップＳ１１で、環境情報を取得する。具体的には、測位ユニット２により測定された自車両の現在位置と現在の日時とに基づいて太陽の位置を推定して、太陽の位置情報（緯度および経度を示す情報）を取得する。また、通信ユニット１を介して外部のサーバ（不図示）から天候情報を取得する。ステップＳ１２で、カメラ４により取得された自車両前方の撮像画像に基づいて区画線に対応する領域を認識し、認識結果に基づき計測ポイントＭＰ０を設定する。ステップＳ１３で、カメラ４の撮像画像を取得するとともに、撮像画像に基づいて計測ポイントＭＰ０の区画線擦れ率を認識する。ステップＳ１４で、照度センサ５のセンサ値に基づき、計測ポイントＭＰ０の照度を推定する。

【0035】

ステップＳ１５で、記憶部１２に記憶された地図情報に基づいて、自車両周囲の構造物の位置や大きさ、形状を認識する。そして、認識した構造物の位置や大きさ、形状と、ステップＳ１１で取得された太陽の位置情報とに基づいて、構造物により自車両前方の道路上に生じる影の位置や大きさ、形状を推定する。さらに、その推定結果に基づいて、計測ポイントＭＰ０上に構造物による影が発生しているか否かを判定する。ステップＳ１５で肯定されると、ステップＳ１７に進む。ステップＳ１５で否定されると、ステップＳ１６で、ステップＳ１１で取得された天候情報に基づいて、計測ポイントＭＰ０上の水膜の状態を判定する。より詳細には、計測ポイントＭＰ０上に水膜が存在するか否かを判定する。ステップＳ１６で肯定されると、ステップＳ１７で、ステップＳ１４で推定された照度を補正する。

【0036】

ステップＳ１６で否定されると、ステップＳ１８で、図５Ａの輝度比テーブルを用いて、ステップＳ１２で設定された計測ポイントＭＰ０に対応する計測ポイントＭＰ１，ＭＰ２を設定するとともに、ステップＳ１３で認識された計測ポイントＭＰ０の区画線擦れ率に基づき計測ポイントＭＰ１と計測ポイントＭＰ２との輝度比を推定する。ステップＳ１９で、図５Ｂの反射率テーブルを用いて、ステップＳ１８で推定された輝度比に基づき計測ポイントＭＰ１の反射率を推定する。ステップＳ２０で、上記式（i）（ii）を用いて、ステップＳ１４で推定された照度と、ステップＳ１９で推定された反射率とに基づき、計測ポイントＭＰ１の推定輝度を算出し、推定輝度との輝度差が所定程度以内である領域の車線幅方向の端部の位置を、区画線の端部の位置として認識する。

【0037】

本実施形態によれば以下のような作用効果を奏することができる。
（１）区画線認識装置５０は、自車両の周囲の状況を撮像するカメラ４と、自車両の周囲の照度を検出する照度センサ５と、カメラ４により取得された撮像画像に基づいて、道路の車線を規定する区画線を認識するとともに区画線（詳細には、計測ポイントＭＰ０）の擦れ度合いを認識する擦れ率認識部１１３と、照度センサ５により検出された照度に基づいて、区画線の照度を推定する照度推定部１１４と、擦れ率認識部１１３により認識された区画線の擦れ度合いに基づいて、区画線内の第１領域と区画線外の第２領域との輝度比を推定する輝度比推定部１１５と、輝度比推定部１１５により推定された輝度比に基づいて、第１領域の反射率を推定する反射率推定部１１６と、照度推定部１１４により推定された区画線の照度と、反射率推定部１１６により推定された第１領域の反射率とに基づいて、第１領域の輝度を推定する輝度推定部１１７と、輝度推定部１１７により推定された第１領域の輝度に基づいて、区画線の端部の位置を認識する端部認識部１１８と、を備える。

【0038】

このように、カメラ４の撮像画像を用いて単に区画線を認識するのではなく、カメラ４の撮像画像に基づき得られる区画線の擦れ度合いを考慮して区画線の端部の位置を認識することで、区画線を精度よく認識できる。その結果、区画線の誤認識や認識不可により生じるドライバへの不要な運転権限委譲や急な運転権限委譲を抑制できる。また、精度よく認識された区画線に基づいて目標軌道が生成されるので、安定した自動走行を行うことが可能となり、乗員の乗り心地を向上できる。さらに、カメラ４の撮像画像に基づき区画線を精度よく認識できるので、ライダやレーダといった他のセンサを必要とすることがなく、装置構成を簡略化できる。

【0039】

（２）端部認識部１１８は、輝度推定部１１７により推定された第１領域の輝度に基づいて、第１領域を含む領域であって第１領域との輝度差が所定程度以内である領域の車線幅方向の端部の位置を区画線の端部の位置として認識する。これにより、道路の車線を規定する区画線と区画線該の領域との境界を精度よく認識できる。

【0040】

（３）区画線認識装置５０は、太陽の位置を含む環境情報を取得する情報取得部１１１をさらに備える。照度推定部１１４は、環境情報により示される太陽の位置に基づき区画線が自車両の周囲の構造物の影で覆われているか否かを判定し、判定結果に基づいて照度センサ５により検出された照度を補正して区画線の照度を推定する。このとき、照度推定部１１４は、カメラ４により取得された撮像画像に基づいて構造物の位置、大きさ、および形状を認識し、認識結果に基づいて、区画線が自車両の周囲の構造物の影で覆われているか否かを判定する。これにより、道路脇の建物や植栽により道路に影が発生するような状況においても、区画線を精度よく認識できる。

【0041】

（４）環境情報にはさらに、天候に関する情報が含まれる。輝度比推定部１１５はさらに、環境情報により示される天候に基づいて、第１領域からカメラ４までの間における輝度の減衰量を推定し、該減衰量に基づいて第１領域の輝度を補正する。これにより、天候によらずに区画線を精度よく認識できる。

【0042】

（５）区画線認識装置５０は、区画線の擦れ度合いに対する、区画線内の領域と区画線外の領域との輝度比の特性を示す輝度比情報（図５Ａ）と、該輝度比に対する、区画線の反射率の特性を示す反射率情報（図５Ｂ）とを記憶する記憶部１２をさらに備える。輝度比推定部１１５は、擦れ率認識部１１３により認識された区画線の擦れ度合いと輝度比情報とに基づいて、第１領域と第２領域との輝度比を推定し、反射率推定部１１６は、輝度比推定部１１５により推定された輝度比と反射率情報とに基づいて、第１領域の反射率を推定する。これにより、区画線が摩耗や汚損しているときでも、区画線の認識精度の低下を抑制できる。また、予め用意されたテーブル（図５Ａ，５Ｂ）を用いて反射率の推定値を取得するようにしているので、複雑な計算処理が不要となり処理負荷を低減できる。

【0043】

上記実施形態は種々の形態に変形することができる。以下、いくつかの変形例について説明する。上記実施形態では、計測ポイント設定部１１２が、撮像部としてのカメラ４により取得された撮像画像に基づいて、区画線に対応する区画線領域（区画線認識領域）を認識するようにした。また、擦れ率認識部１１３が、区画線領域内の第１領域の区画線の擦れ度合いを認識するようにした。しかしながら、擦れ率認識部が第１認識部として、撮像部により取得された撮像画像に基づいて、区画線に対応する区画線領域を認識するとともに該区画線領域内の第１領域の区画線の擦れ度合いを認識してもよい。

【0044】

また、上記実施形態では、照度推定部１１４が、環境情報により示される太陽の位置に基づき第１領域が自車両の周囲の構造物の影で覆われているか否かを判定し、判定結果に基づいて照度検出器としての照度センサ５により検出された照度を補正するようにした。しかしながら、環境情報にはさらに、構造物の情報を含む地図情報が含まれていてもよく、照度推定部は、環境情報に含まれる地図情報に基づいて、第１領域が自車両の周囲の構造物の影で覆われているか否かを判定してもよい。

【0045】

また、上記実施形態では、輝度推定部１１７が、路面上の水膜の状態に基づき路面上の水膜の透過率を算出し、その透過率に基づいて、輝度の水膜による減衰量を推定するようにした。しかしながら、輝度推定部は、路面上の水膜の透過率の代わりにまたは透過率とともに屈折率を算出してもよい。この場合、輝度推定部は、水膜の透過率の代わりにまたは水膜の透過率とともに、水膜の屈折率に基づいて、輝度の水膜による減衰量を推定してもよい。

【0046】

また、上記実施形態では、輝度比推定部１１５が、図５Ａの輝度比テーブルを用いて、第１領域の区画線擦れ率に基づき第１領域と第２領域との輝度比を推定するようにした。しかしながら、逆光や暗部では輝度比が過大になる場合がある。そこで、図５Ａの輝度比テーブルに、光源（太陽）と反射点とカメラ４とがなす角度、および、照度推定部１１４により推定される第１領域の照度に応じて、輝度比に上下限値を設定してもよい。

【0047】

また、太陽の逆光、路面照り返し、対向車や前走車両、他のオブジェクトによる太陽光の反射等によって、カメラ４のイメージセンサ機能の上限を超える光がカメラ４に入射するような環境において、カメラ４のシャッタースピードを速くしてもよい。これにより、太陽の逆光等によりカメラ４の撮像画像のハイライト部分（明るい部分）が白く抜けてしまう、いわゆる白飛びの発生を抑制でき、区画線の認識精度をさらに向上できる。

【0048】

また、上記実施形態では、第２認識部としての端部認識部１１８が、輝度比推定部１１５により推定された第１領域の輝度との差が所定程度以内である輝度を有する領域（画素群）の車線幅方向の端部の位置（画素）を、区画線の端部として認識するようにした。しかしながら、端部認識部は、上記画素群の車線幅方向の端部だけでなく延在方向の端部の位置（画素）を、区画線の端部の位置として認識してもよい。これにより、車線境界線のような破線の区画線や、横断歩道を規定する路面上の線などについても精度よく認識できる。また、端部認識部は、第１領域との輝度差が所定閾値以上である画素を車線幅方向に探索し、最初に検出された画素の１つ手前の画素を区画線の端部の位置（画素）として認識してもよい。所定閾値は、図５Ａのテーブルから得られる、第１領域の区画線擦れ率ＣＦに対応する輝度比ＢＲに基づき決定される。より詳細には、端部認識部は、第１領域の輝度に輝度比ＢＲを乗算して第２領域の輝度を求めて、第１領域と第２領域の輝度差を所定閾値に決定する。

【0049】

さらに、上記実施形態では、区画線認識装置５０を自動運転車両に適用したが、区画線認識装置５０は、自動運転車両以外の車両にも適用可能である。例えば、ＡＤＡＳ（Advanced driver-assistance systems）を備える手動運転車両にも区画線認識装置５０を適用することができる。

【0050】

以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の一つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。

【符号の説明】

【0051】

１ 通信ユニット、２ 測位ユニット、３ 内部センサ群、４ カメラ、５ 照度センサ、１０ コントローラ、１２ 記憶部、１１１ 情報取得部、１１２ 計測ポイント設定部、１１３ 擦れ率認識部、１１４ 照度推定部、１１５ 輝度比推定部、１１６ 反射率推定部、１１７ 輝度推定部、１１８ 端部認識部、１１９ 走行制御部、ＡＣ アクチュエータ

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】