特許 7167431 勾配変化検出装置、方法及びプログラム、並びに、車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-31

(45)【発行日】2022-11-09

(54)【発明の名称】勾配変化検出装置、方法及びプログラム、並びに、車両

(51)【国際特許分類】

   G08G 1/16 20060101AFI20221101BHJP

   G08G 1/00 20060101ALI20221101BHJP

   G01B 11/26 20060101ALI20221101BHJP

【ＦＩ】

G08G1/16 C

G08G1/00 J

G01B11/26 H

【請求項の数】 12

(21)【出願番号】P 2017223405

(22)【出願日】2017-11-21

(65)【公開番号】P2019095956

(43)【公開日】2019-06-20

【審査請求日】2020-10-15

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(74)【代理人】

【識別番号】230121430

【弁護士】

【氏名又は名称】安井 友章

(72)【発明者】

【氏名】二反田 直己

【審査官】菅家 裕輔

(56)【参考文献】

【文献】特開２０１５－２１７８５２（ＪＰ，Ａ）

【文献】特開２０１６－０２８９２７（ＪＰ，Ａ）

【文献】特開２０１６－２０７０６２（ＪＰ，Ａ）

【文献】特開２０１６－２０７０６３（ＪＰ，Ａ）

【文献】特開２０１４－０４１４６０（ＪＰ，Ａ）

【文献】特開２００２－３６６９３６（ＪＰ，Ａ）

【文献】特開２０１７－１４４７６９（ＪＰ，Ａ）

【文献】特開２０１７－０９０１５９（ＪＰ，Ａ）

【文献】特開２０１４－２３５７３７（ＪＰ，Ａ）

【文献】特開２０１５－１４３９７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０１Ｂ １１／００ － １１／３０

Ｂ６０Ｗ １０／００ － １０／３０

Ｂ６０Ｗ ３０／００ － ６０／００

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

自車両の進行方向の画像を撮像した撮像画像を取得する画像取得部（３０）と、
前記撮像画像において自車両の走行する路面に相当する路面領域（Ｕ）の最遠点（Ｋ）を検出する最遠点検出部（４０）と、
前記撮像画像における前記最遠点の垂直方向位置に基づいて前記路面における勾配変化の存否を判定する勾配変化判定部（６０）と、
を具備し、
前記勾配変化判定部は、前記撮像画像における前記最遠点の垂直方向位置の時間変化に基づいて判定を行う、
勾配変化検出装置。

【請求項2】

前記勾配変化判定部は、前記撮像画像における前記最遠点の消失点（Ｆ）に対する垂直方向位置に基づいて判定を行う、
請求項１に記載の勾配変化検出装置。

【請求項3】

自車両の進行方向の画像を撮像した撮像画像を取得する画像取得ステップと、
前記撮像画像において自車両の走行する路面に相当する路面領域の最遠点を検出する最遠点検出ステップと、
前記撮像画像における前記最遠点の垂直方向位置に基づいて前記路面における勾配変化の存否を判定する勾配変化判定ステップと、
を具備し、
前記勾配変化判定ステップでは、前記撮像画像における前記最遠点の垂直方向位置の時間変化に基づいて判定を行う、
勾配変化検出方法。

【請求項4】

コンピュータに、
自車両の進行方向の画像を撮像した撮像画像を取得する画像取得機能と、
前記撮像画像において自車両の走行する路面に相当する路面領域の最遠点を検出する最遠点検出機能と、
前記撮像画像における前記最遠点の垂直方向位置に基づいて前記路面における勾配変化の存否を判定する勾配変化判定機能と、
を実現させるための勾配変化検出プログラムであって、
前記勾配変化判定機能は、前記撮像画像における前記最遠点の垂直方向位置の時間変化に基づいて判定を行う、
勾配変化検出プログラム。

【請求項5】

自車両の進行方向の画像を撮像した撮像画像を取得する画像取得部と、
前記撮像画像において自車両の走行する路面に相当する路面領域の最遠点を検出する最遠点検出部と、
前記撮像画像における前記最遠点の垂直方向位置に基づいて前記路面における勾配変化の存否を判定する勾配変化判定部と、
を具備し、
前記勾配変化判定部は、自車両の進行方向の見通しが良い場合には、前記撮像画像における前記最遠点の消失点に対する垂直方向位置に基づいて判定を行い、自車両の進行方向の見通しが悪い場合には、前記撮像画像における前記最遠点の垂直方向位置の時間変化に基づいて判定を行う、
勾配変化検出装置。

【請求項6】

自車両の進行方向の画像を撮像した撮像画像を取得する画像取得ステップと、
前記撮像画像において自車両の走行する路面に相当する路面領域の最遠点を検出する最遠点検出ステップと、
前記撮像画像における前記最遠点の垂直方向位置に基づいて前記路面における勾配変化の存否を判定する勾配変化判定ステップと、
を具備し、
前記勾配変化判定ステップでは、自車両の進行方向の見通しが良い場合には、前記撮像画像における前記最遠点の消失点に対する垂直方向位置に基づいて判定を行い、自車両の進行方向の見通しが悪い場合には、前記撮像画像における前記最遠点の垂直方向位置の時間変化に基づいて判定を行う、
勾配変化検出方法。

【請求項7】

コンピュータに、
自車両の進行方向の画像を撮像した撮像画像を取得する画像取得機能と、
前記撮像画像において自車両の走行する路面に相当する路面領域の最遠点を検出する最遠点検出機能と、
前記撮像画像における前記最遠点の垂直方向位置に基づいて前記路面における勾配変化の存否を判定する勾配変化判定機能と、
を実現させるための勾配変化検出プログラムであって、
前記勾配変化判定機能は、自車両の進行方向の見通しが良い場合には、前記撮像画像における前記最遠点の消失点に対する垂直方向位置に基づいて判定を行い、自車両の進行方向の見通しが悪い場合には、前記撮像画像における前記最遠点の垂直方向位置の時間変化に基づいて判定を行う、
勾配変化検出プログラム。

【請求項8】

自車両の進行方向の画像を撮像した撮像画像を取得する画像取得部（３０）と、
前記撮像画像において自車両の走行する路面に相当する路面領域（Ｕ）の形状の特徴を取得する特徴取得部（７０）と、
前記路面領域の形状の特徴に基づいて前記路面における勾配変化の存否を判定する勾配変化判定部（９０）と、
を具備し、
前記勾配変化判定部は、前記路面領域の形状の特徴の時間変化に基づいて判定を行う、
勾配変化検出装置。

【請求項9】

前記勾配変化判定部は、前記路面において勾配変化が存在しない場合の路面領域の形状の特徴に対する前記路面領域の形状の特徴に基づいて判定を行う、
請求項８に記載の勾配変化検出装置。

【請求項10】

自車両の進行方向の画像を撮像した撮像画像を取得する画像取得ステップと、
前記撮像画像において自車両の走行する路面に相当する路面領域の形状の特徴を取得する特徴取得ステップと、
前記路面領域の形状の特徴に基づいて前記路面における勾配変化の存否を判定する勾配変化判定ステップと、
を具備し、
前記勾配変化判定ステップでは、前記路面領域の形状の特徴の時間変化に基づいて判定を行う、
勾配変化検出方法。

【請求項11】

コンピュータに、
自車両の進行方向の画像を撮像した撮像画像を取得する画像取得機能と、
前記撮像画像において自車両の走行する路面に相当する路面領域の形状の特徴を取得する特徴取得機能と、
前記路面領域の形状の特徴に基づいて前記路面における勾配変化の存否を判定する勾配変化判定機能と、
を実現させるための勾配変化検出プログラムであって、
前記勾配変化判定機能は、前記路面領域の形状の特徴の時間変化に基づいて判定を行う、
勾配変化検出プログラム。

【請求項12】

請求項１、２、５、８及び９のいずれか１項に記載の勾配変化検出装置を具備し、自車両の走行する路面に勾配変化が存在すると判定した場合に自動車線制御を停止する車両。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両の走行する路面の勾配変化を検出する勾配変化検出装置、方法及びプログラムに関する。

【背景技術】

【0002】

従来、自動車両制御に利用するため、自車両の進行方向の画像を撮像し、当該撮像画像から自車両の走行する路面の勾配を検出する様々な勾配検出装置が用いられている（例えば、特許文献１乃至６参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－２０５８８７号公報

【文献】特開平３－２７７９１６号公報

【文献】特開２０１２－２５５７０３号公報

【文献】特開平９－３２５０２６号公報

【文献】特開２０１０－２３３４号公報

【文献】特開２００８－３３７８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

自動車両制御を的確に行うためには、自車両の走行する路面における勾配変化の存否を適切に検出することが必要である。

【0005】

本発明は上記課題に鑑みてなされたものであり、その目的は、自車両の走行する路面における勾配変化の存否を適切に検出することが可能な勾配変化検出装置、方法及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

本発明は上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲及びこの項に記載した括弧内の符号は、一つの態様として後述する実施の形態に記載の具体的手段との対応関係を示す一例であって、本発明の技術的範囲を限定するものではない。

【0007】

本発明の第1実施態様は、自車両の進行方向の画像を撮像した撮像画像を取得する画像取得部（３０）と、前記撮像画像において自車両の走行する路面に相当する路面領域（Ｕ）の最遠点（Ｋ）を検出する最遠点検出部（４０）と、前記撮像画像における前記最遠点の垂直方向位置に基づいて前記路面における勾配変化の存否を判定する勾配変化判定部（６０）と、を具備する勾配変化検出装置である。

【0008】

本発明の第２実施態様は、自車両の進行方向の画像を撮像した撮像画像を取得する画像取得ステップと、前記撮像画像において自車両の走行する路面に相当する路面領域の最遠点を検出する最遠点検出ステップと、前記撮像画像における前記最遠点の垂直方向位置に基づいて前記路面における勾配変化の存否を判定する勾配変化判定ステップと、を具備する勾配変化検出方法である。

【0009】

本発明の第３実施態様は、コンピュータに、自車両の進行方向の画像を撮像した撮像画像を取得する画像取得機能と、前記撮像画像において自車両の走行する路面に相当する路面領域の最遠点を検出する最遠点検出機能と、前記撮像画像における前記最遠点の垂直方向位置に基づいて前記路面における勾配変化の存否を判定する勾配変化判定機能と、を実現させるための勾配変化検出プログラムである。

【0010】

本発明の第４実施態様は、自車両の進行方向の画像を撮像した撮像画像を取得する画像取得部（３０）と、前記撮像画像において自車両の走行する路面に相当する路面領域の形状の特徴を取得する特徴取得部（７０）と、前記路面領域の形状の特徴に基づいて前記路面における勾配変化の存否を判定する勾配変化判定部（９０）と、を具備する勾配変化検出装置である。

【0011】

本発明の第５実施態様は、自車両の進行方向の画像を撮像した撮像画像を取得する画像取得ステップと、前記撮像画像において自車両の走行する路面に相当する路面領域の形状の特徴を取得する特徴取得ステップと、前記路面領域の形状の特徴に基づいて前記路面における勾配変化の存否を判定する勾配変化判定ステップと、を具備する勾配変化検出方法である。

【0012】

本発明の第６実施態様は、コンピュータに、自車両の進行方向の画像を撮像した撮像画像を取得する画像取得機能と、前記撮像画像において自車両の走行する路面に相当する路面領域の形状の特徴を取得する特徴取得機能と、前記路面領域の形状の特徴に基づいて前記路面における勾配変化の存否を判定する勾配変化判定機能と、を実現させるための勾配変化検出プログラムである。

【0013】

本発明の第７実施態様は、自車両の走行する路面に勾配変化が存在する場合に自動車線制御を緩和又は停止する車両である。

【発明の効果】

【0014】

本発明では、自車両の走行する路面における勾配変化の存否を適切に検出することが可能となっている。

【図面の簡単な説明】

【0015】

【図1】従来技術の画像認識を用いた測距において勾配変化により発生する問題を示す模式図。

【図2】従来技術の画像認識を用いた白線認識において勾配変化により発生する問題を示す模式図。

【図3】本発明の第１実施形態の勾配変化検出の原理を示す模式図。

【図4】本発明の第１実施形態の勾配変化検出を示す模式図。

【図5】本発明の第１実施形態の勾配変化検出における直線近似を示すグラフ図。

【図6】本発明の第１実施形態の勾配変化検出システムを示すブロック図。

【図7】本発明の第１実施形態の勾配変化検出方法を示すフロー図。

【図8】本発明の第１実施形態の最遠点検出ステップを示すフロー図。

【図9】本発明の第１実施形態の勾配変化判定ステップを示すフロー図。

【図10】本発明の第２実施形態の勾配変化検出の原理を示す模式図。

【図11】本発明の第２実施形態の勾配変化検出を示す模式図。

【図12】本発明の第２実施形態の勾配変化検出における直線近似を示すグラフ図。

【図13】本発明の第２実施形態の勾配変化検出システムを示すブロック図。

【図14】本発明の第２実施形態の勾配変化検出方法を示すフロー図。

【図15】本発明の第２実施形態の勾配変化判定ステップを示すフロー図。

【発明を実施するための形態】

【0016】

図１及び図２を参照して、従来技術の画像認識において、勾配変化の存在により発生する問題の例として、測距ないし白線認識における問題を説明する。

【0017】

図１を参照して、測距において発生する問題を説明する。
図１（ａ）に示されるように、従来技術の画像認識を用いた測距では、測距対象の下端位置を基準にして、自車両から測距対象までの距離を推定している。当該推定においては、自車両と測距対象とが同一平面に存在することを前提としている。このため、図１（ｂ）に示されるように、自車両の走行する路面に勾配がある場合であっても、測距対象も当該勾配を有する同一平面に存在すれば、距離の推定において特段の問題は発生しない。しかしながら、図１（ｃ）及び図１（ｄ）に示されるように、自車両と測距対象とが同一平面に存在しない場合、即ち、自車両と測距対象との間に勾配変化Ｐ，Ｑが存在する場合には、距離の推定の前提が充足されないため、自車両から測距対象までの距離を正確に推定できなくなる。この結果、自動制動制御、自動車間距離制御等、自車両と測距対象との距離に基づく制御において、適切な制御を行えなくなる可能性がある。

【0018】

図２を参照して、白線認識において発生する問題を説明する。
撮像画像の画像認識に基づいて鳥瞰画像を生成する場合、例えば自車両が走行する車線が直線車線であれば、図２（ａ）に示されるように、鳥瞰画像でも直線車線が再現され、車線を規定する白線Ｒは直線状となる。しかしながら、自車両の走行する路面に凹部ないし凸部のような勾配変化が存在する場合には、図２（ｂ）ないし図２（ｃ）に示されるように、鳥瞰画像では直線車線が適切に再現されず、車線を規定する白線Ｒは現実とは異なる曲率の形状ないし配置となる。この結果、自動車線維持制御、自動車線逸脱防止制御等、白線認識の結果に基づく自動車線制御において、適切な制御を行えなくなる可能性がある。

【0019】

以下の各実施形態については、このような問題等に対応するために、自車両の走行する路面における勾配変化を検出するものである。

【0020】

図３乃至図９を参照して、本発明の第１実施形態について説明する。
本実施形態の勾配検出装置及び方法については、撮像画像における路面領域の最遠点の垂直方向位置に基づいて勾配変化の存否を判定するものである。具体的には、撮像画像における消失点の垂直方向位置に対する路面領域の最遠点の垂直方向位置、並びに、撮像画像における路面領域の最遠点の垂直方向位置の時間変化に基づいて、勾配変化の存否を判定する。

【0021】

図３乃至図５を参照して、本実施形態の勾配変化検出について説明する。
図３を参照して、本実施形態の勾配変化検出の原理について説明する。
撮像装置によって撮像した撮像画像には無限遠点としての消失点（ｆｏｃｕｓ ｏｆ ｅｘｐａｎｓｉｏｎ，ＦＯＥ）が存在する。本実施形態では、水平面において撮像した撮像画像の消失点を特に消失点として定義し、撮像画像の画像中心に当該消失点が一致するように較正を行っておく。

【0022】

図３に示されるように、自車両の走行する路面に勾配の変化する凹部Ｐが存在する場合、凹部Ｐよりも遠方の路面については、自車両の存在する平面よりも高い位置にあって視界に入り撮像されるため、撮像画像において消失点Ｆよりも高い位置に路面領域Ｕの最遠点Ｋが位置することになる。一方、自車両の走行する路面に勾配の変化する凸部Ｑが存在する場合には、凸部Ｑよりも遠方の路面については、自車両の存在する平面よりも低い位置にあって死角に入り撮像されないため、撮像画像において消失点Ｆよりも低い位置に路面領域Ｕの最遠点Ｋが位置することになる。

【0023】

このように、自車両の走行する路面における勾配変化の存否に応じて、撮像画像における路面領域Ｕの最遠点Ｋの垂直方向位置が変化することになるため、撮像画像における最遠点Ｋの垂直方向位置に基づいて勾配変化の存否の判定が可能である。

【0024】

図4及び図５を参照して、本実施形態の勾配変化検出について詳説する。

【0025】

図４に示されるように、自車両が路面を走行する場合において、横軸を時間ｔ、縦軸を撮像画像における路面領域Ｕの最遠点Ｋの垂直方向位置ｈとするグラフを想定する。自車両の進行方向の路面に凹部が存在する場合には、自車両の進行に応じて、路面領域Ｕの最遠点Ｋは消失点Ｆから上向きに移動してゆき、その後消失点Ｆの垂直方向位置Ｈよりも高い一定の垂直方向位置ｈ１をとる。一方、自車両の進行方向の路面に凸部が存在する場合には、自車両の進行に応じて、路面領域Ｕの最遠点Ｋは消失点Ｆから下向きに移動してゆき、その後消失点Ｆの垂直方向位置Ｈよりも低い一定の垂直方向位置ｈ２をとる。

【0026】

このように、自車両の進行方向の路面に勾配変化が存在する場合には、所定の時刻において消失点の垂直方向位置Ｈと路面領域Ｕの最遠点Ｋの垂直方向位置ｈとには一定の差が存在することになる。このため、所定の時刻における消失点Ｆの垂直方向位置Ｈに対する最遠点Ｋの垂直方向位置ｈの差を示す差分量が所定の閾値を超える場合には、自車両の走行する路面に勾配変化が存在すると判定できる。

【0027】

また、自車両の進行方向の路面に勾配変化が存在する場合には、所定の時間間隔において路面領域Ｕの最遠点Ｋの垂直方向位置ｈには一定の変化が生じることになる。このため、所定の時間間隔における最遠点Ｋの垂直方向位置ｈの変化を示す変化量が所定の閾値を超える場合には、自車両の走行する路面に勾配変化が存在すると判定できる。

【0028】

本実施形態では、消失点の垂直方向位置Ｈに対する最遠点の垂直方向位置ｈの差分量Δについて、図５（ａ）に示されるように、最遠点の垂直方向位置ｈの時系列データを最小二乗法を用いて直線近似ｈ＝ａｔ＋ｂし、消失点の垂直方向位置Ｈと近似直線の切片ｂとの差Ｈ－ｂの絶対値｜Ｈ－ｂ｜を差分量Δとする。本実施形態では、直線近似の方法として最小二乗法を用いているが、その他の様々な方法を用いることが可能である。本実施形態の変形例では、直線近似の方法として、Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ（ＲＡＮＳＡＣ）、Ｌｅａｓｔ Ｍｅｄｉａｎ ｏｆ Ｓｑｕａｒｅｓ（ＬＭｅｄＳ）、Ｍ推定等のロバスト推定を用いてもよい。以下で述べる直線近似についても同様である。

【0029】

なお、消失点の垂直方向位置Ｈに対する最遠点の垂直方向位置ｈの差分量Δを勾配変化の存否の判定基準とする場合には、原理的には時系列データは不要であるが、時系列データを用いることでノイズに対するロバスト性が得られる。本実施形態の変形例では、消失点の垂直方向位置Ｈに対する最遠点の垂直方向位置ｈの差分量として、所定の時刻における消失点の垂直方向位置Ｈに対する最遠点の垂直方向位置ｈの差Ｈ－ｈの絶対値｜Ｈ－ｈ｜を用いてもよい。

【0030】

また、所定の時間間隔における最遠点の垂直方向位置ｈの変化量δについて、図５（ｂ）に示されるように、最遠点の垂直方向位置ｈの時系列データを最小二乗法を用いて直線近似ｈ＝ａｔ＋ｂし、近似直線の傾きａの絶対値｜ａ｜を変化量δとする。

【0031】

ここで、天候が良い場合等、自車両の進行方向の見通しが比較的良い場合には、自車両から路面の勾配変化が比較的遠方にある段階で、最遠点が比較的短時間で一定の垂直方向位置まで移動するため、消失点の垂直方向位置に対する最遠点の垂直方向位置の差分量を勾配変化の存否の判定基準とするのが適切である。一方、天候が悪い場合等、自車両の進行方向の見通しが比較的悪い場合には、自車両が路面の勾配変化に比較的接近した段階で、最遠点が比較的長時間かけて一定の垂直方向位置まで移動するため、最遠点の垂直方向位置の変化量を勾配変化の存否の判定基準とするのが適切である。

【0032】

図６を参照して、本実施形態の勾配変化検出システムを説明する。
本実施形態の勾配変化検出システムは、自車両の走行する路面における勾配変化を検出するシステムであり、図６に示されるように、撮像装置１０と、勾配変化検出装置２０とを有する。撮像装置１０は自車両の進行方向の画像を撮像する。本実施形態では、撮像装置１０として単眼カメラが用いられる。勾配検出装置２０では、画像取得部３０は、撮像装置１０によって撮像された撮像画像を取得する機能を有する。最遠点検出部４０は、画像取得部３０によって取得された撮像画像において、自車両の走行する路面に相当する路面領域の最遠点を検出する機能を有する。最遠点位置記憶部５０は、最遠点検出部４０によって検出された最遠点の撮像画像における垂直方向位置を時系列データとして記憶する機能を有する。勾配変化判定部６０は、最遠点位置記憶部５０に記憶されている最遠点の垂直方向位置の時系列データに基づいて、自車両の走行する路面における勾配変化の存否を判定する機能を有する。

【0033】

図７乃至図９を参照して、本実施形態の勾配変化検出方法について説明する。

【0034】

図７に示されるように、本実施形態の勾配変化検出方法は、自車両の走行する路面における勾配変化を検出する方法であり、以下の各ステップを有する。なお、最遠点検出ステップ及び勾配変化判定ステップについては以下でさらに詳説する。

【0035】

画像取得ステップＳ３０
画像取得ステップＳ３０では、自車両の進行方向の画像を撮像して撮像画像を取得する。

【0036】

最遠点検出ステップＳ４０
最遠点検出ステップＳ４０では、画像取得ステップＳ３０で取得された撮像画像において、自車両の走行する路面に相当する路面領域の最遠点を検出する。

【0037】

最遠点位置記憶ステップＳ５０
最遠点位置記憶ステップＳ５０では、最遠点検出ステップＳ４０で検出された路面領域の最遠点について、最遠点の撮像画像における垂直方向位置を時系列データとして記憶する。

【0038】

勾配変化判定ステップＳ６０
勾配変化判定ステップＳ６０では、最遠点位置記憶ステップＳ５０で記憶された最遠点の垂直方向位置の時系列データに基づいて、自車両の走行する路面における勾配変化の存否を判定する。

【0039】

図８を参照して、本実施形態の最遠点検出ステップＳ４０について説明する。
最遠点検出ステップＳ４０は、上述したように、自車両の進行方向の画像を撮像した撮像画像において、自車両の走行する路面に相当する路面領域の最遠点を検出するステップであり、図８に示されるように、以下の各ステップを有する。

【0040】

画像分割ステップＳ４１
画像分割ステップＳ４１では、画像取得ステップＳ３０で取得した撮像画像を各領域に分割する。本実施形態では、撮像画像の分割には深層学習に基づくセグメンテーションを用いる。

【0041】

路面領域抽出ステップＳ４２
路面領域抽出ステップＳ４２では、画像分割ステップＳ４１で分割された撮像画像の複数の領域から、自車両の走行する路面に相当する路面領域を抽出する。

【0042】

最遠点抽出ステップＳ４３
最遠点抽出ステップＳ４３では、路面領域抽出ステップＳ４２で抽出された路面領域の最遠点を検出する。

【0043】

なお、路面領域の最遠点の検出方法としては様々な方法を用いることが可能である。本実施形態の変形例では、路面領域の最遠点の検出方法として、水平エッジ分布から水平線を検出する方法、オプティカルプローの湧出点を利用する方法等を用いてもよい。

【0044】

図９を参照して、本実施形態の勾配変化判定ステップＳ６０について説明する。
勾配変化判定ステップＳ６０は、上述したように、撮像画像における路面領域の最遠点の垂直方向位置の時系列データに基づいて、自車両の走行する路面における勾配変化の存否を判定するステップであり、図９に示されるように、以下の各ステップを有する。

【0045】

直線近似ステップＳ６１
直線近似ステップＳ６１では、横軸を時間ｔ、縦軸を最遠点の垂直方向位置ｈとする座標系において、最遠点位置記憶ステップＳ５０で記憶された最遠点の垂直方向位置の時系列データを最小二乗法を用いて直線近似ｈ＝ａｔ＋ｂし、近似直線の傾きａ及び切片ｂを算出する。

【0046】

変化量取得ステップＳ６２
変化量取得ステップＳ６２では、最遠点の垂直方向位置の変化量δとして、直線近似ステップＳ６１で算出された近似直線の傾きの絶対値｜ａ｜を取得する。

【0047】

差分量取得ステップＳ６３
差分量取得ステップＳ６３では、消失点の垂直方向位置に対する最遠点の垂直方向位置の差分量Δとして、消失点の垂直方向位置と直線近似ステップＳ６１で算出された近似直線の切片との差の絶対値｜Ｈ－ｂ｜を取得する。

【0048】

変化量判断ステップＳ６４
変化量判断ステップＳ６４では、変化量取得ステップＳ６２で取得された最遠点の垂直方向位置の変化量δ＝｜ａ｜について、所定の閾値Ｔｈδ以上となるか否か判断する。変化量δが所定の閾値Ｔｈδ以上と判断された場合には、勾配変化存在認定ステップＳ６６に進む。一方、変化量δが所定の閾値Ｔｈδ未満と判断された場合には、差分量判断ステップＳ６５に進む。

【0049】

差分量判断ステップＳ６５
差分量判断ステップＳ６５では、差分量取得ステップＳ６３で取得された消失点の垂直方向位置に対する最遠点の垂直方向位置の差分量Δ＝｜Ｈ－ｂ｜について、所定の閾値ＴｈΔ以上となるか否か判断する。差分量Δが所定の閾値ＴｈΔ以上と判断された場合には、勾配変化存在認定ステップＳ６６に進む。一方、差分量Δ＝｜Ｈ－ｂ｜が所定の閾値ＴｈΔ未満と判断された場合には、勾配変化不存在認定ステップＳ６７に進む。

【0050】

勾配変化存在認定ステップＳ６６
勾配変化存在認定ステップＳ６６では、変化量δあるいは差分量Δが所定の閾値Ｔｈδ，ＴｈΔ以上と判断された場合について、自車両の走行する路面に勾配変化が存在すると認定する。

【0051】

勾配変化不存在認定ステップＳ６７
勾配変化不存在認定ステップＳ６７では、変化量δ及び差分量Δが所定の閾値Ｔｈδ，ＴｈΔ未満と判断された場合について、自車両の走行する路面に勾配変化が存在しないと認定する。

【0052】

以下、勾配変化検出の結果を利用した車両制御について説明する。

【0053】

図１を参照して説明したように、従来技術の画像認識を用いた測距において、自車両と測距対象との間に勾配変化が存在する場合には、自車両から測距対象までの距離を正確に推定できなくなり、自動制動制御、自動車間距離制御等、自車両と測距対象との距離に基づく自動車両制御において、適切な制御を行えなくなる可能性がある。これに対して、本実施形態の勾配変化検出の結果を利用して、画像認識を用いた測距において、勾配変化が存在する場合には、測距された距離を補正する、測距結果の信頼性を低下させる、測距自体を行わないといった対処が可能である。また、自車両と測距対象との間の距離に基づく自動車両制御において、勾配変化が存在する場合には、制御を補正、停止する等といった対処が可能である。

【0054】

図２を参照して説明したように、従来技術の画像認識を用いた白線認識において、自車両の走行する路面に勾配変化が存在する場合には、車線を規定する白線は現実とは異なる曲率の形状ないし配置となり、自動車線維持制御、自動車線逸脱防止制御等、白線認識の結果に基づく自動車線制御において、適切な制御を行えなくなる可能性がある。これに対して、本実施形態の勾配変化検出の結果を利用して、画像認識を用いた白線認識において、勾配変化が存在する場合には、認識された白線の形状ないし配置を補正する、白線認識の信頼性を低下させる、白線認識自体を行わないといった対処が可能である。また、白線認識の結果に基づく自動車線制御において、勾配変化が存在する場合には、制御を緩和、停止する等といった対処が可能である。

【0055】

その他、勾配変化が存在する場合に、自動車両制御において、所望の加速性能を実現するためトルク量を調整する、所望の乗り心地を実現するためサスペンションの設定を変更する等といった制御を行うことが可能である。

【0056】

また、車両の自動運転において、地図上で自車両の位置を決定する場合に、適切なランドマークが存在しない砂漠等の地域では、勾配変化をランドマークとして自車両の位置を決定することが可能である。

【0057】

本実施形態の勾配変化検出装置及び方法については、以下の効果を奏する。

【0058】

本実施形態の勾配変化検出装置及び方法では、自車両の進行方向の画像を撮像した撮像画像において、自車両の走行する路面に相当する路面領域の最遠点を検出し、撮像画像における路面領域の最遠点の垂直方向位置に基づいて、自車両の走行する路面における勾配変化の存否を判定している。このため、自車両の走行する路面における勾配変化を適切に検出することが可能となっている。

【0059】

特に、単眼カメラによって撮像された撮像画像のみから勾配変化を検出することができ、勾配変化の検出に、ステレオカメラや、レーダー、ライダー、加速度センサ等の他のセンサ類も必要ないため、低コストで勾配変化検出を実現することが可能となっている。

【0060】

また、撮像画像における路面領域の最遠点の垂直方向位置のみから勾配変化を検出することができ、勾配変化の検出対象である路面さえあれば、勾配変化の検出のために白線、静止物等のその他の物体を必要としないため、幅広い環境下で勾配変化検出を実施することが可能となっている。

【0061】

図１０乃至図１５を参照して、本発明の第２実施形態について説明する。
本実施形態の勾配変化検出装置及び方法については、撮像画像における路面領域の形状の特徴として、路面に勾配変化が存在しないと仮定した場合の基準路面領域の面積に対する現実の路面領域の面積の面積比を用い、当該面積比に基づいて勾配変化の存否を判定するものである。具体的には、路面に勾配変化が存在しない場合の面積比を面積比の基準値とし、基準値に対する面積比に基づいて勾配変化の存否を判定し、また、面積比の時間変化に基づいて勾配変化の存否を判定する。

【0062】

図１０乃至図１２を参照して、本実施形態の勾配変化検出について説明する。
図１０を参照して、本実施形態の勾配変化検出の原理について説明する。
図１０に示されるように、自車両の走行する路面に勾配変化が存在しない場合、撮像画像における路面領域Ｕは、撮像画像の下辺を底辺とし路面領域の最遠点Ｋを頂点とする二等辺三角形の形状となる。一方、自車両の走行する路面に勾配の変化する凹部Ｐが存在する場合には、撮像画像における路面領域Ｕは、撮像画像の下辺を底辺とし路面領域の最遠点Ｋを頂点とする二等辺三角形において、両側部を内向きに凹とした形状となる。また、自車両の走行する路面に勾配の変化する凸部Ｑが存在する場合には、撮像画像における路面領域Ｕは、撮像画像の下辺を底辺とし路面領域の最遠点Ｋを頂点とする二等辺三角形において、両側部を外向きに凸とした形状となる。

【0063】

このように、自車両の走行する路面における勾配変化の存否に応じて、撮像画像における路面領域Ｕの形状の特徴が変化することになるため、撮像画像における路面領域Ｕの形状の特徴に基づいて勾配変化の存否の判定が可能である。

【0064】

図１１及び図１２を参照して、本実施形態の勾配変化検出について詳説する。

【0065】

図１１に示されるように、本実施形態では、撮像画像において、路面に勾配変化が存在しないと仮定した場合の路面領域を基準路面領域Ｗとする。基準路面領域Ｗは、撮像画像の下辺を底辺とし、路面領域の最遠点を頂点とする二等辺三角形となる。そして、路面領域Ｕの形状の特徴として、基準路面領域Ｗの面積に対する路面領域Ｕの面積の面積比を用いる。また、面積比の基準値として、自車両の走行する路面に勾配変化が存在しない場合の面積比１を用いる。

【0066】

自車両が路面を走行する場合において、横軸を時間ｔ、縦軸を面積比ｓとするグラフを想定する。自車両の進行方向の路面に凹部が存在する場合には、自車両の進行に応じて、路面領域Ｕの形状については、基準路面領域Ｗの形状である二等辺三角形に対して、両側部が内向きに窪んでいき、その後一定の形状となるため、面積比ｓは、基準値１から減少してゆき、その後基準値１より小さい一定の値ｓ１をとる。一方、自車両の進行方向の路面に凸部が存在する場合には、自車両の進行に応じて、路面領域Ｕの形状については、基準路面領域Ｗの形状である二等辺三角形に対して、両側部が外向きに突出していき、その後一定の形状となるため、面積比ｓは、基準値１から増大していき、その後基準値１より大きい一定の値ｓ２をとる。

【0067】

即ち、自車両の進行方向の路面に勾配変化が存在する場合には、所定の時刻において面積比ｓとその基準値１とには一定の差分が存在することになる。このため、所定の時刻における面積比ｓとその基準値１との差分量が所定の閾値を超える場合には、自車両の走行する路面に勾配変化が存在すると判定できる。

【0068】

また、自車両の進行方向の路面に勾配変化が存在する場合には、所定の時間間隔において面積比ｓには一定の変化が生じることになる。このため、所定の時間間隔における面積比ｓの変化量が所定の閾値を超える場合には、自車両の走行する路面に勾配変化が存在すると判定できる。

【0069】

本実施形態では、面積比の基準値に対する差分量Λについて、図１２（ａ）に示されるように、面積比の時系列データを最小二乗法を用いて直線近似ｓ＝αｔ＋βし、基準値１と近似直線の切片βとの差１－βの絶対値｜１－β｜を差分量Λとする。なお、第１実施形態と同様に、差分量Λを勾配変化の存否の判定基準とする場合には、原理的には時系列データは不要であるが、時系列データを用いることでノイズに対するロバスト性が得られる。本実施形態の変形例では、面積比の基準値に対する差分量Λとして、所定の時刻における基準値１と面積比ｓとの差１－ｓの絶対値｜１－ｓ｜を用いてもよい。

【0070】

また、所定の時間間隔における面積比の変化量λについて、図１２（ｂ）に示されるように、面積比の時系列データを最小二乗法を用いて直線近似ｓ＝αｔ＋βし、近似直線の傾きαの絶対値｜α｜を変化量λとする。

【0071】

図１３を参照して、本実施形態の勾配変化検出システムについて説明する。第１実施形態と同様な構成については説明を省略する。
図１３に示されるように、勾配変化検出システムの勾配変化検出装置２２では、特徴取得部としての面積比算出部７０は、画像取得部３０によって取得された撮像画像から自車両の走行する路面に相当する路面領域を抽出し、路面領域の形状の特徴として、路面に勾配が存在しないと仮定した場合の路面領域である基準路面領域の面積に対する路面領域の面積の面積比を算出する機能を有する。面積比記憶部８０は、面積比算出部７０によって算出された面積比を時系列データとして記憶する機能を有する。勾配変化判定部９０は、面積比記憶部７０に記憶されている面積比の時系列データに基づいて、自車両の走行する路面における勾配変化の存否を判定する機能を有する。

【0072】

図１４及び図１５を参照して、本実施形態の勾配変化検出方法について説明する。第１実施形態と同様なステップについては説明を省略する。

【0073】

図１４に示されるように、本実施形態の勾配変化検出方法は、以下の各ステップを有する。なお、勾配変化判定ステップについては以下でさらに詳説する。

【0074】

画像取得ステップＳ３０
第１実施形態と同様である。

【0075】

面積比算出ステップＳ７０
面積比算出ステップＳ７０では、画像取得ステップＳ３０で取得した撮像画像を各領域に分割し、分割された撮像画像の複数の領域から、自車両の走行する路面に相当する路面領域を抽出する。さらに、路面領域の形状の特徴量として、路面に勾配が存在しないと仮定した場合の基準路面領域の面積に対する路面領域の面積の面積比を算出する。本実施形態では、撮像画像の分割には深層学習に基づくセグメンテーションを用いる。

【0076】

面積比記憶ステップＳ８０
面積比記憶ステップＳ８０では、面積比算出ステップＳ７０で算出された面積比を時系列データとして記憶する。

【0077】

勾配変化判定ステップＳ９０
勾配変化判定ステップＳ９０では、面積比記憶ステップＳ８０で記憶された面積比の時系列データに基づいて、自車両の走行する路面における勾配変化の存否を判定する。

【0078】

図１５を参照して、本実施形態の勾配変化判定ステップについて説明する。
勾配変化判定ステップについては、上述したように、基準路面領域の面積に対する路面領域の面積の面積比の時系列データに基づいて、自車両の走行する路面における勾配変化の存否を判定するステップであり、図１５に示されるように、以下の各ステップを有する。

【0079】

直線近似ステップＳ９１
直線近似ステップＳ９１では、横軸を時間ｔ、縦軸を面積比ｓとする座標系において、面積比記憶ステップＳ８０で記憶された面積比の時系列データを最小二乗法を用いて直線近似ｓ＝αｔ＋βし、当該直線の傾きα及び切片βを算出する。

【0080】

変化量取得ステップＳ９２
変化量取得ステップＳ９２では、所定の時間間隔における面積比の変化量λとして、直線近似ステップＳ９１で算出された傾きの絶対値｜α｜を取得する。

【0081】

差分量取得ステップＳ９３
差分量取得ステップＳ９３では、面積比の基準値に対する差分量Λとして、面積比の基準値と直線近似ステップＳ９２で算出された切片との差の絶対値｜１－β｜を取得する。

【0082】

変化量判断ステップＳ９４
変化量判断ステップＳ９４では、変化量取得ステップＳ９２で取得された面積比の変化量λについて、所定の閾値Ｔｈλ以上となるか否か判断する。変化量λが所定の閾値Ｔｈλ以上と判断された場合には、勾配変化存在認定ステップＳ９６に進む。一方、変化量λが所定の閾値Ｔｈλ未満と判断された場合には、差分量判断ステップＳ９５に進む。

【0083】

差分量判断ステップＳ９５
差分量判断ステップＳ９５では、差分量取得ステップＳ９３で取得された基準値に対する面積比の差分量Λについて、所定の閾値ＴｈΛ以上となるか否か判断する。差分量Λが所定の閾値ＴｈΛ以上と判断された場合には、勾配変化存在認定ステップＳ９６に進む。一方、差分量Λが所定の閾値ＴｈΛ未満と判断された場合には、勾配変化不存在認定ステップＳ９７に進む。

【0084】

勾配変化存在認定ステップＳ９６
勾配変化存在認定ステップＳ９６では、変化量λあるいは差分量Λが所定の閾値Ｔｈλ，ＴｈΛ以上と判断された場合について、自車両の走行する路面に勾配変化が存在すると認定する。

【0085】

勾配変化不存在認定ステップＳ９７
勾配変化不存在認定ステップＳ９７では、変化量λあるいは差分量Λが所定の閾値Ｔｈλ，ＴｈΛ未満と判断された場合について、自車両の走行する路面に勾配変化が存在しないと認定する。

【0086】

本実施形態の勾配変化検出装置及び方法については、第１実施形態と同様な効果を奏する。

【0087】

本実施形態では、勾配変化の存否の判定に用いる路面領域の形状の特徴として、路面に勾配変化が存在しないと仮定した場合の基準路面領域の面積に対する路面領域の面積の面積比を用いているが、その他の様々な路面領域の形状の特徴を用いることが可能である。

【0088】

本実施形態の変形例として、勾配変化の存否の判定に用いる路面領域の形状の特徴として、路面領域の鋭さを示す尖度を用いることが可能である。即ち、図１０を参照して説明したように、自車両の走行する路面に勾配の変化する凹部が存在する場合には、撮像画像における路面領域の尖度は比較的大きくなる。一方、自車両の走行する路面に勾配の変化する凸部が存在する場合には、撮像画像における路面領域の尖度は比較的小さくなる。このため、撮像画像における路面領域の尖度に基づいて、路面における勾配変化の存否の判定が可能である。

【0089】

また、勾配変化の存否の判定に用いる路面領域の形状の特徴として、路面領域の形状自体を用いることが可能である。即ち、路面における勾配変化の存否と撮像画像における路面領域の形状との関連性を機械学習し、パターンマッチング等によって路面領域の形状自体から路面における勾配変化の存否を判定することが可能である。

【0090】

以上述べた各実施形態及びその変形例では、勾配変化検出装置及び方法について説明したが、コンピュータに各実施形態及びその変形例の勾配変化検出装置の各種機能を実現させるためのプログラム、コンピュータに各実施形態及びその変形例の勾配変化検出方法の各種手順を実行させるためのプログラムも本願発明の範囲に含まれる。

【符号の説明】

【0091】

１０…撮像装置 ２０，２２…勾配変化検出装置 ３０…画像取得部
４０…最遠点検出部 ５０…最遠点位置記憶部 ６０，９０…勾配変化判定部
７０…面積比算出部 ８０…面積比記憶部 Ｒ…白線 Ｐ…凹部 Ｑ…凸部
Ｆ…消失点 Ｕ…路面領域 Ｋ…最遠点 Ｗ…基準路面領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】