特許 7323493 道路形状認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-31

(45)【発行日】2023-08-08

(54)【発明の名称】道路形状認識装置

(51)【国際特許分類】

   B60W 40/06 20120101AFI20230801BHJP

   B60W 60/00 20200101ALI20230801BHJP

   G08G 1/16 20060101ALI20230801BHJP

   G06T 7/00 20170101ALI20230801BHJP

   G06T 7/60 20170101ALI20230801BHJP

【ＦＩ】

B60W40/06

B60W60/00

G08G1/16 C

G06T7/00 650A

G06T7/60 200J

【請求項の数】 4

(21)【出願番号】P 2020106685

(22)【出願日】2020-06-22

(65)【公開番号】P2022001462

(43)【公開日】2022-01-06

【審査請求日】2022-09-09

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】岡田 昌也

(72)【発明者】

【氏名】植松 巧

(72)【発明者】

【氏名】波切 達也

(72)【発明者】

【氏名】杉本 成

【審査官】津田 真吾

(56)【参考文献】

【文献】特開２０２０－０６０９３６（ＪＰ，Ａ）

【文献】特開２０１８－０６３５２４（ＪＰ，Ａ）

【文献】国際公開第２０１２／１０４９１８（ＷＯ，Ａ１）

【文献】特開２０２０－０８７１９１（ＪＰ，Ａ）

【文献】特開２０１９－０７４４６６（ＪＰ，Ａ）

【文献】特開２０１９－０６７３４５（ＪＰ，Ａ）

【文献】特開２００６－３２２８９２（ＪＰ，Ａ）

【文献】特開２００２－１０９６９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ １０／００－１０／３０

３０／００－６０／００

Ｇ０８Ｇ １／００－９９／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

車両（１０）の周辺を検知できる周辺センサ（１２０）を有する前記車両に搭載される道路形状認識装置（１１０）であって、
前記周辺センサの出力に基づいて、道路の１以上の区画線のそれぞれの形状と、１以上の路側物のそれぞれの形状と、１以上の他車両のそれぞれの移動軌跡と、のうちの２つ以上の周辺情報を認識できる周辺情報認識部（１１１）と、
前記周辺情報のそれぞれの信頼度を設定する信頼度設定部（１１２）と、
前記周辺情報認識部によって認識された２つ以上の前記周辺情報と前記信頼度とに基づいて、前記車両が走行している道路の形状を表す点列を設定する点列設定部（１１３）と、
前記点列を出力する出力部（１１４）と、を備え、
前記点列設定部は、
前記車両に対して予め定められた相対位置にある地点から、遠方に向かって段階的に前記点列を設定し、
前記周辺情報が表す形状の変化量であって、予め定められた距離を有する区間ごとに決定される変化量である形状変化量と、前記点列のうち最後に設定した点の位置と、に基づき、次の点を設定する、道路形状認識装置。

【請求項2】

請求項１に記載の道路形状認識装置であって、
前記点列設定部は、前記周辺情報認識部によって認識された２つ以上の前記周辺情報のうち、前記信頼度が最も高い周辺情報に基づいて定められる前記形状変化量を用いて前記点列を設定する、道路形状認識装置。

【請求項3】

請求項１に記載の道路形状認識装置であって、
前記点列設定部は、前記信頼度に応じて重み付けを行った２つ以上の前記周辺情報に基づいて定められる前記形状変化量を用いて、前記点列を設定する、道路形状認識装置。

【請求項4】

請求項１から請求項３までのいずれか一項に記載の道路形状認識装置であって、
前記点列設定部は、前記周辺情報が認識できない区間が存在する場合、前記周辺情報が認識できた区間の前記周辺情報に基づいて定められる前記形状変化量を用いて前記点列を設定する、道路形状認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、道路形状認識装置に関する。

【背景技術】

【0002】

道路形状認識装置として、カメラで認識した道路の区画線のエッジ点から道路形状を線で表す道路モデルを算出して道路形状を認識するものが知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００２－１０９６９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、先行車両等の障害物によって車両の区画線が認識出来ない場合、道路モデルが適切に算出できず、道路形状を認識できないおそれがある。そのため、このような場合であっても、道路形状を認識できる技術が望まれていた。

【課題を解決するための手段】

【0005】

本開示は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。

【0006】

本開示の一形態によれば、車両（１０）の周辺を検知できる周辺センサ（１２０）を有する前記車両に搭載される道路形状認識装置（１１０）が提供される。道路形状認識装置は、前記周辺センサの出力に基づいて、道路の１以上の区画線のそれぞれの形状と、１以上の路側物のそれぞれの形状と、１以上の他車両のそれぞれの移動軌跡とのうちの２つ以上の周辺情報を認識できる周辺情報認識部（１１１）と、前記周辺情報のそれぞれの信頼度を設定する信頼度設定部（１１２）と、前記周辺情報認識部によって認識された２種類以上の前記周辺情報と前記信頼度とに基づいて、前記車両が走行している道路の形状を表す点列を設定する点列設定部（１１３）と、前記点列を出力する出力部（１１４）と、を備える。前記点列設定部は、前記車両に対して予め定められた相対位置にある地点から、遠方に向かって段階的に前記点列を設定し、前記周辺情報が表す形状の変化量であって、予め定められた距離を有する区間ごとに決定される変化量である形状変化量と、前記点列のうち最後に設定した点の位置と、に基づき、次の点を設定する。

【0007】

この形態の道路形状認識装置によれば、点列設定部は、２つ以上の周辺情報と各周辺情報の信頼度とに基づいて定められる形状変化量を用いて点列を設定する。そのため、例えば、先行車両等の障害物によって車両の右側の区画線が認識出来ない場合であっても、車両の左側の区画線の形状や路側物の形状、他車両の移動軌跡等を用いて、道路形状を点で表す点列として認識することができる。

【図面の簡単な説明】

【0008】

【図1】自動運転システムの構成を示す概要図である。

【図2】道路の区画線の形状の周辺情報の例を示す図である。

【図3】路側物の形状の周辺情報の例を示す図である。

【図4】他車両の移動軌跡の周辺情報の例を示す図である。

【図5】道路形状認識処理を表わすフローチャートである。

【図6】点列の設定の一例を示す説明図である。

【図7】点列の設定の他の例を示す説明図である。

【図8】点列の設定の更に他の例を示す説明図である。

【発明を実施するための形態】

【0009】

Ａ．第１実施形態：
図１に示すように、車両１０は、自動運転制御システム１００を備える。本実施形態において、自動運転制御システム１００は、車両１０の自動運転を実行する。本実施形態において、自動運転制御システム１００は、道路形状認識装置１１０と、周辺センサ１２０と、運転制御部２１０と、駆動力制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２２０と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０と、を備える。道路形状認識装置１１０と、運転制御部２１０と、駆動力制御ＥＣＵ２２０と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０とは、車載ネットワーク２５０を介して接続される。なお、車両１０は、自動運転に限らず、運転手によって手動で行われる手動運転によって運転されてもよい。

【0010】

周辺センサ１２０は、車両１０の周辺を検知できるセンサである。周辺センサ１２０は、カメラ１２２と周辺物体センサ１２４とを備える。カメラ１２２は、自車両１０の周囲を撮像して画像を取得する。周辺物体センサ１２４は、自車両１０の周囲の状況を検出する。周辺物体センサ１２４として、例えば、レーザーレーダー、ミリ波レーダー、超音波センサ等の反射波を利用した物体センサが挙げられる。

【0011】

道路形状認識装置１１０は、周辺情報認識部１１１と、信頼度設定部１１２と、点列設定部１１３と、出力部１１４と、を備える。道路形状認識装置１１０は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、これらの各部の機能を実現する。ただし、これらの各部の機能の一部又は全部をハードウェア回路で実現してもよい。

【0012】

周辺情報認識部１１１は、周辺センサ１２０の出力に基づいて周辺情報を２つ以上認識できる。「周辺情報」とは、道路の区画線の形状、または、壁やガードレール等の路側物の形状、他車両の移動軌跡である。すなわち、周辺情報認識部１１１は、周辺センサ１２０の出力に基づいて、道路の１以上の区画線のそれぞれの形状と、１以上の路側物のそれぞれの形状と、１以上の他車両のそれぞれの移動軌跡とのうちの２つ以上の周辺情報を認識できる。本実施形態において、周辺情報認識部１１１は、カメラ１２２が撮像した画像および周辺物体センサ１２４の検出結果から、走行している道路の左右の区画線の存在とその位置や、路側物の存在とその位置、他車両の存在、位置、大きさ、距離、進行方向、速度、ヨー角速度、等を認識する。なお、周辺情報認識部１１１は、他車両との車車間通信によってこれらの情報の一部を認識しても良い。周辺情報認識部１１１は、例えば、カルマンフィルタや最小二乗法を用いて、これらの情報から区画線の形状等を認識する。

【0013】

信頼度設定部１１２は、周辺情報認識部１１１が認識した周辺情報のそれぞれの信頼度を設定する。「信頼度」とは周辺情報が示す形状の認識の確かさの度合いを示す。信頼度が高いほど、形状の認識を信頼できる可能性が高い。例えば、区画線が明確であり容易に認識できる区間線の形状の周辺情報の信頼度は、区画線が掠れて認識が困難な区画線の形状の周辺情報の信頼度よりも高い。信頼度設定部１１２は、例えば、周辺センサ１２０が周辺を検知した際の天候や時間帯に応じて信頼度を設定することができる。

【0014】

点列設定部１１３は、周辺情報認識部１１１によって認識された２つ以上の周辺情報と、信頼度設定部１１２によって設定された信頼度とに基づいて、車両１０が走行している道路の形状を表す点列を設定する。より具体的には、点列設定部１１３は、車両１０に対して予め定められた相対位置にある地点から、遠方に向かって段階的に点列を設定し、形状変化量と、点列のうち最後に設定した点の位置と、に基づき次の点を設定する。「形状変化量」とは、周辺情報が表す形状の変化量であって、予め定められた距離を有する区間ごとに決定される変化量である。

【0015】

出力部１１４は、点列設定部１１３が設定した道路形状を表す点列を、車載ネットワーク２５０を通じて運転制御部２１０等に出力する。

【0016】

運転制御部２１０は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、自動運転機能を実現する。運転制御部２１０は、例えば、点列設定部１１３が設定した道路形状を表す点列を用いて駆動力制御ＥＣＵ２２０および制動力制御ＥＣＵ２３０、操舵制御ＥＣＵ２４０を制御する。

【0017】

駆動力制御ＥＣＵ２２０は、エンジンなど車両の駆動力を発生するアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、駆動力制御ＥＣＵ２２０は、アクセルペダルの操作量に応じてエンジンや電気モータである動力源を制御する。一方、自動運転を行う場合、駆動力制御ＥＣＵ２２０は、運転制御部２１０で演算された要求駆動力に応じて動力源を制御する。

【0018】

制動力制御ＥＣＵ２３０は、車両の制動力を発生するブレーキアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、制動力制御ＥＣＵ２３０は、ブレーキペダルの操作量に応じてブレーキアクチュエータを制御する。一方、自動運転を行う場合、制動力制御ＥＣＵ２３０は、運転制御部２１０で演算された要求制動力に応じてブレーキアクチュエータを制御する。

【0019】

操舵制御ＥＣＵ２４０は、車両の操舵トルクを発生するモータを制御する電子制御装置である。運転者が手動で運転を行う場合、操舵制御ＥＣＵ２４０は、ステアリングハンドルの操作に応じてモータを制御して、ステアリング操作に対するアシストトルクを発生させる。これにより、運転者が少量の力でステアリングを操作でき、車両の操舵を実現する。一方、自動運転を行う場合、操舵制御ＥＣＵ２４０は、運転制御部２１０で演算された要求操舵角に応じてモータを制御することで操舵を行う。

【0020】

図２および図３、図４に示す各周辺情報は、いずれも、予め定められた距離ｄ１毎の点列である。図２に示す道路の区画線の形状の周辺情報は、車両１０が走行している車線Ｌｎ１の右側の区画線ＬｎＲの形状の周辺情報である。図２に示すように、区画線ＬｎＲの形状は、点Ｐ１１～点Ｐ１４の点列で示される。

【0021】

図３に示す路側物の形状の周辺情報は、車両１０の右側の路側物２０の形状の周辺情報である。

【0022】

図４に示す他車両の移動軌跡の周辺情報は、車両１０の右側を走行する他車両３０の移動軌跡３１の周辺情報である。

【0023】

図５に示す道路形状認識処理は、点列設定部１１３が車両１０の走行路線の道路形状を認識する一連の処理である。この処理は車両１０の走行中、道路形状認識装置１１０により繰り返し実行される処理であり、例えば、１００ｍｓ毎に繰り返し実行される処理である。

【0024】

ステップＳ１００において、周辺情報認識部１１１は、周辺情報を認識する。より具体的には、カメラ１２２が撮影した車両１０の周囲の画像や、周辺物体センサ１２４が検出した車両１０周囲の状況から、周辺情報を認識する。

【0025】

ステップＳ１１０において、信頼度設定部１１２は、ステップＳ１００により取得した周辺情報を用いて、信頼度を設定する。本実施形態において、信頼度設定部１１２は、各周辺情報における点列の点毎に信頼度を設定する。なお、信頼度設定部１１２は、周辺情報毎に信頼度を設定してもよい。

【0026】

ステップＳ１２０において、点列設定部１１３は、ステップＳ１００で認識した周辺情報とステップＳ１１０で設定した信頼度とに基づき、道路形状を点で表す点列を設定する。

【0027】

図６において、点列設定部１１３がステップＳ１２０（図５）で設定した点列は×印で表される。図６において、第１地点Ｐ１から第３地点Ｐ３まで点列が順に設定される様子が示される。以下では、信頼度が最も高い周辺情報に基づいて定められる形状変化量を用いて点列を設定する場合を例として説明する。また、周辺情報認識部１１１が認識した周辺情報は、車両１０が走行している車線Ｌｎ１の右側の区画線ＬｎＲの形状と、車線Ｌｎ１の左側の区画線ＬｎＬの形状と、他車両３０の移動軌跡との３つである。

【0028】

まず、点列設定部１１３は、第１地点Ｐ１を設定する。第１地点Ｐ１は、例えば、車両１０の正面であって、車両１０から予め定められた距離の位置に設定される。また、第１地点Ｐ１は、区画線ＬｎＲの位置と区画線ＬｎＬの位置とから推定される車線Ｌｎ１の中央であって、車両１０から予め定められた距離の位置に設定されてもよい。

【0029】

次に、点列設定部１１３は、第２地点Ｐ２を設定する。区画線ＬｎＲの形状の周辺情報における点Ｐ１１の信頼度は、区画線ＬｎＬの形状の周辺情報における点Ｐ２１の信頼度および、他車両３０の移動軌跡の周辺情報における点Ｐ３１の信頼度よりも高い。そのため、点列設定部１１３は、点Ｐ１１から点Ｐ１２への形状変化量を用いて、第１地点Ｐ１から第２地点Ｐ２を設定する。

【0030】

次に、点列設定部１１３は、第３地点Ｐ３を設定する。区画線ＬｎＲの形状の周辺情報における点Ｐ１２の信頼度は、区画線ＬｎＬの形状の周辺情報における点Ｐ２２の信頼度および、他車両３０の移動軌跡の周辺情報における点Ｐ３２の信頼度よりも高い。そのため、点列設定部１１３は、点Ｐ１２から点Ｐ１３への形状変化量を用いて、第２地点Ｐ２から第３地点Ｐ３を設定する。

【0031】

図７に示すように、他車両３０の移動軌跡の周辺情報における点Ｐ３５に対応する区画線の形状の周辺情報が存在しない。このため、点Ｐ３５の信頼度が最も高い。そのため、点列設定部１１３は、点Ｐ３５から点Ｐ３６への形状変化量を用いて、第５地点Ｐ５から第６地点Ｐ６を設定する。

【0032】

図８に示すように、周辺情報が認識できない区間Ｓ１が存在する場合における点列の設定について説明する。点列設定部１１３は、周辺情報が認識できない区間Ｓ１が存在する場合に、周辺情報が認識できた区間の周辺情報に基づいて定められる形状変化量を用いて、点列を設定できる。図８に示すように、点列設定部１１３は、点Ｐ２３から点Ｐ２４への形状変化量Ｖ１を用いて、第３地点Ｐ３から第４地点Ｐ４を設定している。点列設定部１１３は、形状変化量Ｖ１を、他車両３０の移動軌跡の周辺情報における、点Ｐ３６の水平位置まで延長した形状変化量Ｖ２を用いて、第３地点Ｐ３から第５地点Ｐ５ａを設定できる。

【0033】

以上で説明した本実施形態の道路形状認識装置１１０によれば、点列設定部１１３は、２つ以上の周辺情報、より具体的には、区画線ＬｎＲの形状の周辺情報と区画線ＬｎＬの形状の周辺情報と他車両３０の移動軌跡の周辺情報と、各周辺情報の信頼度とに基づいて定められる形状変化量を用いて点列を設定する。そのため、例えば、車両の右側の区画線が認識出来ない場合であっても、車両の左側の区画線の形状や路側物の形状、他車両の移動軌跡等を用いて、道路形状を点で表す点列として認識することができる。

【0034】

また、点列設定部１１３は、車両１０に対してあらかじめ定められた相対位置にある第１地点Ｐ１から、遠方に向かって段階的に点列を設定する。そのため、連続的に点列を設定できる。

【0035】

また、点列設定部１１３は、道路の区画線の形状の周辺情報以外に、路側物２０の形状の周辺情報や、他車両３０の移動軌跡の周辺情報に基づいて点列を設定できる。路側物２０の形状の周辺情報および他車両３０の移動軌跡の周辺情報は、カメラ１２２が撮像した画像からは道路上に描かれた区画線の形状が正確に認識できない距離であっても、路側物２０や他車両３０が高さ方向に情報を有するため、認識することができる。そのため、点列設定部１１３は、道路上に描かれた区画線の形状が正確に認識できない距離まで、路側物２０の形状や他車両３０の移動軌跡を用いて、道路形状を点で表す点列を設定することができる。

【0036】

また、点列設定部１１３は、最も信頼度が高い周辺情報に基づいて定められる形状変化量を用いて点列を設定している。そのため、道路形状認識装置１１０は、道路形状を精度良く認識することができる。

【0037】

また、点列設定部１１３は、周辺情報が認識できない区間Ｓ１が存在する場合に、周辺情報が認識できた区間の周辺情報に基づいて定められる形状変化量Ｖ２を用いて、点列を設定する。そのため、周辺情報認識部１１１が認識できた周辺情報が、車両１０の近傍の周辺情報と車両１０の遠方の周辺情報である場合でも、連続して点列を設定できる。そのため、道路形状認識装置１１０は遠方まで道路形状を認識することができる。

【0038】

Ｂ．その他の実施形態：
上述した実施形態において、点列設定部１１３は、最も信頼度が高い周辺情報に基づいて定められる形状変化量を用いて点列を設定している。この代わりに、点列設定部１１３は、信頼度に応じて重み付けを行った２つ以上の周辺情報に基づいて定められる形状変化量を用いて、点列を設定してもよい。この場合、形状変化量を定めるための周辺情報が切り替わることによって、形状変化量が急激に変化することを抑制できる。そのため、点列設定部１１３は、点列が不規則な位置に設定されることを抑制できる。

【0039】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。

【符号の説明】

【0040】

１０…車両、２０…路側物、３０…他車両、３１…移動軌跡、１００…自動運転制御システム、１１０…道路形状認識装置、１１１…周辺情報認識部、１１２…信頼度設定部、１１３…点列設定部、１１４…出力部、１２０…周辺センサ、１２２…カメラ、１２４…周辺物体センサ、２１０…運転制御部、２２０…駆動力制御ＥＣＵ、２３０…制動力制御ＥＣＵ、２４０…操舵制御ＥＣＵ、２５０…車載ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】