特許 7121497 仮想車路生成装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-09

(45)【発行日】2022-08-18

(54)【発明の名称】仮想車路生成装置及び方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20220810BHJP

   B60W 30/095 20120101ALI20220810BHJP

   B60W 40/04 20060101ALI20220810BHJP

   B60W 40/06 20120101ALI20220810BHJP

   B60W 50/14 20200101ALI20220810BHJP

   G06T 7/00 20170101ALI20220810BHJP

【ＦＩ】

G08G1/16 C

B60W30/095

B60W40/04

B60W40/06

B60W50/14

G06T7/00 650A

【請求項の数】 21

(21)【出願番号】P 2018016587

(22)【出願日】2018-02-01

(65)【公開番号】P2018142309

(43)【公開日】2018-09-13

【審査請求日】2020-12-03

(31)【優先権主張番号】10-2017-0026524

(32)【優先日】2017-02-28

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】姜 曉 娥

【審査官】田中 純一

(56)【参考文献】

【文献】特開２００７－００８２８１（ＪＰ，Ａ）

【文献】特開２０１４－００２４７７（ＪＰ，Ａ）

【文献】特開２００７－１２２５７８（ＪＰ，Ａ）

【文献】特開２０１６－１６２１９６（ＪＰ，Ａ）

【文献】特開２０１４－１５７４２９（ＪＰ，Ａ）

【文献】特開２０１７－０１６３６０（ＪＰ，Ａ）

【文献】特開２０１３－２３２０７９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１２９８５４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｇ０１Ｃ ２３／００ － ２５／００

Ｇ０９Ｂ ２３／００ － ２９／１４

Ｂ６０Ｗ １０／００ － １０／３０

Ｂ６０Ｗ ３０／００ － ６０／００

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

仮想車路生成装置による仮想車路生成方法であって、
前記仮想車路生成装置におけるイメージ取得部が、車両の前方に対する外部イメージを取得するステップと、
前記仮想車路生成装置における処理部が、前記外部イメージから抽出された車路検出情報の有効性を判断するステップと、
前記処理部が、前記車路検出情報が有効でない場合に応答して、前記外部イメージに示されるオブジェクトに基づいて仮想車路を生成するステップと、
を含み、
前記仮想車路を生成するステップは、前記処理部が、
前記外部イメージ内で前記車両の前方に存在するオブジェクトをクラスタリングして走行グループを生成するステップと、
前記走行グループに基づいて前記仮想車路を生成するステップと、
を含み、
前記走行グループは、左側走行グループ、中央走行グループ、及び右側走行グループのうち、いずれか１つに対応する、
仮想車路生成方法。

【請求項2】

前記仮想車路を生成するステップは、前記処理部が、
前記外部イメージから前記車両の前方に存在するオブジェクトを検出するステップと、
前記検出されたオブジェクトに基づいて前記仮想車路を生成するステップと、
を含む、請求項１に記載の仮想車路生成方法。

【請求項3】

前記オブジェクトを検出するステップは、前記処理部が、
前記オブジェクトを含むオブジェクト領域及び前記オブジェクトの特徴部分を含む特徴領域を検出するステップ、
を含む、請求項２に記載の仮想車路生成方法。

【請求項4】

前記走行グループに基づいて前記仮想車路を生成するステップは、前記処理部が、
前記走行グループが複数である場合に応答して、複数の走行グループのそれぞれが占めている領域に基づいて複数の車路領域を推定するステップと、
前記推定された複数の車路領域のそれぞれの間で仮想の車路境界線を生成するステップと、
前記仮想の車路境界線に基づいて前記仮想車路を生成するステップと、
を含む、請求項１に記載の仮想車路生成方法。

【請求項5】

前記仮想車路生成方法は、さらに、
前記処理部が、連続的なフレームイメージを含む前記外部イメージを取得するステップ、を含み、
前記仮想車路を生成するステップは、前記処理部が、
前記連続的なフレームイメージに示されるオブジェクトを予め決定された時間区間の間に追跡して走行グループを生成するステップと、
前記走行グループに基づいて前記仮想車路を生成するステップと、
を含む、請求項１ないし４のいずれか一項に記載の仮想車路生成方法。

【請求項6】

前記連続的なフレームイメージに示されるオブジェクトを予め決定された時間区間の間に追跡して走行グループを生成するステップは、前記処理部が、
前記オブジェクトの速度が前記車両の速度と異なる場合に応答して、前記オブジェクトの移動を追跡して前記走行グループを生成するステップ、
を含む、請求項５に記載の仮想車路生成方法。

【請求項7】

前記車路検出情報の有効性を判断するステップは、前記処理部が、
前記外部イメージから車路検出情報を抽出するステップと、
前記抽出された車路検出情報の有効スコアが閾値スコアを超過するか否かを判断するステップと、
を含む、請求項１ないし６のいずれか一項に記載の仮想車路生成方法。

【請求項8】

前記有効スコアが閾値スコアを超過するか否かを判断するステップは、前記処理部が、
前記車両周辺の照度情報、気象情報、時刻情報、及び前記外部イメージの画質情報のうち少なくとも１つに基づいて前記有効スコアを算出するステップ、
を含む、請求項７に記載の仮想車路生成方法。

【請求項9】

前記仮想車路生成方法は、さらに、
前記処理部が、前記生成された仮想車路をディスプレイするステップ、
を含む、請求項１ないし８のいずれか一項に記載の仮想車路生成方法。

【請求項10】

前記車路検出情報の有効性を判断するステップは、前記処理部が、
前記車両の前方から検出されたオブジェクトの属性に基づいて、前記車路検出情報の有効性を判断するステップ、
を含む、請求項１ないし９のいずれか一項に記載の仮想車路生成方法。

【請求項11】

前記車路検出情報の有効性を判断するステップは、前記処理部が、
前記車両の前方から警報オブジェクトを検出するステップと、
前記検出された警報オブジェクトに対応する車路境界線を前記車路検出情報から排除するステップと、
を含む、請求項１ないし１０のいずれか一項に記載の仮想車路生成方法。

【請求項12】

前記仮想車路を生成するステップは、前記処理部が、
前記車両の前方から対象オブジェクトを検出するステップと、
前記対象オブジェクトから指示情報が検出される場合に応答して、前記対象オブジェクトを前記仮想車路の生成から排除するステップと、
を含む、請求項１ないし１１のいずれか一項に記載の仮想車路生成方法。

【請求項13】

前記仮想車路生成方法は、さらに、
前記処理部が、前記生成された仮想車路に基づいて走行経路を生成するステップ、
を含む、請求項１ないし１２のいずれか一項に記載の仮想車路生成方法。

【請求項14】

前記車路検出情報の有効性を判断するステップは、前記処理部が、
対象オブジェクトの移動経路及び前記車路検出情報に基づいた車路がマッチングするか否かを判断するステップと、
前記移動経路が前記車路検出情報に基づいた車路にマッチングしない場合、前記対象オブジェクトに対応する車路境界線を前記車路検出情報から排除するステップと、
を含む、請求項１ないし１３のいずれか一項に記載の仮想車路生成方法。

【請求項15】

前記車路検出情報の有効性を判断するステップは、前記処理部が、
対象オブジェクトの移動速度が閾値の速度未満に減少する場合に応答して、前記対象オブジェクトに対応する車路境界線を前記車路検出情報から排除するステップ、
を含む、請求項１ないし１４のいずれか一項に記載の仮想車路生成方法。

【請求項16】

前記仮想車路を生成するステップは、前記処理部が、
前記外部イメージから検出された前記オブジェクトまでの距離を指示する深さ情報を検出するステップと、
前記外部イメージ及び前記深さ情報に基づいて前記仮想車路を生成するステップと、
を含む、請求項１ないし１５のいずれか一項に記載の仮想車路生成方法。

【請求項17】

前記仮想車路を生成するステップは、前記処理部が、
前記車両が位置する位置情報及び前記位置情報に対応する道路情報に基づいて前記仮想車路を生成するステップ、
を含む、請求項１ないし１６のいずれか一項に記載の仮想車路生成方法。

【請求項18】

仮想車路生成装置による仮想車路生成方法であって、
前記仮想車路生成装置における処理部が、車両の前方に対する映像から抽出された車線検出情報の有効性を決定するステップと、
前記処理部が、前記車線検出情報が有効でない場合、前記映像に示されたオブジェクトをクラスタリングすることによって少なくとも１つの走行グループを生成するステップと、
前記処理部が、前記少なくとも１つの走行グループが複数の走行グループを含む場合、前記少なくとも１つの走行グループそれぞれによって占有された領域に基づいて車線領域を推定するステップと、
前記処理部が、前記推定した車線領域の間に仮想車線境界線を生成するステップと、
前記処理部が、前記仮想車線境界線に基づいて仮想車線を生成するステップと、
を含み、
前記走行グループは、左側走行グループ、中央走行グループ、および、右側走行グループのうち、いずれか１つに対応する、
仮想車路生成方法。

【請求項19】

前記少なくとも１つの走行グループを生成するステップは、前記処理部が、
前記車両の位置での道路情報を取得するステップと、
前記道路情報に基づいて、生成される走行グループの最大個数と最小個数を決定するステップと、
を含む、請求項１８に記載の仮想車路生成方法。

【請求項20】

請求項１ないし１９のいずれか一項に記載の方法を実行するための１つ以上の命令語を含むプログラムを格納したコンピュータ読み出し可能な記録媒体。

【請求項21】

仮想車路生成装置において、
車両の前方に対する外部イメージを取得するイメージ取得部と、
前記外部イメージから抽出された車路検出情報の有効性を判断し、前記車路検出情報が有効でない場合に応答して、前記外部イメージに示されるオブジェクトに基づいて仮想車路を生成する処理部と、
を含み、
前記処理部が、前記仮想車路を生成することは、
前記外部イメージ内で前記車両の前方に存在するオブジェクトをクラスタリングして走行グループを生成し、かつ、
前記走行グループに基づいて前記仮想車路を生成する、
ことを含み、
前記走行グループは、左側走行グループ、中央走行グループ、および、右側走行グループのうち、いずれか１つに対応する、
仮想車路生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想車路を生成する技術に関する。

【背景技術】

【0002】

自律走行（Ａｕｔｏｍａｔｉｃ Ｄｒｉｖｉｎｇ）は、車両走行中に要求される各種の操作を自動に行うものであって、例えば、自律走行するホスト車両は、運転者がハンドルと加速ペダル、ブレーキなどを操作しなくても自ら道路で走ることができる。自律走行のための様々な技術は、車両で把握される周辺映像情報によって実行され得る。特に、自律走行のための車線は車両の前方映像から検出されるが、車両の周辺地形、悪天候（雪、雨、霧）、道路形態などによって車両により収集可能な情報には制限がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の目的は、外部イメージに示されるオブジェクトを分析して仮想車路を容易かつ正確に生成することにある。

【課題を解決するための手段】

【0004】

一実施形態に係る仮想車路生成方法は、車両の前方に対する外部イメージから抽出された車路検出情報の有効性を判断するステップと、前記車路検出情報が有効でない場合に応答して、前記外部イメージに示されるオブジェクトに基づいて仮想車路を生成するステップとを含む。

【0005】

前記仮想車路を生成するステップは、前記外部イメージから前記車両の前方に存在するオブジェクトを検出するステップと、前記検出されたオブジェクトに基づいて前記仮想車路を生成するステップとを含み得る。

【0006】

前記オブジェクトを検出するステップは、前記オブジェクトを含むオブジェクト領域及び前記オブジェクトの特徴部分を含む特徴領域を検出するステップを含み得る。

【0007】

前記仮想車路を生成するステップは、前記外部イメージ内で前記車両の前方に存在するオブジェクトをクラスタリングして走行グループを生成するステップと、前記走行グループに基づいて前記仮想車路を生成するステップとを含み得る。

【0008】

前記走行グループに基づいて前記仮想車路を生成するステップは、前記走行グループが複数である場合に応答して、複数の走行グループのそれぞれが占めている領域に基づいて複数の車路領域を推定するステップと、前記推定された複数の車路領域のそれぞれの間で仮想の車路境界線を生成するステップと、前記仮想の車路境界線に基づいて前記仮想車路を生成するステップとを含み得る。

【0009】

仮想車路生成方法は、連続的なフレームイメージを含む前記外部イメージを取得するステップをさらに含み、前記仮想車路を生成するステップは、前記連続的なフレームイメージに示されるオブジェクトを予め決定された時間区間の間に追跡して走行グループを生成するステップと、前記走行グループに基づいて前記仮想車路を生成するステップとを含み得る。

【0010】

前記連続的なフレームイメージに示されるオブジェクトを予め決定された時間区間の間に追跡して走行グループを生成するステップは、前記オブジェクトの速度が前記車両の速度と異なる場合に応答して、前記オブジェクトの移動を追跡して前記走行グループを生成するステップを含み得る。

【0011】

前記車路検出情報の有効性を判断するステップは、前記外部イメージから車路検出情報を抽出するステップと、前記抽出された車路検出情報の有効スコアが閾値スコアを超過するか否かを判断するステップとを含み得る。

【0012】

前記有効スコアが閾値スコアを超過するか否かを判断するステップは、前記車両周辺の照度情報、気象情報、時刻情報、及び前記外部イメージの画質情報のうち少なくとも１つに基づいて前記有効スコアを算出するステップを含み得る。

【0013】

仮想車路生成方法は、前記生成された仮想車路をディスプレイするステップをさらに含み得る。

【0014】

前記車路検出情報の有効性を判断するステップは、前記車両の前方から検出されたオブジェクトの属性に基づいて、前記車路検出情報の有効性を判断するステップを含み得る。

【0015】

前記車路検出情報の有効性を判断するステップは、前記車両の前方から警報オブジェクトを検出するステップと、前記検出された警報オブジェクトに対応する車路境界線を前記車路検出情報から排除するステップとを含み得る。

【0016】

前記仮想車路を生成するステップは、前記車両の前方から対象オブジェクトを検出するステップと、前記対象オブジェクトから指示情報が検出される場合に応答して、前記対象オブジェクトを前記仮想車路の生成から排除するステップとを含み得る。

【0017】

仮想車路生成方法は、前記生成された仮想車路に基づいて走行経路を生成するステップをさらに含み得る。

【0018】

前記車路検出情報の有効性を判断するステップは、対象オブジェクトの移動経路及び前記車路検出情報に基づいた車路がマッチングするか否かを判断するステップと、前記移動経路が前記車路検出情報に基づいた車路にマッチングしない場合、前記対象オブジェクトに対応する車路境界線を前記車路検出情報から排除するステップとを含み得る。

【0019】

前記車路検出情報の有効性を判断するステップは、対象オブジェクトの移動速度が閾値の速度未満に減少する場合に応答して、前記対象オブジェクトに対応する車路境界線を前記車路検出情報から排除するステップを含み得る。

【0020】

前記仮想車路を生成するステップは、前記外部イメージから検出された前記オブジェクトまでの距離を指示する深さ情報を検出するステップと、前記外部イメージ及び前記深さ情報に基づいて前記仮想車路を生成するステップとを含み得る。

【0021】

前記仮想車路を生成するステップは、前記車両が位置する位置情報及び前記位置情報に対応する道路情報に基づいて前記仮想車路を生成するステップを含み得る。

【0022】

他の実施形態に係る仮想車路生成方法は、車両の前方に対する映像から抽出された車線検出情報の有効性を決定するステップと、前記車線検出情報が有効でない場合、前記映像に示されたオブジェクトをクラスタリングすることによって少なくとも１つの走行グループを生成するステップと、前記少なくとも１つの走行グループが複数の走行グループを含む場合、前記少なくとも１つの走行グループそれぞれによって占有された領域に基づいて車線領域を推定するステップと、前記推定した車線領域の間に仮想車線境界線を生成するステップと、前記仮想車線境界線に基づいて仮想車線を生成するステップとを含む。

【0023】

前記少なくとも１つの走行グループを生成するステップは、前記車両の位置での道路情報を取得するステップと、前記道路情報に基づいて、生成される走行グループの最大個数と最小個数を決定するステップとを含み得る。

【0024】

一実施形態に係る仮想車路生成装置は、車両の前方に対する外部イメージを取得するイメージ取得部と、前記外部イメージから抽出された車路検出情報の有効性を判断し、前記車路検出情報が有効でない場合に応答して、前記外部イメージに示されるオブジェクトに基づいて仮想車路を生成する処理部とを含む。

【発明の効果】

【0025】

一実施形態によると、外部イメージに示されるオブジェクトを分析して仮想車路を容易かつ正確に生成することができる。

【図面の簡単な説明】

【0026】

【図1】一実施形態に係る仮想車路生成方法を説明するフローチャートである。

【図2】一実施形態に係る仮想車路生成方法を説明するフローチャートである。

【図3】一実施形態に係る外部イメージ取得を説明する図である。

【図4】一実施形態に係る車路検出情報の有効性の判断を説明する図である。

【図5】一実施形態に係る車路検出情報の有効性の判断を説明する図である。

【図6】一実施形態に係る車路検出情報の有効性の判断を説明する図である。

【図7】一実施形態に係る車路検出情報の有効性の判断を説明する図である。

【図8】一実施形態に係るオブジェクト及び特徴部分の検出を説明する図である。

【図9】一実施形態に係るオブジェクトクラスタリングを説明する図である。

【図10】一実施形態に係るオブジェクトクラスタリングを説明する図である。

【図11】一実施形態に係る複数の車路領域の推定を説明する図である。

【図12】一実施形態に係る仮想の車路境界線の生成を説明する図である。

【図13】一実施形態に係る仮想車路を説明する図である。

【図14】一実施形態に係る仮想車路を説明する図である。

【図15】一実施形態により対象オブジェクトから指示情報が検出される場合を説明する図である。

【図16】一実施形態に係る仮想車路生成装置の構成を説明するブロック図である。

【図17】一実施形態に係る仮想車路生成装置の構成を説明するブロック図である。

【発明を実施するための形態】

【0027】

以下、実施形態を添付する図面を参照しながら詳細に説明する。

【0028】

以下で説明する実施形態には様々な変更が加えられる。以下で説明する実施形態は、実施形態に対して限定しようとするものではなく、これに対する全ての変更、均等物ないし代替物を含むものとして理解されなければならない。

【0029】

本明細書で用いた用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

【0030】

異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

【0031】

また、添付図面を参照して説明することにおいて、図面符号に関係なく同一の構成要素は同一の参照符号を付与し、これに対する重複した説明は省略することにする。実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不必要に曖昧にすると判断される場合、その詳細な説明は省略する。

【0032】

図１及び図２は、一実施形態に係る仮想車路生成方法を説明するフローチャートである。

【0033】

図１は、仮想車路生成方法を簡略に説明する図である。

【0034】

まず、ステップＳ１１０において、仮想車路生成装置は、車両の前方に対する外部イメージから抽出された車路検出情報の有効性を判断する。ここで、外部イメージは、車両の前方の部分が撮影された映像である。一例として、仮想車路生成装置は、車両に装着されたり、車両内部に含まれるように実現され得る。車両は、例えば、自動車、トラック、トラクター、スクーター、バイク、サイクル、水陸両用車、スノーモービル、公共交通機関の車両、バス、モノレール、列車、ＵＡＶ（ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ）、又はドローンであってもよい。

【0035】

一例として、仮想車路生成装置は、例えば、クルーズコントロール、適応的クルーズコントロール、車線維持補助システム、及び車線離脱警報システムのような車両ガイド装置に含まれてもよい。

【0036】

異なる例として、仮想車路生成装置は、車両に位置する他の装置に含まれてもよい。例えば、仮想車路生成装置は、知能型エージェント（ｉｎｔｅｌｌｉｇｅｎｔ ａｇｅｎｔ）、モバイルフォン、セルラーフォン、スマートフォン、ウェアラブル装置、サーバ、コンピュータ、ラップトップ、ノート型パソコン、ネットブック、タブレット、ＰＤＡなどのような電子装置に含まれて動作してもよい。

【0037】

更なる例として、仮想車路生成装置は車両外部に存在してもよい。例えば、仮想車路装置は、車両と無線で通信するコンピュータ、サーバ、又はモバイルフォンのような装置に存在する。

【0038】

車路検出情報は、車両の前方に対して検出された車路に関する情報を示し得る。例えば、車路検出情報は、外部イメージに示される車路境界線及び車路領域などを含む。車路境界線は、車路と車路との間を区分する境界線を示す。車路領域は、外部イメージで車路に対応する領域を示す。

【0039】

車路検出情報の有効性の判断は、図４～図７を参照して説明する。

【0040】

そして、ステップＳ１２０において、仮想車路生成装置は車路検出情報が有効でない場合に応答して、外部イメージに示されるオブジェクトに基づいて仮想車路を生成する。オブジェクトは、例えば、仮想車路生成装置が装着された車両の他の車両、人、及び動物などであるが、これに限定されることはない。仮想車路は、現在車両が走行可能なものとして、仮想車路生成装置によって推定された車路を示す。

【0041】

例えば、仮想車路生成装置は、外部イメージを通した車路境界線などの識別に失敗した場合、現在車両の周辺オブジェクトなどに基づいて新しい仮想車路を生成することで現在車両の走行を補助する。

【0042】

反対に、車路検出情報が有効である場合、仮想車路生成装置は、別途の仮想車路を生成する代わりに有効な車路検出情報を用いることができる。例えば、仮想車路生成装置は、有効な車路検出情報をユーザにディスプレイしたり、自律走行車両の走行経路を生成する。

【0043】

図２は、仮想車路生成方法をより詳細に説明する。以下、図２の説明に加えて上記の図１に関して説明した内容が図２にも適用可能であり、参照としてここに含まれる。

【0044】

まず、ステップＳ２０１において、仮想車路生成装置は、外部イメージを取得する。例えば、仮想車路生成装置は、車両の前方を撮影することによって外部イメージを取得する。本明細書において、外部イメージはカラーイメージである場合を例にして説明するが、これに限定されることなく、様々なフォーマットのイメージが使用されてもよい。例えば、赤外線イメージ、グレイスケールイメージ及び深さイメージなどが使用されてもよい。

【0045】

そして、ステップＳ１１０において、仮想車路生成装置は、車路検出情報の有効性を判断する。仮想車路生成装置は、外部イメージから車路検出情報を抽出する。

【0046】

例えば、ステップＳ２１１において、仮想車路生成装置は、車路境界線が検出可能であるか否かを判断する。仮想車路生成装置は、車路境界線が検出されない場合、車路検出情報が有効でないものと判断する。したがって、仮想車路生成装置は、例えば、田舎の道及び車路境界線のペイントが喪失した地域などのように車両の前方道路から車路境界線が検出されない場合に車路検出情報が有効でないものと判断する。車路境界線が検出されない場合は、例えば、車路境界線である確率が閾値確率未満である。

【0047】

次に、ステップＳ２１２において、仮想車路生成装置は、車路境界線が検出された場合に応答して、検出された車路境界線が有効であるか否かを判断する。例えば、仮想車路生成装置は、抽出された車路検出情報の有効スコアが閾値スコアを超過するか否かを判断する。

【0048】

有効スコアは、車路検出情報が有効な程度を示すスコアである。仮想車路生成装置は、車両周辺の照度情報、気象情報、時刻情報、及び外部イメージの画質情報のうち少なくとも１つに基づいて有効スコアを算出する。有効スコアは、照度情報、気象情報、時刻情報、及び画質情報のうち少なくとも２以上の情報に基づいて複合的に算出されるが、これに限定されることなく、それぞれの情報に対して個別的に複数の有効スコアが算出され得る。照度情報は、車両周辺の照度を指示する情報を示す。気象情報は、車両が位置する地点に対応する天気を指示する情報を示す。時刻情報は、車両の現在の時点に関する情報として、例えば、昼間であるか夜であるかなどを指示する。画質情報は、外部イメージの画質を指示する情報を示す。

【0049】

例えば、照度情報、気象情報、時刻情報、及び画質情報のうち少なくとも１つに基づいて、単一有効スコアが算出された場合、仮想車路生成装置は、１つの閾値スコアを決定して当該の閾値スコアを超過するか否かを判断する。異なる例として、照度情報、気象情報、時刻情報、及び画質情報のうち少なくとも２以上に基づいて複数の有効スコアが算出された場合、仮想車路生成装置は、各有効スコアに対応する複数の閾値スコアを決定し、複数の有効スコアのそれぞれが個別的に閾値スコアを超過するか否かを判断する。

【0050】

ここで、有効スコアが閾値スコアを超過する場合、仮想車路生成装置は、車路検出情報が有効であるものとして決定する。有効スコアが閾値スコア以下である場合、仮想車路生成装置は車路検出情報が有効でないものと決定する。複数の有効スコアが算出された場合、有効スコアのうち１つでも閾値スコア以下である場合、仮想車路生成装置は車路検出情報が有効でないものと決定する。ただし、これに限定されることなく、設計に応じて閾値スコアを超過する有効スコアが予め決定された個数以下である場合、仮想車路生成装置は、車路検出情報が有効でないものと決定してもよい。したがって、仮想車路生成装置は、夕方の時間などのように様々な要因によって車両周辺の照度が一定値以下である場合、車路検出情報の利用ができないと判断する。気象情報を用いる場合、仮想車路生成装置は、雪や雨の天気で車路検出情報の信頼度が低いと判断する。また、仮想車路生成装置は、有効スコアが発振（ｏｓｃｉｌｌａｔｉｏｎ）する程度が閾値発振を超過する場合にも車路検出情報が有効でないものと判断する。

【0051】

ただし、車路検出情報の有効性を有効スコアだけで判断することはない。仮想車路生成装置は、オブジェクトの属性などのような様々な要素を考慮して車路検出情報の有効性を判断する。車両検出情報の有効性の判断は、図４～図７を参照して詳細に説明する。

【0052】

また、検出された車路境界線が有効である場合、仮想車路生成装置は仮想車路を生成せず、検出された車路境界線に対する検出情報を用いてもよい。

【0053】

そして、ステップＳ１２０において、車路検出情報が有効でない場合に応答して、外部イメージに示されるオブジェクトに基づいて仮想車路を生成する。

【0054】

例えば、ステップＳ２２１において、仮想車路生成装置は、外部イメージからオブジェクト及び特徴部分を抽出する。仮想車路生成装置は、外部イメージから車両の前方に存在するオブジェクトを検出する。ここで、仮想車路生成装置は、オブジェクトを含むオブジェクト領域及びオブジェクトの特徴部分を含む特徴領域を検出する。オブジェクト領域は、外部イメージでオブジェクトに対応する領域を示す。特徴領域は、外部イメージで特徴部分に対応する領域を示す。特徴部分は、オブジェクトの特徴を指示する部分を示す。オブジェクトの特徴は、例えば、オブジェクトが車両である場合、車両の両側後尾ランプ、バックミラー、タイヤ、及びナンバープレートなどを含んでもよい。このようなオブジェクト及び特徴部分の抽出は、図８を参照して説明する。

【0055】

そして、ステップＳ２２２において、仮想車路生成装置は、検出されたオブジェクト及び特徴部分に基づいてクラスタリングする。例えば、仮想車路生成装置は、外部イメージ内で車両の前方に存在するオブジェクトをクラスタリングして走行グループを生成する。クラスタリングは、図９を参照して説明する。

【0056】

次に、ステップＳ２２３において、仮想車路生成装置は、クラスタリングされた走行グループに基づいて仮想車路領域を推定する。例えば、仮想車路生成装置は走行グループが複数である場合に応答して、複数の走行グループのそれぞれが占めている領域に基づいて複数の車路領域を推定する。仮想車路領域の推定は、図１１を参照して説明する。

【0057】

そして、ステップＳ２２４において、仮想車路生成装置は、仮想車路領域の間の中央に該当する仮想車路境界線を生成する。例えば、仮想車路生成装置は、仮想の車路境界線に基づいて仮想車路を生成する。仮想車路生成装置は、推定された複数の車路領域のそれぞれの間で仮想の車路境界線を生成する。仮想車路は、現在車両が走行できると推定された車路として、仮想車路境界線によって指示される。このような仮想車路境界線の生成は、図１２を参照して説明する。

【0058】

したがって、仮想車路生成装置は、検出されたオブジェクトに基づいて仮想車路境界線を推定することで、仮想の車路境界線に基づいて仮想車路を生成し得る。ただし、これに限定されることなく、仮想車路生成装置は、外部イメージ、深さ情報、走行グループ、車両が位置する位置情報、及び位置情報に対応する道路情報などに基づいて仮想車路を生成する。位置情報は、車両が位置する地点のＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）情報を含んでもよく、道路情報は道路に関する情報として、道路の車路個数、工事中である車路及び閉鎖された道路などに関する情報を含んでもよい。

【0059】

次に、ステップＳ２３０において、仮想車路生成装置は、生成された車路境界線を表示する。例えば、仮想車路生成装置は、ヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）などによって車両の風防ガラスに仮想の車路境界線を表示する。ただし、これに限定されることなく、風防ガラスそのものがディスプレイ機能を備え、仮想車路生成装置と接続された場合、仮想車路生成装置は、当該の風防ガラスで仮想の車路境界線をディスプレイするようリクエストする。車路境界線のディスプレイについては図１３を参照して説明する。

【0060】

仮想車路生成装置は大雨の場合のように、道路面の車路境界線の識別が難しい場合、周辺車両及び周辺車両の特徴部分を用いて周辺車両の移動経路を推定する。仮想車路生成装置は、推定された移動経路を用いて仮想車路境界線を生成して提供することで、運転者又は自律走行車両の運転を補助できる。

【0061】

図３は、一実施形態に係る外部イメージ取得を説明する図である。

【0062】

仮想車路生成装置は、車両の前方に対する外部イメージ３００を取得する。例えば、仮想車路生成装置は車両に装着されてもよく、仮想車路生成装置のカメラは車両の前方に向かって構成されてもよい。ただし、外部イメージ３００をカラーイメージに限定されることなく、赤外線イメージ及び深さイメージなどが使用されてもよい。

【0063】

図４～図７は、一実施形態に係る車路検出情報の有効性の判断を説明する図である。

【0064】

図４は、車両が工事現場を通過する間仮想車路生成装置が取得した外部イメージ４００を示す。

【0065】

一実施形態に係る仮想車路生成装置は、車両の前方から検出されたオブジェクトの属性に基づいて車路検出情報の有効性を判断する。例えば、仮想車路生成装置は、外部イメージ４００から複数のオブジェクトを検出し、識別されたオブジェクトのそれぞれの属性を識別する。オブジェクトは、属性に応じて対象オブジェクト、警報オブジェクト４１０、及び固定オブジェクトなどに分類されてもよい。対象オブジェクトは仮想車路生成のために追跡対象となるオブジェクトとして、例えば、現在車両に先行して移動中である異なる車両であってもよい。警報オブジェクト４１０は、現在車両に対して危険などを警報する情報に関するオブジェクトとして、例えば、工事現場を示す標識、道路上に位置する障害物などであってもよい。固定オブジェクトは、道路上に固定されたオブジェクトとして、例えば、道路の端に停車又は駐車中である車両などであってもよい。

【0066】

例えば、仮想車路生成装置は、車両の前方から警報オブジェクト４１０を検出する。図４に示す警報オブジェクト４１０は、車路遮断を指示する表示板及び車両の進入を防止する障害物として示されている。

【0067】

仮想車路生成装置は、検出された警報オブジェクト４１０に対応する車路境界線を車路検出情報から排除する。例えば、仮想車路生成装置は、図４に示す警報オブジェクト４１０が配置された車路に対応する車路境界線を車路検出情報から排除する。

【0068】

異なる例として、仮想車路生成装置は、対象オブジェクトの移動経路及び車路検出情報に基づいた車路がマッチングするか否かを判断する。仮想車路生成装置は、移動経路が車路検出情報に基づいた車路にマッチングしない場合、対象オブジェクトに対応する車路境界線を車路検出情報から排除する。

【0069】

更なる例として、仮想車路生成装置は、対象オブジェクトの移動速度が閾値の速度未満に減少する場合に応答して、対象オブジェクトに対応する車路境界線を車路検出情報から排除する。

【0070】

仮想車路生成装置は、検出された車路境界線が車路検出情報から排除され、有効な車路境界線がない場合に車路検出情報が有効ではないものと決定する。

【0071】

ただし、車路検出情報の有効性の判断方式を上述のように限定することはない。仮想車路生成装置は、道路情報に基づいて現在位置の道路が工事中という情報が識別される場合に応答して、現在位置で検出された車路検出情報の少なくとも一部が有効でないものと決定してもよい。また、仮想車路生成装置は、運転者の手動操作（例えば、仮想車路生成せよとの操作）に応答して、車路検出情報が有効でないものと判断する。

【0072】

図５は、雪により外部イメージ５００から車路境界線が検出されない場合を示す。一実施形態によると、仮想車路生成装置は、気象が悪化して視野が確保されない場合、車路検出情報が有効でないものと判断する。例えば、外部イメージ５００で中央線５１０が雪によって見えず、仮想車路生成装置が車路境界線を検出できないこともある。この場合、仮想車路生成装置は検出された車路境界線がないため、車路検出情報が有効でないものと決定する。

【0073】

ただし、これに限定されることなく、仮想車路生成装置は、外部イメージのみならず気象情報も考慮される。例えば、仮想車路生成装置は、現在位置における気象情報の多い雪、雨、及び曇りなどのように視野を低下させる天気を指示する場合、車路検出情報が有効でないものと決定する。

【0074】

図６は、混雑な道路状況に対する外部イメージ６００を示す。例えば、複数の異なる車両によって見えない車路境界線が検出されず、仮想車路生成装置は車路検出情報が有効でないものと決定する。

【0075】

図７は、交差点に対する外部イメージ７００を示す。例えば、交差点で同一の経路に対して複数の車路境界線７１０が重複して示され、仮想車路生成装置が正確な車路境界線を検出できないことがある。例えば、仮想車路生成装置は、検出された車路境界線７１０間の間隔が閾値間隔未満である場合に応答して、車路検出情報が有効でないものと決定する。

【0076】

ただし、これに限定されることなく、仮想車路生成装置は、道路情報に基づいて現在位置に対応する道路情報が交差点であることを指示する場合に応答して、現在位置で検出された車路検出情報を有効でないものと決定し得る。

【0077】

図３～図７を参照して上述した方式などに基づいて、車路検出情報が有効でないものと判断された場合に応答して、仮想車路生成装置は、仮想車路を生成するための動作を図８ないし図１５に示すように行うことができる。

【0078】

図８は、一実施形態に係るオブジェクト及び特徴部分の検出を説明する図である。

【0079】

仮想車路生成装置は、外部イメージ８００からオブジェクトを含むオブジェクト領域８１０及びオブジェクトの特徴部分を含む特徴領域８２０を検出する。

【0080】

例えば、仮想車路生成装置は、オブジェクト（例えば、車両）を検出するようトレーニングされたニューラルネットワークを用いて、オブジェクトを含むオブジェクト領域８１０を検出し得る。また、仮想車路生成装置は、カメラを介して撮影された外部イメージ８００だけではなく、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｉｍａｇｉｎｇ、Ｄｅｔｅｃｔｉｏｎ、Ａｎｄ Ｒａｎｇｉｎｇ）センサなどを用いてキャプチャーされたセンサ情報も用いてオブジェクト領域８１０を検出し得る。センサ情報は、例えば、外部イメージ８００から検出されたオブジェクトまでの距離を指示する深さ情報を含む。また、ニューラルネットワークは、オブジェクトと共にオブジェクトの特徴部分を含む特徴領域８２０を検出するようにトレーニングされたモデルであり得る。

【0081】

図９及び図１０は、一実施形態に係るオブジェクトクラスタリングを説明する図である。

【0082】

図９は、図８で検出されたオブジェクト領域及び特徴領域を用いてオブジェクトをクラスタリングする過程を説明する。一実施形態によると、仮想車路生成装置は、外部イメージ９００内で車両の前方に存在するオブジェクトをクラスタリングして走行グループを生成する。走行グループは、検出されたオブジェクトが車路単位に分類されたグループを示す。例えば、走行グループは、仮想車路生成装置が装着された現在車両が走行中である走行車路に対応する走行グループ９１０、走行車路の左側に対応する走行グループ９２０、及び走行車路の右側に対応する走行グループに分類される。走行車路は、仮想車路生成装置が装着された車両が現在の走行中である車路を示す。

【0083】

例えば、仮想車路生成装置は、外部イメージ９００内でオブジェクト領域の位置座標に応じてオブジェクトをクラスタリングする。仮想車路生成装置は、第１境界座標よって左側で検出されたオブジェクト領域９２１を左側に対応する走行グループ９２０に追加し、第２境界座標よりも右側で検出されたオブジェクト領域９３０を右側に対応する走行グループに追加し、第１境界座標及び第２境界座標の間で検出されたオブジェクト領域９１１を走行車路に対応する走行グループ９１０に追加する。第１境界座標及び第２境界座標は、イメージで走行グループを区分するために設定された座標として、例えば、横軸（例えば、ｘ軸）上の座標である。

【0084】

また、仮想車路生成装置は、オブジェクト領域の走行グループを分類するようにトレーニングされたモデルを用いてもよい。例えば、仮想車路生成装置は、ニューラルネットワーク、サポートベクトルマシーン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、及び決定木（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ）などを用いてオブジェクト領域が属する走行グループを決定する。

【0085】

ただし、これに限定されることなく、仮想車路生成装置は、道路情報を用いてオブジェクトをクラスタリングし得る。例えば、仮想車路生成装置は、現在位置の道路情報から走行中である道路の広さ及び車路個数を抽出する。仮想車路生成装置は、走行中である道路の広さ及び車路個数などに基づいて、走行中である道路に対して分類される走行グループの最大個数及び最小個数などを推定することができる。

【0086】

図１０は、現在車両の前方で走行中である車両が車路ごとに１台以下である場合を説明する。

【0087】

まず、仮想車路生成装置は、連続的なフレームイメージを含む外部イメージ１０００を取得する。仮想車路生成装置は、連続的なフレームイメージに示されるオブジェクトを予め決定された時間区間の間に追跡して走行グループ１０１０を生成する。連続的なフレームイメージがｍ ｆｐｓで撮影される場合（ここで、ｍは１以上の整数として、例えば、３０ｆｐｓ又は６０ｆｐｓなどである）、予め決定された時間区間はｎ／ｍである（ここで、ｎは１以上の整数）。例えば、仮想車路生成装置は、図１０に示すように、予め決定された時間区間の間に各フレームイメージで同一のオブジェクトに対応するオブジェクト領域を追跡する。仮想車路生成装置は、順次に第１オブジェクト領域１０１５、第２オブジェクト領域１０１４、第３オブジェクト領域１０１３、第４オブジェクト領域１０１２、及び第５オブジェクト領域１０１１を検出し得る。仮想車路生成装置は、同一のオブジェクトに該当する複数のオブジェクト領域１０１１～１０１５を１つの走行グループ１０１０にクラスタリングする。図１０において、ｎは５であってもよい。

【0088】

また、仮想車路生成装置は、オブジェクトの速度が車両の速度と異なる場合に応答して、オブジェクトの移動を追跡して走行グループ１０１０を生成する。仮想車路生成装置は、先行車両との速度差が閾値差以上である場合、連続的なフレームイメージからオブジェクトの移動を追跡する。例えば、仮想車路生成装置は、オブジェクトの速度が現在車両の速度よりも速い場合にオブジェクトの移動を追跡する。

【0089】

仮想車路生成装置は、図９及び図１０を参照して説明したクラスタリングを結合して使用してもよい。例えば、仮想車路生成装置は、第１車路に沿って複数の車両が位置し、第２車路に沿って単一車両のみが存在する場合、第１車路に対しては複数の車両を同じ走行グループにクラスタリングし、第２車路に対しては単一車両の連続的な追跡結果を同じ走行グループにクラスタリングする。

【0090】

ただし、図９及び図１０では、オブジェクト領域をクラスタリングすることを中心に説明したが、これに限定されることはない。例えば、仮想車路生成装置は、前方で検出された後尾ランプをクラスタリングして走行グループを生成してもよい。異なる例として、仮想車路生成装置は、前方で検出されたタイヤをクラスタリングして走行グループを生成してもよい。また、仮想車路生成装置は、クラスタリングの際にライダセンサなどに基づいた深さ情報、現在位置の実際の道路の広さ、及び車路情報などに基づいて車路ごとに走行グループを生成してもよい。

【0091】

図１１は、一実施形態に係る複数の車路領域の推定を説明する図である。

【0092】

仮想車路生成装置は、走行グループに基づいて車路領域を生成する。一実施形態によると、仮想車路生成装置は、走行グループが複数である場合に応答して、複数の走行グループのそれぞれが占めている領域に基づいて複数の車路領域を推定する。ただし、これに限定されることなく、仮想車路生成装置は、走行グループが１つである場合、当該の走行グループが占めている領域に基づいて単一車路領域を推定し得る。

【0093】

例えば、図１１に示す外部イメージ１１００で仮想車路生成装置は、左側走行グループ１１２１、１１２２に対して左側車路領域を指示する輪郭線１１９１、１１９２を生成する。仮想車路生成装置は、中央走行グループ１１１１、１１１２に対して中央車路領域を指示する輪郭線１１９３、１１９４を生成する。仮想車路生成装置は、右側走行グループ１１３１に対しても右側車路領域を生成する。

【0094】

例えば、仮想車路生成装置は、各走行グループが占めている領域のカーブをフィッティングすることにより車路領域を推定し得る。カーブフィッティングのための方式は、例えば、線形最小二乗法（Ｌｉｎｅａｒ ｌｅａｓｔ ｓｑｕａｒｅｓ）を利用した方式、及び非線形回帰モデル（Ｎｏｎ－ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌ）を利用した方式などを含んでもよい。例えば、特定走行グループに属する車両のバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）の中心座標に対する位置情報に基づいて、線形最小二乗法や非線形回帰モデルなどのカーブフィッティング方式を用いて車路領域が推定される。異なる例として、左側車路領域に位置する車両の最外郭の右側座標及び／又は右側車路領域に位置する車両の最外郭の左側座標に対する位置情報に基づいて、カーブフィッティング方式を用いて車路領域が推定されてもよい。更なる例として、車両の特徴点の位置情報に基づいて、カーブフィッティング方式を用いて車路領域が推定されてもよい。それぞれの例において、各位置情報がカーブフィッティング方式の入力として用いられてもよい。

【0095】

異なる例として、仮想車路生成装置は、オブジェクト領域に基づいて車路領域を生成するようにトレーニングされたモデルを用いてもよい。車路領域を生成するように、トレーニングされたモデルはオートエンコーダ（ａｕｔｏ－ｅｎｃｏｄｅｒ）が変形されたモデルなどであってもよい。ただし、これに限定されることなく、仮想車路生成装置は、検出されたオブジェクト領域及び特徴領域から車路領域が出力されるようにトレーニングされたモデルを使用してもよい。

【0096】

図１２は、一実施形態に係る仮想の車路境界線の生成を説明する図である。

【0097】

仮想車路生成装置は、図１１を参照して抽出された車路領域に基づいて仮想の車路境界線を生成する。車路領域は図１１を参照して上述したように、外部イメージ１２００から検出されたオブジェクト領域１２１１、１２１２、１２２１、１２２２、１２３１がクラスタリングされた走行グループが占めている領域に基づいて推定される。車路領域は、車路領域の境界を指示する輪郭線１２９１、１２９２、１２９３、１２９４によって定義される。

【0098】

一実施形態によると、仮想車路生成装置は、推定された複数の車路領域のそれぞれの間で仮想の車路境界線１２８１、１２８２を生成する。例えば、仮想車路生成装置は、複数の車路領域のうち互いに隣接する車路領域間の中間を横切る線を仮想車路境界線１２８１として決定する。図１２では、左側車路領域の右側輪郭線１２９２及び中央車路領域の左側輪郭線１２９３の中間を横切る線が仮想車路境界線１２８１として算出される。

【0099】

また、仮想車路生成装置は、先行車両に対応する走行グループの最も狭い車路領域及び最も広い車路領域を算出し、中間の広さを有する車路領域を指示する輪郭線を車路境界線として算出する。中間の広さを有する車路領域は、最も狭い車路領域を指示する輪郭線及び最も広い車路領域を指示する輪郭線の平均位置に配置した座標の集合である。

【0100】

ただし、これに限定されることなく、仮想車路生成装置は先行車両に対応する走行グループが車両の後尾ランプに基づいて生成された場合、後尾ランプに基づいて車路領域を算出する。仮想車路生成装置は、算出された車路領域を指示する輪郭線に一定の長さ（例えば、車両のバンパーと後尾ランプとの間の間隔）を補償することによって仮想の車路境界線を生成してもよい。

【0101】

図１３及び図１４は、一実施形態に係る仮想車路を説明する図である。

【0102】

図１３は、図１２を参照して生成された仮想の車路境界線１３１１、１３１２に基づいて仮想車路生成装置が仮想車路を決定する。

【0103】

仮想車路生成装置は、生成された仮想車路を図１３に示すように表示する。例えば、仮想車路生成装置は、車両の風防ガラス１３００に仮想車路境界線１３１１、１３１２をＨＵＤに提供する。異なる例として、仮想車路生成装置は、計器板（ｉｎｓｔｒｕｍｅｎｔ ｃｌｕｓｔｅｒ）、車両情報通信システム（ｖｅｈｉｃｕｌａｒ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ）、拡張現実を用いる車両スクリーン、又は車両のディスプレイパネルに仮想車路境界線１３１１、１３１２を提供する。

【0104】

また、仮想車路生成装置は、生成された仮想車路に基づいて走行経路を生成してもよい。例えば、仮想車路生成装置は、車路検出情報が有効でない場合に応答して、車両が仮想車路に沿って走行するよう制御する。したがって、仮想車路生成装置は、車両が自律走行に移動する場合にも視野低下による危険を最小化することができる。

【0105】

図１４は、路地などで別途の車路境界線なしに固定オブジェクトが存在する場合を示す。

【0106】

仮想車路生成装置は、外部イメージ１４００からオブジェクト１４１０を検出し、オブジェクトの属性に基づいて仮想車路を生成する。例えば、仮想車路生成装置は、固定オブジェクトが占めている領域の輪郭線に基づいて仮想車路境界線１４８０を決定する。

【0107】

したがって、仮想車路生成装置は車路境界線が検出されない路地でも、仮想車路を生成してユーザ又は自律走行車両に提供することができる。

【0108】

図１５は、一実施形態により対象オブジェクトから指示情報が検出される場合を説明する図である。

【0109】

一実施形態によると、仮想車路生成装置は、車両の前方から対象オブジェクトを検出する。仮想車路生成装置は、対象オブジェクトから指示情報が検出される場合に応答して、対象オブジェクトを仮想車路の生成から排除する。指示情報１５９１、１５９５は対象オブジェクトの状態を指示する情報として、例えば、対象オブジェクトが方向指示などを活性化した場合、非常ランプを活性化した場合、及び一定の時間以上ブレーキなどを活性化した場合などを含み得る。

【0110】

図１５で、仮想車路生成装置は、外部イメージ１５００の第１フレームイメージのオブジェクト領域１５１５で指示情報（例えば、方向指示など）１５９１、１５９５を検出し、第２フレームイメージないし第５フレームイメージのオブジェクト領域１５１１～１５１４から指示情報１５９１、１５９５を連続的に検出する。仮想車路生成装置は、検出された指示情報１５９１、１５９５に関する同一対象オブジェクトに対する走行グループ１５１０を仮想車路生成から排除する。したがって、仮想車路生成装置は、先行する他の車両が方向を変えたり、非常状況として停車するなどの例外的な状況が発生した車路を排除することで、より安全な仮想車路を生成してユーザ又は自律走行車両に提供することができる。

【0111】

図１６及び図１７は、一実施形態に係る仮想車路生成装置の構成を説明するブロック図である。

【0112】

図１６に示された仮想車路生成装置１６００は、イメージ取得部１６１０及び処理部１６２０を含む。

【0113】

イメージ取得部１６１０は、車両の前方に対する外部イメージを取得する。

【0114】

処理部１６２０は、外部イメージから抽出された車路検出情報の有効性を判断し、車路検出情報が有効でない場合に応答して、外部イメージに示されるオブジェクトに基づいて仮想車路を生成する。実施形態により、仮想車路生成装置１６００は、ディスプレイ部（図示せず）をさらに含んでもよく、上記で生成された仮想車路はディスプレイ部に表示され得る。

【0115】

ただし、仮想車路生成装置１６００の動作は、上述したものに限定されることなく、図１～図１５を参照して上述した動作と結合されてもよい。

【0116】

図１７に示された仮想車路生成装置１７００は、カメラ１７１１、車路認識部１７１２、処理部１７２０、出力部１７３０、及びデータベース１７４０を含む。処理部１７２０は、図１６に示す処理部１６２０と類似動作を実行し、車路境界線検出部１７２１、オブジェクト検出部１７２２、オブジェクトクラスタリング部１７２３、及び仮想車路境界線生成部１７２４を含む。

【0117】

カメラ１７１１は、車両（例えば、自律走行車両）の前方に対する外部イメージを撮影する。カメラ１７１１は、例えば、カラーイメージで車両の前方を撮影するが、これに限定されることはない。また、カメラ１７１１は、複数使用されてもよい。

【0118】

車路認識部１７１２は、現在車両が位置する道路の状況を認識する。例えば、車路認識部１７１２は、ＧＰＳ信号に基づいて車両の位置を識別し、また、ライダセンサに基づいた深さ情報などを用いて周辺オブジェクトとの距離を識別する。

【0119】

車路境界線検出部１７２１は、カメラ１７１１を用いて取得した外部イメージから車両の前方に対する車路境界線を検出する。

【0120】

オブジェクト検出部１７２２は、外部イメージから前方に位置するオブジェクトを識別する。例えば、オブジェクト検出部１７２２は、オブジェクトの属性などに基づいてオブジェクトの種類を識別し得る。

【0121】

オブジェクトクラスタリング部１７２３は、オブジェクトをクラスタリングして走行グループを生成する。例えば、オブジェクトクラスタリング部１７２３は、現在車両が走行中である車路を基準として、現在の走行中である走行グループ、左側走行グループ、及び右側走行グループなどを生成する。

【0122】

仮想車路境界線生成部１７２４は、生成された走行グループに基づいて仮想の車路境界線を生成する。例えば、仮想車路境界線生成部１７２４は、生成された走行グループ間の領域の中間を横切る線を仮想車路境界線として決定する。

【0123】

出力部１７３０は、生成された仮想車路境界線を出力する。例えば、仮想車路生成装置１７００は、ディスプレイ部（図示せず）をさらに含んでもよく、出力部１７３０は、仮想車路境界線をディスプレイ部を介して出力したり車両に出力してもよい。出力部１７３０がディスプレイで出力した仮想車路境界線は走行参照情報として運転者に提供される。例えば、出力部１７３０は、車両内のディスプレイにリアルタイム映像に仮想車路境界線をオーバーレイして提供する。また、出力部１７３０は、ナビゲーションスクリーンの地図上の道路にオーバーレイして提供し得る。さらに、出力部１７３０は、車両の前方道路に対してレーザやプロジェクションを介して仮想車路境界線を運転者に視覚的に提供する。

【0124】

データベース１７４０は、仮想車路生成のために要求されるデータを格納する。例えば、データベース１７４０は、仮想車路推定に用いられる予めトレーニングされたモデル及び地図情報などを含み得る。

【0125】

したがって、一実施形態に係る仮想車路生成装置１７００は、運転者が車路境界線認識が不可能であるか、正常な方式で車路に沿って行けない場合、運転者の走行をガイドするための情報として仮想車路を生成して提供することができる。

【0126】

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで具現化される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は専用コンピュータを用いて具現化される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

【0127】

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

【0128】

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現化され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

【0129】

上述したように、実施形態を限定された図面によって説明したとしても、当該技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。

【符号の説明】

【0130】

１６００、１７００：仮想車路生成装置
１６１０：イメージ取得部
１６２０：処理部
１７１１：カメラ
１７１２：車路認識部
１７４０：データベース
１７２０：処理部
１７２１：車路境界線検出部
１７２２：オブジェクト検出部
１７２３：オブジェクトクラスタリング部
１７２４：仮想車路境界線生成部
１７３０：出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】