特表 2024-533231 ニューラルネットワークモデルを用いて車線ポリラインを生成する装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-12

(54)【発明の名称】ニューラルネットワークモデルを用いて車線ポリラインを生成する装置及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240905BHJP

   B60W 40/06 20120101ALI20240905BHJP

   B60W 50/00 20060101ALI20240905BHJP

【ＦＩ】

G06T7/00 650A

B60W40/06

B60W50/00

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024514458

(86)(22)【出願日】2022-09-07

(85)【翻訳文提出日】2024-03-04

(86)【国際出願番号】 KR2022013480

(87)【国際公開番号】W WO2023038445

(87)【国際公開日】2023-03-16

(31)【優先権主張番号】10-2021-0119292

(32)【優先日】2021-09-07

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0077475

(32)【優先日】2022-06-24

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0077498

(32)【優先日】2022-06-24

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】523045180

【氏名又は名称】４２ドット・インコーポレイテッド

【氏名又は名称原語表記】４２ｄｏｔ Ｉｎｃ．

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100161883

【弁理士】

【氏名又は名称】北出 英敏

(74)【代理人】

【識別番号】100227927

【弁理士】

【氏名又は名称】中村 拓

(72)【発明者】

【氏名】チョン，ソンギュン

(72)【発明者】

【氏名】クォン，ヒヨン

(72)【発明者】

【氏名】チョン，ソグ

【テーマコード（参考）】

3D241

5L096

【Ｆターム（参考）】

3D241CE05

3D241DC35Z

5L096AA06

5L096BA04

5L096CA04

5L096DA01

5L096HA08

5L096HA11

5L096JA11

5L096JA18

5L096KA04

5L096KA15

(57)【要約】

本開示は、ニューラルネットワークモデルを用いて車線ポリラインを生成する方法及び装置に関する。
本開示の一実施形態による方法は、車両に搭載された少なくとも１つのセンサから取得された基本画像に基づいて鳥瞰図特徴を生成し、鳥瞰図特徴をニューラルネットワークモデルに対する入力データとして用い、所定の道路の車線ポリラインを出力データとして用いることにより、ニューラルネットワークモデルを学習させることができる。本開示においては、上述したニューラルネットワークモデルから取得された車線ポリラインに対して別の処理過程を経ることなく車両の制御に活用することができる。

【特許請求の範囲】

【請求項1】

ニューラルネットワークモデルを用いて車線ポリライン（ｌａｎｅ ｐｏｌｙｌｉｎｅ）を生成する方法において、
車両に搭載された少なくとも１つのセンサから取得された所定の道路の基本画像を取得するステップと、
前記基本画像を用いて多重スケール画像特徴（ｆｅａｔｕｒｅ）を抽出するステップと、
前記抽出された多重スケール画像特徴のビュー変換（ｖｉｅｗ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を行い、鳥瞰図特徴（ＢＥＶ ｆｅａｔｕｒｅ）を生成するステップと、
前記鳥瞰図特徴をニューラルネットワークモデルに対する入力データとして用い、前記所定の道路の車線ポリラインを出力データとして用いることにより、前記ニューラルネットワークモデルを学習させるステップとを含む、方法。

【請求項2】

前記ニューラルネットワークモデルを学習させるステップは、
前記鳥瞰図特徴に含まれる複数のピクセルの中から前景（ｆｏｒｅｇｒｏｕｎｄ）に該当する前景ピクセルを抽出するステップと、
前記所定の道路に含まれる複数の車線のそれぞれに対応する複数のクラスタに対して、前記前景ピクセルのそれぞれが前記複数のクラスタの中で所定のクラスタに該当する確率を算出するステップと、
前記算出された確率を用いる埋め込みオフセット損失（ｅｍｂｅｄｄｉｎｇ ｏｆｆｓｅｔ ｌｏｓｓ）を設定するステップと、
前記埋め込みオフセット損失を用いて前記ニューラルネットワークモデルを学習させるステップとを含む、請求項１に記載の方法。

【請求項3】

前記確率を算出するステップは、
前記複数のクラスタのそれぞれの重心点（ｃｅｎｔｒｏｉｄ）及びクラスタを形成するための固定マージン（ｆｉｘｅｄ ｍａｒｇｉｎ）を設定するステップと、
前記重心点及び前記固定マージンを用いて、前記前景ピクセルのそれぞれが前記複数のクラスタの中で所定のクラスタに該当する確率を算出するステップとを含む、請求項２に記載の方法。

【請求項4】

前記確率を算出するステップは、
クラスタリング閾値確率値を設定するステップと、
前記重心点、前記固定マージン及び前記クラスタリング閾値確率値を用いて、前記前景ピクセルのそれぞれが前記複数のクラスタの中で所定のクラスタに該当する確率を算出するステップとを含む、請求項３に記載の方法。

【請求項5】

前記方法は、
前記請求項１に記載の方法で学習された前記ニューラルネットワークモデルに対する入力データとして、前記鳥瞰図特徴を入力するステップと、
前記ニューラルネットワークモデルの出力データとして、前記所定の道路の車線ポリラインを生成するステップとをさらに含む、請求項１に記載の方法。

【請求項6】

前記方法は、
前記所定の道路の車線ポリラインに基づいて、前記所定の道路を走行中の車両を制御するための制御信号を生成するステップをさらに含む、請求項５に記載の方法。

【請求項7】

ニューラルネットワークモデルを用いて車線ポリラインを生成する装置において、
少なくとも１つのプログラムが格納されたメモリと、
前記少なくとも１つのプログラムを実行することによりニューラルネットワークを駆動するプロセッサとを含み、
前記プロセッサは、
車両に搭載されたカメラから所定の道路の基本画像を取得し、
前記基本画像を用いて複数の画像特徴を抽出し、
前記抽出された複数の画像特徴のビュー変換を行い、鳥瞰図特徴を生成し、
前記鳥瞰図特徴をニューラルネットワークモデルに対する入力データとして用い、前記所定の道路の車線ポリラインを出力データとして用いることにより、前記ニューラルネットワークモデルを学習させるものである、装置。

【請求項8】

請求項１に記載の方法をコンピュータで実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

【請求項9】

ニューラルネットワークモデルを用いて車線ポリライン（ｌａｎｅ ｐｏｌｙｌｉｎｅ）を生成する方法において、
車両に搭載された少なくとも１つのセンサから取得された所定の道路の基本画像を取得するステップと、
前記基本画像をニューラルネットワークモデルに対する入力データとして入力するステップと、
前記ニューラルネットワークモデルを駆動し、前記基本画像から鳥瞰図特徴を生成し、前記生成された鳥瞰図特徴に基づいて車線ポリラインを出力データとして取得するステップとを含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ニューラルネットワークモデルを用いて車線ポリラインを生成する装置及び方法に関する。

【背景技術】

【0002】

情報通信技術と車両産業の融合により、車両のスマート化が急速に進んでいる。スマート化により、車両は単純な機械的装置からスマートカーに進化しており、特にスマートカーの中核技術として自律走行が注目されている。自律走行とは、運転者がハンドル、加速ペダル、ブレーキなどを操作しなくても車両が自ら目的地まで辿る技術である。

【0003】

近年、技術の発展で車線離脱警告システムや、車線維持などの安全運転補助システム、車両自動制御システムなどが開発され、実用化が急速に進んでいる。特に、走行車線の検出は、自律走行車両での主要課題を解決する中核技術の一つであり、国際的な関心の中で多くの研究が盛んに行われている。

【0004】

走行車線の検出は、安全運転に多大な影響を及ぼすので、車線の位置を推定及び判断するために、様々なセンサを活用して正確な走行車線を検出している。例えば、車線の検出や車両前方の物体の認識のために、イメージセンサ、レーダー（ＲＡＤＡＲ）センサ、ライダー（ＬＩＤＡＲ）センサなどの様々なセンサが単独で又は融合された形態で自律走行車両制御システムの実現に用いられている。

【0005】

前述した背景技術は、発明者が本発明の導出のために保有していたか、又は本発明の導出過程で習得した技術情報であって、必ずしも本発明の出願前に一般公衆に公開された公知技術であるとはいえない。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、ニューラルネットワークモデルを用いて車線ポリラインを生成する装置及び方法を提供する。本発明が解決しようとする課題は、以上で述べられている課題に限定されず、述べられていない本発明の他の課題及び利点は、以下の説明により理解され、本発明の実施形態によりさらに明らかに理解されるであろう。また、本発明が解決しようとする課題及び利点は、特許請求の範囲に示されている手段及びその組み合わせにより実現できることが理解されるであろう。

【課題を解決するための手段】

【0007】

上述した技術的課題を解決するための技術的手段として、本開示の第１態様は、ニューラルネットワークモデルを用いて車線ポリライン（ｌａｎｅ ｐｏｌｙｌｉｎｅ）を生成する方法において、車両に搭載された少なくとも１つのセンサから取得された所定の道路の基本画像を取得するステップと、前記基本画像を用いて多重スケール画像特徴（ｆｅａｔｕｒｅ）を抽出するステップと、前記抽出された多重スケール画像特徴のビュー変換（ｖｉｅｗ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を行い、鳥瞰図特徴（ＢＥＶ ｆｅａｔｕｒｅ）を生成するステップと、前記鳥瞰図特徴をニューラルネットワークモデルに対する入力データとして用い、前記所定の道路の車線ポリラインを出力データとして用いることにより、前記ニューラルネットワークモデルを学習させるステップとを含む、方法を提供することができる。

【0008】

また シード確率損失を設定するステップは、複数のピクセルのうち、前景に該当する前景ピクセルに対しては第１数式を適用し、後景に該当する後景ピクセルに対しては第２数式を適用することにより、前記第１数式及び前記第２数式で構成された前記シード確率損失を設定するステップを含む、方法を提供することができる。

【0009】

さらに、前記方法は、前記所定の道路に含まれる複数の車線のそれぞれに対応する複数のクラスタに対して、前記前景ピクセルのそれぞれが前記複数のクラスタの中で所定のクラスタに該当する確率を算出するステップと、前記前景ピクセルのピクセル値及び前記算出された確率に基づいて前記第１数式を設定するステップとをさらに含む、方法を提供することができる。

【0010】

さらに、前記方法は、前記後景ピクセルのピクセル値に基づいて前記第２数式を設定するステップをさらに含む、方法を提供することができる。

【0011】

さらに、前記第１数式を設定するステップは、前記前景ピクセルのピクセル値及び前記後景ピクセルのピクセル値間の不均衡を補正するために、スケーリング因子（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）をさらに適用して前記第１数式を設定するステップを含む、方法を提供することができる。

【0012】

さらに、前記ニューラルネットワークモデルを学習させるステップは、前記鳥瞰図特徴に含まれる複数のピクセルの中から前景に該当する前景ピクセルを抽出するステップと、前記所定の道路に含まれる車線に対する前記前景ピクセルのそれぞれの順序を用いる順序損失（ｏｒｄｅｒ ｌｏｓｓ）を設定するステップと、前記順序損失を用いて前記ニューラルネットワークモデルを学習させるステップとを含む、方法を提供することができる。

【0013】

さらに、前記順序損失を設定するステップは、前記前景ピクセルのそれぞれが含まれるクラスタを識別するステップと、前記識別されたクラスタに対応する車線に対して、前記前景ピクセルの順序（ｏｒｄｅｒ）値を決定するステップと、前記前景ピクセルのそれぞれの順序値を用いる順序損失（ｏｒｄｅｒ ｌｏｓｓ）を設定するステップとを含む、方法を提供することができる。

【0014】

さらに、前記順序値を決定するステップは、車線の開始点（ｓｔａｒｔｉｎｇ ｐｏｉｎｔ）に近い前景ピクセルであるほど第１値に近い値を有し、車線の終了点（ｅｎｄｉｎｇ ｐｏｉｎｔ）に近い前景ピクセルであるほど第２値に近い値を有するように、前記前景ピクセルの順序値を決定するステップを含む、方法を提供することができる。

【0015】

さらに、前記方法は、前記第１態様による方法で学習された前記ニューラルネットワークモデルに対する入力データとして、前記鳥瞰図特徴を入力するステップと、前記ニューラルネットワークモデルの出力データとして、前記所定の道路の車線ポリラインを生成するステップとをさらに含む、方法を提供することができる。

【0016】

さらに、前記方法は、前記所定の道路の車線ポリラインに基づいて、前記所定の道路を走行中の車両を制御するための制御信号を生成するステップをさらに含む、方法を提供することができる。

【0017】

本開示の第２態様は、ニューラルネットワークモデルを用いて車線ポリラインを生成する装置において、少なくとも１つのプログラムが格納されたメモリと、前記少なくとも１つのプログラムを実行することによりニューラルネットワークを駆動するプロセッサとを含み、前記プロセッサは、車両に搭載されたカメラから所定の道路の基本画像を取得し、前記基本画像を用いて複数の画像特徴を抽出し、前記抽出された複数の画像特徴のビュー変換を行い、鳥瞰図特徴を生成し、前記鳥瞰図特徴をニューラルネットワークモデルに対する入力データとして用い、前記所定の道路の車線ポリラインを出力データとして用いることにより、前記ニューラルネットワークモデルを学習させるものである、装置を提供することができる。

【0018】

本開示の第３態様は、ニューラルネットワークモデルを用いて車線ポリライン（ｌａｎｅ ｐｏｌｙｌｉｎｅ）を生成する方法において、車両に搭載された少なくとも１つのセンサから取得された所定の道路の基本画像に基づいて鳥瞰図特徴（ＢＥＶ ｆｅａｔｕｒｅ）を生成するステップと、前記鳥瞰図特徴をニューラルネットワークモデルに対する入力データとして用い、前記所定の道路の車線ポリラインを出力データとして用いることにより、前記ニューラルネットワークモデルを学習させるステップとを含み、前記ニューラルネットワークモデルを学習させるステップは、前記鳥瞰図特徴に含まれる複数のピクセルのそれぞれが前景（ｆｏｒｅｇｒｏｕｎｄ）及び後景（ｂａｃｋｇｒｏｕｎｄ）のうちいずれのカテゴリーに該当するかに基づいてシード確率損失（ｓｅｅｄ ｐｒｏｂａｂｉｌｉｔｙ ｌｏｓｓ）を設定するステップと、前記シード確率損失を用いて前記ニューラルネットワークモデルを学習させるステップとを含む、方法を提供することができる。

【0019】

また、シード確率損失を設定するステップは、前記複数のピクセルのうち、前景に該当する前景ピクセルに対しては第１数式を適用し、後景に該当する後景ピクセルに対しては第２数式を適用することにより、前記第１数式及び前記第２数式で構成された前記シード確率損失を設定するステップを含む、方法を提供することができる。

【0020】

さらに、前記方法は、前記所定の道路に含まれる複数の車線のそれぞれに対応する複数のクラスタに対して、前記前景ピクセルのそれぞれが前記複数のクラスタの中で所定のクラスタに該当する確率を算出するステップと、前記前景ピクセルのピクセル値及び前記算出された確率に基づいて前記第１数式を設定するステップとをさらに含む、方法を提供することができる。

【0021】

さらに、前記方法は、前記後景ピクセルのピクセル値に基づいて前記第２数式を設定するステップをさらに含む、方法を提供することができる。

【0022】

さらに、前記第１数式を設定するステップは、前記前景ピクセルのピクセル値及び前記後景ピクセルのピクセル値間の不均衡を補正するために、スケーリング因子（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）をさらに適用して前記第１数式を設定するステップを含む、方法を提供することができる。

【0023】

さらに、前記ニューラルネットワークモデルを学習させるステップは、前記鳥瞰図特徴に含まれる複数のピクセルの中から前景に該当する前景ピクセルを抽出するステップと、前記所定の道路に含まれる車線に対する前記前景ピクセルのそれぞれの順序を用いる順序損失（ｏｒｄｅｒ ｌｏｓｓ）を設定するステップと、前記順序損失を用いて前記ニューラルネットワークモデルを学習させるステップとを含む、方法を提供することができる。

【0024】

さらに、前記順序損失を設定するステップは、前記前景ピクセルのそれぞれが含まれるクラスタを識別するステップと、前記識別されたクラスタに対応する車線に対して、前記前景ピクセルの順序（ｏｒｄｅｒ）値を決定するステップと、前記前景ピクセルのそれぞれの順序値を用いる順序損失（ｏｒｄｅｒ ｌｏｓｓ）を設定するステップとを含む、方法を提供することができる。

【0025】

さらに、前記順序値を決定するステップは、車線の開始点（ｓｔａｒｔｉｎｇ ｐｏｉｎｔ）に近い前景ピクセルであるほど第１値に近い値を有し、車線の終了点（ｅｎｄｉｎｇ ｐｏｉｎｔ）に近い前景ピクセルであるほど第２値に近い値を有するように、前記前景ピクセルの順序値を決定するステップを含む、方法を提供することができる。

【0026】

さらに、前記方法は、前記第３態様に記載の方法で学習された前記ニューラルネットワークモデルに対する入力データとして、前記鳥瞰図特徴を入力するステップと、前記ニューラルネットワークモデルの出力データとして、前記所定の道路の車線ポリラインを生成するステップとをさらに含む、方法を提供することができる。

【0027】

さらに、前記方法は、前記所定の道路の車線ポリラインに基づいて、前記所定の道路を走行中の車両を制御するための制御信号を生成するステップをさらに含む、方法を提供することができる。

【0028】

本開示の第４態様は、ニューラルネットワークモデルを用いて車線ポリラインを生成する装置において、少なくとも１つのプログラムが格納されたメモリと、前記少なくとも１つのプログラムを実行することによりニューラルネットワークを駆動するプロセッサとを含み、前記プロセッサは、車両に搭載された少なくとも１つのセンサから取得された所定の道路の基本画像に基づいて鳥瞰図特徴を生成し、前記鳥瞰図特徴をニューラルネットワークモデルに対する入力データとして用い、前記所定の道路の車線ポリラインを出力データとして用いることにより、前記ニューラルネットワークモデルを学習させ、前記プロセッサは、前記鳥瞰図特徴に含まれる複数のピクセルのそれぞれが前景及び後景のうちいずれのカテゴリーに該当するかに基づいてシード確率損失を設定し、前記シード確率損失を用いて前記ニューラルネットワークモデルを学習させるものである、装置を提供することができる。

【0029】

本開示の第５態様は、第１態様又は第３態様による方法をコンピュータで実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することができる。

【0030】

それら以外にも、本発明を実現するための他の方法、他のシステム、及び前記方法を実行するためのコンピュータプログラムが格納されたコンピュータで読み取り可能な記録媒体をさらに提供することができる。

【0031】

上記以外の他の態様、特徴、利点は、添付の図面、請求の範囲、及び以下の発明の詳細な説明から明らかになるであろう。

【発明の効果】

【0032】

前述した本開示の課題解決手段によれば、本開示においては、ニューラルネットワークモデルのエンドツーエンド（ｅｎｄ－ｔｏ－ｅｎｄ）学習により鳥瞰図特徴から所定の道路の車線ポリラインを高い正確度で取得することができる。

【0033】

また、本開示においては、ニューラルネットワークモデルから取得された車線ポリラインに対して別の処理過程を経ることなく車両の制御に活用することができる。

【図面の簡単な説明】

【0034】

【図1】一実施形態による自律走行方式を説明するための図である。

【図2】一実施形態による自律走行方式を説明するための図である。

【図3】一実施形態による自律走行方式を説明するための図である。

【図4】一実施形態による画像符号化及びビュー変換を行う方法を説明するための例示図である。

【図5】一実施形態による鳥瞰図特徴を生成する方法を説明するための例示図である。

【図6】一実施形態によるニューラルネットワークモデルの動作方法を説明するための例示図である。

【図7A】一実施形態によるシード確率損失を説明するための例示図である。

【図7B】一実施形態によるシード確率損失を説明するための例示図である。

【図8A】埋め込みオフセット損失を説明するための例示図である。

【図8B】埋め込みオフセット損失を説明するための例示図である。

【図8C】埋め込みオフセット損失を説明するための例示図である。

【図9】一実施形態による順序損失を説明するための例示図である。

【図10】一実施形態によるニューラルネットワークモデルを用いて車線ポリラインを生成する方法を説明するためのフローチャートである。

【図11】一実施形態による車線ポリライン生成装置のブロック図である。

【発明を実施するための最良の形態】

【0035】

本開示は、ニューラルネットワークモデルを用いて車線ポリラインを生成する方法及び装置に関する。本開示の一実施形態による方法は、車両に搭載された少なくとも１つのセンサから取得された基本画像に基づいて鳥瞰図特徴を生成し、鳥瞰図特徴をニューラルネットワークモデルに対する入力データとして用い、所定の道路の車線ポリラインを出力データとして用いることにより、ニューラルネットワークモデルを学習させることができる。本開示においては、上述したニューラルネットワークモデルから取得された車線ポリラインに対して別の処理過程を経ることなく車両の制御に活用することができる。

【発明を実施するための形態】

【0036】

本発明の利点及び特徴、並びにそれらを達成する方法は、添付の図面と共に詳細に説明される実施形態を参照することによって明らかになるであろう。しかし、本発明は、以下に提示される実施形態に限定されるものではなく、異なる様々な形態で実現することができ、本発明の思想及び技術範囲に含まれる全ての変換、均等物乃至代替物を含むものと理解されるべきである。以下に提示される実施形態は、本発明の開示を完全にし、本発明の属する技術の分野における通常の知識を有する者に発明の範疇を完全に理解させるために提供されるものである。本発明を説明するにあたり、関連する公知技術についての具体的な説明が本発明の要旨を不明にすると判断される場合、その詳細な説明を省略する。

【0037】

本出願で用いられる用語は、単に特定の実施形態を説明するために用いられるものであり、本発明の限定を意図するものではない。単数の表現は、文脈上明らかに他の意味を表さない限り、複数の表現を含む。本出願において、「含む」や「有する」などの用語は、明細書に記載された特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせが存在することを指定するものであり、１つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせの存在や追加の可能性を予め排除するものではないと理解されるべきである。

【0038】

本開示の一部の実施形態は、機能ブロック構成及び様々な処理ステップで示すことができる。そのような機能ブロックの一部又は全部は、特定の機能を実行する様々な数のハードウェア及び／又はソフトウェア構成で実現することができる。例えば、本開示の機能ブロックは、１つ以上のマイクロプロセッサにより実現するか、又は所定の機能のための回路構成により実現することができる。また、例えば、本開示の機能ブロックは、様々なプログラミング又はスクリプト言語で実現することができる。機能ブロックは、１つ以上のプロセッサで実行されるアルゴリズムで実現することができる。さらに、本開示は、電子的な環境設定、信号処理及び／又はデータ処理などのために従来技術を採用することができる。「メカニズム」、「要素」、「手段」、「構成」などの用語は広く用いることができ、機械的及び物理的な構成に限定されるものではない。

【0039】

なお、図面に示す構成要素間の連結線又は連結部材は、機能的連結及び／又は物理的連結もしくは回路接続を例示的に示すものに過ぎない。実際の装置では、代替可能又は追加の様々な機能的連結、物理的連結又は回路接続により構成要素間の連結を示すことができる。

【0040】

以下、「車両」とは、自動車、バス、バイク、キックボード又はトラックのように、機関を有して人や物を移動させるために用いられるあらゆる種類の運送手段を意味することができる。

【0041】

以下、添付図面を参照して本開示を詳細に説明する。

【0042】

図１～図３は一実施形態による自律走行方式を説明するための図である。

【0043】

図１を参照すると、本発明の一実施形態による自律走行装置は、車両に装着されて自律走行車両１０を実現することができる。自律走行車両１０に装着される自律走行装置は、周辺の状況情報を収集するための様々なセンサを含んでもよい。一例として、自律走行装置は、自律走行車両１０の前面に装着されたイメージセンサ及び／又はイベントセンサにより、前方を運行中の先行車両２０の動きを検知することができる。自律走行装置は、自律走行車両１０の前方はもとより、隣の車路を運行中の他の走行車両３０や、自律走行車両１０周辺の歩行者などを検知するためのセンサをさらに含んでもよい。

【0044】

自律走行車両周辺の状況情報を収集するためのセンサの少なくとも１つのセンサは、図１に示すように、所定の画角（ＦｏＶ）を有することができる。一例として、自律走行車両１０の前面に装着されたセンサが図１に示すような画角（ＦｏＶ）を有する場合、センサの中央で検出される情報は、相対的に高い重要度を有することができる。これは、センサの中央で検出される情報に、先行車両２０の動きに対応する情報のほとんどが含まれているからである。

【0045】

自律走行装置は、自律走行車両１０のセンサが収集した情報をリアルタイムで処理して自律走行車両１０の動きを制御することができる。また、自律走行装置は、センサが収集した情報の少なくとも一部の情報をメモリ装置に保存することができる。

【0046】

図２を参照すると、自律走行装置４０は、センサ部４１、プロセッサ４６、メモリシステム４７、車体制御モジュール４８などを含んでもよい。センサ部４１は、複数のセンサ４２～４５を含み、複数のセンサ４２～４５は、イメージセンサ、イベントセンサ、照度センサ、ＧＰＳ装置、加速度センサなどを含んでもよい。

【0047】

センサ４２～４５が収集したデータは、プロセッサ４６に伝達されるようにしてもよい。プロセッサ４６は、センサ４２～４５が収集したデータをメモリシステム４７に保存することができる。また、プロセッサ４６は、センサ４２～４５が収集したデータに基づいて車体制御モジュール４８を制御して車両の動きを決定することができる。メモリシステム４７は、少なくとも２つ以上のメモリ装置と、メモリ装置を制御するためのシステムコントローラとを含んでもよい。メモリ装置のそれぞれは、１つの半導体チップとして提供されるようにしてもよい。

【0048】

メモリシステム４７のシステムコントローラの他に、メモリシステム４７に含まれるメモリ装置のそれぞれは、メモリコントローラを含んでもよく、メモリコントローラは、ニューラルネットワークなどの人工知能（ＡＩ）演算回路を含んでもよい。メモリコントローラは、センサ４２～４５又はプロセッサ４６から受信したデータに所定の重みを与えて演算データを生成し、演算データをメモリチップに保存することができる。

【0049】

図３は自律走行装置が搭載された自律走行車両のセンサが取得した映像データの一例を示す図である。図３を参照すると、映像データ５０は、自律走行車両の前面に装着されたセンサが取得したデータであってもよい。よって、映像データ５０は、自律走行車両の前面部５１、自律走行車両と同じ車路の先行車両５２、自律走行車両周辺の走行車両５３、背景５４、車線５５、５６などを含むことができる。

【0050】

図３に示す実施形態による映像データ５０において、自律走行車両の前面部５１及び背景５４が表示される領域のデータは、自律走行車両の運行に影響を及ぼす可能性がほとんどないデータであり得る。言い換えれば、自律走行車両の前面部５１及び背景５４は、相対的に低い重要度を有するデータとみなすことができる。

【0051】

それに対して、先行車両５２との距離、走行車両５３の車路変更の動きなどは、自律走行車両の安全な運行において非常に重要な要素であり得る。よって、映像データ５０において、先行車両５２や走行車両５３などが含まれる領域のデータは、自律走行車両の運行において相対的に高い重要度を有することができる。

【0052】

自律走行装置に含まれるメモリ装置は、センサから受信した映像データ５０を領域毎に異なる重みを与えて保存することができる。一例として、メモリ装置は、先行車両５２や走行車両５３などが含まれる領域のデータには高い重みを与え、自律走行車両の前面部５１及び背景５４が表示される領域のデータには低い重みを与えることができる。

【0053】

さらに、自律走行装置は、現在車両が走行中の道路に含まれる車線５５、５６を検出することができる。例えば、自律走行装置は、映像処理により、映像データ５０から車線に該当する確率が高い車線ピクセルを検出し、検出した車線ピクセルを特定の車線モデルでフィッティング（ｆｉｔｔｉｎｇ）して前方の車線配置状況を決定することができる。

【0054】

一実施形態において、自律走行装置は、ニューラルネットワークモデルを用いて映像データ５０から車線ピクセルを検出することができる。ニューラルネットワークモデルは、映像データ５０から車線に対応する車線ピクセルを検出するように学習（ｔｒａｉｎｉｎｇ）されたモデルである。ニューラルネットワークモデルには、映像データ５０が入力されるようにしてもよい。また、ニューラルネットワークモデルは、映像データ５０に含まれる各映像ピクセルが車線５５、５６に該当する確率を示す確率情報を出力することができる。自律走行装置は、ピクセル毎の確率情報に基づいて車線ピクセルを決定することができる。例えば、自律走行装置は、映像データ５０の映像ピクセルの中からニューラルネットワークモデルにより決定された確率値が閾値より大きい映像ピクセルを車線ピクセルとして決定することができる。

【0055】

図４は一実施形態による画像符号化及びビュー変換を行う方法を説明するための例示図である。

【0056】

図４を参照すると、車線ポリライン生成装置は、画像エンコーダ（ｉｍａｇｅ ｅｎｃｏｄｅｒ）４１０及びビュー変換器（ｖｉｅｗ ｔｒａｎｓｆｏｒｍｅｒ）４２０を含んでもよい。

【0057】

画像エンコーダ４１０は、基本画像４１１を入力データとして用いることができる。基本画像４１１は、車両に搭載された少なくとも１つのセンサから取得された、車両が走行中の道路の画像であってもよい。例えば、車両に搭載された少なくとも１つのセンサは、図２で説明されたセンサ部４１で実現することができる。

【0058】

画像エンコーダ４１０は、基本画像４１１を特徴ピラミッドネットワーク（ｆｅａｔｕｒｅ ｐｙｒａｍｉｄ ｎｅｔｗｏｒｋ）に適用して多重スケール（ｍｕｌｔｉ－ｓｃａｌｅ）画像特徴４２１を抽出することができる。

【0059】

特徴ピラミッドネットワークは、ボトムアップ（ｂｏｔｔｏｍ－ｕｐ）過程４１２及びトップダウン（ｔｏｐ－ｄｏｗｎ）過程４１３から構成されてもよい。ボトムアップ過程４１２は、ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を用いて基本画像４１１の解像度を１／２ずつ下げて複数の第１特徴マップを生成するフォワーディング（ｆｏｒｗａｒｄｉｎｇ）過程であってもよい。例えば、ボトムアップ過程４１２で、ＲｅｓＮｅｔ５０が用いられ、基本画像４１１の１／８、１／１６、１／３２、１／６４サイズの第１特徴マップを生成することができる。

【0060】

トップダウン過程４１３は、ボトムアップ過程４１２で生成された最終の第１特徴マップ４１４を２倍ずつアップサンプリング（ｕｐ－ｓａｍｐｌｉｎｇ）して複数の第２特徴マップを生成する過程であってもよい。また、トップダウン過程４１３は、複数の第２特徴マップと複数の第１特徴マップとを結合して多重スケール画像特徴４２１を抽出する過程であってもよい。

【0061】

ビュー変換器４２０は、画像エンコーダ４１０で抽出された多重スケール画像特徴４２１のビュー変換を行って鳥瞰図特徴（ＢＥＶ ｆｅａｔｕｒｅ）４２２を生成することができる。鳥瞰図特徴４２２を生成する方法については図５で後述する。

【0062】

図５は一実施形態による鳥瞰図特徴を生成する方法を説明するための例示図である。

【0063】

図５を参照すると、車線ポリライン生成装置に含まれるビュー変換器５００が示されている。ビュー変換器５００は、画像特徴５１０の入力を受け、所定のステップを経て鳥瞰図特徴５２０を生成することができる。

【0064】

具体的には、ビュー変換器５００は、第１ステップ５３１で、画像特徴５１０の高さ（ｈｅｉｇｈｔ）次元で崩壊（ｃｏｌｌａｐｓｅ）させ、第２ステップ５３２で、画像特徴５１０を含む多重スケール画像特徴を深さ（ｄｅｐｔｈ）次元でストレッチさせ、第３ステップ５３３で、カメラパラメータを用いてリサンプリング（ｒｅｓａｍｐｌｉｎｇ）することにより、鳥瞰図特徴５２０を生成することができる。

【0065】

一方、車線ポリライン生成装置は、鳥瞰図特徴５２０ｆＢＥＶｃにホモグラフィ変換（ｈｏｍｏｇｒａｐｈｙ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）Ｈｃを適用して正準座標（ｃａｎｏｎｉｃａｌ ｃｏｏｒｄｉｎａｔｅ）にリマップ（ｒｅｍａｐ）することができる。具体的には、車線ポリライン生成装置は、数式１により、鳥瞰図特徴５２０ｆＢＥＶｃにホモグラフィ変換を適用することができる。数式１において、Ｉは基本画像、Ｆ（・）は画像エンコーダ関数、Ｔ（・）はビュー変換器、Ｋは所定の道路を撮影するカメラに関するパラメータ（例えば、焦点距離やカメラ主点など）、Ｒは車両座標系－カメラ座標系間の回転変換、ｔは車両座標系－カメラ座標系間の移動変換を意味する。また、ｚ＝０とは、数式１による結果値である変換された鳥瞰図特徴ｆＢＥＶがＸＹ平面上の値であることを意味する。

【数1】

【0066】

車線ポリライン生成装置は、変換された鳥瞰図特徴ｆＢＥＶをニューラルネットワークモデルの入力データとして用い、所定の道路の車線ポリラインを出力データとして用いることにより、ニューラルネットワークモデルを学習させることができる。ニューラルネットワークモデルの学習方法については図６で後述する。

【0067】

図６は一実施形態によるニューラルネットワークモデルの動作方法を説明するための例示図である。

【0068】

図６を参照すると、ニューラルネットワークモデル６００が示されている。車線ポリライン生成装置は、変換された鳥瞰図特徴６１０をニューラルネットワークモデル６００の入力データとして用い、所定の道路の車線ポリライン６４０を出力データとして用いることにより、ニューラルネットワークモデル６００を学習させることができる。

【0069】

ニューラルネットワークモデル６００には、変換された鳥瞰図特徴６１０が入力データとして入力されるようにすることができる。変換された鳥瞰図特徴６１０は、上記数式１により算出された結果値であってもよい。変換された鳥瞰図特徴６１０に予め設定された少なくとも１つのレイヤ６２０及び損失関数６３０が適用されることにより、車線ポリライン６４０がニューラルネットワークモデル６００の出力データとして出力されるようにすることができる。

【0070】

一実施形態において、ニューラルネットワークモデル６００は、下記数式２による損失関数Ｌ（・）の値が最小になるように学習されてもよい。数式２において、Ｉは基本画像、Ｍ（・）はニューラルネットワークモデル６００、Ｋは所定の道路を撮影するカメラに関するパラメータ（例えば、焦点距離やカメラ主点など）、Ｒはカメラ座標系、ｔは車両座標系を意味する。ＸＢＥＶは、所定の道路の車線ポリラインのグラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）値を意味する。Ｘ＾ＢＥＶは、所定の道路の車線ポリラインのニューラルネットワークモデル６００により予測された値を意味する。

【数2】

【0071】

本開示においては、ニューラルネットワークモデル６００のエンドツーエンド学習により、ホモグラフィ関数を用いることなく、所定の道路の車線ポリラインを取得することができる。本開示においては、そのために、ニューラルネットワークモデル６００の学習に用いられる少なくとも１つの損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を設定することができる。損失関数に関する具体的な内容は以下で後述する。

【0072】

一方、一実施形態において、図６で上述したニューラルネットワークモデル６００は、図４及び図５で上述した画像符号化及びビュー変換も行うことができる。

【0073】

車線ポリライン生成装置は、基本画像をニューラルネットワークモデル６００に対する入力データとして用い、所定の道路の車線ポリラインを出力データとして用いることにより、ニューラルネットワークモデル６００を学習させることができる。

【0074】

具体的には、車線ポリライン生成装置は、基本画像をニューラルネットワークモデル６００に対する入力データとして入力することができる。また、車線ポリライン生成装置は、ニューラルネットワークモデル６００を駆動し、基本画像から鳥瞰図特徴を生成し、生成された鳥瞰図特徴に基づいて車線ポリラインを出力データとして取得することができる。より具体的には、車線ポリライン生成装置は、ニューラルネットワークモデル６００を駆動し、基本画像を用いて多重スケール画像特徴を抽出し、抽出された多重スケール画像特徴のビュー変換を行い、鳥瞰図特徴を生成することができる。また、車線ポリライン生成装置は、生成された鳥瞰図特徴に基づいて所定の道路の車線ポリラインを出力データとして取得することができる。

【0075】

図７Ａ及び図７Ｂは一実施形態によるシード確率損失を説明するための例示図である。

【0076】

図７Ａ及び図７Ｂを参照すると、ピクセル座標系７００が示されている。車線ポリライン生成装置は、鳥瞰図特徴の空間座標システムを埋め込み座標システムに変換することにより、ピクセル座標系７００を生成することができる。

【0077】

図７Ａを参照すると、ピクセル座標系７００に含まれる点表示７１０はピクセルを示し、直線表示７２０は車線を示す。

【0078】

車線ポリライン生成装置は、ニューラルネットワークモデルに適用される少なくとも１つの損失関数（又は、損失）として、シード確率損失（ｓｅｅｄ ｐｒｏｂａｂｉｌｉｔｙ ｌｏｓｓ）を設定することができる。シード確率は、ピクセル座標系７００上の複数のピクセルのそれぞれが前景（ｆｏｒｅｇｒｏｕｎｄ）及び後景（ｂａｃｋｇｒｏｕｎｄ）のうちいずれのカテゴリーに該当するかによって値が異なる。ここで、前景とは車両、車線などのオブジェクトを意味し、後景とは背景を意味する。ピクセル座標系７００上の所定のピクセルが後景に決定された場合、車線ポリライン生成装置は、当該ピクセルのシード確率を０に決定することができる。また、ピクセル座標系７００上の所定のピクセルが前景に該当する確率が高いほど、車線ポリライン生成装置は、当該ピクセルのシード確率が１に近い値を有するように決定することができる。

【0079】

ピクセル座標系７００上の複数のピクセルは、前景を示す前景ピクセル又は後景を示す後景ピクセルに分けられるが、図７Ｂを参照すると、ピクセル座標系７００上の複数のピクセルのうち、第１ピクセルグループ７３０は前景ピクセルに該当し、第２ピクセルグループ７４０は後景ピクセルに該当する。

【0080】

一実施形態において、車線ポリライン生成装置は、複数のピクセルのうち、前景に該当する前景ピクセルに対しては第１数式を適用し、後景に該当する後景ピクセルに対しては第２数式を適用することにより、第１数式及び第２数式で構成されたシード確率損失を設定することができる。

【0081】

車線ポリライン生成装置は、所定の道路に含まれる複数の車線のそれぞれに対応する複数のクラスタに対して、前景ピクセルのそれぞれが複数のクラスタの中で所定のクラスタに該当する確率を算出することができる。車線ポリライン生成装置は、前景ピクセルのピクセル値及び算出された確率に基づいて第１数式を設定することができる。一方、クラスタに該当する確率を算出する方法については図８Ａ～図８Ｃで後述する。

【0082】

また、車線ポリライン生成装置は、前景ピクセルのピクセル値及び後景ピクセルのピクセル値間の不均衡を補正するために、スケーリング因子（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）をさらに適用して第１数式を設定することができる。

【0083】

さらに、車線ポリライン生成装置は、後景ピクセルのピクセル値に基づいて第２数式を設定することができる。

【0084】

上述した第１数式及び第２数式が含まれるシード確率損失は、下記数式３で表すことができる。一実施形態において、ニューラルネットワークモデルは、下記数式３によるシード確率損失Ｌｓｅｅｄ（・）の値が最小になるように学習されてもよい。

【0085】

数式３において、右辺の１番目の項は上述した第１数式であり、２番目の項は上述した第２数式であってもよい。また、数式３において、Ｎはピクセル座標系７００に含まれるピクセルの数、δはスケーリング因子、ｑｉはｉ番目のピクセルがシード予測値、Ｓｋは前景、ｂｇは後景、φｋ（ｅｉ）はピクセル座標系７００上のｉ番目の埋め込み座標ｅｉがｋ番目のクラスタに該当する確率を意味する。

【数3】

【0086】

図８Ａ～図８Ｃは埋め込みオフセット損失を説明するための例示図である。

【0087】

図８Ａ～図８Ｃを参照すると、ピクセル座標系８００が示されている。図８Ａを参照すると、ピクセル座標系８００に含まれる第１直線表示８１１と第２直線表示８１２とは異なる車線を示す。

【0088】

車線ポリライン生成装置は、ニューラルネットワークモデルに適用される少なくとも１つの損失関数（又は、損失）として、埋め込みオフセット損失（ｅｍｂｅｄｄｉｎｇ ｏｆｆｓｅｔ ｌｏｓｓ）を設定することができる。埋め込みオフセットは、ピクセル座標系８００上のｉ番目の埋め込み座標ｅｉがｋ番目のクラスタに該当する確率を示す。ここで、クラスタは、所定の道路に含まれる複数の車線のそれぞれに対して設定されてもよい。車線ポリライン生成装置は、ピクセル座標系８００上のｉ番目のピクセルがｋ番目のクラスタの中心に近く位置するほど、該当確率値φｋ（ｅｉ）を１に近く決定することができる。

【0089】

図８Ｂを参照すると、各ピクセルの陰影表示は、所定のクラスタに該当する確率を視覚化して表示したものであり、陰影表示が濃いほど所定のクラスタに該当する確率値が大きいことを意味する。図８Ａで第１直線表示８１１に近く位置していた第１ピクセル８２１及び第２直線表示８１２に近く位置していた第２ピクセル８２５は、所定のクラスタに該当する確率値が非常に大きいため、図８Ｂで陰影表示が濃く表示されたことが分かる。一方、車線ポリライン生成装置は、所定のクラスタに該当する確率を前景ピクセルに対してのみ算出することができ、車線ポリライン生成装置は、後景ピクセルに対しては計算を省略することができる。

【0090】

図８Ｃを参照すると、クラスタ別にピクセルが集まったことが示されている。上述した鳥瞰図特徴は空間座標（ｓｐａｔｉａｌ ｃｏｏｒｄｉｎａｔｅｓ）を有するが、車線ポリライン生成装置は、ニューラルネットワークモデルを駆動し、空間座標を有する鳥瞰図特徴を二次元埋め込み座標（ｅｍｂｅｄｄｉｎｇ ｃｏｏｒｄｉｎａｔｅｓ）に変換することができる。

【0091】

車線ポリライン生成装置は、埋め込み座標上の第１ピクセル８２１を第１クラスタ８３１の重心点（ｃｅｎｔｒｏｉｄ）に設定し、第２ピクセル８２５を第２クラスタ８３５の重心点に設定することができる。

【0092】

一実施形態において、車線ポリライン生成装置は、鳥瞰図特徴に含まれる複数のピクセルの中から前景に該当する前景ピクセルを抽出することができる。また、車線ポリライン生成装置は、所定の道路に含まれる複数の車線のそれぞれに対応する、埋め込み座標上の複数のクラスタに対して、前景ピクセルのそれぞれが複数のクラスタの中で所定のクラスタに該当する確率を算出することができる。さらに、車線ポリライン生成装置は、算出された確率を用いる埋め込みオフセット損失を設定することができる。さらに、車線ポリライン生成装置は、埋め込みオフセット損失を用いてニューラルネットワークモデルを学習させることができる。

【0093】

さらに、車線ポリライン生成装置は、埋め込み座標上の複数のクラスタのそれぞれの重心点及びクラスタを形成するための固定マージン（ｆｉｘｅｄ ｍａｒｇｉｎ）を設定することができる。車線ポリライン生成装置は、重心点及び固定マージンを用いて、前景ピクセルのそれぞれが複数のクラスタの中で所定のクラスタに該当する確率を算出することができる。

【0094】

また、車線ポリライン生成装置は、前景ピクセルのそれぞれが埋め込み座標上の複数のクラスタの中で所定のクラスタに該当する確率を算出するために、クラスタリング閾値確率値を設定することができる。車線ポリライン生成装置は、重心点、固定マージン及びクラスタリング閾値確率値を用いて、前景ピクセルのそれぞれが複数のクラスタの中で所定のクラスタに該当する確率を算出することができる。

【0095】

ニューラルネットワークモデルは、下記数式４による埋め込みオフセット損失Ｌｅｍｂｅｄ（・）の値が最小になるように学習されてもよい。数式４において、Ｋはクラスタの数、Ｌｈ（・）はサポートベクターマシン関連損失（例えば、Ｌｏｖａｓｚ ｈｉｎｇｅ ｌｏｓｓ）を意味する。

【数4】

【0096】

また、前景ピクセルのそれぞれが埋め込み座標上の複数のクラスタの中で所定のクラスタに該当する確率であるφｋ（ｅｉ）は、下記数式５により算出することができる。数式５によれば、φｋ（ｅｉ）はガウス分布に従う。

【数5】

【0097】

また、数式５のσは、下記数式６により算出することができる。数式６において、Ｒは埋め込み空間８００でクラスタを形成するための固定マージンを示し、Ｐｒ－はクラスタリング閾値確率値を示す。

【数6】

【0098】

図９は一実施形態による順序損失を説明するための例示図である。

【0099】

車線ポリライン生成装置は、ニューラルネットワークモデルに適用される少なくとも１つの損失関数（又は、損失）として、順序損失（ｏｒｄｉｎａｌ ｌｏｓｓ）を設定することができる。ここで、順序とは、ポリラインに対応する車線の開始及び終了に関する順序を意味する。車線ポリライン生成装置は、ピクセル座標系上の所定のピクセルが車線の開始点（ｓｔａｒｔｉｎｇ ｐｏｉｎｔ）に近いほど順序値を０に近い値に決定し、車線の終了点（ｅｎｄｉｎｇ ｐｏｉｎｔ）に近いほど順序値を1に近い値に決定することができる。

【0100】

図９を参照すると、ピクセル座標系上の各ピクセルが車線の開始点と終了点間で配置される順序が示されている。図９の順序値１及び順序値２は、異なる車線（又は、クラスタ）の結果値を示す。図９において、陰影表示が濃いほど所定のピクセルが車線の終了点に近いことを示す。

【0101】

一実施形態において、車線ポリライン生成装置は、鳥瞰図特徴に含まれる複数のピクセルの中から前景に該当する前景ピクセルを抽出することができる。また、車線ポリライン生成装置は、所定の道路に含まれる車線に対する前記前景ピクセルのそれぞれの順序を用いる順序損失を設定し、順序損失を用いてニューラルネットワークモデルを学習させることができる。

【0102】

さらに、車線ポリライン生成装置は、順序損失を設定するために、前景ピクセルのそれぞれが含まれるクラスタを識別し、識別されたクラスタに対応する車線に対して、前景ピクセルの順序（ｏｒｄｅｒ）値を決定することができる。車線ポリライン生成装置は、前景ピクセルのそれぞれの順序値を用いることにより、順序損失を設定することができる。

【0103】

また、車線ポリライン生成装置は、順序値を決定するために、車線の開始点に近い前景ピクセルであるほど第１値に近い値を有し、車線の終了点に近い前景ピクセルであるほど第２値に近い値を有するように、前景ピクセルの順序値を決定することができる。

【0104】

車線ポリライン生成装置は、ｓｍｏｏｔｈ Ｌ１アルゴリズムを用いて前記順序損失を設定することができるが、用いられるアルゴリズムはそれに限定されるものではない。

【0105】

ニューラルネットワークモデルは、下記数式７による順序損失Ｌоｒｄ（・）の値が最小になるように学習されてもよい。数式７において、ｄｎは、ｎ番目のピクセルの順序値を意味し、０から１の間の値を有する。ｄ^ｎは、グラウンドトゥルース値を意味する。

【数7】

【0106】

一方、ｓｍｏｏｔｈ Ｌ１アルゴリズムは、数式８で表すことができる。

【数8】

【0107】

車線ポリライン生成装置は、埋め込みオフセット損失、シード確率損失及び順序損失のうち少なくともいずれか１つが最小になるように、ニューラルネットワークモデルを学習させることができる。

【0108】

一実施形態において、車線ポリライン生成装置は、下記数式９による最終の損失が最小になるように、ニューラルネットワークモデルを学習させることができる。数式９において、α，β，γは、各項の重要度に応じて異なるように設定されてもよい。

【数9】

【0109】

図１０は一実施形態によるニューラルネットワークモデルを用いて車線ポリラインを生成する方法を説明するためのフローチャートである。

【0110】

図１０を参照すると、ステップ１０１０において、車線ポリライン生成装置は、車両に搭載された少なくとも１つのセンサから取得された所定の道路の基本画像を取得することができる。

【0111】

ステップ１０２０において、車線ポリライン生成装置は、基本画像を用いて多重スケール画像特徴を抽出することができる。

【0112】

ステップ１０３０において、車線ポリライン生成装置は、抽出された多重スケール画像特徴のビュー変換を行い、鳥瞰図特徴を生成することができる。

【0113】

ステップ１０４０において、車線ポリライン生成装置は、鳥瞰図特徴をニューラルネットワークモデルに対する入力データとして用い、所定の道路の車線ポリラインを出力データとして用いることにより、ニューラルネットワークモデルを学習させることができる。

【0114】

一実施形態において、車線ポリライン生成装置は、鳥瞰図特徴に含まれる複数のピクセルの中から前景に該当する前景ピクセルを抽出し、所定の道路に含まれる複数の車線のそれぞれに対応する複数のクラスタに対して、前景ピクセルのそれぞれが複数のクラスタの中で所定のクラスタに該当する確率を算出し、算出された確率を用いる埋め込みオフセット損失を設定し、埋め込みオフセット損失を用いてニューラルネットワークモデルを学習させることができる。

【0115】

また、車線ポリライン生成装置は、確率を算出するために、複数のクラスタのそれぞれの重心点及びクラスタを形成するための固定マージンを設定することができる。車線ポリライン生成装置は、重心点及び固定マージンを用いて、前景ピクセルのそれぞれが複数のクラスタの中で所定のクラスタに該当する確率を算出することができる。

【0116】

また、車線ポリライン生成装置は、確率を算出するために、クラスタリング閾値確率値を設定することができる。車線ポリライン生成装置は、重心点、固定マージン及びクラスタリング閾値確率値を用いて、前景ピクセルのそれぞれが複数のクラスタの中で所定のクラスタに該当する確率を算出することができる。

【0117】

一実施形態において、車線ポリライン生成装置は、鳥瞰図特徴に含まれる複数のピクセルのそれぞれが前景及び後景のうちいずれのカテゴリーに該当するかに基づいてシード確率損失を設定し、シード確率損失を用いてニューラルネットワークモデルを学習させることができる。

【0118】

また、車線ポリライン生成装置は、シード確率損失を設定するために、複数のピクセルのうち、前景に該当する前景ピクセルに対しては第１数式を適用し、後景に該当する後景ピクセルに対しては第２数式を適用することにより、第１数式及び第２数式で構成されたシード確率損失を設定することができる。

【0119】

さらに、車線ポリライン生成装置は、所定の道路に含まれる複数の車線のそれぞれに対応する複数のクラスタに対して、前景ピクセルのそれぞれが複数のクラスタの中で所定のクラスタに該当する確率を算出することができる。車線ポリライン生成装置は、前景ピクセルのピクセル値及び算出された確率に基づいて第１数式を設定することができる。

【0120】

また、車線ポリライン生成装置は、後景ピクセルのピクセル値に基づいて第２数式を設定することができる。

【0121】

さらに、車線ポリライン生成装置は、前景ピクセルのピクセル値及び後景ピクセルのピクセル値間の不均衡を補正するために、スケーリング因子をさらに適用して第１数式を設定することができる。

【0122】

一実施形態において、車線ポリライン生成装置は、鳥瞰図特徴に含まれる複数のピクセルの中から前景に該当する前景ピクセルを抽出し、所定の道路に含まれる車線に対する前景ピクセルのそれぞれの順序を用いる順序損失を設定し、順序損失を用いてニューラルネットワークモデルを学習させることができる。

【0123】

また、車線ポリライン生成装置は、前景ピクセルのそれぞれが含まれるクラスタを識別し、識別されたクラスタに対応する車線に対して前景ピクセルの順序値を決定することができる。車線ポリライン生成装置は、前景ピクセルのそれぞれの順序値を用いる順序損失を設定することができる。

【0124】

また、車線ポリライン生成装置は、車線の開始点に近い前景ピクセルであるほど第１値に近い値を有し、車線の終了点に近い前景ピクセルであるほど第２値に近い値を有するように、前景ピクセルの順序値を決定することができる。

【0125】

一実施形態において、車線ポリライン生成装置は、埋め込みオフセット損失、シード確率損失及び順序損失のうち少なくともいずれか１つが最小になるように、ニューラルネットワークモデルを学習させることができる。

【0126】

図１１は一実施形態による車線ポリライン生成装置のブロック図である。

【0127】

図１１を参照すると、車線ポリライン生成装置１１００は、通信部１１１０、プロセッサ１１２０及びＤＢ１１３０を含んでもよい。図１１の車線ポリライン生成装置１１００には、実施形態に関連する構成要素のみ示されている。よって、図１１に示す構成要素に加えて他の汎用の構成要素をさらに含んでもよいことは、当該技術分野における通常の知識を有する者であれば理解するであろう。

【0128】

通信部１１１０は、外部サーバ又は外部装置との有線／無線通信を可能にする１つ以上の構成要素を含んでもよい。例えば、通信部１１１０は、近距離通信部（図示せず）、移動通信部（図示せず）及び放送受信部（図示せず）の少なくとも１つを含んでもよい。

【0129】

ＤＢ１１３０は、車線ポリライン生成装置１１００内で処理される各種データを保存するハードウェアであって、プロセッサ１１２０の処理及び制御のためのプログラムを保存することができる。

【0130】

ＤＢ１１３０は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などのＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、ブルーレイ又は他の光ディスクストレージ、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、又はフラッシュメモリを含む。

【0131】

プロセッサ１１２０は、車線ポリライン生成装置１１００の全般的な動作を制御する。例えば、プロセッサ１１２０は、ＤＢ１１３０に保存されたプログラムを実行することにより、入力部（図示せず）、ディスプレイ（図示せず）、通信部１１１０、ＤＢ１１３０などを全般的に制御することができる。プロセッサ１１２０は、ＤＢ１１３０に保存されたプログラムを実行することにより、車線ポリライン生成装置１１００の動作を制御することができる。

【0132】

プロセッサ１１２０は、図１～図１０において上述した車線ポリライン生成装置１１００の動作の少なくとも一部を制御することができる。車線ポリライン生成装置１１００及び自律走行装置４０は、同じ装置であってもよく、各装置で行われる少なくとも一部の動作が同じであってもよい。

【0133】

プロセッサ１１２０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能の実行のための電気ユニットの少なくとも１つを用いて実現することができる。

【0134】

一実施形態において、車線ポリライン生成装置１１００は、移動性を有する電子デバイスであってもよい。例えば、車線ポリライン生成装置１１００は、スマートフォン、タブレットＰＣ、ＰＣ、スマートテレビ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ラップトップ、メディアプレーヤ、ナビゲーション、カメラ付きデバイス、及びその他のモバイル電子デバイスで実現することができる。また、車線ポリライン生成装置１１００は、通信機能及びデータ処理機能を備えた時計、メガネ、ヘッドバンド、指輪などのウェアラブルデバイスで実現することができる。

【0135】

他の実施形態において、車線ポリライン生成装置１１００は、車両に組み込まれる電子デバイスであってもよい。例えば、車線ポリライン生成装置１１００は、製造過程後にチューニング（ｔｕｎｉｎｇ）により車両に挿入される電子デバイスであってもよい。

【0136】

さらに他の実施形態において、車線ポリライン生成装置１１００は、車両の外部に位置するサーバであってもよい。サーバは、ネットワークを介して通信を行って命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置又は複数のコンピュータ装置で実現することができる。サーバは、車両に搭載された装置から車線ポリラインを生成するために必要なデータを受信し、受信したデータに基づいて車両の移動経路を決定することができる。

【0137】

さらに他の実施形態において、車線ポリライン生成装置１１００で実行されるプロセスは、移動性を有する電子デバイス、車両に組み込まれる電子デバイス、及び車両の外部に位置するサーバの少なくとも一部により実行することができる。

【0138】

本発明による実施形態は、コンピュータ上で様々な構成要素により実行できるコンピュータプログラムの形態で実現することができ、このようなコンピュータプログラムは、コンピュータで読み取り可能な媒体に記録することができる。ここで、媒体には、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤなどの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの光磁気記録媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を記憶して実行するように特別に構成されたハードウェア装置が含まれる。

【0139】

一方、前記コンピュータプログラムは、本発明のために特別に設計及び構成されたものであってもよく、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。コンピュータプログラムの例には、コンパイラにより生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータにより実行される高級言語コードも含まれる。

【0140】

一実施形態によれば、本開示の様々な実施形態による方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含めて提供することができる。コンピュータプログラム製品は、商品として販売者と購入者との間で取引されるようにすることができる。コンピュータプログラム製品は、機器で読み取り可能な記憶媒体（例えば、ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ））の形態で配布するか、又はアプリケーションストア（例えば、プレイストア^ＴＭ）を介して、もしくは２つのユーザ装置間で直接、オンラインで配布（例えば、ダウンロード又はアップロード）することができる。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部は、メーカーのサーバ、アプリケーションストアのサーバ、又は中継サーバのメモリなどの機器で読み取り可能な記憶媒体に少なくとも一時的に記憶されるか、一時的に生成されるようにすることができる。

【0141】

本発明による方法を構成するステップに関して、明白な順序の記載又はそれに反する記載がなければ、上記ステップは適切な順序で行うことができる。本発明は、必ずしも上記ステップの記載順序に限定されるものではない。本発明における全ての例又は例示的な用語（例えば、など）の使用は、単に本発明を詳細に説明するためのものであり、特許請求の範囲により限定されない限り、上記例又は例示的な用語により本発明の範囲が限定されるわけではない。また、当業者は、様々な修正、組み合わせ及び変更が加えられた特許請求の範囲又はその均等物の範疇内で設計条件及び要因に応じて構成できることを理解するであろう。

【0142】

よって、本発明の思想は、上述した実施形態に限定されて定められてはならず、添付の特許請求の範囲だけでなく、その特許請求の範囲と均等な又はそれから等価的に変更された全ての範囲は、本発明の思想の範疇に属するといえる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7a】

【図7b】

【図8a】

【図8b】

【図8c】

【図9】

【図10】

【図11】

【国際調査報告】