特許 7611322 ニューラルネットワークモデルを用いて車線ポリラインを生成する装置、方法及びコンピュータ読み取り可能な記録媒体｛ＡＰＰＡＲＡＴＵＳ，ＭＥＴＨＯＤ ＡＮＤ ＣＯＭＰＵＴＥＲ－ＲＥＡＤＡＢＬＥ ＳＴＯＲＡＧＥ ＭＥＤＩＵＭ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ Ａ ＬＡＮＥ ＰＯＬＹＬＩＮＥ ＵＳＩＮＧ Ａ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ ＭＯＤＥＬ｝

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-25

(45)【発行日】2025-01-09

(54)【発明の名称】ニューラルネットワークモデルを用いて車線ポリラインを生成する装置、方法及びコンピュータ読み取り可能な記録媒体｛ＡＰＰＡＲＡＴＵＳ，ＭＥＴＨＯＤ ＡＮＤ ＣＯＭＰＵＴＥＲ－ＲＥＡＤＡＢＬＥ ＳＴＯＲＡＧＥ ＭＥＤＩＵＭ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ Ａ ＬＡＮＥ ＰＯＬＹＬＩＮＥ ＵＳＩＮＧ Ａ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ ＭＯＤＥＬ｝

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241226BHJP

   G06V 10/82 20220101ALI20241226BHJP

   G06V 20/56 20220101ALI20241226BHJP

   G08G 1/16 20060101ALI20241226BHJP

【ＦＩ】

G06T7/00 650A

G06T7/00 350C

G06V10/82

G06V20/56

G08G1/16 C

【請求項の数】 11

(21)【出願番号】P 2023141428

(22)【出願日】2023-08-31

(65)【公開番号】P2024035220

(43)【公開日】2024-03-13

【審査請求日】2023-08-31

(31)【優先権主張番号】10-2022-0109847

(32)【優先日】2022-08-31

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2023-0003419

(32)【優先日】2023-01-10

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】523045180

【氏名又は名称】４２ドット・インコーポレイテッド

【氏名又は名称原語表記】４２ｄｏｔ Ｉｎｃ．

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100227927

【弁理士】

【氏名又は名称】中村 拓

(72)【発明者】

【氏名】チョン，ソグ

(72)【発明者】

【氏名】クォン，ヒヨン

(72)【発明者】

【氏名】キム，ジョンヒ

(72)【発明者】

【氏名】チョン，ソンギュン

【審査官】菊池 伸郎

(56)【参考文献】

【文献】国際公開第２０２２／００５５７６（ＷＯ，Ａ１）

【文献】Dong-Hee PAEK et al.，K-Lane: Lidar Lane Dataset and Benchmark for Urban Roads and Highways，2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)，米国，IEEE，2022年06月，pp.4449-4458，DOI: 10.1109/CVPRW56347.2022.00491

【文献】櫻井和之 外２名，画像による自車両周辺環境認識技術，ＮＥＣ技報，日本，日本電気株式会社，2001年07月25日，第54巻，第7号，pp.39-42

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｇ０８Ｇ １／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

ニューラルネットワークモデルを用いてポリライン（ｐｏｌｙｌｉｎｅｓ）画像を生成する方法において、
車両に搭載された少なくとも１つのセンサから所定の道路の基本画像を取得するステップと、
前記基本画像を用いてマルチスケール画像特徴（ｆｅａｔｕｒｅ）を抽出するステップと、
第１ニューラルネットワークモデルに前記マルチスケール画像特徴を入力データとして入力し、前記第１ニューラルネットワークモデルの出力データとして鳥瞰図特徴（ＢＥＶ ｆｅａｔｕｒｅ）を取得するステップと、
第２ニューラルネットワークモデルに前記鳥瞰図特徴を入力データとして入力し、前記第２ニューラルネットワークモデルの出力データとして前記所定の道路のポリライン画像を取得するステップと
を含み、
前記第１ニューラルネットワークモデルは、前記マルチスケール画像特徴のピクセル座標（pixel coordinate）と前記鳥瞰図特徴のグリッド（grid）を使用して算出された変換（translation）損失を使用して学習される、方法。

【請求項2】

前記変換損失は、
前記ピクセル座標の値にルックアップテーブル関数を適用した値と前記グリッドの値との差を示す第１値と、前記ピクセル座標の値と前記グリッドの値に前記ルックアップテーブル関数の逆関数を適用した値との差を示す第２値とに基づいて決定される、請求項１に記載の方法。

【請求項3】

前記方法は、
第３ニューラルネットワークモデルに前記鳥瞰図特徴を入力データとして入力し、前記第３ニューラルネットワークモデルの出力データとして前記鳥瞰図特徴のグリッド別の高さ値を取得するステップと、
前記所定の道路のポリライン画像と前記グリッド別の前記高さ値に基づいて、前記所定の道路を走行している車両を制御するための制御信号を生成するステップと
を含む、請求項１に記載の方法。

【請求項4】

前記第３ニューラルネットワークモデルは、
車線マーカーを用いて前記鳥瞰図特徴のグリッドにｚ値を補間して取得された偽実測マップ（ｐｓｅｕｄｏ ｇｒｏｕｎｄ ｔｒｕｔｈ ｍａｐ）の高さ値に基づいて決定される高さ損失を使用して学習される、請求項３に記載の方法。

【請求項5】

前記第２ニューラルネットワークモデルは埋め込みオフセット損失（ｅｍｂｅｄｄｉｎｇ ｏｆｆｓｅｔ ｌｏｓｓ）を用いて学習され、
前記埋め込みオフセット損失は、
前記所定の道路に含まれる複数の車線のそれぞれに対応する複数のクラスタについて、前景ピクセルのそれぞれが前記複数のクラスタのうちの所定のクラスタに該当する確率に基づいて決定される、請求項１に記載の方法。

【請求項6】

前記第２ニューラルネットワークモデルは、シード確率損失（ｓｅｅｄ ｐｒｏｂａｂｉｌｉｔｙ ｌｏｓｓ）を用いて学習され、
前記シード確率損失は、
前記鳥瞰図特徴に含まれる複数のピクセルのうち、前景に含まれるピクセルには第１数式による演算を適用し、後景に含まれるピクセルには第２数式による演算を適用することによって決定され、
前記第１数式は前記前景に含まれるピクセルのピクセル値と前記前景に含まれるピクセルが複数のクラスタのうちの所定のクラスタに該当する確率に基づいて設定され、
前記第２数式は前記後景に含まれるピクセルのピクセル値に基づいて設定される、請求項１に記載の方法。

【請求項7】

前記第２ニューラルネットワークモデルは、順序損失（ｏｒｄｅｒ ｌｏｓｓ）を用いて学習され、
前記順序損失は、
前記鳥瞰図特徴に含まれる複数のピクセルのうち、前景ピクセルのそれぞれが含まれるクラスタに対応する車線に対して、前記前景ピクセルの順序（ｏｒｄｅｒ）値を用いて決定され、
前記順序値は、前記前景ピクセルが車線の二つの端点のうち、前記車両と近いところに位置する点と近接するほど０に近くなり、前記前景ピクセルが前記二つの端点のうち、前記車両と遠いところに位置する点と近接するほど１に近づく、請求項１に記載の方法。

【請求項8】

前記方法は、
前記所定の道路のポリライン画像に基づいて、前記所定の道路を走行している車両を制御するための制御信号を生成するステップ
をさらに含む、請求項１に記載の方法。

【請求項9】

ポリライン画像を生成するニューラルネットワーク装置において、
少なくとも１つのプログラムが記憶されたメモリと、
前記少なくとも１つのプログラムを実行することによってニューラルネットワークを駆動するプロセッサとを含み、
前記プロセッサは、
車両に搭載された少なくとも１つのセンサから所定の道路の基本画像を取得し、
前記基本画像を用いてマルチスケール画像特徴を抽出し、
第１ニューラルネットワークモデルに前記マルチスケール画像特徴を入力データとして入力し、前記第１ニューラルネットワークモデルの出力データとして鳥瞰図特徴（ＢＥＶ ｆｅａｔｕｒｅ）を取得し、
第２ニューラルネットワークモデルに前記鳥瞰図特徴を入力データとして入力し、前記第２ニューラルネットワークモデルの出力データとして前記所定の道路のポリライン画像を取得し、前記第１ニューラルネットワークモデルは、前記マルチスケール画像特徴のピクセル座標と前記鳥瞰図特徴のグリッドを使用して算出された変換損失を使用して学習される、ニューラルネットワーク装置。

【請求項10】

請求項１に記載の方法をコンピュータで実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項11】

ニューラルネットワークモデルを用いて車線ポリライン（ｌａｎｅ ｐｏｌｙｌｉｎｅ）を生成する方法において、
車両に搭載された少なくとも１つのセンサから所定の道路の基本画像を取得するステップと、
前記基本画像をニューラルネットワークモデルの入力データとして入力するステップと、
前記ニューラルネットワークモデルを駆動して前記基本画像から鳥瞰図特徴を生成し、前記生成された鳥瞰図特徴に基づいて車線ポリラインを出力データとして取得するステップとを含み、
前記ニューラルネットワークモデルは、前記基本画像からマルチスケール画像特徴を生成し、前記マルチスケール画像特徴から前記鳥瞰図特徴を生成し、
前記ニューラルネットワークモデルは、前記マルチスケール画像特徴のピクセル座標と前記鳥瞰図特徴のグリッドを使用して算出された変換損失を使用して学習される、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ニューラルネットワークモデルを用いて車線ポリラインを生成する装置及び方法に関する。

【背景技術】

【0002】

情報通信技術と車両産業の融合により急速に車両のスマート化が進んでいる。スマート化により、車両は単純な機械的装置からスマートカーに進化しており、特にスマートカーの核心技術として自動運転が注目されている。自動運転とは、運転者がハンドルやアクセルペダル、ブレーキなどを操作しなくても車両が自ら目的地まで行く技術である。

【0003】

近年、技術の発展により、車線逸脱警告システムや車線維持などの安全運転補助システム、車両自動制御システムなどが開発され、実用化が急速に進んでいる。特に、走行車線の検出は、自動運転車両における主要課題を解決する核心技術の一つであり、国際的な関心の中で多くの研究が活発に行われている。

【0004】

走行車線の検出は安全運転に大きな影響を及ぼすため、車線の位置を推定して判断するために様々なセンサを活用して正確な走行車線を検出している。例えば、イメージセンサ、レーダー（ＲＡＤＡＲ）またはライダー（ＬＩＤＡＲ）センサなど様々なセンサが、車線の検出や車両前方の物体認識のために単独または融合した形態で自動運転車両制御システムの具現に使われている。

【0005】

前述した背景技術は、発明者が本発明の導出のために保有していたり、本発明の導出過程で習得した技術情報であり、必ずしも本発明の出願前に一般公衆に公開された公知技術とは限らない。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、ニューラルネットワークモデルを用いて車線ポリラインを生成する装置及び方法を提供する。本発明が解決しようとする課題は、以上で述べた課題に限定されず、言及されていない本発明の他の課題及び利点は、下記の説明によって理解されることができ、本発明の実施形態でより明確に理解されるであろう。さらに、本発明が解決しようとする課題及び利点は、特許請求の範囲に示された手段及びその組み合わせで実現できることが分かるであろう。

【課題を解決するための手段】

【0007】

上述した技術的課題を達成するための技術的手段として、本開示の第１側面は、ニューラルネットワークモデルを用いてポリライン（ｐｏｌｙｌｉｎｅｓ）画像を生成する方法において、車両に搭載された少なくとも１つのセンサから所定の道路の基本画像を取得し、基本画像を用いてマルチスケール画像特徴（ｆｅａｔｕｒｅ）を抽出するステップと、第１ニューラルネットワークモデルに前記マルチスケール特徴を入力データとして入力し、前記第１ニューラルネットワークモデルの出力データとして鳥瞰図特徴（ＢＥＶ ｆｅａｔｕｒｅ）を取得するステップと、第２ニューラルネットワークモデルに前記鳥瞰図特徴を入力データとして入力し、前記第２ニューラルネットワークモデルの出力データとして前記所定の道路のポリライン画像を取得するステップとを含む、方法を提供することができる。

【0008】

本開示の第２側面は、ニューラルネットワークモデルを用いて車線ポリラインを生成する装置において、少なくとも１つのプログラムが記憶されたメモリと、前記少なくとも１つのプログラムを実行することによってニューラルネットワークを駆動するプロセッサとを含み、前記プロセッサは、車両に搭載された少なくとも１つのセンサから所定の道路の基本画像を取得し、前記基本画像を用いてマルチスケール画像特徴を抽出し、第１ニューラルネットワークモデルに前記マルチスケール特徴を入力データとして入力し、第１ニューラルネットワークモデルの出力データとして鳥瞰図特徴（ＢＥＶ特徴）を取得し、第２ニューラルネットワークモデルに前記鳥瞰図特徴を入力データとして入力し、前記第２ニューラルネットワークモデルの出力データとして前記所定の道路のポリライン画像を取得する、ニューラルネットワーク装置を提供することができる。
本開示の第３側面は、第１側面による方法をコンピュータで実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。

【0009】

その他にも、本発明を実装するための他の方法、他のシステム及び前記方法を実行するためのコンピュータプログラムが記憶されたコンピュータ読み取り可能な記録媒体がさらに提供されることができる。

【0010】

前述したもの以外の他の側面、特徴、利点が、以下の図面、特許請求の範囲及び発明の詳細な説明から明確になるであろう。

【発明の効果】

【0011】

前述した本開示の課題解決手段によれば、本開示では、ニューラルネットワークモデルのｅｎｄ－ｔｏ－ｅｎｄ学習を通じて鳥瞰図特徴から所定の道路の車線ポリラインを高精度で取得することができる。
また、本開示では、ニューラルネットワークモデルから取得された車線ポリラインに対して別途の処理過程を経ずに車両制御に活用することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、一実施形態に係る自動運転方式を説明するための図である。

【図2】図２は、一実施形態に係る自動運転方式を説明するための図である。

【図3】図３は、一実施形態に係る自動運転方式を説明するための図である。

【図4】図４は、一実施形態に係る画像エンコーディング及びビュー変換を実行する方法を説明するための例示的な図である。

【図5a】図５ａは、一実施形態に係る鳥瞰図特徴を生成する方法を説明するための例示的な図である。

【図5b】図５ｂは、一実施形態に係る第１ニューラルネットワークモデルの学習過程を説明するための例示的な図である。

【図6a】図６ａは、一実施形態に係るニューラルネットワークモデルの動作方法を説明するための例示的な図である。

【図6b】図６ｂは、一実施形態に係る第２ニューラルネットワークモデル及び第３ニューラルネットワークモデルの学習過程を説明するための例示的な図である。

【図7a】図７ａは、一実施形態に係るシード確率損失を説明するための例示的な図である。

【図7b】図７ｂは、一実施形態に係るシード確率損失を説明するための例示的な図である。

【図8a】図８ａは、埋め込みオフセット損失を説明するための例示的な図である。

【図8b】図８ｂは、埋め込みオフセット損失を説明するための例示的な図である。

【図8c】図８ｃは、埋め込みオフセット損失を説明するための例示的な図である。

【図9】図９は、一実施形態に係る順序損失を説明するための例示的な図である。

【図10】図１０は、一実施形態に係るニューラルネットワークモデルを用いて車線ポリラインを生成することを説明するためのフローチャートである。

【図11】図１１は、一実施形態に係る車線ポリライン生成装置のブロック図である。

【発明を実施するための形態】

【0013】

本発明の利点及び特徴、並びにそれらを達成する方法は、添付の図面と共に詳細に説明される実施形態を参照すれば明確になるであろう。しかしながら、本発明は、以下に提示される実施形態に限定されるものではなく、互いに異なる様々な形態で実装されることができ、本発明の思想及び技術範囲に含まれる全ての変換、均等物から代替物を含むものと理解されるべきである。以下に提示される実施形態は、本発明の開示を完全にし、本発明が属する技術分野において通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものである。本発明を説明することにおいて、関連する公知技術に対する具体的な説明が本発明の要旨を阻害する可能性があると判断される場合、その詳細な説明を省略する。

【0014】

本出願で使用される用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図ではない。単数の表現は、文脈上明らかに別段の意味を持たない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は、本明細書に記載の特徴、数字、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものが存在することを指定するものであり、１つまたは複数の他の特徴や数字、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものの存在または追加の可能性を予め排除しないことと理解されるべきである。

【0015】

本開示の一部の実施形態は、機能的なブロック構成及び様々な処理ステップで表現されることができる。そのような機能ブロックの一部または全部は、特定の機能を実行する様々な数のハードウェア及び／またはソフトウェア構成で具現されることができる。 例えば、本開示の機能ブロックは、１つ以上のマイクロプロセッサによって具現されるか、所定の機能のための回路構成によって具現されることができる。さらに、例えば、本開示の機能ブロックは、様々なプログラミングまたはスクリプト言語で具現_{されることができる}。機能ブロックは、１つ以上のプロセッサで実行されるアルゴリズムで具現されることができる。 さらに、本開示は、電子的な環境設定、信号処理及び／またはデータ処理などのために従来技術を採用することができる。「メカニズム」、「要素」、「手段」及び「構成」などの用語は広く使用されることができ、機械的及び物理的構成に限定されない。

【0016】

さらに、図面に示された構成要素間の接続線または接続部材は、機能的接続及び／または物理的または回路的接続を例示的に示したものにすぎない。実際の装置では、代替可能または追加された様々な機能的接続、物理的接続、または回路接続によって構成要素間の接続が示されることができる。

【0017】

以下において、「車両」とは、自動車、バス、オートバイ、キックボードまたはトラックなどのように機関を有して人または物を移動させるために用いられるあらゆる種類の輸送手段を意味することができる。

【0018】

以下、添付の図面を参照して本開示を詳細に説明する。

【0019】

図１～図３は、一実施形態に係る自動運転方式を説明するための図である。

【0020】

図１を参照すると、本発明の一実施形態に係る自動運転装置は、車両に取り付けられて自動運転車両１０を具現することができる。自動運転車両１０に取り付けられる自動運転装置は、周辺の状況情報を収集するための様々なセンサを含むことができる。一例として、自動運転装置は、自動運転車両１０の前面に取り付けられたイメージセンサ及び／またはイベントセンサを介して、前方で走行中の先行車両２０の動きを感知することができる。自動運転装置は、自動運転車両１０の前面はもちろん、となり車線で走行中の他の走行車両３０と、自動運転車両１０周辺の歩行者等を感知するためのセンサとをさらに含むことができる。

【0021】

自動運転車両周辺の状況情報を収集するためのセンサのうち少なくとも１つは、図１に示すように、所定の視野ＦｏＶを有することができる。一例として、自動運転車両１０の前面に取り付けられたセンサが図１に示すような視野ＦｏＶを有する場合、センサの中央から検出される情報が比較的高い重要度を有することができる。これは、センサの中央から検出される情報に、先行車両２０の動きに対応する情報がほとんど含まれているためである可能性がある。

【0022】

自動運転装置は、自動運転車両１０のセンサが収集した情報をリアルタイムで処理して自動運転車両１０の動きを制御する一方、センサが収集した情報のうち少なくとも一部はメモリ装置に記憶されることができる。

【0023】

図２を参照すると、自動運転装置４０は、センサ部４１、プロセッサ４６、メモリシステム４７、車体制御モジュール４８などを含むことができる。センサ部４１は、複数のセンサ４２～４５を含み、複数のセンサ４２～４５は、イメージセンサ、イベントセンサ、照度センサ、ＧＰＳ装置及び加速度センサなどを含むことができる。

【0024】

センサ４２～４５が収集したデータはプロセッサ４６に送信されることができる。プロセッサ４６は、センサ４２～４５が収集したデータをメモリシステム４７に記憶し、センサ４２～４５が収集したデータに基づいて車体制御モジュール４８を制御して車両の動きを決めることができる。メモリシステム４７は、２つ以上のメモリ装置と、メモリ装置を制御するためのシステムコントローラとを含むことができる。メモリ装置のそれぞれは１つの半導体チップで提供されることができる。

【0025】

メモリシステム４７のシステムコントローラの他に、メモリシステム４７に含まれる各メモリ装置はメモリコントローラを含むことができ、メモリコントローラはニューラルネットワークなどの人工知能（ＡＩ）演算回路を含むことができる。メモリコントローラは、センサ４２～４５またはプロセッサ４６から受信したデータに所定の重みを付与して演算データを生成し、演算データをメモリチップに記憶させることができる。

【0026】

図３を参照すると、映像データ５０は自動運転車両の前面に取り付けられたセンサが取得したデータであることができる。したがって、映像データ５０は、自動運転車両の前面部５１、自動運転車両と同じ車線の先行車両５２、自動運転車両周辺の走行車両５３、背景５４及び車線５５、５６などを含むことができる。

【0027】

図３に示す実施形態に係る映像データ５０において、自動運転車両の前面部５１と背景５４が表れる領域のデータは、自動運転車両の走行に影響を及ぼす可能性が低いデータである可能性がある。言い換えれば、自動運転車両の前面部５１と背景５４は、比較的重要度の低いデータと見なすことができる。

【0028】

一方、先行車両５２との距離及び走行車両５３の車線変更の動きなどは、自動運転車両の安全な走行において非常に重要な要素であることができる。したがって、映像データ５０において先行車両５２及び走行車両５３などが含まれる領域のデータは、自動運転車両の走行において比較的高い重要度を有することができる。

【0029】

自動運転装置のメモリ装置は、センサから受信した映像データ５０の領域別に重みを異なるように付与して記憶することができる。一例として、先行車両５２と走行車両５３などが含まれる領域のデータには高い重みを付与し、自動運転車両の前面部５１と背景５４が表れる領域のデータには低い重みを付与することができる。

【0030】

また、自動運転装置は、現在車両が走行中の道路に含まれた車線５５、５６を検出することができる。例えば、自動運転装置は、映像処理を通じて映像データ５０において車線に該当する確率の高い車線ピクセルを検出し、検出した車線ピクセルを特定の車線モデルにフィッティング（ｆｉｔｔｉｎｇ）して前方の車線配置状況を決定することができる。

【0031】

一実施形態において、自動運転装置は、ニューラルネットワークモデルを用いて映像データ５０で車線ピクセルを検出することができる。ニューラルネットワークモデルは、映像データ５０において車線に対応する車線ピクセルを検出するように学習（ｔｒａｉｎｉｎｇ）されたモデルである。ニューラルネットワークモデルには映像データ５０が入力され、ニューラルネットワークモデルは、映像データ５０に含まれた各映像ピクセルが車線５５、５６に該当する確率を示す確率情報を出力することができる。自動運転装置は、ピクセルごとの確率情報に基づいて車線ピクセルを決定することができる。例えば、自動運転装置は、映像データ５０の映像ピクセルのうちニューラルネットワークモデルによって決定された確率値が閾値より大きい映像ピクセルを車線ピクセルとして決定することができる。

【0032】

図４は、一実施形態に係る画像エンコーディング及びビュー変換を実行する方法を説明するための例示的な図である。

【0033】

図４を参照すると、車線ポリライン生成装置は、画像エンコーダ（ｉｍａｇｅ ｅｎｃｏｄｅｒ）４１０及びビュー変換器（ｖｉｅｗ ｔｒａｎｓｆｏｒｍｅｒ）４２０を含むことができる。

【0034】

画像エンコーダ４１０は、基本画像４１１を入力データとして利用することができる。基本画像４１１は、車両に搭載された少なくとも１つのセンサから取得された車両が走行している道路の画像であることができる。例えば、車両に搭載された少なくとも１つのセンサは、図２で説明したセンサ部４１で具現されることができる。

【0035】

画像エンコーダ４１０は、基本画像４１１を特徴ピラミッドネットワーク（ｆｅａｔｕｒｅ ｐｙｒａｍｉｄ ｎｅｔｗｏｒｋ）に適用してマルチスケール（ｍｕｌｔｉ－ｓｃａｌｅ）画像特徴４２１を抽出することができる。

【0036】

特徴ピラミッドネットワークは、ｂｏｔｔｏｍ－ｕｐ過程４１２及びｔｏｐ－ｄｏｗｎ過程４１３で構成することができる。ｂｏｔｔｏｍ－ｕｐ過程４１２は、ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を用いて基本画像４１１の解像度を１／２ずつ下げて複数の第１特徴マップを生成するフォワーディング（ｆｏｒｗａｒｄｉｎｇ）過程であることができる。例えば、ｂｏｔｔｏｍ－ｕｐ過程４１２では、ＲｅｓＮｅｔ５０が使用され、基本画像４１１と比較して、１／８、１／１６、１／３２及び１／６４の大きさの第１特徴マップを生成することができる。

【0037】

ｔｏｐ－ｄｏｗｎ過程４１３は、ｂｏｔｔｏｍ－ｕｐ過程４１２で生成された最終第１特徴マップ４１４を２倍ずつアップ－サンプリング（ｕｐ－ｓａｍｐｌｉｎｇ）して複数の第２特徴マップを生成し、複数の第２特徴マップと複数の第１特徴マップとを結合してマルチスケール画像特徴４２１を抽出する過程であることができる。

【0038】

ビュー変換器４２０は、画像エンコーダ４１０から抽出されたマルチスケール画像特徴４２１に対するビュー変換を実行し、鳥瞰図特徴（ＢＥＶ ｆｅａｔｕｒｅ）４２２を生成することができる。鳥瞰図特徴４２２を生成する方法については、図５で後述する。

【0039】

図５ａは、一実施形態に係る鳥瞰図特徴を生成する方法を説明するための例示的な図である。

【0040】

図５ａを参照すると、車線ポリライン生成装置に含まれたビュー変換器５００が示される。ビュー変換器５００は画像特徴５１０を入力され、所定のステップを経て鳥瞰図特徴５２０を生成することができる。

【0041】

具体的には、ビュー変換器５００は、第１ステップ５３１で画像特徴５１０の高さ（ｈｅｉｇｈｔ）次元で崩壊（ｃｏｌｌａｐｓｅ）させ、第２ステップ５３２で画像特徴５１０を含むマルチスケール画像特徴を深さ（ｄｅｐｔｈ）次元にストレッチさせ、第３ステップ５３３でカメラパラメータを用いてリサンプリング（ｒｅｓａｍｐｌｉｎｇ）することによって、鳥瞰図特徴５２０を生成することができる。

【0042】

一方、車線ポリライン生成装置は、鳥瞰図特徴５２０ｆＢＥＶｃにホモグラフィ変換（ｈｏｍｏｇｒａｐｈｙ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）Ｈｃを適用して正規座標（ｃａｎｏｎｉｃａｌ ｃｏｏｒｄｉｎａｔｅ）にリマップ（ｒｅｍａｐ）することができる。具体的には、車線ポリライン生成装置は、数式１に従って鳥瞰図特徴５２０ｆ_ＢＥＶｃにホモグラフィ変換を適用することができる。数式１では、Ｉは基本画像、Ｆ（・）は画像エンコーダ関数、Ｔ（・）はビュー変換器、Ｋは所定の道路を撮影するカメラ関連パラメータ（例えば、焦点距離、カメラ主点など）、Ｒは車両座標系－カメラ座標系間の回転変換、ｔは車両座標系－カメラ座標系間の移動変換を意味する。また、ｚ＝０というのは、数式１による結果値である変換された鳥瞰図特徴ｆ_ＢＥＶがＸＹ平面上の値であることを意味する。

【0043】

（数式１）

【数1】

【0044】

車線ポリライン生成装置は、変換された鳥瞰図特徴ｆ_ＢＥＶをニューラルネットワークモデルの入力データとして用い、所定の道路の車線ポリラインを出力データとして用いることにより、ニューラルネットワークモデルを学習させることができる。ニューラルネットワークモデルの学習方法については、図６ａ～図６ｂで後述する。

【0045】

図５ｂは、一実施形態に係る第１ニューラルネットワークモデルの学習過程を説明するための例示的な図である。

【0046】

図５ｂの第１ビュー変換器５４１ａは、図５ａのビュー変換器５００に対応されることができる。第１ビュー変換器５４１ａは、画像特徴ｆ５４２ａを入力され、図５ａで上述した方法に従って鳥瞰図特徴ｆ_ＢＥＶ５４３ａを生成することができる。

【0047】

一方、ビュー変換過程で不完全な幾何変換（ｉｍｐｅｒｆｅｃｔ ｇｅｏｍｅｔｒｙ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）と情報損失が発生する可能性がある。本開示では、これを改善するために、すなわち、不完全な幾何変換をカバー（ｃｏｖｅｒ）し、情報損失を最小限に抑えるために、第１ニューラルネットワークモデル５４０を用いることができる。

【0048】

第１ニューラルネットワークモデル５４０は、ビュー変更にかかわらず一貫性を維持する変換損失Ｌ_{ｔｒａｎｓ}（ｔｒａｎｓｌａｔｉｏｎ ｌｏｓｓ）を用いて学習されることができる。すなわち、３Ｄ車線アノテーション及びカメラポーズ媒介変数が知られている状況において、本開示では、第１ニューラルネットワークモデル５４０を用いて車線に関連する画像特徴及び鳥瞰図特徴を一緒に学習することができる。

【0049】

具体的には、第１ニューラルネットワークモデル５４０は、複数の画像特徴

のピクセル座標（ｐｉｘｅｌ ｃｏｏｒｄｉｎａｔｅ）と鳥瞰図特徴

のグリッド（ｇｒｉｄ）間の双方向比較によって算出された変換損失Ｌ_{ｔｒａｎｓ}５４４を用いて学習されることができる。変換損失Ｌ_{ｔｒａｎｓ}５４４は、以下の数式２のように表すことができる。

【0050】

（数式２）

【数2】

【0051】

数式２を参照すると、ピクセル座標ｆ_ｉにルックアップテーブル関数ｈ（）を適用した値ｈ（ｆ_ｉ）とグリッド値

の差を示す第１値と、ピクセル座標値

とグリッド値ｆ_ｉＢ にルックアップテーブル逆関数ｈ－１（）を適用した値ｈ－１（ｆ_ｉＢ）の差を示す第２値に基づいて、変換損失Ｌ_{ｔｒａｎｓ}を決定することができる。

【0052】

また、変換損失Ｌ_{ｔｒａｎｓ}５４４を最小限に抑えられるように、第１ニューラルネットワークモデル５４０の第２ビュー変換器５４１ｂのパラメータを最適化する過程で、変換損失Ｌ_{ｔｒａｎｓ}５４４によって計算されたグラジエントの逆伝播が第２ニューラルネットワークモデル５５０及び第３ニューラルネットワークモデル５６０に影響を与えないようにするために、本開示では、第１ニューラルネットワークモデル５４０を第２ニューラルネットワークモデル５５０及び第３ニューラルネットワークモデル５６０と分離（ｄｅｔａｃｈ）してシステムを構成することができる。すなわち、図５ｂでは、モデル間の分離された特性を示すために画像特徴ｆ５４２ａ及び鳥瞰図特徴ｆ_ＢＥＶ５４３ａと、画像特徴

及び鳥瞰図特徴

とを異なる表記で示したが、互いに対応する特徴間の値は同じであることができる。

【0053】

一方、第２ニューラルネットワークモデル５５０及び第３ニューラルネットワークモデル５６０の説明は、図６ａ～図６ｂで後述する。

【0054】

図６ａは、一実施形態に係る第２ニューラルネットワークモデルの動作方法を説明するための例示的な図である。

【0055】

図６ａを参照すると、第２ニューラルネットワークモデル６００が示されている。車線ポリライン生成装置は、変換された鳥瞰図特徴６１０を第２ニューラルネットワークモデル６００の入力データとして入力し、第２ニューラルネットワークモデル６００の出力データとして所定の道路の車線ポリライン６４０（またはポリライン画像）を取得することができる。

【0056】

第２ニューラルネットワークモデル６００には、変換された鳥瞰図特徴６１０を入力データとして入力することができる。変換された鳥瞰図特徴６１０は、前記数式１を介して算出された結果値であることができる。変換された鳥瞰図特徴６１０に予め設定された少なくとも１つの層６２０及び損失関数６３０を適用することによって、第２ニューラルネットワークモデル６００の出力データとして車線ポリライン６４０を取得することができる。

【0057】

一実施形態において、第２ニューラルネットワークモデル６００は、以下の数式３による損失関数Ｌ（・）値が最小になるように学習されることができる。数式３においてＩは基本画像、Ｍ（・）はニューラルネットワークモデル６００、Ｋは所定の道路を撮影するカメラ関連パラメータ（例えば、焦点距離、カメラ主点など）、Ｒはカメラ座標系、ｔは車両座標系を意味する。Ｘ_ＢＥＶは、所定の道路の車線ポリラインのｇｒｏｕｎｄ ｔｒｕｔｈ値であり

は、所定の道路の車線ポリラインの第２ニューラルネットワークモデル６００を介して予測された値を意味する。

【0058】

（数式３）

【数3】

【0059】

本開示では、ホモグラフィ関数を用いることなく、第２ニューラルネットワークモデル６００のｅｎｄ－ｔｏ－ｅｎｄ学習を通じて所定の道路の車線ポリラインを取得することができる。本開示では、そのために、第２ニューラルネットワークモデル６００の学習に用いられる少なくとも１つの損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を設定することができる。損失関数の具体的な内容については以下で後述する。

【0060】

図６ｂは、一実施形態に係る第２ニューラルネットワークモデル及び第３ニューラルネットワークモデルの学習過程を説明するための例示的な図である。

【0061】

図６ｂを参照すると、車線ポリライン生成装置は、第２ニューラルネットワークモデル６6０に鳥瞰図特徴ｆ_Ｂ６5０を入力データとして入力し、第２ニューラルネットワークモデル６6０の出力データとして所定の道路のポリライン画像を取得することができる。

【0062】

このとき、第２ニューラルネットワークモデル６6０は埋め込みオフセット損失Ｌ_{ｅｍｂｅｄ}を用いて学習されることができる。オフセット損失Ｌ_{ｅｍｂｅｄ}は、所定の道路に含まれる複数の車線のそれぞれに対応する複数のクラスタについて、前景ピクセルのそれぞれが複数のクラスタのうちの所定のクラスタに該当する確率に基づいて決定されることができる。埋め込みオフセット損失Ｌ_{ｅｍｂｅｄ}については、以下の数式６の関連部分でさらに詳しく説明する。

【0063】

また、第２ニューラルネットワークモデル６6０はシード確率損失Ｌ_ｓｅｅｄを用いて学習されることができる。シード確率損失Ｌ_ｓｅｅｄは、鳥瞰図特徴ｆ_Ｂ６5０に含まれる複数のピクセルのうち、前景に含まれるピクセルには第１数式を適用し、後景に含まれるピクセルには第２数式を適用することによって決定されることができる。シード確率損失Ｌ_ｓｅｅｄについては、以下の数式５の関連部分でさらに詳しく説明する。

【0064】

また、第２ニューラルネットワークモデル６6０は順序損失Ｌ_оｒｄを用いて学習されることができる。順序損失Ｌ_оｒｄは、鳥瞰図特徴ｆ_Ｂ６5０に含まれる複数のピクセルのうち、前景ピクセルのそれぞれが含まれるクラスタに対応する車線に対して、前景ピクセルの順序を用いて決定されることができる。順序損失Ｌ_оｒｄについては、以下の数式９の関連部分でさらに詳しく説明する。

【0065】

第２ニューラルネットワークモデル６6０埋め込みオフセット損失Ｌ_{ｅｍｂｅｄ}、シード確率損失Ｌ_ｓｅｅｄ、順序損失Ｌ_оｒｄのうち少なくとも１つの損失が最小になるように学習されることができる。

【0066】

一実施形態において、車線ポリライン生成装置は、第３ニューラルネットワークモデル６7０に鳥瞰図特徴を入力データとして入力し、第３ニューラルネットワークモデル６7０の出力データとして鳥瞰図特徴のグリッドごとの高さ値を取得することができる。

【0067】

このとき、第３ニューラルネットワークモデル６7０は高さ損失Ｌ_{ｈｅｉｇｈｔ}を用いて学習されることができる。高さ損失Ｌ_{ｈｅｉｇｈｔ}は、車線マーカーを用いて鳥瞰図特徴ｆ_Ｂ６5０のグリッドにｚ値を補間して取得された偽実測マップ（ｐｓｅｕｄｏ ｇｒｏｕｎｄ ｔｒｕｔｈ ｍａｐ）の高さ値Ｚ_ｉに基づいて決定されることができる。

【0068】

高さ損失Ｌ_{ｈｅｉｇｈｔ}は以下の数式４のように表現することができる。

【0069】

（数式４）

【数4】

【0070】

数式４を参照すると、高さ損失Ｌ_{ｈｅｉｇｈｔ}は偽実測マップの高さ値Ｚ_ｉと鳥瞰図特徴ｆ_Ｂ６5０グリッドの高さ値

間の平均二乗誤差（ｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ）で算出することができる。

【0071】

一方、第３ニューラルネットワークモデル６7０には、畳み込み層の間に固定されたカーネル重み値を有するガウシアンフィルタ層を適用することができる。ガウシアンフィルタ層は、周辺グリッド（ｎｅｉｇｈｂｏｒｉｎｇ ｇｒｉｄ）の高さが急激に変化することを防ぐことができる。

【0072】

本開示では、第２ニューラルネットワークモデル６6０を用いて車線の中心（ｃｅｎｔｒｏｉｄ）に対するｘ－変位（ｘ－ｄｉｓｐｌａｃｅｍｅｎｔ）、ｙ－変位（ｙ－ｄｉｓｐｌａｃｅｍｅｎｔ）の空間埋め込みを予測し、車線に該当する可能性を予測することによってポリラインを作成することができる。また、本開示では、第３ニューラルネットワークモデル６7０を用いて地面における路面（ｒｏａｄ ｓｕｒｆａｃｅ）の高さを緻密に（ｄｅｎｓｅｌｙ）予測することができる。

【0073】

一実施形態において、車線ポリライン生成装置は、追加ニューラルネットワークモデル６8０をさらに含むことができる。追加ニューラルネットワークモデル６8０を用いて、画像特徴内の車線領域に関連する特徴にさらに集中させる役割を果たすことができる。

【0074】

図７ａ～図７ｂは、一実施形態に係るシード確率損失を説明するための例示的な図である。

【0075】

図７ａ～図７ｂを参照すると、ピクセル座標系７００が示されている。車線ポリライン生成装置は、鳥瞰図特徴の空間座標システムを埋め込み座標システムに変換することによってピクセル座標系７００を生成することができる。

【0076】

図７ａを参照すると、ピクセル座標系７００に含まれる点表示７１０はピクセルを表し、直線表示７２０は車線を表す。

【0077】

鳥瞰図画像生成装置は、第２ニューラルネットワークモデルに適用される少なくとも１つの損失関数（または損失）であり、シード確率損失（ｓｅｅｄ ｐｒｏｂａｂｉｌｉｔｙ ｌｏｓｓ）を設定することができる。シード確率は、ピクセル座標系７００上の複数のピクセルのそれぞれが前景（ｆｏｒｅｇｒｏｕｎｄ）または後景（ｂａｃｋｇｒｏｕｎｄ）のうちどのカテゴリに該当するかによって値が異なってくる。ここで、前景とは、車両、車線等の対象物を意味し、後景とは背景を意味する。ピクセル座標系７００上の所定のピクセルが後景であると決定された場合、車線ポリライン生成装置は該当ピクセルのシード確率を０と決定することができる。また、ピクセル座標系７００上の所定のピクセルが前景に該当する確率が高いほど、車線ポリライン生成装置は、該当ピクセルのシード確率が１に近い値を有するように決定することができる。

【0078】

ピクセル座標系７００上の複数のピクセルは、前景を表す前景ピクセルまたは後景を示す後景ピクセルに分けられるが、図７ｂを参照すると、ピクセル座標系７００上の複数のピクセルである第１ピクセルグループ７３０は前景ピクセルに該当し、第２ピクセルグルーブ７４０は後景ピクセルに該当する。

【0079】

一実施形態において、車線ポリライン生成装置は、複数のピクセルのうち、前景に該当する前景ピクセルには第１数式を適用し、後景に該当する後景ピクセルには第２数式を適用することによって、第１数式及び第２数式からなるシード確率損失を設定することができる。

【0080】

鳥瞰図画像生成装置は、所定の道路に含まれる複数の車線のそれぞれに対応する複数のクラスタについて、前景ピクセルのそれぞれが複数のクラスタのうちの所定のクラスタに該当する確率を算出することができる。車線ポリライン生成装置は、前景ピクセルのピクセル値及び算出された確率に基づいて第１数式を設定することができる。一方、クラスタに該当する確率を算出する方法については、図８ａ～図８ｃで後述する。

【0081】

また、車線ポリライン生成装置は、前景ピクセルのピクセル値及び後景ピクセルのピクセル値の間の不均衡を補正するために、スケーリング因子（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）をさらに適用して第１数式を設定することができる。

【0082】

また、車線ポリライン生成装置は、後景ピクセルのピクセル値に基づいて第２数式を設定することができる。

【0083】

上述した第１数式及び第２数式を含むシード確率損失は、以下の数式５で表すことができる。一実施形態において、第２ニューラルネットワークモデルは、以下の数式５によるシード確率損失Ｌ_ｓｅｅｄ（・）値が最小になるように学習されることができる。

【0084】

数式５において、右辺の第１項は上述した第１数式、第２項は上述した第２数式であることができる。また、数式５において、Ｎはピクセル座標系７００に含まれるピクセルの個数、δはスケーリング因子、ｑｉはｉ番目のピクセルがシード予測値、Ｓｋは前景、ｂｇは後景、φ_ｋ（ｅ_ｉ）はピクセル座標系７００上のｉ番目の埋め込み座標ｅｉがｋ番目のクラスタに該当する確率を意味する。

【0085】

（数式５）

【数5】

【0086】

図８ａ～図８ｃは、埋め込みオフセット損失を説明するための例示的な図である。

【0087】

図８ａ～図８ｃを参照すると、ピクセル座標系８００が示されている。図８ａを参照すると、ピクセル座標系８００に含まれる第１直線表示８１１及び第２直線表示８１２は互いに異なる車線を表す。

【0088】

車線ポリライン生成装置は、第２ニューラルネットワークモデルに適用される少なくとも１つの損失関数（または損失）であり、埋め込みオフセット損失（ｅｍｂｅｄｄｉｎｇ ｏｆｆｓｅｔ ｌｏｓｓ）を設定することができる。埋め込みオフセットは、ピクセル座標系８００上のｉ番目の埋め込み座標ｅｉがｋ番目のクラスタに該当する確率を表す。ここでクラスタは、所定の道路に含まれる複数の車線のそれぞれに対して設定されることができる。ピクセル座標系８００上のｉ番目のピクセルがｋ番目のクラスタの中心に近接して位置するほど、車線ポリライン生成装置は該当確率値φ_ｋ（ｅ_ｉ）を１に近いように決定することができる。

【0089】

図８ｂを参照すると、各ピクセルの陰影表示は、所定のクラスタに該当する確率を視覚化して表示したものであり、陰影表示が濃いほど所定のクラスタに該当する確率値が大きいことを意味する。図８ａにおいて、第１直線表示８１１に近接して位置した第１ピクセル８２１及び第２直線表示８１２に近接して位置した第２ピクセル８２５は、所定のクラスタに該当する確率値が非常に大きいため、図８ｂにおいて陰影表示が濃く表示されていることが分かる。一方、車線ポリライン生成装置は、所定のクラスタに該当する確率を前景ピクセルに対してのみ算出することができ、後景ピクセルに対しては計算を省略することができる。

【0090】

図８ｃを参照すると、クラスタごとにピクセルが集まっていることが示されている。上述した鳥瞰図特徴は空間座標（ｓｐａｔｉａｌ ｃｏｏｒｄｉｎａｔｅｓ）を有し、車線ポリライン生成装置は第２ニューラルネットワークモデルを駆動して空間座標を有する鳥瞰図特徴を二次元埋め込み座標（ｅｍｂｅｄｄｉｎｇ ｃｏｏｒｄｉｎａｔｅｓ）８５０に変換することができる。

【0091】

車線ポリライン生成装置は、埋め込み座標８５０上の第１ピクセル８２１を第１クラスタ８３１の中心点（ｃｅｎｔｒｏｉｄ）、第２ピクセル８２５を第２クラスタ８３５の中心点に設定することができる。

【0092】

一実施形態において、車線ポリライン生成装置は、鳥瞰図特徴に含まれる複数のピクセルの中から前景に該当する前景ピクセルを抽出することができる。また、車線ポリライン生成装置は、所定の道路に含まれる複数の車線のそれぞれに対応する埋め込み座標８５０上の複数のクラスタに対して、前景ピクセルのそれぞれが複数のクラスタのうち所定のクラスタに該当する確率を算出することができる。また、車線ポリライン生成装置は、算出された確率を利用する埋め込みオフセット損失を設定し、埋め込みオフセット損失を用いて第２ニューラルネットワークモデルを学習させることができる。

【0093】

さらに、車線ポリライン生成装置は、埋め込み座標８５０上の複数のクラスタのそれぞれの中心点及びクラスタを形成するための固定マージン（ｆｉｘｅｄ ｍａｒｇｉｎ）を設定することができる。車線ポリライン生成装置は、中心点及び固定マージンを用いて、前景ピクセルのそれぞれが複数のクラスタのうち所定のクラスタに該当する確率を算出することができる。

【0094】

また、車線ポリライン生成装置は、前景ピクセルのそれぞれが埋め込み座標８５０上の複数のクラスタのうち所定のクラスタに該当する確率を算出するために、クラスタリング閾確率値を設定することができる。車線ポリライン生成装置は、中心点、固定マージン及びクラスタリング閾確率値を用いて、前景ピクセルのそれぞれが複数のクラスタのうち所定のクラスタに該当する確率を算出することができる。

【0095】

第２ニューラルネットワークモデルは、以下の数式６による埋め込みオフセット損失Ｌ_{ｅｍｂｅｄ}（・）値が最小になるように学習されることができる。数式６では、Ｋはクラスタ数、Ｌ_ｈ（・）はサポートベクターマシン関連損失（たとえば、Ｌｏｖａｓｚ ｈｉｎｇｅ ｌｏｓｓ）を意味する。

【0096】

（数式６）

【数6】

【0097】

また、前景ピクセルのそれぞれが埋め込み座標８５０上の複数のクラスタのうち所定のクラスタに該当する確率であるφ_ｋ（ｅ_ｉ）は、以下の数式７によって算出されることができる。数式７によると、φ_ｋ（ｅ_ｉ）はガウシアン分布に従う。

【0098】

（数式７）

【数7】

【0099】

また、数式７のσは、以下の数式８よって算出されることができる。数式８において、Ｒは埋め込み空間８００でクラスタを形成するための固定マージン、Ｐｒ－はクラスタリング閾確率値を表す。

【0100】

（数式８）

【数8】

【0101】

図９は、一実施形態に係る順序損失を説明するための例示的な図である。

【0102】

車線ポリライン生成装置は、第２ニューラルネットワークモデルに適用される少なくとも１つの損失関数（または損失）であり、順序損失（ｏｒｄｉｎａｌ ｌｏｓｓ）を設定することができる。ここでの順序とは、ポリラインに対応する車線の開始と終了に対する順序を意味する。車線ポリライン生成装置は、ピクセル座標系上の所定のピクセルが車線の始点（ｓｔａｒｔｉｎｇ ｐｏｉｎｔ）に近いほど順序値は０に近い値に決定し、車線の終点（ｅｎｄｉｎｇ ｐｏｉｎｔ）に近いほど順序値は1に近い値に決定することができる。

【0103】

図９を参照すると、ピクセル座標系上の各ピクセルが車線の始点と終点との間においてどの順序で配置されるかが示されている。図９の順序値１及び順序値２は、それぞれ異なる車線（またはクラスタ）に対する結果値を示す。図９において、陰影表示が濃いほど、所定のピクセルが車線の終点に近いことを示す。

【0104】

一実施形態において、車線ポリライン生成装置は、鳥瞰図特徴に含まれる複数のピクセルの中から前景に該当する前景ピクセルを抽出することができる。また、車線ポリライン生成装置は、所定の道路に含まれる車線に対する前記前景ピクセルのそれぞれの順序を用いる順序損失を設定し、順序損失を用いて第２ニューラルネットワークモデルを学習させることができる。

【0105】

さらに、車線ポリライン生成装置は、順序損失を設定するために、前景ピクセルのそれぞれを含むクラスタを識別し、識別されたクラスタに対応する車線に対して、前景ピクセルの順序（ｏｒｄｅｒ）値を決定することができる。車線ポリライン生成装置は、前景ピクセルのそれぞれに対する順序値を用いることによって順序損失を設定することができる。

【0106】

また、車線ポリライン生成装置は、順序値を決定するために、車線の始点に近い前景ピクセルであるほど第１値に近い値を有し、車線の終点に近い前景ピクセルであるほど第２値に近い値を有するように、前景ピクセルの順序値を決定することができる。

【0107】

車線ポリライン生成装置は、ｓｍｏｏｔｈ Ｌ１アルゴリズムを用いて前記順序損失を設定することができるが、用いられるアルゴリズムはこれに限定されない。

【0108】

第２ニューラルネットワークモデルは、以下の数式９による順序損失Ｌ_оｒｄ（・）値が最小になるように学習されることができる。数式９において、ｄｎはｎ番目のピクセルの順序値を意味し、０から１の間の値を有する。

はｇｒｏｕｎｄ ｔｒｕｔｈ値を意味する。

【0109】

（数式９）

【数9】

【0110】

一方、ｓｍｏｏｔｈ Ｌ１アルゴリズムは式１０で表すことができる。

【0111】

（数式１０）

【数10】

【0112】

車線ポリライン生成装置は、埋め込みオフセット損失、シード確率損失、及び順序損失のうち少なくとも１つが最小になるように第２ニューラルネットワークモデルを学習させることができる。

【0113】

一実施形態において、車線ポリライン生成装置は、以下の数式１１による最終損失が最小になるように第２ニューラルネットワークモデルを学習させることができる。数式１１においてα，β，γは、各項の重要度によって異なるように設定することができる。

【0114】

（数式１１）

【数11】

【0115】

さらに、車線ポリライン生成装置は、埋め込みオフセット損失、シード確率損失、順序損失、変換損失、及び高さ損失のうち少なくとも１つが最小になるように第１～第３ニューラルネットワークモデルを学習させることができる。

【0116】

一実施形態において、車線ポリライン生成装置は、以下の数式１２による最終損失が最小になるように第１～第３ニューラルネットワークモデルを学習させることができる。数式１２においてα，β，γ，δ，εは、各項の重要度によって異なるように設定することができる。

【0117】

（数式１２）

【数12】

【0118】

図１０は、一実施形態に係るニューラルネットワークモデルを用いて車線ポリラインを生成することを説明するためのフローチャートである。

【0119】

図１０を参照すると、ステップ１０１０において、車線ポリライン生成装置は、車両に搭載された少なくとも１つのセンサから取得された所定の道路の基本画像を取得することができる。

【0120】

ステップ１０２０において、車線ポリライン生成装置は、基本画像を用いてマルチスケール画像特徴を抽出することができる。

【0121】

ステップ１０３０において、車線ポリライン生成装置は、第１ニューラルネットワークモデルにマルチスケール特徴を入力データとして入力し、第１ニューラルネットワークモデルの出力データとして鳥瞰図特徴を取得することができる。

【0122】

一実施形態において、車線ポリライン生成装置は、複数の画像特徴のピクセル座標（ｐｉｘｅｌ ｃｏｏｒｄｉｎａｔｅ）と前記鳥瞰図特徴のグリッド（ｇｒｉｄ）間の双方向比較によって算出された変換損失（ｔｒａｎｓｌａｔｉｏｎ）を用いて、第１ニューラルネットワークモデルを学習させることができる。

【0123】

前記変換損失は、ピクセル座標にルックアップテーブル関数を適用した値とグリッド値との差を示す第１値と、ピクセル座標値と前記グリッド値にルックアップテーブル逆関数を適用した値との差を示す第２値とに基づいて決定されることができる。変換損失は、上述した数式２のように表すことができる。

【0124】

ステップ１０４０において、車線ポリライン生成装置は、第２ニューラルネットワークモデルに鳥瞰図特徴を入力データとして入力し、第２ニューラルネットワークモデルの出力データとして所定の道路のポリライン画像を取得することができる。

【0125】

一実施形態において、車線ポリライン生成装置は、埋め込みオフセット損失（ｅｍｂｅｄｄｉｎｇ ｏｆｆｓｅｔ ｌｏｓｓ）を用いて第２ニューラルネットワークモデルを学習させることができる。オフセット損失は、所定の道路に含まれる複数の車線のそれぞれに対応する複数のクラスタについて、前景ピクセルのそれぞれが複数のクラスタのうちの所定のクラスタに該当する確率に基づいて決定されることができる。

【0126】

また、車線ポリライン生成装置は、シード確率損失（ｓｅｅｄ ｐｒｏｂａｂｉｌｉｔｙ ｌｏｓｓ）を用いて第２ニューラルネットワークモデルを学習させることができる。シード確率損失は、鳥瞰図特徴に含まれる複数のピクセルのうち、前景に含まれるピクセルには第１数式を適用し、後景に含まれるピクセルには第２数式を適用することによって決定されることができる。

【0127】

また、車線ポリライン生成装置は、順序損失（ｏｒｄｅｒ ｌｏｓｓ）を用いて第２ニューラルネットワークモデルを学習させることができる。順序損失は、鳥瞰図特徴に含まれる複数のピクセルのうち、前景ピクセルのそれぞれが含まれるクラスタに対応する車線に対して、前記前景ピクセルの順序（ｏｒｄｅｒ）を用いて決定されることができる。

【0128】

一実施形態において、車線ポリライン生成装置は、埋め込みオフセット損失、シード確率損失、及び順序損失のうち少なくとも１つが最小になるようにニューラルネットワークモデルを学習させることができる。

【0129】

一実施形態において、車線ポリライン生成装置は、第３ニューラルネットワークモデルに鳥瞰図特徴を入力データとして入力し、第３ニューラルネットワークモデルの出力データとして鳥瞰図特徴のグリッドごとの高さ値を取得することができる。

【0130】

第３ニューラルネットワークモデルの高さ損失は、車線マーカーを用いて前記鳥瞰図特徴のグリッドにｚ値を補間して取得された偽実測マップ（ｐｓｅｕｄｏ ｇｒｏｕｎｄ ｔｒｕｔｈ ｍａｐ）の高さ値に基づいて決定されることができる。

【0131】

一実施形態において、車線ポリライン生成装置は、所定の道路のポリライン画像に基づいて、所定の道路を走行している車両を制御するための制御信号を生成することができる。例えば、車線ポリライン生成装置は、ポリライン画像を用いて車両の車線維持状態、車線変更状態、車線逸脱状態などを決定し、決定された状態に基づいて制御信号を生成することができる。

【0132】

図１１は、一実施形態に係る車線ポリライン生成装置のブロック図である。

【0133】

図１１を参照すると、車線ポリライン生成装置１１００は、通信部１１１０、プロセッサ１１２０及びＤＢ１１３０を含むことができる。図１１の車線ポリライン生成装置１１００には、実施形態に関する構成要素のみが図示されている。したがって、図１１に図示された構成要素以外に他の汎用的な構成要素がさらに含まれる可能性があるということを当該技術分野の通常の技術者であれば理解できる。

【0134】

通信部１１１０は、外部サーバまたは外部装置と有線／無線通信ができるようにする１つ以上の構成要素を含むことができる。例えば、通信部１１１０は、近距離通信部（図示せず）、移動通信部（図示せず）及び放送受信部（図示せず）のうち少なくとも１つを含むことができる。

【0135】

ＤＢ１１３０は、車線ポリライン生成装置１１００内で処理される各種データを記憶するハードウェアで、プロセッサ１１２０の処理及び制御のためのプログラムを記憶することができる。

【0136】

ＤＢ１１３０は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓｍｅｍｏｒｙ）などのＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、ブルーレイまたは他の光学ディスクストレージ、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、またはフラッシュメモリを含むことができる。

【0137】

プロセッサ１１２０は、車線ポリライン生成装置１１００の全般的な動作を制御する。例えば、プロセッサ１１２０はＤＢ１１３０に保存されたプログラムを実行することで、入力部（図示せず）、ディスプレイ（図示せず）、通信部１１１０、ＤＢ１１３０などを全般的に制御することができる。プロセッサ１１２０は、ＤＢ１１３０に記憶されたプログラムを実行することで、車線ポリライン生成装置１１００の動作を制御することができる。

【0138】

プロセッサ１１２０は、図１～図１０で上述した車線ポリライン生成装置１１００の動作のうち少なくとも一部を制御することができる。車線ポリライン生成装置１１００及び自動運転装置４０は同じ装置であるか、各装置で行われる少なくとも一部の動作が同じであることができる。

【0139】

プロセッサ１１２０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、制御機（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能実行のための電気的ユニットのうち少なくとも一つを利用して具現されることができる。

【0140】

一実施形態として、車線ポリライン生成装置１１００は、移動性を有する電子装置であることができる。例えば、車線ポリライン生成装置１１００はスマートフォン、タブレットＰＣ、ＰＣ、スマートＴＶ、ＰＤＡ（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌａｓｓｉｓｔａｎｔ）、ラップトップ、メディアプレーヤー、ナビゲーション、カメラが搭載されたデバイス及びその他のモバイル電子装置で具現されることができる。また、車線ポリライン生成装置１１００は通信機能及びデータプロセッシング機能を備えた時計、眼鏡、ヘアバンド及び指輪などのウェアラブル装置で具現されることができる。

【0141】

他の一実施形態として、車線ポリライン生成装置１１００は、車両内に埋め込まれる電子装置であることができる。例えば、車線ポリライン生成装置１１００は、生産過程後、チューニング（ｔｕｎｉｎｇ）を通じて車両内に挿入される電子装置であることができる。

【0142】

また他の実施形態として、車線ポリライン生成装置１１００は、車両の外部に位置するサーバであることができる。サーバはネットワークを介して通信し、命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置または複数のコンピュータ装置で具現されることができる。サーバは車両に搭載された装置から車線ポリラインを生成するために必要なデータを受信し、受信したデータに基づいて車両の移動経路を決定することができる。

【0143】

また別の実施形態として、車線ポリライン装置１１００で実行されるプロセスは、移動性を有する電子装置、車両内に組み込まれる電子装置及び車両の外部に位置するサーバのうち少なくとも一部によって実行されることができる。

【0144】

本発明に係る実施形態は、コンピュータ上で様々な構成要素を介して実行することができるコンピュータプログラムの形態で実装されることができ、そのようなコンピュータプログラムはコンピュータで読み取り可能な媒体に記録されることができる。このとき、媒体は、ハードディスク、フロッピーディスク及び磁気テープなどの磁気媒体、ＣＤ－ＲＯＭ及びＤＶＤなどの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの光磁気記録媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を記憶及び実行するように特別に構成されたハードウェア装置を含むことができる。

【0145】

一方、前記コンピュータプログラムは、本発明のために特別に設計及び構成されているか、コンピュータソフトウェア分野の当業者に公知され使用可能なものであることができる。 コンピュータプログラムの例には、コンパイラによって作成されるような機械語コードだけでなく、インタプリタなどを使用し、コンピュータによって実行されることができる高級言語コードも含まれることができる。

【0146】

一実施形態によれば、本開示の様々な実施形態に係る方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含まれて提供されることができる。コンピュータプログラム製品は、商品として販売者及び購入者の間で取引されることができる。コンピュータプログラム製品は、デバイスで読み取り可能な記憶媒体（例えば、ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ （ＣＤ－ＲＯＭ））の形態で配布されるか、またはアプリケーションストア（例えば、プレイストア（商標））を介して、または２つのユーザ装置間で直接、オンラインで配布（例えば、ダウンロードまたはアップロード）されることができる。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部は、製造元のサーバ、アプリケーションストアのサーバ、または中継サーバのメモリなどの機器で読み取ることができる記憶媒体に少なくとも一時的に記憶されるか、一時的に生成されることができる。

【0147】

本発明に係る方法を構成するステップについて明らかに順序を記載したり反したりする記載がない場合、前記ステップは適当な順序で行われることができる。必ずしも前記ステップの記載順序に従って本発明が限定されるものではない。本発明において、すべての例または例示的な用語（例えば、等）の使用は、単に本発明を詳細に説明するためのものであり、特許請求の範囲によって限定されない限り、前記の例または例示的な用語によって本発明の範囲が限定されるものではない。さらに、当業者は、様々な修正、組み合わせ及び変更が追加された特許請求の範囲またはその均等物の範囲内で設計条件及び要因によって構成され得ることを理解するであろう。

【0148】

したがって、本発明の思想は、前記説明した実施形態に限定されて決められてはならず、後述する特許請求の範囲のみならず、この特許請求の範囲と均等またはこれから等価的に変更された全ての範囲は、本発明の思想の範疇に属するとするといえるだろう。

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図6a】

【図6b】

【図7a】

【図7b】

【図8a】

【図8b】

【図8c】

【図9】

【図10】

【図11】