特開 2022-159023 車線検出方法、装置、電子機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022159023

(43)【公開日】2022-10-17

(54)【発明の名称】車線検出方法、装置、電子機器及び記憶媒体

(51)【国際特許分類】

   G06T 7/60 20170101AFI20221006BHJP

   B60W 40/06 20120101ALI20221006BHJP

   B60W 60/00 20200101ALI20221006BHJP

   G08G 1/16 20060101ALI20221006BHJP

   G06N 3/02 20060101ALI20221006BHJP

   G06T 7/00 20170101ALI20221006BHJP

【ＦＩ】

G06T7/60 200J

B60W40/06

B60W60/00

G08G1/16 C

G06N3/02

G06T7/00 650A

G06T7/00 350C

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022043314

(22)【出願日】2022-03-18

(31)【優先権主張番号】202110358313.4

(32)【優先日】2021-04-01

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】521254764

【氏名又は名称】北京図森智途科技有限公司

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野 文雄

(74)【代理人】

【識別番号】100165308

【弁理士】

【氏名又は名称】津田 俊明

(74)【代理人】

【識別番号】100115048

【弁理士】

【氏名又は名称】福田 康弘

(72)【発明者】

【氏名】▲瀋▼ 振▲偉▼

(72)【発明者】

【氏名】黄 ▲澤▼昊

(72)【発明者】

【氏名】王 乃岩

【テーマコード（参考）】

3D241

5H181

5L096

【Ｆターム（参考）】

3D241BA49

3D241CE04

3D241CE06

3D241CE08

3D241DA02Z

3D241DB01Z

3D241DC35Z

5H181AA01

5H181BB04

5H181BB05

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181CC27

5H181FF04

5H181FF27

5H181LL09

5L096AA06

5L096BA04

5L096EA11

5L096EA33

5L096FA09

5L096FA66

5L096FA67

5L096FA69

5L096GA19

5L096GA51

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】車線の延在方向に遮蔽物がある場合があるため、当該遮蔽物下に車線があるか否かを判断する車線検出方法、装置、電子機器及び記憶媒体を提供する。
【解決手段】車線検出方法は、検出される画像を取得するステップと、画像内の車線にある少なくとも１つの初期点を決定するステップと、少なくとも１つの初期点の位置特徴を抽出するステップと、予めトレーニングされた第１のネットワークモデルにより少なくとも１つの初期点の位置特徴を処理し、対応する車線の傾向情報を得るステップと、傾向情報に基づいて少なくとも１つの初期点を含む目標車線を生成するステップと、を含む。
【効果】道路画像内の車線にある初期点集合を決定し、ネットワークモデルにより初期点の位置特徴を処理し、車線の傾向情報を得ることができ、その後、当該傾向情報に基づいて道路画像の完全な車線を速やかに生成することができる。
【選択図】図２

【特許請求の範囲】

【請求項1】

検出される画像を取得するステップと、
前記画像内の少なくとも１つの初期点を決定するステップと、
前記少なくとも１つの初期点の位置特徴を抽出するステップと、
第１のネットワークモデルにより前記少なくとも１つの初期点の位置特徴を処理し、対応する車線の傾向情報を得るステップと、
前記傾向情報に基づいて前記少なくとも１つの初期点を含む目標車線を生成するステップと、
を含むことを特徴とする車線検出方法。

【請求項2】

目標車線は、前記少なくとも１つの初期点を含む複数の点を含み、前記目標車線における各点の前記位置特徴は、当該点の位置座標及びシフト特徴を含み、
前記目標車線における各点の前記シフト特徴は、当該点から次の点までの位置関係の高次元ベクトルを含み、前記高次元ベクトルは、目標車線における各点の位置座標に基づいて第２のネットワークモデルから得られる、
ことを特徴とする請求項１に記載の方法。

【請求項3】

第１のネットワークモデルにより前記少なくとも１つの初期点の位置特徴を処理するステップは、第１のネットワークモデルにより複数回の予測を実行するステップを含み、
前記第１のネットワークモデルの非初回予測時における入力は、前回学習した点の位置座標、シフト特徴及び前記第１のネットワークモデルが前回学習した傾向情報を含み、
前記第１のネットワークモデルの毎回の予測時における出力は、今回学習した点の位置座標及び今回学習した傾向情報を含み、
前記第１のネットワークモデルの初回予測時における入力は、少なくとも１つの初期点の位置座標、シフト特徴を含み、
前記目標車線における点は、更に前記第１のネットワークモデルが毎回予測する時に学習した点を含む、
ことを特徴とする請求項２に記載の方法。

【請求項4】

前記傾向情報は、高次元ベクトルを含み、且つ前記第１のネットワークモデルにより１回目の予測時に入力された傾向情報は、所定の初期値である、
ことを特徴とする請求項１～３の何れか一項に記載の方法。

【請求項5】

第１のネットワークモデルにより前記少なくとも１つの点の位置特徴を処理し、対応する車線の傾向情報を得るステップは、
前記第１のネットワークモデルにより現在の点の位置座標、シフト特徴及び前記第１のネットワークモデルが前回学習した傾向情報を処理し、現在の点から次の点までの座標シフト量、及び今回学習した傾向情報を出力するステップと、
前記座標シフト量及び現在の点の位置座標に基づいて次の点の位置座標を決定するステップと、
次の点のシフト特徴、位置座標及び前記第１のネットワークモデルが今回学習した傾向情報をモデルの入力として、次の点から更に次の点までのシフト座標及び最新の傾向情報を出力するステップと、
を含むことを特徴とする請求項２に記載の方法。

【請求項6】

前記座標シフト量及び現在の点の位置座標に基づいて次の点の位置座標を決定するステップは、
次の点の位置座標とある初期点の高さが同じであり、且つ水平方向の距離が所定の画素以下であることに応答して、当該高さが同じである点座標に基づいて前記次の点の位置座標を修正するステップを含む、
ことを特徴とする請求項５に記載の方法。

【請求項7】

前記画像は、ｍ行ｎ列の画像グリッドに分割され、前記現在の点から次の点までの座標シフト量は、現在の点が位置するグリッドの中心点から次の行の車線中間点までの座標シフト量である、
ことを特徴とする請求項５に記載の方法。

【請求項8】

前記第１のネットワークモデルは、第１のネットワークブランチと、第２のネットワークブランチとを含み、
前記第１のネットワークブランチは、第１の方向から対応する車線の傾向情報を予測するために用いられ、
前記第２のネットワークブランチは、第２の方向から対応する車線の傾向情報を予測するために用いられ、
前記第１の方向と第２の方向の向きが反対である、
ことを特徴とする請求項１～７の何れか一項に記載の方法。

【請求項9】

前記目標車線は、線分の両側端点がそれぞれ画像限界線に位置する車線を含み、
前記画像限界線は、上限界線、下限界線、左限界線及び右限界線のうちの少なくとも１つを含む、
ことを特徴とする請求項１～７の何れか一項に記載の方法。

【請求項10】

第１のネットワークモデルにより前記少なくとも１つの初期点の位置特徴を処理し、対応する車線の傾向情報を得るステップは、第１のネットワークモデルにより前記少なくとも１つの初期点の位置特徴を処理し、対応する車線の第１の方向に沿う傾向情報を得るステップを含み、
前記傾向情報に基づいて前記少なくとも１つの初期点を含む目標車線を生成するステップは、第１の方向における所定の停止位置に達するまで、第１の方向の傾向情報に基づいて複数の点を生成するステップを含み、
第１のネットワークモデルにより前記少なくとも１つの初期点の位置特徴を処理し、対応する車線の傾向情報を得るステップは、第１の方向の所定の停止位置から、前記第１のネットワークモデルにより対応する車線の第２の方向に沿う傾向情報を予測するステップを含み、
前記傾向情報に基づいて前記少なくとも１つの初期点を含む目標車線を生成するステップは、第２の方向における所定の停止位置に達するまで、第２の方向の傾向情報に基づいて複数の点を生成するステップを含み、
前記第１の方向と第２の方向の向きが反対である
ことを特徴とする請求項１～９の何れか一項に記載の方法。

【請求項11】

第１のネットワークモデルにより前記少なくとも１つの初期点の位置特徴を処理し、対応する車線の傾向情報を得るステップは、
第１のネットワークモデルにより第１の方向に前記少なくとも１つの初期点の位置特徴を処理し、対応する車線の第１の方向に沿う傾向情報を得るステップと、
第１のネットワークモデルにより第２の方向に前記少なくとも１つの初期点の位置特徴を処理し、対応する車線の第２の方向に沿う傾向情報を得るステップと、を含み、
前記第１の方向と第２の方向の向きが反対である
ことを特徴とする請求項１～９の何れか一項に記載の方法。

【請求項12】

複数本の車線の座標列を取得するステップと、
各車線における各点から次の点までの座標シフト量及びシフト特徴を抽出し、第１のトレーニング集合を生成するステップと、
前記第１のトレーニング集合を利用して１つの初期ネットワークモデルをトレーニングし、前記第１のネットワークモデルを得るステップと、
を更に含むことを特徴とする請求項１～１１の何れか一項に記載の方法。

【請求項13】

そのトレーニング画像に複数本の車線及び各車線における各点から次の点までの座標シフト量がマークされている第２のトレーニング集合を取得するステップと、
前記第２のトレーニング集合を利用して別の初期ネットワークモデルをトレーニングし、前記第２のネットワークモデルを得るステップと、
を更に含むことを特徴とする請求項１２に記載の方法。

【請求項14】

メモリと、プロセッサとを含む電子機器であって、
前記メモリは、プログラムを記憶するために用いられ、
前記プログラムが前記プロセッサによって実行される時、前記プロセッサに請求項１～１３の何れか一項に記載の方法を実行させる、
ことを特徴とする電子機器。

【請求項15】

コンピュータプログラムが記憶された記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行される時、請求項１～１３の何れか一項に記載の方法を実行する、ことを特徴とする記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、自動運転技術分野に属し、具体的には、車線検出方法、装置、電子機器及び記憶媒体に関する。

【背景技術】

【0002】

自動車の発展に伴い、益々多くの人工知能技術は、自動運転技術に適用されるようになり、車線検出は、自動運転技術の重要な一環となっている。しかしながら、センサにより収集された道路画像において、車線の延在方向に遮蔽物がある場合があるため、車線が遮蔽される可能性があり、当該遮蔽物下に車線があるか否かを判断できない。従って、遮蔽された車線の位置を推定し、完全な車線を得る必要がある。

【発明の概要】

【0003】

これに鑑み、本願は、従来の車線検出方法が完全な車線を速やかで正確に検出できないという問題を改善するために、車線検出方法、装置、電子機器及び記憶媒体を提供することを目的とする。

【0004】

本願の実施例は、以下のように実現される。

【0005】

第１の態様において、本願の実施例は、検出される画像を取得するステップと、前記画像内の車線にある初期点集合を決定するステップと、前記初期点集合における少なくとも１つの点の位置特徴を抽出するステップと、予めトレーニングされた第１のネットワークモデルにより前記少なくとも１つの点の位置特徴を処理し、対応する車線の傾向情報を得るステップと、前記傾向情報に基づいて前記初期点集合を含む目標車線を生成するステップと、を含む車線検出方法を提供する。

【0006】

本願の実施例において、画像内の車線にある初期点集合を取得し、且つその中から少なくとも１つの点の位置特徴を抽出し、予めトレーニングされた第１のネットワークモデルにより抽出された少なくとも１つの点の位置特徴を処理することで、対応する車線の傾向情報を得て、前記傾向情報に基づいて初期点集合を含む目標車線を生成し、車線の傾向情報を予測することで、完全な車線を速やかに予測することができ、従来の車線検出方法が遮蔽などの場合に完全な車線を速やかで正確に検出できないという問題が解決される。

【0007】

第１の態様の実施例に基づく可能な一実施形態において、各車線は、縦方向に所定のピッチだけ隔てられた点で表され、各点の前記位置特徴は、当該点の位置座標及びシフト特徴を含み、前記シフト特徴は、当該点から次の点までの位置関係を特徴付ける高次元ベクトルであり、且つ各点の位置座標に基づいて予めトレーニングされた第２のネットワークモデルの中間層から抽出される。

【0008】

第１の態様の実施例に基づく可能な一実施形態において、前記第１のネットワークモデルにより各点の位置特徴を処理する時、前記第１のネットワークモデルの入力は、現在の点の位置座標、シフト特徴、及び前記第１のネットワークモデルが前回学習した傾向情報であり、前記第１のネットワークモデルの出力は、現在の点から次の点までの座標シフト量、及び今回学習した傾向情報である。

【0009】

第１の態様の実施例に基づく可能な一実施形態において、前記傾向情報は、高次元ベクトルであり、且つ前記第１のネットワークモデルにより１回目の予測時に入力された傾向情報は、所定の初期値である。

【0010】

第１の態様の実施例に基づく可能な一実施形態において、予めトレーニングされた第１のネットワークモデルにより前記少なくとも１つの点の位置特徴を処理し、対応する車線の傾向情報を得て、前記傾向情報に基づいて前記初期点集合を含む目標車線を生成するステップは、前記第１のネットワークモデルにより現在の点の位置座標、シフト特徴及び前記第１のネットワークモデルが前回学習した傾向情報を処理し、現在の点から次の点までの座標シフト量、及び今回学習した傾向情報を出力するステップと、前記座標シフト量及び現在の点の位置座標に基づいて次の点の位置座標を決定するステップと、次の点のシフト特徴、位置座標及び前記第１のネットワークモデルが今回学習した傾向情報をモデルの入力として、次の点から更に次の点までのシフト座標及び最新の傾向情報を出力し、所定の停止位置に達するまでこのように類推するステップと、を含む。

【0011】

第１の態様の実施例に基づく可能な一実施形態において、前記座標シフト量及び現在の点の位置座標に基づいて次の点の位置座標を決定するステップは、次の点の位置座標と前記初期点集合における同じ高さにある点との水平方向の距離が所定の画素以下である場合、当該同じ高度にある点に基づいて前記次の点の位置座標を修正するステップを含む。

【0012】

第１の態様の実施例に基づく可能な一実施形態において、前記第１のネットワークモデルは、各ステップのパラメータが共有される回帰型ニューラルネットワークモデルであり、第１のネットワークモデルに入力される前記位置座標は、正規化された座標である。

【0013】

第１の態様の実施例に基づく可能な一実施形態において、前記画像は、ｍ＊ｎの画像グリッドに分割され、前記現在の点から次の点までの座標シフト量は、現在の点が位置するグリッドの中心点から次の行のグリッドにおける車線中間点までの座標シフト量である。

【0014】

第１の態様の実施例に基づく可能な一実施形態において、前記第１のネットワークモデルは、第１のネットワークブランチと、第２のネットワークブランチとを含み、前記第１のネットワークブランチは、第１の方向から対応する車線の傾向情報を予測するために用いられ、前記第２のネットワークブランチは、第２の方向から対応する車線の傾向情報を予測するために用いられ、前記第１の方向と第２の方向の向きが反対である。

【0015】

第１の態様の実施例に基づく可能な一実施形態において、前記目標車線は、線分の両側端点が画像限界線に達する車線を含み、前記所定の停止位置は、所定の反復回数に達した場合の位置又は画像限界線にある位置を含み、前記画像限界線は、上限界線、下限界線、左限界線及び右限界線のうちの少なくとも１つを含む。

【0016】

第１の態様の実施例に基づく可能な一実施形態において、予めトレーニングされた第１のネットワークモデルにより前記少なくとも１つの点の位置特徴を処理し、対応する車線の傾向情報を得て、前記傾向情報に基づいて前記初期点集合を含む目標車線を生成するステップは、予めトレーニングされた第１のネットワークモデルにより前記少なくとも１つの点の位置特徴を処理し、対応する車線の第１の方向に沿う傾向情報を得るとともに、第１の方向における所定の停止位置に達するまで、第１の方向の傾向情報に基づいて複数の点を生成するステップと、第１の方向の所定の停止位置から、前記第１のネットワークモデルにより対応する車線の第２の方向に沿う傾向情報を予測するとともに、第２の方向における所定の停止位置に達するまで、第２の方向の傾向情報に基づいて複数の点を生成するステップと、を含み、前記第１の方向と第２の方向の向きが反対である。

【0017】

第１の態様の実施例に基づく可能な一実施形態において、予めトレーニングされた第１のネットワークモデルにより前記少なくとも１つの点の位置特徴を処理し、対応する車線の傾向情報を得るステップは、予めトレーニングされた第１のネットワークモデルにより前記初期点集合の第１の方向における少なくとも１つの点の位置特徴を処理し、対応する車線の第１の方向に沿う傾向情報を得るステップと、予めトレーニングされた第１のネットワークモデルにより前記初期点集合の第２の方向における少なくとも１つの点の位置特徴を処理し、対応する車線の第２の方向に沿う傾向情報を得るステップと、を含み、前記第１の方向と第２の方向の向きが反対である。

【0018】

第１の態様の実施例に基づく可能な一実施形態において、前記方法は、複数本の車線の座標列を取得するステップと、各車線における各点から次の点までの座標シフト量及びシフト特徴を抽出し、第１のトレーニング集合を生成するステップと、前記第１のトレーニング集合を利用して初期の第１のネットワークモデルをトレーニングし、トレーニングされたモデルを得るステップと、を更に含む。

【0019】

第１の態様の実施例に基づく可能な一実施形態において、前記方法は、そのトレーニング画像に複数本の車線及び各車線における各点から次の点までの座標シフト量がマークされている第２のトレーニング集合を取得するステップと、前記第２のトレーニング集合を利用して初期の第２のネットワークモデルをトレーニングし、トレーニングされたモデルを得るステップと、を更に含む。

【0020】

第１の態様の実施例に基づく可能な一実施形態において、前記初期点集合が複数の点を含む場合、前記複数の点は、同一の車線に位置し、又は前記複数の点は、複数本の車線に分布する。

【0021】

第２の態様において、本願の実施例は、車線を含む画像を取得するための取得モジュールと、前記画像内の車線にある初期点集合を決定し、前記初期点集合における少なくとも１つの点の位置特徴を抽出し、予めトレーニングされた第１のネットワークモデルにより前記少なくとも１つの点の位置特徴を処理し、対応する車線の傾向情報を得て、前記傾向情報に基づいて前記初期点集合を含む目標車線を生成するめの処理モジュールと、を含む車線検出装置を更に提供する。

【0022】

第３の態様において、本願の実施例は、メモリと、メモリに接続されるプロセッサとを含む電子機器であって、前記メモリは、プログラムを記憶するために用いられ、前記プロセッサは、上記第１の態様の実施例及び／又は第１の態様の実施例に基づく何れか１つの可能な実施形態により提供される方法を実行するように、前記メモリに記憶されたプログラムを呼び出すために用いられる、電子機器を更に提供する。

【0023】

第４の態様において、本願の実施例は、コンピュータプログラムが記憶された記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行される時、上記第１の態様の実施例及び／又は第１の態様の実施例に基づく何れか１つの可能な実施形態により提供される方法を実行する、記憶媒体を更に提供する。

【0024】

本願の他の特徴及び利点は、以下の明細書において説明され、且つ本明細書から部分的に明らかになるか、又は本願の実施例の実施によって理解される。本願の目的及び他の利点は、書かれた明細書及び図面に特に指摘された構造によって実現され、得られることが可能である。

【0025】

本願の実施例又は従来技術における技術的解決手段をより明らかに説明するために、以下、実施例に使用される図面を簡単に紹介するが、無論、以下の説明における図面は本願のいくつかの実施例に過ぎず、当業者にとっては、創造的労働を行うことなく、これらの図面に基づいて他の図面を更に得ることができる。図示により、本願の上記と他の目的、特徴及び利点がより明瞭になる。全ての図面において、同じ符号は同一の部分を表す。図面は、意図的に実際の寸法などの比率に応じて拡大縮小されて描画されておらず、本願の要旨を示すことを重点としている。

【図面の簡単な説明】

【0026】

【図1】本願の実施例により提供される車両のアーキテクチャ概略図を示す。

【図2】本願の実施例により提供される車線検出方法のフローチャートを示す。

【図3】本願の実施例により提供される車線を補完する原理概略図を示す。

【図4】本願の実施例により提供される道路画像の概略図を示す。

【図5】本願の実施例により提供される道路画像から認識された初期車線の概略図を示す。

【図6】本願の実施例により提供される生成された目標車線の概略図を示す。

【図7】本願の実施例により提供される車線検出装置のモジュールブロック図を示す。

【図8】本願の実施例により提供される電子機器の構造概略図を示す。

【発明を実施するための形態】

【0027】

以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を説明する。

【0028】

類似する符号及びアルファベットは、以下の図面において類似する項目を表すため、ある項目が１つの図面において定義されると、その後の図面においてそれに対して更なる定義及び解釈を行う必要がないことに留意されたい。また、本願の説明において、「第１」、「第２」といった関係用語は、一方の実体又は操作を他方の実体又は操作と区別するためのものに過ぎず、これらの実体又は操作の間に何らかのこのような実際の関係又は順序が存在することを必ず要求又は示唆するとは限らない。また、「含む」、「包含」といった用語又はそれらの任意の他の変形は、非排他的包含を網羅することを意図し、それにより、一連の要素を含むプロセス、方法、物品又は機器がそれらの要素を含むだけでなく、明確に列挙されていない他の要素を更に含むか、又はこのようなプロセス、方法、物品又は機器に固有の要素を更に含む。更なる制限がない場合、「１つの…を含む」という語句によって限定される要素は、前記要素を含むプロセス、方法、物品又は機器に他の同様な要素が更に存在することを排除しない。

【0029】

なお、本願における「及び／又は」という用語は、関連対象の関連関係を説明するものに過ぎず、３種類の関係が存在し得ることを示し、例えば、Ａ及び／又はＢは、Ａが単独で存在する場合と、Ａ及びＢが同時に存在する場合と、Ｂが単独で存在する場合との３つの状況を示すことができる。

【0030】

従来の車線検出方法が完全な車線を正確で速やかに検出できないということに鑑み、現在、遮蔽される場合の車線検出は、複数枚の画像を処理することが多いか、又は深度マップ及びカメラ姿勢と組み合わせて予測する必要がある。複数枚の画像を処理する場合、データ量が大きいため、処理時間が長く、リアルタイム性に劣る。深度マップ及びカメラ姿勢と組み合わせる場合、深度マップ及びカメラ姿勢に依存する必要があるため、計算の複雑さとコストが増える。本願の実施例は、車線検出方法を提供し、ニューラルネットワークモデルにより道路画像内の車線に位置する初期点集合を予測するとともに、その中から少なくとも１つの点の位置特徴を抽出し、更に予めトレーニングされた第１のネットワークモデルにより少なくとも１つの点の位置特徴を処理し、対応する車線の傾向情報を得て、その後、傾向情報に基づいて初期点集合を含む目標車線を速やかに生成することができ、従来の車線検出方法が完全な車線を正確で速やかに検出できないという問題が解決される。

【0031】

本願の実施例により提供される車線検出方法は、車両に適用することができ、以下、図１を参照しながら本願に係る車両を説明する。ここで、図１は、その中で本明細書に開示される種々の技術を実現可能な車両１００の概略図である。車両１００は、セダン型自動車、トラック、自動二輪車、バス、船、飛行機、ヘリコプター、芝刈り機、ショベル、スノーモービル、航空機、レクリエーション用車両、遊園地車両、農場装置、建築装置、路面電車、ゴルフカート、列車、トロリーバス、又は他の車両であってよい。車両１００は、完全又は部分的に自動運転モードで動作することができる。車両１００は、自動運転モードでそれ自体を制御することができ、例えば、車両１００は、車両の現在状態及び車両が位置する環境の現在状態を決定し、当該環境における少なくとも１つの他の車両の予測挙動を決定し、当該少なくとも１つの他の車両がこの予測挙動を実行する可能性に対応する信頼レベルを決定し、決定された情報に基づいて車両１００自体を制御することができる。自動運転モードにある場合、車両１００は、人と対話することなく動作することができる。

【0032】

車両１００は、駆動システム１４２、センサシステム１４４、制御システム１４６、ユーザインタフェースシステム１４８、コンピューティングシステム１５０及び通信システム１５２などの各種の車両システムを含むことができる。車両１００は、より多いか又はより少ないシステムを含んでもよく、各システムは、複数のユニットを含むことができる。更に、車両１００の各システムとユニットとは、互いに接続されてもよい。例えば、コンピューティングシステム１５０は、駆動システム１４２、センサシステム１４４、制御システム１４６、ユーザインタフェースシステム１４８及び通信システム１５２のうちの１つ又は複数とデータ通信を行うことができる。それにより、車両１００の１つ又は複数の説明される機能は、付加的な機能性部材又は実体部材として分けられるか、又は、数がより少ない機能性部材又は実体部材として組み合わせられることが可能である。更なる例において、付加的な機能性部材又は実体部材は、図１に示す例に追加されてもよい。駆動システム１４２は、車両１００に運動エネルギーを提供する複数の操作可能な部材（又はユニット）を含むことができる。一実施例において、駆動システム１４２は、エンジン又は電動機、車輪、変速機、電子システム及び動力（又は動力源）を含むことができる。エンジン又は電動機は、内燃機関、電気モータ、蒸気機関、燃料電池エンジン、プロパンエンジン又は他の形態のエンジン又は電動機の任意の組み合わせであってもよい。いくつかの実施例において、エンジンは、動力源を機械的エネルギーに変換することができる。いくつかの実施例において、駆動システム１４２は、様々なエンジン又は電動機を含むことができる。例えば、ハイブリッド車両は、ガソリンエンジン及び電動機を含んでもよく、それ以外の場合を含んでもよい。

【0033】

車両１００の車輪は、標準車輪であってよい。車両１００の車輪は、一輪、二輪、三輪、又はセダン型自動車又はトラックの四輪などの四輪を含む様々な形態の車輪であってもよい。六輪又はより多くの車輪などの他の数の車輪であってもよい。車両１００の１つ又は複数の車輪は、他の車輪の回転方向と異なるように操作されることができる。車輪は、変速機に固定接続される少なくとも１つ車輪であってもよい。車輪は、金属とゴムの組み合わせ、又は他の物質の組み合わせを含むことができる。変速機は、エンジンの機械的動力を車輪に伝送するように操作可能なユニットを含むことができる。この目的のために、変速機は、歯車箱、クラッチ、差動歯車及び伝動軸を含むことができる。変速機は、他のユニットを含んでもよい。伝動軸は、車輪に適合する１つ又は複数の輪軸を含むことができる。電子システムは、車両１００の電子信号を伝送又は制御するためのユニットを含むことができる。これらの電子信号は、車両１００における複数のランプ、複数のサーボ機構、複数の電動機及び他の電子駆動又は制御装置を起動するために用いることができる。動力源は、全体的又は部分的にエンジン又は電動機に動力を提供するエネルギー源であってよい。即ち、エンジン又は電動機は、動力源を機械的エネルギーに変換することができる。例示的に、動力源は、ガソリン、石油、石油系燃料、プロパン、他の圧縮ガス燃料、エタノール、燃料電池、ソーラーパネル、電池及び他の電気エネルギー源を含むことができる。動力源は、燃料タンク、電池、コンデンサ、又はフライホイールの任意の組み合わせを付加的又は選択的に含むことができる。動力源は、車両１００の他のシステムにエネルギーを提供することもできる。

【0034】

センサシステム１４４は、車両１００の環境及び条件の情報を感知するための複数のセンサを含むことができる。例えば、センサシステム１４４は、慣性測定ユニット（ＩＭＵ）、ＧＮＳＳ（全地球航法衛星システム）、トランシーバ（例えば、全地球測位システム（ＧＰＳ）トランシーバ）、レーダ（ＲＡＤＡＲ）、レーザ距離計／ＬＩＤＡＲ（又は他の距離測定装置）、音響センサ、超音波センサ及びカメラ又は画像キャプチャ装置を含むことができる。センサシステム１４４は、車両１００を監視するための複数のセンサ（例えば、酸素（Ｏ_２）モニタ、燃料計センサ、エンジン油圧センサ及び温度、湿度、圧力センサなど）を含むことができる。他のセンサを更に配置してもよい。センサシステム１４４に含まれる１つ又は複数のセンサは、１つ又は複数のセンサの位置、方向、又はその両方を更新するために、単独で駆動されるか又は一括で駆動されることができる。

【0035】

ＩＭＵは、慣性加速に基づいて車両１００の位置変化及び方向変化を感知するために、センサの組み合わせ（例えば、加速器及びジャイロ）を含むことができる。ＧＰＳトランシーバは、車両１００の地理的位置を推定するための任意のセンサであってもよい。この目的のために、ＧＰＳトランシーバは、地球に対する車両１００の位置情報を提供するために、受信機／送信機を含むことができる。ＧＰＳは、全地球航法衛星システムの一例であるため、いくつかの実施例において、ＧＰＳトランシーバは、北斗衛星ナビゲーションシステムトランシーバ又はガリレオ衛星ナビゲーションシステムトランシーバに置き換えられてもよいことを説明しておく。レーダユニットは、無線信号を用いて車両１００が位置する環境における対象を感知することができる。いくつかの実施例において、対象を感知するほか、レーダユニットは、車両１００に接近する物体の速度及び前進方向を感知するために用いることもできる。レーザ距離計又はＬＩＤＡＲユニット（又は他の距離測定装置）は、レーザを用いて車両１００が位置する環境における物体を感知する任意のセンサであってもよい。一実施例において、レーザ距離計／ＬＩＤＡＲユニットは、レーザ光源、レーザスキャナー及び感知器を含むことができる。レーザ距離計／ＬＩＤＡＲユニットは、連続（例えば、ヘテロダイン検出を使用する）又は不連続の検出モードで動作するために用いられる。カメラは、車両１００が位置する環境の複数の画像をキャプチャするための装置を含むことができる。カメラは、静止画像カメラ又は動的ビデオカメラであってもよい。

【0036】

制御システム１４６は、車両１００及びその部材（又はユニット）に対する操作を制御するために用いられる。それに応じて、制御システム１４６は、ステアリングユニット、動力制御ユニット、制動ユニット及びナビゲーションユニットなどの様々なユニットを含むことができる。

【0037】

ステアリングユニットは、車両１００の前進方向を調整する機械の組み合わせであってよい。動力制御ユニット（例えば、アクセルであってよい）は、例えば、エンジンの運転速度を制御し、更に車両１００の速度を制御するために用いることができる。制動ユニットは、車両１００を減速させるための機械の組み合わせを含むことができる。制動ユニットは、標準方式で摩擦力を利用して車両を減速させることができる。他の実施例において、制動ユニットは、車輪の運動エネルギーを電流に変換することができる。制動ユニットは、他の形態を採用してもよい。ナビゲーションユニットは、車両１００のために運転経路又はルートを決定する任意のシステムであってもよい。ナビゲーションユニットは、車両１００の進行中に運転経路を動的に更新することもできる。制御システム１４６は、示されていないか又は説明されていない他の部材（又はユニット）を付加的又は選択的に含むこともできる。

【0038】

ユーザインタフェースシステム１４８は、車両１００と外部センサ、他の車両、他のコンピュータシステム及び／又は車両１００のユーザとの間のインタラクションを可能にするために用いることができる。例えば、ユーザインタフェースシステム１４８は、標準的な視覚表示装置（例えば、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）、タッチスクリーンディスプレイ、ヘッドマウントディスプレイ、又は他の類似するディスプレイ）、スピーカ又は他のオーディオ出力装置、マイクロフォン又は他のオーディオ入力装置を含むことができる。例えば、ユーザインタフェースシステム１４８は、ナビゲーションインタフェース及び車両１００の内部環境（例えば、温度、ファンなど）を制御するインタフェースを更に含むことができる。

【0039】

通信システム１５２は、車両１００のために１つ又は複数の機器又は周辺の他の車両と通信する方式を提供することができる。例示的な一実施例において、通信システム１５２は、直接、又は通信ネットワークによって１つ又は複数の機器と通信することができる。通信システム１５２は、例えば、無線通信システムであってよい。例えば、通信システムは、３Ｇセルラ通信（例えば、ＣＤＭＡ、ＥＶＤＯ、ＧＳＭ／ＧＰＲＳ）又は４Ｇセルラ通信（例えば、ＷｉＭＡＸ（登録商標）又はＬＴＥ）を利用してもよく、５Ｇセルラ通信を利用してもよい。選択的に、通信システムは、無線ローカルエリアネットワーク（ＷＬＡＮ）と通信することができる（例えば、ＷＩＦＩ（登録商標）を利用する）。いくつかの実施例において、通信システム１５２は、例えば、赤外線、ブルートゥース（登録商標）、又はＺＩＧＢＥＥ（登録商標）を利用して１つ又は複数の機器又は周辺の他の車両と直接通信することができる。各種の車載通信システムなどの他の無線プロトコルも、本願の開示範囲にある。例えば、通信システムは、車両及び／又は路側局と公的又は私的データ通信を行う１つ又は複数の専用狭域通信（ＤＳＲＣ）装置、Ｖ２Ｖ（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）装置又はＶ２Ｘ（Ｖｅｈｉｃｌｅ ｔｏ Ｅｖｅｒｙｔｈｉｎｇ）装置を含むことができる。

【0040】

コンピューティングシステム１５０は、車両１００の一部又は全部の機能を制御することができる。コンピューティングシステム１５０における自動運転制御ユニットは、車両１００が位置する環境における潜在的な障害の識別、評価、及び回避又は乗り越えに用いることができる。通常、自動運転制御ユニットは、運転者のない場合に車両１００を制御し、又は運転者が車両を制御するために補助を提供するために用いることができる。いくつかの実施例において、自動運転制御ユニットは、ＧＰＳトランシーバからのデータ、レーダデータ、ＬＩＤＡＲデータ、カメラデータ及び他の車両システムからのデータを組み合わせ、車両１００の走行経路又は軌跡を決定するために用いられる。自動運転制御ユニットは、車両１００が自動運転モードで運転可能になるように活性化されることができる。

【0041】

コンピューティングシステム１５０は、少なくとも１つのプロセッサ（それが少なくとも１つのマイクロプロセッサを含むことができる）を含むことができ、プロセッサは、不揮発性コンピュータ可読媒体（例えば、データ記憶装置又はメモリ）に記憶される処理命令（即ち、機械実行可能命令）を実行する。コンピューティングシステム１５０は、車両１００の部材又はシステムを分散的に制御する複数のコンピューティング装置であってもよい。いくつかの実施例において、メモリには、プロセッサによって車両１００の様々な機能を実現するように実行される処理命令（例えば、プログラム論理）を含むことができる。一実施例において、コンピューティングシステム１５０は、駆動システム１４２、センサシステム１４４、制御システム１４６、ユーザインタフェースシステム１４８、及び／又は通信システム１５２とデータ通信を行うことができる。コンピューティングシステムにおけるインタフェースは、コンピューティングシステム１５０と駆動システム１４２、センサシステム１４４、制御システム１４６、ユーザインタフェースシステム１４８、及び通信システム１５２との間のデータ通信を促進するために用いられる。

【0042】

メモリは、データ送信用の命令、データ受信用の命令、インタラクション用の命令、又は駆動システム１４２、センサシステム１４４、又は制御システム１４６又はユーザインタフェースシステム１４８を制御するための命令を含む、他の命令を含んでもよい。

【0043】

処理命令を記憶するほか、メモリは、画像処理パラメータ、道路地図及び経路情報などの様々な情報又はデータを記憶することができる。車両１００が自動方式、半自動方式及び／又は手動モードで動作する間、これらの情報は、車両１００及びコンピューティングシステム１５０によって使用されることができる。

【0044】

自動運転制御ユニットがプロセッサ及びメモリから分離して示されているが、理解すべきなのは、いくつかの実施形態において、自動運転制御ユニットの一部又は全部の機能は、１つ又は複数のメモリ（又はデータ記憶装置）に常駐するプログラムコード命令を利用して実現され、１つ又は複数のプロセッサによって実行することができ、また、自動運転制御ユニットは、いくつかの場合に同様のプロセッサ及び／又はメモリ（又はデータ記憶装置）を利用して実現されてもよい。いくつかの実施形態において、自動運転制御ユニットは、様々な特定用途向け回路論理、様々なプロセッサ、様々なフィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、様々な特定用途向け集積回路（「ＡＳＩＣ」）、様々なリアルタイムコントローラ及びハードウェアを少なくとも部分的に使用して実現することができる。

【0045】

コンピューティングシステム１５０は、様々な車両システム（例えば、駆動システム１４２、センサシステム１４４及び制御システム１４６）から受信した入力、又はユーザインタフェースシステム１４８から受信した入力に基づき、車両１００の機能を制御することができる。例えば、コンピューティングシステム１５０は、制御システム１４６からの入力を用いて、センサシステム１４４により検出された障害物を回避するようにステアリングユニットを制御することができる。一実施例において、コンピューティングシステム１５０は、車両１００及びそのシステムの複数の面を制御するために用いることができる。

【0046】

図１には車両１００に集積された様々な部材（又はユニット）が示されているが、これらの部材（又はユニット）のうちの１つ又は複数は、車両１００に搭載されるか又は車両１００に単独で関連付けられてもよい。例えば、コンピューティングシステムは、部分的又は全体的に車両１００から独立して存在してもよい。従って、車両１００は、分離又は集積されたデバイスユニットの形態で存在することができる。車両１００を構成するデバイスユニットの間は、有線通信又は無線通信の方式で相互通信を実現することができる。いくつかの実施例において、付加的な部材又はユニットを各システムに追加するか、又はシステムから１つ以上の部材又はユニット（例えば、図１に示すＬｉＤＡＲ又はレーダ）を取り外すことができる。

【0047】

本願に係る車両アーキテクチャを紹介した後、以下、図２を参照しながら本願の実施例により提供される車線検出方法を説明する。

【0048】

ステップＳ１０１において、検出される画像を取得する。

【0049】

車両に取り付けられたカメラによって車両の走行中の道路画像をリアルタイムに収集し、検出される画像を得ることができる。

【0050】

ステップＳ１０２において、前記画像内の車線にある初期点集合を決定する。初期点集合は、少なくとも１つの初期点を含み、初期点は、画像内の車線に位置する点、画像内の車線の延長線に位置する点の少なくとも１つを含む。

【0051】

検出される画像を取得した後、画像を処理し、画像内の車線に位置する初期点集合を決定する。初期点集合における点は、全て画像内の車線全体に沿って位置し、画像に現れた車線セグメントがＡＢセグメントであると仮定すると、ＡＢの傾向に従ってＡＢを画像の限界線まで延長し、完全なＣＤセグメントを得て、ＣＤセグメントにおける任意の１つの点又は複数の点を初期点集合における点として選択することができる。本願の目的の１つは、いくつかの初期点集合をランダムに決定し、これらの初期点集合に基づいてこれらの点集合を含む完全な車線を生成し、例えば、ＣＤセグメントにおける任意の１つの点及び複数の点を選択してＣＤセグメントの完全な車線を生成することである。

【0052】

ここで、画像内の車線に位置する初期点集合を決定するために、多くの方法を採用可能であり、本願は、具体的な実現形態に限定されず、決定された初期点集合における点が全て画像内の車線が位置する線にあることを保証できればよい。例えば、画像内の車線画素点（即ち、車線に位置する画素点）を認識するとともに、これらの車線画素点からいくつかの初期点を決定して初期点集合を構成することができる。車線画素点の認識は、セマンティックセグメンテーション方法を採用することができ、例えば、セマンティックセグメンテーションモデルに基づいて各画素点が車線画素点であるか否かを認識するとともに、車線に属する画素点から１つ又は複数の初期点を選択して初期点集合を構成する。ここで、更にセマンティックセグメンテーションモデルによって画像内の初期車線を直接認識するとともに、初期車線から初期点集合を選択することができる。又は、画像処理方法を採用して初期点集合を決定し、例えば、車線の画像特徴に基づき、特定の画像エッジ検出又は直線検出方法を採用して車線を検出するとともに、これらの線から点を抽出して初期点とする。

【0053】

更に、列挙の方法により初期点集合を決定してもよく、例えば、画像内のいくつかの画素点集合を候補点集合としてランダムに選択し、選択された点のそれぞれに対して、当該点の位置特徴（当該点の位置座標及びシフト特徴を含む）を予めトレーニングされた傾向予測モデル、即ち、以下に言及される第１のネットワークモデルに入力し、予測結果により次の点が依然として本像素又は本グリッド（そのうち、後者について、車線検出を行う場合、画像をｍ＊ｎ、例えば、ｍ行ｎ列の画像グリッドに分割することができ、ｎとｍは、いずれも正の整数であり、例えば、５７６×１０２４画素の画像を７２×１２８個のグリッドに分割し、具体的な分割数は、これに限定されない）にあることを示す場合、当該点が初期点ではないと考えられ、逆に、予測し続けることができる場合、当該点が初期点であると考えられる。候補点集合における全ての点を予測した後、これらの候補点が全て初期点ではないことを発見した場合、現在のフレームの画像に車線がないことを表すため、現在の画像の車線を補完するステップをスキップし、次の画像に予測処理を行ってよいことを理解すべきである。

【0054】

そのうち、初期点集合は、少なくとも１つの点を含み、更に、初期点集合は、複数の点を含み、複数の点は、同一の車線に位置してよく、又は複数の点は、複数本の車線に分布する。初期点集合は、複数本の車線に位置する点を含むことができ、且つ同一の車線にとって、これらの点は、当該車線に連続的に分布してもよく、当該車線に離散的に分布してもよい。

【0055】

各車線は、縦方向に所定のピッチだけ隔てられた点で表されるため、初期点集合が複数の点を含む場合、決定された初期点集合で初期車線を表すことができ、それに応じて、ステップＳ１０２は、前記画像を処理し、画像内の初期車線を得るステップを含むことができる。そのうち、予めトレーニングされたセマンティックセグメンテーションモデルを利用して画像を処理し、画像内の初期車線を得ることができる。

【0056】

セマンティックセグメンテーションモデルのトレーニングを行う場合、トレーニング画像を利用して初期のセマンティックセグメンテーションモデルをトレーニングし、トレーニングされたモデルを得ることができる。そのうち、トレーニング画像は、各画素点又は各画素点が位置するグリッドが車線に属するか否かのマークを含む。トレーニング画像における任意の隣接する２つの破線線分間の空白領域は、いずれも車線としてマークされることで、セマンティックセグメンテーションモデルにより得られた初期車線が破線の車線における任意の隣接する２つの破線線分間の空白領域を含むようになることを説明しておく。

【0057】

ここで、データをマークする時、破線の車線間の空白領域を車線として直接マークすると、モデルによる予測時に破線の車線間の空白領域も車線画素点として予測される。本願は、セマンティックセグメンテーションモデルにより予測すれば、破線の車線間を正確に接続することができ、効率が高くて精度が高い。破線の車線間の空白領域を車線としてマークしない場合、破線の車線を生成した後、更に破線の車線間に対して車線補完方法により補完する必要があり、計算難易度が大幅に増やされ、車線補完の精度が低減される。

【0058】

なお、車線をマークする時、各車線の画像における位置属性をマークすることもでき、例えば、当該車線は、左側車線、中間車線又は右側車線などであり、又は、車線は、１本目の車線、２本目の車線、…、ｎ本目の車線などであり、又は、車線は、左１車線、左２車線、右１車線、右２車線などである。具体的なマーク方式は、当業者が必要に応じて自ら設定することができ、本願は、これに対して限定しない。このように、初期車線の予測を行う時、各車線の位置属性を得ることができ、後続で位置属性が同一の車線に接続・補完を行いやすくなり、車線接続結果に対して判断・検証を行うために用いることもできる。具体的なトレーニングプロセスは、当業者に熟知したものであり、ここでその紹介を省略する。

【0059】

ステップＳ１０３において、前記初期点集合における少なくとも１つの点の位置特徴を抽出する。

【0060】

画像内の車線に位置する初期点集合を得た後、初期点集合における少なくとも１つの点の位置特徴を抽出することで、後続で予めトレーニングされた第１のネットワークモデルにより抽出された少なくとも１つの点の位置特徴を処理し、対応する車線の傾向情報を得る。

【0061】

初期点集合が複数本の車線に位置する点を含む場合、後続で車線の予測を行う時、例えば、同時に各車線に位置する初期点集合から少なくとも１つの点の位置特徴を抽出するように、複数本の車線を並行して同時に予測してもよく、例えば、ある車線に位置する初期点集合から少なくとも１つの点の位置特徴を抽出して予測し、当該車線の完全な線を生成した後、次の車線に位置する初期点集合から少なくとも１つの点の位置特徴を抽出して予測し、このように類推するように、シリアルで予測してもよい。

【0062】

また、各車線が縦方向に所定のピッチだけ隔てられた点で表されるため、初期点集合が複数の点を含む場合、決定された初期点集合で初期車線を表すことができ、それに応じて、このステップは、初期車線から少なくとも１つの点の位置特徴を抽出することであると理解されてもよい。更に、画像内の初期車線を認識し、初期車線から初期点集合を決定するとともに、初期点集合における少なくとも１つの点の位置特徴を抽出することであると理解されてもよい。

【0063】

初期車線自体が完全な車線（例えば、画像の四辺の限界線に達する車線）である場合、補完する必要がないため、時間コストを節約するために、初期車線を得た後、初期車線から補完される車線を認識し、更に補完される車線から少なくとも１つの点の位置特徴を抽出することができる。ここで、初期車線が画像限界線に達するか否かを判断することで補完される車線を認識することができ、例えば、画像の上限界線と下限界線に同時に達する場合、又は画像の上限界線と左限界線に同時に達する場合、いずれも完全な車線であり、補完する必要がないと考えられる。初期車線の何れか一端が画像限界線に達していない場合、補完される車線であると考えられる。この場合、初期点集合は、初期車線又は補完される車線の両側端点を含むことができ、無論、これに限定されない。

【0064】

各初期車線又は補完される車線が同じ水平高さに複数の点を有する可能性があることを考慮した上で、本願は、初期車線又は補完される車線を得た後、まず、太線の車線を細線の車線に変換し、即ち、車線における同じ水平高さに位置する点に削除処理を行うことができ、例えば、車線の同一の軸線に位置する点、例えば車線の中線の点のみを保留する。また、同じ水平高さに位置する複数の点の座標を平均して１つの新しい点の座標とするとともに、当該新しい点で同じ水平高さに位置する複数の点を置き換えることもできる。無論、本願は、具体的な実現形態に限定されず、太線の車線を細線に変換できる方法は、全て本願の保護範囲にある。その後、当該細線の中間点に基づいて、初期点集合を決定し、少なくとも１つの点の特徴を抽出し、細線の中間点の座標に基づいてモデルによる予測後の座標を修正するなどの処理を行うことができる。補完される車線が複数本である場合、まず、そのうち距離が最も長い補完される車線を選択するとともに、当該距離が最も長い補完される車線における少なくとも１つの点の位置特徴を抽出し、距離が最も長い補完される車線から補完することができる。選択的に、当該距離が最も長い補完される車線が位置する完全な車線を生成した後、更に残りの補完される車線から距離が最も長い車線を選択して補完し始め、このように予測の精度を向上させることができる。

【0065】

そのうち、補完される車線は、線分の両側端点が画像限界線に達していない車線であり、１つの端点だけでも画像限界線に達していなければ、補完される車線である。目標車線は、完全な車線であり、線分の両側端点が画像限界線に達する車線を含む。画像限界線は、上限界線、下限界線、左限界線及び右限界線のうちの少なくとも１つを含む。上限界線は、画像の上縁部から第１の所定の距離だけ離れ、下限界線は、画像下縁部から第２の所定の距離だけ離れ、左限界線は、画像左縁部から第３の所定の距離だけ離れ、右限界線は、画像の右縁部から第２の所定の距離だけ離れ、このように類推する。この４つの所定の距離は、それぞれ同じ又は異なる値であってもよく、当業者は、経験や必要に応じて自ら設定することができ、本願は、これに対して限定しない。更に、画像の上部が一般的に空又は海であることを考慮し、第１の所定の距離は、画像における空又は海の長さの割合であってよく、この場合、上限界線は、画像における空又は海の下縁線であると考えられる。無論、この４つの所定の距離は、いずれも０であってもよく、例えば、下限界線、左限界線及び右限界線は、それぞれ画像の下縁部、左縁部及び右縁部である。そのうち、各点の位置特徴は、当該点の位置座標及びシフト特徴を含み、シフト特徴は、当該点から次の点までの位置関係を特徴付ける高次元ベクトルである。各点のシフト特徴は、各点の位置座標に基づいて予めトレーニングされた第２のネットワークモデルの中間層から抽出することができる。当該第２のネットワークモデルは、セマンティックセグメンテーションモデルであってもよく、シフト特徴を抽出するために専用されるニューラルネットワークモデルであってもよい。

【0066】

そのうち、第２のネットワークモデルは、予めトレーニングされたネットワークモデルであり、そのトレーニングプロセスは、複数のマークされたトレーニング画像を含む第２のトレーニング集合を取得するステップと、第２のトレーニング集合を利用して初期の第２のネットワークモデルをトレーニングし、トレーニングされたモデル、即ち第２のネットワークモデルを得るステップと、を含むことができる。第２のトレーニング集合のトレーニング画像には複数本の車線及び各車線における各点から次の点までの座標シフト量がマークされていることを説明しておく。そのうち、具体的なトレーニングプロセスは、当業者に熟知したものであり、ここでその詳細な紹介を省略する。

【0067】

本願の実施例において、当該点から次の点までの位置関係を特徴付けるシフト特徴を抽出するためのトレーニングされた第２のネットワークモデルにより各点のシフト特徴を抽出することで、検出精度を向上させる。

【0068】

ステップＳ１０４において、予めトレーニングされた第１のネットワークモデルにより前記少なくとも１つの点の位置特徴を処理し、対応する車線の傾向情報を得て、前記傾向情報に基づいて前記初期点集合を含む目標車線を生成する。

【0069】

少なくとも１つの点の位置特徴を抽出した後、予めトレーニングされた第１のネットワークモデルにより少なくとも１つの点の位置特徴を処理し、対応する車線の傾向情報を得て、前記傾向情報に基づいて初期点集合を含む目標車線を生成する。目標車線は、１本又は複数本であってよく、初期点集合は、これらの目標車線に分布し、各目標車線は、完全な車線又は所定の停止位置に達すると予測される車線である。つまり、本願において、１枚の道路画像を収集した後、画像自体の車線は、汚れや摩耗、陰影による覆い、画素のぼやけ又は物体による遮蔽などの多くの場合によって、車線が完全に表示されない場合があり、本願の車線検出方法によれば、最終的に現れるのは、一般的に画像の縁部（即ち、車線の端点が画像限界線にある）に達する完全な車線であり、車線認識精度が向上する。これらの車線と道路境界線との距離に基づき、測位をより正確に行うことができる。

【0070】

そのうち、第１のネットワークモデルが各点の位置特徴を処理する時、第１のネットワークモデルの入力は、現在の点の位置座標、シフト特徴、及び第１のネットワークモデルが前回学習した傾向情報を含み、第１のネットワークモデルの出力は、現在の点から次の点までの座標シフト量、及び今回学習した傾向情報を含む。傾向情報は、高次元ベクトルであり、第１のネットワークモデルにより１回目の予測時に入力された傾向情報は、所定の初期値である。本願の実施例において、現在の点の位置座標、シフト特徴をネットワークモデルに入力するほか、モデルが前回学習した傾向情報をもネットワークモデルに入力し、モデルが各点間の傾向情報を絶えず学習することで、車線を速やかで正確に補完し、完全な車線を得ることができる。

【0071】

つまり、第１のネットワークモデルにより前記少なくとも１つの初期点の位置特徴を処理するステップは、第１のネットワークモデルにより複数回の予測を実行するステップを含み、第１のネットワークモデルの非初回予測時における入力は、前回学習した点の位置座標、シフト特徴及び前記第１のネットワークモデルが前回学習した傾向情報を含み、第１のネットワークモデルの毎回の予測時における出力は、今回学習した点の位置座標及び今回学習した傾向情報を含み、第１のネットワークモデルの初回予測時における入力は、少なくとも１つの初期点の位置座標、シフト特徴を含み、目標車線における点は、更に前記第１のネットワークモデルが毎回予測する時に学習した点を含む。

【0072】

一実施形態において、ステップＳ１０４のプロセスは、第１のネットワークモデルにより現在の点の位置座標、シフト特徴及び第１のネットワークモデルが前回学習した傾向情報を処理し、現在の点から次の点までの座標シフト量、及び今回学習した傾向情報を出力するステップと、座標シフト量及び現在の点の位置座標に基づいて次の点の位置座標を決定するステップと、次の点のシフト特徴、位置座標及び第１のネットワークモデルが今回学習した傾向情報をモデルの入力として、次の点から更に次の点までのシフト座標及び最新の傾向情報を出力し、所定の停止位置に達する（即ち、所定の位置の点がモデルにより予測される）までこのように類推するステップと、を含むことができる。例えば、現在の点の位置座標及び今回出力したシフト座標に基づいて計算された次の点の位置座標が所定の停止位置にある（例えば、画像限界線にある）場合、又は推定予測回数が所定の値に等しくなる場合、予測された次の点が所定の停止位置であり、即ち、所定の停止位置に達したことを意味する。

【0073】

理解しやすくするために、例を挙げて説明し、１回目の予測時に、開始点である１番目の点の位置座標、シフト特徴及び所定の傾向情報の初期値を第１のネットワークモデルに入力し、現在の点である開始点から次の点までの座標シフト量、及び今回学習した傾向情報を出力し、２回目の予測時に、１回目の予測により得られた座標シフト量及び１番目の点の位置座標に基づき、次の点である２番目の点の位置座標を得た後、次の点である２番目の点の位置座標、シフト特徴及び今回学習した傾向情報を第１のネットワークモデルに入力し、次の点である２番目の点から更に次の点である３番目の点のシフト座標及び最新の傾向情報を出力し、３回目の予測時に、２回目の予測により得られた座標シフト量及び２番目の点の位置座標に基づき、２番目の点の位置座標を得た後、３番目の点の位置座標、シフト特徴及び２回目に学習した傾向情報を第１のネットワークモデルに入力し、３番目の点から４番目の点までのシフト座標及び最新の傾向情報を出力し、所定の停止位置に達するまでこのように類推する。各点のシフト特徴は、各点の位置座標に基づいて予めトレーニングされた第２のネットワークモデルの中間層から抽出できることを説明しておく。

【0074】

そのうち、所定の停止位置に達したと決定するプロセスは、所定の回数反復し、例えば１００回反復した場合、又は補完される車線が画像限界線に達した場合、所定の停止位置に達したと決定することを含む。所定の回数反復することで所定数の点が予測される。

【0075】

一実施形態において、座標シフト量及び現在の点の位置座標に基づいて次の点の位置座標を決定するプロセスは、次の点の位置座標とある初期点の高さが同じであり、且つ両者の水平方向の距離が所定の画素（例えば、１つの画素点）以下である場合、当該初期点に基づいて次の点の位置座標を修正することであってよい。次の点の位置座標を修正することで、誤差を低減し、更に検出の精度を向上させることができる。

【0076】

更に、初期車線が既に認識された場合、初期車線における点に基づいて車線の傾向情報を予測する時、座標シフト量及び現在の点の位置座標に基づいて次の点の位置座標を決定するプロセスは、次の点の位置座標と初期車線との水平方向における距離が所定の画素（例えば、１つの画素点）以下である場合、当該初期車線の同じ高さに位置する点に基づいて次の点の位置座標を修正することであってよい。更に、初期車線から補完される車線を認識した場合、補完される車線における点に基づいて車線の傾向情報を予測する時、座標シフト量及び現在の点の位置座標に基づいて次の点の位置座標を決定するプロセスは、次の点の位置座標と補完される車線との水平方向における距離が所定の画素（例えば、１つの画素点）以下であることに応答して、当該補完される車線の同じ高さに位置する点に基づいて次の点の位置座標を修正するステップを含むことができる。

【0077】

一実施形態において、画像は、ｍ＊ｎの画像グリッドに分割されてよく、この場合、現在の点から次の点までの座標シフト量は、現在の点が位置するグリッドの中心点から次の行のグリッドにおける車線中間点までの座標シフト量である。画像をｍ＊ｎの画像グリッドに分割することで、各点の位置座標、及び各点から当該点の次の点までの座標シフト量をより速やかに決定することができる。

【0078】

１つの選択的な実施形態において、第１のネットワークモデルに入力される位置座標は、正規化された座標であり、このように予測誤差を低減することができる。無論、ここで、他の上限値と下限値に基づいて第１のネットワークモデルの位置座標を標準化してもよく、当業者は、必要に応じて標準化の最大値を設定することができ、本願は、これに対して限定しない。

【0079】

一実施形態において、車線の予測精度を向上させるために、ステップＳ１０４のプロセスは、予めトレーニングされた第１のネットワークモデルにより少なくとも１つの点の位置特徴を処理し、対応する車線の第１の方向に沿う傾向情報を得るとともに、第１の方向における所定の停止位置に達するまで、第１の方向の傾向情報に基づいて複数の点を生成するステップと、第１の方向の所定の停止位置から、第１のネットワークモデルにより対応する車線の第２の方向に沿う傾向情報を予測するとともに、第２の方向における所定の停止位置に達するまで、第２の方向の傾向情報に基づいて複数の点を生成するステップと、を含むことができる。このような実施形態において、まず、第１の方向に沿って、少なくとも１つの点の位置特徴を処理して対応する車線の第１の方向に沿う傾向情報を得るとともに、第１の方向における所定の停止位置に達するまで、第１の方向の傾向情報に基づいて複数の点を生成し、その後、反対の方向に沿って、車線の第２の方向に沿う傾向情報を予測するとともに、第２の方向における所定の停止位置に達するまで、第２の方向の傾向情報に基づいて複数の点を生成する。反対である２つの方向から同一の車線を予測することで、第１のネットワークモデルに入力される特徴点がより多いため、モデルは、より正確な傾向情報を学習することができ、更に検出の精度を向上させることができる。

【0080】

そのうち、各方向の車線の傾向情報を予測するプロセスは、上記プロセスと同じであり、例えば、第１のネットワークモデルにより現在の点の位置座標、シフト特徴及び第１のネットワークモデルが前回学習した傾向情報を処理し、現在の点から次の点までの座標シフト量、及び今回学習した傾向情報を出力し、座標シフト量及び現在の点の位置座標に基づいて次の点の位置座標を決定し、次の点のシフト特徴、位置座標及び第１のネットワークモデルが今回学習した傾向情報をモデルの入力として、次の点から更に次の点までのシフト座標及び最新の傾向情報を出力し、所定の停止位置に達するまでこのように類推する。

【0081】

理解しやすくするために、図３に示す概略図を例として説明し、初期点集合が図中の線分１の部分にあると仮定すると、図中の第１の方向又は第２の方向の何れか１つの方向に沿って車線の傾向を予測し、例えば、第１の方向における車線の傾向を予測するとともに、第１の方向における所定の停止位置に達するまで、第１の方向の傾向情報に基づいて複数の点を生成し、その後、反対の方向である第２の方向に沿って、車線の第２の方向に沿う傾向情報を予測するとともに、第２の方向における所定の停止位置に達するまで、第２の方向の傾向情報に基づいて複数の点を生成することができる。図３における第１の方向と第２の方向は交換可能であり、即ち、上向きの方向は第２の方向であってもよく、下向きの方向は第１の方向であってもよい。

【0082】

１つの選択的な実施形態において、予めトレーニングされた第１のネットワークモデルにより少なくとも１つの点の位置特徴を処理し、対応する車線の傾向情報を得るプロセスは、予めトレーニングされた第１のネットワークモデルにより初期点集合の第１の方向における少なくとも１つの点の位置特徴を処理し、対応する車線の第１の方向に沿う傾向情報を得るステップと、予めトレーニングされた第１のネットワークモデルにより初期点集合の第２の方向における少なくとも１つの点の位置特徴を処理し、対応する車線の第２の方向に沿う傾向情報を得るステップと、を含むことができる。２つの異なる方向に沿って同時に少なくとも１つの点の位置特徴を処理することにより、対応する車線の２つの方向に沿う傾向情報が得られ、車線の補完を開始することができる。

【0083】

理解しやすくするために、図３に示す概略図を例として説明し、初期点集合が図中の線分１の部分にあると仮定すると、図中の第１の方向と第２の方向の２つの方向に沿って同一の車線を予測し、例えば、Ａ点から、第１の方向に沿って第１の方向における車線の傾向を予測し、Ｂ点から、第２の方向に沿って第２の方向における車線の傾向を予測することができ、このように入力される初期点をより多くし、予測精度を向上させることができる。

【0084】

初期点集合が複数の点を含む場合、初期車線として表されてよく、初期車線が補完される車線である場合、それに応じて、予めトレーニングされた第１のネットワークモデルにより少なくとも１つの点の位置特徴を処理し、対応する車線の傾向情報を得るプロセスは、予めトレーニングされた第１のネットワークモデルにより補完される車線の第１の方向における複数の点の位置特徴を処理し、補完される車線の第１の方向に沿う傾向情報を得るステップと、予めトレーニングされた第１のネットワークモデルにより補完される車線の第２の方向における複数の点の位置特徴を処理し、補完される車線の第２の方向に沿う傾向情報を得るステップと、を含むことができ、そのうち、補完される車線の第１の方向における複数の点と第２の方向における複数の点の間に１つの共通点が存在する。

【0085】

また、補完される車線が複数本である場合、そのうち距離が最も長い補完される車線を選択して車線の補完を行い、当該距離が最も長い補完される車線に対する補完が完了した後、残りの補完される車線から車線を選択して補完することができる。第１の方向から所定の停止位置まで補完した後、更に所定の停止位置から第２の方向に沿って、第２の方向の所定の停止位置まで補完してもよく、第１の方向と第２の方向から同時に当該距離が最も長い車線に車線の補完を行ってもよい。

【0086】

例えば、距離が最も長い補完される車線から抽出された少なくとも１つの点の位置特徴は、第１の端点における第１の位置特徴及び第２の端点における第２の位置特徴を含む。この場合、第１の方向と第２の方向から同時に当該距離が最も長い補完される車線に車線の補完を行うプロセスは、予めトレーニングされた第１のネットワークモデルにより第１の位置特徴を処理し、補完される車線の第１の端点から第２の端点までの方向における傾向情報を予測するステップと、予めトレーニングされた第１のネットワークモデルにより第２の位置特徴を処理し、補完される車線の第２の端点から第１の端点までの方向における傾向情報を予測するステップと、を含むことができる。

【0087】

図３に示す概略図を例として説明し、初期車線が図中の線分１及び線分２の２つの部分を含むと仮定すると、線分１及び線分２の部分がいずれも補完される車線であり、且つ線分１の部分が線分２の部分よりも長いため、線分１の部分を選択して車線の補完を行うことができ、例えば、第１の方向に沿って複数の点を生成し、線分３の部分を得て、第２の方向に沿って複数の点を生成し、線分４の部分を得て、車線を補完する。一実施形態において、第１のネットワークモデルは、第１のネットワークブランチと、第２のネットワークブランチとを含む。第１のネットワークブランチは、第１の方向から対応する車線の傾向情報を予測するために用いられ、第２のネットワークブランチは、第２の方向から対応する車線の傾向情報を予測するために用いられ、第１の方向と第２の方向の向きが反対である。このような実施形態において、車線の第１の方向に沿う傾向情報を予測する場合、第１のネットワークブランチを利用して予測し、車線の第２の方向に沿う傾向情報を予測する場合、第２のネットワークブランチを利用して予測し、異なるネットワークブランチによって異なる方向の傾向情報を予測し、車線検出の精度を向上させると同時に、２つのネットワークブランチにより同時に異なる方向から車線を補完することができ、完全な車線を得る速度を加速することができる。そのうち、第１のネットワークモデルは、予めトレーニングされた傾向予測モデルであり、主に車線の傾向情報を予測するために用いられる。それは、回帰型ニューラルネットワークモデルであってよく、例えば、各ステップのパラメータが共有される回帰型ニューラルネットワークモデルであってよい。位置座標を正規化することで、計算に関与するデータ量の差が大き過ぎ、トレーニング精度に影響を与えることを回避する。そのうち、回帰型ニューラルネットワークモデルは、長・短期記憶（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ，ＬＳＴＭ）ネットワークモデルであってもよく、ＧＲＵ（Ｇａｔｅ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）ネットワークモデルなどであってもよい。

【0088】

そのトレーニングプロセスは、複数本の車線の座標列を取得するステップと、各車線における各点から次の点までの座標シフト量及びシフト特徴を抽出し、第１のトレーニング集合を生成するステップと、第１のトレーニング集合を利用して初期の第１のネットワークモデルをトレーニングし、トレーニングされたモデルを得るステップと、を更に含むことができる。第１のネットワークモデルが車線における各点から次の点までの位置関係を学習し、更に車線の傾向情報を学習するように、抽出された各車線における各点から次の点までの座標シフト量及びシフト特徴を利用して初期の第１のネットワークモデルをトレーニングすることで、後続で当該ネットワークモデルに基づいて車線を速やかに検出することができる。そのうち、具体的なトレーニングプロセスは、当業者に熟知したものであり、ここでその詳細な紹介を省略する。

【0089】

本技術案を全体的に理解しやすくするために、以下、図４～図６に示す概略図を参照しながら、本願の実施例に示される車線検出方法を用いて車線検出を行う実例を説明する。

【0090】

図４は、本願の１つの道路画像の概略図であり、その中から認識された初期車線は、図５に示される。そのうち、最も左側の車線は、車両により遮蔽されたため、表示された初期車線は、遮蔽されていない部分だけである。中間は破線の車線であり、当該破線の車線は、画像の上限界線に達したが、下限界線に達していないため、補完する必要がある。また、破線ブロック間の空白領域も、初期車線として認識され、後続の車線補完の効率を向上させる。右側は実線の車線であり、当該実線の車線自体は、画像の上限界線及び下限界線に達したため、完全な車線であり、補完する必要がない。本願の実施例に示される車線検出方法を用いて図５に示す車線を補完した後、図６に示す結果を得て、そのうち、各車線は、いずれも完全な車線として示され、ユーザ体験を向上させるだけでなく、これらの完全な車線に基づいて車両の測位などの後続のアルゴリズムを行いやすくなる。

【0091】

同一の発明概念に基づき、本願の実施例は、図７に示すように、車線検出装置２００を更に提供する。当該車線検出装置２００は、取得モジュール２１０と、処理モジュール２２０とを含む。

【0092】

取得モジュール２１０は、車線を含む画像を取得するために用いられる。

【0093】

処理モジュール２２０は、前記画像内の車線にある初期点集合を決定し、前記初期点集合における少なくとも１つの点の位置特徴を抽出し、予めトレーニングされた第１のネットワークモデルにより前記少なくとも１つの点の位置特徴を処理し、対応する車線の傾向情報を得て、前記傾向情報に基づいて前記初期点集合を含む目標車線を生成するために用いられる。前記目標車線は、線分の両側端点が画像限界線に達する車線を含む。

【0094】

そのうち、各車線は、縦方向に所定のピッチだけで隔てられた点で表され、各点の前記位置特徴は、当該点の位置座標及びシフト特徴を含み、前記シフト特徴は、当該点から次の点までの位置関係を特徴付ける高次元ベクトルであり、各点の位置座標に基づいて予めトレーニングされた第２のネットワークモデルの中間層から抽出される。

【0095】

前記初期点集合が複数の点を含む場合、前記複数の点は、同一の車線に位置し、又は前記複数の点は、複数本の車線に分布する。

【0096】

前記第１のネットワークモデルにより各点の位置特徴を処理する時、前記第１のネットワークモデルの入力は、現在の点の位置座標、シフト特徴、及び前記第１のネットワークモデルが前回学習した傾向情報であり、前記第１のネットワークモデルの出力は、現在の点から次の点までの座標シフト量、及び今回学習した傾向情報である。

【0097】

前記傾向情報は、高次元ベクトルであり、前記第１のネットワークモデルにより１回目の予測時に入力された傾向情報は、所定の初期値である。

【0098】

一実施形態において、前記処理モジュール２２０は、具体的に、前記第１のネットワークモデルにより現在の点の位置座標、シフト特徴及び前記第１のネットワークモデルが前回学習した傾向情報を処理し、現在の点から次の点までの座標シフト量、及び今回学習した傾向情報を出力し、前記座標シフト量及び現在の点の位置座標に基づいて次の点の位置座標を決定し、次の点のシフト特徴、位置座標及び前記第１のネットワークモデルが今回学習した傾向情報をモデルの入力として、次の点から更に次の点までのシフト座標及び最新の傾向情報を出力し、所定の停止位置に達するまでこのように類似するために用いられる。前記所定の停止位置は、所定の反復回数に達した場合の位置又は画像限界線を含む。前記画像限界線は、上限界線、下限界線、左限界線及び右限界線のうちの少なくとも１つを含む。

【0099】

一実施形態において、前記処理モジュール２２０は、具体的に、次の点の位置座標と前記初期点集合における同じ高さに位置する点との水平方向における距離が所定の画素以下である場合、当該同じ高さに位置する点に基づいて前記次の点の位置座標を修正するために用いられる。

【0100】

一実施形態において、前記第１のネットワークモデルは、各ステップのパラメータが共有される回帰型ニューラルネットワークモデルであり、第１のネットワークモデルに入力される前記位置座標は、正規化された座標である。

【0101】

一実施形態において、前記画像は、ｍ＊ｎの画像グリッドに分割され、前記現在の点から次の点までの座標シフト量は、現在の点が位置するグリッドの中心点から次の行のグリッドにおける車線中間点までの座標シフト量である。

【0102】

一実施形態において、前記第１のネットワークモデルは、第１のネットワークブランチと、第２のネットワークブランチとを含み、前記第１のネットワークブランチは、第１の方向から対応する車線の傾向情報を予測するために用いられ、前記第２のネットワークブランチは、第２の方向から対応する車線の傾向情報を予測するために用いられ、前記第１の方向と第２の方向の向きが反対である。

【0103】

一実施形態において、前記処理モジュール２２０は、具体的に、予めトレーニングされた第１のネットワークモデルにより前記少なくとも１つの点の位置特徴を処理し、対応する車線の第１の方向に沿う傾向情報を得るとともに、第１の方向における所定の停止位置に達するまで、第１の方向の傾向情報に基づいて複数の点を生成し、第１の方向の所定の停止位置から、前記第１のネットワークモデルにより対応する車線の第２の方向に沿う傾向情報を予測するとともに、第２の方向における所定の停止位置に達するまで、第２の方向の傾向情報に基づいて複数の点を生成するために用いられ、前記第１の方向と第２の方向の向きが反対である。

【0104】

一実施形態において、前記処理モジュール２２０は、具体的に、予めトレーニングされた第１のネットワークモデルにより前記初期点集合の第１の方向における少なくとも１つの点の位置特徴を処理し、対応する車線の第１の方向に沿う傾向情報を得て、予めトレーニングされた第１のネットワークモデルにより前記初期点集合の第２の方向における少なくとも１つの点の位置特徴を処理し、対応する車線の第２の方向に沿う傾向情報を得るために用いられ、前記第１の方向と第２の方向の向きが反対である。

【0105】

選択的に、取得モジュール２１０は、更に複数本の車線の座標列を取得するために用いられ、処理モジュール２２０は、更に各車線における各点から次の点までの座標シフト量及びシフト特徴を抽出し、第１のトレーニング集合を生成し、前記第１のトレーニング集合を利用して初期の第１のネットワークモデルをトレーニングし、トレーニングされたモデルを得るために用いられる。

【0106】

選択的に、取得モジュール２１０は、更にそのトレーニング画像に複数本の車線及び各車線における各点から次の点までの座標シフト量がマークされている第２のトレーニング集合を取得するために用いられ、処理モジュール２２０は、更に前記第２のトレーニング集合を利用して初期の第２のネットワークモデルをトレーニングし、トレーニングされたモデルを得るために用いられる。

【0107】

本願の実施例により提供される車線検出装置２００は、その実現原理及び得られた技術的効果が前述した方法の実施例と同じであり、説明を簡略化するために、装置の実施例の部分で言及されていない内容は、前述した方法の実施例における対応する内容を参照することができる。

【0108】

同一の発明概念に基づき、図８に示すように、本願の実施例は、上記車線検出方法を実行するための電子機器３００を更に提供する。前記電子機器３００は、通信インタフェース３１０、メモリ３２０、通信バス３３０及びプロセッサ３４０を含む。

【0109】

前記通信インタフェース３１０、前記メモリ３２０、プロセッサ３４０の各素子間は、互いに直接的又は間接的に電気的に接続され、データの伝送又はインタラクションを実現する。例えば、これらの素子間は、互いに１つ又は複数の通信バス３３０又は信号線によって電気的接続を実現することができる。そのうち、通信インタフェース３１０は、１つ又は複数の通信プロトコル（ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）など）を実施するために用いられる。メモリ３２０は、コンピュータプログラムを記憶するために用いられ、例えば、図７に示すソフトウェア機能モジュール、即ち車線検出装置２００が記憶されている。そのうち、車線検出装置２００は、ソフトウェア又はファームウェア（ｆｉｒｍｗａｒｅ）の形態で前記メモリ３２０に記憶され得るか又は前記電子機器３００のオペレーティングシステム（ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ，ＯＳ）に固化され得る少なくとも１つのソフトウェア機能モジュールを含む。前記プロセッサ３４０は、車線検出装置２００に含まれるソフトウェア機能モジュール又はコンピュータプログラムなどの、メモリ３２０に記憶されている実行可能モジュールを実行するために用いられる。例えば、プロセッサ３４０は、検出される画像を取得し、前記画像内の車線にある初期点集合を決定し、前記初期点集合における少なくとも１つの点の位置特徴を抽出し、予めトレーニングされた第１のネットワークモデルにより前記少なくとも１つの点の位置特徴を処理し、対応する車線の傾向情報を得て、前記傾向情報に基づいて前記初期点集合を含む目標車線を生成するために用いられる。

【0110】

そのうち、メモリ３２０は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）、リードオンリーメモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、プログラマブルリードオンリーメモリ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＰＲＯＭ）、消去可能リードオンリーメモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＥＰＲＯＭ）、電気的消去可能リードオンリーメモリ（Ｅｌｅｃｔｒｉｃ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＥＥＰＲＯＭ）などであってよいが、これらに限定されない。

【0111】

プロセッサ３４０は、信号処理能力を有する集積回路チップである場合がある。上記プロセッサは、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＣＰＵ）、ネットワークプロセッサ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ，ＮＰ）などを含む汎用プロセッサであってもよく、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ，ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ，ＦＰＧＡ）又は他のプログラマブル論理デバイス、離散ゲート又はトランジスタ論理デバイス、離散ハードウェアコンポーネントであってもよい。本願の実施例に開示された各方法、ステップ及び論理ブロック図を実現又は実行することができる。汎用プロセッサは、マイクロプロセッサであってもよく、又は、当該プロセッサ３４０は、任意の通常のプロセッサなどであってもよい。

【0112】

そのうち、上記電子機器３００は、コンピュータ、サーバ及び車両における車載コンピュータなどを含むが、これらに限定されない。

【0113】

本願の実施例は、コンピュータプログラムが記憶された不揮発性コンピュータ読み取り可能な記憶媒体（以下、記憶媒体と略称される）を更に提供し、当該コンピュータプログラムは、上記電子機器３００などのコンピュータによって実行される時、上記に示される車線検出方法を実行する。

【0114】

本明細書における各実施例は、全て漸進的な方法で説明され、各実施例について他の実施例との相違点を重点として説明し、各実施例間の同じ又は類似する部分は互いに参照すればよいことを説明しておく。

【0115】

本願により提供されるいくつかの実施例において開示された装置及び方法は、他の形態で実現されてもよいことを理解すべきである。以上に説明された装置の実施例は、例示的なものに過ぎず、例えば、図面におけるフローチャート及びブロック図は、本願の複数の実施例による装置、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能及び操作を示している。この点に関し、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又はコードの一部を表すことができ、前記モジュール、プログラムセグメント又はコードの一部は、所定の論理機能を実現するための１つ又は複数の実行可能命令を含む。また、いくつかの代替的な実現形態において、ブロックに示される機能は、図面に示される順序と異なる順序で発生しもよいことにも留意されたい。例えば、２つの連続するブロックは、実際に、実質的に並行して実行されてもよく、場合によっては逆の順序で実行されてもよく、これは、係る機能によって決められる。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、指定された機能又は動作を実行する、ハードウェアに基づく専用システムによって実現されてもよく、専用ハードウェアとコンピュータ命令の組み合わせによって実現されてもよいことにも留意されたい。

【0116】

なお、本願の各実施例における各機能モジュールは、１つの独立した部分を形成するように集積されてもよく、各モジュールが単独で存在してもよく、２つ又は２つ以上のモジュールは、１つの独立した部分を形成するように集積されてもよい。

【0117】

前記機能は、ソフトウェア機能モジュールの形態で実現され、且つ独立した製品として販売又は使用される場合、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解に基づき、本願の技術的解決手段は本質的に、又は従来技術に寄与する部分又は当該技術的解決手段の部分は、ソフトウェア製品の形態で具現化することができ、当該コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、ノートパソコン、サーバ、又は電子機器などであってよい）に本願の各実施例に記載の方法のステップの全部又は一部を実行させるためのいくつかの命令を含む。前述した記憶媒体は、ＵＳＢフラッシュドライブ、ハードディスク、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶可能な各種の媒体を含む。

【0118】

以上は、本願の具体的な実施形態に過ぎず、本願の保護範囲は、これに限定されず、当業者が本願により開示された技術範囲内で容易に想到できるいかなる変化又は置換も、本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は、特許請求の範囲による保護範囲を基準とすべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】