(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-08-10
(54)【発明の名称】破線車線検出方法、装置及び電子機器
(51)【国際特許分類】
G06T 7/60 20170101AFI20220803BHJP
G06V 10/82 20220101ALI20220803BHJP
G06T 7/00 20170101ALI20220803BHJP
G08G 1/16 20060101ALI20220803BHJP
【ＦＩ】
G06T7/60 200J
G06V10/82
G06T7/00 350C
G08G1/16 C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021571821
(86)(22)【出願日】2020-09-23
(85)【翻訳文提出日】2021-12-03
(86)【国際出願番号】 CN2020117188
(87)【国際公開番号】W WO2021063228
(87)【国際公開日】2021-04-08
(31)【優先権主張番号】201910944245.2
(32)【優先日】2019-09-30
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】521098397
【氏名又は名称】上海商▲湯▼▲臨▼港智能科技有限公司
【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＳＥＮＳＥＴＩＭＥ ＬＩＮＧＡＮＧ ＩＮＴＥＬＬＩＧＥＮＴ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
(74)【代理人】
【識別番号】110000729
【氏名又は名称】特許業務法人 ユニアス国際特許事務所
(72)【発明者】
【氏名】王 哲
(72)【発明者】
【氏名】林 逸群
(72)【発明者】
【氏名】石 建萍
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB20
5H181CC03
5H181CC04
5H181CC14
5H181LL02
5H181LL09
5L096BA04
5L096EA39
5L096FA13
5L096FA32
5L096FA66
5L096GA34
5L096GA51
5L096HA11
(57)【要約】
本発明の実施例は、破線車線検出方法、装置及び電子機器を提供する。当該破線車線検出方法は、検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得するステップと、前記特徴マップに基づいて、前記道路画像における車線領域と、前記道路画像における破線車線の端点に属する可能性のある画素点である端点画素点とを特定するステップと、前記車線領域及び前記端点画素点に基づいて、前記道路画像における破線車線を特定するステップとを含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
破線車線検出方法であって、検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得するステップと、
前記特徴マップに基づいて、前記道路画像における車線領域と、前記道路画像における、破線車線の端点に属する可能性のある画素点である端点画素点とを特定するステップと、
前記車線領域及び前記端点画素点に基づいて、前記道路画像における破線車線を特定するステップと、を含むことを特徴とする破線車線検出方法。
【請求項2】
前記特徴マップに基づいて前記道路画像における車線領域を特定することは、前記特徴マップに基づいて前記道路画像における各画素点の領域信頼度を特定することと、
領域信頼度が領域閾値以上である画素点を含む領域を前記車線領域として特定することと、を含み、
前記領域信頼度は、前記道路画像における各画素点が前記車線領域に属する信頼度を表すことを特徴とする請求項１に記載の破線車線検出方法。
【請求項3】
前記特徴マップに基づいて前記道路画像における端点画素点を特定することは、前記特徴マップに基づいて、前記道路画像における各画素点の端点信頼度を特定することと、
前記各画素点の端点信頼度が端点閾値以上であるか否かを特定することと、
前記端点信頼度が前記端点閾値以上である少なくとも１つの画素点を前記端点画素点として特定することと、を含み、
前記端点信頼度は、前記道路画像における各画素点が破線車線の端点に属する信頼度を表すことを特徴とする請求項１又は２に記載の破線車線検出方法。
【請求項4】
前記端点信頼度が前記端点閾値以上である少なくとも１つの画素点を前記端点画素点として特定することは、前記端点信頼度が前記端点閾値以上である画素点ごとに、当該画素点の隣接画素点のうち、端点信頼度が端点閾値以上である隣接画素点が少なくとも１つ存在すると特定された場合に、当該画素点を前記端点画素点として特定することを含むことを特徴とする請求項３に記載の破線車線検出方法。
【請求項5】
前記特徴マップに基づいて前記道路画像における端点画素点を特定することは、前記端点信頼度が前記端点閾値以上である画素点ごとに、当該画素点の隣接画素点のうち、端点信頼度が端点閾値以上である隣接画素点が存在しないと特定された場合に、当該画素点が前記端点画素点ではないと特定することを更に含むことを特徴とする請求項３に記載の破線車線検出方法。
【請求項6】
各所定領域範囲内に位置する前記端点画素点は、対応する端点画素点集合を構成し、前記車線領域及び前記端点画素点に基づいて、前記道路画像における破線車線を特定するステップは、
各前記端点画素点集合における、前記車線領域に位置する端点画素点に基づいて、前記道路画像における端点座標を特定することと、
前記道路画像における端点座標に基づいて、前記道路画像における破線車線を特定することと、を含むことを特徴とする請求項１から５の何れか一項に記載の破線車線検出方法。
【請求項7】
各前記端点画素点集合における、前記車線領域に位置する端点画素点に基づいて、前記道路画像における端点座標を特定することは、当該端点画素点集合における、前記車線領域に位置する端点画素点の座標を加重平均し、前記道路画像における１つの端点の座標を取得することを含むことを特徴とする請求項６に記載の破線車線検出方法。
【請求項8】
前記車線領域及び前記端点画素点に基づいて、前記道路画像における破線車線を特定するステップは、当該端点画素点集合における、前記車線領域に位置する端点画素点の端点信頼度に基づいて、前記道路画像における１つの端点の信頼度を特定することと、
特定された端点の信頼度が所定閾値よりも低い場合に、特定された端点を除去することと、を更に含むことを特徴とする請求項７に記載の破線車線検出方法。
【請求項9】
前記道路画像における端点座標に基づいて、前記道路画像における破線車線を特定することは、前記道路画像における端点座標に基づいて、前記道路画像における端点のうちの近端点及び遠端点を特定することと、
前記車線領域と前記道路画像における端点のうちの近端点及び遠端点とに基づいて、前記道路画像における破線車線を特定することと、を含むことを特徴とする請求項６から８の何れか一項に記載の破線車線検出方法。
【請求項10】
検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得することは、特徴抽出ネットワークによって実行され、前記特徴マップに基づいて前記道路画像における車線領域を特定することは、領域予測ネットワークによって実行され、
前記特徴マップに基づいて前記道路画像における端点画素点を特定することは、端点予測ネットワークによって実行されることを特徴とする請求項１から９の何れか一項に記載の破線車線検出方法。
【請求項11】
前記特徴抽出ネットワーク、前記領域予測ネットワーク及び前記端点予測ネットワークは、特徴抽出ネットワークを介して道路サンプル画像に対して特徴抽出を行い、前記道路サンプル画像の特徴マップを取得する操作であって、前記道路サンプル画像には、サンプル破線車線が含まれるとともに、前記道路サンプル画像中の車線領域をラベリングする第１ラベル情報と前記サンプル破線車線の端点画素点をラベリングする第２ラベル情報とが付加される操作と、
領域予測ネットワークを介して前記道路サンプル画像の特徴マップに基づいて前記道路サンプル画像における車線領域を予測し、車線領域予測情報を取得する操作と、
端点予測ネットワークを介して前記道路サンプル画像の特徴マップに基づいて前記道路サンプル画像における端点画素点を予測し、端点画素点予測情報を取得する操作と、
前記車線領域予測情報と前記第１ラベル情報との違いに基づいて、第１ネットワーク損失を特定し、前記第１ネットワーク損失に応じて前記特徴抽出ネットワークのネットワークパラメータと前記領域予測ネットワークのネットワークパラメータとを調整する操作と、
前記端点画素点予測情報と前記第２ラベル情報との違いに基づいて、第２ネットワーク損失を特定し、前記第２ネットワーク損失に応じて前記端点予測ネットワークのネットワークパラメータと前記特徴抽出ネットワークの前記ネットワークパラメータとを調整する操作と、によってトレーニングされることを特徴とする請求項１０に記載の破線車線検出方法。
【請求項12】
前記道路サンプル画像中の前記第２ラベル情報でラベリングされた端点画素点は、前記サンプル破線車線の実端点の画素点と前記実端点の画素点の隣接画素点とを含むことを特徴とする請求項１１に記載の破線車線検出方法。
【請求項13】
特定された破線車線の端点座標に基づいて、前記道路画像に対応する道路上のインテリジェントカーの測位情報を修正するステップを更に含むことを特徴とする請求項６から９の何れか一項に記載の破線車線検出方法。
【請求項14】
特定された破線車線の端点座標に基づいて、前記道路画像に対応する道路上のインテリジェントカーの測位情報を修正するステップは、特定された破線車線の端点座標に基づいて、画像測距方法により、特定された破線車線の目標端点とインテリジェントカーとの間の距離を示す第１距離を特定することと、
インテリジェントカーの測位情報とインテリジェントカーで使用される運転支援地図における前記目標端点の経緯度とに基づいて、運転支援地図に基づいて特定された前記目標端点とインテリジェントカーとの間の距離を示す第２距離を特定することと、
前記第１距離と第２距離との間の誤差に応じて、前記インテリジェントカーの測位情報を修正することと、を含むことを特徴とする請求項１３に記載の破線車線検出方法。
【請求項15】
破線車線検出装置であって、検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得するための特徴抽出モジュールと、
前記特徴マップに基づいて、前記道路画像における車線領域と、前記道路画像における、破線車線の端点に属する可能性のある画素点である端点画素点とを特定するための特徴処理モジュールと、
前記車線領域及び前記端点画素点に基づいて、前記道路画像における破線車線を特定するための車線特定モジュールと、を備えることを特徴とする破線車線検出装置。
【請求項16】
前記特徴処理モジュールは、前記特徴マップに基づいて前記道路画像における各画素点の領域信頼度を特定し、領域信頼度が領域閾値以上である画素点を含む領域を前記車線領域として特定するための領域特定サブモジュールを備え、
前記領域信頼度は、前記道路画像における各画素点が前記車線領域に属する信頼度を表すことを特徴とする請求項１５に記載の破線車線検出装置。
【請求項17】
前記特徴処理モジュールは、前記特徴マップに基づいて、前記道路画像における各画素点の端点信頼度を特定し、前記各画素点の端点信頼度が端点閾値以上であるか否かを特定し、前記端点信頼度が前記端点閾値以上である少なくとも１つの画素点を前記端点画素点として特定するための端点画素サブモジュールを備え、
前記端点信頼度は、前記道路画像における各画素点が破線車線の端点に属する信頼度を表すことを特徴とする請求項１５又は１６に記載の破線車線検出装置。
【請求項18】
前記端点画素サブモジュールは、更に、前記端点信頼度が前記端点閾値以上である画素点ごとに、当該画素点の隣接画素点のうち、端点信頼度が端点閾値以上である隣接画素点が少なくとも１つ存在すると特定された場合に、当該画素点を前記端点画素点として特定することを特徴とする請求項１７に記載の破線車線検出装置。
【請求項19】
前記端点画素サブモジュールは、更に、前記端点信頼度が前記端点閾値以上である画素点ごとに、当該画素点の隣接画素点のうち、端点信頼度が端点閾値以上である隣接画素点が存在しないと特定された場合に、当該画素点が前記端点画素点ではないと特定することを特徴とする請求項１７に記載の破線車線検出装置。
【請求項20】
前記車線特定モジュールは、各前記端点画素点集合における、前記車線領域に位置する端点画素点に基づいて、前記道路画像における端点座標を特定し、前記道路画像における端点座標に基づいて、前記道路画像における破線車線を特定することを特徴とする請求項１５から１９の何れか一項に記載の破線車線検出装置。
【請求項21】
前記車線特定モジュールは、当該端点画素点集合における、前記車線領域に位置する端点画素点の座標を加重平均し、前記道路画像における１つの端点の座標を取得することを特徴とする請求項２０に記載の破線車線検出装置。
【請求項22】
前記車線特定モジュールは、更に、当該前記端点画素点集合における、前記車線領域に位置する端点画素点の端点信頼度に基づいて、前記道路画像における１つの端点の信頼度を特定し、特定された端点の信頼度が所定閾値よりも低い場合に、特定された端点を除去することを特徴とする請求項２１に記載の破線車線検出装置。
【請求項23】
前記車線特定モジュールは、更に、前記道路画像における端点座標に基づいて、前記道路画像における端点のうちの近端点及び遠端点を特定し、前記車線領域と前記道路画像における端点のうちの近端点及び遠端点とに基づいて、前記道路画像における破線車線を特定することを特徴とする請求項２０から２２の何れか一項に記載の破線車線検出装置。
【請求項24】
前記特徴抽出モジュールは、特徴抽出ネットワークを介して検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得し、前記特徴処理モジュールは、領域予測ネットワークを介して前記特徴マップに基づいて前記道路画像における車線領域を特定し、端点予測ネットワークを介して前記特徴マップに基づいて前記道路画像における端点画素点を特定することを特徴とする請求項１５から２３の何れか一項に記載の破線車線検出装置。
【請求項25】
前記破線車線検出装置は、ネットワークトレーニングモジュールを更に備え、前記ネットワークトレーニングモジュールは、
特徴抽出ネットワークを介して、サンプル破線車線が含まれるとともに前記道路サンプル画像中の車線領域をラベリングする第１ラベル情報と前記サンプル破線車線の端点画素点をラベリングする第２ラベル情報とが付加される道路サンプル画像に対して、特徴抽出を行って前記道路サンプル画像の特徴マップを取得する操作と、
領域予測ネットワークを介して前記道路サンプル画像の特徴マップに基づいて前記道路サンプル画像における車線領域を予測し、車線領域予測情報を取得する操作と、
端点予測ネットワークを介して前記道路サンプル画像の特徴マップに基づいて前記道路サンプル画像における端点画素点を予測し、端点画素点予測情報を取得する操作と、
前記車線領域予測情報と前記第１ラベル情報との違いに基づいて、第１ネットワーク損失を特定し、前記第１ネットワーク損失に応じて前記特徴抽出ネットワークのネットワークパラメータと前記領域予測ネットワークのネットワークパラメータとを調整する操作と、
前記端点画素点予測情報と前記第２ラベル情報との違いに基づいて、第２ネットワーク損失を特定し、前記第２ネットワーク損失に応じて前記端点予測ネットワークのネットワークパラメータと前記特徴抽出ネットワークの前記ネットワークパラメータとを調整する操作とにより、
前記特徴抽出ネットワーク、前記領域予測ネットワーク及び前記端点予測ネットワークをトレーニングすることを特徴とする請求項２４に記載の破線車線検出装置。
【請求項26】
前記道路サンプル画像中の前記第２ラベル情報でラベリングされた端点画素点は、前記サンプル破線車線の実端点の画素点と前記実端点の画素点の隣接画素点とを含むことを特徴とする請求項２５に記載の破線車線検出装置。
【請求項27】
特定された破線車線の端点に基づいて、前記道路画像に対応する道路上のインテリジェントカーの測位情報を修正するための測位修正モジュールを更に備えることを特徴とする請求項２０から２３の何れか一項に記載の破線車線検出装置。
【請求項28】
前記測位修正モジュールは、特定された破線車線の端点座標に基づいて、画像測距方法により、特定された破線車線の目標端点とインテリジェントカーとの間の距離を示す第１距離を特定し、
インテリジェントカー自身の測位情報と、インテリジェントカーで使用される運転支援地図における前記目標端点の経緯度とに基づいて、運転支援地図に基づいて特定された前記目標端点とインテリジェントカーとの間の距離を示す第２距離を特定し、
前記第１距離と第２距離との間の誤差に応じて、前記インテリジェントカーの測位情報を修正することを特徴とする請求項２７に記載の破線車線検出装置。
【請求項29】
電子機器であって、プロセッサと、
指令を記憶するためのメモリと、を備え、
前記指令が前記プロセッサによって実行され得ることにより、請求項１から１４の何れか一項に記載の破線車線検出方法は、実施されることを特徴とする電子機器。
【請求項30】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行され得ることにより、請求項１から１４の何れか一項に記載の破線車線検出方法は、実施されることを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習技術に関し、具体的に破線車線検出方法、装置及び電子機器に関する。
＜関連出願の相互引用＞
本願は、出願番号が２０１９１０９４４２４５．２であり、出願日が２０１９年９月３０日である中国特許出願を基に提出され、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が引用により本願に組み込まれる。
＜関連出願の相互引用＞
本願は、出願番号が２０１９１０９４４２４５．２であり、出願日が２０１９年９月３０日である中国特許出願を基に提出され、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が引用により本願に組み込まれる。
【背景技術】
【0002】
道路上の車線情報を検出することは、自動運転の測位や意思決定等に役立つ。例えば、人工的に設計された特徴により、ハフ変換等の検出アルゴリズムを用いて画像中の車線を抽出可能である。幾つかの機械学習に基づく車線検出方法では、破線車線が連続車線として検出される恐れがある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明は、破線車線検出方法、装置及び電子機器を提供する。
【課題を解決するための手段】
【0004】
本発明の第１態様は、破線車線検出方法を提供する。前記方法は、検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得するステップと、前記特徴マップに基づいて、前記道路画像における車線領域と、前記道路画像における、破線車線の端点に属する可能性のある画素点である端点画素点とを特定するステップと、前記車線領域及び前記端点画素点に基づいて、前記道路画像における破線車線を特定するステップと、を含む。
【0005】
幾つかの好適な実施例において、前記特徴マップに基づいて前記道路画像における車線領域を特定することは、前記特徴マップに基づいて前記道路画像における各画素点の領域信頼度を特定することと、領域信頼度が領域閾値以上であるの画素点を含む領域を前記車線領域として特定することと、を含み、前記領域信頼度は、前記道路画像における各画素点が前記車線領域に属する信頼度を表す。
【0006】
幾つかの好適な実施例において、前記特徴マップに基づいて前記道路画像における端点画素点を特定することは、前記特徴マップに基づいて、前記道路画像における各画素点の端点信頼度を特定することと、前記各画素点の端点信頼度が端点閾値以上であるか否かを特定することと、前記端点信頼度が前記端点閾値以上である少なくとも１つの画素点を前記端点画素点として特定することと、を含み、前記端点信頼度は、前記道路画像における各画素点が破線車線の端点に属する信頼度を表す。
【0007】
幾つかの好適な実施例において、前記端点信頼度が前記端点閾値以上である少なくとも１つの画素点を前記端点画素点として特定することは、前記端点信頼度が前記端点閾値以上である画素点ごとに、当該画素点の隣接画素点のうち、端点信頼度が端点閾値以上である隣接画素点が少なくとも１つ存在すると特定された場合に、当該画素点を前記端点画素点として特定することを更に含む。
【0008】
幾つかの好適な実施例において、前記特徴マップに基づいて前記道路画像における端点画素点を特定することは、前記端点信頼度が前記端点閾値以上である画素点ごとに、当該画素点の隣接画素点のうち、端点信頼度が端点閾値以上である隣接画素点が存在しないと特定された場合に、当該画素点が前記端点画素点ではないと特定することを更に含む。
【0009】
幾つかの好適な実施例において、各所定領域範囲内に位置する前記端点画素点は、対応する端点画素点集合を構成し、前記車線領域及び前記端点画素点に基づいて、前記道路画像における破線車線を特定するステップは、各前記端点画素点集合における、前記車線領域に位置する端点画素点に基づいて、前記道路画像における端点座標を特定することと、前記道路画像における端点座標に基づいて、前記道路画像における破線車線を特定することと、を含む。
【0010】
幾つかの好適な実施例において、各前記端点画素点集合における、前記車線領域に位置する端点画素点に基づいて、前記道路画像における端点座標を特定することは、当該端点画素点集合における、前記車線領域に位置する端点画素点の座標を加重平均し、前記道路画像における１つの端点の座標を取得することを含む。
【0011】
幾つかの好適な実施例において、前記車線領域及び前記端点画素点に基づいて、前記道路画像における破線車線を特定するステップは、当該端点画素点集合における、前記車線領域に位置する端点画素点の端点信頼度に基づいて、前記道路画像における１つの端点の信頼度を特定することと、特定された端点の信頼度が所定閾値よりも低い場合に、特定された端点を除去することと、を更に含む。
【0012】
幾つかの好適な実施例において、前記道路画像における端点座標に基づいて、前記道路画像における破線車線を特定することは、前記道路画像における端点座標に基づいて、前記道路画像における端点のうちの近端点及び遠端点を特定することと、前記車線領域と前記道路画像における端点のうちの近端点及び遠端点とに基づいて、前記道路画像における破線車線を特定することと、を含む。
【0013】
幾つかの好適な実施例において、検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得することは、特徴抽出ネットワークによって実行され、前記特徴マップに基づいて前記道路画像における車線領域を特定することは、領域予測ネットワークによって実行され、前記特徴マップに基づいて前記道路画像における端点画素点を特定することは、端点予測ネットワークによって実行される。
【0014】
幾つかの好適な実施例において、前記特徴抽出ネットワーク、前記領域予測ネットワーク及び前記端点予測ネットワークは、特徴抽出ネットワークを介して道路サンプル画像に対して特徴抽出を行い、前記道路サンプル画像の特徴マップを取得する操作であって、前記道路サンプル画像には、サンプル破線車線が含まれるとともに、前記道路サンプル画像中の車線領域をラベリングする第１ラベル情報と前記サンプル破線車線の端点画素点をラベリングする第２ラベル情報とが付加される操作と、領域予測ネットワークを介して前記道路サンプル画像の特徴マップに基づいて前記道路サンプル画像における車線領域を予測し、車線領域予測情報を取得する操作と、端点予測ネットワークを介して前記道路サンプル画像の特徴マップに基づいて前記道路サンプル画像における端点画素点を予測し、端点画素点予測情報を取得する操作と、前記車線領域予測情報と前記第１ラベル情報との違いに基づいて、第１ネットワーク損失を特定し、前記第１ネットワーク損失に応じて前記特徴抽出ネットワークのネットワークパラメータと前記領域予測ネットワークのネットワークパラメータとを調整する操作と、前記端点画素点予測情報と前記第２ラベル情報との違いに基づいて、第２ネットワーク損失を特定し、前記第２ネットワーク損失に応じて前記端点予測ネットワークのネットワークパラメータと前記特徴抽出ネットワークのネットワークパラメータとを調整する操作と、によってトレーニングされる。
【0015】
幾つかの好適な実施例において、前記道路サンプル画像中の前記第２ラベル情報でラベリングされた端点画素点は、前記サンプル破線車線の実端点の画素点と前記実端点の画素点の隣接画素点とを含む。
【0016】
幾つかの好適な実施例において、前記方法は、特定された破線車線の端点に基づいて、前記道路画像に示す道路上のインテリジェントカーの測位情報を修正するステップを更に含む。
【0017】
幾つかの好適な実施例において、特定された破線車線の端点座標に基づいて、前記道路画像に対応する道路上のインテリジェントカーの測位情報を修正するステップは、特定された破線車線の端点座標に基づいて、画像測距方法により、特定された破線車線の目標端点とインテリジェントカーとの間の距離を示す第１距離を特定することと、インテリジェントカーの測位情報とインテリジェントカーで使用される運転支援地図における前記目標端点の経緯度とに基づいて、運転支援地図に基づいて特定された前記目標端点とインテリジェントカーとの間の距離を示す第２距離を特定することと、前記第１距離と第２距離との間の誤差に応じて、前記インテリジェントカーの測位情報を修正することと、を含む。
【0018】
本発明の第２態様は、破線車線検出装置を提供する。前記装置は、検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得するための特徴抽出モジュールと、前記特徴マップに基づいて、前記道路画像における車線領域と、前記道路画像における、破線車線の端点に属する可能性のある画素点である端点画素点とを特定するための特徴処理モジュールと、前記車線領域及び前記端点画素点に基づいて、前記道路画像における破線車線を特定するための車線特定モジュールと、を備える。
【0019】
幾つかの好適な実施例において、前記特徴処理モジュールは、前記特徴マップに基づいて前記道路画像における各画素点の領域信頼度を特定し、領域信頼度が領域閾値以上である画素点を含む領域を前記車線領域として特定するための領域特定サブモジュールを備え、前記領域信頼度は、前記道路画像における各画素点が車線領域に属する信頼度を表す。
【0020】
幾つかの好適な実施例において、前記特徴処理モジュールは、前記特徴マップに基づいて、前記道路画像における各画素点の端点信頼度を特定し、前記各画素点の端点信頼度が端点閾値以上であるか否かを特定し、前記端点信頼度が前記端点閾値以上である少なくとも１つの画素点を前記端点画素点として特定するための端点画素サブモジュールを備え、前記端点信頼度は、前記道路画像における各画素点が破線車線の端点に属する信頼度を表す。
【0021】
幾つかの好適な実施例において、前記端点画素サブモジュールは、更に、前記端点信頼度が前記端点閾値以上である画素点ごとに、当該画素点の隣接画素点のうち、端点信頼度が端点閾値以上である隣接画素点が少なくとも１つ存在すると特定された場合に、当該画素点を前記端点画素点として特定する。
【0022】
幾つかの好適な実施例において、前記端点画素サブモジュールは、更に、前記端点信頼度が前記端点閾値以上である画素点ごとに、当該画素点の隣接画素点のうち、端点信頼度が端点閾値以上である隣接画素点が存在しないと特定された場合に、当該画素点が前記端点画素点ではないと特定する。
【0023】
幾つかの好適な実施例において、前記車線特定モジュールは、各前記端点画素点集合における、前記車線領域に位置する端点画素点に基づいて、前記道路画像における端点座標を特定し、前記道路画像における端点座標に基づいて、前記道路画像における破線車線を特定する。
【0024】
幾つかの好適な実施例において、前記車線特定モジュールは、当該端点画素点集合における、前記車線領域に位置する端点画素点の座標を加重平均し、前記道路画像における１つの端点の座標を取得する。
【0025】
幾つかの好適な実施例において、前記車線特定モジュールは、更に、当該前記端点画素点集合における、前記車線領域に位置する端点画素点の端点信頼度に基づいて、前記道路画像における１つの端点の信頼度を特定し、特定された端点の信頼度が所定閾値よりも低い場合に、特定された端点を除去する。
【0026】
幾つかの好適な実施例において、前記車線特定モジュールは、更に、前記道路画像における端点座標に基づいて、前記道路画像における端点のうちの近端点及び遠端点を特定し、前記車線領域と前記道路画像における端点のうちの近端点及び遠端点とに基づいて、前記道路画像における破線車線を特定する。
【0027】
幾つかの好適な実施例において、前記特徴抽出モジュールは、特徴抽出ネットワークを介して検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得し、前記特徴処理モジュールは、領域予測ネットワークを介して前記特徴マップに基づいて前記道路画像における車線領域を特定し、端点予測ネットワークを介して前記特徴マップに基づいて前記道路画像における端点画素点を特定する。
【0028】
幾つかの好適な実施例において、前記装置は、ネットワークトレーニングモジュールを更に備え、前記ネットワークトレーニングモジュールは、特徴抽出ネットワークを介して道路サンプル画像に対して特徴抽出を行い、前記道路サンプル画像の特徴マップを取得する操作であって、前記道路サンプル画像には、サンプル破線車線が含まれるとともに、前記道路サンプル画像中の車線領域をラベリングする第１ラベル情報と前記サンプル破線車線の端点画素点をラベリングする第２ラベル情報とが付加される操作と、領域予測ネットワークを介して前記道路サンプル画像の特徴マップに基づいて前記道路サンプル画像における車線領域を予測し、車線領域予測情報を取得する操作と、端点予測ネットワークを介して前記道路サンプル画像の特徴マップに基づいて前記道路サンプル画像における端点画素点を予測し、端点画素点予測情報を取得する操作と、前記車線領域予測情報と前記第１ラベル情報との違いに基づいて、第１ネットワーク損失を特定し、前記第１ネットワーク損失に応じて前記特徴抽出ネットワークのネットワークパラメータと前記領域予測ネットワークのネットワークパラメータとを調整する操作と、前記端点画素点予測情報と前記第２ラベル情報との違いに基づいて、第２ネットワーク損失を特定し、前記第２ネットワーク損失に応じて前記端点予測ネットワークのネットワークパラメータと前記特徴抽出ネットワークの前記ネットワークパラメータとを調整する操作とにより、前記特徴抽出ネットワーク、前記領域予測ネットワーク及び前記端点予測ネットワークをトレーニングする。
【0029】
幾つかの好適な実施例において、前記道路サンプル画像中の前記第２ラベル情報でラベリングされた端点画素点は、前記サンプル破線車線の実端点の画素点と前記実端点の画素点の隣接画素点とを含む。
【0030】
幾つかの好適な実施例において、前記装置は、特定された破線車線の端点に基づいて、道路画像に対応する道路上のインテリジェントカーの測位情報を修正するための測位修正モジュールを更に備える。
【0031】
幾つかの好適な実施例において、前記測位修正モジュールは、特定された破線車線の端点座標に基づいて、画像測距方法により、特定された破線車線の目標端点とインテリジェントカーとの間の距離を示す第１距離を特定し、インテリジェントカー自身の測位情報と、インテリジェントカーで使用される運転支援地図における前記目標端点の経緯度とに基づいて、運転支援地図に基づいて特定された前記目標端点とインテリジェントカーとの間の距離を示す第２距離を特定し、前記第１距離と第２距離との間の誤差に応じて、前記インテリジェントカーの測位情報を修正する。
【0032】
本発明の第３態様は、電子機器を提供する。前記機器は、プロセッサと、指令を記憶するためのメモリと、を備え、前記指令が前記プロセッサによって実行され得ることにより、本発明の何れか１つの実施例に記載の方法は、実施される。
【0033】
本発明の第４態様は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行され得ることにより、本発明の何れか１つの実施例に記載の方法は、実施される。
【発明の効果】
【0034】
本発明の実施例によると、道路画像に基づいて車線領域及び端点画素点を検出可能であり、且つ車線領域及び端点画素点に基づいて破線車線における各セグメントを特定可能であるため、破線車線に対する区分検出は、実現される。
【図面の簡単な説明】
【0035】
【図1】本発明の少なくとも１つの実施例に係る破線車線検出方法のフローチャートを示す。
【図2】本発明の少なくとも１つの実施例に係る別の破線車線検出方法のフローチャートを示す。
【図3】本発明の少なくとも１つの実施例に係る端点画素点集合の模式図を示す。
【図4】本発明の少なくとも１つの実施例に係る破線車線の検出ネットワークのブロック図を示す。
【図5】本発明の少なくとも１つの実施例に係る破線車線の検出ネットワークのトレーニング方法のフローチャートを示す。
【図6】本発明の少なくとも１つの実施例に係る画像処理手順のフローチャートを示す。
【図7】本発明の少なくとも１つの実施例に係る破線車線検出方法のフローチャートを示す。
【図8】本発明の少なくとも１つの実施例に係る破線車線検出装置のブロック図を示す。
【図9】本発明の少なくとも１つの実施例に係る別の破線車線検出装置のブロック図を示す。
【図10】本発明の少なくとも１つの実施例に係る更に別の破線車線検出装置のブロック図を示す。
【発明を実施するための形態】
【0036】
本発明の１つ又は複数の実施例が当業者によってより良好に理解されるように、以下では、本発明の１つ又は複数の実施例における図面を併せて本発明の１つ又は複数の実施例を明瞭で完全に記述する。本発明の１つ又は複数の実施例に基づいて当業者が創造的な作業なしで得た全ての他の実施例は、何れも本発明の保護範囲に含まれるべきである。
【0037】
自動運転では、道路上の幾つかの特徴点を検出して車両に対する測位を補助してもよい。例えば、特徴点を検出することにより、車両の現在の位置をより正確に測位することができる。この態様において、道路上の各破線車線は、一般的に複数の破線車線セグメントを含んでもよく、各破線車線セグメントは、２つの端点を有してもよく、これらの端点も利用可能な道路特徴点である。したがって、破線車線端点を検出できる方法を提供することは、望ましい。
【0038】
本発明の少なくとも１つの実施例は、破線車線検出方法を提供する。当該方法は、１セグメントずつの車線を正確に検出し、破線車線の端点も検出可能であるため、自動運転で利用され得る特徴点を増やすことができる。
【0039】
図１は、本発明の少なくとも１つの実施例に係る破線車線検出方法のフローチャートを示す。当該方法は、以下のステップを含んでもよい。
【0040】
ステップ１００では、検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得する。検出すべき道路画像には、破線車線が含まれている。
【0041】
ステップ１０２では、前記特徴マップに基づいて、前記道路画像における車線領域と、前記道路画像における端点画素点とを特定する。前記端点画素点は、道路画像における、破線車線の端点に属する可能性のある画素点である。
【0042】
例えば、特徴マップに基づいて、前記道路画像における各画素点の領域信頼度を特定し、領域信頼度が領域閾値以上である画素点を含む領域を前記車線領域として特定してもよい。前記領域信頼度は、前記道路画像における各画素点が車線領域に属する信頼度である。
【0043】
例えば、前記特徴マップに基づいて、前記道路画像における各画素点の端点信頼度を特定し、前記各画素点の端点信頼度が端点閾値以上であるか否かを特定し、前記端点信頼度が前記端点閾値以上である画素点を前記端点画素点として特定してもよい。前記端点信頼度は、前記道路画像における各画素点が破線車線の端点に属する信頼度である。
【0044】
ステップ１０４では、前記車線領域及び前記端点画素点に基づいて、前記道路画像における破線車線を特定する。
【0045】
例えば、破線車線が車線領域に位置するはずであるため、車線領域に位置しない端点画素点を除去してもよい。これにより、車線領域に位置する複数の端点画素点のみに基づいて破線車線の各端点を特定し、更に各端点に基づいて１セグメントずつの破線車線を取得可能である。
【0046】
本実施例の破線車線検出方法によれば、道路画像から車線領域及び端点画素点を検出し、且つ車線領域及び端点画素点に基づいて破線車線中の各セグメントを特定可能であるため、破線車線に対するセグメント検出は、実現される。
【0047】
【0048】
ステップ２００では、検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得する。
【0049】
前記道路画像は、例えば、車載カメラで収集された道路画像、ライダー（ＬｉＤＡＲ）で収集された道路反射率画像、又は、高精度地図の作成用の、衛星を介して撮影されたハイデフィニション道路画像であってもよい。例示として、当該道路画像は、インテリジェント運転機器が走行中の道路で収集した画像であってもよく、道路画像には、各タイプの車線、例えば、実線車線、破線車線等が含まれてもよい。
【0050】
ステップ２０２では、前記特徴マップに基づいて前記道路画像における車線領域を特定する。
【0051】
例えば、特徴マップに基づいて道路画像における各画素点が車線領域に属する信頼度を特定し、信頼度が領域閾値以上である画素点を含む領域を前記車線領域として特定してもよい。
【0052】
例えば、領域閾値を設定してもよい。１つの画素点が車線領域に属する信頼度が当該領域閾値以上である場合に、当該画素点が車線領域に属すると考えられ、当該画素点が車線領域に属する信頼度が当該領域閾値よりも低い場合に、当該画素点が車線領域に属しないと考えられる。
【0053】
ステップ２０４では、前記特徴マップに基づいて道路画像における各画素点が破線車線の端点に属する端点信頼度を特定する。
【0054】
ステップ２０６では、端点信頼度が端点閾値以上である画素点を選択する。
【0055】
一例では、端点閾値を設定してもよい。１つの画素点の端点信頼度が端点閾値よりも低い場合に、当該画素点が破線車線の端点に属しないと考えられ、端点の予測結果から当該画素点を削除してもよい。１つの画素点の端点信頼度が当該端点閾値以上である場合に、当該画素点が破線車線の端点に属する可能性があると考えられてもよい。
【0056】
ステップ２０８では、端点信頼度が端点閾値以上である選択された画素点ごとに、当該画素点の隣接画素点のうち、端点信頼度が端点閾値以上である隣接画素点が少なくとも１つ存在するか否かを判断する。
【0057】
一例では、端点の予測結果がより正確になるように、選択された画素点に対して更なる選別を行ってもよい。１つの選択された画素点の隣接画素点のうち、端点信頼度が端点閾値以上である隣接画素点が少なくとも１つ存在する場合に、当該画素点を保留する。１つの選択された画素点の全ての隣接画素点の端点信頼度が何れも端点閾値より低い場合に、当該画素点が１つの孤立点であることを意味する。１つの破線車線の１つの実端点は、複数の隣接する画素点を有するはずである。したがって、このような孤立点が破線車線の端点である可能性があまりないので、排除可能である。
【0058】
ステップ２０８の判断結果が「はい」であれば、ステップ２１０を実行する。ステップ２０８の判断結果が「いいえ」、即ち、当該画素点が１つの孤立点であれば、ステップ２１２を実行する。
【0059】
ステップ２１０では、当該画素点が端点画素点であると特定する。ステップ２１４を引き続き実行する。
【0060】
ステップ２１２では、当該画素点が端点画素点ではないと特定する。
【0061】
ステップ２１４では、各端点画素点集合における、前記車線領域に位置する端点画素点に基づいて、前記道路画像における端点座標を特定する。
【0062】
例えば、破線車線の１つの端点は、複数の画素点を含んでもよく、これらの画素点は、上記予測された端点画素点であってもよい。１つの端点画素点集合における、前記車線領域に位置する端点画素点の座標を加重平均し、前記道路画像における１つの端点の座標を取得してもよい。
【0063】
前記端点画素点集合は、所定領域範囲内の少なくとも１つの端点画素点によって構成される集合である。例えば、破線車線中の１セグメントの車線の端点箇所とその隣接領域範囲内の複数の端点画素点とが１つの端点画素点集合を構成可能であるため、１つの端点画素点集合は、１本の破線車線中の１セグメントの車線の端点に対応する画素点及びその隣接する画素点を含んでもよい。
【0064】
図３に示すように、所定領域範囲Ｌ内には、少なくとも１つの端点画素点、例えば、端点画素点３１が含まれ、これらの端点画素点は、１つの端点画素点集合を構成する。これらの端点画素点に基づいて、対応する１つの端点３２の座標を特定してもよい。端点３２は、道路画像における破線車線中の１つの破線車線セグメントの端点であってもよい。
【0065】
例えば、所定領域範囲Ｌ中の全ての端点画素点が車線領域に位置する場合に、全てのこれらの端点画素点の座標を加重平均してもよい。各端点画素点の座標を（ｘ，ｙ）で表すとすれば、全ての端点画素点のｘ座標を加重平均して端点３２のｘ０座標を取得可能であり、全ての端点画素点のｙ座標を加重平均して端点３２のｙ０座標を取得可能である。こうして、端点３２の座標（ｘ０、ｙ０）は、得られる。
【0066】
一例では、ステップ２１４において道路画像中の端点座標を特定した後、各端点画素点集合における、前記車線領域に位置する端点画素点の端点信頼度に基づいて、例えば、これらの端点信頼度を加重平均して、前記道路画像における各端点の信頼度を取得し、その後、特定された前記道路画像における各端点のうち所定閾値よりも低い信頼度の端点を除去してもよい。こうして、道路画像における何箇所の比較的に遠い場所のぼけた端点は、除去することができる。
【0067】
ステップ２１６では、前記道路画像における端点座標に基づいて、前記道路画像における破線車線を特定する。
【0068】
例えば、ステップ２１４で特定された前記道路画像における端点座標に基づいて、前記道路画像における各端点のうちの近端点及び遠端点を特定してもよい。例えば、破線車線中の１つの破線車線セグメントの２つの端点のうち、画像収集機器が実装されたインテリジェント運転機器に近接する一方の端点は、近端点と呼称されてもよく、インテリジェント運転機器から離間する他方の端点は、遠端点と呼称されてもよい。そして、前記車線領域と前記道路画像における各端点のうちの近端点及び遠端点とに基づいて、前記道路画像における破線車線を特定してもよい。例えば、１つの近端点を対応する遠端点と連結して車線領域と組み合わせると、破線車線中の１セグメントを得ることができる。
【0069】
別の実施形態では、１つの車線領域に位置する複数の端点を座標で並べ替え、各破線車線セグメントの始点端点及び終点端点を特定してもよい。例えば、道路画像の画像高度方向をｙ方向、１つの車線領域における各端点を各自のｙ座標で並べ替えてから、ｙ座標の小さい端点を近端点として特定し、ｙ座標の大きな端点を遠端点として特定してもよい。
【0070】
上記実施例によれば、車線領域及び端点画素点が検出された後、端点画素点に対して選別を行うことで車線領域に位置する端点画素点のみを保留してもよい。選別された端点画素点に基づいて破線車線の端点を特定してから、各端点の信頼度に基づいて、道路画像中の幾つかの遠い場所のぼけた端点を排除してもよい。これにより、破線車線の端点検出の正確度が向上可能であり、更に破線車線の検出正確度が向上することができる。
【0071】
幾つかの例では、上記破線車線検出方法は、予めトレーニングされた破線車線の検出ネットワークを介して実現され得る。
【0072】
図４は、破線車線の検出ネットワークのブロック図を例示する。当該検出ネットワーク４０は、特徴抽出ネットワーク４１、領域予測ネットワーク４２及び端点予測ネットワーク４３を含んでもよい。
【0073】
特徴抽出ネットワーク４１は、入力された道路画像から画像特徴を抽出することにより、当該道路画像の特徴マップを取得してもよい。
【0074】
領域予測ネットワーク４２は、道路画像の特徴マップに基づいて、車線領域、即ち予測道路画像における各画素点が車線領域における画素に属する確率を予測してもよい。検出ネットワーク４０のトレーニングが完了されていないとき、ある程度の予測誤差が存在する可能性がある。例えば、車線領域に位置しない画素点も車線領域における画素点として予測されてしまう。
【0075】
端点予測ネットワーク４３は、道路画像の特徴マップに基づいて、端点画素点を予測して出力し、即ち予測道路画像における各画素点が端点画素点である確率を予測してもよい。
【0076】
幾つかの場合に、検出ネットワーク４０が予測して出力したのは、画素点がある類別に属する信頼度であってもよい。例えば、領域予測ネットワーク４２は、道路画像における各画素点が車線領域に属する信頼度を予測して出力してもよく、端点予測ネットワーク４３は、道路画像における各画素点が端点画素点に属する信頼度を予測して出力してもよい。
【0077】
検出ネットワーク４０をトレーニングするために、複数の道路サンプル画像を予め取得してもよい。各道路サンプル画像には、破線車線が含まれるとともに、車線領域ラベル情報と端点画素点ラベル情報とが付加されてもよい。車線領域ラベル情報は、道路サンプル画像における車線領域をラベリングし、即ち、道路サンプル画像中の車線領域に属するような画素点をマーキングする。端点画素点ラベル情報は、道路サンプル画像における破線車線の端点画素点をラベリングし、即ち、破線車線中の各セグメントの２つの端点での画素点を端点画素点としてマーキングする。例えば、破線車線中の１セグメントが２つの端点を有し、この２つの端点に１つの所定領域範囲をそれぞれマーキングし、当該範囲内の画素点を何れも端点画素点としてマーキングしてもよい。
【0078】
【0079】
ステップ５００では、取得された複数の道路サンプル画像を特徴抽出ネットワーク４１に入力し、各道路サンプル画像には、検出すべき破線車線が含まれるとともに、車線領域ラベル情報と端点画素点ラベル情報とが付加されている。
【0080】
ステップ５０２では、特徴抽出ネットワーク４１を介して、入力された各道路サンプル画像の画像特徴を抽出して対応する特徴マップを取得する。
【0081】
図６は、特徴抽出ネットワーク４１がＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ、全畳み込みネットワーク）であることを例とし、検出ネットワーク４０が入力された道路サンプル画像を処理する手順を示す。
【0082】
例えば、まず、入力された道路サンプル画像に対して複数回の畳み込み（ダウンサンプリング）を行って道路サンプル画像の高次元特徴ｃｏｎｖ１を取得してもよい。その後、当該高次元特徴ｃｏｎｖ１に対して逆畳み込み（アップサンプリング）を行って特徴マップｕｓ＿ｃｏｎｖ１を取得してもよい。それから、特徴マップｕｓ＿ｃｏｎｖ１を領域予測ネットワーク４２及び端点予測ネットワーク４３にそれぞれ入力してもよい。
【0083】
ステップ５０４では、前記特徴マップ（例えば、特徴マップｕｓ＿ｃｏｎｖ１）を領域予測ネットワーク４２及び端点予測ネットワーク４３にそれぞれ入力し、前記領域予測ネットワーク４２を介して道路サンプル画像における車線領域を予測して出力し、且つ前記端点予測ネットワーク４３を介して道路サンプル画像における端点画素点を予測して出力する。
【0084】
例えば、領域予測ネットワーク４２を介して、道路サンプル画像における各画素点が車線領域に属する信頼度を予測して出力し、端点予測ネットワーク４３を介して、道路サンプル画像における各画素点が端点画素点に属する信頼度を予測して出力してもよい。
【0085】
ステップ５０６では、予測結果に応じて、特徴抽出ネットワーク４１、領域予測ネットワーク４２及び端点予測ネットワーク４３のネットワークパラメータを調整する。
【0086】
例えば、予測された前記道路サンプル画像中の車線領域と前記道路サンプル画像中の車線領域ラベル情報でラベリングされた車線領域との違いに基づいて、第１ネットワーク損失を特定し、前記第１ネットワーク損失に応じて前記特徴抽出ネットワーク４１のネットワークパラメータと前記領域予測ネットワーク４２のネットワークパラメータとを調整してもよい。更に、予測された前記道路サンプル画像中の端点画素点と前記道路サンプル画像中の端点画素点ラベル情報でラベリングされた端点画素点との違いに基づいて、第２ネットワーク損失を特定し、前記第２ネットワーク損失に応じて前記端点予測ネットワーク４３のネットワークパラメータと特徴抽出ネットワーク４１のネットワークパラメータとを調整してもよい。
【0087】
例えば、バックプロパゲーションにより検出ネットワーク４０におけるネットワークパラメータを調整してもよい。ネットワーク反復終了条件が満たされたときに、ネットワークトレーニングを終了する。当該終了条件は、反復が一定の回数に達すること、又は損失値が所定閾値よりも小さいことであってもよい。
【0088】
幾つかの場合に、１枚の道路サンプル画像に破線車線の可視セグメントの数が少ない場合、即ち、サンプル画像における正のサンプルの割合が低い場合に、正のサンプルの割合を高めることでトレーニング後の検出ネットワークの検出正確性を向上させてもよい。この点では、例えば、当該道路サンプル画像中の端点画素点ラベル情報でラベリングされた破線車線の端点画素点の範囲を拡大することにより、前記道路サンプル画像中のラベリングされた端点画素点が前記道路サンプル画像における破線車線の実端点の画素点を含むだけでなく、前記実端点の画素点の隣接画素点も含むようにする。こうして、より多くの画素点を端点としてマーキングすることが可能であり、正のサンプルの割合を増加させる。
【0089】
図７は、本発明の実施例に係るトレーニング済検出ネットワークを用いて破線車線を検出する方法のフローチャートである。上述した通り、当該トレーニング済検出ネットワークは、特徴抽出ネットワーク、領域予測ネットワーク及び端点予測ネットワークを含んでもよい。図７に示すように、当該方法は、以下のステップを含んでもよい。
【0090】
ステップ７００では、検出すべき道路画像を受信する。例えば、前記道路画像は、インテリジェント運転機器が収集した、走行した道路の画像であってもよい。
【0091】
ステップ７０２では、特徴抽出ネットワークを介して前記道路画像の画像特徴を抽出し、道路画像の特徴マップを取得する。例えば、当該特徴抽出ネットワークは、複数回の畳み込み、逆畳み込み等の操作により、前記道路画像の特徴マップを取得してもよい。
【0092】
ステップ７０４では、前記特徴マップを領域予測ネットワーク及び端点予測ネットワークにそれぞれ入力し、前記領域予測ネットワークを介して前記道路画像における車線領域を予測して出力し、且つ前記端点予測ネットワークを介して前記道路画像における端点画素点を予測して出力する。
【0093】
ステップ７０２で取得された特徴マップを２つの並列する分岐ネットワーク、即ち領域予測ネットワーク及び端点予測ネットワークに入力してもよい。前記領域予測ネットワークを介して、道路画像における各画素点が車線領域に属する第１信頼度を含む、道路画像における車線領域の第１予測結果を予測して出力してもよい。更に、前記端点予測ネットワークを介して、道路画像における各画素点が端点画素点に属する第２信頼度を含む、道路画像における端点画素点の第２予測結果を予測して出力してもよい。
【0094】
一例では、上記第１予測結果が取得されたうえで、第１信頼度が領域閾値以上である画素点に基づいて前記車線領域を特定してもよい。例えば、領域閾値を設定してもよい。１つの画素点の第１信頼度が当該領域閾値以上である場合に、当該画素点が車線領域に属すると考えられ、１つの画素点の第１信頼度が当該領域閾値よりも低い場合に、当該画素点が車線領域に属しないと考えられてもよい。
【0095】
一例では、上記第２予測結果が取得されたうえで、端点閾値を更に設定してもよい。１つの画素点の第２信頼度が端点閾値よりも低い場合に、当該画素点が端点画素点に属しないと考えられてもよく、即ち、端点画素点の予測結果から第２信頼度が端点閾値よりも低い画素点を削除してもよい。１つの画素点の第２信頼度が端点閾値以上である場合に、当該画素点が端点画素点に属すると考えられてもよい。
【0096】
ステップ７０６では、予測された端点画素点のうち、前記車線領域に位置する少なくとも１つの端点画素点を取得する。
【0097】
１つの予測された端点画素点は、全く車線領域に位置しない場合に、破線車線の端点である可能性があまりない。これに鑑みて、ステップ７０６においてステップ７０４で得られた２つの予測結果を考慮し、車線領域に位置する端点画素点のみを保留してもよい。
【0098】
一例では、端点画素点の予測結果がより正確になるように、予測された端点画素点に対して更なる選別を行ってもよい。１つの端点画素点の隣接画素点のうち、第２信頼度が端点閾値以上である隣接画素点が少なくとも１つ存在する場合に、当該端点画素点を保留する。１つの端点画素点の全ての隣接画素点の第２信頼度が何れも端点閾値より低い場合に、当該端点画素点が１つの孤立点であることを意味する。１本の破線車線の１つの実端点は、複数の隣接する画素点を有するはずである。したがって、このような孤立点が破線車線の端点である可能性があまりないので、上述した通り、排除可能である。
【0099】
ステップ７０８では、取得された少なくとも１つの端点画素点に基づいて、破線車線の端点座標を特定する。
【0100】
ステップ７１０では、同一の車線領域に位置する端点座標に基づいて、破線車線を特定する。
【0101】
【0102】
幾つかの場合に、破線車線の端点が検出された後、当該端点を用いてインテリジェント運転機器に対する測位を補助してもよい。インテリジェント運転機器は、自動運転車両、又は、支援運転システムを有する車両等の各種のインテリジェントカーを含む。また、検出された破線車線及び端点座標は、高精度地図の作成に適用され得る。
【0103】
例えば、本発明の実施例に係る破線車線検出方法で破線車線が検出された後、検出された破線車線の端点に基づいて、前記道路画像に対応する道路上のインテリジェントカーの測位情報を修正してもよい。
【0104】
例えば、検出された破線車線の端点に基づいて、画像測距方法によって第１距離を特定する。前記第１距離は、検出された破線車線の目標端点とインテリジェントカーとの間の距離を示す。１つの例示的な例では、インテリジェントカーが走行中であるとすれば、目標端点は、当該インテリジェントカーの前方の最も近い１セグメントの破線車線の端点となってもよい。例えば、インテリジェントカーが１０メートル走行すれば当該目標端点に到着する場合に、第１距離は、１０メートルとなる。
【0105】
その一方、インテリジェントカー自身の測位の経緯度とインテリジェントカーに使用される運転支援地図における前記目標端点の経緯度とに基づいて、第２距離を特定する。前記第２距離は、運転支援地図に基づいて特定された前記目標端点とインテリジェントカー自身との間の距離を示す。
【0106】
その後、前記第１距離と第２距離との間の誤差に応じて、前記インテリジェントカー自身の測位の経緯度を修正する。例えば、第２距離が８メートルであるとすれば、第１距離と第２距離との間の誤差は、２メートルとなる。これを基にインテリジェントカー自身の測位の経緯度を修正してもよい。
【0107】
【0108】
特徴抽出モジュール８１は、検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得する。
【0109】
特徴処理モジュール８２は、前記特徴マップに基づいて、前記道路画像における車線領域と、前記道路画像における端点画素点とを特定する。前記端点画素点は、前記道路画像における、破線車線の端点に属する可能性のある画素点である。
【0110】
車線特定モジュール８３は、前記車線領域及び前記端点画素点に基づいて、前記道路画像における破線車線を特定する。
【0111】
一例では、図９に示すように、当該特徴処理モジュール８２は、以下のサブモジュールを備える。
【0112】
領域特定サブモジュール８２１は、前記特徴マップに基づいて前記道路画像における各画素点の領域信頼度を特定し、領域信頼度が領域閾値以上である画素点を含む領域を前記車線領域として特定する。前記領域信頼度は、前記道路画像における各画素点が車線領域に属する信頼度を表す。
【0113】
端点画素サブモジュール８２２は、前記特徴マップに基づいて、前記道路画像における各画素点の端点信頼度を特定し、前記各画素点の端点信頼度が端点閾値以上であるか否かを特定し、前記端点信頼度が前記端点閾値以上である少なくとも１つの画素点を前記端点画素点として特定する。前記端点信頼度は、前記道路画像における各画素点が破線車線の端点に属する信頼度を表す。
【0114】
一例では、端点画素サブモジュール８２２は、前記端点信頼度が前記端点閾値以上である画素点ごとに、当該画素点の隣接画素点のうち、端点信頼度が端点閾値以上である隣接画素点が少なくとも１つ存在すると特定された場合に、当該画素点を前記端点画素点として特定する。
【0115】
一例では、端点画素サブモジュール８２２は、前記端点信頼度が前記端点閾値以上である画素点ごとに、当該画素点の隣接画素点のうち、端点信頼度が端点閾値以上である隣接画素点が存在しないと特定された場合に、当該画素点が前記端点画素点ではないと特定する。
【0116】
一例では、車線特定モジュール８３は、各前記端点画素点集合における、前記車線領域に位置する端点画素点に基づいて、前記道路画像における端点座標を特定し、前記道路画像における端点座標に基づいて、前記道路画像における破線車線を特定する。
【0117】
一例では、車線特定モジュール８３は、当該端点画素点集合における、前記車線領域に位置する端点画素点の座標を加重平均し、前記道路画像における１つの端点の座標を取得する。
【0118】
一例では、車線特定モジュール８３は、更に、当該端点画素点集合における、前記車線領域に位置する端点画素点の端点信頼度に基づいて、前記道路画像における１つの端点の信頼度を特定し、特定された端点の信頼度が所定閾値よりも低い場合に、特定された端点を除去する。
【0119】
一例では、車線特定モジュール８３は、更に、前記道路画像における端点座標に基づいて、前記道路画像における端点のうちの近端点及び遠端点を特定し、前記車線領域と前記道路画像における端点のうちの近端点及び遠端点とに基づいて、前記道路画像における破線車線を特定する。
【0120】
一例では、特徴抽出モジュール８１は、特徴抽出ネットワークを介して、検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得する。
【0121】
前記特徴処理モジュール８２は、領域予測ネットワークを介して、前記特徴マップに基づいて前記道路画像における車線領域を特定し、端点予測ネットワークを介して、前記特徴マップに基づいて前記道路画像における端点画素点を特定する。
【0122】
一例では、前記装置は、ネットワークトレーニングモジュールを更に備える。ネットワークトレーニングモジュールは、以下のステップにより、前記特徴抽出ネットワーク、前記領域予測ネットワーク及び前記端点予測ネットワークをトレーニングする。当該ステップは、特徴抽出ネットワークを介して道路サンプル画像に対して特徴抽出を行い、前記道路サンプル画像の特徴マップを取得する操作であって、前記道路サンプル画像には、サンプル破線車線が含まれるとともに、前記道路サンプル画像中の車線領域をラベリングする第１ラベル情報と前記サンプル破線車線の端点画素点をラベリングする第２ラベル情報とが付加されることと、領域予測ネットワークを介して前記道路サンプル画像の特徴マップに基づいて前記道路サンプル画像における車線領域を予測して、車線領域予測情報を取得することと、端点予測ネットワークを介して前記道路サンプル画像の特徴マップに基づいて前記道路サンプル画像における端点画素点を予測することと、前記車線領域予測情報と前記第１ラベル情報との違いに基づいて、第１ネットワーク損失を特定することと、前記第１ネットワーク損失に応じて前記特徴抽出ネットワークのネットワークパラメータと前記領域予測ネットワークのネットワークパラメータとを調整することと、前記端点画素点予測情報と前記第２ラベル情報との違いに基づいて、第２ネットワーク損失を特定することと、前記第２ネットワーク損失に応じて前記端点予測ネットワークのネットワークパラメータと特徴抽出ネットワークのネットワークパラメータとを調整することとを含む。
【0123】
一例では、前記道路サンプル画像中の前記第２ラベル情報でラベリングされた端点画素点は、前記サンプル破線車線の実端点の画素点と前記実端点の画素点の隣接画素点とを含む。
【0124】
一例では、図１０に示すように、前記装置は、特定された破線車線の端点座標に基づいて、前記道路画像に対応する道路上のインテリジェントカーの測位情報を修正するための測位修正モジュール８４を更に備える。
【0125】
一例では、前記測位修正モジュール８４は、具体的に、特定された破線車線の端点座標に基づいて、画像測距方法によって第１距離を特定し、インテリジェントカーの測位情報と、インテリジェントカーに使用される運転支援地図における前記目標端点の経緯度とに基づいて、第２距離を特定し、前記第１距離と第２距離との間の誤差に応じて、前記インテリジェントカーの測位情報を修正する。前記第１距離は、特定された破線車線における目標端点とインテリジェントカーとの間の距離を示し、前記第２距離は、運転支援地図に基づいて特定された前記目標端点とインテリジェントカーとの間の距離を示す。
【0126】
本発明は、コンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、本発明の何れかの実施例に記載の破線車線検出方法を前記プロセッサに実施させる。
【0127】
本発明は、電子機器を更に提供する。前記電子機器は、プロセッサと、プロセッサで実行され得る指令を記憶するためのメモリとを備える。前記指令が実行されたときに、本発明の何れかの実施例に記載の破線車線検出方法を前記プロセッサに実施させる。
【0128】
当業者であれば理解できるように、本発明の１つ又は複数の実施例は、方法、システム又はコンピュータプログラム製品として提供され得る。したがって、本発明の１つ又は複数の実施例は、１００％ハードウェアの実施例、１００％ソフトウェアの実施例、又はソフトウェアとハードウェアとを組み合わせた態様の実施例の形式を採用してもよい。また、本発明の１つ又は複数の実施例は、１つ又は複数の、コンピュータ利用可能なプログラムコードを含むコンピュータ利用可能な記憶媒体（磁気ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリ等を含むが、それらに限定されない）で実施されるコンピュータプログラム製品の形式を採用してもよい。
【0129】
本発明の実施例は、コンピュータ可読記憶媒体を更に提供する。当該記憶媒体には、コンピュータプログラムが記憶されてもよく、前記プログラムがプロセッサによって実行されたときに、本発明の何れかの実施例に記載の破線車線を検出するためのニューラルネットワークのトレーニング方法のステップ、及び／又は、本発明の何れかの実施例に記載の破線車線検出方法のステップは、実施される。前記「及び／又は」は、両者のうちの１つを少なくとも含むことを示す。例えば、「Ａ及び／又はＢ」は、Ａ、Ｂ、及び「ＡとＢ」という３つの形態を含む。
【0130】
本発明における各実施例は、何れも漸進の方式で記述され、各実施例は、他の実施例との相違点を重点的に説明し、各実施例同士の同じ又は類似する部分が互いに参照すればよい。特にデータ処理機器の実施例は、方法実施例に基本的に類似するため、記述が相対的に簡単であり、関連箇所が方法実施例の部分の説明を参照すればよい。
【0131】
以上は、本発明の特定の実施例について記述した。他の実施例は、添付する特許請求の範囲のスコープ内に含まれる。幾つかの場合において、特許請求の範囲に記載の挙動又はステップは、実施例における順番と異なる順番で実行可能であり、且つ依然として所望の結果を得ることができる。また、図面に描かれた手順は、示された特定の順番又は連続順番でないと所望の結果を得られないことを要求するとは限らない。幾つかの実施形態において、マルチタスク処理及び並行処理も、実行可能であり、又は有利なものである。
【0132】
本発明に記述されたテーマ及び機能操作の実施例は、デジタル電子回路、有形的に体現されたコンピュータソフトウェア若しくはファームウェア、本発明に開示された構造及びその構造の均等物を含むコンピュータハードウェア、又はそれらのうちの１つ又は複数の組み合わせにおいて実現され得る。本発明に記述されたテーマの実施例は、１つ又は複数のコンピュータプログラム、即ち、有形の非一時的なプログラムキャリア上にコーディングされることでデータ処理装置によって実行され又はデータ処理装置の操作を制御されるコンピュータプログラム指令における１つ又は複数のモジュールとして実現され得る。代替的に又は追加的に、プログラム指令は、人工で生成された伝送信号、例えば機器で生成された電気、光又は電磁的信号にコーディングされてもよい。当該信号は、生成されることで情報を符号化して適切な受信機装置へ伝送されてデータ処理装置に実行させる。コンピュータ記憶媒体は、機器読み取り可能な記憶機器、機器読み取り可能な記憶基板、ランダム若しくはシリアルアクセスメモリ機器、又はそれらのうちの１つ又は複数の組み合わせであってもよい。
【0133】
本発明に記述された処理及び論理フローは、１つ又は複数のコンピュータプログラムを実行する１つ又は複数のプログラマブルコンピュータによって実施されて、入力データに応じて操作を行って出力を生成して対応する機能を実行させてもよい。前記処理及び論理フローは、専用論理回路、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）によって実行されてもよく、装置も専用論理回路として実現されてもよい。
【0134】
コンピュータプログラムの実行に適するコンピュータは、例えば、汎用及び／又は専用マイクロプロセッサ、又は如何なる他のタイプの中央処理装置を含む。通常、中央処理装置は、読み出し専用メモリ及び／又はランダムアクセスメモリから指令及びデータを受信する。コンピュータの基本ユニットは、指令を実施や実行するための中央処理装置と、指令及びデータを記憶するための１つ又は複数のメモリ機器とを備える。通常、コンピュータは、更に、データを記憶するための１つ又は複数の大容量記憶機器、例えば、磁気ディスク、光磁気ディスク又は光ディスク等を含み、又は、コンピュータは、この大容量記憶機器に操作可能にカップリングされてそれからデータを受信したりそれへデータを伝送したりし、又は、２種の状況を兼ね備える。しかし、コンピュータは、このような機器を必ず有するとは限らない。また、コンピュータは、別の機器、例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、モバイルオーディオ又はビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、又は、例えばユニバーサルシリアルバス（ＵＳＢ）フラッシュメモリドライバの携帯型記憶機器に組み込まれてもよい。以上は、単に幾つかの例である。
【0135】
コンピュータプログラム指令及びデータを記憶するのに適するコンピュータ可読媒体は、あらゆる形態の不揮発性メモリ、メディアとメモリ機器を含み、例えば、半導体メモリ機器（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭとフラッシュメモリ機器）、磁気ディスク（例えば、内部ハードディスク又はリムーバブルディスク）、光磁気ディスク及びＣＤ ＲＯＭとＤＶＤ－ＲＯＭディスクを含む。プロセッサとメモリは、専用論理回路によって補充され又は専用論理回路に統合されてもよい。
【0136】
本発明が大量の具体的な実施詳細を含むが、これらの詳細は、如何なる開示範囲又は保護請求される範囲を制限するとは解釈されるべきではなく、主に特定の開示された具体的な実施例の特徴を記述するために用いられる。本発明の複数の実施例に記述された幾つかの特徴は、単一の実施例において組み合わせて実施されてもよい。その一方、単一の実施例に記述された各種の特徴は、複数の実施例に分けて実施され、又は、如何なる適切なサブ組み合わせとして実施されてもよい。また、特徴が上記のように幾つかの組み合わせにおいて役割を果たし、ひいてはこのように保護するように最初は要求されてもよいが、保護請求される組み合わせからの１つ又は複数の特徴は、幾つかの場合において当該組み合わせから除去されてもよく、更に、保護請求される組み合わせは、サブ組み合わせ又はサブ組み合わせの変形を指してもよい。
【0137】
類似的に、図面に特定の順番で操作が描かれたが、これらの操作が示された特定の順番で実行され又は順に実行され又は全ての例示の操作が実行されて所望の結果を得ることを要求するとして理解されるべきではない。幾つかの場合に、マルチタスク及び並行処理は、有利である可能性がある。また、上記実施例における各種のシステムモジュールとユニットの分離は、全ての実施例においてこのような分離を必要とすると理解されるべきではない。更に、理解できるように、記述されるプログラムユニット及びシステムは、通常、単一のソフトウェア製品に統合されてもよく、又は複数のソフトウェア製品としてカプセル化されてもよい。
【0138】
このように、テーマの特定実施例が記述された。他の実施例は、添付する特許請求の範囲のスコープ内に含まれる。幾つかの場合において、特許請求の範囲に記載の動作は、異なる順番で実行可能であり、且つ依然として所望の結果を得ることができる。また、図面に描かれた処理が必ずしも示された特定の順番又は連続順番で所望の結果を得るとは限らない。幾つかの実施形態において、マルチタスク処理及び並行処理は、有利である可能性がある。
【0139】
上述したのは、本発明の１つ又は複数の実施例に過ぎず、本発明を制限するためのものではない。本発明の精神及び原則内でなされた如何なる変更、均等物による置換、改良等も、本発明の保護範囲内に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2021-12-03
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
破線車線検出方法であって、検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得するステップと、
前記特徴マップに基づいて、前記道路画像における車線領域と、前記道路画像における、破線車線の端点に属する可能性のある画素点である端点画素点とを特定するステップと、
前記車線領域及び前記端点画素点に基づいて、前記道路画像における破線車線を特定するステップと、を含むことを特徴とする破線車線検出方法。
【請求項2】
前記特徴マップに基づいて前記道路画像における車線領域を特定することは、前記特徴マップに基づいて前記道路画像における各画素点の領域信頼度を特定することと、
領域信頼度が領域閾値以上である画素点を含む領域を前記車線領域として特定することと、を含み、
前記領域信頼度は、前記道路画像における各画素点が前記車線領域に属する信頼度を表すことを特徴とする請求項１に記載の破線車線検出方法。
【請求項3】
前記特徴マップに基づいて前記道路画像における端点画素点を特定することは、前記特徴マップに基づいて、前記道路画像における各画素点の端点信頼度を特定することと、
前記各画素点の端点信頼度が端点閾値以上であるか否かを特定することと、
前記端点信頼度が前記端点閾値以上である少なくとも１つの画素点を前記端点画素点として特定することと、を含み、
前記端点信頼度は、前記道路画像における各画素点が破線車線の端点に属する信頼度を表すことを特徴とする請求項１又は２に記載の破線車線検出方法。
【請求項4】
前記端点信頼度が前記端点閾値以上である少なくとも１つの画素点を前記端点画素点として特定することは、前記端点信頼度が前記端点閾値以上である画素点ごとに、当該画素点の隣接画素点のうち、端点信頼度が端点閾値以上である隣接画素点が少なくとも１つ存在すると特定された場合に、当該画素点を前記端点画素点として特定することを含むことを特徴とする請求項３に記載の破線車線検出方法。
【請求項5】
前記特徴マップに基づいて前記道路画像における端点画素点を特定することは、前記端点信頼度が前記端点閾値以上である画素点ごとに、当該画素点の隣接画素点のうち、端点信頼度が端点閾値以上である隣接画素点が存在しないと特定された場合に、当該画素点が前記端点画素点ではないと特定することを更に含むことを特徴とする請求項３に記載の破線車線検出方法。
【請求項6】
各所定領域範囲内に位置する前記端点画素点は、対応する端点画素点集合を構成し、前記車線領域及び前記端点画素点に基づいて、前記道路画像における破線車線を特定するステップは、
各前記端点画素点集合における、前記車線領域に位置する端点画素点に基づいて、前記道路画像における端点座標を特定することと、
前記道路画像における端点座標に基づいて、前記道路画像における破線車線を特定することと、を含むことを特徴とする請求項１から５の何れか一項に記載の破線車線検出方法。
【請求項7】
各前記端点画素点集合における、前記車線領域に位置する端点画素点に基づいて、前記道路画像における端点座標を特定することは、当該端点画素点集合における、前記車線領域に位置する端点画素点の座標を加重平均し、前記道路画像における１つの端点の座標を取得することを含むことを特徴とする請求項６に記載の破線車線検出方法。
【請求項8】
前記車線領域及び前記端点画素点に基づいて、前記道路画像における破線車線を特定するステップは、当該端点画素点集合における、前記車線領域に位置する端点画素点の端点信頼度に基づいて、前記道路画像における１つの端点の信頼度を特定することと、
特定された端点の信頼度が所定閾値よりも低い場合に、特定された端点を除去することと、を更に含むことを特徴とする請求項７に記載の破線車線検出方法。
【請求項9】
前記道路画像における端点座標に基づいて、前記道路画像における破線車線を特定することは、前記道路画像における端点座標に基づいて、前記道路画像における端点のうちの近端点及び遠端点を特定することと、
前記車線領域と前記道路画像における端点のうちの近端点及び遠端点とに基づいて、前記道路画像における破線車線を特定することと、を含むことを特徴とする請求項６から８の何れか一項に記載の破線車線検出方法。
【請求項10】
検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得することは、特徴抽出ネットワークによって実行され、前記特徴マップに基づいて前記道路画像における車線領域を特定することは、領域予測ネットワークによって実行され、
前記特徴マップに基づいて前記道路画像における端点画素点を特定することは、端点予測ネットワークによって実行され、
前記特徴抽出ネットワーク、前記領域予測ネットワーク及び前記端点予測ネットワークは、
特徴抽出ネットワークを介して道路サンプル画像に対して特徴抽出を行い、前記道路サンプル画像の特徴マップを取得する操作であって、前記道路サンプル画像には、サンプル破線車線が含まれるとともに、前記道路サンプル画像中の車線領域をラベリングする第１ラベル情報と前記サンプル破線車線の端点画素点をラベリングする第２ラベル情報とが付加される操作と、
領域予測ネットワークを介して前記道路サンプル画像の特徴マップに基づいて前記道路サンプル画像における車線領域を予測し、車線領域予測情報を取得する操作と、
端点予測ネットワークを介して前記道路サンプル画像の特徴マップに基づいて前記道路サンプル画像における端点画素点を予測し、端点画素点予測情報を取得する操作と、
前記車線領域予測情報と前記第１ラベル情報との違いに基づいて、第１ネットワーク損失を特定し、前記第１ネットワーク損失に応じて前記特徴抽出ネットワークのネットワークパラメータと前記領域予測ネットワークのネットワークパラメータとを調整する操作と、
前記端点画素点予測情報と前記第２ラベル情報との違いに基づいて、第２ネットワーク損失を特定し、前記第２ネットワーク損失に応じて前記端点予測ネットワークのネットワークパラメータと前記特徴抽出ネットワークの前記ネットワークパラメータとを調整する操作と、によってトレーニングされることを特徴とする請求項１から９の何れか一項に記載の破線車線検出方法。
【請求項11】
前記道路サンプル画像中の前記第２ラベル情報でラベリングされた端点画素点は、前記サンプル破線車線の実端点の画素点と前記実端点の画素点の隣接画素点とを含むことを特徴とする請求項１０に記載の破線車線検出方法。
【請求項12】
特定された破線車線の端点座標に基づいて、前記道路画像に対応する道路上のインテリジェントカーの測位情報を修正するステップを更に含むことを特徴とする請求項６から９の何れか一項に記載の破線車線検出方法。
【請求項13】
特定された破線車線の端点座標に基づいて、前記道路画像に対応する道路上のインテリジェントカーの測位情報を修正するステップは、特定された破線車線の端点座標に基づいて、画像測距方法により、特定された破線車線の目標端点とインテリジェントカーとの間の距離を示す第１距離を特定することと、
インテリジェントカーの測位情報とインテリジェントカーで使用される運転支援地図における前記目標端点の経緯度とに基づいて、運転支援地図に基づいて特定された前記目標端点とインテリジェントカーとの間の距離を示す第２距離を特定することと、
前記第１距離と第２距離との間の誤差に応じて、前記インテリジェントカーの測位情報を修正することと、を含むことを特徴とする請求項１２に記載の破線車線検出方法。
【請求項14】
破線車線検出装置であって、検出すべき道路画像に対して特徴抽出を行い、前記道路画像の特徴マップを取得するための特徴抽出モジュールと、
前記特徴マップに基づいて、前記道路画像における車線領域と、前記道路画像における、破線車線の端点に属する可能性のある画素点である端点画素点とを特定するための特徴処理モジュールと、
前記車線領域及び前記端点画素点に基づいて、前記道路画像における破線車線を特定するための車線特定モジュールと、を備えることを特徴とする破線車線検出装置。
【請求項15】
電子機器であって、プロセッサと、
指令を記憶するためのメモリと、を備え、
前記指令が前記プロセッサによって実行され得ることにより、請求項１から１３の何れか一項に記載の破線車線検出方法は、実施されることを特徴とする電子機器。
【請求項16】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行され得ることにより、請求項１から１３の何れか一項に記載の破線車線検出方法は、実施されることを特徴とするコンピュータ可読記憶媒体。
【国際調査報告】