特許 6572345 車線検出のための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6572345

(24)【登録日】2019年8月16日

(45)【発行日】2019年9月11日

(54)【発明の名称】車線検出のための方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20190902BHJP

   G06T 7/60 20170101ALI20190902BHJP

   G06N 3/04 20060101ALI20190902BHJP

【ＦＩ】

   G06T7/00 650A

   G06T7/00 350C

   G06T7/60 200J

   G06N3/04 145

【請求項の数】10

【外国語出願】

【全頁数】19

(21)【出願番号】特願2018-92378(P2018-92378)

(22)【出願日】2018年5月11日

(65)【公開番号】特開2019-102049(P2019-102049A)

(43)【公開日】2019年6月24日

【審査請求日】2018年5月11日

(31)【優先権主張番号】201711237254.5

(32)【優先日】2017年11月30日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】514305493

【氏名又は名称】東軟集団股▲分▼有限公司

(73)【特許権者】

【識別番号】516235037

【氏名又は名称】東軟睿馳汽車技術（上海）有限公司

【氏名又は名称原語表記】ＮＥＵＳＯＦＴ ＲＥＡＣＨ ＡＵＴＯＭＯＴＩＶＥ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＡＮＧＨＡＩ） ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100125874

【弁理士】

【氏名又は名称】川端 純市

(74)【代理人】

【識別番号】100189544

【弁理士】

【氏名又は名称】柏原 啓伸

(72)【発明者】

【氏名】田 歓

(72)【発明者】

【氏名】胡 駿

(72)【発明者】

【氏名】程 帥

(72)【発明者】

【氏名】劉 威

【審査官】 新井 則和

(56)【参考文献】

【文献】 Ｋ．Ｊａｓｏｎ ｅｔ．ａｌ，Ｒｅｃｕｒｒｅｎｔ Ａｔｔｅｎｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｓａｌｉｅｎｃｙ Ｄｅｔｅｃｔｉｏｎ，２０１６ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，米国，ＩＥＥＥ，２０１６年 ６月３０日，pp. 3668-3677，ＵＲＬ，https://ieeexplore.ieee.org/document/7780768

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０６Ｎ ３／０４

(57)【特許請求の範囲】

【請求項1】

車線を検出するための方法であって、
自動車の周囲の道路の現在の道路画像を取得するステップと、及び、
前記現在の道路画像をディープラーニングモデルに入力し、前記ディープラーニングモデルから出力された結果に基づいて前記現在の道路画像中の車線領域を検出するステップと、を含み、
前記ディープラーニングモデルは過去の道路画像及び前記過去の道路画像中の既知の車線領域の間の関係に基づいて訓練されたモデルであり、
前記ディープラーニングモデルは第１のモデルユニット及び第２のモデルユニットを含み、かつ前記第１のモデルユニットの出力は前記第２のモデルユニットの入力の役割を果たし、
前記第１のモデルユニットは少なくとも１つの第１のモデルサブユニットを含み、前記第１のモデルサブユニットは畳み込みニューラルネットワーク及び第１の再帰型ニューラルネットワークを含み、前記畳み込みニューラルネットワークの出力は前記第１の再帰型ニューラルネットワークの入力の役割を果たし、並びに、
前記第２のモデルユニットは少なくとも１つの第２のモデルサブユニットを含み、前記第２のモデルサブユニットは逆畳み込みニューラルネットワーク及び第２の再帰型ニューラルネットワークを含み、前記逆畳み込みニューラルネットワークの出力は前記第２の再帰型ニューラルネットワークの入力の役割を果たす、
車線を検出するための方法。

【請求項2】

請求項１に記載の方法であって、
第１の再帰型ニューラルネットワーク及び第２の再帰型ニューラルネットワークの各々が双方向長・短期記憶ネットワークである、
車線を検出するための方法。

【請求項3】

請求項１に記載の方法であって、
現在の道路画像中の各ピクセル点に対して、前記ピクセル点に対する畳み込みニューラルネットワークの出力結果及び前記ピクセル点の近傍内の複数のピクセル点に対する畳み込みニューラルネットワークの出力結果により第１のシーケンスが形成され、第１の再帰型ニューラルネットワークに入力され、並びに、
現在の道路画像中の各ピクセル点に対して、前記ピクセル点に対する逆畳み込みニューラルネットワークの出力結果及び前記ピクセル点の近傍内の複数のピクセル点に対する逆畳み込みニューラルネットワークの出力結果により第２のシーケンスが形成され、第２の再帰型ニューラルネットワークに入力される、
車線を検出するための方法。

【請求項4】

請求項１に記載の方法であって、
ディープラーニングモデルがさらに第３の再帰型ニューラルネットワークを含み、
前記第２のモデルユニットから複数の道路画像を処理することにより出力された結果から第３のシーケンスが形成され、前記第３の再帰型ニューラルネットワークに入力され、
前記複数の道路画像は前記現在の道路画像及び直近の様々な時刻に取得された道路画像を含む、
車線を検出するための方法。

【請求項5】

車線を検出するための装置であって、
自動車の周囲の道路の現在の道路画像を取得するよう設定された画像取得モジュールと、
前記現在の道路画像をディープラーニングモデルに入力し、前記ディープラーニングモデルから出力された結果に基づいて前記現在の道路画像中の車線領域を検出するよう設定されたモデル処理モジュールと、を含み、
前記ディープラーニングモデルは過去の道路画像及び前記過去の道路画像中の既知の車線領域の間の関係に基づいて訓練されたモデルであり、
前記ディープラーニングモデルは第１のモデルユニット及び第２のモデルユニットを含み、かつ前記第１のモデルユニットの出力は前記第２のモデルユニットの入力の役割を果たし、
前記第１のモデルユニットは少なくとも１つの第１のモデルサブユニットを含み、前記第１のモデルサブユニットは畳み込みニューラルネットワーク及び第１の再帰型ニューラルネットワークを含み、前記畳み込みニューラルネットワークの出力は前記第１の再帰型ニューラルネットワークの入力の役割を果たし、並びに、
前記第２のモデルユニットは少なくとも１つの第２のモデルサブユニットを含み、前記第２のモデルサブユニットは逆畳み込みニューラルネットワーク及び第２の再帰型ニューラルネットワークを含み、前記逆畳み込みニューラルネットワークの出力は前記第２の再帰型ニューラルネットワークの入力の役割を果たす、
車線を検出するための装置。

【請求項6】

請求項５に記載の装置であって、
第１の再帰型ニューラルネットワーク及び第２の再帰型ニューラルネットワークの各々が双方向長・短期記憶ネットワークである、
車線を検出するための装置。

【請求項7】

請求項５に記載の装置であって、
現在の道路画像中の各ピクセル点に対して、前記ピクセル点に対する畳み込みニューラルネットワークの出力結果及び前記ピクセル点の近傍内の複数のピクセル点に対する畳み込みニューラルネットワークの出力結果により第１のシーケンスが形成され、第１の再帰型ニューラルネットワークに入力され、並びに、
現在の道路画像中の各ピクセル点に対して、前記ピクセル点に対する逆畳み込みニューラルネットワークの出力結果及び前記ピクセル点の近傍内の複数のピクセル点に対する逆畳み込みニューラルネットワークの出力結果により第２のシーケンスが形成され、第２の再帰型ニューラルネットワークに入力される、
車線を検出するための装置。

【請求項8】

請求項５に記載の装置であって、
ディープラーニングモデルがさらに第３の再帰型ニューラルネットワークを含み、
前記第２のモデルユニットから複数の道路画像を処理することにより出力された結果から第３のシーケンスが形成され、前記第３の再帰型ニューラルネットワークに入力され、
前記複数の道路画像は前記現在の道路画像及び直近の様々な時刻に取得された道路画像を含む、
車線を検出するための装置。

【請求項9】

車線を検出するためのデバイスであって、
プロセッサと、
メモリと、を含み、
メモリはプログラムコードを格納し、プログラムコードをプロセッサに送信するよう設定され、及び、
プロセッサはプログラムコードの命令に反応して、請求項１〜４のいずれか１つに記載の車線を検出するための方法を実行するよう設定される、
車線を検出するためのデバイス。

【請求項10】

請求項１〜４に記載の車線を検出するための方法を実行するためのプログラムコードを格納する、
記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理の技術分野、特に車線検出のための方法及び装置に関する。

【背景技術】

【0002】

自動車の運転の分野に知能システムが適用される中で、ますます多くの自動車が自動運転又は補助運転を可能にする知能システムを装備されている。自動運転又は補助運転を実現するために、自動車上の知能システムは通常、自動車の周囲の道路の道路画像から車線を検出する必要があり、それにより自動車の周囲の運転車線を決定して運転を誘導する。マシンラーニングモデルとして、ニューラルネットワークが車線検出技術に適用されている。しかしながら、ニューラルネットワークに基づく検出スキームにおいて、すべての車線が正確に検出できるわけではなく、また特に、不完全な車線、部分的に重なっている車線、又は極端に光量の変化する環境下の車線の場合に、車線は正確にかつ効果的に検出されることができない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

車線を検出するための方法及び装置であって、道路画像の各ピクセル点の画像特徴は画像処理において保存されることができ、それにより不完全な車線、部分的に重なっている車線、又は極端に光量の変化する環境下の車線といった車線を正確にかつ効果的に検出する、方法及び装置が提供される。

【課題を解決するための手段】

【0004】

第１の様相において、本開示の実施形態により、車線を検出するための方法が提供される。方法は、
自動車の周囲の道路の現在の道路画像を取得するステップ、及び、
前記現在の道路画像をディープラーニングモデルに入力し、前記ディープラーニングモデルから出力された結果に基づいて前記現在の道路画像の車線領域を検出する、ステップを含み、
前記ディープラーニングモデルは、過去の道路画像及び前記過去の道路画像中の既知の車線領域の間の対応関係に基づいて訓練されており、
前記ディープラーニングモデルは第１のモデルユニット及び第２のモデルユニットを含み、かつ前記第１のモデルユニットの出力は前記第２のモデルユニットの入力の役割を果たし、
前記第１のモデルユニットは少なくとも１つの第１のモデルサブユニットを含み、前記第１のモデルサブユニットは畳み込みニューラルネットワーク及び第１の再帰型ニューラルネットワークを含み、前記畳み込みニューラルネットワークの出力は前記第１の再帰型ニューラルネットワークの入力の役割を果たし、並びに、
前記第２のモデルユニットは少なくとも１つの第２のモデルサブユニットを含み、前記第２のモデルサブユニットは逆畳み込みニューラルネットワーク及び第２の再帰型ニューラルネットワークを含み、前記逆畳み込みニューラルネットワークの出力は前記第２の再帰型ニューラルネットワークの入力の役割を果たす、
方法である。

【0005】

いくつかの実施形態では、第１の再帰型ニューラルネットワーク及び第２の再帰型ニューラルネットワークの各々は、双方向長・短期記憶ネットワークであってよい。

【0006】

いくつかの実施形態では、現在の道路画像の各ピクセル点に対して、前記ピクセル点に対する畳み込みニューラルネットワークの出力結果及び、前記ピクセル点の近傍内の複数のピクセル点に対する畳み込みニューラルネットワークの出力結果により、第１のシーケンスが形成され、第１の再帰型ニューラルネットに入力され、並びに、
現在の道路画像の各ピクセル点に対して、前記ピクセル点に対する逆畳み込みニューラルネットワークの出力結果及び、前記ピクセル点の近傍内の複数のピクセル点に対する逆畳み込みニューラルネットワークの出力結果により第２のシーケンスが形成され、第２の再帰型ニューラルネットに入力される。

【0007】

いくつかの実施形態では、ディープラーニングモデルはさらに第３の再帰型ニューラルネットワークを含んでよく、
現在の道路画像及び最近様々な時刻において取得された道路画像を含む、複数の道路画像を処理することで第２のモデルユニットにより出力された結果から、第３の再帰型ニューラルネットワークに入力される第３のシーケンスが形成される。

【0008】

第２の様相において、本開示の実施形態により、車線を検出するための装置が提供される。前記装置は、
自動車の周囲の道路の現在の道路画像を取得するよう設定された画像取得モジュールと、及び、
前記現在の道路画像をディープラーニングモデルに入力し、前記ディープラーニングモデルから出力された結果に基づいて、前記現在の道路画像における車線領域を検出するよう設定されたモデル処理モジュールと、を含み、
ディープラーニングモデルは、過去の道路画像及び前記過去の道路画像中の既知の車線領域の間の対応関係に基づいて訓練された、モデルであり、
ディープラーニングモデルは第１のモデルユニット及び第２のモデルユニットを含み、前記第１のモデルユニットの出力は前記第２のモデルユニットの入力の役割を果たし、
前記第１のモデルユニットは少なくとも１つの第１のモデルサブユニットを含み、前記第１のモデルサブユニットは畳み込みニューラルネットワーク及び第１の再帰型ニューラルネットワークを含み、前記畳み込みニューラルネットワークの出力は前記第１の再帰型ニューラルネットワークの入力の役割を果たし、
前記第２のモデルユニットは少なくとも１つの第２のモデルサブユニットを含み、前記第２のモデルサブユニットは逆畳み込みニューラルネットワーク及び第２の再帰型ニューラルネットワークを含み、前記逆畳み込みニューラルネットワークの出力は前記第２の再帰型ニューラルネットワークの入力の役割を果たす、
装置である。

【0009】

いくつかの実施形態では、第１の再帰型ニューラルネットワーク及び第２の再帰型ニューラルネットワークの各々は、双方向長・短期記憶ネットワークであってよい。

【0010】

いくつかの実施形態では、現在の道路画像の各ピクセル点に対して、そのピクセル点に対する畳み込みニューラルネットワークの出力結果及び、そのピクセル点に近接するピクセル点に対する畳み込みニューラルネットワークの出力結果により第１のシーケンスが形成され、第１の再帰型ニューラルネットに入力され、並びに、
現在の道路画像の各ピクセル点に対して、そのピクセル点に対する逆畳み込みニューラルネットワークの出力結果及び、そのピクセル点に近接するピクセル点に対する逆畳み込みニューラルネットワークの出力結果により第２のシーケンスが形成され、第２の再帰型ニューラルネットに入力される。

【0011】

いくつかの実施形態では、ディープラーニングモデルがさらに第３の再帰型ニューラルネットワークを含んでよく、
現在の道路画像及び最近様々な時刻において取得された道路画像を含む、複数の道路画像を処理することで第２のモデルユニットにより出力された結果から第３のシーケンスが形成され、第３の再帰型ニューラルネットワークに入力される。

【0012】

第３の様相において、本開示の実施形態により、車線を検出するためのデバイスが提供される。デバイスは、
プロセッサと、及び、
メモリと、を含み、
前記メモリはプログラムコードを保持して前記プログラムコードを前記プロセッサに送信するよう設定され、
前記プロセッサは前記プログラムコード内の命令に反応して、前記第１の様相による、車線を検出するための方法を実行するよう設定される。

【0013】

第４の様相において、本開示の実施形態による記憶媒体が提供される。前記記憶媒体は、第１の様相による車線を検出するための方法を実行するためのプログラムコードを保持するよう設定される。

【0014】

本開示の実施形態によると、自動車の周囲の道路の道路画像中の車線が、ディープラーニングモデルにより検出される。畳み込みニューラルネットワーク（ＮＣＣ）に加え、ディープラーニングモデルには再帰型ニューラルネットワーク（ＲＮＮ）も使用される。従って、再帰型ニューラルネットワークによる道路画像処理において、入力画像中の各ピクセル点に対して画像特徴に基づいた知覚結果が出力され、それにより道路画像中の各ピクセル点の画像特徴が保存され得、かつ道路画像中の車線の空間特徴が抽出され得て、それゆえ不完全な車線、部分的に塞がれた車線、又は極端に光量が変化する環境下の車線の場合であっても、車線が正確にかつ効果的に検出され得る。

【図面の簡単な説明】

【0015】

本開示の実施形態又は従来技術における技術的解決をより明瞭に示すために、実施形態又は従来技術の説明において用いられる図面は以下で簡単に説明される。以下の説明における図面は本開示のいくつかの実施形態のみを示すものであり、これらの図面から他の図面が当業者により創作的努力なく獲得され得ることは明らかである。

【0016】

【図1】図１は、本開示の実施形態に係る、ある適用事例に関係するシステムのフレームワークの模式図である。

【図2】図２は、本開示の実施形態に係る、車線を検出するための方法の模式的なフローチャートである。

【図3a】図３ａは、本開示の実施形態に係る、ディープラーニングモデルの構造の模式図である。

【図3b】図３ｂは、本開示の実施形態に係る、ディープラーニングモデルの別の構造の模式図である。

【図4】図４は、本開示の実施形態に係る、畳み込みニューラルネットワークの出力結果に対して実行される特徴変換を示す模式図である。

【図5】図５は、本開示の実施形態に係る、ピクセル点Ａに対して形成する第１のシーケンスの模式図である。

【図6】図６は、本開示の実施形態に係る、ディープラーニングモデルの別の構造の模式図である。

【図7】図７は、本開示の実施形態に係る、第３の再帰型ニューラルネットワークに対する特徴変換を示す模式図である。

【図8】図８は、本開示の実施形態に係る、車線を検出するための装置の構造の模式図である。

【図9】図９は、本開示の実施形態に係る、車線を検出するためのデバイスの構造の模式図である。

【発明を実施するための形態】

【0017】

本開示の解決手段を当業者によりよく理解されるようにするため、本開示の実施形態における技術的解決は、本開示の実施形態における図面と組み合わせて以下で明瞭に説明される。以下で説明される実施形態は本開示のいくつかの実施形態に過ぎず、すべての実施形態ではないことは明らかである。本開示の実施形態に基づいて当業者が創作的努力なく獲得した他のすべての実施形態は、本開示の保護の範囲に含まれる。

【0018】

道路画像は道路画像処理方法の中で、畳み込みニューラルネットワークにより処理される。しかしながら、畳み込みニューラルネットワークにより道路画像が処理された後、道路画像のピクセルサイズは減縮され、それゆえ画像特徴の一部が失われる。具体的には、畳み込みニューラルネットワークによる道路画像処理において、畳み込みニューラルネットワークは、入力画像中の複数のピクセル点を含む画像領域に対する１つの画像特徴結果を出力することで、その画像領域の画像特徴を特徴付ける。たとえば、畳み込みニューラルネットワークへ入力される画像中の９ピクセル点を含む画像領域に対して、畳み込みニューラルネットワークは、その画像領域を処理した後、その画像領域の画像特徴を表現するために１つの点の画像特徴のみを出力する。こうすると、もし入力画像が本来９×ｎ個のピクセル点の画像特徴を持っているならば、処理の後に畳み込みニューラルネットワークにより出力された画像はｎ点の画像特徴しか持たず、つまり、入力画像のピクセルサイズが９分の１に減縮されている。従って、畳み込みニューラルネットワークによる道路画像処理において、あらゆるピクセル点に対する画像特徴が出力されることはあり得ない。この場合、いくつかの画像情報が道路画像処理の間に失われ、結果として畳み込みニューラルネットワークによる道路画像から識別された車線情報は不正確なものとなる。再帰型ニューラルネットワークは道路画像の処理において、各ピクセル点に対する画像特徴結果を出力することができる。この場合、処理の後に再帰型ニューラルネットワークにより出力される画像のピクセルサイズは入力画像のものと比べて変化しないままであり、これにより画像情報の損失を避け、畳み込みニューラルネットワークの欠点を補う。

【0019】

上記の観点において、本開示の実施形態によるディープラーニングモデルによって、自動車の周囲の道路の道路画像中の車線が検出される。畳み込みニューラルネットワークに加え、ディープラーニングモデル内では再帰型ニューラルネットワークも使用されている。従って、再帰型ニューラルネットワークによる道路画像処理において、画像特徴に基づいた知覚結果は入力画像中の各ピクセル点に対して出力され、これにより道路画像中の各ピクセル点の画像特徴が保存され得、かつ道路画像中の車線の空間特徴が抽出され得て、それゆえ不完全な車線、部分的に塞がれた車線、又は極端に光量が変化する環境下の車線の場合であっても、車線が正確にかつ効果的に検出され得る。

【0020】

本開示の実施形態に係る事例は、図１に示したようなシステムであり得る。システムはたとえば、運転アシストシステムであってよい。具体的には、システムはたとえば、車線の自動検出システムであってよい。システムは処理デバイス１０１、ディスプレイデバイス１０２及び撮影デバイス１０３を含む。このシステムにおいて、撮影デバイス１０３は撮影して車線の現在の道路画像を取得し、及び現在の道路画像を処理デバイス１０１に送信してよい。処理デバイス１０１は現在の道路画像をディープラーニングモデルに入力し、ディープラーニングモデルから出力された結果に基づいて現在の道路画像中の車線領域を決定してよい。処理デバイス１０１はその後、現在の道路画像上の決定された車線領域を識別して、現在の道路画像を識別された車線領域とともに、表示のためのディスプレイデバイス１０２に送信してもよい。

【0021】

適用事例はただ本開示の理解を容易にするために示されたものであり、本開示の実施形態における適用事例がそれに限定されることはないことは注意されるべきである。本開示の実施形態は、どのような適用可能な事例にも適用され得る。

【0022】

図２を参照して、図２は本開示の実施形態に係る、車線を検出するための方法の模式的なフローチャートである。実施形態に係る車線を検出するための方法は、以下のＳ２０１〜Ｓ２０２を含む。

【0023】

Ｓ２０１では、自動車の周囲の道路の現在の道路画像が取得される。

【0024】

この実施形態において、自動車の周囲の現在の道路は自動車上の前方に向けたカメラによりキャプチャされてよく、カメラによりキャプチャされた画像は、自動車の周囲の道路の現在の道路画像として取得され及び使用されてよい。

【0025】

通常、自動車の前方に向けたカメラのカバー範囲は大きいため、カメラによりキャプチャされた道路画像の全体が処理されるならば、処理される道路画像のデータ量は大きくなり、処理速度に影響を与える。加えて、自動車の現在の位置から遠く離れた道路画像コンテンツを処理することには何の重要性もない。この観点から、可能な実装では、自動車の周囲の道路の現在の道路画像は、以下のステップＡ〜Ｂにより取得され得る。

【0026】

ステップＡでは、自動車のカメラによりキャプチャされた現在の周辺画像が取得される。

【0027】

ステップＢでは、自動車の前方の所定の領域の画像が現在の周辺画像から切り出され、現在の道路画像として使用される。

【0028】

たとえば、自動車の前方の所定の領域は、自動車のすぐ前方の長方形領域であってよく、その長方形領域の長さ及び幅は実際の状況に即して決定されてよい。たとえば、長方形領域の長さは自動車の現在の運転速度に基づいて決定され、長方形領域の幅は自動車の車体の幅に基づいて決定される。加えて、自動車の前方の所定の領域は他の形の領域でもよく、この実施形態に限定されることはない。

【0029】

Ｓ２０２では、現在の道路画像がディープラーニングモデルへと入力され、ディープラーニングモデルから出力された結果に基づいて、現在の道路画像中の車線領域が検出される。

【0030】

この実施形態におけるディープラーニングモデルは、過去の道路画像及び過去の道路画像における既知の車線領域の間の対応関係に基づいて訓練されたモデルであるということには注意すべきである。つまり、ディープラーニングモデルは大量の過去のデータに基づいて訓練されており、現在の道路画像が入力されるディープラーニングモデルが結果を出力し、現在の道路画像の車線情報がその結果に基づいて決定され得る。

【0031】

ディープラーニングモデルはディープラーニングモデルに現在の道路画像が入力された後、現在の道路画像に基づいて各ピクセル点の画像特徴を抽出でき、つまり各ピクセル点に対する結果を出力することができ、各ピクセル点に対する出力結果に基づいて現在の道路画像の車線情報が決定できるということは注意されるべきである。ディープラーニングモデルから出力された各ピクセル点に対する結果が、そのピクセル点が車線領域内の点であるかどうかを示してよいということは理解しておくべきである。ピクセル点ｉに対する出力結果は、Ｐ（ｉ）で表される。たとえばＡ≠Ｂとして、Ｐ（ｉ）＝Ａという関係はピクセル点ｉが車線領域内の点であることを示し、Ｐ（ｉ）＝Ｂという関係は、ピクセル点ｉが車線領域の外側の点であることを示す。他の例として、Ｃ及びＤを所定の値として、Ｐ（ｉ）∈［Ｃ，Ｄ］という関係はｉが車線領域内の点であることを示し、

【数1】

という関係は点ｉが車線領域の外側の点であることを示す。

【0032】

この実装において、ディープラーニングモデルには畳み込みニューラルネットワーク及び再帰型ニューラルネットワークの両方が採用され、現在の道路画像の処理において画像情報が失われるのを避ける。これにより、畳み込みニューラルネットワークによる画像処理において画像情報が損失されるのに対し、再帰型ニューラルネットワークによる画像処理においては画像情報が保存される。従って、現在の道路画像の全ての画像情報がニューラルネットワークにより処理されることができ、現在の道路画像における車線の検出結果は正確なものとなる。

【0033】

たとえば、図３ａ及び図３ｂを参照して、これらは本実施形態に係るディープラーニングモデルの２つの典型的な構造の模式図である。両方の構造において、ディープラーニングモデルは第１のモデルユニット３００及び第２のモデルユニット４００を含み、前記第１のモデルユニット３００の出力は前記第２のモデルユニット４００の入力の役割を果たしている。

【0034】

第１のモデルユニット３００に入力されるデータは自動車の現在の道路画像であってよく、第１のモデルユニット３００からその道路画像を処理することで出力された結果が、第２のモデルユニット４００へと入力されるということは注意されるべきである。第２のモデルユニット４００は第１のモデルユニット３００により出力された結果を処理した後、処理結果を出力する。処理結果はディープラーニングモデルの出力で、現在の道路画像における車線領域を決定するためのものであってよい。

【0035】

第１のモデルユニット３００は少なくとも１つの第１のモデルサブユニット３１０を含む。前記第１のモデルサブユニットは畳み込みニューラルネットワーク３１１及び第１の再帰型ニューラルネットワーク３１２を含む。前記畳み込みニューラルネットワーク３１１の出力は、前記第１の再帰型ニューラルネットワーク３１２の入力の役割を果たす。

【0036】

第２のモデルユニット４００は少なくとも１つの第２のモデルサブユニット４１０を含む。前記第２のモデルサブユニットは逆畳み込みニューラルネットワーク４１１及び第２の再帰型ニューラルネットワーク４１２を持つ。前記逆畳み込みニューラルネットワーク４１１の出力は、前記第２の再帰型ニューラルネットワーク４１２の入力の役割を果たす。

【0037】

この実施形態では、自動車の現在の道路画像は畳み込みニューラルネットワーク及び第１の再帰型ニューラルネットワークの組み合わせを備える第１のモデルユニット３００によって処理され、第１のモデルユニット３００の出力はさらに、逆畳み込みニューラルネットワーク及び第２の再帰型ニューラルネットワークの組み合わせを備える第２のモデルユニット４００によって処理される。

【0038】

第１のモデルユニット３００は畳み込みニューラルネットワーク３１１及び第１の再帰型ニューラルネットワーク３１２からなる少なくとも１つのグループを含み、すなわち、少なくとも１つの第１のモデルサブユニット３１０を含むことは理解されるべきである。これはつまり、第１のモデルユニット３００は図３ａに示したように、ただ１つの第１のモデルサブユニット３１０を含んでもよいということである。代替的に、第１のモデルユニット３００は図３ｂに示されたように、複数の第１のモデルサブユニット３１０を含んでもよい。

【0039】

この実施形態では、ディープラーニングモデルに現在の道路画像が入力された後、現在の道路画像中の各ピクセル点が車線領域内に位置しているかどうかを示す結果が、ディープラーニングモデルにより出力される必要がある。従って、画像がディープラーニングモデルにより処理された後、処理された画像のピクセルサイズは変化しない必要がある。従って、畳み込みニューラルネットワーク３１１及び逆畳み込みニューラルネットワーク４１１の両方がディープラーニングモデルに採用される。画像はまず畳み込みニューラルネットワーク３１１により処理され、処理画像のピクセルサイズが減縮される。その後画像は逆畳み込みニューラルネットワーク４１１により処理され、処理画像のピクセルサイズは拡張される。こうすることで、ディープラーニングモデルにより処理された後の画像及び元来ディープラーニングモデルに入力された画像は同じピクセルサイズを持ち、現在の道路画像のあるピクセル点が車線領域に位置しているかどうかを示す結果が、現在の道路画像の各ピクセル点に対して取得され得る。

【0040】

第１のモデルユニット３００における第１の再帰型ニューラルネットワーク３１２及び、第２のモデルユニット４００における第２の再帰型ニューラルネットワーク４１２の各々は、どのような再帰型ニューラルネットワークでもよいということは注意されるべきである。第１の再帰型ニューラルネットワーク３１２及び第２の再帰型ニューラルネットワークの間の差異は、第１の再帰型ニューラルネットワーク３１２の入力が畳み込みニューラルネットワーク３１１の出力であり、第２の再帰型ニューラルネットワーク４１２の入力は逆畳み込みニューラルネットワーク４１１の出力であるという点である。例として、第１の再帰型ニューラルネットワーク３１２及び第２の再帰型ニューラルネットワーク４１２の各々は、双方向長・短期メモリ（ＬＳＴＭ）ネットワークであってよい。双方向ＬＳＴＭネットワークにより、道路画像における各ピクセル点の空間特徴が十分に保存され、検出された車線領域は正確なものとなる。

【0041】

第１のモデルユニット３００の構造及び処理の手順は、第２のモデルユニット４００のそれらと類似のものだということは理解されるべきである。差異は、第１のモデルユニット３００における畳み込みニューラルネットワーク３１１が、第２のモデルユニット４００では逆畳み込みニューラルネットワーク４１１で置き換えられているという点である。以下では例として、第１のモデルユニット３００の構造及び処理の手順を説明している。

【0042】

第１のモデルユニット３００では、第１のモデルユニット３００の入力画像が畳み込みニューラルネットワーク３１１に入力され、畳み込みニューラルネットワーク３１１により処理されて、第１の出力結果が獲得される。畳み込みニューラルネットワーク３１１の前記第１の出力結果はさらに再帰型ニューラルネットワーク３１２によって処理され、第２の出力結果が獲得される。

【0043】

再帰型ニューラルネットワークの入力変数は通常少なくとも１つの要素を含むシーケンスであるということは注意されるべきである。この観点では、図４に示すように、第１のモデルユニット３００内の畳み込みニューラルネットワーク３１１及び第１の再帰型ニューラルネットワーク３１２の間に、特徴変換処理が採用されてよい。特徴変換処理においてシーケンスは、畳み込みニューラルネットワーク３１１の各ピクセル点に対する出力結果からある規則に従って形成されてよく、その後前記シーケンスが第１の再帰型ニューラルネットワーク３１２に入力される。前記シーケンスは複数の点に対する畳み込みニューラルネットワーク３１１の出力結果を含んでもよい。

【0044】

例として、特徴変換処理は以下のようであり得る。第１のモデルサブユニット３１０において各ピクセル点に対して、前記ピクセル点に対する畳み込みニューラルネットワーク３１１の出力結果及び前記ピクセル点の近傍内の複数のピクセル点に対する畳み込みニューラルネットワーク３１１の出力結果により第１のシーケンスが形成され、第１の再帰型ニューラルネットワーク３１２に入力される。たとえば、各ピクセル点の近傍に８つのピクセル点が存在する場合、各ピクセル点に対して、前記ピクセル点に対する畳み込みニューラルネットワーク３１１の出力結果及び前記ピクセル点の近傍内の８つのピクセル点に対する畳み込みニューラルネットワーク３１１の出力結果により第１のシーケンスが形成される。例として、ピクセル点ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉがすべてピクセル点ａの近傍内のピクセル点であるとして、ピクセル点ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉに対する畳み込みニューラルネットワーク３１１の出力結果が取得される場合、第１のシーケンスＸ＝［Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ］はピクセル点ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉに対する畳み込みニューラルネットワーク３１１の出力結果により形成されてよい。第１のシーケンスは第１の再帰型ニューラルネットワーク３１２の入力の役割を果たしてよい。第１のシーケンスにおいて、Ａはピクセル点ａに対する畳み込みニューラルネットワーク３１１の出力結果を表し、Ｂはピクセル点ｂに対する畳み込みニューラルネットワーク３１１の出力結果を表し、Ｃはピクセル点ｃに対する畳み込みニューラルネットワーク３１１の出力結果を表し、Ｄはピクセル点ｄに対する畳み込みニューラルネットワーク３１１の出力結果を表し、Ｅはピクセル点ｅに対する畳み込みニューラルネットワーク３１１の出力結果を表し、Ｆはピクセル点ｆに対する畳み込みニューラルネットワーク３１１の出力結果を表し、Ｇはピクセル点ｇに対する畳み込みニューラルネットワーク３１１の出力結果を表し、Ｈはピクセル点ｈに対する畳み込みニューラルネットワーク３１１の出力結果を表し、かつＩはピクセル点ｉに対する畳み込みニューラルネットワーク３１１の出力結果を表す。

【0045】

各第１のシーケンス内のピクセル点に対する出力結果が、一定の規則に従ってランクづけされ、各ピクセル点の空間特徴を効果的に保存してもよいということは注意されるべきである。前記一定の規則は、ピクセル点に対する出力結果のランク及びそれらピクセル点の位置の間の一定の対応関係を示す。従って、画像中の、出力結果に対応するピクセル点の位置は第１のシーケンスにおける出力結果のランクに基づいて決定され得、それにより各ピクセル点の空間特徴を復元し、それゆえ現在の道路画像の空間特徴が表現され得る。

【0046】

たとえば、異なる２つの第１のシーケンスＭ及びＮがあるとする。第１のシーケンスＭは画像領域１中のピクセル点に対する出力結果、つまり、点ａ１に対する出力結果Ａ１、点ｂ１に対する出力結果Ｂ１、点ｃ１に対する出力結果Ｃ１及び点ｄ１に対する出力結果Ｄ１、を含む。第１のシーケンスＮは画像領域２内のピクセル点に対する出力結果、つまり、点ａ２に対する出力結果Ａ２、点ｂ２に対する出力結果Ｂ２、点ｃ２に対する出力結果Ｃ２及び点ｄ２に対する出力結果Ｄ２を含む。画像領域１において、ピクセル点ａ１は左上の角に位置し、ピクセル点ｂ１は右上の角に位置し、ピクセル点ｃ１は左下の角に位置し、ピクセル点ｄ１は右下の角に位置している。画像領域２において、ピクセル点ａ２は左上の角に位置し、ピクセル点ｂ２は右上の角に位置し、ピクセル点ｃ２は左下の角に位置し、ピクセル点ｄ２は右下の角に位置している。第１のシーケンスＭにおけるピクセル点に対する出力結果は、Ａ１→Ｂ１→Ｃ１→Ｄ１の順でランク付けされており、これはつまり第１のシーケンスＭが［Ａ１，Ｂ１，Ｃ１，Ｄ１］であるということである。第１のシーケンスＮにおけるピクセル点に対する出力結果は、Ａ２→Ｂ２→Ｃ２→Ｄ２の順でランク付けされており、これはつまり第１のシーケンスＮが［Ａ２，Ｂ２，Ｃ２，Ｄ２］であるということである。この場合、第１のシーケンスＭにおけるピクセル点に対する出力結果のランクに対応するピクセル点の中の位置の対応関係は第１のシーケンスＮと同じであり、その位置対応関係は一定、すなわち、画像領域の左上の角→画像領域の右上の角→画像領域の左下の角→画像領域の右下の角というものである。

【0047】

例として、９つのピクセル点に対する出力結果により形成されたピクセル点Ａに対する第１のシーケンスについて、ピクセル点Ａに対する第１のシーケンスにおける出力結果のランクは：ピクセル点Ａの近傍内の左上の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左下の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の下側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右下の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右上の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の上側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、並びに、ピクセル点Ａに対する畳み込みニューラルネットワークの出力結果、というようというように定められてよい。

【0048】

たとえば、図５にはピクセル点Ａ及びピクセル点Ａの近傍内のピクセル点Ａ１〜Ａ８に対する第１のシーケンスを形成する手順の例が示されている。その第１のシーケンスにおいて、ピクセル点の出力結果のランクは、Ａ１→Ａ２→Ａ３→Ａ４→Ａ５→Ａ６→Ａ７→Ａ８→Ａであり、これはつまり、第１のシーケンスは［Ａ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８，Ａ］であってよいということである。

【0049】

第１のモデルユニット３００と同様、第２のモデルユニット４００における逆畳み込みニューラルネットワーク４１１及び第２の再帰型ニューラルネットワーク４１２の間にも、特徴変換処理が採用され得るということは理解されるべきである。たとえば、特徴変換処理は以下のようであってよい。各ピクセル点に対して、前記ピクセル点に対する逆畳み込みニューラルネットワーク４１１の出力結果及び、前記ピクセル点の近傍内のピクセル点に対する逆畳み込みニューラルネットワーク４１１の出力結果により第２のシーケンスが形成され、第２の再帰型ニューラルネットワーク４１２に入力される。

【0050】

第２のシーケンス内のピクセル点に対する出力結果も第１のシーケンスと同様、効果的に各ピクセル点の空間特徴を保存するために、一定の規則に従ってランク付けされてよいということは注意されるべきである。例として、９つのピクセル点に対する出力結果から形成されたピクセル点Ａに対する第２のシーケンスについて、ピクセル点Ａに対する第２のシーケンスにおける出力結果のランクは：ピクセル点Ａの近傍内の左上の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左下の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の下側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右下の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右上の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の上側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、そして、ピクセル点Ａに対する逆畳み込みニューラルネットワークの出力結果、というように定められてよい。

【0051】

実施形態に係るディープラーニングモデルから出力される結果をより正確なものとするため、現在の道路画像中の車線領域は、現在の道路画像を処理することで得られたディープラーニングモデルの処理結果に基づいて、現在の道路画像が収集された時刻よりも前のある期間の間に収集された道路画像を処理することで得られたディープラーニングモデルの処理結果と組み合わせて決定され得る。これにより車線領域はある期間の間の複数の時刻で収集された複数の道路画像に基づいて検出され得、単一の道路画像に基づいて車線領域を検出しているために起こり得る誤りを避け、より正確に車線領域を検出できる。

【0052】

図６に示したように、複数の時刻に獲得された道路画像との組み合わせで車線領域を検出するために、ディープラーニングモデルはさらに、第３の再帰型ニューラルネットワークを含む第３のモデルユニット５００を含んでもよい。現在の道路画像及び直近の様々な時刻に取得された複数の道路画像に対して、第２のモデルユニット４００が現在の道路画像及び直近の様々な時刻に取得された複数の道路画像を処理することで出力される結果により第３のシーケンスが形成され、第３の再帰型ニューラルネットワークに入力される。第３の再帰型ニューラルネットワークは第１の再帰型ニューラルネットワーク３１２や第２の再帰型ニューラルネットワーク４１２と同様、双方向ＬＳＴＭネットワークであってよい。

【0053】

第１の再帰型ニューラルネットワーク３１２及び第２の再帰型ニューラルネットワーク４１２と同様、第３の再帰型ニューラルネットワークの入力変数も、少なくとも１つの要素を含むシーケンスであってよいということは理解されるべきである。この観点から、図７で示したように、ディープラーニングモデルの中の第３のモデルユニット５００に特徴変換処理が採用されてよい。特徴変換処理では、様々な時刻に収集された複数の道路画像中のある同じピクセル点に対する第２のモデルユニット４００の出力結果によりシーケンスが形成され、シーケンスはその後第３の再帰型ニューラルネットワーク（たとえば、双方向ＬＳＴＭネットワーク）に入力される。現在の道路画像における車線領域は、第３の再帰型ニューラルネットワークの出力結果に基づいて決定される。

【0054】

ある実装において、ディープラーニングモデルは以下のような表現で表される：

【数2】

【数3】

【0055】

ここでＰはディープラーニングモデルの時刻ｔに取得された道路画像に対する出力結果を、ｉはピクセル点を、ｔおよびｋは各々時刻を示す。Ｐ_ｔ（ｉ）は、時刻ｔ＝１〜ｎにそれぞれ対応するＭ_i^t=kを処理することで第３の再帰型ニューラルネットワークにより出力される結果を示す。Ｐ_ｔ（ｉ）が時刻ｎにおいて取得された道路画像中のピクセル点ｉを処理することでディープラーニングモデルにより出力された結果であり、その結果は道路画像中のピクセル点ｉが車線領域内に位置しているかどうかを示していることが見て取れる。加えて、Ｍ_ｉ^ｔは時刻ｔ（ｔ＝１，２，３，…ｎ）において取得された道路画像中のピクセル点ｉに対する第２のモデルユニットの出力結果を示し、すなわち、Ｍ_ｉ^ｔが時刻ｔにおいて取得された道路画像中のピクセル点ｉの画像特徴であり、当該画像特徴は第１のモデルユニット及び第２のモデルユニットによって抽出されたものである。Ｉは入力された現在の道路画像を示す。

【0056】

Ｆは変数関数である。たとえば、Ｆ_{ＢｉＬＳＴＭ}は双方向ＬＳＴＭを示し、Ｆ_ＣＮＮは畳み込みニューラルネットワークを示す。

【0057】

本開示の実施形態に係る車線を検出するための方法では、自動車の周囲の道路の道路画像における車線はディープラーニングモデルにより検出される。ディープラーニングモデルでは畳み込みニューラルネットワークに加えて再帰型ニューラルネットワークも使用される。従って、再帰型ニューラルネットワークによる道路画像処理において、入力画像中の各ピクセル点に対して画像特徴結果が出力され、それにより道路画像中の各ピクセル点の画像特徴が保存されて道路画像中の車線の空間特徴が抽出され、それゆえ不完全な車線、部分的に塞がれた車線、又は極端に光量が変化する環境下の車線の場合であっても、車線が正確にかつ効果的に検出できる。

【0058】

図８を参照して、図８は本開示の実施形態に係る車線を検出するための装置の構造の模式図である。たとえば装置は、画像取得モジュール８１０及びモデル処理モジュール８２０を含んでよい。

【0059】

画像取得モジュール８１０は自動車の周囲の道路の現在の道路画像を取得するよう設定される。

【0060】

モデル処理モジュール８２０は、現在の道路画像をディープラーニングモデルに入力して、ディープラーニングモデルから出力された結果に基づいて現在の道路画像中の車線領域を検出するよう設定されている。

【0061】

ディープラーニングモデルは、過去の道路画像及び過去の道路画像中の既知の車線領域の間の対応関係に基づいて訓練されたモデルである。

【0062】

ディープラーニングモデルは第１のモデルユニット及び第２のモデルユニットを含み、前記第１のモデルユニットの出力は前記第２のモデルユニットの入力の役割を果たす。

【0063】

前記第１のモデルユニットは少なくとも１つの第１のモデルサブユニットを含み、前記第１のモデルサブユニットは畳み込みニューラルネットワーク及び第１の再帰型ニューラルネットワークを含む。また、前記畳み込みニューラルネットワークの出力は前記第１の再帰型ニューラルネットワークの出力の役割を果たす。

【0064】

第２のモデルユニットは少なくとも１つの第２のモデルサブユニットを含み、前記第２のモデルサブユニットは逆畳み込みニューラルネットワーク及び第２の再帰型ニューラルネットワークを含み、前記逆畳み込みニューラルネットワークの出力は前記第２の再帰型ニューラルネットワークの入力の役割を果たす。

【0065】

いくつかの実施形態では、前記第１の再帰型ニューラルネットワーク及び前記第２の再帰型ニューラルネットワークの各々は双方向長・短期記憶ネットワークである。

【0066】

いくつかの実施形態では、前記第１のモデルサブユニットにおいて、現在の道路画像中の各ピクセル点に対して、そのピクセル点に対する畳み込みニューラルネットワークの出力結果及びそのピクセル点の近傍内のピクセル点に対する畳み込みニューラルネットワークの出力結果により第一のシーケンスが形成され、前記第１の再帰型ニューラルネットワークに入力される。

【0067】

第２のモデルサブユニットにおいては、現在の道路画像中の各ピクセル点に対して、そのピクセル点に対する逆畳み込みニューラルネットワークの出力結果及びそのピクセル点の近傍内のピクセル点に対する逆畳み込みニューラルネットワークの出力結果により第２のシーケンスが形成され、第２の再帰型ニューラルネットワークに入力される。

【0068】

いくつかの実施形態では、ピクセル点Ａに対する第１のシーケンスにおける出力結果のランクは：ピクセル点Ａの近傍内の左上の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左下の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の下側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右下の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右上の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の上側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、並びにピクセル点Ａに対する畳み込みニューラルネットワークの出力結果、というようであってよい。

【0069】

ピクセル点Ａに対する第２のシーケンスにおける出力結果のランクは：ピクセル点Ａの近傍内の左上の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左下の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の下側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右下の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右上の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の上側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、並びにピクセル点Ａに対する逆畳み込みニューラルネットワークの出力結果、というようであってよい。

【0070】

いくつかの実施形態では、ディープラーニングモデルはさらに第３の再帰型ニューラルネットワークを含んでもよい。

【0071】

第３の再帰型ニューラルネットワークに入力する第３のシーケンスは、複数の道路画像を処理することで第２のモデルユニットにより出力された結果により形成されている。複数の画像は、現在の道路画像及び最近様々な時刻に取得された道路画像を含む。

【0072】

いくつかの実施形態では、画像取得モジュール８１０は取得サブモジュール及び切り出しサブモジュールを含んでよい。

【0073】

前記取得サブモジュールは、自動車上のカメラによりキャプチャされた現在の周辺画像を取得するよう設定されている。

【0074】

前記切り出しサブモジュールは、現在の周辺画像から自動車の前方の所定の領域の画像を切り出して、現在の道路画像とするよう設定されている。

【0075】

実施形態に係る車線を検出するための装置によると、自動車の周囲の道路の道路画像中の車線がディープラーニングモデルにより検出される。ディープラーニングモデルでは畳み込みニューラルネットワークに加えて再帰型ニューラルネットワークも使用される。従って、再帰型ニューラルネットワークによる道路画像処理において、入力画像中の各ピクセル点に対して画像特徴結果が出力され、それにより道路画像中の各ピクセル点の画像特徴が保存されて道路画像中の車線の空間特徴が抽出され、それゆえ不完全な車線、部分的に塞がれた車線、又は極端に光量が変化する環境下の車線の場合であっても、車線が正確にかつ効果的に検出できる。

【0076】

図９を参照して、図９は本開示の実施形態に係る車線を検出するためのデバイスの構造の模式図である。デバイスはプロセッサ９１０及びメモリ９２０を含む。

【0077】

メモリ９２０はプログラムコードを格納し、通信バス９３０を通じてプロセッサ９１０にプログラムコードを送信するよう設定されている。

【0078】

プロセッサ９１０はプログラムコード内の命令に反応して、本開示の上記実施形態のいずれか１つに係る車線を検出するための方法を実行するよう設定されている。

【0079】

加えて、本開示の実施形態に係る記憶媒体が更に提供される。記憶媒体は、本開示の上記実施形態のいずれか１つに係る車線を検出するための方法を実行するためのプログラムコードを格納するよう設定されている。

【0080】

「第１の」「第２の」といった関係的用語は本明細書では、あるエンティティ又は動作を他と区別するためにのみ使用され、それらエンティティ又は動作の間に実際の関係又は順序が存在することを要求又は示唆するものではないことは注意されるべきである。さらに、「含む」「包含する」又は他のいずれの変形も、非排他的であることを意図している。従って、複数の要素を含む処理、方法、物体又はデバイスは、その要素だけでなく列挙されていない他の要素をも含み、又は、その処理、方法、物体又はデバイスに固有の要素をも含む。明示的に限定されない限り、「１つの〜を含む」という記述はその処理、方法、物体又はデバイスに他の類似の要素が存在する場合を除外するものではない。

【0081】

デバイスの実施形態について、デバイスの実施形態は方法の実施形態に実質的に対応しており、方法の実施形態の関係する説明を参照することができる。上述のシステムの実施形態は模式的なものに過ぎず、個別のコンポーネントとして図示されたモジュールが物理的に隔てられていてもいなくてもよく、かつ、モジュールとして表示されたコンポーネントが物理的なモジュールであってもそうでなくともよく、つまり、複数のコンポーネントが同一の場所に位置していても、複数のネットワークユニットに分散されていてもよい。実施形態の解決策の目的は必要に応じて、モジュールの一部又は全部を選択することで達成され得る。当業者は創作的努力を伴わず、本開示を理解し実施し得る。

【0082】

前述では本開示の特定の実施形態のみを示す。当業者は本開示の範囲を逸脱することなくいくつかの改善及び変更を行うことができ、その改善及び変更は本開示の保護範囲に含まれると考えられるべきことは注意されるべきである。

【図1】

【図2】

【図3a】

【図3b】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】