特許 6823692 車線処理方法、装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6823692

(24)【登録日】2021年1月13日

(45)【発行日】2021年2月3日

(54)【発明の名称】車線処理方法、装置、及びプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20210121BHJP

【ＦＩ】

   G06T7/60 200J

【請求項の数】13

【全頁数】14

(21)【出願番号】特願2019-123675(P2019-123675)

(22)【出願日】2019年7月2日

(65)【公開番号】特開2020-38617(P2020-38617A)

(43)【公開日】2020年3月12日

【審査請求日】2019年7月2日

(31)【優先権主張番号】201811019280.5

(32)【優先日】2018年9月3日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】513224353

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】シエ，シュフ

(72)【発明者】

【氏名】ヅァイ，ユーキャン

(72)【発明者】

【氏名】シア，ティアン

(72)【発明者】

【氏名】マ，ユー

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特表２０１７−５３３４８２（ＪＰ，Ａ）

【文献】 Jiton Wang, Wei Hong, Lei Gong，Lane Detection Algorithm Based on Density Clustering and RANSAC，2018 Chinese Control And Decision Conference (CCDC)，米国，IEEE，２０１８年 ６月１１日，９１９−９２４頁，[online],[令和 ２年 ８月２５日検索]，ＵＲＬ，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=arnumber=8407261

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ９／４０

Ｇ０８Ｇ １／００ −９９／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車線処理方法であって、
元画像である第二画像をディープラーニングモデルに入力し識別して、車線点及び非車線点を含む第一画像を得るステップと、
前記第一画像に対して二値化処理を行って、二値画像を得るステップと、
前記二値画像に対して連結領域分析を行って、前記二値画像における、隣り合う複数の車線点を含む１つ又は複数の連結領域を得るステップと、
各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するステップと、
各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るステップと、を含み、
各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、
各前記グループに含まれる車線点が前記第一画像にある座標を前記第二画像にマッピングし戻して、各前記グループにおける車線点が前記第二画像にある座標を得ることと、
それぞれのグループについて、前記グループから複数の車線点を選択し、選択された複数の車線点が前記第二画像にある座標に対して多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得ることと、を含むことを特徴とする車線処理方法。

【請求項2】

前記第一画像は、前記第二画像に対して、一定のスケーリング比を有することを特徴とする請求項１に記載の方法。

【請求項3】

前記第一画像に対して二値化処理を行って、前記二値画像を得るステップは、
前記第一画像における車線点の輝度値を０に設定し、前記第一画像における非車線点の輝度値を２５５に設定すること、又は
前記第一画像における車線点の輝度値を２５５に設定し、前記第一画像における非車線点の輝度値を０に設定すること、を含むことを特徴とする請求項１に記載の方法。

【請求項4】

前記二値画像に対して連結領域分析を行って、前記二値画像における１つ又は複数の連結領域を得るステップは、
関心領域と併せて、前記二値画像において連結領域分析を行って、前記関心領域における１つ又は複数の連結領域を得ることを含むことを特徴とする請求項１に記載の方法。

【請求項5】

各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するステップは、
前記第一画像において１つの連結領域が通過した各車線点を、１本の車線に対応するグループに含まれる車線点として確定することを含むことを特徴とする請求項１に記載の方法。

【請求項6】

各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、
前記車線の多項式曲線を用いて、前記車線の始点座標及び／又は終点座標を確定することを更に含むことを特徴とする請求項１に記載の方法。

【請求項7】

車線処理装置であって、
元画像である第二画像をディープラーニングモデルに入力し識別して、車線点及び非車線点を含む第一画像を得るステップと、
前記第一画像に対して二値化処理を行って、二値画像を得るための二値化モジュールと、
前記二値画像に対して連結領域分析を行って、前記二値画像における、隣り合う複数の車線点を含む１つ又は複数の連結領域を得るための連結領域モジュールと、
各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するためのグループ化モジュールと、
各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るための車線表現モジュールと、を備え、
前記車線表現モジュールは、
各前記グループに含まれる車線点が前記第一画像にある座標を前記第二画像にマッピングし戻して、各前記グループにおける車線点が前記第二画像にある座標を得るためのマッピングサブモジュールと、
それぞれのグループに対して、前記グループから複数の車線点を選択し、選択された複数の車線点が前記第二画像にある座標に対して多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得るためのフィッティングサブモジュールと、を備えることを特徴とする車線処理装置。

【請求項8】

前記第一画像は、前記第二画像に対して、一定のスケーリング比を有することを特徴とする請求項７に記載の装置。

【請求項9】

前記連結領域モジュールは、関心領域と併せて、前記二値画像において連結領域分析を行って、前記関心領域における１つ又は複数の連結領域を得るためにさらに用いられることを特徴とする請求項７に記載の装置。

【請求項10】

前記車線表現モジュールは、
前記車線の多項式曲線を用いて、前記車線の始点座標及び／又は終点座標を確定するための始終点サブモジュールを更に備えることを特徴とする請求項７に記載の装置。

【請求項11】

１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するためのメモリと、を備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサが請求項１乃至６のいずれか一項に記載の方法を実現するようにすることを特徴とする車線処理装置。

【請求項12】

コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、当該コンピュータプログラムがプロセッサにより実行されると、請求項１乃至６のいずれか一項項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。

【請求項13】

コンピュータにおいてプロセッサにより実行されると、請求項１乃至６のいずれか一項に記載の方法を実現することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、交通技術分野に関し、特に、車線処理方法、装置、及びプログラムに関する。

【背景技術】

【0002】

車線は、自動運転において重要な役割を果たしており、測位や決定制御等のモジュールに重要な情報を提供することができる。従来の案としては、カメラによりキャプチャーされた二次元（２Ｄ、ｔｗｏ ｄｉｍｅｎｓｉｏｎａｌ）画像において、画像処理方法により車線のエッジを検出した後、クラスタリングや他の点グループ化の案を用いて車線を取得する。

【0003】

従来の画像処理やディープラーニング等の方法で車線の検出又は分割を行う案は、車線を出力するために、煩瑣な後処理案を必要とし、その効果が、画像品質等の条件の影響を受けやすい。例えば、従来の後処理案として、ハフ（Ｈｏｕｇｈ）変換で車線に対して後処理を行うことが可能であるが、このような方式は、ノイズ点の影響を受けやすく、ロバストではない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施例は、先行技術における１つ又は複数の技術的課題を解決するための車線処理方法、装置、及びプログラムを提供する。

【課題を解決するための手段】

【0005】

第一態様によれば、本発明の実施例は、
車線点及び非車線点を含む第一画像に対して二値化処理を行って、二値画像を得るステップと、
前記二値画像に対して連結領域分析を行って、前記二値画像における、隣り合う複数の車線点を含む１つ又は複数の連結領域を得るステップと、
各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するステップと、
各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るステップと、を含む車線処理方法を提供する。

【0006】

第一態様に合わせて、本発明の実施例として、第一態様の第一実施形態において、
第二画像をディープラーニングモデルに入力し識別して前記第一画像を得るステップであって、前記第一画像は、前記第二画像に対して、一定のスケーリング比を有するステップを更に含む。

【0007】

第一態様に合わせて、本発明の実施例として、第一態様の第二実施形態において、第一画像に対して二値化処理を行って、二値画像を得るステップは、
前記第一画像における車線点の輝度値を０に設定し、前記第一画像における非車線点の輝度値を２５５に設定すること、又は
前記第一画像における車線点の輝度値を２５５に設定し、前記第一画像における非車線点の輝度値を０に設定すること、を含む。

【0008】

第一態様に合わせて、本発明の実施例として、第一態様の第三実施態様において、前記二値画像に対して連結領域分析を行って、前記二値画像における１つ又は複数の連結領域を得るステップは、
関心領域と併せて、前記二値画像において連結領域分析を行って、前記関心領域における１つ又は複数の連結領域を得ることを含む。

【0009】

第一態様に合わせて、本発明の実施例として、第一態様の第四実施形態において、各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するステップは、
前記第一画像において１つの連結領域が通過した各車線点を、１本の車線に対応するグループに含まれる車線点として確定することを含む。

【0010】

第一態様の第一実施形態に合わせて、本発明の実施例として、第一態様の第五実施形態において、各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、
各前記グループに含まれる車線点が前記第一画像にある座標を前記第二画像にマッピングし戻して、各前記グループにおける車線点が前記第二画像にある座標を得ることと、
それぞれのグループに対して、前記グループから複数の車線点を選択し、選択された複数の車線点が前記第二画像にある座標に対して多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得ることと、を含む。

【0011】

第一態様の第五実施形態に合わせて、本発明の実施例として、第一態様の第六実施形態において、各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、
前記車線の多項式曲線を用いて、前記車線の始点座標及び／又は終点座標を確定することを更に含む。

【0012】

第二態様によれば、本発明の実施例は、
車線点及び非車線点を含む第一画像に対して二値化処理を行って、二値画像を得るための二値化モジュールと、
前記二値画像に対して連結領域分析を行って、前記二値画像における、隣り合う複数の車線点を含む１つ又は複数の連結領域を得るための連結領域モジュールと、
各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するためのグループ化モジュールと、
各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るための車線表現モジュールと、を備える車線処理装置を提供している。

【0013】

第二態様に合わせて、本発明の実施例として、第二態様の第一実施形態において、
第二画像をディープラーニングモデルに入力し識別して前記第一画像を得るための識別モジュールであって、前記第一画像は、前記第二画像に対して、一定のスケーリング比を有する識別モジュールを更に備える。

【0014】

第二態様に合わせて、本発明の実施例として、第二態様の第二実施形態において、前記連結領域モジュールは、関心領域と併せて、前記二値画像において連結領域分析を行って、前記関心領域における１つ又は複数の連結領域を得るためにさらに用いられる。

【0015】

第二態様の第一実施形態に合わせて、本発明の実施例として、第二態様の第三実施形態において、前記車線表現モジュールは、
各前記グループに含まれる車線点が前記第一画像にある座標を前記第二画像にマッピングし戻して、各前記グループにおける車線点が前記第二画像にある座標を得るためのマッピングサブモジュールと、
それぞれのグループに対して、前記グループから複数の車線点を選択し、選択された複数の車線点が前記第二画像にある座標に対して多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得るためのフィッティングサブモジュールと、を備える。

【0016】

第二態様の第三実施形態に合わせて、本発明の実施例として、第二態様の第四実施形態において、前記車線表現モジュールは、
前記車線の多項式曲線を用いて、前記車線の始点座標及び／又は終点座標を確定するための始終点サブモジュールを更に備える。

【0017】

第三態様によれば、本発明の実施例は、車線処理装置を提供しており、前記装置の機能が、ハードウェアにより実現されてもよいし、ハードウェアにより相応のソフトウェアを実行することで実現されてもよい。前記ハードウェア又はソフトウェアは、上記機能に対応する１つ又は複数のモジュールを備える。

【0018】

１つの可能な設計において、前記装置の構造には、プロセッサ及びメモリが含まれ、前記メモリが、前記装置による上記車線処理方法の実行をサポートするプログラムを記憶するためのものであり、前記プロセッサが、前記メモリに記憶されたプログラムを実行するように配置される。前記装置は、他の機器又は通信ネットワークと通信するための通信インターフェースを更に備えてもよい。

【0019】

第四態様によれば、本発明の実施例は、上記車線処理方法を実行するためのプログラムを含む車線処理装置用コンピュータソフトウエア命令を記憶するためのコンピュータ可読記憶媒体を提供する。

【0020】

上記技術案のうちの１つの技術案は、連結領域分析方法を用いて二値画像における車線点をグループ化することにより得られたグループが正確であり、画像品質に影響されないため、高いロバスト性を有するという利点又は有益な効果がある。

【0021】

上記技術案のうちのもう１つの技術案は、二値画像のグループを元画像にマッピングし戻してからフィッティングして得られた車線曲線は、正確な車線表現が得られるとともに、車線の始点や終点等の重要な情報を正確に確定するのにも役立つという利点又は有益な効果がある。

【0022】

上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。

【図面の簡単な説明】

【0023】

図面において、特に断らない限り、複数の図面を通して同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺で描かれたものではない。なお、これらの図面は本発明に開示された幾つかの実施形態のみを示し、本発明の範囲を限定するものではない。

【図1】本発明の実施例に係る車線処理方法のフローチャートである。

【図2】本発明の実施例に係る車線処理方法のフローチャートである。

【図3】本発明の実施例に係る車線処理方法によりディープラーニングモデルの出力結果に対し後処理を行う模式図である。

【図4】本発明の実施例に係る車線処理方法においてＲＯＩを併せた模式図である。

【図5】本発明の実施例に係る車線処理方法において曲線を用いて始点と終点を確定する模式図である。

【図6】本発明の実施例に係る車線処理方法において曲線を用いて始点と終点を確定する模式図である。

【図7】本発明の実施例に係る車線処理装置の構造ブロック図である。

【図8】本発明の実施例に係る車線処理装置の構造ブロック図である。

【図9】本発明の実施例に係る車線処理装置の構造ブロック図である。

【発明を実施するための形態】

【0024】

以下では、幾つかの例示的な実施例のみを簡単に説明する。当業者であれば、本発明の趣旨又は範囲を逸脱せずに、説明した実施例に様々な変更を施すことができると理解できる。従って、図面と説明は本質的に例示的であり、限定的ではないとみなされるべきである。

【0025】

図１は、本発明の実施例に係る車線処理方法のフローチャートである。図１に示すように、該方法は、
車線点及び非車線点を含む第一画像に対して二値化処理を行って、二値画像を得るステップＳ１１と、
前記二値画像に対して連結領域分析を行って、前記二値画像における、隣り合う複数の車線点を含む１つ又は複数の連結領域を得るステップＳ１２と、
各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するステップＳ１３と、
各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るステップＳ１４と、を含んでもよい。

【0026】

本実施例において、第一画像に含まれる画素点を分類してもよく、車線として分類された画素点は、車線点と称されてもよい。第一画像における車線点以外の画素点は、非車線点と称されてもよい。第一画像に対して二値化処理を行う一例としては、第一画像における車線点と非車線点とを異なる輝度値にそれぞれ設定して、これら２種類の点の間のコントラストが強く出るようにすることを含んでもよい。二値画像では、連結領域分析を行いやすい。例えば、二値画像において、車線点の輝度値に応じて連結領域分析が行われ、輝度値の同じである隣り合う点は、同一連結領域に属する。隣り合う点としては、座標位置が隣り合う画素点でもよいし、互いの距離が小さいで、例えば所定値を超えない画素点でもよい。そして、連結領域を用いて、第一画像における車線点をグループ化する。グループにおける各車線点を用いて、当該グループに対応する車線の表現情報を得る。車線の表現情報は、該車線の曲線方程式、始点や終点等を含んでもよいが、これらに限定されない。

【0027】

一実施態様において、図２に示すように、該方法は、
第二画像をディープラーニングモデルに入力し、前記第一画像を得るステップであって、前記第一画像は、前記第二画像に対して、一定のスケーリング比を有するステップＳ１０を更に含む。

【0028】

本実施例は、ディープラーニングモデルの予測出力結果に対して後処理を行うために用いられてもよい。ニューラルネットワークを用いてディープラーニングモデルを構築し、ある程度のサンプル画像を用いてトレーニングすることにより、ディープラーニングモデルは、ネットワーク出力グラフにおける各画素点が車線に属する信頼度を得られるようにする。また、信頼度の閾値を用いて分類を行う。例えば、信頼度が閾値よりも大きくなる画素点が車線点となり、閾値以下の画素点が非車線点となる等。後続では、識別結果を用いて自己学習し続けていくことで、モデルを最適化してもよい。

【0029】

例えば、図３に示すように、一つの２Ｄ画像（元画像、即ち、第二画像）、例えば、撮影された路面画像等が与えられてもよい。ディープラーニングモデルを用いて元画像を比例縮小し、縮小後の画像における画素点を分類する（０：非車線点、１：車線点）。車線として分類された画素点（車線点と略す）のそれぞれについて、その予測目標点のネットワーク出力グラフ（即ち、第一画像）における位置は、モデルによって与えられてもよい。

【0030】

一実施態様において、ステップＳ１１では、第一画像に対して二値化処理を行う方式は、複数があって、以下のように例を挙げる。
方式一：前記第一画像における車線点の輝度値を０に設定し、前記第一画像における非車線点の輝度値を２５５に設定する。
方式二：前記第一画像における車線点の輝度値を２５５に設定し、前記第一画像における非車線点の輝度値を０に設定する。

【0031】

ネットワーク出力グラフの寸法が元画像よりも小さい（例えば、元画像の１／４、１／８、１／１６等であってもよい）である。所定の信頼度の閾値に基づいて該ネットワーク出力グラフを二値化することにより、二値画像を得ることができる。一例においては、画像上の画素点の輝度値を、車線の分類結果（例えば、各点の信頼度が閾値を超えるか）に従って、０又は２５５にそれぞれ設定して、画像全体が明らかな黒及び白のみとなる視覚効果を呈するようにしてもよい。図３に示すように、二値画像において、同一車線上の点は、互いに隣り合って、同一連結領域に属することになる。従って、連結領域によってグループ化することで、同一車線又は交わる車線における画素点を同一グループに分けることができる。最後に、それぞれのグループに含まれる車線点の座標等の情報を用いて、該グループに対応する車線の表現情報が得られる。

【0032】

一実施態様において、ステップＳ１２は、関心領域と併せて、前記二値画像において連結領域分析を行って、前記関心領域における１つ又は複数の連結領域を得ることを含んでもよい。

【0033】

遠方の車線が合流する可能性があることを考慮して、関心領域（ＲＯＩ、Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と併せて、二値画像において連結領域分析を行ってもよい。例えば、図４に示すように、破線により囲まれたエリアはＲＯＩとなる。ＲＯＩには、交わる車線が分断されており、交わらない車線しか含まれていない。このように、ＲＯＩ内の画素点のみに対して連結領域分析を行うことにより、遠方で合流する車線が分離され、異なる車線における画素点を同一グループに分けてしまうことを防止でき、グループ化がより正確となる。

【0034】

その中、二値画像をＲＯＩと併せる方式は、複数があり、以下のように例を挙げる。
一例として、元画像においてＲＯＩを確定してもよい。ディープラーニングモデルを用いて元画像に対して車線識別を行う際に、ネットワーク出力グラフにおいて元画像のＲＯＩに従って、対応するＲＯＩを取得でき、後続では、二値画像のＲＯＩとしてもよい。
他の一例において、元画像においてＲＯＩを確定してもよい。ディープラーニングモデルを用いて元画像に対して車線識別を行う際、元画像のＲＯＩに含まれる画素点を入力画像としてもよい。ネットワーク出力グラフにも、ＲＯＩに対応する画素点のみが含まれる。後続では、二値画像は、ＲＯＩに対応する画素点のみを含むことになる。
他の一例において、元画像においてＲＯＩを確定するのではなく、ネットワーク出力グラフにおいてＲＯＩを確定し、後続では、二値画像のＲＯＩとする。

【0035】

一実施態様において、ステップＳ１３は、前記第一画像において１つの連結領域が通過した各車線点を、１本の車線に対応するグループに含まれる車線点として確定することを含む。

【0036】

上記の例を参照して、ＲＯＩを併せた場合、同一グループに含まれる車線点を同一車線により好適に属させることができる。

【0037】

一実施態様において、ステップＳ１４は、各前記グループに含まれる車線点が前記第一画像にある座標を前記第二画像にマッピングし戻して、各前記グループにおける車線点が前記第二画像にある座標を得ることを含む。それぞれのグループに対して、前記グループから複数の車線点が選択される。選択された複数の車線点が前記第二画像にある座標に対して多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得る。

【0038】

本実施例において、二値画像に対して連結領域分析を行って車線点のグループを得た後、更に、各車線点の座標をネットワーク出力グラフから元画像にマッピングし戻してもよい。例えば、元画像について、ネットワーク出力グラフまで８倍縮小されていれば、それぞれのグループの車線点の座標を８倍に従って元画像にマッピングし戻して、これらの点の元画像における座標を得ることができる。そして、多項式フィッティングという案により、それぞれのグループに対応する多項式曲線を得る。

【0039】

多項式フィッティングプロセスの一例として、例えば、１つの多項式ｙ＝ａｘ^３＋ｂｘ^２＋ｃｘ＋ｄが与えられたとすることを含む。それぞれのグループについて、該グループに含まれる複数（例えば４つ又はそれ以上）の車線点が元画像にある座標（ｘ,ｙ）を該多項式に代入してもよい。更に、最小二乗法を用いて該多項式を解いて、該多項式における各係数ａ、ｂ、ｃ、ｄの値を得る。

【0040】

ただし、所与の多項式は、一例に過ぎず、制限的なものではなく、必要に応じて他の形式の多項式を採用してもよい。

【0041】

一実施態様において、ステップＳ１４は、前記車線の多項式曲線を用いて、前記車線の始点座標及び／又は終点座標を確定することを更に含む。

【0042】

あるグループに対応する車線の多項式曲線がフィッティングによって得られた後、当該曲線に基づいて車線の始点や終点等の情報を確定することができる。具体的に、該グループにおける各車線点の座標、及び該グループに対応する車線の曲線を併せて、これらの点のｙ（及び／又はｘ）の最小値及び最大値等により、始点及び終点情報を確定することができる。

【0043】

例えば、図５に示すように、あるグループに対するフィッティングにより、曲線Ｌ１を得て、該グループにおけるｙ（及び／又はｘ）の最小値によって、Ｌ１の始点座標Ａを確定し、該グループにおけるｙ（及び／又はｘ）の最大値によって、Ｌ１の終点座標Ｂを確定する。あるグループに対するフィッティングにより、曲線Ｌ２を得て、該グループにおけるｘの最小値（ｙの最大値）によって、曲線Ｌ２の始点座標Ｄを確定し、該グループにおけるｘの最大値（ｙの最小値）によって、曲線Ｌ２の終点座標Ｃを確定する。

【0044】

もしくは、図６に示すように、あるグループに対するフィッティングにより、曲線Ｌ３を得て、該グループにおけるｙの最小値によって、Ｌ３の始点座標Ｅを確定し、該グループにおけるｙの最大値によって、Ｌ３の終点座標Ｆを確定する。

【0045】

本発明の実施例は、連結領域分析方法を用いて二値画像における車線点をグループ化することにより得られたグループが正確であり、画像品質に影響されないため、高いロバスト性を有する。

【0046】

さらに、二値画像のグループを元画像にマッピングし戻してからフィッティングして得られた車線曲線は、正確な車線表現が得られるとともに、車線の始点や終点等の重要な情報を正確に確定するのにも役立つ。

【0047】

図７は、本発明の実施例に係る車線処理装置の構造ブロック図である。図７に示すように、該装置は、
車線点及び非車線点を含む第一画像に対して二値化処理を行って、二値画像を得るための二値化モジュール７１と、
前記二値画像に対して連結領域分析を行って、前記二値画像における、隣り合う複数の車線点を含む１つ又は複数の連結領域を得るための連結領域モジュール７２と、
各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するためのグループ化モジュール７３と、
各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るための車線表現モジュール７４と、を備えてもよい。

【0048】

一実施態様において、図８に示すように、該装置は、
第二画像をディープラーニングモデルに入力し識別して前記第一画像を得るための識別モジュールであって、前記第一画像は、前記第二画像に対して、一定のスケーリング比を有する識別モジュール７０を更に備える。

【0049】

一実施態様において、二値化モジュール７２は、
前記第一画像における車線点の輝度値を０に設定し、前記第一画像における非車線点の輝度値を２５５に設定し、又は
前記第一画像内の車線点の輝度値を２５５に設定し、前記第一画像内の非車線点の輝度値を０に設定するためにさらに用いられる。

【0050】

一実施態様において、連結領域モジュール７２は、関心領域と併せて、前記二値画像において連結領域分析を行って、前記関心領域における１つ又は複数の連結領域を得るためにさらに用いられる。

【0051】

一実施態様において、グループ化モジュール７３は、前記第一画像において１つの連結領域が通過した各車線点を、１本の車線に対応するグループに含まれる車線点として確定するために更に用いられる。

【0052】

一実施態様において、前記車線表現モジュール７４は、
各前記グループに含まれる車線点が前記第一画像にある座標を前記第二画像にマッピングし戻して、各前記グループにおける車線点が前記第二画像にある座標を得るためのマッピングサブモジュール７４１と、
それぞれのグループに対して、前記グループから複数の車線点を選択し、選択された複数の車線点が前記第二画像にある座標に対して多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得るためのフィッティングサブモジュール７４２と、を備える。

【0053】

一実施態様において、前記車線表現モジュール７４は、
前記車線の多項式曲線を用いて、前記車線の始点座標及び／又は終点座標を確定するための始終点サブモジュール７４３を更に備える。

【0054】

本発明の実施例に係る各装置における各モジュールの機能について、上述の方法における対応説明を参照してもよい。ここで繰り返して説明しない。

【0055】

図９は、本発明の実施例に係る車線処理装置の構造ブロック図である。図９に示すように、該装置は、メモリ９１０とプロセッサ９２０とを備え、メモリ９１０にはプロセッサ９２０で稼働できるコンピュータプログラムが記憶されている。前記プロセッサ９２０は、前記コンピュータプログラムを実行すると、上記実施例における車線処理方法を実現する。前記メモリ９１０とプロセッサ９２０の数は、一つ又は複数であってもよい。

【0056】

当該装置は、周辺機器と通信し、データのインタラクティブ転送を行うための通信インターフェース９３０をさらに備える。

【0057】

メモリ９１０は、高速ＲＡＭメモリを含む可能性もあるし、更に不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば少なくとも一つの磁気ディスクメモリーを備える可能性もある。

【0058】

メモリ９１０、プロセッサ９２０及び通信インターフェース９３０が独立して実現する場合、メモリ９１０、プロセッサ９２０及び通信インターフェース９３０はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャ（ＩＳＡ、Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ペリフェラルコンポーネント（ＰＣＩ、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス又は拡張業界標準アーキテクチャ（ＥＩＳＡ、Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等であってもよい。前記バスはアドレスバス、データバス、制御バス等に分けられてもよい。示しやすくするために、図９では１本のみの太線で示すが、１本のみのバス又は１つのタイプのみのバスを有すると示さない。

【0059】

選択的に、具体的に実現する時、メモリ９１０、プロセッサ９２０及び通信インターフェース９３０が１枚のチップに統合される場合、メモリ９１０、プロセッサ９２０及び通信インターフェース９３０は内部インターフェースによって相互間の通信を実現することができる。

【0060】

本発明の実施例は、プロセッサにより実行されると、上記実施例におけるいずれか１項に記載の方法を実現するコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供する。

【0061】

本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか１つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。

【0062】

また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも１つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は２つ又は２つ以上である。

【0063】

当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定の論理機能又は過程を実現するための１つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。

【0064】

フローチャートに示す、又はここでほかの方式で説明される論理及び／又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行システム、装置又はデバイス（例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム）の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例（非網羅的リスト）は、１つ又は複数の配線を有する電気接続部（電子装置）、ポータブルコンピュータケース（磁気装置）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去再書込み可能な読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリー）、光ファイバー装置、及び携帯型読み出し専用メモリー（ＣＤＲＯＭ）を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集、解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。

【0065】

本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の本分野での公知技術のうちのいずれか１つ又はそれらの組み合わせで実現してもよい。

【0066】

当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの１つ又はそれらの組み合わせを含むと理解される。

【0067】

また、本発明の各実施例における各機能ユニットが１つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、２つ又は２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、１つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。

【0068】

以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】