(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-14
(45)【発行日】2023-11-22
(54)【発明の名称】走行車路を識別する方法及び装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20231115BHJP
G01C 21/26 20060101ALI20231115BHJP
G08G 1/16 20060101ALI20231115BHJP
【ＦＩ】
G06T7/00 650A
G01C21/26 A
G08G1/16 C
【請求項の数】
26
(21)【出願番号】P 2018117924
(22)【出願日】2018-06-21
(65)【公開番号】P2019067364
(43)【公開日】2019-04-25
【審査請求日】2021-05-21
(31)【優先権主張番号】10-2017-0126241
(32)【優先日】2017-09-28
(33)【優先権主張国・地域又は機関】KR
【前置審査】
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】姜 ▲な▼ ▲ひょぷ▼
(72)【発明者】
【氏名】李 基 彰
(72)【発明者】
【氏名】河 仁 友
【審査官】宮島 潤
(56)【参考文献】
【文献】特開２００９－１４５７４（ＪＰ，Ａ）
【文献】Marcos Nieto et al，ROBUST MULTIPLE ROAD MODELING BASED ON PERSPECTIVE ANALYSIS，15TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING，米国，IEEE，2008年10月12日，p.2396-2399
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
Ｇ０１Ｃ ２１／００ － ２３／００
Ｇ０１Ｃ ２３／００ － ２５／００
Ｇ０８Ｇ １／００ － ９９／００
(57)【特許請求の範囲】
【請求項1】
車両に装着された撮影装置を用いて前記車両が走行中である道路を撮影した入力映像を取得するステップと、前記入力映像から道路面標識に対応するピクセルを抽出し、前記ピクセルをグルーピングすることにより直線を示すグループを車線に該当すると決定するステップと、
前記入力映像に含まれたオブジェクト（前記オブジェクトは、前記道路面標識を含む）に対応する部分に前記入力映像を分割するセグメンテーション映像を取得するために、前記オブジェクトが意味するクラスにより前記入力映像に含まれた前記オブジェクトを前記入力映像から分割するステップと、
前記道路面標識で対応するピクセルのグルーピングを介して決定された車線を前記セグメンテーション映像にフィッティングして仮想の車線を配置することにより、前記仮想の車線を含む多重仮想車路を生成するステップと、
前記多重仮想車路の道路境界から前記車両の走行車路が何番目の車路に該当するかを示す相対的な位置をカウントすることによって前記車両の走行車路を識別するステップと、
を含む、走行車路を識別する方法。
【請求項2】
前記入力映像は前記車両の前方映像として、前記車両が走行中である道路又は前記道路の左右側のうち少なくとも一つの側の道路境界部分を含む、請求項１に記載の走行車路を識別する方法。
【請求項3】
前記道路面標識は、道路面に表示された車線と、
道路面に表示された記号及び文字を含む道路標識と、
のうちいずれか１つ又はその組合せを含む、
請求項１または２に記載の走行車路を識別する方法。
【請求項4】
前記直線を示すグループを車線に該当すると決定するステップは、前記入力映像から前記道路面標識に対応するピクセルを抽出して前記車線又は前記道路標識に該当するグループに分類し、
前記分類されたピクセルのグループのうち、前記道路標識に該当するグループを除去するステップと、
を含む、請求項３に記載の走行車路を識別する方法。
【請求項5】
前記道路標識に該当するグループを除去するステップは、グラフ理論（ｇｒａｐｈ ｔｈｅｏｒｙ）で少なくとも１つ以上の経路に連結された頂点から構成された従属グラフを連結するために用いられる連結要素演算を用いて前記ピクセルをグループにグルーピングするステップと、
前記ピクセルのグループごとに該当グループが前記車線及び前記道路標識のいずれかに該当するかを決定するステップと、
前記分類されたピクセルのグループのうち前記道路標識に該当するグループを除去するステップと、
を含む、請求項４に記載の走行車路を識別する方法。
【請求項6】
前記多重仮想車路を生成するステップは、前記車線に該当するグループを用いて前記車両の前方を基準に前記走行車路の左右側車路境界線を抽出するステップと、
前記左右側車路境界線を前記セグメンテーション映像の車路にフィッティングして仮想車線を生成するステップと、
前記セグメンテーション映像で等間隔に前記左右側車路境界線の左側及び右側にそれぞれ前記仮想車線を平行に配置することによって前記多重仮想車路を生成するステップと、
を含む、請求項５に記載の走行車路を識別する方法。
【請求項7】
前記多重仮想車路を生成するステップは、前記セグメンテーション映像で前記走行車路の左右側車路境界線をそれぞれ左側及び右側に等間隔に拡張して配置することにより前記多重仮想車路を生成するステップ、を含む、
請求項１に記載の走行車路を識別する方法。
【請求項8】
前記多重仮想車路を生成するステップは、前記セグメンテーション映像で前記走行車路の左右側車路境界線をそれぞれ左側及び右側に等間隔に拡張して配置することにより前記多重仮想車路を生成するステップ、を含む、
請求項１に記載の走行車路を識別する方法。
【請求項9】
前記走行車路を識別するステップは、前記多重仮想車路が前記セグメンテーション映像で道路クラスに該当するか否かに応じて前記多重仮想車路の車路の個数を決定するステップと、
前記多重仮想車路の車路の個数を用いて前記多重仮想車路の前記道路境界から前記車両の走行車路が何番目の車路に該当するかを示す前記相対的な位置をカウントすることによって前記車両の走行車路を識別するステップと、を含む、
請求項１に記載の走行車路を識別する方法。
【請求項10】
前記走行車路を識別する方法は、さらに、前記多重仮想車路を生成した後、地図データベースに格納された地図情報又はナビゲーション情報から前記車両が走行中である道路の車路の個数を取得するステップ、を含む、請求項９に記載の走行車路を識別する方法。
【請求項11】
前記車両の走行車路を識別するステップは、前記道路の車路の個数及び前記多重仮想車路の車路の個数を比較して前記多重仮想車路が前記道路の車路のうち前記何番目の車路に該当するかを示す前記相対的な位置を把握するステップ、を含む、
請求項１０に記載の走行車路を識別する方法。
【請求項12】
前記道路の車路の個数は地図データベースに格納された地図情報から取得される、請求項１１に記載の走行車路を識別する方法。
【請求項13】
前記方法は、さらに、前記入力映像を取得した後、前記道路面標識を抽出する前に、前記入力映像から検出された車線に対して逆遠近変換（Ｉｎｖｅｒｓｅ Ｐｅｒｓｐｅｃｔｉｖｅ Ｍａｐｐｉｎｇ ＩＰＭ）技法を適用して平面視点の映像に変換するステップ、を含む、
請求項１に記載の走行車路を識別する方法。
【請求項14】
前記方法は、さらに、センサ、マップ、又はナビゲーションから取得した情報により前記車両の走行時に発生する走行環境の変化を認知することにより、前記取得するステップ、前記抽出するステップ、前記分割するステップ、前記生成するステップ、及び、前記識別するステップを行うステップを、含む、
請求項１に記載の走行車路を識別する方法。
【請求項15】
前記走行環境の変化は、前記車両による走行車路の変更、離脱、周辺車両による前記走行車路の侵犯、及び前記道路面標識の変化のうちいずれか１つ又はその組合せを含む、請求項１４に記載の走行車路を識別する方法。
【請求項16】
ハードウェアと結合して請求項１乃至１５いずれか一項に記載の走行車路を識別する方法を実行させるためにコンピュータで判読可能な格納媒体に格納されたコンピュータプログラム。
【請求項17】
車両に装着された撮影装置を用いて前記車両が走行中である道路を撮影した入力映像から前記車両の前方を基準に走行車路の左右側車路境界線を抽出するステップと、前記入力映像に含まれたオブジェクトが意味するクラスに応じて前記オブジェクト（前記オブジェクトは道路面標識を含む）を前記入力映像から分割したセグメンテーション映像を生成するステップと、
前記左右側車路境界線を前記セグメンテーション映像にフィッティングし、前記フィッティングした左右側車路境界線を前記車両の前方を基準に左右等間隔配置することにより、仮想の車線を含む多重仮想車路を生成するステップと、
前記多重仮想車路が前記セグメンテーション映像で道路クラスに該当するか否かに基づいて前記多重仮想車路の車路の個数を決定するステップと、
前記多重仮想車路の車路の個数と前記車両が走行中である前記道路の車路の個数を比較して、前記多重仮想車路の道路境界から前記走行車路が何番目の車路に該当するかを示す相対的な位置を把握することによって前記走行車路を識別するステップと、
を含む走行車路を識別する方法。
【請求項18】
前記走行車路の左右側車路境界線を抽出するステップは、前記入力映像から検出された車線に対して逆遠近変換（Ｉｎｖｅｒｓｅ Ｐｅｒｓｐｅｃｔｉｖｅ Ｍａｐｐｉｎｇ ＩＰＭ）技法を適用して平面視点の映像に変換するステップと、
前記平面視点の映像から前記走行車路の左右側車路境界線を抽出するステップと、
を含む、請求項１７に記載の走行車路を識別する方法。
【請求項19】
前記方法は、さらに、車両が走行中である道路の車路の個数を地図データベースに格納された地図情報から取得するステップ、を含む、
請求項１７に記載の走行車路を識別する方法。
【請求項20】
前記方法は、さらに、センサ、マップ、又はナビゲーションから取得した情報により前記車両の走行時に発生する走行環境の変化を認知することにより、前記抽出するステップ、前記セグメンテーション映像を生成するステップ、前記多重仮想車路を生成するステップ、前記多重仮想車路の車路の個数を決定するステップ、及び、前記走行車路を識別するステップを行うステップ、を含む、請求項１７に記載の走行車路を識別する方法。
【請求項21】
車両に装着された撮影装置を用いて前記車両が走行中である道路を撮影した入力映像を撮影するイメージセンサと、前記入力映像から道路面標識に対応するピクセルを抽出し、前記ピクセルをグルーピングすることによって直線を示すグループを車線に該当すると決定し、前記入力映像に含まれたオブジェクト（前記オブジェクトは前記道路面標識を含む）が意味するクラスに応じて前記オブジェクトに対応する部分に前記入力映像を分割するセグメンテーション映像を取得し、前記道路面標識で対応するピクセルのグルーピングを介して決定された車線を前記セグメンテーション映像にフィッティングして仮想の車線を配置することによって、前記仮想の車線を含む多重仮想車路を生成し、前記多重仮想車路で道路境界から前記車両の走行車路が何番目の車路に該当するかを示す相対的な位置をカウントすることによって車両の走行車路を識別するプロセッサと、
を含む、走行車路を識別する装置。
【請求項22】
前記装置は、さらに、前記入力映像、前記セグメンテーション映像、前記多重仮想車路の道路境界から前記車両の走行車路が何番目の車路に該当するかを示す前記走行車路の相対的な位置、地図情報、及び、ナビゲーション情報のうちいずれか１つ又はその組合せを格納するメモリ、を含む、
請求項２１に記載の走行車路を識別する装置。
【請求項23】
前記プロセッサは、前記入力映像から前記道路面標識に対応するピクセルを抽出して前記車線又は道路標識に該当するグループに分類し、グラフ理論（ｇｒａｐｈ ｔｈｅｏｒｙ）で少なくとも１つ以上の経路に連結された頂点から構成された従属グラフを連結するために用いられる連結要素演算を用いて前記ピクセルをグループにグルーピングし、前記ピクセルのグループごとに前記車線及び前記道路標識のいずれかに該当するかを決定し、前記分類されたピクセルのグループのうち前記道路標識に該当するグループを除去する、
請求項２１に記載の走行車路を識別する装置。
【請求項24】
前記プロセッサは、前記多重仮想車路が前記セグメンテーション映像で道路クラスに該当するか否かに応じて前記多重仮想車路の車路の個数を決定し、前記多重仮想車路の車路の個数を用いて前記多重仮想車路の前記道路境界から前記車両の走行車路が何番目の車路に該当するかを示す前記相対的な位置をカウントする、
請求項２１に記載の走行車路を識別する装置。
【請求項25】
前記地図情報は、前記車両が走行する前記道路に対応し、前記道路の車路の個数を含み、
前記地図情報及び前記ナビゲーション情報のうちいずれか１つ又はその組合せを受信する通信インターフェース、を含み、
前記プロセッサは、
前記多重仮想車路の車路の個数と前記道路の車路の個数を比較して前記多重仮想車路の道路境界から前記走行車路が何番目の車路に該当するかを示す相対的な位置を把握することにより前記車両の走行車路を識別する、
請求項２２に記載の走行車路を識別する装置。
【請求項26】
前記プロセッサは、センサ、マップ、又はナビゲーションから取得した情報により前記車両の走行時に発生する走行環境の変化を認知することに応答して、前記ピクセルを抽出し、前記車線に該当すると決定し、前記セグメンテーション映像を取得し、前記多重仮想車路を生成し、前記走行車路を識別する、
請求項２２に記載の走行車路を識別する装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、走行車路を識別する方法及び装置に関する。
【背景技術】
【0002】
車両及びその他の運送手段としての走行を補助するための様々な視覚情報拡張現実（Ｖｉｓｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ａｕｇｍｅｎｔａｔｉｏｎ）が提供されている。その中の任意の入力映像から道路情報などを抽出する様々な方法が用いられている。また、走行補助のために車両が走行車路から離脱するかを判別するＬＤＷＳ（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ Ｓｙｓｔｅｍ）及び前の車と一定間隔を保持しながら車両の速度を自動制御するために用いられるＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｓｅ Ｃｏｎｔｒｏｌ）などを用いてもよい。ＬＤＷＳは、狭い視野角の入力映像のみを処理するため道路全体の情報を把握して車両の位置表示に応用するには限界がある。ＡＣＣは、走行車両の前を走っている多くの車両のうち、同じ車路に属する車両のみを対象として制御をするため、全体道路の構造を認識及び処理できない限界がある。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許第７８６０６５２Ｂ２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一側面によれば、入力映像に基づいて道路標識を抽出し、道路標識とセグメンテーション映像を用いて仮想車線を生成することにより、現在の走行車両が全体道路の車路のうち何番目の車路を走行しているかを識別する。
【0005】
一側面によれば、外部のマップ情報又はナビゲーション情報から取得した走行道路の全体車線の個数を用いて仮想車線における走行車両の位置を把握することで走行車路を識別する。
【0006】
一側面によれば、識別した走行車路によりウェイアウト（ｗａｙ ｏｕｔ）のような状況で車線を変更したり、又は走行経路を変更すべきであるかを予測してユーザに案内したり、又は自律走行のための情報として提供することで、より安全な車両運行を可能にする。
【課題を解決するための手段】
【0007】
一実施形態によれば、走行車路を識別する方法は、入力映像を取得するステップと、前記入力映像から道路面標識を抽出するステップと、セグメンテーション映像を取得するために、意味単位に基づいて前記入力映像に含まれたオブジェクトを前記入力映像から分割するステップと、前記セグメンテーション映像及び前記道路面標識を用いて多重仮想車路を生成するステップと、前記多重仮想車路における前記走行車路の相対的な位置を用いて車両の走行車路を識別するステップとを含む。
【0008】
前記入力映像は前記車両の前方映像として、前記車両が走行中である道路又は前記道路の左右側のうち少なくとも一つの側の道路境界部分を含み得る。
【0009】
前記道路面標識は、前記道路面上に表示された車線と、前記道路面上に表示された記号及び文字を含む道路標識とのうちいずれか１つ又はその組合せを含み得る。
【0010】
前記道路面標識を抽出するステップは、前記入力映像から前記道路面標識に対応するピクセルを抽出するステップと、前記ピクセルをグルーピングして前記道路標識に該当するグループを除去するステップとを含み得る。
【0011】
前記道路標識に該当するグループを除去するステップは、連結要素演算を用いて前記ピクセルをグルーピングするステップと、前記ピクセルのグループごとに前記車線及び前記道路標識のいずれかに該当するかを決定するステップと、前記道路標識に該当するグループを除去するステップとを含み得る。
【0012】
前記多重仮想車路を生成するステップは、前記車線に該当するグループを用いて前記走行車路の左右側車路境界線を抽出するステップと、前記左右側車路境界線を前記セグメンテーション映像にフィッティングして仮想車線を生成するステップと、前記セグメンテーション映像で等間隔に前記左右側車路境界線の左側及び右側にそれぞれ前記仮想車線を平行に配置することによって前記多重仮想車路を生成するステップとを含み得る。
【0013】
前記多重仮想車路を生成するステップは、前記セグメンテーション映像で前記走行車路の左右側車路境界線をそれぞれ左側及び右側に等間隔に拡張して前記多重仮想車路を生成するステップを含み得る。
【0014】
前記多重仮想車路を生成するステップは、前記セグメンテーション映像で前記走行車路の左右側車路境界線を左側及び右側にそれぞれ等間隔に拡張することにより前記多重仮想車路を生成するステップを含み得る。
【0015】
前記走行車路を識別するステップは、前記多重仮想車路が前記セグメンテーション映像で道路成分に該当するか否かに応じて前記多重仮想車路の車路の個数を決定するステップと、前記多重仮想車路の車路の個数に基づいて、前記道路における前記走行車路の相対的な位置を把握することによって前記走行車路を識別するステップとを含み得る。
【0016】
前記走行車路を識別するステップは、前記多重仮想車路の車路の個数を用いて前記道路の道路境界から前記走行車路が何番目の車路に該当するかをカウントすることによって前記走行車路の相対的な位置を把握するステップを含み得る。
【0017】
前記走行車路を識別するステップは、前記車両が走行中である道路の車路の個数を取得するステップをさらに含み得る。
【0018】
前記車両の走行車路を識別するステップは、前記道路の車路の個数及び前記多重仮想車路の車路の個数に基づいて、決定された前記多重仮想車路における前記走行車路の相対的な位置を用いて前記車両の走行車路を識別するステップを含み得る。
【0019】
前記道路の車路の個数は地図情報から取得され得る。
【0020】
前記車両の走行車路を識別するステップは、前記入力映像を平面視点の映像に変換するステップをさらに含み得る。
【0021】
前記平面視点の映像に変換するステップは、前記入力映像及び前記セグメンテーション映像を前記平面視点の入力映像及び前記平面視点のセグメンテーション映像にそれぞれ変換するステップと、前記平面視点の入力映像及び前記平面視点のセグメンテーション映像から遠近成分を除去するステップとを含み得る。
【0022】
前記走行車路を識別するステップは、走行環境の変化を認知し、前記取得するステップ、前記抽出するステップ、前記分割するステップ、前記生成するステップ、及び前記識別するステップを行うステップをさらに含み得る。
【0023】
前記走行環境の変化は、前記車両による走行車路の変更、離脱、周辺車両による前記走行車路の侵犯、及び前記道路面標識の変化のうちいずれか１つ又はその組合せを含み得る。
【0024】
一実施形態によれば、走行車路を識別する方法は、入力映像から走行車路の左右側車路境界線を抽出するステップと、前記入力映像に含まれたオブジェクトを意味単位に分割したセグメンテーション映像を生成するステップと、前記左右側車路境界線を前記セグメンテーション映像にフィッティングし、左右等間隔に配置して多重仮想車路を生成するステップと、前記多重仮想車路が前記セグメンテーション映像で道路成分に該当するか否かに基づいて車路の個数を決定するステップと、前記多重仮想車路の車路の個数に基づいて前記道路における前記走行車路の相対的な位置を把握することによって前記走行車路を識別するステップとを含む。
【0025】
前記走行車路を識別するステップは、前記多重仮想車路の車路の個数に基づいて、前記道路の道路境界から前記走行車路が何番目の車路に該当するかをカウントすることによって前記走行車路の相対的な位置を把握するステップを含み得る。
【0026】
前記走行車路の左右側車路境界線を抽出するステップは、前記入力映像を平面視点の映像に変換するステップと、前記平面視点の映像から前記走行車路の左右側車路境界線を抽出するステップとを含み得る。
【0027】
前記平面視点の映像に変換するステップは、前記入力映像及び前記セグメンテーション映像を前記平面視点の入力映像及び平面視点のセグメンテーション映像にそれぞれ変換するステップと、前記平面視点の入力映像及び前記平面視点のセグメンテーション映像から遠近成分を除去するステップとを含み得る。
【0028】
前記走行車路を識別するステップは、前記車両が走行中である道路の車路の個数を地図情報から取得するステップをさらに含み、前記走行車路を識別するステップは、前記道路の車路の個数及び前記多重仮想車路の車路の個数に基づいて、前記道路の道路境界から前記走行車路が何番目の車路に該当するかをカウントすることによって前記走行車路の相対的な位置を把握するステップを含み得る。
【0029】
前記走行車路を識別するステップは、走行環境の変化を認知して前記取得するステップ、前記抽出するステップ、前記分割するステップ、前記生成するステップ、及び前記識別するステップを行うステップをさらに含み得る。
【0030】
一実施形態によれば、走行車路を識別する装置は、入力映像を撮影するイメージセンサと、前記入力映像から道路面標識を抽出し、意味単位に基づいて前記入力映像に含まれたオブジェクトを前記入力映像から分割することによってセグメンテーション映像を取得し、前記セグメンテーション映像及び前記道路面標識を用いて多重仮想車路を生成し、前記多重仮想車路における相対的な位置を用いて前記車両の走行車路を識別するプロセッサとを含む。
【0031】
前記走行車路を識別する装置は、前記入力映像、前記セグメンテーション映像、前記多重仮想車路の相対的な位置、前記地図情報、及び前記ナビゲーション情報のうちいずれか１つ又はその組合せを格納するメモリをさらに含み得る。
【0032】
前記プロセッサは、前記入力映像から前記道路面標識に対応するピクセルを抽出し、連結要素演算を用いて前記ピクセルをグルーピングして前記ピクセルのグループごとに車線及び道路標識のいずれかに該当するかを決定し、前記道路標識に該当するグループを除去し得る。
【0033】
前記プロセッサは、前記多重仮想車路が前記セグメンテーション映像で道路成分に該当するか否かに応じて前記多重仮想車路の車路の個数を決定し、前記多重仮想車路の車路の個数に基づいて、前記道路における前記走行車路の相対的な位置を把握することによって前記走行車路を識別し得る。
【0034】
前記プロセッサは、前記入力映像及び前記セグメンテーション映像を平面視点の入力映像及び前記平面視点のセグメンテーション映像にそれぞれ変換し、前記平面視点の入力映像及び前記平面視点のセグメンテーション映像から遠近成分を除去し得る。
【0035】
前記走行車路を識別する装置は、前記車両が走行する道路に対応し、前記道路の車路の個数を含む地図情報及びナビゲーション情報のうちいずれか１つ又はその組合せを受信する通信インターフェースをさらに含み、前記プロセッサは、前記道路の車路の個数に基づいて決定された前記多重仮想車路における相対的な位置を用いて前記車両の走行車路を識別し得る。
【0036】
前記プロセッサは、走行環境の変化を認知することに応答して前記走行車路を識別し得る。
【0037】
一実施形態によれば、ナビゲーション装置は、車両の前方で入力映像をキャプチャーするセンサと、前記入力映像を前記入力映像に含まれたオブジェクトに対応する部分に分割することによってセグメンテーション映像を生成し、前記入力映像から左側車路境界線及び右側車路境界線を識別し、前記セグメンテーション映像で前記左側車路境界線及び前記右側車路境界線に基づいて仮想車線を生成し、前記セグメンテーション映像で等距離間隔に前記仮想車線を並列に配置することに基づいて多重仮想車路を生成し、前記多重仮想車路が前記セグメンテーション映像内の道路オブジェクトに対応するか否かに基づいて前記多重仮想車路の車路の個数を決定し、前記多重仮想車路の決定された車路の個数のうち、前記走行車路の相対的な位置に基づいて前記車両の走行車路を識別するプロセッサとを含む。
【0038】
前記プロセッサは、前記入力映像から道路面標識に対応するピクセルを抽出し、前記抽出されたピクセルをグループに分類し、前記グループの分類されたグループが車線に対応するか否かを決定し、前記分類されたグループが車線に対応するか否かに応答して、前記左側車路境界線及び前記右側車路境界線を識別し得る。
【0039】
前記プロセッサは、前記入力映像及び前記セグメンテーション映像を平面視点の入力映像及び平面視点のセグメンテーション映像にそれぞれ変換し、左側車路境界線及び右側車路境界線を識別するために前記平面視点の入力映像及び前記平面視点のセグメンテーション映像から情報を抽出し得る。
【0040】
前記プロセッサは、前記車両が走行中である道路の中心線を識別することに基づいて、対向車路オブジェクトに対応するセグメンテーション映像の一部分を除去し得る。
【0041】
前記プロセッサは、前記平面視点の入力映像で前記車両の左側及び右側に関心領域（ＲＯＩ）を設定し、前記道路面標識の車線に該当するオブジェクトを用いて、前記関心領域から前記左側車路境界線及び前記右側車路境界線を抽出し得る。
【0042】
前記プロセッサは、前記車両の識別された走行車路をディスプレイに出力し得る。
【0043】
一実施形態よれば、車両は、映像を取得するセンサと、前記映像から道路標識を抽出し、意味単位に基づいて前記映像をオブジェクトに分割することによりセグメンテーション映像を取得し、前記セグメンテーション映像及び道路面標識を用いて多重仮想車路を生成し、前記多重仮想車路で車両の相対的な位置に基づいて走行車路を識別する走行車路識別プロセッサとを含む。
【発明の効果】
【0044】
入力映像から抽出された道路標識とセグメンテーション映像を用いて仮想車線を生成することにより、現在の走行車両が全体道路の車路のうち何番目の車路を走行しているかを識別することができる。
【0045】
外部のマップ情報又はナビゲーション情報から取得した走行道路の全体車線の個数を用いて仮想車線における走行車両の位置を把握することによって走行車路を識別することができる。
【0046】
走行車路によりウェイアウトのような状況で車線を変更したり、又は走行経路を変更すべきであるかを予測してユーザに案内したり、又は自律走行のための情報として提供することで、より安全な車両運行を可能にする。
【図面の簡単な説明】
【0047】
【図1】一実施形態に係る走行車路を識別する方法を示したフローチャートである。
【図2】一実施形態により入力映像から道路面標識を抽出する方法を示したフローチャートである。
【図3】一実施形態により多重仮想車路を生成する方法を示したフローチャートである。
【図4】一実施形態により車両が走行中である走行車路を識別する方法を示したフローチャートである。
【図5】他の実施形態により走行車路を識別する方法を示したフローチャートである。
【図6】一実施形態に係る走行車路を識別する方法を説明するための図である。
【図7】一実施形態により中央線を認識して走行車路を識別する方法を説明するための図である。
【図8A】一実施形態により道路の車路の個数を用いて走行車路を識別する方法を説明するための図である。
【図8B】一実施形態により道路の車路の個数を用いて走行車路を識別する方法を説明するための図である。
【図9】他の実施形態により走行車路を識別する方法を示したフローチャートである。
【図10】一実施形態に係る走行車路を識別する方法が実行される走行環境の一例を説明するためのフローチャートである。
【図11】一実施形態に係る入力映像を示す図である。
【図12】一実施形態に係るセグメンテーション映像を示す図である。
【図13】一実施形態に係る平面視点の映像を示す図である。
【図14】一実施形態により入力映像から抽出された道路面標識を示す図である。
【図15】一実施形態により仮想の車線を生成する方法を説明するための図である。
【図16A】一実施形態により多重仮想車路を生成する過程を説明するための図である。
【図16B】一実施形態により多重仮想車路を生成する過程を説明するための図である。
【図17A】一実施形態に係る道路面標識の様々な例示を示す図である。
【図17B】一実施形態に係る道路面標識の様々な例示を示す図である。
【図18】他の実施形態に係る走行車路を識別する方法を示したフローチャートである。
【図19】一実施形態に係る走行車路を識別する装置のブロック図である。
【発明を実施するための形態】
【0048】
実施形態に対する特定の構造的又は機能的な説明は、単なる例示を目的として開示されたものとして、様々な形態に変更され得る。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
【0049】
第１又は第２などの用語を複数の構成要素を説明するために用いることができるが、このような用語は１つの構成要素を他の構成要素から区別することのみを目的として解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素に命名することもできる。
【0050】
いずれかの構成要素が他の構成要素に「連結されて」いると言及された場合、その次の構成要素に直接的に連結されてもよく、又は中間に他の構成要素が存在することもあり得ると理解されなければならない。
【0051】
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0052】
異なるように定義がなされない限り、技術的又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0053】
下記で説明される実施形態は、スマート車両などの拡張現実ナビゲーション（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｎａｖｉｇａｔｉｏｎ）システムで車線を表示したり、自律走行車両のステアリングを助けるための視覚情報を生成するために活用され得る。また、実施形態は、車両内の走行補助又は完全自律走行のために設けられたＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）又は車両のインフォテインメントシステム（ｖｅｈｉｃｕｌａｒ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ）などの知能システムを含む機器で視覚情報を解釈して安全で快適な走行を助けるために使用され得る。実施形態は、互いに異なるタイプの車両に適用されてもよい。本明細書で説明された車両は、任意の運送、伝達又は通信などのモードを有し、例えば、自動車、トラック、トラクター、スクーター、バイク、サイクル、水陸両用車両、雪上車、ボートなどの電車、自律走行車両又は自動化された走行車両、知能型車両、自動走行車両、無人航空機、又は、モバイル装置であり得る。
【0054】
実施形態により、本明細書で開示された車路検出装置は、車両に配置された異なる装置に含まれてもよい。一実施形態において車路検出装置は、例えば、知能型エージェント、移動電話、セルラーフォン、スマートフォン、着用型スマート装置（例：指輪、メガネタイプ装置、腕輪、アンクレット、ベルト、ネックレス、イヤリング、ヘアバンド、ヘルメット、服に埋め込まれた装置又はＥＧＤ（ｅｙｅ ｇｌａｓｓ ｄｉｓｐｌａｙ）など）、ラップトップ、ノート型パソコン、サブノート、ネットブック、ウルトラモバイルＰＣ（ＵＭＰＣ）、タブレットパーソナルコンピュータ（タブレット）、ファブレット（ｐｈａｂｌｅｔ）、モバイルインターネットデバイス（ＭＩＤ）、ＰＤＡ、ＥＤＡ、デジタルカメラ、デジタルビデオカメラ、携帯用ゲームコンソール、ＭＰ３プレーヤー、ＰＭＰ（ｐｏｒｔａｂｌｅ／ｐｅｒｓｏｎａｌ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ハンドヘルド電子書籍（ｈａｎｄｈｅｌｄ ｅ－ｂｏｏｋ）（ＵＭＰＣ）、携帯用ラップトップＰＣ、ＧＰＳナビゲーション、個人ナビゲーション装置、携帯用ナビゲーション装置（ＰＮＤ）、ハンドヘルドゲームコンソール、電子書籍、高解像度スマートＴＶ、スマートアプライアンス、通信システム、イメージ処理システム、グラフィック処理システム、ネットワークを介して制御される様々なＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）装置、スマート車両、知能型自動車、自律走行車両、その他の消費者の電子／情報技術（ＣＥ／ＩＴ）装置又はその他の装置など、無線通信又はこれに開示されたものと一致する無線通信又はネットワーク通信が可能な任意の他の装置であり得る。
【0055】
他の実施形態において、車路検出装置は車両の外部にあり、例えば、コンピュータ、サーバ、及び移動電話のような装置に配置され、本明細書に開示されたものと一致する無線通信又はネットワークを介して車両と通信し得る。
【0056】
以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。
【0057】
図１は、一実施形態に係る走行車路を識別する方法を示したフローチャートである。図１に示す動作は、実施形態で示された順序及び方式により実行され、説明された例示的な実施形態の思想及び範囲を逸脱することなく、一部の動作の順序が変更されたり、一部の動作が省略されてもよい。図１に示された多くの動作は、並列又は同時に実行されてもよい。図１に示す１つ又はそれ以上のブロック及びこれらのブロックの組合せは特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア、及びコンピュータ命令の組合せによって実現され得る。
【0058】
図１を参照すれば、一実施形態に係る走行車路を識別する装置（以下、「識別装置」）は入力映像を取得する（Ｓ１１０）。入力映像は、例えば、図１１に示された入力映像１１００と共に、車両、車線、沿石、人道、周辺環境などを含む道路映像及び道路面映像などを含む。識別装置は、車両の前面に装着された撮影装置を用いて毎フレームごとに１つ又は複数の入力映像を取得する。ここで、撮影装置のキャリブレーション（Ｃａｌｉｂｒａｔｉｏｎ）情報は予め知っていると仮定する。撮影装置は、例えば、モノカメラ（ｍｏｎｏ ｃａｍｅｒａ）、ビジョンセンサ、イメージセンサ、又は、これに類似の機能を行う装置を含んでもよい。説明された例示的な実施形態の思想及び範囲を逸脱することなく、例えば、光検出及び距離測定（ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ；ＬｉＤＡＲ）のような他の撮影装置が使用されてもよい。
【0059】
又は、入力映像は、識別装置に含まれた撮影装置、又は、識別装置以外の装置でキャプチャーされた映像であってもよい。
【0060】
入力映像は、道路全体又は道路の左右側のうち少なくとも一つの側の道路境界部分を含む。例えば、撮影装置の画角又は周辺車両又は障害物による隠しなどの理由により道路の全ての車線が撮影されない場合、識別装置は地図情報、又は、車両の位置情報などを参照する。識別装置は、該当道路が何車線であるかを把握したり、ユーザから音声又はタッチ入力などにより車路の個数を受信してもよい。
【0061】
本明細書で、「道路（ｒｏａｄ）」は車両が通行する道を意味し、例えば、高速道路、国道、地方道路、高速国道、抜け道（ｂｙ－ｌａｎｅ）、有料道路、正面道路、側面道路、進入路、制限されたアクセス同級の差別化された高速道路（Ｌｉｍｉｔｅｄ ａｃｃｅｓｓ ｇｒａｄｅ－ｓｅｐａｒａｔｅｄ ｈｉｇｈｗａｙ）、自動車専用道路などのような様々な類型の道路を含んでもよい。例えば、多重道路、裏道、未舗装道路のような異なるタイプの道路についても、説明された例示的な実施形態の思想及び範囲を逸脱することなく使用される。道路は１つ又は複数の車路を含んでもよい。
【0062】
「車路（ｌａｎｅ）」は道路の路面上に表示された車線を介して区分される道路空間に該当する。以下で、「走行車路（ｄｒｉｖｉｎｇ ｌａｎｅ）」は複数の車路のうち走行車両が走行中である車路、言い換えれば、走行車両が占めて利用中である車路空間を意味するものとして理解される。１つの車路は車路の左右にある車線によって区分される。
【0063】
「車線（ｌｉｎｅｓ）」は道路の路面上に白色、青色、又は黄色として表示された実線又は点線などの様々な形態の線として理解される。道路面標識に属する様々な種類の車線には車路を区分する車線以外にも、ジグザグ車線、バス専用車線、人道区分線などの様々な車線が含まれてもよい。本明細書では、車線のうち車路を区分する車線を、その他の車線と互いに区分するために「車路境界線（ｌａｎｅ ｂｏｕｎｄａｒｙ ｌｉｎｅ）」として記載することにする。
【0064】
また、「走行車両」は、道路上で走行中である車両のうち自車を意味するものとして、例えば、自律走行車両、先端運転者サポートシステム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ；ＡＤＡＳ）を備えた知能型車両などが該当する。
【0065】
識別装置は、入力映像から道路面標識（ｒｏａｄ ｍａｒｋｉｎｇ）を抽出する（Ｓ１２０）。「道路面標識」は、車両が運行する道路面上に記載された表示である。道路面標識は、例えば、追い越し禁止を示す実線、複線、追い越し可能を示す点線、点線側にある車両の車路変更が可能であり、実線側にある車両は車線変更が禁止されることを示す実線と点線などで構成された中央線、徐行運転を示すジグザグ車線、バス専用車線、人道区分線などを含む車線、及び上り坂傾斜面表示、横断歩道予告表示、徐行表示、速度制限表示、回転車路表示、停車禁止地帯表示などのような記号、及び／又は「子ども保護区域」、「徐行」などのような文字などにより方向、道しるべ、境界標識などを示す道路標識（ｒｏａｄ ｓｉｇｎ）を含んでもよい。車線は車路を区分する車線、言い換えれば、車路境界線を含んでもよい。道路面標識の例示は図１７に具体的に図示されている。
【0066】
識別装置は、例えば、道路面標識を認識するように予め学習された畳み込み神経網（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＣＮＮ）、深層神経網（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＤＮＮ）、サポートベクトルマシーン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などを用いて、入力映像から車線及び／又は道路標識を含む道路面標識を抽出する。畳み込み神経網は、道路面映像の様々な道路面標識が予め学習されたものであり、領域基盤（Ｒｅｇｉｏｎ－ｂａｓｅｄ）の畳み込み神経網であってもよい。畳み込み神経網は、例えば、入力映像で検出しようとする車線、道路標識のバウンディングボックスと検出しようとする車線及び道路標識の種類がともに判別されるよう学習されたものである。
【0067】
一実施形態では、様々な道路面映像の車線及び／又は道路標識を学習させた畳み込み神経網を活用することで、様々な状況でも剛健に車線を抽出できる。識別装置は、その他にも様々な機械学習の方法を用いて道路面標識を抽出し得る。識別装置が道路面標識を抽出する具体的な方法について、以降に、図２を参照して具体的に説明することにする。
【0068】
識別装置は、入力映像に含まれたオブジェクトを意味単位に分割したセグメンテーション（Ｓｅｇｍｅｎｔａｔｉｏｎ）映像及び道路面標識を用いて多重仮想車路を生成する（Ｓ１３０）。識別装置は、入力映像から意味単位で物体を分割し、分割された領域がどのような意味を有するかをピクセル単位で把握し、各クラスごとにラベリング（ｌａｂｅｌｉｎｇ）することにより、セグメンテーション映像を生成し得る。クラスは、例えば、道路、車両、人道、人、動物、空、建物などのような意味単位に応じて２０個程度に分類されてもよい。クラスは、説明された実施形態が記述する思想及び範囲を逸脱することなく、クラスの他の個数及び類型に分類されてもよい。
【0069】
識別装置は、セグメンテーション映像に含まれたピクセル単位のラベルから物体、背景など映像内に構成要素がどこにどのように存在するかを精密に把握できる。また、識別装置は、予め学習された畳み込み神経網、深層神経網、サポートベクトルマシーンなどを用いて、セグメンテーション映像内に含まれた構成要素を分類する。セグメンテーション映像の一例は、図１２に示すセグメンテーション映像１２００の通りである。
【0070】
識別装置は、セグメンテーション映像で走行車路の左右側車路境界線を左右等間隔に拡張することにより多重仮想車路を生成する。識別装置は、例えば、ステップＳ１２０で抽出した走行車路の左右側車路境界線をセグメンテーション映像にフィッティングした後、フィッティングされた左右側車路境界線を平行に等間隔に左右配置して多重仮想車路を生成する。識別装置が多重仮想車路を生成する方法については、以降に、図３を参照して具体的に説明することにする。
【0071】
識別装置は、多重仮想車路における相対的な位置を用いて車両の走行車路を識別する（Ｓ１４０）。識別装置は、多重仮想車路の道路境界から走行車路が何番目の車路に該当するかをカウントし、例えば、該当車両が４車路である多重仮想車路で右側から２番目の車路、すなわち、第３車路を運行中であることを識別し得る。識別装置が車両の走行車路を識別する方法については、以降に、図４を参照して具体的に説明することにする。
【0072】
図２は、一実施形態により入力映像から道路面標識を抽出する方法を示したフローチャートである。
【0073】
図２に示す動作は、実施形態で示された順序及び方式で実行されてもよく、説明された例示的な実施形態の思想及び範囲を逸脱することなく、一部の動作の順序が変更されたり、一部の動作が省略されてもよい。図２に示された多くの動作は並列に又は同時に実行されてもよい。図２に示す１つ又はそれ以上のブロック及びこのブロックの組合せは特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア、及びコンピュータ命令の組合せによって実現され得る。以下、図２の説明に加えて、図１の説明は図２にも適用可能であり、参照により統合されてもよい。したがって、前記説明はここで繰り返されないこともある。
【0074】
図２を参照すれば、一実施形態に係る識別装置は、入力映像から道路面標識に対応するピクセルを抽出する（Ｓ２１０）。識別装置は、抽出されたピクセルをグルーピングして道路面標識のうち道路標識に該当するグループを除去する。
【0075】
より詳しくは、識別装置は、連結要素演算を用いてピクセルをグルーピングする（Ｓ２２０）。連結要素演算は、グラフ理論（ｇｒａｐｈ ｔｈｅｏｒｙ）で用いられる演算として、グラフで少なくとも１つ以上の経路に連結された頂点から構成された従属グラフを連結するために用いられる。識別装置は、連結要素演算によりクセルを同じグループにグルーピングして道路面標識に対応するピクセルを抽出する。
【0076】
識別装置は、ピクセルのグループごとに該当グループが車線（より詳しくは、車路境界線）及び道路標識のいずれかに該当するかを決定する（Ｓ２３０）。識別装置は、例えば、サポートベクトルマシーン、神経網などを用いてピクセルのグループが車線又は道路標識のいずれに該当するかを決定する。識別装置は、例えば、ピクセルのグループが直線を示す場合に車線に該当すると決定し、ピクセルのグループが文字、記号又は矢印などを示す場合に道路標識に該当すると決定する。
【0077】
識別装置は、道路標識に該当するグループを除去する（Ｓ２４０）。識別装置は、道路標識が除去されて残った車線（車路境界線）のみを用いて多重仮想車路を生成する。
【0078】
図３は、一実施形態により多重仮想車路を生成する方法を示したフローチャートである。図３に示す動作は、実施形態で示された順序及び方式で実行されてもよく、説明された例示的な実施形態の思想及び範囲を逸脱することなく、一部の動作の順序が変更されたり、一部の動作が省略されてもよい。図３に示された多くの動作は、並列又は同時に実行されてもよい。図３に示す１つ又はそれ以上のブロック及びこのブロックの組合せは特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア、及びコンピュータ命令の組合せによって実現され得る。以下の図３の説明に加えて、図１及び図２の説明は図３にも適用可能であり、参照により統合されてもよい。したがって、前記説明はここで繰り返されないこともある。
【0079】
【0080】
識別装置は、車路の左右側境界を区分する車路境界線１４１０をセグメンテーション映像にフィッティングして仮想の車線（例えば、図１５に示された仮想車線１５１０）を生成する（Ｓ３２０）。識別装置は、例えば、車路境界線をローカルグラジエント（ｌｏｃａｌ ｇｒａｄｉｅｎｔ）又はローカル閾値（ｌｏｃａｌ ｔｈｒｅｓｈｏｌｄ）基盤により、セグメンテーション映像にフィッティングしてスプライン（ｓｐｌｉｎｅ）やポリライン（ｐｏｌｙｌｉｎｅ）によって仮想車線１５１０を生成する。
【0081】
識別装置は、仮想の車線をセグメンテーション映像に左右等間隔に平行に配置して生成した仮想の車線（例えば、図１６Ｂに示された仮想の車線１６３０）によって区分される多重仮想車路を生成する（Ｓ３３０）。
【0082】
図４は、一実施形態により車両が走行中である走行車路を識別する方法を示したフローチャートである。図４に示す動作は、実施形態で示された順序及び方式で実行されてもよく、説明された例示的な実施形態の思想及び範囲を逸脱することなく、一部の動作の順序が変更されたり、一部の動作が省略されてもよい。図４に示された多くの動作は並列に又は同時に実行されてもよい。図４に示す１つ又はそれ以上のブロック及びこのブロックの組合せは特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア、及びコンピュータ命令の組合せによって実現され得る。以下の図４の説明に加えて、図１ないし図３の説明は図４にも適用可能であり、参照により統合されてもよい。したがって、前記説明はここで繰り返されないこともある。
【0083】
図４を参照すれば、識別装置は、多重仮想車路がセグメンテーション映像で道路成分に該当するか否かに応じて車路の個数を決定する（Ｓ４１０）。識別装置は、多重仮想車路をセグメンテーション映像にマッチングさせ得る。識別装置は、マッチング結果に応じてセグメンテーション映像の該当領域に道路が存在するか、言い換えれば、多重仮想車路がセグメンテーション映像の道路成分（又は道路クラス）に該当するかを判断する。識別装置は、多重仮想車路がセグメンテーション映像の道路成分に該当すると判断されれば、道路成分に該当する車路の個数をカウントして多重仮想車路の車路の個数を決定する。
【0084】
識別装置はステップＳ４１０で決定された多重仮想車路の車路の個数に基づいて、道路における走行車路の相対的な位置を把握することで走行車路を識別する（Ｓ４２０）。識別装置は、多重仮想車路のいずれか一つの側の境界から走行車両がある走行車路が何番目の車路に該当するかをカウントすることで、道路における走行車路の相対的な位置を把握する。識別装置は、国ごとの車両運行法（例えば、日本、英国などは左側通行が原則であり、韓国、米国などは右側通行が原則である）により道路の右側道路境界又は左側道路境界から走行車路が何番目の車路に該当するかをカウントして走行車路（又は走行車両）の相対的な位置を識別する。
【0085】
図５は、他の実施形態に係る走行車路を識別する方法を示したフローチャートである。図５を参照すれば、入力映像を平面視点の映像に変換して走行車路を識別する実施形態が示されている。図５に示す動作は実施形態で示された順序及び方式で実行されてもよく、説明された例示的な実施形態の思想及び範囲を逸脱することなく、一部の動作の順序が変更されたり、一部の動作が省略されてもよい。図５に示された多くの動作は並列に又は同時に実行されてもよい。図５に示す１つ又はそれ以上のブロック及びこのブロックの組合せは特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア、及びコンピュータ命令の組合せによって実現され得る。以下の図５の説明に加えて、図１ないし図４の説明は図５にも適用可能であり、参照により統合されてもよい。したがって、前記説明はここで繰り返されないこともある。
【0086】
入力映像が取得されれば（Ｓ５１０）、識別装置は、シメンティクセグメンテーション方式を用いて入力映像に含まれたオブジェクト（例えば、道路、車線、車両など）に該当する部分を意味単位に分割してピクセルのレベルで検出することでセグメンテーション映像を生成する（Ｓ５２０）。
【0087】
一般的な映像セグメンテーションは、入力映像から領域や特定構造に区分された出力を生じることをいい、区分する基準では映像に存在するエッジやカラー属性などを頻繁に使用する。言い換えれば、ある映像を意味のある属性として区別するだけであって、セグメンテーション方法は属性を決定する必要はない。これとは異なって、シメンティクセグメンテーションは、オブジェクトをピクセル単位まで密度感あるように予測し、映像にどのようなオブジェクトが含まれているかを把握してオブジェクトクラスが含まれたピクセル単位の領域を出力する。
【0088】
一実施形態に係る識別装置は、例えば、様々なステップの畳み込みレイヤ及び全結合レイヤ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）で構成された分類ネットワークを経てセグメンテーション映像を生成する。分類ネットワークを経た入力映像は、原映像の１／３２の大きさに減少するが、ピクセル単位にコンパクトな予測を行うためには、再度オリジナルの映像サイズに復元する過程を実行しなければならない。
【0089】
識別装置は、トレーニングイメージからトレーニング出力を出力するようにトレーニングされた分流器モデル（ｃｌａｓｓｉｆｉｅｒ ｍｏｄｅｌ）を用いて、入力映像を複数の領域に分割する。分流器モデルは、例えば、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）であってもよい。トレーニングイメージは、例えば、カラーイメージであってもよく、トレーニング出力は、トレーニング入力が分割された領域イメージを示してもよい。例えば、トレーニング出力は、トレーニングイメージの各ピクセルに対応する属性（又は、クラス）（例えば、車両、人、オブジェクト、及び背景など）が手動に指定され、指定された属性に基づいて予め分割された領域イメージである。
【0090】
識別装置は、例えば、ＡｌｅｘＮｅｔ、ＶＧＧＮｅｔ、ＧｏｏｇｌｅＮＥＴのように周知の分類ネットワークを用いて入力映像から意味単位に物体を分割し、分割された領域がどのような意味を有するかをピクセル単位で把握して各クラスごとにラベリングすることで、セグメンテーション映像を生成し得る。
【0091】
識別装置は、入力映像及びセグメンテーション映像を平面視点の映像に変換する（Ｓ５３０）。識別装置は、平面視点の入力映像及び平面視点のセグメンテーション映像から遠近成分を除去する。
【0092】
識別装置は、平面視点の入力映像から道路の道路面標識に該当する情報（例えば、走行車路の左右側車線（車路境界線））を抽出し（Ｓ５４０）、道路面標識に該当する情報と平面視点のセグメンテーション映像を用いて多重仮想車路を生成する（Ｓ５５０）。識別装置は、左右側車線を平面視点のセグメンテーション映像にフィッティングして仮想の車線を生成し、仮想の車線を平面視点のセグメンテーション映像に左右等間隔に平行に配置して多重仮想車路を生成する。
【0093】
識別装置は、道路の車路の個数を取得する（Ｓ５６０）。識別装置は、例えば、ＧＰＳ情報、地図情報、又は、ナビゲーション情報などから道路の車路の個数を取得する。ＧＰＳ情報、地図情報、ナビゲーション情報は、識別装置がＧＰＳセンサを介して直接検出したり、主体的に備えた地図データベースから受信してもよい。実施形態により、ＧＰＳ情報、地図情報、ナビゲーション情報は、識別装置の外部にあるセンサ、データベース、その他の電子装置などから提供され得る。前述のように、入力映像は道路全体を撮影したものであってもよく、又は、道路の左右側のうち少なくとも一つの側の道路境界部分のみを撮影したものであってもよい。例えば、撮影装置の画角によって、又は他の車両によって隠されて道路にていずれか一つの側の道路境界部分のみが撮影された場合、識別装置は、走行車路が道路境界部分から何番目の車路であるかのみを把握できるだけである。識別装置は、道路の車路のうち何番目の車路であるか、又は、道路の車路の個数を正確に把握することが難しいこともある。識別装置は、ステップＳ５６０で取得した道路の車路の個数を用いて、以後の走行車路を識別する過程（ステップＳ５７０）で車両が走行中である道路の車路の個数と多重仮想車路の車路の個数とを比較することにより、走行車路の相対的な位置をより正確に把握可能にする。
【0094】
識別装置は、ステップＳ５５０で生成した多重仮想車路とステップＳ５６０で取得した道路の車路の個数を用いて走行車路を識別する（Ｓ５７０）。識別装置は、多重仮想車路がセグメンテーション映像で道路成分に該当するか否かに応じて多重仮想車路の車路の個数を決定する。識別装置は、道路の車路の個数及び多重仮想車路の車路の個数に基づいて、道路における走行車路の相対的な位置を把握することで車路を識別し得る。識別装置が走行車路を識別する具体的な方法については図６を参照して説明する。
【0095】
図６は、一実施形態に係る走行車路を識別する方法を説明するための図である。図６を参照すれば、入力映像６１０と入力映像に対応するセグメンテーション映像６２０、平面視点の入力映像６３０、平面視点のセグメンテーション映像６４０、及び多重仮想車路の映像６５０が示されている。多重仮想車路の映像６５０にて実線として表示された車線は、走行車路の車路境界線に対応する仮想の車線を示し、点線として示された車線は、車路境界線に対応する仮想の車線を左右等間隔に拡張して生成した仮想の車線を示す。
【0096】
識別装置は、平面視点の入力映像６３０で車線に該当するピクセルのグループを用いて走行車路の左右側車路境界線６３５を抽出した後、平面視点のセグメンテーション映像にフィッティングして映像６５０で車路境界線に対応する実線として表示された仮想の車線を生成する。識別装置は、実線として表示された仮想の車線を平行に等間隔に左右配置し、点線として示された仮想の車線を生成する。
【0097】
識別装置は、実線及び点線として示された仮想の車線によって区分される多重仮想車路を生成する。ここで、識別装置は、多重仮想車路がセグメンテーション映像６４０で道路成分に該当するか否かに基づいて、多重仮想車路の車路の個数を決定する。多重仮想車路の映像６５０の上側に「〇」に表示された車路はセグメンテーション映像６４０で道路成分に該当する車路であり、「Ｘ」に表示された車路はセグメンテーション映像６４０で道路成分に該当しない車路に該当する。
【0098】
識別装置は、「〇」に表示された車路をカウントし、多重仮想車路の車路の個数を４個であると決定し、多重仮想車路における走行車路の相対的な位置をカウントして走行車路を識別する。例えば、図６に示すように、４車路である多重仮想車路で走行車路を基準として左側に１つの車路が存在し、走行車路を基準として右側に２個の車路が存在する。この場合、識別装置は、４車路である多重仮想車路の左側境界を基準として車路をカウントして走行車路の相対的な位置が２車路であることを把握する。
【0099】
実施形態により、識別装置は、中央線を区分して車両の走行車路を識別する。識別装置が中央線を分離して車両の走行車路を識別する方法については図７を参照して具体的に説明する。
【0100】
又は、実施形態に応じて、入力映像が一つの側の道路境界部分のみを含む場合、識別装置は、識別装置の外部から取得した道路の車路の個数をともに用いて車両の走行車路を識別する。識別装置が道路の車路の個数をともに用いて走行車路を識別する方法については図８を参照して具体的に説明する。
【0101】
図７は、一実施形態により中央線を認識して走行車路を識別する方法を説明するための図である。図７を参照すれば、往復６車路の道路を示す入力映像７１０）及び入力映像７１０に対応して生成された多重仮想車路７３０が示されている。以下、多重仮想車路７３０で各車路内に表示された矢印は、入力映像７１０に示された車両の走行方向を表示したものとして理解を助けるためのものであり、多重仮想車路７３０に含まれない。
【0102】
識別装置は、入力映像７１０で車線に該当するピクセルのグループのみを用いて走行車路の左右側車路境界線を抽出した後、セグメンテーション映像にフィッティングすることで多重仮想車路７３０を生成する。識別装置が二重実線となっている中央線を区分しなければ、入力映像に含まれた往復６車路道路は走行方向に関わらずセグメンテーション映像で全て同じ道路成分に分類される。例えば、往復６車路道路が全て同じ道路成分に分類される場合、識別装置は走行方向を考慮せずに走行車路と反対となる対向車路、又は全て走行可能な空間として表現した多重仮想車路を生成する。この場合、車両が走行可能な車路は実際に３個の車路であるが、多重仮想車路は６個の車路を有するものとして生成されることがある。
【0103】
一実施形態に係る識別装置は、例えば、入力映像７１０を取得したカメラの撮影方向を基準として二重実線で表示された中央線よりも遠い側に位置する道路を走行車路と反対となる進行方向を有する対向車路クラスに分類する。識別装置は、二重実線として表示された中央線を基準として対向車路クラスに分類された領域をセグメンテーション映像の生成時に区分又は除去することで、多重仮想車路の生成時に対向車路領域が道路成分に含まれないようにすることができる。多重仮想車路７３０で道路成分に該当しない対向車路領域は、「Ｘ」として表示されて多重仮想車路７３０の車路の個数をカウントするときには含まない。
【0104】
図８は、一実施形態により道路の車路の個数を用いて走行車路を識別する方法を説明するための図である。図８Ａを参照すれば、右側道路境界部分が他の車両により隠される場合を示した入力映像８１０、及び入力映像８１０に対応して生成された多重仮想車路８３０が示されている。入力映像８１０のように、いずれか一つの側の道路境界部分が把握されない場合、識別装置は、地図情報又はナビゲーション情報により取得した道路の車路の個数をともに用いて車両の走行車路を識別し得る。
【0105】
識別装置が道路の車路の個数をともに用いて走行車路を識別する方法は次の通りである。
【0106】
例えば、車両が走行中である道路が５車路であり、撮影装置の画角又は周辺を運行中である車両によって５車路の左側道路境界部分から４個の車路のみが撮影されたと仮定する。識別装置は、前述した過程によって４個の車路を含む多重仮想車路８３０を生成する。識別装置は、道路の車路の個数である５個と多重仮想車路８３０の車路個数である４個とを比較して、多重仮想車路８３０が道路の車路の一部を示すことにより把握し得る。識別装置は、多重仮想車路８３０が道路の車路のうちいずれかの部分の車路（例えば、左側道路境界部分からの４個の車路部分）を示すかを把握して車両の走行車路を識別する。ここで、識別装置は、走行車両が５車路の左側道路境界部分から４個の車路を示す多重仮想車路８３０で２番目の車路にあるため、走行車路の相対的な位置が５車路道路の２車路であることを識別する。
【0107】
識別装置は、例えば、入力映像から両側の道路境界部分が認識されるか否かに応じて、地図情報又はナビゲーション情報から道路の車路の個数を取得して走行車路を識別するために用いられる。
【0108】
図８Ｂを参照すれば、入力映像８５０及び入力映像８５０に対応して生成された多重仮想車路８７０が示されている。
【0109】
例えば、入力映像８５０で別途の中央分離帯がないか、又は、識別装置が中央線を区分できないなどの理由により、道路の車路が片道６車路であるか往復６車路であるか明確に区分できないと仮定する。入力映像８５０に含まれた往復６車路道路は、走行方向に関係なくセグメンテーション映像で全て同じ道路成分として分類されてもよい。往復６車路道路が全て同じ道路成分として分類される場合、識別装置は、走行車路と反対となる対向車路領域についても全て含んで６個の車路を含んでいる多重仮想車路８７０を生成する。この場合、車両が走行可能な車路は実際に片道３車路であるにも関わらず、多重仮想車路８７０は６車路を含むものと生成されるため、識別装置は走行車路を充分に識別し難い。
【0110】
例えば、識別装置が地図情報又はナビゲーション情報から車両が走行中である道路の車路の個数（例えば、往復６車路又は片道３車路）を取得した場合、識別装置は、取得した車路の個数と多重仮想車路８７０の車路の個数（例えば、６個の車路）とを比較する。比較の結果、道路の車路の個数（片道３車路）が多重仮想車路の車路の個数である６個と比べて小さいことから、識別装置は、多重仮想車路８７０に誤りがある（例えば、多重仮想車路８７０が走行方向を考慮せず往復車路を全て含む）ことを把握する。
【0111】
この場合、識別装置は、多重仮想車路８７０の個数を１／２にして多重仮想車路８７０の車路の個数に決定し得る。識別装置は、多重仮想車路８７０についても２で割って、割られた多重仮想車路８７０で実線として表示された仮想車線を含む部分を仮想車路として決定する。識別装置は、最終的に決定された多重仮想車路８７０により車両の走行車路を識別することができる。
【0112】
図９は、他の実施形態に係る走行車路を識別する方法を示したフローチャートである。図９を参照すれば、入力映像を平面視点の映像に変換して走行車路を識別する他の実施形態を示している。図９に示す動作は、実施形態で示された順序及び方式により実行されてもよく、説明された例示的な実施形態の思想及び範囲を逸脱することなく、一部の動作の順序が変更されたり、一部の動作が省略されてもよい。図９に示された多くの動作は並列に又は同時に実行されてもよい。図９に示す１つ又はそれ以上のブロック及びこのブロックの組合せは、特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア、及びコンピュータ命令の組合せによって実現され得る。以下の図９の説明に加えて、図１ないし図８Ｂの説明は図９にも適用可能であり、参照により統合されてもよい。したがって、前記説明はここで繰り返されないこともある。
【0113】
識別装置は入力映像を取得（Ｓ９０５）した後、入力映像に含まれたオブジェクトを意味単位に分割したセグメンテーション映像を生成する（Ｓ９１０）。
【0114】
識別装置は、入力映像及びセグメンテーション映像を平面視点の映像に変換し（Ｓ９１５）、平面視点の入力映像及び平面視点のセグメンテーション映像から遠近成分を除去する（Ｓ９２０）。
【0115】
識別装置は、平面視点の入力映像から道路の道路面標識に対応するピクセルを抽出する（Ｓ９２５）。識別装置は、ピクセルをグルーピングして道路標識に該当するグループを除去する（Ｓ９３０）。
【0116】
識別装置は平面視点の入力映像で走行車路の左右側車線を含む領域を関心領域として設定する（Ｓ９３５）。又は、識別装置は、例えば、走行車両を基準として関心領域を設定し、関心領域の左右側車線を抽出する。
【0117】
識別装置は、関心領域で車線に該当するグループを用いて走行車路の左右側車路境界線を抽出する（Ｓ９４０）。
【0118】
識別装置は、左右側車路境界線をセグメンテーション映像にフィッティングして仮想の車線を生成する（Ｓ９４５）。識別装置は、仮想の車線を平行に等間隔に左右側車路境界線の左右に配置して多重仮想車路を生成する（Ｓ９５０）。
【0119】
識別装置は、道路の車路の個数を取得し（Ｓ９５５）、車両が走行中である道路の車路の個数に基づいて決定された多重仮想車路における相対的な位置を用いて車両の走行車路を識別する（Ｓ９６０）。ステップＳ９６０で、識別装置は、道路の車路の個数及び多重仮想車路の車路の個数に基づいて決定された多重仮想車路における走行車路の相対的な位置を用いて車両の走行車路を識別することができる。
【0120】
図１０は、一実施形態に係る走行車路を識別する方法が実行される走行環境の一例を説明するためのフローチャートである。図１０に示す動作は、実施形態で示された順序及び方式により実行されてもよく、説明された例示的な実施形態の思想及び範囲を逸脱することなく、一部の動作の順序が変更されたり、一部の動作が省略されてもよい。図９に示された多くの動作は並列に又は同時に実行されてもよい。図１０に示す１つ又はそれ以上のブロック及びこのブロックの組合せは、特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア、及びコンピュータ命令の組合せによって実現され得る。以下の図１０の説明に加えて、図１ないし図９の説明は図１０にも適用可能であり、参照により統合されてもよい。したがって、前記説明はここで繰り返されないこともある。
【0121】
識別装置は入力映像を受信し、入力映像から走行環境の変化を認知する。走行環境の変化を認知に基づいて、識別装置は前述した走行車路を識別する方法を行う。走行環境の変化は、例えば、走行車両による走行車路の変更、離脱、周辺車両による走行車路の侵犯、車線構成の変化、及び、道路面標識の変化などを含んでもよい。車線構成の変化は、例えば、往復８車路の車路が往復６車路の車路に減少したり、又は、車線がバス専用車線に変更される変化であると理解され得る。識別装置は、走行環境の変化が認知されなければ、初めて識別した車線を以後の時間にも続けて保持することができるが、走行環境の変化が認知されれば、前述した走行車路の識別過程を行う。
【0122】
図１０を参照すれば、識別装置は入力映像を受信し（Ｓ１０１０）、入力映像から走行車路の変更が発生したか否かを判断する（Ｓ１０２０）。ここで、走行車路の変更は、例えば、車線構成の変化を含んでもよい。識別装置は、例えば、地図情報を参照して走行車路が２車路から３車路に変更されるなどのような走行車路の変更が発生したかを判断する。ステップＳ１０２０で、走行車路の変更が発生したと判断されれば、識別装置は走行車路識別を行う（Ｓ１０４０）。
【0123】
ステップＳ１０２０で、走行車路の変更が発生しなければ、識別装置は、車両の車路離脱が検出されるかを判断する（Ｓ１０３０）。識別装置は、例えば、車両の左右車線が一定の距離から離れるか否かに応じて走行車路の車路離脱を検出する。
【0124】
ステップＳ１０３０で、車路離脱が検出されなければ、識別装置は動作を終了する。ステップＳ１０３０で車路離脱が検出されれば、識別装置は走行車路識別を行う（Ｓ１０４０）。
【0125】
図１１は、一実施形態に係る入力映像を示す図である。図１１を参照すれば、一実施形態に係る入力映像１１００は識別装置に含まれたイメージセンサ又は撮影装置を介して撮影された映像である。入力映像は、例えば、道路を走行中である車両前方及び／又は側傍を撮影した映像であってもよい。入力映像は、道路全体又は道路の左右側のうち少なくとも一つの側の道路境界部分を含んでもよい。
【0126】
図１２は、一実施形態に係るセグメンテーション映像を示す図である。図１２を参照すれば、一実施形態に係るセグメンテーション映像１２００が道路、車両、人道、空、街路樹などのようなクラスごとに区分されていることが分かる。識別装置は、各クラスごとの領域に対応するラベルを介してセグメンテーション映像内に構成要素がどこに、どのように存在するかを精密に把握できる。
【0127】
識別装置は入力映像から意味単位に物体を分割し、分割された領域がどのような意味を有するかをピクセル単位で把握し、各クラス（例えば、道路、車両、人道、人、動物、空、建物など）ごとにラベリングすることによりセグメンテーション映像１２００を生成する。
【0128】
実施形態により、識別装置は、道路に表示された車線及び道路標識を含む道路面標識をクラスに分類してもよい。また、識別そのものは、例えば、二重実線として表示された中央線の近くに位置する道路を走行車路クラスに分類し、中央線よりも遠い側に位置する道路を走行車路と反対となる進行方向を有する対向車路クラスに分類してもよい。
【0129】
【0130】
識別装置は、例えば、検出された車線に対して逆遠近変換（Ｉｎｖｅｒｓｅ Ｐｅｒｓｐｅｃｔｉｖｅ Ｍａｐｐｉｎｇ：ＩＰＭ）方式を適用して、入力映像及びセグメンテーション映像を平面視点の映像１３００に変換する。与えられたカメラのキャリブレーション情報（例えば、カメラの装着された高さ、地面に向かう角度、正面に向かう角度、そして、カメラのプロジェクションマトリックス（Ｐｒｏｊｅｃｔｉｏｎ Ｍａｔｒｉｘ））をすでに知っている場合、識別装置は、ホモグラフィマッピング（Ｈｏｍｏｇｒａｐｈｙ Ｍａｐｐｉｎｇ）により平面視点の映像を取得できる。もし、カメラのキャリブレーション情報が予め取得されなければ、識別装置は、与えられた入力映像の２つの平行線上の点を探し、該当点などの間の実際距離とピクセル距離を用いて概略的にキャリブレーション情報を換算する。道路環境において一般的に車線は平行しており、車線間の幅が道路規格に従うことから、識別装置は上記の値（２つの平行線上の点間の実際距離など）を取得できる。
【0131】
識別装置は、消失点として集まる道路映像に逆遠近変換を適用して平面視点の映像１３００に変換することで、車線がさらに均一かつ明瞭に把握することができる。平面視点の映像１３００では車線間の弁別力が高い。
【0132】
逆遠近変換は、遠近効果を有する入力映像から遠近効果を除去して映像平面の位置情報を世界座標系の位置情報に変換させたものである。表示装置は、逆遠近変換を用いて世界座標系で示された車線の位置情報から道路の中心線から車両の原点までの法線距離と車両の方向に定義された道路に対する車両の相対位置を容易に表現することができる。
【0133】
識別装置は、例えば、スライドウィンドウに含まれたバウンディングボックスの中心を基準として逆遠近変換を適用し、平面視点の映像１３００を取得する。ここで、識別装置は、周辺映像は除いて検出された車線についてのみ逆遠近変換を適用することで、全体映像のピクセルを変換することに比べて算出量を大きく減少させ得る。平面視点の映像１３００は、例えば、平面視点のセグメンテーション映像であり得る。
【0134】
図１４は、一実施形態により入力映像から抽出された道路面標識を示す図である。図１４を参照すれば、識別装置は、例えば、予め学習された畳み込み神経網（ＣＮＮ）、深層神経網（ＤＮＮ）、サポートベクトルマシーンなどを用いて平面視点の映像１３００から車線１４１０及び道路標識１４３０を含む道路面標識を抽出する。ここで、畳み込み神経網は、例えば、入力映像で検出しようとする車線及び道路標識のバウンディングボックスと検出しようとする車線及び道路標識の種類がともに判別されるよう学習されたものであり得る。
【0135】
【0136】
識別装置は、例えば、道路標識のバウンディングボックス１５３０を用いて平面視点の映像１３００から道路標識を除去し、図１４にて抽出された車線１４１０のみを用いて走行車路の仮想車線１５１０を生成する。ここで、識別装置は、仮想車線１５１０をスプライン（Ｓｐｌｉｎｅ）やポリライン（Ｐｏｌｙｌｉｎｅ）などによりフィッティングして走行車路を仮想車線１５１０の幾何学的に表現する。
【0137】
図１６は、他の実施形態により多重仮想車路を生成する過程を説明するための図である。図１６Ａを参照すれば、識別装置は、前述した仮想車線１５１０の幾何学を平面視点のセグメンテーション映像１６１０にもってフィッティングし得る。
【0138】
識別装置は、実線として表示された仮想車線１５１０をセグメンテーション映像１６１０で左右等間隔に平行に仮想配置し、図１６Ｂに示すように点線として示された仮想車線１６３０を生成する。識別装置は、仮想車線１５１０、１６３０によって区分される多重仮想車路を仮設し得る。識別装置は、多重仮想車路がセグメンテーション映像１６１０で道路成分に該当するかを判別する。識別装置は判別結果に応じて、多重仮想車路の車路の個数を決定する。
【0139】
識別装置は、多重仮想車路の車路の個数及び／又は道路の車路の個数に基づいて、右側又は左側道路境界から走行車路が何番目の車路に該当するかをカウントすることで車両の走行車路を識別する。
【0140】
【0141】
道路面標識は、例えば、中央線、バス専用車線などの車線を含んでもよい。また、道路面標識は、道端区域線、進路変更制限線、路上障害物表示線、右折禁止、左折禁止、直進禁止、右左折禁止、Ｕターン禁止、駐車禁止、停車禁止、駐停車禁止地帯、横断歩道予告、徐行、安全地帯、横断歩道、ハンプ式横断歩道、自転車横断道、自転車専用道路、進行方向、車路変更、上り坂傾斜面、進行方向案内線などの記号を含んでもよい。
【0142】
その他にも、道路面標識は、直進、右折、左折、直進及び右折、直進及び左折、右左折、Ｕターンなどのような矢印記号、及び「徐行」、「速度制限」、「一時停止」、「子ども保護区域」、「徐行」、「非保護左折」、「譲歩」などのような文字及び進行方面の案内文句などを含んでもよい。
【0143】
図１８は、他の実施形態に係る走行車路を識別する方法を示したフローチャートである。図１８に示す動作は、実施形態で示された順序及び方式により実行されてもよく、説明された例示的な実施形態の思想及び範囲を逸脱することなく、一部の動作の順序が変更されたり、一部の動作が省略されてもよい。図１８に示された多くの動作は並列に又は同時に実行されてもよい。図１８に示す１つ又はそれ以上のブロック及びこのブロックの組合せは、特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア、及びコンピュータ命令の組合せによって実現され得る。以下の図１８の説明に加えて、図１ないし図１７の説明は図１８にも適用可能であり、参照により統合されてもよい。したがって、前記説明はここで繰り返されないこともある。
【0144】
図１８を参照すれば、一実施形態に係る識別装置は、入力映像から走行車路の左右側車路境界線を抽出する（Ｓ１８１０）。入力映像は、車線及び道路標識のうち少なくとも１つの道路面標識を含んでもよい。
【0145】
識別装置は、入力映像に含まれたオブジェクトを意味単位に分割したセグメンテーション映像を生成する（Ｓ１８２０）。又は、識別装置は、入力映像を平面視点の映像に変換し、平面視点の映像から走行車路の左右側車路境界線を抽出してもよい。ここで、識別装置は、入力映像に含まれたオブジェクトを意味単位に分割したセグメンテーション映像を生成し、入力映像及びセグメンテーション映像を平面視点に変換する。識別装置は、平面視点の入力映像及び平面視点のセグメンテーション映像から遠近成分を除去することで入力映像を平面視点の映像に変換する。
【0146】
識別装置は、左右側車路境界線をセグメンテーション映像にフィッティングし、左右等間隔に配置して多重仮想車路を生成する（Ｓ１８３０）。識別装置は、平面視点の入力映像で走行車路の左右側車線を関心領域として設定する。識別装置は、関心領域で車線に該当するピクセルのグループを用いて車路の左右側車路境界線を抽出する。識別装置は、左右側車路境界線を平面視点のセグメンテーション映像にフィッティングして仮想車線を生成する。識別装置は、仮想車線を平行に等間隔に左右配置して多重仮想車路を生成する。
【0147】
識別装置は、多重仮想車路がセグメンテーション映像で道路成分に該当するか否かに基づいて多重仮想車路の車路の個数を決定する（Ｓ１８４０）。識別装置は、多重仮想車路をセグメンテーション映像にマッチングさせ得る。識別装置は、マッチング結果に応じて多重仮想車路がセグメンテーション映像の道路成分に該当するかを判断し、判断結果に基づいて多重仮想車路の車路の個数を決定する。
【0148】
識別装置は、多重仮想車路の車路の個数に基づいて、道路における走行車路の相対的な位置を把握することで走行車路を識別する（Ｓ１８５０）。実施形態により、識別装置は、車両が走行中である道路の車路の個数及び多重仮想車路の車路の個数をともに用いて、道路における走行車路の相対的な位置を把握することで走行車路を識別し得る。識別装置は、例えば、道路の車路の個数及び多重仮想車路の車路の個数に基づいて、道路の道路境界から走行車路が何番目の車路に該当するかをカウントすることで走行車路の相対的な位置を把握する。ここで、道路の車路の個数は、例えば、ナビゲーション情報、道路情報及び／又はユーザの入力などにより取得する。
【0149】
また、識別装置は、走行環境の変化を認知し、認知結果に基づいて図１８を参照して説明した走行車路を識別する方法の各ステップを行う。
【0150】
図１９は、一実施形態に係る走行車路を識別する装置のブロック図である。図１９を参照すれば、一実施形態に係る識別装置１９００は、イメージセンサ１９１０、通信インターフェース１９２０、プロセッサ１９３０、及びメモリ１９４０を含む。実施形態により、識別装置１９００はディスプレイ１９５０をさらに含んでもよい。
【0151】
イメージセンサ１９１０、通信インターフェース１９２０、プロセッサ１９３０、メモリ１９４０、及びディスプレイ１９５０は、通信バス１９０５を介して通信する。
【0152】
イメージセンサ１９１０は入力映像を検出又は撮影する。
【0153】
通信インターフェース１９２０は、車両が走行する道路に対応する地図情報及び／又はナビゲーション情報を受信する。実施形態により、通信インターフェース１９２０は、識別装置１９００の外部で撮影された入力映像を受信してもよい。
【0154】
プロセッサ１９３０は、入力映像から道路面標識を抽出し、入力映像に含まれたオブジェクトを意味単位に分割したセグメンテーション映像及び道路面標識を用いて多重仮想車路を生成する。プロセッサ１９３０は、多重仮想車路の相対的な位置を用いて走行車両が走行中である走行車路を識別する。
【0155】
プロセッサ１９３０は、入力映像から道路面標識に対応するピクセルを抽出する。プロセッサ１９３０は、連結要素演算を用いてピクセルをグルーピングしてピクセルのグループごとに車線及び道路標識のいずれかに該当するかを決定し、道路標識に該当するグループを除去する。
【0156】
プロセッサ１９３０は、車線に該当するグループを用いて走行車路の左右側車路境界線を抽出する。プロセッサ１９３０は、左右側車路境界線をセグメンテーション映像にフィッティングして生成された仮想車線をセグメンテーション映像に左右等間隔に平行配置して多重仮想車路を生成する。
【0157】
プロセッサ１９３０は、多重仮想車路がセグメンテーション映像で道路成分に該当するか否かに応じて車路の個数を決定する。プロセッサ１９３０は、多重仮想車路の車路の個数に基づいて道路における相対的な位置を把握することで走行車路を識別する。プロセッサ１９３０は、多重仮想車路をセグメンテーション映像にマッチングさせ、マッチング結果に応じて多重仮想車路がセグメンテーション映像の道路成分に該当するかを判断する。プロセッサ１９３０は、多重仮想車路が道路成分に該当するかの判断結果に基づいて車路の個数を決定する。
【0158】
実施形態により、プロセッサ１９３０は、道路の車路の個数及び車路の個数に基づいて、道路の道路境界から走行車路が何番目の車路に該当するかをカウントすることで相対的な位置を把握する。ここで、プロセッサ１９３０は、地図情報及びナビゲーション情報を用いて道路の車路の個数を取得する。
【0159】
プロセッサ１９３０は、入力映像に含まれたオブジェクトを意味単位に分割したセグメンテーション映像を生成する。プロセッサ１９３０は、入力映像及びセグメンテーション映像を平面視点の映像に変換し、平面視点の入力映像及び平面視点のセグメンテーション映像から遠近成分を除去する。
【0160】
プロセッサ１９３０は、平面視点の入力映像から道路の道路面標識に対応するピクセルを抽出し、ピクセルをグルーピングして道路標識に該当するグループを除去する。
【0161】
プロセッサ１９３０は、平面視点の入力映像で車路の左右側車線を関心領域として設定する。プロセッサ１９３０は、関心領域で車線に該当するグループを用いて抽出した車路の左右側車路境界線をセグメンテーション映像にフィッティングして仮想車線を生成する。プロセッサ１９３０は、仮想車線を平行に等間隔に左右配置して多重仮想車路を生成する。
【0162】
実施形態により、プロセッサ１９３０は、走行車路を変更するか否かを決定したり予測でき、オーディオ信号を用いてユーザに決定結果を通知するし得る。プロセッサ１９３０は、走行環境の変化を認知して、認知結果に基づいて図１ないし図１８を参照して前述した走行車路を識別する方法を行って車両の走行車路を識別する。走行環境の変化は、例えば、走行車両による走行車路の離脱、周辺車両による走行車路の侵犯、道路面標識の変化のうち少なくとも１つを含んでもよい。
【0163】
例えば、走行車両が走行車路で２つの車路を渡って高速道路の出口（ｗａｙ ｏｕｔ）に進入しなければならない状況において、プロセッサ１９３０は、走行車路を変更しなければならないか否かを予測してユーザに案内したり、又はディスプレイ１９５０を介して表示することで安全な車両運行を可能にする。
【0164】
実施形態により、プロセッサ１９３０は、識別した走行車路と走行環境を考慮して走行車路を変更しなければならない場合、走行車路の変更のための情報（例えば、制御パラメータ）を車両の自律走行のための情報として提供し得る。
【0165】
その他にも、プロセッサ１９３０は、図１ないし図１８を参照して前述した方法又は方法に対応するアルゴリズムを行ってもよい。プロセッサ１９３０は、プログラムを実行し、識別装置１９００を制御する。プロセッサ１９３０によって実行されるプログラムコードはメモリ１９４０に格納されてもよい。
【0166】
メモリ１９４０は、入力映像、セグメンテーション映像、道路の車路の個数、多重仮想車路の相対的な位置、地図情報及び／又はナビゲーション情報を格納する。メモリ１９４０は、プロセッサ１９３０によって平面視点の入力映像及び平面視点のセグメンテーション映像を格納する。
【0167】
メモリ１９４０は、車線及び道路標識を含む道路面標識を認識するよう、予め学習された神経網のパラメータを格納する。プロセッサ１９３０は、メモリ１９４０に格納された神経網のパラメータを適用した神経網を用いて入力映像から道路面標識を検出する。神経網は、例えば、畳み込み神経網であってもよい。畳み込み神経網は、入力映像で検出しようとする車線（あるいは道路標識）のバウンディングボックスと検出しようとする車線（あるいは道路標識）の種類がともに判別されるように学習されたものであり得る。
【0168】
また、メモリ１９４０は、上述のプロセッサ１９３０における処理過程で生成される様々な情報を格納し得る。その他にも、メモリ１９４０は、各種のデータとプログラムなどを格納してもよい。メモリ１９４０は、揮発性メモリ又は不揮発性メモリを含んでもよい。メモリ１９４０は、ハードディスクなどのような大容量格納媒体を備えて各種のデータを格納する。メモリに対する詳しい説明は、以下に記述する。
【0169】
一例として、ディスプレイ１９５０は、ユーザインターフェースをレンダリングし、かつ／あるいは、ユーザ入力を受信する能力を提供する１つ以上のハードウェアコンポーネントを含む物理的構造である。ディスプレイ１９５０は、プロセッサ１９３０によって識別された走行車路を入力映像又はナビゲーション映像に表示する。又は、ディスプレイ１９５０は、プロセッサ１９３０が識別した走行車路により走行車路を変更しなければならないと予測される場合、走行車路を変更する方向を表示する。
【0170】
ディスプレイ１９５０は、ディスプレイ領域、ジェスチャーキャプチャー領域、タッチ検出ディスプレイ及び／又は構成可能な領域の任意の組合せを含み得る。一例として、ディスプレイは、走行車路識別装置１９００に内蔵されてもよい。
【0171】
例えば、ディスプレイ１９５０は、走行車路識別装置１９００に取り外し可能な外部周辺装置であってもよい。ディスプレイ１９５０は、単一スクリーン又は多重スクリーンディスプレイであってもよい。単一物理的な画面には別途の論理ディスプレイで管理される様々なディスプレイが含まれてもよい。同じ物理的画面の一部分であっても別途のディスプレイに他のコンテンツが表示されてもよい。
【0172】
ディスプレイ１９５０は、また、片眼メガネ（ｏｎｅ－ｅｙｅｄ ｇｌａｓｓ）又は両眼メガネを含むＥｙｅ Ｇｌａｓｓ Ｄｉｓｐｌａｙ（ＥＧＤ）として実現される。一例として、ディスプレイ１９５０は、ヘッドアップディスプレイ（ＨＵＤ）又は車両用インフォテインメントシステムであり得る。
【0173】
上述の実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現化される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現化される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【0174】
ソフトウェアは、コンピュータプログラム、コード、命令、又は、このうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
【0175】
本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現化され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【0176】
上述のように、実施形態を限定された図面によって説明したとしても、当該技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組合わされたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【0177】
１９００：識別装置
１９０５：通信バス
１９１０：イメージセンサ
１９２０：通信インターフェース
１９３０：プロセッサ
１９４０：メモリ
１９５０：ディスプレイ
１９０５：通信バス
１９１０：イメージセンサ
１９２０：通信インターフェース
１９３０：プロセッサ
１９４０：メモリ
１９５０：ディスプレイ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図17A】
【図17B】
【図18】
【図19】