特開 2023-70132 車線生成方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023070132

(43)【公開日】2023-05-18

(54)【発明の名称】車線生成方法及び装置

(51)【国際特許分類】

   G06V 10/82 20220101AFI20230511BHJP

   G06T 7/00 20170101ALI20230511BHJP

   G06V 20/58 20220101ALI20230511BHJP

【ＦＩ】

G06V10/82

G06T7/00 650A

G06T7/00 350C

G06V20/58

【審査請求】未請求

【請求項の数】22

【出願形態】ＯＬ

(21)【出願番号】P 2022175987

(22)【出願日】2022-11-02

(31)【優先権主張番号】10-2021-0151184

(32)【優先日】2021-11-05

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0001807

(32)【優先日】2022-01-05

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】金 娜▲よん▼

(72)【発明者】

【氏名】卞 文燮

(72)【発明者】

【氏名】呉 度官

(72)【発明者】

【氏名】池 大▲ひょん▼

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA04

5L096EA26

5L096FA03

5L096FA66

5L096FA67

5L096FA69

5L096HA11

5L096JA11

5L096KA04

5L096KA15

(57)【要約】

【課題】車線情報を生成する方法及び装置を提供する。
【解決手段】一実施形態に係る神経網を用いて車線情報を生成する方法は、入力イメージに基づいて車線確率マップを生成するステップと、車線確率マップを第２神経網に印加することで、車線特徴情報及び深度特徴情報を生成するステップと、深度特徴情報を第３神経網に印加することで、深度分布情報を生成するステップと、車線特徴情報及び深度分布情報に基づいて空間情報を生成するステップと、空間情報を第４神経網に印加することで、車線の位置と基準線との間の変位差を含むオフセット情報を生成するステップと、オフセット情報を用いて３次元車線情報を生成するステップを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

神経網を用いて車線情報を生成する方法であって、
入力イメージに基づいて車線確率マップを生成するステップと、
前記車線確率マップを第２神経網に印加することで、車線特徴情報及び深度特徴情報を生成するステップと、
前記深度特徴情報を第３神経網に印加することで深度分布情報を生成するステップと、
前記車線特徴情報及び前記深度分布情報に基づいて空間情報を生成するステップと、
前記空間情報を第４神経網に印加することで、車線の位置と基準線との間の変位差を含むオフセット情報を生成するステップと、
前記オフセット情報を用いて３次元車線情報を生成するステップと、
を含む、車線情報を生成する方法。

【請求項2】

前記車線確率マップを生成するステップは、
入力イメージのピクセルそれぞれに対応する車線確率値を生成するように学習された第１神経網を用いて前記車線確率マップを生成するステップを含み、
前記車線確率値それぞれは、前記ピクセルのピクセルが車線である確率を含む、請求項１に記載の車線情報を生成する方法。

【請求項3】

前記第２神経網は、車線特徴に関する第１チャネルを用いて車線特徴情報を生成するように学習されるか、又は、深度特徴に関する第２チャネルを用いて深度特徴情報を生成するように学習される、請求項１に記載の車線情報を生成する方法。

【請求項4】

前記深度特徴情報は、基準線に垂直方向の長さである車線の高さ及び撮影装置と車線との間の距離のうち少なくとも１つを含む、請求項１に記載の車線情報を生成する方法。

【請求項5】

前記深度分布情報は、前記入力イメージに含まれた複数のピクセルそれぞれに対応する深度の確率分布を含む、請求項１に記載の車線情報を生成する方法。

【請求項6】

前記空間情報を生成するステップは、前記車線特徴情報及び前記深度分布情報の外積を介して切頭体基盤の第１空間情報を生成するステップを含む、請求項１に記載の車線情報を生成する方法。

【請求項7】

前記空間情報を生成するステップは、
前記車線特徴情報及び前記深度分布情報に基づいて切頭体基盤の第１空間情報を生成するステップと、
前記第１空間情報をボクセルマップ基盤の第２空間情報に変換するステップと、
チャネル次元情報に基づいて前記第２空間情報を第３空間情報に変換するステップと、
前記第３空間情報を前記空間情報として決定するステップと、
を含む、請求項１に記載の車線情報を生成する方法。

【請求項8】

前記第１空間情報は、前記入力イメージの視点に基づいた３次元座標系上の空間情報を含む、請求項７に記載の車線情報を生成する方法。

【請求項9】

前記第２空間情報は、車両の視点に基づいた３次元座標系上の空間情報を含む、請求項７に記載の車線情報を生成する方法。

【請求項10】

前記第２空間情報に変換するステップは、
キャリブレーションパラメータに基づいて前記第１空間情報を前記第２空間情報に変換するステップを含み、
前記キャリブレーションパラメータは、前記入力イメージを撮影するための撮影装置の内部パラメータ及び前記撮影装置の外部パラメータのうち任意の１つ又は任意の組み合わせを含む、請求項８に記載の車線情報を生成する方法。

【請求項11】

前記内部パラメータは、焦点距離、主点、縦横比、中心点及び非対称係数の１つ又は任意の組み合わせを含み、
前記外部パラメータは、前記撮影装置の設置の高さ、前記撮影装置のパン及び前記撮影装置のチルトを含む、請求項１０に記載の車線情報を生成する方法。

【請求項12】

前記オフセット情報は、車両の進行方向と水平方向の第１オフセット及び前記基準線と垂直方向の第２オフセットのうち少なくとも１つを含む、請求項１に記載の車線情報を生成する方法。

【請求項13】

前記空間情報を第４神経網に印加することで基準線が車線である確率値、視認性情報、第１オフセットに対応する第１不確実度及び第２オフセットに対応する第２不確実度のうち少なくとも１つを生成するステップをさらに含む、請求項１に記載の車線情報を生成する方法。

【請求項14】

前記神経網は、第１不確実度及び第２不確実度のうち任意の１つ又は任意の組み合わせに基づいて定義された損失関数に基づいて学習された神経網を含む、請求項１に記載の車線情報を生成する方法。

【請求項15】

前記神経網は、水平方向のオフセットに関する第１不確実度及び垂直方向のオフセットに関する第２不確実度のうち任意の１つ又は任意の組み合わせに基づいて定義された損失関数を用いて学習された神経網を含む、請求項１に記載の車線情報を生成する方法。

【請求項16】

前記神経網は、基準線が車線である確率値に基づいて定義された損失関数を用いて学習された神経網を含む、請求項１に記載の車線情報を生成する方法。

【請求項17】

前記神経網は、視認性情報に基づいて定義された損失関数を用いて学習された神経網を含む、請求項１に記載の車線情報を生成する方法。

【請求項18】

前記第１神経網は、車線がラベリングされたイメージを正解データとして用いて学習された神経網を含む、請求項２に記載の車線情報を生成する方法。

【請求項19】

請求項１ないし１８のうちの何れか１項に記載の方法をコンピュータに実行させるコンピュータプログラム。

【請求項20】

入力イメージに基づいて車線確率マップを生成し、前記車線確率マップを第２神経網に印加することで車線特徴情報及び深度特徴情報を生成し、前記深度特徴情報を第３神経網に印加することで深度分布情報を生成し、前記車線特徴情報及び前記深度分布情報に基づいて空間情報を生成し、前記空間情報を第４神経網に印加することで車線の位置と基準線との間の変位差を含むオフセット情報を生成し、そして、前記オフセット情報を用いて３次元車線情報を生成するプロセッサを含む、電子装置。

【請求項21】

車両は、
入力イメージを撮影するためのセンサと、
非一時的コンピュータで読み出し可能な格納媒体に格納された命令語を実行するように構成されたプロセッサと、
を含み、
前記プロセッサは、前記入力イメージのピクセルそれぞれに対応する車線確率値を生成するように学習された第１神経網に基づいて車線確率マップを生成し、
第２神経網に前記車線確率マップを印加することで車線特徴情報及び深度特徴情報を生成し、
前記深度特徴情報を第３神経網に印加することで深度分布情報を生成し、
前記車線特徴情報及び前記深度分布情報に基づいて空間情報を生成し、
前記空間情報を第４神経網に印加することで、車線の位置と基準線との間の変位差を含むオフセット情報を生成し、
前記オフセット情報を用いて３次元車線情報を生成し、
前記３次元車線情報を車両の車両制御部に出力する、車両。

【請求項22】

前記第２神経網は、前記車線特徴情報を生成するように学習された第１サブ神経網、及び前記深度特徴情報を生成するように学習された第２サブ神経網を含み、
前記第１サブ神経網及び前記第２サブ神経網は、１つ又はそれ以上のレイヤを共有する、請求項２１に記載の車両。

【発明の詳細な説明】

【技術分野】

【0001】

車線情報を生成する方法及び装置に関する。

【背景技術】

【0002】

ディープラーニング基盤のイメージ処理技術が発展するにつれ、自律走行にイメージ処理ディープラーニング技術が適用される傾向がある。ディープラーニング基盤の自律走行技術が発展することで、ディープラーニング技術を利用した車線認識関連の技術に対する関心も高まっている。車線認識技術は、自律走行の基本となる技術であるためである。しかし、次第に多様化する道路環境でディープラーニング技術を用いた高い車線認識性能のためには、道路の地形的な特徴を理解しなければならない。したがって、入力イメージでディープラーニング技術を用いて道路の地形的な特徴を把握する技術に対する研究及び投資は次第に増加しつつある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第2021/0241005号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、車線情報を生成する方法及び装置を提供することにある。

【課題を解決するための手段】

【0005】

一実施形態に係る神経網を用いて車線情報を生成する方法は、入力イメージに基づいて車線確率マップを生成するステップと、前記車線確率マップを第２神経網に印加することで、車線特徴情報及び深度特徴情報を生成するステップと、前記深度特徴情報を第３神経網に印加することで深度分布情報を生成するステップと、前記車線特徴情報及び前記深度分布情報に基づいて空間情報を生成するステップと、前記空間情報を第４神経網に印加することで、車線の位置と基準線との間の変位差を含むオフセット情報を生成するステップと、前記オフセット情報を用いて３次元車線情報を生成するステップとを含む。

【0006】

一実施形態に係る前記車線確率マップを生成するステップは、入力イメージのピクセルそれぞれに対応する車線確率値を生成するように学習された第１神経網を用いて前記車線確率マップを生成するステップを含み、前記車線確率値それぞれは、前記ピクセルのピクセルが車線である確率を含むことができる。

【0007】

一実施形態に係る前記第２神経網は、車線特徴に関する第１チャネルを用いて車線特徴情報を生成するように学習されるか、又は、深度特徴に関する第２チャネルを用いて深度特徴情報を生成するように学習されることができる。

【0008】

一実施形態に係る前記深度特徴情報は、基準線に垂直方向の長さである車線の高さ及び撮影装置と車線との間の距離のうち少なくとも１つを含むことができる。

【0009】

一実施形態に係る前記深度分布情報は、前記入力イメージに含まれた複数のピクセルそれぞれに対応する深度の確率分布を含むことができる。

【0010】

一実施形態に係る前記空間情報を生成するステップは、前記車線特徴情報及び前記深度分布情報の外積を介して切頭体基盤の第１空間情報を生成するステップを含むことができる。

【0011】

一実施形態に係る前記空間情報を生成するステップは、前記車線特徴情報及び前記深度分布情報に基づいて切頭体基盤の第１空間情報を生成するステップと、前記第１空間情報をボクセルマップ基盤の第２空間情報に変換するステップと、チャネル次元情報に基づいて前記第２空間情報を第３空間情報に変換するステップと、前記第３空間情報を前記空間情報として決定するステップとを含むことができる。

【0012】

一実施形態に係る前記第１空間情報は、前記入力イメージの視点に基づいた３次元座標系上の空間情報を含むことができる。

【0013】

一実施形態に係る前記第２空間情報は、車両の視点に基づいた３次元座標系上の空間情報を含むことができる。

【0014】

一実施形態に係る前記第２空間情報に変換するステップは、キャリブレーションパラメータに基づいて前記第１空間情報を前記第２空間情報に変換するステップを含み、前記キャリブレーションパラメータは、前記入力イメージを撮影するための撮影装置の内部パラメータ及び前記撮影装置の外部パラメータのうち任意の１つ又は任意の組み合わせを含むことができる。

【0015】

一実施形態に係る前記内部パラメータは、焦点距離、主点、縦横比、中心点及び非対称係数の１つ又は任意の組み合わせを含み、前記外部パラメータは、前記撮影装置の設置の高さ、前記撮影装置のパン及び前記撮影装置のチルトを含むことができる。

【0016】

一実施形態に係る前記オフセット情報は、車両の進行方向と水平方向の第１オフセット及び前記基準線と垂直方向の第２オフセットのうち少なくとも１つを含むことができる。

【0017】

一実施形態に係る前記空間情報を第４神経網に印加することで基準線が車線である確率値、視認性情報、第１オフセットに対応する第１不確実度及び第２オフセットに対応する第２不確実度のうち少なくとも１つを生成するステップをさらに含むことができる。

【0018】

一実施形態に係る前記神経網は、第１不確実度及び第２不確実度のうち任意の１つ又は任意の組み合わせに基づいて定義された損失関数に基づいて学習された神経網を含むことができる。

【0019】

一実施形態に係る前記神経網は、水平方向のオフセットに関する第１不確実度及び垂直方向のオフセットに関する第２不確実度のうち任意の１つ又は任意の組み合わせに基づいて定義された損失関数を用いて学習された神経網を含むことができる。

【0020】

一実施形態に係る前記神経網は、基準線が車線である確率値に基づいて定義された損失関数を用いて学習された神経網を含むことができる。

【0021】

一実施形態に係る前記神経網は、視認性情報に基づいて定義された損失関数を用いて学習された神経網を含むことができる。

【0022】

一実施形態に係る前記第１神経網は、車線がラベリングされたイメージを正解データとして用いて学習された神経網を含むことができる。

【0023】

他の一実施形態に係る電子装置は、入力イメージに基づいて車線確率マップを生成し、前記車線確率マップを第２神経網に印加することで車線特徴情報及び深度特徴情報を生成し、前記深度特徴情報を第３神経網に印加することで深度分布情報を生成し、前記車線特徴情報及び前記深度分布情報に基づいて空間情報を生成し、前記空間情報を第４神経網に印加することで車線の位置と基準線との間の変位差を含むオフセット情報を生成し、そして、前記オフセット情報を用いて３次元車線情報を生成するプロセッサを含む。

【0024】

他の一実施形態に係る車両は、入力イメージを撮影するためのセンサと、非一時的コンピュータで読み出し可能な格納媒体に格納された命令語を実行するように構成されたプロセッサとを含み、前記プロセッサは、前記入力イメージのピクセルそれぞれに対応する車線確率値を生成するように学習された第１神経網に基づいて車線確率マップを生成し、第２神経網に前記車線確率マップを印加することで車線特徴情報及び深度特徴情報を生成し、前記深度特徴情報を第３神経網に印加することで深度分布情報を生成し、前記車線特徴情報及び前記深度分布情報に基づいて空間情報を生成し、前記空間情報を第４神経網に印加することで、車線の位置と基準線との間の変位差を含むオフセット情報を生成し、前記オフセット情報を用いて３次元車線情報を生成し、前記３次元車線情報を車両の車両制御部（ｖｅｈｉｃｌｅ ｃｏｎｔｒｏｌ ｕｎｉｔ、ＶＣＵ）に出力する。

【0025】

一実施形態に係る前記第２神経網は、前記車線特徴情報を生成するように学習された第１サブ神経網、及び前記深度特徴情報を生成するように学習された第２サブ神経網を含み、前記第１サブ神経網及び前記第２サブ神経網は、１つ又はそれ以上のレイヤを共有することができる。

【発明の効果】

【0026】

本発明によると、車線情報を生成する方法及び装置を提供することができる。

【図面の簡単な説明】

【0027】

【図1】一実施形態に係る車線情報を生成するための神経網を説明するための図である。

【図2】一実施形態に係る空間情報を説明するための図である。

【図3】一実施形態に係る第４神経網の出力データを説明するための図である。

【図4】一実施形態に係る車線情報生成過程を説明するための図である。

【図5】一実施形態に係る神経網の学習方法を説明するための図である。

【図6】一実施形態に係る車線情報を生成するための方法を説明するためのフローチャートである。

【図7】一実施形態に係る電子装置を説明するためのブロック図である。

【図8】一実施形態に係る車両を説明するための図である。

【発明を実施するための形態】

【0028】

実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

【0029】

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。

【0030】

いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。

【0031】

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

【0032】

異なるように定義さがれない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

【0033】

一実施形態に係るプロセッサは、例えば、ソフトウェア（例えば、プログラム）を実行し、プロセッサに接続された電子装置の少なくとも１つの他の構成要素（例えば、ハードウェア又はソフトウェア構成要素）を制御し、様々なデータ処理又は演算を行うことができる。一実施形態によれば、データ処理又は演算の少なくとも一部として、プロセッサは、他の構成要素から受信された命令又はデータを揮発性メモリに格納し、揮発性メモリに格納された命令又はデータを処理し、結果データを不揮発性メモリに格納してもよい。一実施形態によれば、プロセッサは、メインプロセッサ（例えば、中央処理装置又はアプリケーションプロセッサ）又はこれとは独立的又は共に運営可能な補助プロセッサ（例えば、グラフィック処理装置、神経網処理装置（ＮＰＵ：ｎｅｕｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、イメージ信号処理部、センサハブプロセッサ、又は、コミュニケーションプロセッサ）を含んでもよい。例えば、電子装置がメインプロセッサ及び補助プロセッサを含む場合、補助プロセッサは、メインプロセッサよりも低電力を使用してもよいし、指定された機能に特化するように設定されてもよい。補助プロセッサは、メインプロセッサとは別個に、又は、その一部として実現され得る。

【0034】

以下、添付する図面を参照しながら実施形態を詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。

【0035】

図１は、一実施形態に係る車線情報を生成するための神経網を説明するための図である。

【0036】

図１において、入力イメージ１１０、第１神経網１３０、車線確率マップ１４０、第２神経網１５０、車線特徴情報１５１、深度特徴情報１５２、第３神経網１６０、深度分布情報１６１、第１空間情報１７０、キャリブレーションパラメータ１７１、第２空間情報１７２、第３空間情報１８０、第４神経網１９０、及び第４神経網の出力データ１９１，１９２，１９３，１９４，１９５が図示されている。

【0037】

一実施形態に係るプロセッサ７１０（図７で説明される）は、神経網を用いて車線情報を生成することができる。一実施形態に係る神経網は、車線情報を生成するための神経網を含む。一実施形態に係る神経網は、第１神経網１３０、第２神経網１５０、第３神経網１６０及び第４神経網のうち少なくとも１つを含んでもよい。一実施形態に係る神経網は、一部の神経網（又は、レイヤ）を省略してもよいし、他の神経網（又は、レイヤ）をさらに含んでもよい。

【0038】

一実施形態に係るプロセッサ７１０は、入力イメージ１１０に基づいて車線確率マップ１４０を生成する。一実施形態に係るプロセッサ７１０は、入力イメージ１１０に含まれている複数のピクセルそれぞれに対応する車線確率値を生成するよう学習された第１神経網１３０を用いて、車線確率マップ１４０を生成することができる。一実施形態に係る入力イメージ１１０は、神経網に入力されるイメージを含んでもよい。一実施形態に係る入力イメージ１１０は、道路走行状況を撮影したイメージを含んでもよい。例えば、入力イメージ１１０には、複数の車線が含まれてもよい。一実施形態に係る車線確率マップ１４０は、入力イメージに含まれた複数のピクセルそれぞれに対応する車線確率値を含み得る。例えば、プロセッサ７１０は、ピクセルの１つあたり該当ピクセルが車線である確率値を第１神経網１３０を用いて生成することができる。例えば、ピクセル１が車線に該当する確率は９８％であってもよい。この場合、ピクセル１は、車線である可能性が高い。異なる例として、ピクセル２が車線に該当する確率は８％であってもよい。この場合、ピクセル２は車線ではない可能性が高い。一実施形態に係る第１神経網１３０は、イメージセグメンテーション（ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）を行うために学習された神経網を含み得る。一実施形態に係るイメージセグメンテーションは、ピクセル単位でオブジェクトを認識する方法を含むことができる。一実施形態に係る第１神経網１３０は、車線確率マップを生成するよう学習された神経網を含んでもよい。一実施形態に係るプロセッサ７１０は、車線にラベリングされた正解データを用いて第１神経網１３０を学習させる。例えば、第１神経網１３０学習に使用される学習データは、車線が含まれているイメージを入力イメージにし、車線がラベリングされたイメージを正解データにすることができる。一実施形態に係るプロセッサ７１０は、第１神経網のみを別途に学習させてもよい。この場合、第２神経網、第３神経網及び／又は第４神経網のパラメータは、アップデートされなくてもよい。

【0039】

一実施形態に係るプロセッサ７１０は、車線確率マップ１４０を第２神経網１５０に印加することで、車線特徴情報１５１及び深度特徴情報１５２を生成することができる。図１に示されたＣ＋Ｄはチャネル数であり、Ｈはイメージの縦の長さ（例えば、縦方向のピクセル数）、Ｗは、イメージの横の長さ（例えば、横方向のピクセル数）である。一実施形態に係る第２神経網１５０は、車線特徴情報１５１及び深度特徴情報１５２を生成するよう学習された神経網を含む。一実施形態に係る第２神経網１５０は、第２－１サブ神経網及び第２－２サブ神経網を含んでもよい。第２－１サブ神経網は、車線特徴情報１５１を生成するよう学習された神経網を含み、第２－２サブ神経網は、深度特徴情報１５２を生成するように学習された神経網を含む。一実施形態に係る第２－１サブ神経網及び第２－２サブ神経網は、少なくとも一部のレイヤを共有してもよい。他の一実施形態に係る第２神経網１５０は、車線特徴に関する第１チャネルを用いて車線特徴情報を生成するように学習されてもよい。一実施形態に係る第１チャネルは、車線特徴に関するチャネルとして少なくとも１つのチャネルを含んでもよい。例えば、第１チャネルに含まれたチャネル数は、図１Ｃに表現されている。一実施形態に係る第２神経網１５０は、深度特徴に関する第２チャネルを用いて深度特徴情報を生成するように学習され得る。一実施形態に係る第２チャネルは、深度特徴に関する少なくとも１つのチャネルを含むことができる。例えば、第２チャネルに含まれたチャネル数は図１Ｄに表現されている。例えば、第２神経網１５０は、畳み込みレイヤ、バッチ正規化レイヤ（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ Ｌａｙｅｒ）、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）レイヤ、プーリングレイヤ及び／又は１×１畳み込みレイヤを含んでもよい。

【0040】

一実施形態に係る車線特徴情報１５１は、イメージ上で他のオブジェクトとは区分される車線の特徴関連情報を含むことができる。例えば、車線特徴情報１５１は、イメージ上に存在する道路構造物、車両オブジェクト又は背景などと区分される車線の特徴関連情報を含んでもよい。例えば、車線特徴情報１５１は、ベクトル形態に表現されてもよい。一実施形態に係るプロセッサ７１０は、第２神経網１５０で第１チャネルを用いて車線特徴情報１５１を生成することができる。例えば、第１チャネルのチャネル数がＣである場合、車線特徴情報１５１の大きさはＣ×Ｈ×Ｗになる。一実施形態に係るプロセッサ７１０は、第２－１サブ神経網を用いて車線特徴情報１５１を生成してもよい。

【0041】

一実施形態に係る深度特徴情報１５２は、２次元イメージから３次元空間を形成するために、２次元イメージの特定ピクセルの深度に関する特徴情報を含むことができる。例えば、特定ピクセルの深度はｘ、ｙ座標における深度値に表現されてもよい。一実施形態に係る深度特徴情報１５２は、特定ピクセルの深度情報をベクトル形態に表現されてもよい。一実施形態に係るプロセッサ７１０は、第２神経網１５０で第２チャネルを用いて深度特徴情報１５２を生成することができる。第２チャネルのチャネル数がＤである場合、深度特徴情報１５２の大きさは、Ｄ×Ｈ×Ｗになる。異なる例として、プロセッサ７１０は、第２－２サブ神経網を用いて深度特徴情報１５２を生成してもよい。

【0042】

一実施形態に係る深度特徴情報１５２は、基準線を基準に垂直方向の長さである車線の高さ２３０（例、図２における車線の高さ２３０）及び撮影装置と車線との間の距離２５０（例、図２における撮影装置と車線との間の距離２５０）のうち少なくとも１つを含んでもよい。

【0043】

一実施形態に係る車線の高さ２３０は、３次元空間で基準線が含まれている基準面を基準として決定された車線の高さを意味する。図２に示すように、ｘｙ平面が基準面である場合、車線のｚ値が車線の高さになる。一実施形態に係る実際の道路環境において道路は高低が存在する。例えば、道路は、登り坂の道もあり、下り坂の道もある。したがって、３次元空間で道路の高さを正確に予測することが、道路状況の把握において極めて重要である。

【0044】

一実施形態に係る撮影装置と車線との間の距離２５０は、図２において撮影装置と車線との間のユークリッド距離を含むことができる。一実施形態に係る撮影装置と車線との間の距離２５０は、それぞれの座標を用いて算出され得る。

【0045】

一実施形態に係るプロセッサ７１０は、深度特徴情報１５２を第３神経網１６０に印加することで深度分布情報１６１を生成することができる。

【0046】

一実施形態に係る第３神経網１６０は、深度分布情報１６１を生成するように学習された神経網を含むことができる。一実施形態に係る第３神経網１６０は、ピクセル単位の深度分布情報１６１を生成するように学習された神経網を含んでもよい。一実施形態に係る第３神経網１６０は、正規化レイヤ（例えば、ｓｏｆｔｍａｘ ｌａｙｅｒ）を含む。そのため、プロセッサ７１０は、第３神経網１６０を用いて該当ピクセルが特定の深度値に対応する確率値が０と１との間の値に表現される。一実施形態に係る第３神経網１６０は、１×１畳み込みレイヤを含んでもよい。したがって、第３神経網１６０の入力データの大きさと出力データの大きさは同一であってもよい。一実施形態に係る深度分布情報１６１の大きさは、入力データである深度特徴情報１５２の大きさ（例えば、Ｄ×Ｈ×Ｗ）と同一であってもよい。

【0047】

一実施形態に係る深度分布情報１６１は、入力イメージに含まれた複数のピクセルそれぞれに対応する深度の確率分布を含む。一実施形態に係る深度分布情報１６１は、特定ピクセルに対応する深度の確率分布を含み得る。一実施形態に係る深度の確率分布は、特定ピクセルが特定の深度を有する確率を示す確率分布を含むことができる。例えば、深度の確率分布は、連続確率分布及び／又は離散確率分布を含んでもよい。深度分布情報が離散確率分布である場合、深度分布情報は、深度区間を複数に割って各深度区間に対応する確率値を含むことができる。例えば、１つのピクセルの深度が０から１の間である確率１０％、１から２の間の確率２０％、２から３の間の確率４０％、３から４の間の確率２０％、４から５の間の確率１０％という分布を含んでもよい。

【0048】

一実施形態に係るプロセッサ７１０は、車線特徴情報１５１及び深度分布情報１６１に基づいて空間情報を生成することができる。一実施形態に係る空間情報は、２次元入力イメージを３次元空間に表現するための情報を含むことができる。例えば、空間情報は、３次元座標系、３次元座標系における座標、基準点、基準線などを含んでもよい。

【0049】

一実施形態に係るプロセッサ７１０は、車線特徴情報１５１及び深度分布情報１６１に基づいて、切頭体基盤の第１空間情報１７０を生成することができる。一実施形態に係るプロセッサ７１０は、車線特徴情報１５１及び深度分布情報１６１の外積を介して切頭体基盤の第１空間情報１７０を生成してもよい。

【0050】

一実施形態に係る切頭体（ｆｒｕｓｔｕｍ）は、ビュー角度（ｖｉｅｗ ａｎｇｌｅ）と近接平面（ｎｅａｒ ｐｌａｎｅ）、遠隔平面（ｆａｒ ｐｌａｎｅ）などのパラメータを用いて定義され、各パラメータ値は予め設定されてもよい。例えば、ビュー角度は、仮想カメラの視点から見た角度を意味する。一実施形態に係る近接平面と遠隔平面は、第１軸（例えば、ｘｙｚ座標系においてｚ軸）を基準にして、仮想カメラの視点から所定の位置にそれぞれ存在するｘｙ平面であってもよい。一実施形態に係るプロセッサ７１０は、近接平面と遠隔平面を介してレンダリングするオブジェクトを含む空間を決定することができる。一実施形態に係るｚ軸は、仮想カメラの視点方向、即ち、仮想カメラの眺めている方向を意味する。ここで、近接平面と遠隔平面との間の空間に含まれているオブジェクトはレンダリングされ、近接平面と遠隔平面との間の空間に含まれていないオブジェクトは取り外される。

【0051】

一実施形態に係る第１空間情報１７０は、入力イメージ１１０の視点に基づいた座標系上の空間情報を含むことができる。例えば、入力イメージ１１０は、特定の視点で撮影されたイメージであってもよい。例えば、同じ被写体（車線、車両など）でも撮影装置の位置が被写体よりも上方にあるか下方にあるなど、被写体との関係で撮影装置の位置が変わると、その視点が変わり得る。一実施形態に係る第１空間情報１７０は、車線特徴情報１５１及び深度分布情報１６１の外積を介して生成された切頭体基盤の空間情報を含むことができる。したがって、入力イメージ１１０に含まれた平面座標は、車線特徴情報１５１及び深度分布情報１６１の外積を介して切頭体として定義された空間における座標に表現される。一実施形態に係る第１空間情報１７０は、切頭体として定義された空間における座標を含んでもよい。例えば、第１チャネルに含まれたチャネル数がＣであり、第２チャネルに含まれたチャネル数がＤである場合、外積を介してＣ×Ｄマトリックスが生成される。イメージの横の長さ（例えば、横ピクセル数）がＷであり、縦の長さ（例えば、縦ピクセル数）がＨである場合、第１空間情報１７０の大きさはＣ×Ｄ×Ｗ×Ｈになる。

【0052】

一実施形態に係る外積（ｏｕｔｅｒ ｐｒｏｄｕｃｔ）は、ベクトルのテンソル積を意味する。例えば、列ベクトルに表現される２つのベクトルを外積すれば、マトリックスが生成され得る。例えば、大きさがＣである列ベクトルと大きさがＤである列ベクトルを外積すれば、Ｃ×Ｄの大きさのマトリックスが生成される。

【0053】

一実施形態に係るプロセッサ７１０は、第１空間情報１７０をボクセルマップ基盤の第２空間情報１７２に変換することができる。一実施形態に係るボクセルマップは、複数のボクセルを含む。一実施形態に係るボクセル（Ｖｏｘｅｌ）は、２次元的なピクセルを３次元の形態に実現したものを意味する。一実施形態に係るＶｏｘｅｌは、Ｖｏｌｕｍｅ＋Ｐｉｘｅｌの合成語として、「体積を有するピクセル」を意味する。

【0054】

一実施形態に係る第２空間情報１７２は、車両の視点に基づいた３次元座標系上の空間情報を含むことができる。一実施形態に係る第２空間情報１７２は、ボクセルマップ基盤で車両の視点に基づいた空間情報を含んでもよい。例えば、車両の視点に基づいた３次元座標系は、車両の走行方向を一軸に決定してもよい。

【0055】

一実施形態に係る第１空間情報１７０の空間座標系と第２空間情報１７２の空間座標系は異なってもよい。一実施形態に係る第１空間情報１７０の視点と第２空間情報１７２の視点とが異なるため、それぞれの空間座標系は異なってもよい。例えば、入力イメージを撮影した撮影装置の位置は、第１空間情報１７０で空間座標系の原点になる。しかし、第２空間情報１７２において、空間座標系の原点は、第１空間情報１７０における撮影装置の位置ではない場合もある。例えば、車両の後車両軸が原点であってもよく、車両の前面部が原点であってもよい。更なる例として、第１空間情報と第２空間情報の空間座標系が異なるため、地面（例えば、ｘｙ平面）が異なる。したがって、第１空間情報１７０の視点を第２空間情報１７２の視点に変換させる必要がある。したがって、プロセッサ７１０は、キャリブレーションパラメータ１７１に基づいて第１空間情報１７０を第２空間情報１７２に変換することができる。そのため、プロセッサ７１０は、様々な角度での空間座標系を生成して３次元車線情報を生成することができる。

【0056】

一実施形態に係るキャリブレーションは、一座標系を他の座標系に変換するための方法を含む。一実施形態に係るキャリブレーションパラメータ１７１は、キャリブレーションのために必要なパラメータを含んでもよく、マトリックス形態に表現されてもよい。一実施形態に係るキャリブレーションパラメータは、撮影装置内部パラメータ及び／又は撮影装置外部パラメータを含む。一実施形態に係る撮影装置内部パラメータは、焦点距離、主点、非対称係数などを含んでもよい。一実施形態に係る撮影装置外部パラメータは、２つの座標系間の回転（ｒｏｔａｔｅ）パラメータ及び／又は平行移動（ｔｒａｎｓｌａｔｉｏｎ）パラメータを含む。一実施形態に係る撮影装置外部パラメータは、カメラ設置の高さ、方向（パン、チルト）など、カメラと外部空間との幾何学的関係に関するパラメータを含む。一実施形態に係る撮影装置内部パラメータは、カメラの焦点距離、アスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）、中心点など、カメラ自体の内部的なパラメータを意味する。

【0057】

一実施形態に係るプロセッサ７１０は、第１空間情報１７０をボクセルマップ基盤の第２空間情報１７２に変換できる。例えば、第１空間情報１７０に含まれた座標はｐ^ｆ＝（ｕ，ｖ，ｄ）^Ｔに表現されてもよい。第１空間情報１７０に含まれた座標は、サンプリングされてもよい。そして、第２空間情報１７２に含まれた座標は、サンプリングされた座標としてｐ^ｖ＝（ｘ，ｙ，ｚ）^Ｔに表現されてもよい。サンプリングされたｐ^ｖは、各ボクセルの中心点である。プロセッサ７１０は、キャリブレーションパラメータを用いてサンプリングされたｐ^ｖを第１空間情報１７０でサンプリングされたｐ^ｆに変換する。プロセッサ７１０は、サンプリングされたｐ^ｆでｚ軸に該当するｄ値を関数ｆを介して取得できる。例えば、ｄ＝ｆ（ｐ^ｖ）であってもよい。ｄは深度であり、関数ｆ＝（ｒ_３１，ｒ_３２，ｒ_３３，ｔ_３）・（ｘ，ｙ，ｚ，１）であってもよい。一実施形態に係るｒ_３１、ｒ_３２、ｒ_３３は、回転パラメータ

【0058】

【数1】

において３行に該当する因子であってもよい。一実施形態に係るｔ_３は、平行移動
パラメータ

【0059】

【数2】

において３行に該当する因子であってもよい。プロセッサ７１０は、ｄを深度区間に対応するｄ_ｉに変換する。一実施形態に係る第２空間情報１７２に含まれた座標であるｐ^ｖ＝（ｘ，ｙ，ｚ）^Ｔは、ｄ_ｉ値を用いて決定された

【0060】

【数3】

に基づいてトライリニア補間法（Ｔｒｉｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いて決定され得る。そのため、プロセッサ７１０は、第１空間情報１７０を第２空間情報１７２に変換することができる。

【0061】

一実施形態に係る第２空間情報１７２の大きさは、ｘ軸方向の大きさであるＸ、ｙ軸方向の大きさであるＹ、ｚ軸の大きさであるＺ、及びチャネル数Ｃに基づいてＣ×Ｚ×Ｙ×Ｘに決定される。第２空間情報１７２の大きさは、第１空間情報１７０と同一であってもよく異なってもよい。第２空間情報１７２は、第１空間情報１７０に含まれた座標をサンプリングした後、補間法を介して決定された座標を含んでいるため、空間情報の大きさは変わり得る。一実施形態に係る図１に示されたＣはチャネルの数である。一実施形態に係るチャネルの数は、第１チャネル及び第２チャネルのうち少なくとも１つに基づいて決定される。

【0062】

一実施形態に係るプロセッサ７１０は、チャネル次元情報に基づいて第２空間情報１７２を第３空間情報１８０に変換することができる。一実施形態に係る第３空間情報１８０は、チャネル次元情報に基づいて第２空間情報で垂直方向（例えば、図２においてｚ軸）にボクセルマップのボクセル大きさを変形した空間情報を含むことができる。一実施形態に係るプロセッサ７１０は、チャネル次元情報を垂直方向にチャネル接続（ｃｈａｎｎｅｌ ｃｏｎｃａｔｅｎａｔｅ）することで、第２空間情報１７２に含まれたボクセルを変形させ得る。そのため、プロセッサ７１０は、より正確な車線の高さが含まれた第３空間情報１８０を取得することができる。第２空間情報１７２及び第３空間情報１８０におけるＣは、チャネルの数である。チャネルの数は、第１チャネル及び第２チャネルのうち少なくとも１つに基づいて決定される。一実施形態に係るチャネル次元情報は、第１チャネルに含まれたチャネル数を含んでもよい。他の一実施形態に係るチャネル次元情報は、第１チャネルに含まれたチャネル数及び第２チャネルに含まれたチャネル数を含んでもよい。更なる一実施形態に係るチャネル次元情報は、第２チャネルに含まれたチャネル数を含んでもよい。一実施形態に係る（Ｃ＊Ｚ）において、＊は接続又は連結（ｃｏｎｃａｔｅｎａｔｅ）を表現した演算子であり得る。

【0063】

一実施形態に係るプロセッサ７１０は、空間情報を第４神経網１９０に印加することで、車線の位置と基準線との間の変位差を含むオフセット情報を生成することができる。一実施形態に係るプロセッサ７１０は、第３空間情報１８０を第４神経網１９０に印加することでオフセット情報を生成する。一実施形態に係る第４神経網１９０は、３次元車線情報を生成するために必要な情報を生成するよう学習された神経網を含む。一実施形態に係る第４神経網１９０は、オフセット情報、基準線が車線である確率値、視認性情報及び不確実度のうち少なくとも１つを生成するように学習された神経網を含む。

【0064】

一実施形態に係るオフセット情報は、基準線から車線がどれほど離れているかに関する情報を含む。一実施形態に係るオフセット情報は、車線の位置と基準線との間の変位差を含む。一実施形態に係るオフセット情報は、車両の進行方向にある基準線と水平である方向の第１オフセット及び基準線と垂直にある方向の第２オフセットのうち少なくとも１つを含む。３次元空間において基準線は、車両の進行方向であってもよい。３次元空間において、ｙ軸（ｌｏｎｇｉｔｕｄｉｎａｌ ａｘｉｓ）が車両の進行方向である場合、基準線はｙ軸と平行する。３次元空間において基準線がｙ軸と平行である場合、車両の進行方向と水平方向は、ｘ軸（ｌａｔｅｒａｌ ａｘｉｓ）であってもよい。また、車両の進行方向と垂直方向は、ｚ軸（ｖｅｒｔｉｃａｌ ａｘｉｓ）であってもよい。したがって、第１オフセットは、ｘ軸（ｌａｔｅｒａｌ ａｘｉｓ）方向の変位差を含む。図１において、第１オフセットはｘ１９１に表示される。そして、第２オフセットは、ｚ軸（ｖｅｒｔｉｃａｌ ａｘｉｓ）方向の変位差を含む。図１において、第２オフセットはｚ１９２に表示される。

【0065】

一実施形態に係るプロセッサ７１０は、オフセット情報を用いて３次元車線情報を生成することができる。３次元車線情報は、３次元空間における車線情報を含む。例えば、３次元空間がユークリッド座標系に表現される場合、車線はｘ、ｙ、ｚ座標の集合に表現されることができる。そのため、車線の高さ情報も把握でき、プロセッサ７１０は、より正確な道路状況を認識することができる。一実施形態に係るプロセッサ７１０は、図３に示すように車両の進行方向と平行な複数の基準線を基準にして、オフセット情報を適用して３次元空間における車線情報を生成することができる。例えば、基準線Ｘ_ｉは、車両の進行方向と同一であってもよい。基準線Ｘ_ｉを基準にして第１オフセットはｘ_ij３３１である。基準面であるｘｙ平面から車線の高さを意味する第２オフセットはｚ_ij３３２である。したがって、実際の車線は、基準線Ｘ_ｉから水平方向にｘ_ij３３１だけ、垂直方向にｘｙ平面からｚ_ij３３２だけ離れた箇所に配置される。

【0066】

一実施形態に係るプロセッサ７１０は、第３空間情報１８０を第４神経網１９０に印加することで、基準線が車線である確率値、視認性情報１９３、第１オフセットに対応する第１不確実度１９４、及び第２オフセットに対応する第２不確実度１９５のうち少なくとも１つを生成してもよい。

【0067】

一実施形態に係る基準線が車線である確率値は、基準線が車線に該当する確率値を含む。図２に示すように、ｘｙ平面に基準線は複数存在する。そして、それぞれの基準線が車線である確率が存在する。例えば、基準線が車線である確率値が９８％である場合、該当の基準線は車線である可能性が高い。更なる例で、基準線が車線である確率値が５％である場合、該当基準線は、車線である可能性が極めて低い。

【0068】

一実施形態に係る視認性情報１９３は、対象物の存在又は形状が遠距離であっても識別が容易な程度に関連する情報を含んでもよい。一実施形態に係る視認性情報１９３は、原点から車線が見える確率を含む。一実施形態に係る視認性情報１９３は、車両から車線が見える確率を含む。

【0069】

一実施形態に係る不確実度（Ｕｎｃｅｒｔａｉｎｔｙ）は、神経網出力データの不確実度を含む。例えば、不確実度は、神経網の出力データがどれほど確実な情報であるかに対する尺度を含む。一実施形態に係る不確実度は、オフセット情報の分散及び／又は標準偏差に基づいて決定され得る。

【0070】

一実施形態に係る第１不確実度１９４は、第１オフセットに対応する不確実度を含む。一実施形態に係る第１不確実度１９４は、水平方向のオフセットに関する不確実度を含む。例えば、第１不確実度１９４が大きいほど、第１オフセットだけ離れた位置に車線が存在することが不確であることを意味する。

【0071】

一実施形態に係る第２不確実度１９５は、第２オフセットに対応する不確実度を含む。一実施形態に係る第２不確実度１９５は、垂直方向のオフセットに関する不確実度を含む。例えば、第２不確実度１９５が大きいほど、第２オフセットだけ離れた位置に車線が存在することが不確であることを意味する。

【0072】

一実施形態に係る損失関数は、比較対象データと神経網の出力データとの差に基づいて決定される。比較対象データは、ラベリングされた正解データ及び／又はラベリングされないデータであってもよい。一実施形態に係るプロセッサは、損失関数を低減する方向に神経網のパラメータをアップデートすることができる。

【0073】

一実施形態に係る神経網は、第１不確実度及び第２不確実度のうち少なくとも１つに基づいて定義された損失関数に基づいて学習された神経網を含む。一実施形態に係る神経網は、第１損失関数に基づいて学習された神経網を含んでもよい。一実施形態に係る第１損失関数は、第１不確実度及び第２不確実度のうち少なくとも１つに基づいて定義される。一実施形態に係るプロセッサ７１０は、第１損失関数に基づいて神経網のパラメータをアップデートする。一実施形態に係るプロセッサ７１０は、不確実度が小さい場合、神経網のパラメータを大幅にアップデートし得る。更なる例として、プロセッサ７１０は、不確実度が大きい場合、神経網のパラメータを小さい幅にアップデートし得る。

【0074】

一実施形態に係る第１損失関数は、数式（１）のように表現される。

【0075】

【数4】

一実施形態に係るｉは、ｉ番目の基準線を示す。図３において、ｙ_ｊはｙ軸を予め決定された基準として分割して生じた複数の線のうちｊ番目の線を意味する。したがって、ｘ_ijは、ｉ番目の基準線とｊ番目の線の交差点から水平方向の変位差を意味する第１オフセットであってもよい。ｚ_ijは、ｉ番目の基準線とｊ番目の線の交差点から第１オフセットだけ移動した後、垂直方向の変位差を意味する第２オフセットであってもよい。ｘ^{^} _ij及びｚ^{^} _ijは正解データを意味する。σ_ijは第１不確実度、ｓ_ijは第２不確実度を意味する。ＬａｐＬ１は、数式（２）のように定義される。

【0076】

【数5】

一実施形態に係る数式（２）は、ラプラス（Ｌａｐｌａｃｅ）損失関数を意味する。数式（２）において、ｘ^{^}は正解データであってもよい。ｘ及びσは、神経網の出力データであるオフセットとオフセットに対応する不確実度を意味する。

【0077】

一実施形態に係る神経網は、基準線が車線である確率値に基づいて定義された損失関数を用いて学習された神経網を含むことができる。一実施形態に係る神経網は、第２損失関数に基づいて学習される。一実施形態に係る第２損失関数は、基準線が車線である確率値に基づいて定義される。第２損失関数は、基準線が車線であるか否かの２進分類に基づいて定義される。一実施形態に係る第２損失関数は、クロスエントロピーに表現される。一実施形態に係る第２損失関数は、実際の基準線が車線である確率と、神経網を介して予測した基準線が車線である確率の差が小さいほど小さい値を有し、その差が大きいほど大きい値を有する。一実施形態に係るプロセッサ７１０は、第２損失関数の大きさが小さくなるように神経網のパラメータをアップデートすることができる。第２損失関数は、数式（３）のように表現される。

【0078】

【数6】

一実施形態に係るｐ_iはｉ番目の基準線が車線である確率値を意味し、神経網の出力データであってもよい。一実施形態に係るｐ^{^} _iは、ｉ番目の基準線が実際の車線である確率値を意味し、正解データになり得る。

【0079】

一実施形態に係る神経網は、視認性情報に基づいて定義された損失関数を用いて学習された神経網を含むことができる。一実施形態に係る神経網は、第３損失関数に基づいて学習された神経網を含む。一実施形態に係る第３損失関数は、視認性情報に基づいて定義される。一実施形態に係る第３損失関数は、車線が見えるか否かである２進分類に基づいて決定されてもよい。一実施形態に係る第３損失関数は、クロスエントロピーに表現される。一実施形態に係る第３損失関数は、実際の車線が見える確率と、神経網を介して予測した車線が見える確率との差が小さいほど小さい値を有し、差が大きいほど大きい値を有する。一実施形態に係るプロセッサ７１０は、第３損失関数の大きさが小さくなるよう神経網のパラメータをアップデートすることができる。第３損失関数は、数式（４）のように表現される。

【0080】

【数7】

一実施形態に係るｊは、図３におけるｙ軸を予め決定された基準として分割して生じた複数の線を意味する。一実施形態に係るｖ_ijは、ｉ番目の基準線とｊ番目の線の交差点に対応する視認性情報を意味する。一実施形態に係るｖ_ijは、神経網の出力データである視認性情報を含む。一実施形態に係るｖ^{^} _ijは、正解データである視認性情報を含む。

【0081】

一実施形態に係る損失関数は、第１損失関数、第２損失関数、及び第３損失関数のうち少なくとも１つに基づいて決定され得る。一実施形態に係る損失関数は、数式（５）のように表現される。

【0082】

【数8】

一実施形態に係るλ_reg、λ_cls、λ_visは、それぞれ第１損失関数、第２損失関数、第３損失関数に対応する係数である。一実施形態に係るＬ_regは第１損失関数、Ｌ_clsは第２損失関数、Ｌ_visは第３損失関数を意味する
一実施形態に係る車線情報生成方法によって車線認識を行う場合、プロセッサ７１０が道路の深度情報を使用するために様々な道路の形態を容易に把握することができる。また、ボクセルマップの表現を介して様々な道路形態において車線を正確に認識することができる。

【0083】

図２は、一実施形態に係る空間情報を説明するための図である。

【0084】

図２では、撮影装置２１０、車線２１１、車線の高さ２３０、深度分布情報（１）２３１、車線特徴情報１５１、第１空間情報（１）２６０、撮影装置と車線との間の距離２５０、深度分布情報（２）２５１、及び第１空間情報（２）２７０が図示されている。

【0085】

一実施形態に係る深度特徴情報１５２は、基準線を基準にして垂直方向の長さである車線の高さ２３０及び撮影装置と車線との間の距離２５０を含む。

【0086】

一実施形態に係る車線の高さ２３０は、３次元空間で基準線の含まれている基準面を基準にして決定された車線の高さを意味する。図２に示すように、ｘｙ平面が基準面である場合、車線のｚ値が車線の高さになる。例えば、車線２１１の座標は（ｕ、ｖ）に表示され、座標（ｕ、ｖ）はｘｙ平面の座標であってもよい。一実施形態に係る基準線には複数の点が存在する。例えば、基準線がｙ軸と平行である場合、基準線には（ｕ、ｖ_１）、（ｕ、ｖ_２）、（ｕ、ｖ_３）、（ｕ、ｖ_４）、（ｕ、ｖ_５）、（ｕ、ｖ_６）、（ｕ、ｖ_７）、（ｕ、ｖ_８）といった８個の点が存在する。そして、各点に対応して深度情報が存在する。例えば、８個の点に対応する車線の高さが存在してもよい。一実施形態に係る各点に対応する車線の高さは、確率分布に表示される。例えば、深度分布情報（１）２３１は、座標（ｕ、ｖ）に対応する車線の高さの確率分布を含む。したがって、深度分布情報（１）２３１は、座標（ｕ、ｖ）での車線の高さ２３０それぞれに対する確率値を要素として有するベクトルを含むことができる。

【0087】

一実施形態に係るプロセッサ７１０は、車線特徴情報１５１と深度分布情報（１）２３１を外積して第１空間情報（１）２６０を生成することができる。例えば、プロセッサ７１０が座標（ｕ、ｖ）に対応する車線特徴情報１５１と深度分布情報（１）２３１を外積する場合、第１空間情報（１）２６０において色塗りされた部分が生成し得る。

【0088】

一実施形態に係る撮影装置と車線との間の距離２５０は、図２で撮影装置と車線との間のユークリッド距離を含む。一実施形態に係る撮影装置と車線との間距離２５０は、それぞれの座標を用いて算出されることができる。例えば、プロセッサ７１０は、撮影装置２１０の座標と車線２１１の座標を用いて撮影装置２１０と車線２１１との間の距離を算出してもよい。

【0089】

一実施形態に係る深度特徴情報は、撮影装置と車線との間の距離２５０を含む。例えば、車線２１１に対応する撮影装置と車線との間の距離２５０は、深度分布情報（２）２５１に表示される。深度分布情報は、撮影装置２１０と車線との間のそれぞれの距離に対する確率分布を含む。したがって、深度分布情報（２）２５１は、座標（ｕ、ｖ）における撮影装置２１０と車線の間の距離２５０それぞれに対する確率値を要素として有するベクトルを含むことができる。

【0090】

一実施形態に係るプロセッサ７１０は、車線特徴情報１５１と深度分布情報（２）２５１を外積して第１空間情報（２）２７０を生成することができる。例えば、プロセッサ７１０が座標（ｕ、ｖ）に対応する車線特徴情報１５１と深度分布情報（２）２５１を外積する場合、第１空間情報（２）２７０で色塗りされた部分が生成し得る。

【0091】

一実施形態に係る深度分布情報は、車線の高さ２３０に対応する深度分布情報（１）２３１及び撮影装置と車線との間の距離２５０に対応する深度分布情報（２）２５１に基づいて決定された情報を含むことができる。したがって、一実施形態に係る第１空間情報は、第１空間情報（１）２６０及び第１空間情報（２）２７０のうち少なくとも１つを含んでもよい。

【0092】

図３は、一実施形態に係る第４神経網の出力データを説明するための図である。

【0093】

図３において、車両の進行方向であるｙ軸、ｙ軸の水平方向であるｘ軸、ｙ軸の垂直方向であるｚ軸、基準線３１０、ｉ番目の基準線Ｘ_ｉ３４０、ｘ軸と平行なｊ番目の線３２０、第１オフセット３３１、第２オフセット３３２、視認性情報３３３、第１不確実度３３４、及び第２不確実度３３５が図示されている。

【0094】

一実施形態に係るプロセッサ７１０は、空間情報を第４神経網１９０に印加することで、車線の位置と基準線との間の変位差を含むオフセット情報を生成することができる。一実施形態に係るプロセッサ７１０は、第３空間情報１８０を第４神経網１９０に印加することで、オフセット情報を生成することができる。

【0095】

一実施形態に係る第４神経網１９０は、３次元車線情報を生成するために必要な情報を生成するよう学習された神経網を含む。一実施形態に係る第４神経網１９０は、オフセット情報３３１，３３２、基準線が車線である確率値、視認性情報３３３、及び不確実度３３４，３３５のうち少なくとも１つを生成するように学習された神経網を含んでもよい。

【0096】

一実施形態に係るオフセット情報は、基準線から車線がどれほど離れているかに関する情報を含む。一実施形態に係るオフセット情報は、車線の位置と基準線との間の変位差を含んでもよい。一実施形態に係るオフセット情報は、車両の進行方向（例えば、図３においてｙ軸方向）の基準線と、水平方向（例えば、図３において、ｘ軸方向）の第１オフセット及び基準線と垂直方向（例えば、図３において、ｚ軸方向）の第２オフセットのうち少なくとも１つを含んでもよい。３次元空間で基準線は、車両の進行方向であってもよい。３次元空間において、ｙ軸（ｌｏｎｇｉｔｕｄｉｎａｌ ａｘｉｓ）が車両の進行方向である場合、基準線はｙ軸と平行する。３次元空間において、基準線がｙ軸と平行する場合、車両の進行方向と水平方向はｘ軸（ｌａｔｅｒａｌ ａｘｉｓ）であってもよい。また、車両の進行方向と垂直方向はｚ軸（ｖｅｒｔｉｃａｌ ａｘｉｓ）であってもよい。したがって、第１オフセットは、ｘ軸（ｌａｔｅｒａｌ ａｘｉｓ）方向の変位差を含むことができる。図３において、第１オフセットは、ｘ_ｉｊ３３１に表示され、第２オフセットは、ｚ_ｉｊ３３２に表示される。

【0097】

一実施形態に係るプロセッサ７１０は、オフセット情報を用いて３次元車線情報を生成することができる。３次元車線情報は、３次元空間における車線情報を含むことができる。例えば、３次元空間がユークリッド座標系に表現される場合、車線は、（ｘ、ｙ、ｚ）座標の集合に表現される。そのため、車線の高さ情報も把握でき、プロセッサ７１０は、より正確な道路状況を認識することができる。一実施形態に係るプロセッサ７１０は、図３に示すように車両の進行方向（ｙ軸）と平行な複数の基準線（Ｘ_１、Ｘ_２、Ｘ_３、…Ｘ_ｎ）を基準にしてオフセット情報を適用し、３次元空間における車線情報を生成することができる。例えば、Ｘ_ｉはｉ番目の基準線であってもよい。ｙ_ｊは、ｙ軸を予め決定された基準にして分割して生じた複数の線のうちｊ番目の線を意味する。ｙ軸は、予め決定された基準に基づいて任意に分割されてもよい。例えば、ｙ軸は、１０個に分割されてもよい。したがって、ｘ_ij３３１は、ｉ番目の基準線とｊ番目の線の交差点から水平方向変位差を意味する第１オフセットである。基準線Ｘ_ｉを基準にして、第１オフセットはｘ_ij３３１である。基準面であるｘｙ平面から車線の高さを意味する第２オフセットはz_ij３３２である。したがって、実際の車線は、基準線Ｘ_ｉから水平方向にｘ_ij３３１だけ、垂直方向にｚ_ij３３２だけ離れた箇所に配置されてもよい。

【0098】

一実施形態に係る視認性情報３３３は、対象物の存在又は形状が遠距離であっても識別の容易な程度に関する情報を含み得る。一実施形態に係る視認性情報３３３は、原点から車線が見える確率を含む。一実施形態に係る視認性情報３３３は、車両から車線が見える確率を含む。図３において、視認性情報３３３はｖ_ijに表示されてもよい。

【0099】

一実施形態に係る第１不確実度３３４は、第１オフセットに対応する不確実度を含んでもよい。第１不確実度３３４は、図３において、σ_ijに表現されてもよい。一実施形態に係るσ_ijは、ｉ番目の基準線とｊ番目の線の交差点に対応する第１オフセットの不確実度を意味する。一実施形態に係る第１不確実度３３４は、水平方向のオフセットに関する不確実度を含む。例えば、第１不確実度３３４が大きいほど、第１オフセットだけ離れた位置に車線が存在することが不確であることを意味する。

【0100】

一実施形態に係る第２不確実度３３５は、第２オフセットに対応する不確実度を含む。第２不確実度３３５は、ｓ_ijに表現されてもよい。一実施形態に係るｓ_ijは、ｉ番目の基準線とｊ番目の線の交差点に対応する第２オフセットの不確実度を意味する。一実施形態に係る第２不確実度３３５は、垂直方向のオフセットに関する不確実度を含む。例えば、第２不確実度３３５が大きいほど、第２オフセットだけ離れた位置に車線が存在することが不確であることを意味する。

【0101】

図４は、一実施形態に係る車線情報生成過程を説明するための図である。

【0102】

図４において、入力イメージ１１０、車線確率マップ１４０、第２神経網１５０、第３神経網１６０、３次元空間マッピング４１０、３次元車線情報４３０及び３次元車線４５０が図示されている。

【0103】

一実施形態に係るプロセッサ７１０は、入力イメージ１１０を第１神経網に印加することで、車線確率マップ１４０を生成することができる。

【0104】

一実施形態に係るプロセッサ７１０は、車線確率マップ１４０を第２神経網１５０に印加することで、車線特徴情報及び深度特徴情報を生成することができる。

【0105】

一実施形態に係るプロセッサ７１０は、深度特徴情報を第３神経網１６０に印加することで、深度分布情報を取得することができる。

【0106】

一実施形態に係るプロセッサ７１０は、車線特徴情報及び深度分布情報に基づいて空間情報を生成することができる。

【0107】

一実施形態に係るプロセッサ７１０は、生成された空間情報を他の３次元空間にマッピング４１０する。一実施形態に係るプロセッサ７１０は、生成された空間情報を互いに異なる視点から見た３次元空間にマッピング４１０することができる。

【0108】

一実施形態に係るプロセッサは、生成された空間情報を３次元空間にマッピング４１０するために、下記の動作を行う。

【0109】

一実施形態に係るプロセッサ７１０は、車線特徴情報及び深度分布情報に基づいて切頭体基盤の第１空間情報を生成する。一実施形態に係るプロセッサ７１０は、第１空間情報をボクセルマップ基盤の第２空間情報に変換する。一実施形態に係るプロセッサ７１０は、チャネル次元情報に基づいて第２空間情報を第３空間情報に変換する。

【0110】

一実施形態に係るプロセッサ７１０は、第３空間情報を用いて３次元車線情報４３０を生成することができる。

【0111】

一実施形態に係るプロセッサ７１０は、３次元車線情報４３０に基づいて３次元車線４５０をディスプレイに出力することができる。

【0112】

図５は、一実施形態に係る神経網の学習方法を説明するための図である。

【0113】

図５において、入力イメージ１１０、車線確率マップ１４０、第２神経網１５０、第３神経網１６０、３次元空間マッピング４１０、３次元車線情報４３０、３次元車線４５０、深度分布情報５１０及びライダー基盤正解データ５３０が図示されている。

【0114】

一実施形態に係る神経網は、教師なし学習及び／又は教師あり学習に行われる。一実施形態に係る教師なし学習は、ラベリングされないデータを正解データにして神経網を学習させる方法を含む。例えば、神経網は、車線の含まれているイメージを学習データにして学習されることができる。一実施形態に係る教師あり学習は、ラベリングされたデータを正解データにして神経網を学習させる方法を含む。例えば、ラベリングされたデータは、イメージで車線をラベリングしたデータを含んでもよい。

【0115】

一実施形態に係るプロセッサ７１０は、神経網を教師あり学習を行うことができる。一実施形態に係るプロセッサ７１０は、ラベリングされたデータを正解データにする学習データを用いて神経網を学習させることができる。一実施形態に係るラベリングされたデータは、シミュレーションを介して取得してもよい。例えば、プロセッサ７１０は、車両の道路走行シミュレーションにおいて、車線をラベリングしたデータを学習データにすることができる。

【0116】

図５では、ライダー基盤正解データ５３０を活用した神経網の学習方法が説明される。一実施形態に係るラベリングされたデータは、ライダー基盤正解データ５３０を含む。ライダー基盤正解データ５３０は、ライダー（ＬＩＤＡＲ）センサを介して取得したデータに基づいて生成されたデータを含む。一実施形態に係るプロセッサ７１０は、ライダーセンサを介して深度情報を取得することができる。一実施形態に係るプロセッサ７１０は、ライダーセンサを介して取得した深度情報に基づいて、各ピクセルに対応する深度確率分布を取得してもよい。一実施形態に係るプロセッサ７１０は、ライダーセンサを介して取得した深度情報（又は、深度情報に基づいた確率分布）を正解データにすることができる。したがって、第３神経網１６０の出力データである深度分布情報５１０とライダー基盤正解データ５３０との比較により、その差を低減するように神経網のパラメータをアップデートすることができる。更なる例として、第２神経網１５０の出力である深度特徴データとライダー基盤正解データ５３０とを比較し、その差を低減するように神経網のパラメータをアップデートすることができる。

【0117】

図６は、一実施形態に係る車線情報を生成するための方法を説明するためのフローチャートである。

【0118】

一実施形態に係る電子装置７００は、入力イメージに基づいて車線確率マップを生成する（Ｓ６１０）。

【0119】

一実施形態に係る電子装置７００は、入力イメージに含まれた複数のピクセルそれぞれに対応する車線確率値を生成するよう学習された第１神経網を用いて車線確率マップを生成し得る。

【0120】

一実施形態に係る電子装置７００は、車線確率マップを第２神経網に印加することで、車線特徴情報及び深度特徴情報を生成する（Ｓ６２０）。

【0121】

実施形態に係る電子装置７００は、深度特徴情報を第３神経網に印加することで深度分布情報を生成する（Ｓ６３０）。

【0122】

一実施形態に係る電子装置７００は、車線特徴情報及び深度分布情報に基づいて空間情報を生成する（Ｓ６４０）。

【0123】

一実施形態に係る電子装置７００は、車線特徴情報及び深度分布情報の外積を介して切頭体基盤の第１空間情報を生成する。

【0124】

一実施形態に係る電子装置７００は、車線特徴情報及び深度分布情報に基づいて切頭体基盤の第１空間情報を生成する。

【0125】

一実施形態に係る電子装置７００は、第１空間情報をボクセルマップ基盤の第２空間情報に変換する。

【0126】

一実施形態に係る電子装置７００は、チャネル次元情報に基づいて第２空間情報を第３空間情報に変換する。

【0127】

一実施形態に係る電子装置７００は、第３空間情報を空間情報として決定する。

【0128】

一実施形態に係る電子装置７００は、空間情報を第４神経網に印加することで、車線の位置と基準線との間の変位差を含むオフセット情報を生成する（Ｓ６５０）。

【0129】

一実施形態に係る電子装置７００は、オフセット情報を用いて３次元車線情報を生成することができる。

【0130】

一実施形態に係る電子装置７００は、空間情報を第４神経網に印加することで、基準線が車線である確率値、視認性情報、第１オフセットに対応する第１不確実度、及び第２オフセットに対応する第２不確実度のうち少なくとも１つを生成することができる。

【0131】

図７は、一実施形態に係る電子装置を説明するためのブロック図である。

【0132】

図７を参照すると、一実施形態に係る電子装置７００は、メモリ７２０、プロセッサ７１０、及び通信インターフェース７３０を含む。メモリ７２０、プロセッサ７１０、及び通信インターフェース７３０は、通信バス７４０を介して接続される。

【0133】

メモリ７２０は、上述したプロセッサ７１０の処理過程で生成される様々な情報を格納する。その他にも、メモリ７２０は、各種のデータとプログラムなどを格納する。メモリ７２０は、揮発性メモリ又は不揮発性メモリを含む。メモリ７２０は、ハードディスクなどのような大容量格納媒体を備えて各種のデータを格納することができる。

【0134】

プロセッサ７１０は、目的とする動作（ｄｅｓｉｒｅｄ ｏｐｅｒａｔｉｏｎｓ）を実行させるための物理的な構造を有する回路を有するハードウェアで具現された装置であってもよい。例えば、目的とする動作は、プログラムに含まれたコード（ｃｏｄｅ）又は命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含む。例えば、ハードウェアで具現された分類装置は、マイクロプロセッサー（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；ＣＰＵ）、グラフィック処理装置（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；ＧＰＵ）、プロセッサコア（ｐｒｏｃｅｓｓｏｒ ｃｏｒｅ）、マルチ－コアプロセッサ（ｍｕｌｔｉ－ｃｏｒｅ ｐｒｏｃｅｓｓｏｒ）、マルチプロセッサ（ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含む。

【0135】

プロセッサ７１０は、プログラムを実行して電子装置を制御することができる。プロセッサ７１０によって実行されるプログラムコードは、メモリ７２０に格納されてもよい。

【0136】

神経網は、入力データに対する応答として内部パラメータによって算出された値を出力する。神経網の少なくとも一部は、ソフトウェアで具現されたり、ニューラルプロセッサ（ｎｅｕｒａｌ ｐｒｏｃｅｓｓｏｒ）を含むハードウェアで具現されたり、又は、ソフトウェア及びハードウェアの組み合せで具現されてもよい。神経網は、完全接続ネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋ）、ディープコンボリューショナルネットワーク（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）及びリカレントニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などを含むディープニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＤＮＮ）に該当する。ＤＮＮは、複数のレイヤを含む。複数のレイヤは入力層（ｉｎｐｕｔ ｌａｙｅｒ）、１つ以上の隠れ層（ｈｉｄｄｅｎ ｌａｙｅｒ）、及び出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）を含む。神経網はディープラーニングに基づいて非線形関係にある入力データ及び出力データを互いにマッピングすることによって与えられた動作を行うようにトレーニングされ得る。ディープラーニングは、ビッグデータセットから与えられた問題を解決するための機械学習方式である。ディープラーニングは、準備されたトレーニングデータを用いてニューラルネットワークを学習させ、エネルギーが最小化される地点を訪ねて行くニューラルネットワークの最適化過程である。

【0137】

図８は、一実施形態に係る車両を説明するための図である。

【0138】

図８を参照すれば、車両８００は、神経網基盤の車線生成装置８１０を含む。神経網基盤の車線生成装置８１０は、メモリ、プロセッサ及び通信インターフェース（図示せず）を含む。制限されていない例として、このような神経網基盤の車線生成装置８１０のメモリ、プロセッサ、及び通信インターフェースは、図７に示すメモリ７２０、プロセッサ７１０、及び通信インターフェース７３０に対応する。したがって、上述の説明はここで繰り返さない。車両８００は、例えば、電気車両、スマート車両、又は自動運転車両であってもよい。

【0139】

例示によれば、神経網基盤の車線生成装置８１０は、図１～図７を参照して以上で説明したように、３次元車線情報を生成することができる。３次元車線生成情報は、車両８００のディスプレイを介して出力されてもよいし、車両８００の電子制御部（ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ、ＥＣＵ）又は車両制御部（ｖｅｈｉｃｌｅ ｃｏｎｔｒｏｌ ｕｎｉｔ、ＶＣＵ）に送信されてもよい。例えば、車両８００のＥＣＵ又はＶＣＵは、３次元車線生成情報を自律走行、半自律走行又は車両８００の車線ガイド／保持に適用し得る。例えば、車両８００のＥＣＵ又はＶＣＵは、車両８００のディスプレイを介して３次元車線生成情報を出力することができる。

【0140】

図１～図７を参照して提供された説明は、図８を参照して提供された説明に適用可能であり、したがって、追加的な説明はここで繰り返さない。

【0141】

以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

【0142】

ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成されたり、独立的又は結合的に処理装置を命令されたりすることができる。ソフトウェア及び／又はデータは、処理装置によって解釈されてもよいし、処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されて実行されてもよい。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。

【0143】

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。

【0144】

上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

【0145】

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

【0146】

したがって、他の具現、他の実施形態および特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】