(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-25
(45)【発行日】2024-02-02
(54)【発明の名称】ライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法、装置およびコンピュータプログラム
(51)【国際特許分類】
G06V 10/82 20220101AFI20240126BHJP
G06T 7/00 20170101ALI20240126BHJP
【FI】
G06V10/82
G06T7/00 350C
(21)【出願番号】P 2022140888
(22)【出願日】2022-09-05
【審査請求日】2022-09-05
(31)【優先権主張番号】10-2021-0118205
(32)【優先日】2021-09-06
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】521284440
【氏名又は名称】ライドフラックス インク
(74)【代理人】
【識別番号】100083138
【氏名又は名称】相田 伸二
(74)【代理人】
【識別番号】100189625
【氏名又は名称】鄭 元基
(74)【代理人】
【識別番号】100196139
【氏名又は名称】相田 京子
(74)【代理人】
【識別番号】100199004
【氏名又は名称】服部 洋
(72)【発明者】
【氏名】ホン ハオク
(72)【発明者】
【氏名】キム ヘコン
(72)【発明者】
【氏名】パク ジョンヘ
【審査官】大塚 俊範
(56)【参考文献】
【文献】特開2017-203766(JP,A)
【文献】米国特許出願公開第2020/0150235(US,A1)
【文献】TU, Jiayin、他2名,PP-RCNN: Point-Pillars Feature Set Abstraction for 3D Real-time Object Detection,International Joint Conference on Neural Networks (IJCNN),IEEE,2021年07月18日,pp.1-8,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9534098
【文献】LI, Jiong、他4名,A Fast Obstacle Detection Method by Fusion of Double-Layer Region Growing Algorithm and Grid-SECOND Detector,IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), IEEE Access,IEEE,2019年12月28日,pp.32053-32063,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9309211
(58)【調査した分野】(Int.Cl.,DB名)
G06V 10/82
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
コンピューティング装置によって遂行される方法において、
所定の地域に対する3次元ポイントクラウド形態のライダーセンサデータを収集する段階;
予め定義された一つ以上の指標を基準として前記収集されたライダーセンサデータを加工して一つ以上の第1特徴マップを生成する段階;および
前記生成された一つ以上の第1特徴マップと距離および角度を基準として予め生成された第2特徴マップそれぞれを個別的なチャネルとして結合して人工知能モデルの入力特徴マップを生成する段階を含む、ライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法。
【請求項2】
前記一つ以上の第1特徴マップを生成する段階は、
XY平面を基準として前記収集されたライダーセンサデータを格子化して複数の格子柱(pillar)を生成する段階;
前記生成された複数の格子柱それぞれに対して前記予め定義された一つ以上の指標を算出する段階;および
前記算出された一つ以上の指標を前記収集されたライダーセンサデータに対応するマトリックス上に入力して前記一つ以上の第1特徴マップを生成する段階を含む、請求項1に記載のライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法。
【請求項3】
前記予め定義された一つ以上の指標は、
ライダーセンサポイントの数、最大高さ、最小高さおよび平均高さを含み、
前記算出された一つ以上の指標を前記収集されたライダーセンサデータに対応するマトリックス上に入力して前記一つ以上の第1特徴マップを生成する段階は、
前記ライダーセンサポイントの数、前記最大高さ、前記最小高さおよび前記平均高さそれぞれに対応する第1特徴
マップを、独立的なチャネルとして生成する段階を含む、請求項2に記載のライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法。
【請求項4】
XY平面基準で予め設定された客体探知領域を格子化して所定の大きさを有する複数の格子を生成する段階;
前記生成された複数の格子と基準点の間の距離に基づいて、距離に関する第2特徴マップを生成する段階;および
前記生成された複数の格子と前記基準点の間の角度に基づいて、角度に関する第2特徴マップを生成する段階をさらに含む、請求項1に記載のライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法。
【請求項5】
前記距離に関する第2特徴マップを生成する段階は、
前記生成された複数の格子それぞれの中心点座標と前記
基準点の座標間の距離値を算出する段階;
予め設定された最大距離値を利用して前記算出された距離値を標準化する段階;および
前記予め設定された客体探知領域に対応するマトリックス上に前記標準化された距離値を入力して前記距離に関する第2特徴マップを生成する段階を含む、請求項4に記載のライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法。
【請求項6】
前記距離に関する第2特徴マップを生成する段階は、
前記生成された複数の格子それぞれの中心点座標と前記
基準点の座標間の距離値を算出する段階;
事前に定義されたログ関数を利用して前記算出された距離値を変換する段階;および
前記予め設定された客体探知領域に対応するマトリックス上に前記変換された距離値を入力して前記距離に関する第2特徴マップを生成する段階を含む、請求項4に記載のライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法。
【請求項7】
前記角度に関する第2特徴マップを生成する段階は、
前記生成された複数の格子それぞれの中心点と前記基準点を連結する線とX軸またはY軸の間の角度値を算出する段階;
オイラー角度変換を利用して前記算出された角度値を変換する段階;および
前記変換された角度値を前記予め設定された客体探知領域に対応するマトリックス上に入力して前記角度に関する第2特徴マップを生成する段階を含む、請求項4に記載のライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法。
【請求項8】
前記角度に関する第2特徴マップを生成する段階は、
前記生成された複数の格子それぞれの中心点と前記基準点を連結する線とX軸またはY軸の間の角度値を算出する段階;
前記算出された角度値に対する三角比を算出する段階;および
前記予め設定された客体探知領域に対応するマトリックス上に前記算出された三角比を入力して前記角度に関する二つの第2特徴マップを生成する段階を含む、請求項4に記載のライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法。
【請求項9】
プロセッサ;
ネットワークインターフェース;
メモリ;および
前記メモリにロード(load)され、前記プロセッサによって実行されるコンピュータプログラム
を含み、
前記コンピュータプログラムは、
所定の地域に対する3次元ポイントクラウド形態のライダーセンサデータを収集するインストラクション(instruction);
予め定義された一つ以上の指標を基準として前記収集されたライダーセンサデータを加工して一つ以上の第1特徴マップを生成するインストラクション;および
前記生成された一つ以上の第1特徴マップと距離および角度を基準として予め生成された第2特徴マップそれぞれを個別的なチャネルとして結合して人工知能モデルの入力特徴マップを生成するインストラクションを含む、ライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成装置。
【請求項10】
コンピューティング
装置に、
所定の地域に対する3次元ポイントクラウド形態のライダーセンサデータを収集する段階;
予め定義された一つ以上の指標を基準として前記収集されたライダーセンサデータを加工して一つ以上の第1特徴マップを生成する段階;および
前記生成された一つ以上の第1特徴マップと距離および角度を基準として予め生成された第2特徴マップそれぞれを個別的なチャネルとして結合して人工知能モデルの入力特徴マップを生成する段階を実行させる
ためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の多様な実施例はライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法、装置およびコンピュータプログラムに関する。
【背景技術】
【0002】
車両を運転する使用者の便宜のために、各種センサと電子装置など(例:車両運転者補助システム(ADAS:Advanced Driver Assistance System)が具備されている傾向であり、特に、運転者の介入なしに周辺環境を認識し、認識された周辺環境に応じて自ら与えられた目的地まで自動で走行する車両の自律走行システム(Autonomous driving System)に対する技術開発が活発になされている。
ここで、自律走行車両は運転者の介入なしに周辺環境を認識し、認識された周辺環境に応じて自ら与えられた目的地まで自動で走行する自律走行システム機能を搭載した車両をいう。
運転者に介入なしに自律走行車両の走行動作を制御するためには、自律走行車両の周辺環境を認識して客体(例:障害物)を認識する動作が必須的に先行されなければならず、事故防止および安全のために客体をより正確に認識することが必要であるところ、各種センサデータを通じて自律走行車両周辺に位置する客体を探知する技術に対する開発が活発になされている。
従来には、自律走行車両内に備えられるセンサ(例:ライダーセンサ)を利用して自律走行車両周辺を感知したセンサデータを学習データにして人工知能モデルを学習させ、学習された人工知能モデルを利用してリアルタイムで収集されるライダーセンサデータを分析することによって、自律走行車両周辺の客体(例:障害物)を探知しこれを回避して走行するように制御した。
【0003】
しかし、従来の方式の場合、3次元ポイントクラウド形態のライダーセンサデータ(例:(x、y、z)ポイントの集合)を人工知能モデルの学習データとして活用するか、学習された人工知能モデルの入力データとして活用するために、人工知能モデルの入力データとして適合なテンソル(Tensor)の形態に変換する過程が必須であるが、3次元または2次元畳み込み(convolution)のための入力特徴マップを生成する過程で演算量が多いため、客体を探知する過程で長時間が必要とされるという問題がある。
また、より正確な結果値導出のために入力特徴マップのチャネル数を増加させる場合、人工知能モデルの学習および推論動作に対する非効率性が増加するという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、自律走行車両周辺の予め設定された客体探知領域に対する距離および角度を事前演算(Pre-computed)して生成および保存された距離および角度に関する特徴マップとリアルタイムで収集される3次元ポイントクラウド形態のライダーセンサを利用して生成された特徴マップをチャネル結合してライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成すなわち、事前演算を通じて予め生成された特徴マップを利用してよりはやく入力特徴マップを生成することによって、人工知能モデルのはやい学習および推論演算が可能なだけでなく、正確な結果値の導出が可能な入力特徴マップを生成できるライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法、装置およびコンピュータプログラムを提供することである。
本発明が解決しようとする課題は、以上で言及された課題に制限されず、言及されていないさらに他の課題は下記の記載から通常の技術者に明確に理解され得るであろう。
【課題を解決するための手段】
【0005】
前述した課題を解決するための本発明の一実施例に係るライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法は、コンピューティング装置によって遂行される方法において、所定の地域に対する3次元ポイントクラウド形態のライダーセンサデータを収集する段階、予め定義された一つ以上の指標を基準として前記収集されたライダーセンサデータを加工して一つ以上の第1特徴マップを生成する段階および前記生成された一つ以上の第1特徴マップと距離および角度を基準として予め生成された第2特徴マップそれぞれを個別的なチャネルとして結合して人工知能モデルの入力特徴マップを生成する段階を含むことができる。
多様な実施例において、前記一つ以上の第1特徴マップを生成する段階は、XY平面を基準として前記収集されたライダーセンサデータを格子化して複数の格子柱(pillar)を生成する段階、前記生成された複数の格子柱それぞれに対して前記予め定義された一つ以上の指標を算出する段階;および前記算出された一つ以上の指標を前記収集されたライダーセンサデータに対応するマトリックス上に入力して前記一つ以上の第1特徴マップを生成する段階を含むことができる。
【0006】
多様な実施例において、前記予め定義された一つ以上の指標は、ライダーセンサポイントの数、最大高さ、最小高さおよび平均高さを含み、前記一つ以上の第1特徴マップを生成する段階は、前記ライダーセンサポイントの数、前記最大高さ、前記最小高さおよび前記平均高さそれぞれに対応する第1特徴マップを独立的なチャネルとして生成する段階を含むことができる。
多様な実施例において、XY平面基準で予め設定された客体探知領域を格子化して所定の大きさを有する複数の格子を生成する段階、前記生成された複数の格子と基準点の間の距離に基づいて、距離に関する第2特徴マップを生成する段階および前記生成された複数の格子と前記基準点の間の角度に基づいて、角度に関する第2特徴マップを生成する段階をさらに含むことができる。
多様な実施例において、前記距離に関する第2特徴マップを生成する段階は、前記生成された複数の格子それぞれの中心点座標と前記基準点座標間の距離値を算出する段階、予め設定された最大距離値を利用して前記算出された距離値を標準化する段階および前記予め設定された客体探知領域に対応するマトリックス上に前記標準化された距離値を入力して前記距離に関する第2特徴マップを生成する段階を含むことができる。
多様な実施例において、前記距離に関する第2特徴マップを生成する段階は、前記生成された複数の格子それぞれの中心点座標と前記基準点座標間の距離値を算出する段階、事前に定義されたログ関数を利用して前記算出された距離値を変換する段階および前記予め設定された客体探知領域に対応するマトリックス上に前記変換された距離値を入力して前記距離に関する第2特徴マップを生成する段階を含むことができる。
【0007】
多様な実施例において、前記角度に関する第2特徴マップを生成する段階は、前記生成された複数の格子それぞれの中心点と前記基準点を連結する線とX軸またはY軸の間の角度値を算出する段階、オイラー角度変換を利用して前記算出された角度値を変換する段階および前記変換された角度値を前記予め設定された客体探知領域に対応するマトリックス上に入力して前記角度に関する第2特徴マップを生成する段階を含むことができる。
多様な実施例において、前記角度に関する第2特徴マップを生成する段階は、前記生成された複数の格子それぞれの中心点と前記基準点を連結する線とX軸またはY軸の間の角度値を算出する段階、前記算出された角度値に対する三角比を算出する段階および前記予め設定された客体探知領域に対応するマトリックス上に前記算出された三角比を入力して前記角度に関する二つの第2特徴マップを生成する段階を含むことができる。
【0008】
前述した課題を解決するための本発明の他の実施例に係るライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成装置は、プロセッサ、ネットワークインターフェース、メモリおよび前記メモリにロード(load)され、前記プロセッサによって実行されるコンピュータプログラムを含むものの、前記コンピュータプログラムは、所定の地域に対する3次元ポイントクラウド形態のライダーセンサデータを収集するインストラクション(instruction)、予め定義された一つ以上の指標を基準として前記収集されたライダーセンサデータを加工して一つ以上の第1特徴マップを生成するインストラクションおよび前記生成された一つ以上の第1特徴マップと距離および角度を基準として予め生成された第2特徴マップそれぞれを個別的なチャネルとして結合して人工知能モデルの入力特徴マップを生成するインストラクションを含むことができる。
前述した課題を解決するための本発明のさらに他の実施例に係るコンピュータで読み取り可能な記録媒体に記録されたコンピュータプログラムは、コンピューティング装置と結合されて所定の地域に対する3次元ポイントクラウド形態のライダーセンサデータを収集する段階、予め定義された一つ以上の指標を基準として前記収集されたライダーセンサデータを加工して一つ以上の第1特徴マップを生成する段階および前記生成された一つ以上の第1特徴マップと距離および角度を基準として予め生成された第2特徴マップそれぞれを個別的なチャネルとして結合して人工知能モデルの入力特徴マップを生成する段階を実行させるためにコンピュータで読み取り可能な記録媒体に保存され得る。
本発明のその他の具体的な事項は詳細な説明および図面に含まれている。
【発明の効果】
【0009】
本発明の多様な実施例によると、自律走行車両周辺の予め設定された客体探知領域に対する距離および角度を事前演算(Pre-computed)して生成および保存された距離および角度に関する特徴マップとリアルタイムで収集される3次元ポイントクラウド形態のライダーセンサを利用して生成された特徴マップをチャネル結合してライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成すなわち、事前演算を通じて予め生成された特徴マップを利用してよりはやく入力特徴マップを生成することによって、人工知能モデルのはやい学習および推論演算が可能なだけでなく、正確な結果値の導出が可能な入力特徴マップを生成することができるという利点がある。
本発明の効果は以上で言及された効果に制限されず、言及されていないさらに他の効果は下記の記載から通常の技術者に明確に理解され得るであろう。
【図面の簡単な説明】
【0010】
【
図1】本発明の一実施例に係るライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成システムを図示した図面である。
【
図2】本発明の他の実施例に係るライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成装置のハードウェア構成図である。
【
図3】本発明のさらに他の実施例に係るライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法のフローチャートである。
【
図4】多様な実施例において、一つ以上の第1特徴マップを生成する方法を説明するためのフローチャートである。
【
図5】多様な実施例において、一つ以上の第1特徴マップを生成する過程を図示した図面である。
【
図6】多様な実施例において、距離に関する第2特徴マップを生成する方法を説明するためのフローチャートである。
【
図7】多様な実施例において、角度に関する第2特徴マップを生成する方法を説明するためのフローチャートである。
【
図8】多様な実施例において、距離および角度に関する第2特徴マップを生成する過程を図示した図面である。
【発明を実施するための形態】
【0011】
本発明の利点および特徴、そしてそれらを達成する方法は添付される図面と共に詳細に後述されている実施例を参照すると明確になるであろう。しかし、本発明は以下で開示される実施例に制限されるものではなく互いに異なる多様な形態で具現され得、ただし本実施例は本発明の開示を完全なものとし、本発明が属する技術分野の通常の技術者に本発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇によって定義されるのみである。
本明細書で使われた用語は、実施例を説明するためのものであり本発明を制限しようとするものではない。本明細書で、単数型は文面で特に言及しない限り複数型も含む。明細書で使われる「含む(comprises)」および/または「含む(comprising)」は、言及された構成要素の他に一つ以上の他の構成要素の存在または追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を指称し、「および/または」は言及された構成要素のそれぞれおよび一つ以上のすべての組み合わせを含む。たとえ「第1」、「第2」等が多様な構成要素を叙述するために使われるが、これら構成要素はこれら用語によって制限されないことは言うまでもない。これら用語は単に一つの構成要素を他の構成要素と区別するために使うものである。したがって、以下で言及される第1構成要素は本発明の技術的思想内で第2構成要素であってもよいことは言うまでもない。
【0012】
他の定義がない限り、本明細書で使われるすべての用語(技術および科学的用語を含む)は本発明が属する技術分野の通常の技術者に共通して理解され得る意味で使われ得るであろう。また、一般的に使われる辞書に定義されている用語は明白に特に定義されていない限り理想的にまたは過度に解釈されない。
明細書で使われる「部」または「モジュール」という用語はソフトウェア、FPGAまたはASICのようなハードウェア構成要素を意味し、「部」または「モジュール」は何らかの役割を遂行する。しかし、「部」または「モジュール」はソフトウェアまたはハードウェアに限定される意味ではない。「部」または「モジュール」はアドレッシングできる保存媒体にあるように構成されてもよく、一つまたはそれ以上のプロセッサを再生させるように構成されてもよい。したがって、一例として「部」または「モジュール」はソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシーザー、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイおよび変数を含む。構成要素と「部」または「モジュール」内で提供される機能はさらに小さい数の構成要素および「部」または「モジュール」で結合されたり追加的な構成要素と「部」または「モジュール」にさらに分離され得る。
【0013】
空間的に相対的な用語である「下(below)」、「下(beneath)」、「下部(lower)」、「上(above)」、「上部(upper)」等は、図面に図示されているように、一つの構成要素と他の構成要素との相関関係を容易に記述するために使われ得る。空間的に相対的な用語は、図面に図示されている方向に加えて使用時または動作時構成要素の互いに異なる方向を含む用語で理解されるべきである。例えば、図面に図示されている構成要素をひっくり返す場合、他の構成要素の「下(below)」または「下(beneath)」と記述された構成要素は、他の構成要素の「上(above)」に置かれ得る。したがって、例示的な用語である「下」は下と上の方向をすべて含むことができる。構成要素は他の方向へも配向され得、これに伴い、空間的に相対的な用語は配向により解釈され得る。
本明細書で、コンピュータは少なくとも一つのプロセッサを含むすべての種類のハードウェア装置を意味するものであり、実施例により該当ハードウェア装置で動作するソフトウェア的構成も包括する意味として理解され得る。例えば、コンピュータはスマートフォン、タブレットPC、デスクトップ、ノートパソコンおよび各装置で駆動される使用者クライアントおよびアプリケーションをすべて含む意味として理解され得、また、これに制限されるものではない。
また、本発明の多様な実施例に係るライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法は、自律走行車両の走行制御を目的として自律走行車両の周辺領域に対する客体を探知するための入力特徴マップを生成するものとして説明しているが、これに限定されず、一般車両(例:運転者が直接介入して走行制御をする車両)または半自律走行機能(例:運転者が直接介入して走行制御を遂行するものの、一部の機能に対してのみ部分的に自律制御を遂行する機能)により動作する車両に適用が可能である。
【0014】
この時、一般車両または半自律走行機能により動作する車両に適用される場合、客体を探知して走行を直接制御するために入力特徴マップを生成するのではなく、走行補助(例:客体探知を通じての衝突防止通知の提供など)のために入力特徴マップを生成するものであり得る。
以下、添付された図面を参照して本発明の実施例を詳細に説明する。
本明細書で説明される各段階はコンピュータによって遂行されるものとして説明されるが、各段階の主体はこれに制限されるものではなく、実施例により各段階の少なくとも一部が互いに異なる装置で遂行されてもよい。
図1は、本発明の一実施例に係るライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成システムを図示した図面である。
図1を参照すると、本発明の一実施例に係るライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成システムは、入力特徴マップ生成装置100、使用者端末200、外部サーバー300およびネットワーク400を含むことができる。
ここで、
図1に図示されたライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成システムは一実施例に従ったものであり、その構成要素は
図1に図示された実施例に限定されるものではなく、必要に応じて付加、変更または削除され得る。
【0015】
一実施例で、入力特徴マップ生成装置100は3次元ポイントクラウド形態のライダーセンサデータを分析して自律走行車両10周辺の客体を探知する人工知能モデルを学習させ、予め学習された人工知能モデルを利用して自律走行車両10周辺の客体を探知するために人工知能モデルの入力特徴マップを生成することができる。例えば、入力特徴マップ生成装置100はネットワーク400を通じて自律走行車両10と連結され得、自律走行車両10内に備えられるセンサ(例:ライダーセンサ)から収集されたライダーセンサデータの提供を受けて入力特徴マップを生成することができる。
ここで、人工知能モデルは3次元クラウド形態のライダーセンサデータを分析するためのディープラーニングモデル(例:CNN)であり得るが、これに限定されない。
人工知能モデルは一つ以上のネットワーク関数で構成され、一つ以上のネットワーク関数は一般的に「ノード」と指称され得る互いに連結された計算単位の集合で構成され得る。このような「ノード」は「ニューロン(neuron)」と指称されてもよい。一つ以上のネットワーク関数は少なくとも一つ以上のノードを含んで構成される。一つ以上のネットワーク関数を構成するノード(またはニューロン)は一つ以上の「リンク」によって互いに連結され得る。
人工知能モデル内で、リンクを通じて連結された一つ以上のノードは、相対的に入力ノードおよび出力ノードの関係を形成することができる。入力ノードおよび出力ノードの概念は相対的なものであって、一つのノードに対して出力ノード関係にある任意のノードは他のノードとの関係で入力ノード関係にあり得、その逆も成立することができる。前述した通り、入力ノード対出力ノード関係はリンクを中心に生成され得る。一つの入力ノードに一つ以上の出力ノードがリンクを通じて連結され得、その逆も成立することができる。
【0016】
一つのリンクを通じて連結された入力ノードおよび出力ノード関係で、出力ノードは入力ノードに入力されたデータに基づいてその値が決定され得る。ここで入力ノードと出力ノードを互いに連結するノードは加重値(weight)を有することができる。加重値は可変的であり得、人工知能モデルが望む機能を遂行するために、使用者またはアルゴリズムによって可変され得る。例えば、一つの出力ノードに一つ以上の入力ノードがそれぞれのリンクによって互いに連結された場合、出力ノードは前記出力ノードと連結された入力ノードに入力された値およびそれぞれの入力ノードに対応するリンクに設定された加重値に基づいて出力ノード値を決定することができる。
前述した通り、人工知能モデルは一つ以上のノードが一つ以上のリンクを通じて互いに連結されて人工知能モデル内で入力ノードおよび出力ノード関係を形成する。人工知能モデル内でノードとリンクの個数およびノードとリンクの間の相関関係、リンクそれぞれに付与された加重値の値により、人工知能モデルの特性が決定され得る。例えば、同じ個数のノードおよびリンクが存在し、リンクの間の加重値の値が異なる二つの人工知能モデルが存在する場合、二つの人工知能モデルは互いに異なるものと認識され得る。
人工知能モデルを構成するノードのうち一部は、最初入力ノードからの距離に基づいて、一つのレイヤ(layer)を構成することができる。例えば、最初入力ノードから距離がnであるノードの集合は、nレイヤを構成することができる。最初入力ノードから距離は、最初入力ノードから該当ノードまで到達するために経なければならないリンクの最小個数によって定義され得る。しかし、このようなレイヤの定義は説明のための任意的なものであり、人工知能モデル内でレイヤの次数は前述とは異なる方法で定義され得る。例えば、ノードのレイヤは最終出力ノードから距離によって定義されてもよい。
【0017】
最初入力ノードは人工知能モデル内のノードのうち、他のノードとの関係でリンクを経ずにデータが直接入力される一つ以上のノードを意味し得る。または人工知能モデルネットワーク内で、リンクを基準としたノード間の関係において、リンクに連結された他の入力ノード有さないノードを意味し得る。これと同様に、最終出力ノードは人工知能モデル内のノードのうち他のノードとの関係で、出力ノードを有さない一つ以上のノードを意味し得る。また、隠れノードは最初入力ノードおよび最後出力ノードでない人工知能モデルを構成するノードを意味し得る。本開示の一実施例に係る人工知能モデルは、入力レイヤのノードが出力レイヤに近い隠れレイヤのノードより多くてもよく、入力レイヤから隠れレイヤに進行されるにつれてノードの数が減少する形態の人工知能モデルであり得る。
人工知能モデルは一つ以上の隠れレイヤを含むことができる。隠れレイヤの隠れノードは以前のレイヤの出力と周辺の隠れノードの出力を入力とすることができる。各隠れレイヤ別隠れノードの数は同一であってもよく、異なってもよい。入力レイヤのノードの数は入力データのデータフィールドの数に基づいて決定され得、隠れノードの数と同一であってもよく、異なってもよい。入力レイヤに入力された入力データは隠れレイヤの隠れノードによって演算され得、出力レイヤである完全連結レイヤ(FCL:fully connected layer)により出力され得る。
多様な実施例において、人工知能モデルは客体に対する情報がラベリング(labeling)されたライダーセンサデータを学習データにして教師あり学習(supervised learning)され得る。しかし、これに限定されず、多様な学習方法が適用され得る。
ここで、教師あり学習は通常的に特定データと特定データに関連した情報をラベリングして学習データを生成し、これを利用して学習させる方法であって、因果関係を有する二つのデータをラベリングして学習データを生成し、生成された学習データを通じて学習する方法を意味する。
より具体的には、入力特徴マップ生成装置100はラベリングされた学習データを利用して人工知能モデルを構成する一つ以上のネットワーク関数に対する学習を遂行できる。例えば、入力特徴マップ生成装置100は学習入力データそれぞれを一つ以上のネットワーク関数に入力させ、一つ以上のネットワーク関数で演算された出力データそれぞれと学習入力データそれぞれのラベルに該当する学習出力データそれぞれを比較して誤差を導き出すことができる。すなわち、人工知能モデルの学習で学習入力データは一つ以上のネットワーク関数の入力レイヤに入力され得、学習出力データは一つ以上のネットワーク関数の出力と比較され得る。
【0018】
入力特徴マップ生成装置100は学習入力データに対する一つ以上のネットワーク関数の演算結果と学習出力データ(ラベル)の誤差に基づいて人工知能モデルを学習させることができる。
また、入力特徴マップ生成装置100は誤差に基づいて一つ以上のネットワーク関数の加重値を逆伝播方式で調整することができる。すなわち、入力特徴マップ生成装置100は学習入力データに対する一つ以上のネットワーク関数の演算結果と学習出力データの誤差に基づいて一つ以上のネットワーク関数の出力が学習出力データに近づくように加重値を調整することができる。
入力特徴マップ生成装置100は一つ以上のネットワーク関数の学習が事前決定されたエポック以上遂行された場合、検証データを利用して学習中断の可否を決定することができる。事前決定されたエポックは全体学習目標エポックの一部であり得る。
検証データはラベリングされた学習データのうち少なくとも一部で構成され得る。すなわち、入力特徴マップ生成装置100は学習データを通じて人工知能モデルの学習を遂行し、人工知能モデルの学習が事前決定されたエポック以上繰り返された後、検証データを利用して人工知能モデルの学習効果が事前決定された水準以上であるかどうかを判断することができる。例えば、入力特徴マップ生成装置100は100個の学習データを利用して目標反復学習回数が10回である学習を遂行する場合、事前決定されたエポックである10回の反復学習を遂行した後、10個の検証データを利用して3回の反復学習を遂行し、3回の反復学習の間人工知能モデル出力の変化が事前決定された水準以下である場合、それ以上の学習は無意味なものと判断して学習を終了することができる。
【0019】
すなわち、検証データは人工知能モデルの反復学習でエポック別学習の効果が一定以上であるか以下であるかに基づいて学習の完了を決定するのに利用され得る。前述した学習データ、検証データの数および反復回数は例示に過ぎず、本開示はこれに制限されない。
入力特徴マップ生成装置100はテストデータを利用して一つ以上のネットワーク関数の性能をテストして一つ以上のネットワーク関数の活性化の有無を決定することによって、人工知能モデルを生成することができる。テストデータは人工知能モデルの性能を検証するために使われ得、学習データのうち少なくとも一部で構成され得る。例えば、学習データのうち70%は人工知能モデルの学習(すなわち、ラベルに類似する結果値を出力するように加重値を調整するための学習)のために活用され得、30%は人工知能モデルの性能を検証するためのテストデータとして活用され得る。入力特徴マップ生成装置100は学習が完了した人工知能モデルにテストデータを入力し、誤差を測定して事前決定された性能以上であるかどうかにより人工知能モデルの活性化の有無を決定することができる。
入力特徴マップ生成装置100は学習が完了した人工知能モデルにテストデータを利用して学習完了した人工知能モデルの性能を検証し、学習完了した人工知能モデルの性能が事前に決定された基準以上の場合、該当人工知能モデルを他のアプリケーションで使うように活性化することができる。
【0020】
また、入力特徴マップ生成装置100は学習完了した人工知能モデルの性能が事前に決定された基準以下である場合、該当人工知能モデルを非活性化して廃棄することができる。例えば、入力特徴マップ生成装置100は正確度(accuracy)、精密度(precision)、再現率(recall)等の要素を基準として生成された人工知能モデルモデルの性能を判断することができる。前述した性能評価基準は例示に過ぎず、本開示はこれに制限されない。本開示の一実施例により入力特徴マップ生成装置100はそれぞれの人工知能モデルを独立的に学習させて複数の人工知能モデルを生成することができ、性能を評価して一定性能以上の人工知能モデルのみを使うことができる。しかし、これに限定されない。
多様な実施例において、入力特徴マップ生成装置100はネットワーク400を通じて使用者端末200と連結され得、ライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法により生成された入力特徴マップを利用して自律走行車両10周辺の客体を探知した結果を提供したり、客体を探知した結果による案内(例:走行案内など)情報を提供することができる。
ここで、使用者端末200は携帯性と移動性が保障される無線通信装置であり、ナビゲーション、PCS(Personal Communication System)、GSM(Global System for Mobile communications)、PDC(Personal Digital Cellular)、PHS(Personal Handyphone System)、PDA(Personal Digital Assistant)、IMT(International Mobile Telecommunication)-2000、CDMA(Code Division Multiple Access)-2000、W-CDMA(W-Code Division Multiple Access)、Wibro(Wireless Broadband Internet)端末、スマートフォン(Smartphone)、スマートパッド(Smartpad)、タブレットPC(Tablet PC)などのようなすべての種類のハンドヘルド(Handheld)基盤の無線通信装置を含むことができるが、これに限定されず、使用者端末200は車両10内に備えられる車両用インフォテインメントシステムであり得る。
【0021】
また、ここで、ネットワーク400は複数の端末およびサーバーのようなそれぞれのノード相互間に情報交換が可能な連結構造を意味するもので、このようなネットワークの一例には近距離通信網(LAN:Local Area Network)、広域通信網(WAN:Wide Area Network)、インターネット(WWW:World Wide Web)、有無線データ通信網、電話網、有無線テレビ通信網などを含むことができる。ここで、無線データ通信網は3G、4G、5G、3GPP(3rd Generation Partnership Project)、5GPP(5th Generation Partnership Project)、LTE(Long Term Evolution)、WIMAX(World Interoperability for Microwave Access)、Wi-Fi(Wi-Fi)、インターネット(Internet)、LAN(Local Area Network)、Wireless LAN(Wireless Local Area Network)、WAN(Wide Area Network)、PAN(Personal Area Network)、RF(Radio Frequency)、ブルートゥース(Bluetooth)ネットワーク、NFC(Near-Field Communication)ネットワーク、衛星放送ネットワーク、アナログ放送ネットワーク、DMB(Digital Multimedia Broadcasting)ネットワークなどが含まれ得るが、これに限定されはしない。
一実施例で、外部サーバー300はネットワーク400を通じて入力特徴マップ生成装置100と連結され得、入力特徴マップ生成装置100がライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成プロセスを遂行するために必要な情報/データおよびライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成プロセスを遂行することによって生成される情報/データを保存および管理することができる。以下、
図2を参照して、ライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法を遂行する入力特徴マップ生成装置100のハードウェア構成について説明することにする。
図2は、本発明の他の実施例に係るライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成装置のハードウェア構成図である。
【0022】
図2を参照すると、本発明の他の実施例に係るライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成装置100(以下、「コンピューティング装置100」)は、一つ以上のプロセッサ110、プロセッサ110によって実行されるコンピュータプログラム151をロード(Load)するメモリ120、バス130、通信インターフェース140およびコンピュータプログラム151を保存するストレージ150を含むことができる。ここで、
図2には本発明の実施例と関連する構成要素のみが図示されている。したがって、本発明が属した技術分野の通常の技術者であれば
図2に図示された構成要素の他に他の汎用的な構成要素がさらに含まれ得ることが分かる。
プロセッサ110はコンピューティング装置100の各構成の全般的な動作を制御する。プロセッサ110はCPU(Central Processing Unit)、MPU(Micro Processor Unit)、MCU(Micro Controller Unit)、GPU(Graphic Processing Unit)または本発明の技術分野に広く知られている任意の形態のプロセッサを含んで構成され得る。
【0023】
また、プロセッサ110は本発明の実施例に係る方法を実行するための少なくとも一つのアプリケーションまたはプログラムに対する演算を遂行でき、コンピューティング装置100は一つ以上のプロセッサを具備することができる。
多様な実施例において、プロセッサ110はプロセッサ110内部で処理される信号(またはデータ)を一時的および/または永久的に保存するラム(RAM:Random Access Memory、図示されず)およびロム(ROM:Read-Only Memory、図示されず)をさらに含むことができる。また、プロセッサ110はグラフィック処理部、ラムおよびロムのうち少なくとも一つを含むシステムオンチップ(SoC:system on chip)形態で具現され得る。
メモリ120は各種データ、命令および/または情報を保存する。メモリ120は本発明の多様な実施例に係る方法/動作を実行するためにストレージ150からコンピュータプログラム151をロードすることができる。メモリ120にコンピュータプログラム151がロードされると、プロセッサ110はコンピュータプログラム151を構成する一つ以上のインストラクションを実行することによって前記方法/動作を遂行できる。メモリ120はRAMのような揮発性メモリで具現され得るであろうが、本開示の技術的範囲はこれに限定されるものではない。
【0024】
バス130はコンピューティング装置100の構成要素間に通信機能を提供する。バス130はアドレスバス(address Bus)、データバス(Data Bus)および制御バス(Control Bus)等の多様な形態のバスで具現され得る。
通信インターフェース140はコンピューティング装置100の有無線インターネット通信を支援する。また、通信インターフェース140はインターネット通信以外の多様な通信方式を支援してもよい。このために、通信インターフェース140は本発明の技術分野に広く知られている通信モジュールを含んで構成され得る。いくつかの実施例で、通信インターフェース140は省略されてもよい。
ストレージ150はコンピュータプログラム151を非臨時的に保存することができる。コンピューティング装置100を通じてライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成プロセスを遂行する場合、ストレージ150はライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成プロセスを提供するために必要な各種情報を保存することができる。
ストレージ150はROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリなどのような不揮発性メモリ、ハードディスク、着脱型ディスク、または本発明が属する技術分野で広く知られている任意の形態のコンピュータで読み取り可能な記録媒体を含んで構成され得る。
【0025】
コンピュータプログラム151はメモリ120にロードされる時に、プロセッサ110に本発明の多様な実施例に係る方法/動作を遂行するようにする一つ以上のインストラクションを含むことができる。すなわち、プロセッサ110は前記一つ以上のインストラクションを実行することによって、本発明の多様な実施例に係る前記方法/動作を遂行できる。
一実施例で、コンピュータプログラム151は所定の地域に対する3次元ポイントクラウド形態のライダーセンサデータを収集する段階、予め定義された一つ以上の指標を基準として前記収集されたライダーセンサデータを加工して一つ以上の第1特徴マップを生成する段階および前記生成された一つ以上の第1特徴マップと距離および角度を基準として予め生成された第2特徴マップそれぞれを個別的なチャネルとして結合して人工知能モデルの入力特徴マップを生成する段階を含むライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法を遂行するようにする一つ以上のインストラクションを含むことができる。
本発明の実施例と関連して説明された方法またはアルゴリズムの段階はハードウェアで直接具現されたり、ハードウェアによって実行されるソフトウェアモジュールで具現されたり、またはこれらの結合によって具現され得る。ソフトウェアモジュールはRAM(Random Access Memory)、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリ(Flash Memory)、ハードディスク、着脱型ディスク、CD-ROM、または本発明が属する技術分野で広く知られている任意の形態のコンピュータ読み取り可能記録媒体に常駐してもよい。
【0026】
本発明の構成要素はハードウェアであるコンピュータと結合されて実行されるためにプログラム(またはアプリケーション)で具現されて媒体に保存され得る。本発明の構成要素はソフトウェアプログラミングまたはソフトウェア要素で実行され得、これと同様に、実施例はデータ構造、プロセス、ルーチンまたは他のプログラミング構成の組み合わせで具現される多様なアルゴリズムを含み、C、C++、ジャバ(Java)、アセンブラ(assembler)などのようなプログラミングまたはスクリプト言語で具現され得る。機能的な側面は一つ以上のプロセッサで実行されるアルゴリズムで具現され得る。以下、
図3~8を参照して、コンピューティング装置100が遂行するライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法について説明することにする。
図3は、本発明のさらに他の実施例に係るライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法のフローチャートである。
図3を参照すると、S110段階で、コンピューティング装置100は所定の地域に対するライダーセンサデータを収集することができる。例えば、コンピューティング装置100はネットワーク400を通じて自律走行車両10と連結され得、自律走行車両10内に備えられたライダーセンサから収集されたライダーセンサデータの提供を受けることができる。しかし、これに限定されない。
ここで、ライダーセンサデータは3次元座標値を有する複数のライダーセンサポイントを含む3次元ポイントクラウド形態であり得るが、これに限定されない。
【0027】
また、ここで、コンピューティング装置100は入力特徴マップ生成のためにライダーセンサデータを収集するものとして説明しているが、これに限定されず、自律走行車両10周辺の客体探知のために活用されるセンサデータであればすべて適用が可能である。
S120段階で、コンピューティング装置100はS110段階を経て収集されたライダーセンサデータを加工して一つ以上の第1特徴マップを生成することができる。
多様な実施例において、コンピューティング装置100は事前に予め定義された一つ以上の指標(例:密度(例:ライダーセンサポイントの数)、最大高さ、最小高さ、平均高さなど)を基準として、3次元ポイントクラウド形態のライダーセンサデータを加工することによって、それぞれの指標に対応する第1特徴マップを生成することができる。以下、
図4および5を参照して第1特徴マップを生成する方法についてより具体的に説明することにする。
図4は多様な実施例において、一つ以上の第1特徴マップを生成する方法を説明するためのフローチャートであり、
図5は多様な実施例において、一つ以上の第1特徴マップを生成する過程を図示した図面である。
図4および5を参照すると、S210段階で、コンピューティング装置100は複数の格子柱(pillar)21を生成することができる。例えば、コンピューティング装置100はXY平面、XZ平面およびXY平面を含む3次元ポイントクラウド形態のライダーセンサデータ20をXY平面を基準として格子化することによって、複数の格子柱21を生成することができる。例えば、コンピューティング装置100は所定の大きさの格子(例:0.1m*0.1m)を含むように格子化されたXY平面を利用して3次元ポイントクラウド形態のライダーセンサデータ20の空間を分割することによって、所定の大きさの格子と同一の大きさおよび形態の底面とZ軸方向に所定の大きさの高さを有する複数の格子柱21を生成することができる。しかし、これに限定されず、コンピューティング装置100は3次元ポイントクラウド形態のライダーセンサデータ20をXZ平面を基準として分割したり、YZ平面を基準として分割するなど、多様な形態で具現され得る。
【0028】
S220段階で、コンピューティング装置100はS210段階を経て生成された複数の格子柱21それぞれに対して、予め定義された一つ以上の指標に対する値を算出することができる。例えば、コンピューティング装置100は予め定義された一つ以上の指標がライダーセンサポイントの数(密度)、最大高さ、最小高さおよび平均高さを含む場合、複数の格子柱21それぞれに対してライダーセンサポイントの数、最大高さ、最小高さおよび平均高さを算出することができる。
ここで、一つ以上の指標は自律走行車両10周辺の客体を探知するための目的で使用者から事前に定義されたものであって、ライダーセンサポイントの数(密度)、最大高さ、最小高さおよび平均高さであると説明しているが、これに限定されず、客体探知のための指標であればすべて適用が可能である。
S230段階で、コンピューティング装置100はS220段階を経て算出された指標を利用して第1特徴マップを生成することができる。
多様な実施例において、コンピューティング装置100は複数の格子柱21それぞれに対して算出された指標値をライダーセンサデータ20に対応するマトリックス(Matrix)上に入力して第1特徴マップを生成することができる。
【0029】
ここで、ライダーセンサデータ20に対応するマトリックスは複数の格子柱21それぞれに対する指標値を入力および配列することによって第1特徴マップを生成するために事前に設定されているテンプレートであって、M行N列の行列形態で具現されるものの、行列に含まれた行と列の数は複数の格子柱21の個数および配置形態により決定され得る(例:複数の格子柱21を生成するにおいて活用されたXY平面(所定の大きさの複数の格子で格子化された平面)と同一の形態)。
多様な実施例において、コンピューティング装置100は複数の格子柱21のうち、第1行第1列に位置する格子柱21に対する指標をマトリックスの第1行第1列に入力し、第1行第2列に位置する格子柱21に対する指標をマトリックスの第1行第2列に入力することによって第1特徴マップを生成することができる。
多様な実施例において、コンピューティング装置100はライダーセンサポイントの数、最大高さ、最小高さおよび平均高さそれぞれに対応する第1特徴マップを独立的なチャネルとして生成でき、独立的に生成された第1特徴マップをチャネル結合することで、3次元の第1特徴マップを生成することができる。例えば、コンピューティング装置100は
図5に図示された通り、ライダーセンサポイントに対応する第1特徴マップ、最大高さに対応する第1特徴マップ、最小高さに対応する第1特徴マップおよび平均高さに対応する第1特徴マップすなわち、算出された指標の個数に応じて総4個の第1特徴マップを生成することができ、4個の第1特徴マップをチャネル結合することで、横および縦の長さがxおよびyであり高さが4である3次元第1特徴マップ30を生成することができる。
【0030】
再び、
図3を参照すると、S130段階で、コンピューティング装置100はS120段階を経て生成された一つ以上の第1特徴マップと距離および角度を基準として予め生成された第2特徴マップそれぞれを個別的なチャネルとして結合することで、人工知能モデルの入力特徴マップを生成することができる。
ここで、距離および角度を基準として予め生成された第2特徴マップは人工知能モデルがライダーセンサポイントに対する距離および角度を考慮して距離および角度による特徴を導出できるように客体探知領域に対して事前に生成および保存された特徴マップを意味し得る。
一般的に、ライダーセンサデータ20をX、Y空間で表現する場合、距離と角度による特徴を有する。例えば、ライダーセンサデータ20は距離が遠くなるほどライダーセンサポイントの数(密度)が急激に減少することになる特徴を有する。また、ライダーセンサデータ20はX、Y空間上で隠れ(occlusion)が発生する場合に線で表示されるが、原点基準座標の位置により障害物の位置が変わる特徴を有する。
一方、従来の人工知能モデルの場合、位置に対して独立的に動作するため人工知能モデルの学習および推論のための入力特徴マップに複数の格子(pixel)それぞれに対する位置情報が存在しないという点で、前記のような距離および角度に対する特徴を考慮できないという限界がある。
このような点を考慮して、コンピューティング装置100は人工知能モデルがライダーセンサポイントに対する距離および角度を考慮できるように距離および角度に関する第2特徴マップを事前に生成および保存しておいて、リアルタイムで収集されるライダーセンサデータ20を通じて生成される一つ以上の第1特徴マップとチャネル結合すなわち、前記のような距離および角度に対する特徴を考慮できるように距離および角度に対する情報を含む入力特徴マップを生成することができる。以下、
図6~8を参照して、コンピューティング装置100により遂行される距離および角度に関する第2特徴マップを生成する方法について説明することにする。
【0031】
図6は、多様な実施例において、距離に関する第2特徴マップを生成する方法を説明するためのフローチャートである。
図6を参照すると、S310段階で、コンピューティング装置100はXY平面を基準として予め設定された客体探知領域を格子化して所定の大きさを有する複数の格子を生成することができる。
ここで、客体探知領域はライダーセンサを通じて自律走行車両10を周辺をセンシングする領域であり得、S110段階を経て収集されたライダーセンサデータ20の収集領域と同一の属性(例:大きさ、形態)を有する領域であり得るが、これに限定されない。
また、ここで、所定の大きさはライダーセンサデータ20の空間を分割するために活用されたXY平面(所定の大きさの格子を含むように格子化されたXY平面)に含まれた格子と同一の大きさ(例:0.1m*0.1m)であり得るが、これに限定されない。
S320段階で、コンピューティング装置100はS310段階を経て生成された複数の格子と基準点の間の距離値を算出することができる。
多様な実施例において、コンピューティング装置100は複数の格子それぞれの中心点座標と基準点座標(例:原点座標)間の距離値を算出でき、予め設定された最大距離値を利用して算出された距離値を標準化することができる。例えば、コンピューティング装置100は下記の数学式1を利用して複数の格子それぞれの中心点座標と基準点座標間の標準化された距離値(例:第1距離値)を算出することができる。
【0032】
<数学式1>
【数1】
ここで、D
1(ij)はi行j列に位置した格子と基準点の間の標準化された距離値(例:第1距離値)、x
ijおよびy
ij i行j列に位置した格子中心点のx座標およびy座標、x
refおよびy
refは基準点のx座標およびy座標、D
maxは予め設定された最大距離値であり得る。ここで、基準点は原点であり、基準点座標は(0、0)であり得るが、これに限定されない。
すなわち、コンピューティング装置100は基準点座標と複数の格子それぞれの中心点座標間の距離値を算出するものの、算出された距離値を予め設定された最大距離値(例:100m)で割って標準化することによって、基準点座標と複数の格子それぞれの中心点座標間の距離値が0~1範囲の値となるようにすることができる。
多様な実施例において、コンピューティング装置100は複数の格子それぞれの中心点座標と基準点座標(例:原点座標)間の距離値を算出でき、事前に定義されたログ関数を利用して算出された距離値を変換することができる。例えば、コンピューティング装置100は下記の数学式2を利用して複数の格子それぞれの中心点座標と基準点座標間の変換された距離値(例:第2距離値)を算出することができる。
【0033】
<数学式2>
【数2】
ここで、D
2(ij)¬はi行j列に位置した格子と基準点の間の変換された距離値(例:第2距離値)、x
ijおよびy
ij i行j列に位置した格子中心点のx座標およびy座標、x
refおよびy
refは基準点のx座標およびy座標であり得る。ここで、基準点は原点であり、基準点座標は(0、0)であり得るが、これに限定されない。
すなわち、コンピューティング装置100は基準点座標と複数の格子それぞれの中心点座標間の距離値を算出するものの、ログ関数を通じて算出された距離値を変換することによって、入力される値の範囲を制限することができる。
S330段階で、コンピューティング装置100はS320段階で算出された距離値を利用して距離に関する第2特徴マップを生成することができる。
多様な実施例において、コンピューティング装置100は前記の方法により算出された距離値(例:標準化された距離値またはログ関数を通じて変換された距離値)を予め設定された客体探知領域に対応するマトリックス上に入力して第2特徴マップを生成することができる。
【0034】
ここで、客体探知領域に対応するマトリックスは基準点座標と複数の格子それぞれの中心点座標間の距離値を入力および配列することによって第2特徴マップを生成するために事前に設定されているテンプレートであって、M行N列の行列形態で具現され得る。この時、客体探知領域に対応するマトリックスは距離および角度に関する第2特徴マップと第1特徴マップをチャネル結合させるためにライダーセンサデータ20に対応するマトリックスと同一の形態で具現され得るが、これに限定されない。
多様な実施例において、コンピューティング装置100は
図8に図示された通り、複数の格子のうち第2行第5列に位置する格子と基準点の間の距離値(D
25)(例:第1距離値または第2距離値)をマトリックスの第2行第5列に入力し、第5行第3列に位置する格子と基準点の間の距離値(D
53)をマトリックスの第5行第3列に入力することによって、距離に関する第2特徴マップを生成することができる。
多様な実施例において、コンピューティング装置100は前記の方法により算出された第1距離値および第2距離値それぞれに対する第2特徴マップを独立的なチャネルとして生成でき、独立的に生成された第2特徴マップをチャネル結合することで、距離に関する3次元の第2特徴マップ40を生成することができる。
図7は、多様な実施例において、角度に関する第2特徴マップを生成する方法を説明するためのフローチャートである。
図7を参照すると、S410段階で、コンピューティング装置100はXY平面基準で予め設定された客体探知領域を格子化して所定の大きさを有する複数の格子を生成することができる。ここで、コンピューティング装置100により遂行される複数の格子生成動作は
図6のS310段階で遂行される複数の格子生成動作と同一の形態で具現され得るが、これに限定されない。
S420段階で、コンピューティング装置100はS410段階を経て生成された複数の格子と基準点の間の角度値を算出することができる。
【0035】
多様な実施例において、コンピューティング装置100はオイラー角度変換を利用して複数の格子と基準点の間の角度をオイラー角度に変換することによって、第1角度値を算出することができる。ここで、オイラー角度変換を利用して角度値をオイラー角度に変換する方法は、事前に定義された変換行列(例:x軸、y軸およびz軸それぞれを回転軸として回転する時の変換行列)を利用して角度値をオイラー角度に変換する方式などの多様な技術が公知になっており、このような公知技術を選択的に適用できるところ、本明細書ではオイラー角度変換を利用して角度値をオイラー角度に変換する方法について具体的に限定しない。
多様な実施例において、コンピューティング装置100は複数の格子と基準点の間の角度値に対する三角比を第2角度値として算出することができる。例えば、コンピューティング装置100は複数の格子と基準点の間の角度に対するサイン(sin)値およびコサイン(cos)値を算出することができる。すなわち、コンピューティング装置100は角度に関する第2特徴マップを生成するために複数の格子と基準点の間の角度に対するサイン値およびコサイン値を算出することによって、算出される角度値の範囲を-1~1範囲内の値に定形化できるだけでなく、オイラー空間で周期性が有する距離の誤差に対する問題を解消することができる。
S430段階で、コンピューティング装置100はS420段階を経て算出された角度値を利用して角度に関する第2特徴マップを生成することができる。
多様な実施例において、コンピューティング装置100は前記の方法により算出された角度値(例:第1角度値および第2角度値)を予め設定された客体探知領域に対応するマトリックス上に入力して第2特徴マップを生成することができる。例えば、コンピューティング装置100は
図8に図示された通り、複数の格子のうち第2行第5列に位置する格子と基準点の間の角度値(θ
25)をマトリックスの第2行第5列に入力し、第5行第3列に位置する格子と基準点の間の角度値(θ
53)をマトリックスの第5行第3列に入力することによって、角度に関する第2特徴マップを生成することができる。
【0036】
この時、コンピューティング装置100は前記の方法により算出された角度値が複数の格子と基準点の間の第2角度値が二つ以上の場合、すなわち、前記の方法により算出された角度値が複数の格子と基準点の間の角度を利用して算出された三角比がサイン値およびコサイン値である場合、サイン値に対応する第2特徴マップとコサイン値に対応する第2特徴マップをそれぞれ個別的なチャネルにして生成することができる。
多様な実施例において、コンピューティング装置100は前記の方法により算出された第1角度値および第2角度値それぞれに対する第2特徴マップを独立的なチャネルとして生成でき、独立的に生成された第2特徴マップをチャネル結合することで、角度に関する3次元の第2特徴マップ40を生成することができる。
すなわち、コンピューティング装置100は距離に関する第2特徴マップと角度に関する第2特徴マップとリアルタイムで収集されるライダーセンサデータを加工して生成された第1特徴マップをチャネル結合して人工知能モデルの入力特徴マップを生成することによって、ライダーセンサデータの距離および角度に関する特徴を考慮できる入力特徴マップを生成することができるという利点がある。
また、コンピューティング装置100は前記の方法(例:
図6および7)により客体探知領域を対象に距離に関する第2特徴マップと角度に関する第2特徴マップを事前に生成しておいて、今後予め設定された周期またはリアルタイムで収集されるライダーセンサデータを加工して生成される複数の第1特徴マップに対して同一の第2特徴マップを共通して結合することで、効率的に入力特徴マップを生成できるという利点がある。
【0037】
前述したライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法は、図面に図示されたフローチャートを参照して説明した。簡単な説明のために、ライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法は一連のブロックで図示して説明したが、本発明は前記ブロックの順序に限定されず、いくつかのブロックは本明細書に図示されて叙述されたものと異なる順序で遂行されたりまたは同時に遂行され得る。また、本明細書および図面に記載されていない新しいブロックが追加されたり、一部のブロックが削除または変更された状態で遂行され得る。
以上、添付された図面を参照して本発明の実施例を説明したが、本発明が属する技術分野の通常の技術者は本発明がその技術的思想や必須の特徴を変更することなく他の具体的な形態で実施され得ることが理解できるであろう。したがって、以上で記述した実施例はすべての面で例示的なものであり、制限的ではないものと理解されるべきである。
【符号の説明】
【0038】
100:入力特徴マップ生成装置(コンピューティング装置)
200:使用者端末
300:外部サーバー
400:ネットワーク