(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024060590
(43)【公開日】2024-05-02
(54)【発明の名称】自律走行サービス検証のための仮想環境生成方法およびシステム
(51)【国際特許分類】
G06T 17/05 20110101AFI20240424BHJP
G08G 1/0969 20060101ALI20240424BHJP
【FI】
G06T17/05
G08G1/0969
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023175707
(22)【出願日】2023-10-11
(31)【優先権主張番号】10-2022-0135009
(32)【優先日】2022-10-19
(33)【優先権主張国・地域又は機関】KR
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ZIGBEE
2.BLUETOOTH
(71)【出願人】
【識別番号】521190897
【氏名又は名称】モライ インコーポレーティッド
(74)【代理人】
【識別番号】110002871
【氏名又は名称】弁理士法人坂本国際特許商標事務所
(72)【発明者】
【氏名】ジュン、ジウォン
(72)【発明者】
【氏名】ホン、ジュン
【テーマコード(参考)】
5B050
5H181
【Fターム(参考)】
5B050AA07
5B050BA09
5B050BA11
5B050BA13
5B050CA07
5B050CA08
5B050DA05
5B050EA26
5B050FA02
5B050FA05
5H181AA01
5H181BB04
5H181BB05
5H181BB12
5H181BB13
5H181CC03
5H181CC04
5H181CC14
5H181CC27
5H181FF04
5H181FF13
5H181FF22
5H181FF27
5H181FF32
5H181LL09
(57)【要約】
【課題】本発明は自律走行サービス検証のための仮想環境生成方法に関する。
【解決手段】この方法は、モバイルマッピングシステム(Mobile Mapping System)を利用して特定地域の精密道路地図を生成する段階、生成された精密道路地図の点群データ(Point Cloud Data)に基づいて特定地域の道路に関連した第1メッシュ(mesh)を生成する段階、特定地域の地形に関連した第2メッシュを生成する段階および第1メッシュおよび第2メッシュを整合して仮想環境を生成する段階を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
少なくとも一つのプロセッサによって遂行される、自律走行サービス検証のための仮想環境生成方法において、
モバイルマッピングシステム(Mobile Mapping System)を利用して特定地域の精密道路地図を生成する段階;
前記精密道路地図の点群データ(Point Cloud Data)に基づいて、前記特定地域の道路に関連した第1メッシュ(mesh)を生成する段階;
前記特定地域の地形に関連した第2メッシュを生成する段階;および
前記第1メッシュおよび前記第2メッシュを整合して仮想環境を生成する段階を含む、自律走行サービス検証のための仮想環境生成方法。
【請求項2】
前記第1メッシュは車両走行経路に関連したメッシュおよび前記車両走行経路の車線に関連したメッシュを含む、請求項1に記載の自律走行サービス検証のための仮想環境生成方法。
【請求項3】
前記精密道路地図の点群データ(Point Cloud Data)に基づいて、前記特定地域の道路に関連した第1メッシュ(mesh)を生成する段階は、
前記車両走行経路に関連したメッシュに前記車両走行経路の車線に関連したメッシュをオーバーレイして前記第1メッシュを生成する段階を含む、請求項2に記載の自律走行サービス検証のための仮想環境生成方法。
【請求項4】
前記第1メッシュおよび前記第2メッシュを整合して仮想環境を生成する段階は、
前記特定地域の構造物に関連したメッシュを前記第1メッシュおよび前記第2メッシュに整合して前記仮想環境を生成する段階を含み、
前記特定地域の構造物に関連したメッシュは前記構造物の3D客体モデル情報および位置情報に基づいて生成された、請求項1に記載の自律走行サービス検証のための仮想環境生成方法。
【請求項5】
自律走行サービス検証のための仮想環境生成システムにおいて、
通信モジュール;
メモリ;
ディスプレイ;および
前記メモリと連結され、前記メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサを含み、
前記少なくとも一つのプログラムは、
モバイルマッピングシステム(Mobile Mapping System)を利用して特定地域の精密道路地図を生成し、
前記精密道路地図の点群データ(Point Cloud Data)に基づいて、前記特定地域の道路に関連した第1メッシュ(mesh)を生成し、
前記特定地域の地形に関連した第2メッシュを生成し、
前記第1メッシュおよび前記第2メッシュを整合して仮想環境を生成するための命令語を含む、自律走行サービス検証のための仮想環境生成システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は自律走行サービス検証のための仮想環境生成方法およびシステムに関し、具体的には、精密道路地図から抽出された点群データに基づいてメッシュ(mesh)データを抽出し、メッシュデータを整合して仮想環境を生成する方法およびシステムに関する。
【背景技術】
【0002】
4次産業革命時代が到来し、自律走行は持続可能な発展などの多様な問題に対する解決策として浮上して本格的な成長がなされている。自律走行技術の発展が都市環境、生活の質など、私たちに及ぼす波及効果が大きいので、全世界の政府と企業は自律走行産業を新成長動力に選定し、積極的な研究開発を進めている。しかし、自律走行車両の普及が増加するほど発生可能な多様な状況で車両の運行能力検証が十分になされていないため、自律走行車両の安全性と信頼性問題が発生している。
【0003】
これは多数の自律走行車両が実道路を運行する前に発生し得る数多くのシナリオに対する徹底した検証の必要性を示している。しかし、実際に自律走行システムを検証するには時間的、費用的な制約が存在する。また、シミュレーションを通じて自律走行システムを検証する場合、現実と類似するように構築するためには精密道路地図、数値地形図、3D客体モデルなどの多様なデータセットが必要であり、データのモデルの変更作業が必要である。追加的に、前記にて要求されるデータを整合および構築するための手作業が遂行されるため、仮想環境を多様化する作業に多くの時間と費用が必要である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】韓国公開特許第10-2023-0114768号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は前記のような問題点を解決するための自律走行サービス検証のための仮想環境生成方法および装置(システム)を提供する。
【課題を解決するための手段】
【0006】
本開示は方法、装置(システム)または読み取り可能保存媒体に保存されたコンピュータプログラムを含んだ多様な方式で具現され得る。
【0007】
本開示の一実施例によると、自律走行サービス検証のための仮想環境生成方法は、モバイルマッピングシステム(Mobile Mapping System)を利用して特定地域の精密道路地図を生成する段階、生成された精密道路地図の点群データ(Point Cloud Data)に基づいて、特定地域の道路に関連した第1メッシュ(mesh)を生成する段階、特定地域の地形に関連した第2メッシュを生成する段階および第1メッシュおよび第2メッシュを整合して仮想環境を生成する段階を含むことができる。
【0008】
本開示の一実施例によると、自律走行サービス検証のための仮想環境生成システムが提供される。このシステムは、通信モジュール、メモリ、ディスプレイおよびメモリと連結され、メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサを含み、少なくとも一つのプログラムは、モバイルマッピングシステム(Mobile Mapping System)を利用して特定地域の精密道路地図を生成し、生成された精密道路地図の点群データ(Point Cloud Data)に基づいて、特定地域の道路に関連した第1メッシュ(mesh)を生成し、特定地域の地形に関連した第2メッシュを生成し、第1メッシュおよび第2メッシュを整合して仮想環境を生成するための命令語を含むことができる。
【発明の効果】
【0009】
本開示の多様な実施例によると、仮想環境生成の時間的、費用的な消耗を減少させて多様な地理環境の仮想環境構築が容易であり得る。これに伴い、多様な地域で自律走行車両の能力検証を通じて自律走行技術の高度化を達成することができる。
【0010】
本開示の効果は以上で言及した効果に制限されず、言及されていない他の効果は請求の範囲の記載から本開示が属する技術分野で通常の知識を有する者(「通常の技術者」という)に明確に理解され得るであろう。
【0011】
本開示の実施例は、以下で説明する添付図面を参照して説明され、ここで類似する参照番号は類似する要素を示すが、これに限定されはしない。
【図面の簡単な説明】
【0012】
【
図1】本開示の一実施例により自律走行サービス検証のための仮想環境が生成される例示を示す。
【
図2】本開示の一実施例に係る仮想環境を生成するために、情報処理システムが複数の使用者端末と通信可能であるように連結された構成を示す概要図である。
【
図3】本開示の一実施例に係る使用者端末および情報処理システムの内部構成を示すブロック図である。
【
図4】本開示の一実施例により複数のメッシュが整合されて仮想環境が生成される例示を示す図面である。
【
図5】本開示の一実施例に係る仮想環境が生成される例示を示すフローチャートである。
【
図6】本開示の一実施例に係る自律走行サービス検証のための仮想環境生成方法の例示を示すフローチャートである。
【発明を実施するための形態】
【0013】
<発明の概要>
【0014】
本開示の一実施例によると、第1メッシュは車両走行経路に関連したメッシュおよび車両走行経路の車線に関連したメッシュを含むことができる。
【0015】
本開示の一実施例によると、生成された精密道路地図の点群データ(Point Cloud Data)に基づいて特定地域の道路に関連した第1メッシュ(mesh)を生成する段階は、車両走行経路に関連したメッシュに車両走行経路の車線に関連したメッシュをオーバーレイして第1メッシュを生成する段階を含むことができる。
【0016】
本開示の一実施例によると、第1メッシュおよび第2メッシュを整合して仮想環境を生成する段階は、特定地域の構造物に関連したメッシュを第1メッシュおよび第2メッシュに整合して仮想環境を生成する段階を含むことができ、特定地域の構造物に関連したメッシュは構造物の3D客体モデル情報および位置情報に基づいて生成され得る。
【0017】
<発明の詳細な説明>
【0018】
以下、本開示の実施のための具体的な内容を添付された図面を参照して詳細に説明する。ただし、以下の説明では本開示の要旨を不要に曖昧にさせ得る恐れがある場合、広く知られている機能や構成に関する具体的な説明は省略することにする。
【0019】
添付された図面で、同一または対応する構成要素には同じ参照符号が付与されている。また、以下の実施例の説明において、同一または対応する構成要素を重複して記述することが省略され得る。しかし、構成要素に関する技術が省略されても、そのような構成要素がある実施例に含まれないものと意図されはしない。
【0020】
開示された実施例の利点および特徴、そしてそれらを達成する方法は、添付される図面と共に後述されている実施例を参照すれば明確になるであろう。しかし、本開示は以下で開示される実施例に限定されるものではなく、互いに異なる多様な形態で具現され得、ただし本実施例は本開示を完全なものとし、本開示が通常の技術者に発明の範疇を完全に知らせるために提供されるものに過ぎない。
【0021】
本明細書で使われる用語について簡略に説明し、開示された実施例について具体的に説明することにする。本明細書で使われる用語は本開示での機能を考慮しつつ、できる限り現在広く使われている一般的な用語を選択したが、これは関連分野に従事する技術者の意図または判例、新しい技術の出現などにより変わり得る。また、特定の場合は出願人が任意に選定した用語もあり、この場合、該当する発明の説明の部分で詳細にその意味を記載するであろう。したがって、本開示で使われる用語は単純な用語の名称ではなく、その用語が有する意味と本開示の全般にわたった内容に基づいて定義されるべきである。
【0022】
本明細書での単数の表現は文脈上明白に単数であると特定しない限り、複数の表現を含む。また、複数の表現は文脈上明白に複数であると特定しない限り、単数の表現を含む。明細書全体で或る部分が何らかの構成要素を含むとする時、これは特に反対の記載がない限り他の構成要素を除くものではなく他の構成要素をさらに含み得ることを意味する。
【0023】
また、明細書で使われる「モジュール」または「部」という用語はソフトウェアまたはハードウェア構成要素を意味し、「モジュール」または「部」は何らかの役割を遂行する。ところが、「モジュール」または「部」はソフトウェアまたはハードウェアに限定される意味ではない。「モジュール」または「部」はアドレッシングできる保存媒体にあるように構成されてもよく、一つまたはそれ以上のプロセッサを再生させるように構成されてもよい。したがって、一例として、「モジュール」または「部」はソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシーザー、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイまたは変数のうち少なくとも一つを含むことができる。構成要素と「モジュール」または「部」は、中で提供される機能はさらに小さい数の構成要素および「モジュール」または「部」で結合されるか追加的な構成要素と「モジュール」または「部」にさらに分離され得る。
【0024】
本開示の一実施例によると、「モジュール」または「部」はプロセッサおよびメモリで具現され得る。「プロセッサ」は汎用プロセッサ、中央処理装置(CPU)、マイクロプロセッサ、デジタル信号プロセッサ(DSP)、制御器、マイクロ制御器、状態マシンなどを含むように広く解釈されるべきである。いくつかの環境で、「プロセッサ」は特定用途向け半導体(ASIC)、プログラム可能ロジックデバイス(PLD)、フィールドプログラム可能ゲートアレイ(FPGA)等を指称し得る。「プロセッサ」とは、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、DSPコアと結合した一つ以上のマイクロプロセッサの組み合わせ、または任意の他のそのような構成の組み合わせのような処理デバイスの組み合わせを指称してもよい。また、「メモリ」は電子情報を保存可能な任意の電子コンポーネントを含むように広く解釈されるべきである。「メモリ」は任意アクセスメモリ(RAM)、読み取り-専用メモリ(ROM)、不揮発性任意アクセスメモリ(NVRAM)、プログラム可能読み取り-専用メモリ(PROM)、消去-プログラム可能読み取り専用メモリ(EPROM)、電気的に消去可能PROM(EEPROM)、フラッシュメモリ、磁気または光学データ保存装置、レジスタなどのようなプロセッサ-読み取り可能媒体の多様な類型を指称してもよい。プロセッサがメモリから情報を読み取り/読み取ったメモリに情報を記録できるのであれば、メモリはプロセッサと電子通信状態にあると呼ばれる。プロセッサに集積されたメモリはプロセッサと電子通信状態にある。
【0025】
本開示で、「システム」はサーバー装置とクラウド装置のうち少なくとも一つの装置を含むことができるが、これに限定されるものではない。例えば、システムは一つ以上のサーバー装置で構成され得る。他の例として、システムは一つ以上のクラウド装置で構成され得る。さらに他の例として、システムはサーバー装置とクラウド装置が共に構成されて動作することができる。
【0026】
本開示で、「ディスプレイ」はコンピューティング装置に関連した任意のディスプレイ装置を指称し得るが、例えば、コンピューティング装置によって制御されたりコンピューティング装置から提供された任意の情報/データを表示できる任意のディスプレイ装置を指称し得る。
【0027】
本開示で、「複数のAのそれぞれ」または「複数のAそれぞれ」は複数のAに含まれたすべての構成要素のそれぞれを指称するか、複数のAに含まれた一部構成要素のそれぞれを指称し得る。
【0028】
図1は本開示の一実施例により自律走行サービス検証のための仮想環境120が生成される例示を示す。精密道路地
図110は自律走行に要求される走行経路点、道路特性、道路周辺の客体などの実際の道路の主な要素をデータ化した道路データを指称し得る。精密道路地
図110の構築はMMS(Mobile Mapping System)装備を利用する。MMS装備は車両などの移動体に衛星航法装置(GNSS)、慣性航法装置(INS)、走行距離センサ(DMI)、ライダ(LiDAR)カメラなどのセンサを搭載して、道路の路面および周辺にある地形地物の位置と視覚情報を取得することができる。このような方式で構築された精密道路地
図110は幾何学的位置情報、属性情報などを含んでいるベクターファイル点群データ、映像データ、GNSS受信情報、基準点などを含むことができる。また、精密道路地
図110は走行用経路、交通標識または信号周期のうち少なくとも一つに関連した情報を含むことができる。
【0029】
一実施例において、生成された精密道路地
図110の点群データ(Point Cloud Data)が抽出され得る。抽出された点群データに基づいて特定地域の道路に関連した第1メッシュ(mesh)が生成され得る。ここで、第1メッシュは車両走行経路に関連したメッシュおよび車両走行経路の車線に関連したメッシュを含むことができる。車両走行経路に関連したメッシュは点群データに基づいて生成された特定地域の車両走行道路の外枠線を示すメッシュであり得る。また、車両走行経路の車線に関連したメッシュは点群データに基づいて生成された特定地域の車両走行道路の車線を示すメッシュのことである。追加的に、車両走行経路の車線に関連したメッシュが示す車両走行道路の車線の色相は該当車線の種類に対応する色相に変更され得る。
【0030】
一実施例において、特定地域の地形に関連した第2メッシュが生成され得る。ここで、第2メッシュは数値標高モデル(Digital Elevation Model)および衛星正射映像に基づいて生成され得る。具体的には、数値地形図の等高線データは数値標高モデル情報に変換され得る。また、衛星正射映像と数値標高モデル情報を整合して仮想環境120の地形情報を示す第2メッシュが生成され得る。
【0031】
一実施例において、第1メッシュおよび第2メッシュが整合されることによって仮想環境120が生成され得る。この場合、特定地域の構造物に関連したメッシュも共に整合されて仮想環境120が生成され得る。ここで、特定地域の構造物に関連したメッシュは構造物の3D客体モデル情報および構造物の位置情報に基づいて生成され得る。
【0032】
このような構成を通じて、仮想環境生成の時間的、費用的な消耗を減少させて多様な地理環境の仮想環境の構築が容易であり得る。これに伴い、多様な地域で自律走行車両の能力検証を通じて自律走行技術の高度化を達成することができる。
【0033】
図2は、本開示の一実施例に係る仮想環境を生成するために、情報処理システム230が複数の使用者端末210_1、210_2、210_3と通信可能であるように連結された構成を示す概要図である。図示された通り、複数の使用者端末210_1、210_2、210_3はネットワーク220を通じて仮想環境生成サービスを提供できる情報処理システム230と連結され得る。ここで、複数の使用者端末210_1、210_2、210_3は仮想環境生成サービスの提供を受ける使用者の端末を含むことができる。
【0034】
一実施例において、情報処理システム230は仮想環境生成サービスの提供などに関連したコンピュータ実行可能なプログラム(例えば、ダウンロード可能なアプリケーション)およびデータを保存、提供および実行できる一つ以上のサーバー装置および/またはデータベース、またはクラウドコンピューティングサービス基盤の一つ以上の分散コンピューティング装置および/または分散データベースを含むことができる。
【0035】
情報処理システム230により提供される仮想環境生成サービスは、複数の使用者端末210_1、210_2、210_3のそれぞれに設置された仮想環境生成サービスアプリケーションウェブブラウザまたはウェブブラウザ拡張プログラム等を通じて使用者に提供され得る。例えば、情報処理システム230は仮想環境生成サービスアプリケーション等を通じて使用者端末210_1、210_2、210_3から受信される仮想環境生成要請に対応する情報を提供または対応する処理を遂行できる。
【0036】
複数の使用者端末210_1、210_2、210_3はネットワーク220を通じて情報処理システム230と通信することができる。ネットワーク220は複数の使用者端末210_1、210_2、210_3と情報処理システム230の間の通信が可能であるように構成され得る。ネットワーク220は設置環境により、例えば、イーサネット(Ethernet)、有線ホームネットワーク(Power Line Communication)、電話線通信装置およびRS-serial通信などの有線ネットワーク、移動通信網、WLAN(Wireless LAN)、Wi-Fi、BluetoothおよびZigBeeなどのような無線ネットワークまたはその組み合わせで構成され得る。通信方式は制限されず、ネットワーク220が含むことができる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など)を活用する通信方式だけでなく、使用者端末210_1、210_2、210_3の間の近距離無線通信も含まれ得る。
【0037】
図2で携帯電話端末210_1、タブレット端末210_2およびPC端末210_3が使用者端末の例として図示されたが、これに限定されず、使用者端末210_1、210_2、210_3は有線および/または無線通信が可能であり、仮想環境生成サービスアプリケーションまたはウェブブラウザなどが設置されて実行され得る任意のコンピューティング装置であり得る。例えば、使用者端末は、AIスピーカー、スマートフォン、携帯電話、ナビゲーション、コンピュータ、ノートパソコン、デジタル放送用端末、PDA(Personal Digital Assistants)、PMP(Portable Multimedia Player)、タブレットPC、ゲームコンソール(game console)、ウェアラブルデバイス(wearable device)、IoT(internet of things)デバイス、VR(virtual reality)デバイス、AR(augmented reality)デバイス、セットトップボックスなどを含むことができる。また、
図2には3個の使用者端末210_1、210_2、210_3がネットワーク220を通じて情報処理システム230と通信するものとして図示されているが、これに限定されず、異なる数の使用者端末がネットワーク220を通じて情報処理システム230と通信するように構成されてもよい。
【0038】
図3は、本開示の一実施例に係る使用者端末210および情報処理システム230の内部構成を示すブロック図である。使用者端末210はアプリケーション、ウェブブラウザなどが実行可能であり、有線/無線通信が可能な任意のコンピューティング装置を指称し得、例えば、
図2の携帯電話端末210_1、タブレット端末210_2、PC端末210_3等を含むことができる。図示された通り、使用者端末210はメモリ312、プロセッサ314、通信モジュール316および入出力インターフェース318を含むことができる。これと同様に、情報処理システム230はメモリ332、プロセッサ334、通信モジュール336および入出力インターフェース338を含むことができる。
図3に図示された通り、使用者端末210および情報処理システム230は、それぞれの通信モジュール316、336を利用してネットワーク220を通じて情報および/またはデータを通信できるように構成され得る。また、入出力装置320は入出力インターフェース318を通じて使用者端末210に情報および/またはデータを入力したり使用者端末210から生成された情報および/またはデータを出力するように構成され得る。
【0039】
メモリ312、332は非一時的な任意のコンピュータ読み取り可能な記録媒体を含むことができる。一実施例によると、メモリ312、332はROM(read only memory)、ディスクドライブ、SSD(solid state drive)、フラッシュメモリ(flash memory)などのような非消滅性大容量保存装置(permanent mass storage device)を含むことができる。他の例として、ROM、SSD、フラッシュメモリ、ディスクドライブなどのような非消滅性大容量保存装置はメモリとは区分される別途の永久保存装置であって、使用者端末210または情報処理システム230に含まれ得る。また、メモリ312、332には運営体制と少なくとも一つのプログラムコードが保存され得る。
【0040】
このようなソフトウェア構成要素は、メモリ312、332とは別途のコンピュータで読み取り可能な記録媒体からローディングされ得る。このような別途のコンピュータで読み取り可能な記録媒体はこのような使用者端末210および情報処理システム230に直接連結可能な記録媒体を含むことができるが、例えば、フロッピードライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含むことができる。他の例として、ソフトウェア構成要素はコンピュータで読み取り可能な記録媒体でない通信モジュール316、336を通じてメモリ312、332にローディングされてもよい。例えば、少なくとも一つのプログラムは開発者またはアプリケーションの設置ファイルを配布するファイル配布システムがネットワーク220を通じて提供するファイルによって設置されるコンピュータプログラムに基づいてメモリ312、332にローディングされ得る。
【0041】
プロセッサ314、334は基本的な算術、ロジックおよび入出力演算を遂行することによって、コンピュータプログラムの命令を処理するように構成され得る。命令はメモリ312、332または通信モジュール316、336によりプロセッサ314、334に提供され得る。例えば、プロセッサ314、334はメモリ312、332のような記録装置に保存されたプログラムコードにより受信される命令を実行するように構成され得る。
【0042】
通信モジュール316、336はネットワーク220を通じて使用者端末210と情報処理システム230が互いに通信するための構成または機能を提供することができ、使用者端末210および/または情報処理システム230が他の使用者端末または他のシステム(一例として、別途のクラウドシステムなど)と通信するための構成または機能を提供することができる。一例として、使用者端末210のプロセッサ314がメモリ312などのような記録装置に保存されたプログラムコードにより生成した要請またはデータ(例えば、仮想環境生成要請など)は、通信モジュール316の制御によりネットワーク220を通じて情報処理システム230に伝達され得る。逆に、情報処理システム230のプロセッサ334の制御により提供される制御信号や命令が通信モジュール336とネットワーク220を経て、使用者端末210の通信モジュール316を通じて使用者端末210に受信され得る。
【0043】
入出力インターフェース318は入出力装置320とのインターフェースのための手段であり得る。一例として、入力装置はオーディオセンサおよび/またはイメージセンサを含んだカメラ、キーボード、マイクロホン、マウスなどの装置を、そして出力装置はディスプレイ、スピーカー、ハプティックフィードバックデバイス(haptic feedback device)などのような装置を含むことができる。他の例として、入出力インターフェース318はタッチスクリーンなどのように、入力と出力を遂行するための構成または機能が一つに統合された装置とのインターフェースのための手段であり得る。例えば、使用者端末210のプロセッサ314がメモリ312にローディングされたコンピュータプログラムの命令を処理するにおいて、情報処理システム230や他の使用者端末が提供する情報および/またはデータを利用して構成されるサービス画面などが入出力インターフェース318を通じてディスプレイに表示され得る。
図3では入出力装置320が使用者端末210に含まれないように図示されているが、これに限定されず、使用者端末210と一つの装置で構成され得る。また、情報処理システム230の入出力インターフェース338は情報処理システム230と連結されるか情報処理システム230が含むことができる入力または出力のための装置(図示されず)とのインターフェースのための手段であり得る。
図3では入出力インターフェース318、338がプロセッサ314、334と別途に構成された要素として図示されたが、これに限定されず、入出力インターフェース318、338がプロセッサ314、334に含まれるように構成され得る。
【0044】
使用者端末210および情報処理システム230は
図3の構成要素よりさらに多くの構成要素を含むことができる。しかし、大部分の従来技術的構成要素を明確に図示する必要性はない。一実施例において、使用者端末210は前述された入出力装置320のうち少なくとも一部を含むように具現され得る。また、使用者端末210はトランシーバー(transceiver)、GPS(Global Positioning system)モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含むことができる。例えば、使用者端末210がスマートフォンである場合、一般的にスマートフォンが含んでいる構成要素を含むことができ、例えば、加速度センサ、ジャイロセンサ、マイクモジュール、カメラモジュール、各種物理的なボタン、タッチパネルを利用したボタン、入出力ポート、振動のための振動器などの多様な構成要素が使用者端末210にさらに含まれるように具現され得る。
【0045】
仮想環境生成サービスアプリケーションなどのためのプログラムが動作する間に、プロセッサ314は入出力インターフェース318と連結されたタッチスクリーン、キーボード、オーディオセンサおよび/またはイメージセンサを含んだカメラ、マイクロホンなどの入力装置を通じて入力されたり選択されたテキスト、イメージ、映像、音声および/または動作などを受信でき、受信されたテキスト、イメージ、映像、音声および/または動作などをメモリ312に保存したり通信モジュール316およびネットワーク220を通じて情報処理システム230に提供することができる。
【0046】
使用者端末210のプロセッサ314は入出力装置320、他の使用者端末、情報処理システム230および/または複数の外部システムから受信された情報および/またはデータを管理、処理および/または保存するように構成され得る。プロセッサ314により処理された情報および/またはデータは通信モジュール316およびネットワーク220を通じて情報処理システム230に提供され得る。使用者端末210のプロセッサ314は入出力インターフェース318を通じて入出力装置320に情報および/またはデータを伝送して出力することができる。例えば、プロセッサ314は受信した情報および/またはデータを使用者端末210の画面にディスプレイすることができる。
【0047】
情報処理システム230のプロセッサ334は複数の使用者端末210および/または複数の外部システムから受信された情報および/またはデータを管理、処理および/または保存するように構成され得る。プロセッサ334により処理された情報および/またはデータは通信モジュール336およびネットワーク220を通じて使用者端末210に提供することができる。
【0048】
図4は、本開示の一実施例により複数のメッシュ410、420が整合されて仮想環境430が生成される例示を示す図面である。仮想環境を生成するために、精密道路地図の点群データが抽出され得る。抽出された点群データに基づいて、道路の詳細な表面を具現し、道路周辺環境を示すメッシュが生成され得る。
【0049】
一実施例において、精密道路地図の点群データに基づいて、車両走行経路に関連したメッシュ(またはロードメッシュ)410および車両走行経路の車線に関連したメッシュ(またはレーンメッシュ)420が生成され得る。ここで、ロードメッシュ410は精密道路地図の道路の外枠線を利用して生成された道路を示し得る。また、レーンメッシュ420は3Dモデリング道具を利用してそれぞれのロードメッシュ410の上にオーバーレイされて整合され得る。この場合、レーンメッシュ420は走行車線の種類(例えば、実線、点線、二重線、単線など)に対応する色相を自動で生成することができる。
【0050】
一実施例において、特定地域の地形に関連したメッシュ(またはテレインメッシュ)が生成され得る。具体的には、数値地形図の等高線データは数値標高モデル情報に変換され得る。また、衛星正射映像と数値標高モデル情報が整合されることによって仮想環境120の地形情報を示すテレインメッシュ(terrain mesh)が生成され得る。
【0051】
一実施例において、ロードメッシュ410、レーンメッシュ420およびテレインメッシュが整合されて仮想環境430が生成され得る。この場合、道路周辺構造物に関連したメッシュが共に整合されて現実感のある仮想環境430が生成され得る。ここで、道路周辺構造物に関連したメッシュは構造物の3D客体モデル情報および構造物の位置情報に基づいて生成され得る。
【0052】
図5は、本開示の一実施例に係る仮想環境が生成される例示を示すフローチャートである。一実施例において、高精密地図(HD Map)から仮想環境生成のための情報を抽出することができる。ここで、高精密地図は精密道路地図間の互換性問題を解決するための一つの共通した精密道路地図フォーマットである「Mgeo」に変換され得る。精密道路地図の点群データに基づいて、車両走行経路に関連したロードメッシュ(road mesh)および車両走行経路の車線に関連したレーンメッシュ(lane mesh)が生成され得る。ここで、レーンメッシュの車両経路車線の色相は車線の種類によって色相が自動で変更され得る。また、レーンメッシュはロードメッシュにオーバーレイされて整合され得る。
【0053】
一実施例において、精密道路地図から配置用データ(placement data)を抽出することができる。この場合、配置用データに基づいて、交通標識に関連したデータが生成され得る。また、作動ロジックデータ(operating logic data)および配置用データから信号灯に関連したデータが生成され得る。このような交通標識および信号灯に関連したデータおよび3D客体データ(3D object data)を利用して客体メッシュ(object mesh)が生成され得る。
【0054】
一実施例において、精密道路地図から抽出された点群データ(point cloud data)は精密な3次元空間情報を含むことができる。点群データおよび数値地形図の等高線データを利用して生成された数値標高モデルの情報および衛星正射映像データ(satellite image data)が整合されて仮想環境の地形情報を示すテレインメッシュ(terrain mesh)が生成され得る。
【0055】
一実施例において、メッシュが整合されて仮想環境が生成され得る。具体的には、レーンメッシュがオーバーレイされたロードメッシュ、客体メッシュおよびテレインメッシュが整合されて現実感のある仮想環境が生成され得る。
【0056】
図6は、本開示の一実施例に係る自律走行サービス検証のための仮想環境生成方法600の例示を示すフローチャートである。一実施例において、方法600は少なくとも一つのプロセッサによって遂行され得る。方法600は、プロセッサがモバイルマッピングシステム(Mobile Mapping System)を利用して特定地域の精密道路地図を生成することで開始され得る(S610)。
【0057】
生成された精密道路地図の点群データ(Point Cloud Data)に基づいて、プロセッサは特定地域の道路に関連した第1メッシュ(mesh)を生成することができる(S620)。ここで、第1メッシュは車両走行経路に関連したメッシュおよび車両走行経路の車線に関連したメッシュを含むことができる。また、プロセッサは車両走行経路に関連したメッシュに車両走行経路の車線に関連したメッシュをオーバーレイして第1メッシュを生成することができる。
【0058】
プロセッサは特定地域の地形に関連した第2メッシュを生成することができる(S630)。その後、プロセッサは第1メッシュおよび第2メッシュを整合して仮想環境を生成することができる(S640)。この場合、プロセッサは特定地域の構造物に関連したメッシュを第1メッシュおよび第2メッシュに整合して仮想環境を生成することができる。ここで、特定地域の構造物に関連したメッシュは構造物の3D客体モデル情報および位置情報に基づいて生成され得る。
【0059】
前述した方法は、コンピュータで実行するためにコンピュータ読み取り可能な記録媒体に保存されたコンピュータプログラムで提供され得る。媒体はコンピュータで実行可能なプログラムを保存し続けるか、実行またはダウンロードのために臨時保存するものであってもよい。また、媒体は単一または数個のハードウェアが結合された形態の多様な記録手段または保存手段であり得るが、或るコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散存在するものであってもよい。媒体の例示としては、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、CD-ROMおよびDVDのような光記録媒体、フロプティカルディスク(floptical disk)のような磁気-光媒体(magneto optical medium)、およびROM、RAM、フラッシュメモリなどを含んでプログラム命令語が保存されるように構成されたものがあり得る。また、他の媒体の例示として、アプリケーションを流通するアプリストアやその他の多様なソフトウェアを供給乃至流通するサイト、サーバーなどで管理する記録媒体乃至保存媒体も挙げられる。
【0060】
本開示の方法、動作または技法は多様な手段によって具現されてもよい。例えば、このような技法はハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせで具現されてもよい。本願の開示と連係して説明された多様な例示的な論理的ブロック、モジュール、回路、およびアルゴリズム段階は電子ハードウェア、コンピュータソフトウェア、または両者の組み合わせで具現されてもよいことを通常の技術者は理解できるであろう。ハードウェアおよびソフトウェアのこのような相互の代替を明確に説明するために、多様な例示的な構成要素、ブロック、モジュール、回路、および段階がそれらの機能的観点で一般的に前記にて説明された。そのような機能がハードウェアで具現されるかまたはソフトウェアで具現されるかの可否は、特定アプリケーションおよび全体システムに賦課される設計要求事項により変わる。通常の技術者はそれぞれの特定アプリケーションのために多様な方式で説明された機能を具現してもよいが、そのような具現は本開示の範囲から逸脱するものと解釈されてはならない。
【0061】
ハードウェアの具現において、技法を遂行するのに利用されるプロセッシングユニットは、一つ以上のASIC、DSP、デジタル信号プロセッシングデバイス(digital signal processing devices;DSPD)、プログラム可能論理デバイス(programmable logic devices;PLD)、フィールドプログラム可能ゲートアレイ(field programmable gate arrays;FPGA)、プロセッサ、制御器、マイクロ制御器、マイクロプロセッサ、電子デバイス、本開示に説明された機能を遂行するように設計された他の電子ユニット、コンピュータ、またはこれらの組み合わせ内で具現されてもよい。
【0062】
したがって、本開示と連係して説明された多様な例示的な論理ブロック、モジュール、および回路は汎用プロセッサ、DSP、ASIC、FPGAや他のプログラム可能論理デバイス、離散ゲートやトランジスタロジック、離散ハードウェアコンポーネント、または本願に説明された機能を遂行するように設計されたものなどの任意の組み合わせで具現されたり遂行されてもよい。汎用プロセッサはマイクロプロセッサであり得るが、代案として、プロセッサは任意の従来のプロセッサ、制御器、マイクロ制御器、または状態マシンであってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、DSPとマイクロプロセッサ、複数のマイクロプロセッサ、DSPコアと連係した一つ以上のマイクロプロセッサ、または任意の他の構成の組み合わせで具現されてもよい。
【0063】
ファームウェアおよび/またはソフトウェアの具現において、技法はランダムアクセスメモリ(random access memory;RAM)、読み取り専用メモリ(read-only memory;ROM)、不揮発性RAM(non-volatile random access memory;NVRAM)、PROM(programmable read-only memory)、EPROM(erasable programmable read-only memory)、EEPROM(electrically erasable PROM)、フラッシュメモリ、コンパクトディスク(compact disc;CD)、磁気または光学データストレージデバイスなどのようなコンピュータ読み取り可能媒体上に保存された命令で具現されてもよい。命令は一つ以上のプロセッサによって実行可能であってもよく、プロセッサ(ら)によって、本開示に説明された機能の特定様態を遂行するようにしてもよい。
【0064】
ソフトウェアで具現される場合、前記技法は一つ以上の命令またはコードでコンピュータ読み取り可能な媒体上に保存されるかまたはコンピュータ読み取り可能な媒体を通じて伝送されてもよい。コンピュータ読み取り可能媒体は一つの場所から他の場所にコンピュータプログラムの伝送を容易にする任意の媒体を含んでコンピュータ保存媒体および通信媒体の両者を含む。保存媒体はコンピュータによってアクセスされ得る任意の利用可能な媒体であってもよい。非制限的な例として、このようなコンピュータ読み取り可能媒体はRAM、ROM、EEPROM、CD-ROMまたは他の光学ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、または所望のプログラムコードを命令またはデータ構造の形態で移送または保存するために使われ得、コンピュータによってアクセスされ得る任意の他の媒体を含むことができる。また、任意の接続がコンピュータ読み取り可能媒体で適切に行われる。
【0065】
例えば、ソフトウェアが同軸ケーブル、光ファイバーケーブル、撚線、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波のような無線技術を使ってウェブサイト、サーバー、または他の遠隔ソースから伝送されると、同軸ケーブル、光ファイバーケーブル、撚線、デジタル加入者回線、または赤外線、無線、およびマイクロ波のような無線技術は媒体の定義内に含まれる。本願で使われたディスク(disk)とディスク(disc)は、CD、レーザーディスク、光ディスク、DVD(digital versatile disc)、フロッピーディスク、およびブルーレイディスクを含み、ここでディスク(disks)は普通磁気的にデータを再生し、その反面ディスク(discs)はレーザーを利用して光学的にデータを再生する。前記の組み合わせもコンピュータ読み取り可能媒体の範囲内に含まれるべきである。
【0066】
ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、移動式ディスク、CD-ROM、または公知の任意の他の形態の保存媒体内に常駐してもよい。例示的な保存媒体は、プロセッサが保存媒体から情報を読み取ったり保存媒体に情報を記録できるように、プロセッサに連結され得る。代案として、保存媒体はプロセッサに統合されてもよい。プロセッサと保存媒体はASIC内に存在してもよい。ASICは使用者端末内に存在してもよい。代案として、プロセッサと保存媒体は使用者端末で個別の構成要素として存在してもよい。
【0067】
以上で説明された実施例が一つ以上の独立型コンピュータシステムで現在開示された主題の様態を活用するものとして記述されたが、本開示はこれに限定されず、ネットワークや分散コンピューティング環境のような任意のコンピューティング環境と連係して具現されてもよい。ひいては、本開示で主題の様相は複数のプロセッシングチップや装置で具現されてもよく、ストレージは複数の装置において似ているように影響を受けることになることもある。このような装置はPC、ネットワークサーバー、および携帯用装置を含んでもよい。
【0068】
本明細書では本開示が一部の実施例に関連して説明されたが、本開示の発明が属する技術分野の通常の技術者が理解できる本開示の範囲を逸脱しない範囲で多様な変形および変更がなされ得る。また、そのような変形および変更は本明細書に添付された特許請求の範囲内に属するものと考えられるべきである。
【符号の説明】
【0069】
110:精密道路地図
120:仮想環境