(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-28
(45)【発行日】2023-08-07
(54)【発明の名称】道路情報変化領域補完方法及びシステム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230731BHJP
G06T 11/60 20060101ALI20230731BHJP
G09B 29/00 20060101ALI20230731BHJP
【ＦＩ】
G06T7/00 650A
G06T7/00 350C
G06T11/60 300
G09B29/00 Z
【請求項の数】
18
(21)【出願番号】P 2021193837
(22)【出願日】2021-11-30
(65)【公開番号】P2022111060
(43)【公開日】2022-07-29
【審査請求日】2021-11-30
(31)【優先権主張番号】10-2021-0006727
(32)【優先日】2021-01-18
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】319012978
【氏名又は名称】ネイバーラボス コーポレーション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ピョ セヨン
(72)【発明者】
【氏名】イ ジンハン
【審査官】小池 正彦
(56)【参考文献】
【文献】特開２０１０－２３７１２４（ＪＰ，Ａ）
【文献】特開２０１２－０１８１７０（ＪＰ，Ａ）
【文献】特開２０１８－００５８１９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０２９２３２６（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １１／６０
Ｇ０９Ｂ ２９／００
(57)【特許請求の範囲】
【請求項1】
地図データおける道路情報変化領域を補完する方法であって、移動体に設置された少なくとも一つのセンサを通して、前記移動体の一定の移動間隔又は周期毎に入力される複数の道路情報データを受信するステップと、
前記受信された複数の道路情報データに基づいて、複数の点群データを生成するステップと、
前記生成された複数の点群データに基づいて、道路面高さデータを生成するステップと、
前記生成された道路面高さデータに基づいて、前記生成された複数の点群データを補正するステップと、
前記補正された複数の点群データに基づいて、オルソ画像を生成するステップと、
前記生成されたオルソ画像に基づいて、既保存の地図データをアップデートするステップ、
を含む、方法。
【請求項2】
前記少なくとも一つのセンサを通して、前記移動体の一定の移動間隔又は周期毎に入力される複数の道路情報データを受信するステップは、第１のカメラセンサを通して、前記移動体の一定の移動間隔又は周期毎に入力される複数の第１の画像データを受信するステップと、
第２のカメラセンサを通して、前記移動体の一定の移動間隔又は周期毎に入力される複数の第２の画像データを受信するステップと、
を含む、請求項１に記載の方法。
【請求項3】
前記受信された複数の道路情報データに基づいて複数の点群データを生成するステップは、前記複数の第１の画像データと前記複数の第２の画像データとの間のデンスマッチングにより、前記複数の点群データを生成するステップ、
を含む、請求項２に記載の方法。
【請求項4】
前記生成された複数の点群データに基づいて道路面高さデータを生成するステップは、前記生成された複数の点群データに対し、前記移動体との距離に反比例する値を持つ逆距離加重値を適用して、前記道路面高さデータを生成するステップ、
を含む、請求項１乃至３の何れか一項に記載の方法。
【請求項5】
前記生成された道路面高さデータに基づいて、前記生成された複数の点群データを補正するステップは、前記センサから前記複数の点群データの第１のポイントを通過する仮想の線が前記道路面高さデータと交わる第２のポイントをもって、前記第１のポイントを修正するステップ、
を含む、請求項１乃至４の何れか一項に記載の方法。
【請求項6】
前記方法は、さらに、前記受信された複数の道路情報データに含まれた画像データから道路上の客体を抽出するステップ、を含み、
前記生成された複数の点群データに基づいて道路面高さデータを生成するステップは、
前記生成された複数の点群データのうち、前記抽出された道路上の客体に対応する点群データを除いた点群データに基づいて、前記道路面高さデータを生成するステップ、
を含む、請求項１乃至５の何れか一項に記載の方法。
【請求項7】
前記受信された複数の道路情報データに含まれた画像データから道路上の客体を抽出するステップは、人工ニューラルネットワーク基盤のセマンティックセグメンテーションモデルを用いて、前記受信された複数の道路情報データに含まれた画像データから道路上の客体を抽出するステップ、
を含む、請求項６に記載の方法。
【請求項8】
前記方法は、さらに、前記受信された複数の道路情報データのうちの少なくとも一つと、前記既保存の地図データとをマッチングして前記移動体の姿勢を補正することにより、前記移動体の走行軌跡を得るステップ、
を含む、請求項１乃至７の何れか一項に記載の方法。
【請求項9】
前記生成されたオルソ画像に基づいて、既保存の地図データをアップデートするステップは、前記生成されたオルソ画像及び前記既保存の地図データをユーザ端末に提供するステップと、
前記ユーザ端末から前記生成されたオルソ画像に対する使用の可否に対する応答を受信するステップと、
前記受信された応答に基づいて、前記生成されたオルソ画像を前記既保存の地図データのうちの対応する領域に反映するステップと、
を含む、請求項１に記載の方法。
【請求項10】
前記生成されたオルソ画像に基づいて、既保存の地図データをアップデートするステップは、前記生成されたオルソ画像及び前記既保存の地図データに基づいて、前記既保存の地図データのうちの道路情報変化領域を感知するステップと、
前記既保存の地図データのうちの前記道路情報変化領域に前記生成されたオルソ画像を反映するステップと、
を含む、請求項１に記載の方法。
【請求項11】
前記生成されたオルソ画像に基づいて、既保存の地図データをアップデートするステップは、同じ位置に対して互いに異なる複数のオルソ画像が存在する場合、前記地図データを前記複数のオルソ画像に対応する複数のレイヤ形態でアップデートするステップ、
を含む、請求項１に記載の方法。
【請求項12】
前記方法は、さらに、前記既保存の地図データのうちの道路情報変化領域の位置を受信するステップ、を含み、
前記受信された複数の道路情報データは、前記道路情報変化領域で移動する前記移動体に設置された少なくとも一つのセンサを通して入力される道路情報データである、
請求項１乃至１１の何れか一項に記載の方法。
【請求項13】
請求項１乃至１２の何れか一項に係る方法をコンピュータで実行するためのコンピュータで読み取り可能なコンピュータプログラム。
【請求項14】
地図データおける道路情報変化領域を補完するシステムであって、通信モジュールと、
メモリと、
前記メモリと連結され、前記メモリに含まれたコンピュータで読み取り可能な少なくとも一つのプログラムを実行するように構成された、少なくとも一つのプロセッサと、を含み、
前記少なくとも一つのプログラムは、
移動体に設置された少なくとも一つのセンサを通して、前記移動体の一定の移動間隔又は周期毎に入力される複数の道路情報データを受信し、
前記受信された複数の道路情報データに基づいて、複数の点群データを生成し、
前記生成された複数の点群データに基づいて、道路面高さデータを生成し、
前記生成された道路面高さデータに基づいて、前記生成された複数の点群データを補正し、 前記補正された複数の点群データに基づいて、オルソ画像を生成し、
前記生成されたオルソ画像に基づいて、既保存の地図データをアップデートする、
ための命令語を含む、システム。
【請求項15】
前記少なくとも一つのセンサは、少なくとも２つのカメラセンサを含み、前記少なくとも一つのプログラムは、さらに、
第１のカメラセンサを通して、前記移動体の一定の移動間隔又は周期毎に入力される複数の第１の画像データを受信し、
第２のカメラセンサを通して、前記移動体の一定の移動間隔又は周期毎に入力される複数の第２の画像データを受信する、
ための命令語を含む、請求項１４に記載のシステム。
【請求項16】
前記少なくとも一つのプログラムは、さらに、前記複数の第１の画像データと前記複数の第２の画像データとの間のデンスマッチングにより、前記複数の点群データを生成する、
ための命令語を含む、請求項１５に記載のシステム。
【請求項17】
前記少なくとも一つのプログラムは、さらに、生成された複数の点群データに対して、前記移動体との距離に反比例する値を持つ逆距離加重値を適用して、前記道路面高さデータを生成する、
ための命令語を含む、請求項１４乃至１６の何れか一項に記載のシステム。
【請求項18】
前記少なくとも一つのプログラムは、前記センサから前記複数の点群データの第１のポイントを通過する仮想の線が前記道路面高さデータと交わる第２のポイントをもって、前記第１のポイントを修正する、
ための命令語を含む、請求項１４乃至１７の何れか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、道路情報変化領域補完方法及びシステムに関し、具体的には、移動体に設置された少なくとも一つのセンサを通して入力される複数の道路情報データを用いて、地図データをアップデートする方法及びシステムに関する。
【背景技術】
【0002】
最近、自動走行車両や道路走行情報に対する関心及び重要性の増大に伴い、道路の車線や路面標示などのように車両の走行時に必要な情報を含む高精度地図（HDD map: high definition map）又はロード－レイアウト地図（road-layout map）の構築が行われている。一般に、ロード－レイアウト地図は、高精度の航空写真を用いて製作されるが、航空写真から必要な道路又は構造物の情報が抽出され、ベクトルデータとして生成及び保存される。
【0003】
現在の道路の最新状態又は情報が反映されているか否かにより、ロード－レイアウト地図の正確性が決定されるため、当該地図に表現された道路の車線や路面標示などの変化を迅速に探知し、ロード－レイアウト地図を修正して、最新性を維持する必要がある。しかしながら、ロード－レイアウト地図上において、いつ発生するかも知れない変化を検出するために高精度の航空写真を周期的に取得することは、高コストを必要とするので、非効率的である。
【0004】
一方、道路の３次元地図は、高価のＭＭＳ（mobile mapping system）装備を用いた地上測量に基づいて製作されている。ＭＭＳ装備等は、ＧＰＳ（global positioning system）に基づいた３次元走行経路において、ＬＩＤＡＲ（light detection and ranging）又はカメラから得たポイント等の３次元座標などを融合して３次元地図を生成する。このようなＭＭＳに基づいた３次元地図の精度を高めるために、地上の補正点を活用して３次元地図を最適化できるが、ＧＰＳ等の測定結果がよくない場合、地図の信頼性が低下するという問題点を持つ。また、ＭＭＳに基づいた地上測量方式は、広い地域の地図を製作したり、道路の変化を感知して修正したりするのに多くの費用及び時間を必要とするという問題点を持つ。
【先行技術文献】
【特許文献】
【0005】
【文献】韓国登録特許第１０－０２６６０３６号
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示は、前記のような問題を解決するための道路情報変化領域補完方法、コンピュータプログラム、及びシステム（装置）を提供する。
【課題を解決するための手段】
【0007】
本開示は、方法、システム、装置、又はコンピュータで読み取り可能な保存媒体に保存されたコンピュータプログラムを含む多様な方式により具現できる。
【0008】
本開示の一実施例に係る道路情報変化領域を補完する方法は、移動体に設置された少なくとも一つのセンサを通して、移動体の一定の移動間隔又は周期毎に入力される複数の道路情報データを受信するステップ、受信された複数の道路情報データに基づいて複数の点群（point cloud）データを生成するステップ、生成された複数の点群データに基づいて道路面高さデータを生成するステップ、生成された道路面高さデータに基づいて生成された複数の点群データを補正するステップ、補正された複数の点群データに基づいてオルソ画像（ortho-image）を生成するステップ、を含む。
【0009】
本開示の一実施例によれば、前述した方法をコンピュータで実行するためのコンピュータで読み取り可能なコンピュータプログラムが提供される。
【0010】
本開示の一実施例に係る道路情報変化領域補完システムは、通信モジュール、メモリ、及び、メモリと連結され、メモリに含まれたコンピュータで読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサを含み、少なくとも一つのプログラムは、移動体に設置された少なくとも一つのセンサを通して、移動体の一定の移動間隔又は周期毎に入力される複数の道路情報データを受信し、受信された複数の道路情報データに基づいて複数の点群データを生成し、生成された複数の点群データに基づいて道路面高さデータを生成し、生成された道路面高さデータに基づいて生成された複数の点群データを補正し、補正された複数の点群データに基づいてオルソ画像を生成する、ための命令語等を含む。
【発明の効果】
【0011】
本開示の多様な実施例によれば、高精密の航空写真と比較するとき、相対的に低コストで得られるＭＭＳデータに基づいて、地図データ上において道路情報変化領域に対する効果的なアップデートを実行できる。
【0012】
本開示の多様な実施例において、ＭＭＳ車両に設置されたステレオカメラを通して得られたＭＭＳデータを用いて、既存の航空地図（すなわち、既保存の地図データ）と同じ姿勢のビュー（view）に該当する地図（すなわち、ＭＭＳ正射地図）を生成できる。これにより、ユーザは、同じ姿勢のビューに該当するＭＭＳ正射地図と、既保存の地図データとを容易に比較及び分析できる。また、ユーザは、既保存の地図データに含まれたロード－レイアウト情報の変化の可否を容易に判断でき、地図データを修正／補完できる。
【0013】
本開示の多様な実施例においては、点群データに基づいて道路面高さデータやオルソ画像などを生成するので、道路の路面屈曲又はその変化に対する正確な３次元情報を地図データに反映できる。また、本開示の実施例等は、路面の以外にも建物や街灯／信号灯などのような３次元座標も抽出できるという拡張性を持つ。
【0014】
本開示の効果は、これに制限されず、言及されない他の効果等は、請求の範囲の記載から本開示が属する技術の分野における通常の知識を有する者（“当業者”という）に明確に理解されるべきである。
【図面の簡単な説明】
【0015】
本開示の実施例等は、以下の添付図面に基づいて説明される。ここで、類似の参照番号は類似の要素を示すが、これに限定されるものではない。
【図1】本開示の一実施例に係る道路情報変化領域補完システムが、地図データから道路情報変化領域を補完する例を示す図である。
【図2】本開示の一実施例に係る道路情報変化領域補完システムの内部構成を示すブロック図である。
【図3】本開示の一実施例に係る道路情報変化領域補完システムのプロセッサの内部構成を示すブロック図である。
【図4】本開示の一実施例に係る道路情報変化領域補完方法を示すフローチャートである。
【図5】本開示の一実施例に係るカメラセンサを通して入力される画像データ間のデンスマッチングにより点群データを生成する動作を示す図である。
【図6】本開示の一実施例に係る道路面高さデータを生成する動作を示す図である。
【図7】本開示の一実施例に係る道路面高さデータに基づいて点群データを補正する動作を示す図である。
【図8】本開示の一実施例に係る道路上の客体を抽出する動作を示す図である。
【図9】本開示の一実施例に係る地図データをアップデートする動作を示す図である。
【図10】本開示の一実施例に係る地図データをアップデートする動作を示す図である。
【図11】本開示の一実施例に係る道路が重なる地図データを保存する動作を示す図である。
【発明を実施するための形態】
【0016】
以下、本開示の実施のための具体的な内容を添付図面に基づいて詳細に説明する。ただし、以下の説明では、本開示の要旨を不要にぼやかす恐れがある場合、公知の機能や構成に関する具体的な説明は省略する。
【0017】
添付図面において、同一又は対応する構成要素には同一の参照符号が付与される。また、以下の実施例の説明において、同一又は対応する構成要素の重複記述は省略され得る。しかしながら、構成要素に関する記述が省略されても、そのような構成要素が、ある実施例に含まれないものと意図してはならない。
【0018】
開示の実施例の利点及び特徴、そして、それらを達成する方法は、添付図面に基づいて後述する実施例を参照すれば明確になる。しかしながら、本開示は、以下で開示される実施例に限定されず、互いに異なる多様な形態で具現され得る。但し、本実施例は、本開示が完全になるようにし、本開示が当業者に発明のカテゴリを正確に認識させるために提供されるだけである。
【0019】
本開示で使用される用語について簡略に説明し、開示の実施例について具体的に説明する。本明細書で使用される用語は、本開示での機能を考慮しつつ、可能な限り現在広く使用される一般的な用語を選択したが、これは関連分野に従事する技術者の意図又は判例、新技術の出現などにより変化し得る。また、特定の場合には出願人が任意で選定した用語もあり得るが、これらの意味は当該発明の説明の部分において詳細に記載する。よって、本開示で使用される用語は、単純な用語の名称ではなく、その用語が持つ意味と本開示の全般にわたる内容に基づいて定義されるべきである。
【0020】
本開示においては、文脈上で明確に特定しない限り、単数の表現は複数の表現を含み、複数の表現は単数の表現を含むことができる。
【0021】
本開示において、ある部分がある構成要素を「含む」とすれば、これは、特に反対の記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含むこともできることを意味する。
【0022】
また、明細書で使用される「モジュール」又は「部」という用語は、ソフトウェアやハードウェア構成要素を意味し、「モジュール」又は「部」は、ある役割を遂行する。しかしながら、「モジュール」又は「部」は、ソフトウェアやハードウェアに限定される意味ではない。「モジュール」又は「部」は、アドレッシング可能な保存媒体にあるように構成してもよく、一つ又はそれ以上のプロセッサを再生させるように構成してもよい。したがって、一例として、「モジュール」又は「部」は、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素、タスク構成要素のような構成要素、並びに、プロセス、関数、属性、プロシーザー、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、又は変数のうちで少なくとも一つを含むことができる。構成要素と「モジュール」又は「部」では、内部で提供される機能は、さらに小さい数の構成要素及び「モジュール」又は「部」で結合されたり、追加的な構成要素と「モジュール」又は「部」にさらに分離されたりできる。
【0023】
本開示において、「道路情報」は、車両の走行時に必要な多様な情報を含むことができる。例えば、道路情報は、白色点線、白色実線、黄色線、青色線、停止線などを含む道路の車線、直進、左折、右折、Ｕターン、進入禁止などを含む方向標識、駐停車禁止標識、信号灯、スピードバンプ、速度制限標識、譲歩標識などを含むテキスト及び／又は映像情報、道路上又はその周辺に配置されたガードレール、歩道橋、建物などを含む多様な構造物に関する情報を含むことができる。
【0024】
本開示において、「ロード－レイアウト地図（road-layout map）」は、ベクトル形態で保存された地図情報を含むデジタル地図又は高精度地図の少なくとも一部を示すことができる。より具体的に、ロード－レイアウト地図は、道路中心線や境界線などのような車線単位の情報、信号灯、標識、縁石、路面マーク、及び各種構造物などに関する情報がベクトル形態で保存された地図を意味し得る。例えば、ロード－レイアウト地図は、車線や路面標示等に対する３次元空間座標（ｘ、ｙ、ｚ）、種類、及び連結性情報を含むことができる。ロード－レイアウト地図において、相互連結している車線や路面標示の各々は、一つの客体（object）として表現でき、例えば、路面標示は閉多角形で表現され、車線は中心を横切る直線で表現できる。
【0025】
本開示において、「ＭＭＳ（Mobile Mapping System）」は、多様な測量センサを車両に搭載し、地図データベース、又は、地図情報変化領域感知及び補完システムと相互連動するように構成された移動型測量システムを示すことができる。例えば、ＭＭＳは、車両が道路を走行しながら、ステレオカメラやライダー（LiDAR）などのようなセンサを用いて、道路周辺に位置した地形・地物の位置情報及び属性情報を正確に測定できるシステムを示すことができる。
【0026】
本開示において、「道路情報データ」は、道路又はその周辺の構造物に関する２次元又は３次元情報を表現するための道路画像、ロード－レイアウト情報、路面情報、周辺情報、及び位置情報の少なくとも一つを含むデータを示すことができる。
【0027】
図１は、本開示の一実施例に係る道路情報変化領域補完システム１００が地図データ１１０から道路情報変化領域１１２を補完する例を示す図である。図に示すように、道路情報変化領域補完システム１００は、地図データのうちの道路情報変化領域を感知する動作１２０、当該道路情報変化領域に対するＭＭＳ（Mobile Mapping System）データを収集する動作１４０、ＭＭＳデータに基づいてＭＭＳオルソ画像を生成する動作１５０、及び、ＭＭＳオルソ画像を地図データに反映する動作１７０を含むことができる。
【0028】
道路情報変化領域感知の動作１２０において、道路情報変化領域補完システム１００は、既保存の地図データ１１０のうちの道路情報変化領域１１２を感知できる。一実施例において、道路情報変化領域補完システム１００は、地図データ１１０のうちの道路情報変化領域１１２に関する位置情報を収集できる。このために、第１の移動体（例えば、道路情報変化領域感知のためのアラウンド（Around）車両）が地図データ１１０に対応する領域の道路を走行し、第１の移動体に設置されたカメラを通して実際の道路画像（又は映像）を収集できる。このような道路画像は、道路の車線や路面標示などの道路情報が識別できる映像又は画像を含むことができる。また、道路画像は、当該画像に含まれた道路の位置情報を含むことができる。
【0029】
道路情報変化領域補完システム１００は、このように収集された道路画像と、既保存の地図データ１１０とを比較して、既保存の地図データ１１０のうち、収集された道路画像と異なる、すなわち、道路情報変化領域１１２を感知できる。例えば、道路情報変化領域補完システム１００は、第１の移動体に設置されたカメラにより道路画像（又は、映像）が撮影された位置情報に基づいて、地図データ１１０のうちの当該位置に対応するロード－レイアウト地図を抽出できる。また、道路情報変化領域補完システム１００は、第１の移動体に設置されたカメラにより提供される位置情報及びカメラパラメータを用いて、ロード－レイアウト地図を映像化できる。道路情報変化領域補完システム１００は、カメラから受信された道路画像（又は、映像）及び映像化したロード－レイアウト地図（projected road-layout map）に基づいて、ロード－レイアウト地図上において道路情報の変化の可否及び道路情報変化領域１１２を感知できる。このように、地図データ及び道路画像に基づいて道路情報変化領域１１２を感知する際に、道路情報変化領域補完システム１００は、人工ニューラルネットワークモデル（例えば、距離尺度人工ニューラルネットワークモデルや敵対的人工ニューラルネットワークモデル、等）を使用できる。
【0030】
その後、ＭＭＳデータ収集の動作１４０において、第２の移動体（例えば、ＭＭＳ車両、等）１３０が、既保存の地図データ１１０のうちの道路情報変化領域１１２に該当する位置の道路を走行することにより、ＭＭＳデータを収集できる。例えば、ＭＭＳデータは、第２の移動体１３０の一定の周期（例えば、１０Ｈｚ）毎に入力される複数の道路情報データを含むことができる。ＭＭＳデータは、第２の移動体１３０の移動間隔毎に入力される複数の道路情報データを含むことができる。このために、第２の移動体１３０には、ＭＭＳデータを収集するためのセンサ等が設置され得る。例えば、第２の移動体１３０には、ＭＭＳデータを収集するためのセンサとして、ステレオカメラ、ライダー（LiDAR）、Ｒａｄａｒ、ＧＰＳ、ホイールエンコーダ及びＩＭＵ（Inertial Measurement Unit）などが設置され得る。
【0031】
ここで、第２の移動体１３０に設置されたセンサ等は、第１の移動体に設置されたセンサ等に比べ、高仕様のセンサ及び／又は高品質のデータ（例えば、高画質、高い正確度、高精度を持つデータ）を収集するセンサであり得る。代案的又は追加的に、第２の移動体１３０に設置されたセンサ等は、第１の移動体に設置されたセンサ等に比べ、より高次元のデータを収集するように構成できる。例えば、第１の移動体に設置されたセンサ等は、道路情報の変更の可否を１次に感知するために、道路を撮影した２次元画像（又は、映像）を得るためのカメラを含むのに対し、第２の移動体１３０に設置されたセンサ等は、地図データをアップデートするために、３次元空間データを収集するための２つ以上のカメラ、ステレオカメラ、及び／又はライダーセンサを含むことができる。
【0032】
道路情報変化領域補完システム１００は、ＭＭＳデータ収集の動作１４０において、第２の移動体１３０が収集したＭＭＳデータを受信できる。例えば、道路情報変化領域補完システム１００は、第２の移動体１３０に設置されたセンサ等から直接ネットワークを介してリアルタイムでＭＭＳデータを受信できる。他の例において、道路情報変化領域補完システム１００は、第２の移動体１３０に設置されたセンサ等により得られたＭＭＳデータが保存されたメモリから当該ＭＭＳデータを受信できる。
【0033】
その後、道路情報変化領域補完システム１００は、ＭＭＳオルソ画像生成の動作１５０において、受信されたＭＭＳデータを用いてＭＭＳオルソ画像を生成できる。具体的に、道路情報変化領域補完システム１００は、受信されたＭＭＳデータに基づいて複数の点群（point cloud）データを生成し、生成された複数の点群データに基づいて道路面高さデータ（又は、ＤＥＭ（Digital Elevation Model））を生成できる。また、道路情報変化領域補完システム１００は、生成された道路面高さデータに基づいて生成された複数の点群データを補正し、補正された複数の点群データに基づいてＭＭＳオルソ画像１６０を生成できる。
【0034】
ＭＭＳオルソ画像の地図データ反映の動作１７０において、ＭＭＳオルソ画像１６０及び既保存の地図データ１１０における領域１１２間の道路情報を比較して、道路情報の変化の可否によって地図データ１１０をアップデートできる。例えば、生成されたＭＭＳオルソ画像１６０及び既保存の地図データ１１０における領域１１２がユーザに提供され、ユーザは、当該画像及び地図データの領域を直接比較して、既保存の地図データ１１０における領域１１２にＭＭＳオルソ画像１６０を反映するか否かを決定できる。代案的又は追加的に、道路情報変化領域補完システム１００は、既保存の地図データ１１０のうちの道路情報変化領域１１２に生成されたＭＭＳオルソ画像１６０を自動的に反映できる。
【0035】
図２は、本開示の一実施例に係る道路情報変化領域補完システム２００の内部構成を示すブロック図である。道路情報変化領域補完システム２００は、道路情報変化領域補完サービスを提供するためのコンピュータで実行可能なプログラム（例えば、ダウンロード可能なアプリケーション）や、データを保存、提供、及び実行できる一つ以上のコンピュータ装置及び／又はデータベースや、クラウドコンピューティングサービス基盤の一つ以上の分散コンピュータ装置及び／又は分散データベースを含むことができる。
【0036】
図に示すように、道路情報変化領域補完システム２００は、メモリ２１０、プロセッサ２２０、通信モジュール２３０及び、入出力インタフェース２４０を含むことができる。メモリ２１０は、非一時的な任意のコンピュータで読み取り可能な記録媒体を含むことができる。一実施例によれば、メモリ２１０は、ＲＡＭ（random access memory）、ＲＯＭ（read only memory）、ディスクドライブ、ＳＳＤ（solid state drive）及びフラッシュメモリ（flash memory）などのような永久的な大容量記憶装置（permanent mass storage device）を含むことができる。他の例として、ＲＯＭ、ＳＳＤ、フラッシュメモリ及びディスクドライブなどのような永久的な大容量保存装置は、メモリとは区分される別途の永久保存装置として道路情報変化領域補完システム２００に含まれることができる。また、メモリ２１０には、運営体制と少なくとも一つのプログラムコードが保存され得る。
【0037】
このようなソフトウェア構成要素は、メモリ２１０とは別途のコンピュータで読み取り可能な記録媒体からローディングできる。このような別途のコンピュータで読み取り可能な記録媒体は、このような道路情報変化領域補完システム２００に直接連結可能な記録媒体を含むことができるが、例えば、フロッピードライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ及びメモリカードなどのようなコンピュータで読み取り可能な記録媒体を含むことができる。他の例として、ソフトウェア構成要素等は、コンピュータで読み取り可能な記録媒体でなく、通信モジュールを通してメモリ２１０にローディングされることもできる。例えば、少なくとも一つのプログラムは、開発者又はアプリケーションの設置ファイルを配信するファイル配信システムが、ネットワークを介して提供するファイルにより設置されるコンピュータプログラムに基づいてメモリ２１０にローディングされ得る。
【0038】
プロセッサ２２０は、基本的な算術、ロジック、及び入出力演算を遂行することにより、コンピュータプログラムの命令を処理するように構成できる。命令は、メモリ２１０又は通信モジュール２３０によりプロセッサ２２０に提供され得る。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に保存されたプログラムコードによって受信される命令を実行するように構成できる。
【0039】
通信モジュール２３０は、道路情報変化領域補完システム２００が、他のコンピュータ装置又は他のシステム（一例として別途のクラウドシステム等）と通信するための構成又は機能を提供できる。一例として、通信モジュール２３０を通して、道路情報変化領域補完システム２００は、移動体に設置された少なくとも一つのセンサにより、移動体の一定の移動間隔又は周期毎に入力される複数の道路情報データ（例えば、ＭＭＳデータ、道路画像、位置情報、等）を受信したり、デジタル地図データベース（ＤＢ）から地図データを受信したりできる。他の例として、通信モジュール２３０を通して、道路情報変化領域補完システム２００は、生成されたオルソ画像を他の装置及び／又はシステムに転送したり、生成されたオルソ画像が反映された地図データをデジタル地図ＤＢに転送したりできる。
【0040】
道路情報変化領域補完システム２００の入出力インタフェース２４０は、道路情報変化領域補完システム２００と連結するか、或いは、道路情報変化領域補完システム２００が含むことができる入力又は出力のための装置（図示せず）とのインタフェースのための手段であり得る。図２では、入出力インタフェース２４０がプロセッサ２２０と別途に構成された要素として示されているが、これに限定されず、入出力インタフェース２４０がプロセッサ２２０に含まれるように構成されてもよい。一実施例において、入出力インタフェース２４０は、生成されたオルソ画像及び地図データのうちの道路情報変化領域を出力できる。ユーザは、入出力インタフェース２４０を通して出力されたオルソ画像と、地図データのうちの道路情報変化領域とを比較して、地図データのうちの当該領域にオルソ画像を反映するか否かに対する情報を再度入出力インタフェース２４０を通して入力できる。道路情報変化領域補完システム２００は、図２の構成要素よりも多くの構成要素を含むことができる。しかしながら、大部分の従来技術的構成要素を明確に示す必要性はない。
【0041】
道路情報変化領域補完システム２００のプロセッサ２２０は、複数のコンピュータ装置及び／又は複数の外部システムから受信された情報及び／又はデータを管理、処理、及び／又は保存するように構成できる。一実施例において、プロセッサ２２０は、受信された複数の道路情報データに基づいて複数の点群データを生成できる。また、プロセッサ２２０は、生成された複数の点群データに基づいて道路面高さデータを生成できる。さらに、プロセッサ２２０は、生成された道路面高さデータに基づいて生成された複数の点群データを補正できる。また、プロセッサ２２０は、補正された複数の点群データに基づいてオルソ画像を生成できる。さらに、プロセッサ２２０は、地図データのうちの道路情報変化領域に生成されたオルソ画像を反映するか否かに対するユーザ入力に応じて、オルソ画像を地図データに反映できる。代案として、プロセッサ２２０は、地図データのうちの道路情報変化領域に生成されたオルソ画像を自動的に反映できる。
【0042】
図３は、本開示の一実施例に係る道路情報変化領域補完システム２００のプロセッサ２２０の内部構成を示すブロック図である。図に示すように、道路情報変化領域補完システム２００のプロセッサ２２０は、点群データ生成モジュール３１０、道路面高さデータ生成モジュール３２０、点群データ補正モジュール３３０、及び、オルソ画像生成モジュール３４０を含むことができる。プロセッサ２２０はデジタル地図ＤＢ３５０と連結できる。ここで、デジタル地図ＤＢ３５０には、道路の車線や路面標示などのように、車両の走行時に必要な情報を含む高精度の地図データを保存できる。例えば、デジタル地図ＤＢ３５０には、高精度の航空写真それ自体、及び／又は、高精度の航空写真に基づいて生成された位置情報、道路の車線、路面標示などの空間座標、その構成要素、等の幾何学的情報（点、線、平面、多角形などの連結情報）を含むデータを保存できる。デジタル地図ＤＢ３５０において、道路の車線や路面標示などの各々は一つの客体として保存でき、各客体はクラス又は識別子に区分できる。このようなデジタル地図ＤＢ３５０は、道路情報変化領域補完システムの外部装置及び／又は内部装置に含まれ得る。
【0043】
点群データ生成モジュール３１０は、移動体に設置された少なくとも一つのセンサを通して、移動体の一定の移動間隔又は周期毎に入力される複数の道路情報データを受信できる。例えば、複数の道路情報データは、ステレオカメラにより得られた複数のステレオ画像データを含むことができる。このとき、点群データ生成モジュール３１０は、移動体に設置された第１のカメラセンサを通して、移動体の一定の移動間隔又は周期毎に入力される複数の第１の画像データを受信し、移動体に設置された第２のカメラセンサを通して、移動体の一定の移動間隔又は周期毎に入力される複数の第２の画像データを受信できる。その後、点群データ生成モジュール３１０は、受信された複数の道路情報データに基づいて複数の点群データを生成できる。例えば、点群データ生成モジュール３１０は、複数の第１の画像データ及び複数の第２の画像データ間のデンスマッチング（dense matching）により、複数の点群データを生成できる。他の例として、複数の道路情報データは、ライダーセンサにより得られた点群データを含むことができる。このとき、点群データ生成モジュール３１０は、受信された道路情報データから簡単に点群データを抽出できる。
【0044】
道路面高さデータ生成モジュール３２０は、生成された複数の点群データに基づいて道路面高さデータを生成できる。例えば、道路面高さデータ生成モジュール３２０は、生成された複数の点群データに対し、移動体との距離に反比例する値を持つ逆距離加重値（inverse-distance weight）を適用して、道路面高さデータを生成できる。
【0045】
点群データ補正モジュール３３０は、生成された道路面高さデータに基づいて複数の点群データを補正できる。例えば、点群データ補正モジュール３３０は、センサから点群データの第１のポイントを通過する仮想の線が道路面高さデータと交わる第２のポイントをもって、第１のポイントを修正できる。
【0046】
オルソ画像生成モジュール３４０は、補正された複数の点群データに基づいてオルソ画像を生成できる。このように生成されたオルソ画像に基づいて既保存の地図データをアップデートできる。アップデートされた地図データは、デジタル地図ＤＢ３５０に再度保存できる。例えば、プロセッサ２２０又は道路情報変化領域補完システム２００は、生成されたオルソ画像及び既保存の地図データをユーザ端末に提供し、ユーザ端末から生成されたオルソ画像に対する使用の可否に対する応答を受信し、受信された応答に基づいて、生成されたオルソ画像を既保存の地図データのうちの対応する領域に反映できる。代案的又は追加的に、プロセッサ２２０又は道路情報変化領域補完システム２００は、生成されたオルソ画像及び既保存の地図データに基づいて既保存の地図データのうちの道路情報変化領域を感知し、既保存の地図データのうちの道路情報変化領域に生成されたオルソ画像を反映できる。さらに、同じ位置に対して互いに異なる複数のオルソ画像が存在する場合、プロセッサ２２０又は道路情報変化領域補完システム２００は、地図データを複数のオルソ画像に対応する複数のレイヤ（layer）形態でアップデートできる。
【0047】
一実施例において、プロセッサ２２０又は道路情報変化領域補完システム２００は、受信された複数の道路情報データに含まれた画像データから道路上の客体を抽出できる。例えば、人工ニューラルネットワーク基盤のセマンティックセグメンテーション（semantic segmentation）モデルを用いて、受信された複数の道路情報データに含まれた画像データから道路上の客体を抽出できる。このとき、道路面高さデータ生成モジュール３２０は、生成された複数の点群データのうち、抽出された道路上の客体に対応する点群データを除いた点群データに基づいて、道路面高さデータを生成できる。
【0048】
図４は、本開示の一実施例に係る道路情報変化領域補完方法４００を示すフローチャートである。一実施例において、道路情報変化領域補完方法４００は、プロセッサ（例えば、道路情報変化領域補完システム（図２の２００）の少なくとも一つのプロセッサ）により遂行できる。
【0049】
道路情報変化領域補完方法４００は、プロセッサが移動体に設置された少なくとも一つのセンサを通して、移動体の一定の移動間隔又は周期毎に入力される複数の道路情報データを受信することにより開始できる（Ｓ４１０）。ここで、受信された複数の道路情報データは、道路情報変化領域で移動する移動体に設置された少なくとも一つのセンサを通して入力された道路情報データであり得る。このために、プロセッサは、既保存の地図データのうちの道路情報変化領域の位置を受信できる。一実施例において、プロセッサは、第１のカメラセンサを通して、移動体の一定の移動間隔又は周期毎に入力される複数の第１の画像データを受信し、第２のカメラセンサを通して、移動体の一定の移動間隔又は周期毎に入力される複数の第２の画像データを受信できる。
【0050】
さらに、プロセッサは移動体の走行軌跡が得られる。具体的に、プロセッサは、移動体の走行軌跡を得るために、受信された複数の道路情報データの少なくとも一つと既保存の地図データとをマッチングして、移動体又は移動体に設置された少なくとも一つのセンサの姿勢を補正できる。例えば、プロセッサは、移動体のセンサにより得られた複数の道路情報データの少なくとも一つに基づいて、その周辺の３次元地図を生成でき、３次元地図内の少なくとも一つのポイントの座標がマッチングされる地図データ内のポイントの座標に対応するように、補正値を決定できる。ここで、補正値は、３次元地図と地図データで互いにマッチングされる整合ポイント（例えば、車線、停止線、横断歩道、交通標識、などのようなマーカー）の座標間の誤差に基づいて決定できる。また、プロセッサは、補正値に基づいて、移動体又は移動体に設置された少なくとも一つのセンサの姿勢を補正できる。
【0051】
プロセッサは、受信された複数の道路情報データに基づいて複数の点群データを生成できる（Ｓ４２０）。一実施例において、プロセッサは、複数の第１の画像データ及び複数の第２の画像データ間のデンスマッチングにより、複数の点群データを生成できる。その後、プロセッサは、生成された複数の点群データに基づいて道路面高さデータを生成できる（Ｓ４３０）。一実施例において、プロセッサは、生成された複数の点群データに対し、移動体との距離に反比例する値を持つ逆距離加重値を適用して、道路面高さデータを生成できる。一実施例において、プロセッサは、受信された複数の道路情報データに含まれた画像データから道路上の客体を抽出し、生成された複数の点群データのうち、抽出された道路上の客体に対応する点群データを除いた点群データに基づいて、道路面高さデータを生成できる。例えば、プロセッサは、人工ニューラルネットワーク基盤のセマンティックセグメンテーションモデルを用いて、受信された複数の道路情報データに含まれた画像データから道路上の客体を抽出できる。
【0052】
プロセッサは、生成された道路面高さデータに基づいて生成された複数の点群データを補正できる（Ｓ４４０）。一実施例において、プロセッサは、センサから点群データの第１のポイントを通過する仮想の線が道路面高さデータと交わる第２のポイントをもって、第１のポイントを修正できる。その後、プロセッサは、補正された複数の点群データに基づいてオルソ画像を生成できる（Ｓ４５０）。
【0053】
一実施例において、プロセッサは、生成されたオルソ画像に基づいて既保存の地図データをアップデートできる。例えば、プロセッサは、生成されたオルソ画像及び既保存の地図データをユーザ端末に提供できる。その後、プロセッサは、ユーザ端末から生成されたオルソ画像に対する使用の可否に対する応答を受信し、受信された応答に基づいて、生成されたオルソ画像を既保存の地図データのうちの対応する領域に反映できる。代案的又は追加的に、プロセッサは、生成されたオルソ画像及び既保存の地図データに基づいて、既保存の地図データのうちの道路情報変化領域を感知し、既保存の地図データのうちの道路情報変化領域に生成されたオルソ画像を反映できる。さらに、同じ位置に対して互いに異なる複数のオルソ画像が存在する場合、プロセッサは、地図データを複数のオルソ画像に対応する複数のレイヤ形態でアップデートできる。
【0054】
図５は、本開示の一実施例に係るカメラセンサを通して入力される画像データ５１２、５１４間のデンスマッチングにより、点群データ５２０を生成する動作の例を示す図である。点群データ生成モジュール３１０は、複数の道路情報データを受信し、受信された複数の道路情報データに基づいて複数の点群データ５２０を生成できる。一実施例において、点群データ生成モジュール３１０は、受信された複数の道路情報データ間のデンスマッチングにより、複数の点群データ５２０を生成できる。ここで、道路情報データは、カメラセンサを通して、移動体の一定の移動間隔又は周期毎に入力される画像データを含むことができる。例えば、道路情報データは、移動体が道路を走行しながら、一定の時間間隔毎に撮影した画像データを含むことができる。代案的又は追加的に、道路情報データは、移動体が道路を走行しながら、一定の距離間隔毎に撮影した画像データを含むことができる。
【0055】
図に示すように、点群データ生成モジュール３１０は、第１のカメラセンサを通して、移動体の一定の移動間隔又は周期毎に入力される複数の第１の画像データ５１２と、第２のカメラセンサを通して、移動体の一定の移動間隔又は周期毎に入力される複数の第２の画像データ５１４とを受信できる。ここで、第１の画像データ５１２及び第２の画像データ５１４は、移動体が道路を走行しながら撮影した画像（又は、映像）を示すことができる。第１のカメラセンサ及び第２のカメラセンサは、同じ客体を他の角度及び／又は位置で撮影するように移動体に設置できる。例えば、第１のカメラセンサ及び第２のカメラセンサはステレオカメラを構成し、第１の画像データ５１２及び第２の画像データ５１４はステレオデータに該当し得る。点群データ生成モジュール３１０は、受信された第１の画像データ５１２及び第２の画像データ５１４間のデンスマッチングにより、点群データを生成できる。
【0056】
一実施例において、点群データ生成モジュール３１０は、受信された第１の画像データ５１２及び第２の画像データ５１４に基づいて３次元画像を生成できる。例えば、点群データ生成モジュール３１０は、同じ客体を左側で撮影した画像及び右側で撮影した画像間の変化量又は視差（Disparity）を用いて、当該客体の３次元画像を生成できる。ここで、視差は、カメラセンサ及び客体間の距離が近いほど大きく、カメラセンサ及び客体間の距離が遠いほど小さく算出できる。点群データ生成モジュール３１０は、視差を用いて画像に投影された客体との距離を算出できる。
【0057】
点群データ生成モジュール３１０は、デンスマッチングアルゴリズムを用いて、３次元点群データを生成できる。複数の画像のうちのマスター（Master）画像の各ピクセル（ｘ、ｙ）に対して距離（Depth及び／又はDisparity）を変えながら、各デプス（Depth）毎に隣接画像ら（Slave）に対してどれくらい類似しているか、どれくらい異なるかを数値化して、３次元のコストボリューム（Cost Volume）を生成できる。ここで、マッチングコスト（Matching Cost）を数値化するために、ＡＤ（Absolute Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）、Ｃｅｎｓｕｓ（from SGM）、ＤＡＩＳＹなどの方法を使用できる。３次元のコストボリュームは多様なノイズを含むので、各ピクセルが隣接した４方向及び／又は８方向に影響をやりとりしながら、最も安定した距離値を検索するために、点群データ生成モジュール３１０は、信頼伝播（Belief Propagation）、ＳＧＭ（Semi Global Matching）、Ｇｒａｐｈ Ｃｕｔなどの大域的最適化技法（Global optimization）を適用できる。点群データ生成モジュール３１０は、前述した方法の以外の公知の多様な方法により、画像データに基づいて点群データを生成できる。
【0058】
図６は、本開示の一実施例に係る道路面高さデータを生成する動作の例を示す図である。一実施例において、プロセッサ（例えば、プロセッサ２２０又は道路面高さデータ生成モジュール３２０）は、複数の点群データに基づいて道路面高さデータを生成できる。例えば、プロセッサは、生成された複数の点群データを平滑化（smoothing）することにより、道路面高さデータを生成できる。図に示すように、移動体（例えば、少なくとも２つのカメラが設置された車両）は、道路面（すなわち、路面）に対してほぼ水平方向に画像を撮影するため、撮影された画像に基づいて生成された道路面高さデータからデプス（depth）の誤差が発生し得る。また、このような誤差により、道路面高さデータに基づいて生成された地図データ（すなわち、上から見下ろす２次元画像又は平面地図データ）からＸＹ方向に大きい誤差が発生し得る。例えば、道路面高さデータから１ｃｍ程度の垂直誤差（vertical error）が発生する場合（すなわち、高さを間違えて決定する場合)、２次元画像（又は、平面地図データ）では、６～７ｃｍ程度の大きい水平誤差（horizontal error）が発生し得る。
【0059】
このような問題を解決するために、プロセッサは、移動体に設置されたカメラセンサが撮影した複数個の連続したステレオ画像データを用いて生成した点群データを統合して平滑化することにより、道路面高さデータを生成できる。一実施例において、プロセッサは、ターゲット領域を所望のＧＳＤ（Ground Sampling Distance）（例えば、８ｃｍ）のグリッド（Grid）６４０に分けて処理できる。デンスマッチングの結果から、カメラセンサとの距離の近い部分は誤差が比較的小さく、距離の遠い部分は誤差が比較的大きく現れるので、遠所の客体であるほど精度が低下し得る。
【0060】
したがって、プロセッサは、複数の点群データに対して移動体との距離（すなわち、カメラセンサとの距離）に反比例する値を持つ逆距離加重値を適用して、道路面高さデータを生成できる。例えば、プロセッサは、第１の位置６１０で撮影したステレオ画像データを用いて生成された点群データ、第２の位置６２０で撮影したステレオ画像データを用いて生成された点群データ、及び、第３の位置６３０で撮影したステレオ画像データを用いて生成された点群データの各々に、逆距離加重値を適用して統合することにより、道路面高さデータを生成できる。
【0061】
図７は、本開示の一実施例に係る道路面高さデータに基づいて点群データを補正する動作の例を示す図である。一実施例において、プロセッサ（例えば、プロセッサ２２０又は点群データ補正モジュール３３０）は、生成された道路面高さデータに基づいて複数の点群データを補正できる。例えば、プロセッサは、デンスマッチングにより生成された複数の点群データのポイントが道路面高さデータにマッチングされるように、ポイントの位置を補正できる。図に示すように、プロセッサは、移動体に設置されたセンサ７１０から点群データの第１のポイント７２０を通過する仮想の直線を延長し、延長された直線が道路面高さデータと交わるポイントを第２のポイント７３０として決定できる。プロセッサは、点群データにおいて第１のポイント７２０を第２のポイント７３０に修正（又は、代替）することで、点群データを補正できる。したがって、点群データは、道路面高さデータに整合するように補正できる。
【0062】
プロセッサは、補正された点群データを所望の大きさのグリッド（例えば、既保存の地図データの解像度に合せた８ｃｍ×８ｃｍ規格のグリッド）に集めて、グリッドセル別に集めたポイントに対してセンサからの距離に対する逆距離加重値を適用することで、オルソ画像（例えば、ＭＭＳオルソ画像）を生成できる。図７では、第１のポイント７２０がセンサ７１０及び第２のポイント７３０間に位置するように示したが、これに限定されるものではない。例えば、第２のポイントがセンサ及び第１のポイント間に位置することもできる。このとき、プロセッサは、移動体に設置されたセンサから点群データの第１のポイント間の仮想の直線が道路面高さデータと交わるポイントを第２のポイント（すなわち、補正されたポイント）として決定できる。
【0063】
図８は、本開示の一実施例に係る道路上の客体を抽出する動作の例を示す図である。一実施例において、プロセッサ（例えば、道路情報変化補完システム２００の少なくとも一つのプロセッサ）は、受信された複数の道路情報データに含まれた画像データ８１０から道路上の客体を抽出できる。ここで、道路上の客体は、道路情報（例えば、車線や路面標示等）と関連のない車両、人、動物、街灯、標識、及び施設物、などを示すことができる。プロセッサは、人工ニューラルネットワーク基盤のセマンティックセグメンテーションモデルを用いて、受信された複数の道路情報データに含まれた画像データ８１０から道路上の客体を抽出できる。例えば、プロセッサは、画像データ８１０に含まれた複数の客体の各々のクラス（又は、タイプ）を決定できる。セグメンテーションの結果８２０として、ピクセル単位に複数の客体の各々に対してクラス情報をタギング（tagging）できる。図に示すように、道路上の車両に該当するピクセルは車両クラスがタギングされ、街灯に該当するピクセルは街灯クラスがタギングされ、車線に該当するピクセルは車線クラスがタギングされることで、各客体のクラスを区別できる。
【0064】
複数の道路情報データに基づいて生成された複数の点群データは、各々のポイントに対して対応する客体のクラス情報を含むことができる。すなわち、複数の点群データから車両客体と対応するポイントに車両クラスがタギングできる。一実施例において、プロセッサは、複数の点群データに基づいて道路面高さデータを生成する際に、生成された複数の点群データのうち、抽出された道路上の客体に対応する点群データ（すなわち、道路上の客体に対応するポイント）を除いた点群データに基づいて、道路面高さデータを生成できる。このとき、プロセッサが複数の点群データに基づいて道路面高さデータを生成する際に、実際の道路面でない車両、人、及び施設物、などの道路上の客体による影響を除去できる。
【0065】
図９は、本開示の一実施例に係る地図データ９００をアップデートする動作の例を示す図である。プロセッサは、生成されたオルソ画像（例えば、ＭＭＳオルソ画像）９２０に基づいて既保存の地図データ９００をアップデートできる。一実施例において、プロセッサは、生成されたオルソ画像９２０及び既保存の地図データ９００（又は、既保存の地図データのうちの道路情報変化領域９１０、既保存の地図データのうちのオルソ画像９２０と対応する領域９１０）をユーザ端末に提供し、ユーザ端末から生成されたオルソ画像９２０に対する使用の可否に対する応答を受信できる。プロセッサは、受信された応答に基づいて、生成されたオルソ画像９２０を既保存の地図データのうちの対応する領域９１０に反映できる。例えば、ユーザは、生成されたＭＭＳオルソ画像９２０上に既存のロード－レイアウト地図が重なって確認されることにより、変更／新規／移動の道路情報を修正できる。代案として、ユーザは、既保存の航空地図にＭＭＳオルソ画像９２０が重なって確認されることにより、変化した道路情報（例えば、車線や路面情報などのようなロード－レイアウト情報）を修正できる。
【0066】
一実施例において、プロセッサは、既保存の地図データ９００のうちの道路情報変化領域９１０に生成されたオルソ画像９２０を直ぐ上書きにより保存することで、地図データをアップデートできる。すなわち、プロセッサは、既存の地図データ９００で生成されたＭＭＳオルソ画像と対応する領域９１０にＭＭＳオルソ画像９２０を上書きにより保存することで、地図データをアップデートできる。このとき、プロセッサは、アップデート前のデータを復旧できないが、保存容量やメモリなどを效率的に運用できる。
【0067】
図１０は、本開示の一実施例に係る地図データ１０００をアップデートする動作の例を示す図である。一実施例において、プロセッサは、地図データ１０００のうちの道路情報変化領域１０１０に生成されたオルソ画像１０３０、１０４０を累積保存することで、地図データ１０００をアップデートできる。すなわち、プロセッサは、地図データ１０００で生成されたＭＭＳオルソ画像１０３０、１０４０と対応する領域１０１０にＭＭＳオルソ画像１０３０、１０４０を累積保存することで、地図データをアップデートできる。地図データ１０００が数回アップデートされた場合、アップデートされた領域に対し、最初の航空オルソ画像１０２０及び各アップデートに使用されたＭＭＳオルソ画像１０３０、１０４０が累積保存され得る。また、最初の航空オルソ画像１０２０及び各アップデートに使用されたＭＭＳオルソ画像１０３０、１０４０は、道路情報データ収集日付及び／又はアップデート日付と共に保存され得る。
【0068】
図に示すように、地図データ１０００のうちの道路情報変化領域１０１０に対し、２０１４年０４月２５日付で生成された最初の航空オルソ画像１０２０と、２０１７年１１月０７日付で一番目のアップデートにより生成された第１のＭＭＳオルソ画像１０３０と、２０２０年０２月２２日付で二番目のアップデートにより生成された第２のＭＭＳオルソ画像１０４０とを累積保存できる。地図データ１０００は、最終的にアップデートされたバージョンの地図データを基本値としてユーザに提供され、別途の要請がある場合、以前バージョンの地図データがユーザらに提供できる。
【0069】
その後、道路画像を撮影して道路情報変化領域を感知する際に、道路画像及び最終的にアップデートされたバージョンの地図データに基づいて道路情報変化領域を感知できる。さらに、ＭＭＳオルソ画像を新たに生成して地図データをアップデートする場合、最終的にアップデートされたバージョンの地図データと、新たに生成されたＭＭＳオルソ画像とを比較して、地図データをアップデートできる。
【0070】
図１１は、本開示の一実施例に係る道路が重なる地図データを保存する動作の例を示す図である。一実施例において、高架道路やロータリーなどのように同じ位置に２つ以上の道路が重なる場合、プロセッサは、一つのファイルに多数のレイヤ（layer）形態で地図データを保存できる。例えば、複数のレイヤの各々に重なる道路の各々に対する地図データ（例えば、画像データや道路情報データ、等）を保存できる。このとき、上方の道路（例えば、上板道路、道路面高度が高い道路、高架道路、等）が優先的に露出される地図データ１１１０を基本値としてユーザに提供でき、別途のユーザの要請がある場合、下方の道路（例えば、下板道路、道路面高度が低い道路、地下車道、等）が優先的に露出される地図データをユーザに提供できる。
【0071】
図に示すように、高架道路により同じ位置に２つの道路が重なる場合、２つのレイヤを含むファイル形態で地図データ１１１０を保存できる。例えば、第１のレイヤには上方の道路に対する地図データ１１２０を保存でき、第２のレイヤには下方の道路に対する地図データ１１３０を保存できる。これにより、ユーザには、道路が重なって出力される地図データ１１１０だけでなく、重なる道路の各々に対する地図データ１１２０、１１３０を個別的に提供でき、各レイヤにおいて道路別に地図データをアップデートできるので、地図データを容易にアップデートできる。
【0072】
前述した道路情報変化領域補完方法は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現できる。記録媒体は、コンピュータで実行可能なプログラムを継続的に保存したり、実行又はダウンロードのために一時保存したりするものであり得る。また、媒体は、単一又は多数のハードウェアが結合された形態の多様な記録手段又は保存手段であり得るが、あるコンピュータシステムに直接的に接続される媒体に限定されず、ネットワーク上に分散存在するものであり得る。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭやＤＶＤのような光記録媒体、フロプティカルディスク（floptical disk）のような磁気－光媒体（magnetooptical medium）、及び、ＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものが挙げられる。また、他の媒体の例としては、アプリケーションを流通するアプリストアやその他の多様なソフトウェアを供給および流通するサイト、サーバーなどで管理する記録媒体および保存媒体も挙げられる。
【0073】
本開示の方法、動作又は技法は多様な手段により具現できる。例えば、このような技法は、ハードウェア、ファームウェア、ソフトウェア、若しくは、これらの組合せで具現できる。本願の開示により説明された多様な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、若しくは両方の組合せで具現できることを、当業者であれば理解できるはずである。ハードウェア及びソフトウェアのこのような相互の代替を明確に説明するために、多様な例示的な構成要素、ブロック、モジュール、回路、及びステップが、それらの機能的観点から一般的に前述された。そのような機能が、ハードウェアとして具現されるか、若しくは、ソフトウェアとして具現されるかは、特定アプリケーション及び全体システムに付加される設計要求事項によって変化する。当業者は、各々の特定アプリケーションのために多様な方式により説明された機能を具現することもできるが、そのような具現は本開示の範囲から逸脱するものと解釈してはならない。
【0074】
ハードウェアの具現において、技法の遂行に利用されるプロセッシングユニットは、一つ以上のＡＳＩＣ、ＤＳＰ、デジタル信号処理デバイス（digital signal processing devices；DSPD）、プログラム可能な論理デバイス（programmable logic devices；PLD）、フィールドプログラム可能なゲートアレイ（field programmable gate arrays；FPGA）、プロセッサ、制御器、マイクロ制御器、マイクロプロセッサ、電子デバイス、本開示に説明された機能を遂行するように設計された他の電子ユニット、コンピュータ、若しくは、これらの組合せ内で具現され得る。
【0075】
したがって、本開示により説明された多様な例示的な論理ブロック、モジュール、及び回路は、汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡや、他のプログラム可能な論理デバイス、離散ゲートやトランジスタロジック、離散ハードウェアコンポーネント、若しくは、本願に説明された機能を遂行するように設計されたもの、等の任意の組合せで具現又は遂行さ得る。汎用プロセッサはマイクロプロセッサであり得るが、代案として、プロセッサは、任意の従来のプロセッサ、制御器、マイクロ制御器、若しくは、状態マシンであり得る。プロセッサは、また、コンピューティングデバイスの組合せ、例えば、ＤＳＰとマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと関連する一つ以上のマイクロプロセッサ、若しくは、任意の他の構成の組合せで具現され得る。
【0076】
ファームウェア及び／又はソフトウェアの具現において、技法は、ＲＡＭ（random access memory）、ＲＯＭ（read-only memory）、ＮＶＲＡＭ（non-volatile random access memory）、ＰＲＯＭ（programmable read-only memory）、ＥＰＲＯＭ（erasable programmable read-only memory）、ＥＥＰＲＯＭ（electrically erasable PROM）、フラッシュメモリ、ＣＤ（compact disc）、磁気又は光学データストレージデバイスなどのようなコンピュータで読み取り可能な媒体上に保存された命令で具現できる。命令は、一つ以上のプロセッサによって実行可能であり得、プロセッサが本開示に説明された機能の特定様態を遂行するようにできる。
【0077】
ソフトウェアで具現される場合、前記技法は、一つ以上の命令又はコードとしてコンピュータで読み取り可能な媒体上に保存されたり、コンピュータで読み取り可能な媒体を介して転送されたりできる。コンピュータで読み取り可能な媒体は、ある場所から他の場所にコンピュータプログラムの転送を容易にする任意の媒体を含み、コンピュータ保存媒体及び通信媒体の両方を含む。保存媒体は、コンピュータによってアクセスできる任意の利用可能な媒体であり得る。非制限的な例として、このようなコンピュータで読み取り可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭや他の光学ディスクストレージ、磁気ディスクストレージや他の磁気ストレージデバイス、若しくは、所望のプログラムコードを命令又はデータ構造の形態に移送又は保存するために使用されることができ、コンピュータによってアクセスできる任意の他の媒体を含むことができる。また、任意の接続がコンピュータで読み取り可能な媒体として適切に示すことができる。
【0078】
例えば、ソフトウェアが同軸ケーブル、光繊維ケーブル、鉛線、デジタル加入者回線（ＤＳＬ）、又は、赤外線、無線及びマイクロ波のような無線技術を用いて、ウェブサイト、サーバー、又は他の遠隔ソースから転送される場合、同軸ケーブル、光繊維ケーブル、鉛線、デジタル加入者回線、又は、赤外線、無線及びマイクロ波のような無線技術は、媒体の定義内に含まれる。本願で使用されたディスク（disk）及びディスク（disc）は、ＣＤ、レーザーディスク、光ディスク、ＤＶＤ（digital versatile disc）、フロッピーディスク及びブルーレイ（登録商標）ディスクを含み、ここで、通常、ディスク（disk）は磁気的にデータを再生するのに対し、ディスク（disc）はレーザーを用いて光学的にデータを再生する。前記組合せ等も、コンピュータで読み取り可能な媒体等の範囲内に含まれなければならない。
【0079】
ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、移動式ディスク、ＣＤ－ＲＯＭ、又は、公知の任意の異なる形態の保存媒体内に常駐することもできる。例示的な保存媒体は、プロセッサが保存媒体から情報を読み取る、或いは、保存媒体に情報を書き込むように、プロセッサに連結することができる。代案として、保存媒体はプロセッサに統合されてもよい。プロセッサ及び保存媒体はＡＳＩＣ内に存在することもできる。ＡＳＩＣはユーザ端末内に存在することもできる。代案として、プロセッサ及び保存媒体はユーザ端末で個別構成要素として存在することもできる。
【0080】
前述した実施例では、一つ以上の独立型コンピュータシステムで現在開示された主題の様態を活用するものとして記述されているが、本開示は、これに限定されず、ネットワークや分散コンピューティング環境のような任意のコンピューティング環境によって具現できる。さらには、本開示における主題の様態は、複数のプロセッシングチップや装置で具現されることもでき、ストレージは複数の装置にわたって類似するように影響を受けることもできる。このような装置は、ＰＣ、ネットワークサーバー、及び携帯用装置を含むこともできる。
【0081】
本明細書では、本開示が一部の実施例によって説明されたが、本開示の発明が属する技術の分野における当業者が理解し得る本開示から逸脱しない範囲内で多様な変形や変更が可能である。また、そのような変形や変更は、本明細書に添付された特許請求の範囲内に属するものと理解されるべきである。
【符号の説明】
【0082】
１００ 道路情報変化領域補完システム
１１０ 地図データ
１２０ 道路情報変化領域感知の動作
１３０ 第２の移動体
１４０ ＭＭＳデータ収集の動作
１５０ ＭＭＳオルソ画像生成の動作
１６０ ＭＭＳオルソ画像
１７０ ＭＭＳオルソ画像の地図データ反映の動作
１１０ 地図データ
１２０ 道路情報変化領域感知の動作
１３０ 第２の移動体
１４０ ＭＭＳデータ収集の動作
１５０ ＭＭＳオルソ画像生成の動作
１６０ ＭＭＳオルソ画像
１７０ ＭＭＳオルソ画像の地図データ反映の動作
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
