特許 7406480 地図生成装置、地図生成方法、およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-19

(45)【発行日】2023-12-27

(54)【発明の名称】地図生成装置、地図生成方法、およびコンピュータプログラム

(51)【国際特許分類】

   G06T 5/50 20060101AFI20231220BHJP

   G09B 29/00 20060101ALI20231220BHJP

   G06T 1/00 20060101ALI20231220BHJP

   G06T 7/00 20170101ALI20231220BHJP

【ＦＩ】

G06T5/50

G09B29/00 Z

G06T1/00 330A

G06T7/00 650A

【請求項の数】 9

(21)【出願番号】P 2020210450

(22)【出願日】2020-12-18

(65)【公開番号】P2022097076

(43)【公開日】2022-06-30

【審査請求日】2022-09-08

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100160691

【弁理士】

【氏名又は名称】田邊 淳也

(74)【代理人】

【識別番号】100157277

【弁理士】

【氏名又は名称】板倉 幸恵

(74)【代理人】

【識別番号】100182718

【弁理士】

【氏名又は名称】木崎 誠司

(72)【発明者】

【氏名】鈴木 有也

(72)【発明者】

【氏名】横山 明久

(72)【発明者】

【氏名】田口 勝也

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２００９－２５９２１５（ＪＰ，Ａ）

【文献】特開２０１９－１０９５９２（ＪＰ，Ａ）

【文献】特開２０１４－１３０４０４（ＪＰ，Ａ）

【文献】特表２０２０－５１６８５３（ＪＰ，Ａ）

【文献】中村 舜 SHUN NAKAMURA，車車間通信による車載映像合成の提案 A Study on Vehicle Video Synthesis with Inter-vehicle Communication，マルチメディア，分散，協調とモバイル（ＤＩＣＯＭＯ２０１３）シンポジウム論文集 情報処理学会シンポジウムシリーズ Ｖｏｌ．２０１３ Ｎｏ．２ ［ＣＤ－ＲＯＭ］ IPSJ Symposium Series，日本，一般社団法人情報処理学会，2013年，第2013巻

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／５０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｇ０９Ｂ ２３／００ －２９／１４

Ｇ０８Ｇ １／００ －９９／００

(57)【特許請求の範囲】

【請求項1】

地図生成装置であって、
車両により撮影された被検出対象の画像と、前記車両により測定された前記車両から前記被検出対象までの距離と、の少なくとも一方を含む対象情報と、前記車両の移動軌跡を表す軌跡情報と、を複数の車両からそれぞれ取得する取得部と、
前記複数の車両から取得された前記対象情報と前記軌跡情報とを用いて、前記複数の車両によりそれぞれ取得された前記対象情報を、前記被検出対象の位置を基準として分類する抽出部と、
分類された前記対象情報のそれぞれについて、不良箇所をマスクするマスク部と、
分類された前記対象情報のそれぞれについて、各前記対象情報のうちのマスクされていない部分を統合して地図を生成する地図生成部と、
を備える、地図生成装置。

【請求項2】

請求項１に記載の地図生成装置であって、
前記取得部は、前記対象情報として、前記車両により撮影された前記被検出対象の画像から作成されたオルソ画像を取得し、
前記抽出部は、前記複数の車両における前記オルソ画像と前記軌跡情報とを用いて、前記オルソ画像を、前記被検出対象が撮影された位置を基準として分類する、地図生成装置。

【請求項3】

請求項１または請求項２に記載の地図生成装置であって、
前記地図生成部は、分類された前記対象情報の内の１つの前記対象情報を基準として、基準とした前記対象情報のうちのマスク領域を、他の前記対象情報におけるマスクされていない部分を置換して統合する、地図生成装置。

【請求項4】

請求項１から請求項３までのいずれか一項に記載の地図生成装置であって、さらに、
前記地図生成部により生成された前記地図上に、前記マスク部によりマスクされたマスク領域が残存している場合に、前記マスク領域を補完するマスク補完部を備える、地図生成装置。

【請求項5】

請求項４に記載の地図生成装置であって、
前記マスク補完部は、前記マスク領域に隣接した領域からの画素値の変化率を用いて、前記地図上の前記マスク領域を類推する、地図生成装置。

【請求項6】

請求項４または請求項５に記載の地図生成装置であって、
前記マスク補完部は、前記地図上の前記マスク領域を、前記地図上の前記被検出対象の色相に応じた色相の画像パッチを用いて被覆することで、前記マスク領域を補完する、地図生成装置。

【請求項7】

請求項１から請求項６までのいずれか一項に記載の地図生成装置であって、さらに、
前記複数の車両の前記対象情報と、前記複数の車両の前記軌跡情報とを取得して記憶するデータセンタを備え、
前記取得部は、前記データセンタに記憶されている前記対象情報を取得する、
地図生成装置。

【請求項8】

地図生成方法であって、
車両により撮影された被検出対象の画像と、前記車両により測定された前記車両から前記被検出対象までの距離と、の少なくとも一方を含む対象情報と、前記車両の移動軌跡を表す軌跡情報と、を複数の車両からそれぞれ取得する取得工程と、
前記複数の車両から取得された前記対象情報と前記軌跡情報とを用いて、前記複数の車両によりそれぞれ取得された前記対象情報を、前記被検出対象の位置を基準として分類する抽出工程と、
分類された前記対象情報のそれぞれについて、不良箇所をマスクするマスク工程と、
分類された前記対象情報のそれぞれについて、各前記対象情報のうちのマスクされていない部分を統合して地図を生成する地図生成工程と、
を備える、地図生成方法。

【請求項9】

コンピュータプログラムであって、
車両により撮影された被検出対象の画像と、前記車両により測定された前記車両から前記被検出対象までの距離と、の少なくとも一方を含む対象情報と、前記車両の移動軌跡を表す軌跡情報と、を複数の車両からそれぞれ取得する取得機能と、
前記複数の車両から取得された前記対象情報と前記軌跡情報とを用いて、前記複数の車両によりそれぞれ取得された前記対象情報を、前記被検出対象の位置を基準として分類する抽出機能と、
分類された前記対象情報のそれぞれについて、不良箇所をマスクするマスク工程と、
分類された前記対象情報のそれぞれについて、各前記対象情報のうちのマスクされていない部分を統合して地図を生成する地図生成機能と、
をコンピュータに実現させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、地図生成装置、地図生成方法、およびコンピュータプログラムに関する。

【背景技術】

【0002】

車両に搭載された車載カメラの撮影画像を用いて、道路地図を生成する技術が知られている（例えば、特許文献１参照）。特許文献１に記載された地図生成装置は、複数の車両に搭載された車載カメラの撮影画像を用いて、道路地図として予め記憶されている道路上の道路標示を修正する。具体的には、地図生成装置は、道路上の道路標示における不良箇所の有無を判定し、不良箇所がある場合には不良箇所を修正する。

【0003】

特許文献２に記載されたシステムでは、センタから地図データを受信した自動運転用の車両が、搭載しているセンサにより検出したセンサ値と、受信した地図データとが一致しない点（不一致点）をセンタへと送信する。センタは、車両から受信した不一致点を用いて、地図データを更新する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１０９５９２号公報

【文献】米国特許出願公開２０１８／０１８８０３７号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

車両に搭載された車載カメラ等のセンサを用いて、自動運転用の高精度な地図を生成したいという課題がある。特許文献１に記載された地図生成装置は、車載カメラの撮影画像を用いて、予め用意された地図データにおける道路標示の不良箇所を判定している。しかしながら、特許文献１には、道路標示以外の不良箇所（例えば、他車の写り込み及び構造物の影等）を修正する方法については記載されていない。また、特許文献１の技術は、前提として、予め地図データが用意されていること、および、撮影画像を用いて不良箇所の判定処理が必要となる。特許文献２に記載された技術では、車両から受信した不一致点を用いて、センタに記憶された地図データが更新されるが、車両により検出されたセンサ値に誤りがある場合について考慮されていない。そのため、特許文献２の技術では、車両により検出されたセンサ値に誤りがある場合等に、センタに記憶された地図データの精度を劣化させてしまうおそれがある。

【0006】

本発明は、上述した課題を解決するためになされたものであり、不良箇所の少ない高精度の地図を生成することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現できる。地図生成装置であって、車両により撮影された被検出対象の画像と、前記車両により測定された前記車両から前記被検出対象までの距離と、の少なくとも一方を含む対象情報と、前記車両の移動軌跡を表す軌跡情報と、を複数の車両からそれぞれ取得する取得部と、前記複数の車両から取得された前記対象情報と前記軌跡情報とを用いて、前記複数の車両によりそれぞれ取得された前記対象情報を、前記被検出対象の位置を基準として分類する抽出部と、分類された前記対象情報のそれぞれについて、不良箇所をマスクするマスク部と、分類された前記対象情報のそれぞれについて、各前記対象情報のうちのマスクされていない部分を統合して地図を生成する地図生成部と、を備える、地図生成装置。そのほか、本発明は、以下の形態としても実現可能である。

【0008】

（１）本発明の一形態によれば、地図生成装置が提供される。この地図生成装置は、車両により撮影された被検出対象の画像と、前記車両により測定された前記車両から前記被検出対象までの距離と、の少なくとも一方を含む対象情報と、前記車両の移動軌跡を表す軌跡情報と、を複数の車両からそれぞれ取得する取得部と、前記複数の車両から取得された前記対象情報と前記軌跡情報とを用いて、前記複数の車両によりそれぞれ取得された前記対象情報を、前記被検出対象の位置を基準として分類する抽出部と、分類された前記対象情報群のそれぞれについて、不良箇所をマスクするマスク部と、分類された前記対象情報群のそれぞれについて、各前記対象情報のうちのマスクされていない部分を統合して地図を生成する地図生成部と、を備える。

【0009】

対象情報には、外因による不良箇所（例えば、他車の写り込み及び構造物の影等、被検出対象とは異なる物体等）を含んでいる場合がある。この構成によれば、マスク部により、このような不良箇所がマスクできる。また、抽出部は、複数の車両から取得された対象情報を「被検出対象の位置」を基準として分類して、地図生成部は、分類された対象情報群のそれぞれについてのマスクされていない部分を統合して地図を生成する。異なる車両から取得された対象情報では、対象情報内の不良箇所の部分が異なることが一般的である。地図生成部は、分類された対象情報群のそれぞれについてのマスクされていない部分を統合して地図を生成するため、一の対象情報でマスクされた不良箇所が、他の対象情報におけるマスクされていない部分であれば、これらの対象情報が統合されることにより、マスクされた部分が存在しなくなる。すなわち、本構成の地図生成装置は、統合された各箇所の地図を組み合わせることで、不良箇所の少ない高精度の地図を生成できる。

【0010】

（２）上記態様の地図生成装置において、前記取得部は、前記対象情報として、前記車両により撮影された前記被検出対象の画像から作成されたオルソ画像を取得し、前記抽出部は、前記複数の車両における前記オルソ画像と前記軌跡情報とを用いて、前記オルソ画像を、前記被検出対象が撮影された位置を基準として分類してもよい。
この構成によれば、道路地図などのオルソ画像により形成された地図を作成できる。

【0011】

（３）上記態様の地図生成装置において、前記地図生成部は、分類された前記対象情報群の内の１つの前記対象情報を基準として、基準とした前記対象情報のうちのマスクされた部分を、他の前記対象情報におけるマスクされていない部分を置換して統合してもよい。
この構成によれば、基準となる対象情報のマスク領域に対応する被検出対象の部分が写っている他の対象情報が存在すれば、地図が生成される。すなわち、本構成の地図生成装置は、より少ない対象情報を用いることにより、不良箇所の少ない高精度の地図を生成できるため、地図生成装置の処理負荷を低減できる。

【0012】

（４）上記態様の地図生成装置において、さらに、前記地図生成部により生成された前記地図上に、前記マスク部によりマスクされたマスク領域が残存している場合に、前記マスク領域を補完するマスク補完部を備えていてもよい。
この構成によれば、地図生成部による対象情報の統合後にマスク領域が残っていても、マスク補完部がマスク領域を補完することにより、地図生成装置は、不良箇所の少ない地図を生成できる。

【0013】

（５）上記態様の地図生成装置において、前記マスク補完部は、前記マスク領域に隣接した領域からの画素値の変化率を用いて、前記地図上の前記マスク領域を類推してもよい。
この構成によれば、マスク補完部は、生成された地図上に残存したマスク領域を自動的に判別できる。この結果、地図生成装置は、マスク領域を自然な画像として補完した地図を生成できる。

【0014】

（６）上記態様の地図生成装置において、前記マスク補完部は、前記地図上の前記マスク領域を、前記地図上の前記被検出対象の色相に応じた色相の画像パッチを用いて被覆することで、前記マスク領域を補完してもよい。
この構成によれば、マスク補完部は、生成された地図上に残存したマスク領域を、被検出対象の色相に応じた色相の画像パッチを用いて被覆する。このため、地図生成装置は、マスク領域が自然な画像として補完された地図を生成できる。

【0015】

（７）上記態様の地図生成装置において、さらに、前記複数の車両の前記対象情報と、前記複数の車両の前記軌跡情報とを取得して記憶するデータセンタを備え、前記取得部は、前記データセンタに記憶されている前記対象情報を取得してもよい。
この構成によれば、取得部は、地図生成装置が地図を生成する時のみ、データセンタから必要な対象情報を取得すればよい。この結果、対象情報が取得されてから地図が生成されるまでの処理が軽減される。また、対象情報と軌跡情報とを記憶するデータセンタを別途設けることにより、地図生成装置の処理負荷を分散させることができる。

【0016】

なお、本発明は、種々の態様で実現することが可能であり、例えば、地図生成装置、地図生成データ取得装置、および地図生成システムおよびこれらの装置を備える車両、および地図生成方法、これら装置や方法を実行するためのコンピュータプログラム、このコンピュータプログラムを配布するためのサーバ装置、コンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態としての地図生成装置を備える地図生成システムの概略ブロック図である。

【図2】車両の軌跡情報についての説明図である。

【図3】被検出対象が写っているオルソ画像の一例である。

【図4】被検出対象が写っているオルソ画像の一例である。

【図5】被検出対象が写っているオルソ画像の一例である。

【図6】マスク処理が行われた後のオルソ画像である。

【図7】マスク処理が行われた後のオルソ画像である。

【図8】マスク処理が行われた後のオルソ画像である。

【図9】統合により得られたマスク領域が存在しないオルソ画像である。

【図10】複数のオルソ画像の統合後にマスク領域が残っているオルソ画像である。

【図11】本実施形態における地図生成処理のフローチャートである。

【発明を実施するための形態】

【0018】

＜第１実施形態＞
図１は、本発明の実施形態としての地図生成装置２０を備える地図生成システム１００の概略ブロック図である。地図生成システム１００は、走行中の複数の車両１０に搭載された車載カメラ１１の複数の撮影画像と、撮影画像が撮影された際の複数の車両１０の位置とを用いて、オルソ画像の道路地図を生成する。図１に示されるように、地図生成システム１００は、車両１０の前方下側を撮影する車載カメラ１１を有する車両１０と、車載カメラ１１の撮影画像を車両１０から取得して地図を生成する地図生成装置２０と、を備えている。なお、図１では、車両１０が１台しか図示されていないが、地図生成システム１００は、複数の車両１０を備えている。

【0019】

車両１０は、車載カメラ１１と、無線通信機能を有する通信部１２と、通信部１２を介してＧＰＳ（global positioning system）として機能し車両１０の現在位置を取得する位置取得部１３とを備えている。位置取得部１３は、所定の時間が経過する毎に、通信部１２を介して得た人工衛星の位置情報を用いて、車両１０の現在位置を取得する。通信部１２は、位置取得部１３により取得された車両１０の現在位置の情報と、車載カメラ１１により取得された撮影画像（対象情報）とを、地図生成装置２０へと送信する。車載カメラ１１の撮影画像には、車両１０が通過した被検出対象である道路などが写っている。本実施形態における車両１０の現在位置の情報は、車両１０の移動軌跡を表す軌跡情報に相当する。

【0020】

図２は、車両１０の軌跡情報についての説明図である。図２には、道路ＲＤを走行している車両１０の複数の現在位置ＰＢが黒丸で示されている。図２に示される黒丸を経過した時間と共につなげた軌跡が、車両１０の移動軌跡である。なお、図２には、説明のために、本実施形態の地図生成装置２０により生成される道路ＲＤが破線により示している。本実施形態では、道路ＲＤの各経路情報については、車両１０の軌跡情報には含まれていない。

【0021】

本実施形態の地図生成装置２０は、パーソナルコンピュータ（Personal Computer）である。図１に示されるように、地図生成装置２０は、ユーザの各種操作を受け付ける入力部６０と、各種画像を表示するモニタおよび音声を出力するスピーカで構成される出力部７０と、無線通信を介して複数の車両１０の通信部１２から送信された車載カメラ１１の撮影画像および車両１０の現在位置の情報を受信する通信部５０と、ＣＰＵ（Central Processing Unit）３０と、ＲＯＭ（Read Only Memory）２１と、ＲＡＭ（Random Access Memory）２２と、各種情報を記憶するデータセンタ４０と、を備えている。

【0022】

本実施形態の入力部６０は、キーボードと、マウスと、音声入力を受け付けるマイクとにより構成されている。データセンタ４０は、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）などで構成されている。データセンタ４０は、通信部５０を介して車両１０から送信された複数の撮影画像を記憶する画像データベース（画像ＤＢ）４１と、地図生成装置２０が生成した地図を記憶する地図データベース（地図ＤＢ）４２と、を備えている。

【0023】

ＣＰＵ３０は、ＲＯＭ２１に格納されているコンピュータプログラムをＲＡＭ２２に展開する。これにより、ＣＰＵ３０は、被検出対象である道路が写っている撮影画像を取得する取得部３１と、複数の車両１０に搭載された車載カメラ１１の撮影画像から位置を基準として画像を分類して抽出する抽出部３２と、抽出部３２により抽出された各画像における不良箇所をマスクするマスク部３３と、マスク部３３によりマスクされていない被検出対象の部分を統合して地図を生成する地図生成部３５と、補完部（マスク補完部）３４として機能する。

【0024】

取得部３１は、データセンタ４０の画像ＤＢ４１から、複数の車両１０の車載カメラ１１が撮影した複数の撮影画像を取得する。撮影画像は、車載カメラ１１のレンズの中心から対象物までの距離の違いにより、画像上の像に位置ずれが生じている。本実施形態の取得部３１は、撮影画像を用いて、撮影画像上における位置ずれを修正したオルソ画像を作成する。取得部３１は、作成したオルソ画像を画像ＤＢ４１に記憶させる。また、取得部３１は、通信部５０を介して、複数の車両１０から送信された軌跡情報を取得する。

【0025】

抽出部３２は、車載カメラ１１の撮影画像を元に作成されたオルソ画像と、車載カメラ１１を搭載している車両１０の軌跡情報とを用いて、撮影位置により異なるオルソ画像のそれぞれを、被検出対象である道路地図の位置を基準として分類する。具体的には、抽出部３２は、複数の車両１０に搭載された車載カメラ１１から得られた、異なる車載カメラ１１による同一箇所の複数のオルソ画像を抽出する。

【0026】

本実施形態のマスク部３３は、抽出部３２により抽出された各オルソ画像における不良箇所を同定して、同定した被検出対象の位置に、画素の不透明度を表現するアルファチャンネルに対して０（ゼロ）を代入するマスク処理を行う。不良箇所の同定およびマスク処理については、例えば、下記３つのような周知技術を適用できる。なお、不良箇所とは、他の車両の写り込み及び構造物の影などが挙げられる。
１．エッジ検出およびコーナ検出等の組み合わせ
２．深層ニューラルネットワークを用いた物体検出
３．セマンティックセグメンテーション

【0027】

図３ないし図５は、被検出対象が写っているオルソ画像ＩＭ１～ＩＭ３の一例である。図３ないし図５に示された各オルソ画像ＩＭ１～ＩＭ３には、異なる車載カメラ１１の撮影画像から作成された、被検出対象である道路ＲＤ１の画像が示されている。図３ないし図５に示されるオルソ画像ＩＭ１～ＩＭ３には、道路ＲＤ１上に、濃いハッチングで示された不良箇所ＦＲ１～ＦＲ３が写っている。マスク部３３は、各オルソ画像ＩＭ１～ＩＭ３の不良箇所ＦＲ１～ＦＲ３にマスク処理を行う。本実施形態における不良箇所ＦＲ１～ＦＲ３は、他車の写り込みである。

【0028】

図６ないし図８は、マスク処理が行われた後のオルソ画像ＩＭ１～ＩＭ３である。図６ないし図８に示されるオルソ画像ＩＭ１～ＩＭ３では、図３ないし図５における不良箇所ＦＲ１～ＦＲ３は、マスク部３３によりマスクされたマスク領域ＭＲ１～ＭＲ３としてマスク処理されている。

【0029】

地図生成部３５は、マスク部３３によりマスク処理された同一箇所の複数のオルソ画像ＩＭ１～ＩＭ３を統合して、当該箇所における道路地図を生成する。本実施形態の地図生成部３５は、同一箇所における１枚のオルソ画像ＩＭ１を基準として、基準となるオルソ画像ＩＭ１のマスク領域ＭＲ１を、他のオルソ画像ＩＭ２，ＩＭ３のマスクされていない領域を置換して統合する。図９は、統合により得られたマスク領域ＭＲ１～ＭＲ３が存在しないオルソ画像ＩＭ４である。

【0030】

地図生成部３５により同一箇所の複数のオルソ画像が統合されても、オルソ画像中にマスク領域が残る場合がある。そのため、本実施形態では、図１に示される補完部３４が、地図生成部３５により生成されたオルソ画像にマスク領域が残っているか否かを判定する。補完部３４は、マスク領域が残っていると判定した場合には、残ったマスク領域を、被検出対象に応じて部分画像として補完する。図１０は、複数のオルソ画像の統合後にマスク領域が残っているオルソ画像ＩＭ５である。図１０に示されるオルソ画像ＩＭ５に対して、本実施形態の補完部３４は、マスク領域ＭＲ４に隣接し、マスクされていない領域から画素値の変化率を用いて、オルソ画像ＩＭ５中のマスク領域ＭＲ４を類推する。補完部３４は、マスク領域ＭＲ４を補完したオルソ画像を地図ＤＢ４２に記憶させる。

【0031】

補完部３４は、地図生成部３５により生成されたオルソ画像ＩＭ４にマスク領域ＭＲ４が残っていないと判定した場合には、生成されたオルソ画像ＩＭ４に処理を行わずに、地図ＤＢ４２に記憶させる。全ての箇所に対して上記の処理が行われた後に、地図生成部３５は、統合された各位置の複数のオルソ画像を組み合わせることにより、１枚の道路地図を生成する。

【0032】

図１１は、本実施形態における地図生成処理のフローチャートである。図１１に示されるように、地図生成フローでは、初めに、車両１０に搭載された車載カメラ１１が被検出対象である道路を撮影する（ステップＳ１）。取得部３１は、複数の車両１０のそれぞれから、車両１０の軌跡情報と撮影画像とを取得する（ステップＳ２）。取得部３１は、車載カメラ１１の撮影画像から、位置ずれを修正したオルソ画像を作成する（ステップＳ３）。

【0033】

抽出部３２は、各車両１０の軌跡情報を用いて、撮影位置を基準としてオルソ画像を分類する（ステップＳ４）。抽出部３２は、複数の車両１０に搭載された各車載カメラ１１から得られたオルソ画像に対して、同一箇所の複数のオルソ画像として抽出する。マスク部３３は、ある同一箇所における複数のオルソ画像ＩＭ１～ＩＭ３に写っている不良箇所に対してマスク処理を行う（ステップＳ５）。地図生成部３５は、マスク処理後の同一箇所における複数のオルソ画像を統合して、１枚のオルソ画像を生成する（ステップＳ６）。

【0034】

補完部３４は、地図生成部３５により生成された１枚のオルソ画像にマスク領域が残っているか否かを判定する（ステップＳ７）。補完部３４は、マスク領域が残っていないと判定した場合には（ステップＳ７：ＮＯ）、統合されて生成されたオルソ画像を地図ＤＢ４２に記憶させ、後述するステップＳ９の処理が行われる。

【0035】

ステップＳ７の処理において、補完部３４は、オルソ画像中にマスク領域ＭＲ４（図１０）が残っていると判定した場合には（ステップＳ７：ＹＥＳ）、マスク領域ＭＲ４を補完する（ステップＳ８）。その後、地図生成部３５は、１枚の道路地図を生成するために、全ての区間におけるオルソ画像の統合の処理が済んでいるか否かを判定する（ステップＳ９）。他の統合すべきオルソ画像があると判定された場合には（ステップＳ９：ＹＥＳ）、当該オルソ画像についてステップＳ５以降の処理が行われる。

【0036】

ステップＳ９の処理において、地図生成部３５は、他の統合すべきオルソ画像がないと判定した場合には（ステップＳ９：ＮＯ）、地図ＤＢ４２に記憶されている統合済みの各箇所に対応する複数のオルソ画像を組み合わせて道路地図を生成し（ステップＳ１０）、地図生成フローが終了する。

【0037】

以上説明したように、本実施形態の地図生成装置２０の取得部３１は、車両１０の車載カメラ１１が撮影した被検出対象である道路が写っている撮影画像と、車載カメラ１１を搭載した車両１０の軌跡情報とを取得する。抽出部３２は、複数の車両１０に搭載された車載カメラ１１の撮影画像から位置を基準として画像を分類して抽出する。マスク部３３は、抽出された各画像の不良箇所をマスクする。地図生成部３５は、マスク部３３によりマスクされていない道路の部分を統合して道路地図を生成する。車載カメラ１１の撮影画像には、外因による不良箇所（例えば、他車の写り込み及び建造物の影等、被検出対象である道路とは異なる物体等）を含んでいる場合がある。本実施形態では、マスク部３３によりこのような不良箇所をマスクできる。また、抽出部３２は、複数の車両１０から取得された撮影画像から作成されたオルソ画像を、「非検出対象の位置」を基準として分類する。地図生成部３５は、分類された複数のオルソ画像のそれぞれについてのマスクされていない部分を統合して地図を生成する。異なる車両１０の撮影画像では、不良箇所の部分が異なることが一般的である。地図生成部３５は、分類されたオルソ画像のそれぞれについてマスクされていない部分を統合して地図を生成する。そのため、一のオルソ画像ＩＭ１におけるマスク領域ＭＲ１が、他のオルソ画像ＩＭ２，ＩＭ３においてマスクされていなければ、これらのオルソ画像ＩＭ１～ＩＭ３が統合されることで、マスク領域ＭＲ１が存在しなくなる。すなわち、地図作成装置２０は、統合された各箇所の地図を組み合わせることで、不良箇所の少ない高精度の地図を生成できる。

【0038】

また、本実施形態の取得部１３は、車載カメラ１１の撮影画像から作成されたオルソ画像を取得する。抽出部３２は、オルソ画像と車両１０の軌跡情報とを用いて、撮影画像が取得された位置を基準として、取得されたオルソ画像を分類する。そのため、本実施形態の地図生成装置２０は、道路地図などのオルソ画像により形成された地図を生成できる。

【0039】

また、本実施形態の地図生成部３５は、抽出部３２により分類された同一箇所における１枚のオルソ画像ＩＭ１を基準として、基準としたオルソ画像ＩＭ１のマスク領域ＭＲ１を、他のオルソ画像ＩＭ２，ＩＭ３のマスクされていない領域を置換して統合する。そのため、本実施形態では、基準となるオルソ画像ＩＭ１のマスク領域ＭＲ１に対応する被検出対象の部分が写っている他のオルソ画像が存在すれば、地図が生成される。すなわち、より少ないオルソ画像によって、不良箇所の少ない高精度の地図が生成されるため、地図生成装置は処理負荷を低減できる。

【0040】

また、本実施形態の補完部３４は、地図生成部３５によりある箇所の統合されたオルソ画像にマスク領域が残っていると判定した場合には、残ったマスク領域を、被検出対象に応じて部分画像として補完する。そのため、統合後にマスク領域が残っていても、補完部３４がマスク領域ＭＲ４を補完することにより、地図生成装置２０は、不良箇所の少ない地図を生成できる。さらに、補完部３４は、補完方法として、図１０に示されるマスク領域ＭＲ４に隣接し、マスクされていない領域から画素値の変化率を用いて、オルソ画像ＩＭ５中のマスク領域ＭＲ４を類推する。すなわち、本実施形態の補完部３４は、生成された地図上に残存したマスク領域ＭＲ４を自動的に判別できる。この結果、地図生成装置２０は、マスク領域ＭＲ４を自然な画像として補完した地図を生成できる。

【0041】

＜上記実施形態の変形例＞
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

【0042】

［変形例１］
上記実施形態の地図生成システム１００が備える地図生成装置２０は一例であって、地図生成装置が備える構成および制御方法等については、種々変形可能である。例えば、地図生成装置２０は、補完部３４として機能しなくてもよい。この場合、地図生成装置２０は、ある箇所の統合されたオルソ画像にマスク領域が残っていた場合に、例えば、マスク領域を残したままの地図として生成してもよい。または、地図生成装置２０は、マスク領域が残らない状態までオルソ画像が集まった際に地図を生成してもよい。車両１０に搭載された車載カメラ１１については、被検出対象である道路を撮影可能な範囲で変形可能である。

【0043】

上記実施形態の地図生成装置２０は、取得部３１により作成されたオルソ画像を用いてオルソ画像の地図を生成したが、生成する地図はオルソ画像以外の画像やセンサの検出値等の他の対象情報であってもよい。例えば、生成される地図が、自動運転用の２次元高精度ベクトル地図であってもよい。対象情報がＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）で取得された点群データであり、生成される地図が３次元地図であってもよい。また、静的情報（例えば、車線や標識等）および動的情報（例えば、渋滞および信号等）を包含するダイナミックマップが生成されてもよい。

【0044】

上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

【0045】

地図生成システムは、地図生成装置と、上記実施形態の一部の構成を備えた単独で構成されたデータセンタとを備えていてもよい。データセンタは、上記実施形態のデータセンタ４０が備えている画像ＤＢ４１と、取得部３１により行われていたオルソ画像を作成する機能とを有していてもよい。この場合に、車載カメラ１１から送信される撮影画像は、データセンタに送られ、データセンタ内で撮影画像を元とするオルソ画像が作成されて記憶される。地図生成装置は、地図を生成する場合に、データセンタにアクセスすればよい。この変形例では、データセンタが存在することにより、地図生成装置２０が地図を生成する時のみ必要な処理を行えばよい。この結果、対象情報を取得してから地図が生成されるまでの処理が軽減される。また、対象情報と軌跡情報とを記憶するデータセンタを別途設けることにより、地図生成装置の処理負荷を分散させることができる。このように、地図生成装置２０は、必ずしも車両１０から直接的に撮影画像等の対象情報を取得せずに、データセンタから対象情報を取得してもよく、取得部３１が対象情報を取得する方法については、変形可能である。

【0046】

［変形例２］
上記実施形態のマスク部３３は、不良箇所のアルファチャンネルに対して０を代入するマスク処理を行ったが、マスク処理については変形可能である。マスク部３３は、不良箇所のアルファチャンネルに対して０以外の所定の値を代入してもよい。マスク部３３は、マスク処理として、不良箇所を構成する画素の補助データに対して不良箇所以外の画素と異なる処理を行ってもよい。マスク部３３は、不良箇所を白や黒等のオブジェクトで塗りつぶしてもよいし、不良箇所に対応する画素のデータをないものとして扱ってもよい。なお、マスク処理には、その他の周知技術が適用されてもよい。

【0047】

上記実施形態の地図生成部３５は、基準のオルソ画像ＩＭ１におけるマスク領域ＭＲ１を、他のオルソ画像ＩＭ２，ＩＭ３により置換して統合していたが、統合方法については変形可能である。例えば、同一箇所における複数のオルソ画像または撮影画像の統合方法として、例えば、各画像に共通で写っている特徴のある画像（例えば、道路標示やセンターライン等）を基準として位置が調整されて、複数の画像が統合されてもよい。なお、複数の画像の統合方法には、その他の周知技術が適用されてもよい。

【0048】

上記実施形態の補完部３４が行う処理については、変形可能である。例えば、補完部３４は、複数の画像の統合後に残っている地図上のマスク領域を、地図上の被検出対象である道路の色相に応じた色相の画像マッチを被覆してもよい。この変形例では、統合後にマスク領域が残っていても、地図生成装置は、不良箇所の少ない地図を生成できる。また、生成される地図では、補完されたマスク領域が自然な画像として生成される。なお、補完部３４によるマスク領域の補完には、その他の周知技術が適用されてもよい。

【0049】

以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。

【符号の説明】

【0050】

１０…車両
１１…車載カメラ
１２…通信部
１３…位置取得部
２０…地図生成装置
２１…ＲＯＭ
２２…ＲＡＭ
３０…ＣＰＵ
３１…取得部
３２…抽出部
３３…マスク部
３４…補完部（マスク補完部）
３５…地図生成部
４０…データセンタ
４１…画像ＤＢ
４２…地図ＤＢ
５０…通信部
６０…入力部
７０…出力部
１００…地図生成システム
ＦＲ１～ＦＲ３…不良箇所
ＩＭ１～ＩＭ５…オルソ画像
ＭＲ１～ＭＲ４…マスク領域
ＰＢ…現在位置
ＲＤ１…道路（被検出対象）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】