特開 2024-164457 データ収集装置、データ収集方法及びデータ収集用コンピュータプログラムならびにデータ収集指示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024164457

(43)【公開日】2024-11-27

(54)【発明の名称】データ収集装置、データ収集方法及びデータ収集用コンピュータプログラムならびにデータ収集指示装置

(51)【国際特許分類】

   G09B 29/00 20060101AFI20241120BHJP

   G01W 1/00 20060101ALI20241120BHJP

   G09B 29/10 20060101ALI20241120BHJP

   G08G 1/00 20060101ALI20241120BHJP

【ＦＩ】

G09B29/00 Z

G01W1/00 J

G09B29/10 A

G08G1/00 A

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023079942

(22)【出願日】2023-05-15

(71)【出願人】

【識別番号】521042770

【氏名又は名称】ウーブン・バイ・トヨタ株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】田中 雅浩

【テーマコード（参考）】

2C032

5H181

【Ｆターム（参考）】

2C032HA02

2C032HB05

2C032HC17

2C032HD26

2C032HD29

5H181AA01

5H181BB04

5H181BB20

5H181CC03

5H181CC04

5H181CC14

5H181EE13

5H181FF04

5H181FF10

5H181FF13

5H181FF27

5H181FF33

5H181MC15

5H181MC18

5H181MC27

(57)【要約】

【課題】路上に積雪がある状態でも、地物を表すデータを収集することができるデータ収集装置を提供する。
【解決手段】データ収集装置は、車両２の周囲に積雪が有るか否か判定する判定部４２と、積雪の有無の判定結果に基づいて、検出対象となる地物の種類を設定する設定部４３と、車両２に搭載されたカメラ２１により生成された車両２の周囲を表す画像から、設定された種類の地物を検出し、検出した地物を表すプローブデータを生成する検出部４４とを有する。
【選択図】図４

【特許請求の範囲】

【請求項1】

車両の周囲に積雪が有るか否か判定する判定部と、
前記積雪の有無の判定結果に基づいて、検出対象となる地物の種類を設定する設定部と、
前記車両に搭載されたカメラにより生成された前記車両の周囲を表す画像から、前記設定された種類の地物を検出し、当該検出した地物を表すプローブデータを生成する検出部と、
を有するデータ収集装置。

【請求項2】

前記設定部は、前記車両の周囲に積雪が有ると判定された場合、前記検出対象となる地物の種類として、道路または当該道路の周囲に位置する立体的な構造物を設定し、一方、前記車両の周囲に積雪が無いと判定された場合、前記検出対象となる地物の種類として、道路の路面または当該道路の周囲の地面に沿って形成される路面上構造物を含む所定の地物を設定する、請求項１に記載のデータ収集装置。

【請求項3】

前記検出部は、
前記車両の周囲に積雪が有ると判定された場合、前記画像から前記立体的な構造物を検出するように予め学習された第１の識別器に前記画像を入力することで前記立体的な構造物を検出し、
前記車両の周囲に積雪が無いと判定された場合、前記画像から前記所定の地物を検出するように予め学習された第２の識別器に前記画像を入力することで前記所定の地物を検出する、請求項２に記載のデータ収集装置。

【請求項4】

所定の領域において積雪が有るか否か判定する判定部と、
前記積雪が有る場合、前記所定の領域について所定の種類の地物が表されたプローブデータの収集を指示する収集指示を、通信装置を介して除雪車両に対して通知し、一方、前記積雪が無い場合、前記収集指示を、前記通信装置を介して除雪車両以外の車両に対して通知する通知処理部と、
を有するデータ収集指示装置。

【請求項5】

車両の周囲に積雪が有るか否か判定し、
前記積雪の有無の判定結果に基づいて、検出対象となる地物の種類を設定し、
前記車両に搭載されたカメラにより生成された前記車両の周囲を表す画像から、前記設定された種類の地物を検出し、
当該検出した地物を表すプローブデータを生成する、
ことを含むデータ収集方法。

【請求項6】

車両の周囲に積雪が有るか否か判定し、
前記積雪の有無の判定結果に基づいて、検出対象となる地物の種類を設定し、
前記車両に搭載されたカメラにより生成された前記車両の周囲を表す画像から、前記設定された種類の地物を検出し、
当該検出した地物を表すプローブデータを生成する、
ことを前記車両に搭載されたプロセッサに実行させるデータ収集用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、地図を生成または更新するために用いられるデータを収集するデータ収集装置、データ収集方法及びデータ収集用コンピュータプログラムならびにデータ収集指示装置に関する。

【背景技術】

【0002】

車両の自動運転システムが車両を自動運転制御するために参照する高精度な地図には、道路に関する情報を正確に表していることが求められる。そこで、所定の領域を実際に走行した車両から、その車両に搭載されたセンサにより得られた、その所定の領域内の道路または道路の周囲の地物を表すデータが収集される。しかしながら、車両の周囲の天候によっては、センサ信号からそのような地物を検出することが困難となる。そこで、データを収集する際に、天候情報を参照する技術が提案されている（特許文献１を参照）。

【0003】

特許文献１に開示された技術では、道路地図更新システム用の車両側装置は、車両の走行中の道路が道路地図データに含まれていない新規道路であるか否かを逐次判定する。そしてこの車両側装置は、車両の走行中の道路が新規道路であると判定されているときに車載カメラによって撮像される画像が、天候情報に基づいてセンタ側道路地図データの更新に使用可能であると判定できたことに基づいて、車載カメラによって撮像された車両周辺の画像を地図管理装置へ送信する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８－３９６８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

地域によっては、道路上に積雪がある状態が長期間にわたって継続することがある。このような場合、上記の技術では、積雪が残っている間、画像が収集されず、地図情報が更新されなくなる。そこで、道路上に積雪がある状態でも、地図情報の生成または更新に利用可能な、地物を表すデータを収集できることが望まれる。

【0006】

そこで、本発明は、道路上に積雪がある状態でも、地物を表すデータを収集することができるデータ収集装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

一つの実施形態によれば、データ収集装置が提供される。このデータ収集装置は、車両の周囲に積雪が有るか否か判定する判定部と、積雪の有無の判定結果に基づいて、検出対象となる地物の種類を設定する設定部と、車両に搭載されたカメラにより生成された車両の周囲を表す画像から、設定された種類の地物を検出し、検出した地物を表すプローブデータを生成する検出部とを有する。

【0008】

また、このデータ収集装置において、設定部は、車両の周囲に積雪が有ると判定された場合、検出対象となる地物の種類として、道路または道路の周囲に位置する立体的な構造物を設定し、一方、車両の周囲に積雪が無いと判定された場合、検出対象となる地物の種類として、道路の路面または道路の周囲の地面に沿って形成される路面上構造物を含む所定の地物を設定することが好ましい。

【0009】

この場合において、検出部は、車両の周囲に積雪が有ると判定された場合、画像から立体的な構造物を検出するように予め学習された第１の識別器に画像を入力することで立体的な構造物を検出し、車両の周囲に積雪が無いと判定された場合、画像から所定の地物を検出するように予め学習された第２の識別器に画像を入力することで所定の地物を検出することが好ましい。

【0010】

本発明の他の形態によれば、データ収集指示装置が提供される。このデータ収集指示装置は、所定の領域において積雪が有るか否か判定する判定部と、積雪が有る場合、所定の領域について所定の種類の地物が表されたプローブデータの収集を指示する収集指示を、通信装置を介して除雪車両に対して通知し、一方、積雪が無い場合、収集指示を、通信装置を介して除雪車両以外の車両に対して通知する通知処理部とを有する。

【0011】

本発明のさらに他の形態によれば、データ収集方法が提供される。このデータ収集方法は、車両の周囲に積雪が有るか否か判定し、積雪の有無の判定結果に基づいて、検出対象となる地物の種類を設定し、車両に搭載されたカメラにより生成された車両の周囲を表す画像から、設定された種類の地物を検出し、検出した地物を表すプローブデータを生成する、ことを含む。

【0012】

本発明のさらに他の形態によれば、データ収集用コンピュータプログラムが提供される。このデータ収集用コンピュータプログラムは、車両の周囲に積雪が有るか否か判定し、積雪の有無の判定結果に基づいて、検出対象となる地物の種類を設定し、車両に搭載されたカメラにより生成された車両の周囲を表す画像から、設定された種類の地物を検出し、検出した地物を表すプローブデータを生成する、ことを車両に搭載されたプロセッサに実行させる命令を含む。

【発明の効果】

【0013】

本開示に係るデータ収集装置は、道路上に積雪がある状態でも、地物を表すデータを収集することができるという効果を奏する。

【図面の簡単な説明】

【0014】

【図1】データ収集装置が実装されるデータ収集システムの概略構成図である。

【図2】車両の概略構成図である。

【図3】一つの実施形態によるデータ収集装置のハードウェア構成図である。

【図4】データ収集装置のプロセッサの機能ブロック図である。

【図5】（ａ）及び（ｂ）は、それぞれ、積雪時と非積雪時における、検出対象となる種類の地物の一例を示す図である。

【図6】データ収集処理の動作フローチャートである。

【図7】データ収集指示装置の一例であるサーバのハードウェア構成図である。

【図8】サーバのプロセッサの機能ブロック図である。

【図9】データ収集指示に関する処理の動作フローチャートである。

【発明を実施するための形態】

【0015】

以下、図を参照しつつ、データ収集装置、データ収集装置にて実行されるデータ収集方法及びデータ収集用コンピュータプログラムならびにデータ収集指示装置について説明する。このデータ収集装置は、車両に搭載される。このデータ収集装置は、地図の生成または更新に利用される、道路上または道路周囲の所定の地物を表すデータ（以下、プローブデータと呼ぶ）を、車両の周囲を表す画像に基づいて生成する。その際、このデータ収集装置は、車両の周囲に積雪が有るか否かを判定し、その判定結果に応じて、検出対象となる地物の種類を設定する。特に、積雪が有る場合には、このデータ収集装置は、積雪が有っても検出できる種類の地物を、検出対象の地物に設定する。

【0016】

図１は、データ収集装置が実装されるデータ収集システムの概略構成図である。本実施形態では、データ収集システム１は、少なくとも一つの車両２に搭載されたデータ収集装置３と、サーバ４とを有する。少なくとも一つの車両２は、除雪車両であってもよく、あるいは、普通乗用車、バスまたはトラックといった除雪車両以外の車両であってもよい。データ収集装置３は、例えば、サーバ４が接続される通信ネットワーク５とゲートウェイ（図示せず）などを介して接続される無線基地局６にアクセスすることで、無線基地局６及び通信ネットワーク５を介してサーバ４と接続される。なお、図１では、少なくとも一つの車両２として、除雪車両２ａと、普通乗用車２ｂとがそれぞれ一台ずつ示されているが、データ収集システム１は、データ収集装置３が搭載された除雪車両を複数有してもよい。同様に、データ収集システム１は、データ収集装置３が搭載された、除雪車両以外の車両を複数有してもよい。また、後述する変形例のように、サーバ４が積雪の有無によらずに各車両２に対して一律に収集指示を通知する場合、データ収集システム１は、除雪車両と除雪車両以外の車両の何れかのみを有していてもよい。さらに、複数の無線基地局６が通信ネットワーク５に接続されていてもよい。

【0017】

先ず、車両２及びデータ収集装置３について説明する。上記のように、データ収集システム１には、データ収集装置３が搭載された車両２が複数含まれてもよく、かつ、車両２は除雪車両２ａまたは除雪車両以外の車両２ｂの何れであってもよい。ただし、データ収集処理に関して各車両２及び各データ収集装置３は同じ構成を有し、かつ同じ処理を実行すればよいので、以下では、一つの車両２及び一つのデータ収集装置３について説明する。

【0018】

図２は、車両２の概略構成図である。車両２は、車両２の周囲を撮影するためのカメラ２１と、GPS受信機２２と、無線通信端末２３と、データ収集装置３とを有する。カメラ２１、GPS受信機２２、無線通信端末２３及びデータ収集装置３は、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。また、車両２は、LiDARセンサといった、車両２の周囲の物体までの距離を測定するための測距センサ（図示せず）をさらに有してもよい。

【0019】

カメラ２１は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ２１は、例えば、車両２の前方を向くように、例えば、車両２の車室内に取り付けられる。そしてカメラ２１は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両２の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２１により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、カメラ２１の撮影方向は車両２の前方方向に限られない。特に、除雪車両２ａに搭載されるカメラ２１については除雪車両２ａの後方領域を撮影するように取り付けられてもよい。これにより、除雪後の路面が表された画像が生成されることになる。さらに、車両２には、撮影方向または焦点距離が異なる複数のカメラ２１が設けられてもよい。

【0020】

カメラ２１は、画像を生成する度に、その生成した画像を、車内ネットワークを介してデータ収集装置３へ出力する。

【0021】

GPS受信機２２は、所定の周期ごとにGPS衛星からのGPS信号を受信し、受信したGPS信号に基づいて車両２の自己位置を測位する。そしてGPS受信機２２は、所定の周期ごとに、GPS信号に基づく車両２の自己位置の測位結果を表す測位情報を、車内ネットワークを介してデータ収集装置３へ出力する。なお、車両２は、GPS受信機２２以外の衛星測位システムに準拠した受信機を有していてもよい。この場合、その受信機が車両２の自己位置を測位すればよい。

【0022】

無線通信端末２３は、通信装置の一例であり、所定の無線通信規格に準拠した無線通信処理を実行する機器であり、例えば、無線基地局６にアクセスすることで、無線基地局６及び通信ネットワーク５を介してサーバ４と接続される。すなわち、無線基地局６及び通信ネットワーク５を介して、無線通信端末２３とサーバ４間に通信回線が確立される。そして無線通信端末２３は、サーバ４から受信した、収集指示信号または収集対象領域を表す信号を含むダウンリンクの無線信号を受信し、受信したそれらの信号をデータ収集装置３へ出力する。また、無線通信端末２３は、データ収集装置３から受け取った、指定された種別の収集対象データ（例えば、プローブデータまたは画像）を含むアップリンクの無線信号を生成する。そして無線通信端末２３は、そのアップリンクの無線信号を無線基地局６へ送信することで、収集対象データをサーバ４へ送信する。

【0023】

図３は、データ収集装置３のハードウェア構成図である。データ収集装置３は、カメラ２１から受け取った画像を一時的に保存する。さらに、データ収集装置３は、画像などに基づいてプローブデータを生成し、生成したプローブデータを一時的に保存する。そしてデータ収集装置３は、プローブデータ及び画像を、無線通信端末２３を介してサーバ４へ送信する。そのために、データ収集装置３は、通信インターフェース３１と、メモリ３２と、プロセッサ３３とを有する。

【0024】

通信インターフェース３１は、車内通信部の一例であり、データ収集装置３を車内ネットワークに接続するためのインターフェース回路を有する。すなわち、通信インターフェース３１は、車内ネットワークを介して、カメラ２１、GPS受信機２２及び無線通信端末２３と接続される。そして通信インターフェース３１は、カメラ２１から画像を受信する度に、受信した画像をプロセッサ３３へわたす。また、通信インターフェース３１は、GPS受信機２２から測位情報を受信する度に、受信した測位情報をプロセッサ３３へわたす。さらに、通信インターフェース３１は、無線通信端末２３から、収集指示信号といったサーバ４からの情報を受信する度に、その情報をプロセッサ３３へわたす。さらにまた、通信インターフェース３１は、プロセッサ３３から受け取った、収集対象データなどを、車内ネットワークを介して無線通信端末２３へ出力する。

【0025】

メモリ３２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ３２は、ハードディスク装置といった他の記憶装置をさらに有してもよい。そしてメモリ３２は、データ収集装置３のプロセッサ３３により実行されるデータ収集に関連する処理において使用される各種のデータを記憶する。例えば、メモリ３２は、車両２の識別情報、カメラ２１の焦点距離、撮影方向、設置位置といったカメラ２１のパラメータを記憶する。さらに、メモリ３２は、積雪の有無を判定するための判定器を特定するための各種パラメータ、及び、カメラ２１から受信した画像から地物を検出するための識別器を特定するための各種パラメータを記憶する。また、メモリ３２は、GPS受信機２２から受信した測位情報を記憶する。さらにまた、メモリ３２は、サーバ４から受信した収集対象領域を表す情報を記憶する。さらにまた、メモリ３２は、プロセッサ３３で実行される各処理を実現するためのコンピュータプログラムなどを記憶してもよい。

【0026】

さらに、メモリ３２には、画像保存用の記憶領域（以下、画像保存領域と呼ぶ）と、プローブデータ保存用の記憶領域（以下、プローブ保存領域と呼ぶ）とが設けられる。そしてデータ収集装置３がカメラ２１から受信した画像は、画像保存領域に一時的に記憶される。また、プロセッサ３３により生成されたプローブデータは、プローブ保存領域に一時的に記憶される。

【0027】

プロセッサ３３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ３３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ３３は、車両２が走行している間、データ収集処理を実行する。

【0028】

図４は、データ収集装置３のプロセッサ３３の機能ブロック図である。プロセッサ３３は、画像保存部４１と、判定部４２と、設定部４３と、検出部４４と、通信処理部４５とを有する。プロセッサ３３が有するこれらの各部は、例えば、プロセッサ３３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ３３が有するこれらの各部は、プロセッサ３３に設けられる、専用の演算回路であってもよい。

【0029】

画像保存部４１は、データ収集装置３がカメラ２１から画像を受け取る度に、メモリ３２の画像保存領域に画像を書き込む。その際、画像保存部４１は、カメラ２１から画像を受信する度に、最新の測位情報で表される車両２の位置及び方位センサ（図示せず）により示される車両２の向きをその画像に関連付ける。さらに、画像保存部４１は、カメラ２１の焦点距離、設置位置及び撮影方向といったカメラ２１のパラメータも、その画像に関連付けてもよい。これらの画像に関連付けられた情報は、画像がサーバ４へアップロードされる際に、画像そのものとともにサーバ４へアップロードされる。

【0030】

判定部４２は、車両２の周囲に積雪が有るか否か判定する。本実施形態では、判定部４２は、カメラ２１から受け取った最新の画像を、雪で覆われている領域とそれ以外の領域とを識別可能なように予め学習された判定器に入力する。そして判定部４２は、判定器による出力結果で示される、雪で覆われている領域のサイズが所定の積雪判定閾値以上である場合、車両２の周囲に積雪が有ると判定する。判定部４２は、そのような判定器として、Fully Convolutional NetworkあるいはU-Netといった、セマンティックセグメンテーション用のディープニューラルネットワーク(DNN)を用いることができる。

【0031】

あるいは、判定部４２は、無線通信端末２３を介して天候情報配信用のサーバ（図示せず）から受信した天候情報に基づいて、車両２の周囲に積雪が有るか否かを判定してもよい。この場合、判定部４２は、GPS受信機２２から受信した最新の測位情報で示される車両２の現在位置が、天候情報で示される、積雪が有る領域に含まれるか否か判定する。そして判定部４２は、車両２の現在位置が、積雪が有る領域に含まれる場合、車両２の周囲に積雪が有ると判定すればよい。

【0032】

なお、以下では、車両２の周囲に積雪が有ると判定された状態を、単に積雪が有る、あるいは、積雪時と称し、車両２の周囲に積雪が無いと判定された状態を、単に積雪が無い、あるいは、非積雪時と称することがある。判定部４２は、積雪の有無の判定結果を設定部４３へ通知する。

【0033】

設定部４３は、判定部４２から通知された、積雪の有無の判定結果に基づいて、検出対象となる地物の種類を設定する。本実施形態では、車両２の周囲に積雪が有ると判定された場合、設定部４３は、検出対象となる地物の種類として、道路または道路の周囲に位置する立体的な構造物を設定する。そのような立体的な構造物には、例えば、路肩の位置を示すポールまたは矢印標識、道路標識、看板及び信号機が含まれる。このような立体的な構造物は、車両２の周囲の路面が積雪で覆われていても、積雪に覆われずに視認可能となっている可能性が高いためである。なお、道路標識の表面は雪で覆われている可能性もあるので、設定部４３は、道路標識の表示内容は検出対象とせず、あくまで、道路標識そのものを検出対象とすることが好ましい。同様に、設定部４３は、看板の表示内容ではなく、看板そのものを検出することが好ましい。なお、道路標識、看板及び信号機のそれぞれの位置は、例えば、自車両の位置を検出するローカライズ処理に使用できるように、いわゆる高精度地図あるいはダイナミックマップに表される。さらに、検出対象となる立体的な構造物には、除雪の結果として形成される雪の壁が含まれてもよい。ただし、雪の壁の位置は変化し得るので、雪の壁の位置はダイナミックマップの更新には利用するものの、高精度地図の更新には利用しないことが好ましい。なお、高精度地図は、車線区画線といた、車線レベルで車両の位置を特定するために利用される情報を含む地図である。ダイナミックマップは、そのような情報に加えて、交通情報などの準動的あるいは準静的な情報及び周辺車両に関する情報といった動的な情報を含む地図である。

【0034】

一方、車両２の周囲に積雪が無いと判定された場合、設定部４３は、検出対象となる地物の種類として、道路の路面または道路の周囲の地面に沿って形成される路面上構造物を含む所定の地物を設定する。そのような路面上構造物には、車線区画線、一時停止線または横断歩道といった道路標示、及び、縁石が含まれる。なお、車両２の周囲に積雪が無いと判定された場合に検出対象となる所定の地物には、積雪時において検出対象となる、ポール、道路標識などの立体的構造物が含まれていてもよい。

【0035】

図５（ａ）及び図５（ｂ）は、それぞれ、積雪時と非積雪時における、検出対象となる種類の地物の一例を示す図である。図５（ａ）に示される例では、車両２の周囲を表す画像５００において、積雪が有ることが検出されている。そして積雪のために、路面上の地物は見えなくなっている。そこで、検出対象となる地物として、ポール５０１及び信号機５０２などの立体的な構造物が設定される。

【0036】

これに対して、図５（ｂ）に示される例では、車両２の周囲を表す画像５１０において、積雪が検出されておらず、路面上の地物も視認可能となっている。そのため、検出対象となる地物として、車線区画線５１１といった道路標示が設定される。

【0037】

設定部４３は、設定した、検出対象となる地物の種類を検出部４４へ通知する。

【0038】

検出部４４は、車両２の走行中において、所定の周期ごとに、あるいは、車両２が所定距離走行する度に、カメラ２１により生成された最新の画像から、設定部４３により設定された種類の地物を検出する。そして検出部４４は、画像上で検出された地物の種類及びその地物の位置を表すプローブデータを生成する。

【0039】

例えば、検出部４４は、画像を識別器に入力することで、入力された画像に表された、検出対象となる種類の地物を検出する。検出部４４は、そのような識別器として、Single Shot MultiBox Detector、または、Faster R-CNNといった、コンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを持つDNNを用いることができる。あるいは、検出部４４は、そのような識別器として、Vision Transformerといった、self attention network(SAN)型のアーキテクチャを有するDNNを用いてもよい。あるいはまた、検出部４４は、そのような識別器として、AdaBoost識別器といった、他の機械学習手法に基づく識別器を用いてもよい。このような識別器は、画像から検出対象となる種類の地物を検出するように、その地物が表された多数の教師画像を用いて誤差逆伝搬法といった所定の学習手法に従って予め学習される。そして識別器は、入力された画像上で検出対象となる種類の地物が含まれる領域（例えば、検出対象となる地物の外接矩形、以下、物体領域と呼ぶ）を表す情報、及び、物体領域に表された地物の種類を表す情報を出力する。

【0040】

本実施形態では、車両２の周囲に積雪が有ると判定された場合に用いる第１の識別器と、車両２の周囲に積雪が無いと判定された場合に用いる第２の識別器とが別個に用意される。すなわち、第１の識別器は、積雪時に検出対象となる種類の地物を画像から検出するように予め学習される。これに対して、第２の識別器は、非積雪時に検出対象となる種類の地物を画像から検出するように予め学習される。第１の識別器と第２の識別器とは、異なるアーキテクチャに基づくものであってもよく、同じアーキテクチャに基づくものであってもよい。そして設定部４３から車両２の周囲に積雪が有ると判定されたときの地物の種類が通知されると、検出部４４は、画像を第１の識別器に入力する。これにより、積雪時に検出対象となる種類の地物が画像から検出される。一方、設定部４３から車両２の周囲に積雪が無いと判定されたときの地物の種類が通知されると、検出部４４は、画像を第２の識別器に入力する。これにより、非積雪時に検出対象となる種類の地物が画像から検出される。このように、積雪時と非積雪時とで別個に識別器を用意することで、個々の識別器について検出対象となる種類の地物を限定できるので、検出部４４は、検出対象となる種類の地物を精度良く検出することができる。

【0041】

あるいは、車両２の周囲に積雪が有ると判定された場合と、車両２の周囲に積雪が無いと判定された場合とで、共通の識別器が利用されてもよい。この場合、識別器は、積雪時に検出対象となる種類の地物だけでなく、非積雪時に検出対象となる種類の地物も画像から検出するように予め学習される。そして検出部４４は、積雪時または非積雪時の何れであっても、画像をその識別器に入力する。ただし、積雪時には、検出部４４は、識別器から出力される検出結果のうち、積雪時に検出対象となる種類の地物以外の検出結果を無視すればよい。反対に、非積雪時には、検出部４４は、識別器から出力される検出結果のうち、非積雪時に検出対象となる種類の地物以外の検出結果を無視すればよい。このように、積雪時と非積雪時とで共通の識別器を利用することで、必要なハードウェアリソースを削減することができる。

【0042】

検出部４４は、画像から検出された物体領域の重心に対応する、カメラ２１からの方位、画像生成時の車両２の位置、進行方向及びカメラ２１の撮影方向、焦点距離及び設置位置といったパラメータに基づいて、その物体領域に表された地物の位置を推定する。その際、検出部４４は、いわゆるStructure from Motion (SfM)により、地物の位置を推定してもよい。この場合、検出部４４は、互いに異なるタイミングで得られた二つの画像間で、オプティカルフローを利用して同じ地物が表された物体領域同士を対応付ける。そして検出部４４は、その二つの画像のそれぞれが得られたときの車両２の位置及び進行方向と、カメラ２１のパラメータと、各画像における物体領域の位置とに基づいて、三角測量により、地物の位置を推定すればよい。そして検出部４４は、検出された地物の種類及び推定された位置を表す情報を含むプローブデータを生成する。検出部４４は、さらに、画像生成時の車両２の位置及び進行方向を表す情報をプローブデータに含めてもよい。検出部４４は、物体領域のサイズ及び画像上での位置を表す情報をさらにプローブデータに含めてもよい。なお、検出部４４は、検出された地物一つにつき、一つのプローブデータを生成する。そのため、一つの画像から複数の地物が検出される場合、一つの画像から複数のプローブデータが生成される。

【0043】

検出部４４は、プローブデータを生成する度に、生成したプローブデータをメモリ３２のプローブ保存領域に書き込む。

【0044】

通信処理部４５は、メモリ３２に記憶されている収集対象データを、無線通信端末２３を介してサーバ４へ送信する。

【0045】

通信処理部４５は、収集対象領域を表す情報と、最新の測位情報とを参照して、車両２が収集対象領域に進入したか否かを判定する。そして車両２が収集対象領域に進入すると、通信処理部４５は、収集指示信号にて指定される、その収集対象領域についての収集対象データを、無線通信端末２３を介してサーバ４へ送信する。

【0046】

なお、収集対象領域は、例えば、連続した１以上の道路区間ごと、あるいは、所定の形状を有する領域ごとに指定される。収集対象領域が道路の区間として指定される場合、収集対象領域を表す情報は、その道路の区間を識別するための識別情報及びその道路区間に進入または退出可能な端部の位置を表す情報を含む。また、収集対象領域が所定の形状を有する領域である場合、収集対象領域を表す情報は、その領域の外縁の位置を表す情報を含む。そして、最新の測位情報で表される車両２の位置が、収集対象領域で表される情報で示される領域または道路区間に含まれる場合、通信処理部４５は、車両２が収集対象領域に進入したと判定する。

【0047】

プローブデータが収集対象データとして指定されていると、通信処理部４５は、メモリ３２のプローブ保存領域に記憶されているプローブデータを古い方から順に無線通信端末２３を介してサーバ４へ送信する。

【0048】

また、プローブデータ及び画像が収集対象データとして指定されていると、通信処理部４５は、メモリ３２のプローブ保存領域に記憶されているプローブデータと、画像保存領域に記憶されている画像とを、それぞれ、古い方から順に無線通信端末２３を介してサーバ４へ送信する。

【0049】

さらに、収集対象データとして指定される画像は、部分画像であってもよい。この場合、通信処理部４５は、画像保存領域に記憶されている個々の画像のそれぞれについて、その画像から路面が表されていると推定される範囲を切り出すことで部分画像を生成する。そして通信処理部４５は、メモリ３２のプローブ保存領域に記憶されているプローブデータとともに、生成した部分画像を、それぞれ、古い方から順に無線通信端末２３を介してサーバ４へ送信する。

【0050】

また、通信処理部４５は、無線通信端末２３を介してサーバ４へ送信した収集対象データをメモリ３２から消去する。

【0051】

通信処理部４５は、車両２が収集対象領域から退出すると、メモリ３２を参照して、その退出時点で未送信の収集対象データを特定する。そして通信処理部４５は、特定した収集対象データのサーバ４への送信が完了した時点で、収集対象データの送信を終了する。なお、通信処理部４５は、車両２が収集対象領域に進入したか否かの判定と同様に、収集対象領域を表す情報と、最新の測位情報とを参照することで、車両２が収集対象領域から退出したか否かを判定すればよい。

【0052】

図６は、データ収集処理、特に、プローブデータの生成に関する処理の動作フローチャートである。プロセッサ３３は、所定の周期ごと、あるいは車両２が所定距離走行する度に、以下の動作フローチャートに従ってデータ収集処理を実行する。

【0053】

プロセッサ３３の画像保存部４１は、カメラ２１からデータ収集装置３が受信した画像を、メモリ３２の画像保存領域に書き込む（ステップＳ１０１）。また、プロセッサ３３の判定部４２は、車両２の周囲に積雪が有るか否か判定する（ステップＳ１０２）。

【0054】

車両２の周囲に積雪が有る場合（ステップＳ１０２－Ｙｅｓ）、プロセッサ３３の設定部４３は、道路上または道路の周囲に位置する立体的な構造物を、検出対象となる地物の種類として設定する（ステップＳ１０３）。一方、車両２の周囲に積雪が無い場合（ステップＳ１０２－Ｎｏ）、設定部４３は、道路の路面または道路の周囲の地面に沿って形成される路面上構造物を含む所定の地物を、検出対象となる地物の種類として設定する（ステップＳ１０４）。

【0055】

ステップＳ１０３またはＳ１０４の後、プロセッサ３３の検出部４４は、カメラ２１により生成された画像から、設定された種類の地物を検出し、検出した地物を表すプローブデータを生成する（ステップＳ１０５）。そして検出部４４は、生成したプローブデータを、メモリ３２のプローブ保存領域に書き込む（ステップＳ１０６）。そしてプロセッサ３３は、プローブデータの生成に関する処理を終了する。

【0056】

なお、積雪の有無が局所的に変化することはあまりないと想定されるので、プロセッサ３３は、車両２が収集対象領域に進入する前後において１回に限り、ステップＳ１０２～Ｓ１０４の処理を実行してもよい。

【0057】

以上に説明してきたように、このデータ収集装置は、車両の周囲の積雪の有無に応じて、検出対象となる地物の種類を設定する。特に、このデータ収集装置は、積雪時には、路面が積雪で覆われていても検出可能、かつ、地図の生成または更新に利用される地物の種類を検出対象の地物の種類として設定する。そのため、このデータ収集装置は、積雪時においてもプローブデータを収集することができる。したがって、このデータ収集装置は、プローブデータが長期間にわたって収集されなくすることを防止できる。

【0058】

変形例によれば、設定部４３は、画像上の領域ごとに、検出対象となる地物の種類を設定してもよい。すなわち、判定部４２の判定器の出力結果に表される、積雪が有ると判定された領域について、設定部４３は、上記の実施形態のように立体的な構造物を検出対象となる地物の種類として設定する。これに対して、判定器の出力結果に表される、積雪が無いと判定された領域について、路面上構造物を含む所定の地物を検出対象となる地物の種類として設定する。そして検出部４４は、領域ごとに、その領域について設定された種類の地物を検出すればよい。すなわち、検出部４４は、画像を第１の識別器に入力することで検出された地物のうち、積雪が有ると判定された領域に含まれる地物についてのみ、プローブデータを生成すればよい。同様に、検出部４４は、画像を第２の識別器に入力することで検出された地物のうち、積雪が無いと判定された領域に含まれる地物のみ、プローブデータを生成すればよい。

【0059】

この変形例によれば、車両の周囲に除雪されたところと除雪されていないところとが混在する場合でも、データ収集装置は、地物を適切に検出することができる。

【0060】

次に、サーバ４について説明する。サーバ４は、データ収集指示装置の一例であり、積雪の有無に応じて収集対象データの収集を指示する車両の種類を選択する。さらに、サーバ４は、収集対象領域について収集対象となるデータの種別を指定する。そしてサーバ４は、選択した種類の車両に対して、指定した種別のデータを収集対象データとして表し、かつ、収集対象データの収集を指示する収集指示信号を通知する。さらに、サーバ４は、収集指示信号を通知した個々の車両２に搭載されたデータ収集装置３から送信されたプローブデータまたは画像を保存する。そしてサーバ４は、それらのプローブデータまたは画像に基づいて、収集対象領域の地図を生成し、あるいは、更新する。さらに、サーバ４は、個々の車両２に対して、収集対象領域を通知する。

【0061】

図７は、サーバ４のハードウェア構成図である。サーバ４は、通信インターフェース５１と、ストレージ装置５２と、メモリ５３と、プロセッサ５４とを有する。通信インターフェース５１、ストレージ装置５２及びメモリ５３は、プロセッサ５４と信号線を介して接続されている。サーバ４は、キーボード及びマウスといった入力装置と、液晶ディスプレイといった表示装置とをさらに有してもよい。

【0062】

通信インターフェース５１は、通信部の一例であり、サーバ４を通信ネットワーク５に接続するためのインターフェース回路を有する。そして通信インターフェース５１は、個々の車両２に搭載されたデータ収集装置３と、通信ネットワーク５及び無線基地局６を介して通信可能に構成される。すなわち、通信インターフェース５１は、個々の車両２のデータ収集装置３から無線基地局６及び通信ネットワーク５を介して受信した収集対象データなどをプロセッサ５４へわたす。また、通信インターフェース５１は、プロセッサ５４から受け取った収集指示信号などを、通信ネットワーク５及び無線基地局６を介して個々の車両２のデータ収集装置３へ送信する。

【0063】

ストレージ装置５２は、記憶部の一例であり、例えば、ハードディスク装置または光記録媒体及びそのアクセス装置を有する。そしてストレージ装置５２は、種別指定情報、及び、複数の道路区間のそれぞれについて、その道路区間について収集された収集対象データなどを記憶する。さらに、ストレージ装置５２は、個々の車両２の種類（除雪車両かそれ以外の車両か）を表す車種情報及び識別情報を記憶する。さらに、ストレージ装置５２は、プロセッサ５４上で実行される、サーバ４側でのデータ収集処理を実行するためのコンピュータプログラムを記憶してもよい。さらにまた、ストレージ装置５２は、収集対象データに基づいて生成または更新される地図を記憶してもよい。

【0064】

メモリ５３は、記憶部の他の一例であり、例えば、不揮発性の半導体メモリ及び揮発性の半導体メモリを有する。そしてメモリ５３は、データ収集処理の実行中に生成される各種データ、及び、プローブデータ及び画像といった個々の車両２との通信により取得される各種データなどを一時的に記憶する。

【0065】

プロセッサ５４は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ５４は、論理演算ユニットあるいは数値演算ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ５４は、サーバ４側でのデータ収集処理を実行する。

【0066】

図８は、サーバ４のプロセッサ５４の機能ブロック図である。プロセッサ５４は、判定部６１と、通知処理部６２とを有する。プロセッサ５４が有するこれらの各部は、例えば、プロセッサ５４上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ５４が有するこれらの各部は、プロセッサ５４に設けられる、専用の演算回路であってもよい。

【0067】

判定部６１は、収集対象領域について積雪が有るか否かを判定する。例えば、判定部６１は、通信インターフェース５１を介して天候情報配信用のサーバ（図示せず）から受信した天候情報に基づいて、収集対象領域に積雪が有るか否かを判定する。そのために、判定部６１は、収集対象領域と、天候情報で示される、積雪が有る領域とを比較する。そして収集対象領域の所定割合以上の領域が、天候情報で示される積雪が有る領域に含まれる場合、判定部６１は、収集対象領域に積雪が有ると判定すればよい。あるいは、収集対象領域内に設定される基準点（例えば、収集対象領域の中心または重心）が天候情報で示される積雪が有る領域に含まれる場合、判定部６１は、収集対象領域に積雪が有ると判定してもよい。

【0068】

また、直近の所定期間（例えば、数時間～1日）内において、収集対象領域内で生成された画像を何れかの車両２からサーバ４が受信した場合、判定部６１は、その画像に基づいて積雪の有無を判定してもよい。この場合、判定部６１は、データ収集装置３の判定部４２と同様に、積雪の有無を判定するための判定器に画像を入力することで得られる判定結果に基づいて、積雪の有無を判定すればよい。そして判定部６１は、その画像に基づいて積雪が有ると判定した場合、収集対象領域に積雪が有ると判定する。

【0069】

判定部６１は、収集対象領域における積雪の有無の判定結果を通知処理部６２に通知する。

【0070】

通知処理部６２は、収集対象領域における積雪の有無の判定結果に基づいて、収集指示を通知する車両の種類を選択する。具体的に、通知処理部６２は、収集対象領域に積雪が有る場合、除雪車両を、収集指示を通知する車両の種類として選択する。一方、収集対象領域に積雪が無い場合、通知処理部６２は、除雪車両以外の車両を、収集指示を通知する車両の種類として選択する。そして通知処理部６２は、車種情報及び識別情報を参照して、各車両２のうち、選択された種類の車両を特定する。

【0071】

通知処理部６２は、収集対象領域に対応する種別指定情報を参照する。そして通知処理部６２は、その種別指定情報に基づいて、収集対象領域について指定される、収集対象データの種別を特定する。収集対象データの種別には、車両２に搭載されたカメラ２１により生成された車両２の周囲の環境を表す画像、その画像から切り出された路面が表された部分画像、または、その画像から検出された地物を表すプローブデータが含まれる。したがって、種別指定情報には、収集対象領域ごとに、収集対象データの種別として、画像、部分画像及びプローブデータの何れかが示される。

【0072】

通知処理部６２は、特定された収集対象データの種別を指定するための情報を収集指示信号に含める。種別指定情報においてプローブデータが示されている場合、通知処理部６２は、収集対象データとしてプローブデータのみを指定する。また、種別指定情報において画像が示されている場合、通知処理部６２は、収集対象データとしてプローブデータ及び画像を指定する。さらに、種別指定情報において部分画像が示されている場合、プロセッサ５４は、収集対象データとしてプローブデータ及び部分画像を指定する。

【0073】

通知処理部６２は、生成した収集指示信号を、選択した種類の個々の車両２へ、通信インターフェース５１、通信ネットワーク５及び無線基地局６を介して送信する。

【0074】

なお、収集対象領域が複数設定されている場合、プロセッサ５４は、収集対象領域ごとに、判定部６１の処理及び通知処理部６２の処理を実行すればよい。

【0075】

なお、プロセッサ５４は、ストレージ装置５２に記憶されている個々の道路区間について収集されたプローブデータの数に基づいて、収集対象領域を設定してもよい。例えば、直近の所定期間（例えば、数週間～数カ月）において収集されたプローブデータの数が所定の収集閾値未満である道路区間を収集対象領域に設定する。あるいは、プロセッサ５４は、更新対象の地図に表される個々の道路区間のうち、前回の更新からの経過時間が所定の経過時間閾値以上となった道路区間を収集対象領域に設定してもよい。そしてプロセッサ５４は、設定した収集対象領域を、通信インターフェース５１を介して個々の車両２のデータ収集装置３へ通知すればよい。

【0076】

さらに、プロセッサ５４は、収集したプローブデータ及び画像を用いて、地図を生成し、あるいは更新してもよい。生成または更新の対象となる地図は、車両の自動運転制御に利用される地図であり、高精度地図あるいはダイナミックマップの何れであってもよい。プロセッサ５４は、一つの車両２から連続した区間について収集されたそれぞれのプローブデータに表される地物を、過去に収集された他のプローブデータに表され、あるいは更新対象となる地図に表される対応する地物と位置合わせする。そしてプロセッサ５４は、連続した区間について収集されたそれぞれのプローブデータに表される地物のうち、他のプローブデータあるいは更新対象となる地図に対応する地物が無いものを新たに設置された地物として特定する。そしてプロセッサ５４は、生成または更新対象となる地図に、特定した地物に関する情報（位置及び種別）を追加する。また、プロセッサ５４は、更新対象となる地図に表された地物のうち、連続した区間について収集されたそれぞれのプローブデータに表される地物において対応するものが無い地物について、撤去されたものとして特定してもよい。そしてプロセッサ５４は、撤去されたものとして特定した地物に関する情報を、更新対象となる地図から削除してもよい。

【0077】

図９は、データ収集指示に関する処理の動作フローチャートである。サーバ４のプロセッサ５４は、所定のタイミング（例えば、所定の日時）になると、以下の動作フローチャートに従ってデータ収集指示に関する処理を実行する。

【0078】

プロセッサ５４の判定部６１は、収集対象領域に積雪が有るか否か判定する（ステップＳ２０１）。収集対象領域に積雪が有る場合（ステップＳ２０１－Ｙｅｓ）、プロセッサ５４の通知処理部６２は、収集指示を通知する車両の種類として除雪車両を選択する（ステップＳ２０２）。一方、収集対象領域に積雪が無い場合（ステップＳ２０１－Ｎｏ）、通知処理部６２は、収集指示を通知する車両の種類として除雪車両以外の車両を選択する（ステップＳ２０３）。

【0079】

ステップＳ２０２またはＳ２０３の後、通知処理部６２は、選択した車両に対して、通信インターフェース５１、通信ネットワーク５及び無線基地局６を介して収集指示信号を通知する（ステップＳ２０４）。そしてプロセッサ５４は、データ収集指示に関する処理を実行する。

【0080】

以上に説明してきたように、このデータ収集指示装置は、収集対象領域の積雪の有無に応じて、プローブデータを含む収集対象データの収集を指示する車両の種類を選択する。特に、このデータ収集指示装置は、収集対象領域に積雪が有る場合、収集対象データの収集を指示する車両として除雪車両を選択する。そのため、このデータ収集指示装置は、積雪時でも路面がある程度見えた状態でプローブデータの生成及び収集が行われるようにすることができる。したがって、このデータ収集指示装置は、積雪時においてもプローブデータに表される地物の精度の低下を抑制できるとともに、データ収集装置に、道路標示などの路面上に表される地物についてのプローブデータも収集させることができる。また、非積雪時においては、除雪時以外あまり走行しない除雪車両以外の車両にプローブデータの生成及び収集を行わせるので、このデータ収集指示装置は、非積雪時においても適切にプローブデータを収集することができる。

【0081】

変形例によれば、サーバ４は、収集対象領域の積雪の有無によらずに、各車両２に対して一律に収集指示を通知してもよい。また、上記のように、サーバ４がデータ収集を指示する車両を指定する場合には、各車両に搭載されるデータ収集装置において、非積雪時に収集対象となる種類の地物を表すプローブデータを収集するものとして、判定部４２及び設定部４３の処理は省略されてもよい。

【0082】

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

【符号の説明】

【0083】

１ データ収集システム
２ 車両
２ａ 除雪車両
２ｂ 普通乗用車
２１ カメラ
２２ GPS受信機
２３ 無線通信端末
３ データ収集装置
３１ 通信インターフェース
３２ メモリ
３３ プロセッサ
４１ 画像保存部
４２ 判定部
４３ 設定部
４４ 検出部
４５ 通信処理部
４ サーバ
５１ 通信インターフェース
５２ ストレージ装置
５３ メモリ
５４ プロセッサ
６１ 判定部
６２ 通知処理部
５ 通信ネットワーク
６ 無線基地局

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】