(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024138108
(43)【公開日】2024-10-07
(54)【発明の名称】情報送信装置、制御方法、プログラム及び記憶媒体
(51)【国際特許分類】
G06F 16/909 20190101AFI20240927BHJP
【FI】
G06F16/909
【審査請求】有
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2024121038
(22)【出願日】2024-07-26
(62)【分割の表示】P 2023037372の分割
【原出願日】2018-03-23
(71)【出願人】
【識別番号】000005016
【氏名又は名称】パイオニア株式会社
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(72)【発明者】
【氏名】下野 泰裕
(72)【発明者】
【氏名】浜田 鉄平
(72)【発明者】
【氏名】堀川 邦彦
(57)【要約】
【課題】移動体に搭載された検出装置が検出した物体に関する情報である検出物体情報を収集する情報処理装置にデータを送信する情報送信装置を提供する。
【解決手段】端末装置1は、オブジェクトをセンサ部7により検出した場合に、当該オブジェクトに関する情報を指定した「オブジェクト認識イベント」を含むアップロード情報Iuを生成し、アップロード情報Iuをサーバ装置2へ送信する。「オブジェクト認識イベント」は、「タイムスタンプ」、「オブジェクトID」、「オフセット位置」、「オブジェクトタイプ」、「オブジェクトサイズ」、「オブジェクトサイズ精度」、「メディアID」の各要素を含んでいる。そして、端末装置1は、これらの要素のうち、センサ部7の出力データによって特定できなかった要素には、不明である旨を示す不明フラグを指定する。
【選択図】
図7
【特許請求の範囲】
【請求項1】
移動体に搭載された検出装置が検出した道路周辺に存在する地物であって、地図に登録される対象となるオブジェクトに関する情報である検出物体情報を情報処理装置に送信する情報送信装置であって、
前記検出装置の検出結果に基づき、前記オブジェクトの属性の項目ごとの属性情報を特定する特定手段と、
前記特定手段が特定した前記項目ごとの属性情報を含む前記検出物体情報を生成する生成手段と、
前記検出物体情報を前記情報処理装置に送信する送信手段と、
を備え、
前記生成手段は、前記検出装置の出力によって特定できない前記項目に対応する前記属性情報として、不明であることを示すフラグ情報を生成する情報送信装置。
【請求項2】
前記検出物体情報は、地図データの生成に用いられる請求項1に記載の情報送信装置。
【請求項3】
前記項目は、前記オブジェクトの位置、種別、及び大きさを含み、
前記生成手段は、前記オブジェクトの種別及び大きさのうち少なくともいずれかの属性が特定できない場合に、当該属性に対応する前記項目に対応する前記属性情報として、前記フラグ情報を生成する請求項1または2に記載の情報送信装置。
【請求項4】
前記検出装置の出力によって特定した前記オブジェクトの属性が、前記項目の属性情報として生成すべき、予め定義された選択肢のいずれにも当てはまらない場合に、前記生成手段は、前記不明であることの理由が未定義である旨の前記フラグ情報を生成する請求項1~3のいずれか一項に記載の情報送信装置。
【請求項5】
移動体に搭載された検出装置が検出した道路周辺に存在する地物であって、地図に登録される対象となるオブジェクトに関する情報である検出物体情報を情報処理装置に送信する情報送信装置が実行する制御方法であって、
前記検出装置の検出結果に基づき、前記オブジェクトの属性の項目ごとの属性情報を特定する特定工程と、
前記特定工程で特定した前記項目ごとの属性情報を含む前記検出物体情報を生成する生成工程と、
前記検出物体情報を前記情報処理装置に送信する送信工程と、
を有し、
前記生成工程は、前記検出装置の出力によって特定できない前記項目に対応する前記属性情報として、不明であることを示すフラグ情報を生成する制御方法。
【請求項6】
請求項5に記載の制御方法を、コンピュータにより実行させるプログラム。
【請求項7】
請求項6に記載のプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両等の移動体の周辺情報を取得する技術に関する。
【背景技術】
【0002】
従来から、車両に設置されたセンサの出力に基づき地図データを更新する技術が知られている。例えば、特許文献1には、車両等の移動体に設置されたセンサの出力に基づいて部分地図の変化点を検出した場合に、当該変化点に関する変化点情報をサーバ装置に送信する運転支援装置が開示されている。また、非特許文献1には、車両側のセンサが検出したデータをクラウドサーバで収集するためのデータフォーマットに関する仕様が開示されている。
【先行技術文献】
【特許文献】
【0003】
【非特許文献】
【0004】
【非特許文献1】here社ホームページ、Vehicle Sensor Data Cloud Ingestion Interface Specification(v2.0.2),[平成30年2月5日検索]、インターネット<URL:https://lts.cms.here.com/static-cloud-content/Company_Site/2015_06/Vehicle_Sensor_Data_Cloud_Ingestion_Interface_Specification.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0005】
地図に登録すべきオブジェクトを検出し、そのオブジェクトに関する情報をサーバ装置に送信する場合に、当該オブジェクトの一部の属性が何らかの理由で特定できないときがある。属性の一部が不明であるという理由でオブジェクトに関する情報をサーバ装置に送信しない場合、サーバ装置は十分な量の情報を収集することができない可能性がある。一方、車両からの情報を収集するサーバ装置は、一部の属性が不明となったオブジェクトの情報についても収集することで、地図の生成及び更新に活用することが可能である。
【0006】
本発明は、上記のような課題を解決するためになされたものであり、移動体に搭載された検出装置が検出した物体に関する情報である検出物体情報を収集する情報処理装置にデータを送信する情報送信装置を提供することを主な目的とする。
【課題を解決するための手段】
【0007】
請求項に記載の発明は、
移動体に搭載された検出装置が検出した道路周辺に存在する地物であって、地図に登録される対象となるオブジェクトに関する情報である検出物体情報を情報処理装置に送信する情報送信装置であって、
前記検出装置の検出結果に基づき、前記オブジェクトの属性の項目ごとの属性情報を特定する特定手段と、
前記特定手段が特定した前記項目ごとの属性情報を含む前記検出物体情報を生成する生成手段と、
前記検出物体情報を前記情報処理装置に送信する送信手段と、
を備え、
前記生成手段は、前記検出装置の出力によって特定できない前記項目に対応する前記属性情報として、不明であることを示すフラグ情報を生成する。
【0008】
また、請求項に記載の発明は、
移動体に搭載された検出装置が検出した道路周辺に存在する地物であって、地図に登録される対象となるオブジェクトに関する情報である検出物体情報を情報処理装置に送信する情報送信装置が実行する制御方法であって、
前記検出装置の検出結果に基づき、前記オブジェクトの属性の項目ごとの属性情報を特定する特定工程と、
前記特定工程で特定した前記項目ごとの属性情報を含む前記検出物体情報を生成する生成工程と、
前記検出物体情報を前記情報処理装置に送信する送信工程と、
を有し、
前記生成工程は、前記検出装置の出力によって特定できない前記項目に対応する前記属性情報として、不明であることを示すフラグ情報を生成する。
【図面の簡単な説明】
【0009】
【
図2】端末装置及びサーバ装置のブロック構成を示す。
【
図3】端末装置が実行する処理概要を示したブロック図である。
【
図5】アップロード情報のデータ構造の概要を示す図である。
【
図6】ヘッダ情報に含まれる「車両メタデータ」のデータ構造を示す。
【
図7】イベント情報に含まれる「オブジェクト認識イベント」のデータ構造を示す。
【
図9】道路上を走行する車両に搭載されたセンサ部によりオブジェクトを検出する際の俯瞰図を示す。
【
図10】実施例における処理の概要を示すフローチャートの一例である。
【
図11】変形例に係るデータ収集システムの概略構成である。
【発明を実施するための形態】
【0010】
本発明の好適な実施形態によれば、移動体に搭載された検出装置が検出した物体に関する情報である検出物体情報を収集する情報処理装置に送信されるデータのデータ構造であって、前記検出装置の検出結果に基づき、物体の所定の属性を指定する属性指定情報を有し、前記検出結果によって特定できない属性に対応する前記属性指定情報には、不明である旨の情報が指定されるデータ構造である。ここで、「検出装置が検出した物体」とは、検出装置が単体で検出処理を行うことで検出された物体に限られず、検出装置の出力データに対して他の装置が所定の解析処理を行うことで検出された物体も含まれる。このようなデータ構造によれば、検出装置により検出した物体について特定できない属性が存在した場合であっても、検出した物体に関する情報を好適に情報処理装置に送信することができる。好適な例では、前記情報処理装置に送信されるデータは、地図データの生成に用いられるとよい。
【0011】
上記データ構造の一態様では、前記物体の位置、種別、及び大きさを前記所定の属性としてそれぞれ指定する属性指定情報を含み、前記物体の種別及び大きさのうち少なくともいずれかの属性が特定できない場合に、当該属性に対応する前記属性指定情報に不明である旨の情報が指定される。この態様により、検出装置により検出した物体について種別又は大きさを特定できなかった場合でも、少なくとも物体の位置に関する情報を指定した情報を情報処理装置に送信することができる。
【0012】
上記データ構造の他の一態様では、前記不明である旨の情報が指定された属性指定情報が存在する場合に、前記不明である理由を示す情報がさらに含まれる。この態様により、不明である旨を指定した属性指定情報が存在する場合に、その理由を情報処理装置に通知し、地図データの生成などに活用させることができる。
【0013】
上記データ構造の他の一態様では、前記検出装置の出力によって特定した前記物体の属性が、前記属性指定情報に指定すべき、予め定義された選択肢のいずれにも当てはまらない場合に、当該属性指定情報には、未定義である旨の情報が指定される。ここで、「選択肢」は、対象の属性指定情報に指定する情報の候補として上予め定義されているものを指す。このデータ構造に基づくデータを送信することで、対象の属性が不明である理由を好適に情報処理装置に通知することができる。
【0014】
本発明の他の好適な実施形態によれば、移動体に搭載された検出装置が検出した物体に関する情報である検出物体情報を情報処理装置に送信する情報送信装置であって、前記検出装置の検出結果に基づき、前記物体の所定の属性を特定する特定手段と、前記特定手段が特定した前記所定の属性を、属性指定情報に指定する指定手段と、前記属性指定情報を含む前記検出物体情報を前記情報処理装置に送信する送信手段と、を備え、前記指定手段は、前記検出装置の出力によって特定できない属性に対応する前記属性指定情報には、不明である旨の情報を指定する。このようなデータ構造を有するデータを情報処理装置に送信することで、情報送信装置は、検出装置により検出した物体について特定できない属性が存在した場合であっても、検出した物体に関する情報を好適に情報処理装置に送信することができる。
【0015】
本発明の他の好適な実施形態によれば、移動体に搭載された検出装置が検出した物体に関する情報である検出物体情報を情報処理装置に送信する情報送信装置が実行する制御方法であって、前記検出装置の検出結果に基づき、前記物体の所定の属性を特定する特定工程と、前記特定工程が特定した前記所定の属性を、属性指定情報に指定する指定工程と、前記属性指定情報を含む前記検出物体情報を前記情報処理装置に送信する送信工程と、を備え、前記指定工程は、前記検出装置の出力によって特定できない属性に対応する前記属性指定情報には、不明である旨の情報を指定する。情報送信装置は、この制御方法を実行することで、検出した物体に関する情報を好適に情報処理装置に送信することができる。
【0016】
本発明の他の好適な実施形態によれば、プログラムは、上記記載の制御方法を、コンピュータにより実行させる。コンピュータは、このプログラムを実行することで、上記記載の情報送信装置として機能する。好適には、上記プログラムは、記憶媒体に記憶される。
【実施例0017】
以下、図面を参照して本発明の好適な実施例について説明する。
【0018】
[データ収集システムの概要]
図1は、本実施例に係るデータ収集システムの概略構成である。データ収集システムは、移動体である各車両に搭載され車両と共に移動する端末装置1と、各端末装置1とネットワークを介して通信を行うサーバ装置2とを備える。そして、データ収集システムは、各端末装置1から送信された情報に基づき、サーバ装置2若しくはサーバ装置と通信回線を介して接続された図示しない地図サーバ装置が保有する地図を更新する。なお、以後において、「地図」とは、従来の経路案内用の車載機が参照するデータに加えて、ADAS(Advanced Driver Assistance System)や自動運転に用いられるデータも含むものとする。
【0019】
端末装置1は、カメラやライダ(LIDAR:Laser Illuminated Detection and Ranging、Laser Imaging Detection and Ranging または LiDAR:Light Detection and Ranging)などから構成されるセンサ部7の出力に基づき、所定のイベントを検知した場合に、検知したイベントに関する情報(「イベント情報」とも呼ぶ。)をアップロード情報Iuに含めてサーバ装置2へ送信する。上記のイベントは、例えば、自車位置周辺の物体(オブジェクト)の認識に関するイベントである「オブジェクト認識イベント」などが存在する。また、端末装置1は、地図データを更新するためのダウンロード情報「Id」をサーバ装置2から受信する。
【0020】
なお、端末装置1は、車両に取り付けられた車載機又は車載機の一部であってもよく、車両の一部であってもよい。あるいは、センサ部7を接続することができれば、ノート型PC等の可搬性のある端末機器であってもよい。端末装置1は、情報送信装置の一例である。また、カメラやライダなどの外界センサは、検出装置の一例である。
【0021】
サーバ装置2は、各端末装置1からアップロード情報Iuを受信して記憶する。サーバ装置2は、例えば、収集したアップロード情報Iuに基づき、後述する地図データの作成基準時点からの変化部分(変化点)を検出し、検出した変化点を反映するための地図データの更新などを行う。サーバ装置2は、情報処理装置及び地図作成装置の一例である。
【0022】
[端末装置の構成]
図2(A)は、端末装置1の機能的構成を表すブロック図を示す。
図2(A)に示すように、端末装置1は、主に、通信部11と、記憶部12と、入力部13と、制御部14と、インターフェース15と、出力部16とを有する。端末装置1内の各要素は、バスライン98を介して相互に接続されている。
【0023】
通信部11は、制御部14の制御に基づき、アップロード情報Iuをサーバ装置2へ送信したり、地
図DB4を更新するための地図データをサーバ装置2から受信したりする。また、通信部11は、車両を制御するための信号を車両に送信する処理、車両の状態に関する信号を車両から受信する処理を行ってもよい。
【0024】
記憶部12は、制御部14が実行するプログラムや、制御部14が所定の処理を実行する為に必要な情報を記憶する。本実施例では、記憶部12は、地
図DB4と、センサデータキャッシュ6と、車両属性情報「IV」とを記憶する。
【0025】
地
図DB4には、自動運転やADASなどで使用される種々のデータが記録されている。地
図DB4は、例えば、道路網をノードとリンクの組合せにより表した道路データ、施設データ、及び道路周辺の地物情報などを含むデータベースである。地物情報は、道路標識等の看板や停止線等の道路標示、センターライン等の道路区画線や道路沿いの構造物等の地物に関する情報である。その他、地
図DB4には、位置推定に必要な種々のデータが記憶されてもよい。
【0026】
センサデータキャッシュ6は、センサ部7の出力データ(所謂生データ)を一時的に保持するキャッシュメモリである。車両属性情報IVは、車両の種別、車両ID、車両長さ、車幅、車高、車両の燃料タイプなどの端末装置1を搭載する車両の属性に関する情報を示す。
【0027】
入力部13は、ユーザが操作するためのボタン、タッチパネル、リモートコントローラ、音声入力装置等であり、例えば、経路探索のための目的地を指定する入力、自動運転のオン及びオフを指定する入力などを受け付け、生成した入力信号を制御部14へ供給する。出力部16は、例えば、制御部14の制御に基づき出力を行うディスプレイやスピーカ等である。
【0028】
インターフェース15は、センサ部7の出力データを制御部14やセンサデータキャッシュに供給するためのインターフェース動作を行う。センサ部7は、ライダ31やカメラ32などの車両の周辺環境を認識するための複数の外界センサと、GPS受信機33、ジャイロセンサ34、ポジションセンサ35、3軸センサ36などの内界センサを含む。ライダ31は、外界に存在する物体までの距離を離散的に測定し、当該物体の表面を3次元の点群として認識し、点群データを生成する。カメラ32は、車両から撮影した画像データを生成する。ポジションセンサ35は、各外界センサの取り付け位置を検出するために設けられ、3軸センサ36は、各外界センサの姿勢を検出するために設けられている。なお、センサ部7は、
図2(A)に示した外界センサ及び内界センサ以外の任意の外界センサ及び内界センサを有してもよい。例えば、センサ部7は、外界センサとして、超音波センサ、赤外線センサ、マイクなどを含んでもよい。センサ部7に含まれる任意の外界センサは、検出装置として機能する。
【0029】
制御部14は、所定のプログラムを実行するCPUなどを含み、端末装置1の全体を制御する。制御部14は、地
図DB4及びセンサ部7の出力データなどに基づき、経路案内や自動運転などの運転者を補助する制御、及び地図更新のためのオブジェクト検出などを行ったりする。制御部14は、機能的には、位置推定部17と、オブジェクト検出部18と、アップロードデータ生成部19と、地図更新部20とを含む。制御部14は、特定手段、指定手段、送信手段、及びプログラムを実行するコンピュータ等として機能する。
【0030】
図3は、端末装置1の位置推定部17、オブジェクト検出部18、アップロードデータ生成部19及び地図更新部20の処理概要を示したブロック図である。
【0031】
位置推定部17は、センサデータキャッシュ6に保持されているセンサ部7の出力データ及び地
図DB4に基づき、自車位置(車両の姿勢も含む)を推定する。位置推定部17は、種々の位置推定方法を実行可能となっている。位置推定部17は、例えば、GPS受信機33及びジャイロセンサ34等の自立測位センサの出力に基づくデッドレコニング(自律航法)による自車位置推定方法、自律航法に地
図DB4の道路データなどをさらに照合する処理(マップマッチング)を行う自車位置推定方法、周囲に存在する所定のオブジェクト(ランドマーク)を基準としてライダ31やカメラ32などの外界センサの出力データと地
図DB4の地物情報が示すランドマークの位置情報とに基づく自車位置推定方法などを実行する。そして、位置推定部17は、例えば、現在実行可能な位置推定方法の中から最も高い推定精度となる位置推定方法を実行し、実行した位置推定方法に基づき得られた自車位置等を示した自車位置情報を、アップロードデータ生成部19へ供給する。
【0032】
オブジェクト検出部18は、センサ部7が出力する点群情報、画像データ、音声データ等に基づき、所定の対象物を検出する。この場合、例えば、オブジェクト検出部18は、位置推定部17が推定した自車位置に基づき、センサ部7により検出したオブジェクトに対応する地物情報を地
図DB4から抽出する。そして、オブジェクト検出部18は、センサ部7により検出したオブジェクトの位置及び形状等と、地
図DB4から抽出した地物情報が示すオブジェクトの位置及び形状等とに違いがある場合、又は、地
図DB4に該当する地物情報が存在しない場合などに、センサ部7により検出したオブジェクトに関する情報(「オブジェクト検出データ」とも呼ぶ。)を、アップロードデータ生成部19へ供給する。なお、オブジェクト検出部18は、オブジェクトに関する情報について検出できなかった項目がある場合には、当該項目については「不明」である旨と、その理由を付してオブジェクト検出データを生成する。例えば、センサ部7が画像データを取得した場合において、他の物体とオクルージョンが生じているために、オブジェクト検出部18が画像データに基づいて、オブジェクトタイプが特定できなかった場合には、オブジェクトタイプが不明であって、その理由としてオクルージョンによるデータ不足であることをオブジェクト検出データに記録する。不明であることと、その理由は、後述する
図8で示される不明フラグによって指定されてもよい。
【0033】
なお、オブジェクト検出部18は、センサ部7により検出したオブジェクトと地
図DB4の地物情報が示すオブジェクトとに形状や位置等に違いがあるか否かに関わらず、特定のオブジェクトを検出した場合に、当該オブジェクトに関するオブジェクト検出データをアップロードデータ生成部19へ供給してもよい。例えば、オブジェクト検出部18は、センサ部7の出力に基づき、道路標識の内容、形状、位置等を認識した場合、又は、車線境界(即ち区画線等)の位置、形状等を認識した場合に、これらの認識結果をオブジェクトデータとしてアップロードデータ生成部19へ供給してもよい。
【0034】
アップロードデータ生成部19は、位置推定部17から供給される自車位置情報と、オブジェクト検出部18から供給されるオブジェクト検出データと、車両属性情報IVとに基づき、アップロード情報Iuを生成する。そして、アップロードデータ生成部19は、生成したアップロード情報Iuを、通信部11によりサーバ装置2へ送信する。アップロードデータ生成部19が送信するアップロード情報Iuのデータ構造については、[データ構造]のセクションで詳しく説明する。
【0035】
地図更新部20は、通信部11によりサーバ装置2から受信したダウンロード情報Idに基づき、地
図DB4を更新する。
【0036】
[サーバ装置の構成]
図2(B)は、サーバ装置2の機能的構成を示すブロック図を示す。
図2(B)に示すように、サーバ装置2は、主に、通信部21と、記憶部22と、制御部23とを有する。サーバ装置2内の各要素は、バスライン99を介して相互に接続されている。
【0037】
通信部21は、制御部23の制御に基づき、各端末装置1からアップロード情報Iuを受信したり、地
図DB4を更新するためのダウンロード情報Idを各端末装置1へ送信したりする。
【0038】
記憶部22は、制御部23が実行するプログラムや、制御部23が所定の処理を実行する為に必要な情報を記憶する。本実施例では、記憶部22は、配信地
図DB5と、イベント情報DB9とを記憶する。
【0039】
配信地
図DB5は、各端末装置1に配信するための地図データであり、地
図DB4と同様に、自動運転やADASなどで使用される種々のデータが記録されている。
【0040】
イベント情報DB9は、各端末装置1から受信するアップロード情報Iuに含まれるイベント情報を記録したデータベースである。イベント情報DB9に記録されたデータは、例えば、配信地
図DB5の更新に用いられ、所定の統計処理、検証処理等が行われた後に配信地
図DB5に反映される。
【0041】
制御部23は、所定のプログラムを実行するCPUなどを含み、サーバ装置2の全体を制御する。本実施例では、制御部23は、通信部21によりイベント情報を含むアップロード情報Iuを端末装置1から受信した場合に、イベント情報をイベント情報DB9に登録する。また、制御部23は、所定のタイミングにおいて、イベント情報DB9を参照し、配信地
図DB5の地物情報などを更新する。さらに、制御部23は、更新した地物情報等を含むダウンロード情報Idを、通信部21により端末装置1へ送信する。制御部23は、送信手段として機能する。
【0042】
[データ構造]
次に、地
図DB4、配信地
図DB5、及びアップロード情報Iuのデータ構造について説明する。
【0043】
【0044】
図4(A)は、地
図DB4及び配信地
図DB5に含まれる地物情報のデータ構造例を示す。
図4(A)に示す地物情報は、「地物ID」、「所属リンクID」、「種別ID」、「大きさ」、「絶対位置」、「相対位置」の各要素を含む。また、「指定される情報の例」の欄には、ある地物を対象とした場合に各項目に指定される情報の例が示されている。
【0045】
ここで、「地物ID」は、各地物に対して割り当てられた固有の識別番号である地物IDを指定する項目である。「所属リンクID」は、対象の地物が存在する道路のリンクIDを指定する項目であり、「種別ID」は、対象のオブジェクトの種別を示す識別番号等を指定する項目である。「絶対位置」は、対象のオブジェクトの位置を緯度及び経度により指定する項目である。「相対位置」は、対象のオブジェクトの相対位置を指定する項目であり、サブ要素「始点ノードからの距離」と、サブ要素「基準位置からの距離」とを有する。「始点ノードからの距離」は、所属リンクIDが示す道路の始点ノードから対象の地物までの道路に沿った距離を指定する項目であり、「基準位置からの距離」は、所定の基準位置から対象の地物までの道路幅方向における距離を指定する項目である。ここで、上述の基準位置は、例えば、車道外側線などの区画線の位置である。なお、地物情報内において上述の基準位置を特定するための情報が指定されていてもよい。「地物ID」、「所属リンクID」、「種別ID」、「大きさ」、「絶対位置」、「相対位置」の各要素は、「属性情報」の一例である。
【0046】
本実施例では、対象の地物の属性のうち、不明な属性に対応する項目には、不明である旨の情報が指定されている。
図4(A)の例では、「種別ID」及び「大きさ」に対し、不明である旨を示す識別番号(「不明フラグ」とも呼ぶ。)「F-1」が指定されている。
【0047】
図4(B)は、不明フラグに関する対応テーブルである。
図4(B)では、一例として、不明フラグは、不明となる理由ごとに異なる識別番号が割り当てられている。
【0048】
「F-1」は、サンプル数の不足に起因して種別が特定できなかった場合に指定される不明フラグである。例えば、サーバ装置2は、対象の地物に関する「オブジェクト認識イベント」のイベント情報を含むアップロード情報Iuの受信数が所定個数以上集まった場合に、その地物についての属性情報を特定する処理を行うように構成されている場合に、当該受信数が所定個数以下である場合には、サンプル不足により地物の種別及び大きさの断定はできないと判断し、「種別ID」及び「大きさ」の各項目に不明フラグ「F-1」を指定する。また、「F-2」は、「種別ID」などの項目に指定する情報として複数候補が存在する場合に指定される不明フラグである。例えば、サーバ装置2は、対象の地物に関する「オブジェクト認識イベント」のイベント情報を解析した結果、対象の地物の種別として複数の有力な候補が存在し、これらのいずれが正しいか判別できない場合に、当該地物の種別IDを「F-2」に指定する。これについて、「種別ID」の項目を例として説明する。
図4(C)は、使用可能な種別IDを定義するテーブルである。
図4(C)では、地物の種類ごとに、固有の種別IDが割り当てられている。サーバ装置2は、対象の地物に関する「オブジェクト認識イベント」のイベント情報を解析した結果、対象の地物の種別として
図4(C)に示すテーブルにおいて定義されていない種別(例えば落石等)を特定した場合、当該の種別IDを未定義であることを示す「99」に指定する。
【0049】
このように、地物情報のうち、当該地物情報の生成時にサーバ装置2が特定できなかった地物の属性に対応する特定の項目には、不明である旨の情報が指定される。この場合であっても、地物情報を参照する端末装置1等は、不明でない情報が指定された項目(例えば「絶対位置」、「相対位置」)の情報を参照することで、対象の地物の存在などを好適に認識し、自動運転制御などに活用することができる。また、サーバ装置2は属性が不明である地物については、その不明である理由に応じて、属性情報を取得するために必要な適切な措置を取ることができる。なお、本実施例では属性を示す項目である「種別ID」「大きさ」に直接不明の理由を指定しているが、不明であることと、不明の理由を別々の項目として定義してもよい。具体的には、例えば「種別ID」に不明であることを示す値(例えば「0」)を指定し、属性が不明である場合にその理由を指定する項目である「理由」として、例えば「F-1」を登録するというように構成してもよい。
【0050】
(2)アップロード情報
次に、アップロード情報Iuのデータ構造の具体例について説明する。
【0051】
図5は、端末装置1が送信するアップロード情報Iuのデータ構造の概要を示す図である。
図5に示すように、アップロード情報Iuは、ヘッダ情報と、走行経路情報と、イベント情報と、メディア情報とを含む。
【0052】
ヘッダ情報(Envelope)は、「バージョン(Version)」、「送信元(Submitter)」、「車両メタデータ(vehicleMetaData)」の各項目を含む。端末装置1は、「バージョン」に、使用されるアップロード情報Iuのデータ構造のバージョンの情報を指定し、「送信元」には、アップロード情報Iuを送信する会社名(車両のOEM名又はシステムベンダー名)の情報を指定する。また、端末装置1は、「車両メタデータ」に、後述するように、車両属性情報IVの各情報や参照テーブルRTの情報を指定する。
【0053】
走行経路情報(Path)は、「位置推定(Position Estimate)」の項目を含む。端末装置1は、この「位置推定」には、位置推定時刻を示すタイムスタンプ情報の他、推定した車両の位置を示す緯度、経度、標高の情報、及びこれらの推定精度に関する情報などを指定する。
【0054】
イベント情報(Path Events)は、「オブジェクト認識イベント(Object Detection)」、「標識認識イベント(Sign Recognition)」、「車線境界認識イベント(Lane Boundary Recognition)」の各項目を含む。端末装置1は、オブジェクト認識イベントを検知した場合に、その検知結果となる情報を「オブジェクト認識イベント」に指定する。「オブジェクト認識イベント」には、
図7を参照して後述するように、標識及び車線境界線以外の特定のオブジェクトを検出した際の当該オブジェクトの認識結果に関する情報が指定される。また、端末装置1は、標識認識イベントを検知した場合に、その検知結果となる情報を「標識認識イベント」に指定する。「標識認識イベント」には、例えば標識を検出した際の当該標識の認識結果に関する情報が指定される。また、端末装置1は、車線境界認識イベントを検知した場合に、その検知結果となる情報を「車線境界認識イベント」に指定する。「車線境界認識イベント」には、例えば、車線の境界を検出した際の当該境界の認識結果に関する情報が指定される。なお、これらの「オブジェクト認識イベント」、「標識認識イベント」、「車線境界認識イベント」の各項目は任意項目となっている。従って、端末装置1は、検知したイベントに対応する項目にのみ、その検知結果となる情報を指定すればよい。
【0055】
メディア情報(Path Media)は、センサ部7の出力データ(検出情報)である生データを送信する際に使用されるデータタイプである。
【0056】
図6は、ヘッダ情報に含まれる「車両メタデータ」のデータ構造を示す。
図6は、「車両メタデータ」に含まれる要素(サブ項目)ごとに、各要素が必須であるか任意であるかの情報を示している。
【0057】
図6に示すように、「車両メタデータ」は、「車両種別(vehicleTypeGenericEnum)」、「車両ID」、「車両長(vehicleLength_m)」、「車幅(vehicleWidth_m)」、「車高(vehicleHeight_m)」、及び「第1燃料タイプ(primaryFuelType)」の各要素を少なくとも含んでいる。
【0058】
ここで、端末装置1のアップロードデータ生成部19は、「車両種別」、「車両長」、「車幅」、「車高」、「第1燃料タイプ」等の各要素に、記憶部12に記憶された車両属性情報IVに基づく情報を指定する。なお、「車両長」、「車幅」、「車高」、「第1燃料タイプ」等の各要素は任意項目であり、車両属性情報IVに対応する情報が存在しない場合などには、情報を指定しない。また、アップロードデータ生成部19は、「車両ID」には、記憶部12に記憶された車両属性情報IVに含まれる車両の識別番号等を指定する。なお、車両IDは、車両に割り当てられた固有のIDの他、端末装置1に割り当てられたIDであってもよく、車両の所有者を特定するIDであってもよい。
【0059】
図7は、イベント情報に含まれる「オブジェクト認識イベント」のデータ構造を示す。
図7では、「オブジェクト認識イベント」に含まれる要素(サブ項目)ごとに、各要素に対応する情報の指定が必須であるか任意であるかの情報を「必須/任意」の欄に示すと共に、不明である旨の情報の指定の可否を「「不明」指定の可否」の欄に示している。「オブジェクト認識イベント」に含まれる各要素は、「属性指定情報」の一例である。
【0060】
図7に示すように、「オブジェクト認識イベント」は、「タイムスタンプ(timeStampUTC_ms)」、「オブジェクトID(detectedObjectID)」、「オフセット位置(PositionOffset)」、「オブジェクトタイプ(objectType)」、「オブジェクトサイズ(objectSize_m)」、「オブジェクトサイズ精度(objectSizeAccuracy_m)」、「メディアID(mediaID)」の各要素を含んでいる。
【0061】
端末装置1のアップロードデータ生成部19は、オブジェクト検出部18からオブジェクトの検出結果を示すオブジェクト検出データを受信した場合に、
図7に示すデータ構造を有する「オブジェクト認識イベント」を含むイベント情報を生成する。
【0062】
ここで、アップロードデータ生成部19は、「タイムスタンプ」にはオブジェクト検出時の時刻を指定し、「オブジェクトID」には、検出したオブジェクトのオブジェクトIDを指定する。オブジェクトIDは、地
図DB4や配信地
図DB5で用いられる地物IDであってもよい。なお、アップロードデータ生成部19は、検出したオブジェクトのオブジェクトIDを特定できない場合には、オブジェクトIDが不明である旨を示す不明フラグを「オブジェクトID」に指定する。また、「オフセット位置」には、アップロードデータ生成部19は、検出したオブジェクトの車両からの相対位置(例えば緯度差及び経度差等)の情報を指定する。
【0063】
「オブジェクトタイプ」は、
図5(A)に示す地物情報の「種別ID」と同様の情報を指定する項目であり、アップロードデータ生成部19は、検出したオブジェクトの種別を示す情報を「オブジェクトタイプ」に指定する。なお、アップロードデータ生成部19は、検出したオブジェクトのオブジェクトタイプを特定できない場合には、オブジェクトタイプが不明である旨を示す不明フラグを「オブジェクトタイプ」に指定する。
【0064】
また、アップロードデータ生成部19は、検出したオブジェクトのサイズ情報及び当該サイズの精度情報がオブジェクト検出部18から供給されるオブジェクト検出データに含まれていた場合に、これらの情報を、「オブジェクトサイズ」、「オブジェクトサイズ精度」の各要素に指定する。なお、アップロードデータ生成部19は、検出したオブジェクトのサイズを特定できない場合には、不明フラグを「オブジェクトサイズ」に指定する。同様に、アップロードデータ生成部19は、検出したオブジェクトのサイズ精度を特定できない場合には、不明フラグを「オブジェクトサイズ精度」に指定する。
【0065】
また、アップロードデータ生成部19は、センサ部7が出力した画像、ビデオ、点群データなどの生データを送信する必要がある場合に、当該生データに対して付与した識別情報を、「メディアID」に指定する。そして、「メディアID」の要素で指定されたメディア(生データ)の詳細情報等については、「メディア情報」の項目に別途格納される。
【0066】
図8は、不明フラグに関する対応テーブルを示す。
図8では、一例として、不明フラグは、不明となる理由ごとに異なる識別番号が割り当てられている。ここで、不明フラグ「F-a」は、対象のオブジェクトが他の物体に遮られるオクルージョンにより対象のオブジェクトに関するセンサ部7の出力データが不足し、対象の属性が不明となった場合に設定される。不明フラグ「F-b」は、対象のオブジェクトの検出に用いたセンサ部7のセンサの測定精度が不足していることにより対象の属性が不明となった場合に設定される。不明フラグ「F-c」は、センサ部7の出力を解析した結果、対象の属性(例えばオブジェクトID、オブジェクトタイプ等)に関して複数候補が該当し、いずれの候補が正しいか判別できない場合に設定される。不明フラグ「F-d」は、対象の属性を予め定義された複数の選択肢(例えば対象の属性がオブジェクトタイプの場合、信号機、看板等)から選んで指定する場合に、センサ部7の出力を解析した結果、対象の属性に指定すべき内容が上述の選択肢のいずれにも該当しない場合に設定される。このように、アップロードデータ生成部19は、不明の理由に関する情報が含まれる不明フラグを用いることで、サーバ装置2に対して対象の属性を特定できなかった理由を好適に把握させ、地図作成の解析などに活用させることができる。
【0067】
ここで、不明フラグを設定する必要性について
図9を参照して補足説明する。
図9は、道路40上を走行する車両に搭載されたセンサ部7によりオブジェクト42(ここでは郵便ポスト)を検出する際の俯瞰図を示す。
図9の例では、地物であるオブジェクト42の前に自転車道41が存在し、センサ部7によるオブジェクト42の検出時において自転車通行者43が車両とオブジェクト42との間に存在することにより、オブジェクト42にオクルージョンが発生している。この場合、端末装置1は、センサ部7によりオブジェクト42の一部のデータしか得られないため、オブジェクト42のサイズ、種別などの特定の属性が特定できない可能性がある。この場合であっても、端末装置1は、特定できない属性に対応する項目には不明フラグを付してサーバ装置2にアップロード情報Iuを送信する。これにより、サーバ装置2は、オブジェクト42の位置になんらかの地物が存在することが分かるため、オブジェクト42の地物情報を生成するのに必要なアップロード情報Iuを好適に収集することができる。
【0068】
[処理フロー]
図10は、本実施例における処理の概要を示すフローチャートの一例である。
【0069】
まず、端末装置1は、所定のイベントを検知したか否か判定する(ステップS101)。例えば、端末装置1は、センサ部7の出力に基づき、イベント情報として送信すべきイベント(オブジェクト認識イベント等)が発生したか否か判定する。そして、端末装置1は、イベントを検知した場合(ステップS101;Yes)、イベント情報を生成し、生成したイベント情報を含むアップロード情報Iuをサーバ装置2へ送信する(ステップS102)。このとき、端末装置1は、オブジェクトの検知に関するオブジェクト認識イベントのイベント情報を送信する場合、当該オブジェクトの属性のうちセンサ部7の出力データによって特定できなかった属性に対応する項目に、
図8に示す不明フラグを付す。
【0070】
サーバ装置2は、ステップS102で送信されたアップロード情報Iuを受信し、イベント情報DB9にアップロード情報Iuを蓄積する(ステップS201)。そして、サーバ装置2は、配信地
図DB5の更新タイミングであるか否か判定する(ステップS202)。上述の更新タイミングは、配信地
図DB5の前回更新時からの時間長に基づいて判定されてもよく、配信地
図DB5の前回更新時から受信したアップロード情報Iuの累積受信数に基づいて判定されてもよい。
【0071】
そして、サーバ装置2は、配信地
図DB5の更新タイミングである場合(ステップS202;Yes)、イベント情報DB9を参照して地物情報を生成し、生成した地物情報を用いて配信地
図DB5を更新する(ステップS203)。そして、サーバ装置2は、ステップS203において生成した地物情報を示すダウンロード情報Idを各端末装置1に対して送信する(ステップS204)。なお、サーバ装置2は、ダウンロード情報Idの送信要求があった端末装置1に対してのみダウンロード情報Idを送信してもよい。一方、サーバ装置2は、配信地
図DB5の更新タイミングではない場合(ステップS202;No)、引き続きステップS201を実行する。
【0072】
一方、端末装置1は、ステップS102の実行後、又は、ステップS101において所定のイベントを検知しなかった場合、ダウンロード情報Idをサーバ装置2から受信したか否か判定する(ステップS103)。そして、端末装置1は、ダウンロード情報Idを受信した場合(ステップS103;Yes)、当該ダウンロード情報Idを用いて地
図DB4を更新する(ステップS104)。これにより、地
図DB4には、道路周辺のオブジェクトに関する最新情報が記録され、経路探索、注意喚起、自動運転制御などに好適に用いられる。一方、端末装置1は、サーバ装置2からダウンロード情報Idを受信していない場合(ステップS103;No)、ステップS101へ処理を戻す。
【0073】
[変形例]
実施例で説明したサーバ装置2の処理を、複数のサーバ装置からなるサーバシステム(所謂クラウドサーバ)が実行してもよい。
【0074】
例えば、サーバシステムは、配信地
図DB5を記憶するサーバと、イベント情報DB9を記憶するサーバと、地物情報の生成処理を行うサーバとから構成されていてもよい。この場合、各サーバは、予め割り当てられた処理を実行するのに必要な情報を他のサーバから適宜受信して所定の処理を実行する。
【0075】
また、検出されたオブジェクトに関する情報(即ち
図7のデータ構造を有する情報)は、端末装置1とサーバ装置2との間で授受が行われてもよく、サーバ間で授受が行われてもよい。
図11は、変形例に係るデータ収集システムの概略構成である。
図11に示すデータ収集システムは、複数の端末装置1と、車両クラウド2Aと、地図クラウド2Bとを有する。車両クラウド2Aは、主に車ベンダーが管理するサーバ群であり、地図クラウド2Bは、主に地図ベンダーが管理するサーバ群である。
【0076】
この場合、車両クラウド2A及び地図クラウド2Bは、実施例のサーバ装置2と同様に、アップロード情報Iuを各車両の端末装置1から受信してもよい。これにより、車両クラウド2A及び地図クラウド2Bは、それぞれ地物情報の生成に必要なイベント情報を収集することが可能である。また、車両クラウド2Aは、アップロード情報Iuに基づき生成した地物情報を地図クラウド2Bへ送信してもよい。