特開 2024-168104 位置推定装置、位置推定方法及び位置推定用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024168104

(43)【公開日】2024-12-05

(54)【発明の名称】位置推定装置、位置推定方法及び位置推定用コンピュータプログラム

(51)【国際特許分類】

   G08G 1/09 20060101AFI20241128BHJP

   G01C 21/28 20060101ALI20241128BHJP

   G08G 1/04 20060101ALI20241128BHJP

【ＦＩ】

G08G1/09 F

G01C21/28

G08G1/04 C

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023084529

(22)【出願日】2023-05-23

(71)【出願人】

【識別番号】521042770

【氏名又は名称】ウーブン・バイ・トヨタ株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】塚本 守

【テーマコード（参考）】

2F129

5H181

【Ｆターム（参考）】

2F129AA03

2F129BB03

2F129BB20

2F129BB22

2F129BB26

2F129BB33

2F129BB66

2F129EE78

2F129EE94

2F129FF02

2F129FF20

2F129GG17

2F129HH20

5H181AA01

5H181BB04

5H181BB13

5H181BB20

5H181CC04

5H181FF04

5H181FF10

5H181FF13

5H181FF27

(57)【要約】

【課題】車両に搭載されたカメラにより得られた車載画像に表された地物の位置を正確に推定可能な位置推定装置を提供する。
【解決手段】位置推定装置は、所定の道路区間上、または所定の道路区間の近傍に設置された固定センサ３に基づいて、第１の時刻における、所定の道路区間を走行した車両２の第１の位置を検出する車両検出部４１と、第１の時刻における車両２の第１の位置に基づいて、所定の地物が表された車載画像が車両２に搭載された車載カメラ１１により生成された生成された第２の時刻における車両２の第２の位置を推定する車両位置推定部４２と、推定された第２の位置に基づいて実空間における所定の地物の位置を推定する地物位置推定部４４とを有する。
【選択図】図５

【特許請求の範囲】

【請求項1】

所定の道路区間上、または前記所定の道路区間の近傍に設置された固定センサに基づいて、第１の時刻における、前記所定の道路区間を走行した車両の第１の位置を検出する車両検出部と、
前記第１の時刻における前記車両の前記第１の位置に基づいて、所定の地物が表された車載画像が前記車両に搭載された車載カメラにより生成された第２の時刻における車両の第２の位置を推定する車両位置推定部と、
前記第２の位置に基づいて実空間における前記所定の地物の位置を推定する地物位置推定部と、
を有する位置推定装置。

【請求項2】

前記固定センサは監視カメラであり、前記監視カメラは、所定の周期ごとに前記所定の道路区間が表された監視画像を生成し、
前記車両検出部は、生成時刻が互いに異なる複数の前記監視画像のそれぞれから前記車両の位置を検出し、
前記車両位置推定部は、複数の前記監視画像のうち、前記第２の時刻に最も近い時刻に生成された監視画像から検出された前記車両の位置を前記第１の位置として前記第２の位置を推定する、請求項１に記載の位置推定装置。

【請求項3】

前記車両位置推定部は、前記第１の時刻において前記車両に搭載された衛星測位装置により測定された前記車両の第１補正前位置と前記第１の位置との差に応じて、前記第２の時刻において前記衛星測位装置により測定された前記車両の第２補正前位置を補正することで前記第２の位置を推定する、請求項１または２に記載の位置推定装置。

【請求項4】

前記第２の時刻に生成された前記車載画像から前記所定の地物を検出する地物検出部をさらに有し、
前記地物位置推定部は、前記車載画像上における前記所定の地物の位置と、前記第２の位置に基づいて実空間における前記所定の地物の位置を推定する、請求項１または２に記載の位置推定装置。

【請求項5】

所定の道路区間上、または前記所定の道路区間の近傍に設置された固定センサに基づいて、第１の時刻における、前記所定の道路区間を走行した車両の第１の位置を検出し、
前記第１の時刻における前記車両の前記第１の位置に基づいて、所定の地物が表された車載画像が前記車両に搭載された車載カメラにより生成された第２の時刻における車両の第２の位置を推定し、
前記第２の位置に基づいて実空間における前記所定の地物の位置を推定する、
ことを含む位置推定方法。

【請求項6】

所定の道路区間上、または前記所定の道路区間の近傍に設置された固定センサに基づいて、第１の時刻における、前記所定の道路区間を走行した車両の第１の位置を検出し、
前記第１の時刻における前記車両の前記第１の位置に基づいて、所定の地物が表された車載画像が前記車両に搭載された車載カメラにより生成された第２の時刻における車両の第２の位置を推定し、
前記第２の位置に基づいて実空間における前記所定の地物の位置を推定する、
ことをコンピュータに実行させるための位置推定用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載カメラにより生成された画像に表された所定の地物の位置を推定する位置推定装置、位置推定方法及び位置推定用コンピュータプログラムに関する。

【背景技術】

【0002】

車両の自動運転システムが車両を自動運転制御するために参照する高精度な地図を生成または更新するために、道路または道路の周囲に設けられた、車両の走行に関連する地物の位置を正確に検出することが求められる。そこで、実際に道路を走行する車両に搭載されたカメラにより生成された像に基づいて地物を検出する技術が提案されている（特許文献１を参照）。

【0003】

特許文献１に開示された情報統合装置は、移動体に備えられたセンサから取得したセンサ情報に基づいて移動体の周辺の一つ以上の第１の地物を認識し、第１の地物を示す第１の地物情報を生成する。また、この情報統合装置は、外部装置から、又は外部装置及び地図情報の両方から、移動体の周辺に存在すると認識された一つ以上の第２の地物を示す第２の地物情報を取得し、第１の地物情報によって示される一つ以上の第１の地物と第２の地物情報によって示される一つ以上の第２の地物の中から同一の地物を特定する。そしてこの情報統合装置は、同一の地物であると特定された第１の地物と第２の地物との位置の差に基づいて、第１の地物情報及び第２の地物情報の少なくとも一方を補正するために用いる補正情報を生成し、生成した補正情報を用いて第１の地物情報及び第２の地物情報の少なくとも一方を補正した後に、第１の地物情報と第２の地物情報とを統合することで統合地物情報を生成する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第７１２６６２９号

【発明の概要】

【発明が解決しようとする課題】

【0005】

車両の位置の検出精度が不十分である場合、車載のカメラにより得られた車載画像から検出された地物の位置の精度も不十分となることがある。上記の技術では、補正情報を生成するためには、第１の地物情報と第２の地物情報とに同一の地物に関する情報が含まれることが必要とされる。しかし、移動体に備えられたセンサによるセンサ情報に表される地物が、外部装置から取得した地物情報に常に示されているとは限らない。そのため、車載画像に表された地物の位置を精度よく推定することが求められる。

【0006】

そこで、本発明は、車両に搭載されたカメラにより得られた車載画像に表された地物の位置を正確に推定することが可能な位置推定装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

一つの実施形態によれば、位置推定装置が提供される。この位置推定装置は、所定の道路区間上、または所定の道路区間の近傍に設置された固定センサに基づいて、第１の時刻における、所定の道路区間を走行した車両の第１の位置を検出する車両検出部と、第１の時刻における車両の第１の位置に基づいて、所定の地物が表された車載画像が車両に搭載された車載カメラにより生成された第２の時刻における車両の第２の位置を推定する車両位置推定部と、推定された第２の位置に基づいて実空間における所定の地物の位置を推定する地物位置推定部と、を有する。

【0008】

この位置推定装置において、固定センサは監視カメラであり、監視カメラは、所定の周期ごとに所定の道路区間が表された監視画像を生成することが好ましい。そして車両検出部は、生成時刻が互いに異なる複数の監視画像のそれぞれから車両の位置を検出し、車両位置推定部は、複数の監視画像のうち、第２の時刻に最も近い時刻に生成された監視画像から検出された車両の位置を第１の位置として第２の位置を推定することが好ましい。

【0009】

さらに、車両位置推定部は、第１の時刻において車両に搭載された衛星測位装置により測定された車両の第１補正前位置と第１の位置との差に応じて、第２の時刻において衛星測位装置により測定された車両の第２補正前位置を補正することで第２の位置を推定することが好ましい。

【0010】

また、位置推定装置は、第２の時刻に生成された車載画像から所定の地物を検出する地物検出部をさらに有することが好ましい。そして地物位置推定部は、車載画像上における所定の地物の位置と、第２の位置に基づいて実空間における所定の地物の位置を推定することが好ましい。

【0011】

他の実施形態によれば、位置推定方法が提供される。この位置推定方法は、所定の道路区間上、または所定の道路区間の近傍に設置された固定センサに基づいて、第１の時刻における、所定の道路区間を走行した車両の第１の位置を検出し、第１の時刻における車両の第１の位置に基づいて、所定の地物が表された車載画像が車両に搭載された車載カメラにより生成された第２の時刻における車両の第２の位置を推定し、推定された第２の位置に基づいて実空間における所定の地物の位置を推定する、ことを含む。

【0012】

さらに他の実施形態によれば、位置推定用コンピュータプログラムが提供される。この位置推定用コンピュータプログラムは、所定の道路区間上、または所定の道路区間の近傍に設置された固定センサに基づいて、第１の時刻における、所定の道路区間を走行した車両の第１の位置を検出し、第１の時刻における車両の第１の位置に基づいて、所定の地物が表された車載画像が車両に搭載された車載カメラにより生成された第２の時刻における車両の第２の位置を推定し、推定された第２の位置に基づいて実空間における所定の地物の位置を推定する、ことをコンピュータに実行させるための命令を含む。

【発明の効果】

【0013】

本開示に係る位置推定装置は、車両に搭載されたカメラにより得られた画像に表された地物の位置を正確に推定することができるという効果を奏する。

【図面の簡単な説明】

【0014】

【図1】位置推定装置が実装される地物データ収集システムの概略構成図である。

【図2】車両の概略構成図である。

【図3】データ取得装置のハードウェア構成図である。

【図4】位置推定装置の一例であるサーバのハードウェア構成図である。

【図5】位置推定処理に関する、サーバのプロセッサの機能ブロック図である。

【図6】地物の位置の推定の概要を説明する図である。

【図7】位置推定処理の動作フローチャートである。

【発明を実施するための形態】

【0015】

以下、図を参照しつつ、位置推定装置、及び、位置推定装置にて実行される位置推定方法ならびに位置推定用コンピュータプログラムについて説明する。この位置推定装置は、所定の領域について、通信可能な１以上の車両から、車両の走行に関連する地物を表す車載画像を収集し、収集した車載画像に表された、車両の走行に関連する所定の地物を検出するとともにその地物の位置を推定する。その際、この位置推定装置は、所定の道路区間上、または所定の道路区間の近傍に設置された固定センサに基づいて、第１の時刻における、所定の道路区間を走行した車両の第１の位置を検出する。そしてこの位置推定装置は、第１の時刻における車両の第１の位置に基づいて、所定の地物が表された車載画像が生成された第２の時刻における車両の第２の位置を推定し、推定された第２の位置に基づいて所定の地物の位置を推定する。

【0016】

なお、検出対象となる所定の地物には、例えば、各種の道路標識、各種の道路標示、信号機及びその他の車両の走行に関連する地物が含まれる。

【0017】

図１は、位置推定装置が実装される地物データ収集システムの概略構成図である。本実施形態では、地物データ収集システム１は、少なくとも一つの車両２と、少なくとも一つの固定センサ３と、位置推定装置の一例であるサーバ４とを有する。各車両２は、例えば、サーバ４が接続される通信ネットワーク５とゲートウェイ（図示せず）などを介して接続される無線基地局６にアクセスすることで、無線基地局６及び通信ネットワーク５を介してサーバ４と接続される。また、各固定センサ３も、ゲートウェイなどを介して通信ネットワーク５と接続されており、通信ネットワーク５を介してサーバ４と接続される。なお、図１では、簡単化のため、一つの車両２のみが図示されているが、地物データ収集システム１は、複数の車両２を有していてもよい。同様に、図１では、一つの固定センサ３のみが図示されているが、複数の固定センサ３を有してもよい。さらに、図１では、一つの無線基地局６のみが図示されているが、複数の無線基地局６が通信ネットワーク５に接続されていてもよい。

【0018】

図２は、車両２の概略構成図である。車両２は、カメラ１１と、GPS受信機１２と、無線通信端末１３と、データ取得装置１４とを有する。カメラ１１、GPS受信機１２、無線通信端末１３及びデータ取得装置１４は、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。また、車両２は、車両２の走行予定ルートを探索し、その走行予定ルートに従って車両２が走行するようナビゲートするナビゲーション装置（図示せず）をさらに有してもよい。

【0019】

カメラ１１は、車載カメラの一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ１１は、例えば、車両２の前方を向くように、例えば、車両２の車室内に取り付けられる。そしてカメラ１１は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両２の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ１１により得られた画像は、車載画像の一例であり、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両２には、撮影方向または焦点距離が異なる複数のカメラ１１が設けられてもよい。

【0020】

カメラ１１は、画像を生成する度に、その生成した画像を、車内ネットワークを介してデータ取得装置１４へ出力する。

【0021】

GPS受信機１２は、衛星測位装置の一例であり、所定の周期ごとにGPS衛星からのGPS信号を受信し、受信したGPS信号に基づいて車両２の自己位置を測位する。なお、GPS受信機１２が車両２の自己位置を測位する所定の周期は、カメラ１１による撮影周期と異なっていてもよい。そしてGPS受信機１２は、所定の周期ごとに、GPS信号に基づく車両２の自己位置の測位結果を表す測位情報を、車内ネットワークを介してデータ取得装置１４へ出力する。GPS受信機１２は、測位情報に、GPS信号の受信強度またはGPS信号を受信できた衛星の数といった、測位された位置の精度を表す指標値を含めてもよい。なお、車両２はGPS受信機１２以外の衛星測位システムに準拠した受信機を有していてもよい。この場合、その受信機が車両２の自己位置を測位すればよい。

【0022】

無線通信端末１３は、通信部の一例であり、所定の無線通信規格に準拠した無線通信処理を実行する機器であり、例えば、無線基地局６にアクセスすることで、無線基地局６及び通信ネットワーク５を介してサーバ４と接続される。そして無線通信端末１３は、データ取得装置１４から受け取った、カメラ１１により生成された画像を含む地物データなどを含むアップリンクの無線信号を生成する。そして無線通信端末１３は、そのアップリンクの無線信号を無線基地局６へ送信することで、画像などをサーバ４へ送信する。また、無線通信端末１３は、無線基地局６からダウンリンクの無線信号を受信して、その無線信号に含まれる、サーバ４からの収集指示などをデータ取得装置１４あるいは車両２の走行を制御する電子制御装置（ＥＣＵ、図示せず）へわたす。

【0023】

図３は、データ取得装置のハードウェア構成図である。データ取得装置１４は、カメラ１１により生成された画像に基づいて地物データを生成する。さらに、データ取得装置１４は、車両２の走行挙動を表す走行情報を生成する。そのために、データ取得装置１４は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

【0024】

通信インターフェース２１は、車内通信部の一例であり、データ取得装置１４を車内ネットワークに接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワークを介して、カメラ１１、GPS受信機１２及び無線通信端末１３と接続される。そして通信インターフェース２１は、カメラ１１から画像を受信する度に、受信した画像をプロセッサ２３へわたす。また、通信インターフェース２１は、GPS受信機１２から測位情報を受信する度に、受信した測位情報をプロセッサ２３へわたす。さらに、通信インターフェース２１は、無線通信端末１３を介してサーバ４から受信した、地物データの収集指示をプロセッサ２３へわたす。さらに、通信インターフェース２１は、プロセッサ２３から受け取った、地物データを、車内ネットワークを介して無線通信端末１３へ出力する。

【0025】

メモリ２２は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ２２は、ハードディスク装置といった他の記憶装置をさらに有してもよい。そしてメモリ２２は、データ取得装置１４のプロセッサ２３により実行される地物データ生成に関連する処理において使用される各種のデータを記憶する。そのようなデータには、例えば、車両２の識別情報、カメラ１１の設置高さ、撮影方向、焦点距離及び画角といったカメラ１１のパラメータなどが含まれる。また、メモリ２２は、カメラ１１から受信した画像、及び、GPS受信機１２から受信した測位情報を一定期間記憶してもよい。さらに、メモリ２２は、地物データの収集指示にて指定された、地物データの生成及び収集対象となる領域（以下、収集対象領域と呼ぶことがある）を表す情報を記憶する。さらにまた、メモリ２２は、プロセッサ２３で実行される各処理を実現するためのコンピュータプログラムなどを記憶してもよい。

【0026】

プロセッサ２３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、カメラ１１から受信した画像、GPS受信機１２から受信した測位情報をメモリ２２に記憶する。さらに、プロセッサ２３は、車両２が走行している間、所定の周期（例えば、0.1秒～10秒）ごとに、地物データ生成に関連する処理を実行する。

【0027】

プロセッサ２３は、地物データ生成に関連する処理として、例えば、GPS受信機１２から受信した測位情報で表される車両２の自車位置が収集対象領域に含まれるか否か判定する。そしてプロセッサ２３は、自車位置が収集対象領域に含まれる場合、カメラ１１から受信した画像に基づいて地物データを生成する。

【0028】

地物データは、車両の走行に関連する地物を表すデータである。本実施形態では、プロセッサ２３は、地物データに、カメラ１１により生成された画像、その画像が生成された時刻、その時刻における、測位情報に示される車両２の位置及び進行方向、及び、カメラ１１の設置高さ、撮影方向、焦点距離及び画角といったカメラ１１のパラメータを含める。なお、プロセッサ２３は、車両２の進行方向を表す情報を、車両２のＥＣＵまたは方位センサ（図示せず）から取得すればよい。また、画像が生成された時刻と、最新の測位情報が得られた時刻とが異なる場合、プロセッサ２３は、最新の測位情報が得られた時刻から画像が生成された時刻までの、車輪速、加速度及び角速度といった、デッドレコニングに利用される車両２のオドメトリ情報をＥＣＵから取得する。そしてプロセッサ２３は、そのオドメトリ情報で最新の測位情報で示される車両２の位置及び進行方向を補正することで、画像が生成された時刻における車両２の位置及び進行方向をもとめてもよい。なお、オドメトリ情報は、車両２の挙動を表す挙動情報の一例である。そしてプロセッサ２３は、地物データを生成する度に、生成した地物データを、無線通信端末１３を介してサーバ４へ送信する。なお、プロセッサ２３は、一つの地物データに、複数の画像、各画像の生成時刻及び車両２の位置及び進行方向を含めてもよい。また、プロセッサ２３は、地物データとは別個に、カメラ１１のパラメータを車両２の識別情報とともに無線通信端末１３を介してサーバ４へ送信してもよい。

【0029】

さらに、プロセッサ２３は、所定のタイミング（例えば、車両２のイグニッションスイッチがオンにされたタイミング）以降における、車両２の走行情報を生成し、その走行情報を、無線通信端末１３を介してサーバ４へ送信する。プロセッサ２３は、走行情報に、所定のタイミング以降に得られた一連の測位情報、各測位情報における車両２の位置が測定された時刻、及び、ＥＣＵから取得したオドメトリ情報を含める。さらに、プロセッサ２３は、走行情報及び地物データに、車両２の識別情報を含めてもよい。

【0030】

固定センサ３は、所定の道路区間上、または、所定の道路区間の近傍に設置され、かつ、所定の道路区間を走行する車両２を検知可能なセンサである。所定の道路区間に特に制限はないが、地物データを収集する車両２が走行する可能性が高い道路区間であることが好ましい。固定センサ３は、例えば、所定の道路区間を撮影範囲に含むように設置されるカメラ（以下、車両２に搭載されるカメラと区別するために、監視カメラと呼ぶことがある）とすることができる。この場合、固定センサ３である監視カメラは、所定の道路区間を跨ぐように設けられる支持部材または所定の道路区間に隣接して設置されるポールにおいて、所定の道路区間へ向けて設置される。監視カメラは、所定の周期ごとに所定の道路区間を撮影することで、所定の道路区間が表された画像を生成する。そして監視カメラは、監視画像を生成する度に、生成した画像及びその画像の生成時刻を、通信ネットワーク５を介してサーバ４へ送信する。なお、監視カメラにより生成された画像は、所定の道路区間を走行する車両２を検知する固定センサ信号の一例である。以下、車載のカメラ１１により生成された車載画像と監視カメラにより生成された画像とを区別するために、監視カメラにより生成された画像を監視画像と呼ぶことがある。

【0031】

なお、固定センサ３は、所定の道路区間の路面に埋設されるループコイルを利用するループコイル式の車両検知センサであってもよい。あるいは、固定センサ３は、所定の道路区間の路肩などに設置される、超音波の送受信器を有する超音波式の車両検知センサであってもよい。さらに、固定センサ３は、車両２に搭載される車載器との双方向通信可能なビーコン装置であってもよい。固定センサ３がこれらのセンサである場合、固定センサ３は、所定の道路区間を通過する車両を検知する度に、車両が検知されたこと及び車両が検知された時刻（以下、単に検知時刻と呼ぶ）を表す車両検知信号を、通信ネットワーク５を介してサーバ４へ送信する。車両検知信号は、固定センサ信号の他の一例である。

【0032】

次に、位置推定装置の一例であるサーバ４について説明する。
図４は、位置推定装置の一例であるサーバ４のハードウェア構成図である。サーバ４は、通信インターフェース３１と、ストレージ装置３２と、メモリ３３と、プロセッサ３４とを有する。通信インターフェース３１、ストレージ装置３２及びメモリ３３は、プロセッサ３４と信号線を介して接続されている。サーバ４は、キーボード及びマウスといった入力装置と、液晶ディスプレイといった表示装置とをさらに有してもよい。

【0033】

通信インターフェース３１は、通信部の一例であり、サーバ４を通信ネットワーク５に接続するためのインターフェース回路を有する。そして通信インターフェース３１は、車両２と通信ネットワーク５及び無線基地局６を介して通信可能に構成される。すなわち、通信インターフェース３１は、車両２から無線基地局６及び通信ネットワーク５を介して受信した、地物データまたは走行情報をプロセッサ３４へわたす。また、通信インターフェース３１は、プロセッサ３４から受け取った収集指示を、通信ネットワーク５及び無線基地局６を介して車両２へ送信する。さらに、通信インターフェース３１は、固定センサ３から通信ネットワーク５を介して受信した固定センサ信号をプロセッサ３４へわたす。

【0034】

ストレージ装置３２は、記憶部の一例であり、例えば、ハードディスク装置または光記録媒体及びそのアクセス装置を有する。そしてストレージ装置３２は、位置推定処理において使用される各種のデータ及び情報を記憶する。例えば、ストレージ装置３２は、画像から地物を検出するための識別器を特定するためのパラメータセット、更新対象となる地図、及び、各車両２の識別情報を記憶する。さらに、ストレージ装置３２は、各車両２から受信した地物データ、走行情報、及び、各固定センサ３から受信した固定センサ信号を記憶する。さらに、ストレージ装置３２は、個々の固定センサ３について、その固定センサ３が検知可能な車両２の位置を表す検知位置情報を記憶する。固定センサ３が監視カメラである場合、検知位置情報は、監視カメラにより生成される画像上の複数の点のそれぞれについて、その点に対応する実空間の位置座標を含む。あるいは、検知位置情報は、監視カメラの設置位置、撮影方向、焦点距離及び画角といった監視カメラに関するパラメータを含んでいてもよい。また、固定センサ３が車両検知センサである場合、車両検知センサが車両２を検知可能な位置についての実空間の位置座標を含む。なお、検知位置情報は、固定センサ３が設置されたときに固定センサ３からサーバ４へ送信されればよい。あるいは、サーバ４のユーザインターフェースを介して、検知位置情報が入力されてもよい。さらにまた、ストレージ装置３２は、プロセッサ３４上で実行される、位置推定処理を実行するためのコンピュータプログラムを記憶してもよい。

【0035】

メモリ３３は、記憶部の他の一例であり、例えば、不揮発性の半導体メモリ及び揮発性の半導体メモリを有する。そしてメモリ３３は、位置推定処理を実行中に生成される各種データなどを一時的に記憶する。

【0036】

プロセッサ３４は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ３４は、論理演算ユニットあるいは数値演算ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ３４は、所定の周期ごと、あるいは、ユーザにより指定されたタイミングにおいて、収集対象領域を表す、地物データの収集指示を生成し、生成した収集指示を、通信ネットワーク５及び無線基地局６を介して各車両２へ送信する。さらに、プロセッサ３４は、位置推定処理を実行する。

【0037】

図５は、位置推定処理に関連するプロセッサ３４の機能ブロック図である。プロセッサ３４は、車両検出部４１と、車両位置推定部４２と、地物検出部４３と、地物位置推定部４４とを有する。プロセッサ３４が有するこれらの各部は、例えば、プロセッサ３４上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ３４が有するこれらの各部は、プロセッサ３４に設けられる、専用の演算回路であってもよい。

【0038】

車両検出部４１は、固定センサ３から受信した固定センサ信号に基づいて、第１の時刻における、所定の道路区間を走行した車両２の第１の位置を検出する。

【0039】

固定センサ３が監視カメラである場合、車両検出部４１は、監視カメラにより生成された監視画像を識別器に入力することで、所定の道路区間を走行した車両２を検出する。車両検出部４１は、そのような識別器として、例えば、いわゆるディープニューラルネットワーク(DNN)を用いることができる。そのようなDNNとして、例えば、Single Shot MultiBox Detector(SSD)またはFaster R-CNNといった、コンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを持つDNN、あるいは、Vision Transformerといった、attention機構を有するDNNが用いられる。あるいはまた、車両検出部４１は、そのような識別器として、サポートベクトルマシン(SVM)あるいはadaBoostといった他の機械学習手法に基づく識別器を用いてもよい。このような識別器は、画像から車両を検出するように、車両が表された多数の教師画像を用いて、誤差逆伝搬法といった所定の学習手法に従って予め学習される。

【0040】

なお、識別器は、車両に取り付けられたナンバープレートを検出するようにさらに学習されてもよい。この場合、車両検出部４１は、監視画像上でナンバープレートが表された領域を、登録番号を識別するように予め学習された番号用識別器に入力することで、検出した車両の登録番号を識別してもよい。そして車両検出部４１は、ストレージ装置３２またはメモリ３３に記憶されている各車両２の識別番号のうち、識別した登録番号と一致する識別番号を特定する。なお、車両検出部４１は、番号用識別器として、CNN型のDNNあるいはattention機構を有するDNNを用いることができる。そして車両検出部４１は、特定した識別番号を有する車両２が検出されたと判定する。さらに、車両検出部４１は、検出された車両２が表された監視画像の生成時刻を第１の時刻とする。さらにまた、車両検出部４１は、実空間の位置座標が対応付けられた複数の点のうち、画像上で検出された車両２が表された領域に含まれるか、その領域に最も近い点を特定し、特定した点に対応する実空間の位置座標を、検出された車両２の第１の位置とする。また、監視画像上の各画素の位置は、監視カメラからその画素に表された物体への方位と１対１に対応する。そこで、車両検出部４１は、監視画像上で車両２が表された領域の位置に対応する監視カメラからの方位と、監視カメラの設置位置及び撮影方向といった監視カメラのパラメータとに基づいて、検出された車両２の第１の位置をもとめてもよい。

【0041】

また、車両検出部４１は、各車両２から受信した走行情報を参照して、各車両２のうち、第１の時刻において第１の位置に最も近い位置を走行している車両を、第１の時刻において第１の位置にいた車両２として特定してもよい。この場合、車両検出部４１は、登録番号の検出を省略してもよい。さらに、識別器は、検出した車両の車種も識別するように予め学習されてもよい。この場合、車両検出部４１は、各車両２のうち、第１の時刻において検出された車種と同一の車種である車両を、第１の時刻において第１の位置にいた車両２として特定してもよい。この場合も、車両検出部４１は、登録番号の検出を省略してもよい。

【0042】

また、固定センサ３が車両検知センサまたはビーコン装置である場合、車両検出部４１は、受信した車両検知信号に含まれる検知時刻を第１の時刻とし、かつ、車両検知センサが検知可能な位置を第１の位置とする。そして車両検出部４１は、各車両２から受信した走行情報を参照して、各車両２のうち、第１の時刻において第１の位置に最も近い位置を走行している車両２を、第１の時刻において第１の位置にいた車両２として特定する。

【0043】

車両検出部４１は、検出された車両２について、第１の時刻及び第１の位置を車両位置推定部４２へ通知する。

【0044】

車両位置推定部４２は、検出された車両２の第１の時刻における第１の位置に基づいて、その車両２から受信した地物データに含まれる、所定の地物が表された画像の生成時刻（第２の時刻）における、車両２の位置（第２の位置）を推定する。

【0045】

車両位置推定部４２は、検出された車両２から受信した走行情報に含まれる、第１の時刻における車両２の位置（以下、説明の便宜上、第１補正前位置と呼ぶ）から、車両検出部４１により検出された第１の時刻における第１の位置へ向かう、それらの位置の差を表すベクトルを、位置補正ベクトルとして算出する。そして車両位置推定部４２は、地物データに含まれる、画像の生成時刻（第２の時刻）における車両２の位置（以下、説明の便宜上、第２補正前位置と呼ぶ）を位置補正ベクトルで補正して得られる位置（すなわち、第２補正前位置に位置補正ベクトルを加算して得られる位置）を、第２の位置とする。

【0046】

なお、走行情報に第１補正前位置が含まれていない場合、車両位置推定部４２は、走行情報に含まれる、第１の時刻の前後の時刻における車両２の位置を、その前後の時刻と第１の時刻の差で内分することで、第１補正前位置をもとめてもよい。また、走行情報にオドメトリ情報が含まれている場合、第１の時刻の前または後の参照時刻における車両２の位置を、参照時刻から第１の時刻までのオドメトリ情報を用いて補正することで、第１補正前位置を求めてもよい。

【0047】

車両位置推定部４２は、サーバ４が検出された車両２から複数の地物データを受信している場合、地物データごとに上記の処理を行うことで、地物データごとに、その地物データに含まれる画像が生成された第２の時刻における車両２の第２の位置を推定すればよい。また、地物データに複数の画像及び画像の生成時刻が含まれている場合も、車両位置推定部４２は、画像ごとに上記の処理を行うことで、画像ごとに、その画像が生成された第２の時刻における車両２の第２の位置を推定すればよい。

【0048】

車両位置推定部４２は、推定した第２の位置を地物位置推定部４４へ通知する。

【0049】

地物検出部４３は、検出された車両２から受信した地物データに含まれる画像から、検出対象となる所定の地物を検出する。そのために、地物検出部４３は、地物検出用の識別機に画像を入力することで、画像に表された所定の地物が表された物体領域及びその所定の地物の種類を識別する。地物検出部４３は、そのような識別器として、CNN型のアーキテクチャを有するDNN、あるいは、attention機構を有するDNNを用いることができる。あるいはまた、地物検出部４３は、そのような識別器として、SVMあるいはadaBoostといった他の機械学習手法に基づく識別器を用いてもよい。このような識別器は、画像から所定の地物を検出するように、所定の地物が表された多数の教師画像を用いて、誤差逆伝搬法といった所定の学習手法に従って予め学習される。

【0050】

地物検出部４３は、所定の地物が検出された画像が生成された第２の時刻、及び、画像上での所定の地物が表された物体領域の位置及びサイズを表す情報及び所定の地物の種類を地物位置推定部４４へ通知する。

【0051】

地物位置推定部４４は、検出された地物が表された画像が生成されたときの車両２の第２の位置に基づいて、その地物の位置を推定する。

【0052】

監視カメラに関して上述したように、画像上の各画素の位置は、カメラ１１からその画素に表された物体への方位と１対１に対応する。そのため、検出された地物が道路標示あるいは路面上に置かれた立体的な構造物といった路面上に設けられる地物である場合、地物位置推定部４４は、カメラ１１を基準とするカメラ座標系における地物の位置を推定することができる。その際、地物位置推定部４４は、物体領域内の基準点に対応するカメラ１１からの方位、地物データに含まれる、画像が生成された第２の時刻における車両２の進行方向、及び、カメラ１１の撮影方向及び車両２における設置高さといったカメラ１１のパラメータに基づいて、地物の位置を推定すればよい。さらに、地物位置推定部４４は、カメラ座標系における地物の位置を、カメラ１１の位置を第２の位置とする実空間の座標系での位置に変換するよう、例えば、その地物の位置に対してアフィン変換を実行することで、検出された地物の位置を推定することができる。なお、物体領域内の基準点は、物体領域の重心とすることができる。また、地物が路面に設置された立体的な構造物である場合、物体領域の下端の位置は、地物が路面に接している位置を表していると推定される。そこでこの場合には、基準点は、物体領域の下端上の何れかの位置とすることができる。

【0053】

また、同一の地物が互いに異なる時刻において生成された複数の画像から検出されている場合、地物位置推定部４４は、いわゆるStructure from Motionの手法にしたがってその地物の位置を推定してもよい。この場合、地物位置推定部４４は、各画像生成時の車両２の第２の位置及び進行方向、各画像上でその地物が表された物体領域の位置及びカメラ１１のパラメータに基づいて、三角測量によりその地物の位置を推定する。

【0054】

なお、地物位置推定部４４は、KLTトラッキングといったトラッキング手法にしたがって、異なる時刻に生成された複数の画像のそれぞれに表される同一の地物を各画像間で対応付ければよい。

【0055】

地物位置推定部４４は、検出された所定の地物について、その地物の種類及び推定された位置を表す情報をストレージ装置３２に記憶する。あるいは、地物位置推定部４４は、検出された地物の種類及び推定された位置を表す情報を、通信インターフェース３１を介して他の機器へ出力してもよい。

【0056】

図６は、本実施形態による、地物の位置の推定の概要を説明する図である。図６に示されるように、この例では、固定センサ３により車両２が検知された第１の時刻t1において、固定センサ信号に基づいて車両２の第１の位置P1が検出される。一方、この第１の時刻t1において、車両２ではGPS受信機１２により車両２の位置（第１補正前位置）Pg1が検出されている。そのため、位置補正ベクトルC=|P1-Pg1|が求められる。この位置補正ベクトルCを用いて、車両２に搭載されたカメラ１１により車載画像IMGが生成された第２の時刻t2における、GPS受信機１２により測位された車両２の位置（第２補正前位置）Pg2が補正されることで、時刻t2における車両２の第２の位置P2が推定される。そして第２の位置P2に基づいて、車載画像IMGから検出された地物Sの実空間における位置Psが推定される。

【0057】

図７は、サーバ４における、位置推定処理の動作フローチャートである。サーバ４のプロセッサ３４は、以下に示される動作フローチャートに従って位置推定処理を実行すればよい。

【0058】

プロセッサ３４の車両検出部４１は、固定センサ３から受信した固定センサ信号に基づいて、第１の時刻における、所定の道路区間を走行した車両２の第１の位置を検出する（ステップＳ１０１）。

【0059】

また、プロセッサ３４の車両位置推定部４２は、検出された車両２の第１の時刻における第１の位置に基づいて、検出対象となる所定の地物が表された車載画像が生成された第２の時刻における、車両２の第２の位置を推定する（ステップＳ１０２）。

【0060】

さらに、プロセッサ３４の地物検出部４３は、検出された車両２から受信した地物データに含まれる、第２の時刻において生成された車載画像から所定の地物を検出する（ステップＳ１０３）。

【0061】

そしてプロセッサ３４の地物位置推定部４４は、検出された地物が表された車載画像が生成されたときの車両２の第２の位置に基づいて、その地物の位置を推定する（ステップＳ１０４）。そしてプロセッサ３４は、位置推定処理を終了する。

【0062】

プロセッサ３４は、検出された地物の種類及び位置に基づいて、地図を生成し、あるいは、地図を更新してもよい。例えば、プロセッサ３４は、生成対象となる地図において、検出された地物のそれぞれについて、その地物の位置及び種類を表す情報を追加する。また、更新対象となる地図において、検出された地物の位置から所定距離の範囲内に、検出された地物と同じ種類の地物が存在しない場合、プロセッサ３４は、検出された地物の位置及び種類を表す情報を更新対象となる地図に追加する。さらに、更新対象となる地図において、検出された地物の位置に、検出された地物の種類と異なる種類の地物に関する情報が含まれている場合、プロセッサ３４は、その位置における地物の種類を、検出された地物の種類に書き換える。さらにまた、更新対象となる地図の所定地点に表された地物が、一定期間内に収集された、その所定地点を通過した各車両２からの地物データから検出されなかった場合、プロセッサ３４は、その所定地点における地物の情報をその地図から削除する。

【0063】

プロセッサ３４は、生成または更新された地図を、通信ネットワーク５及び無線基地局６を介して、自動運転制御または運転支援にその地図を利用する車両へ配信してもよい。

【0064】

以上に説明してきたように、この位置推定装置は、車両の位置を正確に検出することができる固定センサにより検出された車両の位置を、車載画像生成時の車両の位置の推定に利用する。そのため、この位置推定装置は、車載画像生成時の車両の位置を正確に推定することができる。その結果として、この位置推定装置は、車載画像から検出された地物の位置を正確に推定することができる。

【0065】

変形例によれば、車両位置推定部４２は、車両２から受信した一連の車載画像のうちの地物検出部４３により所定の地物が検出された車載画像についてのみ、その車載画像が生成された時刻における車両２の位置を推定するようにしてもよい。これにより、演算量が軽減される。

【0066】

他の変形例によれば、車両位置推定部４２は、走行情報に含まれるオドメトリ情報を用いて、固定センサ３により車両２が検出された第１の時刻から所定の地物が表された車載画像が生成された第２の時刻までの車両２の移動方向及び移動量を求めてもよい。そして車両位置推定部４２は、第１の位置を、その移動方向及び移動量で補正することで、第２の時刻における車両の第２の位置を推定してもよい。これにより、第２の時刻において、車両２に搭載されたGPS受信機１２が車両２の位置を測位できなかった場合でも、車両位置推定部４２は、車両２の第２の位置を推定することができる。

【0067】

また他の変形例によれば、車両検出部４１は、固定センサ３が監視カメラである場合、生成時刻が互いに異なる複数の監視画像のそれぞれから車両２の位置を検出してもよい。そして車両位置推定部４２は、複数の監視画像のうち、第２の時刻に最も近い時刻に生成された監視画像から検出された車両２の位置を第１の位置として、第２の時刻における、車両２の第２の位置を推定してもよい。このように、所定の地物が表された車載画像の生成時に最も近い時刻に生成された固定センサ信号たる監視画像を車両２の位置の推定に利用するので、車両位置推定部４２は、車両２の第２の位置の推定精度をより向上することができる。

【0068】

さらに、固定センサ３が複数設置されている場合、車両検出部４１は、固定センサ３ごとに上記の処理を実行して、車両２を検出してもよい。この場合において、同一の車両２が二つ以上の固定センサ３による固定センサ信号から検出されている場合、車両位置推定部４２は、検出された個々の車両２の位置のうち、走行情報に含まれる第２補正前位置に近い方の車両２の位置を第１の位置として、車両２の第２の位置を推定してもよい。このように、所定の地物が表された車載画像が生成されたときの車両２の第２の補正前位置に近い方の固定センサ３により検出された車両２の位置を、第２の位置の推定に利用するので、車両位置推定部４２は、第２の位置の推定精度をより向上することができる。

【0069】

さらに他の変形例によれば、車両２に搭載されたデータ取得装置１４のプロセッサ２３が、上記の実施形態における地物検出部４３の処理を実行してもよい。この場合、プロセッサ２３は、地物データに、所定の地物が検出された車載画像の生成時刻、その生成時刻における、GPS受信機１２により測位された車両２の位置、車両２の進行方向、カメラ１１のパラメータ、及び、車載画像上での所定の地物が表された物体領域の位置及び範囲を表す情報を含めればよい。そして地物位置推定部４４は、地物データに含まれる、それらの情報を参照して、車載画像から検出された所定の地物の位置を推定すればよい。

【0070】

さらに他の変形例によれば、固定センサ３が監視カメラである場合、車両検出部４１は、監視画像に基づいて、車両２の死角となる領域を推定してもよい。そしてプロセッサ３４は、車載画像から検出された地物の推定位置が死角となる領域に含まれる場合、その地物は誤検出されたものと判定し、その地物に関する情報を地図の生成または更新には利用しないようにしてもよい。例えば、監視画像から、車両２だけでなく、他の車両（以下、周辺車両と呼ぶ）も検出された場合、車両検出部４１は、車両２と周辺車両の位置関係に基づいて、車両２から見て周辺車両により遮蔽される領域を死角となる領域として特定すればよい。

【0071】

また、固定センサ３として、ビーコン装置が用いられる場合、車両２のデータ取得装置１４が、車両２の位置を検出してもよい。この場合には、データ取得装置１４のメモリ２２に、ビーコン装置からのビーコン信号を受信可能な位置が予め記憶される。そしてデータ取得装置１４のプロセッサ２３は、車両２に搭載された車載器により、ビーコン装置から発せられたビーコン信号が検出されたときを第１の時刻とし、ビーコン信号を受信可能な位置を第１の位置として検出すればよい。そしてプロセッサ２３は、サーバ４へ送信する走行情報に、第１の時刻及び第１の位置、あるいは、位置補正ベクトルを含めてもよい。さらにこの場合、データ取得装置１４のプロセッサ２３が、上記の実施形態における、サーバ４のプロセッサ３４の各部の処理を実行することで、検出した地物の位置を推定してもよい。そしてプロセッサ３４は、地物データに、検出した地物の位置を含めてもよい。この場合、データ取得装置１４は、位置推定装置の他の一例となる。

【0072】

上記の各実施形態または変形例による位置推定装置のプロセッサが有する各部の機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な記録媒体に記憶された形で提供されてもよい。なお、コンピュータによって読取り可能な記録媒体は、例えば、磁気記録媒体、光記録媒体、又は半導体メモリとすることができる。

【0073】

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

【符号の説明】

【0074】

１ 地物データ収集システム
２ 車両
１１ カメラ
１２ GPS受信機
１３ 無線通信端末
１４ データ取得装置
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３ 固定センサ
４ サーバ
３１ 通信インターフェース
３２ ストレージ装置
３３ メモリ
３４ プロセッサ
４１ 車両検出部
４２ 車両位置推定部
４３ 地物検出部
４４ 地物位置推定部
５ 通信ネットワーク
６ 無線基地局

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】