特開 2024-29251 変化点検出装置、制御方法、プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024029251

(43)【公開日】2024-03-05

(54)【発明の名称】変化点検出装置、制御方法、プログラム及び記憶媒体

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240227BHJP

   G06T 7/33 20170101ALI20240227BHJP

【ＦＩ】

G06T7/70 A

G06T7/33

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2024005981

(22)【出願日】2024-01-18

(62)【分割の表示】P 2020063617の分割

【原出願日】2020-03-31

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(72)【発明者】

【氏名】青木 岳

(72)【発明者】

【氏名】今井 健太

(72)【発明者】

【氏名】松本 令司

(57)【要約】

【課題】特徴物に関する変化点を好適に検出可能な変化点検出装置を提供する。
【解決手段】変化点検出装置４は、第１取得手段と、第２取得手段と、位置合わせ手段と、変化点検出手段とを有する。第１取得手段は、第１画像群に基づき生成された第１オルソ画像と、第１画像群の少なくも１つの画像に含まれる特徴物を第１オルソ画像上に投影したときの第１投影位置とを取得する。第２取得手段は、第１画像群と異なる期間に撮影された第２画像群に基づき生成された第２オルソ画像と、第２画像群の少なくも１つの画像に含まれる特徴物を第１オルソ画像上に投影したときの第２投影位置とを取得する。位置合わせ手段は、第１オルソ画像と第２オルソ画像の位置合わせを行う。変化点検出手段は、位置合わせにより少なくとも一方を補正した第１投影位置と第２投影位置とに基づき、特徴物に関する変化点を検出する。
【選択図】図７

【特許請求の範囲】

【請求項1】

特徴物が投影された第１投影位置を含む第１合成画像と前記特徴物が投影された第２投影位置を含む第２合成画像の位置合わせを行う位置合わせ手段と、
前記位置合わせにより少なくとも一方を補正した前記第１投影位置と前記第２投影位置とに基づき、前記特徴物に関する変化点を検出する変化点検出手段と、
を有する変化点検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、変化点を検出する技術に関する。

【背景技術】

【0002】

従来から、車両に設置されたセンサの出力に基づき地図の変化点を検出する技術が知られている。例えば、特許文献１には、各車両がセンサにより地図データに対する変化点を検出した場合に、その変化点に関するデータを地図管理サーバに送信することで地図データの更新を行うシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１５６９７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

計測車両により道路周辺を計測する場合において、特徴点ベースのＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）を適用した場合、目印となる特徴物の存在が少ない道路区間等において位置推定精度が低くなり、生成される計測データの精度が低くなる場合がある。この場合、変化点を適切に検出できないおそれがある。

【0005】

本発明は、上記のような課題を解決するためになされたものであり、変化点を好適に検出することが可能な変化点検出装置を提供することを主な目的とする。

【課題を解決するための手段】

【0006】

請求項に記載の発明は、変化点検出装置であって、第１画像群に基づき生成された第１合成画像と、前記第１画像群の少なくも１つの画像に含まれる特徴物を前記第１合成画像上に投影したときの第１投影位置とを取得する第１取得手段と、前記第１画像群と異なる期間に撮影された第２画像群に基づき生成された第２合成画像と、前記第２画像群の少なくも１つの画像に含まれる前記特徴物を前記第２合成画像上に投影したときの第２投影位置とを取得する第２取得手段と、前記第１合成画像と前記第２合成画像の位置合わせを行う位置合わせ手段と、前記位置合わせにより少なくとも一方を補正した前記第１投影位置と前記第２投影位置とに基づき、前記特徴物に関する変化点を検出する変化点検出手段と、を有する。

【0007】

また、請求項に記載の発明は、コンピュータにより、第１画像群に基づき生成された第１合成画像と、前記第１画像群の少なくも１つの画像に含まれる特徴物を前記第１合成画像上に投影したときの第１投影位置とを取得し、前記第１画像群と異なる期間に撮影された第２画像群に基づき生成された第２合成画像と、前記第２画像群の少なくも１つの画像に含まれる前記特徴物を前記第２合成画像上に投影したときの第２投影位置とを取得し、前記第１合成画像と前記第２合成画像の位置合わせを行い、前記位置合わせにより少なくとも一方を補正した前記第１投影位置と前記第２投影位置とに基づき、前記特徴物に関する変化点を検出する、制御方法である。

【0008】

また、請求項に記載の発明は、第１画像群に基づき生成された第１合成画像と、前記第１画像群の少なくも１つの画像に含まれる特徴物を前記第１合成画像上に投影したときの第１投影位置とを取得する第１取得手段と、前記第１画像群と異なる期間に撮影された第２画像群に基づき生成された第２合成画像と、前記第２画像群の少なくも１つの画像に含まれる前記特徴物を前記第２合成画像上に投影したときの第２投影位置とを取得する第２取得手段と、前記第１合成画像と前記第２合成画像の位置合わせを行う位置合わせ手段と、前記位置合わせにより少なくとも一方を補正した前記第１投影位置と前記第２投影位置とに基づき、前記特徴物に関する変化点を検出する変化点検出手段としてコンピュータを機能させるプログラムである。

【図面の簡単な説明】

【0009】

【図1】変化点検出システムの概略構成である。

【図2】車載機及び変化点検出装置のブロック構成を示す。

【図3】変化点検出装置の機能ブロック図を示す。

【図4】ある道路区間の俯瞰図を示す。

【図5】（Ａ）第１データセットに基づき生成された第１オルソ画像を示す。（Ｂ）第２データセットに基づき生成された第２オルソ画像を示す。（Ｃ）第１オルソ画像と第２オルソ画像との位置合わせを行った後にこれらを重ね合わせた画像である。

【図6】実施例に係る変化点検出処理の手順を示すフローチャートの一例である。

【図7】変形例に係る変化点検出処理の手順を示すフローチャートの一例である。

【発明を実施するための形態】

【0010】

本発明の好適な実施形態によれば、変化点検出装置は、第１画像群に基づき生成された第１合成画像と、前記第１画像群の少なくも１つの画像に含まれる特徴物を前記第１合成画像上に投影したときの第１投影位置とを取得する第１取得手段と、前記第１画像群と異なる期間に撮影された第２画像群に基づき生成された第２合成画像と、前記第２画像群の少なくも１つの画像に含まれる前記特徴物を前記第２合成画像上に投影したときの第２投影位置とを取得する第２取得手段と、前記第１合成画像と前記第２合成画像の位置合わせを行う位置合わせ手段と、前記位置合わせにより少なくとも一方を補正した前記第１投影位置と前記第２投影位置とに基づき、前記特徴物に関する変化点を検出する変化点検出手段と、を有する。変化点検出装置は、この態様により、異なる期間において撮影された第１画像群と第２画像群とに基づき、特徴物の変化点を好適に検出することができる。

【0011】

上記変化点検出装置の一態様では、前記第１画像群と前記第２画像群は、所定の道路区間を走行する車両から撮影された画像から構成され、前記位置合わせ手段は、前記道路区間における道路を基準として前記位置合わせを行う。この態様により、変化点検出装置は、第１合成画像及び第２合成画像の位置合わせを的確に行い、特徴物の変化点を好適に検出することができる。

【0012】

上記変化点検出装置の他の一態様では、変化点検出装置は、前記第１画像群に基づき前記第１合成画像を生成し、前記第２画像群に基づき前記第２合成画像を生成する合成画像生成手段をさらに有する。この態様により、変化点検出装置は、位置合わせを行う第１合成画像と第２合成画像とを好適に取得することができる。

【0013】

上記変化点検出装置の他の一態様では、前記合成画像生成手段は、前記第１画像群と、当該第１画像群を構成する各画像の撮影位置及び撮影方向と、に基づき前記第１合成画像を生成し、前記第２画像群と、当該第２画像群を構成する各画像の撮影位置及び撮影方向と、に基づき前記第２合成画像を生成する。この態様により、変化点検出装置は、比較可能な第１合成画像と第２合成画像とを好適に生成することができる。

【0014】

上記変化点検出装置の他の一態様では、前記第１画像群と前記第２画像群は、車両から撮影された画像から構成され、変化点検出装置は、当該画像の撮影期間に前記車両に設けられたセンサが出力するデータに基づき、前記撮影位置及び前記撮影方向を算出する撮影位置算出手段をさらに有する。この態様により、変化点検出装置は、合成画像の生成に必要な各画像の撮影位置及び撮影方向を好適に特定することができる。

【0015】

上記変化点検出装置の他の一態様では、前記合成画像生成手段は、前記第１合成画像及び前記第２合成画像として、オルソ画像を生成する。これにより、変化点検出装置は、位置合わせに好適な第１合成画像及び第２合成画像を好適に生成することができる。

【0016】

上記変化点検出装置の他の一態様では、変化点検出装置は、前記特徴物が含まれる前記第１画像群の画像に基づき特定される前記特徴物の空間位置を前記第１合成画像に投影した前記第１投影位置を算出し、前記特徴物が含まれる前記第２画像群の画像に基づき特定される前記特徴物の空間位置を前記第２合成画像に投影した前記第２投影位置を算出する投影手段をさらに有する。変化点検出装置は、この態様により、第１合成画像上での特徴物の第１投影位置と、第２合成画像上での特徴物の第２投影位置とを好適に算出することができる。

【0017】

本発明の他の好適な実施形態によれば、制御方法は、コンピュータにより、第１画像群に基づき生成された第１合成画像と、前記第１画像群の少なくも１つの画像に含まれる特徴物を前記第１合成画像上に投影したときの第１投影位置とを取得し、前記第１画像群と異なる期間に撮影された第２画像群に基づき生成された第２合成画像と、前記第２画像群の少なくも１つの画像に含まれる前記特徴物を前記第２合成画像上に投影したときの第２投影位置とを取得し、前記第１合成画像と前記第２合成画像の位置合わせを行い、前記位置合わせにより少なくとも一方を補正した前記第１投影位置と前記第２投影位置とに基づき、前記特徴物に関する変化点を検出する。コンピュータは、この制御方法を実行することで、異なる期間において撮影された第１画像群と第２画像群とに基づき、特徴物の変化点を好適に検出することができる。

【0018】

本発明の他の好適な実施形態によれば、プログラムは、第１画像群に基づき生成された第１合成画像と、前記第１画像群の少なくも１つの画像に含まれる特徴物を前記第１合成画像上に投影したときの第１投影位置とを取得する第１取得手段と、前記第１画像群と異なる期間に撮影された第２画像群に基づき生成された第２合成画像と、前記第２画像群の少なくも１つの画像に含まれる前記特徴物を前記第２合成画像上に投影したときの第２投影位置とを取得する第２取得手段と、前記第１合成画像と前記第２合成画像の位置合わせを行う位置合わせ手段と、前記位置合わせにより少なくとも一方を補正した前記第１投影位置と前記第２投影位置とに基づき、前記特徴物に関する変化点を検出する変化点検出手段としてコンピュータを機能させる。コンピュータは、このプログラムを実行することで、異なる期間において撮影された第１画像群と第２画像群とに基づき、特徴物の変化点を好適に検出することができる。好適には、上記プログラムは、記憶媒体に記憶される。

【実施例0019】

以下、図面を参照して本発明の好適な実施例について説明する。

【0020】

（１）システム概要
図１は、本実施例に係る変化点検出システムの概略構成図である。図１に示す変化点検出システムは、道路周辺に存在する特徴物の変化点を検出するシステムであり、主に、計測を行いながら道路を走行する計測車両と、計測車両により計測されたデータに基づき変化点の検出処理を行う変化点検出装置４とを有する。なお、特徴物は、カメラにより検出可能な道路上又は道路周辺の物体であって、例えば、標識、看板、郵便ポスト、ガードレール等が該当する。

【0021】

計測車両は、主に、車載機１と、カメラ２と、センサユニット３とを有する。車載機１は、カメラ２及びセンサユニット３と有線又は無線により電気的に接続し、カメラ２及びセンサユニット３が生成したデータを記憶する。また、車載機１は、変化点検出装置４とデータ通信可能であって、カメラ２及びセンサユニット３が生成したデータを、計測データ「Ｉｍ」として変化点検出装置４に送信する。

【0022】

カメラ２は、計測車両に設置され、計測車両からの風景を撮影した画像（「撮影画像」とも呼ぶ。）を生成する。なお、撮影画像には、当該撮影画像の撮影日時（生成日時）を示す日時データがメタデータとして含まれている。カメラ２は、日時データが含まれる撮影画像を、車載機１へ供給する。

【0023】

センサユニット３は、計測車両の位置及び姿勢（進行方向）に関する情報を検出するセンサ群である。センサユニット３は、例えば、ＧＰＳ受信機、加速度センサ、ジャイロセンサ、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などの複数のセンサを含んでいる。上記のＧＰＳ受信機は、ＲＴＫ測位方式（即ち干渉測位方式）に基づき計測車両の絶対的な位置（例えば緯度、経度、及び高度の３次元位置）を示す高精度な位置情報を生成するものであってもよい。なお、センサユニット３は、カメラ２の位置及び撮影方向を直接検出するようにカメラ２に設けられたセンサであってもよい。センサユニット３は、センサによる検出結果と、検出日時を示す日時データとを関連付けた情報（「センサ情報」とも呼ぶ。）を、車載機１へ供給する。

【0024】

車載機１は、カメラ２が出力する撮影画像と、センサユニット３が出力するセンサ情報とを含む計測データＩｍを、所定のタイミングにおいて、変化点検出装置４に送信する。この場合、車載機１は、カメラ２及びセンサユニット３の出力するデータを適宜補正する処理を行う。例えば、車載機１は、カメラ２とセンサユニット３の各装置内で基準とする時刻の差を検出し、撮影画像とセンサ情報の各日時データが同期するようにこれらの日時データの少なくとも一方を上記の時刻差に基づき補正してもよい。これにより、車載機１は、カメラ２とセンサユニット３とが基準とする内部時刻に差異があった場合であっても、撮影画像と当該撮影画像の撮影位置及び撮影方向とを適切に対応付けた計測データＩｍを生成する。

【0025】

変化点検出装置４は、撮影画像とセンサ情報とを含む計測データＩｍを車載機１から受信し、受信した計測データＩｍを蓄積する。そして、変化点検出装置４は、同一の区間において異なる期間（計測タイミング）により計測された計測データＩｍに基づき、当該計測タイミング間での特徴物の変化点を検出する。この場合、変化点検出装置４は、変化点として、特徴物の位置又は形状等の変更、特徴物の消失、特徴物の新設などを検出する。

【0026】

なお、図１に示す変化点検出システムの構成は一例であり、図１に示す構成に対して種々の変形を行ってもよい。例えば、車載機１と、カメラ２と、センサユニット３とのうち少なくとも２つが一体に構成されてもよい。この場合、車載機１と、カメラ２と、センサユニット３とは、１台のドライブレコーダとして構成されてもよい。また、変化点検出装置４は、車載機１とのデータ通信により計測データＩｍを取得する代わりに、車載機１が記憶媒体に記憶した計測データＩｍを当該記憶媒体から読み出すことで計測データＩｍを取得してもよい。この場合、上記の記憶媒体は、計測車両の計測時には車載機１に電気的に接続されることにより、車載機１による計測データＩｍの書込みが行われる。また、計測車両の計測後、上記の記憶媒体は、変化点検出装置４と電気的に接続されることにより、変化点検出装置４による計測データＩｍの読み出しが行われる。また、カメラ２及びセンサユニット３が夫々単独で記憶媒体に生成したログデータを保持し、その記憶媒体を変化点検出装置４に読み込ませることで、変化点検出装置４への計測データＩｍの供給を行ってもよい。この場合、変化点検出システムは、車載機１を有する必要がない。また、計測車両は、複数台存在してもよい。また、変化点検出装置４は、複数の装置から構成されてもよい。この場合、複数の装置は、予め割り当てられた処理を実行し、かつ、互いに必要なデータの授受を装置間において行う。

【0027】

（２）装置構成
図２（Ａ）は、車載機１の機能的構成を示すブロック図である。車載機１は、主に、インターフェース１１と、メモリ１２と、コントローラ１５とを有する。これらの各要素は、バスラインを介して相互に接続されている。

【0028】

インターフェース１１は、車載機１と外部装置とのデータの授受に関するインターフェース動作を行う。本実施例では、インターフェース１１は、カメラ２及びセンサユニット３等から出力されるデータを取得し、メモリ１２へ供給する。

【0029】

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、不揮発性メモリ（ハードディスクドライブ、フラッシュメモリなどを含む）などの各種のメモリにより構成される。メモリ１２は、コントローラ１５が所定の処理を実行するためのプログラムが記憶される。また、メモリ１２は、コントローラ１５の作業メモリとして使用される。なお、コントローラ１５が実行するプログラムは、メモリ１２以外の記憶媒体に記憶されてもよい。

【0030】

また、メモリ１２は、機能的には、撮影画像記憶部１６と、センサ情報記憶部１７とを有する。撮影画像記憶部１６は、カメラ２が生成した撮影画像を記憶する。この撮影画像は、撮影日時を示す日時データをメタデータとして含む。また、センサ情報記憶部１７は、センサユニット３が出力するセンサ情報を記憶する。センサ情報は、センサユニット３による検出が行われた日時を示す日時データを含んでいる。

【0031】

なお、撮影画像記憶部１６及びセンサ情報記憶部１７の少なくとも１つは、インターフェース１１を介して車載機１と接続されたハードディスクなどの車載機１の外部の記憶装置に記憶されてもよい。

【0032】

コントローラ１５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ等を含み、車載機１の全体を制御する。この場合、コントローラ１５は、メモリ１２等に記憶されたプログラムを実行することで、撮影画像記憶部１６及びセンサ情報記憶部１７が記憶するデータの蓄積処理、及び、計測データＩｍの変化点検出装置４への送信処理などを行う。

【0033】

図２（Ｂ）は、変化点検出装置４の機能的構成を示すブロック図である。変化点検出装置４は、インターフェース４１と、メモリ４２と、コントローラ４５と、を有する。これらの各要素は、バスラインを介して相互に接続されている。

【0034】

インターフェース４１は、変化点検出装置４と外部装置とのデータの授受に関するインターフェース動作を行う。本実施例では、インターフェース４１は、車載機１が生成した計測データＩｍを受信する。インターフェース４１は、車載機１と無線通信を行うためのワイヤレスインターフェースであってもよく、計測データＩｍを記憶した記憶媒体等から計測データＩｍを読み出すためのハードウェアインターフェースであってもよい。

【0035】

メモリ４２は、ＲＡＭ、ＲＯＭ、その他不揮発性メモリ（ハードディスクドライブ、フラッシュメモリなどを含む）などの各種のメモリにより構成される。メモリ４２は、コントローラ４５が所定の処理を実行するためのプログラムが記憶される。また、メモリ４２は、コントローラ４５の作業メモリとして使用される。なお、コントローラ４５が実行するプログラムは、メモリ４２以外の記憶媒体に記憶されてもよい。

【0036】

また、メモリ４２は、機能的には、計測データ記憶部４６と、オルソ画像記憶部４７と、特徴物情報記憶部４８と、変化点情報記憶部４９とを有する。計測データ記憶部４６は、車載機１から受信した計測データＩｍを記憶する。好適には、変化点検出装置４は、所定の規則により分けられた道路区間毎に、撮影画像の画像群と、対応するセンサ情報とを関連付けて計測データ記憶部４６に記憶する。道路区間の識別は、例えば、センサ情報に含まれる撮影位置の情報に基づき自動又は手動により行われる。

【0037】

オルソ画像記憶部４７は、連続して撮影された撮影画像群を合成することで変化点検出装置４が生成したオルソ画像を記憶する。特徴物情報記憶部４８は、撮影画像から検出された特徴的な地物である特徴物に関する特徴物情報を記憶する。特徴物情報は、例えば、生成されたオルソ画像に撮影画像から抽出した特徴物の３次元データを投影した場合の投影位置と、対応するオルソ画像の識別情報とを含んでいる。変化点情報記憶部４９は、変化点検出装置４が検出した特徴物の変化点に関する情報を記憶する。

【0038】

なお、計測データ記憶部４６、オルソ画像記憶部４７、特徴物情報記憶部４８及び変化点情報記憶部４９の少なくとも１つは、インターフェース４１を介して変化点検出装置４と接続されたハードディスクなどの変化点検出装置４の外部の記憶装置に記憶されてもよい。上記の記憶装置は、変化点検出装置４と通信を行うサーバ装置であってもよい。また、上記の記憶装置は、複数の装置から構成されてもよい。

【0039】

コントローラ４５は、ＣＰＵ、ＧＰＵなどのプロセッサ等を含み、変化点検出装置４の全体を制御する。この場合、コントローラ４５は、メモリ４２等に記憶されたプログラムを実行することで、特徴物の変化点検出に関する処理を行う。コントローラ４５は、「第１取得手段」、「第２取得手段」、「合成画像生成手段」、「撮影位置算出手段」、「位置合わせ手段」、「投影手段」、「変化点検出手段」及びプログラムを実行するコンピュータ等として機能する。

【0040】

なお、コントローラ４５が実行する処理は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、コントローラ４５が実行する処理は、例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、コントローラ４５が本実施例において実行するプログラムを実現してもよい。このように、コントローラ４５は、プロセッサ以外のハードウェアにより実現されてもよい。

【0041】

（３）機能ブロック
図３は、本実施例における変化点検出装置４のコントローラ４５の機能的な構成を示すブロック図である。図３に示すように、コントローラ４５は、機能的には、特徴物抽出部５１と、撮影位置算出部５２と、空間位置算出部５３と、オルソ画像生成部５４と、投影部５５と、位置合わせ部５６と、変化点検出部５７と、を有する。

【0042】

図３では、ある走行区間（対象の走行区間）を異なる計測期間（夫々、「第１計測期間」と「第２計測期間」と呼ぶ。）において計測車両が走行及び計測した際に夫々生成された計測データＩｍに基づき、特徴物の変化点検出を行う例について説明する。以後では、第１計測期間において生成された一群の撮影画像を「第１画像群」と呼び、第１画像群及び第１画像群に対応するセンサ情報を「第１データセット」とも呼ぶ。また、第２計測期間において生成された一群の撮影画像を「第２画像群」と呼び、第２画像群及び第２画像群に対応するセンサ情報を「第２データセット」とも呼ぶ。なお、変化点検出装置４は、第１データセットと第２データセットとを同時に処理する必要はなく、先に得られたデータセットに対して先行して処理を行い、生成したオルソ画像及び特徴物情報を、オルソ画像記憶部４７及び特徴物情報記憶部４８に記憶してもよい。

【0043】

特徴物抽出部５１は、第１画像群及び第２画像群の夫々を構成する各撮影画像から、各撮影画像に含まれる特徴物（複数個であってもよい）の抽出を行う。この場合、例えば、特徴物抽出部５１は、画像認識技術を用い、各撮影画像から、特徴物を構成する画素領域を抽出する処理を行う。この場合、特徴物抽出部５１は、パターンマッチングに基づく特徴物の抽出を行ってもよく、入力された画像から当該画像内に存在する特徴物の種類及びその画素領域の情報を出力する推論器を用いて特徴物の抽出を行ってもよい。上記の推論器は、例えば、深層学習などの機械学習に基づく学習モデルであり、特徴物抽出部５１は、事前の機械学習により得られた推論器のパラメータをメモリ４２等から読み出すことで上記の推論器を構成し、当該推論器に撮影画像を入力する。そして、特徴物抽出部５１は、第１画像群及び第２画像群の各撮影画像から抽出した特徴物の画素領域の２次元座標（「特徴物２次元座標」とも呼ぶ。）を、撮影位置算出部５２に供給する。特徴物２次元座標は、抽出された特徴物の画素領域を構成する各画素に対応する撮影画像内の座標を示す。

【0044】

撮影位置算出部５２は、第１画像群及び第２画像群の夫々を構成する各撮影画像の撮影位置及び撮影方向を算出する。この場合、撮影位置算出部５２は、各撮影画像に付加された日時データが示す日時と一致する日時データを含むセンサ情報を参照し、対象の撮影画像の撮影位置及び撮影方向を算出する。ここで、参照したセンサ情報が、計測車両の位置及び進行方向を示す場合には、撮影位置算出部５２は、計測車両に対する（より具体的にはセンサユニット３に対する）カメラ２の相対的な位置及び向きを示すカメラ設置情報をさらに参照することで、対象の撮影画像を撮影したカメラ２の位置及び撮影方向を特定する。撮影位置算出部５２は、上記のカメラ設置情報を、車載機１から計測データＩｍと共に受信してもよく、メモリ４２に予め記憶してもよい。撮影位置算出部５２は、算出した各撮影画像の撮影位置及び撮影方向を示す情報を、空間位置算出部５３に供給する。また、撮影位置算出部５２は、算出した各撮影画像の撮影位置及び撮影方向を示す情報を、対応する撮影画像と共にオルソ画像生成部５４に供給する。

【0045】

空間位置算出部５３は、特徴物抽出部５１が撮影画像から抽出した特徴物毎の特徴物２次元座標と、撮影位置算出部５２が特定した各撮影画像の撮影位置及び撮影方向とに基づき、空間位置である３次元座標を示す各特徴物のモデル（「特徴物モデル」とも呼ぶ。）を算出する。この場合、撮影位置算出部５２は、第１画像群の複数の撮影画像に共通して存在する特徴物に対する特徴物２次元座標から、三角測量を用いたステレオ計測法に基づいて、特徴物の３次元形状を示す点群データである特徴物モデルを算出する。そして、撮影位置算出部５２は、第１画像群を用いて算出した特徴物モデルを、投影部５５に供給する。同様に、撮影位置算出部５２は、第２画像群の複数の撮影画像に共通して存在する特徴物に対する特徴物２次元座標から、三角測量を用いたステレオ計測法に基づいて、特徴物モデルを算出する。そして、撮影位置算出部５２は、第２画像群を用いて算出した特徴物の３次元座標を示す点群データである特徴物モデルを、投影部５５に供給する。

【0046】

オルソ画像生成部５４は、撮影位置算出部５２から供給される一連の画像群を構成する撮影画像と、これらの撮影画像の撮影位置及び撮影方向を示す情報とに基づき、撮影画像の合成画像であるオルソ画像を生成する。この場合、オルソ画像生成部５４は、例えば、三角測量を用いたステレオ計測法に基づき３次元モデリングを行い、生成された３次元モデルに対して正射変換を行うことで、オルソ画像を生成する。上述の３次元モデルは、特徴物の形状を表す点群データであってもよく、特徴物が標識等の平面物体に限定される場合には、特徴物の中心位置と法線ベクトルの組み合わせであってもよい。このようして、オルソ画像生成部５４は、第１画像群に基づきオルソ画像（「第１オルソ画像」とも呼ぶ。）を生成し、第２画像群に基づきオルソ画像（「第２オルソ画像」とも呼ぶ。）を生成する。オルソ画像生成部５４は、第１オルソ画像及び第２オルソ画像を、オルソ画像記憶部４７に記憶する。

【0047】

投影部５５は、空間位置算出部５３が生成した特徴物モデルを、オルソ画像生成部５４が生成したオルソ画像に投影する処理を行うことで、対象の特徴物のオルソ画像上での位置（「投影位置」とも呼ぶ。）を算出する。この場合、投影部５５は、オルソ画像生成部５４がオルソ画像を生成する際に３次元モデルに対して行った正射変換を特徴物モデルに対して同様に適用することで、特徴物毎に投影位置を算出する。そして、投影部５５は、第１データセットに基づく第１オルソ画像及び特徴物モデルから、特徴物の第１オルソ画像上での投影位置（「第１投影位置」と呼ぶ。）を算出する。また、投影部５５は、第２データセットに基づく第２オルソ画像及び特徴物モデルから、特徴物の第２オルソ画像上での投影位置（「第２投影位置」と呼ぶ。）を算出する。投影部５５は、算出した投影位置を示す情報及び対応するオルソ画像の識別情報を、特徴物情報記憶部４８に記憶する。なお、特徴物情報記憶部４８には、特徴物抽出部５１が算出した特徴物２次元座標、又は／及び、空間位置算出部５３が算出した特徴物モデルなどがさらに記憶されてもよい。

【0048】

位置合わせ部５６は、第１オルソ画像と、第２オルソ画像との位置合わせを行う。この場合、例えば、位置合わせ部５６は、第１オルソ画像と第２オルソ画像とを、一方を相対的に平行移動させながら類似度の算出を行い、類似度（マッチ度）が最も高くなる平行移動の量をずれ量として算出する。このずれ量は、第１オルソ画像において基準とされる座標系と、第２オルソ画像において基準とされる座標系とのずれ量に相当する。位置合わせ部５６は、算出したずれ量を変化点検出部５７に供給する。なお、位置合わせ部５６は、第１オルソ画像と第２オルソ画像とを、オルソ画像記憶部４７から抽出してもよく、オルソ画像生成部５４から取得してもよい。

【0049】

好適には、位置合わせ部５６は、第１オルソ画像及び第２オルソ画像に夫々含まれる道路を基準として、第１オルソ画像及び第２オルソ画像の位置合わせを行うとよい。この場合、位置合わせ部５６は、第１オルソ画像及び第２オルソ画像について、道路以外の領域をマスク処理により除外し、マスク処理後の第１オルソ画像及び第２オルソ画像の位置合わせを行う。なお、この場合、位置合わせ部５６は、例えば、任意の画像認識技術を用いて、第１オルソ画像及び第２オルソ画像の各々の道路の領域の抽出を行うことで、第１オルソ画像及び第２オルソ画像の道路以外の領域を認識する。これにより、位置合わせ部５６は、変化に対する信頼度が高い道路部分のみを用いて位置合わせを行うことできる。

【0050】

変化点検出部５７は、投影部５５が算出した特徴物毎の第１投影位置及び第２投影位置と、位置合わせ部５６が算出したずれ量とに基づき、変化点の検出を行う。この場合、変化点検出部５７は、第１投影位置又は第２投影位置に対して位置合わせ部５６が算出したずれ量に基づき、第１投影位置と第２投影位置とを共通座標系での位置を示すように補正する。そして、変化点検出部５７は、補正後の第１投影位置及び第２投影位置を特徴点毎に比較することで、変化点の有無を判定する。そして、変化点検出部５７は、検出した変化点に関する変化点情報を変化点情報記憶部４９に記憶する。この場合、例えば、変化点検出部５７は、対象の特徴物の変化後の投影位置及び当該投影位置の算出に用いた特徴物モデル等を含む変化点情報を生成する。なお、変化点検出部５７は、ある特徴物に対する第１投影位置又は第２投影位置の一方が存在しない場合には、当該特徴物の消失又は新設が発生したと判定し、その判定結果を変化点情報記憶部４９に記憶する。

【0051】

（４）具体例
図３において説明した変化点検出装置４の処理の具体例について、図４及び図５を参照して説明する。

【0052】

図４は、ある道路区間５０の俯瞰図を示す。道路区間５０付近には、特徴物Ａと特徴物Ｂとが存在している。計測車両は、ある日時において、実線の軌跡線「Ｌｔ１」に沿って道路区間５０を走行しながら計測を行うことで、図３に示す第１データセットを生成する。また、計測車両は、その後、破線の軌跡線Ｌｔ２に沿って道路区間５０を再び走行を行い、図３に示す第２データセットを生成する。

【0053】

図５（Ａ）は、第１データセットに基づき生成された第１オルソ画像を示す。図５（Ｂ）は、第２データセットに基づき生成された第２オルソ画像を示す。図５（Ｃ）は、第１オルソ画像と第２オルソ画像との位置合わせを行った後にこれらを重ね合わせた画像である。なお、第１オルソ画像には、特徴物Ａ及び特徴物Ｂの各第１投影位置が明示されており、第２オルソ画像には、特徴物Ａ及び特徴物Ｂの各第２投影位置が明示されている。

【0054】

位置合わせ部５６は、図５（Ａ）に示す第１オルソ画像と図５（Ｂ）に示す第２オルソ画像との少なくとも一方に対して平行移動、拡縮、ロール方向、ピッチ方向、ヨー方向への回転等を行いながら最も一致する相対位置を決定する位置合わせを行う。この場合、図５（Ｃ）に示すように、道路区間５０が一致するように位置合わせが行われている。そして、変化点検出部５７は、この場合、位置合わせにより共通座標系での位置を示すように補正した第１投影位置と第２投影位置とを、特徴物Ａ及び特徴物Ｂの各々に対して比較する。そして、この場合、変化点検出部５７は、特徴物Ａの第１投影位置と第２投影位置とに差異が存在することから、特徴物Ａに変更があったとみなし、特徴物Ａに関する変化点情報を生成する。

【0055】

ここで、第１投影位置と第２投影位置との比較について補足説明する。変化点検出部５７は、例えば、第１投影位置に相当する領域の重心と、第２投影位置に相当する領域の重心とが所定距離以上である場合に、対象の特徴物の位置又は形状の少なくともいずれかが変化したと判定し、当該特徴物に関する変化点情報を生成する。他の例では、変化点検出部５７は、第１投影位置に相当する領域と、第２投影位置に相当する領域との重なり度合が所定割合以下である場合に、対象の特徴物の位置又は形状の少なくともいずれかが変化したと判定し、当該特徴物に関する変化点情報を生成する。

【0056】

（５）処理フロー
図６は、本実施例において変化点検出装置４が実行する変化点検出処理の手順を示すフローチャートの一例である。図６では、変化点検出装置４は、一例として、撮影画像及びセンサ情報の道路区間毎のデータセットに対して順次処理を行うことで、オルソ画像及び投影位置の算出を行う。そして、変化点検出装置４は、同一の道路区間に対応する別のデータセットに基づくオルソ画像及び投影位置が算出済みの場合に、当該道路区間における変化点の有無を判定する。変化点検出装置４は、図６に示すフローチャートの処理を繰り返し実行する。

【0057】

まず、変化点検出装置４は、計測データＩｍの取得及び記憶を行う（ステップＳ１０）。この場合、変化点検出装置４は、車載機１が生成した計測データＩｍを取得し、計測データ記憶部４６に記憶する。その後、変化点検出装置４は、変化点の検出を行う道路区間において生成された撮影画像の画像群と当該撮影画像に対応するセンサ情報との組み合わせに相当するデータセットを、計測データ記憶部４６から抽出する（ステップＳ１１）。

【0058】

次に、変化点検出装置４は、ステップＳ１１で抽出したデータセットに含まれる撮影画像中において特徴物が存在するか否か判定する（ステップＳ１２）。そして、変化点検出装置４は、特徴物が存在すると判定した場合（ステップＳ１２；Ｙｅｓ）、ステップＳ１３へ処理を進める。一方、変化点検出装置４は、特徴物が存在しないと判定した場合（ステップＳ１２；Ｎｏ）、同一区間を対象とするオルソ画像がオルソ画像記憶部４７に記憶されているか否か判定する（ステップＳ２０）。そして、変化点検出装置４は、同一区間を対象とするオルソ画像がオルソ画像記憶部４７に記憶されている場合（ステップＳ２０；Ｙｅｓ）、対象の区間において存在していた特徴物が撤去された可能性があると判定する（ステップＳ２１）。この場合、変化点検出装置４は、Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎなどの手法を用いて、特徴物が他の物体により隠されているか否かのオクルージョン判定を行う。そして、変化点検出装置４は、オクルージョンが発生していないと判定した場合には、対象の特徴物を撤去に関する変化点候補とみなし、当該変化点候補に関する情報の記憶又は他の装置への送信を行う。

【0059】

次に、変化点検出装置４は、ステップＳ１１で抽出したデータセットに含まれる各撮影画像中の特徴物の３次元モデルである特徴物モデルを生成する（ステップＳ１３）。この場合、変化点検出装置４は、複数の撮影画像から抽出した特徴物の画素領域に対応する特徴物２次元座標と、センサ情報から算出されるこれらの撮影画像の撮影位置及び撮影方向とに基づき、特徴物モデルを生成する。

【0060】

また、変化点検出装置４は、オルソ画像を生成する（ステップＳ１４）。この場合、変化点検出装置４は、対象のデータセットの各撮影画像と、センサ情報から特定される各撮影画像の撮影位置及び撮影方向とに基づき、対象の道路区間周辺の３次元モデルを生成する。そして、変化点検出装置４は、生成した３次元モデルに対して正射変換を行うことで、オルソ画像を生成する。さらに、変化点検出装置４は、ステップＳ１４で生成したオルソ画像上での特徴物の投影位置を算出する（ステップＳ１５）。この場合、変化点検出装置４は、ステップＳ１３で生成した特徴物モデルを、ステップＳ１４で生成したオルソ画像に投影する処理を行うことで、上述の投影位置を算出する。

【0061】

次に、変化点検出装置４は、ステップＳ１４で生成したオルソ画像と同一区間のオルソ画像がオルソ画像記憶部４７に記憶されているか否か判定する（ステップＳ１６）。そして、変化点検出装置４は、ステップＳ１４で生成したオルソ画像と同一区間のオルソ画像がオルソ画像記憶部４７に記憶されている場合（ステップＳ１６；Ｙｅｓ）、これらのオルソ画像の位置合わせを行う（ステップＳ１７）。これにより、変化点検出装置４は、比較した各オルソ画像に対応する特徴物の投影位置を共通座標系での位置に補正するためのずれ量を算出する。

【0062】

次に、変化点検出装置４は、ステップＳ１４で生成したオルソ画像と比較したオルソ画像に対応する特徴物の投影位置を、特徴物情報記憶部４８から抽出する。そして、変化点検出装置４は、抽出した特徴物の投影位置と、ステップＳ１５で算出した特徴物の投影位置との少なくとも一方をステップＳ１７での位置合わせに基づき補正し、補正後のこれらの投影位置に基づき変化点の検出を行う（ステップＳ１８）。この場合、変化点検出装置４は、特徴物情報記憶部４８から抽出した特徴物の投影位置と、ステップＳ１５で算出した特徴物の投影位置とを共通座標系において比較することで、変更の有無を判定する。そして、変化点検出装置４は、変更があったと判定した場合には、変更が生じた特徴物等を変化点候補とみなし、変化点候補に関する情報の記憶又は他の装置への送信を行う。また、変化点検出装置４は、ステップＳ１４で生成したオルソ画像と、ステップＳ１５で算出した特徴物の投影位置とを、オルソ画像記憶部４７と特徴物情報記憶部４８に夫々記憶する。

【0063】

一方、変化点検出装置４は、ステップＳ１４で生成したオルソ画像と同一区間のオルソ画像がオルソ画像記憶部４７に記憶されていないと判定した場合（ステップＳ１６；Ｎｏ）、ステップＳ１４で生成したオルソ画像と、ステップＳ１５で算出した特徴物の投影位置とを、オルソ画像記憶部４７と特徴物情報記憶部４８に夫々記憶する（ステップＳ１９）。また、この場合、変化点検出装置４は、特徴物が新規に設置された可能性があると判定し、対象の特徴物を新規設置に関する変化点候補とみなし、当該変化点候補に関する情報の記憶又は他の装置への送信を行う。なお、ステップＳ１９においてオルソ画像記憶部４７と特徴物情報記憶部４８に記憶されたデータは、以後に同一道路区間を対象とするデータセットを用いて実行される本フローチャートのステップＳ１７及びステップＳ１８において使用される。

【0064】

このように、変化点検出装置４は、計測車両により撮影された撮影画像を合成したオルソ画像上での特徴物の比較により、好適に変化点を検出することができる。これにより、変化点検出装置４は、リアルタイムに動作する特徴点ベースの単眼ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）が精度よく機能しないような特徴物が少ないエリアにおいても、的確に変化点を検出することができる。

【0065】

（６）変形例
図３において説明した特徴物抽出部５１、撮影位置算出部５２、空間位置算出部５３、オルソ画像生成部５４及び投影部５５の各処理を、変化点検出装置４とは別装置が実行してもよい。例えば、車載機１は、特徴物抽出部５１、撮影位置算出部５２、空間位置算出部５３、オルソ画像生成部５４及び投影部５５に相当する機能を有してもよい。この場合、例えば、車載機１は、道路区間毎の撮影画像及びセンサ情報のデータセットに基づきオルソ画像及び特徴物の投影位置の算出を行い、算出したオルソ画像及び特徴物情報を、変化点検出装置４に送信する。変化点検出装置４は、車載機１から受信するオルソ画像をオルソ画像記憶部４７に記憶し、かつ、車載機１から受信する特徴物情報を特徴物情報記憶部４８に記憶する。そして、変化点検出装置４は、所定のタイミングにおいて、同一道路区間を対象とする２組のオルソ画像及び特徴物情報を用い、位置合わせ部５６による位置合わせ及び変化点検出部５７による変化点検出を実行する。

【0066】

図７は、本変形例において変化点検出装置４が実行する変化点検出処理の手順を示すフローチャートの一例である。変化点検出装置４は、図７に示すフローチャートの処理を、同一道路区間を対象とする２組のオルソ画像及び特徴物情報が存在する場合に実行する。

【0067】

まず、変化点検出装置４は、同一道路区間を対象とする、第１オルソ画像及び第１投影位置と、第２オルソ画像及び第２投影位置とを取得する（ステップＳ３１）。この場合、例えば、変化点検出装置４は、これらの情報を、オルソ画像記憶部４７及び特徴物情報記憶部４８から抽出してもよく、車載機１から受信してもよい。

【0068】

次に、変化点検出装置４の位置合わせ部５６は、第１オルソ画像及び第２オルソ画像の位置合わせを行う（ステップＳ３２）。そして、変化点検出装置４の変化点検出部５７は、ステップＳ３２での位置合わせにより少なくとも一方を補正した第１投影位置及び第２投影位置に基づき、変化点の検出を行う（ステップＳ３３）。

【0069】

このように、本変形例においても、変化点検出装置４は、計測車両により撮影された撮影画像を合成したオルソ画像上での特徴物の投影位置の比較により、好適に変化点を検出することができる。

【0070】

以上説明したように、本実施例に係る変化点検出装置４は、第１取得手段と、第２取得手段と、位置合わせ手段と、変化点検出手段とを有する。第１取得手段は、第１画像群に基づき生成された第１オルソ画像と、第１画像群の少なくも１つの画像に含まれる特徴物を第１オルソ画像上に投影したときの第１投影位置とを取得する。第２取得手段は、第１画像群と異なる期間に撮影された第２画像群に基づき生成された第２オルソ画像と、第２画像群の少なくも１つの画像に含まれる特徴物を第２オルソ画像上に投影したときの第２投影位置とを取得する。位置合わせ手段は、第１オルソ画像と前記第２オルソ画像の位置合わせを行う。変化点検出手段は、位置合わせにより少なくとも一方を補正した第１投影位置と第２投影位置とに基づき、特徴物に関する変化点を検出する。これにより、変化点検出装置４は、変化点を好適に検出することができる。

【0071】

なお、上述した実施例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるコントローラ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。

【0072】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

【符号の説明】

【0073】

１ 車載機
２ カメラ
３ センサユニット
４ 変化点検出装置
１６ 撮影画像記憶部
１７ センサ情報記憶部
４６ 計測データ記憶部
４７ オルソ画像記憶部
４８ 特徴物情報記憶部
４９ 変化点情報記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】