IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社エヌ・ティ・ティ・データの特許一覧

特許7591908座標変換システム、座標変換方法及びプログラム
<>
  • 特許-座標変換システム、座標変換方法及びプログラム 図1
  • 特許-座標変換システム、座標変換方法及びプログラム 図2
  • 特許-座標変換システム、座標変換方法及びプログラム 図3
  • 特許-座標変換システム、座標変換方法及びプログラム 図4
  • 特許-座標変換システム、座標変換方法及びプログラム 図5
  • 特許-座標変換システム、座標変換方法及びプログラム 図6
  • 特許-座標変換システム、座標変換方法及びプログラム 図7
  • 特許-座標変換システム、座標変換方法及びプログラム 図8
  • 特許-座標変換システム、座標変換方法及びプログラム 図9
  • 特許-座標変換システム、座標変換方法及びプログラム 図10
  • 特許-座標変換システム、座標変換方法及びプログラム 図11
  • 特許-座標変換システム、座標変換方法及びプログラム 図12
  • 特許-座標変換システム、座標変換方法及びプログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-21
(45)【発行日】2024-11-29
(54)【発明の名称】座標変換システム、座標変換方法及びプログラム
(51)【国際特許分類】
   G01C 21/26 20060101AFI20241122BHJP
   G06T 7/20 20170101ALI20241122BHJP
【FI】
G01C21/26 B
G06T7/20 100
【請求項の数】 6
(21)【出願番号】P 2020192745
(22)【出願日】2020-11-19
(65)【公開番号】P2022081296
(43)【公開日】2022-05-31
【審査請求日】2023-10-16
(73)【特許権者】
【識別番号】000102728
【氏名又は名称】株式会社NTTデータグループ
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】西村 拓哉
【審査官】西畑 智道
(56)【参考文献】
【文献】特開2020-067439(JP,A)
【文献】特表2018-517979(JP,A)
【文献】特開2020-153956(JP,A)
【文献】特開2018-124787(JP,A)
【文献】特開2011-043419(JP,A)
【文献】特表2013-537995(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00-99/00
G01C 21/00-21/36
G01C 23/00-25/00
G06T 7/20
(57)【特許請求の範囲】
【請求項1】
GPS(Global Positioning System)により計測した移動体の時系列な移動位置の各々を用いて、実距離の第1座標系における第1移動軌跡を生成する第1移動軌跡生成部と、
移動する風景を撮像した時系列な撮像画像の各々を用いて、前記移動体の相対的な位置の変化を示す第2座標系における第2移動軌跡を生成する第2移動軌跡生成部と、
前記第2移動軌跡を所定の幅に分割して分割第2移動軌跡の各々を生成する第2移動軌跡分割部と、
前記第1移動軌跡の座標点のそれぞれとの距離の合計値が最小または距離の二乗の合計値が最小となる第1座標系における位置に、前記第1移動軌跡の座標点の識別番号と同一の識別番号を有する前記分割第2移動軌跡における座標点を線形変換させる変換行列を生成する変換行列生成部と、
前記変換行列により前記分割第2移動軌跡の各々を、第1座標系における前記第1移動軌跡の対応する部分に合わせて線形座標変換を行い、前記移動体の移動の軌跡を推定した推定移動軌跡を生成する座標変換部と、
を備えることを特徴とする座標変換システム。
【請求項2】
前記分割第2移動軌跡の各々を、第1座標系における前記第1移動軌跡の部分に対応して座標変換する変換行列を補正する変換行列補正部をさらに備え、
前記座標変換部が、
前記分割第2移動軌跡の各々を、前記第2座標系から前記第1座標系における前記第1移動軌跡に対応して線形変換する前記変換行列を生成し、
前記変換行列補正部が、隣接する分割第2移動軌跡の各々の前記変換行列における要素それぞれの変化量を低減する補正を行い、
前記座標変換部が、
前記変換行列補正部が補正した前記変換行列を用いて、前記分割第2移動軌跡の座標変換を行い、前記推定移動軌跡を生成する
ことを特徴とする請求項1に記載の座標変換システム。
【請求項3】
前記変換行列補正部が、
隣接する分割第2移動軌跡の各々の前記変換行列における要素のそれぞれを、より変化量が低減された数値とする関数をガウス過程により求め、前記変換行列の前記要素を当該関数により算出する
ことを特徴とする請求項2に記載の座標変換システム。
【請求項4】
前記変換行列補正部が、
隣接する分割第2移動軌跡の各々の前記変換行列における要素を、連続する前記分割第2移動軌跡それぞれの当該変換行列の元々の要素を用いてカルマンフィルタにより推定した数値にとする
ことを特徴とする請求項2に記載の座標変換システム。
【請求項5】
第1移動軌跡生成部が、GPS(Global Positioning System)により計測した移動体の時系列な移動位置の各々を用いて、実距離の第1座標系における第1移動軌跡を生成する第1移動軌跡生成過程と、
第2移動軌跡生成部が、移動する風景を撮像した時系列な撮像画像の各々を用いて、前記移動体の相対的な位置の変化を示す第2座標系における第2移動軌跡を生成する第2移動軌跡生成過程と、
第2移動軌跡分割部が、前記第2移動軌跡を所定の幅に分割して分割第2移動軌跡の各々を生成する第2移動軌跡分割過程と、
変換行列生成部が、前記第1移動軌跡の座標点のそれぞれとの距離の合計値が最小または距離の二乗の合計値が最小となる第1座標系における位置に、前記第1移動軌跡の座標点の識別番号と同一の識別番号を有する前記分割第2移動軌跡における座標点を線形変換させる変換行列を生成する変換行列生成過程と、
座標変換部が、前記変換行列により前記分割第2移動軌跡の各々を、第1座標系における前記第1移動軌跡の対応する部分に合わせて線形座標変換を行い、前記移動体の移動の軌跡を推定した推定移動軌跡を生成する座標変換過程と、
を含むことを特徴とする座標変換方法。
【請求項6】
コンピュータを、
GPS(Global Positioning System)により計測した移動体の時系列な移動位置の各々を用いて、実距離の第1座標系における第1移動軌跡を生成する第1移動軌跡生成手段、
移動する風景を撮像した時系列な撮像画像の各々を用いて、前記移動体の相対的な位置の変化を示す第2座標系における第2移動軌跡を生成する第2移動軌跡生成手段、
前記第2移動軌跡を所定の幅に分割して分割第2移動軌跡の各々を生成する第2移動軌跡分割手段、
前記第1移動軌跡の座標点のそれぞれとの距離の合計値が最小または距離の二乗の合計値が最小となる第1座標系における位置に、前記第1移動軌跡の座標点の識別番号と同一の識別番号を有する前記分割第2移動軌跡における座標点を線形変換させる変換行列を生成する変換行列生成手段、
前記変換行列により前記分割第2移動軌跡の各々を、第1座標系における前記第1移動軌跡の対応する部分に合わせて線形座標変換を行い、前記移動体の移動の軌跡を推定した推定移動軌跡を生成する座標変換手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、座標変換システム、座標変換方法及びプログラム関する。
【背景技術】
【0002】
移動する移動体の位置を推定する方法としては、GPS(Global Positioning System)を用いる方法と、撮像装置により撮像した動画像を用いる方法とがある。
GPSを用いる方法は、直接的に所定の周期における位置を検出して、検出結果として得た時系列の移動の軌跡を、絶対な座標(例えば、緯度軽度)を示す第1座標系、絶対座標系である第1座標系における第1移動軌跡として生成する(例えば、特許文献1)。
また、動画像を用いる方法は、例えばSLAM(Simultaneous Localization and Mapping)のように、動画像における画像間の被写体の大きさ変化や位置変化により、所定の周期毎の相対的な移動位置を示し、この移動位置を連結して得られる移動の軌跡を、相対的な位置変化を示す座標系である第2座標系における第1移動軌跡(相対的な変化位置に対応した移動軌跡)を生成する(例えば、特許文献2)。
【0003】
しかし、GPSで得られる位置座標は、実際の移動体の位置に対して数メートル程度の誤差があるため、図10に示すように、移動軌跡300T(以下、第1移動軌跡)における位置座標に誤差がノイズとして重畳するため、正確な移動軌跡が得られない問題がある。
また、SLAMで求められる移動軌跡400T(以下、第2移動軌跡)は、図11で示すように、GPSで得られた移動軌跡300Tとは異なり、ノイズは少ない形状として求められるが、独自の座標系(以下、ローカル座標系)における相対的な位置変化を示す情報として示されているため、実際の距離に対応した移動軌跡を得ることができない。
【0004】
そのため、従来においては、第2座標系における第2移動軌跡を、第1座標系(世界座標系)における第1移動軌跡に対応させて、第1座標系(世界座標系)に対して線形的な座標変換(線形変換行列による線形座標変換、以下、単に座標変換と示す場合もある)を行うことで、最終的に移動体の移動軌跡としている。
ここで、座標変換を行うための上記線形変換行列は、例えば、Umeyama法(例えば、非特許文献1参照)が用いられている。
これにより、図12に示すように、図10のGPSによる移動軌跡に比較し、実際の移動軌跡に対応した滑らかな形状の移動軌跡400T’を得ることができる。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2017-156154号公報
【文献】特開2020-67439号公報
【非特許文献】
【0006】
【文献】’A Purely Algebraic Justification of the Kabsch-Umeyama Algorithm’、Volume 124, Article No. 124028 (2019) https://doi.org/10.6028/jres.124.028 Journal of Research of the National Institute of Standards and Technology
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述したように、従来の方法においては、図10のGPSで求めた第1移動軌跡(300T)に合わせて、SLAMで用いた図11の第2移動軌跡(400T)の線形変換(例えば上記Umeyama法)を行った場合、GPSの場合のようにノイズの影響は無くなる。
しかしながら、SLAMで生成した第2移動軌跡には、軌跡の周囲のスケールが徐々に大きくなる、あるいは小さくなるスケールドリフトの影響が反映される。
このため、図13に示すように、実際の軌跡(移動軌跡501T)に対して、SLAMのスケールドリフトの影響により、線形変換結果の第2移動軌跡(400T’)における移動における距離間隔が実際と異なってしまう。
【0008】
本発明は、このような状況に鑑みてなされたもので、GPSにより生成される、ノイズを含む移動位置からなる歪んだ第1移動軌跡から、従来例に比較してより実際に移動した軌跡に近い形状の推定移動軌跡を生成することができる座標変換システム、座標変換方法及びプログラムを提供する。
【課題を解決するための手段】
【0009】
本発明の座標変換システムは、GPS(Global Positioning System)により計測した移動体の時系列な移動位置の各々を用いて、実距離の第1座標系における第1移動軌跡を生成する第1移動軌跡生成部と、移動する風景を撮像した時系列な撮像画像の各々を用いて、前記移動体の相対的な位置の変化を示す第2座標系における第2移動軌跡を生成する第2移動軌跡生成部と、前記第2移動軌跡を所定の幅に分割して分割第2移動軌跡の各々を生成する第2移動軌跡分割部と、前記分割第2移動軌跡の各々を、第1座標系における前記第1移動軌跡の対応する部分に合わせて線形座標変換を行い、前記移動体の移動の軌跡を推定した推定移動軌跡を生成する座標変換部とを備えることを特徴とする。
【0010】
本発明の座標変換システムは、前記分割第2移動軌跡の各々を、第1座標系における前記第1移動軌跡の部分に対応して座標変換する変換行列を補正する変換行列補正部をさらに備え、前記座標変換部が、前記分割第2移動軌跡の各々を、前記第2座標系から前記第1座標系における前記第1移動軌跡に対応して線形変換する前記変換行列を生成し、前記変換行列補正部が、隣接する分割第2移動軌跡の各々の前記変換行列における要素それぞれの変化量を低減する補正を行い、前記座標変換部が、前記変換行列補正部が補正した前記変換行列を用いて、前記分割第2移動軌跡の座標変換を行い、前記推定移動軌跡を生成することを特徴とする。
【0011】
本発明の座標変換システムは、前記座標変換部が、隣接する分割第2移動軌跡の各々の前記変換行列における要素のそれぞれを、より変化量が低減された数値とする関数をガウス過程により求め、前記変換行列の前記要素を当該関数により算出することを特徴とする。
【0012】
本発明の座標変換システムは、前記座標変換部が、隣接する分割第2移動軌跡の各々の前記変換行列における要素を、連続する前記分割第2移動軌跡それぞれの当該変換行列の元々の要素を用いてカルマンフィルタにより推定した数値にとすることを特徴とする。
【0013】
本発明の座標変換方法は、第1移動軌跡生成部が、GPS(Global Positioning System)により計測した移動体の時系列な移動位置の各々を用いて、実距離の第1座標系における第1移動軌跡を生成する第1移動軌跡生成過程と、第2移動軌跡生成部が、移動する風景を撮像した時系列な撮像画像の各々を用いて、前記移動体の相対的な位置の変化を示す第2座標系における第2移動軌跡を生成する第2移動軌跡生成過程と、第2移動軌跡分割部が、前記第2移動軌跡を所定の幅に分割して分割第2移動軌跡の各々を生成する第2移動軌跡分割過程と、座標変換部が、前記分割第2移動軌跡の各々を、第1座標系における前記第1移動軌跡の対応する部分に合わせて線形座標変換を行い、前記移動体の移動の軌跡を推定した推定移動軌跡を生成する座標変換過程とを含むことを特徴とする。
【0014】
本発明のプログラムは、コンピュータを、GPS(Global Positioning System)により計測した移動体の時系列な移動位置の各々を用いて、実距離の第1座標系における第1移動軌跡を生成する第1移動軌跡生成手段、移動する風景を撮像した時系列な撮像画像の各々を用いて、前記移動体の相対的な位置の変化を示す第2座標系における第2移動軌跡を生成する第2移動軌跡生成手段、前記第2移動軌跡を所定の幅に分割して分割第2移動軌跡の各々を生成する第2移動軌跡分割手段、前記分割第2移動軌跡の各々を、第1座標系における前記第1移動軌跡の対応する部分に合わせて線形座標変換を行い、前記移動体の移動の軌跡を推定した推定移動軌跡を生成する座標変換手段として機能させるプログラムである。
【発明の効果】
【0015】
以上説明したように、本発明によれば、GPSにより生成される、ノイズを含む移動位置からなる歪んだ第1移動軌跡から、従来例に比較してより実際に移動した軌跡に近い形状の推定移動軌跡を生成することができる座標変換システム、座標変換方法及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【0016】
図1】本発明の第1の実施形態による座標変換システムの構成例を示すブロック図である。
図2】第1移動軌跡生成部102が生成する第1移動軌跡の曲線データの一例を示す図である。
図3】第2移動軌跡生成部103が生成する第2移動軌跡の曲線データの一例を示す図である。
図4】分割第2移動軌跡に含まれるID番号の各々の座標点と、当該分割第2移動軌跡に対応する変換行列との関係を示す図である。
図5】第1の実施形態における座標変換システムによる第2座標系における座標点を第1座標系に対して線形座標変換を行う処理の動作を示すフローチャートである。
図6】本発明の第2の実施形態による座標変換システムの構成例を示すブロック図である。
図7】隣接する分割第2移動軌跡に対応する変換行列の各々を、ガウス過程を用いて滑らかにする処理を説明する図である。
図8】第2の実施形態における座標変換システムによる第2座標系における座標点を第1座標系に対して線形座標変換を行う処理の動作を示すフローチャートである。
図9】実測した移動軌跡と本実施形態の座標変換システムで生成した推定移動軌跡との対応を示す図である。
図10】移動体に搭載されたGPS装置によるGPSデータの緯度経度により生成された第1移動軌跡の一例を示す図である。
図11】移動体に搭載された撮像装置が撮像した撮像画像データにより生成された第2移動軌跡の一例を示す図である。
図12】第2座標系における第2移動軌跡をUmeyama法を用いて第1座標系に線形変換した例を示す図である。
図13】実測された移動位置から生成された移動軌跡と、図12に示した線形変換後の第2移動軌跡との形状を比較する図である。
【発明を実施するための形態】
【0017】
<第1の実施形態>
以下、本発明の第1の実施形態による座標変換システムの構成例について、図面を参照して説明する。図1は、本発明の第1の実施形態による座標変換システムの構成例を示すブロック図である。図1において、座標変換システム100は、データ入出力部101、第1移動軌跡生成部102、第2移動軌跡生成部103、第2移動軌跡分割部104、変換行列生成部105、座標変換部106、表示部107、GPSデータ記憶部108、撮像画像データ記憶部109、移動軌跡データ記憶部110及び変換行列記憶部111の各々を備えている。
【0018】
データ入出力部101は、GPSにより取得された、GPS装置が搭載された移動体の移動に対応した時系列の位置データ(緯度経度における位置を示すデータであり、以降、GPSデータと示す)と、上記移動体に搭載された撮像装置により撮像された、移動体の周囲の風景を撮像した撮像画像のデータ(以降、撮像画像データと示す)との各々を、それぞれGPS装置(不図示)、撮像装置(不図示)それぞれから入力する。
また、データ入出力部101は、入力されるGPSデータをGPSデータ記憶部108に対して、ID(identification)番号(識別情報の一例)を付与して、当該ID番号とともに時系列に書き込んで記憶させる。
【0019】
同様に、データ入出力部101は、入力される撮像画像データを撮像画像データ記憶部109に対して、ID番号を付与して、当該ID番号とともに時系列に書き込んで記憶させる。
ここで、GPS装置及び撮像装置の各々が、GPSデータ、撮像画像データそれぞれを取得するタイミングは、データ入出力部101により同期制御されている。
このため、GPSデータに付与されるID番号と撮像画像データに付与されるID番号とは、同一の番号である。
【0020】
第1移動軌跡生成部102は、GPSデータをGPSデータ記憶部108から読出し、3次元座標系(例えば、緯度、経度及び高度の絶対座標系(第1座標系))に対して配置し、ID番号の順番に接続することにより、第1移動軌跡の曲線データを生成する。
そして、第1移動軌跡生成部102は、生成した第1移動軌跡の曲線データを移動軌跡データ記憶部110に対して書き込んで記憶させる。
図2は、第1移動軌跡生成部102が生成する第1移動軌跡の曲線データの一例を示す図である。図2において、ID番号に対応した、GPSデータの示す座標点201Pが、絶対座標系である緯度、経度及び高度からなる3次元座標系上に配置され、座標点201Pの各々が、ID番号の順番に線分201Lにより接続されている。
【0021】
図1に戻り、第2移動軌跡生成部103は、撮像画像データを撮像画像データ記憶部108から読出し、ID番号の順番において撮像画像から前の位置からの相対的な位置変化量を求め(例えば、SLAMの手法を用いて求め)、3次元(例えば、x軸、y軸及びz軸、x軸及びy軸が地表面を形成する軸であり、z軸が高さ方向を示す軸)の相対座標系(第2座標系)に対して配置し、ID番号の順番に接続することにより、第2移動軌跡の曲線データを生成する。
そして、第2移動軌跡生成部103は、生成した第2移動軌跡の曲線データを、移動軌跡データ記憶部110に対して書き込んで記憶させる。
【0022】
図3は、第2移動軌跡生成部103が生成する第2移動軌跡の曲線データの一例を示す図である。図3において、ID番号に対応した、撮像画像データ301から生成された移動位置を示す座標点302Pが、相対位置を示す相対座標系である3次元座標系(第2座標系)上に配置され、座標点302Pの各々が、ID番号の順番に線分302Lにより接続されている。
また、枠303、304及び305の各々は、第2移動軌跡を複数の移動位置単位(図3においては5個単位)で分割(分離)して分割第2移動軌跡(後述)を生成するための分割対象の移動位置を選択する枠である。
【0023】
図1に戻り、第2移動軌跡分割部104は、第2移動軌跡生成部103が生成した第2移動軌跡を、複数の移動位置単位(図3における枠により選択される移動位置群)で分割することにより、上記分割第2移動軌跡を生成する。上記移動位置単位のグループにおける移動位置の個数は、ユーザが任意に設定することができる。ここで、グループにおける移動位置の個数を変化させ、最終的に生成される推定移動軌跡(後述)が実際の移動軌跡に最も近くなる移動位置の個数をシミュレーションにより、求めて、この個数をディフォルト値として用いる構成としてもよい。
【0024】
変換行列生成部105は、分割第2移動軌跡に含まれるID番号の各々の座標点の座標値(以下、単に座標点として示す)が、第1移動軌跡における当該分割第2移動軌跡と同一のID番号の座標点それぞれに対応する位置に線形座標変換を行う線形変換行列(以下、単に変換行列と示す)を生成する。
このとき、変換行列生成部105は、分割第2移動軌跡における座標点と、第1移動軌跡における座標点とにおいて、同一のID番号の座標点間の距離、すなわち誤差(また、Umeyama法を用いた場合には誤差の二乗)の合計が最小となる位置に線形座標変換を行う変換行列を生成する。すなわち、この変換行列は、分割第2移動軌跡における座標点を第2座標系から、第1座標系の座標値に線形座標変換を行う行列である。
そして、変換行列生成部105は、生成した変換行列を変換行列記憶部111に対して書き込んで記憶させる。
【0025】
図4は、分割第2移動軌跡に含まれるID番号の各々の座標点と、当該分割第2移動軌跡に対応する変換行列との関係を示す図である。
変換行列M1は、ID番号がID1からID5までの座標値を含む分割第2移動軌跡(例えば、図3における枠303で分割された座標点から成る移動軌跡)を、当該ID番号がID1からID5の座標値の各々が、第1移動軌跡のID番号がID1からID5それぞれに対応して線形座標変換を行う変換行列である。
【0026】
同様に、変換行列M2は、ID番号がID2からID6までの座標値を含む分割第2移動軌跡(例えば、図3における枠304で分割された座標点から成る移動軌跡)を、当該ID番号がID2からID6の座標値の各々が、第1移動軌跡のID番号がID2からID6それぞれに対応して線形座標変換を行う変換行列である。
他の、変換行列M3からM5の各々も、上述した変換行列M1及びM2の各々と同様である。
本実施形態においては、ID番号を一つずつ進行方向にシフトさせて、分割第2移動軌跡の各々を生成するため、それぞれの分割第2移動軌跡に含まれる移動位置は、当該分割第2移動軌跡の前後の分割第2移動軌跡と重複している。
【0027】
そして、座標変換部106は、第2移動軌跡における第2座標系における座標点を、第1移動軌跡に対応させて第1座標系における座標点に線形変換を行い、推定移動軌跡を生成する。
このとき、座標変換部106は、第2座標系における座標点の各々の線形座標変換に用いる変換行列の選択を行う。
例えば、座標変換部106は、第2座標系における座標変換対象の座標点が中央にある分割第2移動軌跡に対応した変換行列を変換行列記憶部111から読出し、当該変換行列を用いて座標点の第2座標系から第1座標系への線形座標変換を行う。図4を例とした場合、座標変換部106は、第2移動軌跡におけるID5の座標点を、第2座標系から第1座標系に線形座標変換を行う際に、変換行列M3を変換行列記憶部111から読出して使用する。
【0028】
また、座標変換部106は、第2座標系における座標変換対象の座標点が含まれる分割第2移動軌跡に対応する変換行列の全てを変換行列記憶部111から読出し、変換行列における、同一の行及び列の位置の成分である要素のそれぞれの平均値を求めて、平均値を新たな要素とした平均変換行列を新たに生成し、座標変換対象の座標点の線形座標変換を行う構成としてもよい。
【0029】
さらに、平均値を単に求めるだけでなく、対象の座標点が分割第2移動軌跡の何れの位置にあるかにより、それぞれの変換行列の要素の重み付けを持たせた(重み係数を付加した)加重平均により平均値を求める構成としてもよい。例えば、対象の座標点が中央にある分割第2移動軌跡に対応する行列の要素の重み係数を、対象の座標点が中央より外れた位置にある分割第2移動軌跡に対応する行列の要素の重み係数より大きく設定する。
図5に示す変換行列の場合、第2座標系におけるID番号がID5の座標点に対しては、変換行列M3の要素の重み係数を最も大きくし、変換行列M2及びM4の重み係数を変換行列M3の重み係数に比較してより小さく、変換行列M1及びM5の重み係数を変換行列M2及びM4の重み係数に比較してより小さく設定する。
【0030】
図5は、第1の実施形態における座標変換システムによる第2座標系における座標点を第1座標系に対して線形座標変換を行う処理の動作を示すフローチャートである。
ステップS101:データ入出力部101は、GPS装置から供給されるGPSデータをGPSデータ記憶部108に、付与したID番号とともに時系列に書き込んで記憶させる。
【0031】
ステップS102:また、データ入出力部101は、GPSデータを取得したタイミングと同一のタイミングで撮像装置により撮像された撮像画像データを、同一のタイミングで供給されたGPSデータと同一のID番号を付与し、時系列に撮像画像データ記憶部109に書き込んで記憶させる。
【0032】
ステップS103:第1移動軌跡生成部102は、GPSデータ記憶部108から時系列に(例えば、ID番号の順番に)GPSデータを読み込み、それぞれを第1座標系に配置して、座標点の各々をそれぞれのID番号の順番に線分で連結して、第1移動軌跡の曲線データを生成する。
そして、第1移動軌跡生成部102は、生成した第1移動軌跡の曲線データを移動軌跡データ記憶部110に書き込んで記憶させる。
【0033】
ステップS104:第2移動軌跡生成部103は、撮像画像データ記憶部109から時系列に(ID番号の順番に)撮像画像データを読み込み、それぞれの始点からの相対位置としての移動位置を座標値として第2座標系に配置する。
そして、第2移動軌跡生成部103は、第2座標系に配置された座標値をID番号の順番に線分で連結し、第2移動軌跡の曲線データを生成する。
そして、第2移動軌跡生成部103は、生成した第2移動軌跡の曲線データを移動軌跡データ記憶部110に書き込んで記憶させる。
【0034】
ステップS105:第2移動軌跡分割部104は、移動軌跡データ記憶部110から第2移動軌跡の曲線データを読み出す。
そして、第2移動軌跡分割部104は、所定の数の移動位置の座標を含む分割第2移動軌跡それぞれに、移動位置を時系列に一個ずつ移動軌跡の分割を行なう枠をシフトさせて第2移動軌跡を分割する(図3及び図4)。
第2移動軌跡分割部104は、第2移動軌跡を分割して生成した分割第2移動軌跡の各々を、移動軌跡データ記憶部110に書き込んで記憶させる。
【0035】
ステップS106:変換行列生成部105は、移動軌跡データ記憶部110から第1移動軌跡の曲線データを読み出す。
【0036】
ステップS107:変換行列生成部105は、移動軌跡データ記憶部110から分割第2移動軌跡のデータを読み出す。
そして、変換行列生成部105は、分割第2移動軌跡に含まれる座標値の各々を、第1座標系における第1移動軌跡における同一のID番号の座標値それぞれに対応して、当該同一のID番号を有する座標値の各々の間の距離が最も近くなるように、第2座標系から第1座標系に線形座標変換させる変換行列を生成する。
変換行列生成部105は、生成した変換行列を、当該変換行列に対応する分割第2移動軌跡に含まれる座標値のID番号の組に対応させて、変換行列とID番号の組とを変換行列記憶部111に書き込んで記憶させる。
【0037】
ステップS108:変換行列生成部105は、第2移動軌跡を分割した分割第2移動軌跡の全てに対応する変換行列を生成したか否か、すなわち変換行列を生成していない分割第2移動軌跡の有無を検出する。
このとき、変換行列生成部105は、第2移動軌跡を分割した分割第2移動軌跡の全てに対応する変換行列を生成した場合、処理をステップS109へ進める。
一方、変換行列生成部105は、第2移動軌跡を分割した分割第2移動軌跡の全てに対応する変換行列を生成していない場合、処理をステップS107へ進める。
【0038】
ステップS109:座標変換部106は、第2座標系の第2移動軌跡における座標点をID番号とともに、移動軌跡データ記憶部110から読み出す。
次に、座標変換部106は、例えば、変換行列記憶部111から処理対象の座標点のID番号が含まれるすべての分割第2移動軌跡に対応した変換行列の各々を、変換行列記憶部111が読み出す。
そして、座標変換部106は、読み出した変換行列における同一の列及び行の各々の要素の平均値を算出し、この平均値を要素とする平均変換行列を求め、第2座標系における座標点を第1座標系に変換する変換行列の準備を行う。
【0039】
ステップS110:座標変換部106は、第2の座標系の第2移動軌跡における座標点を、第1座標系の座標点に変換する座標変換を行う。
座標変換部106は、第2座標系の座標点から第1座標系に座標変換した座標点を、ID番号ととともに移動軌跡データ記憶部110に書き込んで記憶させる。
【0040】
ステップS111:座標変換部106は、第2移動軌跡における全ての座標点を第1座標系に座標変換したか否か、すなわち座標変換を行っていない第2移動軌跡の有無を検出する。
このとき、座標変換部106は、第2移動軌跡における全ての座標点を第1座標系に座標変換した場合、処理をステップS112へ進める。
一方、座標変換部106は、第2移動軌跡における全ての座標点を第1座標系に座標変換していない場合、処理をステップS109へ進める。
【0041】
ステップS112:座標変換部106は、移動軌跡データ記憶部110から第1座標系への座標変換が終了した第2移動軌跡における座標点(すなわち、座標値)を読出し、第2座標系の対応する座標値に配置する。
そして、座標変換部106は、第1座標系に配置された座標点の各々を、ID番号の順番に連結し、推定移動軌跡の曲線データを生成する。
座標変換部106は、生成した推定移動軌跡の曲線データを、移動軌跡データ記憶部110に対して書き込んで記憶させる。
また、座標変換部106は、生成した推定移動軌跡の曲線データを表示部107の表示画面に対して表示する構成としてもよい(後述する図9に示す表示画面のように)。
【0042】
上述した座標変換システムは、第2座標系における撮像画像データから生成した第2移動軌跡を、所定の数の座標点から構成される分割第2移動軌跡に分割し、当該分割第2移動軌跡における座標点の各々と、GPSデータにより生成した第1移動軌跡の同一のID番号を有する座標点のそれぞれとの距離(あるいは距離の二乗)の合計値が最小となる第1座標系における位置に、分割第2移動軌跡における座標点を線形変換させる変換行列を生成し、この変換行列により分割第2移動軌跡を第2変換行列から第1変換行列に座標変換することにより、第1移動軌跡の有するGPSデータの絶対位置の情報により、第2移動軌跡のスケールドリフトの影響が分割第2移動軌跡に分割した各々において解消し、かつ第2移動軌跡が有する局所的に正しい移動軌跡の変化形状の情報が反映されて第1移動軌跡におけるノイズが平滑化され、GPSによるノイズを含む歪んだ形状が整形され、絶対位置の情報及び相対的な変化形状との双方を有する(すなわち、絶対位置を有した相対的な移動変化が滑らかな形状として)、移動体の推定移動軌跡を得ることができる。
【0043】
<第2の実施形態>
以下、本発明の第2の実施形態による座標変換システムの構成例について、図面を参照して説明する。図6は、本発明の第2の実施形態による座標変換システムの構成例を示すブロック図である。図6において、座標変換システム100Aは、データ入出力部101、第1移動軌跡生成部102、第2移動軌跡生成部103、第2移動軌跡分割部104、変換行列生成部105、座標変換部106、表示部107、GPSデータ記憶部108、撮像画像データ記憶部109、移動軌跡データ記憶部110、変換行列記憶部111及び変換行列補正部112の各々を備えている。図6に示す座標変換システム100Aは、図1に示す第1の実施形態における構成と同様の構成に対し、同一の符号を付してある。
以下、第1の実施形態と異なる構成及び動作について説明する。
【0044】
変換行列補正部112は、変換行列生成部105が生成した変換行列の各々における要素を補正して、補正変換行列を生成する。
ここで、変換行列補正部112は、変換行列生成部105が生成した変換行列の集合(M1,M2,M3,M4,M5,…,Mn)において、隣接する分割第2移動軌跡の各々の間で、同一の列及び行の位置にある要素のそれぞれの行列間における変化量を小さくする(以降、変換行列を滑らかにすると示す)処理を行う。ここで、nは整数。
【0045】
第1座標系及び第2座標系の各々は、本実施形態においては、3次元空間を示す座標系であるため、変換座標としては、4行4列の16個の要素を有している。ここで、座標変換の行列においては、この16個の要素のうち、4行目の要素が(0,0,0,1)である性質を有している。
このため、変換行列Mnにおいては、変換に用いるスカラー値としては12個の要素がある。
【0046】
同一の行及び列の要素の各々を変数とし、例えば、変数の系列(x1_11,x2_11,x2_11,…,xn_11)を作成する。ここで、x1_11は変換行列M1における第1行目、第1列目の要素を示し、xn_11は変換行列Mnにおける第1行目、第1列目の要素を示している。
すなわち、変換行列補正部112は、スカラー値である要素の12個に対応して、12個の変数の系列を生成する。
【0047】
そして、変換行列補正部112は、変換行列M1の順番を示す番号を入力することにより、この番号に対応する変数の系列における要素が出力される関数を、ガウス過程により生成する。
図7は、隣接する分割第2移動軌跡に対応する変換行列の各々を、ガウス過程を用いて滑らかにする処理を説明する図である。
図7は、縦軸が変数(要素のスカラー値)の数値を示し、横軸が分割第2移動軌跡に対応した変換行列の時系列の順番を示している。
番号「1」から「8」の各々が変換行列M1からM8それぞれを示している。また、x1_11からx8_11の各々は、それぞれ変換行列M1からM8それぞれの…の各々は、第1行目、第1列目の要素のスカラー値を示している。
【0048】
変換行列補正部112は、補正前の各変換行列間の同一の列及び行の位置にある要素のスカラー値を離散的な学習データとして、ガウス過程を用いて隣接する変換行列間における同一の列及び行の位置にある要素のスカラー値の変化量が、補正前に比較してより小さくなるスカラー値として、番号に対応して出力される関数Fを求める(番号に対応したスカラー値の変化のノイズによる変化量の大きさを低減し、隣接するスカラー値の変化を滑らかとする関数Fを求める)。
すなわち、変換行列補正部112は、例えば、番号1から番号8の各々のスカラー値x1_11からx8_11を用いて、入力値(移動軌跡の進行方向の順番により付された変換行列の番号)の各々に対応して出力される、隣接する変換行列における同一の列及び行の位置にある要素、すなわち関数の出力値(スカラー値)それぞれが滑らかな変化を有する関係となる関数Fを生成する。
【0049】
ここで、変換行列補正部112は、例えば、同一の列及び行の位置にある補正前の要素のスカラー値と、関数Fから出力される要素のスカラー値との差を全ての変換行列において合計し、当該合計がより小さくなり、かつ関数から出力される隣接する変換行列間のスカラー値の変化の変化量の合計値がより小さくなるような、番号と出力値と関係を有するように、数値計算により関数を求められる。
これにより、関数Fは、例えば、番号1が入力されるとスカラー値x1_11’を出力し、番号2が入力されるとスカラー値x2_11’を出力する。同様に、関数Fは、他の番号3から番号8の各々が入力された場合、スカラー値x3_11’からx8_11’それぞれを出力する。
【0050】
変換行列補正部112は、変換行列M1からM8それぞれの第1行目、第1列目の要素のスカラー値の集合である、要素(変数)の補正系列(x1_11’,x2_11’,x2_11’,…,xn_11’)を生成する。
そして、変換行列補正部112は、上述した変換行列M1からM8それぞれの第1行目、第1列目の要素のスカラー値の集合と同様に、変換行列を滑らかとする関数を作成して、第i行目(1≦i≦3、iは整数)、第j列目(1≦j≦4、jは整数)の要素の各々の補正系列を生成する。
【0051】
変換行列補正部112は、上述して生成した、第i行目、第j列目の要素の各々の補正系列(x1_ij’,x2_ij’,x2_ij’,…,xn_ij’)のそれぞれを用いて、補正変換行列M1’からMn’を生成する。
また、変換行列補正部112は、生成した補正変換行列M1’からMn’の各々を変換行列記憶部111に対して書き込んで記憶させる。
座標変換部106は、変換行列記憶部111から、変換行列生成部105が生成した変換行列M1からM8の各々に換え、変換行列補正部112の生成した補正変換行列M1’からMn’のそれぞれを読出す。
そして、座標変換部106は、変換行列(M1からM8)に換えて、読み出した補正変換行列(例えば、M1’からM8’など)を用いて、第1に実施形態と同様に、第2座標系における第2移動軌跡の座標点(移動位置)を、第1座標系における座標点に座標変換を行う。
【0052】
図8は、第2の実施形態における座標変換システムによる第2座標系における座標点を第1座標系に対して線形座標変換を行う処理の動作を示すフローチャートである。
図8におけるステップS201~S208と、ステップS210~S213との各々においては、第1の実施形態における図5におけるステップS101~S108と、ステップS109~S112と同様の処理が行われる。以下、ステップS209及びS210の各々の説明を行う。
【0053】
ステップS209:変換行列補正部112は、変換行列記憶部111から変換行列生成部105が生成した変換行列M1~Mnの各々を読み出す。
そして、変換行列補正部112は、変換行列M1~Mnにおける同一の列及び行の位置にある要素のスカラー値を離散的な学習データとして、ガウス過程を用いて隣接する変換行列間における要素のスカラー値の変化量が、補正前に比較してより小さくなるスカラー値として、番号に対応して出力される関数Fを求める。
【0054】
変換行列補正部112は、関数Fに対して変換行列M1~Mnの各々の番号を入力し、それぞれに対応した出力として、変換行列M1~Mnにおける同一の列及び行の位置にある要素のスカラー値を補正系列として得る。
これにより、変換行列補正部112は、補正系列として変換行列M1~Mnの各々における全ての要素のスカラー値を関数Fから算出することにより、補正変換行列M1’~Mn’それぞれを生成する。
そして、変換行列補正部112は、生成した補正変換行列M1’~Mn’の各々を、変換行列記憶部111に対して書き込んで記憶させる。
【0055】
ステップS210:座標変換部106は、第2座標系の第2移動軌跡における座標点をID番号とともに、移動軌跡データ記憶部110から読み出す。
次に、座標変換部106は、例えば、変換行列記憶部111から処理対象の座標点のID番号が含まれるすべての分割第2移動軌跡に対応した補正変換行列(M1’~Mn’)の各々を、変換行列記憶部111が読み出す。
そして、座標変換部106は、読み出した補正変換行列における同一の列及び行の各々の要素の平均値を算出し、この平均値を要素とする平均変換行列を求め、第2座標系における座標点を第1座標系に変換する変換行列の準備を行う。
【0056】
図9は、実測した移動軌跡と本実施形態の座標変換システムで生成した推定移動軌跡との対応を示す図である。
図9において、座標点501Pが実測により測定した移動点であり、座標点502Pが推定移動軌跡における移動点である。
また、線分501Lが実測により測定した移動点を連結した線分であり、線分502Lが推定移動軌跡における移動点を連結した線分である。
本実施形態による推定移動軌跡が、実測した移動軌跡に対し、移動点の位置及び軌跡の形状が良く対応していることが図9から判る。
【0057】
上述した座標変換システムは、第2座標系における撮像画像データから生成した第2移動軌跡を、所定の数の座標点から構成される分割第2移動軌跡に分割し、当該分割第2移動軌跡における座標点の各々と、GPSデータにより生成した第1移動軌跡の同一のID番号を有する座標点のそれぞれとの距離(あるいは距離の二乗)の合計値が最小となる第1座標系における位置に、分割第2移動軌跡における座標点を線形変換させる変換行列を生成し、この変換行列の各々の同一の列及び行の位置にある要素のスカラー値を系列とし、ガウス過程を用いて隣接した分割第2移動軌跡に対応した変換行列間におけるスカラー値の変化量を低減させて新たな補正変換行列を生成し、この補正変換行列により分割第2移動軌跡を第2変換行列から第1変換行列に座標変換することにより、第1移動軌跡の有するGPSデータの絶対位置の情報により、第2移動軌跡のスケールドリフトの影響が分割第2移動軌跡に分割した各々において解消し、かつ第2移動軌跡が有する局所的に正しい移動軌跡の変化形状の情報が反映され、かつガウス過程によるノイズの低減とにより、第1移動軌跡におけるノイズが平滑化され、GPSによるノイズを含む歪んだ形状が整形され、絶対位置の情報及び相対的な変化形状との双方を有する(すなわち、絶対位置を有した相対的な移動変化が滑らかな形状として)、移動体の推定移動軌跡を得ることができる。
【0058】
<第3の実施形態>
以下、本発明の第3の実施形態による座標変換システムについて説明する。第3の実施形態の座標変換システムの構成は、図6に示す第2の実施形態の構成と同様である。
以下、第2の実施形態と異なる動作の説明を行う。
第2の実施形態においては、変換行列M1~Mnの各々における要素(変数)の系列(x1_ij,x2_ij,x2_ij,…,xn_ij)の隣接するスカラー値の平滑化をガウス過程を用いて行ったが、第3の実施形態においてはカルマンフィルタを用いて行う。第2移動軌跡から生成した分割第2移動軌跡の各々に対応して、変換行列M1からMnのそれぞれは、第2移動軌跡における移動体の進行方向に向かって、符号の順番で連続した関係を有している。
【0059】
すなわち、変換行列補正部112は、カルマンフィルタに推定値r(k-1)_ijとスカラー値r(k-1)_ijとを入力し、推定値r(k)_ijを得る処理を行う。ここで、1≦k≦nであり、k及びnは整数である。スカラー値r(k-1)_ijは、変換行列Mk-1の第i行目、第j列目の要素のスカラー値である。推定値r(k-1)_ijは、変換行列Mkの第i行目、第j列目における要素の推定値である。
そして、上記カルマンフィルタは、変換行列Mk-1の第i行目、第j列目の要素のスカラー値と、変換行列Mk-1の第i行目、第j列目の要素の推定値とから、変換行列Mkの第i行目、第j列目の要素の推定値r(k)_ijを指定して出力する。
【0060】
上述したように、変換行列補正部112は、カルマンフィルタを用いて、系列(x1_ij,x2_ij,x2_ij,…,xn_ij)から、補正系列(x1_ij’,x2_ij,x2_ij’,…,xn_ij’)を求める。
そして、変換行列補正部112は、変換行列M1からMnの各々の行及び列における要素の全てに対する補正系列を用いて、補正変換行列M1’からMn’の各々を生成する。
変換行列補正部112は、生成した補正変換行列M1’からMn’の各々を、変換行列記憶部111に対して書き込んで記憶させる。
【0061】
上述した座標変換システムは、第2座標系における撮像画像データから生成した第2移動軌跡を、所定の数の座標点から構成される分割第2移動軌跡に分割し、当該分割第2移動軌跡における座標点の各々と、GPSデータにより生成した第1移動軌跡の同一のID番号を有する座標点のそれぞれとの距離(あるいは距離の二乗)の合計値が最小となる第1座標系における位置に、分割第2移動軌跡における座標点を線形変換させる変換行列を生成し、この変換行列の各々の同一の列及び行の位置にある要素のスカラー値を系列とし、カルマンフィルタを用いて隣接した分割第2移動軌跡に対応した変換行列間におけるスカラー値を推定させて新たな補正変換行列を生成し、この補正変換行列により分割第2移動軌跡を第2変換行列から第1変換行列に座標変換することにより、第1移動軌跡の有するGPSデータの絶対位置の情報により、第2移動軌跡のスケールドリフトの影響が分割第2移動軌跡に分割した各々において解消し、かつ第2移動軌跡が有する局所的に正しい移動軌跡の変化形状の情報が反映され、かつカルマンフィルタによるノイズの低減により、第1移動軌跡におけるノイズが平滑化され、GPSによるノイズを含む歪んだ形状が整形され、絶対位置の情報及び相対的な変化形状との双方を有する(すなわち、絶対位置を有した相対的な移動変化が滑らかな形状として)、移動体の推定移動軌跡を得ることができる。
【0062】
以上、本発明の実施形態を図面を参照し説明してきたが、具体的な構成はこの形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
本実施形態においては、第1座標系及び第2座標系の各々を3次元空間を示す3次元座標系として示したが、2次元座標系として構成してもよい。この場合、第1座標系の場合には、緯度及び経度の示す2次元平面に対応し、第2座標系は2次元平面上における移動軌跡の形状を示す。
【0063】
なお、本発明における図1の座標変換システム100及び図6の座標変換システム100Aの各々の機能をそれぞれ実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりGPSデータ及び撮像画像データにより移動体の移動軌跡を推定する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0064】
また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
【0065】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【符号の説明】
【0066】
100,100A…座標変換システム
101…データ入出力部
102…第1移動軌跡生成部
103…第2移動軌跡生成部
104…第2移動軌跡分割部
105…変換行列生成部
106…座標変換部
107…表示部
108…GPSデータ記憶部
109…撮像画像データ記憶部
110…移動軌跡データ記憶部
111…変換行列記憶部
112…変換行列補正部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13