(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-22
(45)【発行日】2024-08-30
(54)【発明の名称】カメラ位置調整情報生成装置及びプログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20240823BHJP
G01B 11/00 20060101ALI20240823BHJP
【ＦＩ】
G06T7/70
G01B11/00 A
【請求項の数】
7
(21)【出願番号】P 2020200621
(22)【出願日】2020-12-02
(65)【公開番号】P2022088266
(43)【公開日】2022-06-14
【審査請求日】2023-11-01
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100121119
【弁理士】
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】川喜田 裕之
(72)【発明者】
【氏名】新井田 利之
(72)【発明者】
【氏名】久富 健介
【審査官】渡部 幸和
(56)【参考文献】
【文献】国際公開第２０１８／１４３２６３（ＷＯ，Ａ１）
【文献】撮影位置への誘導による過去映像と現在風景のシームレスな接続，電子情報通信学会技術研究報告 Ｖｏｌ．１１０ Ｎｏ．１０８，2010年06月22日
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０１Ｂ １１／００
(57)【特許請求の範囲】
【請求項1】
過去に画像を撮影したときのカメラの位置に、現在に画像を撮影するカメラの位置を合わせるための調整情報を生成するカメラ位置調整情報生成装置において、撮影対象の座標値を経度成分及び緯度成分にて表す画像であって、過去に撮影された前記画像を過去画像とし、現在に撮影された前記画像を現在画像とし、前記過去画像を撮影した前記カメラを過去カメラとし、前記現在画像を撮影した前記カメラを現在カメラとし、３次元空間の前記過去カメラの位置及び前記現在カメラの位置をそれぞれ過去カメラ位置及び現在カメラ位置とし、
前記過去カメラ位置及び前記現在カメラ位置、並びに、前記過去画像及び前記現在画像に共通して設定されるＫ点（ｋ＝１，２，・・・，Ｋ、Ｋは３以上の整数）のランドマークの位置に対応する３次元空間の位置をそれぞれ所定の水平面に投影した場合に、前記過去カメラ位置を予め設定された過去カメラ水平面座標Ｏとし、前記現在カメラ位置を現在カメラ水平面座標Ｐとし、前記Ｋ点のランドマークの位置をランドマーク水平面座標ｑｋ（＝ｑ１，ｑ２，・・・，ｑＫ）とし、前記現在カメラ水平面座標Ｐと前記ランドマーク水平面座標ｑｋとの間の距離をランドマーク水平距離（Ｐ－ｑｋ）（＝Ｐ－ｑ１，Ｐ－ｑ２，・・・，Ｐ－ｑＫ）として、
前記現在カメラにより撮影された前記現在画像を取得する取得部と、
ユーザによる操作に従い、前記過去画像の前記ランドマークを過去ランドマークとして指定することで、Ｋ点の前記過去画像のカーソール位置のそれぞれをＫ点の過去ランドマークカーソール位置として出力し、前記現在画像の前記ランドマークを現在ランドマークとして指定することで、Ｋ点の前記現在画像のカーソール位置のそれぞれをＫ点の現在ランドマークカーソール位置として出力するランドマーク指定部と、
前記ユーザによる前記ランドマーク水平面座標ｑｋにおけるそれぞれの位置に対する操作に従って、前記ランドマーク水平距離（Ｐ－ｑｋ）が、所定のセンサにより測定された前記現在カメラ位置と前記現在ランドマークに対応する３次元空間の位置との間の水平方向の距離に一致するように調整されることで、前記過去カメラ水平面座標Ｏと前記ランドマーク水平面座標ｑｋとの間の距離を算出し、Ｋ点の過去カメラ／ランドマーク水平距離として出力するランドマーク距離調整部と、
前記ランドマーク指定部により出力された前記Ｋ点の過去ランドマークカーソール位置及び前記Ｋ点の現在ランドマークカーソール位置に対応する画像座標を、それぞれ過去ランドマーク画像座標Ｑｋ’（＝Ｑ１’，Ｑ２’，・・・，ＱＫ’）及び現在ランドマーク画像座標Ｑｋ（＝Ｑ１，Ｑ２，・・・，ＱＫ）として、
前記過去ランドマーク画像座標Ｑｋ’及び前記ランドマーク距離調整部により出力された前記Ｋ点の過去カメラ／ランドマーク水平距離に基づいて、前記ランドマーク水平面座標ｑｋを求め、
前記現在ランドマーク画像座標Ｑｋの経度成分の座標値に基づいて、前記現在カメラ水平面座標Ｐを基準にした２つの前記ランドマーク水平面座標ｑｋの間の角度を算出し、前記過去カメラ水平面座標Ｏ、前記ランドマーク水平面座標ｑｋ及び前記角度に基づいて、前記現在カメラ水平面座標Ｐを求め、
前記現在カメラ水平面座標Ｐ及び前記ランドマーク水平面座標ｑｋに基づいて、前記ランドマーク水平距離（Ｐ－ｑｋ）を求め、
前記過去カメラ水平面座標Ｏ及び前記現在カメラ水平面座標Ｐに基づいて、前記過去カメラ位置に前記現在カメラ位置を合わせるための水平方向の向き及び距離からなる水平位置調整情報を求める現在カメラ水平位置推定部と、
前記過去ランドマーク画像座標Ｑｋ’及び前記現在ランドマーク画像座標Ｑｋに基づいて、前記水平面に直交する垂直面に投影された前記過去カメラ位置及び前記現在カメラ位置を基準にして、前記垂直面に投影された前記ランドマーク水平面座標ｑｋに対応する位置と水平方向との間の角度αｋ’（α１’，α２’，・・・，αＫ’）及び角度αｋ（α１，α２，・・・，αＫ）をそれぞれ求め、
前記角度αｋ’及び前記角度αｋ、並びに前記現在カメラ水平位置推定部により求めた前記ランドマーク水平距離（Ｐ－ｑｋ）に基づいて、前記過去カメラ位置に前記現在カメラ位置を合わせるための垂直方向の高さからなる垂直位置調整情報を求める現在カメラ垂直位置推定部と、
前記過去画像、及び前記取得部により取得された前記現在画像を表示すると共に、前記ランドマーク指定部により出力された前記Ｋ点の過去ランドマークカーソール位置のマーク及び前記Ｋ点の現在ランドマークカーソール位置のマークを、前記過去画像及び前記現在画像にそれぞれ表示し、
前記過去カメラ水平面座標Ｏ、前記現在カメラ水平位置推定部により求めた前記ランドマーク水平面座標ｑｋ、前記現在カメラ水平面座標Ｐ、前記ランドマーク水平距離（Ｐ－ｑｋ）及び前記水平位置調整情報、並びに前記現在カメラ垂直位置推定部により求めた前記垂直位置調整情報を表示する表示部と、
を備えたことを特徴とするカメラ位置調整情報生成装置。
【請求項2】
請求項１に記載のカメラ位置調整情報生成装置において、前記現在カメラ水平位置推定部は、
前記Ｋ点の過去ランドマークカーソール位置を前記過去ランドマーク画像座標Ｑｋ’に変換し、前記Ｋ点の現在ランドマークカーソール位置を前記現在ランドマーク画像座標Ｑｋに変換する第１ランドマーク画像座標変換部と、
前記過去カメラ水平面座標Ｏと前記ランドマーク水平面座標ｑｋとの間の予め設定されたＫ点の過去カメラ／ランドマーク暫定水平距離、または前記Ｋ点の過去カメラ／ランドマーク水平距離に基づいて、前記第１ランドマーク画像座標変換部により変換された前記過去ランドマーク画像座標Ｑｋ’を前記ランドマーク水平面座標ｑｋに変換するランドマーク水平面座標変換部と、
前記第１ランドマーク画像座標変換部により変換された前記現在ランドマーク画像座標Ｑｋの経度成分の座標値に基づいて、前記現在カメラ水平面座標Ｐを基準にした２つの前記ランドマーク水平面座標ｑｋの間の前記角度を算出し、前記過去カメラ水平面座標Ｏ、前記ランドマーク水平面座標ｑｋ及び前記角度に基づいて、前記現在カメラ水平面座標Ｐを推定する現在カメラ水平面座標推定部と、
前記現在カメラ水平面座標推定部により推定された前記現在カメラ水平面座標Ｐと前記ランドマーク水平面座標変換部により変換された前記ランドマーク水平面座標ｑｋとの間の距離を、前記ランドマーク水平距離（Ｐ－ｑｋ）として求めるランドマーク水平距離算出部と、
前記過去カメラ水平面座標Ｏ及び前記現在カメラ水平面座標推定部により推定された前記現在カメラ水平面座標Ｐに基づいて、前記水平位置調整情報を求める水平位置調整情報処理部と、
を備えたことを特徴とするカメラ位置調整情報生成装置。
【請求項3】
請求項２に記載のカメラ位置調整情報生成装置において、前記現在カメラ水平面座標推定部は、
Ｋ点のうちの所定の２点の組み合わせの前記ランドマーク水平面座標ｑｋ及び前記現在カメラ水平面座標Ｐを通る円の方程式、前記現在カメラ水平面座標Ｐを基準にした前記２点の組み合わせの前記ランドマーク水平面座標ｑｋの間の前記角度を用いた正弦定理の式、Ｋ点のうちの他の２点の組み合わせの前記ランドマーク水平面座標ｑｋ及び前記現在カメラ水平面座標Ｐを通る円の方程式、及び、前記現在カメラ水平面座標Ｐを基準にした前記他の２点の組み合わせの前記ランドマーク水平面座標ｑｋの間の前記角度を用いた正弦定理の式に基づいて、前記現在カメラ水平面座標Ｐを推定する、ことを特徴とするカメラ位置調整情報生成装置。
【請求項4】
請求項１から３までのいずれか一項に記載のカメラ位置調整情報生成装置において、前記現在カメラ垂直位置推定部は、
前記Ｋ点の過去ランドマークカーソール位置を前記過去ランドマーク画像座標Ｑｋ’に変換し、前記Ｋ点の現在ランドマークカーソール位置を前記現在ランドマーク画像座標Ｑｋに変換する第２ランドマーク画像座標変換部と、
前記第２ランドマーク画像座標変換部により変換された前記過去ランドマーク画像座標Ｑｋ’の緯度成分の座標値に基づいて、前記角度αｋ’を求め、前記現在ランドマーク画像座標Ｑｋの緯度成分の座標値に基づいて、前記角度αｋを求める角度処理部と、
前記角度処理部により求めた前記角度αｋ’及び前記角度αｋをそれぞれ角度α’及び角度αとし、前記ランドマーク水平距離（Ｐ－ｑｋ）を距離ｄとし、前記垂直面に投影された前記過去カメラ位置と前記現在カメラ位置との間の距離を示す高さｈｋ（ｈ１，ｈ２，・・・，ｈＫ）を高さｈとして、数式：ｈ＝ｄ（ｔａｎ（α）－ｔａｎ（α’））により、前記高さｈｋを算出する高さ算出部と、
前記高さ算出部により算出された前記高さｈｋの全てが正の値である場合、または前記高さｈｋの全てが負の値である場合、絶対値が最も小さい前記高さｈｋを特定し、特定した前記ｈｋを前記垂直位置調整情報として求める垂直位置調整情報処理部と、
を備えたことを特徴とするカメラ位置調整情報生成装置。
【請求項5】
請求項１から４までのいずれか一項に記載のカメラ位置調整情報生成装置において、さらに、前記ユーザによる前記現在カメラ位置の変更に伴い、前記ランドマーク指定部により出力された前記Ｋ点の現在ランドマークカーソール位置をそれぞれトラッキングするトラッキング処理部を備え、
前記トラッキング処理部は、
前記Ｋ点の現在ランドマークカーソール位置のそれぞれについて、前記取得部により取得された前記現在画像の当該現在ランドマークカーソール位置の周辺画像と所定のテンプレート画像との間でマッチング処理を行い、マッチングした前記周辺画像をランドマーク画像として切り出し、前記ランドマーク画像を新たな前記テンプレート画像に設定し、前記ランドマーク画像内の所定位置を新たな現在ランドマークカーソール位置に設定する画像切出部と、
前記画像切出部により設定されたＫ点の前記新たな現在ランドマークカーソール位置を、トラッキング後のＫ点の現在ランドマークカーソール位置として出力するトラッキング部と、を備え、
前記現在カメラ水平位置推定部は、
前記トラッキング部により出力された前記トラッキング後のＫ点の現在ランドマークカーソール位置に対応する画像座標を、前記現在ランドマーク画像座標Ｑｋとする、ことを特徴とするカメラ位置調整情報生成装置。
【請求項6】
請求項１から５までのいずれか一項に記載のカメラ位置調整情報生成装置において、さらに、前記ユーザによる操作に従い、前記過去画像の前記ランドマークを前記過去ランドマークとして指定することで、前記過去画像のカーソール位置を前記過去画像内の特徴点位置にスナップし、前記現在画像の前記ランドマークを前記現在ランドマークとして指定することで、前記現在画像のカーソール位置を前記現在画像内の特徴点位置にスナップするスナップ処理部を備え、
前記スナップ処理部は、
前記過去画像及び前記現在画像から複数の特徴点位置をそれぞれ抽出する特徴点抽出部と、
前記カーソール位置が前記過去画像の領域内に存在する場合、前記特徴点抽出部により前記過去画像から抽出された前記複数の特徴点位置のうち前記カーソール位置に最も近い特徴点位置を特定し、前記カーソール位置を、特定した前記特徴点位置にスナップし、スナップ後の前記カーソール位置を前記過去画像のカーソール位置として前記ランドマーク指定部に出力し、
前記カーソール位置が前記現在画像の領域内に存在する場合、前記現在画像から抽出された前記複数の特徴点位置のうち前記カーソール位置に最も近い特徴点位置を特定し、前記カーソール位置を、特定した前記特徴点位置にスナップし、スナップ後の前記カーソール位置を前記現在画像のカーソール位置として前記ランドマーク指定部に出力するスナップ部と、
前記ランドマーク指定部は、
前記スナップ部から前記過去画像のカーソール位置及び前記現在画像のカーソール位置をそれぞれ入力し、Ｋ点の前記過去画像のカーソール位置のそれぞれを前記Ｋ点の過去ランドマークカーソール位置として出力し、Ｋ点の前記現在画像のカーソール位置のそれぞれを前記Ｋ点の現在ランドマークカーソール位置として出力する、ことを特徴とするカメラ位置調整情報生成装置。
【請求項7】
コンピュータを、請求項１から６までのいずれか一項に記載のカメラ位置調整情報生成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラの位置を調整するための情報を生成するカメラ位置調整情報生成装置及びプログラムに関する。
【背景技術】
【0002】
従来、視聴者がコントローラを操作することで、現在に撮影された映像と過去に撮影された映像とを、ワイプして切り替える装置（３６０度映像プレイヤー）の開発が進められている（非特許文献１，２を参照）。
【0003】
図１９は、３６０度映像プレイヤーにより、現在に撮影された映像（After映像、以下、「現在映像ＡＡ」という。）及び過去に撮影された映像（Before映像、以下、「過去映像ＢＢ」という。）がワイプして切り替えられる状態を説明する図である。視聴者１００は、ＨＭＤ（Head Mounted Display：ヘッドマウントディスプレイ）１０１を装着し、ＶＲ（Virtual Reality：仮想現実）の技術により、現在映像ＡＡを視聴しているものとする。
【0004】
視聴者１００は、コントローラ１０３を操作し、境界線１０２を左から右へ移動させることで、境界線１０２から左側に過去映像ＢＢが現れる。そして、視聴者１００は、左側の領域にて過去映像ＢＢを視聴し、右側の領域にて現在映像ＡＡを視聴する。つまり、視聴者１００は、コントローラ１０３の操作により、現在映像ＡＡと過去映像ＢＢとをワイプして切り替えることができる。
【0005】
このような３６０度映像プレイヤーでは、過去映像ＢＢと現在映像ＡＡとの間の空間的な位置関係を合わせるために、現在映像ＡＡの撮影の際に、過去映像ＢＢの撮影時と同じ位置にカメラが設置される必要がある。
【0006】
現在映像ＡＡのカメラが過去映像ＢＢのカメラと同じ位置に設置されない場合には、現在映像ＡＡが過去映像ＢＢに対してずれることとなり、両映像をワイプして切り替えたときに、視聴者１００は違和感を覚えるからである。
【0007】
従来、現在映像ＡＡのカメラ位置を過去映像ＢＢのカメラ位置に合わせるための調整は、撮影者（ユーザ）が現在映像ＡＡを撮影する際に、過去映像ＢＢ及び現在映像ＡＡを目視しながら手動で行っていた。具体的には、ユーザは、過去映像ＢＢから抽出した１フレームのエクイレクタングラー形式の画像と、現在映像ＡＡを撮影するカメラによりライブ出力されるエクイレクタングラー形式の映像とを見比べながら、カメラ位置の調整を行っていた。
【0008】
ここで、エクイレクタングラー形式は、正距円筒図法の形式であり、地図を表すメルカトル図法に準じた形式である。エクイレクタングラー形式の画像は、メルカトル図法の画像のように、３次元空間の撮影対象を、球面の経度成分及び緯度成分の座標値にて表現する画像であるが、カメラからの距離は表現されない。
【先行技術文献】
【非特許文献】
【0009】
【文献】“Diverse Vision “Before/After”VR 360 video comparison beyond time”、［online］、日本放送協会、［令和２年１０月１２日検索］、インターネット＜ＵＲＬ：https://www.nhk.or.jp/strl/english/ibc2020/b5.html＞
【文献】H.Kawakita, T.Niida, and K.Hisatomi,“Development of a 360 Video Player for Head-Mounted Display to Enable Comparison Between Before and After Incident”,Forum on Information Technology 2020 (FIT2020),Part III,K-010,pp.361-363,2020
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、過去映像ＢＢから抽出したエクイレクタングラー形式の画像と、現在映像ＡＡであるエクイレクタングラー形式の映像とを見比べながら、手動にてカメラ位置の調整を行う手法では、調整が困難であるという問題があった。
【0011】
エクイレクタングラー形式の画像及び映像は、直感的に位置関係を認識することが困難であり、位置ずれがあることがわかったとしても、カメラをどの方向にどの程度移動させればよいのかがわかり難い。このため、ユーザは、試行錯誤のうえ調整することとなり、位置ずれが生じた状態で調整を妥協することが多かった。ここで、過去映像ＢＢから抽出したエクイレクタングラー形式の画像を過去画像といい、現在映像ＡＡから抽出したエクイレクタングラー形式の画像を現在画像という。
【0012】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、過去画像と現在画像の空間的な位置関係を合わせるために、現在画像を撮影するカメラの位置を調整する際に用いるカメラ位置調整情報を生成可能なカメラ位置調整情報生成装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0013】
前記課題を解決するために、請求項１のカメラ位置調整情報生成装置は、過去に画像を撮影したときのカメラの位置に、現在に画像を撮影するカメラの位置を合わせるための調整情報を生成するカメラ位置調整情報生成装置において、撮影対象の座標値を経度成分及び緯度成分にて表す画像であって、過去に撮影された前記画像を過去画像とし、現在に撮影された前記画像を現在画像とし、前記過去画像を撮影した前記カメラを過去カメラとし、前記現在画像を撮影した前記カメラを現在カメラとし、３次元空間の前記過去カメラの位置及び前記現在カメラの位置をそれぞれ過去カメラ位置及び現在カメラ位置とし、
前記過去カメラ位置及び前記現在カメラ位置、並びに、前記過去画像及び前記現在画像に共通して設定されるＫ点（ｋ＝１，２，・・・，Ｋ、Ｋは３以上の整数）のランドマークの位置に対応する３次元空間の位置をそれぞれ所定の水平面に投影した場合に、前記過去カメラ位置を予め設定された過去カメラ水平面座標Ｏとし、前記現在カメラ位置を現在カメラ水平面座標Ｐとし、前記Ｋ点のランドマークの位置をランドマーク水平面座標ｑｋ（＝ｑ１，ｑ２，・・・，ｑＫ）とし、前記現在カメラ水平面座標Ｐと前記ランドマーク水平面座標ｑｋとの間の距離をランドマーク水平距離（Ｐ－ｑｋ）（＝Ｐ－ｑ１，Ｐ－ｑ２，・・・，Ｐ－ｑＫ）として、前記現在カメラにより撮影された前記現在画像を取得する取得部と、ユーザによる操作に従い、前記過去画像の前記ランドマークを過去ランドマークとして指定することで、Ｋ点の前記過去画像のカーソール位置のそれぞれをＫ点の過去ランドマークカーソール位置として出力し、前記現在画像の前記ランドマークを現在ランドマークとして指定することで、Ｋ点の前記現在画像のカーソール位置のそれぞれをＫ点の現在ランドマークカーソール位置として出力するランドマーク指定部と、前記ユーザによる前記ランドマーク水平面座標ｑｋにおけるそれぞれの位置に対する操作に従って、前記ランドマーク水平距離（Ｐ－ｑｋ）が、所定のセンサにより測定された前記現在カメラ位置と前記現在ランドマークに対応する３次元空間の位置との間の水平方向の距離に一致するように調整されることで、前記過去カメラ水平面座標Ｏと前記ランドマーク水平面座標ｑｋとの間の距離を算出し、Ｋ点の過去カメラ／ランドマーク水平距離として出力するランドマーク距離調整部と、前記ランドマーク指定部により出力された前記Ｋ点の過去ランドマークカーソール位置及び前記Ｋ点の現在ランドマークカーソール位置に対応する画像座標を、それぞれ過去ランドマーク画像座標Ｑｋ’（＝Ｑ１’，Ｑ２’，・・・，ＱＫ’）及び現在ランドマーク画像座標Ｑｋ（＝Ｑ１，Ｑ２，・・・，ＱＫ）として、前記過去ランドマーク画像座標Ｑｋ’及び前記ランドマーク距離調整部により出力された前記Ｋ点の過去カメラ／ランドマーク水平距離に基づいて、前記ランドマーク水平面座標ｑｋを求め、前記現在ランドマーク画像座標Ｑｋの経度成分の座標値に基づいて、前記現在カメラ水平面座標Ｐを基準にした２つの前記ランドマーク水平面座標ｑｋの間の角度を算出し、前記過去カメラ水平面座標Ｏ、前記ランドマーク水平面座標ｑｋ及び前記角度に基づいて、前記現在カメラ水平面座標Ｐを求め、前記現在カメラ水平面座標Ｐ及び前記ランドマーク水平面座標ｑｋに基づいて、前記ランドマーク水平距離（Ｐ－ｑｋ）を求め、前記過去カメラ水平面座標Ｏ及び前記現在カメラ水平面座標Ｐに基づいて、前記過去カメラ位置に前記現在カメラ位置を合わせるための水平方向の向き及び距離からなる水平位置調整情報を求める現在カメラ水平位置推定部と、前記過去ランドマーク画像座標Ｑｋ’及び前記現在ランドマーク画像座標Ｑｋに基づいて、前記水平面に直交する垂直面に投影された前記過去カメラ位置及び前記現在カメラ位置を基準にして、前記垂直面に投影された前記ランドマーク水平面座標ｑｋに対応する位置と水平方向との間の角度αｋ’（α１’，α２’，・・・，αＫ’）及び角度αｋ（α１，α２，・・・，αＫ）をそれぞれ求め、前記角度αｋ’及び前記角度αｋ、並びに前記現在カメラ水平位置推定部により求めた前記ランドマーク水平距離（Ｐ－ｑｋ）に基づいて、前記過去カメラ位置に前記現在カメラ位置を合わせるための垂直方向の高さからなる垂直位置調整情報を求める現在カメラ垂直位置推定部と、前記過去画像、及び前記取得部により取得された前記現在画像を表示すると共に、前記ランドマーク指定部により出力された前記Ｋ点の過去ランドマークカーソール位置のマーク及び前記Ｋ点の現在ランドマークカーソール位置のマークを、前記過去画像及び前記現在画像にそれぞれ表示し、前記過去カメラ水平面座標Ｏ、前記現在カメラ水平位置推定部により求めた前記ランドマーク水平面座標ｑｋ、前記現在カメラ水平面座標Ｐ、前記ランドマーク水平距離（Ｐ－ｑｋ）及び前記水平位置調整情報、並びに前記現在カメラ垂直位置推定部により求めた前記垂直位置調整情報を表示する表示部と、を備えたことを特徴とする。
前記過去カメラ位置及び前記現在カメラ位置、並びに、前記過去画像及び前記現在画像に共通して設定されるＫ点（ｋ＝１，２，・・・，Ｋ、Ｋは３以上の整数）のランドマークの位置に対応する３次元空間の位置をそれぞれ所定の水平面に投影した場合に、前記過去カメラ位置を予め設定された過去カメラ水平面座標Ｏとし、前記現在カメラ位置を現在カメラ水平面座標Ｐとし、前記Ｋ点のランドマークの位置をランドマーク水平面座標ｑｋ（＝ｑ１，ｑ２，・・・，ｑＫ）とし、前記現在カメラ水平面座標Ｐと前記ランドマーク水平面座標ｑｋとの間の距離をランドマーク水平距離（Ｐ－ｑｋ）（＝Ｐ－ｑ１，Ｐ－ｑ２，・・・，Ｐ－ｑＫ）として、前記現在カメラにより撮影された前記現在画像を取得する取得部と、ユーザによる操作に従い、前記過去画像の前記ランドマークを過去ランドマークとして指定することで、Ｋ点の前記過去画像のカーソール位置のそれぞれをＫ点の過去ランドマークカーソール位置として出力し、前記現在画像の前記ランドマークを現在ランドマークとして指定することで、Ｋ点の前記現在画像のカーソール位置のそれぞれをＫ点の現在ランドマークカーソール位置として出力するランドマーク指定部と、前記ユーザによる前記ランドマーク水平面座標ｑｋにおけるそれぞれの位置に対する操作に従って、前記ランドマーク水平距離（Ｐ－ｑｋ）が、所定のセンサにより測定された前記現在カメラ位置と前記現在ランドマークに対応する３次元空間の位置との間の水平方向の距離に一致するように調整されることで、前記過去カメラ水平面座標Ｏと前記ランドマーク水平面座標ｑｋとの間の距離を算出し、Ｋ点の過去カメラ／ランドマーク水平距離として出力するランドマーク距離調整部と、前記ランドマーク指定部により出力された前記Ｋ点の過去ランドマークカーソール位置及び前記Ｋ点の現在ランドマークカーソール位置に対応する画像座標を、それぞれ過去ランドマーク画像座標Ｑｋ’（＝Ｑ１’，Ｑ２’，・・・，ＱＫ’）及び現在ランドマーク画像座標Ｑｋ（＝Ｑ１，Ｑ２，・・・，ＱＫ）として、前記過去ランドマーク画像座標Ｑｋ’及び前記ランドマーク距離調整部により出力された前記Ｋ点の過去カメラ／ランドマーク水平距離に基づいて、前記ランドマーク水平面座標ｑｋを求め、前記現在ランドマーク画像座標Ｑｋの経度成分の座標値に基づいて、前記現在カメラ水平面座標Ｐを基準にした２つの前記ランドマーク水平面座標ｑｋの間の角度を算出し、前記過去カメラ水平面座標Ｏ、前記ランドマーク水平面座標ｑｋ及び前記角度に基づいて、前記現在カメラ水平面座標Ｐを求め、前記現在カメラ水平面座標Ｐ及び前記ランドマーク水平面座標ｑｋに基づいて、前記ランドマーク水平距離（Ｐ－ｑｋ）を求め、前記過去カメラ水平面座標Ｏ及び前記現在カメラ水平面座標Ｐに基づいて、前記過去カメラ位置に前記現在カメラ位置を合わせるための水平方向の向き及び距離からなる水平位置調整情報を求める現在カメラ水平位置推定部と、前記過去ランドマーク画像座標Ｑｋ’及び前記現在ランドマーク画像座標Ｑｋに基づいて、前記水平面に直交する垂直面に投影された前記過去カメラ位置及び前記現在カメラ位置を基準にして、前記垂直面に投影された前記ランドマーク水平面座標ｑｋに対応する位置と水平方向との間の角度αｋ’（α１’，α２’，・・・，αＫ’）及び角度αｋ（α１，α２，・・・，αＫ）をそれぞれ求め、前記角度αｋ’及び前記角度αｋ、並びに前記現在カメラ水平位置推定部により求めた前記ランドマーク水平距離（Ｐ－ｑｋ）に基づいて、前記過去カメラ位置に前記現在カメラ位置を合わせるための垂直方向の高さからなる垂直位置調整情報を求める現在カメラ垂直位置推定部と、前記過去画像、及び前記取得部により取得された前記現在画像を表示すると共に、前記ランドマーク指定部により出力された前記Ｋ点の過去ランドマークカーソール位置のマーク及び前記Ｋ点の現在ランドマークカーソール位置のマークを、前記過去画像及び前記現在画像にそれぞれ表示し、前記過去カメラ水平面座標Ｏ、前記現在カメラ水平位置推定部により求めた前記ランドマーク水平面座標ｑｋ、前記現在カメラ水平面座標Ｐ、前記ランドマーク水平距離（Ｐ－ｑｋ）及び前記水平位置調整情報、並びに前記現在カメラ垂直位置推定部により求めた前記垂直位置調整情報を表示する表示部と、を備えたことを特徴とする。
【0014】
また、請求項２のカメラ位置調整情報生成装置は、請求項１に記載のカメラ位置調整情報生成装置において、前記現在カメラ水平位置推定部が、前記Ｋ点の過去ランドマークカーソール位置を前記過去ランドマーク画像座標Ｑｋ’に変換し、前記Ｋ点の現在ランドマークカーソール位置を前記現在ランドマーク画像座標Ｑｋに変換する第１ランドマーク画像座標変換部と、前記過去カメラ水平面座標Ｏと前記ランドマーク水平面座標ｑｋとの間の予め設定されたＫ点の過去カメラ／ランドマーク暫定水平距離、または前記Ｋ点の過去カメラ／ランドマーク水平距離に基づいて、前記第１ランドマーク画像座標変換部により変換された前記過去ランドマーク画像座標Ｑｋ’を前記ランドマーク水平面座標ｑｋに変換するランドマーク水平面座標変換部と、前記第１ランドマーク画像座標変換部により変換された前記現在ランドマーク画像座標Ｑｋの経度成分の座標値に基づいて、前記現在カメラ水平面座標Ｐを基準にした２つの前記ランドマーク水平面座標ｑｋの間の前記角度を算出し、前記過去カメラ水平面座標Ｏ、前記ランドマーク水平面座標ｑｋ及び前記角度に基づいて、前記現在カメラ水平面座標Ｐを推定する現在カメラ水平面座標推定部と、前記現在カメラ水平面座標推定部により推定された前記現在カメラ水平面座標Ｐと前記ランドマーク水平面座標変換部により変換された前記ランドマーク水平面座標ｑｋとの間の距離を、前記ランドマーク水平距離（Ｐ－ｑｋ）として求めるランドマーク水平距離算出部と、前記過去カメラ水平面座標Ｏ及び前記現在カメラ水平面座標推定部により推定された前記現在カメラ水平面座標Ｐに基づいて、前記水平位置調整情報を求める水平位置調整情報処理部と、を備えたことを特徴とする。
【0015】
また、請求項３のカメラ位置調整情報生成装置は、請求項２に記載のカメラ位置調整情報生成装置において、前記現在カメラ水平面座標推定部が、Ｋ点のうちの所定の２点の組み合わせの前記ランドマーク水平面座標ｑｋ及び前記現在カメラ水平面座標Ｐを通る円の方程式、前記現在カメラ水平面座標Ｐを基準にした前記２点の組み合わせの前記ランドマーク水平面座標ｑｋの間の前記角度を用いた正弦定理の式、Ｋ点のうちの他の２点の組み合わせの前記ランドマーク水平面座標ｑｋ及び前記現在カメラ水平面座標Ｐを通る円の方程式、及び、前記現在カメラ水平面座標Ｐを基準にした前記他の２点の組み合わせの前記ランドマーク水平面座標ｑｋの間の前記角度を用いた正弦定理の式に基づいて、前記現在カメラ水平面座標Ｐを推定する、ことを特徴とする。
【0016】
また、請求項４のカメラ位置調整情報生成装置は、請求項１から３までのいずれか一項に記載のカメラ位置調整情報生成装置において、前記現在カメラ垂直位置推定部が、前記Ｋ点の過去ランドマークカーソール位置を前記過去ランドマーク画像座標Ｑｋ’に変換し、前記Ｋ点の現在ランドマークカーソール位置を前記現在ランドマーク画像座標Ｑｋに変換する第２ランドマーク画像座標変換部と、前記第２ランドマーク画像座標変換部により変換された前記過去ランドマーク画像座標Ｑｋ’の緯度成分の座標値に基づいて、前記角度αｋ’を求め、前記現在ランドマーク画像座標Ｑｋの緯度成分の座標値に基づいて、前記角度αｋを求める角度処理部と、前記角度処理部により求めた前記角度αｋ’及び前記角度αｋをそれぞれ角度α’及び角度αとし、前記ランドマーク水平距離（Ｐ－ｑｋ）を距離ｄとし、前記垂直面に投影された前記過去カメラ位置と前記現在カメラ位置との間の距離を示す高さｈｋ（ｈ１，ｈ２，・・・，ｈＫ）を高さｈとして、数式：ｈ＝ｄ（ｔａｎ（α）－ｔａｎ（α’））により、前記高さｈｋを算出する高さ算出部と、前記高さ算出部により算出された前記高さｈｋの全てが正の値である場合、または前記高さｈｋの全てが負の値である場合、絶対値が最も小さい前記高さｈｋを特定し、特定した前記ｈｋを前記垂直位置調整情報として求める垂直位置調整情報処理部と、を備えたことを特徴とする。
【0017】
また、請求項５のカメラ位置調整情報生成装置は、請求項１から４までのいずれか一項に記載のカメラ位置調整情報生成装置において、さらに、前記ユーザによる前記現在カメラ位置の変更に伴い、前記ランドマーク指定部により出力された前記Ｋ点の現在ランドマークカーソール位置をそれぞれトラッキングするトラッキング処理部を備え、前記トラッキング処理部が、前記Ｋ点の現在ランドマークカーソール位置のそれぞれについて、前記取得部により取得された前記現在画像の当該現在ランドマークカーソール位置の周辺画像と所定のテンプレート画像との間でマッチング処理を行い、マッチングした前記周辺画像をランドマーク画像として切り出し、前記ランドマーク画像を新たな前記テンプレート画像に設定し、前記ランドマーク画像内の所定位置を新たな現在ランドマークカーソール位置に設定する画像切出部と、前記画像切出部により設定されたＫ点の前記新たな現在ランドマークカーソール位置を、トラッキング後のＫ点の現在ランドマークカーソール位置として出力するトラッキング部と、を備え、前記現在カメラ水平位置推定部が、前記トラッキング部により出力された前記トラッキング後のＫ点の現在ランドマークカーソール位置に対応する画像座標を、前記現在ランドマーク画像座標Ｑｋとする、ことを特徴とする。
【0018】
また、請求項６のカメラ位置調整情報生成装置は、請求項１から５までのいずれか一項に記載のカメラ位置調整情報生成装置において、さらに、前記ユーザによる操作に従い、前記過去画像の前記ランドマークを前記過去ランドマークとして指定することで、前記過去画像のカーソール位置を前記過去画像内の特徴点位置にスナップし、前記現在画像の前記ランドマークを前記現在ランドマークとして指定することで、前記現在画像のカーソール位置を前記現在画像内の特徴点位置にスナップするスナップ処理部を備え、前記スナップ処理部が、前記過去画像及び前記現在画像から複数の特徴点位置をそれぞれ抽出する特徴点抽出部と、前記カーソール位置が前記過去画像の領域内に存在する場合、前記特徴点抽出部により前記過去画像から抽出された前記複数の特徴点位置のうち前記カーソール位置に最も近い特徴点位置を特定し、前記カーソール位置を、特定した前記特徴点位置にスナップし、スナップ後の前記カーソール位置を前記過去画像のカーソール位置として前記ランドマーク指定部に出力し、前記カーソール位置が前記現在画像の領域内に存在する場合、前記現在画像から抽出された前記複数の特徴点位置のうち前記カーソール位置に最も近い特徴点位置を特定し、前記カーソール位置を、特定した前記特徴点位置にスナップし、スナップ後の前記カーソール位置を前記現在画像のカーソール位置として前記ランドマーク指定部に出力するスナップ部と、前記ランドマーク指定部が、前記スナップ部から前記過去画像のカーソール位置及び前記現在画像のカーソール位置をそれぞれ入力し、Ｋ点の前記過去画像のカーソール位置のそれぞれを前記Ｋ点の過去ランドマークカーソール位置として出力し、Ｋ点の前記現在画像のカーソール位置のそれぞれを前記Ｋ点の現在ランドマークカーソール位置として出力する、ことを特徴とする。
【0019】
さらに、請求項７のプログラムは、コンピュータを、請求項１から６までのいずれか一項に記載のカメラ位置調整情報生成装置として機能させることを特徴とする。
【発明の効果】
【0020】
以上のように、本発明によれば、過去画像と現在画像の空間的な位置関係を合わせるために、現在画像を撮影するカメラの位置を調整する際に用いるカメラ位置調整情報を生成することができる。そして、ユーザは、カメラ位置調整情報を用いることで、現在画像を撮影するカメラの位置を、過去画像を撮影した位置に簡単にかつ素早く調整することができる。
【図面の簡単な説明】
【0021】
【図1】実施例１，２，３のカメラ位置調整情報生成装置を含む全体システムを示す概略図である。
【図2】実施例１のカメラ位置調整情報生成装置の構成例を示すブロック図である。
【図3】表示画面の例を示す図である。
【図4】ランドマークＬＭ（１），ＬＭ（２），ＬＭ（３）の指定例を説明する図である。
【図5】ユーザの操作手順を説明するフローチャートである。
【図6】現在カメラ水平位置推定部の構成例を示すブロック図である。
【図7】現在カメラ水平位置推定部の処理例を示すフローチャートである。
【図8】現在カメラ水平位置推定部の処理例を説明する図である。
【図9】現在カメラ水平面座標推定部による現在カメラ水平面座標Ｐの推定処理（ステップＳ７０４）を説明する図である。
【図10】現在カメラ垂直位置推定部の構成例を示すブロック図である。
【図11】現在カメラ垂直位置推定部の処理例を示すフローチャートである。
【図12】角度処理部による角度算出処理（ステップＳ１１０３）を説明する図である。
【図13】実施例２のカメラ位置調整情報生成装置の構成例を示すブロック図である。
【図14】トラッキング処理部の構成例を示すブロック図である。
【図15】トラッキング処理部の処理例を示すフローチャートである。
【図16】実施例３のカメラ位置調整情報生成装置の構成例を示すブロック図である。
【図17】スナップ処理部の構成例を示すブロック図である。
【図18】スナップ処理部の処理例を示すフローチャートである。
【図19】３６０度映像プレイヤーにより、現在に撮影された映像及び過去に撮影された映像がワイプして切り替えられる状態を説明する図である。
【発明を実施するための形態】
【0022】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、ユーザの操作により、過去に撮影されたエクイレクタングラー形式の画像及び現在に撮影されたエクイレクタングラー形式のライブ映像の画像に共通するＫ点（Ｋは３以上の整数）のランドマークの画像上の座標と、レーザ測距計等を用いて測定された現在のカメラとランドマークとの間の水平方向の距離を用いて、任意の２つのランドマークを見込む角が地図上において整合するように、過去のカメラの位置から現在のカメラの位置を推定することで、過去のカメラの位置に現在のカメラの位置を合わせるためのカメラ位置調整情報を生成することを特徴とする。
【0023】
これにより、過去に撮影された画像に、現在の画像の空間的な位置関係を合わせるために、現在のカメラの位置を調整する際に用いるカメラ位置調整情報を生成することができる。そして、ユーザは、カメラ位置調整情報を用いることで、現在のカメラの位置を簡単にかつ素早く調整することができる。
【0024】
以下、過去に撮影された３次元空間のエクイレクタングラー形式の画像を「過去画像Ｂ」とし、現在に撮影された３次元空間のエクイレクタングラー形式のライブ映像の画像を「現在画像Ａ」とする。また、過去画像Ｂを撮影したカメラを「過去カメラ」とし、現在画像Ａを撮影するカメラを「現在カメラ」とする。また、３次元空間の過去カメラの位置を「過去カメラ位置」とし、３次元空間の現在カメラの位置を「現在カメラ位置」とする。
【0025】
〔全体システム〕
図１は、実施例１，２，３のカメラ位置調整情報生成装置を含む全体システムを示す概略図である。このシステムは、実施例１，２，３のカメラ位置調整情報生成装置１，２，３、カメラ（現在カメラ）４、キャプチャデバイス５及びレーザ測距計６を備えて構成される。カメラ位置調整情報生成装置１，２，３及びキャプチャデバイス５は、ＵＳＢ（Universal Serial Bus）により接続される。また、現在カメラ４及びキャプチャデバイス５は、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）により接続される。
図１は、実施例１，２，３のカメラ位置調整情報生成装置を含む全体システムを示す概略図である。このシステムは、実施例１，２，３のカメラ位置調整情報生成装置１，２，３、カメラ（現在カメラ）４、キャプチャデバイス５及びレーザ測距計６を備えて構成される。カメラ位置調整情報生成装置１，２，３及びキャプチャデバイス５は、ＵＳＢ（Universal Serial Bus）により接続される。また、現在カメラ４及びキャプチャデバイス５は、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）により接続される。
【0026】
カメラ位置調整情報生成装置１，２，３は、現在カメラ４からキャプチャデバイス５を介してライブ映像を入力し、予め蓄積された過去画像Ｂとライブ映像とを表示する。そして、カメラ位置調整情報生成装置１，２，３は、ユーザの操作により、過去画像Ｂ及びこれに対応する現在画像Ａに共通して指定されたＫ点のランドマークの画像上の座標と、レーザ測距計６を用いて測定された水平方向の距離を用いて、任意の２つのランドマークを見込む角が地図上において整合するように、過去カメラの位置から現在カメラ４の水平面上の位置を推定することで、カメラ位置調整情報を生成する。
【0027】
ここで、ランドマークは、過去画像Ｂ及び現在画像Ａにおいて、カメラ位置調整情報を生成するために必要な基準箇所であり、ユーザにより指定される。
【0028】
現在カメラ４は、現在映像ＡＡであるライブ映像を撮影して出力する３６０度カメラである。図示しない過去カメラは、過去映像ＢＢを撮影して出力する３６０度カメラである。ライブ映像は、時系列の複数の現在画像Ａにより構成され、過去映像ＢＢは、時系列の複数の過去画像Ｂにより構成される。
【0029】
キャプチャデバイス５は、現在カメラ４から出力されたＨＤＭＩ（登録商標）規格のライブ映像を、ＵＳＢ規格のライブ映像に変換する変換器であり、変換後のライブ映像は、カメラ位置調整情報生成装置１，２，３へ出力される。
【0030】
レーザ測距計６は、ユーザの操作により、現在画像Ａに対して指定されたＫ点のランドマークに対応する３次元空間の位置と現在カメラ４との間の水平方向の距離を測定するセンサである。
【0031】
尚、前述のとおり、ランドマークの点数を示すＫは３以上の整数であるが、説明を簡単にするため、ランドマークの点数を３（Ｋ＝３）として説明する。
【0032】
〔実施例１〕
まず、実施例１のカメラ位置調整情報生成装置１について説明する。図２は、実施例１のカメラ位置調整情報生成装置１の構成例を示すブロック図である。このカメラ位置調整情報生成装置１は、過去画像蓄積部１０、カメラ映像取得部１１、映像及び画像表示部１２、ランドマーク指定部１３、ランドマーク距離調整部１４、現在カメラ水平位置推定部１５、現在カメラ垂直位置推定部１６及び地図表示部１７を備えている。
まず、実施例１のカメラ位置調整情報生成装置１について説明する。図２は、実施例１のカメラ位置調整情報生成装置１の構成例を示すブロック図である。このカメラ位置調整情報生成装置１は、過去画像蓄積部１０、カメラ映像取得部１１、映像及び画像表示部１２、ランドマーク指定部１３、ランドマーク距離調整部１４、現在カメラ水平位置推定部１５、現在カメラ垂直位置推定部１６及び地図表示部１７を備えている。
【0033】
過去画像蓄積部１０には、過去カメラにより撮影されたエクイレクタングラー形式の過去映像ＢＢの過去画像Ｂが蓄積されている。過去カメラは、過去映像ＢＢが撮影されたときの３次元空間の所定の固定位置（以下、「過去カメラ位置」という。）に設置されていたものとする。
【0034】
カメラ映像取得部１１は、現在カメラ４により撮影されたエクイレクタングラー形式のライブ映像を取得し、ライブ映像を映像及び画像表示部１２に出力する。
【0035】
映像及び画像表示部１２は、過去画像蓄積部１０から過去画像Ｂを読み出すと共に、カメラ映像取得部１１からライブ映像を入力し、過去画像Ｂ及びライブ映像を図示しない表示装置へ出力することで、画面上の所定位置に表示する。
【0036】
図３は、表示画面の例を示す図である。この表示画面には、ライブ映像、ランドマーク画像、過去画像Ｂ及び水平面地図が表示される。ライブ映像が表示されることは、現在画像Ａが表示されることを意味する。
【0037】
図３に示すとおり、映像及び画像表示部１２により、ライブ映像が表示画面の左上の領域に表示され、過去画像Ｂが表示画面の左下の領域に表示される。
【0038】
【0039】
ランドマーク指定部１３は、ユーザによるポインティングデバイス７の操作に従って、過去画像Ｂにおけるカーソール位置を入力する。そして、ランドマーク指定部１３は、ユーザによるクリック操作に従って、入力したカーソール位置を過去ランドマークカーソール位置に設定することで、過去画像Ｂ及び現在画像Ａに共通したランドマークＬＭとして、過去画像Ｂにおける３点の過去ランドマークを指定する。ランドマーク指定部１３は、３点の過去ランドマークカーソール位置を現在カメラ水平位置推定部１５及び現在カメラ垂直位置推定部１６に出力する。
【0040】
また、ユーザは、画面に表示されたライブ映像の現在画像Ａに対し、ポインティングデバイス７を用いて、３点の過去ランドマークにそれぞれ対応する（同じ位置の）３点の現在ランドマークを指定するためのクリック操作を行う。
【0041】
ランドマーク指定部１３は、ユーザによるポインティングデバイス７の操作に従って、現在画像Ａにおけるカーソール位置を入力する。そして、ランドマーク指定部１３は、ユーザによるクリック操作に従って、入力したカーソール位置を現在ランドマークカーソール位置に設定することで、過去画像Ｂ及び現在画像Ａに共通したランドマークＬＭとして、３点の過去ランドマークに対応する現在画像Ａにおける３点の現在ランドマークを指定する。ランドマーク指定部１３は、３点の現在ランドマークカーソール位置を現在カメラ水平位置推定部１５及び現在カメラ垂直位置推定部１６に出力する。
【0042】
また、図２には図示していないが、ランドマーク指定部１３は、３点の過去ランドマークカーソール位置及び３点の現在ランドマークカーソール位置を映像及び画像表示部１２に出力する。これにより、映像及び画像表示部１２は、３点の過去ランドマークカーソール位置のマークの表示を含む過去画像Ｂを表示し、３点の現在ランドマークカーソール位置のマークの表示を含む現在画像Ａを表示する。
【0043】
図３の例では、過去画像Ｂの表示には、３点の過去ランドマークカーソール位置のそれぞれに対する周辺画像であるランドマーク画像ＬＭ－ｋＢ（ｋ＝１，２，３、すなわちＬＭ－１Ｂ，ＬＭ－２Ｂ，ＬＭ－３Ｂ）が含まれる。また、ライブ映像の表示には、３点の現在ランドマークカーソール位置のそれぞれに対する周辺画像であるランドマーク画像ＬＭ－ｋＡ（ｋ＝１，２，３、すなわちＬＭ－１Ａ，ＬＭ－２Ａ，ＬＭ－３Ａ）が含まれる。
【0044】
図３を参照して、表示画面の右側に表示された水平面地図は、過去カメラの過去画像Ｂにおける３点の過去ランドマーク（及びこれに対応するライブ映像の現在画像Ａにおける３点の現在ランドマーク）の位置に対応する３次元空間の位置、並びに３次元空間の過去カメラ位置及び現在カメラの位置を所定の水平面に投影した場合の地図である。
【0045】
３次元空間の過去カメラ位置を水平面に投影した座標を「過去カメラ水平面座標Ｏ」とし、予め設定されるものとする。また、３次元空間の現在カメラ位置を水平面に投影した座標を「現在カメラ水平面座標Ｐ」とする。また、過去カメラの過去画像Ｂにおける３点の過去ランドマーク（及びこれに対応するライブ映像の現在画像Ａにおける３点の現在ランドマーク）の位置に対応する３次元空間の位置を水平面に投影した座標を「ランドマーク水平面座標ｑｋ（ｋ＝１，２，３、すなわちｑ１，ｑ２，ｑ３）」とする。ランドマーク水平面座標ｑ１，ｑ２，ｑ３の点をそれぞれ「ランドマークＬＭ－ｋ（ｋ＝１，２，３、すなわちＬＭ－１，ＬＭ－２，ＬＭ－３）」とする。
【0046】
水平面において、現在カメラ水平面座標Ｐの点とランドマーク水平面座標ｑ１，ｑ２，ｑ３の点（ランドマークＬＭ－１，ＬＭ－２，ＬＭ－３）との間の距離を「ランドマーク水平距離（Ｐ－ｑｋ）（ｋ＝１，２，３、すなわちＰ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）」とする。
【0047】
ランドマークＬＭ－１において、Ｕｐ：０．１０ｍは、高さ０．１０ｍであることを示しており、後述する現在カメラ垂直位置推定部１６により算出される高さｈ１に相当する。また、ランドマークＬＭ－２において、Ｕｐ：０．０３ｍは、高さ０．０３ｍであることを示しており、後述する現在カメラ垂直位置推定部１６により算出される高さｈ２に相当する。また、ランドマークＬＭ－３において、Ｕｐ：０．０６ｍは、高さ０．０６ｍであることを示しており、後述する現在カメラ垂直位置推定部１６により算出される高さｈ３に相当する。
【0048】
水平面地図の上部には、水平位置調整情報及び垂直位置調整情報が表示される。水平位置調整情報は、水平方向の向き（矢印の向き）及び水平方向の距離からなる。この例では、水平方向の向きは、現在カメラ水平面座標Ｐの点を基準にランドマークＬＭ－２方向であり、水平方向の距離は０．０４ｍである。つまり、この水平位置調整情報は、３次元空間の水平面において、現在カメラ４を、ランドマークＬＭ－２が存在する約４５度の方向へ向けて０．０４ｍ移動させることで、現在カメラ４の水平位置を過去カメラ位置に合わせることができることを意味する。
【0049】
また、垂直位置調整情報は、垂直方向の高さからなり、この例では、垂直方向の高さは０．０３ｍである。つまり、この垂直位置調整情報は、３次元空間の垂直面において、現在カメラ４を鉛直方向の上向きへ０．０３ｍ移動させることで、現在カメラ４の鉛直位置を過去カメラ位置に合わせることができることを意味する。水平位置調整情報は、後述する現在カメラ水平位置推定部１５により推定され、垂直位置調整情報は、後述する現在カメラ垂直位置推定部１６により推定される。
【0050】
図２に戻って、ユーザは、画面に表示された水平面地図のランドマークＬＭ－１，ＬＭ－２，ＬＭ－３のそれぞれに対し、図１には図示していないポインティングデバイス７を用いて、ランドマークＬＭ－１，ＬＭ－２，ＬＭ－３（ランドマーク水平面座標ｑ１，ｑ２，ｑ３の点）を過去カメラ水平面座標Ｏの点へ近づけたり遠ざけたりすることで、現在カメラ水平面座標Ｐの点とランドマーク水平面座標ｑ１，ｑ２，ｑ３の点との間のランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）を調整するためのドラッグ操作を行う。
【0051】
具体的には、ユーザは、レーザ測距計６を用いて、現在カメラ水平面座標Ｐの点と３点の現在ランドマークに対応する３次元空間の位置との間の水平方向の距離（以下、「測距値」という。）をそれぞれ測定する。そして、ユーザは、画面に表示された水平面地図のランドマークＬＭ－１，ＬＭ－２，ＬＭ－３のそれぞれを過去カメラ水平面座標Ｏの点に近づけたり遠ざけたりすることで、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）が測距値に一致するように、ドラッグ操作を行う。
【0052】
ランドマーク距離調整部１４は、後述する現在カメラ水平位置推定部１５から初期のランドマーク水平面座標ｑ１，ｑ２，ｑ３（後述する過去カメラ／ランドマーク暫定水平距離から求めたランドマーク水平面座標ｑ１，ｑ２，ｑ３）を入力し、ユーザによるドラッグ操作に従ってカーソール位置を入力する。
【0053】
ここで、ランドマーク距離調整部１４は、ドラッグ操作に従って入力するカーソール位置を、初期のランドマーク水平面座標ｑ１，ｑ２，ｑ３の点と予め設定された過去カメラ水平面座標Ｏの点との間における（点を通る）直線上にそれぞれ限定する。すなわち、後述する図８（１）のドラッグ操作前の水平面地図において、ドラッグ操作は、ランドマークＬＭ－１，ＬＭ－２，ＬＭ－３と過去カメラ水平面座標Ｏの点との間における（点を通る）直線上に限定される。
【0054】
ランドマーク距離調整部１４は、ドラッグ操作に従って、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）が測距値に一致するように調整されることで、ドラッグ操作時のカーソール位置（水平面座標の点）と予め設定された過去カメラ水平面座標Ｏの点との間の距離（以下、「過去カメラ／ランドマーク水平距離」という。）を算出し、過去カメラ／ランドマーク水平距離を現在カメラ水平位置推定部１５に出力する。
【0055】
現在カメラ水平位置推定部１５は、ランドマーク指定部１３から３点の現在ランドマークカーソール位置及び３点の過去ランドマークカーソール位置を入力し、ランドマークＬＭ－１，ＬＭ－２，ＬＭ－３と過去カメラ水平面座標Ｏの点との間の予め設定された固定距離（以下、「過去カメラ／ランドマーク暫定水平距離」という。）を入力する。また、現在カメラ水平位置推定部１５は、ランドマーク距離調整部１４からドラッグ操作時の過去カメラ／ランドマーク水平距離を入力する。
【0056】
現在カメラ水平位置推定部１５は、３点の現在ランドマークカーソール位置を、エクイレクタングラー形式の画像の座標であるランドマークエクイレクタングラー座標（現在ランドマーク画像座標）Ｑｋ（ｋ＝１，２，３、すなわちＱ１，Ｑ２，Ｑ３）にそれぞれ変換する。また、現在カメラ水平位置推定部１５は、３点の過去ランドマークカーソール位置をランドマークエクイレクタングラー座標（過去ランドマーク画像座標）Ｑｋ’（ｋ＝１，２，３、すなわちＱ１’，Ｑ２’，Ｑ３’）にそれぞれ変換する。
【0057】
現在カメラ水平位置推定部１５は、ランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’及び過去カメラ／ランドマーク暫定水平距離に基づいて、初期のランドマーク水平面座標ｑ１，ｑ２，ｑ３を求める。また、現在カメラ水平位置推定部１５は、ランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’及び過去カメラ／ランドマーク水平距離に基づいて、ドラッグ操作時のランドマーク水平面座標ｑ１，ｑ２，ｑ３を求める。
【0058】
現在カメラ水平位置推定部１５は、ランドマーク水平面座標ｑ１，ｑ２，ｑ３等に基づいて、現在カメラ水平面座標Ｐを推定する。すなわち、現在カメラ水平位置推定部１５は、ランドマークエクイレクタングラー座標Ｑ１，Ｑ２，Ｑ３から任意の２つのランドマーク（例えばＬＭ－１，ＬＭ－２）を見込む角を求める。そして、現在カメラ水平位置推定部１５は、現在カメラ４の水平位置が取り得る候補を水平面地図において作図すると円弧状になるため、２組のランドマークから得られる２つの円弧の交点を現在カメラ４の水平位置（現在カメラ水平面座標Ｐ）として推定する。詳細については後述する。また、現在カメラ水平位置推定部１５は、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）及び水平位置調整情報を求める。
【0059】
現在カメラ水平位置推定部１５は、初期のランドマーク水平面座標ｑ１，ｑ２，ｑ３をランドマーク距離調整部１４に出力する。また、現在カメラ水平位置推定部１５は、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）を現在カメラ垂直位置推定部１６に出力する。さらに、現在カメラ水平位置推定部１５は、ランドマーク水平面座標ｑ１，ｑ２，ｑ３、現在カメラ水平面座標Ｐ、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）及び水平位置調整情報を地図表示部１７に出力する。現在カメラ水平位置推定部１５の詳細については後述する。
【0060】
現在カメラ垂直位置推定部１６は、ランドマーク指定部１３から３点の過去ランドマークカーソール位置及び３点の現在ランドマークカーソール位置を入力する。また、現在カメラ垂直位置推定部１６は、現在カメラ水平位置推定部１５からランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）を入力する。
【0061】
現在カメラ垂直位置推定部１６は、３点の過去ランドマークカーソール位置をランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’にそれぞれ変換し、３次元空間の水平面に直交する垂直面に投影された過去カメラ位置を基準にして、垂直面に投影されたランドマーク水平面座標ｑ１，ｑ２，ｑ３に対応する位置と水平方向との間の角度αｋ’（ｋ＝１，２，３、すなわちα１’，α２’，α３’）を求める（後述する図１２を参照）。
【0062】
また、現在カメラ垂直位置推定部１６は、３点の現在ランドマークカーソール位置をランドマークエクイレクタングラー座標Ｑ１，Ｑ２，Ｑ３にそれぞれ変換し、３次元空間の水平面に直交する垂直面に投影された現在カメラ位置を基準にして、垂直面に投影されたランドマーク水平面座標ｑ１，ｑ２，ｑ３に対応する位置と水平方向との間の角度αｋ（ｋ＝１，２，３、すなわちα１，α２，α３）を求める（後述する図１２を参照）。
【0063】
現在カメラ垂直位置推定部１６は、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）及び角度α１，α２，α３，α１’，α２’，α３’に基づいて、垂直面に投影された過去カメラ位置と現在カメラ位置との間の距離を高さｈｋ（ｋ＝１，２，３、すなわちｈ１，ｈ２，ｈ３）としてそれぞれ求め、垂直位置調整情報を求める（後述する図１２を参照）。尚、後述する図１２において、過去カメラ位置及び現在カメラ位置が同じ垂直方向の軸上にあるのは、現在カメラ水平位置推定部１５により求めた水平位置調整情報の指示に従い、ユーザによる現在カメラ４の水平移動の操作によって、水平面上で同じ位置に調整されているからである。
【0064】
現在カメラ垂直位置推定部１６は、高さｈ１，ｈ２，ｈ３及び垂直位置調整情報を地図表示部１７に出力する。現在カメラ垂直位置推定部１６の詳細については後述する。
【0065】
地図表示部１７は、現在カメラ水平位置推定部１５からランドマーク水平面座標ｑ１，ｑ２，ｑ３、現在カメラ水平面座標Ｐ、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）及び水平位置調整情報を入力する。また、地図表示部１７は、現在カメラ垂直位置推定部１６から高さｈ１，ｈ２，ｈ３及び垂直位置調整情報を入力する。
【0066】
地図表示部１７は、ランドマーク水平面座標ｑ１，ｑ２，ｑ３、現在カメラ水平面座標Ｐ、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）、水平位置調整情報、高さｈ１，ｈ２，ｈ３及び垂直位置調整情報を図示しない表示装置へ出力することで、図３に示したとおり、水平面地図として画面上の所定位置に表示する。
【0067】
図３に示したとおり、地図表示部１７により、ランドマーク水平面座標ｑ１，ｑ２，ｑ３、現在カメラ水平面座標Ｐ、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）、水平位置調整情報、高さｈ１，ｈ２，ｈ３及び垂直位置調整情報が、表示画面の右側の領域に表示される。
【0068】
また、地図表示部１７は、ランドマーク水平面座標ｑ１，ｑ２及び現在カメラ水平面座標Ｐに基づいて、現在カメラ水平面座標Ｐの点を基準にして、ランドマーク水平面座標ｑ１，ｑ２の点間の角度ｘn_1,2 angleを求めて表示する。また、地図表示部１７は、ランドマーク水平面座標ｑ２，ｑ３及び現在カメラ水平面座標Ｐに基づいて、現在カメラ水平面座標Ｐの点を基準にして、ランドマーク水平面座標ｑ２，ｑ３の点間の角度ｘn_2,3 angleを求めて表示する。
【0069】
これにより、ユーザは、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）が測距値に一致するようにドラッグ操作を行った後の水平位置調整情報を認識することができ、これに従い、現在カメラ４を水平移動させることができる。また、ユーザは、現在カメラ４を水平移動させた後の垂直位置調整情報を認識することができ、これに従い、現在カメラ４を垂直移動させることができる。
【0070】
〔ユーザの操作手順〕
次に、カメラ位置調整情報生成装置１及びレーザ測距計６を使用するユーザの操作手順について説明する。
次に、カメラ位置調整情報生成装置１及びレーザ測距計６を使用するユーザの操作手順について説明する。
【0071】
まず、前提条件として以下の＜ａ＞～＜ｃ＞が必要である。
＜ａ＞現在カメラ４は、水準器等を用いて常に水平が保たれていること（現在カメラ４のレンズの光軸が水平方向と一致すること）。
＜ｂ＞過去画像Ｂ及びライブ映像の現在画像Ａにおいて、対応するランドマークＬＭが３点以上指定できること。また、３点以上のランドマークＬＭは、過去画像Ｂ及び現在画像Ａのそれぞれにおいて、東西方向の横軸を経度成分を表すｘ軸、南北方向の縦軸を緯度成分を表すｙ軸とした場合、ｘの値（経度成分の座標値）が異なるものとする。
＜ｃ＞レーザ測距計６等を用いて、現在カメラ位置と、ライブ映像の現在画像Ａにおける３点以上のランドマークＬＭに対応する３次元空間の位置との間の水平方向の距離が測定できること。
＜ａ＞現在カメラ４は、水準器等を用いて常に水平が保たれていること（現在カメラ４のレンズの光軸が水平方向と一致すること）。
＜ｂ＞過去画像Ｂ及びライブ映像の現在画像Ａにおいて、対応するランドマークＬＭが３点以上指定できること。また、３点以上のランドマークＬＭは、過去画像Ｂ及び現在画像Ａのそれぞれにおいて、東西方向の横軸を経度成分を表すｘ軸、南北方向の縦軸を緯度成分を表すｙ軸とした場合、ｘの値（経度成分の座標値）が異なるものとする。
＜ｃ＞レーザ測距計６等を用いて、現在カメラ位置と、ライブ映像の現在画像Ａにおける３点以上のランドマークＬＭに対応する３次元空間の位置との間の水平方向の距離が測定できること。
【0072】
図４は、ランドマークＬＭ（１），ＬＭ（２），ＬＭ（３）の指定例を説明する図であり、前記＜ｂ＞において、Ｋ＝３の場合を示している。図４の左側に示すように、過去画像Ｂ及び現在画像Ａのそれぞれにおいて、例えばランドマークＬＭ（１），ＬＭ（２），ＬＭ（３）のうちの少なくとも２点（ランドマークＬＭ（２），ＬＭ（３））につき、ｘｙ軸のｘの値である経度成分の座標値が同じ場合、前記＜ｂ＞の条件を満たさない。
【0073】
また、図４の右側に示すように、過去画像Ｂ及び現在画像Ａのそれぞれにおいて、ランドマークＬＭ（１），ＬＭ（２），ＬＭ（３）は、ｘｙ軸のｘの値である経度成分の座標値が異なっていれば、ｙの値である緯度成分の座標値が同じであってもよい。
【0074】
図５は、ユーザの操作手順を説明するフローチャートである。ユーザは、画面表示された過去画像Ｂ及びライブ映像の現在画像Ａに対し、対応するそれぞれ３点のランドマークＬＭをクリック操作する（ステップＳ５０１）。
【0075】
具体的には、ユーザは、以下のステップＳ５０１－１～Ｓ５０１－６の操作を行う。
（ステップＳ５０１－１）：過去画像Ｂにおいて、第１のランドマークＬＭをクリック
（ステップＳ５０１－２）：ライブ映像の現在画像Ａにおいて、対応する第１のランドマークＬＭをクリック
（ステップＳ５０１－３）：過去画像Ｂにおいて、第２のランドマークＬＭをクリック
（ステップＳ５０１－４）：ライブ映像の現在画像Ａにおいて、対応する第２のランドマークＬＭをクリック
（ステップＳ５０１－５）：過去画像Ｂにおいて、第３のランドマークＬＭをクリック
（ステップＳ５０１－６）：ライブ映像の現在画像Ａにおいて、対応する第３のランドマークＬＭをクリック
（ステップＳ５０１－１）：過去画像Ｂにおいて、第１のランドマークＬＭをクリック
（ステップＳ５０１－２）：ライブ映像の現在画像Ａにおいて、対応する第１のランドマークＬＭをクリック
（ステップＳ５０１－３）：過去画像Ｂにおいて、第２のランドマークＬＭをクリック
（ステップＳ５０１－４）：ライブ映像の現在画像Ａにおいて、対応する第２のランドマークＬＭをクリック
（ステップＳ５０１－５）：過去画像Ｂにおいて、第３のランドマークＬＭをクリック
（ステップＳ５０１－６）：ライブ映像の現在画像Ａにおいて、対応する第３のランドマークＬＭをクリック
【0076】
これにより、図２に示したランドマーク指定部１３にて、３点の過去ランドマークカーソール位置及び３点の現在ランドマークカーソール位置が指定される。そして、現在カメラ水平位置推定部１５にて、予め設定された過去カメラ／ランドマーク暫定水平距離を用いてランドマーク水平面座標ｑ１，ｑ２，ｑ３が求められ、現在カメラ水平面座標Ｐ、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）及び水平位置調整情報が求められる。また、現在カメラ垂直位置推定部１６にて、高さｈ１，ｈ２，ｈ３及び垂直位置調整情報が求められる。そして、これらの情報を含む水平面地図が画面表示される。
【0077】
ユーザは、レーザ測距計６を用いて、現在カメラ４と同じ位置のレーザ測距計６から３点のランドマークＬＭに対応する３次元空間の位置までの間の水平方向の距離（測距値）を測定する（ステップＳ５０２）。
【0078】
ユーザは、画面表示された水平面地図を参照して、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）が対応する測距値に一致するように、水平面地図における３点のランドマークＬＭ－１，ＬＭ－２，ＬＭ－３を順番にドラッグ操作する（ステップＳ５０３）。
【0079】
具体的には、ユーザは、以下のステップＳ５０３－１～Ｓ５０３－４の操作を行う。
（ステップＳ５０３－１）：水平面地図のランドマークＬＭ－１をドラッグ操作することで、ランドマーク水平距離（Ｐ－ｑ１）を対応する測距値に調整
（ステップＳ５０３－２）：水平面地図のランドマークＬＭ－２をドラッグ操作することで、ランドマーク水平距離（Ｐ－ｑ２）を対応する測距値に調整
（ステップＳ５０３－３）：水平面地図のランドマークＬＭ－３をドラッグ操作することで、ランドマーク水平距離（Ｐ－ｑ３）を対応する測距値に調整
（ステップＳ５０３－４）： ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）を再確認し、所定の閾値以上にずれている場合、ステップＳ５０３－１～Ｓ５０３－３の操作を再実行
（ステップＳ５０３－１）：水平面地図のランドマークＬＭ－１をドラッグ操作することで、ランドマーク水平距離（Ｐ－ｑ１）を対応する測距値に調整
（ステップＳ５０３－２）：水平面地図のランドマークＬＭ－２をドラッグ操作することで、ランドマーク水平距離（Ｐ－ｑ２）を対応する測距値に調整
（ステップＳ５０３－３）：水平面地図のランドマークＬＭ－３をドラッグ操作することで、ランドマーク水平距離（Ｐ－ｑ３）を対応する測距値に調整
（ステップＳ５０３－４）： ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）を再確認し、所定の閾値以上にずれている場合、ステップＳ５０３－１～Ｓ５０３－３の操作を再実行
【0080】
これにより、ステップＳ５０３－１～Ｓ５０３－３のドラッグ操作毎に、ランドマーク距離調整部１４にて、過去カメラ／ランドマーク水平距離が求められる。そして、現在カメラ水平位置推定部１５にて、過去カメラ／ランドマーク水平距離を用いてランドマーク水平面座標ｑ１，ｑ２，ｑ３が求められ、現在カメラ水平面座標Ｐ、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）及び水平位置調整情報が求められる。また、現在カメラ垂直位置推定部１６にて、高さｈ１，ｈ２，ｈ３及び垂直位置調整情報が求められる。
【0081】
そして、これらの情報を含む水平面地図の画面表示が更新され、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）が対応する測距値に一致したときの（対応する測距値に対して所定誤差内で一致したときの）水平位置調整情報が確定する。
【0082】
ユーザは、現在カメラ４の水平移動の操作（後述するステップＳ５０５）が済みでないとして（ステップＳ５０４：Ｎ）、画面表示された水平面地図を参照しながら、現在カメラ４を、確定した水平位置調整情報の示す方向及び距離に水平移動させる（ステップＳ５０５）。そして、ユーザは、ステップＳ５０１～Ｓ５０３の操作をやり直す。これにより、現在カメラ水平位置推定部１５にて、現在カメラ水平面座標Ｐ等が求められ、現在カメラ垂直位置推定部１６にて、高さｈ１，ｈ２，ｈ３及び垂直位置調整情報が求められ、垂直位置調整情報が確定する。
【0083】
ユーザは、ステップＳ５０１～Ｓ５０３の操作を完了した後、現在カメラ４の水平移動の操作（ステップＳ５０４）が済みであるとして（ステップＳ５０４：Ｙ）、現在カメラ４を、確定した垂直位置調整情報の示す高さに垂直移動させる（ステップＳ５０６）。
【0084】
このように、ユーザは、ドラッグ操作後に画面表示された水平位置調整情報に従い、現在カメラ４を水平方向の所定距離だけ移動させ、水平方向の移動操作後に画面表示された垂直位置調整情報に従い、現在カメラ４を垂直方向の所定距離だけ移動させる。これにより、過去カメラ位置に現在カメラ位置を簡単にかつ素早く調整することができる。
【0085】
（現在カメラ水平位置推定部１５）
次に、図２に示した現在カメラ水平位置推定部１５について詳細に説明する。図６は、現在カメラ水平位置推定部１５の構成例を示すブロック図であり、図７は、現在カメラ水平位置推定部１５の処理例を示すフローチャートである。図８は、現在カメラ水平位置推定部１５の処理例を説明する図である。
次に、図２に示した現在カメラ水平位置推定部１５について詳細に説明する。図６は、現在カメラ水平位置推定部１５の構成例を示すブロック図であり、図７は、現在カメラ水平位置推定部１５の処理例を示すフローチャートである。図８は、現在カメラ水平位置推定部１５の処理例を説明する図である。
【0086】
この現在カメラ水平位置推定部１５は、ランドマークエクイレクタングラー座標変換部（ランドマーク画像座標変換部）２０、ランドマーク水平面座標変換部２１、現在カメラ水平面座標推定部２２、ランドマーク水平距離算出部２３及び水平位置調整情報処理部２４を備えている。
【0087】
現在カメラ水平位置推定部１５は、ランドマーク指定部１３から３点の現在ランドマークカーソール位置及び３点の過去ランドマークカーソール位置を入力し、予め設定された過去カメラ／ランドマーク暫定水平距離を入力し、ランドマーク距離調整部１４からドラッグ操作時の過去カメラ／ランドマーク水平距離を入力する（ステップＳ７０１）。
【0088】
ランドマークエクイレクタングラー座標変換部２０は、３点の現在ランドマークカーソール位置を現在画像Ａのランドマークエクイレクタングラー座標Ｑ１，Ｑ２，Ｑ３にそれぞれ変換し、３点の過去ランドマークカーソール位置を過去画像Ｂのランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’にそれぞれ変換する（ステップＳ７０２）。これにより、画面のカーソール位置の座標が、エクイレクタングラー形式の画像の経度成分及び緯度成分を示す座標に変換される。
【0089】
ランドマークエクイレクタングラー座標変換部２０は、ランドマークエクイレクタングラー座標Ｑ１，Ｑ２，Ｑ３を現在カメラ水平面座標推定部２２に出力し、ランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’をランドマーク水平面座標変換部２１に出力する。
【0090】
ランドマーク水平面座標変換部２１は、ランドマークエクイレクタングラー座標変換部２０からランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’を入力する。また、ランドマーク水平面座標変換部２１は、ドラッグ操作前の初期処理のときに、予め設定された過去カメラ／ランドマーク暫定水平距離を入力し、ドラッグ操作のときに、ランドマーク距離調整部１４からドラッグ操作時の過去カメラ／ランドマーク水平距離を入力する。
【0091】
ランドマーク水平面座標変換部２１は、ランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’及び過去カメラ／ランドマーク暫定水平距離または過去カメラ／ランドマーク水平距離から、ランドマーク水平面座標ｑ１，ｑ２，ｑ３を生成し、現在カメラ水平面座標推定部２２、ランドマーク水平距離算出部２３及び地図表示部１７に出力する（ステップＳ７０３）。
【0092】
尚、ランドマーク水平面座標変換部２１は、初期処理のときに生成した初期のランドマーク水平面座標ｑ１，ｑ２，ｑ３を、ランドマーク距離調整部１４にも出力する。
【0093】
エクイレクタングラー形式の画像においては、過去カメラ位置からランドマークＬＭへの向きは既知であるが、距離は未知である。このため、ランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’のみでは、ランドマーク水平面座標ｑ１，ｑ２，ｑ３を特定することができない。そこで、ドラッグ操作前においては、予め設定された暫定的な固定値である過去カメラ／ランドマーク暫定水平距離を用い、ドラッグ操作時においては、ランドマーク距離調整部１４から入力した過去カメラ／ランドマーク水平距離を用いることで、ランドマーク水平面座標ｑ１，ｑ２，ｑ３を特定することができる。
【0094】
具体的には、ランドマーク水平面座標変換部２１は、ドラッグ操作前に、予め設定された過去カメラ／ランドマーク暫定水平距離を用いて、ランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’をランドマーク水平面座標ｑ１，ｑ２，ｑ３に変換する。また、ランドマーク水平面座標変換部２１は、ドラッグ操作時に、ドラッグ操作時のカメラ／ランドマーク水平距離を用いて、ランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’をランドマーク水平面座標ｑ１，ｑ２，ｑ３に変換する。
【0095】
図８（１）のドラッグ操作前の例において、水平面地図には、ランドマークＬＭ－１，ＬＭ－２，ＬＭ－３の過去カメラ／ランドマーク暫定水平距離をそれぞれ２．０ｍとした場合の初期のランドマーク水平面座標ｑ１，ｑ２，ｑ３が示されている。過去カメラ水平面座標Ｏは予め設定され、その座標は（０．０，０．０）とする。
【0096】
また、図８（２）のドラッグ操作後の例において、水平面地図には、ドラッグ操作が完了したときのランドマークＬＭ－１，ＬＭ－２，ＬＭ－３の過去カメラ／ランドマーク水平距離におけるランドマーク水平面座標ｑ１，ｑ２，ｑ３が示されている。
【0097】
このドラッグ操作後の水平面地図は、ドラッグ操作前の水平地図におけるランドマークＬＭ－１，ＬＭ－２，ＬＭ－３のユーザによるドラッグ操作にて、後述するランドマーク水平距離算出部２３により算出されたランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）が、レーザ測距計６を用いて測定した測距値と一致するように調整した後の地図である。尚、ドラッグ操作は、図８（１）のドラッグ操作前の水平面地図に示すとおり、ランドマークＬＭ－１，ＬＭ－２，ＬＭ－３と過去カメラ水平面座標Ｏの点との間における（点を通る）直線上の位置に限定される。
【0098】
現在カメラ水平面座標推定部２２は、ランドマークエクイレクタングラー座標変換部２０からランドマークエクイレクタングラー座標Ｑ１，Ｑ２，Ｑ３を入力し、ランドマーク水平面座標変換部２１からランドマーク水平面座標ｑ１，ｑ２，ｑ３を入力する。そして、現在カメラ水平面座標推定部２２は、ランドマークエクイレクタングラー座標Ｑ１，Ｑ２，Ｑ３の経度成分の座標値に基づいて、現在カメラ水平面座標Ｐを基準にしたランドマーク水平面座標ｑ１，ｑ２，ｑ３間の角度を算出する。
【0099】
現在カメラ水平面座標推定部２２は、ランドマーク水平面座標ｑ１，ｑ２，ｑ３、角度及び予め設定された過去カメラ水平面座標Ｏに基づいて、現在カメラ水平面座標Ｐを推定する。現在カメラ水平面座標推定部２２は、現在カメラ水平面座標Ｐをランドマーク水平距離算出部２３、水平位置調整情報処理部２４及び地図表示部１７に出力する（ステップＳ７０４）。
【0100】
図８（１）のドラッグ操作前の水平面地図には、調整前のランドマーク水平面座標ｑ１，ｑ２，ｑ３及び過去カメラ水平面座標Ｏ（０．０，０．０）等に基づいて推定された現在カメラ水平面座標Ｐ（０．１，０．４）が示されている。ユーザによるランドマークＬＭ－１，ＬＭ－２，ＬＭ－３のドラッグ操作が行われると、ランドマーク水平面座標ｑ１，ｑ２，ｑ３が変化するため、現在カメラ水平面座標Ｐも変化する。また、この水平面地図には、現在カメラ水平面座標Ｐを基準にしたランドマーク水平面座標ｑ１，ｑ２間の角度２６３°及びランドマーク水平面座標ｑ２，ｑ３間の角度４１°が示されている。
【0101】
また、図８（２）のドラッグ操作後の水平面地図には、ドラッグ操作が完了したときのランドマーク水平面座標ｑ１，ｑ２，ｑ３及び過去カメラ水平面座標Ｏ（０．０，０．０）等に基づいて推定された現在カメラ水平面座標Ｐ（０．１，０．２）が示されている。また、この水平面地図には、現在カメラ水平面座標Ｐを基準にしたランドマーク水平面座標ｑ１，ｑ２間の角度２６３°及びランドマーク水平面座標ｑ２，ｑ３間の角度４１°が示されている。
【0102】
【0103】
過去カメラ水平面座標Ｏ（ｘO，ｙO）は既知であり、ランドマーク水平面座標ｑ１（ｘq1，ｙq1）及びランドマーク水平面座標ｑ２（ｘq2，ｙq2）は既知と仮定する。また、図９の水平面地図には示してないが、ランドマーク水平面座標ｑ３（ｘq3，ｙq3）も既知と仮定する。
【0104】
また、過去カメラ水平面座標Ｏを基準にしたランドマーク水平面座標ｑ１の点とランドマーク水平面座標ｑ２の点との間の角度θO1,2、過去カメラ水平面座標Ｏを基準にしたランドマーク水平面座標ｑ２の点とランドマーク水平面座標ｑ３の点との間の角度θO2,3（図示せず）、現在カメラ水平面座標Ｐを基準にしたランドマーク水平面座標ｑ１の点とランドマーク水平面座標ｑ２の点との間の角度θP1,2、及び現在カメラ水平面座標Ｐを基準にしたランドマーク水平面座標ｑ２の点とランドマーク水平面座標ｑ３の点との間の角度θP2,3（図示せず）も既知である。推定対象の現在カメラ水平面座標Ｐを（ｘp，ｙp）とする。
【0105】
角度θO1,2，θO2,3は、ランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’の経度成分の座標値に基づいて算出され、角度θP1,2，θP2,3は、ランドマークエクイレクタングラー座標Ｑ１，Ｑ２，Ｑ３の経度成分の座標値に基づいて算出される。例えば角度θP1,2は、ランドマークエクイレクタングラー座標Ｑ１の経度成分の座標値とランドマークエクイレクタングラー座標Ｑ２の経度成分の座標値との間の差に相当する。
【0106】
ランドマーク水平面座標ｑ１，ｑ２の各点及び現在カメラ水平面座標Ｐの点を通る円をβ１とすると、円β１の方程式は、以下のとおりである。円β１の中心の座標をＥＯ1,2（ｘEO1,2，ｙEO1,2）とする。
［数１］
（ｘp－ｘEO1,2）2＋（ｙp－ｙEO1,2）2＝ｒ1,2 2
（ｘq1－ｘEO1,2）2＋（ｙq1－ｙEO1,2）2＝ｒ1,2 2 ・・・（１）
（ｘq2－ｘEO1,2）2＋（ｙq2－ｙEO1,2）2＝ｒ1,2 2
［数１］
（ｘp－ｘEO1,2）2＋（ｙp－ｙEO1,2）2＝ｒ1,2 2
（ｘq1－ｘEO1,2）2＋（ｙq1－ｙEO1,2）2＝ｒ1,2 2 ・・・（１）
（ｘq2－ｘEO1,2）2＋（ｙq2－ｙEO1,2）2＝ｒ1,2 2
【0107】
また、正弦定理から以下の式が得られる。
［数２］
〔√｛（ｘq2－ｘq1）2＋（ｙq2－ｙq1）2｝〕／ｓｉｎθP1,2＝２ｒ1,2 ・・・（２）
［数２］
〔√｛（ｘq2－ｘq1）2＋（ｙq2－ｙq1）2｝〕／ｓｉｎθP1,2＝２ｒ1,2 ・・・（２）
【0108】
前記式（１）（２）において、ｘq1，ｙq1，ｘq2，ｙq2，θP1,2は既知であり、変数の数は５（ｘp，ｙp，ｒ1,2，ｘEO1,2，ｙEO1,2）であり、数式の数は４である。このため、推定対象の現在カメラ水平面座標Ｐの座標値ｘp，ｙpの関係式が得られる。具体的には、現在カメラ水平面座標Ｐ（ｘp，ｙp）は、ランドマーク水平面座標ｑ１（ｘq1，ｙq1）の点とランドマーク水平面座標ｑ２（ｘq2，ｙq2）の点との間の円弧上にあることとなる。尚、角度θP1,2は、現在カメラ水平面座標Ｐ（ｘp，ｙp）がこの円弧上に存在する限り、同一の値をとる。
【0109】
また、図示してないが、ランドマーク水平面座標ｑ２，ｑ３の各点及び現在カメラ水平面座標Ｐの点を通る円をβ２とすると、前記式（１）（２）に対応する式が得られる。そして、推定対象の現在カメラ水平面座標Ｐの座標値ｘp，ｙpの関係式が得られ、現在カメラ水平面座標Ｐ（ｘp，ｙp）は、ランドマーク水平面座標ｑ２（ｘq2，ｙq2）の点とランドマーク水平面座標ｑ３（ｘq3，ｙq3）の点との間の円弧上にあることとなる。
【0110】
そして、推定対象の現在カメラ水平面座標Ｐの座標値ｘp，ｙpの２つの関係式を解くことにより、現在カメラ水平面座標Ｐ（ｘp，ｙp）は、２つの円弧の交点に同定することができる。したがって、現在カメラ水平面座標Ｐは、ランドマーク水平面座標ｑ１，ｑ２，ｑ３、角度θP1,2，θP2,3及び予め設定された過去カメラ水平面座標Ｏに基づいて推定することができる。
【0111】
図６、図７及び図８に戻って、ランドマーク水平距離算出部２３は、ランドマーク水平面座標変換部２１からランドマーク水平面座標ｑ１，ｑ２，ｑ３を入力すると共に、現在カメラ水平面座標推定部２２から現在カメラ水平面座標Ｐを入力する。そして、ランドマーク水平距離算出部２３は、現在カメラ水平面座標Ｐの点とランドマーク水平面座標ｑ１，ｑ２，ｑ３の点との間の距離をランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）としてそれぞれ算出する。ランドマーク水平距離算出部２３は、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）を現在カメラ垂直位置推定部１６及び地図表示部１７に出力する（ステップＳ７０５）。
【0112】
図８（１）のドラッグ操作前の水平面地図において、過去カメラ／ランドマーク水平距離（Ｏ－ｑ１，Ｏ－ｑ２，Ｏ－ｑ３）は、それぞれ２．００ｍ，２．００ｍ，２．００ｍである。また、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）は、それぞれ１．６５ｍ，２．１６ｍ，１．８９ｍである。前述のドラッグ操作により、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）は、レーザ測距計６を用いて測定された測距値に近づくこととなる。そして、図８（２）のドラッグ操作後の水平面地図において、過去カメラ／ランドマーク水平距離（Ｏ－ｑ１，Ｏ－ｑ２，Ｏ－ｑ３）は、それぞれ２．２１ｍ，１．５４ｍ，１．５２ｍとなる。また、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）は、それぞれ１．９８ｍ，１．６５ｍ，１．４６ｍとなる。
【0113】
水平位置調整情報処理部２４は、現在カメラ水平面座標推定部２２から現在カメラ水平面座標Ｐを入力する。そして、水平位置調整情報処理部２４は、現在カメラ水平面座標Ｐ及び予め設定された過去カメラ水平面座標Ｏに基づいて、現在カメラ水平面座標Ｐの点から見た過去カメラ水平面座標Ｏの点の方向を算出すると共に、現在カメラ水平面座標Ｐの点と過去カメラ水平面座標Ｏの点との間の距離を算出する。水平位置調整情報処理部２４は、前記方向及び前記距離からなる水平位置調整情報を地図表示部１７に出力する（ステップＳ７０６）。
【0114】
これにより、ランドマーク水平面座標ｑ１，ｑ２，ｑ３、現在カメラ水平面座標Ｐ、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）及び水平位置調整情報等が生成され、これらの情報を含む水平面地図が表示される。そして、ユーザは、図５のステップＳ５０５に示したとおり、ドラッグ操作後の水平位置調整情報に従い、現在カメラ４を水平移動させる。
【0115】
尚、図８（１）のドラッグ操作前の水平面地図において、後述する現在カメラ垂直位置推定部１６により推定された高さｈ１，ｈ２，ｈ３であるＵＰ：－０．０７ｍ，ＵＰ：０．３７ｍ，ＵＰ：０．１５ｍも表示される。また、図８（２）のドラッグ操作後の水平面地図において、後述する現在カメラ垂直位置推定部１６により推定された高さｈ１，ｈ２，ｈ３であるＵＰ：－０．０８ｍ，ＵＰ：０．２９ｍ，ＵＰ：０．１１ｍも表示される。
【0116】
（現在カメラ垂直位置推定部１６）
次に、図２に示した現在カメラ垂直位置推定部１６について詳細に説明する。図１０は、現在カメラ垂直位置推定部１６の構成例を示すブロック図であり、図１１は、現在カメラ垂直位置推定部１６の処理例を示すフローチャートである。
次に、図２に示した現在カメラ垂直位置推定部１６について詳細に説明する。図１０は、現在カメラ垂直位置推定部１６の構成例を示すブロック図であり、図１１は、現在カメラ垂直位置推定部１６の処理例を示すフローチャートである。
【0117】
この現在カメラ垂直位置推定部１６は、ランドマークエクイレクタングラー座標変換部（ランドマーク画像座標変換部）３０、角度処理部３１、高さ算出部３２及び垂直位置調整情報処理部３３を備えている。
【0118】
現在カメラ垂直位置推定部１６は、ランドマーク指定部１３から３点の現在ランドマークカーソール位置及び３点の過去ランドマークカーソール位置を入力すると共に、現在カメラ水平位置推定部１５からランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）を入力する（ステップＳ１１０１）。
【0119】
ランドマークエクイレクタングラー座標変換部３０は、３点の現在ランドマークカーソール位置をランドマークエクイレクタングラー座標Ｑ１，Ｑ２，Ｑ３にそれぞれ変換し、３点の過去ランドマークカーソール位置をランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’にそれぞれ変換する（ステップＳ１１０２）。そして、ランドマークエクイレクタングラー座標変換部３０は、ランドマークエクイレクタングラー座標Ｑ１，Ｑ２，Ｑ３，Ｑ１’，Ｑ２’，Ｑ３’を角度処理部３１に出力する。
【0120】
角度処理部３１は、ランドマークエクイレクタングラー座標変換部３０からランドマークエクイレクタングラー座標Ｑ１，Ｑ２，Ｑ３，Ｑ１’，Ｑ２’，Ｑ３’を入力する。
【0121】
角度処理部３１は、現在画像Ａのランドマークエクイレクタングラー座標Ｑ１，Ｑ２，Ｑ３の緯度成分の座標値から、３次元空間の垂直面に投影された現在カメラ位置を基準にして、垂直面に投影されたランドマーク水平面座標ｑ１，ｑ２，ｑ３に対応する位置と水平方向との間の角度α１，α２，α３を求める。また、角度処理部３１は、過去画像Ｂのランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’の緯度成分の座標値から、３次元空間の垂直面に投影された過去カメラ位置を基準にして、垂直面に投影されたランドマーク水平面座標ｑ１，ｑ２，ｑ３に対応する位置と水平方向との間の角度α１’，α２’，α３’を求める（ステップＳ１１０３）。
【0122】
角度処理部３１は、角度α１，α２，α３，α１’，α２’，α３’を高さ算出部３２に出力する。
【0123】
図１２は、角度処理部３１による角度算出処理（ステップＳ１１０３）を説明する図である。図１２（１）に示すように、３次元空間を球面の経度成分及び緯度成分にて表すエクイレクタングラー形式の画像において、その緯度成分αは、－π／２～＋π／２の範囲にある。つまり、図１２（２）に示すように、その緯度成分αは、３次元空間の垂直面に投影された現在カメラ位置または過去カメラ位置を基準にすると、垂直面に投影されたランドマークＬＭ－１の位置と水平方向との間の角度である。
【0124】
したがって、角度処理部３１は、現在画像Ａにおけるランドマークエクイレクタングラー座標Ｑ１，Ｑ２，Ｑ３の緯度成分の座標値をそれぞれ角度α１，α２，α３とすることができる。また、角度処理部３１は、過去画像Ｂにおけるランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’の緯度成分の座標値をそれぞれ角度α１’，α２’，α３’とすることができる。
【0125】
図１０及び図１１に戻って、高さ算出部３２は、角度処理部３１から角度α１，α２，α３，α１’，α２’，α３’を入力する。高さ算出部３２は、角度α１，α２，α３，α１’，α２’，α３’及び現在カメラ水平位置推定部１５から入力したランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）に基づいて、垂直面に投影された過去カメラ位置と現在カメラ位置との間の距離である高さｈ１，ｈ２，ｈ３を算出する（ステップＳ１１０４）。そして、高さ算出部３２は、高さｈ１，ｈ２，ｈ３を垂直位置調整情報処理部３３に出力する。これらの高さｈ１，ｈ２，ｈ３は、現在カメラ４を鉛直方向へ移動させるべき高さを意味する。
【0126】
具体的には、図１２（２）を参照して、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）は、垂直面における過去カメラ位置及び現在カメラ位置からランドマークＬＭ－１，ＬＭ－２，ＬＭ－３までの水平方向の距離ｄ１，ｄ２，ｄ３に相当するものとする。ここでの現在カメラ位置は、ユーザによる現在カメラ４の水平移動の操作（図５のステップＳ５０５）が完了したときの位置、すなわち水平面において過去カメラ位置と同じ位置であり、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）は、ユーザによる現在カメラ４の水平移動の操作が完了したときの距離である。このため、距離ｄ１，ｄ２，ｄ３は、過去カメラ位置及び現在カメラ位置において同じ値である。
【0127】
高さ算出部３２は、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）を距離ｄ１，ｄ２，ｄ３として、以下の式により、高さｈ１，ｈ２，ｈ３を算出する。
［数３］
ｈ１＝ｄ１（ｔａｎ（α１）－ｔａｎ（α１’））
ｈ２＝ｄ２（ｔａｎ（α２）－ｔａｎ（α２’）） ・・・（３）
ｈ３＝ｄ３（ｔａｎ（α３）－ｔａｎ（α３’））
［数３］
ｈ１＝ｄ１（ｔａｎ（α１）－ｔａｎ（α１’））
ｈ２＝ｄ２（ｔａｎ（α２）－ｔａｎ（α２’）） ・・・（３）
ｈ３＝ｄ３（ｔａｎ（α３）－ｔａｎ（α３’））
【0128】
図１２（２）に示すように、垂直面に投影された過去カメラ位置と現在カメラ位置との間の距離である高さｈ１は、ランドマーク水平距離（Ｐ－ｑ１）である距離ｄ１、過去カメラ位置の角度α１’の正接（タンジェント）及び現在カメラ位置の角度α１の正接から算出することができる。
【0129】
垂直位置調整情報処理部３３は、高さ算出部３２から高さｈ１，ｈ２，ｈ３を入力し、高さｈ１，ｈ２，ｈ３の示す向きが同じであるか否かを判定する（ステップＳ１１０５）。高さｈ１，ｈ２，ｈ３の全ての符号がプラスまたはマイナスである場合、高さｈ１，ｈ２，ｈ３の示す向きが同じであると判定される。
【0130】
垂直位置調整情報処理部３３は、ステップＳ１１０５において、向きが同じであると判定した場合（ステップＳ１１０５：Ｙ）、高さｈ１，ｈ２，ｈ３の絶対値のうち最小値を特定し、最小値に対応する高さを垂直位置調整情報に設定する。そして、垂直位置調整情報処理部３３は、垂直位置調整情報を地図表示部１７に出力する（ステップＳ１１０６）。これにより、図３の表示画面の例に示したとおり、水平面地図の上部に、垂直位置調整情報が表示される。
【0131】
一般に、高さｈ１，ｈ２，ｈ３が同じ値である場合は、現在カメラ４の水平が保たれており、高さｈ１，ｈ２，ｈ３が異なる場合は、現在カメラ４の水平が保たれていない。このため、高さｈ１，ｈ２，ｈ３が全て同じ符号で異なる値の場合、それぞれの絶対値のうち最小値を垂直位置調整情報に設定することで、信頼性の高い垂直位置調整情報を得ることができる。
【0132】
一方、垂直位置調整情報処理部３３は、ステップＳ１１０５において、向きが同じでないと判定した場合（ステップＳ１１０５：Ｎ）、垂直位置調整情報を設定しない。この場合、図３の表示画面の例において、水平面地図の上部には垂直位置調整情報が表示されない。
【0133】
高さｈ１，ｈ２，ｈ３の示す向きが同じでない場合、前述した前提条件＜ａ＞が満たされていない、すなわち現在カメラ４の水平が保たれていない可能性がある。または、過去画像Ｂを撮影したときの過去カメラの水平が保たれていない可能性がある。前者の場合、ユーザは、高さｈ１，ｈ２，ｈ３の示す向きが同じになるように、水準器等を用いて現在カメラ４の水平を保つようにする。
【0134】
以上のように、実施例１のカメラ位置調整情報生成装置１によれば、カメラ映像取得部１１は、現在カメラ４により撮影されたライブ映像を取得する。そして、映像及び画像表示部１２は、ライブ映像の現在画像Ａを画面表示すると共に、過去画像蓄積部１０から読み出した過去画像Ｂを画面表示する。
【0135】
ランドマーク指定部１３は、ユーザによるクリック操作に従って、過去画像Ｂにおける３点の過去ランドマークカーソール位置、及びこれに対応する現在画像Ａにおける３点の現在ランドマークカーソール位置を指定する。
【0136】
ランドマーク距離調整部１４は、ユーザによるドラッグ操作に従って、初期のランドマーク水平面座標ｑ１，ｑ２，ｑ３の点と過去カメラ水平面座標Ｏの点との間の（点を通る）直線上にそれぞれ限定されたカーソール位置と、過去カメラ水平面座標Ｏの点との間の過去カメラ／ランドマーク水平距離を算出する。
【0137】
現在カメラ水平位置推定部１５は、３点の過去ランドマークカーソール位置に対応するランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’及び過去カメラ／ランドマーク暫定水平距離または過去カメラ／ランドマーク水平距離に基づいて、初期またはドラッグ操作時のランドマーク水平面座標ｑ１，ｑ２，ｑ３を求める。
【0138】
現在カメラ水平位置推定部１５は、ランドマーク水平面座標ｑ１，ｑ２，ｑ３等に基づいて、現在カメラ水平面座標Ｐを推定し、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）及び水平位置調整情報を求める。
【0139】
現在カメラ垂直位置推定部１６は、３点の過去ランドマークカーソール位置に対応するランドマークエクイレクタングラー座標Ｑ１’，Ｑ２’，Ｑ３’を用いて、過去カメラ位置を基準にした垂直面におけるランドマーク水平面座標ｑ１，ｑ２，ｑ３の角度α１’，α２’，α３’を求める。また、現在カメラ垂直位置推定部１６は、同様に、３点の現在ランドマークカーソール位置に対応するランドマークエクイレクタングラー座標Ｑ１，Ｑ２，Ｑ３を用いて、現在カメラ位置を基準にした角度α１，α２，α３を求める。
【0140】
現在カメラ垂直位置推定部１６は、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）及び角度α１，α２，α３，α１’，α２’，α３’に基づいて、垂直面に投影された過去カメラ位置と現在カメラ位置との間の高さｈ１，ｈ２，ｈ３をそれぞれ求め、垂直位置調整情報を求める。
【0141】
地図表示部１７は、ランドマーク水平面座標ｑ１，ｑ２，ｑ３、水平位置調整情報及び垂直位置調整情報等を水平面地図として画面表示する。
【0142】
ここで、ユーザは、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）が、レーザ測距計６を用いて測定した現在カメラ位置と３点のランドマークＬＭに対応する３次元空間の位置との間の水平方向の測距値に一致するように、ドラッグ操作を行う。そして、ユーザは、ドラッグ操作後に、現在カメラ水平位置推定部１５により求めた水平位置調整情報を参照し、現在カメラ４を水平移動させる。その後、ユーザは、現在カメラ４を水平移動させた後に、現在カメラ垂直位置推定部１６により求めた垂直位置調整情報を参照し、現在カメラ４を垂直移動させる。
【0143】
これにより、過去画像Ｂに現在画像Ａの空間的な位置関係を合わせるために、現在カメラ位置を調整する際に用いる水平位置調整情報及び垂直位置調整情報を生成することができる。そして、ユーザは、これらの水平位置調整情報及び垂直位置調整情報を用いることで、過去カメラ位置に現在カメラ位置を簡単にかつ素早く調整することができる。
【0144】
〔実施例２〕
次に、実施例２のカメラ位置調整情報生成装置２について説明する。実施例２のカメラ位置調整情報生成装置２は、ライブ映像の現在画像Ａにおけるランドマーク画像及び現在ランドマークカーソール位置のトラッキング機能を有する装置である。
次に、実施例２のカメラ位置調整情報生成装置２について説明する。実施例２のカメラ位置調整情報生成装置２は、ライブ映像の現在画像Ａにおけるランドマーク画像及び現在ランドマークカーソール位置のトラッキング機能を有する装置である。
【0145】
実施例１のカメラ位置調整情報生成装置１では、クリック操作により指定された現在ランドマークカーソール位置を基準にして角度θP1,2，θP2,3が算出され、ランドマーク水平面座標ｑ１，ｑ２，ｑ３及び角度θP1,2，θP2,3等に基づいて現在カメラ水平面座標Ｐが算出される。この場合、現在ランドマークカーソール位置は変更されないため、現在カメラ水平面座標Ｐを求める際に用いる角度θP1,2，θP2,3は、最初の１回の演算により固定されてしまう。
【0146】
しかしながら、最初の１回の演算にて固定された角度θP1,2，θP2,3を用いて現在カメラ水平面座標Ｐが算出され、水平位置調整情報が求められるものの、現在カメラ位置を正確に調整することは困難である。なぜならば、ユーザは現在カメラ４を空中で移動させることとなるため、現在カメラ位置をｃｍ単位に調整することが難しいからである。垂直位置調整情報についても同様である。水平位置調整情報の示す距離が長いほど、及び垂直位置調整情報の示す高さが高いほど、すなわち現在カメラ４を移動させる距離が長いほど、調整誤差が大きくなってしまう。
【0147】
そこで、実施例２のカメラ位置調整情報生成装置２では、現在画像Ａから、指定された現在ランドマークカーソール位置の周辺画像をランドマーク画像として切り出し、現在カメラ位置の変更に伴い、現在画像Ａにおいて現在ランドマークカーソール位置及びランドマーク画像をリアルタイムに追跡するトラッキング機能を実現するようにした。このトラッキング機能により、現在カメラ位置の変更に伴い、現在カメラ位置が移動中であっても、現在カメラ水平面座標Ｐがリアルタイムに推定され、水平位置調整情報及び垂直位置調整情報がリアルタイムに更新される。
【0148】
図１３は、実施例２のカメラ位置調整情報生成装置２の構成例を示すブロック図である。このカメラ位置調整情報生成装置２は、過去画像蓄積部１０、カメラ映像取得部１１、映像及び画像表示部１２、ランドマーク指定部１３、ランドマーク距離調整部１４、現在カメラ水平位置推定部１５、現在カメラ垂直位置推定部１６及び地図表示部１７に加え、トラッキング処理部１８を備えている。
【0149】
図２に示した実施例１のカメラ位置調整情報生成装置１と、図１３に示す実施例２のカメラ位置調整情報生成装置２とを比較すると、両カメラ位置調整情報生成装置１，２は、過去画像蓄積部１０、カメラ映像取得部１１、映像及び画像表示部１２、ランドマーク指定部１３、ランドマーク距離調整部１４、現在カメラ水平位置推定部１５、現在カメラ垂直位置推定部１６及び地図表示部１７を備えている点で共通する。一方、カメラ位置調整情報生成装置２は、カメラ位置調整情報生成装置１の構成部に加え、さらにトラッキング処理部１８を備えている点で、カメラ位置調整情報生成装置１と相違する。図１３において、図２と共通する部分には図２と同一の符号を付し、その詳しい説明は省略する。
【0150】
カメラ映像取得部１１は、ライブ映像の現在画像Ａを映像及び画像表示部１２及びトラッキング処理部１８に出力し、ランドマーク指定部１３は、３点の現在ランドマークカーソール位置及び３点の過去ランドマークカーソール位置をトラッキング処理部１８に出力する。
【0151】
トラッキング処理部１８は、カメラ映像取得部１１からライブ映像の現在画像Ａを入力すると共に、ランドマーク指定部１３から３点の現在ランドマークカーソール位置及び３点の過去ランドマークカーソール位置を入力する。そして、トラッキング処理部１８は、現在画像Ａにおいて、３点の現在ランドマークカーソール位置の周辺画像とテンプレート画像とのマッチング処理により、ランドマーク画像をそれぞれ切り出す。トラッキング処理部１８は、現在カメラ位置の変更に伴い、現在画像Ａにおいて、３点の現在ランドマークカーソール位置及び３つのランドマーク画像をトラッキングする。
【0152】
トラッキング処理部１８は、トラッキング後の３点の現在ランドマークカーソール位置及び入力した３点の過去ランドマークカーソール位置を現在カメラ水平位置推定部１５及び現在カメラ垂直位置推定部１６に出力する。また、トラッキング処理部１８は、トラッキング後の３つのランドマーク画像を映像及び画像表示部１２に出力する。これにより、ランドマーク画像が画面表示される。
【0153】
また、トラッキング処理部１８は、過去画像蓄積部１０から過去画像Ｂを読み出し、過去画像Ｂから、３点の過去ランドマークカーソール位置の周辺画像をランドマーク画像としてそれぞれ切り出し、過去画像Ｂの３つのランドマーク画像を映像及び画像表示部１２に出力する。
【0154】
これにより、図３に示したとおり、ライブ映像の現在画像Ａ及び過去画像Ｂと共に、現在画像Ａのランドマーク画像ＬＭ－１Ａ，ＬＭ－１Ｂ，ＬＭ－１Ａ及び過去画像Ｂのランドマーク画像ＬＭ－１Ｂ，ＬＭ－２Ｂ，ＬＭ－３Ｂがサムネイル画像として画面表示される。
【0155】
図３のランドマーク画像が表示される領域において、３画像を１組として、上の段の左側には、ユーザのクリック操作により現在ランドマークカーソール位置が指定されたときのランドマーク画像ＬＭ－２Ａ，ＬＭ－３Ａ，ＬＭ－１Ａが表示される。また、上の段の右側には、トラッキングされたランドマーク画像ＬＭ－２Ａ，ＬＭ－３Ａ，ＬＭ－１Ａがリアルタイムに表示される。また、下の段には、ユーザのクリック操作により過去ランドマークカーソール位置が指定されたときのランドマーク画像ＬＭ－２Ｂ，ＬＭ－３Ｂ，ＬＭ－１Ｂが表示される。ランドマーク画像の近くに表示された数値（０．９８，０．９７，０．８３）は、ランドマーク画像ＬＭ－２Ａ，ＬＭ－３Ａ，ＬＭ－１Ａとランドマーク画像ＬＭ－２Ｂ，ＬＭ－３Ｂ，ＬＭ－１Ｂとの間において、それぞれのテンプレートマッチング精度を示している。
【0156】
（トラッキング処理部１８）
次に、図１３に示したトラッキング処理部１８について詳細に説明する。図１４は、トラッキング処理部１８の構成例を示すブロック図であり、図１５は、トラッキング処理部１８の処理例を示すフローチャートである。
次に、図１３に示したトラッキング処理部１８について詳細に説明する。図１４は、トラッキング処理部１８の構成例を示すブロック図であり、図１５は、トラッキング処理部１８の処理例を示すフローチャートである。
【0157】
トラッキング処理部１８は、画像切出部４０、ランドマーク画像蓄積部４１、ランドマーク画像トラッキング部４２及びカーソール位置トラッキング部４３を備えている。
【0158】
画像切出部４０は、ランドマーク指定部１３から３点の現在ランドマークカーソール位置及び３点の過去ランドマークカーソール位置を入力し（ステップＳ１５０１）、カメラ映像取得部１１からライブ映像の現在画像Ａを入力する（ステップＳ１５０２）。以下に示すステップＳ１５０３～Ｓ１５０７の処理は、３点の現在ランドマークカーソール位置のそれぞれについて行われる。
【0159】
画像切出部４０は、３点の現在ランドマークカーソール位置のそれぞれについて、現在ランドマークカーソール位置の周辺画像と、後述するステップＳ１５０４にて設定されたテンプレート画像とのマッチング処理（テンプレートマッチング）をそれぞれ行う（ステップＳ１５０３）。そして、画像切出部４０は、マッチングした周辺画像をランドマーク画像として切り出し、ランドマーク画像蓄積部４１に格納し、ランドマーク画像をテンプレート画像に設定する（ステップＳ１５０４）。
【0160】
これにより、テンプレート画像が更新され、トラッキングされる現在ランドマークカーソール位置及びランドマーク画像のトラッキングずれを防止することができる。
【0161】
ここで、画像切出部４０は、初期処理の際に、ステップＳ１５０３のマッチング処理を行わない。画像切出部４０は、ステップＳ１５０３において、ステップＳ１５０１にて入力した現在ランドマークカーソール位置の所定の周辺画像をランドマーク画像として切り出し、ランドマーク画像蓄積部４１に格納する。そして、画像切出部４０は、当該ランドマーク画像をテンプレート画像に設定する。
【0162】
画像切出部４０は、切り出したランドマーク画像内の所定位置（例えば中央の位置）を新たな現在ランドマークカーソール位置に設定し、新たな現在ランドマークカーソール位置をランドマーク画像蓄積部４１に格納する（ステップＳ１５０５）。
【0163】
ランドマーク画像トラッキング部４２は、ランドマーク画像蓄積部４１からランドマーク画像を読み出すことで、ランドマーク画像を更新し、トラッキング後のランドマーク画像として映像及び画像表示部１２に出力する（ステップＳ１５０６）。これにより、トラッキングされたランドマーク画像が画面表示される。
【0164】
また、カーソール位置トラッキング部４３は、ランドマーク画像蓄積部４１から現在ランドマークカーソール位置を読み出すことで、現在ランドマークカーソール位置を更新し、トラッキング後の現在ランドマークカーソール位置として現在カメラ水平位置推定部１５及び現在カメラ垂直位置推定部１６に出力する（ステップＳ１５０７）。これにより、現在カメラ水平位置推定部１５により、トラッキング後の現在ランドマークカーソール位置を用いて現在カメラ水平面座標Ｐが推定され、水平位置調整情報等が求められる。また、現在カメラ垂直位置推定部１６により、トラッキング後の現在ランドマークカーソール位置を用いて、垂直位置調整情報が求められる。
【0165】
また、画像切出部４０は、過去ランドマークカーソール位置をカーソール位置トラッキング部４３に出力し、カーソール位置トラッキング部４３は、過去ランドマークカーソール位置を現在カメラ水平位置推定部１５及び現在カメラ垂直位置推定部１６に出力する（ステップＳ１５０８）。
【0166】
トラッキング処理部１８は、当該トラッキング処理部１８の処理が終了するか否かを判定する（ステップＳ１５０９）。トラッキング処理部１８は、当該処理が終了しない限り、ステップＳ１５０２へ移行し、画像切出部４０にて新たなライブ映像の現在画像Ａを入力し、ステップＳ１５０３～Ｓ１５０７の処理を繰り返す。
【0167】
これにより、現在カメラ位置の変動に伴ってトラッキングされたランドマーク画像及び現在ランドマークカーソール位置が出力される。
【0168】
尚、画像切出部４０によるステップＳ１５０３のマッチング処理において、周辺画像の探索範囲は、計算時間を考慮して、現在画像Ａの前フレームの現在ランドマークカーソール位置を中心とした所定範囲に限定することが有効である。しかし、探索範囲を狭くすると、現在カメラ４が長い距離移動した場合に、トラッキングすることができなくなる可能性がある。このため、探索範囲は、計算資源と利便性とのトレードオフを考慮して設定することが望ましい。
【0169】
以上のように、実施例２のカメラ位置調整情報生成装置２によれば、トラッキング処理部１８は、現在カメラ位置の変更に伴い、現在画像Ａにおける現在ランドマークカーソール位置の周辺画像と、以前に切り出したランドマーク画像であるテンプレート画像とのマッチング処理を行い、マッチングした周辺画像をランドマーク画像として切り出すことで、ランドマーク画像をトラッキングする。そして、トラッキング処理部１８は、ランドマーク画像をテンプレート画像に設定する。
【0170】
また、トラッキング処理部１８は、切り出したランドマーク画像から現在ランドマークカーソール位置を設定することで、現在ランドマークカーソール位置をトラッキングする。
【0171】
これにより、後段の現在カメラ水平位置推定部１５にて、トラッキング後の現在ランドマークカーソール位置を用いて現在カメラ水平面座標Ｐが推定され、水平位置調整情報等が求められる。また、後段の現在カメラ垂直位置推定部１６にて、トラッキング後の現在ランドマークカーソール位置を用いて、垂直位置調整情報が求められる。
【0172】
したがって、実施例１と同様の効果を奏すると共に、トラッキング機能により、現在カメラ水平位置推定部１５において、現在カメラ位置の変更に伴い、現在カメラ位置が移動中であっても、現在カメラ水平面座標Ｐをリアルタイムに推定することができる。結果として、水平位置調整情報及び垂直位置調整情報をリアルタイムに更新することができる。
【0173】
〔実施例３／スナップ機能〕
次に、実施例３のカメラ位置調整情報生成装置３について説明する。実施例３のカメラ位置調整情報生成装置３は、カーソール位置のスナップ機能を有する装置である。
次に、実施例３のカメラ位置調整情報生成装置３について説明する。実施例３のカメラ位置調整情報生成装置３は、カーソール位置のスナップ機能を有する装置である。
【0174】
図５に示したユーザの操作手順において、ユーザによりステップＳ５０１のクリック操作にて、ランドマークＬＭの位置が設定される。しかし、ランドマークＬＭのクリック位置がずれた場合には、現在カメラ水平面座標Ｐの推定精度が低下し、結果として、現在カメラ位置を調整する際に用いる水平位置調整情報及び垂直位置調整情報の精度が低下する。
【0175】
そこで、実施例３のカメラ位置調整情報生成装置３では、カーソール位置付近の画像の局所特徴量を抽出し、物体の角等の特徴点位置にカーソール位置を移動させるスナップ機能を実現するようにした。このスナップ機能により、ユーザは、ランドマークＬＭをクリックするときの慎重さから解放され、常に安定した精度の水平位置調整情報等を用いて現在カメラ位置を調整することができる。
【0176】
図１６は、実施例３のカメラ位置調整情報生成装置３の構成例を示すブロック図である。このカメラ位置調整情報生成装置３は、過去画像蓄積部１０、カメラ映像取得部１１、映像及び画像表示部１２、ランドマーク指定部１３、ランドマーク距離調整部１４、現在カメラ水平位置推定部１５、現在カメラ垂直位置推定部１６及び地図表示部１７に加え、スナップ処理部１９を備えている。
【0177】
図２に示した実施例１のカメラ位置調整情報生成装置１と、図１６に示す実施例３のカメラ位置調整情報生成装置３とを比較すると、両カメラ位置調整情報生成装置１，３は、過去画像蓄積部１０、カメラ映像取得部１１、映像及び画像表示部１２、ランドマーク指定部１３、ランドマーク距離調整部１４、現在カメラ水平位置推定部１５、現在カメラ垂直位置推定部１６及び地図表示部１７を備えている点で共通する。一方、カメラ位置調整情報生成装置３は、カメラ位置調整情報生成装置１の構成部に加え、さらにスナップ処理部１９を備えている点で、カメラ位置調整情報生成装置１と相違する。図１６において、図２と共通する部分には図２と同一の符号を付し、その詳しい説明は省略する。
【0178】
スナップ処理部１９は、過去画像蓄積部１０から過去画像Ｂを読み出すと共に、カメラ映像取得部１１からライブ映像の現在画像Ａを入力し、ポインティングデバイス７から、ユーザによる操作に従ってカーソール位置を入力する。
【0179】
スナップ処理部１９は、過去画像Ｂの特徴点及び現在画像Ａの特徴点を抽出し、カーソール位置を、過去画像Ｂの特徴点の位置または現在画像Ａの特徴点の位置にスナップし、スナップ後のカーソール位置をランドマーク指定部１３に出力する。
【0180】
（スナップ処理部１９）
次に、図１６に示したスナップ処理部１９について詳細に説明する。図１７は、スナップ処理部１９の構成例を示すブロック図であり、図１８は、スナップ処理部１９の処理例を示すフローチャートである。
次に、図１６に示したスナップ処理部１９について詳細に説明する。図１７は、スナップ処理部１９の構成例を示すブロック図であり、図１８は、スナップ処理部１９の処理例を示すフローチャートである。
【0181】
スナップ処理部１９は、特徴点抽出部５０及びスナップ部５１を備えている。スナップ処理部１９は、過去画像蓄積部１０から過去画像Ｂを読み出すと共に、カメラ映像取得部１１からライブ映像の現在画像Ａを入力し、ユーザによるポインティングデバイス７の操作に従ってカーソール位置を入力する（ステップＳ１８０１）。
【0182】
ここでのユーザ操作は、過去画像Ｂ及び現在画像Ａのカーソール位置を、それぞれ過去ランドマークカーソール位置及び現在ランドマークカーソール位置に指定するための操作である。
【0183】
特徴点抽出部５０は、例えばＨａｒｒｉｓコーナー検出の処理にて、過去画像Ｂから複数の特徴点位置を抽出し、現在画像Ａから複数の特徴点位置を抽出し（ステップＳ１８０２）、これらの特徴点位置をスナップ部５１に出力する。
【0184】
Ｈａｒｒｉｓコーナー検出の処理を用いることにより、物体のエッジのうち、例えば背景とのコントラストが明確なコーナー等が特徴点位置として抽出される。Ｈａｒｒｉｓコーナー検出の処理は一例であり、他の処理を用いるようにしてもよい。
【0185】
Ｈａｒｒｉｓコーナー検出の処理の詳細については、例えば以下の文献を参照されたい。
［非特許文献］
“Ｈａｒｒｉｓコーナー検出”、［online］、［令和２年１０月２０日検索］、インターネット＜ＵＲＬ：http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_feature2d/py_features_harris/py_features_harris.html＞
［非特許文献］
“Ｈａｒｒｉｓコーナー検出”、［online］、［令和２年１０月２０日検索］、インターネット＜ＵＲＬ：http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_feature2d/py_features_harris/py_features_harris.html＞
【0186】
スナップ部５１は、特徴点抽出部５０から特徴点位置を入力すると共に、ポインティングデバイス７からカーソール位置を入力し、カーソール位置に最も近い特徴点位置を特定し、カーソール位置を、特定した特徴点位置にスナップする（ステップＳ１８０３）。
【0187】
具体的には、スナップ部５１は、カーソール位置が過去画像Ｂの領域内に存在する場合、過去画像Ｂから抽出された複数の特徴点位置のうち、カーソール位置に最も近い特徴点位置を特定し、カーソール位置を、特定した特徴点位置にスナップする。また、スナップ部５１は、カーソール位置が現在画像Ａの領域内に存在する場合、現在画像Ａから抽出された複数の特徴点位置のうち、カーソール位置に最も近い特徴点位置を特定し、カーソール位置を、特定した特徴点位置にスナップする。
【0188】
スナップ部５１は、スナップ後のカーソール位置をランドマーク指定部１３に出力する（ステップＳ１８０４）。
【0189】
これにより、スナップ処理部１９から、過去画像Ｂ及び現在画像Ａの特徴点位置がスナップ後のカーソール位置としてランドマーク指定部１３に出力される。
【0190】
以上のように、実施例３のカメラ位置調整情報生成装置３によれば、スナップ処理部１９は、現在画像Ａ及び過去画像Ｂのそれぞれについて、複数の特徴点位置を抽出し、入力したカーソール位置に最も近い特徴点位置を特定し、カーソール位置を、特定した特徴点位置にスナップする。
【0191】
これにより、後段のランドマーク指定部１３には、現在画像Ａ及び過去画像Ｂの特徴点位置がスナップ後のカーソール位置として入力され、特徴点位置の現在ランドマークカーソール位置及び過去ランドマークカーソール位置が指定される。このため、現在ランドマークカーソール位置及び過去ランドマークカーソール位置は、同じ特徴点位置に指定され易くなり、正確に対応付けすることができる。
【0192】
したがって、実施例１と同様の効果を奏すると共に、スナップ機能により、ユーザは、ランドマークＬＭをクリックするときの慎重さから解放され、後段の現在カメラ水平位置推定部１５等にて、常に安定した精度の水平位置調整情報等を求めることができる。結果としてユーザは、精度の高い水平位置調整情報等を用いて現在カメラ位置を正確に調整することができる。
【0193】
尚、カメラ位置調整情報生成装置３は、さらに、図１３の実施例２のカメラ位置調整情報生成装置２に備えたトラッキング処理部１８を備えるようにしてもよい。これにより、トラッキング処理部１８において、テンプレートマッチングし易いランドマーク画像を現在画像Ａから切り出すことができる。また、現在画像Ａにおいて、他の領域で頻出しない特徴的なランドマーク画像を得ることができる。
【0194】
以上、実施例１，２，３を挙げて本発明を説明したが、本発明は前記実施例１，２，３に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0195】
例えば、実施例１，２，３では、ランドマークＬＭの数をＫ＝３として説明したが、本発明は、ランドマークＬＭの数をＫ＝３に限定するものではなく、Ｋが３以上の所定数（整数）であればよい。尚、ランドマークの数をＫ＝３とすることで、処理負荷を低減することができる。
【0196】
また、前述のとおり、現在カメラ水平位置推定部１５の現在カメラ水平面座標推定部２２は、Ｋ＝３の場合、ランドマーク水平面座標ｑ１，ｑ２，ｑ３、角度θP1,2，θP2,3及び予め設定された過去カメラ水平面座標Ｏを用いて、現在カメラ水平面座標Ｐを算出することができる。これに対し、現在カメラ水平面座標推定部２２は、Ｋ≧４の場合、ランドマーク水平面座標ｑ１，ｑ２，ｑ３，ｑ４，・・・、角度θP1,2，θP2,3，θP3,4，・・・及び予め設定された過去カメラ水平面座標Ｏを用いて、複数の現在カメラ水平面座標Ｐを算出することとなり、１つの現在カメラ水平面座標Ｐを特定することができない。この場合、現在カメラ水平面座標推定部２２は、最小二乗法等を用いて、複数の現在カメラ水平面座標Ｐから１つの現在カメラ水平面座標Ｐを特定する。
【0197】
また、実施例１，２，３では、ライブ画像の現在画像Ａ及び過去画像Ｂをエクイレクタングラー形式の画像として説明したが、本発明は、撮影対象の画像をエクイレクタングラー形式の画像に限定するものではない。ライブ画像の現在画像Ａ及び過去画像Ｂは、撮影対象の座標値を球面の経度成分及び緯度成分にて表すことが可能な形式であれば何でもよい。
【0198】
また、実施例１，２，３において、ユーザは手動にて、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）が測距値に一致するようにドラッグ操作を行う。そして、カメラ位置調整情報生成装置１，２，３のランドマーク距離調整部１４は、そのときの過去カメラ／ランドマーク水平距離を算出し、現在カメラ水平位置推定部１５は、そのときの過去カメラ／ランドマーク水平距離を用いてランドマーク水平面座標ｑ１，ｑ２，ｑ３を求め、現在カメラ水平面座標Ｐを推定し、水平位置調整情報を求めるようにした。そして、ユーザは、ドラッグ操作後の水平位置調整情報に従い、現在カメラ４を水平移動させる。
【0199】
ここで、ユーザによる手動のドラッグ操作に代えて、ランドマーク距離調整部１４は、ドラッグ操作を自動的に行うようにしてもよい。
【0200】
この場合、ランドマーク距離調整部１４は、レーザ測距計６から３点のランドマークＬＭに対応する測距値をそれぞれ入力する。そして、ランドマーク距離調整部１４は、初期のランドマーク水平面座標ｑ１，ｑ２，ｑ３の点と過去カメラ水平面座標Ｏの点との間の（点を通る）直線上の位置にカーソール位置を限定しながら、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）が測距値に一致するように、カーソール位置を移動させる。
【0201】
ランドマーク距離調整部１４は、ランドマーク水平距離（Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３）が測距値を中心とした所定範囲内の値に一致したときの過去カメラ／ランドマーク水平距離を算出し、過去カメラ／ランドマーク水平距離を現在カメラ水平位置推定部１５に出力する。
【0202】
尚、本発明の実施形態によるカメラ位置調整情報生成装置１，２，３のハードウェア構成としては、通常のコンピュータを使用することができる。カメラ位置調整情報生成装置１，２，３は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【0203】
カメラ位置調整情報生成装置１に備えた過去画像蓄積部１０、カメラ映像取得部１１、映像及び画像表示部１２、ランドマーク指定部１３、ランドマーク距離調整部１４、現在カメラ水平位置推定部１５、現在カメラ垂直位置推定部１６及び地図表示部１７の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0204】
また、カメラ位置調整情報生成装置２に備えた過去画像蓄積部１０、カメラ映像取得部１１、映像及び画像表示部１２、ランドマーク指定部１３、ランドマーク距離調整部１４、現在カメラ水平位置推定部１５、現在カメラ垂直位置推定部１６、地図表示部１７及びトラッキング処理部１８の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0205】
また、カメラ位置調整情報生成装置３に備えた過去画像蓄積部１０、カメラ映像取得部１１、映像及び画像表示部１２、ランドマーク指定部１３、ランドマーク距離調整部１４、現在カメラ水平位置推定部１５、現在カメラ垂直位置推定部１６、地図表示部１７及びスナップ処理部１９の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0206】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【0207】
１，２，３ カメラ位置調整情報生成装置
４ カメラ（現在カメラ）
５ キャプチャデバイス
６ レーザ測距計
７ ポインティングデバイス
１０ 過去画像蓄積部
１１ カメラ映像取得部
１２ 映像及び画像表示部
１３ ランドマーク指定部
１４ ランドマーク距離調整部
１５ 現在カメラ水平位置推定部
１６ 現在カメラ垂直位置推定部
１７ 地図表示部
１８ トラッキング処理部
１９ スナップ処理部
２０，３０ ランドマークエクイレクタングラー座標変換部
２１ ランドマーク水平面座標変換部
２２ 現在カメラ水平面座標推定部
２３ ランドマーク水平距離算出部
２４ 水平位置調整情報処理部
３１ 角度処理部
３２ 高さ算出部
３３ 垂直位置調整情報処理部
４０ 画像切出部
４１ ランドマーク画像蓄積部
４２ ランドマーク画像トラッキング部
４３ カーソール位置トラッキング部
５０ 特徴点抽出部
５１ スナップ部
１００ 視聴者
１０１ ＨＭＤ（Head Mounted Display：ヘッドマウントディスプレイ）
１０２ 境界線
１０３ コントローラ
ＡＡ 現在映像
ＢＢ 過去映像
Ａ 現在画像
Ｂ 過去画像
Ｏ 過去カメラ水平面座標
Ｐ 現在カメラ水平面座標
ｑｋ，ｑ１，ｑ２，ｑ３ ランドマーク水平面座標
Ｑｋ，Ｑ１，Ｑ２，Ｑ３，Ｑｋ’，Ｑ１’，Ｑ２’，Ｑ３’ ランドマークエクイレクタングラー座標
Ｐ－ｑｋ，Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３ ランドマーク水平距離
ＬＭ，ＬＭ－ｋ，ＬＭ－１，ＬＭ－２，ＬＭ－３ ランドマーク
ＬＭ－ｋＡ，ＬＭ－１Ａ，ＬＭ－２Ａ，ＬＭ－３Ａ，ＬＭ－ｋＢ，ＬＭ－１Ｂ，ＬＭ－２Ｂ，ＬＭ－３Ｂ ランドマーク画像
αｋ，α１，α２，α３，αｋ’，α１’，α２’，α３’ 角度
ｈｋ，ｈ１，ｈ２，ｈ３ 高さ
４ カメラ（現在カメラ）
５ キャプチャデバイス
６ レーザ測距計
７ ポインティングデバイス
１０ 過去画像蓄積部
１１ カメラ映像取得部
１２ 映像及び画像表示部
１３ ランドマーク指定部
１４ ランドマーク距離調整部
１５ 現在カメラ水平位置推定部
１６ 現在カメラ垂直位置推定部
１７ 地図表示部
１８ トラッキング処理部
１９ スナップ処理部
２０，３０ ランドマークエクイレクタングラー座標変換部
２１ ランドマーク水平面座標変換部
２２ 現在カメラ水平面座標推定部
２３ ランドマーク水平距離算出部
２４ 水平位置調整情報処理部
３１ 角度処理部
３２ 高さ算出部
３３ 垂直位置調整情報処理部
４０ 画像切出部
４１ ランドマーク画像蓄積部
４２ ランドマーク画像トラッキング部
４３ カーソール位置トラッキング部
５０ 特徴点抽出部
５１ スナップ部
１００ 視聴者
１０１ ＨＭＤ（Head Mounted Display：ヘッドマウントディスプレイ）
１０２ 境界線
１０３ コントローラ
ＡＡ 現在映像
ＢＢ 過去映像
Ａ 現在画像
Ｂ 過去画像
Ｏ 過去カメラ水平面座標
Ｐ 現在カメラ水平面座標
ｑｋ，ｑ１，ｑ２，ｑ３ ランドマーク水平面座標
Ｑｋ，Ｑ１，Ｑ２，Ｑ３，Ｑｋ’，Ｑ１’，Ｑ２’，Ｑ３’ ランドマークエクイレクタングラー座標
Ｐ－ｑｋ，Ｐ－ｑ１，Ｐ－ｑ２，Ｐ－ｑ３ ランドマーク水平距離
ＬＭ，ＬＭ－ｋ，ＬＭ－１，ＬＭ－２，ＬＭ－３ ランドマーク
ＬＭ－ｋＡ，ＬＭ－１Ａ，ＬＭ－２Ａ，ＬＭ－３Ａ，ＬＭ－ｋＢ，ＬＭ－１Ｂ，ＬＭ－２Ｂ，ＬＭ－３Ｂ ランドマーク画像
αｋ，α１，α２，α３，αｋ’，α１’，α２’，α３’ 角度
ｈｋ，ｈ１，ｈ２，ｈ３ 高さ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
