特許 6506031 測量データ処理装置、測量データ処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6506031

(24)【登録日】2019年4月5日

(45)【発行日】2019年4月24日

(54)【発明の名称】測量データ処理装置、測量データ処理方法およびプログラム

(51)【国際特許分類】

   G01C 11/06 20060101AFI20190415BHJP

   B64D 47/08 20060101ALI20190415BHJP

   B64C 39/02 20060101ALI20190415BHJP

   G01C 21/14 20060101ALI20190415BHJP

【ＦＩ】

   G01C11/06

   B64D47/08

   B64C39/02

   G01C21/14

【請求項の数】4

【全頁数】14

(21)【出願番号】特願2015-14291(P2015-14291)

(22)【出願日】2015年1月28日

(65)【公開番号】特開2016-138825(P2016-138825A)

(43)【公開日】2016年8月4日

【審査請求日】2018年1月22日

(73)【特許権者】

【識別番号】000220343

【氏名又は名称】株式会社トプコン

(74)【代理人】

【識別番号】100096884

【弁理士】

【氏名又は名称】末成 幹生

(72)【発明者】

【氏名】佐々木 大輔

(72)【発明者】

【氏名】深谷 暢之

(72)【発明者】

【氏名】大谷 仁志

(72)【発明者】

【氏名】穴井 哲治

(72)【発明者】

【氏名】佐々木 剛

【審査官】 河内 悠

(56)【参考文献】

【文献】 特開２０１０−０１４４５０（ＪＰ，Ａ）

【文献】 Dan Alix，Error Characterization of Flight Trajectories Reconstructed Using Structure from Motion，2013 IEEE Applied Imagery Pattern Recognition Workshop，米国，IEEE，２０１３年１０月２３日，p1-15

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ １１／００−１１／３６

Ｇ０１Ｃ ２１／００−２１／３６

Ｂ６４Ｃ ３９／０２

Ｂ６４Ｄ ４７／０８

(57)【特許請求の範囲】

【請求項1】

飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路を計測した飛行データとが入力される入力部と、
前記複数の静止画像に写っている特徴点の画面中における位置の変化に基づき、前記移動体の飛行経路を推定する飛行経路推定部と、
前記飛行データから得た飛行経路と前記飛行経路推定部が推定した前記飛行経路との対応関係を特定する対応関係特定部と
を備え、
前記対応関係特定部は、
前記推定された前記飛行経路を示すベクトルと、前記飛行データから得た前記飛行経路を示すベクトルとの間の距離の総和が最小となる前記推定された前記飛行経路の位置を求めることを特徴とする測量データ処理装置。

【請求項2】

前記飛行経路推定部は、
前記画面中の前記特徴点の移動を特徴づける移動方向ベクトルを得る処理と、
前記移動方向ベクトルに基づいて前記飛行経路の推定を行う処理を行うことを特徴とする請求項１に記載の測量データ処理装置。

【請求項3】

飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路を計測した飛行データとを受け付けるステップと、
前記複数の静止画像に写っている特徴点の画面中における位置の変化に基づき、前記移動体の飛行経路を推定するステップと、
前記飛行データから得た飛行経路と前記飛行経路推定部が推定した前記飛行経路との対応関係を特定するステップと
を備え、
前記対応関係を特定するステップでは、
前記推定された前記飛行経路を示すベクトルと、前記飛行データから得た前記飛行経路を示すベクトルとの間の距離の総和が最小となる前記推定された前記飛行経路の位置を求めることを特徴とする測量データ処理方法。

【請求項4】

コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路を計測した飛行データとを受け付ける受付部と、
前記複数の静止画像に写っている特徴点の画面中における位置の変化に基づき、前記移動体の飛行経路を推定する飛行経路推定部と、
前記飛行データから得た飛行経路と前記飛行経路推定部が推定した前記飛行経路との対応関係を特定する対応関係特定部と
して動作させ、
前記対応関係特定部は、
前記推定された前記飛行経路を示すベクトルと、前記飛行データから得た前記飛行経路を示すベクトルとの間の距離の総和が最小となる前記推定された前記飛行経路の位置を求めることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、測量技術に関する。

【背景技術】

【0002】

例えば土木工事現場等を上空から写真撮影し、その際に得られた画像データに基づき対象となる地形の三次元モデル（電子データとしてモデル化された三次元地形データ）を得る技術が知られている（例えば、特許文献１参照）。この技術では、撮影データに撮影位置の情報を関連付けする必要がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−９６７４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した技術において、カメラを搭載した自律飛行可能な無人航空機（ＵＡＶ（Unmanned Air Vehicle）。）を用いる方法がある。この場合、カメラが持つ時計と、ＵＡＶが持つＧＮＳＳ装置（航法衛星を用いた位置特定装置）およびＩＭＵ（慣性航法装置）とを同期させ、得られた静止画像（動画の場合はフレーム画像）とカメラ（ＵＡＶ）の位置および姿勢との関係を取得する。
しかしながら、コスト、ＵＡＶに搭載できる許容重量、消費電力といった問題から、撮影する静止画像と飛行経路とを同期させることができないハードウェアを使用する場合もある。この場合、得られた画像データと飛行経路とを対応付ける処理が必要となる。従来この処理は手作業で行われていたが、数百枚以上に及ぶ静止画像に対してこの作業を行うのは煩雑であり、改善が求められていた。このような背景において、本発明は、移動しながら撮影することで得た複数の静止画像と撮影時の移動経路とを対応付ける技術を提供することを目的とする。

【課題を解決するための手段】

【0005】

請求項１に記載の発明は、飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路を計測した飛行データとが入力される入力部と、前記複数の静止画像に写っている特徴点の画面中における位置の変化に基づき、前記移動体の飛行経路を推定する飛行経路推定部と、前記飛行データから得た飛行経路と前記飛行経路推定部が推定した前記飛行経路との対応関係を特定する対応関係特定部とを備え、前記対応関係特定部は、前記推定された前記飛行経路を示すベクトルと、前記飛行データから得た前記飛行経路を示すベクトルとの間の距離の総和が最小となる前記推定された前記飛行経路の位置を求めることを特徴とする測量データ処理装置である。

【0006】

移動体から連続撮影を行い、得られた静止画像を時系列順に並べると、写った被写体が画像のフレームの中で徐々に移動するように見える。これは、カメラの移動に従って撮影範囲が徐々にずれてゆくからである。これは、車窓の風景が後方に流れてゆくのと同じ原理である。ここで画像に写っている特定の特徴点に着目し、その動きを追うと、画面中におけるその動きはカメラの動きに対応したものとなる。よって、画面中の特徴点の動きを解析することでカメラの相対的な移動経路を推定することができる。ただし、この方法では実スケールが与えられていないので、推定した経路は相対的なモデルとなる。そこで、本発明では、この推定した経路と移動体の側で得られた（例えば、ＧＮＳＳ装置から得られた）移動経路とを比較し、互いの軌跡を一致させることで、両者の対応関係を求める。２つの経路の一致（あるいは一致と見なせる関係）が得られれば、移動経路と得られた静止画像との関係を知ることができる。すなわち、移動しながら撮影することで得た複数の静止画像と撮影時の移動経路との対応関係を知ることができる。

【0007】

請求項２に記載の発明は、請求項１に記載の発明において、前記飛行経路推定部は、前記画面中の前記特徴点の移動を特徴づける移動方向ベクトルを得る処理と、前記移動方向ベクトルに基づいて前記飛行経路の推定を行う処理を行うことを特徴とする。

【0009】

請求項３に記載の発明は、飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路を計測した飛行データとを受け付けるステップと、前記複数の静止画像に写っている特徴点の画面中における位置の変化に基づき、前記移動体の飛行経路を推定するステップと、前記飛行データから得た飛行経路と前記飛行経路推定部が推定した前記飛行経路との対応関係を特定するステップとを備え、前記対応関係を特定するステップでは、前記推定された前記飛行経路を示すベクトルと、前記飛行データから得た前記飛行経路を示すベクトルとの間の距離の総和が最小となる前記推定された前記飛行経路の位置を求めることを特徴とする測量データ処理方法である。

【0010】

請求項４に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路を計測した飛行データとを受け付ける受付部と、前記複数の静止画像に写っている特徴点の画面中における位置の変化に基づき、前記移動体の飛行経路を推定する飛行経路推定部と、前記飛行データから得た飛行経路と前記飛行経路推定部が推定した前記飛行経路との対応関係を特定する対応関係特定部として動作させ、前記対応関係特定部は、前記推定された前記飛行経路を示すベクトルと、前記飛行データから得た前記飛行経路を示すベクトルとの間の距離の総和が最小となる前記推定された前記飛行経路の位置を求めることを特徴とするプログラムである。

【発明の効果】

【0011】

本発明によれば、移動しながら撮影することで得た複数の静止画像と撮影時の移動経路とを対応付ける技術が得られる。

【図面の簡単な説明】

【0012】

【図1】実施形態のブロック図である。

【図2】画像処理部のブロック図である。

【図3】ＵＩ制御部のブロック図である。

【図4】テンプレートマッチングの原理を示す説明図である。

【図5】画像から飛行経路を推定する処理の原理を示す原理図である。

【図6】処理の手順の一例を示すフローチャートである。

【図7】処理の手順の一例を示すフローチャートである。

【図8】静止画像と移動経路との関係を示す図面代用写真である。

【図9】画面上に表示されるＧＵＩ画像の一例を示す図面代用写真の一例である。

【図10】画面上に表示されるＧＵＩ画像の一例を示す図面代用写真の一例である。

【図11】画面上に表示されるＧＵＩ画像の一例を示す図面代用写真の一例である。

【図12】画面上に表示されるＧＵＩ画像の一例を示す図面代用写真の一例である。

【図13】画面上に表示されるＧＵＩ画像の一例を示す図面代用写真の一例である。

【図14】画面上に表示されるＧＵＩ画像の一例を示す図面代用写真の一例である。

【発明を実施するための形態】

【0013】

１．第１の実施形態
（概要）
この例では、自律飛行可能な無人航空機（ＵＡＶ（Unmanned Air Vehicle）。）にカメラを搭載した機材を用いる。ＵＡＶは、ＧＮＳＳ装置（航法衛星を用いた位置特定装置）とＩＭＵ（慣性航法装置）を搭載しており、自律飛行が可能である。ＵＡＶは、飛行しながらカメラによって地表を連続的に撮影する。すなわち、飛行しながら、時刻ｔ１に第１の静止画像を撮影し、時刻ｔ２に第２の静止画像を撮影し、時刻ｔ３に第３の静止画像を撮影し、といった処理を連続的に行う。撮影の間隔は、必要に応じて決めればよいが、例えば２秒間隔とする。なお、動画撮影を行い、動画を構成するフレーム画像を静止画像として扱うこともできる。すなわち、動画は、時刻ｔ１に撮影した第１のフレーム画像、時刻ｔ２に撮影した第２のフレーム画像、といった時系列に並んだ複数のフレーム画像により構成されるが、そのフレーム画像を本実施形態における静止画像として用いることもできる。

【0014】

上記の撮影では、飛行しながらの撮影であるので、視点の位置が少しずつずれ、また少しずつ撮影対象の範囲がずれた静止画像が多数得られる。カメラは時計を持っており、撮影時刻は記録され、撮影した静止画像との関連付けがされた画像データが得られる。ＵＡＶは、ＧＮＳＳ装置とＩＭＵが計測した飛行経路に係るデータを記録する機能を有する。

【0015】

この例において、ＵＡＶは、ＧＮＳＳを利用して０．２秒間隔で飛行経路の位置情報を記録している。この飛行経路を記録したデータは、ログデータとして飛行後にＵＡＶ外部に出力することができる。他方でカメラは２秒間隔で静止画像の撮影を行い、その画像データを記録している。そして、ＵＡＶとカメラは、それぞれ時計を持っているが、それは同期していない、したがって、飛行が終了し、カメラから画像データを、ＵＡＶから飛行経路に係るログデータを得た段階で、画像データと飛行経路に関するログデータとの関連付けは行われていない。本実施形態は、上記の画像データと飛行経路の関連付けをソフトウェア処理により行う技術に関する。

【0016】

（構成）
カメラから得られる画像データとＵＡＶから得られる飛行経路のデータとの関係を求める処理が図１の測量データ処理装置１００において行われる。図１の測量データ処理装置１００は、コンピュータとしての機能を有し、ＣＰＵ、固体電子メモリ、ハードディスク記憶装置、各種のインターフェース、その他必要に応じた演算素子を備えている。図１には、機能として捉えた各種の機能部が記載されている。図示された各種の機能部の一部または複数は、ソフトウェア的に構成されていてもよいし、専用のハードウェアで構成されていてもよい。

【0017】

例えば、測量データ処理装置１００を専用のハードウェアで構成することも可能であるが、汎用のコンピュータを用いて図示する機能部の機能をソフトウェア的に実現する構成も可能である。汎用のコンピュータを用いた場合、当該コンピュータが備えた（あるいは当該コンピュータに接続された）ディスプレイ上に後述する画面表示が行われ、当該コンピュータで利用できるＵＩ（ユーザ・インターフェース）を用いて、作業者による各種の作業が行われる。また、三次元モデル計測装置１００の少なくとも一部の機能をタブレットコンピュータ（タブレット端末）やスマートフォンで行うことも可能である。

【0018】

測量データ処理装置１００は、入力部１０１、画像処理部１０２、同期処理部１０３、表示部１０４、ＵＩ（ユーザ・インターフェース）制御部１０５、記憶部１０６および出力部１０７を備えている。

【0019】

入力部１０１には、ＵＡＶが飛行中にカメラが撮影した画像の画像データ、ＵＡＶのログデータ（飛行経路を記録したデータ）およびＩＭＵが計測したＵＡＶの傾きに関するデータが入力される。画像処理部１０２は、ＵＡＶが飛行中に撮影した複数の静止画像に基づき、ＵＡＶの飛行経路を推定する処理を行う。図２には、画像処理部１０２のブロック図が示されている。画像処理部１０２は、特徴点抽出部１１１、対応点特定部１１２、移動方向ベクトルの特徴抽出部１１３、飛行経路推定部１１４および正規化処理部１１５を備えている。

【0020】

特徴点抽出部１１１は、静止画像中から特徴点を抽出する。特徴点は、周囲から区別できる点であり、例えば、エッジ部分や周囲と色彩が異なっている部分が特徴点として抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。

【0021】

対応点特定部１１２は、２枚の静止画像中でそれぞれ個別に抽出された特徴点の対応関係を特定する。すなわち、一方の静止画像中で抽出された特徴点と同じ特徴点を他方の静止画像中で特定する処理を行う。この特徴点の対応関係を特定する処理は、例えば、図４に示すテンプレートマッチングを用いて行われる。

【0022】

テンプレートマッチングとしては、残差逐次検定法（ＳＳＤＡ：Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、相互相関係数法などが挙げられる。以下、テンプレートマッチングの一例を説明する。テンプレートマッチングは、２つの座標系における画像の座標データを相互に比較し、両者の相関関係により、２つの画像の対応関係を求める方法である。テンプレートマッチングでは、２つの視点それぞれから見た画像の特徴点の対応関係が求められる。図４は、テンプレートマッチングの原理を説明する説明図である。この方法では、図示するように、Ｎ_１×Ｎ_１画素のテンプレート画像を、それよりも大きいＭ_１×Ｍ_１画素の入力画像内の探索範囲（Ｍ_１−Ｎ_１＋１）^２上で動かし、下記数１で示される相互相関関数Ｃ（ａ，ｂ）が最大となるような（つまり相関の程度が最大となるような）テンプレート画像の左上位置を求める。

【0023】

【数1】

【0024】

上記の処理は、一方の画像の倍率を変えながら、また回転させながら行われる。そして、相関関係が最大となった条件で、両画像の一致する領域が求まり、更にこの領域における特徴点を抽出することで、対応点の検出が行われる。

【0025】

テンプレートマッチングを用いることで、比較する２つの画像の一致する部分が特定でき、２つの画像の対応関係を知ることができる。この方法では、２つ画像の相関関係が最大となるように両者の相対的な位置関係が定められる。２つの画像の相関関係は、両画像の特徴点によって決まる。

【0026】

移動方向ベクトルの特徴抽出部１１３は、時間の経過に従って生じる静止画像の変化に基づき、ＵＡＶ（カメラ）の移動に相関するベクトルの特徴を抽出する。このベクトルを移動方向ベクトルと呼ぶ。時間の経過に伴う移動方向ベクトルの軌跡を求めることでＵＡＶの相対的な飛行経路を求めることができる。

【0027】

以下、移動方向ベクトルの特徴抽出部１１３で行われる処理について説明する。まず、予備的な知識として、各時刻にえられた静止画像と実際の飛行経路との関係を説明する。図８には、静止画像の遷移と、ＵＡＶのログデータから得た移動ベクトルの対応関係が示されている。図８には、飛行に従って刻々と映っている場所がずれてゆく様子が示された連続静止画像Ｎｏ１〜Ｎｏ４が示されている。連続静止画像Ｎｏ１〜Ｎｏ４の下には、ＵＡＶのログデータから得た飛行経路（移動ベクトルの遷移）が示されている。

【0028】

図８に示すように静止画像の変化は、飛行経路の動きに対応している。この現象を利用して、移動方向ベクトルの特徴抽出部１１３では、静止画像を解析することで、カメラに対する静止画像の相対的な動きを特徴づける移動方向ベクトルを得る処理を行う。

【0029】

図５には、ｔ１→ｔ２→ｔ３と経過した場合における時刻ｔ１に得られた静止画像、時刻ｔ２に得られた静止画像および時刻ｔ３に得られた静止画像が模式的に示されている。図５に示す静止画像には、十字路と角に立つ建築物が簡素化された状態で示されている。図５には、時刻ｔ１から時刻ｔ２にかけて特徴点×が左に移動し、更に時刻ｔ２から時刻ｔ３にかけて特徴点×が左下 に移動した場合が示されている。

【0030】

この場合、移動方向ベクトルの特徴抽出部１１３は、特徴点×に着目し、その位置の変化を抽出する。例えば、この場合、時刻ｔ１の静止画像と時刻ｔ２の静止画像を比較することで、特徴点×の移動の方向と量を現すベクトルとして移動方向ベクトルＡを得る。また、時刻ｔ２の静止画像と時刻ｔ３の静止画像を比較することで、特徴点×の移動の方向と量を現すベクトルとして移動方向ベクトルＢを得る。そして、移動方向ベクトルＡとＢを接続することで、移動方向ベクトルＣを得る。このようにして時間軸上で隣接する静止画像を比較することで、静止画像の変化を特徴づける移動方向ベクトル（例えば、図５の移動方向ベクトルＣ）を得る。

【0031】

飛行経路推定部１１４は、移動方向ベクトルに基づいてＵＡＶの飛行経路（カメラの移動経路）を推定する。例えば、図５の移動ベクトルＣに着目した場合、大地を基準にするとＵＡＶの動きは、移動ベクトルＡおよびＢと逆の経路になるので、時刻ｔ１〜ｔ３におけるＵＡＶの飛行経路は、飛行経路Ｌのようになる。以上は、時刻ｔ１，ｔ２，ｔ３の３つの時刻の場合であるが、更に複数の時刻に得られた静止画像を対象に同様な処理を行うことで、ＵＡＶの飛行経路の軌跡が推定される。以上の処理が飛行経路推定部１１４において行われる。

【0032】

だたし、この段階で得られる推定された飛行軌跡は、スケールが与えられていないので相対的なものとなる。すなわち、図５に示す原理に従って得られた飛行経路は、飛行距離に関するデータは得られていない。

【0033】

図２の正規化処理部１１５は、飛行経路推定部１１４が推定したＵＡＶの推定飛行経路の軌跡を拡大縮小させ、ＵＡＶのログデータから得られたＵＡＶの実際の飛行経路との間のスケールの差を調整する。すなわち、飛行経路推定部が得たＵＡＶの推定飛行経路は、実スケールが与えられていない相対的な飛行の軌跡であるので、ログデータから得られる実際の飛行経路とスケールを合わせるために、上記のスケールの調整を行う。

【0034】

一般にＵＡＶの飛行は、図９に示すような軌跡で行われる。そこで、図９に示すような実際の軌跡と同じ程度のスケールになるように推定された飛行軌跡を拡大縮小させる。こうして、スケールが同程度に調整された推定飛行経路の軌跡が得られる。以上が正規化処理部１１５で行われる処理の内容である。

【0035】

図１に戻り、同期処理部１０３は、画像処理部１０２が推定したＵＡＶの飛行経路のデータとＵＡＶが実際に記録した飛行経路のデータ（ログデータ）とを比較し、両者を同期させる（対応させる）処理を行う。

【0036】

同期処理部１０３において行われる処理の具体的な一例を以下に示す。同期処理部１０３は、画像処理部１０２が推定したＵＡＶの飛行経路Ａの軌跡を回転、平行移動、拡大および縮小させ、実際に記録した飛行経路Ｂとのマッチングを行う。このマッチングが行われることで、飛行経路Ａと飛行経路Ｂの対応関係が明らかになり、飛行経路のどの位置でどのような静止画像が撮影されたのかを特定することができるようになる。

【0037】

すなわち、飛行経路Ｂでは、位置と時刻の関係が特定されているから、飛行経路Ａと飛行経路Ｂとがマッチングした段階で、飛行経路Ａ（画像解析から推定した飛行経路）に実スケールが与えられ、さらに飛行経路Ａにおける位置と時刻の関係が判明する。そして、飛行経路Ａにおける位置と時刻の関係が判明することで、飛行経路Ａの元となった静止画像の撮影時刻と撮影位置の情報が得られる。すなわち、カメラから得られた画像データにおける特定の静止画像の撮影時刻と撮影位置が判明する。判明した撮影時刻と撮影位置のデータおよび当該撮影時刻におけるＵＡＶの傾きに関するデータは、ヘッダー情報（例えば、ジオタグ）として、それぞれの画像ファイルに付加される。

【0038】

表示部１０４は、図９〜図１４に示すような各種のＧＵＩ（グラフィカル・ユーザ・インターフェース）画像を表示する。また、表示部１０４は、測量データ処理装置１００の操作に必要な表示、各種データの表示を行う。測量データ処理装置１００としてノートパソコンを用いた場合、当該ノートパソコンのディスプレイが表示部１０４として用いられる。

【0039】

ＵＩ制御部１０５は、図９〜図１４に示すようなＧＵＩの機能を制御する。図３には、ＵＩ制御部１０５のブロック図が示されている。ＵＩ制御部１０５は、経路点指示受付部１２１、対応静止画像取得部１２２、移動方向表示埋め込み部１２３および移動方向表示付き静止画像の表示制御部１２４を備えている。

【0040】

経路点指示受付部１２１は、ログデータから得られた飛行経路の特定の点（経路点）が作業者によって指定された際にそれを受け付ける。例えば、図１０には、表示部１０４に表示されるＧＵＩ画像の一例が示されている。図１０の右側には、ログデータから得られた飛行経路が示され、左側に画像データから得られた静止画像が表示されている。ここで、右側の飛行経路の特定の点（四葉のクローバ型のマーカ点）の位置で撮影した静止画像が左側に表示されている。四葉のクローバ型のマーカの位置は、作業者がＧＵＩを操作して指定することができる。この操作の内容が経路点指示受付部１２１で受け付けられる。

【0041】

対応静止画像取得部１２２は、経路点指示受付部１２１が受け付けた飛行経路の特定の位置に対応した静止画像（カメラが撮影した静止画像）を画像データから取得する。移動方向表示埋め込み部１２３は、対応静止画像取得部１２２が取得した静止画像の中にＵＡＶ（カメラ）の移動方向を示す印（図１０の場合、緑の矢印）を埋め込む処理を行う。ＵＡＶの移動方向は、図５に示す原理から算出される。すなわち、時間軸上で隣接する静止画像を比較することで、当該画像間における特徴点の相対的な動きを検出し、この特徴点の相対的な動きから、ＵＡＶの移動方向と移動量を算出する。この処理により、一つ前の静止画像を起点としたＵＡＶの移動方向と移動量が算出され、それを矢印（ベクトル表示）として当該静止画像中に表示する。この処理が移動方向表示埋め込み部１２３において行われる。

【0042】

移動方向表示付き静止画像の表示制御部１２４は、ＵＡＶの移動方向を示す印を埋め込んだ静止画像を表示部１０４に表示するための制御を行う。図１０の左側には、移動方向表示付き静止画像の表示制御部１２４によって表示部１０４に表示された静止画像の一例が示されている。

【0043】

図１に戻り、記憶部１０６は、測量データ処理装置１００の動作に必要な各種のデータや動作の結果得られた各種のデータを記憶する。例えば、カメラが得た画像データ、ＵＡＶのログデータ、測量データ処理装置を動作させるための各種のプログラム、および測量データ処理装置１００で処理する中間データや処理の結果得られたデータが記憶部１０６に記録される。出力部１０７は、測量データ処理装置１００が得た各種のデータや測量データ処理装置１００が扱う各種のデータを外部に出力する。

【0044】

（処理の一例）
図６には、処理手順の一例が示されている。処理が開始されると、画像データの入力が行われ（ステップＳ１０１）、さらにログデータの入力が行われる（ステップＳ１０２）。画像データが入力されたら、各静止画像において特徴点の抽出が行われる（ステップＳ１０３）。この処理は、図２の特徴点抽出部１１１において行われる。特徴点を抽出したら、時間軸上で隣接する静止画像間において対応する特徴点の特定が行なわれる（ステップＳ１０４）。この処理は、図２の対応点特定部１１２において行われる。

【0045】

対応点を特定したら、図５に例示した方法を用いて移動方向ベクトルの特徴を抽出する（ステップＳ１０５）。この処理は、図２の移動方向ベクトルの特徴抽出部１１３において行われる。次に、ステップＳ１０６に進み、図５下部に示す原理により、移動方向ベクトルに基づくＵＡＶの飛行経路の算出を行う。この処理は、図２の飛行経路推定部１１４において行われる。

【0046】

飛行経路を推定したら、正規化処理（ステップＳ１０７）を行い、ログデータ１０２から得られる飛行経路とステップＳ１０６で推定した飛行経路とのスケールを合わせる。次に、推定した飛行経路を平行移動、回転、拡大、縮小させ、ログデータ１０２から得られる飛行経路とのマッチングを行う（ステップＳ１０８）。マッチングの判定は、最小二乗法を用いて行う。

【0047】

この処理では、図５の方法により得られた推定飛行経路を示すベクトルと、ログデータから得られる飛行経路を示すベクトルとの間の距離の総和が最小となる推定飛行経路の位置を最小二乗法により求める。勿論、他の方法により、推定飛行経路とログデータから得た飛行経路とのマッチングをとることもできる。ステップＳ１０８により、撮影した複数の静止画像とＵＡＶ側で取得した飛行経路とが関連付けされた測量データが得られる。この測量データは、図１の記憶部１０６に記憶される。

【0048】

ログデータ１０２から得られる飛行経路とステップＳ１０６で推定した飛行経路とのマッチングを取ることで、飛行経路と撮影した静止画像との対応関係が判明する。この結果、図９〜図１４に例示するＧＵＩ画像の表示が可能となる（ステップＳ１０９）。

【0049】

以下、図９〜図１４について説明する。図９の右側には、飛行前に指定した指定位置Ｗとログデータから得た実際の飛行経路が示され、左側には、右側の飛行経路中で四葉のクローバ型のマーカで指定された位置に対応する（当該位置で撮影されたとされる）静止画像が表示されている。

【0050】

図１０の右側には、ログデータから得た実際の飛行経路が示されている。ここで、矢印の表示が、静止画像の撮影位置に対応している。この矢印表示を作業者が指定すると、その点が四葉のクローバ型のマーカとなり、対応する静止画像が左側に表示される。この際、左側に表示される静止画像中には、ＵＡＶの向き（飛行する方向）を示す矢印が表示される。この処理は、図１１〜図１４においても同様に行われる。

【0051】

上記の図１０〜図１４に係る処理の手順の一例を説明する。ここでは、図１０を対象に説明を行う。図７には、この際の処理の手順の一例が示されている。まず、前提として図６の処理が行なわれ、画像データとログデータとの同期（対応関係）が得られた状態であるとする。

【0052】

図１０のＧＵＩ画面上において、作業者により右側の飛行経路の特定の撮影位置（特定の矢印位置）が指定されると（ステップＳ１１１）、対応する静止画像が取得される（ステップＳ１１２）。ここで、ステップＳ１１１は、図３の経路点指定受付部１２１で実行され、ステップＳ１１２は、図３の対応静止画像取得部１２２で行われる。

【0053】

ステップＳ１１２の後、ステップＳ１１３に進み、ステップＳ１１２で取得した静止画像の中にＵＡＶの飛行方向を示す矢印（移動方向表示）を埋め込む処理を行う。この処理は、図３の移動方向表示埋め込み部１２３において行われる。次に、ステップＳ１１４に進み、ＵＡＶの飛行方向を示す矢印（移動方向表示）が表示された静止画像を図１の表示部１０４に表示する処理が行なわれる。この処理は、図３の移動方向表示付き静止画像の表示制御部１２４において行われる。

【0054】

ＵＡＶが搭載するＧＮＳＳ装置やＩＭＵの性能にもよるが、往々にしてＵＡＶが取得するログデータには誤差が含まれている。特に低コストである装置を用いた場合、この傾向が大となる。また、ＵＡＶ側における位置情報の取得間隔とカメラの撮影間隔とは必ずしも一致しない。そもそも汎用の製品を組み合わせた場合、ログデータの時刻情報と画像データの時刻情報とがずれている場合もあり得る。したがって、図１０において、作業者が指定した位置と左側に表示される静止画像とが一致しない場合がありうる。すなわち、マッチングにずれがあり、指定した位置と数コマずれた静止画像（指定した位置と少し異なる位置から撮影された静止画像）が選択され、表示される可能性がある。

【0055】

図１０〜図１４の画像を用いることで上記のずれを検出することができる。この場合、作業者のマニュアル操作によりずれが補正される。このずれの検出は、以下のようにして行われる。図１０〜図１４に示すように、作業者は、飛行経路に沿って飛行位置を指定し、その際に表示される左側の静止画像を確認する。この際、静止画像中には、ＵＡＶの飛行方向を示す矢印が示される。また、この矢印には、一つ前の静止画像からの移動距離が示される。

【0056】

ここで、図１１→図１２→図１３の経緯を見ると、ＵＡＶの旋回に従って静止画像中に表示される矢印の向きが変化することが分かる。この旋回時における右側の経路の変化と左側の静止画像中における矢印の変化とを対比することで、飛行経路と静止画像との対応関係の正誤を調べることができる。例えば、隣接あるいは近接する２つの時刻において、右側の飛行経路では、明らかにＵＡＶの向きが変わっているのに、左側の静止画像中での矢印の変化が見られない場合、飛行経路と静止画像との対応関係がずれていることが判る。また、両者の変化の現れるタイミングのずれから、ずれの方向が判る。

【0057】

例えば、時系列に従って、図１１〜図１４のＧＵＩ画像を表示させていった場合において、右側の飛行経路におけるＵＡＶの向きの変化が観察されてから、少し遅れて左側の静止画像中での矢印の変化が見られる場合、飛行経路上の本来の位置より後ろの位置の静止画像が対応付けされていることが判る。この場合、ずれた時刻分、対応関係をずらすことで、画像データとログデータとの正しい対応関係が得られる。

【0058】

上記の作業は、ＧＵＩを用いて視覚的に把握し行うことができる。高コストな基材を用いれば、画像データとログデータとの正しい対応関係が特定されたデータを得ることは可能である。しかしながら、高コストなカメラ、ＧＮＳＳ装置、ＩＭＵは、高価であるだけでなく、大型で重量が重く、また消費電力も大きい。そうすると、ＵＡＶも大型で高価なものが必要となる。

【0059】

本実施形態の技術を用いた場合、低コストであるハードウェアであっても画像データとログデータとの同期をとることができる。また、得られたデータに同期のずれがあっても図１０〜図１４に示すＧＵＩ画像を用いて簡単な操作により同期のずれを補正することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】