(58)【調査した分野】(Int.Cl.,DB名)
撮像装置を具備する飛行体が高高度を飛行し、測定範囲を含む広域画像を取得し、広域画像取得時の3次元位置を取得する工程と、該広域画像に基づき測定範囲を設定する工程と、飛行体が低高度を飛行し、所定距離間隔で精細画像を取得する工程と、精細画像取得時の位置を取得する工程と、広域画像と精細画像との倍率を合わせる工程と、広域画像取得時の位置、精細画像取得時の位置に基づき倍率を合わせた広域画像と精細画像とを広域画像/精細画像マッチングを行う工程と、広域画像/精細画像マッチングで得られる相対関係情報に基づき隣接する精細画像を精細画像/精細画像マッチングし、前記測定範囲全域の測定範囲精細3Dモデルを作成する工程とを有することを特徴とする航空写真撮像方法。
広域画像から特徴点を抽出する工程と、特徴点を精細画像に逆投影する工程と、投影された特徴点をパスポイントとして隣接する精細画像同士を精細画像/精細画像マッチングする工程とを更に有する請求項1の航空写真撮像方法。
精細画像/精細画像マッチングされた精細画像と各精細画像取得時の位置とを対応付け、前記測定範囲全域の精細3Dモデルを作成する請求項1又は請求項2の航空写真撮像方法。
高高度飛行により複数の広域画像を取得する工程と、隣接する画像同士で広域画像/広域画像マッチングする工程と、マッチングされた広域画像と各広域画像取得時の位置に基づき広域3Dモデルを作成する工程と、該広域3Dモデルで得られる前記測定範囲の高さ情報に基づき障害物を回避する前記測定範囲での低高度の飛行コースを設定する工程と、該飛行コースに基づき前記飛行体を飛行させる工程を更に有する請求項1〜請求項3のいずれかの航空写真撮像方法。
前記飛行体が鉛直センサを具備し、該鉛直センサにより前記撮像装置の光軸と鉛直線との傾き、傾斜方向を検出し、検出した傾き、傾斜方向と撮像位置の高度に基づき、画像中心位置の座標を補正する請求項1〜請求項4のいずれかの航空写真撮像方法。
飛行体と、基地制御装置とを具備する航空写真撮像システムであって、前記飛行体はGPS装置と、飛行体下方の画像を撮像する撮像装置と、前記飛行体の飛行、及び前記撮像装置の撮像を制御する制御装置とを具備し、該制御装置は、前記飛行体を高高度で飛行させて前記撮像装置により測定範囲を含む広域画像を取得すると共に前記GPS装置により広域画像撮像位置の3次元座標を取得し、又前記飛行体を低高度で前記測定範囲を飛行させ、前記撮像装置により所定距離間隔で精細画像を取得すると共に前記GPS装置により精細画像撮像位置の3次元座標を取得し、前記基地制御装置は広域画像撮像位置の3次元座標と精細画像撮像位置の3次元座標に基づき広域画像と精細画像との広域画像/精細画像マッチングを行い、広域画像/精細画像マッチングで得られる相対関係情報に基づき広域画像の特徴点を精細画像上に逆投影し、その特徴点を精細画像上で再マッチングさせることを特徴とする航空写真撮像システム。
前記飛行体が鉛直センサを更に具備し、該鉛直センサは前記撮像装置の光軸と鉛直線との傾き、傾斜方向を検出し、前記制御装置は検出された傾き、傾斜方向及び撮像位置の高度に基づき取得画像中心位置の座標を補正する請求項7の航空写真撮像システム。
前記飛行体は前記基地制御装置とデータ通信する第1通信部を有し、前記基地制御装置は前記飛行体とデータ通信する第2通信部を有し、前記撮像装置で撮像した画像データ、前記GPS装置で取得した撮像位置データが前記第1通信部を介して前記基地制御装置に送信され、前記制御装置及び前記基地制御装置のいずれか一方は、前記撮像装置が取得した複数の広域画像同士のマッチングを行うと共にマッチングされた広域画像と撮像位置データに基づき広域3Dモデルを作成し、前記測定範囲で低高度で障害物を回避して飛行する飛行コースを演算する請求項7又は請求項8の航空写真撮像システム。
前記制御装置は、広域画像で求められた特徴点を逆投影し、精細画像上で再マッチングしたパスポイントと該精細画像の取得位置との対応付けを行い前記測定範囲の精細3Dモデルを作成する請求項7又は請求項8の航空写真撮像システム。
前記基地制御装置は、広域画像で求められた特徴点を逆投影し、精細画像上で再マッチングしたパスポイントと該精細画像の取得位置との対応付けを行い前記測定範囲の精細3Dモデルを作成する請求項9の航空写真撮像システム。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は斯かる実情に鑑み、高精度の3Dモデル画像を容易に作成し得る航空写真撮像方法及び航空写真撮像システムを提供するものである。
【課題を解決するための手段】
【0009】
本発明は、撮像装置を具備する飛行体が高高度を飛行し、測定範囲を含む広域画像を取得し、広域画像取得時の3次元位置を取得する工程と、該広域画像に基づき測定範囲を設定する工程と、飛行体が低高度を飛行し、所定距離間隔で精細画像を取得する工程と、精細画像取得時の位置を取得する工程と、広域画像と精細画像との倍率を合わせる工程と、広域画像取得時の位置、精細画像取得時の位置に基づき倍率を合わせた広域画像と精細画像とを広域画像/精細画像マッチングを行う工程と、広域画像/精細画像マッチングで得られる相対関係情報に基づき隣接する精細画像を精細画像/精細画像マッチングし、前記測定範囲全域の測定範囲精細3Dモデルを作成する工程とを有する航空写真撮像方法に係るものである。
【0010】
又本発明は、広域画像から特徴点を抽出する工程と、特徴点を精細画像に逆投影する工程と、投影された特徴点をパスポイントとして隣接する精細画像同士を精細画像/精細画像マッチングする工程とを更に有する航空写真撮像方法に係るものである。
【0011】
又本発明は、精細画像/精細画像マッチングされた精細画像と各精細画像取得時の位置とを対応付け、前記測定範囲全域の精細3Dモデルを作成する航空写真撮像方法に係るものである。
【0012】
又本発明は、高高度飛行により複数の広域画像を取得する工程と、隣接する画像同士で広域画像/広域画像マッチングする工程と、マッチングされた広域画像と各広域画像取得時の位置に基づき広域3Dモデルを作成する工程と、該広域3Dモデルで得られる前記測定範囲の高さ情報に基づき障害物を回避する前記測定範囲での飛行コースを設定する工程と、該飛行コースに基づき前記飛行体を飛行させる工程を更に有する航空写真撮像方法に係るものである。
【0013】
又本発明は、前記飛行体が鉛直センサを具備し、該鉛直センサにより前記撮像装置の光軸と鉛直線との傾き、傾斜方向を検出し、検出した傾き、傾斜方向と撮像位置の高度に基づき、画像中心位置の座標を補正する航空写真撮像方法に係るものである。
【0014】
又本発明は、広域画像の特徴点、該特徴点に対応する精細画像のパスポイント及び精細画像の取得位置に基づき精細画像のバンドル調整を行う航空写真撮像方法に係るものである。
【0015】
又本発明は、飛行体と、基地制御装置とを具備する航空写真撮像システムであって、前記飛行体はGPS装置と、飛行体下方の画像を撮像する撮像装置と、前記飛行体の飛行、及び前記撮像装置の撮像を制御する制御装置とを具備し、該制御装置は、前記飛行体を高高度で飛行させて前記撮像装置により測定範囲を含む広域画像を取得すると共に前記GPS装置により広域画像撮像位置の3次元座標を取得し、又前記飛行体を低高度で前記測定範囲を飛行させ、前記撮像装置により所定距離間隔で精細画像を取得すると共に前記GPS装置により精細画像撮像位置の3次元座標を取得し、前記基地制御装置は広域画像撮像位置の3次元座標と精細画像撮像位置の3次元座標に基づき広域画像と精細画像との広域画像/精細画像マッチングを行い、広域画像/精細画像マッチングで得られる相対関係情報に基づき広域画像の特徴点を精細画像上に逆投影し、その特徴点を精細画像上で再マッチングさせる航空写真撮像システムに係るものである。
【0016】
又本発明は、前記飛行体が鉛直センサを更に具備し、該鉛直センサは前記撮像装置の光軸と鉛直線との傾き、傾斜方向を検出し、前記制御装置は検出された傾き、傾斜方向及び撮像位置の高度に基づき取得画像中心位置の座標を補正する航空写真撮像システムに係るものである。
【0017】
又本発明は、前記飛行体は前記基地制御装置とデータ通信する第1通信部を有し、前記基地制御装置は前記飛行体とデータ通信する第2通信部を有し、前記撮像装置で撮像した画像データ、前記GPS装置で取得した撮像位置データが前記第1通信部を介して前記基地制御装置に送信され、前記制御装置及び前記基地制御装置のいずれか一方は、前記撮像装置が取得した複数の広域画像同士のマッチングを行うと共にマッチングされた広域画像と撮像位置データに基づき広域3Dモデルを作成し、前記測定範囲で障害物を回避して飛行する飛行コースを演算する航空写真撮像システムに係るものである。
【0018】
又本発明は、前記制御装置は、広域画像で求められた特徴点を逆投影し、精細画像上で再マッチングしたパスポイントと該精細画像の取得位置との対応付けを行い前記測定範囲の精細3Dモデルを作成する航空写真撮像システムに係るものである。
【0019】
又本発明は、前記基地制御装置は、広域画像で求められた特徴点を逆投影し、精細画像上で再マッチングしたパスポイントと該精細画像の取得位置との対応付けを行い前記測定範囲の精細3Dモデルを作成する航空写真撮像システムに係るものである。
【発明の効果】
【0020】
本発明によれば、撮像装置を具備する飛行体が高高度を飛行し、測定範囲を含む広域画像を取得し、広域画像取得時の3次元位置を取得する工程と、該広域画像に基づき測定範囲を設定する工程と、飛行体が低高度を飛行し、所定距離間隔で精細画像を取得する工程と、精細画像取得時の位置を取得する工程と、広域画像と精細画像との倍率を合わせる工程と、広域画像取得時の位置、精細画像取得時の位置に基づき倍率を合わせた広域画像と精細画像とを広域画像/精細画像マッチングを行う工程と、広域画像/精細画像マッチングで得られる相対関係情報に基づき隣接する精細画像を精細画像/精細画像マッチングし、前記測定範囲全域の測定範囲精細3Dモデルを作成する工程とを有するので、精細画像同士を直接マッチングしないので、精細画像同士の画像トラッキング等の画像処理を省略し得、又精細画像同士のオーバラップ率を少なくできるので、精細画像の撮像枚数が減少し、画像に関する処理が軽減される。
【0021】
又本発明によれば、広域画像から特徴点を抽出する工程と、特徴点を精細画像に逆投影する工程と、投影された特徴点をパスポイントとして隣接する精細画像同士を精細画像/精細画像マッチングする工程とを更に有するので、精細画像同士間でパスポイントの画像トラッキングによる特定をする必要がなく、精細画像の撮像枚数を減少させることができ、画像処理量が減少する。
【0022】
又本発明によれば、精細画像/精細画像マッチングされた精細画像と各精細画像取得時の位置とを対応付け、前記測定範囲全域の精細3Dモデルを作成するので、少ない精細画像の枚数、少ないオーバラップ率で精細3Dモデルを作成することが可能である。
【0023】
又本発明によれば、高高度飛行により複数の広域画像を取得する工程と、隣接する画像同士で広域画像/広域画像マッチングする工程と、マッチングされた広域画像と各広域画像取得時の位置に基づき広域3Dモデルを作成する工程と、該広域3Dモデルで得られる前記測定範囲の高さ情報に基づき障害物を回避する前記測定範囲での飛行コースを設定する工程と、該飛行コースに基づき前記飛行体を飛行させる工程を更に有するので、障害物が存在する測定範囲でも自律飛行による航空写真の撮影が可能となり、更に障害物よりも低い高度で飛行させることでより精細な航空写真が取得でき、又高精度の精細3Dモデルの作成が可能となる。
【0024】
又本発明によれば、前記飛行体が鉛直センサを具備し、該鉛直センサにより前記撮像装置の光軸と鉛直線との傾き、傾斜方向を検出し、検出した傾き、傾斜方向と撮像位置の高度に基づき、画像中心位置の座標を補正するので、飛行体が傾斜した状態で画像を取得した場合でも、撮像画像の正確な位置付けが可能となる。
【0025】
又本発明によれば、広域画像の特徴点、該特徴点に対応する精細画像のパスポイント及び精細画像の取得位置に基づき精細画像のバンドル調整を行うので、精細3Dモデルの精度を向上させることができる。
【0026】
又本発明によれば、飛行体と、基地制御装置とを具備する航空写真撮像システムであって、前記飛行体はGPS装置と、飛行体下方の画像を撮像する撮像装置と、前記飛行体の飛行、及び前記撮像装置の撮像を制御する制御装置とを具備し、該制御装置は、前記飛行体を高高度で飛行させて前記撮像装置により測定範囲を含む広域画像を取得すると共に前記GPS装置により広域画像撮像位置の3次元座標を取得し、又前記飛行体を低高度で前記測定範囲を飛行させ、前記撮像装置により所定距離間隔で精細画像を取得すると共に前記GPS装置により精細画像撮像位置の3次元座標を取得し、前記基地制御装置は広域画像撮像位置の3次元座標と精細画像撮像位置の3次元座標に基づき広域画像と精細画像との広域画像/精細画像マッチングを行い、広域画像/精細画像マッチングで得られる相対関係情報に基づき広域画像の特徴点を精細画像上に逆投影し、その特徴点を精細画像上で再マッチングさせるので、精細画像同士の画像トラッキング等の画像処理を省略し得、又精細画像同士のオーバラップ率を少なくできるので、精細画像の撮像枚数が減少し、画像に関する処理が軽減される。
【0027】
又本発明によれば、前記飛行体が鉛直センサを更に具備し、該鉛直センサは前記撮像装置の光軸と鉛直線との傾き、傾斜方向を検出し、前記制御装置は検出された傾き、傾斜方向及び撮像位置の高度に基づき取得画像中心位置の座標を補正するので、飛行体が傾斜した状態で画像を取得した場合でも、撮像画像の正確な位置付けが可能となる。
【0028】
又本発明によれば、前記飛行体は前記基地制御装置とデータ通信する第1通信部を有し、前記基地制御装置は前記飛行体とデータ通信する第2通信部を有し、前記撮像装置で撮像した画像データ、前記GPS装置で取得した撮像位置データが前記第1通信部を介して前記基地制御装置に送信され、前記制御装置及び前記基地制御装置のいずれか一方は、前記撮像装置が取得した複数の広域画像同士のマッチングを行うと共にマッチングされた広域画像と撮像位置データに基づき広域3Dモデルを作成し、前記測定範囲で障害物を回避して飛行する飛行コースを演算するので、障害物が存在する測定範囲でも自律飛行による航空写真の撮影が可能となり、更に障害物よりも低い高度で飛行させることでより精細な航空写真が取得でき、又高精度の精細3Dモデルの作成が可能となる。
【0029】
又本発明によれば、前記制御装置は、広域画像で求められた特徴点を逆投影し、精細画像上で再マッチングしたパスポイントと該精細画像の取得位置との対応付けを行い前記測定範囲の精細3Dモデルを作成するので、少ない精細画像の枚数、少ないオーバラップ率で精細3Dモデルを作成することが可能である。
【0030】
又本発明によれば、前記基地制御装置は、広域画像で求められた特徴点を逆投影し、精細画像上で再マッチングしたパスポイントと該精細画像の取得位置との対応付けを行い前記測定範囲の精細3Dモデルを作成するので、少ない精細画像の枚数、少ないオーバラップ率で精細3Dモデルを作成することが可能であるという優れた効果を発揮する。
【発明を実施するための形態】
【0032】
以下、図面を参照しつつ本発明の実施例を説明する。
【0033】
先ず、
図1を参照して本発明の実施例に係る航空写真撮像システムの概略を説明する。
【0034】
図1中、1は自律飛行可能な飛行体、2は地上に設置される基地制御装置であり、該基地制御装置2は、前記飛行体1とデータ通信可能であり、前記飛行体1の飛行の制御、飛行計画の設定、変更を実行し、又前記飛行体1が収集した情報を保存、管理し、更に保存した情報に基づき測定対象範囲の3次元測定を実行する。
【0035】
前記飛行体1は、例えば自律飛行する小型飛行体としてのヘリコプタである。該ヘリコプタ1は前記基地制御装置2から遠隔操作で操縦され、或は前記基地制御装置2から前記ヘリコプタ1の制御装置(後述)に飛行計画が設定され、飛行計画に従って、自律飛行する。
【0036】
前記ヘリコプタ1は、機体3、該機体3に設けられた所要数のプロペラ、例えば前後左右、計4のプロペラ4,5,6,7を有し、該プロペラ4,5,6,7はそれぞれ個別に第1モータ8、第2モータ9、第3モータ10、第4モータ11(後述)に連結され、又後述する様に各第1モータ8、第2モータ9、第3モータ10、第4モータ11は独立して駆動が制御される様になっている。尚、前記プロペラ4,5,6,7及び前記第1モータ8、第2モータ9、第3モータ10、第4モータ11等は飛行体の航行手段を構成する。
【0037】
前記ヘリコプタ1の機体3には、GPS装置12、制御装置及び少なくとも1つの撮像装置13が設けられている。又前記機体3の内部には鉛直センサ24(
図2参照)が設けられている。該鉛直センサ24は、前記機体3が傾斜した場合に、鉛直線に対する光軸15の傾斜角と傾斜方向を検出する。前記GPS装置12には、リアルタイムキネマティクGPS装置(RTK−GPS装置)が用いられるのが好ましい。RTK−GPS装置は、高精度の測定が可能であり、該RTK−GPS装置の測定精度は、地表で数cmとなっている。
【0038】
前記GPS装置12は、前記ヘリコプタ1の基準位置、例えば機械中心を測定する様に構成され、又、前記GPS装置12は前記基準位置の絶対3次元座標を測定し、測定値は地心座標(絶対座標)系から求められる地上座標系及び高度を表す。
【0039】
前記撮像装置13はデジタル画像を取得し、画像信号としてデジタル信号を出力する。該撮像装置13は、静止画像を所定時間間隔で撮像するカメラであってもよいし、或は画像を連続的に撮像する(動画像を撮像する)ビデオカメラであってもよい。又、ビデオカメラとした場合、任意の時点で静止画像を取得できる機能を有するものが用いられる。前記撮像装置13の少なくも1つは前記機体3の下面に設けられている。又、撮像装置13は前方を撮像するものが更に追加されてもよい。
【0040】
又、前記撮像装置13は、撮像素子として、画素(ピクセル)の集合体であるCCD、CMOSセンサを有しており、撮像素子の中心(受光面の座標中心)と前記撮像装置13の光軸15とは合致している。前記撮像素子の各画素は撮像素子上の位置(座標)が特定でき、更に座標から各画素の画角(結像レンズを透して画素に入射する光線と前記光軸15との成す角度)が分る様になっている。
【0041】
前記光軸15は、前記機体3の基準位置(例えば機械中心)を通過し、前記光軸15は、前記ヘリコプタ1が水平姿勢で、鉛直線と合致する様に設定されている。前記撮像装置13は、角度θの視野角を持っており、航空写真用の画像を取得可能となっている。従って、前記撮像装置13は、前記ヘリコプタ1直下の所要の視野角θの範囲の画像を取得可能であり、更に画像の中心は前記基準位置と合致する様に設定されている。
【0042】
又、前記飛行体1が傾いた場合は、傾斜角、傾斜方向を前記鉛直センサ24が検出するので、前記光軸15が到達する地表の地上座標は、前記鉛直センサ24が検出する傾斜角に前記GPS装置12が測定した高度を掛けた分だけ、前記飛行体1の鉛直下方よりずれる。又、ずれ方向は前記鉛直センサ24が検出した傾斜方向となる。又、前記撮像装置13が撮像する範囲は、傾斜した前記光軸15を中心に画角θの範囲となる。
【0043】
前記撮像装置13により画像が撮像された時の時間、撮像した時のGPS装置12で測定した地心座標(3次元座標)が取得され、撮像された画像は時間、地心座標に関連付けられて、後述する記憶部18に格納される。
【0044】
図2は、前記機体3に設けられる制御装置16を示している。該制御装置16は、主に、演算制御部17、記憶部18、通信部19、電源部20、撮像コントローラ21、モータコントローラ22、ジャイロユニット23、鉛直センサ24から構成される。
【0045】
前記記憶部18は、前記演算制御部17に一体化された半導体メモリ、或はメモリカード、HDD等適宜な記憶手段を用いることができ、又前記制御装置16に対して着脱可能であってもよい。前記記憶部18には、前記撮像装置13で取得した画像及び画像を取得した時刻が、前記画像に関連付けられて格納される様になっており、更に、画像を取得した時刻に同期させて前記GPS装置12によって前記ヘリコプタ1の3次元座標が測定され、測定された3次元座標も画像を取得した時刻に関連付けられて前記記憶部18に格納される様になっている。
【0046】
又、該記憶部18には、撮像制御プログラム、画像処理プログラム、トラッキング処理プログラム、パスポイント投影プログラム、マッチング処理プログラム、演算プログラム、飛行制御プログラム、飛行姿勢制御プログラム、3次元画像作成プログラム、飛行計画作成プログラム、通信制御プログラム、バンドル調整プログラム等の種々のプログラムが格納されている。
【0047】
更に、前記記憶部18には、前記撮像装置13で撮像された画像及び、撮像時の時間、画像を取得した時の3次元座標が前記画像に関連付けられて格納され、又飛行計画データが格納されている。尚、飛行計画データに格納されているデータとしては、高高度撮影実行データ及び低高度撮影実行データであり、高高度撮影実行データ及び低高度撮影実行データにはそれぞれ、例えば飛行コース、飛行高度、撮影する場所、範囲等である。
【0048】
前記バンドル調整プログラムは前記基地制御装置2側の基地記憶部28(後述)に格納し、バンドル調整は、ヘリコプタ1が所定の飛行をし、所定のデータを取得した後、前記基地制御装置2で行う様にしてもよい。
【0049】
前記撮像制御プログラムは、前記GPS装置12で測定された前記ヘリコプタ1の位置、前記ヘリコプタ1の飛行高度、飛行速度、要求される測定精度及び前記撮像装置13の視野角θ等に基づき時間的に隣接する画像が所定の割合でオーバラップする様に、前記撮像装置13で撮影する画像データの取得時期を制御する。尚、画像トラッキングを行う場合は、画像データ(静止画像データ)を取得し、次の画像データ(静止画像データ)を取得する間も所定時間間隔(画像トラッキングが可能な時間間隔)で撮像する様に前記撮像装置13を制御している。尚、画像データと次の画像データ間で取得するトラッキング用の画像としては動画像を取得してもよい。
【0050】
前記画像処理プログラムは、前記撮像装置13で取得した画像から特徴点(パスポイント)を抽出する、或はパスポイントを基準として複数の画像間のマッチング(対応付け)を行う、或は複数の画像を合成する等の画像処理を行う。
【0051】
又、前記トラッキング処理プログラムは時間的に隣接する画像間(動画像に於ける時間的に隣接するフレーム画像間)で特徴点の画像トラッキングを行い、前記画像の特徴点を順次、次画像中に特定する。尚、動画像トラッキングについては特許文献3又は特許文献4に示されている。
【0052】
前記パスポイント投影プログラムは、後述する様に、高高度画像で特定したパスポイントを低高度画像中に特定するものであり、高高度画像と低高度画像間の画像探索、画像マッチング等の手段によりパスポイントが高高度画像を基に低高度画像中に特定される。
【0053】
又、前記飛行制御プログラムは、飛行速度、上昇速度、降下速度、飛行方向、飛行高度等の飛行状態を制御し、前記ヘリコプタ1を設定された範囲で、所定の飛行コースに、設定された高度、速度で飛行させる為のプログラムであり、前記飛行姿勢制御プログラムは、飛行中のヘリコプタ1の姿勢を水平に保持させる様制御し、或は静止状態飛行(ホバリング)させる様制御するプログラムである。
【0054】
前記マッチング処理プログラムは、時間的に隣接する静止画像を順次マッチング、或はステレオマッチングし、所定の測定範囲の画像を合成する。前記演算プログラムは、マッチング処理に必要な座標変換、相互標定計算等を実行する為のプログラムである。
【0055】
前記バンドル調整プログラムは、画像から抽出した特徴点の画像座標(パスポイント)と、それに対応する既知或は測定して得られた3次元座標に基づき各画像の撮影位置と傾き(外部標定要素)を最小2乗法により同時に求める演算を行うプログラムである。
【0056】
前記演算制御部17は、前記撮像制御プログラムにより前記撮像コントローラ21を介し、前記撮像装置13の撮像を制御し、前記トラッキング処理プログラムにより画像トラッキングを行い、前記画像処理プログラムにより、パスポイントの抽出、複数の画像を合成する。又、前記バンドル調整プログラムによりバンドル調整を実行する。
【0057】
又、前記演算制御部17は、前記飛行制御プログラム及び前記飛行計画データに基づき、前記モータコントローラ22を介し、前記第1モータ8、第2モータ9、第3モータ10、第4モータ11及びこれらモータを個別に駆動制御し、前記ヘリコプタ1を所定の飛行コースに、設定された高度、速度で飛行させる。又前記演算制御部17は、前記飛行姿勢制御プログラム、前記ジャイロユニット23からの信号に基づき、前記モータコントローラ22を介して前記第1モータ8、第2モータ9、第3モータ10、第4モータ11をそれぞれ制御することで、前記ヘリコプタ1を飛行中水平に制御し、或は所定の位置で静止状態飛行(ホバリング)させる。
【0058】
前記通信部19はデータ通信可能であり、地上基地からの遠隔飛行制御指令を受信し、又ヘリコプタ1の飛行状態を地上基地に通信する。又、前記通信部19は、無線LAN或はブルートゥース(Bluetooth:登録商標)等の通信手段を用いて地上基地とヘリコプタ1間の情報の授受を行うものであり、例えば前記ヘリコプタ1が基地に着陸した状態で、前記飛行計画データが基地から前記ヘリコプタ1に送信され、或は飛行中撮像した画像、位置、時刻情報がヘリコプタ1から前記基地制御装置2に送信される。
【0059】
前記電源部20は、例えば交換可能な可充電電池であり、基地に着陸した際に充電済の電池と交換され、消耗した電池が次に交換される迄に充電される。前記電源部20は、飛行中は、前記モータコントローラ22を介して前記第1モータ8、第2モータ9、第3モータ10、第4モータ11へ電力を供給し、又前記撮像装置13、前記撮像コントローラ21、前記演算制御部17、前記通信部19に必要な電力を供給する。
【0060】
前記撮像装置13が取得した画像、前記GPS装置12が測定した位置情報、パスポイントの情報は、前記通信部19を介して前記基地制御装置2に通信される。該基地制御装置2では、前記画像から、広範囲の合成画像を作成し、又ステレオ画像を作成し、或はステレオ画像に基づき写真測量を行う。又、画像から抽出した特徴点の画像内での座標、画像を取得した位置の3次元座標、後述するパスポイントに基づきバンドル調整を行う。
【0061】
図3は、前記基地制御装置2の概略構成を示しており、基地演算制御部(CPU)27、基地記憶部28、基地通信部29、表示部30、操作部31等から構成されている。前記基地記憶部28としては、HDD等の外部記憶手段を含み、或は着脱可能な記憶手段、例えばメモリカードを含み、着脱可能な記憶手段は、前記記憶部18と互換性を有している。
【0062】
前記基地記憶部28には種々のプログラム、例えば、3次元画像作成プログラム、通信制御プログラム、飛行計画作成プログラム、画像表示プログラム、マン/マシンインタフェースプログラム、バンドル調整プログラム等の種々のプログラムが格納されている。
【0063】
前記基地通信部29は前記通信部19との間でデータ通信可能であり、飛行に関するデータ(飛行計画等)、飛行、撮影に関する指令を送信し、或は前記通信部19から送信される画像データ、マッチング情報等を受信する。尚、基地制御装置2により、飛行計画を作成する場合は、前記制御装置16側の飛行計画作成プログラムを省略することができる。
【0064】
前記操作部31は、キーボード、マウス等から構成され、測定者から測定条件の設定等を行う様になっている。又、前記表示部30をタッチパネルとしてキーボード等を省略してもよい。
【0065】
前記3次元画像作成プログラムは、前記飛行体1が収集した画像データ、前記GPS装置12により取得した位置データに基づき、広域3Dモデルを作成し、或は精細3Dモデルを作成する。前記通信制御プログラムは前記基地通信部29と前記通信部19との間でデータ通信を実施する場合の制御を行う。前記飛行計画作成プログラムは測定範囲、測定精度等の測定条件が入力されると、高高度飛行の場合の飛行高度、飛行コース等を演算して決定し、又高高度飛行で得られた情報に基づき低高度飛行の場合の、測定範囲の演算をし、飛行高度、飛行コース等の演算をして、低高度飛行の飛行計画を作成する。
【0066】
前記マン/マシンインタフェースプログラムは、前記表示部30にメニュー画面を表示し、或は測定者の入力ガイダンスを表示し、或は測定者から情報が入力された場合に、前記基地演算制御部27に情報を入力し、或は入力された情報が適切かどうかの表示、或は入力情報が不十分であった場合は、更に情報の入力を求める等の表示を行う。
【0067】
図4、
図5、
図6を参照して本実施例の概略を説明する。
【0068】
本実施例では、高高度と低高度の2つの高度で飛行体1を飛行させ、それぞれの高度で画像を撮像する。
【0069】
先ず、前記飛行体1を高高度で飛行させ、広範囲の高高度画像(以下広域画像)を複数枚撮像し、広域画像に基づき広域3Dモデルを作成し、該広域3Dモデルに基づき低高度で撮影する撮像範囲(測定範囲)を設定し、設定された測定範囲を低高度で飛行させ、低高度画像(以下精細画像)を多数枚撮像し、精細画像と広域画像とをマッチングさせ、広域画像と精細画像とのマッチングで得られる相対関係情報を取得し、得られた相対関係情報に基づき精細画像上の特徴点のマッチングを行い、精細3Dモデルを作成する。
【0070】
広域画像から得られる相対関係情報に基づき、精細画像上の特徴点のマッチングを行うので、精細画像間を動画像トラッキングすることに比べ画像処理量が大幅に低減する。
【0071】
以下、
図4〜
図7を参照して具体的に説明する。尚、
図4は高高度で撮像する状態、
図5は低高度で撮影する状態をそれぞれ示している。
【0072】
先ず、測定者は既存の地図、既に取得してある地形図等により、広域測定範囲を設定し、前記操作部31を介して設定広域測定範囲を入力する。尚、広域測定範囲の設定は、地図或は地形図を前記表示部30に表示させ、表示画面上から設定してもよい。
【0073】
又、飛行高度、飛行速度等、前記飛行体1に、高高度で前記広域測定範囲を撮影させる為に必要な飛行条件を、前記操作部31より入力する。高高度で撮影される広域画像は、前記広域測定範囲に対して複数枚とされる。図示の例では、広域画像を2枚撮像する状態を示している。
【0074】
広域画像を撮像する場合の飛行高度は100m〜300m程度であり、広域測定範囲、及び撮像により取得する広域画像の枚数、或は前記撮像装置13の画角θ等に基づき設定される。尚、高高度での飛行高度は100m〜300mに限定されないが、地表の高低差が画像の平面座標系に影響を及さない様、充分高い高度に設定される。
【0075】
前記操作部31により入力された飛行条件、広域測定範囲は、前記基地記憶部28に格納されると共に前記基地通信部29を介して前記通信部19に伝送され、前記記憶部18に格納される。尚、前記基地記憶部28をメモリカード等の着脱可能な記憶媒体とした場合は、記憶媒体を前記制御装置16に前記記憶部18として装填してもよい。
【0076】
STEP:01 前記演算制御部17は、入力された飛行条件、広域測定範囲、及び撮像により取得する広域画像の枚数等の情報に基づき、高高度飛行計画を作成する。更に、前記演算制御部17は高高度飛行計画に基づき、前記モータコントローラ22を介して前記第1モータ8、第2モータ9、第3モータ10、第4モータ11を制御し、更に前記基地制御装置2からの測定開始の指令に基づき飛行を開始する。
【0077】
STEP:02 所定の高高度で、撮影位置に到達すると、第1高高度位置33aで第1広域画像34aを撮像し、第1広域画像データ(静止画像データ)を取得する。取得した時点の位置情報(第1高高度位置33aの3次元位置情報:地心座標値)が、前記GPS装置12より取得され、又取得した時点の時間が取得され、第1広域画像データに位置情報、時間が関連付けられ、第1広域画像データが前記記憶部18に格納される。
【0078】
尚、前記鉛直センサ24は、前記光軸15の傾斜角と傾斜方向を検出する。検出された傾斜角と傾斜方向と広域画像取得時の高度(前記GPS装置12が測定)とに基づき広域画像34の中心の平面座標(地心座標)を補正することができる。
【0079】
前記第1広域画像34aについて特徴点抽出が行われる。
【0080】
更に、前記飛行体1が所定距離B移動し、第2高高度位置33bで第2広域画像34bを撮像し、第2広域画像データ(静止画像データ)を取得する。取得した時点の位置情報(第2高高度位置33bの3次元位置情報:地心座標値)が、前記GPS装置12より取得され、又取得した時点の時間が取得され、第2広域画像データに位置情報、時間が関連付けられ、第2広域画像データが前記記憶部18に格納される。
【0081】
前記所定距離Bは前記第1広域画像34a、前記第2広域画像34bに基づき写真測量する場合の精度に影響するので、要求される精度、飛行高度を考慮して決定される。
【0082】
STEP:03 前記第1高高度位置33aから前記第2高高度位置33bに至る間、動画像が撮影され、時間的に隣接するフレーム画像間で前記特徴点(第1画像特徴点)についてトラッキング(動画像トラッキング)が行われ、前記第1広域画像34aの特徴点に対応する対応点(第2画像特徴点)を前記第2広域画像34bに特定する。前記第1画像特徴点、第2画像特徴点が特定されると両特徴点はそれぞれ、パスポイントとされる。
【0083】
STEP:04 前記第1画像特徴点と前記第2画像特徴点に基づき、前記第1広域画像34aと前記第2広域画像34b間の相互標定が行われる。
【0084】
STEP:05 前記第1広域画像34a、前記第2広域画像34bそれぞれの取得地点の3次元座標が前記記憶部18より読込まれ、3次元座標に基づき前記第1広域画像34a、前記第2広域画像34bの絶対標定が行われる。
【0085】
STEP:06 絶対標定により、前記第1広域画像34a、前記第2広域画像34bに基づき広域3Dモデル35が作成される。
【0086】
前記第1広域画像34a、前記第2広域画像34b、前記広域3Dモデル35は前記通信部19より前記基地通信部29に送信され、更に前記基地記憶部28に格納される。
【0087】
STEP:07 前記基地演算制御部27は、前記広域3Dモデル35を前記表示部30に表示させる。測定者は、表示された広域3Dモデル35に基づき、精細測定を実行する精細測定範囲を指定する。又、精細測定の測定精度、低高度撮影の飛行高度を入力する。低高度撮影を行う際の飛行高度としては、
図5に示される様に、10m〜30m程度である。
【0088】
前記基地演算制御部27は、精細測定範囲、測定精度、低高度撮影の飛行高度に基づき飛行計画を作成する。即ち、前記基地演算制御部27は、設定された飛行高度及び前記広域3Dモデル35から障害物を回避して飛行する飛行コースを演算し、更に設定された測定精度及び飛行高度から低高度画像(精細画像)を取得する距離間隔を演算する。
【0089】
尚、飛行コースについて、予め飛行パターンを設定しておき、飛行パターンを基本として飛行コースを演算させる様にしてもよい。又、飛行パターンとしては、蛇行しながら前進するパターン、前後進しながら横行するパターン等である。
【0090】
飛行計画は、前記基地通信部29を介して前記制御装置16に送信され、該制御装置16は前記飛行計画に基づき、低高度飛行、低高度撮影を実行する。
【0091】
尚、精細測定範囲は、地図、地形図等により、広域測定範囲を設定するのと同時に設定し、前記演算制御部17で飛行計画を作成し、該飛行計画に基づき前記演算制御部17が低高度飛行、低高度撮影を実行してもよい。この場合、測定途中に測定者の判断を必要としないので、能率よく行える。
【0092】
STEP:08 前記演算制御部17は前記GPS装置12からの位置情報をリアルタイムで取得し、前記飛行体1の位置を把握し、又前記ジャイロユニット23から前記飛行体1の飛行姿勢を把握しつつ、前記飛行体1を前記飛行コースに沿って飛行させる。
【0093】
低高度飛行中、所定の距離間隔で精細画像を取得する。
図5は低高度飛行中に精細画像を取得した状態を示しており、図中ピラミッド形状の頂点が撮像位置36を示し、ピラミッド形状の底面が精細画像37を示している。又、撮像位置(3次元座標(地心座標))は前記GPS装置12によって測定され、撮像時の位置情報及び時間が精細画像37に関連付けられて前記記憶部18に格納される。
【0094】
尚、前記飛行体1が水平である場合は、前記GPS装置12が測定する平面座標は、前記精細画像37の中心位置の平面座標と一致するが、前記飛行体1が水平でない場合は、前記光軸15が傾斜するので、前記GPS装置12が測定する平面座標と、前記精細画像37の中心位置の平面座標とは一致しない。前記鉛直センサ24は、前記光軸15の傾斜角と傾斜方向を検出する。従って、精細画像取得時の高度(前記GPS装置12が測定)と前記傾斜角と傾斜方向に基づき精細画像37の中心の平面座標(地心座標)を補正することができる。
【0095】
STEP:09 前記広域画像34と前記精細画像37間で局部画像探索により概略の画像マッチング(広域画像/精細画像マッチング)を行う。前記広域画像34の中心位置は、前記GPS装置12によって測定されている。従って、広域画像全範囲の任意の位置は、前記広域画像34の中心を原点とする座標系で特定することができる。又、前記精細画像37の中心位置は前記GPS装置12によって測定されており、又前記精細画像37の中心位置を前記広域画像34の座標系に特定できる。尚、前記広域画像34と前記精細画像37とをマッチングする場合に用いられる広域画像34は、前記第1広域画像34a、前記第2広域画像34bのいずれが用いられてもよい。
【0096】
前記精細画像37の倍率を前記広域画像34の倍率と同一となる様縮尺する。尚、縮尺率については、前記広域画像取得時の高度と前記精細画像取得時の高度により、容易に求められる。
【0097】
縮尺された精細画像37を前記広域画像34に重合させ、所定の範囲で回転し、又平行移動して画像マッチングを行う。前記広域画像34と前記精細画像37との画像マッチングにより、広域画像と精細画像とを画像マッチングする為の相対関係情報が得られる。又、全ての精細画像37と広域画像34とを画像マッチングすることで、広域画像34を介して全ての精細画像37の傾きが一致される。従って、隣接する精細画像37,37間で共通のパスポイントが複数(例えば2又は3)得られれば、パスポイントに基づき隣接する精細画像37,37同士の対応付けをすることができる。
【0098】
或は、前記広域画像34と前記精細画像37との画像マッチングにより、前記広域画像34に対する前記精細画像37の傾きが得られる。各精細画像37と広域画像34との画像マッチングを実行することで、広域画像34に対する全ての精細画像37の傾きが演算される。従って、広域画像を基準として精細画像間の相対的な傾斜が求められる。
【0099】
STEP:10 精細画像37,37間では画像トラッキングを行わない。
図7に示される様に、前記精細画像37,37間で共通なパスポイントは、前記広域画像34から前記精細画像37への逆投影により取得する。
【0100】
図7に於いて、a地点で撮像した精細画像の参照番号を37aとし、b地点で撮像した精細画像の参照番号を37bとする。広域画像34について特徴点の抽出を行い、前記精細画像37a、前記精細画像37bに共通な特徴点o,p,q,rを選択し、特徴点o,p,q,rを前記精細画像37a、前記精細画像37bに逆投影する。
【0101】
逆投影の過程で、前記特徴点o,p,q,rの広域画像34に於ける位置は、広域画像の座標系により特定される。又、前記広域画像34、前記精細画像37とのマッチングにより、前記広域画像34、前記精細画像37との相関関係は既知となっているので、前記特徴点o,p,q,rは前記精細画像37a、前記精細画像37b中にパスポイントo′,p′,q′,r′として容易に特定できる。
【0102】
前記精細画像37aと前記精細画像37bは、それぞれ前記広域画像34とのマッチングにより、前記広域画像34に対して傾きは整列されているので、前記精細画像37aと前記精細画像37bとの間も傾きは整列されている。従って、前記パスポイントo′,p′,q′,r′を利用して前記精細画像37aと前記精細画像37bとを簡単にマッチングさせることができる。
【0103】
STEP:11 前記精細画像37と前記広域画像34とのマッチング情報に基づき、及び前記広域画像34から逆投影したパスポイントo′,p′,q′,r′に基づき、全ての隣接する精細画像37,37同士について特徴点のマッチングを行う。
【0104】
STEP:12 前記広域画像34から抽出した特徴点o,p,q,rと、該特徴点o,p,q,rに対応し、全ての精細画像37について得られたパスポイントo′,p′,q′,r′とを利用してバンドル調整を行い、精細画像37を撮像した位置を高精度に決定する。
【0105】
決定された撮像した位置(3次元座標)を各精細画像37に関連付け、各精細画像37について絶対標定を行う。
【0106】
STEP:13 全ての精細画像37について測定領域内のステレオマッチングを行い、3次元データを計測し、精細画像37の集合による精細3Dモデルが作成される。
【0107】
飛行中に得られる画像データ、演算過程で得られた情報、広域3Dモデル、精細3Dモデル等は、前記通信部19を介して前記基地制御装置2にリアルタイムで送信され、前記表示部30に表示されてもよい。或は、測定完了後前記基地制御装置2に帰投後、取得した情報を前記基地制御装置2に伝送してもよい。
【0108】
尚、バンドル調整、精細3Dモデルの作成については、上記した様に前記演算制御部17(飛行体1の制御装置16)で行ってもよく、或はデータ量が多い場合は、広域画像34、精細画像37、撮像位置情報等の情報は、一旦前記基地記憶部28に格納し、前記広域画像34、前記精細画像37の取得が完了した後、前記基地演算制御部27(前記基地制御装置2)が格納された情報に基づきバンドル調整、精細3Dモデルの作成を行ってもよい。
【0109】
前記飛行体1は、予定された飛行が完了すると、前記基地制御装置2に帰投される。