特許 5882693 航空写真撮像方法及び航空写真撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5882693

(24)【登録日】2016年2月12日

(45)【発行日】2016年3月9日

(54)【発明の名称】航空写真撮像方法及び航空写真撮像装置

(51)【国際特許分類】

   G01C 11/06 20060101AFI20160225BHJP

   G06T 1/00 20060101ALI20160225BHJP

【ＦＩ】

   G01C11/06

   G06T1/00 400M

【請求項の数】8

【全頁数】22

(21)【出願番号】特願2011-255996(P2011-255996)

(22)【出願日】2011年11月24日

(65)【公開番号】特開2013-108927(P2013-108927A)

(43)【公開日】2013年6月6日

【審査請求日】2014年11月11日

(73)【特許権者】

【識別番号】000220343

【氏名又は名称】株式会社トプコン

(74)【代理人】

【識別番号】100083563

【弁理士】

【氏名又は名称】三好 祥二

(72)【発明者】

【氏名】大友 文夫

(72)【発明者】

【氏名】大谷 仁志

(72)【発明者】

【氏名】大佛 一毅

(72)【発明者】

【氏名】穴井 哲治

【審査官】 ▲うし▼田 真悟

(56)【参考文献】

【文献】 特開平０８−２１０８５１（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０９３７５２（ＷＯ，Ａ１）

【文献】 特開２００７−１７１０４８（ＪＰ，Ａ）

【文献】 特開２００８−０３９７５３（ＪＰ，Ａ）

【文献】 特開２００９−１５０８４８（ＪＰ，Ａ）

【文献】 解析写真測量 改訂版，社団法人日本写真測量学会，１９９７年 ４月１０日，pp.75-83

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ １１／００−１１／０６

Ｇ０１Ｂ １１／００−１１／３０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

飛行体が測定対象範囲の上空を葛折状に飛行して往路復路でそれぞれ静止画像を取得する第１工程と、進行方向に隣接する３画像について、１組の隣接する画像について相互標定してステレオ画像を作成し、もう１組の隣接する画像について相互標定して他のステレオ画像を作成し２組のステレオ画像を作成する第２工程と、２組のステレオ画像の共通した画像で、且つ３画像が重複する部分から抽出した特徴点を用いてマルチイメージマッチングを行い２組のステレオ画像を接続する第３工程と、第２工程と第３工程を繰返して第１工程で取得した画像により往路、復路方向で全てのステレオ画像を接続する工程と、
進行方向で隣接する２画像と、隣接するコースの１画像の３つの画像が重複する部分から共通のタイポイントを選択し、該タイポイントに基づきマルチイメージマッチングを行い隣接するコースのステレオ画像を接続する工程とを実行し、全測定対象範囲をカバーし、共通の３次元座標系で表される統一ステレオ画像を作成することを特徴とする航空写真撮像方法。

【請求項2】

飛行体がホバリング機能を有し、該飛行体が測定対象範囲の上空を葛折状に飛行して往路復路でそれぞれ前記飛行体をホバリング状態とし、静止画像を取得すると共にＧＰＳ装置による撮影位置の３次元座標を多数取得し、取得した静止画像と前記３次元座標とを関連付ける第１工程と、進行方向に隣接する３画像について、１組の隣接する画像について相互標定してステレオ画像を作成し、もう１組の隣接する画像について相互標定して他のステレオ画像を作成し２組のステレオ画像を作成する第２工程と、２組のステレオ画像の共通した画像で、且つ３画像が重複する部分から抽出した特徴点を用いて２組のステレオ画像を接続する第３工程と、第２工程と第３工程を繰返して第１工程で取得した画像により往路、復路方向で全てのステレオ画像を接続する工程と、隣接するコースで隣接する画像から共通のタイポイントを選択し、コースで隣接するステレオ画像を接続する工程とを実行し、全測定対象範囲をカバーし、共通の３次元座標系で表される統一ステレオ画像を作成することを特徴とする航空写真撮像方法。

【請求項3】

進行方向で重複するオーバラップ率が７０％〜９０％であり、隣接するコース間で重複するサイドラップ率が４０％〜６０％である請求項１又は請求項２の航空写真撮像方法。

【請求項4】

動画像トラッキングにより１つの静止画像で抽出した特徴点を隣接する静止画像中に特定する請求項１又は請求項２の航空写真撮像方法。

【請求項5】

静止画像撮影位置をＧＰＳ装置により測定し、測定して得られたＧＰＳ座標値と前記統一ステレオ画像とにより、測定対象の所定点のモデル座標を求め、該モデル座標と前記統一ステレオ画像に基づきバンドル調整でＧＰＳ座標値の補正を行う請求項１又は請求項２の航空写真撮像方法。

【請求項6】

前記飛行体がホバリング機能を有し、静止画像はホバリング状態で取得し、前記ＧＰＳ装置により多数のＧＰＳ測定値が取得され、前記ＧＰＳ座標値はＧＰＳ測定値の平均値である請求項５の航空写真撮像方法。

【請求項7】

飛行体と、該飛行体に設けられたＧＰＳ装置と、飛行体下方の画像を撮像する撮像装置と、前記飛行体の飛行、及び前記撮像装置の撮像を制御する制御装置とを具備し、該制御装置は、前記飛行体を葛折状に飛行させ、前記撮像装置を往路復路でそれぞれ静止画像を取得する様制御すると共に進行方向で画像が所定のオーバラップ率となる様、又隣接するコース間で画像が所定のサイドラップ率となる様に制御し、
又静止画像を取得する際は前記飛行体をホバリング状態とし、前記ＧＰＳ装置により静止画像撮影位置の３次元座標を多数取得する様に制御し、
該３次元座標を静止画像に関連付けて取得することを特徴とする航空写真撮像装置。

【請求項8】

データ処理装置を更に具備し、該データ処理装置は、進行方向に隣接する２画像に基づき順次相互標定してステレオ画像を作成し、隣接するステレオ画像について共通した画像で、両ステレオ画像を構成する３画像が重複する部分から抽出した特徴点を用いて２組のステレオ画像を接続し、隣接するコースで隣接する画像の重複部分からタイポイントを選択し、コースで隣接するステレオ画像を接続し、全測定対象範囲をカバーし、共通の３次元座標系で表される統一ステレオ画像を作成する様構成した請求項７の航空写真撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、小型無人飛行体による航空写真撮像方法及び航空写真撮像装置に関するものである。

【背景技術】

【0002】

上空からの写真撮影、或は上空からの測量では、地上からの写真撮影、地上での測量では得られない情報が得られ、或は人の立入れない場所の写真撮影、測量が困難な場所の情報が得られる。又、近年、遠隔操作される小型飛行機、小型ヘリコプタ等の小型飛行体の性能向上、遠隔操作技術の向上、更に撮像装置の性能の向上、小型化の促進等により小型飛行体に撮像装置を搭載し、遠隔操作により上空からの写真撮影が無人で行える様になっている。

【0003】

更に、予め設定した飛行スケジュールに従い、自律飛行も可能となっており、予め空中撮影する３次元位置を設定しておくことで、所定の位置からの静止画像を取得することが可能となっている。又、静止画像から写真測量を行うこともできる。

【0004】

一方小型飛行体により写真撮影を行う場合、機体が水平であることが望まれるが、実際には、機体が軽量である為、風により流されたり、機体が傾いている場合が多い。この為、固定的に搭載された撮像装置では、機体の状態により光軸が傾斜し、又傾斜方向も一定しない状態となる。

【0005】

広範囲の画像を作成する場合、或は立体画像を作成する場合、隣接する２画像をオーバラップさせ、オーバラップした部分で２画像に共通な接続点（タイポイント）を抽出し、タイポイントを基準として画像合成が行われる。

【0006】

ところが、上記した様に、光軸が傾斜し、又傾斜角、傾斜方向が一定しない状態で撮像した画像を順次合成した場合、得られる広範囲の画像は、捻れたり、或は湾曲する等正確な合成画像が得られないという問題がある。又、画像の捻れ、湾曲は写真測量の精度にも影響する。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１１−８９８９５号公報

【特許文献2】特開２００６−１０３７６号公報

【特許文献3】特開平８−１５９７６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は斯かる実情に鑑み、簡単な構成で、正確な地形の３次元計測が可能な航空写真撮像方法及び航空写真撮像装置を提供するものである。

【課題を解決するための手段】

【0009】

本発明は、飛行体が測定対象範囲の上空を葛折状に飛行して往路復路でそれぞれ静止画像を取得する第１工程と、進行方向に隣接する３画像について、１組の隣接する画像について相互標定してステレオ画像を作成し、もう１組の隣接する画像について相互標定して他のステレオ画像を作成し２組のステレオ画像を作成する第２工程と、２組のステレオ画像の共通した画像で、且つ３画像が重複する部分から抽出した特徴点を用いて２組のステレオ画像を接続する第３工程と、第２工程と第３工程を繰返して第１工程で取得した画像により往路、復路方向で全てのステレオ画像を接続する工程と、隣接するコースで隣接する画像から共通のタイポイントを選択し、コースで隣接するステレオ画像を接続する工程とを実行し、全測定対象範囲をカバーし、共通の３次元座標系で表される統一ステレオ画像を作成する航空写真撮像方法に係るものである。

【0010】

又本発明は、進行方向で重複するオーバラップ率が７０％〜９０％であり、隣接するコース間で重複するサイドラップ率が４０％〜６０％である航空写真撮像方法に係るものである。

【0011】

又本発明は、動画像トラッキングにより１つの静止画像で抽出した特徴点を隣接する静止画像中に特定する航空写真撮像方法に係るものである。

【0012】

又本発明は、コースで隣接する３画像についてマルチイメージマッチングを行い隣接するコースのステレオ画像を接続する航空写真撮像方法に係るものである。

【0013】

又本発明は、静止画像撮影位置をＧＰＳ装置により測定し、測定して得られた座標値と前記統一ステレオ画像とにより、測定対象の所定点のモデル座標を求め、該モデル座標と前記統一ステレオ画像に基づきバンドル調整で測定して得られた座標値の補正を行う航空写真撮像方法に係るものである。

【0014】

又本発明は、前記飛行体がホバリング機能を有し、静止画像はホバリング状態で取得し、前記ＧＰＳ装置により多数の測定値が取得され、前記座標値は測定値の平均値である航空写真撮像方法に係るものである。

【0015】

又本発明は、前記座標値の補正は、前記モデル座標を用いて撮影位置を演算し、前記撮影位置のＧＰＳ装置の測定値と比較することで、所定の閾値内の測定値を選別し、選別した測定値を使用して演算を行うことである航空写真撮像方法に係るものである。

【0016】

又本発明は、飛行体と、該飛行体に設けられたＧＰＳ装置と、飛行体下方の画像を撮像する撮像装置と、前記飛行体の飛行、及び前記撮像装置の撮像を制御する制御装置とを具備し、該制御装置は、前記飛行体を葛折状に飛行させ、前記撮像装置を往路復路でそれぞれ静止画像を取得する様制御すると共に進行方向で画像が所定のオーバラップ率となる様、又隣接するコース間で画像が所定のサイドラップ率となる様に制御し、前記ＧＰＳ装置により静止画像撮影位置を測定させ、測定結果を静止画像に関連付けて取得する航空写真撮像装置に係るものである。

【0017】

又本発明は、前記制御装置は、静止画像を取得する際は前記飛行体をホバリング状態とし、前記ＧＰＳ装置による撮影位置の測定結果を多数取得する様にした航空写真撮像装置に係るものである。

【0018】

又本発明は、データ処理装置を更に具備し、該データ処理装置は、進行方向に隣接する２画像に基づき順次相互標定してステレオ画像を作成し、隣接するステレオ画像について共通した画像で、両ステレオ画像を構成する３画像が重複する部分から抽出した特徴点を用いて２組のステレオ画像を接続し、隣接するコースで隣接する画像の重複部分からタイポイントを選択し、コースで隣接するステレオ画像を接続し、全測定対象範囲をカバーし、共通の３次元座標系で表される統一ステレオ画像を作成する様構成した航空写真撮像装置に係るものである。

【発明の効果】

【0019】

本発明によれば、飛行体が測定対象範囲の上空を葛折状に飛行して往路復路でそれぞれ静止画像を取得する第１工程と、進行方向に隣接する３画像について、１組の隣接する画像について相互標定してステレオ画像を作成し、もう１組の隣接する画像について相互標定して他のステレオ画像を作成し２組のステレオ画像を作成する第２工程と、２組のステレオ画像の共通した画像で、且つ３画像が重複する部分から抽出した特徴点を用いて２組のステレオ画像を接続する第３工程と、第２工程と第３工程を繰返して第１工程で取得した画像により往路、復路方向で全てのステレオ画像を接続する工程と、隣接するコースで隣接する画像から共通のタイポイントを選択し、コースで隣接するステレオ画像を接続する工程とを実行し、全測定対象範囲をカバーし、共通の３次元座標系で表される統一ステレオ画像を作成するので、測定対象全範囲の任意の点についてステレオ計測が可能となる。

【0020】

又本発明によれば、進行方向で重複するオーバラップ率が７０％〜９０％であり、隣接するコース間で重複するサイドラップ率が４０％〜６０％であるので、進行方向、コース間のステレオ画像の接続精度が向上し、精度の高い統一ステレオ画像を作成できる。

【0021】

又本発明によれば、動画像トラッキングにより１つの静止画像で抽出した特徴点を隣接する静止画像中に特定するので、特徴点の特定が容易になり、多数の特徴点の抽出が可能となる。

【0022】

又本発明によれば、コースで隣接する３画像についてマルチイメージマッチングを行い隣接するコースのステレオ画像を接続するので、ミスマッチングが防止される。

【0023】

又本発明によれば、静止画像撮影位置をＧＰＳ装置により測定し、測定して得られた座標値と前記統一ステレオ画像とにより、測定対象の所定点のモデル座標を求め、該モデル座標と前記統一ステレオ画像に基づきバンドル調整で測定して得られた座標値の補正を行うので、ＧＰＳ装置の精度の不足又不安定性を補うことができる。

【0024】

又本発明によれば、前記飛行体がホバリング機能を有し、静止画像はホバリング状態で取得し、前記ＧＰＳ装置により多数の測定値が取得され、前記座標値は測定値の平均値であるので、ＧＰＳ装置の精度の不足又不安定性を補うことができる。

【0025】

又本発明によれば、前記座標値の補正は、前記モデル座標を用いて撮影位置を演算し、前記撮影位置のＧＰＳ装置の測定値と比較することで、所定の閾値内の測定値を選別し、選別した測定値を使用して演算を行うことであるので、測定誤差の大きい測定値が除外され、測定精度が向上する。

【0026】

又本発明によれば、飛行体と、該飛行体に設けられたＧＰＳ装置と、飛行体下方の画像を撮像する撮像装置と、前記飛行体の飛行、及び前記撮像装置の撮像を制御する制御装置とを具備し、該制御装置は、前記飛行体を葛折状に飛行させ、前記撮像装置を往路復路でそれぞれ静止画像を取得する様制御すると共に進行方向で画像が所定のオーバラップ率となる様、又隣接するコース間で画像が所定のサイドラップ率となる様に制御し、前記ＧＰＳ装置により静止画像撮影位置を測定させ、測定結果を静止画像に関連付けて取得するので、全測定対象範囲をカバーし、共通の３次元座標系で表される統一ステレオ画像を作成することができる。

【0027】

又本発明によれば、前記制御装置は、静止画像を取得する際は前記飛行体をホバリング状態とし、前記ＧＰＳ装置による撮影位置の測定結果を多数取得する様にしたので、ＧＰＳ装置の精度の不足又不安定性を補うことができる。

【0028】

又本発明によれば、データ処理装置を更に具備し、該データ処理装置は、進行方向に隣接する２画像に基づき順次相互標定してステレオ画像を作成し、隣接するステレオ画像について共通した画像で、両ステレオ画像を構成する３画像が重複する部分から抽出した特徴点を用いて２組のステレオ画像を接続し、隣接するコースで隣接する画像の重複部分からタイポイントを選択し、コースで隣接するステレオ画像を接続し、全測定対象範囲をカバーし、共通の３次元座標系で表される統一ステレオ画像を作成する様構成したので、測定対象全範囲の任意の点についてステレオ計測が可能となる等の優れた効果を発揮する。

【図面の簡単な説明】

【0029】

【図1】本発明の実施例に係る小型飛行体を示す概略図である。

【図2】前記飛行体に設けられた制御装置のブロック図である。

【図3】飛行体の飛行コースと撮像画像との関係を示す説明図である。

【図4】（Ａ）は従来の画像のオーバラップ率及びサイドラップ率を示す説明図、（Ｂ）は本実施例の画像のオーバラップ率及びサイドラップ率を示す説明図である。

【図5】マルチイメージマッチングの説明図である。

【図6】相互標定についての説明図である。

【図7】（Ａ）は隣接する画像について各２画像毎に相互標定し、２組のステレオ画像を作成する概念図、（Ｂ）は２組のステレオ画像を接続する場合の概念図である。

【図8】飛行体が飛行しながら、静止画像を取得する様子を示す説明図である。

【図9】撮影地点をＧＰＳ装置で測定した結果とその結果の平均値、バンドル調整して得られた撮影地点との関係を示す説明図である。

【図10】データ処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0030】

以下、図面を参照しつつ本発明の実施例を説明する。

【0031】

先ず、図１に於いて、本発明が実施される飛行体の飛行制御システムについて説明する。

【0032】

図１中、１は自律飛行可能な飛行体、２は地上に設置される基地制御装置であり、該基地制御装置２は、前記飛行体１とデータ通信可能であり、前記飛行体１の飛行の制御、飛行計画の設定、変更を実行し、又前記飛行体１が収集した情報を保存、管理し、更に保存した情報に基づき測定対象範囲の３次元測定を実行する。

【0033】

前記飛行体１は、例えば自律飛行する小型飛行体としてのヘリコプタである。該ヘリコプタ１は前記基地制御装置２から遠隔操作で操縦され、或は前記基地制御装置２から前記ヘリコプタ１の制御装置（後述）に飛行計画が設定され、飛行計画に従って、自律飛行する。

【0034】

前記ヘリコプタ１は、機体３、該機体３に設けられた所要数のプロペラ、例えば前後左右、計４組のプロペラ４，５，６，７を有し、該プロペラ４，５，６，７はそれぞれ個別に第１モータ８、第２モータ９、第３モータ１０、第４モータ１１（後述）に連結され、又後述する様に各第１モータ８、第２モータ９、第３モータ１０、第４モータ１１は独立して駆動が制御される様になっている。尚、前記プロペラ４，５，６，７及び前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１等は飛行体の航行手段を構成する。

【0035】

前記ヘリコプタ１の機体３には、ＧＰＳ装置１２、制御装置及び少なくとも１つの撮像装置１３が設けられている。尚、本実施例で用いられているＧＰＳ装置１２には、１例としてリアルタイムキネマティクＧＰＳ（ＲＴＫ−ＧＰＳ）が用いられる。

【0036】

前記ＧＰＳ装置１２は、前記ヘリコプタ１の基準位置、例えば機械中心を測定する様に構成され、又、前記ＧＰＳ装置１２は前記基準位置の絶対３次元座標を測定し、測定値は地心座標（絶対座標）系から求められる地上座標系及び高度を表す。

【0037】

前記撮像装置１３はデジタル画像を取得し、画像信号としてデジタル信号を出力する。該撮像装置１３は、静止画像を所定時間間隔で撮像するカメラであってもよいし、或は画像を連続的に撮像するビデオカメラであってもよい。前記撮像装置１３の少なくも１つは前記機体３の下面に設けられている。又、撮像装置１３は前方を撮像するものが更に追加されてもよい。

【0038】

又、前記撮像装置１３は、撮像素子として、画素（ピクセル）の集合体であるＣＣＤ、ＣＭＯＳセンサを有しており、撮像素子の中心（受光面の座標中心）と前記撮像装置１３の光軸１５とは合致している。前記撮像素子の各画素は撮像素子上の位置（座標）が特定でき、更に座標から各画素の画角（結像レンズを透して画素に入射する光線と前記光軸１５との成す角度）が分る様になっている。

【0039】

前記光軸１５は、前記機体３の基準位置（例えば機械中心）を通過し、前記光軸１５は、前記ヘリコプタ１が水平姿勢で、鉛直線と合致する様に設定されている。前記撮像装置１３は、角度θの視野角を持っており、航空写真用の画像を取得可能となっている。従って、前記撮像装置１３は、前記ヘリコプタ１直下の所要の視野角θの範囲の画像を取得可能であり、更に画像の中心は前記基準位置と合致する様に設定されている。又、前記撮像装置１３で撮像した画像は、後述する様に、位置測定用の画像データとしても使用される。

【0040】

前記撮像装置１３で撮像された画像は、撮像した時間、前記ＧＰＳ装置１２で測定した地心座標（３次元座標）に関連付けられて、後述する記憶部１８に格納される。

【0041】

図２は、前記機体３に設けられる制御装置１６を示している。該制御装置１６は、主に、演算制御部１７、記憶部１８、通信部１９、撮像コントローラ２１、モータコントローラ２２、ジャイロユニット２３、電源部２４から構成される。

【0042】

前記記憶部１８には、前記撮像装置１３で取得した画像及び画像を取得した時刻が、前記画像に関連付けられて格納される様になっており、更に、画像を取得した時刻に同期させて前記ＧＰＳ装置１２によって前記ヘリコプタ１の３次元座標が測定され、測定された３次元座標も画像を取得した時刻に関連付けられて前記記憶部１８に格納される様になっている。

【0043】

又、該記憶部１８には、撮像制御プログラム、画像処理プログラム、トラッキング処理プログラム、３次元位置測定プログラム、マッチング処理プログラム、演算プログラム、飛行誘導プログラム、飛行制御プログラム、飛行姿勢制御プログラム、通信制御プログラム、バンドル調整プログラム等の種々のプログラムが格納されている。更に、前記記憶部１８には、前記撮像装置１３で撮像された画像及び、撮像時の時間、画像を取得した時の３次元座標が前記画像に関連付けられて格納され、又飛行計画データが格納されている。尚、飛行計画データに格納されているデータとしては、例えば飛行コース、飛行高度、撮影する場所、範囲等である。尚、バンドル調整プログラムは前記基地制御装置２側の記憶部に格納し、バンドル調整は、ヘリコプタ１が所定の飛行をし、所定のデータを取得した後、前記基地制御装置２で行う様にしてもよい。

【0044】

前記撮像制御プログラムは、前記ＧＰＳ装置１２で測定された前記ヘリコプタ１の位置、前記ヘリコプタ１の飛行速度、前記撮像装置１３の視野角θ等に基づき時間的に隣接する画像が所定の割合でオーバラップする様に、又隣接する頂点（後述）で撮像した画像が所定の割合でオーバラップする様に前記撮像装置１３で撮影した画像データの取得時期を制御する。尚、画像トラッキングを行う場合は、画像データを取得し、次の画像データを取得する間も所定時間間隔で撮像する様に前記撮像装置１３を制御している。尚、画像データと次の画像データ間で取得するトラッキング用の画像としては動画像を取得してもよい。

【0045】

前記画像処理プログラムは、前記撮像装置１３で取得した画像から特徴点（タイポイント）を抽出する、或はタイポイントを基準として複数の画像を合成する等の画像処理を行う。

【0046】

又、前記トラッキング処理プログラムは時間的に隣接する画像間で特徴点の画像トラッキングを行い、前記画像の特徴点を順次、次画像中に特定する。尚、画像トラッキングについては特許文献２又は特許文献３に示されている。

【0047】

前記３次元位置測定プログラムは、前記ＧＰＳ装置１２の測定で得られる地上座標と、前記撮像装置１３の画像から抽出したタイポイントに基づき、写真測量等の測定方法により前記ヘリコプタ１（基準位置）の高さ距離を演算する。従って、前記ヘリコプタ１の高さは、前記ＧＰＳ装置１２の測定で得られる第１高さ距離と、画像に基づき写真測量により求めた第２高さ距離が得られる。

【0048】

又、前記飛行制御プログラムは、飛行速度、上昇速度、降下速度、飛行方向、飛行高度等の飛行状態を制御し、前記ヘリコプタ１を所定の飛行コースに、設定された高度、速度で飛行させる為のプログラムであり、前記飛行姿勢制御プログラムは、飛行中のヘリコプタ１の姿勢を水平に保持させる様制御し、或は静止状態飛行（ホバリング）させる様制御するプログラムである。

【0049】

前記マッチング処理プログラムは、時間的に隣接する静止画像を順次マッチング、或はステレオマッチングし、所定の測定範囲の画像を合成する。前記演算プログラムは、マッチング処理に必要な座標変換、相互標定計算等を実行する為のプログラムである。

【0050】

前記バンドル調整プログラムは、画像から抽出した特徴点の３次元座標と、既知或は測定して得られた３次元座標に基づき各画像の撮影位置と傾き（外部標定要素）を最小２乗法により同時に求める演算を行うプログラムである。

【0051】

前記演算制御部１７は、前記撮像制御プログラムにより前記撮像コントローラ２１を介し、前記撮像装置１３の撮像を制御し、前記トラッキング処理プログラムにより画像トラッキングを行い、前記画像処理プログラムにより、タイポイントの抽出、複数の画像を合成し、更に前記３次元位置測定プログラムにより第２高さ距離を演算する。

【0052】

又、前記演算制御部１７は、前記飛行制御プログラム及び前記飛行計画データに基づき、前記モータコントローラ２２を介し、前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１及びこれらモータを個別に駆動制御し、前記ヘリコプタ１を所定の飛行コースに、設定された高度、速度で飛行させる。又前記演算制御部１７は、前記飛行姿勢制御プログラム、前記ジャイロユニット２３からの信号に基づき、前記モータコントローラ２２を介して前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１をそれぞれ制御することで、前記ヘリコプタ１を飛行中水平に制御し、或は所定の位置で静止状態飛行（ホバリング）させる。

【0053】

前記通信部１９は、地上基地からの遠隔飛行制御指令を受信し、又ヘリコプタ１の飛行状態を地上基地に通信する。又、前記通信部１９は、無線ＬＡＮ或はブルートゥース（Ｂｌｕｅｔｏｏｔｈ：登録商標）等の通信手段を用いて地上基地とヘリコプタ１間の情報の授受を行うものであり、例えば前記ヘリコプタ１が基地に着陸した状態で、前記飛行計画データが基地から前記ヘリコプタ１に送信され、或は飛行中撮像した画像、位置、時刻情報がヘリコプタ１から基地に送信される。

【0054】

前記電源部２４は、例えば交換可能な可充電電池であり、基地に着陸した際に充電済の電池と交換され、消耗した電池が次に交換される迄に充電される。前記電源部２４は、飛行中は、前記モータコントローラ２２を介して前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１へ電力を供給し、又前記撮像装置１３、前記撮像コントローラ２１、前記演算制御部１７、前記通信部１９に必要な電力を供給する。

【0055】

前記撮像装置１３が取得した画像、前記ＧＰＳ装置１２が測定した位置情報、タイポイントの情報は、前記通信部１９を介して前記基地制御装置２に通信される。該基地制御装置２では、前記画像から、広範囲の合成画像を作成し、又ステレオ画像を作成し、或はステレオ画像に基づき写真測量を行う。又、画像から抽出した特徴点の座標に基づきバンドル調整を行う。

【0056】

以下、本発明に係る実施例の作用について説明する。

【0057】

先ず、図３に於いて本実施例の飛行方法について説明する。

【0058】

測定対象範囲の上空を葛折状に飛行して往路復路でそれぞれ静止画像を取得するものである。

【0059】

測定対象範囲の上空を前記ヘリコプタ１が往飛行し、往飛行の終端でＵターンし、往飛行のコースと平行に復飛行する。前記ヘリコプタ１は復飛行の終端でＵターンし、再び往飛行する。往飛行と復飛行を繰返し、且つ、往路、復路で所定間隔ずらせる。往飛行、復飛行の飛行距離は、少なくとも直線部分で測定対象範囲を横切る距離とする。又、飛行中に所定間隔で静止画像を撮像し、撮像した全ての静止画像を合成した場合に合成画像に測定対象範囲の全範囲が含まれる様にする。

【0060】

ここで、全ての静止画像を合成し、測定対象範囲全域を含む１つの合成画像とするが、本実施例では以下の如くマルチイメージマッチングを行う。

【0061】

先ず、従来も複数の画像を合成することは行われており、図４（Ａ）に示される様に、進行方向で経時的に隣接する画像を所要量重ね合せ（重複させ）（以下、オーバラップと称す）、更に隣接するコースの画像についても所要量重複させ（以下、サイドラップと称す）、全ての画像を重複部分を利用してマッチングさせ、合成している。

【0062】

図４（Ｂ）は、本実施例での画像の重なり状態を示しており、本実施例では、オーバラップ率を７０％〜９０％、サイドラップ率を４０％〜６０％とし、従来に比してオーバラップ率及びサイドラップ率を多くしている。以下、一例として、オーバラップ率で８０％、サイドラップ率で５０％とした場合を説明する。尚、従来のオーバラップ率は６０％程度、サイドラップ率は３０％程度である。

【0063】

図３を参照して、静止画像の取得について説明する。図３では理解を容易にする為、隣接する画像を離して示しているが、実際は飛行方向で経時的に隣接する画像間で８０％のオーバラップ率、隣接するコースの画像間で５０％のサイドラップ率となっている。前記撮像コントローラ２１は、前記ＧＰＳ装置１２の測定位置、或は前記ヘリコプタ１の飛行速度に基づきオーバラップ率、サイドラップ率がそれぞれ８０％、５０％となる様に前記撮像装置１３の撮像タイミングを制御する。

【0064】

図３中、Ｓｎは静止画像を示し、ｎは静止画像の通し番号、Ｊは飛行コースの通し番号、Ｉは１コース毎に繰返される番号を示している。従って、静止画像Ｓに添えられる（Ｊ，Ｉ）は、合成される静止画像の位置（番地）を示している。

【0065】

所定の静止画像を基準画像（図示ではスタート地点での静止画像Ｓ１）とし、該基準画像から画像マッチングを行う為の特徴点を抽出し、隣接する画像中に特定する必要があるが、本実施例では動画像マッチングによって特徴点が順次特定されていく。静止画像を取得し、次に静止画像を取得する迄の間は動画像Ｍが取得され、動画像Ｍの１フレームｍ毎に特徴点のトラッキングが行われる。

【0066】

図４（Ｂ）に示される様に、本実施例では、経時的に隣接する、即ち進行方向で隣接する画像同士で、８０％オーバラップしているので、隣接する３枚の画像では共通に重複する部分は、６０％となる３枚の画像について、６０％の重複部分から３枚の画像に共通した特徴点を所要数、例えば５０（５×１０）点抽出し、３枚の画像についてマッチング（マルチイメージマッチング）を行う。更に、隣接する３枚の画像について順次マルチイメージマッチングを行い測定対象範囲全域を含む画像を合成する。

【0067】

尚、後述する様に、マッチングに用いる特徴点は数が多い程、写真測量の精度が向上するので、多数の特徴点を抽出する様にプログラミングし、自動的に多くの特徴点が得られる様にする。

【0068】

又、隣合うコースで隣接する画像同士では、５０％サイドラップさせているので、同様に３枚の画像について、重複部分から共通した特徴点を抽出し、３枚の画像についてマルチイメージマッチングを行う。

【0069】

図５はマルチイメージマッチングの模式図であり、図５を参照してマルチイメージマッチングについて説明する。又、図５では撮影位置Ａ，Ｂ，Ｃで取得した画像ＳＡ，ＳＢ，ＳＣの３つの静止画像についてマルチイメージマッチングを行った場合を示している。尚、撮影位置Ａ，Ｂ，Ｃは前記ＧＰＳ装置１２によって測定され、撮影位置Ａ−Ｂ間、Ｂ−Ｃ間の距離は、既知であるとする。

【0070】

２つの静止画像を用いることでステレオ計測（写真測量）が可能となり、例えば、画像ＳＡ，ＳＢ又は画像ＳＢ，ＳＣを用いて、それぞれステレオ計測をする。

【0071】

例えば、測定対象３０の特徴点Ｐ１点を計測する場合、２つの画像ＳＡ，ＳＢ中に特定される各Ｐ１点の座標ｐａ１，ｐｂ１から３次元計測されるが、画像ＳＢ，ＳＣでステレオ測定する場合、画像ＳＣからはＰ１点は見えず、間違ってＰ２点を計測してしまう。又、Ｐ２点については画像ＳＢからも見えており、ステレオ画像ＳＢ−ＳＣ（即ち、座標ｐｂ２，ｐｃ２）からＰ２点の座標が計測される。

【0072】

その場合、ステレオ画像ＳＡ−ＳＢで計測されたＰ１点の座標と、ステレオ画像ＳＢ−ＳＣで計測されたＰ２点の座標とは高さの座標が明らかに異なり、Ｐ１点は画像ＳＡ，ＳＢ，ＳＣの共通な特徴点ではないと容易に判断できる。

【0073】

次に、特徴点Ｐ３点については、撮影位置Ａ，Ｂ，Ｃから共通に見えており、撮影位置Ａ，Ｂ，Ｃで取得した画像ＳＡ，ＳＢ，ＳＣの内、ステレオ画像ＳＡ−ＳＢ及びステレオ画像ＳＢ−ＳＣよりそれぞれ特徴点Ｐ３点をステレオ計測すれば、同じ座標として測定できる。

【0074】

即ち、２組のステレオ画像で計測した特徴点の座標が同一であれば、３の画像ＳＡ，ＳＢ，ＳＣの共通な特徴点として認識できる。

【0075】

次に、図６は２つの画像Ｓ１，Ｓ２からステレオ画像を作成する場合を示している。

【0076】

２つの画像からステレオ画像を作成する場合、図示の様に、モデル座標系の原点を左画像の投影中心にとり、右画像の投影中心を結ぶ線をＸ軸とする。この時、左画像と右画像の座標系の相違は、左画像の回転角κ1 、φ1 、右側の回転角κ2 、φ2 、ω2 の５つの回転角となる。従って、左右の画像を座標変換してマッチング（ステレオマッチング）させる為には５の標定点（パスポイント）が必要となる。

【0077】

両画像から測定対象点Ｐに対応する共通の特徴点ｐ１，ｐ２を抽出する。更に、共通の特徴点ｐ１，ｐ２を少なくとも５つ抽出することで、特徴点を標定点とし、特徴点に基づき左画像と右画像とをステレオマッチング（相互標定）することができる。

【0078】

又、ステレオマッチングで得られたステレオ画像により、各画像Ｓ１，Ｓ２の撮像位置Ｏ1 ，Ｏ2 を測定することができる。

【0079】

更に、図７（Ａ）、図７（Ｂ）は、撮影地点Ａ，Ｂ，Ｃで取得した３つの画像Ｓ１，Ｓ２，Ｓ３から２組のステレオ画像を作成し、更に２組のステレオ画像を接続する場合を示している。

【0080】

画像Ｓ１，Ｓ２，Ｓ３の内、左の２画像Ｓ１，Ｓ２により、標定点（１）〜（６）に基づきステレオマッチング（相互標定）して左ステレオ画像（左モデル）を作成する。左ステレオ画像は、左３次元座標系の立体画像として捉えれる。又、同様に右側の２画像Ｓ２，Ｓ３により、標定点（４）〜（９）に基づきステレオマッチングして右ステレオ画像（右モデル）及び右３次元座標を作成する。

【0081】

ここで、左ステレオ画像の作成に用いる特徴点は、２つの画像Ｓ１，Ｓ２が重複する部分から抽出する。又、右ステレオ画像の作成に用いる特徴点は、２つの画像Ｓ２，Ｓ３が重複する部分から抽出する。

【0082】

更に、左ステレオ画像と右ステレオ画像とを接続する場合、左ステレオ画像と右ステレオ画像で共通な画像Ｓ２を用い、左ステレオ画像（即ち左３次元座標）を基準として右ステレオ画像（即ち右３次元座標）を座標変換して両ステレオ画像を接続する。

【0083】

接続する為には少なくとも３の接続点（タイポイント）を必要とするが、この接続点は３つの画像が重複する部分から抽出した特徴点（４）〜（６）が用いられる。尚、接続点は、ステレオ画像を作成した時の標定点として用いられた特徴点を用いてもよい。

【0084】

尚、標定点、接続点は、それぞれ３つの画像が重複する部分から抽出した特徴点であるが、上記した様にマルチイメージマッチングをすることで、抽出した特徴点が標定点、接続点としての適合性を有するかどうかを確認することができ、ミスマッチングが防止できる。

【0085】

又、ステレオ画像を作成する場合の標定点の数は最小で５点、左ステレオ画像と右ステレオ画像とを接続する場合の接続点数は、最小で３点あればよいが、標定点、接続点の数は多い程精度は向上する。

【0086】

上述した様に、従来では進行方向で隣接する画像の重複率は６０％であり、隣接する３枚の画像では共通に重複する率は２０％となる。

【0087】

一方本実施例では、例えば重複率が８０％である場合は、隣接する３枚の画像では共通に重複する率は６０％となる。従来と本実施例で同一の分布率（分布密度）で特徴点を抽出した場合は、特徴点の数は本実施例が従来に対して３倍となる。又、特徴点の数の平方根に比例して標定精度が向上することが分っており、本実施例では（√３）倍精度が向上する。

【0088】

更に、２つの画像を連結する場合に使用されるタイポイントは、タイポイント間の距離（スパン）が長い程、２つの画像間の傾きを長さに比例して抑制できる。単純に計算すると、重複する率が３倍になると、タイポイントの最大スパンは（√３）倍になり、傾斜誤差は、１／（√３）となる。

【0089】

従って、本実施例では、特徴点の数を画像の重複率に比例して増加させたとして、精度が（√３）×（√３）＝３倍向上する。

【0090】

更に、特徴点の数を従来に比べて１０倍程度迄増加させると、（√１０）×（√３）≒５．５倍向上する。

【0091】

図３を参照すると、上記した様に、経時的に隣接する２画像でステレオ画像を作成し、更に隣接するステレオ画像同士で接続を順次実行して進行方向に接続されたステレオ画像列が作成され、更に又、隣合うコースに属する３以上の画像からマルチイメージマッチングを用いて、隣合うコースのステレオ画像を接続し、最終的に全てのステレオ画像を接続する。全てのステレオ画像が接続されることで（即ち、基準の座標系に座標変換されることで）、全測定対象範囲をカバーし、共通の３次元座標系（統一３次元座標）で表される統一ステレオ画像（統一モデル）が作成される。

【0092】

又前記タイポイントを自動的に１０点以上選択する様にすることで、共通の３次元座標系で表される統一ステレオ画像を作成することが可能となる。

【0093】

図８は、前記ヘリコプタ１が飛行しながら、静止画像Ｓ１〜Ｓ８を取得する様子を示すものであり、上記した様に各静止画像について特徴点が抽出され、各静止画像間は動画像が取得され、動画像より特徴点が画像トラッキングされている。又、静止画像を取得した地点の位置は、前記ＧＰＳ装置１２によって測定されている。

【0094】

上記した様に、本実施例ではリアルタイムキネマティクＧＰＳ（ＲＴＫ−ＧＰＳ）が用いられる。一般的にＲＴＫ−ＧＰＳでの精度は、平面：１０ｍｍ、高さ：２０ｍｍであるが、ＧＰＳの衛星数、衛星の配置、電離層、マルチパス等の影響により、ＧＰＳ装置の精度は不安定な場合があり、又撮影時間や撮影位置によりフレーム毎（画像毎）にＧＰＳ装置の精度が異なる。

【0095】

本実施例では、ＧＰＳ装置の測定精度の向上、及びＧＰＳデータの精度劣化（不安定化）の解消を図り、ＧＰＳ装置による正確な撮影位置の測定結果に基づき前記ステレオ画像群の地心座標への座標変換（絶対標定）を行う。

【0096】

以下、図９を参照してＧＰＳ装置の測定精度の向上、及びＧＰＳデータの精度安定化について説明する。

【0097】

本実施例では、前記ヘリコプタ１にホバリング機能があり、ホバリングして静止画像を取得することで、静止画像を取得する位置でＧＰＳ装置１２による多数の測定値が得られる。尚、完全にホバリングしないで、低速度で移動しながら多数の測定値を得る様にしてもよい。

【0098】

図９に於いて、３１は各静止画像取得位置に於ける前記ＧＰＳ装置１２の測定結果を含む範囲を楕円で示し、測定結果でバラツキが大きい場合は大きな楕円（以下、誤差楕円と称す）となる。誤差楕円３１内に示される小円（即ち点）は、前記ＧＰＳ装置１２の測定結果のＧＰＳ平均値３２を示す。

【0099】

前記統一ステレオ画像と撮影位置のＧＰＳデータを使って、バンドル調整する。バンドル調整では、測定対象３０のモデル座標３３が必要である。前記統一ステレオ画像、前記統一３次元座標から測定対象３０のモデル座標３３を計算し、更に該モデル座標３３に基づきバンドル調整計算を行って撮影位置を演算する。バンドル調整計算で得たＧＰＳ平均値３２と演算により求めた計算位置３４とを比較し、該計算位置３４と一致又は所定の閾値内のＧＰＳ平均値３２を、撮影位置として採用する。又、精度の悪いＧＰＳ平均値３２は、バンドル調整計算で求めた計算位置３４に置換え、更にバンドル調整計算を行い、画像座標の残差が最も小さくなる迄、繰返し計算する。残差が最も小さくなったものを撮影位置として採用する。

【0100】

更に、前記モデル座標３３（前記統一ステレオ画像と前記統一３次元座標から計算されるモデル座標）と前記統一ステレオ画像を用いて、撮影位置の再演算を行い、この再演算で得た撮影位置座標と、撮影位置のＧＰＳデータを比較し、所定の閾値を超えるＧＰＳデータを除外する。除外して得られたＧＰＳデータをＧＰＳ装置１２が測定した撮影位置として、写真測量を行う場合の撮影位置、マルチイメージマッチングを行う場合の撮影位置（図５参照）、ステレオ画像の連結に反映させ、統一ステレオ画像、統一３次元座標を求め直し、作成されるモデルの精度を上げ、更に求め直した統一ステレオ画像、統一３次元座標から、測定対象３０のモデル座標３３を再計算し、更にバンドル調整計算を行って撮影位置を再計算する等し、測定精度を更に向上させることができる。

【0101】

ここで、バンドル調整とは、対象空間（地上座標）とレンズ中心、画像センサに投影された画像座標とを共線条件式に関係付けて、その光束を全て一括して求める手法である。

【0102】

而して、ＧＰＳの測定精度が悪い、或は不安定であっても、前記ＧＰＳ装置１２の測定精度を高精度に補正することができ、リアルタイムキネマティクＧＰＳ（ＲＴＫ−ＧＰＳ）の測定結果を用いて高精度の測定を実施できる。

【0103】

図１０に於いて、前記ヘリコプタ１を飛行スケジュールに従って飛行させ、測定対象範囲を撮影して得た画像データ、前記ＧＰＳ装置１２により測定して得た撮影位置のデータを用いて、事後処理を行い、共通の３次元座標系（統一３次元座標）、統一ステレオ画像（統一モデル）の作成、ＧＰＳデータのチェック、補正を行う場合の作業の流れを説明する。尚、事後処理に使用されるデータ処理装置としては、特に限定されるものではなく、汎用ＰＣが使用されてもよい。

【0104】

ＳＴＥＰ：０１，ＳＴＥＰ：０２ 取得したデータの内、最初の画像を設定する。例えば、図３を参照すると、コースＪ＝１の静止画像Ｓ１が設定され、静止画像Ｓ１が左画像として読込まれる。

【0105】

ＳＴＥＰ：０３，ＳＴＥＰ：０４ 次に右画像Ｓ２が読込まれ、前記静止画像Ｓ１で前記右画像Ｓ２と重複する部分から特徴点が抽出され、動画像トラッキングにより特徴点が前記右画像Ｓ２に特定される。

【0106】

ＳＴＥＰ：０５，ＳＴＥＰ：０６ 前記静止画像Ｓ１の特徴点及び前記右画像Ｓ２に特定された特徴点を標定点として左右画像の相互標定が行われる。

【0107】

ＳＴＥＰ：０７，ＳＴＥＰ：０８ コースの全ての画像、全てのコースについて経時的に隣接する２画像について順次相互標定が実行される。又、相互標定で得られた各ステレオ画像は、隣接するステレオ画像間でタイポイントに基づき座標変換され、接続される。

【0108】

ＳＴＥＰ：０９，ＳＴＥＰ：１０ コース間の画像について重複部分からタイポイントが選定され、タイポイントに基づき接続が行われ、測定対象全域を含む統一ステレオ画像が作成される。

【0109】

ＳＴＥＰ：１１，ＳＴＥＰ：１２ ＧＰＳ装置１２で測定された撮影位置が呼込まれ、チェックされ、又各測定位置の測定結果の平均値が計算される。

【0110】

ＳＴＥＰ：１３，ＳＴＥＰ：１４ 各測定結果の平均値について、各平均値に基づき測定対象３０の所要点の座標（モデル座標）が求められ、更にモデル座標に基づきバンドル調整が行われ、撮影位置（バンドル初期値）が計算される。

【0111】

ＳＴＥＰ：１５，ＳＴＥＰ：１６ バンドル調整結果と前記平均値とが比較され、精度の悪い平均値は削除される。

【0112】

ＳＴＥＰ：１７，ＳＴＥＰ：１８ バンドル調整結果と前記平均値間の誤差が最小となる迄、再バンドル調整が行われる。誤差が最小となったところで、バンドル調整結果で得た撮影位置の座標に基づき前記統一ステレオ画像が地心座標系に絶対標定される。

【0113】

尚、上記実施例では、相互標定で得た統一ステレオ画像の地心座標への座標変換を行う場合の、地心座標として前記ＧＰＳ装置１２が測定した撮影地点の３次元座標に基づいて行ったが、測定対象３０に地心座標系で既知となっている基準点を設け、該基準点に基づき統一ステレオ画像の地心座標への座標変換を行ってもよい。

【0114】

測定対象３０に地心座標系で既知となっている基準点を設けた場合は、図１０のＳＴＥＰ：０１〜ＳＴＥＰ：１０迄のデータ処理を行った後、前記基準点を用いてバンドル調整を行って撮像位置を決定する。

【符号の説明】

【0115】

１ ヘリコプタ
２ 基地制御装置
３ 機体
４，５，６，７ プロペラ
１２ ＧＰＳ装置
１３ 撮像装置
１５ 光軸
１６ 制御装置
１７ 演算制御部
１８ 記憶部
１９ 通信部
２１ 撮像コントローラ
２２ モータコントローラ
２３ ジャイロユニット
２４ 電源部
３０ 測定対象
３１ 誤差楕円
３２ ＧＰＳ平均値
３３ モデル座標
３４ 計算位置

【図1】

【図2】

【図6】

【図7】

【図10】

【図3】

【図4】

【図5】

【図8】

【図9】