特開 2024-72827 制御装置、撮像システム及び撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024072827

(43)【公開日】2024-05-28

(54)【発明の名称】制御装置、撮像システム及び撮像方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240521BHJP

   H04N 5/222 20060101ALI20240521BHJP

   H04N 23/61 20230101ALI20240521BHJP

   H04N 23/698 20230101ALI20240521BHJP

   G05D 1/46 20240101ALI20240521BHJP

   G06T 7/60 20170101ALI20240521BHJP

   G06T 7/62 20170101ALI20240521BHJP

   G06T 7/00 20170101ALN20240521BHJP

【ＦＩ】

G06T7/70 A

H04N5/222 100

H04N23/61

H04N23/698

G05D1/46

G06T7/60 200

G06T7/62

G06T7/00 640

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2024025590

(22)【出願日】2024-02-22

(62)【分割の表示】P 2021563792の分割

【原出願日】2020-11-09

(31)【優先権主張番号】P 2019221839

(32)【優先日】2019-12-09

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100153822

【弁理士】

【氏名又は名称】増田 重之

(72)【発明者】

【氏名】藏之下 正志

(57)【要約】

【課題】画像データを削減できる移動体、制御装置、及び撮像方法を提供する。
【解決手段】移動体は、移動体本体と、移動体本体に備えられ、対象物を撮像する撮像装置であって、校正された画像データ取得装置と三次元データ取得装置と備える撮像装置と、画像データ取得装置の画角毎に、対象物に対して、画像データと三次元データ取得装置三次元データとを関連付けた単位画像データを撮像装置から取得し、三次元データに基づいて撮像対象に対し平面推定を実施し、撮像対象が平面であるか否かを判断し、平面であると判断した場合、平面の情報に基づいて、次の単位画像データを取得するまでの第１距離を決定する制御装置と、を備える。
【選択図】図６

【特許請求の範囲】

【請求項1】

対象物の三次元データに基づき、前記対象物の二次元画像データを取得する画像データ取得装置の一回の撮像範囲に含まれる前記対象物の平面の大きさを推定する推定手段と、
前記平面の大きさの推定結果に基づいて、前記画像データ取得装置を前記平面に対して平行に移動して次の二次元画像データを撮像する場合の第１距離を決定する第１距離決定手段とを備える、
制御装置。

【請求項2】

前記三次元データは、前記対象物の二次元画像データにおける各画素と、前記三次元データにおける位置情報を有する各点とが、関連付けられたものである、
請求項１に記載の制御装置。

【請求項3】

前記推定手段は、前記一回の撮像範囲に含まれる前記対象物が平面でないと判断した場合、次の画像データを取得するまでの距離を、前記第１距離と比較して短い第２距離を決定し、前記第１距離により前記次の二次元画像データを取得する場合の重複率を、前記第２距離により前記次の二次元画像データを取得する際の重複率より小さくする、
請求項１または２に記載の制御装置。

【請求項4】

前記撮像範囲は前記画像データ取得装置の画角に基づいて決定される請求項１から３のいずれか一項に記載の制御装置。

【請求項5】

前記対象物の三次元データを取得する三次元データ取得装置と、
移動体と、前記移動体に備えた前記画像データ取得装置と、
請求項１から４のいずれか１項に記載の前記制御装置とを備え、
前記第１距離に基づいて前記移動体を移動し、前記対象物の二次元画像データを撮像する、
撮像システム。

【請求項6】

対象物の三次元データに基づき、前記対象物の二次元画像データを取得する画像データ取得装置の一回の撮像範囲に含まれる前記対象物の平面の大きさを推定し、
前記平面の大きさの推定結果に基づいて、前記画像データ取得装置を前記平面に対して平行に移動して次の二次元画像データを撮像する場合の第１距離を決定する、
制御装置。

【請求項7】

対象物の三次元データに基づき、前記対象物の二次元画像データを取得する画像データ取得装置の一回の撮像範囲に含まれる前記対象物の平面の大きさを推定するステップと、
前記平面の大きさの推定結果に基づいて、前記画像データ取得装置を前記平面に対して平行に移動して次の二次元画像データを撮像する場合の第１距離を決定するステップと、
を含む撮像方法。

【請求項8】

前記推定するステップは、前記一回の撮像範囲に含まれる前記対象物が平面でないと判断した場合、次の画像データを取得するまでの距離を、前記第１距離と比較して短い第２距離を決定し、前記第１距離により前記次の二次元画像データを取得する場合の重複率を、前記第２距離により前記次の二次元画像データを取得する際の重複率より小さくする、
請求項７に記載の撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、撮像システム及び撮像方法に関する。

【背景技術】

【0002】

近年では、ドローンに代表される移動体にカメラを搭載し、構造物の撮像画像を取得し、その取得した撮像画像から三次元モデルを生成する技術が提案されている。

【0003】

例えば、特許文献１では、カメラを搭載した移動体により、対象物の二次元画像データが取得され、ＳｆＭ（Structure from Motion）を使用して三次元点群を生成し、三次元モデルを生成する技術が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５－１１４９５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＳｆＭでは、撮像範囲を互いに重ね合せて、大量の二次元画像データを取得し、自己位置と対象物の座標を推定することにより対象物の三次元点群を生成する。そのため、大量の二次元画像データを処理する必要があり、処理時間が増大する場合がある。

【0006】

本発明はこのような事情に鑑みてなされたもので、画像データを削減できる移動体、制御装置、及び撮像方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

第１の態様の移動体は、移動体本体と、移動体本体に備えられ、対象物を撮像する撮像装置であって、校正された画像データ取得装置と三次元データ取得装置とを備える撮像装置と、対象物に対して、画像データ取得装置の画角毎に取得された画像データと三次元データ取得装置により取得された三次元データとを関連付けた単位画像データを撮像装置から取得し、三次元データに基づいて撮像対象に対し平面推定を実施し、撮像対象が平面であるか否かを判断し、平面であると判断した場合、平面の情報に基づいて、次の単位画像データを取得するまでの第１距離を決定する制御装置と、を備える。第１の態様によれば、画像データを削減できる。

【0008】

第２の態様の移動体において、制御装置は、平面でないと判断した場合、次の単位画像データを取得するまでの距離を、第１距離と比較して短い第２距離を決定する。第２の態様によれば、第２距離を第１距離より短くすることにより、効果的に画像データを削減できる。

【0009】

第３の態様の移動体において、撮像装置は画像データと三次元データとを同時に取得する。第２の態様によれば、画像データと三次元データの取得を容易にする。

【0010】

第４の態様の移動体において、三次元データ取得装置は、ステレオカメラ、レーザースキャナー、及びタイムオブフライト式カメラのいずれかを含む。第４の態様は、好ましい三次元データ取得装置を特定する。

【0011】

第５の態様の移動体において、画像データが二次元カラー画像データである。第５の態様は、好ましい画像データの種類を特定する。

【0012】

第６の態様の移動体において、撮像装置及び制御装置が備えられた移動体本体が無人航空機である。第６の態様によれば、対象物の撮像が容易になる。

【0013】

第７の態様の制御装置は、移動体本体に備えられ、対象物を撮像する、校正された画像データ取得装置と三次元データ取得装置と備える撮像装置を制御する制御装置であって、対象物に対して、画像データ取得装置の画角毎に取得された画像データと三次元データ取得装置により取得された三次元データとを関連付けた単位画像データを撮像装置から取得し、三次元データに基づいて撮像対象に対し平面推定を実施し、撮像対象が平面であるか否かを判断し、平面であると判断した場合、平面の情報に基づいて、次の単位画像データを取得するまでの第１距離を決定する。第７の態様によれば、画像データを削減できる。

【0014】

第８の態様の制御装置において、平面でないと判断した場合、次の単位画像データを取得するまでの距離を、第１距離と比較して短い第２距離を決定する。第８の態様によれば、第２距離を第１距離より短くすることにより、効果的に画像データを削減できる。

【0015】

第９の態様の撮像方法は、移動しながら、対象物に対して画像データと三次元データとが関連付けられた単位画像データを取得するステップと、単位画像データの三次元データに基づいて撮像対象に対し平面推定を実施するステップと、撮像対象が平面であるか否かを判断するステップと、平面であると判断した場合、平面の情報に基づいて、次の単位画像データを取得するまでの第１距離を決定するステップと、を含む。第９の態様によれば、画像データを削減できる。

【0016】

第１０の態様の撮像方法は、平面でないと判断した場合、次の単位画像データを取得するまでの距離を、第１距離と比較して短い第２距離を決定するステップを含む。第１０の態様によれば、第２距離を第１距離より短くすることにより、効果的に画像データを削減できる。

【発明の効果】

【0017】

本発明によれば、画像データを削減でき、処理時間の増大を回避することができる。

【図面の簡単な説明】

【0018】

【図1】図１は、画像処理システムを概念的に示す図である。

【図2】図２は、制御装置が実現する機能を示すブロック図である。

【図3】図３は、コントローラのブロック図である。

【図4】図４は、画像データ取得装置と三次元データ取得装置による対象物の撮像を示す概念図である。

【図5】図５は、画像データと三次元データとの対応関係を説明する概念図である。

【図6】図６は、移動体の搭載された撮像装置により対象物を撮像する様子を概念的に示した図である。

【図7】図７は、画像撮像方法を説明するフローチャートである。

【図8】図８は、移動体を飛行させながら撮像装置により対象物を撮像する様子を示す図である。

【図9】図９は、撮像装置により取得された画像データと三次元データの一例を示す図である。

【図10】図１０は、三次元データから画像データの平面を推定する様子を概念的に示した図である。

【図11】図１１は、単位画像データに三次元データを加えた様子を概念的に示した図である。

【図12】図１２は、移動体が第１距離を移動して単位画像データを取得する様子を概念的に示した図である。

【図13】図１３は、移動体が第２距離を移動して単位画像データを取得する様子を概念的に示した図である。

【図14】図１４は、画像処理装置のブロック図である。

【図15】図１５は、三次元点群の作成を説明する図である。

【図16】図１６は、三次元点群の作成を説明する図である。

【図17】図１７は、画像処理装置に三次元点群を表示させた状態を示す図である。

【図18】図１８は、別の三次元点群の作成を説明する図である。

【図19】図１９は、別の三次元点群の作成を説明する図である。

【発明を実施するための形態】

【0019】

以下、添付図面に従って本発明に係る移動体、制御装置、及び撮像方法の好ましい実施の形態について説明する。

【0020】

図１は、画像処理装置３００と移動体１００とから構成される画像処理システムを概念的に示す図である。移動体１００は、例えば、無人航空機（UAV：Unmanned Aerial Vehicle）である。移動体１００は、移動体本体１０２と、移動体本体１０２に備えられた推進部１０４と、移動体本体１０２に備えられた制御装置１２０と、を有する。移動体本体１０２は、移動体１００の主たる形状を形成する部材である。実施形態では、複数のプロペラとプロペラ駆動モータとが移動体本体１０２に取り付けられている。プロペラとプロペラ駆動モータとが推進部１０４を構成する。移動体１００は、車両、又は船舶であってもよい。また移動体１００は自走型ロボットであってもよい。

【0021】

移動体１００は、撮像装置２００を搭載する。撮像装置２００は、例えば、ジンバル（不図示）を介して移動体本体１０２に取り付けできる。また、後述するように、画像データ取得装置２０２と三次元データ取得装置２０４（図２参照）とを備える。移動体１００は、コントローラ２５０による操作に基づき大気中を飛行する。移動体１００は、搭載された撮像装置２００により対象物に対して複数の単位画像データを取得する。対象物は、例えば、橋梁、ダム、トンネル、建物などの構造物を含む。ただし、対象物は、これらの構造物に限定されない。

【0022】

画像処理装置３００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（read‐only memory）、及びＲＡＭ（Random Access Memory）等を備えたコンピュータにより構成される。画像処理装置３００は、例えば、操作部３１０、及び表示部３２０を備える。画像処理装置３００を構成するコンピュータは、ＣＰＵがＲＯＭに格納された構造物管理プログラムを実行することにより、画像処理装置３００として機能する。

【0023】

図２は、移動体１００に備えられる制御装置１２０の構成を示すブロック図である。移動体１００は、プロペラ駆動モータ１５０と、モータドライバ１５２と、センサ部１５４と、機体側無線通信部１５６と、制御装置１２０と、を備える。制御装置１２０は、例えば、マイクロコンピュータ（以下、マイコンとも称する）で構成される。

【0024】

制御装置１２０は、メイン制御部１２２と、移動制御部１２４と、機体側無線通信制御部１２６と、カメラ制御部１２８と、を備える。メイン制御部１２２は、移動制御部１２４、機体側無線通信制御部１２６、カメラ制御部１２８、の各機能の全体を管理する。制御装置１２０は、プログラムを実行することにより、メイン制御部１２２と、移動制御部１２４と、機体側無線通信制御部１２６と、カメラ制御部１２８として、機能させることができる。

【0025】

移動制御部１２４は、モータドライバ１５２を介してプロペラ駆動モータ１５０の駆動を制御することにより、移動体１００の飛行（移動）を制御する。移動制御部１２４は、コントローラ２５０から送信される制御信号、及びセンサ部１５４から出力される移動体１００の飛行状態の情報に基づいて、各プロペラ駆動モータ１５０の駆動を制御し、移動体１００の飛行を制御する。例えば、コントローラ２５０から上昇が指示された場合は、機体が上昇するように、各プロペラ駆動モータ１５０の駆動を制御する。また、コントローラ２５０から下降が指示された場合は、機体が下降するように、各プロペラ駆動モータ１５０の駆動を制御する。更に、コントローラ２５０から旋回が指示された場合には、指示された方向に機体が旋回するように、各プロペラ駆動モータ１５０の駆動を制御する。また、撮像中には、機体が所定の速度で飛行するように、各プロペラ駆動モータ１５０の駆動を制御する。プロペラ駆動モータ１５０がプロペラ（不図示）を回転させ、移動体１００に推進力を付与する。移動体１００は、複数のプロペラ駆動モータ１５０とプロペラと、を備え、各プロペラの回転力を異ならせることにより各方向への移動を可能にする。移動体１００の飛行経路は、予め設定できる。

【0026】

センサ部１５４は、移動体１００の飛行状態を検出する。センサ部１５４は、ＩＭＵ（inertial measurement unit）、ＧＮＳＳ（Global Navigation Satellite System）等の各種センサ類を備えて構成される。ＩＭＵは、例えば、ジャイロセンサ、地磁気センサ、加速度センサ、速度センサ等を複数軸で組み合わせて構成される。センサ部１５４は、各種センサで検出された移動体１００の飛行状態の情報を制御装置１２０に出力する。

【0027】

機体側無線通信部１５６は、制御装置１２０による制御の下、コントローラ２５０と無線で通信し、互いに各種信号を送受信する。例えば、コントローラ２５０が操作された場合、その操作に基づく制御信号がコントローラ２５０から移動体１００に向けて送信される。機体側無線通信部１５６は、コントローラ２５０から送信された制御信号を受信し、移動体１００に出力する。

【0028】

制御装置１２０は、図示しないが、ＣＰＵ（Central Processing Unit／中央処理装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、所定のプログラムを実行することにより各種機能を実現する。プログラムは、ＲＯＭに格納される。

【0029】

カメラ制御部１２８は、コントローラ２５０から送信される制御信号に基づいて、撮像装置２００を制御する。例えば、コントローラ２５０からの撮像開始指示に応じて、撮像装置２００に撮像を開始させる。コントローラ２５０からの撮像終了指示に応じて、撮像装置２００に撮像を終了させる。

【0030】

機体側無線通信制御部１２６は、機体側無線通信部１５６を介して、コントローラ２５０との間の通信を制御する。

【0031】

移動体１００の飛行計画、撮像装置２００の撮像条件は、制御ソフトウェア等で事前に決定できる。飛行計画は、例えば、移動体１００の飛行経路、速度、及び高度を含む。撮像条件は、撮像装置２００を等時間間隔で撮像させること、及び等距離間隔で撮像させること等を含む。等時間間隔、等距離間隔等の条件が適宜選択される。メイン制御部１２２は、飛行計画に基づいて、移動制御部１２４を制御する。移動制御部１２４は、メイン制御部１２２からの信号に従い、モータドライバ１５２を介してプロペラ駆動モータ１５０の駆動を制御する。メイン制御部１２２は、撮像条件に基づいて、カメラ制御部１２８を制御する。カメラ制御部１２８は、撮像装置２００を制御する。飛行計画と撮像条件を組み合わせることにより、飛行経路上の撮像範囲のオーバーラップ率、及び飛行経路間の撮像範囲のサイドラップ率等が決定される。後述するように、実施形態の移動体１００は、撮像する対象物の形状に応じて移動体１００の撮像条件等を決定できる。

【0032】

図３は、コントローラの電気的構成を示すブロック図である。

【0033】

コントローラ２５０は、コントローラ操作部２５０Ａと、コントローラ表示部２５０Ｂと、コントローラ側無線通信部２５０Ｃと、コントローラマイコン２５０Ｄと、を備える。

【0034】

コントローラ操作部２５０Ａは、移動体１００を操作する各種操作部材を備えて構成される。推進部を備える移動体本体１０２を操作する操作部材には、例えば、移動体本体１０２の上昇、下降を指示する操作部材、移動体本体１０２の旋回を指示する操作部材等が含まれる。撮像装置２００を操作する操作部材には、例えば、撮像開始、撮像終了を指示する操作部材等が含まれる。

【0035】

コントローラ表示部２５０Ｂは、例えば、ＬＣＤ（Liquid Crystal Display／液晶ディスプレイ）で構成される。コントローラ表示部２５０Ｂには、例えば、移動体１００の飛行状態の情報が表示される。

【0036】

コントローラ側無線通信部２５０Ｃは、コントローラマイコン２５０Ｄによる制御の下、移動体１００と無線で通信し、互いに各種信号を送受信する。

【0037】

コントローラマイコン２５０Ｄは、コントローラ２５０の全体の動作を統括制御する制御部である。コントローラマイコン２５０Ｄは、ＣＰＵ、ＲＯＭ、ＲＡＭを備え、所定のプログラムを実行することにより各種機能を実現する。例えば、コントローラ操作部２５０Ａが操作されると、その操作に応じた制御信号が生成される。制御信号が、コントローラ側無線通信部２５０Ｃを介して移動体１００に送信される。また、コントローラ２５０は、コントローラ側無線通信部２５０Ｃを介して移動体１００から飛行状態の情報を取得し、コントローラ表示部２５０Ｂに表示する。プログラムは、ＲＯＭに格納される。

【0038】

図４は、画像データ取得装置と三次元データ取得装置と、を備える撮像装置が対象物を撮像する際の概念図である。撮像装置２００は、画像データ取得装置２０２と三次元データ取得装置２０４と、を備える。対象物は、平面形状を有する構造物Ａ及びＢと、平面を有さない構造物Ｃと、を含む。画像データ取得装置２０２は、対象物の二次元画像データを取得する。画像データ取得装置２０２は、図示しないＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を含む。撮像素子は、ｘ方向（水平方向）及びｙ方向（垂直方向）に二次元的に配列された光電交換素子で構成された複数の画素を有し、複数の画素の上面には、例えば、Ｒ（赤）、Ｇ（緑）及びＢ（青）のフィルタが二次元的にベイヤー配列されたカラーフィルタ（図示せず）が配置される。実施形態では、画像データ取得装置２０２は、二次元カラー画像データを取得できる。画像データ取得装置２０２は、一回の撮像毎に、画角毎の画像データを取得する。撮像範囲は画像データ取得装置２０２の画角により決定される。画像データ取得装置２０２は、対象物に対して複数の画像データを取得する。画角は、画像データ取得装置２０２で撮像した際の撮像範囲を表す。

【0039】

三次元データ取得装置２０４は、対象物の三次元データを取得する。三次元データ取得装置２０４は、例えば、ステレオカメラである。ステレオカメラは、異なる位置に配置された複数のカメラから同時に画像データを撮像し、画像データにおける視差を用いて、対象物までの三次元データを取得するカメラである。三次元データ取得装置２０４がステレオカメラである場合、複数のカメラの一台を画像データ取得装置２０２として利用できる。三次元データ取得装置２０４とは別に、画像データ取得装置２０２を設けることができる。

【0040】

なお、三次元データ取得装置２０４がステレオカメラである場合を説明した。三次元データは、レーザースキャナー、又はタイムオブフライト（Time-of-Flight：ＴｏＦ）式カメラを使用して取得できる。

【0041】

レーザースキャナーはレーザーパルスを対象物に出射し、対象物の表面で反射されたレーザーパルスが戻ってくるまでの時間により距離を計測する。そして、計測した距離とレーザーパルスの出射方向の角度情報とによりレーザーパルスの反射点の三次元データが取得される。すなわち、三次元データは三次元座標を含む。レーザースキャナーは、タイムオブフライト方式によるものに限らず、位相差方式、三角法方式により三次元データが取得できる。

【0042】

タイムオブフライト式カメラは、光の飛行時間を測ることで三次元データを取得するカメラである。

【0043】

図５は、画像データと三次元データとの対応関係を説明する概念図である。画像データＩＤは二次元に配列された複数の画素Ｐのデータを含む。画像データＩＤは画角範囲のデータである。画素ＰはＲ、Ｇ、Ｂのそれぞれについて値を持つ。図５では、画像データＩＤにおける座標（Ｐｘ、Ｐｙ）の画素Ｐと、画素Ｐに対応する対象物の位置関係を有する点Ｑと、が示されている。点Ｑは、位置情報である三次元データ（ｘ、ｙ、ｚ）を有する。すなわち、三次元データは三次元座標である。画像データ取得装置２０２と三次元データ取得装置２０４とは校正されているので、画素Ｐと点Ｑと、は関連付けられている。画像データＩＤの画素と三次元データＴＤとが関連付けられた単位画像データＵＩＤが取得される。単位画像データＵＩＤの各データＰＱは、点Ｑの三次元データ（ｘ、ｙ、ｚ）と、画素Ｐの（Ｒ、Ｇ、Ｂ）の値の情報を有する。飛行計画及び撮像条件にしたがって、移動体１００に搭載された撮像装置２００は、対象物に対し複数の単位画像データＵＩＤを取得する。単位画像データＵＩＤに含まれる画像データＩＤと三次元データＴＤとは、同時に取得されることが好ましい。画像データＩＤと三次元データＴＤとの関連付けが容易になる。

【0044】

移動体１００の動作について、図面を参照して説明する。図６に示されるように、撮像装置２００を搭載した移動体１００が、対象物の周囲を飛行計画に基づいて飛行する。撮像装置２００に備えられる画像データ取得装置２０２（不図示）と三次元データ取得装置２０４（不図示）とは、撮像条件に基づいて対象物を撮像し、複数の単位画像データＵＩＤを取得する。飛行計画及び撮像条件は、例えば、コントローラ２５０から入力される。飛行計画は、対象物の三次元点群の生成するための範囲を含む。また、撮像条件は、ＳｆＭにより三次元点群を生成するための、オーバーラップ率、及びサイドラップ率を含む。撮像装置２００は、撮像条件にしたがい、大量の画像データを取得する。

【0045】

次に、移動体１００を飛行させながら撮像装置２００により、対象物を撮像する方法について説明する。図７は、移動体１００の撮像装置２００による画像撮像方法を説明するフローチャートである。画像撮像方法は、単位画像データ取得ステップ（ステップＳ１）、平面推定ステップ（ステップＳ２）、平面判断ステップ（ステップＳ３）と、第１距離決定ステップ（ステップＳ４）と、第１距離より短い第２距離決定ステップ（ステップＳ５）と、計画終了判断ステップ（ステップＳ６）と、を備える。

【0046】

単位画像データ取得ステップでは、移動しながら、対象物に対して画像データＩＤと三次元データＴＤとが関連付けられた単位画像データを取得する（ステップＳ１）。図８に示されるように、撮像装置２００を搭載した移動体１００が、対象物の周囲を飛行計画に基づいて飛行する。撮像装置２００に備えられる画像データ取得装置２０２（不図示）と三次元データ取得装置２０４（不図示）とは、画角θの範囲において、移動しながら撮像条件に基づいて対象物を撮像し、単位画像データＵＩＤを取得する。

【0047】

図９は、撮像装置２００により取得された画像データＩＤと三次元データＴＤの一例を示す図である。図９に示されるように、画像データ取得装置２０２（不図示）が二次元カラー画像データである画像データＩＤを取得する。また、三次元データ取得装置２０４（不図示）が、対象物までの深度データＤＰを取得する。画像データＩＤと深度データＤＰとから、画像データＩＤと三次元データＴＤとが、関連付けられた単位画像データＵＩＤが取得される。深度データＤＰは、距離が近いほど青色で示され、距離が遠いほど赤色で示される。実施形態では、右斜め上が青色に近い色で表示され、左斜め下が赤色に近い色で表示される。単位画像データＵＩＤは、撮像装置２００から制御装置１２０に入力される。

【0048】

平面推定ステップでは、単位画像データＵＩＤの三次元データＴＤに基づいて撮像対象に対し平面推定を実施する（ステップＳ２）。平面推定は、画像データ取得装置２０２による画角範囲における平面を推定する。平面推定は、例えば、制御装置１２０におけるメイン制御部１２２により実施される。画角範囲の三次元データに基づいて実施される平面推定は、例えば、次式に示す平面方程式を求めることで実施さる。

【0049】

[数１]
ａ_ｒｘ＋ｂ_ｒｙ＋ｃ_ｒｚ－ｄ_ｒ＝０
[数１]式において、ｘ、ｙ及びｚはカメラ座標系の３軸直交方向の三次元データであり、ａ_ｒ、ｂ_ｒ、ｃ_ｒ、及びｄ_ｒはそれぞれ平面方程式の係数を示す。３次元データ（ｘ，ｙ，ｚ）の各点との２乗距離が最小となる平面の係数ａ_ｒ、ｂ_ｒ、ｃ_ｒ、及びｄ_ｒを求めることで推定される平面が決定される。

【0050】

図１０は、三次元データＴＤから画像データＩＤにおける平面を推定する様子を概念的に示した図である。図１０に示されるように、単位画像データＵＩＤの三次元データＴＤにおいて、四角で囲まれる範囲が平面ＰＬと推定される。画像データＩＤにおける平面ＰＬが推定される。

【0051】

平面判断ステップでは、撮像対象が平面である否かを判断する（ステップＳ３）。撮像対象、すなわち画角範囲内で、ほとんどの領域が平面ＰＬであるかどうかを判断する。平面か否かの判断は、例えば、制御装置１２０におけるメイン制御部１２２により実施される。例えば、三次元データで推定される平面と、画角の大きさとを比較する。平面判断ステップで平面であると判断（「Ｙ」と判断）されると、第１距離を決定するステップへと進む。

【0052】

第１距離を決定するステップでは、平面であると判断された場合、平面の情報に基づいて、次の単位画像データを取得するまでの第１距離を決定する（ステップＳ４）。図１１に示されるように、例えば、単位画像データＵＩＤの三次元データＴＤの座標が加えられる。推定された平面ＰＬの４つの角に示されている。ここでは、（－２．０, １, ３．０）、（２．０, １, ３．５）、（２．０, －１, ３．５）、及び（－２．０, －１, ３．０）が示されている。これらの４つの座標から、平面ＰＬの大きさ（幅Ｗ、及び高さＨ）が推定される（図１０参照）。

【0053】

次の単位画像データを取得するまでの第１距離Ｌ１は、横方向に移動する場合は数２の式で、縦方向に移動する場合は数３の式で求めることができる数２、及び数３に示されるように、重複率を小さくするほど、第１距離Ｌ１は大きくなる。重複率は予め設定することができる。横方向に移動する場合と、縦方向に移動する場合とで、異なる重複率Ｒ１を設定できる。

【0054】

[数２]
Ｌ１＝推定された平面の幅Ｗ×(１００％－重複率Ｒ１)
[数３]
Ｌ１＝推定された平面の高さＨ×(１００％－重複率Ｒ１)
第１距離を決定するステップは、例えば、制御装置１２０におけるメイン制御部１２２により実施される。第１距離Ｌ１は、例えば、メイン制御部１２２から移動制御部１２４、及びカメラ制御部１２８に入力される。移動体本体１０２及び撮像装置２００が、次の単位画像データの取得に向けて準備される。

【0055】

平面判断ステップ（ステップＳ３）で、平面であると判断（「Ｎ」と判断）されると、第１距離より短い第２距離を決定する第２距離決定ステップ（ステップＳ５）へと進む。第２距離Ｌ２は、ＳｆＭによる三次元点群を作成することを前提に、重複率Ｒ２（オーバーラップ率、及びサイドラップ率）を設定することで、既定値として予め求めることができる。第２距離決定ステップでは、第２距離Ｌ２は、既定値である第２距離Ｌ２が決定される。横方向に移動する場合と、縦方向に移動する場合とで、異なる重複率Ｒ２を設定できる。

【0056】

[数４]
Ｌ２＝撮像範囲の幅Ｗ×(１００％－重複率Ｒ２)
[数５]
Ｌ２＝撮像範囲の高さＨ×(１００％－重複率Ｒ２)
第１距離Ｌ１を求める際の重複率Ｒ１は第２距離Ｌ２を求める際の重複率Ｒ２より小さく設定される。結果として、第１距離Ｌ１は第２距離Ｌ２より長くなる。第１距離決定ステップ（ステップＳ４）、又は第２距離決定ステップ（ステップＳ５）の後、計画終了判断ステップに進む。

【0057】

次に、計画終了判断ステップでは、対象物に対して予め設定された計画（飛行計画、及び撮像条件）を終了したか否かが判断される（ステップＳ６）。

【0058】

計画終了判断ステップで、計画を終了していない判断（「Ｎ」と判断）されると、単位画像データ取得ステップ（ステップＳ１）に進む。

【0059】

第１距離決定ステップ（ステップＳ４）が実行されると、単位画像データ取得ステップ（ステップＳ１）では、図１２に示されるように、移動体１００が、推定された平面までの距離を維持したまま、推定された平面から第１距離Ｌ１だけ平行に移動する。移動体１００に搭載された撮像装置２００は、対象物に対して、次の単位画像データを取得する。

【0060】

第２距離決定ステップ（ステップＳ５）が実行されると、単位画像データ取得ステップ（ステップＳ１）では、図１３に示されるように、移動体１００が、推定された平面までの距離を維持したまま、推定された平面から第２距離Ｌ２だけ平行に移動する。移動体１００に搭載された撮像装置２００は、対象物に対して、次の単位画像データを取得する。

【0061】

図１２、及び図１３を比較すると、第１距離Ｌ１は第２距離Ｌ２より長い。すなわち、平面が推定されると次の単位画像データを取得するまでの距離が長くなるので、対象物に対する画像データＩＤの取得枚数を削減できる。

【0062】

なお、計画終了判断ステップ（ステップＳ６）で、計画を終了している（「Ｙ」と判断）と判断されるまで、単位画像データ取得ステップ（ステップＳ１）、平面推定ステップ（ステップＳ２）、平面判断ステップ（ステップＳ３）と、第１距離決定ステップ（ステップＳ４）又は第２距離決定ステップ（ステップＳ５）と、計画終了判断ステップ（ステップＳ６）とが、繰り返し実行される計画終了判断ステップ（ステップＳ６）で、計画を終了していると判断（「Ｙ」と判断）されると、移動体１００は撮像装置２００による撮像を停止し、例えば、所定の位置に戻る。

【0063】

（三次元点群の作成）
次に、削減された画像データＩＤを利用して三次元点群を作成する第１手順を説明する。移動体１００の撮像装置２００により取得された、対象物の単位画像データＵＩＤ（画像データＩＤと三次元データＴＤ）が、画像処理装置３００に入力される。図１４に示されるように、画像処理装置３００は、例えば、操作部３１０、表示部３２０、装置入出力部３３０、及び装置制御部３４０、記録部３５０、で構成される。

【0064】

装置入出力部３３０は、無線又は有線により接続されて情報の入出力が行われる。例えば、移動体１００が取得した複数の単位画像データＵＩＤが装置入出力部３３０を介して入力される。

【0065】

装置制御部３４０は、装置入出力部３３０を介して単位画像データＵＩＤを取得し、三次元点群の作成を行う。また、装置制御部３４０は、記録部３５０への記録の制御、表示部３２０への表示の制御、及び操作部３１０から入力される指令に応じた制御を行う。

【0066】

表示部３２０は、装置制御部３４０の制御により表示を行う。例えば、表示部３２０は、損傷がマッピングされた三次元点群を表示する。

【0067】

記録部３５０は、装置制御部３４０の制御により各種情報の記録を行う。例えば記録部３５０は、作成された三次元点群を記録する。記録部３５０は、装置制御部３４０を制御する各種プログラムを記録する。

【0068】

以下の実施形態では、図１５に示されるように、構造物Ａの一部について平面ＰＬが推定されていることを前提とする。平面ＰＬを撮像した画像データＩＤが取得されている。複数の画像データＩＤは、図１２に示されるように移動体１００を第１距離Ｌ１だけ移動させて、撮像装置２００により取得される。また、構造物Ａの平面以外の複数の画像データＩＤは、図１３に示されるように移動体１００を第２距離Ｌ２だけ移動させて、撮像装置２００により取得される。構造物Ａの平面以外では、ＳｆＭに必要な複数の画像データＩＤを含む画像群ＩＧが取得される。

【0069】

次に、図１６に示されるように、平面ＰＬを撮像した画像データＩＤを合成することにより、構造物Ａの平面に対応する合成画像データＣＩＤが作成できる。合成画像データＣＩＤは、パターンマッチングのうちのブロックマッチングを使用して作成できる。ブロックマッチングでは、一の画像データＩＤにおいて所定の大きさのブロックを設定し、そのブロックを他の画像データＩＤにおいて走査させて相関値を算出する。そして、相関値が最も高い箇所がそのブロックと重なる場所であるとして、隣接する画像データＩＤを連結合成する。平面ＰＬが推定されているので、精度よく画像データＩＤを連結合成し、合成画像データＣＩＤにできる。

【0070】

最後に、画像群ＩＧからＳｆＭにより、撮像位置、姿勢及び対象物の座標が推定される。さらにＭＶＳ（Multi-view Stereo）処理により高密度化され、三次元点群が作成される。画像群ＩＧには推定された平面ＰＬに相当する部分は含まれていない。そこで、ＳｆＭで得られた点群情報であって、平面ＰＬに隣接する点群情報を用いて、合成画像データＣＩＤを配置することで、図１７に示されるように、対象物に対する三次元点群を作成できる。実施形態では、画像群ＩＧと合成画像データＣＩＤと、をＳｆＭ処理することで、三次元点群が作成される。

【0071】

なおＳｆＭに際し、画像群ＩＧの画像データＩＤがオーバーラップする領域に含まれる特徴点を抽出し、画像データＩＤ間における特徴点の対応関係を特定する。

【0072】

画像データＩＤ間の拡大縮小（撮像距離の違い）、回転等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF (Speed-Upped Robust Feature)特徴量、及びAKAZE (Accelerated KAZE)特徴量が知られている。特徴量が一致する対応点の数（セット数）は、数１０組以上あることが好ましく、したがって画像群ＩＧにおける画像データＩＤ間のオーバーラップ率、及び／又はサイドラップ率は大きいことが好ましい。

【0073】

次に、削減された画像データＩＤを利用して三次元点群を作成する第２手順を説明する。

【0074】

図１８は、画像処理装置３００に入力された、２つの単位画像データＵＩＤ－１と単位画像データＵＩＤ－２とを各カメラ座標系に示す。カメラ座標系は、撮像装置２００の座標系であり、レンズの中心が原点となる。

【0075】

単位画像データＵＩＤ－１と単位画像データＵＩＤ－２とは、撮像位置が異なるので、各カメラ座標系の原点は異なる。単位画像データＵＩＤ－１と単位画像データＵＩＤ－２では、それぞれの（ｘ、ｙ、ｚ）の座標の点は、（Ｒ、Ｇ、Ｂ）の値を持つ。装置制御部３４０は、単位画像データＵＩＤ－１と単位画像データＵＩＤ－２との各々から、矢印で示されるように特徴点を抽出する。単位画像データＵＩＤ－１の特徴点と単位画像データＵＩＤ－２の特徴点との間における関係性を求める。

【0076】

画像データＵＩＤ－１と画像データＵＩＤ－２と特徴点の間に関係性が認められると、図１９に示されるように、画像データＵＩＤ－２を画像データＵＩＤ－１のカメラ座標系の空間に射影できる。

【0077】

上述の処理を平面ＰＬの推定された単位画像データＵＩＤに対して行うことにより、１つのカメラ座標系の空間のモデルとして点群を集めることができる。

【0078】

最終的にはＳｆＭで得られた点群情報であって、平面ＰＬに隣接する点群情報と、上記処理で集められた点群とを用いることによって、第１手順と同様に、図１７に示される対象物に対する三次元点群を作成できる。

【0079】

画像群データでは、単位画像データＵＩＤが削減されているので画像データＩＤを使用する処理の負担が小さい。画像群データでは、平面ＰＬが推定されているので、単位画像データＵＩＤ間での特徴点の関係性を容易に求めることができる。

【0080】

第１手順、及び第２手順においては、移動体１００の撮像装置２００により対象物の複数の画像データＩＤを取得し、複数の画像データＩＤから複数の特徴点を抽出し、複数の特徴点をマッチングし、撮像装置２００の位置及び姿勢と特徴点の三次元点群とを算出することで実施される。実施形態では、対象物の平面を推定することにより、取得される画像データが削減されている。したがって、処理時間が低減できる。

【0081】

本発明に係る画像処理装置を実現するハードウェアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。画像表示装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種プロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0082】

以上、本発明について説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよい。

【符号の説明】

【0083】

１００：移動体
１０２：移動体本体
１０４：推進部
１２０：制御装置
１２２：メイン制御部
１２４：移動制御部
１２６：機体側無線通信制御部
１２８：カメラ制御部
１５０：プロペラ駆動モータ
１５２：モータドライバ
１５４：センサ部
１５６：機体側無線通信部
２００：撮像装置
２０２：画像データ取得装置
２０４：三次元データ取得装置
２５０：コントローラ
２５０Ａ：コントローラ操作部
２５０Ｂ：コントローラ表示部
２５０Ｃ：コントローラ側無線通信部
２５０Ｄ：コントローラマイコン
３００：画像処理装置
３１０：操作部
３２０：表示部
３３０：装置入出力部
３４０：装置制御部
３５０：記録部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】