(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023072353
(43)【公開日】2023-05-24
(54)【発明の名称】移動体の移動経路決定装置、移動体の移動経路決定方法及び移動体の移動経路決定プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20230517BHJP
B64C 39/02 20060101ALI20230517BHJP
B64D 47/08 20060101ALI20230517BHJP
【FI】
H04N5/232 220
B64C39/02
B64D47/08
【審査請求】未請求
【請求項の数】30
【出願形態】OL
(21)【出願番号】P 2021184855
(22)【出願日】2021-11-12
(71)【出願人】
【識別番号】000004695
【氏名又は名称】株式会社SOKEN
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(71)【出願人】
【識別番号】504139662
【氏名又は名称】国立大学法人東海国立大学機構
(74)【代理人】
【識別番号】110000567
【氏名又は名称】弁理士法人サトー
(72)【発明者】
【氏名】項 警宇
(72)【発明者】
【氏名】吉川 覚
(72)【発明者】
【氏名】道木 慎二
(72)【発明者】
【氏名】舟洞 佑記
(72)【発明者】
【氏名】呉 偉桐
(72)【発明者】
【氏名】道木 加絵
【テーマコード(参考)】
5C122
【Fターム(参考)】
5C122DA12
5C122EA48
5C122FA04
5C122FA11
5C122FA13
5C122GD11
5C122HA35
5C122HA65
5C122HA88
5C122HB01
5C122HB10
(57)【要約】
【課題】構造物全体の画像をより効率的に取得できる移動体の移動経路決定装置を提供する。
【解決手段】移動経路決定装置1は、複数の写真データを合成して構造物の3Dモデルを作成するために、カメラ46を搭載した飛行装置10を移動させて構造物の写真を複数個所について撮影する際の移動経路を決定する。撮影場所計算部3は、構造物の形状に合わせて写真を撮影する複数の撮影場所を計算し、移動経路決定部4は、計算された複数の撮影場所を巡回する順序を前記移動経路として決定する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
複数の写真データを合成して構造物の3D(Dimension)モデルを作成するため、カメラ(46)を搭載した移動体(10)を移動させて前記構造物の写真を複数個所について撮影する際の、前記移動体の移動経路を決定する装置であって、
前記構造物の形状に合わせて、写真を撮影する複数の撮影場所を計算する撮影場所計算部(3)と、
計算された複数の撮影場所を巡回する順序を、前記移動経路として決定する移動経路決定部(4)とを備える移動体の移動経路決定装置。
【請求項2】
前記撮影場所計算部は、前記構造物の3DCAD(Computer Aided Design)データに基づいて、前記撮影場所を計算する請求項1記載の移動体の移動経路決定装置。
【請求項3】
前記撮影場所計算部は、前記構造物の表面を複数の部分に分割する多角形を形成し、前記カメラの性能、隣り合う位置で撮影された写真のオーバーラップ率、前記移動体の位置制御精度のうち少なくとも1つを考慮し、隣接する多角形の幾つかを結合して撮影範囲を計算すると共に、前記撮影場所を計算する請求項1又は2記載の移動体の移動経路決定装置。
【請求項4】
前記撮影場所計算部は、前記カメラの撮影範囲を内部に含む図形を、前記構造物の表面に並べて配置することで、前記撮影場所を計算する請求項1から3の何れか一項に記載の移動体の移動経路決定装置。
【請求項5】
前記撮影場所計算部は、前記撮影場所を、前記構造物の表面から一定の距離だけ離れた平面上に配置するように計算する請求項1から4の何れか一項に記載の移動体の移動経路決定装置。
【請求項6】
前記移動経路決定部は、前記複数の撮影場所をノードとするグラフ形状の地図を生成し、グラフ探索法により前記移動経路を決定する請求項1から5の何れか一項に記載の移動体の移動経路決定装置。
【請求項7】
前記移動経路決定部は、前記地図における撮影範囲の全体を複数の領域に分割し、各領域内において、撮影される写真の像の一部に重複が生じる隣接する2つのノード間にリンクを設定する請求項6記載の移動体の移動経路決定装置。
【請求項8】
前記移動経路決定部は、前記領域のそれぞれの大きさを、前記移動体の初期位置からの距離、前記移動体に搭載されているバッテリの容量、それぞれの領域に移動するまでの時間を考慮して設定する請求項6又は7記載の移動体の移動経路決定装置。
【請求項9】
前記移動経路決定部は、前記グラフ探索法におけるリンクのコストを、撮影場所間の特定の方向の距離だけ実数倍して設定する請求項6から8の何れか一項に記載の移動体の移動経路決定装置。
【請求項10】
前記移動経路決定部は、撮影を行う日時における太陽の位置から撮影範囲に係る影の位置を計算し、その影による撮影範囲の明るさの分布状態やコントラストの大きさのうち少なくとも1つを考慮して前記移動経路を決定する請求項1から9の何れか一項に記載の移動体の移動経路決定装置。
【請求項11】
複数の写真データを合成して構造物の3D(Dimension)モデルを作成するため、カメラを搭載した移動体を移動させて前記構造物の写真を複数個所について撮影する際の、前記移動体の移動経路を決定する方法であって、
前記構造物の形状に合わせて、写真を撮影する複数の撮影場所を計算し、
計算した複数の撮影場所を巡回する順序を、前記移動経路として決定する移動体の移動経路決定方法。
【請求項12】
前記構造物の3DCAD(Computer Aided Design)データに基づいて、前記撮影場所を計算する請求項11記載の移動体の移動経路決定方法。
【請求項13】
前記構造物の表面を複数の部分に分割する多角形を形成し、前記カメラの性能、隣り合う位置で撮影された写真のオーバーラップ率、前記移動体の位置制御精度のうち少なくとも1つを考慮し、隣接する多角形の幾つかを結合して撮影範囲を計算すると共に、前記撮影場所を計算する請求項11又は12記載の移動体の移動経路決定方法。
【請求項14】
前記カメラの撮影範囲を内部に含む図形を、前記構造物の表面に並べて配置することで、前記撮影場所を計算する請求項11から13の何れか一項に記載の移動体の移動経路決定方法。
【請求項15】
前記撮影場所を、前記構造物の表面から一定の距離だけ離れた平面上に配置するように計算する請求項11から14の何れか一項に記載の移動体の移動経路決定方法。
【請求項16】
前記複数の撮影場所をノードとするグラフ形状の地図を生成し、グラフ探索法により前記移動経路を決定する請求項11から15の何れか一項に記載の移動体の移動経路決定方法。
【請求項17】
前記地図における撮影範囲の全体を複数の領域に分割し、各領域内において、撮影される写真の像の一部に重複が生じる隣接する2つのノード間にリンクを設定する請求項16記載の移動体の移動経路決定方法。
【請求項18】
前記領域のそれぞれの大きさを、前記移動体の初期位置からの距離、前記移動体に搭載されているバッテリの容量、それぞれの領域に移動するまでの時間を考慮して設定する請求項16又は17記載の移動体の移動経路決定方法。
【請求項19】
前記グラフ探索法におけるリンクのコストを、撮影場所間の特定の方向の距離だけ実数倍して設定する請求項16から18の何れか一項に記載の移動体の移動経路決定方法。
【請求項20】
撮影を行う日時における太陽の位置から撮影範囲に係る影の位置を計算し、その影による撮影範囲の明るさの分布状態やコントラストの大きさのうち少なくとも1つを考慮して前記移動経路を決定する請求項11から19の何れか一項に記載の移動体の移動経路決定方法。
【請求項21】
複数の写真データを合成して構造物の3D(Dimension)モデルを作成するため、カメラを搭載した移動体を移動させて前記構造物の写真を複数個所について撮影する際の、前記移動体の移動経路を決定する移動経路決定装置に搭載されたコンピュータにより実行されるプログラムであって、
前記構造物の形状に合わせて、写真を撮影する複数の撮影場所を計算させ、
計算した複数の撮影場所を巡回する順序を、前記移動経路として決定させる移動体の移動経路決定プログラム。
【請求項22】
前記構造物の3DCAD(Computer Aided Design)データに基づいて、前記撮影場所を計算させる請求項21記載の移動体の移動経路決定プログラム。
【請求項23】
前記構造物の表面を複数の部分に分割する多角形を形成させ、前記カメラの性能、隣り合う位置で撮影された写真のオーバラップー率、前記移動体の位置制御精度のうち少なくとも1つを考慮させ、隣接する多角形の幾つかを結合して撮影範囲を計算させると共に、前記撮影場所を計算させる請求項21又は22記載の移動体の移動経路決定プログラム。
【請求項24】
前記カメラの撮影範囲を内部に含む図形を、前記構造物の表面に並べて配置させることで、前記撮影場所を計算させる請求項21から23の何れか一項に記載の移動体の移動経路決定プログラム。
【請求項25】
前記撮影場所を、前記構造物の表面から一定の距離だけ離れた平面上に配置するように計算させる請求項21から24の何れか一項に記載の移動体の移動経路決定プログラム。
【請求項26】
前記複数の撮影場所をノードするグラフ形状の地図を生成させ、グラフ探索法により前記移動経路を決定させる請求項21から25の何れか一項に記載の移動体の移動経路決定プログラム。
【請求項27】
前記地図における撮影範囲の全体を複数の領域に分割させ、各領域内において、撮影される写真の像の一部に重複が生じる隣接する2つのノード間にリンクを設定させる請求項26記載の移動体の移動経路決定プログラム。
【請求項28】
前記領域のそれぞれの大きさを、前記移動体の初期位置からの距離、前記移動体に搭載されているバッテリの容量、それぞれの領域に移動するまでの時間を考慮して設定させる請求項26又は27記載の移動体の移動経路決定プログラム。
【請求項29】
前記グラフ探索法におけるリンクのコストを、撮影場所間の特定の方向の距離だけ実数倍して設定させる請求項26から28の何れか一項に記載の移動体の移動経路決定プログラム。
【請求項30】
撮影を行う日時における太陽の位置から撮影範囲に係る影の位置を計算させ、その影による撮影範囲の明るさの分布状態やコントラストの大きさのうち少なくとも1つを考慮して前記移動経路を決定させる請求項21から29の何れか一項に記載の移動体の移動経路決定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、構造物の3D(Dimension)モデルを作成するため、カメラを搭載した移動体を移動させて前記構造物の写真を複数個所について撮影する際の、移動体の移動経路を決定する装置、方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
構造物の経年劣化状態などを点検するため、所謂ドローンのような飛行体にカメラを搭載して構造物の各部を撮影し、その画像を目視することが提案されている。例えば、特許文献1では、架空送電線を指示している鉄塔の各部に予めマークを取り付けておき、無人航空機に搭載したカメラでマークにピントを合わせて画像を得ることで、目視点検を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の技術では、予めマークを取り付ける作業に非常に時間がかかってしまう。また、マークを取り付けた部分は構造物の画像が得られないため、点検に漏れが生じるおそれがある。さらに、構造物全体の画像を得ようとするために、撮影する箇所を過剰に設定してしまい、撮影を行う工数も増えてしまうことも考えられる。
【0005】
本発明は上記事情に鑑みてなされたものであり、その目的は、構造物全体の画像をより効率的に取得できる移動体の移動経路決定装置、移動体の移動経路決定方法及び移動体の移動経路決定プログラムを提供することにある。
【課題を解決するための手段】
【0006】
請求項1記載の移動体の移動経路決定装置によれば、複数の写真データを合成して構造物の3D(Dimension)モデルを作成するために、カメラを搭載した移動体を移動させて構造物の写真を複数個所について撮影する際の移動経路を決定する。撮影場所計算部は、構造物の形状に合わせて、写真を撮影する複数の撮影場所を計算し、移動経路決定部は、計算された複数の撮影場所を巡回する順序を、前記移動経路として決定する。このように決定された移動経路に従って移動体が移動しながら、搭載されたカメラにより構造物の写真を撮影すれば、構造物の3Dモデルを作成するために必要となる当該構造物の外観を、効率的に写真に収めることができる。
【0007】
請求項2記載の移動体の移動経路決定装置によれば、撮影場所計算部は、構造物の3DCADデータに基づき、撮影場所を計算する。すなわち、DCADデータを用いれば、構造物の立体的形状が把握できるので、3Dモデルを合成するために必要となる写真の撮影場所を容易に決定できる。
【0008】
請求項3記載の移動体の移動経路決定装置によれば、撮影場所計算部は、構造物の表面を複数の部分に分割する多角形を形成し、カメラの性能、隣り合う位置で撮影された写真のオーバーラップ率や、移動体の位置制御精度のうち少なくとも1つを考慮し、隣接する多角形同士の幾つかを結合して撮影範囲を計算すると共に撮影場所を計算する。すなわち、カメラの性能や写真のオーバーラップ率、移動体の位置制御精度も、写真の撮影場所を決定する際に影響を及ぼすパラメータである。したがって、撮影範囲を計算する際に、これらの少なくとも1つを考慮すれば、隣接する多角形をどの様に結合すれば良いかが分かり、撮影場所を適切に決定できる。また、各撮影場所で構造物を捉える範囲を、結合した多角形の面積に対応させて把握できる。
【図面の簡単な説明】
【0009】
【
図1】第1実施形態であり、移動経路決定装置の処理内容を示すフローチャート
【
図2】橋梁の3DCADデータの表面に微小三角形を配置した状態を示す図
【
図3】微小三角形を結合した複数の領域Aの配置状態を示す図
【
図4】各領域Aに対応して決定された撮影場所Pを示す図
【
図5】撮影場所Pを決定する他の手法を説明する図(その1)
【
図6】撮影場所Pを決定する他の手法を説明する図(その2)
【
図7】各撮影場所Pをノードとして、ノード間をリンクで繋いだ状態を示す図
【
図8】グラフ探索法により決定した、飛行装置の移動経路を示す図(その1)
【
図9】グラフ探索法により決定した、飛行装置の移動経路を示す図(その2)
【
図10】凹凸がある部分の中景撮影で、撮影角度及びピクセル分解能を変化させた場合に3Dモデルを良好に構築できるか否かを判定した結果を示す図
【
図11】ピクセル分解能0.5mm/pxで撮影した、隣接する写真の側部を重ねるサイドラップ率を30%とした場合の画質を評価した一例を示す図
【
図12】移動経路決定装置の構成を示す機能ブロック図
【
図15】第2実施形態であり、構造体の一面について決定された撮影場所を示す図
【
図16】
図15に示す撮影場所を、3つの領域に分割した状態を示す図
【
図17】移動経路決定装置の処理内容を示すフローチャート
【
図18】第3実施形態であり、決定された飛行装置の移動経路の一例を示す図
【
図20】Z軸座標値に重みεを乗じることで決まる距離を示す図
【
図21】第4実施形態であり、撮影場所を決定するため構造物の表面に図形を配置した状態を示す図
【
図22】第5実施形態であり、太陽の位置に応じて構造物の周辺に陰が生じる状態を示す図
【発明を実施するための形態】
【0010】
(第1実施形態)
図13に示すように、移動体又は飛行体の一例である飛行装置10は、本体11及び4つのスラスタ12を備えている。本体11は、径方向外側へ放射状に伸びる4本の腕部13を有しており、この腕部13の先端にそれぞれスラスタ12が設けられている。スラスタ12は、それぞれモータ14、プロペラ15およびピッチ変更機構部16を有している。モータ14は、プロペラ15を駆動する駆動源である。モータ14は、本体11に収容されているバッテリ17などの電源から供給される電力によって駆動される。プロペラ15は、モータ14によって回転駆動される。ピッチ変更機構部16は、プロペラ15のピッチを変更する。
【0011】
飛行装置10は、
図14にも示すように主制御装置30及び通信部31を備えている。主制御装置30は、モジュール化された汎用の制御装置であり、本体11の内部に収容され、バッテリ17に接続されている。主制御装置30は、制御演算部32及び記憶部33を有している。制御演算部32は、CPU、ROMおよびRAMを有するマイクロコンピュータで構成されている。制御演算部32は、CPUでROMに記憶されているコンピュータプログラムを実行することにより、飛行装置10の全体を制御する。
【0012】
制御演算部32は、コンピュータプログラムを実行することにより、状態取得部34および飛行制御部35をソフトウェア的に実現している。なお、状態取得部34及び飛行制御部35は、ソフトウェア的に限らず、専用の電子回路によるハードウェア的、あるいはソフトウェアとハードウェアとの協働によって実現してもよい。記憶部33は、例えば不揮発性メモリなどを有している。記憶部33は、予め設定された飛行計画をデータとして記憶している。飛行計画は、例えば飛行装置10が飛行する飛行ルートや飛行高度などが含まれている。記憶部33は、制御演算部32のRAM及びRAMと共用してもよい。通信部31は、操作者が操作する操作装置36と無線又は有線で通信する。
【0013】
状態取得部34は、本体11の傾きや本体11に加わる加速度などから飛行装置10の飛行状態を取得する。具体的には、状態取得部34は、GPSセンサ41、加速度センサ42、角速度センサ43、地磁気センサ44および高度センサ45などと接続している。GPSセンサ41は、GPS(Global Positioning System)衛星から出力されるGPS信号を受信する。また、加速度センサ42は、X軸、Y軸およびZ軸の3次元の3つの軸方向において本体11に加わる加速度を検出する。角速度センサ43は、3次元の3つの軸方向において本体11に加わる角速度を検出する。地磁気センサ44は、3次元の3つの軸方向における地磁気を検出する。高度センサ45は、天地方向における高度を検出する。
【0014】
状態取得部34は、これらGPSセンサ41で受信したGPS信号、加速度センサ42で検出した加速度、角速度センサ43で検出した角速度、地磁気センサ4で検出した地磁気などから、本体11の飛行姿勢、飛行方向および飛行速度を検出する。また、状態取得部34は、GPSセンサ41で検出したGPS信号と各種のセンサによる検出値から本体11の飛行位置を自立的に検出する。
【0015】
さらに、状態取得部34は、GPSセンサ41で受信したGPS信号、および高度センサ45で検出した高度から本体11の飛行高度を検出する。このように、状態取得部34は、本体11の飛行姿勢、飛行位置および飛行高度など、飛行装置10の飛行に必要な情報を飛行状態として取得する。状態取得部34は、これらの各種センサに加え、可視的な画像を取得するカメラ46、あるいは周囲の物体までの距離を測定するLIDAR(Light Detection And Ranging)47などに接続してもよい。
【0016】
飛行制御部35は、飛行装置10の飛行を、自動制御モードまたは手動制御モードによって制御する。自動制御モードは、操作者の操作によらずに飛行装置10を自動的に飛行させるモードである。飛行装置10の操作者は、自動制御モードと手動制御モードとを任意に切り替えることができる。
【0017】
自動制御モードにおいて、飛行制御部35は、記憶部33に記憶されている飛行計画に沿って、飛行装置10の飛行を自動的に制御する。すなわち、飛行制御部35は、この自動制御モードのとき、状態取得部34で取得した本体11の飛行状態に基づいて、スラスタ12が発生する推進力を制御する。これにより、飛行制御部35は、操作者の操作によらず、飛行装置10を記憶部33に記憶された飛行計画に沿って自動的に飛行させる。
【0018】
図12に示すように、本実施形態の移動経路決定装置1は、例えばパーソナルコンピュータなどで構成され、CADデータ記憶部2、撮影場所計算部3及び移動経路決定部4を備えている。CADデータ記憶部2はメモリであり、例えば、対象とする構造物を建造する際に用いた3DのCADデータが予め記憶されている。撮影場所計算部3は、CADデータ記憶部2より読み出したCADデータを用いて、飛行装置10に搭載されたカメラ46により、構造物の写真を撮影する場所を決定する。尚、撮影場所は、GPSにより得られるデータのように、絶対的な座標データである。
【0019】
移動経路決定部4は、決定された複数の撮影場所を、飛行装置10が全て経るように飛行させるための移動経路を決定する。決定された移動経路は、上述した飛行計画に相当するものとなる。尚、撮影場所計算部3及び移動経路決定部4は、パーソナルコンピュータを構成するハードウェア及びソフトウェアの機能によって実現される機能モジュールである。また、移動経路決定部4を除いた部分は、撮影場所決定装置となる。
【0020】
次に、本実施形態の作用について説明する。
図1に示すフローチャートは、上述した移動経路決定装置1の撮影場所計算部3及び移動経路決定部4による処理の詳細である。先ず、例えば橋梁のような構造物の表面を、微小な多角形に、例えば三角形に分割する(S1、
図2)。それから、カメラ46の例えば画角、被写界深度等の性能や、写真のオーバーラップ率、飛行装置10の位置制御の精度などを考慮して、微小三角形を結合する(S2)。尚、カメラ46の性能や、写真のオーバーラップ率、位置制御精度については、これらの少なくとも1つを考慮すれば良い。
【0021】
図3は、微小三角形を結合することで得られる複数の領域Aを示している。ハッチングを付した部分が、1つの領域Aである。そして、結合した各領域Aに対して、カメラ46による一回の撮影で収まる範囲について、撮影場所Pを算出する(S3)。例えば
図4に示すように、
図3に示す各領域A1~A8に対して、撮影場所P1~P8が対応している。
【0022】
尚、上記のステップS1~S3の手法に替えて、
図5に示すように、構造物の表面から、カメラ46の焦点距離を考慮した一定距離だけ離れた平面内を撮影場所の候補としても良い。また、
図6に示すように、カメラ46の画角をも考慮して、カメラ46の視点を中心とする球を設定し、その球が構造物の表面に係ることで、隣接する撮影場所の球とオーバーラップする状態を考慮して、撮影場所を決定しても良い。
次に、決定した各撮影場所をノードとし、ノード間をリンクで接続し、グラフマップを作成する(S4、
図7)。そして、例えばグラフ探索法によりリンクコストを計算することで、飛行装置10の最適な移動経路を決定する(S5、
図8、
図9)。その結果が、飛行計画となる。
【0023】
図10は、橋梁の下面側に凹凸がある部分について、破線で示す中景撮影におけるカメラ46の撮影角度と中心ピクセル分解能とを変化させた場合に、写真データを結合して3Dモデルを良好に構築できるか否かを判定した結果を示す。近景撮影の撮影角度は何れも90度であり、中心ピクセル分解能は0.5mm/pxである。撮影角度40度で中心ピクセル分解能が約0.78mm/pxの場合に、3Dモデルを良好に構築できた。このように斜角撮影を行う場合は、広角で撮影して3次元情報を持つ特徴点を多く捉えるべきである。解像度が一番粗い部分については、ピクセル分解能を、近景撮影の場合に対して2~3倍程度に設定するのが望ましいと考える。
【0024】
図11は、中心ピクセル分解能を0.5mm/pxで撮影した、隣接する写真の側部を重ねるサイドラップ率を30%とした場合について、画質を評価した一例である。0.1mm及び0.2mmの判別ができる部分を「ボケがない」として〇を付し、判別ができない部分を「ボケている」として×を付している。この結果より、サイドラップ率は30%以上とするのが望ましいと考える。一般に、隣接する写真のオーバーラップ率は、結合のし易さ、つまり、写真内に存在する特徴点の数に合わせて調整すれば良い。また、例えば上部工接合部や下部工接合部等の比較的重要と思われる部位が写真の中心となるように、撮影場所を設定すると良い。
【0025】
その他、飛行装置により実際に写真を撮影する際の測定条件として、望ましいと考える各パラメータの数値を以下に示す。
・飛行装置のプロペラ数 3翼~8翼
・飛行装置の飛行性能(位置誤差) 30cm以下
・撮影時の飛行速度 2.0m/s以下
・カメラの画素数 2500万画素以上
・写真データの保存形式 RAW形式
・撮影環境の明るさ 明度に差があっても良い。
・シャッター速度 1/1000未満
・焦点距離 F4以上。構造物が立体的であればF6以上。
【0026】
以上のように本実施形態によれば、移動経路決定装置1は、複数の写真データを合成して構造物の3Dモデルを作成するために、カメラ46を搭載した飛行装置10を移動させて構造物の写真を複数個所についてRAW撮影する際の移動経路を決定する。撮影場所計算部3は、構造物の形状に合わせて写真を撮影する複数の撮影場所を計算し、移動経路決定部4は、計算された複数の撮影場所を巡回する順序を前記移動経路として決定する。このように決定された移動経路に従って、飛行装置10が移動しながらカメラ46により構造物の写真を撮影すれば、構造物の3Dモデルを作成するために必要となる当該構造物の外観を、効率的に写真に収めることができる。
【0027】
この場合、撮影場所計算部3は、構造物の3DCADデータに基づき、カメラ46の性能、隣り合う位置で撮影された写真のオーバーラップ率や、飛行装置10の位置制御精度を考慮して撮影場所を計算する。すなわち、構造物の3DCADデータを用いれば、3Dモデルを合成するために必要となる写真の撮影場所を容易に把握できる。加えて、カメラ46の性能や写真のオーバーラップ率、飛行装置10の位置制御精度も、写真の撮影場所を決定する際に影響を及ぼすパラメータであるから、これらを考慮することで撮影場所を適切に決定できる。
【0028】
また、撮影場所計算部4は、構造物の表面を複数の部分に分割する三角形を形成し、それらの三角形を結合して撮影範囲を計算すると共に、撮影場所を計算する。これにより、各撮影場所で構造物を捉える範囲を、結合させた三角形の面積に対応させて把握できる。
【0029】
例えば、本実施形態のように、飛行装置10に搭載したカメラ46により構造物の写真を漏れなく撮影するため飛行中に一定の時間間隔で撮影を行うとすると、連続でカメラ46のシャッターを切ることになる。すると、RAW撮影では画像データを保存するのに時間を要するため、適用が困難となり、JPEG撮影しか行うことができない。これに対して、本実施形態によれば、各領域Aに対応させて撮影場所Pを決定し、ピンポイント撮影を行うことでRAW撮影が可能となっている。これにより、後から画像を加工することも容易になるから、鮮明な画像の3Dモデルを得ることができる。
【0030】
(第2実施形態)
以下、第1実施形態と同一部分には同一符号を付して説明を省略し、異なる部分について説明する。例えば、撮影場所が
図15に示すように決定されたとする。例えば、飛行装置10のバッテリ17の容量等の制限により、これらの撮影場所を、飛行装置10の1回の飛行で全て経ることができない場合も想定される。そのような場合には、
図16に示すように、撮影対象の全範囲を複数の領域に分割し、各領域に対応させて飛行装置10にそれぞれ飛行を行わせる(
図17、S6)。続くステップS4,S5では、分割した各領域内の各撮影場所をノードとしてリンクを繋いでグラフマップを作成し、グラフ探索を行う。
【0031】
この場合、飛行装置10の基地を初期位置とすると、飛行装置10が、初期位置より近い方の領域にある最初の撮影場所に到着するまでの距離は短く、初期位置より遠い方の領域にある最初の撮影場所に到着するまでの距離は長い。そこで、より近い方の領域の面積を比較的大きくし、基地より遠い方の領域の面積を比較的小さくするように重み付けする。
これにより、飛行装置10が基地局より出発し、各領域をそれぞれ飛行して写真撮影を行ない基地局に戻るまでの、それぞれの飛行時間がほぼ等しくなるので、バッテリ17の消費状態の予測が容易になり、飛行装置10が、飛行の途中でバッテリ切れになるような事態を回避できる。尚、この場合も同様に、グラフ探索手法を用いて移動経路を決定する。
【0032】
(第3実施形態)
第3実施形態は、撮影場所間の実距離に替えて、仮想距離を用いることで、特定の飛行方向が優先されるように移動経路を決定する手法を示す。第1実施形態のように、撮影場所間の実距離をリンクコストとしてグラフ探索を行うと、例えば
図18や
図19に示すように、ジグザグな移動経路となる可能性がある。
【0033】
これに対して、
図20に示すように、例えばZ軸方向座標の座標値zの差に重みεを乗じることで、
図19に示すようなジグザグの経路にならず、Y軸方向への移動が優先されるシンプルな経路にすることができる。これにより、飛行装置10を飛行させるための制御がより簡単になる。
【0034】
(第4実施形態)
図21に示す第4実施形態は、撮影場所計算部3が撮影場所を計算する際に、構造物の表面に、カメラ46の画角に対応する円や、画像素子による撮影範囲に対応する四角形を投影して決定する。すなわち、
図6に示したように、球のような立体的な撮影範囲を設定することに替えて、平面的な撮影範囲を設定する。その際に、隣接する円や四角形にオーバーラップが生じるように投影する。このようにして撮影場所を計算することで、構造物の表面を漏れなく写真に収めることができる。
【0035】
(第5実施形態)
図22に示す第5実施形態は、写真撮影時の太陽の位置に基づいて、画角内に生じる陰陽の部分がどのように移動するかを計算して移動経路を決定する。例えば、撮影時刻の太陽の高度や方位から、構造物の周辺に影が生じる部分を計算したり、撮影時刻の天候から、影が生じる部分と日照が当たる部分を計算する。そして、各撮影場所において、撮影時刻における画角内が条件を満たすように、例えば明るさの分布状態が適切かどうかや、鮮明な写真を得るためのコントラストが確保されるように、換言すれば、画角内の明暗度が安定する時刻で撮影できるように、飛行計画をスケジューリングする。
【0036】
(その他の実施形態)
必ずしも3DCADデータを用いる必要はなく、構造体の3次元形状を示すデータであれば良い。
移動経路を決定する方法は、グラフ探索法に限らない。
第2実施形態において、飛行装置10が分割された各領域の飛行を完了するため、バッテリ17の容量に余裕がある場合には、必ずしも各領域の遠近に応じて重み付けをする必要はない。
移動体は、飛行装置10に限らない。
多角形は、三角形に限らない。
構造物は、橋梁に限らない。
移動経路決定装置1はパーソナルコンピュータに限らない。
【0037】
本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
【0038】
各装置等が提供する手段および/または機能は、実体的なメモリ装置に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供することができる。例えば、制御装置がハードウェアである電子回路によって提供される場合、それは多数の論理回路を含むデジタル回路、またはアナログ回路によって提供することができる。
【0039】
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
【符号の説明】
【0040】
図面中、1は移動経路決定装置、2はCADデータ記憶部、3は撮影場所計算部、4は移動経路決定部、10は飛行装置、46はカメラを示す。