▶ エスゼット ディージェイアイ テクノロジー カンパニー リミテッドの特許一覧
特許6997170形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-20
(45)【発行日】2022-01-17
(54)【発明の名称】形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体
(51)【国際特許分類】
G06T 1/00 20060101AFI20220107BHJP
G06T 7/593 20170101ALI20220107BHJP
H04N 5/232 20060101ALI20220107BHJP
【ＦＩ】
G06T1/00 315
G06T7/593
H04N5/232
【請求項の数】
35
(21)【出願番号】P 2019505602
(86)(22)【出願日】2017-03-15
(86)【国際出願番号】 JP2017010515
(87)【国際公開番号】W WO2018167893
(87)【国際公開日】2018-09-20
【審査請求日】2019-09-12
【前置審査】
(73)【特許権者】
【識別番号】513068816
【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】ＳＺ ＤＪＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ
【住所又は居所原語表記】６Ｆ，ＨＫＵＳＴ ＳＺ ＩＥＲ Ｂｌｄｇ．ＮＯ．９ Ｙｕｅｘｉｎｇ １ｓｔ Ｒｄ．Ｈｉ－Ｔｅｃｈ Ｐａｒｋ（Ｓｏｕｔｈ），Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110002000
【氏名又は名称】特許業務法人栄光特許事務所
(72)【発明者】
【氏名】顧 磊
(72)【発明者】
【氏名】陳 斌
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】国際公開第２０１６／１０６７１５（ＷＯ，Ａ１）
【文献】特開２０１６－１１９６９３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００ － ７／９０
Ｈ０４Ｎ ５／２３２
(57)【特許請求の範囲】
【請求項1】
複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、前記複数の撮像装置の中から、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと、
各撮像位置において前記選択された撮像装置により撮像するステップと、
前記撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元するステップと、
前記撮像装置ごとに復元された前記形状を合成するステップと、
を有するモバイルプラットフォーム及び飛行体を含むシステムにおける形状生成方法において、
前記撮像装置を選択するステップは、
当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択するステップを含み、
前記少なくとも一つの撮像装置を選択するステップは、
前記割合が第１の閾値以下である場合は、第１の撮像装置を選択するステップと、
前記割合が第１の閾値より大きい第２の閾値を超える場合は、前記第１の撮像装置より高い露光パラメータが設定された第２の撮像装置を選択するステップと、
前記割合が前記第１の閾値を超えかつ前記第２の閾値以下である場合は、前記第１の撮像装置及び前記第２の撮像装置の双方を選択するステップと、を含む、
形状生成方法。
【請求項2】
複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、前記複数の撮像装置の中から、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと
前記複数の撮像位置に関する情報と、それぞれの撮像位置について前記選択された撮像装置に関する情報とを前記飛行体に送信するステップと、
を有するモバイルプラットフォームにおける形状生成方法において、
前記撮像装置を選択するステップは、
当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択するステップを含み、
前記少なくとも一つの撮像装置を選択するステップは、
前記割合が第１の閾値以下である場合は、第１の撮像装置を選択するステップと、
前記割合が第１の閾値より大きい第２の閾値を超える場合は、前記第１の撮像装置より高い露光パラメータが設定された第２の撮像装置を選択するステップと、
前記割合が前記第１の閾値を超えかつ前記第２の閾値以下である場合は、前記第１の撮像装置及び前記第２の撮像装置の双方を選択するステップと、を含む、
形状生成方法。
【請求項3】
前記撮像装置を選択するステップは、光源の照射角度に関する情報を取得するステップと、
それぞれの前記撮像位置における前記光源の遮断物に関する情報を取得するステップと、
前記光源の照射角度に関する情報とそれぞれの前記撮像位置における前記光源の遮断物に関する情報とに基づいて、前記撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、を含む、
請求項２に記載の形状生成方法。
【請求項4】
複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、前記複数の撮像装置の中から、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと
前記複数の撮像位置に関する情報と、それぞれの撮像位置について前記選択された撮像装置に関する情報とを前記飛行体に送信するステップと、
を有するモバイルプラットフォームにおける形状生成方法において、
前記撮像装置を選択するステップは、
当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択するステップを含み、
前記撮像装置を選択するステップは、
光源の照射角度に関する情報を取得するステップと、
それぞれの前記撮像位置における前記光源の遮断物に関する情報を取得するステップと、
前記光源の照射角度に関する情報とそれぞれの前記撮像位置における前記光源の遮断物に関する情報とに基づいて、前記撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、を含む、
形状生成方法。
【請求項5】
前記光源の照射角度に関する情報を取得するステップは、時刻情報及び前記撮像位置の地理情報を取得するステップと、
前記時刻情報及び前記地理情報を用いて、前記光源の照射角度に関する情報を推定するステップと、を含む、
請求項３または請求項４に記載の形状生成方法。
【請求項6】
各撮像位置において前記選択された撮像装置により撮像された画像を前記飛行体から取得するステップと、前記撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元するステップと、
前記撮像装置ごとに復元された前記形状を合成するステップと、をさらに含む、
請求項２～５のうちいずれか一項に記載の形状生成方法。
【請求項7】
前記撮像装置を選択するステップは、前記複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択する、
請求項２～６のうちいずれか一項に記載の形状生成方法に記載の形状生成方法。
【請求項8】
複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、前記複数の撮像装置の中から選択された、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、
前記複数の撮像位置のそれぞれについて、取得された前記撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、
を有する、形状生成のための飛行体における画像取得方法において、
前記撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報であり、
前記撮像に用いる撮像装置に関する情報は、
それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合が第１の閾値以下である場合は、第１の撮像装置が選択され、前記割合が第１の閾値より大きい第２の閾値を超える場合は、前記第１の撮像装置より高い露光パラメータが設定された第２の撮像装置が選択され、前記割合が前記第１の閾値を超えかつ前記第２の閾値以下である場合は、前記第１の撮像装置及び前記第２の撮像装置の双方が選択されて生成される、
画像取得方法。
【請求項9】
前記撮像に用いる撮像装置に関する情報を取得するステップは、前記複数の撮像位置のそれぞれについて、前記撮像に用いる撮像装置に関する情報をモバイルプラットフォームから受信するステップを含む、
請求項８に記載の形状生成方法。
【請求項10】
前記撮像に用いる撮像装置に関する情報を取得するステップは、前記それぞれの撮像位置について、
撮像時の当該撮像位置における撮像領域の光量を測定するステップと、
前記光量に基づき、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、
前記割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択して、前記撮像に用いる撮像装置に関する情報を生成するステップと、を含む、
請求項８に記載の画像取得方法。
【請求項11】
前記撮像に用いる撮像装置に関する情報を取得するステップは、前記それぞれの撮像位置について、
光源の照射角度に関する情報を取得するステップと、
前記撮像位置における前記光源の遮断物に関する情報を取得するステップと、
前記光源の照射角度に関する情報と前記撮像位置における前記光源の遮断物に関する情報とに基づいて、前記撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、
前記割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択して前記撮像に用いる撮像装置に関する情報を生成するステップと、を含む、
請求項８に記載の画像取得方法。
【請求項12】
複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、前記複数の撮像装置の中から選択された、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、
前記複数の撮像位置のそれぞれについて、取得された前記撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、
を有する、形状生成のための飛行体における画像取得方法において、
前記撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報であり、
前記撮像に用いる撮像装置に関する情報を取得するステップは、
前記それぞれの撮像位置について、
光源の照射角度に関する情報を取得するステップと、
前記撮像位置における前記光源の遮断物に関する情報を取得するステップと、
前記光源の照射角度に関する情報と前記撮像位置における前記光源の遮断物に関する情報とに基づいて、前記撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、
前記割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択して前記撮像に用いる撮像装置に関する情報を生成するステップと、を含む、
画像取得方法。
【請求項13】
前記光源の照射角度に関する情報を取得するステップは、時刻情報及び前記撮像位置の地理情報を取得するステップと、
前記時刻情報及び前記地理情報を用いて、前記光源の照射角度に関する情報を推定するステップと、を含む、
請求項１１または請求項１２に記載の形状生成方法。
【請求項14】
前記撮像に用いる撮像装置に関する情報は、前記複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択されて生成される、
請求項８～１３のうちいずれか一項に記載の画像取得方法。
【請求項15】
前記撮像装置を用いて撮像するステップは、前記飛行体の移動中に、前記複数の撮像位置のそれぞれについて、前記取得された撮像に用いる撮像装置に関する情報により特定された撮像装置を用いて撮像するステップを含む、
請求項８～１４のうちいずれか一項に記載の画像取得方法。
【請求項16】
前記複数の撮像位置において撮像された画像を、前記形状生成を行う情報処理装置に送信するステップをさらに含む、請求項８～１５のうちいずれか一項に記載の画像取得方法。
【請求項17】
飛行体との通信を行う通信部と、処理部と、を有するモバイルプラットフォームにおいて、前記処理部は、
複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得し、
前記複数の撮像装置の中から、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択し、
前記複数の撮像位置に関する情報と、それぞれの撮像位置について前記選択された撮像装置に関する情報とを前記通信部により前記飛行体に送信し、
前記撮像装置を選択することを、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択することにより実現し、
前記処理部は、
前記割合が第１の閾値以下である場合は、第１の撮像装置を選択し、前記割合が第１の閾値より大きい第２の閾値を超える場合は、前記第１の撮像装置より高い露光パラメータが設定された第２の撮像装置を選択し、前記割合が前記第１の閾値を超えかつ前記第２の閾値以下である場合は、前記第１の撮像装置及び前記第２の撮像装置の双方を選択する、
モバイルプラットフォーム。
【請求項18】
前記処理部は、光源の照射角度に関する情報を取得し、
それぞれの前記撮像位置における前記光源の遮断物に関する情報を取得し、
前記光源の照射角度に関する情報とそれぞれの前記撮像位置における前記光源の遮断物に関する情報とに基づいて、前記撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定する、
請求項１７に記載のモバイルプラットフォーム。
【請求項19】
飛行体との通信を行う通信部と、処理部と、を有するモバイルプラットフォームにおいて、前記処理部は、
複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得し、
前記複数の撮像装置の中から、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択し、
前記複数の撮像位置に関する情報と、それぞれの撮像位置について前記選択された撮像装置に関する情報とを前記通信部により前記飛行体に送信し、
前記撮像装置を選択することを、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択することにより実現し、
前記処理部は、
光源の照射角度に関する情報を取得し、
それぞれの前記撮像位置における前記光源の遮断物に関する情報を取得し、
前記光源の照射角度に関する情報とそれぞれの前記撮像位置における前記光源の遮断物に関する情報とに基づいて、前記撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定する、
モバイルプラットフォーム。
【請求項20】
前記処理部は、時刻情報及び前記撮像位置の地理情報を取得し、
前記時刻情報及び前記地理情報を用いて、前記光源の照射角度に関する情報を推定する、
請求項１８または請求項１９に記載のモバイルプラットフォーム。
【請求項21】
前記処理部は、さらに、各撮像位置において前記選択された撮像装置により撮像された画像を前記飛行体から取得し、
前記撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元し、
前記撮像装置ごとに復元された前記形状を合成する、
請求項１７～２０のうちいずれか一項に記載のモバイルプラットフォーム。
【請求項22】
前記処理部は、前記複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択する、
請求項１７～２１のうちいずれか一項に記載のモバイルプラットフォーム。
【請求項23】
記憶部と、モバイルプラットフォームとの通信を行う通信部と、処理部と、複数の撮像装置と、を有する飛行体において、前記処理部は、
前記飛行体の複数の撮像位置に関する情報を取得し、
前記複数の撮像装置の中から選択された、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得し、
前記複数の撮像位置のそれぞれについて、取得された前記撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像し、
前記撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報であり、
前記撮像に用いる撮像装置に関する情報は、
それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合が第１の閾値以下である場合は、第１の撮像装置が選択され、前記割合が第１の閾値より大きい第２の閾値を超える場合は、前記第１の撮像装置より高い露光パラメータが設定された第２の撮像装置が選択され、前記割合が前記第１の閾値を超えかつ前記第２の閾値以下である場合は、前記第１の撮像装置及び前記第２の撮像装置の双方が選択されて生成される、
飛行体。
【請求項24】
前記処理部は、前記複数の撮像位置のそれぞれについて、前記撮像に用いる撮像装置に関する情報をモバイルプラットフォームから受信する、
請求項２３に記載の飛行体。
【請求項25】
光学センサをさらに有し、前記処理部は、
前記それぞれの撮像位置について、
撮像時の当該撮像位置における撮像領域の光量を測定し、
前記光量に基づき、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定し、
前記割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択して、前記撮像に用いる撮像装置に関する情報を生成する、
請求項２３に記載の飛行体。
【請求項26】
前記処理部は、前記それぞれの撮像位置について、
光源の照射角度に関する情報を取得し、
前記撮像位置における前記光源の遮断物に関する情報を取得し、
前記光源の照射角度に関する情報と前記撮像位置における前記光源の遮断物に関する情報とに基づいて、前記撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定し、
前記割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択して前記撮像に用いる撮像装置に関する情報を生成する、
請求項２３に記載の飛行体。
【請求項27】
記憶部と、モバイルプラットフォームとの通信を行う通信部と、処理部と、複数の撮像装置と、を有する飛行体において、前記処理部は、
前記飛行体の複数の撮像位置に関する情報を取得し、
前記複数の撮像装置の中から選択された、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得し、
前記複数の撮像位置のそれぞれについて、取得された前記撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像し、
前記撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報であり、
前記処理部は、
前記それぞれの撮像位置について、
光源の照射角度に関する情報を取得し、
前記撮像位置における前記光源の遮断物に関する情報を取得し、
前記光源の照射角度に関する情報と前記撮像位置における前記光源の遮断物に関する情報とに基づいて、前記撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定し、
前記割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択して前記撮像に用いる撮像装置に関する情報を生成する、
飛行体。
【請求項28】
前記処理部は、時刻情報及び前記撮像位置の地理情報を取得し、
前記時刻情報及び前記地理情報を用いて、前記光源の照射角度に関する情報を推定する、
請求項２６または請求項２７に記載の飛行体。
【請求項29】
前記撮像に用いる撮像装置に関する情報は、前記複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択されて生成される、
請求項２３～２８のうちいずれか一項に記載の飛行体。
【請求項30】
前記処理部は、前記飛行体の移動中に、前記複数の撮像位置のそれぞれについて、前記取得された撮像に用いる撮像装置に関する情報により特定された撮像装置を用いて撮像する、
請求項２３～２９のうちいずれか一項に記載の飛行体。
【請求項31】
前記処理部は、前記複数の撮像位置において撮像された画像を、情報処理装置に送信する、
請求項２３～３０のうちいずれか一項に記載の飛行体。
【請求項32】
コンピュータであるモバイルプラットフォームに、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中から、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと
前記複数の撮像位置に関する情報と、それぞれの撮像位置について前記選択された撮像装置に関する情報とを前記飛行体に送信するステップと、を実行させ、
前記撮像装置を選択するステップは、
それぞれの撮像位置について、
当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択するステップを含み、
前記少なくとも一つの撮像装置を選択するステップは、
前記割合が第１の閾値以下である場合は、第１の撮像装置を選択するステップと、
前記割合が第１の閾値より大きい第２の閾値を超える場合は、前記第１の撮像装置より高い露光パラメータが設定された第２の撮像装置を選択するステップと、
前記割合が前記第１の閾値を超えかつ前記第２の閾値以下である場合は、前記第１の撮像装置及び前記第２の撮像装置の双方を選択するステップと、を含む、
プログラム。
【請求項33】
コンピュータであるモバイルプラットフォームに、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中から、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと、
前記複数の撮像位置に関する情報と、それぞれの撮像位置について前記選択された撮像装置に関する情報とを前記飛行体に送信するステップと、を実行させ、
前記撮像装置を選択するステップは、
それぞれの撮像位置について、
当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択するステップを含み、
前記少なくとも一つの撮像装置を選択するステップは、
前記割合が第１の閾値以下である場合は、第１の撮像装置を選択するステップと、
前記割合が第１の閾値より大きい第２の閾値を超える場合は、前記第１の撮像装置より高い露光パラメータが設定された第２の撮像装置を選択するステップと、
前記割合が前記第１の閾値を超えかつ前記第２の閾値以下である場合は、前記第１の撮像装置及び前記第２の撮像装置の双方を選択するステップと、を含む、プログラムを格納する、
記憶媒体。
【請求項34】
コンピュータである、複数の撮像装置を有する飛行体に、前記飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中から選択された、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、
前記複数の撮像位置のそれぞれについて、取得された前記撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、を実行させ、
前記撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報であり、
前記撮像に用いる撮像装置に関する情報は、
それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合が第１の閾値以下である場合は、第１の撮像装置が選択され、前記割合が第１の閾値より大きい第２の閾値を超える場合は、前記第１の撮像装置より高い露光パラメータが設定された第２の撮像装置が選択され、前記割合が前記第１の閾値を超えかつ前記第２の閾値以下である場合は、前記第１の撮像装置及び前記第２の撮像装置の双方が選択されて生成される、
プログラム。
【請求項35】
コンピュータである複数の撮像装置を有する飛行体に、前記飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中から選択された、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、
前記複数の撮像位置のそれぞれについて、取得された前記撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、を実行させ、
前記撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報であり、
前記撮像に用いる撮像装置に関する情報は、
それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合が第１の閾値以下である場合は、第１の撮像装置が選択され、前記割合が第１の閾値より大きい第２の閾値を超える場合は、前記第１の撮像装置より高い露光パラメータが設定された第２の撮像装置が選択され、前記割合が前記第１の閾値を超えかつ前記第２の閾値以下である場合は、前記第１の撮像装置及び前記第２の撮像装置の双方が選択されて生成される、プログラムを格納する、
記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、飛行体により撮像された画像に基づき被写体の形状を生成する形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体に関する。
【背景技術】
【0002】
カメラ等の撮像装置を搭載し、予め設定された固定経路を飛行しながら撮像を行うプラットフォーム（例えば無人飛行体）が知られている（例えば特許文献１参照）。このプラットフォームは、地上基地から飛行経路や撮影指示等の命令を受け、その命令に従って飛行し、撮影を行って取得画像を地上基地に送る。プラットフォームは、撮影対象を撮影する場合、設定された固定経路を飛行しながら、プラットフォームと撮影対象との位置関係に基づいて、プラットフォームの撮像機器を傾斜して撮像する。
【0003】
また従来、空中を飛行する無人飛行体（例えばＵＡＶ：Unmanned Aerial Vehicle）により撮影された空中写真等の撮像画像に基づいて、一定の撮像範囲における地面形状を形成することも知られている。無人飛行体による撮影（例えば空撮）を自動化するために、予め無人飛行体の飛行経路を生成する技術が用いられる。無人飛行体を用いて一定の撮像範囲の地上の三次元形状を形成するためには、予め生成した飛行経路に従って無人飛行体を飛行させ、無人飛行体が飛行経路中の異なる撮像位置において撮影した撮像画像を複数取得する必要がある。
【先行技術文献】
【特許文献】
【0004】
【文献】日本国特開２０１０－６１２１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
地上の三次元形状を形成する際には、無人飛行体により異なる撮像位置において撮像した後、これらの撮像画像をベースにＳＦＭ（Structure from Motion）などの技術により撮像範囲における地面形状を復元することが一般的である。ＳＦＭにおいては、撮像画像から特徴点を検出しなければならない。それには撮像画像が適正露出であることが好ましく、撮像環境の光量を測定して自動的に露出設定を行う自動露出モード（ＡＥ）が使用されることが多い。しかしながら、無人飛行体に搭載されている撮像装置は、一回の露光で撮影できる光量の範囲（以下、「ダイナミックレンジ」という）に限界があり、被写体の明るさがダイナミックレンジの上限を超えると白飛びが発生し、下限を下回ると黒つぶれが発生するため、明暗差が大きい場合に暗部と明部にある形状を同時に取得することは困難である。そのため、明暗差の強い建物や直射日光の環境における建物の陰の部分、強い逆光環境のシーンなどを撮像する場合は、撮像画像の一部に白飛びもしくは黒つぶれが発生してしまい、その結果、その部分の特徴点を検出することが困難となり、取得できる情報が不足して、形状を正常に復元できなくなる問題が存在していた。
【0006】
ダイナミックレンジの限界による白飛びや黒つぶれを回避する手段として、ハイダイナミックレンジ合成（ＨＤＲ）が知られている。ＨＤＲでは、露出設定の異なる複数の画像を撮影し、これらを合成することで白飛びや黒つぶれの少ない幅広いダイナミックレンジを持つ画像（ハイダイナミックレンジイメージ）を生成する。しかしながら、ＨＤＲは同一の撮像位置からの複数の画像を取得する必要があり、飛行体による撮像のように移動しながら撮影する場合には不向きである。また、同一のカメラで撮像する場合は、ＨＤＲの素材となる画像を取得する際の露出設定にも限界がある。
【課題を解決するための手段】
【0007】
一態様において、形状生成方法は、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと、各撮像位置において選択された撮像装置により撮像するステップと、撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元するステップと、撮像装置ごとに復元された形状を合成するステップと、を有し、撮像装置を選択するステップは、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択するステップと、を含む。
【0008】
少なくとも一つの撮像装置を選択するステップは、割合が第１の閾値以下である場合は、第１の撮像装置を選択し、割合が第１の閾値より大きい第２の閾値を超える場合は、第１の撮像装置より高い露光パラメータが設定された第２の撮像装置を選択し、割合が第１の閾値を超えかつ第２の閾値以下である場合は、第１の撮像装置及び第２の撮像装置の双方を選択するステップを含んでよい。
【0009】
一態様において、モバイルプラットフォームにおける形状生成方法は、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと、複数の撮像位置に関する情報と、それぞれの撮像位置について選択された撮像装置に関する情報とを飛行体に送信するステップと、を有し、撮像装置を選択するステップは、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択するステップと、を含む。
【0010】
少なくとも一つの撮像装置を選択するステップは、割合が第１の閾値以下である場合は、第１の撮像装置を選択し、割合が第１の閾値より大きい第２の閾値を超える場合は、第１の撮像装置より高い露光パラメータが設定された第２の撮像装置を選択し、割合が第１の閾値を超えかつ第２の閾値以下である場合は、第１の撮像装置及び第２の撮像装置の双方を選択するステップを含んでよい。
【0011】
各撮像位置において選択された撮像装置により撮像された画像を飛行体から取得するステップと、撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元するステップと、撮像装置ごとに復元された形状を合成するステップと、をさらに含んでよい。
【0012】
撮像装置を選択するステップは、複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択してよい。
【0013】
撮像装置を選択するステップは、光源の照射角度に関する情報を取得するステップと、それぞれの撮像位置における光源の遮断物に関する情報を取得するステップと、光源の照射角度に関する情報とそれぞれの撮像位置における光源の遮断物に関する情報とに基づいて、撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、を含んでよい。
【0014】
光源の照射角度に関する情報を取得するステップは、時刻情報及び撮像位置の地理情報を取得するステップと、時刻情報及び地理情報を用いて、光源の照射角度に関する情報を推定するステップと、を含んでよい。
【0015】
一態様において、形状生成のための飛行体における画像取得方法は、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から選択された、複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、を有する、において、撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報である。
【0016】
撮像に用いる撮像装置に関する情報を取得するステップは、複数の撮像位置のそれぞれについて、撮像に用いる撮像装置に関する情報をモバイルプラットフォームから受信するステップを含んでよい。
【0017】
撮像に用いる撮像装置に関する情報を取得するステップは、それぞれの撮像位置について、撮像時の当該撮像位置における撮像領域の光量を測定するステップと、光量に基づき、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択して、撮像に用いる撮像装置に関する情報を生成するステップと、を含んでよい。
【0018】
撮像に用いる撮像装置に関する情報を取得するステップは、それぞれの撮像位置について、光源の照射角度に関する情報を取得するステップと、撮像位置における光源の遮断物に関する情報を取得するステップと、光源の照射角度に関する情報と撮像位置における光源の遮断物に関する情報とに基づいて、撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択して撮像に用いる撮像装置に関する情報を生成するステップと、を含んでよい。
【0019】
光源の照射角度に関する情報を取得するステップは、時刻情報及び撮像位置の地理情報を取得するステップと、時刻情報及び地理情報を用いて、光源の照射角度に関する情報を推定するステップと、を含んでよい。
【0020】
撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合が第１の閾値以下である場合は、第１の撮像装置が選択され、割合が第１の閾値より大きい第２の閾値を超える場合は、第１の撮像装置より高い露光パラメータが設定された第２の撮像装置が選択され、割合が第１の閾値を超えかつ第２の閾値以下である場合は、第１の撮像装置及び第２の撮像装置の双方が選択されて生成されてよい。
【0021】
撮像に用いる撮像装置に関する情報は、複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択されて生成されてよい。
【0022】
撮像装置を用いて撮像するステップは、飛行体の移動中に、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報により特定された撮像装置を用いて撮像するステップを含んでよい。
【0023】
複数の撮像位置において撮像された画像を、形状生成を行う情報処理装置に送信するステップをさらに含んでよい。
【0024】
一態様において、モバイルプラットフォームは、記憶部と、飛行体との通信を行う通信部と、処理部と、を有し、処理部は、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得し、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択し、複数の撮像位置に関する情報と、それぞれの撮像位置について選択された撮像装置に関する情報とを通信部により飛行体に送信し、撮像装置を選択することを、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択することにより実現する。
【0025】
処理部は、割合が第１の閾値以下である場合は、第１の撮像装置を選択し、割合が第１の閾値より大きい第２の閾値を超える場合は、第１の撮像装置より高い露光パラメータが設定された第２の撮像装置を選択し、割合が第１の閾値を超えかつ第２の閾値以下である場合は、第１の撮像装置及び第２の撮像装置の双方を選択してよい。
【0026】
処理部は、さらに、各撮像位置において選択された撮像装置により撮像された画像を飛行体から取得し、撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元し、撮像装置ごとに復元された形状を合成してよい。
【0027】
処理部は、複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択してよい。
【0028】
処理部は、光源の照射角度に関する情報を取得し、それぞれの撮像位置における光源の遮断物に関する情報を取得し、光源の照射角度に関する情報とそれぞれの撮像位置における光源の遮断物に関する情報とに基づいて、撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定してよい。
【0029】
処理部は、時刻情報及び撮像位置の地理情報を取得し、時刻情報及び地理情報を用いて、光源の照射角度に関する情報を推定してよい。
【0030】
一態様において、飛行体は、記憶部と、モバイルプラットフォームとの通信を行う通信部と、処理部と、複数の撮像装置と、を有し、処理部は、飛行体の複数の撮像位置に関する情報を取得し、複数の撮像装置の中から選択された、複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得し、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像し、撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報である。
【0031】
処理部は、複数の撮像位置のそれぞれについて、撮像に用いる撮像装置に関する情報をモバイルプラットフォームから受信してよい。
【0032】
光学センサをさらに有し、処理部は、それぞれの撮像位置について、撮像時の当該撮像位置における撮像領域の光量を測定し、光量に基づき、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定し、割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択して、撮像に用いる撮像装置に関する情報を生成してよい。
【0033】
処理部は、それぞれの撮像位置について、光源の照射角度に関する情報を取得し、撮像位置における光源の遮断物に関する情報を取得し、光源の照射角度に関する情報と撮像位置における光源の遮断物に関する情報とに基づいて、撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定し、割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択して撮像に用いる撮像装置に関する情報を生成してよい。
【0034】
処理部は、時刻情報及び撮像位置の地理情報を取得し、時刻情報及び地理情報を用いて、光源の照射角度に関する情報を推定してよい。
【0035】
撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合が第１の閾値以下である場合は、第１の撮像装置が選択され、割合が第１の閾値より大きい第２の閾値を超える場合は、第１の撮像装置より高い露光パラメータが設定された第２の撮像装置が選択され、割合が第１の閾値を超えかつ第２の閾値以下である場合は、第１の撮像装置及び第２の撮像装置の双方が選択されて生成されてよい。
【0036】
撮像に用いる撮像装置に関する情報は、複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択されて生成されてよい。
【0037】
処理部は、飛行体の移動中に、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報により特定された撮像装置を用いて撮像してよい。
【0038】
処理部は、複数の撮像位置において撮像された画像を、形状生成を行う情報処理装置に送信してよい。
【0039】
一態様において、コンピュータであるモバイルプラットフォームに、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと複数の撮像位置に関する情報と、それぞれの撮像位置について選択された撮像装置に関する情報とを飛行体に送信するステップと、を実行させ、撮像装置を選択するステップは、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択するステップと、を含むプログラムである。
【0040】
一態様において、コンピュータであるモバイルプラットフォームに、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと、複数の撮像位置に関する情報と、それぞれの撮像位置について選択された撮像装置に関する情報とを飛行体に送信するステップと、を実行させ、撮像装置を選択するステップは、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択するステップと、を含む、プログラムを格納する記憶媒体である。
【0041】
一態様において、コンピュータである複数の撮像装置を有する飛行体に、飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から選択された、複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、を実行させ、撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報であるプログラムである。
【0042】
一態様において、コンピュータである複数の撮像装置を有する飛行体に、飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から選択された、複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、を実行させ、撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報であるプログラムを格納する記憶媒体である。
【0043】
なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0044】
【図1】各実施形態の形状生成システムの構成例を示す図である。
【図2】無人飛行体の外観の一例を示す図である。
【図3】無人飛行体の具体的な外観の一例を示す図である。
【図5】送信機の外観の一例を示す図である。
【図7】各実施形態の撮像範囲の一例を示す図である。
【図8】第１の実施形態にかかる形状生成システムにおける処理を示すシーケンス図である。
【図9】撮像範囲における飛行経路及び複数の撮像位置を模式的に示す図である。
【図10】撮像装置を選択するステップの一例を示すフロー図である。
【図11】複数の撮像位置において撮像装置が選択された状態を模式的に示す図である。
【図12】撮像装置ごとに形状を復元し、形成することを模式的に示す図である。
【図13】第２の実施形態にかかる形状生成方法システムにおける処理を示すシーケンス図である。
【発明を実施するための形態】
【0045】
以下、発明の実施の形態を通じて本開示を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
【0046】
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。但し、それ以外の場合、一切の著作権を留保する。
【0047】
本開示に係る形状生成方法は、移動体の一例としての無人飛行体（ＵＡＶ：Unmanned Aerial Vehicle）と、無人飛行体の動作又は処理を遠隔で制御するためのモバイルプラットフォームと、画像の複合や合成処理を行う計算機（ＰＣ）とを含む形状生成システムにおける各種の処理（ステップ）が規定されたものである。
【0048】
本開示に係る形状生成のための飛行体の画像取得方法は、本開示に係る形状生成方法のうち、無人飛行体における各種の処理（ステップ）が規定されたものである。
【0049】
本開示に係るモバイルプラットフォームにおける形状生成方法は、本開示に係る形状生成方法のうち、送信機における各種の処理（ステップ）が規定されたものである。
【0050】
本開示に係る飛行体は、空中を移動する航空機（例えばドローン、ヘリコプター）を含む。飛行体は、複数の撮像装置を有する無人飛行体であってもよく、撮像範囲における被写体（例えば一定の範囲内の建物、道路、公園等の地面形状）を撮像するために、あらかじめ設定された飛行経路に沿って飛行し、飛行経路上に設定されている複数の撮像位置（後述するウェイポイント）において撮像する。
【0051】
本開示に係るモバイルプラットフォームは、コンピュータであって、例えば無人飛行体の移動を含む各種処理の遠隔制御を指示するための送信機、送信機と情報やデータの入出力が可能に接続された端末装置、又は無人飛行体と情報やデータの入出力が可能に接続されたＰＣ、タブレット等の情報処理装置である。なお、無人飛行体自体がモバイルプラットフォームとして含まれてよい。
【0052】
本開示に係るプログラムは、無人飛行体又はモバイルプラットフォームに各種の処理（ステップ）を実行させるためのプログラムである。
【0053】
本開示に係る記録媒体は、プログラム（つまり、無人飛行体又はモバイルプラットフォームに各種の処理（ステップ）を実行させるためのプログラム）が記録されたものである。
【0054】
本開示に係る各実施形態において、無人飛行体１００は、撮像範囲内にあらかじめ設定された飛行経路に沿って飛行する。
【0055】
飛行経路は、従来のいかなる方法によって設定してもよく、例えば既存のアルゴリズムにより設定された当該範囲内を最短距離で飛行する経路、最短時間で飛行する経路又はもっとも節電できる経路であってよい。
【0056】
飛行経路は、複数の撮像位置（つまり、ウェイポイント）の情報を含む。無人飛行体１００は、設定された経路に沿って順次移動し、ウェイポイントにおいて撮像をする。
【0057】
なお、それぞれのウェイポイントは、隣接するウェイポイントにおける撮像領域がオーバーラップする間隔で設定されていることが好ましい。これにより、撮像範囲全体の特徴点を検出することができ、撮像画像からＳＦＭ技術などにより形状復元するときに、撮像範囲における完全な形状を形成するための情報が不足することを回避することができる。
【0058】
図１は、各実施形態の形状生成システムの構成例を示す図である。図１に示す形状生成システム１０は、無人飛行体１００と送信機５０とを少なくとも含む。好ましくは、さらに、撮像された画像を複合、合成するための図示しない情報処理装置（例えばＰＣ、タブレットなど）を含む。無人飛行体１００と送信機５０とは、有線通信又は無線通信（例えば無線ＬＡＮ（Local Area Network）、又はＢｌｕｅｔｏｏｔｈ（登録商標））を用いて、情報やデータを互いに通信することが可能である。なお、図１では、送信機５０の筐体に端末装置が取り付けられた様子の図示が省略されている。操作端末の一例としての送信機５０は、例えば送信機５０を使用する人物（以下、「ユーザ」という）の両手で把持された状態で使用される。
【0059】
図２は、無人飛行体１００の外観の一例を示す図である。図３は、無人飛行体１００の具体的な外観の一例を示す図である。無人飛行体１００が移動方向ＳＴＶ０に飛行する時の側面図が図２に示され、無人飛行体１００が移動方向ＳＴＶ０に飛行する時の斜視図が図３に示されている。無人飛行体１００は、例えば二つの撮像装置２２０－１，２２０－２を備えて移動する移動体の一例である。移動体とは、無人飛行体１００の他、空中を移動する他の航空機、地上を移動する車両、水上を移動する船舶等を含む概念である。ここで、図２及び図３に示すように、地面と平行であって移動方向ＳＴＶ０に沿う方向にロール軸（図２及び図３のｘ軸参照）が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸（図２及び図３のｙ軸参照）が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸（図２及び図３のｚ軸）が定められる。
【0060】
無人飛行体１００は、ＵＡＶ本体１０２と、ジンバル２００と、複数の撮像装置２２０－１、２２０－２と、複数の障害物センサ２３０とを含む構成である。無人飛行体１００は、本開示に係るモバイルプラットフォームの一例としての送信機５０から送信される遠隔制御の指示を基に移動することができる。無人飛行体１００の移動は、飛行を意味し、少なくとも上昇、降下、左旋回、右旋回、左水平移動、右水平移動の飛行が含まれる。
【0061】
ＵＡＶ本体１０２は、複数の回転翼を備える。ＵＡＶ本体１０２は、複数の回転翼の回転を制御することにより無人飛行体１００を移動させる。ＵＡＶ本体１０２は、例えば４つの回転翼を用いて無人飛行体１００を移動させる。回転翼の数は、４つに限定されない。また、無人飛行体１００は、回転翼を有さない固定翼機でよい。
【0062】
撮像装置２２０－１、撮像装置２２０－２は、所望の撮像範囲に含まれる被写体（例えば上述した建物、道路、公園等の地面形状）を撮像するカメラである。以下において、二つの撮像装置２２０－１、撮像装置２２０－２が一つのジンバル２００に取り付けられている例を示すが、実際はそれぞれ異なるジンバル２００に取り付けられ、別々に制御できるようになっていてよい。また、撮像装置の数量は２つに限らず、より多く備えていてよい。
【0063】
複数の障害物センサ２３０は、無人飛行体の周囲の障害物を検出することができる。
【0064】
次に、無人飛行体１００の構成例について説明する。
【0065】
図４は、図１の形状生成システム１０を構成する無人飛行体１００のハードウェア構成の一例を示すブロック図である。無人飛行体１００は、ＵＡＶ処理部１１０と、通信インタフェース１５０と、メモリ１６０と、ジンバル２００と、回転翼機構２１０と、撮像装置２２０－１、撮像装置２２０－２と、障害物センサ２３０と、ＧＰＳ受信機２４０と、バッテリ２５０と、光学センサ２６０と、タイマ２７０とを含む構成である。
【0066】
ＵＡＶ処理部１１０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。ＵＡＶ処理部１１０は、無人飛行体１００の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
【0067】
ＵＡＶ処理部１１０は、メモリ１６０に格納されたプログラムに従って無人飛行体１００の飛行を制御する。ＵＡＶ処理部１１０は、通信インタフェース１５０を介して遠隔の送信機５０から受信した命令に従って、無人飛行体１００の移動（つまり、飛行）を制御する。メモリ１６０は、無人飛行体１００から取り外し可能であってよい。
【0068】
通信インタフェース１５０は、送信機５０と通信する（図４参照）。通信インタフェース１５０は、遠隔の送信機５０からＵＡＶ処理部１１０に対する各種の命令を受信する。
【0069】
メモリ１６０は、ＵＡＶ処理部１１０がジンバル２００、回転翼機構２１０、撮像装置２２０－１、撮像装置２２０－２、障害物センサ２３０、ＧＰＳ受信機２４０、バッテリ２５０、光学センサ２６０及びタイマ２７０を制御するのに必要なプログラム等を格納する。メモリ１６０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１６０は、ＵＡＶ本体１０２の内部に設けられてよい。ＵＡＶ本体１０２から取り外し可能に設けられてよい。
【0070】
ジンバル２００は、少なくとも１つの軸を中心に撮像装置２２０－１、撮像装置２２０－２を回転可能に支持する。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置２２０を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置２２０－１、撮像装置２２０－２を回転させることで、撮像装置２２０の撮像方向を変更してよい。また、上述したように、撮像装置２２０－１、撮像装置２２０－２それぞれに一つずつジンバルが設けられる構成であってよい。
【0071】
回転翼機構２１０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。
【0072】
撮像装置２２０－１、撮像装置２２０－２は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。二つの撮像装置２２０－１、撮像装置２２０－２は同一の画角でありかつ異なる露光パラメータが設定されていることが好ましい。撮像装置２２０－１、撮像装置２２０－２の撮像により得られた画像データは、撮像装置２２０－１、撮像装置２２０－２がそれぞれ有するメモリ、又はメモリ１６０に格納される。好ましくは、画像データは撮像装置ごとに格納される。
【0073】
障害物センサ２３０は、例えば赤外線センサ、撮像装置、超音波センサなどであり、無人飛行体１００の周囲の障害物を検出し、その情報をＵＡＶ処理部１１０に出力する。
【0074】
ＧＰＳ受信機２４０は、複数の航法衛星（つまり、ＧＰＳ衛星）から発信された時刻及び各ＧＰＳ衛星の位置（座標）を示す複数の信号を受信する。ＧＰＳ受信機２４０は、受信された複数の信号に基づいて、ＧＰＳ受信機２４０の位置（つまり、無人飛行体１００の位置）を算出する。ＧＰＳ受信機２４０は、無人飛行体１００の位置情報をＵＡＶ処理部１１０に出力する。なお、ＧＰＳ受信機２４０の位置情報の算出は、ＧＰＳ受信機２４０の代わりにＵＡＶ処理部１１０により行われてよい。この場合、ＵＡＶ処理部１１０には、ＧＰＳ受信機２４０が受信した複数の信号に含まれる時刻及び各ＧＰＳ衛星の位置を示す情報が入力される。
【0075】
バッテリ２５０は、無人飛行体１００の各部の駆動源としての機能を有し、無人飛行体１００の各部に必要な電源を供給する。
【0076】
光学センサ２６０は、撮像領域における光量を検出し、検出結果をＵＡＶ処理部１１０に出力する。
【0077】
タイマ２７０は、時刻情報を管理し、ＵＡＶ処理部１１０に出力する。
【0078】
次に、送信機５０の構成例について説明する。
【0079】
図５は、送信機５０の外観の一例を示す斜視図である。送信機５０に対する上下前後左右の方向は、図５に示す矢印の方向にそれぞれ従うとする。送信機５０は、例えば送信機５０を使用するユーザの両手で把持された状態で使用される。
【0080】
送信機５０は、例えば略正方形状の底面を有し、かつ高さが底面の一辺より短い略直方体（言い換えると、略箱形）の形状をした樹脂製の筐体５０Ｂを有する。送信機５０の具体的な構成は図６を参照して後述する。送信機５０の筐体表面の略中央には、左制御棒５３Ｌと右制御棒５３Ｒとが突設して配置される。
【0081】
左制御棒５３Ｌ、右制御棒５３Ｒは、それぞれユーザによる無人飛行体１００の移動を遠隔で制御（例えば、無人飛行体１００の前後移動、左右移動、上下移動、向き変更）するための操作において使用される。図５では、左制御棒５３Ｌ及び右制御棒５３Ｒは、ユーザの両手からそれぞれ外力が印加されていない初期状態の位置が示されている。左制御棒５３Ｌ及び右制御棒５３Ｒは、ユーザにより印加された外力が解放された後、自動的に所定位置（例えば図５に示す初期位置）に復帰する。
【0082】
左制御棒５３Ｌの手前側（言い換えると、ユーザ側）には、送信機５０の電源ボタンＢ１が配置される。電源ボタンＢ１がユーザにより一度押下されると、例えば送信機５０に内蔵されるバッテリ（不図示）の容量の残量がバッテリ残量表示部Ｌ２において表示される。電源ボタンＢ１がユーザによりもう一度押下されると、例えば送信機５０の電源がオンとなり、送信機５０の各部（図６参照）に電源が供給されて使用可能となる。
【0083】
右制御棒５３Ｒの手前側（言い換えると、ユーザ側）には、ＲＴＨ（Return To Home）ボタンＢ２が配置される。ＲＴＨボタンＢ２がユーザにより押下されると、送信機５０は、無人飛行体１００に所定の位置に自動復帰させるための信号を送信する。これにより、送信機５０は、無人飛行体１００を所定の位置（例えば無人飛行体１００が記憶している離陸位置）に自動的に帰還させることができる。ＲＴＨボタンＢ２は、例えば屋外での無人飛行体１００による空撮中にユーザが無人飛行体１００の機体を見失った場合、又は電波干渉や予期せぬトラブルに遭遇して操作不能になった場合等に利用可能である。
【0084】
電源ボタンＢ１及びＲＴＨボタンＢ２の手前側（言い換えると、ユーザ側）には、リモートステータス表示部Ｌ１及びバッテリ残量表示部Ｌ２が配置される。リモートステータス表示部Ｌ１は、例えばＬＥＤ（Light Emission Diode）を用いて構成され、送信機５０と無人飛行体１００との無線の接続状態を表示する。バッテリ残量表示部Ｌ２は、例えばＬＥＤを用いて構成され、送信機５０に内蔵されたバッテリ（不図示）の容量の残量を表示する。
【0085】
左制御棒５３Ｌ及び右制御棒５３Ｒより後側であって、かつ送信機５０の筐体５０Ｂの後方側面から、２つのアンテナＡＮ１，ＡＮ２が突設して配置される。アンテナＡＮ１，ＡＮ２は、ユーザの左制御棒５３Ｌ及び右制御棒５３Ｒの操作に基づき、送信機処理部６１により生成された信号（つまり、無人飛行体１００の移動を制御するための信号）を無人飛行体１００に送信する。アンテナＡＮ１，ＡＮ２は、例えば２ｋｍの送受信範囲をカバーできる。また、アンテナＡＮ１，ＡＮ２は、送信機５０と無線接続中の無人飛行体１００が有する撮像装置２２０－１，２２０－２により撮像された画像、又は無人飛行体１００が取得した各種データが無人飛行体１００から送信された場合に、これらの画像又は各種データを受信できる。
【0086】
タッチパネルディスプレイＴＰＤ１は、例えばＬＣＤ（Crystal Liquid Display）又は有機ＥＬ（Electroluminescence）を用いて構成される。タッチパネルディスプレイＴＰＤ１の形状、サイズ、及び配置位置は任意であり、図６の図示例に限られない。
【0087】
図６は、図１の形状生成システム１０を構成する送信機５０のハードウェア構成の一例を示すブロック図である。送信機５０は、左制御棒５３Ｌと、右制御棒５３Ｒと、送信機処理部６１と、無線通信部６３と、メモリ６４と、電源ボタンＢ１と、ＲＴＨボタンＢ２と、操作部セットＯＰＳと、リモートステータス表示部Ｌ１と、バッテリ残量表示部Ｌ２と、タッチパネルディスプレイＴＰＤ１とを含む構成である。送信機５０は、無人飛行体１００を遠隔制御するための操作端末の一例である。
【0088】
左制御棒５３Ｌは、例えばユーザの左手により、無人飛行体１００の移動を遠隔で制御するための操作に使用される。右制御棒５３Ｒは、例えばユーザの右手により、無人飛行体１００の移動を遠隔で制御するための操作に使用される。無人飛行体１００の移動は、例えば前進する方向の移動、後進する方向の移動、左方向の移動、右方向の移動、上昇する方向の移動、下降する方向の移動、左方向に無人飛行体１００を回転する移動、右方向に無人飛行体１００を回転する移動のうちいずれか又はこれらの組み合わせであり、以下同様である。
【0089】
電源ボタンＢ１は一度押下されると、一度押下された旨の信号が送信機処理部６１に入力される。送信機処理部６１は、この信号に従い、送信機５０に内蔵されるバッテリ（不図示）の容量の残量をバッテリ残量表示部Ｌ２に表示する。これにより、ユーザは、送信機５０に内蔵されるバッテリの容量の残量を簡単に確認できる。また、電源ボタンＢ１は二度押下されると、二度押下された旨の信号が送信機処理部６１に渡される。送信機処理部６１は、この信号に従い、送信機５０に内蔵されるバッテリ（不図示）に対し、送信機５０内の各部への電源供給を指示する。これにより、ユーザは、送信機５０の電源がオンとなり、送信機５０の使用を簡単に開始できる。
【0090】
ＲＴＨボタンＢ２は押下されると、押下された旨の信号が送信機処理部６１に入力される。送信機処理部６１は、この信号に従い、無人飛行体１００に所定の位置（例えば無人飛行体１００の離陸位置）に自動復帰させるための信号を生成し、無線通信部６３及びアンテナＡＮ１，ＡＮ２を介して無人飛行体１００に送信する。これにより、ユーザは、送信機５０に対する簡単な操作により、無人飛行体１００を所定の位置に自動で復帰（帰還）させることができる。
【0091】
操作部セットＯＰＳは、複数の操作部（例えば操作部ＯＰ１，…，操作部ＯＰｎ）（ｎ：２以上の整数）を用いて構成される。操作部セットＯＰＳは、図５に示す左制御棒５３Ｌ、右制御棒５３Ｒ、電源ボタンＢ１及びＲＴＨボタンＢ２を除く他の操作部（例えば、送信機５０による無人飛行体１００の遠隔制御を支援するための各種の操作部）により構成される。ここでいう各種の操作部とは、例えば、無人飛行体１００の撮像装置２２０を用いた静止画の撮像を指示するボタン、無人飛行体１００の撮像装置２２０を用いた動画の録画の開始及び終了を指示するボタン、無人飛行体１００のジンバル２００（図４参照）のチルト方向の傾きを調整するダイヤル、無人飛行体１００のフライトモードを切り替えるボタン、無人飛行体１００の撮像装置２２０の設定を行うダイヤルが該当する。
【0092】
また、操作部セットＯＰＳは、無人飛行体１００のウェイポイントを生成するための入力パラメータの情報を入力するパラメータ操作部ＯＰＡを有する。パラメータ操作部ＯＰＡは、スティック、ボタン、キー、タッチパネル、等により形成されてよい。パラメータ操作部ＯＰＡは、左制御棒５３Ｌ、右制御棒５３Ｒにより形成されてよい。パラメータ操作部ＯＰＡにより入力パラメータに含まれる各パラメータを入力するタイミングは、全て同じでも異なってよい。
【0093】
リモートステータス表示部Ｌ１及びバッテリ残量表示部Ｌ２は、図５を参照して説明したので、ここでは説明を省略する。
【0094】
送信機処理部６１は、プロセッサ（例えばＣＰＵ、ＭＰＵ又はＤＳＰ）を用いて構成される。送信機処理部６１は、送信機５０の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
【0095】
無線通信部６３は、２つのアンテナＡＮ１，ＡＮ２と接続される。無線通信部６３は、２つのアンテナＡＮ１，ＡＮ２を介して、無人飛行体１００との間で所定の無線通信方式（例えばＷｉｆｉ（登録商標））を用いた情報やデータの送受信を行う。無線通信部６３は、送信機処理部６１からの入力パラメータの情報を、無人飛行体１００へ送信する。
【0096】
メモリ６４は、例えば送信機処理部６１の動作を規定するプログラムや設定値のデータが格納されたＲＯＭ（Read Only Memory）と、送信機処理部６１の処理時に使用される各種の情報やデータを一時的に保存するＲＡＭ（Random Access Memory）とを有する。メモリ６４のＲＯＭに格納されたプログラムや設定値のデータは、所定の記録媒体（例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ）にコピーされてよい。メモリ６４のＲＡＭには、例えば無人飛行体１００の撮像装置２２０により撮像された空撮画像のデータが保存される。
【0097】
タッチパネルディスプレイＴＰＤ１は、送信機処理部６１により処理された各種データを表示してよい。タッチパネルディスプレイＴＰＤ１は、入力された入力パラメータの情報を表示する。従って、送信機５０のユーザは、タッチパネルディスプレイＴＰＤ１を参照することで、入力パラメータの内容を確認できる。
【0098】
なお、送信機５０は、タッチパネルディスプレイＴＰＤ１を備える代わりに、端末装置と有線又は無線により接続されてよい。端末装置には、タッチパネルディスプレイＴＰＤ１と同様に、入力パラメータの情報が表示されてよい。端末装置は、スマートフォン、タブレット端末、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等でよい。また、端末装置が入力パラメータの少なくとも１つを入力し、入力パラメータを有線通信又は無線通信で送信機５０へ送り、送信機５０の無線通信部６３が無人飛行体１００へ入力パラメータを送信してよい。
【0099】
また、無人飛行体１００の動作は、送信機５０による操作に基づく場合以外に、後述するように、あらかじめ設定された飛行経路に沿って飛行し、撮像するものであってよい。
【0100】
以下において、本開示に係る形状生成システムにおける処理の各実施形態を図面と共に説明する。図７は、各実施形態の撮像範囲の一例を示す図である。本開示に係る形状生成システムの特徴を分かり易く説明するために、以下の各実施形態において、無人飛行体が図７に示すような長方形の地上形状（撮像範囲Ａ）を空中撮像する際、建物、山などによって太陽光が遮断され形成された円形の陰が撮像範囲Ａの中央から左寄りに存在する場合を例にとるが、実際はこれに限られない。本開示は、例えば室内環境の撮像において、家具や置物などにより照明が遮断される場合など、他のいかなるシチュエーションにも適用することができる。無論、撮像範囲は長方形以外の不規則かつ複雑な範囲であってよく、撮像範囲に含まれる陰の数量及びそれぞれの陰の形状も多様であってもよい。
【0101】
（第１の実施形態）
図８は、第１の実施形態にかかる形状生成システムにおける処理を示すシーケンス図である。本実施形態における形状生成システムは、送信機５０と、撮像装置２２０－１（撮像装置１）及び撮像装置２２０－２（撮像装置２）を備える無人飛行体１００と、情報処理装置（例えばＰＣ、タブレットなど）とが含まれている。
図８は、第１の実施形態にかかる形状生成システムにおける処理を示すシーケンス図である。本実施形態における形状生成システムは、送信機５０と、撮像装置２２０－１（撮像装置１）及び撮像装置２２０－２（撮像装置２）を備える無人飛行体１００と、情報処理装置（例えばＰＣ、タブレットなど）とが含まれている。
【0102】
まず、送信機５０が撮像装置１及び撮像位置（ウェイポイント）に関する情報を取得する（ステップＳ１１）。ウェイポイントに関する情報は、撮像範囲Ａ内にあらかじめ設定された飛行経路に基づいて確定した無人飛行体１００が撮像動作を行う地図上の座標情報である。
【0103】
飛行経路は、送信機５０や送信機５０に接続された端末装置（スマートフォン、タブレット等）、あるいは他の端末装置が従来の手法により設定したものであり、例えば撮像範囲Ａ内を最短距離で飛行する経路、最短時間で飛行する経路又はもっとも節電できる経路であってよい。
【0104】
ウェイポイントに関する情報には、例えば経度、緯度、高度の情報が含まれてよい。このとき、送信機５０はその内蔵するメモリに記録されているウェイポイントに関する情報を取得してよいし、無線通信部６３を介して、外部からウェイポイントに関する情報を取得してよい。
【0105】
図９は、撮像範囲Ａにおける飛行経路及び複数の撮像位置を模式的に示す図である。図９に示すように、撮像範囲Ａには２４個のウェイポイントが飛行経路上に設けられている。すなわち、無人飛行体１００は、後述する撮像処理（ステップＳ１３）において、ウェイポイント１で１回目の撮像を行った後、矢印の方向に飛行し、ウェイポイント２を通過するときに２回目の撮像を行い、その後再び矢印の方向に飛行しウェイポイント３を通過するときに３回目の撮像を行う。このように、飛行と撮像を繰り返して、ウェイポイント２４において２４回目の撮像を行った後、空撮を終了する。
【0106】
なお、ウェイポイントは、隣接するウェイポイントにおける撮像画像がオーバーラップする間隔で設定されていることが好ましい。これにより、情報処理装置が取得された複数の画像から確実に撮像範囲Ａの形状を復元するときに、撮像範囲Ａにおける完全な形状を形成するための情報が不足することを回避することができる。
【0107】
次に、各ウェイポイントで使用する撮像装置を選択する（ステップＳ１２）。本実施形態において、無人飛行体１００は、露光パラメータが異なる二つの撮像装置（撮像装置１、撮像装置２）を備えており、ウェイポイントごとに撮像装置１のみを使用して撮像すること、又は撮像装置２のみを使用して撮像すること、又は撮像装置１と撮像装置２を同時に使用して撮像することのいずれか一つを選択する。
【0108】
図１０は、撮像装置を選択するステップ（ステップＳ１２）の一例を示すフロー図である。図１０に示すように、まずは当該ウェイポイントにおける撮像領域内の陰の部分が占める割合を取得する（ステップＳ１２１）。本実施形態において、撮像範囲Ａには直射日光が当たる明部と建物などにより太陽の光が遮断されて形成される陰である暗部が含まれ、明暗差が大きい環境となっている。そこで、所定光量以下の部分を「陰の部分」と定義する。
【0109】
送信機５０は、陰の部分が占める割合を光源の照射角度及び光源の遮断物に関する情報に基づいて推定することができる。
【0110】
本実施形態において、光源の照射角度とは太陽の照射角度を指す。送信機５０は、例えば時刻情報と当該ウェイポイントの位置情報により太陽の照射角度を推定することができる。
【0111】
この場合、送信機５０は、時刻情報を例えば内蔵されているタイマから取得してよいし、ＧＰＳ、インターネットなどを通じて外部から取得してよい。ウェイポイントの位置情報は、ステップＳ１１において取得したウェイポイントに関する情報に含まれている経度、緯度、高度の情報であってよい。
【0112】
なお、光源の遮断物に関する情報は、例えば送信機５０がインターネット上の３次元地図データベースを参照して、撮像領域の概略形状（例えば既存の標高地図など）を取得してよい。
【0113】
送信機５０は、当該ウェイポイントにおいて陰の部分が占める割合を取得した後、当該割合に基づいて使用する撮像装置を選択する。
【0114】
具体的には、送信機５０は、陰の部分が占める割合が３０％（第１の閾値）以下である場合（ステップＳ１２２における「ＹＥＳ」）は、露光量が比較的低い露光パラメータを有する撮像装置１を選択する（ステップＳ１２３）。これにより、撮像領域のうち日向の部分が適正露出となる画像を取得することが期待できる。
【0115】
一方、送信機５０は、陰の部分が占める割合が７０％（第２の閾値）を超える場合（ステップＳ１２４における「ＮＯ」）は、露光量が比較的高い露光パラメータを有する撮像装置２を選択する（ステップＳ１２５）。これにより、撮像領域のうち日陰の部分が適正露出となる画像を取得することが期待できる。
【0116】
さらに、送信機５０は、陰の部分が占める割合が３０％（第１の閾値）を超え、かつ７０％（第２の閾値）以下である場合（ステップＳ１２４における「ＮＯ」）は、撮像装置１と撮像装置２の双方を選択する（ステップＳ１２６）。これにより、日陰の部分が適正露出となる画像と日向の部分が適正露出となる画像の双方を取得することが期待できる。
【0117】
なお、上記の３０％及び７０％はそれぞれ第１の閾値、第２の閾値の一例にすぎず、実際は必要に応じて他の数値を設定してよい。
【0118】
好ましくは、少なくとも一つのウェイポイントにおいて、送信機５０が撮像装置１と撮像装置２の双方を選択するように第１の閾値及び第２の閾値が設定される。これにより、後述する撮像装置１が撮像した画像の特徴点により復元された形状と、撮像装置２が撮像した画像の特徴点により復元された形状の少なくとも一部がオーバーラップし、撮像された複数の画像間の位置関係を正確に識別することができるだけでなく、情報処理装置による復元に必要な情報が不足しないことが保証される。
【0119】
【0120】
図１１に示すように、送信機５０は、ウェイポイント１～７，１１～１４，１８～２４は日向の部分であり、陰の部分が占める割合が３０％以下であるため、撮像装置１を選択する。ウェイポイント８，１０，１５，１７は日陰と日向の境界線上にあり、日陰の部分が３０％を超え、かつ７０％以下であるため、撮像装置１と撮像装置２の双方を選択する。ウェイポイント９，１６は日陰に入っており、陰の部分が占める割合が７０％を超えるため、撮像装置２を選択する。
【0121】
各ウェイポイントについて使用する撮像装置が選択された（ステップＳ１２）後、図８に戻り、送信機５０は、選択された結果に基づいて、ウェイポイントごとの撮像装置に関する情報を生成し、ウェイポイントに関する情報と各ウェイポイントにおいて使用する撮像装置に関する情報を無人飛行体１００に送信する。
【0122】
ウェイポイントに関する情報と各ウェイポイントにおいて使用する撮像装置に関する情報は、送信機５０が無線または有線の通信方式により無人飛行体１００に送信してよい。また、送信機５０がこれらの情報をメモリーカードなどの記憶媒体に記録して、その記憶媒体を無人飛行体に挿入するなどの他のいかなる方法により伝送してよい。
【0123】
無人飛行体１００は、ウェイポイントに関する情報と各ウェイポイントにおいて使用する撮像装置に関する情報をそれぞれ受信した後、飛行経路に沿って飛行し、各ウェイポイントにおいて選択された撮像装置を用いて撮像を行う（ステップＳ１３）。
【0124】
好ましくは、無人飛行体１００はその移動中に（すなわち、ウェイポイントに到達した時点で停止せずに）撮像を行う。これにより、無人飛行体１００は、空撮時間を短縮することができるだけでなく、無人飛行体１００を停止、再起動させるための電力を節約することもできる。
【0125】
無人飛行体１００はステップＳ１３において撮像された画像を、撮像装置ごとに、撮像装置に内蔵されたメモリまたは無人飛行体に内蔵されているメモリに記憶することが好ましい。
【0126】
無人飛行体１００は、空撮が終わると、撮像した画像を情報処理装置に送信する。
【0127】
これらの画像は、無人飛行体１００が無線または有線の通信方式により情報処理装置に送信されてよいし、無人飛行体１００がメモリーカードなどの記憶媒体に記録して、その記憶媒体を情報処理装置に挿入するなどの他のいかなる方法により伝送してよい。
【0128】
画像を受信した情報処理装置は、撮像装置ごとに、ＳＦＭ（Structure from Motion）などの従来の手法により被写体の形状を復元する（ステップＳ１４）。
【0129】
図１２は、撮像装置ごとに形状を復元し、形成することを模式的に示す図である。図１２に示すように、撮像装置１により撮像した画像を形状復元すると、日向の部分及び日陰と日向の境界線付近が正常に復元され、日陰の深い部分の情報が欠如している（左側の形状のＢを参照）。これは、ウェイポイント９、１６のような陰の部分が占める割合が７０％を超える場合には、撮像装置１で撮像してないため、情報が不足しているからである。その反面、Ｂ以外の部分では特徴点が効率よく検出され、正常に復元できる。
【0130】
一方、撮像装置２により撮像した画像を形状復元すると、日陰の部分及び日陰と日向の境界線付近が正常に復元され、日向の部分の情報が欠如している（右側の形状のＢ参照）。これは、撮像装置２がウェイポイント８～１０及びウェイポイント１５～１７のような日陰の部分が３０％を超える場合のみにおいて選択されているからである。その反面、Ｂ以外の部分では、特徴点が効率よく検出され、正常に復元できる。
【0131】
最後に、情報処理装置は、復元された二つの形状を合成する（ステップＳ１５）。これにより、情報が不足する部分Ｂが互いに補われ、撮像範囲Ａ全体の形状が生成される。
【0132】
このとき、撮像装置１と撮像装置２の双方が選択されるウェイポイントが存在するため、撮像装置１によって撮像された画像に基づいて復元された形状と、撮像装置２によって撮像された画像に基づいて復元された形状とで、日陰と日向の境界線付近ではオーバーラップしている。これにより、合成された形状は、情報不足が発生することなく、図１２におけるＢのような欠如部分の発生を防止することができ、高精度な形状が保証される。
【0133】
なお、無人飛行体１００は、図８の破線で示すように、撮像された画像を送信機５０に送信してもよい。この場合、送信機５０が撮像装置ごとに被写体の形状を復元し（ステップＳ１４´）、復元された形状を合成する（ステップＳ１５´）。このときの復元・合成に関する具体的な説明は、先述した画像を情報処理装置に送信した場合のそれぞれの処理（ステップＳ１４，Ｓ１５）と同一であるため、割愛する。
【0134】
（第２の実施形態）
第１の実施形態では、送信機５０が各ウェイポイントについて撮像に用いる撮像装置を選択するものであった。第２の実施形態は、無人飛行体１００が上記撮像装置を選択する点で第１の実施形態と異なる。便宜上、第１の実施形態と重複する部分は、説明を割愛する。
第１の実施形態では、送信機５０が各ウェイポイントについて撮像に用いる撮像装置を選択するものであった。第２の実施形態は、無人飛行体１００が上記撮像装置を選択する点で第１の実施形態と異なる。便宜上、第１の実施形態と重複する部分は、説明を割愛する。
【0135】
図１３は、第２の実施形態にかかる形状生成システムにおける処理を示すシーケンス図である。
【0136】
まず、送信機５０は、撮像装置１及び撮像位置（ウェイポイント）に関する情報を取得する（ステップＳ２１）。
【0137】
その後、送信機５０はウェイポイントに関する情報を無人飛行体１００に送信する。ウェイポイントに関する情報は、送信機５０が無線または有線の通信方式により直接無人飛行体１００に送信してもよいし、送信機５０においてメモリーカードなどの記憶媒体に記録して、その記憶媒体を無人飛行体に挿入するなどの他のいかなる方法により伝送してよい。
【0138】
無人飛行体１００は、ウェイポイントに関する情報を受信した後に、当該ウェイポイントにおいて陰の部分が占める割合を取得し、当該割合に基づいて使用する撮像装置を選択する（ステップＳ２２）。
【0139】
このとき、当該ウェイポイントにおいて陰の部分が占める割合の一つ目の取得方法として、無人飛行体は、当該ウェイポイントにおいて陰の部分が占める割合を、光源の照射角度及び光源の遮断物に関する情報に基づいて推定することができる。
【0140】
本実施形態において、光源の照射角度とは太陽の照射角度を指すが、例えば無人飛行体１００は、時刻情報と当該ウェイポイントの位置情報により推定することができる。
【0141】
この場合、無人飛行体１００は時刻情報をそのタイマ２７０から取得してよいし、ＧＰＳ、インターネットなどを通じて外部から取得してよい。ウェイポイントの位置情報は、ステップＳ２１において取得したウェイポイントに関する情報に含まれている経度、緯度、高度の情報であってよい。
【0142】
光源の遮断物に関する情報は、例えば無人飛行体１００がインターネット上の３次元地図データベースを参照して、撮像領域の概略形状（例えば既存の標高地図など）を取得してよい。
【0143】
当該ウェイポイントにおいて陰の部分が占める割合の二つ目の取得方法として、無人飛行体１００は、飛行経路に沿って飛行し、露光計などの光学センサ２６０により撮像時のウェイポイントにおける撮像領域の光量を測定する。
【0144】
このとき、無人飛行体１００は、飛行時に継続的に撮像領域の光量を測定し、撮像時までにウェイポイントにおける陰の部分が占める割合を推定してよい。また、各ウェイポイントに到着するタイミング（到着する寸前のタイミングでよい）に光量を測定してよい。
【0145】
無人飛行体１００は、ウェイポイントにおける陰の部分が占める割合に基づいて使用する撮像装置を選択した後、（ステップＳ２２）、各ウェイポイントにおいて選択された撮像装置により撮像する（ステップＳ２３）。
【0146】
ステップＳ２３において撮像された画像は、撮像装置ごとに、撮像装置に内蔵されたメモリまたは無人飛行体１００に内蔵されているメモリ１６０に記憶される。
【0147】
無人飛行体１００は、空撮が終わると、撮像装置に記憶された画像を情報処理装置に送信する。
【0148】
これらの画像は、無人飛行体１００が無線または有線の通信方式により情報処理装置に送信してよいし、無人飛行体１００でメモリーカードなどの記憶媒体に記録して、その記憶媒体を情報処理装置に挿入するなどの他のいかなる方法により伝送してよい。
【0149】
画像を受信した情報処理装置は、撮像装置ごとに、ＳＦＭ（Structure from Motion）などの従来の手法により被写体の形状を復元し（ステップＳ２４）、最後に復元された二つの形状を合成する（ステップＳ２５）。これにより、情報が不足する部分Ｂが互いに補われ、撮像範囲Ａ全体の形状が生成される。
【0150】
以上において、送信機５０、無人飛行体１００、情報処理装置が含まれる形状生成システムを説明したが、実際はこれらの構成に限らない。無人飛行体１００に備えられている撮像装置の個数も２つに限らず、より多く備えていてよい。
【0151】
上記の各実施形態において、送信機５０で実行される処理は、他のいかなる形式のモバイルプラットフォーム、情報処理装置で実行してよい。また、これらの処理は無人飛行体１００自身が実行してよい。
【0152】
上記の各実施形態において無人飛行体１００で実行される処理は、他のいかなる撮像機能を備えた移動体で実行してよい。
【0153】
上記の各実施形態において、情報処理装置で実行される処理は、スマートフォン、タブレット等の他の情報処理装置で実行されてもよく、無人飛行体１００自身が実行してよい。
【0154】
各実施形態に係る形状生成システムにおける処理は全体として本開示の形状生成方法を構成し、送信機５０が実行する処理は本開示に係るモバイルプラットフォームにおける形状生成方法を構成し、無人飛行体１００が実行する処理は、本開示に係る形状生成のための飛行体における画像取得方法を構成する。
【0155】
形状生成システムにおける処理（ステップ）のうち、プロポが実行する処理（ステップ）は、送信機５０の送信機処理部６１において実行し、ドローンが実行する処理（ステップ）は、無人飛行体１００のＵＡＶ処理部１１０において実行してよい。
【0156】
このとき、コンピュータである送信機５０に、形状生成方法のうちプロポが実行する処理（ステップ）を実行させるプログラムを送信機処理部６１により実行させてよい。このプログラムは、メモリ６４又は他の記憶媒体に格納されてよい。
【0157】
同じく、コンピュータである無人飛行体１００に、形状生成方法のうちドローンが実行する処理（ステップ）を実行させるプログラムをＵＡＶ処理部１１０に実行させてよい。このプログラムは、メモリ１６０又は他の記憶媒体に格納されてよい。
【0158】
本開示に係る形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体によれば、撮像装置のダイナミックレンジにとらわれず、明暗差が大きい環境においても高精度な形状生成が可能となる。
【0159】
また、本開示に係る形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体によれば、飛行体が飛行経路上で停止することなく、移動しながら撮像することができ、空撮時間の短縮及び省電力を図ることができる。
【0160】
さらに、本開示に係る形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体によれば、ウェイポイントの数量が多い場合でであっても高い効率で形状形成することができる。例えば、上記の各実施形態のように、撮像装置が２つある場合は、復元動作を２回行ったあと、合成動作を１回行えばよく、従来のＨＤＲのようにすべてのウェイポイントにおいて一回ずつ画像を合成する必要がない。
【0161】
以上、本開示について実施の形態を用いて説明したが、本開示に係る発明の技術的範囲は上述した実施の形態に記載の範囲には限定されない。上述した実施の形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
【0162】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0163】
１０ 形状生成システム
５０ 送信機
６１ 送信機処理部
６３ 無線通信部
６４ メモリ
１００ 無人飛行体
１０２ ＵＡＶ本体
１１０ ＵＡＶ処理部
１５０ 通信インタフェース
１６０ メモリ
２２０－１ 撮像装置
２２０－２ 撮像装置
５０ 送信機
６１ 送信機処理部
６３ 無線通信部
６４ メモリ
１００ 無人飛行体
１０２ ＵＡＶ本体
１１０ ＵＡＶ処理部
１５０ 通信インタフェース
１６０ メモリ
２２０－１ 撮像装置
２２０－２ 撮像装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】