(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023168787
(43)【公開日】2023-11-29
(54)【発明の名称】管理装置、及び画像表示システム
(51)【国際特許分類】
G08G 5/00 20060101AFI20231121BHJP
G08G 1/04 20060101ALI20231121BHJP
G08G 1/09 20060101ALI20231121BHJP
G08G 1/0969 20060101ALI20231121BHJP
G01C 21/34 20060101ALI20231121BHJP
B64D 47/08 20060101ALI20231121BHJP
B64C 39/02 20060101ALI20231121BHJP
B64C 27/04 20060101ALI20231121BHJP
H04N 7/18 20060101ALI20231121BHJP
H04N 23/60 20230101ALI20231121BHJP
【FI】
G08G5/00 A
G08G1/04 D
G08G1/09 F
G08G1/0969
G01C21/34
B64D47/08
B64C39/02
B64C27/04
H04N7/18 U
H04N5/232 300
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022080104
(22)【出願日】2022-05-16
(71)【出願人】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】木田 陽子
(72)【発明者】
【氏名】鶴屋 由美子
(72)【発明者】
【氏名】田仲 秀行
(72)【発明者】
【氏名】成瀬 龍一
【テーマコード(参考)】
2F129
5C054
5C122
5H181
【Fターム(参考)】
2F129AA11
2F129BB03
2F129DD13
2F129DD15
2F129DD20
2F129EE02
2F129EE23
2F129EE66
2F129EE78
2F129EE79
2F129EE82
2F129EE94
2F129FF02
2F129FF12
2F129FF15
2F129FF20
2F129FF62
2F129FF63
2F129FF66
2F129FF71
2F129FF74
2F129GG17
2F129HH03
2F129HH04
2F129HH12
2F129HH18
2F129HH19
2F129HH20
2F129HH21
2F129HH22
5C054CA04
5C054CC02
5C054CG02
5C054EA01
5C054EA05
5C054FE12
5C054FF02
5C054FF03
5C054GB01
5C054GB05
5C122DA11
5C122FK37
5C122FK38
5C122FK39
5C122FK40
5C122FK42
5C122GA18
5C122GA34
5C122GC14
5C122GC54
5C122GD01
5C122HA01
5C122HA90
5C122HB01
5C122HB05
5H181AA26
5H181BB04
5H181BB05
5H181BB12
5H181BB13
5H181BB15
5H181CC04
5H181FF04
5H181FF10
5H181FF13
5H181FF22
5H181FF33
5H181MC19
(57)【要約】 (修正有)
【課題】飛行体により撮像された複数の撮像画像を、GPS等による位置情報を用いることなく、飛行経路上の各撮像位置に対応付ける。
【解決手段】飛行体により撮像されたN(Nは2以上の整数)個の撮像画像と飛行経路上の各撮像位置とを対応付ける管理装置20は、受付部211、設定部212、管理部213、及び表示制御部214を備える。受付部211は、ユーザの指示を受け付ける。設定部212は、飛行体の飛行経路の始点及び終点と始点から終点まで飛行する間に撮像されたN個の撮像画像とを受け付けた場合に、飛行経路を等間隔に区分してN個の撮像位置を設定する。管理部213は、N個の撮像画像とN個の撮像位置とを1対1に対応付ける。表示制御部214は、N個の撮像位置のうち一の撮像位置の指定を受付部211が受け付けた場合に、当該撮像位置に対応する一の撮像画像を表示装置に表示させる。
【選択図】
図3
【特許請求の範囲】
【請求項1】
ユーザの指示を受け付ける受付部と、
撮像機能を有する飛行体の飛行経路の始点及び終点と前記始点から前記終点まで飛行する間に前記飛行体により撮像されたN(Nは2以上の整数)個の撮像画像とを前記受付部が受け付けた場合に、前記飛行経路を等間隔に区分してN個の撮像位置を設定する設定部と、
前記N個の撮像画像と前記N個の撮像位置とを1対1に対応付ける管理部と、
前記N個の撮像位置のうち一の撮像位置の指定を前記受付部が受け付けた場合に、前記N個の撮像画像のうち前記一の撮像位置に対応する一の撮像画像を表示装置に表示させる表示制御部と、
を備える管理装置。
【請求項2】
前記始点と前記終点とのうちの少なくとも一方を前記飛行経路に沿って移動させる修正を前記受付部が受け付けた場合に、修正後の飛行経路に沿って前記N個の撮像位置を等間隔に再設定する再設定部を更に備える、
請求項1に記載の管理装置。
【請求項3】
前記表示制御部は、前記始点及び前記終点の指定を受け付けるための第1画像と、前記飛行体が飛行中に撮像したM(MはN以上の整数)個の撮像画像のうちから前記N個の撮像画像を前記ユーザに指定させるための第2画像とを並べて前記表示装置に表示させる、
請求項1に記載の管理装置。
【請求項4】
前記M個の撮像画像の各々には撮像順を示す順序情報が付与されており、
前記第2画像は、前記M個の撮像画像の各々を撮像順に配列した画像であり、
前記設定部は、前記始点に対応する第1撮像画像と前記終点に対応する第2撮像画像とが前記ユーザにより指定された場合に、撮像順に並んだ前記M個の撮像画像において前記第1撮像画像から前記第2撮像画像までを前記N個の撮像画像として受け付ける、
ことを特徴とする請求項3に記載の管理装置。
【請求項5】
管理装置と、表示装置を含むユーザ装置と、を備え、
前記ユーザ装置は、
ユーザの指示を受け付け、受け付けた指示を表す指示情報を前記管理装置へ送信し、
前記管理装置は、
前記ユーザ装置から送信される指示情報を受け付ける受付部と、
撮像機能を有する飛行体の飛行経路の始点及び終点を示す第1指示情報と前記始点から前記終点まで飛行する間に前記飛行体により撮像されたN(Nは2以上の整数)個の撮像画像を示す第2指示情報とを前記受付部が受け付けた場合に、前記飛行経路を等間隔に区分してN個の撮像位置を設定する設定部と、
前記N個の撮像画像と前記N個の撮像位置とを1対1に対応付ける管理部と、
前記N個の撮像位置のうち一の撮像位置の指定を前記受付部が受け付けた場合に、前記N個の撮像画像のうち前記一の撮像位置に対応する一の撮像画像を前記表示装置に表示させる表示制御部と、を備える、
画像表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、管理装置、及び画像表示システムに関する。
【背景技術】
【0002】
近年、ドローン又はホバリングカメラ等の飛行体が様々な用途に利用されている。特許文献1には、GPS(Global Positioning System、又はGlobal Positioning Satellite)による位置情報を用いて設定された飛行情報の示す飛行経路に沿って自動飛行するホバリングカメラを用いて橋梁等の点検対象物を撮像する技術が開示されている。特許文献1に開示の技術では、点検対象物を撮像する位置が等間隔となるように飛行情報が設定される。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば屋内等のGPSを利用できない環境(以下、非GPS環境)では、位置情報を用いて撮像位置を予め設定することはできない。非GPS環境では、飛行体による撮像を実行した後に、撮像された複数の撮像画像の各々を飛行経路上の各撮像位置に対応付ける必要であったが、この対応付けは困難であった。
【課題を解決するための手段】
【0005】
本開示の好適な態様に係る管理装置は、受付部と、設定部と、管理部と、表示制御部と、を備える。受付部は、ユーザの指示を受け付ける。設定部は、撮像機能を有する飛行体の飛行経路の始点及び終点と前記始点から前記終点まで飛行する間に前記飛行体により撮像されたN(Nは2以上の整数)個の撮像画像とを受付部が受け付けた場合に、前記飛行経路を等間隔に区分してN個の撮像位置を設定する。管理部は、前記N個の撮像画像と前記N個の撮像位置とを1対1に対応付ける。表示制御部は、前記N個の撮像位置のうち一の撮像位置の指定を前記受付部が受け付けた場合に、前記N個の撮像画像のうち前記一の撮像位置に対応する一の撮像画像を表示装置に表示させる。
【0006】
また、本開示の好適な態様に係る画像表示システムは、表示装置を含むユーザ装置と、管理装置と、を備える。ユーザ装置は、ユーザの指示を受け付け、受け付けた指示を表す指示情報を前記管理装置へ送信する。管理装置は、受付部と、設定部と、管理部と、表示制御部と、を備える。受付部は、ユーザ装置から送信される指示情報を受け付ける。設定部は、撮像機能を有する飛行体の飛行経路の始点及び終点を示す第1指示情報と前記始点から前記終点まで飛行する間に前記飛行体により撮像されたN(Nは2以上の整数)個の撮像画像を示す第2指示情報とを受付部が受け付けた場合に、前記飛行経路を等間隔に区分してN個の撮像位置を設定する。管理部は、前記N個の撮像画像と前記N個の撮像位置とを1対1に対応付ける。表示制御部は、前記N個の撮像位置のうち一の撮像位置の指定を前記受付部が受け付けた場合に、前記N個の撮像画像のうち前記一の撮像位置に対応する一の撮像画像を表示装置に表示させる。
【発明の効果】
【0007】
本開示によれば、飛行経路に沿って飛行する飛行体により順次撮像されたN個の撮像画像を、GPS等による位置情報を用いることなく飛行経路上に等間隔に並んだN個の撮像位置に対応付けることができるので、非GPS環境においても、撮像位置毎に、対応する撮像画像の表示ができる。
【図面の簡単な説明】
【0008】
【
図1】本開示の実施形態による画像表示システム1の構成例を示すブロック図である。
【
図2】画像表示システム1に含まれるユーザ装置10の構成例を示すブロック図である。
【
図3】画像表示システム1に含まれる管理装置20の構成例を示すブロック図である。
【
図4】ユーザ装置10の表示装置130に表示される設定支援画面Gの一例を示す図である。
【
図5】設定支援画面Gに含まれる第1画像G1に対して指定される飛行経路の一例を示す図である。
【
図6】管理装置20により設定される撮像位置の一例を示す図である。
【
図7】飛行経路の始点又は終点の移動に応じて管理装置20により再設定される撮像位置の一例を示す図である。
【
図8】管理装置20の処理装置210がプログラムPBに従って実行する表示制御方法の流れを示すフローチャートである。
【発明を実施するための形態】
【0009】
(A:実施形態)
図1は、本開示の実施形態による画像表示システム1の構成例を示す図である。画像表示システム1は、撮像機能を備えたドローン30により撮像された複数の撮像画像の各々をドローン30の飛行経路上の各撮像位置に対応付けるための情報システムである。
図1には、画像表示システム1に加えてドローン30と、ドローン30を操作するための操作端末40とが図示されている。
図1に示されるように画像表示システム1は、ユーザ装置10と、管理装置20とを含む。
図1に示されるように、ユーザ装置10と管理装置20とは、例えばインターネット等の通信網NWに接続される。
【0010】
操作端末40は、ドローン30と無線通信する。ドローン30は、操作端末40による制御の下、飛行する。本実施形態では、ドローン30のユーザは、予め定めた飛行経路に沿ってドローン30を等速度で飛行させる操作を操作端末40に対して行う。この操作に応じてドローン30は飛行する。ドローン30は、飛行開始から飛行終了までの間に所定時間が経過する毎に撮像機能による撮像を行い、M(Mは2以上の整数)個の撮像画像を取得する。
【0011】
ドローン30には、メモリカード等の記録媒体が着脱自在に装着される。ドローン30は、撮像したM個の撮像画像の各々を示す撮像画像データに撮像順を示す順序情報を対応付けて記録媒体に記録する。順序情報の具体例としては、順序情報に対応付けられた撮像画像データの表す撮像画像が撮像された時刻、又は撮像が行われる毎にカウントアップされる一連番号、を示す文字列が挙げられる。ドローン30のユーザは、飛行の終了後、記録媒体をドローン30から取り外す。ドローン30のユーザは、ユーザ装置10を用いて、ドローン30により撮像された撮像画像を表す撮像画像データを管理装置20へアップロードする。本実施形態では、ユーザ装置10は、操作端末40とは別個の装置であるが、ユーザ装置10が操作端末40の役割を担ってもよい。
【0012】
ユーザ装置10は、例えばスマートフォンである。
図2は、ユーザ装置10の構成例を示すブロック図である。
図1に示されるように、ユーザ装置10は、処理装置110、通信装置120、表示装置130、入力装置140、及び記憶装置150を有する。
【0013】
処理装置110は、1又は複数のCPU(Central Processing Unit)を含む。CPUは、コンピュータの一例である。処理装置110は、記憶装置150に記憶されているプログラムPAを実行することにより、ユーザ装置10の制御中枢として機能する。
【0014】
通信装置120は、通信網NWに無線接続される。本実施形態では、通信装置120は、通信網NWに無線接続されるが、通信網NWに有線接続されてもよい。通信装置120は、通信網NWを介して管理装置20と通信するためのハードウェア(送受信デバイス)である。通信装置120は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置120は、通信網NWを介して管理装置20から送信されるデータを受信する。通信装置120は、通信網NWを介して受信したデータを処理装置110に与える。また、通信装置120は、処理装置110から与えられたデータを通信網NWを介して管理装置20へ送信する。
【0015】
表示装置130は、処理装置110による制御の下、各種画像を表示する。表示装置130の具体例としては液晶ディスプレイが挙げられる。入力装置140は、ユーザの操作を受け付け、当該操作を示すデータを処理装置110に与える。入力装置140の具体例としては、表示装置130の表示面に積層されたタッチパネル(例えば、透明なシート状の感圧センサ)が挙げられる。入力装置140は、タッチパネルの他に複数種の操作キーを含んでもよく、またタッチパネルを含まずに複数種の操作キーのみで構成されてもよい。
【0016】
記憶装置150は、処理装置110が読み取り可能な記録媒体である。記憶装置150は、例えば、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)及びEEPROM(Electrically Erasable Programmable Read Only Memory)である。揮発性メモリは、例えば、RAM(Random Access Memory)である。記憶装置150に含まれる不揮発性メモリにはプログラムPAが予め記憶されている。記憶装置150に含まれる揮発性メモリはプログラムPAを実行する際のワークエリアとして処理装置110によって利用される。
【0017】
入力装置140に対する操作によりプログラムPAの実行を指示されると、処理装置110は、プログラムPAを不揮発性メモリから揮発性メモリへ読み出す。そして、処理装置110は、揮発性メモリへ読み出したプログラムPAの実行を開始する。プログラムPAに従って作動している処理装置110は、管理装置20による制御の下、各種画像を表示装置130に表示させる。また、プログラムPAに従って作動している処理装置110は、入力装置140に対して入力された指示を示す指示情報を通信網NWを介して管理装置20へ送信する。
【0018】
ユーザ装置10には、ドローン30から取り外された記録媒体が装着される。プログラムPAに従って作動している処理装置210は、ユーザ装置10に装着された記録媒体に記録されたM組の撮像画像データと順序情報とを読み出し、読み出したM組の撮像画像データと順序情報とを管理装置20へアップロードする。
【0019】
管理装置20は、ドローン30により撮像された複数の撮像画像の各々をドローン30の飛行経路上の各撮像位置に対応付けるサービスを提供するサーバ装置である。
図3は、管理装置20の構成例を示すブロック図である。
図3に示されるように、管理装置20は、処理装置210、通信装置220、及び記憶装置250を有する。
【0020】
処理装置210は、処理装置110と同様に、1又は複数のCPU(Central Processing Unit)を含む。処理装置210は、記憶装置250に記憶されているプログラムPBを実行することにより、管理装置20の制御中枢として機能する。
【0021】
通信装置220は、通信装置120と同様に送受信デバイスである。本実施形態では、通信装置220は、通信網NWに有線接続されるが、通信網NWに無線接続されてもよい。通信装置220は、通信網NWを介してユーザ装置10から送信されるデータを受信する。通信装置220は、通信網NWを介して受信したデータを処理装置210に与える。また、通信装置220は、処理装置210から与えられたデータを通信網NWを介してユーザ装置10へ送信する。
【0022】
記憶装置250は、処理装置210が読み取り可能な記録媒体である。記憶装置250は、記憶装置150と同様に不揮発性メモリと揮発性メモリとを含む。記憶装置250に含まれる不揮発性メモリにはプログラムPBが予め記憶されている。記憶装置250に含まれる揮発性メモリはプログラムPBを実行する際のワークエリアとして処理装置210によって利用される。また、記憶装置250に含まれる揮発性メモリには、ユーザ装置10からアップロードされるM組の撮像画像データと順序情報とが記憶される。
【0023】
処理装置210は、ユーザ装置10からアップロードされるM組の撮像画像データと順序情報とを受信した場合に、プログラムPBを不揮発性メモリから揮発性メモリへ読み出す。そして、処理装置210は、揮発性メモリへ読み出したプログラムPBの実行を開始する。プログラムPBに従って作動している処理装置210は、
図3に示される受付部211、設定部212、管理部213、表示制御部214、及び再設定部215として機能する。つまり、
図3に示される受付部211、設定部212、管理部213、表示制御部214、及び再設定部215は、コンピュータをソフトウェアに従って作動させることにより実現されるソフトウェアモジュールである。受付部211、設定部212、管理部213、表示制御部214、及び再設定部215の各々の機能は次の通りである。
【0024】
表示制御部214は、ドローン30の飛行経路の始点及び終点と、始点から終点までの間に撮像されたN個の撮像画像と、をユーザに指定させるための設定支援画面を表す画像データを生成し、当該画像データをユーザ装置10へ送信する。ユーザ装置10の処理装置110は、当該画像データに従って設定支援画面を表示装置130に表示させる。
【0025】
図4は、設定支援画面Gの一例を示す図である。
図4に示されるように、設定支援画面Gには、第1画像G1と第2画像G2とが並べて配置される。第1画像G1は、ドローン30の飛行経路の始点及び終点を指定する操作を受け付けるための画像である。第2画像G2は、ドローン30の飛行開始から飛行終了までの間に撮像されたM個の撮像画像のうちの始点から終点までの区間において撮像されたN(Nは、2以上、且つM以下の整数)個の撮像画像を指定する操作を受け付けるための画像である。また、設定支援画面Gには、対応付けボタンB1が配置される。対応付けボタンB1は、N個の撮像画像と飛行経路上の各撮像位置との対応付けをユーザに指示させるための仮想操作子である。
【0026】
第1画像G1の具体例としては、ドローン30が飛行した地域の地図、当該地図の略図、又は当該地域の航空写真の画像が挙げられる。本実施形態における第1画像G1は、ドローン30が飛行した地域の地図の略図の画像である。なお、ドローン30の飛行経路が橋梁、建物、又は船舶等の構造物に沿って設定される場合には、第1画像G1は当該構造物の設計図の画像であってもよい。第2画像G2の具体例としては、ユーザ装置10からアップロードされたM個の撮像画像を撮像順に1列に配列したサムネイル画像が挙げられる。
図4における第2画像G2は、M=6である場合の一例、即ち、ドローン30により順次撮像された撮像画像GA1、撮像画像GA2、撮像画像GA3、撮像画像GA4、撮像画像GA5、及び撮像画像GA6のサムネイル画像である。
【0027】
ユーザは、
図5に示されるように、ドローン30の飛行経路L1に対応する線分を第1画像G1に対して描画する操作を入力装置140に対して行うことで、飛行経路L1の始点及び終点を指定する。入力装置140に対して飛行経路L1の始点及び終点を指定する操作(飛行経路L1に対応する線分を描画する操作)が行われると、ユーザ装置10の処理装置110は当該始点及び終点の第1画像G1における位置を示す第1指示情報を管理装置20へ送信する。なお、ドローン30の飛行経路L1に対応する線分は直線状の線分であってもよいし、曲線状に線分であってもよい。ドローン30の飛行経路に対応する線分が曲線状である場合、第1指示情報には当該曲線を示す情報(例えば、曲率半径等)が含まれてもよい。本実施形態では、第1画像G1に対して描画された線分の始点が飛行経路L1の始点S1に対応し、当該線分の終点が飛行経路の終点E1に対応する。
【0028】
また、ユーザは、第2画像G2(即ち、サムネイル表示されたM個の撮像画像)において飛行経路の始点に対応する撮像画像と飛行経路の終点に対応する撮像画像(始点に対応する撮像画像よりも後に撮像された撮像画像)とを指定する入力を入力装置140に対して行う。以下、始点に対応する撮像画像は最初の撮像画像と称される。最初の撮像画像は本開示における第1撮像画像の一例である。また、終点に対応する撮像画像は最後の撮像画像と称される。最後の撮像画像は、本開示における第2撮像画像の一例である。入力装置140に対する操作により最初の撮像画像及び最後の撮像画像が指定されると、ユーザ装置10の処理装置110は、当該最初の撮像画像と最後の撮像画像を示す情報、換言すれば最初の撮像画像から最後の撮像画像までの複数の撮像画像を示す情報である第2指示情報を管理装置20へ送信する。
【0029】
また、ユーザ装置10の処理装置110は、入力装置140に対する操作により対応付けボタンB1が押下されると、対応付けの実行を指示する第3指示情報を管理装置20へ送信する。対応付けの完了後、ユーザは入力装置140に対する操作により、撮像画像の確認を所望する撮像位置を指定することができる。何れかの撮像位置を指定する操作が入力装置140に対して為されると、ユーザ装置10の処理装置110は、ユーザにより指定された撮像位置を示す第4指示情報を管理装置20へ送信する。また、対応付けの完了後、ユーザは入力装置140に対する操作により、飛行経路の始点又は終点を飛行経路に沿って移動させることができる。飛行経路の始点又は終点を移動する操作が入力装置140に対して為されると、ユーザ装置10の処理装置110は、ユーザにより修正された飛行経路を示す第5指示情報を管理装置20へ送信する。
【0030】
受付部211は、ユーザ装置10から送信される指示情報(第1指示情報、第2指示情報、第3指示情報、第4指示情報及び第5指示情報)を受け付ける。
【0031】
設定部212は、第1指示情報と第2指示情報とを受付部211により受け付けた場合に、飛行経路に沿って複数の撮像位置を等間隔に設定する。設定部212は、まず、第2指示情報の示す最初の撮像画像から見て、当該第2指示情報の示す最後の撮像画像がN(Nは2以上かつM以下の整数)番目の撮像画像であった場合、撮像順に並んだM個の撮像画像において最初の撮像画像から最後の撮像画像までのN個の撮像画像を飛行経路に沿った飛行中に撮像された画像として受け付ける。
【0032】
次いで、設定部212は、第1指示情報により始点及び終点が示される飛行経路を等間隔に分割してN個の撮像位置を設定する。N個の撮像位置のうちの1番目の撮像位置は始点に対応する。N個の撮像位置のうちのN番目の撮像位置は終点に対応する。設定部212は、N個の撮像位置の各々の第1画像G1における位置を示す情報をユーザ装置10へ送信することにより、N個の撮像位置の各々に対応する丸印等のアイコン(以下、撮像位置アイコン)を、設定支援画面Gにおける第1画像G1に重ねて表示装置130に表示させる。例えば、
図4における撮像画像GA2が最初の撮像画像として指定され、かつ
図4における撮像画像GA5が最後の撮像画像として指定されたとする。撮像画像GA5は撮像画像GA2から見て4番目の撮像画像であるから、設定部212は、飛行経路L1を等間隔に分割して4個の撮像位置を設定する。そして、設定部212は、
図6に示されるように撮像位置アイコンP1~P4を第1画像G1に重ねて表示装置130に表示させる。
【0033】
管理部213は、第3指示情報を受付部211により受け付けた場合に、最初の撮像画像から最後の撮像画像までのN個の撮像画像の各々をN個の撮像位置の各々に1対1に対応付ける。具体的には、管理部213は、1からNまでの整数nの各々について、飛行経路においてn番目に位置する撮像位置に対して、最初の撮像画像から最後の撮像画像までのN個の撮像画像のうちn番目の撮像画像を対応付ける。例えば、
図6に示される例では、管理部213は、撮像位置アイコンP1の示す撮像位置には撮像画像GA2を、撮像位置アイコンP2の示す撮像位置には撮像画像GA3を、撮像位置アイコンP3の示す撮像位置には撮像画像GA4を、撮像位置アイコンP4の示す撮像位置には撮像画像GA5を、夫々対応付ける。このように、本実施形態の管理装置20によれば、GPS等による位置情報を用いることなく、ドローン30の飛行経路に沿って順次撮像されたN個の撮像画像の各々が飛行経路上に等間隔に並んだN個の撮像位置に一つずつ対応付けられる。
【0034】
表示制御部214は、第4指示情報を受付部211により受け付けた場合に、当該第4指示情報の示す撮像位置に対応する撮像画像をユーザ装置10に表示させる。例えば、撮像位置アイコンP3に対応する撮像位置を示す第4指示情報を受信した場合、表示制御部214は、撮像画像GA4の表示を指示するコマンドをユーザ装置10へ送信する。ユーザ装置10の処理装置110は当該コマンドに従って撮像画像GA4を表示装置130に表示させる。本実施形態の管理装置20によれば、ユーザは、撮像位置毎に、対応する撮像画像を表示させることができる。
【0035】
再設定部215は、第5設定情報を受付部211により受け付けた場合に、第5設定情報の示す修正後の飛行経路に沿ってN個の撮像位置を等間隔に再設定する。例えば、飛行経路L1が短くなるように終点E1を始点S1に近づく方向に飛行経路L1に沿って移動させる操作が為されると、再設定部215は、
図7に示されるように、飛行経路上の4つの撮像位置を再設定する。本実施形態の管理装置20によれば、ユーザは、始点と終点とのうちの少なくとも一方の移動によりN個の撮像位置を再設定できる。
【0036】
また、プログラムPAに従って作動している処理装置210は、前述の設定支援画面Gをユーザ装置10の表示装置130に表示させた後、本開示の表示制御方法を実行する。
図8は、この表示制御方法の流れを示すフローチャートである。
図8に示されるように、この表示制御方法は、ステップSA100~ステップSA170の各処理を含む。
【0037】
ステップSA100では、処理装置210は、受付部211として機能する。ステップSA100では、処理装置210は、ユーザ装置10から送信される指示情報を受け付ける。
【0038】
ステップSA110では、処理装置210は、第1指示情報及び第2指示情報をステップSA100にて受け付けたか否かを判定する。ステップSA110の判定結果が“Yes”である場合、処理装置210は、ステップSA120の処理を実行する。ステップSA110の判定結果が“No”である場合、処理装置210は、ステップSA130の処理を実行する。
【0039】
ステップSA120では、処理装置210は、設定部212として機能する。ステップSA120では、処理装置210は、第1指示情報及び第2指示情報に基づいて、飛行経路に沿ってN個の撮像位置を等間隔に設定する。ステップSA120の実行後、処理装置210は、ステップSA100の処理を再度実行する。
【0040】
ステップSA130では、処理装置210は、ステップSA100にて受け付けた指示情報が第3指示情報であるか否かを判定する。ステップSA130の判定結果が“Yes”である場合、処理装置210は、ステップSA140の処理を実行する。ステップSA130の判定結果が“No”である場合、処理装置210は、ステップSA150の処理を実行する。
【0041】
ステップSA140では、処理装置210は、管理部213として機能する。ステップSA140では、処理装置210は、最初の撮像画像から最後の撮像画像までのN個の撮像画像の各々をN個の撮像位置の各々に1対1に対応付ける。ステップSA140の実行後、処理装置210は、ステップSA100の処理を再度実行する。
【0042】
ステップSA150では、処理装置210は、ステップSA100にて受け付けた指示情報が第4指示情報であるか否かを判定する。ステップSA150の判定結果が“Yes”である場合、処理装置210は、ステップSA160の処理を実行する。ステップSA150の判定結果が“No”である場合、即ち、ステップSA100にて受け付けた指示情報が第5指示情報であった場合、処理装置210は、ステップSA170の処理を実行する。
【0043】
ステップSA160では、処理装置210は、表示制御部214として機能する。ステップSA160では、処理装置210は、第4指示情報の示す撮像位置に対応する撮像画像を表示装置130に表示させる。ステップSA160の実行後、処理装置210は、ステップSA100の処理を再度実行する。
【0044】
ステップSA170では、処理装置210は、再設定部215として機能する。ステップSA170では、処理装置210は、第5指示情報の示す修正後の飛行経路に沿ってN個の撮像位置を等間隔に再設定する。ステップSA170の実行後、処理装置210は、ステップSA100の処理を再度実行する。
【0045】
本実施形態の画像表示システム1によれば、ユーザは、設定支援画面Gにおける第1画像G1に対する操作により飛行経路L1の始点S1及び終点E1を指定できる。また、ユーザは、設定支援画面Gにおける第2画像G2に対する操作により飛行経路L1に沿った飛行中に撮像されたN個の撮像画像を指定できる。そして、本開示の画像表示システム1によれば、ユーザは、設定支援画面Gにおける対応付けボタンB1を押下することで、飛行経路L1に沿って順次撮像されたN個の撮像画像を飛行経路L1上に等間隔に並んだN個の撮像位置に対応付けることができ、撮像位置毎に、対応する撮像画像を表示できる。
【0046】
ここで注目すべき点は、本実施形態では、飛行経路L1に沿って順次撮像されたN個の撮像画像と飛行経路L1上に等間隔に並んだN個の撮像位置との対応付けに、GPS等による位置情報は不要である、という点である。つまり、本実施形態の画像表示システム1によれば、非GPS環境であっても、飛行経路L1に沿って飛行するドローン30により順次撮像されたN個の撮像画像を飛行経路L1上に等間隔に並んだN個の撮像位置に対応付けることができる。また、本実施形態の画像表示システム1によれば、ユーザは、始点S1と終点E1とのうちの少なくとも一方の移動によりN個の撮像位置を再設定できる。
【0047】
(B:変形例)
本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様は以下の通りである。以下の例示から任意に選択された2以上の態様が併合されてもよい。
(B-1:変形例1)
ドローン30の飛行は一定時間に亙って一定の高度を直線又は曲線に沿って等速で飛行する自動飛行であってもよい。また、撮像位置の再設定が不要である場合は、再設定部215は省略されてもよい。
【0048】
(B-2:変形例2)
図9に示されるように、飛行経路L1の終点E1の近傍に、飛行経路L1とは異なる方向に延びる飛行経路L2の始点S2が設定され、飛行経路L2に対しても複数の撮像画像が対応付けられてもよい。飛行経路L1は本開示における第1の飛行経路の一例であり、飛行経路L2は本開示における第2の飛行経路の一例である。
【0049】
(B-3:変形例3)
ドローン30は、GPS等を利用した位置情報取得機能を有してもよい。ドローン30が位置情報取得機能を有し、且つ撮像画像の撮像位置を示す位置情報を位置情報取得機能により取得できる場合には、ドローン30は、撮像画像データに対応付けて位置情報を記録媒体に書き込んでもよい。管理装置20は、第4指示情報の示す撮像位置に対応する撮像画像データに位置情報が対応付けられている場合、当該撮像画像データの表す撮像画像とともに、当該位置情報を表示装置130に表示させてもよい。
【0050】
(B-4:変形例4)
ドローン30は、ユーザ装置10又は管理装置20と無線通信する通信機能を有してもよい。ドローン30が通信機能を有する場合、ドローン30は撮像する毎に撮像画像データを通信機能によりユーザ装置10又は管理装置20へ送信してもよい。本態様では、撮像画像データの受信順が撮像順を示すので順序情報は不要である。
【0051】
(B-5:変形例5)
上記実施形態では、管理装置20の記憶装置250にプログラムPBが記憶されていたが、プログラムPBが単体で製造又は販売されてもよい。プログラムPBを販売する際の購入先へのプログラムPBの提供態様としては、フラッシュROM等のコンピュータ読み取り可能な記録媒体にプログラムPBを書き込んで配布する態様、又は電気通信回線経由のダウンロードにより配布する態様が挙げられる。同様に、プログラムPAが単体で製造又は販売されてもよい。
【0052】
(B-6:変形例6)
上記実施形態における受付部211、設定部212、管理部213、表示制御部214及び再設定部215はソフトウェアモジュールであった。しかし、受付部211、設定部212、管理部213、表示制御部214及び再設定部215のうちの何れか一つ、複数、又は全部はハードウェアモジュールであってもよい。ハードウェアモジュールの具体例としては、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等が挙げられる。
【0053】
(C:その他)
(1)上述した実施形態では、記憶装置150及び記憶装置250の具体例として、ROM及びRAM等が例示された。しかし、記憶装置150及び記憶装置250は、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、CD-ROM(Compact Disc-ROM)、レジスタ、リムーバブルディスク、ハードディスク、フロッピー(登録商標)ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体であってもよい。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網から送信されてもよい。
【0054】
(2)上述した実施形態において、説明した情報、信号等は、様々な異なる技術の何れかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【0055】
(3)上述した実施形態において、入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0056】
(4)上述した実施形態において、判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
【0057】
(5)上述した実施形態において例示した処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0058】
(6)
図4に例示された各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線等を用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0059】
(7)上述した実施形態で例示したプログラムは、ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能等を意味するよう広く解釈されるべきである。
【0060】
また、ソフトウェア、命令、情報等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)等)及び無線技術(赤外線、マイクロ波等)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0061】
(8)前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0062】
(9)本開示において説明した情報、パラメータ等は、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
【0063】
(10)上述した実施形態において、ユーザ装置は、移動局(MS:Mobile Station)である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末(user terminal)」、「ユーザ装置(UE:User Equipment)」、「端末」等の用語は、互換的に使用され得る。
【0064】
(11)上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、2又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された2つの要素間に1又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、2つの要素は、1又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光(可視及び不可視の両方)領域の波長を有する電磁エネルギー等を用いて、互いに「接続」又は「結合」されると考えることができる。
【0065】
(12)上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0066】
(13)本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事等を含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事等を含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing) 等した事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断(決定)」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」等で読み替えられてもよい。
【0067】
(14)上述した実施形態において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
【0068】
(15)本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0069】
(16)本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBが夫々Cと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
【0070】
(17)本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
【0071】
(D:上述の形態又は変形例から把握される態様)
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。上述の実施形態又は変形例の少なくとも1つから以下の態様が把握される。
【0072】
本開示の第1の態様による管理装置は、受付部211と、設定部212と、管理部213と、表示制御部214と、を備える。受付部211は、ユーザの指示を受け付ける。設定部212は、ドローン30の飛行経路の始点及び終点と始点から終点まで飛行する間にドローン30により撮像されたN(Nは2以上の整数)個の撮像画像とを受付部が受け付けた場合に、飛行経路を等間隔に区分してN個の撮像位置を設定する。ドローン30は、撮像機能を有する飛行体の一例である。管理部213は、N個の撮像画像とN個の撮像位置とを1対1に対応付ける。表示制御部214は、N個の撮像位置のうち一の撮像位置の指定を受付部211が受け付けた場合に、N個の撮像画像のうち一の撮像位置に対応する一の撮像画像をユーザ装置10の表示装置130に表示させる。本態様の管理装置は、飛行経路に沿って順次撮像されたN個の撮像画像を、GPS等による位置情報を用いることなく飛行経路上に等間隔に並んだN個の撮像位置に対応付けることができ、撮像位置毎に、対応する撮像画像を表示できる。
【0073】
本開示の第2の態様(第1の態様の例)による管理装置における受付部211が始点と終点とのうちの少なくとも一方を飛行経路に沿って移動させる修正を受け付けた場合に、修正後の飛行経路に沿ってN個の撮像位置を等間隔に再設定する再設定部215を更に備えてもよい。第2の態様の管理装置は、始点と終点とのうちの少なくとも一方の移動によりN個の撮像位置を再設定できる。
【0074】
本開示の第3の態様(第1の態様の例)による管理装置における表示制御部214は、ドローン30の飛行経路の始点及び終点の指定を受け付けるための第1画像とドローン30により撮像したM(MはN以上の整数)個の撮像画像のうちからN個の撮像画像をユーザに指定させるための第2画像とを並べて表示装置130に表示させてもよい。第3の態様の管理装置によれば、ユーザは、第1画像に対する操作によりドローン30の飛行経路の始点及び終点を指定でき、第2画像に対する操作によりN個の撮像画像を指定できる。
【0075】
本開示の第4の態様(第3の態様の例)においてM個の撮像画像の各々には撮像順を示す順序情報が付与されていてもよい。第4の態様における第2画像は、M個の撮像画像の各々を撮像順に配列した画像であってもよい。第4の態様の管理装置における設定部212は、始点に対応する第1撮像画像と終点に対応する第2撮像画像とがユーザにより指定された場合に、撮像順に並んだM個の撮像画像において第1撮像画像から第2撮像画像までをN個の撮像画像として受け付けてもよい。第4の態様の管理装置によれば、ユーザは、始点に対応する第1撮像画像と終点に対応する第2撮像画像とを指定することにより、N個の撮像画像を指定できる。
【0076】
本開示の第5の態様により画像表示システムは、管理装置20と、表示装置130を含むユーザ装置10と、を備える。ユーザ装置10は、ユーザの指示を受け付け、受け付けた指示を表す指示情報を管理装置20へ送信する。管理装置20は、受付部211と、設定部212と、管理部213と、表示制御部214と、を備える。受付部211は、ユーザ装置10から送信される指示情報を受け付ける。設定部212は、ドローン30の飛行経路の始点及び終点を指定する第1指示情報と始点から終点まで飛行する間にドローン30により撮像されたN(Nは2以上の整数)個の撮像画像を示す第2指示情報とを受付部が受け付けた場合に、飛行経路を等間隔に区分してN個の撮像位置を設定する。管理部213は、N個の撮像画像とN個の撮像位置とを1対1に対応付ける。表示制御部214は、N個の撮像位置のうち一の撮像位置の指定を受付部211が受け付けた場合に、N個の撮像画像のうち一の撮像位置に対応する一の撮像画像を表示装置130に表示させる。本態様の画像表示システムは、飛行経路に沿って順次撮像されたN個の撮像画像を、GPS等による位置情報を用いることなく飛行経路上に等間隔に並んだN個の撮像位置に対応付けることができ、撮像位置毎に、対応する撮像画像を表示装置130に表示させることができる。
【符号の説明】
【0077】
1…画像表示システム、10…ユーザ装置、20…管理装置、30…ドローン、40…操作端末、110,210…処理装置、211…受付部、212…設定部、213…管理部、214…表示制御部、215…再設定部、120,220…通信装置、130…表示装置、140…入力装置、150,250…記憶装置、PA,PB…プログラム。