特許 7499663 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-06

(45)【発行日】2024-06-14

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240607BHJP

   G08B 25/00 20060101ALI20240607BHJP

   B64C 39/02 20060101ALI20240607BHJP

   B64D 47/08 20060101ALI20240607BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 U

G08B25/00 510M

B64C39/02

B64D47/08

【請求項の数】 7

(21)【出願番号】P 2020160627

(22)【出願日】2020-09-25

(65)【公開番号】P2022053803

(43)【公開日】2022-04-06

【審査請求日】2023-02-21

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】山田 達大

(72)【発明者】

【氏名】成瀬 龍一

【審査官】橋本 直明

(56)【参考文献】

【文献】特開２０１９－０２９８８９（ＪＰ，Ａ）

【文献】特開２０１９－１６３０１２（ＪＰ，Ａ）

【文献】特開２００７－１６６２９６（ＪＰ，Ａ）

【文献】特開２０２１－１２４７９４（ＪＰ，Ａ）

【文献】特開２０１５－２０１７２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２５／００

Ｂ６４Ｃ ３９／０２

Ｂ６４Ｄ ４７／０８

(57)【特許請求の範囲】

【請求項1】

飛行体によって撮像された撮像画像に対してユーザが入力した情報を、当該撮像画像が撮像された位置に関連付けて記憶する記憶部と、
前記ユーザが入力した情報が前記撮像された位置に関連付けて前記記憶部に記憶された後に、表示装置において、前記飛行体の位置を示す飛行体位置画像および前記情報が関連付けられている位置を示す情報位置画像を表示させ、さらに、前記飛行体位置画像によって示される前記飛行体の位置の変化に同期して、前記飛行体によって撮像された撮像画像および当該撮像画像に対してユーザにより入力された前記情報を表示させる表示制御部と
を備え、
前記表示制御部は、
前記飛行体の位置の軌跡を示す軌跡画像を表示させ、
前記軌跡上の各位置に関連付けられた前記情報の内容または数に応じて、当該軌跡を示す軌跡画像の表示態様を異ならせることを特徴とする情報処理装置。

【請求項2】

飛行体によって撮像された撮像画像に対してユーザが入力した情報を、当該撮像画像が撮像された位置に関連付けて記憶する記憶部と、
前記ユーザが入力した情報が前記撮像された位置に関連付けて前記記憶部に記憶された後に、表示装置において、前記飛行体の位置を示す飛行体位置画像および前記情報が関連付けられている位置を示す情報位置画像を表示させ、さらに、前記飛行体位置画像によって示される前記飛行体の位置の変化に同期して、前記飛行体によって撮像された撮像画像および当該撮像画像に対してユーザにより入力された前記情報を表示させる表示制御部と、
前記情報が入力された前記撮像画像において、当該情報の対象となる対象物を特定する対象物特定部と、
前記情報が入力された前記撮像画像を基準として時間的に前または後に撮像された撮像画像に、前記対象物が含まれているか否かを判断する判断部とを備え、
前記表示制御部は、
前記飛行体の位置の軌跡を表す軌跡画像を表示させ、
前記対象物が含まれていると判断された撮像画像に対応する前記軌跡画像と、前記対象
物が含まれていないと判断された撮像画像に対応する前記軌跡画像とを識別可能に表示させる
ことを特徴とする情報処理装置。

【請求項3】

飛行体によって撮像された撮像画像に対してユーザが入力した情報を、当該撮像画像が撮像された位置に関連付けて記憶する記憶部と、
前記ユーザが入力した情報が前記撮像された位置に関連付けて前記記憶部に記憶された後に、表示装置において、前記飛行体の位置を示す飛行体位置画像および前記情報が関連付けられている位置を示す情報位置画像を表示させ、さらに、前記飛行体位置画像によって示される前記飛行体の位置の変化に同期して、前記飛行体によって撮像された撮像画像および当該撮像画像に対してユーザにより入力された前記情報を表示させる表示制御部と
を備え、
前記表示制御部は、
表示されている前記情報のいずれかが指定された場合には、
指定された当該情報に対応する情報位置画像が示す位置で撮像された前記撮像画像を表示させる
ことを特徴とする情報処理装置。

【請求項4】

飛行体によって撮像された撮像画像に対してユーザが入力した情報を、当該撮像画像が撮像された位置に関連付けて記憶する記憶部と、
前記ユーザが入力した情報が前記撮像された位置に関連付けて前記記憶部に記憶された後に、表示装置において、前記飛行体の位置を示す飛行体位置画像および前記情報が関連付けられている位置を示す情報位置画像を表示させ、さらに、前記飛行体位置画像によって示される前記飛行体の位置の変化に同期して、前記飛行体によって撮像された撮像画像および当該撮像画像に対してユーザにより入力された前記情報を表示させる表示制御部と
を備え、
前記表示制御部は、
前記情報が表示される表示領域の背景を示す画像として、当該情報が入力された撮像画像を表示する第１の表示モードと、前記情報の表示領域と当該情報が入力された撮像画像の表示領域とを分けて表示させる第２の表示モードとを、条件に応じて切り替える
ことを特徴とする情報処理装置。

【請求項5】

前記条件は、前記情報位置画像によって示される位置に関連付けられた前記情報の内容または数に関する条件である
ことを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記表示制御部は、
前記情報位置画像によって示される位置に関連付けられた前記情報の内容または数に応じて、当該情報位置画像の表示態様を異ならせる
ことを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。

【請求項7】

前記表示制御部は、
表示されている前記情報位置画像のいずれかが指定された場合には、
指定された当該情報位置画像が示す位置で撮像された前記撮像画像と、当該情報位置画像が示す位置に関連付けられた前記情報とを表示させる
ことを特徴とする請求項１～６のいずれか１項に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、飛行体によって撮像した対象物を表示するための技術に関する。

【背景技術】

【0002】

ドローンと呼ばれる無人飛行体を用いて様々な施設や設備等の対象物を撮像し、その撮像結果から対象物に関する各種の点検や確認を行うような仕組みが考えられている。例えば特許文献１には、飛行体の位置と進行方向を飛行経路上に表示し、さらに、その飛行体が撮像した画像を表示する仕組みが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１９５１５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような仕組みにおいて、ユーザが飛行体によって撮像された画像を見ながら気づいた点などのコメントを逐一入力していくようなユースケースが想定される。

【0005】

そこで、本発明は、飛行体が撮像した撮像画像と、その撮像画像に対してユーザが入力した情報と、その情報が入力された撮像画像の撮像位置との関係を分かりやすくした表示を行うことを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明は、飛行体によって撮像された撮像画像に対してユーザが入力した情報を、当該撮像画像が撮像された位置に関連付けて記憶する記憶部と、前記ユーザが入力した情報が前記撮像された位置に関連付けて前記記憶部に記憶された後に、表示装置において、前記飛行体の位置を示す飛行体位置画像および前記情報が関連付けられている位置を示す情報位置画像を表示させ、さらに、前記飛行体位置画像によって示される前記飛行体の位置の変化に同期して、前記飛行体によって撮像された撮像画像および当該撮像画像に対してユーザにより入力された前記情報を表示させる表示制御部とを備え、前記表示制御部は、前記飛行体の位置の軌跡を示す軌跡画像を表示させ、前記軌跡上の各位置に関連付けられた前記情報の内容または数に応じて、当該軌跡を示す軌跡画像の表示態様を異ならせることを特徴とする情報処理装置を提供する。
また、本発明は、飛行体によって撮像された撮像画像に対してユーザが入力した情報を、当該撮像画像が撮像された位置に関連付けて記憶する記憶部と、前記ユーザが入力した情報が前記撮像された位置に関連付けて前記記憶部に記憶された後に、表示装置において、前記飛行体の位置を示す飛行体位置画像および前記情報が関連付けられている位置を示す情報位置画像を表示させ、さらに、前記飛行体位置画像によって示される前記飛行体の位置の変化に同期して、前記飛行体によって撮像された撮像画像および当該撮像画像に対してユーザにより入力された前記情報を表示させる表示制御部と、前記情報が入力された前記撮像画像において、当該情報の対象となる対象物を特定する対象物特定部と、前記情報が入力された前記撮像画像を基準として時間的に前または後に撮像された撮像画像に、前記対象物が含まれているか否かを判断する判断部とを備え、前記表示制御部は、前記飛行体の位置の軌跡を表す軌跡画像を表示させ、前記対象物が含まれていると判断された撮像画像に対応する前記軌跡画像と、前記対象物が含まれていないと判断された撮像画像に対応する前記軌跡画像とを識別可能に表示させることを特徴とする情報処理装置を提供する。
また、本発明は、飛行体によって撮像された撮像画像に対してユーザが入力した情報を、当該撮像画像が撮像された位置に関連付けて記憶する記憶部と、前記ユーザが入力した情報が前記撮像された位置に関連付けて前記記憶部に記憶された後に、表示装置において、前記飛行体の位置を示す飛行体位置画像および前記情報が関連付けられている位置を示す情報位置画像を表示させ、さらに、前記飛行体位置画像によって示される前記飛行体の位置の変化に同期して、前記飛行体によって撮像された撮像画像および当該撮像画像に対してユーザにより入力された前記情報を表示させる表示制御部とを備え、前記表示制御部は、表示されている前記情報のいずれかが指定された場合には、指定された当該情報に対応する情報位置画像が示す位置で撮像された前記撮像画像を表示させることを特徴とする情報処理装置を提供する。
また、本発明は、飛行体によって撮像された撮像画像に対してユーザが入力した情報を、当該撮像画像が撮像された位置に関連付けて記憶する記憶部と、前記ユーザが入力した情報が前記撮像された位置に関連付けて前記記憶部に記憶された後に、表示装置において、前記飛行体の位置を示す飛行体位置画像および前記情報が関連付けられている位置を示す情報位置画像を表示させ、さらに、前記飛行体位置画像によって示される前記飛行体の位置の変化に同期して、前記飛行体によって撮像された撮像画像および当該撮像画像に対してユーザにより入力された前記情報を表示させる表示制御部とを備え、前記表示制御部は、前記情報が表示される表示領域の背景を示す画像として、当該情報が入力された撮像画像を表示する第１の表示モードと、前記情報の表示領域と当該情報が入力された撮像画像の表示領域とを分けて表示させる第２の表示モードとを、条件に応じて切り替えることを特徴とする情報処理装置を提供する。

【発明の効果】

【0007】

本発明によれば、飛行体が撮像した撮像画像と、その撮像画像に対してユーザが入力した情報と、その情報が入力された撮像画像の撮像位置との関係を分かりやすくした表示を行うことができる。

【図面の簡単な説明】

【0008】

【図1】本発明を実施するための実施形態に係る飛行システム１の構成の一例を示すブロック図である。

【図2】実施形態に係る飛行体１０のハードウェア構成を示すブロック図である。

【図3】実施形態に係るサーバ装置２０のハードウェア構成を示すブロック図である。

【図4】実施形態に係るユーザ端末３０のハードウェア構成を示すブロック図である。

【図5】実施形態に係る飛行システム１の機能構成の一例を示すブロック図である。

【図6】実施形態に係る飛行システム１において、撮像画像の蓄積に関する動作の一例を示すシーケンス図である。

【図7】実施形態に係るサーバ装置２０によって記憶されるデータの一例を示す図である。

【図8】実施形態に係る飛行システム１において、撮像画像の再生に関する動作の一例を示すシーケンス図である。

【図9】実施形態に係るサーバ装置２０によって記憶されるデータの一例を示す図である。

【図10】ユーザ端末３０に表示される画像を例示する図である。

【図11】ユーザ端末３０に表示される画像を例示する図である。

【図12】ユーザ端末３０に表示される画像を例示する図である。

【図13】ユーザ端末３０に表示される画像を例示する図である。

【図14】変形例を説明する図である。

【図15】変形例を説明する図である。

【図16】変形例を説明する図である。

【図17】変形例を説明する図である。

【図18】変形例を説明する図である。

【図19】変形例を説明する図である。

【発明を実施するための形態】

【0009】

［実施形態］
図１は、本発明を実施するための実施形態に係る飛行システム１の構成の一例を示す図である。飛行システム１は、例えば点検、監視、観察、または確認等の対象物となる各種の施設や設備を撮像し、その撮像画像を表示し、さらに、その撮像画像に対して各種の情報を入力して記録するためのシステムである。飛行システム１は、例えばドローンと呼ばれる無人の飛行体１０と、飛行体１０によって撮像された撮像画像に関する情報を蓄積するサーバ装置２０と、サーバ装置２０に蓄積された撮像画像を表示し且つその撮像画像に対して各種の情報を入力するためのユーザインタフェース装置として機能するユーザ端末３０と、これらを通信可能に接続する通信網２とを備える。

【0010】

通信網２は、例えばＬＴＥ（Long Term Evolution）や５Ｇ（5th Generation）等の通信規格に準拠する無線通信網と、例えば公衆交換通信網（ＰＳＴＮ：Public Switched Telephone Networks）やサービス統合デジタル網（ＩＳＤＮ：Integrated Services Digital Network）或いはインターネット等の固定通信網とを含む。サーバ装置２０はそれぞれ、単体のコンピュータで実現されてもよいし、複数のコンピュータの集合体によって実現されてもよい。また、飛行体１０、サーバ装置２０およびユーザ端末３０はそれぞれ複数であってもよい。

【0011】

飛行体１０は、図示せぬ操縦端末を用いた手動操縦や所定のアルゴリズムを用いた自動操縦によって、対象物の至近距離まで飛行し、その対象物を撮像する。飛行体１０は通信網２経由で対象物を撮像した撮像画像を示す撮像画像データをサーバ装置２０に送信し、サーバ装置２０はその撮像画像データを蓄積する。本実施形態では撮像画像データは動画データであるが、これに限らず、静止画データであってもよい。サーバ装置２０に蓄積された撮像画像データは、任意の再生タイミングでユーザ端末３０に送信され、ユーザ端末３０においてその撮像画像データが示す撮像画像が表示される。

【0012】

対象物に対して点検、監視、観察または確認等を行うユーザは、ユーザ端末３０において表示される撮像画像を参照し、その対象物に故障、破損、汚れ等のなんらかの問題ないし不具合がないかどうかを判断する。ユーザは、ユーザ端末３０を用いて、対象物に対して気づいた点などの、任意の情報を入力する。撮像画像に対して入力された情報は、その撮像画像の次の再生タイミングにおいて、撮像画像とともにユーザ端末３０にて表示される。従って、ユーザ端末３０が複数ある場合、または、１つのユーザ端末３０に対して複数のユーザがログインして利用する場合、或るユーザが或る撮像画像に対して或る情報を入力したとき、他のユーザはその或る情報を参照することができるし、さらに、その或る情報に対して別の情報を入力するということも可能となる。

【0013】

このように、飛行体１０は、画像を撮像する撮像装置として機能する。ユーザ端末３０は、飛行体１０が撮像した撮像画像およびユーザが入力した情報を表示する表示装置として機能するとともに、撮像画像に対して情報を入力するための入力装置として機能する。サーバ装置２０は、本発明に係る情報処理装置の一例として機能するコンピュータであり、各種のデータを蓄積するとともに、ユーザ端末３０における画像の表示を制御する情報処理装置として機能する。

【0014】

図２は、飛行体１０のハードウェア構成を示す図である。飛行体１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、飛行装置１００７、センサ１００８、測位装置１００９およびこれらを接続するバスなどを含むコンピュータ装置として構成されている。これらの各装置は図示せぬ電池から供給される電力によって動作する。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。飛行体１０のハードウェア構成は、図に示した各装置を１つまたは複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0015】

飛行体１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２およびストレージ１００３におけるデータの読み出しおよび書き込みの少なくとも一方を制御したりすることによって実現される。

【0016】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。また、例えばベースバンド信号処理部や呼処理部などがプロセッサ１００１によって実現されてもよい。

【0017】

プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３および通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、後述する動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。飛行体１０の機能ブロックは、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。各種の処理は、１つのプロセッサ１００１によって実行されてもよいが、２以上のプロセッサ１００１により同時または逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介して通信網２から飛行体１０に送信されてもよい。

【0018】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本実施形態に係る方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0019】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。

【0020】

通信装置１００４は、通信網２を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）および時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、送受信アンテナ、アンプ部、送受信部、伝送路インターフェースなどは、通信装置１００４によって実現されてもよい。送受信部は、送信制御部と受信部とで、物理的に、または論理的に分離された実装がなされてもよい。

【0021】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キー、マイクロフォン、スイッチ、ボタンなど）であり、特に、画像を撮像するビデオカメラ等の撮像デバイスを含む。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。

【0022】

飛行装置１００７は、飛行体１０を空中で飛行させるための機構であり、例えばプロペラや、そのプロペラを駆動するためのモータおよび駆動機構を含む。

【0023】

センサ１００８は、例えばジャイロセンサ、加速度センサ、気圧（高度）センサ、磁気（方位）センサ等のセンサ群を含む。

【0024】

測位装置１００９は、飛行体１０の三次元の位置を測定する。測位装置１００９は、ＧＰＳ（Global Positioning System）受信機であり、複数の衛星から受信したＧＰＳ信号に基づいて飛行体１０の位置を測定する。

【0025】

プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバスによって接続される。バスは、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

【0026】

飛行体１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部または全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0027】

図３は、サーバ装置２０のハードウェア構成を示す図である。サーバ装置２０は、物理的には、プロセッサ２００１、メモリ２００２、ストレージ２００３、通信装置２００４、入力装置２００５、出力装置２００６およびこれらを接続するバスなどを含むコンピュータ装置として構成されている。サーバ装置２０における各機能は、プロセッサ２００１、メモリ２００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ２００１が演算を行い、通信装置２００４による通信を制御したり、メモリ２００２およびストレージ２００３におけるデータの読み出しおよび書き込みの少なくとも一方を制御したりすることによって実現される。

【0028】

プロセッサ２００１、メモリ２００２、ストレージ２００３、通信装置２００４およびこれらを接続するバスは、飛行体１０について説明したプロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４およびこれらを接続するバスと、ハードウェアとしては同様であるため、その説明を省略する。入力装置２００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン）である。出力装置２００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。

【0029】

図４は、ユーザ端末３０のハードウェア構成を示す図である。ユーザ端末３０は、物理的には、プロセッサ３００１、メモリ３００２、ストレージ３００３、通信装置３００４、入力装置３００５、出力装置３００６およびこれらを接続するバスなどを含むコンピュータ装置として構成されている。ユーザ端末３０における各機能は、プロセッサ３００１、メモリ３００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ３００１が演算を行い、通信装置３００４による通信を制御したり、メモリ３００２およびストレージ３００３におけるデータの読み出しおよび書き込みの少なくとも一方を制御したりすることによって実現される。

【0030】

プロセッサ３００１、メモリ３００２、ストレージ３００３、通信装置３００４およびこれらを接続するバスは、サーバ装置２０について説明したプロセッサ２００１、メモリ２００２、ストレージ２００３、通信装置２００４およびこれらを接続するバスと、ハードウェアとしては同様であるため、その説明を省略する。入力装置３００５は、外部からの入力を受け付ける入力デバイスであり、特に、キーボード、マウス、マイクロフォン、スイッチ、ボタン等のユーザの操作を受け付けるデバイスを含む。出力装置３００６は、外部への出力を実施する出力デバイスであり、特に、ユーザに対して画像を表示する表示デバイスを含む。なお、入力装置３００５および出力装置３００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0031】

図５は、飛行システム１の機能構成の一例を示す図である。サーバ装置２０において、通信部２１は、飛行体１０と通信網２経由で各種のデータの送受信を行ったり、ユーザ端末３０と通信網２経由で各種のデータの送受信を行ったりする。より具体的には、通信部２１は、飛行体１０の撮像部１１によって撮像された撮像画像データや、飛行体１０の測位部１２によって測定された位置を示す位置データを、飛行体１０から受信する。また、通信部２１は、ユーザ端末３０の表示部３１における画像の表示を制御する表示制御データをユーザ端末３０に送信したり、ユーザ端末３０の操作受付部３２が受け付けたユーザの操作に応じた情報をユーザ端末３０から受信したりする。

【0032】

サーバ装置２０において、記憶部２２は、通信部２１が飛行体１０から受信した撮像画像データを記憶する。この撮像画像データは、画像が撮像された位置（つまり、画像を撮像したときの飛行体１０の位置）を示す位置データである撮像位置データに関連付けて記憶される。さらに、記憶部２２は、撮像画像データに対してユーザが入力してユーザ端末３０の操作受付部３２によって受け付けられた情報である入力情報を記憶する。この入力情報は、例えばコメント、メッセージまたはチャットと表現される情報であり、文字、図形、色または画像などを含む。記憶部２２において、この入力情報は、その撮像画像が撮像された位置である撮像位置データに関連付けて記憶される。

【0033】

サーバ装置２０において、表示制御部２３は、ユーザ端末３０の表示部３１において、飛行体１０の位置を示す画像（以下、飛行体位置画像という）および入力情報が関連付けられている撮像位置を示す画像（以下、情報位置画像という）を表示させる制御を行う。これら飛行体位置画像および情報位置画像は、例えばアイコンと呼ばれる図形の画像であるが、その詳細について後述する。さらに、表示制御部２３は、飛行体位置画像によって示される飛行体１０の位置の変化に同期して、飛行体１０によって撮像された撮像画像および当該撮像画像に対してユーザにより入力された入力情報を表示させる制御を行う。つまり、ユーザ端末３０による表示において、飛行体１０の位置の変化に応じて撮像画像および情報が変化することになるが、これらの表示についても後で詳述する。

【0034】

［動作］
次に、本実施形態の動作について説明する。なお、以下の説明において、サーバ装置２０を処理の主体として記載する場合には、具体的にはプロセッサ２００１、メモリ２００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ２００１が演算を行い、通信装置２００４による通信や、メモリ２００２およびストレージ２００３におけるデータの読み出しおよび／または書き込みを制御することにより、処理が実行されることを意味する。飛行体１０およびユーザ端末３０についても同様である。

【0035】

［撮像画像の蓄積に関する動作］
まず、図６を参照して、撮像画像を蓄積する動作について説明する。図６において、飛行体１０は、前述したような手動操縦または自動操縦に従い、飛行を開始する（ステップＳ１１）。飛行開始以後、飛行体１０（測位部１２）は定期的に位置を測定する。飛行体１０の飛行制御は、測定された飛行体１０の位置やセンサ１００８によって検出された飛行体１０の挙動に基づいてなされる。

【0036】

飛行体１０（撮像部１１）は、予め決められた対象物に近づくと、手動操縦または自動操縦に従い、対象物に対する撮像処理を開始する（ステップＳ１２）。このときの撮像に関する諸条件、例えば撮像方向、画角、焦点距離等は手動操縦または自動操縦によって調整される。

【0037】

飛行体１０によって撮像された撮像画像を示す撮像画像データおよび撮像期間中に測定された飛行体１０の位置を示す撮像位置データは、撮像データとして、飛行体１０から通信網２経由でサーバ装置２０に送信される（ステップＳ１３）。この撮像データは、飛行体１０の飛行中にストリームデータとしてサーバ装置２０に送信されてもよいし、飛行体１０の飛行終了後にデータファイルとしてサーバ装置２０に送信されてもよい。

【0038】

サーバ装置２０（通信部２１）においてこの撮像データが通信網２経由で取得され、サーバ装置２０（記憶部２２）により蓄積される（ステップＳ１４）。このような処理を経て、サーバ装置２０（記憶部２２）は図７に示すように、例えばファイル名等のデータ識別子と、そのデータ識別子によって識別される撮像データに含まれる撮像画像データおよび撮像位置データを記憶する。なお、撮像データは、撮像画像データおよび撮像位置データ以外に、例えば撮像に関する条件や各種のメタデータ等を含んでいてもよい。これにより、飛行体１０が飛行中に撮像した撮像画像に関する情報が全てサーバ装置２０に蓄積されることになる。

【0039】

撮像画像データは例えばフレームと呼ばれる単位データの集合であり、撮像位置データはそのフレームが撮像された位置ごとに測定されたものである。つまり、撮像画像データに含まれる各フレームに対して各撮像位置データが関連付けられた状態で記憶される。より具体的には、撮像画像データおよび撮像位置データは、撮像時期を意味するタイムスタンプによって互いに関連付けられる。つまり、或る時期を意味するタイムスタンプが付与された撮像画像データ（フレーム）が示す撮像画像は、同一のタイムスタンプが付与された撮像位置データが示す位置で撮像されたことになる。

【0040】

［撮像画像の再生に関する動作］
次に、図８を参照して、撮像画像を再生する動作について説明する。図８において、ユーザは再生したい撮像データのデータ識別子を所定のリストから選択する等の方法で任意の撮像データを指定して、サーバ装置２０が蓄積する撮像データへのアクセスを指示する操作を行う。ユーザ端末３０（操作受付部３２）はこの操作を受け付け（ステップＳ２１）、指定されたデータ識別子を含むリクエストをサーバ装置２０に送信する（ステップＳ２２）。サーバ装置２０（通信部２１）はこのリクエストを受信する。

【0041】

サーバ装置２０（表示制御部２３）は、リクエストに含まれるデータ識別子に対応する撮像データを記憶部２２から読み出し、（ステップＳ２３）、この撮像データを用いて、ユーザ端末３０における画像の表示を制御するための表示制御データを生成する（ステップＳ２４）。この表示制御データは、前述した撮像データのほか、ユーザ端末３０の出力装置３００６（表示デバイス）の表示領域における画像のレイアウトを指定するパラメータや、ユーザ端末３０の出力装置３００６（表示デバイス）においてソフトボタン等の各種ユーザインタフェースを表示するためのデータを含む。

【0042】

サーバ装置２０（表示制御部２３および通信部２１）は、生成した表示制御データを例えばストリーム形式で、通信網２を介してユーザ端末３０に送信する（ステップＳ２５）。ユーザ端末３０（表示部３１）は、表示制御データに従い、図１０に例示するような画像を出力装置３００６（表示デバイス）において表示する（ステップＳ２６）。

【0043】

図１０の例では、ユーザ端末３０の表示デバイスの全表示領域Ｄは、３つの表示領域Ｄ１，Ｄ２，Ｄ３に区分されている。なお、これら３つの表示領域Ｄ１，Ｄ２，Ｄ３の形状、大きさおよび配置は例示に過ぎず、その決め方は任意である。

【0044】

表示領域Ｄ１は、飛行体１０の位置を表示するための表示領域である。図１０の例では、表示領域Ｄ１において、例えば地図上に重ねられた状態で、飛行体１０の飛行開始または撮像開始の位置を示すアイコン画像Ｉ１（図中「Ｓ」と表記）、飛行体１０の飛行終了または撮像終了の位置を示すアイコン画像Ｉ２（図中「Ｇ」で表記）、飛行体１０の位置及び撮像方向を示す飛行体位置画像に相当するアイコン画像Ｉ３、飛行体１０の飛行中または撮像中における全軌跡を示す軌跡画像Ｒとが表示されている。撮像データの再生に伴い、飛行体１０の位置を示すアイコン画像Ｉ４は、飛行体１０の軌跡を意味する軌跡画像Ｒに沿って移動していくことになる。つまり、アイコン画像Ｉ４は、飛行体１０がどのように移動していったかということを時系列に表現することになる。

【0045】

表示領域Ｄ２は、飛行体１０によって撮像された撮像画像を表示するための表示領域である。図１０の例では、表示領域Ｄ２において、飛行体１０によって撮像された対象物（ここでは鉄塔の一部分を例示）に相当する画像Ｏｂが表示されている。このとき、飛行体１０の位置を示すアイコン画像Ｉ４の移動（つまり飛行体１０の位置の変化）に同期して、表示領域Ｄ２に表示される撮像画像も変化する。つまり、表示領域Ｄ２に表示される撮像画像は、表示領域Ｄ１に表示されるアイコン画像Ｉ４が示す位置で飛行体１０により撮像されたものである。従って、ユーザは表示領域Ｄ１および表示領域Ｄ２を見比べることにより、どの位置でどのような画像が撮像されたかを認識することができる。

【0046】

表示領域Ｄ３は、ユーザによって入力される入力情報を表示するための表示領域である。図１０の例では、入力情報が入力されていないから、表示領域Ｄ３においても入力情報として何も表示されていない。

【0047】

図８の説明に戻り、ユーザが表示領域Ｄ２に表示された或る撮像画像を見たときに、ユーザ端末３０を操作して任意の入力情報を入力したとする。ユーザ端末３０（操作受付部３２）はこの入力操作を受け付ける（ステップＳ２７；ＹＥＳ）。これに応じて、ユーザ端末３０において、図１１に例示するように、ユーザ端末３０にログインしていたユーザの識別子（ここでは「ユーザａ」とする）と、そのユーザにより入力された入力情報（ここでは「接続パイプに破損あり」という文字列）が表示領域Ｄ３に表示される。

【0048】

そして、ユーザ端末３０は、上記のユーザの識別子および入力情報と、その入力情報が入力されたときに表示されていた撮像データに付与されているタイムスタンプとをサーバ装置２０に送信する（ステップＳ２８）。サーバ装置２０（通信部２１）は、これらを通信網２経由で取得し、記憶する（ステップＳ２９）。

【0049】

このような処理を経て、サーバ装置２０（記憶部２２）は、図９に示すように、例えばデータ識別子および撮像データ（図７）に加えて、これらに入力情報を関連付けて記憶する。撮像データに含まれる撮像画像データおよび撮像位置データと、入力情報とは、前述したタイムスタンプにより関連付けられている。つまり、或る時期を意味するタイムスタンプが付与された撮像画像データ（フレーム）が示す撮像画像は、同一のタイムスタンプが付与された撮像位置データが示す位置で撮像されたものであるし、さらに、その撮像画像に対して同一のタイムスタンプが付与された入力情報が入力されたということになる。

【0050】

なお、撮像画像データと撮像位置データとは、タイムスタンプの最小値を単位（例えば０．００１（sec））として互いに関連付けられているが、撮像画像データおよび撮像位置データと、入力情報とは、タイムスタンプの或る幅（例えば１０（sec））を単位として互いに関連付けられていてもよい。つまり、１つの入力情報は、例えば１０（sec）の時間幅で複数の撮像画像データおよび撮像位置データに関連付けられている。このようにすることで、撮像データの再生時において、１つの入力情報は１０秒間表示されることになる。

【0051】

以上のような入力情報の入力および記憶に関する処理が複数行われることで、サーバ装置２０（記憶部２２）において、撮像画像データに含まれる各フレームに対して、ユーザが入力した複数の入力情報が次々と関連付けられた状態で記憶されることになる。

【0052】

この後、ユーザが撮像データへのアクセスを指示する操作を行うと、前述した手順と同様に、ユーザ端末３０（操作受付部３２）はこの操作を受け付け（ステップＳ２１）、サーバ装置２０にリクエストを送信する（ステップＳ２２）。

【0053】

サーバ装置２０（表示制御部２３）は、指定された撮像データを記憶部２２から読み出し、（ステップＳ２３）、ユーザ端末３０における画像の表示を制御するための表示制御データを生成する（ステップＳ２４）。サーバ装置２０（表示制御部２３および通信部２１）が、生成した表示制御データをユーザ端末３０に送信すると（ステップＳ２５）、ユーザ端末３０（表示部３１）は、図１２に例示するような画像を表示する（ステップＳ２６）。

【0054】

図１２に例示するように、表示領域Ｄ１において、入力情報が関連付けられた撮像画像の撮像位置に、その入力情報が関連付けられていることを示す情報位置画像に相当するアイコン画像Ｉ６が表示される。図１２の例では、飛行体１０の軌跡画像Ｒ上の５つの撮像位置に対して、それぞれ入力情報が関連付けられている。撮像データの再生に伴い、前述したように表示領域Ｄ１におけるアイコン画像Ｉ４の移動（つまり飛行体１０の位置の変化）に同期して、表示領域Ｄ２における撮像画像が変化するが、これと同時に、表示領域Ｄ３における入力情報も変化する。具体的には、撮像データの再生に伴い、飛行体１０の位置を意味するアイコン画像Ｉ４が、入力情報が関連付けられていることを意味するアイコン画像Ｉ６と重なったタイミングで、アイコン画像Ｉ４と重なっているアイコン画像Ｉ６に対応する入力情報が表示領域Ｄ３に表示される。図１２の例では、アイコン画像Ｉ４と重なっているアイコン画像Ｉ６に対応する「接続パイプに破損あり」という文字列が表示領域Ｄ３に表示されている。

【0055】

この後、撮像データの再生に伴い、飛行体１０の位置を意味するアイコン画像Ｉ４が移動して、アイコン画像Ｉ６と重ならない状態に遷移すると、表示領域Ｄ３においてそれまで表示されていた「接続パイプに破損あり」という文字列は表示されなくなる。なお、厳密には、１つの入力情報は、前述したように１０（sec）の時間幅で複数の撮像画像データおよび撮像位置データに関連付けられているから、各入力情報は少なくとも１０秒間表示されることになる。

【0056】

このような同期表示は、前述したような撮像画像データ、撮像位置データ、および入力情報に対して関連付けられたタイムスタンプに基づいてなされる。つまり、ユーザ端末３０において、同一のタイムスタンプが付与された撮像画像データ、撮像位置データおよび入力情報に応じた表示がなされるようになっている。

【0057】

また、ユーザは表示領域Ｄ１において任意のアイコン画像Ｉ６を指定して、そのアイコン画像Ｉ６に対応する入力情報および撮像画像を表示させることもできる。具体的には、図１３に例示するように、或るアイコン画像Ｉ６に対してポインタ画像Ｐを重ねると、表示制御部２３は、そのアイコン画像Ｉ６に関連付けられている入力情報を表示領域Ｄ３に表示させ、且つ、その入力情報に関連付けられた撮像画像を表示領域Ｄ２に表示させる。より具体的には、ポインタ画像Ｐにより指定されたアイコン画像Ｉ６に対応する入力情報が表示領域Ｄ３に表示されるとともに、それと同一のタイムスタンプが付与された撮像画像データおよび撮像位置データに応じた表示が表示領域Ｄ２においてなされることになる。つまり、この同期表示は、撮像画像データ、撮像位置データ、および入力情報に対して関連付けられたタイムスタンプに基づいてなされる。

【0058】

このように、サーバ装置２０（表示制御部２３）は、ユーザ端末３０において、表示されているアイコン画像Ｉ６のいずれかが指定された場合には、指定された当該アイコン画像Ｉ６が示す位置で撮像された撮像画像と、当該アイコン画像Ｉ６が示す位置に関連付けられた入力情報とを表示させる。従って、ユーザは表示領域Ｄ１、表示領域Ｄ２および表示領域Ｄ３を見比べることにより、どの位置でどのような画像が撮像され、さらに、その撮像画像に対してどのような入力情報が入力されたかを認識することができる。

【0059】

以上説明した実施形態によれば、飛行体１０が撮像した撮像画像と、その撮像画像に対してユーザが入力した入力情報と、その入力情報が入力された撮像画像の撮像位置との関係を分かりやすくした表示を行うことができる。

【0060】

本発明は、上述した各実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の２つ以上の変形例を組み合わせて実施してもよい。
［変形例１］
サーバ装置２０の表示制御部２３は、飛行体１０の軌跡を意味する軌跡画像Ｒの表示態様を、その軌跡上の各位置に関連付けられた入力情報の内容または数に応じて変化させてもよい。図１４は、この変形例を説明する図であり、軌跡画像Ｒを拡大したものを示している。図１４に例示するように、情報位置画像に相当するアイコン画像Ｉ６ａが存在しない軌跡画像Ｒ１と、情報位置画像に相当するアイコン画像Ｉ６ａに対応する部分の軌跡画像Ｒ２と、同じく情報位置画像に相当するアイコン画像Ｉ６ｂに対応する部分の軌跡画像Ｒ３とは、それぞれ「色」という表示態様が異なっている。

【0061】

図１５はこの変形例を説明する図であり、各入力情報に関連して記憶部２２に記憶されている情報を例示したものである。ここで、アイコン画像Ｉ６ａに対応する入力情報は「ユーザｂ：塗料剥がれあり」であり、アイコン画像Ｉ６ｂに対応する入力情報は「ユーザｃ：東に傾いている、ユーザｂ：鉄骨にゆがみあり」であるとした場合、アイコン画像Ｉ６ａに対応する入力情報の数は１（つまり１人のユーザによる１つのコメント）であり、アイコン画像Ｉ６ｂに対応する入力情報の数は２（つまり２人のユーザによる２つのコメント）である。つまり、アイコン画像Ｉ６ｂに対応する入力情報の数とアイコン画像Ｉ６ａに対応する入力情報の数は異なっている。このため、図１４において、アイコン画像Ｉ６ａに対応する部分の軌跡画像Ｒ２と、アイコン画像Ｉ６ｂに対応する部分の軌跡画像Ｒ３は、その色が異なっている。このような表示は、撮像画像データ、撮像位置データ、および入力情報に対して関連付けられたタイムスタンプに基づいて実現することができる。

【0062】

また、ここで、アイコン画像Ｉ６ａに対応する入力情報「ユーザａ：塗料剥がれあり」に対してキーワードマッチングや意味解析等の周知のアルゴリズムで解析した結果が、点検や監視等の目的に鑑みれば重要レベル：低であり、アイコン画像Ｉ６ｂに対応する入力情報「ユーザｃ：東に傾いている、ユーザｂ：鉄骨にゆがみあり」に対して解析した結果が、重要レベル：高であると仮定する。つまり、アイコン画像Ｉ６ｂに対応する入力情報の内容とアイコン画像Ｉ６ａに対応する入力情報の内容は、重要レベルという指標において異なっている。このため、図１４において、アイコン画像Ｉ６ａに対応する部分の軌跡画像Ｒ２と、アイコン画像Ｉ６ｂに対応する部分の軌跡画像Ｒ３は、その色が異なっている。このような表示は、撮像画像データ、撮像位置データ、および入力情報に対して関連付けられたタイムスタンプに基づいて実現することができる。

【0063】

このように、表示制御部２３は、飛行体１０の位置の軌跡を示す軌跡画像Ｒを表示させ、軌跡上の各位置に関連付けられた入力情報の内容または数に応じて、当該軌跡を示す軌跡画像Ｒの表示態様を異ならせるようにしてもよい。このようにすることで、ユーザは軌跡画像Ｒの表示態様を見るだけで入力情報の内容または数をおおよそ把握することができ、そのうえで特に関心がある入力情報についてのみ具体的に参照することで、その詳細を知ることが可能となる。なお、軌跡画像Ｒの表示態様は、色だけでなく、その大きさや形状、或いは修飾の有無等であってもよい。

【0064】

［変形例２］
サーバ装置２０（表示制御部２３）は、情報位置画像に相当するアイコン画像Ｉ６の表示態様を、そのアイコン画像Ｉ６に関連付けられた入力情報の内容または数に応じて変化させてもよい。図１６は、この変形例を説明する図であり、軌跡画像Ｒを拡大したものを示している。図１６に例示するように、情報位置画像に相当するアイコン画像Ｉ６ａと、情報位置画像に相当するアイコン画像Ｉ６ｂはそれぞれ、「色」という表示態様が異なっている。

【0065】

ここで、図１５に例示したように、アイコン画像Ｉ６ａに対応する入力情報は「ユーザｂ：塗料剥がれあり」であり、アイコン画像Ｉ６ｂに対応する入力情報は「ユーザｃ：東に傾いている、ユーザｂ：鉄骨にゆがみあり」であるとした場合、アイコン画像Ｉ６ａに対応する入力情報の数は１であり、アイコン画像Ｉ６ｂに対応する入力情報の数は２である。つまり、アイコン画像Ｉ６ｂに対応する入力情報の数とアイコン画像Ｉ６ａに対応する入力情報の数は異なっているから、図１６において、アイコン画像Ｉ６ａに対応する部分の軌跡画像Ｒ２と、アイコン画像Ｉ６ｂに対応する部分の軌跡画像Ｒ３は、その色が異なっている。このような表示は、撮像画像データ、撮像位置データ、および入力情報に対して関連付けられたタイムスタンプに基づいて実現することができる。

【0066】

また、アイコン画像Ｉ６ａに対応する入力情報「ユーザａ：塗料剥がれあり」に対してキーワードマッチングや意味解析等の周知のアルゴリズムで解析した結果が、重要レベル：低であり、アイコン画像Ｉ６ｂに対応する入力情報「ユーザｃ：東に傾いている、ユーザｂ：鉄骨にゆがみあり」に対して解析した結果が、重要レベル：高であると仮定する。つまり、アイコン画像Ｉ６ｂに対応する入力情報の内容とアイコン画像Ｉ６ａに対応する入力情報の内容は、重要レベルという指標において異なっている。このため、図１６において、アイコン画像Ｉ６ａに対応する部分の軌跡画像Ｒ２と、アイコン画像Ｉ６ｂに対応する部分の軌跡画像Ｒ３は、その色が異なっている。このような表示は、撮像画像データ、撮像位置データ、および入力情報に対して関連付けられたタイムスタンプに基づいて実現することができる。

【0067】

このように、表示制御部２３は、情報位置画像に相当するアイコン画像Ｉ６によって示される位置に関連付けられた情報の内容または数に応じて、そのアイコン画像Ｉ６の表示態様を異ならせるようにしてもよい。このようにすることで、ユーザはアイコン画像Ｉ６の表示態様を見るだけで入力情報の内容または数をおおよそ把握することができ、そのうえで特に関心がある入力情報についてのみ具体的に参照することで、その詳細を知ることが可能となる。なお、アイコン画像Ｉ６の表示態様は、色だけでなく、その大きさや形状、或いは修飾の有無等であってもよい。

【0068】

［変形例３］
例えばユーザがユーザ端末３０において撮像画像を参照して入力情報を入力した場合に、その撮像画像中において気になる対象物（例えば点検等の対象となる設備や施設全体でもよいし、その設備や施設の一部でもよい）を見つけたときには、例えばタッチパネルとして構成された出力装置３００６（表示デバイス）の表示領域において、その対象物の周りを指先のタッチしながらその対象物を囲む等して、その対象物を指定するようにしてもよい。また、ユーザがユーザ端末３０においてマウス等の操作具を操作し、出力装置３００６（表示デバイス）に表示された対象物をポインタで囲む等して、その対象物を指定するようにしてもよい。画像中の対象物を指定する方法は、どのようなものであってもよい。このように、サーバ装置２０は、入力情報が入力された撮像画像データにおいて、上記のユーザ操作等に従って、当該入力情報の対象となる対象物を特定する対象物特定部を備える。

【0069】

そして、この操作に応じて、指定された対象物を撮像している飛行体１０の軌跡画像の区間の表示態様が変わるようにしてもよい。具体的には、サーバ装置２０は、撮像画像データにおいて特定した対象物について画像解析や画像マッチング等の周知の手法を用いて、対象物が指定された時点における撮像画像データを中心にして時間的に前後の所定期間（例えば前後５分間）の撮像画像データのうち、その対象物が含まれている撮像画像データを特定する。この場合、サーバ装置２０は、入力情報が入力された撮像画像を基準として時間的に前または後に撮像された撮像画像に、対象物が含まれているか否かを判断する判断部を備える。そして、サーバ装置２０の表示制御部２３は、飛行体１０の位置の軌跡を表す軌跡画像を表示させたときに、対象物が含まれていると判断された撮像画像データに対応する軌跡画像と、対象物が含まれていないと判断された撮像画像データに対応する軌跡画像とを識別可能に表示させる。このような表示は、撮像画像データ、撮像位置データ、および入力情報に対して関連付けられたタイムスタンプに基づいて実現することができる。

【0070】

図１７は、この変形例を説明する図であり、軌跡画像Ｒを拡大したものを示している。図１７に例示するように、情報位置画像に相当するアイコン画像Ｉ６ａが表示されており、さらに、このアイコン画像Ｉ６ａに対応する入力情報の対象となる対象物が撮像画像データに含まれる軌跡画像Ｒ２と、その対象物が撮像画像データに含まれない軌跡画像Ｒ１，Ｒ３とはそれぞれ、「色」という表示態様が異なっている。つまり、軌跡画像Ｒ２に対応する撮像画像データには、アイコン画像Ｉ６ａに対応する入力情報の対象となる対象物が必ず含まれている。このような表示を行うことにより、ユーザは軌跡画像Ｒ２に対応する撮像画像データを再生することで、気になった対象物のみを中心に参照することが可能となる。なお、軌跡画像Ｒの表示態様は、色だけでなく、その大きさや形状、或いは修飾の有無等であってもよい。

【0071】

［変形例４］
図１８に例示するように、複数の入力情報の一覧を表示領域Ｄ３に表示させるようにしてもよい。そして、この場合、表示領域Ｄ３に表示された複数の入力情報のうちいずれかがユーザにより指定されると、サーバ装置２０は、指定された入力情報に関連付けられた撮像画像を表示領域Ｄ２に表示させてもよい。つまり、サーバ装置２０の表示制御部２３は、表示されている入力情報のいずれかが指定された場合には、指定された当該入力情報に対応する情報位置画像が示す位置で撮像された撮像画像を表示させるようにしてもよい。図１８では、ポインタ画像Ｐにより「ユーザａ 接続パイプに破損あり」という入力情報が指定されたときに、その入力情報に関連付けられた撮像画像が表示されている例が示されている。このような表示は、撮像画像データ、撮像位置データ、および入力情報に対して関連付けられたタイムスタンプに基づいて実現することができる。

【0072】

［変形例５］
上記実施形態では、表示領域Ｄ１，Ｄ２，Ｄ３が区分されていたが、これらのうちいずれか２つ以上の表示領域を重ねて配置してもよい。サーバ装置２０の表示制御部２３は、例えば図１９に例示するように、出力装置３００６（表示デバイス）の表示領域Ｄのほぼ全域を表示領域Ｄ５とし、その表示領域Ｄ５に入力情報を表示させ、さらに表示領域Ｄ５の背景を示す画像として、その入力情報が入力された撮像画像（つまりその入力情報に関連付けられた撮像画像）を表示させてもよい。また、図１９に例示するように、軌跡画像Ｒおよびアイコン画像Ｉ６を表示する表示領域Ｄ４は、表示領域Ｄの一部に設けてもよい。

【0073】

さらに、表示制御部２３は、このような図１９に例示した表示を行う第１の表示モードと、図１３等に例示した表示を行う第２の表示モードとを、条件に応じて切り替えてもよい。この条件は、例えばユーザによる表示モード切替操作があったときに第１の表示モードと第２の表示モードとを相互に切り替える、というユーザ操作に関する条件であってもよい。

【0074】

また、この条件は、情報位置画像に相当するアイコン画像Ｉ６よって示される位置に関連付けられた入力情報の内容または数に関する条件であってもよい。入力情報の内容に関する条件とは、例えば図１５に例示したように入力情報の内容として、重要レベルが閾値レベル以上であれば第１の表示モードに切り替え、重要レベルが閾値レベル未満であれば第２の表示モードに切り替えるといった例が考えられる。また、入力情報の数に関する条件とは、例えば図１５に例示したように入力情報の数が閾値以上であれば第１の表示モードに切り替え、入力情報の数が閾値未満であれば第２の表示モードに切り替えるといった例が考えられる。

【0075】

このように、表示制御部２３は、入力情報が表示される表示領域の背景を示す画像として、当該情報が入力された撮像画像を表示する第１の表示モードと、情報の表示領域と当該情報が入力された撮像画像の表示領域とを分けて表示させる第２の表示モードとを、条件に応じて切り替えるようにしてもよい。

【0076】

［変形例６］
本発明に係る情報処理装置は、上記実施形態のようにサーバ装置２０に実装されていてもよいし、ユーザ端末３０または飛行体１０に実装されていてもよいし、その他の装置に実装されていてもよい。

【0077】

本発明は、本開示の一実施の形態におけるサーバ装置２０が実行する方法、つまり、飛行体によって撮像された撮像画像に対してユーザが入力した情報を、当該撮像画像が撮像された位置に関連付けて記憶するステップと、表示装置において、飛行体の位置を示す飛行体位置画像および情報が関連付けられている位置を示す情報位置画像を表示させ、さらに、飛行体位置画像によって示される飛行体の位置の変化に同期して、飛行体によって撮像された撮像画像および当該撮像画像に対してユーザにより入力された情報を表示させるステップとを備える情報処理方法であってもよい。

【0078】

また、本発明は、本開示の一実施の形態におけるサーバ装置２０の機能を実現するためのプログラム、つまり、コンピュータに、飛行体によって撮像された撮像画像に対してユーザが入力した情報を、当該撮像画像が撮像された位置に関連付けて記憶するステップと、表示装置において、飛行体の位置を示す飛行体位置画像および情報が関連付けられている位置を示す情報位置画像を表示させ、さらに、飛行体位置画像によって示される飛行体の位置の変化に同期して、飛行体によって撮像された撮像画像および当該撮像画像に対してユーザにより入力された情報を表示させるステップとを実行させるためのプログラムであってもよい。

【0079】

［その他の変形例］
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェアおよびソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的または論理的に結合した１つの装置を用いて実現されてもよいし、物理的または論理的に分離した２つ以上の装置を直接的または間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置または上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

【0080】

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信制御部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

【0081】

本開示において説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ（4th generation mobile communication system）、５Ｇ（5th generation mobile communication system）、ＦＲＡ（Future Radio Access）、ＮＲ（new Radio）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ（登録商標））、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステムおよびこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥおよびＬＴＥ－Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。

【0082】

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0083】

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0084】

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0085】

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨および範囲を逸脱することなく修正および変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

【0086】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）および無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、これらの有線技術および無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0087】

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、またはこれらの任意の組み合わせによって表されてもよい。なお、本開示において説明した用語および本開示の理解に必要な用語については、同一のまたは類似する意味を有する用語と置き換えてもよい。

【0088】

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

【0089】

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0090】

本開示において使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量または順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみが採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0091】

上記の各装置の構成における「部」を、「手段」、「回路」、「デバイス」等に置き換えてもよい。

【0092】

本開示において、「含む（include）」、「含んでいる（including）」およびそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

【0093】

本開示において、例えば、英語でのa, anおよびtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0094】

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

【符号の説明】

【0095】

１…飛行システム、２…通信網、１０…飛行体、１１…撮像部、１２…測位部、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…飛行装置、１００８…センサ、１００９…測位装置、２０…サーバ装置、２１…通信部、２２…記憶部、２３…表示制御部、２００１…プロセッサ、２００２…メモリ、２００３…ストレージ、２００４…通信装置、２００５…入力装置、２００６…出力装置、３０…ユーザ端末、３１…表示部、３２…操作受付部、３００１…プロセッサ、３００２…メモリ、３００３…ストレージ、３００４…通信装置、３００５…入力装置、３００６…出力装置、Ｄ，Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５…表示領域、Ｉ１，Ｉ２，Ｉ４，Ｉ６，Ｉ６ａ，Ｉ６ｂ…アイコン画像、Ｐ…ポインタ画像、Ｒ，Ｒ１，Ｒ２，Ｒ３…軌跡画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】