特開 2024-125455 撮像支援システム、撮像支援プログラム、撮像支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024125455

(43)【公開日】2024-09-19

(54)【発明の名称】撮像支援システム、撮像支援プログラム、撮像支援方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240911BHJP

   H04N 23/63 20230101ALI20240911BHJP

【ＦＩ】

H04N23/60 100

H04N23/63 310

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023033284

(22)【出願日】2023-03-06

【新規性喪失の例外の表示】新規性喪失の例外適用申請有り

(71)【出願人】

【識別番号】517436062

【氏名又は名称】株式会社ＦＬＩＧＨＴＳ

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人

(72)【発明者】

【氏名】峠下 周平

(72)【発明者】

【氏名】渡邊 悠

(72)【発明者】

【氏名】伊東 三友紀

(72)【発明者】

【氏名】栗原 隆幸

(72)【発明者】

【氏名】有持 雄司

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122EA42

5C122EA63

5C122FD03

5C122FK28

5C122FK37

5C122FK41

5C122GA34

5C122HA75

5C122HB01

5C122HB05

(57)【要約】

【課題】飛行体による対象物の撮影を支援するシステムを提供すること。
【解決手段】本発明は、観測面の画像を撮像するカメラを備える飛行装置と、端末とを有する撮像支援システムであって、前記端末は、前記カメラが取得した前記画像を前記端末が備える表示部に表示する画像表示部と、前記飛行装置が備える複数の距離センサが取得した、観測面とそれぞれの前記距離センサの間の距離を、前記表示部に表示する距離表示部と、複数の前記距離が所定の関係にある場合に、所定の表示をする報知部と、を備えることを特徴とする、撮像支援システムである。
【選択図】図１

【特許請求の範囲】

【請求項1】

観測面の画像を撮像するカメラを備える飛行装置と、端末とを有する撮像支援システムであって、
前記端末は、
前記カメラが取得した前記画像を前記端末が備える表示部に表示する画像表示部と、
前記飛行装置が備える複数の距離センサが取得した、観測面とそれぞれの前記距離センサの間の距離を、前記表示部に表示する距離表示部と、
複数の前記距離が所定の関係にある場合に、所定の表示をする報知部と、
を備えることを特徴とする、撮像支援システム。

【請求項2】

前記画像を撮像した時点の前記距離の情報を、前記画像と紐づけて記憶する画像記憶部と、
を更に備えることを特徴とする、請求項１に記載の撮像支援システム。

【請求項3】

前記報知部は、前記観測面と、少なくとも２つの前記距離センサのそれぞれと、の距離の差が、所定の範囲の差である場合に、所定の報知をすること、
を特徴とする、請求項１または２に記載の撮像支援システム。

【請求項4】

前期距離センサが測定する前期観測面の位置を変更する測定位置変更部と、
を更に備えることを特徴とする、請求項３に記載の撮像支援システム。

【請求項5】

前記距離表示部は、前記画像表示部が表示する前記画像に重畳して前記距離を表示すること、
を特徴とする、請求項４に記載の撮像支援システム。

【請求項6】

観測面の画像を撮像するカメラを備える飛行装置と、端末とを有する撮像支援プログラムであって、
プロセッサに、
前記カメラが取得した前記画像を前記端末が備える表示部に表示する画像表示ステップと、
前記飛行装置が備える複数の距離センサが取得した、観測面とそれぞれの前記距離センサの間の距離を、前記表示部に表示する距離表示ステップと、
複数の前記距離が所定の関係にある場合に、所定の表示をする報知ステップと、
を実行させる、撮像支援プログラム

【請求項7】

観測面の画像を撮像するカメラを備える飛行装置と、端末とを有する撮像支援方法であって、
プロセッサが、
前記カメラが取得した前記画像を前記端末が備える表示部に表示する画像表示ステップと、
前記飛行装置が備える複数の距離センサが取得した、観測面とそれぞれの前記距離センサの間の距離を、前記表示部に表示する距離表示ステップと、
複数の前記距離が所定の関係にある場合に、所定の表示をする報知ステップと、
を実行する、撮像支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は撮像支援システム、撮像支援プログラム、撮像支援方法に関する。

【背景技術】

【0002】

近年、構造物の点検を、ドローン等の飛行体を用いて実施する方法が提案されている。

【0003】

特許文献１には、点検対象物を撮像するドローンの発明が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許公報６６２５２４８号

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した技術は、対象物を自動撮影するドローン機体の発明であり、このような専用のドローンは高価になりがちである。すでに保有しているドローン機体の機能をもとに、ソフトウェア側での撮影支援機能により、より安価に精度の高い撮影をすることが求められている。

【0006】

そこで、本発明は、飛行体による対象物の撮影を支援するシステムを提供することを一つの目的とする。

【課題を解決するための手段】

【0007】

本発明によれば、観測面の画像を撮像するカメラを備える飛行装置と、端末とを有する撮像支援システムであって、前記端末は、前記カメラが取得した前記画像を前記端末が備える表示部に表示する画像表示部と、前記飛行装置が備える複数の距離センサが取得した、観測面とそれぞれの前記距離センサの間の距離を、前記表示部に表示する距離表示部と、複数の前記距離が所定の関係にある場合に、所定の表示をする報知部と、を備えることを特徴とする、撮像支援システム、が得られる。

【発明の効果】

【0008】

本発明によれば、飛行体による対象物の撮影を支援することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施の形態によるシステムの構成例を示す図である。

【図2】飛行装置３の正面図である。

【図3】飛行装置３の平面図である。

【図4】飛行装置３のハードウェア構成例を示す図である。

【図5】距離センサ３９を用いた距離測定の方法を説明する図である。

【図6】距離センサ３９を用いた距離測定の方法を説明する他の図である。

【図7】飛行装置３のソフトウェア構成例を示す図である。

【図8】ユーザ端末１のハードウェア構成例を示す図である。

【図9】ユーザ端末１のソフトウェア構成例を示す図である。

【図10】画面表示部、距離表示部により表示される画面例を示す図である。

【図11】本実施形態に係る代表的な処理の例を示す図である。

【発明を実施するための形態】

【0010】

本発明の実施形態の内容を列記して説明する。本発明は、以下のような構成を備える。
［項目１］
観測面の画像を撮像するカメラを備える飛行装置と、端末とを有する撮像支援システムであって、
前記端末は、
前記カメラが取得した前記画像を前記端末が備える表示部に表示する画像表示部と、
前記飛行装置が備える複数の距離センサが取得した、観測面とそれぞれの前記距離センサの間の距離を、前記表示部に表示する距離表示部と、
複数の前記距離が所定の関係にある場合に、所定の表示をする報知部と、
を備えることを特徴とする、撮像支援システム。
［項目２］
前記画像を撮像した時点の前記距離の情報を、前記画像と紐づけて記憶する画像記憶部と、
を更に備えることを特徴とする、項目１に記載の撮像支援システム。
［項目３］
前記報知部は、前記観測面と、少なくとも２つの前記距離センサのそれぞれと、の距離の差が、所定の範囲の差である場合に、所定の報知をすること、
を特徴とする、項目１または２に記載の撮像支援システム。
［項目４］
前期距離センサが測定する前期観測面の位置を変更する測定位置変更部と、
を更に備えることを特徴とする、項目３に記載の撮像支援システム。
［項目５］
前記距離表示部は、前記画像表示部が表示する前記画像に重畳して前記距離を表示すること、
を特徴とする、項目４に記載の撮像支援システム。
［項目６］
観測面の画像を撮像するカメラを備える飛行装置と、端末とを有する撮像支援プログラムであって、
プロセッサに、
前記カメラが取得した前記画像を前記端末が備える表示部に表示する画像表示ステップと、
前記飛行装置が備える複数の距離センサが取得した、観測面とそれぞれの前記距離センサの間の距離を、前記表示部に表示する距離表示ステップと、
複数の前記距離が所定の関係にある場合に、所定の表示をする報知ステップと、
を実行させる、撮像支援プログラム
［項目７］
観測面の画像を撮像するカメラを備える飛行装置と、端末とを有する撮像支援方法であって、
プロセッサが、
前記カメラが取得した前記画像を前記端末が備える表示部に表示する画像表示ステップと、
前記飛行装置が備える複数の距離センサが取得した、観測面とそれぞれの前記距離センサの間の距離を、前記表示部に表示する距離表示ステップと、
複数の前記距離が所定の関係にある場合に、所定の表示をする報知ステップと、
を実行する、撮像支援方法。

【0011】

＜実施の形態の詳細＞
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0012】

＜概要＞
図１は、本発明の一実施形態に係る撮像支援システムの全体構成例を示す図である。本実施形態の発明支援システムは、ユーザ端末１と飛行装置３を含んで構成される。ユーザ端末１は、飛行装置３と、通信ネットワーク２を介して通信可能に接続される。通信ネットワーク２は、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット（登録商標）などにより構築される。

【0013】

＜ハードウェア構成＞
本実施の形態によるユーザ端末１と、飛行装置３と、は以下のようなハードウェア構成を有する。なお、以下の構成は一例であり、これ以外の構成を有していても良い。

【0014】

＜飛行装置３＞
先に飛行装置３に関して説明を行う。図１に示されるように、飛行装置３は、ユーザ端末１と通信を介して情報処理を実行することにより、撮像支援システムの一部を構成する。飛行装置３は、例えば空中に一定時間ホバリングする機能を有する飛行体であればよく、マルチコプタ、ティルトロータ、垂直離着陸機等であってもよいがこれらに限定されない。本開示においては、マルチコプタの例を記載する。

【0015】

飛行装置３の一例を図２、図３に示す。なお、飛行装置３は、マルチコプタの既存の装置と、飛行制御の実装を用いればよいため、以下の例に限らない。飛行装置３は、機体３１と、機体３１の下部に搭載したバッテリ３２と、機体３１の斜め前後方向に略水平に突出する４本の腕３３の先端付近に搭載され、バッテリ３２により駆動される４個の飛行モータ３４と、飛行モータ３４により回転駆動されてそれぞれ推力を生ずる４つのピッチロータ３５と、４本の腕３３にそれぞれ２個ずつ搭載されてバッテリ３２により駆動され４つのピッチロータ３５のピッチをそれぞれ変化させる４個のサーボモータ３６と、を備える。

【0016】

飛行モータ３４によりピッチロータ３５の回転速度を変化させ、またサーボモータ３６によりピッチロータ３５のピッチをそれぞれ変化させることで、機体３１に加わる推力の大きさ、方向および機体３１の向きを変化させ、浮上、飛行およびホバリングすることができる。

【0017】

飛行装置３は、機体３１の中央部に、飛行制御用の３軸加速度センサと３軸ジャイロセンサとを持つ機体情報取得手段としての慣性計測ユニット（ＩＭＵ）と、ＧＰＳと、通常のマイクロコンピュータを持つフライトコントローラ（ＦＣ）と、無線通信ユニットと、電源管理ユニット（ＰＭＵ）とを有する、飛行制御手段としての制御装置３７を搭載する。

【0018】

制御装置３７のフライトコントローラが、バッテリ３２からの電源管理ユニットを介する給電により、慣性計測ユニットおよびＧＰＳから得られる機体３１の加速度、姿勢および位置情報に基づいて機体３１の位置および姿勢を安定させる制御を行って、飛行装置３の浮上、飛行および空中静止を補助する。制御装置３７の補助により、飛行装置３は、例えば通常のデジタルプロポーショナル型の操縦装置から制御装置３７の無線通信ユニットを介してフライトコントローラに制御指令を与えることで、操縦装置の手動操作によって比較的容易かつ安全に遠隔操縦することができる。

【0019】

なお、本実施例において飛行装置３が備える制御装置３７は、飛行制御に加えて、以下に記載する撮像支援に係る制御を併せて行ってもよい。撮像支援に係る制御を行う制御装置が別途飛行装置３に備わっていてもよいが、以下に制御装置３７が撮像支援を行う実施例を記載する。

【0020】

図４に一例を示すように、制御装置３７は、プロセッサ３０１、メモリ３０２、記憶装置３０３、通信インタフェース３０４、入力装置１０５、出力装置１０６を備える。記憶装置３０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース３０４は、通信ネットワーク２に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置３０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置３０６は、データを出力する、例えばディスプレイ（表示部）やプリンタ、スピーカなどである。なお、後述する制御装置３７の各処理部はプロセッサ３０１が記憶装置＃０３に記憶されているプログラムをメモリ３０２に読み出して実行することにより実現され、制御装置３７の各記憶部はメモリ３０２及び記憶装置３０３が提供する記憶領域の一部として実現される。

【0021】

飛行装置３は、さらに、図２、図３に一例を示すように、カメラ３８、距離センサ３９と、を備える。

【0022】

カメラ３８は、一般的なカメラであればよく、画像、映像を取得する。カメラ３８は、制御装置３７により撮像の指示を受け、撮像を行う。

【0023】

距離センサ３９は、距離センサと撮像の対象物間の距離を測定する。距離センサ３９は、例えば既存のカメラ（ビジョンセンサ）、超音波、電磁波、レーザ光等を用いるものであってよく、測定方法も既存の実装を用いればよい。

【0024】

距離センサ３９は、一例として、カメラ３８の光軸を中心として、およそ対象の位置（図５の３９ａ、３９ｂ）に配されていればよい。

【0025】

距離センサ３９（超音波式の例を示す）を用いた距離測定の方法の例を図５に記す。飛行装置３は、離間した少なくとも２ヶ所に距離センサ３９を備える。また、距離センサ３９は、超音波を発信する送波器と、超音波を受信する受波器を備える。各距離センサ３９は、対象物の垂直面ＯＢに向けて、当該送波器から超音波ＵＳを発信し、その超音波が垂直面ＯＢで反射した反射波を当該受波器で受信する。距離センサ３９は、超音波ＵＳの発信から受信までの時間と音速とに基づき、距離センサ３９から垂直面ＯＢまでの距離を継続的に測定し、その距離センサ３９から垂直面ＯＢまでの距離を示す信号を、制御装置３７の、後述する距離情報取得部３１２に供給する。なお、各距離センサ３９は、飛行装置３において、カメラ３８の光軸の方向（図中点線矢印で示す）の対象物までの距離を測定できるように配される。

【0026】

距離センサ３９は、超音波を発信する角度を変更してもよい。少なくとも一つの距離センサ３９の正面方向に対象物が存在しない場合や任意のタイミングで、例えば、図６に例を示すように、対象物の端部を撮像する場合に、超音波を発信する角度を変更する。この場合、カメラの光軸の方向（図６に点線で示す）と平行な線を距離センサ３９から垂直面ＯＢに対して引いた場合（図６に２点鎖線で示す）に、距離センサ３９が超音波を発信する角度（θ１、θ２）が所定の差以内になるように、超音波を発信する角度を変更すればよい。

【0027】

距離センサ３９はカメラ（ビジョンセンサ）を用いてもよい。距離センサ３９は、ＴＯＦ方式、ステレオカメラを用いた三角測量の原理、ストラクチャードライトを用いた歪みの測定などの原理で深度を測定すればよいが、これらの方法に限定されない。また、この場合、カメラ３８が距離センサ３９を兼ねていてもよい。なお、カメラを用いて距離を測定する場合にも、任意のタイミングで対象物における距離を測定する位置を変更してもよい。その場合には、例えば図６において距離センサ３９ａが距離を測定する位置が点ｂであった場合、カメラ３８の光軸が対象物と交差する点ａから点ｂまでの距離Ａと、距離センサ３９ｂが距離を測定する点ｂと点ａの距離Ｂが、所定の関係になるように、点ｃが指定されればよい。なお、距離Ａと距離Ｂの差が所定の値以内、例えば、０ｃｍ、０．５ｃｍ以内、１ｃｍ以内、３ｃｍ以内、５ｃｍ以内の場合などに、距離Ａと距離Ｂが所定の関係であるとすればよい。

【0028】

なお、距離センサ３９は、機体３１の前後、左右、上下の６方向に対して距離を取得し、制御装置３７を通じて、例えば、飛行モータ３４によりピッチロータ３５の回転速度を変化させ、またサーボモータ３６によりピッチロータ３５のピッチをそれぞれ変化させることで、衝突防止のために当該距離情報を用いてもよい。また、上下方向の距離情報を取得する複数のビジョンセンサにより取得した距離情報をもとに、機体３１の上下方向に光軸を向けたカメラを用いて撮像した画像情報をもとに、

【0029】

図７は、制御装置３７の、撮像支援に係る機能構成を示すブロック図である。図６に示すように、制御装置３７は、撮像部３１１と、距離情報取得部３１２と、送信部３１３と、撮像指示取得部３１４と、画像記憶部３３１と、距離情報記憶部３３２と、を含んで構成される。

【0030】

撮像部３１１は、カメラ３８により画像、映像を取得する。撮像部３１１は、制御装置３７が起動後に指示によらず撮像を行ってもよいし、撮像指示取得部３１４がユーザ端末１から撮像の指示を取得した場合に撮像を行ってもよい。なお、撮像部３１１は、対象物の映像をユーザ端末１に送信している間に、後述する撮像指示取得部３１４がユーザ端末１から撮像の支持を取得した場合に、画像を取得してもよいし、撮像指示を取得したタイミングに相当する撮像中の映像のフレームを画像として取得してもよい。撮像部３１１は、取得した画像、映像を画像記憶部３３１に記憶する。なお、撮像部３１１は、取得した画像、映像と、後述する距離情報を紐づけて記憶してもよい。

【0031】

距離情報取得部３１２は、距離センサ３９により、距離センサ３９と対象物の垂直面との距離を取得する。距離測定の方法は前述した方法による。距離情報取得部３１２は、距離情報記憶部３３２に、当該距離の情報を記憶する。

【0032】

送信部３１３は、ユーザ端末１に、撮像部３１１が撮像した映像と、距離情報取得部３１２が取得した距離情報を送信する。

【0033】

撮像指示取得部３１４は、ユーザ端末１より、撮像の指示を取得する。撮像部３１１は、撮像指示取得部３１４が当該指示を取得した場合に、上述したようにその時点の対象物の画像を取得する。

【0034】

＜ユーザ端末１＞
図１に示されるように、ユーザ端末１は、飛行装置３と、通信を介して情報処理を実行することにより、撮像支援システムの一部を構成する。ユーザ端末１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータであってもよいし、スマートフォン、タブレット等の携帯通信機器等であってもよい。

【0035】

図８に一例を示すように、ユーザ端末１は、プロセッサ１０１、メモリ１０２、記憶装置１０３、通信インタフェース１０４、入力装置１０５、出力装置１０６を備える。記憶装置１０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース１０４は、通信ネットワーク２に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置１０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置１０６は、データを出力する、例えばディスプレイ（表示部）やプリンタ、スピーカなどである。なお、後述するユーザ端末１の各処理部はプロセッサ１０１が記憶装置１０３に記憶されているプログラムをメモリ１０２に読み出して実行することにより実現され、ユーザ端末１の各記憶部はメモリ１０２及び記憶装置１０３が提供する記憶領域の一部として実現される。

【0036】

図９は、ユーザ端末１の機能構成を示すブロック図である。ユーザ端末１は、画像取得部１１１と、距離情報取得部１１２と、画像表示部１１３と、距離表示部１１４と、報知部１１５と、指示情報送信部１１６と、測定位置変更部１１７と、の各処理部と、画像記憶部３３１、距離情報記憶部３３２と、の各記憶部と、を備える。

【0037】

画像取得部１１１は、一例として、飛行装置３が取得し、送信した画像を取得する。画像取得部１１１は、取得した画像を画像記憶部１３１に記憶する。なお、画像記憶部１３１は、後述する距離情報取得部１１２が取得した距離情報を、画像と関連付けて記憶してもよい。

【0038】

距離情報取得部１１２は、一例として、飛行装置３が取得し、送信した距離情報を取得する。距離情報取得部１１２は、取得した距離情報を距離情報記憶部１３２に記憶する。

【0039】

画像表示部１１３は、一例として、ユーザ端末１が備える表示部に、画像取得部１１１が取得した画像を表示する。

【0040】

距離表示部１１４は、一例として、ユーザ端末１が備える表示部に、距離情報取得部１１２が取得した距離情報を表示する。

【0041】

画像表示部１１３がユーザ端末１に表示する画像の例を、図１０に示す（画面４１）。画像表示部１１３は、飛行装置３が取得した画像（４１１）をユーザ端末１に提示する。当該画像と、距離表示部１１４がユーザ端末１に表示する距離情報（４１２ａ、４１２ｂ）は、図１０のように重畳して表示してもよい。

【0042】

画面４１には、距離センサ３９が距離を取得した対象物上の位置を示す印（４１３ａ、４１３ｂ）を表示してもよい。位置４１３ａに対応する距離が４１２ａであり、位置４１３ｂに対応する距離が４１２ｂである。画面４１は一例であるので、対象物上の位置は２か所以上あってもよい。

【0043】

画像表示部１１３は、図１０に一例を示すように、ユーザから撮像の指示を取得するボタン等（４１３）を、ユーザ端末１に表示してもよい。

【0044】

報知部１１５は、飛行装置３が同時点に異なる距離センサ３９から取得し、ユーザ端末１に送信した、複数の距離情報が所定の関係の場合に、画面の一部または全体に、撮像のタイミングとして適していることを報知する。報知の方法としては、ユーザ端末１の画面にて強調表示を行ったり、ユーザ端末１から所定の音声を発したり、ユーザ端末１を振動させたりしてもよいが、これらに限定されない。報知部は、一例として、図１０の４１３の撮像指示を入力するボタンの色を変更してもよい。

【0045】

報知部１１５は、例えば、複数の距離センサ３９から、同時点に取得した距離の差が所定の値以内、例えば、１ｃｍ以内、３ｃｍ以内、５ｃｍ以内、１０ｃｍ以内の場合などに、ユーザ端末１の画面に強調表示をすればよい。強調表示としては、前記ボタンの色の変更や、点滅、拡大、拡大縮小の繰り返しなどであって良いが、これらに限定されない。

【0046】

報知部１１５は、例えば、図１０の４１４に示すように、対象物と飛行装置３の正対の度合いを示すことで報知をしてもよい。図１０の４１４は、例えば５つのゾーンからなり、右から２番目のゾーンに色を付けるなどして強調表示されている。これは、４１３ａと対応する距離センサ間の距離が１．８ｍ（４１２ａ）で、４１３ｂと対応する距離センサ間の距離が１．７５ｍ（４１２ｂ）であるので、４１３ｂに比べて４１３ａ側が対象物から離れていること、さらに離れている程度は少しであることを示している。報知部１１５が、４１４の真ん中のゾーンに色を付けるなどして強調表示するときは、対象物と飛行装置３がほぼ正対していると言える程度の差しか、４１３ａと対応する距離センサ間の距離と４１３ｂと対応する距離センサ間の距離との間にないことを示す。

【0047】

報知部１１５は、例えば、複数の距離センサ３９から、同時点に取得した距離の差が所定の値以内、例えば、１ｃｍ以内、３ｃｍ以内、５ｃｍ以内、１０ｃｍ以内の場合などに、ユーザ端末１の画面に強調表示をすればよい。強調表示としては、前記ボタンの色の変更（４１３）や、点滅、拡大、拡大縮小の繰り返しなどであって良いが、これらに限定されない。

【0048】

指示情報送信部１１６は、ユーザから撮像指示の情報を取得し、飛行装置３に送信する。指示情報送信部１１６は、画像表示部１１３がユーザ端末１に提示した、ユーザから撮像の指示を取得するボタン等を、ユーザがタップした場合などに、飛行装置３に撮像の指示を送信すればよい。

【0049】

測定位置変更部１１７は、距離センサ３９が測定する前期観測面の位置を変更する。具体的には、距離センサ３９が超音波を発信する角度を、前述した方法で変更する。測定位置変更部１１７は、画像取得部１１１が取得した画像を解析し、画面の所定の位置に観測対象がない場合に、測定位置を変更してもよい。また、測定位置変更部１１７は、複数の距離センサ３９が超音波を発信して受波器が受信するまでの時間を測定し、それぞれの時間が所定の時間以上離れている場合に、測定位置を変更してもよい。また、測定位置変更部１１７は、例えば図１０に示す４１３ａ、４１３ｂをユーザがタップ可能にユーザ端末１上に提示し、ユーザの操作により画面上の任意の位置に測定位置を変更した場合に、測定位置を変更してもよい。この場合、測定位置変更部１１７は、例えばユーザが４１３ａの位置を左側に１０ｃｍずらした場合、４１３ｂを自動的に右側に１０ｃｍずらすなどの処理を行ってもよい。

【0050】

図１１を用いて、本実施形態の代表的な処理の流れを説明する。飛行装置３の撮像部３１１が撮像する（３００１）。距離情報取得部３１２が距離情報を取得する（３００２）。送信部３１３は、画像と距離情報をユーザ端末１に送信する（３００３）。ユーザ端末１が備える画像取得部１１１が画像を、距離情報取得部１１２が距離情報を取得する（１００１）。画像表示部１１３と距離表示部１１４が画像と距離情報をユーザ端末１に表示する（１００２）。報知部１１５は、距離情報が所定の関係の場合に、撮影のタイミングであることを報知する（１００３）。指示情報送信部１１６が、ユーザ端末１を通じてユーザから撮像の指示を取得し、飛行装置３に送信する（１００４）。撮像指示取得部３１４がユーザ端末１から撮影の指示を受けた場合に、撮像部３１１が画像を撮像する。（３００４）。距離情報取得部３１２が、撮像部３１１が画像を撮像した時点の距離情報を取得する（３００５）。送信部３１３が画像と距離情報をユーザ端末１に送信する（３００６）。画像取得部１１１と距離情報取得部１１２が画像と距離情報を取得する（１００５）。画像取得部１１１と距離情報取得部１１２が画像と距離情報を紐づけてユーザ端末１に記憶する（１００６）。

【0051】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。また、本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0052】

本明細書において説明した装置は、一部または全部がネットワークで接続された複数の装置（例えばクラウドサーバ）等により実現されてもよい。例えば、ユーザ端末１のプロセッサおよび記憶装置は、互いにネットワークで接続された異なるサーバにより実現されてもよい。

【0053】

本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、およびソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係るユーザ端末１の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

【0054】

また、本明細書において説明した処理は、必ずしも説明した順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

【0055】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【符号の説明】

【0056】

１ ユーザ端末
２ ネットワーク
３ 飛行装置
３１ 機体
３２ バッテリ
３３ 腕
３４ 飛行モータ
３５ ピッチロータ
３６ サーボモータ
３７ 制御装置
３８ カメラ
３９ 距離センサ
１０１ プロセッサ
１０２ メモリ
１０３ 記憶装置
１０４ 通信インタフェース
１０５ 入力装置
１０６ 出力装置
１１１ 画像取得部
１１２ 距離情報取得部
１１３ 画像表示部
１１４ 距離表示部
１１５ 報知部
１１６ 指示情報送信部
１１７ 測定位置変更部
１３１ 画像記憶部
１３２ 距離情報記憶部
３０１ プロセッサ
３０２ メモリ
３０３ 記憶装置
３０４ 通信インタフェース
３０５ 入力装置
３１１ 撮像部
３１２ 距離情報取得部
３１３ 送信部
３１４ 撮像指示取得部
３３１ 画像記憶部
３３２ 距離情報記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】