特許 7082351 飛行制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-31

(45)【発行日】2022-06-08

(54)【発明の名称】飛行制御システム

(51)【国際特許分類】

   G05D 1/00 20060101AFI20220601BHJP

【ＦＩ】

G05D1/00 B

【請求項の数】 8

(21)【出願番号】P 2019219760

(22)【出願日】2019-12-04

(65)【公開番号】P2021089588

(43)【公開日】2021-06-10

【審査請求日】2020-02-10

(73)【特許権者】

【識別番号】517207934

【氏名又は名称】テックファーム株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】遠藤 徳之

(72)【発明者】

【氏名】大和 義博

(72)【発明者】

【氏名】岩村 隆司

【審査官】稲垣 浩司

(56)【参考文献】

【文献】特開２００２－２１１４９４（ＪＰ，Ａ）

【文献】国際公開第２０１９／１６８０４２（ＷＯ，Ａ１）

【文献】特開２０１８－３４５１６（ＪＰ，Ａ）

【文献】特開２０１８－１７３９９２（ＪＰ，Ａ）

【文献】特表２０１８－５１５８３８（ＪＰ，Ａ）

【文献】特開２０１８－１２１２６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／００ － １／１２

(57)【特許請求の範囲】

【請求項1】

無人飛行装置の操作を行うための操作装置と、前記操作装置を介して前記無人飛行装置の操作をするために用いられる操作情報を作成する操作情報作成装置と、を備え、
前記操作情報作成装置は、
前記無人飛行装置が飛行中の位置の周辺の状態を示す周辺画像情報を取得する情報取得部と、
前記周辺画像情報に基づく周辺画像を表示部に表示させる表示制御部と、
前記操作情報作成装置の操作者の指又は手の三次元空間における動きを特定する動き特定部と、
前記周辺画像が前記表示部に表示されている間に前記動き特定部が検出した前記指又は手の動きに基づいて、前記無人飛行装置を動作させるための操作情報を作成する操作情報作成部と、
前記操作情報を前記操作装置に送信する操作情報送信部と、
を有し、
前記操作装置は、
前記操作情報作成装置から前記操作情報を受信する操作情報受信部と、
前記操作情報受信部が受信した前記操作情報に基づく、前記無人飛行装置を動作させるための指示データを前記無人飛行装置に送信する指示データ送信部と、
を有する飛行制御システム。

【請求項2】

前記操作装置は、前記操作情報を受信したことを表示部に表示させる表示制御部と、
前記操作装置の使用者の操作を受け付ける操作受付部と、
をさらに有し、
前記指示データ送信部は、前記操作情報に基づいて前記無人飛行装置を動作させることを許可する操作を前記操作受付部が受け付けた場合に、前記操作情報に基づく前記指示データを前記無人飛行装置に送信する、
請求項１に記載の飛行制御システム。

【請求項3】

前記操作情報作成部は、前記指又は手の動きに基づいて前記無人飛行装置を移動させると前記無人飛行装置が許容されない動作をする場合に、前記指又は手の動きに対応する動作と異なる動作を前記無人飛行装置にさせるための前記操作情報を作成する、
請求項１又は２に記載の飛行制御システム。

【請求項4】

前記操作情報作成部は、前記指又は手の動きに基づいて前記無人飛行装置を移動させると前記無人飛行装置が障害物に衝突すると判定した場合に、前記障害物に衝突しないように前記無人飛行装置を動作させるための前記操作情報を作成する、
請求項３に記載の飛行制御システム。

【請求項5】

前記操作情報作成部は、前記指又は手の動きに基づいて前記無人飛行装置を移動させると前記無人飛行装置の速度又は加速度が許容されない範囲になる場合に、前記無人飛行装置の速度又は加速度が許容範囲になるように、前記指又は手の動きに対応する動作を補正した動作を前記無人飛行装置にさせるための前記操作情報を作成する、
請求項１から４のいずれか一項に記載の飛行制御システム。

【請求項6】

前記操作情報作成部は、前記操作者の手の状態が所定の状態になった時点の前記無人飛行装置の位置を起点として、前記動き特定部が検出した前記指又は手の動きに基づいて、前記無人飛行装置を移動させるための前記操作情報を作成する、
請求項１から５のいずれか一項に記載の飛行制御システム。

【請求項7】

前記操作情報作成装置の前記表示制御部は、前記指又は手の動きに基づいて前記周辺画像における位置を変化させる前記無人飛行装置の仮想画像を前記周辺画像に重ねて前記操作情報作成装置の前記表示部に表示させる、
請求項１から６のいずれか一項に記載の飛行制御システム。

【請求項8】

前記操作情報作成装置の前記表示制御部は、前記指の動きに対応する軌跡線を前記周辺画像に重ねて前記操作情報作成装置の前記表示部に表示させる、
請求項１から７のいずれか一項に記載の飛行制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、無人飛行装置を操作するための操作情報を作成する操作情報作成装置を含む飛行制御システムに関する。

【背景技術】

【0002】

従来、無人飛行装置を操作装置で操作する技術が知られている。特許文献１には、操作装置の三次元の位置の変化に基づいて無人飛行装置を移動させる技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１４２２９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術では、操作者が操作装置を動かすことによって無人飛行装置を操作する必要があった。操作装置を用いて無人飛行装置を操作する場合、無人飛行装置を移動させることができる範囲が、操作装置の操作可能範囲に制限されてしまう。したがって、操作者が望むように無人飛行装置を動かすことが困難であるという問題が生じていた。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、無人飛行装置の操作性を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の操作情報作成装置は、無人飛行装置の操作をするために用いられる操作情報を作成する操作情報作成装置であって、前記無人飛行装置が飛行中の位置の周辺の状態を示す周辺画像情報を取得する情報取得部と、前記周辺画像情報に基づく周辺画像を表示部に表示させる表示制御部と、前記操作情報作成装置の操作者の指又は手の三次元空間における動きを特定する動き特定部と、前記周辺画像が前記表示部に表示されている間に前記動き特定部が検出した前記指又は手の動きに基づいて、前記無人飛行装置を動作させるための操作情報を作成する操作情報作成部と、を有する。

【0007】

前記操作情報作成部は、前記指又は手の動きに基づいて前記無人飛行装置を移動させると前記無人飛行装置が許容されない動作をする場合に、前記指又は手の動きに対応する動作と異なる動作を前記無人飛行装置にさせるための前記操作情報を作成してもよい。

【0008】

前記操作情報作成部は、前記指又は手の動きに基づいて前記無人飛行装置を移動させると前記無人飛行装置が障害物に衝突すると判定した場合に、前記障害物に衝突しないように前記無人飛行装置を動作させるための前記操作情報を作成してもよい。

【0009】

前記操作情報作成部は、前記指又は手の動きに基づいて前記無人飛行装置を移動させると前記無人飛行装置の速度又は加速度が許容されない範囲になる場合に、前記無人飛行装置の速度又は加速度が許容範囲になるように、前記指又は手の動きに対応する動作を補正した動作を前記無人飛行装置にさせるための前記操作情報を作成してもよい。

【0010】

前記操作情報作成部は、前記操作者の手の状態が所定の状態になった時点の前記無人飛行装置の位置を起点として、前記動き特定部が検出した前記指又は手の動きに基づいて、前記無人飛行装置を移動させるための前記操作情報を作成してもよい。

【0011】

前記表示制御部は、前記指又は手の動きに基づいて前記周辺画像における位置を変化させる前記無人飛行装置の仮想画像を前記周辺画像に重ねて前記表示部に表示させてもよい。

【0012】

前記表示制御部は、前記指又は手の動きに対応する軌跡線を前記周辺画像に重ねて前記表示部に表示させてもよい。

【0013】

本発明の第２の態様の飛行制御システムは、無人飛行装置の操作を行うための操作装置と、前記操作装置を介して前記無人飛行装置の操作をするために用いられる操作情報を作成する操作情報作成装置と、を備える。前記操作情報作成装置は、前記無人飛行装置が飛行中の位置の周辺の状態を示す周辺画像情報を取得する情報取得部と、前記周辺画像情報に基づく周辺画像を表示部に表示させる表示制御部と、前記操作情報作成装置の操作者の指又は手の三次元空間における動きを特定する動き特定部と、前記周辺画像が前記表示部に表示されている間に前記動き特定部が検出した前記指又は手の動きに基づいて、前記無人飛行装置を動作させるための操作情報を作成する操作情報作成部と、前記操作情報を前記操作装置に送信する操作情報送信部と、を有し、前記操作装置は、前記操作情報作成装置から前記操作情報を受信する操作情報受信部と、前記操作情報受信部が受信した前記操作情報に基づく、前記無人飛行装置を動作させるための指示データを前記無人飛行装置に送信する指示データ送信部と、を有する。

【0014】

前記操作装置は、前記操作情報を受信したことを表示部に表示させる表示制御部と、前記操作装置の使用者の操作を受け付ける操作受付部と、をさらに有し、前記指示データ送信部は、前記操作情報に基づいて前記無人飛行装置を動作させることを許可する操作を前記操作受付部が受け付けた場合に、前記操作情報に基づく前記指示データを前記無人飛行装置に送信してもよい。

【発明の効果】

【0015】

本発明によれば、無人飛行装置の操作性が向上するという効果を奏する。

【図面の簡単な説明】

【0016】

【図1】飛行制御システムの概要を示す図である。

【図2】操作装置の構成を示す図である。

【図3】操作情報作成装置の構成を示す図である。

【図4】表示部に表示される無人飛行装置の周辺の画像を模式的に示す図である。

【図5】指の動きについて説明するための図である。

【図6】操作者が指を移動させた場合に表示部に表示される画面の一例を示す図である。

【図7】無人飛行装置が障害物を回避する動作を示す図である。

【図8】操作者の指の速度と無人飛行装置の速度との関係を示す図である。

【図9】指が細かく振動した場合の指の動きと無人飛行装置の動きを示す図である。

【図10】操作者が指を第１の向きと第２の向きとに順次動かした場合の無人飛行装置の動作を示す図である。

【図11】飛行制御システムにおける処理シーケンスを示す図である。

【発明を実施するための形態】

【0017】

［飛行制御システムＳの概要］
図１は、飛行制御システムＳの概要を示す図である。飛行制御システムＳは、無人飛行装置１を飛行させるためのシステムであり、無人飛行装置１と、操作装置２と、操作情報作成装置３とを備える。

【0018】

無人飛行装置１は、無人で空中を飛行する装置であり、例えばドローンである。無人飛行装置１は、操作装置２から受信した指示データが示す方向に飛行する。無人飛行装置１はカメラを備えており、飛行中に無人飛行装置１の周辺を撮影することができる。

【0019】

操作装置２は、無人飛行装置１を操作するためのデバイスであり、例えばスマートフォンである。操作装置２は、無人飛行装置１を視認しながら無人飛行装置１を操作する操作者Ｕ１により使用される。操作装置２は、例えばＷｉ－Ｆｉ（登録商標）の無線通信回線Ｗ１を介して、無人飛行装置１を動作させるための指示データを無人飛行装置１に対して送信する。

【0020】

操作情報作成装置３は、無人飛行装置１の操作をするために用いられる操作情報を作成する。操作情報作成装置３は、例えば、操作装置２を使用する操作者Ｕ１の操作を支援する操作者Ｕ２が使用するデバイスであり、操作者Ｕ２が頭部に装着して使用するゴーグル型のデバイスである。操作情報作成装置３は、操作者Ｕ２が頭部に装着した状態で操作者Ｕ２が視認可能な表示部であるディスプレイ３１と、操作者Ｕ２の指又は手（以下、「指」という場合がある）を検出するための検出デバイス３２とを有している。検出デバイス３２は、例えばカメラである。

【0021】

操作情報作成装置３のディスプレイ３１には、無人飛行装置１の周辺の状態を示す画像が表示される。操作情報作成装置３に表示される画像は、例えば、無人飛行装置１が撮像した三次元画像若しくは二次元画像、又は予め作成されたコンピュータグラフィックス画像である。操作情報作成装置３は、当該画像を表示している間の操作者Ｕの指の三次元空間内の動きを特定し、検出した指の動きに基づいて、無人飛行装置１を移動させるための操作情報を作成する。

【0022】

操作情報作成装置３は、一例として、無線通信回線Ｗ１と異なる無線通信回線Ｗ２（例えばＬＴＥ又はＷｉ－Ｆｉ）を介して、作成した操作情報を操作装置２に送信する。操作装置２は、所定の条件が満たされる場合に、操作情報作成装置３から受信した操作情報を、無人飛行装置１を動作させるための指示データとして無人飛行装置１に対して送信する。所定の条件は、例えば、操作装置２が操作情報作成装置３による操作を許可しているモードに設定されていること、操作者Ｕ１が操作装置２において無人飛行装置１を移動させる操作を行っていないこと等である。なお、操作情報作成装置３は、作成した操作情報を無人飛行装置１に直接送信してもよい。

【0023】

以上のとおり、操作情報作成装置３は、無人飛行装置１の周辺の状態を示す画像を操作者Ｕ２に提示している間に行われた操作者Ｕ２の指の動きを特定し、検出した動きに基づいて操作情報を作成する。操作情報作成装置３がこのように動作することで、操作者Ｕ２は、自分自身が無人飛行装置１であるかのように感じながら、所望のルートで無人飛行装置１を移動させることができる。

【0024】

［操作装置２の構成］
図２は、操作装置２の構成を示す図である。操作装置２は、ディスプレイ２１と、操作部２２と、通信部２３と、記憶部２４と、制御部２５とを有する。制御部２５は、情報取得部２５１と、表示制御部２５２と、操作受付部２５３と、指示データ作成部２５４とを有する。

【0025】

ディスプレイ２１は、操作者Ｕ１に通知する各種の情報を表示する表示部である。
操作部２２は、操作者Ｕ１の操作を受け付けるためのデバイスであり、例えばディスプレイ２１に重ねて設けられたタッチパネルである。

【0026】

通信部２３は、無人飛行装置１及び操作装置２との間で各種のデータを送受信するための通信インターフェースであり、例えば無線通信コントローラを有する。通信部２３は、無線通信回線Ｗ１を介して無人飛行装置１を動作させるための指示データを無人飛行装置１に送信し、無人飛行装置１から、無人飛行装置１の状態を示す状態データ及び無人飛行装置１が周辺を撮影して生成された無人飛行装置１の撮像画像データを受信する。また、通信部２３は、無線通信回線Ｗ２を介して操作情報作成装置３から送信された操作情報を受信する。

【0027】

記憶部２４は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の記憶媒体を有する。記憶部２４は、制御部２５が実行するプログラムを記憶している。また、記憶部２４は、通信部２３が受信した無人飛行装置１の周辺の画像を一時的に記憶する。

【0028】

制御部２５は、例えばＣＰＵ（Central Processing Unit）である。制御部２５は、記憶部２４に記憶されたプログラムを実行することにより、情報取得部２５１、表示制御部２５２、操作受付部２５３及び指示データ作成部２５４として機能する。

【0029】

情報取得部２５１は、通信部２３を介して、操作情報作成装置３から送信された操作情報を取得する操作情報受信部として機能する。情報取得部２５１は、操作情報を取得したことを表示制御部２５２に通知し、取得した操作情報を指示データ作成部２５４に入力する。また、情報取得部２５１は、無人飛行装置１から送信された状態データ及び撮像画像データを取得し、状態データ及び撮像画像データを表示制御部２５２に入力する。

【0030】

表示制御部２５２は、各種の情報をディスプレイ２１に表示させる。表示制御部２５２は、例えば情報取得部２５１から入力された状態データ及び撮像画像データをディスプレイ２１に表示させる。また、表示制御部２５２は、操作情報作成装置３から操作情報を取得したという通知を情報取得部２５１から受けた場合に、操作情報を取得したことをディスプレイ２１に表示させる。表示制御部２５２は、さらに、操作情報作成装置３から送信された操作情報に基づいて無人飛行装置１を動作させることを許可する操作を受け付けるための画面をディスプレイ２１に表示させる。

【0031】

操作受付部２５３は、操作部２２において操作者Ｕ１により入力された操作を受け付ける。操作受付部２５３は、例えば操作部２２から受信した座標データに基づいてユーザがタッチした位置を特定し、特定した位置に対応する操作を受け付ける。操作受付部２５３は、例えば、無人飛行装置１の位置及び飛行速度を制御するための操作を受け付けて、受け付けた操作の内容を指示データ作成部２５４に通知する。また、操作受付部２５３は、操作情報に基づいて前記無人飛行装置を動作させることを許可する操作を受け付けた場合に、当該操作を受け付けたことを指示データ作成部２５４に通知する。

【0032】

指示データ作成部２５４は、操作受付部２５３から通知された操作の内容に基づいて、無人飛行装置１を動作させるための指示データを作成する。指示データ作成部２５４は、作成した指示データを通信部２３を介して無人飛行装置１に送信する指示データ送信部として機能する。指示データ作成部２５４は、操作情報に基づいて無人飛行装置１を動作させることを許可する操作を操作受付部２５３が受け付けた場合に、操作情報作成装置３から送信された操作情報に基づく指示データを作成し、作成した指示データを無人飛行装置１に送信する。

【0033】

指示データ作成部２５４は、操作情報に基づいて無人飛行装置１を動作させることを許可する操作を操作受付部２５３が受け付けた場合であっても、操作者Ｕ１による無人飛行装置１を制御する操作が行われた場合には、操作者Ｕ１の操作に基づく指示データを優先的に無人飛行装置１に送信してもよい。このように指示データ作成部２５４が動作することで、無人飛行装置１を視認している操作者Ｕ１が危険な状況を認識した場合に、危険を回避する操作をすることができる。

【0034】

一方、指示データ作成部２５４は、例えば記憶部２４に記憶されている操作者Ｕ１のスキルが閾値レベル未満であり、かつ操作情報に基づいて無人飛行装置１を動作させることを許可する操作を操作受付部２５３が受け付けた場合、操作者Ｕ１による無人飛行装置１を制御する操作が行われたとしても、操作情報作成装置３から送信された操作情報に基づく指示データを優先的に無人飛行装置１に送信してもよい。このように指示データ作成部２５４が動作することで、スキルが低い操作者Ｕ１が誤操作をした場合に、スキルが高い操作者Ｕ２の操作により危険を回避することが可能になる。

【0035】

［操作情報作成装置３の構成］
図３は、操作情報作成装置３の構成を示す図である。操作情報作成装置３は、図１に示したディスプレイ３１及び検出デバイス３２に加えて、通信部３３と、記憶部３４と、制御部３５とを有する。制御部３５は、情報取得部３５１と、表示制御部３５２と、動き特定部３５３と、操作情報作成部３５４とを有する。

【0036】

ディスプレイ３１は、無人飛行装置１の周辺の画像及びその他の情報を表示するディスプレイである。図４は、ディスプレイ３１に表示される無人飛行装置１の周辺の画像を模式的に示す図である。図４においては、無人飛行装置１が撮影した無人飛行装置１の周辺の画像に重ねて、無人飛行装置１の現在位置（★）、無人飛行装置１を移動させる目的地の位置（■）を示す画像が表示されている。

【0037】

検出デバイス３２は、操作者Ｕ２の指を検出する。検出デバイス３２は、例えば複数の撮像素子を有するステレオカメラを有する。検出デバイス３２は、例えば、複数の撮像素子それぞれにより作成された複数の撮像画像に基づいて、複数の撮像画像の各画素に対応する被写体とステレオカメラとの距離を示す距離データを作成する。検出デバイス３２は、複数の撮像画像、及び作成した距離データを動き特定部３５３に入力する。

【0038】

通信部３３は、無人飛行装置１の周辺の画像を受信したり、操作情報を送信したりするための通信インターフェースであり、例えば無線通信コントローラを有する。通信部３３は、受信した画像を記憶部３４に記憶させる。通信部３３は、操作情報作成部３５４が作成した操作情報を無線通信回線Ｗ２に向けて送信する。

【0039】

記憶部３４は、ＲＯＭ及びＲＡＭ等の記憶媒体を有する。記憶部３４は、制御部３５が実行するプログラムを記憶している。また、記憶部３４は、通信部３３が受信した無人飛行装置１の周辺の画像を一時的に記憶する。

【0040】

制御部３５は、例えばＣＰＵである。制御部３５は、記憶部３４に記憶されたプログラムを実行することにより、情報取得部３５１、表示制御部３５２、動き特定部３５３及び操作情報作成部３５４として機能する。

【0041】

情報取得部３５１は、通信部３３を介して、無人飛行装置１が飛行中の位置の周辺の状態を示す周辺画像情報を取得する。情報取得部３５１は、取得した周辺画像情報を表示制御部３５２に入力する。情報取得部３５１は、周辺画像情報に関連付けて、無人飛行装置１の飛行の障害物を特定するための障害物情報をさらに取得してもよい。

【0042】

表示制御部３５２は、周辺画像情報に基づく周辺画像をディスプレイ３１に表示させる。表示制御部３５２は、例えば、操作者Ｕ２の指の動きに基づいて周辺画像における位置を変化させる無人飛行装置１の仮想画像を周辺画像に重ねて表示部に表示させる。一例として、表示制御部３５２は、図４に示したように、周辺画像とともに、無人飛行装置１の現在位置及び目的地の位置を示す画像をディスプレイ３１に表示させる。

【0043】

動き特定部３５３は、検出デバイス３２から入力された撮像画像及び距離データに基づいて、操作情報作成装置３の操作者Ｕ２の指の三次元空間における動きを特定する。図５は、指の動きについて説明するための図である。

【0044】

図５は、Ｘ軸、Ｙ軸、Ｚ軸により表される三次元空間における操作者Ｕ２の手の画像を示している。図５（ａ）は、操作者Ｕ２が指を動かす操作を開始する前の状態を示している。図５（ｂ）は、操作者Ｕ２が指を動かす操作を開始する状態を示しており、指の先端の位置の三次元座標が（ｘ０、ｙ０、ｚ０）となっている。図５（ｃ）は、操作者Ｕ２が指を動かした後の状態を示しており、指の先端の位置の三次元座標が（ｘ１、ｙ１、ｚ１）となっている。

【0045】

動き特定部３５３は、基準となる手の画像と撮像画像とを比較することにより、撮像画像における操作者Ｕ２の手の領域を特定し、特定した領域に基づいて指の先端の位置を特定する。続いて、動き特定部３５３は、距離データを参照することにより、検出デバイス３２と指の先端の位置との距離を特定する。

【0046】

動き特定部３５３は、撮像画像における指の先端の位置と特定した距離とに基づいて、三次元空間における指の先端の位置を特定する。動き特定部３５３は、指の先端の位置を所定の時間間隔（例えば１００ミリ秒間隔）で特定し、特定した位置の変化により指の動きを特定する。動き特定部３５３は、特定した指の動きを操作情報作成部３５４に通知する。

【0047】

動き特定部３５３は、操作者Ｕ２の指の状態を特定してもよい。動き特定部３５３は、例えば、図５（ａ）に示すように操作者Ｕ２の指が伸びていない状態（例えば手を握った状態）と、図５（ｂ）及び図５（ｃ）に示すように操作者Ｕ２が１本の指を伸ばしている状態とを特定する。動き特定部３５３は、特定した指の状態を操作情報作成部３５４に通知する。

【0048】

動き特定部３５３は、操作者Ｕ２の手の状態が第１状態（例えば手を握った状態）から第２状態（例えば１本の指が伸びた状態）になった時点を起点として、指の動きを特定する。動き特定部３５３は、操作者Ｕ２の手の状態が第２状態になった後に、所定の時間間隔で、指の先端の位置の三次元座標を操作情報作成部３５４に通知する。動き特定部３５３は、指の先端の位置の動きを示すベクトルデータを操作情報作成部３５４に通知してもよい。

【0049】

操作情報作成部３５４は、周辺画像がディスプレイ３１に表示されている間に動き特定部３５３が検出した指の動きに基づいて、無人飛行装置１を動作させるための操作情報を作成する。操作情報作成部３５４は、例えば、動き特定部３５３から通知される指の動きを示す情報（例えば三次元座標又はベクトルデータ）に対応する操作情報を作成する。一例として、操作情報作成部３５４は、時刻情報と指の位置に対応する三次元座標とが関連付けられた情報を操作情報として作成する。操作情報作成部３５４は、通信部３３を介して、一以上の三次元座標を含む操作情報を所定の時間間隔で操作装置２に送信する。

【0050】

操作情報作成部３５４は、指の動きを示す情報を、無人飛行装置１が飛行する方向を示す操作情報に変換してもよい。操作情報作成部３５４は、例えば三次元空間におけるＸ軸方向の指の動き成分を無人飛行装置１の左右方向の移動成分、Ｙ軸方向の指の動き成分を無人飛行装置１の上下方向の移動成分、Ｚ軸方向の指の動き成分を無人飛行装置１の前後方向の移動成分に変換する。操作情報作成部３５４は、変換後の各移動成分を合成したベクトルを示す操作情報を作成する。

【0051】

操作情報作成部３５４は、操作者Ｕ２の手の状態が第１状態（例えば手を握った状態）から第２状態（例えば１本の指が伸びた状態）になった時点の無人飛行装置１の位置を起点として、動き特定部３５３が検出した指の動きに基づいて、無人飛行装置１を移動させるための操作情報を作成する。操作情報作成部３５４は、例えば、操作者Ｕ２が手を握っている状態（図５（ａ）の状態）から１本の指を伸ばした状態（図５（ｂ）の状態）に変化したという通知を動き特定部３５３から受けた時点を起点として、その後の指の動きに対応する操作情報を作成する。

【0052】

具体的には、操作情報作成部３５４は、図５（ｂ）に示す指の位置から図５（ｃ）に示す指の位置までの指の動きに対応する操作情報を作成する。操作情報作成部３５４は、操作者Ｕ２の手の状態が第２状態から第１状態に変化するまで、指の動きに対応する操作情報を作成し続ける。このように、操作情報作成部３５４が、操作者Ｕ２の手の状態によって操作情報を作成する期間を決定することにより、操作者Ｕ２が無人飛行装置１を移動させる意思を持っていない間の指の動きに基づいて操作情報が作成されないようにすることができる。

【0053】

図６は、操作者Ｕ２が指を移動させた場合にディスプレイ３１に表示される画面の一例を示す図である。図６に示すように、表示制御部３５２は、操作者Ｕ２の指の動きに対応する軌跡線を周辺画像に重ねてディスプレイ３１に表示させてもよい。図６において破線で示す無人飛行装置１の軌跡線は、図５（ｃ）において破線で示す指の軌跡線に対応する。表示制御部３５２がこのような軌跡線をディスプレイ３１に表示することで、操作者Ｕ２は、無人飛行装置１の移動軌跡を確認しながら指を動かすことができるので、操作者Ｕ２の指の動かし方が適切であるか否かを把握しやすい。

【0054】

表示制御部３５２は、操作者Ｕ２が指を動かした場合に、無人飛行装置１が実際に移動する前に軌跡線をディスプレイ３１に表示させてもよい。表示制御部３５２がこのように軌跡線をディスプレイ３１に表示させることで、操作者Ｕ２は、軌跡線が示すルートが操作者Ｕ２の所望するルートでない場合に、操作をし直すことができる。

【0055】

操作者Ｕ２が操作をし直すことができるように、操作情報作成部３５４は、操作者Ｕ２の手が第３状態（例えば、手を開いた状態）になったことを特定した場合に、作成済の操作情報を取り消してもよい。この場合、操作情報作成部３５４は、操作者Ｕ２の手が第１状態を経て第２状態になった時点から動き特定部３５３が検出した指の動きに基づいて、無人飛行装置１を移動させるための操作情報を作成する。操作情報作成部３５４は、操作者Ｕ２の手が第２状態になった時点で、作成済の操作情報を新たな操作情報に切り替える。操作情報作成部３５４がこのように動作することで、操作情報を切り替えた場合にも、無人飛行装置１を連続的に移動させることができる。

【0056】

操作情報作成部３５４は、指の動きに基づいて無人飛行装置１を移動させると無人飛行装置１が許容されない動作をする場合に、指の動きに対応する動作と異なる動作を無人飛行装置１にさせるための操作情報を作成してもよい。操作情報作成部３５４は、例えば、無人飛行装置１の周辺の状態を示す画像に含まれている障害物を特定し、指の動きに基づいて無人飛行装置１を移動させると障害物に衝突すると判定した場合に、障害物に衝突しないように無人飛行装置１を動作させるための操作情報を作成する。なお、操作情報作成部３５４は、情報取得部３５１が周辺画像に関連付けて取得した障害物情報に基づいて無人飛行装置１の周辺の障害物を特定してもよい。

【0057】

図７は、無人飛行装置１が障害物を回避する動作を示す図である。図７（ａ）の破線矢印が示すように操作者Ｕ２が指を動かした場合であっても、操作情報作成部３５４は、図７（ｂ）に示すように、★で示す無人飛行装置１が障害物となる建物を回避するように飛行するための操作情報を作成する。

【0058】

操作情報作成部３５４は、動き特定部３５３が検出した指が動く速度に基づいて、無人飛行装置１の移動速度を示す操作情報を作成してもよい。操作情報作成部３５４は、例えば、予め記憶部３４に記憶された変換テーブルを参照することにより、指が動く速度を無人飛行装置１が動く速度に変換する。

【0059】

ただし、操作情報作成部３５４は、指の動きに基づいて無人飛行装置１を移動させると無人飛行装置１の速度又は加速度が許容されない範囲になる場合に、無人飛行装置１の速度又は加速度が許容範囲になるように、指の動きに対応する動作を補正した動作を無人飛行装置１にさせるための操作情報を作成してもよい。例えば、無人飛行装置１が動く速度又は加速度に上限値が設けられており、操作情報作成部３５４は、指が動く速度又は加速度が閾値以上の場合に無人飛行装置１が動く速度又は加速度を上限値にしてもよい。

【0060】

図８は、操作者Ｕ２の指の速度と無人飛行装置１の速度との関係を示す図である。図８に示すように、操作情報作成部３５４は、指の速度が閾値以下の間は、指の速度が増加するにつれて無人飛行装置１の速度が増加する操作情報を作成する。操作情報作成部３５４は、指の速度が閾値よりも大きくなると、指の速度が増加しても無人飛行装置１の速度が増加しない操作情報を作成する。操作情報作成部３５４がこのように動作することで、無人飛行装置１が危険な速度又は加速度で飛行することを予防できる。

【0061】

操作情報作成部３５４は、動き特定部３５３が検出した指の動きの軌跡線よりも滑らかに無人飛行装置１が移動するように操作情報を作成してもよい。操作情報作成部３５４は、例えば指の動きの軌跡線を低域通過フィルタに通すことにより、軌跡線に含まれている高周波成分を除去し、高周波成分を除去した後の軌跡線に基づいて操作情報を作成する。

【0062】

図９は、指が細かく振動した場合の指の動きと無人飛行装置１の動きを示す図である。図９（ａ）においては、操作者Ｕ２の指が移動方向に対して左右に変位しているが、図９（ｂ）においては、★で示す無人飛行装置１がほぼ直線上を移動している。このように操作情報作成部３５４が動作することで、指が細かく振動した場合に無人飛行装置１が細かく振動しながら飛行することを予防できる。

【0063】

また、操作情報作成部３５４は、操作者Ｕ２の指が閾値以上の速度で移動した場合、当該移動の動作を含まない操作情報を作成してもよい。操作情報作成部３５４は、例えば、指が第１の向きに移動した後に、第１の向きとほぼ反対向きの第２の向きに、第１の向きへの移動速度よりも速い速度で移動した場合、第２の向きへの移動動作を含まない操作情報を作成する。

【0064】

図１０は、操作者Ｕ２が指を第１の向きと第２の向きとに順次動かした場合の無人飛行装置１の動作を示す図である。図１０（ａ）における実線は第１の向きを示しており、破線は第２の向きを示している。このように操作者Ｕ２が指を動かした場合であっても、図１０（ｂ）に示すように、無人飛行装置１は第１の向きに飛行を続ける。操作情報作成部３５４がこのように動作することで、操作者Ｕ２が手の状態を第１状態と第２状態に切り替えることなく、連続的に無人飛行装置１を移動させる操作をすることができる。

【0065】

［シーケンス図］
図１１は、飛行制御システムＳにおける処理シーケンスを示す図である。図１１に示すシーケンス図は、操作者Ｕ１の操作により操作装置２から送信した第１指示データに基づいて無人飛行装置１が飛行している状態から開始している。

【0066】

操作受付部２５３は、操作者Ｕ２による遠隔操作を許可する操作を受け付けた場合（Ｓ１）、通信部２３を介して、遠隔操作が許可されたことを操作情報作成装置３に通知する。操作情報作成装置３においては、遠隔操作が許可されたという通知を受けると、その旨を表示制御部３５２がディスプレイ３１に表示させる（Ｓ２）。その後、動き特定部３５３が操作者Ｕ２の指の動きを特定すると（Ｓ３）、操作情報作成部３５４が、指の動きに基づいて操作情報を作成し（Ｓ４）、作成した操作情報を操作装置２に送信する。

【0067】

操作装置２においては、情報取得部２５１が操作情報作成装置３から操作情報を受信すると、指示データ作成部２５４が操作情報に基づいて第２指示データを作成し（Ｓ５）、作成した第２指示データを無人飛行装置１に送信する。指示データ作成部２５４は、操作受付部２５３が所定の操作を受け付けるまでの間は操作情報に基づいて第２指示データを作成する（ステップＳ６におけるＮＯ）。指示データ作成部２５４は、操作受付部２５３が所定の操作を受け付けた後に（ステップＳ６におけるＹＥＳ）、操作受付部２５３が受け付ける操作内容に基づいて指示データを作成する（Ｓ７）。

【0068】

［第１変形例］
以上の説明においては、飛行制御システムＳが操作装置２及び操作情報作成装置３を備えており、操作情報作成装置３が作成した操作情報を操作装置２が受信し、操作装置２が、操作情報に基づいて作成した指示データを無人飛行装置１に送信するという場合を例示したが、飛行制御システムＳが操作装置２を有していなくてもよい。この場合、操作情報作成装置３は、操作情報に基づいて指示データを作成し、作成した指示データを無人飛行装置１に直接送信する。

【0069】

［第２変形例］
以上の説明においては、操作情報作成装置３が操作者Ｕ２の指又は手の三次元空間における動きのみに基づいて操作情報を作成する場合を例示したが、操作情報作成装置３は、操作者Ｕ２の指又は手の動きとともに、操作情報作成装置３が有する不図示のコントローラ（操作部）で行われた操作内容にさらに基づいて操作情報を作成してもよい。

【0070】

この場合、操作情報作成部３５４は、例えば、無人飛行装置１を移動させる向きに関する操作情報を操作者Ｕ２の指又は手の動きに基づいて作成し、無人飛行装置１を移動させる速度に関する操作情報をコントローラで行われた操作内容に基づいて作成する。操作情報作成部３５４がこのように動作することで、操作者Ｕ２は、例えば予めコントローラで速度を設定したり、コントローラの操作により速度を一定値に設定したりしやすい。したがって、操作者Ｕ２が、指又は手を動かす速さのことを気にすることなく、指又は手を動かす向きだけに注意すればよいので、操作性がさらに向上する。

【0071】

［操作情報作成装置３による効果］
以上説明したように、操作情報作成装置３は、操作情報作成装置３の操作者Ｕ２の指又は手の三次元空間における動きを特定する動き特定部３５３と、周辺画像がディスプレイ３１に表示されている間に動き特定部３５３が検出した指又は手の動きに基づいて、無人飛行装置１を動作させるための操作情報を作成する。操作情報作成装置３がこのように構成されていることで、操作者Ｕ２が、無人飛行装置１を動かしたい方向に指又は手を動かすことにより、所望の方向に無人飛行装置１を動かすことができるので、操作性が向上する。

【0072】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0073】

１ 無人飛行装置
２ 操作装置
３ 操作情報作成装置
２１ ディスプレイ
２２ 操作部
２３ 通信部
２４ 記憶部
２５ 制御部
３１ ディスプレイ
３２ 検出デバイス
３３ 通信部
３４ 記憶部
３５ 制御部
２５１ 情報取得部
２５２ 表示制御部
２５３ 操作受付部
２５４ 指示データ作成部
３５１ 情報取得部
３５２ 表示制御部
３５３ 動き特定部
３５４ 操作情報作成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】