特許 7128409 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-23

(45)【発行日】2022-08-31

(54)【発明の名称】遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20220824BHJP

【ＦＩ】

H04Q9/00 301B

H04Q9/00 331A

【請求項の数】 11

(21)【出願番号】P 2018122538

(22)【出願日】2018-06-27

(65)【公開番号】P2020005114

(43)【公開日】2020-01-09

【審査請求日】2021-05-26

(73)【特許権者】

【識別番号】000125369

【氏名又は名称】学校法人東海大学

(74)【代理人】

【識別番号】100126505

【弁理士】

【氏名又は名称】佐貫 伸一

(74)【代理人】

【識別番号】100131392

【弁理士】

【氏名又は名称】丹羽 武司

(74)【代理人】

【識別番号】100188606

【弁理士】

【氏名又は名称】安西 悠

(74)【代理人】

【識別番号】100146330

【弁理士】

【氏名又は名称】本間 博行

(72)【発明者】

【氏名】甲斐 義弘

(72)【発明者】

【氏名】安達 佳仁

(72)【発明者】

【氏名】湯山 友晴

【審査官】羽岡 さやか

(56)【参考文献】

【文献】韓国公開特許第１０－２０１７－００９０８８８（ＫＲ，Ａ）

【文献】中国特許出願公開第１０４７８１８７３（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１７／０１５３７０１（ＵＳ，Ａ１）

【文献】安達佳仁, 甲斐義弘，視線検出デバイスを用いたマルチコプタの操作システムの検討，日本機械学会関東支部総会講演会講演論文集，2017.23，日本，2017年03月16日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｑ ９／００

(57)【特許請求の範囲】

【請求項1】

制御対象の移動物体が備える撮像装置によって撮像された画像をユーザが見つつ、前記制御対象の移動物体を遠隔制御する制御装置であって、
前記制御対象の移動物体が備える前記撮像装置によって撮像された画像を表示する表示装置に対向する前記ユーザの視線を検出し、前記画像上における前記ユーザの注視点を出力する視線検出装置から、前記注視点の情報を取得すると共に、取得した情報が示す注視点が所定の領域に含まれるか判断する操作検出部と、
前記情報が示す注視点が前記所定の領域に含まれる場合は、当該領域に対応付けられた、前記制御対象の移動物体を制御するための信号を送信させる信号出力制御部と、
を備え、
前記所定の領域は、前記画像のほぼ中央に、前記制御対象の移動物体を待機させるための待機領域を有し、当該待機領域の内部であって、当該待機領域の中央から所定の距離離間した位置に、前記制御対象の移動物体を前進させるための前進領域を含む
移動物体の遠隔制御装置。

【請求項2】

前記所定の領域の境界が、前記表示装置に画像として表示され、又は前記表示装置に重ねて配置されるシート若しくはパネルに表示される
請求項１に記載の移動物体の遠隔制御装置。

【請求項3】

前記前進領域は、眼球から前記画像上における前記注視点までの距離をｌとし、眼球及び注視点を結ぶ直線と、眼球及び表示装置に表示される画像上における中心視可能な範囲の端を結ぶ直線とのなす角をθとしたときに得られる中心視可能な範囲の半径ｒを以下の式（１）で求め、
ｒ＝ｌｔａｎθ ・・・（１）
前記待機領域の中心から垂直下方向に３ｒの位置を中心に上下方向にｒの長さの範囲に配置される
請求項１又は２に記載の移動物体の遠隔制御装置。

【請求項4】

前記前進領域は、前記待機領域の中心から下方向の最下端から、上方向にｒの長さの位置に配置される
請求項３に記載の移動物体の遠隔制御装置。

【請求項5】

前記θは、１～２度である
請求項３又は４に記載の移動物体の遠隔制御装置。

【請求項6】

前記待機領域の左右に、それぞれ前記制御対象の移動物体を鉛直方向の回転軸を中心として左右に水平回転させるための領域を備える
請求項１から５のいずれか一項に記載の移動物体の遠隔制御装置。

【請求項7】

前記制御対象の移動物体は無人飛行物体であり、
前記待機領域の上下に、それぞれ前記無人飛行物体を上昇・下降させるための領域を備える
請求項１から６のいずれか一項に記載の移動物体の遠隔制御装置。

【請求項8】

前記無人飛行物体は、マルチコプター、ドローン、ヘリコプター、飛行船のいずれか１つである
請求項７に記載の移動物体の遠隔制御装置。

【請求項9】

請求項１から７のいずれか一項に記載の移動物体の遠隔制御装置と、
前記視線検出装置と、
前記制御対象の移動物体と、
前記制御対象の移動物体を制御するための信号を送信するコントローラと、
を備える遠隔制御システム。

【請求項10】

制御対象の移動物体が備える撮像装置によって撮像された画像をユーザが見つつ、前記制御対象の移動物体を遠隔制御する制御方法であって、
前記制御対象の移動物体が備える前記撮像装置によって撮像された画像を表示する表示装置に対向する前記ユーザの視線を検出し、前記画像上における前記ユーザの注視点を出力する視線検出装置から、前記注視点の情報を取得すると共に、取得した情報が示す注視点が所定の領域に含まれるか判断するステップと、
前記情報が示す注視点が前記所定の領域に含まれる場合は、当該領域に対応付けられた、前記制御対象の移動物体を制御するための信号を送信させるステップと、
を遠隔制御装置が実行し、
前記所定の領域は、前記画像のほぼ中央に、前記制御対象の移動物体を待機させるための待機領域を有し、当該待機領域の内部であって、当該待機領域の中央から所定の距離離間した位置に、前記制御対象の移動物体を前進させるための前進領域を含む
移動物体の遠隔制御方法。

【請求項11】

制御対象の移動物体が備える撮像装置によって撮像された画像をユーザが見つつ、前記制御対象の移動物体を遠隔制御するための制御プログラムであって、
前記制御対象の移動物体が備える前記撮像装置によって撮像された画像を表示する表示装置に対向する前記ユーザの視線を検出し、前記画像上における前記ユーザの注視点を出力する視線検出装置から、前記注視点の情報を取得すると共に、取得した情報が示す注視点が所定の領域に含まれるか判断するステップと、
前記情報が示す注視点が前記所定の領域に含まれる場合は、当該領域に対応付けられた、前記制御対象の移動物体を制御するための信号を送信させるステップと、
を遠隔制御装置に実行させ、
前記所定の領域は、前記画像のほぼ中央に、前記制御対象の移動物体を待機させるための待機領域を有し、当該待機領域の内部であって、当該待機領域の中央から所定の距離離間した位置に、前記制御対象の移動物体を前進させるための前進領域を含む
移動物体の遠隔制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラムに関する。

【背景技術】

【0002】

従来、視線を検出する検出手段を有した撮像装置からの視線検出信号を受信する通信手段を備え、その撮像装置から送信された視線検出信号に基づいて被制御体の制御を行う視線制御装置が提案されていた（例えば、特許文献１）。

【0003】

また、眼球トラッキングを用いて画像を操作するシステムも提案されている（例えば、特許文献２）。本システムでは、関心領域（ＲＯＩ）の周りに、画像パラメータ調整に関連付けられた複数のホットスポットが配置され、ユーザの凝視ポイントがホットスポットに入っているときに、ホットスポットに関連付けられた画像調整を行う。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平１１－４６３１８号公報

【文献】特表２００９－５３０７３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

制御装置と無線接続又は有線接続される、マルチコプターや、多脚ロボット、車輪、クローラ等で走行するロボット等の被制御装置を、被制御装置の一人称視点で撮影された画像を見ながら操縦者が操縦する場合、操縦者の視線によって制御できると便利なことがある。すなわち、操縦者が手を使えないような場合にも被制御装置を操縦でき、また、被制御装置がロボットハンドのような操作対象をさらに備えている場合には、操縦者の手によって、ロボットハンド等の操作を行うこともできる。しかしながら、操縦者は、視線によってロボット等の周囲の状況の把握とロボット等の操縦とを同時に行うことになるため、操作が難しくなりがちであるという問題があった。

【0006】

本発明は、視線による遠隔制御の操作性を向上させることを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る移動物体の遠隔制御装置は、制御対象の移動物体が備える撮像装置によって撮像された画像をユーザが見つつ、制御対象の移動物体を遠隔制御する制御装置であって、制御対象の移動物体が備える撮像装置によって撮像された画像を表示する表示装置に対向するユーザの視線を検出し、画像上におけるユーザの注視点を出力する視線検出装置から、注視点の情報を取得すると共に、取得した情報が示す注視点が所定の領域に含まれるか判断する操作検出部と、情報が示す注視点が所定の領域に含まれる場合は、当該領域に対応付けられた、制御対象の移動物体を制御するための信号を送信させる信号出力制御部とを備え、所定の領域は、画像のほぼ中央に、制御対象の移動物体を待機させるための待機領域を有し、当該待機領域の内部であって、当該待機領域の中央から所定の距離離間した位置に、制御対象の移動物体を前進させるための前進領域を含む。

【0008】

このようにすれば、ユーザは、画像のほぼ中央に配置される待機領域に視線の先を定めることで、制御対象の移動物体を待機させることができる。したがって、制御対象の移動物体を障害物等に接触させるような事故を起こすことなく、画像全体を認識することがで
きる。また、待機領域内において中央から所定距離離間した位置に配置される前進領域に視線を移すことにより、制御対象の移動物体を前進させることができる。このような位置関係で設けられる領域によれば、ユーザは、前進領域から周囲のいずれかの方向に視線を移すだけで制御対象の移動物体を待機させることができ、安全性が高まるとともに、視線による遠隔制御の操作性を向上させることができる。

【0009】

また、所定の領域の境界が、表示装置に画像として表示され、又は表示装置に重ねて配置されるシート若しくはパネルに表示されるようにしてもよい。このようにすれば、ユーザは、操作するための領域を明確に認識することができる。

【0010】

また、前進領域は、眼球から画像上における注視点までの距離をｌとし、眼球及び注視点を結ぶ直線と、眼球及び表示装置に表示される画像上における中心視可能な範囲の端を結ぶ直線とのなす角をθとしたときに得られる中心視可能な範囲の半径ｒを以下の式で求め、待機領域の中心から垂直下方向に３ｒの位置を中心に上下方向にｒの長さの範囲に配置してもよい。
ｒ＝ｌｔａｎθ

【0011】

また、前進領域は、待機領域の中心から下方向の最下端から、上方向にｒの長さの位置に配置されるようにしてもよい。また、θは、１～２度であってもよい。具体的にはこのような大きさを採用することで、一般的に中心視によって対象を明確に認識できると共に、固視において生じるマイクロサッケードによりユーザが意図しない制御がなされることを抑制できる。

【0012】

また、静止領域の左右に、それぞれ制御対象の移動物体を鉛直方向の回転軸を中心として左右に水平回転させるための領域を備えるようにしてもよい。このようにすれば、画像の左右にユーザの興味の対象が存在する場合、ユーザはこれらが存在する方向に視線を移すことにより、制御対象の装置の向きを変えるよう遠隔制御でき、直感的に操作できる。また、画像において中央よりも左右の状況は把握しづらいため、制御対象の装置を左右に平行移動させると、制御対象の装置を障害物等に接触させる可能性も高まる。したがって、制御対象の装置を左右に水平回転させることで、事故の発生を低減させることができる。

【0013】

また、制御対象の移動物体は無人飛行物体であり、静止領域の上下に、それぞれ飛行物体を上昇・下降させるための領域を備えるようにしてもよい。なお、無人飛行物体は、マルチコプター、ドローン、ヘリコプター、飛行船のいずれか１つであってもよい。このようにすれば、無人飛行物体を上下に移動させたい場合、ユーザは静止領域の上下に視線を移すことにより遠隔制御でき、直感的に操作できるといえる。

【0014】

また、本発明に係る遠隔制御システムは、上述した遠隔制御装置と、視線検出装置と、制御対象の移動物体と、制御対象の移動物体を制御するための信号を送信するコントローラとを備える。このような遠隔制御システムによっても、ユーザは、前進領域から周囲のいずれかの方向に視線を移すだけで制御対象の装置を停止させることができ、安全性が高まるとともに、視線による遠隔制御の操作性を向上させることができる。

【0015】

上記課題を解決するための手段の内容は、本発明の課題や技術的思想を逸脱しない範囲で可能な限り組み合わせることができる。また、上記手段をコンピュータが実行する方法や、上記手段をコンピュータに実行させるプログラムとして実現してもよい。プログラムは、コンピュータが読み取り可能な記録媒体に記録して提供するようにしてもよい。

【発明の効果】

【0016】

本発明によれば、視線による遠隔制御の操作性を向上させることができる。

【図面の簡単な説明】

【0017】

【図1】本実施形態に係る遠隔操作装置を備える遠隔操作システムの一例を示す構成図である

【図2】遠隔操作システムの一例を示す機能ブロック図である。

【図3】遠隔操作システムの制御装置が行う前処理の一例を示す処理フロー図である。

【図4】マルチコプターが行う処理の一例を示す処理フロー図である。

【図5】コントローラが行う処理の一例を示す処理フロー図である。

【図6】表示装置が行う処理の一例を示す処理フロー図である。

【図7】視線検出装置が行う処理の一例を示す処理フロー図である。

【図8】制御装置が行う処理の一例を示す処理フロー図である。

【図9】表示装置上に設定される操作領域の割り当ての一例を示す図である。

【図10】マルチコプターの操作を説明するための、マルチコプターの一人称視点画像の一例を示す図である。

【図11】マルチコプターの操作を説明するための、マルチコプターの一人称視点画像の一例を示す図である。

【図12】マルチコプターの操作を説明するための、マルチコプターの一人称視点画像の一例を示す図である。

【図13】表示装置上に設定される操作領域の位置及び大きさを説明するための図である。

【図14】表示装置上に設定される操作領域の位置及び大きさを説明するための図である。

【図15】操作領域の配置の変形例を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態に係る遠隔操作システムについて、図面を用いて説明する。

【0019】

＜装置構成＞
図１は、本実施形態に係る遠隔操作装置を備える遠隔操作システムの一例を示す構成図である。図１に示す遠隔操作システム１は、制御装置２と、表示装置３と、視線検出装置４と、コントローラ５と、マルチコプター６とを含む。遠隔操作システム１は、ユーザの視線に基づいて操作対象の移動物体を遠隔操作するためのシステムである。マルチコプター６は、複数の回転翼を有する回転翼機であり、本実施形態における操作対象の移動物体である。また、マルチコプター６は、デジタルカメラ等の撮像装置を備えており、例えばコントローラ５を介して表示装置３へ撮像した画像を表示させることができる。コントローラ５は、マルチコプター６の動作を無線により遠隔操作するための送信機である。表示装置３は、マルチコプター６が備える撮像装置から、例えば制御装置２を介して撮像データを取得し、表示する。視線検出装置４は、例えば赤外線を撮像するカメラを備え、ユーザの目の動きに基づいて視線を検出する。制御装置２は、表示装置３上においてユーザが注視（又は固視）している部分である注視点を示す情報を視線検出装置４から取得し、注視点の位置に応じて、マルチコプター６を操作するための信号をコントローラ５に出力させる。

【0020】

＜機能構成＞
図２は、遠隔操作システムの一例を示す機能ブロック図である。図２の遠隔操作システム１は、上述した制御装置２と、表示装置３と、視線検出装置４と、コントローラ５と、マルチコプター６とを含む。

【0021】

制御装置２は、一般的なコンピュータであり、例えばＰＣ（Personal Computer）、ス
マートフォン、タブレット等である。また、制御装置２は、通信インターフェース（Ｉ／Ｆ）２１と、記憶装置２２と、入出力装置２３と、プロセッサ２４とを備え、これらがバス２５を介して接続されている。通信Ｉ／Ｆ２１は、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）、その他のＲＦ（Radio Frequency）信号を用いて通信を行うた
めの無線モジュールや、有線のネットワークカード、パラレルポート、シリアルポート等であり、他の装置と所定のプロトコルに基づいて通信を行う。記憶装置２２は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の主記憶装置及びＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、フラッシュメモリ等の補助記憶装置（二次記憶装置）である。主記憶装置は、プロセッサ２４が読み出したプログラムを一時的に記憶したり、プロセッサ２４の作業領域を確保したりする。補助記憶装置は、プロセッサ２４が実行するプログラム等を記憶する。入出力装置２３は、例えばキーボードやマウス、タッチパネル等のユーザインターフェースである。なお、入出力装置２３が、表示装置３を兼ねていてもよい。プロセッサ２４は、ＣＰＵ（Central Processing Unit）等の演
算処理装置であり、プログラムを実行することにより本実施の形態で説明する各処理を行う。また、図２の例では、プロセッサ２４内に機能ブロックを示している。具体的には、プロセッサ２４は、操作検出部２４１と、信号出力制御部２４２とを含む。操作検出部２４１は、通信Ｉ／Ｆ２１を介して視線検出装置４からユーザの視線の動きに関する情報を取得し、注視点の位置に応じてユーザによる操作の指示を検出する。信号出力制御部２４２は、注視点の位置に応じた操作の指示に基づいて、マルチコプター６を操作するための信号の出力を指示するための情報を、入出力装置２３を介してコントローラ５へ送信する。

【0022】

表示装置３は、コンピュータ等が出力する画像（静止画又は動画）の映像信号を取得し表示する映像表示装置である。図２においては、表示装置３内にも機能ブロックを示している。表示装置３は、通信Ｉ／Ｆ３１と、表示部３２とを含む。通信Ｉ／Ｆ３１は、ＨＤＭＩ（High-Definition Multimedia Interface，登録商標）端子、ＤＶＩ（Digital Visual Interface）端子、ＶＧＡ端子、無線通信モジュール等の、映像信号の入力を受けるためのインターフェースである。表示部３２は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）、有機ＥＬディスプレイ、ブラウン管（ＣＲＴ：Cathode Ray Tube）等である。

【0023】

視線検出装置４は、ユーザの視線の動きを検出し、注視点を特定する装置である。図２においては、視線検出装置４内にも機能ブロックを示している。視線検出装置４は、通信Ｉ／Ｆ４１と、赤外線送受信部４２と、視線検出部４３とを備える。通信Ｉ／Ｆ４１は、ＵＳＢ（Universal Serial Bus）等のインターフェースであり、制御装置２に対し注視点の情報を出力する。赤外線送受信部４２は、視線検出装置４と対向するユーザに対し赤外線を照射すると共に、反射光を撮像する。視線検出部４３は、ユーザの画像から目における瞳孔の位置に基づいて視線の向きを検出すると共に、表示装置上における注視点の位置を算出する。

【0024】

コントローラ５は、マルチコプター６を遠隔操作するための無線信号を送信する送信機である。図２においては、コントローラ５内にも機能ブロックを示している。コントローラ５は、操作入力部５１と、通信Ｉ／Ｆ５２とを備える。操作入力部５１は、例えばマルチコプター６に対して指示する、前進、後退、上昇、下降、左右への水平移動、左右への水平回転といった動作の種類、及び動作速度の入力を、制御装置２から受けるためのインターフェースである。なお、水平移動は、マルチコプター６が向いている方向を変えず、当該方向を基準としてマルチコプター６を左右に移動させる動作である。また、水平回転は、マルチコプター６の位置を変えず、鉛直方向の回転軸を中心にマルチコプター６が向いている方向を変更する動作である。すなわち、マルチコプター６は、上面視における左
方向又は右方向に、その場で水平に回転する。本実施形態では、これらの動作の種類が一部に制限されていてもよく、速度は一定としてもよい。また、通信Ｉ／Ｆ５２は、例えばアンテナを含み、マルチコプター６に対し、所定の動作を指示するための無線信号を送信したり、マルチコプター６が撮像する映像を制御装置２へ中継したりする。

【0025】

マルチコプター６は、複数の回転翼を有する回転翼機である。図２においては、マルチコプター６内にも機能ブロックを示している。マルチコプター６は、通信Ｉ／Ｆ６１と、ロータ６２と、センサ６３と、撮像装置６４と、制御部６５とを備える。通信Ｉ／Ｆ６１は、コントローラ５からの無線信号を受信する通信モジュールや、撮像装置６４が出力する画像データを制御装置２等に送信する通信モジュールを含む。ロータ６２は、サーボモータにより制御される回転翼であり、複数備えられる。センサ６３は、ジャイロセンサや、ＧＰＳ（Global Positioning System）受信機等であり、マルチコプター６の制御を支
援するための情報を取得する。撮像装置６４は、例えばデジタルビデオカメラであり、撮像素子によって可視光を画像データに変換し、継続的に出力する。制御部６５は、通信Ｉ／Ｆ６１を介してコントローラ５から飛行動作等の指示を示す信号を受け、ロータ６２の回転を制御する。このとき、センサ６３が出力する情報を用いて飛行を安定させるようにしてもよい。

【0026】

＜遠隔操作処理＞
図３は、遠隔操作システムが行う前処理の一例を示す処理フロー図である。本システムは、起動時に図３に示すような処理を行う。各装置が起動すると、例えば視線検出装置のキャリブレーションが行われる（図３：Ｓ１）。本ステップでは、ユーザの視線を適切に検出できるよう較正される。また、マルチコプター６とコントローラ５とは、所定の無線通信方式による接続を確立する（Ｓ２）。また、視線検出装置４と制御装置２とは、所定の無線又は有線による通信方式で接続を確立する（Ｓ３）。また、コントローラ５と制御装置２との間でも、所定の無線又は有線による通信方式で接続を確立する（Ｓ４）。なお、Ｓ１～Ｓ４の処理を行う順序はいずれであってもよく、並列に実行するようにしてもよい。

【0027】

図４は、マルチコプターが行う処理の一例を示す処理フロー図である。マルチコプター６の撮像装置６４は、マルチコプター６の前方の映像を撮像する（図４：Ｓ１１）。その後、マルチコプター６は、通信Ｉ／Ｆ６１を介して映像をコントローラ５に送信する（Ｓ１２）。また、マルチコプター６は、通信Ｉ／Ｆ６１を介してコントローラ５から操作信号を受信する（Ｓ１３）。そして、マルチコプター６の制御部６５が、操作信号に応じてロータ６２の回転を制御することにより、マルチコプター６は、前進、上昇、下降、左右の水平回転、ホバリング等の動作を行う。また、マルチコプター６の制御部６５は、動作を継続するか判断する（Ｓ１５）。本ステップでは、例えばユーザから動作終了の指令を受けた場合、バッテリー残量が所定の基準よりも低下したことを検知した場合、コントローラからの制御信号が所定時間以上受信できない場合、強風や機体の損傷を検知した場合、機体の異常な傾きを検知した場合、例えば障害物センサが全方位に障害物を検知し、機体の進路がないと判断された場合等に、動作を終了すると判断する。動作を終了する場合は、その場で又はコントローラ５の近傍に戻り、着陸後に動作を停止するようにしてもよい。動作を継続する場合（Ｓ１５：ＹＥＳ）は、Ｓ１１に戻って処理を繰り返す。一方、動作を継続しない場合（Ｓ１５：ＮＯ）は、処理を終了する。

【0028】

図５は、コントローラが行う処理の一例を示す処理フロー図である。コントローラ５は、通信Ｉ／Ｆ５２を介してマルチコプター６から映像信号を受信する（図５：Ｓ２１）。その後、コントローラ５は、通信Ｉ／Ｆ５２を介して表示装置３に映像信号を送信する（Ｓ２２）。すなわち、コントローラ５は、マルチコプター６と表示装置３との間で、映像信号を中継する。また、コントローラ５の操作入力部５１は、制御装置２の信号出力制御
部２４２から、マルチコプター６の操作を指示するためのデータを受信する（Ｓ２３）。そして、コントローラ５は、通信Ｉ／Ｆ５２を介してマルチコプター６へ操作を指示する信号を送信する（Ｓ２４）。また、コントローラ５は、動作を継続するか判断する（Ｓ２６）。本ステップでは、例えばユーザから動作終了の指令を受けた場合等に、動作を終了すると判断する。動作を継続する場合（Ｓ２５：ＹＥＳ）は、Ｓ２１に戻って処理を繰り返す。一方、動作を継続しない場合（Ｓ２５：ＮＯ）は、処理を終了する。

【0029】

図６は、表示装置が行う処理の一例を示す処理フロー図である。表示装置３は、通信Ｉ／Ｆ３１を介してコントローラ５から映像信号を受信する（図６：Ｓ３１）。その後、表示装置３の表示部３２は、映像を表示する（Ｓ３２）。また、表示部３２は、動作を継続するか判断する（Ｓ３３）。例えば、ユーザから動作終了の指令を受けた場合、所定時間以上、映像信号を受信しない場合等に、動作を終了すると判断する。動作を継続する場合（Ｓ３３：ＹＥＳ）は、Ｓ３１に戻って処理を繰り返す。一方、動作を継続しない場合（Ｓ３３：ＮＯ）は、処理を終了する。

【0030】

図７は、視線検出装置が行う処理の一例を示す処理フロー図である。視線検出装置４が表示装置３に設置された状態において、赤外線送受信部４２は、表示装置３の前方に赤外線を送信すると共にその反射光を受信する（図７：Ｓ４１）。その後、視線検出装置４の視線検出部４３は、反射光からユーザの視線を検出できたか判断する（Ｓ４２）。本ステップでは、視線検出装置４の視線検出部４３は、例えばユーザの画像から目における瞳孔の位置を特定し、特定できた場合は視線を検出できたと判断する。視線を検出できた場合（Ｓ４２：ＹＥＳ）は、視線検出部４３は、例えば瞳孔の位置に基づいて注視点を算出する（Ｓ４３）。本ステップでは、既存の視線検出技術を利用することができ、例えば目頭や角膜における赤外線の反射光等、何らかの基準に対する瞳孔の位置に基づいて、視線の向いている位置を算出する。注視点は、例えば、表示装置３上又は表示装置３に表示される画像上における座標として求めるものとする。また、視線検出部４３は、通信Ｉ／Ｆ４１を介して、注視点の位置を示す情報（注視点データ）を制御装置２へ送信する（Ｓ４４）。Ｓ４４の後、又はＳ４２において視線を検出できなかった場合（Ｓ４２：ＮＯ）、視線検出装置４は、動作を継続するか判断する（Ｓ４５）。本ステップでは、例えばユーザから動作終了の指令を受けた場合等に、動作を終了すると判断する。動作を継続する場合（Ｓ４５：ＹＥＳ）、Ｓ４１に戻って処理を繰り返す。一方、動作を継続しない場合（Ｓ４５：ＮＯ）は、処理を終了する。

【0031】

図８は、制御装置が行う処理の一例を示す処理フロー図である。制御装置２の操作検出部２４１は、表示装置３の表示部３２上又は表示部３２に表示される画像上におけるユーザの注視点の位置を示す情報を、視線検出装置４から取得する（図８：Ｓ５１）。また、操作検出部２４１は、取得した注視点の位置を示す情報が、表示装置３の表示部３２上における所定の範囲内に含まれるか判断する（Ｓ５２）。本実施形態では、表示部３２上における注視点の位置に応じて、マルチコプター６に対し飛行動作を指示する。すなわち、表示部３２上（換言すれば、マルチコプター６の一人称視点画像上）に、ユーザが注視することでマルチコプター６を操作するための操作領域が設けられている。

【0032】

図９は、表示装置上に設定される操作領域の割り当ての一例を示す図である。図９の例では、表示装置３の表示部３２上に、マルチコプター６に対し、直進、上昇、下降、左方向への水平回転、及び右方向への水平回転の各動作を指示するための操作領域が割り当てられている。表示部３２のほぼ中央に配置された円形の領域３２１は、マルチコプター６をその場で静止（「ホバリング」又は「待機」とも呼ぶ）させるための待機領域（ニュートラル領域とも呼ぶ）である。待機領域３２１の内部であって、待機領域３２１の中央から所定の距離だけ離間した位置に配置された円形の領域３２２は、マルチコプター６に対して前進を指示するための前進領域３２２である。図９の例では、前進領域３２２は、待
機領域３２１の中央よりも下方に設けられている。また、待機領域３２１の外側であって、待機領域３２１の左側に配置された領域３２３は、マルチコプター６に対して左方向への水平回転を指示するための左回転領域である。図９の例では、正円である待機領域３２１の左側に接する接線を境界として、当該接線の左側に左回転領域３２３が設けられている。また、待機領域３２１の外側であって、待機領域３２１の右側に配置された領域３２４は、マルチコプター６に対して右方向への水平回転を指示するための右回転領域である。図９の例では、待機領域３２１の右側に接する接線を境界として、当該接線の右側に右回転領域３２４が設けられている。また、待機領域３２１の外側であって、待機領域３２１の上方に配置された領域３２５は、マルチコプター６対して上昇を指示するための上昇領域である。図９の例では、待機領域３２１と、待機領域３２１の左側に接する接線と、待機領域３２１の右側に接する接線と、表示部３２の上部の縁とで囲まれるように、上昇領域３２５が設けられている。また、待機領域３２１の外側であって、待機領域３２１の下方に配置された領域３２６は、マルチコプター６対して下降を指示するための下降領域である。図９の例では、待機領域３２１と、待機領域３２１の左側に接する接線と、待機領域３２１の右側に接する接線と、表示部３２の下部の縁とで囲まれるように、下降領域３２６が設けられている。なお、操作領域の境界は、例えば制御装置２が表示装置３に表示させる映像に重畳して出力するようにしてもよいし、操作領域の境界を透明なシートやパネル等に表示させたものを表示装置３の表示部３２に重ねて貼付してもよい。

【0033】

したがって、図８のＳ５１において取得したユーザの注視点が、前進領域３２２、左回転領域３２３、右回転領域３２４、上昇領域３２５、若しくは下降領域３２６、又は待機領域３２１に含まれる場合、Ｓ５２において、操作検出部２４１は、ユーザの注視点が所定の範囲内に存在すると判断する。なお、注視点が表示部３２の外である場合は、Ｓ５２において注視点が所定の範囲内に存在しないと判断される。このとき、マルチコプター６が飛行している状態であれば、その場でホバリングさせる、コントローラ５の近傍まで戻って着陸及び待機させる、又はその場で着陸及び待機させるよう、例えばマルチコプター６の制御部６５が自律的に制御するようにしてもよい。

【0034】

ユーザの注視点が所定の範囲内に存在すると判断された場合（Ｓ５２：ＹＥＳ）、制御装置２の信号出力制御部２４２は、注視点の位置に応じて、コントローラ５に対し制御信号の送信を指示するための操作信号を生成する（Ｓ５３）。また、信号出力制御部２４２は、生成した操作信号をコントローラ５に対し出力する（Ｓ５４）。すなわち、ユーザの注視点が前進領域３２２内に存在する場合、信号出力制御部２４２は、通信Ｉ／Ｆ２１を介してコントローラ５に、マルチコプター６を前進させるための信号を送信させる。また、ユーザの注視点が左回転領域３２３内に存在する場合、信号出力制御部２４２は、通信Ｉ／Ｆ２１を介してコントローラ５に、マルチコプター６を左方向へ水平回転させるための信号を送信させる。また、ユーザの注視点が右回転領域３２４内に存在する場合、信号出力制御部２４２は、通信Ｉ／Ｆ２１を介してコントローラ５に、マルチコプター６を右方向へ水平回転させるための信号を送信させる。また、ユーザの注視点が上昇領域３２５内に存在する場合、信号出力制御部２４２は、通信Ｉ／Ｆ２１を介してコントローラ５に、マルチコプター６を鉛直上方へ移動させるための信号を送信させる。また、ユーザの注視点が下降領域３２６内に存在する場合、信号出力制御部２４２は、通信Ｉ／Ｆ２１を介してコントローラ５に、マルチコプター６を鉛直下方へ移動させるための信号を送信させる。

【0035】

Ｓ５４の後、又はＳ５２においてユーザの注視点が所定の範囲内に存在しないと判断された場合（Ｓ５２：ＮＯ）、制御装置２は、動作を継続するか判断する（Ｓ５５）。本ステップでは、例えばユーザから動作終了の指令を受けた場合に、動作を終了すると判断する。なお、表示部３２の操作領域に動作の終了を指示するための領域をさらに設け、ユーザが当該領域を所定時間以上見ることで動作を終了すると判断してもよい。また、制御装
置２が動作を終了する前に、マルチコプター６を着陸させるものとする。動作を継続する場合（Ｓ５５：ＹＥＳ）、Ｓ５１に戻って処理を繰り返す。一方、動作を継続しない場合（Ｓ５５：ＮＯ）は、処理を終了する。

【0036】

以上のような遠隔操作処理によれば、ユーザは、例えば、表示部３２に表示されるマルチコプター６の一人称視点画像の中央付近（すなわち、待機領域３２１の中央付近）に視線の先を定めることで、マルチコプター６を静止させ、一人称視点画像の全体を認識することができる。すなわち、ユーザは表示部３２の中央付近を注視した状態において、表示部３２の全体を視野に収め得るようになっている。また、一人称視点画像の端又は外にユーザの興味の対象が存在する場合、ユーザは興味の対象が存在する方向に視線の先を移すことにより、興味の対象が存在する方向にマルチコプター６の向き及び位置を変えるよう遠隔操作することができる。

【0037】

図１０～図１２は、マルチコプターの操作を説明するための、マルチコプターの一人称視点画像の一例を示す図である。例えば、図１０に示すように、表示部３２に表示された一人称視点画像の右上に、ユーザがマルチコプター６を近づけたいと考える目標７が存在する場合、ユーザは表示部３２の右上に位置する目標７を注視する。このとき、操作検出部２４１は、右回転領域３２４内に注視点を検出する。その後、信号出力制御部２４２は、コントローラ５を介して、マルチコプター６へ右側への水平回転を指示する信号を出力する。マルチコプター６が右側へ水平回転すると、例えば図１１に示すように、上述した目標７は表示部３２に表示される一人称視点画像において左に移動する。そして、目標７が上昇領域３２５に移動すると、これに応じてユーザの注視点も例えば上昇領域３２５内に移動する。すると、操作検出部２４１は、上昇領域３２５内に注視点を検出する。その後、信号出力制御部２４２は、コントローラ５を介して、マルチコプター６へ上昇を指示する信号を出力する。そして、マルチコプター６が鉛直上方へ移動すると、例えば図１２に示すように、上述した目標７は表示部３２に表示される一人称視点画像において下方に移動する。目標７が待機領域３２１に移動すると、これに応じてユーザの注視点も例えば待機領域３２１内に移動する。すると、操作検出部２４１は、待機領域３２１内にユーザの注視点を検出する。この場合は、信号出力制御部２４２はマルチコプター６に動作を指示せず、その場でホバリングさせる。また、ユーザは、マルチコプター６を目標７に近づけたい場合は、前進領域３２２を注視することで、操作検出部２４１に注視点を検出させ、信号出力制御部２４２にコントローラ５へ前進を指示するための信号を出力させることができる。

【0038】

以上のように、本実施形態に係る操作領域の配置、及び各領域に対するマルチコプター６への動作指示との対応付けによれば、ユーザは直感的にマルチコプター６を遠隔操作することができる。また、水平方向の移動のうち前進のみに限定することで、マルチコプター６の一人称画像からユーザが危険を認識し難い後退及び左右の平行移動を制限し、事故の発生を抑えることができる。

【0039】

＜操作領域＞
図１３及び図１４は、表示装置上に設定される操作領域の位置及び大きさを説明するための図である。本実施形態においては、人間の視野及び眼球運動に基づいて操作領域を設定している。図１３は、ユーザの視点（眼球）と、表示部３２上の注視点との関係を示している。一般的に、物体の形状等を高い解像力で人間が識別するためには、視角が１～２度程度の網膜中心部位に網膜像を映じるような中心視による必要がある。本実施形態では、操作領域（例えば前進領域３２２）の大きさを、少なくとも中心視によって捉えられる範囲程度の大きさとする。

【0040】

また、人間が中心視で対象物を捉え続ける（固視する）場合、マイクロサッケード（固
視微動）という眼球運動が生じる。マイクロサッケードは、視線の振幅が１～２度程度の非随意的に生じる運動である。また、ばらつきはあるが、平均速度は１０度／秒程度、頻度は１～３Ｈｚ程度である。視線検出装置４が、マイクロサッケードによる視線の変化を検出できるような場合、操作領域の配置又は大きさによっては、マイクロサッケードの影響でユーザは意識せずに誤操作を起こすおそれがある。そこで、本実施形態では、マイクロサッケードによってもユーザが注視している領域を外れないような配置及び大きさで、操作領域を設定する。

【0041】

図１３に示す円形の前進領域３２２の半径ｒは、眼球から注視点までの距離をｌ、眼球及び注視点を結ぶ直線と、眼球及び表示部３２に表示される画像上における中心視可能な範囲の端を結ぶ直線とのなす角をθとすると、以下の式（１）で求められる。すなわち、ｒは、中心視可能な範囲の半径である。また、θは、マイクロサッケードにより視線が動く角度でもある。
ｒ＝ｌｔａｎθ ・・・（１）
例えば、ｌは５５０ｍｍとし、θを２度とすると、ｒは１９．２ｍｍである。

【0042】

また、図１４は、図９に示した操作領域と、上述した半径ｒとの関係を示す図である。前進領域３２２は、待機領域３２１の中央から所定の距離以上離間して配置されている。例えば、ユーザが待機領域３２１の中央に注視点を固定した場合に、検出される注視点がマイクロサッケードの影響により前進領域３２２内に入らないように、前進領域３２２は、待機領域３２１の中央に対し半径ｒの円内に入らないように配置する。すなわち、前進領域３２２は、待機領域３２１の中央を中心として中心視可能な範囲の外に設けられる。したがって、待機領域３２１の中心と前進領域３２２の中心との距離は、２ｒ以上離間させる。換言すれば、待機領域３２１の中心と前進領域３２２との距離は、ｒ以上である。図１４の例では、待機領域３２１の中心と前進領域３２２の中心との距離を３ｒとしている。また、前進領域３２２と下降領域３２６との距離も、例えばマイクロサッケードの影響により相互に境界を超えて注視点の移動が検出されないよう、待機領域３２１を挟んで長さｒ以上、離間させている。

【0043】

以上のような操作領域の配置であれば、マイクロサッケードの影響による無意識的な誤操作（換言すれば、視線検出装置４による誤検出）を抑制することができる。

【0044】

＜実施例＞
ユーザと表示装置３の表示部３２との距離ｌを５５０ｍｍ、前進領域３２２の半径ｒを１９．２ｍｍ、待機領域３２１の半径５ｒを９６．０ｍｍとして、上述の実施の形態に示す操作領域を設定した。また、被験者は、２０歳代の成人１２名であり、本システムを初めて使用する者である。本システムを用いて被験者にマルチコプターを遠隔操作させた結果、１２名中、１名は、１回目の飛行でマルチコプターを墜落させたが、２回目の飛行では墜落させることなく所定の区間を飛行させることができた。また、他の１１名はマルチコプターを墜落させることなく所定の区間を飛行させることができた。

【0045】

＜操作領域の変形例＞
図１５は、操作領域の配置の変形例を示す図である。本変形例においては、待機領域３２１及び前進領域３２２の形状を楕円とする。この形状は、両眼視における人間の視野に近づけたものであり、表示装置３の表示部３２の横方向に長軸をとり、縦方向に短軸をとっている。また、単軸と長軸との比率も例えば視野に合わせる等して適宜決定することができる。

【0046】

本変形例においても、マイクロサッケードの影響により、操作領域の境界を超えて注視点の移動が検出されないように操作領域の位置、大きさ及び形状を設定することが望まし
い。例えば、前進領域３２２の短軸の長さｒは、上述した中心視可能な範囲の半径又はマイクロサッケードによる視線の振幅であるθと、眼球から注視点までの距離ｌを用いて求められる値としてもよい。ただし、このように大きさを定める場合、表示部３２の大きさによっては操作領域をバランスよく配置できないこともある。そこで、待機領域３２１の中心と前進領域３２２の中心との距離を３ｒでなく２ｒとしてもよいし、特に前進領域３２２の下端から待機領域の下端までの距離をｒ以下にしてもよい。また、このように定められる待機領域３２１及び前進領域３２２全体を縮小するようにしてもよい。

【0047】

このような変形例に係る操作領域によっても、マイクロサッケードの影響による無意識的な誤操作を抑制することができる。

【0048】

＜その他＞
本システムにより遠隔操作される制御対象の移動物体は、マルチコプターには限定されない。例えば、ドローン（無人航空機）、ヘリコプター、飛行船、多脚ロボット、又は車輪若しくはクローラ等で走行するロボット等を制御対象としてもよい。制御対象が地上を移動する装置である場合は、上昇領域及び下降領域を設けなくてもよいし、上昇領域及び下降領域に代えて、他の動作を指示するための領域を割り当てるようにしてもよい。また、制御対象の装置は、無線で制御されるものには限定されず、有線で給電等されるものであってもよい。また、制御対象の装置は、ロボットハンド等のエンドエフェクタや、マイク、スピーカ、その他の装置をさらに備えるようにしてもよい。これらの装置についても視線で操作できるようにしてもよいし、コントローラを用いてユーザが手で操作できるようにしてもよい。また、装置等の物体の移動を制御するだけでなく、遠隔地にあるコンピュータや家電製品、工場の機械、医療機器等の操作に用いるようにしてもよい。なお、上述したシステムによれば遠隔操作を行うことができるため、無線操縦可能な装置の操作に好適であり、特に上昇及び下降が可能な無人飛行物体の操作に適している。

【0049】

また、操作領域の位置、大きさ、形状、分割数は、図９等に示した例には限定されない。待機領域３２１の上側に接する接線を境界として、当該接線の上側に上昇領域３２５を設け、待機領域３２１の下側に接する接線を境界として、当該接線の下側に下降領域３２６を設けるようにしてもよい。この場合は、例えば、待機領域３２１と、待機領域３２１の上側に接する接線と、待機領域３２１の下側に接する接線と、表示部３２の左側の縁とで囲まれるように、左回転領域３２３を設け、待機領域３２１と、待機領域３２１の上側に接する接線と、待機領域３２１の下側に接する接線と、表示部３２の右側の縁とで囲まれるように、右回転領域３２４を設ける。また、左回転領域３２３と上昇領域３２５との境界、上昇領域３２５と右回転領域３２４との境界、右回転領域３２４と下降領域３２６との境界、下降領域３２６と左回転領域３２３との境界は、それぞれ待機領域３２１の接線には限定されない。例えば、これらの境界を、表示部３２の中央から外側へ放射状に引かれる線によって定めるようにしてもよい。

【0050】

待機領域３２１や前進領域３２２の形状は、真円又は楕円には限定されず、多角形等であってもよい。また、操作領域の分割数を増やし、離着陸や動作速度の変更、その他の動作を視線の動きによって制御できるようにしてもよい。また、実施形態又は変形例に示した操作領域において、例えば、左方向の水平回転、右方向の水平回転、上昇、下降については、各操作領域において表示部３２の中心からの距離が離れるほど、又は表示部３２の左右・上下の縁に近づくほど、動作速度を大きくしてもよい。

【0051】

また、表示装置３とユーザとの距離ｌも、上述した例には限定されない。また、表示装置３とユーザとの距離を既存の測距センサ等で測定し、距離の変化に応じて操作領域の大きさを変更してもよい。

【0052】

また、待機領域３２１の外側であって、待機領域３２１の右側に配置された領域３２４は、マルチコプター６に対して右方向への水平回転を指示するための右回転領域である。図９の例では、待機領域３２１の右側に接する接線を境界として、当該接線の右側に右回転領域３２４が設けられている。また、待機領域３２１の外側であって、待機領域３２１の上方に配置された領域３２５は、マルチコプター６対して上昇を指示するための上昇領域である。図９の例では、待機領域３２１と、待機領域３２１の左側に接する接線と、待機領域３２１の右側に接する接線と、表示部３２の上部の縁とで囲まれるように、上昇領域３２５が設けられている。また、待機領域３２１の外側であって、待機領域３２１の下方に配置された領域３２６は、マルチコプター６対して下降を指示するための下降領域である。図９の例では、待機領域３２１と、待機領域３２１の左側に接する接線と、待機領域３２１の右側に接する接線と、表示部３２の下部の縁とで囲まれるように、下降領域３２６が設けられている。なお、操作領域の境界は、例えば制御装置２が表示装置３に表示させる映像に重畳して出力するようにしてもよいし、操作領域の境界を透明なシートやパネル等に表示させたものを表示装置３の表示部３２に重ねて貼付してもよい。

【0053】

図２に示した装置構成は一例であり、同様の処理部を複数の装置が分担して備えるようにしてもよい。例えばコントローラ５に代えて、制御装置２が撮像装置６４の映像を中継してもよい。また、マルチコプター６の撮像装置６４と連携して動作するＦＰＶ（First Person View）システムが、制御装置２とは別に設けられるようにしてもよい。また、制
御装置２、表示装置３、視線検出装置４及びコントローラ５の全部又は一部が、一体の装置であってもよい。

【0054】

また、視線検出装置４は、赤外線を利用してユーザの瞳孔の位置を検出するものには限定されない。例えば、可視光を撮像した画像を利用して光彩の位置を検出することにより、視線の向きを特定するものであってもよいし、所定の電位差を利用するユーザ接触型の方式であってもよい。

【0055】

なお、上述した構成は一例であり、本発明は例示した構成に限定されない。例えば、上述した事項は、本発明の課題や技術的思想を逸脱しない範囲で適宜組み合わせることができる。また、上述した処理のステップを、ソフトウェアによってコンピュータが実行する方法や、ＰＬＤ（Programmable Logic Device）等のハードウェアによって装置が実行す
る方法、コンピュータに実行させるプログラムとして実現してもよい。プログラムは、コンピュータが読み取り可能な記録媒体に記録して提供するようにしてもよい。コンピュータが読み取り可能な記録媒体とは、情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータによって読み取ることができる記録媒体をいう。このような記録媒体のうち、コンピュータから取り外し可能なものとしては、例えば光ディスク、光磁気ディスク、フレキシブルディスク、磁気テープ、メモリカード等がある。また、コンピュータに固定された記録媒体としてＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid
State Drive）、ＲＯＭ（Read Only Memory）等が挙げられる。

【符号の説明】

【0056】

１ ：遠隔操作システム
２ ：制御装置
２１ ：通信Ｉ／Ｆ
２２ ：記憶装置
２３ ：入出力装置
２４ ：プロセッサ
２４１ ：操作検出部
２４２ ：信号出力制御部
２５ ：バス
３ ：表示装置
３１ ：通信Ｉ／Ｆ
３２ ：表示部
３２１ ：待機領域
３２２ ：前進領域
３２３ ：左回転領域
３２４ ：右回転領域
３２５ ：上昇領域
３２６ ：下降領域
４ ：視線検出装置
４１ ：通信Ｉ／Ｆ
４２ ：赤外線送受信部
４３ ：視線検出部
５ ：コントローラ
５１ ：操作入力部
５２ ：通信Ｉ／Ｆ
６ ：マルチコプター
６１ ：通信Ｉ／Ｆ
６２ ：ロータ
６３ ：センサ
６４ ：撮像装置
６５ ：制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】