ホーム > 特許ランキング > 株式会社アルヴィオン
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-05-08
(45)【発行日】2023-05-16
(54)【発明の名称】操作対象機器の操作用のプログラム
(51)【国際特許分類】
H04Q 9/00 20060101AFI20230509BHJP
G06F 3/0488 20220101ALI20230509BHJP
【ＦＩ】
H04Q9/00 301B
G06F3/0488
【請求項の数】
16
(21)【出願番号】P 2022122408
(22)【出願日】2022-08-01
【審査請求日】2022-08-16
【早期審査対象出願】
(73)【特許権者】
【識別番号】509224516
【氏名又は名称】株式会社アルヴィオン
(74)【代理人】
【識別番号】100136847
【弁理士】
【氏名又は名称】▲高▼山 嘉成
(72)【発明者】
【氏名】堂野 邦典
【審査官】木村 雅也
(56)【参考文献】
【文献】特開２０１４－１５５１２９（ＪＰ，Ａ）
【文献】特開２０１７－１１９５０８（ＪＰ，Ａ）
【文献】特許第６８５５６１６（ＪＰ，Ｂ２）
【文献】特許第６６８５７４２（ＪＰ，Ｂ２）
【文献】特許第６４７０１１２（ＪＰ，Ｂ２）
【文献】特開２０１７－１２３１４８（ＪＰ，Ａ）
【文献】特開２０２１－０１２６１２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｑ ９／００
Ｇ０６Ｆ ３／０４８８
(57)【特許請求の範囲】
【請求項1】
駆動装置を有する操作対象機器を操作するためのプログラムであって、指示体による接触操作を受け付ける表示装置に接続される或いは当該表示装置を備えるコンピュータを、前記表示装置に対する前記指示体による接触操作に基づいて、前記操作対象機器を操作するための操作情報を生成し、前記指示体が前記表示装置に接触していない場合でも、前記操作情報を保持する操作情報生成保持手段、及び、
保持されている前記操作情報を前記操作対象機器に送信することで、前記操作対象機器を操作する操作手段として機能させ、
前記操作情報生成保持手段は、
前記表示装置への接触が再度行われた場合に、保持されている最新の操作情報に基づいて、前記操作情報の生成を再開することを特徴とする、プログラム。
【請求項2】
前記操作情報生成保持手段は、スワイプ中に前記表示装置への接触が離れたか否かを判断し、
スワイプ中に前記表示装置への接触が離れたと判断した場合に、前記操作対象機器に対する現在の操作情報を保持し、
前記操作手段は、
前記表示装置への接触が行われていない状態においても、保持されている前記現在の操作情報を前記操作対象機器に送信して、前記操作対象機器を操作する、請求項１に記載のプログラム。
【請求項3】
さらに、前記コンピュータを、前記表示装置の表示画面において、前記操作対象機器に対する操作を行うための領域を操作領域とし、かつ、前記表示装置上の予め決められた範囲を画面端判定枠として、仮想コントローラ画像を前記表示装置に表示させる仮想コントローラ画像表示手段として機能させ、
前記操作情報生成保持手段は、前記指示体による操作が前記操作領域から始まり、前記操作領域をはみ出たとしても、前記画面端判定枠に達するまでは、前記操作情報を生成することを特徴とする、請求項２に記載のプログラム。
【請求項4】
さらに、前記コンピュータを、少なくとも、前記操作対象機器に対する第１の操作を行うための第１領域と、前記操作対象機器に対する第２の操作を行うための第２領域とに分けて、仮想コントローラ画像を前記表示装置に表示させる仮想コントローラ画像表示手段として機能させ、
前記操作情報生成保持手段は、前記第１領域における前記指示体による操作に基づいて、前記第１の操作のための操作情報を生成し、前記第２領域における前記指示体による操作に基づいて、前記第２の操作のための操作情報を生成することを特徴とする、請求項２に記載のプログラム。
【請求項5】
前記操作情報生成保持手段は、前記指示体による操作が前記第１領域から始まり、前記第１領域をはみ出て、前記第２領域に前記指示体の操作が達したとしても、前記第１領域での操作として、前記操作情報を生成することを特徴とする、請求項４に記載のプログラム。
【請求項6】
予め決められた画面端判定枠の外で前記指示体の接触が離れたと判断した場合、前記操作情報生成保持手段は、前記現在の操作情報を一段上の強度の操作情報であるとして更新し、前記接触操作を受け付けるための操作入力部への接触が行われていない状態において、前記操作手段は、更新した前記現在の操作情報に基づいて、前記操作対象機器を操作し、
前記表示装置への接触が再度行われた場合に、接触位置が属する領域における操作情報として保持されている前記現在の操作情報に基づいて、前記操作対象機器の操作を再開することを特徴とする、請求項２に記載のプログラム。
【請求項7】
予め決められた画面端判定枠の外で接触が離れたと判断した場合であり、かつ、接触が離れた際の移動方向が所定の下方向であった場合に、前記操作情報生成保持手段は、接触が離れた指示体に基づいて生成される前記現在の操作情報を一段下の強度の操作情報であるとして更新することもでき、前記表示装置への接触が行われていない状態において、前記操作手段は、更新した前記現在の操作情報に基づいて、前記操作対象機器を操作し、
前記表示装置への接触が再度行われた場合に、前記操作手段は、接触位置が属する領域における操作情報として保持されている前記現在の操作情報に基づいて、前記操作対象機器の操作を再開することを特徴とする、請求項２に記載のプログラム。
【請求項8】
前記コンピュータを、前記表示装置での操作が所定の上方向のフリックであるか否かを判断する上フリック判断手段として機能させ、
前記所定の上方向のフリックであると判断した場合に、前記操作情報生成保持手段は、前記現在の操作情報を一段上の強度の操作情報であるとして更新し、
前記接触操作を受け付けるための操作入力部への接触が行われていない状態において、前記操作手段は、更新した前記現在の操作情報に基づいて、前記操作対象機器を操作し、
前記操作入力部への接触が再度行われた場合に、前記操作手段は、接触位置が属する領域における操作情報として保持されている前記現在の操作情報に基づいて、前記操作対象機器の操作を再開することを特徴とする、請求項２に記載のプログラム。
【請求項9】
前記コンピュータを、前記表示装置での操作がタップ又は所定の下方向へのフリックであるか否かを判断するタップ・下フリック判断手段として機能させ、
タップ又は前記所定の下方向へのフリックであると判断した場合に、前記操作情報生成保持手段は、接触が離れた指示体に基づいて生成される前記現在の操作情報を一段下の強度の操作情報であるとして更新し、
前記接触操作を受け付けるための操作入力部への接触が行われていない状態において、前記操作手段は、更新した前記現在の操作情報に基づいて、前記操作対象機器を操作し、
前記操作入力部への接触が再度行われた場合に、前記操作手段は、接触位置が属する領域における操作情報として保持されている前記現在の操作情報に基づいて、前記操作対象機器の操作を再開することを特徴とする、請求項２に記載のプログラム。
【請求項10】
前記コンピュータを、前記表示装置での操作がダブルタップであるかを判断するダブルタップ判断手段として機能させ、
ダブルタップであると判断した場合に、前記操作情報生成保持手段は、接触位置が属する領域における操作情報として保持されている情報を破棄して、
前記操作手段は、前記操作対象機器に対して、接触した領域に属する移動を停止させる操作を行う、
ことを特徴とする、請求項２に記載のプログラム。
【請求項11】
前記コンピュータを、前記表示装置での操作が停止ボタンの押下であるかを判断する停止ボタン判断手段として機能させ、
停止ボタンの押下であると判断した場合に、前記操作情報生成保持手段は、予め指定された領域で停止命令を実行し、それぞれの領域に属する保持されている情報を破棄して、
前記操作手段は、予め指定された領域に属する移動を停止させる操作を行うか、若しくは、予め指定された領域が全ての領域である場合は、操作対象機器を停止又はその場で待機させる操作を行う、
ことを特徴とする、請求項２に記載のプログラム。
【請求項12】
前記操作情報生成保持手段は、前記指示体による前記表示装置上でのスワイプの２次元ベクトルに基づいて、前記操作情報を生成することを特徴とする、請求項２に記載のプログラム。
【請求項13】
前記操作情報生成保持手段は、前記２次元ベクトルのｘ成分及びｙ成分に基づいて、前記操作情報を生成することを特徴とする、請求項１２に記載のプログラム。
【請求項14】
前記操作対象機器がドローンである場合、前記操作情報生成保持手段は、前記ｘ成分及び前記ｙ成分によって、ラダー、エレベーター、エルロン及びスロットルの内２つの方向及び強度を示すように、前記操作情報を生成することを特徴とする、請求項１３に記載のプログラム。
【請求項15】
前記操作対象機器がドローンである場合、前記操作情報生成保持手段は、前記ｘ成分及びｙ成分によって、ラダー、エレベーター、エルロン及びスロットルの内、前記２つの方向及び強度以外の方向及び強度を示すように、前記操作情報を生成することを特徴とする、請求項１４に記載のプログラム。
【請求項16】
さらに、前記コンピュータを、前記操作対象機器がドローンである場合、ラダー、エレベーター、エルロン及びスロットルの内２つの操作を行うための第１領域と、前記第１領域の操作以外の２つの操作を行うための第２領域とに分けて、仮想コントローラ画像を前記表示装置に表示させる仮想コントローラ画像表示手段として機能させ、
前記操作情報生成保持手段は、前記第１領域における前記指示体によるスワイプ操作に基づいて、前記第１領域における操作情報を生成し、前記第２領域における前記指示体によるスワイプ操作に基づいて、前記第２領域における操作情報を生成することを特徴とする、請求項２に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、操作対象機器の操作用のプログラムに関し、より特定的には、表示装置への接触操作によって、操作対象機器を操作するためのプログラムに関する。
【背景技術】
【0002】
従来、ドローン等の操作対象機器を操作する場合、専用の操作用のハードウエア（コントローラなど）を用いる場合と、特許文献１ないし５に記載のように、タッチパネル（タッチスクリーンともいう。以下同様。）を用いて、操作対象機器を操作する場合とがあった。
【0003】
特許文献１には、撮像手段を保持する移動装置を外部から制御する操作装置が開示されている。特許文献１に記載の操作装置は、撮像手段で撮像している画像を表示する表示手段と、タッチ操作を検出するタッチ操作手段と、タッチ操作手段により検出されたタッチ操作に応答して、該タッチ操作がムーブ操作である場合に該ムーブ操作の操作方向に基づいて移動装置を移動させる指示手段とを有する。タッチ操作手段により、ムーブ操作の後、タッチオンの状態が継続して検出されている場合は、指示手段は、ムーブ操作に基づく移動を継続させる。
【0004】
特許文献２には、撮像手段を保持する移動装置を外部から制御する操作装置が開示されている。特許文献２に記載の操作装置は、撮像手段で撮像している画像を表示する表示手段と、タッチ操作を検出するタッチ操作手段と、タッチ操作手段により検出されたタッチ操作に応答して、該タッチ操作がピンチアウト操作である場合に移動装置を前方向へ移動させ、該タッチ操作がピンチイン操作である場合に該移動装置を後方向へ移動させる指示手段とを有する。タッチ操作手段により、ピンチアウト操作又はピンチイン操作の後、タッチオンの状態が継続して検出されている場合は、指示手段は、ピンチアウト操作又はピンチイン操作に基づく移動を継続させる。
【0005】
特許文献３の請求項４に記載の移動装置操作端末は、移動装置の撮像手段で撮像された撮像画像を画面に表示する表示手段と、撮像画像の移動方向を指定する操作を受け付ける受付手段と、移動方向が撮像されるように移動装置を移動させる制御手段とを有する。表示手段と受付手段は、タッチパネルである。制御手段は、タッチパネルに指をタッチしてスライドさせるドラッグ操作に基づき、タッチパネルの水平方向に対する指のスライド方向の角度が一定角度に含まれる場合、水平方向のドラッグ操作と判定して移動装置を回転させ、一定角度に含まれない場合、垂直方向のドラッグ操作と判定して移動装置を上昇又は下降させる。
【0006】
特許文献４の段落００７０及び００７１には、以下のように記載されている。「図３ｂに示されるように、ドローンを操縦するために、ユーザは、操縦アイコン３０内の自分の指を例えば灰色の円により示されるように左上へ移動させる。指のこの新たな位置にしたがって、操縦装置１５は、ドローンを上昇させると同時にドローンを左へ回転させることができるようにするコマンドを生成する。そのため、ドローンは、高度を得つつ左への僅かな回転を実行する。これらの操縦コマンドを保持するために、ユーザは、自分の指を用いて、自分がロックしたい操縦コマンドの場所で操縦装置のスクリーンの接触感知領域に対して更に高い圧力を及ぼし、それにより、これらの操縦コマンドがドローンを操縦するべく印加され続ける。」
【0007】
特許文献５には、表示装置と移動体と通信可能に接続される情報処理装置が開示されている。該情報処理装置は、表示装置の画面に対する、当該画面上の少なくとも２点を定める第１の操作を受付ける受付手段と、受付手段が受付けた第１の操作により定められた点の位置関係に基づいて、当該点同士を直線で結んだ経路を除く、所定のパターンの経路の移動を、移動体に実施させるための情報を、当該移動体に送信する送信手段とを備える。
【先行技術文献】
【特許文献】
【0008】
【文献】特許第６８５５６１６号公報
【文献】特許第６６８５７４２号公報
【文献】特許第６４７０１１２号公報
【文献】特開２０１７－１２３１４８号公報
【文献】特開２０２１－１２６１２号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
従来の操作用のコントローラは、操作対象機器専用のものであり、汎用性に乏しかった。
【0010】
特許文献１ないし５に記載のように、タッチパネルを用いて、操作対象機器を操作する場合でも、操作用として、実用的に使用可能なタッチパネルのサイズが限られる。
【0011】
特許文献１の操作装置では、ムーブ操作の後、タッチオンの状態が継続して検出されている場合に、指示手段が、ムーブ操作に基づく移動を継続させる。特許文献２の操作装置では、ピンチアウト操作又はピンチイン操作の後、タッチオンの状態が継続して検出されている場合に、指示手段が、ピンチアウト操作又はピンチイン操作に基づく移動を継続させる。
したがって、特許文献１及び２の操作装置の場合、タッチオンの状態を継続しやすいサイズのタッチパネルが用いられなければならない。
したがって、特許文献１及び２の操作装置の場合、タッチオンの状態を継続しやすいサイズのタッチパネルが用いられなければならない。
【0012】
特許文献３の移動装置操作端末では、ドラッグ操作の角度に応じて、水平移動か、垂直移動かを判定することとしている。
しかし、このような操作では、操作対象機器の細かな操作ができない。
しかし、このような操作では、操作対象機器の細かな操作ができない。
【0013】
特許文献４の装置では、ユーザは、自分の指を用いて、自分がロックしたい操縦コマンドの場所で操縦装置のスクリーンの接触感知領域に対して更に高い圧力を及ぼさなければならない。
したがって、接触感知領域に対して、指を押し続けることが可能なサイズのタッチパネルを用いなければならない。
したがって、接触感知領域に対して、指を押し続けることが可能なサイズのタッチパネルを用いなければならない。
【0014】
特許文献５の情報処理装置は、少なくとも画面上の２点を定めて操作を行うものである。
しかし、このような２点を定める操作が可能なサイズのタッチパネルを用いなければならない。
しかし、このような２点を定める操作が可能なサイズのタッチパネルを用いなければならない。
【0015】
このように、特許文献１ないし５のいずれに記載の装置においても、操作用に、ある程度の大きさを有するタッチパネルが必要となる。
また、操作のパターンも限られたものとなっている。
さらに、これらの装置では、指を触れ続けての操作が必要であり、小さいサイズのタッチパネルを使用した場合には、指を触れ続ける操作の難度が高くなる。
また、操作のパターンも限られたものとなっている。
さらに、これらの装置では、指を触れ続けての操作が必要であり、小さいサイズのタッチパネルを使用した場合には、指を触れ続ける操作の難度が高くなる。
【0016】
それゆえ、本発明は、汎用性があり、操作に用いるタッチパネル等のデバイスのサイズを選ばない機器操作用のプログラムを提供することを目的とする。
【課題を解決するための手段】
【0017】
上記課題を解決するために、本発明は、以下の特徴を有する。本発明は、駆動装置を有する操作対象機器を操作するためのプログラムであって、指示体による接触操作を受け付ける表示装置に接続される或いは当該表示装置を備えるコンピュータを、表示装置に対する指示体による接触操作に基づいて、操作対象機器を操作するための操作情報を生成し、指示体が表示装置に接触していない場合でも、操作情報を保持する操作情報生成保持手段、及び、保持されている操作情報を操作対象機器に送信することで、操作対象機器を操作する操作手段として機能さ、操作情報生成保持手段は、表示装置への接触が再度行われた場合に、保持されている最新の操作情報に基づいて、操作情報の生成を再開することを特徴とする、プログラムである。
【0018】
好ましくは、操作情報生成保持手段は、スワイプ中に表示装置への接触が離れたか否かを判断し、スワイプ中に表示装置への接触が離れたと判断した場合に、操作対象機器に対する現在の操作情報を保持する。
操作手段は、表示装置への接触が行われていない状態においても、保持されている現在の操作情報を操作対象機器に送信して、操作対象機器を操作する。
操作手段は、表示装置への接触が行われていない状態においても、保持されている現在の操作情報を操作対象機器に送信して、操作対象機器を操作する。
【0019】
一実施形態において、さらに、上記プログラムは、コンピュータを、表示装置の表示画面において、操作対象機器に対する操作を行うための領域を操作領域とし、かつ、表示装置上の予め決められた範囲を画面端判定枠として、仮想コントローラ画像を表示装置に表示させる仮想コントローラ画像表示手段として機能させる。
操作情報生成保持手段は、指示体による操作が操作領域から始まり、操作領域をはみ出たとしても、画面端判定枠に達するまでは、操作情報を生成する。
操作情報生成保持手段は、指示体による操作が操作領域から始まり、操作領域をはみ出たとしても、画面端判定枠に達するまでは、操作情報を生成する。
【0020】
一実施形態において、さらに、上記プログラムは、コンピュータを、少なくとも、操作対象機器に対する第１の操作を行うための第１領域と、操作対象機器に対する第２の操作を行うための第２領域とに分けて、仮想コントローラ画像を表示装置に表示させる仮想コントローラ画像表示手段として機能させる。
操作情報生成保持手段は、第１領域における指示体による操作に基づいて、第１の操作のための操作情報を生成し、第２領域における指示体による操作に基づいて、第２の操作のための操作情報を生成する。
操作情報生成保持手段は、第１領域における指示体による操作に基づいて、第１の操作のための操作情報を生成し、第２領域における指示体による操作に基づいて、第２の操作のための操作情報を生成する。
【0021】
一実施形態において、操作情報生成保持手段は、指示体による操作が第１領域から始まり、第１領域をはみ出て、第２領域に指示体の操作が達したとしても、第１領域での操作として、操作情報を生成する。
【0022】
一実施形態において、予め決められた画面端判定枠の外で指示体の接触が離れたと判断した場合、操作情報生成保持手段は、現在の操作情報を一段上の強度の操作情報であるとして更新する。
接触操作を受け付けるための操作入力部への接触が行われていない状態において、操作手段は、更新した現在の操作情報に基づいて、操作対象機器を操作し、表示装置への接触が再度行われた場合に、接触位置が属する領域における操作情報として保持されている現在の操作情報に基づいて、操作対象機器の操作を再開する。
接触操作を受け付けるための操作入力部への接触が行われていない状態において、操作手段は、更新した現在の操作情報に基づいて、操作対象機器を操作し、表示装置への接触が再度行われた場合に、接触位置が属する領域における操作情報として保持されている現在の操作情報に基づいて、操作対象機器の操作を再開する。
【0023】
一実施形態において、予め決められた画面端判定枠の外で接触が離れたと判断した場合であり、かつ、接触が離れた際の移動方向が所定の下方向であった場合に、操作情報生成保持手段は、接触が離れた指示体に基づいて生成される現在の操作情報を一段下の強度の操作情報であるとして更新することもできる。
表示装置への接触が行われていない状態において、操作手段は、更新した現在の操作情報に基づいて、操作対象機器を操作する。
表示装置への接触が再度行われた場合に、操作手段は、接触位置が属する領域における操作情報として保持されている現在の操作情報に基づいて、操作対象機器の操作を再開する。
表示装置への接触が行われていない状態において、操作手段は、更新した現在の操作情報に基づいて、操作対象機器を操作する。
表示装置への接触が再度行われた場合に、操作手段は、接触位置が属する領域における操作情報として保持されている現在の操作情報に基づいて、操作対象機器の操作を再開する。
【0024】
一実施形態において、上記プログラムは、コンピュータを、表示装置での操作が所定の上方向のフリックであるか否かを判断する上フリック判断手段として機能させる。
所定の上方向のフリックであると判断した場合に、操作情報生成保持手段は、現在の操作情報を一段上の強度の操作情報であるとして更新する。
接触操作を受け付けるための操作入力部への接触が行われていない状態において、操作手段は、更新した現在の操作情報に基づいて、操作対象機器を操作する。
操作入力部への接触が再度行われた場合に、操作手段は、接触位置が属する領域における操作情報として保持されている現在の操作情報に基づいて、操作対象機器の操作を再開する。
所定の上方向のフリックであると判断した場合に、操作情報生成保持手段は、現在の操作情報を一段上の強度の操作情報であるとして更新する。
接触操作を受け付けるための操作入力部への接触が行われていない状態において、操作手段は、更新した現在の操作情報に基づいて、操作対象機器を操作する。
操作入力部への接触が再度行われた場合に、操作手段は、接触位置が属する領域における操作情報として保持されている現在の操作情報に基づいて、操作対象機器の操作を再開する。
【0025】
一実施形態において、上記プログラムは、コンピュータを、表示装置での操作がタップ又は所定の下方向へのフリックであるか否かを判断するタップ・下フリック判断手段として機能させる。
タップ又は所定の下方向へのフリックであると判断した場合に、操作情報生成保持手段は、接触が離れた指示体に基づいて生成される現在の操作情報を一段下の強度の操作情報であるとして更新する。
接触操作を受け付けるための操作入力部への接触が行われていない状態において、操作手段は、更新した現在の操作情報に基づいて、操作対象機器を操作する。
操作入力部への接触が再度行われた場合に、操作手段は、接触位置が属する領域における操作情報として保持されている現在の操作情報に基づいて、操作対象機器の操作を再開する。
タップ又は所定の下方向へのフリックであると判断した場合に、操作情報生成保持手段は、接触が離れた指示体に基づいて生成される現在の操作情報を一段下の強度の操作情報であるとして更新する。
接触操作を受け付けるための操作入力部への接触が行われていない状態において、操作手段は、更新した現在の操作情報に基づいて、操作対象機器を操作する。
操作入力部への接触が再度行われた場合に、操作手段は、接触位置が属する領域における操作情報として保持されている現在の操作情報に基づいて、操作対象機器の操作を再開する。
【0026】
一実施形態において、上記プログラムは、コンピュータを、表示装置での操作がダブルタップであるか判断するダブルタップ判断手段として機能させる。
ダブルタップであると判断した場合に、操作情報生成保持手段は、接触位置が属する領域における操作情報として保持されている情報を破棄する。
操作手段は、操作対象機器に対して、接触した領域に属する移動を停止させる操作を行う。
ダブルタップであると判断した場合に、操作情報生成保持手段は、接触位置が属する領域における操作情報として保持されている情報を破棄する。
操作手段は、操作対象機器に対して、接触した領域に属する移動を停止させる操作を行う。
【0027】
一実施形態において、上記プログラムは、コンピュータを、表示装置での操作が停止ボタンの押下であるかを判断する停止ボタン判断手段として機能させる。
停止ボタンの押下であると判断した場合に、操作情報生成保持手段は、予め指定された領域で停止命令を実行し、それぞれの領域に属する保持されている情報を破棄する。
操作手段は、予め指定された領域に属する移動を停止させる操作を行う。予め指定された領域が全ての領域である場合は、操作対象機器を停止又はその場で待機させる操作を行う。
停止ボタンの押下であると判断した場合に、操作情報生成保持手段は、予め指定された領域で停止命令を実行し、それぞれの領域に属する保持されている情報を破棄する。
操作手段は、予め指定された領域に属する移動を停止させる操作を行う。予め指定された領域が全ての領域である場合は、操作対象機器を停止又はその場で待機させる操作を行う。
【0028】
一実施形態において、操作情報生成保持手段は、指示体による表示装置上でのスワイプの２次元ベクトルに基づいて、操作情報を生成する。
【0029】
一実施形態において、操作情報生成保持手段は、２次元ベクトルのｘ成分及びｙ成分に基づいて、操作情報を生成する。
【0030】
一実施形態において、操作対象機器がドローンである場合、操作情報生成保持手段は、ｘ成分及びｙ成分によって、ラダー及びエレベーターの方向及び強度を示すように、操作情報を生成する。
【0031】
一実施形態において、操作対象機器がドローンである場合、操作情報生成保持手段は、ｘ成分及びｙ成分によって、エルロン及びスロットルの方向及び強度を示すように、操作情報を生成する。
【0032】
一実施形態において、操作対象機器がドローンである場合、操作情報生成保持手段は、x成分及びy成分によって、ラダー、エレベーター、エルロン、及びスロットルのいずれか２つの方向及び強度を示すように、操作情報を生成する。
【0033】
一実施形態において、プログラムは、さらに、コンピュータを、操作対象機器がドローンである場合、ラダー、エレベーター、エルロン及びスロットルの内２つの操作を行うための第１領域と、第１領域の操作以外の２つの操作を行うための第２領域とに分けて、仮想コントローラ画像を表示装置に表示させる仮想コントローラ画像表示手段として機能させる。
操作情報生成保持手段は、第１領域における指示体によるスワイプ操作に基づいて、第１領域における操作情報を生成し、第２領域における指示体によるスワイプ操作に基づいて、第２領域における操作情報を生成する。
操作情報生成保持手段は、第１領域における指示体によるスワイプ操作に基づいて、第１領域における操作情報を生成し、第２領域における指示体によるスワイプ操作に基づいて、第２領域における操作情報を生成する。
【発明の効果】
【0034】
本発明によれば、生成された操作情報が保持され、指示体が表示装置に接触していない場合でも、保持されている操作情報に基づいて、操作対象機器が操作されることとなる。
これにより、ソフトウエアを用いた操作が可能となるので、専用の操作用のハードウエアが不要となるのであるから、汎用性に富んだ操作用のプログラムが提供されることとなる。
これにより、ソフトウエアを用いた操作が可能となるので、専用の操作用のハードウエアが不要となるのであるから、汎用性に富んだ操作用のプログラムが提供されることとなる。
【0035】
そして、指示体が表示装置に接触していない場合でも、操作が可能となるため、操作のために、指示体で、表示装置を接触し続けている必要がなく、表示装置が小さいサイズであったとしても、操作対象機器の操作がし易くなる。表示装置のサイズを選ばずに、操作を行うことが可能なプログラムが提供されることとなる。
【0036】
一つの表示画面に、複数の仮想コントローラ画像を配置することも可能となり、一つの表示装置で、複数の操作性や操作パターンを設定することが可能となる。設定した複数の操作パターンを適宜選択したり、併用したりすることも可能となり、様々な操作を実現することができる。
【0037】
操作領域及び画面端判定枠を設定しておき、操作領域をはみ出たとしても、画面端判定枠に達するまでは、操作情報を生成するようにしておけば、操作を開始する操作領域が小さかったとしても、画面端判定枠の全体を操作のために使用することが可能となる。よって、一つの仮想コントローラ画像はもちろんのこと、複数の仮想コントローラ画像を適宜配置して、画面全体を使うなどした操作が可能となり、様々な操作パターンを提供可能となる。
【0038】
表示画面を、第１領域と第２領域とに分けて、仮想コントローラ画像を配置し、第１領域の第１の操作と、第２領域の第２の操作とを別々にして、操作情報を生成することで、様々な操作パターンを提供可能となる。
【0039】
第１領域から始まり、第１領域をはみ出て、第２領域に指示体の操作が達したとしても、第１領域での操作として、操作情報を生成すれば、画面を広く利用して、第１の操作が可能となる。
【0040】
スワイプ中に、画面端判定枠の外で指が離れた場合は、一段上の強度となって、操作対象機器の操作が継続され、再接触の際には、一段上の強度から操作の継続が可能となる。
【0041】
スワイプ中に、下方向への移動によって、画面端判定枠の外に指が離れた場合には、一段下の強度となって、操作対象機器の操作が継続され、再接触の際には、一段下の強度から操作の継続が可能となる。
【0042】
所定の上方向へのフリックが行われた場合、一段上の強度となって、操作対象機器の操作が継続され、再接触の際には、一段上の強度から操作の継続が可能となる。
【0043】
タップ又は所定の下方向へのフリックが行われた場合、一段下の強度となって、操作対象機器の移動表示が継続され、再接触の際には、一段下の強度から操作の継続が可能となる。
【0044】
ダブルタップ又は停止ボタンの押下が行われた場合は、操作対象機器を停止又はその場で待機させることが可能となる。
【0045】
スワイプの２次元ベクトルに基づいて、操作情報を生成することで、正確な操作情報の生成が可能となる。
【0046】
２次元ベクトルのｘ成分及びｙ成分に基づいて操作情報を生成することにすれば、たとえば、ドローンの操作が可能となる。すなわち、ラダー、エレベーター、エルロン、及びスロットルの方向及び強度を、ｘ成分及びｙ成分で決めることができる。
【0047】
ラダー、エレベーター、エルロン、及びスロットルに対応する仮想コントローラ画像を、第１領域と第２領域とに分けることで、表示装置に、ドローンを操作するための仮想コントローラ画像を配置することが可能となる。第１領域及び第２領域に分けたことによる効果や、画面端判定枠を設けることの効果は、先述したのと同様である。
【0048】
本発明のこれら、及び他の目的、特徴、局面、効果は、添付図面と照合して、以下の詳細な説明から一層明らかになるであろう。
【図面の簡単な説明】
【0049】
【発明を実施するための形態】
【0050】
図１において、情報処理装置１は、制御部２と、記憶部３と、表示装置４と、通信部５と、入力部６とを備えるコンピュータである。なお、表示装置４は、情報処理装置１に備わっていてもよいし、情報処理装置１とは別体として、情報処理装置１に有線及び／又は無線で接続されてもよい。また、記憶部３は、情報処理装置１に備わっていてもよいし、情報処理装置１とは別体として、情報処理装置１に有線及び／又は無線若しくはネットワークを介して接続されてもよい。記憶部３としては、ネットワークに接続された外部のストレージも含むものとする。
【0051】
記憶部３には、操作対象機器１０を操作するためのプログラム（「操作プログラム」と表記）及びコントローラ毎の操作情報が記憶される。ここでコントローラとは、表示装置４に表示されている少なくとも１つのコントローラであり、仮想コントローラとも言う。
【0052】
制御部２は、記憶部３に記憶されている操作プログラムを読み込んで実行し、操作対象機器１０の操作に関する処理、及び、表示に関する処理を実行する。
【0053】
表示装置４は、表示部４ａと、操作入力部４ｂとを含む。表示装置４は、たとえば、一般に、タッチパネルと呼ばれるものであるとよいが、限定されない。表示部４ａは、液晶パネルや有機ＥＬパネル等である。操作入力部４ｂは、ユーザからの指やタッチペンなどの接触操作を受け付ける。
【0054】
入力部６は、操作入力部４ｂ以外の入力を受け付けるためのデバイスである。
【0055】
通信部５は、Ｗｉ－Ｆｉ（登録商標）機器やＢｌｕｅｔｏｏｔｈ（登録商標）機器などの通信機器と通信を行うためのデバイスである。通信部５は、操作対象機器１０の通信部１５と直接又はネットワークを介して通信することができる。
【0056】
図２に示すように、操作対象機器１０は、駆動部１１と、制御部１２と、記憶部１３と、通信部１５とを備える。
【0057】
駆動部１１は、操作対象機器１０を動作させるための駆動装置である。
記憶部１３は、制御部１２が駆動部１１を制御するために必要なプログラムやデータを記憶する。
通信部１５は、通信機器１の通信部５と直接又はネットワークを介して通信することができる。
記憶部１３は、制御部１２が駆動部１１を制御するために必要なプログラムやデータを記憶する。
通信部１５は、通信機器１の通信部５と直接又はネットワークを介して通信することができる。
【0058】
たとえば、操作対象機器１０がドローンであったとすると、駆動部１１は、複数のモータとそれに接続されたプロペラとからなる。
制御部１２は、情報処理装置１からの操作情報に基づいて、複数のモータの回転速度を制御することで、操作対象機器１０の上昇／下降(スロットル)、左右旋回(ラダー)、前進／後退(エレベーター)、及び左右平行移動(エルロン)を可能としている。
制御部１２は、情報処理装置１からの操作情報に基づいて、複数のモータの回転速度を制御することで、操作対象機器１０の上昇／下降(スロットル)、左右旋回(ラダー)、前進／後退(エレベーター)、及び左右平行移動(エルロン)を可能としている。
【0059】
ここで、ドローンを操作するときの操作情報の例について説明する。
ドローンの操作では下記の成分が使用される。
１．上昇／下降（スロットル）
２．左右旋回（ラダー）
３．前進／後退（エレベーター）
４．左右平行移動（エルロン）
ドローンの操作では下記の成分が使用される。
１．上昇／下降（スロットル）
２．左右旋回（ラダー）
３．前進／後退（エレベーター）
４．左右平行移動（エルロン）
【0060】
表示画面に表示されているコントローラをスワイプすることで、スワイプした方向及びスワイプの長さによって、２次元ベクトルが得られる。スワイプの向きが２次元ベクトルの向きに相当し、スワイプの長さが２次元ベクトルの大きさに相当する。
【0061】
ドローンの操作の場合、上記１～４の４つの成分を２つの２次元ベクトルに振り分け、それぞれの２次元ベクトルを操作することでドローンを操作する。
たとえば、表示画面に境界線を設けて、「境界線上部」と「境界線下部」とで、２つのコントローラに分けたとする。そのとき、「境界線上部」と「境界線下部」の２つのコントローラに、それぞれ上記１～４に対応する強度を、下記のように２次元ベクトルの情報として割り当てる。
たとえば、表示画面に境界線を設けて、「境界線上部」と「境界線下部」とで、２つのコントローラに分けたとする。そのとき、「境界線上部」と「境界線下部」の２つのコントローラに、それぞれ上記１～４に対応する強度を、下記のように２次元ベクトルの情報として割り当てる。
【0062】
Ａ．上昇下降左右移動（境界線上部のコントローラで操作）
Ｘ軸方向：左右平行移動（エルロン）の強度
Ｙ軸方向：上昇／下降（スロットル）の強度
Ｂ．前後旋回移動（境界線下部のコントローラで操作）
Ｘ軸方向：左右旋回（ラダー）の強度
Ｙ軸方向：前進／後退（エレベーター）の強度
なお、このとき、Ｘ軸方向の強度は、２次元ベクトルのｘ成分の大きさであり、Ｙ軸方向の強度は、２次元ベクトルのｙ成分の大きさである。
Ｘ軸方向：左右平行移動（エルロン）の強度
Ｙ軸方向：上昇／下降（スロットル）の強度
Ｂ．前後旋回移動（境界線下部のコントローラで操作）
Ｘ軸方向：左右旋回（ラダー）の強度
Ｙ軸方向：前進／後退（エレベーター）の強度
なお、このとき、Ｘ軸方向の強度は、２次元ベクトルのｘ成分の大きさであり、Ｙ軸方向の強度は、２次元ベクトルのｙ成分の大きさである。
【0063】
なお、一例として上記割り当てとしているが、上記ＡのＸ軸方向、Ｙ軸方向、上記ＢのＸ軸方向、Ｙ軸方向に対しては、上記１～４をどこに割り当ててもよい。
【0064】
たとえば、境界線下部のコントローラを用いて、スワイプした場合を説明する。
このとき、Ｘ軸成分の強度に合わせて旋回する操作となり、Ｘ軸成分が正の場合は、右旋回であり、Ｘ軸成分が負の場合は、左旋回となる。
同時に、Ｙ軸成分の強度に合わせて前進または後退する操作となり、Ｙ軸成分が正の場合は、前進となり、Ｙ軸成分が負の場合は、後退となる。
なお、画面の右がＸ軸の正、左がＸ軸の負、上がＹ軸の正、下がＹ軸の負としているが、限定されるものではなく、逆の関係でもよいし、画面の向きによって、適宜、変更されてもよい。
このとき、Ｘ軸成分の強度に合わせて旋回する操作となり、Ｘ軸成分が正の場合は、右旋回であり、Ｘ軸成分が負の場合は、左旋回となる。
同時に、Ｙ軸成分の強度に合わせて前進または後退する操作となり、Ｙ軸成分が正の場合は、前進となり、Ｙ軸成分が負の場合は、後退となる。
なお、画面の右がＸ軸の正、左がＸ軸の負、上がＹ軸の正、下がＹ軸の負としているが、限定されるものではなく、逆の関係でもよいし、画面の向きによって、適宜、変更されてもよい。
【0065】
たとえば、境界線下部のコントローラを用いて、右上に向けてスワイプした場合、「Ｘ軸成分が正、Ｙ軸成分が正」となるので、「右旋回しながら前進」という操作となり、操作対象機器１０（ドローンなど）は上から見て右回りに円を描くように移動することとなる。同様に、左上に向けてスワイプした場合、「Ｘ軸成分が負、Ｙ軸成分が正」となるので、「左旋回しながら前進」という操作となる。右下に向けてスワイプした場合、「Ｘ軸成分が正、Ｙ軸成分が負」となるので、「右旋回しながら後進」という操作となる。左下に向けてスワイプした場合、「Ｘ軸成分が負、Ｙ軸成分が負」となるので、「左旋回しながら後進」という操作となる。Ｘ軸及びＹ軸の各成分の強度次第で、旋回の円の半径は変動する。
【0066】
完全に上方向にスワイプできた場合は、「Ｘ軸成分が０、Ｙ軸成分が正」となるので、「前進」という操作となる。完全に下方向にスワイプできた場合は、「Ｘ軸成分が０、Ｙ軸成分が負」となるので、「後進」という操作となる。完全に右方向にスワイプできた場合は、「Ｘ軸成分が正、Ｙ軸成分が０」となるので、「右に旋回」という操作となる。完全に左方向にスワイプできた場合は、「Ｘ軸成分が負、Ｙ軸成分が０」となるので、「左に旋回」という操作となる。
【0067】
このような例を踏まえて、操作情報について説明する。
操作情報は、操作対象機器１０に対して操作を指令するための情報である。操作情報には、コントローラ毎に、第１記憶枠に記憶されている情報と、第２記憶枠に記憶されている情報とがある。
操作情報は、操作対象機器１０に対して操作を指令するための情報である。操作情報には、コントローラ毎に、第１記憶枠に記憶されている情報と、第２記憶枠に記憶されている情報とがある。
【0068】
第１記憶枠には、「現在の操作情報」として、「操作強度」、「操作強度段階」、「基本操作強度」、及び「移動方向」が記憶される。
「現在の操作情報」の「移動方向」は、スワイプしたときの２次元ベクトルの向きを表している。
「現在の操作情報」の「操作強度」は、スワイプしたときの２次元ベクトルの大きさを表している。なお、「操作強度」は、操作対象機器１０での操作内容に適した形式で記憶されおり、２次元ベクトルの大きさのまま記憶されていてもよいし、Ｘ軸成分の大きさ及びＹ軸成分の大きさに分解されて表されていてもよく、その他の形式で記憶されていてもよい。
「現在の操作情報」の「操作強度段階」は、操作強度の段階を表している。
「現在の操作情報」の「基本操作強度」は、「操作強度段階」における基本の操作強度を表している。
第２記憶枠には、操作強度段階毎に、「基本操作強度」が記憶される。
「現在の操作情報」の「移動方向」は、スワイプしたときの２次元ベクトルの向きを表している。
「現在の操作情報」の「操作強度」は、スワイプしたときの２次元ベクトルの大きさを表している。なお、「操作強度」は、操作対象機器１０での操作内容に適した形式で記憶されおり、２次元ベクトルの大きさのまま記憶されていてもよいし、Ｘ軸成分の大きさ及びＹ軸成分の大きさに分解されて表されていてもよく、その他の形式で記憶されていてもよい。
「現在の操作情報」の「操作強度段階」は、操作強度の段階を表している。
「現在の操作情報」の「基本操作強度」は、「操作強度段階」における基本の操作強度を表している。
第２記憶枠には、操作強度段階毎に、「基本操作強度」が記憶される。
【0069】
以下、情報処理装置１及び操作対象機器１０の動作について、説明する。
最初に、図３を用いて、スワイプを例としたときの情報処理装置１及び操作対象機器１０の主な処理の概要を説明する。
最初に、図３を用いて、スワイプを例としたときの情報処理装置１及び操作対象機器１０の主な処理の概要を説明する。
【0070】
まず、情報処理装置１は、操作対象機器１０に対して、通信接続を要求する（Ｓ１００）。操作対象機器１０は、通信可能状態で待機していたところに（Ｓ１２０）、情報処理装置１からの通信接続要求を受信すると、接続を受諾する（Ｓ１２１）。情報処理装置１は、操作対象機器１０の接続受諾を確認して、接続を確立する（Ｓ１０１）。
【0071】
図１０に、操作対象機器１０への接続の際、情報処理装置１の画面の例を示す。図１０に示されているように、画面の左枠の「操作端末」の枠内の下段のコントローラの右下にある「接続」ボタンを押下すると、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線で、ドローンやラジコンなどの操作対象機器１０に接続される。画面の右枠の「操作対象」の枠に示されている「フィールド」の範囲内は、無線接続可能な範囲である。「フィールド」は、中継機を用いて、範囲拡張も可能である。接続可能範囲内で、範囲指定がある場合は、範囲指定が優先される。ただし、接続範囲については、本発明を限定するものではない。
【0072】
情報処理装置１と操作対象機器１０とは、常時、接続状態確認（Ｓ１０２）と接続応答（Ｓ１２２）とを行っているものとする。
【0073】
このようにして接続が確立された段階で、使用者が操作入力部４ｂの画面の任意位置に指を触れたとする（Ｓ１０３）。情報処理装置１は、接触位置に応じて、使用するコントローラを決定する（Ｓ１０４）。そして、情報処理装置１は、スワイプが行われた場合（Ｓ１０５）、該スワイプに応じた操作情報を操作対象機器１０に送信する（Ｓ１０６）。
【0074】
操作対象機器１０は、操作情報を受信して（Ｓ１２３）、操作対象となるモータなどのデバイスの認識や処理速度などの操作情報の仕分けを行う（Ｓ１２４）。操作に対応した各装置が、処理を実行する（Ｓ１２５）。
【0075】
たとえば、図１１Ａに示されているように、画面の左枠の境界線より下の画面下部領域に接触したら、情報処理装置１は、画面下部領域に割り当てられているコントローラを用いて、操作対象機器１０の操作を行うものとする。
【0076】
ここでは、ドローンを例にして説明するが、画面下部領域は、操作対象機器１０を左右旋回（ラダー）及び前進／後退（エレベーター）するための仮想コントローラとなっている。画面下部領域には、仮想コントローラとして、たとえば、図示しているように、移動方向を表現する図形が仮想コントローラ画像として用いられている。ここで示す仮想コントローラ画像は、一例に過ぎず、本発明を限定するものではない。先述したとおり、スワイプの２次元ベクトルの向き及び大きさに基づいて、操作対象機器１０は、左右旋回、前進、及び後進する。
【0077】
画面の右側の「上から見た図」には、操作対象機器１０の位置を、操作対象機器１０が撮像した画像と重ねて表示されていてもよい。
【0078】
スワイプの後、指が画面端判定枠に到達したとする（Ｓ１０７）。画面端判定枠は、予め決められた枠であり、図１１Ａの例であれば、境界線下部から接触が始まった場合は、図示されているように、画面の上下左右の枠が、画面端判定枠となる。境界線上部から接触が始まった場合でも、画面の上下左右の枠が、画面端判定枠となる。ここでは、境界線は画面端判定枠とはしていないが、境界線を画面端判定枠としてもよい。
【0079】
そして、指が、画面端判定枠からはみ出したとする（Ｓ１０８）。情報処理装置１は、「基本操作強度」を「はみ出す前の操作強度」に更新し（Ｓ１０９）、「操作強度段階」を加算し（Ｓ１１０）、「操作強度」をそのまま継続する（Ｓ１１１）。そして、情報処理装置１は、Ｓ１０３の動作に戻る。
このようにして、スワイプが行われた場合、接触位置に応じたコントローラが利用されて、操作に応じた操作情報が操作対象機器１０に送信されて、操作対象機器１０の操作が行われる。
このようにして、スワイプが行われた場合、接触位置に応じたコントローラが利用されて、操作に応じた操作情報が操作対象機器１０に送信されて、操作対象機器１０の操作が行われる。
【0080】
もし、通信の切断が実行されたとすると（Ｓ１１２）、情報処理装置１は、通信切断実行を、操作対象機器１０に対して、送信する（Ｓ１１３）。
操作対象機器１０は、切断指示を受信し（Ｓ１２６）、切断前処理（Ｓ１２８）の後、通信を切断する（Ｓ１２９）。また、操作対象機器１０側で、通信切断要因が発生した場合（Ｓ１２７）にも、切断前処理（Ｓ１２８）の後、通信を切断する（Ｓ１２９）。
操作対象機器１０は、切断指示を受信し（Ｓ１２６）、切断前処理（Ｓ１２８）の後、通信を切断する（Ｓ１２９）。また、操作対象機器１０側で、通信切断要因が発生した場合（Ｓ１２７）にも、切断前処理（Ｓ１２８）の後、通信を切断する（Ｓ１２９）。
【0081】
また、バッテリー不足や距離等の要因で、通信状態の確認が不能になった場合（通信タイムアウトの場合）（Ｓ１１４）、情報処理装置１は、Ｓ１００の動作に戻る。
【0082】
次に、図４を用いて、情報処理装置１及び操作対象機器１０において実行される処理の大枠について説明する。
情報処理装置１と操作対象機器１０とは、双方向に通信可能となるように、通信確立処理を実行する（Ｓ３０１）。
通信が確立された後は、情報処理装置１は、通信状態確認処理を、随時実行する（Ｓ３０２）。
操作対象機器１０は、情報処理装置１からの操作情報を受信して、操作情報に応じた処理（行動処理）を実行する（Ｓ３０３）。
情報処理装置１は、各種情報の送受信処理を実行する（Ｓ３０４）。
情報処理装置１は、コントローラの操作処理を実行して、使用者の操作によって得られる操作情報を生成する（Ｓ３０５）。
情報処理装置１と操作対象機器１０とは、双方向に通信可能となるように、通信確立処理を実行する（Ｓ３０１）。
通信が確立された後は、情報処理装置１は、通信状態確認処理を、随時実行する（Ｓ３０２）。
操作対象機器１０は、情報処理装置１からの操作情報を受信して、操作情報に応じた処理（行動処理）を実行する（Ｓ３０３）。
情報処理装置１は、各種情報の送受信処理を実行する（Ｓ３０４）。
情報処理装置１は、コントローラの操作処理を実行して、使用者の操作によって得られる操作情報を生成する（Ｓ３０５）。
【0083】
図５を用いて、情報処理装置１と操作対象機器１０とによる通信確立処理について説明する。
情報処理装置１は、操作対象機器１０に対して、通信接続を要請する（Ｓ４０１）。このときの通信方法は、使用している各通信規格に準拠するものとする（以下同様）。そして、情報処理装置１は、受信待機する（Ｓ４０２）。
情報処理装置１は、操作対象機器１０に対して、通信接続を要請する（Ｓ４０１）。このときの通信方法は、使用している各通信規格に準拠するものとする（以下同様）。そして、情報処理装置１は、受信待機する（Ｓ４０２）。
【0084】
操作対象機器１０は、通信可能状態で待機していたときに（Ｓ５０１）、情報処理装置１からの要請を受けたとすると、接続を受諾して（Ｓ５０２）、送受信が開始される（Ｓ５０３）。操作対象機器１０は、通信状態を情報処理装置１に送信する（Ｓ５０４）。
【0085】
情報処理装置１は、操作対象機器１０からの通信状態を受信できているか否かを判断する（Ｓ４０３）。受信できていない場合、情報処理装置１は、待機する（Ｓ４０２）。受信できた場合、情報処理装置１は、操作対象機器１０との通信接続を確立する（Ｓ４０４）。
【0086】
図６を用いて、通信状態の確認処理について説明する。
情報処理装置１は、操作対象機器１０との通信状態を確認する（Ｓ６０１）。確認が可能であった場合（Ｓ６０２のＹｅｓ）、情報処理装置１は、接続状態と判定し（Ｓ６０３）、Ｓ６０１に戻る。確認が出来なかった場合（Ｓ６０２のＮｏ）、情報処理装置１は、通信を切断して（Ｓ６０４）、通信確立処理（Ｓ３０１）に戻る。
このように、情報処理装置１は、操作対象機器１０との間で、随時、通信状態が維持できているかを確認している。
情報処理装置１は、操作対象機器１０との通信状態を確認する（Ｓ６０１）。確認が可能であった場合（Ｓ６０２のＹｅｓ）、情報処理装置１は、接続状態と判定し（Ｓ６０３）、Ｓ６０１に戻る。確認が出来なかった場合（Ｓ６０２のＮｏ）、情報処理装置１は、通信を切断して（Ｓ６０４）、通信確立処理（Ｓ３０１）に戻る。
このように、情報処理装置１は、操作対象機器１０との間で、随時、通信状態が維持できているかを確認している。
【0087】
図７を用いて、操作対象機器１０の行動処理について説明する。
操作対象機器１０は、情報処理装置１から送信されてくる操作情報を受信し（Ｓ７０１）、受信に応答する（Ｓ７０２）。操作対象機器１０は、受信した操作情報が適切か否かを判断する（Ｓ７０３）。適切でない場合、操作対象機器１０は、処理をスキップして、Ｓ７０１に戻る（Ｓ７０４）。適切である場合、操作対象機器１０は、操作情報に応じて、駆動装置１１を制御するなどの処理を実行する（Ｓ７０５）。
操作対象機器１０は、情報処理装置１から送信されてくる操作情報を受信し（Ｓ７０１）、受信に応答する（Ｓ７０２）。操作対象機器１０は、受信した操作情報が適切か否かを判断する（Ｓ７０３）。適切でない場合、操作対象機器１０は、処理をスキップして、Ｓ７０１に戻る（Ｓ７０４）。適切である場合、操作対象機器１０は、操作情報に応じて、駆動装置１１を制御するなどの処理を実行する（Ｓ７０５）。
【0088】
図８を用いて、各種情報の送受信処理について説明する。
まず、情報処理装置１は、コントローラの画像（仮想コントローラ画像）を、表示装置に表示させる（Ｓ８００）。使用者は、コントローラを指などの指示体で操作する。その操作に応じて、後述の図９の処理に従って、操作情報が生成され、保持される。
情報処理装置１は、予め決めた範囲を画面端判定枠として、仮想コントローラ画像を生成する。
また、情報処理装置１は、操作対象機器１０の位置が分かる画像を、表示装置４に表示させるとよい。
まず、情報処理装置１は、コントローラの画像（仮想コントローラ画像）を、表示装置に表示させる（Ｓ８００）。使用者は、コントローラを指などの指示体で操作する。その操作に応じて、後述の図９の処理に従って、操作情報が生成され、保持される。
情報処理装置１は、予め決めた範囲を画面端判定枠として、仮想コントローラ画像を生成する。
また、情報処理装置１は、操作対象機器１０の位置が分かる画像を、表示装置４に表示させるとよい。
【0089】
なお、ドローンを操作する場合は、一例であるが、たとえば、図１１Ａに示すように、境界線の上部をエルロン及びスロットルの操作のための仮想コントローラ画像とし、境界線の下部をラダー及びエレベーターの操作のための仮想コントローラ画像とするとよい。境界線の左右に、それぞれの仮想コントローラ画像を設けてもよいことは言うまでもない。また、図１１Ａの「上から見た図」に示すように、情報処理装置１は、操作対象機器１０の位置が分かるような画像を、表示装置４に表示する。このように、操作対象機器１０がドローンである場合、表示装置４における表示画面上で、ラダー及びエレベーターの操作を行うための第１領域と、エルロン及びスロットルの操作を行うための第２領域とを分けておくとよい。なお、第１領域及び第２領域とは、相対的な呼称であるので、第１領域を第２領域と呼称し、第２領域を第１領域と呼称してもよい。
【0090】
情報処理装置１は、コントローラに入力された操作情報を操作対象機器１０に送信し（Ｓ８０１）、送信が成功したか否かを判断する（Ｓ８０２）。送信に成功した場合（Ｓ８０２のＹｅｓ）、情報処理装置１は、規定時間待機する（Ｓ８０３）。送信に失敗した場合（Ｓ８０２のＮｏ）、情報処理装置１は、規定回数送信に失敗したか否かを判断する（Ｓ８０４）。規定回数失敗した場合（Ｓ８０４のＹｅｓ）、情報処理装置１は、操作対象機器１０との通信を切断して（Ｓ８０５）、通信確立処理（Ｓ３０１）に戻る。規定回数失敗していない場合（Ｓ８０４のＮｏ）、情報処理装置１は、Ｓ８０１の処理に戻る。
【0091】
このように、情報処理装置１は、送信情報を操作対象機器１０に送信することで、操作対象機器１０を操作する操作手段として機能する。情報処理装置１は、保持されている操作情報を操作対象機器１０に送信する。したがって、表示装置４に対しての指示体の接触が行われていない状態においても、情報処理装置１は、操作対象機器１０を操作することが可能となっている。
【0092】
上記の操作情報の送信と合わせて、情報処理装置１は、操作対象機器１０の状態を受信し（Ｓ８０６）、受信に成功したか否かを判断する（Ｓ８０７）。受信に成功した場合（Ｓ８０７のＹｅｓ）、情報処理装置１は、規定時間待機する（Ｓ８０８）。受信に失敗した場合（Ｓ８０７のＮｏ）、情報処理装置１は、規定回数受信に失敗したか否かを判断する（Ｓ８０９）。規定回数失敗した場合（Ｓ８０９のＹｅｓ）、情報処理装置１は、操作対象機器１０との通信を切断し（Ｓ８１０）、通信確立処理（Ｓ３０１）に戻る。規定回数失敗していない場合（Ｓ８０９のＮｏ）、情報処理装置１は、Ｓ８０６の処理に戻る。
【0093】
図９を用いて、コントローラの操作処理による操作情報の生成及び保持のフローについて説明する。なお、ここでは、指が接触するとして説明するが、指以外に、タッチペンなどの他の指示体が接触した場合も同様の処理の流れとなる。なお、以下の説明では、画面の一部に各コントローラに割り当てられた担当領域が決められているとして説明するが、表示画面の全てが一つのコントローラに担当領域として割り当てられていてもよい。
【0094】
担当領域内の任意の位置に指が接触した場合（Ｓ２０１）、制御部２は、「現在の操作情報」の「操作強度」を、「基本操作強度」に更新する（Ｓ２０２）。
【0095】
Ｓ２０１の動作の開始タイミングとしては、以下の二つがある。第１は、初めての操作や「現在の操作情報」がリセットされている場合である。第２は、「現在の操作情報」に指が離れる前の情報が保持されている場合である。
【0096】
第１の場合、Ｓ２０２の動作では、「現在の操作情報」の「操作強度」がデフォルトの値（たとえば、「０」）に設定される。
【0097】
第２の場合、後述のＳ２１２、Ｓ２１７、又はＳ２２３の動作より、指が離れる前の「操作強度」が「基本操作強度」として保持されることになる。第２の場合、Ｓ２０２の動作では、「現在の操作情報」の「操作強度」が、保持されている「基本操作強度」に更新される。よって、再度画面に指が接触した場合、指が離れる直前の操作が継続されることとなる。
【0098】
本発明の実施形態では、仮想コントローラ画像の領域を一以上設けている。そのため、情報処理装置１が、再接触の接触位置を判断し、その接触位置が属する領域における操作情報として保持されている現在の操作情報が、再接触後の操作に利用される。すなわち、後述の第１領域に再接触されたのであれば、第１領域について保持されている現在の操作情報に基づいて、操作対象機器１０の操作が再開されるのであり、後述の第２領域に再接触されたのであれば、第２領域について保持されている現在の操作情報に基づいて、操作対象機器１０の操作が再開されるのである。この再接触のときに利用される現在の操作情報については、スワイプ、上フリック、下フリック、及びダブルタッチのいずれの場合についても同様である。よって、以後の説明において、再接触の際は、接触位置に対応する領域について保持されている操作情報に基づいて操作が再開されることを前提とし、都度の説明を省略する。
【0099】
そして、行われた操作が、スワイプであるか、上方向へのフリック（図９上、「上フリック」と表記する。）であるか、タップ又は下方向へのフリック（図９上、「下フリック」と表記する。）であるか、ダブルタップであるか、停止ボタンの押下であるかを判断する（Ｓ２０３）。
【0100】
上フリックの判別基準となる上方向とは、適宜、予め決められた所定の角度としておけばよい。したがって、所定の上方向とは、画面の側面に対して、完全に平行な上方向である必要はなく、所定の決められた角度の範囲内の上方向をいう。
【0101】
下フリックの判別基準となる下方向についても、適宜、予め決められた角度としておけばよい。したがって、所定の下方向とは、画面の側面に対して、完全に平行な下方向である必要はなく、所定の決められた角度の範囲内の下方向をいう。
【0102】
また、表示デバイスとの位置関係や表示デバイスの向きや傾斜方向などに基づいて、上下が決まるものであるから、上方向及び下方向とは、概念的には、第１方向及び第２方向と表現することができる。
【0103】
スワイプとフリックの違いは、適宜、周知の技術に基づいて定義付けられ、両者が区別できるものとして定義付けられていればよい。
【0104】
また、スワイプをスライドやスクロールと表現したとしても、それは、スワイプに含まれるものとする。
【0105】
タップとは、画面を一回軽くタッチする操作である。ダブルタップとは、画面を二回連続で軽くタッチする操作である。
【0106】
＜スワイプの場合の動作＞
Ｓ２０３において、制御部２がスワイプであると判断した場合（Ｓ２０４）、制御部２は、スワイプの長さに応じて、「現在の操作情報」の「操作強度」を、アップさせて（Ｓ２０８）、スワイプの方向に応じて、「現在の操作情報」の「移動方向」を変更する（Ｓ２０９）。このとき、再接触された場合は、一旦、基本操作強度に戻って、スワイプによる強度のアップを再開してもよいし、保持されている現在の操作強度から、スワイプによる強度のアップを再開するようにしてもよい。すなわち、再接触された場合、情報処理装置１は、保持されている操作情報に基づいて、新たな操作情報を生成していけばよいのであり、どの強度から再開するかは、任意である。
Ｓ２０３において、制御部２がスワイプであると判断した場合（Ｓ２０４）、制御部２は、スワイプの長さに応じて、「現在の操作情報」の「操作強度」を、アップさせて（Ｓ２０８）、スワイプの方向に応じて、「現在の操作情報」の「移動方向」を変更する（Ｓ２０９）。このとき、再接触された場合は、一旦、基本操作強度に戻って、スワイプによる強度のアップを再開してもよいし、保持されている現在の操作強度から、スワイプによる強度のアップを再開するようにしてもよい。すなわち、再接触された場合、情報処理装置１は、保持されている操作情報に基づいて、新たな操作情報を生成していけばよいのであり、どの強度から再開するかは、任意である。
【0107】
なお、実際に挙動を試行してみたところ、再接触された場合に、一旦、基本操作強度に戻って、スワイプによる強度のアップを再開する操作とすることのメリットが確認できたので、説明しておく。もちろん、本発明を限定する意図ではない。
【0108】
たとえば、ｎ－１段階の基本操作強度（「ｎ－１段階のデフォルト」という。）が１０であったとし、ｎ段階の基本操作強度（「ｎ段階のデフォルト」という。）が３００であったとする。
【0109】
仮に、再接触時に、再接触する前の保持されている現在の操作強度からスワイプによる強度のアップを再開する場合を考える。この場合、ｎ段階中は、後述のタップでｎ－１段階のデフォルトには戻れるが、ｎ段階のデフォルトには戻れない。また、ｎ段階のデフォルトに戻るためには、ｎ＋１段階に進んだ上でタップしなければならない。加えて、ｎ段階中にタップするとｎ－１段階のデフォルトに戻るため極端な減速となりやすく操作難度が高くなる。さらに、ｎ－１段階中に再接触を繰り返すことで強度が加算され得るため画面判定枠のサイズで強度加算量を制限できず、操作強度段階ごとの強度差が大きくなり操作精度が落ちる。また、同じ強度段階の操作における基本操作強度のデフォルト速度としての役割や、同強度段階における強度加算範囲限定としての画面端判定枠の役割が消失する。
【0110】
一方、再接触時に、一旦、基本操作強度に戻って、スワイプによる強度のアップを再開する場合は、ｎ段階のデフォルトから始まるので、ｎ－１段階のデフォルト、ｎ段階のデフォルト、及びｎ＋１段階のデフォルトを使い分けての操作が実現でき、操作がし易いというメリットがある。
【0111】
なお、先述したとおり、ドローンの操作例であれば、制御部２は、スワイプを２次元ベクトルとして認識し、当該２次元ベクトルの方向を「移動方向」とし、当該２次元ベクトルのｘ成分の大きさをラダーの「操作強度」とし、ｙ成分の大きさをエレベーターの「操作強度」とするとよい。
【0112】
次に、制御部２は、指が画面から離れたか否かを判断する（Ｓ２１０）。なお、この処理は、指が画面から離れたことによる割り込み処理でもよいことは言うまでもない。指が画面から離れない間、即ち、スワイプが続いている間、制御部２は、Ｓ２０８及びＳ２０９の動作を実行する。指が画面から離れたら、制御部２は、指が離れたのが画面端判定枠の外か否かを判定する（Ｓ２１１）。
【0113】
ここで、「画面端判定枠」とは、操作のための担当領域と一致してもよいし、担当領域を超えた範囲を、画面端判定枠としてもよいし、さらに、画面全体を画面端判定枠としてもよい。
【0114】
上記のいずれの場合でも、仮想コントローラ画像やオブジェクト、その他の有無に関係なく、画面の任意の位置に触れば、操作が行われるようにしてもよいし、逆に、一部の表示部分については、操作を受け付けないようにしてもよい。画面のどの領域で操作を受け付けるかについては、本発明を何ら限定するものではない。
【0115】
Ｓ２１０において指が画面から離れたか否かの判断は、Ｓ２１１の画面端判定枠の外で指が離れたか否かの判断の前にある。したがって、指が画面から離れたという事象は、画面端判定枠の内側で指が離れた場合と、画面端判定枠の外側で指が離れた場合との両方を含むことになる。
【0116】
なお、実装されるハードウエア又はプログラムによっては、Ｓ２１０及びＳ２１１のように、２段階に判断せずに、１段階の判断で、画面端判定枠の内側で指が離れたか、画面端判定枠の外側で指が離れたかを判断することができる可能性がある。そのような場合であっても、指が画面から離れたか否かが判断されていることになるのであり、そのようなハードウエア又はプログラムであっても、本発明に含まれることになる。
【0117】
Ｓ２１１において、指が離れたのが画面端判定枠の内側である場合（Ｓ２１１のＮｏの場合）、制御部２は、第１記憶枠に記憶されている「現在の操作情報」の「基本操作強度」を保持し（Ｓ２１２）、「現在の操作情報」の「操作強度段階」を保持し（Ｓ２１３）、「現在の操作情報」の「操作強度」を保持し（Ｓ２１４）、「現在の操作情報」の「移動方向」を保持し（Ｓ２１５）、担当領域内の任意の位置に指が接触するまで待機する。これらのデータの保持は、担当領域に対応するコントローラ毎に行われる。
【0118】
このように、スワイプの後、指が画面端判定枠の内側で離れた場合は、「現在の操作情報」が保持されたままとなる。したがって、指が離れていても、保持されている「現在の操作情報」が操作対象機器１０に送信される（Ｓ８０１）こととなる。
【0119】
また、このように、「現在の操作情報」が保持されるので、再度、画面に指が接触した場合には、保持されている「現在の操作情報」に基づいて、Ｓ２０２以降のステップによって、指が離れる前の操作が継続していくことになる。再接触の際の操作判定（Ｓ２０３）において、同様のスワイプ操作であればもちろんのこと、スワイプ以外の操作が行われていた場合であっても、指が離れる前の操作が継続されることになり、直感的かつ優れた操作性が実現できる。
【0120】
Ｓ２１１において、指が離れたのが画面端判定枠の外側である場合（Ｓ２１１のＹｅｓの場合）、制御部２は、指が画面判定枠から外れる直前の第１記憶枠の「操作強度」を第２記憶枠の「基本操作強度」として記憶する（Ｓ２１６）。このとき、「基本操作強度」を記憶するための第２記憶枠の「操作強度段階」は、「現在の操作情報」における「操作強度段階」となる。
【0121】
次に、制御部２は、第２記憶枠に記憶した第１記憶枠の「操作強度」の値を第１記憶枠の「基本操作強度」に設定して、「現在の操作情報」を更新する（Ｓ２１７）。
【0122】
次に、制御部２は、「基本操作強度」が新たに設定されたため「操作強度段階」を加算して、一段上の操作強度にして、「現在の操作情報」を更新する（Ｓ２１８）。制御部２は、「現在の操作情報」の「操作強度」はそのまま保持し（Ｓ２１９）、「移動方向」もそのまま保持し（Ｓ２２０）、担当領域内の任意の位置に指が接触するまで待機する。
【0123】
画面判定枠の外で指が離れた場合であっても、Ｓ２１９及びＳ２２０の動作によって、「現在の操作情報」の「操作強度」及び「移動方向」が保持されている。したがって、Ｓ２１２～Ｓ２１５のときと同様に、フレームタイミングが到来した場合、指が離れていても、保持されている「現在の操作情報」に基づいて、操作対象機器１０を操作することができる。
【0124】
また、「現在の操作情報」が保持されるので、再度、画面に指が接触した場合には、保持されている「現在の操作情報」に基づいて、Ｓ２０２以降のステップによって、指が離れる前の操作が継続していくことになる。再接触の際の操作判定（Ｓ２０３）において、同様のスワイプ操作であればもちろんのこと、スワイプ以外の操作が行われていた場合であっても、指が離れる前の操作が継続されることになり、直感的かつ優れた操作性が実現できる。
【0125】
そして、Ｓ２１６において、第１記憶枠の「現在の操作情報」の「操作強度段階」に対応する第２記憶枠の操作強度段階の「基本操作強度」が設定されることとなり、Ｓ２１７及びＳ２１８において、「現在の操作情報」の「操作強度段階」が加算されて、一段上の新たな操作強度段階の「操作強度」が次のスワイプ操作のとき更新されていくこととなる。よって、画面端判定枠の外までスワイプされた場合には、次の操作において、一段上の「操作強度段階」での操作が行われることとなるので、段階的な操作が可能となる。
【0126】
なお、現在の操作情報の強度を一段上げる処理は、接触が離れた指に基づいて生成されていた現在の操作情報である。すなわち、接触していた間の領域に対応する操作情報である。
【0127】
＜スワイプの場合の画面例：画面例はドローンの操作画面を一例とする。他の画面例も同様とする。＞
＜図１１Ａの例：境界線下部の領域に指が接触してスワイプが始まった場合＞
最初に左下部のコントローラに接触した場合について説明する。境界線下部の領域に指を接触させたとする。そして、指が移動したとすると、仮想コントローラ画像は、指の移動方向を表現する画像となる。「操作強度」の数値は、指の移動距離に合わせて更新されていく。
スワイプの２次元ベクトルの向きに合わせて、操作対象機器１０が前進及び右旋回するように、操作情報が情報処理装置１から操作対象機器１０に対して送信される。上から見た図は、当該操作情報に応じて操作対象機器１０の移動方向を表現した画像となる。
＜図１１Ａの例：境界線下部の領域に指が接触してスワイプが始まった場合＞
最初に左下部のコントローラに接触した場合について説明する。境界線下部の領域に指を接触させたとする。そして、指が移動したとすると、仮想コントローラ画像は、指の移動方向を表現する画像となる。「操作強度」の数値は、指の移動距離に合わせて更新されていく。
スワイプの２次元ベクトルの向きに合わせて、操作対象機器１０が前進及び右旋回するように、操作情報が情報処理装置１から操作対象機器１０に対して送信される。上から見た図は、当該操作情報に応じて操作対象機器１０の移動方向を表現した画像となる。
【0128】
＜図１１Ｂの例：指が境界線を越えた場合＞
境界線下部の領域（第１領域）に指が接触し、スワイプ操作が境界線を越えてはみ出して、境界線上部（第２領域）のコントローラに達したとしても、境界線上部（第２領域）のコントローラは反応しないこととする。境界線下部（第１領域）から始まった操作は、境界線下部（第１領域）のコントローラを使った操作とする。指の移動距離に合わせて、操作強度が更新されていく。また、仮想コントローラ画像は、指の移動方向を表している。操作対象機器１０は、指の移動距離に対応した強度のｙ成分の大きさに合わせて、前進すると共に、同ｘ成分の大きさに合わせて、旋回する。
境界線下部の領域（第１領域）に指が接触し、スワイプ操作が境界線を越えてはみ出して、境界線上部（第２領域）のコントローラに達したとしても、境界線上部（第２領域）のコントローラは反応しないこととする。境界線下部（第１領域）から始まった操作は、境界線下部（第１領域）のコントローラを使った操作とする。指の移動距離に合わせて、操作強度が更新されていく。また、仮想コントローラ画像は、指の移動方向を表している。操作対象機器１０は、指の移動距離に対応した強度のｙ成分の大きさに合わせて、前進すると共に、同ｘ成分の大きさに合わせて、旋回する。
【0129】
＜図１１Ｃの例：指が画面端判定枠からはみ出た場合＞
指が画面端判定枠からはみ出たとする。その場合、操作強度は保持され、操作強度段階が一つ加算され、基本操作強度が更新される。そして、操作対象機器１０は、そのまま、維持されている現在の操作情報であるところの操作強度と移動方向に従って、移動を継続する。
その後、再度、指を境界線下部の任意の位置に再接触させたとする。操作強度、操作強度段階、及び基本操作強度が保持されて、再接触後の指の動きに合わせて、現在の操作情報が更新されていくこととなる。
指が画面端判定枠からはみ出たとする。その場合、操作強度は保持され、操作強度段階が一つ加算され、基本操作強度が更新される。そして、操作対象機器１０は、そのまま、維持されている現在の操作情報であるところの操作強度と移動方向に従って、移動を継続する。
その後、再度、指を境界線下部の任意の位置に再接触させたとする。操作強度、操作強度段階、及び基本操作強度が保持されて、再接触後の指の動きに合わせて、現在の操作情報が更新されていくこととなる。
【0130】
＜図１１Ｄの例：再接触後のスワイプの場合＞
境界線下部への再接触後、指の移動距離に合わせて、操作強度が更新されていく。操作強度は基本操作強度をベースとして加算される（継続加算という）。また、指の移動方向に合わせて、仮想コントローラ画像の矢印の向きが変わる。指を離したとしても、操作強度と回転角度（移動方向）は、そのまま維持されるため、操作対象機器１０も、そのままの操作強度及び移動方向にしたがって、移動を継続する。
境界線下部への再接触後、指の移動距離に合わせて、操作強度が更新されていく。操作強度は基本操作強度をベースとして加算される（継続加算という）。また、指の移動方向に合わせて、仮想コントローラ画像の矢印の向きが変わる。指を離したとしても、操作強度と回転角度（移動方向）は、そのまま維持されるため、操作対象機器１０も、そのままの操作強度及び移動方向にしたがって、移動を継続する。
【0131】
＜図１１Ｅの例：図１１Ｄの後の再接触後のスワイプの場合＞
図１１Ｄでは、画面端判定枠まで到達せずに、指が離れたとしている。その後、境界線下部で再接触させたとする。一度指を離して再接触させたとすると、操作強度は基本操作強度に戻る。
なお、ここでは、再接触された場合は、再接触されたら、一旦、基本操作強度に戻って、スワイプによる強度のアップを再開するとして図示しているが、再接触された場合、保持されている現在の操作強度から、スワイプによる強度のアップを再開してもよい。
そして、指の移動距離に合わせて、操作強度が加算され（継続加算）、指の移動方向に合わせて、仮想コントローラ画像の矢印の向きが変化する。
図１１Ｄでは、画面端判定枠まで到達せずに、指が離れたとしている。その後、境界線下部で再接触させたとする。一度指を離して再接触させたとすると、操作強度は基本操作強度に戻る。
なお、ここでは、再接触された場合は、再接触されたら、一旦、基本操作強度に戻って、スワイプによる強度のアップを再開するとして図示しているが、再接触された場合、保持されている現在の操作強度から、スワイプによる強度のアップを再開してもよい。
そして、指の移動距離に合わせて、操作強度が加算され（継続加算）、指の移動方向に合わせて、仮想コントローラ画像の矢印の向きが変化する。
【0132】
＜図１１Ｆの例：境界上部のコントローラへの接触の場合＞
図１１Ｅの後、指を離しても操作強度と回転角度（旋回方向）はそのまま維持されるため、操作対象機器１０もそのまま移動する。境界線上部の任意の位置に、指が接触したとする。このとき、境界線上部を担当領域とする操作となるので、境界線下部の操作強度や回転角度（旋回方向）は、更新されない。境界線上部での操作は、ここでは、操作対象機器１０の上昇、下降、左右移動であるとしている。図１１Ｆの右側の下部の図に示すように横から見た図が表示されて、操作対象機器１０の上下、左右移動が表現されるとよいが、限定されない。
図１１Ｅの後、指を離しても操作強度と回転角度（旋回方向）はそのまま維持されるため、操作対象機器１０もそのまま移動する。境界線上部の任意の位置に、指が接触したとする。このとき、境界線上部を担当領域とする操作となるので、境界線下部の操作強度や回転角度（旋回方向）は、更新されない。境界線上部での操作は、ここでは、操作対象機器１０の上昇、下降、左右移動であるとしている。図１１Ｆの右側の下部の図に示すように横から見た図が表示されて、操作対象機器１０の上下、左右移動が表現されるとよいが、限定されない。
【0133】
＜図１１Ｇの例：境界線上部のコントローラでのスワイプの場合＞
指の移動距離に合わせて、操作強度が更新されていく。また、指の移動方向に合わせて、仮想コントローラ画像が回転する。境界線上部のスワイプの２次元ベクトルの方向及び大きさに合わせて、上昇／下降（スロットル）及び左右平行移動（エルロン）が行われる。横から見た図にあるように、当該２次元ベクトルのｘ成分の大きさが、左右平行移動（エルロン）の強度となり、ｙ成分の大きさが上昇／下降（スロットル）の強度となる。境界線上部のコントローラの操作中、境界線下部のコントローラによる操作は解除されないので、左旋回、右旋回、前進、又は後進しながら、上昇、下降、右移動、又は左移動が可能となる。
指の移動距離に合わせて、操作強度が更新されていく。また、指の移動方向に合わせて、仮想コントローラ画像が回転する。境界線上部のスワイプの２次元ベクトルの方向及び大きさに合わせて、上昇／下降（スロットル）及び左右平行移動（エルロン）が行われる。横から見た図にあるように、当該２次元ベクトルのｘ成分の大きさが、左右平行移動（エルロン）の強度となり、ｙ成分の大きさが上昇／下降（スロットル）の強度となる。境界線上部のコントローラの操作中、境界線下部のコントローラによる操作は解除されないので、左旋回、右旋回、前進、又は後進しながら、上昇、下降、右移動、又は左移動が可能となる。
【0134】
＜図１１Ｈの例：境界線上部のコントローラを使用している場合で、指が画面端判定枠からはみ出した場合及び境界線上部の任意の位置で再接触された場合＞
図１１Ｇの操作から、指が画面端判定枠からはみ出した場合、境界線上部のコントローラの操作強度は保持され、操作強度段階が加算され、基本操作強度が更新される。そして、指が離れた状態でも、境界線下部の操作情報に基づいて、前進及び旋回が継続され、境界線上部の操作情報に基づいて、上昇及び移動が継続される。
図１１Ｇの操作から、指が画面端判定枠からはみ出した場合、境界線上部のコントローラの操作強度は保持され、操作強度段階が加算され、基本操作強度が更新される。そして、指が離れた状態でも、境界線下部の操作情報に基づいて、前進及び旋回が継続され、境界線上部の操作情報に基づいて、上昇及び移動が継続される。
【0135】
この状態で、指が境界線上部の任意の位置に再接触したとして、スワイプが行われたとする。その場合を図１１Ｉに示す。
【0136】
＜図１１Ｉの例：境界線上部の任意の位置での再接触後のスワイプの場合＞
境界線上部への指接触から指を接触したまま操作する限り、境界線上部でのコントローラでの操作となる。境界線上部への指接触から接触したまま境界線下部へ指が移動しても、境界線下部のコントローラは反応しない。
指の移動距離に合わせて、境界線上部のコントローラの操作強度は更新していき、指の移動方向に合わせて、仮想コントローラ画像が回転する。横から見た図に示すように、スワイプの２次元ベクトルのｙ成分の大きさに応じた強度で、操作対象機器１０が下降し、かつ、ｘ成分の大きさに応じた強度で、操作対象機器１０が左に移動する。
そして、指が画面端判定枠に到達したとする。
境界線上部への指接触から指を接触したまま操作する限り、境界線上部でのコントローラでの操作となる。境界線上部への指接触から接触したまま境界線下部へ指が移動しても、境界線下部のコントローラは反応しない。
指の移動距離に合わせて、境界線上部のコントローラの操作強度は更新していき、指の移動方向に合わせて、仮想コントローラ画像が回転する。横から見た図に示すように、スワイプの２次元ベクトルのｙ成分の大きさに応じた強度で、操作対象機器１０が下降し、かつ、ｘ成分の大きさに応じた強度で、操作対象機器１０が左に移動する。
そして、指が画面端判定枠に到達したとする。
【0137】
＜図１１Ｊの例：指が画面端判定枠からはみ出した場合及び境界線上部の任意の位置に再接触した場合＞
図１１Ｉの右側の図の後、指が画面端判定枠からはみ出したとすると、操作強度は保持され、操作強度段階が加算され、基本操作強度が更新される。そして、操作対象機器１０は、その現在の操作情報に基づいて移動を継続する。
図１１Ｉの右側の図の後、指が画面端判定枠からはみ出したとすると、操作強度は保持され、操作強度段階が加算され、基本操作強度が更新される。そして、操作対象機器１０は、その現在の操作情報に基づいて移動を継続する。
【0138】
図１１Ｊの右側の図に示すように、境界線上部で指が再接触した場合、境界線上部及び下部のコントローラによる操作は解除されずに、操作対象機器１０が移動を継続する。
【0139】
＜上フリックの場合の動作＞
Ｓ２０３での操作判定によって、制御部２が上フリックを認識したとする（Ｓ２０５：上フリック判断手段）。上フリックの場合、制御部２は、Ｓ２１６以降の処理に進む。すなわち、上フリックの場合には、スワイプの場合と異なり、スワイプの長さ及び方向に応じた「操作強度」のアップ及び「移動方向」の変更（Ｓ２０８，Ｓ２０９）は行われないが、「操作強度段階」が加算される処理が行われることとなる。
Ｓ２０３での操作判定によって、制御部２が上フリックを認識したとする（Ｓ２０５：上フリック判断手段）。上フリックの場合、制御部２は、Ｓ２１６以降の処理に進む。すなわち、上フリックの場合には、スワイプの場合と異なり、スワイプの長さ及び方向に応じた「操作強度」のアップ及び「移動方向」の変更（Ｓ２０８，Ｓ２０９）は行われないが、「操作強度段階」が加算される処理が行われることとなる。
【0140】
＜図１４の例：上フリックの場合＞
図１４の左図に示すように、境界線下部において、上方向のフリック（上フリック）が行われたとする。このとき、図９に示すように、「操作強度」のアップ及び「移動方向」の変更（Ｓ２０８，Ｓ２０９）は行われないが、Ｓ２１６以降の動作に進むので、指が画面端判定枠からはみ出したときと同様の挙動が行われることとなる。すなわち、操作強度は維持され、操作強度段階が一つ加算され、基本操作強度が更新される。そして、操作対象機器１０は、そのまま、維持されている現在の操作情報であるところの操作強度と移動方向に従って、移動を継続する。
図１４の左図に示すように、境界線下部において、上方向のフリック（上フリック）が行われたとする。このとき、図９に示すように、「操作強度」のアップ及び「移動方向」の変更（Ｓ２０８，Ｓ２０９）は行われないが、Ｓ２１６以降の動作に進むので、指が画面端判定枠からはみ出したときと同様の挙動が行われることとなる。すなわち、操作強度は維持され、操作強度段階が一つ加算され、基本操作強度が更新される。そして、操作対象機器１０は、そのまま、維持されている現在の操作情報であるところの操作強度と移動方向に従って、移動を継続する。
【0141】
＜タップ又は下フリックの場合の動作＞
Ｓ２０３での操作判定によって、制御部２がタップ又は下フリックを認識したとする（Ｓ２０６：タップ・下フリック判断手段）。制御部２は、記憶されている現在の操作強度段階の情報を破棄する（Ｓ２２１）。次に、制御部２は、「現在の操作情報」の「操作強度段階」が一段下になるように減算し（Ｓ２２２）、減算後の「操作強度段階」に対応した第２記憶枠に記憶されている「基本操作強度」を、「現在の操作情報」の「基本操作強度」とするように、「現在の操作情報」を更新する（Ｓ２２３）。そして、制御部２は、「現在の操作情報」の「操作強度」が「基本操作強度」となるように、「現在の操作情報」を更新する（Ｓ２２４）。制御部２は、「現在の操作情報」の「移動方向」は、保持したままとし（Ｓ２２５）、担当領域内の任意の位置に指が接触するまで待機する。
Ｓ２０３での操作判定によって、制御部２がタップ又は下フリックを認識したとする（Ｓ２０６：タップ・下フリック判断手段）。制御部２は、記憶されている現在の操作強度段階の情報を破棄する（Ｓ２２１）。次に、制御部２は、「現在の操作情報」の「操作強度段階」が一段下になるように減算し（Ｓ２２２）、減算後の「操作強度段階」に対応した第２記憶枠に記憶されている「基本操作強度」を、「現在の操作情報」の「基本操作強度」とするように、「現在の操作情報」を更新する（Ｓ２２３）。そして、制御部２は、「現在の操作情報」の「操作強度」が「基本操作強度」となるように、「現在の操作情報」を更新する（Ｓ２２４）。制御部２は、「現在の操作情報」の「移動方向」は、保持したままとし（Ｓ２２５）、担当領域内の任意の位置に指が接触するまで待機する。
【0142】
なお、現在の操作情報の強度を一段下げる処理は、接触が離れた指に基づいて生成されていた現在の操作情報である。すなわち、接触していた間の領域に対応する操作情報である。
【0143】
そして、「現在の操作情報」が保持されるので、再度、画面に指が接触した場合には、保持されている「現在の操作情報」に基づいて、Ｓ２０２以降のステップによって、指が離れる前の操作が継続していくことになる。再接触の際の操作判定（Ｓ２０３）において、同様のタップ又は下クリック操作であればもちろんのこと、タップ又はしたクリック以外の操作が行われていた場合であっても、指が離れる前の操作が継続されることになり、直感的かつ優れた操作性が実現できる。
【0144】
＜図１２の例：タップの場合＞
＜タップ又は下フリックの場合の画面例＞
図１２の左側の図に示すように、境界線下部の任意の位置をタップしたとする。操作強度が１段階前の基本操作強度に更新されて、操作強度段階が減算され、基本操作強度が１段階前の基本操作強度に更新される。移動方向は保持される。このようにして、操作強度が基本操作強度にリセットされる。境界線上部のコントローラの各種情報及び方向は保持される。
＜タップ又は下フリックの場合の画面例＞
図１２の左側の図に示すように、境界線下部の任意の位置をタップしたとする。操作強度が１段階前の基本操作強度に更新されて、操作強度段階が減算され、基本操作強度が１段階前の基本操作強度に更新される。移動方向は保持される。このようにして、操作強度が基本操作強度にリセットされる。境界線上部のコントローラの各種情報及び方向は保持される。
【0145】
図１２の右側の図に示すように、境界線上部の任意の位置をタップしたとする。操作強度が１段階前の基本操作強度に更新されて、操作強度段階が減算され、基本操作強度が１段階前の基本操作強度に更新される。移動方向は保持される。このようにして、操作強度が基本操作強度にリセットされる。境界線下部のコントローラの各種情報及び方向は保持される。
【0146】
＜図１５の例：下フリックの場合＞
基本的には「下フリック」と「タップ」が同じ挙動となる。ただし、図１５のような上昇、下降のスロットル操作においては下方向へのスワイプが「下方向への移動」となることから、操作者の感覚において「下フリック」に強度加算の概念が発生し、基本的な挙動と矛盾してしまうケースがある。
そこで、エレベーター操作時は「下フリック」と「タップ」が同じ挙動、スロットル操作時は「下フリック」と「下方向スワイプで画面判定枠外へ指が出た場合」が同じ挙動になるとした方が、操作者の感覚に合うため、図１５は、そういったケースの一例として示している。
基本的には「下フリック」と「タップ」が同じ挙動となる。ただし、図１５のような上昇、下降のスロットル操作においては下方向へのスワイプが「下方向への移動」となることから、操作者の感覚において「下フリック」に強度加算の概念が発生し、基本的な挙動と矛盾してしまうケースがある。
そこで、エレベーター操作時は「下フリック」と「タップ」が同じ挙動、スロットル操作時は「下フリック」と「下方向スワイプで画面判定枠外へ指が出た場合」が同じ挙動になるとした方が、操作者の感覚に合うため、図１５は、そういったケースの一例として示している。
【0147】
＜ダブルタップ又は停止ボタン押下の場合の動作＞
Ｓ２０３での操作判定によって、制御部２がダブルタップを認識した（Ｓ２０７：ダブルタップ判断手段）、又は、停止ボタンが押下された（Ｓ２４０：停止ボタン判断手段）とする。制御部２は、仮想コントローラ画像に表示されている「操作強度段階」の表示をリセットし（Ｓ２２６）、「操作強度段階」の表示をリセットし（Ｓ２２７）、「操作強度」の表示をリセットし（Ｓ２２８）、「移動方向」の表示をリセットする（Ｓ２２９）。
Ｓ２０３での操作判定によって、制御部２がダブルタップを認識した（Ｓ２０７：ダブルタップ判断手段）、又は、停止ボタンが押下された（Ｓ２４０：停止ボタン判断手段）とする。制御部２は、仮想コントローラ画像に表示されている「操作強度段階」の表示をリセットし（Ｓ２２６）、「操作強度段階」の表示をリセットし（Ｓ２２７）、「操作強度」の表示をリセットし（Ｓ２２８）、「移動方向」の表示をリセットする（Ｓ２２９）。
【0148】
なお、ダブルタップによって破棄される情報は、ダブルタップの際に接触した位置が属する領域の操作情報として保持されている情報である。当該情報が破棄されたら、情報処理装置１は、操作対象機器１０に対して、接触した領域に属する移動を停止させる操作を行う。
【0149】
停止ボタンが押下された場合に破棄される情報は、予め指定された領域に属する保持されている情報である。全ての領域の情報が破棄されてもよいし、一部の領域の情報が破棄されてもよい。そして、情報処理装置１は、停止ボタンが押下されたら、予め指定された領域に属する移動を停止させる操作を行う。予め指定された領域が全ての領域である場合は、情報処理装置１は、操作対象機器１０を停止又はその場で待機させる操作を行う。
【0150】
そして、制御部２は、第１記憶枠と全ての操作強度段階の第２記憶枠に記憶の情報を破棄して（Ｓ２３０）、担当領域内の任意の位置に指が接触するまで待機する。
【0151】
＜図１３Ａの例：ダブルタップの場合＞
ダブルタップされた領域のコントローラに対応する操作情報のみがリセットされて、他の領域のコントローラに対応する操作情報は、リセットされない。
図１３Ａの左側の図にあるように、境界線下部の任意の位置でダブルタップされた場合、下部コントローラの操作情報はリセットされるが、上部コントローラの操作情報は保持されたままとなる。
図１３Ａの右側の図にあるように、境界線上部の任意の位置でダブルタップされた場合、上部コントローラの操作情報はリセットされるが、下部コントローラの操作情報は保持されたままとなる。
ダブルタップされた領域のコントローラに対応する操作情報のみがリセットされて、他の領域のコントローラに対応する操作情報は、リセットされない。
図１３Ａの左側の図にあるように、境界線下部の任意の位置でダブルタップされた場合、下部コントローラの操作情報はリセットされるが、上部コントローラの操作情報は保持されたままとなる。
図１３Ａの右側の図にあるように、境界線上部の任意の位置でダブルタップされた場合、上部コントローラの操作情報はリセットされるが、下部コントローラの操作情報は保持されたままとなる。
【0152】
＜図１３Ｂの例：停止ボタンのタップの場合＞
図１３Ｂに示されているように、たとえば、境界線上に、停止ボタンが配置されているとする。なお、停止ボタンの位置は、任意の位置でよい。
停止ボタンがタップされると、全てのコントローラの操作情報がリセットされる。
なお、停止ボタンによってリセットされるコントローラについては、任意にプリセット可能である。
図１３Ｂに示す例では、境界線の上下のコントローラに対応する操作情報が同時にリセットされている。
図１３Ｂに示されているように、たとえば、境界線上に、停止ボタンが配置されているとする。なお、停止ボタンの位置は、任意の位置でよい。
停止ボタンがタップされると、全てのコントローラの操作情報がリセットされる。
なお、停止ボタンによってリセットされるコントローラについては、任意にプリセット可能である。
図１３Ｂに示す例では、境界線の上下のコントローラに対応する操作情報が同時にリセットされている。
【0153】
上記に説明したように、図９の動作によって、情報処理装置１は、表示装置４に対する指示体による接触操作に基づいて、操作対象機器１０を操作するための操作情報を生成し、指示体が表示装置４に接触していない場合でも、操作情報を保持する操作情報生成保持手段として機能していることが分かる。
【0154】
＜操作領域及び画面端判定枠について＞
上記においても、操作のための領域及び画面端判定枠について、説明したが、ここで、操作領域及び画面端判定枠について小括する。
情報処理装置１は、表示装置４の表示画面において、操作対象機器１０に対する操作を行うための領域を操作領域としている。そして、操作領域と同一か又は操作領域よりも大きい範囲について、予め決められた範囲を画面端判定枠とする。そして、情報処理装置１は、操作領域に、仮想コントローラ画像を表示させる。このように、情報処理装置１は、表示装置４の表示画面において、操作対象機器１０に対する操作を行うための領域を操作領域とし、かつ、表示装置４上の予め決められた範囲を画面端判定枠として、仮想コントローラ画像を表示装置４に表示させる仮想コントローラ画像表示手段として機能している。
上記においても、操作のための領域及び画面端判定枠について、説明したが、ここで、操作領域及び画面端判定枠について小括する。
情報処理装置１は、表示装置４の表示画面において、操作対象機器１０に対する操作を行うための領域を操作領域としている。そして、操作領域と同一か又は操作領域よりも大きい範囲について、予め決められた範囲を画面端判定枠とする。そして、情報処理装置１は、操作領域に、仮想コントローラ画像を表示させる。このように、情報処理装置１は、表示装置４の表示画面において、操作対象機器１０に対する操作を行うための領域を操作領域とし、かつ、表示装置４上の予め決められた範囲を画面端判定枠として、仮想コントローラ画像を表示装置４に表示させる仮想コントローラ画像表示手段として機能している。
【0155】
そして、情報処理装置１は、操作が操作領域から始まり、操作領域をはみ出たとしても、画面端判定枠に達するまでは、操作情報を生成していく。
【0156】
また、情報処理装置１は、仮想コントローラ画像表示手段として機能する際、たとえばドローンの操作で例示したように、操作対象機器１０に対する第１の操作（例示したドローンの場合であれば、ラダー及びエレベーター）を行うための第１領域と、操作対象機器１０に対する第２の操作（例示したドローンの場合であれば、エルロン及びスロットル）を行うための第２領域とに分けるようにしてもよい。
【0157】
そして、情報処理装置１は、操作情報生成保持手段として機能する際、第１領域における指示体による操作に基づいて、第１の操作のための操作情報を生成し、第２領域における指示体による操作に基づいて、第２の操作のための操作情報を生成して、それぞれ保持していく。
【0158】
図１６に示したとおり、指が離れない限り、最初に接触した位置を含む領域のコントローラが操作を担当することとする。図１６の左の図であれば、境界線上部に指が接触したので、境界線上部のコントローラが操作を担当する。この場合、仮想の操作画面（指の移動範囲）は、境界線下部の領域まで及んでいる。
【0159】
また、図１６の右の図であれば、境界線下部に指が接触したので、境界線下部のコントローラが操作を担当する。この場合、仮想の操作画面（指の移動範囲）は、境界線上部の領域まで及んでいる。
【0160】
画面端判定枠は、図１６に示した仮想操作画面の端ということになる。
【0161】
＜応用例＞
図１７Ａ～図１７Ｅに応用例を示す。
図１７Ａに示すように、広い画面にそれぞれ「操作特性」が異なるコントローラを配置することができる。たとえば、超微細操作から超高速操作まで多彩な操作を端末１つで実現できる。たとえば、図１７Ａのコントローラであれば、操作対象を目的地に急接近させた後、高精度の位置調整が可能である。
図１７Ａ～図１７Ｅに応用例を示す。
図１７Ａに示すように、広い画面にそれぞれ「操作特性」が異なるコントローラを配置することができる。たとえば、超微細操作から超高速操作まで多彩な操作を端末１つで実現できる。たとえば、図１７Ａのコントローラであれば、操作対象を目的地に急接近させた後、高精度の位置調整が可能である。
【0162】
図１７Ｂに示すように、広い画面にそれぞれ「操作対象部位」が異なるコントローラを配置することができる。例えば、深海探査機器、遠隔手術機器などにおけるアームＡ，アームＢ，アームＣ，…など、複数の部位を端末１つで操作可能である。また、例えば、人型ロボット、災害救助ロボットなど、視点変更、移動、旋回、バランスなど複数の行動を端末１つで幅広く操作可能である。
【0163】
図１７Ｃに示すように、操作強度の増加数値を微細にすることで、超高精度の操作が可能となる。
【0164】
図１７Ｄに示すように、左側のコントローラで、操作単位を調整し、右側のコントローラで操作を行うようにすることで、操作強度の単位を調整しながらの操作が可能となる。また、タッチ判定ポイントを増やすことで、複数同時操作が可能となる。
【0165】
図１７Ｅに示すように、小さな画面を最大限活用して精度良く操作が可能である。また、接続が可能であるならば、特性の異なる複数の操作端末での操作も可能となる。
【0166】
なお、ここには、図示していないが、操作対象機器１０を複数の機器として、各機器に、コントローラを当てはめて、複数の機器を１つの端末から操作することも可能である。
【0167】
＜多様性＞
図１８に示すように、使用する端末としては、スマートフォン、スマートウォッチ、タブレット、タッチスクリーン、立体映像など、種々のものが考えられる。いくつもの端末を使用しているかのような操作を多様な端末１つで実現可能である。プログラムで表示されたコントローラに触れて操作可能な機器であれば、端末の様式は問わない。
図１８に示すように、使用する端末としては、スマートフォン、スマートウォッチ、タブレット、タッチスクリーン、立体映像など、種々のものが考えられる。いくつもの端末を使用しているかのような操作を多様な端末１つで実現可能である。プログラムで表示されたコントローラに触れて操作可能な機器であれば、端末の様式は問わない。
【0168】
＜操作対象機器の数について＞
上記実施形態では、操作対象機器１０は、一つであるとしたが、操作対象機器１０を複数として、複数のコントローラを用いて、複数の操作対象機器１０を制御するようにしてもよい。その場合、情報処理装置１は、操作対象となる機器に対して、コントローラによって得られた操作情報を送信するようにすればよく、他の動作については、上記した実施形態の技術を用いればよい。
上記実施形態では、操作対象機器１０は、一つであるとしたが、操作対象機器１０を複数として、複数のコントローラを用いて、複数の操作対象機器１０を制御するようにしてもよい。その場合、情報処理装置１は、操作対象となる機器に対して、コントローラによって得られた操作情報を送信するようにすればよく、他の動作については、上記した実施形態の技術を用いればよい。
【0169】
＜操作対象機器の種類について＞
上記実施形態では、主に、操作対象機器１０は、ドローンであるとして、説明を行ったが、操作対象機器１０は、ドローンに限られない。操作対象となる機器に合せて、コントローラに入力された操作情報を操作対象機器に送信するようにすれば、操作対象機器は、本発明においては限定されない。
上記実施形態では、主に、操作対象機器１０は、ドローンであるとして、説明を行ったが、操作対象機器１０は、ドローンに限られない。操作対象となる機器に合せて、コントローラに入力された操作情報を操作対象機器に送信するようにすれば、操作対象機器は、本発明においては限定されない。
【0170】
（変形例）
上記図９に示す実施形態では、画面端判定枠から指が離れるか否かを判断するに際しては、上方向であるか下方向であるか、又は、それ以外の方向であるかについては判断していなかった。しかし、操作対象機器１０によっては、下方向にスワイプして画面判定枠の外から指が離れた場合には、減速するとした方が、感覚的に適している場合がある。
上記図９に示す実施形態では、画面端判定枠から指が離れるか否かを判断するに際しては、上方向であるか下方向であるか、又は、それ以外の方向であるかについては判断していなかった。しかし、操作対象機器１０によっては、下方向にスワイプして画面判定枠の外から指が離れた場合には、減速するとした方が、感覚的に適している場合がある。
【0171】
また、下フリックによって、「操作強度段階」の減算を試みようとして失敗して、指が画面端判定枠から外に出てしまった場合、上記図９に示す実施形態では、逆に、「操作強度段階」が加算されてしまい、感覚的操作と逆の操作になってしまう場合がある。
【0172】
また、フリック操作には、感覚的個人差があり、操作性の良し悪しへの影響が大きい。
【0173】
また、画面上にボタン（たとば、ポーズボタン）が配置されている環境下において、操作者が「操作強度段階」を減算（たとえば、減速）するためにタップしたときを考える。操作者が操作に夢中になっているときに、減速のためにタップしたとして、その位置に、ポーズボタンが配置されていた場合、操作者の減速の意図とは異なりポーズが実行されてしまう場合がある。このように、タップによる「操作強度段階」の減算の場合にも、操作者の意図と異なる操作が生じてしまう可能性がある。
【0174】
上記図９の実施形態では、「操作段階強度」を上げたい場合、スワイプを行って、画面端判定枠の外で指を離すか、若しくは、上フリックを行うこととなる。「操作段階強度」
を下げたい場合には、タップ又は下フリックを行うことになる。
を下げたい場合には、タップ又は下フリックを行うことになる。
【0175】
しかし、上記したように、感覚的操作からすると、下方向へのスワイプによって、画面端判定枠の外で指を離すことによって、「操作強度段階」を下げることができれば、操作性はさらに向上する場合がある。また、タップミスや下フリックミスなどの可能性も考慮すれば、かかる操作は、有効であると考えられる。
【0176】
そこで、情報処理装置１は、スワイプ時に、画面端判定枠の外で指が離れた場合に、指が離れた際の移動方向が所定の下方向であるか否かを判断するとよい。
ここで、所定の下方向とは、画面の側面に対して、完全に平行な下方向である必要はなく、所定の決められた角度の範囲内の下方向をいう。
ここで、所定の下方向とは、画面の側面に対して、完全に平行な下方向である必要はなく、所定の決められた角度の範囲内の下方向をいう。
【0177】
そして、下方向以外の方向で、画面端判定枠の外で指が離れた場合には、情報処理装置１は、Ｓ２１６以降の処理に進んで、「操作強度段階」を一段上げる処理を行う。一方、所定の下方向で指が離れた場合には、情報処理装置１は、タップ又は下フリックの場合と同様に、Ｓ２２１以降の処理に進んで、「操作強度段階」を一段下げる処理を行う。
【0178】
なお、上記の一段上げる処理や一段下げる処理は、接触が離れた指が、接触中に生成していた現在の操作情報の強度である。
【0179】
これによって、下方向にスワイプした場合であって、そのまま、画面端判定枠の外で指が離れた場合には、Ｓ２２１以降の処理に進み、「操作強度段階」が一段下に減算されて、減算された「操作強度段階」に応じた「操作強度」に「現在の操作情報」が更新されることとなる。
【0180】
その他、操作強度の加算処理や減算処理は、操作対象の特性や操作環境などに合わせて、適宜、変更するとよい。
【0181】
たとえば、指が画面端判定枠から外で離れた際に、上方向のスワイプ操作であったのか、右方向のスワイプ操作であったのか、左方向のスワイプ操作であったのか、下方向のスワイプ操作であったのか、これらの全部又は一部を判断して、スワイプ操作の方向に合わせた操作強度の加減処理を実行するようにしてもよい。
【0182】
上記変形例によれば、下方向へのスワイプによって画面端判定枠の外で指が離れた場合に、一段下に強度が下がることとなるので、感覚的に適した操作が可能となる。
【0183】
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本明細書に開示されている発明の構成要件は、それぞれ独立に単独した発明として成立するものとする。各構成要件をあらゆる組み合わせ方法で組み合わせた発明も、本発明に含まれることとする。
【産業上の利用可能性】
【0184】
本発明は、操作対象機器の操作用のプログラムであり、産業上利用可能である。
【符号の説明】
【0185】
１ 情報処理装置
２ 制御部
３ 記憶部
４ 表示装置
４ａ 表示部
４ｂ 操作入力部
５ 通信部
６ 入力部
１０ 操作対象機器
１１ 駆動部
１２ 制御部
１３ 記憶部
１５ 通信部
２ 制御部
３ 記憶部
４ 表示装置
４ａ 表示部
４ｂ 操作入力部
５ 通信部
６ 入力部
１０ 操作対象機器
１１ 駆動部
１２ 制御部
１３ 記憶部
１５ 通信部
【要約】 （修正有）
【課題】汎用性があり、操作に用いるタッチパネル等のデバイスのサイズを選ばない機器操作用のプログラムを提供する。
【解決手段】本発明は、駆動装置を有する操作対象機器を操作するためのプログラムであって、指示体による接触操作を受け付ける表示装置に接続される或いは当該表示装置を備えるコンピュータを、表示装置に対する指示体による接触操作に基づいて、操作対象機器を操作するための操作情報を生成し、指示体が表示装置に接触していない場合でも、操作情報を保持する操作情報生成保持手段、及び、保持されている操作情報を操作対象機器に送信することで、操作対象機器を操作する操作手段として機能させるためのプログラムである。操作情報生成保持手段は、スワイプ中に表示装置への接触が離れたか否かを判断し、スワイプ中に表示装置への接触が離れたと判断した場合に、操作対象機器に対する現在の操作情報を保持する。
【選択図】図３
【解決手段】本発明は、駆動装置を有する操作対象機器を操作するためのプログラムであって、指示体による接触操作を受け付ける表示装置に接続される或いは当該表示装置を備えるコンピュータを、表示装置に対する指示体による接触操作に基づいて、操作対象機器を操作するための操作情報を生成し、指示体が表示装置に接触していない場合でも、操作情報を保持する操作情報生成保持手段、及び、保持されている操作情報を操作対象機器に送信することで、操作対象機器を操作する操作手段として機能させるためのプログラムである。操作情報生成保持手段は、スワイプ中に表示装置への接触が離れたか否かを判断し、スワイプ中に表示装置への接触が離れたと判断した場合に、操作対象機器に対する現在の操作情報を保持する。
【選択図】図３
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図11D】
【図11E】
【図11F】
【図11G】
【図11H】
【図11I】
【図11J】
【図12】
【図13A】
【図13B】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図17C】
【図17D】
【図17E】
【図18】
