特許 5749229 ジェスチャー管理プログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5749229

(24)【登録日】2015年5月22日

(45)【発行日】2015年7月15日

(54)【発明の名称】ジェスチャー管理プログラム及び情報処理装置

(51)【国際特許分類】

   G06F 3/0488 20130101AFI20150625BHJP

   G06F 3/048 20130101ALI20150625BHJP

【ＦＩ】

   G06F3/048 620

   G06F3/048 651A

【請求項の数】4

【全頁数】25

(21)【出願番号】特願2012-170568(P2012-170568)

(22)【出願日】2012年7月31日

(65)【公開番号】特開2014-29649(P2014-29649A)

(43)【公開日】2014年2月13日

【審査請求日】2014年6月19日

(73)【特許権者】

【識別番号】000006150

【氏名又は名称】京セラドキュメントソリューションズ株式会社

(74)【代理人】

【識別番号】100129997

【弁理士】

【氏名又は名称】田中 米藏

(74)【代理人】

【識別番号】100121728

【弁理士】

【氏名又は名称】井関 勝守

(72)【発明者】

【氏名】吉本 洋

【審査官】 山崎 慎一

(56)【参考文献】

【文献】 特開２００８−１８６１２０（ＪＰ，Ａ）

【文献】 特開２０１１−２２１７８７（ＪＰ，Ａ）

【文献】 特開２００１−１１７６８６（ＪＰ，Ａ）

【文献】 特開平１０−１０５３２５（ＪＰ，Ａ）

【文献】 特開２００１−１５１６９１（ＪＰ，Ａ）

【文献】 特表２０１０−５０３１３０（ＪＰ，Ａ）

【文献】 特開２０１０−４９３５４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８８

Ｇ０６Ｆ ３／０４８

(57)【特許請求の範囲】

【請求項1】

アプリケーションを動作させている他の情報処理装置から、当該アプリケーションに関する表示データを、通信部によりネットワークを介して取得して表示部に表示させる情報処理装置を、
前記表示データに含まれる指示受付用画像毎に、予め対応付けられたジェスチャーを記憶する対応付記憶部と、
前記表示部が備えるタッチパネルに対して行われた操作者のジェスチャーを検出するジェスチャー検出部と、
前記ジェスチャー検出部によって検出されたジェスチャーに対応付けられた指示受付用画像を前記対応付記憶部から読み出す画像読出部と、
前記取得された表示データ中に、前記画像読出部により読み出された指示受付用画像が存在するか否かを判断する判断部と、
前記判断部により前記表示データ中に存在すると判断された指示受付用画像に対応付けられている操作指示を、前記他の情報処理装置に対して前記通信部により送信させる送信制御部と
して情報処理装置を機能させるジェスチャー管理プログラム。

【請求項2】

予め定められたジェスチャーを記憶するジェスチャー記憶部と、
前記ジェスチャー記憶部に記憶されているジェスチャーのうち、操作者により指定されたジェスチャーを受け付けるジェスチャー受付部と、
前記表示データ中に存在する指示受付用画像のうち、操作者により指定された指示受付用画像を受け付ける指示受付用画像受付部と、
前記ジェスチャー受付部に受け付けられたジェスチャーと、前記指示受付用画像受付部に受け付けられた指示受付用画像とを対応付けて、前記対応付記憶部に記憶させる対応付管理部と
して情報処理装置を更に機能させる請求項１に記載のジェスチャー管理プログラム。

【請求項3】

前記表示データ中に存在する指示受付用画像のうち、操作者により指定された指示受付用画像を受け付ける指示受付用画像受付部と、
前記ジェスチャー検出部によって検出されたジェスチャーと、前記指示受付用画像受付部に受け付けられた指示受付用画像とを対応付けて、前記対応付記憶部に記憶させる対応付管理部と
して情報処理装置を更に機能させる請求項１に記載のジェスチャー管理プログラム。

【請求項4】

表示部と、
アプリケーションを動作させている他の情報処理装置から、ネットワークを介して、当該アプリケーションに関する表示データを取得する通信部と、
前記通信部によって取得された前記表示データを前記表示部に表示させる表示制御部と、
前記表示データに含まれる指示受付用画像毎に、予め対応付けられたジェスチャーを記憶する対応付記憶部と、
前記表示部が備えるタッチパネルに対して行われた操作者のジェスチャーを検出するジェスチャー検出部と、
前記ジェスチャー検出部によって検出されたジェスチャーに対応付けられた指示受付用画像を前記対応付記憶部から読み出す画像読出部と、
前記取得された表示データ中に、前記画像読出部により読み出された指示受付用画像が存在するか否かを判断する判断部と、
前記判断部により前記表示データ中に存在すると判断された指示受付用画像に対応付けられている操作指示を、前記他の情報処理装置に対して前記通信部により送信させる送信制御部と
を備える情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ジェスチャー管理プログラム及び情報処理装置に関し、特に、操作者からの操作指示を受け付ける技術に関する。

【背景技術】

【0002】

今日では、サーバー等の情報処理装置でアプリケーションを動作させておき、遠隔地にあるモバイル機器等の通信端末装置から、インターネット等のネットワークを介して当該サーバーにアクセスして、通信端末装置のブラウザーにより、当該サーバーのアプリケーションによる動作内容を表示することで、当該アプリケーションを表示及び操作可能とする技術が知られている。

【0003】

上記のようにして使用されるアプリケーションは、パーソナルコンピューターによる使用を前提としたものが多いため、当該アプリケーションを操作者が携帯電話等のモバイル機器により操作する場合でも、パーソナルコンピューターでの操作と同様の操作を求められることがあり不便である。このため、モバイル機器における上記のアプリケーション使用時の操作性を向上させる技術が提案されている。例えば下記特許文献１に示されるように、モバイル機器が備えるキーにより入力可能な情報を、アプリケーションに対応した情報に変換する技術が提案されている。また、特許文献２には、タッチパネルで行った操作と、機器が備えるハードキーによる所定の操作とを対応付けて、タッチパネルによる操作で所定のキー操作を行った場合と同様の入力情報を入力可能とする技術が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−８０５６２号公報

【特許文献2】特開２０１０−８６４５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１，２に示される技術は、いずれも、上記アプリケーションが、機器が備えるキーによる操作に基づく操作指示を受け付ける機能を有していることが前提となる。このため、これらの技術では、キー操作を行う操作範囲においてのみ操作性が向上するに過ぎない。今日のモバイル機器では、このようなキー操作以外に、表示パネル上で操作者が指を滑らせる等の操作に基づいて、表示画面を切り換える指示を受け付ける等が可能とされ、操作者は当該操作に慣れていることが多い。このため、上記のようなキー操作に拘わらず、操作者が、普段からモバイル機器において行っている操作により、アプリケーションを操作できれば、アプリケーションに対する操作者の操作性を更に向上させることができる。また、このような操作が可能になれば、アプリケーションをインストールして通信端末装置で使用する場合であっても、操作者が使い慣れている操作により、当該アプリケーションを操作可能となる。なお、本来対応していない操作により指示の入力を可能にするために、アプリケーション側を修正するのは多大な労力を要することになる。

【0006】

本発明は、上記の問題を解決するためになされたもので、モバイル機器等の情報処理装置においてアプリケーションを使用する場合に、アプリケーション側を修正することなく、当該アプリケーションが未対応の操作により当該アプリケーションを操作可能とし、例えば、操作者が情報処理装置で使い慣れた操作により当該アプリケーションを操作可能にすることを目的とする。

【課題を解決するための手段】

【0007】

本発明の請求項１に記載の発明は、アプリケーションを動作させている他の情報処理装置から、当該アプリケーションに関する表示データを、通信部によりネットワークを介して取得して表示部に表示させる情報処理装置を、
前記表示データに含まれる指示受付用画像毎に、予め対応付けられたジェスチャーを記憶する対応付記憶部と、
前記表示部が備えるタッチパネルに対して行われた操作者のジェスチャーを検出するジェスチャー検出部と、
前記ジェスチャー検出部によって検出されたジェスチャーに対応付けられた指示受付用画像を前記対応付記憶部から読み出す画像読出部と、
前記取得された表示データ中に、前記画像読出部により読み出された指示受付用画像が存在するか否かを判断する判断部と、
前記判断部により前記表示データ中に存在すると判断された指示受付用画像に対応付けられている操作指示を、前記他の情報処理装置に対して前記通信部により送信させる送信制御部と
して情報処理装置を機能させるジェスチャー管理プログラムである。

【0008】

また、請求項４に記載の発明は、表示部と、
アプリケーションを動作させている他の情報処理装置から、ネットワークを介して、当該アプリケーションに関する表示データを取得する通信部と、
前記通信部によって取得された前記表示データを前記表示部に表示させる表示制御部と、
前記表示データに含まれる指示受付用画像毎に、予め対応付けられたジェスチャーを記憶する対応付記憶部と、
前記表示部が備えるタッチパネルに対して行われた操作者のジェスチャーを検出するジェスチャー検出部と、
前記ジェスチャー検出部によって検出されたジェスチャーに対応付けられた指示受付用画像を前記対応付記憶部から読み出す画像読出部と、
前記取得された表示データ中に、前記画像読出部により読み出された指示受付用画像が存在するか否かを判断する判断部と、
前記判断部により前記表示データ中に存在すると判断された指示受付用画像に対応付けられている操作指示を、前記他の情報処理装置に対して前記通信部により送信させる送信制御部と
を備える情報処理装置である。

【0009】

これらの発明では、操作者が、表示部のタッチパネルに対して、対応付記憶部に記憶されているジェスチャーを行うと、ジェスチャー検出部が当該ジェスチャーを検出し、画像読出部が、当該ジェスチャーに対応付けられた指示受付用画像を読み出す。そして、判断部は、当該読み出された指示受付用画像（例えば、タッチパネル機能により操作者からの操作指示を受け付けるためのボタンとして表示される画像）が、表示部に表示されているアプリケーションの表示データ中に存在していると判断すれば、送信制御部が、指示受付用画像に対応付けられている操作指示を、通信部により他の情報処理装置に対して送信させる。このため、当該アプリケーションが未対応の指示入力方法、例えば操作者が普段からモバイル機器において行っているジェスチャー等であっても、当該ジェスチャーが対応付記憶部に記憶されていれば、当該ジェスチャーによりアプリケーションを操作できることになり、当該アプリケーションに対する操作者の操作性を更に向上させることができる。

【0010】

また、例えばサーバー等からインターネットを介してダウンロードしたアプリケーションを、モバイル機器等の通信端末装置においてインストールして使用する場合であっても、同様に、上記のようにして、当該アプリケーションに対する操作者の操作性を更に向上させることができる。

【0011】

従って、本発明によれば、通信端末装置等の情報処理装置においてアプリケーションを使用する場合に、アプリケーション側を修正することなく、当該アプリケーションが未対応の操作であっても当該アプリケーションを操作可能とし、例えば、操作者が情報処理装置で使い慣れた操作により当該アプリケーションを操作することが可能になる。

【0012】

また、請求項２に記載の発明は、請求項１に記載のジェスチャー管理プログラムであって、予め定められたジェスチャーを記憶するジェスチャー記憶部と、
前記ジェスチャー記憶部に記憶されているジェスチャーのうち、操作者により指定されたジェスチャーを受け付けるジェスチャー受付部と、
前記表示データ中に存在する指示受付用画像のうち、操作者により指定された指示受付用画像を受け付ける指示受付用画像受付部と、
前記ジェスチャー受付部に受け付けられたジェスチャーと、前記指示受付用画像受付部に受け付けられた指示受付用画像とを対応付けて、前記対応付記憶部に記憶させる対応付管理部と
して情報処理装置を更に機能させる請求項１に記載のジェスチャー管理プログラムものである。

【0013】

この発明によれば、操作者が、所望のジェスチャーを上記ジェスチャー記憶部から選択して、当該ジェスチャーの指定をジェスチャー受付部に入力し、さらに、上記の表示データ中に存在する指示受付用画像のうち、所望の指示受付用画像の指定を指示受付用画像受付部に入力することで、対応管理部により、操作者所望のジェスチャー及び指示受付用画像の対応付が対応付記憶部に記憶される。このため、本発明によれば、操作者は、選択した所望のジェスチャーにより、アプリケーション中の指示受付用画像に対応した操作指示を入力して、当該アプリケーションを操作することが可能になる。

【0014】

また、請求項３に記載の発明は、請求項１に記載のジェスチャー管理プログラムであって、前記表示データ中に存在する指示受付用画像のうち、操作者により指定された指示受付用画像を受け付ける指示受付用画像受付部と、
前記ジェスチャー検出部によって検出されたジェスチャーと、前記指示受付用画像受付部に受け付けられた指示受付用画像とを対応付けて、前記対応付記憶部に記憶させる対応付管理部と
して情報処理装置を更に機能させるものである。

【0015】

この発明では、操作者が表示部のタッチパネル上で所望のジェスチャーを行えば、当該ジェスチャーがジェスチャー検出部によって検出され、対応付管理部により、操作者が行った所望のジェスチャーと、指示受付用画像との対応付が対応付記憶部に記憶される。このため、本発明によれば、操作者が行った所望のジェスチャーにより、当該操作者は、アプリケーション中の指示受付用画像に対応した操作指示を入力して、当該アプリケーションを操作することが可能になる。

【発明の効果】

【0016】

本発明によれば、モバイル機器等の情報処理装置においてアプリケーションを使用する場合に、アプリケーション側を修正することなく、当該アプリケーションが未対応の操作により当該アプリケーションを操作可能とし、例えば、操作者が情報処理装置で使い慣れた操作により当該アプリケーションを操作することが可能になる。

【図面の簡単な説明】

【0017】

【図1】サーバー及び通信端末装置を備えた通信システムの概略を示す図である。

【図2】サーバーの概略構成を示す図である。

【図3】通信端末装置の概略構成を示すブロック図である。

【図4】サーバーから取得した表示データが示すアプリケーションに対する操作指示の入力を受け付ける処理を示すフローチャートである。

【図5】通信端末装置における表示部の表示画面の一例を示す図である。

【図6】第１実施形態に係るジェスチャー登録処理を行う通信端末装置の概略構成を示すブロック図である。

【図7】通信端末装置におけるジェスチャーを登録する処理の第１実施形態を示すフローチャートである。

【図8】通信端末装置における表示部の表示画面の一例を示す図である。

【図9】第２実施形態に係るジェスチャー登録処理を行う通信端末装置の概略構成を示すブロック図である。

【図10】通信端末装置におけるジェスチャーを登録する処理の第２実施形態を示すフローチャートである。

【図11】通信端末装置における表示部の表示画面の一例を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明の一実施形態に係るジェスチャー管理プログラム及び情報処理装置について図面を参照して説明する。図１はサーバー及び通信端末装置を備えた通信システムの概略を示す図である。

【0019】

通信システム１０は、サーバー２と、通信端末装置３とで構成される。サーバー２は、内蔵するＨＤＤ（Hard disk drive）等の記憶装置に、１つ以上のアプリケーションを記憶している。サーバー（特許請求の範囲における他の情報処理装置の一例）２は、その制御部が当該アプリケーションに従って動作し、また、通信部によりインターネット等のネットワークを介して通信端末装置３と通信し、制御部による当該アプリケーションの動作内容を示す表示データを通信端末装置３に送信する。

【0020】

また、通信端末装置３は、例えばスマートフォンや携帯電話等のモバイル機器であり、上記ネットワークを介してサーバー２と通信することで、サーバー２から上記アプリケーションの表示データを取得し、ブラウザーにより当該表示画像を表示部に表示させる。通信端末装置３は、タッチパネル機能やキー操作により、当該表示されているアプリケーションに対する指示を操作者から受け付け、受け付けた指示をブラウザー等からサーバー２に対して送信する。これにより、サーバー２上で動作しているアプリケーションを通信端末装置３から操作可能となっている。なお、通信端末装置３は、特許請求の範囲における情報処理装置（特許請求の範囲における「他の情報処理装置」ではない）の一例である。

【0021】

また、図１に示すように、複数の通信端末装置３は、いずれも同様に、サーバー２にアクセスすることで、サーバー２で動作しているアプリケーションを表示して操作することが可能となっている。

【0022】

次に、サーバー２の構成を説明する。図２はサーバー２の概略構成を示す図である。

【0023】

サーバー２は、制御ユニット２０と、通信インターフェイス２１と、記憶装置２２とを備えている。

【0024】

制御ユニット２０は、ＣＰＵ、ＲＯＭ、及びＲＡＭ等を備え、記憶装置２２に記憶されている動作プログラム（図略）に従ったＣＰＵの動作により、制御部２０１及び通信部２０２として機能する。

【0025】

制御部２０１は、サーバー２の全体的な動作制御を司る。通信部２０２は、通信インターフェイス２１及びインターネットを介した通信端末装置３との通信に必要な処理を行う。

【0026】

通信インターフェイス２１は、通信モジュールを備え、インターネットを介して、通信端末装置３と間における各種データの送受信を行う。

【0027】

記憶装置２２は、ＨＤＤ等からなり、上述した動作プログラム、及び１つ以上のアプリケーションを記憶している。

【0028】

制御部２０１は、記憶装置２２に記憶されているアプリケーションに従って動作し、通信部２０２が、当該アプリケーションによる動作内容を示す表示データを通信インターフェイス２１から通信端末装置３に送信させる。

【0029】

また、通信インターフェイス２１は、上記インターネットを介して、通信端末装置３に対して上記表示データを送信する一方、通信端末装置３からは、上記動作させているアプリケーションに対する指示等を受信して、制御部２０１に出力する。制御部２０１は、当該指示に基づいて、アプリケーションに従った動作を進める。

【0030】

次に、通信端末装置３の構成を説明する。図３は通信端末装置３の概略構成を示すブロック図である。

【0031】

通信端末装置３は、制御ユニット３００と、ＲＯＭ３１２と、ＲＡＭ３１３と、メモリー３１４と、表示部３１５と、通話機能部３１７と、通信インターフェイス３１８と、入力部３１９とを備える。これら各部は、互いに信号線（ＣＰＵバス等）によりデータ又は信号の送受信が可能とされている。

【0032】

制御ユニット３００は、ＣＰＵ等からなる。ＲＯＭ３１２は、通信端末装置３の基本動作についての動作プログラムを記憶する。ＲＡＭ３１３は、制御ユニット３００の動作領域等として使用される。

【0033】

メモリー３１４は、各種データやプログラムを記憶するための記憶媒体である。メモリー３１４には、本発明の一実施形態に係るジェスチャー管理プログラムが記憶（インストール）されている。当該ジェスチャー管理プログラムは、制御ユニット３００を、対応付記憶部３０２、ジェスチャー検出部３０３、画像読出部３０４、判断部３０５、及び送信制御部３０６として機能させる。但し、制御ユニット３００の当該対応付記憶部３０２、ジェスチャー検出部３０３、画像読出部３０４、判断部３０５、及び送信制御部３０６は、上記ジェスチャー管理プログラムに基づく動作にはよらずに、それぞれハード回路により構成されてもよい。

【0034】

上記ジェスチャー管理プログラムは、サーバー２において動作するアプリケーションであって、その動作内容を示す表示データが表示部３１５に表示されているアプリケーションについての操作指示を、当該アプリケーションと通信端末装置３の操作者の間に介在して受け付けるためのプログラムである。このジェスチャー管理プログラムは、例えば、サーバー２において動作している上記アプリケーションにより表示部３１５に表示される各種の指示受付用画像についての指示を受け付けるための予め定められた操作である当該操作指示受付画像への接触操作に換えて、予め用意されているジェスチャーを、当該指示を受け付けるための操作として受け付ける。

【0035】

制御ユニット３００は、制御部３０１、対応付記憶部３０２、ジェスチャー検出部３０３、画像読出部３０４、判断部３０５、送信制御部３０６、及びブラウザー３０７を備える。

【0036】

制御部３０１は、通信端末装置３が備える各部の動作制御を司る。

【0037】

対応付記憶部３０２は、指示受付用画像毎に予め対応付けられたジェスチャーを記憶している。この指示受付用画像とは、ブラウザー３０７によりサーバー２から取得された、当該サーバー２で動作しているアプリケーションの表示内容を示す表示画像のデータ（HTML形式のデータ等からなる。本実施形態においては、表示データという）に含まれている画像であって、操作者から指示を受け付けるために表示される画像である。表示部３１５の表示画面における指示受付用画像の表示位置が操作者により接触されると、表示部３１５が備えるタッチパネル機能により操作者からの指示が受け付けられる。

【0038】

また、ジェスチャーとは、表示部３１５の表示画面上に対する操作者による接触操作により構成されるスライド動作をいう。例えば、表示画面上において操作者が、(1)右から左へ指等をスライド操作する、(2)左から右へ指等をスライド操作する、(3)上から下へ指等をスライド操作する、(4)下から上へ指等をスライド操作する、等である。このジェスチャーは表示部３１５のタッチパネルを介してジェスチャー検出部３０３により検出される。

【0039】

ジェスチャー検出部３０３は、表示部３１５が備えるタッチパネルに対して行われた操作者のジェスチャーを検出する。例えば、表示部３１５の表示画面上で操作者により行われたスライド移動を伴う接触動作に基づく操作者による接触位置の移動がタッチパネル機能により時系列的に次々と検出され、時間経過毎の接触位置を示す接触位置情報がジェスチャー検出部３０３に入力されると、ジェスチャー検出部３０３は、各接触位置情報の軌跡が上記ジェスチャーと同一性を有する形状を示すか否かを判断することで、操作者によるジェスチャーを判断する。

【0040】

画像読出部３０４は、ジェスチャー検出部３０３によって検出されたジェスチャーに対応付けられた指示受付用画像を対応付記憶部３０２から読み出す。

【0041】

判断部３０５は、ブラウザー３０７によりサーバー２から取得された上記アプリケーションの表示データ中に、画像読出部３０４により読み出された指示受付用画像に相当する指示受付画像が存在するか否かを判断する。

【0042】

送信制御部３０６は、上記取得された表示データ中に存在すると判断部３０５により判断された指示受付用画像に対応付けられている操作指示を、上記アプリケーションを動作させているサーバー２に対してブラウザー３０７により送信させる制御を行う。

【0043】

ブラウザー（通信部）３０７は、ウェブ上で公開されているHTML文書等の閲覧や、ウェブ上のサーバーで動作するアプリケーションの表示データを取得して表示するアプリケーションである。ブラウザー３０７は、メモリー３１４に記憶されているブラウザーアプリケーションに従って制御ユニット３００が動作することで機能する。例えば、ブラウザー３０７は、URLによって指定されたウェブ上のサーバーへアクセスして、HTMLやXHTMLなどで記述された文書、あるいは画像などのデータをダウンロードしてその内容を解析し、ウェブページの内容やレイアウトを再現（レンダリング）することで、ウェブページの閲覧、アプリケーションの表示データの表示を可能にする。

【0044】

表示部３１５は、ＬＣＤ（Liquid Crystal Display）等からなる。表示部３１５には、制御部３０１の制御により、通信端末装置３の操作者に対する操作案内等が表示される。

【0045】

通話機能部３１７は、公衆回線を利用した電話通話を行うための機能を実行する。なお、通信端末装置３を、当該通話機能部３１７を備えない構成とすることも可能である。

【0046】

通信インターフェイス３１８は、例えば無線ＬＡＮルーターへの接続によりインターネットを介してサーバー２とのデータ通信を行うためのインターフェイス、及び通話機能部３１７による通話機能に必要な通信を行うためのインターフェイスとして機能する。

【0047】

入力部３１９は、通信端末装置３の筐体に設けられたキーや、表示部３１５の表示画面部分に設けられたタッチパネル等から構成され、ユーザーから各種操作指示が入力される。

【0048】

次に、サーバー２から取得した表示データが示すアプリケーションに対する操作指示の入力を受け付ける処理を説明する。図４は、サーバー２から取得した表示データが示すアプリケーションに対する操作指示の入力を受け付ける処理を示すフローチャートである。図５は通信端末装置３における表示部３１５の表示画面の一例を示す図である。なお、通信端末装置３の制御部３０１は、既に上記ジェスチャー管理プログラムに従った動作を行っているものとする。

【0049】

通信端末装置３において、操作者による入力部３１９の操作で、無線ＬＡＮルーターに接続する旨の指示が入力されると、制御部３０１は、通信インターフェイス３１８を介して、無線ＬＡＮルーター５に接続する（Ｓ１）。そして、制御部３０１は、インターネットに接続し、操作者により指定されたURLが示すウェブ上のサーバー２に接続する（Ｓ２）。

【0050】

上記サーバー２に接続後、制御部３０１は、操作者により指定されたアプリケーションの動作を開始させる要求をサーバー２に対して送信する（Ｓ３）。

【0051】

サーバー２では、当該アプリケーションの動作開始要求を、制御部２０１が通信インターフェイス２１を介して受信すると（Ｓ１１）、ＨＤＤ２２に記憶されている上記指定されたアプリケーションに従って動作を開始する（Ｓ１２）。このとき、通信部２０２は、当該アプリケーションの動作に伴う表示データを通信インターフェイス２１から、インターフェイスを介して、通信端末装置３に対して送信させる（Ｓ１２）。

【0052】

通信端末装置３では、ブラウザー３０７が、通信インターフェイス３１８を介して、当該表示データを受信すると、表示部３１５に、例えば、図５に例を示すような表示画面Ｄ１により、当該表示データを表示させる（Ｓ４）。当該ブラウザー３０７による当該表示データの通信及び表示は、サーバー２におけるアプリケーションの動作中は続けられる。

【0053】

上記ブラウザー３０７による表示部３１５への表示データの表示中に、操作者が、表示画面Ｄ１が表示されている表示部３１５の表示パネル上において、図５に例を示すように、上述したスライド移動を伴う接触動作（以降、スライド接触動作という）を行うと、タッチパネルが当該スライド接触操作について検出する時間経過毎の接触位置情報に基づいて、ジェスチャー検出部３０３が、操作者により行われたジェスチャーを検出する（Ｓ５でＹＥＳ）。なお、ジェスチャー検出部３０３は、予め複数のジェスチャーを記憶しており、タッチパネルから取得した接触位置情報の軌跡が当該ジェスチャーと同一性を有する場合に、ジェスチャーを検出する。

【0054】

続いて、画像読出部３０４が、当該検出されたジェスチャーに対応付けられた指示受付用画像を対応付記憶部３０２から読み出す（Ｓ６）。

【0055】

判断部３０５は、ブラウザー３０７がサーバー２から取得して表示部３１５に表示させている表示データの中に、上記読み出された指示受付用画像に対応する指示受付用画像が含まれているか否かを判断し（Ｓ７）、判断部３０５が、当該表示データの中に上記指示受付用画像が含まれていると判断した場合（Ｓ７でＹＥＳ）、送信制御部３０６は、ブラウザー３０７に対して、当該指示受付用画像の表示位置に対して操作者が接触操作を行った場合に送信する指示と同様の指示をサーバー２に送信させる送信指示を出力する（Ｓ８）。例えば、送信制御部３０６は、当該指示受付用画像の表示位置に対して操作者が接触操作を行った場合にタッチパネルからブラウザー３０７に入力される接触位置情報を、上記送信指示として、ブラウザー３０７に出力する。

【0056】

なお、Ｓ５でジェスチャーがジェスチャー検出部３０３によって検出されない場合と（Ｓ５でＮＯ）、及び、Ｓ７で判断部３０５が上記表示データの中に上記指示受付用画像が含まれていないと判断した場合は（Ｓ７でＮＯ）、処理は終了する。

【0057】

上記送信指示を受け取ったブラウザー３０７は、サーバー２に対して、当該指示受付用画像の表示位置に対して操作者が接触操作を行った場合に送信する指示、例えば、当該指示受付用画像が接触操作により指定されたことを示す指示を、通信インターフェイス３１８から送信する（Ｓ９）。

【0058】

一方、サーバー２においては、通信インターフェイス２１が上記指示を通信端末装置３から受信すると（Ｓ１３）、制御部２０１が、当該指示に応じた処理を、この時点で動作させている上記アプリケーションに従って行う（Ｓ１４）。すなわち、制御部２０１が、操作者により通信端末装置３における表示部３１５の表示画面上で指定した指示受付用画像に対応する処理を、当該アプリケーションに従って実行する。

【0059】

上記一連の処理によれば、対応付記憶部３０２に記憶されているジェスチャーを表示部３１５のタッチパネルに対して操作者が行うと、ジェスチャー検出部３０３が当該ジェスチャーを検出し、画像読出部３０４が当該ジェスチャーに対応付けられた指示受付用画像を読み出し、判断部３０５が、当該読み出された指示受付用画像が、表示部３１５に表示されているアプリケーションの表示データ中に存在していると判断すれば、送信制御部３０６が、指示受付用画像に対応付けられている指示を、ブラウザー３０７よりサーバー２に対して送信させる。このため、当該アプリケーションが未対応の指示入力方法、例えば操作者が普段から通信端末装置３において行っているジェスチャーによる指示入力であっても、当該ジェスチャーが対応付記憶部３０２に記憶されていれば、このジェスチャーにより当該アプリケーションを操作できることになり、当該アプリケーションに対する操作者の操作性を更に向上させることができる。

【0060】

また、例えばサーバー等からインターネットを介してダウンロードしたアプリケーションを、通信端末装置３においてインストールして使用する場合であっても、同様に、上記のようにして、当該アプリケーションに対する操作者の操作性を更に向上させることができる。

【0061】

従って、上記一連の処理によれば、通信端末装置３においてアプリケーションを使用する場合に、アプリケーション側を修正することなく、当該アプリケーションが未対応の操作であっても当該アプリケーションを操作可能とし、例えば、操作者が通信端末装置３で使い慣れた操作により当該アプリケーションを操作することが可能になる。

【0062】

次に、通信端末装置３におけるジェスチャーを登録する処理の第１実施形態を説明する。図６は当該登録を行う通信端末装置３の概略構成を示すブロック図である。なお、図３を用いて既に説明した通信端末装置３の構成については、説明を省略する。

【0063】

図６に示すように、通信端末装置３の制御ユニット３００は、図３に示した構成に加えて、更に、ジェスチャー記憶部３０８、ジェスチャー受付部３０９、指示受付用画像受付部３１０、及び対応付管理部３１１を備える。メモリー３１４には、これらジェスチャー記憶部３０８、ジェスチャー受付部３０９、指示受付用画像受付部３１０、及び対応付管理部３１１によるジェスチャー登録にも対応したジェスチャー管理プログラムが記憶（インストール）されている。制御ユニット３００は、当該ジェスチャー管理プログラムに従って動作することで、制御ユニット３００を、図３を用いて上述した各部に加えて、更に、ジェスチャー記憶部３０８、ジェスチャー受付部３０９、指示受付用画像受付部３１０、及び対応付管理部３１１として機能させる。但し、制御ユニット３００の当該ジェスチャー記憶部３０８、ジェスチャー受付部３０９、指示受付用画像受付部３１０、及び対応付管理部３１１は、上記ジェスチャー管理プログラムに基づく動作にはよらずに、それぞれハード回路により構成されてもよい。

【0064】

ジェスチャー記憶部３０８は、ジェスチャー受付部３０９により操作者から指定を受け付ける候補となる予め定められたジェスチャーを記憶している。

【0065】

ジェスチャー受付部３０９は、ジェスチャー記憶部３０８に記憶されているジェスチャーのうち、操作者により表示部３１５のタッチパネル機能等を介して指定されたジェスチャーを受け付ける。

【0066】

指示受付用画像受付部３１０は、ブラウザー３０７がサーバー２から取得した表示データ中に存在する指示受付用画像のうち、操作者により指定された指示受付用画像を受け付ける。

【0067】

対応付管理部３１１は、ジェスチャー受付部３０９に受け付けられたジェスチャーを、指示受付用画像受付部３１０に受け付けられた指示受付用画像を対応付けて、対応付記憶部３０２に記憶させる。

【0068】

図７は通信端末装置３におけるジェスチャーを登録する処理の第１実施形態を示すフローチャートである。図８は通信端末装置３における表示部３１５の表示画面の一例を示す図である。

【0069】

操作者による入力部３１９の操作により、ジェスチャーの登録指示が入力されると（Ｓ２１でＹＥＳ）、ジェスチャー受付部３０９は、表示部３１５の表示画面に、図８に示すようなジェスチャー受付画面Ｄ２を表示させる。ジェスチャー受付部３０９は、ジェスチャー受付画面Ｄ２に、受付候補となるジェスチャーを示すジェスチャー受付用画像ｄ２１〜ｄ２４を表示させる（Ｓ２２）。

【0070】

例えば、ジェスチャー受付用画像ｄ２１は、左から右に向かう矢印を示す画像とされ、当該画像により、操作者が表示画面上を左から右に接触操作をスライドさせる動作を示している。同様に、ジェスチャー受付用画像ｄ２２は、操作者が表示画面を下から上に接触動作をスライドさせる動作を示し、ジェスチャー受付用画像ｄ２３は、操作者が表示画面を右から左に接触動作をスライドさせる操作を示し、ジェスチャー受付用画像ｄ２４は、操作者が表示画面を上から下に接触動作をスライドさせる操作を示している。

【0071】

さらに、ジェスチャー受付部３０９は、このジェスチャー受付画面Ｄ２に、選択したジェスチャー及び指示受付用画像の対応付の登録指示を受け付ける登録指示受付画像ｄ２５を表示させている。

【0072】

また、ジェスチャー受付部３０９は、このジェスチャー受付画面Ｄ２における一部領域Ｄ２０に、サーバー２からブラウザー３０７等が取得した表示データを表示させ、上記アプリケーションの動作内容を表示させる。これにより、操作者は、アプリケーションの動作内容を視認できると共に、当該一部領域Ｄ２０に接触操作を行うと、当該接触操作位置に表示されている指示受付用画像に対する指示を、表示部３１５が備えるタッチパネルにより入力可能となっている。

【0073】

このジェスチャー受付画面Ｄ２の表示時に、操作者が、ジェスチャー受付用画像ｄ２１〜ｄ２４のうち、所望のジェスチャー受付用画像の表示位置に接触すると、タッチパネルを介して、当該接触位置に表示されているジェスチャー受付用画像に対応するジェスチャーの指定を、ジェスチャー受付部３０９が受け付ける（Ｓ２３でＹＥＳ）。

【0074】

続いて、操作者が、ジェスチャー受付画面Ｄ２における登録指示受付用画像ｄ２５の表示位置に接触すると、以降に指定する指示受付用画像を、上記指定が受け付けられたジェスチャーに対応付ける指示受付用画像として、指示受付用画像受付部３１０が受け付ける状態になる。

【0075】

そして、操作者が、表示画面Ｄ１における上記一部領域における指示受付用画像としての指示受付用画像、例えば、図７に示す「戻る」ボタンｄ２６に接触すると、指示受付用画像としての「戻る」ボタンｄ２６を、上記指定が受け付けられたジェスチャーに対応付ける旨の指示を指示受付用画像受付部３１０がタッチパネルを介して受け付ける（Ｓ２４でＹＥＳ）。

【0076】

対応付管理部３１１は、指示受付用画像としての「戻る」ボタンｄ２６と、Ｓ２３で指定が受け付けられたジェスチャーとの対応付を対応付記憶部３０２に記憶させる（Ｓ２５）。

【0077】

なお、Ｓ２３でジェスチャーが指定されない場合と（Ｓ２３でＮＯ）、及び、Ｓ２４で指示受付用画像の指定が受け付けられない場合は（Ｓ２４でＮＯ）、処理は終了する。

【0078】

これにより、操作者が、所望のジェスチャーをジェスチャー記憶部３０８に記憶されているジェスチャーから選択して、当該ジェスチャーの指定をジェスチャー受付部３０９に入力し、さらに、表示部３１５に表示されている上記表示データ中に存在する指示受付用画像のうち、所望の指示受付用画像の指定を指示受付用画像受付部３１０に入力することで、対応付管理部３１１により、操作者所望のジェスチャー及び指示受付用画像の対応付が対応付記憶部３０２に記憶される。このため、サーバー２で動作しているアプリケーション中の指示受付用画像に対応する操作指示を、操作者所望のジェスチャーにより入力して当該アプリケーションを操作することが可能になる。

【0079】

次に、通信端末装置３におけるジェスチャーを登録する処理の第２実施形態を説明する。図９は当該登録を行う通信端末装置３の概略構成を示すブロック図である。なお、図３を用いて既に説明した通信端末装置３の構成については、説明を省略する。

【0080】

この第２実施形態では、図９に示すように、通信端末装置３の制御ユニット３００は、図３に示した構成に加えて、更に、指示受付用画像受付部３１０、及び対応付管理部３１１を備える。メモリー３１４には、当該指示受付用画像受付部３１０及び対応付管理部３１１によるジェスチャー登録に対応したジェスチャー管理プログラムが記憶（インストール）されている。制御ユニット３００は、当該ジェスチャー管理プログラムに従って動作することで、制御ユニット３００を、図３を用いて上述した各部に加えて、更に、指示受付用画像受付部３１０、及び対応付管理部３１１として機能する。但し、制御ユニット３００の当該指示受付用画像受付部３１０、及び対応付管理部３１１は、上記ジェスチャー管理プログラムに基づく動作にはよらずに、それぞれハード回路により構成されてもよい。

【0081】

指示受付用画像受付部３１０は、第１実施形態における場合と同様に、ブラウザー３０７がサーバー２から取得した表示データ中に存在する指示受付用画像のうち、操作者により指定された指示受付用画像を受け付ける。

【0082】

また、この第２実施形態における対応付管理部３１１は、ジェスチャー検出部３０３に検出されたジェスチャーを、指示受付用画像受付部３１０に受け付けられた指示受付用画像に対応付けて、対応付記憶部３０２に記憶させる。

【0083】

図１０は通信端末装置３におけるジェスチャーを登録する処理の第２実施形態を示すフローチャートである。図１１は通信端末装置３における表示部３１５の表示画面の一例を示す図である。

【0084】

操作者による入力部３１９の操作により、ジェスチャーの登録指示が入力されると（Ｓ３１でＹＥＳ）、ジェスチャー受付部３０９は、表示部３１５の表示画面に、図１１に示すようなジェスチャー受付画面Ｄ３を表示させる。ジェスチャー受付部３０９は、このジェスチャー受付画面Ｄ３に、選択したジェスチャー及び指示受付用画像の対応付の登録指示を受け付ける登録指示受付用画像ｄ３５を表示させている。

【0085】

また、ジェスチャー受付部３０９は、第１実施形態と同様に、このジェスチャー受付画面Ｄ３における一部領域Ｄ３０に、サーバー２からブラウザー３０７等が取得した表示データを表示させ、上記アプリケーションの動作内容を表示させる。

【0086】

このジェスチャー受付画面Ｄ３の表示時に、操作者が、ジェスチャー受付画面Ｄ３上で例えば図１１に示すような接触スライド操作を行って所望のジェスチャーを行うと、ジェスチャー検出部３０３によって当該ジェスチャーが検出される（Ｓ３２でＹＥＳ）。

【0087】

そして、これに続いて、操作者が、ジェスチャー受付画面Ｄ３における登録指示受付用画像ｄ３５の表示位置に接触すると、タッチパネルにより、以降に指定する指示受付用画像を、上記検出されたジェスチャーに対応付ける指示受付用画像として、指示受付用画像受付部３１０が受け付ける状態になる。

【0088】

そして、操作者が、一部領域Ｄ３０における指示受付用画像としての指示受付用画像、例えば、図１１に示す「戻る」ボタンｄ３６に接触すると、指示受付用画像としての「戻る」ボタンｄ３６を、上記検出されたジェスチャーに対応付ける旨の指示を指示受付用画像受付部３１０がタッチパネルを介して受け付ける（Ｓ３３でＹＥＳ）。

【0089】

この後、対応付管理部３１１は、上記指定された指示受付用画像としての「戻る」ボタンｄ３６と、Ｓ３２で検出されたジェスチャーとの対応付を対応付記憶部３０２に記憶させる（Ｓ３４）。

【0090】

なお、Ｓ３２でジェスチャーが検出されない場合と（Ｓ３２でＮＯ）、及び、Ｓ３３で指示受付用画像の指定が受け付けられない場合は（Ｓ３３でＮＯ）、処理は終了する。

【0091】

これにより、操作者が表示部３１５のタッチパネル上で所望のジェスチャーを行えば、当該ジェスチャーがジェスチャー検出部３０３によって検出され、更に当該ジェスチャーに対応付ける指示受付用画像を指定すれば、対応付管理部３１１により、操作者が行った当該所望のジェスチャーと、指定された指示受付用画像との対応付が対応付記憶部３０２に記憶される。このため、操作者が行った所望のジェスチャーにより、表示部３１５に表示されているアプリケーション中の指示受付用画像に対応した操作指示を入力して、当該アプリケーションを操作することが可能になる。

【0092】

なお、第１及び第２実施形態におけるジェスチャー登録後は、図３に示した処理が、上記に説明した通りに行われる。

【0093】

なお、本発明は上記実施の形態の構成に限られず種々の変形が可能である。例えば、上記実施形態では、本発明の一実施形態に係る情報処理装置を、通信端末装置してモバイル機器及び携帯電話として説明しているが、これは一例に過ぎず、他の電子機器、例えばパーソナルコンピューター、カーナビゲーション等であっても構わない。

【0094】

また、図１乃至図１１を用いて上記各実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。

【符号の説明】

【0095】

１０ 通信システム
２ サーバー
３ 通信端末装置
３００ 制御ユニット
３０１ 制御部
３０２ 対応付記憶部
３０３ ジェスチャー検出部
３０４ 画像読出部
３０５ 判断部
３０６ 送信制御部
３０７ ブラウザー
３０８ ジェスチャー記憶部
３０９ ジェスチャー受付部
３１０ 指示受付用画像受付部
３１１ 対応付管理部
３１５ 表示部
３１９ 入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】