特許 6015637 情報処理装置、情報処理装置を制御するための方法、および、当該方法をコンピュータに実行させるためのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6015637

(24)【登録日】2016年10月7日

(45)【発行日】2016年10月26日

(54)【発明の名称】情報処理装置、情報処理装置を制御するための方法、および、当該方法をコンピュータに実行させるためのプログラム

(51)【国際特許分類】

   G06F 3/0488 20130101AFI20161013BHJP

   G06F 3/041 20060101ALI20161013BHJP

   H04N 1/00 20060101ALI20161013BHJP

   B41J 29/42 20060101ALI20161013BHJP

【ＦＩ】

   G06F3/0488

   G06F3/041 595

   H04N1/00 C

   B41J29/42 F

【請求項の数】12

【全頁数】32

(21)【出願番号】特願2013-247582(P2013-247582)

(22)【出願日】2013年11月29日

(65)【公開番号】特開2015-106256(P2015-106256A)

(43)【公開日】2015年6月8日

【審査請求日】2015年2月16日

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】市山 征平

(72)【発明者】

【氏名】来正 洋一

【審査官】 山崎 慎一

(56)【参考文献】

【文献】 国際公開第２０１２／１６９１５７（ＷＯ，Ａ１）

【文献】 特開２０００−１５５６４８（ＪＰ，Ａ）

【文献】 特開２０１０−１１７７６３（ＪＰ，Ａ）

【文献】 特開２０１３−２３２０４７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０２７３３８０（ＵＳ，Ａ１）

【文献】 特許第５３３１９３５（ＪＰ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８８

Ｂ４１Ｊ ２９／４２

Ｇ０６Ｆ ３／０４１

Ｈ０４Ｎ １／００

(57)【特許請求の範囲】

【請求項1】

情報処理装置であって、
前記情報処理装置に対するタッチ操作を受け付ける画面を表示するための表示手段と、
前記タッチ操作を受け付けるためのタッチ操作手段と、
ユーザーにより連続して行われる前記タッチ操作をジェスチャー操作として対応するタッチイベントを発行するためのタッチイベント発行手段と、
前記タッチイベント発行手段によって発行される前記タッチイベントを記憶する記憶手段と、
前記タッチイベント発行手段によって発行される前記タッチイベントに基づき対応する処理を行なうモードと、予め記憶された前記タッチイベントを再生する再生モードとをそれぞれ実行可能なジェスチャー制御手段とを備え、
前記ジェスチャー制御手段は、前記再生モードにおいて前記タッチイベントに関連付けられる領域に、前記記憶されたタッチイベントに対応する前記ジェスチャー操作を示す軌跡または方向の少なくとも一つを含む操作画像を付加し、前記表示手段に表示させる、情報処理装置。

【請求項2】

前記タッチ操作手段は、一連のタッチ操作を受け付け、
前記情報処理装置は、前記一連のタッチ操作が、前記情報処理装置の機能を実現するための操作に該当するか否かを判断するための判断手段をさらに備え、
前記一連のタッチ操作が、前記情報処理装置の機能を実現するための操作に該当する場合に、前記ジェスチャー制御手段は、前記タッチイベントと前記操作画像とを前記表示手段に表示させる、請求項１に記載の情報処理装置。

【請求項3】

前記情報処理装置の外部装置からデータを取得するための取得手段をさらに備え、
前記タッチイベント発行手段は、前記外部装置から取得されたデータに基づいて、前記タッチイベントを発行する、請求項１または２に記載の情報処理装置。

【請求項4】

前記外部装置は、タッチパネルを備える情報通信端末を含み、
前記情報処理装置は、前記情報通信端末におけるサンプリング数を前記情報処理装置におけるサンプリング数に補正するための補正手段をさらに備える、請求項３に記載の情報処理装置。

【請求項5】

前記タッチイベント発行手段は、予め規定されたタイミングから前記タッチ操作のそれぞれが行なわれたタイミングまで経過した時間と、当該タッチ操作とを関連付けて記憶するための記憶手段を含み、
前記情報処理装置は、前記タッチ操作のそれぞれについて、前記時間と当該タッチ操作とに基づいて、前記タッチ操作に対応する動作を前記情報処理装置に実行させるための再生手段をさらに含む、請求項１〜４のいずれか一項に記載の情報処理装置。

【請求項6】

前記ジェスチャー制御手段は、前記ジェスチャ操作に対応する前記操作画像の表示を繰り返すように構成されている、請求項１〜５のいずれか一項に記載の情報処理装置。

【請求項7】

前記タッチイベントを示すデータは、前記情報処理装置と他の情報処理装置との間で移送可能であり、
前記操作画像が表示される領域は、当該操作画像を表示する情報処理装置が備える表示手段の表示領域の大きさに応じて変更されるように構成されている、請求項１〜６のいずれか一項に記載の情報処理装置。

【請求項8】

前記情報処理装置に対するタッチ操作は、フリック操作を含み、
前記フリック操作が行なわれた場合に、前記表示手段は、前記フリック操作の軌跡を表示するように構成されている、請求項１〜７のいずれか一項に記載の情報処理装置。

【請求項9】

前記情報処理装置に対するタッチ操作は、二点タッチ操作を含み、
前記表示手段は、前記二点タッチ操作が行なわれた点の座標値の変化に応じて、当該変化を示す方向を表示する、請求項１〜８のいずれか一項に記載の情報処理装置。

【請求項10】

前記ジェスチャー制御手段は、前記再生モードにおいて前記タッチイベントによる前記処理の結果を示す画像とともに前記操作画像を前記表示手段に表示させる、請求項１〜９のいずれか一項に記載の情報処理装置。

【請求項11】

情報処理装置を制御するための方法であって、
前記情報処理装置に対するタッチ操作を受け付ける画面を表示するステップと、
前記タッチ操作を受け付けるステップと、
ユーザーにより連続して行われる前記タッチ操作をジェスチャー操作として対応するタッチイベントを発行するステップと、
前記発行されたタッチイベントを記憶するステップと、
前記発行されたタッチイベントに基づき対応する処理を行なうモードと、予め記憶された前記タッチイベントを再生する再生モードとをそれぞれ実行するステップとを備え、
前記実行するステップは、前記再生モードにおいて前記タッチイベントに関連付けられる領域に、前記記憶されたタッチイベントに対応する前記ジェスチャー操作を示す軌跡または方向の少なくとも一つを含む操作画像を付加して表示するステップを含む、情報処理装置を制御するための方法。

【請求項12】

情報処理装置を制御するための方法をコンピュータに実行させるためのプログラムであって、前記プログラムは、前記コンピュータに、
前記情報処理装置に対するタッチ操作を受け付ける画面を表示するステップと、
前記タッチ操作を受け付けるステップと、
ユーザーにより連続して行われる前記タッチ操作をジェスチャー操作として対応するタッチイベントを発行するステップと、
前記発行されたタッチイベントを記憶するステップと、
前記発行されたタッチイベントに基づき対応する処理を行なうモードと、予め記憶された前記タッチイベントを再生する再生モードとをそれぞれ実行するステップとを実行させ、
前記実行するステップは、前記再生モードにおいて前記タッチイベントに関連付けられる領域に、前記記憶されたタッチイベントに対応する前記ジェスチャー操作を示す軌跡または方向の少なくとも一つを含む操作画像を付加して表示するステップを含む、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は情報処理装置の制御に関し、より特定的には、タッチ操作を受け付け可能な情報処理装置におけるタッチ操作の再現に関する。

【背景技術】

【0002】

装置に対する操作の表示に関し、たとえば、特開２００８−０４０５６０号公報（特許文献１）は、「装置に対して行われた操作などの履歴情報を表示する際、継続する操作を見失うことなく表示することができる履歴表示装置」を開示している。

【0003】

また、特開２０００−２３５５４９号公報（特許文献２）は、「操作者の行うマウスの動きなどを，後で他の端末で再生する場合に，再生時に同じ結果が得られるようにする」ための技術を開示している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８−０４０５６０号公報

【特許文献2】特開２０００−２３５５４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特開２００８−０４０５６０号公報に開示された技術によると、装置に対して行われた操作などの履歴情報を表示する際、継続した操作を見失うことなく表示させるために、操作履歴を生成する際に、操作された操作部の位置を示す操作位置画像を操作部画像上で時系列的に隣接した２つの操作部間を結ぶ経路に沿って予め定められた表示間隔で表示させることができる。しかしながら、たとえば、ジェスチャー操作に適用した場合には、ジェスチャー操作は連続した操作であり、２点が近いので軌跡を表示することができないという問題がある。

【0006】

また、特開２０００−２３５５４９号公報に開示された技術によると、マウスの入力イベント(マウスクリックやマウス移動など)と結果イベント(ウィンドウの生成やポインタ位置更新など)を記憶し、記憶したイベントを発行することができる。しかしならが、パーソナルコンピューター上では常にマウスが表示されているのに対して画像形成装置ではマウスは存在しない。そのため、入力イベントを発生させるだけでは、パネル上のどこに入力イベントが発生したのかが分からないという問題がある。

【0007】

また、別の局面において、画像形成装置の操作内容の再生手段として、タッチイベントを記憶し、記憶したタッチイベントを再生成・発行することで、記憶時と同じ操作内容を再生させる方法が考えられる。この方法を用いることで、タッチ操作やジェスチャー操作など、ユーザーが操作した内容を完全に再現することが可能となる。しかし、タッチイベントの自動再生を行う場合に、画像形成装置の内部においてタッチイベントを発生させるため、ユーザーはどこのキーが押されているのか、またどのような操作が行われているのかが分からない。そのため、タッチされた点の座標値や操作（たとえば、フリック操作など)の内容を容易に把握できることが必要とされている。

【0008】

したがって、上記のような問題を解決するための技術が必要とされている。本開示は、上述の問題点を解決するためになされたものであって、その目的は、タッチされた点や操作内容が容易に分かる情報処理装置を提供することである。他の目的は、タッチされた点や操作内容が容易に分かるように情報処理装置を制御するための方法を提供することである。さらに他の目的は、当該方法をコンピュータに実行させるためのプログラムを提供することである。

【課題を解決するための手段】

【0009】

一実施の形態に従う情報処理装置は、情報処理装置に対するタッチ操作を受け付ける画面を表示するための表示手段と、タッチ操作を受け付けるためのタッチ操作手段と、タッチ操作手段に対する１つ以上のタッチ操作にそれぞれ対応する１つ以上のタッチイベントを発行するためのタッチイベント発行手段と、タッチイベント発行手段によって発行される１つ以上のタッチイベントに基づき対応する処理を行なうモードと、予め記憶されたタッチイベントを再生する再生モードとをそれぞれ実行可能なジェスチャー制御手段とを備える。ジェスチャー制御手段は、再生モードにおいてタッチイベントに関連付けられる領域に、記憶されたタッチイベントに対応するタッチ操作を示す操作画像を付加し、表示手段に表示させる。

【0010】

好ましくは、タッチ操作手段は、一連のタッチ操作を受け付ける。情報処理装置は、一連のタッチ操作が、情報処理装置の機能を実現するための操作に該当するか否かを判断するための判断手段をさらに備える。一連のタッチ操作が、情報処理装置の機能を実現するための操作に該当する場合に、ジェスチャー制御手段は、１つ以上のタッチイベントと情報とを表示手段に表示させる。

【0011】

好ましくは、情報処理装置は、当該情報処理装置の外部装置からデータを取得するための取得手段をさらに備える。タッチイベント発行手段は、外部装置から取得されたデータに基づいて、１つ以上のタッチイベントを発行する。

【0012】

好ましくは、外部装置は、タッチパネルを備える情報通信端末を含む。情報処理装置は、情報通信端末におけるサンプリング数を情報処理装置におけるサンプリング数に補正するための補正手段をさらに備える。

【0013】

好ましくは、タッチイベント発行手段は、予め規定されたタイミングから１つ以上のタッチ操作のそれぞれが行なわれたタイミングまで経過した時間と、当該タッチ操作とを関連付けて記憶するための記憶手段を含む。情報処理装置は、１つ以上のタッチ操作のそれぞれについて、時間と当該タッチ操作とに基づいて、１つ以上のタッチ操作に対応する動作を情報処理装置に実行させるための再生手段をさらに含む。

【0014】

好ましくは、ジェスチャー制御手段は、１つ以上のタッチ操作または情報の表示を繰り返すように構成されている。

【0015】

好ましくは、情報は、情報処理装置と他の情報処理装置との間で移送可能である。情報が表示される領域は、当該情報を表示する情報処理装置が備える表示手段の表示領域の大きさに応じて変更されるように構成されている。

【0016】

好ましくは、情報処理装置に対するタッチ操作は、フリック操作を含む。フリック操作が行なわれた場合に、表示手段は、フリック操作の軌跡を表示するように構成されている。

【0017】

好ましくは、情報処理装置に対するタッチ操作は、二点タッチ操作を含む。表示手段は、二点タッチ操作が行なわれた点の座標値の変化に応じて、当該変化を示す方向を表示する。

【0018】

好ましくは、ジェスチャー制御手段は、再生モードにおいてタッチイベントによる処理の結果を示す画像とともに操作画像を表示手段に表示させるように構成されている。

【0019】

他の実施の形態に従うと、情報処理装置を制御するための方法が提供される。この方法は、情報処理装置に対するタッチ操作を受け付ける画面を表示するステップと、タッチ操作を受け付けるステップと、１つ以上のタッチ操作にそれぞれ対応する１つ以上のタッチイベントを発行するステップと、発行された１つ以上のタッチイベントに基づき対応する処理を行なうモードと、予め記憶されたタッチイベントを再生する再生モードとをそれぞれ実行するステップとを備える。実行するステップは、再生モードにおいてタッチイベントに関連付けられる領域に、記憶されたタッチイベントに対応するタッチ操作を示す操作画像を付加して表示するステップを含む。

【0020】

さらに他の実施の形態に従うと、情報処理装置を制御するための方法をコンピュータに実行させるためのプログラムが提供される。このプログラムは、コンピュータに、情報処理装置に対するタッチ操作を受け付ける画面を表示するステップと、タッチ操作を受け付けるステップと、１つ以上のタッチ操作にそれぞれ対応する１つ以上のタッチイベントを発行するステップと、発行された１つ以上のタッチイベントに基づき対応する処理を行なうモードと、予め記憶されたタッチイベントを再生する再生モードとをそれぞれ実行するステップとを実行させる。実行するステップは、再生モードにおいてタッチイベントに関連付けられる領域に、記憶されたタッチイベントに対応するタッチ操作を示す操作画像を付加して表示するステップを含む。

【0021】

ある局面において、情報処理装置に対して行なわれたタッチ操作が視覚化されるので、ユーザーは、タッチ操作の内容を容易に把握することができる。

【0022】

この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

【図面の簡単な説明】

【0023】

【図1】本発明の実施の形態に明る画像形成装置１００により実現される機能を表すブロック図である。

【図2】本発明の実施の形態に係る画像形成装置１００のハードウェア構成の一例を表す図である。

【図3】本発明に係る技術思想が適用される画像形成装置１００の概略を表す図である。

【図4】本発明の実施の形態に係る画像形成装置１００と他の機器とが接続された状態を表す図である。

【図5】本発明の実施の形態に係る画像形成装置１００における各種のタッチイベントを表す図である。

【図6】本発明の実施の形態に係る画像形成装置１００が備えるタッチパネル１１０における操作を表す図である。

【図7】本発明の実施の形態に係るジェスチャー判定部１４０の構成を表す図である。

【図8】タッチイベントを記憶するための処理を表すフローチャートである。

【図9】本発明の実施の形態に係る画像形成装置１００がタッチイベントを記憶するために備える構成を表す図である。

【図10】本発明の実施の形態に係る画像形成装置１００が実行する処理の一部を表すフローチャートである。

【図11】タッチイベントの再生処理を表す図である。

【図12】タッチパネル１１０の画面の推移を表す図である。

【図13】本発明の実施の形態に係る画像形成装置１００がフリック操作を記憶する場合におけるタッチパネル１１０の画面の推移を表す図である。

【図14】本発明の実施の形態に係る画像形成装置１００のタッチパネル１１０が操作イベントを再生する場合の画面の推移を表す図である。

【図15】本発明の実施の形態に係る画像形成装置１００のタッチパネル１１０におけるピンチ操作とジェスチャとを表す図である。

【図16】本発明の実施の形態に係る画像形成装置１００におけるタッチイベントのインポートとエクスポートとを表わす図である。

【図17】画像形成装置１００が備えるタッチパネル１１０に表示されるタッチイベントに情報が付加される局面を表す図である。

【図18】画像形成装置１００がフリックジェスチャを再生する場合に軌跡が付加されることを表す図である。

【図19】タッチパネル１１０にピンチジェスチャの軌跡および方向が表示されている態様を表す図である。

【図20】タッチパネル１１０に対して画像を回転させる操作が行なわれた場合に情報が付加される一態様を表す図である。

【図21】タッチイベントが登録された画像形成装置１００のタッチパネル１１０の大きさと、当該タッチイベントを再生する情報処理装置のタッチパネルの大きさとが異なる場合における画像の表示態様を表す図である。

【図22】画像形成装置１００が実行する処理の一部を表すフローチャートである。

【図23】画像形成装置１００がアニメーションを実行している場合におけるジェスチャーの表示処理を表すフローチャートである。

【発明を実施するための形態】

【0024】

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0025】

まず、情報処理装置の一態様である画像形成装置の一つの局面について説明する。ある局面において、画像形成装置を遠隔地にあるリモート端末に接続し、接続されたリモート端末側から画像形成装置側へ操作方法を指示する情報を送ることで、画像形成装置は、操作方法を指示する情報を合成して表示することができる。リモート端末側からオペレーターが送信した操作方法を指示する情報（たとえば、○印、矢印、手の画像など)を合成することが考えられる。しかしながら、この場合、マルチタッチ操作を指示する操作方法指示情報をリモート端末から画像形成装置へ送信した際、実際にジェスチャー操作した際の時間や強さ、方向が分からないため、画像形成装置上で再現される操作内容を見ているユーザーは、どの程度の操作を行えばよいのかが分からないという問題が生じる。

【0026】

また、リモート端末側から拡大の命令が画像形成装置に二度与えられた場合には、予め規定された大きさだけ、２回目の命令に応じた拡大率を1回目の命令に応じた拡大率よりも大きくするように構成される。そのため、リモート端末側での操作に対して、画像形成装置側では忠実に操作内容を再現することはできないことになる。

【0027】

また、別の局面では、遠隔からの操作支援の際に、ヘルプデスクのオペレーターのパネル操作に対して補正を加え、オペレーター独特の動きを適切なものに変換することが考えられる。これは、操作支援者の第１の操作位置（操作開始位置）から第２の操作位置（操作終了位置）までの操作支援画面として第１の操作画面から第２の操作画面までの間で、操作時間に応じて操作画面を補間した、連続して操作パネルにアニメーション表示するものである。リモート端末側から画像形成装置側へ送る情報としては、タッチ開始時の情報（第１座標値）とタッチ終了時の情報（第２座標値）のみであり、画像形成装置側でジェスチャー操作を特定することができない。ジェスチャーの特定にはタッチ操作が開始された時の座標値と、タッチ操作が継続している間の座標値と、タッチ操作が終了した時の座標値とが必要になるためである。したがって、この局面では、タッチ操作が継続中の座標値を省き、ユーザーの操作内容を補正することとなってしまい、実際にユーザーが操作した内容と異なってしまうことになる。

【0028】

以下に例示する。
（ピンチジェスチャーの場合の例）
操作パネルに二点の指でタッチしたまま、片方の指が動いた時点でピンチジェスチャーと判定し、
指が徐々に移動してその移動が予め規定した一定時間停止したことを検出または片方の指がパネルから離れた場合に、
ジェスチャー操作が終了したと判断する。

【0029】

その終了位置を第２座標値とし、最初の座標値と最後の座標値（第２座標値）との間を補完（補間画像の合成でジェスチャー操作内容をアニメーション表示）する。

【0030】

これを適用すると、忠実に操作内容を再現できないだけでなく、ピンチジェスチャー中に画像が拡大している時に、指を離すとそこで画像の拡大は終了するはずが、指を離した時にジェスチャー終了位置と判断されてしまい、開始位置から終了位置までの補間が行われてしまうことになる。

【0031】

つまり、再生時にピンチジェスチャーが行われた場合、ジェスチャー終了後に続けて補間したバージョンのピンチジェスチャー操作の内容が本体パネル上に合成されてしまうという問題が発生し、操作内容を忠実に再現し視覚化することができない。

【0032】

したがって、画像形成装置その他の情報処理装置が、ユーザーからのタッチ操作に基づいてタッチイベントを自動再生する場合において、タッチされた点の座標値や操作の内容（フリック操作、ピンチ操作など）がユーザーによって容易に認識される技術が必要とされている。そこで、本発明の実施の形態に係る画像形成装置１００は、以下のような構成を備える。

【0033】

［画像形成装置１００の構成］
図１を参照して、本発明の実施の形態に係る画像形成装置１００について説明する。図１は、本発明の実施の形態に明る画像形成装置１００により実現される機能を表すブロック図である。以下、本発明の技術思想が適用される情報処理装置の一例として画像形成装置１００が用いられる。しかしながら、当該技術思想の適用対象は画像形成装置１００に限られない。本発明に係る技術思想は、タブレット端末、タッチパネル型コンピュータその他の、少なくともタッチパネルを備える情報処理装置に適用可能である。

【0034】

ある局面において、画像形成装置１００は、タッチパネル１１０と、タッチイベント受け付け部１２０と、タッチ情報付加部１３０と、ジェスチャー判定部１４０と、画面制御部１５０と、タッチイベント処理部１６０とを備える。画面制御部１５０は、ジェスチャー制御部１５１を含む。タッチイベント処理部１６０は、タッチイベント記憶部１６１と、タッチイベント再生部１６２とを含む。画像形成装置１００には、外部端末１７０が、無線によってまたは有線によって接続可能である。無線接続の態様は特に限定されず、たとえば、ＷｉＦｉ（Wireless Fidelity）その他の方式が用いられ得る。

【0035】

画像形成装置１００は、タッチ操作（以下、タッチイベントという）を記憶するための動作モードと、タッチ操作を再生するための動作モードとを有する。

【0036】

タッチパネル１１０は、画像形成装置１００に対する命令の入力を受け付ける。入力された命令は、タッチパネル１１０を識別するデータと共に、タッチイベント受け付け部１２０に送られる。

【0037】

他の局面において、外部端末１７０は、タッチパネル１１０と同様に、画像形成装置１００に対する命令の入力を受け付ける。入力された命令は、外部端末１７０を識別するためのデータと共に、タッチイベント受け付け部１２０に送られる。

【0038】

タッチイベント受け付け部１２０は、与えられた命令と、当該命令を与えたタッチパネル１１０または外部端末１７０を識別するためのデータとを、タッチイベント処理部１６０に送る。

【0039】

タッチイベント処理部１６０は、ある局面において、タッチイベント受け付け部１２０から送られたデータをタッチイベント記憶部１６１に記憶する。別の局面において、タッチイベント処理部１６０は、記憶しているデータを読み出す。

【0040】

（タッチイベント記憶時）
より具体的には、画像形成装置１００の動作モードがタッチイベントを記憶するための動作モードであるとき、タッチイベント記憶部１６１は、入力された命令に相当するデータと、タッチパネル１１０または外部端末１７０を識別するためのデータとを、タッチイベントとして保持する。

【0041】

（タッチイベント再生時）
一方、画像形成装置１００の動作モードがタッチイベントを再生する動作モードであるとき、タッチイベント再生部１６２は、タッチイベント記憶部１６１に格納されているデータを読み出してタッチイベントを再生する。

【0042】

タッチ情報付加部１３０は、タッチパネル１１０または外部端末１７０に与えられたタッチ操作に対して、色や画像等の情報を付加することにより、タッチイベントがタッチパネル１１０または外部端末１７０のどの部分で発生したのかがユーザーに分かるように視覚化する。

【0043】

ジェスチャー判定部１４０は、タッチパネル１１０または外部端末１７０における画面の種類と、タッチ操作に基づくタッチイベントを表すデータとに基づいて、ジェスチャーを表示可能であるか否かを判断する。より具体的には、ジェスチャー判定部１４０は、タッチイベント受け付け部１２０から、画面の種類を表すデータを受信し、そのデータに基づいて、タッチパネル１１０または外部端末１７０に表示されている画面が、ジェスチャーを表示可能な画面であるか否かを判断する。

【0044】

その表示されている画面がジェスチャーを表示可能である場合、ジェスチャー判定部１４０は、タッチイベント受け付け部１２０から受信したタッチイベントと、ジェスチャーを表すデータ（「ジェスチャーイベント」ともいう。）とを画面制御部１５０に送る。

【0045】

画面制御部１５０は、タッチイベント受け付け部１２０から送られるタッチイベントと、当該タッチイベントに関連付けられた情報とに基づいて、画像形成装置１００における画面の表示を制御する。ジェスチャー制御部１５１は、１つ以上のタッチイベントに基づき対応する処理を行なう通常モードと、予め記憶されたタッチイベントを再生する再生モードとをそれぞれ実行可能である。ある局面において、ジェスチャー制御部１５１は、再生モードにおいてタッチイベントに関連付けられる領域に、当該記憶されたタッチイベントに対応するタッチ操作を示す操作画像を付加し、当該操作画像をタッチパネル１１０の表示領域に表示させる。別の局面において、ジェスチャー制御部１５１は、再生モードにおいてタッチイベントによる処理の結果を示す画像とともに当該操作画像をタッチパネル１１０の表示領域に表示させる。

【0046】

より具体的には、画像形成装置１００の動作モードがタッチ操作に基づくジェスチャーのアニメーションを表示可能な場合には、ジェスチャー制御部１５１は、タッチイベントに対してアニメーションを表示するための情報印、矢印その他の画像や色）を付加することにより、ジェスチャーを示すアニメーションが反映されたデータを生成する。

【0047】

画面制御部１５０は、そのようなデータを用いて、タッチパネル１１０または外部端末１７０の表示領域にジェスチャーを示すアニメーションを表示させる。画像形成装置１００のユーザーは、そのアニメーションを視認することにより、画像形成装置１００に行なわれたタッチ操作を画像形成装置１００のジェスチャーとして認識することができる。

【0048】

図２を参照して、画像形成装置１００の構成についてさらに説明する。図２は、本発明の実施の形態に係る画像形成装置１００のハードウェア構成の一例を表す図である。画像形成装置１００は、ＭＦＰ（Multi function Peripherals）本体システム制御部２００と、パネルＣＰＵ（Central Processing Unit）２０１と、ＲＯＭ（Read-Only Memory）２０２と、ＲＡＭ（Random Access Memory）２０３と、ＬＣＤ（Liquid Crystal Display）制御部２０４と、ＶＲＡＭ（Video Random Access Memory）２０５と、ＬＣＤパネル部２０６と、ハードキー操作部２０８と、入出力制御部２１１と、接続端子部２２０とを備える。ＬＣＤパネル部２０６は、タッチパネル１１０を含む。

【0049】

図２に示されるように、各構成要素は、他の構成要素に電気的に接続されている。接続端子部２２０には、ＵＳＢ（Universal Serial Bus）メモリ２２１が装着可能である。

【0050】

ＭＦＰ本体システム制御部２００は、画像形成装置１００の動作を制御する。ＭＦＰ本体システム制御部２００は、たとえば、画像形成装置１００の各処理を実行するように構成されたコントローラ、プロセッサその他の装置によって実現される。

【0051】

パネルＣＰＵ２０１は、ＭＦＰ本体システム制御部２００と通信する。パネルＣＰＵ２０１は、タッチパネル１１０の動作を制御する。より具体的には、パネルＣＰＵ２０１は、タッチパネル１１０に対するタッチ操作によって出力される信号に基づいて、当該タッチ操作で指定される命令をＭＦＰ本体システム制御部２００に送出する。ＭＦＰ本体システム制御部２００は、その命令に基づいて画像形成装置１００の動作を制御する。たとえば、ＭＦＰ本体システム制御部２００は、タッチ操作に基づいて、コピーの拡大または縮小の倍率を変更し、あるいは、片面コピーまたは両面コピーの設定を変更する。他の局面において、パネルＣＰＵ２０１は、入出力制御部２１１と通信する。

【0052】

ＲＯＭ２０２は、画像形成装置１００の動作を規定する制御プログラムやデータを保持している。ＲＡＭ２０３は、画像形成装置１００において生成されたデータを一時的に保持する。

【0053】

ＬＣＤ制御部２０４は、ＶＲＡＭ２０５のリード／ライト制御を実行する。ＬＣＤ制御部２０４は、ＬＣＤパネル部２０６における画像の表示を制御する。ＬＣＤ制御部２０４は、画像を表示するためのデータとしてＲＯＭ２０２に格納されている画像データを読み出して、その画像データをＶＲＡＭ２０５に一旦書き込む。ＬＣＤ制御部２０４は、ＶＲＡＭ２０５からその画像データを読み出して、その画像データをＬＣＤパネル部２０６に送る。ＬＣＤパネル部２０６は、その画像データに基づいて画像を表示する。表示される画像は、たとえば、画像形成装置１００によるコピーの設定値の入力を受け付ける画面、画像形成装置１００によってスキャンされた画像の送信先を設定するための画面等を含む。

【0054】

ＬＣＤパネル部２０６は、表示領域においてタッチされた位置を検出し、その位置を表す情報（たとえば、座標値）を入出力制御部２１１に送る。入出力制御部２１１は、その情報を用いて、画面上のどの機能が選択されたかを特定し、その機能を表すデータをパネルＣＰＵ２０１に送信する。パネルＣＰＵ２０１は、そのデータに基づいて、タッチパネル１１０における設定を行なう。パネルＣＰＵ２０１は、設定後のデータをＭＦＰ本体システム制御部２００に送る。ＭＦＰ本体システム制御部２００は、その信号に基づいて画像形成装置１００の動作を制御する。

【0055】

ハードキー操作部２０８は、ハードキーと、画像形成装置１００の状態を表すＬＥＤ（Light Emitting Diode）その他の発光装置と、ハードキーまたはＬＣＤパネル部２０６において入力が行なわれた旨を通知するための音声出力部とを含む。ハードキーは、たとえば、スタートキー、テンキー、パネルリセットキー等を含む。音声出力部は、たとえば、ブザー、スピーカ等で実現される。

【0056】

ハードキー操作部２０８は、入出力制御部２１１によって制御される。ある局面において、ハードキー操作部２０８は、スタートキー（図示しない）の押下に応答して、入出力制御部２１１とパネルＣＰＵ２０１とを介して、ＭＦＰ本体システム制御部２００と通信する。

【0057】

接続端子部２２０は、ＵＳＢメモリ２２１の装着を検出し、ＭＦＰ本体システム制御部２００に検出結果を送信する。ＵＳＢメモリ２２１が接続端子部２２０に適切に装着されている場合、ＵＳＢメモリ２２１と画像形成装置１００との間でデータの受け渡しが可能になる。

【0058】

［外観］
図３を参照して、画像形成装置１００についてさらに説明する。図３は、本発明に係る技術思想が適用される画像形成装置１００の概略を表す図である。画像形成装置１００は、タッチパネル１１０と、ＡＤＦ（Auto Document Feeder）３２０と、給紙トレイ３３０と、ハードディスク３４０と、プリンタ３５０と、後処理装置３６０とを備える。

【0059】

タッチパネル１１０は、ユーザーによるタッチ操作に基づいて、画像形成装置１００に対する命令の入力を受け付ける。タッチパネル１１０の形式は特に限定されない。

【0060】

ＡＤＦ３２０は、たとえば、流し読みタイプの自動原稿急送装置である。給紙トレイ３３０は、たとえば、大容量型の外付けタイプの給紙装置である。ハードディスク３４０は、画像形成装置１００を作動させるためのプログラムおよびデータ、ならびに、画像形成装置１００において生成されたデータまたは画像形成装置１００に入力されたデータを格納する。

【0061】

プリンタ３５０は、タッチパネル１１０に対して与えられたタッチ操作に基づいて、ハードディスク３４０、ＲＡＭその他の記憶装置に保持されているデータを用いて用紙に画像を形成する。なお、画像形成装置１００の出力は用紙に限られず、別の局面において、スキャンされた画像を含むデータが出力されてもよい。

【0062】

後処理装置３６０は、プリンタ３５０から出力される用紙に対して予め規定された後処理を実行する。なお、画像形成装置１００のハードウェアは周知である。したがって、ハードウェアの詳細な説明は繰り返さない。

【0063】

［使用態様］
図４を参照して、画像形成装置１００の使用態様について説明する。図４は、本発明の実施の形態に係る画像形成装置１００と他の機器とが接続された状態を表す図である。ある局面において、画像形成装置１００は、外部端末１７０と無線によって接続される。無線は、たとえば、ＷｉＦｉ（Wireless Fidelity）、赤外線通信、Bluetooth（登録商標）等であるが、その他の無線方式が用いられてもよい。画像形成装置１００は、さらに、接続端子部２２０を備える。接続端子部２２０には、ＵＳＢハブ４００が接続され得る。ＵＳＢハブ４００には、メモリ２２１が装着され得る。

【0064】

画像形成装置１００と外部端末１７０とが無線接続している場合には、外部端末１７０は、画像形成装置１００に命令を与える操作部として、タッチパネル１１０と同様に機能する。

【0065】

［タッチイベント］
図５を参照して、タッチイベントについて説明する。図５は、本発明の実施の形態に係る画像形成装置１００における各種のタッチイベントを表す図である。ある局面において、タッチイベントは、プレス、ムーヴおよびリリースを含む。

【0066】

（１）「プレス」とは、画像形成装置１００のユーザーがタッチパネル１１０の画面を指５１０でタッチしたときに生じるイベントである。より具体的には、ユーザーは、タッチパネル１１０から離れていた指５１０を矢印５２０の方向に移動して、タッチパネル１１０上の領域５３０あにタッチする。このとき、領域５３０において、タッチイベントとして「プレス」が発生する。

【0067】

（２）「ムーヴ」とは、ユーザーがタッチパネル１１０の画面を指５１０でタッチした状態で発生するイベントである。すなわち、「ムーヴ」は、タッチパネル１１０が押されたままの状態である。より具体的には、指５１０がタッチパネル１１０の領域５４０に接触しているとき、タッチイベントとして「ムーヴ」が発生する。

【0068】

（３）「リリース」とは、ユーザーが画面をタッチしている指を離した時に発生するイベントである。たとえば、タッチパネル１１０に接していた指５１０が、矢印方向に示されるように、タッチパネル１１０から離されると、タッチイベントとして「リリース」が発生する。

【0069】

なお、本実施の形態においては、上記のタッチイベントが例示されているが、本実施の形態に係る技術思想が適用されるタッチイベントは、上記の例示されたものに限られない。

【0070】

［ジェスチャー判定］
図６を参照して、画像形成装置１００におけるジェスチャー判定について説明する。図６は、本発明の実施の形態に係る画像形成装置１００が備えるタッチパネル１１０における操作を表す図である。

【0071】

（状態Ａ）
ある局面において、画像形成装置１００のユーザーは、タッチパネル１１０の操作面に対してタッチする。たとえば、領域６１０が指５１０によってタッチされる。画像形成装置１００は、タッチイベント（プレス）が発生したことを検知する。ユーザーが、矢印の方向に向けてタッチパネル１１０の操作面上で指５１０をスライドさせる（ムーヴ）。たとえば、ユーザーは指５１０を領域６１０から領域６３０を経て領域６４０までスライドし（ムーヴ）、領域６４０で指５１０をタッチパネル１１０から離す（リリース）。このプレスからリリースまでの時間が予め規定された時間よりも長いとき、すなわち、プレス→ムーヴ→リリースという一連の操作が行なわれた時間が予め規定された時間よりも長いとき、ジェスチャー判定部１４０は、画像形成装置１００のジェスチャー（動作）として、ドラッグジェスチャーを特定する。

【0072】

一方、一連の操作が行なわれた時間が予め規定された時間よりも短いとき、ジェスチャー判定部１４０は、画像形成装置１００のジェスチャーとしてフリックジェスチャーを特定する。

【0073】

（状態Ｂ）
別の局面において、ユーザーが、予め定められた時間、指５１０をタッチパネル１１０に押し続けると、ジェスチャー判定部１４０は、画像形成装置１００のジェスチャーとしてロングタップジェスチャーを特定する。別の局面において、ユーザーが、予め定められた時間の間に、タッチ→リリース→タッチ→リリースという一連の操作を行なうと、ジェスチャー判定部１４０は、画像形成装置１００のジェスチャーとしてダブルタップジェスチャーを特定する。

【0074】

（状態Ｃ）
さらに別の局面において、ユーザーが二本の指５１０，５１１を用いて、タッチパネル１１０の領域６６０，６７０にタッチし（プレス）、矢印方向に指５１０，５１１を移動し（ムーヴ）、その後に指５１０，５１１の移動を停止するという操作を行なうと、ジェスチャー判定部１４０は、その操作を二点タッチジェスチャーの開始状態であることを検出する。ムーヴ状態の指５１０，５１１のいずれか一点の座標値に変化があれば、ジェスチャー判定部１４０は、タッチパネル１１０の状態が二点タッチジェスチャー中の状態であることを検知する。画面制御部１５０は、二点タッチジェスチャーが開始された時の座標値と、現在の座標値とに基づいて、拡大あるいは回転を行なう。

【0075】

［ジェスチャー判定］
図７および図８を参照して、本実施の形態に係る画像形成装置１００におけるジェスチャー判定について説明する。図７は、本発明の実施の形態に係るジェスチャー判定部１４０の構成を表す図である。図８は、タッチイベントを記憶するための処理を表すフローチャートである。

【0076】

図７に示されるように、ある局面において、ジェスチャー判定部１４０とタッチパネル１１０とは、タッチイベント受け付け部１２０を介して接続されている。ジェスチャー判定部１４０は、ジェスチャーマネジャー７１０と、タップレコガナイザー７２０と、フリックレコガナイザー７３０と、ピンチレコガナイザー７４０と、タッチイベント一時格納領域７５０とを備える。ジェスチャーマネジャー７１０の出力は、タップレコガナイザー７２０と、フリックレコガナイザー７３０と、ピンチレコガナイザー７４０との少なくともいずれかに入力される。

【0077】

本実施の形態において、たとえば、フリックジェスチャーは、以下のようにして認識される。タッチパネル１１０において、画像形成装置１００のユーザーは、指５１０を領域にタッチする（プレス７０１）。ユーザーは、指５１０を左方向になぞるような操作を行なう（ムーヴ７０２，７０３）。その後、ユーザーは、指５１０をタッチパネル１１０から離す（リリース７０４）。

【0078】

タッチパネル１１０からの出力は、タッチイベント受け付け部１２０に入力される。より詳しくは、タッチパネル１１０における指５１０の操作（たとえば、プレス７０１、ムーヴ７０２，７０３、リリース７０４）を表す信号は、タッチイベント受け付け部１２０に入力される。当該信号は、タッチパネル１１０において検出された点の座標値、当該点の移動方向を表す座標値の推移等を含む。タッチイベント受け付け部１２０は、タッチパネル１１０と、タッチイベント受け付け部１２０とのインターフェイスとして機能する。タッチイベント受け付け部１２０は、タッチパネル１１０からの出力をジェスチャー判定部１４０における処理に適合するフォーマットに変換し、変換後の信号をジェスチャー判定部１４０に送る。

【0079】

ジェスチャー判定部１４０において、ジェスチャーマネジャー７１０は、タッチイベント受け付け部１２０からの出力信号に基づいて、タッチパネル１１０におけるタッチイベントの種類を特定する。ジェスチャーマネジャー７１０は、その特定された種類に応じて、信号を、タップレコガナイザー７２０とフリックレコガナイザー７３０とピンチレコガナイザー７４０とのいずれかに送る。その信号を受け取ったレコガナイザーは、その信号の内容（座標値の推移等）を判断して、所定のジェスチャー（たとえば、フリック）が発生したかどうかを判定する。

【0080】

一実施の形態において、実行可能なジェスチャーが画像形成装置１００に予め登録されている。以下、フリックジェスチャーが受付可能なジェスチャーとして登録されている場合を例示する。この場合、タッチパネル１１０においてフリック操作が可能な領域（以下「フリック可能領域」ともいう。）に対して、フリック認識機能（フリックレコグナイザー）が規定される。フリックレコグナイザーは、タッチパネル１１０からの出力信号に基づいてフリック操作を認識する。ある局面において、フリックレコグナイザーは、たとえば、タッチパネル１１０または画像形成装置１００が備えるプロセッサが認識処理を実行することによって実現される。他の局面において、フリック認識機能を実現するための構成が回路素子その他のハードウェアによって実現されてもよい。

【0081】

ある局面において、フリックレコガナイザー７３０は、タッチイベント一時格納領域７５０に、各信号を書き込む。より具体的には、フリックレコガナイザー７３０は、プレス７０１に基づくデータを領域７５１に書き込む。当該データは、タッチパネル１１０において接触が検出された点の座標値、当該接触が検出された時の時刻等を含み得る。

【0082】

その後、フリックレコガナイザー７３０は、ムーヴ７０２が行なわれた時に検出されたデータを領域７５２に書き込む。当該データは、ムーヴ７０２の間に検出された各接触点の座標値を含む。さらに、フリックレコガナイザー７３０は、ムーヴ７０３が行なわれた時に検出されたデータを領域７５３に書き込む。領域７５３に書き込まれるデータの形式は、領域７５２に書き込まれるデータの形式と同じである。

【0083】

フリックレコガナイザー７３０は、タッチイベント一時格納領域７５０に格納されたデータを用いて、フリックジェスチャーがタッチパネル１１０において発生したかどうかを判断する。図７の例では、領域７５１に格納されるデータを受け取った時点では、フリックレコガナイザー７３０は、フリックジェスチャーが行なわれたと判断しない。領域７５１〜７５４に格納されるデータを全て受け取ると、フリックレコガナイザー７３０は、タッチパネル１１０においてフリックジェスチャーが発生したと判断する。フリックレコガナイザー７３０は、判断の結果をジェスチャーマネジャー７１０に送る。

【0084】

本実施の形態において、タップレコガナイザー７２０とフリックレコガナイザー７３０とピンチレコガナイザー７４０とは、画像形成装置１００が有する各機能に対応する画面に応じて登録される。たとえば、画像形成装置１００のある機能（たとえば、コピー）を実現するための設定画面が、フリックジェスチャーのみを受け付ける場合には、ジェスチャー判定部１４０には、フリックレコガナイザー７３０のみが登録される。すなわち、フリックレコガナイザー７３０の機能のみが有効に（アクティブに）設定される。

【0085】

別の局面において、画像形成装置１００の他の機能（たとえば、スキャン）を実現するための設定画面において、フリックジェスチャーと二点タッチ操作とが有効である場合には、ジェスチャー判定部１４０には、フリックレコガナイザー７３０とピンチレコガナイザー７４０とが登録される。すなわち、フリックレコガナイザー７３０の機能と、ピンチレコガナイザー７４０の機能とが有効に設定される。

【0086】

図８を参照して、ステップＳ８１０にて、タッチイベント受け付け部１２０は、タッチパネル１１０からの出力信号に基づいて、タッチイベントを受け付ける。

【0087】

ステップＳ８２０にて、ジェスチャーマネジャー７１０は、タッチイベント受け付け部１２０からの出力に基づいて、検出されたタッチイベントの種類を特定する。ジェスチャーマネジャー７１０は、特定された種類に対応するレコガナイザーを介してタッチイベントを格納する。たとえば、ジェスチャーマネジャー７１０がフリックレコガナイザー７３０を特定すると、フリックレコガナイザー７３０は、タッチイベントのデータをタッチイベント一時格納領域７５０に格納する。

【0088】

［タッチイベントの記憶］
図９を参照して、タッチイベントの記憶について説明する。図９は、本発明の実施の形態に係る画像形成装置１００がタッチイベントを記憶するために備える構成を表す図である。

【0089】

ある局面において、タッチパネル１１０は、画像形成装置１００のユーザーによるタッチ操作を受け付けて、受け付けたタッチ操作に対応する信号をタッチイベントとして出力する。タッチパネル１１０から出力されるタッチイベントは、タッチイベント受け付け部１２０によって受け付けられる。

【0090】

ある局面において、タッチイベント受け付け部１２０から出力されるタッチイベントは、タッチイベント記憶部１６１に格納される。たとえば、タッチイベント記憶部１６１は、領域９１０〜９３０のそれぞれにタッチイベントを格納している。領域９１０には、第１のタッチイベントを表すデータが格納されている。当該データは、具体的には、タッチ操作の種類（＝プレス）と、当該タッチが検出された点の座標値（Ｘ：７６０，Ｙ：４５０）と、タッチ操作の記憶が開始されてからタッチイベント（＝プレス）が検出されるまでの時間（＝Ｔｉｍｅ１）とを含む。領域９２０には、第２のタッチイベントを表すデータが格納されている。当該データは、具体的には、タッチ操作の種類（＝リリース）と、当該タッチが検出された点の座標値（Ｘ：７６０，Ｙ：４５０）と、タッチ操作の記憶が開始されてから当該タッチイベント（＝リリース）が検出されるまでの時間（＝Ｔｉｍｅ２）とを含む。領域９３０には、第３のタッチイベントを表すデータが格納されている。当該データは、具体的には、タッチ操作の種類（＝プレス）と、当該タッチが検出された点の座標値（Ｘ：７６０，Ｙ：４５０）と、タッチ操作の記憶が開始されてから当該タッチイベント（＝リリース）が検出されるまでの時間（＝Ｔｉｍｅ３）とを含む。

【0091】

タッチイベント受け付け部１２０から出力されるタッチイベントは、ジェスチャー判定部１４０に入力される。ジェスチャー判定部１４０は、図７に示す態様でジェスチャーの種類を特定する。ジェスチャー判定部１４０によって特定されたジェスチャーを示すデータは、ジェスチャー制御部１５１に入力される。一方、タッチイベント受け付け部１２０から出力されたタッチイベントを示すデータは、画面制御部１５０にも入力される。

【0092】

ジェスチャー制御部１５１は、ジェスチャー判定部１４０による判定の結果と、タッチイベントのデータとに基づいて、ジェスチャーの表示を制御する。

【0093】

［タッチイベントの再生］
図１０を参照して、画像形成装置１００におけるタッチイベントの再生について説明する。図１０は、本発明の実施の形態に係る画像形成装置１００が実行する処理の一部を表すフローチャートである。当該処理は、たとえば、タッチイベントの再生の命令が画像形成装置１００に与えられると、ＭＦＰ本体システム制御部２００によって実行される。

【0094】

ステップＳ１０１０にて、ＭＦＰ本体システム制御部２００は、タッチイベント記憶部１６１に格納されているデータを読み出して、タッチイベントを生成し、画面制御部１５０に当該タッチイベントを発行する。

【0095】

ステップＳ１０２０にて、ＭＦＰ本体システム制御部２００は、タッチパネル１１０に対して与えられたタッチイベントを受け付ける。

【0096】

ステップＳ１０３０にて、ＭＦＰ本体システム制御部２００は、画像形成装置１００の動作モードに基づいて、ユーザーの操作に対応するジェスチャーを受け付け可能か否かを判断する。ＭＦＰ本体システム制御部２００は、ジェスチャーを受け付け可能であると判断すると（ステップＳ１０３０にてＹＥＳ）、制御をステップＳ１０４０に切り替える。そうでない場合には（ステップＳ１０３０にてＹＥＳ）、ＭＦＰ本体システム制御部２００は、制御をステップＳ１０７０に切り替える。

【0097】

ステップＳ１０４０にて、ＭＦＰ本体システム制御部２００は、ジェスチャー判定を行ない、タッチ操作に対応する画像形成装置１００のジェスチャーを特定する。

【0098】

ステップＳ１０５０にて、ＭＦＰ本体システム制御部２００は、ステップＳ１０２０において受け付けられたタッチイベントが画像形成装置１００が実行するジェスチャーとして特定されたか否かを判断する。ＭＦＰ本体システム制御部２００は、タッチイベントがジェスチャーとして特定されたと判断すると（ステップＳ１０５０にてＹＥＳ）、制御をステップＳ１０６０に切り替える。そうでない場合には（ステップＳ１０５０にてＮＯ）、ＭＦＰ本体システム制御部２００は、制御をステップＳ１０７０に切り替える。

【0099】

ステップＳ１０６０にて、ＭＦＰ本体システム制御部２００は、ステップＳ１０４０において特定されたジェスチャーに基づいて、画像形成装置１００におけるジェスチャー制御を実行する。ある局面において、ＭＦＰ本体システム制御部２００は、ジェスチャー制御部１５１として、タッチパネル１１０の表示領域に当該ジェスチャーを表示する。当該ジェスチャーは、たとえば、ユーザーが画像形成装置１００に対して登録した一連の操作に対応する動作のデモンストレーションである。

【0100】

ステップＳ１０７０にて、ＭＦＰ本体システム制御部２００は、ステップＳ１０２０において受け付けられたタッチイベントに基づいて、画面制御を実行する。ある局面において、ＭＦＰ本体システム制御部２００は、画面制御部１５０として、当該タッチイベントに応じた画面制御を実行する。

【0101】

［イベントの再生］
図１１を参照して、タッチイベントの再生について説明する。図１１は、タッチイベントの再生処理を表す図である。

【0102】

ある局面において、タッチイベントの再生処理は、ユーザーが再生の指示を画像形成装置１００に与えることによって実現される。タッチイベントを再生する指示がタッチパネル１１０に与えられると、その指示は、タッチイベント受け付け部１２０によって受け付けられてタッチイベント処理部１６０に送られる。タッチイベント処理部１６０において、タッチイベント再生部１６２は、タッチイベント記憶部１６１から記憶されているタッチイベントに関するデータを読み出す。読み出されるデータの一例は、図９に示されている。

【0103】

タッチイベント再生部１６２は、読みだしたデータを用いてタッチイベントを生成する。たとえば、図１１に示される例では、プレス→リリース→プレスというタッチイベントが生成され得る。タッチイベント再生部１６２は、生成したタッチイベントを規定するデータをタッチイベント受け付け部１２０に送ることにより、タッチイベントをタッチイベント受け付け部１２０に対して発行する。タッチイベント受け付け部１２０は、そのデータを画面制御部１５０に送信する。画面制御部１５０は、そのデータを用いて、画面遷移、設定の変更その他の画像形成装置１００の動作を制御する。

【0104】

ある局面において、画像形成装置１００の画面がジェスチャー操作を受付可能な画面である場合には、ジェスチャー判定部１４０は、タッチイベント受け付け部１２０によって受け付けられたタッチイベントを用いて、ジェスチャーを判定する。たとえば、ジェスチャーの判定（ジェスチャーの種類の特定）には、タッチイベント再生部１６２によって生成されて発行された複数のタッチイベント（領域９１０〜９３０）が用いられる。ジェスチャー判定部１４０は、タッチイベントからジェスチャーを特定すると、その特定の結果をジェスチャー制御部１５１に送る。ジェスチャー制御部１５１は、その結果に基づいて、画像形成装置１００の動作のデモンストレーションとしてのタッチパネル１１０におけるジェスチャーの表示制御を実行する。

【0105】

［タッチ操作の記憶および再生］
図１２を参照して、画像形成装置１００に対する操作がタッチ操作のみである場合について説明する。図１２は、タッチパネル１１０の画面の推移を表す図である。状態（Ａ）から状態（Ｃ）は、画像形成装置１００がタッチイベントを記憶する場合に表示される画面の推移を表す。状態（Ｄ）〜状態（Ｆ）は、画像形成装置１００がタッチイベントを再生する場合に表示される画面の推移を表す。

【0106】

状態（Ａ）に示されるように、ある局面において、タッチパネル１１０は、コピーのための操作を受け付ける画面を表示している。ユーザーの指５１０が、ソフトキー１２１０に触れる（タッチ操作）。このタッチ操作は、タッチイベント（プレス）として、タッチが検出された点の座標値と所定の時間と共にタッチイベント記憶部１６１に格納される。座標値は、たとえば、タッチパネル１１０の左上の端点を原点（０，０）と規定することにより計測され得る。

【0107】

状態（Ｂ）に示されるように、ユーザーが指５１０をソフトキー１２１０から離すと、その操作は、タッチイベント（リリース）として、タッチが検出された点の座標値と所定の時間とともに、タッチイベント記憶部１６１に格納される。

【0108】

状態（Ｃ）に示されるように、ユーザーが指５１０をソフトキー１２２０にタッチすると、その操作は、タッチイベント（プレス）として、タッチイベント記憶部１６１に格納される。

【0109】

状態（Ｄ）に示されるように、別の局面において、画像形成装置１００は、ユーザー（たとえば、画像形成装置１００の説明をする販売員）から、タッチイベントの再生の命令を受け付ける。その命令に応答して、タッチパネル１１０は、タッチイベント記憶部１６１の領域９１０からデータを読み出して、メッセージ１２３０を表示する。メッセージ１２３０は、状態（Ａ）に示されるように保存されたタッチイベント（プレス）の作成を示す。このとき、タッチパネル１１０は、ソフトキー１２１０においてタッチが行なわれたことを示す印を表示してもよい。この印は、たとえば、状態（Ｄ）に示されるように、円形の図形であるが、その他の図形、文字、記号等が表示されてもよい。また、別の局面において、ソフトキー１２１０の色が変更されてもよい。また、さらに別の局面において、ソフトキー１２１０が点滅してもよい。

【0110】

状態（Ｅ）に示されるように、その後、タッチパネル１１０は、タッチイベント（リリース）を再生する。具体的には、タッチパネル１１０は、領域９２０のデータに基づいて、メッセージ１２４０を表示する。このとき、状態（Ｄ）の場合と同様に、タッチパネル１１０は、ソフトキー１２１０においてタッチが行なわれたことを示す印を表示してもよい。この印は、たとえば、状態（Ｅ）に示されるように、円形の図形であるが、その他の図形、文字、記号等が表示されてもよい。また、別の局面において、ソフトキー１２１０の色が変更されてもよい。また、さらに別の局面において、ソフトキー１２１０が点滅してもよい。

【0111】

状態（Ｆ）に示されるように、タッチパネル１１０は、タッチイベント（プレス）を再生する。具体的には、タッチパネル１１０は、領域９３０のデータに基づいて、メッセージ１２５０を表示する。このとき、状態（Ｄ）の場合と同様に、タッチパネル１１０は、ソフトキー１２２０においてタッチが行なわれたことを示す印を表示してもよい。この表示は、たとえば、状態（Ｆ）に示されるように、円形の図形であるが、その他の図形、文字、記号等が表示されてもよい。また、別の局面において、ソフトキー１２２０の色が変更されてもよい。また、さらに別の局面において、ソフトキー１２２０が点滅してもよい。

【0112】

［フリック操作の記憶］
図１３を参照して、フリック操作の記憶および再生について説明する。図１３は、本発明の実施の形態に係る画像形成装置１００がフリック操作を記憶する場合におけるタッチパネル１１０の画面の推移を表す図である。

【0113】

状態（Ａ）から状態（Ｃ）は、ユーザーの操作に応答して画像形成装置１００がフリック操作のタッチイベントを記憶する場合におけるタッチパネル１１０の画面の推移を表す。状態（Ｄ）から状態（Ｆ）は、ジェスチャー判定部１４０によるジェスチャーの判定結果とタッチイベント記憶部１６１へのデータ格納の状態を表す。

【0114】

状態（Ａ）に示されるように、ある局面において、ユーザーは、メニュー操作を行なって、画像形成装置１００の動作モードをタッチ操作の記憶モードに切り替える。ユーザーは、指５１０を用いてソフトキー１３１０にタッチする（プレス）。

【0115】

状態（Ｂ）に示されるように、ユーザーは、指５１０を画面に押し付けたまま、右手を左方向に移動させる。このとき、たとえば、５つのタッチイベントが認識される。これらのイベントを示すデータは、タッチイベント記憶部１６１の領域１３３１〜１３３５に格納される。

【0116】

状態（Ｃ）に示されるように、ユーザーが、指５１０をタッチパネル１１０から離すと、その操作は、タッチイベント（リリース）として認識され、タッチイベント記憶部１６１の領域１３３６に格納される。

【0117】

その後、ジェスチャー判定部１４０は、タッチパネル１１０からの出力に基づいて、タッチイベントの内容を判断し、対応するデータをタッチイベント記憶部１６１に格納する。

【0118】

より具体的には、状態（Ｄ）に示されるように、ジェスチャー判定部１４０は、タッチパネル１１０からの出力に基づいて、フリック操作が行なわれたことを検知する。ジェスチャー判定部１４０は、画像形成装置１００が実行するジェスチャーとして、フリック操作に対応するジェスチャーを特定する。ジェスチャーが特定されると、当該ジェスチャーを表すアニメーションが作成される。状態（Ａ）の画面に示される操作に対応するデータは、タッチイベント（プレス）として、当該操作が検出された点の座標値と、所定の時間とともに、領域１３３０に格納される。

【0119】

さらに、状態（Ｅ）に示されるように、ジェスチャー判定部１４０は、タッチパネル１１０において、画面を左方向に移す旨の矢印１３４０を表示しつつ、画面を左にスクロールすることを認識する。このとき、状態（Ｂ）の画面に示される操作に対応するデータは、タッチイベント（ムーヴ）として、当該操作が検出された点の座標値と、所定の時間とともに、領域１３３１〜１３３５に格納される。

【0120】

タッチイベント記憶部１６１に格納されているデータ量だけ画面がスクロールすると、状態（Ｆ）に示されるように、フリックジェスチャーのアニメーションが停止することになる。

【0121】

［操作イベント再生時］
図１４を参照して、操作イベントの再生について説明する。図１４は、本発明の実施の形態に係る画像形成装置１００のタッチパネル１１０が操作イベントを再生する場合の画面の推移を表す図である。

【0122】

ある局面において、画像形成装置１００は、図１３に示されるような処理に応答して、タッチイベント記憶部１６１にデータを格納している。画像形成装置１００は、ユーザーから、タッチ操作に対応するジェスチャーを示すアニメーションの再生の指示を受けると、タッチイベント記憶部１６１に格納されているデータを参照して、当該アニメーションの再生を開始する。

【0123】

より詳しくは、画面（Ａ）に示されるように、タッチパネル１１０は、ソフトキー１４１０において、タッチ操作が行なわれたことを表す印１４２０を表示する。印１４２０は、ユーザーの指の先端に相当する。この表示の態様は、円形の印に限られず、その他の形状や記号が用いられてもよい。また、印１４２０は点滅してもよい。また、他の局面において、印１４２０の色は、タッチパネル１１０の他の領域の色とは異なってもよい。タッチパネル１１０は、さらに、タッチイベントが発行されたことを示すメッセージ１４３０を表示する。

【0124】

その後、画面（Ｂ）に示されるように、タッチパネル１１０は、タッチイベントとしてムーヴに相当する画面の推移を表示する。たとえば、タッチパネル１１０は、画面（Ａ）に表示された印１４２０が移動していることを表すために、印１４２１，１４２２，１４２３，１４２４を順次表示する。これにより、タッチパネル１１０を見ている人（たとえば、デモ画面を見ている潜在顧客）は、画面を右から左に送るための操作が行なわれたことを容易に認識できる。さらに、他の局面において、タッチパネル１１０は、タッチイベント（ムーヴ）が発行されたことを示すメッセージ１４４０を表示してもよい。

【0125】

画面（Ｃ）は、フリック操作の最後にユーザーの指がタッチパネル１１０から離れた状態を示す画面である。タッチパネル１１０は、画面から指が離れたことを示す印１４２５を表示する。これにより、タッチパネル１１０を見ている人（たとえば、デモ画面を見ている潜在顧客）は、フリック操作が終了したことを容易に認識できる。さらに、他の局面において、タッチパネル１１０は、タッチイベント（リリース）が発行されたことを示すメッセージ１４５０を表示してもよい。

【0126】

［ピンチ操作］
図１５を参照して、ピンチ操作の記憶と再生について説明する。図１５は、本発明の実施の形態に係る画像形成装置１００のタッチパネル１１０におけるピンチ操作と当該ピンチ操作に基づくジェスチャーとを表す図である。

【0127】

画面（Ａ）を参照して、ある局面において、タッチパネル１１０の動作モードがピンチ操作を受け付けるモードである場合、ユーザーは、ピンチ操作を行なうために、親指と人差し指とをタッチパネル１１０に押し当てて、親指と人差し指との間隔を広げるような操作を行なう。タッチパネル１１０は、そのような操作に応じた信号をタッチイベント受け付け部１２０に出力する。タッチイベント受け付け部１２０は、信号の形式をジェスチャー判定部１４０による処理に応じた形式に変更した後、変更後の信号をジェスチャー判定部１４０に出力する。

【0128】

ジェスチャー判定部１４０は、その信号に基づいて、タッチパネル１１０に対する操作がピンチ操作であることを検知する。ジェスチャー判定部１４０において、ピンチレコガナイザー７４０は、タッチ操作（ピンチ）を表すデータを生成し、そのデータをタッチイベント記憶部１６１に格納する。当該データは、たとえば、領域１５１０〜１５１５に格納されている。

【0129】

より詳しくは、領域１５１０には、親指がタッチされたことを示すデータが格納される。領域１５１１には、人差し指がタッチされたことを示すデータが格納される。領域１５１２には、親指がタッチパネル１１０に押し続けられた状態を示すデータが格納される。領域１５１３には、人差し指がタッチパネル１１０に押し続けられた状態を示すデータが格納される。領域１５１４には、親指のムーヴ操作を示すデータが格納される。領域１５１５には、人差し指のムーヴ操作を示すデータが格納される。

【0130】

このようにして、画像形成装置１００は、ピンチ操作の入力を受け付けた後、ピンチ操作の再生の指示、すなわち、ジェスチャー再生の命令を受け付けることが可能になる。そのような命令が画像形成装置１００に与えられると、タッチパネル１１０は、ジェスチャーの表示を開始する。

【0131】

より具体的には、画面（Ｃ）に示されるように、タッチパネル１１０は、画像を表示する。この画像は、たとえば、画面（Ａ）においてピンチ操作を入力する際に用いられた画像であるが、このような画像に限られず、他の画像が用いられてもよい。他の局面において、画像形成装置１００の記憶装置（たとえば、ＲＡＭ２０３、ＵＳＢメモリ２２１、ハードディスク３４０など）に格納されている他の画像データに基づいて、当該他の画像がタッチパネル１１０に表示されてもよい。

【0132】

タッチパネル１１０がピンチ操作に対応する動作を実行すると、画面（Ｄ）に示されるように、拡大された画像が表示される。

【0133】

［タッチイベントのインポートまたはエクスポート］
図１６を参照して、タッチイベントのインポートとエクスポートとについて説明する。図１６は、本発明の実施の形態に係る画像形成装置１００におけるタッチイベントのインポートとエクスポートとを表わす図である。ある局面において、画像形成装置１００において生成されたタッチイベントは、同様の機能を備える他の画像形成装置その他の情報処理装置においても用いられ得る。

【0134】

図１６において、画面（Ａ）は、画像形成装置１００にタッチイベントを記憶させる操作が行なわれる画面を表わす図である。ある局面において、画像形成装置１００の動作モードがタッチイベントを記憶するモードであるとき、ユーザーは、ソフトキー１６１１をタッチすることにより、当該タッチ操作に応じたタッチイベント（プレス）を画像形成装置１００に記憶させることができる。このとき、タッチイベント記憶部１６１は、タッチ操作を表すデータを格納する。

【0135】

より具体的には、領域１６２０は、タッチイベント（プレス）が座標値（７６０，４５０）において、あるタイミング（Ｔｉｍｅ１）で行なわれたことを格納している。なお、当該タイミングは、たとえば、記憶するモードが起動してから経過した時間であるが、時間の起算点は記憶するモードが起動したときに限られない。画像形成装置１００が時計を内蔵している場合には、その時計によって計測された時刻がタイミングとして用いられてもよい。

【0136】

なお、他の局面において、タッチパネル１１０は、タッチイベントが行われたことを表すメッセージ１６１０を表示してもよい。ユーザーは、どのようなタッチイベントが画像形成装置１００によって認識されているかを確認することができるので、誤ったタッチ操作が認識されることを防止できる。

【0137】

その他の操作が行なわれた場合にも、タッチイベント記憶部１６１は、当該操作に対応するデータを格納する。たとえば、領域１６２１には、タッチイベント（リリース）が行なわれたこと、当該タッチイベントが行われた点の座標値、当該タッチイベントが行われたタイミングが格納されている。領域１６２２には、タッチイベント（プレス）について同様のデータが保持されている。

【0138】

ある局面に従う画像形成装置１００は、タッチイベント記憶部１６１に格納されたデータを着脱可能な外部の記憶装置にエクスポートすることができる。画像形成装置１００は、データをエクスポートするとき、タッチイベント記憶部１６１その他のメモリ領域に格納されているデータを任意のファイル形式（たとえば、ｃｓｖファイル）に変換した後、変換後のファイルをＵＳＢメモリ２２１に保存する。

【0139】

図１６の例では、画像形成装置１００は、領域１６２０〜１６２２に保存されているデータを、ＵＳＢメモリ２２１にエクスポートできる。ＵＳＢメモリ２２１は、そのような画像形成装置１００に接続されると、タッチイベント保存フォルダ１６３０を生成する。タッチイベント保存フォルダ１６３０は、領域１６２０〜１６２２に格納されているデータに相当するデータをタッチイベント保存ファイル１６３１に保存する。その後、ＵＳＢメモリ２２１は、他の情報処理装置に接続される。

【0140】

画面（Ｂ）は、画像形成装置１００と同様の機能を有する他の情報処理装置が備えるタッチパネル１６４０の画面である。すなわち、当該他の情報処理装置の動作モードがタッチイベントを再生するモードであるとき、ＵＳＢメモリ２２１が当該他の情報処理装置に装着されると、タッチイベント保存ファイル１６３１がＵＳＢメモリ２２１から他の情報処理装置のタッチイベント記憶部１６１に読み出される。読み出されたデータの形式がｃｓｖその他の任意の形式である場合には、当該他の情報処理装置は、そのデータの形式を認識可能なデータの形式に変換する。

【0141】

タッチパネル１６４０は、タッチイベント保存ファイル１６３１に含まれるデータ（たとえば、領域１６２０に格納されているデータに基づいて、タッチイベント（プレス）が行なわれたことを表す印１６５０を表示する。このようにして、画像形成装置１００において発行されたタッチイベントを他の情報処理装置にインポートすることができ、また、当該他の情報処理装置は、画像形成装置１００から、当該タッチイベントをインポートすることができる。画像形成装置１００と同様の機能、すなわち、タッチイベントの再生機能を備える他の情報処理装置は、そのインポートされたデータに基づいて、画像形成装置１００において登録されたタッチイベントを再生することができる。したがって、たとえば、ある拠点で画像形成装置１００に設定されたタッチイベントの内容を、その拠点から離れた他の拠点にある他の情報処理装置でも再現できる。

【0142】

［ジェスチャーへの情報の付加］
図１７を参照して、タッチイベントへの情報の付加について説明する。図１７は、画像形成装置１００が備えるタッチパネル１１０に表示されるジェスチャーに情報が付加される局面を表す図である。

【0143】

画面（Ａ）に示されるように、タッチパネル１１０は、ユーザーの指５１０によるソフトキー１７１０に対するタッチ操作を受け付ける。タッチイベント記憶部１６１は、当該タッチ操作を表すデータをタッチイベント（プレス）として保存する。

【0144】

画面（Ｂ）に示されるように、その後、画像形成装置１００あるいは同様の機能を備える他の情報処理装置においてタッチイベントが再生されると、タッチパネル１１０は、ユーザーの指によるタッチ操作が行なわれたことを表す印１７２０を表示する。このとき、印１７２０は、タッチパネル１１０の画面で用いられている色とは異なる。これにより、タッチパネル１１０の画面を見ているユーザーは、印１７２０を容易に認識できるので、ジェスチャーの内容を容易に理解することができる。なお、タッチイベントに付加される情報としては、色に限られない。たとえば、印１７２０は点滅してもよい。この場合、タッチイベントには印１７２０を点滅させるという動作情報が命令として付加されることになる。このようにしても、ユーザーは、タッチパネル１１０に対するジェスチャーの内容を容易に理解することができる。

【0145】

なお、上述のような情報が印１７２０に付加されるタイミングは、タッチイベントが登録される時、タッチイベントが再生される時のいずれであってもよい。タッチイベントが登録される時に当該情報が付加される場合には、タッチイベント記憶部１６１は、当該タッチイベントに関連付けられた当該情報を保持する。タッチイベントが再生される時に当該情報が付加される場合には、画像形成装置１００は、タッチイベントの再生モードの設定項目の一つとして、そのような情報をタッチイベントに付加するための設定（付加する／付加しない）を受け付ける構成が用いられ得る。

【0146】

［軌跡情報の付加］
図１８を参照して、タッチイベントに対する情報の付加についてさらに説明する。図１８は、画像形成装置１００がフリックジェスチャーを再生する場合に軌跡が付加されることを表す図である。

【0147】

ある局面において、タッチイベント記憶部１６１は、領域１８０１，１８０２等に、タッチイベントを表す情報を保持している。画像形成装置１００がフリックジェスチャーの再生の指示の入力を受け付けると、画面（Ａ）に示されるように、タッチパネル１１０は、ソフトキー１８１０にタッチ操作が行なわれたことを示す印１８２０を表示する。他の局面において、より詳細な説明のために、タッチイベントが生成されて発行されたことを示すメッセージ１８２１が表示されてもよい。

【0148】

画面（Ｂ）に示されるように、タッチパネル１１０は、ソフトキー１８１０および印１８２０が左にスクロールされたことを示す画像を表示する。この時点で、画像形成装置１００のユーザーは、タッチイベントが画像形成装置１００に登録されたことを認識することができる。画像形成装置１００がタッチイベントの再生モードになると、ジェスチャー判定部１４０は、タッチイベント記憶部１６１の領域１８０１，１８０２に基づいて、実行されるべきジェスチャーとしてフリックジェスチャーを認識する。

【0149】

その後、画面（Ｃ）および画面（Ｄ）に示されるように、タッチパネル１１０は、登録されたフリックジェスチャーを再生表示する。このとき、タッチパネル１１０は、印１８３１，１８３２，１８３３，１８３４を表示する。各印の大きさは、印１８３１→印１８３２→印１８３３→印１８３４の順である。これにより、ユーザーは、フリックジェスチャーが行なわれたこと、および、その内容を把握し易くなる。

【0150】

なお、他の局面において、画像形成装置１００は、印１８３１〜印１８３４を結ぶような線をタッチパネル１１０に表示してもよい。また、さらに他の局面において、画像形成装置１００は、ジェスチャー発生時に実行されるアニメーションが終了するまで、ジェスチャー操作に対応する軌跡を繰り返し表示してもよい。ユーザーは、タッチイベントの軌跡を認識できる。

【0151】

［ピンチジェスチャーに対する情報の付加］
さらに別の局面において、画像形成装置１００は、ピンチジェスチャーに対して情報を付加してもよい。そこで、図１９を参照して、ピンチジェスチャーに対する情報の付加について説明する。図１９は、タッチパネル１１０にピンチジェスチャーの軌跡および方向が表示されている態様を表す図である。ある局面において、タッチイベント記憶部１６１は、ピンチジェスチャーを表すデータを領域１９０１，１９０２に格納している。

【0152】

画面（Ａ）に示されるように、タッチパネル１１０は、ユーザーの指がタッチされたことを表す印１９１０，１９２０を表示する。その後、ユーザーは、ピンチアウト操作を行なう。ジェスチャー判定部１４０は、ピンチジェスチャーが行なわれたことを検知する。

【0153】

その後、画面（Ｂ）に示されるように、タッチパネル１１０は、タッチイベント記憶部１６１に格納されているデータに基づいてピンチジェスチャーと、当該ピンチジェスチャーの軌跡および方向とを表示する。より具体的には、タッチパネル１１０は、ピンチジェスチャーが行なわれたことを示す複数の印、すなわち、印１９１０，１９１１，１９１２と、印１９２０，１９２１，１９２２とを表示する。さらに、タッチパネル１１０は、外向きの矢印１９３０，１９４０を表示する。このような表示により、ユーザーは、ピンチジェスチャーが行なわれたことを容易に理解できる。

【0154】

なお、各印の表示態様は上述のものに限られず、他の局面において、各印には色が付されてもよく、さらには、常時表示に代えて点滅表示が行なわれてもよい。

【0155】

［ピンチジェスチャー（回転）に対する情報の付加］
さらに他の局面において、画像形成装置１００は、タッチパネル１１０に表示される画像が回転される場合に情報を画像に付加してもよい。そこで、図２０を参照して、ピンチジェスチャーとして回転が行なわれる場合における情報の付加について説明する。図２０は、タッチパネル１１０に対して画像を回転させる操作が行なわれた場合に情報が付加される一態様を表す図である。

【0156】

ある局面において、タッチイベント記憶部１６１は、画像形成装置１００のユーザーによって登録されたタッチイベントを表すデータを領域２００１，２００２に格納している。その後、タッチイベントを再生するモードが起動すると、タッチパネル１１０は、タッチイベントを再生する画面を表示する。

【0157】

より具体的には、画面（Ａ）に示されるように、タッチパネル１１０は、画面上でピンチジェスチャー（回転）が行なわれた場合においてタッチパネル１１０から指がリリースされた点を表す二つの印２０１４，２０２４を表示する。ジェスチャー判定部１４０は、タッチイベント記憶部１６１に格納されているデータに基づいて、ピンチジェスチャー（回転）が行なわれたことを認識する。

【0158】

その後、画面（Ｂ）に示されるように、タッチパネル１１０は、画面（Ａ）に示される画像が回転された後の画像を表示する。さらに、タッチパネル１１０は、ピンチジェスチャー（回転）が行なわれたことを示す印として、印２０１４，２０２４に加えて、印２０１１，２０１２，２０１３と、印２０２１，２０２２，２０２３とを表示する。さらに、タッチパネル１１０は、円弧状の矢印２０１０，２０２０を表示する。これにより、画面（Ｂ）を見たユーザーは、画像を回転させるためのタッチ操作が行なわれたことを容易に認識することができる。

【0159】

なお、各印の表示態様は上述のものに限られず、他の局面において、各印には色が付されてもよく、さらには、常時表示に代えて点滅表示が行なわれてもよい。

【0160】

［情報が付加される領域の大きさの変更］
図１６を参照して説明した通り、本発明の実施の形態に係る画像形成装置１００は、ある局面において、タッチイベントを表すデータをエクスポートすることができ、他の情報処理装置が当該データをインポートすることができる。この場合、画像形成装置１００のタッチパネル１１０の大きさと、当該他の情報処理装置のタッチパネルの大きさとが異なる場合がある。

【0161】

そこで、図２１を参照して、タッチイベントの登録時と再生時とにおいてタッチパネルの表示領域の大きさが異なる場合について説明する。図２１は、タッチイベントが登録された画像形成装置１００のタッチパネル１１０の大きさと、当該タッチイベントを再生する情報処理装置のタッチパネルの大きさとが異なる場合における画像の表示態様を表す図である。

【0162】

図２１（Ａ）は、画像形成装置１００が備えるタッチパネル１１０にソフトキー２１２０と、タッチイベントを表す印２１３０とが表示されている状態を表す。図２１（Ｂ）は、他の情報処理装置が備えるタッチパネル２１４０にソフトキー２１５０と、タッチイベントを表す印２１６０とが表示されている状態を表す。

【0163】

図２１（Ａ）と図２１（Ｂ）とに示されるように、タッチパネル１１０の大きさと、タッチパネル２１４０の大きさとは異なる場合がある。このような場合、タッチパネル２１４０を備える情報処理装置は、通常は、タッチパネル１１０の大きさとタッチパネル２１４０の大きさとの比率に応じて、ソフトキー２１５０と印２１６０とをタッチパネル２１４０に表示する。したがって、タッチパネル２１４０がタッチパネル１１０よりも小さい場合には、タッチパネル２１４０に表示されるソフトキー２１５０および印２１５０は、タッチパネル１１０に表示されるソフトキー２１２０および印２１３０よりも小さくなる。

【0164】

しかしながら、図２１（Ｃ）に示されるように、ある局面において、他の情報処理装置は、タッチイベントが行われたことを示す印として、印２１６０よりも大きな印２１７０を表示してもよい。この場合、ソフトキー２１５０と印２１７０との比率は、ソフトキー２１２０と印２１３０との比率と異なることになるが、印２１７０が小さく表示されなくなるため、ユーザーは、印２１７０を容易に識別することができるので、タッチイベントが行われたことを把握し易くなる。

【0165】

［制御構造］
図２２および図２３を参照して、画像形成装置１００の制御構造について説明する。図２２は、画像形成装置１００が実行する処理の一部を表すフローチャートである。

【0166】

ステップＳ２２１０にて、ＭＦＰ本体システム制御部２００は、ＲＡＭ２０３その他の記憶装置に格納されているタッチイベントの内容を取り出して、タッチイベントを生成して発行する。

【0167】

ステップＳ２２２０にて、ＭＦＰ本体システム制御部２００は、タッチイベントの入力を受け付ける。

【0168】

ステップＳ２２３０にて、ＭＦＰ本体システム制御部２００は、タッチイベントに情報を付加する。情報は、タッチイベントを示す印の表示態様を変更するために用いられる。当該情報がタッチイベントに付加されると、当該印の色は、タッチパネル１１０の画面の他の色と異なる色に変更される。別の局面では、ジェスチャーを示す軌跡が当該印と共にタッチパネル１１０に表示される。

【0169】

ステップＳ２２４０にて、ＭＦＰ本体システム制御部２００は、ＬＣＤパネル部２０６またはハードキー操作部２０８に対して与えられた操作に基づいて、ジェスチャーを受け付け可能か否かを判断する。この判断は、たとえば、当該操作に応じてＬＣＤパネル部２０６またはハードキー操作部２０８から出力される信号の内容に基づいて行なわれる。

【0170】

一例として、ユーザーがＬＣＤパネル部２０６に対してタッチ操作を行なった場合、その時の画像形成装置１００の動作モードがジェスチャー操作を受け付けるモードである場合、ＭＦＰ本体システム制御部２００は、ジェスチャー操作を受け付けることが可能であると判断する。画像形成装置１００の動作モードがジェスチャー操作を受け付けないモードである場合、たとえば、コピー枚数の入力を受け付ける画面が表示されている場合、ＭＦＰ本体システム制御部２００は、ジェスチャーを受け付けることができないと判断する。

【0171】

別の例として、ユーザーがハードキー操作部２０８に対して操作を行なった場合、ハードキー操作部２０８から出力される信号は、操作がハードキー操作部２０８に対して行なわれたことを表す情報を含む。したがって、この場合、ＭＦＰ本体システム制御部２００は、ジェスチャーを受け付けることができないと判断する。

【0172】

ＭＦＰ本体システム制御部２００は、ジェスチャーを受け付けることが可能と判断すると（ステップＳ２２４０にてＹＥＳ）、制御をステップＳ２２５０に切り替える。そうでない場合には（ステップＳ２２４０にてＮＯ）、ＭＦＰ本体システム制御部２００は、制御をステップＳ２２９０に切り替える。

【0173】

ステップＳ２２５０にて、ＭＦＰ本体システム制御部２００は、パネルＣＰＵ２０１から出力される信号に基づいて、タッチパネル１１０に対して与えられた操作がジェスチャー操作であるか否かを判断し、さらに、当該操作ジェスチャー操作である場合にはジェスチャーの種類を判断する。

【0174】

ステップＳ２２６０にて、ＭＦＰ本体システム制御部２００は、当該操作がジェスチャーであると判定すると（ステップＳ２２６０にてＹＥＳ）、制御をステップＳ２２７０に切り替える。そうでない場合には（ステップＳ２２６０にてＮＯ）、ＭＦＰ本体システム制御部２００は、制御をステップＳ２２９０に切り替える。

【0175】

ステップＳ２２７０にて、ＭＦＰ本体システム制御部２００は、ＭＦＰ本体システム制御部２００は、ＬＣＤ制御部２０４を介して、ＬＣＤパネル部２０６に、ジェスチャー判定用のタッチイベントに情報を付加して、ジェスチャーの軌跡を表示させる。

【0176】

ステップＳ２２８０にて、ＭＦＰ本体システム制御部２００は、ＬＣＤ制御部２０４を介して、ジェスチャー制御を実行する。ＬＣＤパネル部２０６は、画像形成装置１００に登録されているタッチイベントに基づくジェスチャーの再生表示を実行する。

【0177】

ステップＳ２２９０にて、ＭＦＰ本体システム制御部２００は、ＬＣＤ制御部２０４を介して、通常の画面制御を実行する。ＬＣＤパネル部２０６は、画像形成装置１００の動作モードに応じて、ユーザーの操作に応じた設定の入力を受け付け、あるいは、当該操作に基づいて画面を他の画面に切り替える。

【0178】

図２３を参照して、画像形成装置１００の他の局面における制御構造について説明する。図２３は、画像形成装置１００がアニメーションを実行している場合におけるジェスチャーの表示処理を表すフローチャートである。

【0179】

ステップＳ２３１０にて、ＭＦＰ本体システム制御部２００は、画像形成装置１００がジェスチャー操作を表わすアニメーションを実行中であるか否かを判断する。この判断は、たとえば、画像形成装置１００の動作モードを表すデータに基づいて行なわれる。ＭＦＰ本体システム制御部２００は、画像形成装置１００がアニメーションを実行中であると判断すると（ステップＳ２３１０にてＹＥＳ）、制御をステップＳ２３２０に切り替える。そうでない場合には（ステップＳ２３１０にてＮＯ）、ＭＦＰ本体システム制御部２００は、制御をステップＳ２３３０に切り替える。

【0180】

ステップＳ２３２０にて、ＭＦＰ本体システム制御部２００は、ジェスチャー操作の軌跡の反復表示を実行する。これにより、画像形成装置１００のユーザーは、ＬＣＤパネル部２０６において、ジェスチャー操作を示す軌跡を確実に視認できる。

【0181】

ステップＳ２３３０にて、ＭＦＰ本体システム制御部２００は、ジェスチャー操作の軌跡の表示を停止する。

【0182】

＜まとめ＞
以上のようにして、本発明の実施の形態に係る画像形成装置１００は、タッチパネル１１０に対する操作を受け付けて、当該操作に基づく動作を画像形成装置１００のジェスチャーとして表示する。このとき、画像形成装置１００は、当該ジェスチャーに付加的な情報を表示する。これにより、画像形成装置１００のタッチパネル１１０を用いた操作内容が把握し易くなる。

【0183】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0184】

１００ 画像形成装置、１１０，１６４０，２１４０ タッチパネル、１２０ タッチイベント受け付け部、１３０ タッチ情報付加部、１４０ ジェスチャー判定部、１５０ 画面制御部、１５１ ジェスチャー制御部、１６０ タッチイベント処理部、１６１ タッチイベント記憶部、１６２ タッチイベント再生部、１７０ 外部端末、２００ 本体システム制御部、２０１ ＣＰＵ、２０２ ＲＯＭ、２０３ ＲＡＭ、２０４ 制御部、２０５ ＶＲＡＭ、２０６ ＬＣＤパネル部、２０８ ハードキー操作部、２１１ 入出力制御部、２２０ 接続端子部、２２１ メモリ、３３０ 給紙トレイ、３４０ ハードディスク、３５０ プリンタ、３６０ 後処理装置、４００ ＵＳＢハブ、７５０ タッチイベント一時格納領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】