特許第6221332号(P6221332)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 船井電機株式会社の特許一覧
<>
  • 特許6221332-操作装置及び情報処理装置 図000002
  • 特許6221332-操作装置及び情報処理装置 図000003
  • 特許6221332-操作装置及び情報処理装置 図000004
  • 特許6221332-操作装置及び情報処理装置 図000005
  • 特許6221332-操作装置及び情報処理装置 図000006
  • 特許6221332-操作装置及び情報処理装置 図000007
  • 特許6221332-操作装置及び情報処理装置 図000008
  • 特許6221332-操作装置及び情報処理装置 図000009
  • 特許6221332-操作装置及び情報処理装置 図000010
  • 特許6221332-操作装置及び情報処理装置 図000011
  • 特許6221332-操作装置及び情報処理装置 図000012
  • 特許6221332-操作装置及び情報処理装置 図000013
  • 特許6221332-操作装置及び情報処理装置 図000014
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6221332
(24)【登録日】2017年10月13日
(45)【発行日】2017年11月1日
(54)【発明の名称】操作装置及び情報処理装置
(51)【国際特許分類】
   G06F 3/041 20060101AFI20171023BHJP
【FI】
   G06F3/041 540
   G06F3/041 580
【請求項の数】31
【全頁数】29
(21)【出願番号】特願2013-97098(P2013-97098)
(22)【出願日】2013年5月2日
(65)【公開番号】特開2014-219765(P2014-219765A)
(43)【公開日】2014年11月20日
【審査請求日】2016年3月15日
(73)【特許権者】
【識別番号】000201113
【氏名又は名称】船井電機株式会社
(74)【代理人】
【識別番号】100148460
【弁理士】
【氏名又は名称】小俣 純一
(72)【発明者】
【氏名】政木 康生
【審査官】 岩橋 龍太郎
(56)【参考文献】
【文献】 特開2012−098959(JP,A)
【文献】 特開2012−247938(JP,A)
【文献】 特開2004−280205(JP,A)
【文献】 国際公開第2012/169106(WO,A1)
【文献】 国際公開第2012/130476(WO,A1)
【文献】 特開2013−003842(JP,A)
【文献】 特開2014−059863(JP,A)
【文献】 特開2002−939(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
3/03−3/0489
(57)【特許請求の範囲】
【請求項1】
対象と接触する座標位置を得るタッチパネルと、
前記座標位置を表す平面座標情報と、前記タッチパネルからの高さ情報(Z)と、を用いて、座標位置情報を生成する座標情報生成部と、を備え、
前記座標情報生成部は、複数の座標生成モードのうち、ある座標生成モードから別の座標生成モードに遷移し、当該遷移した座標生成モードに応じて、前記平面座標情報と、高さの範囲が異なるいずれかの前記高さ情報と、を生成する
操作装置。
【請求項2】
対象と接触する座標位置と、高さ情報と、を得るタッチパネルと、
前記座標位置及び前記高さ情報を三次元座標情報として利用する第1操作モードと、前記座標位置を平面座標情報として利用する第2操作モードと、を有する座標情報生成部と、を備え、
前記座標情報生成部は、
(1)前記第1操作モードの場合、前記対象が前記タッチパネルから一定高さ以内に存在する場合に、前記対象の接触位置を三次元座標として生成し
(2)前記第2操作モードの場合、複数の座標生成モードのうち、ある座標生成モードから別の座標生成モードに遷移し、当該遷移した座標生成モードに応じて、前記平面座標情報と、前記タッチパネルからの高さの範囲が異なるいずれかの高さ情報(Z)と、を生成する
操作装置。
【請求項3】
前記座標情報生成部は、少なくとも第1座標生成モードと、第2座標生成モードとを有し、
前記座標情報生成部は、
前記第1座標生成モードでは前記高さ情報Zとして、正値を与え、
前記第2座標生成モードでは前記高さ情報Zとして、零値を与える
請求項1又は2に記載の操作装置。
【請求項4】
前記座標情報生成部は、少なくとも第1座標生成モード、第2座標生成モード、及び第3座標生成モードを有し、
前記座標情報生成部は、
前記第1座標生成モードでは前記高さ情報Zとして、一定値以上の正値を与え、
前記第2座標生成モードでは前記高さ情報Zとして、零値を与え、
前記第3座標生成モードでは前記高さ情報Zとして、一定値未満の正値を与える
請求項1又は2に記載の操作装置。
【請求項5】
前記座標情報生成部は、前記対象の平面位置座標が予め設定された設定時間内に変化した場合に、前記平面位置座標の変化量を表す変化量情報を生成するマウス操作モードに遷移する
請求項1〜4のいずれか1項に記載の操作装置。
【請求項6】
前記座標情報生成部は、
前記タッチパネルが少なくとも2箇所の接触を検出した場合には、接触位置のそれぞれの座標を得る
請求項1〜5のいずれか1項に記載の操作装置。
【請求項7】
前記座標情報生成部は、
前記タッチパネルが少なくとも1箇所の接触を検出した場合には、前記第1座標生成モードに遷移する
請求項3又は4に記載の操作装置。
【請求項8】
前記座標情報生成部は、
前記第1座標生成モードで第1特定操作を受け付けた場合には、前記第2座標生成モードに遷移する
請求項4に記載の操作装置。
【請求項9】
前記座標情報生成部は、
前記第1座標生成モードで第2特定操作を受け付けた場合には、前記第3座標生成モードに遷移し、前記第3座標生成モードで第3特定操作を受け付けた場合には、前記第2座標生成モードに遷移する
請求項4に記載の操作装置。
【請求項10】
前記第1座標生成モード、前記第2座標生成モード、及び前記第3座標生成モードのいずかにおいて、前記タッチパネルにおいて一定時間継続して前記対象との接触を検出しない場合には、待機状態となる
請求項4、8、及び9のいずれか1項に記載の操作装置。
【請求項11】
前記座標情報生成部を前記第1座標生成モードから前記第2座標生成モードに遷移させることができる第1操作キーを備え、
前記座標情報生成部は、第1特定操作として前記第1操作キーが操作されたことを受け付けた場合には、前記第2座標生成モードに遷移し、前記第1操作キーの操作を受け付けなくなった場合には、前記第1座標生成モードに遷移する
請求項3、4、及び8のいずれか1項に記載の操作装置。
【請求項12】
前記座標情報生成部は、
前記第1座標生成モードにおいて、第1特定操作として、前記タッチパネルが、同一位置における一定時間継続した接触を検出した場合には、前記第2座標生成モードに遷移し、前記接触が解除された場合には、前記第1座標生成モードに遷移する
請求項3、4、及び8のいずれか1項に記載の操作装置。
【請求項13】
第1特定操作は、前記タッチパネル上において前記対象を同一位置で静止させる操作を継続した後、一定時間以内の接触解除後に前記タッチパネルと再度接触する操作であり、
前記座標情報生成部は、前記第1座標生成モードで前記第1特定操作を受け付けたときには、前記第2座標生成モードに遷移し、前記接触が解除された場合には、前記第1座標生成モードに遷移する
請求項3、4、及び8のいずれか1項に記載の操作装置。
【請求項14】
第1特定操作は、前記第1座標生成モードへの遷移の要因となった接触位置とは異なる前記タッチパネルの位置への接触操作であり、
前記座標情報生成部は、
前記第2座標生成モードへの遷移の要因となった接触位置とは異なる接触位置を示す平面座標を元に前記平面座標情報を生成し、
前記第2座標生成モードへの遷移の要因となっている接触の解除によって、前記第1座標生成モードに遷移し、
前記第2座標生成モードへの遷移の要因となっている接触の一定時間以上の解除によって、待機状態に遷移する
請求項3、4、及び8のいずれか1項に記載の操作装置。
【請求項15】
前記座標情報生成部は、
前記第1座標生成モードにおいて、第2特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間継続した接触を検出した場合には、前記第3座標生成モードに遷移し、
前記接触位置が変化した場合、或いは前記接触が解除された場合には、前記第1座標生成モードに遷移する
請求項4又は9に記載の操作装置。
【請求項16】
前記座標情報生成部は、前記第1座標生成モードにおいて、第2特定操作として、前記タッチパネル上における接触位置の変化を遅くするにつれて、前記第3座標生成モードに遷移し、前記接触位置の変化を速くするにつれて、前記第1座標生成モードに遷移する
請求項4又は9に記載の操作装置。
【請求項17】
前記座標情報生成部を前記第3座標生成モードから前記第2座標生成モードに遷移させることができる第2操作キーを備え、
前記座標情報生成部は、
第3特定操作として前記第2操作キーが操作されたことを受け付けた場合には、前記第2座標生成モードに遷移し、前記第2座標生成モードにおいて前記第2操作キーの操作を受け付けない場合には、前記第3座標生成モードに遷移する
請求項4又は9に記載の操作装置。
【請求項18】
前記座標情報生成部は、さらに
前記第3座標生成モードにおいて、第3特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間継続した接触を検出した場合には、前記第2座標生成モードに遷移し、前記第2座標生成モードにおいて前記接触が解除された場合には、前記第3座標生成モードに遷移する
請求項4又は9に記載の操作装置。
【請求項19】
第3特定操作は、一定時間以内の接触解除後に前記タッチパネルを再度接触する操作であり、
前記座標情報生成部は、前記第3座標生成モードで前記第3特定操作を受け付けたときには、前記第2座標生成モードに遷移し、前記第2座標生成モードにおいて前記接触が解除された場合には、前記第3座標生成モードに遷移する
請求項4又は9に記載の操作装置。
【請求項20】
第3特定操作は、前記第1座標生成モード及び前記第3座標生成モードへの遷移の要因となった接触位置とは異なる前記タッチパネルの位置への接触操作であり、
前記座標情報生成部は、
前記第3座標生成モードへの遷移の要因となった接触位置を示す平面座標を元に前記平面座標情報を生成し、
前記第3座標生成モードの要因となっている接触の解除によって、前記第1座標生成モードに遷移し、
前記第3座標生成モードの要因となっている接触の一定時間以上の解除によって、待機状態に遷移する
請求項4又は9に記載の操作装置。
【請求項21】
請求項に記載の操作装置と、
表示装置と、
前記操作装置から出力された前記座標位置情報を前記表示装置における座標位置情報に変換し、変換した座標位置情報で表される座標位置にカーソル画像を表示させる処理装置と、
前記操作装置と前記処理装置との間で少なくとも前記座標位置情報を通信させるための通信部と、を備え、
前記処理装置は、前記操作装置から前記平面座標情報及び前記高さ情報を受信した際に、前記高さ情報が設定値以上の正値の座標値を受信した際に第1カーソルを表示させ、前記高さ情報が零値を受信した際に第2カーソルを表示させ、前記高さ情報が設定値未満の正値の座標値を受信した際に第3カーソルを表示させる
情報処理装置。
【請求項22】
前記第1カーソルの画像、前記第2カーソルの画像、及び前記第3カーソルの画像の各々は、形状及び色の少なくとも一方が異なっている
請求項21に記載の情報処理装置。
【請求項23】
前記処理装置は、
前記座標情報生成部がマウス操作モードを実行している際には、前記表示装置に、前記カーソル画像を表示させる
請求項21又は22に記載の情報処理装置。
【請求項24】
前記処理装置は、前記座標情報生成部が、第1操作モードの際と、第2操作モードの際との間では、前記カーソル画像の形状及び色を異ならせる
請求項21〜23のいずれか1項に記載の情報処理装置。
【請求項25】
前記処理装置は、第1操作モード、第2操作モード、及びマウス操作モードのいずれかを表す操作モード情報を保持しており、
前記通信部を経由して前記処理装置が保持している前記操作モード情報を前記操作装置に提供し、
前記座標情報生成部は、提供を受けた前記操作モード情報に従って、前記第1操作モード、前記第2操作モード、及び前記マウス操作モードのいずれかを実行する
請求項21〜24のいずれか1項に記載の情報処理装置。
【請求項26】
前記処理装置には、前記操作装置による操作を受け付けるための複数のプログラムが予めインストールされており、
前記処理装置は、前記各プログラムの実行中に、当該プログラムの実行状態、または実行されている個別のプログラムに応じて、前記第1操作モード、前記第2操作モード、及び前記マウス操作モードのいずれかを表す前記操作モード情報を前記座標情報生成部に送信する
請求項25に記載の情報処理装置。
【請求項27】
前記処理装置は、
前記座標情報生成部に第1操作モード、第2操作モード、及びマウス操作モードのいずれの操作モードになるかを選択するための選択キーを備える
請求項21〜26のいずれか1項に記載の情報処理装置。
【請求項28】
前記座標情報生成部は、前記操作装置の姿勢を表わす姿勢情報によって、第1操作モード、第2操作モード、及びマウス操作モードのいずれか1つの操作モードを実行する
請求項21〜27のいずれか1項に記載の情報処理装置。
【請求項29】
前記操作装置の姿勢を検出し、検出した姿勢を表す前記姿勢情報を出力する加速度センサを備える
請求項28に記載の情報処理装置。
【請求項30】
前記操作装置は、振動部をさらに備える
請求項21〜29のいずれか1項に記載の情報処理装置。
【請求項31】
前記操作装置は、発光部をさらに備える
請求項21〜30のいずれか1項に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、タッチパネルを有する操作装置、及びこれを用いた情報処理システムに関する。
【背景技術】
【0002】
近時、タッチパネルを操作対象として、タッチパネルにおける操作を表示画面に反映させる技術が存在する。
【0003】
特許文献1には、操作キーを表す画像が表示された表示画面に指を対向させると、表示画面の指と対向する位置に、表示画面と指との間の距離に応じたカーソルを表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−61224号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが、上記技術では、表示画面に表示されたオブジェクトを選択して移動させる際には、指先を、表示画面から常に一定の高さの範囲を保持しながら動かさないといけない。このように、指先を表示画面から常に一定の高さの範囲を保持しながら動かすには熟練を要し、操作性が良いとはいえない。
【0006】
本発明は、上述の課題を解決するためになされたものであり、操作性の良い操作装置、及びこれを用いた情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の一態様に係る操作装置は、タッチパネル面を有し、当該タッチパネル面にタッチされた平面上の座標位置を検出するタッチパネルと、タッチされた前記座標位置を表す座標情報を生成する座標情報生成部であって、前記タッチパネル面における指先の座標位置を表す平面座標情報を利用する第1座標生成モードを含む複数の座標生成モードを有する座標情報生成部と、前記複数の座標生成モードのうち、ある座標生成モードから別の座標生成モードに切り替えるための特定操作を受け付ける受付部と、前記座標情報生成部によって生成された座標情報を出力する出力部と、を備え、前記座標情報生成部は、前記タッチパネル面におけるタッチ位置の平面上の二次元座標と、前記タッチパネル面に対して垂直方向の高さ情報(Z)とを、前記座標生成モードに応じて生成する。
【0008】
この構成によると、指先をタッチパネル面上に置いたままで、タッチパネル面におけるタッチ位置の平面上の二次元座標と、タッチパネル面に対して垂直方向の高さ情報(Z)とを、座標生成モードに応じて生成するので、ユーザは、指先を表示画面から常に一定の高さの範囲を保持しながら動かす必要がない。
【0009】
そのため、ユーザは、表示画面と指との距離に惑わされることなく、ストレスなく、操作装置を操作することができる。その結果、操作性の良い操作装置を提供することができる。
【0010】
また、本発明の他の態様に係る操作装置は、タッチパネル面を有し、当該タッチパネル面における指先のタッチ位置を検出する機能と共に、前記タッチパネル面の上空に存在する指先の前記タッチパネル面に対する高さを検出する機能を併せ持つタッチパネルと、前記タッチパネル面の上空の前記指先の三次元位置情報を三次元座標情報として生成する3D操作モードと、前記タッチパネル面の上空に指先が存在する場合に検出される前記三次元位置情報を利用せずに、前記タッチパネル面における指先の座標位置を表す平面座標情報を利用する第1座標生成モードを含む複数の座標生成モードを有する2D操作モードとを有する座標情報生成部と、前記座標情報生成部によって生成された座標情報を出力する出力部と、前記2D操作モードの場合に、ある座標生成モードから別の座標生成モードに切り替えるための特定操作を受け付ける受付部と、を備え、前記座標情報生成部は、(1)前記3D操作モードの場合、前記指先が、前記タッチパネル面にタッチしている場合も含め、前記タッチパネル面上から一定高さ以内の三次元空間内に存在する場合に、前記指先の検出位置を三次元座標として生成し、(2)前記2D操作モードの場合、前記タッチパネルにタッチされた位置の平面上の二次元座標と、前記タッチパネル面に対して垂直方向の高さ情報(Z)とを座標生成モードに応じて生成する。
【0011】
この構成によると、指先が、タッチパネル面上から一定の高さの範囲以内の三次元空間内に存在する場合に、指先の検出位置を三次元座標として生成する3D操作モードを有する。
【0012】
3D操作モードとは、言い換えれば、指先をタッチパネル面から一定の高さの範囲内に位置させると、指先のタッチパネル面における二次元座標を表す平面位置情報と、指先とタッチパネル面からの高さを表す高さ情報と、を含む三次元位置情報を、外部の処理装置に出力するモードである。このモードでは、外部の処理装置は、指先とタッチパネル面との間の距離に応じたカーソルを、平面位置情報で表される座標位置に表示させる。
【0013】
このような3D操作モードを有する操作装置は、2D操作モードでは、タッチパネルにタッチされた位置の平面上の二次元座標と、タッチパネル面に対して垂直方向の高さ情報(Z)とを座標生成モードに応じて生成する。
【0014】
これにより、先述の2D操作モードと、従来から存在する3D操作モードとを兼ね備えた操作装置を提供することができるので、ユーザは、操作装置を使用するケースに応じて、3D操作モードと2D操作モードとを切り分けることができるので、利便性で優れている。
【0015】
また、前記座標情報生成部は、少なくとも第1座標生成モードと、第2座標生成モードとを有し、前記受付部は、前記第1座標生成モードから前記第2座標生成モードに切り替えるための第1特定操作を受け付け、前記座標情報生成部は、前記第1座標生成モードでは前記高さ情報Zとして、正値を与え、前記第2座標生成モードでは前記高さ情報Zとして、零値を与えてもよい。
【0016】
この構成によると、第1座標生成モードでは高さ情報Zとして、正値を与え、第2座標生成モードでは高さ情報Zとして、零値を与えるので、平面座標位置を検出可能なタッチパネルを使用して、立体座標及び平面座標の両方を得ることができる。
【0017】
また、前記座標情報生成部は、少なくとも第1座標生成モード、第2座標生成モード、及び第3座標生成モードを有し、前記受付部は、前記第1座標生成モードから前記第3座標生成モードに切り替えるための第2特定操作と、前記第3座標生成モードから前記第2座標生成モードに切り替えるための第3特定操作を受け付け、前記座標情報生成部は、前記第1座標生成モードでは前記高さ情報Zとして、一定値以上の正値を与え、前記第2座標生成モードでは前記高さ情報Zとして、零値を与え、前記第3座標生成モードでは前記高さ情報Zとして、一定値未満の正値を与えてもよい。
【0018】
この構成によると、2D操作モードの場合、第1座標生成モードでは高さ情報Zとして、一定値以上の正値を与え、第2座標生成モードでは高さ情報Zとして、零値を与え、第3座標生成モードでは高さ情報Zとして、一定値未満の正値を与える。
【0019】
この構成によると、第3座標生成モードは、第1座標生成モード及び第2座標生成モードとは異なる値の高さ情報を与えるので、第1座標生成モードと第2座標生成モードとの間の中間モードとなることができる。
【0020】
よって、第1座標生成モードからいきなり第2座標生成モードに遷移する場合と比べて、第1座標生成モードと第2座標生成モードとの間に、中間モードである第3座標生成モードが挟まれるので、ユーザは、きめ細かい操作感覚を得ることができる。
【0021】
また、前記座標情報生成部は、前記タッチパネルに対する指先のタッチ位置の平面位置座標が予め設定された設定時間内に変化した場合に、前記平面位置座標の変化量を表す変化量情報を生成するマウス操作モードに遷移してもよい。
【0022】
この構成によると、タッチパネルに対する指先のタッチ位置の平面位置座標が設定時間内に変化した場合には、平面位置座標の変化量を表す変化量情報を生成するマウス操作モードに遷移する。
【0023】
先述の操作装置では、タッチパネル面における二次元位置情報や、タッチパネル面上空における指先の高さ情報を出力するだけであったが、この構成によると、極めて正確なポインティング操作が求められる局面では、設定時間内に指先のタッチ位置を変化させるだけでマウス操作モードに遷移する。これにより、ユーザに、正確なポインティング操作の操作性を提供することができる。
【0024】
また、前記座標情報生成部は、前記タッチパネルが少なくとも2本の指先によってタッチされたことを検出した場合には、タッチ位置のそれぞれの座標を生成してもよい。
【0025】
この構成によると、タッチパネルが少なくとも2本の指先によってタッチされたとき、タッチ位置のそれぞれの座標情報を生成するので、少なくとも2本の指での操作を伴うマルチタッチジェスチャが、外部の処理装置側で実現できる。そのため、例えば、処理装置側では、ピンチインやピンチアウトなどといったマルチフィンガージェスチャーを実現することができるようになる。
【0026】
また、前記座標情報生成部は、少なくとも前記操作装置が起動後は何れの座標生成モードでもない待機状態であり、前記待機状態から、前記タッチパネルが少なくとも1本の指先でタッチされたことを検出した場合には、前記第1座標生成モードに遷移してもよい。
【0027】
この構成によると、待機状態からタッチパネルが少なくとも1本の指先でタッチされたことを検出した場合には、第1座標生成モードに遷移するので、待機状態においてタッチパネルを1本の指でタッチすれば、指先のタッチパネル面におけるタッチが、指先がタッチパネル面の上空に存在しているのと等価な状態となる。これにより、二次元情報しか出力できないタッチパネルを用いた場合であっても、第1座標生成モードに遷移することによって、高さ情報を含む三次元位置情報を出力することができる。
【0028】
また、前記座標情報生成部は、前記第1座標生成モードで前記受付部が第1特定操作を受け付けた場合には、前記第2座標生成モードに遷移してもよい。
【0029】
この構成によると、第1座標生成モードで第1特定操作を受け付けた場合には、第2座標生成モードに遷移する。
【0030】
この構成によると、第1特定操作を受け付けた場合には、指先がタッチパネル面上空に位置すると仮定した状態から、指先がタッチパネル面にタッチしている状態に遷移できるので、二次元情報しか出力できないタッチパネルを用いた場合であっても、上記2つの状態を実現することができる。
【0031】
また、前記座標情報生成部は、前記第1座標生成モードで前記受付部が第2特定操作を受け付けた場合には、前記第3座標生成モードに遷移し、前記第3座標生成モードで前記受付部が前記第3特定操作を受け付けた場合には、前記第2座標生成モードに遷移してもよい。
【0032】
この構成によると、第1座標生成モードで第2特定操作を受け付けた場合には、第3座標生成モードに遷移し、第3座標生成モードで第3特定操作を受け付けた場合には、第2座標生成モードに遷移する。
【0033】
このように、操作装置のモードを、第2特定操作によって、第1座標生成モードと第2座標生成モードとの中間モードである第3座標生成モードに遷移させることができ、第3座標生成モードにおいて、第3特定操作によって、中間モードから第2座標生成モードに遷移させることができる。よって、操作装置に対して高さ情報をきめ細かく与える操作を実現することができる。
【0034】
また、前記第1座標生成モード、前記第2座標生成モード、及び前記第3座標生成モードのいずかにおいて、前記タッチパネルにおいて一定時間の間継続してタッチを検出しない場合には、前記待機状態となってもよい。
【0035】
この構成によると、第1座標生成モード〜第3座標生成モードのいずかにおいて、タッチパネルにおいて一定時間の間継続してタッチを検出しない場合には、待機状態となるので、第1座標生成モード〜第3座標生成モードのいずれかから待機状態にするのに特別な操作を必要としない。よって、自然な操作感覚を実現することができる。
【0036】
さらに、前記座標情報生成部を前記第1座標生成モードから前記第2座標生成モードに遷移させることができる第1操作キーを備え、前記座標情報生成部は、前記受付部が前記第1特定操作として前記第1操作キーが操作されたことを受け付けた場合には、前記第2座標生成モードに遷移し、前記第1操作キーの操作を受け付けなくなった場合には、第1座標生成モードに遷移してもよい。
【0037】
この構成によると、第1操作キーの操作によって、指先がタッチパネル面に位置するように扱う第2座標生成モードに遷移し、第1操作キーの操作を解除することによって、指先がタッチパネル面の上空に存在するかのように扱う第1座標生成モードに遷移する。
【0038】
このように、第1操作キーの操作と、座標生成モードの遷移とが対応しているので、自然な操作感覚を実現することができる。
【0039】
さらに、前記座標情報生成部は、前記第1座標生成モードにおいて、前記第1特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間の継続したタッチを検出した場合には、前記第2座標生成モードに遷移し、前記タッチが解除された場合には、前記第1座標生成モードに遷移してもよい。
【0040】
この構成によると、タッチパネルの同一位置における一定時間の継続したタッチの有無によって、第1座標生成モードか第2座標生成モードかになる。これにより、タッチパネル面におけるタッチ位置の保持という意思を伴う操作によって座標生成モードが変化するので、自然な操作感覚を実現することができる。
【0041】
また、前記第1特定操作は、前記タッチパネル上においてユーザの指を同一位置で静止させる操作を継続した後、さらに一定時間以内のタッチ解除後に前記タッチパネル上において前記平面を再度タッチする一連の操作であり、前記座標情報生成部は、前記第1座標生成モードで前記受付部が前記第1特定操作を受け付けたときには、前記第2座標生成モードに遷移し、前記タッチが解除された場合には、前記第1座標生成モードに遷移してもよい。
【0042】
この構成によると、タッチパネル上において指先を同一位置で静止させている間、及びその後の一定時間以内のタッチ解除中には第1座標生成モードが継続され、その後の再タッチによって第2座標生成モードに遷移する。
【0043】
そのため、指先をタッチパネル上において同一位置で静止させ、その後の一定時間の間は、タッチパネルをタッチしていても高さ情報が出力される、仮想的なタッチ操作が実現され、その後の再タッチによって、高さ情報が出力されない、現実のタッチ相当状態に遷移するので、より自然な操作感覚を実現できる。
【0044】
また、前記第1特定操作は、前記第1座標生成モードへの遷移の要因となったタッチをしている指とは別の指による前記平面へのタッチ操作であり、前記座標情報生成部は、前記第2座標生成モードへの遷移の要因となったタッチをしている指のタッチ位置を示す平面座標を元に前記平面座標情報を生成し、前記第2座標生成モードへの遷移の要因となっている指先のタッチの解除によって、前記第1座標生成モードに遷移し、前記第2座標生成モードへの遷移の要因となっている指先のタッチの一定時間以上の解除によって、待機状態に遷移してもよい。
【0045】
この構成によると、第1特定操作は、第1座標生成モードへの遷移の要因となったタッチをしている指とは別の指による平面へのタッチ操作である そのため、第1座標生成モードへの遷移の要因となった指先は連続してタッチしたまま、その指先とは別の指のタッチ操作によって第2座標生成モードに遷移させることができる。
【0046】
その結果、第1座標生成モードへの要因となった指先を静止させたまま、動きのあるオブジェクトの座標を追跡して、そのオブジェクトの座標に対して座標生成モードをタッチ相当状態に変化させたいような場合に効果的である。
【0047】
また、第2座標生成モードの原因となった指のタッチの解除によって、連続的に第1座標生成モードに復帰することができるので、第1座標生成モードへの遷移の要因となった指先によって、継続してオブジェクトを追跡するような場合に尚さら有効である。
【0048】
また、前記座標情報生成部は、前記第1座標生成モードにおいて、前記第2特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間の継続したタッチを検出した場合には、前記第3座標生成モードに遷移し、前記タッチ位置が変化した場合、或いは前記タッチが解除された場合には、前記第1座標生成モードに遷移してもよい。
【0049】
この構成によると、第2特定操作は、タッチパネルの同一位置における一定時間の継続したタッチである。そのため、タッチ位置の静止継続という意思を伴う操作によって第1座標生成モードと第3座標生成モードとを行き来出来るので、自然な操作感覚を実現することができる。
【0050】
また、前記座標情報生成部は、前記第1座標生成モードにおいて、前記第2特定操作として、前記タッチパネル上におけるタッチ位置の変化を遅くするにつれて、前記第3座標生成モードに遷移し、前記タッチ位置の変化を速くするにつれて、前記第1座標生成モードに遷移してもよい。
【0051】
この構成によると、タッチ位置の移動速度が速いか遅いかの違いという意思を反映させ易い作法に依って、第1座標生成モードと第3座標生成モードとを行き来出来るので、より自然な操作感覚を実現することができる。
【0052】
さらに、前記座標情報生成部を前記第3座標生成モードから前記第2座標生成モードに遷移させることができる第2操作キーを備え、前記座標情報生成部は、前記受付部が前記第3特定操作として前記第2操作キーが操作されたことを受け付けた場合には、前記第2座標生成モードに遷移し、その後、前記第2操作キーの操作を受け付けなくなった場合には、前記第3座標生成モードに遷移してもよい。
【0053】
この構成によると、第2操作キーの操作によって、指先がタッチパネル面に位置するように扱う第2座標生成モードに遷移し、第2操作キーの操作を解除することによって、第1座標生成モードと第2座標モーとの間の中間モードである第3座標生成モードに遷移する。
【0054】
このように、第2操作キーの操作と、座標生成モードの遷移とが対応しているので、自然な操作感覚を実現することができる。
【0055】
さらに、前記座標情報生成部は、前記第3座標生成モードにおいて、前記第3特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間の継続したタッチを検出した場合には、前記第2座標生成モードに遷移し、その後、前記タッチが解除された場合には、前記第3座標生成モードに遷移してもよい。
【0056】
この構成によると、タッチパネルの同一位置における一定時間の継続したタッチの有無によって、第3座標生成モードか第2座標生成モードとなる。これにより、タッチパネル面におけるタッチ位置の保持という意思を伴う操作によって座標生成モードが変化するので、自然な操作感覚を実現することができる。
【0057】
また、前記第3特定操作は、一定時間以内のタッチ解除後に前記タッチパネル上において前記平面を再度タッチする一連の操作であり、前記座標情報生成部は、前記第3座標生成モードで前記受付部が前記第3特定操作を受け付けたときには、前記第2座標生成モードに遷移し、その後、前記タッチが解除された場合には、前記第3座標生成モードに遷移してもよい。
【0058】
この構成によると、タッチパネル上において指先を同一位置で静止させている間、及びその後の一定時間以内のタッチ解除中には第3座標生成モードが継続され、その後の再タッチによって第2座標生成モードに遷移する。
【0059】
そのため、指先をタッチパネル上において同一位置で静止させ、その後の一定時間の間は、タッチパネルをタッチしていても高さ情報が出力される、仮想的なタッチ操作が実現され、その後の再タッチによって、高さ情報が出力されない、現実のタッチ相当状態に遷移するので、より自然な操作感覚を実現できる。
【0060】
また、前記第3特定操作は、前記第1座標生成モード及び前記第3座標生成モードへの遷移の要因となったタッチをしている指とは別の指による前記平面へのタッチ操作であり、前記座標情報生成部は、前記第3座標生成モードへの遷移の要因となったタッチをしている指のタッチ位置を示す平面座標を元に前記平面座標情報を生成し、前記第3座標生成モードの要因となっている指先のタッチの解除によって、前記第1座標生成モードに遷移し、第3座標生成モードの要因となっている指先のタッチの一定時間以上の解除によって、待機状態に遷移してもよい。
【0061】
この構成によると、第3特定操作は、第3座標生成モードへの遷移の要因となったタッチをしている指とは別の指による平面へのタッチ操作である。
【0062】
そのため、第3座標生成モードへの遷移の要因となった指先は連続してタッチしたまま、その指先とは別の指のタッチ操作によって第1座標生成モードに遷移させることができる。
【0063】
その結果、第3座標生成モードへの要因となった指先を静止させたまま、動きのあるオブジェクトの座標を追跡して、そのオブジェクトの座標に対して座標生成モードを仮想的なタッチ相当状態に変化させたいような場合に効果的である。
【0064】
また、第3座標生成モードへの遷移の原因となった指のタッチの解除によって、連続的に第1座標モードに復帰することができるので、第3座標モードへの遷移の要因となった指先によって、継続してオブジェクトを追跡するような場合に尚さら有効である。
【0065】
また、本発明の他の態様に係る情報処理システムは、請求項1〜20のいずれか1項に記載の操作装置と、表示装置と、前記出力部から出力された前記座標情報を前記表示装置における座標情報に変換し、変換した座標情報で表される座標位置にカーソル画像を表示させる処理装置と、前記操作装置と前記処理装置との間で少なくとも前記座標情報を通信させるための通信部と、を備え、前記処理装置は、前記出力部から前記座標情報及び前記高さ情報を受信した際に、前記高さ情報が設定値以上の正値の座標値を受信した際に第1カーソルを表示させ、前記高さ情報が零値を受信した際に第2カーソルを表示させ、前記高さ情報が設定値未満の正値の座標値を受信した際に第3カーソルを表示させる。
【0066】
この構成によると、高さ情報が設定値以上の正値の座標値を受信した際に第1カーソルを表示させ、高さ情報が零値を受信した際に第2カーソルを表示させ、高さ情報が設定値未満の正値の座標値を受信した際に第3カーソルを表示させる。
【0067】
これにより、操作装置が、第1座標生成モード、第2座標生成モード、及び第3座標生成モードのいずれにあるかを、容易に区別することができる。また、ユーザ自身が、同じタッチ面上での操作であるにも拘らず、自らの操作に応じて高さ座標Zが変化していることをカーソル表示の差によって直感的に認識することができる。
【0068】
また、前記第1カーソルの画像、前記第2カーソルの画像、及び前記第3カーソルの画像の各々は、形状及び色の少なくとも一方が異なっていてもよい。
【0069】
この構成によると、第1カーソル画像、第2カーソル画像、及び第3カーソル画像の各々は、形状及び色の少なくとも一方が異なっているので、各々のカーソル画像をより簡単に区別することができる。
【0070】
また、前記処理装置は、前記座標情報生成部が前記マウス操作モードを実行している際には、前記表示部に、前記カーソル画像としてマウスカーソル画像を表示させてもよい。
【0071】
この構成によると、マウス操作モードでは、マウスカーソル画像を表示させるので、マウス操作モードであることが一目で判る。
【0072】
また、前記処理装置は、前記座標情報生成部が、前記3D操作モードの際と、前記2D操作モードの際との間では、前記表示装置に表示させる前記カーソル画像の形状及び色を異ならせてもよい。
【0073】
この構成によると、3D操作モードの際と、2D操作モードの際との間では、表示装置に表示させるカーソル画像の形状及び色を異ならせるので、3D操作モードか2D操作モードかの区別が容易につく。
【0074】
また、前記処理装置は、前記2D操作モード、前記3D操作モード、及びマウス操作モードのいずれかを表す操作モード情報を保持しており、前記通信部を経由して前記処理装置が保持している前記操作モード情報を前記操作装置に提供し、前記座標情報生成部は、提供を受けた前記操作モード情報に従って、前記2D操作モード、前記3D操作モード、及びマウス操作モードのいずれかを実行してもよい。
【0075】
この構成によると、2D操作モード、3D操作モード、及びマウス操作モードのいずれかを表す操作モード情報を処理装置で保持しており、操作装置は、処理装置からおくられてきた操作モード情報に基づいたモードとなる。
【0076】
これにより、例えば、処理装置が実行するプログラムに応じた操作モードに、操作装置がなることができるため、利便である。
【0077】
また、前記処理装置には、前記操作装置による操作を受け付けるための複数のプログラムが予めインストールされており、前記処理装置は、前記各プログラムの実行中に、当該プログラムの実行状態、または実行されている個別のプログラムに応じて、前記3D操作モード、前記2D操作モード、及び前記マウス操作モードのいずれかを表す前記操作モード情報を前記座標情報生成部に送信してもよい。
【0078】
この構成によると、処理装置が実行しているプログラムの実行状態、または実行されている個別のプログラムに応じて、操作モード情報を操作装置に送信するので、以下の効果が期待できる。
【0079】
例えば、特定のゲームアプリケーションでは3D操作モードが適しているので、処理装置は3D操作モード情報を操作装置に出力して3D操作モードに遷移させることができる。
【0080】
或いは、細かな画面オブジェクトを扱うことが多いWEBブラウザではマウス操作モードが適しているので、処理装置はマウス操作モード情報を操作装置に出力してマウス操作モードに遷移させることができる。
【0081】
或いは、ソフトウェアキーボードの実行時には、2D操作モードが適しているので、処理装置は2D操作モード情報を操作装置に出力して2D操作モードに遷移させることができる。
【0082】
また、前記処理装置は、前記座標情報生成部に前記3D操作モード、前記2D操作モード、及びマウス操作モードのいずれの操作モードになるかを選択するための選択キーを備えていてもよい。
【0083】
この構成によると、選択キーの操作によって、3D操作モード、2D操作モード、及びマウス操作モードのいずれの操作モードになるかを選択できるため、操作者の利用意思に応じて操作モードを切換えることができるので、利便である。
【0084】
また、前記座標情報生成部は、前記操作装置の姿勢を表わす姿勢情報によって、前記3D操作モード、前記2D操作モード、及び前記マウス操作モードのいずれか1つの操作モードを実行してもよい。
【0085】
この構成によると、操作装置の姿勢を表す姿勢情報によって、3D操作モード、2D操作モード、及びマウス操作モードのいずれかとなるので、利便である。
【0086】
さらに、前記操作装置の姿勢を検出し、検出した姿勢を表す前記姿勢情報を出力する加速度センサを備えていてもよい。
【0087】
この構成によると、姿勢情報は、加速度センサにより得られるので、3次元空間におけるあらゆる方向の姿勢を知ることが出来、かつ加速度の変化から姿勢の動的な変化も知ることも出来る。
【0088】
また、前記操作装置は、振動部をさらに備えていてもよい。
【0089】
この構成によると、操作装置は振動部を備えるので、所定のタイミングで振動することにより、ユーザに所定の事項を触覚により伝えることができる。
【0090】
また、前記操作装置は、発光部をさらに備えていてもよい。
【0091】
この構成によると、操作装置は発光部を備えるので、所定のタイミングで発光することにより、ユーザに所定の事項を視覚により伝えることができる。
【発明の効果】
【0092】
本発明によると、タッチパネルと指との距離に惑わされることなく、ストレスなく、操作装置を操作することができる。
【図面の簡単な説明】
【0093】
図1】本発明の実施の形態1に係る情報処理システムの一例を表したシステム構成図である。
図2】発明の実施の形態1に係る操作装置の機能ブロックの一例を示したブロック図である。
図3】特定操作テーブルの構成の一例を示した図である。
図4】処理装置の機能構成の一例を示したブロック図である。
図5】対応モードテーブルの構成の一例を示した図である。
図6】表示装置の機能構成の一例を示したブロック図である。
図7】操作装置の座標情報生成部の基本動作の一例について示したフローチャートである。
図8】座標情報生成部における座標生成モード遷移処理について示したフローチャートである。
図9】処理装置の基本動作の一例について示したフローチャートである。
図10】表示装置に表示されるカーソル画像の一例を示した図である。
図11】マウスカーソル画像の一例を示した図である。
図12】本発明の実施の形態2に係る操作装置の座標情報生成部の基本動作の一例を示したフローチャートである。
図13】本発明の実施の形態2において表示装置に表示されるカーソル画像の一例を示した図である。
【発明を実施するための形態】
【0094】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される構成要素、構成要素の配置位置及び接続形態などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0095】
(実施の形態1)
<情報処理システムの構成>
図1は、本発明の実施の形態1に係る情報処理システムの一例を表したシステム構成図である。図1に示す情報処理システムは、操作装置1と、表示装置2と、処理装置3とを備える。この情報処理システムは、処理装置3に予めインストールされているアプリケーションプログラムを処理装置3が実行する際に、ユーザに、操作装置1におけるタッチパネル101の操作を、あたかも、表示装置2の表示画面20上で行っているように思わせるシステムである。
【0096】
換言すれば、この情報処理システムは、表示装置2の表示画面20を仮想タッチパネルとしてユーザに提供するシステムである。
【0097】
操作装置1は、タッチパネル101のほかに、後述する各種操作キー11A〜11Cを備える。操作装置1は、例えば、プラットフォーム1の1つであるアンドロイド(登録商標)に従った処理を行う。
【0098】
表示装置2は、先述のように表示画面20を有する。処理装置3は、操作装置1との間で、例えば、近距離無線通信規格の1つであるBluetooth(登録商標)に従って無線通信を行い、所定の情報を送受する。
【0099】
また、処理装置3は、表示装置2に、ケーブルCを介して接続されており、表示装置2に、所定の画像情報を提供する。なお、処理装置3と表示装置2とは、無線通信を行うことができるようにしてもよい。また、本実施の形態1では、操作装置1と処理装置3とが別個に設けられているが、この例には限られず、操作装置1及び処理装置3の各々の機能を有する装置単体としてもよい。
【0100】
<操作装置1の構成>
図2は、本発明の実施の形態1に係る操作装置の機能ブロックの一例を示したブロック図である。
【0101】
操作装置1は、図2に示すように、SOC(System-On-a-Chip)300と、タッチパネル101と、第1操作キー11Aと、第2操作キー11Bと、第3操作キー11Cと、マイクMI及びスピーカSPを制御するオーディオ制御回路106と、無線通信インタフェース111と、アンテナ112と、外部電源コネクタ113と、電源制御回路114と、充電池115と、加速度センサSと、振動部117と、発光部118と、を備える。
【0102】
SOC300では、以下の構成要素が内部バス103に接続されている。SOC300は、タッチパネルインタフェース102と、操作キーインタフェース104と、オーディオインタフェース105と、メモリ107と、CPU(Central Processing Unit;表示制御部)108と、クロック出力部109と、通信インタフェース(通信部、出力部)110と、特定操作テーブル116Aを有する座標情報生成部116と、を備える。
【0103】
タッチパネルインタフェース102は、タッチパネル101をSOC300に接続するためのインタフェースである。
【0104】
操作キーインタフェース104は、操作キー11A〜11CをSOC300に接続するためのインタフェースである。操作キーインタフェース104は、操作キー11A〜11Cが操作されたことを表す情報(例えば信号のオン期間を表す情報)を受け付け、当該情報をCPU108に出力する。オーディオインタフェース105は、オーディオ制御回路106をSOC300に接続するためのインタフェースである。
【0105】
メモリ107は、この操作装置1が動作するために必要な各種の制御プログラムが格納されている記憶媒体である。メモリ107には、制御プログラムの1つとして、先述のアンドロイド(登録商標)を構成するプログラムが予めインストールされている。
【0106】
CPU108は、メモリ107に格納された制御プログラム、例えば、アンドロイド(登録商標)によって作動することにより制御部としての機能を果たす。クロック出力部109は、CPU108が動作するためのクロック信号を出力するユニットである。
【0107】
通信インタフェース110は、無線通信インタフェース111をSOC300に接続するためのインタフェースである。
【0108】
座標情報生成部116は、第1座標生成モード(第1座標基準の一例)、第2座標生成モード(第2座標基準の一例)、及び、第3座標生成モード(第3座標基準の一例)を有している。なお、これらの座標生成モードの詳細については後述する。また、座標情報生成部116は、特定操作テーブル116Aと、受付部116Bとを備える。
【0109】
図3は、特定操作テーブル116Aの構成の一例を示した図である。特定操作テーブル116Aには、特定操作1160と、特定操作1160に対応した操作手法1161とが記憶されている。
【0110】
本実施の形態1では、特定操作1160として、第1特定操作1160A、第2特定操作1160B、及び、第3特定操作1160Cが記憶されている。
【0111】
そして、第1特定操作1160Aに対応して、(1)“操作キー11Aの押し操作”、(2)“タッチパネル101における一定時間の継続したタッチ操作”、(3)“タッチパネル101上においてユーザの指を同一位置で静止させる操作を継続した後、一定時間以内のタッチ解除後に、再度タッチパネル101をタッチする一連の操作”、及び、(4)“第1座標生成モードへの遷移の要因となったタッチとは別の指によるタッチ操作”が記憶されている。
【0112】
また、第2特定操作1160Bに対応して、(5)“タッチパネル101の同一位置における一定時間の継続したタッチ操作”、及び、(6)“タッチパネル101におけるタッチ位置の変化を遅くする操作”が記憶されている。
【0113】
さらに、第3特定操作1160Cに対応して、(7)“操作キー11Bの押し操作”、(8)“タッチパネル101の同一位置における一定時間の継続したタッチ操作”、(9)“タッチパネル101における一定時間以内のタッチ解除後に再度タッチする一連の操作”、及び(10)“第3座標生成モードへの遷移の要因となったタッチをしている指とは別の指によるタッチ操作”が記憶されている。
【0114】
受付部116Bは、後述する、第1特定操作、第2特定操作、及び第3特定操作を受け付ける。タッチパネル101は、タッチパネル面を有し、当該タッチパネル面にタッチされた平面状の座標位置を検出する。
【0115】
操作キー11Aは後述する第1特定操作を行うための操作キーである。第2キー11Bは後述する第2特定操作を行うための操作キーである。第3操作キー11Cは後述する選択操作を行うためのキーである。なお、本実施の形態では、第1キー11A〜第3キー11Cの各々に、専用の機能を割り当てているが、本発明ではこの例には限られず、第1キー11A〜第3キーの各々に、CPU108が実行している制御プログラムに応じた機能を割り当ててもよい。
【0116】
オーディオ制御回路106は、マイクMI及びスピーカSPを通じた、相手先(例えば、携帯電話機)との通話を行うための回路である。つまり、操作装置1は、携帯電話機としても機能する。
【0117】
無線通信インタフェース111は、アンテナ112を通じて操作装置1との間で無線通信を行うためのインタフェースである。
【0118】
外部電源コネクタ113は、充電器(図示せず)からの電源供給を受ける。電源制御回路114は、充電器から充電池115への充電を制御する。
【0119】
加速度センサSは、例えば、3軸加速度センサからなり、操作装置1の姿勢を表す姿勢情報をCPU108に出力する。
【0120】
振動部117は、例えば、モーターやピエゾ素子で構成されており、所定のタイミングで振動する。発光部118は、例えば、発光ダイオードで構成されており、所定のタイミングで発光する。なお、所定のタイミングの例については後述する。
【0121】
<処理装置3の構成>
表示装置2には、処理装置3が提供した画像が表示される。そのために、処理装置3は、以下の構成とされている。図4は、処理装置3の機能構成の一例を示したブロック図である。
【0122】
処理装置3は、無線情報送受信部(通信部)31と、座標情報変換部32と、CPU33と、インタフェース34と、メモリ35とを備える。
【0123】
無線情報送受信部31は、操作装置1との間で、各種の情報を、無線を通じて送受するユニットである。なお、情報の種類は後述する。
【0124】
座標情報変換部32は、操作装置1によって生成された座標情報を表示装置2における座標情報に変換するユニットである。そのために、座標情報変換部32には、操作装置1による座標情報と、表示装置2における座標情報との対応付けが記憶されている。CPU33は、メモリ35に記憶された制御プログラム、例えば、アンドロイド(登録商標)に従って、この処理装置3を制御する。
【0125】
インタフェース34は、表示装置2を処理装置3に接続するためのインタフェースである。メモリ35は、この処理装置3が動作するのに必要な各種の制御プログラムの他、対応モードテーブル35Aと、アプリケーションプログラム35B〜35Dと、2D操作モード情報35Eと、3D操作モード情報35Fと、マウス操作モード情報35Gと、を備える。なお、2D操作モード情報35Eと、3D操作モード情報35Fと、マウス操作モード情報35Gの詳細については後述する。
【0126】
図5は、対応モードテーブルの構成の一例を示した図である。対応モードテーブル35Aには、アプリケーションプログラム350に対応する操作モード情報351が記憶されている。この例では、アプリケーションプログラム350Aに対応して3D操作モード情報351Aが記憶されており、アプリケーションプログラム350Bに対応して2D操作モード情報351Bが記憶されており、アプリケーションプログラム350Cに対応してマウス操作モード情報351Cが記憶されている。なお、3D操作モード情報351A、2D操作モード情報351B、及び、マウス操作モード情報351Cの詳細については後述する。
【0127】
<表示装置2の構成>
図6は、表示装置2の機能構成の一例を示したブロック図である。表示装置2は、表示画面20と、表示制御部21と、情報受付部22と、インタフェース23とを備える。表示画面20は、例えば、液晶ディスプレイによって構成されている。表示制御部21は、表示画面20における画像の表示を制御する。例えば、表示制御部21は、液晶分子の向きを制御することにより、表示画面20に画像を表示する。情報受付部22は、インタフェース23を通じて処理装置3から送られてきた各種の情報を受け付ける。なお、情報の種類については後述する。
【0128】
<操作装置1の動作>
図7は、操作装置1の座標情報生成部116の基本動作の一例について示したフローチャートである。まず、操作装置1の電源を立ち上げたときには座標情報生成部116は待機状態となる(ステップS10)。
【0129】
そして、タッチパネル101がタッチパネル面上のタッチ操作を検出した際には、(ステップS11でYES)、座標情報生成部116は、当該座標情報生成部116が、第1座標生成モード、第2座標生成モード、及び第3座標生成モードのいずれにあるかに応じて、以下の処理を行う。
【0130】
すなわち、座標情報生成部116は、第1座標生成モードであるときには(ステップS12でYES)、タッチされた位置の二次元座標情報と、Z1(但しZ1は正の数値)以上の高さ情報とを生成し、処理装置3に出力する(ステップS13)。
【0131】
また、座標情報生成部116は、第2座標生成モードであるときには(ステップS14でYES)、タッチされた位置の二次元座標情報と、零値の高さ情報とを生成し、処理装置3に出力する(ステップS15)。
【0132】
さらに、座標情報生成部116は、第3座標生成モードであるときには(ステップS14でNO)、タッチされた位置の二次元座標情報と、Z1未満の正の値の高さ情報とを生成し、処理装置3に出力する(ステップS16)。
【0133】
そして、ステップS11で最初にタッチ操作が検出された後、そのタッチ位置が変化したとき、すなわち、タッチパネル面における平面座標情報が所定時間内に変化したときには(ステップS17でYES)、マウス操作モードとなる(ステップS18)。
【0134】
マウス操作モードでは、座標情報生成部116は、平面位置座標の変化量を表す変化量情報を生成し、その情報を処理装置3に出力する。
【0135】
その後、一定時間の間、継続してタッチ操作が検出されない場合には(ステップS19でYES)、座標情報生成部116は待機状態に戻る(ステップS10)。
【0136】
次に、座標情報生成部116における座標生成モード遷移処理について説明する。図8は、座標情報生成部116における座標生成モード遷移処理について示したフローチャートである。
【0137】
座標情報生成部116は、待機状態において(ステップS100)、タッチパネル101のタッチパネル面が1本の指で操作されたときには(ステップS101でYES)、第1座標生成モードとなる(ステップS102)。一方で、待機状態でタッチパネル面が2本の指で操作されたときには(ステップS101でNO、ステップS103でYES)、座標情報生成部116は、タッチされた位置のそれぞれの平面座標情報を生成して、処理装置4に出力する(ステップS104)。
【0138】
その後、受付部116Bが第1特定操作1160A(図3参照)を受け付けたとき(ステップS105でYES)、座標情報生成部116は、第2座標生成モードに遷移する(ステップ106)。
【0139】
このとき、第1特定操作1160Aが、“第1座標生成モードへの遷移の要因となったタッチとは別の指によるタッチ操作”である場合には、別の指によるタッチ位置を示す平面座標を元に平面座標情報を生成し、処理装置3に出力する。このとき、処理装置3によって、タッチ位置を示す平面座標情報が表示装置2における座標情報に変換され、変換された座標情報で表される座標位置に、第2カーソル画像CU2(図10参照)を表示させる。
【0140】
一方、受付部116Bが第2特定操作1180B(図3参照)を受け付けたとき(ステップS109でYES)、第3座標生成モードに遷移する(ステップS110)。
【0141】
座標情報生成部116は、第2座標生成モードになってから(ステップS106)、第1座標生成モードへの遷移条件が成立した場合には(ステップS107でYES)、第1座標生成モードに遷移する(ステップS102)。
【0142】
ここにおいて、“第2座標生成モードから第1座標生成モードへの遷移条件”としては、例えば、“第1操作キー11Aの押し操作の中止”、“タッチパネル101の同一位置における一定時間の継続したタッチの後、当該タッチが解除されたこと”、“タッチパネル101上においてユーザの指を同一位置で静止させる操作を継続した後、さらに一定時間以内のタッチ解除後にタッチパネル101を再度タッチする一連の操作の後にタッチが解除されたこと”、及び、“第2座標生成モードへの遷移の要因となっている指先のタッチの解除”が挙げられる。
【0143】
また、第2座標生成モードにおいて、第1座標生成モードへの遷移条件が成立しない場合には(ステップS107でNO)、待機状態への遷移条件が成立すれば(ステップS108でYES)、座標情報生成部116は待機状態へ戻る(ステップS100)。
【0144】
ここにおいて、“待機状態への遷移条件”としては、例えば、“タッチパネル101が一定時間の間継続してタッチされないこと”、及び、“第2座標生成モードへの遷移の要因となっている指先のタッチの一定時間以上の解除”が挙げられる。
【0145】
座標情報生成部116は、第3座標生成モードに遷移してから(ステップS110)、受付部116Bが第3特定操作1160Cを受け付けたときには(ステップS111でYES)、第2座標生成モードに遷移する(ステップS114)。
【0146】
このとき、第3特定操作1160Cが、“第3座標生成モードへの遷移の要因となったタッチをしている指とは別の指によるタッチ操作”である場合には、別の指によるタッチ位置を示す平面座標を元に平面座標情報を生成し、処理装置3に出力する。このとき、処理装置3によって、タッチ位置を示す平面座標情報が表示装置2における座標情報に変換され、変換された座標情報で表される座標位置に、第3カーソル画像CU3(図10参照)を表示させる。
【0147】
一方で、座標情報生成部116は、第3座標生成モードに遷移してから(ステップS110)、第1座標生成モードへの遷移条件が成立したときには(ステップS112でYES)、第1座標生成モードに遷移する(ステップS102)。
【0148】
ここにおいて、“第3座標生成モードから第1座標生成モードへの遷移条件”としては、例えば、“タッチパネル101の同一位置における一定時間の継続したタッチを検出した後、タッチ位置が変化した場合、或いはタッチが解除された場合”、“第3座標生成モードの要因となっている指先の解除”、及び、“タッチパネル101上におけるタッチ位置の変化を早くする操作”が挙げられる。
【0149】
そして、座標情報生成部116は、第3座標生成モードに遷移してから(ステップS110)、待機状態への遷移条件が成立したときには(ステップS113でYES)、待機状態に戻る(ステップS100)。
【0150】
ここにおいて、“第3座標生成モードから待機状態への遷移条件”としては、例えば、“一定時間の間継続してタッチが検出されないこと”、及び、“第3座標生成モードの要因となっている指先のタッチの一定時間以上の解除”が挙げられる。
【0151】
また、座標情報生成部116は、第2座標生成モードになってから(ステップS114)、第3座標生成モードへの遷移条件が成立したときには(ステップS115でYES)、第3座標生成モードに遷移する(ステップS110)。
【0152】
ここにおいて、“第2座標生成モードから第3座標生成モードへの遷移条件”としては、例えば、“第2操作キー11Bの押し操作の停止”、“タッチパネル101の同一位置における一定時間の継続したタッチを検出した後、前記タッチが解除されたこと”、及び、“一定時間以内のタッチ解除後にタッチパネル101を再度タッチする操作がなされ、当該タッチが解除されたこと”が挙げられる。
【0153】
そして、座標情報生成部116は、第2座標生成モードに遷移してから(ステップS114)、待機状態への遷移条件が成立したときには(ステップS116でYES)、待機状態に戻る(ステップS100)。
【0154】
ここにおいて、“第2座標生成モードから待機状態への遷移条件”としては、“一定時間の間、継続してタッチパネル101がタッチされないこと”、及び“第2座標生成モードへの遷移の要因となっている指先のタッチの一定時間以上の解除”が挙げられる。
【0155】
<処理装置3の動作>
図9は、処理装置3の基本動作の一例について示したフローチャートである。図10は、表示装置2に表示されるカーソル画像の一例を示した図である。図11は、マウスカーソル画像の一例を示した図である。
【0156】
操作装置1からは、図7のフローチャートに示すように、処理装置3に対して、二次元座標情報と高さ情報(Z)とを出力しているので、処理装置3のCPU33は、これらを受けたとき(ステップS200でYES)、以下のように動作する。
【0157】
すなわち、CPU33は、一定値Z1(但しZ1は正の値)以上の高さ情報を受信したときには(ステップS201でYES)、受信した二次元座標情報を表示装置における座標情報に変換し(ステップS202)、変換した座標情報と第1カーソル画像情報とを表示装置2に出力して、変換した座標情報で表される座標位置に、第1カーソル画像CU1(図10参照)を表示させる(ステップS203)。
【0158】
また、CPU33は、零値の高さ情報を受信したときには(ステップS204でYES)、受信した二次元座標情報を表示装置における座標情報に変換し(ステップS205)、変換した座標情報と第2カーソル画像情報とを表示装置2に出力して、変換した座標情報で表される座標位置に、第2カーソル画像CU2(図10参照)を表示させる(ステップS206)。
【0159】
さらに、CPU33は、0を超え一定値Z1(但しZ1は正の値)未満の高さ情報を受信したときには(ステップS207でYES)、受信した二次元座標情報を表示装置における座標情報に変換し(ステップS208)、変換した座標情報と第3カーソル画像情報とを表示装置2に出力して、変換した座標情報で表される座標位置に、第3カーソル画像CU3(図10参照)を表示させる(ステップS209)。
【0160】
そして、操作装置1がマウス操作モードに遷移したときには(ステップS210)、操作装置1から前記変化量情報が処理装置3に出力されてくるので、処理装置3はこれを受信して、表示装置2にマウスカーソル画像情報を出力してマウスカーソル画像CU4(図11参照)を表示させ、前記変化量情報に基づいてマウスカーソル画像CU4を表示画面20で移動させる(ステップS211)。
【0161】
なお、処理装置1のCPU33は、第1カーソル画像CU1、第2カーソル画像CU2、及び、第3カーソル画像CU3の各々の形状及び色を異ならせている。図10(a)に示す第1カーソル画像CU1は丸で表されており、図10(b)に示す第2カーソル画像CU2はハッチング入りの四角形で表されており、図10(c)に示す第3カーソル画像CU3は白抜きの四角形で表されている。
【0162】
<効果>
以上に説明したように、本実施の形態1によると、タッチパネル101のタッチパネル面におけるタッチ位置の平面状の2次元座標と、タッチパネル面に対して垂直方向の高さ情報(Z)とを、座標生成モードに応じて生成するので、ユーザは、指先をタッチパネル面から常に一定の高さを保持しながら動かす必要がない。
【0163】
そのため、ユーザは、タッチパネル101と指との距離に惑わされることなく、ストレスなく、操作装置1を操作することができる。その結果、操作性の良い操作装置1を提供することができる。
【0164】
また、表示装置2の表示画面20には、操作装置1の座標生成モードに応じた複数種類のカーソル画像CU1〜CU3が表示されるので、操作装置1がどの座標生成モードにあるかが一目で判る。
【0165】
また、タッチパネル101で指を移動させると、表示画面20に表示されているマウスカーソル画像も移動するので、タッチパネル101における操作を、あたかも、表示装置2の表示画面20で行っているようにユーザに思わせることができ、利便性に長ける。
【0166】
(実施の形態2)
次に、本発明の実施の形態2について説明する。なお、操作装置1、表示装置2、及び処理装置3の基本構成は、先述の構成と同様である。ただし、タッチパネル101(図2参照)の機能が異なる。
【0167】
実施の形態2では、タッチパネル101は、タッチパネル面における指先のタッチ位置を検出する機能と共に、タッチパネル面の上空に存在する指先のタッチパネル面に対する高さを検出する機能を有する。
【0168】
すなわち、タッチパネル101は、タッチパネル面の上空の一定高さ以内の三次元空間内に指先が位置している場合には、指先の三次元位置情報を座標情報生成部116に出力する。
【0169】
また、座標情報生成部116は、先述の、第1座標生成モード、第2座標生成モード、及び第3座標生成モードのほかに、3D操作モード(第1操作モードの一例)、及び、2D操作モード(第2操作モードの一例)を有している。
【0170】
さらに、第3操作キー17Cには、座標情報生成部116が、3D操作モードか2D操作モードのいずれになるかを選択する機能が割り当てられている。
【0171】
さらに、処理装置3のCPU33は、2D操作モード情報35E、3D操作モード情報35F、及びマウス操作モード35Gのいずれかを操作装置1に出力する。
【0172】
<操作装置1の動作>
図12は、本発明の実施の形態2に係る操作装置1の座標情報生成部116の基本動作の一例を示したフローチャートである。図13は、本発明の実施の形態2において表示装置2に表示されるカーソル画像の一例を示した図である。
【0173】
座標情報生成部116は、処理装置3から3D操作モード情報35F(図4参照)を受信したときには(ステップS300でYES)、3D操作モードとなる(ステップS301)。ここにおいて、処理装置3が3D操作モード情報35Fを出力するのは、例えば、第3操作キー11C(図2参照)が操作されて3D操作モードが選択されたとき、及び、処理装置4がアプリケーションプログラム350A(図5参照)を実行しているとき、が挙げられる。
【0174】
座標情報生成部116は、3D操作モードでは、タッチパネル上空の一定高さ以内の三次元空間内の指先の三次元位置情報を表す立体座標情報を生成し、処理装置4に出力する。
【0175】
処理装置4は、立体座標情報を用いて、タッチパネル101上空の指先のX−Y座標位置情報を認識し、表示装置2における座標情報に変換する。また、処理装置4は、立体座標位置を用いて、指先のタッチパネル101からの高さ情報を認識する。
【0176】
処理装置4は、高さ情報に応じたカーソル画像とともに、変換済みの座標情報を表示装置2に出力する。これにより、表示装置2は、タッチパネル面におけるタッチ位置に対応する座標位置に、前記高さ情報に応じたカーソル画像を表示する。
【0177】
なお、3D操作モードで表示するカーソル画像CU5は、図13に示すように、2D操作モードにおけるカーソル画像CU1〜CU3とは異なる色及び形状であることが望ましい。
【0178】
また、座標情報生成部116は、処理装置3から2D操作モード情報35E(図4参照)を受信したとき、2D操作モードとなる(ステップS303)。ここにおいて、処理装置3が2D操作モード情報35Eを出力するのは、例えば、第3操作キー11C(図2参照)が操作されて2D操作モードが選択されたとき、及び、処理装置4がアプリケーションプログラム350B(図5参照)を実行しているとき、が挙げられる。
【0179】
座標情報生成部116は、2D操作モードとなった場合には、タッチパネル101から出力された指先の三次元位置情報を利用せずに、タッチパネル101のタッチパネル面における指先の座標位置を表す平面座標情報を利用して、先述した実施の形態1と同様の処理を行う。
【0180】
さらに、座標情報生成部116は、処理装置3からマウス操作モード情報35G(図4参照)を受信したときには(ステップS304でYES)、マウス操作モードとなる(ステップS305)。
【0181】
<効果>
以上説明したように、本実施の形態2によると、三次元位置情報を検出可能なタッチパネル101を用いても、座標情報生成部116が2D操作モードの際には、座標情報生成部116は、実施の形態1と同様の動作を行う。
【0182】
よって、三次元位置情報を検出可能なタッチパネルを使用しても、実施の形態1と同様の効果を奏することができる。
【0183】
(その他の実施例等)
なお、処理装置3は、アプリケーションプログラム350A〜350Cのいずれかの実行状態に応じて、3D操作モード情報351A、2D操作モード情報351B、及び、マウス操作モード情報351Cのいずれかを操作装置1に出力してもよい。
【0184】
また、座標情報生成部116は、加速度センサSから出力された姿勢情報に基づいて、3D操作モード、2D操作モード、及びマウス操作モードのいずれかのモードになってもよい。なお、加速度センサSが検出する姿勢としては、例えば、把持姿勢、据え置き姿勢、水平方向での把持姿勢、縦方向での把持姿勢などが挙げられる。
【0185】
また、操作装置1は、所定のタイミングで、振動部117(図2参照)或いは発光部118(図2参照)を作動させてもよい。なお、作動タイミングとしては、例えば、第2座標生成モードに切り替わったタイミング、第2座標生成モード中のタイミング、3D操作モードにおけるタッチ面へのタッチ中のタイミング、マウス操作モード中のタッチ面にタッチ中のタイミング、操作モードが切り替わったタイミング、操作装置1と処理装置3間の通信が確立したタイミング等が挙げられる。
【0186】
以上、本発明の実施の形態に係る情報処理システム及び操作装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【0187】
例えば、また、上記の装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。RAMまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【0188】
さらに、上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしても良い。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
【0189】
さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしても良い。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
【0190】
また、本発明は、上記に示す方法であるとしても良い。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、上記コンピュータプログラムからなるデジタル信号であるとしても良い。
【0191】
さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。
【0192】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
【0193】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
【0194】
また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
【0195】
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
【産業上の利用可能性】
【0196】
本発明は、例えば、スマートフォンと、当該スマートフォンとの間でプラットフォームに基づいた処理を行う処理装置を含む情報処理システムと、に適用できる。
【符号の説明】
【0197】
1 操作装置
2 表示装置
10 液晶ディスプレイ
11A 第1操作キー
11B 第2操作キー
11C 第3操作キー
20 表示画面
3 処理装置
31 無線情報送受信部
32 座標情報変換部
35 メモリ
35A 対応モードテーブル
35B〜35D アプリケーションプログラム
35E 2D操作モード情報
35F 3D操作モード情報
35G マウス操作モード情報
101 タッチパネル
108 CPU
110 通信インタフェース
116 座標情報生成部
116A 特定操作テーブル
116B 受付部
117 振動部
118 発光部
1160A 第1特定操作
1160B 第2特定操作
1160C 第3特定操作
CU1 第1カーソル画像
CU2 第2カーソル画像
CU3 第3カーソル画像
CU4 マウスカーソル画像
CU5 3D操作モードにおけるカーソル画像
S 加速度センサ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13