特許第6094638号(P6094638)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ カシオ計算機株式会社の特許一覧

<>
  • 特許6094638-処理装置及びプログラム 図000002
  • 特許6094638-処理装置及びプログラム 図000003
  • 特許6094638-処理装置及びプログラム 図000004
  • 特許6094638-処理装置及びプログラム 図000005
  • 特許6094638-処理装置及びプログラム 図000006
  • 特許6094638-処理装置及びプログラム 図000007
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6094638
(24)【登録日】2017年2月24日
(45)【発行日】2017年3月15日
(54)【発明の名称】処理装置及びプログラム
(51)【国際特許分類】
   G06F 3/041 20060101AFI20170306BHJP
   G06T 7/20 20170101ALI20170306BHJP
【FI】
   G06F3/041 595
   G06T7/20 300A
【請求項の数】9
【全頁数】15
(21)【出願番号】特願2015-138280(P2015-138280)
(22)【出願日】2015年7月10日
(62)【分割の表示】特願2013-37594(P2013-37594)の分割
【原出願日】2013年2月27日
(65)【公開番号】特開2015-212970(P2015-212970A)
(43)【公開日】2015年11月26日
【審査請求日】2015年8月25日
(73)【特許権者】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(72)【発明者】
【氏名】木村 哲
【審査官】 若林 治男
(56)【参考文献】
【文献】 特開2012−103840(JP,A)
【文献】 特開2012−175282(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/041
G06T 7/20
G06F 3/01
G06F 3/0488
(57)【特許請求の範囲】
【請求項1】
ジェスチャ操作を検出してその操作に応じた処理を行う処理装置であって、
所定ユーザに対応して、複数のジェスチャ操作種の内で何れのジェスチャ操作種を優先するかを示す優先情報を記憶する記憶手段と、
前記所定ユーザによるジェスチャ操作を検出する検出手段と、
前記検出手段で検出されたジェスチャ操作の操作内容が前記複数のジェスチャ操作種の操作内容に共に類似している場合には、前記記憶手段を参照し、前記所定ユーザに対応して前記記憶手段に記憶された前記優先情報で決まるジェスチャ操作種を、前記検出手段で検出されたジェスチャ操作種として特定する特定手段と、
を具備したことを特徴とする処理装置。
【請求項2】
ジェスチャ操作を検出してその操作に応じた処理を行う処理装置であって、
所定ユーザに対応して、特定のジェスチャ操作パターン類似する複数のジェスチャ操作種の内で何れのジェスチャ操作種を優先するかを示す優先情報を記憶する記憶手段と、
前記所定ユーザによるジェスチャ操作の操作パターンを検出する検出手段と、
前記検出手段で検出されたジェスチャ操作の操作パターンが前記複数のジェスチャ操作種の操作パターンに共に類似している場合には、前記記憶手段を参照し、前記所定ユーザに対応して前記記憶手段に記憶された前記優先情報で決まるジェスチャ操作種を前記検出手段で検出された操作パターンのジェスチャ操作種として特定する特定手段と、
を具備したことを特徴とする処理装置。
【請求項3】
前記記憶手段は、前記所定ユーザのユーザ属性に応じて決まる何れか1つのジェスチャ操作種を優先することを示す優先情報、あるいは前記所定ユーザにおけるジェスチャ操作の癖に応じて更新される何れか一つのジェスチャ操作種を優先することを示す優先情報を、前記所定ユーザ固有の情報として記憶する、
ことを特徴とする請求項1又は2に記載の処理装置。
【請求項4】
前記特定手段により前記ジェスチャ操作種が特定された後に、そのジェスチャ操作種に対する訂正操作が行われた場合には、その訂正されたジェスチャ操作種を前記優先情報として前記記憶手段に更新記憶させる学習制御手段と、
更に具備したことを特徴とする請求項1〜3の何れかに記載の処理装置。
【請求項5】
前記学習制御手段は、前記特定手段で前記ジェスチャ操作種を特定した後の所定時間内に戻し操作が行われた後に、再度のジェスチャ操作による操作が行われた場合を、前記訂正操作とする、
ことを特徴とする請求項4に記載の処理装置。
【請求項6】
前記所定ユーザによるジェスチャ操作の検出は、表示画面上でのタッチ操作によるジェスチャ操作、あるいは撮像部によって撮影された前記所定ユーザの撮影画像からジェスチャ操作を検出する、
ことを特徴とする請求項1〜5の何れかに記載の処理装置。
【請求項7】
複数のジェスチャ操作種は前記表示画面上におけるタップ操作種とフリック操作種である、
ことを特徴とする請求項6に記載の処理装置。
【請求項8】
ジェスチャ操作を検出してその操作に応じた処理を行う処理装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
所定ユーザに対応して、複数のジェスチャ操作種の内で何れのジェスチャ操作種を優先するかを示す優先情報を記憶する記憶手段、
前記所定ユーザによるジェスチャ操作を検出する検出手段、
前記検出手段で検出されたジェスチャ操作の操作内容が前記複数のジェスチャ操作種の操作内容に共に類似している場合には、前記記憶手段を参照し、前記所定ユーザに対応して前記記憶手段に記憶された前記優先情報で決まるジェスチャ操作種を、前記検出手段で検出されたジェスチャ操作種として特定する特定手段、
として機能させるようにしたプログラム。
【請求項9】
ジェスチャ操作を検出してその操作に応じた処理を行う処理装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
所定ユーザに対応して、特定のジェスチャ操作パターン類似する複数のジェスチャ操作種の内で何れのジェスチャ操作種を優先するかを示す優先情報を記憶する記憶手段、
前記所定ユーザによるジェスチャ操作の操作パターンを検出する検出手段、
前記検出手段で検出されたジェスチャ操作の操作パターンが前記複数のジェスチャ操作種の操作パターンに共に類似している場合には、前記記憶手段を参照し、前記所定ユーザに対応して前記記憶手段に記憶された前記優先情報で決まるジェスチャ操作種を前記検出手段で検出された操作パターンのジェスチャ操作種として特定する特定手段、
として機能させるようにしたプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ジェスチャ操作を検出してそ操作に応じ処理を行う理装置及びプログラムに関する。
【背景技術】
【0002】
従来、携帯端末装置などのデータ処理装置においてタッチパネル上でのジャスチャ操作の動き自体から、どのような種類の操作が行われたのかを判定する技術としては、例えば、タッチパネル上での接触開始点と接触終了点との関係からフリック操作が行われたのか、タップ操作が行われたのかを判定するようにした技術(特許文献1参照)と、タッチ位置の分散状態の閾値からドラッグ操作が行われたのか、フリック操作が行われたのかを判定するようにした技術(特許文献2参照)と、操作の動きと速度との閾値判定によってフリック操作が行われたのかを判定するようにした技術(特許文献3参照)とが存在している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011−118629公報
【特許文献2】特開2011−134212公報
【特許文献3】特開2006−85703公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した各特許文献1〜3の技術にあっては、ジェスチャ操作そのものの動きから(物理的な操作状態から)フリック操作か否かを判定しているに過ぎず、誤判定する危険性があった。すなわち、同じ種類のジャスチャ操作であっても、操作するユーザによってはその動きが微妙に変化してしまうため、ユーザの意図とは反したジャスチャ判定が行われることがある。例えば、フリック操作を行ったつもりでもタップ操作と判定されたり、タップ操作を行ったつもりでもフリック操作と判定されたりするなど、誤判定の危険性があった。
【0005】
本発明の課題は、ジェスチャ操作を検出してその操作に応じ処理を行う場合に、そのジェスチャ操作を適切に判定できるようにすることである。
【課題を解決するための手段】
【0006】
請求項1は、ジェスチャ操作を検出してその操作に応じた処理を行う処理装置であって、所定ユーザに対応して、複数のジェスチャ操作種の内で何れのジェスチャ操作種を優先するかを示す優先情報を記憶する記憶手段と、前記所定ユーザによるジェスチャ操作を検出する検出手段と、前記検出手段で検出されたジェスチャ操作の操作内容が前記複数のジェスチャ操作種の操作内容に共に類似している場合には、前記記憶手段を参照し、前記所定ユーザに対応して前記記憶手段に記憶された前記優先情報で決まるジェスチャ操作種を、前記検出手段で検出されたジェスチャ操作種として特定する特定手段と、を具備したことを特徴とする。
請求項2は、ジェスチャ操作を検出してその操作に応じた処理を行う処理装置であって、所定ユーザに対応して、特定のジェスチャ操作パターン類似する複数のジェスチャ操作種の内で何れのジェスチャ操作種を優先するかを示す優先情報を記憶する記憶手段と、前記所定ユーザによるジェスチャ操作の操作パターンを検出する検出手段と、前記検出手段で検出されたジェスチャ操作の操作パターンが前記複数のジェスチャ操作種の操作パターンに共に類似している場合には、前記記憶手段を参照し、前記所定ユーザに対応して前記記憶手段に記憶された前記優先情報で決まるジェスチャ操作種を前記検出手段で検出された操作パターンのジェスチャ操作種として特定する特定手段と、を具備したことを特徴とする。

【発明の効果】
【0007】
本発明によれば、ジェスチャ操作を検出してその操作に応じ処理を行う場合に、そのジェスチャ操作を適切に判定することができる。

【図面の簡単な説明】
【0008】
図1】データ処理装置として適用したタブレット端末装置の基本的な構成要素を示したブロック図。
図2】各種の画像を縮小してタッチ表示部6に一覧表示させた場合のサムネイル画面を示した図。
図3】(1)、(2)は、優先判定テーブル3d、ユーザ情報テーブル3eを説明するための図。
図4】画像表示処理が指定された際に実行開始されるフローチャート。
図5図4の動作に続くフローチャート。
図6】ジェスチャ操作が行われる毎に実行開始されるユーザの操作癖学習処理を示したフローチャート。
【発明を実施するための形態】
【0009】
以下、図1図6を参照して本発明の実施形態を説明する。
本実施形態は、データ処理装置としてタブレット端末装置に適用した場合を例示したもので、図1は、このタブレット端末装置の基本的な構成要素を示したブロック図である。
タブレット端末装置は、その筐体全体が、例えば、A5サイズの携帯型情報端末装置であり、タッチ入力機能、無線通信機能などを備えている。CPU1は、電源部(二次電池)2からの電力供給によって動作し、記憶部3内の各種のプログラムに応じてこのタブレット端末装置の全体動作を制御する中央演算処理装置である。
【0010】
記憶部3は、例えば、ROM、フラッシュメモリなどを有する構成で、図4図6に示した動作手順に応じて本実施形態を実現するためのプログラムを記憶するプログラムメモリ3aと、このタブレット端末装置で必要とされる各種のデータ(画像データ、文章データなど)を記憶するデータメモリ3bと、フラグなど一時記憶用のワークメモリ3cのほか、後述する優先判定テーブル3d、ユーザ情報テーブル3eを有している。なお、記憶部3は、例えば、SDカード、ICカードなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。
【0011】
操作部4は、押しボタン式のキーとして、図示省略したが、電源をオン/オフさせる電源キーなどを備えている。無線LAN(Local Area Network)通信部5は、高速大容量の通信が可能な無線通信モジュールで、最寄りの無線LANルータ(図示省略)を介してインターネットなどに接続可能となっている。タッチ表示部6は、表示パネル6aにタッチパネル6bを積層配設した構成で、ソフトウェアキー(ソフトキー)としての機能名を表示したり、各種のアイコンなどを表示したりする。このタッチ表示部6のタッチパネル6bは、指など(ペンなどの操作子を含む)でタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗皮膜方式を採用するようにしているが、光センサ方式など、その他の方式であってもよい。
【0012】
タッチ表示部6上でタッチ操作(以下、各種のタッチ操作をジェスチャ操作と呼ぶことがある)が行われると、CPU1は、その接触位置に応じた信号の時間的変化に基づいて指などの移動方向、移動速度、移動量を検出したり、指などの接触が離れたことを検出したりする。そして、CPU1は、タッチパネル6b上でのジェスチャ操作種を判定して、その種類に応じたデータ処理を行う。すなわち、CPU1は、そのジェスチャ操作の内容(種類)として、タッチ表示部6の画面内の位置を指示するジェスチャ操作が行われたのか、画面内の表示内容の変更を指示するジェスチャ操作が行われたのかのジェスチャ操作種を判定する。
【0013】
ここで、本実施形態においは、タッチパネル6b上で行われるジェスチャ操作種として、タッチパネル6b上の任意の位置を接触してすぐに離すジェスチャ操作(タップ操作)と、タッチパネル6b上を接触移動してからすぐに離すジェスチャ操作(表示スクロールを指示するフリック操作)のいずれが行われたのかを判定するようにしているが、このタップ操作、フリック操作に限らず、複数のジェスチャ操作の中からその他の種類のジェスチャ操作を判定するようにしてもよい。
【0014】
なお、ジェスチャ操作とは、タッチパネル6b上への接触操作(タッチ操作)に限らず、その接触操作に近似する操作として、例えば、指やペンの接近や接近移動による静電容量変化や明るさ変化などに応じて指やペンの位置を検出する非接触操作を含むことを意味している。つまり、接触操作を検出する接触型タッチパネルに限らず、非接触操作を検出する非接触型タッチパネルや操作検出デバイスであってもよいが、本実施形態にあっては、ジェスチャ操作として、接触型タッチパネル上での接触操作を例示した場合である。
【0015】
図2は、各種の画像を縮小してタッチ表示部6に一覧表示させた場合のサムネイル画面を示した図である。
ユーザ操作により画像の表示が指定されると、CPU1は、例えば、SDカードなどによって外部供給された画像をサムネイル画面に一覧表示させる。図示の例は、複数個の画像が3行×2列のマトリックス状に配置表示された場合でのサムネイル画面を示している。このサムネイル画面内の空き領域には、各種のボタンが配置され、例えば、右下領域には、直前の操作を取り消して元の状態に戻すことを指示する戻るボタンが配置されている。なお、サムネイル画面に配置されるボタンとしては、戻るボタン以外にページ切替ボタン(図示省略)などであ。
【0016】
このサムネイル画面上において、何らかのジェスチャ操作が行われると、CPU1は、そのジェスチャ操作の種類(ジェスチャ操作種)を判定し、そのジェスチャ操作種がタップ操作であれば、画像の選択処理を実行するが、フリック操作であれば、ページ切替処理を実行するようにしている。なお、図示の例では、3行1列目の画像上でタップ操作を行った場合を例示し、また、1行目と2行目の空き領域上で矢印方向(右方向)へのフリック操作と、矢印方向(左方向)へのフリック操作を行った場合を例示している。
【0017】
図3(1)、(2)は、優先判定テーブル3d、ユーザ情報テーブル3eを説明するための図で、図3(1)は、優先判定テーブル3dを示している。
優先判定テーブル3dは、例えば、製品出荷時に予め用意されたテーブルであり、「ユーザ属性」、「タップ基本判定値」、「フリック基本判定値」の各項目を有する構成となっている。「ユーザ属性」は、操作者(ユーザ)の属性を示す「年齢層」、「性別」の項目を有し、男女別の年齢層として“10〜20歳代”、“30〜50歳代”、…、“60歳以上”に区分されている。「タップ基本判定値」、「フリック基本判定値」は、ジェスチャ操作種を判定するために参照される判定値であり、予めユーザ属性に応じて固定的(基本的)に決められた値である。
【0018】
例えば、一般に、“10〜20歳代”及び“30〜50歳代”の男性は、フリック操作を勢いよく行う傾向にあり、移動速度や移動量の値が大きくなるという特徴を持っているが、タップ操作も勢いよく行われる傾向にあるため、ジェスチャ操作種を一つに絞り込むことができない場合がある。このような場合にはタップ操作を優先するために、図示の例では、「タップ基本判定値」に“1”、「フリック基本判定値」に“0”が設定されている。これに対して、“60歳以上”の男性は、フリック操作を丁寧にゆっくり行ったりする傾向にあり、移動速度や移動量が小さくなるのに対して、タップ操作も丁寧に行われる傾向にある。このような場合にはフリック操作を優先して判定するために、図示の例では、「タップ基本判定値」に“0”、「フリック基本判定値」に“1”が設定されている。
【0019】
また、“10〜20歳代”の女性は、「タップ基本判定値」に“1”、「フリック基本判定値」に“0”が設定され、“30〜50歳代”、“60歳以上”の女性は、「タップ基本判定値」に“0”、「フリック基本判定値」に“1”が設定されている。なお、上述の例では、「タップ基本判定値」、「フリック基本判定値」として、“0”又は“1”を設定することによって優先“1”/非優先“0”としたが、これに限らず、例えば、“10”以下の数値であってもよい。
【0020】
図3(2)は、ユーザ情報テーブル3eを示している。このユーザ情報テーブル3eは、ユーザ毎にそのユーザに関する情報としてユーザ別に「No,」、「ユーザID」、「ユーザ属性」、「タップ判定値」、「フリック判定値」の各項目を記憶する構成で、複数人が共有して使用する環境では各ユーザが自己の識別情報を「ユーザID」を設定し、更に、優先判定テーブル3dの中から自己のユーザ属性(年齢層及び性別)を選択指定すると、その“年齢層”、“性別”が「ユーザ属性」に設定される。このように「ユーザ属性」に設定されると、優先判定テーブル3dからその「ユーザ属性」に対応する「タップ基本判定値」、「フリック基本判定値」が読み出されて、対応する「タップ判定値」、「フリック判定値」にその初期値として設定される。この「タップ判定値」及び「フリック判定値」の初期値は、ユーザの操作癖に応じて増加される。すなわち、CPU1は、タップ操作、フリック操作に関してユーザの操作癖を学習し、その学習結果に基づいて「タップ判定値」、「フリック判定値」の値を増加するようにしている。
【0021】
ここで、フリック操作の直後(例えば、1秒以内)に逆方向への戻し操作(逆フリック操作)が行われた場合又は戻るボタン(図2参照)が操作された場合に、更にそれに引き続いてタップ操作が行われたときには、タップ操作をフリック操作と誤判定した場合であると判断して、「タップ判定値」を増加(例えば、+0.1)する。また、タップ操作の直後(例えば、1秒以内)に戻るボタン(図2参照)が操作された場合に、更にそれに引き続いてフリック操作が行われたときには、フリック操作をタップ操作と誤判定した場合であると判断して、「タップ判定値」を増加(例えば、+0.1)する。
【0022】
このように本実施形態においてデータ処理装置(タブレット端末装置)は、ユーザの属性(性別、年齢層、操作癖)を記憶する属性記憶手段(ユーザ情報テーブル3e、CPU1)と、ジェスチャ操作を検出する検出手段(CPU1、タッチ表示部6)と、ジェスチャ操作が行われた際に、この検出手段の検出結果と属性記憶手段に記憶されているユーザ属性とに基づいて、複数のジェスチャ操作種の中から操作されたジェスチャ操作種を判定する判定手段(CPU1)と、この判定手段が判定したジェスチャ操作種に応じた種類の処理を実行するデータ処理手段(CPU1)と、を備える構成となっている。
【0023】
次に、本実施形態におけるデータ処理装置(タブレット端末装置)の動作概念を図4図6に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。なお、図4図6は、タブレット端末装置の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図4図6のフローから抜けた際には、全体動作のメインフロー(図示省略)に戻る。
【0024】
図4及び図5は、画像表示処理が指定された際に実行開始されるフローチャートであり、この画像表示処理に先だって、電源オン時に入力されたユーザ情報又は生体情報に基づいて操作者(ユーザ)が特定されているものとする。
先ず、CPU1は、例えば、SDカードなどによって外部供給された各種の画像を表示対象として選択して(図4のステップA1)、それらの画像を読み込み(ステップA2)、縮小処理を行った後、タッチ表示部6にサムネイル表示する(ステップA3)。このサムネイル画面には、例えば、図2に示すように複数の画像が3行×2列のマトリックス状に配置表示されると共に、戻るボタンなどが配置される。このサムネイル画面上において、何らかの操作が行われたときには(ステップA4でYES)、その操作は戻るボタンなどのボタン操作であるかを調べ(ステップA5)、ボタン操作であれば(ステップA4でYES)、戻るボタンであるかを調べたり(ステップA6)、画像表示処理の終了を指示する終了ボタンであるかを調べたりする(ステップA8)。
【0025】
いま、戻るボタンが操作されたときには(ステップA6でYES)、直前の操作を取り消して元の状態とする戻し処理(ステップA7)を行った後、上述のステップA4に移るが、戻るボタン及び終了ボタン以外の他のボタンが操作されたときには(ステップA8でNO)、操作に応じた処理(例えば、ページ切替処理など)を行い(ステップA9)、その後、上述のステップA4に移る。また、終了ボタンであれば(ステップA8でYES)、図4及び図5のフローから抜ける。また、サムネイル画面上の操作がボタン操作でなければ、つまり、ジェスチャ操作であれば(ステップA5でNO)、図5のフローに移る。
【0026】
先ず、CPU1は、サムネイル画面上でジェスチャ操作が行われると、タッチパネル6bへの接触位置を検出すると共に、その接触位置に応じた信号の時間的変化に基づいて指などの移動方向、移動速度、移動量を検出したり、指などの接触が離れたことを検出したりしてジェスチャ操作の検出を行う(図5のステップA10)。そして、次のステップA11では、このジェスチャ操作の検出結果に基づいてジェスチャ操作の絞り込みを行い(タップ操作であるかフリック操作であるかの絞り込みを行い)、一つのジェスチャ操作種に絞り込めたかを調べる(ステップA12)。この場合、例えば、ジェスチャ操作の検出結果(操作パターン)が複数のジェスチャ操作種の操作パターンに特徴的に類似しているかを判別し、複数のジェスチャ操作種の操作パターンに類似していなければ、つまり、いずれか一つのジェスチャ操作種のみに類似しているときには、一つのジェスチャ操作種に絞り込むことができたものとして判断する。
【0027】
いま、ジェスチャ操作の検出結果(移動方向、移動速度、移動量など)から勢いの良いフリック操作などのようにジェスチャ操作種(操作パターン)の特徴が明確に検出され、一つのジェスチャ操作種に絞り込むことができたときには(ステップA12でYES)、次のステップA15に移る。この場合、その絞り込んだジェスチャ操作種がフリック操作であれば(ステップA15でYES)、フリック操作に応じてその操作方向へページを切り替るページめくり処理を実行し(ステップA16)、タップ操作であれば(ステップA15でNO)、タップ操作された位置の画像を選択する画像選択処理を実行する(ステップA17)。
【0028】
また、ジェスチャ操作の検出結果から一つのジェスチャ操作種に絞り込むことができなかった場合、つまり、ジェスチャ操作の検出結果(操作パターン)が複数のジェスチャ操作種の操作パターンに特徴的に類似していてジェスチャ操作の検出結果だけで一つのジェスチャ操作種に絞り込むと誤判定の可能性があるような場合には(ステップA12でNO)、「ユーザ属性」を参照した判定を行う(ステップA13〜A15)。すなわち、上述のようにして特定した操作者の「ユーザ属性」に基づいてユーザ情報テーブル3eを参照し(ステップA13)、その「ユーザ属性」に対応する「タップ判定値」、「フリック判定値」を比較し(ステップA14)、その判別値の大きい方のジェスチャ操作種に絞り込む(ステップA15)。
【0029】
なお、「タップ判定値」、「フリック判定値」の大小比較に応じてジェスチャ操作種の絞り込みを行う場合に限らず、「タップ判定値」、「フリック判定値」を重み付けして大小比較するなど、その比較の仕方は任意である。絞り込んだジェスチャ操作種がフリック操作であれば(ステップA15でYES)、フリック操作に応じてその操作方向へページを切り替るためのページめくり処理を実行し(ステップA16)、タップ操作であれば(ステップA15でNO)、タップ操作された位置の画像を選択する画像選択処理を実行する(ステップA17)。
【0030】
図6は、ユーザの操作癖学習処理を示したフローチャートであり、ジェスチャ操作が行われる毎に図4及び図5のフローチャートに並行して実行開始される。
先ず、CPU1は、ジェスチャ操作種の判定結果を取得し(ステップB1)、それがフリック操作であれば(ステップB2でYES)、そのフリック操作後、一定時間内(例えば、1秒以内)に他の操作が行われたか否かを調べる(ステップB3)。ここで、他の操作が行われなければ(ステップB3でNO)、図6のフローから抜けるが、他の操作が行われたときには(ステップB3でYES)、逆方向への戻し操作(逆フリック操作)が行われたかを調べたり(ステップB4)、戻るボタン(図2参照)が操作されたかを調べたりする(ステップB5)。
【0031】
いま、逆フリック操作、戻るボタン操作のいずれも行われなければ(ステップB5でNO)、図6のフローから抜けるが、そのいずれかの操作が行われたときには(ステップB4でYES又はステップB5でYES)、更に引き続いて一定時間内(例えば、1秒以内)に他の操作が行われたか否かを調べる(ステップB6)。ここで、一定時間内にタップ操作が行われたときには(ステップB7でYES)、タップ操作をフリック操作と誤判定した場合であると判断し、操作者の「ユーザ属性」に基づいてユーザ情報テーブル3eを参照して、対応する「タップ判定値」を増加(例えば、+0.1)する処理を行う(ステップB8)。
【0032】
なお、逆フリック操作又は戻るボタン操作に引き続いて一定時間内に他の操作が行われなかった場合(ステップB6でNO)又はその操作がタップ操作でなかった場合には(ステップB7でNO)、図6のフローから抜ける。このように所定時間内に戻し操作(逆フリック操作又戻るボタン操作)を含めて複数種の操作が連続して行われた場合に、その一連の操作の中で最初の操作を誤判定の操作として認識し、最後の操作を正常に判定した操作として学習するようにしている。
【0033】
また、判定されたジェスチャ操作種がタップ操作であれば(ステップB2でYES)、そのタップ操作後、一定時間内(例えば、1秒以内)に他の操作が行われたか否かを調べる(ステップB9)。ここで、他の操作が行われなければ(ステップB9でNO)、図6のフローから抜けるが、他の操作が行われたときには(ステップB9でYES)、その操作は戻るボタン(図2参照)であるかを調べ(ステップB10)、戻るボタンでなければ(ステップBでNO)、図6のフローから抜ける。
【0034】
ここで、戻るボタンが操作されたときには(ステップB10でYES)、この戻るボタン操作に引き続いて更に一定時間内に他の操作が行われたかを調べ(ステップB11)、他の操作が行われなければ(ステップB11でNO)、図6のフローから抜けるが、他の操作が行われたときには(ステップB11でYES)、その操作はフリック操作であるかを調べる(ステップB12)。いま、戻るボタンに引き続いてフリック操作が行われたときには(ステップB12でYES)、フリック操作をタップ操作と誤判定した場合であると判断し、操作者の「ユーザ属性」に基づいてユーザ情報テーブル3eを参照して、対応する「フリック判定値」を増加(例えば、+0.1)する処理を行う(ステップB13)。
【0035】
以下、ジェスチャ操作が行われる毎に操作癖学習処理を繰り返す結果、ユーザ情報テーブル3eの内容は、図3(2)に示すように、10〜20歳代の男性の、「タップ判定値」は、その初期値“1”が“1.6”に更新され、「フリック判定値」は、その初期値“0”がその初期値“1”が“0.2”に更新され、70歳の女性の、「タップ判定値」は、その初期値“1”が“0.1”に更新され、「フリック判定値」は、その初期値“1”が“1.8”に更新されて、操作癖が判定値に反映されることになる。
【0036】
以上のように、本実施形態におけるデータ処理装置(タブレット端末装置)は、ジェスチャ操作が行われた際に、そのジェスチャ操作の検出結果とユーザ情報テーブル3eに記憶されているユーザ属性とに基づいて、複数のジェスチャ操作種の中から操作されたジェスチャ操作種を判定し、この判定したジェスチャ操作種に応じた種類の処理を実行するようにしたので、ジェスチャ操作を検出してその操作に応じたデータ処理を行う場合に、そのジェスチャ操作を適切に判定することができ、操作性の向上に役立ち、ユーザにあっては意図に沿った操作が可能となる。
【0037】
ジェスチャ操作の検出結果に基づいて一つのジェスチャ操作種に絞り込めなかった場合に、ユーザ属性に応じて、いずれか一つのジェスチャ操作種を判定するようにしたので、全体的に適切な判定が可能となる。すなわち、ジェスチャ操作の検出結果(操作パターン)が複数のジェスチャ操作種の操作パターンに特徴的に類似していてジェスチャ操作の検出結果だけで一つのジェスチャ操作種に絞り込むと誤判定の可能性がある場合には、ユーザ属性を参照して判定を行うようにしたので、全体的に適切な判定が可能となる。
【0038】
ユーザ情報テーブル3eは、ユーザ属性に対応してジェスチャ操作種毎に優先的に判定するかを示す判定値を記憶し、CPU1は、ジェスチャ操作種毎の判定値を比較することによって、いずれか一つのジェスチャ操作種を判定するようにしたので、例えば、判定値の大小比較など、様々な方法でジェスチャ操作種の絞り込みが可能となる。
【0039】
CPU1は、ユーザ属性としてその性別、年齢層の複数の項目を記憶するようにしたので、ユーザの属性をきめ細かく設定することができ、ジェスチャ操作種をユーザ属性に応じて適切に判定することが可能となる。
【0040】
CPU1は、操作者に対してそのジェスチャ操作の操作癖を学習し、この操作癖をユーザ属性として記憶するようにしたので、ジェスチャ操作種を判定する際にユーザの操作癖を考慮することができ、より適切な判定が可能となる。
【0041】
CPU1は、所定時間内に戻し操作を含めて複数種の操作が連続して行われた場合に、その一連の操作の中で最初の操作を誤判定の操作として認識し、最後の操作を正常に判定した操作として学習するようにしたので、操作癖を適切に学習することが可能となる。
【0042】
CPU1は、ジェスチャ操作を行ったユーザを特定し、そのユーザ属性に基づいてジェスチャ操作種を判定するようにしたので、複数のユーザが共有して使用する環境でも対応することが可能となる。
【0043】
CPU1は、タッチ表示部6上の操作を検出した検出結果に応じてジェスチャ操作種を判定するようにしたので、タッチ表示部6上で行われるジェスチャ操作を判定することができる。
【0044】
CPU1は、タッチ表示部6上のジェスチャ操作種としてタップ操作、フリック操作のいずれかを判定するようにしたので、類似しているタップ操作、フリック操作を適切に判定することができる。
【0045】
なお、上述した実施形態においてユーザ情報テーブル3eは、ユーザ属性(性別及び年齢層)に対して「タップ判定値」、「フリック判定値」を記憶するようにしたが、性別に対応して「タップ判定値」、「フリック判定値」を記憶すると共に、年齢層に対応して「タップ判定値」、「フリック判定値」を記憶するようにしてもよい。この場合、性別を重視するのか年齢層を重視するのかに応じて、それらの判定値に対して重み付けをした後、重み付けした性別の「タップ判定値」と年齢層の「タップ判定値」との合計値を求めると共に、性別の「フリック判定値」と年齢層の「フリック判定値」の合計値を求め、それらの合計値を比較することによってジェスチャ操作種を判定するようにしてもよい。
【0046】
上述した実施形態においては、ジェスチャ操作種としてタップ操作、フリック操作のいずれかを判定するようにしたが、タップ操作、フリック操作以外にも、例えば、接触移動する操作(スライド操作:ドラッグ操作)、接触位置を固定して継続する操作(ホールド操作)、複数本の指で複数の表示位置を同時に接触する操作(ダブルタップ操作)、表示データの拡大を指示する操作(ピンチアウト操作)、表示データの縮小を指示する操作(ピンチイン操作)などをジェスチャ操作種として判定するようにしてもよい。
【0047】
上述した実施形態においては、ユーザ属性としてその性別、年齢層の複数の項目を記憶するようにしたが、ユーザの健康状態(身体の障害など)の項目をユーザ属性に含めるようにしてもよい。
【0048】
上述した実施形態においては、所定時間内に戻し操作を含めて複数種の操作が連続して行われた場合に、その一連の操作の中で最初の操作を誤判定の操作として認識し、最後の操作を正常に判定した操作として学習するようにしたが、これとは逆に、所定時間内に戻し操作を含めて複数種の操作が連続して行われた場合に、その一連の操作の中で最後の操作を正常に判定した操作として認識し、最初の操作を誤判定の操作として学習するようにしてもよい。
【0049】
上述した実施形態においては、タッチ表示部6上のジェスチャ操作を検出するようにしたが、ユーザの手振りや身振りを撮影する撮像デバイスを使用したりするようにしてもよい。すなわち、ジェスチャ操作を検出する手段は、撮像手段であってもよい。これによって多くのジェスチャ操作を検出することが可能となる。
【0050】
また、上述した実施形態においてはデータ処理装置としてタブレット端末装置に適用した場合を例示したが、データ処理装置は、これに限らず、パーソナルコンピュータ、PDA(個人向け携帯型情報通信機器)、携帯電話機、デジタルカメラ、音楽プレイヤーなどであってもよい。
【0051】
また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【0052】
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
ユーザの属性を記憶する属性記憶手段と、
ジェスチャ操作を検出する検出手段と、
前記ジェスチャ操作が行われた際に、前記検出手段の検出結果と前記属性記憶手段に記憶されているユーザ属性とに基づいて、複数のジェスチャ操作種の中から前記操作されたジェスチャ操作種を判定する判定手段と、
前記判定手段が判定したジェスチャ操作種に応じた種類の処理を実行するデータ処理手段と、
を備えることを特徴とするデータ処理装置である。
(請求項2)
請求項2に記載の発明は、請求項1に記載のデータ処理装置において、
前記判定手段は、前記検出手段の検出結果に基づいて一つのジェスチャ操作種に絞り込めなかった場合に、前記ユーザ属性に応じて、いずれか一つのジェスチャ操作種を判定する、
ようにしたことを特徴とするデータ処理装置である。
(請求項3)
請求項3に記載の発明は、請求項1又は請求項2に記載のデータ処理装置において、
前記属性記憶手段は、ユーザ属性に対応してジェスチャ操作種毎に優先的に判定するかの判定値を記憶し、
前記判定手段は、前記ジェスチャ操作種毎の判定値を比較することによって、いずれか一つのジェスチャ操作種を判定する、
ようにしたことを特徴とするデータ処理装置である。
(請求項4)
請求項4に記載の発明は、請求項1〜請求項3のいずれか1項に記載のデータ処理装置において、
前記属性記憶手段は、ユーザ属性として少なくともその性別、年齢層、健康状態のうち、その複数の項目を記憶する、
ようにしたことを特徴とするデータ処理装置である。
(請求項5)
請求項5に記載の発明は、請求項1〜請求項4のいずれか1項に記載のデータ処理装置において、
ジェスチャ操作の操作癖を学習する操作癖学習手段を更に備え、
前記属性記憶手段は、前記操作癖学習手段によって得られた操作癖をユーザの属性として記憶する、
ようにしたことを特徴とするデータ処理装置である。
(請求項6)
請求項6に記載の発明は、請求項5に記載のデータ処理装置において、
前記操作癖学習手段は、所定時間内に戻し操作を含めて複数種の操作が連続して行われた場合に、その一連の操作の中で最初の操作を誤判定の操作として学習又は最後の操作を正常に判定した操作として学習する、
ようにしたことを特徴とするデータ処理装置である。
(請求項7)
請求項7に記載の発明は、請求項1〜請求項6のいずれか1項に記載のデータ処理装置において、
前記検出手段が検出したジェスチャ操作を行ったユーザを特定する特定手段を更に備え、
前記判定手段は、前記特定手段が特定したユーザの属性に基づいてジェスチャ操作種を判定する、
ようにしたことを特徴とするデータ処理装である。
(請求項8)
請求項8に記載の発明は、請求項1〜請求項7のいずれか1項に記載のデータ処理装置において、
前記検出手段は、表示画面上での操作内容からジェスチャ操作を検出、あるいは撮像部によって撮影されたユーザの撮影画像からジェスチャ操作を検出する、
ようにしたことを特徴とするデータ処理装置である。
(請求項9)
請求項9に記載の発明は、請求項8に記載のデータ処理装置において、
前記判定手段は、前記表示画面上で行われたジェスチャ操作種としてタップ操作、フリック操作のいずれかを判定する、
ようにしたことを特徴とするデータ処理装置である。
(請求項10)
請求項10に記載の発明は、
コンピュータに対して、
ユーザの属性を記憶管理する機能と、
ジェスチャ操作を検出する機能と、
前記ジェスチャ操作が行われた際に、前記検出結果と前記記憶されているユーザ属性とに基づいて、複数のジェスチャ操作種の中から前記操作されたジェスチャ操作種を判定する機能と、
前記判定したジェスチャ操作種に応じた種類の処理を実行する機能と、
を実現させるためのプログラムである。
【符号の説明】
【0053】
1 CPU
3 記憶部
3a プログラムメモリ
3b データメモリ
3d 優先判定テーブル
3e ユーザ情報テーブル
4 操作部
6 タッチ表示部
図1
図2
図3
図4
図5
図6