【解決手段】タッチスクリーンに操作媒体が接触されるタッチ操作とタッチスクリーン上に前記操作媒体が非接触状態にあるホバリング状態を検出する検出部と、前記ホバリング状態が所定の時間以上継続され、かつ、当該ホバリング状態での前記操作媒体の移動量が第1の閾値以内であった場合、前記タッチスクリーンに表示される元の画像の少なくとも一部を拡大した拡大画像を生成し、前記拡大画像の少なくとも一部の領域を前記タッチスクリーンに拡大領域として表示させる表示処理部と、前記拡大領域に対する前記タッチ操作に基づいて、文字、数字、記号、図形、又は描画の入力を受け付ける入力部と、を備える、情報処理装置。
前記拡大領域変更部は、前記元の画像において前記拡大領域として表示される領域の位置を、前記操作媒体の移動速度及び前記元の画像の拡大率に基づいた速度で変更する、請求項5に記載の情報処理装置。
前記拡大領域変更部は、前記タッチスクリーンに前記拡大領域をオーバーレイさせる位置を変更することで前記拡大領域に表示される画像を変更する、請求項8に記載の情報処理装置。
前記拡大領域変更部は、前記拡大領域に表示させる画像をスクロールすることで前記拡大領域に表示される画像を変更する、請求項8又は請求項10に記載の情報処理装置。
前記拡大領域の表示中に、前記タッチスクリーンに対する前記操作媒体のタッチ操作により入力された情報を、前記拡大領域に表示する画像及び前記元の画像として描画する描画処理部、
をさらに備える、請求項1〜請求項11のいずれか1項に記載の情報処理装置。
前記表示処理部は、前記拡大領域の表示中に前記操作媒体が検出されなくなった場合、前記拡大領域を非表示にする、請求項1〜請求項12のいずれか1項に記載の情報処理装置。
前記表示処理部は、前記タッチスクリーンと前記操作媒体との距離に基づき、前記元の画像の拡大率を決定する、請求項1〜請求項13のいずれか1項に記載の情報処理装置。
前記表示処理部は、前記操作媒体の移動量が前記第1の閾値以内の状態で前記ホバリング状態が継続された時間に基づき、前記元の画像の拡大率を決定する、請求項1〜請求項13のいずれか1項に記載の情報処理装置。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
【0012】
<<1.情報処理装置の構成>>
本発明の実施形態に係る情報処理装置の構成について説明する。なお、本実施形態では、情報処理装置の一例として、タブレット端末について説明する。
【0013】
なお、本発明の実施形態に係る情報処理装置は、少なくともタッチスクリーンを備える端末であれば、タブレット端末に限定されない。例えば、情報処理装置は、タッチスクリーンを備えるノートPC(Personal Computer)、スマートフォン等の端末により実現されてもよい。また、情報処理装置は、タッチスクリーンを折り畳み可能な折り畳み式端末(Foldable Device)により実現されてもよい。なお、情報処理装置を実現する端末はかかる例に限定されない。
【0014】
また、情報処理装置が備えるタッチスクリーンの数は、特に限定されない。例えば、情報処理装置は、2つのディスプレイ(Dual Display)を有し、2つのディスプレイの一方がタッチスクリーンであってもよいし、2つのディスプレイの各々がタッチスクリーンであってもよい。
【0015】
<1−1.外部構成>
まず、
図1を参照して、タブレット端末1の外部構成の一例について説明する。
図1は、本発明の実施形態に係るタブレット端末1の外部構成の一例を示す図である。以下の説明において、タッチスクリーン14の長辺方向をX軸方向とし、タッチスクリーン14の短辺方向をY軸とし、タッチスクリーン14の表面に垂直な方向をZ軸方向として説明する。
【0016】
図1に示すように、タブレット端末1は、筐体2及びタッチスクリーン14を備える。タブレット端末1は、操作媒体によって操作される。なお、本実施形態では、操作媒体の一例として、タッチペン3について説明する。なお、操作媒体は、かかる例に限定されず、人の指であってもよい。
【0017】
筐体2は、タッチスクリーン14を備える筐体である。
図1に示すように、タッチスクリーン14は、各種情報の表示が可能な表示画面15と、タッチ操作の検出が可能なタッチパネル16とを含む入出力装置である。本実施形態では、タッチ操作は、タッチスクリーン14の表面にタッチペン3を接触させることで行われる。
【0018】
タッチペン3は、ペン型のポインティングデバイスである。タッチペン3は、例えば、タブレット端末1と通信可能な構成を有する。一例として、タッチペン3は、タッチペン3の独自のプロトコルを用いた通信によりタブレット端末1と通信を行う。プロトコルは、例えば、Wacom AES(Active Electro Static)である。タッチペン3は、Bluetooth(登録商標)等の近距離無線通信によりタブレット端末1と通信を行うようにしてもよい。タッチペン3とタブレット端末1との通信において、タッチペン3は、タッチペン3に関する多様な情報(以下、「操作媒体情報」とも称される)を含む信号をタブレット端末1へ送信する。
【0019】
操作媒体情報には、例えば、検出フラグ、接触フラグ、ペン先の座標、ペンの傾き角、及びペンの接触圧力が含まれる。
【0020】
検出フラグは、タッチペン3の検出の有無を示すフラグである。一例として、タッチペン3がタッチスクリーン14に近接した場合、及びタッチペン3のペン先がタッチスクリーン14に接触した場合には、検出フラグとして「1」が送信される。一方、タッチペン3がタッチスクリーン14に近接していない場合には、検出フラグとして「0」が送信される。
【0021】
本実施形態では、タッチペン3がタッチスクリーン14に近接しているか否かは、タッチスクリーン14上の電場や静電場の変動に基づき検出される。電場や静電場の変動は、タッチスクリーン14のセンサにより検出される。具体的に、当該センサは、タッチスクリーン14の表面から所定の距離において、タッチペンの近接による電場や静電場の変動を検出する。所定の距離は、例えば、10mmである。この場合、当該センサは、タッチスクリーン14の表面から10mm以内の距離に近づいたタッチペン3を検出することができる。
【0022】
接触フラグは、タッチペン3のペン先とタッチスクリーン14とが接触したか否かを示すフラグである。タッチペン3のペン先とタッチスクリーン14との接触は、例えば、タッチペン3が備える圧力センサが押されることで検出される。一例として、タッチペン3のペン先がタッチスクリーン14と接触した場合には、接触フラグとして「1」が送信される。一方、タッチペン3のペン先がタッチスクリーン14と接触していない場合には、接触フラグとして「0」が送信される。
【0023】
ペン先の座標は、タッチスクリーン14の表面におけるペン先の位置を示す。例えば、
図1に示すように、ペン先の座標は、(X,Y)と示される。なお、タッチペン3が検出されている際のペン先の座標は、ペン先とタッチスクリーン14とが接触しているか否かに関わらず、(X,Y)により示される。なお、ペン先の座標の範囲は、タッチスクリーン14のサイズに応じて決まる。
【0024】
ペンの傾き角は、タッチスクリーン14に対するタッチペン3の傾きを示す角度である。ペンの傾き角には、例えば、タッチペン3のX軸方向への傾きを示す角度と、タッチペン3のY軸方向への傾きを示す角度が含まれる。
【0025】
ペンの接触圧力は、タッチペン3とタッチスクリーン14とが接触した際にペン先にかかる圧力を示す。
【0026】
タブレット端末1は、タッチペン3から受信する信号に含まれる情報に基づき、タッチペン3に対して行われている操作を検出する。なお、検出方法の詳細については後述される。当該操作には、例えば、タッチ操作、移動操作、及び拡大操作が含まれる。
【0027】
タッチ操作は、タッチペン3のペン先をタッチスクリーン14の表面に接触させる操作である。タッチ操作が行われた場合、タブレット端末1は、タッチ操作に応じた情報をタッチスクリーン14に表示する。例えば、タッチ操作によりタッチスクリーン14上に「Hello」の文字が描画されると、タッチスクリーン14は、
図1に示すように「Hello」の文字をタッチスクリーン14の表示画面15に表示する。
【0028】
移動操作は、例えば、表示画面15に表示された画像の拡大表示を行う範囲を変更するためにタッチペン3を移動させる操作である。移動操作が行われた場合、タブレット端末1は、例えば、拡大表示を行う範囲の位置、大きさ、またはそれら両方を変更する。移動操作が行われるタッチペン3は、タッチスクリーンと非接触状態にある。なお、タッチペン3がタッチスクリーン14と非接触状態であり、かつ、タッチスクリーン14からタッチペン3が検出されている状態は、以下では、「ホバリング状態」とも称される。なお、ホバリング状態であるタッチペン3のペン先の座標が示す位置は、以下では、「ホバリング位置」とも称される。
【0029】
拡大操作は、例えば、タッチペン3をホバリング状態のまま一定時間以上動かさない操作である。拡大操作が行われた場合、タブレット端末1は、例えば、表示画面15に表示された画像の拡大表示を行う。
【0030】
<1−2.ハードウェア構成>
続いて、
図2を参照して、タブレット端末1のハードウェア構成の一例について説明する。
図2は、本実施形態に係るタブレット端末1のハードウェア構成の一例を示す図である。
【0031】
図2に示すように、タブレット端末1は、CPU11、メインメモリ12、GPU13、タッチスクリーン14、チップセット21、BIOSメモリ22、HDD23、オーディオシステム24、通信装置25、EC31、入力装置32、センサ装置33、及び電源回路34を備える。また、タッチスクリーン14は、表示画面15及びタッチパネル16を備える。
【0032】
CPU(Central Processing Unit)11は、プログラム制御により種々の演算処理を実行し、タブレット端末1全体を制御している。
【0033】
メインメモリ12は、CPU11の実行プログラムの読み込み領域として、又は、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ12は、例えば、複数個のDRAM(Dynamic Random Access Memory)チップで構成される。この実行プログラムには、OS、周辺機器類をハードウェア操作するための各種ドライバ、各種サービス/ユーティリティ、アプリケーションプログラム等が含まれる。
【0034】
GPU(Graphic Processing Unit)13は、CPU11の制御に基づいて画像処理を実行して表示データを生成する。GPU13は、表示画面15に接続されており、生成した表示データを表示画面15に出力する。
【0035】
タッチスクリーン14は、ビデオ信号に変換された表示データに応じた各種情報を表示画面15に表示すると共に、操作媒体によるタッチや、操作媒体の近接をタッチパネル16によって検出することで、操作媒体による操作入力を受け付ける。
【0036】
表示画面15は、例えば、液晶ディスプレイ等の表示装置である。なお、表示画面15は、折り曲げ可能(折り畳み可能)に構成されてもよい。
【0037】
タッチパネル16は、表示画面15の表示面に重ねて配置されている。タッチパネル16は、タッチペンや指など操作媒体のホバリング位置・タッチ位置等を検知する。なお、タッチパネル16は、表示画面15と一体に構成され、表示画面15と同様に、折り曲げ可能(折り畳み可能)に構成されてもよい。
【0038】
チップセット21は、USB(Universal Serial Bus)、シリアルATA(AT Attachment)、SPI(Serial Peripheral Interface)バス、PCI(Peripheral Component Interconnect)バス、PCI−Expressバス、及びLPC(Low Pin Count)バス等のコントローラを備えており複数のデバイスが接続される。
図2では、デバイスの例示として、BIOSメモリ22、HDD23、オーディオシステム24、通信装置25、及びEC31がチップセット21に接続されている。
【0039】
BIOS(Basic Input Output System)メモリ22は、例えば、EEPROM(Electrically Erasable Programmable Read Only Memory)やフラッシュROM(Read Only Memory)等の電気的に書き換え可能な不揮発性メモリで構成される。BIOSメモリ22は、BIOS、及びEC31等を制御するためのシステムファームウェア等を記憶する。
【0040】
HDD(Hard Disk Drive)23(不揮発性記憶装置の一例)は、OS、各種ドライバ、各種サービス/ユーティリティ、アプリケーションプログラム、及び各種データを記憶する。
【0041】
オーディオシステム24は、音データの記録、再生、出力を行う。オーディオシステム24には、例えば、マイクロフォン(以下、「マイク」とも称される)やスピーカが接続される。
【0042】
通信装置25は、無線または有線による通信ネットワークを介して他の機器と通信可能に接続し、各種のデータの送信および受信を行う。例えば、通信装置25は、イーサネット(登録商標)等の有線LANインターフェースやWi−Fi(登録商標)等の無線LANインターフェース等を含んで構成されている。なお、通信装置25は、USBインターフェースやBluetooth(登録商標)インターフェースを含んで構成されてもよい。
【0043】
EC(組込みコントローラ:Embedded Controller)31は、タブレット端末1のシステム状態に関わらず、各種デバイス(周辺装置やセンサ等)を監視し制御するワンチップマイクロコンピュータ(One-Chip Microcomputer)である。EC31は、不図示のCPU、ROM(Read only Memory)、RAM(Random Access memory)を備えている。EC31は、CPU15とは独立して動作して主としてタブレット端末1の内部の動作環境を管理する制御部として機能する。EC31は、予めROMに記憶された制御プログラムを読み出し、読み出した制御プログラムに記述された各種の命令で指示される処理を実行して各種の機能を実現する。
【0044】
また、EC31は、複数チャネルのA/D入力端子、D/A出力端子、タイマ、及びデジタル入出力端子等を備えている。EC31には、それらの入出力端子を介して、例えば、入力装置32、センサ装置33、及び電源回路34等が接続されており、EC31は、これらの動作を制御する。
【0045】
入力装置32は、例えば、マウス及びタッチパッド等のポインティングデバイスや、キーボード、などの入力デバイスである。また、入力装置32には、音声が入力されるマイクが含まれてもよい。
【0046】
センサ装置33は、例えば、近接センサを備える。一例として、近接センサは、静電容量センサであり、物体の接近を検出する。例えば、操作媒体が指である場合、タッチスクリーンに対する指の近接が当該静電容量センサにより検出される。具体的に、タッチスクリーン14上の静電容量がわずかに変化したことを検出した場合、静電容量センサは、指がタッチスクリーン14に近接していることを検出する。なお、タッチスクリーン14上の静電容量が急激に変化したことを検出した場合、静電容量センサは、指がタッチスクリーン14に接触したことを検出してもよい。なお、タッチスクリーンに対するタッチペン3の近接が当該近接センサにより検出されてもよい。
【0047】
電源回路34は、例えば、DC/DCコンバータ、充放電ユニット、電池ユニット、AC/DCアダプタ等を含んでおり、外部電源から、又はバッテリから供給される直流電圧を、タブレット端末1を動作させるために必要な複数の電圧に変換する。また、電源回路34は、EC31からの制御に基づいて、タブレット端末1の各部に電力を供給する。
【0048】
<1−3.機能構成>
続いて、
図3を参照して、タブレット端末1の機能構成の一例について説明する。
図3は、本実施形態に係るタブレット端末1の機能構成の一例を示すブロック図である。
図3に示すように、タブレット端末1は、通信部110、入力部120、制御部130、記憶部140、表示部150を備える。
【0049】
(1)通信部110
通信部110は、各種情報の送受信を行う機能を有する。当該機能は、例えば、
図2を参照して説明した通信装置25により実現される。通信部110は、例えば、タッチペン3から送信される操作媒体情報を含む信号を受信し、操作媒体情報を制御部130へ出力する。
【0050】
(2)入力部120
入力部120は、各種情報の入力を受け付ける機能を有する。当該機能は、例えば、
図2を参照して説明した、タッチスクリーン14、入力装置32、及びセンサ装置33等により実現される。入力部120は、例えば、操作媒体でタッチスクリーン14に入力(描画)される情報を受け付ける。本実施形態では、入力部120は、表示部150(表示画面15)に拡大表示された画面に対するタッチ操作に基づいて、文字、数字、記号、図形、又は任意の描画入力を受け付ける。また、入力部120は、入力装置32を操作して入力される情報を受け付ける。また、入力部120は、センサ装置33が取得した情報の入力を受け付ける。入力部120は、入力を受け付けた情報を制御部130へ出力する。
【0051】
(3)制御部130
制御部130は、タブレット端末1の動作全般を制御する機能を有する。当該機能は、例えば、
図2を参照して説明した、CPU11及びチップセット21等により実現される。
図3に示すように、制御部130は、検出部1302、表示処理部1304、拡大領域変更部1306、及び描画処理部1308を備える。
【0052】
(3−1)検出部1302
検出部1302は、タッチペン3に関する検出を行う機能を有する。例えば、検出部1302は、通信部110から入力される操作媒体情報に基づき、タッチペン3の検出、タッチペン3の状態の検出、及びタッチペン3に行われている操作等の検出を行う。検出部1302は、検出結果を表示処理部1304、拡大領域変更部1306、及び描画処理部1308の少なくともいずれかの処理部へ出力する。
【0053】
例えば、検出部1302は、操作媒体情報に含まれる検出フラグに基づき、タッチスクリーン14に近接しているタッチペン3を検出する。具体的に、検出フラグが「1」である場合、検出部1302は、当該操作媒体情報を送信したタッチペン3がタッチスクリーン14に近接していることを検出する。一方、検出フラグが「0」である場合、検出部1302は、当該操作媒体情報を送信したタッチペン3がタッチスクリーン14に近接していることを検出しない。
【0054】
また、検出部1302は、操作媒体情報に含まれる検出フラグ及び接触フラグに基づき、ホバリング状態を検出する。一例として、検出フラグが「1」かつ接触フラグが「0」であったとする。これは、タッチペン3がタッチスクリーン14から所定の距離内にあるが、タッチスクリーン14に接触していないことを示している。よって、検出フラグが「1」かつ接触フラグが「0」である場合、検出部1302は、タッチペン3をホバリング状態にあるタッチペン3として検出する。
【0055】
また、検出部1302は、操作媒体情報に含まれる検出フラグ及び接触フラグに基づき、タッチ操作を検出する。一例として、検出フラグが「1」かつ接触フラグが「1」であったとする。これは、タッチペン3がタッチスクリーン14から所定の距離内にあり、かつタッチスクリーン14に接触していることを示している。よって、検出フラグが「1」かつ接触フラグが「1」である場合、検出部1302は、タッチペン3をタッチ操作が行われているタッチペン3として検出する。
【0056】
また、検出部1302は、拡大表示が行われていない間、タッチペン3のホバリング位置がほぼ静止していることを検出した場合、タッチペン3により拡大操作が行われていることを検出する。一例として、拡大表示が行われていない状態で、タッチペン3のホバリング状態が継続している最中に、所定の単位時間あたりのタッチペン3の移動量が所定の第1の閾値以下である場合に、拡大操作であると検出する。より具体的な例は、タッチペン3のX、Y方向の移動量が所定の距離以下(例えば、+/−2mm)である状態が所定の単位時間(例えば1秒)以上継続される場合に、タッチペン3がホバリング状態のまま一定時間以上動かされていないことを示している。よって、所定の単位時間におけるホバリング位置の移動量が第1の閾値以内であった場合、検出部1302は、タッチペン3を拡大操作が行われているタッチペン3として検出する。
【0057】
拡大操作が行われているタッチペン3の検出条件には、ホバリング状態が一定時間以上継続しているか否かの条件が含まれている。これにより、ユーザが意図せずにタッチペン3の状態がホバリング状態となった場合に、意図しない拡大が行われることを防ぐことができる。また、拡大操作が行われているタッチペン3の検出条件には、ホバリング位置の移動量が第1の閾値以内であるか否かの条件が含まれている。これにより、ユーザがタッチスクリーン14の近傍で次の描画位置(例えば隣の文字の描画位置)にタッチペン3を移動している際に、意図しない拡大が行われることを防ぐことができる。
【0058】
また、検出部1302は、拡大表示が行われている最中に、タッチペン3のホバリング位置の移動量に基づき、拡大表示の範囲を変更させるための移動操作が行われているタッチペン3を検出する。一例として、拡大表示中におけるホバリング位置の移動量が第2の閾値(例えば15mm)以上であったとする。この場合、検出部1302は、タッチペン3を、移動操作が行われているタッチペン3として検出する。なお、拡大画面の表示中におけるホバリング位置の移動量としては、拡大表示されている範囲の所定の基点の座標から現在のホバリング位置の座標までの距離で定義される。基点としては、例えば、拡大表示されている範囲の中心点や頂点等の任意の予め定義された位置である。
【0059】
上述のように、移動操作が行われているタッチペン3の検出条件には、拡大表示中におけるホバリング位置の移動量が第2の閾値以上であったか否かの条件が含まれている。これにより、ユーザが描画位置を少し変える際(例えば隣の文字を描画する際)に、拡大表示された画面が意図せずに移動されることを防ぐことができる。
【0060】
なお、移動量は、ホバリング位置が所定の基点からXY平面上で移動した量の絶対値として算出される。
【0061】
(3−2)表示処理部1304
表示処理部1304は、表示部150に表示された画面の拡大表示に関する処理を行う機能を有する。例えば、表示処理部1304は、検出されたタッチペン3に拡大操作が行われている場合、表示部150に表示される元の画像(以下、「元画像」とも称される)の少なくとも一部を拡大した拡大画像を生成する。拡大画像は、元画像の一部を拡大した画像であってもよいし、元画像の全体を拡大した画像であってもよい。
【0062】
表示処理部1304は、生成した拡大画像の少なくとも一部の領域を表示部150に拡大領域として表示させる。表示処理部1304は、元画像の一部が拡大された拡大画像の一部の領域を表示部150に拡大領域として表示させてもよいし、元画像の一部が拡大された拡大画像の全体の領域を表示部150に拡大領域として表示させてもよい。また、表示処理部1304は、元画像の全体が拡大された拡大画像の一部の領域を表示部150に拡大領域として表示させてもよい。
【0063】
なお、拡大領域の大きさは、特に限定されない。拡大領域の大きさは、例えば、表示部150の大きさと同一であってもよいし、表示部150の大きさよりも小さくてもよい。
【0064】
表示処理部1304は、表示部150に拡大領域をオーバーレイさせて表示させる。オーバーレイ時、表示処理部1304は、表示部150の一部の領域に拡大領域をオーバーレイさせる。一例として、表示処理部1304は、表示部150に表示されている元画像の一部の領域に拡大領域をオーバーレイさせる。この場合、当該元画像は、表示部150の全体に表示されていてもよいし、表示部150の一部に表示されていてもよい。また、オーバーレイ時、表示処理部1304は、表示部150の領域全体に拡大領域をオーバーレイさせてもよい。一例として、表示処理部1304は、表示部150の領域全体に表示されている元画像の領域全体に拡大領域をオーバーレイさせる。なお、拡大領域に表示される画像の範囲はタッチペンの位置によって定まる。
【0065】
元画像及び拡大領域に表示される画像としては、後述する描画処理部1308の処理により、タッチペン3のタッチ操作により入力(描画)された情報(以下、「描画情報」とも称される)が描画される。元画像として描画情報が描画された場合、表示処理部1304は、描画情報が描画された元画像を拡大し、新しい拡大画像を生成する。そして、表示処理部1304は、生成した新しい拡大画像を元画像にオーバーレイすることで、拡大領域を表示させる。
【0066】
表示処理部1304は、拡大領域の表示中にタッチペン3が検出されなくなった場合、拡大領域を非表示にする。この時、表示処理部1304は、拡大領域を削除する。拡大領域は、元画像にオーバーレイして表示されている。そのため、拡大領域が非表示されると、表示部150には元画像だけが表示される。
【0067】
表示処理部1304は、例えば、拡大操作時のタッチスクリーン14からタッチペン3のペン先までの距離dに基づき、元画像の拡大率を決定してもよい。具体的に、距離dは、ペン先を通る直線がタッチスクリーン14の表面と垂直に交わる際の、ペン先とタッチスクリーン14の表面との間の当該直線の長さである。一例として、表示処理部1304は、距離dが短くなるほど拡大率を大きくし、距離dが長くなるほど拡大率を小さくする。また、表示処理部1304は、拡大操作が行われている時間の長さに基づき、元画像の拡大率を決定してもよい。一例として、表示処理部1304は、拡大操作を判定する際に、タッチペン3の移動量が所定の第1の閾値以下で継続している時間が長くなるほど拡大率を大きくし、当該時間が短くなるほど拡大率を小さくする。
【0068】
(3−3)拡大領域変更部1306
拡大領域変更部1306は、表示部150に表示された拡大領域の変更に関する処理を行う機能を有する。例えば、拡大領域変更部1306は、拡大領域の表示中に、ホバリング状態でタッチペン3が移動された場合、拡大領域を変更する。例えば、拡大領域の表示中に、ホバリング位置の移動量が第2の閾値以上となり、タッチペン3に対して移動操作が行われていると判定された場合、拡大領域変更部1306は、拡大領域を変更する。または、拡大領域の大きさを大きくしてもよい。
【0069】
拡大領域の変更の一例として、拡大領域変更部1306は、元画像において拡大領域として表示(オーバーレイ)される領域の位置を変更することで拡大領域に表示される画像を変更する。この場合、拡大領域変更部1306は、例えば、ホバリング位置が移動する方向と同一の方向に拡大領域の位置を移動する。これにより、拡大領域変更部1306は、ホバリング位置の移動方向にある画像を拡大領域に表示することができる。
【0070】
拡大領域の変更の他の一例として、拡大領域変更部1306は、拡大領域に表示させる画像をスクロールすることで拡大領域に表示される画像を変更する。この場合、拡大領域変更部1306は、ホバリング位置が移動する方向とは逆の方向に画像をスクロールする。これにより、拡大領域変更部1306は、ホバリング位置の移動方向にある画像を拡大領域に表示することができる。
【0071】
第2の閾値には、例えば、ユーザが通常の描画の際にペンを空中で動かす(例えば、隣の字を書くためにペン先をタッチディスプレイから離して移動させる)量よりも十分に大きな値が設定される。これにより、タッチペン3のペン先の移動に追従してユーザの意図しない拡大領域の位置や大きさの変更を防ぐことができる。
【0072】
なお、ホバリング位置の移動量が第2の閾値以上となった場合に、拡大領域変更部1306が拡大領域の変更を開始するタイミングは、特に限定されない。例えば、拡大領域変更部1306は、ホバリング位置の移動量が第2の閾値以上となった場合に、直ちに拡大領域の位置や大きさの変更を開始する。
【0073】
また、拡大領域変更部1306は、ホバリング位置の移動量が第2の閾値以上となってから、タッチペン3がホバリング状態で所定の時間以上静止(例えば移動量が2mm以内)した場合に、拡大領域の位置や大きさの変更を開始してもよい。これにより、ユーザは、拡大領域を変更させるために意図的にタッチペン3の移動を停止させる。よって、ユーザが意図しない拡大領域の変更を防ぐことができる。
【0074】
第2の閾値は、動的に変更されてよい。例えば、拡大領域変更部1306は、表示部150に表示された拡大領域に含まれるオブジェクトのサイズに基づき、第2の閾値を決定する。オブジェクトは、例えば、描画されている文字、数字、記号、図形等である。
【0075】
また、拡大領域の位置の移動速度や移動量、大きさの変更速度は、動的に変更されてよい。拡大領域の位置の移動速度の変更の一例として、拡大領域変更部1306は、元画像において拡大領域として表示される領域の位置を、タッチペン3の移動速度及び元画像の拡大率に基づいた移動速度で変更する。拡大領域の位置の移動量の変更の一例として、拡大領域変更部1306は、タッチペン3の移動速度及び元画像の拡大率に基づき、拡大領域の移動量を決定する。例えば、拡大領域変更部1306は、以下の式(1)に示すように、拡大領域の移動量に、元画像の拡大率との反比例の相関を与える。これにより、拡大領域変更部1306は、早すぎず、かつ遅すぎない拡大領域の移動を実現することができる。
拡大領域の移動量=定数×タッチペン3の移動量/拡大率 (1)
【0076】
なお、拡大領域の大きさがタッチスクリーン14の表示画面15の大きさよりも小さい場合、拡大領域を変更するか否かの判定は、タッチペン3のホバリング位置が拡大領域の外に出たか否かに基づき判定されてもよい。タッチペン3のホバリング位置が拡大領域の外縁よりも内側にオフセットした領域から出たか否かに基づき判定されてもよい。これらの判定は、第2の閾値が、タッチペン3の移動量を算出するための基点の位置と拡大領域の形状と大きさに基づいて定められることを意味する。
【0077】
(3−4)描画処理部1308
描画処理部1308は、表示部150に描画された描画情報に関する処理を行う機能を有する。例えば、描画処理部1308は、拡大領域の表示中に、表示部150に対するタッチペン3のタッチ操作により拡大領域に入力された描画情報を、拡大領域及び元画像の両方に描画する。
【0078】
ここで、
図4を参照して、元画像と拡大領域への描画の一例について説明する。
図4は、本実施形態に係る元画像と拡大領域への描画の一例を示す図である。
図4に示す例では、描画情報として「Hello」という文字が入力されている。
【0079】
まず、描画処理部1308は、拡大領域ZAに対して、「Hello」という文字を描画する。次いで、描画処理部1308は、元画像OIに対して、「Hello」という文字を描画する。この時、描画処理部1308は、元画像OIの中心点(X
ref,Y
ref)を基準として縮小した信号を元画像OIへ伝達し、元画像OIに文字を描画する。なお、元画像OIにおける文字の描画位置(X
org,Y
org)は、例えば、以下の式(2)及び式(3)により算出される。なお、座標(X
zoom,Y
zoom)は、拡大領域ZAに描画した文字の描画位置であり、zoom_ratioは元画像の拡大率である。
X
org=(X
zoom−X
ref)/zoom_ratio+X
ref (2)
Y
org=(Y
zoom−Y
ref)/zoom_ratio+Y
ref (3)
【0080】
(4)記憶部140
記憶部140は、各種情報を記憶する機能を有する。当該機能は、例えば、
図2を参照して説明した、メインメモリ12、BIOSメモリ22、及びHDD23等により実現される。例えば、記憶部140は、各種アプリケーション等のデータや、制御部130の処理において出力されるデータ等を記憶する。
【0081】
(5)表示部150
表示部150は、各種情報を表示する機能を有する。当該機能は、例えば、
図2を参照して説明したタッチスクリーン14の表示画面15により実現される。例えば、表示部150は、元画像及び拡大領域を表示する。
【0082】
<1−4.具体例>
続いて、
図5〜
図14を参照して、制御部130による処理の具体例について説明する。
【0083】
(1)第1の具体例
図5〜
図9を参照して、拡大領域がタッチスクリーン14の一部領域にオーバーレイされる例について説明する。
【0084】
(1−1)拡大領域の生成
まず、
図5を参照して、第1の具体例における拡大領域の生成の一例について説明する。
図5は、本実施形態に係る第1の具体例における拡大領域ZAの生成の一例を示す図である。
【0085】
図5の左図には、ホバリング位置H
1にて、タッチペン3に対する拡大操作が行われた例が示されている。
図5の左図に示すタッチスクリーン14には、元画像OIが表示されている。なお、
図5の左図に示す中心点DCは、タッチスクリーン14の中心点を示している。拡大操作が行われた場合、表示処理部1304は、ホバリング位置H
1を中心とする拡大領域を生成する。例えば、表示処理部1304は、元画像OIにおけるホバリング位置H
1を中心とする部分的な領域PAを拡大した拡大画像を、
図5の右図に示す拡大領域ZAとして生成する。なお、第1の具体例では、拡大領域ZAの大きさは、タッチスクリーン14の大きさよりも小さい。
【0086】
(1−2)拡大領域の表示
続いて、
図6を参照して、第1の具体例におけるタッチスクリーン14に対する拡大領域の表示の一例について説明する。
図6は、本実施形態に係る第1の具体例における拡大領域ZAの表示の一例を示す図である。
【0087】
拡大領域ZAの生成後、表示処理部1304は、拡大領域ZAをタッチスクリーン14に表示させる。例えば、
図6の左図に示すように、表示処理部1304は、生成した拡大領域ZAをタッチスクリーン14に表示されている元画像OIにオーバーレイさせる。この時、表示処理部1304は、拡大領域ZAの中心点ZACがホバリング位置H
1と一致するように、拡大領域ZAを元画像OIにオーバーレイさせる。このようにして、表示処理部1304は、
図6の右図に示すように、拡大領域ZAをタッチスクリーン14に表示することができる。
【0088】
(1−3)拡大領域の変更
続いて、
図7を参照して、第1の具体例におけるタッチスクリーン14に表示された拡大領域ZAの変更の一例について説明する。
図7は、本実施形態に係る第1の具体例における拡大領域ZAの変更の一例を示す図である。
【0089】
図7の左図には、タッチスクリーン14に表示されていた元画像OIに対して拡大領域ZAがオーバーレイされ、タッチスクリーン14に拡大領域ZAが表示されている例が示されている。拡大領域ZAの表示後、
図7の左図において、例えば、タッチペン3のホバリング位置が、拡大領域ZAの中心点ZACからホバリング位置H
2に移動したとする。この時、拡大領域ZAの中心点ZACの座標とホバリング位置H
2の座標との間の距離で表される、拡大領域を表示中のタッチペン3の移動量が第2の閾値以上であったとする。この場合、タッチペン3に対して移動操作が行われたと判定される。よって、拡大領域変更部1306は、
図7の右図に示すように、ホバリング位置H
2が移動後の拡大領域ZAの中心点ZACとなるように、拡大領域ZAの位置を移動する。なお、
図7の右図に示す例では、拡大領域ZAを移動させた直後を模式的に示している。
【0090】
(1−4)描画情報の描画
続いて、
図8を参照して、第1の具体例における拡大領域ZAに対する描画情報の描画の一例について説明する。
図8は、本実施形態に係る第1の具体例における拡大領域ZAにおける描画の一例を示す図である。
【0091】
図8の左図には、タッチスクリーン14に表示されていた元画像OIに対して拡大領域ZAがオーバーレイされ、タッチスクリーン14に拡大領域ZAが表示されている例が示されている。
図8の左図に示す拡大領域ZAに描画されている「o」の文字の後に「,I」という文字を描画することを示す描画情報が、タッチペン3によるタッチ操作でタッチスクリーン14(拡大領域ZA)に入力されたとする。この時、描画処理部1308は、
図8の右図に示すように、拡大領域ZAに描画されている「o」の文字の後に「,I」という文字を描画する。描画処理部1308は、図示しない元画像OIに対しても、「o」の文字の後に「,I」という文字を描画する。
【0092】
(1−5)拡大領域の非表示
最後に、
図9を参照して、第1の具体例におけるタッチスクリーン14に表示された拡大領域ZAの非表示の一例について説明する。
図9は、本実施形態に係る第1の具体例における拡大領域ZAの非表示の一例を示す図である。
【0093】
図9の左図には、タッチスクリーン14に表示されていた元画像OIに対して拡大領域ZAがオーバーレイされ、タッチスクリーン14に拡大領域ZAが表示されている例が示されている。
図9の左図に示すように、タッチスクリーン14に拡大領域ZAが表示された状態で、タッチペン3が検出されなくなったとする。この時、表示処理部1304は、拡大領域ZAを非表示にする。これにより、
図9の右図に示すように、タッチスクリーン14には、「o」の文字の後に「,I」が描画された元画像OIが表示される。
【0094】
(2)第2の具体例
図10〜
図14を参照して、拡大領域がタッチスクリーン14の全領域にオーバーレイされる例について説明する。
【0095】
(2−1)拡大領域の生成
まず、
図10を参照して、第2の具体例における拡大領域の生成の一例について説明する。
図10は、本実施形態に係る第2の具体例における拡大領域ZAの生成の一例を示す図である。
【0096】
図10の左図には、ホバリング位置H
1にて、タッチペン3に対する拡大操作が行われた例が示されている。
図10の左図に示すタッチスクリーン14には、元画像OIが表示されている。なお、
図10の左図に示す中心点DCは、タッチスクリーン14の中心点を示している。拡大操作が行われた場合、表示処理部1304は、ホバリング位置H
1を中心とする拡大領域を生成する。例えば、表示処理部1304は、元画像OIにおけるホバリング位置H
1を中心とする部分的な領域PAを拡大した拡大画像を、
図10の右図に示す拡大領域ZAとして生成する。なお、第2の具体例では、拡大領域ZAの大きさは、タッチスクリーン14の大きさと同一である。
【0097】
(2−2)拡大領域の表示
続いて、
図11を参照して、第2の具体例におけるタッチスクリーン14に対する拡大領域の表示の一例について説明する。
図11は、本実施形態に係る第2の具体例における拡大領域ZAの表示の一例を示す図である。
【0098】
拡大領域ZAの生成後、表示処理部1304は、拡大領域ZAをタッチスクリーン14に表示させる。例えば、
図11の左図に示すように、表示処理部1304は、生成した拡大領域ZAをタッチスクリーン14に表示されている元画像OIにオーバーレイさせる。このようにして、表示処理部1304は、
図11の右図に示すように、拡大領域ZAをタッチスクリーン14に表示することができる。
【0099】
(2−3)拡大領域の変更
続いて、
図12を参照して、第2の具体例におけるタッチスクリーン14に表示された拡大領域ZAの変更の一例について説明する。
図12は、本実施形態に係る第2の具体例における拡大領域ZAの変更の一例を示す図である。
【0100】
図12の左図には、タッチスクリーン14に表示されていた元画像OIに対して拡大領域ZAがオーバーレイされ、タッチスクリーン14に拡大領域ZAが表示されている例が示されている。拡大領域ZAの表示後、
図12の左図において、例えば、タッチペン3のホバリング位置が、拡大領域ZAの中心点ZACからホバリング位置H
2に移動したとする。この時、拡大領域ZAの中心点ZACの座標とホバリング位置H
2の座標との間の距離で表される、拡大領域を表示中のタッチペン3の移動量が第2の閾値以上であったとする。この場合、タッチペン3に対して移動操作が行われたと判定される。よって、拡大領域変更部1306は、
図12の右図に示すように、ホバリング位置H
2が移動後の拡大領域ZAの中心点ZACとなるように、拡大領域ZAに表示されている画像をスクロールすることで、拡大領域ZAに表示される画像を変更する。なお、
図12の右図に示す例では、拡大領域ZAに表示される画像をスクロールさせた直後を模式的に示している。
【0101】
(2−4)描画情報の描画
続いて、
図13を参照して、第2の具体例における拡大領域ZAに対する描画情報の描画の一例について説明する。
図13は、本実施形態に係る第2の具体例における拡大領域ZAにおける描画の一例を示す図である。
【0102】
図13の左図には、タッチスクリーン14に表示されていた元画像OIに対して拡大領域ZAがオーバーレイされ、タッチスクリーン14に拡大領域ZAが表示されている例が示されている。
図13の左図に示す拡大領域ZAに描画されている「o」の文字の後に「,I am」という文字を描画することを示す描画情報が、タッチペン3によるタッチ操作でタッチスクリーン14(拡大領域ZA)に入力されたとする。この時、描画処理部1308は、
図13の右図に示すように、拡大領域ZAに描画されている「o」の文字の後に「,I am」という文字を描画する。描画処理部1308は、図示しない元画像OIに対しても、「o」の文字の後に「,I am」という文字を描画する。
【0103】
(2−5)拡大領域の非表示
最後に、
図14を参照して、第2の具体例におけるタッチスクリーン14に表示された拡大領域ZAの非表示の一例について説明する。
図14は、本実施形態に係る第2の具体例における拡大領域ZAの非表示の一例を示す図である。
【0104】
図14の左図には、タッチスクリーン14に表示されていた元画像OIに対して拡大領域ZAがオーバーレイされ、タッチスクリーン14に拡大領域ZAが表示されている例が示されている。
図14の左図に示すように、タッチスクリーン14に拡大領域ZAが表示された状態で、タッチペン3が検出されなくなったとする。この時、表示処理部1304は、拡大領域ZAを非表示にする。これにより、
図14の右図に示すように、タッチスクリーン14には、「o」の文字の後に「,I am」が描画された元画像OIが表示される。
【0105】
<<2.処理の流れ>>
以上、情報処理装置の構成の一例について説明した。続いて、
図15を参照して、本実施形態に係るタブレット端末1における処理の流れの一例について説明する。
図15は、本実施形態に係るタブレット端末1における処理の流れの一例を示すフローチャートである。
【0106】
図15に示すように、タブレット端末1は、タッチペン3の検出処理を行う(S102)。検出処理後、タブレット端末1は、タッチペン3を検出したか否かを確認する(S104)。
【0107】
タッチペン3が検出されなかった場合(S104/NO)、タブレット端末1は、拡大領域が表示中か否かを確認する(S106)。
【0108】
拡大領域が表示中でない場合(S106/NO)、タブレット端末1は、S102から処理を繰り返す。一方、拡大領域が表示中である場合(S106/YES)、タブレット端末1は、拡大領域を非表示にし(S108)、S102から処理を繰り返す。
【0109】
タッチペン3が検出された場合(S104/YES)、タブレット端末1は、タッチペン3がホバリング状態であるか否かを確認する(S110)。
【0110】
タッチペン3がホバリング状態でない場合(S110/NO)、タブレット端末1は、タッチペン3をタッチ操作が行われているタッチペン3として検出し、描画処理を行う(S112)。
【0111】
タッチペン3がホバリング状態である場合(S110/YES)、タブレット端末1は、拡大領域が表示中であるか否かを確認する(S114)。
【0112】
拡大領域が表示中でない場合(S114/NO)、タブレット端末1は、タッチペン3に対して拡大操作が行われているか否かを確認する(S116)。
【0113】
拡大操作が行われていない場合(S116/NO)、タブレット端末1は、S102から処理を繰り返す。一方、拡大操作が行われている場合(S116/YES)、タブレット端末1は、拡大領域を表示し(S118)、S102から処理を繰り返す。
【0114】
拡大領域が表示中である場合(S114/YES)、タブレット端末1は、タッチペン3に対して移動操作が行われているか否かを確認する(S120)。
【0115】
移動操作が行われていない場合(S120/NO)、タブレット端末1は、S102から処理を繰り返す。一方、移動操作が行われている場合(S120/YES)、タブレット端末1は、拡大領域を変更し(S122)、S102から処理を繰り返す。
【0116】
<<3.変形例>>
以上、処理の流れの一例について説明した。続いて、本発明の実施形態の変形例について説明する。なお、以下に説明する変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の各実施形態で説明した構成に対して追加的に適用されてもよい。
【0117】
上述の実施形態では、タッチペン3をホバリング状態のまま一定時間以上動かさない操作が拡大操作である例について説明したが、かかる例に限定されない。例えば、タッチペン3をホバリング状態のまま一定時間以上動かさない操作が、画面を縮小表示する操作であってもよい。一例として、画面の拡大表示後に、タッチペン3をホバリング状態のまま一定時間以上動かさない操作が行われた場合、表示処理部1304は、拡大表示されている画面に対して、縮小表示を行ってもよい。
【0118】
以上説明したように、本実施形態に係るタブレット端末1は、タッチスクリーン14にタッチペン3が接触されるタッチ操作とタッチスクリーン14上にタッチペン3が非接触状態にあるホバリング状態を検出する。ホバリング状態が所定の時間以上継続され、かつ、当該ホバリング状態でのタッチペン3のホバリング位置の移動量が第1の閾値以内であったとする。この場合、タブレット端末1は、タッチペン3の位置に基づく位置の表示を拡大した拡大領域を生成し、生成した拡大領域の少なくとも一部の領域をタッチスクリーン14に表示させる。そして、タブレット端末1は、拡大領域に対するタッチ操作に基づいて、文字、数字、記号、図形、又は描画の入力を受け付ける。
【0119】
かかる構成により、タッチペン3を操作するユーザは、ホバリング状態のタッチペン3を一定時間以上動かさないという単純な操作により、タッチスクリーン14の画面を拡大表示させることができる。また、ユーザは、拡大表示のためにタッチペン3のホバリング位置を移動させる必要がないため、拡大前後での描画開始位置がずれることなく拡大表示を行うことができる。また、当該ユーザは、拡大表示された画面に対するタッチ操作により、文字、数字、記号、図形、又は描画等の入力を行うことができる。
【0120】
以上より、本実施形態では、タッチスクリーン14の画面を拡大表示して入力を行うための操作性を向上することができる。
【0121】
以上、本発明の実施形態について説明した。なお、上述した実施形態におけるタブレット端末1をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0122】
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
前記拡大領域の表示中に、前記タッチスクリーンに対する前記操作媒体のタッチ操作により入力された情報を、前記拡大領域に表示する画像及び前記元の画像として描画する描画処理部、
をさらに備える、請求項1〜請求項7のいずれか1項に記載の情報処理装置。
前記表示処理部は、前記操作媒体の移動量が前記第1の閾値以内の状態で前記ホバリング状態が継続された時間に基づき、前記元の画像の拡大率を決定する、請求項1〜請求項10のいずれか1項に記載の情報処理装置。
上述の課題を解決するために、本発明の一態様に係る情報処理装置は、タッチスクリーンに操作媒体が接触されるタッチ操作とタッチスクリーン上に前記操作媒体が非接触状態にあるホバリング状態を検出する検出部と、前記ホバリング状態が所定の時間以上継続され、かつ、当該ホバリング状態での前記操作媒体の移動量が第1の閾値以内であった場合、前記タッチスクリーンに表示される元の画像の少なくとも一部を拡大した拡大画像を生成し、前記拡大画像の少なくとも一部の領域を前記タッチスクリーンに拡大領域として表示させる表示処理部と、
本発明の一態様に係る情報処理方法は、検出部が、タッチスクリーンに操作媒体が接触されるタッチ操作とタッチスクリーン上に前記操作媒体が非接触状態にあるホバリング状態を検出することと、表示処理部が、前記ホバリング状態が所定の時間以上継続され、かつ、当該ホバリング状態での前記操作媒体の移動量が第1の閾値以内であった場合、前記タッチスクリーンに表示される元の画像の少なくとも一部を拡大した拡大画像を生成し、前記拡大画像の少なくとも一部の領域を前記タッチスクリーンに拡大領域として表示させることと、