▶ レノボ・シンガポール・プライベート・リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-09-27
(45)【発行日】2024-10-07
(54)【発明の名称】情報処理システム
(51)【国際特許分類】
G06F 3/03 20060101AFI20240930BHJP
G06F 3/041 20060101ALI20240930BHJP
G06F 3/01 20060101ALI20240930BHJP
【ＦＩ】
G06F3/03 400Z
G06F3/041 580
G06F3/01 560
【請求項の数】
3
(21)【出願番号】P 2024022881
(22)【出願日】2024-02-19
【審査請求日】2024-02-19
(73)【特許権者】
【識別番号】505205731
【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100206081
【弁理士】
【氏名又は名称】片岡 央
(72)【発明者】
【氏名】吉冨 圭一
【審査官】三田村 陽平
(56)【参考文献】
【文献】特許第７４０４５８４（ＪＰ，Ｂ１）
【文献】特開２０１１－２５３２６６（ＪＰ，Ａ）
【文献】国際公開第２０２３／１６３１１４（ＷＯ，Ａ１）
【文献】特開２０２０－２０４８１４（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０２５３４７８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０３
Ｇ０６Ｆ ３／０４１－ ３／０４７
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８－ ３／０４８９５
(57)【特許請求の範囲】
【請求項1】
ペン型入力デバイスの操作対象面に対する接触と、前記操作対象面上の検出限度距離内におけるペン型入力デバイスの存在との検出を行うセンサ部と、入力された音データに応じた音を出力する音出力部と、
前記センサ部によりペン型入力デバイスが前記検出限度距離内にて検出されることとなった第１状態が検出されたことに応じて前記音出力部に無音の音データを入力し、前記第１状態となった後において、前記センサ部によりペン型入力デバイスが操作対象面に接触した第２状態となったことに応じて前記音出力部に有音の音データを入力する音出力制御部と
を備える情報処理システム。
【請求項2】
前記音出力制御部は、前記センサ部により前記第２状態からペン型入力デバイスが操作対象面から離間する第３状態となったことに応じて、前記音出力部への音データの入力を停止させる請求項１に記載の情報処理システム。
【請求項3】
前記音出力制御部は、前記第２状態から前記第３状態となったタイミングから、当該第３状態が所定時間にわたって継続したことに応じて、前記音出力部への音データの入力を停止させる請求項２に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システムに関する。
【背景技術】
【0002】
対話型ディスプレイシステムに対する入力にあたり、触覚アクチュエータを駆動した振動を発生させることで触覚フィードバックが可能とされたペン状のスタイラス（ペン型入力デバイス）を入力装置として用いることが知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特表２０１７－５３７３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ペン型入力デバイスにて振動が発せられることで、例えば紙等の筆記媒体にペン先を滑らせているときの触感が疑似的に得られることから、ペン型入力デバイスを用いて入力しているユーザは、筆記媒体に筆記しているときに近い感覚を得ることができる。
【0005】
ペン型入力デバイスを用いた入力にあたっては、できるだけ実物の筆記媒体に筆記しているときの感覚に近いことが好ましいという側面がある。
そこで、本発明は、上記した課題を考慮して、ペン型入力デバイスを用いた入力にあたり、現実に筆記媒体に筆記しているときと同様の感覚が損なわれないようにすることを目的とする。
そこで、本発明は、上記した課題を考慮して、ペン型入力デバイスを用いた入力にあたり、現実に筆記媒体に筆記しているときと同様の感覚が損なわれないようにすることを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決する本発明の一態様は、ペン型入力デバイスの操作対象面に対する接触と、前記操作対象面上の検出限度距離内におけるペン型入力デバイスの存在との検出を行うセンサ部と、入力された音データに応じた音を出力する音出力部と、前記センサ部によりペン型入力デバイスが前記検出限度距離内にて検出されることとなった第１状態が検出されたことに応じて前記音出力部に無音の音データを入力し、前記第１状態となった後において、前記センサ部によりペン型入力デバイスが操作対象面に接触した第２状態となったことに応じて前記音出力部に有音の音データを入力する音出力制御部とを備える情報処理システムである。
【発明の効果】
【0007】
本発明によれば、ペン型入力デバイスを用いた入力にあたり、現実に筆記媒体に筆記しているときと同様の感覚が損なわれないようにできる。
【図面の簡単な説明】
【0008】
【図1】第１実施形態における情報処理システムの外観構成例を示す図である。
【図2】第１実施形態における情報処理装置とペン型入力デバイスとの触覚フィードバックに応じた機能構成例を示す図である。
【図3】第１実施形態における接触速度の検出手法例について説明する図である。
【図4】第１実施形態における情報処理装置とペン型入力デバイスとが触覚フィードバックに対応して実行する処理手順例を示すフローチャートである。
【図5】第２実施形態における接触速度の検出手法例について説明する図である。
【図6】第２実施形態における情報処理装置とペン型入力デバイスとが触覚フィードバックに対応して実行する処理手順例を示すフローチャートである。
【図7】第３実施形態における情報処理装置とペン型入力デバイスとの触覚・筆記音フィードバックに応じた機能構成例を示す図である。
【図8】第３実施形態におけるペン型入力デバイスが、触覚・筆記音フィードバックに対応して実行する処理手順例を示すフローチャートである。
【図9】第４実施形態における情報処理装置とペン型入力デバイスとの触覚・筆記音フィードバックに応じた機能構成例を示す図である。
【図10】第４実施形態におけるデータ入出力部を説明する図である。
【図11】第４実施形態における音出力部のレイテンシーを説明する図である。
【図12】第４実施形態における情報処理装置とペン型入力デバイスとが触覚・筆記音フィードバックに対応して実行する処理手順例を示すフローチャートである。
【発明を実施するための形態】
【0009】
＜第１実施形態＞
図１は、本実施形態の情報処理システムの外観構成例を示している。同図に示されるように、本実施形態の情報処理システムは、情報処理装置１００とペン型入力デバイス２００とを有する。
図１は、本実施形態の情報処理システムの外観構成例を示している。同図に示されるように、本実施形態の情報処理システムは、情報処理装置１００とペン型入力デバイス２００とを有する。
【0010】
情報処理装置１００は、ペン型入力デバイス２００による入力操作に応じて情報処理を実行可能とされる。同図の情報処理装置１００は、タブレット端末あるいはノート型パーソナルコンピュータ等とされた例を示している。
【0011】
情報処理装置１００は、タッチパネル表示部１０２を備える。タッチパネル表示部１０２は、タッチパネルと表示部とが組み合わされた部位である。タッチパネル表示部１０２は、表示面に画像を表示するとともに、表示面に対してペン型入力デバイスや指等の操作体を接触させることによる操作が可能とされる。
【0012】
ペン型入力デバイス２００は、ユーザが情報処理装置１００のタッチパネル表示部１０２におけるタッチパネルに対して操作を行うのに用いるペン型の入力デバイスである。
ユーザは、ペン型入力デバイス２００を把持し、ペン先をタッチパネル表示部１０２の表示面に接触させるようにして移動させることで、文字、絵、図形等の手書き入力の操作を行うようにされる。
ユーザは、ペン型入力デバイス２００を把持し、ペン先をタッチパネル表示部１０２の表示面に接触させるようにして移動させることで、文字、絵、図形等の手書き入力の操作を行うようにされる。
【0013】
なお、ペン型入力デバイス２００を用いた操作として、タッチパネル表示部１０２に表示されているユーザインターフェース画像に対するポインティング操作なども可能とされてよい。
【0014】
なお、本実施形態のタッチパネル表示部１０２におけるタッチパネルによるペン型入力デバイス２００の検出方式については特に限定されるものではないが、例えば静電容量方式や電磁誘導方式等を挙げることができる。以下の説明においては、静電容量方式が用いられる場合を例に挙げる。
【0015】
情報処理装置１００には、ペン型入力デバイス２００による入力操作に対応するアプリケーション（ペン操作対応アプリケーション）がインストールされている。
ペン操作対応アプリケーションは、例えばペン型入力デバイス２００のペン先をタッチパネル表示部１０２に対して接触させて行う文字入力、絵描き等の手書き入力操作に応じて描画した文字や絵をタッチパネル表示部１０２に表示したり、操作により描画された文字や絵をデータ化する処理などを実行可能とされてよい。
ペン操作対応アプリケーションは、例えばペン型入力デバイス２００のペン先をタッチパネル表示部１０２に対して接触させて行う文字入力、絵描き等の手書き入力操作に応じて描画した文字や絵をタッチパネル表示部１０２に表示したり、操作により描画された文字や絵をデータ化する処理などを実行可能とされてよい。
【0016】
また、本実施形態の情報処理システムにおいて、ペン型入力デバイス２００は、筆記に応じた操作（筆記操作）が行われているときに対応して、ペン型入力デバイス２００が振動する。このようなペン型入力デバイス２００の振動により、ユーザは、例えば紙等の筆記媒体に筆記しているときに近い触覚が感じられることとなり、実物の筆記具により筆記媒体に筆記しているときに近い感覚を得ることが可能となる。
【0017】
以降の説明において、ペン型入力デバイス２００により筆記操作が行われているときの振動発生については、「触覚フィードバック」とも呼ぶ。
【0018】
図２は、本実施形態の触覚フィードバックに応じた情報処理装置１００とペン型入力デバイス２００との機能構成例を示している。
まず、情報処理装置１００の機能構成例について説明する。同図に示される情報処理装置１００としての機能は、情報処理装置１００としてのハードウェアが備えるＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等がプログラムを実行することにより実現される。
同図の情報処理装置１００は、通信部１０１、タッチパネル表示部１０２、制御部１０３、記憶部１０４、および速度検出部１０５を備える。
まず、情報処理装置１００の機能構成例について説明する。同図に示される情報処理装置１００としての機能は、情報処理装置１００としてのハードウェアが備えるＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等がプログラムを実行することにより実現される。
同図の情報処理装置１００は、通信部１０１、タッチパネル表示部１０２、制御部１０３、記憶部１０４、および速度検出部１０５を備える。
【0019】
通信部１０１は、ペン型入力デバイス２００と無線通信を行う。通信部１０１が対応する無線通信の方式については特に限定されない。なお、通信部１０１は、有線によるペン型入力デバイス２００との通信に対応可能とされてもよい。
【0020】
タッチパネル表示部１０２は、表示部１２１とタッチパネル１２２（センサ部の一例）とが組み合わされたデバイスである。
表示部１２１は、制御部１０３の制御に応じて画像を表示する。
タッチパネル１２２は、表示部１２１の表示面に対応して設けられ、ペン型入力デバイス２００のペン先の位置を検出し、検出した位置の座標をペン操作情報として出力する。具体的に、静電容量方式のタッチパネル１２２は、パネル面（操作対象面の一例）に対するペン型入力デバイス２００のペン先の接触（または近接）により発生する静電容量を電極で検出することにより、パネル面におけるペン先の位置（座標）を検出してよい。
表示部１２１は、制御部１０３の制御に応じて画像を表示する。
タッチパネル１２２は、表示部１２１の表示面に対応して設けられ、ペン型入力デバイス２００のペン先の位置を検出し、検出した位置の座標をペン操作情報として出力する。具体的に、静電容量方式のタッチパネル１２２は、パネル面（操作対象面の一例）に対するペン型入力デバイス２００のペン先の接触（または近接）により発生する静電容量を電極で検出することにより、パネル面におけるペン先の位置（座標）を検出してよい。
【0021】
制御部１０３は、情報処理装置１００における各種の制御を実行する。制御部１０３は、ペン操作対応アプリケーションに対応する処理を実行するアプリケーション対応処理部１３１を備える。
ペン操作対応アプリケーションに対する操作としてペン型入力デバイス２００による筆記操作が行われているとき、タッチパネル１２２からアプリケーション対応処理部１３１にペン操作情報が入力される。アプリケーション対応処理部１３１は、入力されたペン操作情報が入力されたことに応じて、例えば描画などの処理を行う。
ペン操作対応アプリケーションに対する操作としてペン型入力デバイス２００による筆記操作が行われているとき、タッチパネル１２２からアプリケーション対応処理部１３１にペン操作情報が入力される。アプリケーション対応処理部１３１は、入力されたペン操作情報が入力されたことに応じて、例えば描画などの処理を行う。
【0022】
記憶部１０４は、情報処理装置１００に対応する各種の情報を記憶する。
【0023】
速度検出部１０５は、パネル面に対するペン型入力デバイス２００の接近、接触に応じてタッチパネル１２２にて発生する静電容量を示す検出信号に基づいて、ペン型入力デバイス２００のペン先がパネル面に接触する際の速度（接触速度）を検出する。
【0024】
なお、速度検出部１０５は、タッチパネル表示部１０２に備えられてもよいし、制御部１０３に備えられてもよい。
【0025】
次に、ペン型入力デバイス２００の機能構成例について説明する。同図に示されるペン型入力デバイス２００の機能は、例えばハードウェアとしてのペン型入力デバイス２００が備えるＭＣＵ（Micro Controller Unit）等のマイクロプロセッサにプログラムを実行させることにより実現されてよい。
【0026】
同図のペン型入力デバイス２００は、通信部２０１、振動部２０２、制御部２０４、および記憶部２０５を備える。
【0027】
通信部２０１は、情報処理装置１００の通信部１０１と通信可能に接続する。
【0028】
振動部２０２（アクチュエータ）は、ペン型入力デバイス２００を把持するユーザに筆記操作時の触覚を与えるために振動する部位である。振動部２０２は、振動制御部２４１により振動が制御される。
【0029】
制御部２０４は、ペン型入力デバイス２００における各種の制御を実行する。制御部２０４は、振動制御部２４１を備える。
【0030】
振動制御部２４１は、振動波形データ記憶部２５１が記憶する振動波形データに基づいて振動部２０２を振動させる。
【0031】
記憶部２０５は、ペン型入力デバイス２００が対応する各種の情報を記憶する。記憶部２０５は、振動波形データ記憶部２５１を備える。振動波形データ記憶部２５１は、振動波形データを記憶する。振動波形データは、ペン型入力デバイス２００に所望の振動状態を発生させるための振動波形を示すデータである。
【0032】
上記構成による本実施形態の情報処理システムのペン型入力デバイス２００は、触覚フィードバックを与えることができる。つまり、本実施形態のペン型入力デバイス２００は、タッチパネル表示部１０２（タッチパネル１２２）のパネル面にペン先が接触された状態で筆記に応じた操作が行われているときに対応して、振動するように動作可能とされる。このように筆記操作が行われているときにペン型入力デバイス２００が振動することで、実物の筆記具により筆記媒体に筆記しているときの感覚に近づけることが可能となる。
このような触覚フィードバックとして、例えば、ペン型入力デバイス２００がパネル面に接触するときの強度（接触強度）に応じて振動の強さを変更するといったように振動が制御できるようにすれば、さらに実物の筆記具により筆記媒体に筆記しているときの感覚に近づけることが可能となって好ましい。
このような触覚フィードバックとして、例えば、ペン型入力デバイス２００がパネル面に接触するときの強度（接触強度）に応じて振動の強さを変更するといったように振動が制御できるようにすれば、さらに実物の筆記具により筆記媒体に筆記しているときの感覚に近づけることが可能となって好ましい。
【0033】
そこで、本実施形態の情報処理システムにおいては、ユーザの操作によりペン型入力デバイス２００の先端（ペン先）がタッチパネル１２２のパネル面に接触する際の速度（パネル接触速度）を検出するようにされる。接触速度が高くなるにつれて接触強度も大きくなることから、接触速度と接触強度とは相関性を有する。従って、パネル接触速度は、タッチパネル１２２のパネル面に対するペン型入力デバイス２００の接触強度として扱うことが可能である。そこで、本実施形態のペン型入力デバイス２００は、タッチパネル１２２のパネル面に接触したタイミングで発する振動について、検出された接触速度に応じた強度で振動するようにされる。
【0034】
図３を参照して、本実施形態における接触速度の検出手法例について説明する。静電容量方式による本実施形態のタッチパネル１２２は、ペン型入力デバイス２００のペン先２１０がパネル面１２２１に接触していなくとも、パネル面１２２１から一定以内の検出可能範囲ｄ１内にペン先２１０が存在している状態では、静電容量の変化が生じることで、ペン先２１０の位置を検出し、検出信号を出力可能となる。また、静電容量は、検出可能範囲ｄ１内におけるペン先２１０のパネル面１２２１までの距離に応じて変化する。
【0035】
ユーザがペン型入力デバイス２００によりパネル面１２２１に筆記を始める際には、ペン型入力デバイス２００のペン先２１０をパネル面１２２１に接触させるようにする。図３は、ユーザがペン先２１０をパネル面１２２１に接触させようとしているときの時間経過に応じたペン先２１０とパネル面１２２１の位置関係の変化を示している。
【0036】
ユーザは、ペン型入力デバイス２００のペン先２１０をパネル面１２２１に接触させようとしているとき、ペン型入力デバイス２００のペン先２１０がパネル面１２２１に対して或る距離を隔てて離間していた状態からペン先２１０をパネル面１２２１に近づけていくようにされる。
【0037】
図３では、まず、ペン型入力デバイス２００が、パネル面１２２１に対して検出可能範囲ｄ１よりも離間した位置からパネル面１２２１に近づけられていったことにより、時刻ｔ１においてペン先２１０が検出可能範囲ｄ１にまで到達した。
また、本実施形態においては、速度検出対象範囲ｄ２が定められている。速度検出対象範囲ｄ２は、パネル面１２２１から検出可能範囲ｄ１よりも短い所定距離までの範囲である。
また、本実施形態においては、速度検出対象範囲ｄ２が定められている。速度検出対象範囲ｄ２は、パネル面１２２１から検出可能範囲ｄ１よりも短い所定距離までの範囲である。
【0038】
時刻ｔ１以降において、ペン型入力デバイス２００がパネル面１２２１に近づけられていくことにより、時刻ｔ２において、ペン先２１０が速度検出対象範囲ｄ２に到達した。タッチパネル１２２は、所定のサンプリングレートによりパネル面１２２１に対する操作を検出（サンプリング）するようにされている。時刻ｔ２でのサンプリングによるサンプリング番号は「ｍ」であった。サンプリング番号は、例えばサンプリングが１回行われるごとにインクリメントされるようにして付される番号である。このようにペン先２１０が速度検出対象範囲ｄ２に到達したタイミングに対応するサンプリング番号ｍは、ペン先２１０が速度検出開始位置に在るタイミングに対応するサンプリング番号となる。
【0039】
時刻ｔ２以降において、時刻ｔ３、ｔ４による時間経過として示すように、引き続きペン型入力デバイス２００のペン先２１０はパネル面１２２１に近づけられていくようにされる。この間、タッチパネル１２２にて発生する静電容量は、パネル面１２２１に対するペン先２１０の距離に応じて変化する。
【0040】
時刻ｔ４以降においても引き続きペン型入力デバイス２００のペン先２１０はパネル面１２２１に近づけられていくようにされ、時刻ｔ５においてペン先２１０がパネル面１２２１に接触した。このときのサンプリング番号は「ｎ」であった。速度検出部１０５は、ペン先２１０がパネル面１２２１に接触したか否かは、例えばペン先２１０がパネル面１２２１に接触した状態に対応して発生する静電容量が得られているか否かにより判定してよい。このようにペン先２１０がパネル面１２２１と接触したタイミングに対応するサンプリング番号ｎは、ペン先２１０が速度検出終了位置に在るタイミングに対応するサンプリング番号となる。
【0041】
速度検出部１０５は、ペン先２１０がパネル面１２２１に接触したことに応じて、ペン型入力デバイス２００の接触速度を検出する。速度検出部１０５は、接触速度について、速度検出対象範囲ｄ２をペン先２１０が速度検出対象範囲ｄ２を移動した時間（時刻ｔ２～時刻ｔ５の期間に相当）により除算して求めることができる。具体的に、速度検出部１０５は、例えば以下の式１により接触速度Ｖを算出してよい。式１において、ｓｒはサンプリングレート、ｍは速度検出開始位置に対応するサンプリング番号、ｎは速度検出終了位置に対応するサンプリング番号である。
Ｖ＝ｄ２×ｓｒ／（ｎ－ｍ）・・・（式１）
Ｖ＝ｄ２×ｓｒ／（ｎ－ｍ）・・・（式１）
【0042】
なお、タッチパネル１２２は、例えばペン先２１０が検出可能範囲ｄ１あるいは速度検出対象範囲ｄ２において存在していることが検出されている状態においては、ペン先２１０が検出されていないときに設定されているサンプリングレートよりも高い所定のサンプリングレートに変更されてよい。このようにサンプリングレートが変更されることに応じて、サンプリング番号ｍのサンプリングタイミングと実際にペン先２１０が速度検出開始位置に到達したタイミングとの誤差、およびサンプリング番号ｎのサンプリングタイミングと実際にペン先２１０がパネル面１２２１に接触したタイミングとの誤差を小さくすることが可能となる。このようにタイミングの誤差が小さくなることで、検出される接触速度の精度も向上させることが可能となる。
【0043】
図４のフローチャートを参照して、本実施形態の情報処理装置１００とペン型入力デバイス２００とが触覚フィードバックに対応して実行する処理手順例について説明する。
【0044】
まず、情報処理装置１００が実行する処理手順例から説明する。
ステップＳ１００：情報処理装置１００において速度検出部１０５は、タッチパネル１２２によるペン先２１０の検出が開始されるのを待機する。速度検出部１０５は、図３の時刻ｔ１のように、ペン先２１０が検出可能範囲ｄ１に到達したことに応じてタッチパネル１２２にて静電容量が発生し、発生した静電容量に応じた検出信号の出力が開始されたことに応じて、ペン先２１０の検出が開始されたと判定してよい。
ステップＳ１００：情報処理装置１００において速度検出部１０５は、タッチパネル１２２によるペン先２１０の検出が開始されるのを待機する。速度検出部１０５は、図３の時刻ｔ１のように、ペン先２１０が検出可能範囲ｄ１に到達したことに応じてタッチパネル１２２にて静電容量が発生し、発生した静電容量に応じた検出信号の出力が開始されたことに応じて、ペン先２１０の検出が開始されたと判定してよい。
【0045】
ステップＳ１０２：速度検出部１０５は、タッチパネル１２２によるペン先２１０の検出が開始されたことに応じて、タッチパネル１２２のサンプリングレートを高くするように変更する。つまり、同図の処理では、ペン先２１０が検出可能範囲ｄ１において存在している状態に応じてサンプリングレートの変更が行われるようにされた例が示されている。
【0046】
ステップＳ１０４：ステップＳ１０２の処理の後、速度検出部１０５は、ペン先２１０からパネル面１２２１までの距離（ペン先・パネル間距離）が速度検出対象範囲ｄ２未満となるのを待機する。つまり、速度検出部１０５は、図３における時刻ｔ１に対応する状態から、時刻ｔ２に対応する状態となるのを待機する。
なお、ステップＳ１０４にて待機しているときに、ペン先・パネル間距離が速度検出対象範囲ｄ２未満となることなく、ペン先２１０が検出可能範囲ｄ１の外に位置する状態に戻る場合がある。このような場合には、ステップＳ１０２により変更したサンプリングレートをデフォルト状態に戻したうえで、同図の処理を終了してよい。
なお、ステップＳ１０４にて待機しているときに、ペン先・パネル間距離が速度検出対象範囲ｄ２未満となることなく、ペン先２１０が検出可能範囲ｄ１の外に位置する状態に戻る場合がある。このような場合には、ステップＳ１０２により変更したサンプリングレートをデフォルト状態に戻したうえで、同図の処理を終了してよい。
【0047】
ステップＳ１０６：速度検出部１０５は、ペン先・パネル間距離が速度検出対象範囲ｄ２未満となったタイミングに応じて実行されたサンプリングを示すサンプリング番号ｍを取得する。サンプリング番号ｍは、速度検出開始位置に対応するサンプリング番号となる。
【0048】
ステップＳ１０８：次に、速度検出部１０５は、ペン先２１０がパネル面１２２１に接触するのを待機する。
なお、ステップＳ１０８にて待機しているときに、ペン先２１０がパネル面１２２１に接触することなく、検出可能範囲ｄ１の外に位置する状態に戻る場合がある。このような場合には、ステップＳ１０２により変更したサンプリングレートをデフォルト状態に戻したうえで、同図の処理を終了してよい。
なお、ステップＳ１０８にて待機しているときに、ペン先２１０がパネル面１２２１に接触することなく、検出可能範囲ｄ１の外に位置する状態に戻る場合がある。このような場合には、ステップＳ１０２により変更したサンプリングレートをデフォルト状態に戻したうえで、同図の処理を終了してよい。
【0049】
ステップＳ１１０：速度検出部１０５は、ペン先２１０がパネル面１２２１に接触したことが判定されたタイミングに応じて実行されたサンプリングを示すサンプリング番号ｎを取得する。サンプリング番号ｎは、速度検出終了位置に対応するサンプリング番号となる。
【0050】
ステップＳ１１２：速度検出部１０５は、ステップＳ１０６により取得した速度検出開始位置に対応のサンプリング番号ｍと、ステップＳ１１０により取得した速度検出終了位置に対応のサンプリング番号ｎを利用して、例えば式１により接触速度を算出する。
【0051】
ステップＳ１１４：速度検出部１０５は、ステップＳ１１２にて算出した接触速度を、通信部１０１によりペン型入力デバイスに送信させる。
【0052】
次に、ペン型入力デバイス２００が実行する処理手順例について説明する。
ステップＳ２００：ペン型入力デバイス２００において通信部２０１は、ステップＳ１１４により情報処理装置１００から送信された接触速度を受信する。
ステップＳ２００：ペン型入力デバイス２００において通信部２０１は、ステップＳ１１４により情報処理装置１００から送信された接触速度を受信する。
【0053】
ステップＳ２０２：ペン型入力デバイス２００において振動制御部２４１は、ステップＳ２００により受信された接触速度に基づいて、ペン先２１０がパネル面１２２１に接触したタイミングに応じてペン型入力デバイス２００を振動させる際の振動強度を設定する。
【0054】
ステップＳ２０４：振動制御部２４１は、振動波形データ記憶部２５１が記憶する振動波形データを用いて、ステップＳ２０２により設定した振動強度により振動部２０２を駆動させる。このように振動部２０２が振動されることで、ペン型入力デバイス２００は、ペン先２１０がパネル面１２２１に接触したタイミングで、接触強度に応じた強度で振動する。
ユーザは、例えばペン型入力デバイス２００のペン先２１０をパネル面１２２１に接触させた後において、パネル面１２２１に接触させた状態のままペン先２１０を移動させる筆記操作を行うことができる。この場合、同図においては対応の処理は示されていないが、ペン先２１０の移動に応じた触覚フィードバックがペン型入力デバイス２００に与えられる。
ユーザは、例えばペン型入力デバイス２００のペン先２１０をパネル面１２２１に接触させた後において、パネル面１２２１に接触させた状態のままペン先２１０を移動させる筆記操作を行うことができる。この場合、同図においては対応の処理は示されていないが、ペン先２１０の移動に応じた触覚フィードバックがペン型入力デバイス２００に与えられる。
【0055】
＜第２実施形態＞
続いて、第２実施形態について説明する。ユーザが、いったん、ペン型入力デバイス２００のペン先２１０をパネル面１２２１に接触させた後において筆記操作を行っている際に、ペン先２１０を少しだけパネル面１２２１から離間させてから再度パネル面１２２１に接触させるような場合がある。この場合、ペン先２１０は、速度検出対象範囲ｄ２未満の範囲において、パネル面１２２１からいったん離間してからパネル面１２２１に接触するような場合がある。このような場合、ペン先２１０が検出可能範囲ｄ１の外にまで移動せずにパネル面１２２１に接触することから、図４の処理手順例では、ステップＳ１０６以降の処理が実行されないこととなり、接触速度を検出することができない。
そこで、本実施形態においては、速度検出対象範囲ｄ２未満の範囲内でのペン先２１０の移動に応じて適切に接触速度が検出可能なようにされる。
続いて、第２実施形態について説明する。ユーザが、いったん、ペン型入力デバイス２００のペン先２１０をパネル面１２２１に接触させた後において筆記操作を行っている際に、ペン先２１０を少しだけパネル面１２２１から離間させてから再度パネル面１２２１に接触させるような場合がある。この場合、ペン先２１０は、速度検出対象範囲ｄ２未満の範囲において、パネル面１２２１からいったん離間してからパネル面１２２１に接触するような場合がある。このような場合、ペン先２１０が検出可能範囲ｄ１の外にまで移動せずにパネル面１２２１に接触することから、図４の処理手順例では、ステップＳ１０６以降の処理が実行されないこととなり、接触速度を検出することができない。
そこで、本実施形態においては、速度検出対象範囲ｄ２未満の範囲内でのペン先２１０の移動に応じて適切に接触速度が検出可能なようにされる。
【0056】
図５を参照して、速度検出対象範囲ｄ２未満の範囲内でのペン先２１０の移動に応じた接触速度の検出手法例について説明する。
例えば、図５の時刻ｔ１１は、図３の時刻ｔ５によりペン先２１０が接触した状態から或る時間を経過したタイミングである。時刻ｔ５から時刻ｔ１１の期間においては、ペン先２１０はパネル面１２２１に接触した状態が維持されている。なお、時刻ｔ５から時刻ｔ１１の期間においては、例えば筆記操作によりペン先２１０がパネル面１２２１上で移動されていてもよい。
時刻ｔ１１において、ユーザは、ペン先２１０をパネル面１２２１から離間させ始める。時刻ｔ１１から時刻ｔ１２を経過し時刻ｔ１３に至るまでの期間は、ペン先２１０がパネル面１２２１に対して離間していく方向（離間方向）に移動されており、パネル面１２２１に対する距離（離間距離）が時間経過に応じて徐々に大きくなっていく。速度検出部１０５においては、タッチパネル１２２はパネル面１２２１からペン先２１０までの距離に応じて発生する静電容量の変化を示す検出信号に基づいて、パネル面１２２１からペン先２１０までの距離が把握されている。
例えば、図５の時刻ｔ１１は、図３の時刻ｔ５によりペン先２１０が接触した状態から或る時間を経過したタイミングである。時刻ｔ５から時刻ｔ１１の期間においては、ペン先２１０はパネル面１２２１に接触した状態が維持されている。なお、時刻ｔ５から時刻ｔ１１の期間においては、例えば筆記操作によりペン先２１０がパネル面１２２１上で移動されていてもよい。
時刻ｔ１１において、ユーザは、ペン先２１０をパネル面１２２１から離間させ始める。時刻ｔ１１から時刻ｔ１２を経過し時刻ｔ１３に至るまでの期間は、ペン先２１０がパネル面１２２１に対して離間していく方向（離間方向）に移動されており、パネル面１２２１に対する距離（離間距離）が時間経過に応じて徐々に大きくなっていく。速度検出部１０５においては、タッチパネル１２２はパネル面１２２１からペン先２１０までの距離に応じて発生する静電容量の変化を示す検出信号に基づいて、パネル面１２２１からペン先２１０までの距離が把握されている。
【0057】
時刻ｔ１３に至って、ユーザは、これまでのペン先２１０の移動方向を反転させ、ペン先２１０をパネル面１２２１に接近させる方向（接近方向）に移動させ始めた。時刻ｔ１３以降においてペン先２１０はパネル面１２２１に接近していくように移動し、時刻ｔ１４を経過して時刻ｔ１５に至ってパネル面１２２１に接触する。
このようなペン先２１０の動きに対応して、速度検出部１０５は、速度検出対象範囲ｄ２未満の範囲にて、時刻ｔ１３にてペン先２１０の移動方向が離間方向から接近方向に反転したと判定する。速度検出部１０５は、ペン先２１０の移動方向が離間方向から接近方向に反転したタイミングで、速度検出開始位置に対応するサンプリング番号ｍを取得する。また、速度検出部１０５は、時刻ｔ１５においてペン先２１０がパネル面１２２１に接触したタイミングで、速度検出終了位置に対応するサンプリング番号ｎを取得する。速度検出部１０５は、このように取得したサンプリング番号ｍ、ｎと、ペン先２１０の移動方向が離間方向から接近方向に反転した時刻ｔ１３におけるペン先２１０とパネル面１２２１との距離とを利用して、式１により接触速度を算出する。このようにして、本実施形態の速度検出部１０５は、速度検出対象範囲ｄ２未満の範囲内でペン先２１０がパネル面１２２１に接触する際の接触速度を検出することが可能とされる。
このようなペン先２１０の動きに対応して、速度検出部１０５は、速度検出対象範囲ｄ２未満の範囲にて、時刻ｔ１３にてペン先２１０の移動方向が離間方向から接近方向に反転したと判定する。速度検出部１０５は、ペン先２１０の移動方向が離間方向から接近方向に反転したタイミングで、速度検出開始位置に対応するサンプリング番号ｍを取得する。また、速度検出部１０５は、時刻ｔ１５においてペン先２１０がパネル面１２２１に接触したタイミングで、速度検出終了位置に対応するサンプリング番号ｎを取得する。速度検出部１０５は、このように取得したサンプリング番号ｍ、ｎと、ペン先２１０の移動方向が離間方向から接近方向に反転した時刻ｔ１３におけるペン先２１０とパネル面１２２１との距離とを利用して、式１により接触速度を算出する。このようにして、本実施形態の速度検出部１０５は、速度検出対象範囲ｄ２未満の範囲内でペン先２１０がパネル面１２２１に接触する際の接触速度を検出することが可能とされる。
【0058】
図６のフローチャートを参照して、本実施形態の情報処理装置１００が接触速度の検出に対応して実行する処理手順例について説明する。
同図において、ステップＳ３００～Ｓ３１４の処理は、図４のステップＳ１００～Ｓ１１４と同様となる。
同図において、ステップＳ３００～Ｓ３１４の処理は、図４のステップＳ１００～Ｓ１１４と同様となる。
【0059】
ステップＳ３１６：ステップＳ３００～Ｓ３１４の処理によって、図３に示したように、検出可能範囲ｄ１より外から移動されたペン先がパネル面１２２１に接触したことによる接触速度の検出と送信が行われる。接触速度の送信に応じて、図４のステップＳ２００～Ｓ２０４の処理が実行されることで、ペン型入力デバイス２００がパネル面１２２１に接触したタイミングで接触速度に応じた強度で振動するように触覚フィードバックが与えられる。
そのうえで、本実施形態においては、ステップＳ３１４の処理が実行されると、速度検出部１０５は、その後のユーザの筆記操作のもとで、ペン先・パネル間距離が速度検出対象範囲ｄ２以上となったか否かを判定する。
そのうえで、本実施形態においては、ステップＳ３１４の処理が実行されると、速度検出部１０５は、その後のユーザの筆記操作のもとで、ペン先・パネル間距離が速度検出対象範囲ｄ２以上となったか否かを判定する。
【0060】
ステップＳ３１８：ペン先・パネル間距離が速度検出対象範囲ｄ２未満にある状態のもとで、速度検出部１０５は、図５の時刻ｔ１３として例示したように、ペン先２１０の移動方向が離間方向から近接方向に反転したか否かを判定する。
ペン先２１０の移動方向が離間方向から近接方向に反転していないと判定した場合にはステップＳ３１６に処理が戻される。
ペン先２１０の移動方向が離間方向から近接方向に反転していないと判定した場合にはステップＳ３１６に処理が戻される。
【0061】
ステップＳ３２０：ステップＳ３１８にてペン先２１０の移動方向が離間方向から近接方向に反転したと判定された場合、速度検出部１０５は、当該近接方向に反転したタイミングに応じてタッチパネル１２２にて実行されたサンプリングを示すサンプリング番号ｍを、速度検出開始位置に対応するものとして取得する。
【0062】
ステップＳ３２２：ステップＳ３２０の処理の後、速度検出部１０５は、ペン先２１０がパネル面１２２１に接触するのを待機する。この場合にも、図４のステップＳ１０８と同様に、当該ステップＳ３２２にて待機しているときに、ペン先２１０がパネル面１２２１に接触することなく、検出可能範囲ｄ１の外に位置する状態に戻った場合には、ステップＳ３０２により変更したサンプリングレートをデフォルト状態に戻したうえで、同図の処理を終了してよい。
そして、ペン先２１０がパネル面１２２１に接触すると、速度検出部１０５は、ステップＳ３１０に処理を戻すようにされる。この場合、速度検出部１０５がステップＳ３１０～Ｓ３１４の処理を実行することで、ペン先・パネル間距離が速度検出対象範囲ｄ２未満の状態のもとでペン先２１０がパネル面１２２１に接触した際の接触速度が検出され、検出された接触速度がペン型入力デバイス２００に送信される。ペン型入力デバイス２００は、送信された接触速度に対応してステップＳ２００～Ｓ２０４（図４）の処理を実行する。これにより、ペン型入力デバイス２００は、ペン先２１０がパネル面１２２１に接触したタイミングで、ペン先２１０がパネル面１２２１に接触したときの強度に応じて振動するようにされる。
そして、ペン先２１０がパネル面１２２１に接触すると、速度検出部１０５は、ステップＳ３１０に処理を戻すようにされる。この場合、速度検出部１０５がステップＳ３１０～Ｓ３１４の処理を実行することで、ペン先・パネル間距離が速度検出対象範囲ｄ２未満の状態のもとでペン先２１０がパネル面１２２１に接触した際の接触速度が検出され、検出された接触速度がペン型入力デバイス２００に送信される。ペン型入力デバイス２００は、送信された接触速度に対応してステップＳ２００～Ｓ２０４（図４）の処理を実行する。これにより、ペン型入力デバイス２００は、ペン先２１０がパネル面１２２１に接触したタイミングで、ペン先２１０がパネル面１２２１に接触したときの強度に応じて振動するようにされる。
【0063】
ステップＳ３２４：ステップＳ３１６にてペン先・パネル間距離が速度検出対象範囲ｄ２以上になったと判定された場合、速度検出部１０５は、タッチパネル１２２にてペン先２１０の検出が終了したか否かを判定する。ペン先２１０が検出可能範囲ｄ１の外に位置する状態となって、パネル面１２２１にて静電容量が発生せず、静電容量に応じた検出信号が出力されない状態となった場合に、ペン先２１０の検出が終了したと判定される。
ペン先２１０の検出が終了していないと判定された場合には、ステップＳ３１６に処理が戻される。
ペン先２１０の検出が終了したと判定された場合には、同図の処理が終了される。同図の処理の終了に際しては、ステップＳ３０２にて変更されたタッチパネル１２２のサンプリングレートはデフォルト状態に戻される。
ペン先２１０の検出が終了していないと判定された場合には、ステップＳ３１６に処理が戻される。
ペン先２１０の検出が終了したと判定された場合には、同図の処理が終了される。同図の処理の終了に際しては、ステップＳ３０２にて変更されたタッチパネル１２２のサンプリングレートはデフォルト状態に戻される。
【0064】
＜第３実施形態＞
続いて、第３実施形態について説明する。本実施形態の情報処理システムにおいて、ペン型入力デバイス２００は、触覚フィードバックによる振動に加えて、筆記操作が行われているときに対応して、実物の筆記具により筆記媒体に筆記している場合に生じる音（筆記音）を出力可能とされる。このようにペン型入力デバイス２００を用いた筆記操作に応じた筆記音を出力することについては、「筆記音フィードバック」とも呼ぶ。
このように筆記音フィードバックが行われることで、ペン型入力デバイス２００を用いてタッチパネル１２２に筆記しているときに、実物の筆記具により筆記媒体に筆記しているときの感覚にさらに近づけることが可能となる。
続いて、第３実施形態について説明する。本実施形態の情報処理システムにおいて、ペン型入力デバイス２００は、触覚フィードバックによる振動に加えて、筆記操作が行われているときに対応して、実物の筆記具により筆記媒体に筆記している場合に生じる音（筆記音）を出力可能とされる。このようにペン型入力デバイス２００を用いた筆記操作に応じた筆記音を出力することについては、「筆記音フィードバック」とも呼ぶ。
このように筆記音フィードバックが行われることで、ペン型入力デバイス２００を用いてタッチパネル１２２に筆記しているときに、実物の筆記具により筆記媒体に筆記しているときの感覚にさらに近づけることが可能となる。
【0065】
図７は、本実施形態の触覚・筆記音フィードバックに応じた情報処理装置１００とペン型入力デバイス２００との機能構成例を示している。同図において、図２と同一部分には同一符号を付して説明を省略し、主として図２との相違点について説明する。
同図において、情報処理装置１００の構成は図２と同様である。
同図において、情報処理装置１００の構成は図２と同様である。
【0066】
同図のペン型入力デバイス２００は、音出力部２０３を備える。また、同図のペン型入力デバイス２００は、制御部２０４において音出力制御部２４２を備え、記憶部２０５において筆記音データ記憶部２５２を備える。
音出力部２０３は、例えばスピーカを備え、音出力制御部２４２の制御に応じて筆記音を出力する。なお、音出力部２０３は、例えば電子音や音声等の音も出力可能とされてよい。
音出力制御部２４２は、筆記音データ記憶部２５２が記憶する筆記音データとしてのオーディオデータを音出力部２０３に入力することで、音出力部２０３から筆記音を出力させる。
筆記音データ記憶部２５２は、筆記音データを記憶する。筆記音データは、筆記音を再現するように作成されたオーディオデータである。
音出力部２０３は、例えばスピーカを備え、音出力制御部２４２の制御に応じて筆記音を出力する。なお、音出力部２０３は、例えば電子音や音声等の音も出力可能とされてよい。
音出力制御部２４２は、筆記音データ記憶部２５２が記憶する筆記音データとしてのオーディオデータを音出力部２０３に入力することで、音出力部２０３から筆記音を出力させる。
筆記音データ記憶部２５２は、筆記音データを記憶する。筆記音データは、筆記音を再現するように作成されたオーディオデータである。
【0067】
【0068】
図８のフローチャートは、本実施形態のペン型入力デバイス２００が、触覚・筆記音フィードバックに対応して実行する処理手順例を示している。
ステップＳ４００：ペン型入力デバイス２００において通信部２０１は、図４のステップＳ１１４もしくは図６のステップＳ３１４により情報処理装置１００から送信された接触速度を受信する。
ステップＳ４００：ペン型入力デバイス２００において通信部２０１は、図４のステップＳ１１４もしくは図６のステップＳ３１４により情報処理装置１００から送信された接触速度を受信する。
【0069】
ステップＳ４０２：ペン型入力デバイス２００において振動制御部２４１は、ステップＳ４００により受信された接触速度に基づいて、ペン先２１０がパネル面１２２１に接触したタイミングに応じてペン型入力デバイス２００を振動させる際の振動強度を設定する。
【0070】
ステップＳ４０４：また、音出力制御部２４２は、ステップＳ４００により受信された接触速度に基づいて、ペン先２１０がパネル面１２２１に接触したタイミングに応じてペン型入力デバイス２００から出力させる筆記音の音量（筆記音量）を設定する。
【0071】
ステップＳ４０６：振動制御部２４１は、振動波形データ記憶部２５１が記憶する振動波形データを用いて、ステップＳ４０２により設定した振動強度により振動部２０２を駆動させる。
【0072】
ステップＳ４０８：また、音出力制御部２４２は、筆記音データ記憶部２５２が記憶する筆記音データを用いて、ステップＳ４０４により設定した筆記音量により音出力部２０３から筆記音を出力させる。
同図においては対応の処理は示されていないが、パネル面１２２１に接触した状態のペン先２１０の移動に応じて、触覚・筆記音フィードバックがペン型入力デバイス２００に与えられてよい。
同図においては対応の処理は示されていないが、パネル面１２２１に接触した状態のペン先２１０の移動に応じて、触覚・筆記音フィードバックがペン型入力デバイス２００に与えられてよい。
【0073】
なお、音出力部２０３と音出力制御部２４２としての機能は、情報処理装置１００に備えられることで、筆記音フィードバックが情報処理装置にて行われるようにされてよい。
【0074】
本実施形態の変形例として、情報処理装置１００のアプリケーション対応処理部１３１は、速度検出部１０５が検出した接触速度に基づいて、筆記操作に応じた描画を行ってよい。具体的には、例えば筆記具として筆のようなものを使用して筆記操作に応じた描画を行うようにされている場合において、接触速度が所定以上の場合には、筆が強い勢いで筆記媒体に接触されたことにより、インク（さらに塗料、墨等）などが筆記媒体上で飛び散るような描画が行われるようにされてよい。
【0075】
なお、上記各実施形態において、ペン先２１０がパネル面１２２１に接触したタイミングでの触覚フィードバックは、接触速度に応じて振動強度を変更するほか、振動時間、振動波形等も変更するようにされてよい。
【0076】
＜第４実施形態＞
続いて、第４実施形態について説明する。本実施形態においては、筆記音フィードバックとして、ペン型入力デバイス２００における筆記音の出力と併せて、情報処理装置１００においても筆記音を出力可能に構成される。
このように情報処理装置１００が筆記音を出力可能とされることで、情報処理装置１００による筆記音の出力とペン型入力デバイス２００における筆記音の出力とが同時に行われることとなって、筆記音量を増加させることが可能となり、十分な筆記音量での筆記音フィードバックを容易に実現できる。また、情報処理装置１００による筆記音の出力では、筆記音量を変更することも容易となることから、例えば物の筆記具により筆記媒体に筆記しているときの感覚に近くなるように、あるいはユーザの好みに沿うように筆記音量を調整することも可能となる。
また、情報処理装置１００が筆記音を出力可能とされることで、筆記音フィードバックの機能を有さないペン型入力デバイスをユーザが使用している場合であっても、ペン型入力デバイスの振動による触覚フィードバックと情報処理装置１００による筆記音フィードバックとによる触覚・筆記音フィードバックを実現することができる。
続いて、第４実施形態について説明する。本実施形態においては、筆記音フィードバックとして、ペン型入力デバイス２００における筆記音の出力と併せて、情報処理装置１００においても筆記音を出力可能に構成される。
このように情報処理装置１００が筆記音を出力可能とされることで、情報処理装置１００による筆記音の出力とペン型入力デバイス２００における筆記音の出力とが同時に行われることとなって、筆記音量を増加させることが可能となり、十分な筆記音量での筆記音フィードバックを容易に実現できる。また、情報処理装置１００による筆記音の出力では、筆記音量を変更することも容易となることから、例えば物の筆記具により筆記媒体に筆記しているときの感覚に近くなるように、あるいはユーザの好みに沿うように筆記音量を調整することも可能となる。
また、情報処理装置１００が筆記音を出力可能とされることで、筆記音フィードバックの機能を有さないペン型入力デバイスをユーザが使用している場合であっても、ペン型入力デバイスの振動による触覚フィードバックと情報処理装置１００による筆記音フィードバックとによる触覚・筆記音フィードバックを実現することができる。
【0077】
以下の本実施形態の説明においては、ペン型入力デバイスも筆記音フィードバックの機能を有するように構成された場合を例に挙げる。また、以下の本実施形態の説明では、先の各実施形態における接触速度に応じて振動強度、筆記音量を変更する機能は省略した構成を例に挙げる。
【0078】
図９は、実施形態の触覚・筆記音フィードバックに応じた情報処理装置１００とペン型入力デバイス２００との機能構成例を示している。同図において、図７と同一部分には同一符号を付して説明を省略し、主として図７との相違点について説明する。
【0079】
同図の情報処理装置１００においては、音出力部１０６が備えられる。音出力部１０６は、例えば音声回路とスピーカとを備え、フィードバック制御部１３２（音出力制御部の一例）の制御に応じて筆記音を出力する。なお、音出力部１０６は、例えば電子音や音声等の音も出力可能とされてよい。
【0080】
また、本実施形態の情報処理装置１００の制御部１０３においては、フィードバック制御部１３２（音出力制御部の一例）が備えられる。フィードバック制御部１３２は、触覚・筆記音フィードバックに対応する制御を実行する。具体的に、フィードバック制御部１３２は、ペン型入力デバイス２００における触覚・筆記音フィードバックとの開始と終了とを制御する。また、フィードバック制御部１３２は、筆記音データ記憶部１４１が記憶する筆記音データとしてのオーディオデータを音出力部１０６に入力することで、音出力部１０６から筆記音を出力させるようにして、情報処理装置１００における筆記音フィードバックの制御を実行する。
【0081】
図１０は、音出力部１０６の内部回路において備えられるキュー１６１を示したものである。キュー１６１は、音データＡＤを入力し、例えばＦＩＦＯ(First-In-First-Out)により出力するようにされる。音出力部１０６において、キュー１６１から出力された音データは、例えばＤ／Ａ変換によりアナログの音信号に変換され、増幅回路により増幅されてスピーカから音として出力されてよい。
【0082】
説明を図９に戻す。また、本実施形態の情報処理装置１００の記憶部１０４においては、筆記音データ記憶部１４１が備えられる。筆記音データ記憶部１４１は、筆記音データを記憶する。
【0083】
本実施形態におけるペン型入力デバイス２００の構成は、図７と同様である。
【0084】
また、本実施形態の情報処理装置１００においては、同図に示されるように、図７において備えられていた速度検出部１０５は省略されてよい。
【0085】
本実施形態の情報処理装置１００において備えられる音出力部１０６は、消費電力の節減のため、音出力の処理を実行していないときにはスリープモードとなるようにされている。つまり、音出力部１０６は、音データが入力されていないときにはスリープ状態に設定され、音データが入力されることに応じてスリープ状態から起動して動作状態となり、音出力の処理を開始するようにされる。
【0086】
図１１は、音データの入力に応じた音出力部１０６の状態遷移例を示している。
音出力部１０６がスリープ状態にあるときに音データが入力された場合には、まず、ウォームアップによる待機時間（ウォームアップ期間Ｔｗ）が生じる。次に、ウォームアップ期間Ｔｗを経過すると、音出力部１０６における信号処理に応じた待機時間（システム遅延期間Ｔｓ）が生じる。システム遅延期間Ｔｓが経過して音の出力が開始される。つまり、音出力部１０６がスリープ状態のときに音データが入力された場合には、入力された音データに応じた音が出力されるまでに、ウォームアップ期間Ｔｗとシステム遅延期間Ｔｓとによるレイテンシー（遅延）が発生する。
一方、音出力部１０６がスリープ状態から起動した動作状態にあるときに音データが入力された場合には、ウォームアップ期間Ｔｗは生じない。この場合には、システム遅延期間Ｔｓを経て音の出力が開始される。つまり、音出力部１０６が動作状態のときに音データが入力された場合には、入力された音データに応じた音が出力されるまでに、システム遅延期間Ｔｓによるレイテンシー（遅延）が発生する。
このように、音データが入力されたタイミングから当該入力された音データに応じた音が出力されるまでに生じるレイテンシーは、動作状態のときよりスリープ状態のときのほうが長くなる。
音出力部１０６がスリープ状態にあるときに音データが入力された場合には、まず、ウォームアップによる待機時間（ウォームアップ期間Ｔｗ）が生じる。次に、ウォームアップ期間Ｔｗを経過すると、音出力部１０６における信号処理に応じた待機時間（システム遅延期間Ｔｓ）が生じる。システム遅延期間Ｔｓが経過して音の出力が開始される。つまり、音出力部１０６がスリープ状態のときに音データが入力された場合には、入力された音データに応じた音が出力されるまでに、ウォームアップ期間Ｔｗとシステム遅延期間Ｔｓとによるレイテンシー（遅延）が発生する。
一方、音出力部１０６がスリープ状態から起動した動作状態にあるときに音データが入力された場合には、ウォームアップ期間Ｔｗは生じない。この場合には、システム遅延期間Ｔｓを経て音の出力が開始される。つまり、音出力部１０６が動作状態のときに音データが入力された場合には、入力された音データに応じた音が出力されるまでに、システム遅延期間Ｔｓによるレイテンシー（遅延）が発生する。
このように、音データが入力されたタイミングから当該入力された音データに応じた音が出力されるまでに生じるレイテンシーは、動作状態のときよりスリープ状態のときのほうが長くなる。
【0087】
例えば、情報処理装置１００における筆記音の出力処理において、ペン型入力デバイス２００のペン先がタッチパネル表示部１０２のパネル面１２２１に接触したことが検出されたタイミングで音データを音出力部１０６に入力させてもよい。しかしながら、このような構成では、音出力部１０６は、音データが入力されたタイミングでスリープ状態から起動することになる。この場合、音出力部１０６に入力された音データに応じた音は、ウォームアップ期間Ｔｗとシステム遅延期間Ｔｓとによる比較的長い遅延を経てから出力されることになる。この場合、ユーザは、ペン型入力デバイス２００のペン先をタッチパネル表示部１０２のパネル面１２２１に接触させてからある程度遅れたタイミングで筆記音を聞くことになる可能性がある。筆記音の出力によっては、現実に筆記媒体に筆記しているときと同様の感覚をユーザに体験させることができるが、上記のような筆記音の遅延が生じることによっては、このような感覚が損なわれることになる。
【0088】
そこで、本実施形態の情報処理装置１００のフィードバック制御部１３２は、以下のようにして筆記音の出力の開始に対応する制御（音出力開始制御）を実行することで、音出力部１０６から出力される筆記音の遅延を短縮するようにされる。
図３を再度参照して、本実施形態における音開始制御について説明する。ユーザは、ペン型入力デバイス２００を使用して筆記を開始しようとする際には、ペン型入力デバイス２００のペン先を、検出可能範囲ｄ１（検出限度距離の一例）の外の位置からパネル面１２２１に近づけていくようにされる。そして、ペン型入力デバイス２００のペン先がパネル面１２２１に近づいていく過程で、ペン先が検出可能範囲ｄ１到達すると、タッチパネル１２２にてペン先の検出が開始される。
図３を再度参照して、本実施形態における音開始制御について説明する。ユーザは、ペン型入力デバイス２００を使用して筆記を開始しようとする際には、ペン型入力デバイス２００のペン先を、検出可能範囲ｄ１（検出限度距離の一例）の外の位置からパネル面１２２１に近づけていくようにされる。そして、ペン型入力デバイス２００のペン先がパネル面１２２１に近づいていく過程で、ペン先が検出可能範囲ｄ１到達すると、タッチパネル１２２にてペン先の検出が開始される。
【0089】
ペン先の検出が開始されたことに応じて情報処理装置１００のフィードバック制御部１３２は、音出力開始制御として、音出力部１０６のキュー１６１に対する無音データの入力を開始する。無音データは、例えば音量レベルがゼロによる無音に対応する音データである。
無音データが入力されることで、音出力部１０６は、これまでのスリープ状態から起動し、図１１に示したウォームアップ期間Ｔｗからの動作を開始する。
無音データが入力されることで、音出力部１０６は、これまでのスリープ状態から起動し、図１１に示したウォームアップ期間Ｔｗからの動作を開始する。
【0090】
上記のようにペン先の検出が開始されたタイミングからある時間を経過すると、ペン型入力デバイスのペン先がパネル面１２２１に接触する状態となる。このようにペン先がパネル面１２２１に接触したことがタッチパネル１２２にて検出されると、フィードバック制御部１３２は、キュー１６１に入力する音データを、これまでの無音データから、筆記音データ記憶部１４１が記憶する筆記音データ（有音データの一例）に切り替える。
【0091】
このように無音データから筆記音データに切り替えが行われることで、ペン型入力デバイス２００のペン先がパネル面１２２１に接触するよりも前のタイミングから音出力部１０６を起動させることができる。このため、ペン先がパネル面１２２１に接触したタイミングでは、音出力部１０６は、ウォームアップ期間Ｔｗとシステム遅延期間Ｔｓとによる遅延時間を経過して音出力が可能な状態となっている場合がある。この場合、音出力部１０６は、ペン先がパネル面１２２１に接触したタイミングで入力された筆記音データについて遅延時間を経ることなく筆記音として出力する。この結果、ユーザの感覚としては、ペン先がパネル面１２２１に接触したタイミングで情報処理装置１００から出力される筆記音を聞くことができるので、ほぼ遅延を感じることがない。
また、ペン先がパネル面１２２１に接触したタイミングでは、まだ音出力部１０６は、ウォームアップ期間Ｔｗとシステム遅延期間Ｔｓとによる遅延時間を経過していない可能性もある。しかしながら、ペン先がパネル面１２２１に接触したタイミングでは、既にある程度の遅延時間（ウォームアップ期間Ｔｗとシステム遅延期間Ｔｓ）を経過していることから、短い遅延時間を経て筆記音を出力することができる。この場合、筆記音は、ペン先がパネル面１２２１に接触したタイミングから或る程度の遅延時間を経過してから出力されるものの、遅延時間としては短いことから、ユーザの聴感上では、ほとんど遅延を感じないか、遅延を感じたとしても違和感を覚えにくい。
このようにして、本実施形態においては情報処理装置１００から出力される筆記音の遅延を解消もしくは緩和される。この結果、ユーザがペン型入力デバイス２００を用いて筆記を行っているとき、現実に筆記媒体に筆記しているときと同様の感覚を損なわないようにすることができる。
また、ペン先がパネル面１２２１に接触したタイミングでは、まだ音出力部１０６は、ウォームアップ期間Ｔｗとシステム遅延期間Ｔｓとによる遅延時間を経過していない可能性もある。しかしながら、ペン先がパネル面１２２１に接触したタイミングでは、既にある程度の遅延時間（ウォームアップ期間Ｔｗとシステム遅延期間Ｔｓ）を経過していることから、短い遅延時間を経て筆記音を出力することができる。この場合、筆記音は、ペン先がパネル面１２２１に接触したタイミングから或る程度の遅延時間を経過してから出力されるものの、遅延時間としては短いことから、ユーザの聴感上では、ほとんど遅延を感じないか、遅延を感じたとしても違和感を覚えにくい。
このようにして、本実施形態においては情報処理装置１００から出力される筆記音の遅延を解消もしくは緩和される。この結果、ユーザがペン型入力デバイス２００を用いて筆記を行っているとき、現実に筆記媒体に筆記しているときと同様の感覚を損なわないようにすることができる。
【0092】
図１２のフローチャートを参照して、本実施形態の情報処理装置１００とペン型入力デバイス２００とが触覚・筆記音フィードバックに対応して実行する処理手順例について説明する。
【0093】
まず、情報処理装置１００が実行する処理手順例について説明する。
ステップＳ５００：情報処理装置１００においてフィードバック制御部１３２は、タッチパネル１２２によるペン先２１０の検出が開始される状態（第１状態の一例）となるのを待機する。フィードバック制御部１３２は、図４のステップＳ１００の処理と同様に、ペン先２１０が検出可能範囲ｄ１（図３の時刻ｔ１）に到達したことに応じてタッチパネル１２２にて静電容量が発生し、発生した静電容量に応じた検出信号の出力が開始されたことに応じて、ペン先２１０の検出が開始されたと判定してよい。
ステップＳ５００：情報処理装置１００においてフィードバック制御部１３２は、タッチパネル１２２によるペン先２１０の検出が開始される状態（第１状態の一例）となるのを待機する。フィードバック制御部１３２は、図４のステップＳ１００の処理と同様に、ペン先２１０が検出可能範囲ｄ１（図３の時刻ｔ１）に到達したことに応じてタッチパネル１２２にて静電容量が発生し、発生した静電容量に応じた検出信号の出力が開始されたことに応じて、ペン先２１０の検出が開始されたと判定してよい。
【0094】
ステップＳ５０２：ステップＳ５００にてタッチパネル１２２によるペン先２１０の検出が開始されたことを判定すると、フィードバック制御部１３２は、スリープ状態の音出力部１０６のキュー１６１に対する無音データの入力を開始する。音出力部１０６は無音データの入力が開始されたことに応じて起動する。
【0095】
ステップＳ５０４：ステップＳ５０２にてキュー１６１への無音データの入力が開始された後、フィードバック制御部１３２は、タッチパネル１２２にてペン先がパネル面１２２１に接触した状態（第２状態の一例）となったことが検出されるのを待機する。
【0096】
なお、当該ステップＳ５０４にてペン先がパネル面１２２１に接触することなく、検出可能範囲ｄ１の外に移動したことでペン先が検出されなくなった場合には、フィードバック制御部１３２は、これまでの無音データの入力を停止させたうえで、ステップＳ５００に処理を戻してよい。この場合、音出力部１０６は、無音データの入力の停止に応じてスリープ状態に移行してよい。
【0097】
ステップＳ５０６：ステップＳ５０４にてペン先がパネル面１２２１に接触したことが検出されると、フィードバック制御部１３２は、これまでの無音データに代えて、筆記音データ記憶部１４１が記憶する筆記音データのキュー１６１への入力を開始する。
【0098】
ステップＳ５０８：また、ステップＳ５０４にてペン先がパネル面１２２１に接触したことが検出されたことに応じて、フィードバック制御部１３２は、ペン型入力デバイス２００にフィードバック開始命令を送信する。フィードバック開始命令は、ペン型入力デバイス２００に触覚・筆記音フィードバックの動作の開始を指示するコマンドである。
【0099】
ステップＳ５１０：ステップＳ５０６、Ｓ５０８の処理の後、フィードバック制御部１３２は、タッチパネル１２２にてペン先がパネル面１２２１から離間した状態（第３状態の一例）となったことが検出されるのを待機する。
【0100】
ステップＳ５１２：ステップＳ５１０にてペン先がパネル面１２２１から離間したことが検出されたことに応じて、フィードバック制御部１３２は、ステップＳ５０６により開始したキュー１６１への筆記音データの入力を停止する。筆記音データの入力が停止されたことに応じて、音出力部１０６はスリープ状態に遷移する。
【0101】
ステップＳ５１４：ステップＳ５１０にてペン先がパネル面１２２１から離間したことが検出されたことに応じて、フィードバック制御部１３２は、ペン型入力デバイス２００にフィードバック開始命令を送信する。フィードバック開始命令は、ペン型入力デバイス２００に触覚・筆記音フィードバックの動作の停止を指示するコマンドである。
【0102】
次に、ペン型入力デバイス２００が実行する処理手順例について説明する。
ステップＳ６００：ペン型入力デバイス２００において、制御部２０４は、ステップＳ５０８により情報処理装置１００から送信されたフィードバック開始命令を受信する。
ステップＳ６００：ペン型入力デバイス２００において、制御部２０４は、ステップＳ５０８により情報処理装置１００から送信されたフィードバック開始命令を受信する。
【0103】
ステップＳ６０２：ステップＳ６００にてフィードバック開始命令が受信されたことに応じて、振動制御部２４１は、例えば予め定められた振動強度による振動部２０２の振動を開始させる。
【0104】
ステップＳ６０４：また、ステップＳ６００にてフィードバック開始命令が受信されたことに応じて、音出力制御部２４２は、筆記音データ記憶部２５２が記憶部する筆記音データを音出力部２０３に入力することで、筆記音の出力を開始させる。
【0105】
上記のようにステップＳ６０２、Ｓ６０４の処理が実行されることにより、ペン型入力デバイス２００のペン先がパネル面１２２１に接触したのと同じとみなせるタイミングで、ペン型入力デバイス２００にて触覚・筆記音フィードバックの動作が開始される。
【0106】
ステップＳ６０６：ステップＳ６０２、Ｓ６０４により触覚・筆記音フィードバックの動作が解された後の或るタイミングで、制御部２０４は、ステップＳ５１４により情報処理装置１００から送信されたフィードバック停止命令を受信する。
【0107】
ステップＳ６０８：フィードバック停止命令が受信されたことに応じて、振動制御部２４１は、振動部２０２の駆動を停止させる。
ステップＳ６１０：また、フィードバック停止命令が受信されたことに応じて、音出力制御部２４２は、音出力制御部２４２からの筆記音の出力を停止させる。
ステップＳ６１０：また、フィードバック停止命令が受信されたことに応じて、音出力制御部２４２は、音出力制御部２４２からの筆記音の出力を停止させる。
【0108】
なお、上記の図１２の処理によれば、ステップＳ５１０によりペン型入力デバイス２００のペン先がパネル面１２２１から離間したことが検出されると、ただちにステップＳ５１２、Ｓ５１４の処理によって、情報処理装置１００の筆記音フィードバックとペン型入力デバイス２００の触覚・筆記音フィードバックが停止される。
しかしながら、ユーザが筆記を続けているときの筆記の内容によっては、ペン先をパネル面１２２１から短時間で離間させ、すぐに再びペン先をパネル面１２２１に接触させた状態に戻す場合もある。このような状況のもとでは、ペン先がパネル面１２２１から離間する都度に、情報処理装置１００の筆記音フィードバックとペン型入力デバイス２００の触覚・筆記音フィードバックが停止されると、かえってユーザが違和感を覚え、現実に筆記媒体に筆記しているときと同様の感覚が損なわれる可能性がある。つまり、ペン型入力デバイス２００のペン先がパネル面１２２１から離間する時間が短い状況では、情報処理装置１００の筆記音フィードバックとペン型入力デバイス２００の触覚・筆記音フィードバックとが継続されることが好ましい場合がある。
そこで、本実施形態の変形例として、ステップＳ５１０にてペン型入力デバイス２００のペン先がパネル面１２２１から所定時間以上継続して離間した状態となったか否かを判定するようにされてよい。
このような処理とすることで、ユーザがペン型入力デバイス２００のペン先がパネル面１２２１から離間させても、すぐにパネル面１２２１に接触させるように筆記している状況では、情報処理装置１００の筆記音フィードバックとペン型入力デバイス２００の触覚・筆記音フィードバックが継続される。これにより、ユーザが違和感を覚えにくくなり、現実に筆記媒体に筆記しているときと同様の感覚が損なわれにくくなる。
しかしながら、ユーザが筆記を続けているときの筆記の内容によっては、ペン先をパネル面１２２１から短時間で離間させ、すぐに再びペン先をパネル面１２２１に接触させた状態に戻す場合もある。このような状況のもとでは、ペン先がパネル面１２２１から離間する都度に、情報処理装置１００の筆記音フィードバックとペン型入力デバイス２００の触覚・筆記音フィードバックが停止されると、かえってユーザが違和感を覚え、現実に筆記媒体に筆記しているときと同様の感覚が損なわれる可能性がある。つまり、ペン型入力デバイス２００のペン先がパネル面１２２１から離間する時間が短い状況では、情報処理装置１００の筆記音フィードバックとペン型入力デバイス２００の触覚・筆記音フィードバックとが継続されることが好ましい場合がある。
そこで、本実施形態の変形例として、ステップＳ５１０にてペン型入力デバイス２００のペン先がパネル面１２２１から所定時間以上継続して離間した状態となったか否かを判定するようにされてよい。
このような処理とすることで、ユーザがペン型入力デバイス２００のペン先がパネル面１２２１から離間させても、すぐにパネル面１２２１に接触させるように筆記している状況では、情報処理装置１００の筆記音フィードバックとペン型入力デバイス２００の触覚・筆記音フィードバックが継続される。これにより、ユーザが違和感を覚えにくくなり、現実に筆記媒体に筆記しているときと同様の感覚が損なわれにくくなる。
【0109】
なお、上述の情報処理装置１００、ペン型入力デバイス２００等としての機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の情報処理装置１００、ペン型入力デバイス２００等としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるＨＤＤ、ＳＳＤ等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【0110】
１００ 情報処理装置、１０１ 通信部、１０２ タッチパネル表示部、１０３ 制御部、１０４ 記憶部、１０５ 速度検出部、１０６ 音出力部、１２１ 表示部、１２２ タッチパネル、１３１ アプリケーション対応処理部、１３２ フィードバック制御部、１４１ 筆記音データ記憶部、１６１ キュー、２００ ペン型入力デバイス、２０１ 通信部、２０２ 振動部、２０３ 音出力部、２０４ 制御部、２０５ 記憶部、２１０ ペン先、２４１ 振動制御部、２４２ 音出力制御部、２５１ 振動波形データ記憶部、２５２ 筆記音データ記憶部、１２２１ パネル面
【要約】
【課題】ペン型入力デバイスを用いた入力にあたり、現実に筆記媒体に筆記しているときと同様の感覚が損なわれないようにする。
【解決手段】ペン型入力デバイスの操作対象面に対する接触と、操作対象面上の検出限度距離内におけるペン型入力デバイスの存在との検出を行うセンサ部と、入力された音データに応じた音を出力する音出力部と、センサ部によりペン型入力デバイスが検出限度距離内にて検出されることとなった第１状態が検出されたことに応じて音出力部に無音の音データを入力し、第１状態となった後において、センサ部によりペン型入力デバイスが操作対象面に接触した第２状態となったことに応じて音出力部に有音の音データを入力する音出力制御部とを備えて情報処理システムを構成する。
【選択図】図１２
【解決手段】ペン型入力デバイスの操作対象面に対する接触と、操作対象面上の検出限度距離内におけるペン型入力デバイスの存在との検出を行うセンサ部と、入力された音データに応じた音を出力する音出力部と、センサ部によりペン型入力デバイスが検出限度距離内にて検出されることとなった第１状態が検出されたことに応じて音出力部に無音の音データを入力し、第１状態となった後において、センサ部によりペン型入力デバイスが操作対象面に接触した第２状態となったことに応じて音出力部に有音の音データを入力する音出力制御部とを備えて情報処理システムを構成する。
【選択図】図１２
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】