特開 2024-172881 情報処理システム、ペン型入力デバイス、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172881

(43)【公開日】2024-12-12

(54)【発明の名称】情報処理システム、ペン型入力デバイス、およびプログラム

(51)【国際特許分類】

   G06F 3/03 20060101AFI20241205BHJP

   G06F 3/041 20060101ALI20241205BHJP

   G06F 3/01 20060101ALI20241205BHJP

   G06F 3/0488 20220101ALI20241205BHJP

   G06F 3/044 20060101ALI20241205BHJP

【ＦＩ】

G06F3/03 400Z

G06F3/041 480

G06F3/01 560

G06F3/0488

G06F3/044 B

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023090919

(22)【出願日】2023-06-01

(11)【特許番号】

(45)【特許公報発行日】2024-05-20

(71)【出願人】

【識別番号】505205731

【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100206081

【弁理士】

【氏名又は名称】片岡 央

(72)【発明者】

【氏名】吉冨 圭一

(72)【発明者】

【氏名】山▲ざき▼ 充弘

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555BA05

5E555BB05

5E555BC13

5E555CA14

5E555CB12

5E555DA24

5E555DD11

5E555EA09

5E555FA00

(57)【要約】

【課題】ペン型入力デバイスを用いた入力にあたり、現実に筆記媒体に筆記しているときの感覚に近づくようにする。
【解決手段】情報処理装置は、ペン型入力デバイスの接触を検出するセンサ部と、センサ部による接触の検出に応じて、少なくともペン型入力デバイスの振動を制御するためのパラメータを含むフィードバックパラメータをペン型入力デバイスに送信するパラメータ出力部とを備え、ペン型入力デバイスは、受信されたフィードバックパラメータに基づいて振動部を振動させる振動制御部とを備え、パラメータ出力部が出力するフィードバックパラメータに基づいて、振動部の振動に応じたタイミングで音出力部から音を出力させる音出力制御部を備えて情報処理システムを構成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

情報処理装置とペン型入力デバイスとを備え、
前記情報処理装置は、
前記ペン型入力デバイスの接触を検出するセンサ部と、
前記センサ部による前記接触の検出に応じて、少なくとも前記ペン型入力デバイスの振動を制御するためのパラメータを含むフィードバックパラメータを前記ペン型入力デバイスに送信するパラメータ出力部とを備え、
前記ペン型入力デバイスは、
振動部と、
受信されたフィードバックパラメータに基づいて、前記振動部を振動させる振動制御部とを備え、
前記ペン型入力デバイスと前記情報処理装置との少なくともいずれか一方において、前記パラメータ出力部が出力するフィードバックパラメータに基づいて、前記振動部の振動に応じたタイミングで音出力部から音を出力させる音出力制御部を備える
情報処理システム。

【請求項2】

前記音出力部および前記音出力制御部は、前記ペン型入力デバイスと前記情報処理装置とのうち、前記ペン型入力デバイスに備えられる
請求項１に記載の情報処理システム。

【請求項3】

前記フィードバックパラメータは、前記ペン型入力デバイスに対応して設定された筆記具種別を示す筆記具種別データを含み、
前記音出力部は、前記筆記具種別データが示す筆記具種別に対応する筆跡音を出力する
請求項１または２に記載の情報処理システム。

【請求項4】

前記音出力部および前記音出力制御部は、前記ペン型入力デバイスと前記情報処理装置とのうち、前記情報処理装置に備えられ、
前記ペン型入力デバイスは、前記フィードバックパラメータの受信に応じて、前記フィードバックパラメータに含まれていた所定のパラメータを含み、前記音出力制御部に音の出力を指示する音出力指示信号を送信する音出力指示部
請求項１に記載の情報処理システム。

【請求項5】

ペン型入力デバイスの接触を検出したことに応じて、少なくとも前記ペン型入力デバイスの振動を制御するためのパラメータを含むフィードバックパラメータを前記ペン型入力デバイスに送信する情報処理装置と通信を行う通信部と、
振動部と、
受信されたフィードバックパラメータに基づいて、前記振動部を振動させる振動制御部と、
受信されたフィードバックパラメータに基づいて、前記振動部の振動に応じたタイミングで音出力部から音を出力させる音出力制御部と
を備えるペン型入力デバイス。

【請求項6】

ペン型入力デバイスとしてのコンピュータを、
前記ペン型入力デバイスの接触を検出するセンサ部と、前記センサ部による前記接触の検出に応じて、少なくとも前記ペン型入力デバイスの振動を制御するためのパラメータを含むフィードバックパラメータを前記ペン型入力デバイスに送信する情報処理装置と通信を行う通信部、
受信されたフィードバックパラメータに基づいて、振動部を振動させる振動制御部、
受信されたフィードバックパラメータに基づいて、前記振動部の振動に応じたタイミングで音出力部から音を出力させる音出力制御部
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、ペン型入力デバイス、およびプログラムに関する。

【背景技術】

【0002】

対話型ディスプレイシステムに対する入力にあたり、触覚アクチュエータを駆動した振動を発生させることで触覚フィードバックが可能とされたペン状のスタイラス（ペン型入力デバイス）を入力装置として用いることが知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１７－５３７３９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ペン型入力デバイスにて振動が発せられることで、例えば紙等の筆記媒体にペン先を滑らせているときの触感が疑似的に得られることから、ペン型入力デバイスを用いて入力しているユーザは、筆記媒体に筆記しているときに近い感覚を得ることができる。

【0005】

ペン型入力デバイスを用いた入力にあたっては、できるだけ実物の筆記媒体に筆記しているときの感覚に近いことが好ましいという側面がある。
そこで、本発明は、上記した課題を考慮して、ペン型入力デバイスを用いた入力にあたり、現実に筆記媒体に筆記しているときの感覚に近づくようにすることを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決する本発明の一態様は、情報処理装置とペン型入力デバイスとを備え、前記情報処理装置は、前記ペン型入力デバイスの接触を検出するセンサ部と、前記センサ部による前記接触の検出に応じて、少なくとも前記ペン型入力デバイスの振動を制御するためのパラメータを含むフィードバックパラメータを前記ペン型入力デバイスに送信するパラメータ出力部とを備え、前記ペン型入力デバイスは、振動部と、受信されたフィードバックパラメータに基づいて、前記振動部を振動させる振動制御部とを備え、前記ペン型入力デバイスと前記情報処理装置との少なくともいずれか一方において、前記パラメータ出力部が出力するフィードバックパラメータに基づいて、前記振動部の振動に応じたタイミングで音出力部から音を出力させる音出力制御部を備える情報処理システムである。

【0007】

本発明の一態様は、ペン型入力デバイスの接触を検出したことに応じて、少なくとも前記ペン型入力デバイスの振動を制御するためのパラメータを含むフィードバックパラメータを前記ペン型入力デバイスに送信する情報処理装置と通信を行う通信部と、振動部と、受信されたフィードバックパラメータに基づいて、前記振動部を振動させる振動制御部と、受信されたフィードバックパラメータに基づいて、前記振動部の振動に応じたタイミングで音出力部から音を出力させる音出力制御部とを備えるペン型入力デバイスである。

【0008】

本発明の一態様は、ペン型入力デバイスとしてのコンピュータを、前記ペン型入力デバイスの接触を検出するセンサ部と、前記センサ部による前記接触の検出に応じて、少なくとも前記ペン型入力デバイスの振動を制御するためのパラメータを含むフィードバックパラメータを前記ペン型入力デバイスに送信する情報処理装置と通信を行う通信部、受信されたフィードバックパラメータに基づいて、振動部を振動させる振動制御部、受信されたフィードバックパラメータに基づいて、前記振動部の振動に応じたタイミングで音出力部から音を出力させる音出力制御部として機能させるためのプログラムである。

【発明の効果】

【0009】

本発明によれば、ペン型入力デバイスを用いた入力にあたり、現実に筆記媒体に筆記しているときの感覚に近づけることができるとの効果が得られる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態における情報処理システムの外観構成例を示す図である。

【図2】第１実施形態における情報処理装置とペン型入力デバイスとの触覚・筆記音フィードバックに応じた機能構成例を示す図である。

【図3】第１実施形態におけるパラメータ記憶部が記憶するパラメータデータの一例を示す図である。

【図4】第１実施形態における筆跡音データ記憶部が記憶する筆跡音データの一例を示す図である。

【図5】第１実施形態における情報処理装置とペン型入力デバイスとが触覚・筆記音フィードバックに対応して実行する処理手順例を示すフローチャートである。

【図6】第２実施形態における情報処理装置とペン型入力デバイスとの触覚・筆記音フィードバックに応じた機能構成例を示す図である。

【図7】第２実施形態における情報処理装置とペン型入力デバイスとが触覚・筆記音フィードバックに対応して実行する処理手順例を示すフローチャートである。

【図8】第３実施形態における情報処理装置とペン型入力デバイスとの触覚・筆記音フィードバックに応じた機能構成例を示す図である。

【図9】第３実施形態における情報処理装置とペン型入力デバイスとが触覚・筆記音フィードバックに対応して実行する処理手順例を示すフローチャートである。

【発明を実施するための形態】

【0011】

＜第１実施形態＞
図１は、本実施形態の情報処理システムの外観構成例を示している。同図に示されるように、本実施形態の情報処理システムは、情報処理装置１００とペン型入力デバイス２００とを有する。

【0012】

情報処理装置１００は、ペン型入力デバイス２００による入力操作に応じて情報処理を実行可能とされる。同図の情報処理装置１００は、タブレット端末あるいはノート型パーソナルコンピュータ等とされた例を示している。

【0013】

情報処理装置１００は、タッチパネル表示部１０２を備える。タッチパネル表示部１０２は、タッチパネルと表示部とが組み合わされた部位である。タッチパネル表示部１０２は、表示面に画像を表示するとともに、表示面に対してペン型入力デバイスや指等の操作体を接触させることによる操作が可能とされる。

【0014】

ペン型入力デバイス２００は、ユーザが情報処理装置１００のタッチパネル表示部１０２におけるタッチパネル対して操作を行うのに用いるペン型の入力デバイスである。
ユーザは、ペン型入力デバイス２００を把持し、ペン先をタッチパネル表示部１０２の表示面に接触させるようにして移動させることで、文字、絵、図形等の手書き入力の操作を行うようにされる。

【0015】

なお、ペン型入力デバイス２００を用いた操作の場合におけるタッチパネル表示部１０２の表示面へのペン先の「接触」は、物理的に接触している場合のほか、表示面に物理的に接触してはいないが、タッチパネル表示部１０２のタッチパネルがペン先を検出可能な状態にまで接近している状態も含まれる。
また、ペン型入力デバイス２００を用いた操作として、タッチパネル表示部１０２に表示されているユーザインターフェース画像に対するポインティング操作なども可能とされてよい。

【0016】

なお、本実施形態のタッチパネル表示部１０２におけるタッチパネルによるペン型入力デバイス２００の検出方式については特に限定されるものではないが、例えば静電容量方式、感圧方式等を挙げることができる。

【0017】

情報処理装置１００には、ペン型入力デバイス２００による入力操作に対応するアプリケーション（ペン操作対応アプリケーション）がインストールされている。
ペン操作対応アプリケーションは、例えばペン型入力デバイス２００のペン先をタッチパネル表示部１０２に対して接触させて行う文字入力、絵描き等の手書き入力操作に応じて、タッチパネル表示部１０２に文字や絵を表示したり、操作により描画された文字や絵をデータ化する処理などを実行可能とされてよい。

【0018】

また、本実施形態の情報処理システムにおいて、ペン型入力デバイス２００は、筆記に応じた操作（筆記操作）が行われているときに対応して、ペン型入力デバイス２００が振動する。このようなペン型入力デバイス２００の振動により、ユーザは、例えば紙等の筆記媒体に筆記しているときに近い触覚が感じられることとなり、実物の筆記具により筆記媒体に筆記しているときに近い感覚を得ることが可能となる。

【0019】

さらに、本実施形態の情報処理システムにおいて、ペン型入力デバイス２００は、筆記に応じた操作が行われているときに対応して、実物の筆記具により筆記媒体に筆記していることよりに生じる音（筆記音）を出力するようにされる。
このように、ペン型入力デバイス２００を用いて筆記操作が行われているときに、振動の発生とともに筆記音も出力されることで、実物の筆記具により筆記媒体に筆記しているときの感覚にさらに近づけることが可能となる。

【0020】

以降の説明において、ペン型入力デバイス２００により筆記操作が行われているときの振動発生および筆記音の出力については、「触覚・筆記音フィードバック」とも呼ぶ。

【0021】

図２は、本実施形態の情報処理装置１００とペン型入力デバイス２００との触覚・筆記音フィードバックに応じた機能構成例を示している。
まず、情報処理装置１００の機能構成例について説明する。同図に示される情報処理装置１００としての機能は、情報処理装置１００としてのハードウェアが備えるＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等がプログラムを実行することにより実現される。
同図の情報処理装置１００は、通信部１０１、タッチパネル表示部１０２、制御部１０３、および記憶部１０４を備える。

【0022】

通信部１０１は、ペン型入力デバイス２００と無線通信を行う。通信部１０１が対応する無線通信の方式については特に限定されない。なお、通信部１０１は、有線によるペン型入力デバイス２００との通信に対応可能とされてもよい。

【0023】

タッチパネル表示部１０２は、表示部１２１とタッチパネル１２２（センサ部の一例）とが組み合わされたデバイスである。表示部１２１は、制御部１０３の制御に応じて画像を表示する。タッチパネル１２２は、表示部１２１の表示面に対応して設けられ、ペン型入力デバイス２００のペン先が接触した位置を検出し、検出した位置の座標をペン操作情報として出力する。

【0024】

制御部１０３は、情報処理装置１００における各種の制御を実行する。制御部１０３は、ペン操作対応アプリケーションに対応する処理を実行するアプリケーション対応処理部１３１を備える。
アプリケーション対応処理部１３１は、パラメータ出力部１３１１を備える。ペン操作対応アプリケーションに対する操作としてペン型入力デバイス２００による筆記操作が行われているとき、タッチパネル１２２からアプリケーション対応処理部１３１にペン操作情報が入力される。アプリケーション対応処理部１３１は、ペン操作情報が入力されたことに応じて、ペン型入力デバイス２００に触覚・筆記音フィードバックの動作を行わせるためのフィードバックパラメータを出力する。通信部１０１は、出力されたフィードバックパラメータＤ１をペン型入力デバイス２００に送信する。

【0025】

記憶部１０４は、情報処理装置１００に対応する各種の情報を記憶する。記憶部１０４は、パラメータ記憶部１４１と筆記設定データ記憶部１４２とを備える。

【0026】

パラメータ記憶部１４１は、フィードバックパラメータに含められる所定のパラメータデータを記憶する。
図３は、パラメータ記憶部１４１が記憶するパラメータデータの一例を示している。同図においては、パラメータ記憶部１４１が筆記具種別ごとに応じて、パラメータデータとして、振動波形データと筆記音データとを記憶する例が示されている。
振動波形データは、ペン型入力デバイス２００に所望の振動状態を発生させるように生成された振動波形を示すデータである。

【0027】

本実施形態のペン操作対応アプリケーションは、ペン型入力デバイス２００による筆記操作にあたり、筆記具種別を設定可能とされている。具体的に、筆記具種別としては、鉛筆、ボールペン、クレヨン、サインペン、毛筆などの種別を挙げることができる。ペン操作対応アプリケーションは、ペン型入力デバイス２００による筆記操作に応じて、設定された筆記具種別に対応する筆跡で描画を行うようにされる。
現実においては、筆記媒体に筆記しているときに感じる触覚は筆記具の種別により異なる。パラメータ記憶部１４１が記憶する振動波形データのそれぞれは、対応の筆記具種別ごとの触覚を再現するように作成されたものである。

【0028】

なお、例えば洋紙、和紙、樹脂などのように筆記媒体の種別によっても筆記時の触感は異なる。つまり、筆記時の触感は、筆記具種別と筆記媒体との組み合わせごとに異なり得る。そこで、パラメータ記憶部１４１は、例えば筆記具種別と筆記媒体種別の組み合わせごとに異なるパラメータデータ（振動波形データ）を記憶してもよい。

【0029】

説明を図２に戻す。
筆記設定データ記憶部１４２は、ペン操作対応アプリケーションにおいてペン型入力デバイス２００による筆記操作に対応して設定された筆記具種別のデータ（筆記具種別データ）を含む設定データである。筆記設定データには、設定された筆記媒体を示すデータ（筆記媒体データ）も含まれてよい。

【0030】

次に、ペン型入力デバイス２００の機能構成例について説明する。同図に示されるペン型入力デバイス２００の機能は、例えばハードウェアとしてのペン型入力デバイス２００が備えるＭＣＵ（Micro Controller Unit）等のマイクロプロセッサにプログラムを実行させることにより実現されてよい。

【0031】

同図のペン型入力デバイス２００は、通信部２０１、振動部２０２、音出力部２０３、制御部２０４、および記憶部２０５を備える。

【0032】

通信部２０１は、情報処理装置１００の通信部１０１と通信可能に接続する。

【0033】

振動部２０２（アクチュエータ）は、ペン型入力デバイス２００を把持するユーザに筆記操作時の触覚を与えるために振動する部位である。振動部２０２は、振動制御部２４１により振動が制御される。

【0034】

音出力部２０３は、例えばスピーカを備え、音出力制御部２４２の制御に応じて筆跡音を出力する。なお、音出力部２０３は、例えば電子音や音声等の音も出力可能とされてよい。

【0035】

制御部２０４は、ペン型入力デバイス２００における各種の制御を実行する。制御部２０４は、振動制御部２４１、および音出力制御部２４２を備える。

【0036】

振動制御部２４１は、受信されたフィードバックパラメータに含まれる振動波形データに基づいて振動部２０２を振動させる。

【0037】

音出力制御部２４２は、筆跡音データ記憶部２５１が記憶する筆跡音データとしてのオーディオデータを音出力部２０３に出力することで、音出力部２０３から筆跡音を出力させる。

【0038】

記憶部２０５は、ペン型入力デバイス２００が対応する各種の情報を記憶する。記憶部２０５は、筆跡音データ記憶部２５１を含む。
筆跡音データ記憶部２５１は、筆跡音データを記憶する。図４は、筆跡音データ記憶部２５１が記憶する筆跡音データの一例を示している。同図に示されるように、筆跡音データ記憶部２５１は、筆記具種別ごとに対応させて筆記音データを記憶する。
現実において、筆記媒体に筆記しているときに発せられる筆跡音は筆記具の種別により異なる。筆跡音データ記憶部２５１が記憶する筆跡音データのそれぞれは、対応の筆記具種別に対応して発せられる筆跡音を再現するように作成されたものである。

【0039】

図５のフローチャートを参照して、図２の構成による情報処理装置１００とペン型入力デバイス２００とが触覚・筆記音フィードバックに対応して実行する処理手順例について説明する。

【0040】

まず、情報処理装置１００が実行する処理手順例から説明する。
ステップＳ１００：情報処理装置１００においてタッチパネル１２２は、ペン型入力デバイス２００による筆記操作に応じて指定された座標を検出し、検出した座標を示すペン操作情報を出力する。アプリケーション対応処理部１３１は、タッチパネル１２２から出力されたペン操作情報を取得する。
アプリケーション対応処理部１３１は、取得したペン操作情報に応じた筆跡を表示部１２１に描画する処理等を実行する。この際、パラメータ出力部１３１１は、例えば、ペン型入力デバイス２００が検知した筆圧を示す筆圧データを受信している場合には、受信された筆圧データが示す筆圧に応じて筆跡の太さ等を変化させるように描画してよい。

【0041】

ステップＳ１０２：また、ステップＳ１００にてペン操作情報が取得されたことに応じて、パラメータ出力部１３１１は、フィードバックパラメータに含めるパラメータデータを取得する。
例えば、筆記設定データ記憶部１４２が記憶する筆記設定データを参照して、現在において設定されている筆記具種別を判定する。パラメータ出力部１３１１は、判定した筆記具種別を示すデータ（筆記具種別データ）をパラメータデータの１つとして取得する。
また、パラメータ出力部１３１１は、判定した筆記具種別に対応してパラメータ記憶部１４１に記憶されている振動波形データをフィードバックパラメータとして取得する。
また、筆記設定データにおいて、ペン型入力デバイス２００から出力される筆記音の音量を設定した筆記音量データが含まれている場合、パラメータ出力部１３１１は、筆記音量データが示す音量をパラメータデータの１つとして取得してよい。あるいは、パラメータ出力部１３１１は、ペン型入力デバイス２００が送信した筆圧データが受信されている場合、受信された筆圧データが示す筆圧に応じて設定した筆記音量をパラメータデータとして取得してよい。

【0042】

ステップＳ１０４：パラメータ出力部１３１１は、ステップＳ１０２により取得したパラメータデータを含むフィードバックパラメータＤ１を、通信部１０１によりペン型入力デバイス２００に送信させる。

【0043】

ステップＳ１０２、Ｓ１０４によりパラメータデータを取得し、フィードバックパラメータＤ１としてペン型入力デバイス２００に送信する処理は、触覚・筆記音フィードバックに対応して構築されたＡＰＩ（Application Programming Interface）により実現されてよい。

【0044】

次に、ペン型入力デバイス２００が実行する処理手順例について説明する。
ステップＳ２００：ペン型入力デバイス２００において通信部２０１は、ステップＳ１０４により情報処理装置１００から送信されたフィードバックパラメータＤ１を受信する。

【0045】

ステップＳ２０２：振動制御部２４１は、ステップＳ２００にて受信されたフィードバックパラメータに含まれる振動波形データを利用して振動部２０２が振動するように駆動する。

【0046】

ステップＳ２０４：また、音出力制御部２４２は、ステップＳ２００にて受信されたフィードバックパラメータに含まれる筆記具種別データが示す筆記具種別に対応付けられて記憶されている筆跡音データを筆跡音データ記憶部２５１から取得する。

【0047】

ステップＳ２０６：音出力制御部２４２は、ステップＳ２０４により取得した筆記音データにより音出力部２０３から筆記音を出力させる。この際、音出力制御部２４２は、フィードバックパラメータに筆記音量データが含まれている場合には、筆記音量データに基づいて、音出力部２０３から出力させる筆記音の音量を調整してよい。

【0048】

例えば、ペン型入力デバイスによる筆記に応じて音を出力するようにされた絵描き用アプリケーションが知られているが、筆記に応じた音出力に対応していない絵描き用アプリケーションもある。この場合、筆記に応じた音の出力が行われるか否かは、アプリケーションが筆記に応じた音の出力に対応する機能を有しているか否かに依存することになる。
これに対して、本実施形態の上記構成によれば、絵描き用アプリケーションが筆記に応じた音出力の機能を有していなくとも、ＡＰＩによりペン操作対応アプリケーションからペン型入力デバイス２００にフィードバックパラメータを送信可能とすることで、ペン型入力デバイス２００にて、筆記音を出力させることができる。また、図４の処理によっては、ステップＳ２０２による振動部２０２の振動と、ステップＳ２０４による筆記音の出力とは、ステップＳ１００にて取得された同じペン操作情報に対応して行われることから、同期したタイミングで行われる。具体的には、ペン型入力デバイス２００にて振動が発生しているのと同じタイミングで筆記音が出力される。
また、この場合、情報処理装置１００としては上記のＡＰＩを適用すればよく、例えば大きなハードウェア、ソフトウェアの変更は不要となる。
また、本実施形態では、ペン型入力デバイス２００にて筆記具種別ごとの筆跡音データを記憶したうえで、ペン操作対応アプリケーションにて設定された筆記具種別を示す筆記具データがフィードバックパラメータに含められている。このような構成により、ペン操作対応アプリケーションにて設定された筆記具種別に適合した筆跡音を出力させることができる。また、情報処理装置１００に複数の異なるペン操作対応アプリケーションが実装されているような場合でも、ペン操作対応アプリケーションのそれぞれが上記構成を有することで、いずれのペン操作対応アプリケーションにも対応して、設定された筆記具種別に適合した筆跡音を出力させることができる。
また、ペン型入力デバイスによる筆記に応じて音を出力するようにされた絵描き用アプリケーションでは、筆記に応じた音を情報処理装置から出力することになる。これに対して、本実施形態では、ペン型入力デバイス２００から筆記音が出力されることから、現実に筆記具により筆記しているときの感覚により近づけることが可能となる。

【0049】

なお、本実施形態において、ペン型入力デバイス２００に代えて、情報処理装置１００がペン操作対応アプリケーションに対応するデータとして、筆記具種別（あるいは筆記具種別と筆記媒体との組み合わせ）ごとに対応付けて筆跡音データを記憶してもよい。この場合には、フィードバックパラメータにおいて、設定された筆記具種別（あるいは筆記具種別と筆記媒体との組み合わせ）に対応付けられた筆跡音データが含められる。
ペン型入力デバイス２００は、受信したフィードバックパラメータに含まれる筆跡音データを利用して筆記音を出力させてよい。

【0050】

＜第２実施形態＞
続いて、第２実施形態について説明する。本実施形態の情報処理システムは、情報処理装置１００にて筆記音を出力するように構成される。

【0051】

図６は、本実施形態の情報処理装置１００とペン型入力デバイス２００との触覚・筆記音フィードバックに応じた機能構成例を示している。同図において、図２と同一部分には同一符号を付し、主に図２との相違点について説明する。
本実施形態において、情報処理装置１００の制御部１０３においては、音出力制御部１３２が備えられる。
また、情報処理装置１００の記憶部１０４は、パラメータ記憶部１４１、筆記設定データ記憶部１４２に加えて、筆跡音データ記憶部１４３が備えられる。
また、情報処理装置１００において音出力部１０５が備えられる。

【0052】

音出力制御部１３２は、情報処理装置１００にて常駐する筆記音出力ソフトウェアに対応する機能部であり、筆跡音データ記憶部１４３は、筆記音出力ソフトウェアに対応して備えられる記憶部である。

【0053】

ペン型入力デバイス２００においては、図２において備えられていた音出力部２０３、筆跡音データ記憶部２５１、および音出力制御部２４２が省略されている。制御部２０４においては、音出力制御部２４２に代えて、音出力指示部２４３が備えられる。
音出力指示部２４３は、情報処理装置１００の音出力制御部１３２に筆跡音の出力を指示する。

【0054】

図７のフローチャートを参照して、図６の構成による情報処理装置１００とペン型入力デバイス２００とが触覚・筆記音フィードバックに対応して実行する処理手順例について説明する。

【0055】

まず、情報処理装置１００が実行する処理手順例から説明する。
ステップＳ３００～Ｓ３０４の処理は、図５のステップＳ１００～Ｓ１０４と同様とされてよい。

【0056】

ステップＳ３０６：ステップＳ３０４によるフィードバックパラメータＤ１の送信に応じて、ペン型入力デバイス２００からは音出力指示信号Ｄ２が送信される。音出力指示信号Ｄ２は、音出力制御部１３２に筆記音の出力を指示する信号である。情報処理装置１００において通信部１０１は、送信された音出力指示信号Ｄ２を受信する。音出力指示信号は、ステップＳ２０４により送信されたフィードバックパラメータに含まれていたパラメータデータとして筆記具種別データ、筆記音量データ等を含む。

【0057】

ステップＳ３０６：音出力指示信号Ｄ２が受信されたことに応じて、受信された音出力指示信号Ｄ２に含まれる筆記具種別データが示す筆記具種別に対応付けられた筆記音データを筆記設定データ記憶部１４２から取得する。

【0058】

ステップＳ３０８：音出力制御部１３２は、ステップＳ３０６より取得した筆記音データにより音出力部１０５から筆記音を出力させる。この際、受信された音出力指示信号Ｄ２に含まれていた筆記音量データに基づいて、音出力部１０５から出力させる筆記音の音量を調整してよい。

【0059】

次に、ペン型入力デバイス２００が実行する処理手順例について説明する。
ステップＳ４００、Ｓ４０２の処理は、図５のステップＳ２００、Ｓ２０２と同様でよい。

【0060】

ステップＳ４０４：音出力指示部２４３は、ステップＳ４００にて受信したフィードバックパラメータに含まれている筆記具種別データ（および筆記音量データ）を含めた音出力指示信号Ｄ２を生成する。音出力指示部２４３は、生成した音出力指示信号Ｄ２を通信部２０１から情報処理装置１００に送信させる。

【0061】

上記の本実施形態の情報処理システムの構成によれば、情報処理装置１００のタッチパネル表示部１０２に対してペン型入力デバイス２００を用いた筆記操作が行われたことに応じて、ペン型入力デバイス２００での筆記に応じた触感の振動とともに、情報処理装置１００から筆記音を出力させることができる。また、図７の処理によっても、ステップＳ４０２による振動部２０２の振動と、ステップＳ４０４による筆記音の出力とは、ステップＳ３００にて取得された同じペン操作情報に対応して行われることから、同期したタイミングで行われる。
また、本実施形態におけるペン型入力デバイス２００は、情報処理装置１００から送信されたフィードバックパラメータに含まれていた筆記具種別データ（および筆記音量データ）を、音出力指示信号Ｄ２に含めて、情報処理装置１００の音出力制御部１３２が音出力の制御に利用可能なデータとして返すようにされている。このような構成により、例えば複数の異なるペン操作対応アプリケーションが情報処理装置１００にて導入されている環境のもとであっても、いずれのペン操作対応アプリケーションにも対応して、設定された筆記具種別に対応する適切な筆記音を出力させることができる。

【0062】

＜第３実施形態＞
続いて、第３実施形態について説明する。本実施形態の情報処理システムは、情報処理装置１００にて筆記音を出力するように構成される。

【0063】

図８は、本実施形態の情報処理装置１００とペン型入力デバイス２００との触覚・筆記音フィードバックに応じた機能構成例を示している。同図において、図６と同一部分には同一符号を付し、主に図６との相違点について説明する。
本実施形態において、情報処理装置１００の制御部１０３においては、音出力制御部１３２Ａが備えられる。また、ペン型入力デバイス２００において音出力指示部２４３は省略される。

【0064】

音出力制御部１３２Ａは、情報処理装置１００にて常駐する筆記音出力ソフトウェアに対応する機能部であり、この点については図６の音出力制御部１３２と同様である。ただし、図６の音出力制御部１３２がペン型入力デバイス２００から送信された音出力指示信号Ｄ２に基づいて筆記音を出力させているのに対して、本実施形態の音出力制御部１３２Ａは、パラメータ出力部１３１１が通信部１０１から送信させるために出力したフィードバックパラメータを取得するようにされる。

【0065】

図９のフローチャートを参照して、図８の構成による情報処理装置１００とペン型入力デバイス２００とが触覚・筆記音フィードバックに対応して実行する処理手順例について説明する。

【0066】

まず、情報処理装置１００が実行する処理手順例から説明する。
ステップＳ５００～Ｓ５０４の処理は、図７のステップＳ３００～Ｓ３０４と同様とされてよい。ただし、ステップＳ５０４により送信されるフィードバックパラメータについては、振動波形データが含まれればよく、筆記音量データ等の筆記音の出力制御に関するデータは含まれなくともよい。

【0067】

ステップＳ５０６：音出力制御部１３２Ａは、パラメータ出力部１３１１がステップＳ５０４にてペン型入力デバイス２００に送信させるために通信部１０１に出力したフィードバックパラメータを取得する。

【0068】

ステップＳ５０８：音出力制御部１３２Ａは、ステップＳ５０６により取得したフィードバックパラメータに含まれる筆記具種別データが示す筆記具種別に対応付けられた筆記音データを筆記設定データ記憶部１４２から取得する。

【0069】

ステップＳ５１０：音出力制御部１３２Ａは、ステップＳ５０８より取得した筆記音データにより音出力部１０５から筆記音を出力させる。この際、フィードバックパラメータに筆記音量データが含まれている場合には、筆記音量データに基づいて音出力部１０５から出力させる筆記音の音量を調整してよい。

【0070】

ペン型入力デバイス２００が実行するステップＳ６００、Ｓ６０２の処理は、図７のステップＳ４００、Ｓ４０２と同様でよい。

【0071】

上記の本実施形態の情報処理システムの構成によれば、情報処理装置１００のタッチパネル表示部１０２に対してペン型入力デバイス２００を用いた筆記操作が行われたことに応じて、ペン型入力デバイス２００での筆記に応じた触感の振動と同期して、情報処理装置１００から筆記音を出力させることができる。また、ペン型入力デバイス２００は、情報処理装置１００から送信されたフィードバックパラメータＤ１に含まれる振動波形データにより振動部２０２を振動させるようにしている。このような構成により、本実施形態においても、ユーザがペン型入力デバイス２００を用いてタッチパネル表示部１０２に筆記することに応じて、ペン型入力デバイス２００が振動するとともに、ペン型入力デバイス２００の振動に同期させた筆記音を情報処理装置１００から出力させることができる。この場合において、本実施形態では、情報処理装置１００が送信するフィードバックパラメータＤ１に、振動波形について、設定されていた筆記具種別に対応する振動波形を含めるようにしてよい。これにより、設定された筆記具種別に応じた振動をペン型入力デバイス２００に与えることができる。また、上記構成により、本実施形態においても、複数の異なるペン操作対応アプリケーションが情報処理装置１００にて導入されている環境のもとであっても、いずれのペン操作対応アプリケーションにも対応して、設定された筆記具種別に対応する適切な筆記音を出力させることができる。

【0072】

なお、上記第１実施形態に第２実施形態もしくは第３実施形態の構成を組み合わせることで、ペン型入力デバイス２００と情報処理装置１００の両方から筆記音が出力可能なように構成してもよい。この場合において、例えばユーザの操作やアプリケーションの条件等に応じて、ペン型入力デバイス２００と情報処理装置１００とのいずれから筆記音を出力するのかを切り替え可能とされてよい。

【0073】

なお、上述の情報処理装置１００、ペン型入力デバイス２００等としての機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の情報処理装置１００、ペン型入力デバイス２００等としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるＨＤＤ、ＳＳＤ等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0074】

１００ 情報処理装置、１０１ 通信部、１０２ タッチパネル表示部、１０３ 制御部、１０４ 記憶部、１０５ 音出力部、１２１ 表示部、１２２ タッチパネル、１３１ アプリケーション対応処理部、１３２ 音出力制御部、１３２Ａ 音出力制御部、１４１ パラメータ記憶部、１４２ 筆記設定データ記憶部、１４３ 筆跡音データ記憶部、２００ ペン型入力デバイス、２０１ 通信部、２０２ 振動部、２０３ 音出力部、２０４ 制御部、２０５ 記憶部、２４１ 振動制御部、２４２ 音出力制御部、２４３ 音出力指示部、２５１ 筆跡音データ記憶部、１３１１ パラメータ出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2024-02-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

情報処理装置とペン型入力デバイスとを備え、
前記情報処理装置は、
前記ペン型入力デバイスの接触を検出するセンサ部と、
振動波形データを記憶する第１記憶部と、
前記センサ部による前記接触の検出に応じて、少なくとも前記ペン型入力デバイスの振動を制御するためのパラメータとして前記第１記憶部から取得した振動波形データを含むフィードバックパラメータを前記ペン型入力デバイスに送信するパラメータ出力部と、
を備え、
前記ペン型入力デバイスは、
振動部と、
受信されたフィードバックパラメータに含まれる振動波形データに基づいて、前記振動部を振動させる振動制御部と、
筆跡音データを記憶する第２記憶部と、
音出力部と、
前記パラメータ出力部によるフィードバックパラメータの出力に応じて、前記振動部の振動に応じたタイミングで、前記第２記憶部が記憶する筆跡音データに基づく音を前記音出力部から出力させる音出力制御部とを備える
情報処理システム。

【請求項2】

前記フィードバックパラメータは、前記ペン型入力デバイスに対応して設定された筆記具種別を示す筆記具種別データを含み、
前記音出力部は、前記筆記具種別データが示す筆記具種別に対応する筆跡音を出力する
請求項１に記載の情報処理システム。

【請求項3】

ペン型入力デバイスの接触を検出したことに応じて、少なくとも前記ペン型入力デバイスの振動を制御するためのパラメータとして第１記憶部から取得した振動波形データを含むフィードバックパラメータを前記ペン型入力デバイスに送信する情報処理装置であって、前記第１記憶部を備える情報処理装置と通信を行う通信部と、
振動部と、
受信されたフィードバックパラメータに含まれる振動波形データに基づいて、前記振動部を振動させる振動制御部と、
筆跡音データを記憶する第２記憶部と、
音出力部と、
フィードバックパラメータの受信に応じて、前記振動部の振動に応じたタイミングで、前記第２記憶部が記憶する筆跡音データに基づく音を前記音出力部から出力させる音出力制御部と
を備えるペン型入力デバイス。

【請求項4】

ペン型入力デバイスとしてのコンピュータを、
ペン型入力デバイスの接触を検出したことに応じて、少なくとも前記ペン型入力デバイスの振動を制御するためのパラメータとして第１記憶部から取得した振動波形データを含むフィードバックパラメータを前記ペン型入力デバイスに送信する情報処理装置であって、前記第１記憶部を備える情報処理装置と通信を行う通信部、
受信されたフィードバックパラメータに含まれる振動波形データに基づいて、前記ペン型入力デバイスが備える振動部を振動させる振動制御部、
フィードバックパラメータの受信に応じて、前記振動部の振動に応じたタイミングで、前記ペン型入力デバイスが備える第２記憶部が記憶する筆跡音データに基づく音を、前記ペン型入力デバイスが備える音出力部から出力させる音出力制御部
として機能させるためのプログラム。