特許 7299693 筆記入力装置及び筆記入力システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-20

(45)【発行日】2023-06-28

(54)【発明の名称】筆記入力装置及び筆記入力システム

(51)【国際特許分類】

   G06F 3/03 20060101AFI20230621BHJP

【ＦＩ】

G06F3/03 400A

G06F3/03 400B

【請求項の数】 10

(21)【出願番号】P 2018229850

(22)【出願日】2018-12-07

(65)【公開番号】P2020091780

(43)【公開日】2020-06-11

【審査請求日】2021-09-22

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100167302

【弁理士】

【氏名又は名称】種村 一幸

(74)【代理人】

【識別番号】100135817

【弁理士】

【氏名又は名称】華山 浩伸

(72)【発明者】

【氏名】田村 直紀

【審査官】木村 慎太郎

(56)【参考文献】

【文献】米国特許出願公開第２０１６／００４４４２２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０２８５７７４（ＵＳ，Ａ１）

【文献】特開２００５－０８０１２１（ＪＰ，Ａ）

【文献】特開２００５－１９００４２（ＪＰ，Ａ）

【文献】特表２００４－５１７３９８（ＪＰ，Ａ）

【文献】特開２０１２－１６４１９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０３

(57)【特許請求の範囲】

【請求項1】

タッチパネルに対して筆記入力が可能な筆記入力装置であって、
前記筆記入力装置の先端部と被接触部との接触開始時の筆圧である第１筆圧を検出する筆圧検出部と、
前記筆圧検出部により検出される前記第１筆圧と前記タッチパネルの入力面に対する前記筆記入力装置の角度とに基づいて、第１疑似音声を生成する音声生成部と、
前記音声生成部により生成される前記第１疑似音声を出力させる音声出力部と、
筆記入力装置の種類及び当該筆記入力装置により筆記入力される入力部の種類の組み合わせに対応する複数の筆記モードのそれぞれに対応する複数の第１サンプル音声データを記憶する記憶部と、
を備え、
前記音声生成部は、前記複数の筆記モードのうちユーザーに選択された筆記モードに対応する前記第１サンプル音声データに対して、前記第１筆圧の特徴と前記角度とに応じた音声加工を行うことにより、前記第１疑似音声を生成する、筆記入力装置。

【請求項2】

前記筆圧検出部は、前記第１筆圧の変化量が第１閾値以上である場合に前記第１筆圧を検出する、
請求項１に記載の筆記入力装置。

【請求項3】

前記筆圧検出部は、前記筆圧が第１閾値未満の状態から第２閾値以上に変化した場合に前記第１筆圧を検出する、
請求項１に記載の筆記入力装置。

【請求項4】

前記第１疑似音声は、前記先端部と前記被接触部との接触開始時に前記先端部が前記被接触部を叩く音であるファーストタッチ音の疑似音声である、
請求項１～３の何れか１項に記載の筆記入力装置。

【請求項5】

前記筆圧検出部は、前記先端部と前記被接触部との接触開始後の筆圧である第２筆圧を検出し、
前記音声生成部は、前記第２筆圧に基づき第２疑似音声を生成し、
前記音声出力部は、前記音声生成部により生成される前記第２疑似音声を出力させる、
請求項１～４の何れか１項に記載の筆記入力装置。

【請求項6】

前記筆圧検出部は、前記先端部と前記被接触部とが接触を開始したときに前記第１筆圧を検出し、その後に前記先端部と前記被接触部との接触状態が終了するまでの間の筆圧を前記第２筆圧として検出し、
前記音声出力部は、前記音声生成部により生成される前記第１疑似音声及び前記第２疑似音声を連続して出力させる、
請求項５に記載の筆記入力装置。

【請求項7】

前記第２疑似音声は、前記先端部と前記被接触部との接触開始後に前記先端部が前記被接触部に接触した状態で移動する際に生じる摩擦音の疑似音声である、
請求項５又は６に記載の筆記入力装置。

【請求項8】

前記先端部の前記被接触部に対する移動速度を算出する移動速度算出部をさらに備え、
前記記憶部は、さらに、前記複数の筆記モードのそれぞれに対応する複数の第２サンプル音声データを記憶し、
前記音声生成部は、前記複数の筆記モードのうちユーザーに選択された筆記モードに対応する前記第２サンプル音声データに対して、前記第２筆圧の特徴及び前記移動速度に応じた音声加工を行うことにより、前記第２疑似音声を生成する、
請求項５～７の何れか１項に記載の筆記入力装置。

【請求項9】

音声を出力するスピーカーをさらに備え、
前記音声出力部は、前記音声生成部により生成される前記第１疑似音声を前記スピーカーから出力させる、
請求項１～８の何れか１項に記載の筆記入力装置。

【請求項10】

タッチパネルと、当該タッチパネルに筆記入力が可能な筆記入力装置と、を含み、
前記筆記入力装置の先端部と被接触部との接触開始時の筆圧である第１筆圧を検出する筆圧検出部と、
前記筆圧検出部により検出される前記第１筆圧と前記タッチパネルの入力面に対する前記筆記入力装置の角度とに基づいて、第１疑似音声を生成する音声生成部と、
前記音声生成部により生成される前記第１疑似音声を出力させる音声出力部と、
筆記入力装置の種類及び当該筆記入力装置により筆記入力される入力部の種類の組み合わせに対応する複数の筆記モードのそれぞれに対応する複数の第１サンプル音声データを記憶する記憶部と、
を備え、
前記音声生成部は、前記複数の筆記モードのうちユーザーに選択された筆記モードに対応する前記第１サンプル音声データに対して、前記第１筆圧の特徴と前記角度とに応じた音声加工を行うことにより、前記第１疑似音声を生成する、筆記入力システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、タッチパネルに対して筆記入力が可能な筆記入力装置及び筆記入力システムに関する。

【背景技術】

【0002】

スタイラスペンなどの電子ペンによりタッチパネルなどの電子ボード（電子黒板、電子ホワイトボードなど）に筆記入力するシステムが知られている。電子ペンでタッチパネルに記入する方式は、チョークで黒板に記入する従来の方式に比べて、電子ペン及び入力面の材質がチョーク及び黒板の材質と異なるため、筆記する際にほとんど筆記音が発生しない。ここで、教育現場、会議などにおいて、筆記者による筆記音が参加者の集中力の向上に寄与することが知られている。従来、前記システムにおいて、チョークで黒板に筆記する際に生じるような筆記音の疑似音声を発生させる技術が提案されている。例えば特許文献１には、ペンの速度に基づいて前記擬似音声を発生させる技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平８－１９０４５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、前記従来の技術は、ペンの速度に応じて前記擬似音声を発生させる構成であり、前記疑似音声は、前記ペンで線を描画する際に当該ペンが入力面を擦る（移動する）ことにより発生する音（摩擦音）である。ここで、通常、前記ペンで筆記する際には当該ペンが入力面に接触することにより打撃音（ファーストタッチ音）が発生する。前記ファーストタッチ音は、筆記が行われる度に発生するものである。この点、前記従来の技術では、前記ファーストタッチ音を再現することが難しい。このため、筆記音の再現性が劣り、違和感が生じてしまう。

【0005】

本発明の目的は、電子ペンなどの筆記入力装置が入力面などの被接触部に接触することにより生じるファーストタッチ音の疑似音声を出力させることが可能な筆記入力装置及び筆記入力システムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の一の態様に係る筆記入力装置は、タッチパネルに対して筆記入力が可能な筆記入力装置であって、前記筆記入力装置の先端部が被接触部に接触することによる筆圧を検出する筆圧検出部と、前記筆圧検出部により検出される前記筆圧に基づいて、疑似音声を生成する音声生成部と、前記音声生成部により生成される前記疑似音声を出力させる音声出力部と、を備える。

【0007】

本発明の他の態様に係る筆記入力システムは、タッチパネルと、当該タッチパネルに筆記入力が可能な筆記入力装置と、を含み、前記筆記入力装置の先端部が被接触部に接触することによる筆圧を検出する筆圧検出部と、前記筆圧検出部により検出される前記筆圧に基づいて、疑似音声を生成する音声生成部と、前記音声生成部により生成される前記疑似音声を出力させる音声出力部と、を備える。

【発明の効果】

【0008】

本発明によれば、電子ペンなどの筆記入力装置が入力面などの被接触部に接触することにより生じるファーストタッチ音の疑似音声を出力させることが可能となる。

【図面の簡単な説明】

【0009】

【図1】図１は、本発明の実施形態に係る筆記入力システムの構成を示す外観図である。

【図2】図２は、本発明の実施形態に係る電子ボードの構成を示すブロック図である。

【図3】図３は、本発明の実施形態に係るタッチペンの構成を示すブロック図である。

【図4】図４は、本発明の実施形態に係るタッチペンの具体的な構成を示すブロック図である。

【図5】図５は、本発明の実施形態に係るタッチペンの記憶部に記憶される筆記モード情報の一例を示す図である。

【図6】図６は、本発明の実施形態に係るタッチペンの記憶部に記憶される音声データ情報の一例を示す図である。

【図7】図７は、本発明の実施形態に係るタッチペンの記憶部に記憶される判定用データの一例を示す図である。

【図8】図８は、本発明の実施形態に係るタッチペンの記憶部に記憶されるサンプル音声データの一例を示す図である。

【図9】図９は、本発明の実施形態に係る筆記入力システムで実行される音声出力処理の手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。

【0011】

図１に示すように、本発明の実施形態に係る筆記入力システム１００は、電子ボード１と、電子ボード１に対して手書き文字などを筆記入力が可能なタッチペン２とを備えている。電子ボード１は、後述する表示パネル１３及びタッチパネル１４を備え、タッチパネル１４の入力面（タッチ面）にタッチペン２のペン先２０（図３参照）が接触することにより、接触位置を検出し、当該接触位置に基づいて表示パネル１３の表示面に情報（手書き文字など）を描画する。筆記入力システム１００は本発明の筆記入力システムの一例であり、タッチペン２は本発明の筆記入力装置の一例である。

【0012】

［電子ボード１］
本発明では、公知の構成を備える電子ボードを適用することができる。ここでは、一例として、電子ボード１の概略構成を説明し、詳細な説明は省略する。

【0013】

電子ボード１は、制御部１１、記憶部１２、表示パネル１３、タッチパネル１４、及び通信部１５を備えている。

【0014】

表示パネル１３は、画像を表示するディスプレイであり、例えば液晶ディスプレイである。

【0015】

タッチパネル１４は、タッチパネル１４に対するユーザのタッチペン２によるタッチ入力を受け付ける。タッチパネル１４は、静電容量方式のタッチパネルであってもよいし、感圧式のタッチパネルであってもよい。すなわち、タッチパネル１４は、タッチ等、ユーザのタッチ入力を受け付けることが可能な装置であればよい。タッチパネル１４は、表示パネル１３の前面に配置されてもよいし、表示パネル１３に内蔵されてもよい。また、タッチパネル１４及び表示パネル１３は、互いに離れた場所に配置され、互いに通信可能に構成されてもよい。ここでは、タッチパネル１４が表示パネル１３の前面に配置され、タッチパネル１４及び表示パネル１３が一体に形成された一体型のタッチパネルディスプレイを例に挙げて説明する。

【0016】

通信部１５は、電子ボード１を有線又は無線でネットワークに接続し、ネットワークを介してタッチペン２などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。

【0017】

記憶部１２は、各種の情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性の記憶部である。記憶部１２には、各種の制御プログラムが記憶されている。制御プログラムは、ＵＳＢ、ＣＤ又はＤＶＤ（何れも登録商標）などのコンピュータ読取可能な記録媒体に非一時的に記録されており、電子ボード１に電気的に接続されるＵＳＢドライブ、ＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶される。前記制御プログラムは、ネットワークを介して外部機器からダウンロードされて記憶部１２に記憶されてもよい。

【0018】

制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより電子ボード１を制御する。

【0019】

具体的に、制御部１１は、図２に示すように、入力検出部１１１及び描画処理部１１２などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。

【0020】

入力検出部１１１は、タッチパネル１４に対する前記タッチ入力を検出する。具体的には、入力検出部１１１は、被接触部（例えばタッチパネル１４の入力面）においてタッチペン２によって入力（指定）された位置座標を検出する。例えば、入力検出部１１１は、タッチペン２と前記入力面との間の静電容量の変化を検出することにより前記位置座標を検出する。前記位置座標を検出する方式は、静電容量方式に限定されず、公知の種々の方式を適用することができる。

【0021】

描画処理部１１２は、入力検出部１１１により検出される前記タッチ入力に応じた情報を表示パネル１３に描画する。例えば、描画処理部１１２は、入力検出部１１１により検出される前記タッチ入力の位置情報に基づいて、前記タッチ入力に応じた手書き文字を表示パネル１３の所定の位置に描画する。

【0022】

［タッチペン２］
タッチペン２は、ユーザが電子ボード１に対してタッチ入力するための電子ペン（スタイラスペンともいう。）である。例えば、ユーザは、タッチペン２により、タッチパネル１４の入力面（被接触部）に対してタッチ入力を行う。

【0023】

図３は、タッチペン２の概略構成を模式的に示すブロック図であり、図４は、タッチペン２の具体的な構成を示すブロック図である。タッチペン２は、制御部２１、記憶部２２、感圧センサ２３、加速度センサ２４、スピーカー２５、通信部２６、モードスイッチ２７、及び音声スイッチ２８を備えている。感圧センサ２３は、タッチペン２の一端であるペン先２０の近傍に設けられ、スピーカー２５は、タッチペン２の他端に設けられる。

【0024】

感圧センサ２３は、タッチペン２のペン先２０がタッチパネル１４の入力面などの被接触部に接触した場合に、ペン先２０に加わる筆圧を検知する。前記被接触部は、タッチパネル１４の入力面に限定されず、机などであってもよい。タッチパネル１４の入力面及び机は、本発明の被接触部の一例である。またペン先２０は、本発明の筆記入力装置の先端部の一例である。感圧センサ２３には、例えば圧電素子を用いた公知の圧力センサを適用することができる。感圧センサ２３は、筆圧を検知すると検知信号を制御部２１に出力する。

【0025】

加速度センサ２４は、重力方向に対する傾きを検出する。具体的には、加速度センサ２４は、タッチペン２の傾斜角度を検出する。加速度センサ２４は、必要に応じてタッチペン２に設けられ、省略されてもよい。

【0026】

スピーカー２５は、制御部２１の命令に従って所定の音声を出力する。スピーカー２５は、本発明のスピーカーの一例である。例えば、スピーカー２５は、筆記を開始する際にペン先２０がタッチパネル１４の入力面に接触することにより生じる打撃音（ファーストタッチ音）の疑似音声、筆記中にペン先２０が前記入力面を擦る（移動する）ことにより生じる摩擦音の疑似音声などを外部に報知する。前記ファーストタッチ音は、ペン先２０が前記入力面を叩く音である。前記摩擦音は、ペン先２０と前記入力面との接触開始後にペン先２０が前記入力面に接触した状態で移動する際に生じる音である。前記ファーストタッチ音の疑似音声は、本発明の第１疑似音声の一例であり、前記摩擦音の疑似音声は、本発明の第２疑似音声の一例である。

【0027】

なお、スピーカー２５は、タッチペン２の外部に設けられてもよい。例えば、スピーカー２５は、電子ボード１に設けられてもよいし、タッチペン２及び電子ボード１の外部の機器に設けられてもよい。例えば、スピーカー２５は、筆記入力システム１００が導入される会議室に設置されたスピーカーであってもよい。

【0028】

通信部２６は、タッチペン２を有線又は無線でネットワークに接続し、ネットワークを介して電子ボード１などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。

【0029】

モードスイッチ２７は、前記疑似音声の種類（音質、音色など）に応じた筆記モードを切り替えるためのスイッチである。前記筆記モードには、例えば、黒板にチョークで筆記する際に生じる音に対応する黒板筆記モードＭ１と、紙に鉛筆で筆記する際に生じる音に対応する鉛筆筆記モードＭ２と、紙にボールペンで筆記する際に生じる音に対応するボールペン筆記モードＭ３とが含まれる。ユーザがモードスイッチ２７を押下する度に、前記筆記モードが黒板筆記モードＭ１、鉛筆筆記モードＭ２、及びボールペン筆記モードＭ３に順に切り替われる。

【0030】

音声スイッチ２８は、前記疑似音声を出力させる音声モードと、前記疑似音声を出力させない非音声モードとを切り替えるためのスイッチである。音声スイッチ２８をＯＮ状態にすると、前記音声モードに切り替わり、音声スイッチ２８をＯＦＦ状態にすると、前記非音声モードに切り替わる。ユーザは、前記疑似音声を出力させたい場合に、音声スイッチ２８をＯＮ状態にして前記音声モードに設定する。

【0031】

記憶部２２は、各種の情報を記憶する半導体メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などを含む不揮発性の記憶部である。例えば、記憶部２２には、制御部２１に後述の音声出力処理（図９参照）を実行させるための音声出力プログラムなどの制御プログラムが記憶されている。例えば、前記音声出力プログラムは、ＵＳＢ、ＣＤ又はＤＶＤ（何れも登録商標）などのコンピュータ読取可能な記録媒体に非一時的に記録されており、タッチペン２に電気的に接続されるＵＳＢドライブ、ＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部２２に記憶される。前記音声出力プログラムは、ネットワークを介して外部機器からダウンロードされて記憶部２２に記憶されてもよい。

【0032】

また、記憶部２２には、筆記モード情報２２１、音声データ情報２２２、判定用データ２２３、及びサンプル音声データ２２４が含まれる。

【0033】

図５は、筆記モード情報２２１の一例を示す図である。筆記モード情報２２１には、前記筆記モードＭ１，Ｍ２，Ｍ３などの情報が登録される。筆記モード情報２２１には、予め１又は複数の筆記モードの情報が登録されている。なお、タッチペン２は、タッチペン２のユーザが適宜、前記筆記モードを追加したり削除したりすることが可能な構成であってもよい。

【0034】

図６は、音声データ情報２２２の一例を示す図である。音声データ情報２２２には、筆記モードの情報と、判定用データの情報と、サンプル音声データの情報と、音声加工情報（例えば後述する「音量係数」）とが互いに関連付けられて登録されている。前記筆記モードは、図５に示す筆記モード情報２２１に登録される前記筆記モードである。

【0035】

前記判定用データは、感圧センサ２３により検知される筆圧からファーストタッチを特定するためのデータであり、具体的には波形照合によりファーストタッチを特定するための波形データ（筆圧波形データ）、あるいは筆圧の特徴量によりファーストタッチを特定するための判定条件についての情報である。前記判定用データは、図７に示す判定用データ２２３に記憶されている。

【0036】

例えば、波形照合によりファーストタッチを特定する場合、判定用データ２２３には、筆圧が大きいファーストタッチ音の判定用データＤＦ１１の筆圧波形データと、筆圧が小さいファーストタッチ音の判定用データＤＦ１２の筆圧波形データと、筆圧が大きい摩擦音の判定用データＤＲ１１の筆圧波形データと、筆圧が小さい摩擦音の判定用データＤＲ１２の筆圧波形データとが登録されている。なお、ファーストタッチ音に対応する判定用データには、筆圧の変化を微分処理した波形データも登録されている。音声データ情報２２２（図６参照）には、図７に示す判定用データ２２３に登録される判定用データ（筆圧波形データ）の識別情報が登録される。

【0037】

また音声データ情報２２２において、前記判定用データには、音声加工情報が関連付けられている。前記音声加工情報は、前記判定用データの筆圧に応じて予め設定される。例えば筆圧が大きいファーストタッチ音の判定用データＤＦ１１には、値が大きい音声加工情報が関連付けられ、筆圧が小さいファーストタッチ音の判定用データＤＦ１２には、値が小さい音声加工情報が関連付けられる。

【0038】

前記サンプル音声データは、前記疑似音声を生成するための基準となる波形データ（音声波形データ）である。前記サンプル音声データは、図８に示すサンプル音声データ２２４に記憶されている。例えば、サンプル音声データ２２４には、ファーストタッチ音のサンプル音声データ（以下、「第１サンプル音声データＳＦ１」という。）の音声波形データと、摩擦音のサンプル音声データ（以下、「第２サンプル音声データＳＲ１」という。）の音声波形データとが登録されている。音声データ情報２２２（図６参照）には、図８に示すサンプル音声データ２２４に登録されるサンプル音声データ（音声波形データ）の識別情報が登録される。

【0039】

記憶部２２の筆記モード情報２２１、音声データ情報２２２、判定用データ２２３、及びサンプル音声データ２２４の少なくとも何れか１つは、タッチペン２の外部に設置されたデータサーバ（図示せず）に記憶されてもよい。前記データサーバは、１つの物理サーバで構成されてもよいし、複数の物理サーバで構築されたクラウドサーバで構成されてもよい。

【0040】

制御部２１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶された不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部２１は、前記ＲＯＭ又は記憶部２２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することによりタッチペン２を制御する。

【0041】

具体的に、制御部２１は、図４に示すように、筆圧検出部２１１、音声生成部２１２、及び音声出力部２１３などの各種の処理部を含む。なお、制御部２１は、前記ＣＰＵで前記音声出力プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部２１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記音声出力プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。

【0042】

以上については、波形照合によりファーストタッチを特定する場合について説明したが、筆圧の特徴量によりファーストタッチを特定する場合においては、前記判定用データとして、前記波形データに代えて、判定を行うための条件や数値のデータなどの判定条件を用いてもよい。判定用データに判定条件を用いる場合、判定用データに波形データを用いる場合に比べて、判定用データのデータ量を低減することができ、また、判定処理における演算処理を軽減することができる。

【0043】

上記における判定を行うための条件や数値のデータとは、具体的には、判定を行うための筆圧の量あるいは筆圧の変化量の閾値、及び上記の閾値を用いて判定を行うための判定条件についての情報である。本方式により判定を行う方法について以下に例を用いて説明する。

【0044】

筆圧検出部２１１は、タッチペン２のペン先２０が被接触部に接触することによる筆圧を検出する。筆圧検出部２１１は、本発明の筆圧検出部の一例である。具体的には、筆圧検出部２１１は、ペン先２０がタッチパネル１４の入力面に接触した場合に感圧センサ２３から取得する検知信号に基づいて前記筆圧を検出する。例えば、筆圧検出部２１１は、筆記を開始する際にペン先２０がタッチパネル１４の入力面に接触するとき（接触開始時：ファーストタッチ）の筆圧（以下「第１筆圧」という。）と、筆記中にペン先２０が前記入力面を擦るとき（接触開始後）の筆圧（以下「第２筆圧」という。）とを検出する。

【0045】

例えば、筆圧検出部２１１は、前記筆圧の変化量が第１閾値以上である場合に、ペン先２０と前記入力面との接触開始時であると判定して前記第１筆圧を検出する。また筆圧検出部２１１は、前記筆圧の変化量が前記第１閾値未満である場合に、ペン先２０と前記入力面との接触開始後であると判定して前記第２筆圧を検出する。

【0046】

また例えば、筆圧検出部２１１は、前記筆圧が第２閾値未満の状態から第３閾値以上に変化した場合に、ペン先２０と前記入力面との接触開始時であると判定して前記第１筆圧を検出してもよい。このように、筆圧検出部２１１は、筆圧の変化量に基づいて前記第１筆圧を検出してもよいし、筆圧値に基づいて前記第１筆圧を検出してもよい。

【0047】

なお、本実施形態において、前記第２閾値未満の状態とは、筆圧値がほとんどゼロであり、ペン先２０が入力面に接触していないと判定できる状態である。また前記第３閾値以上の状態とは、筆圧値がゼロよりも大きく、ペン先２０が入力面に接触していると判定できる状態である。前記第２閾値と前記第３閾値の間はどちらとも判定できない中間状態である。つまり、筆圧検出部２１１は、筆圧値がほとんどゼロでありペン先２０が入力面に接触していないと判定される状態から、筆圧値がある程度大きい値でありペン先２０が入力面に接触していると判定される状態に切り替わったタイミングを、接触開始時であると判定する。なお、前記中間状態は、前記判定が過敏過ぎることによる誤判定を防止するために設定されるものであるが、これを考慮しない場合には、前記中間状態を設定せずに前記第２閾値と前記第３閾値とを同じ値に設定してもよい。

【0048】

音声生成部２１２は、筆圧検出部２１１により検出される前記筆圧に基づいて、前記疑似音声を生成する。具体的には、音声生成部２１２は、筆圧検出部２１１により検出される前記筆圧を音声加工することにより、前記疑似音声を生成する。音声生成部２１２は、本発明の音声生成部の一例である。例えば、音声生成部２１２は、前記第１筆圧に基づき前記ファーストタッチ音の疑似音声（以下、「第１疑似音声」という。）を生成し、前記第２筆圧に基づき前記摩擦音の疑似音声（以下、「第２疑似音声」という。）を生成する。例えば音声生成部２１２は、サンプル音声データ２２４（図８参照）に記憶された前記第１サンプル音声データＳＦ１に対して、前記第１筆圧の特徴に応じた音声加工を行うことにより、前記第１疑似音声を生成する。また音声生成部２１２は、サンプル音声データ２２４に記憶された前記第２サンプル音声データＳＲ１に対して、前記第２筆圧の特徴に応じた音声加工を行うことにより、前記第２疑似音声を生成する。前記筆圧の特徴とは、例えば筆圧の波形の特徴、音量の特徴などである。

【0049】

具体的には、音声生成部２１２は、先ず、感圧センサ２３の出力値（波形データ）を判定用データ２２３に登録された筆圧波形データ（図７参照）又は判定条件により判定を行う。なお、判定用データには、筆圧波形データ（図７参照）又は判定条件と、それに対応する基準のサンプル音声データの音声波形データ（図８参照）と、音声加工情報とが互いに関連付けられて記憶されている（図６、図７及び図８参照）。音声生成部２１２は、感圧センサ２３の出力値を用いて前記波形照合あるいは判定条件による判定を行ってもよいし、微分値を用いて前記波形照合あるいは判定条件による判定を行ってもよい。音声生成部２１２は、前記波形照合あるいは判定条件による判定により、前記疑似音声（第１疑似音声、第２疑似音声）を生成するために用いるサンプル音声データ及び音声加工情報を決定する。

【0050】

次に、音声生成部２１２は、決定した前記サンプル音声データに前記音声加工情報に応じた音声加工を施して前記疑似音声（第１疑似音声、第２疑似音声）を生成する。前述の音声加工情報とは、各種の上記音声加工を行うための情報であり、具体的には、音量の倍率を定めた係数である音量係数、音声周波数の変更倍率を定めた係数である周波数変更係数、あるいはその他の音声加工を行うための各種の音声加工フィルタ（例えば、音声波形変更フィルタやバンドパスフィルタなど）が含まれる。前記音声加工は、例えば前記音量係数に基づいて前記サンプル音声データを増幅する処理（音量調整処理）、前記周波数変調係に基づいて前記サンプル音声データの音声周波数を変更する処理（周波数変更処理）、前記音声波形変更フィルタを用いて前記サンプル音声データの音声波形を方形波、正弦波のような特定の波形に近づけるように変化させる処理（音声波形変更処理）、前記サンプル音声データを前記バンドパスフィルタであるローパスフィルタ、ハイパスフィルタなどにより特定周波数の音声を強調する処理（バンドパスフィルタ処理）などを含む。ここでは一例として、音声生成部２１２は、前記サンプル音声データに前記音量係数に応じた音量調整処理を施して前記疑似音声を生成する。

【0051】

音声出力部２１３は、音声生成部２１２により生成された前記疑似音声（第１疑似音声、第２疑似音声）をスピーカー２５から出力させる。音声出力部２１３は、本発明の音声出力部の一例である。

【0052】

ここで、筆圧検出部２１１は、ペン先２０と前記入力面とが接触を開始したときに前記第１筆圧を検出し、その後、ペン先２０と前記入力面との接触状態が終了するまでの間の筆圧を前記第２筆圧として検出する。そして、音声出力部２１３は、音声生成部２１２により生成される前記第１疑似音声及び前記第２疑似音声を連続してスピーカー２５から出力させる。

【0053】

［音声出力処理］
図９を参照しつつ、筆記入力システム１００によって実行される音声出力処理の一例について説明する。例えば、前記音声出力処理は、タッチペン２の制御部２１によって実行される。なお、ここでは、前記筆記モードが黒板筆記モードＭ１に設定されたものとする。

【0054】

なお、本発明は、前記音声出力処理に含まれる一又は複数のステップを実行する音声出力方法の発明として捉えることができ、ここで説明する当該音声出力処理に含まれる一又は複数のステップが適宜省略されてもよい。なお、前記音声出力処理における各ステップは同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部２１によって前記音声出力処理における各ステップが実行される場合を例に挙げて説明するが、複数のプロセッサーによって当該音声出力処理における各ステップが分散して実行される音声出力方法も他の実施形態として考えられる。

【0055】

先ずステップＳ１１において、制御部２１は、タッチペン２のペン先２０が被接触部（タッチパネル１４の入力面）に接触することによる筆圧を検出したか否か判定する。制御部２１が筆圧を検出すると（Ｓ１１：ＹＥＳ）、処理はステップＳ１２に移行する。

【0056】

ステップＳ１２において、制御部２１は、前記筆圧の変化量が第１閾値以上であるか否かを判定する。前記筆圧の変化量が第１閾値以上である場合（Ｓ１２：ＹＥＳ）、処理はステップＳ１３に移行し、前記筆圧の変化量が第１閾値未満である場合（Ｓ１２：ＮＯ）、処理はステップＳ１４に移行する。

【0057】

ステップＳ１３において、制御部２１は、接触開始時（ファーストタッチ）の筆圧（第１筆圧）を検出する。一方ステップＳ１４において、制御部２１は、接触開始後の筆圧（第２筆圧）を検出する。ステップＳ１３、Ｓ１４の後、処理はステップＳ１５に移行する。

【0058】

ステップＳ１５において、制御部２１は、検出した前記筆圧（第１筆圧又は第２筆圧）の波形データを判定用データ２２３に登録された筆圧波形データ（図７参照）と波形照合あるいは判定条件による判定を行う。

【0059】

次にステップＳ１６において、制御部２１は、前記波形照合あるいは判定条件による判定により判定された、判定用データに関連付けられた前記サンプル音声データ及び前記音声加工情報を決定する（図６参照）。

【0060】

次にステップＳ１７において、制御部２１は、決定した前記サンプル音声データに前記音声加工情報に応じた音声加工を施して疑似音声（第１疑似音声、第２疑似音声）を生成する。

【0061】

最後にステップＳ１８において、制御部２１は、生成した前記疑似音声（第１疑似音声、第２疑似音声）をスピーカー２５から出力させる。以上の手順で前記音声出力処理が実行される。

【0062】

以上説明したように、本実施形態に係る筆記入力システム１００は、タッチペン２のペン先２０が被接触部（例えばタッチパネル１４の入力面）に接触することにより検出される筆圧に基づいて前記疑似音声を生成し、生成した前記疑似音声を出力させる構成を備える。このため、特にファーストタッチにより発生する音（ファーストタッチ音）を再現することができる。またファーストタッチに続く筆記中の音（摩擦音）を再現することができる。また、筆圧の大きさに応じて前記疑似音声の音量を変化させることができる。これらの構成によれば、ユーザの筆記状態に応じて発生する筆記音の疑似音声を出力することができるため、当該筆記音の再現性を向上させることができ、違和感のない音声出力を実現することができる。

【0063】

本発明は上述の実施形態に限定されない。本発明の他の実施形態に対応する変形例について以下に説明する。

【0064】

［変形例１］
ファーストタッチにより発生する打撃音（ファーストタッチ音）は、筆圧の他にペン先２０とタッチパネル１４の入力面とが接触する際の、前記入力面に対するタッチペン２の角度によって異なる場合がある。例えば、前記入力面に対するタッチペン２の角度が垂直な場合と傾斜している場合とで、ファーストタッチ音の性質及び音量が異なる場合がある。

【0065】

そこで、変形例１に係る筆記入力システム１００では、制御部２１が、加速度センサ２４により検出される前記傾斜角度に基づいて、タッチパネル１４の入力面に対するタッチペン２の角度を検出する。そして、制御部２１（音声生成部２１２）は、筆圧検出部２１１により検出される前記筆圧と前記タッチペン２の角度とに基づいて、前記疑似音声を生成する。この場合、例えば、判定用データ２２３には、筆圧と前記タッチペン２の角度とに対応する判定用データが記憶されてもよい。音声生成部２１２は、筆圧検出部２１１により検出される前記筆圧と前記タッチペン２の角度とに基づいて前記波形照合あるいは判定条件による判定を行い、サンプル音声データ及び音声加工情報を決定する。

【0066】

この構成によれば、前記波形照合あるいは判定条件による判定の精度を向上させることができるため、より再現性の高い疑似音声を出力することができる。

【0067】

［変形例２］
筆記入力システム１００は、タッチペン２の移動速度（描画速度）に基づいて、前記摩擦音の疑似音声を生成してもよい。例えば、制御部２１は、加速度センサ２４を用いて前記移動速度を算出する。なお、前記移動速度は、加速度センサ２４の検出値を時間積分することにより算出される。制御部２１は、移動速度算出部として機能する。

【0068】

次に、音声生成部２１２は、前記第２サンプル音声データに対して、前記第２筆圧の特徴及び前記移動速度に応じた音声加工を行うことにより、前記第２疑似音声を生成する。具体的には、音声生成部２１２は、筆圧検出部２１１により検出される前記第２筆圧と、加速度センサ２４により算出される前記移動速度とに基づいて前記波形照合あるいは判定条件による判定を行い、前記第２サンプル音声データ及び前記音声加工情報を決定して前記疑似音声を生成する。このように、前記筆圧と前記移動速度とを用いて前記摩擦音の疑似音声を生成するため、前記摩擦音の再現性を向上させることができる。

【0069】

なお、上記の例では加速度センサ２４の検出値を用いて前記移動速度を算出したが、他の例として、電子ボード１の制御部１１が前記移動速度を算出してもよい。この場合、電子ボード１は算出した前記移動速度の情報をタッチペン２に通知し、タッチペン２は電子ボード１から取得した前記移動速度の情報に基づいて前記疑似音声を生成する。

【0070】

［変形例３］
上述した各形態では、ユーザが音声スイッチ２８をＯＮ状態にした場合には、ユーザがタッチペン２をタッチパネル１４以外の被接触部に接触させた場合にも前記疑似音声が出力される場合がある。例えば、ユーザがタッチペン２のペン先２０を机に接触させたり、机を擦ったりした場合に、前記疑似音声が出力される。このため、ユーザは、タッチペン２を様々な被接触部に接触させて前記疑似音声を出力させることができるため、タッチペン２の利用態様を広げることができる。

【0071】

一方で、ユーザは、タッチペン２をタッチパネル１４に接触させた場合にのみ前記疑似音声を出力させて、タッチペン２をタッチパネル１４以外（例えば机）に接触させた場合には前記疑似音声を出力させない構成を望む場合もある。この構成を実現するために、変形例３に係る筆記入力システム１００では、電子ボード１の制御部１１（入力検出部１１１）が、タッチペン２によって入力（指定）された位置座標を検出した場合に検出信号をタッチペン２に通知する。そして、タッチペン２は、電子ボード１から前記検出信号を取得した場合に、前記音声出力処理（図９参照）を実行する。これにより、ユーザが意図しない前記疑似音声の出力を防ぐことができる。

【0072】

上述した各形態に係る筆記入力システム１００では、タッチペン２の制御部２１の各処理部（筆圧検出部２１１、音声生成部２１２、及び音声出力部２１３）と、記憶部２２に記憶される各情報（筆記モード情報２２１、音声データ情報２２２、判定用データ２２３、及びサンプル音声データ２２４）とが、電子ボード１に含まれてもよい。またスピーカー２５が、電子ボード１に含まれてもよい。例えば、電子ボード１は、左右２箇所にスピーカー２５を備え、タッチペン２によりタッチ入力された位置（位置座標）に近い方のスピーカー２５から前記疑似音声を出力させる構成であってもよい。

【符号の説明】

【0073】

１ ：電子ボード
２ ：タッチペン
１１ ：制御部
１２ ：記憶部
１３ ：表示パネル
１４ ：タッチパネル
２０ ：ペン先
２１ ：制御部
２２ ：記憶部
２３ ：感圧センサ
２４ ：加速度センサ
２５ ：スピーカー
２７ ：モードスイッチ
２８ ：音声スイッチ
１００ ：筆記入力システム
１１１ ：入力検出部
１１２ ：描画処理部
２１１ ：筆圧検出部
２１２ ：音声生成部
２１３ ：音声出力部
２２１ ：筆記モード情報
２２２ ：音声データ情報
２２３ ：判定用データ
２２４ ：サンプル音声データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】