特許 7219076 筆記入力装置及び筆記入力システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-30

(45)【発行日】2023-02-07

(54)【発明の名称】筆記入力装置及び筆記入力システム

(51)【国際特許分類】

   G06F 3/03 20060101AFI20230131BHJP

【ＦＩ】

G06F3/03 400Z

【請求項の数】 13

(21)【出願番号】P 2018229851

(22)【出願日】2018-12-07

(65)【公開番号】P2020091781

(43)【公開日】2020-06-11

【審査請求日】2021-09-22

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100167302

【弁理士】

【氏名又は名称】種村 一幸

(74)【代理人】

【識別番号】100135817

【弁理士】

【氏名又は名称】華山 浩伸

(72)【発明者】

【氏名】田村 直紀

【審査官】塩屋 雅弘

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０２８５７７４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／００４４４２２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１２／０１２７０８８（ＵＳ，Ａ１）

【文献】国際公開第２００８／０７８５２３（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００９／０２９５７５８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

３／０３－３／０４８９５

Ｇ０６Ｖ３０／００－３０／１２

３０／１８－３０／２２２

３０／２２６－３０／３２

３０／４２－３０／４２４

(57)【特許請求の範囲】

【請求項1】

タッチパネルに対して筆記入力が可能な筆記入力装置であって、
前記筆記入力装置の先端部が被接触部に接触する際に生じる接触音を検出するマイクと、
前記マイクにより検出される前記接触音に基づいて、疑似音声を生成する音声生成部と、
前記音声生成部により生成される前記疑似音声を出力させる音声出力部と、
を備え、
前記音声出力部は、前記マイクにより検出される前記接触音の音量が閾値以下の場合に前記疑似音声を出力し、前記マイクにより検出される前記接触音の音量が前記閾値を超える場合に前記疑似音声を出力しない、筆記入力装置。

【請求項2】

前記音声生成部は、前記マイクにより検出される前記接触音を音声加工することにより前記疑似音声を生成する、
請求項１に記載の筆記入力装置。

【請求項3】

サンプル音声データを記憶する記憶部をさらに備え、
前記音声生成部は、前記マイクにより検出される前記接触音と前記サンプル音声データに基づき前記疑似音声を生成する、
請求項１に記載の筆記入力装置。

【請求項4】

前記音声生成部は、前記サンプル音声データに対して前記接触音の特徴に応じた音声加工を行うことにより、前記疑似音声を生成する、
請求項３に記載の筆記入力装置。

【請求項5】

前記先端部に加わる筆圧を検出する筆圧検出部をさらに備え、
前記音声生成部は、前記筆圧検出部により検出される前記筆圧に応じて前記疑似音声を変化させる、
請求項１～４の何れか１項に記載の筆記入力装置。

【請求項6】

前記音声出力部は、前記筆圧検出部により検出される前記筆圧が第１閾値以上である場合に前記疑似音声を出力し、前記筆圧が前記第１閾値未満である場合に前記疑似音声を出力しない、
請求項５に記載の筆記入力装置。

【請求項7】

前記音声生成部は、前記筆圧検出部により検出される前記筆圧の変化量が第２閾値以上である場合に前記筆圧に基づいて前記疑似音声を生成し、前記筆圧検出部により検出される前記筆圧の変化量が前記第２閾値未満の場合に、前記マイクにより検出される前記接触音に基づいて前記疑似音声を生成する、
請求項５又は６に記載の筆記入力装置。

【請求項8】

前記音声生成部は、前記筆圧検出部により検出される前記筆圧と前記マイクにより検出される前記接触音とに基づいて前記疑似音声を生成する、
請求項５又は６に記載の筆記入力装置。

【請求項9】

前記筆記入力装置により前記タッチパネルに対して前記筆記入力を行った場合に、前記タッチパネルから前記筆記入力に応じた検出信号を取得する検出取得部をさらに備え、
前記音声出力部は、前記検出取得部により前記検出信号が取得された場合に前記疑似音声を出力し、前記検出取得部により前記検出信号が取得されない場合に前記疑似音声を出力しない、
請求項１～４の何れか１項に記載の筆記入力装置。

【請求項10】

音声を出力するスピーカーをさらに備え、
前記音声出力部は、前記音声生成部により生成される前記疑似音声を前記スピーカーから出力させる、
請求項１～９の何れか１項に記載の筆記入力装置。

【請求項11】

タッチパネルと、当該タッチパネルに筆記入力が可能な筆記入力装置と、を含み、
前記筆記入力装置の先端部が被接触部に接触する際に生じる接触音を検出するマイクと、
前記マイクにより検出される前記接触音に基づいて、疑似音声を生成する音声生成部と、
前記音声生成部により生成される前記疑似音声を出力させる音声出力部と、
を備え、
前記音声出力部は、前記マイクにより検出される前記接触音の音量が閾値以下の場合に前記疑似音声を出力し、前記マイクにより検出される前記接触音の音量が前記閾値を超える場合に前記疑似音声を出力しない、筆記入力システム。

【請求項12】

タッチパネルに対して筆記入力が可能な筆記入力装置であって、
前記筆記入力装置の先端部が被接触部に接触する際に生じる接触音を検出するマイクと、
前記マイクにより検出される前記接触音に基づいて、疑似音声を生成する音声生成部と、
前記音声生成部により生成される前記疑似音声を出力させる音声出力部と、
前記先端部に加わる筆圧を検出する筆圧検出部と、
を備え、
前記音声生成部は、前記筆圧検出部により検出される前記筆圧の変化量が閾値以上である場合に前記筆圧に基づいて前記疑似音声を生成し、前記筆圧検出部により検出される前記筆圧の変化量が前記閾値未満の場合に、前記マイクにより検出される前記接触音に基づいて前記疑似音声を生成する、筆記入力装置。

【請求項13】

タッチパネルと、当該タッチパネルに筆記入力が可能な筆記入力装置と、を含み、
前記筆記入力装置の先端部が被接触部に接触する際に生じる接触音を検出するマイクと、
前記マイクにより検出される前記接触音に基づいて、疑似音声を生成する音声生成部と、
前記音声生成部により生成される前記疑似音声を出力させる音声出力部と、
前記先端部に加わる筆圧を検出する筆圧検出部と、
を備え、
前記音声生成部は、前記筆圧検出部により検出される前記筆圧の変化量が閾値以上である場合に前記筆圧に基づいて前記疑似音声を生成し、前記筆圧検出部により検出される前記筆圧の変化量が前記閾値未満の場合に、前記マイクにより検出される前記接触音に基づいて前記疑似音声を生成する、筆記入力システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、タッチパネルに対して筆記入力が可能な筆記入力装置及び筆記入力システムに関する。

【背景技術】

【0002】

スタイラスペンなどの電子ペンによりタッチパネルなどの電子ボード（電子黒板、電子ホワイトボードなど）に筆記入力するシステムが知られている。電子ペンでタッチパネルに記入する方式は、チョークで黒板に記入する従来の方式に比べて、電子ペン及び入力面の材質がチョーク及び黒板の材質と異なるため、筆記する際にほとんど筆記音が発生しない。ここで、教育現場、会議などにおいて、筆記者による筆記音が参加者の集中力の向上に寄与することが知られている。従来、前記システムにおいて、チョークで黒板に筆記する際に生じるような筆記音の疑似音声を発生させる技術が提案されている。例えば特許文献１には、ペンの速度に基づいて前記擬似音声を発生させる技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平８－１９０４５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、電子ペンなどの筆記入力装置が入力面などの被接触部に接触することにより生じる筆記音の再現性が高い疑似音声を出力させることが可能な筆記入力装置及び筆記入力システムを提供することにある。

【課題を解決するための手段】

【0005】

本発明の一の態様に係る筆記入力装置は、タッチパネルに対して筆記入力が可能な筆記入力装置であって、前記筆記入力装置の先端部が被接触部に接触する際に生じる接触音を検出するマイクと、前記マイクにより検出される前記接触音に基づいて、疑似音声を生成する音声生成部と、前記音声生成部により生成される前記疑似音声を出力させる音声出力部と、を備える。

【0006】

本発明の他の態様に係る筆記入力システムは、タッチパネルと、当該タッチパネルに筆記入力が可能な筆記入力装置と、を含み、前記筆記入力装置の先端部が被接触部に接触する際に生じる接触音を検出するマイクと、前記マイクにより検出される前記接触音に基づいて、疑似音声を生成する音声生成部と、前記音声生成部により生成される前記疑似音声を出力させる音声出力部と、を備える。

【発明の効果】

【0007】

本発明によれば、電子ペンなどの筆記入力装置が入力面などの被接触部に接触することにより生じる筆記音の再現性が高い疑似音声を出力させることが可能となる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の実施形態に係る筆記入力システムの構成を示す外観図である。

【図2】図２は、本発明の実施形態に係る電子ボードの構成を示すブロック図である。

【図3】図３は、本発明の実施形態に係るタッチペンの構成を示すブロック図である。

【図4】図４は、本発明の実施形態に係るタッチペンの具体的な構成を示すブロック図である。

【図5】図５は、本発明の実施形態に係るタッチペンの記憶部に記憶される筆記モード情報の一例を示す図である。

【図6】図６は、本発明の実施形態に係るタッチペンの記憶部に記憶される音声データ情報の一例を示す図である。

【図7】図７は、本発明の実施形態に係るタッチペンの記憶部に記憶される判定用データの一例を示す図である。

【図8】図８は、本発明の実施形態に係るタッチペンの記憶部に記憶されるサンプル音声データの一例を示す図である。

【図9】図９は、本発明の実施形態に係る筆記入力システムで実行される音声出力処理の手順の一例を示すフローチャートである。

【図10】図１０は、本発明の実施形態に係るタッチペンの他の構成を示すブロック図である。

【図11】図１１は、本発明の実施形態に係るタッチペンの記憶部に記憶される判定用データの他の例を示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。

【0010】

図１に示すように、本発明の実施形態に係る筆記入力システム１００は、電子ボード１と、電子ボード１に対して手書き文字などを筆記入力が可能なタッチペン２とを備えている。電子ボード１は、後述する表示パネル１３及びタッチパネル１４を備え、タッチパネル１４の入力面（タッチ面）にタッチペン２のペン先２０（図３参照）が接触することにより、接触位置を検出し、当該接触位置に基づいて表示パネル１３の表示面に情報（手書き文字など）を描画する。筆記入力システム１００は本発明の筆記入力システムの一例であり、タッチペン２は本発明の筆記入力装置の一例である。

【0011】

［電子ボード１］
本発明では、公知の構成を備える電子ボードを適用することができる。ここでは、一例として、電子ボード１の概略構成を説明し、詳細な説明は省略する。

【0012】

電子ボード１は、制御部１１、記憶部１２、表示パネル１３、タッチパネル１４、及び通信部１５を備えている。

【0013】

表示パネル１３は、画像を表示するディスプレイであり、例えば液晶ディスプレイである。

【0014】

タッチパネル１４は、タッチパネル１４に対するユーザのタッチペン２によるタッチ入力を受け付ける。タッチパネル１４は、静電容量方式のタッチパネルであってもよいし、感圧式のタッチパネルであってもよい。すなわち、タッチパネル１４は、タッチ等、ユーザのタッチ入力を受け付けることが可能な装置であればよい。タッチパネル１４は、表示パネル１３の前面に配置されてもよいし、表示パネル１３に内蔵されてもよい。また、タッチパネル１４及び表示パネル１３は、互いに離れた場所に配置され、互いに通信可能に構成されてもよい。ここでは、タッチパネル１４が表示パネル１３の前面に配置され、タッチパネル１４及び表示パネル１３が一体に形成された一体型のタッチパネルディスプレイを例に挙げて説明する。

【0015】

通信部１５は、電子ボード１を有線又は無線でネットワークに接続し、ネットワークを介してタッチペン２などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。

【0016】

記憶部１２は、各種の情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性の記憶部である。記憶部１２には、各種の制御プログラムが記憶されている。制御プログラムは、ＵＳＢ、ＣＤ又はＤＶＤ（何れも登録商標）などのコンピュータ読取可能な記録媒体に非一時的に記録されており、電子ボード１に電気的に接続されるＵＳＢドライブ、ＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶される。前記制御プログラムは、ネットワークを介して外部機器からダウンロードされて記憶部１２に記憶されてもよい。

【0017】

制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより電子ボード１を制御する。

【0018】

具体的に、制御部１１は、図２に示すように、入力検出部１１１及び描画処理部１１２などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。

【0019】

入力検出部１１１は、タッチパネル１４に対する前記タッチ入力を検出する。具体的には、入力検出部１１１は、被接触部（例えばタッチパネル１４の入力面）においてタッチペン２によって入力（指定）された位置座標を検出する。例えば、入力検出部１１１は、タッチペン２と前記入力面との間の静電容量の変化を検出することにより前記位置座標を検出する。前記位置座標を検出する方式は、静電容量方式に限定されず、公知の種々の方式を適用することができる。

【0020】

描画処理部１１２は、入力検出部１１１により検出される前記タッチ入力に応じた情報を表示パネル１３に描画する。例えば、描画処理部１１２は、入力検出部１１１により検出される前記タッチ入力の位置情報に基づいて、前記タッチ入力に応じた手書き文字を表示パネル１３の所定の位置に描画する。

【0021】

［タッチペン２］
タッチペン２は、ユーザが電子ボード１に対してタッチ入力するための電子ペン（スタイラスペンともいう。）である。例えば、ユーザは、タッチペン２により、タッチパネル１４の入力面（被接触部）に対してタッチ入力を行う。

【0022】

図３は、タッチペン２の概略構成を模式的に示すブロック図であり、図４は、タッチペン２の具体的な構成を示すブロック図である。タッチペン２は、制御部２１、記憶部２２、マイク２３、スピーカー２４、通信部２５、モードスイッチ２６、及び音声スイッチ２７を備えている。マイク２３は、タッチペン２の一端であるペン先２０の近傍に設けられ、スピーカー２４は、タッチペン２の他端に設けられる。

【0023】

マイク２３は、タッチペン２のペン先２０がタッチパネル１４の入力面などの被接触部に接触する際に生じる接触音を検出する。なお、本願でいう「音」とは、媒質を伝わる振動を意味するものであって、空気中を伝わる空気の振動である狭義の「音」以外に、タッチペン２を伝わる物体の振動が含まれる。前記被接触部は、タッチパネル１４の入力面に限定されず、机などであってもよい。タッチパネル１４の入力面及び机は、本発明の被接触部の一例である。またペン先２０は、本発明の筆記入力装置の先端部の一例である。マイク２３は、前記接触音を検出すると検出信号を制御部２１に出力する。

【0024】

スピーカー２４は、制御部２１の命令に従って所定の音声を出力する。スピーカー２４は、本発明のスピーカーの一例である。例えば、スピーカー２４は、筆記を開始する際にペン先２０がタッチパネル１４の入力面に接触することにより生じる打撃音（ファーストタッチ音）の疑似音声、筆記中にペン先２０が前記入力面を擦る（移動する）ことにより生じる摩擦音の疑似音声などを外部に報知する。前記ファーストタッチ音は、ペン先２０が前記入力面を叩く音である。前記摩擦音は、ペン先２０と前記入力面との接触開始後にペン先２０が前記入力面に接触した状態で移動する際に生じる音である。

【0025】

なお、スピーカー２４は、タッチペン２の外部に設けられてもよい。例えば、スピーカー２４は、電子ボード１に設けられてもよいし、タッチペン２及び電子ボード１の外部の機器に設けられてもよい。例えば、スピーカー２４は、筆記入力システム１００が導入される会議室に設置されたスピーカーであってもよい。

【0026】

通信部２５は、タッチペン２を有線又は無線でネットワークに接続し、ネットワークを介して電子ボード１などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。

【0027】

モードスイッチ２６は、前記疑似音声の種類（音質、音色など）に応じた筆記モードを切り替えるためのスイッチである。前記筆記モードには、例えば、黒板にチョークで筆記する際に生じる音に対応する黒板筆記モードＭ１と、紙に鉛筆で筆記する際に生じる音に対応する鉛筆筆記モードＭ２と、紙にボールペンで筆記する際に生じる音に対応するボールペン筆記モードＭ３とが含まれる。ユーザがモードスイッチ２６を押下する度に、前記筆記モードが黒板筆記モードＭ１、鉛筆筆記モードＭ２、及びボールペン筆記モードＭ３に順に切り替われる。

【0028】

音声スイッチ２７は、前記疑似音声を出力させる音声モードと、前記疑似音声を出力させない非音声モードとを切り替えるためのスイッチである。音声スイッチ２７をＯＮ状態にすると、前記音声モードに切り替わり、音声スイッチ２７をＯＦＦ状態にすると、前記非音声モードに切り替わる。ユーザは、前記疑似音声を出力させたい場合に、音声スイッチ２７をＯＮ状態にして前記音声モードに設定する。

【0029】

記憶部２２は、各種の情報を記憶する半導体メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などを含む不揮発性の記憶部である。例えば、記憶部２２には、制御部２１に後述の音声出力処理（図９参照）を実行させるための音声出力プログラムなどの制御プログラムが記憶されている。例えば、前記音声出力プログラムは、ＵＳＢ、ＣＤ又はＤＶＤ（何れも登録商標）などのコンピュータ読取可能な記録媒体に非一時的に記録されており、タッチペン２に電気的に接続されるＵＳＢドライブ、ＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部２２に記憶される。前記音声出力プログラムは、ネットワークを介して外部機器からダウンロードされて記憶部２２に記憶されてもよい。

【0030】

また、記憶部２２には、筆記モード情報２２１、音声データ情報２２２、判定用データ２２３、及びサンプル音声データ２２４が含まれる。

【0031】

図５は、筆記モード情報２２１の一例を示す図である。筆記モード情報２２１には、前記筆記モードＭ１，Ｍ２，Ｍ３などの情報が登録される。筆記モード情報２２１には、予め１又は複数の筆記モードの情報が登録されている。なお、タッチペン２は、タッチペン２のユーザが適宜、前記筆記モードを追加したり削除したりすることが可能な構成であってもよい。

【0032】

図６は、音声データ情報２２２の一例を示す図である。音声データ情報２２２には、筆記モードの情報と、判定用データの情報と、サンプル音声データの情報と、音声加工情報（例えば後述する「音量係数」）とが互いに関連付けられて登録されている。前記筆記モードは、図５に示す筆記モード情報２２１に登録される前記筆記モードである。

【0033】

第１の例としては、前記判定用データは、マイク２３により検出される接触音の種類を特定するための照合用の波形データ（音声波形データ）である。前記判定用データは、図７に示す判定用データ２２３に記憶されている。例えば、判定用データ２２３には、音量が大きいファーストタッチ音の判定用データＤＦ１１の音声波形データと、音量が小さいファーストタッチ音の判定用データＤＦ１２の音声波形データと、音量が大きい摩擦音の判定用データＤＲ１１の音声波形データと、音量が小さい摩擦音の判定用データＤＲ１２の音声波形データとが登録されている。音声データ情報２２２（図６参照）には、図７に示す判定用データ２２３に登録される判定用データ（音声波形データ）の識別情報が登録される。この判定方法は、音声波形の歪みなどの形状的特徴を判定に用いることができるので、波形の形状的特徴を応じて異なる疑似音声を生成するような場合に適している。

【0034】

第２の例としては、前記判定用データは、マイク２３により検出される接触音の種類を音声の特徴量により特定するための判定条件である。ここでいう判定条件とは、例えば、音声の特徴量の閾値、および上記の閾値を用いて判定を行うための情報である。例えば音声の特徴量として音量を用いる場合、前記判定用データには、判定を行うための音量閾値の情報と、当該閾値による判定の条件の情報とを含んでいる。なお、この判定方法は、音声波形の形状的特徴を判定に用いることができないが、前述の音声波形データの波形照合による判定方法よりも、判定に必要なデータ量や演算処理を軽減することができる。

【0035】

また、前述の第１の例及び第２の例の共通の特徴として、音声データ情報２２２において、前記判定用データには、音声加工情報関連付けられている。前記音声加工情報は、前記判定用データの音量に応じて予め設定される。例えば音量が大きいファーストタッチ音の判定用データＤＦ１１には、値が大きい音声加工情報が関連付けられ、音量が小さいファーストタッチ音の判定用データＤＦ１２には、値が小さい音声加工情報が関連付けられる。

【0036】

前記サンプル音声データは、前記疑似音声を生成するための基準となる波形データ（音声波形データ）である。前記サンプル音声データは、図８に示すサンプル音声データ２２４に記憶されている。例えば、サンプル音声データ２２４には、ファーストタッチ音のサンプル音声データ（以下、「第１サンプル音声データＳＦ１」という。）の音声波形データと、摩擦音のサンプル音声データ（以下、「第２サンプル音声データＳＲ１」という。）の音声波形データとが登録されている。音声データ情報２２２（図６参照）には、図８に示すサンプル音声データ２２４に登録されるサンプル音声データ（音声波形データ）の識別情報が登録される。

【0037】

記憶部２２の筆記モード情報２２１、音声データ情報２２２、判定用データ２２３、及びサンプル音声データ２２４の少なくとも何れか１つは、タッチペン２の外部に設置されたデータサーバ（図示せず）に記憶されてもよい。前記データサーバは、１つの物理サーバで構成されてもよいし、複数の物理サーバで構築されたクラウドサーバで構成されてもよい。

【0038】

制御部２１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶された不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部２１は、前記ＲＯＭ又は記憶部２２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することによりタッチペン２を制御する。

【0039】

具体的に、制御部２１は、図４に示すように、接触音取得部２１１、音声生成部２１２、及び音声出力部２１３などの各種の処理部を含む。なお、制御部２１は、前記ＣＰＵで前記音声出力プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部２１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記音声出力プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。

【0040】

接触音取得部２１１は、タッチペン２のペン先２０が被接触部に接触する際に生じる接触音をマイク２３から取得（検出）する。具体的には、接触音取得部２１１は、ペン先２０がタッチパネル１４の入力面に接触した場合にマイク２３から取得する検出信号に基づいて前記接触音を取得する。例えば、接触音取得部２１１は、筆記を開始する際にペン先２０がタッチパネル１４の入力面に接触するとき（接触開始時：ファーストタッチ）の接触音（以下「第１接触音」という。）と、筆記中にペン先２０が前記入力面を擦るとき（接触開始後）の接触音（以下「第２接触音」という。）とを取得する。

【0041】

音声生成部２１２は、マイク２３により検出される前記接触音に基づいて、前記疑似音声を生成する。音声生成部２１２は、前記第１接触音に基づき前記ファーストタッチ音の疑似音声（以下、「第１疑似音声」という。）を生成し、前記第２接触音に基づき前記摩擦音の疑似音声（以下、「第２疑似音声」という。）を生成する。音声生成部２１２は、本発明の音声生成部の一例である。

【0042】

また音声生成部２１２は、マイク２３により検出される前記接触音と前記サンプル音声データとに基づいて前記疑似音声を生成する。例えば、音声生成部２１２は、前記サンプル音声データに対して前記接触音の特徴に応じた音声加工を行うことにより、前記疑似音声を生成する。例えば音声生成部２１２は、サンプル音声データ２２４（図８参照）に記憶された前記第１サンプル音声データＳＦ１に対して、前記第１接触音の特徴に応じた音声加工を行うことにより、前記第１疑似音声を生成する。また音声生成部２１２は、サンプル音声データ２２４に記憶された前記第２サンプル音声データＳＲ１に対して、前記第２接触音の特徴に応じた音声加工を行うことにより、前記第２疑似音声を生成する。前記接触音の特徴とは、例えば接触音の波形の特徴、音量の特徴などである。

【0043】

具体的には、音声生成部２１２は、先ず、マイク２３の検出値（波形データ）を判定用データ２２３に登録された音声波形データ（図７参照）と波形照合又は音声の特徴量を判定条件により判定する。なお、判定用データには、音声波形データ（図７参照）又は判定条件と、それに対応する基準のサンプル音声データの音声波形データ（図８参照）と、音声加工情報とが互いに関連付けられて記憶されている（図６、図７及び図８参照）。音声生成部２１２は、前記判定により、サンプル音声データ及び音声加工情報を決定する。

【0044】

次に、音声生成部２１２は、決定した前記サンプル音声データに前記音声加工情報に応じた音声加工を施して前記疑似音声（第１疑似音声、第２疑似音声）を生成する。音声加工情報とは、各種の上記音声加工を行うための情報であり、具体的には、音量の倍率を定めた係数である音量係数、音声周波数の変更倍率を定めた係数である周波数変更係数、あるいはその他の音声加工を行うための各種の音声加工フィルタ（例えば、音声波形変更フィルタやバンドパスフィルタなど）が含まれる。前記音声加工は、例えば前記音量係数に基づいて前記サンプル音声データを増幅する処理（音量調整処理）、前記周波数変調係に基づいて前記サンプル音声データの音声周波数を変更する処理（周波数変更処理）、前記音声波形変更フィルタを用いて前記サンプル音声データの音声波形を方形波、正弦波のような特定の波形に近づけるように変化させる処理（音声波形変更処理）、前記サンプル音声データを前記バンドパスフィルタであるローパスフィルタ、ハイパスフィルタなどにより特定周波数の音声を強調する処理（バンドパスフィルタ処理）などを含む。ここでは一例として、音声生成部２１２は、前記サンプル音声データに前記音量係数に応じた音量調整処理を施して前記疑似音声を生成する。

【0045】

音声生成部２１２による音声生成方法は、上記の方法に限定されない。他の方法として、例えば、音声生成部２１２は、接触音取得部２１１により取得される前記接触音を音声加工することにより、前記疑似音声を生成してもよい。具体的には、音声生成部２１２は、前記サンプル音声データを利用せず、前記マイクにより検出される前記接触音を音声加工することにより前記疑似音声を生成する。例えば、音声生成部２１２は、前記マイクにより検出される前記接触音を、前記音量係数に基づいて増幅することにより前記疑似音声を生成する。

【0046】

また前記サンプル音声データを利用する場合の音声生成方法の他の方法として、例えば、音声生成部２１２は、前記サンプル音声データに前記音声加工を施さず、当該サンプル音声データをそのまま前記擬似音声としてもよい。

【0047】

音声出力部２１３は、音声生成部２１２により生成された前記疑似音声（第１疑似音声、第２疑似音声）をスピーカー２４から出力させる。音声出力部２１３は、本発明の音声出力部の一例である。

【0048】

［音声出力処理］
図９を参照しつつ、筆記入力システム１００によって実行される音声出力処理の一例について説明する。例えば、前記音声出力処理は、タッチペン２の制御部２１によって実行される。なお、ここでは、前記筆記モードが黒板筆記モードＭ１に設定されたものとする。

【0049】

なお、本発明は、前記音声出力処理に含まれる一又は複数のステップを実行する音声出力方法の発明として捉えることができ、ここで説明する当該音声出力処理に含まれる一又は複数のステップが適宜省略されてもよい。なお、前記音声出力処理における各ステップは同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部２１によって前記音声出力処理における各ステップが実行される場合を例に挙げて説明するが、複数のプロセッサーによって当該音声出力処理における各ステップが分散して実行される音声出力方法も他の実施形態として考えられる。

【0050】

先ずステップＳ１１において、制御部２１は、タッチペン２のペン先２０が被接触部（タッチパネル１４の入力面）に接触することにより生じる接触音を検出（取得）したか否か判定する。制御部２１が前記接触音を検出すると（Ｓ１１：ＹＥＳ）、処理はステップＳ１２に移行する。

【0051】

ステップＳ１２において、制御部２１は、検出した前記接触音の波形データを判定用データ２２３に登録された音声波形データ（図７参照）と波形照合又は音声の特徴量を判定条件により判定する。

【0052】

次にステップＳ１３において、制御部２１は、前記波形照合した結果、又は、音声の特徴量を判定条件により判定した結果、合致した判定用データに関連付けられた前記サンプル音声データ及び前記音声加工情報を決定する（図６参照）。

【0053】

次にステップＳ１４において、制御部２１は、決定した前記サンプル音声データに前記音声加工情報に応じた音声加工を施して疑似音声を生成する。

【0054】

最後にステップＳ１５において、制御部２１は、生成した前記疑似音声（第１疑似音声、第２疑似音声）をスピーカー２４から出力させる。以上の手順で前記音声出力処理が実行される。

【0055】

以上説明したように、本実施形態に係る筆記入力システム１００は、タッチペン２のペン先２０が被接触部（例えばタッチパネル１４の入力面）に接触することにより検出される接触音に基づいて疑似音声を生成し、生成した前記疑似音声を出力させる構成を備える。このため、タッチペン２の速度、傾き、筆圧、筆記開始時、筆記中などの様々な条件に応じた筆記音の疑似音声を出力することができる。よって、前記筆記音の再現性が高い疑似音声を出力させることが可能となる。また、ファーストタッチにより発生する音（ファーストタッチ音）と、ファーストタッチに続く筆記中の音（摩擦音）とを適切に再現することができる。

【0056】

本発明は上述の実施形態に限定されない。本発明の他の実施形態に対応する変形例について以下に説明する。

【0057】

［変形例１］
前述した実施形態（実施形態１）では、音声生成部２１２がサンプル音声データに対して接触音の特徴に応じた音声加工を行うことにより、疑似音声を生成する実施形態について説明した。これに対して、変形例１では、音声生成部２１２は、マイク２３により検出される前記接触音を音声加工することにより前記疑似音声を生成する。

【0058】

変形例１と実施形態１との違いは、実施形態１ではサンプル音声データを音声加工することにより疑似音声を生成するのに対して、変形例１では接触音自体を音声加工することにより疑似音声を生成する点である。なお、音声加工の方法など、それ以外の特徴は実施形態１と共通である。

【0059】

変形例１は、前記接触音の音声波形を、出力すべき筆記音の音声波形に近付くように音声加工した上で、疑似音声として出力する。したがって、変形例１は、前記接触音の音声波形が音声加工により似せることができる程度に出力すべき筆記音の音声波形と類似している場合は有効である。一方で、前記接触音の音声波形と出力すべき筆記音の音声波形が全く異なる場合は、実施形態１において出力すべき筆記音の音声波形に類似する音声をサンプル音声データとして用い、当該サンプル音声データを音声加工することにより疑似音声を生成することが有効である。

【0060】

［変形例２］
上述した実施形態では、ユーザが音声スイッチ２７をＯＮ状態にした場合には、ユーザがタッチペン２によりタッチパネル１４の入力面に筆記していない場合であっても前記疑似音声が出力される場合がある。例えば、ユーザがタッチペン２によりタッチパネル１４の入力面に筆記していない場合において、タッチペン２のマイク２３がファーストタッチ音又は摩擦音に類似した音を検出した場合には、検出した音に応じた前記疑似音声が出力される。この場合の前記疑似音声は、ユーザが意図したものとは言えない。

【0061】

そこで、変形例２に係る筆記入力システム１００は、ユーザがタッチペン２によりタッチパネル１４の入力面に筆記していることを条件に前記疑似音声を出力する構成を備える。図１０は、変形例２に係るタッチペン２の構成を示すブロック図である。図１０に示すように、変形例２に係るタッチペン２は、上述の実施形態に係るタッチペン２（図４参照）に、さらに感圧センサ２８と筆圧検出部２１４とを備えている。

【0062】

感圧センサ２８は、タッチペン２のペン先２０がタッチパネル１４の入力面などの被接触部に接触した場合に、ペン先２０に加わる筆圧を検知する。感圧センサ２８には、例えば圧電素子を用いた公知の圧力センサを適用することができる。感圧センサ２８は、筆圧を検知すると検知信号を制御部２１に出力する。

【0063】

筆圧検出部２１４は、タッチペン２のペン先２０が被接触部に接触することによる筆圧を検出する。筆圧検出部２１４は、本発明の筆圧検出部の一例である。具体的には、筆圧検出部２１４は、ペン先２０がタッチパネル１４の入力面に接触した場合に感圧センサ２８から取得する前記検知信号に基づいて前記筆圧を検出する。

【0064】

音声出力部２１３は、筆圧検出部２１４により検出される前記筆圧が閾値（本発明の第１閾値に対応）以上である場合に前記疑似音声を出力し、前記筆圧が前記閾値未満である場合には前記疑似音声を出力しない。これにより、ユーザがタッチペン２によりタッチパネル１４の入力面にタッチ入力している場合に前記疑似音声を出力させ、ユーザがタッチペン２によりタッチパネル１４の入力面にタッチ入力していない場合には前記疑似音声を出力させない構成を実現することができる。

【0065】

変形例２に係る筆記入力システム１００は以下の構成であってもよい。

【0066】

例えば、電子ボード１の制御部１１（入力検出部１１１）がタッチペン２によって入力（指定）された位置座標を検出した場合に検出信号をタッチペン２に通知する。タッチペン２の制御部２１（本発明の検出取得部に対応）は、電子ボード１からタッチ入力に応じた検出信号を取得する。制御部２１（音声出力部２１３）は、電子ボード１から前記検出信号を取得した場合に前記疑似音声を出力し、電子ボード１から前記検出信号を取得しない場合には前記疑似音声を出力しない。

【0067】

また他の構成として、タッチペン２は加速度センサ（図示せず）を備え、加速度センサの検出結果に基づいてタッチペン２が使用状態（移動状態）であるか未使用状態（静止情報）であるかを判定する。そして、制御部２１（音声出力部２１３）は、タッチペン２が使用状態である場合に前記疑似音声を出力し、タッチペン２が未使用状態である場合には前記疑似音声を出力しない。変形例２に係る各構成によれば、ユーザが意図しない前記疑似音声の出力を防ぐことができる。

【0068】

［変形例３］
筆記入力システム１００は、前記接触音の種類に応じて異なる方法により前記疑似音声を生成してもよい。具体的には、音声生成部２１２は、筆圧検出部２１４（図１０参照）により検出される前記筆圧の変化量が閾値（本発明の第２閾値に対応）以上である場合には前記筆圧に基づいて前記ファーストタッチ音の前記疑似音声（第１疑似音声）を生成し、筆圧検出部２１４により検出される前記筆圧の変化量が前記閾値未満の場合には、マイク２３により検出される前記接触音に基づいて前記摩擦音の前記疑似音声（第２疑似音声）を生成する。このように、音声生成部２１２は、筆圧検出部２１４により検出される前記筆圧に応じて前記疑似音声を変化させてもよい。

【0069】

通常、筆記開始時にタッチペン２のペン先２０が前記入力面に接触することにより生じる打撃音（ファーストタッチ音）は筆圧の変化量が大きく、筆記中にペン先２０が前記入力面に擦れることにより生じる摩擦音は筆圧の変化量が小さい。そこで、筆圧検出部２１４により検出される前記筆圧の変化量が前記閾値以上となる場合は、音声生成部２１２は、筆圧の変化量に基づいて、前記ファーストタッチ音の疑似音声を生成する。この場合、記憶部２２において、感圧センサ２８の出力値（波形データ）と波形照合するための筆圧波形データが判定用データ２２５（図１１参照）に記憶されてもよい。音声生成部２１２は、筆圧検出部２１４により検出される前記筆圧の変化量が前記閾値以上である場合は、感圧センサ２８の出力値又は微分値を用いて前記波形照合を行って、サンプル音声データ及び音声加工情報を決定する。一方、音声生成部２１２は、筆圧検出部２１４により検出される前記筆圧の変化量が前記閾値未満である場合は、マイク２３により検出される前記接触音を用いて前記波形照合を行って、サンプル音声データ及び音声加工情報を決定する。

【0070】

音声出力部２１３は、音声生成部２１２により生成された前記疑似音声（第１疑似音声、第２疑似音声）をスピーカー２４から出力させる。すなわち、音声出力部２１３は、筆圧検出部２１４により検出される前記筆圧の変化量が前記閾値以上である場合に前記筆圧に基づいて生成された前記ファーストタッチ音の前記疑似音声をスピーカー２４から出力させ、筆圧検出部２１４により検出される前記筆圧の変化量が前記閾値未満の場合に、マイク２３により検出される前記接触音に基づいて生成された前記摩擦音の前記疑似音声をスピーカー２４から出力させる。

【0071】

このように、音声生成部２１２は、筆圧検出部２１４により検出される前記筆圧とマイク２３により検出される前記接触音とに基づいて前記疑似音声を生成する。上記の構成によれば、ファーストタッチのタッチ入力を敏感に検出することができるため、精度よくファーストタッチを検出することができる。すなわち、マイク２３の音声波形データのみを用いて前記擬似音声を生成する場合と比べて、感圧センサ２８を用いてファーストタッチ音及び摩擦音を精度よく判定した上で、それぞれの種類に応じた擬似音声を出力することができる。また、感圧センサ２８により検出される筆圧の筆圧波形データによる波形照合は、マイク２３により検出される音声波形データによる波形照合と比べて、短時間で行うことができるため、ファーストタッチの瞬間に発生する音に対応する疑似音声を遅延無く出力させることができる。このように、筆記入力システム１００は、マイク２３により検出される音声波形データと、感圧センサ２８により検出される筆圧波形データとを用いて、前記疑似音声を生成及び出力することが有効である。

【0072】

［変形例４］
通常、タッチペン２が前記入力面に接触した場合に生じる前記接触音が大きい場合には、前記接触音を直接聞き取ることができる。その上、このような場合に前記疑似音声を出力させた場合、前記接触音と前記疑似音声とが二重に聞き取られることになってしまうため、ユーザが違和感を覚える。このため、前記疑似音声を出力させる必要性が低い。一方、タッチペン２が前記入力面に接触した場合に生じる前記接触音が小さい場合には、前記接触音を直接聞き取り難くなるため、前記疑似音声を出力させる必要性が高い。そこで、変形例４に係る筆記入力システム１００では、音声出力部２１３は、マイク２３により検出される前記接触音の音量が閾値以下の場合に前記疑似音声を出力し、マイク２３により検出される前記接触音の音量が閾値を超える場合に前記疑似音声を出力しない構成とすることが好ましい。これにより、前記接触音の音量に応じて違和感のない疑似音声を出力することができる。

【0073】

上述した各形態に係る筆記入力システム１００では、タッチペン２の制御部２１の各処理部（接触音取得部２１１、音声生成部２１２、及び音声出力部２１３）と、記憶部２２に記憶される各情報（筆記モード情報２２１、音声データ情報２２２、判定用データ２２３、及びサンプル音声データ２２４）とが、電子ボード１に含まれてもよい。またマイク２３及びスピーカー２４が、電子ボード１に含まれてもよい。例えば、電子ボード１は、左右２箇所にスピーカー２４を備え、タッチペン２によりタッチ入力された位置（位置座標）に近い方のスピーカー２４から前記疑似音声を出力させる構成であってもよい。

【符号の説明】

【0074】

１ ：電子ボード
２ ：タッチペン
１１ ：制御部
１２ ：記憶部
１３ ：表示パネル
１４ ：タッチパネル
２０ ：ペン先
２１ ：制御部
２２ ：記憶部
２３ ：マイク
２４ ：スピーカー
２６ ：モードスイッチ
２７ ：音声スイッチ
２８ ：感圧センサ
１００ ：筆記入力システム
１１１ ：入力検出部
１１２ ：描画処理部
２１１ ：接触音取得部
２１２ ：音声生成部
２１３ ：音声出力部
２１４ ：筆圧検出部
２２１ ：筆記モード情報
２２２ ：音声データ情報
２２３ ：判定用データ
２２４ ：サンプル音声データ
２２５ ：判定用データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】