(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-29
(45)【発行日】2024-12-09
(54)【発明の名称】情報処理装置及び情報処理方法
(51)【国際特許分類】
G06F 3/0488 20220101AFI20241202BHJP
G06F 3/0483 20130101ALI20241202BHJP
【FI】
G06F3/0488
G06F3/0483
(21)【出願番号】P 2022532291
(86)(22)【出願日】2021-02-24
(86)【国際出願番号】 JP2021006779
(87)【国際公開番号】W WO2021256008
(87)【国際公開日】2021-12-23
【審査請求日】2024-02-19
(31)【優先権主張番号】P 2020102929
(32)【優先日】2020-06-15
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000139403
【氏名又は名称】株式会社ワコム
(74)【代理人】
【識別番号】110004277
【氏名又は名称】弁理士法人そらおと
(74)【代理人】
【識別番号】100130982
【氏名又は名称】黒瀬 泰之
(72)【発明者】
【氏名】ラチェザール サコフ ドドフ
【審査官】菅原 浩二
(56)【参考文献】
【文献】特開2012-014216(JP,A)
【文献】米国特許出願公開第2006/0031764(US,A1)
【文献】特開2002-132943(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/048ー3/04895
(57)【特許請求の範囲】
【請求項1】
シート状記録媒体への手書き入力に対応して生成された手書きデータを、
連続する第1及び第2のページのそれぞれに対応する第1のファイル及び第2のファイルとして記憶する記憶部と、
前記第1のファイルに記憶された手書きデータに基づいて、前記第1のページにおける手書きデータが記入された領域
である第1の記入済領域を
検出し、
前記第2のファイルに記憶された手書きデータに基づいて、前記第2のページにおける手書きデータが記入された領域
である第2の記入済領域を検出し、
前記第2の記入済領域の記入開始端側にある手書きデータの存在しない前記第2のページ内の領域である空白領域を取得し、
前記第1の記入済領域と前記空白領域の配置関係に基づいて、前記第1のファイル及び前記第2のファイルを結合するか否かを判定し、
結合すると判定した場合には前記第1のファイル及び前記第2のファイルを結合す
る制御部と、
を含む情報処理装置。
【請求項2】
前記制御部は、
前記第1のファイルに記憶された手書きデータの終端情報に基づいて
前記第1の記入済領域を検出し、
前記第2のファイルに記憶された手書きデータの始端情報に基づいて
前記第2の記入済領域を検出する、
請求項1に記載の情報処理装置。
【請求項3】
前記終端情報および前記始端情報とは、シート状記録媒体への手書き入力に対応して生成された座標情報を含む、
請求項
2に記載の情報処理装置。
【請求項4】
前記制御部が前記終端情報及び前記始端情報に基づいて前記第1のファイル及び第2のファイルを結合することで、シート状記録媒体への手書き入力に対応した手書きデータが生成される、
請求項
2に記載の情報処理装置。
【請求項5】
前記制御部は、前記第1のファイルにかかる前記手書き入力のストロークに対応した付加情報を取得可能に構成されており、前記付加情報を参酌することで前記第1のファイルの分割処理を行う、
請求項1に記載の情報処理装置。
【請求項6】
前記付加情報は、前記手書き入力に対応したストローク数に基づく情報である、
請求項
5に記載の情報処理装置。
【請求項7】
シート状記録媒体への手書き入力に対応して生成された手書きデータを、
連続する第1及び第2のページのそれぞれに対応する第1のファイル及び第2のファイルとして記憶する記憶部を有する情報処理装置によって実行される情報処理方法であって、
前記第1のファイルに記憶された手書きデータに基づいて、前記第1のページにおける手書きデータが記入された領域
である第1の記入済領域を
検出し、
前記第2のファイルに記憶された手書きデータに基づいて、前記第2のページにおける手書きデータが記入された領域
である第2の記入済領域を
検出し、
前記第2の記入済領域の記入開始端側にある手書きデータの存在しない前記第2のページ内の領域である空白領域を取得し、
前記第1の記入済領域と前記空白領域の配置関係に基づいて、前記第1のファイル及び前記第2のファイルを結合するか否かを判定する判定ステップと、
結合すると判定した場合には前記第1のファイル及び前記第2のファイルを結合す
る制御ステップと、
を含む情報処理方法。
【請求項8】
前記判定ステップは、
前記第1のファイルに記憶された手書きデータの終端情報に基づいて
前記第1の記入済領域を検出し、
前記第2のファイルに記憶された手書きデータの始端情報に基づいて
前記第2の記入済領域を検出する、
請求項
7に記載の情報処理方法。
【請求項9】
前記終端情報および前記始端情報とは、シート状記録媒体への手書き入力に対応して生成された座標情報を含む
請求項
8に記載の情報処理方法。
【請求項10】
前記制御ステップが前記終端情報及び前記始端情報に基づいて前記第1のファイル及び第2のファイルを結合することで、シート状記録媒体への手書き入力に対応した手書きデータが生成される、
請求項
8に記載の情報処理方法。
【請求項11】
前記情報処理装置は、前記第1のファイルにかかる前記手書き入力のストロークに対応した付加情報を取得可能に構成されており、前記付加情報を参酌することで前記第1のファイルの分割処理を行う、
請求項
7に記載の情報処理方法。
【請求項12】
前記付加情報は、前記手書き入力に対応したストローク数に基づく情報である、
請求項
11に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
レポート用紙などの紙媒体に文字や絵を書き込む際に、その筆跡を手書きデータとして電子的に取り込むことを可能にする手書きデータ描画装置が知られている。この種の装置は一般に、デジタイザなどの位置検出装置と、指示体としての機能及びボールペンとしての機能の両方を有するスタイラスとを含んで構成される。紙媒体は、位置検出装置のタッチ面上に配置される。この構成によれば、ユーザがスタイラスのボールペン機能を用いて紙媒体の表面に文字や絵を書き込むとき、位置検出装置は、スタイラスのタッチ面上における移動軌跡を示す一連の座標データを取得することができる。こうして取得される一連の座標データが、電子ペンの筆跡を示す手書きデータとなる。
【0003】
ところで、手書きデータ描画装置において用いられる紙媒体は、複数のページを有する場合がある。この場合、手書きデータ描画装置は、ページごとに分けて手書きデータを作成する必要がある。そうしないと、紙媒体の複数のページのそれぞれに書き込まれた筆跡が、画面上で1つのページ内に重なってしまうからである。これに関して、特許文献1には、座標データの蓄積先となるファイルを新たなファイルに切り替えるための操作ボタンを位置検出装置に設けることで、ページごとに手書きデータのファイルが作成されるようにした技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、位置検出装置は、節電のため、所定時間(例えば15分)にわたり操作のない状態が継続した場合に、自動的にスタンバイモードに入るように設計されている場合がある。この場合、座標データを蓄積中のファイルは、スタンバイモードに入る時点で一旦閉じられ、スタンバイモードから復帰した後には、新たなファイルに座標データが蓄積されるように設計されているものがある。
【0006】
しかしながら、このようなスタンバイ処理によれば、ユーザがスタンバイモードの前後で紙媒体の同じページに書き込みを行っていたとしても、スタンバイモードからの復帰後には、スタンバイモードに入る前とは異なるファイルに座標データが蓄積されることになる。そうすると、紙媒体の同一ページ上に記載した手書き文字であるにもかかわらず複数のファイルに分割された状態で記録されてしまい、あたかも複数のページに書き込まれたように誤認されてしまうので、改善が必要とされていた。
【0007】
また、特許文献1の技術によれば、ユーザが操作ボタンを押し忘れると、紙媒体の複数のページのそれぞれに書き込まれた手書きデータが1つのファイルに蓄積されてしまうことになる。これもまた、紙媒体のページとファイルとが一対一に対応しなくなってしまうことになるので、改善が必要とされていた。
【0008】
したがって、本発明の目的の一つは、紙媒体のページと手書きデータを蓄積するファイルとを一対一に対応させることのできる情報処理装置及び情報処理方法を提供することにある。
【課題を解決するための手段】
【0009】
本発明による情報処理装置は、シート状記録媒体への手書き入力に対応して生成された手書きデータを、第1及び第2のページのそれぞれに対応する第1のファイル及び第2のファイルとして記憶する記憶部と、前記第1のファイルに記憶された手書きデータに基づいて、前記第1のページにおける手書きデータが記入された領域あるいは手書きデータが記入されていない領域を識別する第1の識別結果と、前記第2のファイルに記憶された手書きデータに基づいて、前記第2のページにおける手書きデータが記入された領域あるいは手書きデータが記入されていない領域を識別する第2の識別結果と、に基づいて、前記第1のファイル及び前記第2のファイルを結合するか否かを判定し、結合すると判定した場合には前記第1のファイル及び前記第2のファイルを結合するように制御する制御部と、を含む情報処理装置である。
【0010】
本発明による情報処理方法は、シート状記録媒体への手書き入力に対応して生成された手書きデータを、第1及び第2のページのそれぞれに対応する第1のファイル及び第2のファイルとして記憶する記憶部を有する情報処理装置によって実行される情報処理方法であって、前記第1のファイルに記憶された手書きデータに基づいて、前記第1のページにおける手書きデータが記入された領域あるいは手書きデータが記入されていない領域を識別する第1の識別結果と、前記第2のファイルに記憶された手書きデータに基づいて、前記第2のページにおける手書きデータが記入された領域あるいは手書きデータが記入されていない領域を識別する第2の識別結果と、に基づいて、前記第1のファイル及び前記第2のファイルを結合するか否かを判定する判定ステップと、結合すると判定した場合には前記第1のファイル及び前記第2のファイルを結合するように制御する制御ステップと、を含む情報処理方法である。
【発明の効果】
【0011】
本発明によれば、紙媒体の同一ページに記載された手書き情報が意図せずに複数のファイルで記録されることを回避することが可能になる。
【図面の簡単な説明】
【0012】
【
図1】本発明の実施の形態による位置検出装置10及びタブレット端末30を示す図である。
【
図2】位置検出装置10及びタブレット端末30の内部構成を示す図である。
【
図3】タッチパネル15の詳細な構成を示す図である。
【
図4】センサコントローラ16から出力される手書きデータと、該手書きデータを格納するためのファイルと、制御部33によってメモリ34に格納されるストロークデータとを示す図である。
【
図5】(a)(b)はそれぞれ、本発明の第1の側面にかかるページ#1,#2の記入状態の一例を示す図である。
【
図6】本発明の第1の側面にかかるファイル結合処理を示すフロー図である。
【
図7】本発明の第2の側面にかかるファイル#nに格納されている1以上のスクロールデータをタッチスクリーン31上に描画した結果の例を示す図である。
【
図10】
図7に示した複数の文字のうちポイント番号1~899に対応する文字のみを、
図9に示したページ座標上に重ねて描いた図である。
【
図11】
図7に示した複数の文字のうちポイント番号900以降に対応する文字のみを、
図9に示したページ座標上に重ねて描いた図である。
【
図12】2つのページにかかる筆跡を含む1つのファイルに関して、ポイント番号とページ座標の関係を模式的に示した図である。
【
図13】本発明の第2の側面にかかるファイル分割処理を示すフロー図である。
【
図14】本発明の第2の側面にかかるファイル分割処理を示すフロー図である。
【発明を実施するための形態】
【0013】
以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。
【0014】
図1は、本発明の実施の形態による位置検出装置10及びタブレット端末30を示す図である。位置検出装置10は、静電容量方式のタッチパネルを内蔵しており、このタッチパネルによって、図示したタッチ面10a上におけるスタイラスSの位置を検出する装置である。ただし、位置検出装置10には、静電容量方式のタッチパネルに代えて電磁誘導式のタッチパネルを内蔵することとしてもよい。
【0015】
スタイラスSはアクティブ静電方式に対応しており、タッチ面10a上の位置を指示するための指示体として機能するとともに、紙などのシート状記録媒体の表面に視認可能に筆跡を残すための筆記具(例えば、ボールペン)としても機能する。タブレット端末30は、タッチ入力に対応するタッチスクリーン31を有する情報処理装置である。位置検出装置10とタブレット端末30とは、Bluetooth(登録商標)などの無線通信又はUSBなどの有線通信により相互に接続される。
【0016】
図1に示したX方向及びY方向はそれぞれ、位置検出装置10のユーザから見て、横方向及び奥行き方向に対応する方向である。位置検出装置10は、Y方向の一辺がX方向の一辺よりも長い長方形の形状を有しており、
図1に示すように、シート状記録媒体としての、位置検出装置10より少し小さい長方形のノートパッドNPをタッチ面10aの上に搭載した状態で使用される。詳しくは後述するが、ユーザが筆記具としてのスタイラスSを用いてノートパッドNPの表面に字や絵を記入すると、位置検出装置10により、スタイラスSの軌跡が一連の座標データとして検出される。タブレット端末30は、この一連の座標データを位置検出装置10から取得してストロークデータを生成し、タッチスクリーン31上に表示する。
図1には、これらの処理により、ユーザによりノートパッドNP上に記入された「MAKING IDEAS」の文字列がタブレット端末30のタッチスクリーン31上に表示されている状態を示している。なお、シート状記録媒体としては、紙材質が一般的ではあるが、樹脂などの材質であっても良い。
【0017】
図1に示すように、位置検出装置10は、電源・操作ボタン11、電源ランプ12、台紙収納部13、及びスタイラス固定部14を有して構成される。このうち電源・操作ボタン11は、位置検出装置10の電源をオンオフするスイッチであるとともに、ユーザによる改ページ指示を受け付けるためのスイッチでもある。電源・操作ボタン11が所定時間以上にわたって押下され続けた場合(すなわち、長押しされた場合)、位置検出装置10は、位置検出装置10の電源のオン又はオフを行う。一方、電源・操作ボタン11が押されたが上記所定時間に至るまでに押下状態が解消された場合(すなわち、短押しされた場合)、位置検出装置10は、ユーザによる改ページ指示を受け付ける。また、電源ランプ12は、位置検出装置10の電源がオンであるときに点灯し、オフであるときに消灯するランプである。
【0018】
ここで、ページとは、手書き入力に対応して生成された一塊の手書きデータ、あるいはこの一塊の手書きデータを備えたファイルに対応した概念である。従って、複数のページで構成されたシート状記録媒体のそれぞれのページに手書き入力されて生成された手書きデータあるいはファイルが各ページと対応付けられる。あるいは、シート状記録媒体の同一ページ上での手書き入力により生成された手書きデータがスタンバイモード動作あるいはユーザによる意識的操作によって複数の手書きデータあるいはファイルに分割された場合には、分割されたそれぞれの手書きデータあるいはファイルがページと対応付けられる。
【0019】
台紙収納部13は、ノートパッドNPの台紙を挿入可能に構成された開口部である。ユーザは、ノートパッドNPの台紙を台紙収納部13に挿入することにより、ノートパッドNPを位置検出装置10に固定する。スタイラス固定部14は、スタイラスSを固定しておくための窪みである。ユーザは、スタイラスSを使わないとき、スタイラスSのクリップを台紙収納部13に挿入した状態で、スタイラスSの末端部をスタイラス固定部14の窪みに嵌めることにより、スタイラスSを位置検出装置10に固定する。
【0020】
位置検出装置10は、基本動作としては、逐次検出した一連の座標データを1つのファイル内に蓄積していくように構成される。したがって、もし仮にユーザがノートパッドNPをめくりつつ複数のページに筆記を行ったとすると、1つのファイル内に異なるページの筆跡にかかる座標データが含まれることになる。こうして蓄積された一連の座標データがタブレット端末30のタッチスクリーン31に表示されると、複数のページにかかる筆跡が重なって表示されてしまうことになる。
【0021】
これでは現実の使用に耐えないので、位置検出装置10はユーザが改ページを指示できるように構成されている。具体的には、ユーザが電源・操作ボタン11を短押しすると、位置検出装置10は、上述したように改ページ指示を受け付け、座標データの蓄積先となるファイルを新たなファイルに切り替える。この操作により、ページごとに手書きデータのファイルが作成されることになるので、上記のように複数のページにかかる筆跡が重なってタッチスクリーン31に表示されてしまうことが防止される。
【0022】
しかしながら、現実問題としては、ユーザが電源・操作ボタン11の短押しを忘れてしまう場合がある。そうすると、複数のページにかかる筆跡が重なってタッチスクリーン31に表示されてしまうので、タブレット端末30は、ファイルを事後的に分割するための構成を有している。この点については、後ほど本発明の第2の側面として、詳しく説明する。
【0023】
また、位置検出装置10は、節電のため、所定時間(例えば15分)にわたり操作のない状態が継続した場合、自動的にスタンバイモードにエントリするように設計されている。ここでいう操作には、スタイラスSの座標データの検出を含む。スタンバイモードにエントリした位置検出装置10は、例えば電源・操作ボタン11の押下の検出以外の動作を行わないようにすることで、消費電力を節約するように構成される。スタンバイモードにエントリしている最中に電源・操作ボタン11の押下(長押し又は短押し)を検出した位置検出装置10は、スタンバイモードから復帰し、停止していた電源・操作ボタン11の押下の検出以外の動作を開始するよう構成される。
【0024】
ここで、位置検出装置10は、ファイルの破壊あるいは消失を防止するため、スタンバイモードにエントリする際、座標データを蓄積中のファイルを一旦閉じるよう構成される。また、スタンバイモードから復帰した後には、新たなファイルを生成し、そこに座標データを蓄積していくよう構成される。このような位置検出装置10の構成によれば、ファイルの破壊あるいは消失を防止することができる一方で、ユーザがスタンバイモードの前後で紙媒体の同じページに書き込みを行っていたとしても、スタンバイモードからの復帰後には、スタンバイモードにエントリする前とは異なるファイルに座標データが蓄積されることになる。そうすると、同一ページに書き込まれた手書きデータが別ページに書き込まれたものとして取り扱われることになってしまうので、タブレット端末30は、同一ページに書き込まれた手書きデータを事後的に1つのファイルにまとめるための構成も有している。この点については、後ほど本発明の第1の側面として、詳しく説明する。
【0025】
図2は、位置検出装置10及びタブレット端末30の内部構成を示す図である。同図に示すように、位置検出装置10は、タッチパネル15、センサコントローラ16、メモリ17、及び無線通信部18をさらに有して構成される。また、タブレット端末30は、
図1にも示したタッチスクリーン31の他、無線通信部32、制御部33、及びメモリ34を有して構成される。
【0026】
タッチパネル15は、アクティブ静電方式によるスタイラスSの位置検出と、静電容量方式による指の位置検出とに対応する投影型静電容量方式のタッチパネル(PCAP)である。
【0027】
図3は、タッチパネル15の詳細な構成を示す図である。同図に示すように、タッチパネル15は、タッチ面10aの全体を覆うように配置された各複数の線状電極15x,15yを有して構成される。複数の線状電極15xは、それぞれY方向に延在する線状の電極であり、Y方向と直交するX方向に等間隔で配置される。複数の線状電極15yは、それぞれX方向に延在する線状の電極であり、Y方向に等間隔で配置される。各複数の線状電極15x,15yはそれぞれ、センサコントローラ16に接続される。
【0028】
図2に戻る。センサコントローラ16は、タッチパネル15を用いてスタイラスSの位置検出を行うとともに、スタイラスSが送信したデータの受信も行う集積回路である。センサコントローラ16はまた、タッチパネル15を用いてタッチ面10a内における指の位置を検出する処理も行う。スタイラスSの位置検出はアクティブ静電方式により実行され、指の位置検出は静電容量方式により行われる。
【0029】
センサコントローラ16によるスタイラスSの検出について、再び
図3を参照しながら説明する。センサコントローラ16は、
図3に示した複数の線状電極15x(又は複数の線状電極15y)のすべてを用いて、周期的にアップリンク信号を送信するよう構成される。アップリンク信号は、ダウンリンク信号の送信タイミングをスタイラスSに知らせる役割と、スタイラスSに対するコマンドを送信する役割とを有する信号である。
【0030】
アップリンク信号を受信したスタイラスSは、アップリンク信号によって示されるタイミングでダウンリンク信号を送信する。スタイラスSがまだセンサコントローラ16とペアリングしていない場合、このダウンリンク信号は、所定時間長の無変調のバースト信号によって構成される。以下、このバースト信号を「位置信号」と称する。一方、スタイラスSがセンサコントローラ16とペアリングしている場合のダウンリンク信号は、より短い時間長の位置信号と、データ信号とを含んで構成される。データ信号は、アップリンク信号に含まれるコマンドによって指示されたデータによって変調された信号である。データ信号によって送信されるデータの例としては、スタイラスSの先端に印加される圧力を示す筆圧値、スタイラスSに設けられるボタンのオンオフ状態を示すスイッチ情報、スタイラスSに予め記憶されるペンIDなどが挙げられる。
【0031】
センサコントローラ16は、まだスタイラスSとペアリングしていない場合、アップリンク信号を送信した後、各複数の線状電極15x,15yのすべてを走査することにより、タッチ面10aの全体でスタイラスSが送信したダウンリンク信号の検出を試みる(グローバルスキャン)。この検出によってダウンリンク信号を検出した場合、センサコントローラ16は、各複数の線状電極15x,15yにおけるダウンリンク信号の受信強度に基づいてスタイラスSの位置を検出するとともに、該スタイラスSとの間で所定のペアリング動作を行う。この動作の完了により、センサコントローラ16とスタイラスSとはペアリングした状態となる。
【0032】
スタイラスSとペアリングしたセンサコントローラ16は、アップリンク信号を送信した後、各複数の線状電極15x,15yのうち最後に検出したスタイラスSの位置の近傍にある所定数本のみを走査することにより、タッチ面10aの一部のみでスタイラスSが送信した位置信号の検出を試みる(ローカルスキャン)。そして、各線状電極15x,15yにおけるダウンリンク信号の受信強度に基づいてスタイラスSの位置を新たに取得する。続いてセンサコントローラ16は、各複数の線状電極15x,15yのうち最後に検出したスタイラスSの位置の近傍にある1本のみを走査することにより、スタイラスSが送信したデータ信号を受信する。そして、受信したデータ信号を復調することによって、スタイラスSが送信したデータを取得する。
【0033】
図2に戻る。メモリ17は、ファイル単位でデータを管理するように構成された記憶部である。センサコントローラ16は、アクティブ静電方式により検出したスタイラスSの位置を示す座標データ及びスタイラスSから受信したデータ(以下、まとめて「手書きデータ」と称する)をメモリ17内のファイルに書き込むように構成される。これにより、ユーザの筆跡を示す一連の手書きデータがファイル内に蓄積される。各ファイルは、生成順に#1,#2,・・・のように順序付けられた状態で、メモリ17内に格納される。
【0034】
図4は、センサコントローラ16から出力される手書きデータと、該手書きデータを格納するためのファイルとを示す図である。この例によるセンサコントローラ16は、スタイラスSの位置を示す座標データ(X,Y)と、スタイラスSから受信した筆圧値P及びスイッチ情報SW1,SW2と、位置を検出した時刻Tを示すタイムスタンプ情報とを含む手書きデータを生成し、メモリ17に対して出力するよう構成される。以下では、この例を前提として説明を続ける。
【0035】
センサコントローラ16は、位置検出装置10の電源が投入された場合、位置検出装置10がスタンバイモードから復帰した場合、及び、電源・操作ボタン11の短押しを検出した場合に、メモリ17内に新たなファイルを生成するよう構成される。
図4では、ファイル#1が位置検出装置10の電源投入に応じて生成されたファイルであり、ファイル#2がスタンバイモードからの復帰に応じて生成されたファイルであり、ファイル#3が電源・操作ボタン11の短押し検出に応じて生成されたファイルである。センサコントローラ16は、新たなファイルを生成すると、手書きデータの出力先をそのファイルに変更する。
【0036】
図2に戻る。無線通信部18は、メモリ17に蓄積されたファイルを取り出し、タブレット端末30に対して送信する機能部である。無線通信部18によるファイルの取り出し及び送信は、タブレット端末30からの送信指示に応じて実行されることとしてもよいし、位置検出装置10に設けられた操作手段におけるユーザの操作に応じて実行されてもよい。また、位置検出装置10とタブレット端末30が通信可能な距離に接近した場合に、自動的に送信が実行されるように構成してもよい。また、無線通信部18は、ファイル単位ではなく、センサコントローラ16によって1座標分の手書きデータがメモリ17に蓄積される都度、その手書きデータが書き込まれたページを特定する情報とともに、蓄積された手書きデータを送信することとしてもよい。こうすることで、タブレット端末30のタッチスクリーン31に、リアルタイムに手書きデータを表示することが可能になる。この場合、ファイルの管理はタブレット端末30側で実施されることになる。
【0037】
タブレット端末30に移り、無線通信部32は、位置検出装置10から手書きデータを受信し、制御部33に供給する。制御部33は、無線通信部32から供給される一連の手書きデータに基づいて描画用のベクターデータであるストロークデータを生成し、メモリ34に格納する。
【0038】
図4には、制御部33によってメモリ34に格納されるストロークデータも示している。同図に示すように、ストロークデータは1以上の手書きデータを含むデータであり、制御部33は、1以上のストロークデータをファイルごとにまとめてメモリ34に格納するよう構成される。ここで、メモリ34は、メモリ17と同様、ファイル単位でデータを管理するように構成された記憶部である。メモリ17内におけるファイルの順序は、メモリ34内においても維持される。
【0039】
制御部33によるストロークデータの生成方法について、詳しく説明する。一連の手書きデータからストロークデータを生成するために、制御部33はまず、各手書きデータ内の筆圧値Pを参照することによって、ストローク間の区切りを判定する。すなわち、対応する筆圧値Pがゼロとなっている単位手書きデータはホバー状態であるときに取得されたものであるから、筆跡に寄与するものではない。そこで、制御部33は、このような手書きデータをストロークデータの生成対象から排除し、排除した手書きデータが含まれていたところをストロークの区切りと判定する。そして、この区切りによって検出される1以上の手書きデータのセットにより、1つのストロークデータを生成する。
【0040】
制御部33は、ストロークデータを生成する際、各手書きデータのタイムスタンプ情報を参照することにより、生成した一連のストロークデータのそれぞれに順序情報を付与する。これにより、メモリ34に格納されるファイル内の各ストロークデータは、筆記順に順序付けられたものとなる。
図4の例では、「order n」(nは自然数)と書かれたデータが順序情報であり、自然数nが筆記順を示している。
【0041】
制御部33はまた、メモリ34内に格納されているファイルを取り出してその中に含まれる各ストロークデータのレンダリングを行い、その結果をタッチスクリーン31に表示する機能と、タッチスクリーン31におけるユーザのタッチ操作を認識し、その内容に応じた処理を行う機能とを有して構成される。
【0042】
以上の機能に加えて、制御部33は、メモリ34に格納されるファイルの結合及び分割を行う機能を有して構成される。このうちファイルの結合を行う機能は上述した本発明の第1の側面に対応し、ファイルの分割を行う機能は上述した本発明の第2の側面に対応する。以下、本発明の第1の側面、本発明の第2の側面の順で、制御部33が行う処理を詳細に説明する。なお、本実施の形態では、ストロークデータを格納するファイル(メモリ34に格納されるファイル)の結合又は分割を行う場合を例に取って説明するが、制御部33は、手書きデータを格納するファイル(メモリ17に格納されるファイル)の結合又は分割を行うこととしてもよい。この場合、制御部33は、手書きデータを格納するファイルを一旦メモリ34にコピー又は作成してから、コピー又は作成したファイルに対して結合又は分割の処理を行うことが好ましい。
【0043】
図5(a)(b)はそれぞれ、本発明の第1の側面にかかるページ#1,#2の記入状態の一例を示す図である。ページ#1,#2はそれぞれ、メモリ34内に順序付けて記憶される複数のファイルのうち2つのファイル#n,#n+1に対応するページである。ページ#1,#2に記入された英文は、紙媒体の1ページにおいてユーザが上から順に記入したものである。しかし、記入の途中でユーザがしばらく筆記を中断し、位置検出装置10がスタンバイモードにエントリした結果として、
図5に示すように、メモリ17,34内では2つのファイルに分かれてしまっている。
【0044】
ここで、紙媒体の1ページに文章を記入していく場合、ユーザは、ページのY方向一端(記入開始端)からY方向他端(記入終了端)に向かって改行しながら書き進め、行内ではX方向一端からX方向他端に向かって書き進めることになる。なお、記入開始端としての「Y方向一端」は、ユーザが紙媒体に横書きする場合には「上端」であり、縦書きする場合には「左端」である。以下では、横書きを前提として説明を続けるが、本発明は縦書きの場合にも適用可能である。
【0045】
ユーザが上記のように書き進めることから、もし仮に紙媒体の1ページの途中でファイルが変更されてしまった場合、
図5(a)(b)に例示するように、2つ目のファイル#n+1に対応するページ#2では上端から所定長の領域が空白領域EAとなり、かつ、この空白領域EAの下端F
2y(終端)が1つ目のファイル#nに対応するページ#1内の記入済領域FAの下端E
1y(終端)よりも実質的に下側(記入終了端側)に位置するような配置関係あるいは位置関係となる。なお、ここで「実質的に」と付したのは、
図5の例のように各行が右上がりで書かれる場合や、行内でファイルの切り替えが発生する場合を考慮するためである。本発明の第1の側面にかかる制御部33は、この関係を見出すことによってファイル#n,#n+1の結合可否を判定し、その結果に応じてファイル#n,#n+1の結合処理を実行するよう構成される。この結合処理によって、複数のファイルに分割されたそれぞれの手書き入力が再び一連の手書き入力として連結される。
【0046】
図6は、本発明の第1の側面にかかるファイル結合処理を示すフロー図である。以下、このフロー図を参照しながら、本発明の第1の側面にかかる制御部33の処理について、具体的に説明する。
【0047】
制御部33はまず、変数nに1を代入する(ステップS1)。続いて制御部33は、メモリ34内に記憶される2つのファイル#n,#n+1の選択を試み(ステップS2)、選択できたか否かを判定する(ステップS3)。制御部33は、ここでファイル#n,#n+1を選択できなければ、ファイル結合処理を終了する。
【0048】
次に制御部33は、ファイル#n,#n+1にそれぞれ対応するページ#1,#2内に有効領域EZを設定する(ステップS4)。有効領域EZは、
図5に示すように、各ページの上端及び下端に設けられるセーフゾーンSZに挟まれたページ内領域である。セーフゾーンSZは、通常、ユーザによる記入行為が行われない領域である。各セーフゾーンSZの具体的なサイズは、ユーザによって設定され得る。
【0049】
次に制御部33は、ファイル#nに記憶された手書きデータに基づいて、ページ#1における手書きデータが記入された領域あるいは手書きデータが記入されていない領域を識別する第1の識別結果を取得する(ステップS5)。第1の識別結果は、ファイル#nに記憶された手書きデータの終端情報(
図5(a)に示した下端E
1y)に基づいて生成されたものとすることが好ましく、ここでは、上述した記入済領域FAであるとする。この場合、記入済領域FAは、ファイル#nに対応するすべてのストロークデータを含む領域とすることが好ましい。具体的には、ファイル#n内に格納される各ストロークデータを構成する座標に含まれるy座標(座標情報)の中から最大値及び最小値を取得し、取得した最大値に対応する位置でX方向に延在する直線と、取得した最小値に対応する位置でX方向に延在する直線とに挟まれた領域を記入済領域FAとして検出すればよい。なお、
図5(a)の例では記入済領域FAの上端が有効領域EZの上端に一致しているが、記入済領域FAの上端は有効領域EZの上端に一致していなくてもよい。
【0050】
次に制御部33は、ファイル#n+1に記憶された手書きデータに基づいて、ページ#2における手書きデータが記入された領域あるいは手書きデータが記入されていない領域を識別する第2の識別結果を取得する(ステップS6)。第2の識別結果は、ファイル#n+1に記憶された手書きデータの始端情報(
図5(b)に示した下端F
2y)に基づいて生成されたものとすることが好ましく、ここでは、ページ#2に含まれる1以上の空白領域のうちページ#2内の記入済領域から見て上側(記入開始端側)に位置する空白領域EAとする。具体的には、ステップS6と同様にしてページ#2の記入済領域を検出し、その上側(記入開始端側)にあるストロークデータの存在しない領域を空白領域EAとして検出すればよい。
【0051】
続いて制御部33は、ステップS6で空白領域EAを検出できたか否かを判定し(ステップS7)、検出できなかったと判定した場合にはnを1インクリメントし(ステップS12)、ステップS2に処理を戻す。ページ#2の記入済領域の上側に空白領域がない場合、ファイル#n+1がファイル#nへの結合対象となるはずがない。したがって、ステップS7を行うことにより、ファイルを結合しない場合の処理を迅速化することができる。
【0052】
ステップS7で検出できたと判定した制御部33は、以下に示すステップS8~S11を実行することにより、ページ#1及びページ#2のそれぞれにおける手書きデータが記入された領域あるいは手書きデータが記入されていない領域の配置関係に基づいて、別の言い方をすれば、第1の識別結果及び第2の識別結果に基づいて、ファイル#n,#n+1を結合するか否かの判定を行う。
【0053】
具体的に説明すると、制御部33はまず、ステップS5で検出した記入済領域FAの下端E1yを取得する(ステップS8)とともに、ステップS6で検出した空白領域EAの下端F2yを取得する(ステップS9)。そして制御部33は、取得した下端E1y,F2yに基づき、ファイル#n,#n+1を結合するか否かの判定を行う(ステップS10)。具体的には、F2yがE1y+10よりも小さい(F2y<E1y+10)か否かを判定することによって、ステップS10の判定を行う。なお、この判定で使用する「10」という数字は例示に過ぎず、例えばユーザ設定により設定される所定値を用いればよい。
【0054】
F2yがE1y+10よりも小さいということは、ステップS6で検出した空白領域EAの下端がステップS5で検出した記入済領域FAの下端よりも実質的に下側に位置するということである。これは、ステップS6で検出した空白領域EA内にステップS5で検出した記入済領域FAを入れることができる可能性が高いということを意味するので、制御部33は、ステップS10で小さいと判定した場合、ファイル#n+1をファイル#nに結合する処理を行う(ステップS11)。この結合は、具体的には、ファイル#n+1内の全ストロークデータをファイル#nの末尾に移動することによって行えばよい。ステップS11では、ファイル#n+2以降の番号を1ずつ繰り上げる処理も行う。一方、ステップS10で小さくないと判定した場合、制御部33は、ファイルの結合を行わずにnを1インクリメントし(ステップS12)、ステップS2に処理を戻す。
【0055】
ステップS11を実行した制御部33は、nをインクリメントせずに、ステップS2に処理を戻す。これにより、紙媒体の1ページを記入中に複数回にわたってスタンバイモードへのエントリが行われた場合にも、適切にファイルを結合することが可能になる。
【0056】
以上説明したように、本発明の第1の側面にかかるタブレット端末30の機能によれば、紙媒体の同一のページへの記入結果を格納する複数のファイルを結合して1つのファイルにまとめることができるので、位置検出装置10がスタンバイモードにエントリしたことによって紙媒体のページとファイルとが一対一に対応しなくなった場合であっても、紙媒体のページと手書きデータを蓄積するファイルとを一対一に対応させることが可能になる。
【0057】
次に、
図7は、本発明の第2の側面にかかるファイル#nに格納されている1以上のスクロールデータをタッチスクリーン31上に描画した結果の例を示す図である。ユーザが
図5(a)に示した英文を紙媒体の1ページに記入し、その後、ページをめくって
図5(b)に示した英文を紙媒体の別の1ページに記入したが、ページをめくる際に電源・操作ボタン11の短押しを忘れた結果、ファイル#nには、2つのページのそれぞれに対応するストロークデータが1つのファイル#n内に蓄積されてしまっている。結果として、紙媒体の2つのページにかかる筆跡が、タッチスクリーン31上では、1つのページ#1内に重なって表示されてしまっている。
【0058】
図8及び
図9はそれぞれ、ポイント番号及びページ座標を示す図である。制御部33は、このポイント番号及びページ座標を利用して、本発明の第2の側面にかかる処理を実行するよう構成される。
【0059】
ポイント番号は、手書き入力に対応したストローク数に基づく付加情報であり、ここでは、1つのファイル内に含まれる1以上のストロークデータを示す各点の通番を示す番号とする。
図8には、ストロークデータの端点と、所定値以上の曲率で曲がっている点とにポイント番号を付与する例を示している。ただし、ポイント番号を付与すべき点はこれらに限られるものではなく、例えば、ストロークデータを描画する際に利用される制御点(キャットマル-ロム曲線の制御点など)、又は、制御部33がストロークデータを生成するために使用した1以上の手書きデータそれぞれに含まれる点(座標データ)であってもよい。
【0060】
ページ座標は、1ページを格子状に分割することによって得られる各セルの通番を示す番号であり、
図9に示すように、文字列を書き進める方向に沿って番号が大きくなるように各セルに割り当てられる。
図9には、1ページを425のセルに分割した例を示している。
【0061】
図10は、
図7に示した複数の文字のうちポイント番号1~899に対応する文字のみを、
図9に示したページ座標上に重ねて描いた図である。また、
図11は、
図7に示した複数の文字のうちポイント番号900以降に対応する文字のみを、
図9に示したページ座標上に重ねて描いた図である。これらの図から理解されるように、ユーザが上述した書き方(すなわち、ページのY方向一端からY方向他端に向かって改行しながら書き進め、行内ではX方向一端からX方向他端に向かって書き進める、という書き方)でページに文章を記入することを前提とすると、2つのページにかかる筆跡が重なってタッチスクリーン31に表示される場合、記入ページの切り替わりに伴って、対応するページ座標が大きく減少することになる。
【0062】
図12は、2つのページにかかる筆跡を含む1つのファイルに関して、ポイント番号とページ座標の関係を模式的に示した図である。同図に示すように、1ページ目の筆跡に対応するポイント番号(
図12では1~902)が概ね線形に近似できる一方で、2ページ目の筆跡に対応するポイント番号(
図12では903~)は、この近似にかかる直線から大きくずれたところにプロットされる。そこで本発明の第2の側面にかかる制御部33は、ポイント番号とページ座標との相関係数を求め、求めた相関係数に基づいてページめくりの有無を判定し、その結果に応じてファイルの分割処理を実行するよう構成される。すなわち、手書き入力が本来各ページに対応した複数の手書きデータに分割されて複数のファイルとして記憶されるべきところ1つのファイルとして記録されることを回避するために、ページめくりに対応した、例えば上述した付加情報を参酌することでファイルの分割処理が実行されるように構成される。
【0063】
図13及び
図14は、本発明の第2の側面にかかるファイル分割処理を示すフロー図である。以下、これらのフロー図を参照しながら、本発明の第2の側面にかかる制御部33の処理について、具体的に説明する。
【0064】
制御部33はまず、処理対象であるファイル#nを取得する(ステップS20)。続いて制御部33は、取得したファイル#nに含まれる1以上のストロークデータに基づき、合計N個のポイントPi(i=1~N)を決定する(ステップS21)。変数iは、上述したポイント番号である。制御部33はその後、変数iに1を、変数MPCに0をそれぞれ代入する(ステップS22)。変数MPCは、これから説明する処理において別ファイルへの移動候補となったポイントPiの数を格納する変数である。
【0065】
次に制御部33は、ポイントPiのページ座標Ciを取得し(ステップS23)、以下の式(1)により、ポイントP1の相関係数rを導出する(ステップS24)。ただし、式(1)中のSPPは式(2)により得られる偏差二乗和であり、SCCは式(3)により得られる偏差二乗和であり、SPCは式(4)により得られる偏差積和である。また、式(2)(4)内の<P>はポイントP1~Piの平均値であり、式(3)(4)内の<C>はページ座標C1~Ciの平均値である。
【0066】
【0067】
次に制御部33は、ポイントP
1~P
iのポイント数(=i)が全ポイント数Nの20%を超えた(i/N>0.2)か否かを判定する(ステップS25)。超えていなければ、ステップS14で導出した相関係数rが0.9より小さいか否かを判定し(ステップS26)、小さいと判定した場合にはファイル分割処理を終了する。これによれば、ページに記入されたものが文章でなく図面である場合など、ポイント番号とページ座標の関係が明らかに
図12に例示する関係を満たさず本発明の第2の側面を適用することが適当でない場合に、ファイル分割処理を終了することができる。なお、変数iが小さすぎる場合(例えばi/N<0.1)には、ステップS14で導出される相関係数rの値が安定しないことも考えられるので、ステップS26の判定結果を強制的に否定にセットすることとしてもよい。
【0068】
ステップS26において相関係数rが0.9より小さくないと判定した場合、制御部33は変数iを1インクリメントし(ステップS29)、変数iがNより大きいか否かを判定する(ステップS30)。ここで変数iがNより大きければ、制御部33はファイル分割処理を終了する。この場合、ファイルの分割は行われない。一方、変数iがNより大きくなければ、ステップS23に戻って処理を続ける。
【0069】
ステップS25でi/Nが0.2より大きいと判断した制御部33は、続いてステップS14で導出した相関係数rが0.9より小さいか否かを判定し(ステップS26)、小さくないと判定した場合には、移動候補コレクションをクリアするとともに、変数MPCに0を代入する(ステップS28)。移動候補コレクションは、別ファイルへの移動候補となったポイントPiを一時的に蓄積しておくテーブルである。後述するように、移動候補コレクションへのポイントPiの蓄積は相関係数rが0.9より小さいことが条件となるが、その後のポイントPiで相関係数rが0.9以上になったということは、それまでに移動候補コレクションに蓄積したポイントPiは、無視すべき外れ値であった可能性が高い。ステップS28の処理によれば、そのような外れ値であるポイントPiを移動候補から除外することが可能になる。ステップS28を実行した後、制御部33はステップS29に移って処理を続ける。
【0070】
ステップS26において相関係数rが0.9より小さいと判定した場合、制御部33は、
図14に示すようにポイントP
iを移動候補コレクションに入れ(ステップS31)、変数MPCを1インクリメントする(ステップS32)。そして、移動候補コレクションに蓄積したポイントP
iの数(=MPC)が全ポイント数Nの10%未満であるか否か(MPC/N<0.1)か否かを判定する(ステップS33)。ここで10%未満であると判定した制御部33は、
図13のステップS29に移って処理を続ける。
【0071】
一方、ステップS33で10%未満でないと判定した制御部33は、ポイントPi+1以降のポイントをすべて移動候補コレクションに入れ(ステップS34)、ユーザ確認画面を表示する(ステップS35)。このユーザ確認画面は、ファイルを分割してよいかどうかをユーザに確認するためのものである。ユーザ確認画面内には、移動候補コレクション内の1以上のポイントPiにかかるストロークデータをユーザが判別できるようにするための情報を配置することが好ましい。ユーザ確認画面を表示した制御部33は、この画面におけるユーザの確認結果を判定する(ステップS36)。
【0072】
ステップS36においてユーザがファイル分割を承認したと判定した場合、制御部33は、移動候補コレクション内の1以上のポイントPiにかかるストロークデータを新ファイルに移動し(ステップS37)、ファイル分割処理を終了する。これにより、ユーザによるページめくりの前後で、ファイルが分割されることになる。ステップS36においてユーザがファイル分割を否認したと判定した場合には、制御部33は、ステップS37を実行せずにファイル分割処理を終了する。
【0073】
以上説明したように、本発明の第2の側面にかかるタブレット端末30の機能によれば、紙媒体の複数のページへの記入結果を格納する1つのファイルをページごとに分割することができるので、ユーザが電源・操作ボタン11を押し忘れたことによって紙媒体のページとファイルとが一対一に対応しなくなった場合であっても、紙媒体のページと手書きデータを蓄積するファイルとを一対一に対応させることが可能になる。
【0074】
また、ステップS35,S36でユーザに確認を求めることとしているので、タブレット端末30が自動的に不適切なファイル分割を行ってしまうことを防止できる。これは特に、ユーザの筆跡に文章と図形が入り交じっている場合などに有効である。
【0075】
以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。
【0076】
例えば、上記実施の形態では、本発明の第1の側面と第2の側面の両方を有するタブレット端末30を説明したが、タブレット端末30は、いずれか一方の側面のみを有することとしてもよい。
【0077】
また、本発明の第1の側面に関連して、制御部33は、スリープモードにエントリする際、メモリ17内に所定のタグ情報を格納することとしてもよい。これによれば、制御部33は、スリープモードから復帰したときにタグ情報を参照することにより、記入の途中でスリープモードへのエントリが発生したことを認識できるので、紙媒体の1つのページ内に記入された一連の手書きデータの連続性を確保することが可能になる。
【0078】
また、タブレット端末30は、
図13に示した処理のうちステップS25,S26を実行しないこととし、ステップS24からステップS27に常に遷移することとしてもよい。同様に、タブレット端末30は、
図14に示した処理のうちステップS35,S36を実行しないこととし、ステップS34からステップS37に常に遷移することとしてもよい。
【0079】
また、
図6のステップS11の前に、
図14のステップS35,S36と同様のユーザ確認処理を実行することとしてもよい。こうすることで、タブレット端末30が自動的に不適切なファイル結合を行ってしまうことを防止できる。
【符号の説明】
【0080】
10 位置検出装置
10a タッチ面
11 電源・操作ボタン
12 電源ランプ
13 台紙収納部
14 スタイラス固定部
15 タッチパネル
15x,15y 線状電極
16 センサコントローラ
17,34 メモリ
18 無線通信部
30 タブレット端末
31 タッチスクリーン
32 無線通信部
33 制御部
Ci ページ座標
E1y 記入済領域の下端
EZ 有効領域
F2y 空白領域の下端
MPC 別ファイルへの移動候補となったポイントPiの数を格納する変数
NP ノートパッド
P 筆圧値
Pi ポイント
r 相関係数
S スタイラス
SW1,SW2 スイッチ情報
SZ セーフゾーン