特開 2023-47352 情報処理装置及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023047352

(43)【公開日】2023-04-05

(54)【発明の名称】情報処理装置及び情報処理プログラム

(51)【国際特許分類】

   G06V 30/19 20220101AFI20230329BHJP

   G06F 3/04886 20220101ALI20230329BHJP

【ＦＩ】

G06V30/19 G

G06F3/04886

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022203214

(22)【出願日】2022-12-20

(62)【分割の表示】P 2022550245の分割

【原出願日】2021-09-24

(71)【出願人】

【識別番号】000139403

【氏名又は名称】株式会社ワコム

(74)【代理人】

【識別番号】100176072

【弁理士】

【氏名又は名称】小林 功

(74)【代理人】

【識別番号】100169225

【弁理士】

【氏名又は名称】山野 明

(72)【発明者】

【氏名】門脇 淳

【テーマコード（参考）】

5B064

5E555

【Ｆターム（参考）】

5B064AB04

5B064BA05

5B064DA27

5B064DD06

5B064DD18

5E555AA26

5E555BA02

5E555BA05

5E555BA06

5E555BB02

5E555BB05

5E555BB06

5E555BC19

5E555CA12

5E555CB10

5E555CC19

5E555DB41

5E555DC21

5E555EA19

5E555EA24

5E555FA00

(57)【要約】

【課題】筆記操作を通じて得られる各種情報を自動的かつ適時に修正可能な情報処理装置及び情報処理プログラムを提供する。
【解決手段】情報処理装置（１２）は、隣り合うオブジェクト同士の空間上の関係性についての学習結果を示す学習情報（４６）を取得する情報取得部（６６）と、ストロークの集合体を示すストロークデータに対して認識処理を施し、第１オブジェクト及び該第１オブジェクトの後に筆記入力された第２オブジェクトを認識する認識処理部（７０）と、取得された学習情報（４６）に基づいて、認識された第１オブジェクトを固定した状態にて第２オブジェクトの位置又はサイズを調整するように、ストロークデータに対して調整処理を施すオブジェクト調整部（７２）を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

隣り合うオブジェクト同士の空間上の関係性についての学習結果を示す学習情報を取得する情報取得部と、
ストロークの集合体を示すストロークデータに対して認識処理を施し、第１オブジェクト及び該第１オブジェクトの後に筆記入力された第２オブジェクトを認識する認識処理部と、
前記情報取得部により取得された前記学習情報に基づいて、前記認識処理部により認識された前記第１オブジェクトを固定した状態にて前記第２オブジェクトの位置又はサイズを調整するように、前記ストロークデータに対して調整処理を施すオブジェクト調整部と、
を備える、情報処理装置。

【請求項2】

前記オブジェクト調整部は、複数種類の実行タイミングの中から１種類の実行タイミングを選択して前記調整処理を実行する、
請求項１に記載の情報処理装置。

【請求項3】

前記複数種類の実行タイミングには、前記第２オブジェクトの筆記入力が完了する前にオブジェクトが特定された時点が完了した時点が含まれる、
請求項２に記載の情報処理装置。

【請求項4】

前記調整処理は、列方向、高さ方向、及び回転方向のうち少なくとも一方向の位置を調整する処理である、
請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

隣り合うオブジェクト同士の空間上の関係性についての学習結果を示す学習情報を取得する取得ステップと、
ストロークの集合体を示すストロークデータに対して認識処理を施し、第１オブジェクト及び該第１オブジェクトの後に筆記入力された第２オブジェクトを認識する認識ステップと、
取得された前記学習情報に基づいて、認識された前記第１オブジェクトを固定した状態にて前記第２オブジェクトの位置又はサイズを調整するように、前記ストロークデータに対して調整処理を施す調整ステップと、
を１つ又は複数のコンピュータに実行させる、情報処理プログラム。

【請求項6】

オブジェクトを構成するストローク同士の空間上又は意味上の関係性についての学習結果を示す学習情報を取得する情報取得部と、
ストロークの集合体を示すストロークデータに対して認識処理を施し、１本以上のストロークからなる第１ストローク群及び該第１ストローク群の後に筆記入力された第２ストロークを認識する認識処理部と、
前記情報取得部により取得された前記学習情報に基づいて、前記認識処理部により認識された前記第１ストローク群を固定した状態にて前記第２ストロークの位置又は形状を調整するように、前記ストロークデータに対して調整処理を施すストローク調整部と、
を備える、情報処理装置。

【請求項7】

前記ストローク調整部は、前記第２ストロークの筆記入力が終了する度に前記調整処理の要否を判定する、
請求項６に記載の情報処理装置。

【請求項8】

前記ストローク調整部は、調整前後における前記第２ストロークの変化量が閾値を超えた場合に前記調整処理を行う、
請求項７に記載の情報処理装置。

【請求項9】

前記情報取得部は、ストロークの筆記操作を行うユーザに対応する前記学習情報を取得し、
前記ストローク調整部は、前記ユーザに応じた前記調整処理を行う、
請求項６～８のいずれか１項に記載の情報処理装置。

【請求項10】

オブジェクトを構成するストローク同士の空間上又は意味上の関係性についての学習結果を示す学習情報を取得する取得ステップと、
ストロークの集合体を示すストロークデータに対して認識処理を施し、１本以上のストロークからなる第１ストローク群及び該第１ストローク群の後に筆記入力された第２ストロークを認識する認識ステップと、
取得された前記学習情報に基づいて、認識された前記第１ストローク群を固定した状態にて前記第２ストロークを調整するように、前記ストロークデータに対して調整処理を施す調整ステップと、
を１つ又は複数のコンピュータに実行させる、情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及び情報処理プログラムに関する。

【背景技術】

【0002】

従来から、ユーザが文字や絵などのコンテンツを手書きで入力するための情報処理装置が知られている。例えば、特許文献１には、ファイルに一旦格納された手書きデータを、ユーザが表示状態を確認しながら変更する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－０２４７５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところが、特許文献１に開示される方法では、データの確認及び変更を行うための作業が必要になり、その分だけユーザの負担が増してしまう。

【0005】

本発明はこのような問題に鑑みてなされたものであり、その目的は、筆記操作を通じて得られる各種情報を自動的かつ適時に修正可能な情報処理装置及び情報処理プログラムを提供することにある。

【課題を解決するための手段】

【0006】

第１の本発明における情報処理装置は、隣り合うオブジェクト同士の空間上の関係性についての学習結果を示す学習情報を取得する情報取得部と、ストロークの集合体を示すストロークデータに対して認識処理を施し、第１オブジェクト及び該第１オブジェクトの後に筆記入力された第２オブジェクトを認識する認識処理部と、前記情報取得部により取得された前記学習情報に基づいて、前記認識処理部により認識された前記第１オブジェクトを固定した状態にて前記第２オブジェクトの位置又はサイズを調整するように、前記ストロークデータに対して調整処理を施すオブジェクト調整部と、を備える。

【0007】

第２の本発明における情報処理プログラムは、隣り合うオブジェクト同士の空間上の関係性についての学習結果を示す学習情報を取得する取得ステップと、ストロークの集合体を示すストロークデータに対して認識処理を施し、第１オブジェクト及び該第１オブジェクトの後に筆記入力された第２オブジェクトを認識する認識ステップと、取得された前記学習情報に基づいて、認識された前記第１オブジェクトを固定した状態にて前記第２オブジェクトの位置又はサイズを調整するように、前記ストロークデータに対して調整処理を施す調整ステップと、を１つ又は複数のコンピュータに実行させる。

【0008】

第３の本発明における情報処理装置は、オブジェクトを構成するストローク同士の空間上又は意味上の関係性についての学習結果を示す学習情報を取得する情報取得部と、ストロークの集合体を示すストロークデータに対して認識処理を施し、１本以上のストロークからなる第１ストローク群及び該第１ストローク群の後に筆記入力された第２ストロークを認識する認識処理部と、前記情報取得部により取得された前記学習情報に基づいて、前記認識処理部により認識された前記第１ストローク群を固定した状態にて前記第２ストロークを調整するように、前記ストロークデータに対して調整処理を施すストローク調整部と、を備える。

【0009】

第４の本発明における情報処理プログラムは、オブジェクトを構成するストローク同士空間上又は意味上の関係性についての学習結果を示す学習情報を取得する取得ステップと、ストロークの集合体を示すストロークデータに対して認識処理を施し、１本以上のストロークからなる第１ストローク群及び該第１ストローク群の後に筆記入力された第２ストロークを認識する認識ステップと、取得された前記学習情報に基づいて、認識された前記第１ストローク群を固定した状態にて前記第２ストロークを調整するように、前記ストロークデータに対して調整処理を施す調整ステップと、を１つ又は複数のコンピュータに実行させる。

【0010】

第５の本発明における情報処理システムは、位置を指示するための指示デバイスと、前記指示デバイスの指示位置を検出する検出デバイスと、前記指示デバイスが用いられる周辺の場所を撮像して撮像信号を取得する撮像デバイスと、前記検出デバイス及び／又は前記撮像デバイスと通信可能に構成される情報処理装置と、を備え、前記情報処理装置は、前記検出デバイス上のセンサ領域に対応する第１座標空間上の位置を前記指示デバイスの指示位置として算出する第１筆記モードと、前記撮像デバイスのカメラ領域に対応する第２座標空間上の位置を前記指示デバイスの指示位置として算出する第２筆記モードと、を切り替えて実行する状態量算出部と、前記状態量算出部により算出された前記第１座標空間上又は前記第２座標空間上の位置の軌跡を示す１本又は複数本のストロークを記述するデジタルインクを生成するデータ生成部と、を備える。

【0011】

第６の本発明における情報処理プログラムは、位置を指示するための指示デバイスと、前記指示デバイスの指示位置を検出する検出デバイスと、前記指示デバイスが用いられる周辺の場所を撮像して撮像信号を取得する撮像デバイスと、前記検出デバイス及び／又は前記撮像デバイスと通信可能に構成される情報処理装置と、を備える情報処理システムに適用されるプログラムであって、前記情報処理装置に、前記検出デバイス上のセンサ領域に対応する第１座標空間上の位置を前記指示デバイスの指示位置として算出する第１筆記モードと、前記撮像デバイスのカメラ領域に対応する第２座標空間上の位置を前記指示デバイスの指示位置として算出する第２筆記モードと、を切り替えて実行する算出ステップと、算出された前記第１座標空間上又は前記第２座標空間上の位置の軌跡を示す１本又は複数本のストロークを記述するデジタルインクを生成する生成ステップと、を実行させる。

【発明の効果】

【0012】

第１～第４の本発明によれば、筆記操作を通じて得られる各種情報を自動的かつ適時に修正することができる。第５及び第６の本発明によれば、ストロークを筆記入力するための２種類の座標空間を使い分けることができる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１実施形態における情報処理システムの全体構成図である。

【図2】図１におけるユーザ装置の構成の一例を示すブロック図である。

【図3】境界ボックス毎の特徴量セットの生成方法の一例を示す図である。

【図4】図１のサーバ装置が識別器及び推定器に対して学習を行う動作の一例を示すフローチャートである。

【図5】識別器が有するネットワーク構造の一例を示す図である。

【図6】推定器が有するネットワーク構造の一例を示す図である。

【図7】図１及び図２のユーザ装置がオブジェクトを調整する動作の一例を示すフローチャートである。

【図8】オブジェクトの調整結果の一例を示す図である。

【図9】本発明の第２実施形態における情報処理システムの全体構成図である。

【図10】図９におけるユーザ装置の構成の一例を示すブロック図である。

【図11】識別器が有するネットワーク構造の一例を示す図である。

【図12】推定器が有するネットワーク構造の一例を示す図である。

【図13】図１及び図２のユーザ装置がストロークを調整する動作の一例を示すフローチャートである。

【図14】ストロークの調整結果の一例を示す図である。

【図15】本発明の第３実施形態における情報処理システムの全体構成図である。

【図16】図１５におけるサーバ装置の構成の一例を示すブロック図である。

【図17】図１５のサーバ装置がストロークデータを生成する動作の一例を示すフローチャートである。

【図18】センサ座標系とカメラ座標系の間の対応関係を示す図である。

【図19】第２筆記モードにおける筆圧値の算出方法の一例を示す図である。

【発明を実施するための形態】

【0014】

以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。

【0015】

［第１実施形態］
以下、本発明の第１実施形態について、図１～図８を参照しながら説明する。

【0016】

＜情報処理システム１０の全体構成＞
図１は、本発明の第１実施形態における情報処理システム１０の全体構成図である。情報処理システム１０は、ユーザによる筆記入力を支援するための「入力支援サービス」を提供するために設けられる。この情報処理システム１０は、具体的には、１つ又は複数のユーザ装置１２（「情報処理装置」に相当）と、１本又は複数本の電子ペン１４と、サーバ装置１６と、を含んで構成される。ユーザ装置１２とサーバ装置１６とは、ネットワークＮＴを介して双方向に通信可能に構成される。

【0017】

ユーザ装置１２は、入力支援サービスを利用するユーザが所有するコンピュータであって、電子ペン１４による指示位置を検出する機能を有する。ユーザ装置１２は、例えば、タブレット、スマートフォン、パーソナルコンピュータなどから構成される。

【0018】

電子ペン１４は、ペン型のポインティングデバイスであり、ユーザ装置１２との間で一方向又は双方向に通信可能に構成される。この電子ペン１４は、例えば、アクティブ静電結合方式（ＡＥＳ）又は電磁誘導方式（ＥＭＲ）のスタイラスである。ユーザは、電子ペン１４を把持し、ユーザ装置１２が有するタッチ面にペン先を押し当てながら移動させることで、ユーザ装置１２に絵や文字を書き込むことができる。

【0019】

サーバ装置１６は、筆記入力の支援に関する統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、サーバ装置１６を単体のコンピュータとして図示しているが、サーバ装置１６は、これに代わって分散システムを構築するコンピュータ群であってもよい。サーバ装置１６は、具体的には、サーバ側通信部２０と、サーバ側制御部２２と、サーバ側記憶部２４と、を備える。

【0020】

サーバ側通信部２０は、外部装置に対して電気信号を送受信するインターフェースである。これにより、サーバ装置１６は、ユーザ装置１２からデジタルインクを取得するとともに、自身が生成した学習パラメータ群をユーザ装置１２に供給することができる。

【0021】

サーバ側制御部２２は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を含むプロセッサによって構成される。サーバ側制御部２２は、サーバ側記憶部２４に格納されたプログラム及びデータを読み出して実行することで、データ処理部２６、学習処理部２８、及び出力処理部３０として機能する。

【0022】

データ処理部２６は、ユーザ装置１２が生成したデジタルインク７４（図２）を処理し、後述する学習用データ４２を生成する。データ処理部２６の動作については、後で詳細に説明する。

【0023】

学習処理部２８は、データ処理部２６により生成された学習用データ４２を用いて、識別器３２及び推定器３４に対してそれぞれ学習処理を行う。学習処理部２８の動作については、図４のフローチャートを参照しながら、後で詳細に説明する。

【0024】

出力処理部３０は、学習処理部２８が行う学習処理によって得られた第１パラメータ群４４及び第２パラメータ群４６（図２）をユーザ装置１２に向けて出力する。これにより、ユーザ装置１２は、第１パラメータ群４４を通じて識別器３２を、第２パラメータ群４６を通じて推定器３４をそれぞれ利用することができる。

【0025】

サーバ側記憶部２４は、サーバ側制御部２２が各構成要素を制御するのに必要なプログラム及びデータを記憶している。サーバ側記憶部２４は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。ここで、コンピュータ読み取り可能な記憶媒体は、［１］コンピュータシステムに内蔵されるハードディスク（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）などの記憶装置、［２］光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、フラッシュメモリなどの可搬媒体などから構成される。

【0026】

なお、サーバ側記憶部２４には、デジタルインク７４に関するデータベース（以下、インクＤＢ４０）が構築されるとともに、学習用データ４２、第１パラメータ群４４、及び第２パラメータ群４６（「学習情報」に相当）が格納されている。

【0027】

学習用データ４２は、学習処理部２８が行う機械学習に用いられるデータの集合体である。学習用データ４２には、［１］識別器３２の学習に用いられる第１訓練データと、［２］推定器３４の学習に用いられる第２訓練データと、が含まれる。第１訓練データは、ストロークに関する特徴量（例えば、座標値・筆圧値・傾き角など）を含む「ストローク特徴量」と、オブジェクトの「識別ラベル」との間の対応関係を示すデータペアからなる。第２訓練データは、複数のオブジェクトに関する特徴量（例えば、ストローク特徴量や識別ラベルなど）の集合体である「特徴量セット」と、オブジェクトの位置・姿勢を調整するための「調整量」との間の対応関係を示すデータペアからなる。

【0028】

なお、第１及び第２訓練データには、ストローク特徴量の他に、［１］入力デバイスの識別情報（例えば、ペンＩＤ）・種別、ユーザ装置１２の種別、筆圧カーブの形状などを含む「デバイスドライバ側の設定条件」、［２］コンテンツの種類、カラーパレットやブラシの色情報、視覚効果の設定を含む「描画アプリ側の設定条件」などの様々な特徴量が含まれてもよい。

【0029】

第１パラメータ群４４は、識別器３２の演算規則を特定するための学習パラメータの集合体であり、オブジェクトの識別に関する学習結果を示す学習情報に相当する。第２パラメータ群４６は、推定器３４の演算規則を特定可能な学習パラメータの集合体であり、隣り合うオブジェクト同士の空間上の関係性（例えば、位置関係や大小関係など）についての学習結果を示す学習情報に相当する。学習パラメータは、例えば、演算ユニットの活性化関数を記述する係数、シナプス結合の強さに相当する重み付け係数、各層を構成する演算ユニットの個数、中間層の層数などを含んでもよい。

【0030】

第１パラメータ群４４又は第２パラメータ群４６は、ユーザによらず一律であってもよいし、ユーザ毎にカスタマイズされてもよい。後者の場合、第１パラメータ群４４又は第２パラメータ群４６が、ユーザを特定可能な識別情報と対応付けて予め記憶されており、デジタルインク７４（図２）に含まれる識別情報を用いて適時に読み出されることが望ましい。識別情報として、例えば、入力支援サービスの利用アカウント、あるいは、電子ペン１４又はユーザ装置１２に関する各種ＩＤが用いられる。

【0031】

＜ユーザ装置１２の構成＞
図２は、図１におけるユーザ装置１２の構成の一例を示すブロック図である。このユーザ装置１２は、具体的には、タッチパネルディスプレイ５０と、表示駆動ＩＣ（Integrated Circuit）５４と、タッチＩＣ５６と、通信モジュール５８と、ホストプロセッサ６０（「プロセッサ」に相当）と、メモリ６２（「記憶媒体」に相当）と、を含んで構成される。

【0032】

タッチパネルディスプレイ５０は、コンテンツを可視的に表示可能な表示パネル５１と、平面視にて表示パネル５１と重なるように配置される面状のタッチセンサ５２と、を含んで構成される。本図の例では、タッチセンサ５２は、表示パネル５１に外側から取り付ける「外付け型」のセンサであるが、これに代えて表示パネル５１と一体的に構成される「内蔵型」のセンサであってもよい。

【0033】

表示パネル５１は、モノクロ画像又はカラー画像を表示可能であり、例えば、液晶パネル、有機ＥＬ（Electro-Luminescence）パネル、電子ペーパーから構成される。なお、表示パネル５１に可撓性をもたせることで、ユーザは、ユーザ装置１２のタッチ面を湾曲又は屈曲させた状態のまま、様々な筆記操作を行うことができる。

【0034】

タッチセンサ５２は、複数のセンサ電極を面状に配置してなる静電容量方式のセンサである。このタッチセンサ５２は、例えば、センサ座標系のＸ軸の位置を検出するための複数本のＸライン電極と、Ｙ軸の位置を検出するための複数本のＹライン電極と、を含んで構成される。なお、タッチセンサ５２は、上記した相互容量方式のセンサに代えて、ブロック状の電極を二次元格子状に配置した自己容量方式のセンサであってもよい。

【0035】

表示駆動ＩＣ５４は、表示パネル５１と電気的に接続され、かつ表示パネル５１の駆動制御を行う集積回路である。表示駆動ＩＣ５４は、ホストプロセッサ６０から供給された表示信号に基づいて表示パネル５１を駆動する。これにより、表示パネル５１上には、デジタルインク７４が示すコンテンツが表示される。

【0036】

タッチＩＣ５６は、タッチセンサ５２と電気的に接続され、かつタッチセンサ５２の駆動制御を行う集積回路である。タッチＩＣ５６は、ホストプロセッサ６０から供給された制御信号に基づいてタッチセンサ５２を駆動する。これにより、タッチＩＣ５６は、電子ペン１４の状態を検出する「ペン検出機能」や、ユーザの指などによるタッチを検出する「タッチ検出機能」を実行する。このように、タッチセンサ５２による入力機能と、表示パネル５１による出力機能を組み合わせることで、グラフィカル・ユーザ・インターフェース（ＧＵＩ）が構築される。

【0037】

通信モジュール５８は、外部装置との間で有線通信又は無線通信を行う通信機能を有する。これにより、これにより、ユーザ装置１２は、デジタルインク７４をサーバ装置１６に送信するとともに、第１パラメータ群４４及び第２パラメータ群４６をサーバ装置１６から受信することができる。

【0038】

ホストプロセッサ６０は、ＣＰＵ、ＧＰＵ、あるいはＭＰＵ（Micro-Processing Unit）を含む演算処理装置によって構成される。ホストプロセッサ６０は、メモリ６２に格納されたプログラム及びデータを読み出して実行することで、操作受付部６４、情報取得部６６、筆記処理部６８、認識処理部７０、及びオブジェクト調整部７２として機能する。

【0039】

操作受付部６４は、筆記入力に用いられる入力デバイス（例えば、電子ペン１４）によるユーザの操作を受け付ける。この操作により、例えば、［１］ストロークの色・太さ・装飾などに関する筆記設定機能、［２］オブジェクトの調整動作に関する調整設定機能などの様々な設定機能が実行される。この「調整設定」には、調整機能のオン・オフ、実行タイミングの選択が含まれる。

【0040】

情報取得部６６は、隣り合うオブジェクト同士の空間上の関係性についての学習結果を示す情報（以下、「学習情報」という）を取得する。情報取得部６６は、メモリ６２に記憶されている学習情報を読み出して取得してもよいし、サーバ装置１６を含む外部装置からのダウンロードを通じて学習情報を取得してもよい。また、情報取得部６６は、電子ペン１４の識別情報（つまり、ペンＩＤ）に対応する学習情報を取得してもよい。

【0041】

筆記処理部６８は、ユーザによる各種操作に応じて、筆記に関する情報処理（以下、筆記処理）を行う。この筆記処理を通じて、例えば、［１］ストロークのデータ化処理、［２］ストロークの表示処理、［３］デジタルインク７４の生成処理などの様々な描画機能が実行される。

【0042】

認識処理部７０は、ストロークの集合体を示すストロークデータに対して認識処理を施し、第１オブジェクト及び該第１オブジェクトの後に筆記入力された第２オブジェクトを認識する。ここで、「オブジェクト」には、文字、図形、記号、模様などのオブジェクト要素が含まれ、あるいは、正しく認識されたことを前提として筆記途中のオブジェクト要素も含まれる。文字の種類として、例えば、漢字、平仮名、片仮名、算用数字、アルファベットなどが挙げられる。また、第１オブジェクトは、単体のオブジェクト要素に限られず、並んで配置される２つ以上のオブジェクト要素であってもよい。

【0043】

また、認識処理部７０は、機械学習がなされた学習器（例えば、ニューラルネットワーク）からなる識別器３２及び推定器３４を含んで構成される。識別器３２は、１本又は複数本のストロークが示すオブジェクトを識別するための学習器である。推定器３４は、オブジェクト同士の位置関係から、第２オブジェクトのずれ量を推定するための学習器である。この「ずれ量」は、理想的な位置又はサイズに対するずれ量を意味する。

【0044】

オブジェクト調整部７２は、認識処理部７０による認識結果を用いて、ストロークデータに対して調整処理を施す。この調整処理は、第１オブジェクトを固定した状態にて第２オブジェクトの位置又はサイズを調整する処理、例えばアフィン変換処理であってもよい。位置の例として、列方向、高さ方向、及び回転方向のうち少なくとも一方向の位置が挙げられる。サイズの例として、列方向又は高さ方向の長さや拡縮率などが挙げられる。

【0045】

また、オブジェクト調整部７２は、実行条件を満たす場合に調整処理を行う一方、実行条件を満たさない場合に調整処理を省略してもよい。この実行条件は、例えば、［条件１］調整機能の設定が「オン」であること、［条件２］第１及び第２オブジェクトが同時に認識できたこと、［条件３］第１オブジェクトに対する第２オブジェクトのずれ量が閾値を超えたこと、［条件４］条件１～３の少なくとも１つを満たすこと、のいずれであってもよい。

【0046】

また、オブジェクト調整部７２は、複数種類の実行タイミングの中から１種類の実行タイミングを選択して調整処理を実行してもよい。実行タイミングの一例として、［１］第２オブジェクトに関する個々のストローク操作が終了した時点、［２］第２オブジェクトの筆記入力が完了する前にオブジェクトの種類が特定された時点、又は［３］第２オブジェクトの筆記入力が完了した時点などが挙げられる。

【0047】

メモリ６２は、サーバ側記憶部２４（図１）と同様に、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。本図の例では、メモリ６２には、上記した第１パラメータ群４４及び第２パラメータ群４６の他に、デジタルインク７４が格納されている。

【0048】

デジタルインク７４は、手書きによるコンテンツを表現するためのインクデータである。デジタルインク７４のデータ形式、いわゆる「インク記述言語」として、例えば、ＷＩＬＬ（Wacom Ink Layer Language）、ＩｎｋＭＬ（Ink Markup Language）、ＩＳＦ（Ink Serialized Format）が挙げられる。デジタルインク７４は、[１]文書メタデータ（document metadata）、［２］意味データ（ink semantics）、［３］装置データ（devices）、［４］ストロークデータ（strokes）、［５］分類データ（groups）、及び［６］文脈データ（contexts）を順次配列してなるデータ構造を有する。

【0049】

ストロークデータは、コンテンツを構成する個々のストロークを記述するためのデータである。１本のストロークは、＜ｔｒａｃｅ＞タグ内に順次配列される複数のポイントデータにより記述される。複数のポイントデータは、ストロークの始点、複数の経由点、及び終点をそれぞれ示す。各々のポイントデータは、少なくとも指示位置（Ｘ座標、Ｙ座標）からなり、カンマなどのデリミタで区切られる。このポイントデータには、上記した指示位置の他に、筆記の順序、電子ペン１４の筆圧、姿勢などが含まれてもよい。

【0050】

＜情報処理システム１０の動作＞
第１実施形態における情報処理システム１０は、以上のように構成される。続いて、情報処理システム１０の動作について、主に図３～図８を参照しながら説明する。

【0051】

（１．デジタルインク７４の生成）
まず、図１のユーザ装置１２がデジタルインク７４を生成する動作について、図１及び図２を参照しながら説明する。

【0052】

ユーザは、自身が所有する電子ペン１４を用いて、ユーザ装置１２に対して筆記入力を行う。ユーザ装置１２の筆記処理部６８（図２）が、ユーザによる筆記操作に応じて筆記処理を行うことで、ストロークデータが生成される。そして、操作受付部６４（図２）がデータの保存操作を受け付けることで、ホストプロセッサ６０は、ストロークデータを含むデジタルインク７４を生成し、当該デジタルインク７４をメモリ６２に格納させる。

【0053】

その後、ユーザ装置１２は、自身が生成したデジタルインク７４をサーバ装置１６に送信する。そうすると、サーバ側制御部２２は、サーバ側通信部２０を介して受信したデジタルインク７４をサーバ側記憶部２４に記憶させる。これにより、インクＤＢ４０に新たなデジタルインク７４が追加・登録される。

【0054】

（２．学習用データ４２の生成）
続いて、図１のサーバ装置１６が学習用データ４２を生成する動作について、図１を参照しながら説明する。サーバ装置１６のデータ処理部２６は、インクＤＢ４０を参照し、解析対象であるデジタルインク７４（図２）を取得する。そして、データ処理部２６は、取得したデジタルインク７４に対してデータ処理を施し、機械学習に用いられる第１訓練データ及び第２訓練データを生成する。サーバ側制御部２２は、自身が生成した第１訓練データ及び第２訓練データをサーバ側記憶部２４に記憶させる。これにより、学習用データ４２が利用可能になる。

【0055】

図３は、境界ボックス７６毎の特徴量セットの生成方法の一例を示す図である。データ処理部２６は、ユーザ装置１２が有するタッチ面に対応する二次元座標系（以下、正規化座標系；Ｘ’－Ｙ’）を定義する。この正規化座標系の原点Ｏ’は、センサ座標系の原点Ｏに最も近い位置にある、境界ボックス７６の頂点に相当する。正規化座標系のＸ’軸はセンサ座標系のＸ軸に平行であるとともに、正規化座標系のＹ’軸はセンサ座標系のＹ軸に平行である。また、Ｘ’軸，Ｙ’軸のスケールは、境界ボックス７６をなす４つの頂点の座標が（０，０），（１，０），（０，１），（１，１）となるように正規化されている。

【0056】

データ処理部２６は、少なくとも１本（本図の例では６本）のストロークを示すストロークデータを参照し、センサ座標系におけるストロークの始点Ｐｓの座標値（Ｘ，Ｙ）及び終点Ｐｅの座標値（Ｘ，Ｙ）を取得する。そして、データ処理部２６は、座標系の線形変換を施すことで、正規化座標系におけるストロークの始点Ｐｓの座標値（Ｘ’，Ｙ’）及び終点Ｐｅの座標値（Ｘ’，Ｙ’）をそれぞれ導出する。なお、ストロークの始点Ｐｓ又は終点Ｐｅが境界ボックス７６の外側にある場合、データ処理部２６は、境界線上にある経由点を仮想的な始点Ｐｓ又は終点Ｐｅとみなして軌跡特徴量を生成すればよい。

【0057】

（３．識別器３２又は推定器３４の学習）
続いて、図１のサーバ装置１６が識別器３２及び推定器３４に対して学習を行う動作について、図４のフローチャート、図５及び図６を参照しながら説明する。

【0058】

図４のステップＳＰ１０において、サーバ装置１６のサーバ側制御部２２（図１）は、特定のユーザからの更新要求を受け付けたか否かを確認する。更新要求をまだ受け付けていない場合（ステップＳＰ１０：ＮＯ）、当該要求を受け付けるまでステップＳＰ１０に留まる。一方、更新要求を受け付けた場合（ステップＳＰ１０：ＹＥＳ）、次のステップＳＰ１２に進む。

【0059】

ステップＳＰ１２において、サーバ装置１６の学習処理部２８は、既に作成された学習用データ４２（より詳しくは、第１訓練データ）を用いて、識別器３２に対する学習処理を行う。この学習処理は、機械学習に一般的に適用される様々な手法を用いて実行される。この学習処理を通じて、複数のユーザに共通する第１パラメータ群４４、あるいはユーザ毎にカスタマイズされた第１パラメータ群４４が算出される。なお、識別器３２又は推定器３４がユーザ毎にカスタマイズされる場合、学習処理部２８は、ユーザを特定する識別情報（例えば、ペンＩＤ）に対応する学習用データ４２を選択的に取得する。

【0060】

図５は、識別器３２が有するネットワーク構造の一例を示す図である。識別器３２は、例えば、階層型ニューラルネットワーク８０から構成され、入力層８２、中間層８４及び出力層８６を備える。識別器３２の演算規則は、学習パラメータの集合体である第１パラメータ群４４（図１）の値によって定められる。

【0061】

入力層８２は、ｎ本のストロークを示す特徴量セット（図３参照）を入力する層であり、複数（例えば、２・ｎ個）の演算ユニットから構成される。

【0062】

中間層８４は、１層又は２層以上で構成され、入力ベクトルの次元数を削減する次元削減機能を有する。つまり、中間層８４を構成する演算ユニットの個数は、２・ｎよりも少ないことが望ましい。

【0063】

出力層８６は、文字のラベル群を出力する層であり、本図の例では平仮名の文字数（例えば、濁点・半濁点を除いた４６個）の演算ユニットから構成される。演算ユニットの活性化関数がソフトマックス関数である場合、このラベル群は、文字毎の確率を示す４６個の成分からなる出力ベクトルである。

【0064】

ところで、文字の種類が「漢字」である場合、「平仮名」向けの識別器３２とは別の、漢字の識別に適した識別器３２が選択されてもよい。あるいは、文字の種類が特定できない場合、複数種類の文字（例えば、平仮名及び片仮名）の識別に適した識別器３２が選択されてもよい。

【0065】

図４のステップＳＰ１４において、学習処理部２８は、ステップＳＰ１０で取得された学習用データ４２（より詳しくは、第２訓練データ）を用いて、推定器３４に対して学習処理を施す。この学習処理は、機械学習に一般的に適用される様々な手法を用いて実行される。この学習処理を通じて、ユーザ毎にカスタマイズされた第２パラメータ群４６が算出される。

【0066】

図６は、推定器３４が有するネットワーク構造の一例を示す図である。推定器３４は、例えば、階層型ニューラルネットワーク９０から構成され、入力層９２、中間層９４及び出力層９６を備える。推定器３４の演算規則は、学習パラメータの集合体である第２パラメータ群４６（図１）の値によって定められる。

【0067】

入力層９２は、第１オブジェクト及び第２オブジェクトに関する特徴量セット（Ｍ個ずつ）を入力する層であり、複数（例えば、２・Ｍ個）の演算ユニットから構成される。

【0068】

中間層９４は、１層又は２層以上で構成され、入力ベクトルの次元数を削減する次元削減機能を有する。つまり、中間層９４を構成する演算ユニットの個数は、２・Ｍよりも少ないことが望ましい。

【0069】

出力層９６は、第２オブジェクトのずれ量を出力する層であり、本図の例では、５個の演算ユニットから構成される。具体的には、［１］Ｘ軸方向のシフト量、［２］Ｘ軸方向の拡縮倍率、［３］Ｙ軸方向のシフト量、［４］Ｙ軸方向の拡縮倍率、及び［５］θ方向の回転量がそれぞれ出力される。

【0070】

図４のステップＳＰ１６において、サーバ装置１６のサーバ側通信部２０は、ステップＳＰ１２，ＳＰ１４での学習処理を通じて算出された第１パラメータ群４４及び第２パラメータ群４６を、更新要求を行ったユーザ装置１２に向けて送信する。ユーザ装置１２は、受信した第１パラメータ群４４をメモリ６２に格納することで、識別器３２を自身の装置環境で構築可能になる。ユーザ装置１２は、受信した第２パラメータ群４６をメモリ６２に格納することで、推定器３４を自身の装置環境で構築可能になる。このようにして、サーバ装置１６は、図４に示すフローチャートの処理を終了する。

【0071】

＜４．オブジェクトの自動調整＞
続いて、情報処理システム１０の一部を構成するユーザ装置１２の動作、具体的には、オブジェクトの調整動作について、図７のフローチャート及び図８を参照しながら説明する。

【0072】

図７のステップＳＰ２０において、情報取得部６６は、第１パラメータ群４４及び第２パラメータ群４６をメモリ６２から取得する。これにより、認識処理部７０は、識別器３２及び推定器３４として機能する。

【0073】

ステップＳＰ２２において、筆記処理部６８は、ユーザによる各種操作に応じた筆記処理を行う。

【0074】

ステップＳＰ２４において、ホストプロセッサ６０は、オブジェクトの調整タイミングが到来したか否かを確認する。ここでは、調整タイミングが「各々のオブジェクトの筆記入力が完了した時点」に設定されたとする。

【0075】

オブジェクトの調整タイミングがまだ到来していない場合（ステップＳＰ２４：ＮＯ）、調整タイミングが到来するまでの間、ステップＳＰ２２，ＳＰ２４を順次繰り返す。一方、調整タイミングが到来した場合（ステップＳＰ２４：ＹＥＳ）、次のステップＳＰ２６に進む。

【0076】

ステップＳＰ２６において、認識処理部７０は、ステップＳＰ２４の時点で直近に生成されたストロークデータを用いて、１つ又は複数のオブジェクトを認識する。この認識処理は、学習済みの識別器３２を通じて行われる。これにより、直近に順次筆記された第１及び第２オブジェクトがそれぞれ認識される。

【0077】

ステップＳＰ２８において、認識処理部７０は、ステップＳＰ２６にて認識された第１オブジェクトと第２オブジェクトの間の位置関係を推定する。この推定処理は、学習済みの推定器３４を通じて行われる。これにより、第１オブジェクトに対する第２オブジェクトのずれ量が求められる。

【0078】

ステップＳＰ３０において、オブジェクト調整部７２は、ステップＳＰ２８による推定結果を参照して、第２オブジェクトの調整が必要であるか否かを確認する。調整が必要でない場合（ステップＳＰ２８：ＮＯ）、オブジェクト調整部７２は、第２オブジェクトの調整を行うことなく、ステップＳＰ２２に戻る。一方、調整が必要である場合（ステップＳＰ２８：ＹＥＳ）、次のステップＳＰ３０に進む。

【0079】

ステップＳＰ３２において、オブジェクト調整部７２は、ステップＳＰ２６にて推定された位置関係に基づいて、第１オブジェクトに対する第２オブジェクトの位置又はサイズのずれ量が小さくなるように調整する。

【0080】

図８は、オブジェクトの調整結果の一例を示す図である。上段の図はオブジェクトの調整処理が実行される前における手書きコンテンツを、下段の図はオブジェクトの調整処理が実行された後における手書きコンテンツをそれぞれ示す。センサ座標系の全体領域１００内には、手書きコンテンツを示すストローク群１０２が配置される。ストローク群１０２は、漢字及び平仮名から構成される文字列を示している。文字列は、左側から順に、４つの文字Ｌ１，Ｌ２，Ｌ３，Ｌ４からなる。

【0081】

例えば、文字Ｌ４が、通常よりも文字Ｌ３に近い位置に筆記入力されたとする。この場合、文字Ｌ４の筆記入力が完了した時点で、「第１オブジェクト」としての文字Ｌ３と、「第２オブジェクト」としての文字Ｌ４と間の調整処理が始まる。そうすると、文字Ｌ４全体の位置が左上方向に平行移動することで、新たな文字Ｌ５が形成される。つまり、センサ座標系の全体領域１００内にて、ストローク群１０２からストローク群１０４に自動的に更新される。その結果、文字Ｌ１～Ｌ３が固定した状態のまま、２つの文字Ｌ３，Ｌ５間の位置関係が適正化される。

【0082】

その後、図７のステップＳＰ２２に戻って、ホストプロセッサ６０は、ユーザが筆記操作を行っている間、ステップＳＰ２２～ＳＰ３２を繰り返し、必要に応じてオブジェクトの調整を行う。このようにして、図７に示すフローチャートの処理が逐次実行される。

【0083】

＜情報処理システム１０による効果＞
以上のように、第１実施形態における情報処理装置としてのユーザ装置１２は、隣り合うオブジェクト同士の空間上の関係性についての学習結果を示す学習情報（ここでは、第２パラメータ群４６）を取得する情報取得部６６と、ストロークの集合体を示すストロークデータに対して認識処理を施し、第１オブジェクト及び該第１オブジェクトの後に筆記入力された第２オブジェクトを認識する認識処理部７０と、情報取得部６６により取得された第２パラメータ群４６に基づいて、認識処理部７０により認識された第１オブジェクトを固定した状態にて第２オブジェクトの位置又はサイズを調整するように、ストロークデータに対して調整処理を施すオブジェクト調整部７２と、を備える。

【0084】

第１実施形態における情報処理プログラム及び方法によれば、１つ又は複数のコンピュータ（ここでは、ユーザ装置１２）が、隣り合うオブジェクト同士の空間上の関係性についての学習結果を示す第２パラメータ群４６を取得する取得ステップ（図７のＳＰ２０）と、ストロークの集合体を示すストロークデータに対して認識処理を施し、第１オブジェクト及び該第１オブジェクトの後に筆記入力された第２オブジェクトを認識する認識ステップ（ＳＰ２６）と、取得された第２パラメータ群４６に基づいて、認識された第１オブジェクトを固定した状態にて第２オブジェクトの位置又はサイズを調整するように、ストロークデータに対して調整処理を施す調整ステップ（ＳＰ３２）と、を実行する。

【0085】

このように、取得された第２パラメータ群４６に基づいて、第１オブジェクトを固定した状態にて第２オブジェクトの位置又はサイズを調整することで、筆記操作を通じて得られる各種情報を自動的かつ適時に修正することができる。

【0086】

また、オブジェクト調整部７２は、複数種類の実行タイミングの中から１種類の実行タイミングを選択して調整処理を実行してもよい。これにより、予め選択された適切なタイミングでオブジェクトの調整がなされる。

【0087】

また、複数種類の実行タイミングには、第２オブジェクトの筆記入力が完了する前にオブジェクトが特定された時点が含まれてもよい。筆記入力の完了前に調整がなされることで、その後の筆記入力が行いやすくなる。

【0088】

また、調整処理は、列方向、高さ方向、及び回転方向のうち少なくとも一方向の位置を調整する処理であってもよい。これにより、オブジェクトの位置又は向きのずれを円滑に調整することができる。

【0089】

［第２実施形態］
続いて、本発明の第２実施形態について、図９～図１４を参照しながら説明する。第１実施形態と同様の構成及び機能については、同一の参照符号を付するとともにその説明を省略する場合がある。

【0090】

＜情報処理システム１１０の全体構成＞
図９は、本発明の第２実施形態における情報処理システム１１０の全体構成図である。情報処理システム１１０は、第１実施形態（図１の情報処理システム１０）と同様に、ユーザによる筆記入力を支援するための「入力支援サービス」を提供するために設けられる。この情報処理システム１１０は、具体的には、１つ又は複数のユーザ装置１１２（「情報処理装置」に相当）と、１本又は複数本の電子ペン１１４と、サーバ装置１１６と、を含んで構成される。ユーザ装置１１２とサーバ装置１１６とは、ネットワークＮＴを介して双方向に通信可能に構成される。

【0091】

ユーザ装置１１２は、第１実施形態（図１のユーザ装置１２）と同様に、入力支援サービスを利用するユーザが所有するコンピュータであって、電子ペン１１４による指示位置を検出する機能を有する。電子ペン１１４は、第１実施形態（図１の電子ペン１４）と同様に、ペン型のポインティングデバイスであり、ユーザ装置１１２との間で一方向又は双方向に通信可能に構成される。

【0092】

サーバ装置１１６は、第１実施形態（図１のサーバ装置１６）と同様に、サーバ側通信部２０と、サーバ側制御部２２と、サーバ側記憶部２４と、を備える。ただし、サーバ装置１１６は、図１のサーバ装置１６との間で、［１］サーバ側制御部２２が有する学習処理部２８の機能、及び［２］サーバ側記憶部２４に記憶されるデータがそれぞれ異なる。

【0093】

サーバ側制御部２２が有する学習処理部２８は、データ処理部２６により生成された学習用データ１２２を用いて、識別器１１８及び推定器１２０に対してそれぞれ学習処理を行う。学習処理部２８の動作については、後で詳細に説明する。

【0094】

サーバ側記憶部２４には、インクＤＢ４０が構築されるとともに、第１実施形態とはデータ定義が異なる学習用データ１２２、第１パラメータ群１２４、及び第２パラメータ群１２６（「学習情報」に相当）が格納されている。

【0095】

学習用データ１２２は、学習処理部２８が行う機械学習に用いられるデータの集合体である。学習用データ１２２には、［１］識別器１１８の学習に用いられる第１訓練データと、［２］推定器１２０の学習に用いられる第２訓練データと、が含まれる。第1訓練データは、ストロークに関する特徴量（例えば、座標値・筆圧値・傾き角など）を含む「ストローク特徴量」と、オブジェクトの「識別ラベル」との間の対応関係を示すデータペアからなる。第２訓練データは、調整前のストローク群に関する「調整前のストローク特徴量」及びフォントの形状を示す「フォントデータ」と、調整後の第２ストロークに関する「調整後のストローク特徴量」との間の対応関係を示すデータペアからなる。

【0096】

＜ユーザ装置１１２の構成＞
図１０は、図９におけるユーザ装置１１２の構成の一例を示すブロック図である。このユーザ装置１１２は、第１実施形態（図２のユーザ装置１２）と同様に、タッチパネルディスプレイ５０と、表示駆動ＩＣ５４と、タッチＩＣ５６と、通信モジュール５８と、ホストプロセッサ６０と、メモリ６２と、を含んで構成される。

【0097】

ホストプロセッサ６０は、ＣＰＵ、ＧＰＵ、ＭＰＵを含む演算処理装置によって構成される。ホストプロセッサ６０は、メモリ６２に格納されたプログラム及びデータを読み出して実行することで、操作受付部６４、情報取得部６６、筆記処理部６８、認識処理部１３０、及びストローク調整部１３２として機能する。

【0098】

操作受付部６４は、筆記入力に用いられる入力デバイス（例えば、電子ペン１４）によるユーザの操作を受け付ける。この操作により、例えば、［１］ストロークの色・太さ・装飾などに関する筆記設定機能、［２］ストロークの調整動作に関する調整設定機能などの様々な設定機能が実行される。この「調整設定」には、調整機能のオン・オフ、実行タイミングの選択が含まれる。

【0099】

情報取得部６６は、オブジェクトを構成するストローク同士の空間上又は意味上の関係性についての学習結果を示す情報（以下、「学習情報」という）を取得する。情報取得部６６は、メモリ６２に記憶されている学習情報を読み出して取得してもよいし、サーバ装置１１６を含む外部装置からのダウンロードを通じて学習情報を取得してもよい。また、情報取得部６６は、ストロークの筆記操作を行うユーザに対応する学習情報を取得してもよい。ユーザと学習情報とは、例えば、入力支援サービスの利用アカウント、あるいは、電子ペン１４又はユーザ装置１２に関する各種ＩＤを用いて対応付けられる。

【0100】

筆記処理部６８は、ユーザによる各種操作に応じて筆記処理を行う。この筆記処理を通じて、例えば、［１］ストロークのデータ化処理、［２］ストロークの表示処理、［３］デジタルインク７４の生成処理などの様々な描画機能が実行される。

【0101】

認識処理部１３０は、ストロークの集合体を示すストロークデータに対して認識処理を施し、第１ストローク群及び該第１ストロークの後に筆記入力された第２ストロークを認識する。この「第１ストローク群」は、筆記途中である単体のオブジェクト要素のみを構成してもよいし、さらに、直近に筆記された１つ以上のオブジェクト要素を含んで構成してもよい。

【0102】

ここでは、認識処理部１３０は、機械学習がなされた学習器（例えば、ニューラルネットワーク）からなる識別器１１８及び推定器１２０を含んで構成される。識別器１１８は、１本又は複数本のストロークが示すオブジェクトを識別するための学習器である。推定器１２０は、ストローク同士の位置関係から、第２ストロークの正しい形状を推定するための学習器である。この「正しい形状」には、ストローク全体の形状のみならず、ストロークの部分的な形状も含まれる。

【0103】

ストローク調整部１３２は、認識処理部１３０による認識結果を用いて、ストロークデータに対して調整処理を施す。この調整処理は、１本以上のストロークからなる第１ストローク群を固定した状態にて、該第１ストローク群の後に筆記入力された第２ストロークの位置又は形状を調整する処理である。調整すべき位置の例として、列方向、高さ方向、及び回転方向のうち少なくとも一方向の位置が挙げられる。調整すべき形状の例として、ストロークの始点・終点・経由点の座標値、線分の長さ、曲率、端部の形状（例えば、止め、跳ね、払い）などが挙げられる。

【0104】

また、ストローク調整部１３２は、調整機能の設定が「オン」である場合、第２ストロークの筆記入力が終了する度に調整処理の要否を判定してもよい。具体的には、ストローク調整部１３２は、実行条件を満たす場合に調整処理を行う一方、実行条件を満たさない場合に調整処理を省略してもよい。この実行条件は、例えば、［条件１］第２ストロークを含むオブジェクトの種類が認識できたこと、［条件２］調整前後における第２ストロークの変化量（例えば、位置、形状、サイズ、長さの相違度など）が閾値を超えたこと、［条件３］条件１又は条件２の少なくとも一方を満たすこと、のいずれであってもよい。

【0105】

メモリ６２は、第１実施形態（図１）と同様に、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。本図の例では、メモリ６２には、第１パラメータ群１２４、第２パラメータ群１２６、フォントデータ１２８、及びデジタルインク７４が格納されている。

【0106】

フォントデータ１２８は、オブジェクトとしての文字の標準的な形状（つまり、フォント）を示すデータである。フォントデータ１２８は、例えば、［１］フォントを示す画像データ、［２］フォントの特徴点を示す座標情報、［３］文字の特徴量を示す分散表現ベクトルのいずれであってもよい。フォントは、識別器１１８により識別可能な文字毎に設けられる。フォントの種類は、１種類であってもよいし２種類以上であってもよい。

【0107】

＜情報処理システム１１０の動作＞
第２実施形態における情報処理システム１１０は、以上のように構成される。続いて、情報処理システム１１０の動作について、主に図１１～図１４を参照しながら説明する。

【0108】

（１．デジタルインク７４の生成）
図９のサーバ装置１１６がデジタルインク７４を生成する動作は、基本的には、第１実施形態の場合と同様であるので、その説明を省略する。

【0109】

（２．学習用データ１２２の生成）
図９のサーバ装置１１６が学習用データ１２２を生成する動作は、基本的には、第１実施形態の場合と同様であるので、その説明を省略する。

【0110】

（３．識別器１１８又は推定器１２０の学習）
図９のサーバ装置１１６が識別器１１８及び推定器１２０に対して学習を行う動作は、基本的には、第１実施形態（図４のフローチャート）の場合と同様であるので、その説明を省略する。

【0111】

図１１は、識別器１１８が有するネットワーク構造の一例を示す図である。識別器１１８は、例えば、階層型ニューラルネットワーク１４０から構成され、入力層１４２、中間層１４４及び出力層１４６を備える。識別器１１８の演算規則は、学習パラメータの集合体である第１パラメータ群１２４（図９）の値によって定められる。

【0112】

入力層１４２は、ｎ本のストロークを示す特徴量セット（図３参照）を入力する層であり、複数（例えば、２・ｎ個）の演算ユニットから構成される。

【0113】

中間層１４４は、１層又は２層以上で構成され、入力ベクトルの次元数を削減する次元削減機能を有する。つまり、中間層１４４を構成する演算ユニットの個数は、２・ｎよりも少ないことが望ましい。

【0114】

出力層１４６は、文字のラベル群を出力する層であり、本図の例では平仮名の文字数（例えば、濁点・半濁点を除いた４６個）の演算ユニットから構成される。演算ユニットの活性化関数がソフトマックス関数である場合、このラベル群は、文字毎の確率を示す４６個の成分からなる出力ベクトルである。

【0115】

図１２は、推定器１２０が有するネットワーク構造の一例を示す図である。推定器１２０は、例えば、階層型ニューラルネットワーク１５０から構成され、入力層１５２、中間層１５４及び出力層１５６を備える。推定器１２０の演算規則は、学習パラメータの集合体である第２パラメータ群１２６（図９）の値によって定められる。

【0116】

入力層１５２は、第１ストローク群に関するストローク特徴量（２ｎ個）及びフォントデータ（ｆ個）を連結してなる特徴量セットを入力する層であり、（２ｎ＋ｆ）個の演算ユニットから構成される。

【0117】

中間層１５４は、１層又は２層以上で構成され、入力ベクトルの次元数を削減する次元削減機能を有する。つまり、中間層１５４を構成する演算ユニットの個数は、（２ｎ＋ｆ）よりも少ないことが望ましい。

【0118】

出力層１５６は、第１ストローク群の次に筆記され得る第２ストロークに関するストローク特徴量（２ｍ）を出力する層であり、本図の例では、２ｍ個の演算ユニットから構成される。

【0119】

＜４．ストロークの自動調整＞
続いて、情報処理システム１１０の一部を構成するユーザ装置１１２の動作、具体的には、ストロークの調整動作について、図１３のフローチャート及び図１４を参照しながら説明する。

【0120】

図１３のステップＳＰ４０において、情報取得部６６は、第１パラメータ群１２４及び第２パラメータ群１２６をメモリ６２から取得する。これにより、認識処理部７０は、識別器１１８及び推定器１２０として機能する。

【0121】

ステップＳＰ４２において、筆記処理部６８は、第１実施形態（図４のステップＳＰ２２）の場合と同様に、ユーザによる各種操作に応じた筆記処理を行う。

【0122】

ステップＳＰ４４において、ホストプロセッサ６０は、ストロークの調整タイミングが到来したか否かを確認する。ここでは、調整タイミングが「各々のストロークの筆記入力が完了した時点」に設定されたとする。

【0123】

ストロークの調整タイミングがまだ到来していない場合（ステップＳＰ４４：ＮＯ）、調整タイミングが到来するまでの間、ステップＳＰ４２，ＳＰ４４を順次繰り返す。一方、調整タイミングが到来した場合（ステップＳＰ４４：ＹＥＳ）、次のステップＳＰ４６に進む。

【0124】

ステップＳＰ４６において、認識処理部１３０は、ステップＳＰ４４の時点で直近に生成されたストロークデータを用いて、１本又は複数本のストロークから構成されるオブジェクトを認識する。この認識処理は、学習済みの識別器１１８を通じて行われる。これにより、直近に筆記された第１ストローク群及び第２ストロークがそれぞれ認識される。

【0125】

ステップＳＰ４８において、認識処理部１３０は、ステップＳＰ４６にて認識された第１ストローク群と第２ストロークの間の位置関係を推定する。この推定処理は、学習済みの推定器１２０を通じて行われる。これにより、第１ストローク群に対する第２ストロークの正しい形状が求められる。

【0126】

ステップＳＰ５０において、ストローク調整部１３２は、ステップＳＰ４８による推定結果を参照して、第２ストロークの調整が必要であるか否かを判定する。調整が必要でない場合（ステップＳＰ５０：ＮＯ）、ストローク調整部１３２は、第２ストロークの調整を行うことなく、ステップＳＰ４２に戻る。一方、調整が必要である場合（ステップＳＰ５０：ＹＥＳ）、次のステップＳＰ５２に進む。

【0127】

ステップＳＰ５２において、ストローク調整部１３２は、ステップＳＰ４８にて推定された位置関係に基づいて、第１ストローク群との関係において第２ストロークが適切な位置又は形状に近づくように調整処理を行う。

【0128】

図１４は、ストロークの調整結果の一例を示す図である。上段の図はストロークの調整処理が実行される前における手書きコンテンツを、下段の図はストロークの調整処理が実行された後における手書きコンテンツをそれぞれ示す。センサ座標系の全体領域１６０内には、手書きコンテンツを示すストローク群１６２が配置される。ストローク群１６２は、漢字及び平仮名から構成される文字列を示している。文字列は、左側から順に、３つの文字Ｌ１，Ｌ２，Ｌ３からなる。

【0129】

例えば、文字Ｌ３において、第１ストローク群１６４が筆記入力された後に、第２ストローク１６６が、所定の止め位置を突き抜けた状態にて筆記入力されたとする。この場合、第２ストローク１６６の筆記入力が完了した時点で、第１ストローク群１６４に対する第２ストローク１６６の調整処理が始まる。そうすると、センサ座標系の全体領域１６０内にて、ストローク群１６２からストローク群１７０に自動的に更新される。

【0130】

その結果、第１ストローク群１６４を固定した状態にて、終端側が短くなった新たな第２ストローク１７２が形成され、文字Ｌ３における書き損じ又は誤記が訂正される。ここで、ユーザ毎にカスタマイズされた推定器１２０（あるいは、第２パラメータ群１２６）を用いることで、ユーザによる筆記の傾向や癖をより適切に反映させた調整を行うことができる。

【0131】

その後、図１３のステップＳＰ４２に戻って、ホストプロセッサ６０は、ユーザが筆記操作を行っている間、ステップＳＰ４２～ＳＰ５２を繰り返し、必要に応じてストロークの調整を行う。このようにして、図１３に示すフローチャートの処理が逐次実行される。

【0132】

＜情報処理システム１１０による効果＞
以上のように、第２実施形態における情報処理装置としてのユーザ装置１１２は、オブジェクトを構成するストローク同士の空間上又は意味上の関係性についての学習結果を示す学習情報（ここでは、第２パラメータ群１２６）を取得する情報取得部６６と、ストロークの集合体を示すストロークデータに対して認識処理を施し、１本以上のストロークからなる第１ストローク群１６４及び該第１ストローク群１６４の後に筆記入力された第２ストローク１６６を認識する認識処理部１３０と、情報取得部６６により取得された第２パラメータ群１２６に基づいて、認識処理部１３０により認識された第１ストローク群１６４を固定した状態にて第２ストローク１６６の位置又は形状を調整するように、ストロークデータに対して調整処理を施すストローク調整部１３２と、を備える。

【0133】

第２実施形態における情報処理プログラム及び方法によれば、１つ又は複数のコンピュータ（ここでは、ユーザ装置１１２）が、オブジェクトを構成するストローク同士の空間上又は意味上の関係性についての学習結果を示す学習情報（ここでは、第２パラメータ群１２６）を取得する取得ステップ（図１３のＳＰ４０）と、ストロークの集合体を示すストロークデータに対して認識処理を施し、１本以上のストロークからなる第１ストローク群１６４及び該第１ストローク群１６４の後に筆記入力された第２ストローク１６６を認識する認識ステップ（ＳＰ４６）と、取得された第２パラメータ群１２６に基づいて、認識された第１ストローク群１６４を固定した状態にて第２ストローク１６６の位置又は形状を調整するように、ストロークデータに対して調整処理を施す調整ステップ（ＳＰ５２）と、を実行する。

【0134】

このように、取得された第２パラメータ群１２６に基づいて、第１ストローク群１６４を固定した状態にて第２ストローク１６６の位置又は形状を調整することで、筆記操作を通じて得られる各種情報を自動的かつ適時に修正することができる。

【0135】

また、ストローク調整部１３２は、第２ストロークの筆記入力が終了する度に調整処理の要否を判定してもよい。ユーザが次の筆記入力を開始する前にストロークの調整が行われるので、ユーザの支援になる。

【0136】

また、ストローク調整部１３２は、調整前後における第２ストロークの変化量が閾値を超えた場合に調整処理を行ってもよい。この場合、第２ストロークの変化量が少ない場合には調整を行われないので、その分だけ演算処理の負荷が低減される。

【0137】

また、情報取得部６６は、ストロークの筆記操作を行うユーザに対応する第２パラメータ群１２６を取得するとともに、ストローク調整部１３２は、ユーザに応じた調整処理を行ってもよい。ユーザ毎にカスタマイズされた学習情報を通じて、ユーザによる筆記の傾向や癖をより適切に反映させた調整を行うことができる。

【0138】

［第３実施形態］
続いて、本発明の第３実施形態について、図１５～図１９を参照しながら説明する。第１又は第２実施形態と同様の構成及び機能については、同一の参照符号を付するとともにその説明を省略する場合がある。

【0139】

＜情報処理システム２００の全体構成＞
図１５は、本発明の第３実施形態における情報処理システム２００の全体構成図である。情報処理システム２００は、ユーザによる筆記入力を通じてデジタルインクを生成する「筆記入力サービス」を提供するために設けられる。

【0140】

この情報処理システム２００は、具体的には、１つ又は複数のユーザ装置２０２（「検出デバイス」に相当）と、１本又は複数本の電子ペン２０４（「指示デバイス」に相当）と、１つ又は複数のカメラ２０６（「撮像デバイス」に相当）と、サーバ装置２０８（「情報処理装置」に相当）と、を含んで構成される。ユーザ装置２０２とサーバ装置２０８とは、中継装置２１０及びネットワークＮＴを介して、双方向に通信可能に構成される。また、電子ペン２０４は、ユーザ装置２０２を介して間接的に、あるいはユーザ装置２０２を介さずに直接的に、サーバ装置２０８との間で通信可能に構成される。

【0141】

ユーザ装置２０２は、第１及び第２実施形態（ユーザ装置１２，１１２）の場合と同様に、入力支援サービスを利用するユーザが所有するコンピュータであって、電子ペン２０４による指示位置を検出する機能を有する。ユーザ装置２０２は、例えば、タブレット、スマートフォン、パーソナルコンピュータなどから構成される。

【0142】

電子ペン２０４は、ユーザ装置２０２との間で一方向又は双方向に通信可能に構成される入力デバイスである。電子ペン２０４は、具体的には、筆圧センサ２１１と、慣性計測ユニット（Inertial Measurement Unit；以下、ＩＭＵ２１２）と、マイクロコントロールユニット（Micro Control Unit；以下、ＭＣＵ２１３）と、通信チップ２１４と、サイドスイッチ２１５（「操作子」に相当）と、を含んで構成される。ここで、ＩＭＵ２１２は、任意に選択可能な構成であり、必要に応じて省略されてもよい。

【0143】

筆圧センサ２１１は、例えば、ペン先への押圧により発生する静電容量の変化を捉える、可変容量コンデンサを用いた圧力センサである。この筆圧センサ２１１により、筆圧の検出機能を発揮するとともに、電子ペン２０４のペンダウン又はペンアップを含むペンイベントを検出することができる。

【0144】

ＩＭＵ２１２は、例えば、３軸のジャイロセンサと３方向の加速度センサを組み合わせてなる計測ユニットである。これにより、ＩＭＵ２１２は、自装置の状態又は状態の時間変化を示す状態量を測定可能に構成される。この状態量には、位置・姿勢の特定に用いられる様々な物理量、例えば、位置、速度、加速度、ジャーク、角度、角速度などが含まれる。

【0145】

ＭＣＵ２１３は、電子ペン２０４の動作を制御可能なプロセッサを含む制御ユニットである。例えば、ＭＣＵ２１３は、電子ペン２０４による指示位置の計算に関する様々な演算の他に、当該演算の結果を含むデータの送受信制御などを行う。

【0146】

通信チップ２１４は、ＢｌｕｅＴｏｏｔｈ（登録商標）を含む様々な無線通信規格に従って、外部装置との間で無線通信を行うための集積回路である。これにより、電子ペン２０４は、通信チップ２１４を介して、外部装置との間で様々なデータのやり取りが可能である。

【0147】

サイドスイッチ２１５は、筆記時の設定を変更するための操作子であり、例えば、電子ペン２０４が有する筐体の側部に設けられる。

【0148】

カメラ２０６は、電子ペン２０４が用いられる周辺の場所を撮像して撮像信号を取得及び出力する。そして、カメラ２０６は、自装置が備える通信機能を通じて、当該撮像信号を含む撮像データを、中継装置２１０及びネットワークＮＴを介してサーバ装置２０８に送信する。

【0149】

サーバ装置２０８は、筆記入力に関する統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、サーバ装置２０８を単体のコンピュータとして図示しているが、サーバ装置２０８は、これに代わって分散システムを構築するコンピュータ群であってもよい。

【0150】

＜サーバ装置２０８の構成＞
図１６は、図１５におけるサーバ装置２０８の構成の一例を示すブロック図である。このサーバ装置２０８は、具体的には、通信部２２０と、制御部２２２と、記憶部２２４と、を備える。

【0151】

通信部２２０は、外部装置に対して電気信号を送受信するインターフェースである。これにより、サーバ装置２０８は、デジタルインクを含む様々なデータをユーザ装置２０２との間でやり取りすることができる。

【0152】

制御部２２２は、ＣＰＵやＧＰＵを含むプロセッサによって構成される。制御部２２２は、記憶部２２４に格納されたプログラム及びデータを読み出して実行することで、情報取得部２２６、モード選択部２２８、状態量算出部２３０、及びデータ生成部２３２として機能する。

【0153】

情報取得部２２６は、電子ペン２０４の状態量の算出に必要な各種情報を取得する。この情報の一例として、［１］カメラ２０６からの撮像データ２３６、［２］電子ペン２０４に関するペン情報２３８、［３］ユーザ装置２０２からのストロークデータなどが挙げられる。

【0154】

モード選択部２２８は、予め定められた複数種類の筆記モードの中から１種類の筆記モードを選択する。筆記モードの種類は、例えば、電子ペン２０４による指示位置の定義に応じて区分される。複数種類の筆記モードには、［１］ユーザ装置２０２上のセンサ領域に対応するセンサ座標空間（第１座標空間）上の位置を電子ペン２０４の指示位置として算出する「第１筆記モード」と、［２］カメラ２０６のカメラ領域に対応するカメラ座標空間（第２座標空間）上の位置を電子ペン２０４の指示位置として算出する「第２筆記モード」と、が含まれる。

【0155】

筆記モードの選択は、手動又は自動により行われてもよい。手動の一例として、ユーザ装置２０２の操作画面上に表示されるユーザコントロールの操作、電子ペン２０４に設けられるサイドスイッチ２１５の押下操作などが挙げられる。自動の一例として、カメラ２０６がオン状態である場合、ユーザ装置２０２と電子ペン２０４との間で通信可能状態／通信不可状態に切り替わった場合、電子ペン２０４に筆圧が作用していない場合などが挙げられる。例えば、モード選択部２２８は、電子ペン２０４に筆圧が作用していない旨の検出がされている間、ユーザ装置２０２又は電子ペン２０４との通信を介して受け付けたサイドスイッチ２１５の操作に応じて、第１筆記モードと第２筆記モードとを順次切り替えて実行してもよい。

【0156】

状態量算出部２３０は、情報取得部２２６により取得された様々な情報を用いて、電子ペン２０４の状態を示す状態量を算出する。この状態量には、電子ペン２０４の位置・姿勢に関する物理量（例えば、指示位置、傾き、方位又はこれらの時間変化量など）や、電子ペン２０４に作用する物理量（例えば、筆圧など）が含まれる。

【0157】

状態量算出部２３０は、例えば、筆記モードの種類に応じて異なる演算方法で状態量を算出してもよい。第１筆記モードの場合、状態量算出部２３０は、センサ座標空間２５０（図１８）上の座標値を電子ペン２０４の指示位置として算出するとともに、筆圧センサ２１１による測定値を電子ペン２０４にかかる筆圧として算出する。指示位置又は筆圧の算出方法は、基本的には、ユーザ装置２０２に組み込まれたタッチＩＣ（不図示）が実行する算出方法と同様である。

【0158】

一方、第２筆記モードの場合、状態量算出部２３０は、カメラ座標空間２６０（図１８）上の座標値を電子ペン２０４の指示位置として算出するとともに、電子ペン２０４の移動状態に基づき求めた算出値を電子ペン２０４にかかる筆圧として算出する。例えば、状態量算出部２３０は、撮像データ２３６が示す画像領域内に含まれるペン先の位置をそれぞれ検出し、複数のカメラ２０６間における既知の幾何学的関係に基づいて三角測量法により電子ペン２０４の指示位置を算出する。例えば、状態量算出部２３０は、電子ペン２０４の移動速度が高くなるにつれて筆圧が低くなるように、電子ペン２０４にかかる筆圧を算出する。なお、状態量算出部２３０は、撮像データ２３６を用いて電子ペン２０４の存在又は位置を検出できなかった場合、電子ペン２０４に搭載されるＩＭＵ２１２の計測値を用いて、電子ペン２０４の状態量（例えば、指示位置や筆圧）を算出してもよい。

【0159】

データ生成部２３２は、状態量算出部２３０により算出された状態量を用いて、ストロークデータを含むデジタルインクを生成する。ストロークデータにより記述されるストローク群の空間座標は、第１筆記モードと第２筆記モードとの間で異なっている。

【0160】

記憶部２２４は、制御部２２２が各構成要素を制御するのに必要なプログラム及びデータを記憶している。記憶部２２４は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。記憶部２２４には、デジタルインクに関するデータベース（つまり、インクＤＢ２３４）が構築されるとともに、撮像データ２３６及びペン情報２３８が格納されている。

【0161】

撮像データ２３６には、複数のカメラ２０６からそれぞれ出力された撮像信号と、複数のカメラ２０６間の相対的な配置関係を特定するための幾何学情報と、が含まれる。撮像データ２３６は、電子ペン２０４又は該電子ペン２０４のユーザと対応付けた状態にて記憶される。

【0162】

ペン情報２３８には、電子ペン２０４が保持・生成する情報が含まれてもよいし、ユーザ装置２０２による電子ペン２０４の検出を通じて得られた情報が含まれてもよい。前者の例として、電子ペン２０４の識別情報（つまり、ペンＩＤ）、電子ペン２０４の種別、サイドスイッチ２１５を含む操作子の状態などが挙げられる。後者の例として、センサ座標空間２５０上にて検出された電子ペン２０４の位置・傾き・方位などが挙げられる。

【0163】

＜情報処理システム２００の動作＞
第３実施形態における情報処理システム２００は、以上のように構成される。続いて、この情報処理システム２００の動作について、図１７のフローチャート、図１８及び図１９を参照しながら説明する。

【0164】

図１７のステップＳＰ７０において、サーバ装置２０８の制御部（より詳しくは、情報取得部２２６）は、電子ペン２０４の状態量の算出に必要な各種情報を外部装置から取得する。ここで、外部装置は、ユーザ装置２０２、カメラ２０６及び電子ペン２０４のうちの少なくとも１つの装置である。

【0165】

ステップＳＰ７２において、モード選択部２２８は、ステップＳＰ７０で取得された各種情報を参照し、第１筆記モード及び第２筆記モードのうちいずれか一方を選択する。

【0166】

ステップＳＰ７４において、状態量算出部２３０は、ステップＳＰ７２にて選択された筆記モードの種類を確認する。第１筆記モードが選択されている場合（ステップＳＰ７４：第１筆記モード）、次のステップＳＰ７６に進む。

【0167】

ステップＳＰ７６において、状態量算出部２３０は、センサ座標空間２５０上の座標値を電子ペン２０４の指示位置として算出する。つまり、状態量算出部２３０は、ペン情報２３８に含まれる電子ペン２０４の指示位置をそのまま用いる。

【0168】

図１８は、センサ座標空間２５０とカメラ座標空間２６０の間の対応関係を示す図である。図面上側のセンサ座標空間２５０は、Ｘｓ軸、Ｙｓ軸、Ｚｓ軸からなる３次元直交座標系であり、ユーザ装置２０２によって独自に定義される。破線で示す四角形状の領域は、ユーザ装置２０２のタッチ面がなすセンサ領域２５２に相当する。

【0169】

図１７のステップＳＰ７８において、状態量算出部２３０は、筆圧センサ２１１による測定値を電子ペン２０４にかかる筆圧として算出する。つまり、状態量算出部２３０は、ペン情報２３８に含まれる電子ペン２０４の筆圧値をそのまま用いる。

【0170】

ステップＳＰ８０において、データ生成部２３２は、ステップＳＰ７６，ＳＰ７８でそれぞれ算出された状態値を用いて、第１筆記モードに対応するデジタルインクを生成する。このようにして、サーバ装置２０８は、図１７のフローチャートに示す動作を終了する。

【0171】

一方、図１７のステップＳＰ７４に戻って、状態量算出部２３０は、第２筆記モードが選択されている場合（ステップＳＰ７４：第２筆記モード）、ステップＳＰ７６とは別のステップＳＰ８２に進む。

【0172】

ステップＳＰ８２において、状態量算出部２３０は、カメラ座標空間２６０上の座標値を電子ペン２０４の指示位置として算出する。具体的には、状態量算出部２３０は、撮像データ２３６が示す画像毎にペン先の位置を特定した後、三角測量法などの公知の手法を用いてカメラ座標空間２６０上の位置に変換する。

【0173】

図１８の下側に示すカメラ座標空間２６０は、Ｘｃ軸、Ｙｃ軸、Ｚｃ軸からなる３次元直交座標系であり、サーバ装置２０８によって独自に定義される。なお、センサ座標空間２５０とカメラ座標空間２６０とは独立して定義されているが、相互に位置合わせが行われてもよい。

【0174】

図１７のステップＳＰ８４において、状態量算出部２３０は、電子ペン２０４の移動状態に応じた値を電子ペン２０４にかかる筆圧として算出する。筆圧値の具体的な算出方法について、図１９を参照しながら説明する。

【0175】

図１９は、第２筆記モードにおける筆圧値の算出方法の一例を示す図である。グラフの横軸は電子ペン２０４の移動速度Ｖ（単位：ｍｍ／ｓ）を示すとともに、グラフの縦軸は筆圧値Ｐ（単位：なし）を示している。移動速度がＶ１以下（０≦Ｖ≦Ｖ１）である場合には、筆圧値を一定（Ｐ＝Ｐ１）とみなす。そして、移動速度がＶ１を上回る場合（Ｖ１＜Ｖ≦Ｖ２）には、移動速度が増加するにつれて筆圧値が徐々に減少する。そして、移動速度がＶ２を上回る場合（Ｖ＞Ｖ２）である場合には、筆圧値を一定（Ｐ＝Ｐ２）とみなす。このような特性曲線に従って筆圧値を求めることで、電子ペン２０４がホバー状態であっても、コンタクト状態における筆圧の挙動を疑似的に再現することができる。

【0176】

図１７のステップＳＰ８０において、データ生成部２３２は、ステップＳＰ８２，ＳＰ８４でそれぞれ算出された状態値を用いて、第２筆記モードに対応するデジタルインクを生成する。このようにして、サーバ装置２０８は、図１７のフローチャートに示す動作を終了する。

【0177】

＜情報処理システム２００による効果＞
以上のように、第３実施形態における情報処理システム２００は、位置を指示するための指示デバイス（ここでは、電子ペン２０４）と、電子ペン２０４の指示位置を検出する検出デバイス（ここでは、ユーザ装置２０２）と、電子ペン２０４が用いられる周辺の場所を撮像して撮像信号を取得する撮像デバイス（ここでは、カメラ２０６）と、ユーザ装置２０２又はカメラ２０６と通信可能に構成される情報処理装置（ここでは、サーバ装置２０８）と、を備える。

【0178】

サーバ装置２０８は、ユーザ装置２０２上のセンサ領域２５２に対応する第１座標空間（ここでは、センサ座標空間２５０）上の位置を電子ペン２０４の指示位置として算出する第１筆記モードと、カメラ２０６の撮像領域２６２に対応する第２座標空間（ここでは、カメラ座標空間２６０）上の位置を電子ペン２０４の指示位置として算出する第２筆記モードと、を切り替えて実行する状態量算出部２３０と、状態量算出部２３０により算出されたセンサ座標空間２５０上又はカメラ座標空間２６０上の位置の軌跡を示す１本又は複数本のストロークを記述するデジタルインクを生成するデータ生成部２３２と、を備える。

【0179】

第３実施形態における情報処理プログラム及び方法によれば、サーバ装置２０８が、ユーザ装置２０２上のセンサ領域２５２に対応するセンサ座標空間２５０上の位置を電子ペン２０４の指示位置として算出する第１筆記モードと、カメラ２０６の撮像領域２６２に対応するカメラ座標空間２６０上の位置を電子ペン２０４の指示位置として算出する第２筆記モードと、を切り替えて実行する算出ステップ（図１７のＳＰ７６，ＳＰ８２）と、算出されたセンサ座標空間２５０上又はカメラ座標空間２６０上の位置の軌跡を示す１本又は複数本のストロークを記述するデジタルインクを生成する生成ステップ（ＳＰ８０）と、を実行する。

【0180】

このように、センサ座標空間２５０上の位置を電子ペン２０４の指示位置として算出する第１筆記モードと、カメラ２０６の撮像領域２６２に対応するカメラ座標空間２６０上の位置を電子ペン２０４の指示位置として算出する第２筆記モードと、を切り替えて実行することで、ストロークを筆記入力するための２種類の座標空間を使い分けることができる。

【0181】

また、指示デバイスが筆圧の検出機能を有する電子ペン２０４である場合、状態量算出部２３０は、少なくとも、電子ペン２０４に筆圧が作用していない旨の検出がされている間に第２筆記モードを実行してもよい。

【0182】

また、電子ペン２０４が操作子（ここでは、サイドスイッチ２１５）をさらに備える場合、状態量算出部２３０は、ユーザ装置２０２又は電子ペン２０４との通信を介して受け付けたサイドスイッチ２１５の操作に応じて、第１筆記モード及び第２筆記モードを切り替えて実行してもよい。

【0183】

また、データ生成部２３２は、状態量算出部２３０が第２筆記モードを実行している間に、電子ペン２０４に作用する筆圧に代えて、電子ペン２０４の移動状態に応じた値を筆圧として算出してもよい。

【0184】

［変形例］
なお、本発明は、上記した各実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。

【符号の説明】

【0185】

１０，１１０，２００…情報処理システム、１２，１１２…ユーザ装置（情報処理装置）、１４，１１４…電子ペン、１６，１１６…サーバ装置、３２，１１８…識別器、３４，１２０…推定器、４４，１２４…第１パラメータ群、４６，１２６…第２パラメータ群（学習情報）、６６…情報取得部、７０，１３０…認識処理部、７２…オブジェクト調整部、１３２…ストローク調整部、２０２…ユーザ装置（検出デバイス）、２０４…電子ペン（指示デバイス）、２０８…サーバ装置（情報処理装置）、２２６…情報取得部、２２８…画像解析部、２３０…状態量算出部、２３２…データ生成部、２５０…センサ座標空間（第１座標空間）、２６０…カメラ座標空間（第２座標空間）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】