知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024100572
(43)【公開日】2024-07-26
(54)【発明の名称】情報処理装置、方法、及びプログラム
(51)【国際特許分類】
G06V 30/18 20220101AFI20240719BHJP
G06F 3/04883 20220101ALI20240719BHJP
【ＦＩ】
G06V30/18 B
G06F3/04883
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023004674
(22)【出願日】2023-01-16
(71)【出願人】
【識別番号】000139403
【氏名又は名称】株式会社ワコム
(74)【代理人】
【識別番号】100176072
【弁理士】
【氏名又は名称】小林 功
(74)【代理人】
【識別番号】100169225
【弁理士】
【氏名又は名称】山野 明
(72)【発明者】
【氏名】掛 晃幸
(72)【発明者】
【氏名】洪 毓珮
【テーマコード（参考）】
5B064
5E555
【Ｆターム（参考）】
5B064AB04
5B064CA12
5B064DC06
5E555AA05
5E555AA54
5E555BA02
5E555BA05
5E555BA06
5E555BA82
5E555BB02
5E555BB05
5E555BB06
5E555BC19
5E555CA14
5E555CB10
5E555CB44
5E555CC22
5E555DB41
5E555DC19
5E555DC24
5E555DC26
5E555DC27
5E555DC45
5E555DD03
5E555EA14
5E555EA19
5E555EA24
5E555FA00
(57)【要約】
【課題】入力デバイスを用いた筆記操作を通じて得られる各種情報を自動的かつ適時に検出可能な情報処理装置、方法、及びプログラムを提供する。
【解決手段】情報処理装置１６は、入力デバイス（１４）を用いた筆記操作を通じて順次検出される指示位置を示す座標値及び筆圧の大きさを示す筆圧値の集合を示すストロークデータ（５０）を取得するデータ取得部２６と、取得されたストロークデータ（６０）を用いて、筆記操作により筆記されたストローク群（５４）に関する特徴量セットを生成する特徴量生成部２８と、生成された特徴量セットに対して検出処理を施し、ストローク群（５４）の中から筆圧値又は該筆圧値の時間変化が特異である特異ストローク（５６）を検出する特異性検出部３２と、を備える。
【選択図】図１
【解決手段】情報処理装置１６は、入力デバイス（１４）を用いた筆記操作を通じて順次検出される指示位置を示す座標値及び筆圧の大きさを示す筆圧値の集合を示すストロークデータ（５０）を取得するデータ取得部２６と、取得されたストロークデータ（６０）を用いて、筆記操作により筆記されたストローク群（５４）に関する特徴量セットを生成する特徴量生成部２８と、生成された特徴量セットに対して検出処理を施し、ストローク群（５４）の中から筆圧値又は該筆圧値の時間変化が特異である特異ストローク（５６）を検出する特異性検出部３２と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
入力デバイスを用いた筆記操作を通じて順次検出される指示位置を示す座標値及び筆圧の大きさを示す筆圧値の集合を示すストロークデータを取得するデータ取得部と、
前記データ取得部により取得された前記ストロークデータを用いて、前記筆記操作により筆記されたストローク群に関する特徴量セットを生成する特徴量生成部と、
前記特徴量生成部により生成された前記特徴量セットに対して検出処理を施し、前記ストローク群の中から筆圧値又は該筆圧値の時間変化が特異である特異ストロークを検出する特異性検出部と、
を備える情報処理装置。
前記データ取得部により取得された前記ストロークデータを用いて、前記筆記操作により筆記されたストローク群に関する特徴量セットを生成する特徴量生成部と、
前記特徴量生成部により生成された前記特徴量セットに対して検出処理を施し、前記ストローク群の中から筆圧値又は該筆圧値の時間変化が特異である特異ストロークを検出する特異性検出部と、
を備える情報処理装置。
【請求項2】
前記特徴量セットに対して識別処理を施し、前記ストローク群が示す文字を識別する文字識別部をさらに備え、
前記特異性検出部は、前記文字識別部により文字として識別されたストローク群単位、又は文字の候補として識別されたストローク群単位で前記特異ストロークを検出する、
請求項１に記載の情報処理装置。
前記特異性検出部は、前記文字識別部により文字として識別されたストローク群単位、又は文字の候補として識別されたストローク群単位で前記特異ストロークを検出する、
請求項１に記載の情報処理装置。
【請求項3】
前記特異性検出部は、前記特徴量セットを入力とし、前記ストローク毎の特異度を出力とする学習器を含んで構成される、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記特異性検出部は、前記学習器から出力された前記特異度同士の関係に基づいて前記特異ストロークを検出する、
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項5】
前記特異性検出部により検出された前記特異ストロークに対して特異性を示すラベルを付与するデータ処理を行うデータ処理部をさらに備える、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項6】
前記特異性検出部により検出された前記特異ストロークの特異性を抑制するように、前記ストロークデータの一部を修正又は削除するデータ処理を行うデータ処理部をさらに備える、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項7】
前記特異性の抑制は、前記特異ストロークの位置、線幅、直線性、又は平滑性を変更することである、
請求項６に記載の情報処理装置。
請求項６に記載の情報処理装置。
【請求項8】
前記特異性検出部により検出された前記特異ストロークの特異性を抑制するように、前記ストロークデータの一部を修正又は削除するデータ処理を行うデータ処理部をさらに備え、
前記文字識別部により文字が識別されるまでの間、前記文字識別部による識別処理、前記特異性検出部による検出処理、及び前記データ処理部によるデータ処理を繰り返して実行する、
請求項２に記載の情報処理装置。
前記文字識別部により文字が識別されるまでの間、前記文字識別部による識別処理、前記特異性検出部による検出処理、及び前記データ処理部によるデータ処理を繰り返して実行する、
請求項２に記載の情報処理装置。
【請求項9】
入力デバイスを用いた筆記操作を通じて順次検出される指示位置を示す座標値及び筆圧の大きさを示す筆圧値の集合を示すストロークデータを取得する取得ステップと、
取得された前記ストロークデータを用いて、前記筆記操作により筆記されたストローク群に関する特徴量セットを生成する生成ステップと、
生成された前記特徴量セットに対して検出処理を施し、前記ストローク群の中から筆圧値又は該筆圧値の時間変化が特異である特異ストロークを検出する検出ステップと、
を１つ又は複数のコンピュータが実行する情報処理方法。
取得された前記ストロークデータを用いて、前記筆記操作により筆記されたストローク群に関する特徴量セットを生成する生成ステップと、
生成された前記特徴量セットに対して検出処理を施し、前記ストローク群の中から筆圧値又は該筆圧値の時間変化が特異である特異ストロークを検出する検出ステップと、
を１つ又は複数のコンピュータが実行する情報処理方法。
【請求項10】
入力デバイスを用いた筆記操作を通じて順次検出される指示位置を示す座標値及び筆圧の大きさを示す筆圧値の集合を示すストロークデータを取得する取得ステップと、
取得された前記ストロークデータを用いて、前記筆記操作により筆記されたストローク群に関する特徴量セットを生成する生成ステップと、
生成された前記特徴量セットに対して検出処理を施し、前記ストローク群の中から筆圧値又は該筆圧値の時間変化が特異である特異ストロークを検出する検出ステップと、
を１つ又は複数のコンピュータに実行させる情報処理プログラム。
取得された前記ストロークデータを用いて、前記筆記操作により筆記されたストローク群に関する特徴量セットを生成する生成ステップと、
生成された前記特徴量セットに対して検出処理を施し、前記ストローク群の中から筆圧値又は該筆圧値の時間変化が特異である特異ストロークを検出する検出ステップと、
を１つ又は複数のコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、方法、及びプログラムに関する。
【背景技術】
【0002】
従来から、ユーザが文字や絵などのコンテンツを手書きで入力するための情報処理装置が知られている。例えば、特許文献１には、ファイルに一旦格納された手書きデータを、ユーザが表示状態を確認しながら変更する方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－０２４７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところが、特許文献１に開示される方法では、データの確認及び変更を行うための作業が必要になり、その分だけユーザの負担が増してしまう。
【0005】
本発明はこのような問題に鑑みてなされたものであり、その目的は、入力デバイスを用いた筆記操作を通じて得られる各種情報を自動的かつ適時に検出可能な情報処理装置、方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の第１態様における情報処理装置は、入力デバイスを用いた筆記操作を通じて順次検出される指示位置を示す座標値及び筆圧の大きさを示す筆圧値の集合を示すストロークデータを取得するデータ取得部と、前記データ取得部により取得された前記ストロークデータを用いて、前記筆記操作により筆記されたストローク群に関する特徴量セットを生成する特徴量生成部と、前記特徴量生成部により生成された前記特徴量セットに対して検出処理を施し、前記ストローク群の中から筆圧値又は該筆圧値の時間変化が特異である特異ストロークを検出する特異性検出部と、を備える。
【0007】
本発明の第２態様における情報処理方法では、入力デバイスを用いた筆記操作を通じて順次検出される指示位置を示す座標値及び筆圧の大きさを示す筆圧値の集合を示すストロークデータを取得する取得ステップと、取得された前記ストロークデータを用いて、前記筆記操作により筆記されたストローク群に関する特徴量セットを生成する生成ステップと、生成された前記特徴量セットに対して検出処理を施し、前記ストローク群の中から筆圧値又は該筆圧値の時間変化が特異である特異ストロークを検出する検出ステップと、を１つ又は複数のコンピュータが実行する。
【0008】
本発明の第３態様における情報処理プログラムは、入力デバイスを用いた筆記操作を通じて順次検出される指示位置を示す座標値及び筆圧の大きさを示す筆圧値の集合を示すストロークデータを取得する取得ステップと、取得された前記ストロークデータを用いて、前記筆記操作により筆記されたストローク群に関する特徴量セットを生成する生成ステップと、生成された前記特徴量セットに対して検出処理を施し、前記ストローク群の中から筆圧値又は該筆圧値の時間変化が特異である特異ストロークを検出する検出ステップと、を１つ又は複数のコンピュータに実行させる。
【発明の効果】
【0009】
本発明によれば、入力デバイスを用いた筆記操作を通じて得られる各種情報を自動的かつ適時に検出することができる。
【図面の簡単な説明】
【0010】
【図1】本発明の一実施形態における情報処理装置が組み込まれた入力システムの全体構成図である。
【図5】境界ボックス毎の特徴量セットの生成方法の一例を示す図である。
【図6】第１学習器が有するネットワーク構造の一例を示す図である。
【図7】文字列の識別結果の一例を示す図である。
【図8】ストロークを筆記する際の筆圧変化の一例を示す図である。
【図9】第２学習器が有するネットワーク構造の一例を示す図である。
【図10】特異ストロークの検出方法の第１例を示す図である。
【図11】特異ストロークの検出方法の第２例を示す図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。
【0012】
［入力システム１０の全体構成］
図１は、本発明の一実施形態における情報処理装置１６が組み込まれた入力システム１０の全体構成図である。この入力システム１０は、ユーザによる筆記文字をデータ化して取り扱う「デジタルインクサービス」を提供可能に構成される。この入力システム１０は、具体的には、１台又は複数台のユーザ装置１２と、１本又は複数本の電子ペン１４（「入力デバイス」に相当）と、情報処理装置１６と、を含んで構成される。
図１は、本発明の一実施形態における情報処理装置１６が組み込まれた入力システム１０の全体構成図である。この入力システム１０は、ユーザによる筆記文字をデータ化して取り扱う「デジタルインクサービス」を提供可能に構成される。この入力システム１０は、具体的には、１台又は複数台のユーザ装置１２と、１本又は複数本の電子ペン１４（「入力デバイス」に相当）と、情報処理装置１６と、を含んで構成される。
【0013】
ユーザ装置１２は、デジタルインクサービスを利用するユーザが所有するコンピュータであって、電子ペン１４による指示位置を検出する機能を有する。ユーザ装置１２は、例えば、タブレット、スマートフォン、パーソナルコンピュータなどから構成される。
【0014】
電子ペン１４は、ペン型のポインティングデバイスであり、ユーザ装置１２との間で一方向又は双方向に通信可能に構成される。この電子ペン１４は、例えば、アクティブ静電結合方式（ＡＥＳ）又は電磁誘導方式（ＥＭＲ）のスタイラスである。ユーザは、電子ペン１４を把持し、ユーザ装置１２が有するタッチ面にペン先を押し当てながら移動させることで、ユーザ装置１２に絵や文字を書き込むことができる。
【0015】
情報処理装置１６は、デジタルインクのデータ処理に関する統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、情報処理装置１６を単体のコンピュータとして図示しているが、これに代わって、情報処理装置１６は分散システムを構築するコンピュータ群であってもよい。具体的には、情報処理装置１６は、通信部２０と、制御部２２と、記憶部２４と、を含んで構成される。
【0016】
通信部２０は、外部装置に対して電気信号を送受信するインターフェースである。これにより、情報処理装置１６は、ユーザ装置１２からのインクデータ４２を取得するとともに、自身が生成したテキストデータ４４をユーザ装置１２に供給する。
【0017】
制御部２２は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を含むプロセッサによって構成される。制御部２２は、記憶部２４に格納されたプログラム及びデータを読み出して実行することで、データ取得部２６、特徴量生成部２８、文字識別部３０、特異性検出部３２、及びデータ処理部３４として機能する。
【0018】
データ取得部２６は、ユーザの筆記操作を通じて順次検出される指示位置での座標値及び筆圧値の集合を示すデータ（以下、ストロークデータ５０という）を取得する。具体的には、データ取得部２６は、後述するインクデータ４２の中からストロークデータ５０を抽出して取得する。
【0019】
特徴量生成部２８は、データ取得部２６により取得されたストロークデータ５０を用いて、ユーザの筆記操作により筆記されたストローク群５４に関する特徴量の集合体（以下、「ストローク特徴量」ともいう）を生成する。このストローク特徴量には、［１］ストロークを構成する各点の特徴量（以下、点特徴量）、［２］ストロークを構成する複数点の関係性を示す特徴量（以下、点間特徴量）、又は［３］点特徴量又は点間特徴量の時間変化などが含まれる。点特徴量の一例として、一次元座標値、二次元座標値、又は筆圧値が挙げられる。点間特徴量の一例として、変位量、勾配、曲率、又は重心が挙げられる。
【0020】
文字識別部３０は、特徴量生成部２８により生成された特徴量セットに対して識別処理を施し、ストローク群５４（図４）が示す１つ又は複数の文字を識別する。文字の種類には、例えば、漢字、平仮名、片仮名、算用数字、アルファベット、記号などが含まれる。
【0021】
文字識別部３０は、機械学習がなされた学習器（例えば、図６の第１学習器７０）を含んで構成されてもよい。この学習器には特徴量セットが入力されるとともに、この学習器から文字毎の確率（つまり、確率セット）が出力される。学習器の一例として、ニューラルネットワーク、サポートベクターマシン、ランダムフォレスト、勾配ブースティング決定木などが挙げられる。
【0022】
特異性検出部３２は、特徴量生成部２８により生成された特徴量セットに対して検出処理を施し、ストローク群５４の中から特異ストローク５６（図４）を検出する。特異性検出部３２は、例えば、文字識別部３０により文字として識別されたストローク群単位、又は文字の候補として識別されたストローク群単位で特異ストローク５６を検出する。この「特異ストローク」は、筆圧値又は該筆圧値の時間変化が特異であるストロークを意味する。また、「特異」とは、具体的には、標準的なストロークの形態を基準として、位置、線幅、直線性、又は平滑性などが有意に異なることを意味する。
【0023】
特異性検出部３２は、機械学習がなされた学習器（例えば、図９の第２学習器８０）を含んで構成されてもよい。この学習器には特徴量セットが入力されるとともに、この学習器からストローク毎の特異度（つまり、特異度セット）が出力される。学習器の一例として、ニューラルネットワーク、サポートベクターマシン、ランダムフォレスト、勾配ブースティング決定木などが挙げられる。
【0024】
特異性検出部３２は、第２学習器８０から出力された特異度セットを用いて、各々のストロークが特異であるか否かを判定してもよい。この判定は、例えば、［１］ストローク毎の特異度と閾値の間の大小関係、又は［２］複数の特異度同士の相対的関係に基づいて行われてもよい。
【0025】
データ処理部３４は、特異性検出部３２により検出された特異ストローク５６に対して様々なデータ処理を行う。データ処理の一例として、［１］ストロークの特異性を示すラベルの付与、［２］ストロークデータ５０（図４）の部分的な削除、［３］ストロークデータ５０の部分的な修正、又は［４］特異ストローク５６を検出した旨の報知などが挙げられる。
【0026】
例えば、データ処理部３４は、特異ストローク５６（図４）の特異性を抑制するように、ストロークデータ５０の一部を削除又は修正するデータ処理を行ってもよい。ここで、「特異性の抑制」とは、特異ストローク５６の形態を目標の形態（あるいは、理想の形態）に近づけることを意味し、例えば、［１］ストロークの移動・回転・拡大・縮小、［２］ストロークの線幅の変更、［３］ストロークの直線への置換、又は［４］ストロークの平滑化などを含む。
【0027】
記憶部２４は、制御部２２が各構成要素を制御するのに必要なプログラム及びデータを記憶している。記憶部２４は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。ここで、コンピュータ読み取り可能な記憶媒体は、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disc）－ＲＯＭ、フラッシュメモリなどの可搬媒体、コンピュータシステムに内蔵されるハードディスク（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）などの記憶装置である。
【0028】
本図の例では、記憶部２４には、インクデータベース（以下、「インクＤＢ４０」という）が構築されるとともに、インクデータ４２、テキストデータ４４、検出情報４６、及びパラメータセット４８が格納されている。
【0029】
インクデータ４２は、手書きのコンテンツを表現するためのデータ（あるいは、デジタルインク）である。インクデータ４２のデータ形式、いわゆる「インク記述言語」は、例えば、ＩｎｋＭＬ（Ink Markup Language）、ＷＩＬＬ（Wacom Ink Layer Language）、ＩＳＦ（Ink Serialized Format）のいずれであってもよい。コンテンツの一例として、文字、イラスト、書画、絵画が挙げられる。
【0030】
テキストデータ４４は、文字識別部３０により識別された単体の文字又は文字列を示すテキスト形式のデータである。
【0031】
検出情報４６は、特異性検出部３２による検出結果を含む。検出結果の一例として、［１］特異ストローク５６の識別情報（例えば、ストロークＩＤ：Identification）、［２］ストローク毎の特異度、［３］特異部分の特徴、［４］特異部分の位置、又は［５］特異性が生じた原因などが挙げられる。
【0032】
パラメータセット４８は、学習器の演算規則を特定するための学習パラメータの集合体である。学習パラメータは、例えば、演算ユニットの活性化関数を記述する係数、シナプス結合の強さに相当する重み付け係数、各層を構成する演算ユニットの個数、中間層の層数などを含んでもよい。パラメータセット４８は、機械学習の終了によって各値が確定された状態で記憶部２４に格納され、必要に応じて適時に読み出される。
【0033】
［情報処理装置１６の動作］
＜第１動作＞
この実施形態における入力システム１０は、以上のように構成される。続いて、入力システム１０の一部を構成する情報処理装置１６の第１動作について、図２のフローチャート及び図３～図１１を参照しながら説明する。ここで、「第１動作」とは、特異ストローク５６（図４）にラベルを付与する動作を意味する。
＜第１動作＞
この実施形態における入力システム１０は、以上のように構成される。続いて、入力システム１０の一部を構成する情報処理装置１６の第１動作について、図２のフローチャート及び図３～図１１を参照しながら説明する。ここで、「第１動作」とは、特異ストローク５６（図４）にラベルを付与する動作を意味する。
【0034】
図２のステップＳＰ１０において、データ取得部２６は、ストロークデータ５０を含むインクデータ４２を取得する。
【0035】
図３は、図１のインクデータ４２が有するデータ構造の一例を示す図である。本図では、ＸＭＬ（eXtensible Markup Language）形式で記述するＩｎｋＭＬの例を挙げて説明する。本図の例では、インクデータ４２は、少なくとも１本のストロークの筆記状態を記述するストロークデータ５０を含んで構成される。本図の例では、ストロークの筆記順に、上行から下行にわたって合計２０本のストロークの筆記状態が記述される。また、１本のストロークは、＜ｔｒａｃｅ＞タグ内に順次配列される複数のポイントデータにより記述される。図示の便宜上、ストロークの始点及び終点を示すポイントデータのみを表記し、複数の経由点を示すポイントデータの表記を省略している。
【0036】
各々のポイントデータは、電子ペン１４の指示位置に対応する座標値（Ｘ座標値、Ｙ座標値）及び筆圧値（例えば、１０ビットのレベル値）の組み合わせからなり、カンマなどのデリミタで区切られる。このポイントデータには、上記した座標値及び筆圧値の他に、ストロークの筆記順や、電子ペン１４の傾斜角・回転角・方位などが含まれてもよい。
【0037】
図４は、図３のストロークデータ５０により可視化されるコンテンツの一例を示す図である。ユーザ装置１２の表示パネル上において、タッチ位置を特定するための二次元座標系（以下、センサ座標系：Ｘ－Ｙ）が定義される。センサ座標系の全体領域５２内には、２０本のストロークからなるストローク群５４が配置される。ストローク群５４は、漢字及び平仮名から構成される文字列を示している。
【0038】
ストローク群５４のうちの１本のストローク（以下、「特異ストローク５６」という）は、例えば、ペン先の滑りが発生してユーザが書き損じた線に相当する。この特異ストローク５６は、理想的には、Ｘ方向に沿って延びるように形成されるべきであるが、部位Ａにおいて局所的に右上に向かって延びている。
【0039】
図２のステップＳＰ１２において、文字識別部３０は、ステップＳＰ１０で取得されたストロークデータ５０に対して識別処理を施し、１本又は複数本のストロークが示す文字を識別する。この識別処理は、例えば、機械学習がなされた第１学習器７０（図６）により行われる。この識別処理に先立ち、特徴量生成部２８は、複数本のストロークを示すストロークデータ５０から、ストローク毎の特徴量の集合体（つまり、特徴量セット）を生成する。
【0040】
図５は、境界ボックス毎の特徴量セットの生成方法の一例を示す図である。特徴量生成部２８は、ユーザ装置１２が有するタッチ面に対応する二次元座標系（以下、正規化座標系；Ｘ’－Ｙ’）を定義する。この正規化座標系の原点Ｏ’は、センサ座標系の原点Ｏに最も近い位置にある、境界ボックス６０の頂点に相当する。正規化座標系のＸ’軸はセンサ座標系のＸ軸に平行であるとともに、正規化座標系のＹ’軸はセンサ座標系のＹ軸に平行である。また、Ｘ’軸，Ｙ’軸のスケールは、境界ボックス６０をなす４つの頂点の座標が（０，０），（１，０），（０，１），（１，１）となるように正規化されている。
【0041】
特徴量生成部２８は、ストロークデータ５０（図３）を参照し、センサ座標系におけるストロークの始点Ｐｓの座標値（Ｘ，Ｙ）及び終点Ｐｅの座標値（Ｘ，Ｙ）を取得する。そして、特徴量生成部２８は、座標系の線形変換を施すことで、正規化座標系におけるストロークの始点Ｐｓの座標値（Ｘ’，Ｙ’）及び終点Ｐｅの座標値（Ｘ’，Ｙ’）をそれぞれ導出する。なお、ストロークの始点Ｐｓ又は終点Ｐｅが境界ボックス６０の外側にある場合、特徴量生成部２８は、境界線上にある経由点を仮想的な始点Ｐｓ又は終点Ｐｅとみなして軌跡特徴量を生成すればよい。
【0042】
図６は、第１学習器７０が有するネットワーク構造の一例を示す図である。第１学習器７０は、例えば、入力層７２、中間層７４及び出力層７６からなる階層型ニューラルネットワークで構成される。第１学習器７０の演算規則は、学習パラメータの集合体であるパラメータセット４８（図１）の各値によって定められる。
【0043】
入力層７２は、ストローク特徴量を入力する層であり、本図の例では４ｎ個の演算ユニットから構成される。ここで、自然数ｎは、ストロークの本数に相当する。この特徴量セットは、［１］始点ＰｓのＸ’座標、［２］始点ＰｓのＹ’座標、［３］終点ＰｅのＸ’座標、［４］終点ＰｅのＹ’座標、をストロークＩＤの順に配列した４ｎ個の成分からなる入力ベクトルである。
【0044】
中間層７４は、１層又は２層以上で構成され、特徴量セットの次元数を削減する次元削減機能を有する。つまり、中間層７４を構成する演算ユニットの個数は、４ｎ個よりも十分に少ないことが望ましい。
【0045】
出力層７６は、文字のラベル群を出力する層であり、本図の例では平仮名の文字数（例えば、濁点・半濁点を除いた４６個）の演算ユニットから構成される。演算ユニットの活性化関数がソフトマックス関数である場合、このラベル群は、文字毎の確率を示す４６個の成分からなる出力ベクトルである。
【0046】
また、文字の種類が「漢字」である場合、漢字の識別に適した第１学習器７０が選択されてもよい。あるいは、文字の種類が特定できない場合、複数種類の文字（例えば、平仮名及び片仮名）の識別に適した第１学習器７０が選択されてもよい。
【0047】
【0048】
図７は、文字列の識別結果の一例を示す図である。文字の識別処理を通じて、４つの文字をそれぞれ囲む境界ボックスＢ１，Ｂ２，Ｂ３，Ｂ４が画定される。そして、４つの文字を左側から右側に向かって順次連結することで、日本語で「字を書く」という意味のテキストデータ４４が得られる。
【0049】
図２のステップＳＰ１６において、データ処理部３４は、ステップＳＰ１４で生成されたテキストデータ４４を保存する。テキストデータ４４がインクデータ４２のタグ領域内に格納されることで、ストローク群５４に新たな属性が付与される。更新されたインクデータ４２は、インクＤＢ４０に格納される。
【0050】
ステップＳＰ１８において、特徴量生成部１８は、ストローク毎の特徴量（つまり、ストローク特徴量）を生成する。このストローク特徴量は、ステップＳＰ１４で生成された特徴量と同一であってもよいし、異なっていてもよい。ここでは、ストローク特徴量が筆圧値の時間変化に関する特徴量（つまり、筆圧特徴量）を含む場合について説明する。
【0051】
図８は、１本のストロークを筆記する際の筆圧変化の一例を示す図である。グラフの横軸は時間（ｔ）を示すとともに、グラフの縦軸は筆圧量を示している。時間ｔ＝Ｔｓは、電子ペン１４をタッチ面に押し当てるペンダウン操作の実行時点に相当する。一方、時間ｔ＝Ｔｅは、電子ペン１４をタッチ面から離すペンアップ操作の実行時点に相当する。
【0052】
本図の例では、左右方向に延びて、終端形状が「止め」であるストロークを筆記する場合を想定する。実線のグラフは通常の操作結果を示す一方、破線のグラフは途中でペン先を滑らせた場合の操作結果を示している。通常の操作結果では、筆圧量は、略一定を保ちながら、ｔ＝Ｔｅの直前で急激に低下する傾向がある。ところが、ペン先の滑りが生じた場合、筆圧量は、途中で急激に上昇してピークに達した後、ｔ＝Ｔｅにてペンアップ操作を行うまでの間にて緩やかに低下する傾向がある。後者の挙動は、具体的には、図４の特異ストローク５６を筆記した場合に相当する。
【0053】
図２のステップＳＰ２０において、特異性検出部３２は、ステップＳＰ１８で生成された特徴量セットに対して検出処理を施し、ストローク群５４の中から特異ストローク５６を検出する。この検出処理は、例えば、機械学習がなされた第２学習器８０により行われる。
【0054】
図９は、第２学習器８０が有するネットワーク構造の一例を示す図である。第２学習器８０は、例えば、入力層８２、中間層８４及び出力層８６からなる階層型ニューラルネットワークで構成される。第２学習器８０の演算規則は、図６に示す第１学習器７０と同様に、学習パラメータの集合体であるパラメータセット４８（図１）の各値によって定められる。
【0055】
入力層８２は、ストローク特徴量を入力する層であり、複数個の演算ユニットから構成される。この特徴量セットは、各々のストロークの始点、経由点又は終点における［１］Ｘ’座標、［２］Ｙ’座標、及び［３］筆圧値を、ストロークＩＤの順に配列した複数個の成分からなる入力ベクトルである。
【0056】
中間層８４は、１層又は２層以上で構成され、特徴量セットの次元数を削減する次元削減機能を有する。つまり、中間層８４を構成する演算ユニットの個数は、入力層８２を構成する演算ユニットの個数よりも十分に少ないことが望ましい。
【0057】
出力層８６は、各々のストロークの特異度を出力する層であり、本図の例ではストロークの本数に等しい個数の演算ユニットから構成される。演算ユニットの活性化関数がソフトマックス関数である場合、このラベル群は、ストローク毎の特異度を示すｎ個の成分からなる出力ベクトルである。
【0058】
第２学習器８０は、各々の文字を構成するストローク群５４に関する特徴量セットを入力層８２から入力し、中間層８４による演算を通じて、ストローク毎の特異度を出力層８６に出力する。
【0059】
図１０は、特異ストローク５６の検出方法の第１例を示す図である。グラフの横軸はストローク番号を示すとともに、グラフの縦軸は特異度を示している。特異度は、例えば［０，１］の範囲で正規化された連続値であり、値が「１」に近づくほど特異性が高くなり、値が「０」に近づくほど特異性が低くなるように定義されている。
【0060】
本グラフの例では、ストローク番号「１～５」における特異度が０に近い値であり、ストローク番号「６」における特異度が１に近い値である。第１例では、特異性検出部３２は、各々の特異度に対する閾値判定を通じて、特異ストローク５６の有無を検出する。この場合、特異度が閾値Ｔｈよりも大きい「６番目」が特異ストローク５６として検出される。このように、特異性の有無又は程度は、各々の特異度に対する絶対評価を通じて判定されてもよい。
【0061】
【0062】
本グラフの例では、ストローク番号「１～６」における特異度がいずれも閾値Ｔｈに近い値である。第２例では、特異性検出部３２は、隣り合う特異度の差分（Δｓ）に対する閾値判定を通じて、特異ストローク５６の有無を検出する。この場合、前後における特異度の差分が大きい「４番目」が特異ストローク５６として検出される。このように、特異性の有無又は程度は、特異度同士の相対評価を通じて判定されてもよい。
【0063】
図２のステップＳＰ２２において、データ処理部３４は、ステップＳＰ２０で検出された特異ストローク５６に対して特異性を示すラベル（つまり、特異ラベル）を付与する。このようにして、情報処理装置１６は、図２のフローチャートに示す第１動作を終了する。
【0064】
その後、入力システム１０は、付与された特異ラベルを用いて、様々なデータ処理を行うことができる。例えば、情報処理装置１６は、機械学習に用いられる訓練データをインクデータ４２から生成する際、学習精度を向上させる目的で、特異ラベルが付与されたストロークデータ５０を除外又は修正する「クレンジング処理」を行ってもよい。あるいは、ユーザ装置１２は、インクデータ４２が示すストローク群５４をレンダリングして表示する際、特異ラベルが付与された特異ストローク５６を、他のストロークと比べて強調されるように表示してもよい。
【0065】
＜第２動作＞
続いて、入力システム１０の一部を構成する情報処理装置１６の第２動作について、図１２のフローチャート及び図１３を参照しながら説明する。ここで、「第２動作」とは、特異ストローク５６（図４）の形態を修正する動作を意味する。
続いて、入力システム１０の一部を構成する情報処理装置１６の第２動作について、図１２のフローチャート及び図１３を参照しながら説明する。ここで、「第２動作」とは、特異ストローク５６（図４）の形態を修正する動作を意味する。
【0066】
図１２のステップＳＰ３０において、データ取得部２６は、ストロークデータ５０を含むインクデータ４２を取得する。
【0067】
ステップＳＰ３２において、文字識別部３０は、ステップＳＰ３０で取得されたストロークデータ５０に対して識別処理を施し、１本又は複数本のストロークが示す文字を識別する。
【0068】
ステップＳＰ３４において、制御部２２は、ストローク群５４により表現されるすべての文字を識別できたか否かを確認する。識別できない文字がある場合（ステップＳＰ３４：ＮＯ）、制御部２２は、ステップＳＰ３６に進む。
【0069】
ステップＳＰ３６において、特徴量生成部２８は、ステップＳＰ３０で取得されたストロークデータ５０からストローク特徴量を生成する。
【0070】
ステップＳＰ３８において、特異性検出部３２は、ステップＳＰ３６で生成された特徴量セットに対して検出処理を施し、ストローク群５４の中から特異ストローク５６を検出する。
【0071】
ステップＳＰ４０において、データ処理部３４は、ステップＳＰ３８で検出された特異ストローク５６が望ましい形態に近づくように、ストロークデータ５０を修正する。そして、制御部２２は、ステップＳＰ３２に戻って、すべての文字を識別できるまでの間、ステップＳＰ３２～ＳＰ４０を順次繰り返す。制御部２２は、この反復実行を通じて、すべての文字が識別できるようになった場合（ステップＳＰ３４：ＹＥＳ）、次のステップＳＰ４２に進む。
【0072】
ステップＳＰ４２において、データ処理部３４は、ステップＳＰ３４で識別された１つ以上の文字から、ストローク群５４（図４）が示すテキストデータ４４を生成する。
【0073】
ステップＳＰ４４において、データ処理部３４は、ステップＳＰ４２で生成されたテキストデータ４４を、ユーザ装置１２からの要求に応じて出力する。このようにして、情報処理装置１６による第２動作が終了する。
【0074】
図１３は、図４における特異ストローク５６の修正結果の一例を示す図である。文字の識別処理を通じて、４つの文字をそれぞれ囲む境界ボックスＢ１，Ｂ２，Ｂ３，Ｂ４が画定される。データ処理部３４による修正処理を通じて、特異ストローク５６から修正済みストローク５８に置換される。修正済みストローク５８は、図４の部位Ａにおける段差がなくなっており、Ｘ方向に沿って延びるように形成されている。
【0075】
［実施形態による効果］
以上のように、この実施形態における情報処理装置１６は、入力デバイス（ここでは、電子ペン１４）を用いた筆記操作を通じて順次検出される指示位置を示す座標値及び筆圧の大きさを示す筆圧値の集合を示すストロークデータ５０を取得するデータ取得部２６と、取得されたストロークデータ５０を用いて、筆記操作により筆記されたストローク群５４に関する特徴量セットを生成する特徴量生成部２８と、生成された特徴量セットに対して検出処理を施し、ストローク群５４の中から筆圧値又は該筆圧値の時間変化が特異である特異ストローク５６を検出する特異性検出部３２と、を備える。
以上のように、この実施形態における情報処理装置１６は、入力デバイス（ここでは、電子ペン１４）を用いた筆記操作を通じて順次検出される指示位置を示す座標値及び筆圧の大きさを示す筆圧値の集合を示すストロークデータ５０を取得するデータ取得部２６と、取得されたストロークデータ５０を用いて、筆記操作により筆記されたストローク群５４に関する特徴量セットを生成する特徴量生成部２８と、生成された特徴量セットに対して検出処理を施し、ストローク群５４の中から筆圧値又は該筆圧値の時間変化が特異である特異ストローク５６を検出する特異性検出部３２と、を備える。
【0076】
また、この実施形態における情報処理方法及び情報処理プログラムによれば、１つ又は複数のコンピュータ（あるいは、プロセッサ）が、電子ペン１４を用いた筆記操作を通じて順次検出される指示位置を示す座標値及び筆圧の大きさを示す筆圧値の集合を示すストロークデータ５０を取得する取得ステップ（ＳＰ１０，ＳＰ３０）と、取得されたストロークデータ５０を用いて、筆記操作により筆記されたストローク群５４に関する特徴量セットを生成する生成ステップ（ＳＰ１８，ＳＰ３６）と、生成された特徴量セットに対して検出処理を施し、ストローク群５４の中から筆圧値又は該筆圧値の時間変化が特異である特異ストローク５６を検出する検出ステップ（ＳＰ２０，ＳＰ３８）と、を実行する。
【0077】
このように構成することにより、取得されたストロークデータ５０を用いて、筆圧値又は該筆圧値の時間変化が特異である特異ストローク５６を自動的かつ適時に検出することができる。
【0078】
また、情報処理装置１６が、特徴量セットに対して識別処理を施し、ストローク群５４が示す文字を識別する文字識別部３０をさらに備える場合、特異性検出部３２は、文字識別部３０により文字として識別されたストローク群単位、又は文字の候補として識別されたストローク群単位で特異ストローク５６を検出してもよい。これにより、文字を構成するストローク同士の関係に基づいて、特異ストローク５６をより高い精度で検出することができる。
【0079】
また、特異性検出部３２は、特徴量セットを入力とし、ストローク毎の特異度を出力とする学習器（ここでは、第２学習器８０）を含んで構成されてもよい。また、特異性検出部３２は、第２学習器８０から出力された特異度同士の関係に基づいて特異ストローク５６を検出してもよい。これにより、ストローク毎の特異度を用いて、特異ストローク５６をより高い精度で検出することができる。
【0080】
また、情報処理装置１６は、特異性検出部３２により検出された特異ストローク５６に対して特異性を示すラベルを付与するデータ処理を行うデータ処理部３４をさらに備えてもよい。このラベルの有無を通じて、ストローク群５４を構成する各々のストロークが特異ストローク５６に該当するか否かを容易に区別することができる。
【0081】
また、情報処理装置１６は、特異性検出部３２により抽出された特異ストローク５６の特異性を抑制するように、ストロークデータ５０の一部を修正又は削除するデータ処理を行うデータ処理部３４をさらに備えてもよい。この場合、特異性の抑制は、特異ストローク５６の位置、線幅、直線性、又は平滑性を変更することであってもよい。
【0082】
また、情報処理装置１６は、文字識別部３０により文字が識別されるまでの間、文字識別部３０による識別処理、特異性検出部３２による検出処理、及びデータ処理部３４によるデータ処理を繰り返して実行してもよい。これらの処理の反復実行を通じて、文字を識別することができる。
【0083】
［変形例］
なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。あるいは、技術的に矛盾が生じない範囲でフローチャートを構成する各ステップの実行順を変更してもよい。
なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。あるいは、技術的に矛盾が生じない範囲でフローチャートを構成する各ステップの実行順を変更してもよい。
【符号の説明】
【0084】
１０…入力システム、１２…ユーザ装置、１４…電子ペン（入力デバイス）、１６…情報処理装置、２６…データ取得部、２８…特徴量生成部、３０…文字識別部、３２…データ取得部、３２…データ取得部、５０…ストロークデータ、５４…ストローク群、５６…特異ストローク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】