特表 2022-537169 フリーハンドライティングモードでの手書きテキスト入力の処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-08-24

(54)【発明の名称】フリーハンドライティングモードでの手書きテキスト入力の処理

(51)【国際特許分類】

   G06V 30/18 20220101AFI20220817BHJP

【ＦＩ】

G06V30/18 B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021574329

(86)(22)【出願日】2020-06-19

(85)【翻訳文提出日】2022-02-09

(86)【国際出願番号】 EP2020067144

(87)【国際公開番号】W WO2020254600

(87)【国際公開日】2020-12-24

(31)【優先権主張番号】19181519.0

(32)【優先日】2019-06-20

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】515295429

【氏名又は名称】マイスクリプト

(74)【代理人】

【識別番号】110002952

【氏名又は名称】特許業務法人鷲田国際特許事務所

(72)【発明者】

【氏名】シャタイナー アラン

【テーマコード（参考）】

5B064

【Ｆターム（参考）】

5B064AB03

5B064DA23

5B064DC06

5B064DD06

(57)【要約】

本発明は、フリーハンドライティングフォーマット（ＦＴ１）で、コンピュータデバイス上で入力されたデジタルインク（ＩＮ）のストロークを検出することと、前述のストロークからテキストブロック（ＢＬ１）を検出することと、前述のテキストブロックの各テキストラインでテキスト認識を実施することであって、テキストブロック（ＢＬ１）からテキストラインを抽出すること、ならびに、テキストブロックの各ストロークを、テキストブロック（ＢＬ１）の文字、ワード、及びテキストラインと関連付けるモデルデータを生成すること、を含む、実施することと、ドキュメントパターン（２００）に従うように、各テキストラインを、フリーハンドライティングフォーマット（ＦＴ１）から構造化されたフォーマット（ＦＴ２）に正規化することと、を含む方法に関する。正規化には、各テキストラインに関し、前述のテキストラインを構造化されたフォーマットに変換するように変換関数を計算することと、変換関数をテキストラインに適用することと、変換関数に基づき、前述のテキストラインのモデルデータをアップデートすることと、が含まれる場合がある。
【選択図】図３

【特許請求の範囲】

【請求項1】

手書きテキストを処理するために、コンピュータデバイス（１００）によって実施される方法であって、
入力表面（１０４）でデジタルインク（ＩＮ）の複数の入力ストローク（ＳＴ）を検出すること（Ｓ２）であって、前記入力ストロークが、いずれの手書きの制約も伴わずに、フリーハンドライティングフォーマット（ＦＴ１）で入力される、前記検出すること（Ｓ２）と、
前記複数の入力ストローク（ＳＴ）をディスプレイデバイス（１０２）に、前記フリーハンドライティングフォーマットで表示すること（Ｓ４）と、
テキストまたはテキストではないものとして各入力ストロークを分類すること（Ｓ６）であって、前記分類することが、前記フリーハンドライティングフォーマット（ＦＴ１）で手書きされた前記入力ストロークから、手書きテキストの少なくとも１つのテキストブロック（ＢＬ１）をテキストとして検出することを含む、前記分類すること（Ｓ６）と、
前記少なくとも１つのテキストブロック（ＢＬ１）でテキスト認識を実施すること（Ｓ８）であって、前記テキスト認識が、
前記少なくとも１つのテキストブロックから手書きテキストのテキストラインを抽出すること（Ｓ１０）、ならびに、
前記少なくとも１つのテキストブロックの各ストローク（ＳＴ）を、前記少なくとも１つのテキストブロックの文字（ＣＨ）、ワード（ＷＤ）、及びテキストライン（ＬＮ）と関連付けるモデルデータ（ＤＴ）を生成すること（Ｓ１２）、
を含む、前記実施すること（Ｓ８）と、
ドキュメントパターン（２００）のラインパターンに従うように、手書きテキストの各テキストライン（ＬＮ）を、前記フリーハンドライティングフォーマットから構造化されたハンドライティングフォーマット（ＦＴ２）に正規化すること（Ｓ１６）であって、前記正規化が、各テキストラインに関し、
前記テキストライン（ＬＮ）を前記構造化されたハンドライティングフォーマット（ＦＴ２）に変換するように、前記テキストラインに関し、それぞれの変換関数（ＴＦ）を計算すること（Ｓ１８）、
前記テキストラインの各ストロークを前記構造化されたハンドライティングフォーマット（ＦＴ２）に変換するように、それぞれの前記変換関数（ＴＦ）を適用すること（Ｓ２０）、及び、
それぞれの前記変換関数に基づき、前記テキストラインの前記モデルデータ（ＤＴ）をアップデートすること（Ｓ２２）、
を含む、前記正規化すること（Ｓ１６）と、
を含む、前記方法。

【請求項2】

前記テキスト認識の間に生成された前記モデルデータ（ＤＴ）を記憶することを含み、
前記モデルデータを前記アップデートすることが、前記少なくとも１つのテキストブロックのアップデートされた前記モデルデータを、前記テキスト認識の間に生成された前記モデルデータと置き換えて記憶すること（Ｓ２４）をさらに含む、請求項１に記載の方法。

【請求項3】

前記正規化することの後に、前記構造化されたハンドライティングフォーマット（ＦＴ２）で前記少なくとも１つのテキストブロックの前記テキストラインを表示すること（Ｓ２６）を含む、請求項１または請求項２に記載の方法。

【請求項4】

前記少なくとも１つのテキストブロック（ＢＬ１）の前記モデルデータ（ＤＴ）が、
複数の文字を規定する文字情報（２２０）であって、各文字が、デジタルインクの少なくとも１つのストローク、及び、前記少なくとも１つのテキストブロックのテキストラインと関連付けられている、前記文字情報（２２０）と、
複数のワードを規定するワード情報（２２２）であって、各ワードが、前記文字情報によって規定された少なくとも１つの文字と関連付けられている、前記ワード情報（２２２）と、
前記少なくとも１つのテキストブロックの各テキストラインを規定するライン情報（２２４）であって、各テキストラインが、前記ワード情報によって規定された少なくとも１つのワードと関連付けられている、前記ライン情報（２２４）と、
を含む、請求項１から請求項３のいずれか一項に記載の方法。

【請求項5】

前記ライン情報が、前記少なくとも１つのテキストブロックの各テキストラインに関し、
前記テキストラインの原点を示す原点座標と、
前記テキストラインの傾斜を示す傾斜情報と、
前記テキストラインの高さを示す高さ情報と、
を含む、請求項４に記載の方法。

【請求項6】

前記正規化の間に前記モデルデータ（ＤＴ）を前記アップデートすることが、それぞれの前記変換関数に基づき、前記テキストラインの前記ライン情報（２２４）をアップデートすることを含む、請求項４または請求項５に記載の方法。

【請求項7】

前記正規化することが、各テキストラインに関し、
前記テキストラインの前記原点座標、前記傾斜情報、及び前記高さ情報を含む入力パラメータを判定することを含み、
それぞれの前記変換関数が、前記入力パラメータ及び前記ドキュメントパターンに基づいて計算される、
請求項１から請求項６のいずれか一項に記載の方法。

【請求項8】

前記ドキュメントパターンが、手書きテキストが従う手書きの制約である、
表示エリアの余白と、
ライン間の距離と、
のうちの少なくとも１つを規定する、請求項１から請求項７のいずれか一項に記載の方法。

【請求項9】

各変換関数が、前記正規化の間にそれぞれのテキストラインに適用される変換成分である、
平行移動成分（ＣＰ１）と、
拡縮成分（ＣＰ２）と、
回転成分（ＣＰ３）と、
のうちの少なくとも１つを規定する、請求項１から請求項８のいずれか一項に記載の方法。

【請求項10】

前記ドキュメントパターンが、ガイドラインを規定する前記ラインパターン（２０２）を含み、前記ガイドラインに従って、手書きテキストが前記構造化されたハンドライティングフォーマット（ＦＴ２）で配置されることになる、請求項９に記載の方法。

【請求項11】

前記変換関数の前記拡縮成分（ＣＰ２）が、前記正規化の間に、前記ラインパターンの２つの連続したガイドライン間の距離の、それぞれの前記テキストラインの前記高さに対する割合に基づいて判定される、請求項１０に記載の方法。

【請求項12】

前記変換関数の前記平行移動成分が、前記正規化の間に、前記テキストラインの前記原点が、前記正規化の間に前記テキストラインにアサインされた前記ラインパターンの対応するガイドラインに整列されるように移動されるように、テキストラインの平行移動を実施するように判定される、請求項１０または請求項１１に記載の方法。

【請求項13】

前記回転成分（ＣＰ３）が、前記正規化の間に、それぞれのテキストラインを回転させ、それにより、前記ドキュメントパターン（２００）に従ってそれぞれの前記テキストラインの傾斜をゼロに低減するように判定される、請求項１０から請求項９のいずれか一項に記載の方法。

【請求項14】

前記正規化の間に、各テキストラインの前記モデルデータ（ＤＴ）が、それぞれの前記変換関数に従ってアップデートされ、それぞれの前記変換関数を前記適用することから生じ得るいずれのテキスト認識をもブロックする、請求項１から請求項１３のいずれか一項に記載の方法。

【請求項15】

手書きテキストのためのコンピュータデバイスであって、
デジタルインク（ＩＮ）の複数のストローク（ＳＴ）を検出するための入力表面（１０４）であって、前記ストロークが、いずれの手書きの制約も伴わずに、フリーハンドライティングフォーマット（ＦＴ１）で入力される、前記入力表面（１０４）と、
前記複数の入力ストロークを前記フリーハンドライティングフォーマットで表示するためのディスプレイデバイス（１０２）と、
テキストまたはテキストではないものとして各ストロークを分類するための分類器（ＭＤ２）であって、前記分類器が、前記フリーハンドライティングフォーマット（ＦＴ１）で手書きされた前記入力ストロークから、手書きテキストの少なくとも１つのテキストブロックをテキストとして検出するように構成されている、前記分類器（ＭＤ２）と、
前記少なくとも１つのテキストブロックから手書きテキストのテキストラインを抽出するためのライン抽出器（ＭＤ４）と、
前記少なくとも１つのテキストブロックの各テキストラインのテキスト認識を実施し、前記少なくとも１つのテキストブロックの各ストロークを、前記少なくとも１つのテキストブロックの文字、ワード、及びテキストラインと関連付けるモデルデータを生成するための認識エンジン（ＭＤ６）と、
ドキュメントパターンのラインパターンに従うように、手書きテキストの各テキストラインを、前記フリーハンドライティングフォーマットから構造化されたハンドライティングフォーマット（ＦＴ２）に正規化するためのテキストエディタ（ＭＤ８）であって、前記テキストエディタが、各テキストラインに関し、
前記テキストラインを前記構造化されたハンドライティングフォーマットに変換するように、前記テキストラインに関し、それぞれの変換関数を計算すること、
前記テキストラインの各ストロークを前記構造化されたハンドライティングフォーマットに変換するように、それぞれの前記変換関数を適用すること、及び、
それぞれの前記変換関数に基づき、前記テキストラインの前記モデルデータをアップデートすること、
を実施するように構成されている、前記テキストエディタ（ＭＤ８）と、
を備えている、前記コンピュータデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は概して、ユーザのテキストの手書き入力を認識することが可能であるコンピュータデバイスインターフェースの分野に関する。具体的には、本開示は、手書きテキストを認識及び編集するためのコンピュータデバイス及び対応する方法に関する。

【背景技術】

【0002】

コンピュータデバイスが継続して、日々の生活の中にますます偏在するようになってきている。コンピュータデバイスは、コンピュータデスクトップ、ラップトップ、タブレットＰＣ、ハイブリッドコンピュータ（２－ｉｎ－１）、ｅブックリーダー、携帯電話、スマートフォン、ウェアラブルコンピュータ（スマートウォッチ、スマートグラス／ヘッドセットを含む）、グローバルポジショニングシステム（ＧＰＳ）ユニット、事業デジタルアシスタント（ＥＤＡ）、パーソナルデジタルアシスタント（ＰＤＡ）、ゲームコンソールなど、様々な形態を取る場合がある。さらに、コンピュータデバイスは、車、トラック、農用施設、製造施設、建物の環境制御（たとえば、ライティング、ＨＶＡＣ）、ならびに、家庭及び商業用の器具など、車両及び設備に組み込まれている。

【0003】

コンピュータデバイスの各タイプには、特定のコンピュータリソースが備えられており、所与の用途が定められている。コンピュータデバイスは概して、中央処理ユニット（ＣＰＵ）などの少なくとも１つの処理要素と、いくつかの形態のメモリと、入力及び出力デバイスと、を備えている。様々なコンピュータデバイス及びそれに次ぐ用途により、様々な入力デバイス及びインターフェースが、ユーザがそのコンピュータデバイスと相互作用することを可能にするようにすることが必要になる。

【0004】

そのような入力デバイスの１つが、タッチスクリーンまたはタッチパッドなどの接触式表面である。この表面では、ユーザ入力が、ユーザの身体の部位（たとえば、指）または器具（たとえば、ペンもしくはスタイラス）と接触式表面との間の接触を通して受領される。別の入力デバイスは入力表面であり、この入力表面は、入力表面の上方でユーザによって行われるジェスチャを検知する。さらなる入力デバイスが、位置検出システムである。この位置検出システムは、接触または非接触の相互作用の、非接触の物理的または仮想的な表面との相対位置を検出する。

【0005】

手書き認識は、テキストコンテンツ（たとえば、英数字）またはテキストではないコンテンツ（たとえば、形状、図）など、ユーザによって手で線描されたか手書きされた様々なタイプの入力要素を入力及び処理するために、コンピュータデバイス内で実施され得る。コンピュータデバイス上で入力がされると、入力要素は、通常、デジタルインクとして表示され、活字に組まれたバージョンに変換するように、手書き認識がされる。ユーザの手書き入力は、通常、リアルタイムの手書き認識システムまたは方法を使用して解釈される。このため、オンラインシステム（クラウドベースのソリューションなどを使用して実施される認識）またはオフラインシステムが使用される場合がある。

【0006】

ユーザ入力は、図であるか、または、任意の他のテキストのコンテンツ、テキストではないコンテンツ、もしくはテキストとテキストではないものとの混合のコンテンツである場合がある。手書き入力は、ユーザによる入力をガイドまたは制限するガイドライン（またはベースライン）に従って、構造を持つドキュメント上で実施される場合がある。代替的には、ユーザは、フリーハンドライティングモードで手書きする場合がある。すなわち、追従するべきラインまたは従うべき入力サイズのあらゆる制約を伴わない（たとえば、ブランクページ上）。

【0007】

図１Ａは、適切なユーザインターフェースを使用して、フリーハンドライティングモードでユーザによって手で線描されるか手書きされるインク入力要素を表示するディスプレイデバイス１を備えている、コンピュータデバイス１の実施例を示している。このケースでは、コンピュータデバイス１は、テキストコンテンツ４及び６、ならびに、テキストではないコンテンツ８、１０、及び１２を検出及び表示する。これら要素の各々は、デジタルインクの１つまたは複数のストロークによって形成されている。入力要素は、たとえば、手書きテキスト、図、音楽の注釈などを含む場合がある。この実施例では、形状８は、矩形などであり、テキストコンテンツ６を包含するコンテナ（ボックス）を構成し、それにより、要素６と要素８との両方をともに選択及び操作できるようになっている。

【0008】

手書き認識は、テキスト入力要素上、及び、場合によってはテキストではない入力要素上でも、実施される場合がある。さらに、各入力要素は、この実施例では図１Ｂに図示するように、活字に組み上がった入力要素として変換及び表示される場合がある。

【0009】

手書き認識のアプリケーションでは、テキスト認識に関する性能は、特に手書きテキストがフリーハンドライティングモード（すなわち、フリーハンドライティングフォーマット）で入力されるケースでは、常に十分なものではない。テキスト認識プロセスの信頼性及び安定性の課題は、しばしば、そのようなコンピュータデバイスの性能を害し、それにより、全体のユーザの体験を制限する。制限は、新たなインクストロークが認識の以前の状態（すなわち、以前に入力されたインクストロークに基づく以前の認識の結果）に影響を及ぼした場合、及び、新たなインクストロークが、そのような認識の以前の状態に影響を及ぼさない場合（すなわち、新たなインクストロークが、以前に入力されたコンテンツに影響を及ぼさない新たなコンテンツに関する）を、コンピュータデバイスが判定する困難性から特に生じる場合がある。

【0010】

さらに、コンピュータデバイス上に表示されたユーザ入力に対し、いくらかのレベルの編集を実施することが通常は可能である。しかし、慣習的に、そのようなアプリケーションは、編集機能を扱うその能力が制限されており、通常は、行動を採用するように、または、ユーザの元々の意図を反映しない妥協を許容するように、ユーザを制限する。

【0011】

表示機能及び編集機能は、手書きテキストがフリーハンドライティングモードを使用して入力される場合に、コンピュータデバイス上でより具体的に制限される。本来、ライン、サイズ、向き、余白などの制約は、フリーハンドライティングモードではユーザに課されず、それにより、様々な複雑な形態の手書きが入力される場合がある。それにより、コンピュータデバイスによる編集機能を実施して、手書きテキストを操作すること（たとえば、移動する、拡縮する、修正する、テキストの流れの中にラインの切れ目を挿入する）の解釈がより困難になる。しかし、ユーザは、特にフリーハンドライティングモードが使用される場合に、より構造的かつ向上した方式で手書き入力を編集及び操作することを望む場合がある。フリーハンドライティングフォーマットで手書きテキスト入力を扱うことにおけるこれら制限は、ユーザの経験を妨げ、向上を必要とする。

【0012】

フリーハンドライティングモード（またはフォーマット）におけるテキストの手書き入力の、効率的かつ信頼性のある処理を可能にし、特に、テキストの認識を向上させ、コンピュータデバイス上でのそのような手書きテキストの効率的な編集を可能にする解決策が必要とされている。

【発明の概要】

【0013】

以下に記載される本発明の実施例は、ユーザが入力した手書きテキストを編集するためのコンピュータデバイス、方法、及び対応するコンピュータプログラムを提供する。

【0014】

特定の態様によれば、本発明は、手書きテキストを処理するために、コンピュータデバイスによって実施される方法であって、
入力表面でデジタルインクの複数の入力ストロークを検出することであって、前述の入力ストロークが、いずれの手書きの制約も伴わずに、フリーハンドライティングフォーマットで入力される、検出することと、
前述の複数の入力ストロークをディスプレイデバイス上に、前述のフリーハンドライティングフォーマットで表示することと、
テキストまたはテキストではないものとして各入力ストロークを分類することであって、前述の分類することが、フリーハンドライティングフォーマットで手書きされた前述の入力ストロークから、手書きテキストの少なくとも１つのテキストブロックをテキストとして検出することを含む、分類することと、
前述の少なくとも１つのテキストブロックでテキスト認識を実施することであって、前述のテキスト認識が、
前述の少なくとも１つのテキストブロックから手書きテキストのテキストラインを抽出すること、ならびに、
前述の少なくとも１つのテキストブロックの各ストロークを、前述の少なくとも１つのテキストブロックの文字、ワード、及びテキストラインと関連付けるモデルデータを生成すること、
を含む、実施することと、
ドキュメントパターンのラインパターンに従うように、手書きテキストの各テキストラインを、フリーハンドライティングフォーマットから構造化されたハンドライティングフォーマットに正規化することであって、前述の正規化が、各テキストラインに関し、
前述のテキストラインを構造化されたハンドライティングフォーマットに変換するように、前述のテキストラインに関し、それぞれの変換関数を計算すること、
前述のテキストラインの各ストロークを構造化されたハンドライティングフォーマットに変換するように、それぞれの変換関数を適用すること、及び、
それぞれの変換関数に基づき、前述のテキストラインのモデルデータをアップデートすること、
を含む、正規化することと、
を含む方法を提供する。

【0015】

特定の実施形態では、本方法は、前述のテキスト認識の間に生成されたモデルデータを記憶することを含み、
前述のモデルデータをアップデートすることが、前述の少なくとも１つのテキストブロックのアップデートされたモデルデータを、前述のテキスト認識の間に生成されたモデルデータと置き換えて記憶することをさらに含む。

【0016】

特定の実施形態では、本方法は、前述の正規化することの後に、構造化されたハンドライティングフォーマットで前述の少なくとも１つのテキストブロックのテキストラインを表示することを含む。

【0017】

特定の実施形態では、少なくとも１つのテキストブロックのモデルデータは、
複数の文字を規定する文字情報であって、各文字が、デジタルインクの少なくとも１つのストローク、及び、少なくとも１つのテキストブロックのテキストラインと関連付けられている、文字情報と、
複数のワードを規定するワード情報であって、各ワードが、文字情報によって規定された少なくとも１つの文字と関連付けられている、ワード情報と、
少なくとも１つのテキストブロックの各テキストラインを規定するライン情報であって、各テキストラインが、ワード情報によって規定された少なくとも１つのワードと関連付けられている、ライン情報と、
を含む。

【0018】

特定の実施形態では、ライン情報は、前述の少なくとも１つのテキストブロックの各テキストラインに関し、
テキストラインの原点を示す原点座標と、
テキストラインの傾斜を示す傾斜情報と、
テキストラインの高さを示す高さ情報と、
を含む。

【0019】

特定の実施形態では、前述の正規化の間に前述のモデルデータをアップデートすることは、それぞれの変換関数に基づき、前述のテキストラインのライン情報をアップデートすることを含む。

【0020】

特定の実施形態では、前述の正規化は、各テキストラインに関し、
前述のテキストラインの原点座標、傾斜情報、及び高さ情報を含む入力パラメータを判定することを含み、
それぞれの変換関数が、入力パラメータ及びドキュメントパターンに基づいて計算される。

【0021】

特定の実施形態では、ドキュメントパターンは、
表示エリアの余白と、
ライン間の距離と、
の、手書きテキストが従う手書きの制約の少なくとも１つを規定する。

【0022】

特定の実施形態では、各変換関数は、
平行移動成分と、
拡縮成分と、
回転成分と、
の、前述の正規化の間にそれぞれのテキストラインに適用される変換成分の少なくとも１つを規定する。

【0023】

特定の実施形態では、ドキュメントパターンは、ガイドラインを規定する前述のラインパターンを含み、このガイドラインに従って、手書きテキストが構造化されたハンドライティングフォーマットで配置されることになる。

【0024】

特定の実施形態では、変換関数の拡縮成分は、前述の正規化の間に、前述のラインパターンの２つの連続したガイドライン間の距離の、それぞれのテキストラインの高さに対する割合に基づいて判定される。

【0025】

特定の実施形態では、変換関数の平行移動成分は、前述の正規化の間に、前述のテキストラインの原点が、前述の正規化の間に前述のテキストラインにアサインされたラインパターンの対応するガイドラインに整列されるように移動されるように、テキストラインの平行移動を実施するように判定される。

【0026】

特定の実施形態では、前述の回転成分は、前述の正規化の間に、それぞれのテキストラインを回転させ、それにより、ドキュメントパターンに従ってそれぞれのテキストラインの傾斜をゼロに低減するように判定される。

【0027】

特定の実施形態では、前述の正規化の間に、各テキストラインのモデルデータは、それぞれの変換関数に従ってアップデートされ、一方、それぞれの変換関数の前述の適用から生じ得るいずれのテキスト認識をもブロックする。

【0028】

別の態様によれば、本発明は、本文献に規定される本発明の方法の各ステップを実行するための命令を含む、コンピュータ可読プログラムコード（またはコンピュータプログラム）を上に記録した非一時的なコンピュータ可読媒体に関する。

【0029】

本発明のコンピュータプログラムは、任意のプログラミング言語で表現することができ、ソースコード、オブジェクトコード、または、たとえば、部分的にコンパイルされた形態、または、任意の他の適切な形態になるように、ソースコードとオブジェクトコードとの間の任意の中間のコードの形態とすることができる。

【0030】

本発明は、上述のコンピュータプログラムをも提供する。

【0031】

前述の非一時的なコンピュータ可読媒体は、コンピュータプログラムを記憶することができる任意のエンティティまたはデバイスとすることができる。たとえば、記録媒体は、ＲＯＭメモリ（ＣＤ－ＲＯＭもしくはマイクロ電子回路で実施されるＲＯＭ）などの記憶手段、または、たとえばフロッピーディスクもしくはハードディスクなどの磁気記憶手段を含むことができる。

【0032】

本発明の非一時的なコンピュータ可読媒体は、電気信号または光学信号などの伝達可能な媒体に対応することができる。この媒体は、電気ケーブルもしくは光ケーブルを介して、または無線もしくは任意の他の適切な手段によって搬送することができる。本開示に係るコンピュータプログラムは、特に、インターネットまたはネットワークなどからダウンロードすることができる。

【0033】

代替的には、非一時的なコンピュータ可読媒体は、集積回路に対応することができる。この集積回路には、コンピュータプログラムが導入されており、回路が、本発明の方法の実行において実行するか使用されるために適合されている。

【0034】

特定の実施形態では、本発明は、内部に埋め込まれたコンピュータ可読プログラムコードを有する非一時的なコンピュータ可読媒体に関し、前述のコンピュータ可読プログラムコードは、本文献で規定されるコンピュータデバイス上の手書きの入力要素に関する方法を実施するように実行されるために適合されており、コンピュータデバイスは、前述の方法の各ステップを実行するためのプロセッサを備えている。

【0035】

本発明は、本開示に規定される方法を実施するために適切なコンピュータデバイスにも関する。より具体的には、本発明は、手書きテキストのためのコンピュータデバイスであって、
デジタルインクの複数のストロークを検出するための入力表面であって、前述のストロークが、いずれの手書きの制約も伴わずに、フリーハンドライティングフォーマットで入力される、入力表面と、
前述の複数の入力ストロークを前述のフリーハンドライティングフォーマットで表示するためのディスプレイデバイスと、
テキストまたはテキストではないものとして各ストロークを分類するための分類器であって、前述の分類器が、フリーハンドライティングフォーマットで手書きされた前述の入力ストロークから、手書きテキストの少なくとも１つのテキストブロックをテキストとして検出するように構成されている、分類器と、
前述の少なくとも１つのテキストブロックから手書きテキストのテキストラインを抽出するためのライン抽出器と、
前述の少なくとも１つのテキストブロックの各テキストラインのテキスト認識を実施し、それにより、前述の少なくとも１つのテキストブロックの各ストロークを、前述の少なくとも１つのテキストブロックの文字、ワード、及びテキストラインと関連付けるモデルデータを生成するための認識エンジンと、
ドキュメントパターンのラインパターンに従うように、手書きテキストの各テキストラインを、フリーハンドライティングフォーマットから構造化されたハンドライティングフォーマットに正規化するためのテキストエディタであって、前述のテキストエディタが、各テキストラインに関し、
前述のテキストラインを構造化されたハンドライティングフォーマットに変換するように、前述のテキストラインに関し、それぞれの変換関数を計算すること、
前述のテキストラインの各ストロークを構造化されたハンドライティングフォーマットに変換するように、それぞれの変換関数を適用すること、及び、
それぞれの変換関数に基づき、前述のテキストラインのモデルデータをアップデートすること、
を実施するように構成されている、テキストエディタと、
を備えている、コンピュータデバイスを提供する。

【0036】

本発明の方法と関連して上の規定された様々な実施形態は、本開示のコンピュータデバイス、コンピュータプログラム、及び非一時的なコンピュータ可読媒体と類似の方式で適用される。

【0037】

本開示に規定される本発明の方法の各ステップに関し、コンピュータデバイスは、前述のステップを実施するように構成された対応するモジュールを備えている場合がある。

【0038】

特定の実施形態では、本開示は、ソフトウェア及び／またはハードウェア構成要素を使用して実施される場合がある。この文脈では、「モジュール」との用語は、本開示では、ソフトウェア構成要素及びハードウェア構成要素、または複数のソフトウェア及び／またはハードウェア構成要素に言及することができる。

【0039】

本開示の他の特徴及び利点は、限定的特徴を有していない実施形態を示す添付図面を参照してされる以下の詳細な説明から明らかとなるであろう。

【図面の簡単な説明】

【0040】

【図1】ＡおよびＢは慣習的な構成に係るデジタルデバイスを示す。

【図2】本発明の特定の実施形態に係るコンピュータデバイスを概略的に示すブロック図である。

【図3】本発明の特定の実施形態に係る正規化プロセスを概略的に示す図である。

【図4】本発明の特定の実施形態に係る、図２のコンピュータデバイスによって実施されるモジュールを概略的に示すブロック図である。

【図5】本発明の特定の実施形態に係る方法のステップを概略的に示すフロー図である。

【図6】本発明の特定の実施形態に係る、図２のコンピュータデバイスによって処理される間の手書きテキストを概略的に示す図である。

【図7】本発明の特定の実施形態に係る、図２のコンピュータデバイスによって処理される間の手書きテキストを概略的に示す図である。

【図8】本発明の特定の実施形態に係る、図２のコンピュータデバイスによって処理される間の手書きテキストを概略的に示す図である。

【図9】本発明の特定の実施形態に係る、図２のコンピュータデバイスによって生成されたモデルデータを概略的に示す図である。

【図10】本発明の特定の実施形態に係る、図２のコンピュータデバイスによって正規化された手書きテキストを概略的に示す図である。

【図11】本発明の特定の実施形態に係る、正規化プロセスの間に手書きテキストに適用される編集操作を示す図である。

【図12】本発明の特定の実施形態に係る、正規化の後に編集される手書きテキストを概略的に示す図である。

【発明を実施するための形態】

【0041】

図中の構成要素は、必ずしも拡縮されておらず、代わりに、本発明の原理の説明が強調されている。

【0042】

説明の簡略化及び明確化のために、同じ参照符号は、別様に示されない限り、同じであるか類似のパーツを参照するために、図面を通して使用されることになる。

【0043】

以下の詳細な説明では、複数の特定の詳細が、関連する教示を完全に理解させるために、例として説明される。しかし、当業者には、本教示が、そのような詳細を伴わずに実施され得ることが明らかとなるであろう。他の例では、よく知られている方法、手順、及び／または構成要素が、本教示の態様を不必要に妨げることを避けるために、詳細を伴わずに、比較的高レベルで記載される。

【0044】

例示的実施形態の以下の詳細な説明は、添付図面を参照する。以下の詳細な説明は、本発明を限定するものではない。その代わりに、本発明の範囲は、添付の特許請求の範囲によって規定されている。図面に示すような様々な実施形態では、コンピュータデバイス、対応する方法、及び対応するコンピュータプログラムが論じられる。

【0045】

本記載における「テキスト」との用語の使用は、記載のテキストにおいて使用される任意の記載の言語及び任意のシンボルにおいて、すべての文字（たとえば、英数字など）及びそのストリングを包含するものと理解される。

【0046】

本記載における「テキストではない」との用語は、自由な形態の手書きされたコンテンツ、または手で線描されたコンテンツ（たとえば、形状、描写など）及び画像データ、ならびに文字、及びそのストリング、またはテキストではない文脈において使用されるシンボルを包含するものと理解される。テキストではないコンテンツは、コンテナ、描画、一般的な形状（たとえば、矢印、ブロックなど）などを含む、線形または非線形の構成での、グラフィックまたは幾何学的な構造を規定する。図では、たとえば、テキストコンテンツは、コンテナと呼ばれるある形状（矩形、楕円形、卵形の形状など）に包含されている場合がある。

【0047】

さらに、これら図に示される実施例は、左から右に書かれる言語の文脈であり、したがって、位置に対するあらゆる参照は、異なる方向のフォーマットを有する記載された言語に関して適応させることができる。

【0048】

本明細書に記載の様々な技術は、概して、ポータブル、及びポータブルではないコンピュータデバイス上の、手で描かれるか手で書かれるコンテンツの取得、処理、及び管理に関する。本明細書に記載のシステム及び方法は、（後に論じるような）接触式スクリーンなどの入力表面を介しての、コンピュータデバイスへのユーザの自然な筆記スタイル及び線描スタイルの入力の認識を利用する場合がある。様々な実施形態が、いわゆるオンライン認識技術を使用してデジタルインクの手書き入力の認識に関して記載されるが、認識を実施するためにリモートデバイスまたはサーバを伴うオフラインの認識など、認識のための入力の他の形態に適用することが可能であることを理解されたい。

【0049】

「手での線描」及び「手書き」との用語は、入力表面上で、または入力表面を用いて、ユーザの手（もしくは指）、または入力デバイス（ハンドヘルドスタイラスもしくはデジタルペン、マウスなど）の使用を通して、ユーザによるデジタルコンテンツ（手書き入力）の形成を規定するために、本明細書において相互交換可能に使用される。「手」などの用語は、入力技術の簡潔な記載を提供するために本明細書で使用されるが、足、口、及び目など、類似の入力のためにユーザの身体の他の部分を使用することが、この定義に含まれる。

【0050】

以下により詳細に記載するように、本発明の態様は、フリーハンドライティングフォーマットで、コンピュータデバイス上で入力されるデジタルインクの手書きテキストを検出することと、手書きテキスト入力（または入力された手書きテキスト）を示すモデルデータを生成することを伴う、テキスト認識を実施することと、ドキュメントパターンに従う（たとえば、ドキュメントパターンのラインパターンに従う）ように、手書きテキスト入力の各テキストラインの、フリーハンドライティングフォーマットから構造化されたハンドライティングフォーマットへの正規化を実施することと、に依存する。この正規化は、手書きテキスト入力を構造化されたハンドライティングフォーマットに変えるために、手書きテキスト入力に編集する変換（たとえば、平行移動、回転、及び／または拡縮）を実施することを含んでいる。モデルデータは、正規化の目的のために、手書きテキスト入力に適用される編集する変換に応じてアップデートされもする。換言すると、正規化を実施する際に手書きテキスト入力のそれぞれのテキストラインの各々に適用される変換関数は、テキストラインのモデルデータをアップデートするベースとしても使用される。特定の実施形態において以下に説明するように、モデルデータは、手書きテキスト入力の各ストロークの、手書きテキスト入力のそれぞれの文字、それぞれのワード、及びそれぞれのテキストラインとの間の相関関係を規定する。

【0051】

正規化プロセスの一部としてモデルデータをアップデートすることにより、デジタルインクの手書きテキスト入力を、（フリーハンドライティングフォーマットでの）制約のない環境から、（構造化されたハンドライティングフォーマットでの）フォーマットされた環境に効率的に変換することができ、それにより、よりよい表示、より信頼性のあるテキスト認識、及び、手書きテキスト入力の編集などのより広範囲の操作が可能になる。以下にさらに説明するように、正規化プロセスが入力インクの変更に繋がるが、あらゆる以前のテキスト認識状態は保存される。このことは、手書きテキスト入力及びモデルデータが同じ変換を使用してアップデートされることから、達成することができる。

【0052】

本発明では、正規化を経る各テキストラインは、手書きテキストのテキストラインである。以下にさらに記載するように、いくつかの変換がこの手書きテキストラインに、正規化プロセスの一部として適用されるが、これらテキストラインは、正規化されると（すなわち、正規化されたテキストライン）、依然として手書きテキストラインであり、すなわち、テキストラインとして、しかし正規化された方式で（たとえば、入力ストロークによって形成された手書きを構成しない活字に組み上がったコンテンツとは反対に）配置される手書きのものである。以下にさらに記載するように、手書きテキストの各テキストラインのストロークは、対応する手書きテキストラインを正規化された手書きテキストラインに変える変換を規定する変換関数の影響を受ける。

【0053】

図２は、本発明の特定の実施形態に係るコンピュータデバイス１００のブロック図を示している。コンピュータデバイス（またはデジタルデバイス）１００は、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、ｅブックリーダー、携帯電話、スマートフォン、ウェアラブルコンピュータ、デジタルウォッチ、電子黒板、グローバルポジショニングシステム（ＧＰＳ）ユニット、事業デジタルアシスタント（ＥＤＡ）、パーソナルデジタルアシスタント（ＰＤＡ）、ゲームコンソールなどである場合がある。コンピュータデバイス１００は、少なくとも１つの処理要素、いくつかの形態のメモリ、ならびに入力及び出力（Ｉ／Ｏ）デバイスの構成要素を含んでいる。各構成要素は、コネクタ、ライン、バス、リンクネットワーク、または当業者に既知の他のものなどの入力及び出力を通して互いに通信する。

【0054】

より明確には、コンピュータデバイス１００は、以下にさらに記載するように、テキスト及びテキストではない要素を含む、手での線描（または手書き）入力要素に関する入力表面１０４を備えている。より具体的には、入力表面１０４は、前述の入力表面上に入力されたデジタルインクの複数の入力ストロークを検出することに適している。以下でもさらに論じるように、これら入力ストロークは、フリーハンドライティングフォーマット（または、フリーハンドライティングモード）での入力である、すなわち、入力エリアにおける位置、サイズ、及び向きのあらゆる手書きの制約を伴わない場合がある。

【0055】

入力表面１０４は、接触感知表面または近接感知表面の形態のユーザ入力を受領するように、抵抗変化型、表面音波、静電容量、赤外グリッド、赤外線のアクリルの投影、光学イメージング、分散信号技術、音響パルス認識、または当業者に既知であるような任意の他の適切な技術などの技術を採用する場合がある。入力表面１０４は、位置検出システムによって監視されている非接触式感知表面である場合がある。

【0056】

コンピュータデバイス１００は、画像、テキスト、及びビデオなど、コンピュータデバイスからデータを出力するための少なくとも１つのディスプレイデバイス（またはディスプレイ）１０２をも備えている。ディスプレイデバイス１０２は、任意の適切な技術（ＬＣＤ、プラズマなど）のスクリーンなどである場合がある。以下にさらに記載するように、ディスプレイデバイス１０２は、デジタルインクで入力要素を表示するために適しており、各入力要素は、デジタルインクの少なくとも１つのストロークで形成されている。具体的には、ディスプレイデバイス１０２は、たとえば上述のフリーハンドライティングフォーマットで、入力表面１０４で入力された複数のストロークを表示する場合がある。

【0057】

入力表面１０４は、ディスプレイデバイス１０２と同じ場所に配置されるか、リモートでディスプレイデバイス１０２に接続される場合がある。特定の実施例では、ディスプレイデバイス１０２及び入力表面１０４は、タッチスクリーンの一部である。

【0058】

図２に示すように、コンピュータデバイス１００は、プロセッサ１０６及びメモリ１０８をさらに備えている。コンピュータデバイス１００は、メモリ１０８の一部として、またはメモリ１０８とは別に、１つまたは複数の揮発性記憶要素（ＲＡＭ）をも備えている場合がある。

【0059】

プロセッサ１０６は、ソフトウェア、特にメモリ１０８に記憶されたソフトウェアを実行するためのハードウェアデバイスである。プロセッサ１０８は、任意の特注であるか商業利用可能な多目的プロセッサ、中央処理ユニット（ＣＰＵ）、半導体ベースのマイクロプロセッサ（マイクロチップまたはチップセットの形態）、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラマブル論理デバイス、またはこれらの任意の組合せとすることができ、より概略的には、当業者に既知であるような、ソフトウェア命令を実行するために設計された任意の適切なプロセッサ構成要素とすることができる。

【0060】

メモリ１０８は、本開示の特定の実施形態に係る、非一時的な（または不揮発性の）コンピュータ可読媒体（または読取り媒体）を構成する（または備えている）。メモリ１０８は、不揮発性の記憶要素（たとえば、ＲＯＭ、ＥＰＲＯＭ、フラッシュＰＲＯＭ、ＥＥＰＲＯＭ、ハードドライブ、磁気テープまたは光学テープ、メモリレジスタ、ＣＤ－ＲＯＭ、ＷＯＲＭ、ＤＶＤなど）の任意の組合せを含む場合がある。

【0061】

メモリ１０８は、コンピュータデバイス１００によってリモートでアクセス可能である、サーバまたはクラウドベースのシステムにあるなど、コンピュータデバイス１００から離れている場合がある。不揮発性メモリ１０８は、プロセッサ１０６に結合されており、それにより、プロセッサ１０６が、メモリ１０８から情報を読み取ること、及びメモリ１０８に情報を書き込むことが可能であるようになっている。代替形態として、メモリ１０８は、コンピュータデバイス１００に組み込まれている。

【0062】

メモリ１０８は、オペレーティングシステム（ＯＳ）１１０と、手書きアプリケーション（またはコンピュータプログラム）１１２と、を含んでいる。オペレーティングシステム１１０は、アプリケーション１１２の実行を制御する。アプリケーション１１２は、本発明の特定の実施形態に従ってコンピュータプログラム（またはコンピュータ可読プログラムコード）を構成する（または備えている）。このコンピュータプログラムは、本発明の特定の実施形態に従って方法を実施する命令を含んでいる。

【0063】

アプリケーション１１２は、コンピュータデバイス１００の入力表面１０４を使用して、ユーザによって手書きされたインクの入力要素を検出及び管理するための命令を含む場合がある。後に論じるように、テキストまたはテキストではない場合がある、これら手書きされたインク入力要素（手書き入力とも称される）は、デジタルインクの１つまたは複数のストロークによって形成される。

【0064】

アプリケーション１１２は、手書きされたテキストまたはテキストではないものを含む、コンピュータデバイス１００への手書き入力を認識するための、手書き認識（ＨＷＲ）モジュール（またはシステム）１１４を備えている場合がある。ＨＷＲ１１４は、実施される命令のセットを有するソースプログラム、実行可能なプログラム（オブジェクトコード）、スクリプト、アプリケーション、または任意の他の構成要素である場合がある。図２に示す本実施例では、アプリケーション１１２及びＨＷＲモジュール１１４は、単一のアプリケーションに組み合わせられる（ＨＷＲモジュール１１４は、アプリケーション１１２の一部である）。代替的には、ＨＷＲモジュール１１４は、図２に示されているように、コンピュータデバイス１００により、適切な通信リンクを通してリモートでアクセス可能である、サーバ（またはクラウドベースのシステム）ＳＶ１などの、コンピュータデバイス１００から離れている手書き認識システムと通信するためのモジュール、方法、またはシステムである場合がある。アプリケーション１１２及びＨＷＲモジュール１１４も、コンピュータデバイス１００のメモリ１０８（または異なるメモリ）に記憶された別々の構成要素である場合があり、それにより、アプリケーション１１２及びＨＷＲモジュール１１４が、ともに作動して、処理され、メモリ１０８に記憶された情報にアクセスする。

【0065】

図に後に示すように、入力表面１０４上で、または入力表面１０４を介して入力された入力ストロークは、デジタルインクとしてプロセッサ１０６によって処理される。デジタルインクは、このケースではディスプレイデバイス１０２上で、デジタル画像フォーマットで手書き入力をレンダリングすることによって形成される。

【0066】

ユーザは、手もしくは指、または、入力表面１０４で使用するために適切なデジタルペンもしくはスタイラスなどのいくつかの入力器具で、入力ストロークを入力する場合がある。ユーザは、入力表面１０４の近位のモーションを検知するように構成された手段が使用される場合に、入力表面１０４の上方でジェスチャをすることにより、または、マウスもしくはジョイスティックなどのコンピュータデバイス１００の周辺機器で、入力ストロークを入力する場合もある。

【0067】

各インク入力要素（文字、シンボル、ワード、形状など）は、１つまたは複数のそのような入力ストロークによって、または少なくともストロークの一部によって形成される。ストローク（または入力ストローク）は、ストロークの開始位置（「ペンを下げる」事象に対応する）、ストロークの末端位置（「ペンを上げる」事象に対応する）、及びストロークの開始位置とストロークの末端位置とを接続する経路によって少なくとも特徴付けられている。異なるユーザが、いくつかのオブジェクト（たとえば、文字、形状、シンボルなど）を、わずかな変化を伴って自然に書くか手で線描する場合があることから、ＨＷＲモジュール１１４は、依然として適正であるか意図されているオブジェクトとして認識される間、各オブジェクトが入力され得る様々な方法を許容する。

【0068】

手書きアプリケーション１１２により、手書きまたは手での線描のコンテンツ（たとえば、テキスト、図、チャート、形状、図、または任意の種類のテキスト及び／またはテキストではない手書き入力）を、デジタルインクの形態で生成することを可能にし、これらコンテンツを、ＨＷＲモジュール１１４を使用して正確に認識させる。

【0069】

本実施例では、メモリ１０８は、コンピュータデバイス１０２上のユーザからの、入力表面１０４での手書きテキスト入力を示すモデルドキュメントを規定するモデルデータＤＴを記憶するためにも適している。そのようなモデルデータＤＴの性質及び用途は、以下により詳細に論じられることになる。

【0070】

図３に示すように、本実施形態では、コンピュータデバイス１００は、フリーハンドライティングフォーマット（またはフリーハンドライティングモード）ＦＴ１で、すなわち、ユーザのためのいずれの手書きの制約をも伴わずに、入力表面１０４で入力された手書き入力ＩＮを検出するように構成されている。フリーハンドライティングモードは、ユーザに、構造化されていないかガイドされていない方式で、フリーの環境（たとえば、ブランクゾーンＺ１内）で入力要素ＩＮを手書きすることを可能にする。すなわち、手書きテキスト入力の位置、サイズ、及び向きのいずれの手書きの制約も伴わない（ラインパターンに従わず、サイズまたは向きの制限がなく、ライン間への挿入、余白などの制約がない、などである）。このフリーハンドライティングモードＦＴ１は、手書き入力の間に、ユーザに完全な自由度を与える。このことは、ときには、たとえば迅速かつ種々雑多にノートを取るか、テキストとテキストではないものとの混合の入力をするために、望ましい。

【0071】

入力表面１０４によって検出され、ディスプレイデバイス１０２によって表示される手書き入力ＩＮは、デジタルインクの複数の入力ストロークによって形成される。

【0072】

図３に示すように、コンピュータデバイス１００は、手書き入力ＩＮを形成する入力ストロークをテキストとして分類し、こうして、手書き入力ＩＮをテキストブロックＢＬ１として認識する場合がある。

【0073】

コンピュータデバイス１００は、認識されたテキストブロックＢＬ１上で正規化プロセスを実施するように構成されており、それにより、テキストブロックＢＬ１をフリーハンドライティングフォーマットＦＴ１から、構造化されたフォーマット（または構造化されたモード）とも称される構造化されたハンドライティングフォーマット（または構造化されたハンドライティングモード）ＦＴ２に変換して、ドキュメントパターン２００（たとえば、ドキュメントパターン２００のラインパターン）に従う。ドキュメントパターンは、手書きテキスト入力ＩＮがどのようにディスプレイデバイス１０２上で配置及び表示されることになるかに関する、幾何学的制約を規定するものとして、本開示では理解される。ドキュメントパターン２００は、構造化された方式で、すなわち、構造化されたハンドライティングフォーマットＦＴ２で、手書き入力ＩＮ（このケースでは、テキストブロックＢＬ１）を受領するために、構造化された（またはフォーマットされた）環境を構成する。

【0074】

ドキュメントパターン２００が、手書きがどのように構造的に配置されるかを規定することに留意されたい。

【0075】

ドキュメントパターンは、
表示エリアの余白と、
ラインパターンと、
ライン間の距離と、
のテキストが従う手書きの制約の少なくとも１つを規定する場合がある。

【0076】

具体的には、ドキュメントパターン２００は、ラインパターン、及び、場合によっては、表示エリアの余白及びライン間の距離の少なくとも１つをも規定する場合がある。

【0077】

図３に示す本実施例では、ドキュメントパターン２００は、複数のガイドライン（ガイディングラインまたはベースラインとも称される）２０２を規定するラインパターンを含んでいる。このガイドラインに従って、手書きテキスト（すなわち、テキストブロックＢＬ１のコンテンツ）が構造化されたハンドライティングフォーマットＦＴ２に応じて配置されることになる。ドキュメントパターン２０２は、連続したガイドラインの各対の間の所定のライン間距離ｄ１を規定する場合があり、それにより、構造化されたハンドライティングフォーマットＦＴ２における手書きテキストのサイズの制約を課す。ドキュメントパターン２０２は、所定のライン長さｄ２をも規定する場合がある。このライン長さｄ２は、構造化されたフォーマットＦＴ２におけるテキストブロックＢＬ１の各テキストラインの最大長さを課す。この構造化されたフォーマットＦＴ２は、ドキュメントパターン２００に基づいており、実施態様の単なる実施例を構成するに過ぎないことを理解されたい。他のドキュメントパターンが、当業者によって予期され得る。

【0078】

特定の実施形態に従って図４に示すように、メモリ１０８に記憶されたアプリケーション１１２を実行する場合（図２）、プロセッサ１０６は、複数のプロセッシングモジュール、すなわち、分類器ＭＤ２、ライン抽出器ＭＤ４、認識エンジンＭＤ６、及び編集モジュールＭＤ８を実施する。アプリケーション１１２は、特定の実施形態において後に記載するように、本発明の方法のステップを実施するために、これらモジュールを実施するようにプロセッサを構成する命令を含んでいる。

【0079】

分類器ＭＤ２は、入力表面１０４によって検出された各入力ストローク（または、入力ストロークの任意のセットもしくは組合せ）を、テキストまたはテキストではないものとして分類するように構成されている。具体的には、以下にさらに記載するように、分類器ＭＤ２は、入力表面１０４で、フリーハンドライティングフォーマットＦＴ１で入力された入力ストロークの少なくとも１つのテキストブロックＢＬ１をテキストとして検出するように構成されている場合がある。

【0080】

このため、分類器（または分類モジュール）ＭＤ２は、ユーザによって入力された入力デジタルインクのテキストではないコンテンツからテキストを識別するために、あいまいさ排除プロセスを実施する場合がある。あいまいさ排除プロセスは、当業者に既知である任意の方式によって実施される場合がある。例示的な実施態様は、米国特許出願公開第２０１７／０１０９５７８（Ａ１）号に記載されている。

【0081】

あいまいさ排除プロセスの実施例として、分類器ＭＤ２は、どのストロークがテキストではない要素またはテキストである要素に属している場合があるかの仮説を立てるために、空間的及び一時的な考慮事項を使用してストロークをグループ化する場合がある。空間的な考慮事項には、ストローク間の距離、ストロークの幾何学形状、ストロークの重なり、ストロークの相対位置などが含まれる場合がある。一時的な考慮事項には、ストロークの入力の時間順序が含まれる場合がある。確率のスコアは、（閾値を超える）十分に高いスコアの仮説のみが保持されるように計算される場合がある。ストロークの各グループに関する特徴は、こうして、形状及びテキスト言語モデルを考慮して抽出される。特徴には、分離距離、ストローク内の方向の変化、重なり、ストロークパターンの方向、湾曲の程度などが含まれる場合がある。ストロークは、このため、収集された情報すべてに基づいて仮説をテストすることにより、テキストとテキストではないものとに、分類器ＭＤ２によって分類される場合がある。収集された情報には、これら仮説内のストロークのグループの抽出された特徴、ならびに、これらグループ内のストロークの空間的及び一時的な情報が含まれる。しかし、すでに述べたように、テキストではないもの／テキストの区別の他の技術が予期される場合がある。

【0082】

他の実施例では、テキストのみがコンピュータデバイス１００によって手書き入力として受領され、それにより、手書きテキストが、入力表面１０４で直接検出されるようになっている際には、テキスト／テキストではないものとして分類することは必要ではない。

【0083】

ライン抽出器（またはライン抽出モジュール）ＭＤ４は、分類器ＭＤ２によって検出された入力ストロークのテキストブロックＢＬ１からテキストラインＬＮを抽出するように構成されている。換言すると、ライン抽出器ＭＤ４は、テキストブロックＢＬ１を集合的に形成する別個のテキストラインＬＮを識別することが可能である（このため、テキストブロックＢＬ１は、複数のテキストラインＬＮに分割される）。以下にさらに記載するように、そのようなラインの抽出は、テキスト認識プロセスの一部として実施される場合がある。特定の実施例では、ライン抽出器ＭＤ４及び認識エンジンＭＤ６は、ともに単一のモジュールを形成する。

【0084】

認識エンジン（または認識モジュール）ＭＤ６は、分類器ＭＤ２によって抽出されると、テキストブロックＢＬ１の各テキストラインＬＮにテキスト認識を実施するように構成されている。テキスト認識は、たとえば、要素の候補（または仮説）のリストを確率のスコアとともに生成すること、及び、最適な認識の結果を見出すために、要素の候補に言語モデル（用語集、文法、意味論など）を適用することを伴う、当業者には既知である任意の適切な技術を使用して実施される場合がある。所与の要素のシーケンスがどれだけの頻度で特定の言語内に現れるか、または、特定のユーザによって使用されるかに関してモデル化する統計的情報も、認識エンジンＭＤ６によって提供される解釈の可能性を評価するために、考慮される場合がある。しかし、本開示を不必要に不明瞭にすることを避けるために、さらなる詳細は提供されない。手書き認識を実施することの一実施例は、たとえば、米国特許出願公開第２０１７／０１０９５７８（Ａ１）号に見ることができる。

【0085】

本実施形態では、テキスト認識を実施する間、認識エンジンＭＤ６は、テキストブロックＢＬ１の各入力ストロークを、テキストブロックＢＬ１の特有の文字、特有のワード、及び特有のテキストラインと関連付けるモデルデータＤＴを生成するように構成されている。以下にさらに記載するように、モデルデータＤＴは、手書きテキスト入力の各ストロークの、手書きテキスト入力の対応する文字、対応するワード、及び対応するテキストラインとの間の相関関係（またはリンクまたは参照）を規定する。

【0086】

編集モジュール（またはテキストエディタ）ＭＤ８は、（図３に示すように）ドキュメントパターン２００に従うように、各テキストラインＬＮを、上述のフリーハンドライティングフォーマットＦＴ１から構造化されたフォーマットＦＴ２に正規化するように構成されている。以下にさらに記載するように、この正規化の間、編集モジュールＭＤ８は、各テキストラインＬＮに関し、
ドキュメントパターン２００（たとえば、ドキュメントパターン２００のラインパターン）に従うように、前述のテキストラインＬＮを構造化されたフォーマットＦＴ２に変換するように、前述のテキストラインＬＮに関し、それぞれの変換関数を計算することと、
前述のテキストラインＬＮの各入力ストロークを構造化されたフォーマットＦＴ２に変換するように、それぞれの変換関数を適用することと、
それぞれの変換関数に基づき、モデルデータＤＴ（及びより具体的には、前述のテキストラインＬＮに関するモデルデータＤＴ）をアップデートすることと、
を実施するように構成されている場合がある。

【0087】

換言すると、テキストブロックＢＬ１を正規化する場合、編集モジュールＢＬ１は、ライン毎の基準で、テキストブロックＢＬ１を、フリーハンドライティングフォーマットＦＴ１から構造的な手書きフォーマットＦＴ２に変換する。編集モジュールＢＬ１によって正規化されると、正規化プロセスの一部として、手書きを形成するストロークにいくつかの変換が適用されたとしても、正規化されたコンテンツは依然として、（入力ストロークによって形成された）手書きの性質である。

【0088】

正規化が実施されると、ディスプレイデバイス１０２は、構造化されたフォーマットＦＴ２でテキストブロックＢＬ１を表示するように構成されている場合がある。編集モジュールＭＤ８は、構造化されたフォーマットＦＴ２のテキストブロックＢＬ１にさらなる編集を実施するように構成されている場合もある。

【0089】

コンピュータデバイス１００のモジュールＭＤ２からＭＤ８の構成及び動作は、図面を参照して以下に記載される特定の実施形態でより明らかである。図４に示すようなモジュールＭＤ２からＭＤ６が、本発明の例示的な実施形態を示すのみであり、他の実施態様が可能であることを理解されたい。

【0090】

本発明の方法の各ステップに関し、コンピュータデバイスは、前述のステップを実施するように構成された対応するモジュールを備えている場合がある。これらステップの少なくとも２つが、単一のモジュールの一部として実施される場合がある。

【0091】

図２から図４に図示されるコンピュータデバイス１００によって実施される方法を、本発明の特定の実施形態に従って、ここで図５から図１２を参照して記載する。より明確には、コンピュータデバイス１００は、メモリ１０８に記憶されたアプリケーション１１２を実行することにより、この方法を実施する。

【0092】

ユーザが図６に示すような手書き入力ＩＮをコンピュータデバイス１００上で入力する例示的なシナリオが考慮される。次いで、以下に記載するような手書き入力ＩＮ上の正規化プロセスを含む処理が、コンピュータデバイス１００によって実施される。

【0093】

より明確には、検出ステップＳ２において、コンピュータデバイス１００が、コンピュータデバイス１００の入力表面１０４でユーザによって入力された手書き入力ＩＮを検出する。図６に示すように、手書き入力ＩＮは、ユーザによって入力表面１０４で形成されたデジタルインクの複数の入力ストロークＳＴを含んでいる。たとえば、文字の第１のストリング「Ｔｈｉｓ」は、入力ストロークＳＴ１、ＳＴ２、ＳＴ３、及びＳＴ４によって形成されている。すでに述べたように、各入力ストロークＳＴは、ストロークの開始位置、ストロークの末端位置、及びストロークの開始位置とストロークの末端位置とを接続する経路によって少なくとも特徴付けられている。したがって、たとえば（ワード「Ｔｈｉｓ」内の）文字「ｉ」の頂部に配置される点は、それ自体によって単一のストロークＳＴ４を構成する。

【0094】

本実施例では、手書きのデジタルインクＩＮは、前述したようにフリーハンドライティングフォーマットＦＴ１で入力される（図３）。すなわち、ディスプレイ１０２の所定の入力エリアにあらゆる手書きの制約を伴わない。従うべきライン、サイズ、向きなどの制約がなければ、ユーザは、コンテンツＩＮを自由かつ容易な方式で手書きすることが許容される。見ることができるように、各手書き文字または各手書きワードのサイズ、向き、及び位置は、ユーザの好みに応じて任意に変化する場合がある。手書き入力ＩＮが、実質的に平行なラインに沿って図６に示されているが、手書き入力ＩＮは、変化するラインの向きに沿って配置される場合がある。

【0095】

図７に示すように、コンピュータデバイス１００は、フリーハンドライティングフォーマット（またはモード）ＦＴ１に従って、ディスプレイデバイス１０２上に手書き入力ＩＮの複数の入力ストロークＳＴを表示する（Ｓ４）。

【0096】

分類ステップＳ６では、コンピュータデバイス１００は、フリーハンドライティングフォーマットＦＴ１で検出された各入力ストロークＳＴを、テキストまたはテキストではないもののいずれかに分類する。この目的のために、コンピュータデバイス１００の分類器ＭＤ６は、前に記載したあいまいさ排除プロセスを、任意の適切な方式で実施する場合がある。

【0097】

簡略化のために、本実施例では、コンピュータデバイス１００によって検出された手書き入力ＩＮ全体がテキスト（すなわち、手書きテキスト）であると推定する。したがって、分類ステップＳ６の間、コンピュータデバイス１００は、フリーハンドライティングフォーマットＦＴ１で入力された入力ストロークＳＴによって形成された手書きテキストのテキストブロックＢＬ１を、テキストとして検出する。簡略化のために、手書きテキストの単一のテキストブロックＢＬ１が、本実施例ではコンピュータデバイス１００によって検出されるが、本発明のコンセプトは、手書き入力ＩＮにおいて、コンピュータデバイス１００によって検出された手書きテキストの複数のテキストブロックに、同じ方式で適用されることに留意されたい。

【0098】

図８に示すように、このため、コンピュータデバイス１００は、テキストブロックＢＬ１にテキスト認識を実施する（Ｓ８）。テキスト認識Ｓ８の間、コンピュータデバイス１００は、任意の適切な言語に従って、文字ＣＨ（またはシンボル）、及びワードＷＤ（図８）などの、予め規定された認識可能なテキスト要素を認識するように、入力ストロークＳＴの様々な特徴を分析する。すでに述べたように、テキスト認識は、たとえば、要素の候補（または仮説）のリストを確率のスコアとともに生成すること、及び、もっとも適している候補を選択するために、要素の候補に言語モデル（用語集、文法、意味論など）を適用することを含む、当業者には既知である任意の適切な技術を使用して実施される場合がある。このため、認識エンジンＭＤ６は、予め規定された文字を識別するために、任意の適切な言語学的情報を使用して、各テキストラインＬＮのコンテンツをパース及び分析する場合がある。

【0099】

テキスト認識Ｓ８は、以下に記載される２つのステップ、すなわち、ライン抽出ステップＳ１０と、生成ステップＳ１２と、を含んでいる。

【0100】

より明確には、テキスト認識Ｓ８の間、コンピュータデバイス１００は、手書きテキストのテキストラインＬＮをテキストブロックＢＬ１から抽出するために、ライン抽出Ｓ１０を実施する。本実施例では、コンピュータデバイス１００は、テキストブロックＢＬ１を５つの別個のテキストラインＬＮ１からＬＮ５に分割する。ライン抽出は、テキスト／テキストではないものの分類Ｓ６の間に検出されたテキストブロックＢＬ１のストロークＳＴ（またはストロークＳＴのセット）の幾何学的分析に基づき、ライン抽出器ＭＤ４によって実施される場合がある。テキスト分析に基づき、ライン抽出器ＭＤ４は、各入力ストロークＳＴがどのテキストラインに属するかを判定することが可能である。当業者は、フリーハンドライティングモードで入力されたテキストブロック内のテキストラインの識別を可能にする任意の適切な技術を実施する場合がある。

【0101】

テキスト認識Ｓ８の間でもなお、コンピュータデバイス１００は、テキストブロックＢＬ１の各ストロークＳＴを、テキストブロックＢＬ１の特有の文字ＣＨ、特有のワードＷＤ、及び特有のテキストラインＬＮと関連付けるモデルデータＤＴを生成もする（Ｓ１２）。

【0102】

モデルデータＤＴは、テキストブロックＢＬ１のドキュメントモデル（相互作用するテキストモデルとも称される）を規定する。各テキストラインＬＮは、このドキュメントモデルに応じて構築される。後に示すように、このことは、インクの相互作用性が後に、テキストブロックＢＬ１を編集する際に達成され得ることのこれら相関関係を確立することによるものである。たとえば、テキストブロックＢＬ１内のワードＷＤを消去することは、コンピュータデバイス１００が同様に、モデルデータＤＴに従って、このワードＷＤに関して参照される構成文字ＣＨのすべてを消去することに繋がる。

【0103】

本実施例では、モデルデータＤＴは、文字情報、ワード情報、及びライン情報の３つのカテゴリーを含んでいる。任意の適切な方式（たとえば、関係のツリーまたは参照のツリーとして）で系統立てられる場合があるモデルデータは、各ストロークＳＴ（またはストロークの各部）を特有の文字ＣＨにリンクさせ、各文字ＣＨを特有のワードＷＤにリンクさせ、また、各ワードＷＤを特有のテキストラインＬＮにリンクさせる相互参照を規定し、それにより、テキスト認識Ｓ８で検出されたストロークＳＴ（またはストロークの部分）と、文字ＣＨと、ワードＷＤと、テキストラインＬＮとの間の相関関係を確立する。結果として、デジタルインクは、構造化され、モデルデータＤＴと関連付けられて、相互作用性インクを形成する。

【0104】

より具体的には、図９に示すように、特定の実施形態によれば、テキストブロックＢＬ１のモデルデータＤＴは、
複数の文字ＣＨを規定する文字情報２２０であって、各文字ＣＨが、デジタルインクの少なくとも１つのストロークＳＴ（または、ストロークＳＴの少なくとも一部）、及び、少なくとも１つのテキストブロックＢＬ１のテキストラインＬＮと関連付けられている、文字情報２２０と、
複数のワードＷＤを規定するワード情報２２２であって、各ワードＷＤが、文字情報２２０によって規定された少なくとも１つの文字ＣＨと関連付けられている、ワード情報２２２と、
テキストブロックＢＬ１の各テキストラインＬＮを規定するライン情報２２４であって、各テキストラインＬＮが、ワード情報２２２によって規定された少なくとも１つのワードＷＤ（またはワードの一部）と関連付けられている、ライン情報２２４と、
を含む場合がある。

【0105】

文字ＣＨが、単一の入力ストロークＳＴ、複数の入力ストロークＳＴ、または、１つもしくは複数の入力ストロークＳＴの一部によって形成される場合があることに留意されたい。文字情報２２０は、ストロークＳＴの各部の、特有の文字ＣＨとのリンクを示すものである。たとえば、図６に示すように、テキスト認識Ｓ１０の間にコンピュータデバイス１００によって認識された文字ＣＨ２、ＣＨ３、及びＣＨ４は、それぞれ、ストロークＳＴ３の部分ＳＴ３１、ＳＴ３２、及びＳＴ３３によって部分的または全体的に形成される。

【0106】

特定の実施例では、ライン情報２２４は、テキストブロックＢＬ１の各テキストラインＬＮに関し、
テキストラインＬＮの原点を示す原点座標（ｘ，ｙ）と、
テキストラインＬＮの傾斜を示す傾斜情報（ａ）と、
テキストラインＬＮの高さを示す高さ情報（ｈ）と、
を含んでいる。

【0107】

ライン情報２２４はこうして、コンピュータデバイス１００が、各テキストラインＬＮの位置、向き、及びサイズを規定することを可能にする。

【0108】

テキストラインＬＮに属する任意の所定の基準ポイントが、前述のテキストラインＬＮの、上述の「原点」としてライン情報２２４に規定され得ることに留意されたい。

【0109】

テキストラインＬＮの原点座標は、浮動小数点の値：ライン（ｘ，ｙ）の対によって規定される場合がある。傾斜情報は、浮動小数点の値：ライン（ａ）である場合がある。高さ情報は、たとえば、ドキュメントモデルに応じてこのテキストラインにアサインされた文字の平均高さを示す、浮動小数点の値：ライン（ｈ）である場合がある。本実施例では、高さ（ｈ）は、所与のテキストラインＬＮの各々に関する傾斜（ａ）に対して垂直に表示される。

【0110】

各テキストラインＬＮに関する平均高さ（ｈ）の計算は、各テキストラインの結果としての平均値にノイズが発生することを避けるために、アルファベットの上に来る部分及び下に来る部分を考慮するように、コンピュータデバイス１００によって実施される場合がある。

【0111】

実施例として、コンピュータデバイス１００は、第１のテキストラインＬＮ１内の入力ストロークＳＴ１からＳＴ４が、特に構造化された方式で、集合的にワードＷＤ１を形成することを認識する（Ｓ１０）。結果として、図６及び図９に示すように、コンピュータデバイス１００がモデルデータＤＴを生成する（Ｓ１２）。このモデルデータＤＴは、テキストラインＬＮ１に関連する、
ストロークＳＴ１及びストロークＳＴ２と関連する文字ＣＨ１と、
ストロークＳＴ３の部分ＳＴ３１と関連する文字ＣＨ２と、
ストロークＳＴ３の（部分ＳＴ３１及び部分ＳＴ３３を補完する）部分ＳＴ３２、ならびにストロークＳＴ４と関連する文字ＣＨ３と、
ストロークＳＴ３の（ＳＴ３１及びＳＴ３２を補完する）部分ＳＴ３３と関連する文字ＣＨ４と、
の文字を規定する文字情報２２０を含んでいる。

【0112】

テキストブロックＢＬ１内の他の文字ＣＨは、文字情報２２０内で類似の方式で規定される。

【0113】

この実施例では依然として、ワード情報２２２は、文字ＣＨ１、ＣＨ２、ＣＨ３、及びＣＨ４に関連するワードＷＤ１を規定する。テキストブロックＢＬ１内の他のワードＷＤは、ワード情報２２２において類似の方式で規定される。

【0114】

この実施例では依然として、ライン情報２２４は、
原点座標（ｘ１，ｙ１）、傾斜情報（ａ１）、及び高さ情報（ｈ１）を示すテキストラインＬＮ１と、
原点座標（ｘ２，ｙ２）、傾斜情報（ａ２）、及び高さ情報（ｈ２）を示すテキストラインＬＮ２と、
などのラインを規定する。

【0115】

テキストブロックＢＬ１の他のテキストラインＬＮ３、ＬＮ４、及びＬＮ５は、ライン情報２２４において類似の方式で規定される。

【0116】

しかし、モデルデータＤＴは、図９に示す方式とは別の方式で系統立てられる場合があることを理解されたい。

【0117】

記憶ステップＳ１４では、コンピュータデバイス１００は、Ｓ１２で生成されたモデルデータＤＴをメモリ１０８内に記憶する。

【0118】

図１０に示すように、正規化ステップＳ１６では、コンピュータデバイス１００は、テキストブロックＢＬ１の各手書きテキストラインＬＮを、前述したように、フリーハンドライティングフォーマットＦＴ１から構造化されたハンドライティングフォーマットＦＴ２に正規化する。この正規化は、特定の実施例で以下に記載するように、ライン毎の基準で実施される。この正規化は、コンピュータデバイス１００が、手書きテキストのテキストブロックＢＬ１を、制約のない環境（フリーハンドライティングモードＦＴ１）から、フォーマットされているか構造化された環境（構造化されたハンドライティングフォーマットＦＴ２）に変換することを可能にし、それにより、前述の手書きテキストを、ドキュメントパターン２００に従って、より統計立てられ（すなわち、正規化され）、かつ効率的な方式で配置し、後に表示することができるようになっている。

【0119】

図１０の実施例では、正規化Ｓ１６の結果が、コンピュータデバイス１００によってディスプレイデバイス１０２上に表示されている。見ることができるように、手書きテキストのテキストラインＬＮ１からＬＮ５は、ドキュメントパターン２００によって規定された構造化されたフォーマットＦＴ２に従って、位置、サイズ、及び向きの一様にされた構成に正規化される。たとえば、テキストラインＬＮ２及びＬＮ４は、ドキュメントパターン２００（より具体的には、ラインパターン）によって課されるライン間距離ｄ１に従うようにダウンサイズされる。手書きテキストのすべてのテキストラインＬＮは、ガイドライン２０２に従って整列及び配置される。すでに示したように、正規化の様々な他の形態が、本発明の中で予期される。

【0120】

この正規化Ｓ１６は、テキストブロックＢＬ１の各テキストラインＬＮを、これらが構造化されたハンドライティングフォーマットＦＴ２に従って再配置されるように変換すること（Ｓ２０）によって達成される。以下にさらに記載するように、これら変換は、それぞれの変換関数ＴＦを手書きテキストの各テキストラインＬＮ（すなわち、各テキストラインＬＮのストロークＳＴ）に適用することによって実施される。

【0121】

すでに示したように、正規化を経る各テキストラインＬＮは、手書きテキストのテキストラインである。いくつかの変換がこの手書きテキストラインに、正規化プロセスＳ１６の一部として適用されるが、これらテキストラインＬＮは、正規化されると（すなわち、正規化されたテキストライン）、依然として手書きテキストラインである。すなわち、テキストラインとして、しかし正規化された方式で（たとえば、入力ストロークによって形成された手書きを構成しない活字に組み上がったコンテンツとは反対に）配置される手書きである。以下にさらに記載するように、手書きテキストの各テキストラインＬＮのストロークＳＴは、対応する手書きテキストラインを正規化された手書きテキストラインに変える変換を規定する変換関数ＴＦの影響を受ける。

【0122】

さらに、手書きテキストラインＬＮを示すモデルデータＤＴは、正規化Ｓ１６の間にテキストラインＬＮに適用される同じ変換（変換関数によって規定される）に基づき、コンピュータデバイス１００によってアップデートされる（Ｓ２２）。

【0123】

より明確には、正規化ステップＳ１６（図５）の間、コンピュータデバイス１００は、テキストブロックＢＬ１の各テキストラインＬＮに関するステップＳ１８、Ｓ２０、及びＳ２２を含む同じ反復を実施する。明確化のために、この反復Ｓ１８からＳ２２は、第１のテキストラインＬＮ１のみに関して以下に詳細に記載される。ステップＳ１８からＳ２２は、テキストブロックＢＬ１の各テキストラインＬＮに関し、類似の方式で適用される場合がある。

【0124】

判定ステップＳ１８の間、コンピュータデバイス１００は、ドキュメントパターン２００に従うように、それぞれの変換関数ＴＦを計算（または判定）して、手書きテキストのテキストラインＬＮ１を構造化されたハンドライティングフォーマットＦＴ２に変換する。特定の実施例では、コンピュータデバイス１００は、Ｓ１８において、テキストラインＬＮ１のライン情報２２４、すなわち、手書きテキストのテキストラインＬＮ１の原点座標（ｘ１，ｙ１）、傾斜情報（ａ１）、及び高さ情報（ｈ１）を含む入力パラメータを取得する。コンピュータデバイス１００は、次いで、手書きテキストの取得された入力パラメータに基づき、かつ、ドキュメントパターン２００に基づき（たとえば、構造化されたフォーマットＦＴ２で適用可能なドキュメントパターン２００のラインパターンを考慮する）、テキストラインＬＮ１に関する変換関数ＴＦを判定する（Ｓ１８）。具体的には、コンピュータデバイス１００は、テキストラインＬＮ１の手書きテキストが、ドキュメントパターン２００の第１のベースライン２０２に移動し、この第１のベースラインに応じて向けられ、また、ドキュメントパターン２００のライン間に応じて拡縮されるように、変換関数ＴＦを判定する場合がある。たとえば、テキストラインＬＮ１の原点は、第１のベースライン２０２の所定の位置に移動される。

【0125】

図１１に示すように、それぞれのテキストラインＬＮに関してコンピュータデバイス１００によって計算された各変換関数ＴＦは、正規化ステップＳ１６の間、手書きテキストの前述のテキストラインＬＮ（そしてひいては、このテキストラインＬＮを形成するストロークＳＴ）に適用されるように、
平行移動成分ＣＰ１と、
拡縮成分ＣＰ２と、
回転成分ＣＰ３と、
の少なくとも１つの変換成分を規定する場合がある。

【0126】

本ケースでは、各変換関数ＴＦがこれら３つの構成要素ＣＰ１、ＣＰ２、及びＣＰ３を含むことが考慮されるが、他の実施態様が可能である。

【0127】

平行移動成分ＣＰ１は、それぞれのテキストラインＬＮの平行移動を規定する場合がある。拡縮成分ＣＰ２は、それぞれのテキストラインの拡縮操作を規定する場合がある。最後に、回転成分ＣＰ３は、それぞれのテキストラインＬＮの回転を規定する場合がある。

【0128】

特定の実施例では、正規化ステップＳ１６の間、変換関数ＴＦの平行移動成分ＣＰ１は、このテキストラインの原点が、正規化ステップＳ１６の間に、前述のテキストラインにアサインされた対応するベースライン２０２と整列するように移動されるように、テキストライン（たとえば、ＬＮ１）の平行移動を実施するように判定される。

【0129】

特定の実施例では、正規化ステップＳ１６の間、変換関数ＴＦの拡縮成分ＣＰ２は、それぞれのテキストライン（たとえば、ＬＮ１）に関し、ドキュメントパターン２００のラインパターンの２つの連続したベースライン２０２間の距離ｄ１の、テキストラインの高さ（たとえば、ｈ１）に対する割合に基づいて判定される。

【0130】

特定の実施例では、正規化ステップＳ１６の間、回転成分ＣＰ３は、それぞれのテキストライン（たとえば、ＬＮ３）を回転させて、それぞれのテキストラインの傾斜（たとえば、ａ１）（たとえば、ドキュメントパターン２００のベースライン２０２を基準として取る）を、ドキュメントパターン２００に従ってゼロに低減するように判定される。

【0131】

実施例として、変換関数ＴＦは、正規化の間にテキストラインＬＮに適用される回転を規定する場合がある。傾斜したラインＬＮに適用される回転は、傾斜（ａ）とは反対側の角度の回転である場合がある。テキストラインＬＮの所与の傾斜（ａ）に関し、変換ＴＦの回転成分ＣＰ３は、このため、（－ａ）の回転である場合がある。変換関数ＴＦが回転を含む場合、この変換関数ＴＦは、影響を受けるストローク（複数可）またはストロークの部分の各ポイントの、テキストラインＬＮの原点周りの回転を生じる場合がある。以下にさらに説明するように、ライン情報２２４は、したがって、（ラインの傾斜（ａ）をゼロ：ａ＝０に設定することにより）アップデートされる場合もある。

【0132】

テキストラインＬＮの回転が、構造化されたフォーマットＦＴ２に変換することが常に必要であるわけではないことに留意されたい。すなわち、テキストラインＬＮがすでに適切な向きにある場合（たとえば、テキストラインＬＮが、ドキュメントパターン２００のそれぞれのベースライン２０２の方向に実質的に沿って、フリーハンドライティングフォーマットＦＴ１で手書きされた場合）である。そのようなケースでは、回転成分ＣＰ３は、ＣＰ３＝０になるように設定することができる。

【0133】

同様に、いくつかのケースでは、構成要素ＣＰ１及び／またはＣＰ２は、それぞれ、平行移動及び／または拡縮がそれぞれのテキストラインＬＮを構造化されたフォーマットＦＴ２に変換するために必要ではない場合、ゼロに設定される場合がある。

【0134】

特定の実施例では、コンピュータデバイス１００は、Ｓ１８において、構成要素ＣＰ１、ＣＰ２、及びＣＰ３の少なくとも１つがゼロとは異なるように、テキストラインＬＮ１に関する変換関数ＴＦを判定する。図１１に示す実施例では、変換関数ＴＦは、「Ｔｈｉｓ ｅｘａｍｐｌｅ ｓｈｏｗｓ」を手書きとして読み取るテキストラインＬＮ１が、平行移動成分ＣＰ１に従ってディスプレイデバイス１０２上で移動され（平行移動）、拡縮成分ＣＰ２に従って拡縮され（ダウンサイズされ）、また、回転成分ＣＰ３に従ってある角度だけ回転されるように、計算される。

【0135】

変換ステップＳ２０では、コンピュータデバイス１００は、テキストラインＬＮ１の各ストロークＳＴを構造化されたハンドライティングフォーマットＦＴ１に変換するように、それぞれの変換関数ＴＦを適用する。本実施例では、コンピュータデバイス１００は、こうして、図１１に関してすでに上述したように、平行移動成分ＣＰ１に従ってテキストラインＬＮ１を移動（平行移動）し、拡縮成分ＣＰ２に従ってテキストラインＬＮ１を拡縮し、回転成分ＣＰ３に従ってテキストラインＬＮ１を回転させる。「Ｔｈｉｓ ｅｘａｍｐｌｅ ｓｈｏｗｓ」とのフレーズは、図１１に示すように正規化されると、依然として（ストロークによって形成された）手書きを構成するが、正規化された方式で構造的に統計立てられている。

【0136】

アップデートステップＳ２２では、コンピュータデバイス１００は、テキストラインＬＮ１に関してＳ１８において判定されたそれぞれの変換関数ＴＦに基づき、テキストブロックＢＬ１のモデルデータＤＴをアップデートもする。より具体的には、コンピュータデバイス１００は、Ｓ１８で計算されたそれぞれの変換関数ＴＦに従って、テキストラインＬＮ１に関するモデルデータＤＴの一部をアップデートする。

【0137】

本実施例では、アップデートステップＳ２２の間、コンピュータデバイス１００は、Ｓ１８において判定されたそれぞれの変換関数ＴＦに基づき、テキストラインＬＮ１に関連するモデルデータＤＴのライン情報２２４をアップデートする。結果として、原点座標（ｘ１，ｙ１）、傾斜情報（ａ１）、及び高さ情報（ｈ１）は、それぞれ、構成要素ＣＰ１、ＣＰ３、及びＣＰ２に従ってアップデートされる。

【0138】

上で示したように、ステップＳ１８、Ｓ２０、及びＳ２２は、ライン抽出ステップＳ１０で検出された各テキストラインＬＮに関し、類似の方式で実施される。結果として、テキストブロックＢＬ１は、このテキストブロックＢＬ１が構造化されたフォーマットＦＴ２に変換され（Ｓ２０）、関連するモデルデータをそれに応じてアップデートさせる（Ｓ２２）ように、正規化を経る（Ｓ１６）。この正規化は、各テキストラインＬＮが専用の変換関数ＴＦに基づいて正規化され、各テキストラインＬＮに関するモデルデータがこの専用の変換関数ＴＦに基づいてアップデートされる意味で、ライン毎の基準で実施される。

【0139】

アップデートステップＳ２２は、変換ステップＳ２０の前か後に実施される場合がある。より一般的には、ステップＳ１８からＳ２２のシーケンスが異なるテキストラインＬＮに関して実施される順番は、当業者によって適合させられる場合がある。

【0140】

図５に示すように、コンピュータデバイスは、アップデートされたモデルデータＤＴをメモリ８（図２）に記憶する場合がある（Ｓ２４）。この記憶ステップは、アップデートＳ２２がテキストブロックＢＬ１の各テキストラインＬＮに関して実施される間、継続的に実施される場合がある。本実施例では、テキストブロックＢＬ１のアップデートされたモデルデータＤＴは、Ｓ１４で記憶されたオリジナルのモデルデータＤＴの代わりにＳ２４で記憶される。

【0141】

さらに、コンピュータデバイス１００は、図１０に示すように、正規化されたテキストブロックＢＬ１を表示する（Ｓ２６）場合がある。正規化されると、テキストブロックＢＬ１は、前述のように、ドキュメントパターン２００に従う（マッチする）ように、構造化されたフォーマットＦＴ２に従って配置される。

【0142】

各テキストラインＬＮのベースライン２０２は、対応するライン情報２２４において規定された原点及び傾斜を使用して、コンピュータデバイス１００によって描写される場合がある。さらに、各テキストラインＬＮの高さの値は、ディスプレイデバイス１０２上のハイライトされた矩形（または類似のもの）を使用して示される場合がある。各テキストラインＬＮの原点は、テキストラインが正規化の間に拡縮される場合にアンカーポイントとして使用される場合がある。

【0143】

フリーハンドライティングフォーマットから構造化された状況またはフォーマット（ＦＴ２など）への、テキストブロックＢＬ１のテキストの正規化Ｓ１６は、インクの相互作用性によって提供される全体の経験を向上させる。正規化は、より一様かつ構造化された方式で手書きテキスト入力を配置及び表示することを可能にするのみならず、正規化は、以下に説明するように、テキスト認識システムの信頼性及び編集効率を向上させることを可能にもする。

【0144】

本発明は、相互作用性インクを形成するように、デジタルインクをモデルデータで構造的にすることを可能にする。前に示したように、モデルデータＤＴは、各ストロークＳＴを特有の文字ＣＨにリンクさせ、各文字ＣＨを特有のワードＷＤにリンクさせ、また、各ワードＷＤを特有のテキストラインＬＮにリンクさせる相互参照を規定し、それにより、インクの相互作用性を可能にする。たとえば、テキストブロック内のワードを消去することは、ドキュメントモデルに従ってこのワードによって参照されたすべての文字を消去することをも含んでいる。別の実施例として、所与のラインＬＮのすべてのコンテンツを消去することは、このラインをモデルデータから消去するのみならず、コンピュータデバイス１００に、このラインの構成要素であるワードＷＤ及び文字ＣＨのすべてを消去させもする。前述のようなライン毎の正規化プロセスを可能にするのは、モデルデータＤＴによって規定されたこれら相関関係である。

【0145】

本発明のおかげで、入力された手書きテキストを示す関連するモデルデータを最新のものに維持し、それにより、正規化プロセスの間に実施される変換に応じてさらなるテキスト認識を実施する必要がないようになしつつ、手書きテキスト入力を正規化することができる。換言すると、正規化プロセスの一部として、コンピュータデバイス１００は、モデルデータにおいて規定されたような手書きテキスト入力ＩＮのストロークＳＴと、文字ＣＨと、ワードＷＤと、テキストラインＬＮとの間の相関関係をアップデートし、それにより、正規化されたテキストブロックＢＬ１にテキスト認識をふたたび実施することが不要であるようになっている。正規化されたテキストブロックＢＬ１は、別様に、Ｓ８で実施された最初のテキスト認識の結果と矛盾する場合がある。

【0146】

一般的に言えば、既知のコンピュータデバイスにおけるテキスト認識エンジンは、通常、手書きテキスト上で起こるあらゆるインクの変更または編集（たとえば、ストロークの消去または編集）を監視するように構成されている。したがって、そのような既知のコンピュータデバイス上でテキストの正規化が行われた場合、このことは、テキスト認識エンジンに、正規化の間、構造化されたフォーマットに一度変換された手書きテキスト入力内の可能性のある新たなコンテンツを認識することを試みるように、ふたたび実行させる。換言すると、既知のシステム内のデジタルインクの正規化は、以前の認識の結果を廃棄し、新たな認識の結果を得るためにインク全体を再処理することに繋がる。そのような応答するテキスト認識機構は、インクの変更が、たとえば、フリーハンドライティングモードにおいてユーザの編集のいくつかの形態から生じる場合に有用である場合があるが、コンピュータデバイス１００が、フリーハンドライティングフォーマットＦＴ１から構造化されたフォーマットＦＴ２へのテキストブロックＢＬ１の正規化Ｓ１６に応じて新たなテキスト認識を実施するには、実際には非生産的である。正規化Ｓ１６に応じた任意のさらなるテキスト認識は、フリーハンドライティングモードＦＴ１で手書きテキスト入力ＩＮに実施された最初のテキスト認識Ｓ８を汚す、または矛盾するリスクがある。さらに、そのようなさらなるテキスト認識プロセスを実施することは、時間及びリソースを必要とする。正規化の間にデジタルインクに適用される変換関数ＴＦに応じてモデルデータＤＴをアップデートすることは、時間及びリソースを節約しつつ、デジタルインク、及び関連するデータを、一定かつ一貫した状態のままにすることを可能にする。

【0147】

テキストブロックＢＬ１に実施される正規化Ｓ１６に応じた新たなテキスト認識を引き起こす代わりに、本発明のコンピュータデバイス１００は、正規化の間にテキストラインＬＮに適用される変換関数ＴＦに応じてテキストブロックＢＬ１のモデルデータＤＴをアップデートするように構成されている。

【0148】

本発明の正規化プロセスのポイントは、所与の最初の認識の結果（すなわち、最初のテキスト認識Ｓ８の結果）に関するデジタルインクを操作することである。このため、コンピュータデバイス１００は、テキストブロックＢＬ１のデジタルインクを構造化されたフォーマットＦＴ２に変換し、それに応じてドキュメントモデルをアップデートする場合があり、それにより、フリーハンドライティングモードで取得された最初のテキスト認識Ｓ８の結果が疑われないようになっている。

【0149】

特定の実施形態では、正規化ステップＳ１６の間に、各テキストラインＬＮのモデルデータＤＴが、Ｓ１８で取得されたそれぞれの変換関数ＴＦに従ってアップデートされ、一方、それぞれの変換関数ＴＦの適用から生じるあらゆるテキスト認識をブロックする。結果として、コンピュータデバイス１００は、ステップＳ１６においてテキストブロックＢＬ１に実施された正規化に応じて、あらゆる新たなテキスト認識を抑制する。このため、認識されたテキストは、デジタルインクが正規化の間に変換される場合であっても、安定したままであり、それにより、認識システム全体の信頼性及び効率を向上させる。

【0150】

しかし、（図１０に示すように）テキストブロックＢＬ１が構造化されたフォーマットＦＴ２に正規化されると、新たなテキスト認識が、編集のあらゆる次の形態、または正規化されたテキストブロックＢＬ１で後に実施されるインクの変更を反映するように引き起こされる場合があることを理解されたい。たとえば、ユーザが、（たとえば、ストローク、または、ワードＷＤもしくは文字ＣＨのストロークの部分を消去すること、またはこれを修正することにより）構造化されたモードＦＴ２で第１のテキストラインＬＮ１を編集することを決める場合、コンピュータデバイス１００は、最初のテキスト認識Ｓ８の結果とは異なる場合があるテキストを認識するように、新たなテキスト認識を実施する場合がある。

【0151】

したがって、コンピュータデバイス１００は、好ましくは、正規化ステップＳ１６の後に実施される編集操作に応じて、新たなテキスト認識を引き起こす。そのようなケースでは、テキスト認識機能は、コンピュータデバイス１００においては恒久的にブロックされないが、代わりに、構造化されたフォーマットＦＴ２においてテキストブロックＢＬ１が後に編集されるケースにおいて、新たなコンテンツを認識することを可能にするために、正規化Ｓ１６が完了すると、アクティブなままに維持される。手書きテキストは、このため、任意の形態の編集など（たとえば、テキストのリフローなど）、さらなる操作及び相互作用に関する正規化の後に、コンピュータデバイス１００によってより確実かつ容易に処理される場合がある。

【0152】

さらに、本発明は、ユーザが、フリーハンドライティングモードで手書きテキストを入力することを可能にする。本来、ライン、サイズ、向きの制約（ガイドライン、余白などを含む）は、フリーハンドライティングモードではユーザに課されず、それにより、手書きの様々な複雑な形態が入力される場合があるようになっている。前に記載したように、手書きテキスト入力を構造化されたハンドライティングフォーマットに正規化することにより、手書きテキスト上でコンピュータデバイス１００によって編集機能を実施すること（修正、拡縮など）が促進され得る。正規化は、たとえば、コンピュータデバイスによって受領される、ユーザが開始するコマンドから生じるか、コンピュータデバイスによって検出される任意の所定の事象から生じる場合がある。フリーハンドライティングモードが最初に使用されている場合であっても、ユーザは、より構造化され、向上された方式で手書き入力を編集及び操作する場合があり、それにより、ユーザの経験を向上させる。

【0153】

たとえば図１２に示すように、正規化Ｓ１６が完了すると、コンピュータデバイス１００は、編集ステップＳ２８の間に編集操作を実施する場合がある。本実施例では、正規化されたテキストブロックＢＬ１に対し、水平方向にテキストリフローが実施される（垂直なテキストリフローも可能である）。結果として、構造化されたフォーマットＦＴ２におけるテキストブロックＢＬ１の異なるデジタルインクのストロークの相対位置が再配置される。そのような編集操作は、任意の適切なユーザのコマンド（たとえば、入力表面１０４上でのユーザのジェスチャ）に応じて、ユーザによって引き起こされるか、所定の事象が検出された際にコンピュータデバイス１００自体によって引き起こされる場合がある。

【0154】

いくつかの代替的実施態様では、ブロックに書き込まれた機能は、図に書かれた順番とは異なって生じる場合があることに留意されたい。たとえば、関連する機能に応じて、連続して示される２つのブロックは、実際は、実質的に同時に実行される場合があり、または、各ブロックは、ときには逆の順番で実行される場合があり、または、各ブロックは、代替的な順番で実行される場合がある。

【0155】

本発明が、特定の実施形態において記載されてきたが、当業者の能力の中で、添付の特許請求の範囲の範囲に応じて、多くの変更形態及び実施形態を受け入れることができることが明らかである。具体的には、当業者は、添付の特許請求の範囲の範囲内にある、この文献に記載の様々な実施形態の任意及びすべての組合せ及び変形形態を予期する場合がある。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】