知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-14
(45)【発行日】2022-07-25
(54)【発明の名称】デジタルインク対話性のためのシステムおよび方法
(51)【国際特許分類】
G06V 30/19 20220101AFI20220715BHJP
G06V 30/12 20220101ALI20220715BHJP
G06F 3/04883 20220101ALI20220715BHJP
【ＦＩ】
G06V30/19 G
G06V30/12 J
G06F3/04883
【請求項の数】
18
(21)【出願番号】P 2018535865
(86)(22)【出願日】2017-01-09
(65)【公表番号】
(43)【公表日】2019-04-18
(86)【国際出願番号】 EP2017000020
(87)【国際公開番号】W WO2017118609
(87)【国際公開日】2017-07-13
【審査請求日】2020-01-09
(31)【優先権主張番号】16290002.1
(32)【優先日】2016-01-07
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】15/083,195
(32)【優先日】2016-03-28
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】515295429
【氏名又は名称】マイスクリプト
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ジャン－ニコラス ギアヴァーシュ
(72)【発明者】
【氏名】ステファヌ ギイタン
(72)【発明者】
【氏名】ギルダス ルマリエ
(72)【発明者】
【氏名】アラン シャテネール
【審査官】新井 則和
(56)【参考文献】
【文献】特開２００３－１７８２５７（ＪＰ，Ａ）
【文献】特開２０１４－２１９９００（ＪＰ，Ａ）
【文献】特開平０４－３３６６８８（ＪＰ，Ａ）
【文献】特開２００５－１６６０６０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ ３０／００－３０／４２４
Ｇ０６Ｆ ３／０４８８３
(57)【特許請求の範囲】
【請求項1】
コンピューティングデバイスに対話型インクを供給するためのシステムであって、前記コンピューティングデバイスは、プロセッサ、メモリ、および前記プロセッサの制御の下に手書き入力を認識するための少なくとも１つの非一時的なコンピューター読み取り可能な媒体を備え、前記プロセッサは、前記コンピューティングデバイスのディスプレイインターフェース上に、第１の手書き入力に従って第１のデジタルインクを表示させ、
前記第１のデジタルインクのデジタルインク要素に参照を割り当て、前記第１の デジタルインクの前記デジタルインク要素は、ストロークであり、前記ストロークの各々は、ストローク開始位置、ストローク終了位置、および前記ストローク開始位置と前記ストローク終了位置とを結ぶパスによって特性化され、前記参照は、ｉ）時間的順序および／または空間的順序において前記ストロークをインデックス付けすることによる前記第１のデジタルインクの前記デジタルインク要素に対する第１のインデクセーションと、ｉｉ）いくつかのストロークセグメントに前記第１のインデクセーションによってインデックス付けされた各ストロークをセグメント化することおよび各ストロークセグメントをインデックス付けすることによる前記第１のデジタルインクの前記デジタルインク要素に対する第２のインデクセーションとをもたらし、
認識された要素に前記ストロークをセグメント化することによって前記第１のデジタルインクを認識した後、インクオブジェクトを供給するために、前記第１のデジタルインクの前記デジタルインク要素の対応する前記参照の上に、前記第１の手書き入力の対応する認識された要素に複数の少なくとも空間的な参照をマップし、前記認識された要素は、キャラクタおよびワードであり 、
前記コンピューティングデバイスの前記メモリに、前記複数のセグメンテーションの各々と、対応するマップされた前記認識された要素の各々とに基づいて順序付けられる前記インクオブジェクトを決定し記憶する
ように構成されることを特徴とするシステム。
【請求項2】
前記デジタルインク要素は、前記第１のデジタルインクに関するストロークのうちの少なくとも一部であることを特徴とする請求項１に記載のシステム。
【請求項3】
前記認識された要素は、前記第１の手書き入力に関するストロークのうちの少なくとも一部を含むことを特徴とする請求項１に記載のシステム。
【請求項4】
前記認識された要素は、前記第１の手書き入力の認識候補であることを特徴とする請求項３に記載のシステム。
【請求項5】
前記プロセッサは、前記インクオブジェクトを参照することによって第２の手書き入力のコンテンツを決定し、
前記ディスプレイインターフェース上に、前記第２の手書き入力の前記決定されたコンテンツに従って第２のデジタルインクを表示させる
ようにさらに構成されることを特徴とする請求項１に記載のシステム。
【請求項6】
前記第２のデジタルインクは、前記第１のデジタルインクのうちの少なくとも一部の編集されたバージョンであることを特徴とする請求項５に記載のシステム。
【請求項7】
コンピューティングデバイスに対話型インクを供給するための方法であって、前記コンピューティングデバイスは、プロセッサ、メモリ、および前記プロセッサの制御の下に手書き入力を認識するための少なくとも１つの非一時的なコンピューター読み取り可能な媒体を備え、前記コンピューティングデバイスのディスプレイインターフェース上に、第１の手書き入力に従って第１のデジタルインクを表示するステップと、
前記第１のデジタルインクのデジタルインク要素に参照を割り当てるステップであって、前記第１のデジタルインクの前記デジタルインク要素は、ストロークであり、前記ストロークの各々は、ストローク開始位置、ストローク終了位置、および前記ストローク開始位置と前記ストローク終了位置とを結ぶパスによって特性化され、前記参照は、ｉ）時間的順序および／または空間的順序において前記ストロークをインデックス付けすることによる前記第１のデジタルインクの前記デジタルインク要素に対する第１のインデクセーションと、ｉｉ）いくつかのストロークセグメントに前記第１のインデクセーションによってインデックス付けされた各ストロークをセグメント化することおよび各ストロークセグメントをインデックス付けすることによる前記第１のデジタルインクの前記デジタルインク要素に対する第２のインデクセーションとをもたらす、ステップと、
認識された要素に前記ストロークをセグメント化することによって前記第１のデジタルインクを認識した後、インクオブジェクトを供給するために、前記第１のデジタルインクの前記デジタルインク要素の対応する前記参照の上に、前記第１の手書き入力の対応する認識された要素に複数の少なくとも空間的な参照をマップするステップであって、前記認識された要素は、キャラクタおよびワードである、ステップ と、
前記コンピューティングデバイスの前記メモリに、前記複数のセグメンテーションの各々と、対応するマップされた前記認識された要素の各々とに基づいて順序付けられる前記インクオブジェクトを決定し記憶するステップと
を備えることを特徴とする方法。
【請求項8】
前記デジタルインク要素は、前記第１のデジタルインクに関するストロークのうちの少なくとも一部であることを特徴とする請求項７に記載の方法。
【請求項9】
前記認識された要素は、前記第１の手書き入力に関するストロークのうちの少なくとも一部を含むことを特徴とする請求項７に記載の方法。
【請求項10】
前記認識された要素は、前記第１の手書き入力の認識候補であることを特徴とする請求項９に記載の方法。
【請求項11】
前記インクオブジェクトを参照することによって第２の手書き入力のコンテンツを決定するステップと、前記ディスプレイインターフェース上に、前記第２の手書き入力の前記決定されたコンテンツに従って第２のデジタルインクを表示させるステップと
をさらに備えることを特徴とする請求項７に記載の方法。
【請求項12】
前記第２のデジタルインクは、前記第１のデジタルインクのうちの少なくとも一部の編集されたバージョンであることを特徴とする請求項１１に記載の方法。
【請求項13】
具現されたコンピューター読み取り可能なプログラムコードを有する非一時的なコンピューター読み取り可能な媒体であって、前記コンピューター読み取り可能なプログラムコードは、コンピューティングデバイスに対話型インクを供給するための方法を実装するために実行されるように適合され、前記コンピューティングデバイスは、プロセッサ、メモリ、および前記プロセッサの制御の下に手書き入力を認識するための少なくとも１つの非一時的なコンピューター読み取り可能な媒体を備え、前記方法は、前記コンピューティングデバイスのディスプレイインターフェース上に、第１の手書き入力に従って第１のデジタルインクを表示するステップと、
前記第１のデジタルインクのデジタルインク要素に参照を割り当てるステップであって、前記第１のデジタルインクの前記デジタルインク要素は、ストロークであり、前記ストロークの各々は、ストローク開始位置、ストローク終了位置、および前記ストローク開始位置と前記ストローク終了位置とを結ぶパスによって特性化され、前記参照は、ｉ）時間的順序および／または空間的順序において前記ストロークをインデックス付けすることによる前記第１のデジタルインクの前記デジタルインク要素に対する第１のインデクセーションと、ｉｉ）いくつかのストロークセグメントに前記第１のインデクセーションによってインデックス付けされた各ストロークをセグメント化することおよび各ストロークセグメントをインデックス付けすることによる前記第１のデジタルインクの前記デジタルインク要素に対する第２のインデクセーションとをもたらす、ステップと、
認識された要素に前記ストロークをセグメント化することによって前記第１のデジタルインクを認識した後、インクオブジェクトを供給するために、前記第１のデジタルインクの前記デジタルインク要素の対応する前記参照の上に、前記第１の手書き入力の対応する認識された要素に複数の少なくとも空間的な参照をマップするステップであって、前記認識された要素は、キャラクタおよびワードである、ステップ と、
前記コンピューティングデバイスの前記メモリに、前記複数のセグメンテーションの各々と、対応するマップされた前記認識された要素の各々とに基づいて順序付けられる前記インクオブジェクトを決定し記憶するステップと
を備えることを特徴とする非一時的なコンピューター読み取り可能な媒体。
【請求項14】
前記デジタルインク要素は、前記第１のデジタルインクに関するストロークのうちの少なくとも一部であることを特徴とする請求項１３に記載の非一時的なコンピューター読み取り可能な媒体。
【請求項15】
前記認識された要素は、前記第１の手書き入力に関するストロークのうちの少なくとも一部を含むことを特徴とする請求項１３に記載の非一時的なコンピューター読み取り可能な媒体。
【請求項16】
前記認識された要素は、前記第１の手書き入力の認識候補であることを特徴とする請求項１５に記載の非一時的なコンピューター読み取り可能な媒体。
【請求項17】
前記方法は、前記インクオブジェクトを参照することによって第２の手書き入力のコンテンツを決定するステップと、
前記ディスプレイインターフェース上に、前記第２の手書き入力の前記決定されたコンテンツに従って第２のデジタルインクを表示させるステップと
をさらに備えることを特徴とする請求項１３に記載の非一時的なコンピューター読み取り可能な媒体。
【請求項18】
前記第２のデジタルインクは、前記第１のデジタルインクのうちの少なくとも一部の編集されたバージョンであることを特徴とする請求項１７に記載の非一時的なコンピューター読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本記述は、一般にコンピューティングデバイスを用いたインク管理システムおよび方法の分野に関する。本記述は、より具体的にはインクの対話性をもたらすために、コンピューティングデバイスインターフェースに手書きされたインクを管理することに関する。
【背景技術】
【0002】
関連出願の相互参照
本出願は、参照によりその内容全体が本明細書に組み込まれている、２０１６年１月７日に出願した欧州特許出願公開第１６２９０００２．１号の優先権を主張するものである。
本出願は、参照によりその内容全体が本明細書に組み込まれている、２０１６年１月７日に出願した欧州特許出願公開第１６２９０００２．１号の優先権を主張するものである。
【0003】
コンピューティングデバイスは日常生活に、より普遍的になり続けている。それらは、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、ハイブリッドコンピュータ（２－ｉｎ－１）、電子ブックリーダ、携帯電話、スマートフォン、ウェアラブルコンピュータ（スマートウオッチ、スマートグラス／ヘッドセットを含む）、全地球測位システム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、携帯情報端末（ＰＤＡ）、ゲーム機などの形をとる。さらにコンピューティングデバイスは、自動車、トラック、農機具、製造装置、建物環境制御（例えば照明、ＨＶＡＣ）、ならびに家庭用および商用電気製品などの、車両および機器に組み込まれつつある。
【0004】
コンピューティングデバイスは一般に、中央処理装置（ＣＰＵ）などの少なくとも１つの処理要素、何らかの形のメモリ、ならびに入力および出力デバイスからなる。多様なコンピューティングデバイスおよびそれに続くそれらの使用は、多様なインターフェースおよび入力デバイスを必要とする。１つのこのような入力デバイスは、タッチスクリーンまたはタッチパッドなどのタッチセンシティブ面であり、ユーザ入力はユーザの指、またはペンもしくはスタイラスなどの道具と、タッチセンシティブ面との間の接触を通して受け取られる。他の入力デバイスは、入力面の上でユーザによってなされるジェスチャを感知する入力面である。他の入力デバイスはタッチまたは、非タッチ物理もしくは仮想面との非タッチ対話の相対位置を検出する位置検出システムである。これらの入力の方法のいずれも、一般に描画またはテキストの入力のために用いられることができる。ユーザの手書きは、手書き文字認識システムまたは方法を用いて解釈される。
【0005】
ノートをとること、文書注釈、数式入力および計算、音楽記号入力、スケッチおよび描画などにおいて、スマートフォン、ファブレットおよびタブレットなどのポータブルコンピューティングデバイスで、手書き文字認識の多くのアプリケーションがある。手書きはまた、特にデスクトップコンピュータのためのタッチスクリーンモニタおよび対話型ホワイトボードの増大する利用可能性と共に、非ポータブルコンピューティングデバイスにも入力されることができる。これらのタイプの入力は通常ユーザが、デバイス内でローカルにまたはデバイスの通信リンクを通じてリモートに、タッチセンシティブ面上の手書きの入力を受け入れおよび解釈し、この入力をいわゆる「デジタルインク」として表示または他のやり方でレンダリングする、コンピューティングデバイス上の手書き入力アプリケーションを起動することによって行われる。従来このような手書き入力アプリケーションは、これらのアプリケーションは文書作成ではなく主として認識精度に焦点が当てられてきたので、ユーザにテキストおよび非テキスト（例えば描画、式）からの全部の文書作成エクスペリエンスをもたらすそれらの能力において限定される。すなわち利用可能なアプリケーションは、手書きの認識、およびユーザへの様々なフィードバック機構を用いた、フォント化されたまたは「タイプセットされたインク」としてレンダリングされた、認識された手書きからデジタルコンテンツへの変換をもたらすが、これは一般に入力に対して利用可能な対話の範囲である。
【0006】
ユーザが、コンテンツを編集する、コンテンツのレイアウトを操作する、または文書内でのノートまたは他の注釈の変換もしくは追加など、出力されたテキストとさらなる対話を望む場合、認識された手書きコンテンツは、一般に別の文書処理アプリケーションにインポートされるまたは他のやり方で統合される必要がある。これは例えば認識された手書きから、適切なフォーマットの適切なタイプセットされたインクへのタイプセッティングを通して自動的に、または手書きの冗長なタイピング入力を通して手動で行われることができる。後者の手動プロセスは本質的に非生産的であり、具体的には手書き文字認識の知覚される精度が低い、またはもとの手書きのレイアウトを保つためのアプリケーションの能力が信頼できないときに行われる。前者の自動プロセス自体は大きな問題を提起することはないが、もとの手書きのレイアウトおよび実際の入力された手書き自体、デジタルインクは通常、インポートプロセスにおいて廃棄されるので、ユーザはもとの意図を確かめるために、戻ってもとの手書きを参照しなければならない。例えばユーザは、注釈または装飾によってまたはコンテンツ自体のレイアウトを通して、いくつかのワードまた部分を強調している場合がある。
【0007】
いくつかの利用可能なデジタル手書きアプリケーションは、デジタルインクを編集する能力をもたらす。しかしこれは一般に、何らかの種類の制御を引き起こすための、例えばメニューを起動するまたはプロセスを実行するための特定のジェスチャの入力を通してなされる。本出願人は、手書きアプリケーションを用いるときユーザは一般に、自然または直感的ではない特定のジェスチャを学ぶこと、またはメニューなどを通して編集選択を行うことが、できないまたは望まないことを見出した。さらにデジタルインク編集をもたらすための特定の学んだ方法に対する必要条件は、すべてのユーザがデジタルインク対話のための必要な挙動を学ばなければならないので、このようなアプリケーションおよびより一般にデジタル手書きの有用性を制限する。
【0008】
従って例えば複数の当事者、具体的には企業組織内の異なる領域または専門分野からの当事者によって文書が作成され、編集され、修正され、レビューされるなどの共有または協働的使用において、異なる「チーム」メンバの、手書きを用いたデジタル文書と対話する能力は様々であり、その結果可能な生産性は限定される。例えば組織階層における上級管理職のメンバはデジタル手書きに対する経験が限られている場合があり、従って手書きを用いた文書と対話できない場合がある。同様な問題は、ハードウェアツール例えばキーボードおよびマウス、および／またはソフトウェアツール例えばユーザインターフェース（ＵＩ）ツールおよびメニューなどの、文書処理アプリケーションと共に通常用いられる非手書きツールに対しても生じる。
【0009】
さらにデジタル手書きを用いて作成されたコンテンツに対する編集または他の対話のために、特定のＵＩおよび／またはハードウェアツールを用いる必要性は、ユーザの創造的な流れに対して混乱を引き起こす場合がある。従ってコンテンツとの対話のやり方は、使用しやすく、直感的で、コンテンツの入力自体に混乱を起こさないものとするべきである。
【先行技術文献】
【特許文献】
【0010】
【文献】米国特許出願公開第２０１７／００６０８１９号明細書
【文献】米国特許出願公開第２０１７／００６０４０６号明細書
【文献】米国特許出願公開第２０１７／０１６１８６６号明細書
【文献】米国特許出願公開第２０１７／０１５３８０６号明細書
【発明の概要】
【課題を解決するための手段】
【0011】
本明細書において以下で述べられる本発明の例は、コンピューティングデバイス上に対話型インクをもたらすためのシステムおよび方法をもたらす。
【0012】
一例においてコンピューティングデバイスはプロセッサ、およびプロセッサの制御下で手書き入力を認識するための少なくとも１つの非一時的コンピュータ可読媒体を含むことができる。非一時的コンピュータ可読媒体は、コンピューティングデバイスのディスプレイインターフェース上に、第１の手書き入力に従って第１のデジタルインクを表示させ、第１のデジタルインクのインク要素に参照を割り当て、参照を、対応する第１の手書き入力の認識された要素にマップし、コンピューティングデバイスのメモリに、参照およびマップされた認識された要素を含んだインクオブジェクトを決定し記憶するように構成されることができる。
【0013】
インク要素は、第１のデジタルインクのストローク少なくとも一部とすることができ、認識された要素は、第１の手書き入力のストロークの少なくとも一部を含むことができる。さらに認識された要素は、第１の手書き入力の認識候補とすることができる。
【0014】
少なくとも１つの非一時的コンピュータ可読媒体は、インクオブジェクトを参照することによって第２の手書き入力のコンテンツを決定し、ディスプレイインターフェース上に、第２の手書き入力の決定されたコンテンツに従って第２のデジタルインクを表示させるようにさらに構成されることができる。第２のデジタルインクは、第１のデジタルインクの少なくとも一部の編集されたバージョンとすることができる。
【0015】
他の例において本発明は、コンピューティングデバイス上に対話型インクをもたらす方法を含む。各コンピューティングデバイスはプロセッサ、およびプロセッサの制御下で手書き入力を認識するための少なくとも１つの非一時的コンピュータ可読媒体を備えることができる。方法は、コンピューティングデバイスのディスプレイインターフェース上に、第１の手書き入力に従って第１のデジタルインクを表示するステップと、第１のデジタルインクのインク要素に参照を割り当てるステップと、参照を、対応する第１の手書き入力の認識された要素にマップするステップと、コンピューティングデバイスのメモリに、参照およびマップされた認識された要素を含んだインクオブジェクトを決定し記憶するステップとを含む。
【0016】
インク要素は、第１のデジタルインクのストローク少なくとも一部とすることができ、認識された要素は、第１の手書き入力のストロークの少なくとも一部を含むことができる。さらに認識された要素は、第１の手書き入力の認識候補とすることができる。
【0017】
方法は、インクオブジェクトを参照することによって第２の手書き入力のコンテンツを決定するステップと、ディスプレイインターフェース上に、第２の手書き入力の決定されたコンテンツに従って第２のデジタルインクを表示させるステップとをさらに含むことができる。第２のデジタルインクは、第１のデジタルインクの少なくとも一部の編集されたバージョンとすることができる。
【0018】
他の例において本発明は、その中に具体化されたコンピュータ可読プログラムコードを有する非一時的コンピュータ可読媒体を含む。コンピュータ可読プログラムコードは、コンピューティングデバイスに対話型インクをもたらす方法を実施するために実行されるように適合されることができる。コンピューティングデバイスはプロセッサ、およびプロセッサの制御下で手書き入力を認識するための少なくとも１つのシステム非一時的コンピュータ可読媒体を備えることができる。方法は、コンピューティングデバイスのディスプレイインターフェース上に、第１の手書き入力に従って第１のデジタルインクを表示するステップと、第１のデジタルインクのインク要素に参照を割り当てるステップと、参照を、対応する第１の手書き入力の認識された要素にマップするステップと、コンピューティングデバイスのメモリに、参照およびマップされた認識された要素を含んだインクオブジェクトを決定し記憶するステップとを含むことができる。
【0019】
インク要素は、第１のデジタルインクのストロークの少なくとも一部とすることができ、認識された要素は、第１の手書き入力のストロークの少なくとも一部を含むことができる。さらに認識された要素は、第１の手書き入力の認識候補とすることができる。
【0020】
方法は、インクオブジェクトを参照することによって第２の手書き入力のコンテンツを決定するステップと、ディスプレイインターフェース上に、第２の手書き入力の決定されたコンテンツに従って第２のデジタルインクを表示させるステップとをさらに含むことができる。第２のデジタルインクは、第１のデジタルインクの少なくとも一部の編集されたバージョンとすることができる。
【図面の簡単な説明】
【0021】
本システムおよび方法は、その例の以下の詳細な説明を図面と併せ読めば十分に理解されるであろう。図面において類似の参照番号は、類似の要素を示す。
【図1】本システムおよび方法の例によるコンピューティングデバイスのブロック図である。
【図2】本システムおよび方法の例による手書き文字認識のためのシステムのブロック図である。
【図4】コンピューティングデバイスの入力面の一部分上のインク入力エリアの、例示の視覚的レンダリングの概略図である。
【図5】デジタルインクとしてレンダリングされた、入力エリアに入力された例示の手書きのコンテンツを示す図である。
【図10】デジタルインクとしてレンダリングされた、入力エリアに入力された例示の手書きのコンテンツを示す図である。
【図11B】手書きの入力のデジタルインクから分離された参照セグメンテーションを示す図である。
【図13C】調整された例示のセグメンテーションの表示を有する、例示の調整された認識と共に、調整されたデジタルインクを示す図である。
【図14C】新たなデジタルインクとしてレンダリングされた、入力エリアに入力された新たな例示の手書きのコンテンツを有する、調整されたデジタルインクを示す図である。
【図14D】調整された例示のセグメンテーションの表示を有する、例示の調整された認識と共に、調整されたおよび新たなデジタルインクを示す図である。
【発明を実施するための形態】
【0022】
以下の詳しい説明において、関連のある教示の十分な理解をもたらすために、例として数多くの特定の詳細が記載される。しかし当業者には、本教示はこのような詳細なしに実施されることができることが明らかであろう。他の場合において本教示の態様が不必要に不明瞭になるのを避けるために、よく知られている方法、手順、構成要素、および／または回路は、詳細なしに比較的高いレベルで記述される。
【0023】
本記述において「テキスト」という用語の使用は、任意の書き言葉におけるすべての英数字およびその文字列、および一般的な非英数字、例えば書かれたテキスト内で用いられる記号を包含するものと理解される。さらに本記述における「非テキスト」という用語は、自由形式の手書きまたは手描きのコンテンツおよびレンダリングされたテキストおよび画像データ、ならびに非テキストの関連において用いられる非英数字およびその文字列、および英数字およびその文字列を包含するものと理解される。さらにこれらの図面に示される例は、左から右への書き言葉の関連におけるものであり、従って位置への任意の参照は、異なる方向性フォーマットを有する書き言葉に適応されることができる。
【0024】
本明細書で述べられる様々な技術は一般に、コンテンツの入力されたスタイルを保持し、同時にそのコンテンツの忠実なタイプセットまたは美化されたバージョンへの変換を可能にするやり方での、ポータブルおよび非ポータブルコンピューティングデバイス上の手描きおよび手書きのコンテンツの捕捉、処理、および管理に関する。本明細書で述べられるシステムおよび方法は、コンピューティングデバイスに接続されたまたはそれのタッチセンシティブスクリーンなどの入力面を通じて、またはコンピューティングデバイスに接続されたデジタルペンまたはマウスなどの入力デバイスを通じて、または位置検出システムによってモニタされる物理または仮想面を通じて、コンピューティングデバイスに入力されたユーザの自然な書き込みおよび描画スタイルの認識を利用することができる。様々な例が、いわゆるオンライン認識技法を用いた手書き入力の認識に関連して述べられるが、デジタルインクではなく画像が認識されるオフライン認識などの認識のための、他の入力の形への応用が可能であることが理解される。手描きおよび手書きという用語は、デジタルまたはデジタル的に接続された媒体上への直接の、またはハンドヘルドスタイラスなどの入力ツールを通じた、彼等の手の使用を通したユーザによるデジタルコンテンツの作成を定義するために、本明細書では同義的に用いられる。本明細書では「手」という用語は入力技法の簡潔な記述をもたらすために用いられるが、足、口、または目など、同様な入力のためのユーザの身体の他の部分の使用はこの定義に含まれる。
【0025】
図１は、例示のコンピューティングデバイス１００のブロック図を示す。コンピューティングデバイスは、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、ハイブリッドコンピュータ（２－ｉｎ－１）、電子ブックリーダ、携帯電話、スマートフォン、ウェアラブルコンピュータ、デジタル腕時計、対話型ホワイトボード、全地球測位システム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、携帯情報端末（ＰＤＡ）、ゲーム機などとすることができる。コンピューティングデバイス１００は、少なくとも１つの処理要素、何らかの形のメモリ、ならびに入力および／または出力（Ｉ／Ｏ）デバイスの構成要素を含む。構成要素は、コネクタ、ライン、バス、ケーブル、バッファ、電磁気的リンク、ネットワーク、モデム、トランスデューサ、ＩＲポート、アンテナ、またはその他当業者に知られているものなどの、入力および出力を通して互いに通信する。
【0026】
示されるコンピューティングデバイス１００の例は、画像、テキスト、およびビデオなど、コンピューティングデバイスからデータを出力するための少なくとも１つのディスプレイ１０２を有する。ディスプレイ１０２は、ＬＣＤ、プラズマ、ＬＥＤ、ｉＯＬＥＤ、ＣＲＴ、または当業者に知られているようなタッチセンシティブのまたはそうでない任意の他の適切な技術を用いることができる。ディスプレイ１０２の少なくともいくつかは、少なくとも１つの入力面１０４と同じ場所に配置される。入力面１０４は、抵抗性、表面弾性波、容量性、赤外線グリッド、赤外線アクリル投影、光学イメージング、分散信号技術、音響パルス認識、または当業者に知られているようなユーザ入力を受け取るための任意の他の適切な技術などの技術を使用することができる。入力面１０４は、その境界を明瞭に識別する永続的なまたはビデオによって生成される縁取りによって、境界付けられることができる。オンボードディスプレイの代わりにまたはそれに加えて、コンピューティングデバイス１００は投影型ディスプレイ能力を有することができる。
【0027】
コンピューティングデバイス１００は、ローカルインターフェースを通じて通信可能に結合された、１つまたは複数の追加のＩ／Ｏデバイス（または周辺装置）を含むことができる。追加のＩ／Ｏデバイスは、キーボード、マウス、スキャナ、マイクロフォン、タッチパッド、バーコードリーダ、レーザリーダ、無線周波数デバイスリーダ、または当業者に知られている任意の他の適切な技術などの入力デバイスを含むことができる。さらにＩ／Ｏデバイスは、プリンタ、バーコードプリンタ、または当業者に知られている任意の他の適切な技術などの出力デバイスを含むことができる。さらにＩ／Ｏデバイスは、変調器／復調器（他のデバイス、システム、またはネットワークにアクセスするためのモデム）、無線周波数（ＲＦ）または他のトランシーバ、電話インターフェース、ブリッジ、ルータ、または当業者に知られている任意の他の適切な技術などの、入力および出力の両方を通信する通信デバイスを含むことができる。ローカルインターフェースは、簡単にするために省かれたが当業者には知られているコントローラ、バッファ（キャッシュ）、ドライバ、リピータ、および受信器などの、通信を可能にするための追加の要素を有することができる。さらにローカルインターフェースは、他のコンピュータ構成要素の間の適切な通信を可能にするためのアドレス、制御、および／またはデータ接続を含むことができる。
【0028】
コンピューティングデバイス１００はまたプロセッサ１０６を含み、これはソフトウェア、具体的にはメモリ１０８に記憶されたソフトウェアを実行するためのハードウェアデバイスである。プロセッサは、任意の特注のまたは市販の汎用プロセッサ、中央処理装置（ＣＰＵ）、半導体ベースのマイクロプロセッサ（マイクロチップ、またはチップセットの形での）を含む市販のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェア構成要素、状態機械、または当業者に知られている、ソフトウェア命令を実行するために設計されたそれらの任意の組み合わせとすることができる。
【0029】
メモリ１０８は、揮発性メモリ要素（例えばランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭ、またはＳＤＲＡＭなどのＲＡＭ））、および不揮発性メモリ要素（例えばＲＯＭ、ＥＰＲＯＭ、フラッシュＰＲＯＭ、ＥＥＰＲＯＭ、ハードドライブ、磁気または光テープ、メモリレジスタ、ＣＤ－ＲＯＭ、ＷＯＲＭ、ＤＶＤ、安価なディスクの冗長アレイ（ＲＡＩＤ）、他の直接アクセス記憶装置（ＤＡＳＤ）、または任意の他の磁気、抵抗性、または相変化不揮発性メモリ）のいずれかまたは組み合わせを含むことができる。さらにメモリ１０８は、電子、磁気、光、および／または他のタイプの記憶媒体を組み込むことができる。メモリ１０８は、様々な構成要素が互いにリモートに位置するが、またプロセッサ１０６によってアクセスされることができる分散型アーキテクチャを有することができる。さらにメモリ１０８は、コンピューティングデバイス１００によってリモートにアクセス可能なサーバまたはクラウドベースシステムなど、デバイスからリモートにあるものとすることができる。メモリ１０８はプロセッサ１０６に結合され、それによりプロセッサ１０６はメモリ１０８から情報を読み出し、それに情報を書き込むことができる。代替としてメモリ１０８は、プロセッサ１０６と一体とすることができる。他の例においてプロセッサ１０６およびメモリ１０８は共に、単一のＡＳＩＣまたは他の集積回路内に位置することができる。
【0030】
メモリ１０８内のソフトウェアは、オペレーティングシステム１１０およびインク管理システム１１２を含む。インク管理システム１１２は、１つまたは複数の個別のコンピュータプログラムをそれぞれが含むことができる手書き文字認識（ＨＷＲ）システム１１４を任意選択でさらに含むことができる。これらのそれぞれは、論理機能を実施するための実行可能命令の順序付けられたリスティングを有する。オペレーティングシステム１１０は、インクマネージャ１１２（およびＨＷＲシステム１１４）の実行を制御する。オペレーティングシステム１１０は、ＷＥＢＯＳ、ＷＩＮＤＯＷＳ（登録商標）、ＭＡＣおよびＩＰＨＯＮＥ ＯＳ（登録商標）、ＬＩＮＵＸ、およびＡＮＤＲＯＩＤなどの、任意の独自開発のオペレーティングシステムまたは市販のもしくは自由に利用可能なオペレーティングシステムとすることができる。他のオペレーティングシステムも利用されることができることが理解される。あるいは本システムおよび方法のインク管理システム１１２は、オペレーティングシステムを使用せずにもたらされることができる。
【0031】
インクマネージャ１１２は、ユーザ入力の検出、管理、および処置に関連する１つまたは複数の処理要素を含む（後に詳しく論じられる）。ソフトウェアはまた、手書き文字認識、異なる機能、または両方に関連する１つまたは複数の他のアプリケーションを含むことができる。他のアプリケーションのいくつかの例は、テキストエディタ、電話ダイヤラ、連絡先ディレクトリ、インスタントメッセージ機能、コンピュータ支援設計（ＣＡＤ）プログラム、電子メールプログラム、ワードプロセシングプログラム、ウェブブラウザ、およびカメラを含む。インクマネージャ１１２および他のアプリケーションは、製造時にコンピューティングデバイス１００にもたらされたプログラムを含み、および製造後にコンピューティングデバイス１００にアップロードまたはダウンロードされたプログラムをさらに含むことができる。
【0032】
ＨＷＲシステム１１４は、サポートおよびコンプライアンス能力を有し、ソースプログラム、実行可能プログラム（オブジェクトコード）、スクリプト、アプリケーション、または行われることになる命令のセットを有する任意の他のエンティティとすることができる。ソースプログラムのとき、プログラムはオペレーティングシステムと一緒に適切に動作するように、メモリ内に含まれても含まれなくてもよいコンパイラ、アセンブラ、インタープリタなどを通じて変換される必要がある。さらに、サポートおよびコンプライアンス能力を有する手書き文字認識システムは、（ａ）データおよびメソッドのクラスを有するオブジェクト志向プログラミング言語、（ｂ）ルーチン、サブルーチン、および／または関数を有する手続きプログラミング言語、例えば非限定的にＣ、Ｃ＋＋、Ｐａｓｃａｌ、Ｂａｓｉｃ、Ｆｏｒｔｒａｎ、Ｃｏｂｏｌ、Ｐｅｒｌ、Ｊａｖａ、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｓｗｉｆｔ、およびＡｄａ、または（ｃ）関数型プログラミング言語、例えば非限定的にＨｏｐｅ、Ｒｅｘ、Ｃｏｍｍｏｎ Ｌｉｓｐ、Ｓｃｈｅｍｅ、Ｃｌｏｊｕｒｅ、Ｒａｃｋｅｔ、Ｅｒｌａｎｇ、ＯＣａｍｌ、Ｈａｓｋｅｌｌ、Ｐｒｏｌｏｇ、およびＦ＃として書かれることができる。
【0033】
あるいはＨＷＲシステム１１４は、サーバまたはクラウドベースシステムなどデバイスからはリモートにあるが、コンピューティングデバイス１００によって、上述のコンピューティングデバイス１００の通信Ｉ／Ｏデバイスを用いて通信リンクを通してリモートにアクセス可能である、手書き文字認識システムと通信するための方法またはシステムとすることができる。図１ではＨＷＲシステム１１４は、インクマネージャ１１２に組み込まれているように示されるが、ＨＷＲシステム１１４はインクマネージャ１１２とは別個であり、それとはコンピューティングデバイス１００内でまたはリモートに接続されることが可能である。さらにインクマネージャ１１２および／またはＨＷＲシステム１１４は、オペレーティングシステム１１０内に統合されることができる。
【0034】
入力面１０４上にまたはそれを通じて入力されたストロークは、デジタルインクとしてプロセッサ１０６によって処理される。ユーザは指、または入力面と共に用いるのに適したペンまたはスタイラスなどの何らかの道具を用いて、ストロークを入力することができる。ユーザはまた、入力面１０４の近くでの動きを感知または撮像する技術が用いられている場合は入力面１０４の上でジェスチャを行うことによって、またはマウスもしくはジョイスティックなどのコンピューティングデバイス１００の周辺デバイスを用いて、または投影インターフェース、例えばストロークまたはジェスチャ信号を決定するための受動平面の画像処理を用いて、ストロークを入力することができる。ストロークは、少なくともストローク開始位置、ストローク終了位置、およびストローク開始および終了位置を結ぶパスによって特性化される。ストロークのより深い詳細をもたらすために、パスに沿ったいくつかのサンプルポイントでのタイミング、圧力、角度などの他の情報も捕捉されることができる。異なるユーザが同じオブジェクト、例えば文字、形状、記号を、若干のばらつきを有して自然に書くことができるので、ＨＷＲシステムは、各オブジェクトが入力される一方で、正しいまたは意図されたオブジェクトとして認識される、多様な方法に対応する。
【0035】
図２は、そのローカル（すなわちデバイス１００にロードされる）またはリモート（すなわちデバイス１００によってリモートにアクセス可能である）の形での、ＨＷＲシステム１１４の概略図である。ＨＷＲシステム１１４は、前処理１１６、認識１１８、および出力１２０などの段階を含む。前処理段階１１６はデジタルインクを処理してより高い精度を達成し、認識段階１１８の間の処理時間を低減する。この前処理は、サイズ正規化、および／または入力を平滑化するためのＢスプライン近似などの方法を適用することによって、ストローク開始および終了位置を結ぶパスを正規化することを含むことができる。前処理されたストロークは次いで、ストロークを処理してそれによって形成されるオブジェクトを認識する認識段階１１８に渡される。認識されたオブジェクトは次いで、一般に手書きの要素／キャラクタのタイプセットされたバージョンとして、ディスプレイ１０２に１２０で出力される。
【0036】
認識段階１１８は、種々の処理要素またはエキスパートを含むことができる。図３は、認識段階１１８の概略的詳細を示す、図２の例の概略図である。３つのエキスパート、セグメンテーションエキスパート１２２、認識エキスパート１２４、および言語エキスパート１２６が示され、これらは出力１２０を生成するように動的計画法を通して協働する。
【0037】
セグメンテーションエキスパート１２２は、表現、例えばワード、数式、または形状のグループを形成するように、入力ストロークを個々の要素仮説、例えば英数字および数学演算子、テキストキャラクタ、個々の形状、または部分表現にセグメント化するための種々の方法を定義する。例えばセグメンテーションエキスパート１２２は、もとの入力の連続したストロークをグループ化することによって要素仮説を形成して、セグメンテーショングラフを取得することができ、各ノードは少なくとも１つの要素仮説に対応し、要素間の隣接制約条件はノード接続によって取り扱われる。あるいはセグメンテーションエキスパート１２２は、テキスト、描画、式、および記譜法などの異なる入力タイプに対して個別のエキスパートを使用することができる。
【0038】
認識エキスパート１２４は、分類器１２８によって抽出された特徴の分類をもたらし、セグメンテーショングラフの各ノードに対する確率または認識スコアと共に、要素候補のリストを出力する。この認識タスクに対処するために用いられ得る多くのタイプの分類器、例えばサポートベクターマシン、隠れマルコフモデル、または多層パーセプトロン、ディープ、畳み込みまたはリカレントニューラルネットワークなどのニューラルネットワークが存在する。選択は、タスクに対して望まれる複雑さ、精度、および速度に依存する。
【0039】
言語エキスパート１２６は、言語モデル（例えば文法または意味論）を用いてセグメンテーショングラフにおける異なるパスに対する言語的意味を生成する。エキスパート１２６は、言語情報１３０に従って他のエキスパートによって提案された候補をチェックする。言語情報１３０は、辞書、正規表現などを含むことができ、言語モデルを実行するために言語エキスパート１２６によって用いられるすべての静的データのためのストレージである。言語モデルは、所与の言語についての統計情報に依存することができる。言語情報１３０は、認識およびユーザ対話の結果に従った適応を用いてまたは用いずにオフラインで計算され、言語エキスパート１２６にもたらされる。言語エキスパート１２６は、最良の認識パスを見出すことを目指す。一例において言語エキスパート１２６はこれを、言語情報１３０の内容を表す有限状態オートマトン（ＦＳＡ）などの言語モデルを探索することによって行う。辞書制約条件に加えて言語エキスパート１２６は、どれだけ頻繁に要素の所与のシーケンスが指定された言語において現れるか、または特定のユーザによって用いられるかについての統計情報モデル化による言語モデルを用いて、セグメンテーショングラフの所与のパスの解釈の言語的確からしさを評価することができる。
【0040】
本システムおよび方法は、デバイス１００への手書きの入力を認識するために、ＨＷＲシステム１１４を利用することができる。インク管理システム１１２は、認識されたユーザ入力のレイアウトを取り扱うためのアプリケーションを含む。このようなアプリケーションは、異なる処理を取り扱うための個別のレイヤを有するアーキテクチャにおいてもたらされることができる。これらのレイヤの１つまたは複数は、前に述べられた通信チャネルを通じてアクセス可能な、デバイス１００に対してリモートとすることができる。レイヤは、アプリケーションラッパー、プラットフォームラッパー、および（プラットフォーム固有の）アプリケーションユーザインターフェースを含むことができる。
【0041】
本システムおよび方法のインク管理システム１１２は、ユーザが自然な書き込みを用いてコンテンツを入力すること、ならびにコンテンツと対話して、ジェスチャなど自然で直感的な動作を用いて彼等のポータブルまたは非ポータブルコンピューティングデバイス上に、共有可能なフォーマットでデジタル文書を生成することを可能にする。いずれの書くことができる人も、手書きを用いてコンテンツを作成および編集することを熟知している。いずれのデジタルデバイスユーザも、スクリーン上でジェスチャを行ってコンテンツを書き込むまたは編集することにすでに慣れている。ジェスチャは、タッチまたはホバーデバイス上の自然で直感的なパターンである。次に本システムおよび方法のこれらおよび他の特徴が詳しく述べられる。
【0042】
図４は、例示のコンピューティングデバイス１００の入力面１０４の一部分上の、インク入力または捕捉エリア４００の例示の視覚的レンダリングの概略図を示す。入力エリア４００は、ユーザがサイズ設定またはアラインメントについて気にせずに任意の場所にオブジェクトブロック（テキスト、描画のブロックなど）を作成することを可能にする、制約のないキャンバスとしてもたらされる。しかし図から分かるようにラインパターン背景４１０の形でのアラインメント構造が、ユーザ入力ならびにデジタルおよびタイプセットされたインクオブジェクトのアラインメントのガイダンスのためにもたらされることができる。いずれの場合もユーザはラインパターンに密接にアラインメントしない手書きを入力する場合があり、またはラインパターンを無視し、斜めにもしくはばらばらになど制約されないやり方で書くことを望む場合があるので、手書き入力の認識はＨＷＲシステム１１４によって、ラインパターンにかまわずに行われる。例示のアラインメントパターンは、参照によりその内容全体が本明細書に組み込まれている本出願人および譲受人の名において出願された「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｄｉｇｉｔａｌ Ｎｏｔｅ Ｔａｋｉｎｇ」という名称の特許文献１で述べられている。
【0043】
入力エリア４００上への手書きのコンテンツの入力は、例えばデバイス１００の画面技術に応じてタッチ、力、および／または近接を通して、入力面１０４に対するジェスチャの使用を通して行われる。ジェスチャ検出は、スタイラスまたはペン（デバイスはそれによって受動または能動スタイラスを定義する）からユーザの指を区別するコンピューティングデバイス１００の能力、またはそれが手書きのために用いられていることをデバイスに示すまたは通信するスタイラスの能力、またはこのようなインジケーションをもたらすユーザの能力に応じて異なって取り扱われることができる。デフォルトで、および区別をしないデバイスにおいて、入力エリア４００内のいずれの単一ポイントタッチまたはホバーイベントも、コンテンツ入力またはコンテンツ対話と見なされることになる。ＨＷＲシステム１１４を通した本システムおよび方法はまた、タイプセットされたインクへのデジタルインクのタイプセッティングまたはフォント化を通して、手書きの入力をデジタル化または変換するための機構をもたらす。この機能は特に、少なくとも通信および共有のための最終に近い文書の作成、例えばデジタルインクにおいて編集されおよびフォーマットされた手書きのノートから、キーボード（および関連付けられたジェスチャデバイス）のみを用いて生成され得るタイプセットされた文書への変換を可能にするためにもたらされる。
【0044】
手書きの入力はインク管理システム１１２によって検出され、入力が受け取られるのに従って表面１０４（または他のディスプレイ）上にデジタルインクとしてレンダリングされ、および並行してＨＷＲシステム１１４によって認識され、いわゆる「オンザフライ」またはインクリメンタル手書き文字認識をもたらす。インクリメンタル認識は一般に、それらが受け取られるのに従って認識器に対してストロークを構造解析（前処理）し、入力が続いていても認識器がストロークのグループを処理して認識結果を出力することによって行われ、結果は実質的に直ちにデジタルインクまたは表示された認識候補のタイプセッティングの形でもたらされ、または後の使用のために単に例えばデバイス１００のメモリ１０８を用いてインク管理システム１１２によって記憶されることができる。発音区別符号など、空間的なやり方で前の入力ストロークに関連する他のストロークが入力されるとすぐに、再認識が生じることができる。あるいは、または追加として手書き文字認識は、インクリメンタルではなくバッチ処理として行われることができる。このような例においてデジタルインクおよびタイプセットされたインクの表示は、指定された時点で、例えばシステムおよび／またはユーザに指定された時点で入力時に生じることができ、または例えば同じもしくは異なるデバイス上への入力の後の時点で生じることができる。
【0045】
図５は一般にラインパターン４１０のライン上に、入力エリア４００への手書きのコンテンツとして入力され、および例えばデバイスのインターフェース面上にデジタルインクとしてレンダリングされた、１つ（または２つ）の複数行段落５００を示す。図６は段落５００を、タイプセットされた段落６００にタイプセッティングした結果を示す。
【0046】
本システムおよび方法のインク管理システム１１２は、オペレーティングシステム１１０および構成要素およびそのアプリケーションによって通常使用される、タイプされたインクなどのデジタルコンテンツの管理と同様なやり方で、手書きの入力およびそのデジタルインク表示を管理する。すなわちコンテンツ６００が手書きではなくキーボードを用いてタイプすることによってコンピューティングデバイス１００に入力された場合、例えばメモリ１０８内のアプリケーションとして、オペレーションシステム１１０の一部として、またはインク管理システム１１２の一部として本システムおよび方法においてもたらされる、コンピューティングデバイス１００のキーボードまたはタイピングデコーダは、デジタルコンテンツ内の段落６００自体、段落に含まれたセンテンス、センテンスに含まれたワードおよび記号（例えばピリオド、コンマなどの文法マーク）、およびワードに含まれたキャラクタまたは文字である、コンテンツの各要素を解釈しおよびエンコードするようになる。コンテンツ６００がデジタルまたは非デジタル（例えば紙インク）の手書きからの光学式文字認識（ＯＣＲ）などの他の手段を通じた入力である場合も、同様な管理が適用される。このデジタルコンテンツはよく理解されているやり方でコンピューティングデバイス１００によって取り扱われ、各デジタルキャラクタはデジタルオブジェクトとして扱われる。このようにして入力、またはデジタルコンテンツとの対話のためにカーソル配置を編集することなどの機能が、各デジタルオブジェクトに対してなされることができる。
【0047】
しかしキーボード上のキーストロークが「デジタルオブジェクト」（例えばこのテキストにおいて示されるタイプされた文字「ａ」はデジタルオブジェクトである）に直接解釈されるタイプされた入力に対するデコード処理とは異なり、手書き入力に対する認識プロセスは一般に、インターフェース面上またはそれへの手描きのストロークの解釈に対して確率的手法をとることによって、キャラクタに対する最も可能性の高い候補を見出す。このような確率を用いた従来のデジタル手書きシステムおよび方法は一般に、認識されたコンテンツとして最も高い確率のキャラクタおよびワード候補をもたらし、その結果、タイプセッティングの後すぐに認識されたコンテンツはデジタルコンテンツに変換され、その時点で認識されたコンテンツ従って認識結果は廃棄される。認識エラーは、次いで上述の従来のデジタルコンテンツ管理技法を用いたデジタルコンテンツとの対話を通して訂正されることができる。タイプセット変換によって存続されるこのようなエラーの数は、候補リストの表示、言語モデルに基づく自動訂正などの入力時の一定のフィードバック機構、または参照によりその内容全体が本明細書に組み込まれている本出願人および譲受人の名において出願された「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｇｕｉｄｉｎｇ Ｈａｎｄｗｒｉｔｉｎｇ Ｉｎｐｕｔ」という名称の特許文献２で述べられているような実質的にリアルタイムの認識結果表示の使用などを通して最小化されることができる。
【0048】
デジタルコンテンツ管理は、デジタルオブジェクトのメタデータへの参照を通して、デジタルオブジェクトのみを考慮に入れる。このメタデータはデジタルコンテンツのオブジェクトタイプ、フォント、スタイリング、相対位置、埋め込みデータまたはハイパーリンクなどについての情報をもたらすが、各キャラクタが属するワード、キャラクタのコンテキスト、オブジェクト候補などの他の情報はもたらさない。従って後のデジタルオブジェクトとの対話は、近接のデジタルオブジェクトとは無関係になされる。しかし手書き文字認識プロセスは各認識オブジェクト、例えば各認識されたキャラクタに関する大量の情報をもたらし、これは後のコンテンツとの対話をガイドおよび拡大するために用いられることができる。本システムおよび方法はこの認識情報を活用して、以下で述べられるようにコンテンツ作成、編集、共有、および協働のための創造性、使用可能性、および生産性を強化する、手書きおよびデジタルコンテンツとの対話のレベルをもたらす。
【0049】
本システムおよび方法は、「未処理」または入力インク（例えば手書きのストローク）を、デジタルインク（例えば表示されたインク）に参照付けるまたは結び付ける。この結び付けにより、例えばコンテンツを編集するために、デジタルインクとのユーザ対話が、基礎をなす認識に対して行われるように、ＨＷＲシステム１１４によって認識される実際の入力と、表示される入力との間の関係がシステムによって知られる。この認識されたインクとデジタルインクとの融合は、「インクオブジェクト」を形成する。各インクオブジェクトは、デジタルオブジェクトのものと同様な情報だけでなく、認識処理に関連する他の情報も含んだメタデータを有する。次に図５、および７から１２を参照して、例示の参照システムおよび方法が述べられる。
【0050】
図５において段落５００は、手書きのテキストの段落の基礎をなす未処理インク入力のデジタルインク表示である。未処理インクは、時間的および空間的順序で書かれたいくつかのインクストロークを含む。図５の例における左から右へおよび上から下への言語の関連において、最初のストロークは段落５００の始まりにおけるストローク５０１（デジタルインクキャラクタ「Ｗ」として表される）であり、最後のストロークは、段落５００の終わりにおけるストローク５０２（デジタルインクキャラクタ「．」として表される）である。インク入力が受け取られるのに従って本システムおよび方法は、例えば各要素およびその特徴に参照を割り当てることによって、時間順での、各検出された後続のストローク開始（または「ペンダウン」）と終了（または「ペンアップ」）位置との間のインクによって特性化されるストロークなど、入力の各要素に順次にインデックス付けする。
【0051】
例えば段落５００に対して、ストローク５０１はストローク［０］（ゼロ）としてインデックス付けされることができ、ストローク５０２はストローク［２４４］としてインデックス付けされることができる。時間順でのインデクセーションは、発音区別符号、後で追加されたストロークなどの位置的に順序がずれたストロークは、近接ストロークと比べて後のインデックス付けを有することを意味し、例えばストローク５０３（ドット「・」のないデジタルインクキャラクタ「ｉ」として表される）はストローク［１］（ｏｎｅ）としてインデックス付けされることができ、例えばストローク５０４（ドット「・」として表される）はストローク５０５および５０６の後に書かれているのでストローク［４］としてインデックス付けされることができる。あるいは、または追加としてストロークは、時間順ではなく空間的順序を考慮に入れて再インデックス付けされることができる。さらにインデックス付けは、ＯＣＲ入力などのバルク入力に対して、一方または両方のやり方で生じることができる。
【0052】
このストロークインデックスは、キャラクタおよびワード境界などの入力の特徴を定義するために用いられることができる入力の粗いインデクセーションをもたらす。例えば、単一または複数ポイントジェスチャ（例えばタップ、長押し、またはダブルタップ）などのデジタルインク上のジェスチャを用いて例えばストロークインデックス［０］として表されるデジタルインクキャラクタ５０１とのユーザ対話は、デジタルオブジェクトとの対話と同様な、キャラクタを選択することおよび／またはキャラクタ境界に入力カーソルをもたらすことを引き起こすことができる。しかしデジタルオブジェクトとは異なり、ストロークインデックスによりこの対話はまた、基礎をなす認識結果「キャラクタ［０］」を参照し、これは後により詳しく論じられるような機能をもたらす。しかしここで手短に言えばストロークインデックス、例えばインデックス［０］へのインデックス付けは、ストロークが変形され、例えば部分的に消去され、消去され、「もとに戻す」アクションを通して省略され、フォント化またはタイプセットされた場合でも安定のままであり、およびこの変形のための任意の新たなストロークには新たなストロークインデックスが割り当てられまたは割り振られ、これらは依然として以前のストロークインデックス例えばインデックス［０］を内部的に参照し、それによって認識結果への結び付けを保持する。さらに図７において、段落５００（説明のために図７の表示では強調表示されている）のストロークのグループ７００（デジタルインクワード「ｈａｎｄｗｒｉｔｉｎｇ」として表される）は、例えばストロークインデックス［１７２，１８３］として表されるストローク［１７２］からストローク［１８３］までのストロークインデックスを含む。単一または複数ポイントジェスチャ（例えばタップ、長押し、またはダブルタップ）などのデジタルインク上のジェスチャを用いたデジタルインクワード７００とのユーザ対話は、ワード７００内またはその近くの任意の場所で、デジタルオブジェクトとの対話と同様に、ワード全体を選択することおよび／またはワード境界にカーソルをもたらすことを引き起こすことができる。しかしデジタルオブジェクトとは異なりストロークインデックスにより、この対話はまた、基礎をなす認識結果、「ワード［１７２，１８３］」にも関連し、これは後により詳しく論じられるような機能をもたらす。
【0053】
前に論じられたように認識プロセスにおいてストロークは、可能性の高いキャラクタ候補を決定するためにセグメント化される。本システムおよび方法によって、入力のインデクセーションを精密化するために、同様の（または同じもしくは実際の）セグメンテーション手法がとられる。このセグメンテーションは、各インデックス付けされたストロークをいくつかのストロークセグメントにセグメント化し、および各ストロークセグメントの間のポイントにおいて各ストロークセグメントをインデックス付けすることが関わる。例えば、ストローク５０１は、例えばストロークおよびポイント（「参照」）インデックス［０：０，０：５０］として表される例えばポイント０（ゼロ）からポイント５０までの一連の５０個のストロークセグメントによってインデックス付けされることができる。各ポイントの位置は、規則的なやり方でストロークをセグメント化することによって設定されることができ、例えば各ストロークセグメントは、ストローク特性に従って、またはデバイスサンプリングおよびシステムによって適用される任意の可能なプリサンプリングに従って、同じ長さ（デジタルインク表示に対する画素の数など）を有する。
【0054】
後者の場合において、ペンダウン、ペン移動、方向変更、ペンアップなどの各入力イベントの未処理の入力サンプル（例えばメモリ１０８に記憶された、コンピューティングまたは捕捉デバイスによって与えられる）は、入力ストロークにおける新たなポイントまたはサンプルとして、インク管理システム１１２によって用いられる。さらに未処理の入力サンプルの代わりに、平滑化ユニットがインク管理システム１１２によって用いられることができ、そこで未処理の入力サンプルは処理され、異なる数および位置のサンプルとして出力される。この場合適用されるインデックス付けに対して重要なのは、セグメンテーションレジームまたはセグメント長さ自体ではなく、最適化されたインデックス付けをもたらすセグメント化されたデジタルインクの「滑らかさ」である。しかしこのような入力の平滑化は、署名認証に対してなど、デジタルインクの生体認証処理を無効にする場合があることが留意される。さらに表示のための平滑化は、認識のために適した平滑化とは異なる場合がある。従って平滑化は、入力における平滑化ではなく、およびデバイス１００自体のいずれかの処理ではなく、異なる段階でインク管理システム１１２自体によって行われることができる。
【0055】
いずれの場合においてもストロークセグメントの数は、各インデックスにおけるポイントの数を設定する。上記で論じられたようにデジタルインク上のジェスチャを用いたデジタルインクキャラクタ５０１とのユーザ対話は、キャラクタを選択することおよび／またはキャラクタ境界にデジタルカーソルをもたらすことを引き起こすことができ、その結果カーソルは参照またはストローク：ポイントインデックス［０：５０］にもたらされる。従ってカーソル位置はｉ：ｊによって定義され、「ｉ」はストロークインデックス、および「ｊ」はポイントインデックスである。ポイントインデックスにより、この対話はまた基礎をなす認識結果、「キャラクタ［０：０，０：５０］」にも関連し、これは後により詳しく論じられるような機能をもたらす。
【0056】
ポイントインデックスは、ストローク内のキャラクタ境界など、入力の他の特徴を定義するために用いられることができる入力の細かなインデクセーションをもたらす。図から分かるように未処理（およびデジタル）インクの各ストロークは、２つ以上のテキストキャラクタに属する場合があり（例えばストローク５０７は、デジタルインクキャラクタ「ｈ」および「ｅ」として表される）、または１つのキャラクタの一部である場合がある（例えばストローク５０３および５０４は組み合わされてキャラクタ「ｉ」となる）。同様なストローク属性はまた、形状などの非テキストオブジェクトでも生じることができる。上記で論じられたように、認識システムのセグメンテーションプロセスは、各ストロークを、セグメンテーショングラフによって表される多くのセグメンテーションの可能性にセグメント化する。このプロセスによって、例えばストローク５０７のキャラクタ「ｈ」および「ｅ」は正しく認識される。本システムおよび方法の細かなインデクセーションは、同様なセグメンテーション結果をもたらす。例えばストローク５０７はストローク［９］として、および例えば参照インデックス［９：０，９：６０］として表される例えばポイント０（ゼロ）からポイント６０までの一連の６０個のストロークセグメントを有してインデックス付けされることができる。キャラクタ「ｈ」と「ｅ」との間のキャラクタ境界は例えばポイント３０とすることができ、その結果キャラクタ「ｈ」は参照インデックス［９：０，９：３０］を有し、キャラクタ「ｅ」は参照インデックス［９：３０，９：６０］を有する。あるいは隣接するキャラクタはインデックス付けを共有できず、その結果例えばインデックス［９：３０］は共有されない。従ってキャラクタ境界でのまたはその近くでのデジタルインク上のジェスチャを用いたデジタルインクキャラクタ５０７とのユーザ対話は、キャラクタ境界にデジタルカーソルをもたらすことを引き起こすことができ、その結果カーソルは参照インデックス［９：３０］にもたらされる。ストロークおよびポイントインデックスにより、この対話はまた基礎をなす認識結果、「キャラクタ［９：０，９：６０］」にも関連し、これは後により詳しく論じられるような機能をもたらす。
【0057】
ポイントインデックスの細かなインデクセーションは、部分的ストロークなど、入力の他の特徴を定義するために用いられることができる。例えば図８において、段落５００のストロークのグループ８００（デジタルインクワード「ａｐｐｌｉｃａｔｉｏｎ」として表される）は、ストローク８０１（デジタルインクキャラクタ「ａ」として表される）、ストローク８０２（それぞれバー「－」およびドット「・」のないデジタルインクキャラクタ「ｔ」および「ｉ」として表される）、およびストローク８０３（バー「－」として表される）を有する。ストローク８０１はストローク［１５８］としてインデックス付けされることができ、例えばポイント０（ゼロ）から５０までを有する。ストローク８０２はストローク［１５９］としてインデックス付けされることができ、例えばポイント０（ゼロ）から４０までを有する。ストローク８０３はストローク［１６１］としてインデックス付けされることができ、例えばポイント０（ゼロ）から１４までを有する（例えば後続するデジタルインクキャラクタ「ｏ」および「ｎ」として表されるストロークは、ストローク８０２の前に入力され、従ってストローク［１６０］をもたらす）。デジタルインクのストロークの部分における単一または複数ポイントジェスチャ（例えばタップ、長押し、またはダブルタップ）などの、デジタルインク上のジェスチャを用いたデジタルインクワード８００とのユーザ対話は、ストロークのそれらの部分のみの選択を引き起こすことができる。例えば図８においてストローク８０１および８０２の部分との対話（説明のために図８の表示では強調表示されている）は、例えば参照インデックス［１５８：４４，１５９：２０］を含み、ストローク８０３のすべては参照インデックス［１６１：０，１６１：１４］を含む。ストロークおよびポイントインデックスにより、この選択はまた部分的キャラクタの、基礎をなす認識結果にも関連し、これは後により詳しく論じられるような機能をもたらす。
【0058】
さらに図９において、段落５００のストロークのグループ９００（デジタルインクワード「ｌａｙｏｕｔ ａｎｄ ｆｏｒｍａｔｔｉｎｇ」として表される）は、ストローク９０１（ワード「ｌａｙｏｕｔ」内のデジタルインクキャラクタ「ｙ」として表される）、ストローク９０２（ワード「ｆｏｒｍａｔｔｉｎｇ」内のデジタルインクキャラクタ「ｆ」として表される）、およびストローク９０３（ワード「ｆｏｒｍａｔｔｉｎｇ」内のデジタルインクキャラクタ「ｎ」および「ｇ」として表される）を有する。ストローク９０１はストローク［２１５］としてインデックス付けされることができ、例えばポイント０（ゼロ）から６０までを有する。ストローク９０２はストローク［２３３］としてインデックス付けされることができ、例えばポイント０（ゼロ）から６０までを有する。ストローク９０３はストローク［２４３］としてインデックス付けされることができ、例えばポイント０（ゼロ）から５４までを有する。デジタルインクのストロークの部分での単一または複数ポイントジェスチャ（例えば押しおよびスワイプ）などの、デジタルインク上のジェスチャを用いたデジタルインク９００とのユーザ対話は、ストロークのそれらの部分のみの選択を引き起こすことができる。例えば図９の対話（説明のために図９の表示では強調表示されている）は、例えばストローク９０１の部分（「ｙ」のディセンダ）に対しては参照インデックス［２１５：３６，２１５：４８］を含み、ストローク９０２の部分（「ｆ」のアンダーライトまたはディセンダ）に対しては参照インデックス［２３３：３５，２３３：５４］を含み、およびストローク９０３の部分（「ｇ」のディセンダ）に対しては参照インデックス［２４３：３７，２４３：５４］を含む。ストロークおよびポイントインデックスによりこの選択はまた、部分的キャラクタの、基礎をなす認識結果にも関連し、これは後により詳しく論じられるような機能をもたらす。
【0059】
さらに、このようなユーザ対話のための向上された精度は、ポイントインデックスのポイントの間をさらにセグメント化することによってもたらされることができる。例えばポイントインデックスの小数部をもたらすために、連続したポイントの各ペアの間に、規則的なまたはストロークにより定義されたサブポイントが定義されることができる。小数の精度は、例えば各ストロークセグメントの約１／５０から約１／３００とすることができる。しかしより低いまたは高い精度がもたらされることができる。例えば図９において１／２００のサブポイントがもたらされ、その結果として表示される対話は、例えばストローク９０１の部分に対しては参照インデックス［２１５：３６．６６５，２１５：４８．２６５］を含み、ストローク９０２の部分に対しては参照インデックス［２３３：３５．５８５，２３３：５４．７１］を含み、およびストローク９０３の部分に対しては参照インデックス［２４３：３７．４９５，２４３：５４］を含む。ストロークおよび小数点インデックスによりこの選択はまた、より高い精度を有する部分的キャラクタの、基礎をなす認識結果にも関連し、これは後により詳しく論じられるような機能をもたらす。
【0060】
本システムおよび方法によって使用される上述の参照インデックス付けシステムは、表示されたデジタルインクと、未処理インクからの認識結果との間の参照をもたらす。この参照は、インク管理システム１１２によって決定された後、例えば後にデジタルインクとのユーザ対話を検出するとすぐに使用するために、例えばコンピューティングデバイス１００のメモリ１０８に記憶されることができる。上述のように参照インデックスは、インクオブジェクトとして未処理、認識された、およびデジタルインクによって表されるデジタルコンテンツを有するメタデータとして含まれる。従ってインクオブジェクトは可搬であり、その結果デジタルコンテンツは異なるアプリケーションおよびオペレーティングシステムの間でエクスポートされ、インポートされ、または他の形で移転または変換されることができる。すなわち他のデジタルコンテンツと同じように、参照メタデータはインクオブジェクトコンテンツ自体と共に維持される。参照インデックスはデジタルインクと共に留まるので、未処理インク自体、例えばもとの手書きの入力が保たれる必要はなく、それによって、インクオブジェクト対話を解釈するとき、未処理インクのデータベースがアドレスされる必要がないので、記憶されることになるデータの量を低減し、インク管理システム１１２の可搬性を向上させる。しかし未処理インク自体が保持されない場合でも、参照システムの全部の能力は保持される。次にこれについておよび上記で論じられた特徴が詳しく述べられる。
【0061】
図１０は、一般にラインパターン４１０のライン上に、入力エリア４００への手書きのコンテンツとして入力され、例えばデバイスのインターフェース面上にデジタルインクとしてレンダリングされた、いくつかのワードを含んだフレーズ１０００を示す。未処理（およびデジタル）インク１０００は、フレーズ「ｃｌｅａｎｉｎｇ ｔｈｅ ｋｅｙｂｏａｒｄ」を形成するテキストキャラクタを表すいくつかのストローク１００１から１００９を含む。前に論じられたように、インク管理システム１１２はストロークをセグメント化して入力の参照インデックス、および従ってデジタルインクを決定する。図１１Ａはインク管理システム１１２および／またはＨＷＲシステム１１４によって決定された、フレーズ「ｃｌｅａｎｉｎｇ ｔｈｅ ｋｅｙｂｏａｒｄ」の例示の参照セグメンテーション１１００の表示を有する手書きの入力１０００を示す。参照セグメンテーション１１００は、デジタルインク１０００の各参照インデックス付けされた部分の、一般のデジタルインク限界または範囲を指定する一連のボックスｒmとして示される。図１１Ｂは、破線によって示されたストロークインデックスポイントを有する、デジタルインク１０００から分離されたこれらのボックスｒmを示す。
【0062】
ストロークインデックスは、例えばストローク１００１をストローク［０］（ゼロ）、ストローク１００２をストローク［１］、ストローク１００３をストローク［２］、ストローク１００４をストローク［３］、ストローク１００５をストローク［４］、ストローク１００６をストローク［５］、ストローク１００７をストローク［６］、ストローク１００８をストローク［７］、およびストローク１００９をストローク［８］とすることができる。例えばストローク１００１は長く、従って例えば３００ポイントを有するようにセグメント化されることができ、その結果参照インデックスｒ1は［０：０，０：３５］に対応し、参照インデックスｒ2は［０：３５，０：９０］に対応し、参照インデックスｒ3は［０：９０，０：１２５］に対応し、参照インデックスｒ4は［０：１２５，０：１７０］に対応し、参照インデックスｒ5は［０：１７０，０：２１０］に対応し、参照インデックスｒ6は［０：２１０，０：２２５］に対応し、参照インデックスｒ8は［０：２２５，０：２６５］に対応し、および参照インデックスｒ9は［０：２６５，０：３００］に対応する。上述のようにサブポイントも参照することによって、さらなる精度がもたらされることができる。同様な参照インデックスが、他のストローク１００２から１００９に対して決定される。
【0063】
前に論じられたように認識プロセスにおいて、ストローク１００１から１００９は可能性の高いキャラクタ候補を決定するためにセグメント化され、これはフレーズ１０００のワードの認識に繋がる。インク管理システム１１２は、参照セグメンテーション１１０２を利用し、これはＨＷＲシステム１１４によって生成されるセグメンテーションとは独立とすることができ、または参照セグメンテーション１１０２はＨＷＲシステム１１４によって生成されるものとすることができる（または少なくとも同様なプロセスを用いて生成される）。いずれの場合も入力のストロークの参照セグメンテーション／デジタルインクは、例えば以下のように基礎をなす認識結果へのマップをもたらす。図１２Ａは、フレーズ「ｃｌｅａｎｉｎｇ ｔｈｅ ｋｅｙｂｏａｒｄ」の例示の認識１２００を有する手書きの入力１０００を示す。例示の認識はそれ自体、示されるように表示されないことが留意される。図から分かるように認識１２００は、一連の認識されたキャラクタＣnを生成するように、入力１０００のストローク１００１から１００９のセグメンテーション１２０２を含む（破線で示される）。認識されたキャラクタＣnは、「ｃ」Ｃ1、「ｌ」Ｃ2、「ｅ」Ｃ3、「ａ」Ｃ4、「ｎ」Ｃ5、ドット「・」を含んだ「ｉ」Ｃ6、「ｎ」Ｃ7、「ｇ」Ｃ8、バー「－」を含んだ「ｔ」Ｃ9、「ｈ」Ｃ10、「ｅ」Ｃ11、「ｋ」Ｃ12、「ｅ」Ｃ13、「ｙ」Ｃ14、「ｂ」Ｃ15、「ｏ」Ｃ16、「ａ」Ｃ17、「ｒ」Ｃ18、および「ｄ」Ｃ19を含む。認識処理において「ｎ」Ｃ5は、ＨＷＲシステム１１４の言語モデルに基づいて同様なまたは異なる確率を有して、「ｃｌｅａｎｉｎｇ」の代わりにワード候補「ｃｌｅａｒｉｎｇ」をもたらすように「ｒ」としても認識されることができることが留意される。他の代替のキャラクタ認識も可能である。さらに候補の番号付け順序は説明のためのみであり、これが行われた場合にＨＷＲシステム１１４が認識されたキャラクタを識別するやり方を必ずしも反映していない。さらに、図面における認識されたキャラクタを指定するためのボックスの使用は、説明のためのみである。
【0064】
図から分かるように認識セグメンテーション１２０２は、一般に参照セグメンテーション１１０２に対応する。従ってインク管理システム１１２は、参照インデックスｒmを候補キャラクタＣnにマップする。例えばストローク１００１は、いくつかのキャラクタすなわちキャラクタＣ1からＣ8を含み、その結果キャラクタＣ1は参照インデックスｒ1に対応し、キャラクタＣ2は参照インデックスｒ2に対応し、キャラクタＣ3は参照インデックスｒ3に対応し、キャラクタＣ4は参照インデックスｒ4に対応し、キャラクタＣ5は参照インデックスｒ5に対応し、キャラクタＣ6は組み合わされた参照インデックスｒ6およびｒ7に対応し（例えば全体のキャラクタ「ｉ」）、キャラクタＣ7は参照インデックスｒ8に対応、キャラクタＣ8は参照インデックスｒ9に対応する。候補キャラクタと参照インデックスとの同様なマッピングが、他のストローク１００２から１００９に対して決定される。従ってデジタルインク１０００の、基礎をなす認識１２０２は、例えば「ｃｌｅａｎｉｎｇ」に対応するワード［０：０，１：１０］、「ｔｈｅ」に対応するワード［２：０，３：１０］、「ｋｅｙｂｏａｒｄ」に対応するワード［４：０，８：４０］として、参照インデックス付けを通じて決定されることができる。キャラクタおよびワードなどの認識された要素と、対応するデジタルインク要素との間の参照または結び付けは、インクオブジェクトをもたらし、第１のインクオブジェクトは参照インデックス［０：０，１：１０］に対応し、第２のインクオブジェクトは参照インデックス［２：０，３：１０］に対応し、および第３のインクオブジェクトは参照インデックス［４：０，８：４０］に対応する。
【0065】
このようにしてインク管理システム１１２は、デジタルインクストロークを、手書き文字認識プロセスによってもたらされる基礎をなす認識結果に結び付けるまたはマップする。このマッピングは、デジタルインクがレンダリングされるやり方に関わらずもたらされる。すなわち未処理インク入力の表示されたバージョンであるデジタルインクは、置き換えまたはいわゆる「美化」を通して、もとの手書きと比べて異なるサイズ、スタイル、フォントなどを用いてレンダリングされることができる。これは手書きがディスプレイ自体とは異なるエリアに、制限されたエリアに、またはラインパターンなどのレイアウト要素にかまわずに比較的自由なやり方で、入力された場合に特に当てはまり、その場合デジタルインクは入力未処理インクとは比較的無関係にレンダリングされる。このような置き換えられたまたは美化されたデジタルインクを、認識されたインクにマップすることは、例えば参照によりその内容全体が本明細書に組み込まれている本出願人および譲受人の名において出願された「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｂｅａｕｔｉｆｙｉｎｇ Ｄｉｇｉｔａｌ Ｉｎｋ」という名称の特許文献３で述べられているように、置き換えまたは美化特性が知られている限りは可能である。
【0066】
デジタルインクとの対話（例えば前に述べられたようなやり方での）は、この結び付けを通して、基礎をなす認識されたインクとの対話に委ねられるので、デジタルから認識されたインクへのマップは、デジタルインクとの、従ってインクオブジェクトとのユーザ対話性をサポートし、従って既存のコンテンツへの変更、新たなコンテンツの入力などのデジタルインクの編集は、既存のおよび新たな認識結果に頼ることによって、インク管理システム１１２によって管理される。これは次に詳しく述べられる。
【0067】
ＨＷＲシステム１１４によってとられる手書き文字認識に対する確率的手法において、テキスト入力に対するキャラクタ候補、形状入力に対する形状候補、音楽入力に対する記譜法候補などの多くの潜在的なオブジェクト候補は、セグメンテーショングラフを通じてテストされ、最も可能性の高い候補が返されて認識結果をもたらす。しかしＨＷＲシステム１１４は、認識結果を出力するとすぐには、（すべての）他の候補を廃棄せず、または例えば少なくとも５、１０個などの最も確からしい候補などの、最上位候補は廃棄しない。これは少なくとも部分的に、認識結果は、その時点でＨＷＲシステム１１４によって使用される様々なエキスパートおよびモデルに基づいて最も確からしいのであるが、正しくない場合があり、従ってユーザには、例えば上記の参照により組み込まれている特許文献２で述べられているように、認識結果を訂正するために、対話型ＵＩメニューなどを通じて選択のための他の候補がもたらされることができる。これらのキャラクタ候補のそれぞれは、図１２Ａの例に示されるのと同様なやり方で、デジタルインクにマップする。すなわち候補は未処理インクの、従ってまたデジタルインクのいくつかのセグメンテーションに対応する。図１２Ｂは、フレーズ１０００の例示の認識１２００のいくつかのセグメンテーション１２０４、１２０６、および１２０８の表示を有する手書きの入力１０００を示す。
【0068】
ストローク１００１から１００９のセグメンテーション１２０４はセグメンテーション１２０２と同様であるが、このセグメンテーションにおいてストローク１００６は、ストローク１００６と１００７の間の見掛けのスペースをスペースとして扱うようにセグメント化され、その結果セグメンテーション１２０２内の「ｙ」に対応するキャラクタ候補Ｃ14は存在せず、代わりに候補認識「ｃｌｅａｎｉｎｇ ｔｈｅ ｋｅｎ ｂｏａｒｄ」（または前に論じられたように「ｃｌｅａｒｉｎｇ ｔｈｅ ｋｅｎ ｂｏａｒｄ」）に対する「ｎ」に対応するキャラクタ候補Ｃ14’が結果として生じる。認識処理において「ｎ」Ｃ14’はまた、ＨＷＲシステム１１４の言語モデルに基づいて同様なまたは異なる確率を有する「ｋｅｎ」の代わりに、「ｙ」と認識されてワード候補「ｋｅｙ」をもたらすことができることが留意される。
【0069】
ストローク１００１から１００９のセグメンテーション１２０６は、セグメンテーション１１０２と同様であるが、このセグメンテーションにおいてストローク１００１は、セグメンテーション１２０２内ではそれぞれ「ｃ」、「ｌ」、「ｅ」、および「ａ」に対応するキャラクタ候補Ｃ1、Ｃ2、Ｃ3、およびＣ4は存在せず、代わりに結果として候補認識「ｄｕｒｉｎｇ ｔｈｅ ｋｅｙｂｏａｒｄ」に対してそれぞれ「ｄ」および「ｕ」に対応するキャラクタ候補Ｃ1’およびＣ3’を生じるようにセグメント化される。
【0070】
ストローク１００１から１００９のセグメンテーション１２０８は、候補認識「ｄｕｒｉｎｇ ｔｈｅ ｋｅｎ ｂｏａｒｄ」（または上述のように「ｄｕｒｉｎｇ ｔｈｅ ｋｅｙ ｂｏａｒｄ」）を生じるように、セグメンテーション１２０４および１２０６の組み合わせである。これらの異なるセグメンテーションは、最も確からしい認識候補、例えば最も高い確率スコアのものに対応することができる。４つの最も確からしい認識候補が示されたが、本システムおよび方法によってより多数または少数がもたらされることができることが理解される。さらに候補１２０２から１２０８は例示のみであり、候補の確からしさの順序を意味しない。候補認識からデジタルインクへのこのマッピングが対話性をサポートするやり方の例が、次に述べられる。
【0071】
図１３Ａは、例えば示される表示された位置において、ユーザが下から上に彼等の指またはスタイラス先端をスワイプすることによる、単一ストロークでの下から上への縦の線としての入力として、インク管理システム１１２および／またはＨＷＲシステム１１４によって検出された編集ジェスチャ１３００を有するデジタルインク１０００を示す。すなわち下から上にストロークが次第に太くなることによって示されるように、時間順においてストローク開始位置はストローク終了位置の下にある。示される編集ストロークの特性は例であり、走り書きなどの他の特性、他の編集コマンドの形（後に詳しく述べられる）が可能である。例えばデジタルオブジェクトの場合のように、インクオブジェクトの編集はまたキーボード、ＵＩボタンまたはメニュー、カーソルまたは編集可能コンテンツとしてインクの選択との組み合わせなど、他のアクションおよびツールを通して達成されることができる。編集ストローク１３００は、ストローク１００６と１００７の間の通過として検出され、従ってインク管理システム１１２は編集ストローク１３００の相対位置を、デジタルインク１０００からだけでなく、基礎をなす認識されたインク１２００の候補認識例えば１２０２から１２０８のそれぞれからも知る。編集ジェスチャ１３００のこの相対位置、およびその下から上への書き込み方向特性を考慮することは、結果として編集ジェスチャ１３００は、検出された位置において、具体的には認識候補１２０２および１２０８に関して、スペースを削除するようにユーザによって意図されたとの決定を生じることができる（以下で詳しく述べられる）。この決定によってインク管理システム１１２は、デジタルインク１０００が、図１３Ｂに示されるように編集されたデジタルインク１０００’として再レンダリングされるようにし、ストローク１００６および１００７は一緒に連結される。デジタルインクのこの編集には、以下で述べられるようにインクオブジェクトによって表されるデジタルコンテンツの任意の適切な他の認識が伴う。
【0072】
編集ストローク１３００の決定または解釈において、インク管理システム１１２は、編集ストローク位置の近傍におけるストロークに参照付けされた認識候補を参照する。この近傍の範囲はプリセットおよび／またはユーザ設定可能（例えばＵＩメニューを通じて）とすることができ、一般にユーザエクスペリエンスに影響を与える場合がある処理負担およびタイミングを考慮に入れるべきである。例えばストローク１００６と１００７の間の編集ストローク１３００の位置は、代替キャラクタ候補Ｃ14’とキャラクタ候補Ｃ15との間の認識候補１２０４および１２０８において識別されたスペース候補と実質的に一致する。従ってインク管理システム１１２は、編集ジェスチャ１３００はスペース削除ジェスチャであると決定する、またはＨＷＲシステム１１４に決定させる（例えば適切な確率重み付けをもたらすことを通して）。この決定は少なくとも部分的に、例えば参照によりその内容全体が本明細書に組み込まれている本出願人および譲受人の名において出願された「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｎｏｔｅ Ｔａｋｉｎｇ ｗｉｔｈ Ｇｅｓｔｕｒｅｓ」という名称の特許文献４で述べられているジェスチャ検出および認識を用いて行われることができる。
【0073】
同様な削除アクションが、テキストキャラクタ、ワード、センテンス、段落その他、および非テキスト要素などの、コンテンツ自体に対してとられることができる。さらに細かな参照インデックス付け（具体的にはストロークサブポイントを用いた高精度インデックス付け）により、キャラクタなどの部分的削除が可能であり、なぜならデジタルインクのそれらの部分のみが省かれるようになり、認識はそれに従ってインクオブジェクトを修正するように調整されるからである。例えば図９の段落５００のストローク９０１、９０２、および９０３内のキャラクタのディセンダを選択したジェスチャは、これらの要素構成要素に対する削除ジェスチャとすることができ、その結果これらの部分の参照インデックスに対応するデジタルインク部分のみが省かれる。あるいは、または追加として、実際には完全削除が意図された部分的削除（例えばユーザによってなされた走り書きまたは取り消し線ジェスチャは部分的に選択しただけである、またはワードの終わりの１つまたは複数のキャラクタ、またはセンテンスの終わりの１つまたは複数のワードを見逃す）は、部分的キャラクタ参照インデックスは完全キャラクタ参照インデックスに属し、キャラクタ参照インデックスはワード参照インデックスに属し、ワード参照インデックスはセンテンス参照インデックスに属するなどとなり、結果としてより大きな参照インデックスのデジタルインクは削除されるので、完全削除を出力するようにインク管理システム１１２によって適切に取り扱われることができる。
【0074】
インク管理システム１１２は、例えばＵＩ選択などを通して削除がもとに戻されることができるように、デジタルインクをデバイス１００のメモリ１０８に記憶することによって永久的に、または一定の時間もしくは後続の操作の数の間、いずれの削除された参照インデックスインクのデジタルインクを保持するように構成されることができる。あるいは、または追加として、削除された参照インデックスのみが、基礎をなす認識結果（例えば部分的または全体のインクオブジェクト）と共に、インクオブジェクト内のメタデータとしておよび／またはメモリ１０８に保持されることができ、結果としてもとに戻すアクションをするとすぐに、ユーザの手書きをサンプリングすることによって生成される個人用ユーザフォントなど、認識結果および適切な手書きのようなフォントに基づいて、復元されたデジタルインクが生成されることができる。従って本システムおよび方法のインクオブジェクトは、同様な編集機能を用いてデジタルオブジェクトと同様に管理されるが、またインクオブジェクトとの対話が、基礎をなす手書き文字認識によって拡大されるので強化された機能をもたらし、デジタルオブジェクトを用いて行われることができない、部分的コンテンツ要素との対話を可能にする。
【0075】
図１３の例に戻ると、スペース削除決定は認識候補における変化を引き起こす。例えばインク管理システム１１２によって適切な確率重み付けをもたらすことを通して、認識候補１２０２および１２０６はインクオブジェクトから省かれるまたは最も確からしい認識候補リストから格下げされることができ、認識候補１２０４および１２０８は修正され、インク管理システム１１２によって適切な確率重み付けをもたらすことを通して、最も確からしい認識候補リスト内で格上げまたは昇格されることができる。図１３Ｃは、編集されたフレーズ１０００’の修正されたセグメンテーション１２０４’および１２０８’の表示を有する、例示の修正されたまたは編集された認識１２００’を示す。修正されたセグメンテーション１２０４’および１２０８’において、認識処理はさらに「ｎ」候補を省くまたは格下げして、キャラクタ候補Ｃ14’を「ｙ」として認識されるようにすることができ、なぜなら連結されたストローク１００６および１００７はこのときワード「ｋｅｙｂｏａｒｄ」を形成することが確からしいからであり、これは言語モデルに基づいてＨＷＲシステム１１４がより確からしいと決定することができる。この増加された確からしさはまた編集ジェスチャ１３００、ならびにもとのおよび編集されたフレーズ１０００および１０００’全体の決定において、インク管理システム１１２によって用いられることができる。
【0076】
前に述べられたように、編集ストローク対する近接したストロークの範囲またはアクションは、必要なさらなる認識処理の効率を考慮に入れる。しかし許容される範囲は、入力／デジタルインクのすでにまたは既存の認識された要素は再認識される必要がないことにより効率はインクオブジェクトによって強化されるので、比較的寛大となる。すなわち上述のように新たな入力のみが認識され、以前の認識結果はそれに対してなされる参照に従って保持され、修正され、または省かれる。しかしいくつかの場合において以前の認識結果は、新たな入力の認識の助けとならない、または新たな入力と一緒に再認識を必要とする場合があり、その結果新たな入力の認識に対する必要性に限定されるが、再認識が生じる場合があることが理解される。
【0077】
図１３の例の新たな「入力」は、コンテンツ自体ではなく、コンテンツに対する編集または制御アクションを表した。本システムおよび方法はまた、例えば以下のように新たなコンテンツ入力にも適用可能である。図１４Ａは、例えば表示された位置内でユーザが彼等の指またはスタイラス先端を上から下にスワイプすることによる単一ストロークでの上から下への縦の線としての入力としてインク管理システム１１２および／またはＨＷＲシステム１１４によって検出された、編集ジェスチャ１４００を有するデジタルインク１０００を示す。すなわち上から下にストロークが次第に太くなることによって示されるように、時間順においてストローク開始位置はストローク終了位置の上にある。示される編集ストロークの特性は例であり、くさび形などの他の特性、他の編集コマンドの形が可能である（後に詳しく述べられる）。編集ストローク１４００は、ストローク１００１（および１００２）と１００３（および１００４）との間の通過として検出され、従ってインク管理システム１１２には、デジタルインク１０００に対してだけでなく、基礎をなす認識されたインクの候補認識例えば１２０２から１２０８のそれぞれに対する、編集ストローク１４００の相対位置が分かる。
【0078】
編集ジェスチャ１４００のこの相対位置、およびその上から下への書き込み方向の考慮は結果として、編集ジェスチャ１４００は検出された位置において、デジタルインク１０００を切断または分割するようにユーザによって意図されたものとの決定を生じる。この決定によってインク管理システム１１２は、デジタルインク１０００が、図１４Ｂに示されるように編集されたデジタルインク１０００”として再レンダリングされるようにし、ストローク１００１（および１００２）と１００３（および１００４）には、それらの間にスペースがもたらされる。このスペースのサイズはプリセットおよび／またはユーザ設定可能（例えばＵＩメニューを通じて）とすることができ、一般にそのスペースにおいてもたらされることになる後の入力を許容するようにサイズ設定される。しかし通常の（テキストテンプレートなどに基づいて）サイズ設定された単一のスペースがもたらされることもできる。デジタルインクのこの編集には、インクオブジェクトによって表されるデジタルコンテンツの任意のさらなる認識が伴う。編集ストローク１４００の決定または解釈においてインク管理システム１１２は、図１３の例でのように、編集ストローク位置の近傍におけるストロークに参照付けられた認識候補を参照する。例えばストローク１００１（および１００２）と１００３（および１００４）との間の編集ストローク１４００の位置は、（最も確からしい）認識候補１２０２から１２０８のすべてにおいて識別されるスペースと実質的に一致する。従ってインク管理システム１１２は、編集ジェスチャ１４００はスペース追加ジェスチャであると決定するまたはＨＷＲシステム１１４に決定させる（例えば適切な確率重み付けをもたらすことを通して）。例えばこの決定は少なくとも部分的に、例えば上記の参照により組み込まれている特許文献４で述べられているジェスチャ検出および認識を用いて行われることができる。
【0079】
コンテンツ挿入はまた、既存のコンテンツを上書きすることによってなされ得る。このようなアクションはインク管理システム１１２によって、例えば上書きされたコンテンツの削除および新たな入力の挿入として、または既存のコンテンツへの新たな入力の追加（バー「－」の追加によって「ｌ」を「ｔ」に変えるなど）として解釈されることができる。上記で論じられたようにこれは、キャラクタなどの部分的上書き／削除、およびデジタルインクおよび／または参照インデックスの保持を通したもとに戻すアクションもたらすことを含む。
【0080】
インク管理システム１１２は、入力された編集ストロークをデジタルインクとして、例えば図１３Ａおよび１４Ａに示されるように形状、または認識された編集動作が行われるまで何らかの他の適切なレンダリングを用いて、表示するように構成されることができ、またはこのような表示なしに単に編集動作を行うことができる。検出された編集ジェスチャの表示は、ジェスチャ自体の認識およびその相対位置に関してユーザに認識フィードバックをもたらすために用いられることができる。別のやり方として最終的な編集動作例えば図１３Ｂおよび１４Ｂに示される変更された表示が、このようなフィードバックのために用いられることができる。
【0081】
図１４Ｃは、ストローク１００１（および１００２）と１００３（および１００４）との間のスペース内にあるものとして、インク管理システム１１２および／またはＨＷＲシステム１１４によって検出された新たな入力１４０２と共に、編集されたデジタルインク１０００”を示し、それによって「ｃｌｅａｎｉｎｇ ｏｆ ｔｈｅ ｋｅｙｂｏａｒｄ」の編集されたフレーズ１０００”を形成する。未処理（およびデジタル）インク１４０２は、ワード「ｏｆ」を形成するテキストキャラクタを表すストロークを含む。前に論じられたようにインク管理システム１１２はストロークをセグメント化して、入力の参照インデックス、および従ってデジタルインクを決定するために用いられる参照セグメンテーションを生成する。例えば新たなストローク１４０２のストロークインデックスはストローク［９］とすることができ、すなわちストローク［８］であるストローク１００９から順次に続き、および例えば６０ポイントを有するようにセグメント化され、その結果例えば参照インデックスｒ22は［９：０，９：３０］に対応し、参照インデックスｒ23は［９：３０，９：６０］に対応する。上述のようにサブポイントも参照することによってさらなる精度がもたらされることができる。このようにして以前にインデックス付けされたコンテンツの参照インデックスは乱されず、新たな入力は既存のコンテンツと組み合わせて参照される。
【0082】
非コンテンツ入力の場合のように編集ジェスチャ１４００と同じように、前に述べられたように新たなストローク位置の近傍のストロークに参照付けられた認識候補に対する新たな入力１４０２の相対位置の考察は、結果として新たな入力は、検出された位置でのデジタルインク１０００’に対する新たなコンテンツとして、具体的には認識候補１２０２および１２０４に対して、ユーザによって意図されたとの決定を生じることができる（以下で詳しく述べられる）。この決定を用いてインク管理システム１１２は、編集されたデジタルインク１０００’のさらなる再レンダリングを引き起こしてコンテンツ挿入のための追加のスペースをもたらし、次いで例えば新たなコンテンツが入力された後にこのスペースを縮小することができる。あるいはユーザには、これを可能にするためにさらなるスペースを挿入することが要求されることができる。デジタルインクのこの編集は、インクオブジェクトによって表されるデジタルコンテンツの任意の適切なさらなる認識を伴うことができ、例えばインク管理システム１１２によって、ストローク１４０２は新たなコンテンツであることを決定しまたはＨＷＲシステム１１４に決定させ（例えば適切な確率重み付けをもたらすことを通して）、その結果、入力のタイプはすでに決定されまたは前処理されているので新たなコンテンツの認識処理はより速く実行されることができる。従って認識プロセスにおいて新たなストローク１４０２はセグメント化されて、可能性の高いキャラクタ候補を決定し、これは新たな入力１４０２のワード「ｏｆ」の認識に繋がり、この認識は既存の認識候補を参照して行われるが、それが必要であると決定されない限り（例えばキャラクタがワードに追加されるなど）それらの候補に混乱を生じない。
【0083】
この例においてこの認識は、認識候補における変化を引き起こす。例えば図１４Ｄは、編集されたフレーズ１０００”の修正されたセグメンテーション１２０２’および１２０４”の表示を有する例示の修正されたまたは編集された認識１２００”を示す。修正されたセグメンテーション１２０２’および１２０４”のそれぞれにおいて、ストローク１４０２はセグメント化されて、一連の認識されたキャラクタＣnの追加の認識されたキャラクタを生じる。すなわちストローク１００１から１００９のセグメンテーションは変わらない。追加の認識されたキャラクタＣnは、「ｏ」Ｃ20および「ｆ」Ｃ21を含む。前の例でのように修正された認識セグメンテーション１２０２’および１２０４”のそれぞれは、一般に参照セグメンテーションに対応し、その結果インク管理システム１１２は拡大された参照インデックスｒmを、拡大された候補キャラクタＣnにマップする。すなわち新たなキャラクタＣ20は参照インデックスｒ21に対応し、新たなキャラクタＣ21は参照インデックスｒ22に対応し、既存の候補キャラクタ、および他のストローク１００２から１００９に対する参照インデックスのマッピングは維持される。従ってデジタルインク１０００の、基礎をなす認識１２０２’および１２０４”は、例えば「ｃｌｅａｎｉｎｇ」に対応するワード［０：０，１：１０］、「ｏｆ」に対応するワード［９：０，９：６０］、「ｔｈｅ」に対応するワード［２：０，３：１０］、および「ｋｅｙｂｏａｒｄ」に対応するワード［４：０，８：４０］として、参照インデックス付けを通じて決定されることができ、第４のインクオブジェクトは参照インデックス［９：０，９：６０］に対応する。
【0084】
この例において認識候補１２０６および１２０８は、インク管理システム１１２によって適切な確率重み付けをもたらすことを通して、インクオブジェクトから省かれ、または最も確からしい認識候補リストから格下げされ、認識候補１２０２および１２０４は修正され、インク管理システム１１２によって適切な確率重み付けをもたらすことを通して最も確からしい認識候補リストにおいて格上げまたは昇格されることができる。これはなぜなら認識候補１２０６および１２０８の両方においてストローク１００１および１００２は、候補認識「ｄｕｒｉｎｇ」に対応し、言語モデルに基づいてＨＷＲシステム１１４は、例えばフレーズ「ｄｕｒｉｎｇ ｏｆ ｔｈｅ ｋｅｙｂｏａｒｄ」または「ｄｕｒｉｎｇ ｏｆ ｔｈｅ ｋｅｎ ｂｏａｒｄ」の確からしさは、もとの入力１０００の認識から比較的に低減されると決定するからである。一方、それぞれ「ｃｌｅａｎｉｎｇ ｏｆ ｔｈｅ ｋｅｙｂｏａｒｄ」および「ｃｌｅａｎｉｎｇ ｏｆ ｔｈｅ ｋｅｎ ｂｏａｒｄ」の修正された認識候補１２０２’および１２０４”の相対的確からしさは、もとの認識候補１２０２および１２０４とおおよそ同じく最も確からしい。
【0085】
従ってインク管理システム１１２は対話を管理して、デジタルインクキャラクタ、ワードなどのそれぞれに対応するインクオブジェクトを調整することによってデジタルインクを編集し、これはデジタルインクの再レンダリング、およびそれに対応する基礎をなす認識候補の修正または調整を通して対話される。従ってインクオブジェクトは作られた任意のエディションを用いて更新され、その結果デジタルインクコンテンツから、タイプセットされたまたはフォント化されたコンテンツへの変換の後すぐに（例えば文書の最終化の後すぐに）、更新されたインクオブジェクトに基づいてタイプセッティングが行われ、それにより最新のおよび適用可能な認識結果が変換において用いられる。
【0086】
さらに上述のデジタルインクおよび／または削除および挿入アクションの参照インデックスでのように、デジタルインクに戻すための、もとに戻すアクションが同様にとられるように、インクオブジェクトはタイプセッティングが行われた後にインク管理システム１１２によって保持されることができる。インクオブジェクトはデジタルオブジェクトへの変換の後すぐに、例えばインクオブジェクトをデバイス１００のメモリ１０８に記憶することによって永久的に、または一定の時間もしくは後続の操作の数の間、保持されることができる。あるいはタイプセッティングを通したインクオブジェクトの保持は、単にデジタルインクをタイプセットされたインクとして再レンダリングすることによって行われることができ、その結果デジタルオブジェクトに変換されるのではなく、デジタルコンテンツはインクオブジェクトによって特性化されたままとなる。このようにして、タイプセットされたインクとの対話は、デジタルインクとの対話と同様のやり方でインク管理システム１１２によって扱われる。すなわち同様な機能がもたらされるように、関連する基礎をなす認識結果に参照がなされる。これは混合されたコンテンツ、例えば手書き修正、またはタイプセットされたコンテンツへの注釈を入力する能力をもたらすことにおいて特に有用であり、手書きの入力は、既存のインクオブジェクトへの参照を用いて解釈されて、手書きの、タイプセットされたコンテンツへのシームレスな統合をもたらす。タイプされたコンテンツが手書きのデジタルインクに追加されることによって、逆も可能である。この場合デコードされたキーストロークは、インク管理システム１１２によって認識候補として扱われることができ、それにより、タイプされたコンテンツはインクオブジェクトとして公式化される。同様の可能性が、手書きまたはデジタル入力ツールを用いて入力された混合の非テキストコンテンツに当てはまる。
【0087】
前に述べられたようにインクオブジェクトを編集するために、手書きの編集ジェスチャ以外に、編集コマンドも用いられることができる。これらの編集コマンドは、ＵＩメニュー、キーボード（例えばバックスペース）、およびマウス（例えば選択）を通じてもたらされるものなどの従来の編集コマンドを含む。すなわち前に論じられたように参照インデックス付けは、デジタルインクに対する入力カーソルの実質的に正確な配置を可能にし、およびまたテキストキャラクタなどのコンテンツ要素の範囲の正確な知識をもたらす。従ってレンダリングされるインクがデジタルインクであるかそれともタイプセットされたインクであるかに関わらず、カーソルはキャラクタ境界などの要素境界に位置決めされることができ、従って従来の編集コマンドが、デジタルオブジェクトと同様に用いられることができる。例えば図１５Ａは、段落の一部分１５００が選択された図５のデジタルインク段落５００を示し、図１５Ｂは、段落の一部分１５０２が選択された図６の対応するタイプセットされたインク段落６００を示す。両方の図において選択は同じコンテンツのものであり、文書処理アプリケーションにおいて通常もたらされるように強調表示された選択領域として示される。選択領域１５００および１５０２は、それぞれのデジタルおよびタイプセットされたインクキャラクタのキャラクタ境界において、すなわちカーソル位置を用いてレンダリングされる。従って両方の場合において、選択されたコンテンツの参照インデックスに対応するインクオブジェクトは、任意の後の対話に対して選択される。
【0088】
デジタルコンテンツの作成のためのコンピューティングデバイス上の手書きの使用は、これらのデバイスがサイズ、ページ数などの紙の物理的制限をもたないので有利である。しかし手書きを用いてデジタルコンテンツを作成することは、現在はデジタルインクが伝統的に管理される方法のために、タイピングのように容易または効果的ではない。従来、デジタルコンテンツはタイプされたテキストオブジェクト、または形状および式などのデジタル的に描かれた非テキストオブジェクトから作られる。現在のデジタルインク管理は、手書きのオブジェクトを画素またはストロークとして捕捉し、これはデジタルコンテンツモデルに適合しない。これは作成者がキーボードを用いてタイプすることによって、または非テキストコンテンツの作成および編集のための複雑なツールを用いて、コンテンツを再入力しなければならないことに繋がる。
【0089】
手書き文字認識技術は、この再入力パラダイムを回避することができる。しかし手書きは一般に、様々なサイズおよび方向のテキストを有して構造化されておらず、非テキストと組み合わされているので、従来行われるように一度に全部のコンテンツに対して認識を行うことは、この技術の最良の使用をもたらさない。これは作成者が、出版可能なデジタルコンテンツを作成するために認識後の多くの編集を行わなければならないことに繋がり、手書き文字認識がもたらし得る生産性増加を著しく制限する。
【0090】
本システムおよび方法は、インク管理システムを通して、デジタルインクの生産性を飛躍的に改善する。インク管理システムは、テキストおよび非テキストに対して、デジタルインクと「オンザフライ」認識との組み合わせを通して、タイプされたデジタルコンテンツとして容易に管理可能な対話型インクをもたらす。このデジタルインクと認識結果との組み合わせは、デジタルインクを、タイプされたオブジェクトのように対話型であるインクオブジェクトに変換し、バックスペースおよびエンターなどのキーボード、ならびに選択およびドラッグアンドドロップのようなマウスのものに近い、直感的なジェスチャによって操作されることができる。デジタルインクとの対話は、技術に精通していないユーザに対しても直感的なユーザエクスペリエンスをもたらす。
【0091】
上記は最良の形態と考えられるものおよび／または他の例を述べたが、それらに様々な変更がなされることができ、本明細書で開示される本主題は様々な形および例において実施されることができ、およびそれらは数多くの他の応用例、組み合わせ、および環境において応用されることができ、本明細書ではそのいくつかのみが述べられていることが理解される。当業者は、開示された態様は本主題の真の精神および範囲から逸脱せずに変形または修正されることができることを認識するであろう。従って本主題は、この記述における特定の詳細、提示、および示された例に限定されない。本明細書で開示される有利な概念の真の範囲に包含されるあらゆる修正および変更を保護することが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12A】
【図12B】
【図13A】
【図13B】
【図13C】
【図14A】
【図14B】
【図14C】
【図14D】
【図15A】
【図15B】