IP Force 特許公報掲載プロジェクト 2022.1.31 β版

ホーム > 特許ランキング > マイスクリプト

このエントリーをはてなブックマークに追加

知財求人 - 知財ポータルサイト「IP Force」

▶ マイスクリプトの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-13
(45)【発行日】2024-05-21
(54)【発明の名称】テキスト行抽出
(51)【国際特許分類】
   G06V 30/14 20220101AFI20240514BHJP
   G06V 10/82 20220101ALI20240514BHJP
   G06T 7/00 20170101ALI20240514BHJP
【ＦＩ】
G06V30/14 340K
G06V10/82
G06T7/00 350C
【請求項の数】 15
(21)【出願番号】P 2022504626
(86)(22)【出願日】2020-07-29
(65)【公表番号】
(43)【公表日】2022-10-05
(86)【国際出願番号】 EP2020071420
(87)【国際公開番号】W WO2021018973
(87)【国際公開日】2021-02-04
【審査請求日】2023-07-25
(31)【優先権主張番号】19189346.0
(32)【優先日】2019-07-31
(33)【優先権主張国・地域又は機関】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】515295429
【氏名又は名称】マイスクリプト
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】エベール ダヴィド
【審査官】佐藤 実
(56)【参考文献】
【文献】Quang Nhat Vo et al.，Dense prediction for text line segmentation in handwritten document images，2016 IEEE International Conference on Image Processing (ICIP)，IEEE，2016年，pp.3264-3268，https://ieeexplore.ieee.org/document/7532963
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ ３０／００ －３０／４２４
Ｇ０６Ｖ １０／８２
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
テキスト手書き（ＩＮ）を処理するためのコンピューティングデバイス（１００）によって実装される方法であって、
実質的に手書き方向（ｘ）に沿って入力されたデジタルインクのストローク（ＳＴ）を表示領域内に表示すること（Ｓ４）と、
前記ストロークからテキスト行（ＬＮ）を抽出するためにテキスト行抽出（Ｓ１０）を実行することであって、前記テキスト行抽出は、
前記手書き方向を横断して伸びるストリップ（ＳＰ）へと前記表示領域をスライスすること（Ｓ１２）であって、隣接するストリップが、各ストロークが少なくとも２つの隣接するストリップに含まれるように互いに部分的に重なり合う、前記スライスすることと、
各ストリップ（ＳＰ）について、少なくとも部分的に前記ストリップに含まれる前記ストローク（ＳＴ）を順序付けて（Ｓ１４）、時間的順序で並べられたストロークの第１の時間的に順序付けられたリスト（Ｌ１ａ）、及び少なくとも１つのそれぞれの空間的基準に従って順序付けられたストロークの少なくとも１つの第１の空間的に順序付けられたリスト（Ｌ２ａ～Ｌ４ａ）を生成し、順序付けられたリストの第１のセット（ＳＬａ）を形成することと、
前記第１の時間的に順序付けられたリスト及び前記少なくとも１つの第１の空間的に順序付けられたリストからそれぞれサイズ閾値未満のストロークをフィルタ除去することにより、各ストリップ（ＳＰ）について、ストロークの第２の時間的に順序付けられたリスト（Ｌ１ｂ）及びストロークの少なくとも１つの第２の空間的に順序付けられたリスト（Ｌ２ｂ～Ｌ４ｂ）を含む、順序付けられたリストの第２のセット（ＳＬｂ）を形成すること（Ｓ１６）と、
少なくとも１つの人工ニューラルネットワークにより、ニューラルネット分析（Ｓ１８）を実行して、決定クラス（ＣＬ）として、前記第１及び第２のセットの順序付けられた各リスト内の連続ストロークの各ペア（ＰＲ）について、前記決定クラスの確率スコア（Ｐ）に関連して、前記ペアのストロークが同一のテキスト行（ＬＮ）に属するかどうかを判定することと、
前記第１及び第２のセットの少なくとも１つの順序付けられたリストに含まれる連続ストロークの各ペアについて、前記ニューラルネット分析の間に最高の確率スコア（Ｐ）で確定された前記決定クラス（ＣＬ）を選択すること（Ｓ２０）と、
連続ストロークの各ペアについて選択された最高の確率スコアを有する前記決定クラスに基づいてストロークを行仮定（ＬＨ）へと統合することによってテキスト行を定義すること（Ｓ２２）とを含む、
前記実行することと、
を含む、前記方法。
【請求項2】
前記デジタルインクのストロークは、手書きガイドの制約を何も受けないフリー手書き形式で入力される、請求項１に記載の方法。
【請求項3】
前記スライスすることは、前記ストリップ（ＳＰ）が互いに平行であり、前記ストリップが同じ方向（Ｙ）、いわゆるストリップ方向に沿って伸びるように構成される、請求項１または２に記載の方法。
【請求項4】
前記スライスすることは、
前記ストロークのスケールに基づいて前記ストリップの幅を確定することであって、前記スケールが、前記ストロークの平均サイズまたは高さに対応する、前記確定することと、
前記ストロークが少なくとも部分的に含まれる各ストリップに各ストロークを割り当てることと、
を含む、請求項３に記載の方法。
【請求項5】
前記スライスすることは、隣接するストリップの各ペア（ＰＲ）が互いに部分的に重なり合って、それぞれの領域の５０％～８５％を共有するように構成される、請求項３または４に記載の方法。
【請求項6】
前記順序付けることにおいて各ストリップ（ＳＰ）について生成された前記少なくとも１つの第１の空間的に順序付けられたリストは、
前記ストリップの各ストロークのそれぞれの重心の、前記ストリップの方向に沿った位置に従って順序付けられたストロークの空間的に順序付けられたリスト（Ｌ２ａ）、
前記ストリップの各ストロークの前記ストリップ方向に沿った第１の向きにおける最も外側の座標に従って順序付けられたストロークの空間的に順序付けられたリスト（Ｌ３ａ）、及び
前記ストリップの各ストロークの前記ストリップ方向に沿った、前記第１の向きとは反対の第２の向きにおける最も外側の座標に従って順序付けられたストロークの空間的に順序付けられたリスト（Ｌ４ａ）、のうちの少なくとも１つを含む、請求項３から５のいずれか一項に記載の方法。
【請求項7】
順序付けられたリストの第２のセットを前記形成することは、各ストリップ（ＳＰ）について、
前記ストロークのストリップ方向における高さまたは最大距離のうちの少なくとも一方に基づいて前記ストリップの各ストロークの第１のサイズを評価し、前記ストロークの長さに基づいて前記ストリップの各ストロークの第２のサイズを評価することと、
前記第１の時間的に順序付けられたリスト及び前記少なくとも１つの第１の空間的に順序付けられたリストから、前記第１または第２のサイズのいずれかがサイズ閾値未満であるときの各ストロークを削除し、前記第２の時間的に順序付けられたリスト及び前記少なくとも１つの第２の空間的に順序付けられたリストをそれぞれ生成することと、
を含む、請求項１から６のいずれか一項に記載の方法。
【請求項8】
前記ニューラルネット分析は、
少なくとも１つの人工分類器またはニューラルネットにより、順序付けられたリストの前記第１及び第２のセット（ＳＬａ、ＳＬｂ）の順序付けられたリストに含まれる連続ストロークの各ペア（ＰＲ）における前記ストロークが同一のテキスト行（ＬＮ）に属する確率を表す確率スコア（Ｐ）を計算することと、
連続ストロークの各ペアについての決定クラス（ＣＬ）として、前記確率スコアが少なくとも確率閾値に達した場合に前記ペアのストローク（ＳＴ）が同一のテキスト行に属すると確定することと、
を含む、請求項１から７のいずれか一項に記載の方法。
【請求項9】
前記ニューラルネット分析の間、前記少なくとも１つの人工ニューラルネットは、前記第１及び第２のセット（ＳＬａ、ＳＬｂ）の順序付けられた各リスト内の連続ストロークの各ペア（ＰＲ）を順次分析して、前記順序付けられたリスト内の前記ストロークに関連する空間的及び時間的情報に基づき、それぞれの決定クラス及び確率スコアを確定する、請求項８に記載の方法。
【請求項10】
前記選択することは、
前記第１及び第２のセットの少なくとも１つの順序付けられたリストに含まれる連続ストロークの各ペアについて、それぞれの確率スコアＰに関連して、前記選択された決定クラスを確率行列（ＰＭ）へと集約することを含む、請求項１から９のいずれか一項に記載の方法。
【請求項11】
前記テキスト行を定義することは、
前記確率行列（ＰＭ）を、前記確率行列に含まれる連続ストロークの各ペアについての前記決定クラス及び関連確率スコアを含むエントリのベクトルリスト（ＬＴ）へと変換することであって、前記ベクトルリストは、各ペアの前記確率スコアの値の降順に従って並べられる、前記変換することと、
前記ベクトルリスト内の連続ストロークの各ペア（ＰＲ）について、最高の関連確率スコアから最低の関連確率スコアまで、連続ストロークの前記ペアに割り当てられた行仮定を順次確定することであって、各行仮定は、同一のテキスト行の少なくとも１つのストロークを含む、前記確定することと、
を含み、
得られた各行仮定は、前記ベクトルリストの全てのストロークがそれぞれの行仮定に一旦割り当てられたら、それぞれのテキスト行を定義する、請求項１０に記載の方法。
【請求項12】
前記テキスト行を定義することの間、前記ベクトルリスト（ＬＴ）に含まれる連続ストロークのペア（ＰＲ）の２つのストロークは、前記ペアについて前記最高の確率スコアで先に選択された前記決定クラスが、前記２つの連続ストロークが同一のテキスト行に属することを示している場合、かつ前記最高の確率スコアが少なくとも最終閾値に達している場合、同一のテキスト行に対応する同一の行仮定（ＬＨ）へと統合される、請求項１１に記載の方法。
【請求項13】
前記テキスト行を定義することは、
前記ベクトルリスト（ＬＴ）に含まれる連続ストロークのペア（ＰＲ）、すなわち、第１及び第２の行仮定にそれぞれ属する第１及び第２のストロークを選択すること（Ｓ２３）であって、前記第１及び第２の行仮定のうちの少なくとも一方が少なくとも２つのストロークを含む、前記選択することを含み、
前記ペアの前記第１及び第２のストロークが、少なくとも前記最終閾値に達した最高の確率スコアで同一のテキスト行に属することを検出する（Ｓ２４）と、前記コンピューティングデバイスは、
前記第１の行仮定に既に割り当てられた連続ストロークの各ペアの前記確率スコアに基づいて前記第１の行仮定の第１の行スコアを計算すること（Ｓ３０）であって、前記第１の行スコアは、前記第１の行仮定の各ストロークが第１のテキスト行の一部である尤度を表す、前記第１の行スコアを計算することと、
前記第２の行仮定に既に割り当てられた連続ストロークの各ペアの前記確率スコアに基づいて前記第２の行仮定の第２の行スコアを計算すること（Ｓ３２）であって、前記第２の行スコアは、前記第２の行仮定の各ストロークが第２のテキスト行の一部である尤度を表す、前記第２の行スコアを計算することと、
前記第１及び第２の行仮定の各ストロークを統合した第３の行仮定に割り当てられた連続ストロークの各ペアの前記確率スコアに基づいて第３の行スコアを計算すること（Ｓ３４）であって、前記第３の行スコアは、前記第１及び第２の行仮定の各ストロークが第３のテキスト行を共に形成する尤度を表す、前記第３の行スコアを計算することと、
前記第１の行スコアと前記第２の行スコアの和と前記第３の行スコアとの比較に基づいて前記第１及び第２の行仮定が前記第３の行仮定へとマージされるかどうかを判定すること（Ｓ３６）と、
を含む決定プロセス（Ｓ２７）を実行する、請求項１２に記載の方法。
【請求項14】
コンピュータプログラムであって、前記プログラムがコンピュータによって実行されるときに請求項１から１３のいずれか一項に記載の方法のステップを実行するための命令を含む、前記コンピュータプログラム。
【請求項15】
手書きテキストを処理するためのコンピューティングデバイス（１００）であって、
実質的に手書き方向に沿って入力されたデジタルインクのストローク（ＳＴ）を表示領域内に表示する表示ユニット（１０２）と、
前記ストロークからテキスト行（ＬＮ）を抽出するためにテキスト行抽出を実行する行抽出ユニット（ＭＤ２）であって、
前記手書き方向を横断して伸びるストリップへと前記表示領域をスライスするスライスモジュール（ＭＤ４）であって、隣接するストリップは、各ストロークが少なくとも２つの隣接するストリップに含まれるように互いに部分的に重なり合う、前記スライスモジュールと、
各ストリップについて、少なくとも部分的に前記ストリップに含まれる前記ストロークを順序付けて、時間的順序で並べられたストロークの第１の時間的に順序付けられたリスト、及び少なくとも１つのそれぞれの空間的基準に従って順序付けられたストロークの少なくとも１つの第１の空間的に順序付けられたリストを生成し、順序付けられたリストの第１のセットを形成する順序付けモジュール（ＭＤ６）と、
前記第１の時間的に順序付けられたリスト及び前記少なくとも１つの第１の空間的に順序付けられたリストからそれぞれサイズ閾値未満のストロークをフィルタ除去することにより、各ストリップについて、ストロークの第２の時間的に順序付けられたリスト及びストロークの少なくとも１つの第２の空間的に順序付けられたリストを含む、順序付けられたリストの第２のセットを形成する形成モジュール（ＭＤ８）と、
少なくとも１つの人工ニューラルネットワークにより、ニューラルネット分析を実行して、決定クラスとして（ＣＬ）、前記第１及び第２のセットの順序付けられた各リスト内の連続ストロークの各ペアについて、前記決定クラスの確率スコア（Ｐ）に関連して、前記ペアのストロークが同一のテキスト行に属するかどうかを判定するニューラルネットモジュール（ＭＤ１０）と、
前記第１及び第２のセットの少なくとも１つの順序付けられたリストに含まれる連続ストロークの各ペアについて、前記ニューラルネット分析の間に最高の確率スコアで確定された前記決定クラスを選択する選択モジュール（ＭＤ１２）と、
連続ストロークの各ペアについて選択された最高の確率スコアを有する前記決定クラスに基づいてストロークを行仮定へと統合することによってテキスト行を定義する行定義モジュール（ＭＤ１４）と、
を含む前記行抽出ユニットと、
を含む、前記コンピューティングデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、テキスト手書きのユーザ入力を認識することができるコンピューティングデバイスインターフェースの分野に関する。特に、本開示は、デジタルインクのストロークからテキスト行を認識するためのコンピューティングデバイス及び対応する方法に関する。
【背景技術】
【0002】
コンピューティングデバイスは、日常生活にますます広く普及化し続けている。コンピューティングデバイスは、コンピュータデスクトップ、ラップトップ、タブレットＰＣ、ハイブリッドコンピュータ（ツーインワン）、電子書籍リーダ、携帯電話、スマートフォン、ウェアラブルコンピュータ（スマートウォッチ、スマートグラス／ヘッドセットを含む）、全地球測位システム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、パーソナルデジタルアシスタント（ＰＤＡ）、ゲーム機などの各種の形態をとり得る。さらに、コンピューティングデバイスは、自動車、トラック、農機具、製造装置、建物環境制御（例えば、照明、ＨＶＡＣ）、ならびに家庭用機器及び商用機器などの、車両及び装置に組み込まれている。
【0003】
テキストコンテンツ（例えば、英数字）または非テキストコンテンツ（例えば、形状、図面）などの、ユーザによって手描きまたは手書きされた入力要素を入力及び認識するための各種の形態のコンピューティングデバイスが知られている。この目的のために、既知のコンピューティングデバイスは、一般に、表示スクリーン上に表示され得るデジタルインクのストロークの形でユーザが手書きコンテンツを入力することを可能にするタッチ感応面などを備えている。
【0004】
ユーザは通常、入力面（または任意の適切なユーザインターフェース）を使用して、フリー手書き形式（またはフリー手書きモード）で、つまり、テキスト手書き入力の位置、サイズ及び方向の手書きの制約を何も伴わずにコンピューティングデバイス上に入力ストロークを手書きし得る。フリー手書きモードでは、手書きの目的でユーザに行のパターンが強いられることはない。フリー手書き形式は、手書き入力中にユーザに完全な自由を与えてくれる。このことは、例えば、迅速かつ多種多様なメモをとるか、またはテキストと非テキストの混合入力をするのに望ましい場合がある。
【0005】
図１Ａは、適切なユーザインターフェースを使用してフリー手書きモードでユーザによって手描きまたは手書きされたインク入力要素を表示する表示デバイス１を含むコンピューティングデバイス１の実施例を示す。この場合、コンピューティングデバイス１は、テキストコンテンツ４及び６ならびに非テキストコンテンツ８、１０及び１２を検出及び表示する。これらの要素のそれぞれは、デジタルインクの１つ以上のストロークによって形成される。入力要素は、例えば、テキストの手書き、図、音楽の注釈などを含み得る。この実施例では、形状８は、要素６と要素８の両方を共に選択及び操作できるようにテキストコンテンツ６を含むコンテナ（ボックス）を構成する長方形などである。
【0006】
さらに、手書き認識はまた、各種の既知の技術を実装することによってコンピューティングデバイスによって実行され得る。ユーザの手書き入力は、通常、リアルタイムの手書き認識システムまたは方法を使用して解釈される。オンラインシステム（クラウドベースのソリューションなどを使用して行われる認識）またはオフラインシステムのいずれかが使用され得る。一旦認識されると、コンピューティングデバイスは、図１Ｂのこの実施例に示されているように、入力ストロークをタイプセットバージョンへと転換し得る。
【0007】
テキスト行抽出は、テキスト手書き認識における重要なステップの１つである。この動作は、フリー手書き形式でユーザによって入力されたテキストコンテンツから様々なテキスト行を認識することを目的としている。換言すれば、テキスト行抽出により、コンピューティングデバイスは、各種の入力ストロークがどのテキスト行に属するかを確定することができる。テキスト行抽出は、ある場合には比較的簡単となり得るが、他の場合、特にユーザが経時的順序で手書きしないときには特に複雑にもなり得、エラーの原因にもなり得る。多くの場合、ユーザは論理的な時間的順序でテキストを手書きしているため、コンピューティングデバイスは、各入力ストロークの時間的順序に依存して各テキスト行の開始及び終了を識別し得る。しかしながら、遅延した、すなわち時間的順序ではないストロークをユーザが手書きするときには難易度が大幅に増加する。
【0008】
ユーザは、例えば、時間を節約するために発音区別符号なしで特定の向きに沿って文字のグループを手書きした後、欠けている発音区別符号を文字の全てのグループに補足しようと決める場合がある。一部の言語は、特に、このような経時的ではない手書き入力になる傾向がある。例えば、図２Ａ及び２Ｂは、アラビア語及びベトナム語での手書き入力の実施例を示す。見て分かるように、各種の形及びスタイルの、多数の発音区別符号が文字に付加されている。このような言語では、経時的ではない手書き入力の課題が重要となる。既知のコンピューティングデバイスにとって、所与の発音区別符号が文字の上部に付加されているか（発音区別符号が下のテキスト行に属していることを意味する）、それとも別の文字の下部に付加されているか（発音区別符号が上のテキスト行に属していることを意味する）を確定することは特に難しい場合がある。同様に、全文などを手書きした後に句読点をパケットで追加することにより、不確実性がより高まる場合がある。発音区別符号は、例えば、コンマなどと容易に混同されて、テキスト行抽出のタスクをより一層複雑にする場合がある。
【0009】
より一般的には、先に入力されたテキストの手書きを訂正または完了するための何らかの遅延したストロークは、時間的順序の中断につながり、それによってテキスト行抽出のプロセスにおいてエラーのリスクが高まる場合がある。
【0010】
テキスト手書きは、ユーザによる入力が不十分な場合があることを考慮すると（例えば、手書き速度が速すぎるか、または認識しにくい手書きスタイルのため）、既知の手書き認識システムは、信頼性の低いテキスト行抽出の影響を受けやすい。特に、発音区別符号、句読点などの不適切な位置付け（すなわち、ストロークを間違ったテキスト行に関連付けることによる）は、テキスト手書き認識に悪影響を及ぼし、したがって全体的なユーザ体験を損なう場合がある。
【0011】
したがって、入力ストローク（発音区別符号、句読点など）が不適切なテキスト行に関連付けられることを回避するために、特にフリー手書きモードで入力されるテキスト手書きについて、コンピューティングデバイスにおける効率的かつ信頼性の高いテキスト行抽出を可能にする解決策が必要とされている。
【発明の概要】
【0012】
本明細書において以下で説明される本発明の実施例は、テキスト行抽出を実行するためのコンピューティングデバイス、方法及び対応するコンピュータプログラムを提供する。
【0013】
特定の態様によれば、本発明は、テキスト手書きを処理するためのコンピューティングデバイスによって実装される方法であって、
実質的に手書き方向に沿って入力されたデジタルインクのストロークを表示領域内に表示することと、
ストロークからテキスト行を抽出するためにテキスト行抽出を実行することであって、テキスト行抽出は、
手書き方向を横断して伸びるストリップへと表示領域をスライスすることであって、隣接するストリップが、各ストロークが少なくとも２つの隣接するストリップに含まれるように互いに部分的に重なり合う、スライスすることと、
各ストリップについて、少なくとも部分的にストリップに含まれるストロークを順序付けて、時間的順序で並べられたストロークの第１の時間的に順序付けられたリスト、及び少なくとも１つのそれぞれの空間的基準に従って順序付けられたストロークの少なくとも１つの第１の空間的に順序付けられたリストを生成し、それによって順序付けられたリストの第１のセットを形成することと、
第１の時間的に順序付けられたリスト及び少なくとも１つの第１の空間的に順序付けられたリストからそれぞれサイズ閾値未満のストロークを除去することにより、各ストリップについて、ストロークの第２の時間的に順序付けられたリスト及びストロークの少なくとも１つの第２の空間的に順序付けられたのリストを含む、順序付けられたリストの第２のセットを形成することと、
ニューラルネット分析を実行して、決定クラスとして、第１及び第２のセットの順序付けられた各リスト内の連続ストロークの各ペアについて、決定クラスの確率スコアに関連して、ペアのストロークが同一のテキスト行に属するかどうかを判定することと、
第１及び第２のセットの少なくとも１つの順序付けられたリストに含まれる連続ストロークの各ペアについて、ニューラルネット分析の間に最高の確率スコアで確定された決定クラスを選択することと、
連続ストロークの各ペアについて選択された最高の確率スコアを有する決定クラスに基づいてストロークを行仮定へと統合することによってテキスト行を定義することとを含む、実行することとを含む、方法を提供する。
【0014】
先に示されたように、行抽出は、テキスト認識における重要なステップであり、特に、発音区別符号、句読点などのいくつかのタイプのストロークに関しては、必ずしも満足のいく結果をもたらさない場合がある。より一般的には、テキストの手書きが経時的ではない順序で入力されたとき、テキスト行抽出の間にエラーが発生する場合がある。本発明は、コンピューティングデバイスによってテキスト手書きに対して手書き認識が実行されるときに効率的かつ信頼性の高いテキスト行抽出を可能にする。
【0015】
特定の実施形態では、デジタルインクのストロークは、手書きガイドの制約を何も受けないフリー手書き形式で入力される。
【0016】
特定の実施形態では、スライスすることは、同じストリップ方向に沿ってストリップが伸びるように構成される。
【0017】
特定の実施形態では、スライスすることは、
ストロークのスケールに基づいてストリップの幅を確定することと、
ストロークが少なくとも部分的に含まれている各ストリップに各ストロークを割り当てることと、を含む。
【0018】
特定の実施形態では、スライスすることは、隣接するストリップの各ペアが互いに部分的に重なり合って、それぞれの領域の５０％～８５％を共有するように構成される。
【0019】
特定の実施形態では、順序付けることにおいて各ストリップについて生成された少なくとも１つの空間的に順序付けられたリストは、
ストリップの各ストロークのそれぞれの重心の、ストリップの方向に沿った位置に従って順序付けられたストロークの空間的に順序付けられたリスト、
ストリップの各ストロークのストリップ方向に沿った第１の向きにおける最も外側の座標に従って順序付けられたストロークの空間的に順序付けられたリスト、及び
ストリップの各ストロークのストリップ方向に沿った、第１の向きとは反対の第２の向きにおける最も外側の座標に従って順序付けられたストロークの空間的に順序付けられたリスト、のうちの少なくとも１つを含む。
【0020】
特定の実施形態では、順序付けられたリストの第２のセットを形成することは、各ストリップについて、
ストロークのストリップ方向における高さまたは最大距離のうちの少なくとも一方に基づいてストリップの各ストロークの第１のサイズを評価し、ストロークの長さに基づいてストリップの各ストロークの第２のサイズを評価することであって、ストロークの長さは、ストローク点によって定義される経路の長さに対応し得る、評価することと、
第１の時間的に順序付けられたリスト及び少なくとも１つの第１の空間的に順序付けられたリストから、第１または第２のサイズのいずれかがサイズ閾値未満であるときの各ストロークを削除し、それにより、第２の時間的に順序付けられたリスト及び少なくとも１つの第２の空間的に順序付けられたリストをそれぞれ生成することと、を含む。
【0021】
特定の実施形態では、ニューラルネット分析は、
少なくとも１つの人工分類器（例えば、ニューラルネット）により、順序付けられたリストの第１及び第２のセットの順序付けられたリストに含まれる連続ストロークの各ペアにおけるストロークが同一のテキスト行に属する確率を表す確率スコアを計算することと、
連続ストロークの各ペアについての決定クラスとして、確率スコアが少なくとも確率閾値に達した場合にペアのストロークが同一のテキスト行に属すると確定することとを含む。
【0022】
特定の実施形態では、少なくとも１つの人工分類器またはニューラルネットは、第１及び第２のセットの順序付けられた各リスト内の連続ストロークの各ペアを順次分析して、順序付けられたリスト内のストロークに関連する空間的及び時間的情報に基づき、それぞれの決定クラス及び確率スコアを確定する。
【0023】
特定の実施形態では、選択することは、
第１及び第２のセットの少なくとも１つの順序付けられたリストに含まれる連続ストロークの各ペアについて、それぞれの確率スコアに関連して、選択された決定クラスを確率行列へと集約することを含む。
【0024】
特定の実施形態では、テキスト行を定義することは、
確率行列を、確率行列に含まれる連続ストロークの各ペアについての決定クラス及び関連確率スコアを含むエントリのベクトルリストへと変換することであって、ベクトルリストは各ペアの確率スコアの値の降順に従って並べられる、変換することと、
ベクトルリスト内の連続ストロークの各ペアについて、最高の関連確率スコアから最低の関連確率スコアまで、連続ストロークのペアに割り当てられた行仮定を順次確定することであって、各行仮定は、同一のテキスト行の少なくとも１つのストロークを含む、確定することと、を含み、
得られた各行仮定は、ベクトルリストの全てのストロークがそれぞれの行仮定に一旦割り当てられたら、それぞれのテキスト行を定義する。
【0025】
特定の実施形態では、テキスト行を定義することの間、ベクトルリストに含まれる連続ストロークのペアの２つのストロークは、ペアについて最高の確率スコアで先に選択された決定クラスが、２つの連続ストロークが同一のテキスト行に属することを示している場合、かつ最高の確率スコアが少なくとも最終閾値に達している場合、同一のテキスト行に対応する同一の行仮定へと統合される。
【0026】
特定の実施形態では、テキスト行を定義することは、
ベクトルリストに含まれる連続ストロークのペア、すなわち、第１及び第２の行仮定にそれぞれ属する第１及び第２のストロークを選択することであって、第１及び第２の行仮定のうちの少なくとも一方が少なくとも２つのストロークを含む、選択することを含み、
ペアの第１及び第２のストロークが、少なくとも最終閾値に達した最高の確率スコアで同一のテキスト行に属することを検出すると、コンピューティングデバイスは、
第１の行仮定に既に割り当てられた連続ストロークの各ペアの確率スコアに基づいて第１の行仮定の第１の行スコアを計算することであって、第１の行スコアは、第１の行仮定の各ストロークが第１のテキスト行の一部である尤度を表す、第１の行スコアを計算することと、
第２の行仮定に既に割り当てられた連続ストロークの各ペアの確率スコアに基づいて第２の行仮定の第２の行スコアを計算することであって、第２の行スコアは、第２の行仮定の各ストロークが第２のテキスト行の一部である尤度を表す、第２の行スコアを計算することと、
第１及び第２の行仮定の各ストロークを統合した第３の行仮定に割り当てられた連続ストロークの各ペアの確率スコアに基づいて第３の行スコアを計算することであって、第３の行スコアは、第１及び第２の行仮定の各ストロークが第３のテキスト行を共に形成する尤度を表す、第３の行スコアを計算することと、
第１の行スコアと第２の行スコアの和と第３の行スコアとの比較に基づいて第１及び第２の行仮定が第３の行仮定へとマージされるかどうかを判定することとを含む決定プロセスを実行する。
【0027】
特定の実施形態では、方法は、
表示領域内の全てのストロークを順序付けて、時間的順序で並べられたストロークの第３の時間的に順序付けられたリストを生成することと、
第１第３の時間的に順序付けられたリストからサイズ閾値未満のストロークをフィルタ除去することによってストロークの第４の時間的に順序付けられたリストを形成することと、をさらに含み、
ニューラルネット分析は、決定クラスとして、第３及び第４の時間的に順序付けられたリスト内の連続ストロークの各ペアについて、決定クラスの確率スコアに関連して、ペアのストロークが同一のテキスト行に属するかどうかを判定することを含み、
選択することの間、ニューラルネット分析の間に最高の確率スコアで確定された決定クラスは、第１及び第２のセットの順序付けられたリスト、第３の時間的に順序付けられたリスト、ならびに第４の時間的に順序付けられたリストのうちの少なくとも１つに含まれる連続ストロークの各ペアについて選択される。
【0028】
別の態様によれば、本発明は、本文書で定義されたように本発明の方法のステップを実行するための命令を含むコンピュータ可読プログラムコード（またはコンピュータプログラム）を記録した非一時的コンピュータ可読媒体に関する。
【0029】
本発明のコンピュータプログラムは、任意のプログラミング言語で表現することができ、ソースコード、オブジェクトコード、もしくは、例えば、部分的にコンパイルされた形式のようなソースコードとオブジェクトコードの間の任意の中間コードの形式、または任意の他の適切な形式とすることができる。
【0030】
本発明はまた、上記のようなコンピュータプログラムを提供する。
【0031】
先に言及した非一時的コンピュータ可読媒体は、コンピュータプログラムを記憶することが可能な任意のエンティティまたはデバイスとすることができる。例えば、記録媒体は、ＲＯＭメモリ（ＣＤ－ＲＯＭまたはマイクロ電子回路に実装されたＲＯＭ）などの記憶手段、または例えばフロッピーディスクもしくはハードディスクなどの磁気記憶手段を含むことができる。
【0032】
本発明の非一時的コンピュータ可読媒体は、電気もしくは光ケーブルを介して、または無線もしくは任意の他の適切な手段によって伝達することができる、電気または光信号などの伝達可能な媒体に対応することができる。本開示に従ったコンピュータプログラムは、特にインターネットまたは同様のネットワークからダウンロードすることができる。
【0033】
あるいは、非一時的コンピュータ可読媒体は、コンピュータプログラムがロードされる集積回路に対応することができ、回路は、本発明の方法を実行するように、または本発明の方法の実行に使用されるように適合されている。
【0034】
特定の実施形態では、本発明は、コンピュータ可読プログラムコードが具体化された非一時的コンピュータ可読媒体に関する。コンピュータ可読プログラムコードは、本文書で定義されたようにコンピューティングデバイス上に入力要素を手描きするための方法を実装すべく実行されるように適合されている。コンピューティングデバイスは、方法のステップを実行するためのプロセッサを含む。
【0035】
本発明はまた、本開示で定義されたように方法を実装するのに適したコンピューティングデバイスに関する。より具体的には、本発明は、手書きテキストを処理するためのコンピューティングデバイスであって、
実質的に手書きの方向に沿って入力されたデジタルインクのストロークを表示領域内に表示する表示ユニットと、
ストロークからテキスト行を抽出するためにテキスト行抽出を実行する行抽出ユニットであって、
手書き方向を横断して伸びるストリップへと表示領域をスライスするスライスモジュールであって、隣接するストリップは、各ストロークが少なくとも２つの隣接するストリップに含まれるように互いに部分的に重なり合う、スライスモジュールと、
各ストリップについて、少なくとも部分的にストリップに含まれるストロークを順序付けて、時間的順序で並べられたストロークの第１の時間的に順序付けられたリスト、及び少なくとも１つのそれぞれの空間的基準に従って順序付けられたストロークの少なくとも１つの第１の空間的に順序付けられたリストを生成し、それによって順序付けられたリストの第１のセットを形成する順序付けモジュールと、
第１の時間的に順序付けられたリスト及び少なくとも１つの第１の空間的に順序付けられたリストからそれぞれサイズ閾値未満のストロークをフィルタ除去することにより、各ストリップについて、ストロークの第２の時間的に順序付けられたリスト及びストロークの少なくとも１つの第２の空間的に順序付けられたリストを含む、順序付けられたリストの第２のセットを形成する形成モジュールと、
ニューラルネット分析を実行して、決定クラスとして、第１及び第２のセットの順序付けられた各リスト内の連続ストロークの各ペアについて、決定クラスの確率スコアに関連して、ペアのストロークが同一のテキスト行に属するかどうかを判定するニューラルネットモジュールと、
第１及び第２のセットの少なくとも１つの順序付けられたリストに含まれる連続ストロークの各ペアについて、ニューラルネット分析の間に最高の確率スコアで確定された決定クラスを選択する選択モジュールと、
連続ストロークの各ペアについて選択された最高の確率スコアを有する決定クラスに基づいてストロークを行仮定へと統合することによってテキスト行を定義する行定義モジュールと
を含む行抽出ユニットと、
を含む、コンピューティングデバイスを提供する。
【0036】
本発明の方法に関連して上で定義された各種の実施形態は、本開示のコンピューティングデバイス、コンピュータプログラム、及び非一時的コンピュータ可読媒体に類似の方式で適用される。
【0037】
本開示で定義されたような本発明の方法の各ステップについて、コンピューティングデバイスは、ステップを実行するように構成された対応するモジュールを含み得る。
【0038】
特定の実施形態では、本開示は、ソフトウェア及び／またはハードウェア構成要素を使用して実装され得る。この文脈において、「ユニット」及び「モジュール」という用語は、この開示において、ソフトウェア構成要素及びハードウェア構成要素または複数のソフトウェア及び／もしくはハードウェア構成要素を指すことができる。
【0039】
本開示の他の特徴及び利点は、限定的な特徴を有さない実施形態を示す添付図面を参照してなされた以下の説明から明らかになるであろう。
【図面の簡単な説明】
【0040】
【図1】Ａ、Ｂは、テキスト手書き認識のプロセスを表す。
【図2】Ａ、Ｂは、様々な言語におけるテキスト手書きの実施例を示す。
【図3】本発明の特定の実施形態に従ったコンピューティングデバイスを概略的に示す。
【図4】コンピューティングデバイスに対するテキスト手書き入力を表す。
【図5】本発明の特定の実施形態に従った、図３のコンピューティングデバイスによって実装されたモジュールを概略的に表すブロック図である。
【図6】本発明の特定の実施形態に従った方法のステップを概略的に表すフロー図である。
【図7】本発明の特定の実施形態に従った、テキスト手書きをスライスするステップを概略的に表す。
【図8】本発明の特定の実施形態に従った、テキスト手書きをスライスするステップを概略的に表す。
【図9】本発明の特定の実施形態に従った、テキスト行抽出の間に生成されたベクトルの順序付けられたリストの第１のセットを表す。
【図10】本発明の特定の実施形態に従った、いくつかの幾何学的記述子を備えたストロークを概略的に表す。
【図11】本発明の特定の実施形態に従った、テキスト行抽出の間に生成されたベクトルの順序付けられたリストの第２のセットを表す。
【図12】本発明の特定の実施形態に従った、テキスト行抽出の間に実行されるステップを概略的に表すブロック図である。
【図13】本発明の特定の実施形態に従った、テキスト行抽出の間に識別されたテキスト行を表す。
【図14】本発明の特定の実施形態に従った、テキスト行抽出の間に実行されるステップを概略的に表すブロック図である。
【図15A】本発明の第１の実施例に従った方法のステップを概略的に表すフロー図である。
【図15B】本発明の第２の実施例に従った方法のステップを概略的に表すフロー図である。
【図16】本発明の特定の実施形態に従った、テキスト行抽出の間に生成される行仮定を概略的に表す。
【図17】Ａ～Ｄは、本発明が、特定の実施形態に従ってどのように垂直方向の無秩序な順序付けを制限し得るかを概略的に示す。
【図18】Ａ、Ｂは、本発明が、特定の実施形態に従ってどのようにストロークコンテキストの変動を生じさせ得るかを概略的に示す。
【図19】本発明の特定の実施形態に従った方法のステップを概略的に表すフロー図である。
【発明を実施するための形態】
【0041】
図面中の構成要素は、必ずしも縮尺通りになっているとは限らず、むしろ本開示の原理を例示することに重点を置いている。
【0042】
例示を簡単かつ明確にするために、特に明記されていない限り、同じまたは類似の部分を参照するために、図面全体で同じ参照記号が使用される。
【0043】
以下の発明を実施するための形態では、関連した教示の完全な理解を提供するために多くの具体的な詳細が実施例として記載されている。しかしながら、本教示がそのような詳細なしで実践され得ることは当業者にとって明らかであるべきである。他の例では、周知の方法、手順及び／または構成要素は、本教示の必要以上に曖昧な態様を避けるために、詳細なしで、比較的高レベルで説明される。
【0044】
例示的な実施形態の以下の説明は、添付図面を参照する。以下の発明を実施するための形態は、本発明を限定するものではない。むしろ、本発明の範囲は、添付の特許請求の範囲によって定義される。図に示されるような各種の実施形態では、コンピューティングデバイス、対応する方法、及び対応するコンピュータプログラムが論じられる。
【0045】
本説明における「テキスト」という用語の使用は、任意の書き言葉及び書かれたテキストで使用される任意の記号における全ての文字（例えば、英数字など）及び文字列を包含すると理解される。
【0046】
本説明における「非テキスト」という用語は、フリー形式の手書きまたは手描きのコンテンツ（例えば、形状、図など）及び画像データ、ならびに文字及び文字列、または非テキストでコンテンツ使用される記号を包含すると理解される。非テキストコンテンツは、コンテナ、図、一般的な形状（例えば、矢印、ブロックなど）などを含む、線形または非線形構成のグラフィックまたは幾何学的造形を定義する。図表では、例えば、テキストコンテンツは、コンテナと呼ばれる形状（長方形、楕円、卵形．．．）に含まれ得る。
【0047】
さらに、これらの図に示された実施例は、左から右への書き言葉のコンテキストにあり、したがって、位置に対する任意の参照は、様々な向きの形式を有する書き言葉に適合される可能性がある。
【0048】
本明細書で説明される各種の技術は、一般に、より具体的にはテキスト行抽出の目的で、ポータブル及び非ポータブルコンピューティングデバイス上での手書きテキストコンテンツの処理に関連する。本明細書で論じられるシステム及び方法は、（後述するように）タッチ感応スクリーンなどの入力面を介してコンピューティングデバイスに入力されるユーザの自然な手書きスタイルの認識を利用し得る。いわゆるオンライン認識技術を使用したデジタルインク手書き入力の認識に関して各種の実施形態が説明されているが、認識を実行するためにリモートデバイスまたはサーバを含むオフライン認識など、認識のための他の形式の入力が適用され得ることが理解される。
【0049】
「手描き」及び「手書き」という用語は、本明細書では同義的に使用されて、ユーザの手（もしくは指）または入力デバイス（ハンドヘルドスタイラスもしくはデジタルペン、マウス．．．）のユーザによる使用を通じてデジタルコンテンツ（手書き入力）を入力面上に、または入力面を用いて作成することを定義する。「手」などの用語は、入力技術の簡潔な説明を提供するために本明細書で使用されるが、足、口及び目などの、同様の入力のためのユーザの体の他の一部の使用がこの定義に含まれる。
【0050】
以下でより詳細に説明されるように、本発明の態様は、デジタルインクのストロークを検出し、テキスト行抽出を実行して、検出されたストロークからテキスト行を抽出することを含意する。これらのストロークは、表示領域内に表示され得る。テキスト行抽出は、デジタルストロークをストリップ（またはスライスもしくはバンド）へとスライスすることと、各ストリップについてストロークを、順序付けられたリストの第１のセットを集合的に形成する順序付けられたリストへと順序付けることと、各ストリップについて、第１のセットの順序付けられたリストから所与のサイズ閾値未満であるストロークをフィルタ除去することによって順序付けられたリストの第２のセットを形成することと、第１及び第２のセットに基づいてニューラルネット分析を実行して、各ストロークについて、そのストロークが属するそれぞれのテキスト行を確定することとを含む。
【0051】
図３は、本発明の特定の実施形態に従ったコンピューティングデバイス１００のブロック図を示す。コンピューティングデバイス（またはデジタルデバイス）１００は、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、電子書籍リーダ、携帯電話、スマートフォン、ウェアラブルコンピュータ、デジタル時計、インタラクティブホワイトボード、全地球測位システム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、パーソナルデジタルアシスタント（ＰＤＡ）、ゲームコンソールなどであり得る。コンピューティングデバイス１００は、少なくとも１つの処理要素、ある形式のメモリ、ならびに入力及び出力（Ｉ／Ｏ）デバイスの構成要素を含む。構成要素は、コネクタ、ライン、バス、リンクネットワーク、または当業者に知られた他のものなどの入力及び出力を通じて互いに通信する。
【0052】
より具体的には、コンピューティングデバイス１００は、以下でさらに説明されるように、手書き（もしくは手描き）テキストコンテンツ、または場合によっては混合コンテンツ（テキスト及び非テキスト）のための入力面１０４を含む。より具体的には、入力面１０４は、入力面上に（またはこの入力面を使用して）記入されたデジタルインクの複数の入力ストロークを検出するのに適している。また、以下でさらに論じられるように、これらの入力ストロークは、フリー手書き形式で（またはフリー手書きモードで）、つまり、入力領域内の位置、サイズ及び方向の手書きの制約を何も伴わずに入力され得る。
【0053】
入力面１０４は、抵抗性、表面弾性波、容量性、赤外線グリッド、赤外線アクリル投影、光学イメージング、分散信号技術、音響パルス認識、またはタッチ感応面もしくは近接感応面の形態でユーザ入力を受信するための当業者に知られているような任意の他の適切な技術などの技術を採用し得る。入力面１０４は、位置検出システムによって監視される非タッチ感応面であり得る。
【0054】
コンピューティングデバイス１００はまた、テキストコンテンツなどのコンピューティングデバイスからデータを出力するための少なくとも１つの表示ユニット（または表示デバイス）１０２を含む。表示ユニット１０２は、任意の適切な技術（ＬＣＤ、プラズマ．．．）のスクリーンなどであり得る。表示ユニット１０２は、ユーザによって入力されたデジタルインクのストロークを表示するのに適している。
【0055】
入力面１０４は、表示ユニット１０２と同じ場所に配置され得るか、またはこの表示ユニットにリモートで接続され得る。特定の実施例では、表示ユニット１０２及び入力面１０４は、タッチスクリーンの一部である。
【0056】
図３に示されるように、コンピューティングデバイス１００は、プロセッサ１０６及びメモリ１０８をさらに含む。コンピューティングデバイス１００はまた、メモリ１０８の一部として、またはこのメモリとは別に、１つ以上の揮発性記憶要素（ＲＡＭ）を含み得る。
【0057】
プロセッサ１０６は、ソフトウェア、特にメモリ１０８に記憶されたソフトウェアを実行するためのハードウェアデバイスである。プロセッサ１０６は、任意の特注プロセッサもしくは汎用プロセッサ、中央処理ユニット（ＣＰＵ）、（マイクロチップもしくはチップセットの形態をとった）半導体ベースのマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラマブルロジックデバイス、またはこれらの任意の組み合わせ、及びより一般的には、当業者に知られているようなソフトウェア命令を実行するために設計された任意の適切なプロセッサ構成要素とすることができる。
【0058】
メモリ１０８は、本開示の特定の実施形態に従って非一時的（または不揮発性）コンピュータ可読媒体（または記録媒体）である。メモリ１０８は、不揮発性記憶要素（例えば、ＲＯＭ、ＥＰＲＯＭ、フラッシュＰＲＯＭ、ＥＥＰＲＯＭ、ハードドライブ、磁気または光学テープ、メモリレジスタ、ＣＤ－ＲＯＭ、ＷＯＲＭ、ＤＶＤなど）の任意の組み合わせを含み得る。
【0059】
メモリ１０８は、コンピューティングデバイス１００によってリモートでアクセス可能なサーバまたはクラウドベースのシステムにあるなど、コンピューティングデバイス１００から離れていてもよい。不揮発性メモリ１０８は、プロセッサ１０６に結合されている。その結果、プロセッサ１０６は、メモリ１０８から情報を読み取り、当該メモリに情報を書き込むことが可能である。別の方法としては、メモリ１０８は、コンピューティングデバイス１００と一体化している。
【0060】
メモリ１０８は、オペレーティングシステム（ＯＳ）１１０及び手書きアプリケーション（またはコンピュータプログラム）１１２を含む。オペレーティングシステム１１０は、アプリケーション１１２の実行を制御する。アプリケーション１１２は、本発明の特定の実施形態に従ったコンピュータプログラム（またはコンピュータ可読プログラムコード）を構成する（または含む）。このコンピュータプログラムは、本発明の特定の実施形態に従った方法を実施するための命令を含む。
【0061】
本実施形態では、アプリケーション１１２は、以下でさらに論じられるように、コンピューティングデバイス１００の入力面１０４を使用してユーザによって手書きされたデジタルインクのストロークを検出及び管理するための命令を含む。
【0062】
アプリケーション１１２は、コンピューティングデバイス１００へのテキスト手書き入力を認識するための手書き認識（ＨＷＲ）モジュール（またはＨＷＲシステム）１１４を含み得る。ＨＷＲ１１４は、ソースプログラム、実行可能プログラム（オブジェクトコード）、スクリプト、アプリケーション、または実行されるべき一連の命令を有する任意の他の構成要素であり得る。図３に示された本実施例では、アプリケーション１１２及びＨＷＲモジュール１１４は、単一のアプリケーションに組み合わされている（ＨＷＲモジュール１１４はアプリケーション１１２の一部である）。あるいは、ＨＷＲモジュール１１４は、図３に示されたような、適切な通信リンクを通じてコンピューティングデバイス１００によってリモートでアクセス可能であるサーバ（またはクラウドベースのシステム）ＳＶ１などの、コンピューティングデバイス１００から離れた手書き認識システムと通信するためのモジュール、方法またはシステムであり得る。アプリケーション１１２及びＨＷＲモジュール１１４はまた、コンピューティングデバイス１００のメモリ１０８に（または異なるメモリに）記憶された別個の構成要素であり得る。それにより、アプリケーション１１２とＨＷＲモジュール１１４は連携動作して、処理され、メモリ１０８に記憶された情報にアクセスする。
【0063】
ユーザは、手もしくは指で、または入力面１０４との使用に適したデジタルペンもしくはスタイラスなどの何らかの入力機器を用いて入力ストロークを記入し得る。ユーザはまた、入力面１０４の付近の動きを検知するように構成された手段が使用されている場合には入力面１０４の上でジェスチャを行うことによって、またはマウスもしくはジョイスティックなどのコンピューティングデバイス１００の周辺デバイスを用いて入力ストロークを記入し得る。
【0064】
各インク入力要素（字、記号、単語など）は、１つまたは複数の入力ストロークによって、または少なくともストロークの一部によって形成される。ストローク（または入力ストローク）は、少なくともストローク開始場所（「ペンダウン」イベントに対応）、ストローク終了場所（「ペンアップ」イベントに対応）、及びストローク開始場所とストローク終了場所を接続する経路によって特徴付けられる。様々なユーザがわずかな違いで同じオブジェクト（例えば、字、形状、記号．．．）を自然に書くか手描きし得るため、ＨＷＲモジュール１１４は、各オブジェクトが、依然として正しいまたは意図されたオブジェクトとして認識されている間に記入され得る多様な手法に対応する。
【0065】
手書きアプリケーション１１２は、手書きまたは手描きのテキストコンテンツをデジタルインク形式で生成することを可能にし、ＨＷＲモジュール１１４を使用してこのコンテンツを忠実に認識させる。特定の場合、アプリケーション１１２は、テキスト及び非テキストコンテンツ（例えば、図表、チャートなど）を含む混合コンテンツに基づいてテキストコンテンツを検出及び認識するように構成され得る。
【0066】
ＨＷＲモジュール１１４によって実行される認識プロセスの性質及び実装は、それぞれの場合に応じて変化し得る。テキスト認識は、コンピューティングデバイス１００上で完全にローカルに、または例えばリモートサーバＳＶ１（図３）を使用して少なくとも部分的にリモートで、のいずれかで実行され得る。手書き認識を実装する実施例は、例えば、米国特許出願第２０１７／０１０９５７８Ａ１号において見ることができる。特に、当業者に知られているように、テキスト認識は、言語モデル（複数可）（例えば、文法、意味論）、テキストベースの語彙（複数可）（正規表現など）を含む言語情報など、及び所与の要素の並びが指定された言語で現れる、または特定のユーザによって使用される頻度がどの程度かについての統計情報モデリングのうちの任意の１つに基づいて実行され得る。
【0067】
本実施形態では、コンピューティングデバイス１００は、フリー手書き形式（またはフリー手書きモード）で、つまり、テキスト手書き入力の位置、サイズ及び方向の手書きの制約を何も伴わずに入力面１０４を使用して入力されるテキスト手書きを検出及び表示するように構成される。フリー手書きモードにより、ユーザは、決まった形のない、またはガイドの付かないやり方で、つまり、テキスト手書き入力の位置、サイズ及び方向の手書きの制約を何も伴わずに（従うべき行パターンなしに、サイズや方向の制限なしに、行間、マージンなどの制約なしに、など）、フリーな環境内に（例えば、空白ゾーン内に）入力要素を手書きすることができる。このフリー手書き形式は、手書き入力の間、ユーザに完全な自由を与えてくれる。このことは、例えば、迅速かつ多種多様なメモをとるか、またはテキストと非テキストの混合入力をするのに望ましい場合がある。
【0068】
図４に示されるように、コンピューティングデバイス１００の表示ユニット１０２は、デジタルインクの複数のストローク（または入力ストローク）ＳＴによって形成されたテキスト手書きＩＮを表示領域（または入力領域）２００内に表示するように構成される。以下で説明される実施例では、検出されたストロークＳＴは、同じ手書き方向Ｘ（例えば、この場合は水平方向）に沿って（または実質的にその方向に沿って）入力されると想定される。ただし、場合によっては、手書き方向のばらつき、例えば、同一行内の意図した方向からのずれが可能であり得る。もちろん、テキスト手書きＩＮは、それぞれの場合に応じて、異なる形式及びスタイルをとり得る。以下の実施例では、「Ｖｅｒｔｉｃａｌ ｏｒｄｅｒｉｎｇ ｃａｎ ｂｒｉｎｇ ｃｈａｏｓ（垂直方向の順序付けは無秩序をもたらし得る）」という句に対応する手書き文字が検出され、表示領域２００内にテキスト手書き入力として表示されると想定されるが、とりわけ、言語、スタイルなどの点で、テキスト手書きの多くの他のタイプ及びコンテンツが可能である。
【0069】
以下の実施例では、さらに、テキスト手書きＩＮが上述したようにフリー手書きモード（または形式）で入力されると想定される。
【0070】
特定の実施形態に従った図５に示されるように、メモリ１０８（図３）に記憶されたアプリケーション１１２を実行するとき、プロセッサ１０６は、複数の処理モジュール、つまり、スライスモジュールＭＤ４、順序付けモジュールＭＤ６、フィルタリングモジュールＭＤ８、ニューラルネット分析モジュールＭＤ１０、選択モジュールＭＤ１２及び行定義モジュールＭＤ１４を含む行抽出ユニット（行抽出器とも呼ばれる）ＭＤ２を実装する。
【0071】
アプリケーション１１２は、特定の実施形態において後で説明されるように、本発明の方法のステップを実行するためにこれらのモジュールを実装するようにプロセッサ１０６を構成する命令を含む。行抽出ユニットＭＤ２は、コンピューティングデバイス１００によって検出された各入力ストロークＳＴがそれぞれのテキスト行ＬＮに関連付けられるようにテキスト行ＬＮを定義するのに適している。
【0072】
より具体的には、スライスモジュールＭＤ４は、表示領域（すなわち、図４に示されるような表示領域２００）を、手書き方向Ｘを横断して伸びるストリップ（スライスまたはバンドとも呼ばれる）ＳＰへとスライスするように構成される。このスライスは、隣接するストリップＳＰが、各ストロークＳＴが少なくとも２つの隣接するストリップＳＰに含まれるように互いに部分的に重なり合うように実行され得る。
【0073】
順序付けモジュールＭＤ６は、各ストリップＳＰについて、少なくとも部分的に上記ストリップＳＰに含まれるストロークＳＴを順序付けて、時間的順序で並べられたストロークの第１の時間的に順序付けられたリスト、及び少なくとも１つのそれぞれの空間的基準に従って順序付けられたストロークの少なくとも１つの第１の空間的に順序付けられたリストを生成し、それによって順序付けられたリストの第１のセットＳＬａを形成するように構成される。以下でさらに論じられるように、ストロークの１つ以上の第１の空間的に順序付けられたリストを生成するために各種の空間的基準が使用され得る。
【0074】
形成モジュールＭＤ８は、第１のセットＳＬａの第１の時間的に順序付けられたリスト及び少なくとも１つの第１の空間的に順序付けられたリストからそれぞれサイズ閾値未満のストロークＳＴをフィルタ除去することにより、各ストリップＳＰについて、ストロークの第２の時間的に順序付けられたリスト及びストロークの少なくとも１つの第２の空間的に順序付けられたリストを含む、順序付けられたリストの第２のセットＳＬｂを形成するように構成される。
【0075】
ニューラルネット分析モジュールＭＤ１０は、ニューラルネット分析を実行して、決定クラスとして、第１のセットＳＬａ及び第２のセットＳＬｂの順序付けられた各リスト内の連続ストロークＳＴの各ペアについて、決定クラスの確率スコアに関連して、ペアのストロークＳＴが同一のテキスト行に属するかどうかを判定するように構成される。
【0076】
選択モジュールＭＤ１２は、第１のセットＳＬａ及び第２のセットＳＬｂの少なくとも１つの順序付けられたリストに含まれる連続ストロークＳＴの各ペアについて、ニューラルネット分析の間に最高の確率スコアで確定された決定クラスを選択するように構成される。
【0077】
行定義モジュールＭＤ１４は、連続ストロークの各ペアについて選択された最高の確率スコアを有する決定クラスに基づいてストロークＳＴを行仮定へと統合することによってテキスト行ＬＮを定義するように構成される。
【0078】
選択モジュールＭＤ１２及び行定義モジュールＭＤ１４は、アプリケーション１２を実行するときにプロセッサ１０６によって実装される復号器（または復号化モジュール）の一部を形成し得る。復号器は、入力情報を異なる出力情報へと変換することを目的としたアルゴリズムである。本文脈において、復号器（ＭＤ１２、ＭＤ１４）は、以下でさらに説明されるように、ストロークのペアが確率Ｐで同一のテキスト行に属するという局所的情報を使用して、行仮定を段階的に構築し得る。復号化プロセスは、行仮定を構築するための局所的ルールとしてのこれらの確率Ｐ、及び行仮定構築ルールの有効性を制御するための決定プロセス（確率Ｐのセットを局所的に組み合わせる）を定義し得る。全ての局所的確率を組み合わせた後、最後の行仮定は最後のテキスト行である。
【0079】
コンピューティングデバイス１００のモジュールＭＤ４～ＭＤ１４の構成及び動作は、図を参照して以下で説明される特定の実施形態においてより明白になるであろう。図５に示されたようなモジュールＭＤ４～ＭＤ１４は、本発明の例示的な実施形態を表しているに過ぎず、他の実施態様が可能であることが理解されるべきである。
【0080】
本発明の方法の各ステップについて、コンピューティングデバイス１００は、ステップを実行するように構成された対応するモジュールを含み得る。
【0081】
次に、図３～図５に示されたコンピューティングデバイス１００によって実装される方法について、本発明の特定の実施形態に従って、図６～図１７を参照して説明する。より具体的には、コンピューティングデバイス１００は、メモリ１０８に記憶されたアプリケーション１１２を実行することによってこの方法を実装する。
【0082】
コンピューティングデバイス１００上で図４に示されたようにユーザが手書きテキストＩＮを入力する実施例のシナリオが考慮される。次いで、以下で説明されるように、行抽出を含む処理がコンピューティングデバイス１００によって実行される。
【0083】
より具体的には、検出ステップＳ２において、コンピューティングデバイス１００は、コンピューティングデバイス１００の入力面１０４を使用してユーザによって入力されたテキスト手書きＩＮを検出する。図４に示されたように、手書き入力ＩＮは、入力面１０４を使用して手書き方向Ｘに沿って（または実質的にその方向に沿って）入力されたデジタルインクの複数の入力ストロークＳＴを含む。既に示されたように、各入力ストロークＳＴは、少なくともストローク開始場所、ストローク終了場所、及びストローク開始場所とストローク終了場所を接続する経路によって特徴付けられる。したがって、例えば（「垂直（ｖｅｒｔｉｃａｌ）」という単語内の）文字「ｉ」の上部に位置する点は、それ自体で単一のストロークＳＴを構成する。
【0084】
本実施例では、手書きのデジタルインクＩＮは、先に説明されたようなフリー手書き形式に従って、ディスプレイ１０２の入力領域２００内に入力される。準拠すべき行、サイズ、方向などの手書きの制約を何も伴わずに、ユーザは、テキストコンテンツＩＮをフリーかつ簡単な方式で手書きすることが許容される。各手書き文字または各手書き単語のサイズ、方向及び位置は、ユーザの好みに応じて任意に変化し得る。
【0085】
図４に示されたように、コンピューティングデバイス１００は、フリー手書き形式（またはモード）に従って、表示ユニット１０２上に手書き入力ＩＮの複数の入力ストロークＳＴを表示する（Ｓ４、図６）。
【0086】
次いで、コンピューティングデバイス１００は、テキスト行抽出を実行して（Ｓ１０、図６）、テキスト手書きＩＮにおいて検出されたストロークＳＴからテキスト行を抽出する。図６に示されるように、テキスト行抽出Ｓ１０は、本実施例において以下でさらに説明されるようにステップＳ１２～Ｓ２４を含む。
【0087】
簡単にするために、本実施例では、コンピューティングデバイス１００によって検出された手書き入力ＩＮ全体がテキストであると想定される。ただし、他の場合では、手書き入力ＩＮは、テキストコンテンツ及び非テキストコンテンツを含み得る。したがって、テキストを非テキストコンテンツと区別するために、当業者に知られた任意の適切な技術に従って分類器によるテキスト認識の間に曖昧性除去プロセスが実行され得る。
【0088】
より具体的には、スライスステップＳ１２（図７）において、コンピューティングデバイス１００は、表示領域２００を、手書き方向Ｘを横断して伸びるストリップＳＰへとスライスする。スライスＳ１２は、隣接するストリップＳＰが互いに部分的に重なるように行われ、その結果、各ストロークＳＴは、少なくとも２つの隣接するストリップＳＰに含まれるようになる。見て分かるように、ストリップＳＰの多くの構成が当業者によって採り入れられてもよい。スライスＳ１２のいくつかの実施態様が、単なる実施例として以下に提供される。
【0089】
図７に示された実施例では、スライスＳ１２は、ストリップＳＰが同じストリップ方向Ｙに沿って伸びるように実行される。その結果、ストリップＳＰは互いに平行である。図７に示されたように、方向Ｙは手書き方向Ｘに対して垂直であり得る（例えば、Ｘは水平で、Ｙは垂直である）。ただし、他の構成が可能である。
【0090】
したがって、コンピューティングデバイス１００は、テキスト手書きＩＮの各ストロークＳＴを、当ストロークが少なくとも部分的に含まれる少なくとも２つのそれぞれの隣接するストリップＳＰに割り当て得る。
【0091】
以下でさらに論じられるように、スライスＳ１２は、この次のニューラルネット分析を容易にし、同じストロークＳＴについて異なるコンテキストで決定を行うことによって効率的なテキスト行抽出を実現することができる。
【0092】
図８は、スライスステップＳ１２の間にストリップＳＰ１～ＳＰ４が定義される特定の実施形態を示す。簡単にするために、最初の文字「Ｖ」に対応する最初のストロークＳＴのみが示されている。各ストリップＳＰは、手書き方向Ｘに対して垂直なＹ方向に伸びる。各ストリップＳＰは、Ｘ方向にそれぞれの幅ＷＤ１～ＷＤ４（総称してＷＤと呼ばれる）を伴って形成される。本実施例では、各ストリップＳＰの幅ＷＤは同一であるが、他の実施態様が可能である。特に、幅ＷＤが全てのストリップＳＰについて同じではない実施形態が可能である。
【0093】
図８から分かるように、ストリップＳＰは、最初の文字「Ｖ」を形成する入力ストロークＳＴがストリップＳＰ１、ＳＰ２及びＳＰ３に少なくとも部分的に含まれるように、互いに部分的に重なり合う。換言すれば、「Ｖ」に対応するこの入力ストロークは、隣接するストリップＳＰ１、ＳＰ２及びＳＰ３に属する。
【0094】
以下でさらに論じられるように、スライスＳ１２は、テキスト手書きＩＮの入力ストロークＳＴのスケールまたはサイズに基づいて構成され得る。本明細書で使用される場合、「スケール」という用語は、文字の、または入力ストロークの、もしくは入力ストロークの一部の平均サイズまたは高さの概算を指す。当業者はまた、テキスト行抽出プロセスにおいて所望の結果を実現するように、隣接するストリップＳＰの各ペアの間の重なりの比率を合わせてもよい。ストリップの重なりを増加させることにより、テキスト行抽出プロセスの結果が改善され得るが、リソース及び時間の点でコストがより高くなる。
【0095】
次いで、コンピューティングデバイス１００は、各ストリップＳＰについて、少なくとも部分的にストリップＳＰに含まれるストロークＳＴを順序付けるか、またはソートして（Ｓ１４、図６及び図１２）、時間的順序で並べられたストロークＳＴの第１の時間的に順序付けられたリスト、及び少なくとも１つのそれぞれの空間的基準に従って順序付けられたストロークＳＴの少なくとも１つの第１の空間的に順序付けられたリストを生成し、それによって順序付けられたリストの第１のセットＳＬａを形成する。以下で論じられるように、使用される空間的基準の数及びタイプ、ならびにしたがって順序付けられたリストの第１のセットＳＬａのコンテンツは、それぞれの場合によって異なり得る。
【0096】
図９に示されるように、本実施例では、順序付けステップＳ１４において、コンピューティングデバイス１００は、各ストリップＳＰについて、少なくとも部分的にストリップＳＰに含まれるストロークＳＴを順序付けて、時間的順序（ＴＯと呼ばれる）で並べられたストロークＳＴの第１の時間的に順序付けられたリストＬ１ａ、ならびにそれぞれの空間的基準ＣＲに従ってそれぞれ順序付けられたストロークＳＴの３つの第１の空間的に順序付けられたリストＬ２ａ、Ｌ３ａ及びＬ４ａを生成し、それによって順序付けられたリストの第１のセットＳＬａを形成すると想定される。その結果、以下でさらに説明されるように、スライスステップＳ１２において先に定義された各ストリップＳＰについて、４つの順序付けられたリスト（Ｌ１ａ、Ｌ２ａ、Ｌ３ａ及びＬ４ａ）の第１のセットＳＬａが生成される。
【0097】
第１の時間的に順序付けられたリストＬ１ａは、それぞれのストリップＳＰの各ストロークＳＴを含み、これらのストロークは、それらの相対的な時間的順序ＴＯに従って順序付けられている。換言すれば、このリストＬ１ａでは、ストロークＳＴは、各ストロークＳＴ１が時間と共に入力されたときの時間の関数である時間順で並べられている。
【0098】
各ストリップＳＰについて第１の空間的に順序付けられたリストを生成するために順序付けステップＳ１４（図６）において使用され得る空間的基準ＣＲについて、図１０を参照して示す。この図は、一実施例として、Ｓ２で検出されたテキスト手書きＩＮの最初の文字「Ｖ」に対応するストロークＳＴを示している。
【0099】
第１の空間的に順序付けられたリストＬ２ａは、それぞれのストリップＳＰのストロークＳＴのリストであり、当ストロークは、ストリップ方向Ｙに沿ったそれぞれの重心ＢＹの位置（空間的基準ＣＲ１）に従って順序付けられている。例えば、図１０に示されるように、第１の文字「Ｖ」に対応するストロークＳＴの重心ＢＹが確定される。重心ＢＹのストリップ方向Ｙに沿った位置は、Ｙ軸に沿った座標ＢＹｙによって定義される。各ストリップＳＰについて、各関連ストロークＳＴの重心ＢＹの座標ＢＹｙが考慮されて、当ストリップのストロークＳＴを順序付ける。同じ動作が各ストリップＳＰについて実行されて、それぞれの第１の空間的に順序付けられたリストＬ２ａを生成する。順序付けられたリストＬ２ａは、例えば、ストリップ方向Ｙにおけるそれぞれの位置の昇順（または降順）（空間的基準ＣＲ１）でストロークＳＴ２をリスト化し得る。
【0100】
図１０にも示されているように、各ストロークＳＴのいくつかの特定の点のストリップ方向Ｙに沿った位置に基づく他の空間的基準ＣＲ２及びＣＲ３が、第１の空間的に順序付けられたリストＬ３ａ及びＬ４ａを生成するために使用され得る。
【0101】
空間的に順序付けられたリストＬ３ａは、それぞれのストリップＳＰのストロークＳＴのリストであり、これらのストロークは、ストリップ方向Ｙに沿った第１の方向Ｄ１におけるそれらの最も外側の座標ＰＴ１ｙ（空間的基準ＣＲ２）に従って順序付けられている。換言すれば、リストＬ３ａにおいて、ストリップ方向Ｙに沿った第１の方向Ｄ１における各ストロークＳＴの最も外側の点ＰＴ１が確定され、Ｙ軸上のこの最も外側の点ＰＴ１の座標ＰＴ１ｙが確定され、空間的に順序付けられたリストＬ３ａを生成するために使用される。
【0102】
空間的に順序付けられたリストＬ４ａは、それぞれのストリップＳＰのストロークＳＴのリストであり、これらのストロークは、ストリップ方向Ｙに沿った、第１の方向Ｄ１とは反対の第２の方向Ｄ２におけるそれらの最も外側の座標ＰＴ２ｙ（空間的基準ＣＲ３）に従って順序付けられている。換言すれば、リストＬ４ａにおいて、ストリップ方向Ｙに沿った第２の方向Ｄ２における各ストロークＳＴの最も外側の点ＰＴ２が確定され、Ｙ軸上のこの最も外側の点ＰＴ２の座標ＰＴ２ｙが確定され、空間的に順序付けられたリストＬ４ａを生成するために使用される。
【0103】
上で示されているように、コンピューティングデバイス１００は、本実施例では、順序付けステップＳ１４において、上述したような３つの第１の空間的に順序付けられたリストＬ２ａ、Ｌ３ａ及びＬ４ａを、第１の時間順に順序付けられたリストＬ１ａと共に生成する。しかしながら、順序付けステップＳ１４において、コンピューティングデバイス１００は、上述したような第１の空間的に順序付けられたリストＬ２ａ、Ｌ３ａ及びＬ４ａのうちのいずれか１つ、またはこれらの組み合わせ（例えば、Ｌ２ａのみ、またはＬ３ａ及びＬ４のみ）を、第１の時間順に順序付けられたリストＬ１ａと共に生成してもよい。ストロークのそれぞれの順序付けられたリストを生成するために時間的順序ＴＯ及び少なくとも１つの空間的基準ＣＲが使用されるとき、高性能のテキスト行抽出プロセスが実現されることが確認されている。
【0104】
以下でさらに論じられるように、各ストリップについて異なるストロークの順序を生成することにより、異なる補完的基準（時間的及び空間的）を使用して、テキスト行の定義の問題を異なる視点を通じて効率的に分析及び分類して、各種のストロークのペアについてテキスト行抽出プロセスにおいて最良の決定を見出すことができる。時間的基準ＴＯを少なくとも１つの空間的基準ＣＲと組み合わせると、テキスト行抽出の性能を大幅に向上させることができる。
【0105】
順序付けステップＳ１４が一旦完了すると、コンピューティングデバイス１００は、順序付けステップＳ１４で生成された第１の時間的に順序付けられたリストＬ１ａ及び第１の空間的に順序付けられた各リストからそれぞれサイズ閾値未満のストロークＳＴをフィルタ除去することにより、各ストリップＳＰについて、ストロークの第２の時間的に順序付けられたリスト及びストロークの少なくとも１つの第２の空間的に順序付けられたリストを含む順序付けられたリストの第２のセットＳＬｂを形成する（Ｓ１６、図６及び図１２）。
【0106】
既に上述したように、本実施例では、第１の時間的に順序付けられたリストＬ１ａならびに第１の空間的に順序付けられたリストＬ２ａ、Ｌ３ａ及びＬ４ａが順序付けステップＳ１４で生成されると想定される。その結果、図１１に示されるように、コンピューティングデバイス１００は、Ｓ１４の第１の時間的に順序付けられたリストＬ１ａならびに第１の空間的に順序付けられたリストＬ２ａ、Ｌ３ａ及びＬ４ａからそれぞれサイズ閾値未満のストロークＳＴをフィルタ除去することにより、各ストリップＳＰについて、ストロークの第２の時間的に順序付けられたリストＬ１ｂならびに３つの空間的に順序付けられたリストＬ２ｂ、Ｌ３ｂ及びＬ４ｂを含む順序付けられたリストの第２のセットＳＬｂを形成する（Ｓ１６）。
【0107】
図１０に示された特定の実施形態では、形成（またはフィルタリング）ステップＳ１６（図６）の間、コンピューティングデバイス１００は、Ｓ１２で定義された各ストリップＳＰについて、
当ストロークのストリップ方向Ｙにおける高さ（または最大距離）Ｈに基づいてストリップＳＰの各ストロークＳＴの第１のサイズを評価し、ストロークＳＴの長さＬＧに基づいてストリップＳＰの各ストロークＳＴの第２のサイズを評価することと、
Ｓ１４で生成された第１の時間的に順序付けられたリストＬ１ａ及び少なくとも１つの第１の空間的に順序付けられたリスト（すなわち、本実施例では空間的に順序付けられたリストＬ２ａ～Ｌ４ａ）から、各ストロークＳＴの第１または第２のいずれかのサイズがサイズ閾値未満であるときのストロークＳＴを削除し、それにより、第２の時間的に順序付けられたリストＬ１ｂ及び少なくとも１つの第２の空間的に順序付けられたリスト（すなわち、本実施例では空間的に順序付けられたリストＬ２ｂ～Ｌ４ｂ）を生成することと、を実行する。
【0108】
換言すれば、各ストロークＳＴは、そのそれぞれの第１のサイズ及び第２のサイズのうちの少なくとも一方がサイズ閾値に達していない場合、第２の時間的に順序付けられたリストＬ１ｂ及び第２の空間的に順序付けられたリストＬ２ｂ～Ｌ４ｂから排除される。
【0109】
図１１に示されるように、形成ステップＳ１６において、したがって、複数のストロークＳＴ（または少なくとも１つのストロークが上記のサイズ閾値に達してないと想定して少なくとも１つ）が第１のセットＳＬａの順序付けられたリストから削除されて、第２のセットＳＬｂの順序付けられたリストが得られる。第１のセットＳＬａの順序付けられたリストＬ１ａ～Ｌ４ａからフィルタ除去されるストロークＳＴは、それぞれのサイズに基づいて選択される。つまり、既定のサイズ閾値未満の各ストロークが削除される。換言すれば、サイズの所定の条件（スケールに対する最大サイズ閾値によって定義される）を満たさない全てのストロークは、第１のセットＳＬａの順序付けられたリストから破棄されて、第２のセットＳＬｂが得られる。
【0110】
特定の実施例では、コンピューティングデバイス１００は、第１のサイズ及び第２のサイズのうちの一方のみを評価して、形成ステップＳ１６において第１のセットＳＬａからどのストロークＳＴをフィルタ除去すべきかを決定する。
【0111】
フィルタ除去のこのステップＳ１６は、テキスト行識別のプロセスにおいて問題またはエラーを引き起こし得る、発音区別符号、句読点、アポストロフィなどの、比較的小さい全てのストロークを第１のセットＳＬａの順序付けられたリストから削除するように設計されている。発音区別符号（発音区別記号またはアクセントとも）は、（セディーユ、チルダ、曲折アクセントまたはマクロンとして）字または文字を類似した形式の別の字または文字と区別したり、字または文字に特定の音声値を与えたり、強調を示したりするために、字または文字に追加または付加されたグリフ（記号、マークなど）である。そのような比較的小さいストロークＳＴを持たない順序付けられたリストの第２のセットＳＬｂを生成することにより、テキスト行抽出プロセスの性能を改善することができる。既に示したように、発音区別符号、句読点などに対応する比較的小さいストロークがどのテキスト行に属するかを確定するのは難しい可能性がある。この第２のセットＳＬｂを第１のセットＳＬａと組み合わせて使用することにより、テキスト行抽出の間にこれらの小さいストロークに関する信頼性の高い決定を行うことができる。
【0112】
図９及び図１１に示されるように、第１及び第２のセットＳＬａ、ＳＬｂのそれぞれまたは順序付けられたリストＬ１ａ～Ｌ４ａ及びＬ１ｂ～Ｌ４ｂは、連続ストロークのペアＰＲ（以下、ペアＰＲとも呼ばれる）を形成する一連のストロークＳＴを含む。所与のペアＰＲは、第１及び第２のセットＳＬａ、ＳＬｂの順序付けられたリストのうちの１つにおいて、より具体的にはＳＴａ及びＳＴｂと呼ばれる、２つの連続ストロークのデュプレット（ＳＴａ、ＳＴｂ）として定義することができる（図６）。同じペアＰＲが、セットＳＬａ、ＳＬｂ内の２つ以上の順序付けられたリストに存在してもよい。
【0113】
順序付けステップＳ１４及び形成ステップＳ１６が一旦完了すると、コンピューティングデバイス１００は、各ストリップＳＰについて、ニューラルネット分析Ｓ１８（ストローク間分析とも呼ばれる）を実行して、決定クラスＣＬとして、ストリップＳＰの第１のセットＳＬａ及び第２のセットＳＬｂの順序付けられた各リスト内の連続ストロークＳＴの各ペアＰＲについて、ペアＰＲの２つのストロークＳＴが確率スコアＰに関連して、同一のテキスト行ＬＮに属するかどうかを判定する（図６及び図１２）。したがって、ニューラルネット分析Ｓ１８の結果として、コンピューティングデバイス１００は、第１及び第２のセットＳＬａ、ＳＬｂの順序付けられた各リストについて、連続ストロークＳＴのそれぞれのペアＰＲに割り当てたデュプレット（ＣＬ、Ｐ）のそれぞれのいわゆる確率リスト（または確率シーケンス）ＰＬ、すなわち、
時間的に順序付けられたリストＬ１ａ内の連続ストロークの各ペアＰＲについて確定されたデュプレット（ＣＬ、Ｐ）の確率リストＰＬ１ａ、
空間的に順序付けられたリストＬ２ａ内の連続ストロークの各ペアＰＲについて確定されたデュプレット（ＣＬ、Ｐ）の確率リストＰＬ２ａ、
空間的に順序付けられたリストＬ３ａ内の連続ストロークの各ペアＰＲについて確定されたデュプレット（ＣＬ、Ｐ）の確率リストＰＬ３ａ、
空間的に順序付けられたリストＬ４ａ内の連続ストロークの各ペアＰＲについて確定されたデュプレット（ＣＬ、Ｐ）の確率リストＰＬ４ａ、
時間的に順序付けられたリストＬ１ｂ内の連続ストロークの各ペアＰＲについて確定されたデュプレット（ＣＬ、Ｐ）の確率リストＰＬ１ｂ、
空間的に順序付けられたリストＬ２ｂ内の連続ストロークの各ペアＰＲについて確定されたデュプレット（ＣＬ、Ｐ）の確率リストＰＬ２ｂ、
空間的に順序付けられたリストＬ３ｂ内の連続ストロークの各ペアＰＲについて確定されたデュプレット（ＣＬ、Ｐ）の確率リストＰＬ３ｂ、
空間的に順序付けられたリストＬ４ｂ内の連続ストロークの各ペアＰＲについて確定されたデュプレット（ＣＬ、Ｐ）の確率リストＰＬ４ｂを形成し得る。
【0114】
換言すれば、ニューラルネット分析Ｓ１８では、確率リスト（ＰＬ１ａ～ＰＬ４ａ）の第１のセットＰＬａは、ストロークの第１のセットＳＬａから導出され、第２のセットＰＬｂ（ＰＬ１ｂ～ＰＬ４ｂ）は、ストロークの第２のセットＳＬｂから導出される。このニューラルネット分析Ｓ１８は、スライスステップＳ１２において先に識別された各ストリップについて実行される（Ｓ１８）。結果として、確率リストの第１のセットＰＬａ及び確率リストの第２のセットＰＬｂは、各ストリップＳＰについて類似の方式で形成される。
【0115】
したがって、本実施例では、決定クラスＣＬは、第１及び第２のセットＳＬａ、ＳＬｂ内の順序付けられたリストのうちの１つにおける連続ストロークのペアＰＲの２つのストロークＳＴが同一のテキスト行ＬＮに属するかどうかに関する結果を表す。ペアＰＲの決定クラスＣＬは、例えば、ペアＰＲの２つのストロークが同一のテキスト行ＬＮ内にあるとみなされることを意味する第１の値（例えば、「同一行」）か、またはペアＰＲの２つのストロークが異なるテキスト行ＬＮにあるとみなされることを意味する第２の値（例えば、「分離行」）のいずれかに割り当てられ得る。
【0116】
確率スコアＰ（ストローク間確率とも呼ばれる）は、関連する結果ＣＬが正しい（すなわち、ＣＬがペアＰＲについての正しい結果を表す）確率または信頼水準を表す。したがって、確率スコアＰに関連した決定クラスＣＬは、Ｓ１４及びＳ１６においてそれぞれ得られた順序付けられたリストＬ１ａ～Ｌ４ａ（セットＳＬａ）及びＬ１ｂ～Ｌ４ｂ（セットＳＬｂ）のそれぞれにおける連続ストロークＳＴの各ペアＰＲについてニューラルネット分析Ｓ１８で作成される。結果として、連続ストロークＳＴの各ペアＰＲに対応するデュプレット（ＣＬ、Ｐ）のリストまたはシーケンスが、第１及び第２のセットＳＬａ、ＳＬｂの順序付けられた各リストについて生成される（Ｓ１８）（図１２）。既に示したように、デュプレット（ＣＬ、Ｐ）のリストを生成するこのプロセスＳ１８は、各ストリップＳＰについて繰り返される。
【0117】
本実施例では、ニューラルネット分析Ｓ１８は、ニューラルネットとも呼ばれる１つ以上の人工ニューラルネット（ＡＮＮ）によって実行される。ニューラルネット（またはニューラルネットワーク）は当業者によく知られており、したがって、本開示では詳細に説明されない。
【0118】
順序付けられたリストの第１及び第２のセットＳＬａ、ＳＬｂのそれぞれにおいて、時間的に順序付けられたリストＬ１ａ（それぞれＬ１ｂ）は、第１の特殊化されたニューラルネットによって分析されてもよく、空間的に順序付けられた各リストＬ２ａ～Ｌ４ａ（それぞれＬ２ｂ～Ｌ４ｂ）は、別個の第２の特殊化されたニューラルネットワークによって分析されてもよい。第１のニューラルネットは、時間的に順序付けられたリスト専用であってもよく、他方、第２のニューラルネットは、空間的に順序付けられたリスト専用であってもよい。特殊化された各ニューラルネットは、２つのサブニューラルネットを含んでもよい。これらのサブニューラルネットはそれぞれ、それぞれの順序付けられたリストを２つの端から始めて並列に処理する。
【0119】
特定の実施形態では、ニューラルネット分析Ｓ１８（図６及び図１２）は、
少なくとも１つの人工ニューラルネットにより、第１及び第２のセットＳＬａ、ＳＬｂの順序付けられたリストに含まれる連続ストロークＳＴの各ペアＰＲにおいて、ストロークＳＴが同一のテキスト行ＬＮに属する確率を表す確率スコアＰを計算することと、
連続ストロークの各ペアの決定クラスＣＬとして、確率スコアＰが少なくとも確率閾値に達した場合にペアＰＲのストロークＳＴが同一のテキスト行ＬＮに属すると確定することとを含む。
【0120】
ニューラルネット分析Ｓ１８は、時間的及び空間的基準を含む各種の基準に従って各ペアＰＲを特徴付けるために実行される特徴抽出に基づき得る。例えば、コンピューティングデバイス１００は、時間的基準及び空間的基準のうちの少なくとも一方、またはこれらの組み合わせを使用し得る。より具体的には、Ｓ１８で実行される特徴抽出は、セットＳＬａ、ＳＬｂの順序付けられたリスト内の連続ストロークの各ペアＰＲの２つのストロークが入力された時間的順序に基づいてもよく、及び／またはセットＳＬａ、ＳＬｂの順序付けられたリスト内の連続ストロークの各ペアＰＲにおける２つのストロークＳＴ間のストローク間スペース（またはストローク間距離）に基づいてもよい。ニューラルネット分析Ｓ１８を実現するために、特徴抽出の各種の実施態様が企図され得る。
【0121】
ニューラルネット分析Ｓ１８の間、メトリック値（例えば、重心距離、全体形状、ストロークのサイズ及び面積、長さ、主な方向）を計算し、使用して、各ペアＰＲについての決定クラスＣＬ及び関連確率スコアＰを計算してもよい。使用される前に、これらのメトリック値は、各種の局所的（例えば、ストロークサイズ）及び／または全体的（例えば、ストリップ幅）基準に基づいて正規化されてもよい。
【0122】
特定の実施形態では、ニューラルネット分析Ｓ１８において、１つ以上の人工ニューラルネットは、第１及び第２のセットＳＬａ、ＳＬｂの順序付けられた各リスト内の連続ストロークＳＴの各ペアＰＲを順次分析して、ペアＰＲの順序付けられたリストに含まれるストロークＳＴに関連する空間的及び時間的情報に基づいてそれぞれの決定クラスＣＬ及び確率スコアＰを確定する。
【0123】
次いで、選択ステップＳ２０（図６及び図１２）において、コンピューティングデバイス１００は、全てのストリップＳＰについて生成された（Ｓ１４、Ｓ１６）第１及び第２のセットＳＬａ、ＳＬｂの少なくとも１つの順序付けられたリストに含まれる連続ストロークＳＴの各個々のペアＰＲについて、ニューラルネット分析Ｓ１８の間にペアＰＲについて最高の確率スコアＰで確定された決定クラスＣＬを選択する。したがって、本実施例では、この選択Ｓ２０は、全てのストリップＳＰについてニューラルネット分析Ｓ１８で生成された確率リストＰＬに基づいて行われる。例えば、連続ストローク（ＳＴａ、ＳＴｂ）の特定のペアＰＲがＳ１８で得られた確率リストＰＬ内で全体的に１回のみ発生する場合、このペアＰＲについてＳ１８で得られた関連する決定クラスＣＬが選択される（Ｓ２０）。しかしながら、連続ストローク（ＳＴａ、ＳＴｂ）の特定のペアＰＲが、全てのストリップＳＰについてＳ１８で得られた確率リストＰＬ内で複数出現する場合、最高の確率スコアＰを有する決定クラスＣＬが確率リストＰＬからペアＰＲについて選択される（Ｓ２０）。
【0124】
したがって、コンピューティングデバイス１００は、順序付けステップＳ１４の間、ＳＬａまたはＳＬｂのいずれかから、異なる順序付け基準（時間的順序ＴＯ及び空間的基準ＣＲ）を使用して連続ストロークＳＴの同じペアＰＲについて得られた決定クラスＣＬを比較し得、最高の確率スコアＰを有する最良の決定クラスＣＬ、つまりペアＰＲについての正しい結果を表す可能性が最も高い決定クラスＣＬのみを保持し得る。特に、コンピューティングデバイス１００は、少なくとも２つの異なるストリップＳＰに存在する同じペアＰＲについて得られた確率スコアＰを比較して、最高の確率スコアで得られた決定クラスＣＬを確定し得る。異なる（時間的及び空間的）基準に基づいて得られた各種の確率リストの中から最良の決定クラスＣＬのみを選択することにより、効率的なテキスト行抽出を実現することができる。
【0125】
最高の確率スコアＰの決定クラスＣＬの選択Ｓ２０を実行するために各種の実施態様が可能である。図１２に示された本実施例では、選択ステップＳ２０において、コンピューティングデバイス１００は、全てのストリップＳＰについてＳ１４及びＳ１６で生成された第１及び第２のセットＳＬａ、ＳＬｂの少なくとも１つの順序付けられたリストに含まれる（または存在する）連続ストロークＳＴの各ペアＰＲについて、それぞれの確率スコアＰに関連して、選択された決定クラスＣＬを確率行列ＰＭへと集約する。したがって、この全体的な確率行列ＰＭは、全てのストリップＳＰに共通である。これは、確率行列ＰＭのエントリが、全てのストリップＳＰについて作成された順序付けられたリストＬ１ａ～Ｌ４ａ及びＬ１ｂ～Ｌ４ｂ内に少なくとも１回出現する連続ストロークＳＴの各ペアＰＲを表すデュプレット（ＣＬ、Ｐ）を定義することを意味する。
【0126】
特定の実施例では、確率行列ＰＭは、より一般的には、所与のストリップＳＰ内の可能なストロークの各ペア（第１及び第２のセットＳＬａ、ＳＬｂの順序付けられたリストのうちの少なくとも１つにおける隣接するストロークではないストロークのペアを含む）についての（インデックスによって識別された）エントリを含み得る。この場合、確率行列ＰＭの各エントリは、それらのエントリが、全てのストリップＳＰについて生成された順序付けられたリストＬ１ａ～Ｌ４ａ及びＬ１ｂ～Ｌ４ｂのうちの少なくとも１つにおける連続ストロークのペアＰＲとして出現しないストロークのペアに対応する場合、（ＣＬ＝０、Ｐ＝０）に留まり得る。
【0127】
選択ステップＳ２０の後、コンピューティングデバイス１００は、ストロークＳＴを、順序付けられたリストＬ１ａ～Ｌ４ａ及びＬ１ｂ～Ｌ４ｂのうちの少なくとも１つにおいて存在する連続ストロークＳＴの各ペアＰＲについて選択ステップＳ２０で選択された最高の確率スコアＰを有する決定クラスＣＬに基づいて行仮定ＬＨへと統合することによってテキスト行ＬＮを定義する（Ｓ２２、図６及び１２）。
【0128】
図１３に示されるように、コンピューティングデバイス１００は、Ｓ２２において、Ｓ２で検出された各ストロークＳＴが属するそれぞれのテキスト行ＬＮを確定する。本実施例では、２つのテキスト行ＬＮ、すなわち、「Ｖｅｒｔｉｃａｌ ｏｒｄｅｒｉｎｇ（垂直方向の順序付けは）」及び「ｃａｎ ｂｒｉｎｇ ｃｈａｏｓ（無秩序をもたらし得る）」という句にそれぞれ対応するテキスト行ＬＮ１及びＬＮ２が認識される。これらのテキスト行ＬＮ１、ＬＮ２は、テキスト行定義ステップＳ２２の間に得られた２つの別個の行仮定ＬＨに対応する。
【0129】
行仮定ＬＨを定義する（Ｓ２２）ために、各種の実装を企図することができる。この下で説明される特定の実施形態では、テキスト行定義ステップＳ２２は、以下で説明されるように、変換ステップＳ２２ａ及び行仮定分析Ｓ２２ｂを含む。
【0130】
より具体的には、テキスト行定義ステップＳ２２の間、コンピューティングデバイス１００は、Ｓ２０で生成された確率行列ＰＭを、確率行列ＰＭに含まれる連続ストロークＳＴのそれぞれの各ペアＰＲについて決定クラスＣＬ及び関連確率スコアＰ（すなわち、デュプレット（ＣＬ、Ｐ））を定義する（または含む）エントリのベクトルリストＬＴへと変換し得る（Ｓ２２ａ、図１２）。既に示されたように、確率行列ＰＭに含まれる各デュプレット（ＣＬ、Ｐ）は、全てのストリップＳＰのニューラルネット分析Ｓ１８の間に連続ストロークの特定のペアＰＲについて得られた最高の確率スコアＰの決定クラスＣＬに対応する。
【0131】
ベクトルリストＬＴは、各ペアＰＲの確率スコアＰの値の降順に従って並べられ得る。特定の実施例では、全てのストリップの第１及び第２のセットＳＬａ、ＳＬｂにおいて少なくとも１回出現する連続ストロークＳＴのペアＰＲに対応する確率行列ＰＭのエントリのみがベクトルリストＬＴへと保持される。この場合、各ストリップＳＰについて生成された順序付けられたリストＬ１ａ～Ｌ４ａ及びＬ１ｂ～Ｌ４ｂのいずれにおいても隣接していないストロークのペアに対応する確率行列ＰＭの任意の他のエントリ（例えば、値（ＣＬ＝０、Ｐ＝０）を有するエントリ）は、ベクトルリストＬＴには含まれない。
【0132】
さらにテキスト行定義ステップＳ２２の間、コンピューティングデバイス１００は、行仮定分析Ｓ２２ｂ（図１２）を実行して、ベクトルリストＬＴ内の連続ストロークＳＴの各ペアＰＲについて、最高の関連確率スコアＰから最低の関連確率スコアＰまで、ペアＰＲの各ストロークに割り当てられたそれぞれの行仮定ＬＨを順次確定し得る。各行仮定ＬＨは、同一のテキスト行ＬＮの少なくとも１つのストロークＳＴのグループを構成する。最終的に得られる各行仮定ＬＨは、ベクトルリストＬＴの全てのストロークＳＴがそれぞれの行仮定ＬＨに一旦割り当てられたら（Ｓ２２）、テキスト行抽出Ｓ１０（図６）の結果としてそれぞれのテキスト行ＬＮを定義する。換言すれば、全てのストリップＳＰについて生成された第１及び第２のセットＳＬａ、ＳＬｂ内の連続ストロークＳＴの全てのペアＰＲに存在するストロークＳＴが、それぞれの行仮定ＬＨに一旦割り当てられたら、結果として生じる行仮定は、Ｓ２で検出されたテキスト手書きＩＮを集合的に形成するテキスト行ＬＮを構成する。
【0133】
特定の実施例では、テキスト行定義ステップＳ２２の間、コンピューティングデバイス１００は、ベクトルリストＬＴに含まれる連続ストロークＳＴのペアＰＲの２つのストロークＳＴを、ペアＰＲについて最高の確率スコアＰで先にＳ２０で選択された決定クラスＣＬが、２つの連続ストロークＳＴが同一のテキスト行ＬＮに属することを示している場合、かつ関連確率スコアＰが少なくとも最終閾値ＴＨ１に達した（最終閾値ＴＨ１以上である）場合、同一のテキスト行ＬＮに対応する同一の行仮定ＬＨへと統合する。このように、ベクトルリストＬＴ内の各ペアＰＲの２つのストロークＳＴのそれぞれについて、２つのストロークＳＴを同一の行仮定ＬＨに割り当てるかべきか否かを順次確定することにより、さらに、この決定及びこのステップＳ２２ｂの間の任意の先に生成された行仮定ＬＨのコンテンツに基づいて割り振られる行仮定ＬＨを確定することにより、行仮定ＬＨを段階的に構築することができる（Ｓ２２ｂ）。
【0134】
次に、特定の実施形態に従って行仮定分析Ｓ２２ｂ（図１２）がどのように実行され得るかを示すために、図１４～図１５を参照して以下で実施例について説明する。しかしながら、他の実施態様が企図されてもよい。
【0135】
本実施例では、コンピューティングデバイス１００は、ベクトルリストＬＴ内の連続ストロークＳＴの各ペアＰＲについて、最高の関連確率スコアＰから最低の関連確率スコアＰまで、ペアＰＲの各ストロークに割り当てられたそれぞれの行仮定ＬＨを順次確定する（Ｓ２２ｂ、図１２）。行仮定分析Ｓ２２ｂの開始時に、各ストロークＳＴは別個の行仮定ＬＨを構成するとみなされるが、他の実施態様が可能である。この初期段階にて、この実施例では、少なくとも３つのストロークＳＴ１、ＳＴ２及びＳＴ３が、３つのそれぞれの初期行仮定ＬＨ１、ＬＨ２及びＬＨ３を構成すると想定される。これらのストロークＳＴ１、ＳＴ２及びＳＴ３は、ベクトルリストＬＴに存在する連続ストロークＳＴのペアＰＲにおいてそれぞれ少なくとも１回出現する。
【0136】
最初に、コンピューティングデバイス１００は、ベクトルリストＬＴの分析を開始し、ベクトルリストＬＴ内で最高の関連確率スコアＰを有する連続ストローク（ＳＴ１、ＳＴ２）の、ＰＲ１と記される第１のペアＰＲを選択する（Ｓ２３、図１４）と想定される。次いで、コンピューティングデバイス１００は、以下のステップＳ２４～Ｓ２８を実行して、この現在のペアＰＲ１について、ペアＰＲのストロークＳＴ１及びＳＴ２のそれぞれに割り当てられるべきそれぞれの行仮定ＬＨを確定する。ストロークＳＴ１及びＳＴ２は、ペア（ＳＴ１、ＳＴ２）に関連確率スコアＰに応じて、それらの別個の初期行仮定ＬＨ１、ＬＨ２内に留まり得るか、または全体の行仮定へとマージされ得る。
【0137】
本実施例では、コンピューティングデバイス１００は、現在のペアＰＲ１について以下の条件Ａ）が満たされているかどうかを判定する（Ｓ２４、図１４）。
【0138】
Ａ）現在のペアＰＲについて最高の確率スコアＰで先にＳ２０で選択された決定クラスＣＬは、少なくとも最終閾値ＴＨ１に達した確率スコアＰでペアＰＲの２つの連続ストロークＳＴが同一のテキスト行ＬＮに属することを示す（条件Ａ））。
【0139】
したがって、この場合、条件Ａ）は、現在のペアＰＲ１についてのベクトルリストＬＴに存在するデュプレット（ＣＬ、Ｐ）が、現在のペアＰＲの２つの連続ストロークＳＴ１、ＳＴ２が最終閾値ＴＨ１以上の確率スコアＰで同一のテキスト行ＬＮに属することを示している場合に満たされる。条件Ａ）が満たされた場合、方法はステップＳ２６（図１４）に進む。それ以外の場合、方法はステップＳ２５に進む。
【0140】
ステップＳ２５において、現在のペアＰＲ１のストロークＳＴ１、ＳＴ２は、同一のテキスト行ＬＮに属しておらず、したがって、それらの別個の行仮定ＬＨ１、ＬＨ２内にそれぞれ留まっていると確定される。換言すれば、条件Ａ）が満たされない場合、既存の行仮定ＬＨは変更されずに留まり、方法は、ステップＳ２３に進んで、ベクトルリストＬＴ内で処理されるべき次の現在のペアＰＲを選択する。
【0141】
この場合、例えば、現在のペアＰＲ１についてのデュプレット（ＣＬ、Ｐ）は、９５％の確率スコアＰで２つの連続ストロークＳＴ１及びＳＴ２が同一のテキスト行ＬＮに属していることを示すと想定される。例えば、最終閾値ＴＨ１が６０％に設定されていると想定すると、確率スコアＰが最終閾値ＴＨ１を上回っていると確定され（Ｓ２４）、したがって、方法はステップＳ２６に進む。
【0142】
ステップＳ２６（図１４）において、コンピューティングデバイス１００は、現在のペアＰＲ１について次の条件Ｂ）が満たされているかどうかを判定する。
【0143】
Ｂ）現在のペアＰＲの少なくとも１つのストロークＳＴが、少なくとも２つのストロークＳＴを含む行仮定ＬＨ内に既にある（条件Ｂ））。
【0144】
したがって、この場合、ストロークＳＴ１またはストロークＳＴ２のいずれか（または両方）が少なくとも２つのストロークＳＴを含む行仮定ＬＨ内に既にある場合、条件Ｂ）はステップＳ２６において満たされる。条件Ｂ）が満たされない場合、方法はマージステップＳ２８に進む。そうでない場合、方法はステップＳ２７の決定プロセスに進んで、マージステップＳ２８を実行すべきかどうかを判定する（図１４）。
【0145】
本実施例では、この段階にて、ストロークＳＴ１及びＳＴ２は、別個の行仮定ＬＨ１及びＬＨ２にそれぞれ含まれるとみなされる。これらの行仮定は共に、単一のストロークＳＴの行仮定である。したがって、決定プロセスＳ２７は必要ではなく、方法は、マージステップＳ２８に直接進む。
【0146】
マージステップＳ２８において、コンピューティングデバイス１００は、ストロークＳＴ１とストロークＳＴ２の両方が、ＬＨ５と記された同一の行仮定に属すると確定する。この行仮定は、行仮定ＬＨ１及び行仮定ＬＨ２をマージすることによって得られる（ＬＨ５＝ＳＴ１、ＳＴ２）。次いで、方法は、ステップＳ２３に進んで、ベクトルリストＬＴ内で処理されるべき次の現在のペアＰＲを選択する。
【0147】
したがって、コンピューティングデバイス１００は、確率スコアＰの降順でベクトルリストＬＴの連続ストロークＳＴの各ペアＰＲを継続的に分析し続ける（ステップＳ２３～Ｓ２８）。行仮定ＬＨは、ペアＰＲに関連付けられた決定クラスＣＬ及び確率スコアＰに基づき、さらに行仮定分析Ｓ２２ｂの間に先に作られた行仮定ＬＨにも基づき、継続的な各ペアＰＲの２つの連続ストロークＳＴをそれぞれの行仮定に割り当てることによって徐々に構築される。
【0148】
本実施例では、コンピューティングデバイス１００が、ベクトルリストＬＴ内で先に分析されたペアＰＲ１（ＳＴ１、ＳＴ２）から確率スコアＰの降順でさらに移行して、ベクトルリストＬＴ内の連続ストローク（ＳＴ２、ＳＴ３）の新しい、いわゆる現在のペアＰＲ２を次に選択する（Ｓ２３）と想定される。この段階では、行仮定ＬＨ５はストロークＳＴ１及びＳＴ２を含み、他方、行仮定ＬＨ３は単一のストロークＳＴ３を含む（図１６）。
【0149】
この実施例では、コンピューティングデバイス１００は、ステップＳ２４で、ペアＰＲ２について条件Ａ）が満たされていることを検出し、したがって、ステップＳ２６（図１４）に進むと想定される。ステップＳ２６において、コンピューティングデバイス１００は、条件Ｂ）が満たされない（ストロークＳＴ２は、複数のストローク、すなわち２つのストロークＳＴ１及びＳＴ２を含む行仮定ＬＨ５の既に一部であるため）ことを検出する。その結果、方法は、次にステップＳ２７の決定プロセスに進む。
【0150】
この決定プロセスＳ２７は、連続ストロークの現在のペアＰＲについて条件Ａ）及びＢ）が満たされることが検出されたときに、２つの既存の行仮定（すなわち、この場合はＬＨ５及びＬＨ３）を統合すべきかどうかを判定するように構成される。決定プロセスＳ２７を実行する各種の手法が可能である。いくつかの実施例は、例示の目的のみのために以下に提供される。
【0151】
この実施例ではより具体的にはＳ２７ａと呼ばれる、決定プロセスを実装する第１の実施例について、ここで図１５Ａ及び図１６を参照して説明する。この第１の実施例では、この決定プロセスＳ２７ａは、行スコアＬＳの計算に基づいている。より具体的には、本実施例では、コンピューティングデバイス１００は、以下で説明されるように、決定プロセスＳ２７ａの間にステップＳ３０、Ｓ３２、Ｓ３４及びＳ３６を実行する。
【0152】
行スコアＬＳの計算の様々な実施態様が可能である。以下でさらに示されるように、行スコアは、例えば、所与の行仮定ＬＨに存在するストロークＳＴの各ペアＰＲの確率スコア（ＰＬ）の対数、及び２つの構成ストロークＳＴのうちの一方のみがＬＨに属するための各ペアＰＲの逆確率スコア（１－ＰＬ＝ＰＢ）の対数を使用して計算され得る。
【0153】
ステップＳ３０において、コンピューティングデバイス１００は、第１の行仮定ＬＨ５に既に割り当てられた連続ストロークＳＴの各ペアＰＲ（すなわち、ＰＲ１）の確率スコアＰに基づいて第１の行仮定ＬＨ５の第１の行スコアＬＳ５を計算する。この第１の行スコアＬＳ５は、この第１の行仮定ＬＨ５の各ストロークＳＴ（すなわち、ＳＴ１及びＳＴ２）が同一のテキスト行ＬＮの一部であり、このテキスト行ＬＮが行仮定ＬＨ５によって完成すると定義される尤度を表す。
【0154】
この文脈において、確率スコアＰに従って同一のテキスト行ＬＮに属するべきである全てのストロークＳＴが実際に行仮定ＬＨ内にある場合、テキスト行ＬＮは、行仮定ＬＨによって完成すると定義される。換言すれば、行スコアＬＳは、同一の行仮定ＬＨに属する連続ストロークの各ペアＰＲについての確率スコアＰが決定クラスＣＬ＝「同一行」に関連付けられること、及びこの行仮定ＬＨに属する１つのストロークＳＴのみを含む全ての他のペアＰＲがクラスＣＬ＝「分離行」に関連付けられることを保証する。本実施例では、コンピューティングデバイス１００によって計算された行スコアＬＳは、上記のような尤度を表す値である。
【0155】
ステップＳ３２（図１５Ａ）において、コンピューティングデバイス１００は、第２の行仮定ＬＨ３に既に割り当てられた連続ストロークＳＴの各ペアＰＲの確率スコアＰに基づいて第２の行仮定ＬＨ３の第２の行スコアＬＳ３を計算する。この第２の行スコアＬＳ３は、この第２の行仮定ＬＨ３の各ストロークＳＴ（すなわち、ＳＴ３）が第２のテキスト行ＬＮの一部である尤度を表す。この段階では、行仮定ＬＨ３は単一のストローク、すなわちＳＴ３のみを含む。同一のＬＨ内にストロークＳＴａとＳＴｂの両方を有するストロークのペアは存在しないが、それぞれの行仮定ＬＨの外側の他のストロークと共にストロークＳＴ３を含むストロークのペアが存在する。ここで、関連するペアは（ＳＴ３、ＳＴ１）と（ＳＴ３、ＳＴ２）になる。行仮定ＬＨ３の行スコアＬＳ３を計算するとき、この同一の行仮定に寄与するペアは存在しない（すなわち、ｌｏｇＰＬの計算はない）が、「分離行」（または異なる行）仮定、すなわちｌｏｇＰｂ、より具体的には、ＬＨ２に属するＳＴｘを用いてｌｏｇＰｂ（ＳＴ３、ＳＴｘ）を計算するのに使用できるペアは依然として存在する。
【0156】
ステップＳ３４において、コンピューティングデバイス１００は、第１及び第２の行仮定ＬＨ５、ＬＨ３の各ストロークＳＴを統合した第３の行仮定ＬＨ６に割り当てられた連続ストロークＳＴの各ペアＰＲ（すなわちＰＲ１、ＰＲ２）の確率スコアＰに基づいて第３の行スコアＬＳ６を計算する。この第３の行スコアＬＳ６は、これらの第１及び第２の行仮定ＬＨ５、ＬＨ３の各ストロークが第３のテキスト行ＬＮの一部である尤度を表す。
【0157】
ステップＳ３６において、コンピューティングデバイス１００は、第１の行スコアＬＳ５と第２の行スコアＬＳ３の和Ｓ１（Ｓ１＝ＬＳ５＋ＬＳ３）と第３の行スコアＬＳ６との比較に基づき、第１及び第２の行仮定ＬＨ５、ＬＨ３がこの第３の行仮定ＬＨ６にマージされるべきかどうかを判定する。
【0158】
行スコアＬＳ５、ＬＳ３及びＬＳ６は、それぞれの各行仮定ＬＨ５、ＬＨ３及びＬＨ６の構成ストロークＳＴがテキスト行ＬＨを集合的に形成するのに共に適合する度合いを表す。上記の行スコアＬＳ５、ＬＳ３及びＬＳ６は異なる方式で算出されてもよく、実施態様の詳細は当業者の裁量に委ねられている。コンピューティングデバイス１００は、決定プロセスＳ２７ａの間に第３の行スコアＬＳ６が第１の行スコアＬＳ５と第２の行スコアＬＳ３の合計Ｓ１を超えると判定された場合（すなわち、ＬＳ６＞Ｓ１、または換言すれば、比ＬＳ６／Ｓ１＞１の場合）、第１及び第２の行仮定ＬＨ５、ＬＨ３を第３のテキスト行に対応する第３の行仮定ＬＨ６へとマージする。より正確に言うと、第１及び第２の行仮定ＬＨ５、ＬＨ３は、ＬＳ６＞Ｓ１－ＣＰの場合、第３の行仮定ＬＨ６へとマージされ得る。式中、ＣＰは、第１及び第２の行仮定ＬＨ５、ＬＨ３によって共有されるスコア計算の共通部分である。この共通部分ＣＰは、第１の行仮定ＬＨ５内に１つのストロークＳＴを有し、第２の行仮定ＬＨ３内に別のストロークを有するペアＰＲから生じた行スコアの下位部分に対応する。これらのストロークペアの寄与は、ＬＳ５及びＬＳ３で計算されるが、ＬＳ６では１回だけ計算される。
【0159】
ＬＳ５、ＬＳ３及びＬＳ６の計算に使用される確率スコアＰは、選択ステップＳ２０で得られた確率行列ＰＭから導出することができる。
【0160】
行仮定ＬＨ５、ＬＨ３がマージされるべきであるとＳ３６で判定された場合、コンピューティングデバイス１００は、これらの行仮定をマージする（図１４）。次いで、方法は、ステップＳ２３に再度進んでベクトルリストＬＴ内の次の現在のペアＰＲを選択し、プロセスＳ２３～Ｓ２８は、ベクトルリストＬＴの全てのペアＰＲが処理されて行仮定ＬＨを構築するまで繰り返される。
【0161】
次に、別の実施例において、この実施例ではより具体的にはＳ２７ｂと呼ばれる決定プロセスＳ２７（図１４）について、図１５Ｂを参照して説明する。既に言及したように、決定プロセスＳ２７ｂでは、行仮定ＬＨ３及び行仮定ＬＨ５をマージすべきかどうかを判定することができる。ステップＳ３０ｂにおいて、ＬＨ３とＬＨ５の間のマージスコアＬＳａが計算される。ステップＳ３２ｂにおいて、ＬＨ３とＬＨ５の間の非マージスコアＬＳｂが計算される。２つの行仮定（すなわち、この実施例ではＬＨ５及びＬＨ３）をマージするかどうかの判定は、第１のストロークＳＴａが第１の行仮定ＬＨ（ここではＬＨ３）に属し、第２のストロークＳＴｂが第２の行仮定ＬＨ（ここではＬＨ５）に属するペアＰＲにのみ依存する。本実施例では、ペアＰＲ（ＳＴ１、ＳＴ３）及び（ＳＴ２、ＳＴ３）の確率Ｐのみが、ＬＨ３及びＬＨ５をマージすべきかどうかを判定することに関連している。したがって、次の２つの行スコア、すなわち、２つのペアＰＲに関連付けられた２つの確率スコアＰがマージに適する度合いを定義するマージスコアＬＳａ、及び２つのペアＰＲに関連付けられた２つの確率スコアがマージの拒否に適する度合いを定義する第２のスコアＬＳｂ（したがって、マージされる行仮定ＬＨ６よりもＬＨ３及びＬＨ５に関して適切な行仮定を有する）が計算される。第１の行スコアＬＳａは、全ての関連するペアＰＲ（ここでは（ＳＴ１、ＳＴ３）及び（ＳＴ２、ＳＴ３））についてクラスＣＬ＝「同一行」の場合の確率Ｐ（いわゆるＰＬ）の対数の組み合わせとして定義される。第２の行スコアＬＳｂは、全ての関連するペアＰＲ（ここでは（ＳＴ１、ＳＴ３）及び（ＳＴ２、ＳＴ３））についてクラスＣＬ＝「分離行」の場合の確率Ｐ（いわゆるＰＢ）の対数の組み合わせとして定義される。次いで、ステップＳ３６ｂにおいて、２つのスコアＬＳａとＬＳｂが比較されて、行仮定ＬＨ５及びＬＨ３がマージされるべきか否かを判定する。この実施例では、マージスコアＬＳａが非マージスコアＬＳｂよりも大きい場合、これは、行仮定ＬＨ３及びＬＨ５がより適切な行仮定ＬＨ６へとマージされるべきであることを意味する。判定が「ｙｅｓ」の場合、ストロークＳＴ１、ＳＴ２及びＳＴ３（及びこれら３つのみ）を含むペアＰＲについての確率スコアＰの大部分（理想的には全て）が決定クラスＣＬ＝「同一行」に関連付けられるべきである。しかしながら、行仮定ＬＨ３及びＬＨ５がマージされるべきではないとの判定である場合、第１の行仮定ＬＨ３からの１つのストローク及び第２の行仮定ＬＨ５からの他の１つのストロークを含むペアＰＲの確率スコアＰの大部分（理想的には全て）が決定クラスＣＬ＝「分離行」に関連付けられるべきである。
【0162】
ペア（ＳＴ１、ＳＴ３）と（ＳＴ２、ＳＴ３）の両方が確率行列ＰＭ内に存在する場合、マージスコアＬＳａの計算は、２つの確率（ＰＬ（ＳＴ１、ＳＴ２）及びＰＬ（ＳＴ２、ＳＴ３）の組み合わせを必要とし、非マージスコアの計算は、（ＰＢ（ＳＴ１、ＳＴ３）及びＰＢ（ＳＴ２、ＳＴ３））と共に各ペアについてＰＬ＝１－ＰＢ及びＰＢ＝１－ＰＬを有する２つの確率の組み合わせを必要とすることに留意されるべきである。これは、先に言及されたような行スコアの計算を説明する別の手法と見ることができる。
【0163】
本発明では、２つのタイプの確率スコアＰ、すなわち、
連続ストロークＳＴのペアＰＲが同一のテキスト行ＬＮに属する確率を表す、ＰＬと表記された「同一行」確率スコア（例えば、決定クラスＣＬ＝「同一行」に関連付けられた確率スコア）、及び／または
連続ストロークＳＴのペアＰＲが同一のテキスト行ＬＮに属さない確率を表す、ＰＢと表記された「分離行」確率スコア（例えば、決定クラスＣＬ＝「分離行」に関連付けられた確率スコア）が使用され得ることに留意されるべきである。
【0164】
一実施例では、行スコアは、所与の行仮定ＬＨに存在するストロークＳＴの各ペアＰＲの確率スコア（ＰＬ）の対数、及び２つの構成ストロークＳＴのうちの一方のみがＬＨに属する場合の各ペアＰＲの逆確率スコア（１－ＰＬ＝ＰＢ）の対数を使用して計算される。
【0165】
本実施例では、確率行列ＰＭに含まれるエントリは、同一行確率スコアＰＬまたは分離行確率スコアＰＢのいずれかを定義し得るが、これは、行スコアを計算するために使用される同一行確率スコアＰＬである。したがって、確率行列ＰＭから導出され得る任意の分離行確率スコアＰＢは、対応する同一行確率スコアＰＬ（ＰＬ＝１－ＰＢ）に転換される。同一行確率スコアＰＬ、もしくは分離行確率スコアＰＢ、または確率行列ＰＭ内の２つの組み合わせのいずれかを使用して、各種の実施態様が可能である。
【0166】
図６に示されるように、行仮定ＬＨの生成Ｓ２２が一旦完了すると、コンピューティングデバイス１００は、実装された構成に応じて任意の適切な後処理を実行し得る（Ｓ２４）。この後処理ステップＳ２４は、例えば、ストロークコンテキストが非常に特殊であるためにテキスト行抽出Ｓ１０で起こり得るいくつかの明らかな誤りを修正するために、例えば、あるニューラルネットが別のニューラルネットによって補償または訂正することができない誤りを犯したときに使用され得る。
【0167】
本発明は、コンピューティングデバイスによってテキスト手書きに対して手書き認識が実行されるときに効率的かつ信頼性の高いテキスト行抽出を可能にする。先に示されたように、行抽出は、テキスト認識における重要なステップであり、特に、発音区別符号、句読点などのいくつかのタイプのストロークに関しては、必ずしも満足のいく結果をもたらさない場合がある。より一般的には、テキスト手書きが経時的ではない順序で入力されたとき、テキスト行抽出の間にエラーが発生する場合がある。
【0168】
本発明は、特定の実施形態において先に説明されたように、効率的なテキスト行抽出を実現するために互いに機能的に相互作用するいくつかの態様に依存する。特に、テキスト手書きＩＮをスライスすることにより、コンピューティングデバイス１００は、デジタルインクの各ストロークＳＴに関して異なるコンテキストで決定を下すことができる。スライスステップにより、ニューラルネット分析中の処理が容易となる。複数のストリップへのテキスト入力のスライスが実行されなかった場合、図１７Ａに示されるように、テキスト手書きＩＮの全てのテキストストロークＳＴが単一の区域に含まれる。したがって、時間的及び空間的な順序変更は、テキスト全体に対して一意の区域として全体的に行われる。例えば、図１７Ｂに示されるように、時間的順序は、自然なユーザの手書きの順序に従う。図１７Ｃに示されるように、Ｙ方向に沿った空間的順序付けにより、特に手書き方向Ｘにおける連続ストロークＳＴの位置に関して、より無秩序な経路が生じる。ストロークの空間的シーケンスは、Ｘ位置に関してランダムに現れる。
【0169】
本発明において実行されるようなテキストスライスにより、図１７Ｄに示されるように、空間的順序付けがより秩序的になる。文書をスライスすると、上記のランダムパターンが現れる手書き方向Ｘの範囲が減少する。
【0170】
図１７Ｂ及び１７Ｃから分かるように、テキストをスライスせずに時間的または空間的な順序付けが実行されたときには、ＬＢと表記された改行がほとんど発生しない（通常、１ペアのストロークの間で１つの改行ＬＢのみ）。したがって、ニューラルネット分析中、ニューラルネットは、２つのテキスト行ＬＮの間のこの分離（または隔離）を検出する機会を１回のみ有する。テキスト手書きＩＮをＫスライス（Ｋ＞１）すると、図１７Ｄに示されるように、ニューラルネットが２つのテキスト行ＬＮの間の分離を検出する可能性は最大でＫとなる。この場合、５つのストリップへとスライスすることで５つの異なる改行ＬＢが生じ、これらの改行はそれぞれ、ニューラルネット分析の間に検出され得る。
【0171】
テキストスライスの別の利点は、いくつかのストロークＳＴについてストロークコンテキストの変動を生じさせることである。スライスしない場合、例えば、大きいストロークＳＴは、上のテキスト行内の１つのストローク及び下のテキスト行内の１つのストロークにのみ結合され得る。文書をスライスすることにより、この大きいストロークＳＴを複数のスライスに含めることができる一方、他のより小さいストロークは全て同じスライス内に現れなくなる。
【0172】
図１８Ａは、例えば、大きいストロークＳＴ１０（分数バー）が手書き方向Ｘに水平に伸びる場合を示している。図１８Ｂに示されるように、テキスト手書きＩＮを複数のスライスＳＰへと分割することにより、この長いストロークＳＴ１０は、異なるスライスＳＰに含まれ、したがって異なるストロークコンテキストにおいて扱われるため、行テキスト抽出の間により効率的に処理することができる。各桁１～９が１つのストロークＳＴで作られていると想定すると、スライスしない場合、垂直方向の順序付けによりストロークの順序［１、２、３、４、５、ＳＴ１０、６、７、８、９］が得られることが分かる（図１８Ａ）。分数バーＳＴ１０は、連続ストロークの２つのペアＰＲ、すなわち（５、ＳＴ１０）及び（ＳＴ１０、６）においてのみ、テキスト行抽出プロセスで検出され、扱われる。しかしながら、図１８Ｂに示されるように、３つのストリップにスライスすると、３つの空間的なストローク順序、すなわち［１、２、ＳＴ１０、６、７］、［３、４、ＳＴ１０、８、９］及び［５、ＳＴ１０バー、９］を生成することができる。したがって、分数バーＳＴ１０は、テキスト行抽出プロセスの間に６つの異なるストロークのペアＳＴにおいて検出し、扱うことができる。
【0173】
最後に、制限されたストリップでストローク順序を生成すると、２つのテキスト行ＬＮの間の改行のゆらぎを制限することができる。改行のゆらぎが生じないストローク順序は、各テキスト行ＬＮのストロークが順序付けられたリストにグループ化されるストローク順序である（テキスト行ＬＮ１からの全てのストローク、次いでテキスト行ＬＮ２からの全てのストロークなど）。ゆらぎは、例えば、前のテキスト行ＬＮからのストロークが、別のテキスト行ＬＮの中央の順序付けられたリストに現れるときに発生する。例えば、ゆらぎは、行ＬＮ１からのいくつかのストロークＳＴ、次いで行ＬＮ２からの１つまたは複数のストロークＳＴ、再びテキスト行ＬＮ１からのいくつかのストロークＳＴなどを連続して含む順序付けられたリストで発生する。このようなゆらぎが生じた順序は、ニューラルネットによって分析するのがより困難である。先述したようにテキスト手書きをスライスすることにより、順序付けられたリスト内のゆらぎを制限することができる。
【0174】
先述したようにストリップＳＰを、これらを互いに重ね合わせるように構成することにより、テキスト行抽出のプロセスをさらに一層改善することができる。しかしながら、ストリップＳＰが重なり合わない実施態様も可能である。例えば、隣接するストリップＳＰの各ペアＰＲの間で７５％の重なり合いを設定することにより、テキスト行抽出（図７～８）の間に各ストロークＳＴがコンピューティングデバイス１００によっていくつかの異なるストロークコンテキストで見出されることが保証される。
【0175】
図１９に示されるように、ストリップＳＰの幅ＷＤは、手書き入力ＩＮに含まれるストロークＳＴのスケールに基づいて定義され得る。図１９に示される特定の実施形態では、コンピューティングデバイス１００は、スライスステップＳ１２（図６～８）の間に、テキスト手書きＩＮを形成するストロークＳＴのスケール（またはサイズ）に基づいてストリップＳＰの幅ＷＤを確定する（Ｓ５２）。ストロークＳＴのスケールは、当業者に知られた任意の適切な技術に従って先に確定される（Ｓ５０）。次いで、コンピューティングデバイス１００は、既に説明されたように、ストロークＳＴを含む表示領域をスライスし（Ｓ５４）、各ストロークＳＴを少なくとも２つのそれぞれのストリップＳＰに割り当てる。
【0176】
特定の実施形態では、スライスＳ１２（図６～８）は、隣接するストリップＳＰの各ペアＰＲが互いに部分的に重なり合って、それぞれの領域の５０％～８５％の間を共有するように構成される。
【0177】
重なり合うスライス環境においてスライスごとに複数のストローク順序を生成することにより、連続ストロークＳＴのペアがコンピューティングデバイス１００によって複数回見出され、それによってニューラルネット分析の間に連続ストロークＳＴの同じペアのＰＲについて同数の確率スコアを作成する可能性が高くなる。より高い確率スコアＰを与えるニューラルネットの決定のみを選択することにより、効率的なテキスト行抽出を実現することができる。
【0178】
さらに、先述したように、コンピューティングデバイス１００は、順序付けステップＳ１４（図６、図９及び図１２）の間にストロークの順序付けられたリストの第１のセットＳＬａを生成し得る。各種の基準（時間的順序及び空間的基準）に従って各ストリップＳＰについて複数の順序付けられたリストを生成することにより、順序付けられた各リスト内の連続ストロークの特定のペアＰＲ内で１つの所与の改行を識別することができるため、改行ＬＢをより一層簡単に識別することができる。異なるストローク順序を生成することは、異なる視点を通じてテキスト行抽出の問題を分析することにより、連続ストロークの各ペアＰＲについて、最良の決定が得られる最良のストロークコンテキストをコンピューティングデバイスが見出すのを支援することと見ることができる。
【0179】
より具体的には、垂直方向の各スライスについてストロークの時間的順序を生成することにより、全体的な順序よりも処理が容易な時間的順序を生成することができる。これにより、遅延したストロークギャップが制限される。加えて、ユーザの訂正などからのストロークは、それらのストロークコンテキストにより時間的に近づいて処理され得る。空間的分析は、スライスされた環境においても容易である。その理由としては、空間的順序に基づいてストロークを順序変更すると、行間スペースになり得るストローク間の局所的なギャップを発見しやすくなるためである。（手書き方向に沿った）Ｘ軸上のストローク分布は、場合によっては無秩序であり得る。本発明において実行されるテキストスライスは、このストローク分布の無秩序を制限することを可能にし、ニューラルネットによる処理を容易にする。
【0180】
スライスが多くなり、順序付けられたリストがスライスごとに多くなるほど、コンピューティングデバイス１００が、テキスト行抽出のプロセスの間に連続ストロークＳＴの同じペアＰＲを複数回検出する可能性が高くなる。しかしながら、改行ＬＢを識別する機会の回数と、テキスト行抽出を実装するために必要とされるリソース及び時間との間でトレードオフが実現されるべきである。例えば、４つの異なる基準に従ってストリップごとに４つの異なる順序付けられたリストを生成すると良い結果になることが確認されている。また、先述したように、ストロークの時間的に順序付けられたリスト及びストロークの少なくとも１つの空間的に順序付けられたリストを生成することにより、非常に効率的なテキスト行抽出が可能になることが確認されているものの、他の実施態様が可能である。
【0181】
なおさらに、先述したように、コンピューティングデバイスはまた、第１のセットＳＬａの順序付けられたリストから比較的小さいストロークＳＴをフィルタ除去することによって順序付けられたリストの第２のセットＳＬｂを生成し得る（ステップＳ１６、図６、図１１及び図１２）。既に論じられたように、発音区別符号などの比較的小さいストロークは、テキスト行抽出の間にエラーを引き起こす可能性がある。テキスト行抽出の間に順序付けられたリストからこれらの比較的小さいストロークを削除すると、これらの比較的小さいストロークＳＴがある場合とない場合とで連続ストロークの各ペアＰＲについて得られた決定クラス及び関連確率スコアを比較することができる。最良の信頼水準を有する（最高の確率スコアを有する）決定クラスを保持し、テキスト行仮定を構築するために使用することができ、それによって効率的かつ信頼性の高いテキスト行抽出が可能になる。
【0182】
本発明では、先述したように、１つ以上のニューラルネットを使用して、手書きの時間的及び空間的態様に対処することができる。システムは、ストロークのコンテキストに応じて、時間的または空間的態様に従うことを自動的に決定してもよい。
【0183】
また説明したように、２つの特殊化されたニューラルネットワークを使用して時間的順序及び空間的順序にそれぞれ対処することができるが、これは可能な実施態様のうちの一実施例に過ぎない。リカレントニューラルネットワーク（ＲＮＮ）は、場合によっては、ニューラルネット分析を実行するのに特によく適している場合がある。
【0184】
いくつかの代替的な実施態様では、ブロックで表記された機能は、図に表記された順序とは違う順序で起こり得ることに留意されるべきである。例えば、連続して示された２つのブロックは、実際には実質的に同時に実行されてもよく、またはブロックは、場合によっては逆の順序で実行されてもよく、またはブロックは、関係のある機能に応じて代替的な順序で実行されてもよい。例えば、図１４、図１５Ａ及び図１５Ｂを参照して企図された行スコアは、異なる順序で計算されてもよい。
【0185】
特定の実施形態では、各ストリップＳＰについて生成された順序付けられたリストＬ１ａ～Ｌ４ａ及びＬ１ｂ～Ｌ４ｂ（Ｓ１４、Ｓ１６、図６）に加えて、コンピューティングデバイス１００は、全てのストリップＳＰによって形成された領域全体について２つの追加の時間的に順序付けられたリストＬ５ａ及びＬ５ｂを生成するようにも構成される。より具体的には、コンピューティングデバイス１００は、テキスト手書きＩＮ（図４）の全てのストロークＳＴを共に順序付けて、時間的順序（ＴＯ）で並べられたストロークＳＴのいわゆる第３の時間的に順序付けられたリストＬ５ａを生成し、また第３の時間的に順序付けられたリストＬ５ａからサイズ閾値未満のストロークＳＴをフィルタ除去することによっていわゆる第４の時間的に順序付けられたリストＬ５ｂを形成する。これらの時間的に順序付けられたリストＬ５ａ及びＬ５ｂは、先述したようなそれぞれの時間的に順序付けられたリストＬ１ａ及びＬ１ｂと類似の方式で生成されるが、リストＬ５ａ及びＬ５ｂは、ストリップＳＰのうちのただ１つに対応するのではなく、共に全てのストリップＳＰに対応するという違いがある。ニューラルネット分析Ｓ１８（図６及び図１２）は、これらの時間的に順序付けられたリストＬ５ａ及びＬ５ｂにも適用される。すなわち、ニューラルネット分析Ｓ１８の間、コンピューティングデバイス１００はまた、決定クラスＣＬとして、第３及び第４の時間的に順序付けられたリストＬ５ａ及びＬ５ｂ内の連続ストロークＳＴの各ペアＰＲについて、当決定クラスの確率スコアＰに関連して、当ペアのストロークが同一のテキスト行ＬＮに属するかどうかを判定する。これらの時間的に順序付けられた順序付きリストＬ５ａ及びＬ５ｂはまた、各ペアＰＲについて、ステップＳ２０（図６及び図１２）の間に最高の確率スコアＰを有する決定クラスＣＬを選択するとき、（各ストリップＳＰについて生成された全ての順序付けられたリストＬ１ａ～Ｌ４ａ及びＬ１ｂ及びＬ４ｂと共に）考慮される。換言すれば、選択ステップＳ２０の間、コンピューティングデバイス１００は、ニューラルネット分析Ｓ１８の間に最高の確率スコアＰで確定された決定クラスＣＬを、順序付けられたリストＬ１ａ～Ｌ４ａ、順序付けられたリストＬ１ｂ～Ｌ４ｂ、第３の時間的に順序付けられたリストＬ５ａ及び第４の時間的に順序付けられたリストＬ５ｂのうちの少なくとも１つに含まれる（または存在する）連続ストロークの各ペアについて選択し得る。この特定の実施形態は、いくつかの特定の場合において、テキスト行ＬＮの定義をさらに改善することを可能にする。
【0186】
本発明は特定の実施形態で説明されており、添付の特許請求の範囲によれば、当業者の能力の範囲内で多数の修正及び実施形態が可能であることは明らかである。特に、当業者は、添付の特許請求の範囲内に含まれる本文書で説明された各種の実施形態のいずれか及び全ての組み合わせ及び変形を企図し得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図16】
【図17】
【図18】
【図19】
Copyright © 2010-2024 Science Impact Inc. All Rights Reserved.