▶ コニカ ミノルタ ビジネス ソリューションズ ユー．エス．エー．， インコーポレイテッドの特許一覧
特開2024-144209定型文のグループ化を利用したフォームの識別と登録方法、および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024144209
(43)【公開日】2024-10-11
(54)【発明の名称】定型文のグループ化を利用したフォームの識別と登録方法、および装置
(51)【国際特許分類】
G06V 30/412 20220101AFI20241003BHJP
G06F 16/55 20190101ALI20241003BHJP
G06F 16/583 20190101ALI20241003BHJP
G06V 30/194 20220101ALI20241003BHJP
G06V 30/414 20220101ALI20241003BHJP
G06T 7/00 20170101ALI20241003BHJP
G06V 10/82 20220101ALI20241003BHJP
G06V 30/418 20220101ALI20241003BHJP
G06V 30/166 20220101ALI20241003BHJP
G06V 30/16 20220101ALI20241003BHJP
【ＦＩ】
G06V30/412
G06F16/55
G06F16/583
G06V30/194
G06V30/414
G06T7/00 350C
G06V10/82
G06V30/418
G06V30/166
G06V30/16
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024038059
(22)【出願日】2024-03-12
(31)【優先権主張番号】18/128,951
(32)【優先日】2023-03-30
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】519448326
【氏名又は名称】コニカ ミノルタ ビジネス ソリューションズ ユー．エス．エー．， インコーポレイテッド
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】ウェイ， ジュンチャオ
【テーマコード（参考）】
5B029
5B064
5B175
5L096
【Ｆターム（参考）】
5B029AA01
5B029BB02
5B029BB12
5B029CC26
5B029EE03
5B029EE15
5B064AA01
5B064BA01
5B064DA27
5B064DA32
5B064EA27
5B175DA02
5B175FA01
5B175FA03
5L096AA03
5L096AA07
5L096BA07
5L096BA17
5L096DA02
5L096HA11
5L096MA07
(57)【要約】 （修正有）
【課題】フォームを識別するための機械学習システムを訓練するコンピュータ実装方法を提供する。
【解決手段】フォームを識別するために機械学習システムを使用するコンピュータ実装方法であって、フォームを入力画像として受け取ることと、入力画像の１つまたは複数のフィールドを識別することと、各識別されたフィールドに対して、識別されたフィールドの１つまたは複数の下位領域を識別することと、１つまたは複数のフィールドの識別に応じて、１つまたは複数のフィールドを分類することと、入力画像の１つまたは複数のフィールドの相対的な位置を特定することと、相対的な位置の特定に応じて、フォームを分類する。フィールド識別が正しくない場合、ニューラルネットワークのノードの重みを更新するなど、機械学習システムが更新され、フィールド識別の不正確さに対処する。
【選択図】図７Ａ
【解決手段】フォームを識別するために機械学習システムを使用するコンピュータ実装方法であって、フォームを入力画像として受け取ることと、入力画像の１つまたは複数のフィールドを識別することと、各識別されたフィールドに対して、識別されたフィールドの１つまたは複数の下位領域を識別することと、１つまたは複数のフィールドの識別に応じて、１つまたは複数のフィールドを分類することと、入力画像の１つまたは複数のフィールドの相対的な位置を特定することと、相対的な位置の特定に応じて、フォームを分類する。フィールド識別が正しくない場合、ニューラルネットワークのノードの重みを更新するなど、機械学習システムが更新され、フィールド識別の不正確さに対処する。
【選択図】図７Ａ
【特許請求の範囲】
【請求項1】
フォームを識別するための機械学習システムを訓練するコンピュータ実装方法であって、
ａ）フォームを入力画像として受け取ることと、
ｂ）前記入力画像の１つまたは複数のフィールドを識別することと、
ｃ）各識別されたフィールドに対して、前記識別されたフィールドの１つまたは複数の下位領域を識別することと、
ｄ）前記１つまたは複数のフィールドの識別に応じて、前記１つまたは複数のフィールドを分類することと、
ｅ）前記入力画像の前記１つまたは複数のフィールドの相対的な位置を特定することと、
ｆ）前記相対的な位置の前記特定に応じて、前記フォームを分類することと、を備える、コンピュータ実装方法。
ａ）フォームを入力画像として受け取ることと、
ｂ）前記入力画像の１つまたは複数のフィールドを識別することと、
ｃ）各識別されたフィールドに対して、前記識別されたフィールドの１つまたは複数の下位領域を識別することと、
ｄ）前記１つまたは複数のフィールドの識別に応じて、前記１つまたは複数のフィールドを分類することと、
ｅ）前記入力画像の前記１つまたは複数のフィールドの相対的な位置を特定することと、
ｆ）前記相対的な位置の前記特定に応じて、前記フォームを分類することと、を備える、コンピュータ実装方法。
【請求項2】
前記入力画像がスキャンされた画像、または人工的に生成されたフォームである、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記フォームの誤った分類に応じて、前記機械学習システムのノードの重みを更新することによって、前記機械学習システムを更新すること、を更に備える、請求項１に記載のコンピュータ実装方法。
【請求項4】
前記誤った分類を訂正すること、を更に備える、請求項３に記載のコンピュータ実装方法。
【請求項5】
ｇ）前記１つまたは複数の下位領域の境界を識別することと、
ｈ）前記フィールド内の位置に応じて、前記１つまたは複数の下位領域を分類することと、
ｉ）前記フィールド内のすべての下位領域が識別されるまで、前記識別と分類を繰り返すことと、を更に備える、請求項１に記載のコンピュータ実装方法。
ｈ）前記フィールド内の位置に応じて、前記１つまたは複数の下位領域を分類することと、
ｉ）前記フィールド内のすべての下位領域が識別されるまで、前記識別と分類を繰り返すことと、を更に備える、請求項１に記載のコンピュータ実装方法。
【請求項6】
ｊ）前記１つまたは複数の下位領域の前記識別に応じて、前記１つまたは複数のフィールドを識別することであって、前記識別されたフィールドにおける互いに相対的な前記１つまたは複数の下位領域の位置の識別を含むことを更に備える、請求項１に記載のコンピュータ実装方法。
【請求項7】
フォームを識別するための機械学習システムを使用するコンピュータ実装方法であって、
ａ）フォームを入力画像として受け取ることと、
ｂ）前記入力画像の１つまたは複数のフィールドを識別することと、
ｃ）各識別されたフィールドに対して、前記識別されたフィールドの１つまたは複数の下位領域を識別することと、
ｄ）前記１つまたは複数のフィールドの識別に応じて、前記１つまたは複数のフィールドを分類することと、
ｅ）前記入力画像の前記１つまたは複数のフィールドの相対的な位置を特定することと、
ｆ）前記相対的な位置の前記特定に応じて、前記フォームを分類することと、を備える、コンピュータ実装方法。
ａ）フォームを入力画像として受け取ることと、
ｂ）前記入力画像の１つまたは複数のフィールドを識別することと、
ｃ）各識別されたフィールドに対して、前記識別されたフィールドの１つまたは複数の下位領域を識別することと、
ｄ）前記１つまたは複数のフィールドの識別に応じて、前記１つまたは複数のフィールドを分類することと、
ｅ）前記入力画像の前記１つまたは複数のフィールドの相対的な位置を特定することと、
ｆ）前記相対的な位置の前記特定に応じて、前記フォームを分類することと、を備える、コンピュータ実装方法。
【請求項8】
すべてのフォームを受け取るまでａ）からｆ）を繰り返すこと、を更に備える、請求項１に記載のコンピュータ実装方法。
【請求項9】
前記１つまたは複数のフィールドのそれぞれについて、前記１つまたは複数の下位領域のフォーマットを識別することで、前記１つまたは複数のフィールドの前記フォーマットを識別すること、を更に備える、請求項１に記載のコンピュータ実装方法。
【請求項10】
異なるフォーマットおよび／または位置を特定することによって、前記１つまたは複数のフィールドのうちのいくつかを前記１つまたは複数のフィールドのうちの他のフィールドと区別すること、を更に備える、請求項１に記載のコンピュータ実装方法。
【請求項11】
フォームを識別する機械学習システムであって、
少なくとも１つのプロセッサと、
実行されると、
ａ）フォームを入力画像として受け取ることと、
ｂ）前記入力画像の１つまたは複数のフィールドを識別することと、
ｃ）各識別されたフィールドに対して、前記識別されたフィールドの１つまたは複数の下位領域を識別することと、
ｄ）前記１つまたは複数のフィールドの識別に応じて、前記１つまたは複数のフィールドを分類することと、
ｅ）前記入力画像の前記１つまたは複数のフィールドの相対的な位置を特定することと、
ｆ）前記相対的な位置の前記特定に応じて、前記フォームを分類することと、
を含む方法を実行するようにする命令を含む非一時的なメモリと、を備える、機械学習システム。
少なくとも１つのプロセッサと、
実行されると、
ａ）フォームを入力画像として受け取ることと、
ｂ）前記入力画像の１つまたは複数のフィールドを識別することと、
ｃ）各識別されたフィールドに対して、前記識別されたフィールドの１つまたは複数の下位領域を識別することと、
ｄ）前記１つまたは複数のフィールドの識別に応じて、前記１つまたは複数のフィールドを分類することと、
ｅ）前記入力画像の前記１つまたは複数のフィールドの相対的な位置を特定することと、
ｆ）前記相対的な位置の前記特定に応じて、前記フォームを分類することと、
を含む方法を実行するようにする命令を含む非一時的なメモリと、を備える、機械学習システム。
【請求項12】
すべてのフォームを受け取るまでａ）からｆ）を繰り返すこと、を更に備える、請求項１に記載のコンピュータ実装方法。
【請求項13】
前記１つまたは複数のフィールドのそれぞれについて、前記１つまたは複数の下位領域のフォーマットを識別することで、前記１つまたは複数のフィールドの前記フォーマットを識別することを更に備える、請求項１に記載のコンピュータ実装方法。
【請求項14】
異なるフォーマットおよび／または位置を特定することによって、前記１つまたは複数のフィールドのうちのいくつかを前記１つまたは複数のフィールドのうちの他のフィールドと区別すること、を更に備える、請求項１に記載のコンピュータ実装方法。
【請求項15】
前記フォームの誤った分類に応じて、前記機械学習システムのノードの重みを更新することによって、前記機械学習システムを更新すること、を更に備える、請求項１に記載のコンピュータ実装方法。
【請求項16】
前記誤った分類を訂正すること、を更に備える、請求項３に記載のコンピュータ実装方法。
【請求項17】
ｇ）前記１つまたは複数の下位領域の境界を識別することと、
ｈ）前記フィールド内の位置に応じて、前記１つまたは複数の下位領域を分類することと、
ｉ）前記フィールド内のすべての下位領域が識別されるまで、前記識別と分類を繰り返すことと、を更に備える、請求項１に記載のコンピュータ実装方法。
ｈ）前記フィールド内の位置に応じて、前記１つまたは複数の下位領域を分類することと、
ｉ）前記フィールド内のすべての下位領域が識別されるまで、前記識別と分類を繰り返すことと、を更に備える、請求項１に記載のコンピュータ実装方法。
【請求項18】
ｊ）前記１つまたは複数の下位領域の前記識別に応じて、前記１つまたは複数のフィールドを識別することであって、前記識別されたフィールドにおける互いに相対的な前記１つまたは複数の下位領域の位置の識別を含むことを更に備える、請求項１に記載のコンピュータ実装方法。
【請求項19】
前記フォームの分類に応じて、前記フォームが、登録、拡大縮小、平行移動を必要とするかどうかを判断することを、前記方法が更に備える、請求項１１に記載のシステム。
【請求項20】
前記フォームが登録の必要があるという判断に応じて、前記フォームの登録を行うこと、を更に備える、請求項１９に記載のシステム。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本願は、２０２２年９月３０日に出願された「フォームの識別と登録のための方法及び装置」と題する米国特許出願第１７／９５８，２６２号に関する。本願は、この出願の全てを参照によりその全体が組み込まれる。
【技術分野】
【0002】
本発明の態様は、画像処理に関し、より詳細にはフォーム処理に関する。
【背景技術】
【0003】
文書およびフォーム分析の分野では、コンテンツの位置を含むフォームの照合と登録は重要であるが、困難な場合があり得る。次のような課題がある。１）比較的非構造化（半構造化）された形態、２）スキャン抽出エラー（光学文字認識（ＯＣＲ）、画像文字認識（ＩＣＲ）、またはこれらの組み合わせ（ＯＩＣＲ）のいずれであるか）、３）フォームの異なる部分に表示され得る表、および／または可変サイズを有し得る表、４）堅牢性を維持したまま、大規模なデータセットやバリアントへのスケーリング。
【発明の概要】
【発明が解決しようとする課題】
【0004】
半構造化フォーム表現は位相的特徴（バウンディングボックスや意味情報など）を混合する。この混合は、フォームの回転、平行移動、および／または拡大縮小の結果をスキャンまたは撮影する際に、位相的特徴間の可能な関連を理解することを困難にする。
【0005】
上記のような課題に対して、効率的でスケーラブルかつ一般化可能なアプローチを提供することが望ましい。
【課題を解決するための手段】
【0006】
上記の観点から、本発明の態様は、フォーム上の複数の総称グループまたは領域を識別する機械学習システムを訓練し、これらのグループまたは領域間の位置的および意味的関係を使用して、同じフォームまたは異なるフォーム上の対応するそのようなグループまたは領域を識別する。
【図面の簡単な説明】
【0007】
次に、本発明の実施形態による様々な態様を、以下の図面を参照して詳細に説明する。
【発明を実施するための形態】
【0008】
複数の実施形態では、フォーム内の汎用テキストグループまたは領域の複数が識別される。以下に述べる非限定の実施形態では、そのような領域を６つ記載する。
【0009】
本発明の態様は、フォームを識別するための機械学習システムを訓練するコンピュータ実装方法であって、フォームを入力画像として受け取ることと、前記入力画像の１つまたは複数のフィールドを識別することと、各識別されたフィールドに対して、前記識別されたフィールドの１つまたは複数の下位領域を識別することと、前記１つまたは複数のフィールドの識別に応じて、前記１つまたは複数のフィールドを分類することと、前記入力画像の前記１つまたは複数のフィールドの相対的な位置を特定することと、前記相対的な位置の前記特定に応じて、前記フォームを分類することと、を備える、コンピュータ実装方法を提供する。
【0010】
一実施形態では、受け取るべき入力画像がなくなるまで前段落の工程を繰り返すことができる。一実施形態では、入力画像はスキャンされた画像、または合成的に生成されたフォームであり得る。一実施形態では、フォームの誤った分類に応じて、機械学習システムが更新され得る。一実施形態では、機械学習システムの更新は、機械学習システム内の重みの更新を含み得る。一実施形態では、誤った分類を訂正することができる。
【0011】
一実施形態では、コンピュータ実装方法は、１つまたは複数の下位領域の境界を識別すること、１つまたは複数の下位領域をフィールドでの位置に従って分類すること、およびフィールド内のすべての下位領域が識別されるまで、識別と分類を繰り返すことを含み得る。
【0012】
一実施形態では、コンピュータ実装方法は、１つまたは複数の下位領域の識別に応じて、１つまたは複数のフィールドを識別することを更に備え、識別されたフィールドにおいて互いに相対的な１つまたは複数の下位領域の位置を含み得る。
【0013】
一実施形態では、１つまたは複数のフィールドの分類は、１つまたは複数のフィールドのフォーマットの識別を含む。一実施形態では、１つまたは複数のフィールドのそれぞれについて、１つまたは複数のフィールドのフォーマットの識別は、１つまたは複数の下位領域のフォーマットの識別を含み得る。一実施形態では、コンピュータ実装方法は、更に、異なるフォーマットおよび／または位置を識別することによって、１つまたは複数のフィールドのいくつかを１つまたは複数のフィールドの他のフィールドと区別することを含み得る。
【0014】
本発明の他の態様は、フォームを識別するために機械学習システムを使用するコンピュータ実装方法を提供する。その方法は、フォームを入力画像として受け取ることと、前記入力画像の１つまたは複数のフィールドを識別することと、各識別されたフィールドに対して、前記識別されたフィールドの１つまたは複数の下位領域を識別することと、前記１つまたは複数のフィールドの識別に応じて、前記１つまたは複数のフィールドを分類することと、前記入力画像の前記１つまたは複数のフィールドの相対的な位置を識別することと、前記相対的な位置の前記識別に応じて、前記フォームを分類することと、を備える。
【0015】
本発明の更に他の態様は、フォームを識別するための機械学習システムを提供する。機械学習システムは、少なくとも一つのプロセッサと、先ほど要約された方法に従って機械学習システムが方法を実行するようにプログラムされた非一時的なメモリを含む。
【0016】
複数の実施形態による記載された本発明の態様は、以下の例を参考にするとより理解され得る。
【0017】
図１はフォーム１００のモックアップを示し、１つのフォームに異なるタイプのデータをグループ化した３種類の領域１１０、１２０、１３０がある。このようなモックアップは、一実施形態による機械学習システムの訓練に使用され得る。一実施形態では、領域１１０は、特定の種類のフォームに共通の情報を含むことがある。請求書の場合、そのような情報にはフォームのタイトル、企業の名前と住所（たとえば、請求先企業と請求元企業）が含まれる場合がある。このコンテンツ情報を意味情報（semantic information）と呼ぶことがある。さらに、これらの領域１１０は、多くの異なる種類のフォームにわたって、おおよそ同じ位置に発生することが多い。この位置情報は、位相情報（topological information）と呼ぶことがある。したがって、機械学習システムが異なる種類のフォームを分析する場合、異なる種類のフォームを分析する際に、そのような領域を認識するように機械学習システムを訓練することができる。例えば、領域１１０の互いに対する相対的な位置（位相情報）は、それらの領域の内容に関する情報（意味情報）を提供し得る。一実施形態では、機械学習システムが領域の位置のパターンを認識するように訓練され得る。システムはこれらのパターンを分類して、将来システムが特定のフォーム、つまりフォームの種類を認識するようにする。一実施形態では、パターン分類によって特定のカテゴリ、たとえば請求書にフォームを配置できるようになり、システムが将来請求書を認識できるようになり得る。
【0018】
別の見方をすると、領域１１０、１２０、１３０には、さまざまな既知の位置に多数の文字が含まれている。これらの領域内の文字位置は、フィールドが何であるかを識別する（たとえば、住所フィールド）、フォームを再現する、フォームを他のフォームと照合する、フォーム登録を実行するなどの意味を持つことがある。この場合、対応するフォームのフィールドにフィールドを正しく揃えるために、入力フォームの平行移動、拡大縮小、および／または回転が必要になることがある。
【0019】
一実施形態では、領域１１０内の領域１１４は、領域１１０全体の単なる一部であり、領域内の他のデータと未分化であり得る。つまり、領域１１４のデータは単に領域１１０の全体的な意味情報の一部であり得る。一実施形態では、領域１１４は、領域内の他のデータ、例えば、１次元の横長の表、２次元の縦長の表などの表として区別することができる。一実施形態では、位相情報は同じになるが、意味情報の種類は異なる。一実施形態では、機械学習システムは、未分化な状況と分化した状況の両方の状況に共通する位相情報に照らして、両方を認識するように訓練され得る。
【0020】
一実施形態では、領域１２０は多くの場合、さまざまなタイプの表形式の情報を含むことができる。たとえば、請求書の場合、数量や単価など、購入した商品の表がある場合がある。小計、税、合計の表があり得る。当業者が理解しているように、その他の表もあり得る。縦長の表は、ヘッダー（キーワードと考えられるものを含む）と、ヘッダーの各単語の下に適切なデータ行を有する。横長の表は、左側にヘッダー、右側にそのヘッダーに対応するデータを持つことができる。複数の行を持つ横長の表がある場合があるが、ヘッダーはフォームを横方向ではなく、フォームを縦方向に下へと進む。一実施形態では、検出された縦横の表が互いに隣接し、領域１２０にグループ化され得る。
【0021】
図１では、ヘッダー１２２は、フォーム１００の中央に向かう、ヘッダー「品目」「番号」「数量」「単価」「価格」がある大きな表のような縦長の表にあり、ヘッダーの下にデータ１２６の行が続く。ヘッダーは、フォーム１００の左下隅に「支払い情報」という文字があるヘッダーのように、１行の表で存在することがある。データ１２８は、その左下の表のヘッダーの下の行に表示される。
【0022】
ヘッダー１２２は、フォーム１００の中央上部にある日付の表のようなの横長の表にもある。これらの横長の表では、左側にヘッダー１２２、右側にデータが続く。日付の表は、左側にヘッダー「日付」、右側に日付情報が表示される。また、縦長の表の下にフォーム１００の右下方向に集計表のような横長の表がある場合もある。集計表では、ヘッダーは１行で、「小計」「税」「合計」と表示されている。一実施形態では、配送料の行がある場合がある。それらの各ヘッダーワードのデータは、関連するヘッダーワードの右側にある。一実施形態では、日付の表は横長の表ではなく縦長の表になることがある。
【0023】
機械学習システムは、フォーム１００上の予想される位相上の位置にある横長の表または縦長の表を認識するように訓練され得る。表自体の認識は、実際の内容の認識、すなわちヘッダーテキストと関連データの正確な解読を必要としないことに注意する必要がある。むしろ、テキスト（縦または横）をヘッダーとして認識し、数字（横または縦）をデータとして認識するだけで十分である。一実施形態では、機械学習システムは、表内のヘッダーの位置に応じて、表が縦長または横長であると認識するように訓練され得る。さらに、注文中または購入中のアイテムを示す請求書の表を識別する際、機械学習システムは、そのような表が通常フォームのページの中央部分に属していることを認識することがある。表が複数ページにわたる場合、各ページの上部にヘッダー１１０などの情報がある場合がある。機械学習システムはそれを認識するように訓練でき、項目別の請求書の表が複数ページに分割されるかもしれないことも認識する。このような場合、ヘッダーの位相上の位置と項目別請求書の表の位相上の位置は、他の種類のフォームの請求書の表を認識するという点で、機械学習システムにとって有益となり得る。縦書きの「項目別請求書」表の下にある横書きの「合計」表のような表内の表も機械学習システムに指示を与え得る。
【0024】
また、一実施形態では、図１において、フォーム１００の左下側に領域１２０がある。ヘッダー１２２には、図１のように「銀行情報」などのキーワードを含めることができる。ヘッダー１２２の下側又は横にあり得るデータ１２８は、ヘッダー１２２に対応する情報を構成し得る。
【0025】
なお、１２４のような領域には、必ずしもそれらに関連する領域１２２があるわけではない。一実施形態では、１２６のような領域も同様であり得る。ある態様では、キーワードが存在しなくても、横長か縦長かにかかわらず、表データの検出が可能であり得る。
【0026】
一実施形態では、下位領域の組み合わせを使用して、縦長または横長の表領域を検出することができる。ある態様では、横長の表は領域１２２（１つのキーワードまたは複数のキーワード）のように左側に、領域１２４（キーワードに対応するデータ）のように右側に配置され得る。縦長の表は、領域１２２のような最初の行（繰り返すが、キーワードまたは複数のキーワード）と領域１２６のような後続の行（それぞれのキーワードに対応するデータ）を持つことができる。
【0027】
図１のフォーム１００の右下部分の領域１３０のデータ文字列１３４など、さらに別の種類の意味情報が存在し得る。フォームには、テキスト情報が含まれている場合があり、テキスト情報は、大きく異なる可能性があるが、必ずしも表形式であったり、何らかの方法でキーワードとして認識されるとは限らない。特定のフォームタイプでは、テキスト情報は、例えば、標準的な契約条件や標準的な免責事項のように標準的であり得る。また、コメントフィールドや特記事項フィールドのように、同じフォームタイプ内でテキスト情報が異なる場合がある。一実施形態では、領域１３０は、データ文字列１３４に先行するデータヘッダー１３２を含み得る。一実施形態では、データヘッダー１３２が存在しない場合がある。機械学習システムは、例えば領域の位置（位置情報）とそのテキスト内容（意味情報）に基づいて、領域１３０をテキスト領域として認識するように訓練することができる。ここでも領域１３０のテキスト情報の正確な内容を決定する必要はない。むしろ、機械学習システムに指示を与え得る情報の一般的な性質である。
【0028】
以上のことから、当業者は、発明の実施形態において、フォームを認識する機械学習システムを訓練するために、キーワードの明示的な解読が不要であることがわかるであろう。むしろ、特定のデータを認識することなく、互いが必要に近接して、および／またはフォーム内の特定の位置にあるフィールドのタイプを認識するだけで十分である（例えば、ぼやけた入力画像の場合、データは区別されないかもしれないが、フォーマットは識別できる）。このような場合、テキスト検出エラーおよび／または認識エラーが発生し得る。そのようなエラーは、機械学習システムが領域の位置や意味情報を正しく識別する能力にとって致命的である必要はない。また、一実施形態では、前述のようにフォームのモックアップを訓練データとして採用し得る。一実施形態では、そのようなフォームには、ぼやけやデータを読み取ることが困難なシミュレーションが含まれ得る。
【0029】
当業者が以下の説明から理解するように、機械学習システムの訓練には、システムのさまざまな層にあるさまざまなノードの重み付けの変更が含まれ得る。
【0030】
異なる種類の請求書のモックアップである図２では、フォーム左上の領域１１０にフォームのタイトルと会社情報が含まれている。図１のケースにあるように、このようなモックアップは、一実施形態による機械学習システムの訓練に使用され得る。フォームの右上にある領域１１０には、会社のロゴが含まれている。機械学習システムは、特定のロゴを解読することなく、位置（位置情報）と一般的な内容（意味情報）によってフォーム内のロゴを認識するように訓練され得る。
【0031】
図２は、フォーム内に顕著に配置される領域１２０を示しており、比較的より広い空間をとる。表の垂直部分のヘッダー１２２は２行あり、縦長の表のデータ行１２６の上にあり、横長の表のデータ１２４の左には表の水平部分のヘッダー１２２が４行ある。図１の同様の横長の表（小計、税、合計あり）と比較して、図２の領域１２０の下部にある横長の表は、領域の幅を横切って広がっている。
【0032】
さらに別の種類の請求書のモックアップである図３では、日付と注文者情報を含む図の最上部付近の領域１２０は、図１の日付情報とは異なる形式になっている。図１のケースにあるように、このようなモックアップは、一実施形態による機械学習システムの訓練に使用され得る。図３の領域１１０は、領域１１０が同様に配置されている図１と図２とは異なり、フォーム全体に多少分散している。図３の領域１３０は、フォームの下部ではなく、フォームの中央付近にある。領域１２０は領域１３０の上下にある。上の領域１２０は、ヘッダー１２２とデータ１２６を持つ縦長の表のみを含み、下の領域１２０は、ヘッダー１２２とデータ１２４を持つ２つの横長の表を含む。
【0033】
先に述べたように、図１－３のモックアップは、実施形態に従って機械学習システム用に合成的に生成された訓練データであり得るデータを示したものである。異なる種類の意味データの位相的位置を混在させることで、機械学習システムが多種多様なフォームを認識するように訓練することができる。合成的に生成された訓練データは、比較的簡単に生成でき、スキャンされたフォームのようなスキャン、拡大縮小、回転の効果に悩まされないため、有利である。また、すでに述べたように、ぼやけやデータを読み取ることが困難なシミュレーションを、合成生成フォームに訓練データとして挿入することも可能である。
【0034】
図４－６は領域１１０、１２０、１３０を持つフォームの例である。領域１２０は場所によって数が異なる。また、領域１３０は場所によって数が異なる。さまざまな表のデータがはっきりしないことが見られ得る。機械学習システムを訓練するという点では、データの明確さや可読性は、さまざまな領域のデータに関する位置情報や意味情報を特定することほど重要ではない。これらの領域を異なる量および／またはフォーム内の異なる位置に置くことは、機械学習システムの訓練に役立つ。訓練された機械学習システムは、図４－６のようなフォームを読み取ることができる。図４－６のスタンプ１４０の存在さえも、機械学習システムの訓練または操作のいずれかを妨げる必要はない。これらの各図において、スタンプ１４０は、領域１３０のように一領域に位置される。領域１３０の残りの位置的および意味的情報は、訓練および運用目的に十分対応できる。
【0035】
図７Ａは、一実施形態による訓練操作を概略した上位フローチャートである。７００において、システムは入力画像を受け取る。実施形態に応じて、画像は図４－６の１つのようなスキャン画像である場合と、および／または図１－３の１つのような合成画像である場合がある。７０５において、入力画像を解析して画像内のフィールドを識別する。一実施形態では、このフィールド識別工程は、図７Ｂに関して説明するように、反復的であるかもしれないが、これは必須ではない。７１０において、識別されたフィールド内の下位領域自体が識別され得る。７１５において、フィールドは識別されて、例えば領域１１０、１２０、１３０のような領域に分類される。一実施形態では、フィールドはフィールド内の下位領域の識別によって識別および／または分類され得る。一実施形態では、まず下位領域が識別され、隣接または互いに接する下位領域が組み合わされて、識別されたフィールドが構成される。そのような実施形態では、７０５と７１０が逆転され得る。実施形態によっては、さらに領域の種類が存在し得る。フォームやドキュメントによっては、下位領域間の関係が異なると、それらの下位領域がフィールドとして定義される可能性がある。７２０において、互いに相対的な複数のフィールドの位置が特定される。
【0036】
７２５において、フィールド位置の特定に応じて、入力画像が特定のフォームとして識別される。７３０において、フォームの識別が正しいかどうかのチェックが行われる。その場合、７４０において、訓練用の追加の入力画像があるかどうかがチェックされる。その場合、工程は７００に戻る。そうでない場合、工程は終了する。
【0037】
フィールド識別が正しくない場合、７３５において、ニューラルネットワークのノードの重みを更新するなど、機械学習システムが更新され、フィールド識別の不正確さに対処する。その後、７４０へと進み、訓練用の追加の入力画像があるかどうかがチェックされる。その場合、工程は７００に戻る。そうでない場合、工程は終了する。
【0038】
一実施形態では、機械学習システムの訓練には、新しい領域や新しいフィールドの定義、ここでの概念を定義されたフィールドによって識別できるさまざまな種類の文書に拡張することが含まれ得る。
【0039】
図７Ｂは、一実施形態によるフォーム識別操作を概略した上位フローチャートである。７５０において、入力画像を受け取る。この画像は、識別されて、必要に応じて登録、拡大縮小、平行移動されるフォームとなる。７５５において、入力画像でフィールドが識別される。７６０において、入力画像のすべてのフィールドが識別されているかどうかチェックされる。そうでない場合、フローは７６５に進み、７５５に戻って次のフィールドを識別する。
【0040】
すべてのフィールドが識別されている場合、７７０において、フィールドは、例えば領域１１０、１２０、１３０などの領域に分類される。実施形態によっては、さらに領域の種類が存在し得る。一実施形態では、下位領域が特定され、そこからフィールドが分類され得る。あるいは、フィールドが分類され、それらのフィールドの下位領域が識別され得る。この点では、図７Ａの７０５－７１５と同様にフローが進み得る。７７５において、互いに相対的な複数の識別されたフィールドの位置が特定される。７８０において、フォームが識別され得る。一実施形態では、さらにフォームを分類する処理があり得る。
【0041】
７８５において、識別が正しければ、７９０においてフォームの登録を行う必要があるかどうかが判断される。一実施形態では、画像またはスキャンの品質に応じて、入力フォームの回転、平行移動、および／または拡大縮小が必要または適切である場合がある。７９５において、次に処理される入力画像があるかどうかが判断される。その場合、フローは７５０に戻る。そうでない場合、工程は終了する。
【0042】
識別が正しくない場合、７９０において、フォームは将来の処理のために分離される。このような将来の処理は、さまざまなフォームをとる場合がある。非制限の例によって、フォームは将来の訓練で使用され得る。さらに、または代替的に、フォームを手動で処理できる。一実施形態では、画像またはスキャンの品質に応じて、入力フォームの回転、平行移動、および／または拡大縮小が必要または適切であり得る。７９５において、次に処理される入力画像があるかどうかが判断される。その場合、フローは７５０に戻る。そうでない場合、工程は終了する。
【0043】
図７Ａと図７Ｂは、一実施形態によるフィールド識別とフォーム特性化のための一般的な上位フローを示している。この識別および特性化へのアプローチの１つは、上から下、左から右へフォームでの階層構造の確立に見ることができる。このような工程では、抽出された領域がツリー状のデータ構造にランク付けされる場合がある。このようなランク付けは、類似文書内または類似文書間のコンテンツの検索および／または関連付けを容易にすることができる。
【0044】
本発明の態様では、フローティングフォーム登録及び自由フォーム登録を容易にすることができる。実施形態では、領域内のテキストおよび／またはデータの拡大縮小、誤登録、平行移動、および／または可読性の欠如を補ったり、その他の方法で対応したりできる堅牢なシステムを提供する。実施形態は、より大きなビジネスにも容易に拡張でき、一貫した改善が可能なシステムももたらす。
【0045】
図８では、ディープラーニングシステム９００を訓練するために、コンピューティングシステム８５０は、スキャナ８２０を使用してドキュメント８１０をスキャンし、コンピュータ８３０を介してスキャンされたフォームを受信することができる。さらに、または代替的に、コンピューティングシステム８５０は、当業者が理解するように、合成生成された訓練フォームを採用する場合がある。コンピューティングシステム８５０は、フィールド識別セクション８６０を介して、スキャンまたは合成生成された訓練フォーム内のフィールドを識別することができる。
【0046】
一実施形態では、記憶装置８７５は、スキャン画像又はディープラーニングシステム９００が処理する合成生成された訓練フォームを記憶することができる。記憶装置８７５はまた、トレーニングセット、および／または識別されたフィールドを含むことができるディープラーニングシステム９００の処理された出力を格納することができる。
【0047】
コンピューティングシステム８５０は、単一の場所にあってもよく、ネットワーク８５５は、コンピューティングシステム８５０の様々な要素間の通信を可能にする。さらに、または代替的に、コンピューティングシステム８５０の１つまたは複数の部分が他の部分から遠隔であってもよく、その場合、ネットワーク８５５は、通信用のクラウドシステムを意味することがある。一実施形態では、様々な要素が併設されている場合であっても、ネットワーク６５５は、クラウドベースのシステムであってもよい。
【0048】
さらに、または代替的に、プロセッサ、ストレージシステム、およびメモリシステムのうちの１つまたは複数を含むことができる処理システム８９０は、フィールドの位置を解決するために回帰アルゴリズムまたはその他の適切な処理を実装することができる。一実施形態では、処理システム８９０は、ディープラーニングシステム９００と通信して、例えば、システム９００におけるノードの重み付けを支援する。
【0049】
図９は、ディープラーニングシステム９００のやや詳細な構成図である。一般に、ディープラーニングシステム９００は、当業者が認識するプロセッサ、ストレージ、およびメモリ構造を有することになる。一実施形態では、ディープラーニングシステム９００のプロセッサ構造には、グラフィックス処理装置（ＧＰＵ）だけでなく、中央処理装置（ＣＰＵ）の代わりに、ニューラルネットワークが１つまたは複数のＣＰＵよりも１つまたは複数のＧＰＵでより良く、および／または高速に、および／または効率的に実行されるインスタンスが含まれる場合がある。畳み込みニューラルネットワーク（ＣＮＮ）やディープ畳み込みニューラルネットワーク（ＤＣＮＮ）などのニューラルネットワークは、描かれているように、層９２０－１～９２０－Ｎに配置された複数のノードを有することになる。層９２０－１は入力層となり、層９２０－Ｎは出力層となる。異なる実施形態によれば、Ｎは２以上であってもよい。Ｎが３以上の場合、少なくとも１つの隠れ層（例えば、層９２０－２）が存在することになる。Ｎが２である場合、隠れ層はない。
【0050】
ニューラルネットワークのノードには、最初に重み付けが行われる。重み付けは、当業者であれば理解できるように、トレーニングセットがシステムに提示する様々な状況に対応するために必要な修正として、調整される。ノード重み付けモジュール９１０は、最初の更新重み付けを保存してもよい。システム９００がキーワードを識別する際に、出力層９２０ーＮはキーワードデータベース９５０にフィールドおよび／またはフォームの識別を提供できる。データベース９５０には、フォームの分類も格納され、それに付随するフィールドの位置も格納される。
【0051】
いくつかの実施形態では、本書で説明されている方法、プロセス、アルゴリズム、フローチャートのいずれかの機能が、ソフトウェアおよび／またはコンピュータプログラムコード、あるいはメモリまたはその他のコンピュータ読み取り可能または有形のメディアに保存されたコードの一部によって実装され、プロセッサによって実行され得る。
【0052】
いくつかの実施形態では、装置が四則演算として構成された少なくとも１つのソフトウェアアプリケーション、モジュール、ユニットまたはエンティティ、またはプログラムまたはプログラムの一部（追加または更新されたソフトウェアルーチンを含む）を含むか、またはそれらと関連付けられ、少なくとも１つの演算プロセッサまたは制御装置によって実行され得る。プログラムは、ソフトウェアルーチン、アプレットおよびマクロを含むプログラム製品またはコンピュータプログラムとも呼ばれ、装置が読み取り可能な任意のデータ記憶媒体に格納され、特定のタスクを実行するためのプログラム命令が含まれる得る。コンピュータプログラム製品には、プログラムの実行時に、いくつかの例示を実行するように構成された、１つまたは複数のコンピュータ実行可能なコンポーネントが含まれ得る。１つまたは複数のコンピュータ実行可能コンポーネントは、少なくとも１つのソフトウェアコードまたはコードの一部であってよい。例示実施機能の実装に必要な修正および構成は、ルーチンとして実行され、追加または更新されたソフトウェアルーチンとして実装され得る。一例では、ソフトウェアルーチンが装置にダウンロードされることがある。
【0053】
非制限の１つの例として、ソフトウェアまたはコンピュータのプログラムコードまたはコードの一部は、ソースコード形式、オブジェクトコード形式、または何らかの中間形式であり、何らかのキャリア、配布媒体、またはコンピュータが読み取り可能な媒体に格納される。これらの媒体は、プログラムを伝送できるエンティティまたはデバイスである。そのようなキャリアは、例えば、記録媒体、コンピュータメモリ、読み取り専用メモリ、光電気および／または電気キャリア信号、電気通信信号、および／またはソフトウェア配布パッケージを含み得る。必要な処理能力に応じて、コンピュータプログラムは単一の電子デジタルコンピュータで実行され得、または多数のコンピュータに分散して実行され得る。コンピュータ読み取り可能な媒体またはコンピュータ読み取り可能な記憶媒体は、非一時的な媒体であり得る。
【0054】
他の実施形態では、例えば特定用途集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはその他のハードウェアとソフトウェアの任意の組み合わせを使用して、例示体の機能が装置に含まれるハードウェアまたは回路によって実行され得る。さらに別の例では、インターネットや他のネットワークからダウンロードした電磁信号によって伝送される非有形手段などの信号として、例示の機能が実装され得る。
【0055】
一実施形態では、制御装置のような装置は、回路、シングルチップコンピュータ素子のようなコンピュータまたはマイクロプロセッサとして、あるいはチップセットとして構成されることもあり、これには、四則演算に使用する記憶容量を提供するための少なくともメモリおよび／または四則演算を実行するための演算プロセッサが含まれる。
【0056】
図１０は、ノード重み付けモジュール９１０の態様を実施するために使用され得るコンピュータシステムの上位図である。図１０では、１つまたは複数の中央処理装置（ＣＰＵ）１０１０が、ＲＡＭを構成し得るＣＰＵメモリ１０２０およびディスクストレージ１０５０と通信する。１つまたは複数のＣＰＵ１０１０は、それぞれ特定の能力と容量を持つ複数のコアで構成され得る。実施形態に応じて、各ＣＰＵ１０１０は、それぞれ関連するＣＰＵメモリ１０２０を有し得る。あるいは、ＣＰＵ１０１０がＣＰＵメモリ１０２０の一部または全部を共有し得る。複数の実施形態では、ＣＰＵメモリ１０２０には揮発性メモリおよび／または不揮発性メモリ、場合によっては非一時的なストレージが含まれ得る。実施形態に応じて、ＣＰＵ１０１０の１つまたは複数がバス（図示せず）を介して相互に通信し、そこにＣＰＵメモリ１０２０も接続されることがある。
【0057】
また、システムには１つまたは複数のグラフィックス処理装置（ＧＰＵ）１０３０が含まれ、それぞれが複数のコアで構成され得る。複数の実施形態では、ＧＰＵ１０３０の１つまたは複数が、ＣＰＵ１０１０のどれよりもコア数が大きく、場合によっては実質的に多い場合がある。図１０では、１つまたは複数のＧＰＵ１０３０が、ＲＡＭ、またはＶＲＡＭ、あるいはその両方とディスクストレージ１０５０で構成されるＧＰＵメモリ１０４０と通信していることが示されている。実施形態に応じて、各ＧＰＵ１０３０は、それぞれ関連するＧＰＵメモリ１０４０を有し得る。あるいは、ＧＰＵ１０３０がＧＰＵメモリ１０４０の一部または全部を共有し得る。実施形態に応じて、ＧＰＵ１０３０の１つまたは複数が直接、もしくは、バス（図示せず）を介して相互に通信し、そこにＧＰＵメモリ１０４０も接続され得る。複数の実施形態では、ＧＰＵメモリ１０４０には揮発性メモリおよび／または不揮発性メモリ、場合によっては非一時的なストレージが含まれ得る。実施形態に応じて、１つまたは複数のＧＰＵ１０３０は、１つまたは複数のＣＰＵ１０１０と直接またはバス（図示せず）を介して通信することができる。ＧＰＵのコア数が多いほど、当業者が理解するように、機械学習システムの運用が容易となる。一実施形態では、各ＧＰＵコアはＣＰＵコアよりも能力や容量が低い可能性がある。
【0058】
一般に、ＣＰＵメモリ１０２０、ＧＰＵメモリ１０４０、およびディスクストレージ１０５０のすべてがコンピュータ読み取り可能な記憶媒体を構成し得る。複数の実施形態では、ディスクストレージ１０５０は、非一時的なコンピュータ読み取り可能な記憶媒体を構成する。ディスクストレージ１０５０は、１つまたは複数のハードディスクドライブ（ＨＤＤ）、および／または１つまたは複数のソリッドステートドライブ（ＳＤＤ）で構成され得る。複数の実施形態では、メモリ１０２０および／またはメモリ１０４０内のＲＡＭおよび／またはＶＲＡＭは一時的な記憶域となり、したがって揮発性のコンピュータ読み取り可能な記憶媒体を構成することができる。複数の実施形態では、ＣＰＵ１０１０および／またはＧＰＵ１０３０の１つまたは複数に、オンボード揮発性および／または不揮発性コンピュータ読み取り可能ストレージが含まれ得る。
【0059】
一実施形態では、ＣＰＵとＧＰＵの非同期操作とは、ＧＰＵが特定のデータセットを使用して訓練のある時点にいる間、ＣＰＵはＧＰＵが訓練および／またはテストで使用する１つまたは複数の将来のデータセットを生成している可能性があることを意味する。
【0060】
訓練モデルと関連する機械学習アルゴリズムによっては、関係するアルゴリズムと関連するハードウェア要件に応じて、上記で説明した処理を２つ以上のＣＰＵおよび／または２つ以上のＧＰＵに割り当てることができる。
【0061】
当業者は、異なる種類のニューラルネットワークが適宜採用され得ること、およびシステム全体で異なるプロセッサ／ＧＰＵ／ＣＰＵ間で演算を分割する機能とその結果生じる効率性に応じて、図８の構成要素８６０、８６５、８９０の異なるものによってさまざまな機能が実行され得ることを理解するであろう。
【0062】
上記の説明は、フォーム、特に請求書を非制限的な実施形態として使用してきた。当業者は、ここで説明する概念が請求書だけでなく、他のフォーム、またはフィールドの識別可能な位置関係、フィールド内の意味情報、場合によってはドキュメント内のフィールド内のテキストの配置を含む他のドキュメントにも適用できることを理解するであろう。
【0063】
以上、本発明の態様による実施形態を説明したが、本発明は、これらの実施形態または態様に限定されるものと考えてはならない。当業者であれば、添付の特許請求の範囲の範囲および精神の範囲内で、本発明の変更を理解するであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2024-07-02
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
フォームを識別するための機械学習システムを訓練するコンピュータ実装方法であって、
ａ）フォームを入力画像として受け取ることと、
ｂ）前記入力画像の１つまたは複数のフィールドを識別することと、
ｃ）各識別されたフィールドに対して、前記識別されたフィールドの１つまたは複数の下位領域を識別することと、
ｄ）前記１つまたは複数のフィールドの識別に応じて、前記１つまたは複数のフィールドを分類することと、
ｅ）前記入力画像の前記１つまたは複数のフィールドの相対的な位置を特定することと、
ｆ）前記相対的な位置の前記特定に応じて、前記フォームを分類することと、を備える、コンピュータ実装方法。
ａ）フォームを入力画像として受け取ることと、
ｂ）前記入力画像の１つまたは複数のフィールドを識別することと、
ｃ）各識別されたフィールドに対して、前記識別されたフィールドの１つまたは複数の下位領域を識別することと、
ｄ）前記１つまたは複数のフィールドの識別に応じて、前記１つまたは複数のフィールドを分類することと、
ｅ）前記入力画像の前記１つまたは複数のフィールドの相対的な位置を特定することと、
ｆ）前記相対的な位置の前記特定に応じて、前記フォームを分類することと、を備える、コンピュータ実装方法。
【請求項2】
フォームを識別するための機械学習システムを使用するコンピュータ実装方法であって、
ａ）フォームを入力画像として受け取ることと、
ｂ）前記入力画像の１つまたは複数のフィールドを識別することと、
ｃ）各識別されたフィールドに対して、前記識別されたフィールドの１つまたは複数の下位領域を識別することと、
ｄ）前記１つまたは複数のフィールドの識別に応じて、前記１つまたは複数のフィールドを分類することと、
ｅ）前記入力画像の前記１つまたは複数のフィールドの相対的な位置を特定することと、
ｆ）前記相対的な位置の前記特定に応じて、前記フォームを分類することと、を備える、コンピュータ実装方法。
ａ）フォームを入力画像として受け取ることと、
ｂ）前記入力画像の１つまたは複数のフィールドを識別することと、
ｃ）各識別されたフィールドに対して、前記識別されたフィールドの１つまたは複数の下位領域を識別することと、
ｄ）前記１つまたは複数のフィールドの識別に応じて、前記１つまたは複数のフィールドを分類することと、
ｅ）前記入力画像の前記１つまたは複数のフィールドの相対的な位置を特定することと、
ｆ）前記相対的な位置の前記特定に応じて、前記フォームを分類することと、を備える、コンピュータ実装方法。
【請求項3】
前記入力画像がスキャンされた画像、または人工的に生成されたフォームである、請求項１または２に記載のコンピュータ実装方法。
【請求項4】
前記フォームの誤った分類に応じて、前記機械学習システムのノードの重みを更新することによって、前記機械学習システムを更新すること、を更に備える、請求項１または２に記載のコンピュータ実装方法。
【請求項5】
前記誤った分類を訂正すること、を更に備える、請求項４に記載のコンピュータ実装方法。
【請求項6】
ｇ）前記１つまたは複数の下位領域の境界を識別することと、
ｈ）前記フィールド内の位置に応じて、前記１つまたは複数の下位領域を分類することと、
ｉ）前記フィールド内のすべての下位領域が識別されるまで、前記識別と分類を繰り返すことと、を更に備える、請求項１または２に記載のコンピュータ実装方法。
ｈ）前記フィールド内の位置に応じて、前記１つまたは複数の下位領域を分類することと、
ｉ）前記フィールド内のすべての下位領域が識別されるまで、前記識別と分類を繰り返すことと、を更に備える、請求項１または２に記載のコンピュータ実装方法。
【請求項7】
ｊ）前記１つまたは複数の下位領域の前記識別に応じて、前記１つまたは複数のフィールドを識別することであって、前記識別されたフィールドにおける互いに相対的な前記１つまたは複数の下位領域の位置の識別を含むことを更に備える、請求項１または２に記載のコンピュータ実装方法。
【請求項8】
すべてのフォームを受け取るまでａ）からｆ）を繰り返すこと、を更に備える、請求項１または２に記載のコンピュータ実装方法。
【請求項9】
前記１つまたは複数のフィールドのそれぞれについて、前記１つまたは複数の下位領域のフォーマットを識別することで、前記１つまたは複数のフィールドの前記フォーマットを識別すること、を更に備える、請求項１または２に記載のコンピュータ実装方法。
【請求項10】
異なるフォーマットおよび／または位置を特定することによって、前記１つまたは複数のフィールドのうちのいくつかを前記１つまたは複数のフィールドのうちの他のフィールドと区別すること、を更に備える、請求項１または２に記載のコンピュータ実装方法。
【請求項11】
フォームを識別する機械学習システムであって、
少なくとも１つのプロセッサと、
実行されると、
ａ）フォームを入力画像として受け取ることと、
ｂ）前記入力画像の１つまたは複数のフィールドを識別することと、
ｃ）各識別されたフィールドに対して、前記識別されたフィールドの１つまたは複数の下位領域を識別することと、
ｄ）前記１つまたは複数のフィールドの識別に応じて、前記１つまたは複数のフィールドを分類することと、
ｅ）前記入力画像の前記１つまたは複数のフィールドの相対的な位置を特定することと、
ｆ）前記相対的な位置の前記特定に応じて、前記フォームを分類することと、
を含む方法を実行するようにする命令を含む非一時的なメモリと、を備える、機械学習システム。
少なくとも１つのプロセッサと、
実行されると、
ａ）フォームを入力画像として受け取ることと、
ｂ）前記入力画像の１つまたは複数のフィールドを識別することと、
ｃ）各識別されたフィールドに対して、前記識別されたフィールドの１つまたは複数の下位領域を識別することと、
ｄ）前記１つまたは複数のフィールドの識別に応じて、前記１つまたは複数のフィールドを分類することと、
ｅ）前記入力画像の前記１つまたは複数のフィールドの相対的な位置を特定することと、
ｆ）前記相対的な位置の前記特定に応じて、前記フォームを分類することと、
を含む方法を実行するようにする命令を含む非一時的なメモリと、を備える、機械学習システム。
【請求項12】
すべてのフォームを受け取るまでａ）からｆ）を繰り返すこと、を更に備える、請求項１１に記載のシステム。
【請求項13】
前記１つまたは複数のフィールドのそれぞれについて、前記１つまたは複数の下位領域のフォーマットを識別することで、前記１つまたは複数のフィールドの前記フォーマットを識別することを更に備える、請求項１１または１２に記載のシステム。
【請求項14】
異なるフォーマットおよび／または位置を特定することによって、前記１つまたは複数のフィールドのうちのいくつかを前記１つまたは複数のフィールドのうちの他のフィールドと区別すること、を更に備える、請求項１１または１２に記載のシステム。
【請求項15】
前記フォームの誤った分類に応じて、前記機械学習システムのノードの重みを更新することによって、前記機械学習システムを更新すること、を更に備える、請求項１１または１２に記載のシステム。
【請求項16】
前記誤った分類を訂正すること、を更に備える、請求項１５に記載のシステム。
【請求項17】
ｇ）前記１つまたは複数の下位領域の境界を識別することと、
ｈ）前記フィールド内の位置に応じて、前記１つまたは複数の下位領域を分類することと、
ｉ）前記フィールド内のすべての下位領域が識別されるまで、前記識別と分類を繰り返すことと、を更に備える、請求項１１または１２に記載のシステム。
ｈ）前記フィールド内の位置に応じて、前記１つまたは複数の下位領域を分類することと、
ｉ）前記フィールド内のすべての下位領域が識別されるまで、前記識別と分類を繰り返すことと、を更に備える、請求項１１または１２に記載のシステム。
【請求項18】
ｊ）前記１つまたは複数の下位領域の前記識別に応じて、前記１つまたは複数のフィールドを識別することであって、前記識別されたフィールドにおける互いに相対的な前記１つまたは複数の下位領域の位置の識別を含むことを更に備える、請求項１１または１２に記載のシステム。
【請求項19】
前記フォームの分類に応じて、前記フォームが、登録、拡大縮小、平行移動を必要とするかどうかを判断することを、前記方法が更に備える、請求項１１または１２に記載のシステム。
【請求項20】
前記フォームが登録の必要があるという判断に応じて、前記フォームの登録を行うこと、を更に備える、請求項１９に記載のシステム。
【外国語明細書】