特開 2022-155490 表ベースのドキュメントのための非構造化セルの関連付けからネスト化された表を自動登録する方法、装置、及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022155490

(43)【公開日】2022-10-13

(54)【発明の名称】表ベースのドキュメントのための非構造化セルの関連付けからネスト化された表を自動登録する方法、装置、及びシステム

(51)【国際特許分類】

   G06V 30/412 20220101AFI20221005BHJP

   G06T 7/00 20170101ALI20221005BHJP

   G06V 10/82 20220101ALI20221005BHJP

   G06T 7/60 20170101ALI20221005BHJP

   G06T 7/11 20170101ALI20221005BHJP

   G06F 40/177 20200101ALI20221005BHJP

【ＦＩ】

G06V30/412

G06T7/00 350C

G06V10/82

G06T7/60 200K

G06T7/11

G06F40/177

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022021143

(22)【出願日】2022-02-15

(31)【優先権主張番号】17/218,028

(32)【優先日】2021-03-30

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡＳＣＲＩＰＴ

(71)【出願人】

【識別番号】519448326

【氏名又は名称】コニカ ミノルタ ビジネス ソリューションズ ユー．エス．エー．， インコーポレイテッド

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】ウェイ， ジュンチャオ

【テーマコード（参考）】

5B029

5B109

5L096

【Ｆターム（参考）】

5B029EE12

5B109PB03

5B109QA12

5L096AA02

5L096AA06

5L096BA08

5L096BA18

5L096CA01

5L096DA02

5L096FA03

5L096FA06

5L096FA14

5L096FA32

5L096FA69

5L096FA74

5L096GA40

5L096HA11

5L096JA11

(57)【要約】      （修正有）

【課題】与えられたフォームの中からキーワードとコンテンツの関係を見つけ出し、自動的に関連付ける方法、装置及びシステムを提供する。
【解決手段】方法は、キーワードとコンテンツを含むいくつかのフォームにおいて、階層としても呼ばれる、ネスト化されたレベルのキーワードを含み、フォームのコンテンツは、１つまたは複数のネスト化されたレベル、または階層で、１つまたは複数のキーワードに関連付けられ、表の隣接セルのキーワード（ネスト化されたキーワードが別のキーワードの下または右側のいずれかにある状態）を特定することにより、記入済みのフォームにおいてキーワードと区別し、コンテンツとそれぞれのキーワードを関連付ける。
【選択図】図３

【特許請求の範囲】

【請求項1】

フォームの入力に応答して、前記フォームから１つまたは複数の特徴を抽出することと、
ディープラーニングモデルを使用して、前記フォームのその他の特徴から複数の線を特定し、前記線を抽出することと、
前記ディープラーニングモデルを使用して、前記抽出された複数の線を使用し、複数の連結領域を特定し抽出することと、
前記ディープラーニングモデルを使用して、前記複数の連結領域から表を特定することと、
前記特定された表から複数のセルを抽出することと、
前記特定された表において隣接した複数のセルの位置と大きさを使用して、前記特定された表の複数のセルをグループ化することと、
前記特定された表において複数の行と複数の列を形成することと、
前記グループ化と、前記形成された複数の行及び前記形成された複数の列の１つとを使用して、前記特定された表において前記複数のセルで階層を形成することと、
前記形成された階層を使用して、前記特定された表の隣接した複数のキーワードを特定することと、
前記形成された階層を使用して、前記特定された表のコンテンツを特定することと、
それぞれの特定された隣接キーワードとそれぞれの特定されたコンテンツを関連付けること、を備える、フォーム自動登録方法。

【請求項2】

前記特定された表の前記形成された階層が列階層であり、それぞれの特定されたコンテンツが特定された隣接した複数のキーワード下に表示されている、請求項１に記載のフォーム自動登録方法。

【請求項3】

前記特定された表の前記形成された階層が行階層であり、それぞれの特定されたコンテンツが特定された隣接した複数のキーワードの右側に表示されている、請求項１に記載のフォーム自動登録方法。

【請求項4】

前記ディープラーニングモデルは、畳み込みニューラルネットワークから成る群から選択される、請求項１に記載のフォーム自動登録方法。

【請求項5】

前記特徴が単色、複数色、グレースケールから成る群から選択され、前記複数の線の特定と抽出が、単色、複数色、グレースケールとして、前記フォームの１つまたは複数の濃淡領域を特定することを含む、請求項１に記載のフォーム自動登録方法。

【請求項6】

前記複数のセルの抽出が、前記１つまたは複数の濃淡領域から１つまたは複数のセルを抽出することを含む、請求項５に記載のフォーム自動登録方法。

【請求項7】

前記１つまたは複数の濃淡領域からの１つまたは複数のセルの前記抽出において、更に前記抽出された線が使用される、請求項６に記載のフォーム自動登録方法。

【請求項8】

前記形成された階層は、ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）、ハイパーテキストマークアップ言語（ＨＴＭＬ）及び拡張可能マークアップ言語（ＸＭＬ）から成る群から選択される形式で表される、請求項１に記載のフォーム自動登録方法。

【請求項9】

前記関連付けることが、コンテンツが特定のキーワードに関連付けられることを、最低コスト値Ｃ_ｉｊを特定することにより決定することを含み、Ｃ_ｉｊが次式により求められる、請求項１に記載のフォーム自動登録方法。

【数1】

【請求項10】

前記意味的距離Ｓ_ｉｊは、幾何学的距離、前方順位（ＦＲ）、後方順位（ＢＲ）、ＦＲ及びＢＲの算術平均、ＦＲ及びＢＲの幾何学平均、ＦＲ及びＢＲの調和平均、ユークリッド距離、ワードムーバー距離、又は余弦距離からなる群から選択される距離として計算される、請求項９に記載のフォーム自動登録方法。

【請求項11】

１つまたは複数のプロセッサと、
１つまたは複数の非一時的なメモリ装置と、
ディープラーニングモデルを実行するディープラーニングシステムとを備える、フォーム自動登録システムであって、
該フォーム自動登録システムが、１つまたは複数のプログラムを前記１つまたは複数の非一時的なメモリ装置に記憶しており、前記１つまたは複数のプログラムが指示を含み、前記指示が、実行されると、
フォームの入力に応答して、前記フォームから１つまたは複数の特徴を抽出することと、
ディープラーニングモデルを使用して、前記フォームのその他の特徴から複数の線を特定し、前記複数の線を抽出することと、
前記ディープラーニングモデルを使用して、前記抽出された複数の線を使用し、複数の連結領域を特定し抽出することと、
前記ディープラーニングモデルを使用して、前記複数の連結領域から表を特定することと、
前記特定された表から複数のセルを抽出することと、
前記特定された表において隣接した複数のセルの位置と大きさを使用して、前記特定された表の複数のセルをグループ化することと、
前記特定された表において複数の行と複数の列を形成することと、
前記グループ化及び前記形成された複数の行と前記形成された複数の列の１つを使用して、前記特定された表において前記複数のセルで階層を形成することと、
前記形成された階層を使用して、前記特定された表の隣接する複数のキーワードを特定することと、
前記形成された階層を使用して、前記特定された表のコンテンツを特定することと、
それぞれの特定された隣接キーワードとそれぞれのコンテンツを関連付けること、を行う、フォーム自動登録システム。

【請求項12】

前記特定された表の前記形成された階層が列階層であり、それぞれの特定されたコンテンツが特定された隣接した複数のキーワード下に表示されている、請求項１１に記載のフォーム自動登録システム。

【請求項13】

前記特定された表の前記形成された階層が行階層であり、それぞれの特定されたコンテンツが特定された隣接した複数のキーワードの右側に表示されている、請求項１１に記載のフォーム自動登録システム。

【請求項14】

前記ディープラーニングモデルは、畳み込みニューラルネットワークから成る群から選択される、請求項１１に記載のフォーム自動登録システム。

【請求項15】

前記特徴が単色、複数色、グレースケールから成る群から選択され、前記複数の線の特定と抽出が、単色、複数色、グレースケールとして、前記フォームの１つまたは複数の濃淡領域を特定することを含む、請求項１１に記載のフォーム自動登録システム。

【請求項16】

前記セルの抽出が、前記１つまたは複数の濃淡領域から１つまたは複数のセルの抽出をすること
を含む、請求項１５に記載のフォーム自動登録システム。

【請求項17】

前記１つまたは複数の濃淡領域からの１つまたは複数のセルの前記抽出において、更に前記抽出された線が使用される、請求項１６に記載のフォーム自動登録システム。

【請求項18】

前記形成された階層は、ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）、ハイパーテキストマークアップ言語（ＨＴＭＬ）、及び拡張可能マークアップ言語（ＸＭＬ）から成る群から選択される形式で表される、請求項１１に記載のフォーム自動登録システム。

【請求項19】

前記関連付けることが、コンテンツが特定のキーワードに関連付けられることを、最低コスト値Ｃ_ｉｊを特定することにより決定することを含み、Ｃ_ｉｊが次式により求められる、請求項１１に記載のフォーム自動登録システム。

【数2】

【請求項20】

前記意味的距離Ｓ_ｉｊは、幾何学的距離、前方順位（ＦＲ）、後方順位（ＢＲ）、ＦＲ及びＢＲの算術平均、ＦＲ及びＢＲの幾何学平均、ＦＲ及びＢＲの調和平均、ユークリッド距離、ワードムーバー距離、又は余弦距離からなる群から選択される距離として計算される、請求項１９に記載のフォーム自動登録システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表ベースのドキュメントのための非構造化セルの関連付けからネスト化された表を自動登録する方法、装置、及びシステムに関する。

【関連出願の相互参照】

【0002】

本願は、２０２１年３月３０日に出願された「仮想表生成と関連付けを用いた自動フォーム登録のための方法、装置、およびシステム」と題する米国特許出願第１７／２１８，０２６号（弁護士ドケット番号１１６５３８．０００３７）に関する。本出願は、この関連出願の全てを参照によりその全体が組み込まれる。

【背景技術】

【0003】

フォームの自動登録は、特にキーワードとコンテンツの識別や関連付けの際に苦労することがあり得る。ここで、キーワードとは、フォームの特定のフィールドに関連付けられたテキストであってよく、その特定のフォームフィールドを埋めるために、特定のタイプのデータ（コンテンツ）が予期され得る。キーワードはあるフィールドのヘッダ、またはそのためのものであり、コンテンツはそのフィールドに入るデータであると考えてよい。コンテンツは、記入されたフォームの複数の行を構成する場合、１つまたは複数のフィールドを占有してよい。

【0004】

空の（ブランクの）フォームやテンプレートがある場合、キーワード（フィールドヘッダ）はかなり容易に特定され得る。キーワードが見えることで、例えば、空間的（左右、上下）な関係において、幾何学的な関係とも言えるが、キーワード同士の関連付けが容易になる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

表情報を使用せずに、左から右へ、又は上から下へとキーワードの関連付けを可能にするルールがある。これらのルールは、例えば、ある種の表形式で規則的な行と列を持つフォームなど、固定されたフォームに対して比較的容易に実装することができる。しかしながら、フォームが複雑になればなるほど、そのような関連付けは難しくなる。例えば、いわゆるフローティングフォームでは、キーワードが統一された位置や規則的な位置に表示されないことがある。例えば、キーワードが単一の表に表示されなかったり、フォーム内の一貫した位置に表示されないことがある。一態様において、キーワードは、フォーム全体で複数の表形式で表示されてもよい。別の態様では、これら複数の表形式はすべて同じとは限らないし、互いに異なっていてもよい。このように、１つのフォーム内に異なる表形式があってよい。キーワードが不規則に配置されているため、キーワードとコンテンツの関連付けについて、本来であれば固定されるはずのルールに例外が生じ得る。その結果、キーワードとコンテンツを正確に関連付けることができないことがある。

【0006】

フローティングフォームを考慮し、既存の固定ルールを修正すると、その修正ルールを以前の例（固定フォームなど）に適用する際に問題が発生する場合がある。初期にテストされたワーキングケースを壊すことなく、これらのルールを変更することは容易ではない。上記同継続中の出願は、これらの問題点を解決するため、より強固で統一されたアルゴリズムを提供し、キーワードとコンテンツの完全なフリーフォーム登録と考えられるもの、すなわち、キーワードはフォーム上のどこにでも表示でき、コンテンツはキーワードの右側または下側に表示できるよう、アルゴリズムを拡張しようとするものである。

【0007】

キーワードとコンテンツのペアが複数存在する構造化されたフォームからコア情報を抽出し、与えられたフォームの中からキーワードとコンテンツの関係を見つけ出し、自動的に関連付けることを可能にすることが望まれる。

【課題を解決するための手段】

【0008】

上記およびその他の課題を解決するために、本発明の態様は、表中のセル構造を利用して、表中の自動登録機能を設計することを可能にする。また、その他の態様では、キーワードとコンテンツの関係を表す階層的なデータ構造を構築することも可能である。更に、その他の態様では、入力に基づきネスト化されたキーワードとコンテンツを自動的に関連付け、データベース内のキーワードの複数のレベルから生じる問題の解決も可能である。

【0009】

本発明による態様は、表のセル構造を使用して、表内の自動登録の設計を提供する。その他の態様では、階層的データ構造を構築し、キーワードと関連するコンテンツの関係を表すことができる。更なる態様では、入力に基づき、ネスト化されたキーワードをコンテンツに自動的に関連付け、データベース内の複数レベルのキーワードのインスタンスを解決する。

【図面の簡単な説明】

【0010】

【図1】図１Ａは、空のフォームの一例を示し、図１Ｂは、空のフォームに記入したものを入力画像として示し、図１Ｃは、ターゲット画像の一例を示す。

【図2】図２Ａは、図１Ｃの拡大された一部を示し、図２Ｂは、図２からのフィールドで形成される階層又はツリーの一例を示す。

【図3】図３は、実施形態による動作のシーケンスの上位フローを示すフローチャートである。

【図4】図４Ａ～図４Ｅは、実施形態による表中の単語とセルの組織を示す。

【図5】図５Ａは、実施形態によるツリーの一例であり、図５Ｂは、図５Ａを特定のノードで強調した図である。

【図6】図６Ａは、実施形態によるツリーの一例であり、図６Ｂは、図６Ａを特定のノードで強調した図である。

【図7】図７は、実施形態による本発明の態様を実施するためのシステムの上位ブロック図である。

【図8】図８は、図７のシステムの態様の上位ブロック図である。

【図9】図９は、実施形態に係るキーワードとコンテンツの判定の動作シーケンスを示すフローチャートである。

【発明を実施するための形態】

【0011】

本明細書でより詳細に説明するように、本発明の態様は、フォーム自動登録方法、およびその方法を採用したフォーム自動登録システムに関する。一実施形態において、フォーム自動登録システムが、
１つまたは複数のプロセッサと、
１つまたは複数の非一時的なメモリ装置と、
ディープラーニングモデルを実行するディープラーニングシステムとを備える。

【0012】

一実施形態において、フォーム自動登録システムが、１つまたは複数のプログラムが、実行されると、
フォームの入力に応答して、前記フォームから１つまたは複数の特徴を抽出することと、
ディープラーニングモデルを使用して、前記フォームのその他の特徴から複数の線を特定し、前記複数の線を抽出することと、
前記ディープラーニングモデルを使用して、前記抽出された複数の線を使用し、複数の連結領域を特定し抽出することと、
前記ディープラーニングモデルを使用して、前記複数の連結領域から表を特定することと、
前記特定された表から複数のセルを抽出することと、
前記特定された表において隣接した複数のセルの位置と大きさを使用して、前記特定された表の複数のセルをグループ化することと、
前記特定された表において複数の行と複数の列を形成することと、
前記グループ化及び前記形成された複数の行と前記形成された複数の列の１つを使用して、前記特定された表において前記複数のセルで階層を形成することと、
前記形成された階層を使用して、前記特定された表の隣接する複数のキーワードを特定することと、
前記形成された階層を使用して、前記特定された表のコンテンツを特定することと、
それぞれの特定された隣接キーワードとそれぞれのコンテンツを関連付けること、を行う指示を含む１つまたは複数のプログラムを記憶する。

【0013】

一実施形態において、前記特定された表の前記形成された階層が列階層であり、それぞれの特定されたコンテンツが特定された隣接した複数のキーワード下に表示されている。

【0014】

一実施形態において、前記特定された表の前記形成された階層が行階層であり、それぞれの特定されたコンテンツが特定された隣接した複数のキーワードの右側に表示されている。

【0015】

一実施形態において、前記ディープラーニングモデルは、畳み込みニューラルネットワークから成る群から選択されてよい。

【0016】

一実施形態において、前記特徴が単色、複数色、グレースケールから成る群から選択されてよく、前記複数の線の特定と抽出が、単色、複数色、グレースケールとして、前記フォームの１つまたは複数の濃淡領域の特定を備える。

【0017】

一実施形態において、前記セルの抽出が、前記１つまたは複数の濃淡領域から１つまたは複数のセルの抽出をすることを含んでよい。

【0018】

一実施形態において、前記１つまたは複数の濃淡領域からの１つまたは複数のセルの前記抽出が、更に前記抽出された線を使用してよい。

【0019】

一実施形態において、前記形成された階層は、ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張可能マークアップ言語（ＸＭＬ）から成る群から選択された形式で表示されてよい。

【0020】

一実施形態において、前記関連付けることが、コンテンツが最低コスト値Ｃ_ｉｊを特定することで特定のキーワードに関連付けられることを決定することを備え、Ｃ_ｉｊが次式により求められる。

【数1】

【0021】

一実施形態において、前記意味的距離Ｓ_ｉｊは、幾何学的距離、前方順位（ＦＲ）、後方順位（ＢＲ）、ＦＲ及びＢＲの算術平均、ＦＲ及びＢＲの幾何学平均、ＦＲ及びＢＲの調和平均、ユークリッド距離、ワードムーバー距離、又は余弦距離からなる群から選択される距離として計算されてよい。

【0022】

図１Ａは、実施形態に係る空のフォームを示す。この例では、空のフォームは潜在的に２つの表を有しており、それぞれ図の上部に１０１、図の下部に１５１と表示されている。図１Ａでは、表１０１において、ブロック１１５にはキーワード１１０に関連するコンテンツが含まれ、ブロック１２５にはキーワード１２０に関連するコンテンツが含まれることになる。キーワード１３０、１４０、１５０、１６０、１７０は、ブロック１３５Ａ－Ｄ、１４５Ａ－Ｄ、１５５Ａ－Ｄ、１６５Ａ－Ｄ、１７５Ａ－Ｄのコンテンツとそれぞれ関連付けられることになり、複数のコンテンツが所定のキーワードと関連付けられる。キーワード１８０は、ブロック１８１のコンテンツと関連付けられることになる。

【0023】

図１Ａの下部付近、表１５１には、ネスト化されたコンテンツと呼ぶべきものがある。ブロック１８７Ａ～Ｃは、それぞれのキーワード１８６Ａ～Ｃに関連するコンテンツを含むことになり、キーワード１８５に関連付けられることになる。同様に、ブロック１９６～１９８は、それぞれのキーワード１９１～１９３に関連するコンテンツを含むことになり、キーワード１９０に関連付けられることになる。

【0024】

図１Ｂ及び図１Ｃは、それぞれ入力画像とターゲット画像の一例を示す図である。図１Ｂは、図１Ａと同じであるが、コンテンツが追加されている。図１Ｃのターゲット画像の矢印は、コンテンツを特定し、該当するキーワードと関連付ける方向を示す。図１Ｂ及び図１Ｃに示す種類のマルチディメンションテーブルでは、例えば表１０１のように、所定の列または行の１つのキーワードに関連付けられるコンテンツが複数存在することがある。また、表１５１のように、複数のコンテンツにコンテンツの左側、又はコンテンツの上側に複数のキーワードを関連付ける、いわゆるネスト化された構造になっている場合もある。

【0025】

図１Ｂをより詳しく見ると、手書き調の文字のテキストがコンテンツであり、残りのテキストはキーワードと考えることができる。一実施形態では、キーワードの周りにバウンディングボックスを配置し、フォームの特定のセクションにあるキーワードの識別を支援することができる。図１Ｂ及び図１Ｃを比較すると、キーワード１１０は、コンテンツ１１５に関連付けられており、キーワード１２０はコンテンツ１２５に関連付けられている。キーワード１３０、１４０、１５０、１６０、１７０は、コンテンツ１３５Ａ－Ｄ、１４５Ａ－Ｄ、１５５Ａ－Ｄ、１６５Ａ－Ｄ、１７５Ａ－Ｄとそれぞれ関連付けられることになり、複数のコンテンツが所定のキーワードと関連付けられる。キーワード１８０は、コンテンツ１８１と関連付けられている。

【0026】

図１Ａ及び図１Ｂの下部付近には、ネスト化されたコンテンツと呼ぶべきものがある。再び、図１Ａ及び図１Ｂを比較すると、コンテンツ１８７Ａ～Ｃは、それぞれのキーワード１８６Ａ～Ｃに関連し、キーワード１８５に関連付けられることになる。同様に、コンテンツ１９６～１９８は、それぞれのキーワード１９１～１９３に関連し、キーワード１９０に関連付けられることになる。

【0027】

本発明の態様によれば、表のセル構造を使用して、表内の自動登録を提供することが可能である。その他の態様では、階層的データ構造を構築し、キーワードと関連するコンテンツの関係を表すことができる。更なる態様では、入力に基づき、ネスト化されたキーワードをコンテンツに自動的に関連付け、データベース内の複数レベルのキーワードのインスタンスを解決する。

【0028】

次に、実施形態による階層的データ構造の一例について、図２Ａ及び図２Ｂから、以下のように説明する。図２Ａは、図１Ｃの下部である。図２Ｂは、図２Ａの構造を分解して、表からツリー構造にしたものである。図２Ｂでは、発注１８５は図２Ａの左側にあるように、ツリーの最上部にある。更に３つのキーワード、平均価格１８６Ａ、値引き１８６Ｂ、正味価格１８６Ｃが、図２Ｂのツリー内発注１８５下、及び図２Ａの表内発注１８５の右側にある。 ５０，０００（平均価格１８７Ａ）、５，０００（値引き１８６Ｂ）、４５，０００（正味価格１８６Ｃ）の形式でのコンテンツが、キーワード１８５と同様にキーワード１８６Ａ～Ｃに関連付けられている。

【0029】

キーワード１９０（配送料）は、キーワード１８５（発注）に関連付けられている。キーワード１９１～１９３（スタンダード、急送、翌日）は、キーワード１８５に関連付けられている。コンテンツ１９６～１９８（１００、２００、４００）は、キーワード１９０と同様に、キーワード１９１～１９３とそれぞれ関連付けられている。

【0030】

図３は、実施形態によるワークフローを上位で示したものである。３１０では、未加工画像が入力される。一実施形態では、未加工画像はＲＧＢ画像であってもよいが、他の形式も可能である。３２０では、ディープラーニングベースのネットワークが構築され、与えられた入力画像における線抽出を可能にすることができる。異なる態様によれば、ディープラーニングのネットワークは、カラーブロック、折線、破線のいずれかで、表の境界線の抽出を可能にする。一実施形態では、ネットワークは畳み込みニューラルネットワーク（ＣＮＮ）であってよい。別の実施形態では、ネットワークは、ディープ畳み込みニューラルネットワーク（ＤＣＮＮ）または完全畳み込みニューラルネットワーク（ＦＣＮまたはＦＣＮＮ）であってもよい。

【0031】

３３０では、抽出された表線を用いて連結領域を特定し、抽出できる。一実施形態では、入力画像が撮影されたフォームは、１つ以上の色または色の濃淡、またはグレースケールを含むことができる。抽出された表線を用いて、同じ色やグレースケールを有する領域が連結領域を有するとして識別できる。３４０では、連結領域を用いてセルそのものを抽出してもよく、抽出された表線によって分割されていることが示されてもよい。連結領域は、抽出された表線が提供する情報に応じて、１つまたは複数のセルを持つことができる。３５０では、抽出されたセルは、左から右（行）又は上から下（列）のいずれかの方法でソート又はグループ化できる。ソートやグループ化は、隣接するセルとの連携によって実行されてよい。ソートやグループ化された後、３６０では、表の列と行が形成される。一実施形態では、例えば同じフォームの表１０１及び１５１を示す図１Ａ～図１Ｃに関して前述したように、仮想フォームで複数の表が特定できる。

【0032】

３７０では、幾何学的配置情報を用いて、グループ化された列および行から階層構造を形成することができる。３８０では、手書きまたは印刷のいずれでもよい入力タイプから、特定のセルがキーワードまたはコンテンツのいずれかを含むものとして識別することが可能である。３９０では、階層構造をツリーとして見ると、葉または分岐ノードからの対応するコンテンツが、キーワードルートノードに関連付け、若しくは接続される。このような全体的なプロセスにより、表の登録、有用な情報の自動抽出、キーワード／コンテンツのペアの出力が可能となる。

【0033】

以下、図３から３３０を中心に説明する。

【0034】

前述のように、表線は、ディープラーニングに基づくモデルを使用して抽出することができる。カラーセルがあるところは、その色が入力されている。セルの大きさや含まれているものによって、着色された領域が１つのセルとして識別される場合と、複数のセルとして識別される場合がある。線抽出は、表の連結領域の境界として線（実施形態では黒線と白線）を提供し、その連結領域は表セルの抽出に使用される。従って、一態様では、表線は画素レベルで手動でラベル付けできる。

【0035】

色で入力する代わりに、入力フォームを改行したり、薄い色の表や、濃淡や色の異なるセルで構成された表があってもよい。これらの例の全てにおいて、実施形態では、これらの異なる可能な入力を認識し、取り扱うために用いられるディープラーニングベースのモデルは、セマンティックセグメンテーションネットワークであってもよく、一実施形態では、画素単位の入力および出力を取り扱うためにＦＣＮセグメンテーションネットワークであってもよい。ある態様では、ＦＣＮセグメンテーションは、入力画像をバイナリーマスクにマッピングすることができる。ディープラーニングベースのモデルに適切なトレーニングセットを与えることで、これらの様々な表の外観の区別が容易になり、適切な分野のキーワードとコンテンツを適切に識別できるようになる。

【0036】

従来の表構造（単一またはモノリシックの規則的な構造を持つなど）または非伝統的な表構造（おそらくフォーム内に複数の表構造を持つなど）のいずれからも表を抽出し形成することが可能である。図３の３３０からの連結領域情報と前述の議論を用いて、図３の３４０に記したように、分離された領域から個々の表セルを抽出することが可能である。一実施形態において、個々のセルは、左から右へ、上から下へとマークされ、ラベル付けされてもよい。

【0037】

図４Ａ～４Ｅは、個々のセルを抽出するための１つのアプローチを示している。図４Ａは、単語１～単語７という複数の単語を持つ設定を示している。図４Ｂは、ツリーの潜在的なルートを強調表示する例を示す図である。この種の強調表示については、図５Ａ、図５Ｂ、図６Ａ、図６Ｂに関してより詳細に説明する。

【0038】

図４Ｃは、複数レベルのキーワードを含むネスト化された表（Ｎディメンションテーブル）を示す図である。図４Ｃでは、個々のセルが左から右へ、行ごとにＣ１～ＣＮ（この例ではＮ＝１４）とラベル付けされている。図４Ａと図４Ｃを比較すると、例えば、単語１はセルＣ０に対応し、単語５はセルＣ１に対応し、単語２と単語３を合わせてセルＣ２に対応し、単語６はセルＣ３に対応し、単語７はセルＣ４に対応し、単語４はセルＣ９に対応する。

【0039】

図４Ｄと図４Ｅは、キーワードレベルの異なるネスティングを示している。図４Ｄは、列ベースのネスティングを示す図である。Ｃ０、Ｃ１、Ｃ４、Ｃ７、Ｃ８はボックスが濃く表示されており、キーワードセルであることを示している。Ｃ０とＣ１はキーワード、Ｃ４はＣ１以下のキーワード、Ｃ７とＣ８はＣ４以下のキーワードである。濃く表示されたボックス以下のすべてのセル（Ｃ２、Ｃ３、Ｃ５、Ｃ６、Ｃ９―Ｃ１４）は、コンテンツを意味する。図４Ｄは列ベースのネスティングであるため、Ｃ１がキーワードとして識別された場合、何らかの理由でＣ０の識別が曖昧になると、Ｃ１との相対位置関係からＣ０がキーワードと判定されることになる。同様に、Ｃ４がキーワードとして識別され、Ｃ１の識別が何らかの理由で曖昧な場合、Ｃ４との相対位置関係からＣ１がキーワードとして識別され、次にＣ０がキーワードとして識別されることになる。最後に、Ｃ７とＣ８のいずれかがキーワードと判定され、何らかの理由でＣ４またはＣ１の識別があいまいな場合、Ｃ４、次にＣ１、次にＣ０が、互いにおよびＣ７とＣ８に対するそれぞれの位置関係からキーワードとして識別されることになる。

【0040】

図４Ｅは、行ベースのネスティングを示す図である。Ｃ０、Ｃ２、Ｃ９、Ｃ３、Ｃ５はボックスが濃く表示されており、キーワードセルであることを示している。Ｃ０はキーワード、Ｃ２はキーワード、Ｃ２の右側にＣ３とＣ５がキーワード、Ｃ９はキーワードである。濃く表示されたボックスの右側全てのセル（Ｃ１、Ｃ４、Ｃ６～Ｃ８、Ｃ１０～Ｃ１４）はコンテンツを意味する。図４Ｅは行ベースのネスティングであるため、Ｃ３がキーワードとして識別された場合、何らかの理由でＣ２の識別が曖昧になると、Ｃ３との相対位置関係からＣ２がキーワードとして識別されることになる。同様に、Ｃ０はキーワードであるＣ２の位置と相対する位置にあるため、Ｃ０もキーワードとして識別されることになる。同様に、Ｃ５がキーワードとして識別され、Ｃ２の識別が何らかの理由で曖昧な場合、Ｃ５との相対位置関係からＣ２がキーワードとして識別され、次にＣ０がキーワードとして識別されることになる。

【0041】

最初に、列のサイズ情報を使ってツリーを形成することができる。図５Ａは、そのようなツリーを示す。一態様では、ツリーを形成するために、個々のセルの左から右、上から下への幅を使用してもよい。サブセルの幅の合計が対応するルートセルの幅と等しい場合、ツリーのノードを２つに分割することができる。例えば、図５Ａを見ると、１行目では、表全体の幅は、セルＣ０とＣ１の幅の合計に等しい。 第２階層または行では、セルＣ４の幅は、セルＣ７とＣ８の幅の和、すなわち、Ｗ_Ｃ４≒Ｗ_Ｃ７＋Ｗ_Ｃ８とほぼ同じになる。したがって、セルＣ４に直接接続する２つのサブノードＣ７とＣ８を形成することが可能である。また、セルＣ３とセルＣ４の高さはほぼ同じ、つまりＨ_Ｃ３≒Ｈ_Ｃ４である。 従って、Ｃ３とＣ４は同じレベルのルートノードを持つツリーとして配置することができる。

【0042】

したがって、列ベースの階層的なツリー構造をも示す図５Ｂにおいて、ツリー内の各ブロックは、グループ化されソートされた表セルの中から個々のセルを表している。他のノードにつながるノードは強調表示される。ツリー構造の深さは、列構造の最大行数を示す（図５Ｂでは、深さは４であり、図５Ｂの４行に相当する）。図５Ｂでは、表の一番上の行のセルＣ０、Ｃ１が第１レベルのノード、次の行のセルＣ３、Ｃ４が第２レベルのノードである。３行目のセルＣ７とＣ８は第３レベルのノードである。

【0043】

同様に、図６Ａは、図５Ａに対するものと同様の概念を採用した、行ベースの階層的なツリー構造を示す。図５Ａと同様に、図６Ａでは、ツリーの各ブロックは、グループ化されソートされた表セルから個々のセルを表している。ツリー構造の深さは、行構造の最大列数を示す（図６Ａでは、深さは６であり、図６Ａの６列に相当する）。図６Ａにおいて、左側のセルＣ０、Ｃ２、Ｃ９が第１レベルのノードであり、セルＣ０、Ｃ２、Ｃ９のすぐ右側にあるセルＣ１、Ｃ３、Ｃ５、Ｃ１０が第２レベルのノードである。図６Ｂでは、図５Ｂが示すものと同様に、他のノードにつながるノードが強調表示されている。

【0044】

表セルのツリー構造が明らかになったことで、表中の手書き入力や印刷入力を使って、セルの特性を特定することが可能である。実施形態では、印刷されたセルはキーワードを含むものとして扱い、手書きのセルはコンテンツとして扱うことができる。図５Ｂ及び図６Ｂでは、それぞれ列構造及び行構造について、キーワードノードは濃いボーダーのボックスであり、コンテンツノードは薄いボーダーのボックスであり、図４Ｄ及び図４Ｅに対応する。一次元の表では、列ツリーまたは行ツリーのいずれかを使用して、ツリーの各分岐からコンテンツセルとキーワードセルを識別し、関連付けることができることに留意すべきである。

【0045】

一態様では、ＪａｖａＳｃｒｉｐｔＯｂｊｅｃｔＮｏｔａｔｉｏｎ（ＪＳＯＮ）形式、ハイパーテキストマークアップ言語（ＨＴＭＬ）形式、または拡張可能マークアップ言語（ＸＭＬ）形式などの形式を用いて、図５Ａおよび５Ｂ、ならびに図６Ａおよび６Ｂのツリーベースの表現を階層的テキストに変換することが可能である。当業者であれば、他の形式も可能であることを理解するであろう。

【0046】

以下の構造では、コロンの前の項目はキーワードを、コロンの後の項目はコンテンツを表す。従って、例えば、図５Ａ及び図５Ｂの列ベースの構造は、以下のデータ構造として表現することができる。

【数2】

【0047】

図５Ｂの特定の例を見て、図４Ｄの前述の議論を参照すると、Ｃ０はキーワードであり、Ｃ２及びＣ９はＣ０より下のコンテンツである。Ｃ１もキーワードである。その下には、さらにキーワードＣ３、Ｃ４がある。Ｃ３の下にはコンテンツＣ５があり、コンテンツＣ５の下にはコンテンツＣ１０があり、コンテンツＣ６の下にはコンテンツＣ１１がある。Ｃ４の下には、さらにキーワードＣ７とＣ８がある。キーワードＣ７の下にはコンテンツＣ１２とＣ１３があり、キーワードＣ８の下にはコンテンツＣ１４がある。

【0048】

同様に、図６Ａ及び図６Ｂの行ベースの構造は、以下のデータ構造として表現することができる。

【数3】

【0049】

図６Ｂの特定の例を見て、図４Ｅの前述の議論を参照すると、Ｃ０はキーワードであり、Ｃ１はＣ０の右側にあるコンテンツである。Ｃ２もキーワードであり、その右側にキーワードＣ３とＣ５を有する。キーワードＣ３は、その右側にコンテンツＣ４を有する。キーワードＣ５は、その右側にコンテンツＣ６、Ｃ７、Ｃ８を有する。最後に、Ｃ９は、その右側にコンテンツＣ１０、Ｃ１１、Ｃ１２、Ｃ１３、Ｃ１４を有するキーワードである。

【0050】

図７は、本明細書に記載の方法を実施するためのシステムの上位ブロック図である。図７では、入力フォーム７１０は、スキャナ７２０を介して入力され、直接または他のコンピューティング装置７３０を介してコンピューティングシステム７５０に接続されてもよい。入力フォーム７１０をスキャンすると、入力画像が生成され、そこからコンピューティングシステム７５０がキーワードを識別する。前述したように、入力画像はＲＧＢ画像であってもよい。実施形態では、入力画像は、グレースケール画像であってもよいし、白黒画像であってもよい。

【0051】

コンピューティングシステム７５０は、１つまたは複数のプロセッサ、１つまたは複数の記憶装置、および１つまたは複数の固体メモリシステム（記憶装置とは異なり、非一過性メモリおよび一過性メモリの両方を含むことができる）を含むことになる。実施形態において、コンピューティングシステム７５０は、以下でより詳細に説明されるディープラーニングシステム８００を含んでもよい。

【0052】

ディープラーニングシステム８００が関与する場合、トレーニングセットは、ディープラーニングシステム８００がキーワードの位置を識別することができる空のフォームを含んでもよい。ディープラーニングシステム８００がキーワードの位置を判別できるようになると、異なる空のフォームを入力することができ、ディープラーニングシステム８００はキーワードの位置を判別できるようになる。また、システム８００は、キーワードの位置が分かっている記入済みのフォームで学習させることもできる。記入済みのフォームにキーワードに隣接してテキストが提供される場合、システム８００は、そのテキストをコンテンツとして認識するように訓練することができる。システム８００が訓練されると、異なる記入済みのフォームが入力されたとき、次に、キーワードに対するコンテンツの位置（例えば、キーワードのすぐ下、またはすぐ右のいずれか）に基づいて、それぞれのキーワードに関連するコンテンツの位置を識別することが可能となり得る。ストレージ７７５は、上記でターゲット画像と呼ばれた、スキャンされた記入済み画像を格納してもよい。

【0053】

一実施形態では、フォームが図１Ａ～図１Ｃに示すようなものである場合、図２Ａ及び図２Ｂに示すような底部を有するものを含め、他のキーワードの隣（例えば、すぐ下、又は他のキーワードのすぐ右側）にさらなるキーワードが位置していてもよい。図２Ａでは、キーワード「平均価格」、「値引き」、「正味価格」が、キーワード「発注」の右側に表示される。キーワード「平均価格」、「値引き」、「正味価格」の右側に、「５０，０００」、「５，０００」、「４５，０００」というコンテンツがそれぞれ表示される。また、キーワード「配送料」の右側には、キーワード「スタンダード」、「急送」、「翌日」が表示される。キーワード「スタンダード」、「急送」、「翌日」の下にコンテンツ 「１００」、「２００」、「４００」 がそれぞれ表示される。

【0054】

キーワードとコンテンツの位置の判別の一部として、コンピューティングシステム７５０は、バウンディングボックス生成システム７６０を使用して、テキストの周りにバウンディングボックスを生成することができる。実施形態において、コンピューティングシステム７５０は、位置がずれていると判断されたバウンディングボックスを整列させるバウンディングボックス整列システム７６５を含んでもよい。実施形態において、ストレージ７７５は、ディープラーニングシステム８００が処理する入力画像を格納してもよい。ストレージ７７５はまた、トレーニングセット、および／または特定の入力フォームに関連する識別されたキーワードおよびコンテンツを含むことができるディープラーニングシステム８００の処理された出力を格納することができる。上述したように、ストレージ７７５は、ターゲット画像として先に言及した、記入済みのフォームも格納することができる。

【0055】

コンピューティングシステム７５０は、単一の場所にあってもよく、ネットワーク７５５は、コンピューティングシステム７５０の様々な要素間の通信を可能にする。さらに、または代替的に、コンピューティングシステム７５０の１つまたは複数の部分が他の部分から遠隔であってもよく、その場合、ネットワーク７５５は、通信用のクラウドシステムを意味することがある。実施形態では、様々な要素が併設されている場合であっても、ネットワーク７５５は、クラウドベースのシステムであってもよい。

【0056】

さらに、または代替的に、上記で言及したプロセッサ、ストレージシステム、およびメモリシステムのうちの１つまたは複数を含むことができる処理システム７９０は、キーワードおよび対応するコンテンツの場所を解決するために、本明細書で言及した回帰アルゴリズムを実装することができる。実施形態において、処理システム７９０は、ディープラーニングシステム８００と通信して、例えば、システム８００におけるノードの重み付けを支援する。

【0057】

図８は、ディープラーニングシステム８００のやや詳細な構成図である。一般に、ディープラーニングシステム８００は、当業者が認識するプロセッサ、ストレージ、およびメモリ構造を有することになる。ＣＮＮやＤＣＮＮなどのニューラルネットワークは、描かれているように、層８２０－１～８２０－Ｎに配置された複数のノードを有することになる。層８２０－１は入力層となり、層８２０－Ｎは出力層となる。異なる実施形態によれば、Ｎは２以上であってもよい。Ｎが３以上の場合、少なくとも１つの隠れ層（例えば、層８２０－２）が存在することになる。Ｎが２である場合、隠れ層はない。

【0058】

ニューラルネットワークのノードには、最初に重み付けが行われる。重み付けは、当業者であれば理解できるように、トレーニングセットがシステムに提示する様々な状況に対応するために必要な修正として、調整される。システム８００がキーワードとコンテンツを特定すると、出力層８２０－Ｎは、キーワードとコンテンツをキーワード／コンテンツデータベース８５０に提供することができる。データベース８５０はまた、キーワードの位置と、場合によってはキーワードに関連するコンテンツの位置を伴うフォームの分類を格納してもよい。

【0059】

実施形態では、キーワードとコンテンツのパターンを場合によっては含めて特定すると、各グループのキーワードとコンテンツは、例えば、線形割り当てソルバーを使用してペアリングされてもよい。実施形態によれば、制約プログラミング（ＣＰ）ソルバー、整数計画（ＩＰ）ソルバー、又は混合整数計画（ＭＩＰ）ソルバーが使用されてもよい。他の実施形態では、充足可能性（ＳＡＴ）ソルバー、またはＣＰ－ＳＡＴソルバーが使用されてもよい。各キーワードとグループ内の対応するコンテンツとの間のコスト値は、幾何学的情報と意味的情報の両方を用いて計算される場合がある。一実施形態では、キーワード（ｉ）とコンテンツ（ｊ）の互いの近接度を示すコストＣ_ｉｊを算出してもよい。Ｃ_ｉｊが低いほど、キーワードとコンテンツが関連付けられる可能性が高い。例示的な式は以下の通りである。

【数4】

【0060】

当業者であれば、意味的距離は、幾何学的距離によって直接測定することができるが、例えば、前方隣接順位、後方隣接順位、または２つの算術平均、幾何平均、または調和平均によって測定することもできることを理解するであろう。前述の式では、意味的距離はユークリッド距離として測定される。一実施形態では、意味的距離は、ワードムーバー距離として知られる距離測定によって測定されてもよく、それぞれのテキストに共通の単語が存在しない場合に適用可能である。余弦距離も意味的距離の一種であってよい。

【0061】

算出された対の距離は、列と行がキーワードとコンテンツに対応するコスト行列を形成することができる。距離は行列の要素である。例えば線形合計割り当てアルゴリズムを用いると、行列の中で最も距離が小さくなるペアを見つけることができる。線形合計割り当てでは、各行が列に一度だけ割り当てられるという制約がある。したがって、各キーワードには、対応するコンテンツまたはコンテンツグループを１つだけ割り当てることができる。

【0062】

キーワードとコンテンツの問題を解決するために線形合計割り当てアルゴリズムを使用すると、対になる距離の最小コストを得ることが可能である。線形合計割り当ての利点は、各キーワードについて、制約が１つのコンテンツの関連付けに限定されないことである。このアルゴリズムは、グローバルミニマムとベストマッチに達するすべての可能なペアを見つける。一実施形態では、割り当て問題は、いわゆる「アンバランス」問題であってもよく、その場合、採用されるソルバーは、アンバランスな線形割り当て問題に対処することができる。

【0063】

このタイプのコスト計算の１つの応用は、前述のようにキーワードの階層を示す図２Ａを参照して理解できる。この図のキーワードとコンテンツを見ると、ブロック１８７Ａ～Ｃのそれぞれのコンテンツは、キーワード１８６Ａ～Ｃと関連付けられ、コスト計算では、これらのそれぞれのキーワードとコンテンツのペアが最も近いと表示されるからである。図２Ａの右側では、コスト計算により、ブロック１９６～１９８のコンテンツが、キーワード１９１～１９３に最も近いことが示される。ブロック１９６のコンテンツも、キーワード１９０に近いものとして表示することができる。しかし、キーワードの階層が特定されたことにより、ブロック１９６～１９８のコンテンツは、それぞれキーワード１９１～１９３と適切に関連付けられることになる。

【0064】

図９は、前述からの流れをまとめたものである。９０５では、テキストアイテム（キーワードまたはコンテンツ）は、十分に大きなデータセットを使用してディープラーニングモデルによって訓練され得る単語埋め込み行列を介して、単語ベクトルに変換される。特に行列は非常に大きくなる可能性があり、例えば、特定の訓練ステップで関連する行のみに取り組むなど、一度に少しずつ訓練することができるため、当業者は、必要な機械学習訓練を理解することができる。９１０では、学習された単語埋め込み行列を介して決定された単語ベクトルから得られる幾何学的距離を計算する。９１５では、学習された単語埋め込み行列を介して決定された単語ベクトルから得られる意味的距離を計算する。

【0065】

９２０では、重みが割り当てられる。前述のように、幾何学的距離は、学習された単語埋め込み行列からユークリッド距離と意味的距離を用いて決定することができる。２つの距離の値を適切な重みを用いてバランスよくすることが必要である。例えば、ユークリッド距離が意味的距離より大きい場合、小さい大きさの重みを用いて値のバランスをとることができる。この点、一実施形態では、パラメータは経験的に決定される。９２５では、計算された距離と、前のステップで割り当てられた重みを使って、Ｃ_ｉｊが計算される。他のタイプのソルバーは、最小距離を計算するために、上記と同じ、類似の、または異なる重みを含む、またはそのような重みを全く含まない、異なるタイプの数式を提示できることを、当業者は理解するであろう。

【0066】

９３０では、計算された距離と判別された類似度を使用し、当該テキストアイテムにフラグを付与する。このフラグは、「キーワード」または「コンテンツ」のいずれかを意味するものである。９４０では、計算が満足のいくものであれば、処理を終了する。計算がうまくいかない場合は、９４５で重みを調整し、フローは９２５に戻る。

【0067】

以上から、本発明による実施形態は、ディープラーニング技術、およびニューラルネットワーク、より詳細には畳み込みニューラルネットワーク（ＣＮＮ）、さらに詳細にはディープ畳み込みニューラルネットワーク（ＤＣＮＮ）または完全畳み込みニューラルネットワーク（ＦＣＮＮ）などのメカニズムを利用して、空のフォームにおけるキーワードのパターン、およびキーワードの周囲（例えば、キーワードの右、またはキーワードの下）のコンテンツの位置付けを認識できることを理解できるであろう。空のフォームと、空のフォームに記入されたフォームの適切なトレーニングセットがあれば、特定の空のフォームを認識し、空のフォームのキーワードに対応する適切なコンテンツフィールドを提供するようにシステムを適切に学習させることが可能である。

【0068】

以上、本発明の態様による実施形態を説明したが、本発明は、これらの実施形態または態様に限定されるものと考えてはならない。当業者であれば、添付の特許請求の範囲の範囲および精神の範囲内で、本発明の変更を理解するであろう。

【図1A】

【図1B】

【図1C】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【外国語明細書】