特表 2023-530462 改良された表処理のための方法、コンピュータシステム、及びコンピュータプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-07-18

(54)【発明の名称】改良された表処理のための方法、コンピュータシステム、及びコンピュータプログラム製品

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230710BHJP

【ＦＩ】

G06T7/00 350C

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2022577635

(86)(22)【出願日】2021-06-18

(85)【翻訳文提出日】2023-02-01

(86)【国際出願番号】 US2021037998

(87)【国際公開番号】W WO2021257939

(87)【国際公開日】2021-12-23

(31)【優先権主張番号】20180937.3

(32)【優先日】2020-06-18

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】309016511

【氏名又は名称】モーニングスター インコーポレイテッド

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100226263

【弁理士】

【氏名又は名称】中田 未来生

(72)【発明者】

【氏名】ヴァイバヴ コトワル

(72)【発明者】

【氏名】スワプニル デシュパンデ

(72)【発明者】

【氏名】カールティク ヤーダブ

(72)【発明者】

【氏名】トゥシャール ガワデ

(72)【発明者】

【氏名】スレ ニクヒル

(72)【発明者】

【氏名】アーマッド シャリク

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA08

5L096BA18

5L096CA01

5L096EA02

5L096EA43

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

第１の態様において、本発明は、改良されたグリッドレス表処理のためのコンピュータ実装方法に係るものである。第２及び第３の態様において、本発明は、改良されたグリッドレス表処理のためのコンピュータシステム及びコンピュータプログラム製品に係るものである。第４の態様では、本発明は、文書構文解析のための方法、システム、又は製品のいずれかの使用に係るものである。
【選択図】図１

【特許請求の範囲】

【請求項1】

改良された表処理のためのコンピュータ実装方法であって、該方法が：
・グリッドレス表を含む固定レイアウト電子文書を提供するステップと；
・各々がグリッドレストレーニング表と、前記トレーニング表のバウンディングボックスを示すそれに紐づくラベルとを含む、複数のトレーニング関連電子文書に関連するトレーニングデータで、深層学習モデル（ＤＬＭ）を訓練するステップと；
・前記訓練されたＤＬＭによって、前記固定レイアウト電子文書中の前記グリッドレス表のバウンディングボックスを決定するステップと；
前記決定されたバウンディングボックスに基づいて、前記固定レイアウト電子文書から前記グリッドレス表の画像を抽出するステップと；
少なくとも膨張ステップを行うことによって、前記抽出画像を処理するステップと；
を備えるコンピュータ実装方法において、該方法が：
・生成器ニューラルネットワーク（ＧＮＮ）及び識別器ニューラルネットワーク（ＤＮＮ）を備える条件付き生成敵対ネットワーク（ｃＧＡＮ）を、各々がトレーニング関連膨張グリッドレス表画像及び対応する表グリッド画像を含む実ペアのセットを備えるトレーニングデータで訓練するステップであって、前記ｃＧＡＮの訓練は複数の訓練ステップを備え、各々が、
ａ）前記ＤＮＮに、前記実ペアのセットから得られた実ペアを提供するステップ、又は
ｂ）前記ＤＮＮに、偽のグリッド画像候補と、前記実ペアのセットから得られた対応するトレーニング関連膨張グリッドレス表画像とを含む生成されたペアを提供するステップであって、前記偽のグリッド画像候補は、前記ＧＮＮによって、ランダムデータベクトルを使用して、前記対応するトレーニング関連膨張グリッドレス表画像を修正することによって得られるステップ、のうちの１つ、及び
ｃ）前記ＤＮＮによって、前記ＤＮＮに提供された前記実ペア又は前記生成されたペアが、前記ＧＮＮによって生成されたペアであるか否かの指示を決定するステップ、
を備える、ステップであって、
前記ｃＧＡＮの訓練は、各々が前記複数の訓練するステップの少なくとも１つを備える、複数のＧＮＮ及びＤＮＮ反復トレーニングサイクルを備え、各トレーニングサイクル中、それぞれのＧＮＮ又はＤＮＮに紐づく損失関数は、紐づく安定サイクル述語が満たされるまで最小化され、かつ前記ｃＧＡＮは、前記ＧＮＮ及びＤＮＮに紐づく損失関数の結合損失を、結合損失安定述語が満たされるまで最小化することによって、訓練される、ステップと、
・前記訓練されたｃＧＡＮが備える前記訓練されたＧＮＮによって、前記処理された抽出画像に対する表グリッド画像を決定するステップと；
・前記決定された表グリッド画像及び前記提供された固定レイアウト電子文書からの前記グリッドレス表を、前記グリッドレス表のグリッド付き画像に結合するステップと；
を更に備えることを特徴とする、コンピュータ実装方法

【請求項2】

請求項１に記載の方法であって、前記抽出画像を処理するステップは、前記膨張ステップの前に：
前記抽出画像をグレースケール画像に変換するステップ；及び
適応ガウス法によって、前記グレースケール画像に２値化を適用するステップ；
を更に備え、前記膨張ステップは、前記２値化グレースケール画像に対して行われる、方法。

【請求項3】

請求項１又は２のいずれかに記載の方法であって、前記抽出画像を処理するステップは、前記膨張ステップの後に：
前記膨張ステップによる前記膨張画像中の膨張オブジェクトのアウトラインを得るステップ；
画像を含む前記アウトラインを膨張するステップ；及び
適応ガウス法によって、画像を含む前記膨張アウトラインに２値化を適用するステップ；
を更に備える、方法。

【請求項4】

請求項２及び３に記載のステップを備える、方法。

【請求項5】

る請求項１～４のいずれかに記載の方法であって、前記抽出画像を処理するステップは、前記膨張ステップの後に、収縮ステップを備える、方法。

【請求項6】

請求項１～５のいずれかに記載の方法であって、前記方法は：
各々がトレーニング関連表グリッド画像と対応する破損した表グリッド画像とを備えるトレーニングペアを備えるトレーニングデータで人工ニューラルネットワーク（ＡＮＮ）を訓練するステップであって、好ましくは、前記ＡＮＮはオートエンコーダである、ステップと；
訓練されたＧＮＮを備える前記訓練されたＡＮＮが決定した表グリッド画像によって、前記破損表グリッド画像から復元表グリッド画像を決定するステップと；
を更に備え、前記決定された復元表グリッド画像及び前記提供された固定レイアウト電子文書からのグリッドレス表が、前記グリッドレス表の前記グリッド付き画像に結合される、方法。

【請求項7】

請求項１～６のいずれかに記載の方法であって、各々がトレーニング関連膨張グリッドレス表画像及び対応する表グリッド画像を備える前記実ペアのセットが：
各々がグリッドレス表を含む複数のＰＤＦ文書を提供するステップと；
前記複数のＰＤＦ文書をＨＴＭＬ文書に変換するステップと；
前記ＨＴＭＬ文書の各々において、前記紐づくＰＤＦ文書の前記グリッドレス表に紐づく表タグを特定するステップと；
前記グリッドレス表の各々に対して、前記対応する特定された表タグに少なくとも部分的に基づいて、表グリッド画像を決定するステップと；
前記ＰＤＦ文書の各々から、前記グリッドレス表の画像を得るステップと；
前記グリッドレス表の前記得られた画像の各々を膨張するステップと；
によって、得られる、方法。

【請求項8】

請求項７に記載の方法であって、前記提供されたＰＤＦ文書の各々から、前記グリッドレス表の前記画像が：
前記訓練されたＤＬＭによって、各ＰＤＦ文書中の前記グリッドレス表のバウンディングボックスを決定するステップと；
前記決定された対応するバウンディングボックスに基づいて、前記ＰＤＦ文書の各々から、前記グリッドレス表の画像を抽出するステップと；
によって、得られる、方法。

【請求項9】

請求項１～８のいずれかに記載の方法であって、各々がグリッドレストレーニング表及び前記トレーニング表のバウンディングボックスを示すそれに紐づくラベルを含む前記複数のトレーニング関連電子文書が：
各々がグリッドレス表を含む複数のＰＤＦ文書を提供するステップと；
前記複数のＰＤＦ文書をＨＴＭＬ文書に変換するステップと；
前記ＨＴＭＬ文書の各々において、前記紐づくＰＤＦ文書の前記グリッドレス表に紐づく表タグを特定するステップと；
前記複数のＰＤＦ文書の各々に、前記グリッドレス表の前記バウンディングボックスのラベルを紐づけるステップであって、前記ラベルは、前記対応する特定された表タグに少なくとも部分的に基づく、ステップと；
によって得られる、方法。

【請求項10】

請求項１～９のいずれかに記載の方法であって、前記ＤＬＭは、人工ニューラルネットワーク（ＡＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）又は畳み込みニューラルネットワーク（ＣＮＮ）のうちの１つ以上である、方法。

【請求項11】

前記ＤＬＭがＣＮＮである、請求項１～１０のいずれかに記載の方法。

【請求項12】

改良された表処理のためのコンピュータシステムであって、請求項１～１１のいずれかに記載のコンピュータ実装方法を行なうために構成された、コンピュータシステム。

【請求項13】

改良された表処理のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品がコンピュータによって実行されるとき、前記コンピュータに請求項１～１１のいずれかに記載のコンピュータ実装方法を遂行させる命令を備える、コンピュータプログラム製品。

【請求項14】

コンピュータプログラム製品の使用であって、前記固定レイアウト電子文書から構文解析された文書を生成するための、請求項１～１１のいずれかに記載のコンピュータ実装方法、請求項１２に記載のコンピュータシステム、又は請求項１３に記載のコンピュータプログラム製品の使用。

【請求項15】

請求項１４に記載の使用であって、前記固定レイアウト電子文書から構文解析された文書を生成するステップが、前記グリッドレス表の前記グリッド付き画像から表形式データに紐づくテキストの光学式文字認識（ＯＣＲ）を行うステップを備える、使用。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、改良された表処理のための方法、システム、及びコンピュータプログラム製品、並びに文書構文解析をするためのそれらの使用に係るものである。

【背景技術】

【0002】

表を処理するための方法、システム、及びコンピュータプログラム製品は、当該技術分野において知られている。

【0003】

そのような表処理は、特に、ＰＤＦ文書などのような固定レイアウト文書の文書構文解析に有用である。画像又は非画像形式のＰＤＦ文書から表を構文解析することは、困難な作業となる場合がある。市場で入手可能な様々なオープンソースとライセンスのＰＤＦ構文解析ツールは、表の正確な処理に苦心している。

【0004】

特に、列と行を区切るグリッドのない表、すなわちグリッドレス表は、構文解析ツールにおいて特別な課題である。このようなグリッドレス表を含む文書は、文献上ではしばしば「半構造化文書」と称される。これらの文書は、既存のツールが乏しい自動検出技術しか備えていないため、構文解析ツールにとっての課題である。結果として、解析者は文書を構文解析する際に、手作業で表を選択し、抽出しなければならない。さらに、既存の構文解析ツールは、表の中の複数行間若又は結合されたセルに含まれるデータ又は情報を抽出することができない。

【0005】

米国特許出願第2020 0 089 946号公報（特許文献１）は、電子文書から表形式データを抽出するためのツールについて述べている。このツールは、表形式データのグリッド構造の情報を生成する。このグリッド構造は、表形式データに紐づくテキストと組み合わされ、グリッド付き表を得ることができる。本発明者らは、特許文献１が提供するツールは、特に、水平線又は垂直線のみを含む表に対してグリッドを生成するときに、不正確であることに言及する。加えて、このツールは、グリッドレス表に対するグリッドを生成するときには機能しない。

【0006】

表、特にグリッドレス表の改良された処理、及びこれらの表を含む文書の改良された構文解析に対する必要性が当技術分野において残っている。

【0007】

本発明は、当該技術分野で知られている方法、システム及びコンピュータプログラム製品に紐づく技術的問題の少なくともいくつかを解決することを目的とする。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】米国特許出願第2020 0 089 946号公報

【発明の概要】

【0009】

第１の態様において、本発明は、請求項１に記載のグリッドレス表処理のための方法に係るものである。

【0010】

第２の態様において、本発明は、請求項１２に記載のグリッドレス表処理のためのコンピュータシステムに係るものである。

【0011】

第３の態様において、本発明は、請求項１３に記載のグリッドレス表処理のためのコンピュータプログラム製品に係るものである。

【0012】

第４の態様において、本発明は、請求項１４に記載の方法、システム又はコンピュータプログラム製品のいずれかの文書構文解析のための使用に係るものである。

【0013】

本発明は、グリッドレス表を簡単かつ正確に処理することを可能にする点で有利である。その延長として、そのようなグリッドレス表を含む半構造化文書を、より容易に構文解析する。以下、本発明の更なる利点について、説明、実施例及び図を通して論じる。

【0014】

本発明の好ましい実施態様は、請求項２～１２、及び１５、並びに説明、実施例及び図全体を通して論じられる。

【図面の簡単な説明】

【0015】

【図1】グリッドレス表及びそれに紐づく文書の処理を備える、本発明の全体的なワークフローの回路概略図を示す。

【図2】深層学習モデル、具体的には畳み込みニューラルネットワークを使用した、文書中のグリッドレス表のローカライズ予測を図示する。

【図3】深層学習モデル、具体的には畳み込みニューラルネットワークを使用した、文書中のグリッドレス表のローカライズ予測を図示する。

【図4】深層学習モデル、具体的には畳み込みニューラルネットワークを使用した、文書中のグリッドレス表のローカライズ予測を図示する。

【図5】生成的敵対的ネットワーク、具体的には条件付きＧＡＮを使用して、抽出されたグリッドレス表に対する表グリッド予測を図示する。

【図6】生成的敵対的ネットワーク、具体的には条件付きＧＡＮを使用して、抽出されたグリッドレス表に対する表グリッド予測を図示する。

【図7】生成的敵対的ネットワーク、具体的には条件付きＧＡＮを使用して、抽出されたグリッドレス表に対する表グリッド予測を図示する。

【図8】生成的敵対的ネットワーク、具体的には条件付きＧＡＮを使用して、抽出されたグリッドレス表に対する表グリッド予測を図示する。

【図9】生成的敵対的ネットワーク、具体的には条件付きＧＡＮを使用して、抽出されたグリッドレス表に対する表グリッド予測を図示する。

【図10】生成的敵対的ネットワーク、具体的には条件付きＧＡＮを使用して、抽出されたグリッドレス表に対する表グリッド予測を図示する。

【図11】グリッドレス表の改良された処理のための、膨張前及び膨張後の好ましい画像処理ステップを図示する。

【図12】グリッドレス表の改良された処理のための、膨張前及び膨張後の好ましい画像処理ステップを図示する。

【図13】グリッドレス表の改良された処理のための、膨張前及び膨張後の好ましい画像処理ステップを図示する。

【図14】グリッドレス表の改良された処理のための、膨張前及び膨張後の好ましい画像処理ステップを図示する。

【図15】グリッドレス表の改良された処理のための、膨張前及び膨張後の好ましい画像処理ステップを図示する。

【発明を実施するための形態】

【0016】

本発明は、改良されたグリッドレス表処理のためのコンピュータ実装方法、コンピュータシステム及びコンピュータプログラム製品、並びに文書構文解析のための方法、システム又は製品のいずれかの使用に係るものである。以下では、本発明を詳細に説明し、好ましい実施態様を論じられ、かつ非限定的な実施例によって本発明を図示する。

【0017】

特に定義しない限り、技術用語及び科学用語を含む、本発明を開示する際に使用されるすべての用語は、本発明が属する技術分野における通常の技術者が一般的に理解するような意味を有する。さらなる指針として、本発明の教示をよりよく理解するために、用語の定義が含まれる。本明細書で使用される場合、以下の用語は、以下の意味を有する。

【0018】

本明細書で使用される「a」、「an、及び「the」は、文脈から明らかにそうでないと判断されない限り、単数及び複数の参照語の両方を指す。例として、「a compartment（区画）」は、１つ又はそれ以上の区画を指す。

【0019】

本明細書で使用される「comprise（備える）」、「comprising（備えている）」、及び「comprising of（で構成する）」は、「include（含む）」、「including（含んでいる）」、「includes（含む）」、又は「contain（含まれる）」、「containing（含まれている）」、「contains（含まれる）」と同義で、例えば構成に続くものの存在を特定する包括的又は開放的用語であり、追加の、非再帰の特徴の、要素の、ステップの、当技術分野で知られている、又はそこに開示されている存在を除外若しくは排除するものではない。

【0020】

構成材群の１つ以上の構成材又は少なくとも１つの構成材などのような「１つ以上の」又は「少なくとも１つの」という用語はそれ自体明確であるのに対し、さらなる例示によって、この用語は、とりわけ、当該構成材の任意の１つ、又は、例えば、当該部材の任意の≧３、≧４、≧５、≧６、≧７などのような当該構成材の任意の２つ以上、さらにはすべての当該構成材への言及を包含している。

【0021】

特に定義しない限り、技術用語及び科学用語を含む、本発明を開示する際に使用されるすべての用語は、本発明が属する技術分野における通常の当業者によって一般的に理解されている意味を有する。さらなる指針として、本発明の教示をよりよく理解するために、本明細書で使用される用語の定義が含まれる。本明細書で使用される用語又は定義は、本発明の理解を助けるためにのみ提供される。

【0022】

本明細書を通じて「一実施態様」又は「ある実施態様」と言及することは、実施態様に関連して説明される特定の特徴、構造又は特性が、本発明の少なくとも１つの実施態様に含まれることを意味する。このように、本明細書中における様々な場所での「一実施態様において」又は「ある実施態様において」というフレーズの出現は、必ずしも全てが同じ実施態様を指す必要はないが、そうである場合もある。さらに、特定の特徴、構造又は特性は、本開示から当業者に明らかなように、１つ以上の実施態様において、任意の適切なやり方で組み合わされてもよい。さらに、本明細書に記載されたいくつかの実施態様は、他の実施態様に含まれるいくつかの特徴を含むが、他の特徴は含まない一方、異なる実施態様の特徴の組み合わせは、本発明の範囲内であり、当業者によって理解されるであろうように、異なる実施態様を形成することを意味する。例えば、以降の特許請求の範囲において、請求項の実施態様はいずれかも任意の組み合わせで使用することができる。

【0023】

さらに、説明及び特許請求の範囲における「第１」、「第２」、「第３」などの用語は、指定されない限り、同様の要素を区別するために使用され、必ずしも連続的又は時系列的な順序を述べていることを必要としない。そのように使用される用語は、適切な状況下で交換可能であり、かつ本明細書に記載される本発明の実施態様は、本明細書に記載又は図示される以外の順序で動作可能であることが理解される。

【0024】

第１の態様において、本発明は、改良されたテーブル処理のためのコンピュータ実装方法に関するものである。本方法は、好ましくは、グリッドレス表を含む固定レイアウト電子文書を提供するステップを備える。本方法は、好ましくは、複数のトレーニング関連電子文書に関連するトレーニングデータで深層学習モデル（ＤＬＭ）を訓練するステップを備える。好ましくは、複数のトレーニング関連電子文書の各々は、グリッドレストレーニング表と、トレーニング表のバウンディングボックスを示すそれに紐づくラベルとを含む。本方法は、好ましくは、訓練されたＤＬＭによって、当該固定レイアウト電子文書中のグリッドレス表のバウンディングボックスを決定するステップを備える。本方法は、好ましくは、決定されたバウンディングボックスに基づいて、当該固定レイアウト電子文書からグリッドレス表の画像を抽出するステップを備える。本方法は、好ましくは、少なくとも膨張ステップを行うことによって、抽出画像を処理するステップを備える。本方法は、好ましくは、生成器ニューラルネットワーク（ＧＮＮ）及び識別器ニューラルネットワーク（ＤＮＮ）を備える条件付き生成敵対ネットワーク（ｃＧＡＮ）を訓練するステップを備える。好ましくは、ここで、ｃＧＡＮは、実ペアのセットを含むトレーニングデータで訓練する。好ましくは、ここで、当該実ペアのセットの各々は、トレーニング関連膨張グリッドレス表画像及び対応する表グリッド画像を含む。好ましくは、ここで、ｃＧＡＮの訓練は、複数の訓練ステップを備える。好ましくは、ここで、当該訓練ステップの各々は、以下のステップａ）又はｂ）のうちの１つ、及びステップｃ）を備える。
ａ）ＤＮＮに、実ペアのセットから得られた実ペアを提供するステップ。
ｂ）ＤＮＮに、偽のグリッド画像候補と、実ペアのセットから得られた対応するトレーニング関連膨張グリッドレス表画像とを含む生成ペアを提供するステップであって、偽のグリッド画像候補は、ＧＮＮによって、ランダムデータベクトルを使用して、対応するトレーニング関連膨張グリッドレス表画像を修正することによって得られるステップ。
ｃ）ＤＮＮによって、ＤＮＮに提供された実ペア又は生成されたペアが、ＧＮＮによって生成されたペアであるか否かの指示を決定するステップ。
好ましくは、ここでｃＧＡＮの訓練は、複数のＧＮＮ及びＤＮＮの反復トレーニングサイクルを備える。好ましくは、ここで、当該複数のＧＮＮ及びＤＮＮ反復トレーニングサイクルの各々が、当該複数の訓練するステップのうちの少なくとも１つを備える。好ましくは、ここで、各トレーニングサイクル中に、それぞれのＧＮＮ又はＤＮＮに紐づく損失関数は、紐づく安定サイクル述語が満たされるまで最小化される。好ましくは、ここで、ｃＧＡＮは、ＧＮＮ及びＤＮＮに紐づく損失関数の結合損失を、結合損失安定述語が満たされるまで最小化することによって、訓練される。本方法は、好ましくは、訓練されたｃＧＡＮが備える訓練されたＧＮＮによって、処理された抽出画像に対する表グリッド画像を決定するステップを更に備える。本方法は、好ましくは、決定された表グリッド画像及び提供された固定レイアウト電子文書からのグリッドレス表を、グリッドレス表のグリッド付き画像に結合するステップを更に備える。

【0025】

第２の態様において、本発明は、改良された表処理のためのコンピュータシステムに関するものである。好ましくは、ここで、コンピュータシステムは、本発明の第１の態様によるコンピュータ実装方法を行なうように構成される。

【0026】

第３の態様において、本発明は、改良された表処理のためのコンピュータプログラム製品に関する。好ましくは、ここで、コンピュータプログラム製品は、コンピュータプログラム製品がコンピュータによって実行されるとき、コンピュータに本発明の第１の態様によるコンピュータ実装方法を遂行させる命令を備える。好ましくは、ここで、コンピュータは、本発明の第２の態様によるコンピュータシステムである。

【0027】

第４の態様において、本発明は、固定レイアウト電子文書から構文解析された文書を生成するための、本発明の第１の態様に係る改良された表処理のためのコンピュータ実装方法、本発明の第２の態様に係るコンピュータシステム、又は本発明の第３の態様に係るコンピュータプログラム製品の使用に関するものである。

【0028】

本発明は、改良された表処理のためのコンピュータ実装方法、コンピュータシステム及びコンピュータプログラム製品、並びに固定レイアウト電子文書から構文解析された文書を生成するための方法、システム又は製品のいずれかの使用を提供する。当技術分野における通常の技術を有する者は、本方法がコンピュータプログラム製品に実装され、コンピュータシステムを使用して実行されることを理解するであろう。また、改良された表処理が、文書から表を構文解析するために使用することができることも、当技術分野において通常の技能を有する者にとって明らかである。それゆえに、以下では、本発明の４つの態様は一緒に扱われる。

【0029】

本発明の課題は、表処理を改良することであり、特に、グリッドレス表の処理を改良することである。提供される解決策は、当該技術分野で知られている任意のグリッド構造を含んでいるか、又は欠いている、任意の表の処理を改良することができるが、本発明は、とりわけ、グリッドレス表の改良された処理を目的とするものである。このような表は、電子固定レイアウト文書において特に検出が困難である。さらに、そこに包含される階層などのような情報は、抽出するのが困難である。本発明の課題は、それゆえに、よりとりわけ、そのフォーマット及び構造（又は階層）を維持しながら、電子文書から表形式データを便利に、効率的に、かつ確実に抽出する方法、システム及びコンピュータプログラム製品を提供することを目的とする。グリッドレス表の本発明による改良された処理は、デジタル文字抽出（ＤＣＥ）、画像強調、光学式文字認識（ＯＣＲ）、文書レイアウト分析、フィールド検出、フィールド構文解析等のような異なる分野で有利に使用することができる。

【0030】

本発明の課題は、固定レイアウトの電子文書から文書解析された文書を生成することである。この点に関して、提供された固定レイアウト電子文書から、決定された表グリッド画像及びグリッドレス表が、グリッドレス表のグリッド付き画像に合成される。このグリッドレス表のグリッド付き画像は、分離された画像で提供されてもよく、又は提供されなくてもよい。このグリッドレス表のグリッド付き画像は、固定レイアウト電子文書又はその画像に重畳されてもよく、若しくは重畳されなくてもよい。好ましくは、固定レイアウト電子文書から構文解析された文書を生成することは、グリッドレス表のグリッド付き画像からの表データに紐づくテキストのＯＣＲを行うステップを備える。

【0031】

本明細書で使用される「構文解析」は、当技術分野で既知の用語を指し、好ましくは、データストリーム、例えば固定レイアウト電子文書をより容易に処理できる構成要素に分析及び／又は分離することと理解されるべきである。これは、データストリームに対して、ある種の変換、例えばＯＣＲを行うことを容易にすることを目的とする。

【0032】

本明細書で使用される「表形式データ」は、当技術分野で既知の用語を指し、好ましくは、データの視覚的表現、解釈及び抽出を強化するために、適切かつ十分に定義されたフォーマット並びに構造（又は階層）の形式におけるデータの任意の表現として理解されるべきである。表形式データは、データの階層構造を維持するのに役立ち、そこに表されるデータの分類をも可能にする。表形式データは、グリッド構造、表などのような構造化データ配置を含めることができる。グリッドレス表の場合、構造化データの配置は見えない。オプションで、表形式データは、フローチャートを備えることができる。

【0033】

「電子文書」は、本明細書で使用される場合、当技術分野で既知の用語を指し、好ましくは、そこに１つ以上の形式のコンテンツを含むことができる任意の電子媒体として理解されるべきである。そのような電子文書は、ポータブル文書フォーマットファイル（．ＰＤＦ拡張子を有する）、ワープロソフトを使用して生成された文書（例えば、．ｄｏｃ又は．ｄｏｃｘ拡張子を有するファイルなどのような）、ウェブテキスト文書（．ＨＴＭＬ又は．ｈｔｍ拡張子）、Ａｄｏｂｅ製ポストスクリプト文書（．ｐｓ拡張子）などのような異なるフォーマットとすることができる。さらに、電子文書は、異なる形式のコンテンツ、例えば、テキストデータ、画像などのような非構造化データ配列、及び表形式データ、ヒストグラムなどのような構造化データ配列を含んでもよいし、含まなくてもよい。加えて、電子文書は、単一の表形式データ（単一の表などのような）又は複数の表形式データを含んでもよいし、含まなくてもよい。

【0034】

本明細書で使用される「固定レイアウト電子文書」は、当技術分野で既知の用語を指し、好ましくは、そこに１つ以上の形式のコンテンツを含むことができる任意の電子媒体であって、１つ以上の形式のコンテンツは固定レイアウトを有するとして理解されるべきである。そのような固定レイアウト電子文書は、例えば、検索可能又は非検索可能なポータブル文書フォーマットファイル（．ＰＤＦ拡張子を有する）、ビットマップファイル（．ｂｍｐ拡張子を有する）、ポータブルネットワークグラフィックファイル（．ｐｎｇ拡張子を有する）、ジョイントフォトグラフィックエキスパートグループファイル（．ｊｐｅｇ拡張子を有する）、タグ画像ファイル形式（．ｔｉｆｆ拡張子を有する）などのような異なるフォーマットとすることができる。好ましくは、固定レイアウト電子文書は、ＰＤＦ文書、略称ｐｄｆである。このようなＰＤＦは、広く使用され、かつ異なる個人間での表形式データの通信（送受信などのような）が容易であり、また、表形式データからの情報の解釈及び抽出が便利である。しかしながら、ｐｄｆから表形式データをコピーするなどのようなｐｄｆから表形式データを抽出する必要があるとき、表形式データはその形式及び構造（又は階層）を失い、それゆえに抽出されたデータは使い物にならなくなる。

【0035】

提供された固定レイアウト電子文書からグリッドレス表の画像を抽出するために、本発明の簡単な実施態様は、複数のトレーニング関連電子文書に関するトレーニングデータで深層学習モデル（ＤＬＭ）を訓練することを提供する。好ましくは、当該複数のトレーニング関連電子文書の各々は、グリッドレストレーニング表と、訓練テーブルのバウンディングボックスを示すそれに紐づくラベルとを含む。

【0036】

有益なことに、本発明は、電子文書から表形式データの自動検出を可能にし、それによって、ユーザによる表形式データの手動選択に紐づく問題を緩和することができる。このように、データの手動選択に要する時間及び労力を削減することができ、それによって、ユーザの作業効率を向上させることができる。さらに、本発明は、表形式データの階層が抽出後も維持されるように、固定レイアウト電子文書からグリッドレス表を抽出することを可能にする。抽出後も表形式データの階層を維持することは、表形式データ内に表される情報の完全性を維持することを可能にし、それによって、表形式データの便利で信頼性が高く、かつ効率的な抽出及び解釈を可能にすることが理解されよう。

【0037】

「深層学習」は、本明細書で使用される場合、当該技術分野において既知の用語を指し、好ましくは、その中に表形式データの様々な形式を含むサンプル電子文書から半教師付き学習又は教師付き学習が可能なノード（人工ニューロンなどのような）のネットワーク（人工ニューラルネットワーク（ＡＮＮ）、再帰神経ネットワーク（ＲＮＮ）、畳込みニューラルネットワーク（ＣＮＮ）などのような）を備える機械学習技術として理解されるべきである。このような例では、ＤＬＭは、グリッドレストレーニング表と、トレーニング表のバウンディングボックスを示すそれに紐づくラベルとを含む複数のトレーニング関連サンプル電子文書を提供することによってなどのように、電子文書内の表形式データの位置を検出するように訓練することができる。

【0038】

「バウンディングボックス」は、本明細書で使用される場合、当該技術分野において既知の用語を指し、好ましくは、グリッドレス表を含む電子文書の領域上に生成される矩形形状であって、生成された矩形形状がグリッドレス表を完全に包含するものと理解されたい。生成された単一のバウンディングボックスの領域は、単一の表データによってカバーされる電子文書のページの全領域に対応することが理解されよう。例えば、単一のバウンディングボックスの領域は、所与の表形式データが電子文書のページを完全にカバーするように表される場合、電子文書のページの領域に対応することができる。しかしながら、ほとんどの表形式データは、一般的に、電子文書のページの５０％以内の領域などのような、電子文書のページ内のより小さな領域をカバーする。オプションで、単一の表形式データが電子文書の複数のページに存在する場合、単一のバウンディングボックスの領域は、複数のページに及ぶことができる。このような例では、生成されたバウンディングボックスは、電子文書の各ページの全領域よりも大きな領域に対応することになる。

【0039】

好ましくは、バウンディングボックスは、バウンディングボックスの頂点に対応する座標と、バウンディングボックスの幅及び高さに対応する座標とを備える。したがって、バウンディングボックスは、座標：ｔｘ；ｔｙ；ｔｗ；ｔｈを備えてもよい。あるいは、バウンディングボックスは、バウンディングボックスの各頂点に対応する座標を備える。したがって、バウンディングボックスは、座標：（ｔｘ１、ｔｙ１）；（ｔｘ２、ｔｙ２）；（ｔｘ３、ｔｙ３）；（ｔｘ４、ｔｙ４）を備えてもよい。

【0040】

提供された固定レイアウト電子文書からグリッドレス表の画像を抽出するために、本発明の単純な実施態様は、決定されたバウンディングボックスに基づいて、当該固定レイアウト電子文書からグリッドレス表の画像を抽出することを更に提供する。好ましくは、抽出画像は、固定レイアウト電子文書のバウンディングボックス内の領域の画像に対応する。抽出画像は、．ｊｐｇ、．ｐｎｇ、．ｂｍｐ、．ｇｉｆなどを含むがこれらに限定されない１つ以上の画像ファイルフォーマットに紐づいてもよく、又は紐づいてなくてもよい。

【0041】

好ましくは、各々がグリッドレストレーニング表と、トレーニング表のバウンディングボックスを示すそれに紐づくラベルとを含む複数のトレーニング関連電子文書は、以下によって、得られる。
・各々がグリッドレス表を含む複数のＤＬＭトレーニング関連固定レイアウト電子文書を提供するステップであって、当該複数のＤＬＭトレーニング関連固定レイアウト電子文書がマークアップ言語に変換可能である、ステップ；
・複数のトレーニング関連固定レイアウト電子文書を、マークアップ言語で対応する文書に変換するステップ；
・対応するマークアップ言語文書の各々において、紐づくトレーニング関連固定レイアウト電子文書のグリッドレス表に紐づく表タグを特定するステップ；及び
・複数のトレーニング関連固定レイアウト電子文書の各々に、グリッドレス表のバウンディングボックスに対するラベルを紐づけるステップであって、当該ラベルは、対応する特定された表タグに少なくとも部分的に基づく、ステップ。

【0042】

好ましい実施態様によれば、各々がグリッドレス訓練表と、トレーニング表のバウンディングボックスを示すそれに紐づくラベルとを含む複数のトレーニング関連電子文書は、以下によって、得られる。
・各々がグリッドレス表を含む複数のＰＤＦ文書を提供するステップ；
・複数のＰＤＦ文書をＨＴＭＬ文書に変換するステップ；
・ＨＴＭＬ文書の各々において、紐づくＰＤＦ文書のグリッドレス表に紐づく表タグを特定するステップ；及び
・複数のＰＤＦ文書の各々に、グリッドレス表のバウンディングボックスに対するラベルを紐づけるステップであって、当該ラベルは、対応する特定された表タグに少なくとも部分的に基づく、ステップ。

【0043】

「マークアップ言語」は、本明細書で使用される場合、当該技術分野において既知の用語を指し、好ましくは、対応するテキストと構文的に区別される方法で文書に注釈を付けるのに適したファイルフォーマットとして理解されるべきであり、文書が表示のために処理されるとき、マークアップ言語は示されず、対応するテキストをフォーマットするために使用することを意味する。マークアップ言語の使用は、対応するテキストの書式設定に限定される必要があってもよく、又はなくでもよい。マークアップ言語は、付加的な機能を備えてもよく、又は備えなくてもよい。マークアップ言語の例としては、以下のファイルフォーマットｔｒｏｆｆ、ｎｒｏｆｆ、ＴｅＸ、Ｓｃｒｉｂｅ、ＧＭＬ、ＳＧＭＬ、ＨＴＭＬ、ＸＭＬ、ＸＨＴＭＬ、他のＸＭＬベースのアプリケーションなどを含む。表タグの取得のためのマークアップ言語の使用は、実装が容易であり、かつ電子文書中の（グリッドレス）表の位置に関する定性的な情報を提供する。この位置情報から、（グリッドレス）表のバウンディングボックスが容易に導出される。好ましくは、マークアップ言語として、ＨＴＭＬを使用する。ＨＴＭＬは広く使われている。

【0044】

好ましくは、固定レイアウト電子文書におけるグリッドレス表のバウンディングボックスを決定するためのＤＬＭは、人工ニューラルネットワーク（ＡＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、又は畳み込みニューラルネットワーク（ＣＮＮ）のうちの１つ以上である。好ましい実施態様によれば、ＤＬＭは、ＣＮＮである。異なるＤＬＭアーキテクチャは、固定レイアウト電子文書中のグリッドレス表のバウンディングボックスを決定するために訓練可能である。しかしながら、ほとんどの技術は、極端な視点と背景の変動に対して強固ではない。ＣＮＮは、オブジェクト検出及び分類タスクにおける背景と視点の変動に対して極めて強固であることが知られており、科学出版物などのような可変のレイアウトを有する固定レイアウト電子文書中のグリッドレス表のバウンディングボックスを決定するのに非常に適している。

【0045】

好ましくは、固定レイアウト電子文書中のグリッドレス表のバウンディングボックスを決定するためのＤＬＭの訓練に紐づく損失関数は、少なくとも部分的にＩｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ（ＩＯＵ）損失関数に基づく。ＩＯＵは、交点の領域を２つのボックスの結合の領域で割ったものとして計算することができる。ＩＯＵは０以上、１以下でなければならない。バウンディングボックスを予測するためには、ＩＯＵは予測されたバウンディングボックスとグランドトゥルースのバウンディングボックスとの間で、およそ１であることが必要である。より好ましくは、固定レイアウト電子文書中のグリッドレス表のバウンディングボックスを決定するためのＤＬＭの訓練に紐づく損失関数は、少なくとも部分的にバイナリクロスエントロピー（ＢＣＥ）損失関数に基づく。

【0046】

ＣＮＮによる抽出画像は、本発明の単純な実施態様に従って処理される。好ましくは、ＣＮＮによる抽出画像の処理は、少なくとも膨張ステップを行うことを備える。抽出された画像に膨張を行うことは、グリッドレス表中に存在するオブジェクト、例えばグリッドレステキスト情報を、必要な及び／又は均一なピクセル密度と紐づけるものである。

【0047】

当該オブジェクトが均一なピクセル密度を有するように、グリッドレス表中のオブジェクトのこのようなモルフォロジー膨張を行うことによって、変化するピクセル密度を有する当該オブジェクトの処理に紐づく複雑さが低減されることが理解されるであろう。

【0048】

本明細書で使用される「モルフォロジー処理」は、当該技術分野において既知の用語を指し、好ましくは、画像のピクセルが、画像に表されるオブジェクトの形状に基づいて加工される画像処理技術として理解されるべきものである。さらに、モルフォロジー処理は、オブジェクトの形状を検出するために使用される構造的要素、例えばスライディングウィンドウを採用し、そして、その後、検出されたオブジェクトに紐づくピクセルを加工することができる。「構造的要素」は、本明細書で使用される場合、当該技術分野において既知の用語を指し、それは、好ましくは、モルフォロジー処理を行うために使用される、所定の形状、例えば矩形を有するテンプレートとして理解されるべきものである。

【0049】

本明細書で使用される「膨張」又は「モルフォロジー膨張」は、当該技術分野において既知の用語を指し、好ましくは、画像内で検出されたオブジェクトの境界に対してピクセルが追加される操作として理解されるべきである。

【0050】

好ましい実施態様によれば、ＤＬＭ抽出画像によって処理することは、当該膨張ステップの前に、以下のステップを更に備える。
・抽出画像をグレースケール画像に変換するステップ；
・適応ガウス法によってグレースケール画像に２値化を適用するステップ。
ここで、当該膨張ステップは、当該２値化グレースケール画像に対して行われる。

【0051】

好ましい実施態様によれば、抽出画像を処理することは、当該膨張ステップの後に、以下のステップを更に備える。
・当該膨張ステップによる膨張画像中の膨張オブジェクトのアウトラインを取得するステップ；
・画像を含むアウトラインを膨張するステップ；及び
・適応ガウス法によって、画像を含む膨張アウトラインに２値化を適用するステップ。

【0052】

特に好ましい実施態様によれば、抽出画像を処理することは、以下のステップを備える。
・抽出画像をグレースケール画像に変換するステップ；
・適応ガウス法によってグレースケール画像に２値化を適用するステップ；
・２値化グレースケール画像を膨張するステップ；
・膨張閾値化グレースケール画像中の膨張オブジェクトのアウトラインを得るステップ；
・画像を含むアウトラインを膨張するステップ；及び
・適応ガウス法によって、画像を含む膨張アウトラインに２値化を適用するステップ。

【0053】

「グレースケール画像」は、本明細書で使用される場合、当技術分野で既知の用語を指し、好ましくは、グレーカラーの異なるシェードを有するピクセルを含む単色画像として理解されるべきである。異なるシェードのグレーカラーは、例えば、黒色が最大の割合である一方で白色が最小の割合である暗いシェードのグレーカラー、及び黒色が最小の割合である一方で白色が最大の割合である明るいシェードのグレーカラーなどのような、変化した割合の黒色及び白色の組み合わせによって形成されていることが理解されよう。抽出画像のグレースケール画像へのこのような変換は、コンピュータビジョンベースの画像処理技術、例えば、膨張及び収縮などのモルフォロジー処理を採用することなどのようによって、カラー画像の処理中に生じる場合がある複雑さを最小限にする。グレースケール画像はまた、ＲＧＢ（赤、緑、青）画像と比較して、画像のより少ないピクセル情報に紐づき、受信画像のグレースケール画像への変換は、その高速処理などのように、処理において更に助けとなる。

【0054】

本明細書で使用される「２値化」は、当該技術分野において既知の用語を指し、それは、好ましくは、画像、例えばグレースケール画像のピクセルを２つのグループに分類して、その２色のみを有する２値画像を得ることと理解すべきであり、ピクセルは、閾値強度値に基いて分類される。閾値強度値より小さい強度を有するピクセル（グレーの明るいシェードに紐づくピクセルなどのような）は、第１のグループに分類され、かつ閾値強度値より大きい強度を有するピクセル（グレーの暗いシェードに紐づくピクセルなどのような）は、第２のグループに分類される。その結果として、様々なシェードのグレーのピクセルを有するグレースケール画像は、それぞれ黒色と白色のみを有する２値化グレースケール画像に変換され、黒色を有するピクセルは、閾値強度値より小さい全ての強度値に対するグレースケール画像のピクセルに対応し、白色を有するピクセルは閾値強度値より大きい全ての強度値に対するグレースケール画像のピクセルに対応する。さらに、画像、例えばグレースケール画像の２値化を行うことにより、空白に紐づく２値化グレースケール画像の背景が、表形式データのテキスト及びグリッド構造に紐づく２値化グレースケール画像の前景から分離されるように、２値化グレースケール画像を分ける。

【0055】

「適応ガウス法」は、本明細書で使用される場合、当該技術分野において既知の用語を指し、好ましくは、所与のピクセルを第１のグループ又は第２のグループに分類するために、所与のピクセルに近接するピクセル（隣接するピクセルなどのような）の強度値を採用する２値化法として理解されるべきである。さらに、適応ガウス法は、所与のピクセルに近接するピクセルの強度値の加重和と、所与のピクセルからの近接ピクセルの距離とを考慮して、所与のピクセルを第１のグループ又は第２のグループに分類する。加えて、適応ガウス技法は、画像、例えばグレースケール画像、における変動に基づいて（グレースケール画像の背景における変動に基づくなどのような）、画像、例えばグレースケール画像を複数のサブ画像に分けて、そして続いて、サブ画像内の所定のピクセルに近接したピクセルの強度値の加重平均及び一定値に基づいて、各サブ画像に対する動的閾値強度値を考慮する。動的閾値強度値を考慮することによって、すなわち適応ガウス技法を採用することによって、画像、例えばグレースケール画像の２値化処理を行うことは、２値化画像に紐づく明瞭性及び正確性を改善することを可能にすることが理解されるであろう。

【0056】

好ましい実施態様によれば、ＤＬＭによる抽出画像を処理することは、少なくとも当該膨張ステップの後に、収縮ステップを更に備える。最も好ましくは、ＤＬＭによる抽出画像を処理することは、行われた各膨張ステップの後に、収縮ステップを更に備える。

【0057】

「収縮」又は「モルフォロジー収縮」は、本明細書で使用される場合、当該技術分野において既知の用語を指し、好ましくは、画像内のオブジェクトに紐づくピクセルの最外層を除去することなどのようによって、画像内で検出されたオブジェクトの境界からピクセルを除去する操作として理解されるべきものである。グリッドレス表画像中のオブジェクトを引き続いてモルフォロジー的に膨張及び収縮することによって、当該オブジェクトの処理に紐づく複雑さが更に低減される。

【0058】

ＤＬＭ処理された抽出画像によっての表グリッド画像を決定するために、本発明の単純な実施態様は、生成器ニューラルネットワーク（ＧＮＮ）及び識別器ニューラルネットワーク（ＤＮＮ）を備える条件付き生成敵対的ネットワーク（ｃＧＡＮ）を訓練することを更に提供する。

【0059】

生成敵対的ネットワーク（ＧＡＮ）は、教師なし機械学習の一分野であり、２つのニューラルネットワーク、すなわちＧＮＮ及びＤＮＮがゼロサムゲームのフレームワークで互いに競合するシステムによって実装される。２つのニューラルネットワークは作成され、それらの相互の競争を通じて学習が行われる（すなわち、ネットワークが訓練される）。１つ目のニューラルネットワークは生成器系として実装され、生成器ニューラルネットワーク（ＧＮＮ）と呼ばれる。第二のニューラルネットワークは識別器系として実装され、識別器ニューラルネットワーク（ＤＮＮ）と呼ばれる。ＧＮＮはランダムな入力から始まり、そして合成画像又は偽画像を生成することを試みる。ＤＮＮは、ＧＮＮからの合成画像とともに、実際に近い画像を受信する。したがって、ＤＮＮはＧＮＮから受信した画像が本物か又は合成画像（すなわち、偽物）かの予測を示す２値判定を出力する。ＤＮＮが実画像と合成画像との識別を向上させるに連れて、ＧＮＮはＤＮＮを欺くための画像を生成することを向上させる。ＧＮＮとＤＮＮは、それぞれに紐づく損失関数を最小化することによって、反復的に訓練される。例えば、ＧＮＮがＤＮＮを騙せなくなったとき、平衡に達する。ドメイン知識を明示的に含める必要はない。画像の特徴は自動的に学習される。ＧＮＮの損失関数は学習され、かつ事前に定義されない。条件付きＧＡＮ（ＣＧＡＮ）では、ランダムな入力からサンプルを生成する代わりに、ＧＮＮが入力画像を条件とした出力画像を生成する。このようなシステムは、その後、入力画像空間から出力画像空間又は生成画像空間へのマッピングを学習するために訓練することができる。この訓練過程は、マッピングを決定する複数のパラメータの最適な値のセットを学習することからなる。言い換えれば、マッピングは、調整可能であり、トレーニングサンプルのセットに基づいて学習されるパラメータを有する関数マッピングとして考えることができる。

【0060】

好ましくは、ｃＧＡＮは、ピクセルトゥピクセル（ｐｉｘ２ｐｉｘ）ＧＡＮである。ｐｉｘ２ｐｉｘモデルは、出力画像の生成が、入力、この場合、ＤＬＭによる抽出画像の処理された、すなわち、膨張した、画像、を条件とするｃＧＡＮの一タイプである。ＤＮＮはそのような処理画像とターゲット画像の両方を提供され、かつターゲットが処理画像のもっともらしい変換であるか否かを判定しなければならない。ＧＮＮは敵対的損失を介して訓練され、ターゲットドメインでもっともらしい画像を生成するようＧＮＮに促す。また、ＧＮＮは生成画像と期待される出力画像との間で測定されるＬ１損失を介して更新される。この追加の損失は、ソース画像のもっともらしい翻訳を作成するようにＧＮＮモデルを促す。より好ましくは、ここで、ｐｉｘ２ｐｉｘＧＡＮのＧＮＮは、ＣＮＮである。さらに好ましくは、ｐｉｘ２ｐｉｘＧＡＮのＧＮＮが、Ｕ－ｎｅｔアーキテクチャを備えるＣＮＮである。Ｕ－ｎｅｔは、画像の高速かつ正確な区分のためのＣＮＮアーキテクチャである。

【0061】

好ましくは、ｃＧＡＮは、実ペアのセットを備えるトレーニングデータで訓練される。好ましくは、当該実ペアのセットの各セットが、トレーニング関連膨張グリッドレス表画像と対応する表グリッド画像とを含む。好ましくは、ｃＧＡＮの訓練は、複数の訓練ステップを備える。好ましくは、当該訓練ステップの各々は、以下のステップａ）又はｂ）のうちの１つと、ステップｃ）とを備える。
ａ）ＤＮＮに、実ペアのセットから得られた実ペアを提供するステップ；
ｂ）ＤＮＮに、偽のグリッド画像候補と、実ペアのセットから得られた対応するトレーニング関連膨張グリッドレス表画像とを含む生成ペアを提供するステップであって、偽のグリッド画像候補は、ＧＮＮによって、ランダムデータベクトルを使用して対応するトレーニング関連膨張グリッドレス表画像を修正することによって得られる、ステップ；
ｃ）ＤＮＮによって、ＤＮＮに提供された実ペア又は生成されたペアが、ＧＮＮによって生成されたペアであるか否かの指示を決定するステップ。
好ましくは、ここで、ｃＧＡＮの訓練は、複数のＧＮＮ及びＤＮＮの反復トレーニングサイクルを備える。好ましくは、ここで、当該複数のＧＮＮ及びＤＮＮ反復トレーニングサイクルの各々は、当該複数のトレーニングステップのうちの少なくとも１つを備える。好ましくは、ここで、各トレーニングサイクル中に、損失関数に紐づくそれぞれのＧＮＮ又はＤＮＮが、紐づく安定性サイクル述語が満たされるまで最小化される。好ましくは、ここで、ｃＧＡＮは、損失関数に紐づくＧＮＮ又はＤＮＮの組み合わせ損失を、組み合わせ損失安定性述語が満たされるまで最小化することによって、訓練される。

【0062】

好ましくは、当該実ペアのセットのトレーニング関連膨張グリッドレス表画像の各々は、グリッドレス表画像を膨張することによって得られる。

【0063】

ＤＬＭによる抽出画像と同様に、以下に論じられるように、トレーニング関連膨張グリッドレス表画像が得られるとき、本発明の性能、具体的にはｃＧＡＮの性能が向上する。

【0064】

より好ましくは、当該実ペアのセットのトレーニング関連膨張グリッドレス表画像の各々は、以下によって、得られる。
・グリッドレス表画像をグレースケール画像に変換するステップ；
・適応ガウス法によってグレースケール画像に２値化を適用するステップ；及び
・２値化グレースケール画像を膨張するステップ。

【0065】

さらに好ましくは、当該実ペアのセットのトレーニング関連膨張グリッドレス表画像の各々は、以下によって、得られる。
・グリッドレス表画像をグレースケール画像に変換するステップ；
・適応ガウス法によってグレースケール画像に２値化を適用するステップ；
・２値化グレースケール画像を膨張するステップ；
・膨張２値化グレースケール画像中の膨張オブジェクトのアウトラインを得るステップ；
・画像を含むアウトラインを膨張するステップ；及び
・適応ガウス法によって、画像を含む膨張アウトラインに２値化を適用するステップ。

【0066】

好ましくは、各々がトレーニング関連膨張グリッドレス表画像と対応する表グリッド画像を備える実ペアのセットは、以下によって得られる。
・各々がグリッドレス表を含む複数のｃＧＡＮトレーニング関連固定レイアウト電子文書を提供するステップであって、当該複数のｃＧＡＮトレーニング関連固定レイアウト電子文書が、マークアップ言語に変換可能である、ステップ；
・複数のトレーニング関連固定レイアウト電子文書を、マークアップ言語で対応する文書に変換するステップ；
・対応するマークアップ言語の文書の各々において、紐づくトレーニング関連固定レイアウト電子文書のグリッドレス表に紐づく表タグを特定するステップ；
・グリッドレス表の各々に対して、対応する特定された表タグに少なくとも部分的に基づいて、テーブルグリッド画像を決定するステップ；
・当該複数のｃＧＡＮ訓練関連固定レイアウト電子文書の各々から、グリッドレス表の画像を得るステップ；及び
・得たグリッドレス表の画像の各々を膨張するステップ。

【0067】

より好ましくは、グリッドレス表の画像は、当該提供されたｐｄｆ文書の各々から、以下によって、得られる。
・訓練されたＤＬＭによって、ｃＧＡＮトレーニング関連固定レイアウト電子文書の各々におけるグリッドレス表に対するバウンディングボックスを決定するステップ；及び
・当該ｃＧＡＮトレーニング関連固定レイアウト電子文書の各々から、決定された対応するバウンディングボックスに基づいて、グリッドレス表の画像を抽出するステップ。

【0068】

好ましい実施態様によれば、各々がトレーニング関連膨張グリッドレス表画像と対応する表グリッド画像とを備える実ペアのセットは、以下によって、得られる。
・各々がグリッドレス表を含む複数のｐｄｆ文書を提供するステップ；
・複数のｐｄｆ文書をｈｔｍｌ文書に変換するステップ；
・ｈｔｍｌ文書の各々において、紐づくｐｄｆ文書のグリッドレス表に紐づく表タグを特定するステップ；
・グリッドレス表の各々に対して、対応する特定された表タグに少なくとも部分的に基づいて、表グリッド画像を決定するステップ；
・当該ｐｄｆ文書の各々から、グリッドレス表の画像を得るステップ；及び
・得たグリッドレス表の画像の各々を膨張するステップ。

【0069】

さらに好ましい実施態様によれば、グリッドレス表の画像は、当該提供されたｐｄｆ文書の各々から、以下によって、得られる。
・訓練されたＤＬＭによって、各ｐｄｆ文書中のグリッドレス表のバウンディングボックスを決定するステップ；及び
・当該ｐｄｆ文書の各々から、決定された対応するバウンディングボックスに基づいて、グリッドレス表の画像を抽出するステップ。

【0070】

ＤＬＭのトレーニングデータと同様に、表タグを得るためのマークアップ言語の使用は、実装が容易であり、かつ電子文書中のグリッドレス表の不可視グリッドの位置に関する定性的情報を提供する。この不可視グリッドの位置情報から、グリッドレス表の表グリッド画像が容易に導出される。好ましくは、広く普及しているＨＴＭＬをマークアップ言語として使用する。

【0071】

グリッドレス表のグリッド付き画像を決定するために、本発明の単純な実施態様は、訓練されたｃＧＡＮが備える訓練されたＧＮＮによって、処理された抽出画像に対する表グリッド画像を決定するステップと、決定されたテーブルグリッド画像及び提供された固定レイアウト電子文書からのグリッドレス表を当該グリッド付き画像に結合するステップと、を更に提供する。表グリッド画像及びグリッドレス表は、画像の統合又は画像の一方を他方に重畳するなどのような、当該技術分野において既知の任意の技法を使用して、当該グリッド付き画像を得るために結合することができる。使用する技術は、本発明を移植する際に使用される画像のファイルフォーマットに依存してもよく、又は依存しなくてもよい。

【0072】

あらゆる機械学習技術（ＭＬＴ）の場合と同様に、生成された出力の品質は、ＭＬＴモデルが訓練されるトレーニングデータの品質に大きく依存する。訓練されたｃＧＡＮの場合、トレーニングデータの不足は、不十分な又は破損した決定された表グリッド画像が生じる場合、又は生じない場合がある。このような不十分な又は破損した決定された表グリッド画像及びグリッドレス表をグリッド付き画像で結合することは、処理及び／又は構文解析に支障をきたす場合、又は支障をきたさない場合がある。不十分な又は破損した決定された表グリッド画像の品質を向上するために、当技術分野で知られている画像復元技術を使用することができる。

【0073】

好ましい実施態様によれば、本発明は、各々がトレーニング関連表グリッド画像と対応する破損表グリッド画像を含むトレーニングペアを備えるトレーニングデータで人工ニューラルネットワーク（ＡＮＮ）を訓練するステップを更に備える。好ましくは、ここで、ＡＮＮは、オートエンコーダである。好ましい実施態様によれば、本発明は、訓練されたＡＮＮが構成した訓練されたＧＮＮ決定表グリッド画像によって、破損表グリッド画像から復元表グリッド画像を決定するステップを更に備える。好ましくは、ここで、決定された復元表グリッド画像、及び提供された固定レイアウト電子文書からのグリッドレス表が、グリッドレス表のグリッド付き画像に結合される。

【0074】

実施例

【0075】

本発明は、本発明を更に例示する以下の非限定的な実施例によって更に説明され、これらは、本発明の範囲を限定することを意図せず、また解釈されるべきでもない。

【0076】

実施例１：文書の構文解析

【0077】

本実施例は、本発明によるワークフローの一般的な概要に係るものである。図１を参照する。

【0078】

図１は、本発明の全体的なワークフローの概要を概略的に示している。このワークフローは、グリッドレス表とそれに紐づく文書の処理を備える。本実施例によれば、提供されたグリッドレス表を含む固定レイアウト電子文書（１）は、ＰＤＦ文書（１′）であり、これは、画像ファイル（１′′）に変換される。この画像ファイルは、訓練されたＣＮＮ（２）に供給される。当該ＤＬＭの訓練については、実施例２で論じられる。この訓練されたＣＮＮを使用して、グリッドレス表の画像（３）が抽出され、その後、少なくとも膨張ステップ（４）を行うことによって処理される。抽出画像の処理は、実施例４で論じられる。処理された抽出画像（５）は、訓練されたＧＡＮ（６）が備える訓練されたＧＮＮに供給される。当該ＧＡＮ（６）の訓練は、実施例３で論じられる。訓練されたＧＮＮを使用して、処理された抽出画像に対する表グリッド画像（７）が決定される。その後、グリッドレス表の抽出画像に表グリッド画像を重畳し（８）、グリッドレス表のグリッド付き画像を得る（９）。このグリッド付き画像はＯＣＲツールに供給され（１０）、グリッドレス表中の表形式情報をワープロ可能な形式で得る（１１）。

【0079】

実施例２：ＤＬＭの訓練

【0080】

本実施例は、ＤＬＭ、特にＣＮＮの訓練に係るものである。図２～図４を参照する。

【0081】

図２及び図３は、ＤＬＭを訓練するためのトレーニングデータの取得を図示する。トレーニングデータは、複数のトレーニング関連電子文書（１）に関するものであり、各々は、グリッドレストレーニング表（１２）と、トレーニング表のバウンディングボックスを示すそれに紐づくラベル（１３）とを含む。そのようなトレーニングデータでＤＬＭを訓練することにより、訓練されたＤＬＭによって、当該固定レイアウト電子文書（１）に中のグリッドレス表（１２）のバウンディングボックス（１５）を決定することができる。

【0082】

本実施例によれば、ＤＬＭはＣＮＮであり、具体的には、一般に利用可能なツールであるＹＯＬＯをベースとしたものである。ＹＯＬＯは、画像内の検出されたオブジェクトの周りにバウンディングボックスを描画する強力なニューラルネットワークである。Ｄａｒｋｎｅｔは、ニューラルネットワークの訓練に使用されるオープンソースフレームワークであり、ＹＯＬＯのベースとして機能する。本実施例では、ＹＯＬＯＶ３ネットワークを使用して、グリッドレス表を特定する。

【0083】

ＹＯＬＯＶ３ネットワークを訓練するために、まず画像ベースのＰＤＦ文書をＨＴＭＬ出力に変換した。その後、ＨＴＭＬコンテンツを細切れにし、表を構文解析した。ＨＴＭＬのソースコードからテーブルタグ、例えば＜ｔｄ＞を検出し、ペイントした。これは例えば図２に見られるように、表の座標がＰＤＦ文書に存在することを可能にし、それによってＹＯＬＯＶ３に供給されるトレーニングセットを形成した。この情報から、テーブルのｘ，ｙ座標並びに高さ及び幅が決定された。

【0084】

ＹＯＬＯＶ３は、損失関数としてＩＯＵとＢＣＥを使用し、かつオブジェクトの位置特定にはロジスティック回帰を使用する。ＩＯＵは、交差点の領域を２つのボックスの和の領域で割った値として計算することができる。ＩＯＵは０以上１以下でなければならない。バウンディングボックスを予測できるようにするために、ＩＯＵは予測されたバウンディングボックスとグランドトゥルースのバウンディングボックスの間でおよそ１である必要がある。現在、セルは画像の左上から（ｃｘ，ｃｙ）だけオフセットしており、バウンディングボックスは先に幅Ｐｗ，高さＰｈを有する。

【0085】

ＹＯＬＯＶ３ネットワークの予測は以下のように対応する。

【数1】

【0086】

ＹＯＬＯＶ３ネットワークの損失関数は以下のように示される。

【数2】

【0087】

図４は、例えば画像中のグリッドレス表のバウンディングボックスを決定するためのローカライズ予測の反復を図示する。訓練中、グリッドレス表のバウンディングボックスのグランドトゥルース（１６）との差が述語を満たすまで、バウンディングボックス予測（１５′，１５′′，１５′′′）が繰り返し修正される。

【0088】

実施例３：ＧＡＮの訓練

【0089】

本実施例は、ＧＡＮ、特にｃＧＡＮの訓練に係るものである。図５から図１０を参照する。

【0090】

図５は、ＧＡＮアーキテクチャの一般的な概観を図示する。ＧＡＮは、２つのニューラルネットワーク、すなわちＧＮＮ（１４）及びＤＮＮ（２１）がゼロサムゲームのフレームワークで互いに競合するシステムによって実装される。２つのニューラルネットワークは作成され、相互の競争を通じて学習が行われる（すなわち、ネットワークが訓練される）。第１のニューラルネットワークは生成器系として実装され、生成器ニューラルネットワーク（ＧＮＮ）と呼ばれる。第２のニューラルネットワークは識別器系として実装され、識別器ニューラルネットワーク（ＤＮＮ）と呼ばれる。ＧＮＮはランダムな入力（１７）から始まり、合成画像又は偽画像を生成することを試みる（１８）。ＤＮＮは、ＧＮＮからの合成画像とともに、実際に近い画像を受信する（１９；２０）。したがって、ＤＮＮは、ＧＮＮから受信した画像が本物又は偽物かの予測を示す２値判定を出力する（２２）。ＤＮＮが実画像と合成画像との識別力を向上させるにつれて、ＧＮＮはＤＮＮを欺くための画像を生成する能力を向上させる。ＧＮＮは、それぞれに紐づく損失関数を最小化することによって、訓練される。ＧＮＮの損失関数は学習され、事前に定義されない。ＤＮＮはそれぞれに紐づく損失関数を最小化することによって、訓練される（２３）。ＧＮＮ及びＤＮＮは、それぞれに紐づく損失関数を最小化することによって、繰り返し訓練される。例えば、ＧＮＮがＤＮＮを欺くことができなくなったとき、平衡に達する。ドメイン知識を明示的に含める必要はない。画像特徴は自動的に学習される。

【0091】

本実施例によれば、ＧＡＮはＰａｔｃｈＧＡＮアーキテクチャを使用する。ＤＮＮの損失関数としてバイナリクロスエントロピーの手法を利用した。さらに、モデルを訓練するために、ＹＯＬＯＶ３の出力画像（例２）をシミュレートし、それによってグリッドレス表上の座標情報を提供した。これらの画像はコンピュータビジョンを使用して膨張する前処理であり、実画像としてＤＮＮに渡す一方で、ＧＮＮの出力画像は偽画像として渡す。ＤＮＮの訓練可能なパラメータはｆａｌｓｅとし、損失関数はＢｉｎａｒｙ Ｃｒｏｓｓ Ｅｎｔｒｏｐｙを使用する。最後に、全画像は、損失をＢｉｎａｒｙ Ｃｒｏｓｓ ＥｎｔｒｏｐｙとＭｅａｎ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒに設定したＧＡＮに渡される。本実施例によるＧＡＮはｃＧＡＮであり、そしてそれゆえに、その入力に条件付けされる。ＧＡＮ全体の損失関数は、生成器損失関数及び識別器損失関数を構成する。識別器は、実画像及び生成画像をパッチに還元し、パッチごとにエントロピー損失を計算する。本実施例ではパッチＧＡＮアーキテクチャを使用しているので、ＧＡＮ全体の損失関数は以下に対応する。

【数3】

【0092】

図６から図１０は、ＧＡＮを使用して抽出されたグリッドレス表に対する表グリッド予測を図示する。図６は、グリッドレス表（３）の膨張画像である。図７はＧＡＮの出力である。この出力は、破損したグリッド画像（７′）を構成する。この破損したグリッド画像は、画像復元技術により復元することができる。こうして、復元された表グリッド画像（７′′）を得ることができる。当該復元された表グリッド画像は、グリッドレス表のグリッド付き画像（９）を得るために、復元されたテーブルグリッド画像と重畳することができる。このグリッド付き画像は、ＯＣＲを使用して構文解析し、グリッドレス表の単語可読情報（１１）を得ることができる。

【0093】

実施例４：画像の膨張

【0094】

本実施例は、画像膨張の前後の処理に関するものである。図１１から図１５を参照する。

【0095】

図１１から図１５は、グリッドレス表の処理を向上するための、膨張の前後の好ましい画像処理ステップを図示する。元のカラー画像（２４）は、グレースケール画像に変換される。変換後、静的な閾値は使用されず、かつ、すべての文書が異なるフォントスタイル、フォントサイズ、インデント、カリグラフィーなどを維持するので、適応２値化がグレースケール画像に適用される。このように、２値化グレースケール画像（２５）が得られる。この画像は、テーブルヘッダーフォントを強調している。また、これらのステップは、画像ピクセルの閾値を動的に推論するのに役立つ。２値化値は、ガウス窓を使用する近傍値の加重和を使用して計算される。次に、２値化グレースケール画像を、膨張及び収縮する。このように、２値化グレースケール画像の膨張画像（２６）が得られる。収縮及び拡張のために、画像と構造化要素の２つの入力が必要である。構造化要素はカーネルと呼ばれる。膨張では、カーネルは畳み込みと最大プーリングを行い、それによってテキストデータによってカバーされる領域を拡大する。収縮では、カーネルが全く逆の操作を行う。つまり、畳み込みと最小プーリング計算し、外観におけるテキストデータを縮小する。膨張ステップの後、前の膨張ステップの膨張画像における膨張オブジェクトのアウトライン（２７）が得られる。その後、画像を含むアウトラインに膨張を適用し、画像を含む膨張アウトラインを再度２値化し、画像を含む２値化膨張外アウトラインを得る（２８）。

【0096】

本発明は、先に説明したいかなる実現形態にも制限されず、かつ添付の特許請求の範囲の見直しせずに、提示された製作例にいくつかの変更を加えることができると想定される。本発明による方法は、本発明の範囲から逸脱することなく、多くの異なる方法で実現され得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【国際調査報告】