特開 2023-10805 ドキュメント情報抽出モデルのトレーニングおよびドキュメント情報の抽出のための方法、装置、電子機器、記憶媒体並びにコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023010805

(43)【公開日】2023-01-20

(54)【発明の名称】ドキュメント情報抽出モデルのトレーニングおよびドキュメント情報の抽出のための方法、装置、電子機器、記憶媒体並びにコンピュータプログラム

(51)【国際特許分類】

   G06F 16/90 20190101AFI20230113BHJP

   G06F 16/951 20190101ALI20230113BHJP

【ＦＩ】

G06F16/90 100

G06F16/951

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

【外国語出願】

【公開請求】

(21)【出願番号】P 2022181932

(22)【出願日】2022-11-14

(31)【優先権主張番号】202210558415.5

(32)【優先日】2022-05-20

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】呉思瑾

(72)【発明者】

【氏名】劉▲ハン▼

(72)【発明者】

【氏名】胡騰

(72)【発明者】

【氏名】馮仕▲クン▼

(72)【発明者】

【氏名】陳永鋒

(57)【要約】

【課題】ストリーム式ドキュメント情報抽出機能と固定レイアウト式ドキュメント情報抽出機能を統一構造のモデルに統合でき、モデル情報抽出効果を維持しながらモデルの汎用性を高め、プライベート化する際のコストを削減できる方法を提供する。
【解決手段】予め設定された質問に対応する回答がラベル付けされた固定レイアウト式ドキュメントのトレーニングデータとストリーム式ドキュメントのトレーニングデータとを含むトレーニングデータと、ドキュメント情報抽出モデルを取得するステップと、トレーニングデータから少なくとも１つの特徴を抽出するステップと、少なくとも１つの特徴を融合して融合特徴を得るステップと、予め設定された質問、融合特徴とトレーニングデータをドキュメント情報抽出モデルに入力して予測結果を得るステップと、予測結果と回答とに基づいてドキュメント情報抽出モデルのネットワークパラメータを調整するステップとを含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

ドキュメント情報抽出モデルのトレーニングのための方法であって、
予め設定された質問に対応する回答がラベル付けされたトレーニングデータとドキュメント情報抽出モデルを取得するステップであって、前記トレーニングデータは、固定レイアウト式ドキュメントのトレーニングデータとストリーム式ドキュメントのトレーニングデータとを含む、ステップと、
前記トレーニングデータから少なくとも１つの特徴を抽出するステップと、
前記少なくとも１つの特徴を融合して融合特徴を得るステップと、
予め設定された質問、前記融合特徴および前記トレーニングデータをドキュメント情報抽出モデルに入力して予測結果を得るステップと、
前記予測結果および前記回答に基づいて、前記ドキュメント情報抽出モデルのネットワークパラメータを調整するステップと、
を含む方法。

【請求項2】

前記予め設定された質問に対応する回答がラベル付けされたトレーニングデータを取得するステップは、
Ｗｅｂページをクロールして解析することにより、Ｗｅｂページのテキストコンテンツと対応するキー値ペア情報を取得するステップと、
前記テキストコンテンツと対応するキー値ペア情報とに基づいて、予め設定された質問に対応する回答がラベル付けされたストリーム式ドキュメントのトレーニングデータを構築するステップと、
を含む請求項１に記載の方法。

【請求項3】

前記予め設定された質問に対応する回答がラベル付けされたトレーニングデータを取得するステップは、
ストリーム式ドキュメントのトレーニングデータと固定レイアウト式ドキュメントセットを取得するステップと、
前記固定レイアウト式ドキュメントセットにおけるテキストコンテンツをクリアして、ドキュメント構造を保持するステップと、
前記ストリーム式ドキュメントのトレーニングデータを前記ドキュメント構造に埋め込んで固定レイアウト式ドキュメントのトレーニングデータを生成するステップと、
を含む請求項１に記載の方法。

【請求項4】

前記トレーニングデータから少なくとも１つの特徴を抽出するステップは、
ストリーム式読み出し順序情報、テキスト文字の空間位置情報、テキストセグメンテーション情報およびドキュメントタイプのうちの少なくとも１つを、前記トレーニングデータから抽出するステップを含む請求項１に記載の方法。

【請求項5】

ドキュメント情報の抽出のための方法であって、
抽出すべきドキュメント情報を取得するステップと、
前記ドキュメント情報から少なくとも１つの特徴を抽出するステップと、
前記少なくとも１つの特徴を融合して融合特徴を得るステップと、
予め設定された質問、前記融合特徴および前記ドキュメント情報を、請求項１～４のいずれか１項に記載の方法によってトレーニングされたドキュメント情報抽出モデルに入力して回答を得るステップと、
を含む方法。

【請求項6】

ドキュメント情報抽出モデルのトレーニングのための装置であって、
予め設定された質問に対応する回答がラベル付けされたトレーニングデータとドキュメント情報抽出モデルを取得するように構成される取得ユニットであって、前記トレーニングデータは、固定レイアウト式ドキュメントのトレーニングデータとストリーム式ドキュメントのトレーニングデータとを含む、取得ユニットと、
前記トレーニングデータから少なくとも１つの特徴を抽出するように構成される抽出ユニットと、
前記少なくとも１つの特徴を融合して融合特徴を得るように構成される融合ユニットと、
予め設定された質問、前記融合特徴および前記トレーニングデータをドキュメント情報抽出モデルに入力して予測結果を得るように構成される予測ユニットと、
前記予測結果および前記回答に基づいて、前記ドキュメント情報抽出モデルのネットワークパラメータを調整するように構成される調整ユニットと、
を備える装置。

【請求項7】

前記取得ユニットは、さらに
Ｗｅｂページをクロールして解析することにより、Ｗｅｂページのテキストコンテンツと対応するキー値ペア情報を取得し、
前記テキストコンテンツおよび対応するキー値ペア情報に基づいて、予め設定された質問に対応する回答がラベル付けされたストリーム式ドキュメントのトレーニングデータを構築するように構成される請求項６に記載の装置。

【請求項8】

前記取得ユニットは、さらに
ストリーム式ドキュメントのトレーニングデータと固定レイアウト式ドキュメントセットを取得し、
前記固定レイアウト式ドキュメントセットにおけるテキストコンテンツをクリアして、ドキュメント構造を保持し、
前記ストリーム式ドキュメントのトレーニングデータを前記ドキュメント構造に埋め込んで固定レイアウト式ドキュメントのトレーニングデータを生成するように構成される請求項６に記載の装置。

【請求項9】

前記抽出ユニットは、さらに
ストリーム式読み出し順序情報、テキスト文字の空間位置情報、テキストセグメンテーション情報およびドキュメントタイプのうちの少なくとも１つを、前記トレーニングデータから抽出するように構成される請求項６に記載の装置。

【請求項10】

抽出すべきドキュメント情報を取得するように構成される取得ユニットと、
前記ドキュメント情報から少なくとも１つの特徴を抽出するように構成される抽出ユニットと、
前記少なくとも１つの特徴を融合して融合特徴を得るように構成される融合ユニットと、
予め設定された質問、前記融合特徴および前記ドキュメント情報を、請求項６～９のいずれか１項に記載の装置によってトレーニングされたドキュメント情報抽出モデルに入力して回答を得るように構成される予測ユニットと、
を備えるドキュメント情報の抽出のための装置。

【請求項11】

少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を備える電子機器であって、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な指令が格納され、前記指令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに請求項１～４のいずれか１項に記載の方法を実行させる電子機器。

【請求項12】

コンピュータに請求項１～４のいずれか１項に記載の方法を実行させるコンピュータ指令が記憶されている非一時的コンピュータ読み取り可能な記憶媒体。

【請求項13】

プロセッサによって実行されると、請求項１～４のいずれか１項に記載の方法を実現するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人工知能の分野に関し、特に自然言語処理の分野に関し、具体的にドキュメント情報抽出モデルのトレーニングおよびドキュメント情報の抽出のための方法、装置、電子機器、記憶媒体並びにコンピュータプログラムに関する。

【背景技術】

【0002】

実際のユーザビジネスシーンでは、テキストにラベルを付けるコストは往々にして非常に高価である。したがって、モデルのゼロサンプルまたはスモールサンプルでの学習能力は非常に重要で、情報抽出モデルが複数の異なる垂直分野のアプリケーションシーンで広く使用およびデプロイできるか否かがこれによって決まる。

【0003】

同時に、ユーザからの少量のラベル付きデータには、ストリーム式ドキュメント（＊．ｄｏｃ、＊．ｄｏｃｘ、＊．ｗｐｓ、＊．ｔｘｔ、＊．ｅｘｃｅｌなど）と固定レイアウト式ドキュメント（＊．ｐｄｆ、＊．ｊｐｇ、＊．ｊｐｅｇ、＊．ｐｎｇ、＊．ｂｍｐ、＊．ｔｉｆなど）が同時に含まれている可能性がある。ユーザから与えられたラベル付きデータをできるだけ利用するためには、ユーザのニーズに応じてモデルを充分にトレーニングするため、ストリーム式ドキュメント情報の抽出機能と固定レイアウト式ドキュメント情報の抽出機能を統一構造のモデルに統合する必要がある。

【0004】

先行技術では、ドキュメント情報抽出のプロセスにおいて、情報抽出を２段階に分けるため、エラーの累積を招き、所要時間が長く、視覚とセマンティックの情報を充分に組合せることができない。トレーニングデータの全部を充分に利用できず、より多くのラベルを必要とし、人件費がかかってしまう。

【発明の概要】

【0005】

本開示は、ドキュメント情報抽出モデルのトレーニングおよびドキュメント情報の抽出のための、方法、装置、電子機器、記憶媒体並びにコンピュータプログラムを提供する。

【0006】

本開示の第１態様において、ドキュメント情報抽出モデルのトレーニングのための方法であって、予め設定された質問に対応する回答がラベル付けされたトレーニングデータとドキュメント情報抽出モデルを取得するステップと、前記トレーニングデータから少なくとも１つの特徴を抽出するステップと、前記少なくとも１つの特徴を融合して融合特徴を得るステップと、予め設定された質問、前記融合特徴および前記トレーニングデータをドキュメント情報抽出モデルに入力して予測結果を得るステップと、前記予測結果および前記回答に基づいて、前記ドキュメント情報抽出モデルのネットワークパラメータを調整するステップと、を含み、前記トレーニングデータは、固定レイアウト式ドキュメントのトレーニングデータとストリーム式ドキュメントのトレーニングデータとを含む方法を提供する。

【0007】

本開示の第２態様において、ドキュメント情報の抽出のための方法であって、抽出すべきドキュメント情報を取得するステップと、前記ドキュメント情報から少なくとも１つの特徴を抽出するステップと、前記少なくとも１つの特徴を融合して融合特徴を得るステップと、予め設定された質問、前記融合特徴および前記ドキュメント情報を、第１態様のいずれか１項に記載の方法によってトレーニングされたドキュメント情報抽出モデルに入力して回答を得るステップと、を含む方法を提供する。

【0008】

本開示の第３態様において、ドキュメント情報抽出モデルのトレーニングのための装置であって、予め設定された質問に対応する回答がラベル付けされたトレーニングデータとドキュメント情報抽出モデルを取得するように構成される取得ユニットと、前記トレーニングデータから少なくとも１つの特徴を抽出するように構成される抽出ユニットと、前記少なくとも１つの特徴を融合して融合特徴を得るように構成される融合ユニットと、予め設定された質問、前記融合特徴および前記トレーニングデータをドキュメント情報抽出モデルに入力して予測結果を得るように構成される予測ユニットと、前記予測結果および前記回答に基づいて、前記ドキュメント情報抽出モデルのネットワークパラメータを調整するように構成される調整ユニットとを備え、前記トレーニングデータは、固定レイアウト式ドキュメントのトレーニングデータとストリーム式ドキュメントのトレーニングデータとを含む装置を提供する。

【0009】

本開示の第４態様において、抽出すべきドキュメント情報を取得するように構成される取得ユニットと、前記ドキュメント情報から少なくとも１つの特徴を抽出するように構成される抽出ユニットと、前記少なくとも１つの特徴を融合して融合特徴を得るように構成される融合ユニットと、予め設定された質問、前記融合特徴および前記ドキュメント情報を、第２態様のいずれか１項に記載の装置によってトレーニングされたドキュメント情報抽出モデルに入力して回答を得るように構成される予測ユニットと、を備えるドキュメント情報の抽出のための装置を提供する。

【0010】

本開示の第５態様において、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されるメモリとを備える電子機器であって、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な指令が格納され、前記指令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに第１態様のいずれか１項に記載の方法を実行させる電子機器を提供する。

【0011】

本開示の第６態様において、コンピュータ指令が記憶されている非一時的コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ指令はコンピュータに第１態様のいずれか１項に記載の方法を実行させるために用いられる非一時的コンピュータ読み取り可能な記憶媒体を提供する。

【0012】

本開示の第７態様において、プロセッサによって実行されると、第１態様のいずれか１項に記載の方法を実現するコンピュータプログラムを提供する。

【0013】

本開示の実施形態で提供するドキュメント情報抽出モデルのトレーニングおよびドキュメント情報の抽出のための方法および装置は、自然言語処理技術を利用して企業顧客のドキュメント情報抽出のニーズに機能させ、ストリーム式ドキュメントと固定レイアウト式ドキュメントの情報抽出機能を統合した。新しい特徴を導入して、ストリーム式ドキュメントと固定レイアウト式ドキュメントをマークして区別し、モデル情報の抽出効果を保持すると同時にモデルの汎用性を高めることができ、プライベート化する際のコストを削減した。同時にドキュメントの２次元空間のレイアウト情報を導入することで、固定レイアウト式ドキュメント情報の抽出効果が向上された。

【0014】

このセクションに記載されている内容は、本開示の実施形態のかなめとなる特徴または重要な特徴を限定することを意図したものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、下記の説明によってより理解しやすくなる。

【図面の簡単な説明】

【0015】

図面は本解決策をよりよく理解するために使用され、本開示を限定するものではない。

【図1】本開示の一実施形態を適用できる例示的なシステムアーキテクチャを示す図である。

【図2】本開示のドキュメント情報抽出モデルのトレーニングのための方法による一実施形態を示すフローチャートである。

【図3A】本開示の実施形態によるドキュメント情報抽出モデルのトレーニングのための方法の１つの適用シナリオの模式図である。

【図3B】本開示の実施形態によるドキュメント情報抽出モデルのトレーニングのための方法の１つの適用シナリオの模式図である。

【図4】本開示によるドキュメント情報の抽出のための方法の一実施形態を示すフローチャートである。

【図5】本開示の実施形態によるドキュメント情報抽出モデルのトレーニングのための装置の一実施形態の構造模式図である。

【図6】本開示の実施形態によるドキュメント情報の抽出のための装置の構造模式図である。

【図7】本開示の実施形態による電子機器を実装するために適するコンピュータシステムの構造模式図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して本開示の例示的な実施形態を説明し、ここでは理解を助けるために、本開示の実施形態の様々な詳細を記載するが、これらは単なる例示的なものに過ぎないとすべきである。従って、所属する分野の通常の技術者は、本開示の範囲および精神から逸脱することなく、本明細書に記載の実施形態の様々な変更および修正を行うことができることを認識すべきである。なお、以下の説明では、明確化および簡略化のため、公知の機能および構成については説明を省略する。

【0017】

図１は、本開示の実施形態によるドキュメント情報抽出モデルのトレーニングのための方法、ドキュメント情報抽出モデルのトレーニングのための装置、ドキュメント情報の抽出のための方法またはドキュメント情報の抽出のための装置の例示的なシステムアーキテクチャ１００を示す。

【0018】

図１に示すように、システムアーキテクチャ１００は、端末１０１、１０２、ネットワーク１０３、データベースサーバ１０４およびサーバ１０５を備えてもよい。ネットワーク１０３は、端末１０１、１０２、データベースサーバ１０４およびサーバ１０５の間に通信リンクを提供するための媒体として用いられる。ネットワーク１０３は、さまざまな接続タイプを含んでもよく、例えば、有線、無線通信リンクまたは光ファイバケーブルなどを含んでもよい。

【0019】

ユーザ１１０は、端末１０１および１０２を使用して、ネットワーク１０３を介してサーバ１０５とやりとりをし、メッセージなどを送受信するようにすることができる。端末１０１、１０２にはさまざまなクライアントアプリケーション、例えばモデルトレーニングアプリケーション、ドキュメント情報の抽出のためのアプリケーション、ショッピングアプリケーション、支払いアプリケーション、ウェブブラウザ、インスタントコミュニケーションツールなどがインストールされてもよい。

【0020】

ここでの端末１０１、１０２は、ハードウェアであってもよいし、ソフトウェアであってもよい。端末１０１、１０２がハードウェアである場合は、表示画面を有する様々な電子機器であってもよく、スマートフォン、タブレットＰＣ、電子書籍リーダ、ＭＰ３（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ，動画専門家グループオーディオレイヤ３）プレーヤ、ラップトップコンピュータおよびデスクトップコンピュータなどであってもよいが、これらに限定されない。端末１０１、１０２がソフトウェアである場合は、上記の電子機器にインストールされてもよい。複数のソフトウェアまたはソフトウェアモジュール（例えば、分散サービスを提供するためのもの）として実装されてもよく、または単一のソフトウェア若しくはソフトウェアモジュールとして実装されてもよい。ここでは具体的な限定をしない。

【0021】

データベースサーバ１０４は、様々なサービスを提供するデータベースサーバであってもよい。例えば、データベースサーバにサンプルセットを格納してもよい。サンプルセットには大量のサンプル、すなわちトレーニングデータが含まれる。ここで、サンプルは、固定レイアウト式ドキュメントのトレーニングデータとストリーム式ドキュメントのトレーニングデータを含んでもよい。このように、ユーザ１１０は、端末１０１、１０２を介して、データベースサーバ１０４に格納されているサンプルセットからサンプルを選ぶことができる。

【0022】

サーバ１０５は、様々なサービスを提供するサーバ、例えば、端末１０１、１０２に表示した各種のアプリケーションをサポートするバックエンドサーバであってもよい。バックエンドサーバは、端末１０１、１０２から送信されたサンプルセットのサンプルを用いて初期モデルをトレーニングし、トレーニング結果（例えば、生成されたドキュメント情報抽出モデル）を端末１０１、１０２に送信してもよい。これにより、ユーザは、生成されたドキュメント情報抽出モデルを用いてドキュメント情報を抽出することができる。

【0023】

同様にデータベースサーバ１０４とサーバ１０５はハードウェアであってもよいし、ソフトウェアであってもよい。これらがハードウェアである場合は、複数のサーバから構成される分散サーバクラスターとして実装されてもよく、単一のサーバとして実装されてもよい。これらがソフトウェアである場合は、複数のソフトウェアまたはソフトウェアモジュール（例えば、分散サービスを提供するためのもの）として実装されてもよく、単一のソフトウェア若しくはソフトウェアモジュールとして実装されてもよい。ここでは具体的に限定しない。データベースサーバ１０４とサーバ１０５は、分散システムのサーバ、またはブロックチェーンと組み合わされたサーバであってもよい。データベースサーバ１０４とサーバ１０５は、クラウドサーバあってもよいし、または人工知能技術を備えたインテリジェントクラウドコンピューティングサーバまたはインテリジェントクラウドホストであってもよい。

【0024】

なお、本開示の実施形態によって提供されるドキュメント情報抽出モデルのトレーニングのための方法またはドキュメント情報の抽出のための方法は、通常、サーバ１０５によって実行される。これに対応して、ドキュメント情報抽出モデルのトレーニングのための装置またはドキュメント情報の抽出のための装置も一般的にはサーバ１０５に設けられる。

【0025】

なお、サーバ１０５がデータベースサーバ１０４の関連機能を実装できる場合、システムアーキテクチャ１００の中にデータベースサーバ１０４を設けなくてもよい。

【0026】

図１中の端末、ネットワーク、データベースサーバおよびサーバの数は例示的なものに過ぎないことを理解すべきである。実装の必要に応じて、任意の数の端末、ネットワーク、データベースサーバおよびサーバを備えてもよい。

【0027】

次に、図２を参照し、本開示によるドキュメント情報抽出モデルのトレーニングのための方法の一実施形態を示すフロー２００を示している。ドキュメント情報抽出モデルのトレーニングのための方法は、以下のステップを含んでもよい。

【0028】

ステップ２０１では、予め設定された質問に対応する回答がラベル付けされたトレーニングデータとドキュメント情報抽出モデルを取得する。

【0029】

本実施形態において、ドキュメント情報抽出モデルのトレーニングのための方法の実行主体（例えば、図１に示すサーバ１０５）は、複数の方法でトレーニングデータとドキュメント情報抽出モデルを取得してもよい。例えば、実行主体は、有線接続方式または無線接続方式により、データベースサーバ（例えば、図１に示すデータベースサーバ１０４）から、格納されている既存のドキュメント情報抽出モデルとトレーニングデータを取得してもよい。別の例として、ユーザは端末（例えば、図１に示す端末１０１、１０２）を介して固定レイアウト式ドキュメントのトレーニングデータとストリーム式ドキュメントのトレーニングデータを含むトレーニングデータを収集してもよい。このように、実行主体は、端末で収集されたトレーニングデータを受信してローカルに格納することにより、サンプルセットを生成することができる。トレーニングデータには、予め設定された質問に対応する回答がラベル付けされている。例えば、質問「名前」には回答「張三」がラベル付けされる。手動でラベル付けしてもよいし、自動でトレーニングデータをラベル付けしてもよい。ストリーム式ドキュメントは自由編集をサポートしており、閲覧時にはストリーム方式でレイアウト設計や描画を行う。ストリーム式ドキュメントは一般的にメタデータ、スタイル、ブックマーク、ハイパーリンク、オブジェクト、セクション（最大の組版要素、異なるページスタイルのドキュメントコンテンツは、異なるセクションを形成する）、段落、文、並びにその他の要素および属性を含む。これらのコンテンツが特定の階層構造に従って記述すると、例えばｗｏｒｄ、ｔｘｔなどのようなストリーム式ドキュメントのフォーマットが形成される。固定レイアウト式ドキュメントとは、例えばｐｄｆ、ｊｐｇなどのような編集できないドキュメントで、すなわち固定レイアウトを有するドキュメントである。固定レイアウト式ドキュメントはウィジウィグ（ＷＹＳＩＷＹＧ）ドキュメントで、あらゆるデバイス上で表示や印刷の効果はきわめて一致している。ドキュメントの文字要素の内容、位置、スタイルなどは、ドキュメントが生成された時点ですでに固定されており、他の人はそれにいくつかのコメント、署名などの情報を追加することだけが可能であり、修正および編集することが困難であるため、異なるソフトウェア、オペレーティングシステムなどの環境においても高度な一致性を維持することができる。

【0030】

ドキュメント情報抽出モデルは、読解モデルであり、ＥＲＮＩＥ、ＢＥＲＴなどを含むが、これらに限定されない。

【0031】

ステップ２０２では、トレーニングデータから少なくとも１つの特徴を抽出する。

【0032】

本実施形態では、固定レイアウト式ドキュメントまたはストリーム式ドキュメントごとに、既存のツールにより少なくとも１つの特徴を抽出することができる。例えば、セマンティック特徴、ストリーム式読み出し順序情報、テキスト文字の空間位置情報、テキストセグメンテーション情報、ドキュメントタイプ等である。

【0033】

ストリーム式読み出し順序情報とは、左から右へ、上から下への順にテキスト文字を読み取ることを指し、固定レイアウト式ドキュメントの場合は、左から右へ、上から下への順に欄を区切り、各欄内で左から右へ、上から下への順に読み取る。

【0034】

テキスト文字の空間位置情報とは、ドキュメントの全体的なレイアウト情報を理解するための、２次元空間でのテキスト文字の位置を指す。例えば、ページ全体のすべての文字の配置位置およびフォントサイズに基づいて、タイトルがどこにあるのか、欄がどこにあるのか、テーブルがどこにあるのかなどを判断することができる。文字の２次元空間位置の表現（ｐｏｓｉｔｉｏｎ ｅｍｂｅｄｄｉｎｇ ２Ｄ）は、ｘ０、ｙ０（文字外枠の左上隅の点のｘとｙの座標）、ｘ１、ｙ１（文字外枠の右下隅の点のｘとｙの座標）、ｗ、ｈ（文字外枠の幅と高さ）の６種類がある。ｘ、ｙ、ｗ、ｈのそれぞれについてマッピングテーブルを作成し、モデルが継続的な学習を通じて、文字のｘ、ｙ、ｗ、ｈの４つの特徴に対応する表現ベクトルを学習できるようにする。

【0035】

テキストセグメンテーション情報とは、ドキュメントテキストの各段落、テーブルの各セル等の情報を指す。Ｔｅｘｔｍｉｎｄなどのような既存のツールを用いてドキュメント構造を解析し、ドキュメントテキストの各段落、テーブルの各セルなどの情報を取得し、異なる段落、異なるセルに異なるｓｅｇｍｅｎｔ ｉｄを割り当てることができる。

【0036】

ドキュメントタイプとは、ストリーム式ドキュメントおよび固定レイアウト式ドキュメントを指す。本開示で提出したモデル構造はオープンドメインの統合情報抽出モデルであり、ストリーム式ドキュメントと固定レイアウト式ドキュメントの情報抽出タスクを同時に解決する必要があるため、現在のドキュメントがストリーム式ドキュメントか固定レイアウト式ドキュメントかをモデルが認識できるように、フラグビットｔａｓｋ ｉｄが追加される。ドキュメントタイプは、ドキュメントの拡張子、またはドキュメント内のいくつかの属性情報（例えば、セクションやタイトルなど）によって特定することができる。

【0037】

以上のように、本開示で提案したモデル構造は、これら４つの入力情報を巧みに組み合わせることができるため、モデルがテキストのセマンティック情報と空間位置情報を合わせて理解できるようにし、グローバル特徴をよりうまく習得することができ、モデルのドキュメントの内容に対する全体的な理解を向上させることができる。

【0038】

ステップ２０３では、少なくとも１つの特徴を融合して融合特徴を得る。

【0039】

本実施形態において、各種の特徴のベクトルを直接加算して融合特徴を得ることができる。オプションとして、異なる特徴の重みを設定し、異なる特徴の加重合計を融合特徴とすることができる。予め異なる特徴を同じ長さのベクトルに変換することができる。

【0040】

ステップ２０４では、予め設定された質問、融合特徴およびトレーニングデータをドキュメント情報抽出モデルに入力して予測結果を得る。

【0041】

本実施形態において、トレーニングデータには、質問に対応する回答が既にラベル付けされている。ドキュメント情報抽出モデルは、ドキュメントに含まれる文字のセマンティック情報を理解できる。例えば、ある人の生年月日（すなわち質問）を抽出する場合、モデルはｘｘｘｘ年ｘｘ月ｘｘ日というフォーマットが日付情報を表していることを理解しなければならず、入力されたある人の名前に合わせて、最終的に所望の内容（すなわち回答）を正しく抽出できる。この部分には、主にテキストコンテンツの表現（Ｅｍｂｅｄｄｉｎｇ）と１次元位置情報の表現（ｐｏｓｉｔｉｏｎ ｅｍｂｅｄｄｉｎｇ １Ｄ）、すなわちストリーム式読み出し順序が含まれる。

【0042】

ドキュメント情報抽出モデルは読解モデルであり、質問とドキュメント情報を入力すると、ドキュメント情報から回答、すなわち予測結果を探し出すことができるようになっている。

【0043】

ステップ２０５では、予測結果と回答に基づいてドキュメント情報抽出モデルのネットワークパラメータを調整する。

【0044】

本実施形態では、予測結果と回答の間の距離（コサイン類似度またはユークリッド距離など）に基づいて損失値を算出し、最小平均二乗誤差損失関数を用いることができる。損失値が所定の損失閾値以上である場合、ドキュメント情報抽出モデルのネットワークパラメータを調整する必要がある。そして、トレーニングデータを新たに選択するか、元のトレーニングデータを用いてステップ２０１～２０５を繰り返し実行し、更新後の損失値を得る。損失値が所定の損失値より小さくなるまで、ステップ２０１～２０５を繰り返し実行する。

【0045】

本実施形態におけるドキュメント情報抽出モデルのトレーニングのための方法は、オープンドメイン統合ドキュメント情報抽出モデルを提案し、解決案の汎化性を高め、ストリーム式ドキュメントおよび固定レイアウト式ドキュメントの強力な情報抽出効果を同時に確保できるようになる。

【0046】

本実施形態のいくつかのオプション的な実施形態では、予め設定された質問に対応する回答がラベル付けされたトレーニングデータを取得するステップは、Ｗｅｂページをクロールおよび解析することにより、Ｗｅｂページのテキストコンテンツおよび対応するキー値ペア情報を取得するステップと、前記テキストコンテンツと対応するキー値ペア情報に基づいて、予め設定された質問に対応する回答がラベル付けされたストリーム式ドキュメントのトレーニングデータを構築するステップとを含む。例えば、百度百科事典またはウィキペディアなどのＨＴＭＬページをクロールおよび解析することによって、Ｗｅｂページのテキストコンテンツおよび対応するキー値ペア情報を取得することができる。そしてリモート監視スキームを用いて、異なる分野や異なる垂直分野上でのマッシブで、ラベル付きの純粋なドキュメント情報抽出モデルのトレーニングデータを構築することができる。

【0047】

〔例えば：Ｗｅｂページのテキストは、炭火焼き胡椒餅はグルメであり、その主な食材が生地、粗い挽肉、補助材料が香菜、脂身であり、調味料がオイスターソース、砂糖、ゴマ油などであり、このグルメは主に炭火焼きの方法で調理される。
キー値ペア：中国語名－炭火焼き胡椒餅、味－塩味、タイプ－グルメ。〕(墨付き括弧）

【0048】

キー値ペアの「キー」が質問、「値」が回答である。

【0049】

この実施形態はモデルのｚｅｒｏ－ｓｈｏｔ、ｆｅｗ－ｓｈｏｔ機能を大幅に強化し、マッシブなドキュメントデータを事前トレーニングに使用するため、追加のトレーニングデータなしで異なる分野のテキストを分析と判断でき、複数のプロジェクトで簡単に再利用できるため、人的資源と材料資源を節約できる。

【0050】

本実施形態のいくつかのオプション的な実施形態では、予め設定された質問に対応する回答がラベル付けされたトレーニングデータを取得するステップは、ストリーム式ドキュメントのトレーニングデータと固定レイアウト式ドキュメントセットを取得するステップと、前記固定レイアウト式ドキュメントセットにおけるテキストコンテンツをクリアして、ドキュメント構造を保持するステップと、前記ストリーム式ドキュメントのトレーニングデータを前記ドキュメント構造に埋め込んで固定レイアウト式ドキュメントのトレーニングデータを生成するステップとを含む。上記の方法によって、ストリーム式ドキュメントのトレーニングデータを取得してもよいし、他の自動ラベル付け方法または手動ラベル付け方法によって、ストリーム式トレーニングデータを取得してもよい。億単位の実ドキュメントのレイアウトスタイル、チャート構造などをマイニングすることにより、得られた純粋なラベル付きのテキスト情報抽出データを埋め込むことができ、マッシブなスタイル豊富なラベル付きドキュメント情報抽出トレーニングデータ、すなわち固定レイアウト式ドキュメントのトレーニングデータを取得できる。

【0051】

この実施形態はモデルのｚｅｒｏ－ｓｈｏｔ、ｆｅｗ－ｓｈｏｔ機能を大幅に強化し、マッシブなドキュメントデータを事前トレーニングに使用するため、追加のトレーニングデータなしで異なる分野のテキストを分析と判断でき、複数のプロジェクトで簡単に再利用できるため、人的資源と材料資源を節約できる。

【0052】

本実施形態のいくつかのオプション的な実施形態において、前記トレーニングデータから少なくとも１つの特徴を抽出するステップは、ストリーム式読み出し順序情報、テキスト文字の空間位置情報、テキストセグメンテーション情報およびドキュメントタイプのうちの少なくとも１つの特徴を前記トレーニングデータから抽出することを含む。この実施形態は、テキストのセマンティック情報と２次元空間位置情報を深く組み合わせて、モデルがより全面的でより多くの次元の特徴を獲得できるようにし、モデルの機能を向上させた。

【0053】

さらに図３Ａ～３Ｂを参照する。図３Ａ～３Ｂは、本実施形態によるドキュメント情報抽出モデルのトレーニングのための方法の１つの適用シナリオの概略図である。図３ａ～３ｂのアプリケーションシナリオでは、そのタスクの入力情報には、複数種の特徴が含まれている。

【0054】

１、テキストコンテンツとストリーム式読み出し順序情報
ドキュメント事前トレーニング言語モデルＥＲＮＩＥ－ｌａｙｏｕｔにより、ドキュメントに含まれる文字のセマンティック情報が理解される。例えば、ある人の生年月日を抽出したい場合、モデルはｘｘｘｘ年ｘｘ月ｘｘ日という形式が日付情報を表していることを必ず理解し、さらに入力されたその人の名前を合わせて、最終的に所望の内容を正しく抽出することができる。この部分には、主にテキストコンテンツの表現（Ｅｍｂｅｄｄｉｎｇ）と１次元位置情報の表現（ｐｏｓｉｔｉｏｎ ｅｍｂｅｄｄｉｎｇ １Ｄ）が含まれる。

【0055】

２、テキスト文字の空間位置情報
モデルは、２次元空間でのテキスト文字の位置に基づいて、ドキュメントの全体的なレイアウト情報を理解できる。例えば、ページ全体のすべての文字の配置位置およびフォントサイズから、タイトルがどこにあるか、欄がどこにあるか、テーブルがどこにあるかなどを判断することができる。文字の２次元位置の表現（ｐｏｓｉｔｉｏｎ ｅｍｂｅｄｄｉｎｇ ２Ｄ）は、ｘ０、ｙ０（文字外枠の左上隅の点のｘとｙの座標）、ｘ１、ｙ１（文字外枠の右下隅の点のｘとｙの座標）、ｗ、ｈ（文字外枠の幅と高さ）の合計６種類がある。ｘ、ｙ、ｗ、ｈのためにそれぞれマッピングテーブルが作成され、モデルが継続的な学習を通じて、文字のｘ、ｙ、ｗ、ｈの４つの特徴に対応する表現ベクトルを習得できるようにする。

【0056】

３、テキストセグメンテーション情報
モデルがテキストの内容とレイアウトを理解しやすくするために、Ｔｅｘｔｍｉｎｄなどのツールを利用してドキュメント構造を解析し、ドキュメントテキストの各段落、テーブルの各セルなどの情報を取得し、異なる段落、異なるセルに異なるｓｅｇｍｅｎｔ ｉｄを与える。

【0057】

４、ストリーム式ドキュメント、固定レイアウト式ドキュメントを区別する情報
提案したモデル構造はオープンドメインの統合情報抽出モデルであり、ストリーム式ドキュメントと固定レイアウト式ドキュメントの情報抽出タスクを同時に解決する必要があるため、現在のドキュメントがストリーム式ドキュメントか固定レイアウト式ドキュメントかをモデルが認識できるように、フラグｔａｓｋ ｉｄが追加される。

【0058】

以上のように、本開示で提出したモデル構造は、これら４つの入力情報を巧みに組み合わせることができるため、モデルはテキストのセマンティック情報と空間位置情報を合わせて理解することができるようにし、グローバル特徴をよりうまく習得して、モデルのドキュメントの内容に対する全体的な理解を向上させることができる。

【0059】

モデルの汎化性と情報抽出の精度を向上させるために、本開示ではモデルのベースとインフラストラクチャとして最先端の大規模ドキュメント事前トレーニングモデルＥＲＮＩＥ－ｌａｙｏｕｔ（ｓｔｒｕｃｔｕｒｅ）を採用してもよく、この構造により２次元空間位置情報を導入したことで、モデルが豊富なマルチモーダル特徴を習得できるようになった。

【0060】

入力されたすべての文字を順番につなぎ合わせ、テキストと情報抽出ｑｕｅｒｙには〔ＣＬＳ〕（墨付き括弧）および〔ＳＥＰ〕（墨付き括弧）などの特殊記号を用いて区切りを行う。次に、各文字の全ての各種の表示情報をそれぞれ加算し、ＥＲＮＩＥ－ｌａｙｏｕｔモデルに１つずつ入力し、ＥＲＮＩＥ－ｌａｙｏｕｔモデルに内蔵された多層ｔｒａｎｓｆｏｒｍｅｒ構造により、ドキュメントコンテンツの特徴に対してさらなる融合と抽出を行う。次に、各文字の表現を線形レイヤに入力し、ｓｏｆｔｍａｘを用いて最終的なＢＩＯ結果を得る。最終的にビタビアルゴリズムを用いて最適なグローバル回答を得る。

【0061】

さらに、本開示で提供されるドキュメント情報の抽出のための方法の一実施形態を示すフロー４００である図４を参照する。このドキュメント情報の抽出のための方法には、次のステップを含む。

【0062】

ステップ４０１では、抽出すべきドキュメント情報を取得する。

【0063】

本実施形態において、ドキュメント情報の抽出のための方法の実行主体（例えば、図１に示すサーバ１０５）は様々な方法で抽出すべきドキュメント情報を取得することができる。例えば、実行主体は、有線接続または無線接続により、データベースサーバ（例えば、図１に示すデータベースサーバ１０４）から、その中に格納されている抽出すべきドキュメント情報を取得してもよい。別の例として、実行主体は、端末（例えば、図１に示す端末１０１、１０２）または他の機器によって採集された抽出すべきドキュメント情報を取得してもよい。抽出すべきドキュメント情報は、ストリーム式ドキュメントであっても、固定レイアウト式ドキュメントであってもよい。

【0064】

ステップ４０２では、ドキュメント情報から少なくとも１つの特徴を抽出する。

【0065】

本実施形態では、ドキュメント情報はステップ２０２におけるレーニングデータに対応し、ステップ２０２で説明した方法を採用して、ドキュメント情報から少なくとも１つの特徴を抽出することができるので、ここで、その詳細な説明は省略される。

【0066】

ステップ４０３では、少なくとも１つの特徴を融合して融合特徴を得る。

【0067】

本実施形態では、ステップ３０３で説明した方法を用いて、少なくとも１つの特徴を融合して融合特徴を得ることができるので、ここでその詳細な説明は省略される。

【0068】

ステップ４０４では、予め設定された質問、融合特徴およびドキュメント情報をドキュメント情報抽出モデルに入力して回答を得る。

【0069】

本実施形態において、実行主体は、ステップ４０１で得られたドキュメント情報とステップ４０３で得られた融合特徴と予め設定された質問をドキュメント情報抽出モデルに入力して予測結果を生成することができる。予測結果はドキュメント情報から抽出した回答になる。

【0070】

本実施形態では、ドキュメント情報抽出モデルは、上記の図２の実施形態で説明した方法によって生成されたものであってもよい。具体的な生成プロセスは、図２に示される実施形態の関連説明を参照することができ、ここで、その詳細な説明は省略される。

【0071】

なお、本実施形態のドキュメント情報の抽出のための方法は、上記各実施形態で生成されたドキュメント情報抽出モデルをテストするために用いることができる。さらに、ドキュメント情報抽出モデルは、テスト結果によって継続的に最適化され得る。この方法は、上記各実施形態により生成されたドキュメント情報抽出モデルの実際の適用方法であってもよい。上記各実施形態によって生成されたドキュメント情報抽出モデルを用いてドキュメント情報の抽出を行うことは、ドキュメント情報抽出モデルの機能の向上、ドキュメント情報抽出の効率と精度の向上などに寄与し、人件費の削減に役立つ。同時に、ドキュメント情報の抽出時間を短縮することができ、ユーザにはドキュメント情報抽出による影響を感じさせることなく、ユーザ体験への影響を及ぼさない。

【0072】

更に図５を参照する。上記各図に示された方法の実現として、本開示は、ドキュメント情報抽出モデルのトレーニングのための装置の一実施形態を提供する。この装置の実施形態は、図２に示される方法の実施形態に対応し、この装置は、様々な電子機器に具体的に適用することができる。

【0073】

図５に示したように、本実施形態におけるドキュメント情報抽出モデルのトレーニングのための装置５００は、取得ユニット５０１と、抽出ユニット５０２と、融合ユニット５０３と、予測ユニット５０４と、調整ユニット５０５とを備えてもよい。ここで、取得ユニット５０１は、予め設定された質問に対応する回答がラベル付けされたトレーニングデータとドキュメント情報抽出モデルを取得するように構成され、前記トレーニングデータは固定レイアウト式ドキュメントのトレーニングデータとストリーム式ドキュメントのトレーニングデータを含む。抽出ユニット５０２は、前記トレーニングデータから少なくとも１つの特徴を抽出するように構成される。融合ユニット５０３は、前記少なくとも１つの特徴を融合して融合特徴を得るように構成される。予測ユニット５０４は、予め設定された質問、前記融合特徴および前記トレーニングデータをドキュメント情報抽出モデルに入力して予測結果を得るように構成される。調整ユニット５０５は、前記予測結果および前記回答に基づいて、前記ドキュメント情報抽出モデルのネットワークパラメータを調整するように構成される。

【0074】

本実施形態のいくつかのオプション的な実施形態では、取得ユニット５０１はさらに、百科事典のＷｅｂページをクロールして解析することにより、Ｗｅｂページのテキストコンテンツと対応するキー値ペア情報を取得し、前記テキストコンテンツおよび対応するキー値ペア情報に基づいて、予め設定された質問に対応する回答がラベル付けされたストリーム式ドキュメントのトレーニングデータを構築するように構成される。

【0075】

本実施形態のいくつかのオプション的な実施形態では、取得ユニット５０１はさらに、ストリーム式ドキュメントのトレーニングデータと固定レイアウト式ドキュメントセットを取得し、前記固定レイアウト式ドキュメントセットにおけるテキストコンテンツをクリアしてドキュメント構造を保持し、前記ストリーム式ドキュメントのトレーニングデータを前記ドキュメント構造に埋め込んで固定レイアウト式ドキュメントのトレーニングデータを生成するように構成される。

【0076】

本実施形態のいくつかのオプション的な実施形態では、抽出ユニット５０２はさらに、ストリーム式読み出し順序情報、テキスト文字の空間位置情報、テキストセグメンテーション情報およびドキュメントタイプのうちの少なくとも１つを、前記トレーニングデータから抽出するように構成される。

【0077】

次に図６を参照し、上記の各図に示された方法の実現として、本開示は、ドキュメント情報の抽出のための装置の一実施形態を提供する。この装置の実施形態は、図４に示された方法の実施形態に対応し、この装置は、様々な電子機器に具体的に適用することができる。

【0078】

図６に示すように、本実施形態におけるドキュメント情報の抽出のための装置６００は、取得ユニット６０１と、抽出ユニット６０２と、融合ユニット６０３と、予測ユニット６０４とを備えてもよい。ここで、取得ユニット６０１は、抽出すべきドキュメント情報を取得するように構成される。抽出ユニット６０２は、前記ドキュメント情報から少なくとも１つの特徴を抽出するように構成される。融合ユニット６０３は、前記少なくとも１つの特徴を融合して融合特徴を得るように構成される。予測ユニット６０４は、予め設定された質問、前記融合特徴および前記ドキュメント情報を、装置５００によってトレーニングされたドキュメント情報抽出モデルに入力して回答を得るように構成される。

【0079】

本開示の技術方案では、関連するユーザ個人情報の収集、記憶、使用、加工、伝送、提供および公開などの処理は、いずれも関連する法律法規の規定に準拠し、且つ公序良俗に反しない。

【0080】

本開示の実施形態によれば、本開示はさらに電子機器、読み取り可能な記憶媒体およびコンピュータプログラムを提供する。

【0081】

電子機器は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されるメモリとを含む。ここで、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な指令が格納され、前記指令は少なくとも１つの前記プロセッサによって実行されると、少なくとも１つの前記プロセッサにフロー２００または４００のいずれか１項に記載の方法を実行させる。

【0082】

コンピュータ指令が格納されている非一時的コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ指令はコンピュータにフロー２００または４００のいずれか１項に記載の方法を実行させるために用いられる。

【0083】

コンピュータプログラムであって、プロセッサによって実行されると、フロー２００または４００のいずれか１項に記載の方法が実行される。

【0084】

図７は、本開示の実施形態を実施するために使用できる例示的な電子機器７００のブロック図を概略的に示している。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、メインフレームコンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル動作、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似する計算装置等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも例示であり、ここで記述および／または要求した本開示の実施形態を限定することを意図するものではない。

【0085】

図７に示すように、機器７００は、読み出し専用メモリ（ＲＯＭ）７０２に格納されているコンピュータプログラムまたは記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラムによって様々な適当な動作および処理を実行可能な計算ユニット７０１を備える。ＲＡＭ７０３には、機器７００の動作に必要な様々なプログラムおよびデータがさらに格納されることが可能である。計算ユニット７０１、ＲＯＭ７０２およびＲＡＭ７０３は、バス７０４を介して互いに接続されている。入／出力（Ｉ／Ｏ）インターフェース７０５もバス７０４に接続されている。

【0086】

機器７００において、キーボード、マウスなどの入力ユニット７０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット７０７と、磁気ディスク、光ディスクなどの記憶ユニット７０８と、ネットワークカード、モデム、無線通信送受信機などの通信ユニット７０９とを含む複数のコンポーネントは、Ｉ／Ｏインターフェース７０５に接続されている。通信ユニット７０９は、電子機器７００がインターネットなどのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他の装置と情報またはデータのやりとりを可能にする。

【0087】

計算ユニット７０１は、処理および計算機能を有する様々な汎用および／または専用処理コンポーネントであってもよい。計算ユニット７０１のいくつかの例示として、中央処理装置（ＣＰＵ）、グラフィックスプロセシングユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット７０１は、上述したドキュメント情報抽出モデルのトレーニングのための方法およびドキュメント情報の抽出のための方法のような様々な装置および処理を実行する。例えば、いくつかの実施形態では、ドキュメント情報抽出モデルのトレーニングのための方法およびドキュメント情報の抽出のための方法は、記憶ユニット７０８などの機械可読媒体に有形に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施形態では、コンピュータプログラムの一部または全部は、ＲＯＭ７０２および／または通信ユニット７０９を介して電子機器７００にロードおよび／またはインストールされてもよい。コンピュータプログラムがＲＡＭ７０３にロードされ、計算ユニット７０１によって実行されると、上述したドキュメント情報抽出モデルのトレーニングのための方法およびドキュメント情報の抽出のための方法の１つまたは複数のステップを実行可能である。あるいは、他の実施形態では、計算ユニット７０１は、他の任意の適切な方式によって（例えば、ファームウェアを介して）、ドキュメント情報抽出モデルのトレーニングのための方法およびドキュメント情報の抽出のための方法を実行するように構成されてもよい。

【0088】

ここで記述したシステムおよび技術の様々な実施形態はデジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせにおいて実装され得る。これらの各実施形態は、１つまたは複数のコンピュータプログラムに実装され、当該１つまたは複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／または解釈することができ、当該プログラマブルプロセッサは専用または汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび指令を受信することができ、且つデータおよび指令を当該記憶システム、当該少なくとも１つの入力装置および当該少なくとも１つの出力装置に伝送することを含み得る。

【0089】

本開示の装置を実施するためのプログラムコードは、１つまたは複数のプログラミング言語のあらゆる組み合わせで作成され得る。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラミング可能なデータ処理装置のプロセッサまたはコントローラに提供されることができ、これらのプログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図に規定された機能または動作が実施される。プログラムコードは、完全にデバイス上で実行されることも、部分的にデバイス上で実行されることも、スタンドアロンソフトウェアパッケージとして部分的にデバイス上で実行されながら部分的にリモートデバイス上で実行されることも、または完全にリモートデバイスもしくはサーバ上で実行されることも可能である。

【0090】

本開示のコンテキストでは、機械可読媒体は、有形の媒体であってもよく、指令実行システム、装置または機器で使用されることに供するための、または指令実行システム、装置または機器と組み合わせて使用するためのプログラムを含むか、または格納することができる。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線の、または半導体のシステム、装置または機器、またはこれらのあらゆる適切な組み合わせを含むことができるが、これらに限定されない。機械可読記憶媒体のより具体的な例には、１本または複数本のケーブルに基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、またはこれらのあらゆる適切な組み合わせが含まれ得る。

【0091】

ユーザとのやりとりを行うために、ここで記述したシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実装することができ、ユーザが当該キーボードおよび当該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置もユーザとのやりとりを行うことに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力若しくは触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。

【0092】

ここで記述したシステムおよび技術は、バックエンドコンポーネントを含む計算システム（例えば、データサーバ）に実施されてもよく、またはミドルウェアコンポーネントを含む計算システム（例えば、アプリケーションサーバ）に実施されてもよく、またはフロントエンドコンポーネントを含む計算システム（例えば、グラフィカルユーザインターフェースまたはウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは当該グラフィカルユーザインターフェースまたはウェブブラウザを介してここで記述したシステムおよび技術の実施形態とやりとりを行っていてもよく、またはこのようなバックエンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントのいずれかの組み合わせを含む計算システムに実施されてもよい。また、システムの各コンポーネントの間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットなどを含む。

【0093】

コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、互いにクライアント－サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。サーバはクラウドサーバであってもよく、分散システムのサーバ、あるいはブロックチェーンを結合したサーバであってもよい。

【0094】

上述した様々な形態のフローを用いて、ステップを改めて並び替え、追加または削除を行っていてもよいことを理解すべきである。例えば、本開示に記載された各ステップは、本開示に開示された技術的解決方案の所望の結果が達成できる限り、並行して実行されてもよく、順番に実行されてもよく、異なる順番で実行されてもよい。本明細書はここで制限しない。

【0095】

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件および他の要因に応じて、様々な修正、組み合わせ、副次的な組み合わせ、および置換を行うことができることを理解すべきである。本開示の趣旨および原理を逸脱せずに行われたあらゆる修正、均等な置換および改善などは、いずれも本開示の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【外国語明細書】