特開 2024-163530 情報処理装置、情報処理システム、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024163530

(43)【公開日】2024-11-22

(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06F 40/295 20200101AFI20241115BHJP

   G06V 30/412 20220101ALI20241115BHJP

   G06V 30/12 20220101ALI20241115BHJP

   G06F 40/56 20200101ALI20241115BHJP

【ＦＩ】

G06F40/295

G06V30/412

G06V30/12 Z

G06F40/56

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023079238

(22)【出願日】2023-05-12

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】廣花 智遥

【テーマコード（参考）】

5B029

5B064

【Ｆターム（参考）】

5B029AA01

5B029BB02

5B029CC26

5B064AA01

5B064AB02

5B064AB13

5B064BA01

5B064DA27

5B064EA27

(57)【要約】

【課題】擬似文書データを用いた学習済みモデルの学習を効率的に行うこと。
【解決手段】学習装置において、学習済みモデルが項目値抽出に失敗した内容を検知し、学習済みモデルが項目値抽出に失敗した要因を分析する。学習装置は、分析結果を、学習データセットを生成するためのデータベースに反映させ、分析結果が反映されたデータベースに基づき学習データセットを生成する。学習装置は、生成した学習データセットを用いて、学習済みモデルを複製した複製モデルの学習を行い、学習済みモデル候補を生成する。学習装置は、生成した学習済みモデル候補を用いて抽出対象候補となる文字列データを抽出し、全ての抽出対象項目について確定された抽出対象の文字列データと同一である場合、学習済みモデル候補で学習済みモデルを更新する。
【選択図】 図６

【特許請求の範囲】

【請求項1】

入力された文書データに対して固有表現抽出を行う学習モデルが前記入力された文書データに対する固有表現抽出に失敗した場合、前記入力された文書データの擬似文書データを生成する生成手段と、
前記生成手段により生成された擬似文書データ及び／又は前記固有表現抽出に失敗した前記入力された文書データと、正解データとの対から成る学習データに基づき前記学習モデルの再学習を行う学習手段と、
を備え、
前記生成手段は、前記擬似文書データを生成する際に前記失敗した抽出対象項目が選択される確率を高める、
ことを特徴とする情報処理装置。

【請求項2】

前記学習手段は、前記学習モデルの複製モデルに対して前記再学習を行い、前記学習データに含まれない前記擬似文書データ及び／又は前記固有表現抽出に失敗した前記入力された文書データに対する前記再学習を行った複製モデルによる固有表現抽出に成功した場合、前記再学習を行った複製モデルで前記学習モデルを更新する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記生成手段は、前記学習データに含まれない擬似文書データ又は前記入力された文書データに対する前記再学習を行った複製モデルによる固有表現抽出に失敗した場合、前記固有表現抽出に失敗した前記入力された文書データに基づき別の擬似文書データを生成し、
前記学習手段は、前記別の擬似文書データと、正解データとの対から成る学習データに基づき前記学習モデルの再学習を行う、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記学習手段は、前記学習モデルによる固有表現抽出に失敗した入力された文書データ及び過去の入力された文書データに対する前記再学習を行った複製モデルによる固有表現抽出に成功した場合、前記再学習を行った複製モデルで前記学習モデルを更新する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記学習手段は、前記学習モデルによる固有表現抽出に失敗した入力された文書データ及び前記学習データに含まれない擬似文書データに対する前記再学習を行った複製モデルによる固有表現抽出に成功した場合、前記再学習を行った複製モデルで前記学習モデルを更新する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項6】

前記学習手段は、前記学習データに含まれない擬似文書データに対する前記再学習を行った複製モデルによる固有表現抽出に成功した場合、前記再学習を行った複製モデルで前記学習モデルを更新する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項7】

前記学習モデルは、対象となる文書画像データに含まれる複数の文字列の中から、予め定められた項目に対応する項目値の候補となる文字列データを抽出する学習モデルである、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項8】

前記生成手段は、抽出対象の項目に対応する項目値が未抽出又は誤抽出であった場合、当該抽出対象の項目の出現確率を高める、
ことを特徴とする請求項７に記載の情報処理装置。

【請求項9】

前記生成手段は、抽出対象の項目に対応する項目値が未抽出又は誤抽出で、かつ、当該抽出対象の項目の出現確率が登録されていない場合、当該抽出対象の項目名と当該抽出対象の項目の出現確率とを関連付けて登録する、
ことを特徴とする請求項８に記載の情報処理装置。

【請求項10】

学習モデルを用いて入力された文書データから固有表現抽出を行う情報処理サーバと、
前記学習モデルの学習を行う学習装置と、
を備え、
前記学習装置は、
入力された文書データに対して固有表現抽出を行う学習モデルが前記入力された文書データに対する固有表現抽出に失敗した場合、前記入力された文書データの擬似文書データを生成する生成手段と、
前記生成手段により生成された擬似文書データ及び／又は前記固有表現抽出に失敗した前記入力された文書データと、正解データとの対から成る学習データに基づき前記学習モデルの再学習を行う学習手段と、
を含み、
前記生成手段は、前記擬似文書データを生成する際に前記失敗した抽出対象項目が選択される確率を高める、
ことを特徴とする情報処理システム。

【請求項11】

入力された文書データに対して固有表現抽出を行う学習モデルが前記入力された文書データに対する固有表現抽出に失敗した場合、前記入力された文書データの擬似文書データを生成するステップと、
前記生成するステップにより生成された擬似文書データ及び／又は前記固有表現抽出に失敗した前記入力された文書データと、正解データとの対から成る学習データに基づき前記学習モデルの再学習を行うステップと、
を有し、
前記生成するステップでは、前記擬似文書データを生成する際に前記失敗した抽出対象項目が選択される確率を高める、
ことを特徴とする情報処理方法。

【請求項12】

コンピュータを請求項１乃至９のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文書データに対して固有表現抽出を行うための情報処理技術に関する。

【背景技術】

【0002】

従来、準定型帳票（例：請求書、見積書、発注書）と呼ばれる、発行元の会社毎に異なるレイアウトで作成された文書画像から、所定の抽出対象項目（例：文書番号、会社名、日付、金額、タイトル）に対応する項目値の文字列を抽出する技術がある。この技術は、一般に、文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）と固有表現抽出（NＥＲ：Ｎａｍｅｄ Ｅｎｔｉｔｙ Ｒｅｃｏｇｎｉｔｉｏｎ）で実現される。すなわち、まず文書画像に対して文字認識（ＯＣＲ）した結果の文字列を入力し、文字列の埋め込みベクトルで表現した特徴量を元に形態素解析を行う。そして、その結果に対して固有表現抽出（ＮＥＲ）を行って抽出対象の項目値に対応した文字列に所定のラベル（例：会社名）を付与して出力することで実現される。固有表現抽出のタスクは、一般的に機械学習を用いて実現されるため、予め文字列にラベルを付与した大量の学習データが必要となる。

【0003】

特許文献１では、帳票を認識する精度を向上させるために、帳票の認識結果に基づき新規帳票や亜種帳票の種別を登録し、登録された帳票の種別を学習した学習モデルを生成している。学習モデルに学習させる文書画像データは、実際の帳票を読み取って得られた画像データに対してデータオーグメンテーションによって生成した複数パターンの擬似文書画像データを用いている。これにより、学習モデルは読み取った帳票だけではなくその類似帳票も学習することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１３１６５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１の技術では、学習にデータオーグメンテーションにより生成した擬似文書画像データを用いた場合、実際の帳票を読み取って得られた文書画像データを用いた場合に比べ、認識精度の改善度が低く、より多くの学習データと学習時間を要する。

【課題を解決するための手段】

【0006】

本発明は、情報処理装置であって、入力された文書データに対して固有表現抽出を行う学習モデルが前記入力された文書データに対する固有表現抽出に失敗した場合、前記入力された文書データの擬似文書データを生成する生成手段と、前記生成手段により生成された擬似文書データ及び／又は前記固有表現抽出に失敗した前記入力された文書データと、正解データとの対から成る学習データに基づき前記学習モデルの再学習を行う学習手段と、を備え、前記生成手段は、前記擬似文書データを生成する際に前記失敗した抽出対象項目が選択される確率を高める、ことを特徴とする。

【発明の効果】

【0007】

本発明によれば、固有表現抽出を行う学習済みモデルの学習を、擬似文書データを用いて効率的に行うことができる。

【図面の簡単な説明】

【0008】

【図1】情報処理システムの構成を示す図である。

【図2】情報処理装置、学習装置、情報処理サーバの構成を示す図である。

【図3】実施形態１における情報処理システムの利用シーケンスを示す図である。

【図4】項目値抽出モデルを生成する処理を示すフローチャートである。

【図5】実施形態１における項目値候補文字列を推定し、その修正をユーザから受け付ける処理を示すフローチャートである。

【図6】実施形態１における項目値抽出モデルにユーザの修正内容を反映する処理を示すフローチャートである。

【図7】項目値抽出に失敗した際の失敗内容を検知する処理を示すフローチャートである。

【図8】項目値抽出に失敗した要因を分析する処理を示すフローチャートである。

【図9】文書画像の生成に際し、要因の分析結果を取り込むフローチャートである。

【図10】学習データセットを生成する流れの一例を示すフローチャートである。

【図11】ユーザが抽出結果を修正する画面の一例を示す図である。

【図12】生成した文書画像の具体例を示す図である。

【図13】抽出対象及び対象外の項目名を保持したデータベースの一例を示す図である。

【図14】レイアウト要因と分析された場合の、対応パターンの具体例を示す図である。

【図15】非レイアウト要因分析された場合の、対応パターンの具体例を示す図である。

【図16】レイアウトの一致率を算出する方法について説明する図である。

【図17】項目値抽出モデルへの修正内容の反映結果を通知する画面の一例を示す図である。

【図18】実施形態２における情報処理システムの利用シーケンスを示す図である。

【図19】実施形態２における項目値候補文字列を推定し、その修正をユーザから受け付ける処理を示すフローチャートである。

【図20】実施形態２における、項目値抽出モデルにユーザの修正内容を反映する処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明を実施するための形態について図面を用いて説明する。尚、本実施形態に記載された構成要素は例示であって、本発明の範囲を限定する趣旨のものではない。

【0010】

［実施形態１］
＜情報処理システム＞
図１は、情報処理システムの構成例を示した図である。図１に示すように、情報処理システム１００は、例えば、情報処理装置１０１、学習装置１０２、情報処理サーバ１０３で構成され、ネットワーク１０４を介して互いに接続される。情報処理システム１００において、情報処理装置１０１、学習装置１０２、情報処理サーバ１０３は、ネットワーク１０４に対して単一接続ではなく、複数接続された構成であっても良い。例えば、情報処理サーバ１０３は、高速演算リソースを有する第１のサーバ装置と、大容量ストレージを有する第２のサーバ装置で構成され、ネットワーク１０４を介して互いに接続された構成であっても良い。

【0011】

情報処理装置１０１は、プリント、スキャン、ＦＡＸのように複数の機能を備えたＭＦＰ（Ｍｕｌｔｉ－Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）などで実現されるものであって、画像取得部としても機能する。情報処理装置１０１は、例えば、画像取得部によって、紙などの記憶媒体に印字された原稿１１１を光学的に読み取り、所定のスキャン画像処理を行うことで生成した文書画像データ１１３を情報処理サーバ１０３に送信することができる。また、情報処理装置１０１は、例えば、画像取得部によって、不図示のＦＡＸ送信機から送信されたＦＡＸデータ１１２を受信し、所定のＦＡＸ画像処理を行うことで生成した文書画像データ１１３を情報処理サーバ１０３に送信することができる。尚、情報処理装置１０１は、前述したスキャンやＦＡＸの機能を備えたＭＦＰ以外に、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などで実現される構成であっても良い。具体的には、例えば、情報処理装置１０１としてのＰＣ上で動作する文書作成アプリケーションを用いて生成された、ＰＤＦやＪＰＥＧ等の文書画像データ１１３を、情報処理サーバ１０３に送信しても良い。

【0012】

学習装置１０２は、エンジニアによって提供された複数の文書画像のサンプル１１４を元に、文書画像に含まれる文字列群のうちの、抽出対象の文字列に正解ラベルが付与された文書データを学習用文書データとして生成する学習データ生成部として機能する。更に、学習装置１０２は、学習データ生成部で生成した学習用文書データを学習データとして利用し、学習用文書データに含まれる抽出対象の文字列を推定する学習済みモデル１１５の学習を行う学習部と機能する。

【0013】

情報処理サーバ１０３は、情報処理装置１０１から受信した文書画像データ１１３に含まれる複数の文字列を取得した上で、予め設定された抽出対象の文字列データ１１６を抽出する情報処理部、及び、抽出した結果を記憶する記憶部として機能する。まず、情報処理サーバ１０３の情報処理部は、文書画像データ１１３に対して、ＯＣＲ処理を実行し、ＯＣＲ処理によって得られた文字認識結果としての複数の文字列データを取得する。更に、情報処理サーバ１０３の情報処理部は、学習済みモデル１１５を利用し、文書画像データ１１３から得られた複数の文字列データの中から、予め設定された抽出対象の文字列データ１１６を分類して抽出する。ここで、抽出対象の文字列データ１１６は、一般に固有表現と呼ばれる、国・言語毎に多様な表現を持つ人名や地名などの固有名詞や、日付表現、金額表現などを扱うものである。抽出対象項目としては、例えば会社名、発行日、合計金額、文書名等がある。

【0014】

ネットワーク１０４は、ＬＡＮやＷＡＮ等で実現されるものであって、情報処理装置１０１、学習装置１０２、情報処理サーバ１０３の間を互いに接続して、装置間でデータを送受信するための通信部である。

【0015】

＜装置構成＞
図２は、図１の情報処理システム１００を実現するための情報処理装置１０１、学習装置１０２、画像処理サーバ１０３のハードウェア構成例を示した図である。

【0016】

図２（ａ）は、情報処理装置１０１のハードウェア構成例を示す図である。図２（ａ）に示すように、情報処理装置１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０４、プリンタデバイス２０６、スキャナデバイス２０６、ストレージ２０８、外部インタフェース２１１等で構成され、データパス２０３を介して互いに接続される。

【0017】

ＣＰＵ２０１は、情報処理装置１０１における動作全体を制御するための制御部である。ＣＰＵ２０１は、ＲＯＭ２０２に記憶された起動プログラムを実行することで、情報処理装置１０１のシステムを起動し、ストレージ２０８に記憶された制御プログラムを実行することで、情報処理装置１０１のプリント、スキャン、ＦＡＸ等の機能を実現する。

【0018】

ＲＯＭ２０２は、不揮発性メモリで実現されるものであって、情報処理装置１０１を起動する起動プログラムを格納するための記憶部である。ＲＡＭ２０４は、揮発性メモリで実現されるものであって、ＣＰＵ２０１が制御プログラムを実行する際のワークメモリとして使用される記憶部である。ストレージ２０５は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等で実現されるものであって、前述の制御プログラムや文書画像を記憶するための記憶部である。データバス２０３は、情報処理装置１０１を構成するデバイス間で相互にデータを送受信するための通信部である。

【0019】

プリンタデバイス２０６は、画像出力デバイスであって、情報処理装置１０１の内部の文書画像を紙などの記憶媒体に印字して印刷出力するための処理部である。スキャナデバイス２０７は、画像入力デバイスであって、文字や図表等が印字された紙などの記憶媒体を光学的に読み取って文書画像として取得するための処理部である。原稿搬送デバイス２０８は、ＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ）等で実現されるものであって、原稿台に載置された原稿を検知し、検知した原稿を１枚ずつスキャナデバイス２０７に搬送するための処理部である。

【0020】

入力デバイス２０９は、タッチパネルやハードキー等で実現されるものであって、ユーザからの情報処理装置１０１に対する操作入力を行うための装置である。表示デバイス２１０は、液晶ディスプレイ等で実現されるものであって、情報処理装置１０１の設定画面をユーザに対して表示出力するための装置である。外部インタフェース２１１は、情報処理装置１０１とネットワーク１０４との間を接続するものであって、不図示のＦＡＸ送信機からＦＡＸデータを受信したり、情報処理サーバ１０３に対して文書画像を送信したりするためのインタフェース部である。

【0021】

図２（ｂ）は、学習装置１０２の構成を示す図である。図２（ｂ）に示すように、学習装置１０２は、ＣＰＵ２３１、ＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５、入力デバイス２３６、表示デバイス２３７、外部インタフェース２３８、ＧＰＵ２３２で構成され、データバス２３３を介して互いに接続される。

【0022】

ＣＰＵ２３１は、学習装置１０２における動作全体を制御するための制御部である。ＣＰＵ２３１は、ＲＯＭ２３２に記憶されたブートプログラムを実行することで、学習装置１０２のシステムを起動し、ストレージ２０８に記憶された学習プログラムを実行することで、文字列データから固有表現を抽出する学習済みモデル１１５を生成する。ＧＰＵ２３２は、画像処理プロセッサで構成された演算部である。ＧＰＵ２３２は、例えば、ＣＰＵ２３１から与えられた制御コマンドに従って、与えられた文書画像に含まれる文字列データを元に、学習済みモデル１１５を生成するための演算を実行する。

【0023】

ＲＯＭ２３３は、不揮発性メモリで実現されるものであって、学習装置１０２を起動するブートプログラムを格納するための記憶部である。ＲＡＭ２３４は、揮発性メモリで実現されるものであって、ＣＰＵ２３１が学習プログラムを実行する際のワークメモリとして使用される記憶部である。ストレージ２３５は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等で実現されるものであって、エンジニアからの学習装置１０２に対する操作入力を受け付けるための処理部である。データバス２３３は、学習装置１０２を構成するデバイス間で相互にデータを送受信するための通信部である。

【0024】

入力デバイス２３６は、マウスやキーボード等で実現されるものであって、エンジニアからの学習装置１０２に対する操作入力を行うための装置である。表示デバイス２３７は、液晶ディスプレイ等で実現されるものであって、学習装置１０２の設定画面をエンジニアに対して表示出力するための装置である。外部インタフェース２３８は、学習装置１０２と、ネットワーク１０４との間を接続するものであって、不図示のＰＣ等から文書画像１１４を受信したり、情報処理サーバ１０３に対して学習済みモデル１１５を送信したりするためのインタフェース部である。

【0025】

図２（ｃ）は、情報処理サーバ１０３の構成を示す図である。図２（ｃ）に示すように、情報処理サーバ１０３は、ＣＰＵ２６１、ＲＯＭ２６２、ＲＡＭ２６４、ストレージ２６５、入力デバイス２６６、表示デバイス２６７、外部インタフェース２６８で構成され、データバス２６３を介して互いに接続される。

【0026】

ＣＰＵ２６１は、情報処理サーバ１０３における動作全体を制御するための制御部である。ＣＰＵ２６１は、ＲＯＭ２６２に記憶されたブートプログラムを実行することで、情報処理サーバ１０３のシステムを起動し、ストレージ２６５に記憶された情報処理プログラムを実行することで、文字認識や情報抽出などの情報処理を実行する。

【0027】

ＲＯＭ２６２は、不揮発性メモリで実現されるものであって、情報処理サーバ１０３を起動するブートプログラムを格納するための記憶部である。ＲＡＭ２６４は、揮発性メモリで実現されるものであって、ＣＰＵ２６１が情報処理プログラムを実行する際のワークメモリとして使用される記憶部である。ストレージ２６５は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等で実現されるものであって、前述の情報処理プログラム、文書画像データ１１３、学習済みモデル１１５、文字列データ１１６等を記憶するための記憶部である。データバス２６３は、情報処理サーバ１０３を構成するデバイス間で相互にデータを送受信するための通信部である。

【0028】

入力デバイス２６６は、マウスやキーボード等で実現されるものであって、情報処理サーバ１０３に対して操作入力を行うための装置である。表示デバイス２６７は、液晶ディスプレイ等で実現されるものであって、情報処理サーバ１０３による項目値抽出結果を表示出力するための装置である。外部インタフェース２６８は、情報処理サーバ１０３と、ネットワーク１０４との間を接続するものであり、学習装置１０２から学習済みモデル１１５や、情報処理装置１０１から文書画像データ１１３を受信するためのインタフェース部である。

【0029】

＜利用シーケンス＞
図３は、図１の情報処理システム１００の利用シーケンスを示す図である。

【0030】

図３（ａ）は、学習装置１０２が、学習済みモデル１１５を生成する流れを説明する図である。尚、図３（ａ）の詳細な処理フローは図４を用いて後述する。

【0031】

Ｓ３０１において、学習装置１０２は、学習済みモデル１１５を生成するための複数の文書画像サンプル１１４を取得する。尚、文書画像サンプル１１４は、情報処理システム１００を開発するエンジニア等によって入力されても良いし、文書画像サンプル１１４は、情報処理システム１００を実行する都度、エンジニアにより手動で入力されたものを取得してもよい。または、情報処理サーバ１０３内のストレージ２６５等の所定の記憶装置から取得してもよく、文書画像サンプル１１４を自動収集する第２の情報処理システムから取得してもよい。

【0032】

Ｓ３０２において、学習装置１０２は、Ｓ３０１で取得した文書画像サンプル１１４に対してブロックセレクション（ＢＳ）処理、文字認識（ＯＣＲ）処理、及び、固有表現の文字列に対する固有表現抽出（ＮＥＲ）処理を行う。そして、学習装置１０２は、抽出対象の文字列データに対応する項目名ラベルを正解ラベルとして付与する。ここで、正解ラベルの付与は、エンジニアが手動で行ってもよいし、文書データを予め学習した学習済みの項目値抽出を行う学習済みモデルを用いて自動化しても良い。そして、学習装置１０２は、文書画像毎に固有表現の文字列データに対して正解ラベルが付与された学習データセットを生成する。

【0033】

Ｓ３０３において、学習装置１０２は、Ｓ３０２で生成した学習データセットを用いて学習させた学習済みモデルを生成する。

【0034】

Ｓ３０４において、学習装置１０２は、情報処理サーバ１０３に対してＳ３０３で生成した学習済みモデルを送信し、情報処理サーバ１０３は、受信した学習済みモデルを情報処理サーバ１０３内のストレージ２６５に保存する。

【0035】

図３（ｂ）は、情報処理サーバ１０３が行う、次の２つの処理を説明する図である。１つ目の処理は、ユーザからの要求に対して、情報処理サーバ１０３が、文書画像データ１１３から得られた複数の文字列データの中から、抽出対象の候補となる文字列データを抽出して出力する処理である。２つ目の処理は、情報処理サーバ１０３が、抽出対象候補となる文字列データと、その正解データとなるユーザからの操作とに基づき確定した抽出対象の文字列データとを学習装置１０２へ送信する処理である。尚、図３（ｂ）の詳細なフローは、図５を用いて後述する。

【0036】

Ｓ３０５において、情報処理システム１００を利用するユーザは、原稿１１１から抽出対象の文字列データを取得するために、情報処理装置１０１に原稿１１１を載置して原稿１１１のスキャン実行を指示する。

【0037】

Ｓ３０６において、情報処理装置１０１は、原稿１１１をスキャンして取得した文書画像データ１１３を、情報処理サーバ１０３に対して送信する。

【0038】

Ｓ３０７において、情報処理サーバ１０３は、Ｓ３０６で送信された文書画像データ１１３に対してＯＣＲ処理を行い、文書画像データ１１３に含まれる文字列データを取得する。そして、情報処理サーバ１０３は、Ｓ３０３で生成した学習済みモデル１１５を用いて、抽出対象候補となる文字列データを抽出する。

【0039】

Ｓ３０８において、情報処理サーバ１０３は、Ｓ３０７で抽出した抽出対象候補の文字列データを情報処理装置１０１に出力し、情報処理装置１０１は情報処理サーバ１０３から出力された抽出対象候補の文字列データを表示デバイス２１０に表示させる。

【0040】

Ｓ３０９において、情報処理システム１００を利用するユーザは、Ｓ３０８で表示された抽出対象候補の文字列データが、抽出対象の文字列データと同一か否か、すなわち項目値抽出に成功したか否かを確認する。Ｓ３０８で表示された抽出対象候補の文字列データが抽出対象の文字列データと異なる場合、ユーザは、情報処理装置１０１の入力デバイ２０９を用いてＳ３０８で表示された抽出対象候補の文字列データを修正し、抽出対象の文字列データを確定させる。Ｓ３０８で表示された文字列データが抽出対象の文字列データと同一の場合、ユーザは、情報処理装置１０１の入力デバイス２０９を用いてＳ３０８で表示された抽出対象候補の文字列データを抽出対象の文字列データとして確定させる。そして、情報処理装置１０１は、確定された抽出対象の文字列データを情報処理サーバ１０３に対して送信する。

【0041】

ここで図１１を用いて、Ｓ３０８の文字列データの表示とＳ３０９の文字列データの確認・修正についてより具体的に説明する。図１１は、情報処理システム１００を利用するユーザが、Ｓ３０８で出力された文字列データを確認・修正するための画面の一例を示す図である。表示デバイス２１０の確認画面１１００には、プレビュー画像表示画面１１０１と、結果表示画面１１０２、「保存」ボタン１１３２が含まれる。結果表示画面１１０２には、発行日１１２１、発行先会社名１１２３、発行元担当者名１１２８等の、Ｓ３０８で情報処理装置１０１に出力された文字列データを表示する。図１１に示す例では、プレビュー画像表示画面１１０１及び結果表示画面１１０２において、文字列抽出結果（１１２１、１１２３、１１２８）が抽出された画像領域を発行日１１１１、発行先会社名１１１３、発行元担当者名１１１８のように強調表示している。強調表示は、プレビュー画像表示画面１１０１及び結果表示画面１１０２のどちらか片方のみでも良いし、強調表示をいずれにおいても実施せずとも良い。

【0042】

ここで、「発行元担当者名」の抽出対象を画像領域１１１７に修正する場合を考える。ユーザは、入力デバイス２０９でポインタ１１３１を操作することによって、文字列抽出結果１１２８を修正元として選択し、画像領域１１１７を修正先として選択する。尚、文字列抽出結果１１２８を修正元として選択する代わりに、文字列抽出結果１１１８を修正元として選択してもよい。また、修正元及び修正先の選択の前に、「修正」ボタンの押下操作を要するようにしてもよい。修正先の画像領域１１１７が選択された後、情報処理装置１０１は、画像領域１１１７に対して文字認識処理を行って得られた「Ｄａｎａ Ｍｏｒｇａｎ」を文字列抽出結果１１２８として取得する。ユーザは、「保存」ボタン１１３２を押下することで、文字列抽出結果１１２８の修正を確定させる。尚、修正を確定させる操作は、例えば、修正先の画像領域１１１７をポインタ１１３１で選択する操作と兼ねてもよく、「保存」ボタン１１３２の押下に限らない。

【0043】

Ｓ３１０において、情報処理サーバ１０３は、全ての抽出対象項目について、Ｓ３０７で抽出した文字列データと、Ｓ３０９で送信された抽出対象の文字列データが同一か否かを確認する。１つ以上の抽出対象項目で文字列データが異なる場合、情報処理サーバ１０３内のストレージ２６５に保存された学習済みモデルを更新する必要があると判定し、Ｓ３１１に移行する。全ての抽出対象項目で文字列が同一の場合、情報処理サーバ１０３内のストレージ２６５に保存された学習済みモデルを更新する必要がないため、情報処理サーバ１０３は、処理を終了する。

【0044】

Ｓ３１１において、情報処理サーバ１０３は、Ｓ３０６で送信された文書画像データ１１３と、Ｓ３０７で抽出した抽出対象候補となる文字列データと、Ｓ３０９で送信された確定された抽出対象の文字列データとを学習装置１０２に対して送信する。図３（ｃ）は、学習装置１０２が、抽出対象候補の文字列データに対するユーザによる修正内容に基づき、学習済みモデルを学習させる処理を説明する図である。尚、図３（ｃ）の詳細なフローは、図６を用いて後述する。

【0045】

Ｓ３１２において、学習装置１０２は、Ｓ３１１で送信された抽出対象候補となる文字列データ、及び、確定された抽出対象文字列データから、学習済みモデル１１５が項目値抽出に失敗した内容を検知する。ここで、「項目値抽出に失敗した」とは、抽出対象項目のうちの１つでも、抽出対象候補となる文字列データと、確定された抽出対象の文字列データとが一致しなかった場合を指す。また、「失敗した内容」とは、どの項目が項目値抽出に失敗し、正解となる項目値は何だったのかを示す情報である。尚、本処理の詳細は、図７を用いて後述する。

【0046】

Ｓ３１３において、学習装置１０２は、Ｓ３１２で検知した学習済みモデル１１５が項目値抽出に失敗した内容に基づき、項目値抽出に失敗した要因を分析して特定する。尚、本処理の詳細は、図８を用いて後述する。

【0047】

Ｓ３１４において、学習装置１０２は、Ｓ３１３で特定した項目値抽出に失敗した要因の分析結果から、項目値抽出に失敗した要因を反映したデータベースに基づき擬似的な文書画像データである文書画像サンプルを生成する。尚、本処理の詳細は、図９及び図１０を用いて後述する。

【0048】

Ｓ３１５において、学習装置１０２は、Ｓ３１４で生成した擬似的な文書画像サンプルを用いて、文書画像内の文字列データ及び抽出対象の項目値を取得し、学習データセットを生成する。尚、本処理の詳細は、図１０を用いて後述する。

【0049】

Ｓ３１６において、学習装置１０２は、学習済みモデル１１５を複製した複製モデルにＳ３１５で生成した学習データセットを用いて再学習させることで、学習済みモデル候補を生成する。

【0050】

Ｓ３１７において、学習装置１０２は、Ｓ３１１で送信された文書画像データ１１３に含まれる文字列データを取得し、Ｓ３１６で生成した学習済みモデル候補を用いて、抽出対象候補の文字列データを抽出する。学習装置１０２は、Ｓ３１１で送信された確定された抽出対象の文字列データに基づき、Ｓ３１６で生成した学習済みモデル候補による抽出対象候補の文字列データが、確定された抽出対象の文字列データと同一か否かを確認する。学習装置１０２は、学習済みモデル候補により抽出された抽出対象候補の文字列データが確定された抽出対象の文字列データと同一である場合、Ｓ３１８に移行し、それらが異なる場合、Ｓ３１４に戻る。

【0051】

Ｓ３１８において、学習装置１０２は、情報処理サーバ１０３に対して、Ｓ３１６で生成した学習済みモデル候補を送信し、情報処理サーバ１０３内のストレージ２６５に学習済みモデル１１５として保存し、学習済みモデル１１５を更新する。

【0052】

Ｓ３１９において、情報処理サーバ１０３は、情報処理サーバ１０３内のストレージ２６５に学習済みモデル１１５が更新されたことを情報処理システム１００に通知し、情報処理システム１００が表示デバイス２１０等を用いてユーザに対して通知する。

【0053】

＜項目値抽出を行う学習済みモデルの生成処理＞
図４は、図３（ａ）において、学習装置１０２が、学習済みモデル１１５を生成する流れを説明するフローチャートである。尚、図４で示す各ステップの実行プログラムは、学習装置１０２のＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５のいずれかに記憶され、学習装置１０２のＣＰＵ２３１、ＧＰＵ２３２のいずれかによって実行される。

【0054】

Ｓ４０１において、ＣＰＵ２３１は、図３に示すＳ３０１で取得され、ＲＡＭ２３４又はストレージ２３５に格納された複数の文書画像サンプル１１４を取得する。具体的には、例えば、請求書、見積書、発注書などの準定型帳票と呼ばれる、発行元の会社毎に異なるレイアウトで作成された文書画像サンプル１１４を取得する。

【0055】

Ｓ４０２において、ＣＰＵ２３１は、Ｓ４０１で読み出した文書画像サンプル１１４に対して、ＢＳ処理及びＯＣＲ処理を実行し、文書画像サンプル１１４を構成する文字認識結果の文字列データ群を取得する。ここで、取得する文字列データ群に含まれる各文字列データは、例えば、準定型帳票の文書画像を構成するオブジェクト単位を識別するＢＳ等の技術を用いて、文書画像内で間隔を空けたり罫線で区切られたりして配置された単語区切りの単位で扱えばよい。また、取得する文字列データ群に含まれる各文字列データは、例えば、非定型帳票の文書画像を構成する文章に対して形態素解析の手法を用いて分割された単語区切りの単位で扱うようにしても良い。

【0056】

Ｓ４０３において、ＣＰＵ２３１は、Ｓ４０２で取得した文字列データ群に含まれる抽出対象の文字列データに対して、抽出対象項目ラベルを正解ラベルとして付与する。具体的には、例えば、S４０２で取得した文字列データ群に、文書の発行日を示す「２０２２年１１月２４日」を表す文字列データが含まれている場合を考える。この場合、ＣＰＵ２３１は、抽出対象である「２０２２年１１月２４日」を表す文字列データに対し、抽出対象項目名である「発行日」というラベルを付与する。

【0057】

Ｓ４０４において、ＣＰＵ２３１は、Ｓ４０２で取得した文字列データ群とＳ４０３で付与した抽出対象項目ラベルを用いて、機械学習による項目値抽出を行う学習済みモデルの生成を行う。学習済みモデルへの入力は、公知の技術である、Ｗｏｒｄ２Ｖｅｃ、ｆａｓｔＴｅｘｔ、ＢＥＲＴ、ＸＬＮｅｔ、ＡＬＢＥＲＴ等を用いて変換した文字列データの特徴ベクトル、及び、文字列データの文書画像サンプル１１４上の位置座標等を用いれば良い。具体的には、例えば、一般的な文章（例：ウィキペディアの記事全文）を予め学習済みのＢＥＲＴの言語モデルを用いることで、単一の文字列データを７６８次元の数値で表現された特徴ベクトルに変換できる。また、学習済みモデルの出力は、Ｓ４０３で付与した抽出対象項目のラベルを出力できるように学習し、学習済みモデルによる推論結果として、入力された文字列データに対して予め定めたいずれかの抽出対象項目ラベルを出力するものである。ここで、学習済みモデルには、機械学習のアルゴリズムとして一般に知られる、ロジスティック回帰、決定木、ランダムフォレスト、サポートベクタマシン、ニューラルネットワーク等を用いればよい。具体的には、学習済みモデルは、例えばＢＥＲＴの言語モデルで出力した特徴ベクトルを入力したニューラルネットワークの全結合層の出力値に従い、予め定めたいずれかの抽出対象項目ラベルの推論結果を出力できればよい。

【0058】

Ｓ４０５において、ＣＰＵ２３１は、Ｓ４０４で生成した学習済みモデルを、情報処理サーバ１０３内のストレージ２６５に保存する。

【0059】

＜抽出対象候補となる文字列データの抽出・修正処理＞
図５は、図３（ｂ）の工程において、情報処理サーバ１０３が、学習済みモデル１１５を用いて文書画像データ１１３から抽出対象候補となる文字列データを推定し、抽出対象の文字列データを確定させる流れを説明するフローチャートの一例である。尚、図５で示す各ステップの実行プログラムは、情報処理サーバ１０３のＲＯＭ２６２、ＲＡＭ２６４、ストレージ２６５のいずれかに記憶され、情報処理サーバ１０３のＣＰＵ２６１によって実行される。

【0060】

Ｓ５０１において、ＣＰＵ２６１は、図３に示すＳ３０４及び図４に示すＳ４０５でストレージ２６５に保存された学習済みモデル１１５を取得する。

【0061】

Ｓ５０２において、ＣＰＵ２６１は、図１１に示すプレビュー画像表示画面１１０１に表示されたような、図３に示すＳ３０６で情報処理装置１０１から送信された文書画像データ１１３を取得する。

【0062】

Ｓ５０３において、ＣＰＵ２６１は、Ｓ５０２で読み出した文書画像データ１１３に対して、ＢＳ処理及びＯＣＲ処理を実行し、文書画像データ１１３に含まれる文字列データ群を取得する。

【0063】

Ｓ５０４において、ＣＰＵ２６１は、Ｓ５０１で読み出した学習済みモデル１１５を用いて、Ｓ５０３で取得した文書画像データ１１３に含まれる文字列データ群の中から、抽出対象候補となる文字列データを抽出する。尚、抽出対象候補となる文字列データを抽出する技術は、一般に、ＮＥＲ（Ｎａｍｅｄ Ｅｎｔｉｔｙ Ｒｅｃｏｇｎｉｔｉｏｎ）と呼ばれる分類タスクとして知られるものであって、画像や自然言語の特徴量を用いた機械学習のアルゴリズムによって実現できる。

【0064】

Ｓ５０５において、ＣＰＵ２６１は、Ｓ５０４で抽出した抽出対象候補となる文字列データを情報処理装置１０１に送信し、図１１に示す画面を情報処理装置１０１の表示デバイス２１０に表示させることで抽出対象候補となる文字列データをユーザに提示する。

【0065】

Ｓ５０６において、ＣＰＵ２６１は、ユーザの図１１に示す画面に対する操作によって確定された抽出対象の文字列データを取得する。

【0066】

Ｓ５０７において、ＣＰＵ２６１は、全ての抽出対象項目について、Ｓ５０６で取得した抽出対象の文字列データが、Ｓ５０４で抽出した抽出対象候補となる文字列データと同一か否かを確認する。１つ以上の対象項目で異なる場合（Ｓ５０７でＮＯ）、情報処理サーバ１０３内のストレージ２６５に保存された学習済みモデル１１５を更新する必要があるため、ＣＰＵ２６１は、Ｓ５０８に移行する。全ての抽出対象項目で同一の場合（Ｓ５０７でＹＥＳ）、情報処理サーバ１０３内のストレージ２６５に保存された学習済みモデル１１５を更新する必要がないため、ＣＰＵ２６１は処理を終了する。

【0067】

Ｓ５０８において、ＣＰＵ２６１は、図１１に示す「保存」ボタン１１３２の押下を検知後、Ｓ５０２で取得した文書画像データ１１３と、Ｓ５０４で抽出した抽出対象候補となる文字列データと、Ｓ５０６で確定された抽出対象の文字列データとを保存する。保存先は、情報処理サーバ１０３内のストレージ２６５とする。

【0068】

＜学習済みモデルの更新処理＞
図６は、学習済みモデルにユーザの修正内容を反映する処理を示すフローチャートである。尚、図６で示す各ステップの実行プログラムは、学習装置１０２のＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５のいずれかに記憶され、学習装置１０２のＣＰＵ２３１、ＧＰＵ２３２のいずれかによって実行される。

【0069】

Ｓ６０１において、ＣＰＵ２３１は、学習済みモデル１１５が項目値抽出に失敗した内容を検知する。本処理の詳細については、図７にて後述する。

【0070】

Ｓ６０２において、ＣＰＵ２３１は、Ｓ６０１で検知した内容をもとに、学習済みモデル１１５が項目値抽出に失敗した要因を分析する。本処理の詳細については、図８にて後述する。

【0071】

Ｓ６０３において、ＣＰＵ２３１は、Ｓ６０２で行なった要因の分析結果を、学習データセットを生成するためのデータベースに反映させる。本処理の詳細については、図９にて後述する。

【0072】

Ｓ６０４において、ＣＰＵ２３１は、Ｓ６０３で学習済みモデル１１５が項目値抽出に失敗した要因の分析結果を反映したデータベースに基づき、学習データセットを生成する。本処理の詳細については、図１０にて後述する。

【0073】

Ｓ６０５において、ＣＰＵ２３１は、Ｓ６０４で生成した学習データセットを用いて、学習済みモデル１１５を複製した複製モデルに再学習させることにより、学習済みモデル候補を生成する。学習済みモデル候補を生成する方法は、学習済みモデル１１５の複製モデルを用いること以外、ほぼ図４を用いて先述した通りであり、Ｓ４０１で取得している文書画像サンプル１１４を、Ｓ６０４で生成した学習データセットに読み替えればよい。

【0074】

Ｓ６０６において、ＣＰＵ２３１は、情報処理サーバ１０３から、ストレージ２６５に保存された文書画像データ１１３を取得する。

【0075】

Ｓ６０７において、ＣＰＵ２３１は、Ｓ６０６で取得した文書画像データ１１３から、文書画像データ１１３に含まれる文字列データ群を取得する。文字列データ群を取得する方法については、図５に示すＳ５０３に関して前述した通りのため、割愛する。

【0076】

Ｓ６０８において、ＣＰＵ２３１は、Ｓ６０５で生成した学習済みモデル候補を用いて、Ｓ６０７で取得した文字列データ群の中から、抽出対象候補となる文字列データを抽出する。尚、抽出対象候補となる文字列データを抽出する方法については、図５に示すＳ５０４に関して前述した通りのため、割愛する。

【0077】

Ｓ６０９において、ＣＰＵ２３１は、全ての抽出対象項目について、Ｓ６０８で取得した文字列データが、Ｓ３１１において情報処理サーバ１０３から送信された情報に含まれる確定された抽出対象の文字列データと同一か否かを確認する。ＣＰＵ２３１は、１つ以上の対象項目で異なる場合（Ｓ６０９でＮＯ）、Ｓ６１０に移行し、全ての抽出対象項目で同一の場合（Ｓ６０９でＹＥＳ）、Ｓ６１２に移行する。尚、確認方法については、図５に示すＳ５０７と同様のため、説明を割愛する。

【0078】

Ｓ６１０において、ＣＰＵ２３１は、学習装置１０２でのモデル更新をするための試行を終了するか否かを判定する。終了判定の基準としては、例えば、Ｓ６０１～Ｓ６０３を実施し、Ｓ６０４で生成した学習データセットにおいてＳ６０３でデータベースへ反映した抽出対象の文字列データの出現確率が上限に達したか否か、がある。ここで、出現確率とは、図１０に示すような学習データセット生成時に、「文書番号」、「合計金額」などの項目に対する項目値として選ばれる確率を示すものであり、０～１の割合で定義する。尚、上限は、１でも良いし、予め設定した０～１の範囲内の任意の数値を用いても良い。他にも、終了判定の基準は、繰り返し回数を指定しておくなどがある。試行を終了する場合（Ｓ６１０でＹＥＳ）、学習装置１０２でそれ以上対応ができないことを示しているため、Ｓ６１１に移行する。試行を継続する場合（Ｓ６１０でＮＯ）、Ｓ６０３に戻る。

【0079】

Ｓ６１１において、ＣＰＵ２３１は、学習装置１０２でこれ以上対応ができないことが示されているため、情報処理システム１００の開発を行うエンジニアに対してフィードバック内容を送信する。フィードバック内容は、Ｓ６１１を除くＳ６０１～Ｓ６１３の処理履歴、及び、Ｓ６０６で取得した文書画像データ１１３やＳ６０１（図７のＳ７０２）で取得した正解データなどの、処理履歴に付随するデータである。尚、フィードバックの送信にあたり、ＣＰＵ２３１は、図１７（ｂ）で示すような送信確認画面１７１０を情報処理装置１０１の表示デバイス２１０等に表示させ、ユーザへ提示する。図１７（ｂ）は、情報処理システム１００を開発するエンジニアへフィードバック内容を送信してもよいか許諾を求める画面の一例である。送信確認画面１７１０は、送信許諾可否の判定を以降自動で実施するためのチェックボックス１７１２、「はい」ボタン１７１３、「いいえ」ボタン１７１４で構成され、入力デバイス２０９による操作入力１７１１で指定を受け付ける。送信確認画面１７１０において、ユーザによって「はい」ボタン１７１３が押下された場合のみ、ＣＰＵ２３１は、フィードバック内容を所定の送信先へ送信する。その際、ＣＰＵ２３１は、フィードバック内容の送信後、図１７（ｃ）で示すような送信通知画面１７２０を情報処理装置１０１の表示デバイス２１０等に表示させ、情報処理システム１００を利用するユーザに対して通知する。一方、送信確認画面１７１０において、ユーザによって「いいえ」ボタン１７１４が押下された場合は、ＣＰＵ２３１は、フィードバック内容を送信せず、処理を終了する。また、送信確認画面１７１０上に表示したチェックボックス１７１２にチェックが入っている場合、ＣＰＵ２３１は、送信許諾可否結果（「はい」ボタン１７１３と「いいえ」ボタン１７１４のどちらが押下されたか）を、ストレージ２３５へ保存してもよい。これによりＣＰＵ２３１は、送信確認画面１７１０をユーザへ提示せずに、ストレージ２３５から取得した送信許諾可否結果に基づき送信許諾可否の判定を行うことができる。

【0080】

Ｓ６１２において、ＣＰＵ２３１は、情報処理サーバ１０３内のストレージ２６５に保存されている学習済みモデル１１５を、Ｓ６０５で生成した学習済みモデル候補で更新する。

【0081】

Ｓ６１３において、ＣＰＵ２３１は、図１７（ａ）に示すような更新通知画面１７００を表示デバイス２１０等でユーザに提示することにより、Ｓ６１２で学習済みモデル１１５が更新されたことを、情報処理システム１００を利用するユーザに対して通知する。

【0082】

ここで、Ｓ６０１の処理の詳細について、図７を用いて説明する。図７は、文書画像データ１１３からの項目値抽出に失敗した際の失敗内容を検知する処理を示すフローチャートである。

【0083】

Ｓ７０１において、ＣＰＵ２３１は、情報処理サーバ１０３内のストレージ２６５から、抽出対象候補となる文字列データを取得する。

【0084】

Ｓ７０２において、ＣＰＵ２３１は、情報処理サーバ１０３内のストレージ２６５から、抽出対象の文字列データを取得する。

【0085】

Ｓ７０３において、ＣＰＵ２３１は、Ｓ７０１で取得した抽出対象候補となる文字列データの項目（抽出対象項目）毎に、Ｓ７０４～Ｓ７０８の処理を実行する。

【0086】

Ｓ７０４において、ＣＰＵ２３１は、Ｓ７０３で指定された抽出対象項目について、Ｓ７０２で取得した文字列データが、Ｓ７０１で取得した文字列データと同一か否かを判定する。ＣＰＵ２３１は、Ｓ７０２で取得した文字列データが、Ｓ７０１で取得した文字列と同一の場合（Ｓ７０４でＹＥＳ）はＳ７０７に移行し、Ｓ７０１で取得した文字列データと異なる場合（Ｓ７０４でＮＯ）は処理を終了する。

【0087】

Ｓ７０７において、ＣＰＵ２３１は、Ｓ７０４でＹＥＳと判定された抽出対象項目の項目名を、失敗項目名としてストレージ２３５に保存する。失敗項目名は、失敗項目名を管理する目的で用いられ、例えば、配列の形式で保存される。尚、失敗項目名を管理できれば、保存時の形式は何でもよい。

【0088】

Ｓ７０８において、ＣＰＵ２３１は、Ｓ７０１で取得した抽出対象候補の文字列データの項目全てに対して処理を終了したかを判定し、全ての項目に対して終了したと判定されるまで、Ｓ７０３～Ｓ７０８の処理を繰り返す。

【0089】

次に、Ｓ６０１で検知された失敗項目名に基づきＳ６０２で実施する処理の詳細について、図８を用いて説明する。図８は、文書画像データ１１３からの項目値抽出に失敗した要因をＳ６０１で検知された失敗項目名から分析する処理を示すフローチャートである。

【0090】

Ｓ８０１において、ＣＰＵ２３１は、ストレージ２３５から失敗項目名を取得する。

【0091】

Ｓ８０２において、ＣＰＵ２３１は、文書画像データ１１３の文書レイアウトが未知のレイアウトか否か判定する。ＣＰＵ２３１は、文書画像データ１１３の文書レイアウトが、既知のレイアウトの場合（Ｓ８０２でＮＯ）はＳ８０３に移行し、未知のレイアウトの場合（Ｓ８０２でＹＥＳ）はＳ８０４に移行する。尚、文書画像データ１１３のレイアウト情報は、文書画像データ１１３内の各サブテンプレートの領域の配置位置を保持するものであり、ストレージ２３５に、データベースとして複数パターンが保存されている。サブテンプレートとは、文書内に含まれる各構成要素を示すものであり、例えば、図１２において、発行先情報をひとまとめにした領域１２１０や、図１３の１３０１、１３１１に示す「発行日」「文書番号」などのまとまりを指す。ここで、未知のレイアウトか否かの判定例について、図１４を用いて説明する。ストレージ２３５上に、レイアウト情報１４１０が保存されているとする。このとき、文書画像データ１１３上の領域毎のサブテンプレートとレイアウト情報１４１０に規定された領域毎のサブテンプレートとについて配置位置が対応するもの同士を比較することで、文書画像データ１１３のレイアウトが未知か否かを判定する。図１４に示す例では、文書画像データ１１３上の発行日を含む画像領域１４０１と、文書番号を含む画像領域１４０２とは左右に並んでいるが、レイアウト情報１４１０上の発行日の領域１４１１と、文書番号の領域１４１２とは上下に並んでいる。すなわち、文書画像データ１１３は、レイアウト情報１４１０と異なるレイアウトであるため、レイアウト情報が他に無ければ、文書画像データ１１３の文書レイアウトを未知のレイアウトと判定する。尚、未知のレイアウトか否かの判定処理について、詳細は、図１６を用いて後述する。

【0092】

Ｓ８０３において、ＣＰＵ２３１は、レイアウトに関する分析結果について「既知」であるという情報を、ストレージ２３５に保存する。本実施形態では具体的に、分析結果を管理する連想配列を用意し、その配列の「レイアウト」キーに対する値として「既知」という文字列を追加している。しかし、レイアウトに関する分析結果を管理できれば、保存時の形式は何でもよい。

【0093】

Ｓ８０４において、ＣＰＵ２３１は、レイアウトに関する分析結果について「未知」であるという情報を、ストレージ２３５に保存する。本実施形態では具体的に、分析結果を管理する連想配列を用意し、その配列の「レイアウト」キーに対する値として「未知」という文字列を追加している。しかし、Ｓ８０３と同様、レイアウトに関する分析結果を管理できれば、保存時の形式は何でもよい。

【0094】

Ｓ８０５において、ＣＰＵ２３１は、Ｓ８０１で取得した失敗項目の１つを選択して、選択した失敗項目に対してＳ８０６～Ｓ８０９の処理を実行する。

【0095】

Ｓ８０６において、ＣＰＵ２３１は、Ｓ７０１で取得した抽出対象候補となる文字列データが、空文字列データかどうか判定する。尚、Ｓ７０１で取得した抽出対象候補となる文字列データが空文字列データであるとは、図１５（ａ）に示す文字番号の抽出対象候補となる文字列データ１５０１のように、抽出対象項目である文字番号に対して何も抽出がされていない状態を指す。ＣＰＵ２３１は、Ｓ７０１で取得した抽出対象候補となる文字列データが空文字列データの場合（Ｓ８０６でＮＯ）はＳ８０７に移行し、空文字列データでない場合（Ｓ８０６でＹＥＳ）はＳ８０８に移行する。

【0096】

Ｓ８０７において、ＣＰＵ２３１は、Ｓ８０５で選択された失敗項目の１つに対して、抽出された抽出対象候補となる文字列データが「誤抽出」であるという情報をストレージ２３５に保存する。本実施形態では具体的に、分析結果を管理する連想配列を用意し、その配列のキーとしてＳ８０５で選択した失敗項目の項目名、値として「誤抽出」という文字列を追加している。しかし、Ｓ８０５で取得した失敗項目の１つに関する分析結果として失敗項目の項目名と値とを対応付けて管理できれば、保存時の形式は何でもよい。

【0097】

Ｓ８０８において、ＣＰＵ２３１は、Ｓ８０５で選択した失敗項目の１つに対する分析結果として、抽出された抽出対象候補となる文字列データが「未抽出」であるという情報をストレージ２３５に保存する。本実施形態では具体的に、分析結果を管理する連想配列を用意し、その配列のキーとしてＳ８０５で取得した失敗項目の項目名、値として「未抽出」という文字列を追加している。しかし、Ｓ８０７と同様、Ｓ８０５で取得した失敗項目の１つに関する分析結果として失敗項目の項目名と値とを対応付けて管理できれば、保存時の形式は何でもよい。

【0098】

Ｓ８０９において、ＣＰＵ２３１は、Ｓ８０１で取得した失敗項目全てに対する処理を終了したかを判定し、取得した失敗項目全てに対して処理が終了したと判定されるまで、Ｓ８０５～Ｓ８０９の処理を繰り返す。

【0099】

Ｓ８１０において、ＣＰＵ２３１は、Ｓ８０７及びＳ８０８で保存した失敗項目毎の分析結果をまとめて項目抽出に関する分析結果としてストレージ２３５に保存する。本実施形態では具体的に、分析結果を管理する連想配列を用意し、その配列の「項目抽出」キーに対する値として、抽出対象項目毎の項目値に関する分析結果である項目抽出配列を追加している。しかし、Ｓ８０３と同様、項目値に関する分析結果を管理できれば、保存時の形式は何でもよい。

【0100】

ここで、Ｓ８０２における、未知のレイアウトかどうか判定する処理について、図１６を用いて説明する。未知のレイアウトか否か判定する処理は、文書画像１１００に含まれる各項目の文字列の領域の配置位置と、文書画像１１００のレイアウト情報について、領域の一致率で判定する。図１６は、レイアウトの一致率を算出する方法について説明する図である。

【0101】

まず、図１６（ａ）における文書画像１１００に含まれる項目の文字列の画像領域として、文書名画像領域１６０１、文書番号画像領域１６０２がある。これらの領域を、テンプレート１４１０内のテンプレート内文書名領域１６１１、テンプレート内文書番号領域１４１２とそれぞれ一致率を取得する。まず、図１６（ｂ）のように、文書名画像領域１６０１と、テンプレート文書名領域１６１１とを比較する。この場合、文書名画像領域１６０１は、テンプレート文書名領域１６１１に包含されているため、一致率は１００％である。次に、図１６（ｃ）のように、文書番号画像領域１６０２と、テンプレート文書番号領域１４１２とを比較する。この場合、文書番号画像領域１６０２のうち、テンプレート文書番号領域１４１２と重複する領域の割合を一致率とする。例えば、それぞれの領域の座標が図１６（ｄ）で示す左上頂点の位置及び各辺の長さを有する場合、文書番号画像領域１６０２の面積はｗ２×ｈ２＝３００００である。また、それぞれの領域が重複する領域の面積は幅が３００、高さ５０のため、３００×５０＝１５０００である。そのため、一致率は１５０００÷３００００×１００＝５０％となる。全項目の文字列の画像領域に対してテンプレート内の対応する領域との一致率の算出を行い、算出した一致率の総和の平均が所定の閾値未満の場合、未知のレイアウトであると判定する。閾値は一例として７５％であるが、任意の値でよい。

【0102】

ここで、Ｓ６０３の処理の詳細について、図９を用いて説明する。図９は、文書画像の生成に際し、要因の分析結果を取り込むフローチャートである。

【0103】

Ｓ９０１において、ＣＰＵ２３１は、Ｓ６０２でストレージ２３５に保存した、分析結果を取得する。

【0104】

Ｓ９０２において、ＣＰＵ２３１は、Ｓ９０１で取得した分析結果のうち、文書画像データ１１３の文書レイアウトに関する分析結果が未知かどうか判定する。ＣＰＵ２３１は、文書画像データ１１３の文書レイアウトが未知の場合（Ｓ９０２でＹＥＳ）はＳ９０３に移行し、既知の場合（Ｓ９０２でＮＯ）はＳ９０４に移行する。

【0105】

Ｓ９０３において、ＣＰＵ２３１は、文書画像データ１１３の文書レイアウトをデータベースに追加する。追加する処理について、具体的な例として、図１４を用いて説明する。ストレージ２３５上に、レイアウト情報１４１０が登録されているレイアウトデータベースが存在し、そのレイアウトデータベースにレイアウトが未知と分析された文書画像データ１１３の文書レイアウト情報１４２０を登録する。

【0106】

Ｓ９０４において、ＣＰＵ２３１は、ＣＰＵ２３１は、Ｓ８０１で取得した失敗項目毎に、Ｓ９０５～Ｓ９１２の処理を実行する。

【0107】

Ｓ９０５において、ＣＰＵ２３１は、Ｓ９０１で取得した分析結果のうち、失敗項目の項目名に対応付けられた値が何かを判定する。ＣＰＵ２３１は、分析結果として項目名に対応付けられた値が「誤抽出」の場合（Ｓ９０５で「誤抽出」）はＳ９０６に移行し、分析結果として項目名に対応付けられた値が「未抽出」の場合（Ｓ９０５で「未抽出」）はＳ９０７に移行する。

【0108】

Ｓ９０６において、ＣＰＵ２３１は、Ｓ７０１で取得した抽出対象候補となる文字列データの項目名が未知か否か判定する。ＣＰＵ２３１は、抽出対象候補となる文字列データの項目名が未知の場合（Ｓ９０６でＹＥＳ）はＳ９０９に移行し、既知の場合（Ｓ９０６でＮＯ）はＳ９０８に移行する。Ｓ７０１で取得した抽出対象候補となる文字列データの項目名が未知か否かを判定する処理は、その文字列データが、図１３（ｂ）に示すような抽出対象外項目名データベース１３１０内に保存されているか否かで判定する。具体的な例について、図１５（ｂ）を用いて説明する。

【0109】

図１５（ｂ）は、Ｓ９０１で取得した分析結果のうち、分析結果として項目名に対応付けられた値が「誤抽出」の場合の、対応パターンの具体例を示す図である。ストレージ２３５上には、予め、図１３（ｂ）内のような抽出対象外項目名データベース１３１０が保存されている。抽出対象外項目名データベース１３１０は、図１５（ｂ）に示すように、抽出対象外の項目名１３１３それぞれに対する出現確率１５６１を記載した詳細データ１５７１、１５７３を含む。尚、抽出対象外の項目名の１つについて、出現確率１の場合はその項目名が必ず選択され、０の場合はその項目名が選択されることはない。ここでＳ７０１において取得した抽出対象候補となる文字列データの項目名が、「Ｔｏｔａｌ Ｂｅｆｏｒｅ ＶＡＴ」の場合について考える。詳細データ１５７１であれば、項目名１３１３に「Ｔｏｔａｌ Ｂｅｆｏｒｅ ＶＡＴ」は含まれていないため、Ｓ７０１で取得した抽出対象候補となる文字列データの項目名が未知（Ｓ９０６でＹＥＳ）と判定する。一方、詳細データ１５７３であれば、項目名１３１３に「Ｔｏｔａｌ Ｂｅｆｏｒｅ ＶＡＴ」は含まれているため、Ｓ７０１で取得した抽出対象候補となる文字列データの項目名が既知（Ｓ９０６でＮＯ）と判定する。

【0110】

Ｓ９０７において、ＣＰＵ２３１は、Ｓ７０２で取得した抽出対象の文字列データの項目名が未知か否か判定する。ＣＰＵ２３１は、Ｓ７０２で取得した抽出対象の文字列データの項目名が未知の場合（Ｓ９０７でＹＥＳ）はＳ９１１に移行し、既知の場合（Ｓ９０６でＮＯ）はＳ９１０に移行する。Ｓ７０２で取得した抽出対象の文字列データの項目名が未知か否かを判定する処理は、その項目名が、図１３（ａ）に示すような抽出対象項目名データベース１３００内に保存されているか否かで判定する。具体的に、図１５（ａ）を用いて説明する。具体的な例について、図１５（ａ）を用いて説明する。

【0111】

図１５（ａ）は、Ｓ９０１で取得した分析結果のうち、分析結果として項目名に対応付けられた値が「未抽出」の場合の、対応パターンの具体例を示す図である。ストレージ２３５上には、予め、図１３（ａ）内のような抽出対象項目名データベース１３００が保存されている。抽出対象項目名データベース１３００は、図１５（ａ）に示すように、抽出対象の項目名１３０３それぞれに対する出現確率１５１１を記載した詳細データ１５２１、１５２３を含む。ここで、Ｓ７０２で取得した抽出対象の文字列データの項目名が、「Ｉｎｖｏｉｃｅ＃」の場合について考える。詳細データ１５２１であれば、項目名１３０３に「Ｉｎｖｏｉｃｅ＃」は含まれていないため、Ｓ７０２で取得した抽出対象の文字列データの項目名が未知（Ｓ９０７でＹＥＳ）と判定する。一方、詳細データ１５２３であれば、項目名１３０３に「Ｉｎｖｏｉｃｅ＃」は含まれているため、Ｓ７０２で取得した抽出対象の文字列の項目名が既知（Ｓ９０７でＮＯ）と判定する。

【0112】

Ｓ９０８において、ＣＰＵ２３１は、抽出対象外項目名として生成時に出現する確率を上げる。具体的な例について、図１５（ｂ）を用いて説明する。Ｓ９０８は、詳細データ１５７３に基づき処理を行う場合に該当し、詳細データ１５７３において「Ｔｏｔａｌ Ｂｅｆｏｒｅ ＶＡＴ」の出現確率１５７５は０．２であるため、０．４（出現確率１５８５）へ引き上げる。この例では０．２だけ出現確率を上げているが、出現確率の引き上げ幅については、例えば、開発者が予め任意の引き上げ幅を設定しておいてもよいし、出現確率を自動で調整する第２の情報処理システムを介して決定してもよい。そして、出現確率変更前の詳細データ１５７３はストレージ２３５上に保存されているため、詳細データ１５７３を出現確率変更後の詳細データ１５８３へ置き換える。

【0113】

Ｓ９０９において、ＣＰＵ２３１は、抽出対象外項目名として、図１３（ｂ）に示すような抽出対象外項目名データベースに追加する。具体的に、図１５（ｂ）に示す例を用いて説明する。Ｓ９０９は、詳細データ１５７１に基づき処理を行う場合に該当する。詳細データ１５７１において「Ｔｏｔａｌ Ｂｅｆｏｒｅ ＶＡＴ」は項目名１３０３に含まれていない（１５７２）ため、詳細データ１５７１に項目名「Ｔｏｔａｌ Ｂｅｆｏｒｅ ＶＡＴ」を追記する（１５８２）。追記後の詳細データ１５８１の出現確率は０．１としているが、追記時に設定する出現確率の引き上げ幅については、例えば、開発者が予め任意の引き上げ幅を設定しておいてもよいし、複数の文書画像データ１１３を自動ないし手動で解析してもよい。そして、追記前の詳細データ１５７１はストレージ２３５上に保存されているため、詳細データ１５７１を追記後の詳細データ１５８１へ置き換える。

【0114】

Ｓ９１０において、ＣＰＵ２３１は、抽出対象項目名として生成時に出現する確率を上げる。具体的な例について、図１５（ａ）を用いて説明する。Ｓ９１０は、詳細データ１５２３に基づき処理を行う場合に該当し、詳細データ１５２３において「Ｉｎｖｏｉｃｅ＃」の出現確率１５２５は０．２であるため、０．４（出現確率１５３５）へ引き上げる。この例では０．２だけ出現確率を上げているが、出現確率の引き上げ幅については、例えば、開発者が予め任意の引き上げ幅を設定しておいてもよいし、出現確率を自動で調整する第２の情報処理システムを介して決定してもよい。そして、出現確率変更前の詳細データ１５２３はストレージ２３５上に保存されているため、詳細データ１５２３を出現確率変更後の詳細データ１５３３へ置き換える。

【0115】

Ｓ９１１において、ＣＰＵ２３１は、抽出対象項目名として、図１３（ａ）に示すような抽出対象項目名データベースに追加する。具体的に、図１５（ａ）に示す例を用いて説明する。Ｓ９１１は、詳細データ１５２１に基づき処理を行う場合に該当し、詳細データ１５２１において「Ｉｎｖｏｉｃｅ＃」は項目名１３０３に含まれていない（１５２２）ため、詳細データ１５２１に項目名「Ｉｎｖｏｉｃｅ＃」を追記する（１５３２）。追記後の詳細データ１５３１の出現確率は０．１としているが、追記時に設定する出現確率の引き上げ幅については、例えば、開発者が予め任意の引き上げ幅を設定しておいてもよいし、複数の文書画像データ１１３を自動ないし手動で解析してもよい。そして、追記前の詳細データ１５２１はストレージ２３５上に保存されているため、詳細データ１５２１を追記後の詳細データ１５３１へ置き換える。

【0116】

Ｓ９１２において、ＣＰＵ２３１は、Ｓ８０１で取得した失敗項目すべてに対する処理を終了したかを判定し、すべての項目名に対して終了したと判定されるまで、Ｓ９０４～Ｓ９１２の処理を繰り返す。

【0117】

ここで、Ｓ６０４の処理の詳細について、図１０を用いて説明する。図１０は、学習データセットを生成する処理を示すフローチャートである。

【0118】

Ｓ１００１において、ＣＰＵ２３１は、擬似的な文書画像サンプルを生成する枚数を取得する。例えば、予めストレージ２３５に保持した値を取得する。

【0119】

Ｓ１００２において、ＣＰＵ２３１は、生成枚数分の擬似的な文書画像サンプルの生成を実行する。

【0120】

Ｓ１００３において、ＣＰＵ２３１は、ストレージ２３５に予め保持された複数のレイアウトからランダムに１つのレイアウトを選択する。

【0121】

Ｓ１００４において、ＣＰＵ２３１は、Ｓ１００３で選択したレイアウト内に存在するサブテンプレート毎に、Ｓ１００５～Ｓ１０１１の処理を実行する。

【0122】

Ｓ１００５において、ＣＰＵ２３１は、Ｓ１００４で選択されたサブテンプレート内に存在する項目毎に、Ｓ１００６～Ｓ１０１０の処理を実行する。

【0123】

Ｓ１００６において、ＣＰＵ２３１は、Ｓ１００５で選択された項目の項目名を決定する。項目名の文字列は、図１３に示す抽出対象項目名データベース１３００、抽出対象外項目名データベース１３１０における項目名１３０３、１３１３の候補からランダムに１つ選択する。尚、項目名１３０３、１３１３の候補には、空文字を含んでも良い。空文字が選択された場合は、項目名が表記されないことを意味する。

【0124】

Ｓ１００７において、ＣＰＵ２３１は、Ｓ１００５で選択された項目の値を決定する。項目の値である文字列は、図１３の抽出対象項目名データベース１３００における、対応する項目値例に挙げられた候補からランダムに１つ選択したもの、又はデータベースを参照せずランダムに生成した数字列や文字列とすることができる。

【0125】

Ｓ１００８において、ＣＰＵ２３１は、Ｓ１００６とＳ１００７で決定した文字列を、Ｓ１００５で指定した項目に対応するサブテンプレート内に配置する。具体的な例として、図１２を用いる。サブテンプレート内への配置は、擬似的な文書画像サンプル１２００内の発行先情報を示すサブテンプレートの領域１２１０内に文字列１２１１、１２１２を配置することで実現される。尚、文字列１２１１はＳ１００６で決定した項目名である文字列であり、文字列１２１２はＳ１００７で決定した項目の値である文字列データである。

【0126】

Ｓ１００９において、ＣＰＵ２３１は、Ｓ１００６で決定した項目名が抽出対象の項目名である場合のみ、抽出対象の項目名とＳ１００７で決定した項目の値及び位置情報とを関連付けて正解データとして登録する。尚、ここでの抽出対象の項目名とは、Ｓ１００６での項目名の決定時に用いられる、図１３に示すような抽出対象項目名データベース１３００に登録されている項目名のことである。

【0127】

Ｓ１０１０において、ＣＰＵ２３１は、Ｓ１００４で選択されたサブテンプレート内に存在する全ての項目に対する処理が終了したか否かを判定し、全ての項目に対して終了したと判定されるまで、Ｓ１００５～Ｓ１０１０の処理を繰り返す。

【0128】

Ｓ１０１１において、ＣＰＵ２３１は、Ｓ１００３で選択されたレイアウト内に存在する全てのサブテンプレートに対する処理が終了したか否かを判定し、全てのサブテンプレートに対して終了したと判定されるまで、Ｓ１００４～Ｓ１０１１の処理を繰り返す。全てのサブテンプレートに対する処理が終了すると、図１２（ａ）に示すような擬似的な文書画像サンプル１２００が得られる。

【0129】

Ｓ１０１２において、ＣＰＵ２３１は、S１００１で取得した生成枚数に達するまでＳ１００２に戻り、取得した生成枚数に達すると処理を終了する。

【0130】

以上により、データオーグメンテーションに用いるデータベースを認識に失敗した要因に応じて変更することで、認識精度の改善度の高い学習データセットを生成することができ、より少量の学習データセットによる、より短時間での学習を実現できる。尚、文書画像データ１１３及びデータオーグメンテーション処理により生成される擬似文書データは、本実施形態では帳票画像としたが、文書の種類は帳票に限定されず、データの種類も画像に限定されない。例えば、文書画像データ１１３や擬似文書データを文字列データと位置情報を含むＰＤＬデータなどとしてもよい。

【0131】

また、本実施形態では、複製モデルの再学習に擬似文書データを用いたが、項目値抽出に失敗した文書画像データ１１３を再学習に用いてもよい。文書画像データ１１３を再学習に用いた場合、Ｓ３１７において学習済みモデル候補の評価には再学習に用いていない擬似文書データを用いることとする。

【0132】

［実施形態２］
実施形態１では、ユーザが項目値抽出に失敗した文書画像データ１１３を用いて、学習済みモデル候補を評価した（Ｓ３１７）。実施形態２では、ユーザが過去に入力した文書画像データ１１３の情報を保管しておき、これも用いて、学習済みモデル１１５を評価する（Ｓ１８０２）。実施形態２は、実施形態１における図３、図５及び図６を、図１８～図２０に置き換えることで実現できる。実施形態２において、これ以外の点は実施形態１と同様のため、説明は省略する。

【0133】

＜利用シーケンス＞
図１８は、実施形態２における情報処理システムの利用シーケンスを示す図である。尚、図１８のうち、図３の利用シーケンスと同符号の処理は、実施形態１と同様のため説明は省略する。

【0134】

Ｓ１８０１において、情報処理サーバ１０３は、Ｓ３０６で送信された文書画像データ１１３と、Ｓ３０９で送信されたユーザにより確定された抽出対象の文字列データを、学習装置１０２に送信し、学習装置１０２内のストレージ２３５に保存する。

【0135】

Ｓ１８０２において、学習装置１０２は、学習装置１０２内のストレージ２３５から、Ｓ１８０１で保存された文書画像データ１１３及び確定された抽出対象の文字列データを取得する。ここで取得するデータには、ユーザが過去に入力した文書画像データも含まれる。取得した文書画像データ１１３それぞれから文字列データを取得し、Ｓ３１６で生成した学習済みモデル候補を用いて、抽出対象候補の文字列データを抽出する。学習装置１０２は、Ｓ３１６で生成した学習済みモデル候補による抽出対象候補の文字列データが、取得した確定された抽出対象の文字列データと同一か否かを確認する。学習装置１０２は、抽出対象候補の文字列データが、確定された抽出対象の文字列データと同一の場合はＳ３１８に移行し、確定された抽出対象の文字列データと異なる場合はＳ３１４に移行する。

【0136】

＜項目値候補文字列の抽出・修正処理＞
図１９は、実施形態２における、項目値候補となる文字列データを推定し、その修正をユーザから受け付ける処理を示すフローチャートである。尚、図１９で示す各ステップの実行プログラムは、情報処理サーバ１０３のＲＯＭ２６２、ＲＡＭ２６４、ストレージ２６５のいずれかに記憶され、情報処理サーバ１０３のＣＰＵ２６１によって実行される。また、図１９のうち、図５のフローチャートと同符号の処理は、実施形態１と同様のため説明は省略する。

【0137】

Ｓ１９０１において、ＣＰＵ２６１は、Ｓ５０２で取得した文書画像データ１１３と、Ｓ５０６でユーザによって確定された抽出対象の文字列データを、学習装置１０２へ送信し、学習装置１０２内のストレージ２３５に保存する。

【0138】

＜項目値抽出モデルの更新処理＞
図２０は、実施形態２における、学習済みモデルにユーザによる修正内容を反映する処理を示すフローチャートである。尚、図２０で示す各ステップの実行プログラムは、学習装置１０２のＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５のいずれかに記憶され、学習装置１０２のＣＰＵ２３１、ＧＰＵ２３２のいずれかによって実行される。また、図２０のうち、図６のフローチャートと同符号の処理は、実施形態１と同様のため説明は省略する。

【0139】

Ｓ２００１において、ＣＰＵ２３１は、ストレージ２３５から文書画像データを取得する。尚、ここで取得される文書画像データには、ユーザが過去に情報処理装置１０１を用いて入力した文書画像データも含まれる。

【0140】

Ｓ２００２において、ＣＰＵ２３１は、Ｓ２００１で取得した各文書画像データに対して、Ｓ６０７、Ｓ６０８、Ｓ２００３の処理を実行する。

【0141】

Ｓ２００３において、ＣＰＵ２３１は、Ｓ２００１で取得した文書画像データ全てに対する処理を終了したか否かを判定し、全ての文書画像データに対して処理を終了したと判定されるまで、Ｓ２００２、Ｓ６０７、Ｓ６０８、Ｓ２００３の処理を繰り返す。

【0142】

Ｓ２００４において、ＣＰＵ２３１は、全ての抽出対象項目について、Ｓ２００３で取得した文字列データが、ストレージ２３５から取得した抽出対象の文字列データと同一か否かを確認する。ＣＰＵ２３１は、Ｓ２００３で取得した文字列データ全てにおいて、全ての抽出対象項目で同一の場合（Ｓ２００４でＹＥＳ）、Ｓ６１２に移行する。また、ＣＰＵ２３１は、Ｓ２００３で取得した文字列データのうち、１つ以上の対象項目で異なる文字列データが存在する場合（Ｓ２００４でＮＯ）、Ｓ６１０に移行する。尚、Ｓ２００４でＹＥＳとする条件は、Ｓ２００３で取得した文字列データ全てが全ての抽出対象項目で同一でなくとも良い。例えば、Ｓ２００３で取得した文字列データ全体のうちで、全ての抽出対象項目で同一だった文字列データの割合が、予め設定された割合以上であることをＳ２００４でＹＥＳとする条件としても良い。他にも、Ｓ２００３で取得した文字列データそれぞれにおいて、全ての抽出対象項目で同一だった場合は１、１つ以上の対象項目で異なる場合は0として、その値の平均をとり、予め設定された平均値以上であることを条件としても良い。尚、平均をとる際には、算術平均でもよいし、Ｓ２００３で取得した文字列データそれぞれに対して、優先度の重みづけをした加重平均でもよい。優先度の重みづけとして、例えば、ユーザが入力した時期が古い文書画像データほど優先度が低いため重みを小さくすることなどが考えられる。優先度の重みづけとして他にも、図１６で示すレイアウトの一致率に基づき同一帳票数を算出し、同一帳票数が多い文書画像データほど優先度が高いため重みを大きくすることなども考えられる。

【0143】

以上により、ユーザが過去に入力した文書画像データも用いて、項目値抽出を行うための学習済みモデルを評価・分析することで、ユーザが過去に入力した文書画像データについても対応できる学習済みモデルへ更新することができる。すなわち、更新された学習済みモデルでは、ユーザが過去に入力した文書画像データの類似文書画像データ（擬似文書データ）に対しても高精度な項目値抽出ができるようになる。実在した原稿に類似する文書画像データは、将来的にユーザによって入力される可能性が高いため、実在した原稿に関するデータを多く学習させることで学習済みモデルの推論精度の向上に繋がる。

【0144】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0145】

本開示は、以下の構成及び方法を含む。
［構成１］
入力された文書データに対して固有表現抽出を行う学習モデルが前記入力された文書データに対する固有表現抽出に失敗した場合、前記入力された文書データの擬似文書データを生成する生成手段と、
前記生成手段により生成された擬似文書データ及び／又は前記固有表現抽出に失敗した前記入力された文書データと、正解データとの対から成る学習データに基づき前記学習モデルの再学習を行う学習手段と、
を備え、
前記生成手段は、前記擬似文書データを生成する際に前記失敗した抽出対象項目が選択される確率を高める、
ことを特徴とする情報処理装置。
［構成２］
前記学習手段は、前記学習モデルの複製モデルに対して前記再学習を行い、前記学習データに含まれない前記擬似文書データ及び／又は前記固有表現抽出に失敗した前記入力された文書データに対する前記再学習を行った複製モデルによる固有表現抽出に成功した場合、前記再学習を行った複製モデルで前記学習モデルを更新する、
ことを特徴とする構成１に記載の情報処理装置。
［構成３］
前記生成手段は、前記学習データに含まれない擬似文書データ又は前記入力された文書データに対する前記再学習を行った複製モデルによる固有表現抽出に失敗した場合、前記固有表現抽出に失敗した前記入力された文書データに基づき別の擬似文書データを生成し、
前記学習手段は、前記別の擬似文書データと、正解データとの対から成る学習データに基づき前記学習モデルの再学習を行う、
ことを特徴とする構成１又は２に記載の情報処理装置。
［構成４］
前記学習手段は、前記学習モデルによる固有表現抽出に失敗した入力された文書データ及び過去の入力された文書データに対する前記再学習を行った複製モデルによる固有表現抽出に成功した場合、前記再学習を行った複製モデルで前記学習モデルを更新する、
ことを特徴とする構成１乃至３のいずれか１項に記載の情報処理装置。
［構成５］
前記学習手段は、前記学習モデルによる固有表現抽出に失敗した入力された文書データ及び前記学習データに含まれない擬似文書データに対する前記再学習を行った複製モデルによる固有表現抽出に成功した場合、前記再学習を行った複製モデルで前記学習モデルを更新する、
ことを特徴とする構成１又は２に記載の情報処理装置。
［構成６］
前記学習手段は、前記学習データに含まれない擬似文書データに対する前記再学習を行った複製モデルによる固有表現抽出に成功した場合、前記再学習を行った複製モデルで前記学習モデルを更新する、
ことを特徴とする構成１乃至３のいずれか１項に記載の情報処理装置。
［構成７］
前記学習モデルは、対象となる文書画像データに含まれる複数の文字列の中から、予め定められた項目に対応する項目値の候補となる文字列データを抽出する学習モデルである、
ことを特徴とする構成１乃至６のいずれか１項に記載の情報処理装置。
［構成８］
前記生成手段は、抽出対象の項目に対応する項目値が未抽出又は誤抽出であった場合、当該抽出対象の項目の出現確率を高める、
ことを特徴とする構成７に記載の情報処理装置。
［構成９］
前記生成手段は、抽出対象の項目に対応する項目値が未抽出又は誤抽出で、かつ、当該抽出対象の項目の出現確率が登録されていない場合、当該抽出対象の項目名と当該抽出対象の項目の出現確率とを関連付けて登録する、
ことを特徴とする構成８に記載の情報処理装置。
［構成１０］
学習モデルを用いて入力された文書データから固有表現抽出を行う情報処理サーバと、
前記学習モデルの学習を行う学習装置と、
を備え、
前記学習装置は、
入力された文書データに対して固有表現抽出を行う学習モデルが前記入力された文書データに対する固有表現抽出に失敗した場合、前記入力された文書データの擬似文書データを生成する生成手段と、
前記生成手段により生成された擬似文書データ及び／又は前記固有表現抽出に失敗した前記入力された文書データと、正解データとの対から成る学習データに基づき前記学習モデルの再学習を行う学習手段と、
を含み、
前記生成手段は、前記擬似文書データを生成するために前記失敗した抽出対象項目が選択される確率を高める、
ことを特徴とする情報処理システム。
［構成１１］
入力された文書データに対して固有表現抽出を行う学習モデルが前記入力された文書データに対する固有表現抽出に失敗した場合、前記入力された文書データの擬似文書データを生成するステップと、
前記生成するステップにより生成された擬似文書データ及び／又は前記固有表現抽出に失敗した前記入力された文書データと、正解データとの対から成る学習データに基づき前記学習モデルの再学習を行うステップと、
を有し、
前記生成するステップでは、前記擬似文書データを生成する際に前記失敗した抽出対象項目が選択される確率を高める、
ことを特徴とする情報処理方法。
［構成１２］
コンピュータを構成１乃至９のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】