特許 7464903 学習用データセット生成システム、学習用データセット生成サーバーおよび学習用データセット生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-02

(45)【発行日】2024-04-10

(54)【発明の名称】学習用データセット生成システム、学習用データセット生成サーバーおよび学習用データセット生成プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240403BHJP

   G06T 7/00 20170101ALI20240403BHJP

【ＦＩ】

G06N20/00 130

G06T7/00 350B

【請求項の数】 5

(21)【出願番号】P 2020026223

(22)【出願日】2020-02-19

(65)【公開番号】P2021131678

(43)【公開日】2021-09-09

【審査請求日】2023-01-30

(73)【特許権者】

【識別番号】000006150

【氏名又は名称】京セラドキュメントソリューションズ株式会社

(74)【代理人】

【識別番号】100140796

【弁理士】

【氏名又は名称】原口 貴志

(72)【発明者】

【氏名】堤 匡史

【審査官】坂庭 剛史

(56)【参考文献】

【文献】特開２０１９－１０９５６２（ＪＰ，Ａ）

【文献】特開２０１６－０７１４１２（ＪＰ，Ａ）

【文献】特開２０１９－１５９５７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

文書の画像としての文書画像を分類してラベルを付与するための推論モデルとしての文書分類用推論モデルの学習用データセットを生成する学習用データセット生成システムであって、
前記学習用データセットは、前記ラベルが付与された前記文書画像を含み、
前記学習用データセット生成システムは、複数の前記文書画像を、前記文書画像の特徴量に基づいてクラスタリングすることによって、複数のクラスターに分け、前記クラスターに所属する前記文書画像の中から前記クラスター毎にトレーニングデータを選定し、全ての前記クラスターの前記トレーニングデータで学習することによって、前記文書画像をフォーム毎に分類するための推論モデルとしての画像分類用推論モデルを生成し、
前記学習用データセット生成システムは、前記文書画像を前記画像分類用推論モデルで推論して確信度を出し、前記文書画像に対する前記確信度が特定の値以上であるフォームを、この文書画像の前記フォームとして確定し、
前記学習用データセット生成システムは、前記フォームが同一である前記文書画像同士に同一の前記ラベルを付与させるＵＩを提供することを特徴とする学習用データセット生成システム。

【請求項2】

前記ＵＩは、前記フォームは同一であるが前記ラベルは互いに異なる複数の前記文書画像の前記ラベルを修正させるものであることを特徴とする請求項１に記載の学習用データセット生成システム。

【請求項3】

前記ＵＩは、前記フォームが同一である複数の前記文書画像に一括で同一の前記ラベルを付与させるものであることを特徴とする請求項１に記載の学習用データセット生成システム。

【請求項4】

文書の画像としての文書画像を分類してラベルを付与するための推論モデルとしての文書分類用推論モデルの学習用データセットを生成する学習用データセット生成サーバーであって、
前記学習用データセットは、前記ラベルが付与された前記文書画像を含み、
前記学習用データセット生成サーバーは、複数の前記文書画像を、前記文書画像の特徴量に基づいてクラスタリングすることによって、複数のクラスターに分け、前記クラスターに所属する前記文書画像の中から前記クラスター毎にトレーニングデータを選定し、全ての前記クラスターの前記トレーニングデータで学習することによって、前記文書画像をフォーム毎に分類するための推論モデルとしての画像分類用推論モデルを生成し、
前記学習用データセット生成サーバーは、前記文書画像を前記画像分類用推論モデルで推論して確信度を出し、前記文書画像に対する前記確信度が特定の値以上であるフォームを、この文書画像の前記フォームとして確定し、
前記学習用データセット生成サーバーは、前記フォームが同一である前記文書画像同士に同一の前記ラベルを付与させるＵＩを提供することを特徴とする学習用データセット生成サーバー。

【請求項5】

文書の画像としての文書画像を分類してラベルを付与するための推論モデルとしての文書分類用推論モデルの学習用データセットを生成するための学習用データセット生成プログラムであって、
前記学習用データセットは、前記ラベルが付与された前記文書画像を含み、
コンピューターは、前記学習用データセット生成プログラムを実行することによって、複数の前記文書画像を、前記文書画像の特徴量に基づいてクラスタリングすることによって、複数のクラスターに分け、前記クラスターに所属する前記文書画像の中から前記クラスター毎にトレーニングデータを選定し、全ての前記クラスターの前記トレーニングデータで学習することによって、前記文書画像をフォーム毎に分類するための推論モデルとしての画像分類用推論モデルを生成し、
前記コンピューターは、前記学習用データセット生成プログラムを実行することによって、前記文書画像を前記画像分類用推論モデルで推論して確信度を出し、前記文書画像に対する前記確信度が特定の値以上であるフォームを、この文書画像の前記フォームとして確定し、
前記コンピューターは、前記学習用データセット生成プログラムを実行することによって、前記フォームが同一である前記文書画像同士に同一の前記ラベルを付与させるＵＩを提供することを特徴とする学習用データセット生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文書を分類するための推論モデルの学習用のデータセット（以下「学習用データセット」という。）を生成する学習用データセット生成システム、学習用データセット生成サーバーおよび学習用データセット生成プログラムに関する。

【背景技術】

【0002】

従来、文書の画像（以下「文書画像」という。）の特徴量を使用してクラスタリング処理を実行することによって、文書を分類する技術が知られている（特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－０７１４１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術においては、学習用データセットに含まれている文書画像に付与されているラベルが適切ではない可能性があるという問題がある。

【0005】

以下、詳細に説明する。

【0006】

一般に、学習用データセットは、フォームが同一の文書画像に対して同一のラベルが付与されているものである。ここで、１つのラベルに対して複数のフォームが対応付けられていることもある。例えば、学習用データセットに、３０種類のラベルが含まれ、ラベル毎に１０種類のフォームが対応付けられている場合、学習用データセットの作成者は、３００種類のフォームから対象の文書画像に適切なフォームを特定し、特定したフォームに対応付けられているラベルを、対象の文書画像に付与するという作業を、学習用データセットに含める多数の文書画像に対して実行する必要がある。

【0007】

しかしながら、互いに異なるラベルに対応付けられているフォーム同士が類似している場合、学習用データセットの作成者は、誤って不適切なラベルを文書画像に付与してしまう可能性がある。また、学習用データセットの作成者は、長時間にわたる作業による疲労による集中力の低下によって、誤って不適切なラベルを文書画像に付与してしまう可能性がある。

【0008】

そこで、本発明は、学習用データセットに含まれている文書画像に付与されているラベルが適切である可能性を向上することができる学習用データセット生成システムおよび学習用データセット生成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の学習用データセット生成システムは、文書の画像としての文書画像を分類してラベルを付与するための推論モデルとしての文書分類用推論モデルの学習用データセットを生成する学習用データセット生成システムであって、前記学習用データセットは、前記ラベルが付与された前記文書画像を含み、前記学習用データセット生成システムは、複数の前記文書画像を、前記文書画像の特徴量に基づいてクラスタリングすることによって、複数のクラスターに分け、前記クラスターに所属する前記文書画像の中から前記クラスター毎にトレーニングデータを選定し、全ての前記クラスターの前記トレーニングデータで学習することによって、前記文書画像をフォーム毎に分類するための推論モデルとしての画像分類用推論モデルを生成し、前記学習用データセット生成システムは、前記文書画像を前記画像分類用推論モデルで推論して確信度を出し、前記文書画像に対する前記確信度が特定の値以上であるフォームを、この文書画像の前記フォームとして確定し、前記学習用データセット生成システムは、前記フォームが同一である前記文書画像同士に同一の前記ラベルを付与させるＵＩを提供することを特徴とする。

【0010】

この構成により、本発明の学習用データセット生成システムは、複数の文書画像を、文書画像の特徴量に基づいてクラスタリングすることによって、複数のクラスターに分け、クラスターに所属する文書画像の中からクラスター毎にトレーニングデータを選定し、全てのクラスターのトレーニングデータで学習することによって、文書画像をフォーム毎に分類するための推論モデルとしての画像分類用推論モデルを生成し、文書画像を画像分類用推論モデルで推論して確信度を出し、文書画像に対する確信度が特定の値以上であるフォームを、この文書画像のフォームとして確定し、フォームが同一である文書画像同士に同一のラベルを付与させるＵＩを提供するので、学習用データセットに含まれている文書画像に付与されているラベルが適切である可能性を向上することができる。

【0011】

本発明の学習用データセット生成システムにおいて、前記ＵＩは、前記フォームは同一であるが前記ラベルは互いに異なる複数の前記文書画像の前記ラベルを修正させるものであっても良い。

【0012】

この構成により、本発明の学習用データセット生成システムは、フォームは同一であるがラベルは互いに異なる複数の文書画像のラベルを修正させるＵＩを提供するので、学習用データセットに含まれている文書画像に適切なラベルを付与する修正の作業の負担を軽減することができ、その結果、学習用データセットの修正の作業の負担を軽減することができる。

【0013】

本発明の学習用データセット生成システムにおいて、前記ＵＩは、前記フォームが同一である複数の前記文書画像に一括で同一の前記ラベルを付与させるものであっても良い。

【0014】

この構成により、本発明の学習用データセット生成システムは、フォームが同一である複数の文書画像に一括で同一のラベルを付与させるＵＩを提供するので、文書画像に適切なラベルを付与する作業の負担を軽減することができ、その結果、学習用データセットの生成の作業の負担を軽減することができる。

【0015】

本発明の学習用データセット生成サーバーは、文書の画像としての文書画像を分類してラベルを付与するための推論モデルとしての文書分類用推論モデルの学習用データセットを生成する学習用データセット生成サーバーであって、前記学習用データセットは、前記ラベルが付与された前記文書画像を含み、前記学習用データセット生成サーバーは、複数の前記文書画像を、前記文書画像の特徴量に基づいてクラスタリングすることによって、複数のクラスターに分け、前記クラスターに所属する前記文書画像の中から前記クラスター毎にトレーニングデータを選定し、全ての前記クラスターの前記トレーニングデータで学習することによって、前記文書画像をフォーム毎に分類するための推論モデルとしての画像分類用推論モデルを生成し、前記学習用データセット生成サーバーは、前記文書画像を前記画像分類用推論モデルで推論して確信度を出し、前記文書画像に対する前記確信度が特定の値以上であるフォームを、この文書画像の前記フォームとして確定し、前記学習用データセット生成サーバーは、前記フォームが同一である前記文書画像同士に同一の前記ラベルを付与させるＵＩを提供することを特徴とする。

【0016】

この構成により、本発明の学習用データセット生成サーバーは、複数の文書画像を、文書画像の特徴量に基づいてクラスタリングすることによって、複数のクラスターに分け、クラスターに所属する文書画像の中からクラスター毎にトレーニングデータを選定し、全てのクラスターのトレーニングデータで学習することによって、文書画像をフォーム毎に分類するための推論モデルとしての画像分類用推論モデルを生成し、文書画像を画像分類用推論モデルで推論して確信度を出し、文書画像に対する確信度が特定の値以上であるフォームを、この文書画像のフォームとして確定し、フォームが同一である文書画像同士に同一のラベルを付与させるＵＩを提供するので、学習用データセットに含まれている文書画像に付与されているラベルが適切である可能性を向上することができる。

【0017】

本発明の学習用データセット生成プログラムは、文書の画像としての文書画像を分類してラベルを付与するための推論モデルとしての文書分類用推論モデルの学習用データセットを生成するための学習用データセット生成プログラムであって、前記学習用データセットは、前記ラベルが付与された前記文書画像を含み、コンピューターは、前記学習用データセット生成プログラムを実行することによって、複数の前記文書画像を、前記文書画像の特徴量に基づいてクラスタリングすることによって、複数のクラスターに分け、前記クラスターに所属する前記文書画像の中から前記クラスター毎にトレーニングデータを選定し、全ての前記クラスターの前記トレーニングデータで学習することによって、前記文書画像をフォーム毎に分類するための推論モデルとしての画像分類用推論モデルを生成し、前記コンピューターは、前記学習用データセット生成プログラムを実行することによって、前記文書画像を前記画像分類用推論モデルで推論して確信度を出し、前記文書画像に対する前記確信度が特定の値以上であるフォームを、この文書画像の前記フォームとして確定し、前記コンピューターは、前記学習用データセット生成プログラムを実行することによって、前記フォームが同一である前記文書画像同士に同一の前記ラベルを付与させるＵＩを提供することを特徴とする。

【0018】

この構成により、本発明の学習用データセット生成プログラムを実行するコンピューターは、複数の文書画像を、文書画像の特徴量に基づいてクラスタリングすることによって、複数のクラスターに分け、クラスターに所属する文書画像の中からクラスター毎にトレーニングデータを選定し、全てのクラスターのトレーニングデータで学習することによって、文書画像をフォーム毎に分類するための推論モデルとしての画像分類用推論モデルを生成し、文書画像を画像分類用推論モデルで推論して確信度を出し、文書画像に対する確信度が特定の値以上であるフォームを、この文書画像のフォームとして確定し、フォームが同一である文書画像同士に同一のラベルを付与させるＵＩを提供するので、学習用データセットに含まれている文書画像に付与されているラベルが適切である可能性を向上することができる。

【発明の効果】

【0019】

本発明の学習用データセット生成システム、学習用データセット生成サーバーおよび学習用データセット生成プログラムは、学習用データセットに含まれている文書画像に付与されているラベルが適切である可能性を向上することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の第１の実施の形態に係る文書分類システムのブロック図である。

【図2】１台のコンピューターによって構成される場合の図１に示す文書分類サーバーのブロック図である。

【図3】ＭＦＰである場合の図１に示す画像形成装置のブロック図である。

【図4】図１に示すコンピューターのブロック図である。

【図5】文書分類用推論モデルが存在しない場合に文書分類サーバーに文書画像が蓄積されるときの図１に示す文書分類システムの動作のシーケンス図である。

【図6】文書分類用推論モデルが存在する場合に文書分類サーバーに文書画像が蓄積されるときの図１に示す文書分類システムの動作のシーケンス図である。

【図7】図５に示す動作において表示部に表示されたラベル無画像に付与するラベルをデータセット作成者が指定する場合に使用されるラベルフォーム一覧表の一例を示す図である。

【図8】図５に示す動作において表示部に表示されたラベル無画像に付与するラベルをデータセット作成者が指定する方法のフローチャートである。

【図9】ラベル修正処理を実行する場合の図２に示す文書分類サーバーのフローチャートである。

【図10】図９に示すフォーム判定処理の一部のフローチャートである。

【図11】図１０に示すフローチャートの続きのフローチャートである。

【図12】図１０に示すデータ選定処理の一部のフローチャートである。

【図13】図１２に示すフローチャートの続きのフローチャートである。

【図14】本発明の第２の実施の形態に係る文書分類システムのブロック図である。

【図15】図１４に示す文書分類サーバーのブロック図である。

【図16】ラベル付与処理を実行する場合の図１５に示す文書分類サーバーのフローチャートである。

【発明を実施するための形態】

【0021】

以下、本発明の実施の形態について、図面を用いて説明する。

【0022】

（第１の実施の形態）
まず、本発明の第１の実施の形態に係る学習用データセット生成システムとしての文書分類システムの構成について説明する。

【0023】

図１は、本実施の形態に係る文書分類システム１０のブロック図である。

【0024】

図１に示すように、文書分類システム１０は、文書を分類する文書分類サーバー２０と、分類の対象の文書から画像を読み取る画像形成装置３０と、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などのコンピューター４０を備えている。

【0025】

文書分類サーバー２０は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

【0026】

文書分類サーバー２０と、画像形成装置３０とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に通信可能である。同様に、文書分類サーバー２０と、コンピューター４０とは、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に通信可能である。

【0027】

図２は、１台のコンピューターによって構成される場合の文書分類サーバー２０のブロック図である。

【0028】

図２に示すように、文書分類サーバー２０は、種々の操作が入力される例えばキーボード、マウスなどの操作デバイスである操作部２１と、種々の情報を表示する例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスである表示部２２と、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部２３と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部２４と、文書分類サーバー２０全体を制御する制御部２５とを備えている。

【0029】

記憶部２４は、文書を分類するための文書分類プログラム２４ａを記憶している。文書分類プログラム２４ａは、例えば、文書分類サーバー２０の製造段階で文書分類サーバー２０にインストールされていても良いし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリーなどの外部の記憶媒体から文書分類サーバー２０に追加でインストールされても良いし、ネットワーク上から文書分類サーバー２０に追加でインストールされても良い。

【0030】

記憶部２４は、文書を分類するための推論モデルとしての文書分類用推論モデル２４ｂを記憶可能である。

【0031】

記憶部２４は、ラベルが付与されていない文書画像（以下「ラベル無画像」という。）２４ｃを記憶可能である。記憶部２４は、ラベル無画像２４ｃ以外にも、ラベル無画像を少なくとも１つ記憶可能である。

【0032】

記憶部２４は、文書分類用推論モデルの学習用データセット２４ｄを記憶可能である。学習用データセット２４ｄは、ラベルが付与された文書画像（以下「ラベル有画像」という。）２４ｅを含むことが可能である。学習用データセット２４ｄは、ラベル有画像２４ｅ以外にも、ラベル有画像を少なくとも１つ含むことが可能である。

【0033】

記憶部２４は、ラベル有画像をフォーム毎に分類するための推論モデルである画像分類用推論モデルとしてのラベル有画像分類用推論モデル２４ｆを記憶可能である。

【0034】

制御部２５は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、制御部２５のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを備えている。制御部２５のＣＰＵは、記憶部２４または制御部２５のＲＯＭに記憶されているプログラムを実行する。

【0035】

制御部２５は、文書分類プログラム２４ａを実行することによって、文書分類用推論モデル２４ｂを生成する推論モデル生成部２５ａと、文書分類用推論モデル２４ｂを使用して文書を分類する文書分類部２５ｂと、ラベル有画像に付与されているラベルを修正するラベル修正部２５ｃとを実現する。ラベル修正部２５ｃは、学習用データセット２４ｄを修正するものである。したがって、文書分類プログラム２４ａは、本発明の学習用データセット生成プログラムを構成しており、文書分類サーバー２０は、本発明の学習用データセット生成サーバーを構成している。

【0036】

図３は、ＭＦＰである場合の画像形成装置３０のブロック図である。

【0037】

図３に示す画像形成装置３０は、種々の操作が入力される例えばボタンなどの操作デバイスである操作部３１と、種々の情報を表示する例えばＬＣＤなどの表示デバイスである表示部３２と、用紙などの記録媒体に画像を印刷する印刷デバイスであるプリンター３３と、原稿から画像を読み取る読取デバイスであるスキャナー３４と、図示していない外部のファクシミリ装置と公衆電話回線などの通信回線経由でファックス通信を行うファックスデバイスであるファックス通信部３５と、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部３６と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤなどの不揮発性の記憶デバイスである記憶部３７と、画像形成装置３０全体を制御する制御部３８とを備えている。

【0038】

制御部３８は、例えば、ＣＰＵと、プログラムおよび各種のデータを記憶しているＲＯＭと、制御部３８のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭとを備えている。制御部３８のＣＰＵは、記憶部３７または制御部３８のＲＯＭに記憶されているプログラムを実行する。

【0039】

図４は、コンピューター４０のブロック図である。

【0040】

図４に示すコンピューター４０は、種々の操作が入力される例えばキーボード、マウスなどの操作デバイスである操作部４１と、種々の情報を表示する例えばＬＣＤなどの表示デバイスである表示部４２と、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部４３と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤなどの不揮発性の記憶デバイスである記憶部４４と、コンピューター４０全体を制御する制御部４５とを備えている。

【0041】

制御部４５は、例えば、ＣＰＵと、プログラムおよび各種のデータを記憶しているＲＯＭと、制御部４５のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭとを備えている。制御部４５のＣＰＵは、記憶部４４または制御部４５のＲＯＭに記憶されているプログラムを実行する。

【0042】

次に、文書分類システム１０の動作について説明する。

【0043】

まず、文書分類用推論モデル２４ｂが存在しない場合に文書分類サーバー２０に文書画像が蓄積されるときの文書分類システム１０の動作について説明する。

【0044】

図５は、文書分類用推論モデル２４ｂが存在しない場合に文書分類サーバー２０に文書画像が蓄積されるときの文書分類システム１０の動作のシーケンス図である。

【0045】

学習用データセット２４ｄの作成者（以下「データセット作成者」という。）などの利用者は、分類の対象の文書を画像形成装置３０のスキャナー３４にセットした上で、文書分類サーバー２０への文書画像の蓄積を画像形成装置３０の操作部３１を介して指示することができる。

【0046】

画像形成装置３０の制御部３８は、文書分類サーバー２０への文書画像の蓄積が指示されると、図５に示すように、スキャナー３４にセットされている、分類の対象の文書からスキャナー３４によって文書画像を取得し（Ｓ１０１）、Ｓ１０１において取得した文書画像を文書分類サーバー２０に送信する（Ｓ１０２）。

【0047】

文書分類サーバー２０の推論モデル生成部２５ａは、画像形成装置３０によってＳ１０２において送信された文書画像を受信すると、受信した文書画像をラベル無画像として記憶部２４に蓄積する（Ｓ１０３）。

【0048】

データセット作成者は、ラベル無画像が文書分類サーバー２０に蓄積された後、学習用データセットの生成の処理の開始をコンピューター４０の操作部４１を介して指示することができる。

【0049】

コンピューター４０の制御部４５は、学習用データセットの生成の処理の開始が指示されると、文書分類サーバー２０に蓄積されたラベル無画像を文書分類サーバー２０に要求する（Ｓ１０４）。

【0050】

文書分類サーバー２０の推論モデル生成部２５ａは、Ｓ１０４における要求を受けると、文書分類サーバー２０に蓄積されたラベル無画像をコンピューター４０に送信する（Ｓ１０５）。

【0051】

コンピューター４０の制御部４５は、Ｓ１０５において文書分類サーバー２０から送信されたラベル無画像を受信すると、受信したラベル無画像を表示部４２に表示する（Ｓ１０６）。したがって、データセット作成者は、表示部４２に表示されたラベル無画像に付与するラベルをラベル無画像毎に操作部４１経由でコンピューター４０に指定することができる。

【0052】

制御部４５は、ラベル無画像に対するラベルが指定されると、ラベル無画像に付与される、ラベル無画像毎のラベルを文書分類サーバー２０に送信する（Ｓ１０７）。

【0053】

文書分類サーバー２０の推論モデル生成部２５ａは、Ｓ１０７においてコンピューター４０から送信された、ラベル無画像毎のラベルを受信すると、受信したラベルを、このラベルに対応付けられたラベル無画像に付与した文書画像をラベル有画像として学習用データセット２４ｄに蓄積する（Ｓ１０８）。

【0054】

推論モデル生成部２５ａは、学習用データセット２４ｄに含まれているラベル有画像の個数が特定の個数を超えた場合、学習用データセット２４ｄに含まれている全てのラベル有画像をＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）で学習することによって、文書分類用推論モデル２４ｂを生成し（Ｓ１０９）、Ｓ１０９において生成した文書分類用推論モデル２４ｂを記憶部２４に記憶する（Ｓ１１０）。

【0055】

次に、文書分類用推論モデル２４ｂが存在する場合に文書分類サーバー２０に文書画像が蓄積されるときの文書分類システム１０の動作について説明する。

【0056】

図６は、文書分類用推論モデル２４ｂが存在する場合に文書分類サーバー２０に文書画像が蓄積されるときの文書分類システム１０の動作のシーケンス図である。

【0057】

利用者は、分類の対象の文書を画像形成装置３０のスキャナー３４にセットした上で、文書分類サーバー２０への文書画像の蓄積を画像形成装置３０の操作部３１を介して指示することができる。

【0058】

画像形成装置３０の制御部３８は、文書分類サーバー２０への文書画像の蓄積が指示されると、図６に示すように、スキャナー３４にセットされている、分類の対象の文書からスキャナー３４によって文書画像を取得し（Ｓ１２１）、Ｓ１２１において取得した文書画像を文書分類サーバー２０に送信する（Ｓ１２２）。

【0059】

文書分類サーバー２０の文書分類部２５ｂは、画像形成装置３０によってＳ１２２において送信された文書画像を受信すると、受信した文書画像をラベル無画像として記憶部２４に蓄積する（Ｓ１２３）。

【0060】

次いで、文書分類部２５ｂは、Ｓ１２３において記憶部２４に蓄積したラベル無画像を、記憶部２４に記憶されている文書分類用推論モデル２４ｂで分類してラベルを付与することによって、ラベル有画像を生成し（Ｓ１２４）、Ｓ１２４において生成したラベル有画像を記憶部２４に蓄積する（Ｓ１２５）。

【0061】

次に、Ｓ１０６において表示部４２に表示されたラベル無画像に付与するラベルをデータセット作成者が指定する方法について説明する。

【0062】

データセット作成者は、文書のラベルおよびフォームの一覧表（以下「ラベルフォーム一覧表」という。）を持っている。

【0063】

図７は、ラベルフォーム一覧表の一例を示す図である。

【0064】

図７に示すラベルフォーム一覧表は、文書のラベルとして、「Ｄｏｃｍｅｎｔ＿ｔｙｐｅ＿００」から「Ｄｏｃｍｅｎｔ＿ｔｙｐｅ＿２９」までの３０種類のラベルが含まれている。そして、各ラベルには、互いに外観が異なる１０種類のフォームが対応付けられている。例えば、ラベル「Ｄｏｃｍｅｎｔ＿ｔｙｐｅ＿００」は、「Ｆｏｒｍ＿００＿００」から、「Ｆｏｒｍ＿００＿０９」までの１０種類のフォームが対応付けられている。したがって、ラベルフォーム一覧表には、互いに外観が異なる３００種類のフォームが含まれている。

【0065】

図８は、ラベル無画像に付与するラベルをデータセット作成者が指定する方法のフローチャートである。

【0066】

データセット作成者は、Ｓ１０６において表示部４２に表示されたラベル無画像に付与するラベルを指定する場合、図８に示すように、ラベルフォーム一覧表に含まれている全てのフォームから、ラベル無画像のフォームを特定する（Ｓ１４１）。例えば、データセット作成者は、ラベルフォーム一覧表が図７に示すものである場合、ラベル無画像のフォームが、ラベルフォーム一覧表に含まれている３００種類のフォームのいずれであるかを判断する。

【0067】

データセット作成者は、Ｓ１４１の処理の後、Ｓ１４１において特定したフォームにラベルフォーム一覧表において対応付けられているラベルを、このラベル無画像に付与するラベルとして特定する（Ｓ１４２）。

【0068】

次いで、データセット作成者は、ラベル無画像に付与するラベルとしてＳ１４２において特定したラベルを、このラベル無画像に付与するラベルとして操作部４１経由でコンピューター４０に指定する（Ｓ１４３）。

【0069】

ここで、互いに異なるラベルに対応付けられているフォーム同士が類似している場合、データセット作成者は、誤って不適切なラベルをラベル無画像に付与してしまう可能性がある。

【0070】

また、データセット作成者は、３００種類のフォームから対象のラベル無画像に適切なフォームを特定し（Ｓ１４１）、Ｓ１４１において特定したフォームに対応付けられているラベルを、対象のラベル無画像に付与する（Ｓ１４２～Ｓ１４３）という作業を、学習用データセットに含める多数の文書画像に対して実行する必要があるので、長時間にわたる作業による疲労による集中力の低下によって、誤って不適切なラベルをラベル無画像に付与してしまう可能性がある。

【0071】

次に、ラベル有画像に付与されているラベルの修正の処理（以下「ラベル修正処理」という。）を実行する場合の文書分類システム１０の動作について説明する。

【0072】

データセット作成者は、Ｓ１０９における文書分類用推論モデル２４ｂの生成の処理が開始される前に、ラベル修正処理の開始をコンピューター４０の操作部４１を介して指示することができる。なお、文書分類サーバー２０の推論モデル生成部２５ａは、ラベル修正処理の実行後の学習用データセット２４ｄを使用して、Ｓ１０９における文書分類用推論モデル２４ｂの生成の処理を実行する。

【0073】

コンピューター４０の制御部４５は、ラベル修正処理の開始が指示されると、ラベル修正処理の開始を文書分類サーバー２０に指示する。

【0074】

図９は、ラベル修正処理を実行する場合の文書分類サーバー２０のフローチャートである。

【0075】

文書分類サーバー２０のラベル修正部２５ｃは、ラベル修正処理の開始が指示されると、図９に示す動作を実行する。

【0076】

図９に示すように、ラベル修正部２５ｃは、学習用データセット２４ｄに含まれるラベル有画像のフォームを判定するフォーム判定処理を実行する（Ｓ１６１）。

【0077】

図１０は、図９に示すフォーム判定処理の一部のフローチャートである。図１１は、図１０に示すフローチャートの続きのフローチャートである。

【0078】

図１０および図１１に示すように、ラベル修正部２５ｃは、ラベル修正処理の対象のラベル有画像の群を示す第１の対象画像群を初期化する（Ｓ１８１）。すなわち、ラベル修正部２５ｃは、第１の対象画像群にいずれのラベル有画像も所属していない状態にする。

【0079】

ラベル修正部２５ｃは、Ｓ１８１の処理の後、学習用データセット２４ｄに含まれる全てのラベル有画像を第１の対象画像群に所属させる（Ｓ１８２）。

【0080】

次いで、ラベル修正部２５ｃは、第１の対象画像群に所属するラベル有画像を、各ラベル有画像の特徴量に基づいて、第１の閾値で粗くクラスタリングすることによって、複数のクラスターに分ける（Ｓ１８３）。ここで、第１の閾値は、同一のフォームのラベル有画像が異なるクラスターに所属することを防止する程度に高い閾値である。

【0081】

ラベル修正部２５ｃは、Ｓ１８３の処理の後、Ｓ１８３の処理で生成されたクラスターのうち、未だ対象にしていない１つのクラスターを対象にする（Ｓ１８４）。

【0082】

ラベル修正部２５ｃは、Ｓ１８４の処理の後、現在の対象のクラスターに所属するラベル有画像の個数が特定の個数以上であるか否かを判断する（Ｓ１８５）。

【0083】

ラベル修正部２５ｃは、現在の対象のクラスターに所属するラベル有画像の個数が特定の個数以上であるとＳ１８５において判断すると、現在の対象のクラスターに所属するラベル有画像を、各ラベル有画像の特徴量に基づいて、第１の閾値より低い第２の閾値で細かくクラスタリングすることによって、複数のサブクラスターに分ける（Ｓ１８６）。ここで、Ｓ１８６の処理を実行する理由は、後述のデータ選定処理の対象のラベル有画像の個数を減らすことによって、データ選定処理における計算時間を短縮するためである。したがって、第２の閾値は、同一のフォームのラベル有画像が、異なるサブクラスターに所属することを防止する程度に高い閾値である必要はない。

【0084】

ラベル修正部２５ｃは、現在の対象のクラスターに所属するラベル有画像の個数が特定の個数以上ではないとＳ１８５において判断すると、現在の対象のクラスターに所属する全てのラベル有画像を、１つのサブクラスターに所属させる（Ｓ１８７）。

【0085】

ラベル修正部２５ｃは、Ｓ１８６またはＳ１８７の処理の後、ラベル有画像分類用推論モデル２４ｆの学習用データセットのトレーニングデータおよびバリデーションデータを選定するデータ選定処理を実行する（Ｓ１８８）。

【0086】

図１２は、図１０に示すデータ選定処理の一部のフローチャートである。図１３は、図１２に示すフローチャートの続きのフローチャートである。

【0087】

図１２および図１３に示すように、ラベル修正部２５ｃは、Ｓ１８６またはＳ１８７の処理で生成されたサブクラスターのうち、未だ対象にしていない１つのサブクラスターを対象にする（Ｓ２０１）。

【0088】

ラベル修正部２５ｃは、Ｓ２０１の処理の後、現在の対象のサブクラスターに所属する全てのラベル有画像同士の特徴量のユークリッド距離（以下、「特徴量のユークリッド距離」を単に「距離」という。）を算出する（Ｓ２０２）。

【0089】

次いで、ラベル修正部２５ｃは、現在の対象のサブクラスターに対する処理の対象のラベル有画像の群を示す第２の対象画像群を初期化する（Ｓ２０３）。すなわち、ラベル修正部２５ｃは、第２の対象画像群にいずれのラベル有画像も所属していない状態にする。

【0090】

ラベル修正部２５ｃは、Ｓ２０３の処理の後、現在の対象のサブクラスターに所属する全てのラベル有画像を第２の対象画像群に所属させる（Ｓ２０４）。

【0091】

次いで、ラベル修正部２５ｃは、第２の対象画像群に所属するラベル有画像のうち、Ｓ２０２において算出した、第２の対象画像群に所属する他のラベル有画像との距離の平均値が最小のラベル有画像を特定する（Ｓ２０５）。すなわち、ラベル修正部２５ｃは、第２の対象画像群に所属するラベル有画像において、特徴量が中心付近にあると考えられるラベル有画像を特定する。

【0092】

ラベル修正部２５ｃは、Ｓ２０５の処理の後、Ｓ２０５において特定したラベル有画像からの距離が特定の距離以内であるラベル有画像が第２の対象画像群において存在するか否かを判断する（Ｓ２０６）。ここで、Ｓ２０５において特定したラベル有画像からの距離が特定の距離以内ではないラベル有画像は、Ｓ２０５において特定したラベル有画像とはフォームが異なる可能性がある。

【0093】

ラベル修正部２５ｃは、Ｓ２０５において特定したラベル有画像からの距離が特定の距離以内であるラベル有画像が第２の対象画像群において存在しないとＳ２０６において判断すると、Ｓ２０５において特定したラベル有画像を第２の対象画像群から除外して（Ｓ２０７）、Ｓ２０５の処理を実行する。

【0094】

ラベル修正部２５ｃは、Ｓ２０５において特定したラベル有画像からの距離が特定の距離以内であるラベル有画像が第２の対象画像群において存在するとＳ２０６において判断すると、トレーニングデータおよびバリデーションデータの候補の群を示すデータ候補群を初期化する（Ｓ２０８）。すなわち、ラベル修正部２５ｃは、データ候補群にいずれのラベル有画像も所属していない状態にする。

【0095】

ラベル修正部２５ｃは、Ｓ２０８の処理の後、Ｓ２０５において特定したラベル有画像と、Ｓ２０５において特定したラベル有画像からの距離が第２の対象画像群において最小のラベル有画像とを、トレーニングデータおよびバリデーションデータの候補の群を示すデータ候補群に所属させる（Ｓ２０９）。

【0096】

ラベル修正部２５ｃは、Ｓ２０９の処理の後、データ候補群に所属するラベル有画像の個数が特定の個数に達したか否かを判断する（Ｓ２１０）。

【0097】

ラベル修正部２５ｃは、データ候補群に所属するラベル有画像の個数が特定の個数に達していないとＳ２１０において判断すると、Ｓ２０５において特定したラベル有画像からの距離が特定の距離以内であるラベル有画像が、データ候補群に所属するラベル有画像以外に第２の対象画像群において存在するか否かを判断する（Ｓ２１１）。

【0098】

ラベル修正部２５ｃは、Ｓ２０５において特定したラベル有画像からの距離が特定の距離以内であるラベル有画像が、データ候補群に所属するラベル有画像以外に第２の対象画像群において存在するとＳ２１１において判断すると、Ｓ２０５において特定したラベル有画像からの距離が、データ候補群に所属するラベル有画像以外で第２の対象画像群において最小のラベル有画像をデータ候補群に所属させて（Ｓ２１２）、Ｓ２１０の処理を実行する。

【0099】

ラベル修正部２５ｃは、データ候補群に所属するラベル有画像の個数が特定の個数に達したとＳ２１０において判断するか、Ｓ２０５において特定したラベル有画像からの距離が特定の距離以内であるラベル有画像が、データ候補群に所属するラベル有画像以外に第２の対象画像群において存在しないとＳ２１１において判断すると、データ候補群に所属するラベル有画像をトレーニングデータまたはバリデーションデータとして選定する（Ｓ２１３）。ここで、ラベル修正部２５ｃは、Ｎが自然数である場合に、データ候補群に所属するラベル有画像の個数が２Ｎ個であるとき、Ｓ２０５において特定したラベル有画像と、データ候補群に所属するラベル有画像のうち、Ｓ２０５において特定したラベル有画像からの距離が短い上位の（Ｎ－１）個のラベル有画像とをトレーニングデータとして選定し、データ候補群に所属するラベル有画像のうち、Ｓ２０５において特定したラベル有画像からの距離が長い上位のＮ個のラベル有画像をバリデーションデータとして選定する。また、ラベル修正部２５ｃは、Ｎが自然数である場合に、データ候補群に所属するラベル有画像の個数が（２Ｎ＋１）個であるとき、Ｓ２０５において特定したラベル有画像と、データ候補群に所属するラベル有画像のうち、Ｓ２０５において特定したラベル有画像からの距離が短い上位のＮ個のラベル有画像をトレーニングデータとして選定し、データ候補群に所属するラベル有画像のうち、Ｓ２０５において特定したラベル有画像からの距離が長い上位のＮ個のラベル有画像をバリデーションデータとして選定する。

【0100】

ラベル修正部２５ｃは、Ｓ１８６またはＳ１８７の処理で生成されたサブクラスターのうち、未だ対象にしていないサブクラスターが存在するか否かを判断する（Ｓ２１４）。

【0101】

ラベル修正部２５ｃは、Ｓ１８６またはＳ１８７の処理で生成されたサブクラスターのうち、未だ対象にしていないサブクラスターが存在するとＳ２１４において判断すると、Ｓ２０１の処理を実行する。

【0102】

ラベル修正部２５ｃは、Ｓ１８６またはＳ１８７の処理で生成されたサブクラスターのうち、未だ対象にしていないサブクラスターが存在しないとＳ２１４において判断すると、図１２および図１３に示すデータ選定処理を終了する。

【0103】

図１０および図１１に示すように、ラベル修正部２５ｃは、Ｓ１８８におけるデータ選定処理が終了すると、Ｓ１８３の処理で生成されたクラスターのうち、未だ対象にしていないクラスターが存在するか否かを判断する（Ｓ１８９）。

【0104】

ラベル修正部２５ｃは、Ｓ１８３の処理で生成されたクラスターのうち、未だ対象にしていないクラスターが存在するとＳ１８９において判断すると、Ｓ１８４の処理を実行する。

【0105】

ラベル修正部２５ｃは、Ｓ１８３の処理で生成されたクラスターのうち、未だ対象にしていないクラスターが存在しないとＳ１８９において判断すると、全てのクラスターの全てのサブクラスターのトレーニングデータおよびバリデーションデータで学習することによって、ラベル有画像分類用推論モデル２４ｆを生成する（Ｓ１９０）。すなわち、ラベル修正部２５ｃは、トレーニングデータでラベル有画像分類用推論モデル２４ｆを生成し、生成したラベル有画像分類用推論モデル２４ｆでバリデーションデータを推論して確信度を出して、確信度が特定の値以上である場合に、ラベル有画像分類用推論モデル２４ｆが適切であると判定する。

【0106】

次いで、ラベル修正部２５ｃは、第１の対象画像群に所属するラベル有画像のうち、トレーニングデータおよびバリデーションデータ以外のラベル有画像を、Ｓ１９０において生成したラベル有画像分類用推論モデル２４ｆで推論して確信度を出す（Ｓ１９１）。

【0107】

ラベル修正部２５ｃは、Ｓ１９１の処理の後、Ｓ１９１において出した、ラベル有画像に対する確信度が特定の値以上であるフォームを、このラベル有画像のフォームとして確定する（Ｓ１９２）。Ｓ１９２における特定の値は、例えば、対象のフォームのバリデーションデータの、Ｓ１９０における学習における、このフォームに対する最低の確信度以上の値でも良い。

【0108】

次いで、ラベル修正部２５ｃは、Ｓ１９２においてフォームを確定したラベル有画像を第１の対象画像群から削除する（Ｓ１９３）。

【0109】

次いで、ラベル修正部２５ｃは、第１の対象画像群にラベル有画像が所属するか否かを判断する（Ｓ１９４）。

【0110】

ラベル修正部２５ｃは、第１の対象画像群にラベル有画像が所属するとＳ１９４において判断すると、Ｓ１８３の処理を実行する。

【0111】

ラベル修正部２５ｃは、第１の対象画像群にラベル有画像が所属しないとＳ１９４において判断すると、図１０および図１１に示すフォーム判定処理を終了する。

【0112】

なお、以上においては、第１の対象画像群にラベル有画像が所属しない場合にフォーム判定処理を終了するようになっている。しかしながら、ラベル修正部２５ｃは、第１の対象画像群にラベル有画像が所属しない場合以外の場合にも、フォーム判定処理を終了する。例えば、ラベル修正部２５ｃは、図１２および図１３に示すデータ選定処理においてトレーニングデータを選定することができない場合にフォーム判定処理を終了しても良いし、図１２および図１３に示すデータ選定処理においてバリデーションデータを選定することができない場合にフォーム判定処理を終了しても良い。また、ラベル修正部２５ｃは、Ｓ１８３～Ｓ１９４の処理の繰り返しの回数が特定の回数に達した場合にフォーム判定処理を終了しても良い。また、ラベル修正部２５ｃは、フォーム判定処理において自動でフォームを確定していないラベル有画像の個数がフォーム判定処理の実行当初の例えば１割などの特定の個数に達した場合にフォーム判定処理を終了しても良い。

【0113】

図９に示すように、文書分類サーバー２０のラベル修正部２５ｃは、Ｓ１６１のフォーム判定処理の終了後、学習用データセット２４ｄに含まれる全てのラベル有画像のうち、フォーム判定処理において自動でフォームを確定することができなかったラベル有画像が存在するか否かを判断する（Ｓ１６２）。

【0114】

ラベル修正部２５ｃは、フォーム判定処理において自動でフォームを確定することができなかったラベル有画像が存在するとＳ１６２において判断すると、フォーム判定処理において自動でフォームを確定することができなかったラベル有画像のフォームを利用者に確定させるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をコンピューター４０に提供する（Ｓ１６３）。したがって、コンピューター４０の制御部４５は、Ｓ１６３において文書分類サーバー２０から提供されたＵＩを表示部４２に表示し、このＵＩに対する操作を操作部４１を介して受け付けることができる。Ｓ１６３において提供されるＵＩには、フォーム判定処理において自動でフォームを確定することができなかったラベル有画像だけでなく、フォーム判定処理において自動で確定したフォームの識別情報と、このフォームに所属しているラベル有画像とが含まれている。したがって、データセット作成者は、フォーム判定処理において自動で確定したフォームの識別情報と、このフォームに所属しているラベル有画像とを参考にして、フォーム判定処理において自動でフォームを確定することができなかったラベル有画像のフォームを確定することができる。

【0115】

なお、ラベル修正部２５ｃは、フォーム判定処理において自動で確定したフォームの識別情報を自動で設定しても良い。例えば、ラベル修正部２５ｃは、フォーム判定処理において自動で確定したフォームに所属している複数のラベル有画像のそれぞれからＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）によってテキストを抽出し、複数のラベル有画像のそれぞれから抽出したテキストに共通する文字列を抽出し、抽出した文字列に基づいて、このフォームの識別情報を自動で設定しても良い。

【0116】

ラベル修正部２５ｃは、Ｓ１６３の処理の後、フォーム判定処理において自動でフォームを確定することができなかった全てのラベル有画像のフォームがＵＩを介して確定されたと判断するまで、フォーム判定処理において自動でフォームを確定することができなかった全てのラベル有画像のフォームがＵＩを介して確定されたか否かを判断する（Ｓ１６４）。

【0117】

ラベル修正部２５ｃは、フォーム判定処理において自動でフォームを確定することができなかったラベル有画像が存在しないとＳ１６２において判断するか、フォーム判定処理において自動でフォームを確定することができなかった全てのラベル有画像のフォームがＵＩを介して確定されたとＳ１６４において判断すると、フォーム判定処理において自動で確定したフォームまたはＵＩを介して確定されたフォームは同一であるがラベルは互いに異なる複数のラベル有画像が存在するか否かを判断する（Ｓ１６５）。

【0118】

ラベル修正部２５ｃは、フォームは同一であるがラベルは互いに異なる複数のラベル有画像が存在するとＳ１６５において判断すると、フォームは同一であるがラベルは互いに異なる複数のラベル有画像のラベルを利用者に修正させるＵＩをコンピューター４０に提供する（Ｓ１６６）。したがって、コンピューター４０の制御部４５は、Ｓ１６６において文書分類サーバー２０から提供されたＵＩを表示部４２に表示し、このＵＩに対する操作を操作部４１を介して受け付けることができる。Ｓ１６６において提供されるＵＩには、フォームは同一であるがラベルは互いに異なる複数のラベル有画像だけでなく、これらのラベルも含まれている。したがって、データセット作成者は、フォームは同一であるがラベルは互いに異なる複数のラベル有画像の現在のラベルを参考にして、フォームは同一であるがラベルは互いに異なる複数のラベル有画像のラベルを変更することができる。なお、Ｓ１６６において提供されるＵＩには、フォームが同一である複数のラベル有画像において、いずれのラベルが多いかを示す情報が含まれても良い。

【0119】

ラベル修正部２５ｃは、Ｓ１６６の処理の後、フォームは同一であるがラベルは互いに異なる複数のラベル有画像のラベルの修正がＵＩを介して指示されたと判断するまで、フォームは同一であるがラベルは互いに異なる複数のラベル有画像のラベルの修正がＵＩを介して指示されたか否かを判断する（Ｓ１６７）。

【0120】

ラベル修正部２５ｃは、フォームは同一であるがラベルは互いに異なる複数のラベル有画像のラベルの修正がＵＩを介して指示されたとＳ１６７において判断すると、指示された通りにラベルを修正して（Ｓ１６８）、図９に示す動作を終了する。

【0121】

以上に説明したように、文書分類システム１０は、複数のラベル有画像を、ラベル有画像の特徴量に基づいてクラスタリングすることによって、複数のクラスターに分け（Ｓ１８３）、クラスターに所属するラベル有画像の中からクラスター毎にトレーニングデータを選定し（Ｓ２１３）、全てのクラスターのトレーニングデータで学習することによって、ラベル有画像をフォーム毎に分類するための推論モデルとしてのラベル有画像分類用推論モデル２４ｆを生成し（Ｓ１９０）、ラベル有画像をラベル有画像分類用推論モデル２４ｆで推論して確信度を出し（Ｓ１９１）、ラベル有画像に対する確信度が特定の値以上であるフォームを、このラベル有画像のフォームとして確定し（Ｓ１９２）、フォームが同一であるラベル有画像同士に同一のラベルを付与させるＵＩを提供する（Ｓ１６６）ので、学習用データセット２４ｄに含まれているラベル有画像に付与されているラベルが適切である可能性を向上することができ、その結果、文書分類用推論モデル２４ｂの精度を向上することができる。

【0122】

文書分類システム１０は、フォームは同一であるがラベルは互いに異なる複数のラベル有画像のラベルを修正させるＵＩを提供する（Ｓ１６６）ので、学習用データセット２４ｄに含まれているラベル有画像に適切なラベルを付与する修正の作業の負担を軽減することができ、その結果、学習用データセット２４ｄの修正の作業の負担を軽減することができる。

【0123】

なお、ラベル修正部２５ｃは、本実施の形態において、フォームは同一であるがラベルは互いに異なる複数のラベル有画像のラベルを利用者に修正させるＵＩをコンピューター４０に提供する（Ｓ１６６）。しかしながら、ラベル修正部２５ｃは、フォームは同一であるがラベルは互いに異なる複数のラベル有画像のラベルを自動で修正しても良い。例えば、ラベル修正部２５ｃは、フォームは同一であるがラベルは互いに異なる複数のラベル有画像のラベルを、このフォームの複数のラベル有画像の中で、最も多いラベルに統一させても良い。

【0124】

（第２の実施の形態）
まず、本発明の第２の実施の形態に係る学習用データセット生成システムとしての文書分類システムの構成について説明する。

【0125】

なお、本実施の形態に係る文書分類システムの構成のうち、第１の実施の形態に係る文書分類システム１０（図１参照。）の構成と同様の構成については、詳細な説明を省略する。

【0126】

図１４は、本実施の形態に係る文書分類システム３１０のブロック図である。

【0127】

図１４に示すように、文書分類システム３１０の構成は、第１の実施の形態に係る文書分類システム１０（図１参照。）が文書分類サーバー２０（図１参照。）に代えて文書分類サーバー３２０を備えた構成と同様である。

【0128】

図１５は、文書分類サーバー３２０のブロック図である。

【0129】

図１５に示すように、文書分類サーバー３２０の構成は、文書を分類するための文書分類プログラム３２４ａと、ラベル無画像をフォーム毎に分類するための推論モデルである画像分類用推論モデルとしてのラベル無画像分類用推論モデル３２４ｂとを、文書分類プログラム２４ａ（図２参照。）およびラベル有画像分類用推論モデル２４ｆ（図２参照。）に代えて文書分類サーバー２０（図２参照。）が備えた構成と同様である。

【0130】

制御部２５は、文書分類プログラム３２４ａを実行することによって、推論モデル生成部２５ａと、文書分類部２５ｂと、ラベル無画像にラベルを付与するラベル付与部３２５ａとを実現する。ラベル付与部３２５ａは、学習用データセット２４ｄを生成するものである。したがって、文書分類プログラム３２４ａは、本発明の学習用データセット生成プログラムを構成しており、文書分類サーバー３２０は、本発明の学習用データセット生成サーバーを構成している。

【0131】

次に、文書分類システム３１０の動作について説明する。

【0132】

文書分類システム３１０の動作は、以下に説明する内容を除いて、文書分類システム１０の動作と同様である。

【0133】

ラベル無画像へのラベルの付与の処理（以下「ラベル付与処理」という。）を実行する場合の文書分類システム３１０の動作について説明する。

【0134】

文書分類サーバー３２０のラベル付与部３２５ａは、Ｓ１０４（図５参照。）における要求を受けると、図１６に示すラベル付与処理を実行する。

【0135】

図１６は、ラベル付与処理を実行する場合の文書分類サーバー３２０のフローチャートである。

【0136】

図１６に示すように、文書分類サーバー３２０のラベル付与部３２５ａは、Ｓ１６１におけるフォーム判定処理（図９参照。）と同様なフォーム判定処理を実行する（Ｓ４０１）。なお、Ｓ１６１におけるフォーム判定処理は、ラベル有画像に対して実行される処理であるが、Ｓ４０１におけるフォーム判定処理は、ラベル無画像に対して実行される処理である。

【0137】

ラベル付与部３２５ａは、Ｓ４０１におけるフォーム判定処理の終了後、記憶部２４に蓄積している全てのラベル無画像のうち、フォーム判定処理において自動でフォームを確定することができなかったラベル有画像が存在するか否かを判断する（Ｓ４０２）。

【0138】

ラベル付与部３２５ａは、フォーム判定処理において自動でフォームを確定することができなかったラベル無画像が存在するとＳ４０２において判断すると、Ｓ１６３の処理と同様に、フォーム判定処理において自動でフォームを確定することができなかったラベル無画像のフォームを利用者に確定させるＵＩをコンピューター４０に提供する（Ｓ４０３）。なお、データセット作成者は、フォームが未確定であるラベル無画像が存在する場合であっても、ラベル無画像のフォームの確定の作業を完了することができる。

【0139】

ラベル付与部３２５ａは、Ｓ４０３の処理の後、ラベル無画像のフォームの確定の作業が完了したと判断するまで、ラベル無画像のフォームの確定の作業が完了したか否かを判断する（Ｓ４０４）。

【0140】

ラベル付与部３２５ａは、フォーム判定処理において自動でフォームを確定することができなかったラベル無画像が存在しないとＳ４０２において判断するか、ラベル無画像のフォームの確定の作業が完了したとＳ４０４において判断すると、ラベル無画像のラベルを利用者に付与させるＵＩをコンピューター４０に提供する（Ｓ４０５）。したがって、コンピューター４０の制御部４５は、Ｓ４０５において文書分類サーバー３２０から提供されたＵＩを表示部４２に表示し、このＵＩに対する操作を操作部４１を介して受け付けることができる。Ｓ４０５において提供されるＵＩにおいては、フォームが同一である複数のラベル無画像に一括で同一のラベルを付与することができ、フォームが未確定であるラベル無画像に１つずつラベルを付与することができる。フォームが同一である複数のラベル無画像が存在する場合には、Ｓ４０５において提供されるＵＩには、フォームが同一である複数のラベル無画像が含まれるが、これらのラベル無画像はサムネイルでも良い。フォームが未確定であるラベル無画像が存在する場合には、Ｓ４０５において提供されるＵＩには、フォームが未確定であるラベル無画像が含まれる。なお、Ｓ４０５の処理は、Ｓ１０５（図５参照。）の処理に相当する。

【0141】

ラベル付与部３２５ａは、Ｓ４０５の処理の後、ラベル無画像に対するラベルの付与がＵＩを介して指示されたと判断するまで、ラベル無画像に対するラベルの付与がＵＩを介して指示されたか否かを判断する（Ｓ４０６）。

【0142】

ラベル付与部３２５ａは、ラベル無画像に対するラベルの付与がＵＩを介して指示されたとＳ４０６において判断すると、指示された通りにラベルを付与して（Ｓ４０７）、図１６に示す動作を終了する。

【0143】

以上に説明したように、文書分類システム３１０は、複数のラベル無画像を、ラベル無画像の特徴量に基づいてクラスタリングすることによって、複数のクラスターに分け、クラスターに所属するラベル無画像の中からクラスター毎にトレーニングデータを選定し、全てのクラスターのトレーニングデータで学習することによって、ラベル無画像をフォーム毎に分類するための推論モデルとしてのラベル無画像分類用推論モデル３２４ｂを生成し、ラベル無画像をラベル無画像分類用推論モデル３２４ｂで推論して確信度を出し、ラベル無画像に対する確信度が特定の値以上であるフォームを、このラベル無画像のフォームとして確定し（Ｓ４０１）、フォームが同一であるラベル無画像同士に同一のラベルを付与させるＵＩを提供する（Ｓ４０５）ので、学習用データセット２４ｄに含まれているラベル有画像に付与されているラベルが適切である可能性を向上することができ、その結果、文書分類用推論モデル２４ｂの精度を向上することができる。

【0144】

文書分類システム３１０は、フォームが同一である複数のラベル無画像に一括で同一のラベルを付与させるＵＩを提供する（Ｓ４０５）ので、文書画像に適切なラベルを付与する作業の負担を軽減することができ、その結果、学習用データセット２４ｄの生成の作業の負担を軽減することができる。

【0145】

なお、文書分類サーバー３２０の制御部２５は、図９に示すラベル修正処理を実行しなくても良い。

【符号の説明】

【0146】

１０ 文書分類システム（学習用データセット生成システム）
２０ 文書分類サーバー（学習用データセット生成サーバー、コンピューター）
２４ａ 文書分類プログラム（学習用データセット生成プログラム）
２４ｂ 文書分類用推論モデル
２４ｃ ラベル無画像（文書画像）
２４ｄ 学習用データセット
２４ｅ ラベル有画像（ラベルが付与された文書画像）
２４ｆ ラベル有画像分類用推論モデル（画像分類用推論モデル）
３１０ 文書分類システム（学習用データセット生成システム）
３２０ 文書分類サーバー（学習用データセット生成サーバー、コンピューター）
３２４ａ 文書分類プログラム（学習用データセット生成プログラム）
３２４ｂ ラベル無画像分類用推論モデル（画像分類用推論モデル）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】