特開 2024-177756 情報処理装置、情報処理装置の制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024177756

(43)【公開日】2024-12-24

(54)【発明の名称】情報処理装置、情報処理装置の制御方法、及びプログラム

(51)【国際特許分類】

   G06F 16/583 20190101AFI20241217BHJP

【ＦＩ】

G06F16/583

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023096079

(22)【出願日】2023-06-12

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】高島 敬一

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA02

5B175FB02

5B175HB03

(57)【要約】

【課題】書類や取引企業によってレイアウトが異なる準定型文書においてタグ付与を効率良く行う。
【解決手段】文書画像に固有表現タグを付与する処理を行う情報処理装置は、入力文書画像を受け付ける受付手段と、既に固有表現タグが付与された文書画像群の中から、入力文書画像と比較するための参照文書画像を選択する選択手段と、選択手段によって選択された参照文書画像において固有表現タグが付与されている文字列に対応する文字ブロックを入力文書画像から抽出する抽出手段と、抽出された文字ブロックが表す文字列の特徴量ベクトルと参照文書画像において固有表現タグが付与されている文字列の特徴量ベクトルとの類似度に基づいて、抽出された文字ブロックが表す文字列に固有表現タグを付与する付与手段と、を備える。
【選択図】図１０

【特許請求の範囲】

【請求項1】

文書画像に固有表現タグを付与する処理を行う情報処理装置であって、
入力文書画像を受け付ける受付手段と、
既に固有表現タグが付与された文書画像群の中から、前記入力文書画像と比較するための参照文書画像を選択する選択手段と、
前記選択手段によって選択された前記参照文書画像において前記固有表現タグが付与されている文字列に対応する文字ブロックを前記入力文書画像から抽出する抽出手段と、
抽出された前記文字ブロックが表す文字列の特徴量ベクトルと前記参照文書画像において固有表現タグが付与されている文字列の特徴量ベクトルとの類似度に基づいて、抽出された前記文字ブロックが表す文字列に固有表現タグを付与する付与手段と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記参照文書画像は、前記入力文書画像との類似度が所定の値以上の値を有する、ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

抽出された前記文字ブロックが表す文字列のタグ情報をＵＩ画面に表示する表示制御手段と、をさらに備えることを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記表示制御手段は、前記文字列が抽出されない前記固有表現タグには枠のみを表示する、ことを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記ＵＩ画面上で前記枠が対応する前記文字ブロックにドラッグアンドドロップされた場合、前記付与手段は当該文字ブロックが表す文字列に前記固有表現タグを付与する、ことを特徴とする請求項４に記載の情報処理装置。

【請求項6】

ドラッグアンドドロップにより、前記付与手段が、前記文字ブロックが表す文字列に前記固有表現タグを付与した場合、前記表示制御手段は当該文字ブロックが表す文字列のタグ情報を前記ＵＩ画面に表示する、ことを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記表示制御手段は、前記文字ブロック及びそのタグ情報の表示色を前記固有表現タグが付与される前の表示色とは異なる色で表示する、ことを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記付与手段は、前記抽出手段によって抽出された前記文字ブロックの一部を表す第１文字列の特徴量ベクトルと前記参照文書画像において前記固有表現タグが付与されている第２文字列の特徴量ベクトルとの類似度と、前記第１文字列の直前文字列の特徴量ベクトルと前記第２文字列の直前文字列の特徴量ベクトルとの類似度と、に基づいて、前記第１文字列に前記固有表現タグを付与する、ことを特徴とする請求項１に記載の情報処理装置。

【請求項9】

前記表示制御手段は、使用される前記固有表現タグのリストを前記ＵＩ画面に表示する、ことを特徴とする請求項３に記載の情報処理装置。

【請求項10】

前記固有表現タグの使用頻度を格納する記憶手段と、をさらに備え、
前記表示制御手段は、前記固有表現タグのリストにおいて、使用頻度順に前記固有表現タグを表示する、ことを特徴とする請求項９に記載の情報処理装置。

【請求項11】

前記表示制御手段は、前記固有表現タグのリストにおいて、使用されている前記固有表現タグの表示色と使用されていない前記固有表現タグの表示色を異なる色で表示する、ことを特徴とする請求項１０に記載の情報処理装置。

【請求項12】

文書画像に固有表現タグを付与する処理を行う情報処理装置の制御方法であって、
入力文書画像を受け付けるステップと、
既に固有表現タグが付与された文書画像群の中から、前記入力文書画像と比較するための参照文書画像を選択するステップと、
前記選択するステップにおいて選択された前記参照文書画像において前記固有表現タグが付与されている文字列に対応する文字ブロックを前記入力文書画像から抽出するステップと、
抽出された前記文字ブロックが表す文字列の特徴量ベクトルと前記参照文書画像において固有表現タグが付与されている文字列の特徴量ベクトルとの類似度に基づいて、抽出された前記文字ブロックが表す文字列に固有表現タグを付与するステップと、
を備えることを特徴とする情報処理装置の制御方法。

【請求項13】

コンピュータを、請求項１乃至１１のいずれか一項に記載の情報処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、機械学習モデルの学習データ群を作成する技術に関する。

【背景技術】

【0002】

固有表現抽出をはじめとする機械学習に用いられる学習データを作成するためのプログラムとして、対象となるデータに対して学習すべき正解情報（タグ）を付与して学習データを生成するアノテーションツールが利用されている。精度の高い固有表現抽出のために大量の文書を収集して学習データを生成するが、収集した文書の中には同じテンプレートから生成された定型文書が含まれることがある。新しくタグを付与する対象文書が当該定型文書と同じテンプレートから作成されている場合、当該定型文書のタグ情報を流用して対象文書にそのまま付与することにより、タグ付与作業を自動的に完了させることが可能である。そして、同種の文書であるがレイアウトの細部が書類や取引企業によって異なる準定型文書においても同様にタグを自動付与できるようにしたいというニーズがある。ここで、対象文書が準定型文書である場合、表の行数、又はタグ近傍の文字列の長さなどがそれぞれ異なるため、既にタグが付与された他の準定型文書のタグを自動的に付与することができない。この点、レイアウトが異なる準定型文書をファイル化する際に、処理対象の文書において過去にスキャンした文書と位置関係が同じである表及び文字列に対してファイル名に抽出する領域を自動設定する技術が特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１２８７２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献１の技術を準定型文書へのタグ付与に適用する場合、対象文書とタグ付与済み準定型文書との位置関係のみに基づいて対象文書にタグが付与されることになる。そうなると、付与すべきタグが付与されない付与漏れや誤ったタグが付与されてしまう付与ミスが発生する可能性がある。こうした付与漏れや付与ミスが生じた場合はユーザが手動で正しいタグを付与し直す必要があり、ユーザに負担がかかる。本開示は、上記課題に鑑みてなされたものであり、準定型文書においてもタグ付与を効率良く行うことを目的とする。

【課題を解決するための手段】

【0005】

本開示に係る情報処理装置は、文書画像に固有表現タグを付与する処理を行う情報処理装置であって、入力文書画像を受け付ける受付手段と、既に固有表現タグが付与された文書画像群の中から、前記入力文書画像と比較するための参照文書画像を選択する選択手段と、前記選択手段によって選択された前記参照文書画像において前記固有表現タグが付与されている文字列に対応する文字ブロックを前記入力文書画像から抽出する抽出手段と、抽出された前記文字ブロックが表す文字列の特徴量ベクトルと前記参照文書画像において固有表現タグが付与されている文字列の特徴量ベクトルとの類似度に基づいて、抽出された前記文字ブロックが表す文字列に固有表現タグを付与する付与手段と、を備えることを特徴とする。

【発明の効果】

【0006】

本開示の技術によれば、準定型文書においてもタグ付与を効率良く行うことが可能となる。

【図面の簡単な説明】

【0007】

【図1】情報処理装置のハードウェア構成を示すブロック図。

【図2】情報処理装置の機能構成を示すブロック図。

【図3】表示画面の一例を示す図。

【図4】学習データを生成する処理を示すフローチャート。

【図5】入力文書の読み込み処理を示すフローチャート。

【図6】類似文書の検索処理を示すフローチャート。

【図7】類似文書リストの一例を示す図。

【図8】参照文書の選択処理を示すフローチャート。

【図9】タグ情報の一例を示す図。

【図10】タグ付与処理を示すフローチャート。

【図11】タグ枠情報の一例を示す図。

【図12】最大類似文字ブロックの抽出処理を示すフローチャート。

【図13】タグ枠ドラッグ開始処理を示すフローチャート。

【図14】移動中タグ枠情報の一例を示す図。

【図15】タグ枠ドロップ処理を示すフローチャート。

【図16】保存処理を示すフローチャート。

【図17】クローズ処理を示すフローチャート。

【図18】ブロック内類似文字列の抽出処理を説明する図。

【図19】タグ付与部のタグ付与処理を示すフローチャート。

【図20】最類似ブロック内文字列の抽出処理を示すフローチャート。

【図21】最類似文字列の情報の一例を示す図。

【図22】ブロック内類似文字列の抽出処理を示すフローチャート。

【図23】参照文書の選択処理を示すフローチャート。

【発明を実施するための形態】

【0008】

以下、本開示の実施形態について、添付図面を参照して説明する。尚、以下の実施形態は本開示を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。また、フローチャートにおける各工程（ステップ）については「Ｓ」で始まる符号を用いて示す。

【0009】

［第１実施形態］
以下、本開示の第１実施形態について添付図面を参照して説明する。図１は、第１実施形態に係る情報処理装置１００のハードウェア構成を示すブロック図である。情報処理装置１００は、ＧＰＵ１０１、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、記憶装置１０５、ネットワークインターフェース１０６、出力インターフェース１０７、入力インターフェース１０８、及び制御装置１０９を含む。上記の各装置は、システムバス１２１を介して接続されている。

【0010】

ＧＰＵ１０１は、データを並列処理することにより効率的な演算を実行するプロセッサーであり、高速な演算処理をＣＰＵ１０２の代わりに実行する。ＣＰＵ１０２は、ＲＯＭ１０３に記憶されたプログラム及びデータをＲＡＭ１０４に読み出して後述する各種処理を実行する。ＲＯＭ１０３は、ＣＰＵ１０２が実行するプログラム及びデータ等の固定データを記憶する。ＲＡＭ１０４は、ＣＰＵ１０２の主メモリ、及びワークエリアなどの一時記憶領域として用いられる。記憶装置１０５は、文書データなどを記憶する大容量記憶デバイスである。ネットワークインターフェース１０６は、ネットワークへの接続を行うインターフェースであり、情報処理装置１００はインターネットなどのネットワークに接続可能となる。出力インターフェース１０７は、外部の出力デバイス１１０にデータ等を出力するインターフェースである。入力インターフェース１０８は、外部の入力デバイス１１１からデータ及び命令等を受け付けるインターフェースである。制御装置１０９は、各種制御を行う装置である。情報処理装置１００は、上記では１つの装置として説明を行ったが、複数の装置から構成されていてもよい。例えば、記憶装置１０５は外部のストレージサーバを用いてもよい。

【0011】

図２は本実施形態に係る情報処理装置１００の機能構成を示すブロック図である。情報処理装置１００は、学習データ生成部２１０、タグ付与部２２０、記憶部２３０、学習部２６０、及び固有表現抽出部２７０を備える。学習データ生成部２１０は、記憶部２３０に格納された文書データ２３１の文字列毎に固有表現タグを付与した学習データ２３２を生成して記憶部２３０に格納する。タグ付与部２２０は、学習データ生成部２１０が読み取った固有表現タグが付与されていない文書データ２３１に効率よくタグを付与する機能を有する。具体的には、タグ付与部２２０は同じテンプレートから生成された固有表現タグ付与済みの学習データ２３２からタグ情報を取得して、文書データ２３１の文字列にタグを付与する。学習部２６０は、学習データ２３２を学習して推論モデル２８１を構築し、推論モデル２８１のデータを記憶部２３０に格納する。記憶部２３０は、記憶装置１０５によって実現され、文書データ２３１、学習データ２３２、及び推論モデル２８１のデータを記憶し、各機能部にそれらのデータを提供する。固有表現抽出部２７０は、推論モデル２８１を用いて文書データから固有表現を抽出する。

【0012】

図２の各機能部は、ＲＯＭ１０３からＲＡＭ１０４に読み出されたプログラム、及び記憶装置１０５からＲＡＭ１０４にロードされたアプリケーション等のプログラムをＣＰＵ１０２が実行することで実現される。各処理の実行結果はＲＡＭ１０４に保持されるが、文書データ２３１、学習データ２３２、及び推論モデル２８１のデータは記憶装置１０５に格納される。

【0013】

＜固有表現学習データの説明＞
まず、本実施形態の情報処理装置で生成する学習データ２３２の固有表現タグについて説明する。固有表現タグは、固有表現抽出技術の分野で一般に用いられるＩＯＢ２形式で付与する。ＩＯＢ２形式では、固有表現を意味する文字列の先頭単位にＢ－＜任意文字列＞タグ、２番目以降にＩ－＜任意文字列＞タグを付与し、何れの固有表現でもない場合はＯタグを付与する。そしてＢタグから連続する同種のＩタグの領域を同タグの文字列とする。例えば、文字列「Ｔｏ：ＡＢＣ Ｉｎｃ．」の「ＡＢＣ Ｉｎｃ．」に組織名「ＯＲＧ」タグを付与する場合、４文字目「Ａ」にＢ－ＯＲＧ、５文字目「Ｂ」から１１文字目「．」にＩ－ＯＲＧタグ、１から３文字目「Ｔｏ：」にはＯタグを付与する。これで「ＡＢＣ Ｉｎｃ．」を固有表現ＯＲＧと表現する。なお、タグの付与形式はＩＯＢ２形式に限らず、ＩＯＢ１形式やＩＯＥ１形式などでも良い。

【0014】

＜タグ付与処理の説明＞
次に、本実施形態の情報処理装置１００において、学習データ生成部２１０及びタグ付与部２２０が既存の学習データに付与されたタグ情報を文書データ２３１に付与して学習データ２３２を生成する動作を説明する。

【0015】

図３は、タグ付与の操作を行うＵＩ画面の一例を示す図である。４つの領域がＵＩ画面上に表示される。左の領域はツールペイン３０１、中央の領域は編集ペイン３０２、右下の領域は付与元検索ペイン３０３、右上の領域は付与元プレビューペイン３０４と呼ばれる。ツールペイン３０１には入力文書に付与する固有表現タグ毎のタグツールボタン３１０が配置されている。操作者は編集ペイン３０２に表示された入力文書画像の文字列を選択し、付与する固有表現タグの種類に応じてタグツールボタン３１０を選択すると、選択文字列にタグを付与することができる。編集ペイン３０２には固有表現タグを付与する対象である入力文書画像が表示される。付与元検索ペイン３０３には編集ペイン３０２に表示されたタグ付与対象の文書に類似したタグ付与済み学習データ（タグ付与済み文書画像群）を検索して、その一覧を表示することができる。付与元プレビューペイン３０４には付与元検索ペイン３０３の一覧から操作者が選択した学習データ（参照文書）がプレビューされ、選択した学習データの文書内容（参照文書画像）および付与されたタグを確認することができる。

【0016】

図４は、情報処理装置１００が学習データ２３２を生成する全体の処理を示すフローチャートである。本フローに係る情報処理装置１００のプログラムは、ＲＯＭ１０３に格納されており、ＲＡＭ１０４に読み出され、ＣＰＵ１０２によって実行される。Ｓ４０１では、情報処理装置１００は操作者の操作を判定して、当該操作に対応する処理を行う。

【0017】

以下、図３及び図４を参照して、操作者の操作の順序に従って処理を説明する。各処理の詳細は後述する。まず、操作者が「開く」ボタン３２０を押下すると、情報処理装置１００のＣＰＵ１０２は入力文書読み込み処理（Ｓ４０２）を行う。次に、操作者が文書フォルダ名３３０を入力した後に「検索」ボタン３３２を押下すると、情報処理装置１００のＣＰＵ１０２は入力文書との類似度が所定の値以上である文書（以下、「類似文書」とも称する）の検索処理（Ｓ４０３）を行う。操作者が類似文書一覧３３３から文書を１つ選択すると、情報処理装置１００のＣＰＵ１０２は参照文書の選択処理（Ｓ４０４）を行う。参照文書の選択処理（Ｓ４０４）が実行されると、領域３０４に操作者が選択した文書データ（参照文書画像）が表示される。

【0018】

操作者が領域３０４に表示された参照文書画像及び付与されたタグの表示から参照文書であること確認し、「タグ付与」ボタン３４０を押下すると、情報処理装置１００のＣＰＵ１０２はタグ付与処理（Ｓ４０５）を実行する。タグ付与処理によって入力文書画像においてタグを付与する文字列が見つからなかったタグがあった場合には、文字列が定まっていない枠だけのタグ（タグ枠）を表示する。操作者がマウス操作などでタグ枠をドラッグ開始すると、情報処理装置１００のＣＰＵ１０２はタグ枠ドラッグ開始処理（Ｓ４０６）を行う。操作者がドラッグしたタグ枠を入力文書画像中の文字列上にドロップ（ドラッグアンドドロップ）すると、情報処理装置１００のＣＰＵ１０２はタグ枠ドロップ処理（Ｓ４０７）を行う。操作者が「保存」ボタン３２１を押下すると、情報処理装置１００のＣＰＵ１０２は保存処理（Ｓ４０８）を行う。最後に、タグ付けが完了して操作者が「閉じる」ボタン３２２を押下すると、情報処理装置１００のＣＰＵ１０２はクローズ処理（Ｓ４０９）を行い、入力文書画像に対する処理を終了する。入力文書画像に対する処理を終了すると、学習データ２３２が生成される。操作者がタグツールボタン３１０を押下するなど、操作者がその他の操作を行った場合には、情報処理装置１００のＣＰＵ１０２はその他の処理（Ｓ４１０）を行う。ここで、情報処理装置１００の機能構成に示される学習データ生成部２１０は、入力文書読み込み処理、保存処理、及びクローズ処理を行う。タグ付与部２２０は、類似文書の検索処理、参照文書の選択処理、タグ付与処理、タグ枠ドラッグ開始処理、及びタグ枠ドロップ処理を行う。

【0019】

図５は、情報処理装置１００のＣＰＵ１０２が実行する入力文書の読み込み処理（Ｓ４０２）の詳細なフローチャートである。まず、情報処理装置１００のＣＰＵ１０２は、後述する保存処理（Ｓ４０８）によって現在タグ付与中の文書の学習データを記憶装置１０５に保存する。Ｓ５０１において、情報処理装置１００のＣＰＵ１０２は、固有表現タグを付与する対象の文書を受け付ける画面を表示制御装置１１２に表示し、処理はＳ５０２に進む。Ｓ５０２において、情報処理装置１００のＣＰＵ１０２は、表示された文書受付画面上で文書（入力文書）が受け付けられたか判定する。文書受付画面上で文書が受け付けられた場合には、処理はＳ５０３に進む。文書受付画面上で文書が受け付けられなかった場合には、図５に示されるフローチャートの処理は終了する。

【0020】

Ｓ５０３において、情報処理装置１００のＣＰＵ１０２は受け付けられた文書を読み込み、処理はＳ５０４に進む。Ｓ５０４において、受け付けられた文書を読み込む際に、情報処理装置１００のＣＰＵ１０２はエラーが発生しなかったか判定する。エラーが発生した場合には、処理はＳ５０５に進む。エラーが発生しなかった場合には、処理はＳ５０６に進む。

【0021】

Ｓ５０５において、情報処理装置１００のＣＰＵ１０２はエラー処理を行い、図５に示されるフローチャートの処理は終了する。Ｓ５０６において、情報処理装置１００のＣＰＵ１０２は、読み込んだ入力文書の内容を入力文書画像として編集ペイン３０２に表示し、処理はＳ５０７に進む。Ｓ５０７において、情報処理装置１００のＣＰＵ１０２は、ＲＡＭ１０４に格納された変更済フラグをＯＦＦにし、図５に示されるフローチャートの処理は終了する。変更済フラグがＯＮである場合、入力文書画像に付与されたタグ設定に変更があることを表す。変更済フラグがＯＦＦである場合、タグ設定に変更がないことを表す。

【0022】

図６は、情報処理装置１００のＣＰＵ１０２が実行する類似文書の検索処理（Ｓ４０３）の詳細なフローチャートである。まず、Ｓ６０１において、情報処理装置１００のＣＰＵ１０２は、Ｓ４０２でタグを付与する入力文書を開いて編集中としており、かつ、入力文書の類似文書を検索するフォルダを設定しているかを判定する。編集中文書の類似文書を検索するフォルダの設定は、ユーザが図３の領域３３０にフォルダ名を入力することにより行われる。Ｓ６０１において入力文書が編集中ではない、又は入力文書の類似文書を検索するフォルダを設定していない場合には、図６に示されるフローチャートの処理は終了する。Ｓ６０１においてタグを付与する文書を編集中としており、かつ、入力文書の類似文書を検索するフォルダが設定済みである場合には、処理はＳ６０２に進む。

【0023】

Ｓ６０２では、情報処理装置１００のＣＰＵ１０２は、設定された文書検索フォルダから学習データを検索し、学習データが見つかったか判定する。図３のチェックボックス３３１がＯＮであれば、領域３３０で指定したフォルダのサブフォルダも再帰的に検索する。学習データが見つからなかった場合には、図６に示されるフローチャートの処理は終了する。学習データが見つかった場合には、処理はＳ６０４に進む。Ｓ６０４において、情報処理装置１００のＣＰＵ１０２は、入力文書の特徴量ベクトルを算出し、処理はＳ６０５に進む。文書の特徴量ベクトル化処理は、例えば自然言語処理のＤｏｃ２Ｖｅｃの手法を用いる。

【0024】

Ｓ６０５からＳ６１１のループ処理は、見つかった学習データ数分行われる。Ｓ６０６において、情報処理装置１００のＣＰＵ１０２は、見つかった学習データの特徴量ベクトルを算出し、処理はＳ６０７に進む。Ｓ６０７において、情報処理装置１００のＣＰＵ１０２は、入力文書と学習データとの特徴量ベクトルの類似度を算出し、処理はＳ６０８に進む。Ｓ６０８において、情報処理装置１００のＣＰＵ１０２は、見つかった学習データが入力文書と類似しているか判定する。見つかった学習データが入力文書と類似していると判定された場合には、処理はＳ６０９に進む。見つかった学習データが入力文書と類似していないと判定された場合には、処理はＳ６１０に進む。類似度は、特徴量ベクトルのコサイン類似度を用いて算出される。つまり、文章Ａ及び文章Ｂの特徴量ベクトルをそれぞれＶｅｃＡ、ＶｅｃＢとすると、コサイン類似度＝ＶｅｃＡとＶｅｃＢとの内積／（ＶｅｃＡのノルム＊ＶｅｃＢのノルム）で算出できる。コサイン類似度は－１から１の値を取り、１が最も類似している（同一である）ことを表す。Ｓ６０８の判定は、類似度が所定の値以上であれば、学習データが入力文書と類似していると判定する。Ｓ６０９において、情報処理装置１００のＣＰＵ１０２は、見つかった学習データをＲＡＭ１０４に格納された類似文書リストに追加し、処理はＳ６１０に進む。図７は、類似文書リストの一例である。類似文書リストは、学習データの文書名とその文書が格納されたフォルダ名から構成される。Ｓ６１０において、情報処理装置１００のＣＰＵ１０２は、Ｓ６０２で見つかった全学習データに対してＳ６０６からＳ６０９までの処理を行ったかを判定する。全学習データに対してＳ６０６からＳ６０９までの処理を行った場合には、処理はＳ６１１に進む。全学習データに対してＳ６０６からＳ６０９までの処理を行っていない場合には、処理はＳ６０５に戻る。Ｓ６１１において、情報処理装置１００のＣＰＵ１０２は、図３の領域３３３に類似文書リストを表示し図６に示されるフローチャートの処理は終了する。

【0025】

図８は、情報処理装置１００のＣＰＵ１０２が実行する参照文書の選択処理（Ｓ４０４）の詳細なフローチャートである。まず、Ｓ８０１において、情報処理装置１００のＣＰＵ１０２は、類似文書リストが表示された領域３３３から選択された類似文書（参照文書）を読み込み、処理はＳ８０２に進む。Ｓ８０２において、情報処理装置１００のＣＰＵ１０２は、エラーの判定処理を行う。エラーが発生した場合には、処理はＳ８０３に進む。エラーが発生していなかった場合には、処理はＳ８０４に進む。Ｓ８０３において、情報処理装置１００のＣＰＵ１０２は、エラー処理を行う。エラー処理が完了すると、図８に示されるフローチャートの処理は終了する。Ｓ８０４において、情報処理装置１００のＣＰＵ１０２は、付与元プレビューペイン３０４にＳ８０１において選択された類似文書の内容である参照文書画像及び付与されたタグ情報を表示する。これにより、入力文書と参照文書との比較が可能になる。Ｓ８０４の処理が完了すると、図８に示されるフローチャートの処理は終了する。

【0026】

図９は参照文書に付与されたタグ情報の一例で、タグ情報は、ブロックＩＤ９０１、ブロック領域９０２、タグＩＤ９０３、文字９０４、タグ９０５、及び文字領域９０６で構成される。タグ情報は文字毎に付与される。ブロックＩＤ９０１はタグが付与された文字ブロックを一意に示す識別子である。タグが付与された元の文書は、文字、画像、表等の領域ごとのブロックで構成され、タグ情報はタグが付与された文字ブロックに付随している。ブロック領域９０２はタグが付与されたブロックの領域の左上点と右下点の座標である。タグＩＤ９０３は固有表現文字列のタグを一意に示す識別子である。ＩＯＢ２形式では、固有表現文字列の先頭文字にＢ－＜任意文字列＞タグ、２番目以降の文字にＩ－＜任意文字列＞タグを付与するが、１つの固有表現文字列の先頭文字から最終文字までに同じタグＩＤを設定する。文字９０４はタグが付与された文字であり、タグ９０５はＩＯＢ２形式のタグである。文字領域９０６はタグが付与された文字９０４の占める領域である。タグの表示は、図３の領域３４１のようにタグが設定された文字列を実線の枠で囲い、領域３４２のように上部にタグ名を表示する。

【0027】

図１０は、情報処理装置１００のＣＰＵ１０２が実行するタグ付与処理（Ｓ４０５）の詳細なフローチャートである。Ｓ１００１からＳ１０１１までのループ処理はタグ数分繰り返される。Ｓ１００２において、付与元プレビューペイン３０４に表示された参照文書画像に含まれる各タグのタグ領域の近傍にある入力文書画像の文字ブロックを検索し、処理はＳ１００３に進む。タグ領域の近傍とは、タグが付与されている文字列の占める領域を所定の長さ分上下左右に拡大した領域にブロックの領域が少しでも重なることを意味する。タグが付与されている文字列の占める領域は、同じタグＩＤ９０３を有する複数の文字に対する各タグ情報の文字領域９０６を全て含む外接矩形の領域になる。Ｓ１００３において、情報処理装置１００のＣＰＵ１０２は、入力文書画像において参照文書画像のタグ領域近傍に文字ブロックが見つかったか否かを判定する。文字ブロックが見つかった場合には、処理はＳ１００４に進む。文字ブロックが見つからなかった場合には、処理はＳ１００９に進む。

【0028】

Ｓ１００４において、情報処理装置１００のＣＰＵ１０２は、参照文書画像のタグ文字列に最も類似している文字列の文字ブロックを抽出し、処理はＳ１００５に進む。抽出処理の詳細は後述する。Ｓ１００５において、情報処理装置１００のＣＰＵ１０２は、抽出された文字ブロックの類似度が所定の値以上であるかを判定する。類似度が所定の値以上である場合には、処理はＳ１００６に進む。類似度が所定の値未満である場合には、処理はＳ１００９に進む。Ｓ１００６において、情報処理装置１００のＣＰＵ１０２は、参照文書画像のタグを抽出された文字ブロックに付与し、処理はＳ１００７に進む。Ｓ１００７において、情報処理装置１００のＣＰＵ１０２は、付与されたタグを表示し、処理はＳ１００８に進む。Ｓ１００７において、Ｓ８０４の参照文書画像のタグ表示と同様に、図３の編集ペイン３０２の表示のようにタグが設定された文字列を実線の枠で囲い、上部にタグ名を表示する。Ｓ１００８において、情報処理装置１００のＣＰＵ１０２は、変更済フラグをＯＮに設定し、処理はＳ１０１１に進む。

【0029】

Ｓ１００９において、情報処理装置１００のＣＰＵ１０２は、文字列が入っていない枠だけのタグ（タグ枠）を作成し、処理はＳ１０１０に進む。Ｓ１０１０において、情報処理装置１００のＣＰＵ１０２は当該タグ枠を表示し、処理はＳ１０１１に進む。タグ枠は、文字列が空の文字ブロックを作成し、そのブロックにタグ枠情報を付与したものである。図１１は、タグ枠情報の一例である。タグ枠情報はタグ情報に付与元ブロックＩＤ１１０１及び付与元タグＩＤ１１０２を追加したものである。Ｓ１００９において生成されるタグ枠に付与するタグ枠情報は、文字９０４が空、タグ９０５が参照文書画像のタグ情報と同一、文字領域９０６が参照文書画像のタグ情報の各文字の文字領域を加算した領域である。また、付与元ブロックＩＤ１１０１と付与元タグＩＤ１１０２は参照文書画像のブロックＩＤ９０１及びタグＩＤ９０３と同様に、参照文書画像のタグ文字列の特徴量ベクトルが算出可能である。タグ枠の表示は、図３の領域３２５のようにタグが設定された文字列を破線の枠で囲い、領域３２６のように領域３２５の上部にタグ名を表示する。Ｓ１０１１において、情報処理装置１００のＣＰＵ１０２は、参照文書画像に含まれる全タグ情報に対してＳ１００２からＳ１０１０までの処理を実行したかを判定する。全タグ情報に対して処理を実行していない場合には、処理はＳ１００１に戻る。全タグ情報に対して処理を実行している場合には、図１０に示されるフローチャートの処理は終了する。

【0030】

図１２は、最類似文字ブロックの抽出処理（Ｓ１００４）の詳細なフローチャートである。Ｓ１２０１において、情報処理装置１００のＣＰＵ１０２は、参照文書画像のタグ文字列の特徴量ベクトルを算出し、処理はＳ１２０２に進む。文字列の特徴量ベクトル化は、例えば自然言語処理のＷｏｒｄ２Ｖｅｃの手法を用いる。Ｓ１２０２において、情報処理装置１００のＣＰＵ１０２は、Ｓ１００２において見つかった全文字ブロックの文字列の特徴量ベクトルを算出し、処理はＳ１２０３に進む。Ｓ１２０３において、情報処理装置１００のＣＰＵ１０２は、Ｓ１２０１において算出した特徴量ベクトル及びその類似度を算出し、処理はＳ１２０４に進む。Ｓ１２０４において、情報処理装置１００のＣＰＵ１０２は、Ｓ１００２において見つかった全文字ブロックで最も類似度が大きい文字ブロックを抽出する。

【0031】

図１３は、情報処理装置１００のＣＰＵ１０２が実行するタグ枠ドラッグ開始処理（Ｓ４０６）の詳細なフローチャートである。Ｓ１３０１において、情報処理装置１００のＣＰＵ１０２は、ドラッグの開始座標に存在するタグ枠を検索し、処理はＳ１３０２に進む。Ｓ１３０２において、情報処理装置１００のＣＰＵ１０２は、タグ枠が存在するかを判定する。タグ枠が存在しない場合には、図１３に示されるフローチャートの処理は終了する。タグ枠が存在する場合には、処理はＳ１３０３に進む。Ｓ１３０３において、情報処理装置１００のＣＰＵ１０２は、移動中タグ枠情報を生成し、当該移動中タグ枠情報をＲＡＭ１０４に格納する）。図１４は移動中タグ枠情報の一例である。移動中タグ枠情報はタグ枠のブロックＩＤ９０１、タグ枠のブロック領域９０２、付与元ブロックＩＤ１１０１及び付与元タグＩＤ１１０２をコピーして生成される。

【0032】

図１５は、情報処理装置１００のＣＰＵ１０２が実行するタグ枠ドロップ処理（Ｓ４０７）の詳細なフローチャートである。Ｓ１５０１において、情報処理装置１００のＣＰＵ１０２は、ＲＡＭ１０４に移動中タグ枠情報が存在するかを判定する。移動中タグ枠情報が存在しない場合には、図１５に示されるフローチャートの処理は終了する。移動中タグ枠情報が存在する場合には、処理はＳ１５０２に進む。Ｓ１５０２において、情報処理装置１００のＣＰＵ１０２は、移動中タグ枠情報の付与元ブロックＩＤ１１０１及び付与元タグＩＤ１１０２から参照文書画像のタグ文字列の特徴量ベクトルを算出し、処理はＳ１５０３に進む。

【0033】

Ｓ１５０３において、情報処理装置１００のＣＰＵ１０２は、ドロップ座標に存在する最上位層の文字ブロックを検索し、処理はＳ１５０４に進む。Ｓ１５０４において、情報処理装置１００のＣＰＵ１０２はブロックが存在するかを判定する。ブロックが存在しない場合には、処理はＳ１５１２に進む。ブロックが存在する場合には、処理はＳ１５０５に進む。Ｓ１５０５において、情報処理装置１００のＣＰＵ１０２は、見つかった文字ブロックの文字列の特徴量ベクトルを算出し、処理はＳ１５０６に進む。Ｓ１５０６において、情報処理装置１００のＣＰＵ１０２は、Ｓ１５０２において算出した特徴量ベクトルとＳ１５０５において算出した特徴量ベクトルとの類似度を算出し、処理はＳ１５０７に進む。

【0034】

Ｓ１５０７において、情報処理装置１００のＣＰＵ１０２は、算出された類似度が所定の値以上であるかを判定する。算出された類似度が所定の値以上である場合には、Ｓ１５０８に進む。算出された類似度が所定の値未満である場合には、処理はＳ１５１２に進む。Ｓ１５０８において、情報処理装置１００のＣＰＵ１０２は、参照文書画像のタグをドロップ先文字ブロックに付与し、処理はＳ１５０９に進む。Ｓ１５０９において、情報処理装置１００のＣＰＵ１０２は、付与されたタグを表示し、処理はＳ１５１０に進む。Ｓ１５０９において、タグが付与された文字列及び付与されたタグの表示色をタグが表示される前の表示色と異なる色にしても良い。

【0035】

Ｓ１５１０において、情報処理装置１００のＣＰＵ１０２は、タグ枠ブロックを削除し、処理はＳ１５１１に進む。Ｓ１５１１において、情報処理装置１００のＣＰＵ１０２は、変更済フラグをＯＮに設定し、処理はＳ１５１２に進む。Ｓ１５１２において、情報処理装置１００のＣＰＵ１０２は、移動中タグ枠情報を削除し、て（Ｓ１０１２）、図１５に示されるフローチャートの処理は終了する。

【0036】

図１６は、情報処理装置１００のＣＰＵ１０２が実行する保存処理（Ｓ４０８）の詳細なフローチャートである。Ｓ１６０１において、情報処理装置１００のＣＰＵ１０２は、変更済フラグがＯＮであるかを判定する。変更済フラグがＯＦＦである場合には、図１６に示されるフローチャートの処理は終了する。変更済フラグがＯＮである場合には、処理はＳ１６０２に進む。Ｓ１６０２において、情報処理装置１００のＣＰＵ１０２は入力文書画像を保存し、処理はＳ１６０３に進む。入力文書画像を保存する際、タグ枠が存在する場合には、タグ枠を省いて入力文書画像は保存される。Ｓ１６０３において、情報処理装置１００のＣＰＵ１０２は、編集済フラグをＯＦＦに設定し、図１６に示されるフローチャートの処理は終了する。

【0037】

図１７は、情報処理装置１００のＣＰＵ１０２が実行するクローズ処理（Ｓ４０９）の詳細なフローチャートである。情報処理装置１００のＣＰＵ１０２は、上述した保存処理（Ｓ４０８）を行い、画面を閉じ（Ｓ１７０１）、図１７に示されるフローチャートの処理は終了する。本実施形態では、文字ブロック全体に付与されたタグを付与するが可能になる。これにより、準定型文書においてもタグ付与を効率良く行うことが可能となる。

【0038】

［第２実施形態］
本開示に係る第２実施形態について説明する。以下の説明において、第１実施形態と異なる点についてのみ説明する。第１実施形態では、図３の「請求書」及び「ＡＢＣ株式会社」のように文字ブロック全体に付与されたタグを付与する場合の一例を説明した。第２実施形態では、長い文章のような文字ブロック中の一部に付与されたタグを入力文書画像の文字列の一部に付与する場合を説明する。図１８は、参照文書画像の文字ブロック内の一部の文字列に付与されたタグを、入力文書画像の文字ブロック内の類似した文字列へ付与する際の文字列の抽出処理の模式図である。当該文字列の抽出処理は、タグ文字列の直前文字列が類似している文字列を探し、直前文字列の次の単語から始まる文字列が類似している文字列を抽出する。

【0039】

図１９は、文字ブロック中の一部に付与されたタグを付与する場合のタグ付与処理のフローチャートである。基本的な動作はＳ４０５のタグ付与処理と同様であるが、最類似文字ブロックの抽出処理（Ｓ１００４）がブロック内の一部の文字列の抽出処理（Ｓ１９０１）に置き換わっている。

【0040】

図２０は、最類似ブロック内文字列の抽出処理（Ｓ１９０１）の詳細なフローチャートである。Ｓ２００１において、情報処理装置１００のＣＰＵ１０２は、参照文書画像のタグ文字列における直前文字列の特徴量ベクトルを算出し、処理はＳ２００２に進む。Ｓ２００２において、情報処理装置１００のＣＰＵ１０２は、参照文書画像のタグ文字列の特徴量ベクトルを算出し、処理はＳ２００３に進む。Ｓ２００３からＳ２００７までのループ処理は、Ｓ１００２の処理において見つかった全ての文字ブロックに対して行われる。

【0041】

Ｓ２００４において、情報処理装置１００のＣＰＵ１０２は、Ｓ１００２の処理において見つかった文字ブロックから参照文書画像に類似した「タグ文字列の直前文字列」と「タグ候補文字列」とを抽出し、処理はＳ２００５に進む。Ｓ２００５において、情報処理装置１００のＣＰＵ１０２は、直前文字列の特徴量ベクトルの類似度及びタグ候補文字列の特徴量ベクトルの類似度がこれまでの最大値よりも大きいかを判定する。直前文字列の特徴量ベクトルの類似度及びタグ候補文字列の特徴量ベクトルの類似度がこれまでの最大値よりも大きい場合には、処理はＳ２００６に進む。直前文字列の特徴量ベクトルの類似度及びタグ候補文字列の特徴量ベクトルの類似度がこれまでの最大値未満である場合には、処理はＳ２００７に進む。Ｓ２００６において、情報処理装置１００のＣＰＵ１０２は、最類似の文字列情報を更新し、処理はＳ２００７に進む。図２１は最類似の文字列情報の一例を示す。最類似の文字列情報は、ブロックＩＤ２１０１、文字列範囲２１０２、直前文字列の類似度２１０３、文字列類似度２１０４から構成される。Ｓ２００５における判定は、Ｓ２００４の抽出結果の直前文字列の類似度とタグ候補文字列の類似度との積が、最類似の文字列情報の直前文字列の類似度２２０３と文字列類似度２２０４との積より大きいか否かで行われる。判定方法は、重みづけの積など他の方法で行っても良い。Ｓ２００７において、情報処理装置１００のＣＰＵ１０２は、Ｓ１００２の処理で見つかった全ての文字ブロックに対してＳ２００４からＳ２００６までの処理が行われたかを判定する。Ｓ１００２の処理で見つかった全ての文字ブロックに対して処理が行われた場合には、最類似の文字列情報の文字ブロック及びと文字列が抽出結果として出力され、図２０に示されるフローチャートの処理は終了する。Ｓ１００２の処理で見つかった全ての文字ブロックに対して処理が行われていない場合には、処理はＳ２００３に戻る。

【0042】

図２２は、ブロック内類似文字列の抽出処理（Ｓ２００４）の詳細なフローチャートである。Ｓ２２０１において、情報処理装置１００のＣＰＵ１０２は、文字ブロック内を単語単位に分割し、処理はＳ２２０２に進む。Ｓ２２０２からＳ２２１２までのループ処理は、ｉがＳ２２０１の処理において分割した単語数分繰り返される。Ｓ２２０３において、情報処理装置１００のＣＰＵ１０２は、ｉ番目の単語の直前文字列（先頭からｉ－１番目の単語までの文字列）の特徴量ベクトルを算出し、処理はＳ２２０４に進む。Ｓ２２０４において、情報処理装置１００のＣＰＵ１０２は、Ｓ２２０３において算出した特徴ベクトルとＳ２００１において算出した特徴量ベクトルとの類似度を算出し、処理はＳ２２０５に進む。Ｓ２２０５において、情報処理装置１００のＣＰＵ１０２は、Ｓ２２０４において算出した類似度（直前文字列の類似度）が所定の値以上であるかを判定する。類似度が所定の値未満である場合には、処理はＳ２２１２に進む。類似度が所定の値以上である場合には、処理はＳ２２０６に進む。

【0043】

Ｓ２２０６からＳ２２１１までのループ処理は、ｊがｉからＳ２２０１の処理において分割した単語数になるまで繰り返される。Ｓ２２０７において、情報処理装置１００のＣＰＵ１０２は、ｉからｊ番目の単語をタグ候補文字列として特徴量ベクトルを算出し、処理はＳ２２０８に進む。Ｓ２２０８において、情報処理装置１００のＣＰＵ１０２は、Ｓ２２０７において算出した特徴ベクトルとＳ２００２において算出した特徴量ベクトルとの類似度を算出し、処理はＳ２２０９に進む。Ｓ２２０９において、情報処理装置１００のＣＰＵ１０２は、Ｓ２２０８において算出した類似度（タグ候補文字列の類似度）が所定の値以上であるか判定する。類似度が所定の値未満である場合には、処理はＳ２２１１に進む。類似度が所定の値以上である場合には、処理はＳ２２１０に進む。

【0044】

Ｓ２２１０において、情報処理装置１００のＣＰＵ１０２は、ｉからｊ番目の文字列、Ｓ２２０４において算出した直前文字列の類似度、及びＳ２２０８において算出したタグ候補文字列の類似度を抽出結果として出力する。抽出結果を出力すると、図２２に示されるフローチャートの処理は終了する。Ｓ２２１１において、ｊがＳ２２０１の処理において分割した単語数である場合には、処理はＳ２２１２に進む。ｊがＳ２２０１の処理において分割した単語数ではない場合には、処理はＳ２２０６に戻る。Ｓ２２１２において、ｉがＳ２２０１の処理において分割した単語数である場合には、処理はＳ２２１３に進む。ｉがＳ２２０１の処理において分割した単語数ではない場合には、処理はＳ２２０２に戻る。Ｓ２２１３において、情報処理装置１００のＣＰＵ１０２は、空の抽出結果を出力する。抽出結果を出力すると、図２２に示されるフローチャートの処理は終了する。本実施形態では、長い文章のような文字ブロック中の一部に付与されたタグを付与するため、準定型文書においてもタグ付与を効率良く行うことが可能となる。

【0045】

［第３実施形態］
本開示に係る第３実施形態について説明する。以下の説明において、第１実施形態と異なる点についてのみ説明する。第１実施形態では、参照文書画像からのタグ付与を半自動で行うことができることを示した。第３実施形態では、参照文書画像で使われているタグが識別できるようにする。これにより、参照文書画像からのタグ付与を手動で行う際にもタグ付与作業の効率を向上することが可能となる。

【0046】

図２３は、本実施形態における第２の参照文書の選択処理に係るフローチャートである。Ｓ８０４の処理に続いてＳ２３０１の処理が行われる。Ｓ２３０１において、情報処理装置１００のＣＰＵ１０２は、Ｓ８０１において読み込んだ学習データから使用されているタグを抽出し、処理はＳ２３０２に進む。Ｓ２３０２において、情報処理装置１００のＣＰＵ１０２は、抽出結果を反映して図３に示されるタグツールボタン３１０の表示を変更する。タグツールボタン３１０の表示が変更されると、図２３に示されるフローチャートの処理は終了する。タグツールボタン３１０の表示変更は、例えば、使用されているタグを異なる色でボタンを表示しも良い。或いはタグツールボタン３１０を使用頻度順に表示しても良い。これにより、ユーザは使用されているタグを視覚的に認識することができるため、準定型文書においてもタグ付与を効率良く行うことが可能となる。

【0047】

［その他の実施形態］
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0048】

上述した実施形態の開示は、以下の構成を含む。

【0049】

（構成１）文書画像に固有表現タグを付与する処理を行う情報処理装置であって、入力文書画像を受け付ける受付手段と、既に固有表現タグが付与された文書画像群の中から、前記入力文書画像と比較するための参照文書画像を選択する選択手段と、前記選択手段によって選択された前記参照文書画像において前記固有表現タグが付与されている文字列に対応する文字ブロックを前記入力文書画像から抽出する抽出手段と、抽出された前記文字ブロックが表す文字列の特徴量ベクトルと前記参照文書画像において固有表現タグが付与されている文字列の特徴量ベクトルとの類似度に基づいて、抽出された前記文字ブロックが表す文字列に固有表現タグを付与する付与手段と、を備えることを特徴とする情報処理装置。

【0050】

（構成２）前記参照文書画像は、前記入力文書画像との類似度が所定の値以上の値を有する、ことを特徴とする構成１に記載の情報処理装置。

【0051】

（構成３）抽出された前記文字ブロックが表す文字列のタグ情報をＵＩ画面に表示する表示制御手段と、をさらに備えることを特徴とする構成１または２に記載の情報処理装置。

【0052】

（構成４）前記表示制御手段は、前記文字列が抽出されない前記固有表現タグには枠のみを表示する、ことを特徴とする構成３に記載の情報処理装置。

【0053】

（構成５）前記ＵＩ画面上で前記枠が対応する前記文字ブロックにドラッグアンドドロップされた場合、前記付与手段は当該文字ブロックが表す文字列に前記固有表現タグを付与する、ことを特徴とする構成４に記載の情報処理装置。

【0054】

（構成６）ドラッグアンドドロップにより、前記付与手段が、前記文字ブロックが表す文字列に前記固有表現タグを付与した場合、前記表示制御手段は当該文字ブロックが表す文字列のタグ情報を前記ＵＩ画面に表示する、ことを特徴とする構成５に記載の情報処理装置。

【0055】

（構成７）前記表示制御手段は、前記文字ブロック及びそのタグ情報の表示色を前記固有表現タグが付与される前の表示色とは異なる色で表示する、ことを特徴とする構成６に記載の情報処理装置。

【0056】

（構成８）前記付与手段は、前記抽出手段によって抽出された前記文字ブロックの一部を表す第１文字列の特徴量ベクトルと前記参照文書画像において前記固有表現タグが付与されている第２文字列の特徴量ベクトルとの類似度と、前記第１文字列の直前文字列の特徴量ベクトルと前記第２文字列の直前文字列の特徴量ベクトルとの類似度と、に基づいて、前記第１文字列に前記固有表現タグを付与する、ことを特徴とする構成１に記載の情報処理装置。

【0057】

（構成９）前記表示制御手段は、使用される前記固有表現タグのリストを前記ＵＩ画面に表示する、ことを特徴とする構成３乃至７のいずれか一項に記載の情報処理装置。

【0058】

（構成１０）前記固有表現タグの使用頻度を格納する記憶手段と、をさらに備え、前記表示制御手段は、前記固有表現タグのリストにおいて、使用頻度順に前記固有表現タグを表示する、ことを特徴とする構成９に記載の情報処理装置。

【0059】

（構成１１）前記表示制御手段は、前記固有表現タグのリストにおいて、使用されている前記固有表現タグの表示色と使用されていない前記固有表現タグの表示色を異なる色で表示する、ことを特徴とする構成１０に記載の情報処理装置。

【0060】

（構成１２）文書画像に固有表現タグを付与する処理を行う情報処理装置の制御方法であって、入力文書画像を受け付けるステップと、既に固有表現タグが付与された文書画像群の中から、前記入力文書画像と比較するための参照文書画像を選択するステップと、前記選択するステップにおいて選択された前記参照文書画像において前記固有表現タグが付与されている文字列に対応する文字ブロックを前記入力文書画像から抽出するステップと、抽出された前記文字ブロックが表す文字列の特徴量ベクトルと前記参照文書画像において固有表現タグが付与されている文字列の特徴量ベクトルとの類似度に基づいて、抽出された前記文字ブロックが表す文字列に固有表現タグを付与するステップと、を備えることを特徴とする情報処理装置の制御方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】