特許 7401344 文書を電子化する画像処理システム、その制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-11

(45)【発行日】2023-12-19

(54)【発明の名称】文書を電子化する画像処理システム、その制御方法及びプログラム

(51)【国際特許分類】

   G06F 3/04842 20220101AFI20231212BHJP

   H04N 1/00 20060101ALI20231212BHJP

   G06F 16/583 20190101ALI20231212BHJP

【ＦＩ】

G06F3/04842

H04N1/00 L

H04N1/00 350

G06F16/583

【請求項の数】 19

(21)【出願番号】P 2020031689

(22)【出願日】2020-02-27

(65)【公開番号】P2021117962

(43)【公開日】2021-08-10

【審査請求日】2023-02-16

(31)【優先権主張番号】P 2020007518

(32)【優先日】2020-01-21

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】松田 浩太郎

(72)【発明者】

【氏名】丹羽 広次

【審査官】岩橋 龍太郎

(56)【参考文献】

【文献】特開２０１３－０３７３９９（ＪＰ，Ａ）

【文献】特開２０１４－２２５１９２（ＪＰ，Ａ）

【文献】特開２０００－２０７０８９（ＪＰ，Ａ）

【文献】特開２０１１－０２２７６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｈ０４Ｎ １／００

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

文書画像にプロパティを設定するためのユーザインタフェース画面を表示するように制御する制御手段を備える画像処理システムであって、
前記ユーザインタフェース画面は、前記文書画像をプレビュー表示するための第１の領域と、前記プロパティの設定項目毎の設定値を入力するための第２の領域とを含み、
前記制御手段は、
前記第２の領域に表示される設定項目のフィールドの少なくとも一部を、当該設定項目に割り当てられた色で色付けして表示するように制御し、
前記第２の領域においていずれかの設定項目が選択状態である場合において、前記第１の領域にプレビュー表示されている前記文書画像内のテキストブロックの１つを、前記選択状態の設定項目に関連付けるテキストブロックとしてユーザが選択すると、当該選択された１つのテキストブロックを、前記選択状態の設定項目に割り当てられた色と同様の色で色付けして表示するように制御する、
ことを特徴とする画像処理システム。

【請求項2】

前記制御手段は、前記第２の領域においていずれかの設定項目が選択状態である場合において、前記第１の領域にプレビュー表示されている前記文書画像内のテキストブロックの１つを、前記選択状態の設定項目に関連付けるテキストブロックとしてユーザが選択すると、当該選択された１つのテキストブロックを、前記選択状態の設定項目に割り当てられた色と同様の色で色付けして表示し、かつ、当該選択された１つのテキストブロックのＯＣＲ処理結果の認識文字列を、前記選択状態の設定項目のフィールドに入力して表示するように制御する、ことを特徴とする請求項１に記載の画像処理システム。

【請求項3】

前記制御手段は、前記第２の領域に表示されている設定項目のフィールドの少なくとも一部を当該設定項目に割り当てられた色で色付けして表示する処理を、前記第２の領域に表示されている当該設定項目を選択するための操作イベントが検出されたタイミングで行うことを特徴とする請求項１または２に記載の画像処理システム。

【請求項4】

前記制御手段は、前記第２の領域に表示されている設定項目のフィールドの少なくとも一部を当該設定項目に割り当てられた色で色付けして表示する処理を、当該設定項目に関連付けられた前記テキストブロックを前記選択状態の設定項目に割り当てられた色と同様の色で色付けして表示する処理と同じタイミングで行うことを特徴とする請求項１または２に記載の画像処理システム。

【請求項5】

前記設定項目のフィールドの少なくとも一部とは、当該フィールド内に設けられた、項目色を表示するための項目色エリアであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理システム。

【請求項6】

前記第２の領域に表示される設定項目に割り当てられる色は、前記文書画像に含まれるテキストブロックの文字色又は背景色とは類似しない色である、ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。

【請求項7】

前記制御手段は、割り当て可能な複数の色を定義した項目色情報に基づいて、前記第２の領域に表示される設定項目に特定の色を割り当てて表示するように制御する、ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。

【請求項8】

前記項目色情報においては、複数の設定項目における順序に応じた色がそれぞれ対応付けられて定義されており、
前記制御手段は、ユーザが選択した設定項目に対し、前記項目色情報を参照して、当該設定項目の順序に対応する色を割り当てて表示するように制御する、
ことを特徴とする請求項７に記載の画像処理システム。

【請求項9】

前記制御手段は、前記項目色情報に従って割り当てた色が、ユーザが選択したテキストブロックの文字色又は背景色と類似する場合、類似しない色に変更して表示するように制御することを特徴とする請求項７に記載の画像処理システム。

【請求項10】

前記制御手段は、前記文書画像に含まれるテキストブロックの文字色又は背景色のうち頻出する有彩色を特定し、当該有彩色とは類似しない色を、前記第２の領域に表示される設定項目に割り当てて表示するように制御する、ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。

【請求項11】

前記制御手段は、前記有彩色を基準として色相環において離れた位置にある色を、前記第２の領域に表示される設定項目に対して割り当てることを特徴とする請求項１０に記載の画像処理システム。

【請求項12】

前記制御手段は、予め決めておいた複数の候補色の中から、前記有彩色とは類似しない色を、前記第２の領域に表示される設定項目に割り当てて表示するように制御する、ことを特徴とする請求項１０に記載の画像処理システム。

【請求項13】

前記制御手段は、前記第１の領域においてプレビュー表示されている前記文書画像のテキストブロックが、前記第２の領域において表示されている複数の設定項目と関連付けられた場合、その複数の設定項目の数を示すラベルを、当該テキストブロックに対して表示するように制御する、ことを特徴とする請求項１に記載の画像処理システム。

【請求項14】

前記制御手段は、前記第１の領域においてプレビュー表示されている前記文書画像のテキストブロックが、前記第２の領域において表示されている複数の設定項目と関連付けられた後に前記ラベルを表示することを特徴とする請求項１３に記載の画像処理システム。

【請求項15】

前記制御手段は、
前記第２の領域に表示されているいずれかの設定項目のうちユーザが選択した設定項目と関連付けられているテキストブロックが、他の設定項目とも関連付けられている場合、当該選択した設定項目と当該テキストブロックとの関連付けを解除するための解除ボタンを表示し、
前記解除ボタンに対する選択操作の操作イベントが検出されると、当該選択した設定項目と当該テキストブロックとの関連付けを解除し、前記ラベルが示す設定項目の数を減算する、
ことを特徴とする請求項１３に記載の画像処理システム。

【請求項16】

前記ユーザインタフェース画面は、前記第１の領域と前記第２の領域とのそれぞれをペインとする画面であることを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理システム。

【請求項17】

前記文書画像は、文書をスキャンすることにより得られた文書画像であることを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理システム。

【請求項18】

画像処理システムの制御手段が、文書画像にプロパティを設定するためのユーザインタフェース画面を表示するように制御する制御方法であって、
前記ユーザインタフェース画面は、前記文書画像をプレビュー表示するための第１の領域と、前記プロパティの設定項目毎の設定値を入力するための第２の領域とを含み、
前記画像処理システムの前記制御手段は、前記第２の領域に表示される設定項目のフィールドの少なくとも一部を、当該設定項目に割り当てられた色で色付けして表示するように制御し、
前記第２の領域においていずれかの設定項目が選択状態である場合において、前記第１の領域にプレビュー表示されている前記文書画像内のテキストブロックの１つを、前記選択状態の設定項目に関連付けるテキストブロックとしてユーザが選択すると、当該選択された１つのテキストブロックを、前記選択状態の設定項目に割り当てられた色と同様の色で色付けして表示するように制御する、
ことを特徴とする制御方法。

【請求項19】

コンピュータを、請求項１乃至１７のいずれか１項に記載の画像処理システムの制御手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文書を電子化して利用する際のグラフィカルユーザインタフェース（ＧＵＩ）に関する。

【背景技術】

【0002】

従来、注文書等の帳票をスキャンして得られたスキャン画像に対し光学文字認識処理（ＯＣＲ処理）を行って文字列を抽出し、ファイル名等に利用することが行われている。特許文献１には、文書画像内に含まれる文字列の中から特定のキーを含む文字列を抽出してファイル名を自動生成し、文書画像のプレビュー表示と共にユーザに提示する技術が開示されている。この技術によればユーザは、文書画像を確認しながらファイル名を容易に設定することができる。そして、スキャン画像から抽出した文字列をメタデータとして保存・管理し、ファイル名等に利用することも行われている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９―１１５０１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＯＣＲ処理によって得られた認識文字列を用いてファイル名やメタデータを設定する際のアプリケーションのＵＩ画面の構成として、プレビューペインとプロパティペインとからなる２ペイン構成がよく知られている。ここで、プレビューペインは、電子化対象のスキャン画像をプレビュー表示するための領域であり、プロパティペインはファイル名やメタデータといったプロパティの内容を一覧表示するための領域である。注文書や請求書といった文書を電子化する場合、そのスキャン画像には複数の文字領域（テキストブロック）が含まれており、プレビューペインによってユーザは各テキストブロックを視認することができる。また、プロパティペインによってユーザは、「Customer Name」、「Date」、「Address」といった様々な設定項目についての内容を確認することができる。上記２ペイン構成のＵＩ画面にて例えばユーザが、プロパティペイン内の「Customer Name」という設定項目に対し、プレビューペイン内の“XYZ Corporation”のテキストブロックを選択したとする。その結果、スキャン画像内の認識文字列“XYZ Corporation”が、「Customer Name」という設定項目と関連付けて保存されることになる。この場合において、プレビューペイン内に複数のテキストブロックが存在し、かつ、プロパティペイン内にも複数の設定項目が存在すると、どのテキストブロックとどの設定項目とが関連付けられているのかをユーザが即座に把握することが困難であった。

【0005】

本件は、上記課題に鑑みてなされたものであり、プレビューペインとプロパティペインを有するＵＩ画面において、テキストブロックと設定項目との対応関係をユーザが容易に把握できるようにすることを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る画像処理システムは、文書画像にプロパティを設定するためのユーザインタフェース画面を表示するように制御する制御手段を備える画像処理システムであって、前記ユーザインタフェース画面は、前記文書画像をプレビュー表示するための第１の領域と、前記プロパティの設定項目毎の設定値を入力するための第２の領域とを含み、前記制御手段は、前記第２の領域に表示される設定項目のフィールドの少なくとも一部を、当該設定項目に割り当てられた色で色付けして表示するように制御し、前記第２の領域においていずれかの設定項目が選択状態である場合において、前記第１の領域にプレビュー表示されている前記文書画像内のテキストブロックの１つを、前記選択状態の設定項目に関連付けるテキストブロックとしてユーザが選択すると、当該選択された１つのテキストブロックを、前記選択状態の設定項目に割り当てられた色と同様の色で色付けして表示するように制御する、ことを特徴とする。

【発明の効果】

【0007】

本開示の技術によれば、プレビューペインとプロパティペインを有するＵＩ画面において、テキストブロックと設定項目との対応関係をユーザが容易に把握することができる。

【図面の簡単な説明】

【0008】

【図1】画像処理システムの全体構成を示す図

【図2】情報処理装置のハードウェア構成を示すブロック図

【図3】画像処理システムのソフトウェア構成を示す図

【図4】ＵＩ画面の状態遷移を説明する図

【図5】ＵＩ画面の状態遷移を説明する図

【図6】実施形態１に係る、ＵＩ画面制御処理の流れを示すフローチャート

【図7】変形例２の課題を説明する図

【図8】変形例２の効果を説明する図

【図9】変形例２に係る、色付け制御処理の詳細を示すフローチャート

【図10】（ａ）は色の類否判定を説明する図、（ｂ）は項目色の変更を説明する図

【図11】変形例３に係る、色付け制御処理の詳細を示すフローチャート

【図12】変形例３の効果を説明する図

【図13】実施形態２に係る、ＵＩ画面制御処理の流れを示すフローチャート

【図14】ＵＩ画面の状態遷移を説明する図

【図15】ＵＩ画面の状態遷移を説明する図

【発明を実施するための形態】

【0009】

以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

【0010】

［実施形態１］
＜システム構成＞
図１は、本実施形態に係る、文書を電子化する画像処理システムの全体構成を示す図である。画像処理システムは、スキャン文書処理サーバ１１１、クライアント端末１２１、業務サーバ１３１を含む。クライアント端末１２１は、インターネット・イントラネットなどのネットワーク１０１を介してスキャン文書処理サーバ１１１及び業務サーバ１３１と通信可能に接続されている。クライアント端末１２１としては、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォンなどの他、スキャナ機能を備えたＭＦＰ（Multifunction Peripheral）などでもよい。図１に示す画像処理システムの構成は一例であって、これに限定されない。例えば、スキャン文書処理サーバ１１１の機能をクライアント端末１２１が兼ね備えていてもよい。なお、以下の説明では、見積書等の処理対象文書をスキャンして得られたスキャン画像を「スキャン文書」と呼ぶこととする。

【0011】

＜ハードウェア構成＞
図２は、情報処理装置としての、スキャン文書処理サーバ１１１、クライアント端末１２１、業務サーバ１３１のハードウェア構成を示すブロック図である。ユーザインタフェース（ＵＩ）２０１は、ディスプレイ、キーボード、マウス、ボタン、タッチパネルなどによって実現され、情報や信号の入出力を行う。これらのハードウェアを備えないコンピュータは、リモートデスクトップやリモートシェルなどにより、他のコンピュータから接続・操作することも可能である。ネットワークインタフェース２０２は、ネットワーク１０１に接続して、他の情報処理装置や不図示のネットワーク機器との通信を行う。通信方式としては、有線・無線のいずれでもよい。ＣＰＵ２０３は、装置全体の制御を司る演算装置であり、ＲＯＭ２０４、ＲＡＭ２０５、二次記憶装置２０６などから読み込んだプログラムを実行する。ＲＯＭ２０４は、組込済みプログラムおよび各種データを記録する。ＲＡＭ２０５は、各種データの一時記憶を行い、ＣＰＵ２０３のワークメモリとしても機能する。二次記憶装置２０６は、ＨＤＤやフラッシュメモリに代表される大容量記憶装置である。上記各部は入出力インタフェース２０７を介して相互に接続されている。

【0012】

＜ソフトウェア構成＞
図３は、本実施形態に係る、画像処理システムのソフトウェア構成を示す図である。各ソフトウェアは上述したスキャン文書処理サーバ１１１、クライアント端末１２１、業務サーバ１３１にそれぞれインストールされ、それぞれのＣＰＵ２０３で実行される。以下、各ソフトウェアについて説明する。

【0013】

≪スキャン文書処理サーバのソフトウェア≫
スキャン文書処理アプリケーション３１１は、スキャン文書処理サーバ１１１にインストールされているＷｅｂアプリケーションである。ただし、Ｗｅｂアプリケーション以外のアプリケーション実装形態でもよい。ＡＰＩ３１２は、スキャン文書処理アプリケーション３１１によって提供されるＡＰＩ（Application Programming Interface）である。Ｗｅｂ ＵＩ３１３は、スキャン文書処理アプリケーション３１１によって提供されるＷｅｂユーザインタフェースである。

【0014】

データストア３２１は、スキャン文書処理アプリケーション３１１または後述するバックエンドアプリケーション３３１が使用するデータを保存・格納する記憶領域である。データストア３２１には、スキャン文書格納部３２２、スキャン文書ジョブキュー３２３、プロパティ管理部３２４、スキャン文書処理結果格納部３２５が存在する。スキャン文書格納部３２２は、スキャン文書自体のデータをファイル化し、ＪＰＥＧ等の画像ファイルあるいはＰＤＦ（Portable Document Format）等の文書ファイルとして保存する。スキャン文書ジョブキュー３２３は、後述するプロパティ入力処理待ちのジョブを管理するキューを保持する。プロパティ管理部３２４は、スキャン文書ごとに付加が必要なファイル名、フォルダパス、メタデータといったプロパティに関する、設定項目の一覧・設定項目毎の名前や値のフォーマット（文字列・数字など）、後述する項目色情報などを管理する。スキャン文書処理結果格納部３２５は、ＯＣＲ処理結果、帳票判別結果を格納する。また、スキャン文書処理結果格納部３２５は、設定項目に関連付けられた文字領域情報（テキストブロック情報）や、設定された値などを、スキャン文書毎に格納する。

【0015】

バックエンドアプリケーション３３１は、バックグラウンド処理を実行するためのアプリケーションである。バックエンドアプリケーション３３１は、バックグラウンドで順次実行すればよい各種の処理、具体的には、ＯＣＲ処理、帳票処理、通信処理を担当するアプリケーションである。ＯＣＲ処理部３３２は、スキャン文書格納部３２２から処理対象となるスキャン文書を取得し、取得したスキャン文書に対してＯＣＲ処理を実行する。ＯＣＲ処理では、各テキストブロックを特定する情報（具体的には、矩形領域の始点座標・幅・高さの情報）、およびテキストブロック毎の認識文字列の情報が抽出される。帳票処理部３３３は、処理対象のスキャン文書、ＯＣＲ処理によって得られたテキストブロックの配置パターンや認識文字列などの情報を用いて、スキャンの対象となった文書（帳票）の種別を判別する。この判別処理は、パターン認識、機械学習などいずれの手法でもよい。通信処理部３３４は、外部装置である業務サーバ１３１にスキャン文書およびその解析処理結果の送信処理を行う。スキャン文書およびその解析処理結果を送信する必要がない場合は、通信処理部３３４は省略可能である。

【0016】

≪クライアント端末のソフトウェア≫
クライアントアプリケーション３５１は、上述のスキャン文書処理アプリケーション３１１のＷｅｂアプリケーションを実行する。例えば、ＷｅｂブラウザでＷｅｂ ＵＩ３１３を表示して、必要なデータをＡＰＩ３１２と送受信することでＷｅｂアプリケーションを実行する。

【0017】

≪業務サーバのソフトウェア≫
業務アプリケーション３６１は、ファイル管理・文書管理・受注・会計といった企業における各種業務を支援するためのアプリケーションである。業務データストレージ３６２は、業務アプリケーション３６１が使用する各種データを保存する。業務アプリケーション３６１は、スキャン文書処理サーバ１１１で処理した結果を受信し、それに対して必要な処理を行って保管する。

【0018】

＜クライアントアプリケーションのＵＩ画面＞
続いて、クライアント端末１２１のユーザインタフェース２０１に表示されるユーザインタフェース画面（以下、「ＵＩ画面」と表記。）について説明する。図４（ａ）は、本実施形態に係る、クライアントアプリケーション３５１によってユーザインタフェース２０１に表示されるＵＩ画面の一例を示している。

【0019】

図４（ａ）に示すＵＩ画面は、プレビューペイン４０１とプロパティペイン４１１の２ペイン構成となっている。いま、プレビューペイン４０１内には「PURCHASE ORDER（購入注文書）」のスキャン文書のページ画像４０２がプレビュー表示されている。プレビューペイン４０１では、ページ画像４０２をスクロール・ズームして、ページ画像４０２における任意の位置を表示させることができる。プロパティペイン４１１は、処理対象のスキャン文書に対して付与すべきプロパティを表示・編集するためのペインである。プロパティとして設定される項目には、「ファイル名」、「フォルダパス」、「メタデータ」といった親項目、及び、親項目を構成する要素である「会社名」、「日付」、「住所」といった子項目がある。以下の説明においては、親項目として「メタデータ」を設定登録する場合を例に説明を行うものとする。

【0020】

図４（ａ）のＵＩ画面は、帳票判別処理において処理対象のスキャン文書の帳票種別が「購入注文書」であると判別された場合の例である。そして、スキャン文書に付与すべき親項目「メタデータ」の内容として３つの子項目「Customer Name」、「Address」、「Billing Name」が表示されている状態である。なお、以下の説明では、メタデータの子項目を「メタデータ項目」と呼ぶこととする。

【0021】

図４（ｂ）は、ページ画像４０２と各テキストブロックとの関係を示す直交座標系を説明する図である。図４（ｂ）には、３つのテキストブロック４２１、４２２、４２３が存在している。ページ画像４０２には、さらに多くのテキストブロックがあるが、ここでは省略している。ＯＣＲ処理によって検出されたテキストブロックは、それぞれ網掛けの矩形で示すように、始点座標・幅・高さでそれぞれ識別される。例えば、“XYZ Corporation”の文字列に対応するテキストブロック４２３の場合、単位をピクセルとして、「始点座標(1200, 700)」、「幅：720」、「高さ：120」といった具合に表現される。

【0022】

図５は、図４（ａ）のＵＩ画面において、メタデータ項目に対しページ画像４０２内のテキストブロックが関連付けられる様子を説明する図である。いま、ページ画像４０２内の“XYZ Corporation”の文字列に対応するテキストブロック５０１とメタデータ項目「Customer Name」（５１０ａの項目）とが関連付けられている状態である。そして、ユーザが識別しやすいように、テキストブロック５０１には、メタデータ項目ごとに項目色情報に基づき割り当てられた色（図５の例では、メタデータ項目「Customer Name」に割り当てられた「赤色」）で色付けした矩形が、透過重畳表示されている。なお、色付けの手法は透過重畳表示に限定されるものではなく色の付いた枠線の重畳表示などでもよい。プロパティペイン４１１内の横長の矩形５１０ａ～５１０ｃは、大項目であるメタデータについて、子項目であるメタデータ項目の設定値等を表示・編集する表示フィールドである。また、縦長の矩形５１１ａ～５１１ｃは、表示フィールド内の一部に設けられた、メタデータ項目毎に割り当てられた色（項目色）をユーザが識別できるように表示する項目色エリアである。そして、横長の矩形５１２ａ～５１２ｃは、ユーザが選択したテキストブロックに対応する部分の画像（ページ画像４０２から切り取った画像）が表示される領域（切り取り画像エリア）である。どのテキストブロックとも関連付けがなされていない段階では、切り取り画像エリア５１２ｂ及び５１２ｃのように「＋」ボタンが表示され、さらに、項目色エリア５１１ｂ及び５１１ｃの項目色は表示されていない状態となる。各切り取り画像エリア５１２ａ～５１２ｃの下にある横長の矩形５１３ａ～５１３ｃは、ユーザ選択に係るテキストブロックに含まれる認識文字列が表示される編集エリアであり、ユーザは不図示のソフトキーボード等によって表示内容を編集することができる。

【0023】

＜ＵＩ画面制御処理＞
次に、クライアント端末１２１のクライアントアプリケーション３５１によってなされる、上述したＵＩ画面上の各メタデータ項目にテキストブロックを関連付ける制御処理について、図６のフローチャートを用いて説明する。図６に示すフローの実行開始に先立って、まず、スキャン文書処理サーバ１１１のスキャン文書処理アプリケーション３１１によって、処理待ちのキューがクライアントアプリケーション３５１に提供される。ユーザが、クライアントアプリケーション３５１を用いて、処理を開始したいスキャン文書のジョブを選択すると、スキャン文書処理アプリケーション３１１は、当該選択されたスキャン文書に対応する必要な情報をデータストア３２１から取得する。具体的には、スキャン文書格納部３２２から対応する画像ファイルを、スキャン文書処理結果格納部３２５から対応するＯＣＲ処理結果と帳票判別処理結果を取得する。さらに、帳票種別毎のメタデータ項目一覧および、メタデータ項目毎に予め割り当てられた所定の色を識別する項目色情報を、プロパティ管理部３２４から取得する。スキャン文書処理アプリケーション３１１から、これら取得したデータがクライアントアプリケーション３５１に提供されて、図６に示すフローが開始する。なお、以下の説明において記号「Ｓ」はステップを表すものとする。

【0024】

Ｓ６０１では、プレビューペイン４０１内に表示するためのページ画像とＯＣＲ処理結果（認識文字列）のデータがロードされる。続くＳ６０２では、帳票種別に対応するメタデータ項目一覧と項目色情報がロードされる。次のＳ６０３では、Ｓ６０１とＳ６０２にてロードされたデータの内容がＵＩ画面に反映される。具体的にはページ画像がプレビューペイン４０１内に表示され、メタデータ項目一覧に含まれる各メタデータ項目がプロパティペイン４１１内に表示される。ここまでのＳ６０１～Ｓ６０３の処理によって、図４に示すＵＩ画面の状態になる。この時点ではプロパティペイン４１１内の各メタデータ項目の項目色エリア５１１ａ～５１１ｃへの色付けは保留されており、デフォルト（例えば灰色）の状態である。これは、前述した切り取り画像エリア５１２の「＋」ボタン表示と共に、色付けが未定状態であることを視覚的に表現することにより、メタデータが未設定であることをユーザに分かりやすく提示して、メタデータの設定を行うように促すためである。

【0025】

そして、Ｓ６０４では、プロパティペイン４１１内のいずれかのメタデータ項目における切り取り画像エリア５１２ａ～５１２ｃの「＋」ボタンの選択操作の操作イベントが検出される。この選択操作は、タッチパネル上の「＋」ボタンを、ユーザが指やタッチペンでタッチする等の操作やマウスでのクリック操作である。こうして、メタデータ項目一覧に含まれる１又は複数のメタデータ項目の中からユーザ選択に係るメタデータ項目が１つ決定される。以下、ユーザが選択したメタデータ項目を「選択メタデータ項目」と呼ぶ。続くＳ６０５では、Ｓ６０４にて決定された選択メタデータ項目の項目色エリアが、Ｓ６０２にてロードされた項目色情報に従って、色付けされる。ここで、項目色情報には、親項目内に存在する各子項目の順序に対して特定の色がそれぞれ対応付けられているものとする。例えば、予め青、緑、黄、赤の４色を使用可能な色として定義しておき、１番目の設定項目には“青”、２番目の設定項目には“緑”、３番目の設定項目には“黄”、４番目の設定項目には“赤”といった具合に項目順と色とを対応付けておく。この場合、親項目「メタデータ」の３つの子項目は「Customer Name」、「Address」、「Billing Name」の順序なので、それぞれに“青”、“緑”、“黄”が項目色として割り当てられることになる。このように、複数の設定項目における順序に対して特定の色を対応付けておくことで、様々な種類の設定項目において項目色情報を共通化できる。なお、項目色情報において、個々の具体的な設定項目に対し特定の色を予め割り当てておいてもよい。また、ユーザにより選択操作が為された選択メタデータ項目の表示フィールドについて、例えば、当該表示フィールド内の項目色エリア以外のエリアの色を変える等の強調表示を行って、現在選択中のメタデータ項目をユーザが識別しやすくなるようにする。なお、現在選択中のメタデータ項目を識別できるようにする方法としては、色を変えるものに限るものではなく、例えば、当該メタデータ項目の表示フィールドを太線枠で囲んで強調表示するようにしても構わない。

【0026】

そして、Ｓ６０６では、プレビューペイン４０１内のページ画像４０２に存在するいずれかのテキストブロックへのタッチ操作等の操作イベントが検出される。こうして、ページ画像に含まれる１又は複数のテキストブロックの中から任意のテキストブロックが１つ選択される。以下、ユーザが選択したテキストブロックを「選択テキストブロック」と呼ぶ。続くＳ６０７では、Ｓ６０６にて決定された選択テキストブロックが、Ｓ６０５にて色付けされた選択メタデータ項目内の項目色エリアに色付けされた色と同じ色に色付けされる。そして、Ｓ６０８では、Ｓ６０７にて色付けされた選択テキストブロックに対応する切り取り画像が、選択メタデータ項目内の切り取り画像エリアに表示される。さらに、Ｓ６０７にて色づけされた選択テキストブロックに含まれる認識文字列が、Ｓ６０４にて決定された選択メタデータ項目の編集エリア内に表示される。ここまでのＳ６０４～Ｓ６０８の処理によって、図５に示すようなＵＩ画面の状態になる。すなわち、ユーザが選択したメタデータ項目とテキストブロックとが関連付けられ、選択したメタデータ項目に用いる文字列をどのテキストブロックを使って入力するかが決定される。

【0027】

以上の処理がメタデータ項目一覧内のすべてのメタデータ項目について完了し、ユーザによって「Register（登録）」ボタン５１４がタッチ操作されると、Ｓ６０９にて、メタデータの登録要求がスキャン文書処理サーバ１１１に対して送信される。このメタデータ登録要求には、すべてのメタデータ項目における編集済みの値とテキストブロックとを関連付けた情報が含まれる。スキャン文書処理サーバ１１１では、スキャン文書処理アプリケーション３１１が、クライアント端末１２１から受信したメタデータ登録要求に含まれる上述の情報をスキャン文書処理結果格納部３２５に保存する。この際、メタデータの登録を外部の業務サーバ１３１にて行う場合は、通信処理部３３４を介して業務サーバ１３１にメタデータ登録要求が転送される。スキャン文書処理アプリケーション３１１は、すべての必要な処理を終了後、スキャン文書ジョブキュー３２３からキューをデキューする。こうして、本処理が終了する。

【0028】

以上が、本実施形態に係る、クライアントアプリケーション３５１におけるＵＩ画面制御処理の内容である。なお、本実施形態では、設定項目毎に割り当てられた色を示す項目色エリアを、各設定項目の表示フィールドにそれぞれ設けているが、個別の項目色エリアを設けることは必須ではない。つまり、設定項目がユーザによって選択されたことを示す強調表示のためのエリア（各表示フィールドにおいて切り取り画像エリアと編集エリアとを除くエリア）も項目色を示すようにしてもよい。なお、各表示フィールド内の切り取り画像エリアと編集エリアとを除くエリアで項目色を示すように構成した場合、ユーザが設定項目を選択したことを示す強調表示として、例えば、当該選択された表示フィールドを囲む太線枠を付加したり、色の濃度を変化させたりすることで強調表示すればよい。

【0029】

＜変形例１＞
なお、上述の図６のフローでは、ユーザによる注目するメタデータ項目の選択（切り取り画像エリア内の「＋」ボタンへのタッチ操作検知）に伴う強調表示のタイミング（Ｓ６０５）で、項目色エリアの色付けを行っていた。しかし、項目色エリアへの色付けのタイミングはこれに限定されない。例えば、Ｓ６０７での選択テキストブロックへの色付けと同じタイミングで、選択メタデータ項目内の項目色エリアへの色付けを行うようにしてもよい。

【0030】

＜変形例２＞
上述の図６のフローでは、プレビューペイン内の選択テキストブロックを、選択メタデータ項目の項目色エリアと同じ色に色付けすることで、メタデータ項目とテキストブロックとの対応関係をユーザが把握できるようにしていた。この際、色付けに使用される色と、選択テキストブロック内の文字色あるいは背景色とが、互いに類似してしまう可能性がある。そうなると、選択テキストブロックに色付けされた色の視認性が悪化してしまう。そこで、色付けに使用する色を必要に応じて変更する態様を変形例２として説明する。

【0031】

図７は、前述の図５に相当する、本変形例の課題を説明する図である。図７におけるページ画像４０２’では、文字色が黒の３つの文字列“XYZ Corporation”、“1 Pumpkin Road, New York, NY”、“[phone]”が罫線で囲まれ、その内側に水色の背景色が付いている。いま、ページ画像４０２’内の“XYZ Corporation”の文字列に対応するテキストブロック７０１と、メタデータ項目「Customer Name」とが関連付けられている状態である。そして、３つあるメタデータ項目のうち「Customer Name」は１番目の設定項目なので、その表示フィールド５１０ａ内の項目色エリア５１１ａには青色が表示されている。その結果、“XYZ Corporation”の文字列を囲む罫線内の背景色である水色と、テキストブロック７０１への色付けに使用される青色とが相互に類似（同系色）する結果となってしまっている。これでは、テキストブロック７０１とメタデータ項目「Customer Name」とが関連付けられていることをユーザが把握することは困難である。

【0032】

図８は、本変形例を適用した場合の効果を説明する図である。図７と同様、ページ画像４０２’内の“XYZ Corporation”の文字列に対応するテキストブロック７０１とメタデータ項目「Customer Name」とが関連付けられている状態である。ただし、図８では、メタデータ項目「Customer Name」の項目色エリア５１１ａには、本来の青色ではなく、赤色が表示されている。その結果、“XYZ Corporation”の文字列を囲む罫線内の背景色である水色と、テキストブロック７０１に色付けされた赤色とで色のコントラストが生まれ、ユーザが関連付けを容易に把握できるようになっている。

【0033】

ここで、本変形例に係る、設定項目とテキストブロックへの色付けを制御する処理の詳細について、図９のフローチャートを参照して説明する。なお、図９のフローで示す色付け制御処理は、前述の図６のフローにおいて、Ｓ６０７の代わりに実行されるものである。

【0034】

Ｓ９０１では、Ｓ６０６にて操作イベントが検出された選択テキストブロックに含まれる文字列の文字色及び当該テキストブロックの背景色の情報が、スキャン文書処理アプリケーション３１１を介してスキャン文書処理結果格納部３２５から取得される。ここでは、文字色として黒を示す値（R,G,B＝0,5,5）、背景色として水色を示す値（R,G,B＝188,213,254）の情報が取得されたものとして説明を続ける。

【0035】

Ｓ９０２では、Ｓ６０５にて項目色情報に基づき色付けされた色（すなわち、選択メタデータ項目の項目色として割り当てられ、その項目色エリアに色付けされた色）の情報が取得される。本変形例において項目色情報には、デフォルトの内容として、１番目の設定項目に“青”、２番目の設定項目に“緑”、３番目の設定項目に“黄”、４番目の設定項目に“赤”を割り当てることが定義されていたものとする。ここで、メタデータペイン４１１内の３つのメタデータ項目のうち１番目の「Customer Name」が選択されていた場合には“青”で項目色エリアが色付けされていることになるので、この場合“青”を示す情報（例えばＲＧＢ値）が取得されることになる。

【0036】

次のＳ９０３では、選択メタデータ項目の項目色として割り当てられた色と、選択テキストブロック内の文字色及び背景色とが比較され、相互に類似しているかどうかが判定される。例えば、図１０（ａ）に示すように、選択メタデータ項目の項目色として割り当てられている色のＲＧＢ値とＳ９０１で取得した文字色及び背景色のＲＧＢ値とをそれぞれ比較して、その差分が所定の閾値内にあるかどうかを判定する。この際、例えば青色に対しては、色相が近い水色や紫色を“類似”と判定するような閾値を設定することが望ましい。ここでは、選択メタデータ項目「Customer Name」の項目色として割り当てられた青色が、選択テキストブロックの背景色である水色と類似していると判定されたものとする。こうして、選択メタデータ項目について項目色として割り当てられた色が、選択テキストブロック内の文字色又は背景色と類似すると判定された場合はＳ９０４に進む。一方、類似しないと判定された場合はＳ９０５に進む。

【0037】

Ｓ９０４では、選択メタデータ項目の項目色として現在割り当てられている色を、項目色情報で定義されている他の異なる色に変更する処理がなされる。具体的には、候補色情報における項目順と各色との対応付けを変更し、選択メタデータ項目に対して異なる色を割り当てる。上述の例の場合、選択メタデータ項目「Customer Name」の順序は１番目である。そこで、図１０（ｂ）に示すように、順序が最後尾であり上述の例では使用されることのない４番目と対応付けられている色（この場合は“赤”）に変更し、それと同時に、４番目に“青”を対応付ける処理を行う。このように１番目と４番目との間で色の対応付けを入れ替えることで、２番目と３番目については色の対応付けを維持でき、変更の影響を最小限に留めることができる。こうして、選択メタデータ項目の項目色となる色を変更し、それに伴い項目色情報を更新した後はＳ９０３に戻って、再度の類否判定を行う。この処理を、非類似との判定結果が出るまで繰り返す。

【0038】

そして、Ｓ９０５では、選択メタデータ項目の項目色エリアの色の表示が必要に応じて更新される。すなわち、Ｓ９０４にて選択メタデータ項目の項目色として割り当てられていた色が別の色に変更された場合には、変更後の色で新たに色付けされることになる。

【0039】

Ｓ９０６では、選択メタデータ項目の項目色エリアに表示中の色と同じ色を用いて選択テキストブロックが色付けされる。これにより、前述の図８に示すようなＵＩ画面の状態になる。色付けが終わると、図６のフローに戻り、Ｓ６０８の表示処理が実行される。

【0040】

以上が、変形例２に係る色付け制御処理の内容である。なお、実施形態１で述べたとおり、選択メタデータ項目内の項目色エリアへの色付けを、選択テキストブロックへの色付けを行うときまで留保しておき、双方を同じタイミングで色付けするように制御してもよい。

【0041】

＜変形例３＞
設定項目の数が多くなると、文字色や背景色と非類似の色を、項目色情報の中で定義されている色の中から選び出して割り当てることが困難なケースが生じ得る。そこで、項目色情報に基づかずに設定項目毎の項目色となる色を決定して割り当てる態様を、変形例３として説明する。

【0042】

本変形例に係る、設定項目とテキストブロックへの色付けを制御する処理の詳細について、図１１のフローチャートを参照して説明する。なお、図１１のフローで示す色付け制御処理は、前述の図６のフローにおいて、Ｓ６０２に代わって実行されるものとする。そして、本変形例を適用する場合の図６のフローのＳ６０５では、項目色情報に基づき決定された色ではなく、後述の処理によって決定された色を用いて、項目色エリアの色付けがなされることになる。

【0043】

Ｓ１１０１では、メタデータ項目一覧がロードされる。すなわち、本変形例の場合、項目色情報はロードされない。続くＳ１１０２では、Ｓ６０１でロードされたＯＣＲ処理結果から、ページ画像内の全てのテキストブロックに含まれる文字列の文字色及び当該テキストブロックの背景色の情報が取得される。

【0044】

Ｓ１１０３では、Ｓ１１０２にて取得された文字色及び背景色において、出現頻度の高い有彩色が特定される。例えば、ページ画像内に１００個のテキストブロックが存在し、文字色としてすべて黒色が使用されていたとする。一方、背景色に関しては、白色が使用されたテキストブロックが８０個、水色が使用されたテキストブロックが１８個、黄緑色が使用されたテキストブロックが２個であったとする。この場合、有彩色は水色と黄緑色なので、より使用回数の多い水色が、出現頻度の高い有彩色として特定されることになる。なお、無彩色である黒と白を除外しているのは、一般的に帳票等で多く用いられるため、識別を目的とした項目色として使用するには馴染まないためである。

【0045】

Ｓ１１０４では、Ｓ１１０３にて特定された頻出する有彩色に基づき、各メタデータ項目についての項目色が決定される。具体的な決定方法の一例を挙げると以下のとおりである。

【0046】

第１の方法は、色相環を利用する方法である。この場合、頻出する有彩色を基準として、色相環において遠い位置にある色を各メタデータ項目に対する項目色として決定する。例えば、頻出する有彩色が水色でこれを基準とする場合には、色相環において最も離れた位置にあるのは橙色であるので、橙色を中心とした所定範囲（例えば黄色～紫色の範囲）の中から項目色として割り当てる色を決定する。この際、項目色を割り当てるべき設定項目が複数存在し、複数の色を決定する必要がある場合には、当該複数の色同士が区別できるよう、例えば色相環における間隔が略等しくなるように選べばよい。

【0047】

第２の方法は、予め決めておいた複数の候補色の中から、頻出する有彩色とは非類似の色を項目色として決定する方法である。例えば、候補色として、赤、緑、黄、青、紫の５色を予め決めておく。そして、頻出する有彩色が例えば水色であれば、水色に類似する青色を除いた残りの４色（赤、緑、黄、紫）の中から順次、項目色として割り当てるといった具合である。なお、この際の候補色の数は、処理対象として想定される帳票のフォーマット等に応じて決定すればよい。また、除外する色を決める際には、変形例２のＳ９０３で説明したのと同様の類否判定を行えばよい。

【0048】

以上説明した２つの方法は一例であり、頻出する有彩色を基準として、ユーザが区別しやすい色を項目色として割り当てることができればよい。

【0049】

図１２は、本変形例を適用した場合の効果を説明する図である。この例では、“XYZ Corporation”の文字列を囲む罫線内の背景色が水色であるため、水色とは非類似の３色が項目色として決定され、割り当てられている。すなわち、３つのメタデータ項目「Customer Name」、「Address」、「Total Price」に対して、赤色、橙色、黄色がそれぞれ項目色として割り当てられている。これにより、３つのテキストブロック１２０１～１２０３への色付けに使用される色が際立ち、各選択メタデータ項目にそれぞれ対応する選択テキストブロックとの関連付けをユーザが容易に把握できるようになっている。

【0050】

以上が、変形例３に係る色付け制御処理の内容である。なお、頻出する有彩色として特定する色は複数であってもよい。また、ページ画像内に存在す全てのテキストブロックからではなく、例えばページ画像の上部など一部の領域に存在するテキストブロックのみを対象として頻出する有彩色を特定してもよい。なお、変形例２と同様、選択メタデータ項目内の項目色エリアへの色付けを、選択テキストブロックへの色付けを行うときまで留保しておき、双方を同じタイミングで色付けするように制御してもよい。

【0051】

以上のとおり本実施形態に依れば、プレビューペインとプロパティペインを有するＵＩ画面において、ページ画像内に複数のテキストブロックが存在し、プロパティペイン内に複数の設定項目（子項目）が存在しても、両者の対応関係をユーザが容易に把握することができる。

【0052】

［実施形態２］
実施形態１では、１つのメタデータ項目に対し１つのテキストブロックを関連付ける、１対１の関連付けがなされる場合を想定したＵＩ画面制御について説明した。次に複数のメタデータ項目に対し同一のテキストブロックを関連付ける、１対Ｎの関連付けがなされた場合にも対応可能なＵＩ画面制御について、実施形態２として説明する。なお、システム構成など実施形態１と共通する内容については説明を省略し、以下では差異点を中心に説明することとする。

【0053】

＜ＵＩ画面制御処理＞
クライアント端末１２１のクライアントアプリケーション３５１によってなされる、本実施形態に係るＵＩ画面制御処理について、図１３のフローチャートを用いて説明する。ここでは、実施形態１の図６のフローに従って、３つのメタデータ項目「Customer Name」、「Address」、「Billing Name」それぞれに対するテキストブロックとの関連付けがなされ、図１４に示すＵＩ画面の状態にあるものとして説明を行う。

【0054】

図１４のＵＩ画面において、ページ画像４０２内のテキストブロック５０１の左上には、当該テキストブロックが関連付けられているメタデータ項目数（ここでは“２”）を示すラベル１４０１が付されている。このラベルは、複数のメタデータ項目に対して同一のテキストブロックが関連付けられたタイミング（すなわち、項目数が２以上となった時点）で表示するものとするが、これに限るものではなく、いずれかのメタデータ項目と関連付けられたタイミングで表示するようにしてもよい。そして、いま、テキストブロック５０１は、複数のメタデータ項目との関連付けがなされた場合のデフォルト色（ここでは灰色）で色付けがされた状態となっている。これに対し、１つのメタデータ項目「Address」とのみ関連付けられているテキストブロック１４０２については、対応する項目色エリア５１１ｂが示す青色に色付けされている。

【0055】

ＵＩ画面が図１４に示す状態下、プロパティペイン４１１内の各メタデータ項目の表示フィールド５１０ａ～５１０ｃのうち、いずれかの表示フィールドがユーザによって選択（指によるタッチ操作等）されたとする。Ｓ１３０１では、ユーザによるタッチ操作等の操作イベントが検出される。ここでは、「Billing Name」の表示フィールド５１０ｃに対する操作イベントが検出されたものとする。続くＳ１３０２では、ユーザによって選択されたメタデータ項目と関連付けられているテキストブロックが、他のメタデータ項目とも関連付けされているかが判定される。判定結果が“Ｎｏ”の場合は本処理を終了する。一方、判定結果が“Ｙｅｓ”の場合はＳ１３０３へ進む。いま、ユーザが選択したメタデータ項目「Billing Name」に対してテキストブロック５０１が関連付けられており、さらに、メタデータ項目「Customer Name」に対してもテキストブロック５０１が関連付けられている。よって、この場合の判定結果は“Ｙｅｓ”となり、Ｓ１３０３に進むことになる。

【0056】

Ｓ１３０３では、選択メタデータ項目に関連付けされているテキストブロックの色が、当該選択メタデータ項目の項目色エリアの色と同じ色に色付けされる。ここでは、テキストブロック５０１の色が、デフォルト色である灰色から、メタデータ項目「Billing Name」の表示フィールド内の項目色エリア５１１ｃが示す黄色に変化することになる。図１５に示すＵＩ画面は、メタデータ項目「Billing Name」が選択されたことに伴い、テキストブロック５０１の色が灰色から黄色に変化した状態を示している。

【0057】

次のＳ１３０４では、選択メタデータ項目とテキストブロックとの関連付けを解除するためのボタンが表示される。図１５のＵＩ画面において、テキストブロック５０１の右上に現れた「×」印のボタン１５０１が、解除ボタンを示している。続くＳ１３０５では、解除ボタンがタッチ操作等されたか否かが判定される。解除ボタンへのタッチ操作等の操作イベントが検出された場合はＳ１３０６に進み、検出されなかった場合は本処理を抜ける。

【0058】

Ｓ１３０６では、選択メタデータ項目とテキストブロックとの関連付けが解除され、現在関連付けられているメタデータ項目の数を示すラベルが更新される。具体的には、選択メタデータ項目との関連付けが解除される結果、ラベルが示すメタデータ項目数が“１”減算される。図１５の例では、ラベル１４０１の数値が現在の“２”から“１”に変化することになる。また、これに伴い、選択メタデータ項目に対応する表示フィールドが初期化され、ブランク状態となる。いま、選択メタデータ項目が「Billing Name」なので、対応する表示フィールド５１０ｃが初期化されることになる。

【0059】

以上が、本実施形態に係る、クライアントアプリケーション３５１におけるＵＩ画面制御処理の内容である。

【0060】

以上のとおり本実施形態によれば、複数の設定項目（子項目）に対し同一のテキストブロックが関連付けられた場合においても、ユーザは、子項目とテキストブロックとの対応関係を正確かつ容易に把握することができる。

【0061】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】