特許 7591915 書式定義装置、書式定義方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-21

(45)【発行日】2024-11-29

(54)【発明の名称】書式定義装置、書式定義方法、及びプログラム

(51)【国際特許分類】

   G06V 30/412 20220101AFI20241122BHJP

【ＦＩ】

G06V30/412

【請求項の数】 10

(21)【出願番号】P 2020202888

(22)【出願日】2020-12-07

(65)【公開番号】P2022090469

(43)【公開日】2022-06-17

【審査請求日】2023-09-20

(73)【特許権者】

【識別番号】000136136

【氏名又は名称】株式会社ＰＦＵ

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】水口 亮

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１８－０１８３０３（ＪＰ，Ａ）

【文献】特開２００７－２４１３５５（ＪＰ，Ａ）

【文献】特開２０１１－０７６５８１（ＪＰ，Ａ）

【文献】特開２０１１－２２８７９２（ＪＰ，Ａ）

【文献】特開２００７－２３３９００（ＪＰ，Ａ）

【文献】特開２０１０－０２１７７１（ＪＰ，Ａ）

【文献】実開平０５－００８６７０（ＪＰ，Ｕ）

【文献】特開２００５－１６７８７５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／４１２

(57)【特許請求の範囲】

【請求項1】

入力画像から、予め指定された色が連続して存在する領域を特定する色領域特定部と、
前記色領域特定部により特定された領域と、この領域の周囲の余白とを含む領域を、入力領域に決定する入力領域決定部と、
前記入力画像における、前記入力領域決定部により決定された入力領域の位置を書式情報として出力する書式情報出力部と
を有し、
前記入力領域決定部は、前記色領域特定部により特定された領域を基準として、文字列が配列される方向の上流側及び下流側に、前記入力領域を拡張する、書式定義装置。

【請求項2】

前記入力領域決定部により前記入力領域を拡張できる範囲を、背景色とは異なる色が存在する領域までに制限する拡張制限部
をさらに有する請求項１に記載の書式定義装置。

【請求項3】

前記入力領域決定部により前記入力領域を拡張できる距離に関して、文字列が配列された方向を、文字列の配列方向と直交する方向よりも大きく許容する拡張制限部
をさらに有する請求項１に記載の書式定義装置。

【請求項4】

入力画像から、予め指定された色が連続して存在する領域を特定する色領域特定部と、
前記色領域特定部により特定された領域と、この領域の周囲の余白とを含む領域を、入力領域に決定する入力領域決定部と、
前記入力画像における、前記入力領域決定部により決定された入力領域の位置を書式情報として出力する書式情報出力部と、
前記色領域特定部により特定された領域の色に応じて、前記入力領域決定部により決定された入力領域の属性を設定する属性設定部と、
を有し、
前記書式情報出力部は、前記入力領域決定部により決定された入力領域の位置と、前記属性設定部により設定された属性とを書式情報として出力する、書式定義装置。

【請求項5】

前記色領域特定部により特定された領域の色に応じて、前記入力領域決定部により決定された入力領域に入力される文字種を設定する属性設定部
をさらに有し、
前記入力領域決定部は、前記色領域特定部により特定された領域を基準として、文字列が配列される方向の上流側及び下流側、及び、文字列の配列方向に直交する方向に、前記入力領域を拡張し、
前記書式情報出力部は、前記入力領域決定部により決定された入力領域の位置と、前記属性設定部により設定された文字種とを書式情報として出力し、
前記入力領域決定部は、前記入力領域に設定された文字種が手書き文字である場合に、文字列の配列方向と直交する方向の拡張量を、設定された文字種が活字である場合よりも大きくする
請求項１に記載の書式定義装置。

【請求項6】

ユーザの操作に応じて、入力領域に設定する属性と、色とを互いに関連付けて登録する色登録部と、
前記色登録部に登録されている色と類似する色の新規登録が要求された場合に、警告表示を行う警告表示部と
をさらに有し、
前記属性設定部は、前記色領域特定部により特定された領域の色と、前記色登録部に登録されている色とに基づいて、前記入力領域決定部により決定された入力領域の属性を設定する
請求項４に記載の書式定義装置。

【請求項7】

前記書式情報はＯＣＲ処理の定義情報であり、
前記属性設定部は、前記色領域特定部により特定された領域の色に応じて、前記入力領域決定部により決定された入力領域を、ＯＣＲ処理の対象外に設定する
請求項４に記載の書式定義装置。

【請求項8】

入力画像から、予め指定された色が連続して存在する領域を特定する色領域特定部と、
前記色領域特定部により特定された領域と、この領域の周囲の余白とを含む領域を、入力領域に決定する入力領域決定部と、
前記入力画像における、前記入力領域決定部により決定された入力領域の位置を書式情報として出力する書式情報出力部と、
前記入力画像のうち、前記入力領域決定部により入力領域に決定された領域を、単一の色で塗り潰す塗潰し部と、
を有し、
前記書式情報出力部は、前記塗潰し部により塗り潰された入力画像に関連付けて、書式情報を出力する、書式定義装置。

【請求項9】

コンピュータが、入力画像から、予め指定された色が連続して存在する領域を特定する色領域特定ステップと、
コンピュータが、前記色領域特定ステップにより特定された領域と、この領域の周囲の余白とを含む領域を、入力領域に決定する入力領域決定ステップと、
コンピュータが、前記入力画像における、前記入力領域決定ステップにより決定された入力領域の位置を書式情報として出力する書式情報出力ステップと
を有し、
前記入力領域決定ステップでは、コンピュータが、前記色領域特定ステップにより特定された領域を基準として、文字列が配列される方向の上流側及び下流側に、前記入力領域を拡張する、書式定義方法。

【請求項10】

入力画像から、予め指定された色が連続して存在する領域を特定する色領域特定ステップと、
前記色領域特定ステップにより特定された領域と、この領域の周囲の余白とを含む領域を、入力領域に決定する入力領域決定ステップと、
前記入力画像における、前記入力領域決定ステップにより決定された入力領域の位置を書式情報として出力する書式情報出力ステップと
をコンピュータに実行させ、
前記入力領域決定ステップでは、前記色領域特定ステップにより特定された領域を基準として、文字列が配列される方向の上流側及び下流側に、前記入力領域を拡張する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、書式定義装置、書式定義方法、及びプログラムに関する。

【背景技術】

【0002】

例えば、特許文献１には、ドキュメントに対する属性地設定処理として実行される色マーカーによる追記情報の重なりや、追記情報と原本情報との重なり部の解析を行い、重なり部がどの色の組み合わせによって生成されたかを解析し、重なり部において途切れた追記情報を修復し、修復追記情報の指定領域の情報を取得して文字認識などの解析を行って結果をデータベースなどに格納する情報処理装置ドキュメントに対する属性値設定処理として実行される色マーカーによる追記情報の重なりや、追記情報と原本情報との重なり部の解析を行い、重なり部がどの色の組み合わせによって生成されたかを解析し、重なり部において途切れた追記情報を修復し、修復追記情報の指定領域の情報を取得して文字認識などの解析を行なって結果をデータベースなどに格納する。本構成により、複数の色マーカーの重なりや、色マーカーと原本情報の重なりが発生しても、正確な追記情報抽出、追記による特定情報の抽出および解析が可能となる点数が所定点数以下の文字を、文字コードが同じである文字毎にグループ分けし、グループ分けされた文字群のうち１つの文字について文字コードを修正する指示が入力された場合には、この１つの文字が属するグループ内の全ての文字コードをこの指示に従って変更する（点数が所定点数以下の文字を、文字コードが同じである文字毎にグループ分けし、グループ分けされた文字群のうち１つの文字について文字コードを修正する指示が入力された場合には、この１つの文字が属するグループ内の全ての文字コードをこの指示に従って変更する点数が所定点数以下の文字を、文字コードが同じである文字毎にグループ分けし、グループ分けされた文字群のうち１つの文字について文字コードを修正する指示が入力された場合には、この１つの文字が属するグループ内の全ての文字コードをこの指示に従って変更する点数が所定点数以下の文字を、文字コードが同じである文字毎にグループ分けし、グループ分けされた文字群のうち１つの文字について文字コードを修正する指示が入力された場合には、この１つの文字が属するグループ内の全ての文字コードをこの指示に従って変更するが開示されている。

【0003】

また、特許文献２には、イメージデータ内において所定の表現によって指定された領域について、第１の領域指定表現により指定された第１領域と、第１の領域指定表現とは異なる第２の領域指定表現により指定された第２領域とを認識する領域認識部と、イメージデータ内において、文字認識の対象となる領域を指定するための位置情報として、第１領域の位置情報を取得する位置情報取得部と、第２領域内に存在する文字を認識することで得られる文字情報を、位置情報取得部により取得された位置情報により指定される文字認識の対象となる領域についての項目名として取得する項目名取得部とを備える情報処理装置ＯＣＲ認識結果の文字列が同じ画像の分類を行い、文字列に対応する画像の領域を重ね合わせて合成を行い、分類軸の文字列と合成画像の文字列の比較を行い、合成した画像すべてに対して一括で修正処理を行うが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００７－２３３９００

【文献】特開２０１２－１９４８７９

【発明の概要】

【発明が解決しようとする課題】

【0005】

書式を定義するための作業を容易にする書式定義装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る書式定義装置は、入力画像から、予め指定された色が連続して存在する領域を特定する色領域特定部と、前記色領域特定部により特定された領域と、この領域の周囲の余白とを含む領域を、入力領域に決定する入力領域決定部と、前記入力画像における、前記入力領域決定部により決定された入力領域の位置を書式情報として出力する書式情報出力部とを有する。

【0007】

好適には、前記入力画像は帳票画像であり、前記入力領域決定部は、前記色領域特定部により特定された領域から、最も近い罫線までの領域を入力領域とする。

【0008】

好適には、前記入力領域決定部は、前記色領域特定部により特定された領域を基準として、文字列が配列される方向の上流側及び下流側に、前記入力領域を拡張する。

【0009】

好適には、前記入力領域決定部により前記入力領域を拡張できる範囲を、背景色とは異なる色が存在する領域までに制限する拡張制限部をさらに有する。

【0010】

好適には、前記入力領域決定部により前記入力領域を拡張できる距離に関して、文字列が配列された方向を、文字列の配列方向と直交する方向よりも大きく許容する拡張制限部をさらに有する。

【0011】

好適には、前記色領域特定部により特定された領域の色に応じて、前記入力領域決定部により決定された入力領域の属性を設定する属性設定部をさらに有し、前記書式情報出力部は、前記入力領域決定部により決定された入力領域の位置と、前記属性設定部により設定された属性とを書式情報として出力する。

【0012】

好適には、前記色領域特定部により特定された領域の色に応じて、前記入力領域決定部により決定された入力領域に入力される文字種を設定する属性設定部をさらに有し、前記入力領域決定部は、前記色領域特定部により特定された領域を基準として、文字列が配列される方向の上流側及び下流側、及び、文字列の配列方向に直交する方向に、前記入力領域を拡張し、前記書式情報出力部は、前記入力領域決定部により決定された入力領域の位置と、前記属性設定部により設定された文字種とを書式情報として出力し、前記入力領域決定部は、前記入力領域に設定された文字種が手書き文字である場合に、文字列の配列方向と直交する方向の拡張量を、設定された文字種が活字である場合よりも大きくする。

【0013】

好適には、ユーザの操作に応じて、入力領域に設定する属性と、色とを互いに関連付けて登録する色登録部と、前記色登録部に登録されている色と類似する色の新規登録が要求された場合に、警告表示を行う警告表示部とをさらに有し、前記属性設定部は、前記色領域特定部により特定された領域の色と、前記色登録部に登録されている色とに基づいて、前記入力領域決定部により決定された入力領域の属性を設定する。

【0014】

好適には、前記書式情報はＯＣＲ処理の定義情報であり、前記属性設定部は、前記色領域特定部により特定された領域の色に応じて、前記入力領域決定部により決定された入力領域を、ＯＣＲ処理の対象外に設定する。

【0015】

好適には、前記入力画像のうち、前記入力領域決定部により入力領域に決定された領域を、単一の色で塗り潰す塗潰し部をさらに有し、前記書式情報出力部は、前記塗潰し部により塗り潰された入力画像に関付けて、書式情報を出力する。

【0016】

また、本発明に係る書式定義方法は、コンピュータが、入力画像から、予め指定された色が連続して存在する領域を特定する色領域特定ステップと、コンピュータが、前記色領域特定ステップにより特定された領域と、この領域の周囲の余白とを含む領域を、入力領域に決定する入力領域決定ステップと、コンピュータが、前記入力画像における、前記入力領域決定ステップにより決定された入力領域の位置を書式情報として出力する書式情報出力ステップとを有する。

【0017】

また、本発明に係るプログラムは、入力画像から、予め指定された色が連続して存在する領域を特定する色領域特定ステップと、前記色領域特定ステップにより特定された領域と、この領域の周囲の余白とを含む領域を、入力領域に決定する入力領域決定ステップと、前記入力画像における、前記入力領域決定ステップにより決定された入力領域の位置を書式情報として出力する書式情報出力ステップとをコンピュータに実行させる。

【発明の効果】

【0018】

書式を定義するための作業を容易にする書式定義装置を提供できる。

【図面の簡単な説明】

【0019】

【図1】書式定義システム１の全体構成を例示する図である。

【図2】（Ａ）及び（Ｂ）は、色マーカーを用いた書式定義の課題を例示し、（Ｃ）及び（Ｄ）は、書式定義システム１における書式定義の概要を説明する図である。

【図3】書式定義装置２のハードウェア構成を例示する図である。

【図4】書式定義装置２の機能構成を例示する図である。

【図5】書式定義装置２による書式定義処理（Ｓ１０）を説明するフローチャートである。

【図6】書式定義装置２による色登録処理（Ｓ２０）を説明するフローチャートである。

【図7】図５の入力領域決定処理（Ｓ１２０）をより詳細に説明するフローチャートである。

【図8】（Ａ）は、マーカー設定画面９００の表示例であり、（Ｂ）は、マーカー設定情報を例示する図である。

【図9】マーカーが付された帳票画像を例示する図である。

【図10】帳票の入力欄内の一部に色マーカーが塗られた場合に、入力領域決定部３１０により決定される入力領域を例示する図である。

【図11】入力欄が存在しない帳票において、文字列に色マーカーが塗られた場合に、入力領域決定部３１０により決定される入力領域を例示する図である。

【図12】ＯＣＲ処理の定義情報を例示する図である。

【発明を実施するための形態】

【0020】

本発明の実施形態を、図面を参照して説明する。
図１は、書式定義システム１の全体構成を例示する図である。
図１に例示するように、書式定義システム１は、書式定義装置２と、スキャナ装置４とを含み、ネットワーク７を介して互いに接続している。複数のスキャナ装置４Ａ及びスキャナ装置４Ｂを併せてスキャナ装置４と称する。
書式定義装置２は、コンピュータ端末であり、スキャナ装置４から受信した画像データに基づいて、書式を定義し、定義された書式を示す書式情報を出力する。本例の書式定義装置２は、スキャナ装置４から受信した帳票の画像データに基づいて、帳票に対するＯＣＲ（Optical Character Recognition）処理を定義する定義情報を生成し、さらに、受信した画像データを加工して未記入の帳票画像データを生成し、生成された未記入の帳票画像データ及び定義情報を外部に送信する。

【0021】

スキャナ装置４は、光学式の読取装置であり、原稿から取得した画像データを書式定義装置２に送信する。本例において、スキャナ装置４は、色マーカーが付された帳票をスキャンするものとする。

【0022】

近年ＡＩ－ＯＣＲ等の登場によりビジネスの場におけるＯＣＲの活用シーンが広がっている。しかし、ＯＣＲソフトウェアで帳票を認識し文字化を行うためには、ＯＣＲソフトウェアを用いて、読み取り項目に合わせたＯＣＲ定義を作成しなければならない。ただし、ＯＣＲソフトウェアの習熟度、認識したい項目の数等、帳票によってはＯＣＲ定義作成に時間がかかるため、できる限り操作や手順を簡略化し、ＯＣＲを初めて利用する人にもすぐに使用できるようなＯＣＲソフトウェアが求められている。
一般的には、ユーザインタフェースを通じて、画像上に領域を指定するが、ＯＣＲソフトウェアの仕様を理解する必要があり、初めて利用するユーザにとっては、操作が難しい。これを解決する手段として、図１の構成において、蛍光ペンなどの色マーカーを使用して原紙に直接認識領域を記入させる手法があるが、以下のような課題がある。

【0023】

図２（Ａ）及び（Ｂ）は、色マーカーを用いた書式定義の課題を例示し、図２（Ｃ）及び（Ｄ）は、書式定義システム１における書式定義の概要を説明する図である。
図２（Ａ）に例示するように、互いに隣接する入力項目を指定する場合には、色マーカー同士が重ならないよう記入する必要がある。しかし、入力領域（認識領域）をなるべく広く取ろうとすると、色マーカー同士が接触し易くなり、記入には慎重な作業が必要となる。
また、図２（Ｂ）に例示するように、帳票に印刷された文字を囲むことにより入力領域（識別領域）を指定した場合、他の帳票では文字数が多くなり入力領域（識別領域）から、入力文字列（本例では、数字）がはみ出てしまう場合がある。そのため、余裕を持たせた入力領域を見極めた上で記入をしなければならない。これらを入力項目ごとに行うことは煩雑であるし、考慮漏れの入力項目も発生しかねない。また周辺余白が狭い場合には慎重な記入が必要となる。

【0024】

そこで、本例の書式定義システム１では、このように原紙に直接、色マーカーで記入して入力領域（認識領域）を指定する際の作業を単純化し、ＯＣＲ定義の作成を簡易に行うことができるようにする。すなわち、本例の書式定義システム１において、色マーカーによる入力領域（対象領域）の指定は、原紙の対象文字上にラインを引いて指定するか、対象を矩形で囲むことで行う。その原紙を書式定義システム１で読み込み、色マーカー指定領域を特定するが、指定された領域そのままを使用するのではなく、次のように周辺領域の状況を見て領域を拡張することで、入力領域（識別領域）を広くとったＯＣＲ定義が自動的に作成できるようになる。

【0025】

まず、本例の書式定義システム１は、図２（Ｃ）に例示するように、色マーカー記入の際は、枠線上にマーカーを引かずに、枠内の空白部分にマーカーで矩形領域を記入する。次に、領域判定処理を行う際に、マーカー記入された矩形領域の周囲に罫線がある場合には、その罫線に隣接するように入力領域（識別領域）を拡大させる。これにより、対象項目のマス目にフィットした入力領域（識別領域）を生成することができる。

【0026】

また、本例の書式定義システム１では、図２（Ｄ）に例示するように、対象周囲に枠囲いの無い場合でも、識別対象領域をなるべく左右に広く取ることができれば、帳票上の文字列が認識対象領域（入力領域）から外れてしまうことを防止できる。そのため、マーカー記入された矩形領域の左右に余白がある場合、矩形領域を左右に延長する。この際、背景とは色調の異なる何らかの画素（文字・線・イメージなど）が出現するまで広げて行くことで、周辺余白にフィットした入力領域（識別領域）を生成することができる。

【0027】

さらに、本例の書式定義システム１では、読取り領域（入力領域）を識別すると同時にマーカーペンの色を識別し、色に応じて対象項目の文字識別種別（例えば、活字数字、活字日本語、手書き日本語など）を設定することができる。この色と文字識別種別は、ユーザ操作により後からＯＣＲソフトウェアで変更も可能である。

【0028】

図３は、書式定義装置２のハードウェア構成を例示する図である。
図３に例示するように、書式定義装置２は、ＣＰＵ２００、メモリ２０２、ＨＤＤ２０４、ネットワークインタフェース２０６（ネットワークＩＦ２０６）、表示装置２０８、及び、入力装置２１０を有し、これらの構成はバス２１２を介して互いに接続している。
ＣＰＵ２００は、例えば、中央演算装置である。
メモリ２０２は、例えば、揮発性メモリであり、主記憶装置として機能する。
ＨＤＤ２０４は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラム（例えば、図４の書式定義プログラム３）やその他のデータファイルを格納する。
ネットワークＩＦ２０６は、有線又は無線で通信するためのインタフェースであり、例えば、スキャナ装置４との通信を実現する。
表示装置２０８は、例えば、液晶ディスプレイである。
入力装置２１０は、例えば、キーボード及びマウスである。

【0029】

図４は、書式定義装置２の機能構成を例示する図である。
図４に例示するように、本例の書式定義装置２には、書式定義プログラム３がインストールされる。
書式定義プログラム３は、色領域特定部３００、入力領域決定部３１０、拡張制限部３２０、色登録部３３０、警告表示部３４０、属性設定部３５０、塗潰し部３６０、及び書式情報出力部３７０を有する。
なお、書式定義プログラム３の一部又は全部は、ＡＳＩＣなどのハードウェアにより実現されてもよく、また、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の機能を一部借用して実現されてもよい。

【0030】

書式定義プログラム３において、色領域特定部３００は、入力画像から、予め指定された色が連続して存在する領域を特定する。本例の色領域特定部３００は、スキャナ装置４から受信した帳票の画像データから、予め指定された色のマーカーが付された領域を特定する。予め指定された色は、例えば、色登録部３３０により登録された色である。

【0031】

入力領域決定部３１０は、色領域特定部３００により特定された領域と、この領域の周囲の余白とを含む領域を、入力領域に決定する。入力領域とは、帳票の画像において、ユーザが入力すべき領域であり、例えば、ＯＣＲ処理の対象となるＯＣＲ対象領域である。より具体的には、入力領域決定部３１０は、色領域特定部３００により特定された領域を基準として、文字列が配列される方向、及び、文字列の配列方向に直交する方向に、領域を拡張して、入力領域とする。本例の入力領域決定部３１０は、拡張制限部３２０による制限に従って、色領域特定部３００により特定された領域を、文字列が配列される方向、及び、文字列の配列方向に直交する方向に拡張して、入力領域とする。

【0032】

拡張制限部３２０は、入力領域決定部３１０による領域拡張を、最も近い罫線までに制限する。これにより、入力決定部３１０は、色領域特定部３００により特定された領域から、最も近い罫線までの領域を入力領域とする。
また、拡張制限部３２０は、入力領域決定部３１０による領域拡張を、背景色とは異なる色が存在する領域までに制限する。これにより、入力決定部３１０は、色領域特定部３００により特定された領域から、背景とは色調の異なる何らかの画素（文字・線・イメージなど）が出現するまで広げて、周辺余白にフィットした入力領域を生成できる。

【0033】

さらに、拡張制限部３２０は、入力領域決定部３１０による領域拡張を、文字列が配列された方向に関して、文字列の配列方向と直交する方向よりも大きく許容する。これにより、入力決定部３１０は、文字列方向の上流側及び下流側により大きく拡張して、文字列がはみ出しにくい入力領域を確保できる。
また、拡張制限部３２０は、入力領域に設定された文字種が手書き文字である場合に、文字列の配列方向と直交する方向の拡張量を、設定された文字種が活字である場合よりも大きく許容する。これにより、入力決定部３１０は、入力領域に設定された文字種が手書き文字である場合に、設定された文字種が活字である場合よりも、文字列の配列方向と直交する方向に広い入力領域を生成し、手書き入力しやすい入力欄を提供できる。手書き文字は、活字に比べて変位しやすく、より広い記入欄を要するからである。

【0034】

色登録部３３０は、ユーザの操作に応じて、入力領域に設定する属性と、色とを互いに関連付けて登録する。設定される属性は、例えば、文字種（手書き数字、活字数字、手書きアルファベット、活字アルファベット、手書き漢字等）、ＯＣＲ処理の要否、ＯＣＲ処理結果の出力先等である。本例の色登録部３３０は、図８（Ａ）に例示するマーカー設定画面９００において、属性及び色の組み合わせの登録を受け付け、受け付けた情報に基づいて、図８（Ｂ）に例示するマーカー設定情報を生成する。例えば、マーカー設定情報には、色に関連付けて、入力領域に記入される文字種、入力領域に対するＯＣＲ処理の要否、及び、入力領域に対する塗潰しの要否などが含まれる。

【0035】

警告表示部３４０は、色登録部に登録されている色と類似する色の新規登録が要求された場合に、警告表示を行う。本例の警告表示部３４０は、図８（Ａ）のマーカー設定画面９００において、既登録の色と同一又は類似の色が選択された場合に、警告を表示する。

【0036】

属性設定部３５０は、色領域特定部３００により特定された領域の色に応じて、入力領域決定部３１０により決定された入力領域の属性を設定する。本例の属性設定部３５０は、色登録部３３０により登録されたマーカー設定情報に基づいて、色領域特定部３００により特定された領域の色に対応する属性を、入力領域決定部３１０により決定された入力領域に設定する。例えば、属性設定部３５０は、色領域特定部３００により特定された領域の色に応じて、入力領域決定部３１０により決定された入力領域を、ＯＣＲ処理の対象外に設定する。ＯＣＲ処理の対象外を積極的に定義することにより、ＯＣＲ処理全体の精度向上が期待できる。

【0037】

塗潰し部３６０は、入力画像のうち、入力領域決定部３１０により入力領域に決定された領域を、単一の色で塗り潰す。本例の塗潰し部３６０は、図８（Ｂ）のマーカー設定情報に従って、スキャナ装置４から受信した帳票の画像データのうち、入力領域決定部３１０により入力領域に決定された領域の一部を背景色で塗り潰す。

【0038】

書式情報出力部３７０は、入力領域決定部３１０により決定された入力領域の位置と、属性設定部３５０により設定された属性とを書式情報として出力する。本例の書式情報出力部３７０は、入力領域決定部３１０により決定された入力領域の位置と、属性設定部３５０により設定された属性とを書式情報とし、塗潰し部３６０により一部の入力領域が塗り潰された帳票画像データを未記入帳票として出力する。

【0039】

図５は、書式定義装置２による書式定義処理（Ｓ１０）を説明するフローチャートである。なお、本例では、図９に例示する帳票（マーカーが付された帳票）がスキャナ装置４によりカラースキャンされ、この画像データが書式定義装置２に送信されることを前提とする。また、元の帳票がカラーである場合には、モノクロコピーによってモノクロ化した帳票を用いてマーカーを付す。
図５に例示するように、ステップ１００（Ｓ１００）において、書式定義装置２の色領域特定部３００（図４）は、スキャナ装置４から、マーカーが付された帳票画像データ（図９）を取得する。

【0040】

ステップ１０５（Ｓ１０５）において、色領域特定部３００は、取得した帳票画像データ（図９）から、色登録部３３０に登録された色が連続する色領域（マーカー領域）を特定する。
ステップ１１０（Ｓ１１０）において、属性設定部３５０は、図８（Ｂ）のマーカー設定情報を参照して、色領域特定部３００により特定された色領域の色に対応する属性を特定する。色の特定は、例えば、色領域を取り出し、取り出した画像内に含まれる色情報をピクセル単位で識別し、黒・白・グレー付近の色（判定除外色）を除く最頻値の色を、色領域の色とする。色情報の特定に用いるピクセルは全ピクセルでもサンプリングしたピクセルでも良い。
ステップ１１５（Ｓ１１５）において、拡張制限部３２０は、色領域特定部３００により特定された色領域のアスペクト比に基づいて、文字列の配列方法を特定し、特定された文字列配列方向と、属性設定部３５０により特定された属性（文字種）とに基づいて、拡張の上限範囲を決定する。上限範囲は、例えば、色領域の端部からの距離として予め設定され、文字列方向は、これと直交する方向よりも大きい値である。上限範囲は、ユーザにより変更可能な範囲である。

【0041】

ステップ１２０（Ｓ１２０）において、入力領域決定部３１０は、図１０及び図１１に例示するように、拡張制限部３２０による制限（黒画素、罫線、又は上限範囲）に従いながら、色領域特定部３００により特定された色領域を拡張し、拡張された領域を入力領域に決定する。

【0042】

ステップ１２５（Ｓ１２５）において、書式定義プログラム３は、取得した帳票画像データに含まれる全ての色領域（マーカー領域）について、Ｓ１０５～Ｓ１２０の処理が完了したか否かを判定し、未処理の色領域が存在する場合に、Ｓ１０５の処理に戻って次の色領域を特定し、未処理の色領域が存在しない場合に、Ｓ１３０の処理に移行する。

【0043】

ステップ１３０（Ｓ１３０）において、塗潰し部３６０は、図８（Ｂ）のマーカー設定情報に従って、スキャナ装置４から取得した帳票画像データのうち、入力領域決定部３１０により決定された入力領域を背景色で塗り潰し、未記入帳票の画像データを生成する。

【0044】

ステップ１３５（Ｓ１３５）において、書式情報出力部３７０は、図１２に例示するように、入力領域決定部３１０により決定された入力領域の座標と、属性設定部３５０により特定された各入力領域の属性との組合せをＯＣＲ定義情報とする。
ステップ１４０（Ｓ１４０）において、書式情報出力部３７０は、生成されたＯＣＲ定義情報と、塗潰し部３６０により生成された未記入帳票画像データとを外部に送信する。

【0045】

このように、書式定義処理（Ｓ１０）によって、色マーカーが付された色領域を拡張して、入力領域が定義され、各入力領域に対して、色領域の色に対応する属性（文字種等）が設定される。

【0046】

図６は、書式定義装置２による色登録処理（Ｓ２０）を説明するフローチャートである。
図６に例示するように、ステップ２００（Ｓ２００）において、ＯＣＲ処理装置２の色登録部３３０（図４）は、図８（Ａ）のマーカー設定画面９００を表示して、ユーザによる色の指定操作を受け付ける。色の指定操作は、例えば、カラーパレットなどを用いて任意の色を指定することができる。
ステップ２０５（Ｓ２０５）において、警告表示部３４０は、ユーザにより指定された色と、色登録部３３０により登録されている色とを比較して、非類似であるか否かを判定する。書式定義プログラム３は、既登録の色と非類似であると判定された場合に、Ｓ２１０の処理に移行し、既登録の色と同一又は類似であると判定された場合に、Ｓ２１５の処理に移行する。色の比較は、例えば、色差の計測に基づいて行われる。

【0047】

ステップ２１０（Ｓ２１０）において、色登録部３３０は、ユーザの操作に応じて、ユーザにより指定された色に関連付けて、文字種、項目名、ＯＣＲ処理の要否、及び塗潰しの要否を入力領域の属性として設定する。文字種は、例えば、活字、手書き、日本語、数字、英字、記号などであり、項目名は、例えば、郵便番号、住所、氏名、商品名称などである。
ステップ２１５（Ｓ２１５）において、警告表示部３４０は、ユーザに対して警告表示を行い、指定した色の変更を促す。

【0048】

このように、色登録処理（Ｓ２０）によって、入力領域に付される色と、属性とを互いに関連付けたマーカー設定情報が設定される。

【0049】

図７は、図５の入力領域決定処理（Ｓ１２０）をより詳細に説明するフローチャートである。
図７に例示するように、ステップ１２００（Ｓ１２００）において、拡張制限部３２０は、設定した上限範囲内で、色領域特定部３００により特定された色領域の周囲に存在する罫線を探索する。
ステップ１２０５（Ｓ１２０５）において、書式定義プログラム３は、上限範囲内で罫線が発見された場合に、Ｓ１２１０の処理に移行し、上限範囲内で罫線が発見されなかった場合に、Ｓ１２１５の処理に移行する。
ステップ１２１０（Ｓ１２１０）において、入力領域決定部３１０は、拡張制限部３２０により発見された罫線まで、入力領域を拡張する。

【0050】

ステップ１２１５（Ｓ１２１５）において、拡張制限部３２０は、設定した上限範囲内で、色領域特定部３００により特定された色領域の周囲に存在する黒画素（非背景画素）を探索する。
ステップ１２２０（Ｓ１２２０）において、書式定義プログラム３は、上限範囲内で黒画素（非背景画素）が発見された場合に、Ｓ１２２５の処理に移行し、上限範囲内で黒画素が発見されなかった場合に、Ｓ１２３０の処理に移行する。

【0051】

ステップ１２２５（Ｓ１２２５）において、入力領域決定部３１０は、拡張制限部３２０により発見された黒画素（非背景画素）まで、入力領域を拡張する。
ステップ１２３０（Ｓ１２３０）において、入力領域決定部３１０は、拡張制限部３２０により設定された上限範囲まで、入力領域を拡張する。

【0052】

図１０は、帳票の入力欄内の一部に色マーカーが塗られた場合に、入力領域決定部３１０により決定される入力領域を例示する図である。
図１０に例示するように、入力欄に記載された文字列に色マーカーを塗った場合も、入力欄の内側に矩形で色マーカーを塗った場合も、周囲の罫線まで入力領域が拡張され、同様に、入力欄一杯まで拡張された入力領域が定義される。

【0053】

図１１は、入力欄が存在しない帳票において、文字列に色マーカーが塗られた場合に、入力領域決定部３１０により決定される入力領域を例示する図である。
図１１に例示するように、横書きの文字列に色マーカーが塗られた場合には、色領域のアスペクト比から横書きであると判定され、上下方向よりも左右方向に、より大きく拡張された入力領域が定義される。一方、縦書きの文字列に色マーカーが塗られた場合には、左右方向よりも上下方向に、より大きく拡張された入力領域が定義される。これにより、入力領域に記入される文字列の長さが多少変動しても、入力領域からはみ出しにくくなる。

【0054】

以上説明したように、本実施形態の書式定義システム１によれば、色マーカーが記入された色領域を基準として、罫線や黒画素が存在する位置まで拡張して、入力領域を定義することにより、色マーカーによる指定作業を簡易にし、かつ、記入しやすい入力領域を定義することができる。
また、本例の書式定義システム１によれば、色マーカーの色によって、入力領域の属性を設定することができる。

【0055】

［変形例］
上記実施形態では、ＯＣＲ処理の定義情報を生成する場合を具体例として説明したが、これに限定されるものではなく、ＯＣＲ処理以外の用途で書式を定義してもよい。
また、上記実施形態では、指定した色のマーカーが付された領域をＯＣＲ処理の対象外とする場合を説明したが、マーカーが存在しない領域を全てＯＣＲ処理の対象外としてもよい。
また、上記実施形態では、書式定義情報と、未記入帳票画像データをセットで提供する形態を説明したが、未記入帳票画像データのみの作成に使用してもよい。その際、入力領域の塗潰しは、白色だけでなく、入力領域周辺の背景色や、ユーザ指定の任意の色を用いてもよい。

【符号の説明】

【0056】

１…書式定義システム
２…書式定義装置
３…書式定義プログラム
３００…色領域特定部
３１０…入力領域決定部
３２０…拡張制限部
３３０…色登録部
３４０…警告表示部
３５０…属性設定部
３６０…塗潰し部
３７０…書式情報出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】