特許 6784274 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6784274

(24)【登録日】2020年10月27日

(45)【発行日】2020年11月11日

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06K 9/66 20060101AFI20201102BHJP

   G06K 9/20 20060101ALI20201102BHJP

   G06K 9/03 20060101ALI20201102BHJP

【ＦＩ】

   G06K9/66

   G06K9/20 340K

   G06K9/20 340C

   G06K9/03 Z

【請求項の数】6

【全頁数】22

(21)【出願番号】特願2018-71144(P2018-71144)

(22)【出願日】2018年4月2日

(65)【公開番号】特開2019-185140(P2019-185140A)

(43)【公開日】2019年10月24日

【審査請求日】2020年6月22日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100134544

【弁理士】

【氏名又は名称】森 隆一郎

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】近藤 克彦

(72)【発明者】

【氏名】日高 康

(72)【発明者】

【氏名】▲瀬▼川 哲

(72)【発明者】

【氏名】中谷 裕一

(72)【発明者】

【氏名】杉本 充

(72)【発明者】

【氏名】秋山 隼哉

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１５−２１５８７８（ＪＰ，Ａ）

【文献】 特開２００５−２７５８４９（ＪＰ，Ａ）

【文献】 特開平１１−１２０２９３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ ９／００−９／８２

(57)【特許請求の範囲】

【請求項1】

文書画像に含まれる文字を認識することにより得られた複数の文字列のうち、記録文字列の候補である複数の文字列を特定する特定部と、
前記複数の文字列の位置を示す確認画面を出力する出力部と、
前記確認画面上におけるユーザによって特定された位置に対応する文字列の特徴量を、前記記録文字列の特徴量として抽出する特徴量抽出部と、
を備える画像処理装置。

【請求項2】

前記確認画面は、前記複数の文字列を特定するための表示が付加された前記文書画像を表示することにより、前記複数の文字列の位置を示す
請求項１に記載の画像処理装置。

【請求項3】

前記特徴量抽出部は、前記複数の文字列を特定するための表示が付加された前記文書画像上におけるユーザによって特定された位置に対応する文字列の特徴量を抽出する、
請求項２に記載の画像処理装置。

【請求項4】

前記記録文字列の特徴量を用いて、新たな文書画像に含まれる文字を認識することにより得られた複数の文字列から、記録文字列を抽出する文字列抽出部をさらに備える、
請求項１から３の何れか一項に記載の画像処理装置。

【請求項5】

文書画像に含まれる文字を認識することにより得られた複数の文字列のうち、記録文字列の候補である複数の文字列を特定することと、
前記複数の文字列の位置を示す確認画面を出力することと、
前記確認画面上におけるユーザによって特定された位置に対応する文字列の特徴量を、前記記録文字列の特徴量として抽出することと、
を含む画像処理方法。

【請求項6】

コンピュータに、
文書画像に含まれる文字を認識することにより得られた複数の文字列のうち、記録文字列の候補である複数の文字列を特定することと、
前記複数の文字列の位置を示す確認画面を出力することと、
前記確認画面上におけるユーザによって特定された位置に対応する文字列の特徴量を、前記記録文字列の特徴量として抽出することと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

データの確認および修正に関して、特許文献１には、帳票データの訂正作業を支援するために、帳票における表などのデータ構造を定義しておき、データ入力項目を修正ウィンドウに表示することが記載されている。
また、書類のフォーマットの解析に関して、特許文献２には、入力画像に含まれる表のフォームを識別するために、罫線の長さおよび位置等について複数のモデルの各々との類似度を算出し、最も高い類似度のモデルを選択することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−１２２７２２号公報

【特許文献2】特開２００７−０５２８０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

データの確認および修正を行う場面の１つとして、文字認識結果の確認および修正を行う場面が挙げられる。かかる場面で、文字認識対象のフォーマットが予めわかっていない場合でも、かつ、表形式のフォーマットに限定されずに、確認および修正の作業を支援できることが好ましい。

【0005】

本発明は、上述の課題を解決することのできる画像処理装置、画像処理方法およびプログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の第１の態様によれば、画像処理装置は、文書画像の文字認識の結果得られた文字列のうち、記録文字列として指定された文字列を特定する記録文字列特定部と、前記記録文字列特定部が前記記録文字列の候補を複数特定した場合、それら複数の候補の位置を示す確認画面を出力する確認画面出力部と、前記確認画面においてユーザが特定した位置における記録文字列の特徴量を抽出する特徴量抽出部と、を備える。

【0007】

本発明の第２の態様によれば、画像処理方法は、文書画像の文字認識の結果得られた文字列のうち、記録文字列として指定された文字列を特定する工程と、前記記録文字列の候補を複数特定した場合、それら複数の候補の位置を示す確認画面を出力する工程と、前記確認画面においてユーザが特定した位置における記録文字列の特徴量を抽出する工程と、を含む。

【0008】

本発明の第３の態様によれば、プログラムは、コンピュータに、文書画像の文字認識の結果得られた文字列のうち、記録文字列として指定された文字列を特定する工程と、前記記録文字列の候補を複数特定した場合、それら複数の候補の位置を示す確認画面を出力する工程と、前記確認画面においてユーザが特定した位置における記録文字列の特徴量を抽出する工程と、を実行させるためのプログラムである。

【発明の効果】

【0009】

この発明によれば、文字認識結果の確認および修正を行う作業者に対して、文字認識対象のフォーマットが予めわかっていない場合でも、かつ、表形式のフォーマットに限定されずに、確認および修正の作業を支援することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る画像処理装置を含む画像処理システムの装置構成例を示す図である。

【図2】実施形態に係る画像処理装置のハードウェア構成例を示す図である。

【図3】第一実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。

【図4】文書帳票の一例を示す図である。

【図5】第一実施形態に係るデータベースが記憶する記録テーブルの概要を示す図である。

【図6】第一実施形態に係る画像処理装置の処理フローを示す第一の図である。

【図7】第一実施形態で、記録文字列の候補それぞれの範囲を枠で示した画像の例を示す図である。

【図8】第一実施形態に係る画像処理装置の処理フローを示す第二の図である。

【図9】第二実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。

【図10】第二実施形態に係る画像処理装置の処理フローを示す第一の図である。

【図11】第二実施形態に係る画像処理装置の処理フローを示す第二の図である。

【図12】実施形態に係る画像処理装置の構成の例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0012】

図１は、実施形態に係る画像処理装置を含む画像処理システムの装置構成例を示す図である。
図１に示す構成で、画像処理システム１００は画像処理装置１、画像読取装置２、記録装置３およびデータベース４により構成される。
画像処理装置１は画像読取装置２と通信ケーブルにより接続されている。画像読取装置２は光学的に文書帳票などの画像データを取得して画像処理装置１へ出力する。画像処理装置１は文書帳票の画像データをＯＣＲ処理し文字認識する。画像処理装置１は文字認識結果を記録装置３に出力し、記録装置３がその文字認識結果をデータベースに記録する。なお、画像処理装置１が対象とする文書は、特定の種類のものに限定されない。ＯＣＲ処理可能ないろいろな文書を、画像処理装置１の処理対象とすることができる。

【0013】

データベース４は画像処理装置１と記録装置３とに接続されている。データベース４は記録装置３から過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうち記録対象となる文字列を示す記録文字列の対応関係を記憶している。記録文字列が示す文字列は文書帳票に記述される文字列のうちデータベース４に記録、保存しておくべき重要な文字列である。画像処理システム１００を利用する作業者は予め、記録装置３を用いて過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうちの記録文字列をデータベース４に登録しておく。
作業者を、画像処理装置１のユーザ、または単にユーザとも称する。

【0014】

そしてデータベース４には文書帳票の画像データとその画像データに含まれる文字列の情報のうち記録対象となる文字列を示す記録文字列の情報との対応関係が、多くの文書帳票について十分に記録されているものとする。このような状態において、画像処理装置１は処理を行う。

【0015】

図２は画像処理装置のハードウェア構成例を示す図である。
図２に示す構成で、画像処理装置１は、画像処理装置本体１０と、表示装置１７と、入力デバイス１８とを備える。
画像処理装置本体１０は、ＣＰＵ（Central Processing Unit）１１、ＩＦ（Interface）１２、通信モジュール１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ＨＤＤ（Hard Disk Drive）１６などの構成を備えたコンピュータである。通信モジュール１３は画像読取装置２、記録装置３、データベース４との間で無線通信を行うものであっても、有線通信を行うものであってもよく、それら２つの機能を有していてもよい。
表示装置１７は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode）パネル等の表示画面を備える。
入力デバイス１８は、例えばキーボードおよびマウス、あるいは、表示装置１７の表示画面に設けられてタッチパネルを構成するタッチセンサ、あるいはこれらの組み合わせなど、ユーザ操作を受ける装置である。

【0016】

＜第一実施形態＞
図３は、第一実施形態に係る画像処理装置１の機能構成を示す概略ブロック図である。
通信部１１０は、図２の通信モジュールを用いて構成され、他の装置と通信を行う。特に、通信部１１０は、画像読取装置２、記録装置３、データベース４と通信を行う。
表示部１２０は、図２の表示装置１７を用いて構成され、各種画像を表示する。
特に、表示部１２０は確認画面出力部の例に該当し、特徴量抽出部１９２が文書帳票の画像中で記録文字列の候補を複数特定した場合、それら複数の候補の位置を示す確認画面を出力する。表示部１２０は、複数の候補の位置を、文書画像上で文字列を特定する表示にて示す確認画面を出力する。作業者が確認画面を参照して記録文字列の候補のうち何れかを選択すると、特徴量抽出部１９２は、選択された文字列の文書帳票の画像中における特徴量を抽出する。特徴量の抽出を特徴量の生成とも称する。文字列の特徴量を抽出するとは、文字列が有する特徴を特徴量化する（すなわち、特徴を数値で示す）ことである。この特徴量は、新たな文書帳票の画像から記録文字列を抽出するために用いられる。
但し、確認画面出力部が確認画面を出力する方法は、画面を表示する方法に限定されない。例えば、通信部１１０が確認画面出力部として機能し、確認画面の画像データを他の装置に送信して確認画面を表示させるようにしてもよい。

【0017】

操作入力部１３０は、図２の入力デバイスを用いて構成され、ユーザ操作を受け付ける。
記憶部１８０は、図２のＲＯＭ１４、ＲＡＭ１５およびＨＤＤ１６を用いて構成され、各種データを記憶する。
制御部１９０は、図２のＣＰＵ１１が、記憶部１８０（図２のＲＯＭ１４、ＲＡＭ１５およびＨＤＤ１６）からプログラムを読み出して実行することで構成される。制御部１９０は、画像処理装置１の各部を制御して各種処理を実行する。
取得部１９１は、文書帳票の画像データを取得する。

【0018】

特徴量抽出部１９２は、複数の文書帳票の画像データの認識処理結果に基づいて、文書帳票の画像データに含まれる記録文字列の特徴を示す第一特徴量を文書帳票の画像データ毎に抽出する。
特に、特徴量抽出部１９２は、文字認識処理された文書画像に含まれる記録文字列を特定し、特定した記録文字列の文書画像中における第一特徴量を抽出する。具体的には、特徴量抽出部１９２は記録文字列特定部の例に該当し、処理対象の文書画像の文字認識の結果得られた文字列のうち、記録文字列として指定された文字列を特定する。記録文字列の候補を複数特定した場合、特徴量抽出部１９２は、表示部１２０に確認画面を出力させ、確認画面においてユーザが特定した位置における記録文字列の特徴量を抽出する。特に、特徴量抽出部１９２は、文字列を特定する表示を行った文書画像上でのユーザ操作にて特定された文字列を記録文字列として特徴量の抽出を行う。
ここでいう記録文字列の特定は、文書帳票における文字列のうち何れか１つを、１つの記録文字列に決定することである。

【0019】

記録部１９３は、新たな文書帳票の画像データにおける文字列の特徴量を用いて、新たな文書帳票の画像データから読み取った文字列の情報のうちの記録文字列を抽出して記録する。特に、記録部１９３は記録文字列抽出部の例に該当し、特徴量抽出部１９２が抽出した記録文字列の特徴量を用いて、新たな文書画像の文字認識結果から記録文字列を抽出する。

【0020】

このような処理により画像処理装置１は新たな文書帳票の画像データに含まれる記録するべき文字列情報の記録の労力を軽減する。

【0021】

図４は文書帳票の一例を示す図である。
この図が示すように文書帳票には、その文書を作成した企業のマーク、作成日、作成担当者、文書内容が、その文書帳票に特有のフォーマットで記述されている。文書内容は、例えば文書帳票が発注票であれば発注した商品名やその発注個数などの情報の組が１つまたは複数示される。作業者はある１つの文書帳票に基づいて、その文書帳票に記述されている文字列のうち記録すべき特定の文字列（記録文字列）を、記録装置３を用いてデータベース４へ記録する。具体的には作業者は文書帳票を見ながら記録装置３がデータベース４に記録すべき記録文字列を入力する。また作業者は文書帳票の画像データを画像読取装置２に読み込ませる。文書帳票は作業者の操作に基づいて画像読取装置２が読み取り画像処理装置１へ出力する。そして記録装置３は作業者の操作と画像処理装置１の制御とに基づいて、１つの文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けてデータベース４に記録する。図４の例においては、日付５１、発注先５２、商品名５３、数量５４、金額５５が記録文字列である。文書帳票５には作業者によって記録されない非記録文字列等のその他の情報も印字されている。当該情報は例えば文書帳票を発行した発注者の名称５０１、発注者のエンブレム画像５０２、文書帳票のタイトル５０３、挨拶文５０４などである。

【0022】

図５はデータベースが記憶する記録テーブルの概要を示す図である。
図５で示すようにデータベース４は文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けて記録テーブルに記憶する。

【0023】

図６は第一実施形態に係る画像処理装置の処理フローを示す第一の図である。図６は、画像処理装置１が第一特徴量を抽出する処理手順の例を示す。
次に画像処理装置１の処理フローについて順を追って説明する。
まずデータベース４にはある文書帳票についての画像データと、その文書帳票に記述されている記録文字列との組み合わせが、同じ書式（Format）の文書帳票複数枚分記録されている。例えば図４で示す文書帳票５の書式の記録文字列情報（記録文字列を示す情報）が複数枚分記録されているとする。
これら画像データと記録文字列情報との組み合わせとして、例えば過去の業務で扱われた文書帳票の画像データおよび記録文字列情報を用いることができる。過去の業務から画像データおよび記録文字列情報を必要量確保できる場合、画像処理装置に第一特徴量を取得させるために画像データおよび記録文字列情報を別途用意する必要はない。
このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。

【0024】

画像処理装置１の取得部１９１は、通信部１１０を制御してデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを読み取る（ステップＳ６０１）。取得部１９１は画像データと記録文字列とを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して画像データ中の全ての文字列と、当該文字列の範囲を示す画像データ内の座標とを検出する（ステップＳ６０２）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１９２は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。

【0025】

特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ６０３）。

【0026】

ここでいう文字の属性（文字属性）は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標は、文書帳票における文字列の位置を示す座標である。例えば、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報であってもよい。以下、文字列に含まれる文字の属性と文字列の範囲の座標とを総称して、文字列の属性または文字列属性と表記する。

【0027】

また、ここでの文字情報は、文字列のみであってもよいし、文字列属性を含んでいてもよい。すなわち、特徴量抽出部１９２が、記録文字列と画像データ中の文字列とが文字列として同一か否かを判定するようにしてもよい。あるいは、特徴量抽出部１９２が、文字の同一性に加えて、文字列属性の同一性を判定するようにしてもよい。

【0028】

次に、特徴量抽出部１９２は、文書帳票内の全ての記録文字列を一意に特定したか否かを判定する（ステップＳ６０４）。
一意に特定していないと判定した場合（ステップＳ６０４：ＮＯ）、特徴量抽出部１９２は、記録文字列の候補それぞれの範囲を枠で示した画像を表示部１２０に表示させ、作業者によって選択された文字列に記録文字列を特定する（ステップＳ６０５）。ここでいう記録文字列の候補は、ステップＳ６０３で文字情報が記録文字列の文字情報と一致した文字列のうち、ステップＳ６０４で、一意に特定されていないと判定された記録文字列に対応付けられている文字列である。特徴量抽出部１９２が、１つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか１つを選択することで、記録文字列が一意に特定される。

【0029】

図７は、記録文字列の候補それぞれの範囲を枠で示した画像の例を示す図である。図７は、記録文字列「１」が文書帳票の画像データ上で特定されていない場合の例を示している。表示部１２０は、特徴量抽出部１９２の制御に従って、文書帳票の画像データ上で文字列「１」を矩形枠で囲った確認画面を表示している。これら矩形枠で囲われた文字列「１」が、記録文字列の候補の例に該当する。
作業者が、例えばタッチ操作またはマウスクリックなどにより、矩形枠で囲まれた文字列の何れかを確認画面上で選択することで、この記録文字列が一意に決定される。記録文字列が一意に決定されることで、特徴量抽出部１９２がその記録文字列の第一特徴量を抽出することができる。

【0030】

特徴量抽出部１９２は、文書帳票毎かつ記録文字列毎に抽出した文字列属性を用いて、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を抽出する（ステップＳ６０６）。
具体的には、特徴量抽出部１９２は、記録文字列毎に、複数の文書帳票におけるその記録文字列の文字列属性を解析して、１つの記録文字列に１つの特徴量を抽出する。
ステップＳ６０４で、特徴量抽出部１９２が、文書帳票内の全ての記録文字列を一意に特定したと判定した場合（ステップＳ６０４：ＹＥＳ）も、処理がステップＳ６０６へ進む。

【0031】

特徴量抽出部１９２が、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を抽出する方法は、特定の方法に限定されない。例えば、特徴量抽出部１９２が、複数の文書帳票から得られた複数の文字列属性について、先頭の文字の座標、末尾の文字の座標、文字の種類、文字の高さ、フォントの種類などの項目毎に最頻値（Mode）を求めるようにしてもよい。また、特徴量抽出部１９２が、先頭の文字の座標、末尾の文字の座標、文字の高さ、文字間の距離など数値で示される属性について項目毎に平均値（Average）または中央値（Median）を求めるようにしてもよい。また、特徴量抽出部１９２が、数値で表される項目について、その最大値および最小値を特徴量とするなど、範囲を有する特徴量、あるいは、複数の数値で表される特徴量を用いるようにしてもよい。また、特徴量抽出部１９２が、文字の種類、フォントの種類など数値以外の属性を数値化して特徴量を求めるようにしてもよい。また、特徴量抽出部１９２が、公知の機械学習アルゴリズムを用いて特徴量を抽出するようにしてもよい。
特徴量抽出部１９２が、文書帳票の１つの書式かつ１つの記録文字列について複数の数値を取得した場合、これら複数の数値をベクトル化して１つのベクトルの特徴量を抽出するようにしてもよい。

【0032】

特徴量抽出部１９２が抽出した、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を第一特徴量と称する。特徴量抽出部１９２は、同じ書式の複数枚の文書帳票を用いて、その書式における記録文字列それぞれの第一特徴量を抽出する。第一特徴量は記録文字列を抽出するための特徴量である。第一特徴量に、文字の属性を示す情報、文字列の範囲を示す座標の何れか、またはこれらの組み合わせが含まれていてもよい。
特徴量抽出部１９２は、記録文字列毎に得られた第一特徴量を、文書帳票の書式の識別子に紐づけてデータベース４に記録する（ステップＳ６０７）。

【0033】

例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す各第一特徴量を、文書帳票５の書式識別子に紐づけてデータベース４に記録する。
ステップＳ６０７の後、画像処理装置１は、図６の処理を終了する。

【0034】

以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために利用する情報（第一特徴量）を抽出してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票の画像データの入力を受けて、その文書帳票に含まれる記録文字列を自動でデータベース４に記録していくことができる。図８を参照して、その処理について説明する。

【0035】

図８は第一実施形態に係る画像処理装置の処理フローを示す第二の図である。図８は、画像処理装置１が、新たに入力された画像データから記録文字列を抽出する処理手順の例を示す。
作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力（送信）する。画像処理装置１の取得部１９１は、通信部１１０の受信データから画像データを取得する（ステップＳ７０１）。取得部１９１は画像データを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して、文字列と、その文字列に含まれる文字の特徴（文字属性）と、その文字列の範囲の画像データ中の座標とを文字列毎に検出する（ステップＳ７０２）。特徴量抽出部１９２はそれら検出した情報を特徴量化した第三特徴量を、画像データ中の文字列毎に抽出する（ステップＳ７０３）。つまり第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。その後、特徴量抽出部１９２はデータベース４から記録文字列毎の第一特徴量を読み出す（ステップＳ７０４）。特徴量抽出部１９２は記録部１９３へ第三特徴量と第一特徴量とを出力する。

【0036】

記録部１９３は画像データ中の文字列毎の第三特徴量と、記録文字列毎の第一特徴量とを取得する。記録部１９３は、各第一特徴量に対して第三特徴量が一意に対応付けられるかを判定する（ステップＳ７０５）。例えば、第一特徴量が文字列の範囲を示す座標を含んで構成されており、記録部１９３は、各第一特徴量に含まれる文字列の範囲を示す座標を用いて、各第一特徴量が示す当該座標に対応する座標を有する第三特徴量が全て存在するかを判定する。
各第一特徴量の座標に対応する座標を有する第三特徴量が全て存在する場合（ステップＳ７０５：ＹＥＳ）には、記録文字列に対応する文書帳票内の全ての記載事項に文字の記載が存在する。一方、各第一特徴量の座標に対応する座標を有する第三特徴量が全て存在しない場合には、文書帳票内の何れかの記載事項に文字の記載が無い状態である。

【0037】

ステップＳ７０５でＹＥＳの場合、記録部１９３は、第一特徴量に含まれる文字属性と、その第一特徴量に対応する第三特徴量に含まれる文字属性がそれぞれ一致するかどうかを判定する（ステップＳ７０６）。

【0038】

記録部１９３は、ステップＳ７０６の判定結果がＹＥＳとなり文字属性が一致する場合（ステップＳ７０６：ＹＥＳ）、現在処理している画像データにおいて１つまたは複数の第三特徴量が示す座標に基づく記録文字列の範囲に矩形枠を表示した確認画面を生成する。記録部１９３はその確認画面をモニタに出力する（ステップＳ７０７）。作業者はこの確認画面に表示された矩形領域を確認して、画像処理装置１が記録しようとする記録文字列を確認することができる。これにより作業者は記録文字列に不足が無いかを確認することができる。すなわち、作業者は全ての記録文字列が選択されているか（確認画面において矩形枠で囲まれているか）確認することができる。
確認画面にはＯＫまたはＮＧの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちＯＫのボタンを選択することにより作業者は記録文字列としての選択に不足がないことを指示することができる。他方、ボタンのアイコン画像のうちＮＧのボタンを選択することにより作業者は記録文字列としての選択に不足があることを指示することができる。

【0039】

なお確認画面をモニタに出力する理由を、図４を用いて説明する。図４では、記録文字列のうち商品名５３が６つ記入されている。過去の文書帳票においても６つの商品名５３の記入が最大だった場合、新たな文書帳票に対して、商品名５３は１〜６個の範囲内で自動的に記録文字列と判定される。したがって、例えば新たな帳票では商品名５３が７つ記載されていた場合、１〜６個目までの部分については、ステップＳ７０５、Ｓ７０６いずれもＹＥＳとなるため、画像処理装置１は７個目の文字列を記録せずに終了してしまう。このような事象が改善されるように、画像処理装置１は、ステップＳ７０７で記録文字列を記録する前に、確認画面を表示して、作業者に対して、記録して終了してよいかの確認を行う。

【0040】

記録部１９３は作業者のボタンのアイコン画像の押下に応じて、全ての記録文字列が選択されているかを判定する（ステップＳ７０８）。記録部１９３は全ての記録文字列が選択されている場合（ステップＳ７０８：ＹＥＳ）には、記録文字列を文書帳票の識別情報に対応付けて記録テーブルに記録する（ステップＳ７０９）。

【0041】

例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３が取得できたとする。そして第三特徴量ａ３が予めデータベースに記録されている第一特徴量ａ１と、第三特徴量ｂ３が第一特徴量ｂ１と、第三特徴量ｃ３が第一特徴量ｃ１と、第三特徴量ｄ３が第一特徴量ｄ１とそれぞれ特徴量が一致したとする。この場合、記録部１９３は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３それぞれに対応する文字列を、記録文字列として文書帳票の記録テーブルに記録する。ここでいう第三特徴量に対応する文字列は、その第三特徴量の抽出元の文字列である。
ステップＳ７０９の後、画像処理装置１は、図８の処理を終了する。

【0042】

上述のステップＳ７０５でＮＯの場合、またはステップＳ７０６でＮＯの場合、またはステップＳ７０８でＮＯの場合、記録部１９３は、第一特徴量が示す当該座標に対応する座標を有する第三特徴量が存在しなかった場合の処理を行う。具体的には記録部１９３は、画像データ中の対応する座標の第三特徴量が存在しなかった第一特徴量の座標の範囲に入力欄を設けた帳票画像（文書帳票の画像）の入力用画像データを生成してモニタに出力する（ステップＳ７１０）。入力用画像データはＨＴＭＬやＸＭＬなどのマークアップ言語で記述されたデータであってよい。作業者はこの入力用画像データを見ながら、画像処理装置１のキーボード等の入力装置を操作して、モニタに表示されている入力用画像データ内の入力欄に記録文字列を入力する。当該入力用画像データには保存ボタンが表示されており、保存ボタンの押下操作をすると記録部１９３は既に文書帳票について取得した第三特徴量の他、新たに入力用画像データの入力欄に入力された文字列を含む第三特徴量を抽出する（ステップＳ７１１）。

【0043】

記録部１９３は帳票画像データの識別子と記録文字列とを対応付けてデータベース４に記録する（ステップＳ７１２）。具体的には、記録部１９３は、ステップＳ７１１で入力欄に入力された文字列については、入力された文字列を記録文字列とし、それ以外の記録文字については、第一特徴量と第三特徴量との比較で特定された文字列を記録文字列とする。そして、記録部１９３は、記録文字列と帳票画像データの識別子とを対応付けてデータベース４に記録する。
ステップＳ７１２の後、画像処理装置１は、図８の処理を終了する。

【0044】

画像処理装置１が、図８の処理で第一特徴量を更新するようにしてもよい。例えば画像処理装置１が、ステップＳ７１１の後、図６の処理フローを再度実施するようにしてもよい。あるいは画像処理装置１が、ステップＳ７１１の後に追加学習を行うことで、図６で処理済みのデータについては再度処理を行うことなく第一特徴量を更新するようにしてもよい。さらに、画像処理装置１が、ステップＳ７０８でＹＥＳの場合も、図６の処理フローの再実施または追加学習にて第一特徴量を更新するようにしてもよい。
画像処理装置１が、図８の処理で第一特徴量を更新することで、サンプルデータ数が増加して第一特徴量の精度が向上し、画像処理装置１が記録文字列を抽出する精度が向上することが期待される。また、図８の処理で記録文字列が追加された場合、画像処理装置１が新たに追加された記録文字列についても画像データから抽出できるようになり、作業者が文字列を入力する手間を省けることが期待される。

【0045】

図８に示す処理によれば、画像処理装置１は予め作業者が記録しておいた文書帳票の画像データと記録文字列とによって、新たに入力させた文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。
また文書帳票に記録文字列が記載されていない場合でも、本来、記載されているべき記録文字列に対応する記載事項が記載されていない場合には画像処理装置１は入力用画像データを出力する。これにより文書帳票において記載すべき記載事項に対して入力していない誤りが見つかると共に、その記載事項が示す記録文字列を容易に記録することができる。

【0046】

＜第二実施形態＞
第二実施形態では、画像処理装置１が、文書帳票の複数の書式に対応する場合について説明する。
図９は第二実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。
図９に示すように第二実施形態に係る画像処理装置１は、図３で示した各機能部に加え、さらにグループ分類部１９４、グループ特定部１９５の機能を有する。

【0047】

図１０は第二実施形態に係る画像処理装置の処理フローを示す第一の図である。
次に第二実施形態に係る画像処理装置１の処理フローについて順を追って説明する。
データベース４には書式が異なる複数の文書帳票についての画像データと、各文書帳票に記述されている記録文字列の組み合わせが、その文書帳票毎に多数記録されている。このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。

【0048】

画像処理装置１の取得部１９１はデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを全て読み込んだかを判定する（ステップＳ９０１）。ＮＯの場合、取得部１９１はデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを読み取る（ステップＳ９０２）。取得部１９１は画像データと記録文字列とを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して画像データ中の全ての文字列とその画像データ内の座標とを検出する（ステップＳ９０３）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１９２は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。

【0049】

特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ９０４）。

【0050】

第一実施形態で説明したように、文字の属性は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標は、文書帳票における文字列の位置を示す座標である。例えば、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報であってもよい。文字列に含まれる文字の属性と文字列の範囲の座標とを総称して、文字列の属性または文字列属性と表記する。

【0051】

第一実施形態の場合と同様、ここでの文字情報は、文字列のみであってもよいし、文字列属性を含んでいてもよい。すなわち、特徴量抽出部１９２が、記録文字列と画像データ中の文字列とが文字列として同一か否かを判定するようにしてもよい。あるいは、特徴量抽出部１９２が、文字の同一性に加えて、文字列属性の同一性を判定するようにしてもよい。

【0052】

次に、特徴量抽出部１９２は、文書帳票内の全ての記録文字列を一意に特定したか否かを判定する（ステップＳ９０５）。
一意に特定していないと判定した場合（ステップＳ９０５：ＮＯ）、特徴量抽出部１９２は、記録文字列の候補それぞれの範囲を枠で示した画像を表示部１２０に表示させ、作業者によって選択された文字列に記録文字列を特定する（ステップＳ９０６）。第一実施形態の場合と同様、ここでいう記録文字列の候補は、ステップＳ９０４で文字情報が記録文字列の文字情報と一致した文字列のうち、ステップＳ９０５で、一意に特定されていないと判定された記録文字列に対応付けられている文字列である。特徴量抽出部１９２が、１つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか１つを選択することで、記録文字列が一意に特定される。

【0053】

特徴量抽出部１９２は、文書帳票毎かつ記録文字列毎に抽出した文字列属性を用いて、文書帳票毎かつ記録文字列毎の特徴量を抽出する（ステップＳ９０７）。具体的には、特徴量抽出部１９２は、ステップＳ９０４で記録文字列に対応付けた文字列の文字列属性を特徴量化する。第二実施形態では複数種類の書式を対象とするため、文書帳票を書式毎にグループ分けしていないステップＳ９０７の時点では、図６のステップＳ６０６の場合と異なり直接第一特徴量を抽出することはできない。そこで、特徴量抽出部１９２は、グループ毎の第一特徴量を抽出する準備として、文書帳票毎かつ記録文字列毎の特徴量を抽出しておく。この文書帳票毎かつ記録文字列毎の特徴量を個別第一特徴量と称する。
ステップＳ９０５で、特徴量抽出部１９２が、文書帳票内の全ての記録文字列を一意に特定したと判定した場合（ステップＳ９０５：ＹＥＳ）も、処理がステップＳ９０７へ進む。
特徴量抽出部１９２は、得られた個別第一特徴量を、文書帳票の識別子および記録文字列の識別子に紐づけてデータベース４に記録する（ステップＳ９０８）。記録文字列の識別子として、例えばその記録文字列の位置を示す座標値を用いることができる。

【0054】

例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す個別第一特徴量を、文書帳票毎かつ記録文字列毎に、文書帳票５の書式識別子に紐づけてデータベース４に記録する。

【0055】

特徴量抽出部１９２はまた、記録文字列に含まれる文字情報と一致しない画像データ中の非記録文字列と、その非記録文字列の文字列属性とを抽出する（ステップＳ９０９）。上述したように、非記録文字列は、作業者によって記録されない文字列、すなわち、記録文字列以外の文字列である。文字列属性には、その文字列に含まれる文字の属性を示す情報、その文字列の範囲の座標を示す情報の何れか一方あるは両方が含まれていてもよい。

【0056】

特徴量抽出部１９２は、文書帳票毎かつ非記録文字列毎に抽出した文字列属性を用いて、文書帳票毎かつ非記録文字列毎の特徴量を抽出する（ステップＳ９１０）。
具体的には、特徴量抽出部１９２は、ステップＳ９０４で何れの記録文字列にも対応付けられなかった文字列の各々について、その文字列の属性（文字列属性）を特徴量化する。第一特徴量の場合と同様、文書帳票を書式毎にグループ分けしていないステップＳ９１０の時点では、同じ書式の文書帳票に共通の特徴量を生成することはできない。そこで、特徴量抽出部１９２は、グループ毎の第二特徴量を抽出する準備として、文書帳票毎かつ非記録文字列毎の特徴量を抽出しておく。この文書帳票毎かつ非記録文字列毎の特徴量を個別第二特徴量と称する。
特徴量抽出部１９２が、文書帳票毎、かつ、複数の非記録文字列を纏めた個別第二特徴量を生成するようにしてもよい。例えば、特徴量抽出部１９２が、１つの文書帳票につき１つの個別第二特徴量を生成するようにしてもよい。

【0057】

特徴量抽出部１９２は、得られた個別第二特徴量を、文書帳票の識別子および非記録文字列の識別子に紐づけてデータベース４に記録する（ステップＳ９１１）。非記録文字列の識別子として、例えばその非記録文字列の位置を示す座標値を用いることができる。
例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる非記録文字列である発注者の名称５０１、発注者のエンブレム画像、文書帳票のタイトル５０３、挨拶文５０４などを示す個別第二特徴量を、文書帳票５の識別子および非記録文字列の識別子に紐づけてデータベース４に記録する。

【0058】

データベース４には、文書帳票の複数の書式それぞれについて、その書式の文書帳票の画像データとその画像データに対応する記録文字列の情報が記録されている。画像処理装置１の取得部１９１は全ての文書帳票についての画像データと記録文字列の情報を読み込むまでステップＳ９０１〜ステップＳ９１１の処理を繰り返す。

【0059】

ステップＳ９０１で、取得部１９１がデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを全て読み込んだと判定した場合（ステップＳ９０１：ＹＥＳ）、グループ分類部１９４が文書帳票をグループ分けする（ステップＳ９２１）。グループ分類部１９４は、文書帳票の画像データに含まれる個別第二特徴量に基づいて、文書帳票をグループ分けする。例えばグループ分類部１９４は、各文書帳票を、個別第二特徴量が示す非記録文字列の一致度や、エンブレム画像の一致度、非記録文字列の座標範囲の一致度などに基づいてグループ分けする。グループ分類部１９４はこのグループ分けの処理において文書帳票のグループ識別子を決定する。グループ分類部１９４は全ての文書帳票についてグループ分けが終了したかを判定する（ステップＳ９２２）。

【0060】

グループ分類部１９４は全ての文書帳票のグループ分けが完了していない場合にはステップＳ９２１の処理を繰り返す。具体的には、ステップＳ９２２で、グループ分けを終了していない文書帳票があるとグループ分類部１９４が判定した場合（ステップＳ９２２：ＮＯ）、処理がステップＳ９２１へ戻る。
グループ分類部１９４は、全ての文書帳票のグループ分けが完了した場合（ステップＳ９２２：ＹＥＳ）、文書帳票の識別子とその文書帳票に付与されたグループ識別子とを対応付けてデータベース４のグループテーブル（記録テーブル）に記録する（ステップＳ９２３）。

【0061】

そして特徴量抽出部１９２は、あるグループに属する１つまたは複数の文書帳票の各個別第一特徴量および各個別第二特徴量をデータベース４から読み取り、グループに属する文書帳票の各個別第一特徴量および各個別第二特徴量に対応する各グループ第一特徴量、各グループ第二特徴量を抽出する（ステップＳ９２４）。各グループ第一特徴量はグループに属する文書帳票の各個別第一特徴量の平均等の値であってもよい。同様に各グループ第二特徴量はグループに属する文書帳票の各個別第二特徴量の平均等の値であってもよい。各グループ第一特徴量、各グループ第二特徴量は、各個別第一特徴量の平均、各個別第二特徴量の平均でなくとも、所定の統計処理や機械学習等の手法を用いて、グループに属する１つ又は複数の文書帳票の記録文字列や非記録文字列を特定できるよう算出された特徴量であれば、どのような手法を用いて、各グループ第一特徴量、各グループ第二特徴量を抽出してもよい。

【0062】

例えば、特徴量抽出部１９２がステップＳ９２４で、同一グループに属する複数の文書帳票から記録文字列毎に文字列属性を抽出して（直接的に）グループ第一特徴量を生成するようにしてもよい。この場合、特徴量抽出部１９２が、ステップＳ９０７およびステップＳ９０８での個別第一特徴量の抽出および記録をパスする（特に何も処理を行わない）。
一方、個別第二特徴量については、ステップＳ９２１でのグループ分けで使用できるように、特徴量抽出部１９２がステップＳ９１０で抽出しておく。但し、ステップ９２１で、グループ分類部１９４が、個別第二特徴量を用いず非記録文字列を用いて文書帳票のグループ分けを行うようにしてもよい。この場合、特徴量抽出部１９２がステップＳ９２４で、同一グループに属する複数の文書帳票の非記録文字列の文字列属性から（直接的に）グループ第二特徴量を抽出するようにしてもよい。この場合、特徴量抽出部１９２は、ステップＳ９０９〜ステップＳ９１１では特に何も処理を行わない。
特徴量抽出部１９２は、グループそれぞれについて各グループ第一特徴量、各グループ第二特徴量を算出し、グループの識別子に対応付けてデータベース４に記録する（ステップＳ９２５）。
ステップＳ９２５の後、画像処理装置１は、図１０の処理を終了する。

【0063】

以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために必要な情報（グループ第一特徴量およびグループ第二特徴量）を文書帳票のグループ毎に抽出してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票の画像データの入力を受けて、その文書帳票に含まれる記録文字列を自動でデータベース４に記録していくことができる。図１１を参照して、その処理について説明する。

【0064】

図１１は第二実施形態に係る画像処理装置の処理フローを示す第二の図である。図１１は、画像処理装置１が、新たに入力された画像データから記録文字列を抽出する処理手順の例を示す。
作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力（送信）する。画像処理装置１の取得部１９１は、通信部１１０の受信データから画像データを取得する（ステップＳ１００１）。取得部１９１は画像データを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して、文字列と、その文字列に含まれる文字の特徴（文字属性）と、その文字列の範囲の画像データ中の座標とを文字列毎に検出する（ステップＳ１００２）。特徴量抽出部１９２はそれら検出した情報を特徴量化した第三特徴量を、画像データ中の文字列毎に抽出する（ステップＳ１００３）。第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。

【0065】

次にグループ特定部１９５が、データベース４が記憶しているグループ第二特徴量のうち新たな文書帳票のグループ特定に利用するグループ第二特徴量を読み取る。当該グループ第二特徴量は例えば文書帳票の画像データに表示される発注者のエンブレム画像５０２に対応する特徴量であってよい。グループ特定部１９５はあるグループ第二特徴量に示す情報が、ステップＳ１００１で取得した文書帳票の画像データから特定できるかどうかを判定する。グループ特定部１９５は全てのグループについてのグループ第二特徴量を用いて同様の処理を行う。グループ特定部１９５はデータベース４から読み取ったグループ第二特徴量に一致する情報が新たに読み込んだ文書帳票の画像データから特定できた場合、そのグループ第二特徴量を有するグループを、新たに読み込んだ文書帳票の画像データのグループと特定する（ステップＳ１００４）。その後、グループ特定部１９５はデータベース４からそのグループについての１つまたは複数のグループ第一特徴量を読み出す（ステップＳ１００５）。グループ特定部１９５は記録部１９３へ第三特徴量と１つまたは複数のグループ第一特徴量とを出力する。グループ第一特徴量はそのグループに属する文書帳票内の１つまたは複数の記録文字列を特定するための特徴量である。

【0066】

記録部１９３は画像データ中の１つまたは複数の文字列についての第三特徴量と、１つまたは複数のグループ第一特徴量とを取得する。記録部１９３は各グループ第一特徴量に含まれる文字列の範囲を示す座標を用いて、各グループ第一特徴量が示す当該座標に対応する座標を有する第三特徴量が全て存在するかを判定する（ステップＳ１００６）。各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在する場合には、記録文字列に対応する文書帳票内の全ての記載事項に文字の記載が存在する。一方、各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在しない場合には、文書帳票内の何れかの記載事項に文字の記載が無い状態である。

【0067】

ステップＳ１００６でＹＥＳの場合、記録部１９３は、グループ第一特徴量に含まれる文字属性と、座標に基づいて特定された対応する第三特徴量に含まれる文字属性とがそれぞれ一致するかどうかを判定する（ステップＳ１００７）。

【0068】

記録部１９３は、ステップＳ１００７の判定結果がＹＥＳとなり文字属性が一致する場合、現在処理している画像データにおいて１つまたは複数の第三特徴量が示す座標に基づく記録文字列の範囲に矩形枠を表示した確認画面を生成する。記録部１９３はその確認画面をモニタに出力する（ステップＳ１００８）。作業者はこの確認画面に表示された矩形領域を確認して、画像処理装置１が記録しようとする記録文字列を確認することができる。これにより作業者は記録文字列に不足が無いかを確認することができる。すなわち、作業者は全ての記録文字列が選択されているか（確認画面において矩形枠で囲まれているか）確認することができる。
確認画面にはＯＫまたはＮＧの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちＯＫのボタンを選択することにより作業者は記録文字列としての選択に不足がないことを指示することができる。他方、ボタンのアイコン画像のうちＮＧのボタンを選択することにより作業者は記録文字列としての選択に不足があることを指示することができる。

【0069】

記録部１９３は作業者のボタンのアイコン画像の押下に応じて、全ての記録文字列が選択されているかを判定する（ステップＳ１００９）。記録部１９３は全ての記録文字列が選択されている場合（ステップＳ１００９：ＹＥＳ）には、記録文字列を文書帳票の識別情報に対応付けて記録テーブルに記録する（ステップＳ１０１０）。

【0070】

例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３が取得できたとする。そして第三特徴量ａ３が予めデータベースに記録されているグループ第一特徴量ｇ１１と、第三特徴量ｂ３がグループ第一特徴量ｇ１２と、第三特徴量ｃ３がグループ第一特徴量ｇ１３と、第三特徴量ｄ３がグループ第一特徴量ｇ１４とそれぞれ特徴量が一致したとする。この場合、記録部１９３は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３それぞれに対応する文字列を、記録文字列として文書帳票の記録テーブルに記録する。ここでいう第三特徴量に対応する文字列は、その第三特徴量の抽出元の文字列である。
ステップＳ１０１０の後、画像処理装置１は、図１１の処理を終了する。

【0071】

上述のステップＳ１００６でＮＯの場合、またはステップＳ１００７でＮＯの場合、またはステップＳ１００９でＮＯの場合、記録部１９３は、グループ第一特徴量が示す当該座標に対応する座標を有する第三特徴量が存在しなかった場合の処理を行う。具体的には記録部１９３は、画像データ中の対応する座標の第三特徴量が存在しなかったグループ第一特徴量の座標の範囲に入力欄を設けた帳票画像（文書帳票の画像）の入力用画像データを生成してモニタに出力する（ステップＳ１０１１）。入力用画像データはＨＴＭＬやＸＭＬなどのマークアップ言語で記述されたデータであってよい。作業者はこの入力用画像データを見ながら、画像処理装置１のキーボード等の入力装置を操作して、モニタに表示されている入力用画像データ内の入力欄に記録文字列を入力する。当該入力用画像データには保存ボタンが表示されており、保存ボタンの押下操作をすると記録部１９３は既に文書帳票について取得した第三特徴量の他、新たに入力用画像データの入力欄に入力された文字列を含む第三特徴量を抽出する（ステップＳ１０１２）。

【0072】

記録部１９３は帳票画像データの識別子と記録文字列とを対応付けてデータベース４に記録する（ステップＳ１０１３）。具体的には、記録部１９３は、ステップＳ７１１で入力欄に入力された文字列については、入力された文字列を記録文字列とし、それ以外の記録文字については、第一特徴量と第三特徴量との比較で特定された文字列を記録文字列とする。そして、記録部１９３は、記録文字列と帳票画像データの識別子とを対応付けてデータベース４に記録する。
ステップＳ１０１３の後、画像処理装置１は、図１１の処理を終了する。

【0073】

画像処理装置１が、図１１の処理で第一特徴量を更新するようにしてもよい。例えば画像処理装置１が、ステップＳ１０１２の後、図６の処理フローを再度実施するようにしてもよい。あるいは画像処理装置１が、ステップＳ１０１２の後に追加学習を行うことで、図６で処理済みのデータについては再度処理を行うことなく第一特徴量を更新するようにしてもよい。さらに、画像処理装置１が、ステップＳ１００９でＹＥＳの場合も、図６の処理フローの再実施または追加学習にて第一特徴量を更新するようにしてもよい。
画像処理装置１が、図１１の処理で第一特徴量を更新することで、サンプルデータ数が増加して第一特徴量の精度が向上し、画像処理装置１が記録文字列を抽出する精度が向上することが期待される。また、図１１の処理で記録文字列が追加された場合、画像処理装置１が新たに追加された記録文字列についても画像データから抽出できるようになり、作業者が文字列を入力する手間を省けることが期待される。

【0074】

図１１に示す処理によれば、画像処理装置１は予め作業者が記録しておいた複数の書式それぞれの文書帳票の画像データと記録文字列とによって、新たに入力させた文書帳票の種別によらずにその文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。
また文書帳票に記録文字列が記載されていない場合でも、本来、記載されているべき記録文字列に対応する記載事項が記載されていない場合には画像処理装置１は入力用画像データを出力する。これにより文書帳票において記載すべき記載事項に対して入力していない誤りが見つかると共に、その記載事項が示す記録文字列を容易に記録することができる。

【0075】

＜第三実施形態＞
なお、画像処理装置１の処理の他の例としては、作業者が予め文書帳票のグループを画像処理装置１に登録しておいてもよい。例えば作業者は、過去において文書帳票の画像データを登録する際、文書帳票の種類に合わせてグループ識別子を入力しておき文書帳票の画像データと紐づけてデータベース４に登録しておく。これにより、同一グループ内に画像処理装置１の処理誤り等により異種の帳票が混じることがなくなり、精度のよい第一特徴量を抽出することができる。なおこの場合、登録時は作業者が文書帳票のグループを入力するが、新たな帳票に対しては、ステップＳ１００４と同じく、第二特徴量を用いてグループ特定する。

【0076】

＜第四実施形態＞
また、画像処理装置１の処理の他の例としては、画像処理装置１は第二特徴量を用いて文書帳票をグループ分けするだけでなく、第一特徴量を用いて、また第二特徴量と共に第一特徴量を用いて、文書帳票をグループ分けするようにしてもよい。第一特徴量は記録文字列の特徴量であるが、同じ種類の文書帳票であれば、記録文字列の座標やその文字属性は同じであると考えられ、第一特徴量を用いて帳票をグループ分けすることが可能となる。最初のグループ分けを第四実施形態で示すように作業者が行い、新たな文書帳票に対してはステップＳ１００４の処理により第一特徴量を用いてグループ分けすることにより、ＯＣＲ処理において精度よく記録文字列を読み取ることが可能となる。
この場合、取得部１９１が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そしてグループ分類部１９４が第一特徴量に基づいて帳票画像データをグループ分けする。そして、特徴量抽出部１９２は、グループに含まれる帳票画像データに対応する第一特徴量を用いて記録文字列を抽出する。

【0077】

＜第五実施形態＞
第二実施形態においてはステップＳ１００４において第二特徴量に基づいて新たな帳票のグループを特定している。しかしながら、別の処理態様として、画像処理装置１はグループを特定する処理を行わずに、作業者により設定された全グループに対して、１グループごとに順に特定して第一特徴量を読み出し、第三特徴量と一致する個数をカウントする。正しいグループの場合には最も多く第一特徴量と第三特徴量とが一致するはずなので、画像処理装置１は一致個数が最も多いときの特定グループの第三特徴量それぞれに含まれる文字列をステップＳ１００８において記録する。これにより、グループを特定しなくても記録文字列を記録することができる。
この場合、取得部１９１が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そして、特徴量抽出部１９２は、取得部１９１の取得した帳票画像データを認識処理した結果に基づいて、記録文字列の特徴を示す第一特徴量または記録文字列以外の認識情報を示す第二特徴量を抽出する。特徴量抽出部１９２は、予め設定された所定のグループに含まれる帳票画像データに対応する第一特徴量を用いて記録文字列を抽出する。

【0078】

以上のように、特徴量抽出部１９２は、文書画像の文字認識の結果得られた文字列のうち、記録文字列として指定された文字列を特定する。表示部１２０は、特徴量抽出部１９２が記録文字列の候補を複数特定した場合、それら複数の候補の位置を示す確認画面を出力する。特徴量抽出部１９２は、確認画面においてユーザが特定した位置における記録文字列の特徴量を抽出する。
これにより、画像処理装置１では、記録文字列を一意に特定できなかった場合でも、候補の提示および作業者（ユーザ）による特定によって、記録文字列を一意に特定して特徴量の抽出を行うことができる。この点で、画像処理装置１によれば、文字認識結果の確認および修正を行う作業者に対して、文字認識対象のフォーマットが予めわかっていない場合でも、かつ、表形式のフォーマットに限定されずに、確認および修正の作業を支援することができる。
また、画像処理装置１が、記録文字列の候補の位置を示す確認画面をユーザに提示することで、作業者は、提示される位置を参照して比較的容易に記録文字列の候補の位置を把握できる。

【0079】

また、表示部１２０は、複数の候補の位置を、文書画像上で文字列を特定する表示にて示す確認画面を出力する。
表示部１２０が、文書画像上で文字列を特定するという直接的な表示で記録文字列の候補を作業者に示すことで、作業者は、比較的容易に記録文字列の候補の位置を把握できる。画像処理装置１によれば、この点で、作業者の負担が小さい。

【0080】

また、特徴量抽出部１９２は、文字列を特定する表示を行った文書画像上でのユーザ操作にて特定された文字列を記録文字列として特徴量の抽出を行う。
これにより、作業者は、文書画像上に示されている文字列の何れかを選択するという簡単な操作で記録文字列を特定することができる。画像処理装置１によれば、この点で、作業者の負担が小さい。

【0081】

また、記録部１９３は、特徴量抽出部１９２が抽出した記録文字列の特徴量を用いて、新たな文書画像の文字認識結果から記録文字列を抽出する。
これにより、画像処理装置１によれば、新たな文書画像の文字認識結果から記録文字列を自動的に抽出することができる。この点で、画像処理装置１によれば、確認および修正の作業を支援することができる。
特に、画像処理装置１によれば、文字認識対象のフォーマットが予めわかっていない場合でも、記録文字列の特徴量を抽出し、抽出した特徴量を用いて新たな文書画像の文字認識結果から記録文字列を自動的に抽出することができる。この点で、画像処理装置１によれば、文字認識結果の確認および修正を行う作業者に対して、文字認識対象のフォーマットが予めわかっていない場合でも、かつ、表形式のフォーマットに限定されずに、確認および修正の作業を支援することができる。
さらに、画像処理装置１によれば、特徴量抽出部１９２が自動では記録文字列を一意に特定できなかった場合でも、作業者による特定を受けて記録文字列の特徴量を抽出することができる。この点で、画像処理装置１によれば、新たな文書画像の文字認識結果から記録文字列を自動的に抽出するための学習を加速することができる。これにより、画像処理装置１が、より早い時期に新たな文書画像の文字認識結果から記録文字列を自動的に抽出できるようになると期待される。

【0082】

次に、図１２を参照して、本発明の実施形態の構成について説明する。
図１２は、実施形態に係る画像処理装置の構成の例を示す図である。図１２に示す画像処理装置６００は、記録文字列特定部６０１と、確認画面出力部６０２と、特徴量抽出部６０３と、を備える。
かかる構成にて、記録文字列特定部６０１は、文書画像の文字認識の結果得られた文字列のうち、記録文字列として指定された文字列を特定する。確認画面出力部６０２は、前記記録文字列特定部６０１が前記記録文字列の候補を複数特定した場合、それら複数の候補の位置を示す確認画面を出力する。特徴量抽出部６０３は、前記確認画面においてユーザが特定した位置における記録文字列の特徴量を抽出する。
これにより、画像処理装置６００では、記録文字列を一意に特定できなかった場合でも、候補の提示および作業者（ユーザ）による特定によって、記録文字列を一意に特定して特徴量の抽出を行うことができる。この点で、画像処理装置６００によれば、文字認識結果の確認および修正を行う作業者に対して、文字認識対象のフォーマットが予めわかっていない場合でも、かつ、表形式のフォーマットに限定されずに、確認および修正の作業を支援することができる。
また、画像処理装置６００が、記録文字列の候補の位置を示す確認画面をユーザに提示することで、作業者は、提示される位置を参照して比較的容易に記録文字列の候補の位置を把握できる。

【0083】

上述の各装置は内部に、コンピュータシステムを有している。そして、各装置に上述した各処理を行わせるためのプログラムは、それら装置のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを各装置のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

【0084】

また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【0085】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0086】

１ 画像処理装置
２ 画像読取装置
３ 記録装置
４ データベース
１１０ 通信部
１２０ 表示部
１３０ 操作入力部
１８０ 記憶部
１９０ 制御部
１９１ 取得部
１９２ 特徴量抽出部
１９３ 記録部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】