知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-04
(45)【発行日】2024-03-12
(54)【発明の名称】画像処理装置、システム、方法、及びプログラム
(51)【国際特許分類】
G06V 30/412 20220101AFI20240305BHJP
G06V 30/12 20220101ALI20240305BHJP
【ＦＩ】
G06V30/412
G06V30/12 Z
【請求項の数】
9
(21)【出願番号】P 2019232975
(22)【出願日】2019-12-24
(65)【公開番号】P2021101304
(43)【公開日】2021-07-08
【審査請求日】2022-11-09
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】下村 駿平
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開２０１９－００８７７５（ＪＰ，Ａ）
【文献】特開２０１８－０５５２５５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ ３０／４１２
Ｇ０６Ｖ ３０／１２
(57)【特許請求の範囲】
【請求項1】
文書帳票に含まれる記録文字列の特徴を示す個別第一特徴量と、前記文書帳票に含まれる非記録文字列の認識情報を示す個別第二特徴量と、を抽出する特徴量抽出生成部と、前記文書帳票を、前記個別第一特徴量と前記個別第二特徴量に基づいてグループ分けし、複数の前記個別第一特徴量を含むグループ第一特徴量と、複数の前記個別第二特徴量を含むグループ第二特徴量と、を生成するグループ分類部と、
新たな文書帳票の前記個別第二特徴量が予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する特定第一特徴量を特定し、前記特定第一特徴量が示す書式を前記新たな文書帳票の書式とする制御部と、
を備え、
前記制御部は、前記新たな文書帳票の前記個別第二特徴量が前記予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、前記予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する前記記録文字列の数が最も多い第一特徴量を、前記特定第一特徴量として特定する、
画像処理装置。
【請求項2】
前記グループ分類部は、前記文書帳票を、前記個別第二特徴量が示す前記非記録文字列の一致度、エンブレム画像の一致度、前記非記録文字列の座標範囲の一致度のうち少なくとも１つ、及び、前記個別第一特徴量が示す前記記録文字列の特徴の類似度に基づいて前記グループ分けを行う、請求項１に記載の画像処理装置。
【請求項3】
前記新たな文書帳票の前記個別第一特徴量が含まれる前記グループを特定し、前記新たな文書帳票の前記個別第二特徴量が含まれる前記グループを特定するグループ特定部をさらに備える、請求項１又は２に記載の画像処理装置。
【請求項4】
前記文書帳票と、前記文書帳票の前記個別第一特徴量と、を対応付けて記録し、前記文書帳票と、前記文書帳票の前記個別第二特徴量と、を対応付けて記録する記憶部をさらに備える、請求項１から３のいずれか１つに記載の画像処理装置。
【請求項5】
前記文書帳票と、前記文書帳票に含まれる前記記録文字列と、をデータベースから取得し、前記新たな文書帳票を画像読取装置から取得する取得部をさらに備える、請求項１から４のいずれか１つに記載の画像処理装置。
【請求項6】
前記文書帳票の前記個別第一特徴量は、前記記録文字列の属性情報及び前記記録文字列の座標情報の少なくともいずれかを含み、前記記録文字列の前記属性情報は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントの情報のうち少なくとも１つを含み、
前記記録文字列の座標情報は、前記記録文字列の先頭文字の座標及び終了文字の座標の少なくともいずれかを含む、
請求項１から５のいずれか１つに記載の画像処理装置。
【請求項7】
画像処理装置と画像読取装置と記録装置とデータベースとを備え、前記画像読取装置は、
光学的に文書帳票の画像データを取得し、前記画像データを前記画像処理装置へ出力する読取出力部を有し、
前記画像処理装置は、
前記文書帳票の前記画像データを文字認識し、前記文書帳票に含まれる記録文字列の特徴を示す個別第一特徴量と、前記文書帳票に含まれる非記録文字列の認識情報を示す個別第二特徴量と、を抽出する特徴量抽出部と、
前記文字認識した文字認識結果を前記記録装置に出力する処理出力部と、
前記文書帳票を、前記個別第一特徴量と前記個別第二特徴量に基づいてグループ分けし、複数の前記個別第一特徴量を含むグループ第一特徴量と、複数の前記個別第二特徴量を含むグループ第二特徴量と、を生成するグループ分類部と、
新たな文書帳票の前記個別第二特徴量が予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する特定第一特徴量を特定し、前記特定第一特徴量が示す書式を前記新たな文書帳票の書式とする制御部と、を有し、
前記制御部は、前記新たな文書帳票の前記個別第二特徴量が前記予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、前記予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する前記記録文字列の数が最も多い第一特徴量を、前記特定第一特徴量として特定し、
前記記録装置は、
前記画像処理装置から前記文字認識結果を取得する文字認識取得部と、
前記文字認識結果を前記データベースに記録する文字認識記録部と、を有し、
前記データベースは、
前記記録装置から取得した前記文字認識結果を記録する記録テーブルを有する、
システム。
【請求項8】
文書帳票に含まれる記録文字列の特徴を示す個別第一特徴量と、前記文書帳票に含まれる非記録文字列の認識情報を示す個別第二特徴量と、を抽出することと、前記文書帳票を、前記個別第一特徴量と前記個別第二特徴量に基づいてグループ分けし、複数の前記個別第一特徴量を含むグループ第一特徴量と、複数の前記個別第二特徴量を含むグループ第二特徴量と、を生成することと、
新たな文書帳票の前記個別第二特徴量が予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する特定第一特徴量を特定し、前記特定第一特徴量が示す書式を前記新たな文書帳票の書式とすることと、
前記新たな文書帳票の前記個別第二特徴量が前記予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、前記予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する前記記録文字列の数が最も多い第一特徴量を、前記特定第一特徴量として特定することと、
を備える方法。
【請求項9】
文書帳票に含まれる記録文字列の特徴を示す個別第一特徴量と、前記文書帳票に含まれる非記録文字列の認識情報を示す個別第二特徴量と、を抽出することと、前記文書帳票を、前記個別第一特徴量と前記個別第二特徴量に基づいてグループ分けし、複数の前記個別第一特徴量を含むグループ第一特徴量と、複数の前記個別第二特徴量を含むグループ第二特徴量と、を生成することと、
新たな文書帳票の前記個別第二特徴量が予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する特定第一特徴量を特定し、前記特定第一特徴量が示す書式を前記新たな文書帳票の書式とすることと、
前記新たな文書帳票の前記個別第二特徴量が前記予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、前記予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する前記記録文字列の数が最も多い第一特徴量を、前記特定第一特徴量として特定することと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、システム、方法、及びプログラムに関し、特に、記録対象ではない文字列が少ない文書帳票やエンブレム画像がない文書帳票であっても、文書帳票の書式を判別することが可能な画像処理装置、システム、方法、及びプログラムに関する。
【背景技術】
【0002】
スキャナ等を用いて取得した文書帳票の画像データをＯＣＲ（Optical Character Recognition）処理して文書を読み取る画像処理装置がある。特許文献１の画像処理装置は、ОＣＲ処理の結果を記録し、記録したОＣＲ処理の結果から、文書帳票の書式ごとに学習データを生成する。そして、特許文献１の画像処理装置は、記録対象ではない文字列（非記録文字列）の一致度、エンブレム画像の一致度、記録対象ではない文字列の座標範囲の一致度などを使用して、新たな文書帳票の書式を判別（判定）する。しかしながら、記録対象ではない文字列がない、あるいは少ない文書帳票やエンブレム画像がない文書帳票など（表形式の帳票）の書式を判別することが難しいという課題があった。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－８７７５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のとおり、記録対象ではない文字列がない、あるいは少ない文書帳票やエンブレム画像がない文書帳票などの書式を判別することが難しいという課題があった。
【0005】
本開示の目的は、上述した課題を解決する画像処理装置、システム、方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本開示に係る画像処理装置は、
文書帳票に含まれる記録文字列の特徴を示す個別第一特徴量と、前記文書帳票に含まれる非記録文字列の認識情報を示す個別第二特徴量と、を抽出する特徴量抽出生成部と、
前記文書帳票を、複数の前記個別第一特徴量を含むグループ第一特徴量と、複数の前記個別第二特徴量を含むグループ第二特徴量と、にグループ分けするグループ分類部と、
新たな文書帳票の前記個別第二特徴量が予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する特定第一特徴量を特定し、前記特定第一特徴量が示す書式を前記新たな文書帳票の書式とする制御部と、
を備える。
文書帳票に含まれる記録文字列の特徴を示す個別第一特徴量と、前記文書帳票に含まれる非記録文字列の認識情報を示す個別第二特徴量と、を抽出する特徴量抽出生成部と、
前記文書帳票を、複数の前記個別第一特徴量を含むグループ第一特徴量と、複数の前記個別第二特徴量を含むグループ第二特徴量と、にグループ分けするグループ分類部と、
新たな文書帳票の前記個別第二特徴量が予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する特定第一特徴量を特定し、前記特定第一特徴量が示す書式を前記新たな文書帳票の書式とする制御部と、
を備える。
【0007】
本開示に係るシステムは、
画像処理装置と画像読取装置と記録装置とデータベースとを備え、
前記画像読取装置は、
光学的に文書帳票の画像データを取得し、前記画像データを前記画像処理装置へ出力する読取出力部を有し、
前記画像処理装置は、
前記文書帳票の前記画像データを文字認識し、前記文書帳票に含まれる記録文字列の特徴を示す個別第一特徴量と、前記文書帳票に含まれる非記録文字列の認識情報を示す個別第二特徴量と、を抽出する特徴量抽出部と、
前記文字認識した文字認識結果を前記記録装置に出力する処理出力部と、
前記文書帳票を、複数の前記個別第一特徴量を含むグループ第一特徴量と、複数の前記個別第二特徴量を含むグループ第二特徴量と、にグループ分けするグループ分類部と、
新たな文書帳票の前記個別第二特徴量が予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する特定第一特徴量を特定し、前記特定第一特徴量が示す書式を前記新たな文書帳票の書式とする制御部と、を有し、
前記記録装置は、
前記画像処理装置から前記文字認識結果を取得する文字認識取得部と、
前記文字認識結果を前記データベースに記録する文字認識記録部と、を有し、
前記データベースは、
前記記録装置から取得した前記文字認識結果を記録する記録テーブルを有する。
画像処理装置と画像読取装置と記録装置とデータベースとを備え、
前記画像読取装置は、
光学的に文書帳票の画像データを取得し、前記画像データを前記画像処理装置へ出力する読取出力部を有し、
前記画像処理装置は、
前記文書帳票の前記画像データを文字認識し、前記文書帳票に含まれる記録文字列の特徴を示す個別第一特徴量と、前記文書帳票に含まれる非記録文字列の認識情報を示す個別第二特徴量と、を抽出する特徴量抽出部と、
前記文字認識した文字認識結果を前記記録装置に出力する処理出力部と、
前記文書帳票を、複数の前記個別第一特徴量を含むグループ第一特徴量と、複数の前記個別第二特徴量を含むグループ第二特徴量と、にグループ分けするグループ分類部と、
新たな文書帳票の前記個別第二特徴量が予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する特定第一特徴量を特定し、前記特定第一特徴量が示す書式を前記新たな文書帳票の書式とする制御部と、を有し、
前記記録装置は、
前記画像処理装置から前記文字認識結果を取得する文字認識取得部と、
前記文字認識結果を前記データベースに記録する文字認識記録部と、を有し、
前記データベースは、
前記記録装置から取得した前記文字認識結果を記録する記録テーブルを有する。
【0008】
本開示に係る方法は、
文書帳票に含まれる記録文字列の特徴を示す個別第一特徴量と、前記文書帳票に含まれる非記録文字列の認識情報を示す個別第二特徴量と、を抽出することと、
前記文書帳票を、複数の前記個別第一特徴量を含むグループ第一特徴量と、複数の前記個別第二特徴量を含むグループ第二特徴量と、にグループ分けすることと、
新たな文書帳票の前記個別第二特徴量が予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する特定第一特徴量を特定し、前記特定第一特徴量が示す書式を前記新たな文書帳票の書式とすることと、
を備える。
文書帳票に含まれる記録文字列の特徴を示す個別第一特徴量と、前記文書帳票に含まれる非記録文字列の認識情報を示す個別第二特徴量と、を抽出することと、
前記文書帳票を、複数の前記個別第一特徴量を含むグループ第一特徴量と、複数の前記個別第二特徴量を含むグループ第二特徴量と、にグループ分けすることと、
新たな文書帳票の前記個別第二特徴量が予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する特定第一特徴量を特定し、前記特定第一特徴量が示す書式を前記新たな文書帳票の書式とすることと、
を備える。
【0009】
本開示に係るプログラムは、
文書帳票に含まれる記録文字列の特徴を示す個別第一特徴量と、前記文書帳票に含まれる非記録文字列の認識情報を示す個別第二特徴量と、を抽出することと、
前記文書帳票を、複数の前記個別第一特徴量を含むグループ第一特徴量と、複数の前記個別第二特徴量を含むグループ第二特徴量と、にグループ分けすることと、
新たな文書帳票の前記個別第二特徴量が予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する特定第一特徴量を特定し、前記特定第一特徴量が示す書式を前記新たな文書帳票の書式とすることと、
をコンピュータに実行させる。
文書帳票に含まれる記録文字列の特徴を示す個別第一特徴量と、前記文書帳票に含まれる非記録文字列の認識情報を示す個別第二特徴量と、を抽出することと、
前記文書帳票を、複数の前記個別第一特徴量を含むグループ第一特徴量と、複数の前記個別第二特徴量を含むグループ第二特徴量と、にグループ分けすることと、
新たな文書帳票の前記個別第二特徴量が予め記録された前記グループ第二特徴量内のいずれにも一致しない場合、予め記録された前記グループ第一特徴量内から、前記新たな文書帳票の前記個別第一特徴量と一致する特定第一特徴量を特定し、前記特定第一特徴量が示す書式を前記新たな文書帳票の書式とすることと、
をコンピュータに実行させる。
【発明の効果】
【0010】
本開示によれば、記録対象ではない文字列が少ない文書帳票やエンブレム画像がない文書帳票であっても、文書帳票の書式を判別することが可能な画像処理装置、システム、方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【0011】
【図1】実施の形態に係るシステムを例示するブロック図である。
【図2】実施の形態に係る画像処理装置を例示するブロック図である。
【図3】実施の形態に係る画像処理装置を例示するブロック図である。
【図4】文書帳票を例示する模式図である。
【図5】データベースが記録する記録テーブルの概要を例示する図である。
【図6】実施の形態に係る画像処理装置の動作を例示するフローチャートである。
【図7A】実施の形態に係る画像処理装置の動作を例示するフローチャートである。
【図7B】実施の形態に係る画像処理装置の動作を例示するフローチャートである。
【発明を実施するための形態】
【0012】
以下、図面を参照して本発明の実施の形態について説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明を省略する。
【0013】
【0014】
図１に示すように、システム１０は、画像処理装置１、画像読取装置２、記録装置３、及びデータベース４を備える。画像処理装置１は、画像読取装置２と通信ケーブルにより接続される。画像処理装置１は、記録装置３と接続される。画像読取装置２は、記録装置３と接続される。データベース４は、画像処理装置１と記録装置３とに接続される。
【0015】
画像読取装置２は、光学的に文書帳票などの画像データを取得して画像処理装置１へ出力する読取出力部（図示せず）を有する。
【0016】
画像処理装置１は、文書帳票の画像データをＯＣＲ処理し文字認識する特徴量抽出生成部と、文字認識した文字認識結果を記録装置３に出力する処理出力部（図示せず）と、を有する。画像処理装置１の詳細については、後述する。
【0017】
記録装置３は、文字認識取得部（図示せず）と、文字認識記録部（図示せず）とを有する。文字認識取得部は、画像処理装置１から文字認識結果を取得する。文字認識記録部は、取得した文字認識結果をデータベース４に記録する。
【0018】
データベース４は、記録テーブル（図示せず）を有する。記録テーブルは、記録装置３から取得した文字認識結果を記録する。具体的には、データベース４は、記録装置３から過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうち、記録対象となる文字列を示す記録文字列の対応関係を記録する。記録文字列が示す文字列は、文書帳票に記載される文字列のうちデータベース４に記録、保存しておくべき重要な文字列である。すなわち、記録文字列とは、記録対象となる文字列を示す。なお、非記録文字列とは、表形式の書式帳票などの、記録対称とならない文字列を示す。
【0019】
システム１０を使用する作業者は、予め、記録装置３を用いて過去に登録された複数の文書帳票の画像データと、その画像データに含まれる文字列のうちの記録文字列と、をデータベース４の記録テーブルに登録する。記録装置３には、文書帳票の画像データと、その画像データに含まれる文字列の情報のうち記録対象となる文字列を示す記録文字列の情報と、の対応関係が、複数の文書帳票について十分に記録されているものとする。記録テーブルについては、後述する。
【0020】
＜画像処理装置＞
実施の形態に係る画像処理装置を説明する。
図２は、実施の形態に係る画像処理装置を例示するブロック図である。
図２は、実施の形態に係る画像処理装置の最小構成を例示するブロック図である。
図３は、実施の形態に係る画像処理装置を例示するブロック図である。
実施の形態に係る画像処理装置を説明する。
図２は、実施の形態に係る画像処理装置を例示するブロック図である。
図２は、実施の形態に係る画像処理装置の最小構成を例示するブロック図である。
図３は、実施の形態に係る画像処理装置を例示するブロック図である。
【0021】
図２に示すように、実施の形態に係る画像処理装置１は、制御部１０１、特徴量抽出生成部１００、読取対象特徴量生成部１０４、及びグループ分類部１０６を備える。特徴量抽出生成部１００は、特徴量抽出部１０３と、読取対象特徴量生成部１０４と、を有する。また、図３に示すように、実施の形態に係る画像処理装置１は、取得部１０２、記録部１０５、及びグループ特定部１０７をさらに備える。
【0022】
制御部１０１は、取得部１０２、特徴量抽出部１０３、読取対象特徴量生成部１０４、記録部１０５、グループ分類部１０６、及びグループ特定部１０７を制御する。
【0023】
取得部１０２は、文書帳票の画像データと、文書帳票に含まれる記録文字列と、をデータベース４から取得する。また、取得部１０２は、新たな文書帳票の画像データを画像読取装置２から取得する。
【0024】
特徴量抽出部１０３は、文書帳票に含まれる文字列の特徴を示す特徴量を抽出する。読取対象特徴量生成部１０４は、特徴量抽出部１０３が抽出した特徴量に基づいて、文書帳票に含まれる記録文字列の特徴を示す個別第一特徴量と、非記録文字列の特徴を示す個別第二特徴量と、を生成する。
【0025】
すなわち、特徴量抽出生成部１００は、文書帳票の画像データをＯＣＲ処理し、文書帳票の画像データの文字認識処理結果（ＯＣＲ処理結果）に基づいて、文書帳票に含まれる記録文字列の特徴を示す個別第一特徴量を抽出する。特徴量抽出生成部１００は、文書帳票に含まれる非記録文字列の認識情報を示す個別第二特徴量を抽出する。
【0026】
また、特徴量抽出生成部１００は、複数の文書帳票の画像データに対応する個別第一特徴量と、個別第二特徴量と、を文書帳票毎かつ文字列毎に抽出する。特徴量抽出生成部１００による個別第一特徴量と個別第二特徴量の具体的な抽出方法は、後述する。
【0027】
グループ分類部１０６は、文書帳票を、複数の個別第一特徴量を含むグループ第一特徴量と、複数の個別第二特徴量を含むグループ第二特徴量と、にグループ分けする。
【0028】
制御部１０１は、取得部１０２が取得した新たな文書帳票の個別第二特徴量が予め記録されたグループ第二特徴量内の複数の個別第二特徴量のいずれかに一致するかを確認する。制御部１０１は、確認した結果、いずれにも一致しない場合、予め記録されたグループ第一特徴量内の複数の個別第一特徴量から、新たな文書帳票の個別第一特徴量と一致する特定第一特徴量を特定する。制御部１０１は、特定した特定第一特徴量が示す書式を新たな文書帳票の書式とする。
【0029】
グループ特定部１０７は、新たな文書帳票の個別第一特徴量が含まれるグループを特定する。グループ特定部１０７は、新たな文書帳票の個別第二特徴量が含まれるグループを特定する。
【0030】
記録部１０５は、文書帳票と、文書帳票の個別第一特徴量と、を対応付けて記録し、文書帳票と、文書帳票の個別第二特徴量と、を対応付けて記録する。記録部１０５は、新たな文書帳票についても同様に、新たな文書帳票とその個別第一特徴量とを対応付けて記録し、新たな文書帳票とその個別第二特徴量とを対応付けて記録する。
【0031】
実施の形態に係る画像処理装置１は、新たな文書帳票の個別第二特徴量が予め記録されたグループ第二特徴量内のいずれにも一致しない場合、予め記録されたグループ第一特徴量内から、新たな文書帳票の個別第一特徴量と一致する特定第一特徴量を特定し、特定第一特徴量が示す書式を新たな文書帳票の書式とする。
【0032】
これにより、実施の形態によれば、記録対象ではない文字列が少ない文書帳票やエンブレム画像がない文書帳票であっても、文書帳票の書式を判別することが可能な画像処理装置、システム、方法、及びプログラムを提供することができる。
【0033】
【0034】
図４に示すように、文書帳票５には、その文書を作成した企業のマーク、作成日、作成担当者、文書内容が、その文書帳票５に特有のフォーマットで記載されている。文書帳票５に記載された文書内容は、例えば、文書帳票５が発注票であれば、１つまたは複数の発注した商品名やその発注個数などの情報の組である。記録文字列（記録対象である文字列）とは、例えば、図４に示す日付５１、発注先５２、商品名５３、数量５４、金額５５である。非記録文字列（記録対象ではない文字列）とは、例えば、図４に示す発注者の名称５０１、発注者のエンブレム画像５０２、文書帳票のタイトル５０３、挨拶文５０４である。
【0035】
図５に示すように、データベース４の記録テーブルには、異なる複数の文書帳票についての画像データと、各文書帳票に記載されている特定の記録文字列の対応関係（組み合わせ）が、その文書帳票ごとに予め多数記録されている。具体的には、データベース４の記録テーブルには、異なる複数の文書帳票のそれぞれについての特定の記録文字列情報が複数枚分記録されている。データベース４の記録テーブルには、文書帳票を識別する帳票ＩＤと、文書帳票の画像データと、その文書帳票に記載されている文字列のうち記録すべき特定の記録文字列と、が対応付けられて記録されている。１つの文書帳票に対応する記録文字列は、複数個あってもよい。このように、記録テーブルには、文書帳票に対応する帳票ＩＤと、文書帳票に対応する画像データと、文書帳票に対応する１つ以上の記録文字列と、が、文書帳票ごとに記録されている。
【0036】
＜画像処理装置の動作＞
実施の形態に係る画像処理装置の動作を説明する。
図６は、実施の形態に係る画像処理装置の動作を例示するフローチャートである。
図７Ａは、実施の形態に係る画像処理装置の動作を例示するフローチャートである。
図７Ｂは、実施の形態に係る画像処理装置の動作を例示するフローチャートである。
実施の形態に係る画像処理装置の動作を説明する。
図６は、実施の形態に係る画像処理装置の動作を例示するフローチャートである。
図７Ａは、実施の形態に係る画像処理装置の動作を例示するフローチャートである。
図７Ｂは、実施の形態に係る画像処理装置の動作を例示するフローチャートである。
【0037】
【0038】
作業者が処理開始を指示すると、図６に示すように、画像処理装置１の取得部１０２は、データベース４から文書帳票５の画像データと、その画像データに対応する記録文字列の情報と、を全て読み込んだかを判定する（ステップＳ１０１）。
【0039】
ステップＳ１０１においてＮＯの場合、取得部１０２は、データベース４から文書帳票５の画像データと、その画像データに対応する記録文字列の情報と、を読み取る（ステップＳ１０２）。取得部１０２は、画像データと記録文字列とを特徴量抽出部１０３へ出力する。
【0040】
特徴量抽出部１０３は、画像データをＯＣＲ処理して画像データ中の全ての文字列と、当該文字列の範囲を示す画像データ内の座標を検出する（ステップＳ１０３）。なお、文字列とは、複数の文字によって構成される文字の纏まりのことである。特徴量抽出部１０３は、他の文字との間隔などによって、その１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列に含まれる文字には、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。
【0041】
特徴量抽出部１０３は、ＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列と、を比較する。特徴量抽出部１０３は、ＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ１０４）。
【0042】
文字の属性は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報である。文字の属性を記録文字列の属性情報と称し、文字列の範囲の座標を記録文字列の座標情報と称することもある。
【0043】
特徴量抽出部１０３は、それら特定した情報を含む特徴量を１つの文書帳票５について生成する（ステップＳ１０５）。特徴量は、特徴量抽出部１０３によって、文書帳票５における記録文字列ごとに生成される。すなわち、特徴量抽出部１０３は、文書帳票毎かつ記録文字列毎に特徴量を生成する。この文書帳票毎かつ記録文字列毎の特徴量を、個別第一特徴量と称する。個別第一特徴量は、文字の属性、文字列の範囲を示す座標の何れか一方または両方を含んでいてもよい。
【0044】
特徴量抽出部１０３は、個々の文書帳票５における１つ又は複数の記録文字列それぞれの個別第一特徴量を、文書帳票５の識別子（帳票ＩＤ）および記録文字列の識別子に対応付けてデータベース４に記録する（ステップＳ１０６）。
【0045】
記録文字列の識別子として、例えば、その記録文字列の位置を示す座標値を用いることができる。特徴量抽出部１０３は、図４に示す文書帳票５に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す各個別第一特徴量を、文書帳票５の識別子および記録文字列の識別子に対応付けてデータベース４に記録する。
【0046】
また、特徴量抽出部１０３は、記録文字列に含まれる文字情報と一致しない画像データ中の非記録文字列と、その非記録文字列に含まれる文字の属性と、その範囲の座標と、を特定する（ステップＳ１０７）。
【0047】
特徴量抽出部１０３は、それら特定した情報を含む特徴量を１つの文書帳票５について生成する（ステップＳ１０８）。特徴量は、特徴量抽出部１０３によって、文書帳票５における非記録文字列ごとに生成される。すなわち、特徴量抽出部１０３は、文書帳票毎かつ非記録文字列毎に特徴量を生成する。この文書帳票毎かつ非記録文字列毎の特徴量を、個別第二特徴量と称する。個別第二特徴量は、文字の属性、文字列の範囲を示す座標の何れか一方または両方を含んでいてもよい。
【0048】
特徴量抽出部１０３は、個々の文書帳票５における１つ又は複数の非記録文字列それぞれの個別第二特徴量を、文書帳票５の識別子および非記録文字列の識別子に対応付けてデータベース４に記録する（ステップＳ１０９）。
【0049】
非記録文字列の識別子として、例えば、その非記録文字列の位置を示す座標値を用いることができる。特徴量抽出部１０３は、図４に示す文書帳票５に含まれる非記録文字列である発注者の名称５０１、発注者のエンブレム画像５０２、文書帳票のタイトル５０３、挨拶文５０４などを示す各個別第二特徴量を、文書帳票５の識別子および非記録文字列の識別子に対応付けてデータベース４に記録する。
【0050】
データベース４には、異なる複数の文書帳票５の画像データと、その画像データに対応する記録文字列の情報と、が記録されている。画像処理装置１の取得部１０２は、全ての文書帳票５についての画像データと記録文字列の情報を読み込むまでステップＳ１０１からステップＳ１０９の処理を繰り返す。
【0051】
ステップＳ１０１において、取得部１０２が文書帳票５についての画像データと記録文字列の情報を全て読み込んだと判定した場合（ステップＳ１０１：ＹＥＳ）、グループ分類部１０６は、文書帳票５の画像データに含まれる個別第二特徴量と個別第一特徴量に基づいて、文書帳票５をグループ分けする（ステップＳ１１２）。
【0052】
グループ分類部１０６は、例えば、各文書帳票５を、個別第二特徴量が示す非記録文字列の一致度や、エンブレム画像の一致度、非記録文字列の座標範囲の一致度などに基づいてグループ分けする。また、グループ分類部１０６は、個別第一特徴量が示す記録文字列の特徴（文字の属性、文字数、文字高さ、フォント）の類似度などに基づいて、グループ分けをする。このように、グループ分類部１０６は、個別第二特徴量だけでなく、個別第一特徴量にも基づいて、文書帳票５をグループ分けする。グループ分類部１０６は、このグループ分けの処理において文書帳票５のグループ識別子を決定する。
【0053】
グループ分類部１０６は、全ての文書帳票５についてグループ分けが終了したかを判定する（ステップＳ１１３）。グループ分類部１０６は、全ての文書帳票５のグループ分けが完了していない場合には（ステップＳ１１３：ＮО）、ステップＳ１１２の処理を繰り返す。
【0054】
グループ分類部１０６は、全ての文書帳票５のグループ分けが完了した場合には（ステップＳ１１３：ＹＥＳ）、文書帳票５の識別子とその文書帳票５に付与されたグループ識別子とを対応付けてデータベース４の記録テーブルに記録する（ステップＳ１１４）。
【0055】
読取対象特徴量生成部１０４は、あるグループに属する１つまたは複数の文書帳票５の各個別第一特徴量および各個別第二特徴量をデータベース４から読み取る。読取対象特徴量生成部１０４は、グループに属する文書帳票５の各個別第一特徴量および各個別第二特徴量に対応する各グループ第一特徴量、各グループ第二特徴量を生成する（ステップＳ１１５）。
【0056】
読取対象特徴量生成部１０４は、グループそれぞれについて各グループ第一特徴量、各グループ第二特徴量を算出し、グループの識別子に対応付けてデータベース４に記録する（ステップＳ１１６）。
【0057】
次に、図７Ａに示すように、作業者は、新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより、画像読取装置２は、新たな文書帳票の画像データを生成して画像処理装置１へ出力する。画像処理装置１の取得部１０２は、新たな文書帳票の画像データを画像読取装置２から取得する（ステップＳ２０１）。
【0058】
取得部１０２は、新たな文書帳票の画像データを特徴量抽出部１０３へ出力する。特徴量抽出部１０３は、新たな文書帳票の画像データをＯＣＲ処理して、文字列と、文字列に含まれる文字の特徴と、その文字列の範囲の画像データ中の座標と、を検出する（ステップＳ２０２）。
【0059】
特徴量抽出部１０３は、それら検出した情報を含む第三特徴量を、新たな文書帳票の画像データ中の文字列ごとに生成する（ステップＳ２０３）。新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報を、第三特徴量と称する。
【0060】
グループ特定部１０７は、データベース４から、ある複数のグループ第二特徴量のうち、新たな文書帳票のグループを特定するために使用するグループ第二特徴量を読み取る（ステップＳ２０３１）。当該グループ第二特徴量は、例えば、文書帳票の画像データに表示される発注者のエンブレム画像５０２（図４参照）に対応する個別第二特徴量であってよい。
【0061】
グループ特定部１０７は、グループ第二特徴量に示す情報が、ステップＳ２０１で取得した新たな文書帳票の画像データから特定できるかどうかを判定する（ステップＳ２０３２）。グループ特定部１０７は、全てのグループについてのグループ第二特徴量を用いて同様の処理を行う。
【0062】
グループ特定部１０７は、データベース４から読み取ったグループ第二特徴量に一致する情報が、新たに読み込んだ文書帳票の画像データから特定できた場合（ステップＳ２０３２：ＹＥＳ）、そのグループ第二特徴量を有するグループを、新たに読み込んだ文書帳票の画像データのグループと特定する（ステップＳ２０３３）。特定したグループの第二特徴量が示す書式を新たな文書帳票の書式とする。
【0063】
しかしながら、非記録文字列の情報から作成される第二特徴量のグループを示すグループ第二特徴量については、表形式の書式帳票などの非記録文字列がない、あるいは、少ない場合に、正しくグループを判定することができない。
【0064】
そこで、実施の形態に係る画像処理装置１は、全てのグループについてのグループ第二特徴量について、一致する情報が新たに読み込んだ文書帳票から特定できなかった場合（ステップＳ２０３２：ＮО）、グループ第一特徴量を用いてグループの特定を行う。
【0065】
具体的には、第二特徴量と同様に、あるグループの全ての記録文字列に関する第一特徴量の示す情報が、ステップＳ２０１で取得した新たな文書帳票の画像データから特定できるかどうかを判定する（ステップＳ２０３４）。
【0066】
記録文字列の全ての種類でグループ第一特徴量と第三特徴量が一致する場合に（ステップＳ２０３４：ＹＥＳ）、同一のグループとして判定する。そして、そのグループ第一特徴量を有するグループを、新たに読み込んだ文書帳票の画像データのグループと特定する（ステップＳ２０４）。
【0067】
一致する条件として、グループ第一特徴量のｙ座標（縦方向）の値は含まないようにする。すなわち、一致する条件として、ｙ座標（縦方向）の値は比較せず、ｘ座標（横方向）の値だけを比較する。これにより、表形式の文書帳票のように、ｙ方向に表の長さが変化する場合でも、表の長さに影響されることなく判定することができる。
【0068】
図４を用いて判定方法を説明すると、日付５１から金額５５までの記録文字列の全てと一致するグループ第一特徴量を、同一のグループとして判定する。そして、商品名５３のように複数の候補がある場合、１つでも一致する候補があれば良いとする。
【0069】
また、文書帳票の画像データと一致するグループ第一特徴量が、複数個存在する場合、一致する文字列が多いグループを、同一のグループとして判定する。
【0070】
すなわち、画像処理装置１は、新たな文書帳票の個別第二特徴量が予め記録されたグループ第二特徴量内のいずれにも一致しない場合、予め記録されたグループ第一特徴量内から、新たな文書帳票の個別第一特徴量と一致する記録文字列の数が最も多い第一特徴量を、特定第一特徴量として特定してもよい。
【0071】
ステップＳ２０４の後、図７Ｂに示すように、グループ特定部１０７は、データベース４からそのグループについての１つまたは複数のグループ第一特徴量を読み出す（ステップＳ２０５）。グループ特定部１０７は、記録部１０５へ第三特徴量と１つまたは複数のグループ第一特徴量を出力する。グループ第一特徴量は、そのグループに属する文書帳票内の１つまたは複数の記録文字列を特定するための特徴量である。
【0072】
記録部１０５は、画像データ中の１つまたは複数の文字列についての第三特徴量と、１つまたは複数のグループ第一特徴量とを取得する。記録部１０５は各グループ第一特徴量に含まれる文字列の範囲を示す座標を用いて、各グループ第一特徴量が示す当該座標に対応する座標を有する第三特徴量が全て存在するかを判定する（ステップＳ２０６）。
【0073】
各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在する場合には、記録文字列に対応する文書帳票内の全ての記載事項に文字の記載が存在する。一方、各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在しない場合には、文書帳票内の何れかの記載事項に文字の記載が無い状態である。
【0074】
ステップＳ２０６でＹＥＳの場合、記録部１０５は、グループ第一特徴量に含まれる文字属性と、座標に基づいて特定された対応する第三特徴量に含まれる文字属性がそれぞれ一致するかどうかを判定する（ステップＳ２０７）。
【0075】
記録部１０５は、ステップＳ２０７の判定結果がＹＥＳとなり文字属性が一致する場合、現在処理している画像データにおいて１つまたは複数の第三特徴量が示す座標に基づく記録文字列の範囲に矩形枠を表示した確認画面を生成する。記録部１０５は、その確認画面をモニタに出力する（ステップＳ２０８）。
【0076】
作業者は、この確認画面に表示された矩形領域を確認して、画像処理装置１が記録しようとする記録文字列を確認することができる。これにより、作業者は、記録文字列に不足が無いかを確認することができる。確認画面にはＯＫまたはＮＧの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちＯＫのボタンを選択することにより、作業者は、記録文字列としての選択に不足がないことを指示することができる。
【0077】
他方、ボタンのアイコン画像のうちＮＧのボタンを選択することにより、作業者は、記録文字列としての選択に不足があることを指示することができる。記録部１０５は、作業者のボタンのアイコン画像の押下に応じて、記録文字列の選択に不足が無いかを判定する（ステップＳ２０９）。
【0078】
記録部１０５は、不足が無い場合には、第三特徴量に含まれる文字列を、文書帳票の識別情報に対応付けて記録テーブルに記録する（ステップＳ２１０）。
【0079】
ステップＳ２０６でＮＯの場合、ステップＳ２０７でＮＯの場合、ステップＳ２０９でＮＯの場合、記録部１０５は、画像データ中の対応する座標の第三特徴量が存在しなかったグループ第一特徴量の座標の範囲に入力欄を設けた帳票画像の入力用画像データを生成してモニタに出力する（ステップＳ２１１）。
【0080】
作業者は、この入力用画像データを見ながら、画像処理装置１のキーボード等の入力装置を操作して、モニタに表示されている入力用画像データ内の入力欄に記録文字列を入力する。当該入力用画像データには保存ボタン（記録ボタン）が表示されており、保存ボタンの押下操作をすると、記録部１０５は、既に文書帳票について取得した第三特徴量の他、新たに入力用画像データの入力欄に入力された文字列を含む第三特徴量を生成する（ステップＳ２１２）。記録部１０５は、帳票画像データの識別子と入力欄に入力された文字列とを対応付けてデータベース４に記録する。
【0081】
画像処理装置１は、図６で示した処理フローを再度実施することにより、グループ第一特徴量およびグループ第二特徴量を更新し、記録できる文字列の範囲を拡張する。これにより、次に同じ文書帳票を処理したときには、自動的に文字列を記録でき、作業者が文字列を入力する手間を省くことができる。記録部１０５は、全ての第三特徴量それぞれに含まれる文字列を、文書帳票の記録テーブルに記録する（ステップＳ２１３）。
【0082】
画像処理装置１は、ステップＳ２０３１からステップＳ２０４に示したように、グループ分類部１０６に、グループ第一特徴量を用いた判定を加えることで、第二特徴量（非記録文字列）がない、あるいは、少ない表形式の文書帳票のような場合でも、文書帳票の書式を正しく判別することが可能になる。
【0083】
また、画像処理装置１は、予め作業者が記録しておいた複数の異なる文書帳票の画像データと記録文字列によって、新たに入力した文書帳票の種別によらずにその文書帳票の画像データにおける記録文字列を記録することができる。これにより、画像処理装置１は、文書帳票における記録文字列の記録の作業者の労力を軽減することができる。
【0084】
＜特徴＞
以下に、実施の形態の特徴を記載する。
画像処理装置１は、文書帳票の書式の特定（判別）において、非記録文字列がない、あるいは、少ない表形式の文書帳票のような場合でも、記録文字列の属性（数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなど）、記録文字列の座標（文字列に含まれる先頭文字の座標、終了文字の座標など）に基づいて文書帳票毎に生成されたグループ個別第一特徴量を利用することで、文書帳票の書式を判別する。
以下に、実施の形態の特徴を記載する。
画像処理装置１は、文書帳票の書式の特定（判別）において、非記録文字列がない、あるいは、少ない表形式の文書帳票のような場合でも、記録文字列の属性（数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなど）、記録文字列の座標（文字列に含まれる先頭文字の座標、終了文字の座標など）に基づいて文書帳票毎に生成されたグループ個別第一特徴量を利用することで、文書帳票の書式を判別する。
【0085】
尚、上記の実施の形態では、本発明をハードウェアの構成として説明したが、本発明はこれに限定されるものではない。本発明は、各構成要素の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
【0086】
上記の実施の形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実態のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（具体的にはフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（具体的には光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（具体的には、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ(Erasable PROM)）、フラッシュＲＯＭ、ＲＡＭ(Random Access Memory)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0087】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【0088】
１…画像処理装置
２…画像読取装置
３…記録装置
４…データベース
５…文書帳票
１０…システム
１００…特徴量抽出生成部
１０１…制御部
１０２…取得部
１０３…特徴量抽出部
１０４…読取対象特徴量生成部
１０５…記録部
１０６…グループ分類部
１０７…グループ特定部
２…画像読取装置
３…記録装置
４…データベース
５…文書帳票
１０…システム
１００…特徴量抽出生成部
１０１…制御部
１０２…取得部
１０３…特徴量抽出部
１０４…読取対象特徴量生成部
１０５…記録部
１０６…グループ分類部
１０７…グループ特定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】