特許 7445364 画像処理プログラム、画像処理方法、及び画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-28

(45)【発行日】2024-03-07

(54)【発明の名称】画像処理プログラム、画像処理方法、及び画像処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240229BHJP

【ＦＩ】

G06T7/00 590

【請求項の数】 7

(21)【出願番号】P 2019125556

(22)【出願日】2019-07-04

(65)【公開番号】P2021012487

(43)【公開日】2021-02-04

【審査請求日】2021-09-09

【審判番号】

【審判請求日】2023-06-22

(73)【特許権者】

【識別番号】000237639

【氏名又は名称】富士通フロンテック株式会社

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(72)【発明者】

【氏名】長谷川 将平

(72)【発明者】

【氏名】馬路 武志

(72)【発明者】

【氏名】渡辺 和人

【合議体】

【審判長】畑中 高行

【審判官】五十嵐 努

【審判官】板垣 有紀

(56)【参考文献】

【文献】特開２０１２－４８５２４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T7/00

G06T1/00

(57)【特許請求の範囲】

【請求項1】

帳票によるサービスを利用する収納機関によって作成された帳票をスキャンすることで生じた画像における届出印の項目名を示すキーワードの領域を検出する第１の検出処理と、前記帳票の画像における印影の領域を検出する第２の検出処理とを実行し、
前記第１の検出処理及び前記第２の検出処理の実行結果に基づいて、前記帳票の画像における届出印の印影の領域を特定する
処理をコンピュータに実行させる画像処理プログラムであって
前記特定する処理は、前記第１の検出処理及び前記第２の検出処理の実行により前記届出印を意味する項目名を示すキーワードの領域が複数検出され且つ前記印影の領域が複数検出された場合に、前記複数のキーワードの領域と前記複数の印影の領域との位置関係に基づいて、前記届出印の、照合される印影の領域を特定することを特徴とする画像処理プログラム。

【請求項2】

前記特定する処理は、所定条件を満たす前記印影の領域を、前記届出印の印影の領域として特定する
ことを特徴とする請求項１記載の画像処理プログラム。

【請求項3】

前記所定条件は、前記キーワードの領域の右側又は下側に存在し且つ前記キーワードの領域との距離が所定値以下であるという条件である
ことを特徴とする請求項２記載の画像処理プログラム。

【請求項4】

前記所定条件は、前記キーワードの領域の右側又は下側に存在し且つ前記キーワードの領域との距離が所定値以下であり且つ前記印影の領域サイズが所定サイズより大きいという条件である
ことを特徴とする請求項２記載の画像処理プログラム。

【請求項5】

前記特定する処理は、前記第１の検出処理及び前記第２の検出処理の実行により前記印影の領域が１つだけ検出された場合に、前記印影の領域を、前記届出印の印影の領域として特定する
ことを特徴とする請求項１記載の画像処理プログラム。

【請求項6】

帳票によるサービスを利用する収納機関によって作成された帳票をスキャンすることで生じた画像における届出印の項目名を示すキーワードの領域を検出する第１の検出処理と、前記帳票の画像における印影の領域を検出する第２の検出処理とを実行し、
前記第１の検出処理及び前記第２の検出処理の実行結果に基づいて、前記帳票の画像における届出印の印影の領域を特定する
画像処理方法であって
前記特定は、前記第１の検出処理及び前記第２の検出処理の実行により前記届出印を意味する項目名を示すキーワードの領域が複数検出され且つ前記印影の領域が複数検出された場合に、前記複数のキーワードの領域と前記複数の印影の領域との位置関係に基づいて、前記届出印の、照合される印影の領域を特定することを特徴とする画像処理方法。

【請求項7】

帳票によるサービスを利用する収納機関によって作成された帳票をスキャンすることで生じた画像における届出印の項目名を示すキーワードの領域を検出する第１の検出処理を実行する届出印項目名検出部と、
前記帳票の画像における印影の領域を検出する第２の検出処理を実行する印影検出部と、
前記第１の検出処理及び前記第２の検出処理の実行結果に基づいて、前記帳票の画像における届出印の印影の領域を特定する届出印印影特定部と
を備える画像処理装置であって
前記特定は、前記第１の検出処理及び前記第２の検出処理の実行により前記届出印を意味する項目名を示すキーワードの領域が複数検出され且つ前記印影の領域が複数検出された場合に、前記複数のキーワードの領域と前記複数の印影の領域との位置関係に基づいて、前記届出印の、照合される印影の領域を特定することを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理プログラム、画像処理方法、及び画像処理装置に関する。

【背景技術】

【0002】

銀行等で使用される帳票処理システムの１つとして、届出印が押印された帳票を扱うシステムが知られている。この種の帳票処理システムは、画像処理装置を備える。画像処理装置は、光学的に読み取られた帳票の画像を取得し、取得した帳票の画像から届出印の印影を抽出し、抽出した届出印の印影と予め登録された届出印の印影とを電子的に照合する（所謂印鑑照合）等の処理を行う。

【0003】

帳票の画像から届出印の印影を抽出する方法として、次のような方法が知られている。例えば、予め定義された届出印欄の位置に基づいて届出印の印影を抽出する方法（方法１）が知られている（例えば特許文献１参照）。また、例えば、届出印の項目名を示す文字列（例えば「お届け印」）を利用して帳票の画像における届出印欄の位置を検出し、検出した届出印欄の位置に基づいて届出印の印影を抽出する方法（方法２）も知られている。また、例えば、帳票の画像から印影を検出し、検出した印影の中から、予め登録されている除外印影（例えば検印の印影）を除外することによって、顧客印影を抽出する方法も知られている（例えば特許文献２参照）。

【0004】

また、方法２のような届出印の項目名を示す文字列を利用することなく帳票の画像から届出印の印影を抽出する方法として、例えば、ディープラーニング（深層学習）等の物体検出ＡＩ（artificial intelligence）技術や本願の出願人による特願２０１８‐０９１８７６号の特許出願に記載の日付印領域特定技術を利用して、届出印の印影を抽出する方法（方法３）も考えられる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１１‐１９７７８７号公報

【文献】特開２０１３‐１６７９２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、方法１では、予め届出印欄の位置を定義しておく必要があることから、届出印欄の位置が異なる多種の帳票を扱う場合は、その定義に非常に多くの労力を要することになる。例えば、帳票の１つである口座振替依頼書は、収納機関（支払先）により作成されるものであるから、レイアウトが異なる口座振替依頼書（即ち届出印欄の位置が異なる口座振替依頼書）が多種存在し、届出印欄の位置を個別に定義しておくことは容易ではない。

【0007】

方法２では、届出印欄のデザイン性が高い場合に、届出印の項目名を示す文字列を利用して届出印欄の位置を検出することができない場合がある。一般に、届出印欄は、口座番号欄や金額欄等とは異なり、デザイン性が高い傾向にある。図１３は、デザイン性が高い届出印欄を例示する図である。図１３に例示する届出印欄は、届出印の項目名を示す文字列が白抜きで表された届出印欄である。このような届出印欄の場合は、届出印の項目名を示す文字列を利用して届出印欄の位置を検出することができない場合がある。

【0008】

方法３では、届出印の印影の他に訂正印や検印や見本印等の印影が存在する場合に、一意に届出印の印影を特定することができない。図１４は、届出印以外の印影を例示する図である。図１４の（ａ）に例示する印影は検印の印影であり、図１４の（ｂ）に例示する印影は見本印の印影である。このように届出印以外の印影も存在する場合は、届出印の印影を一意に特定することができない。

【0009】

本発明は、上記実状に鑑み、届出印欄の位置の事前定義を不要にし、帳票の画像から届出印の印影を抽出することが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0010】

プログラムの一観点は、画像処理プログラムであって、帳票によるサービスを利用する収納機関によって作成された帳票をスキャンすることで生じた画像における届出印の項目名を示すキーワードの領域を検出する第１の検出処理と、前記帳票の画像における印影の領域を検出する第２の検出処理とを実行し、前記第１の検出処理及び前記第２の検出処理の実行結果に基づいて、前記帳票の画像における届出印の印影の領域を特定する処理をコンピュータに実行させることを特徴とし、前記特定する処理は、前記第１の検出処理及び前記第２の検出処理の実行により前記届出印を意味する項目名を示すキーワードの領域が複数検出され且つ前記印影の領域が複数検出された場合に、前記複数のキーワードの領域と前記複数の印影の領域との位置関係に基づいて、前記届出印の、照合される印影の領域を特定することを特徴とする。

【0011】

方法の一観点は、画像処理方法であって、帳票によるサービスを利用する収納機関によって作成された帳票をスキャンすることで生じた画像における届出印の項目名を示すキーワードの領域を検出する第１の検出処理と、前記帳票の画像における印影の領域を検出する第２の検出処理とを実行し、前記第１の検出処理及び前記第２の検出処理の実行結果に基づいて、前記帳票の画像における届出印の印影の領域を特定することを特徴とし、前記特定は、前記第１の検出処理及び前記第２の検出処理の実行により前記届出印を意味する項目名を示すキーワードの領域が複数検出され且つ前記印影の領域が複数検出された場合に、前記複数のキーワードの領域と前記複数の印影の領域との位置関係に基づいて、前記届出印の、照合される印影の領域を特定することを特徴とする。

【0012】

装置の一観点は、画像処理装置であって、帳票によるサービスを利用する収納機関によって作成された帳票をスキャンすることで生じた画像における届出印の項目名を示すキーワードの領域を検出する第１の検出処理を実行する届出印項目名検出部と、前記帳票の画像における印影の領域を検出する第２の検出処理を実行する印影検出部と、前記第１の検出処理及び前記第２の検出処理の実行結果に基づいて、前記帳票の画像における届出印の印影の領域を特定する届出印印影特定部とを備えることを特徴とし、前記特定は、前記第１の検出処理及び前記第２の検出処理の実行により前記届出印を意味する項目名を示すキーワードの領域が複数検出され且つ前記印影の領域が複数検出された場合に、前記複数のキーワードの領域と前記複数の印影の領域との位置関係に基づいて、前記届出印の、照合される印影の領域を特定することを特徴とする。

【発明の効果】

【0013】

本発明によれば、届出印欄の位置の事前定義を不要にし、帳票の画像から届出印の印影を抽出することが可能となる。

【図面の簡単な説明】

【0014】

【図1】帳票処理システムの構成を例示する図である。

【図2】一実施の形態に係る画像処理装置の機能的構成を例示する図である。

【図3】一実施の形態に係る画像処理を例示するフローチャートである。

【図4】一実施の形態に係る画像処理の具体例を模式的に示す図である。

【図5】Ｓ５の処理の詳細を例示するフローチャートである。

【図6】Ｓ５の処理の具体例を模式的に示す図である。

【図7】Ｓ５１の処理の詳細を例示するフローチャートである。

【図8】Ｓ５１の処理の具体例を模式的に示す図（その１）である。

【図9】Ｓ５１の処理の具体例を模式的に示す図（その２）である。

【図10】Ｓ５３の処理の詳細を例示するフローチャートである。

【図11】Ｓ５３の処理の具体例を模式的に示す図である。

【図12】コンピュータのハードウェア構成を例示する図である。

【図13】デザイン性が高い届出印欄を例示する図である。

【図14】届出印以外の印影を例示する図である。

【発明を実施するための形態】

【0015】

以下、図面を参照しながら本発明の実施の形態について説明する。
図１は、帳票処理システムの構成を例示する図である。

【0016】

図１に例示する帳票処理システム１は、届出印が押印された帳票を扱うシステムである。帳票処理システム１は、画像処理装置２と、スキャナ装置３と、入力装置４と、表示装置５と、サーバ装置６とを含む。

【0017】

画像処理装置２は、帳票の画像から届出印の印影やその他必要な情報を抽出し、例えば、抽出した届出印の印影と予め登録された届出印の印影との電子的照合を行う。画像処理装置２は、例えば、スキャナ装置３から帳票の画像を取得する。スキャナ装置３は、帳票等の紙媒体をデジタルデータ（画像）に変換する装置である。

【0018】

入力装置４は、画像処理装置２に各種情報を入力する装置である。入力装置４は、例えば、キーボード装置である。表示装置５は、画像処理装置２が行う処理の内容や処理の結果、入力装置４により入力された情報、帳票の画像等の、各種情報を表示する装置である。表示装置５は、例えば、液晶ディスプレイである。

【0019】

サーバ装置６は、画像処理装置２が画像内の文字を認識する際に参照する文字認識辞書と、画像処理装置２が文字の認識結果からキーワードを抽出する際に参照するキーワードテーブルとを保持する装置である。サーバ装置６は、ネットワーク７を介して画像処理装置２と通信可能に接続される。

【0020】

図２は、一実施の形態に係る画像処理装置の機能的構成を例示する図である。
図２に例示するように、画像処理装置２は、スキャナ制御部２１０と、文字認識処理部２２０と、文字列抽出部２３０と、印影検出部２４０と、届出印印影特定部２５０と、表示制御部２６０と、主制御部２７０とを含む。また、画像処理装置２は、図示していない記憶部を含む。

【0021】

スキャナ制御部２１０は、スキャナ装置３から帳票の画像を取得する処理を制御する。
文字認識処理部２２０は、サーバ装置６が保持する文字認識辞書６１０を参照して、帳票の画像に含まれる文字を認識する。

【0022】

文字列抽出部２３０は、サーバ装置６が保持するキーワードテーブル６２０を参照して、文字認識処理部２２０による文字の認識結果から、項目名を示すキーワード（文字列）を抽出する。キーワードテーブル６２０には、予め、項目名を示すキーワードとなり得る文字列が登録されている。例えば、口座番号の項目名を示すキーワードとなり得る文字列として「口座番号」、「口座」、「口座振込番号」等が登録され、届出印の項目名を示すキーワードとなり得る文字列として「届出印」、「お届け印」、「登録印」等が登録されている。

【0023】

また、文字列抽出部２３０は、文字認識処理部２２０による文字の認識結果から、項目名を示すキーワード（例えば「口座番号」）に対する内容の文字列（例えば「１２３４５６７」）を抽出する。

【0024】

また、文字列抽出部２３０は、届出印項目名検出部２３１を含む。
届出印項目名検出部２３１は、帳票の画像における届出印の項目名を示すキーワードの領域（例えばキーワードを含む矩形領域）を検出する第１の検出処理を実行する。第１の検出処理は、例えば、既存の技術を利用して行われる。

【0025】

印影検出部２４０は、帳票の画像における印影の領域（例えば印影を含む矩形領域）を検出する第２の検出処理を実行する。第２の検出処理は、例えば、ディープラーニング等の物体検出ＡＩ技術や本願の出願人による特願２０１８‐０９１８７６号の特許出願に記載の日付印領域特定技術を利用して行われる。

【0026】

届出印印影特定部２５０は、届出印項目名検出部２３１による第１の検出処理及び印影検出部２４０による第２の検出処理の実行結果に基づいて、帳票の画像における届出印の印影の領域を特定する。例えば、届出印項目名検出部２３１による第１の検出処理及び印影検出部２４０による第２の検出処理の実行により、届出印の項目名を示すキーワードの領域が１つ以上検出され且つ印影の領域が１つ以上検出された場合は、届出印の項目名を示すキーワードの領域と印影の領域との位置関係に基づいて、届出印の印影の領域を特定する。この場合の特定では、例えば、所定条件を満たす印影の領域を、届出印の印影の領域として特定する。所定条件は、例えば、届出印の項目名を示すキーワードの領域の右側又は下側に存在し且つキーワードの領域との距離が所定値以下であるという条件や、届出印の項目名を示すキーワードの領域の右側又は下側に存在し且つキーワードの領域との距離が所定値以下であり且つ領域サイズが所定サイズより大きいという条件である。また、例えば、届出印項目名検出部２３１による第１の検出処理及び印影検出部２４０による第２の検出処理の実行により、印影の領域が１つだけ検出された場合は、その印影の領域を、届出印の印影の領域として特定する。

【0027】

表示制御部２６０は、表示装置５の表示を制御する。例えば、表示制御部２６０は、帳票の画像に対する処理の結果を含む画面データを生成し、該画面データを表示装置５に表示（出力）させる。

【0028】

主制御部２７０は、スキャナ制御部２１０、文字認識処理部２２０、文字列抽出部２３０、印影検出部２４０、届出印印影特定部２５０、及び表示制御部２６０が行う一連の処理を制御する。

【0029】

図３は、一実施の形態に係る画像処理を例示するフローチャートである。図４は、一実施の形態に係る画像処理の具体例を模式的に示す図である。

【0030】

画像処理装置２は、帳票から必要な情報を抽出するための画像処理を開始すると、図３に例示するように、まず、帳票の画像を取得する（Ｓ１）。Ｓ１の処理は、スキャナ制御部２１０が行う。

【0031】

次に、画像処理装置２は、サーバ装置６が保持する文字認識辞書６１０を参照して、帳票の画像に含まれる文字を認識する（Ｓ２）。Ｓ２の処理は、文字認識処理部２２０が行う。

【0032】

次に、画像処理装置２は、サーバ装置６が保持するキーワードテーブル６２０を参照して、文字の認識結果から、項目名を示すキーワードを抽出すると共に、帳票の画像における届出印の項目名を示すキーワードの領域を検出する第１の検出処理を実行する（Ｓ３）。Ｓ３の処理は、文字列抽出部２３０が行い、特に、Ｓ３の処理のうち第１の検出処理は文字列抽出部２３０に含まれる届出印項目名検出部２３１が行う。

【0033】

次に、画像処理装置２は、文字の認識結果から、項目名を示すキーワードに対する内容の文字列を抽出する（Ｓ４）。Ｓ４の処理は、文字列抽出部２３０が行う。

【0034】

次に、画像処理装置２は、帳票の画像における印影の領域を検出する第２の検出処理を実行すると共に、第１の検出処理及び第２の検出処理の実行結果に基づいて、帳票の画像における届出印の印影の領域を特定する（Ｓ５）。Ｓ５の処理は、印影検出部２４０と届出印印影特定部２５０が行う。

【0035】

次に、画像処理装置２は、項目名毎の処理結果を表示装置５に表示させる（Ｓ６）。例えば、届出印の項目名の処理結果として、特定した届出印の印影の領域を示す座標（例えば、その印影を含む矩形領域の対角の２点の座標）を表示させ、届出印以外の項目名の処理結果として、項目名を示すキーワードに対する内容の文字列と、その文字列の領域を示す座標（例えば、その文字列を含む矩形領域の対角の２点の座標）とを表示させる。Ｓ６の処理は、表示制御部２６０が行う。

【0036】

このような画像処理に従えば、例えば、Ｓ１の処理では、図４の（ａ）に模式的に示すような帳票の画像８が取得される。帳票の画像８は、口座番号の項目名を示すキーワード（「口座番号」）の領域８０１と、口座番号の項目名を示すキーワードに対する内容の文字列（「１２３４５６７」）の領域８０２と、届出印の項目名を示すキーワード（「届出印」）の領域８０３、８０４、８０５と、届出印が押印された印影の領域８０６と、届出印以外の印（例えば訂正印）が押印された印影の領域８０７とを含む。届出印の項目名を示すキーワードの領域８０３、８０４、８０５において、領域８０３は、本来の届出印の項目名を示すキーワードの領域を示し、領域８０４、８０５は、説明文等に含まれる届出印の項目名を示すキーワードの領域を示す。

【0037】

その後、Ｓ３の処理では、図４の（ｂ）に模式的に示すように、帳票の画像８において、領域８０１に含まれる文字列（「口座番号」）が、口座番号の項目名を示すキーワードとして抽出され、領域８０３、８０４、８０５に含まれる文字列（「届出印」）が、届出印の項目名を示すキーワードとして抽出され、領域８０３、８０４、８０５が、届出印の項目名を示すキーワードの領域として検出される。

【0038】

その後、Ｓ４及びＳ５の処理では、図４の（ｃ）に模式的に示すように、帳票の画像８において、領域８０２に含まれる文字列（「１２３４５６７」）が、口座番号の項目名を示すキーワードに対する内容の文字列として抽出され、領域８０６が、届出印の印影の領域として特定される。

【0039】

その後、Ｓ６の処理では、図４の（ｄ）に示すように、項目名毎の処理結果（内容、座標）が表示装置５に表示される。例えば、口座番号の項目名の処理結果として、口座番号の項目名を示すキーワードに対する内容の文字列（「１２３４５６７」）と、その文字列の領域の座標（「（ｘ１，ｙ１，ｘ２，ｙ２）」）が表示され、届出印の項目名の処理結果として、届出印の印影の領域の座標（「（ｘ３,ｙ３,ｘ４,ｙ４）」）が表示される。なお、届出印の項目名を示すキーワードに対する内容の文字列は、元々存在しないため、届出印の項目名の処理結果には含まれない。

【0040】

図５は、Ｓ５の処理の詳細を例示するフローチャートである。図６は、Ｓ５の処理の具体例を模式的に示す図である。

【0041】

図５に例示するように、Ｓ５の処理が開始されると、まず、印影検出部２４０は、帳票の画像における印影の領域を検出する第２の検出処理を実行する（Ｓ５１）。なお、Ｓ５１の処理で検出する印影の領域は、帳票の画像における届出印の印影の領域の候補でもある。

【0042】

次に、届出印印影特定部２５０は、印影検出部２４０による第２の検出処理の実行により印影の領域が複数検出されたか否かを判定する（Ｓ５２）。

【0043】

Ｓ５２の判定結果がＹＥＳの場合、届出印印影特定部２５０は、届出印項目名検出部２３１による第１の検出処理及び印影検出部２４０による第２の検出処理の実行結果に基づいて、帳票の画像における届出印の印影の領域を特定し（Ｓ５３）、特定した届出印の印影の領域を示す座標を主制御部２７０に出力する（Ｓ５４）。但し、Ｓ５３の処理で届出印の印影の領域を特定できなかった場合は座標の出力を行わない。

【0044】

一方、Ｓ５２の判定結果がＮＯの場合、届出印印影特定部２５０は、印影検出部２４０による第２の検出処理の実行により検出された印影の領域の数が１個であるか０個であるかに応じて次の処理を行う（Ｓ５４）。検出された印影の領域の数が１個である場合は、その印影の領域を、帳票の画像における届出印の印影の領域として特定し、特定した届出印の印影の領域を示す座標を主制御部２７０に出力する。一方、検出された印影の領域の数が０個である場合は、帳票の画像に届出印の印影の領域が無いとして、座標の出力を行わない。

【0045】

このような図５に例示する処理に従えば、例えば、Ｓ５１の処理では、図６の（ａ）に模式的に示すように、帳票の画像８における領域８０６、８０７が、印影の領域として検出される。

【0046】

その後、Ｓ５３の処理では、図６の（ｂ）に模式的に示すように、帳票の画像８における領域８０６が、届出印の印影の領域として特定される。

【0047】

その後、Ｓ５４の処理では、図６の（ｃ）に示すように、特定された届出印の印影の領域を示す座標（「（ｘ３，ｙ３，ｘ４，ｙ４）」）が主制御部２７０に出力される。

【0048】

図７は、Ｓ５１の処理の詳細を例示するフローチャートである。図８及び図９は、Ｓ５１の処理の具体例を模式的に示す図である。

【0049】

Ｓ５１の処理を行う印影検出部２４０は、上述のとおり、第２の検出処理を、例えば、ディープラーニング等の物体検出ＡＩ技術や、本願の出願人による特願２０１８‐０９１８７６号の特許出願に記載の日付印領域特定技術を利用して行う。ここでは、ディープラーニング等の物体検出ＡＩ技術を利用して行う場合を例に説明する。

【0050】

図７に例示するように、Ｓ５１の処理が開始されると、印影検出部２４０は、まず、学習済みのニューラルネットワークモデルに適合するように、帳票の画像をサイズ変換する（Ｓ５１１）。学習済みのニューラルネットワークモデルは、所定サイズの画像の入力に対して、その画像におけるオブジェクトの領域を示す座標と、そのオブジェクトの印影らしさを表す特徴量とを出力する。オブジェクトの領域は、ひとまとまりの物体として判定された領域である。

【0051】

次に、印影検出部２４０は、学習済みニューラルネットワークモデルを読み込む（Ｓ５１２）。学習済みニューラルネットワークモデルは、画像処理装置２が備える記憶部（図示せず）か、サーバ装置６で管理することができる。

【0052】

次に、印影検出部２４０は、サイズ変換した帳票の画像を、読み込んだニューラルネットワークモデルに入力して、その出力であるオブジェクトの領域を示す座標と印影らしさを表す特徴量とを取得する（Ｓ５１３）。

【0053】

次に、印影検出部２４０は、取得したオブジェクトの領域を示す座標と印影らしさを表す特徴量とから、印影らしさを表す特徴量が所定値を超えるオブジェクトの領域を示す座標を、印影の領域を示す座標として判定する（Ｓ５１４）。

【0054】

次に、印影検出部２４０は、サイズ変換した帳票の画像を元のサイズにサイズ変換して、印影の領域を示す座標として判定したオブジェクトの領域を示す座標を、元のサイズにサイズ変換した帳票の画像における座標に変換する（Ｓ５１５）。

【0055】

次に、印影検出部２４０は、変換した座標を、帳票の画像における印影の領域（届出印の印影の領域候補）を示す座標として主制御部２７０に出力する（Ｓ５１６）。

【0056】

印影検出部２４０は、このようにして帳票の画像における印影の領域を検出し、その領域を示す座標を出力する。

【0057】

このような図７に例示する処理に従えば、例えば、Ｓ５１１の処理では、図８の（ａ）に模式的に示すように、帳票の画像８が、学習済みニューラルネットワークモデルに適合したサイズ（ここでは５１２ピクセル×５１２ピクセルのサイズ）にサイズ変換される。

【0058】

その後、Ｓ５１３の処理では、図８の（ｂ）に模式的に示すように、サイズ変換後の帳票の画像８ａが、学習済みニューラルネットワークモデル９に入力されて、その出力であるオブジェクトの領域を示す座標と印影らしさを表す特徴量とが取得される。図８の（ｂ）では、オブジェクトの領域の座標として、領域８０８、８０９、８１０、８１１、８１２、８１３、８１４の各領域の座標が取得される。また、図８の（ｂ）では省略しているが、Ｓ５１３の処理を行うことにより、領域８０８、８０９、８１０、８１１、８１２、８１３、８１４の各領域のオブジェクトに対する、印影らしさを表す特徴量が取得される。

【0059】

その後、Ｓ５１４の処理では、図９の（ａ）に模式的に示すように、印影らしさを表す特徴量が所定値（ここでは０．９）を超えるオブジェクトの領域８１１、８１２を示す座標が、印影の領域を示す座標として判定される。なお、特徴量の値は、オブジェクトが印影に類似するほど１に近づく値である。

【0060】

その後、Ｓ５１５の処理では、図９の（ｂ）に模式的に示すように、サイズ変換された帳票の画像８ａが元のサイズにサイズ変換され、印影の領域を示す座標として判定されたオブジェクトの領域８１１、８１２を示す座標が、元のサイズにサイズ変換された帳票の画像８における座標に変換される。これにより、変換後の座標として、帳票の画像８における領域８０６、８０７を示す座標が取得される。

【0061】

その後、Ｓ５１６の処理では、図９の（ｃ）に示すように、変換後の座標である、領域８０６を示す座標（「（ｘ３，ｙ３，ｘ４，ｙ４）」）と領域８０７を示す座標（「（ｘ５，ｙ５，ｘ６，ｙ６）」）が、帳票の画像８における印影の領域（届出印の印影の領域候補）を示す座標として主制御部２７０に出力される。

【0062】

図１０は、Ｓ５３の処理の詳細を例示するフローチャートである。図１１は、Ｓ５３の処理の具体例を模式的に示す図である。

【0063】

図１０に例示するように、Ｓ５３の処理が開始されると、届出印印影特定部２５０は、まず、届出印項目名検出部２３１により検出された届出印の項目名を示すキーワードの領域を示す座標と、印影検出部２４０により検出された印影の領域を示す座標を、帳票の画像に対応する座標系にマッピングする（Ｓ５３１）。すなわち、届出印の項目名を示すキーワードの領域と印影の領域とをマッピングする。

【0064】

次に、届出印印影特定部２５０は、マッピングした届出印の項目名を示すキーワードの領域と印影の領域との位置関係に基づいて、届出印の印影の領域を特定する（Ｓ５３２）。この特定では、例えば、所定条件を満たす印影の領域を、届出印の印影の領域として特定する。所定条件は、例えば、届出印の項目名を示すキーワードの領域の右側又は下側に存在し且つキーワードの領域との距離が所定値以下であるという条件や、届出印の項目名を示すキーワードの領域の右側又は下側に存在し且つキーワードの領域との距離が所定値以下であり且つ領域サイズが所定サイズより大きいという条件である。

【0065】

次に、届出印印影特定部２５０は、帳票の画像における、特定した届出印の印影の領域を示す座標を主制御部２７０に出力する（Ｓ５３３）。

【0066】

このような図１０に例示する処理に従えば、例えば、Ｓ５３１の処理では、図１１の（ａ）に模式的に示すように、帳票の画像８に対応する座標系１０に、届出印の項目名を示すキーワードの領域１０１、１０２、１０３と、印影の領域１０４、１０５とがマッピングされる。

【0067】

その後、Ｓ５３２の処理では、印影の領域１０４，１０５のうち、図１１の（ｂ）に示すような所定条件を満たす印影の領域１０４が、届出印の印影の領域として特定される。図１１の（ｂ）に示す所定条件は、届出印の項目名を示すキーワードの領域の右側又は下側に存在し、且つ、届出印の項目名を示すキーワードの領域との距離が所定値以下（ここでは１ｃｍ以下）であり、且つ、領域サイズが所定サイズ（ここでは２．４ｃｍ×２．４ｃｍのサイズ）より大きいという条件である。なお、届出印の項目名を示すキーワードの領域との距離が所定値以下とは、例えば、届出印の項目名を示すキーワードの領域の基準点と印影の領域の基準点との距離が所定値以下ということである。基準点は、例えば、領域の中心点である。

【0068】

その後、Ｓ５３３の処理では、図１１の（ｃ）に示すように、特定された届出印の印影の領域（ここでは領域１０４（領域８０６に対応））を示す座標（「（ｘ３，ｙ３，ｘ４，ｙ４）」）が主制御部２７０に出力される。

【0069】

以上のように、画像処理装置２が行う画像処理によれば、帳票の画像における届出印の項目名を示すキーワードの領域と印影の領域とを検出する処理を実行し、その処理結果に基づいて、帳票の画像における届出印の印影の領域を特定するようにしたので、届出印欄の位置の事前定義を不要にし、届出印の印影の抽出が可能になる。また、届出印の印影の他に訂正印や検印や見本印等の印影を含む帳票の画像に対しても、届出印の印影の領域を特定することができ、届出印の印影の抽出が可能になる。さらに、デザイン性が高い届出印欄を含む帳票の画像に対しては、届出印の項目名を示すキーワードの領域が検出されなかったとしても印影の領域が１つだけ検出されれば、その印影の領域を届出印の印影の領域として特定するようにしたので、届出印の印影の抽出が可能になる。

【0070】

なお、画像処理装置２の機能的構成は、図２に例示した構成に限らず、適宜変更可能である。例えば、文字認識処理部２２０が参照する文字認識辞書６１０と文字列抽出部２３０が参照するキーワードテーブル６２０の一方又は両方を、画像処理装置２が備える記憶部（図示しない）で管理することも可能である。また、画像処理装置２は、例えば、メモリカードや光ディスク等の可搬型記録媒体、或いはネットワークを介して提供される帳票の画像を取得して上記の画像処理を行えるようにしてもよい。

【0071】

加えて、画像処理装置２は、コンピュータと、該コンピュータに実行させるプログラムとにより実現可能である。以下、コンピュータとプログラムとにより実現される画像処理装置２について、図１２を参照して説明する。

【0072】

図１２は、コンピュータのハードウェア構成を例示する図である。
図１２に例示するように、コンピュータ１１は、ＣＰＵ（Central Processing Unit）１１０１と、メモリ１１０２と、補助記憶装置１１０３と、入力装置１１０４と、表示装置１１０５とを備える。また、コンピュータ１１は、入出力インタフェース１１０６と、通信制御装置１１０７と、媒体駆動装置１１０８とを備える。コンピュータ１１におけるこれらの要素１１０１～１１０８は、バス１１０９により相互に接続されており、要素間でのデータの受け渡しが可能になっている。

【0073】

ＣＰＵ１１０１は、オペレーティングシステムを含む各種のプログラムを実行することによりコンピュータ１１の全体の動作を制御する。例えば、ＣＰＵ１１０１は、図３～図１１を用いて説明した各処理を含む画像処理プログラムを実行する。

【0074】

メモリ１１０２は、図示しないＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。メモリ１１０２のＲＯＭには、例えば、コンピュータ１１の起動時にＣＰＵ１１０１が読み出す所定の基本制御プログラム等が予め記録されている。また、メモリ１１０２のＲＡＭは、ＣＰＵ１１０１が、各種のプログラムを実行する際に必要に応じて作業用記憶領域として使用する。メモリ１１０２のＲＡＭは、例えば、帳票の画像、届出印の項目名を示すキーワードの領域を示す座標、印影の領域を示す座標等の一時的な記憶に利用可能である。

【0075】

補助記憶装置１１０３は、例えば、ＨＤＤ（Hard Disk Drive）等の磁気ディスク、及びフラッシュメモリ等の不揮発性メモリである。補助記憶装置１１０３には、ＣＰＵ１１０１によって実行される各種のプログラムや各種のデータ等を記憶させることができる。補助記憶装置１１０３は、例えば、上述の画像処理プログラム等の記憶に利用可能である。また、補助記憶装置１１０３は、例えば、帳票の画像、項目名毎の処理結果等の記憶に利用可能である。

【0076】

入力装置１１０４は、例えば、キーボード装置、マウス装置、及びタッチパネル装置等である。コンピュータ１１のオペレータが入力装置１１０４に対し所定の操作を行うと、入力装置１１０４は、その操作内容に対応付けられている入力情報をＣＰＵ１１０１に送信する。入力装置１１０４は、図１の帳票処理システム１における入力装置４に相当する。

【0077】

表示装置１１０５は、例えば、液晶表示装置である。表示装置１１０５は、例えば、コンピュータ１１の動作状態や、帳票の画像、項目名毎の処理結果等の表示に利用可能である。表示装置１１０５は、図１の帳票処理システム１における表示装置５に相当する。

【0078】

入出力インタフェース１１０６は、コンピュータ１１と、電子部品や他の電子装置（例えばスキャナ装置３）等とを接続する。入出力インタフェース１１０６は、例えば、ＵＳＢ（Universal Serial Bus）規格のコネクタを備えたフラッシュメモリの接続にも利用可能である。

【0079】

通信制御装置１１０７は、コンピュータ１１をネットワークに接続し、ネットワークを介したコンピュータ１１と他の電子機器との各種通信を制御する装置である。通信制御装置１１０７は、例えば、図１の帳票処理システム１におけるサーバ装置６が保持している文字認識辞書やキーワードテーブルを参照することに利用可能である。

【0080】

媒体駆動装置１１０８は、可搬型記録媒体１２に記録されているプログラムやデータの読み出し、補助記憶装置１１０３に記憶されたデータ等の可搬型記録媒体１２への書き込みを行う。可搬型記録媒体１２としては、例えば、Secure Digital（ＳＤ）規格のメモリカード（フラッシュメモリ）がある。可搬型記録媒体１２は、上記の画像処理プログラム、帳票の画像、項目名毎の処理結果等の記憶に利用可能である。また、コンピュータ１１が媒体駆動装置１１０８として利用可能な光ディスクドライブを搭載している場合、当該光ディスクドライブで認識可能な各種の光ディスクを可搬型記録媒体１２として利用可能である。可搬型記録媒体１２として利用可能な光ディスクには、例えば、Compact Disc（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等がある。

【0081】

コンピュータ１１は、オペレータが入力装置１１０４を操作して画像処理プログラムの開始命令を入力すると、ＣＰＵ１１０１が補助記憶装置１１０３等から上述の画像処理プログラムを読み出して実行する。画像処理プログラムを実行している間、ＣＰＵ１１０１は、図２に例示した画像処理装置２における文字認識処理部２２０、届出印項目名検出部２３１を含む文字列抽出部２３０、印影検出部２４０、届出印印影特定部２５０、及び表示制御部２６０として機能（動作）する。また、帳票の画像をスキャナ装置３から取得する場合、ＣＰＵ１１０１及び入出力インタフェース１１０６は、図２に例示した画像処理装置２におけるスキャナ制御部２１０として機能する。また、コンピュータ１１とは別のサーバ装置６等が保持している文字認識辞書６１０を参照して文字を認識する場合、通信制御装置１１０７が文字認識処理部２２０の持つ機能の一部を担う。更に、コンピュータ１１とは別のサーバ装置６等が保持しているキーワードテーブル６２０を参照してキーワードの抽出を行う場合、通信制御装置１１０７が文字列抽出部２３０の持つ機能の一部を担う。

【0082】

なお、画像処理装置２として動作させるコンピュータ１１は、図１２に例示した要素１１０１～１１０８の全てを含む必要はなく、用途や条件に応じて一部の要素を省略することも可能である。例えば、コンピュータ１１は、媒体駆動装置１１０８や通信制御装置１１０７が省略されたものであってもよい。

【0083】

以上、本発明の実施の形態を説明したが、本発明は、上述した実施の形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。

【符号の説明】

【0084】

１ 帳票処理システム
２ 画像処理装置
３ スキャナ装置
４ 入力装置
５ 表示装置
６ サーバ装置
７ ネットワーク
８、８ａ 画像
９ ニューラルネットワークモデル
１０ 座標系
１１ コンピュータ
１２ 可搬型記録媒体
１０１、１０２、１０３、１０４、１０５ 領域
２１０ スキャナ制御部
２２０ 文字認識処理部
２３０ 文字列抽出部
２３１ 届出印項目名検出部
２４０ 印影検出部
２５０ 届出印印影特定部
２６０ 表示制御部
２７０ 主制御部
６１０ 文字認識辞書
６２０ キーワードテーブル
８０１、８０２、８０３、８０４、８０５ 領域
８０６、８０７、８０８、８０９、８１０ 領域
８１１、８１２、８１３、８１４ 領域
１１０１ ＣＰＵ
１１０２ メモリ
１１０３ 補助記憶装置
１１０４ 入力装置
１１０５ 表示装置
１１０６ 入出力インタフェース
１１０７ 通信制御装置
１１０８ 媒体駆動装置
１１０９ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】