特許 7452120 画像処理方法、画像処理プログラムおよび画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-11

(45)【発行日】2024-03-19

(54)【発明の名称】画像処理方法、画像処理プログラムおよび画像処理装置

(51)【国際特許分類】

   G06V 30/14 20220101AFI20240312BHJP

   G06T 7/11 20170101ALI20240312BHJP

   G06V 30/412 20220101ALI20240312BHJP

【ＦＩ】

G06V30/14 340J

G06T7/11

G06V30/412

【請求項の数】 6

(21)【出願番号】P 2020043072

(22)【出願日】2020-03-12

(65)【公開番号】P2021144501

(43)【公開日】2021-09-24

【審査請求日】2022-11-17

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】村山 大助

(72)【発明者】

【氏名】石川 雅基

(72)【発明者】

【氏名】朝倉 陽子

(72)【発明者】

【氏名】時尾 響

(72)【発明者】

【氏名】石塚 康成

(72)【発明者】

【氏名】大塚 恭平

(72)【発明者】

【氏名】一宮 央樹

(72)【発明者】

【氏名】田村 尭央

(72)【発明者】

【氏名】浅葉 海

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０１９－０２１９８１（ＪＰ，Ａ）

【文献】特開２００２－２４５４６１（ＪＰ，Ａ）

【文献】特開２０１８－００５４６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／１４

Ｇ０６Ｔ ７／１１

Ｇ０６Ｖ ３０／４１２

(57)【特許請求の範囲】

【請求項1】

コンピュータが実行する画像処理方法であって、
押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定し、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第１の領域と、契約を締結した人物に関する情報が記載される契約書内の第２の領域であって、前記第１の領域を基準とする縦方向の２つの座標差分で定義された前記第２の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を、処理対象である前記画像データから抽出し、
抽出した前記領域を出力する
処理を実行することを特徴とする画像処理方法。

【請求項2】

押印済の契約書の書面が電子的に読み込まれることにより生成された複数の画像データを有する学習データを基にして、前記第１の領域と、前記第２の領域との位置関係を学習し、学習結果を前記記憶装置に記憶させる処理を更に実行することを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記学習する処理は、前記第１の領域として特定される座標と前記第２の領域として特定される座標との差分値を、画像データ毎に算出し、算出した差分値のうち、最大の差分値を、前記位置関係として学習することを特徴とする請求項２に記載の画像処理方法。

【請求項4】

前記学習する処理は、前記第１の領域として特定される座標と前記第２の領域として特定される座標との差分値を、画像データ毎に算出し、算出した複数の差分値を基にして、差分値の外れ値を算出し、前記複数の差分値から前記外れ値を除外した差分値を基にして、前記位置関係を学習することを特徴とする請求項２に記載の画像処理方法。

【請求項5】

コンピュータに
押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定し、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第１の領域と、契約を締結した人物に関する情報が記載される契約書内の第２の領域であって、前記第１の領域を基準とする縦方向の２つの座標差分で定義された前記第２の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を、処理対象である前記画像データから抽出し、
抽出した前記領域を出力する
処理を実行させることを特徴とする画像処理プログラム。

【請求項6】

押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定する特定部と、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第１の領域と、契約を締結した人物に関する情報が記載される契約書内の第２の領域であって、前記第１の領域を基準とする縦方向の２つの座標差分で定義された前記第２の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を処理対象である前記画像データから抽出し、抽出した前記領域を出力する抽出部と
を有することを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理方法等に関する。

【背景技術】

【0002】

契約書には、契約を締結した人物に関する情報として、住所や氏名等が記載され、各種の処理に利用されている。以下の説明では、適宜、契約を締結した人物に関する情報を「締結者情報」と表記する。

【0003】

ここで、紙媒体の契約書に記載された締結者情報を検出する場合には、スキャナを用いて、契約書を画像データとして取り込み、画像データに対して文字検出の画像処理を実行する。なお、契約書の画像データ全体に対して、文字検出の画像処理を実行すると、締結者情報を含まない領域に対しても、画像処理が行われ、検出効率が低下する。

【0004】

なお、契約書の書式が予め決まっている場合には、契約書の画像データの所定の領域に対して、文字検出の画像処理を実行することができ、締結者情報の検出効率を向上させることができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００１－１８４４８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上述した従来技術では、締結者情報が記載された領域を効率よく抽出することができないという問題がある。

【0007】

たとえば、契約書の書式が未知である場合には、締結者情報が記載された領域を事前に特定することができず、契約書の画像データ全体に対して、文字検出の画像処理を実行することになり、検出効率が低下してしまう。

【0008】

１つの側面では、本発明は、締結者情報が記載された領域を効率よく抽出することができる画像処理方法、画像処理プログラムおよび画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

第１の案では、コンピュータに次の処理を実行させる。コンピュータは、押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、画像データから、印面に相当する領域を特定する。コンピュータは、予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第１の領域と、契約を締結した人物に関する情報が記載される契約書内の第２の領域との位置関係を参照し、処理対象である画像データから特定した印面の領域と位置関係とに基づいて特定される領域を、処理対象である画像データから抽出する。コンピュータは、抽出した領域を出力する。

【発明の効果】

【0010】

締結者情報が記載された領域を効率よく抽出することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本実施例に係る画像処理装置の処理を説明するための図である。

【図2】図２は、本実施例に係る画像処理装置の構成を示す機能ブロック図である。

【図3】図３は、学習データのデータ構造の一例を示す図である。

【図4】図４は、パターンデータのデータ構造の一例を示す図である。

【図5】図５は、第１ｙ座標差分のヒストグラムを示す図である。

【図6】図６は、第１パターンの検出例を示す図である。

【図7】図７は、第２パターンの検出例を示す図である。

【図8】図８は、本実施例に係る画像処理装置の学習処理の処理手順を示すフローチャートである。

【図9】図９は、本実施例に係る画像処理装置の画像処理の処理手順を示すフローチャートである。

【図10】図１０は、第１パターンと第２パターンとの比較結果を示す図である。

【図11】図１１は、実施例の画像処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0012】

以下に、本願の開示する画像処理方法、画像処理プログラムおよび画像処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例】

【0013】

図１は、本実施例に係る画像処理装置の処理を説明するための図である。画像処理装置は、学習データ１４１を基にして、パターンデータ１４２を学習しておく。パターンデータ１４２は、印面１０の中心座標を基準とする検出領域を示す情報である。たとえば、検出領域は、契約書の領域のうち、契約を締結した人物に関する情報（締結者情報）が記述されるであろう領域に対応する。印面１０の中心座標（中心座標を含む印面の領域）が「第１の領域」に対応する。

【0014】

パターンデータ１４２は、印面１０の中心座標を基準とする第１ｙ座標差分（ｙ_１）と、第２ｙ座標差分（ｙ_２）とを定義する。第１ｙ座標差分は、検出領域の上端１１ａと、印面１０の中心座標との差分である。第２ｙ座標差分は、検出領域の下端１１ｂと、印面１０の中心座標との差分である。上端１１ａ、下端１１ｂのｙ座標に対応する領域が「第２の領域」に対応する。

【0015】

画像処理装置が、パターンデータ１４２を用いて、契約書の画像データ２０に含まれる検出領域２５を抽出する場合には、画像データ２０の印面２０ａを特定する。画像処理装置は、印面２０ａの中心座標と、第１ｙ座標差分（ｙ_１）とを基にして、検出領域２５の上端２５ａを特定する。画像処理装置は、印面２０ａの中心座標と、第２ｙ座標差分（ｙ_２）とを基にして、検出領域２５の下端２５ｂを特定する。なお、画像処理装置は、検出領域２５のｘ座標方向の幅ｘ２５を、画像データ２０の幅ｘ２０と同一とする。画像処理装置は、検出領域２５に対して、文字認識を実行することで、締結者情報の文字列を認識する。

【0016】

上記のように、本実施例に係る画像処理装置は、契約書の画像データ２０から印面２０ａを特定し、パターンデータ１４２に定義された印面の中心座標を基準とした検出領域の位置関係を基にして、画像データ２０の検出領域２５を抽出する。すなわち、画像処理装置は、契約書の書式が未知でも、押印位置と締結者情報の記載位置との位置関係が変わらないことに着目することで、締結者情報が記載された検出領域を効率的に抽出することができる。また、検出領域を効率的に抽出することで、検出領域に記載されているであろう締結者情報を適切に認識することもできる。

【0017】

次に、本実施例に係る画像処理装置の構成について説明する。図２は、本実施例に係る画像処理装置の構成を示す機能ブロック図である。図２に示すように、この画像処理装置１００は、スキャナ５０に接続される。画像処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

【0018】

スキャナ５０は、契約書の表面を電子的に読み込むことで、契約書の画像データを生成する装置である。本実施例では、スキャナ５０は、押印済みの契約書の画像データを生成するものとする。スキャナ５０は、画像データを、画像処理装置１００の通信部１１０に出力する。

【0019】

通信部１１０は、スキャナ５０と接続し、画像データを取得する装置である。通信部１１０は、通信装置の一例である。図示を省略するが、通信部１１０は、ネットワークを介して、他の外部装置と接続し、データ通信を実行してもよい。後述する制御部１５０は、通信部１１０を解して、スキャナ５０、外部装置等とデータをやり取りする。

【0020】

入力部１２０は、各種のデータを画像処理装置１００の制御部１５０に入力するための入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

【0021】

表示部１３０は、表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。表示部１３０は、有機ＥＬ（Electro Luminescence）ディスプレイ、液晶ディスプレイ、タッチパネル等に対応する。

【0022】

記憶部１４０は、学習データ１４１、パターンデータ１４２を有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

【0023】

学習データ１４１は、パターンデータ１４２を生成するために用いられるデータである。図３は、学習データのデータ構造の一例を示す図である。図３に示すように、この学習データ１４１は、サンプル番号と、画像データと、上端ｙ座標と、下端ｙ座標と、印面中心ｘ座標と、印面中心ｙ座標と、第１ｙ座標差分と、第２ｙ座標差分とを有する。

【0024】

サンプル番号は、サンプルとなる画像データを識別する情報である。画像データは、スキャナなどによって電子化されたサンプルとなる契約書の画像データである。サンプルとなる契約書には、締結者情報が記載されており、押印済みとする。サンプルとなる契約書の画像データは、「第二の画像データ」に対応する。以下の説明では、特に区別する場合、学習データの画像データを、第二の画像データと表記する。

【0025】

上端ｙ座標は、第二の画像データにおける検出領域の上端のｙ座標を示す。下端ｙ座標は、第二の画像データにおける検出領域の下端のｙ座標を示す。印面中心ｘ座標は、第二の画像データにおける印面の中心ｘ座標である。印面中心ｙ座標は、第二の画像データにおける印面の中心ｙ座標である。たとえば、第二の画像データの左上隅の座標を原点とする。

【0026】

第１ｙ座標差分は、印面中心ｙ座標から、上端ｙ座標を減算した差分値である。第２ｙ座標は、下端ｙ座標から、印面中心座標を減算した差分値である。

【0027】

図２の説明に戻る。パターンデータ１４２は、学習データ１４１を基にして生成される情報であって、印面の中心座標を基準とする検出領域を示す情報である。パターンデータ１４２の検出座標は、新規の契約書の画像データにおいて、締結者情報が記載されている可能性の高い領域を示す。図４は、パターンデータのデータ構造の一例を示す図である。図４に示すように、パターンデータ１４２には、第１パターンと、第２パターンとが含まれる。

【0028】

第１パターンには、第１－１ｙ座標差分と、第２－１ｙ座標差分とが設定される。第１－１ｙ座標差分は、学習データ１４１に格納された各第１ｙ座標差分のうち、最大の第１ｙ座標差分となる。第２－１ｙ座標差分は、学習データ１４１に格納された各第２ｙ座標差分のうち、最大の第２ｙ座標差分となる。

【0029】

第２パターンには、第１－２ｙ座標差分と、第２－２ｙ座標差分とが設定される。第１－２ｙ座標差分は、学習データ１４１に格納された各１ｙ座標差分から外れ値を除き、外れ値以外の第１ｙ座標差分のうち、最大の第１ｙ座標差分となる。第２－２ｙ座標差分は、学習データ１４１に格納された各第２ｙ座標差分から外れ値を除き、外れ値以外の第２ｙ座標差分のうち、最大の第２ｙ座標差分となる。

【0030】

第２パターンは、外れ値を除外する。このため、第１パターンによって特定される検出領域は、第２パターンによって特定される検出領域よりも広くなる。

【0031】

図２の説明に戻る。制御部１５０は、取得部１５１と、学習部１５２と、特定部１５３と、抽出部１５４と、文字認識部１５５とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

【0032】

取得部１５１は、外部装置等から学習データ１４１を取得する処理部である。取得部１５１は、取得した学習データ１４１を記憶部１４０に格納する。また、取得部１５１は、スキャナ５０から、押印済みの新規の契約書の画像データを取得した場合に、取得した画像データを、特定部１５３に出力する。押印済みの新規の契約書の画像データは、「第一の画像データ」に対応する。以下の説明では、特に区別する場合、押印済みの新規の契約書の画像データを、第一の画像データと表記する。

【0033】

学習部１５２は、学習データ１４１を基にして、パターンデータ１４２を生成する処理部である。なお、学習データ１４１に含まれる印面中心ｙ座標（印面中心ｘ座標）は、予め設定されていてもよいし、第二の画像データから印面を特定して、自動で設定してもよい。学習部１５２は、印面中心ｙ座標を自動で特定した場合には、上端ｙ座標および下端ｙ座標を基にして、第１ｙ座標差分、第２ｙ座標差分を自動で算出してもよい。

【0034】

学習部１５２が、パターンデータ１４２の「第１パターン」を学習する処理について説明する。学習部１５２は、学習データ１４１の各第１ｙ座標差分を比較し、最大の第１ｙ座標差分を特定する。学習部１５２は、特定した最大の第１ｙ座標差分を、第１パターンの第１－１ｙ座標差分として学習する。

【0035】

学習部１５２は、学習データ１４１の各第２ｙ座標差分を比較し、最大の第２ｙ座標差分を特定する。学習部１５２は、特定した最大の第２ｙ座標差分を、第１パターンの第２－１ｙ座標差分として学習する。

【0036】

学習部１５２は、第１－１ｙ座標差分および第２－１ｙ座標差分を、第１パターンとして、パターンデータ１４２に登録する。

【0037】

続いて、学習部１５２が、パターンデータ１４２の「第２パターン」を学習する処理について説明する。学習部１５２は、学習データ１４１の全ての第１ｙ座標差分を基にして、第１ｙ座標差分の平均値μ_１を算出する。また、学習部１５２は、学習データ１４１の全ての第１ｙ座標差分を基にして、第１ｙ座標差分の標準偏差σ_１を算出する。

【0038】

学習部１５２は、学習データ１４１の全ての第１ｙ座標差分のうち、「μ_１－３×σ_１」未満となる第１ｙ座標差分と、「μ_１＋３×σ_１」以上となる第１ｙ座標差分とを外れ値として特定する。学習部１５２は、学習データ１４１の全ての第１ｙ座標差分から外れ値を除外した第１ｙ座標差分のうち、最大の第１ｙ座標差分を、第２パターンの第２－１ｙ座標差分として学習する。

【0039】

図５は、第１ｙ座標差分のヒストグラムを示す図である。図５に示すヒストグラムの横軸は、第１ｙ座標差分の値に対応する。ヒストグラムの縦軸は、頻度に対応する。たとえば、範囲３０に値が含まれる第１ｙ座標差分の値が、外れ値となる。たとえば、３１ａに示す値が、第１パターンの第１－１ｙ座標差分の値となる。３１ｂに示す値が、第２パターンの第１－２ｙ座標差分の値となる。

【0040】

学習部１５２は、学習データ１４１の全ての第２ｙ座標差分を基にして、第２ｙ座標差分の平均値μ_２を算出する。また、学習部１５２は、学習データ１４１の全ての第２ｙ座標差分を基にして、第１ｙ座標差分の標準偏差σ_２を算出する。

【0041】

学習部１５２は、学習データ１４１の全ての第２ｙ座標差分のうち、「μ_２－３×σ_２」未満となる第２ｙ座標差分と、「μ_２＋３×σ_２」以上となる第２ｙ座標差分とを外れ値として特定する。学習部１５２は、学習データ１４１の全ての第２ｙ座標差分から外れ値を除外した第２ｙ座標差分のうち、最大の第２ｙ座標差分を、第２パターンの第２－２ｙ座標差分として学習する。第１ｙ座標差分について、ヒストグラムの説明を省略する。

【0042】

学習部１５２は、第１－２ｙ座標差分および第２－２ｙ座標差分を、第２パターンとして、パターンデータ１４２に登録する。

【0043】

学習部１５２は、上記処理を実行することで、パターンデータ１４２を学習し、学習したパターンデータ１４２を、記憶部１４０に格納する。

【0044】

図２の説明に戻る。特定部１５３は、第一の画像データから、印面に相当する領域座標を特定する処理部である。たとえば、特定部１５３は、印鑑の色や形状を定義したテンプレートと、第一の画像データと比較して、印面の領域を特定する。特定部１５３は、特定した印面の領域の中心座標（ｘ_０、ｙ_０）を特定し、中心座標（ｘ_０、ｙ_０）の情報を、抽出部１５４に出力する。ただし、領域座標は必ずしも中心座標に限定されるわけではなく、例えば、印面の頂点に対応する座標でも良く、複数の座標を領域座標としても良い。

【0045】

抽出部１５４は、パターンデータ１４２を用いて、第一の画像データに含まれる検出領域を抽出する処理部である。抽出部１５４は、パターンデータ１４２に含まれる第１パターンまたは第２パターンのいずれか一方を用いて、検出領域を抽出する。第１パターンを用いるのか、第２パターンを用いるのかは、予め設定されているものとする。

【0046】

抽出部１５４が、第１パターンを用いて、検出領域を抽出する処理の一例について説明する。抽出部１５４は、印面の中心座標（ｘ_０、ｙ_０）と、第１－１ｙ座標差分とを基にして、検出領域２５の上端を特定する。抽出部１５４は、印面の中心座標（ｘ_０、ｙ_０）と、第２－１ｙ座標差分とを基にして、検出領域の下端を特定する。なお、抽出部１５４は、検出領域のｘ座標方向の幅を、第一の画像データの幅と同一とする。

【0047】

抽出部１５４は、第１パターンを用いて、第一の画像データに対して特定した検出領域の情報を、文字認識部１５５に出力する。

【0048】

図６は、第１パターンの検出例を示す図である。図６に示すように、印面４０の中心座標と、第１パターンとを基にして、検出領域４０ａが設定される。

【0049】

抽出部１５４が、第２パターンを用いて、検出領域を抽出する処理の一例について説明する。抽出部１５４は、印面の中心座標（ｘ_０、ｙ_０）と、第１－２ｙ座標差分とを基にして、検出領域２５の上端を特定する。抽出部１５４は、印面の中心座標（ｘ_０、ｙ_０）と、第２－２ｙ座標差分とを基にして、検出領域の下端を特定する。なお、抽出部１５４は、検出領域のｘ座標方向の幅を、第一の画像データの幅と同一とする。

【0050】

抽出部１５４は、第２パターンを用いて、第一の画像データに対して特定した検出領域の情報を、文字認識部１５５に出力する。

【0051】

図７は、第２パターンの検出例を示す図である。図７に示すように、印面４０の中心座標と、第２パターンとを基にして、検出領域４０ｂが設定される。

【0052】

文字認識部１５５は、抽出部１５４によって抽出された検出領域の画像に対して、文字認識を実行することで、締結者情報の文字列を認識する処理部である。文字認識部１５５は、認識した文字列を、表示部１３０に出力する。文字認識部１５５は、ネットワークを介して、文字列の認識結果を、外部装置等に通知してもよい。

【0053】

次に、本実施例に係る画像処理装置１００の処理手順の一例について説明する。図８は、本実施例に係る画像処理装置の学習処理の処理手順を示すフローチャートである。図８に示すように、画像処理装置１００の取得部１５１は、学習データ１４１を取得する（ステップＳ１０１）。

【0054】

画像処理装置１００の学習部１５２は、学習データ１４１の各第１ｙ座標差分を比較し、最大となる第１ｙ座標差分を、第１－１座標差分に設定する（ステップＳ１０２）。学習部１５２は、学習データ１４１の各第２ｙ座標差分を比較し、最大となる第２ｙ座標差分を、第２－１座標差分に設定する（ステップＳ１０３）。

【0055】

学習部１５２は、第１－１ｙ座標差分および第２－１ｙ座標差分を、第１パターンとして、パターンデータ１４２に登録する（ステップＳ１０４）。

【0056】

学習部１５２は、学習データ１４１の各第１座標差分を基にして、平均値μ_１および標準偏差σ_１を算出する（ステップＳ１０５）。学習部１５２は、平均値μ_１および標準偏差σ_１を基にして、学習データ１４１の各第１ｙ座標差分から外れ値を除外する（ステップＳ１０６）。

【0057】

学習部１５２は、外れ値を除外した第１ｙ座標差分のうち、最大となる第１ｙ座標差分を、第１－２ｙ座標差分に設定する（ステップＳ１０７）。

【0058】

学習部１５２は、学習データ１４１の各第２座標差分を基にして、平均値μ_２および標準偏差σ_２を算出する（ステップＳ１０８）。学習部１５２は、平均値μ_２および標準偏差σ_２を基にして、学習データ１４１の各第２ｙ座標差分から外れ値を除外する（ステップＳ１０９）。

【0059】

学習部１５２は、外れ値を除外した第２ｙ座標差分のうち、最大となる第２ｙ座標差分を、第２－２ｙ座標差分に設定する（ステップＳ１１０）。

【0060】

学習部１５２は、第１－２ｙ座標差分および第２－２ｙ座標差分を、第２パターンとして、パターンデータ１４２に登録する（ステップＳ１１１）。

【0061】

図９は、本実施例に係る画像処理装置の画像処理の処理手順を示すフローチャートである。図９に示すように、画像処理装置１００の取得部１５１は、スキャナ５０から第一の画像データを取得する（ステップＳ２０１）。

【0062】

画像処理装置１００の特定部１５３は、第一の画像データから、印面の領域を特定する（ステップＳ２０２）。特定部１５３は、印面の中心座標を特定する（ステップＳ２０３）。

【0063】

画像処理装置１００の抽出部１５４は、第１パターンを選択する場合には（ステップＳ２０４，Ｙｅｓ）、ステップＳ２０５に移行する。一方、抽出部１５４は、第１パターンを選択しない場合には（ステップＳ２０４，Ｎｏ）、ステップＳ２０７に移行する。

【0064】

ステップＳ２０５について説明する。抽出部１５４は、第１パターンの第１－１ｙ座標差分、第２－１ｙ座標差分をパターンデータ１４２から取得する（ステップＳ２０５）。抽出部１５４は、第１パターンと印面の中心座標とを基にして、検出領域を抽出する（ステップＳ２０６）。

【0065】

画像処理装置１００の文字認識部１５５は、検出領域の画像から、文字列を認識する（ステップＳ２０９）。文字認識部１５５は、認識結果を表示部１３０に出力する（ステップＳ２１０）。

【0066】

ステップＳ２０７について説明する。抽出部１５４は、第２パターンの第１－２ｙ座標差分、第２－２ｙ座標差分をパターンデータ１４２から取得する（ステップＳ２０７）。抽出部１５４は、第２パターンと印面の中心座標とを基にして、検出領域を抽出し（ステップＳ２０８）、ステップＳ２０９に移行する。

【0067】

次に、本実施例１に係る画像処理装置１００の効果について説明する。画像処理装置１００は、契約書の画像データから印面を特定し、パターンデータに定義された印面の中心座標を基準とした検出領域の位置関係を基にして、画像データの検出領域を抽出する。すなわち、画像処理装置は、契約書の書式が未知でも、押印位置と締結者情報の記載位置との位置関係が変わらないことに着目することで、締結者情報が記載された検出領域を効率的に抽出することができる。また、検出領域を効率的に抽出することで、検出領域に記載されているであろう締結者情報を適切に認識することもできる。

【0068】

画像処理装置１００は、学習データ１４１に含まれる各第１ｙ座標差分の最大値と、第２ｙ座標差分の最大値とを基にして、第１パターンを学習する。これによって、画像データから印面を抽出することで、締結者情報の検出領域を特定することが可能となる。

【0069】

画像処理装置１００は、学習データ１４１に含まれる各第１ｙ座標差分から外れ値を除外した残りの第１ｙ座標差分と、各第２ｙ座標差分から外れ値を除外した残りの第２ｙ座標差分とを基にして、第２パターンを学習する。これによって、画像データから印面を抽出することで、締結者情報の検出領域を特定することが可能となる。また、第１パターンの検出領域よりも、検出領域を絞り込むことができる。

【0070】

ここで、第１パターンによって特定した検出領域と、第２パターンによって特定した検出領域とに対して文字認識を実行した場合の認識結果の一例について説明する。図１０は、第１パターンと第２パターンとの比較結果を示す図である。

【0071】

図１０に示す例では、印面４５の中心座標と、第１パターンとを基にして検出領域４５ａが設定される。印面４６の中心座標と、第１パターンとを基にして検出領域４６ａが設定される。図１０に示す例では、第１パターンでは、締結者情報を検出しているが、第２パターンでは、締結者情報の一部を検出（検出漏れが発生している）できていない。第１パターンの検出領域は、第２パターンの検出領域よりも大きいため、検出漏れを防ぐことができる。

【0072】

たとえば、発明者が実験を行ったところ、第１パターンの検出領域は、帳票の約４割であり、締結者情報の検出率は１００％であった。一方、第２パターンの検出領域は、帳票の約１．５割であり、締結者情報の検出率は９７．８％であった。

【0073】

次に、上記実施例に示した画像処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１１は、実施例の画像処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0074】

図１１に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、有線または無線ネットワークを介して、スキャナ５０、外部装置等との間でデータの授受を行う通信装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。

【0075】

ハードディスク装置２０７は、取得プログラム２０７ａ、学習プログラム２０７ｂ、特定プログラム２０７ｃ、抽出プログラム２０７ｄ、文字認識プログラム２０７ｅを有する。また、ＣＰＵ２０１は、各プログラム２０７ａ～２０７ｅを読み出してＲＡＭ２０６に展開する。

【0076】

取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。学習プログラム２０７ｂは、学習プロセス２０６ｂとして機能する。特定プログラム２０７ｃは、特定プロセス２０６ｃとして機能する。抽出プログラム２０７ｄは、抽出プロセス２０６ｄとして機能する。文字認識プログラム２０７ｅは、文字認識プロセス２０６ｅとして機能する。

【0077】

取得プロセス２０６ａの処理は、取得部１５１の処理に対応する。学習プロセス２０６ｂの処理は、学習部１５２の処理に対応する。特定プロセス２０６ｃの処理は、特定部１５３の処理に対応する。抽出プロセス２０６ｄの処理は、抽出部１５４の処理に対応する。文字認識プロセス２０６ｅの処理は、文字認識部１５５の処理に対応する。

【0078】

なお、各プログラム２０７ａ～２０７ｅについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｅを読み出して実行するようにしてもよい。

【0079】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0080】

（付記１）コンピュータに、
押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定し、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第１の領域と、契約を締結した人物に関する情報が記載される契約書内の第２の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を、処理対象である前記画像データから抽出し、
抽出した前記領域を出力する
処理を実行させることを特徴とする画像処理方法。

【0081】

（付記２）押印済の契約書の書面が電子的に読み込まれることにより生成された複数の画像データを有する学習データを基にして、前記第１の領域と、前記第２の領域との位置関係を学習し、学習結果を前記記憶装置に記憶させる処理を更に実行させることを特徴とする付記１に記載の画像処理方法。

【0082】

（付記３）前記学習する処理は、前記第１の領域として特定される座標と前記第２の領域として特定される座標との差分値を、画像データ毎に算出し、算出した差分値のうち、最大の差分値を、前記位置関係として学習することを特徴とする付記２に記載の画像処理方法。

【0083】

（付記４）前記学習する処理は、前記第１の領域として特定される座標と前記第２の領域として特定される座標との差分値を、画像データ毎に算出し、算出した複数の差分値を基にして、差分値の外れ値を算出し、前記複数の差分値から前記外れ値を除外した差分値を基にして、前記位置関係を学習することを特徴とする付記２に記載の画像処理方法。

【0084】

（付記５）コンピュータに、
押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定し、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第１の領域と、契約を締結した人物に関する情報が記載される契約書内の第２の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を、処理対象である前記画像データから抽出し、
抽出した前記領域を出力する
処理を実行させることを特徴とする画像処理プログラム。

【0085】

（付記６）押印済の契約書の書面が電子的に読み込まれることにより生成された複数の画像データを有する学習データを基にして、前記第１の領域と、前記第２の領域との位置関係を学習し、学習結果を前記記憶装置に記憶させる処理を更に実行させることを特徴とする付記５に記載の画像処理プログラム。

【0086】

（付記７）前記学習する処理は、前記第１の領域として特定される座標と前記第２の領域として特定される座標との差分値を、画像データ毎に算出し、算出した差分値のうち、最大の差分値を、前記位置関係として学習することを特徴とする付記６に記載の画像処理プログラム。

【0087】

（付記８）前記学習する処理は、前記第１の領域として特定される座標と前記第２の領域として特定される座標との差分値を、画像データ毎に算出し、算出した複数の差分値を基にして、差分値の外れ値を算出し、前記複数の差分値から前記外れ値を除外した差分値を基にして、前記位置関係を学習することを特徴とする付記６に記載の画像処理プログラム。

【0088】

（付記９）押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定する特定部と、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第１の領域と、契約を締結した人物に関する情報が記載される契約書内の第２の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を処理対象である前記画像データから抽出し、抽出した前記領域を出力する抽出部と
を有することを特徴とする画像処理装置。

【0089】

（付記１０）押印済の契約書の書面が電子的に読み込まれることにより生成された複数の画像データを有する学習データを基にして、前記第１の領域と、前記第２の領域との位置関係を学習し、学習結果を前記記憶装置に記憶させる学習部を更に有することを特徴とする付記９に記載の画像処理装置。

【0090】

（付記１１）前記学習部は、前記第１の領域として特定される座標と前記第２の領域として特定される座標との差分値を、画像データ毎に算出し、算出した差分値のうち、最大の差分値を、前記位置関係として学習することを特徴とする付記１０に記載の画像処理装置。

【0091】

（付記１２）前記学習部は、前記第１の領域として特定される座標と前記第２の領域として特定される座標との差分値を、画像データ毎に算出し、算出した複数の差分値を基にして、差分値の外れ値を算出し、前記複数の差分値から前記外れ値を除外した差分値を基にして、前記位置関係を学習することを特徴とする請求項１０に記載の画像処理装置。

【符号の説明】

【0092】

５０ スキャナ
１００ 画像処理装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 学習データ
１４２ パターンデータ
１５０ 制御部
１５１ 取得部
１５２ 学習部
１５３ 特定部
１５４ 抽出部
１５５ 文字認識部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】