特許 7447472 画像処理装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-04

(45)【発行日】2024-03-12

(54)【発明の名称】画像処理装置及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/155 20170101AFI20240305BHJP

   G06T 7/44 20170101ALI20240305BHJP

   G06V 30/14 20220101ALI20240305BHJP

   G06V 30/412 20220101ALI20240305BHJP

   G06T 5/30 20060101ALI20240305BHJP

【ＦＩ】

G06T7/155

G06T7/44

G06V30/14 340K

G06V30/14 340P

G06V30/412

G06T5/30

【請求項の数】 9

(21)【出願番号】P 2019229599

(22)【出願日】2019-12-19

(65)【公開番号】P2021096800

(43)【公開日】2021-06-24

【審査請求日】2022-11-22

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】福永 正和

【審査官】大塚 俊範

(56)【参考文献】

【文献】特開平０８－０４４８７３（ＪＰ，Ａ）

【文献】特開２０１８－１２８８２５（ＪＰ，Ａ）

【文献】特開平０７－２６２３２２（ＪＰ，Ａ）

【文献】特開平０９－１２８４７８（ＪＰ，Ａ）

【文献】特開２０１０－００４１５２（ＪＰ，Ａ）

【文献】特開２０１１－１５０４６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ ３０／００－３０／４２４

Ｇ０６Ｔ ５／３０

(57)【特許請求の範囲】

【請求項1】

プロセッサを備え、
前記プロセッサは、
原稿を読み取って得られる読取画像から、前景らしさの特徴を有する複数の領域を検出し、
前記複数の領域から得られる２つの領域の組み合わせ毎に、一方の領域の外縁と、他方の領域の外縁との間の直線距離を導出し、
前記２つの領域の組み合わせ毎に、前記一方の領域及び前記他方の領域を包含する予め定められた形状の領域である包含領域の面積から、前記一方の領域及び前記他方の領域が存在しない部分である隙間部分の面積を導出し、
前記複数の領域の各々について、前記直線距離が予め定められた範囲内で、かつ、前記隙間部分の面積が最小となる組み合わせを選択し、
選択して得られた複数の組み合わせに対して、統合の可否を判定し、判定結果に基づいて、複数の組み合わせの各々を統合する、又は、選択して得られた複数の組み合わせに対して、統合の可否を判定することなく、複数の組み合わせの各々を統合する
画像処理装置。

【請求項2】

前記プロセッサは、前記複数の領域の各々について選択して得られた複数の組み合わせに対して、予め定められた原稿の種類毎の特性に基づいて、統合の可否を判定する
請求項１に記載の画像処理装置。

【請求項3】

前記特性は、原稿サイズの許容値として表され、
前記プロセッサは、前記複数の組み合わせの各々のサイズと、前記許容値とを比較する場合に、前記許容値の小さい順に比較し、比較結果に基づいて、前記複数の組み合わせの各々について統合の可否を判定する
請求項２に記載の画像処理装置。

【請求項4】

前記原稿は、複数の原稿であり、
前記プロセッサは、前記複数の原稿を配置する際の配置条件が予め定義されている場合、前記配置条件を更に用いて、前記統合の可否を判定する
請求項２又は請求項３に記載の画像処理装置。

【請求項5】

前記プロセッサは、前記前景らしさの特徴を検出可能なフィルタを用いて、前記複数の領域を検出する
請求項１～請求項４のいずれか１項に記載の画像処理装置。

【請求項6】

前記フィルタは、
ｎ×ｎ（ｎは３以上の奇数）の中心画素の輝度を、中心画素を含むｎ×ｎ個の画素の中の最大輝度に置き換える膨張系フィルタと、
ｎ×ｎ（ｎは３以上の奇数）の中心画素の輝度を、中心画素を含むｎ×ｎ個の画素の中の最小輝度に置き換える収縮系フィルタと、
を組み合わせたフィルタである
請求項５に記載の画像処理装置。

【請求項7】

前記直線距離は、前記一方の領域の外縁と、前記他方の領域の外縁との間の最小距離である
請求項１～請求項６のいずれか１項に記載の画像処理装置。

【請求項8】

前記包含領域の前記予め定められた形状は、前記一方の領域及び前記他方の領域の各々に外接する外接矩形である
請求項１～請求項７のいずれか１項に記載の画像処理装置。

【請求項9】

原稿を読み取って得られる読取画像から、前景らしさの特徴を有する複数の領域を検出し、
前記複数の領域から得られる２つの領域の組み合わせ毎に、一方の領域の外縁と、他方の領域の外縁との間の直線距離を導出し、
前記２つの領域の組み合わせ毎に、前記一方の領域及び前記他方の領域を包含する予め定められた形状の領域である包含領域の面積から、前記一方の領域及び前記他方の領域が存在しない部分である隙間部分の面積を導出し、
前記複数の領域の各々について、前記直線距離が予め定められた範囲内で、かつ、前記隙間部分の面積が最小となる組み合わせを選択し、
選択して得られた複数の組み合わせに対して、統合の可否を判定し、判定結果に基づいて、複数の組み合わせの各々を統合する、又は、選択して得られた複数の組み合わせに対して、統合の可否を判定することなく、複数の組み合わせの各々を統合することを、
コンピュータに実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理プログラムに関する。

【背景技術】

【0002】

例えば、特許文献１には、１枚以上のレシートや領収書などの原始証憑を、デジタルカメラや携帯端末のカメラで撮像した画像データや、スキャナー装置で取り込んだ画像データを読み取る会計処理システムが記載されている。この会計処理システムは、画像データから証憑部分を抽出する証憑イメージ切り出し手段と、切り出した証憑イメージの傾きや歪みを補正して矩形に整形する整形手段と、整形した証憑イメージを保存する証憑イメージ登録手段と、を具える。また、この証憑イメージ切り出し手段は、通常モードではレシート抽出閾値の第１のセットを用いて画像データから証憑イメージの切り出しを試行し、第１のセットを用いて画像データから証憑イメージを切り出しできない場合に、レシート抽出閾値の変動幅を変えたレシート抽出閾値の第２のセットを用いて画像データから証憑イメージの切り出しを試行する。

【0003】

また、特許文献２には、人間の直感に近いクラスタリングを行うクラスタリング装置が記載されている。このクラスタリング装置は、多次元データを入力するデータ入力部と、多次元データを分割して複数のクラスタを生成する初期クラスタ生成部と、生成された各クラスタを記録するクラスタ記録部と、各クラスタのそれぞれについてクラスタに属するデータから、あらかじめ与えられたモデルのパラメータを計算し、各クラスタについて計算されたパラメータの値から統合すべきクラスタを選択するクラスタ選択部と、クラスタ選択部によって選択されたクラスタを統合するクラスタ統合部と、クラスタ記録部内のクラスタ集合の評価値を計算するクラスタ評価部と、を備える。

【0004】

また、特許文献３には、原稿画像の抽出精度を高める画像処理装置が記載されている。この画像処理装置は、複数の原稿画像が含まれている画像の低周波な特徴を有する第１領域を抽出する第１抽出手段と、画像の高周波な特徴を有する第２領域を抽出する第２抽出手段と、画像の背景が白色であるか否かに応じて、第１領域と第２領域を組み合わせて、原稿画像の領域を抽出する第３抽出手段と、を有する。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第６５３９８４４号公報

【文献】特開２００６－３５０７３０号公報

【文献】特開２０１８－０８５６７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、レシート、領収書等の原稿をプラテンガラス上に配置して読み取った場合に、原稿の読取画像のエッジを抽出できない場合がある。この場合、原稿の種類に合わせて読取画像の複数の領域を統合することは難しい。

【0007】

本発明は、原稿の読取画像からエッジが抽出できない場合であっても、原稿の種類に合わせて読取画像の複数の領域を統合することができる画像処理装置及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、第１態様に係る画像処理装置は、プロセッサを備え、前記プロセッサが、原稿を読み取って得られる読取画像から、前景らしさの特徴を有する複数の領域を検出し、前記複数の領域から得られる２つの領域の組み合わせ毎に、一方の領域の外縁と、他方の領域の外縁との間の直線距離を導出し、前記２つの領域の組み合わせ毎に、前記一方の領域及び前記他方の領域を包含する予め定められた形状の領域である包含領域の面積から、前記一方の領域及び前記他方の領域が存在しない部分である隙間部分の面積を導出し、前記複数の領域の各々について、前記直線距離が予め定められた範囲内で、かつ、前記隙間部分の面積が最小となる組み合わせを選択して統合する。

【0009】

また、第２態様に係る画像処理装置は、第１態様に係る画像処理装置において、前記プロセッサが、前記複数の領域の各々について選択して得られた複数の組み合わせに対して、予め定められた原稿の種類毎の特性に基づいて、統合の可否を判定する。

【0010】

また、第３態様に係る画像処理装置は、第２態様に係る画像処理装置において、前記特性が、原稿サイズの許容値として表され、前記プロセッサが、前記複数の組み合わせの各々のサイズと、前記許容値とを比較する場合に、前記許容値の小さい順に比較し、比較結果に基づいて、前記複数の組み合わせの各々について統合の可否を判定する。

【0011】

また、第４態様に係る画像処理装置は、第２態様又は第３態様に係る画像処理装置において、前記原稿が、複数の原稿であり、前記プロセッサが、前記複数の原稿を配置する際の配置条件が予め定義されている場合、前記配置条件を更に用いて、前記統合の可否を判定する。

【0012】

また、第５態様に係る画像処理装置は、第１態様～第４態様のいずれか１の態様に係る画像処理装置において、前記プロセッサが、前記前景らしさの特徴を検出可能なフィルタを用いて、前記複数の領域を検出する。

【0013】

また、第６態様に係る画像処理装置は、第５態様に係る画像処理装置において、前記フィルタが、ｎ×ｎ（ｎは３以上の奇数）の中心画素の輝度を、中心画素を含むｎ×ｎ個の画素の中の最大輝度に置き換える膨張系フィルタと、ｎ×ｎ（ｎは３以上の奇数）の中心画素の輝度を、中心画素を含むｎ×ｎ個の画素の中の最小輝度に置き換える収縮系フィルタと、を組み合わせたフィルタであるとされている。

【0014】

また、第７態様に係る画像処理装置は、第１態様～第６態様のいずれか１の態様に係る画像処理装置において、前記直線距離が、前記一方の領域の外縁と、前記他方の領域の外縁との間の最小距離であるとされている。

【0015】

また、第８態様に係る画像処理装置は、第１態様～第７態様のいずれか１の態様に係る画像処理装置において、前記包含領域の前記予め定められた形状が、前記一方の領域及び前記他方の領域の各々に外接する外接矩形であるとされている。

【0016】

更に、上記目的を達成するために、第９態様に係る画像処理プログラムは、原稿を読み取って得られる読取画像から、前景らしさの特徴を有する複数の領域を検出し、前記複数の領域から得られる２つの領域の組み合わせ毎に、一方の領域の外縁と、他方の領域の外縁との間の直線距離を導出し、前記２つの領域の組み合わせ毎に、前記一方の領域及び前記他方の領域を包含する予め定められた形状の領域である包含領域の面積から、前記一方の領域及び前記他方の領域が存在しない部分である隙間部分の面積を導出し、前記複数の領域の各々について、前記直線距離が予め定められた範囲内で、かつ、前記隙間部分の面積が最小となる組み合わせを選択して統合することを、コンピュータに実行させる。

【発明の効果】

【0017】

第１態様及び第９態様によれば、原稿の読取画像からエッジが抽出できない場合であっても、原稿の種類に合わせて読取画像の複数の領域を統合することができる、という効果を有する。

【0018】

第２態様によれば、原稿の種類毎の特性を考慮しない場合と比較して、原稿の種類に合わせて統合の可否を精度良く判定することができる、という効果を有する。

【0019】

第３態様によれば、原稿サイズの許容値の大きい順に比較する場合と比較して、原稿の種類に合わせて統合の可否を精度良く判定することができる、という効果を有する。

【0020】

第４態様によれば、複数の原稿の配置条件を考慮しない場合と比較して、原稿の種類に合わせて統合の可否を精度良く判定することができる、という効果を有する。

【0021】

第５態様によれば、フィルタを用いない場合と比較して、前景らしさの特徴を有する複数の領域を適切に検出することができる、という効果を有する。

【0022】

第６態様によれば、膨張系フィルタ及び収縮系フィルタを組み合わせたフィルタを用いない場合と比較して、前景らしさの特徴を有する複数の領域を適切に検出することができる、という効果を有する。

【0023】

第７態様によれば、直線距離を最小距離にしない場合と比較して、読取画像の複数の領域を適切に統合することができる、という効果を有する。

【0024】

第８態様によれば、包含領域の形状を外接矩形にしない場合と比較して、読取画像の複数の領域を適切に統合することができる、という効果を有する。

【図面の簡単な説明】

【0025】

【図1】実施形態に係る画像処理装置の電気的な構成の一例を示すブロック図である。

【図2】複数枚のレシートの読取画像における複数の領域を統合した状態の説明に供する図である。

【図3】実施形態に係る画像処理装置の機能的な構成の一例を示すブロック図である。

【図4】実施形態に係る領域検出処理の説明に供する図である。

【図5】（Ａ）は実施形態に係る直線距離の導出方法の説明に供する図である。（Ｂ）は実施形態に係る直線距離行列の一例を示す図である。

【図6】（Ａ）は実施形態に係る隙間面積の導出方法の説明に供する図である。（Ｂ）は実施形態に係る隙間面積行列の一例を示す図である。

【図7】（Ａ）は実施形態に係る直線距離行列と複数の領域との関係を示す図である。（Ｂ）は実施形態に係る直線距離行列と隙間面積行列との関係を示す図である。

【図8】（Ａ）は実施形態に係る領域の組み合わせと原稿サイズとの関係の一例を示す図である。（Ｂ）は実施形態に係る領域の組み合わせと原稿サイズとの関係の他の例を示す図である。（Ｃ）は実施形態に係る領域の組み合わせと原稿サイズとの関係の更に他の例を示す図である。

【図9】実施形態に係る統合処理における再計算の説明に供する図である。

【図10】実施形態に係る画像処理プログラムによる処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0026】

以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。

【0027】

図１は、本実施形態に係る画像処理装置１０の電気的な構成の一例を示すブロック図である。

【0028】

図１に示すように、本実施形態に係る画像処理装置１０は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、入出力インターフェース（Ｉ／Ｏ）１４と、記憶部１５と、表示部１６と、操作部１７と、原稿読取部１８と、通信部１９と、を備えている。

【0029】

本実施形態に係る画像処理装置１０には、例えば、原稿読取部１８を一体的に備えた原稿読取装置が適用される。また、原稿読取部１８を別体としてもよい。この場合、画像処理装置１０には、例えば、サーバコンピュータ、パーソナルコンピュータ（ＰＣ：Personal Computer）等の汎用的なコンピュータ装置が適用される。

【0030】

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及びＩ／Ｏ１４は、バスを介して各々接続されている。Ｉ／Ｏ１４には、記憶部１５と、表示部１６と、操作部１７と、原稿読取部１８と、通信部１９と、を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ１４を介して、ＣＰＵ１１と相互に通信可能とされる。

【0031】

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及びＩ／Ｏ１４によって制御部が構成される。制御部は、画像処理装置１０の一部の動作を制御するサブ制御部として構成されてもよいし、画像処理装置１０の全体の動作を制御するメイン制御部の一部として構成されてもよい。制御部の各ブロックの一部又は全部には、例えば、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御部の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。

【0032】

記憶部１５としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等が用いられる。記憶部１５には、本実施形態に係る画像処理プログラム１５Ａが記憶される。なお、この画像処理プログラム１５Ａは、ＲＯＭ１２に記憶されていてもよい。

【0033】

画像処理プログラム１５Ａは、例えば、画像処理装置１０に予めインストールされていてもよい。画像処理プログラム１５Ａは、不揮発性の記憶媒体に記憶して、又はネットワークを介して配布して、画像処理装置１０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が想定される。

【0034】

表示部１６には、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）ディスプレイ等が用いられる。表示部１６は、タッチパネルを一体的に有していてもよい。操作部１７には、例えば、キーボードやマウス等の操作入力用のデバイスが設けられている。表示部１６及び操作部１７は、画像処理装置１０のユーザから各種の指示を受け付ける。表示部１６は、ユーザから受け付けた指示に応じて実行された処理の結果や、処理に対する通知等の各種の情報を表示する。

【0035】

原稿読取部１８は、画像処理装置１０の上部に設けられた自動原稿送り装置（図示省略）の給紙台に置かれた原稿を１枚ずつ取り込み、取り込んだ原稿を光学的に読み取って画像情報を得る。あるいは、原稿読取部１８は、プラテンガラス等の原稿台に置かれた原稿を光学的に読み取って画像情報を得る。

【0036】

通信部１９は、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークに接続されており、画像形成装置及び他のＰＣ等の外部機器との間でネットワークを介して通信が可能とされる。

【0037】

ところで、上述したように、レシート、領収書等の原稿をプラテンガラス上に配置して読み取った場合に、原稿の読取画像のエッジを抽出できない場合がある。この場合、原稿の種類に合わせて読取画像の複数の領域を統合することは難しい。これについて、図２を参照して説明する。

【0038】

図２は、複数枚のレシートの読取画像における複数の領域を統合した状態の説明に供する図である。

【0039】

（Ｓ１）では、複数枚のレシートをプラテンガラス上に載置した状態を示している。これら複数枚のレシートには、一例として、白色の感熱紙が用いられている。

【0040】

（Ｓ２）では、プラテンガラス上に載置された複数枚のレシートを光学的に読み取って得られた読取画像を示している。この読取画像には、各レシートのエッジが欠落していることが分かる。

【0041】

（Ｓ３）では、読取画像に含まれる複数の領域を統合した場合に、理想的な統合結果を示している。一方、（Ｓ４）では、読取画像に含まれる複数の領域を統合した場合に、誤った統合結果を示している。（Ｓ４）のようになる理由は、レシートのような原稿では、エッジが検出できない上に、単純に距離依存で統合を行うと、近接して配置した場合等に異なるレシートの隣り合う領域が統合されてしまうためである。

【0042】

本実施形態に係る原稿は、１枚であってもよいし、複数枚であってもよい。本実施形態においては、一例として、複数枚のレシートをマルチクロップスキャンする場合について説明する。ここでいうマルチクロップスキャンとは、プラテンガラスにセットされた複数枚の原稿を読み取り、読み取って得られた読取画像から個々の原稿画像を自動的に切り出して個別にファイル化する機能のことをいう。

【0043】

本実施形態に係る画像処理装置１０のＣＰＵ１１は、記憶部１５に記憶されている画像処理プログラム１５ＡをＲＡＭ１３に書き込んで実行することにより、図３に示す各部として機能する。

【0044】

図３は、本実施形態に係る画像処理装置１０の機能的な構成の一例を示すブロック図である。

【0045】

図３に示すように、本実施形態に係る画像処理装置１０のＣＰＵ１１は、領域検出部１１Ａ、距離導出部１１Ｂ、面積導出部１１Ｃ、組み合わせ選択部１１Ｄ、統合可否判定部１１Ｅ、及び統合処理部１１Ｆとして機能する。

【0046】

本実施形態に係る記憶部１５には、特性情報１５Ｂが記憶されている。この特性情報１５Ｂは、予め定められた原稿の種類毎の特性を示す情報であり、統合の可否を判定する際に用いられる情報である。この特性情報１５Ｂには、原稿の形状を示す情報（例えば、原稿の幅等）が含まれる。

【0047】

領域検出部１１Ａは、原稿を読み取って得られる読取画像から、前景らしさの特徴を有する複数の領域を検出する。具体的に、領域検出部１１Ａは、一例として、図４に示すように、読取画像を２値化する。

【0048】

図４は、本実施形態に係る領域検出処理の説明に供する図である。

【0049】

図４に示すように、領域検出部１１Ａは、前景らしさの特徴を検出可能なフィルタを用いて、複数の領域を検出する。このフィルタには、一例として、膨張系フィルタと、収縮系フィルタとを組み合わせたフィルタが適用される。膨張系フィルタとは、ｎ×ｎ（ｎは３以上の奇数）の中心画素の輝度を、中心画素を含むｎ×ｎ個の画素の中の最大輝度に置き換えるものである。収縮系フィルタとは、ｎ×ｎ（ｎは３以上の奇数）の中心画素の輝度を、中心画素を含むｎ×ｎ個の画素の中の最小輝度に置き換えるものである。

【0050】

距離導出部１１Ｂは、領域検出部１１Ａにより検出された複数の領域から得られる２つの領域の組み合わせ毎に、一方の領域の外縁と、他方の領域の外縁との間の直線距離を導出する。この直線距離は、例えば、一方の領域の外縁と、他方の領域の外縁との間の最小距離として表される。具体的に、一方の領域をｇｉ（ｉ＝１、２、３、・・・、Ｎ）、他方の領域をｇｊ（ｊ＝１、２、３、・・・、Ｎ）、領域ｇｉと領域ｇｊとの間の直線距離をｄａ（ｇｉ，ｇｊ）とした場合、ｄａ（ｇｉ，ｇｊ）は、下記の式（１）のように定義される。なお、直線距離ｄａ（ｇｉ，ｇｉ）は、例えば、ユークリッド距離で表される。

【0051】

ｄａ（ｇｉ，ｇｊ）
＝ｉｆ（ｇｉとｇｊの領域が交差）０
ｅｌｓｅ｛ｍｉｎ（最短距離（Ｅ（ｇｉの４辺線分），Ｅ（ｇｊの４辺線分）））｝
・・・（１）

【0052】

図５（Ａ）は、本実施形態に係る直線距離ｄａ（ｇｉ，ｇｊ）の導出方法の説明に供する図である。図５（Ｂ）は、本実施形態に係る直線距離行列Ｒａの一例を示す図である。

【0053】

図５（Ａ）に示す読取画像では、複数の領域＃１～領域＃Ｎ（ここではＮ＝６）が検出されている。これらの領域＃１～領域＃６は、ラベリング処理され、領域間の識別が可能な状態とされている。この場合、上記式（１）を用いて、領域＃１と領域＃２との組み合わせについて直線距離ｄａ（ｇ１，ｇ２）が導出される。同様に、領域＃１と領域＃３との組み合わせについて直線距離ｄａ（ｇ１，ｇ３）が導出され、領域＃１と領域＃４との組み合わせについて直線距離ｄａ（ｇ１，ｇ４）が導出される。同様に、領域＃１と領域＃５との組み合わせについて直線距離ｄａ（ｇ１，ｇ５）が導出され、領域＃１と領域＃６との組み合わせについて直線距離ｄａ（ｇ１，ｇ６）が導出される。

【0054】

領域＃２～領域＃６の各々についても上記と同様に他の領域との間の直線距離ｄａ（ｇｉ，ｇｊ）が導出される。

【0055】

図５（Ａ）に示すように、領域同士の外周位置に依存した直線距離が導出される。例えば、各領域の外周点列間で最小距離となる２点を選択すればよい。２つの領域（ｇｉ，ｇｊ）の全ての組み合わせについて直線距離ｄａ（ｇｉ，ｇｊ）が導出される。そして、この導出結果を用いて、一例として、図５（Ｂ）に示す直線距離行列Ｒａが生成される。この直線距離行列Ｒａは、読取画像に対応付けられて記憶部１５に記憶される。

【0056】

面積導出部１１Ｃは、領域検出部１１Ａにより検出された複数の領域から得られる２つの領域の組み合わせ毎に、一方の領域及び他方の領域を包含する包含領域の面積から、一方の領域及び他方の領域が存在しない部分である隙間部分の面積を導出する。この包含領域は、予め定められた形状の領域である。この予め定められた形状は、一例として、一方の領域及び他方の領域の各々に外接する外接矩形である。具体的に、一方の領域ｇｉの面積をＡｇｉ、他方の領域ｇｊの面積をＡｇｊ、一方の領域ｇｉ及び他方の領域ｇｊを包含する包含領域の面積をＡ（ｇｉ，ｇｊ）、隙間部分の面積（以下、「隙間面積」という。）をｄｈ（ｇｉ，ｇｊ）とした場合、ｄｈ（ｇｉ，ｇｊ）は、下記の式（２）のように定義される。

【0057】

ｄｈ（ｇｉ，ｇｊ）
＝Ａ（ｇｉ，ｇｊ）－Ａｇｉ－Ａｇｊ
・・・（２）

【0058】

図６（Ａ）は、本実施形態に係る隙間面積ｄｈ（ｇｉ，ｇｊ）の導出方法の説明に供する図である。図６（Ｂ）は、本実施形態に係る隙間面積行列Ｒｈの一例を示す図である。

【0059】

図６（Ａ）に示す読取画像では、図５(Ａ)の例と同様に、複数の領域＃１～領域＃Ｎ（ここではＮ＝６）が検出されている。この場合、上記式（２）を用いて、領域＃１と領域＃２との組み合わせについて隙間面積ｄｈ（ｇ１，ｇ２）が導出される。隙間面積ｄｈ（ｇ１，ｇ２）は、図６（Ａ）のハッチングで示す部分の面積である。つまり、ｄｈ（ｇ１，ｇ２）＝Ａ（ｇ１，ｇ２）－Ａｇ１－Ａｇ２、により導出される。但し、Ａｇ１は領域＃１の面積、Ａｇ２は領域＃２の面積、Ａ（ｇ１，ｇ２）は領域＃１及び領域＃２の各々に外接する外接矩形の面積を示す。同様に、領域＃１と領域＃３との組み合わせについて隙間面積ｄｈ（ｇ１，ｇ３）が導出され、領域＃１と領域＃４との組み合わせについて隙間面積ｄｈ（ｇ１，ｇ４）が導出される。同様に、領域＃１と領域＃５との組み合わせについて隙間面積ｄｈ（ｇ１，ｇ５）が導出され、領域＃１と領域＃６との組み合わせについて隙間面積ｄｈ（ｇ１，ｇ６）が導出される。

【0060】

領域＃２～領域＃６の各々についても上記と同様に他の領域との間の隙間面積ｄｈ（ｇｉ，ｇｊ）が導出される。例えば、上記式（２）を用いて、領域＃４と領域＃５との組み合わせについて隙間面積ｄｈ（ｇ４，ｇ５）が導出される。隙間面積ｄｈ（ｇ４，ｇ５）は、図６（Ａ）のハッチングで示す部分の面積である。つまり、領域＃１と領域＃２との組み合わせと同様に、ｄｈ（ｇ４，ｇ５）＝Ａ（ｇ４，ｇ５）－Ａｇ４－Ａｇ５、により導出される。但し、Ａｇ４は領域＃４の面積、Ａｇ５は領域＃５の面積、Ａ（ｇ４，ｇ５）は領域＃４及び領域＃５の各々に外接する外接矩形の面積を示す。

【0061】

図６（Ａ）に示すように、領域同士の包含関係に依存した隙間面積が導出される。隙間面積は、例えば、２つの領域を包含する外接矩形を定義し、外接矩形の面積と、当該２つの領域の面積との差を取ることで得られる。２つの領域（ｇｉ，ｇｊ）の全ての組み合わせについて隙間面積ｄｈ（ｇｉ，ｇｊ）が導出される。そして、この導出結果を用いて、一例として、図６（Ｂ）に示す隙間面積行列Ｒｈが生成される。この隙間面積行列Ｒｈは、読取画像に対応付けられて記憶部１５に記憶される。

【0062】

組み合わせ選択部１１Ｄは、記憶部１５に記憶された直線距離行列Ｒａ及び隙間面積行列Ｒｈを用いて、複数の領域の各々について、直線距離ｄａ（ｇｉ，ｇｊ）が予め定められた範囲内で、かつ、隙間面積ｄｈ（ｇｉ，ｇｊ）が最小となる組み合わせを選択する。ここで、図７（Ａ）及び図７（Ｂ）を参照して、組み合わせ選択処理について具体的に説明する。

【0063】

図７（Ａ）は、本実施形態に係る直線距離行列Ｒａと複数の領域との関係を示す図である。図７（Ｂ）は、本実施形態に係る直線距離行列Ｒａと隙間面積行列Ｒｈとの関係を示す図である。

【0064】

図７（Ａ）に示すように、直線距離行列Ｒａを参照することにより、直線距離ｄａ（ｇｉ，ｇｊ）が閾値（例えば「１５０」等）以内となる組み合わせが検出される。図７（Ａ）の例では、領域＃１と領域＃２との組み合わせ、領域＃１と領域＃３との組み合わせ、及び領域＃１と領域＃４との組み合わせは、直線距離ｄａ（ｇｉ，ｇｊ）が閾値以内であることを示す。領域＃１と領域＃５との組み合わせ及び領域＃１と領域＃６との組み合わせは、直線距離ｄａ（ｇｉ，ｇｊ）が閾値を超えていることを示す。直線距離行列Ｒａにおいて、直線距離ｄａ（ｇｉ，ｇｊ）が閾値を超える組み合わせを「ＮＧ」とする。図７（Ａ）の直線距離行列Ｒａでは、領域＃１と領域＃Ｎとの組み合わせが「ＮＧ」となる。

【0065】

図７（Ｂ）に示す隙間面積行列Ｒｈにおいて、上記で「ＮＧ」とされた組み合わせに対応する隙間面積ｄｈ（ｇｉ，ｇｊ）を禁則値「φ」とする。図７（Ｂ）の例では、領域＃１と領域＃Ｎとの組み合わせが「ＮＧ」であるため、禁則値「φ」となる。隙間面積行列Ｒｈにおける禁則値「φ」以外の数値を有する組み合わせの中で各領域について最小値をとる組み合わせが選択される。図７（Ｂ）の例では、ある領域について最小値「５」をとる組み合わせが選択されている。なお、隙間面積行列Ｒｈの値が全て禁則値「φ」である場合、組み合わせの選択は行われない。

【0066】

統合可否判定部１１Ｅは、組み合わせ選択部１１Ｄにより複数の領域の各々について選択して得られた複数の組み合わせに対して、予め定められた原稿の種類毎の特性に基づいて、統合の可否を判定する。具体的に、統合可否判定部１１Ｅは、上述の特性情報１５Ｂを用いて統合の可否を判定する。特性情報１５Ｂには、一例として、原稿の種類がレシートである場合、「幅８０ｍｍ以下、高さ無制限」という特性が設定され、原稿の種類が領収書である場合、「幅１５０ｍｍ以下、高さ無制限」という特性が設定されている。つまり、この場合、特性情報１５Ｂは、原稿サイズの許容値として表される。

【0067】

統合可否判定部１１Ｅは、組み合わせ選択部１１Ｄにより得られた複数の組み合わせの各々のサイズと、特性情報１５Ｂの許容値とを比較する場合、許容値の小さい順に比較し、比較結果に基づいて、複数の組み合わせの各々について統合の可否を判定する。ここで、図８（Ａ）～図８（Ｃ）を参照して、統合可否判定処理について具体的に説明する。

【0068】

図８（Ａ）は、本実施形態に係る領域の組み合わせと原稿サイズとの関係の一例を示す図である。図８（Ｂ）は、本実施形態に係る領域の組み合わせと原稿サイズとの関係の他の例を示す図である。図８（Ｃ）は、本実施形態に係る領域の組み合わせと原稿サイズとの関係の更に他の例を示す図である。

【0069】

図８（Ａ）に示す領域＃３及び領域＃５の組み合わせのサイズは、幅Ｗ１[ｍｍ]と算出されている。ここで、幅Ｗ１[ｍｍ]と特性情報１５Ｂの許容値とが特性情報１５Ｂの許容値の小さい順に比較される。この場合、８０ｍｍ（レシート）、１５０ｍｍ（領収書）の順に比較される。なお、ここでは、高さｈ１[ｍｍ]についての制約がないため、比較対象とされない。図８（Ａ）の例では、Ｗ１[ｍｍ]＜８０ｍｍ、であるため、領域＃３及び領域＃５の組み合わせはレシートとして統合可能と判定される。

【0070】

図８（Ｂ）に示す領域＃３及び領域＃４の組み合わせのサイズ、並びに、領域＃５及び領域＃６の組み合わせのサイズの各々は、幅Ｗ２[ｍｍ]と算出されている。ここで、図８（Ａ）の例と同様に、幅Ｗ２[ｍｍ]と特性情報１５Ｂの許容値とが特性情報１５Ｂの許容値の小さい順に比較される。なお、図８（Ａ）の例と同様に、高さｈ２[ｍｍ]についての制約がないため、比較対象とされない。図８（Ｂ）の例では、Ｗ２[ｍｍ]≧１５０ｍｍ、であるため、領域＃３及び領域＃４の組み合わせ、並びに、領域＃５及び領域＃６の組み合わせは各々統合不可と判定される。なお、８０ｍｍ≦Ｗ２[ｍｍ]＜１５０ｍｍである場合、領域＃３及び領域＃４の組み合わせ、並びに、領域＃５及び領域＃６の組み合わせは各々領収書として統合可能と判定される。

【0071】

図８（Ｃ）に示す領域＃１及び領域＃３の組み合わせのサイズ、並びに、領域＃３及び領域＃５の組み合わせのサイズの各々は、幅Ｗ３[ｍｍ]と算出されている。ここで、図８（Ａ）の例と同様に、幅Ｗ３[ｍｍ]と特性情報１５Ｂの許容値とが特性情報１５Ｂの許容値の小さい順に比較される。なお、図８（Ａ）の例と同様に、高さｈ３[ｍｍ]についての制約がないため、比較対象とされない。図８（Ｃ）の例では、Ｗ３[ｍｍ]＜８０ｍｍ、であるため、領域＃１及び領域＃３の組み合わせ、並びに、領域＃３及び領域＃５の組み合わせは各々レシートとして統合可能と判定される。

【0072】

また、複数の原稿を配置する際の配置条件が予め定義されていてもよい。この場合、統合可否判定部１１Ｅは、配置条件を更に用いて、統合の可否を判定する。配置条件とは、例えば、「〇〇ｃｍ以上離して配置する。」等の条件である。この配置条件をユーザに提示することで、配置条件に従って複数の原稿が配置される。上述の特性情報１５Ｂに加えて、この配置条件を考慮することにより、統合の可否が精度良く判定される。

【0073】

統合処理部１１Ｆは、統合可否判定部１１Ｅによる判定結果に基づいて、複数の組み合わせの各々について統合を行い、直線距離ｄａ（ｇｉ，ｇｊ）及び隙間面積ｄｈ（ｇｉ，ｇｊ）を再計算する。具体的に、組み合わせる領域同士が統合可能な場合、２つの領域を統合したときの各種情報（サイズ等）を更新する。特に、隙間面積ｄｈ（ｇｉ，ｇｊ）について、一例として、図９に示すように、２つの領域の組み合わせにおける統合済みの値は禁則値「φ」に更新され、統合済み領域と関連のある行及び列の値が更新される。

【0074】

図９は、本実施形態に係る統合処理における再計算の説明に供する図である。

【0075】

図９に示す隙間面積行列Ｒｈの例では、「５」→「φ」に更新され、「４００」→「１５０」、「１００」→「８０」にそれぞれ更新されている。

【0076】

ここで、統合処理部１１Ｆによる統合結果をプレビュー表示で確認するようにしてもよい。統合結果をプレビュー表示で確認した後に、統合結果が正しいと判断した場合、統合結果を画像処理装置１０の連携先である会計システム等に送信してもよい。また、プレビュー表示された統合結果が誤っていると判断した場合、ユーザが正しい統合状態に修正するようにしてもよい。なお、統合結果として表される統合された領域について、統合された領域を含む領域を原稿画像として取得してもよいし、あるいは、統合された領域から文字情報をＯＣＲ（Optical Character Recognition）によって抽出するようにしてもよい。

【0077】

また、上記では、統合可否判定部１１Ｅを含む形態について説明したが、統合可否判定部１１Ｅを含まない形態としてもよい。この場合、統合処理部１１Ｆは、組み合わせ選択部１１Ｄにより選択して得られた複数の組み合わせについて、統合可否判定処理を行うことなく、統合する処理を行う。

【0078】

次に、図１０を参照して、本実施形態に係る画像処理装置１０の作用を説明する。

【0079】

図１０は、本実施形態に係る画像処理プログラム１５Ａによる処理の流れの一例を示すフローチャートである。

【0080】

まず、画像処理装置１０に対して、ユーザによりマルチクロップスキャン処理の開始が指示されると、画像処理プログラム１５Ａが起動され、以下の各ステップを実行する。

【0081】

図１０のステップ１００では、ＣＰＵ１１が、一例として、上述の図４に示すように、複数の原稿を読み取って得られた読取画像から、複数の領域を検出する。

【0082】

ステップ１０１では、ＣＰＵ１１が、ステップ１００で検出した複数の領域から１つの領域を特定する。

【0083】

ステップ１０２では、ＣＰＵ１１が、一例として、上述の図５（Ａ）及び図５（Ｂ）に示すように、ステップ１０１で特定した領域と他の領域との間の直線距離ｄａ（ｇｉ，ｇｊ）を導出する。具体的には、上述の式（１）を用いて、２つの領域の組み合わせ毎に直線距離ｄａ（ｇｉ，ｇｊ）を導出する。

【0084】

ステップ１０３では、ＣＰＵ１１が、一例として、上述の図６（Ａ）及び図６（Ｂ）に示すように、ステップ１０１で特定した領域と他の領域との間の隙間部分の面積である隙間面積ｄｈ（ｇｉ，ｇｊ）を導出する。具体的には、上述の式（２）を用いて、２つの領域の組み合わせ毎に隙間面積ｄｈ（ｇｉ，ｇｊ）を導出する。

【0085】

ステップ１０４では、ＣＰＵ１１が、全領域について直線距離ｄａ（ｇｉ，ｇｊ）及び隙間面積ｄｈ（ｇｉ，ｇｊ）の導出が終了したか否かを判定する。全領域について直線距離ｄａ（ｇｉ，ｇｊ）及び隙間面積ｄｈ（ｇｉ，ｇｊ）の導出が終了したと判定した場合（肯定判定の場合）、ステップ１０５に移行し、全領域について直線距離及び隙間面積の導出が終了していないと判定した場合（否定判定の場合）、ステップ１０１に戻り処理を繰り返す。

【0086】

ステップ１０５では、ＣＰＵ１１が、一例として、上述の図７（Ａ）及び図７（Ｂ）に示すように、所定の条件を満たす組み合わせを選択できたか否かを判定する。ここでいう所定の条件とは、領域間の直線距離ｄａ（ｇｉ，ｇｊ）が閾値以内で、かつ、領域間の隙間面積ｄｈ（ｇｉ，ｇｊ）が最小となる、という条件である。所定の条件を満たす組み合わせを選択できたと判定した場合（肯定判定の場合）、ステップ１０６に移行し、所定の条件を満たす組み合わせを選択できないと判定した場合（否定判定の場合）、本画像処理プログラム１５Ａによる処理を終了する。

【0087】

ステップ１０６では、ＣＰＵ１１が、ステップ１０５で選択した複数の組み合わせから、１つの組み合わせを特定する。

【0088】

ステップ１０７では、ＣＰＵ１１が、一例として、上述の図８（Ａ）～図８（Ｃ）に示すように、ステップ１０６で特定した組み合わせが統合可能か否かを判定する。特定した組み合わせが統合可能であると判定した場合（肯定判定の場合）、ステップ１０８に移行し、特定した組み合わせが統合不可であると判定した場合（否定判定の場合）、ステップ１０６に戻り処理を繰り返す。

【0089】

ステップ１０８では、ＣＰＵ１１が、一例として、上述の図９に示すように、ステップ１０７で統合可能と判定した組み合わせについて統合処理を行い、直線距離ｄａ（ｇｉ，ｇｊ）及び隙間面積ｄｈ（ｇｉ，ｇｊ）を再計算する。

【0090】

ステップ１０９では、ＣＰＵ１１が、全ての組み合わせについて統合判定が終了したか否かを判定する。全ての組み合わせについて統合判定が終了していないと判定した場合（否定判定の場合）、ステップ１０６に戻り処理を繰り返し、全ての組み合わせについて統合判定が終了したと判定した場合（肯定判定の場合）、本画像処理プログラム１５Ａによる一連の処理を終了する。

【0091】

このように本実施形態によれば、原稿の読取画像からエッジが抽出できない場合であっても、原稿の種類に合わせて読取画像の複数の領域が統合される。

【0092】

なお、上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ： Central Processing Unit、等）や、専用のプロセッサ（例えば、ＧＰＵ： Graphics Processing Unit、ＡＳＩＣ： Application Specific Integrated Circuit、ＦＰＧＡ： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。

【0093】

また、上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【0094】

以上、実施形態に係る画像処理装置を例示して説明した。実施形態は、画像処理装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。

【0095】

その他、上記実施形態で説明した画像処理装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

【0096】

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

【0097】

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

【符号の説明】

【0098】

１０ 画像処理装置
１１ ＣＰＵ
１１Ａ 領域検出部
１１Ｂ 距離導出部
１１Ｃ 面積導出部
１１Ｄ 組み合わせ選択部
１１Ｅ 統合可否判定部
１１Ｆ 統合処理部
１２ ＲＯＭ
１３ ＲＡＭ
１４ Ｉ／Ｏ
１５ 記憶部
１５Ａ 画像処理プログラム
１５Ｂ 特性情報
１６ 表示部
１７ 操作部
１８ 通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】