特許 6337680 画像処理システム、画像処理装置、プログラム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6337680

(24)【登録日】2018年5月18日

(45)【発行日】2018年6月6日

(54)【発明の名称】画像処理システム、画像処理装置、プログラム及び画像処理方法

(51)【国際特許分類】

   H04N 1/387 20060101AFI20180528BHJP

   G06T 1/00 20060101ALI20180528BHJP

【ＦＩ】

   H04N1/387

   G06T1/00 500A

【請求項の数】8

【全頁数】20

(21)【出願番号】特願2014-162376(P2014-162376)

(22)【出願日】2014年8月8日

(65)【公開番号】特開2016-39525(P2016-39525A)

(43)【公開日】2016年3月22日

【審査請求日】2017年7月20日

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士ゼロックス株式会社

(74)【代理人】

【識別番号】100104880

【弁理士】

【氏名又は名称】古部 次郎

(74)【代理人】

【識別番号】100125346

【弁理士】

【氏名又は名称】尾形 文雄

(74)【代理人】

【識別番号】100166981

【弁理士】

【氏名又は名称】砂田 岳彦

(72)【発明者】

【氏名】橋本 涼子

(72)【発明者】

【氏名】森 太郎

(72)【発明者】

【氏名】飯塚 深雪

(72)【発明者】

【氏名】佐藤 浩一

(72)【発明者】

【氏名】御厨 洋

(72)【発明者】

【氏名】古賀 孝久

(72)【発明者】

【氏名】末吉 直樹

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 特開２００７−１７４０３７（ＪＰ，Ａ）

【文献】 特開２００６−３５０６８０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／３８７

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

文字画像とマーク画像とを含む画像を取得する取得手段と、
前記画像から、前記マーク画像のうち前記文字画像と重なる部分を除く他の部分を抽出したマーク部分画像を生成するマーク部分画像生成手段と、
前記マーク部分画像生成手段にて生成された前記マーク部分画像を膨張させた膨張画像を生成する膨張画像生成手段と、
前記膨張画像生成手段にて生成された前記膨張画像と前記画像との共通部分を抽出した共通画像を生成する共通画像生成手段と
を備え、
前記画像は、複数の前記文字画像を含み、
前記画像に含まれる各前記文字画像を取囲む矩形画像を生成する矩形画像生成手段を備え、
前記共通画像生成手段は、前記矩形画像と前記共通画像との共通部分を抽出した領域画像を生成することを特徴とする画像処理システム。

【請求項2】

前記共通画像生成手段は、前記膨張画像生成手段にて生成された前記膨張画像を収縮させ、収縮させた当該膨張画像と前記画像との共通部分を抽出して前記共通画像を生成することを特徴とする請求項１記載の画像処理システム。

【請求項3】

前記共通画像生成手段にて生成された前記共通画像を収縮した収縮共通画像を生成する収縮画像生成手段を備えることを特徴とする請求項１記載の画像処理システム。

【請求項4】

前記膨張画像生成手段は、前記画像に含まれる前記文字画像の大きさに応じて膨張させる度合いを調整することを特徴とする請求項１乃至３の何れか１項記載の画像処理システム。

【請求項5】

文字画像と色が異なる複数のマーク画像とを含む画像を取得する取得手段と、
前記画像から、一の色の前記マーク画像のうち前記文字画像と重なる部分を除く他の部分を抽出したマーク部分画像を生成するマーク部分画像生成手段と、
前記マーク部分画像生成手段にて生成された前記マーク部分画像を膨張させた膨張画像を生成する膨張画像生成手段と、
前記画像から前記文字画像を抽出した文字部分画像を生成する文字部分画像生成手段と、
前記文字部分画像と前記マーク部分画像とを結合させて結合画像を生成する結合画像生成手段と、
前記膨張画像生成手段にて生成された前記膨張画像と前記結合画像との共通部分を抽出した共通画像を生成する共通画像生成手段と
を備えることを特徴とする画像処理システム。

【請求項6】

文字画像とマーク画像とを含む画像から、当該マーク画像のうち当該文字画像と重なる部分を除く他の部分を抽出したマーク部分画像を生成するマーク部分画像生成部と、
前記マーク部分画像生成部にて生成された前記マーク部分画像を膨張させた膨張画像を生成する膨張画像生成部と、
前記膨張画像生成部にて生成された前記膨張画像と前記画像との共通部分を抽出した共通画像を生成する共通画像生成部と
を備え、
前記画像は、複数の前記文字画像を含み、
前記画像に含まれる各前記文字画像を取囲む矩形画像を生成する矩形画像生成手段を備え、
前記共通画像生成部は、前記矩形画像と前記共通画像との共通部分を抽出した領域画像を生成することを特徴とする画像処理装置。

【請求項7】

画像処理装置に、
複数の文字画像とマーク画像とを含む画像から、当該マーク画像のうち当該文字画像と重なる部分を除く他の部分を抽出したマーク部分画像を生成する機能と、
前記マーク部分画像を膨張させた膨張画像を生成する機能と、
前記画像に含まれる各前記文字画像を取囲む矩形画像を生成する機能と、
前記膨張画像と前記画像との共通部分を抽出した共通画像を生成する機能と、
前記矩形画像と前記共通画像との共通部分を抽出した領域画像を生成する機能と
を実現させるプログラム。

【請求項8】

文字画像とマーク画像とを含む画像を取得するステップと、
前記画像から、前記マーク画像のうち前記文字画像と重なる部分を除く他の部分を抽出したマーク部分画像を生成するステップと、
前記マーク部分画像を膨張させた膨張画像を生成するステップと、
前記画像に含まれる各前記文字画像を取囲む矩形画像を生成するステップと、
前記膨張画像と前記画像との共通部分を抽出した共通画像を生成するステップと、
前記矩形画像と前記共通画像との共通部分を抽出した領域画像を生成するステップと
を含む画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システム、画像処理装置、プログラム及び画像処理方法に関する。

【背景技術】

【0002】

公報記載の従来技術として、例えば特許文献１には、原稿画像を読取り、画像情報を発生する読取手段と、原稿の所望領域を指定する指定手段と、前記指定手段による領域指定に従って前記所望領域を示す領域信号を発生する発生手段と、複数の画像情報を記憶可能な記憶手段を有し、複数の画像情報を合成する記憶合成手段と、前記読取り手段により発生された画像情報を２値化する手段と、前記読取り手段より発生された画像情報を疑似中間調処理する手段と、前記記憶手段の書き込み、読出しを制御する制御手段を備えてなり、前記記憶手段に、前記所望領域を示す領域信号を前記制御手段により記憶させ、前記記憶手段から前記制御手段により前記領域信号を読出し、前記記憶合成手段により２値化した画像と疑似中間調処理された画像を前記所望領域信号により合成させるようにしたことを特徴とする画像編集装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平２−２５３３７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、文字にマークが施された画像からマーク画像を抽出する際、文字画像とマーク画像とが重なった部分に途切れが生じた画像が生成される。この途切れが生じた部分を結合させるため、例えば、生成した画像を単に膨張させて途切れた部分を埋める構成を採用した場合、隣接する別のマーク同士が結合する可能性があった。
本発明は、文字にマークが施された画像からマーク画像を抽出する際に、マーク画像をより正確に抽出した画像を生成することを目的とする。

【課題を解決するための手段】

【0005】

請求項１に記載の発明は、文字画像とマーク画像とを含む画像を取得する取得手段と、前記画像から、前記マーク画像のうち前記文字画像と重なる部分を除く他の部分を抽出したマーク部分画像を生成するマーク部分画像生成手段と、前記マーク部分画像生成手段にて生成された前記マーク部分画像を膨張させた膨張画像を生成する膨張画像生成手段と、前記膨張画像生成手段にて生成された前記膨張画像と前記画像との共通部分を抽出した共通画像を生成する共通画像生成手段とを備え、前記画像は、複数の前記文字画像を含み、前記画像に含まれる各前記文字画像を取囲む矩形画像を生成する矩形画像生成手段を備え、前記共通画像生成手段は、前記矩形画像と前記共通画像との共通部分を抽出した領域画像を生成することを特徴とする画像処理システムである。
請求項２に記載の発明は、前記共通画像生成手段は、前記膨張画像生成手段にて生成された前記膨張画像を収縮させ、収縮させた当該膨張画像と前記画像との共通部分を抽出して前記共通画像を生成することを特徴とする請求項１記載の画像処理システムである。
請求項３に記載の発明は、前記共通画像生成手段にて生成された前記共通画像を収縮した収縮共通画像を生成する収縮画像生成手段を備えることを特徴とする請求項１記載の画像処理システムである。
請求項４に記載の発明は、前記膨張画像生成手段は、前記画像に含まれる前記文字画像の大きさに応じて膨張させる度合いを調整することを特徴とする請求項１乃至３の何れか１項記載の画像処理システムである。
請求項５に記載の発明は、文字画像と色が異なる複数のマーク画像とを含む画像を取得する取得手段と、前記画像から、一の色の前記マーク画像のうち前記文字画像と重なる部分を除く他の部分を抽出したマーク部分画像を生成するマーク部分画像生成手段と、前記マーク部分画像生成手段にて生成された前記マーク部分画像を膨張させた膨張画像を生成する膨張画像生成手段と、前記画像から前記文字画像を抽出した文字部分画像を生成する文字部分画像生成手段と、前記文字部分画像と前記マーク部分画像とを結合させて結合画像を生成する結合画像生成手段と、前記膨張画像生成手段にて生成された前記膨張画像と前記結合画像との共通部分を抽出した共通画像を生成する共通画像生成手段とを備えることを特徴とする画像処理システムである。
請求項６に記載の発明は、文字画像とマーク画像とを含む画像から、当該マーク画像のうち当該文字画像と重なる部分を除く他の部分を抽出したマーク部分画像を生成するマーク部分画像生成部と、前記マーク部分画像生成部にて生成された前記マーク部分画像を膨張させた膨張画像を生成する膨張画像生成部と、前記膨張画像生成部にて生成された前記膨張画像と前記画像との共通部分を抽出した共通画像を生成する共通画像生成部とを備え、前記画像は、複数の前記文字画像を含み、前記画像に含まれる各前記文字画像を取囲む矩形画像を生成する矩形画像生成手段を備え、前記共通画像生成部は、前記矩形画像と前記共通画像との共通部分を抽出した領域画像を生成することを特徴とする画像処理装置である。
請求項７に記載の発明は、画像処理装置に、複数の文字画像とマーク画像とを含む画像から、当該マーク画像のうち当該文字画像と重なる部分を除く他の部分を抽出したマーク部分画像を生成する機能と、前記マーク部分画像を膨張させた膨張画像を生成する機能と、前記画像に含まれる各前記文字画像を取囲む矩形画像を生成する機能と、前記膨張画像と前記画像との共通部分を抽出した共通画像を生成する機能と、前記矩形画像と前記共通画像との共通部分を抽出した領域画像を生成する機能とを実現させるプログラムである。
請求項８に記載の発明は、文字画像とマーク画像とを含む画像を取得するステップと、前記画像から、前記マーク画像のうち前記文字画像と重なる部分を除く他の部分を抽出したマーク部分画像を生成するステップと、前記マーク部分画像を膨張させた膨張画像を生成するステップと、前記画像に含まれる各前記文字画像を取囲む矩形画像を生成するステップと、前記膨張画像と前記画像との共通部分を抽出した共通画像を生成するステップと、前記矩形画像と前記共通画像との共通部分を抽出した領域画像を生成するステップとを含む画像処理方法である。

【発明の効果】

【0006】

請求項１、６、７、８の発明によれば、マーク画像に含まれる隣接したマーク同士を結合させずに途切れが生じた部分を結合させ、マーク画像をより正確に抽出した画像を生成することが可能となると共に、複数の文字画像のうち、どの文字画像にマーク画像が重なっているかを認識するために用いられる画像を生成できる。
請求項２、３の発明によれば、共通画像の形状をマーク画像により近似させることが可能となる。
請求項４の発明によれば、文字画像の大きさに応じて膨張させる度合いを調整し、途切れた部分を結合させることができる。
請求項５の発明によれば、色が異なる複数のマーク画像のうち、特定の色ごとにマーク画像を認識するために用いられる画像を生成できる。

【図面の簡単な説明】

【0007】

【図1】第１実施形態における画像処理システムの全体構成例を示した図である。

【図2】第１実施形態における画像処理装置のハードウェア構成例を示した図である。

【図3】第１実施形態における画像処理装置の機能構成例を示したブロック図である。

【図4】（ａ）〜（ｇ）は、第１実施形態における画像処理装置の動作例を示す図である。

【図5】第２実施形態における画像処理装置の機能構成例を示したブロック図である。

【図6】（ａ）〜（ｅ）は、第２実施形態の画像処理装置により生成される画像の例を示す図である。

【図7】第２実施形態における画像処理装置の動作例を示す図である。

【図8】マーカ抽出方法の一例を説明するための図である。

【発明を実施するための形態】

【0008】

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
＜第１実施形態＞
例えば、マーカが引かれた文書を読取り、マーカが引かれた文字とマーカが引かれていない文字とを区別し、マーカやマーカが引かれた文字、マーカで囲まれた領域に対して特定の処理を行う技術が書類の編集や学習用教材などで利用されている。
具体的には、このような技術では、ユーザがマーカを引いた文書の画像から、マーカが引かれた位置や範囲を認識するための画像が生成される。そして、生成した画像によりマーカの位置や範囲を認識して、マーカの削除やマーカ部分の墨塗り、マーカで囲まれた画像を抽出する等の画像処理が行われる。また、マーカが引かれた文書のＯＣＲ（Optical Character Recognition）を用いた読出しが行われる。
なお、マーカとは、文字の画像（文字イメージ）等、ユーザがマークを付けたい画像の上に重ねて形成される半透明の画像をいい、例えばラインマーカによって形成される。

【0009】

ここで、例えば、図８（ａ）に示す画像には、第１文字８１ａ及び第２文字８１ｂよりなる文字８１が含まれる。また、この画像には、第１文字８１ａ上に引かれた第１マーカ８２ａ及び第２文字８１ｂ上に引かれた第２マーカ８２ｂよりなるマーカ８２が含まれる。さらに、画像は、第１マーカ８２ａと第２マーカ８２ｂとの間に隙間８３が形成される。
そして、この画像からマーカを抽出するためにマーカ８２の色を検出すると、例えば、図８（ｂ）に示すように、隙間８３の他に、途切れ領域８４により途切れを有するマーカ８５が抽出された画像が生成される。

【0010】

このマーカ８５が途切れ領域８４により途切れて抽出される現象は、黒色の文字８１上に引かれた半透明のマーカ８２は黒色の文字８１が透けて、白色の地に引かれたマーカ８２とは色が異なることにより生じる。すなわち、地の上に引かれたマーカ８２の色を検出して抽出すると、黒色の文字８１と重なる一部のマーカ８２が抽出されず、抽出したマーカ８５には途切れ領域８４が形成されることになる。このように、マーカ８２の色を抽出した結果、黒色の文字８１と重なった一部のマーカ８２が抽出されずに途切れたマーカ８５が抽出されることは、「黒トギレ」と呼ばれる。

【0011】

なお、黒トギレは、半透明のマーカに限らず、地の上に押された朱色の印鑑と黒色の文字の上に押された印鑑とにおいても、文字上の印鑑が朱色とは異なる色となれば生じる。すなわち、黒トギレは、地の上のマーク画像と、文字等の被マーク画像上に形成されたマーク画像との色が異なる場合に生じる。
また、黒トギレは、マーク画像と、被マーク画像上に形成されたマーク画像との色が異なる場合であれば、被マーク画像が黒色ではないカラー色であっても生じる。

【0012】

この黒トギレを抑制するために、図８（ｂ）に示すマーカ８５を膨張させて、図８（ｃ）に示すように、途切れ領域８４をマーカ８５の色に変換することで途切れ領域８４を無くすことが考えられる。また、図８（ｂ）に示すマーカ８５を例えば左右方向にずらした画像を元のマーカ８５に重ねて、図８（ｄ）に示すように、途切れ領域８４をマーカ８５の色で埋めることが考えられる。
しかしながら、隙間８３を隔てて２つのマーカを含む画像の場合、これらの方法では、途切れ領域８４のみならず、図８（ｂ）に示す隙間８３も無くなり、第１マーカ８２ａと第２マーカ８２ｂとが結合してしまう。

【0013】

そこで、第１実施形態では、被マーク画像とマーク画像とを含む画像データから色部分を抽出してマーク部分画像を生成し、マーク部分画像を膨張させて収縮した後に画像データとの論理積演算を行う。そして、画像データとの論理積演算によりマーク画像に含まれる隙間を修復して、マーク画像の位置と範囲を認識するための画像（マーク領域画像）を生成する。以下、詳細に説明する。

【0014】

＜システム構成＞
まず、第１実施形態に係る画像処理システム１の全体構成について説明する。図１は、第１実施形態における画像処理システム１の全体構成例を示した図である。
図１に示すように、画像処理システム１は、画像処理を行う画像処理装置の一例としての画像処理装置１０と、原稿に形成された画像の読取りを行う読取装置２０とを備えている。そして、画像処理装置１０と、読取装置２０とは、ネットワーク３０を介して相互に通信を行うものとする。

【0015】

なお、画像処理装置１０としては、パーソナルコンピュータの他、複合機やスレート端末等の画像処理を実行可能な装置が例示できる。また、読取装置２０としては、スキャナ等のセットされた原稿を読取る装置が挙げられるが、記憶装置に記憶された撮像画像やアプリケーションソフトにより作成された文書ファイル等を読取る装置でもよい。

【0016】

さらに、画像処理装置１０と読取装置２０とは別々に設けられる構成としたが、画像の読取りを行って画像処理を実行可能な複合機やカメラ機能が搭載されたスレート端末等により一体に構成されても良い。すなわち、画像処理装置１０の機能を有する読取装置２０としてスキャナや複合機等、また、読取装置２０の機能を有する画像処理装置１０としてスレート端末等により、画像処理装置１０と読取装置２０とが一体に構成されても良い。

【0017】

＜画像処理装置１０のハードウェア構成＞
次に、第１実施形態に係る画像処理装置１０のハードウェア構成について説明する。
図２は、第１実施形態における画像処理装置１０のハードウェア構成例を示した図である。

【0018】

図２に示すように、画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成されたメモリ５０２とを備える。また、画像処理装置１０は、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）で構成された記憶装置５０３と、読取装置２０との間で通信を行う通信装置５０４とを備える。さらに、画像処理装置１０は、ユーザによる入力を受け付ける入力装置５０５と、画面を表示する表示装置５０６とを備える。また、画像処理装置１０は、システム・バスや入出力バス等の各種のバスによって各構成要素が相互に接続され、各構成要素間で通信を行う。
第１実施形態の画像処理装置１０では、例えば、表示装置５０６として画面を表示する液晶ディスプレイと、入力装置５０５としてマウスやキーボード等が用いられる。なお、本実施形態では、例えば画面を表示し設定情報を受付けるタッチパネル等により、入力装置５０５と表示装置５０６とが一体に構成されてもよい。

【0019】

なお、図２は、本実施の形態が適用されるのに好適な画像処理装置１０のハードウェア構成を例示するに過ぎず、図示の構成においてのみ本実施の形態が実現されるのではない。

【0020】

＜画像処理装置１０＞
次に、第１実施形態に係る画像処理装置１０の機能構成例について説明する。
図３は第１実施形態における画像処理装置１０の機能構成例を示したブロック図である。
図４は、第１実施形態における画像処理装置１０の動作例を示す図である。

【0021】

図３に示すように、画像処理装置１０は、画像データを取得する取得手段の一例としての画像データ取得部１０１と、画像データに含まれるマーク部分を検出し抽出したマーク部分画像を生成するマーク部分画像生成手段の一例としてのマーク検出部１０２を備える。また、画像処理装置１０は、画像データに含まれる文字部分を検出し抽出した文字イメージを生成する文字部分画像生成手段の一例としての文字検出部１０３と、マーク部分画像と文字イメージとの論理和演算により結合画像を生成する結合画像生成手段の一例としての論理和演算部１０４とを備える。

【0022】

また、画像処理装置１０は、マーク部分画像を膨張させてマーク膨張画像を生成する膨張画像生成手段の一例としてのマーク膨張部１０５と、マーク膨張画像を収縮させてマーク収縮画像を生成する収縮画像生成手段の一例としてのマーク収縮部１０６とを備える。さらに、画像処理装置１０は、収縮画像と結合画像との論理積演算を行ってマーク領域画像を生成する共通画像生成手段の一例としての論理積演算部１０７とを備える。
なお、各画像において、黒色の画素が「１」、白色の画素が「０」で表されるものとする。

【0023】

画像データ取得部１０１は、読取装置２０（図１参照）からネットワーク３０（図１参照）を介して、画像データを取得する。また、画像データ取得部１０１は、取得した画像データをマーク検出部１０２及び文字検出部１０３に渡す。

【0024】

具体的には、例えば、図４（ａ）に示すように、画像データ５１は、マークが施される文字である被マーク画像としての文字部分５１１と、マーク画像としてのマーカ部分５１２と印鑑部分５１３とを含む画像である。このように、第１実施形態では、地の色が白色、被マーク画像が黒色、各マーク画像がカラー色である場合について説明するが、マーク画像と被マーク画像とが異なる色であれば被マーク画像がカラー色でもよい。また、被マーク画像としては「文字画像」があるが、具体的には、文字部分５１１以外の文字記号、数字、図形や記号等が例として挙げられる。

【0025】

マーク検出部１０２は、図３に示すように、画像データ取得部１０１から画像データを受取る。また、マーク検出部１０２は、画像データに対して色抽出を行い、被マーク画像とは異なるカラー色である特定色の部分を検出して抽出し、後述する演算処理を行うために２値化を行うことでマーク部分画像を生成する。さらに、マーク検出部１０２は、マーク部分画像を論理和演算部１０４とマーク膨張部１０５とに渡す。
なお、マーク検出部１０２は、画像データに色が異なる複数のマーク画像が含まれる場合、それぞれの色ごとにマーク部分を抽出して色ごとにマーク部分画像を生成する。

【0026】

具体的には、マーク検出部１０２は、画像データに含まれる特定色の部分を、色抽出によりマーク部分として検出して抽出する。また、マーク検出部１０２は、論理和演算部１０４及び論理積演算部１０７にて後述する演算を行うために２値化を行い、マーク部分を黒色、マーク部分以外の領域である地を白色にしてマーク部分画像を生成する。
すなわち、マーク部分画像は、マーク部分が「１」、地が「０」で表された画像となる。

【0027】

また、マーク検出部１０２は、例えば、図４（ａ）の画像データ５１から図４（ｂ）に示すようなマーク部分画像５２を生成する。具体的には、マーク部分画像５２は、画像データ５１に含まれるマーカ部分５１２のうち、文字部分５１１と重なる特定色と異なった色である一部のマーカ部分５１２が抽出されず、黒トギレ領域５２２が生じる。

【0028】

文字検出部１０３は、図３に示すように、画像データ取得部１０１から画像データを受取る。また、文字検出部１０３は、画像データに対してグレースケール化と２値化とを行って、マーク画像とは異なる色である黒色の部分を検出して抽出し、文字イメージを生成する。さらに、文字検出部１０３は、文字イメージを論理和演算部１０４に渡す。
また、文字検出部１０３は、必要に応じて画像処理装置１０内の被マーク画像の位置や範囲を認識するための他の機能構成や画像処理装置１０の外部に文字イメージを出力する。

【0029】

具体的には、文字検出部１０３は、白及び黒の明暗で画像を表現するため、画像データに対して、予め定めた階調で変換するグレースケール化を行ってカラー色を灰色に変換する。さらに、文字検出部１０３は、文字部分を抽出するために、灰色部分を地の色である白色に変換する２値化を行い、黒色部分を文字部分として抽出して文字イメージを生成する。
すなわち、文字イメージは、文字部分が「１」、地が「０」で表された画像となる。

【0030】

また、例えば、図４（ｃ）に示すように、文字イメージ５３は、画像データ５１の黒色部分である文字部分５１１を抽出した画像となる。
なお、文字検出部１０３は、黒色の部分を被マーク部分として抽出する構成を示したが、被マーク部分がカラー色であれば、マーク検出部１０２のように、被マーク部分の色の抽出を行って２値化を行い、文字イメージを生成する。

【0031】

論理和演算部１０４は、図３に示すように、マーク検出部１０２からマーク部分画像を受取るとともに、文字検出部１０３から文字イメージを受取る。また、論理和演算部１０４は、マーク部分画像と文字イメージとの論理和演算を行い、マーク部分と文字部分とが結合した結合画像を生成する。さらに、論理和演算部１０４は結合画像を論理積演算部１０７に渡す。

【0032】

なお、画像データに色が異なる複数のマーク画像が含まれる場合、マーク画像ごとにマーク部分画像が生成されるため、マーク部分画像を用いて生成される結合画像も色ごとに生成される。一方、画像データに１色のマーク画像のみが含まれる場合には、マーク画像ごとにマーク部分画像や結合画像を生成する必要がないため、画像データに対して２値化を施した画像を結合画像とする。

【0033】

具体的には、論理和演算部１０４は、マーク部分画像の画素と、マーク部分画像の画素の座標に対応する文字イメージの画素とを比較する。そして、論理和演算部１０４は、マーク部分画像の画素と文字イメージの画素との少なくともいずれかが「１」、すなわち、黒色である場合には、その画素の座標に対応する結合画像の画素の値を「１」とする。また、論理和演算部１０４は、マーク部分画像の画素と文字イメージの画素との両方が「０」、すなわち、白色である場合に、その画素の座標に対応する結合画像の画素の値を「０」とする。つまり、論理和演算部１０４は、マーク部分画像の黒色の画素と文字イメージの黒色の画素との両方の黒色部分を抽出する。そして、論理和演算部１０４は、これらの処理を全ての画素に対して行い結合画像を生成する。

【0034】

例えば、論理和演算部１０４は、図４（ｄ）に示すように、図４（ｂ）に示すマーク部分画像５２におけるマーカ部分５２１の黒色部分と、図４（ｃ）に示す文字イメージ５３における文字部分５３１の黒色部分とが結合された結合画像５４を生成する。すなわち、マーク部分画像５２の画素と文字イメージ５３の画素とのうち、いずれかが黒色であれば、その画素の座標に対応する結合画像の画素は黒色となる。
なお、図４では論理和演算を「ＯＲ」と表す。

【0035】

マーク膨張部１０５は、図３に示すように、マーク検出部１０２からマーク部分画像を受取る。また、マーク膨張部１０５は、マーク部分画像のマーク部分を膨張させて、黒トギレが生じている領域を黒色に置き換えたマーク膨張画像を生成する。さらに、マーク膨張部１０５は、マーク膨張画像をマーク収縮部１０６に渡す。

【0036】

具体的には、マーク膨張部１０５は、マーク部分画像に対して、予め設定された膨張率でマーク部分を膨張させる処理を行うことにより、黒トギレが生じている領域を黒色に置き換える。ここで、膨張とは、対象となるマーク部分の輪郭、すなわち、地である白色との境界を構成する黒色の画素を中心として、周辺の予め定めた範囲にある白色の画素を黒色に置き換えることである。つまり、膨張とは、黒色の画素を中心として、中心から周辺に向けて黒色の領域を広げることである。
また、膨張率は、黒色に置き換える範囲を定めるための度合いであり、黒トギレが生じている領域を黒色に置き換えるために予め設定される。

【0037】

マーク収縮部１０６は、マーク膨張画像をマーク膨張部１０５から受取る。また、マーク収縮部１０６は、マーク膨張画像のマーク部分を収縮させて、膨張されたマーク部分を膨張前のマーク部分と概ね同じ大きさにしたマーク収縮画像を生成する。さらに、マーク収縮部１０６は、マーク収縮画像を論理積演算部１０７に渡す。

【0038】

具体的には、マーク収縮部１０６は、マーク膨張画像に対して、予め設定された収縮率でマーク部分を収縮させる処理を行うことで、膨張されたマーク部分を膨張前のマーク部分画像のマーク部分と概ね同じ大きさに戻す。ここで、収縮とは、対象となるマーク部分の輪郭、すなわち、対象となるマーク部分の黒色との境界を構成する白色の画素を中心として、周辺の予め定めた範囲にある黒色の画素を白色に置き換えることである。つまり、収縮とは、白色の画素を中心として中心から周辺に向けて白色の領域を広げ、黒色の領域を縮めることである。

【0039】

また、収縮率は、白色に置き換える範囲を定めるための度合いである。そして、収縮率は、膨張により大きくなったマーク部分を概ね膨張前の大きさに戻すため、膨張率と同等の度合いで予め設定される。

【0040】

論理積演算部１０７は、マーク収縮部１０６からマーク収縮画像を受取るとともに、論理和演算部１０４から結合画像を受取る。また、論理積演算部１０７は、マーク収縮画像と結合画像との論理積演算を行い、マーク収縮画像の画素と結合画像の画素とが黒色である共通部分を抽出したマーク領域画像を生成する。すなわち、論理積演算部１０７は、マーク部分画像の黒色の画素と文字イメージの黒色の画素とが重なる部分を抽出する。
さらに、論理積演算部１０７は、必要に応じて画像処理装置１０内のマーク画像の位置や範囲を認識するための他の機能構成や、画像処理装置１０の外部に対してマーク領域画像を出力する。

【0041】

なお、画像データに異なる色の複数のマーク画像が含まれる場合には、上述したようにマーク部分画像が色ごとに生成されることから、マーク収縮画像及び結合画像も同様に色ごとに生成される。さらに、この場合、論理積演算部１０７ではマーク領域画像も同様に色ごとに生成される。

【0042】

具体的には、論理積演算部１０７は、マーク収縮画像の画素と、マーク収縮画像の画素の座標に対応する結合画像の画素とを比較する。そして、論理積演算部１０７は、マーク収縮画像の画素と結合画像の画素との両方が「１」、すなわち、黒色である場合に、その画素の座標に対応する画素の値を「１」とする。また、論理積演算部１０７は、マーク収縮画像の画素と結合画像の画素との少なくともいずれかが「０」、すなわち、白色である場合には、その画素の座標に対応する画素の値を「０」とする。論理積演算部１０７は、これらの処理を、全ての画素に対して行ってマーク領域画像を生成する。

【0043】

例えば、論理積演算部１０７は、図４（ｆ）に示すマーク収縮画像５６と、図４（ｄ）に示す結合画像５４との共通部分が抽出されて、図４（ｇ）に示すようなマーク領域画像５７を生成する。すなわち、マーク収縮画像５６の画素と結合画像５４の画素とのうち、両方ともが共通して黒色であれば、その画素の座標に対応するマーク領域画像５７の画素は黒色となる。
なお、図４では論理積演算を「ＡＮＤ」と表す。

【0044】

ここで、図３に示すように、画像データ取得部１０１、マーク検出部１０２、文字検出部１０３、論理和演算部１０４、マーク膨張部１０５、マーク収縮部１０６及び論理積演算部１０７は、例えば、図２に示すハードウェア構成におけるＣＰＵ５０１により実現される。より具体的には、画像処理装置１０の機能を実現するプログラムがメモリ５０２または記憶装置５０３に記憶されており、ＣＰＵ５０１がこのプログラムをメモリ５０２にロードして実行することにより、画像データ取得部１０１、マーク検出部１０２、文字検出部１０３、論理和演算部１０４、マーク膨張部１０５、マーク収縮部１０６及び論理積演算部１０７の各機能が実現される。

【0045】

なお、ＣＰＵ５０１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で提供し得る。また、インターネットなどの通信手段を用いて画像処理装置１０にダウンロードさせてもよい。

【0046】

＜第１実施形態における画像処理装置１０の処理手順＞
次に、第１実施形態における画像処理装置１０の動作例について説明する。
まず、図４に示すように、画像処理装置１０は、画像データ取得部１０１にて読取装置２０（図１参照）から画像データを取得し、マーク検出部１０２にて特定の色のマーク部分を検出して抽出しマーク部分画像を生成する（ステップ１）。

【0047】

具体的には、例えば、図４（ａ）に示すように、画像データ５１には、黒色の文字部分５１１、第１マーカ５１２ａと第２マーカ５１２ｂとで形成される青色のマーカ部分５１２及び朱色の印鑑部分５１３が含まれる。さらに、画像データ５１には、マーカ部分５１２を第１マーカ５１２ａと第２マーカ５１２ｂとに分け隔てる隙間５１４が含まれる。

【0048】

また、マーク検出部１０２は、画像データ５１に対して色抽出と２値化との処理を行って、青色のマーカ部分５１２を検出して抽出し、図４（ｂ）に示すマーク部分画像５２を生成する。この場合、図４（ｂ）に示すように、マーク部分画像５２のマーカ部分５２１は、黒トギレが生じた黒トギレ領域５２２と、隙間５１４に対応する隙間５２３とにおいて途切れた形状となる。

【0049】

さらに、この場合、マーク検出部１０２は、画像データ５１に含まれる朱色の「済」の印鑑部分５１３を抽出して図示しないマーク部分画像を生成する。なお、画像データ５１には、青色のマーカ部分５１２のみ、すなわち、１色のマーク画像のみが含まれている場合には、そのマーク画像に対応する１つのマーク部分画像のみが生成される。

【0050】

次に、画像処理装置１０は、画像データから文字検出部１０３にて文字部分を抽出して文字イメージを生成する（ステップ２）。具体的には、文字検出部１０３は、画像データ５１に対してグレースケール化と２値化との処理を行い、黒色の文字部分５１１を検出して抽出し、図４（ｃ）に示す文字部分５３１を含む文字イメージ５３を生成する。

【0051】

次に、画像処理装置１０は、論理和演算部１０４にてマーク部分画像と文字イメージとの論理和演算により結合された結合画像を生成する（ステップ３）。具体的には、論理和演算部１０４では、例えば、図４（ｂ）に示すマーク部分画像５２と、図４（ｃ）に示す文字イメージ５３との論理和演算により、図４（ｄ）に示すように、マーカ部分５２１と文字部分５３１とが結合された結合画像５４が生成される。

【0052】

なお、図４（ａ）に示す画像データ５１には、青色のマーカ部分５１２とは別に朱色の印鑑部分５１３が含まれており、印鑑部分５１３のマーク部分画像が生成される。それに伴い、論理和演算部１０４では、朱色の印鑑部分５１３のマーク部分画像を用いて図示しない結合画像を別途生成する。また、画像データ５１が青色のマーカ部分５１２のみを含み、朱色の印鑑部分５１３等の他の色のマーク画像を含まない場合、マーク画像ごとにマーク部分画像や結合画像を生成する必要が無いため、画像データ５１に対して２値化を施した画像を結合画像とする。

【0053】

さらに、画像処理装置１０は、マーク膨張部１０５にて、マーク部分画像のマーク部分を膨張させる処理を行ってマーク膨張画像を生成する（ステップ４）。また、画像処理装置１０は、マーク収縮部１０６にて、マーク膨張画像のマーク部分を収縮させる処理を行ってマーク収縮画像を生成する（ステップ５）。

【0054】

具体的には、マーク膨張部１０５では、図４（ｂ）に示すマーク部分画像５２を用いた場合、図４（ｅ）に示すように、マーカ部分５２１を膨張して大きくしたマーカ部分５５１を含むマーク膨張画像５５を生成する。また、マーク膨張画像５５のマーカ部分５５１では、マーク部分画像５２における黒トギレ領域５２２と隙間５２３とに対応する領域が黒色に置き換えられる。

【0055】

また、マーク収縮部１０６では、図４（ｅ）に示すマーク膨張画像５５を用いた場合、図４（ｆ）に示すように、マーカ部分５５１を収縮して小さくしたマーカ部分５６１を含むマーク収縮画像５６を生成する。そして、マーク収縮画像５６のマーカ部分５６１は、黒トギレ領域５２２と隙間５２３に対応する部分は黒色に置き換えられたまま縮み、図４（ｂ）に示す膨張前のマーカ部分５２１と概ね同じ大きさになる。

【0056】

そして、画像処理装置１０は、論理積演算部１０７にてマーク収縮画像と結合画像との論理積演算を行い、マーク領域画像を生成する（ステップ６）。そして、画像処理装置１０は、処理を完了する。

【0057】

具体的には、論理積演算部１０７では、図４（ｆ）に示すマーク収縮画像５６と、図４（ｄ）に示す結合画像５４との論理積演算により、図４（ｇ）に示すようなマーク領域画像５７が生成される。すなわち、論理積演算部１０７では、第１マーク領域５７１ａと第２マーク領域５７１ｂとで形成されるマーク領域５７１と、第１マーク領域５７１ａと第２マーク領域５７１ｂとを隔てる隙間５７２とを含むマーク領域画像５７が生成される。

【0058】

なお、論理積演算部１０７は、図４（ａ）の画像データ５１に含まれる朱色の印鑑部分５１３についても、印鑑部分５１３のマーク収縮画像と印鑑部分５１３の結合画像との論理積演算により図示しないマーク領域画像を別途生成する。この場合、論理積演算部１０７では、印鑑部分５１３の隙間に対応する位置に隙間を含むマーク領域画像が生成される。

【0059】

ここで、ステップ１からステップ６は、この順序で実行されることとしたが、ステップ１及びステップ２の後にステップ３が実行され、ステップ４の後にステップ５が実行され、さらに、ステップ３及びステップ５の後にステップ６が実行されるものであれば、如何なる順序で実行されてもよい。或いは、ステップ１及びステップ２が並行に実行され、ステップ４またはステップ５とステップ２またはステップ３とが並行に実行されるものであってもよい。

【0060】

さらに、第１実施形態では、マーク収縮部１０６にてマーク膨張画像を収縮する処理を行ったが、例えばマーク膨張部１０５にて行った膨張の度合いによっては省略しても良い。また、上述した通り、画像データに１色のマーク画像のみが含まれる場合、結合画像として２値化を施した画像データを用いても良い。これに伴い、第１実施形態では、画像データから抽出したマーク部分画像を膨張させたマーク膨張画像と、２値化を施した画像データとの論理積演算を行うことにより、マーク領域画像を生成しても良い。

【0061】

すなわち、第１実施形態では、例えば膨張の度合いが少なく収縮しなくても支障が無い場合等、収縮を必要としない場合には、図４に示すステップ５の収縮の処理を省略しても良い。また、第１実施形態では、２値化を施した画像データを結合画像とすることで、図４に示すステップ２及びステップ３の結合画像を生成する処理を省略しても良い。

【0062】

また、第１実施形態では、論理積演算部１０７において、マーク収縮部１０６にてマーク膨張画像を収縮したマーク収縮画像と、論理和演算部１０４にて生成された結合画像との論理積演算によりマーク領域画像を生成する構成とした。しかし、このような構成以外にも、マーク収縮部１０６にてマーク膨張画像を収縮させずに、論理積演算部１０７にてマーク膨張画像と結合画像との論理積演算によりマーク領域画像を生成し、マーク収縮部１０６にてマーク領域画像を収縮する構成としてもよい。
この場合には、さらに、マーク領域画像とマーク部分画像との論理和演算を行うことで、マーク領域画像のマーク領域がマーク画像の形状により近似する。

【0063】

このように、第１実施形態では、マーク画像の位置や範囲を認識するためのマーク領域画像を生成する際、膨張を行って黒トギレが生じた部分を結合して修復する。それに加えて、第１実施形態では、マーク画像を分断する隙間に対応するマーク部分が膨張により結合されても、結合画像とマーク収縮画像との論理積演算を行って隙間を生成して結合しないようにする。したがって、第１実施形態では、マーカの近くに別のマーカがあるマーク画像であってもマーカを結合させずに黒トギレが修復される。

【0064】

なお、第１実施形態は、マーカの場合に限らず、印鑑画像のように隙間を含むマーク画像であっても、上述した構成により、印鑑画像の隙間に対応する隙間が生成されたマーク領域画像が得られる。したがって、第１実施形態の画像処理装置１０では、印鑑画像を抽出する際においても、印鑑画像の黒トギレが修復されるととともに隙間が生成されることで、印鑑画像が何を示す印鑑であるのか認識可能なマーク領域画像が生成される。
また、第１実施形態の画像処理装置１０では、画像データに複数色のマーク画像が含まれる場合には色ごとにマーク領域画像を生成して、マーク画像を色ごとに認識できるマーク領域画像が生成される。

【0065】

＜第２実施形態＞
続いて、第２実施形態が適用される画像処理装置１０について説明する。なお、第２実施形態においては、第１実施形態において説明した機能構成と同様の構成については同一の符号を付してその詳細な説明を省略する。
第２実施形態では、画像データに含まれる画像の領域（画像領域）を取囲む最小の矩形（以下、バウンディングボックス）を算出して文字部分を抽出する。また、第２実施形態では、文字部分のバウンディングボックスの幅に応じて、マーク膨張部１０５にて行われる膨張処理の膨張率を設定する。

【0066】

第２実施形態における画像処理装置１０の機能構成例について説明する。
図５は第２実施形態における画像処理装置１０の機能構成例を示したブロック図である。
図６は、第２実施形態の画像処理装置１０により生成される画像の例を示す図である。

【0067】

図５に示すように、第２実施形態における画像処理装置１０は、画像データ取得部１０１、マーク検出部１０２、矩形画像生成手段の一例としての文字検出部１０３、論理和演算部１０４、マーク膨張部１０５、マーク収縮部１０６、論理積演算部１０７、及び文字幅判定部１０８を備える。このうち、画像データ取得部１０１、マーク検出部１０２、論理和演算部１０４、マーク膨張部１０５、マーク収縮部１０６、及び論理積演算部１０７については、第１実施形態と同じ機能構成であるためその説明を省略し、以下では、文字検出部１０３及び文字幅判定部１０８について詳細に説明する。

【0068】

文字検出部１０３は、画像データ取得部１０１から画像データを受取る。また、文字検出部１０３は、画像データに含まれる画像領域ごとにバウンディングボックスを算出する。さらに、文字検出部１０３は、バウンディングボックスが予め定められた範囲内となる画像領域を文字部分として判別して抽出し、文字イメージを生成する。また、文字検出部１０３は、文字イメージを論理和演算部１０４に渡す。さらに、文字検出部１０３は、画像領域ごとに算出したバウンディングボックスのうち、各文字部分に対応するバウンディングボックスの大きさを示す矩形情報を文字幅判定部１０８に渡す。

【0069】

具体的には、文字検出部１０３は、例えば、図形と文字とを含む画像データに対して、第１実施形態と同様に、グレースケール化を行った後に２値化を行って黒色部分を画像領域として検出する。また、文字検出部１０３は、検出した全ての画像領域について、画像領域ごとに輪郭を抽出してバウンディングボックスを算出する。そして、文字検出部１０３は、バウンディングボックスの大きさが予め定められた範囲内であれば、その画像領域を文字部分と判別して抽出することで文字イメージを生成する。

【0070】

予め定められたバウンディングボックスの範囲は、画像データに含まれる文字部分のバウンディングボックスの大きさに応じて設定される。すなわち、文字部分と比較して小さい図形の画像領域や大きな図形の画像領域が画像データに含まれる場合、文字検出部１０３にて、これらの図形の画像領域が文字部分として判別されないように範囲が設定される。

【0071】

より具体的には、例えば、図６（ａ）に示す画像データ６１は、例えば１２ｐｔや３２ｐｔのフォントサイズで書かれた文字部分６１１と文字部分６１１より大きい図形６１４とが含まれる。この場合、例えば、図６（ｂ）に示す文字部分６１１のバウンディングボックス６３１を含むが、図形６１４のバウンディングボックス６３２は除外される範囲が設定される。

【0072】

文字幅判定部１０８は、文字検出部１０３から矩形情報を受取る。また、文字幅判定部１０８は、矩形情報を参照して、バウンディングボックスの幅が予め設定された閾値以上となる文字部分があるか否かを判定する。さらに、文字幅判定部１０８は、バウンディングボックスの幅が予め設定された閾値以上となる文字部分があると判定した場合、調整膨張率をマーク膨張部１０５に渡し、調整収縮率をマーク収縮部１０６に渡す。

【0073】

ここで、調整膨張率は、幅が広い黒トギレを黒色に置き換えるために予め調整して設定された度合いであり、予め設定される膨張率よりも大きく設定される。例えば、フォントサイズが８ｐｔの文字よりもサイズが大きい３２ｐｔの文字は、文字の太さも８ｐｔより太いため、３２ｐｔの文字により生じる黒トギレの幅が広くなる。これに伴い、例えば、８ｐｔの文字により生じる黒トギレを埋める膨張率が予め設定されている場合、３２ｐｔの文字により生じる黒トギレを埋めるため、マーク膨張部１０５に対しては、予め設定された膨張率よりも高い度合いの調整膨張率を設定する必要がある。

【0074】

なお、文字幅判定部１０８では、バウンディングボックスの幅が閾値以上であるか否かを判定したが、全ての文字部分のバウンディングボックスの幅が閾値以下であるか否かについての判定も行ってもよい。この場合に、文字幅判定部１０８では、全ての文字部分のバウンディングボックスの幅が閾値以下であると判定した場合、予め設定される膨張率よりも度合いが小さい調整膨張率が設定される。

【0075】

例えば、８ｐｔにより生じる黒トギレの幅は、８ｐｔよりサイズが大きく太さがより太い６４ｐｔにより生じる黒トギレの幅よりも小さい。したがって、例えば、６４ｐｔの文字により生じる黒トギレを埋める膨張率が予め設定されているが、画像データが８ｐｔの文字のみを含む場合、文字幅判定部１０８は、膨張率よりも小さく８ｐｔの文字により生じる黒トギレを埋める度合いの調整膨張率を設定する。

【0076】

また、調整収縮率は、調整膨張率による膨張で大きくなったマーク部分を概ね膨張前の大きさに戻すために予め調整して設定された度合いである。具体的には、予め設定された膨張率よりも高い度合いの調整膨張率が設定された場合には、調整収縮率は、調整膨張率に対応して、予め設定される収縮率よりも大きい割合が設定される。一方、予め設定された膨張率よりも小さい度合いの調整膨張率が設定された場合には、調整収縮率は、調整膨張率に対応して、予め設定される収縮率よりも小さい割合が設定される。

【0077】

＜第２実施形態における画像処理装置１０の処理手順＞
次に、第２実施形態における画像処理装置１０の動作例を説明する。図７は、第２実施形態における画像処理装置１０の動作例を示す図である。
まず、画像処理装置１０は、画像データ取得部１０１にて画像データを取得し、マーク検出部１０２にて、図４におけるステップ１の処理を行ってマーク部分画像を生成する。

【0078】

具体的には、例えば、図６（ａ）に示すように、画像データ６１には、大きめの文字である「ア行」の文字６１１ａ及び小さめの文字である「アイウエオ」の文字６１１ｂからなる文字部分６１１が含まれる。また、画像データ６１には、「イウ」の文字部分に引かれた第１マーカ６１２ａ及び「エオ」の文字部分に引かれた第２マーカ６１２ｂを含むマーカ部分６１２が含まれる。さらに、画像データ６１には、第１マーカ６１２ａ及び第２マーカ６１２ｂを隔てる隙間６１３と図形６１４とが含まれる。

【0079】

例えば、マーク検出部１０２は、この画像データ６１から、図６（ｂ）に示すように、「ア行」のマーカ部分６２１ａと、「イウ」の第１マーカ部分６２１ｂと、「エオ」の第２マーカ部分６２１ｃとが含まれるマーク部分画像６２を生成する。また、この場合、マーク部分画像６２には、「ア行」のマーカ部分６２１ａに第１黒トギレ領域６２２ａと、「イウ」の第１マーカ部分６２１ｂ及び「エオ」の第２マーカ部分６２１ｃに第１黒トギレ領域６２２ａよりも細い第２黒トギレ領域６２２ｂとが含まれる。さらに、マーク部分画像６２には、「イウ」の第１マーカ部分６２１ｂ及び「エオ」の第２マーカ部分６２１ｃの間に隙間６２３が含まれる。

【0080】

また、文字検出部１０３は、画像データ取得部１０１から取得した画像データに対してグレースケール化の後に２値化を行って黒色部分を画像領域として抽出し、各画像領域の輪郭を抽出してバウンディングボックスを算出する。また、文字検出部１０３は、図７に示すように、予め定められた範囲内となる画像領域を文字部分として抽出して文字イメージを生成する（ステップ１０１）。

【0081】

具体的には、図６（ｃ）に示すように、例えば、文字検出部１０３にて画像データ６１をもとにバウンディングボックスを算出すると、図形６１４のバウンディングボックス６３２は、各文字部分６１１のバウンディングボックス６３１よりも大きくなる。
また、この場合、例えば、文字検出部１０３では、文字部分６１１のバウンディングボックス６３１は含まれるが、図形６１４のバウンディングボックス６３２は除外される範囲が予め設定される。そして、文字検出部１０３は、予め設定された範囲内であるバウンディングボックス６３１に対応する画像領域、すなわち、文字部分６１１を文字部分として抽出し、図６（ｄ）に示す文字イメージ６４を生成する。

【0082】

次に、文字検出部１０３は、文字幅判定部１０８に各文字部分に対応するバウンディングボックスの情報である矩形情報を渡す。そして、文字幅判定部１０８は、図７に示すように、矩形情報を参照して、バウンディングボックスの幅が閾値以上となる文字部分があるか否かを判定する（ステップ１０２）。また、文字幅判定部１０８は、バウンディングボックスの幅が閾値以上となる文字部分があると判定した場合（ステップ１０２にてＹｅｓ）、調整膨張率をマーク膨張部１０５に渡し、調整収縮率をマーク収縮部１０６に渡す（ステップ１０３）。

【0083】

具体的には、文字幅判定部１０８は、例えば、図６（ｃ）に示す文字部分６１１のバウンディングボックス６３１の幅をもとに判定を行う。ここで、例えば、文字幅判定部１０８は、「アイウエオ」の各文字部分のバウンディングボックス６３１ｂの幅を閾値以下であり、幅がより大きい「ア行」の各文字部分のバウンディングボックス６３１ａを閾値以上であると判定する。

【0084】

また、マーク膨張部１０５に対して、例えば、図６（ｂ）に示すマーク部分画像６２に含まれる「イウ」の第１マーカ部分６２１ｂに生じた第２黒トギレ領域６２２ｂを埋める膨張率が予め設定されているとする。この場合、文字幅判定部１０８は、膨張率よりも高い度合いであり、閾値以上である「ア行」のマーカ部分６２１ａにより生じる第１黒トギレ領域６２２ａを埋めるような調整膨張率をマーク膨張部１０５に渡す。また、文字幅判定部１０８は、調整膨張率を用いてマーク膨張部１０５にて膨張されたマーク膨張画像を膨張前の大きさに戻すため、調整膨張率に対応して、収縮率よりも高い度合いの調整収縮率をマーク収縮部１０６に渡す。

【0085】

画像処理装置１０は、マーク部分画像に対して、マーク膨張部１０５にて調整膨張率を用いた図４に示すステップ４の膨張を行ってマーク膨張画像を生成する。さらに、画像処理装置１０は、マーク膨張画像に対して、マーク収縮部１０６にて調整収縮率を用いた図４に示すステップ５の収縮を行ってマーク収縮画像を生成する。また、論理和演算部１０４では、図４に示すステップ３と同様にマーク部分画像と文字イメージとの論理和演算により結合画像が生成される。そして、画像処理装置１０は、図４に示すステップ６と同様に、論理積演算部１０７にてマーク収縮画像と結合画像との論理積演算によりマーク領域画像を生成し、処理を完了する。

【0086】

具体的には、マーク膨張部１０５では、調整膨張率を用いて膨張を行い、例えば、図６（ｂ）に示すマーク部分画像６２の第２黒トギレ領域６２２ｂよりも幅が広い第１黒トギレ領域６２２ａが結合された図６（ｅ）に示すマーク膨張画像６５が生成される。また、マーク膨張画像６５は、マーク部分画像６２の第１マーカ部分６２１ｂと第２マーカ部分６２１ｃとが結合される。さらに、マーク収縮部１０６では、マーク膨張画像６５を調整収縮率で収縮して図示しない収縮画像が生成される。

【0087】

また、図６（ｂ）に示すマーク部分画像６２と、図６（ｄ）に示す文字イメージ６４との論理和演算により図示しない結合画像を生成する。そして、論理積演算部１０７では、例えば、図６（ａ）に示す画像データ６１の「イウ」の第１マーカ６１２ａ及び「エオ」の第２マーカ６１２ｂの間に設けられた隙間６１３に対応する隙間部分が生成されたマーク領域画像が得られる。

【0088】

一方、画像処理装置１０は、図７に示すように、文字幅判定部１０８にて、バウンディングボックスの幅が閾値以上となる文字部分がないと判定された場合（ステップ１０２にてＮｏ）、予め設定された膨張率及び収縮率を用いて、図４に示すステップ３からステップ６の処理を行う。そして、画像処理装置１０は、論理積演算部１０７にて、生成された結合画像とマーク収縮画像との論理積演算によりマーク領域画像を生成し、処理を完了する。

【0089】

第２実施形態の画像処理装置１０では、文字検出部１０３にて画像データに含まれる画像領域のバウンディングボックスを算出することにより、例えばＯＣＲよりも負荷が少なく短時間で文字であるか否かを判別する。また、第２実施形態では、サイズが大きく太い文字を含む場合でも、膨張率を調整膨張率に変えて膨張を行うことで、大きな黒トギレ領域も黒色に変換される。

【0090】

なお、文字幅判定部１０８は、バウンディングボックスの幅が予め設定された閾値以上となる文字部分があるか否かを判定したが、幅としては縦や横の長さ等、バウンディングボックスの大きさが分かればよい。
さらに、文字幅判定部１０８では、予め閾値を複数設定して閾値の範囲ごとに、膨張率を大きくしたり小さくしたり調整して設定する構成にして、膨張率を文字の大きさによって段階的に異なる度合いが設定される構成でもよい。また、この場合、画像処理装置１０は、文字の大きさや太さによって柔軟に膨張させる度合いが設定され、様々な太い文字による黒トギレに対応する。

【0091】

次に、マークされた文字を判別するための画像の生成を図る構成について説明する。
第２実施形態における文字検出部１０３は、各文字部分に対応するバウンディングボックスの領域を黒色で表した画像である矩形画像を生成する構成とする。そして、文字検出部１０３は、論理積演算部１０７に矩形画像を渡し、論理積演算部１０７では、マーク領域画像と矩形画像との論理積演算により領域画像を生成するような構成とする。すなわち、論理積演算部１０７では、マーク領域画像と各文字部分のバウンディングボックスの領域との共通部分が抽出された領域画像が生成される。

【0092】

この構成により生成された領域画像は、例えば、バウンディングボックスとマーク領域画像とが重なっている位置と範囲とを判別し、バウンディングボックスに対応する文字にマークがあるか否かの認識を容易にする。すなわち、この構成における画像処理装置１０は、文章中のどの文字にマークがされているかを容易に認識できる領域画像を生成する。
なお、この場合、文字幅判定部１０８は、バウンディングボックスの算出を行って矩形画像を生成し、論理積演算部１０７に矩形画像を渡す構成であれば、第２実施形態にて説明した判定を必ずしも行わなくてもよい。

【符号の説明】

【0093】

１０…画像処理装置、１０１…画像データ取得部、１０２…マーク検出部、１０３…文字検出部、１０４…論理和演算部、１０５…マーク膨張部、１０６…マーク収縮部、１０７…論理積演算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】