(58)【調査した分野】(Int.Cl.,DB名)
前記算出部は、前記グループ分けされた画像における最大の明度値である基準階調値をグループごとに算出し、算出された前記基準階調値に対する各画素の階調値の倍率を前記補正データとして算出することを特徴とする請求項1に記載の画像処理装置。
前記分割部は、前記撮像の撮像対象の媒体ごとに割り振られた識別情報に基づいて、前記組み合わせを選択してグループ分けすることを特徴とする請求項1又は2に記載の画像処理装置。
前記算出するステップにおいて、前記グループ分けされた画像における最大の明度値である基準階調値をグループごとに算出し、算出された前記基準階調値に対する各画素の階調値の倍率を前記補正データとして算出することを特徴とする請求項4に記載の画像処理方法。
前記グループ分けするステップにおいて、前記撮像の撮像対象の媒体ごとに割り振られた識別情報に基づいて、前記組み合わせを選択してグループ分けすることを特徴とする請求項4又は5に記載の画像処理方法。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、キャリブレーションを行った後にイメージリーダ装置の移動があった場合には、再度のキャリブレーションを行う必要があり、キャリブレーションシートを読み取るなどの手間が発生する。一方、移動があったことをオペレータが認識していない場合には、再度のキャリブレーションが行われないため、影を補正する位置がずれて正しく影を除去できず、その後のOCR処理や印鑑照合処理でエラーとなってしまう。また、キャリブレーション後に、金融機関の窓口客や行員などによって、意図しない一時的な影(動的な影)が発生してしまう場合がある。その場合も、再度のキャリブレーションの手間を掛けなければ、正しく影を除去することができないため、その後の処理でエラーとなってしまう。
【0005】
本発明は、上記課題に鑑み、オペレータの手間を削減し、キャリブレーション後に生じた影の影響を受けずに安定した画像の読み取りを可能とさせる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明は、撮像された画像内に写り込んだ影を除去する画像処理装置であって、撮像された前記画像から色味成分を除去する色味成分除去部と、前記色味成分が除去された前記画像から文字情報を除去する文字情報除去部と、撮像された前記画像を色相と彩度の組み合わせによりグループ分けする分割部と、前記文字情報が除去された画像と、前記グループ分けされた画像とに基づいて、前記影を補正するための補正データをグループごとに算出する算出部と、算出された前記補正データに基づいて、前記撮像された画像を補正する補正部とを備えることを特徴とする。色味成分除去部は、後述する色相・彩度・明度分割部に相当し、文字情報除去部は、後述するエッジ除去部に相当し、分割部は、後述するグルーピング処理部に相当し、算出部は、後述する影情報作成部に相当し、補正部は、後述するカラー影補正部に相当する。
【0007】
また、本発明の画像処理装置において、前記算出部が、前記グループ分けされた画像における最大の明度値である基準階調値をグループごとに算出し、算出された前記基準階調値に対する各画素の階調値の倍率を前記補正データとして算出することは、好ましい態様である。
【0008】
また、本発明の画像処理装置において、前記分割部が、前記撮像の撮像対象の媒体ごとに割り振られた識別情報に基づいて、前記組み合わせを選択してグループ分けすることは、好ましい態様である。
【0009】
また、本発明は、撮像された画像内に写り込んだ影を除去する画像処理装置における画像処理方法であって、撮像された前記画像から色味成分を除去するステップと、前記色味成分が除去された前記画像から文字情報を除去するステップと、撮像された前記画像を色相と彩度の組み合わせによりグループ分けするステップと、前記文字情報が除去された画像と、前記グループ分けされた画像とに基づいて、前記影を補正するための補正データをグループごとに算出するステップと、算出された前記補正データに基づいて、前記撮像された画像を補正するステップとを有することを特徴とする。
【0010】
また、本発明の画像処理方法において、前記算出するステップにおいて、前記グループ分けされた画像における最大の明度値である基準階調値をグループごとに算出し、算出された前記基準階調値に対する各画素の階調値の倍率を前記補正データとして算出することは、好ましい態様である。
【0011】
また、本発明の画像処理方法において、前記グループ分けするステップにおいて、前記撮像の撮像対象の媒体ごとに割り振られた識別情報に基づいて、前記組み合わせを選択してグループ分けすることは、好ましい態様である。
【発明の効果】
【0012】
本発明によれば、オペレータの手間を削減し、キャリブレーション後に生じた影の影響を受けずに安定した画像の読み取りを可能とさせる。
【図面の簡単な説明】
【0013】
【
図1】実施の形態における画像処理システムの構成の一例を示す図である。
【
図2】実施の形態におけるスタンド型スキャナ装置の一例を示す図である。
【
図3】実施の形態におけるスタンド型スキャナ装置の設置場所変更の影響について説明するための図である。
【
図4】実施の形態における一時的な影によるキャリブレーション崩れの影響について説明するための図である。
【
図5】実施の形態に係る画像処理装置の機能構成の一例を示す図である。
【
図6】実施の形態におけるカラー画像の一例を示す図である。
【
図7】実施の形態におけるカラー画像上の位置と明るさの関係を概念的に示した図である。
【
図8A】実施の形態に係る画像処理装置による影除去処理の各過程における画像の一例を示す図である。
【
図8B】実施の形態に係る画像処理装置による影除去処理の各過程における画像の一例を示す図である。
【
図9】実施の形態におけるエッジ除去部によるエッジ除去フローの一例を示すフローチャートである。
【
図10】実施の形態におけるグルーピング処理部によるグループ分けのテーブルの一例を示す図である。
【
図11】実施の形態における基準V値の算出を説明するための図である。
【
図12】実施の形態におけるグループごとのそれぞれの注目画素のS補正量のデータテーブルを示す図である。
【
図13】実施の形態に係る画像処理装置の影除去処理の全体の流れを示す図である。
【
図14】実施の形態に係る画像処理装置を実現するためのハードウェア構成の一例を示す図である。
【
図15】実施の形態に係る画像処理装置における影除去処理フローの一例を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、実施の形態について図面を参照して説明する。まず、実施の形態に係る画像処理システムの一例について
図1を用いて説明する。画像処理システム1は、カメラ部20を有するスタンド型スキャナ装置2と、制御PC3と、LCD(Liquid Crystal Display)モニタ4から構成されている。スタンド型スキャナ装置2と制御PC3は、例えばUSB(Universal Serial Bus)インタフェース14を介して接続される。
【0015】
スタンド型スキャナ装置2は、税や公金などの帳票及びオートフィーダ型イメージスキャナで扱うことができない媒体を読み取る非接触型イメージスキャナである。スタンド型スキャナ装置2の一例を
図2に示す。スタンド型スキャナ装置2は、レンズ23を備えるカメラ部20、台座部21、支柱部22から構成されている。
【0016】
カメラ部20は、
図1に示すように、イメージセンサ10、制御CPU(Central Processor Unit)11、USBコントローラ12、RAM(Random Access Memory)13から構成されている。イメージセンサ10は、R.G.Bのカラーフィルタを備え、フルカラー画像の撮像が可能な素子である。制御CPU11は、カメラ部20の動作全般を制御するものである。USBコントローラ12は、制御CPU11の指示(制御信号)に基づいて、イメージセンサ10によって撮像された画像をUSBインタフェース14を介して制御PC3へ送信する。RAM13は、撮像された画像などを格納する。なお、カメラ部20が、後述する制御PC3の機能を備えるようにしてもよい。
【0017】
台座部21は、帳票などの読み取り媒体を読み取る際に、読み取り媒体が置かれるものであり、読み取り媒体の透けの影響を避け、読み取り媒体の輪郭検出ができるよう、均一な黒色の台座であることが好ましい。
【0018】
支柱部22は、カメラ部20による撮像方向が台座部21に対して垂直となるようにカメラ部20を支持するものである。
【0019】
スタンド型スキャナ装置2は、カメラ部20と台座部21が離れた構造であるため、例えば、厚みのある帳票などを読み取ることが可能となる。また、スタンド型スキャナ装置2は、自身で光源を持たず、蛍光灯などの外光が媒体面(帳票面)で反射した反射光をカメラ部20のイメージセンサ10で受光することにより画像を撮像する。
【0020】
制御PC3は、キャリブレーション後のスタンド型スキャナ装置2の設置場所変更や一時的な影(動的な影)によるキャリブレーション崩れの影響を緩和するよう、撮像した画像を元に部分的な影を特定して除去するものである。制御PC3は、後述する画像処理装置3に相当し、制御PC(画像処理装置)3の具体的な処理については後述する。
【0021】
ここで、スタンド型スキャナ装置2の設置場所変更の影響について
図3を用いて説明する。キャリブレーション後にスタンド型スキャナ装置2の設置場所が変更されると、設置場所変更後の影30が帳票上に写る場合がある。その場合、オペレータが設置場所の変更に気づかず、再度のキャリブレーションを行わずに読み取りを行うと、キャリブレーション時に設定された影の位置31に基づいて影の補正がされる。そのため、キャリブレーション後に写る設置場所変更後の影30の部分が補正されずに暗いままとなり、キャリブレーション時に設定された影の位置31を明るく補正してしまう。
【0022】
また、一時的な影によるキャリブレーション崩れの影響について
図4を用いて説明する。キャリブレーション時の影40とは別に、キャリブレーション後に金融機関の窓口客や行員の移動などによる一時的な影41が帳票に写り込むと、キャリブレーション時に設定された影の位置42ではないため、一時的な影41については補正されない。
【0023】
LCDモニタ4は、画像処理装置3によって影が除去された画像を表示するものである。なお、LCDモニタ4は、画像処理装置3の構成であってもよい。
【0024】
次に、実施の形態に係る画像処理装置3の機能構成の一例について
図5を用いて説明する。画像処理装置3は、画像取得部50、色相・彩度・明度分割部51、エッジ除去部52、グルーピング処理部53、影情報作成部54、カラー影補正部55、グループ分けテーブル格納部56から構成されている。なお、画像処理装置3の構成はこれに限られるものではなく、他の構成要素を含むものであってもよい。
【0025】
画像取得部50は、カメラ部20によって撮像された帳票などの媒体の画像を取得する。取得される画像は、例えばカラー画像(RGB画像)である。カラー画像の一例を
図6に示す。
図6に示す帳票のカラー画像には、印刷色、記入文字/印刷文字、影が含まれている。
【0026】
印刷色の対象は、記入場所を指定するための枠線やガイド文字、デザイン上の面塗りなどである。色には薄い色、濃い色が存在する。薄い色とは、明度が媒体用紙の白色背景と同等の色であり、濃い色とは、明度が媒体用紙の白色背景より下回る色である。ここでは、薄い色と濃い色の2種類のみとなっているが、薄い色においても薄い色とより薄い色、濃い色においても濃い色とより濃い色という区分があってもよい。記入文字/印字文字は、印影などを含み、OCR認識や印鑑照合の対象となる情報である。影は、キャリブレーション後にスタンド型スキャナ装置2の設置場所が変更されたことによるスタンド型スキャナ装置2や周囲物の影や、行員などの移動による一時的な影である。
【0027】
カラー画像上の位置と明るさの関係を概念的に示したものを
図7に示す。
図7は、
図6に示すカラー画像の横方向をX軸、縦方向をY軸とした場合、y座標が例えばy=a(aは定数)のときのx座標の画素の明るさを示すものである。文字や影がある部分は、基準の明るさと比べると、明るさが落ち込んでいることがわかる。
【0028】
色相・彩度・明度分割部51は、取得したカラー画像をHSV(色相・彩度・明度)色空間に変換する。このように変換するのは、影の影響はHSV色空間のうちH(色相)とS(彩度)には発生せず、V(明度)のみに影の影響が発生するということを利用するためである。変換されたV(明度)画像は、取得したカラー画像から色味成分(H(色相)とS(彩度))が除去された画像である。V(明度)画像の一例が
図8Aに画像Aとして示されている。なお、
図8A及び
図8Bは、画像処理装置3による影除去処理の各過程における画像の一例を示している。
【0029】
エッジ除去部52は、V(明度)画像から文字情報(記入文字、印刷文字、罫線、印影などOCR認識や印鑑照合の対象となる情報)を除去するものであり、エッジ検出部57と画素置き換え部58から構成されている。V(明度)画像から文字情報が除去された画像の一例が
図8Aに画像Bとして示されている。
【0030】
ここで、エッジ除去部52によるエッジ除去フローの一例について
図9を用いて説明する。エッジ検出部57は、エッジ検出処理(例えば、2値化処理を含む処理)によりエッジ画素(文字部分)を特定する(ステップS901)。画素置き換え部58は、V(明度)画像のエッジ画素を明るさ0(ゼロ)に置き換える(ステップS902)。画素置き換え部58は、明るさ0の画素座標について、明るさを周囲画素で補完する(ステップS903)。なお、明るさ0の画素は最も近傍の0でない明るさの値に置き換える。具体的には、画素置き換え部58は、2値化処理で「黒」になったドット位置(注目画素)に対応するV(明度)画像(グレースケール)の階調値を、近傍の階調で置き換える。近傍とは、例えば、注目画素の周囲7×7のドット範囲内をいう。画素置き換え部58は、その範囲内で最大階調となる値で置き換える。その範囲内において、すべて2値化の「黒」の場合、注目画素は最大の階調値の「255」をセットする。
【0031】
グルーピング処理部53は、撮像された画像を色相と彩度の組み合わせによりグループ分けする。すなわち、色相・彩度・明度分割部51によって変換された画像を、後述する
図13に示すように、H(色相)とS(彩度)の組み合わせパターンにより画像全体を色によりグループ分けする。グループ分けのテーブル例を
図10に示す。
図10に示すように、グループ分けのテーブルは、H(色相)とS(彩度)の組み合わせによってグループ分けされている。このテーブルは、グループ分けのためにあらかじめ用意されたものである。グループ1(G1)からグループ17(G17)はH(色相)が0から30の幅を有し、そのうちのグループ1(G1)はS(彩度)が0から15の幅を有している。このようなテーブルによって、例えば、H(色相)が0から30の範囲で、かつS(彩度)が0から15階調の範囲のものは、グループ1(G1)にグループ分けされる。グループ分けの細かさは、影の除去(補正)の精度と直結するため、外部パラメータとして指定できることが好ましい。また、細かさは、画質評価で判断することも可能であり、その場合、等間隔にしないようにしてもよい。
【0032】
なお、グルーピング処理部53によるグループ分けは、帳票などの媒体の識別情報(ID)ごとにH(色相)及びS(彩度)の範囲幅を定義しておき、OCRなどで読み取った媒体のIDに応じて最適な範囲幅を選択することで、媒体に最適なグルーピングを行うようにしてもよい。
【0033】
グループ分けされた画像の一例が
図8Bに画像C及び画像Dとして示されている。この例では、画像C(グループA)はH(色相)が赤、S(彩度)が濃いとなっており、画像D(グループB)はH(色相)が赤、S(彩度)が薄いとなっている。グループAは、例えば上述したグループ1に相当し、グループBは、例えば上述したグループ2に相当する。ここでは、2つのグループのみが記載されているが、他にもH(色相)やS(彩度)があればグループは2つに限られるものではない。なお、色罫線もグループ分けされるが、
図8Bの画像C及び画像Dでは省略されている。
【0034】
影情報作成部54は、文字情報などが除去された画像(V画像)と、グループ分けされた画像とに基づいて、影を補正するための補正データをグループごとに算出する。具体的には、影情報作成部54は、グループ分けされたそれぞれのグループの画像について、最大のV(明度)値を算出する。この最大のV値を、S(ソフト)補正の基準階調値(基準V値)とする。なお、単純に最大値を基準V値とすると、画像のピークノイズを検出してしまい、値が安定しない場合がある。そのため、基準V値の算出時には、例えば
図11に示すように、ヒストグラムを集計し、上位0.3%を無視(99.7%を有効データとする)した上で算出する。
【0035】
影情報作成部54は、各画素(グループに該当する画素)について影に対する階調補正量(以下、「S補正量」)をグループごとに算出し、算出した値を補正データとしてテーブル化する。S補正量は、基準V値を画素階調V値で割ったもの、すなわち、基準V値に対する各画素の階調値の倍率である。例えば、グループ1(例えば、
図8BのグループA)の基準V値(基準)が200の場合であって、ある注目画素1(
図8Bの画像Eに示す注目領域を構成する複数の画素のうちの1つの画素)の階調値(階調V値)が180の場合、注目画素1のS補正量は200/180=1.11となる。この値(倍率)が補正データとされる。ただし、基準V値<画素階調V値の場合は、S補正量は1とする。
【0036】
図12には、影情報作成部54によって算出された、グループごとの注目領域を構成するそれぞれの注目画素のS補正量がテーブル化されて示されている。グループ1(G1)では、基準V値が200で、それぞれの注目画素のS補正量が1.11、1.67、・・・とテーブル化されている。他のグループについても同様である。影情報作成部54は、グループごとに作成されたテーブルを結合することで、全画素についてS補正量(倍率XX倍)のデータを取得する。
図8Bに示す画像Gには、グループごとに作成されたテーブルを結合した際のS補正量(倍率1.5倍)が示されている。テーブル化された時点でグループ分けの結果は破棄されてもよい。なお、S補正量のリミット値は、画像評価結果に基づいて決定するようにしてもよい。
【0037】
カラー影補正部55は、影情報作成部54による補正データ(S補正量のデータ)に基づいて、撮像された画像を補正し、影を除去する。具体的には、カラー影補正部55は、全画素についてのS補正量を、画像取得部50で取得された画像の各画素に掛け合わせることで、補正後のカラー画像(
図8Bの画像H)を取得することができる。
【0038】
グループ分けテーブル格納部56は、上述したグループ分けされたテーブルの情報などが格納されている。
【0039】
上述した画像処理装置3の影除去処理の全体の流れを
図13に示す。上述したように、HSV変換130は色相・彩度・明度分割部51によって行われ、グループ分け131はグルーピング処理部53によって行われる。2値化132及び周囲画素置き換え処理134から構成されるエッジ除去処理は、エッジ除去部52によって行われる。グループ毎のS補正テーブル作成136は、影情報作成部54によって行われ、カラーS補正137は、カラー影補正部55によって行われ、補正済のカラー画像が出力される。
【0040】
なお、グループ分け131とエッジ除去処理は、並行して実施されてもよく、またいずれかが先に実施されてもよい。ただし、グループ毎のS補正テーブル作成136が開始されるまでに、グループ分け131とエッジ除去処理が完了している必要がある。
【0041】
ここで、実施の形態に係る画像処理装置3を実現するためのハードウェア構成の一例について
図14を用いて説明する。ハードウェア構成は、例えば、CPU141、HDD(Hard Disk Drive)142、ROM(Read Only Memory)143、RAM144、通信インタフェース(I/F)145、バス146を備えている。CPU141、HDD142、ROM143、RAM144、通信インタフェース(I/F)145は、例えば、バス146を介して互いに接続されている。
【0042】
CPU141は、バス146を介して、HDD142などに格納される画像処理装置3の各種処理を行うためのプログラムを読み込み、読み込んだプログラムをRAM144に一時的に格納し、そのプログラムにしたがって各種処理を行うものであり、主として上述した色相・彩度・明度分割部51、エッジ除去部52、グルーピング処理部53、影情報作成部54、カラー影補正部55として機能する。
【0043】
HDD142には、画像処理装置3の各種処理を行うためのアプリケーションプログラムや、画像処理装置3の処理に必要なデータなどが格納され、主として上述したグループ分けテーブル格納部56として機能する。
【0044】
ROM143は、不揮発性メモリであって、ブートプログラムやBIOS(BasicInput/Output System)などのプログラムを記憶する。
【0045】
RAM144には、揮発性メモリであって、CPU141に実行させるためのOS(Operating System)プログラムやアプリケーションプログラムの一部が一時的に格納される。また、RAM144には、CPU141による処理に必要な各種データが格納される。
【0046】
通信インタフェース(I/F)145は、外部(スタンド型スキャナ装置2やLCDモニタ4など)とデータの送受信を行うものであり、主として上述した画像取得部50として機能する。
【0047】
バス146は、各装置間の制御信号、データ信号などの授受を媒介する経路である。
次に、実施の形態に係る画像処理装置による影除去処理フローの一例について
図15を用いて説明する。まず、画像取得部50は、カメラ部20によって撮像された画像を取得する(ステップS1501)。色相・彩度・明度分割部51は、取得したカラー画像をHSV(色相・彩度・明度)色空間に変換する(ステップS1502)。エッジ除去部52は、変換されたV(明度)画像から文字情報、罫線、印影などOCR認識や印鑑照合の対象となる情報(エッジ部分)を除去する(ステップS1503)。
【0048】
グルーピング処理部53は、撮像された画像を色相と彩度の組み合わせによりグループ分けする(ステップS1504)。このとき、上述したように、グルーピング処理部53は、読み取り媒体のIDをOCRで読み取り、IDに応じた範囲幅を選択し、選択された範囲幅を用いてグルーピングを行うようにしてもよい。
【0049】
影情報作成部54は、グループ分けされたそれぞれのグループの画像について、最大のV(明度)値である基準V値を算出する(ステップS1505)。影情報作成部54は、全画素についてS補正量をグループごとに算出し、算出した値を補正データとしてテーブルを作成する(ステップS1506)。影情報作成部54は、グループごとに作成されたテーブルを結合し、全画素についてS補正量のデータを取得する(ステップS1507)。カラー影補正部55は、影情報作成部54による補正データ(S補正量のデータ)に基づいて、撮像された画像を補正し、影を除去(補正)する(ステップS1508)。
【0050】
上述したような画像処理装置3によれば、オペレータの手間を削減し、キャリブレーション後に生じた影の影響を受けずに安定した画像の読み取りを可能とさせる。
【0051】
なお、上述した実施の形態では、画像処理装置3などの主な処理をCPUによるソフトウェア処理によって実行するものとして説明したが、この処理の全部又は一部をハードウェアによって実現するようにしてもよい。
【0052】
また、上述した実施の形態は、上述したものに限定されるものではなく、実施の形態の要旨を逸脱しない範囲において種々の変更を加えることができる。