(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-20
(45)【発行日】2024-05-28
(54)【発明の名称】画像処理装置、方法、およびプログラム
(51)【国際特許分類】
H04N 1/407 20060101AFI20240521BHJP
H04N 1/60 20060101ALI20240521BHJP
G06T 1/00 20060101ALI20240521BHJP
G06T 5/40 20060101ALI20240521BHJP
【FI】
H04N1/407 740
H04N1/60
G06T1/00 510
G06T1/00 460L
G06T5/40
(21)【出願番号】P 2020126112
(22)【出願日】2020-07-27
【審査請求日】2023-04-24
(73)【特許権者】
【識別番号】000233295
【氏名又は名称】株式会社日立情報通信エンジニアリング
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】室伏 洋明
(72)【発明者】
【氏名】唐澤 正行
(72)【発明者】
【氏名】鈴木 和美
【審査官】橋爪 正樹
(56)【参考文献】
【文献】特開2016-048828(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 1/40- 1/409
H04N 1/46- 1/64
G06T 1/00
G06T 5/40
(57)【特許請求の範囲】
【請求項1】
帳票が光学的に読み取られた画像を入力し、前記画像内でのポイント毎の明度のヒストグラムを作成し、前記ポイント毎の明度を補正対象ポイント明度として、前記ヒストグラムでの前記補正対象ポイント明度に対し設定される明度幅による明度範囲での明度平均値を計算し、前記補正対象ポイント明度を前記明度平均値で置き換えるように補正した画像を生成し出力する処理を行う、
画像処理装置。
【請求項2】
請求項1記載の画像処理装置において、
前記画像内の前記ポイント毎に2値化を行い、2値化した結果が白となる部分には前記補正を適用し、黒となる部分には前記補正を適用しない、
画像処理装置。
【請求項3】
請求項1記載の画像処理装置において、
前記画像は、前記ポイント毎に、R、G、およびBの画素値を有し、
前記ポイント毎の各成分の前記画素値について、それぞれ前記明度平均値との差を計算し、前記差の平均値を計算し、前記各成分の画素値から前記差の平均値を減算したそれぞれの減算値を計算し、前記各成分の画素値を前記減算値で置き換えるように補正する、
画像処理装置。
【請求項4】
帳票が光学的に読み取られた画像を入力し、前記画像内でのポイント毎の明度のヒストグラムを作成し、前記ポイント毎の明度を補正対象ポイント明度として、前記ヒストグラムでの前記補正対象ポイント明度に対し設定される明度幅による明度範囲での
頻度最大値での明度を計算し、前記補正対象ポイント明度を前記
頻度最大値での明度で置き換えるように補正した画像を生成し出力する処理を行う、
画像処理装置。
【請求項5】
画像処理装置での画像処理方法であって、
帳票が光学的に読み取られた画像を入力し、前記画像内でのポイント毎の明度のヒストグラムを作成し、前記ポイント毎の明度を補正対象ポイント明度として、前記ヒストグラムでの前記補正対象ポイント明度に対し設定される明度幅による明度範囲での明度平均値を計算し、前記補正対象ポイント明度を前記明度平均値で置き換えるように補正した画像を生成し出力するステップを有する、
画像処理方法。
【請求項6】
画像処理装置に画像処理を実行させる画像処理プログラムであって、
前記画像処理として、帳票が光学的に読み取られた画像を入力し、前記画像内でのポイント毎の明度のヒストグラムを作成し、前記ポイント毎の明度を補正対象ポイント明度として、前記ヒストグラムでの前記補正対象ポイント明度に対し設定される明度幅による明度範囲での明度平均値を計算し、前記補正対象ポイント明度を前記明度平均値で置き換えるように補正した画像を生成し出力する処理を
前記画像処理装置に対して実行させる、
画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理技術に関し、光学的な読み取り画像を補正する技術に関する。
【背景技術】
【0002】
帳票等の用紙をスキャナ装置で光学的に読み取った場合の読み取り画像には、色ムラ、言い換えると明度ムラが生じる場合がある。読み取り画像の色ムラ等を補正する画像処理技術としては、シェーディング補正方式等がある。シェーディング補正方式は、画像領域内の色・明度の分布において、読み取り時のレンズ特性等に起因して、周辺領域が暗くなっている読み取り画像の場合に、周辺領域の暗い部分を明るくして均一化するように補正を行う方式である。
【0003】
上記読み取り画像の色ムラ等を補正する画像処理に関して、先行技術例としては、特開平9-149277号公報が挙げられる。特許文献1には、「画像明度変換装置」として、「入力される画像濃度がその都度ばらついても忠実な色のままで、最大のコントラストを得て、好ましい明るさに自動的に適正化できる」旨が記載されている。特許文献1では、明度変換として、明度のヒストグラムを用いる旨が記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
帳票の用紙に、紙質に応じたすきムラや、記載時の筆圧や搬送時のばたつき等に応じたよれや折れ曲がり、言い換えると、紙面において厚さの違いの分布が生じている場合がある。その場合、その帳票の読み取り画像には、ランダムな箇所に、色ムラ・明度ムラが生じる場合がある。その読み取り画像を人の眼から見た場合、視認性が良くない場合がある。あるいは、用紙の重なり・裏写り等がある場合には、透けた文字等が読み取り画像に見えてしまうことで、視認性が良くない場合がある。
【0006】
本発明の目的は、画像処理技術に関して、読み取り画像の色ムラ・明度ムラを低減して視認性を高めることができる技術を提供することである。
【課題を解決するための手段】
【0007】
本発明のうち代表的な実施の形態は、以下に示す構成を有する。実施の形態の画像処理装置は、帳票が光学的に読み取られた画像を入力し、前記画像内でのポイント毎の明度のヒストグラムを作成し、前記ポイント毎の明度を補正対象ポイント明度として、前記ヒストグラムでの前記補正対象ポイント明度に対し設定される明度幅による明度範囲での明度平均値を計算し、前記補正対象ポイント明度を前記明度平均値で置き換えるように補正した画像を生成し出力する処理を行う。
【発明の効果】
【0008】
本発明のうち代表的な実施の形態によれば、画像処理技術に関して、読み取り画像の色ムラ・明度ムラを低減して視認性を高めることができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の実施の形態1の画像処理装置を含む、システムの構成を示す図である。
【
図2】実施の形態1で、読み取りの対象となる帳票の例を示す図である。
【
図3】実施の形態1で、補正前画像と補正後画像の例を示す図である。
【
図4】実施の形態1で、補正前画像内の明度分布の例を示す図である。
【
図5】実施の形態1で、補正後画像内の明度分布の例を示す図である。
【
図6】実施の形態1で、主な処理フローのその1を示す図である。
【
図7】実施の形態1で、主な処理フローのその2を示す図である。
【
図8】実施の形態1で、主な処理フローのその3を示す図である。
【
図9】実施の形態1で、対象画像のデータ形式の例を示す図である。
【
図10】実施の形態1で、明度のヒストグラムの例を示す図である。
【
図11】実施の形態1で、ヒストグラム中のポイントおよび範囲の例を示す図である。
【
図12】実施の形態1で、ポイントの範囲での平均値の計算例を示す図である。
【
図13】実施の形態1で、ルックアップテーブル(LUT)の例を示す図である。
【
図14】実施の形態1の変形例で、ユーザ設定情報の例を示す図である。
【
図15】実施の形態1の変形例で、読み取り画像の処理例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、全図面において同一部には原則として同一符号を付し、繰り返しの説明は省略する。
【0011】
[課題等]
課題等について補足説明する。従来のシェーディング補正方式等の画像補正方法は、画像内の暗い部分(特に周辺領域)を明るくして均一化するように補正する。この方式では、対象画像は補正後に全体的な明度が高くなる。このような画像補正方式は、前述の帳票の読み取り画像におけるランダムな箇所に生じる色ムラ・明度ムラには有効ではない。また、他の画像補正方法としては、画像内の明度ムラがある領域について、明度の平均値等を算出して、その1つの明度値に塗りつぶすように補正する方式も挙げられる。しかし、領域内の全ポイントが同一の明度になると、人の眼から見て違和感が生じる場合がある。また、読み取り画像内において、領域毎に明度を補正する場合、その領域毎の識別や設定が必要であるが、これには処理の難しさや計算処理負荷の高さ等がある。
【0012】
これに対し、実施の形態の画像処理方法は、画像内のランダムな箇所の色ムラ・明度ムラについて、明暗を補正する。この補正は、ポイント毎に、暗い箇所を明るくなるように補正すること(言い換えると明度を上げる補正)と、明るい箇所を暗くなるように補正すること(言い換えると明度を下げる補正)との両方を含む補正である。
【0013】
具体的には、実施の形態の画像処理方法は、対象画像内における各ポイント(例えば画素)の明度毎に、所定の明度範囲でのヒストグラムを用いて、明度の平均値等を計算し、その平均値等(すなわち補正値)によって、そのポイントの明度を置き換えるように補正するステップを有する。これにより、補正後画像では、ランダムな箇所の色ムラ・明度ムラが低減され、人の眼から見た視認性が向上する。それとともに、全体的な明度はあまり変わらない。
【0014】
<実施の形態1>
図1~
図13等を用いて、本発明の実施の形態1の画像処理装置、方法、およびプログラムについて説明する。実施の形態1の画像処理方法は、実施の形態1の画像処理装置で実行されるステップを有する方法である。実施の形態1の画像処理プログラムは、実施の形態1の画像処理装置に処理を実行させるプログラムである。
【0015】
[画像処理装置]
図1は、実施の形態1の画像処理装置1を含む、システムの構成例を示す。
図1のシステムは、画像処理装置1とスキャナ装置2とがLAN等の通信手段で接続されているシステムである。ユーザU1は、画像処理装置1やスキャナ装置2を操作する。ユーザU1は、帳票3(言い換えると用紙)を、スキャナ装置2で読み取らせ、読み取りによって得られた画像(帳票画像ファイル4)を、画像処理装置1で処理させて、帳票認識結果等を得る。
【0016】
スキャナ装置2は、セットされた帳票3等の紙面を光学的に走査して画像を読み取る装置である。スキャナ装置2は、読み取りの結果として、帳票画像ファイル4を出力する。帳票画像ファイル4は、LANを通じて、画像処理装置1に転送される。画像処理装置1は、通信インタフェース装置103によって帳票画像ファイル4を受信・入力し、記憶装置102内に補正前の画像ファイル122として格納する。なお、スキャナ装置2は、スキャナ機能およびプリンタ機能等を持つ複合機等としてもよい。
【0017】
画像処理装置1は、実施の形態1の画像処理プログラムが実装されているコンピュータである。また、本例では特に、画像処理装置1は、OCR装置(言い換えると帳票認識装置)であり、帳票認識プログラム内に実施の形態1の画像処理プログラムが含まれている。実施の形態1の画像処理プログラムは、実施の形態1の画像処理方法に対応する、色ムラ補正処理を含む画像処理および情報処理をコンピュータ(画像処理装置1)に実行させるプログラムである。
【0018】
この画像処理装置1は、例えばPCおよびそれに搭載されるソフトウェアで構成されているが、OCRや複合機等の専用装置として構成されてもよい。また、本例では、画像処理装置1とスキャナ装置2とに分かれている構成であるが、これに限らず、画像処理装置1とスキャナ装置2とが一体である構成でもよい。
【0019】
画像処理装置1は、入力の帳票画像ファイル4に対し、色ムラ補正処理を含む、帳票認識処理を行う。画像処理装置1は、入力の帳票画像ファイル4を、補正前の画像ファイル122とし、色ムラ補正処理を行い、処理後の出力が、補正後の画像ファイル123となる。実施の形態1の画像処理プログラム(制御プログラム121に含まれている)は、その色ムラ補正処理を行うプログラムである。実施の形態1の画像処理プログラムは、補正前の画像ファイル122を入力として、色ムラ補正処理を行い、補正後の画像ファイル123を出力する。画像処理装置1の帳票認識プログラムは、補正後の画像ファイル123に対し、文字等を認識して抽出する帳票認識処理、言い換えるとOCR処理を行い、その処理の結果を、帳票認識結果データ124として出力する。
【0020】
画像処理装置1であるコンピュータは、演算装置101、記憶装置102(言い換えるとメモリ)、通信インタフェース装置103、入出力インタフェース装置104、入力装置105、表示装置106、外部記憶装置107等を備え、これらはバス等を介して相互に接続されている。演算装置101は、CPU、ROM、RAM等により構成され、装置全体を制御するプロセッサまたはコントローラを実現する。演算装置101は、ソフトウェアプログラム処理により実現される機能ブロックとして、帳票画像入力部11、帳票認識処理部12、帳票認識結果出力部13、表示部14、設定部15、および画像処理部20を有する。画像処理部20は、実施の形態1の画像処理プログラムによって実現され、言い換えると、色ムラ補正処理部である。演算装置101は、記憶装置102の制御プログラム121を読み出してその制御プログラム121に従った処理を実行することにより、各機能ブロックを実現する。制御プログラム121は、実施の形態1の画像処理プログラム、および帳票認識プログラムを含む。
【0021】
記憶装置102には、不揮発性記憶装置等で構成され、演算装置101等が扱う各種のデータや情報が記憶されている。記憶装置102には、制御プログラム121、補正前の画像ファイル122、補正後の画像ファイル123、および帳票認識結果データ124等が記憶される。図示しないが、制御プログラム121には、プログラムやユーザの設定情報も伴う。設定情報は、例えば、帳票認識のための認識フォーマット情報等がある。認識フォーマット情報では、例えば帳票3毎の形式に応じて、読み取りフィールド(文字等を認識する対象となるフィールド)等が設定されている。帳票認識結果データ124は、帳票認識処理の結果として作成される、帳票3内から認識された文字や図形等の情報を含むデータである。なお、画像処理装置1の外部にDBサーバやストレージ装置等が接続され、それらに各種のデータや情報が格納されてもよい。
【0022】
補正前の画像ファイル122は、後述するが、色ムラを含む場合があり、画像処理部20は、その色ムラを低減する色ムラ補正処理を行う。その処理の結果、色ムラが低減された画像が、補正後の画像ファイル123となる。色ムラが低減された補正後の画像ファイル123は、ユーザU1から見て視認性が高い好適な画像となる。また、画像処理装置1は、補正後の画像ファイル123を用いて、帳票認識処理を行うことで、より高精度な結果を得られる可能性がある。
【0023】
通信インタフェース装置103は、スキャナ装置2等の外部装置との間で所定の通信インタフェースで通信処理を行う部分である。画像処理装置1は、スキャナ装置2に限らず、外部のサーバ装置やストレージ装置等の装置との間でデータを授受してもよい。
【0024】
入出力インタフェース装置104には、入力装置105、表示装置106、および外部記憶装置107等が接続されている。入力装置105は、例えばキーボードやマウスや操作パネルが挙げられる。ユーザは、入力装置105を通じて指示等を入力する。表示装置106は、液晶ディスプレイ等が挙げられる。入力装置105および表示装置106は、タッチパネルとしてもよい。表示装置106の表示画面には、所定のグラフィカル・ユーザ・インタフェース(GUI)を伴う画面が表示される。この画面は、帳票認識機能や色ムラ補正機能に係わる設定や確認等を可能とする画面である。ユーザは、その画面を通じて、帳票認識や色ムラ補正に係わる作業が可能である。
【0025】
外部記憶装置107は、例えばディスク装置やメモリカード装置等が挙げられる。外部記憶装置107には、演算装置101からの制御に基づいて、画像ファイル等の保存が可能である。画像処理装置1は、外部記憶装置107に格納されている画像ファイル等を入力してもよい。
【0026】
帳票画像入力部11は、スキャナ装置2からの帳票画像ファイル122を入力して記憶装置102に補正前の画像ファイル122として格納する。帳票認識処理部12は、認識対象の画像ファイル(例えば補正後の画像ファイル122)に対し、帳票認識処理(OCR処理)を行って、抽出した文字等の情報を含む帳票認識結果データ124を作成し、記憶装置102に格納する。帳票認識結果出力部13は、帳票認識結果データ124に基づいた帳票認識結果情報を表示画面に表示する。ユーザU1は、画面でその帳票認識結果情報を見て、確認や修正を行うことができる。表示部14は、帳票認識機能や色ムラ補正機能に係わる各種の画面を構成し、表示装置106の表示画面に表示する。設定部15は、画面を通じて、帳票認識機能や色ムラ補正機能に関するユーザ設定を受け付けて設定情報として記憶する。
【0027】
画像処理部20(言い換えると色ムラ補正処理部)は、実施の形態1の画像処理プログラムに基づいた画像処理として色ムラ補正処理を行う部分である。補正前の画像ファイル122に対し、この画像処理を行うかどうかは、ユーザU1によっても選択指定できる。デフォルト設定では、この画像処理の機能がオン状態として設定されている。この機能のオン状態では、自動的にこの画像処理が適用される。
【0028】
[帳票]
図2は、帳票3の紙面の例を示す。この帳票3の例は請求書の伝票である。帳票3の紙面には、背景の上に、所定の形式で罫線や文字や図像等が形成されている。背景領域201は、背景の領域の一例であり、背景色として、比較的白に近い、明度が高い領域である。図像領域202は、比較的黒に近い、明度が低い領域の例である。紙質などに応じて背景色は様々である。帳票3内の所定の領域には、人またはコンピュータが記載した文字や図像等があり、OCRによる認識の対象となる。破線の枠(例えば枠203)は、OCRでの読み取りフィールドの例である。
【0029】
帳票3は、紙質としては、例えば複写印字が可能な複写用紙(ノーカーボン紙など)である場合もある。帳票3の紙質や、スキャン時の機械的動作(例えば用紙搬送時のばたつき)や、記載時の筆圧等の各種の要因に応じて、帳票3の紙面には、すきムラ、よれ、折れ曲がり等が生じる場合がある。すなわち、紙面には、紙面領域内の分布において、厚さ方向での凹凸、厚さの違いが生じる場合がある。この場合、その帳票3が光学的に読み取られた読み取り画像において、色ムラ、言い換えると明度ムラが生じる場合がある。すなわち、読み取り画像の領域内の分布において、ランダムな箇所に、色ムラ・明度ムラが生じる場合がある。実施の形態での画像処理である色ムラ補正処理は、このような読み取り画像内の色ムラを低減するものである。また、読み取り画像内に、裏写り等による余計な文字等がある場合にも、この色ムラ補正処理によって、低減することができる。
【0030】
[補正前画像-補正後画像]
例えば、
図2の帳票3の背景領域201は、基本的には一様な背景色の領域である。この背景領域201等に上記のような厚さ方向の凹凸等が生じていた場合、この帳票3が光学的に読み取られた結果の読み取り画像には、色ムラ・明度ムラが生じている場合がある。
【0031】
図3の(A)は、背景領域に上記のような色ムラ・明度ムラが生じている場合の補正前画像の例を示す模式図である。この補正前画像は、読み取り画像のうちの一部領域の画像例である。この補正前画像では、ランダムな箇所に色・明度の違いが生じており、すなわち色ムラ・明度ムラが生じている。枠線で示す箇所301,302は、色・明度が異なる2か所の例であり、箇所301は比較的暗く、箇所302は比較的明るい。
【0032】
図3の(B)は、(A)の補正前画像に対し、実施の形態1による色ムラ補正処理を施した後の補正後画像の例を示す模式図である。(B)の画像は、(A)の画像と比べて、色ムラ・明度ムラが低減されている。なお、(B)の補正後画像は、背景領域が単に1つの色、1つの明度に塗りつぶされているわけではなく、複数の色・明度の分布を有する。
【0033】
[明度分布(色ムラ・明度ムラ)]
図2のような帳票3は、紙面に、背景領域、罫線、ガイダンス文字、ロゴ、記入文字、印鑑等がある。このような帳票3は、写真画像等とは異なり、色・明度のバリエーションが比較的少ない。よって、このような帳票3の読み取り画像は、例えば
図4のような明度分布となる。
図4の明度分布では、明度は、全明度値には分布しておらず、図示の領域A1~A5のように、いくつかの領域に集まって分布している。
【0034】
図4は、補正前画像である読み取り画像においてランダムな箇所に色ムラ・明度ムラがある場合における明度分布(言い換えると濃度分布)のグラフを示す。このグラフは、横軸がポイント(画素)の位置座標、縦軸が明度である。このグラフは、2次元画像内のポイントの位置(x,y)と明度Vとの3次元の情報を持つ3次元グラフを、説明用に2次元グラフで表現したものである。横軸のポイント位置は、2次元の位置(x,y)を1次元に並べたものである。
【0035】
このグラフは、例えば
図2の帳票3の読み取り画像で色ムラがある場合の明度分布を示す。本例では、領域A1~A5に示すように、概略的に5個の集まりで、明度成分を有する。例えば、領域A1は、明度Vが比較的高い領域であり、
図2の帳票3のうちの比較的白い背景(例えば背景領域201)の部分に対応する。例えば、領域A5は、明度Vが比較的低い領域であり、
図2の帳票3のうちの比較的黒い図像領域(例えば図像領域202)の部分に対応する。
【0036】
例えば、領域A1内において、ポイント位置毎に明度Vが変動している。領域A1では、明度が、ある範囲403で分布している。最小値401は領域A1内での最小明度値の例、最大値402は領域A1内での最大明度値の例を示す。
【0037】
このように、領域内での明度の変動が大きい現象は、色ムラ・明度ムラに相当する。この明度変動が大きいほど、すなわちムラの度合いが大きいほど、人の眼には視認性が低く感じられる。
【0038】
図5は、
図4の補正前画像を、実施の形態1の画像処理方法で色ムラ補正処理した場合の補正後画像における明度分布のグラフを示す。例えば、領域A1において、実線で示す補正前の明度分布の曲線501は、破線で示す補正後の明度分布の曲線502となる。補正前の曲線501上での各ポイント(黒点で示す画素)の明度は、所定の明度範囲503(後述の
図12の明度幅±k1による範囲Wに相当する)でのヒストグラムの頻度値に基づいて計算される平均値(後述)によって、白点で示す明度に補正される。それらの結果が曲線502であり、推定明度に相当する。補正後の曲線502は、補正前の曲線501に比べて、明度の変動が小さくなっており、色ムラ・明度ムラが低減されており、人の眼には、視認性が高くなったように感じられる。
【0039】
[処理フロー]
図6~
図8は、実施の形態1で、画像処理装置1の画像処理部20による主な処理のフローを示す。
図6は、フローその1であり、ステップS1~S6を有する。
図7は、
図6に続くフローその2であり、ステップS7~S9を有する。
図8は、
図6に続くフローその3であり、ステップS10~S13を有する。大別して、
図6は、ヒストグラム計算と第1方式での平均値(補正値)計算のフローである。
図7は、色合い保持機能を用いない場合(方式Y)の補正処理のフローである。
図8は、色合い保持機能を用いる場合(方式X)の補正処理のフローである。
【0040】
図6で、画像処理部20は、
図1の補正前の画像ファイル122を、入力画像、言い換えると対象画像として、以下の処理を行う。ステップS1で、画像処理部20は、対象画像の明度のヒストグラムの作成を行う。
ヒストグラムの作成については、読み取られた画像の全体で行い、ポイント毎に明度を算出する。ステップS1は、詳しくは、ステップS1A,S1B,S1Cを含む。ステップS1Aで、画像処理部20は、対象画像のR成分(R画素値)の明度のヒストグラム(HRとする)を作成する。ステップS1Bで、画像処理部20は、対象画像のG成分(G画素値)の明度のヒストグラム(HGとする)を作成する。ステップS1Cで、画像処理部20は、対象画像のB成分(B画素値)の明度のヒストグラム(HBとする)を作成する。画像処理部20は、作成したヒストグラムのデータを、記憶装置102等によるメモリ上に保持する。
【0041】
図9は、対象画像のデータ形式の例を示す。対象画像のデータ形式は、例えば3×8=24bitのカラー画像である。対象画像は、X方向(水平方向)およびY方向(垂直方向)による2次元画像である。Px,yは、位置(x,y)にある画素および画素値を表す。画素Px,yは、R(赤),G(緑),B(青)の3つのサブ画素のセットで構成される。R,G,Bのそれぞれの画素および画素値を、Rx,y、Gx,y、Bx,yとして示す。すなわち、1つのポイントの色・明度は、R画素値、G画素値、およびB画素値のセットから構成される。画像処理装置1での処理上で、ポイントとは、広義には1つの画素Px,yであり、狭義にはR,G,B毎のサブ画素である。画素Px,yの画素値(言い換えると明度)は、例えば、R画素Rx,yの値rと、G画素Gx,yの値gと、B画素Bx,yの値bとを有する。値r,g,bは、例えば8bitで表現される場合、0から255までの256階調の範囲内の値である。画素Px,yの補正前の画素値は、後述の補正(第1方式での明度平均値による置換)によって、補正後の画素値となる。補正後の画素値は、例えば、R画素Rx,yの値raと、G画素Gx,yの値gaと、B画素Bx,yの値baとを有する。値ra,ga,baは、256階調の範囲内の値である。
【0042】
図10は、ステップS1で作成するヒストグラムのデータ例を示す。
図10の(A)は、ヒストグラムの表である。この表は、R画素の明度のヒストグラムHRの場合である。この表は、「明度(R画素値)」列と「頻度値」列とを有する。「明度(R画素値)」は、例えば上記のように0~255の値である。各行には、R画素値毎の頻度値が格納される。ここでは頻度値をh0等の抽象的な変数で示すが、実際にはその変数に数値が格納される。画像処理部20は、対象画像の画素毎に、対応する明度毎の頻度値を計数し、この表の頻度値列のその変数に格納する。
【0043】
図10の(B)は、(A)のデータに対応するヒストグラム(HR)のグラフを示す。このグラフは、横軸が明度(R画素値)、縦軸が頻度値(言い換えると計数値)である。頻度値は、0から全画素数までの範囲内の値である。なお、明度を記号V、頻度値を記号Fで表す場合がある。
【0044】
図6のステップS2で、画像処理部20は、ステップS1で作成したヒストグラムを用いて、対象画像中のポイント毎に、指定範囲での明度の頻度値の平均値(例えば加重平均値)を計算する。ステップS2は、詳しくは、ステップS2A,S2B,S2Cを有する。ステップS2Aは、R画素のヒストグラムHRを用いて、R画素毎に、指定範囲での明度の頻度値の平均値(ARとする)を計算するステップである。ステップS2Bは、G画素のヒストグラムHGを用いて、G画素毎に、指定範囲での明度の頻度値の平均値(AGとする)を計算するステップである。ステップS2Cは、B画素のヒストグラムHBを用いて、B画素毎に、指定範囲での明度の頻度値の平均値(ABとする)を計算するステップである。
【0045】
図11および
図12は、ステップS2に関する説明図である。
図11は、対象画像の明度のヒストグラム(
図10とも対応する)の例である。ここでは、横軸を頻度値F、縦軸を明度Vとして示す。
図12は、
図11のヒストグラムのうちの一部として、ある明度Viの付近の範囲Wの拡大を示す。例えばあるポイントの画素Px,yにおける明度Vが、図示するような比較的高いある明度Viであったとする。この場合について、ステップS2の平均値を計算する処理例を説明する。説明上、明度Viを、補正対象ポイント明度:V0とも呼ぶ。ステップS1のヒストグラムにおいて、この明度Viでの頻度値Fが頻度値Fiであったとする。頻度値Fiを、補正対象ポイント頻度値:F0とも呼ぶ。
【0046】
画像処理部20は、明度V0の頻度値F0について、予め設定された指定の範囲Wを適用する。範囲Wは、明度Vに関する範囲であり、明度範囲とも呼ぶ。本例では、範囲Wは、明度Vに関する正負の幅(±k1)を用いて規定される。すなわち、範囲Wは、明度(V0-k1)から明度(V0+k1)までの範囲である。
【0047】
第1方式では、画像処理部20は、この範囲Wで、明度Vの頻度値Fに関する平均値として例えば加重平均値を計算する。計算された加重平均値を、明度平均値V1および頻度平均値F1とする。頻度平均値F1は、明度平均値V1での頻度である。なお、加重平均値は一般に以下の式で計算できる。観測値をX、観測値毎の重みをw、観測値の数をnとすると、[加重平均値]=(w1・X1+w2・X2+……+wn・Xn)/(w1+w2+……+wn)である。なお、すべての重みwが等しい場合、これは相加平均値となる。実施の形態1の例では、重みwについては、各明度に対応するヒストグラムの頻度値に係数を乗じた値を用いる。その係数は例えば1としてもよい。
【0048】
また、実施の形態1の変形例において、画像処理装置1は、第1方式ではなく、第2方式を用いる。第2方式では、画像処理部20は、この範囲Wで、明度Vの頻度値Fに関する最大値を計算する。計算された最大値を、明度最大値V2および頻度最大値F2とする。明度最大値V2は、頻度最大値F2での明度である。
【0049】
図13は、ステップS2の処理で使用する表として、ルックアップテーブル(LUT)の例を示す。R,G,B成分毎に、LUTがデータとして用意される。それぞれのLUTを、表TR,TG,TBとする。画像処理部20は、それぞれのLUTのデータを、メモリ上に作成および保持する。
図13は、例えばR画素に関するLUTである表TRの例を示す。この表TRは、「入力値」列と「出力値」列とを有する。「入力値」は、補正前の明度であるR画素値(
図12での補正対象ポイント明度V0)であり、「出力値」は、補正後の明度、すなわち指定範囲での加重平均値(
図12での明度平均値V1)である。ここでは「出力値」は、v0~v255として抽象的な変数で示すが、実際にはその変数には数値が格納される。最初、この表TRは、初期値、例えば「出力値」がすべて0、が設定される。画像処理部20は、ステップS2の処理の進行に伴い、このような表TR,TG,TBの各行に値を格納する。
【0050】
ある対象画像について、1回、一通りの処理が行われた結果、このようなLUT(TR,TG,TB)が完成する。その場合、このLUTは、対象画像に対応する帳票3に関する補正(特にステップS2の処理)の仕方、言い換えると変換を表す表となっている。よって、画像処理装置1は、その後、同様の種類の帳票3からの対象画像については、このLUTを適用してもよい。その場合、個別の計算処理を省略して、色ムラ補正を高速に実現することができる。
【0051】
図6で、ステップS3は、適用する方式の選択に応じた分岐のステップである。ここで選択できる方式は、画素値を2値化した白・黒の成分について、黒成分を対象外として白成分のみを補正対象とする方式(方式Aとする)と、白・黒の両方の成分、すなわち画像全体を補正対象とする方式(方式Bとする)との2つである。ユーザは、適用する方式(A,B)を選択できる。画像処理装置1が提供する画面でのユーザ設定で、予め、適用する方式(A,B)を設定しておいてもよいし、適宜に画面でユーザが帳票3に対し使用する方式(A,B)を指示選択入力してもよい。ステップS3で、画像処理部20は、対象画像を2値化処理した際に白(値1)となる画素成分のみを補正対象とする方式Aを適用するか、黒(値0)となる画素成分も補正対象とする方式Bを適用するかを判断する。方式Aを適用する場合(Y)、ステップS4に進み、方式Bを適用する場合(N)、ステップS4を省略してステップS5に進む。
【0052】
ステップS4では、方式Aのために、対象画像に対する2値化処理を行う。2値化処理後の対象画像では、
図9の各画素Px,yの値、すなわちRx,y、Gx,y、Bx,yは、値0(黒)または値1(白)をとる。
【0053】
ステップS5で、画像処理部20は、第1方式での平均値(補正後の明度)に関するLUTを作成する。ステップS5は、詳しくは、ステップS5A,S5B,S5Cを有する。ステップS5Aは、R成分についての平均値(AR)のLUT(表TR)の作成である。ステップS5Bは、G成分についての平均値(AG)のLUT(表TG)の作成である。ステップS5Cは、B成分についての平均値(AB)のLUT(表TB)の作成である。例えば、
図13のようなLUTが作成される。
【0054】
ステップS6は、適用する方式の選択に応じた分岐のステップである。ここで選択できる方式は、色合い保持機能に対応して画像の色合いを保持する方式(方式Xとする)と、色合いを保持しない方式(方式Yとする)との2つである。ユーザは、同様に、適用する方式(X,Y)を選択できる。ステップS6で、画像処理部20は、色合いを保持する方式Xを適用するか、方式Yを適用するかを判断する。方式Xを適用する場合(Y)、
図8のステップS10に進み、方式Yを適用する場合(N)、
図7のステップS7に進む。
【0055】
まず、より単純な方式である方式Yの場合について説明する。
図7のステップS7で、画像処理部20は、ステップS3でいずれの方式(A,B)を選択していたか、および、対象画像内の対象ポイントにおけるステップS4での二値化処理の結果の値が、黒(値0)であるか白(値1)であるかを確認する。方式A選択時で対象ポイントの二値化結果値が白である場合(Y)、または、方式B選択時の場合(Y)には、ステップS8へ進む。方式A選択時で対象ポイントの二値化結果値が黒である場合(N)には、補正処理(ステップS8)を省略するので、ステップS9へ進む。
【0056】
ステップS8で、画像処理部20は、対象画像の対象ポイント(画素Px,y)の補正前の明度を、補正後の明度、すなわちステップS2で得た第1方式の平均値で置き換える補正処理を行う。つまり、画像処理部20は、対象ポイントのR,G,Bの各成分値(
図12の補正対象ポイント明度V0)を、ステップS2で得た平均値(
図12の明度平均値V1)で置き換える補正処理を行う。ステップS8は、詳しくは、ステップS8A,S8B,S8Cを有する。ステップS8Aでは、画像処理部20は、R成分値(R画素値)を、加重平均値(AR)で置き換える補正処理を行う。ステップS8Bでは、画像処理部20は、G成分値(G画素値)を、加重平均値(AG)で置き換える補正処理を行う。ステップS8Cでは、画像処理部20は、B成分値(B画素値)を、加重平均値(AB)で置き換える補正処理を行う。なお、ステップS5に基づいて一旦作成済みのLUTがある場合、ステップS8では、そのLUTを使用することで、処理を高速化できる。
【0057】
なお、変形例での第2方式の場合、ステップS8の処理は、平均値ではなく、前述の最大値(明度最大値V2)を用いればよい。第2方式では、画像処理部20は、対象ポイントの明度(V0)を、上記明度最大値V2で置き換える。
【0058】
画像処理部20は、上記のような処理を、対象画像のすべてのポイントについて同様に実行する。ステップS9で、画像処理部20は、対象画像の全ポイントについて上記処理が終了したかを確認し、未終了の場合(N)にはステップS7へ戻って同様の繰り返しである。終了した場合(Y)、対象画像の補正が完了したということであり、フローが終了する。
【0059】
一方、方式Xを用いる場合、ステップS10で、画像処理部20は、
図7のステップS7と同様の処理として、ステップS3でいずれの方式(A,B)を選択していたか、および、対象画像内の対象ポイントにおけるステップS4での二値化処理の結果の値が、白(値1)であるか黒(値0)であるかを確認する。方式A選択時で対象ポイントの二値化結果値が白である場合(Y)、または、方式B選択時の場合(Y)には、ステップS11へ進む。方式A選択時で対象ポイントの二値化結果値が黒である場合(N)には、補正処理(ステップS11,S12)を省略するので、ステップS13へ進む。
【0060】
ステップS11で、画像処理部20は、対象画像の対象ポイントのR,G,Bの各成分値(補正対象ポイント明度V0)と、ステップS5のLUTの「出力値」列の加重平均値(明度平均値V1)との差の平均値を計算する。この差をDとし、この平均値をDAとする。例えば、R画素(Rx,y)について、
図12のように、差Dは、(V0-V1)である。平均値DAは、指定範囲Wでの差Dの平均値である。
【0061】
平均値DAは、例えば以下のように計算できる。R成分に関する差をDR、G成分に関する差をDG、B成分に関する差をDBとする。DA=(DR+DG+DB)÷3。平均値DAは、R,G,Bで共通の値となる。
【0062】
次に、ステップS12で、画像処理部20は、対象ポイントの各成分値(補正対象ポイント明度V0)を、各成分値からステップS11で得た平均値DAを減算した値によって置き換える補正処理を行う。ステップS12は、詳しくは、ステップS12A,S12B,S12Cを有する。ステップS12Aで、画像処理部20は、R成分値を、R成分値から平均値DAを減算した値(SRとする)に置き換える。ステップS12Bで、画像処理部20は、G成分値を、G成分値から平均値DAを減算した値(SGとする)に置き換える。ステップS12Cで、画像処理部20は、B成分値を、B成分値から平均値DAを減算した値(SBとする)に置き換える。
【0063】
補正値である減算値SR,SG,SBは、例えば以下のように計算できる。補正前のR成分値をVR0、補正前のG成分値をVG0、補正前のB成分値をVB0とする。
【0064】
SR=VR0-DA
SG=VG0-DA
SB=VB0-DA
上記のように、R,G,Bの全てで同一の平均値DAによって減算による補正が行われる。これにより、特定色のみの大幅な補正を抑え、色合いを保持することができる。この処理方式では、計算処理負荷を抑えつつ、色合い保持が実現できる。なお、上記色合い保持のための処理方式は一例であり、他の処理方式を適用してもよい。他の処理方式としては、RGB色空間からHSV色空間へ変換し、V値(明度)のみを調整した後、RGB色空間へ再変換する方式を用いてもよい。
【0065】
ステップS13で、画像処理部20は、対象画像の全ポイントについて上記処理が終了したかを確認し、未終了の場合(N)にはステップS10へ戻って同様の繰り返しである。終了した場合(Y)、対象画像の補正が完了したということであり、フローが終了する。
【0066】
[効果等]
上記のように、実施の形態1の画像処理装置および方法によれば、帳票の読み取り画像の色ムラ・明度ムラを低減して視認性を高めることができる。
【0067】
なお、適用する第1方式や第2方式に応じて、補正後画像の視認性等の効果は異なる。対象の帳票3等に応じて、適用する方式を選択すればよい。多くの帳票3では、第2方式よりも第1方式が有効である。第1方式では、補正後の明度として加重平均値(
図12)を用いるので、帳票の背景領域等において、
図3の例のように、明度分布が滑らかになるように、色ムラ・明度ムラを低減できる。第2方式を用いる場合、最大頻度値(
図12)を用いるので、帳票3によっては、領域毎に同一の明度となり、領域境界で明度が変動するような補正後画像となる場合がある。この場合、人の眼から見て違和感を生じる場合がある。この場合、第1方式を適用した方が、領域境界での明度の変動も無いまたは少ないので、違和感が無い画像が得られる。帳票3によって、例えば裏写りの文字が透けて重畳しているような読み取り画像の場合では、第2方式を適用することで、その裏写りの文字が見えなくなるように補正することができて有効である。
【0068】
実施の形態1の画像処理方法は、特徴の1つとして、上記のように、画像全体の明度のヒストグラム(
図6のステップS1)を用いて、ポイント毎に指定の範囲Wでの補正値(加重平均値)を計算する処理(ステップS2)を行うことがある。この処理(ステップS2)は、ステップS1で作成済みのヒストグラムのデータを用いるので、ポイント毎の処理としては、計算処理負荷が比較的少なくて済む。よって、対象画像全体の補正処理での計算処理負荷も比較的少なく抑えられる。すなわち、実施の形態1の画像処理方法では、高い処理効率で、色ムラ・明度ムラの低減が実現できる。この処理(ステップS2)は、例えば、画像内のポイント(例えば画素)の周辺の領域の明度を参照して補正値を計算する方式とは異なる。そのような方式の場合、ポイント毎の処理が必要であるため、その分、計算処理負荷が大きくなる。また、帳票内の文字や図像等の分布は様々であり、そのような方式の場合、ポイント毎に参照する領域が適切であるかどうかが不明である。
【0069】
また、ステップS3の方式Aと方式Bとの違いに関して、白成分のみを補正対象とする方式Aを用いる場合、特に比較的白い背景領域(二値化の値が白となる領域)の色ムラ・明度ムラを低減できる。比較的黒い図像領域(二値化の値が黒となる領域)については、色ムラ・明度ムラがあった場合でも、人の眼から見て図像としての認識がしやすく、ムラが気になりにくい。そのため、方式Bでは、その比較的黒い領域の補正処理を省略でき、全体として処理効率化が実現できる。また、方式Bでは、色ムラ補正によって薄い文字等が消えてしまうことを防止することもできる。二値化処理によって黒になるような明度の画素がある場合に、方式Bでは、その画素をそのまま残すことができる。
【0070】
また、色合い保持機能に関する方式Xと方式Yとの違いに関しては、対象の帳票3等に応じて、方式を選択して適用すればよい。紙面の色合いを保持したい場合には方式Xを適用し、保持する必要が無い場合には方式Yを適用して処理効率化が可能である。
【0071】
実施の形態1の画像処理方法は、特に、背景色(例えば白)が広くあるような読み取り画像や、OCRに係わる帳票3の読み取り画像についての色ムラ補正処理の際に有効であるが、これに限らず、写真画像等を含む任意の画像に対し適用可能である。
【0072】
<他の実施の形態>
実施の形態1の構成に限らず、以下のような変形例も可能である。
【0073】
[変形例1]
変形例1の画像処理装置1は、対象の帳票3の種類等に対応した対象画像に応じて、適用する処理方式を自動的に変更する。
図14は、変形例1での機能に関するユーザ設定情報の例を示す。画像処理装置1は、ユーザに提供する画面でユーザ設定を可能とし、ユーザ設定情報をメモリに保持する。
図14のユーザ設定情報の表は、「帳票種類」列と、「処理方式」列とを有する。「帳票種類」列は、対象となる帳票3(あるいは画像)の種類を設定する列である。「処理方式」列は、その「帳票種類」に対し自動的に適用する補正処理の方式を設定する列である。選択できる方式は、前述した各方式(第1方式、第2方式、方式A,B、方式X,Y)を含む。例えば、帳票種類=Aについては、第1方式、方式A、および方式Xが、自動適用するものとして設定されている。ユーザは、このようなユーザ設定機能を用いることで、各種の帳票3に対し、自動的に適した方式を適用することができる。また、ユーザは、画像の入力の都度、適用する方式を指示入力してもよいし、色ムラ補正を実行するタイミングについては、任意のタイミングとしてユーザが指定できる。
【0074】
また、このユーザ設定機能では、帳票種類毎に、色ムラ補正機能自体の適用のオン/オフを設定できるようにしてもよい。例えば、
図14の例では、帳票種類=Dについては、「オフ」と設定されている。これにより、帳票種類=Dの場合の読み取り画像については、色ムラ補正処理が行われない。
図14のような表に限らず、ユーザ設定画面では、方式毎にボタン等を表示し、ボタン等でオン/オフが設定できるようにしてもよい。
【0075】
また、変形例1の画像処理装置1は、
図12のような明度の範囲Wについて、ユーザ設定で可変に設定できる機能を有する。例えば、ユーザ設定画面では、範囲Wを規定する幅k1の値を可変に設定できる。
【0076】
画像処理装置1は、読み取り画像についての帳票種類を判別し、判別した帳票種類に応じて、自動的に、適用する方式やパラメータ値を選択する。なお、画像処理装置1のデフォルト設定では、予めメーカによって、所定の方式やパラメータ値が、自動適用するものとして設定されている。
【0077】
また、画像処理装置1(
図1)がOCR装置等である場合、その画像処理装置1は、複数の帳票3を連続的に読み取り、それによる複数の読み取り画像を連続的に処理する。この場合、その画像処理装置1は、設定または指示された帳票種類毎に、適した方式で処理を効率的に行うことができる。また、その画像処理装置1は、複数の読み取り画像について、画像処理部20による色ムラ補正処理をまとめて実行してもよい。その画像処理装置1は、その実行後の複数の画像について、帳票認識処理部12による認識処理をまとめて実行してもよい。
【0078】
[変形例2]
変形例2の画像処理装置1は、追加的な機能として以下を有する。画像処理装置1は、ユーザに対する画面に、対象の帳票3の対応する読み取り画像を表示し、全体領域のうちで、色ムラ補正を適用する領域と適用しない領域とをユーザが選択可能とする。ユーザは、その画面で、例えば、色ムラ補正を適用する一部の領域を選択指定できる。画像処理部2は、その指定された領域に対し色ムラ補正処理を実行する。例えば
図2の帳票3についての読み取り画像の場合に、ユーザが背景領域201等の領域を選択指定してもよい。
【0079】
例えば、帳票3毎に、文字記入欄や印鑑欄等、形式が規定されている。また、画像処理装置1がOCR装置である場合、帳票3に応じて、帳票認識のためのフォーマット、例えば
図2の読み取りフィールド(破線枠)が設定されている。変形例2の画像処理装置1は、そのフォーマットの読み取りフィールド等に基づいて、読み取りフィールド毎(すなわち対応する画素領域毎)に、色ムラ補正の有無や処理方式をユーザが選択して設定できるようにする。ユーザが、表示画像内においてマウス等の操作によって自由に補正対象領域等を指定できるようにしてもよい。
【0080】
[変形例3]
変形例3の画像処理装置1は、対象画像内の対象ポイント毎に、実施の形態1の画像全体のヒストグラムではなく、対象ポイントを含む一部領域のヒストグラムを参照して、実施の形態1と同様の補正処理を行う。
図15は、この方式を用いる場合の読み取り画像の模式図を示す。画像処理部20は、ポイント(画素Px,y)毎に、処理用に、矩形の枠線で示すような一部領域1501を設定し、その一部領域1501内のヒストグラムを作成・参照し、その一部領域1501内で、実施の形態1と同様の補正を行う。この方式を用いる場合、一部領域毎のヒストグラムを作成する処理が必要となるので、計算処理負荷が比較的高くなるが、帳票3によっては視認性が良い補正後画像が得られる可能性もある。
【0081】
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。
【符号の説明】
【0082】
1…画像処理装置、2…スキャナ装置、3…帳票、4…帳票画像ファイル(読み取り画像)、20…画像処理部。