(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0008】
したがって、本発明の目的は、グレースケール画像に対する文字認識処理において、文字認識の精度の向上と演算量の低減とを同時に実現させるための技術を提供することにある。
【課題を解決するための手段】
【0009】
本発明の一の観点では、特定方向に並んだ文字で構成される文字列が映されたグレースケール画像について文字認識を行う文字認識装置が提供される。文字認識装置は、文字列のうち、第1端からN
C個(N
Cは、2以上の所定値)
の文字である第1文字について文字認識を行う第1文字認識手段と、文字列の第1端からN
C個以外の文字である第2文字について文字認識を行う第2文字認識手段とを具備する。第1文字認識手段は、第1文字についての文字認識において、様々な文字領域サイズの複数の第1文字領域をグレースケール画像の各位置に設定し、複数の第1文字領域のそれぞれについて文字認識処理を行って文字認識結果と評価値とを算出し、算出された評価値に基づいて、第1文字の文字認識結果と、最適な文字領域のサイズである第1最適文字領域サイズとを決定する。第2文字認識手段は、第1最適文字領域サイズを有する複数の第2文字領域をグレースケール画像の各位置に設定し、複数の第2文字領域のそれぞれについて文字認識処理を行って文字認識結果と評価値とを算出し、且つ、複数の第2文字領域のそれぞれについて算出された文字認識結果と評価値に基づいて、第2文字の文字認識結果を決定する。
【0010】
このとき、第1文字認識手段は、評価値に基づいて、第1文字のそれぞれの文字位置を決定すると共に、決定された文字位置から最適な文字間隔である最適文字間サイズを決定し、第2文字認識手段は、最適文字間サイズに応じて複数の第2文字領域の位置を設定することが好ましい。
【0011】
一実施形態では、第1文字認識手段は、複数の第1文字領域の各位置について得られる文字認識結果について、評価値に基づいて順位づけを行う。第1文字認識手段は、文字領域サイズのそれぞれについて、複数の第1文字領域の各位置について得られる文字認識結果であって順位が1位である文字認識結果のうちから評価値が高いm
C個(m
Cは、N
Cよりも大きい所定数)を抽出すると共にm
C個の文字認識結果の評価値の平均値である第1平均値を算出し、第1文字認識手段は、第1平均値が最も高い文字領域サイズを最適文字領域サイズと決定することが好ましい。
【0012】
この場合、第1文字認識手段は、文字領域サイズのそれぞれについて、m
C個の文字認識結果の評価値に対応する輝度値を有する画素が、m
C個の文字認識結果にそれぞれに対応する文字領域の位置に位置している画像である評価値−輝度値変換プロット画像を生成すると共に評価値−輝度値変換プロット画像に対して2値化処理を行って2値化画像を生成することが好ましい。第1文字認識手段は、2値化画像に対してラベリング処理を行って同一色である連続した画素の集合のそれぞれにラベルを付与し、ラベルのそれぞれについて、ラベルに属する画素に対応する文字認識結果の評価値の平均値である第2平均値を算出し、第1文字認識手段は、第2平均値が高いラベルから順に、各ラベルのそれぞれの重心位置と他のラベルとの重心位置との間の距離を算出し、他のラベルの重心位置との距離が所定の閾値以下になるような重心位置を有する場合に各ラベルを排除する処理をN
C個のラベルが残されるまで繰り返して行う。また、第1文字認識手段は、残存
するN
C個のラベルのそれぞれについて、それぞれに属する画素のうち、対応する文字認識
結果の評価値が最も高い画素を選定し、評価値が最も高い画素の位置を第1文字の文字位置として決定し、決定された文字位置から最適な文字間隔である最適文字間サイズを決定する。
第2文字認識手段は、最適文字間サイズに応じて複数の第2文字領域の位置を設定する。
【0013】
一実施形態では、文字認識装置が、更に、文字列のうち、第1端と反対側の第2端からN
C個
の文字である第3文字について文字認識を行う第3文字認識手段と、文字列の第2端からN
C個
の文字以外の文字である第4文字について文字認識を行う第4文字認識手段と、最終文字認識結果決定手段とを具備していてもよい。第3文字認識手段は、第3文字についての文字認識において、様々な文字領域サイズの複数の第3文字領域をグレースケール画像の各位置に設定し、複数の第3文字領域のそれぞれについて文字認識処理を行って文字認識結果と評価値とを算出し、算出された評価値に基づいて、第3文字の文字認識結果と、最適な文字領域のサイズである第2最適文字領域サイズとを決定する。第4文字認識手段は、第2最適文字領域サイズを有する複数の第4文字領域のグレースケール画像の各位置に設定し、複数の第4文字領域のそれぞれについて文字認識処理を行って文字認識結果と評価値とを算出し、且つ、算出された評価値に基づいて、第4文字の文字認識結果を決定する。最終文字認識結果決定手段は、第1文字認識手段及び第2文字認識手段によって得られた文字列の特定文字の文字認識結果が、第3文字認識手段及び第4文字認識手段によって得られた特定文字の文字認識結果と一致する場合、一致する文字認識結果を特定文字の最終的な文字認識結果として決定する。一致しない場合、最終文字認識結果決定手段は、第1文字認識手段及び第2文字認識手段によって得られた特定文字の文字認識結果と、第3文字認識手段及び第4文字認識手段によって得られた特定文字の文字認識結果とのうち評価値が高い方の文字認識結果を、特定文字の最終的な文字認識結果として決定する。
【0014】
一実施形態では、第1文字認識手段が、類似文字を登録した類似文字データを記憶する記憶手段を備え、複数の第1文字領域のそれぞれについて文字認識処理を行って得られた文字認識結果のうち類似文字に一致する文字認識結果及びその評価値を用いずに最適文字領域サイズを決定する。
【0015】
本発明の他の観点では、特定方向に並んだ文字で構成される文字列が映されたグレースケール画像について文字認識を行う文字認識装置が提供される。当該文字認識装置は、文字列のうち、端からN
C個(N
Cは、2以上の所定値)
の文字である第1文字について文字認識を行う第1文字認識手段と、文字列の端からN
C個以外の文字である第2文字について文字認識を行う第2文字認識手段とを具備する。第1文字認識手段は、第1文字についての文字認識において、様々な文字領域サイズの複数の第1文字領域をグレースケール画像の各位置に設定し、複数の第1文字領域のそれぞれについて文字認識処理を行って文字認識結果と評価値とを算出し、算出された評価値に基づいて、第1文字の文字認識結果と第1文字のそれぞれの文字位置を決定すると共に、決定された文字位置から最適な文字間隔である最適文字間サイズを決定する。第2文字認識手段は、最適文字間サイズに応じて複数の第2文字領域をグレースケール画像の各位置に設定し、複数の第2文字領域のそれぞれについて文字認識処理を行って文字認識結果と評価値とを算出し、且つ、複数の第2文字領域のそれぞれについて算出された文字認識結果と評価値に基づいて、第2文字の文字認識結果を決定する。
【0016】
本発明の更に他の観点では、特定方向に並んだ文字で構成される文字列が映されたグレースケール画像について文字認識を行う文字認識方法が提供される。当該文字認識方法は、文字列のうち、端からN
C個(N
Cは、2以上の所定値)
の文字である第1文字について文字認識を行うステップと、文字列の端からN
C個以外の文字である第2文字について文字認識を行うステップとを具備する。第1文字についての文字認識においては、様々な文字領域サイズの複数の第1文字領域をグレースケール画像の各位置に設定し、複数の第1文字領域のそれぞれについて文字認識処理を行って文字認識結果と評価値とを算出し、算出された評価値に基づいて、第1文字の文字認識結果と、最適な文字領域のサイズである第1最適文字領域サイズとを決定する。第2文字についての文字認識においては、第1最適文字領域サイズを有する複数の第2文字領域をグレースケール画像の各位置に設定し、複数の第2文字領域のそれぞれについて文字認識処理を行って文字認識結果と評価値とを算出し、且つ、複数の第2文字領域のそれぞれについて算出された文字認識結果と評価値に基づいて、第2文字の文字認識結果を決定する。
【0017】
本発明の更に他の観点では、特定方向に並んだ文字で構成される文字列が映されたグレースケール画像について文字認識を行う文字認識方法が提供される。当該文字認識方法は、文字列のうち、端からN
C個(N
Cは、2以上の所定値)
の文字である第1文字について文字認識を行うステップと、文字列の端からN
C個以外の文字である第2文字について文字認識を行うステップとを具備する。第1文字についての文字認識においては、第1文字についての文字認識において、様々な文字領域サイズの複数の第1文字領域をグレースケール画像の各位置に設定し、複数の第1文字領域のそれぞれについて文字認識処理を行って文字認識結果と評価値とを算出し、算出された評価値に基づいて、第1文字の文字認識結果と第1文字のそれぞれの文字位置を決定すると共に、決定された文字位置から最適な文字間隔である最適文字間サイズを決定する。第2文字についての文字認識においては、最適文字間サイズに応じて複数の第2文字領域をグレースケール画像の各位置に設定し、複数の第2文字領域のそれぞれについて文字認識処理を行って文字認識結果と評価値とを算出し、且つ、複数の第2文字領域のそれぞれについて算出された文字認識結果と評価値に基づいて、第2文字の文字認識結果を決定する。
【0018】
本発明の更に他の観点では、特定方向に並んだ文字で構成される文字列が映されたグレースケール画像について文字認識を演算装置に行わせるプログラムが提供される。当該プログラムは、文字列のうち、端からN
C個(N
Cは、2以上の所定値)
の文字である第1文字について文字認識を行うステップと、文字列の端からN
C個以外の文字である第2文字について文字認識を行うステップとを演算装置に実行させる。第1文字についての文字認識においては、様々な文字領域サイズの複数の第1文字領域をグレースケール画像の各位置に設定し、複数の第1文字領域のそれぞれについて文字認識処理を行って文字認識結果と評価値とを算出し、算出された評価値に基づいて、第1文字の文字認識結果と、最適な文字領域のサイズである第1最適文字領域サイズとを決定する。第2文字についての文字認識においては、第1最適文字領域サイズを有する複数の第2文字領域をグレースケール画像の各位置に設定し、複数の第2文字領域のそれぞれについて文字認識処理を行って文字認識結果と評価値とを算出し、且つ、複数の第2文字領域のそれぞれについて算出された文字認識結果と評価値に基づいて、第2文字の文字認識結果を決定する。
【0019】
本発明の更に他の観点では、特定方向に並んだ文字で構成される文字列が映されたグレースケール画像について文字認識を演算装置に行わせるプログラムが提供される。当該プログラムは、文字列のうち、端からN
C個(N
Cは、2以上の所定値)
の文字である第1文字について文字認識を行うステップと、文字列の端からN
C個以外の文字である第2文字について文字認識を行うステップとを演算装置に実行させる。第1文字についての文字認識においては、第1文字についての文字認識において、様々な文字領域サイズの複数の第1文字領域をグレースケール画像の各位置に設定し、複数の第1文字領域のそれぞれについて文字認識処理を行って文字認識結果と評価値とを算出し、算出された評価値に基づいて、第1文字の文字認識結果と第1文字のそれぞれの文字位置を決定すると共に、決定された文字位置から最適な文字間隔である最適文字間サイズを決定する。第2文字についての文字認識においては、最適文字間サイズに応じて複数の第2文字領域をグレースケール画像の各位置に設定し、複数の第2文字領域のそれぞれについて文字認識処理を行って文字認識結果と評価値とを算出し、且つ、複数の第2文字領域のそれぞれについて算出された文字認識結果と評価値に基づいて、第2文字の文字認識結果を決定する。
【発明の効果】
【0020】
本発明によれば、グレースケール画像に対して文字認識処理を行う際に、文字認識の精度の向上と演算量の低減とを同時に実現させることができる。
【発明を実施するための形態】
【0022】
図1は、本発明の一実施形態における文字認識装置1の構成を示すブロック図である。本実施形態では、文字認識装置1が、ナンバープレート認識に用いられる。即ち、文字認識装置1は、外部から供給されたプレート領域画像データ21に対して文字認識処理を行ってプレート認識データ22を生成する。ここで、プレート領域画像データ21とは、プレート領域画像、即ち、ナンバープレート(自動車登録番号標又は車両番号標)が映された画像の画像データであり、例えば、車両を撮影した撮像画像から、ナンバープレートに対応する部分を切り出す画像処理によって得られる。プレート領域画像データ21は、グレースケール画像の画像データであることに留意されたい。また、プレート認識データ22とは、文字認識処理によって得られた文字認識結果(即ち、認識された文字)を示すデータである。
【0023】
文字認識装置1は、画像処理IC(integrated circuit)2と、外部インターフェース3と、外部記憶装置4と、メモリ5と、ROM(read only memory)6とを備えている。外部インターフェース3は、外部から受け取ったプレート領域画像データ21を、画像処理IC2に供給する。外部記憶装置4は、文字認識装置1における文字認識処理において生成されるデータを保存する。外部記憶装置4に保存されるデータは、プレート認識データ22を含んでいる。メモリ5は、画像処理IC2による演算処理のワーキングエリアとして使用される。ROM6は、画像処理IC2によって実行されるプログラムを保存している。ROM6に記憶されているプログラムは、文字認識処理を実行するためのプログラムである文字認識ソフトウェア6aを含んでいる。
【0024】
画像処理IC2は、演算モジュール11と、画像入力インターフェース12と、データ入出力インターフェース13と、メモリコントローラ14と、ROMコントローラ15とを備えている。演算モジュール11と、画像入力インターフェース12と、データ入出力インターフェース13と、メモリコントローラ14と、ROMコントローラ15とは、内部バス16によって接続されている。演算モジュール11は、メモリ5をワーキングエリアとして使用しながら文字認識ソフトウェア6aを実行して、プレート領域画像データ21に対する文字認識処理を行う。画像入力インターフェース12は、画像処理IC2にプレート領域画像データ21を入力するために用いられるインターフェースである。データ入出力インターフェース13は、外部記憶装置4へのアクセスを行うためのインターフェースである。メモリコントローラ14は、メモリ5へのアクセスを行うためのインターフェースである。また、ROMコントローラ15は、ROM6へのアクセスを行うためのインターフェースである。
【0025】
以下に述べられる文字認識方法の各処理は、
図1に示されているハードウェアを用いて実行される。以下では、本実施形態の文字認識方法について、詳細に説明する。
【0026】
図2は、本実施形態の文字認識方法において文字認識処理が行われるプレート領域画像データ21の画像、即ち、プレート領域画像の例を図示している。本実施形態では、プレート領域画像は、グレースケール画像であり、車両を撮影して得られる車両撮像画像から、ナンバープレートに対応する部分を切り出すことによって得られる。以下における説明では、プレート領域画像に定められたxy座標系を用いて説明を行う。ここで、x軸はプレート領域画像の文字幅方向(横方向)に規定され、y軸はプレート領域画像の文字高さ方向(縦方向)に規定される。本実施形態の文字認識方法は、プレート領域画像において、各文字のサイズがほぼ同じであるということを前提としている。このような前提は、例えばナンバープレート認識を行う場合には妥当である。
【0027】
図3は、本実施形態における文字認識方法の概略を示すフローチャートである。上述の文字認識ソフトウェア6aは、この文字認識方法を実行するためのプログラムコード群である。
【0028】
本実施形態の文字認識方法では、まず、一方の端からN
C個の文字について文字認識処理が行われる(ステップS01)。ここで、N
Cは、指定の文字数である。
図2のプレート領域画像は、ステップS01において左端の3個の文字について文字認識処理を行う例を示している。
【0029】
ステップS01における文字認識処理においては、様々なサイズの文字領域がプレート領域画像の各位置に設定され、設定された文字領域のそれぞれについて文字認識処理が行われる。ここで、文字領域とは、各文字が存在すると考えられる領域のことである。
図4は、文字領域の例を示す図であり、本実施形態では、文字領域31が矩形(即ち、(正方形を含む)長方形)であり、各文字領域31の位置は、文字領域31の中心、即ち、対角線32の交点33として定義される。更に、文字認識処理において算出された評価値に基づいて、最適な文字認識結果(即ち、認識された文字)、最適な文字領域の位置及びサイズが探索される。
【0030】
続いて、ステップS01におけるN
C個の文字についての文字認識処理で得られた情報を用いて、残りの文字についての文字認識処理が行われる(ステップS02)。ステップS02では、ステップS01における文字認識処理で得られた文字領域の大きさ、及び、文字間隔に関する情報が利用される。本実施形態の文字認識方法は、このような手法によってステップS02の文字認識処理における探索範囲を低減させ、文字認識の精度の向上と演算量の低減とを同時に実現させるものである。以下、各ステップにおける処理について詳細に説明する。
【0031】
図5は、ステップS01における、N
C個の文字についての文字認識処理の詳細を示すフローチャートである。ステップS01における処理では、概略的には、初期設定(ステップS11)が行われた後、様々なサイズの文字領域が様々な位置に設定され、設定された文字領域のそれぞれについて文字認識処理が行われる(ステップS12〜S15)。更に、文字認識処理において算出される評価値に基づいて、最適な文字領域サイズ、文字位置、文字間サイズ(文字間隔)、及び、最適な文字認識結果が決定される(ステップS16〜S18)。以下では、ステップS01におけるN
C個の文字についての文字認識処理について詳細に説明する。
【0032】
ステップS11では、文字領域初期サイズと、文字領域サイズ増分(x方向増分及びy方向増分)と、文字領域サイズの最大値(x方向最大値及びy方向最大値)、及び、文字領域のシフト量とが定義される。文字領域初期サイズとは、最初に設定される文字領域のサイズであり、当該文字領域のx方向におけるサイズ(即ち、文字領域の幅)と、y方向におけるサイズ(即ち、文字領域の高さ)とを含んでいる。文字領域サイズ増分とは、最適な文字領域の探索において文字領域のサイズを変更する際の増分であり、x方向増分とy方向増分とを含んでいる。文字領域サイズ最大値とは、最適な文字領域の探索において文字領域のサイズを変更する際のサイズの最大値であり、x方向最大値とy方向最大値とを含んでいる。文字領域のシフト量は、最適な文字領域の探索において文字領域の位置を変更する際の文字領域の位置の変化量の指定値であり、x方向シフト量とy方向シフト量とを含んでいる。これらの初期設定は、車両撮像画像におけるプレート領域画像の位置に応じて決定される。
【0033】
ステップS12〜S15の処理は、可能な領域サイズの数と同じ数だけ繰り返して行われる。まず、文字領域のサイズが設定される(ステップS12)。初回の処理では、文字領域のサイズが、初期設定として定義された文字領域初期サイズに設定される。一方、2回目以降の処理では、文字領域初期サイズをx方向増分及びy方向増分に応じて変化させたサイズが文字領域のサイズとして選択される。ステップS12で設定された文字領域のサイズを、以下では、領域サイズ#kという。kは、領域サイズを表わすインデックスである。
【0034】
更に、文字領域の位置が設定される(ステップS13)。ステップS13で設定された位置を、以下では、領域位置(i,j)という。ここで、iは、x軸方向の位置を表すインデックスであり、jは、y軸方向の位置を表すインデックスである。上述のように、本実施形態では、文字領域が矩形であり、該文字領域の位置が文字領域の中心として定義される。初回のステップS13の処理では、文字領域の位置は、所定の処理開始位置に設定される。プレート領域画像においては、左からNc個の文字が存在する位置、特に、最も左側に位置する文字の位置が、ある程度の範囲で想定可能であるから、処理開始位置は、想定される位置の範囲に応じて適宜に決めておけばよい。2回目以降の処理では、初期設定に含まれる文字領域のシフト量に応じて文字領域の位置を変更して文字領域の位置が設定される。
【0035】
更に、ステップS13で位置が決定された文字領域について、文字認識処理が行われる(ステップS14)。ステップS13において文字領域の位置が領域位置(i,j)に決定された場合、ステップS14における文字認識処理では、領域位置(i,j)の文字領域についての文字認識結果(即ち、認識された文字)と、その評価値が得られる。更に、領域位置(i,j)の文字領域についての文字認識結果について評価値に基づいて順位づけが行われる。ステップS14における文字認識処理の具体的なアルゴリズムとしては、例えば、上述の非特許文献1に開示されているようなアルゴリズムを用いても良い。
【0036】
図6は、ステップS14における文字認識処理の具体例を示す図である。
図2のプレート領域画像の文字認識処理を例にとると、左端の文字については、例えば、評価値が0.911である文字“S”が1位の文字認識結果として得られ、評価値が0.566である文字“2”が2位の文字認識結果として得られる。ここで、評価値は、0から1.0の範囲の値であり、文字認識処理において文字テンプレートとの一致度が高いほど、1.0二近い値となるとする。
【0037】
ステップS13、S14の処理は、文字領域の位置を変更しながら繰り返して行われる。ステップS13、S14の処理の繰り返しは、許容される文字領域の位置の範囲の全てについての文字認識処理が完了するまで行われる。プレート領域画像においては、左からNc個の文字が存在する位置がある程度想定可能であるから、許容される文字領域の位置の範囲は、想定される位置に応じて適宜に決めておけばよい。
【0038】
ステップS12で設定された領域サイズ#kについて、文字領域の許容される位置の全てについての文字認識処理が完了すると、評価値が上位の文字領域について、以下に述べられるデータ処理が行われる(ステップS15)。
【0039】
ステップS15では、まず、
図7に図示されているように、各領域位置(i,j)について、順位が1位である文字認識結果及び評価値が選択される。更に、順位が1位である全ての領域位置の文字認識結果のうちから、評価値が上位のm
C個の文字認識結果及び評価値が抽出される。更に、抽出された上位のm
C個の文字認識結果の評価値の平均値μ
kが算出される。ここで、kは、領域サイズを表わすインデックスであり、μ
kは、領域サイズ#kに対応して算出された上位のm
C個の文字認識結果の評価値の平均値を表わしている。
【0040】
更に、領域サイズ#kに対応して算出された上位のm
C個(m
Cは、所定値)の文字認識結果の評価値から、
図8に示されている評価値−輝度値変換プロット画像が生成される。ここで、評価値−輝度値変換プロット画像とは、順位が1位である全ての領域位置の文字認識結果のうち評価値が上位のm
C個の文字認識結果のそれぞれについて、該文字認識結果の領域位置(i,j)に対応する画素が、該文字認識結果の評価値に対応する輝度値を有するとして生成された画像である。結果として、m
C個の画素について非零の輝度値が与えられることになる。他の画素は、輝度値が0に設定される。なお、所定値m
Cは、N
Cよりも大きいように適宜に決定された値であり、N
Cの数倍(例えば、5倍)程度の値が所定値m
Cとしてあらかじめ設定される。
【0041】
図8には、評価値−輝度値変換プロット画像の例が図示されている。
図8において、領域サイズ#kに対応する評価値−輝度値変換プロット画像は、符号24−kで図示されている。ここで、n
Sは、可能な領域サイズの数である。後述のように、評価値−輝度値変換プロット画像は、文字位置の決定、及び、文字間サイズの決定に使用される。
【0042】
文字領域サイズを更新しながら、上記のステップS12〜S15の処理が繰り返して行われる。このとき、ステップS12においては、文字領域サイズから、直前の処理で用いられた文字領域サイズをx方向増分及びy方向増分に基づいて変更しながら文字領域サイズが設定される。また、ステップS15が各領域サイズについて行われるから、その結果、
図9に図示されているように、各領域サイズ#kに対して評価値の平均値μ
kが得られることになる。
【0043】
可能な全ての文字領域サイズについて、ステップS12〜S15の処理が行われた後、文字領域サイズ決定処理が行われる(ステップS16)。ステップS16では、ステップS15で算出された平均値μ
kのうち最も高いものに対応する領域サイズが、最終的に文字領域サイズとして採用される。後述されるように、ステップS16で採用された文字領域サイズは、N
C+1文字目以降の文字認識処理に使用される。
【0044】
続いて、各文字の文字位置、及び、文字間サイズが決定される(ステップS17)。ここで、本実施形態では、各文字の文字位置は、当該文字に対応する文字領域の中心として定義され、更に、文字間サイズは、隣接する文字の文字位置の間の間隔として定義される。
【0045】
図10は、ステップS17における文字位置及び文字間サイズの決定の手順を示す概念図である。まず、ステップS16で採用された文字領域サイズに対応する評価値−輝度値変換プロット画像が選択される(ステップS21)。ステップS16で採用された文字領域サイズが領域サイズ#kである場合、評価値−輝度値変換プロット画像24−kが選択されることになる。
【0046】
更に、選択された評価値−輝度値変換プロット画像に対し、所定の輝度閾値で2値化する2値化処理が行われ、更に、2値化処理で得られた画像(2値化画像)に対してラベリング処理が行われる(ステップS22)。ラベリング処理とは、2値化画像について、同一色(白又は黒)である連続した画素に同一ラベルを割り振る処理のことである。本実施形態では、評価値−輝度値変換プロット画像のうち、輝度値が当該輝度閾値より高い画素が「白」の画素であり、そうでない画素が「黒」の画素であるとして2値化処理が行われ、更に、連続する「白」の画素の集合に対して同一ラベルが与えられる。
図10では、ステップS22において、4つのラベル#1〜#4が与えられる例が図示されている。
【0047】
ステップS22において決定されたラベルの数が、ステップS01で文字認識処理の対象となる文字の数(即ち、指定文字数N
C)よりも多い場合、文字位置として不適切なラベルの排除が行われる(ステップS23)。ステップS23では、まず、各ラベル#Lについて、評価値の平均値μ
Lが算出される。各ラベルに属する各画素の輝度値は、当該画素の位置にある文字領域の文字認識結果の評価値に対応しており、ラベル#Lに属する画素に対応する評価値の平均値がμ
Lとして算出される。更に、各ラベル#Lの重心位置が算出される。各ラベル#Lは、1又は複数の画素で構成されるから、各ラベル#Lの重心位置は、該ラベル#Lに属する画素の位置から算出される。
【0048】
更に、平均値μ
Lが高いラベルから順に、各ラベルの重心位置と他のラベルとの重心位置との間の距離を算出し、他のラベルの重心位置との距離が所定の閾値D
TH以下になるような重心位置を有する場合に当該ラベルを排除する処理が、指定文字数N
Cと同数のラベルが残されるまで繰り返して行われる。この処理により、各ラベルが、左端からN
C個の文字のそれぞれに対応づけられることになる。
【0049】
更に、各ラベルの画素のうち、対応する文字認識結果の評価値が最も高い画素が選定され、評価値が最も高い文字認識結果の画素の位置が、各文字の文字位置として決定される(ステップS24)。ここで、本実施形態では、各文字の文字位置は、対応する文字領域の中心の位置として定義されることに留意されたい。
【0050】
更に、隣接する文字位置のx軸方向の距離が算出され、算出された距離に基づいて、文字間サイズ(即ち、文字間隔)が決定される。隣接する文字位置のx軸方向の距離が複数存在する場合、該複数の距離を演算することで文字間サイズが決定される。例えば、算出された該複数の距離の平均値を文字間サイズとしてもよい。後述されるように、ステップS24で決定された文字間サイズが、N
C+1文字目以降の文字認識処理に使用される。
【0051】
更に、ステップS17で決定された各文字の文字位置に位置し、且つ、ステップS16で決定された文字領域サイズを有する文字領域についての文字認識結果が、各文字の文字認識結果として選択される(ステップS18)。
【0052】
以上の手順により、左側からN
C文字の文字認識結果が得られると共に、最適な文字領域サイズ(即ち、ステップS16で決定された文字領域サイズ)、及び、最適な文字間サイズ(即ち、ステップS17で決定された文字間サイズ)が得られることになる。
【0053】
ステップS02:
続いて、残りの文字(本実施形態では、左側からN
C+1文字目以降の文字)について文字認識処理が行われる。残りの文字の文字認識処理においては、上述の処理で得られた最適な文字領域サイズ及び文字間サイズが用いられ、これにより、文字認識処理における探索範囲の低減が図られる。
【0054】
図11は、N
C+1文字目の文字認識処理を説明する図である。N
C+1文字目の処理では、N
C文字目の文字位置(上述のステップS17で決定されている)から、上述の処理で得られた最適な文字間サイズD
Xだけx軸方向にずれた位置に、N
C+1文字目の文字位置の基準位置が決定される。更に、その位置を基準位置及びその周辺の範囲で逐次に変化させながら文字領域を設定し、設定された各文字領域について文字認識処理が行われる。このとき、設定される文字領域の基準サイズ(幅及び高さ)としては、上述の処理で得られた最適な文字領域サイズが使用される。
図11では、最適な文字領域サイズのうち、x方向のサイズ(即ち、幅)が記号“W”で示されており、y方向のサイズ(即ち、高さ)が記号“H”で示されている。この文字認識処理において設定される文字領域についても、幅及び高さが、基準サイズの幅及び高さ及びその周辺の範囲で逐次に変化させながら設定される。更に、文字認識処理において算出される評価値が最も高い文字認識結果(即ち、認識された文字)及び文字領域の位置が、N
C+1文字目の文字認識結果及び文字位置として決定される。
【0055】
更に、左側からN
C+2文字目以降の文字についても、同様にして処理が行われる。N
C+1文字目の文字位置(上述の処理で決定されている)から、文字間サイズD
Xだけx軸方向にずれた位置に、N
C+2文字目の文字位置の基準位置が決定される。更に、文字領域を、該文字領域の位置を基準位置及びその周辺の範囲で逐次に変化させながら、且つ、該文字領域の幅及び高さを、基準サイズの幅及び高さ及びその周辺の範囲で逐次に変化させながら設定して、設定された各文字領域について文字認識処理が行われる。更に、文字認識処理において算出される評価値が最も高い文字認識結果(即ち、認識された文字)及び文字領域の位置が、N
C+2文字目の文字認識結果及び文字位置として決定される。以下、全ての文字について文字認識処理が完了するまで同様の処理が繰り返して行われる。
【0056】
ここで、プレート領域画像に映されるナンバープレートに複数の種類があることが想定される場合には、上述の処理で得られた文字間サイズの情報によってナンバープレートの種類を特定し、N
C+1文字目以降の文字認識処理において、特定されたナンバープレートの種類に応じた処理を行っても良い。例えば、特定の類似した文字への対策処理などを行ってもよい。
【0057】
以上に説明された、本実施形態による文字認識方法では、プレート領域画像に対する2値化処理を行わずに文字認識処理が行われる。このため、2値化処理に伴う問題を回避することができる。例えば、プレート領域画像に輝度が不均一な部分があっても文字認識が可能である。加えて、本実施形態の文字認識方法では、端からN
C文字の文字認識処理において得られる文字領域サイズ、及び、文字間サイズの情報を用いて残りの文字の文字認識処理が行われるため、該残りの文字の文字認識処理における探索範囲を低減することができる。
【0058】
なお、上記の実施形態では、端からN
C文字の文字認識処理において得られる文字領域サイズ、及び、文字間サイズの両方の情報を用いて残りの文字の文字認識処理が行われるが、文字領域サイズ又は文字間サイズの一方のみの情報を用いて残りの文字の文字認識処理が行ってもよい。この場合でも、探索範囲を低減する効果は得られる。
【0059】
また、上述の実施形態では、左側の文字から順に文字認識処理が行われているが、順序は逆であってもよい。例えば、右側の文字から順に文字認識処理が行われても良い。また、上下方向に文字が並んでいる場合には、上側の文字から順に文字認識処理が行われても良く、逆に、下側の文字から順に文字認識処理が行われても良い。
【0060】
更に、互いに逆方向の順で上述の文字認識処理を2回行い、その文字認識処理で得られた文字認識結果を比較してもよい。この場合、ある文字の文字認識結果が異なる場合には、評価値が高い文字認識結果を、当該文字の最終的な文字認識結果として選択しても良い。
【0061】
一変形例では、まず、上述の実施形態と同様に、左側の文字から順に文字認識処理を行うことで、各文字の文字認識結果及び評価値を得る。更に、右側の文字から順に文字認識処理を行うことで、各文字の文字認識結果及び評価値を得る。より具体的には、まず、右側のN
C文字についてステップS01と同様の処理を行って、当該N
C文字の文字認識結果及び評価値を得た後、残りの文字についてステップS02と同様の処理を行い、当該残りの文字の文字認識結果及び評価値を得る。この場合、当該残りの文字については、右側の文字から順に文字認識結果及び評価値を得る。その後、左側の文字から順に文字認識処理を行って得られた文字認識結果と、右側の文字から順に文字認識処理を行って得られた文字認識結果とが比較される。文字認識結果が同一である文字については、該同一の文字認識結果が、当該文字の最終的な文字認識結果として選択される。一方、文字認識結果が異なる文字については、評価値が高い文字認識結果が、当該文字の最終的な文字認識結果として選択される。
【0062】
このような手法によれば、影などがプレートの一部に発生している場合に、影のない領域(結果として評価値の高い領域)の結果をもとに、文字領域サイズや文字間隔サイズを決定することができるため、認識精度を向上させることができる。
【0063】
本実施形態の他の変形例としては、誤認識が発生しやすい文字(類似文字)が分かっている場合においては、文字認識結果として類似文字が得られた場合に、その文字認識結果及び評価値を用いずに文字領域サイズを決定してもよい。類似文字の例としては、たとえば、Bと8、Dと0、7とZ等が挙げられる。
【0064】
例えば、ステップS15における、各領域位置(i,j)について順位が1位である文字認識結果及び評価値を選択し、更に、順位が1位である全ての領域位置の文字認識結果のうちから評価値が上位のm
C個の文字認識結果及び評価値を抽出する処理を行う場合に、類似文字である文字認識結果を除いてm
C個の文字認識結果及び評価値が抽出されてもよい。この場合、平均値μ
kは、類似文字である文字認識結果を除いて、上位のm
C個の文字認識結果の評価値の平均値として算出される。このとき、類似文字のリストは、適宜の記憶手段(例えば、外部記憶装置4)に記憶しておけばよい。
【0065】
以上には、本発明の実施形態が具体的に述べられているが、本発明は上記の実施形態には限定されない。本発明が、様々な変更と共に実施可能であることは、当業者には自明的であろう。例えば、上述では、本発明がナンバープレート認識(ナンバープレートに記載された文字の認識)に適用された実施形態が記載されているが、本発明は、グレースケール画像である撮像画像に対する文字認識一般に適用可能である。