特許 6355908 シンボル認識装置および車両用標識認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6355908

(24)【登録日】2018年6月22日

(45)【発行日】2018年7月11日

(54)【発明の名称】シンボル認識装置および車両用標識認識装置

(51)【国際特許分類】

   G06K 9/62 20060101AFI20180702BHJP

   G06T 7/00 20170101ALI20180702BHJP

【ＦＩ】

   G06K9/62 630A

   G06T7/00 300G

【請求項の数】9

【全頁数】21

(21)【出願番号】特願2013-216403(P2013-216403)

(22)【出願日】2013年10月17日

(65)【公開番号】特開2015-92305(P2015-92305A)

(43)【公開日】2015年5月14日

【審査請求日】2016年8月24日

(31)【優先権主張番号】特願2013-203715(P2013-203715)

(32)【優先日】2013年9月30日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】小出 哲士

(72)【発明者】

【氏名】ホアン アイン トゥワン

(72)【発明者】

【氏名】山本 真晴

(72)【発明者】

【氏名】三島 翼

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開平０６−０５２３５８（ＪＰ，Ａ）

【文献】 特開平０４−３５０７８３（ＪＰ，Ａ）

【文献】 特開２００８−２８６５６６（ＪＰ，Ａ）

【文献】 特開平０７−２８７７５８（ＪＰ，Ａ）

【文献】 特開２００６−２３５７５２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００−７／９０

Ｇ０６Ｋ ９／００−９／８２

(57)【特許請求の範囲】

【請求項1】

認識対象の２値化画像を格納する画像メモリと、
前記２値化画像における認識対象領域の各部分領域の画像が入力され、該部分領域において各ラインまたは各列の所定色の画素の頻度分布を算出する複数のヒストグラム算出部と、
前記認識対象領域の各部分領域の画像が入力され、該部分領域において前記所定色の画素からなる所定長以上のラインまたは列が存在するか否かを判定する複数のランレングス判定部と、
前記画像メモリに格納されている前記２値化画像を走査して読み出した前記部分領域の画素情報を前記複数のヒストグラム算出部および前記複数のランレングス判定部へ入力する制御部と、
前記複数のヒストグラム算出部の算出結果および前記複数のランレングス判定部の判定結果に基づいて、前記２値化画像に含まれるシンボルを判定する判定部とを備えている
ことを特徴とするシンボル認識装置であって、
前記複数のヒストグラム算出部が、前記認識対象領域を左右方向に２分割した各部分領域の画像が入力される第１および第２のヒストグラム算出部と、前記認識対象領域を上下方向に３分割した各部分領域の画像が入力される第３、第４、および第５のヒストグラム算出部と、前記認識対象領域の左右方向中央の部分領域の画像が入力される第６のヒストグラム算出部と、前記認識対象領域の上下方向中央の部分領域の画像が入力される第７のヒストグラム算出部とを含み、
前記複数のランレングス判定部が、前記認識対象領域の上下方向中央の部分領域を上下左右に４分割した各部分領域の画像が入力される第１、第２、第３、および第４のランレングス判定部を含み、
前記判定部が、前記第１から第５のヒストグラム算出部によって算出されたヒストグラムの最大値、前記第６および第７のヒストグラム算出部によって算出されたヒストグラムの最小値、および前記第１から第４のランレングス判定部の判定結果に基づいて、前記認識対象領域に含まれるシンボルを判定する
シンボル認識装置。

【請求項2】

前記複数のランレングス判定部が、第５のランレングス判定部を含み、
前記第５のランレングス判定部が、前記認識対象領域の上下方向中央の部分領域の画像が入力され、該部分領域において所定長以上の黒および白の各列が所定数以上存在するか否かを判定するものであり、
前記判定部が、前記第５のランレングス判定部の判定結果を加味して、前記認識対象領域に含まれるシンボルが数字「０」であるか否かを判定する
ことを特徴とする請求項１に記載のシンボル認識装置。

【請求項3】

前記複数のランレングス判定部が、前記認識対象領域を左右方向に２分割した各部分領域の画像が入力される第６および第７のランレングス判定部と、前記認識対象領域を上下方向に３分割した上および下の各部分領域の画像が入力される第８および第９のランレングス判定部とを含み、
前記判定部が、前記第６から第９のランレングス判定部の判定結果を加味して、前記認識対象領域に含まれるシンボルが数字「０」であるか否かを判定する
ことを特徴とする請求項１または請求項２に記載のシンボル認識装置。

【請求項4】

前記複数のランレングス判定部が、前記認識対象領域を上下方向に３分割した各部分領域の画像が入力される第６、第７、および第８のランレングス判定部を含み、
前記判定部が、前記第６から第８のランレングス判定部の判定結果を加味して、前記認識対象領域に含まれるシンボルが数字「８」であるか否かを判定する
ことを特徴とする請求項１または請求項２に記載のシンボル認識装置。

【請求項5】

前記複数のランレングス判定部が、前記認識対象領域を上下方向に３分割した真ん中の部分領域の画像が入力される第１０のランレングス判定部を含み、
前記判定部が、前記第８から第１０のランレングス判定部の判定結果を加味して、前記認識対象領域に含まれるシンボルが数字「８」であるか否かを判定する
ことを特徴とする請求項３に記載のシンボル認識装置。

【請求項6】

前記認識対象領域の画像が入力され、前記認識対象領域の全体における所定色の画素の割合を算出する色割合算出部を備え、
前記制御部が、前記画像メモリに格納されている前記２値化画像を走査して読み出した前記部分領域の画素情報を前記色割合算出部へ入力するものであり、
前記判定部が、前記色割合算出部の算出結果を加味して、前記認識対象領域に含まれるシンボルを判定する
ことを特徴とする請求項１ないし請求項５のいずれかに記載のシンボル認識装置。

【請求項7】

前記認識対象領域および前記認識対象領域を上下左右に僅かずつずらした各認識対象領域について同時並行的に認識処理を行う
ことを特徴とする請求項１ないし請求項６のいずれかに記載のシンボル認識装置。

【請求項8】

請求項１ないし請求項７のいずれかに記載のシンボル認識装置と、
前記シンボル認識装置の前記画像メモリに格納された前記２値化画像において車両用標識の枠を検出する枠検出部とを備え、
前記シンボル認識装置の前記判定部が、前記枠検出部の検出結果に基づいて、前記２値化画像が車両用標識の画像であるか否かを判定する
ことを特徴とする車両用標識認識装置。

【請求項9】

前記２値化画像における斜めの部分領域において所定色の画素からなる所定長以上の斜め線が存在するか否かを判定する斜線判定部を備え、
前記判定部が、前記斜線判定部の判定結果を加味して、前記２値化画像が禁止を表す標識のうちのいずれの種類の標識の画像であるかを判定する
ことを特徴とする請求項８に記載の車両用標識認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像中のシンボルを認識する装置に関し、特に、道路速度標識に含まれる数字の認識に好適なシンボル認識装置に関する。また、本発明は、そのようなシンボル認識装置を備えた車両用標識認識装置に関する。

【背景技術】

【0002】

近年、自動車普及台数の増加により交通事故件数の増加が深刻化している。交通事故の主な原因として、発見の遅れ、判断ミス、操作ミスなどの運転者によるものがある。交通事故を未然に防ぐためには、自動車で判断を行い、運転者の操作をアシストすることで、運転者の操作ミスや判断ミスを防ぐことができる。そのような自動車での判断を可能にするには、自動車走行中に処理できる程度のリアルタイム性で白線認識、歩行者認識、車両認識、道路標識認識などを一度に行う必要がある。

【0003】

道路標識認識について言えば、道路速度標識の検出および数字認識が挙げられる。従来、画像に細線化処理を施してからパターンマッチングを行うことで文字、数字、記号などのシンボルを認識している（例えば、非特許文献１を参照）。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】田村秀行、「コンピュータ画像処理」、オーム社、平成１４年１２月２０日、p.137-161

【発明の概要】

【発明が解決しようとする課題】

【0005】

画像の細線化処理はソフトウェア向けの手法であり、画像メモリから画像を繰り返し読み出す必要がある。したがって、この手法を車載組込システムなどのハードウェアに実装して自動車走行中にリアルタイム処理を行うことは困難である。

【0006】

上記問題に鑑み、本発明は、ハードウェア処理に適したシンボル認識手法を提供することを目的とする。また、本発明は、そのようなシンボル認識手法を応用した車両用標識認識装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一局面に従ったシンボル認識装置は、認識対象の２値化画像を格納する画像メモリと、前記２値化画像における認識対象領域の各部分領域の画像が入力され、該部分領域において各ラインまたは各列の所定色の画素の頻度分布を算出する複数のヒストグラム算出部と、前記認識対象領域の各部分領域の画像が入力され、該部分領域において前記所定色の画素からなる所定長以上のラインまたは列が存在するか否かを判定する複数のランレングス判定部と、前記画像メモリに格納されている前記２値化画像を走査して読み出した前記部分領域の画素情報を前記複数のヒストグラム算出部および前記複数のランレングス判定部へ入力する制御部と、前記複数のヒストグラム算出部の算出結果および前記複数のランレングス判定部の判定結果に基づいて、前記２値化画像に含まれるシンボルを判定する判定部とを備えている。

【0008】

これによると、画像メモリに格納された２値化画像が制御部によって読み出され、２値化画像の任意の部分領域の画像が各ヒストグラム算出部および各ランレングス判定部へ入力され、各ヒストグラム算出部および各ランレングス判定部によって、各部分領域に対して所定の処理が互いに独立に同時並行的に行われ、各ヒストグラム算出部および各ランレングス判定部の出力結果に基づいて、判定部によって、２値化画像に含まれるシンボルが判定される。これにより、制御部が２値化画像を一度走査するだけで２値化画像に含まれるシンボルを認識することができる。

【0009】

前記複数のヒストグラム算出部が、前記認識対象領域を左右方向に２分割した各部分領域の画像が入力される第１および第２のヒストグラム算出部と、前記認識対象領域を上下方向に３分割した各部分領域の画像が入力される第３、第４、および第５のヒストグラム算出部と、前記認識対象領域の左右方向中央の部分領域の画像が入力される第６のヒストグラム算出部と、前記認識対象領域の上下方向中央の部分領域の画像が入力される第７のヒストグラム算出部とを含んでいてもよい。また、前記複数のランレングス判定部が、前記認識対象領域の上下方向中央の部分領域を上下左右に４分割した各部分領域の画像が入力される第１、第２、第３、および第４のランレングス判定部を含んでいてもよい。そして、前記判定部が、前記第１から第５のヒストグラム算出部によって算出されたヒストグラムの最大値、前記第６および第７のヒストグラム算出部によって算出されたヒストグラムの最小値、および前記第１から第４のランレングス判定部の判定結果に基づいて、前記２値化画像に含まれるシンボルを判定するようにしてもよい。

【0010】

これによると、数字、特に道路速度標識に含まれる数字を高速かつ高精度に認識することができる。

【0011】

前記複数のランレングス判定部が、第５のランレングス判定部を含み、前記第５のランレングス判定部が、前記認識対象領域の上下方向中央の部分領域の画像が入力され、該部分領域において所定長以上の黒および白の各列が所定数以上存在するか否かを判定するものであり、前記判定部が、前記第５のランレングス判定部の判定結果を加味して、前記認識対象領域に含まれるシンボルが数字「０」であるか否かを判定するものであってもよい。

【0012】

これによると、数字「０」の認識精度が向上する。

【0013】

さらに、前記複数のランレングス判定部が、前記認識対象領域を左右方向に２分割した各部分領域の画像が入力される第６および第７のランレングス判定部と、前記認識対象領域を上下方向に３分割した上および下の各部分領域の画像が入力される第８および第９のランレングス判定部とを含み、前記判定部が、前記第６から第９のランレングス判定部の判定結果を加味して、前記認識対象領域に含まれるシンボルが数字「０」であるか否かを判定するものであってもよい。

【0014】

これによると、数字「０」の認識精度がさらに向上する。

【0015】

あるいは、前記複数のランレングス判定部が、前記認識対象領域を上下方向に３分割した各部分領域の画像が入力される第６、第７、および第８のランレングス判定部を含み、前記判定部が、前記第６から第８のランレングス判定部の判定結果を加味して、前記認識対象領域に含まれるシンボルが数字「８」であるか否かを判定するものであってもよい。

【0016】

これによると、数字「８」の認識精度が向上する。

【0017】

前記シンボル認識装置は、前記認識対象領域の画像が入力され、前記認識対象領域の全体における所定色の画素の割合を算出する色割合算出部を備えていてもよく、前記制御部が、前記画像メモリに格納されている前記２値化画像を走査して読み出した前記部分領域の画素情報を前記色割合算出部へ入力するものであってもよく、前記判定部が、前記色割合算出部の算出結果を加味して、前記認識対象領域に含まれるシンボルを判定するものであってもよい。

【0018】

これによると、認識対象領域の全体における所定色の割合を加味することでシンボルの認識精度が向上する。

【0019】

前記シンボル認識装置は、前記認識対象領域および前記認識対象領域を上下左右に僅かずつずらした各認識対象領域について同時並行的に認識処理を行ってもよい。

【0020】

これによると、２値化画像においてシンボルが所定位置からずれていても２値化画像に含まれるシンボルを正しく認識することができる。

【0021】

また、本発明の別の局面に従った車両用標識認識装置は、前記シンボル認識装置と、前記シンボル認識装置の前記画像メモリに格納された前記２値化画像において車両用標識の枠を検出する枠検出部とを備え、前記シンボル認識装置の前記判定部が、前記枠検出部の検出結果に基づいて、前記２値化画像が車両用標識の画像であるか否かを判定するものである。

【0022】

これによると、画像メモリに格納された２値化画像について車両用標識の判定および制限速度の認識を行うことができる。

【0023】

さらに、前記車両用標識認識装置は、前記２値化画像における斜めの部分領域において所定色の画素からなる所定長以上の斜め線が存在するか否かを判定する斜線判定部を備えていてもよく、前記判定部が、前記斜線判定部の判定結果を加味して、前記２値化画像が禁止を表す標識のうちのいずれの種類の標識の画像であるかを判定するものであってもよい。

【0024】

これによると、画像メモリに格納された２値化画像が禁止を表す標識であるか否かを判定し、さらには禁止を表す標識の種類を認識することができる。

【発明の効果】

【0025】

本発明によると、２値化画像に含まれるシンボル認識をハードウェアを用いて高速かつ高精度に行うことができる。また、自動車走行中にリアルタイムで車両用標識の認識処理を行うことができる低価格の車載組込システムを実現することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の第１の実施形態に係るシンボル認識装置の主要部の構成図

【図2】認識対象の２値化画像の例を示す図

【図3】各特徴量抽出部で処理される認識対象領域の部分領域の例を示す図

【図4】「０」から「８」までの各数字の画像のヒストグラムの特徴を示す図

【図5】数字「５」の画像のヒストグラムと各部分領域との対応関係を示す図

【図6】「０」から「８」までの各数字の画像のランレングスの特徴を示す図

【図7】本発明の第２の実施形態に係るシンボル認識装置の主要部の構成図

【図8】数字「０」のある部分領域におけるランレングスの特徴を示す図

【図9】数字「０」の別のいくつかの部分領域におけるランレングスの特徴を示す図

【図10】数字「８」のいくつかの部分領域におけるランレングスの特徴を示す図

【図11】本発明の第３の実施形態に係るシンボル認識装置の主要部の構成図

【図12】基準の認識対象領域の例および上下左右にずらした認識対象領域の例を示す図

【図13】本発明の第４の実施形態に係る車両用標識認識装置の主要部の構成図

【図14】枠検出部で処理される２値画像の部分領域の例を示す図

【図15】斜線判定部で処理される２値化画像の部分領域の例および禁止を表す標識のいくつかの例を示す図

【発明を実施するための形態】

【0027】

以下、図面を参照しながら本発明を実施するための形態について説明する。なお、本発明は、以下の実施形態に限定されるものではない。

【0028】

≪第１の実施形態≫
図１は、本発明の第１の実施形態に係るシンボル認識装置の主要部の構成を示す。本実施形態に係るシンボル認識装置１０は、所定の大きさの２値化画像に含まれるシンボルを認識するものであり、特に、道路速度標識に含まれる数字を認識するのに好適なものである。

【0029】

シンボル認識装置１０は、画像メモリ１２と、制御部１４と、１１個の特徴量抽出部１６＿１〜１６＿１１と、判定部１８とを備えている。また、各特徴量抽出部１６＿１〜１６＿１１は、ヒストグラム算出部１６１と、ランレングス判定部１６２とを備えている。なお、便宜上、図１において特徴量抽出部１６＿３〜１６＿１０の図示を省略しているが、以下の説明において、これら図示しない特徴量抽出部１６＿３〜１６＿１０を参照することがある。

【0030】

画像メモリ１２は、シンボル認識装置１０の認識対象となる２値化画像を格納するメモリである。画像メモリ１２は、ＳＲＡＭ（Static Random Access Memory）やＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリで構成することができる。

【0031】

図２は、認識対象の２値化画像の例を示す。当該画像は、自動車に取り付けたカメラで前方を撮影した６４０×４８０ピクセルの８ビットグレースケールの原画像を２値化処理し、道路速度標識の候補領域（以下、「スキャンウィンドウ」と称する）を抽出したものである。スキャンウィンドウＳＷのサイズは、２０×２０ピクセルから５０×５０ピクセル程度である。

【0032】

図２に示したように、道路速度標識は、２桁の数字を円枠で囲んだデザインで表される。シンボル認識装置１０は、当該２値化画像に含まれる一の位の数字および十の位の数字をそれぞれ認識する。すなわち、シンボル認識装置１０は、スキャンウィンドウＳＷの略中央部分の２つの矩形領域（図２において破線で囲んだ２つの矩形領域、以下「認識対象領域」と称する）のそれぞれに含まれる数字を認識する。なお、グレースケールの原画像を２値化処理してスキャンウィンドウを抽出する技術については、本願発明者らによる特願２０１２−２８５６６９の明細書に詳しく記載されている。

【0033】

図１へ戻り、制御部１４は、画像メモリ１２に格納されている２値化画像を走査して読み出した部分領域の画素情報、すなわち、画素値Ｉｘｙ＝｛０，１｝およびその画素の座標を表す座標データ（ｘ，ｙ）を各特徴量抽出部１６＿１〜１６＿１１におけるヒストグラム算出部１６１およびランレングス判定部１６２へ入力する。画素情報の読み出しは、数ピクセルまとまったワード単位や１ピクセル単位で行うことができる。より詳細には、各部分領域にはスキャンウィンドウにおける座標範囲が設定されている。制御部１８は、画像メモリ１２に格納されている２値化画像の走査中に座標データ（ｘ，ｙ）が各部分領域の座標範囲に入ったことを検出して、その部分領域に対応する各特徴量抽出部１６＿１〜１６＿１１におけるヒストグラム算出部１６１およびランレングス判定部１６２のそれぞれへ制御信号ＡＣＴを出力する。例えば、各ヒストグラム算出部１６１および各ランレングス判定部１６２は、自身に入力された制御信号ＡＣＴがＨレベルのときは画素値Ｉｘｙおよび座標データ（ｘ，ｙ）を取り込み、制御信号ＡＣＴがＬレベルのときは画素値Ｉｘｙおよび座標データ（ｘ，ｙ）を取り込まない。これにより、画像メモリ１２に格納された２値化画像を一度走査するだけで、２値化画像の任意の部分領域の画像を各ヒストグラム算出部１６１および各ランレングス判定部１６２へ入力することができる。そして、各ヒストグラム算出部１６１および各ランレングス判定部１６２は、入力された画像に対して所定の処理を、互いに独立に同時並行的に行う。

【0034】

なお、制御部１４が画像メモリから画素値Ｉｘｙを直接読み込まずに、制御部１４は画像メモリ１２に対して画素値読み出しの制御信号を出力し、当該制御信号に従って画像メモリ１２から読み出された画素値Ｉｘｙを各特徴量抽出部１６＿１〜１６＿１１へ直接供給するようにしてもよい。

【0035】

図３は、各特徴量抽出部１６＿１〜１６＿１１で処理される認識対象領域の部分領域の例を示す。認識対象領域を左右方向に２分割、例えば２等分した部分領域ＢＬ１およびＢＬ２の画像は、特徴量抽出部１６＿１および１６＿２に入力されて処理される。認識対象領域を上下方向に３分割、例えば３等分した部分領域ＢＬ３、ＢＬ４、およびＢＬ５の画像は、特徴量抽出部１６＿３、１６＿４、および１６＿５に入力されて処理される。認識対象領域の左右方向中央の部分領域ＢＬ６の画像は、特徴量抽出部１６＿６に入力されて処理される。認識対象領域の上下方向中央の部分領域ＢＬ７の画像は、特徴量抽出部１６＿７に入力されて処理される。認識対象領域の上下方向中央の部分領域を上下左右に４分割、例えば４等分した部分領域ＢＬ８、ＢＬ９、ＢＬ１０、およびＢＬ１１の画像は、特徴量抽出部１６＿８、１６＿９、１６＿１０、および１６＿１１に入力されて処理される。

【0036】

図１へ戻り、ヒストグラム算出部１６１は、認識対象領域の部分領域の画像が入力され、該部分領域において各ラインまたは各列の所定色の画素の頻度分布を算出する。通常の道路速度標識の２値化画像の場合、数字は白地に黒色で表示されるため、ヒストグラム算出部１６１は、黒の画素の頻度分布を算出する。一方、電光表示の道路速度標識の２値化画像の場合、数字は黒地に白色で表されることがある。この場合には、ヒストグラム算出部１６１は、白の画素の頻度分布を算出する。

【0037】

なお、ヒストグラムの算出は加算演算および比較演算で行うことができるため、ヒストグラム算出部１６１は、基本的に加算回路および比較器を用いて構成することができる。

【0038】

図４は、「０」から「８」までの各数字の画像のヒストグラムの特徴を示す。図４において、認識対象領域における各ラインの黒の画素の頻度分布は各数字の横（数字「０」では右側、その他の数字では左側）に、認識対象領域における各列の黒の画素の頻度分布は各数字の下に、それぞれ示されている。図４に示したように、ヒストグラムは数字ごとに異なった特徴を有している。

【0039】

図５は、数字「５」の画像のヒストグラムと部分領域ＢＬ１〜ＢＬ７との対応関係を示す。図５（ａ）に示したように、特徴量抽出部１６＿１および１６＿２におけるヒストグラム算出部１６１は、それぞれ、数字の画像の列方向のヒストグラムのうち部分領域ＢＬ１およびＢＬ２に対応するヒストグラムの最大値を出力する。特徴量抽出部１６＿３〜１６＿５におけるヒストグラム算出部１６１は、それぞれ、数字の画像のライン方向のヒストグラムのうち部分領域ＢＬ３〜ＢＬ５に対応するヒストグラムの最大値を出力する。一方、図５（ｂ）に示したように、特徴量抽出部１６＿６におけるヒストグラム算出部１６１は、数字の画像の列方向のヒストグラムのうち部分領域ＢＬ６に対応するヒストグラムの最小値を出力する。特徴量抽出部１６＿７におけるヒストグラム算出部１６１は、数字の画像のライン方向のヒストグラムのうち部分領域ＢＬ７に対応するヒストグラムの最小値を出力する。なお、ヒストグラムの最大値および最小値は、認識対象領域の幅または高さに対する各ラインまたは各列に含まれる所定色の画素の度数の割合として定義することができる。例えば、通常の道路速度標識の場合には所定色は黒であり、電光表示の道路速度標識では所定色は白である。認識すべきシンボルが道路速度標識に含まれる数字以外である場合には、所定色は、適宜、白または黒であり得る。なお、２値化画像の特徴から、黒の画素のヒストグラムの最大値は白の画素のヒストグラムの最小値に相当し、白の画素のヒストグラムの最大値は黒の画素のヒストグラムの最小値に相当する。

【0040】

以上のように、部分領域ＢＬ１〜ＢＬ５のヒストグラムの最大値、および部分領域ＢＬ６〜ＢＬ７のヒストグラムの最小値は、数字ごとに特徴が異なっており、また、数字の傾き、位置ずれ、ノイズの重畳などに対して影響を受けにくい。このため、各部分領域のヒストグラムの最大値および最小値は、認識対象領域内にあるシンボルの認識のための有効な特徴量となり得る。

【0041】

図１へ戻り、ランレングス判定部１６２は、認識対象領域の各部分領域の画像が入力され、該部分領域において所定色の画素からなる所定長以上のラインまたは列が存在するか否かを判定する。後述するように、数字の画像では数字を表す線分以外の部分においてライン方向の所定色の画素の連続性に特徴があるため、ランレングス判定部１６２は、ライン方向の所定色の画素の連続性を判定する。また、道路速度標識に使用される数字のフォントデザインの特徴から、所定色の画素の連続性の判定対象となる領域は、部分領域ＢＬ８〜ＢＬ１１の各領域とするのが適当である。したがって、特徴量抽出部１６＿８〜１６＿１１におけるランレングス判定部１６２は、それぞれ、部分領域ＢＬ８〜ＢＬ１１において所定長以上の白または黒のラインが存在するか否かを判定する。所定長は、例えば、各部分領域ＢＬ８〜ＢＬ１１の幅に対して９０％、９５％などの任意の長さである。所定長として各部分領域ＢＬ８〜ＢＬ１１の幅を指定することもでき、その場合、ランレングス判定部１６２は、部分領域ＢＬ８〜ＢＬ１１において全白ラインまたは全黒ラインが存在するか否かを判定することとなる。通常の道路速度標識の２値化画像の場合、数字は白地に黒色で表示されるため、ランレングス算出部１６２は、白の画素の連続性を判定する。一方、電光表示の道路速度標識の２値化画像の場合、数字は黒地に白色で表されることがある。この場合には、ランレングス判定部１６２は、黒の画素の連続性を判定する。

【0042】

なお、ランレングスはＡＮＤ演算、ＯＲ演算、および加算で処理を行うことができるため、ランレングス判定部１６２は、ＡＮＤ回路、ＯＲ回路、加算器を有する組み合わせ回路として構成することができる。

【0043】

図６は、０から８までの各数字の画像のランレングスの特徴を示す。数字「１」では部分領域ＢＬ９およびＢＬ１１に所定長以上の白ラインが存在し、数字「２」では部分領域ＢＬ８およびＢＬ１１に所定長以上の白ラインが存在し、数字「３」では部分領域ＢＬ８およびＢＬ１０に所定長以上の白ラインが存在し、数字「４」では部分領域ＢＬ８に所定長以上の白ラインが存在し、数字「５」では部分領域ＢＬ９およびＢＬ１０に所定長以上の白ラインが存在し、数字「６」では部分領域ＢＬ９に所定長以上の白ラインが存在し、数字「７」では部分領域ＢＬ８に所定長以上の白ラインが存在し、数字「０」および「８」ではいずれの部分領域にも所定長以上の白ラインが存在しない。このように、部分領域ＢＬ８〜ＢＬ１１における所定長以上の白ラインの有無のパターンは数字ごとに異なっている。ただし、数字「０」と「８」では所定長以上の白ラインの有無のパターンが同じであるが、道路速度標識において十の位に数字「０」が用いられることはなく、逆に一の位に数字「０」以外が用いられることはない。したがって、スキャンウィンドウにおける認識対象領域の位置によって、数字「０」と「８」を区別することができる。

【0044】

なお、道路速度標識の傾きによる数字の傾き、スキャンウィンドウのずれによる位置ずれ、ノイズの重畳などの程度が大きい場合には、部分領域ＢＬ８〜ＢＬ１１における所定長以上の白ラインの有無のパターンが上記パターンと違ってくる。したがって、部分領域ＢＬ８〜ＢＬ１１における所定色の画素の連続性のみで数字を認識することは困難である。そこで、判定部１８は、部分領域ＢＬ１〜ＢＬ７のヒストグラムの特徴量と合わせて総合的に数字を判定する。

【0045】

図１へ戻り、判定部１８は、特徴量抽出部１６＿１〜１６＿７におけるヒストグラム算出部１６１の算出結果、および特徴量抽出部１６＿８〜１６＿１１におけるランレングス判定部１６２の判定結果に基づいて、認識対象領域に含まれる数字を判定する。例えば、判定部１８は、下記の判定条件に従って数字を判定する。なお、下記の判定条件において、Ｈｍａｘ１〜Ｈｍａｘ５は、特徴量抽出部１６＿１〜１６＿５におけるヒストグラム算出部１６１から出力されるヒストグラムの最大値であり、Ｈｍｉｎ６およびＨｍｉｎ７は、特徴量抽出部１６＿６および１６＿７におけるヒストグラム算出部１６１から出力されるヒストグラムの最小値であり、ＲＬ１〜ＲＬ４は、特徴量抽出部１６＿８〜１６＿１１におけるランレングス判定部１６２から出力される判定結果である。ＲＬ１〜ＲＬ４は、所定長以上の白ラインが検出された場合には“１”、検出されなかった場合には“０”であり、“＊”はドントケアを表す。

【0046】

＜数字「０」の判定＞
・（ＲＬ１，ＲＬ２，ＲＬ３，ＲＬ４）＝（０，０，０，０）
・Ｈｍａｘ１，Ｈｍａｘ２，Ｈｍａｘ３，Ｈｍａｘ５が５０％以上
・Ｈｍａｘ１−Ｈｍｉｎ６，Ｈｍａｘ２−Ｈｍｉｎ６が３０％以上
・｜Ｈｍａｘ１−Ｈｍａｘ２｜が５０％未満
・｜Ｈｍａｘ３−Ｈｍａｘ５｜が３０％未満
・Ｈｍｉｎ６，Ｈｍｉｎ７が１０％以上
以上の条件を満たすとき、判定部１８は、認識対象領域に含まれる数字が「０」であると判定する。

【0047】

＜数字「１」の判定＞
・（ＲＬ１，ＲＬ２，ＲＬ３，ＲＬ４）＝（０，＊，０，＊）
・Ｈｍａｘ１が７０％以上
・Ｈｍａｘ３が７０％未満
・Ｈｍａｘ４，Ｈｍａｘ５が５０％未満
または
・（ＲＬ１，ＲＬ２，ＲＬ３，ＲＬ４）＝（０，＊，０，＊）
・Ｈｍａｘ１が７０％以上
・Ｈｍａｘ３，Ｈｍａｘ４，Ｈｍａｘ５が７０％未満
・Ｈｍａｘ１−Ｈｍｉｎ６が５０％以上
・Ｈｍｉｎ６が２０％以下
以上の条件を満たすとき、判定部１８は、認識対象領域に含まれる数字が「１」であると判定する。

【0048】

＜数字「２」の判定＞
・（ＲＬ１，ＲＬ２，ＲＬ３，ＲＬ４）＝（１，０，＊，＊）
・Ｈｍａｘ１，Ｈｍａｘ２，Ｈｍａｘ４が７０％未満
・Ｈｍａｘ３が５０％以上
・Ｈｍａｘ５が７０％以上
・Ｈｍａｘ２−Ｈｍｉｎ６が３０％未満
以上の条件を満たすとき、判定部１８は、認識対象領域に含まれる数字が「２」であると判定する。

【0049】

＜数字「３」の判定＞
・（ＲＬ１，ＲＬ２，ＲＬ３，ＲＬ４）＝（１，０，１，０）
・Ｈｍａｘ１が７０％未満
・Ｈｍａｘ２，Ｈｍａｘ３，Ｈｍａｘ５が５０％以上
以上の条件を満たすとき、判定部１８は、認識対象領域に含まれる数字が「３」であると判定する。

【0050】

＜数字「４」の判定＞
・（ＲＬ１，ＲＬ２，ＲＬ３，ＲＬ４）＝（＊，０，０，０）
・Ｈｍａｘ１が５０％未満
・Ｈｍａｘ２，Ｈｍａｘ５が７０％以上
・Ｈｍａｘ３，Ｈｍａｘ４が７０％未満
または
・（ＲＬ１，ＲＬ２，ＲＬ３，ＲＬ４）＝（＊，０，０，０）
・Ｈｍａｘ１，Ｈｍａｘ３，Ｈｍａｘ４が７０％未満
・Ｈｍａｘ２，Ｈｍａｘ５が７０％以上
・Ｈｍａｘ２−Ｈｍｉｎ６が５０％以上
・Ｈｍａｘ２−Ｈｍａｘ１が３０％以上
または
・（ＲＬ１，ＲＬ２，ＲＬ３，ＲＬ４）＝（＊，０，０，０）
・Ｈｍａｘ２，Ｈｍａｘ５が７０％以上
・Ｈｍａｘ３が７０％未満
・Ｈｍａｘ２−Ｈｍｉｎ６が５０％以上
・Ｈｍａｘ５−Ｈｍｉｎ７が４０％以上
以上の条件を満たすとき、判定部１８は、認識対象領域に含まれる数字が「４」であると判定する。

【0051】

＜数字「５」の判定＞
・（ＲＬ１，ＲＬ２，ＲＬ３，ＲＬ４）＝（０，１，１，０）
・Ｈｍａｘ１，Ｈｍａｘ２，Ｈｍａｘ３，Ｈｍａｘ４，Ｈｍａｘ５が５０％以上
以上の条件を満たすとき、判定部１８は、認識対象領域に含まれる数字が「５」であると判定する。

【0052】

＜数字「６」の判定＞
・（ＲＬ１，ＲＬ２，ＲＬ３，ＲＬ４）＝（０，１，０，０）
・Ｈｍａｘ１，Ｈｍａｘ４，Ｈｍａｘ５が５０％以上
・Ｈｍａｘ３が７０％未満
以上の条件を満たすとき、判定部１８は、認識対象領域に含まれる数字が「６」であると判定する。

【0053】

＜数字「７」の判定＞
・（ＲＬ１，ＲＬ２，ＲＬ３，ＲＬ４）＝（１，０，＊，＊）
・Ｈｍａｘ１，Ｈｍａｘ２，Ｈｍａｘ４，Ｈｍａｘ５が７０％未満
・Ｈｍａｘ３が７０％以上
または
・（ＲＬ１，ＲＬ２，ＲＬ３，ＲＬ４）＝（１，０，＊，＊）
・Ｈｍａｘ３が７０％以上
・Ｈｍａｘ３−Ｈｍｉｎ７が５０％以上
以上の条件を満たすとき、判定部１８は、認識対象領域に含まれる数字が「７」であると判定する。

【0054】

＜数字「８」の判定＞
・（ＲＬ１，ＲＬ２，ＲＬ３，ＲＬ４）＝（０，０，０，０）
・Ｈｍａｘ１，Ｈｍａｘ２，Ｈｍａｘ３，Ｈｍａｘ４，Ｈｍａｘ５が７０％以上
または
・（ＲＬ１，ＲＬ２，ＲＬ３，ＲＬ４）＝（０，０，０，０）
・Ｈｍａｘ１，Ｈｍａｘ２，Ｈｍａｘ３，Ｈｍａｘ４，Ｈｍａｘ５が５０％以上
・Ｈｍａｘ１−Ｈｍｉｎ６が２０％以上
・Ｈｍａｘ２−Ｈｍｉｎ６が２０％以上
・｜Ｈｍａｘ１−Ｈｍａｘ２｜が３０％未満
・｜Ｈｍａｘ３−Ｈｍａｘ５｜が３０％未満
以上の条件を満たすとき、判定部１８は、認識対象領域に含まれる数字が「８」であると判定する。

【0055】

判定部１８は、上記の全条件が満たされない場合、認識対象の２値化画像は道路速度標識の画像ではないと判定してもよい。さらに言えば、道路速度標識ではスキャンウィンドウ（図２を参照）における右側の認識対象領域には数字「０」以外は現れない。したがって、制御部１４は、まず、スキャンウィンドウにおける右側の認識対象領域を走査し、判定部１８は、該認識対象領域に含まれるシンボルが数字「０」であるか否かによって認識対象の２値化画像が道路速度標識の画像であるか否かを判定してもよい。そして、スキャンウィンドウにおける右側の認識対象領域に含まれるシンボルが数字「０」である場合、制御部１４は、次に、スキャンウィンドウにおける左側の認識対象領域を走査し、判定部１８は、速度の十の位の数字を認識するようにしてもよい。

【0056】

以上のように本実施形態によると、画像メモリ１２に格納された２値化画像に含まれるシンボル認識をハードウェアを用いて高速かつ高精度に行うことができる。

【0057】

数字「９」の判定条件の説明を省略したが、これは、日本国内において道路速度標識に数字「９」が使用されないためであり、数字「９」が認識不可能というわけではない。数字「９」の画像のヒストグラムおよびランレングスの特徴に基づいて、他の数字と同様に数字「９」を認識することは容易である。

【0058】

道路速度標識において速度が３桁の数字で表される場合もあるが、そのような場合には、スキャンウィンドウ内に３桁の各数字に合うように３つの認識対象領域を設定すればよい。また、道路速度標識において百の位の数字が「１」以外になることはあり得ないと考えられる。したがって、制御部１４は、まず、スキャンウィンドウにおける左端の認識対象領域を走査し、判定部１８は、該認識対象領域に含まれるシンボルが数字「１」であるか否かによって認識対象の２値化画像が道路速度標識の画像であるか否かを判定してもよい。そして、スキャンウィンドウにおける左端の対象領域に含まれるシンボルが数字「１」である場合、制御部１４は、次に、スキャンウィンドウにおける真ん中または右端の認識対象を走査し、判定部１８は、速度の十の位または一の位の数字を認識するようにしてもよい。

【0059】

アルファベット、ひらがな、カタカナなどの数字以外のシンボルについても上記と同様の手法で認識可能である。ただし、数字以外のシンボルを認識する場合、ヒストグラムやランレングスを判定する部分領域は、上記の部分領域ＢＬ１〜ＢＬ１１が最適であるとは限られず、各シンボルの特徴を反映するような部分領域を採用することが望ましい。

【0060】

特徴量抽出部１６＿１〜１６＿７におけるランレングス判定部１６２、および特徴量抽出部１６＿８〜１６＿１１におけるヒストグラム算出部１６１は実際には使用されないため、数字に限定した認識であればこれら使用されない構成要素を省略してもよい。これにより、回路規模を縮小することができる。また、特徴量抽出部１６＿１〜１６＿１１は、最適化することによってデータおよびリソースの共有が可能となり、回路規模を縮小することができる。

【0061】

逆に、本実施形態のように、ヒストグラム算出部１６１およびランレングス判定部１６２を備えた特徴量抽出部１６を適当な個数配置し、制御部１４によって各特徴量抽出部１６におけるヒストグラム算出部１６１およびランレングス判定部１６２への画素情報の入力を制御することで、回路規模は大きくなるが、数字以外のさまざまなシンボルの認識に対応可能な汎用性を持たせることができる。

【0062】

認識対象領域において複数の部分領域がオーバーラップするような場合には、１個の特徴量抽出部１６で複数の部分領域の処理を行うように特徴量抽出部１６を共有させることで全体の回路規模を縮小することができる。しかし、特徴量抽出部１６の１個当たりの回路規模は非常に小さいため、特徴量抽出部１６を多数配置したとしても回路規模増大の影響は限定的であると考えられる。したがって、回路規模が問題になるような場合に特徴量抽出部１６を共有させればよい。

【0063】

≪第２の実施形態≫
図７は、本発明の第２の実施形態に係るシンボル認識装置の主要部の構成を示す。本実施形態に係るシンボル認識装置１０は、第１の実施形態に係るシンボル認識装置１０に色割合算出部１７を追加し、さらに、特徴量抽出部１６＿１〜１６＿５および１６＿７におけるランレングス判定部１６２を使用して、数字の認識精度を向上させたものである。以下、第１の実施形態と同様の事項については説明を省略し、第１の実施形態と異なる点について重点的に説明する。

【0064】

色割合算出部１７は、認識対象領域の画像が画像メモリ１２から直接的にまたは制御部１４を介して間接的に入力され、認識対象領域における所定色の画素の割合を算出する。所定色は、通常の道路速度標識の場合は黒であり、電光表示の道路速度標識の場合は白である。所定色の画素の割合は、例えば、数字「０」では６６％以下、数字「１」では４０％以下、数字「２」では４６％以下、数字「３」では４３％以下、数字「４」では５０％以下、数字「５」では５４％以下、数字「６」では４８％以下、数字「７」では４４％以下、数字「８」では６１％以下である。

【0065】

制御部１４は、制御信号ＡＣＴを出力して、色割合算出部１７への画素情報の入力を制御する。例えば、色割合算出部１７は、自身に入力された制御信号ＡＣＴがＨレベルのときは画素値Ｉｘｙおよび座標データ（ｘ，ｙ）を取り込み、制御信号ＡＣＴがＬレベルのときは画素値Ｉｘｙおよび座標データ（ｘ，ｙ）を取り込まない。これにより、制御部１４が画像メモリ１２に格納された２値化画像を一度走査するだけで、２値化画像の任意の部分領域の画像を特徴量抽出部１６＿１〜１６＿１１および色割合算出部１７へ入力することができる。そして、各特徴量抽出部１６＿１〜１６＿１１および色割合算出部１７は、入力された画像に対して所定の処理を、互いに独立に同時並行的に行う。

【0066】

判定部１８は、上記の各数字の判定条件に色割合算出部１７の算出結果を加味して、認識対象領域に含まれる数字を判定する。このように、色割合算出部１７の算出結果を加味することにより、数字の認識精度が向上する。また、判定部１８は、上記の各数字の判定条件と色割合算出部１７の算出結果とが矛盾する場合、認識対象領域に含まれるシンボルは数字ではないと判定することができ、さらに、認識対象の２値化画像が道路交通標識の画像ではないと判定することもできる。

【0067】

数字のうち「０」および「８」の２つは字形に際立った特徴がないため、まったく異なる画像が数字「０」や数字「８」として誤認識されやすい傾向にある。そこで、本実施形態では以下のような特別な対策を講じることで、数字「０」および「８」の認識精度を向上させることができる。

【0068】

図８は、数字「０」のある部分領域におけるランレングスの特徴を示す。認識対象領域に数字「０」が含まれている場合において部分領域ＢＬ７（図３を参照）に着目すると、数字「０」のフォントデザインの特徴から、所定長以上の黒および白の各列が多数存在する。そこで、部分領域ＢＬ７の画像が入力される特徴量抽出部１６＿７におけるランレングス判定部１６２は、部分領域ＢＬ７において所定長以上の黒および白の各列が所定数以上存在するか否かを判定する。所定長は、例えば、部分領域ＢＬ７の高さに対して９０％、９５％などの任意の長さである。所定長として部分領域ＢＬ７の高さを指定することもでき、その場合、ランレングス判定部１６２は、部分領域ＢＬ７において全黒の列および全白の列がそれぞれ所定数以上存在するか否かを判定する。所定数は、１以上の整数であればよく、スキャンウィンドウの大きさに応じて変更することもできる。

【0069】

判定部１８は、上記の数字「０」の判定条件に、特徴量抽出部１６＿７におけるランレングス判定部１６２の判定結果を加味して、認識対象領域に含まれる数字が「０」であると判定することができる。これにより、数字「０」の認識精度が向上する。

【0070】

図９は、数字「０」の別のいくつかの部分領域におけるランレングスの特徴を示す。認識対象領域に数字「０」が含まれている場合において部分領域ＢＬ１〜ＢＬ３およびＢＬ５（図３を参照）に着目すると、数字「０」のフォントデザインの特徴から、部分領域ＢＬ１およびＢＬ２には所定色の画素からなる所定長以上の列が存在し、部分領域ＢＬ３およびＢＬ５には所定色の画素からなる所定長以上のラインが存在する。そこで、部分領域ＢＬ１およびＢＬ２の画像が入力される特徴量抽出部１６＿１および１６＿２におけるランレングス判定部１６２は、それぞれ、部分領域ＢＬ１およびＢＬ２において所定色の画素からなる所定長以上の列が存在するか否かを判定し、部分領域ＢＬ３およびＢＬ５の画像が入力される特徴量抽出部１６＿３および１６＿５におけるランレングス判定部１６２は、それぞれ、部分領域ＢＬ３およびＢＬ５において所定色の画素からなる所定長以上のラインが存在するか否かを判定する。所定長は、例えば、部分領域ＢＬ１およびＢＬ２については当該部分領域の高さの半分であり、部分領域ＢＬ３およびＢＬ５については当該部分領域の幅の半分である。

【0071】

判定部１８は、さらに、特徴量抽出部１６＿１〜１６＿３および１６＿５におけるランレングス判定部１６２の判定結果を加味して、認識対象領域に含まれる数字が「０」であると判定することができる。これにより、数字「０」の認識精度がより一層向上する。

【0072】

図１０は、数字「８」のいくつかの部分領域におけるランレングスの特徴を示す。認識対象領域に数字「８」が含まれている場合において部分領域ＢＬ３〜ＢＬ５（図３を参照）に着目すると、数字「８」のフォントデザインの特徴から、部分領域ＢＬ３〜ＢＬ５には所定色の画素からなる所定長以上のラインが存在する。そこで、部分領域ＢＬ３〜ＢＬ５の画像が入力される特徴量抽出部１６＿３〜１６＿５におけるランレングス判定部１６２は、それぞれ、部分領域ＢＬ３〜ＢＬ５において所定色の画素からなる所定長以上のラインが存在するか否かを判定する。所定長は、例えば、部分領域ＢＬ３〜ＢＬ５の各幅の半分である。

【0073】

判定部１８は、上記の数字「８」の判定条件に、特徴量抽出部１６＿３〜１６＿５におけるランレングス判定部１６２の判定結果を加味して、認識対象領域に含まれる数字が「８」であると判定することができる。これにより、数字「８」の認識精度が向上する。なお、特徴量抽出部１６＿３および１６＿５におけるランレングス判定部１６２の判定結果は、判定部１８における数字「０」および「８」の判定処理に共通に使用することができる。

【0074】

以上のように本実施形態によると、道路速度標識における数字の認識精度を向上させることができる。

【0075】

≪第３の実施形態≫
図１１は、本発明の第３の実施形態に係るシンボル認識装置の主要部の構成を示す。本実施形態に係るシンボル認識装置１０は、第１の実施形態に係るシンボル認識装置１０に特徴量抽出部１６＿１Ｕ〜１６＿１１Ｕ、１６＿１Ｄ〜１６＿１１Ｄ、１６＿１Ｌ〜１６＿１１Ｌ、および１６＿１Ｒ〜１６＿１１Ｒを追加したものである。以下、第１の実施形態と同様の事項については説明を省略し、第１の実施形態と異なる点について重点的に説明する。

【0076】

車両用標識などの認識対象物がスキャンウィンドウ内に正しく捕らえられていない場合、認識すべきシンボルが認識対象領域からはみ出てしまってシンボルを正しく認識できないおそれがある。そこで、本実施形態に係るシンボル認識装置１０は、スキャンウィンドウの略中央部分に位置する基準の認識対象領域およびそれを中心に上下左右に僅かずつずらした各認識対象領域について同時並行的に認識処理を行う。

【0077】

図１２は、基準の認識対象領域の例および上下左右にずらした認識対象領域の例を示す。基準の認識対象領域ＮＷの各部分領域の画像は特徴量抽出部１６＿１〜１６＿１１に入力される。上へずらした認識対象領域ＮＷの各部分領域の画像は特徴量抽出部１６＿１Ｕ〜１６＿１１Ｕに入力される。下へずらした認識対象領域ＮＷの各部分領域の画像は特徴量抽出部１６＿１Ｄ〜１６＿１１Ｄに入力される。左へずらした認識対象領域ＮＷの各部分領域の画像は特徴量抽出部１６＿１Ｌ〜１６＿１１Ｌに入力される。右へずらした認識対象領域ＮＷの各部分領域の画像は特徴量抽出部１６＿１Ｒ〜１６＿１１Ｒに入力される。特徴量抽出部１６＿１Ｕ〜１６＿１１Ｕ、１６＿１Ｄ〜１６＿１１Ｄ、１６＿１Ｌ〜１６＿１１Ｌ、および１６＿１Ｒ〜１６＿１１Ｒは、特徴量抽出部１６＿１〜１６＿１１と同じ構成の要素であり、入力される画像が特徴量抽出部１６＿１〜１６＿１１に入力される画像と異なるのみである。

【0078】

認識対象領域のずらし量は、例えば、スキャンウィンドウの１辺が２０〜２９ピクセルの場合には１ピクセル、スキャンウィンドウの１辺が３０〜３９ピクセルの場合には２ピクセル、スキャンウィンドウの１辺が４０〜５０ピクセルの場合には３ピクセルなどのように、スキャンウィンドウのサイズに応じて適宜変えることができる。

【0079】

制御部１４は、制御信号ＡＣＴを出力して、各特徴量抽出部１６＿１〜１６＿１１、１６＿１Ｕ〜１６＿１１Ｕ、１６＿１Ｄ〜１６＿１１Ｄ、１６＿１Ｌ〜１６＿１１Ｌ、および１６＿１Ｒ〜１６＿１１Ｒにおけるヒストグラム算出部１６１およびランレングス判定部１６２のそれぞれへの画素情報の入力を制御する。例えば、各ヒストグラム算出部１６１および各ランレングス判定部１６２は、自身に入力された制御信号ＡＣＴがＨレベルのときは画素値Ｉｘｙおよび座標データ（ｘ，ｙ）を取り込み、制御信号ＡＣＴがＬレベルのときは画素値Ｉｘｙおよび座標データ（ｘ，ｙ）を取り込まない。これにより、制御部１４が画像メモリ１２に格納された２値化画像を一度走査するだけで、２値化画像の任意の部分領域の画像を各ヒストグラム算出部１６１および各ランレングス判定部１６２へ入力することができる。そして、各ヒストグラム算出部１６１および各ランレングス判定部１６２は、入力された画像に対して所定の処理を、互いに独立に同時並行的に行う。

【0080】

判定部１８は、特徴量抽出部１６＿１〜１６＿１１、１６＿１Ｕ〜１６＿１１Ｕ、１６＿１Ｄ〜１６＿１１Ｄ、１６＿１Ｌ〜１６＿１１Ｌ、および１６＿１Ｒ〜１６＿１１Ｒの出力に基づいて、各認識対象領域に含まれる数字を判定する。なお、判定部１８は、各認識対象領域の認識結果の多数決により、シンボルの認識結果を決定することができる。

【0081】

以上のように本実施形態によると、認識対象物がスキャンウィンドウ内に正しく捕らえられていない場合であっても２値化画像に含まれるシンボルを正しく認識することができる。

【0082】

第２の実施形態に係るシンボル認識装置１０についても、上下左右へずらした各認識対象領域の画像が入力される色割合算出部１７を追加することで、認識対象物がスキャンウィンドウ内に正しく捕らえられていない場合であっても２値化画像に含まれるシンボルを正しく認識できるようにすることができる。

【0083】

≪第４の実施形態≫
例えば、図２に示したように、２桁の数を円枠で囲んだデザインで表される道路速度標識は、円枠ごとスキャンウィンドウＳＷ内に捕らえられている。第１から第３の実施形態に係るシンボル認識装置１０は、そのようなスキャンウィンドウＳＷの略中央部分を認識対象領域として、認識対象領域をいくつかの部分領域に区分して画像解析を行い、スキャンウィンドウＳＷ、すなわち、２値化画像に含まれるシンボルを認識する。一方、図２に示したように、スキャンウィンドウＳＷにおいて、認識対象領域の周りの領域には道路速度標識の円枠が含まれているから、そのような周りの領域についても画像解析を行うことで円枠を検出することができ、その検出結果から、スキャンウィンドウＳＷ、すなわち、２値化画像が道路速度標識の画像であるか否かを判定することができる。すなわち、上記のシンボル認識装置１０を拡張して車両用標識認識装置を構成することができる。

【0084】

図１３は、本発明の第４の実施形態に係る車両用標識認識装置の主要部の構成を示す。本実施形態に係る車両用標識認識装置１００は、第１の実施形態に係るシンボル認識装置１０に枠検出部２０および斜線判定部３０を追加したものである。以下、第１の実施形態と同様の事項については説明を省略し、第１の実施形態と異なる点について重点的に説明する。

【0085】

枠検出部２０は、画像メモリ１２に格納された２値化画像において車両用標識の枠を検出する。枠検出部２０には、画像メモリ１２から直接的にまたは制御部１４を介して間接的に画像情報が入力される。例えば、道路速度標識は、図２に示したように２桁の数字の周りに円枠を有している。そこで、そのような円枠を検出するために、枠検出部２０は、２値化画像のいくつかの部分領域において所定色の画素からなる所定長以上のライン、列、または斜め線が所定本数以上存在するか否かを判定し、その判定結果から車両用標識の枠を検出することができる。所定色は、通常の車両用標識の場合は黒であり、電光表示の標識の場合は白である。

【0086】

図１４は、枠検出部２０で処理される２値化画像の部分領域の例を示す。枠検出部２０は、スキャンウィンドウＳＷにおける縦長、横長、および斜めの８つの矩形の各部分領域ＢＬ２１〜ＢＬ２８において所定色の画素からなる所定長以上のライン、列、または斜め線が所定本数以上存在するか否かを判定する。具体的には、枠検出部２０は、部分領域ＢＬ２１およびＢＬ２３において所定色の画素からなる所定長以上の列が所定本数以上存在するか否かを判定し、部分領域ＢＬ２２およびＢＬ２４において所定色の画素からなる所定長以上のラインが所定本数以上存在するか否かを判定し、部分領域ＢＬ２５およびＢＬ２７において所定色の画素からなる所定長以上の左上から右下の斜め４５度の線が所定本数以上存在するか否かを判定し、部分領域ＢＬ２６およびＢＬ２８において所定色の画素からなる所定長以上の左下から右上の斜め４５度の線が所定本数以上存在するか否かを判定する。所定長は、各部分領域の長手方向の長さに対して９０％、９５％などの任意の長さである。所定本数は、１本などの任意の数である。そして、枠検出部２０は、部分領域ＢＬ２１〜ＢＬ２８のすべてにおいて所定色の画素からなる所定長以上のライン、列、または斜め線が所定本数以上存在すると判断したとき、２値化画像において道路速度標識などで使用される円枠が存在すると判定する。

【0087】

なお、枠検出部２０によって検出される車両用標識の枠は円枠に限られない。枠検出部２０で処理すべき部分領域を適宜変更することで、警戒標識で使用される菱形の枠、徐行標識や一時停止標識などで使用される逆三角形の枠などの検出に対応させることができる。

【0088】

ところで、車両用標識には道路速度標識以外にＵターン禁止や追い越し禁止などの禁止を表す標識（以下、「禁止標識」と称する）があり、それら禁止標識には共通して禁止を表す斜め線が含まれている。図１３へ戻り、斜線判定部３０は、画像メモリ１２に格納された２値化画像においてそのような斜め線が存在するか否かを判定する。具体的には、斜線判定部３０は、画像メモリ１２に格納された２値化画像における斜めの部分領域において所定色の画素からなる所定長以上の斜め線が存在するか否かを判定する。斜線判定部３０には、画像メモリ１２から直接的にまたは制御部１４を介して間接的に画像情報が入力される。所定色は、通常の車両用標識の場合は黒であり、電光表示の標識の場合は白である。

【0089】

図１５は、斜線判定部３０で処理される２値化画像の部分領域の例および禁止を表す標識のいくつかの例を示す。斜線判定部３０は、スキャンウィンドウＳＷにおける斜めの矩形の部分領域ＢＬ２９において所定色の画素からなる所定長以上の斜め線が存在するか否かを判定する。

【0090】

図１３へ戻り、制御部１４は、制御信号ＡＣＴを出力して、枠検出部２０および斜線判定部３０への画素情報の入力を制御する。例えば、枠検出部２０および斜線判定部３０は、自身に入力された制御信号ＡＣＴがＨレベルのときは画素値Ｉｘｙおよび座標データ（ｘ，ｙ）を取り込み、制御信号ＡＣＴがＬレベルのときは画素値Ｉｘｙおよび座標データ（ｘ，ｙ）を取り込まない。これにより、制御部１４が画像メモリ１２に格納された２値化画像を一度走査するだけで、２値化画像の任意の部分領域の画像を特徴量抽出部１６＿１〜１６＿１１、枠検出部２０、および斜線判定部３０へ入力することができる。そして、各特徴量抽出部１６＿１〜１６＿１１、枠検出部２０、および斜線判定部３０は、入力された画像に対して所定の処理を、互いに独立に同時並行的に行う。

【0091】

判定部１８は、特徴量抽出部１６＿１〜１６＿１１、枠検出部２０、および斜線判定部３０の各出力を受け、画像メモリ１２に格納された２値化画像が車両用標識であるか否か、車両用標識である場合には禁止標識であるか否か、禁止標識である場合にはさらにどのような種類の禁止標識であるか、および禁止標識ではなく速度標識である場合にはその制限速度を認識する。まず、判定部１８は、枠検出部２０の検出結果に基づいて、２値化画像に車両用標識の枠が含まれていない場合には認識対象の２値化画像が車両用標識の画像ではないと判定する。枠検出部２０によって車両用標識の枠が検出された場合、判定部１８は、斜線判定部３０の判定結果に基づいて、２値化画像に禁止を表す斜め線が含まれている場合には認識対象の２値化画像が禁止標識の画像であると判定する。さらに、枠検出部２０によって道路速度標識の円枠が検出され、かつ、斜線判定部３０によって２値化画像に禁止を表す斜め線が存在しないと判定された場合、判定部１８は、２値化画像に含まれるシンボルを制限速度を表す数字として認識する。

【0092】

判定部１８は、認識対象の２値化画像が禁止標識の画像であると判定した場合、さらに、特徴量抽出部１６＿１〜１６＿１１の出力、すなわち、認識対象領域の各部分領域のヒストグラムおよびランレングスに基づいて、禁止標識の種類を判定することもできる。

【0093】

なお、禁止標識の種類の判定にはそれに適した認識対象領域および部分領域の画像のヒストグラムおよびランレングスを使用した方がよい場合がある。したがって、そのような場合には、禁止標識の種類の判定のための部分領域の画素情報が入力される特徴量抽出部を別途設けて、判定部１８は、その特徴量抽出部の出力に基づいて禁止標識の種類を判定するようにしてもよい。

【0094】

以上のように本実施形態によると、画像メモリ１２から２値化画像を繰り返し読み出すことなく画像メモリ１２に格納された２値化画像を一度走査するだけで車両用標識の判定、禁止標識の判定、禁止標識の種類の認識、および制限速度の認識を行うことができる。したがって、本実施形態に係る車両用標識認識装置１００は、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアへの実装に適している。また、本実施形態に係る車両用標識認識装置１００をＦＰＧＡに実装することで、自動車走行中にリアルタイムで車両用標識の認識処理を行うことができる低価格の車載組込システムを実現することができる。

【0095】

第２および第３の実施形態に係るシンボル認識装置１０についても、枠検出部２０および斜線判定部３０を追加することで上記と同様の車両用標識認識装置を構成することができる。

【符号の説明】

【0096】

１０ シンボル認識装置
１２ 画像メモリ
１４ 制御部
１６１ ヒストグラム算出部
１６２ ランレングス判定部
１８ 判定部
２０ 枠検出部
３０ 斜線判定部
１００ 車両用標識認識装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】