特許 5962442 標識認識システム、標識認識方法、及び標識認識プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5962442

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】標識認識システム、標識認識方法、及び標識認識プログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20160721BHJP

   G08G 1/16 20060101ALI20160721BHJP

【ＦＩ】

   G06T1/00 330Z

   G08G1/16 C

【請求項の数】6

【全頁数】22

(21)【出願番号】特願2012-243159(P2012-243159)

(22)【出願日】2012年11月2日

(65)【公開番号】特開2014-92936(P2014-92936A)

(43)【公開日】2014年5月19日

【審査請求日】2015年3月20日

(73)【特許権者】

【識別番号】000100768

【氏名又は名称】アイシン・エィ・ダブリュ株式会社

(74)【代理人】

【識別番号】100107364

【弁理士】

【氏名又は名称】斉藤 達也

(72)【発明者】

【氏名】眞浦 雅夫

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２００６−２０９５１１（ＪＰ，Ａ）

【文献】 特開２０１２−１６０１１６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、前記標識を認識する標識認識手段を備える標識認識システムであって、
地物の位置を特定する地物特定手段と、
前記地物特定手段にて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定手段と、
前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の位置とを、相互に対応させるための位置情報であって、上方、下方、左方、又は右方への標識サイズに対応した距離による、前記認識対象標識以外の標識である非認識対象標識に対する前記認識対象標識の相対的な位置又はこれらの組合せを特定する位置情報を取得する位置情報取得手段と、をさらに備え、
前記地物は、前記非認識対象標識であり、
前記地物特定手段は、前記非認識対象標識の位置及び種類を特定し、
前記領域設定手段は、前記地物特定手段にて特定された前記非認識対象標識の位置及び種類と、前記位置情報取得手段にて取得された前記位置情報とに基づいて、前記存在予測領域を設定し、
前記標識認識手段は、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定手段により設定された前記存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する、
標識認識システム。

【請求項2】

前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の種類とを、相互に対応させるための種類情報を取得する種類情報取得手段を備え、
前記地物特定手段は、前記非認識対象標識の位置及び種類を特定し、
前記標識認識手段は、前記地物特定手段にて特定された前記非認識対象標識の種類と、前記種類情報取得手段にて取得された種類情報とに基づいて、前記認識対象標識の種類を特定する、
請求項１に記載の標識認識システム。

【請求項3】

当該標識認識システムが設置された車両の走行環境と、当該走行環境において当該車両の周辺に存在することが予測される前記認識対象標識の種類とを、相互に対応させるための環境情報を取得する環境情報取得手段と、
前記走行環境を特定する走行環境特定手段と、を備え、
前記標識認識手段は、前記走行環境特定手段にて特定された走行環境と、前記環境情報取得手段にて取得された環境情報とに基づいて、前記認識対象標識の種類を特定する、
請求項１又は２に記載の標識認識システム。

【請求項4】

前記地物特定手段は、前記標識認識手段が前記非認識対象標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することにより認識した前記非認識対象標識を、前記地物として特定し、
前記領域設定手段は、前記地物特定手段にて特定された前記非認識対象標識の位置に基づいて、当該非認識対象標識の周辺において前記認識対象標識が存在することが予測される領域である存在予測領域を設定し、
前記標識認識手段は、前記領域設定手段にて前記存在予測領域が設定された場合には、当該設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する、
請求項１から３のいずれか一項に記載の標識認識システム。

【請求項5】

標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、前記標識を認識する標識認識ステップを含む標識認識方法であって、
地物の位置を特定する地物特定ステップと、
前記地物特定ステップにおいて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定ステップと、
前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の位置とを、相互に対応させるための位置情報であって、上方、下方、左方、又は右方への標識サイズに対応した距離による、前記認識対象標識以外の標識である非認識対象標識に対する前記認識対象標識の相対的な位置又はこれらの組合せを特定する位置情報を取得する位置情報取得ステップと、をさらに含み、
前記地物は、前記非認識対象標識であり、
前記地物特定ステップにおいて、前記非認識対象標識の位置及び種類を特定し、
前記領域設定ステップにおいて、前記地物特定ステップにおいて特定された前記非認識対象標識の位置及び種類と、前記位置情報取得ステップにおいて取得された前記位置情報とに基づいて、前記存在予測領域を設定し、
前記標識認識ステップにおいて、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定ステップにおいて設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する、
標識認識方法。

【請求項6】

請求項５に記載の方法をコンピュータに実行させる標識認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、標識認識システム、標識認識方法、及び標識認識プログラムに関する。

【背景技術】

【0002】

従来、車両から道路上に設置された標識を撮影し、当該撮影した画像を利用して標識を画像認識する物体識別装置が提案されている（例えば、特許文献１参照）。この物体識別装置は、カメラによって撮影された画像から標識の外枠を抽出し、この抽出された標識の外枠が所定形状に該当するか否かを判定する。そして、所定形状に該当する場合には、当該標識の外枠の内部から色の領域の位置関係を取得し、この取得した色の領域の位置関係が所定の標識パターンに該当する場合に、当該色の領域を標識候補領域として特定する。そして、この標識候補領域と、記憶部から選択されたマッチング対象となる標識とを用いてマッチングを行い、マッチングスコアが閾値以上であった場合に、この標識候補領域をマッチング対象に対応する標識として認識する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−１６０１１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の如き従来の装置においては、カメラによって撮影された画像において、標識の外枠と背景との色合いや輝度が酷似している等の理由によって、標識の外枠と背景とのコントラストがとれないことにより、標識の外枠を抽出できない場合があった。このような場合には、上記標識候補領域の特定や、上記標識候補領域とマッチング対象とのマッチングを行うことができないので、カメラによって撮影された画像から標識を認識することができなかった。

【0005】

本発明は、上記に鑑みてなされたものであって、標識の外枠を認識し難い状況においても、標識を確実に認識することが可能となる、標識認識システム、標識認識方法、及び標識認識プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、請求項１に記載の標識認識システムは、標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、前記標識を認識する標識認識手段を備える標識認識システムであって、地物の位置を特定する地物特定手段と、前記地物特定手段にて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定手段と、前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の位置とを、相互に対応させるための位置情報であって、上方、下方、左方、又は右方への標識サイズに対応した距離による、前記認識対象標識以外の標識である非認識対象標識に対する前記認識対象標識の相対的な位置又はこれらの組合せを特定する位置情報を取得する位置情報取得手段と、をさらに備え、前記地物は、前記非認識対象標識であり、前記地物特定手段は、前記非認識対象標識の位置及び種類を特定し、前記領域設定手段は、前記地物特定手段にて特定された前記非認識対象標識の位置及び種類と、前記位置情報取得手段にて取得された前記位置情報とに基づいて、前記存在予測領域を設定し、前記標識認識手段は、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定手段により設定された前記存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する。

【0007】

請求項２に記載の標識認識システムは、請求項１に記載の標識認識システムにおいて、前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の種類とを、相互に対応させるための種類情報を取得する種類情報取得手段を備え、前記地物特定手段は、前記非認識対象標識の位置及び種類を特定し、前記標識認識手段は、前記地物特定手段にて特定された前記非認識対象標識の種類と、前記種類情報取得手段にて取得された種類情報とに基づいて、前記認識対象標識の種類を特定する。

【0008】

請求項３に記載の標識認識システムは、請求項１又は２に記載の標識認識システムにおいて、当該標識認識システムが設置された車両の走行環境と、当該走行環境において当該車両の周辺に存在することが予測される前記認識対象標識の種類とを、相互に対応させるための環境情報を取得する環境情報取得手段と、前記走行環境を特定する走行環境特定手段と、を備え、前記標識認識手段は、前記走行環境特定手段にて特定された走行環境と、前記環境情報取得手段にて取得された環境情報とに基づいて、前記認識対象標識の種類を特定する。

【0009】

請求項４に記載の標識認識システムは、請求項１から３のいずれか一項に記載の標識認識システムにおいて、前記地物特定手段は、前記標識認識手段が前記非認識対象標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することにより認識した前記非認識対象標識を、前記地物として特定し、前記領域設定手段は、前記地物特定手段にて特定された前記非認識対象標識の位置に基づいて、当該非認識対象標識の周辺において前記認識対象標識が存在することが予測される領域である存在予測領域を設定し、前記標識認識手段は、前記領域設定手段にて前記存在予測領域が設定された場合には、当該設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する。

【0010】

請求項５に記載の標識認識方法は、標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、前記標識を認識する標識認識ステップを含む標識認識方法であって、地物の位置を特定する地物特定ステップと、前記地物特定ステップにおいて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定ステップと、前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の位置とを、相互に対応させるための位置情報であって、上方、下方、左方、又は右方への標識サイズに対応した距離による、前記認識対象標識以外の標識である非認識対象標識に対する前記認識対象標識の相対的な位置又はこれらの組合せを特定する位置情報を取得する位置情報取得ステップと、をさらに含み、前記地物は、前記非認識対象標識であり、前記地物特定ステップにおいて、前記非認識対象標識の位置及び種類を特定し、前記領域設定ステップにおいて、前記地物特定ステップにおいて特定された前記非認識対象標識の位置及び種類と、前記位置情報取得ステップにおいて取得された前記位置情報とに基づいて、前記存在予測領域を設定し、前記標識認識ステップにおいて、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定ステップにおいて設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する。

【0011】

請求項６に記載の標識認識プログラムは、請求項５に記載の方法をコンピュータに実行させる標識認識プログラムである。

【発明の効果】

【0014】

請求項１に記載の標識認識システム、請求項５に記載の標識認識方法、及び請求項６に記載の標識認識プログラムによれば、標識認識手段は、認識対象標識の外枠を画像認識することができない場合には、領域設定手段により設定された存在予測領域の内部における記号を画像認識することで、認識対象標識を認識するので、認識対象標識の外形を認識し難い状況においても、認識対象標識を確実に認識することが可能になり、認識対象標識の認識精度を向上させることができる。
また、領域設定手段は、地物特定手段にて特定された地物の位置及び種類と、位置情報取得手段にて取得された位置情報とに基づいて、存在予測領域を設定するので、存在予測領域を一層正確に設定することが可能になり、認識対象標識の認識精度を一層向上させることができる。
また、地物は、認識対象標識以外の標識である非認識対象標識であるので、非認識対象標識以外の地物に比べて、存在予測領域を正確に設定することが可能になり、認識対象標識の認識精度をさらに一層向上させることができる。

【0016】

請求項２に記載の標識認識システムによれば、標識認識手段は、地物特定手段にて特定された地物の種類と、種類情報取得手段にて取得された種類情報とに基づいて、認識対象標識の種類を特定するので、例えば、記号を画像認識するためのロジックが複数設けられている場合でも、特定された認識対象標識の種類に応じたロジックを選択して処理することができ、認識対象標識を一層正確に認識することが可能になる。

【0017】

請求項３に記載の標識認識システムによれば、標識認識手段は、走行環境特定手段にて特定された走行環境と、環境情報取得手段にて取得された環境情報とに基づいて、認識対象標識の種類を特定するので、自車の走行環境に応じた認識対象標識を様々な状況に合わせて選択することができ、例えば、記号を画像認識するためのロジックが複数設けられている場合でも、特定された認識対象標識の種類に応じたロジックを選択して処理することができ、認識対象標識を一層正確に認識することが可能になる。

【0019】

請求項４に記載の標識認識システムによれば、地物特定手段は、標識認識手段が非認識対象標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することにより認識した非認識対象標識を、地物として特定し、領域設定手段は、地物特定手段としての標識認識手段にて特定された非認識対象標識の位置に基づいて、当該非認識対象標識の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定し、標識認識手段は、領域設定手段にて存在予測領域が設定された場合には、当該設定された存在予測領域の内部における記号を画像認識することで、認識対象標識を認識するので、認識された非認識対象標識の位置に基づいて存在予測領域を設定することができ、存在予測領域をさらに一層正確に設定することが可能になる。

【図面の簡単な説明】

【0020】

【図1】本実施の形態に係る標識認識システムを例示するブロック図である。

【図2】標識関連情報の構成例を示す図である。

【図3】環境情報の構成例を示す図である。

【図4】標識認識処理のフローチャートである。

【図5】存在予測領域のパターンを例示した図である。

【図6】存在予測領域のパターンを例示した図である。

【図7】存在予測領域設定処理のフローチャートである。

【図8】存在予測領域のパターンを例示した図である。

【図9】存在予測領域のパターンを例示した図である。

【図10】存在予測領域のパターンを例示した図である。

【図11】存在予測領域のパターンを例示した図である。

【発明を実施するための形態】

【0021】

以下、本発明に係る標識認識システム、標識認識方法、及び標識認識プログラムの実施の形態について図面を参照しつつ詳細に説明する。ただし、この実施の形態によって本発明が限定されるものではない。なお、本発明に係る標識認識システム、標識認識方法、及び標識認識プログラムの適用対象は任意であるが、例えば、車載用ナビゲーション装置や携帯用ナビゲーション装置に適用することが考えられる。以下の本実施の形態では、標識認識システムが車載用ナビゲーション装置（以下、ナビゲーション装置と称する）として構成された場合を例に挙げて説明する。

【0022】

（構成）
まず、本実施の形態に係る標識認識システムの構成を説明する。図１は、本実施の形態に係る標識認識システムを例示するブロック図である。図１に示すように、標識認識システム１は、カメラ１０、操作部２０、ディスプレイ３０、スピーカ４０、及び標識認識装置５０を備えている。ここで、「標識」とは、車両の走行を案内するための標識であって、所定形状の外枠の内側に、案内に対応した所定の記号（例えば文字や図形）を表示することによって構成されており、一時停止等を案内する「道路標識」や、一時停止の時間帯等を案内する「補助標識」等を含む概念である。なお、以下において、標識の「外枠形状」とは、標識を構成する板状体の外縁の形状と、この板状体の表面にペイントされた枠線の形状とを含む。

【0023】

（構成−カメラ）
カメラ１０は、自己の車両（以下、自車と称する）の前方を撮影する撮影手段である。このカメラ１０は、例えば自車の前端部に少なくとも１台設置され、自車の前方を撮影する。カメラ１０が撮影した画像データ（例えば２次元の画像データ等）は、制御部６０に入力される。なお、カメラ１０の具体的な構成は任意で、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の公知の撮像素子、及びレンズやプリズム等の公知の光学系部品を用いて構成されている。

【0024】

（構成−操作部）
操作部２０は、ユーザによる操作入力を受け付ける操作手段である。この操作手段としては、例えば、タッチパネル、リモートコントローラの如き遠隔操作手段、あるいはハードスイッチ等、公知の操作手段を用いることができる。

【0025】

（構成−ディスプレイ）
ディスプレイ３０は、制御部６０の制御に基づいて各種の画像を表示する表示手段である。このディスプレイ３０としては、例えば、公知の液晶ディスプレイや有機ＥＬディスプレイの如きフラットパネルディスプレイを用いることができる。

【0026】

（構成−スピーカ）
スピーカ４０は、制御部６０の制御に基づいて各種の音声を出力する出力手段である。スピーカ４０より出力される音声の具体的な態様は任意であり、必要に応じて生成された合成音声や、予め録音された音声を出力することができる。

【0027】

（構成−標識認識装置）
標識認識装置５０は、標識を画像認識するための装置であり、制御部６０、及びデータ記録部７０を備えている。

【0028】

（構成−標識認識装置−制御部）
制御部６０は、標識認識装置５０を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである。特に、本実施の形態に係る標識認識プログラムは、任意の記録媒体又はネットワークを介して標識認識システム１にインストールされることで、制御部６０の各部を実質的に構成する。尚、本実施の形態では、標識認識システムとしてナビゲーション装置を適用しているため、制御部６０もナビゲーション装置のコンピュータである。従って、図示されてはいないが、ナビゲーション装置において周知である現在地の検出、施設検索、ルート探索、及びルート案内などの機能も備えている。無論、これらの機能において必要なセンサ類（例えば、ＧＰＳやジャイロセンサ、速度センサなど）やデータ類（地図データベース、施設データベースなど）も図示されていないが備えている。

【0029】

この制御部６０は、機能概念的に、情報取得部６１、画像認識部６２、及び案内部６３を備えている。

【0030】

情報取得部６１は、標識に関する情報を取得するための情報取得手段である。本実施の形態において、情報取得部６１は、標識に関する情報を後述する標識基本情報テーブル７１、後述する標識関連情報テーブル７２、又は後述する環境情報テーブル７３から取得するが、この情報の取得の具体的な方法は任意に変更することができる。例えば、標識認識システム１にインターネットの如きネットワークと通信を行う通信手段を持たせ、情報取得部６１は、必要に応じてこの通信手段を介して、車両の外部のサーバから取得してデータ記録部７０に揮発的又は不揮発的に記録するようにしてもよい。すなわち、標識に関する情報の少なくとも一部は、いわゆるオフラインとオンラインのいずれの方法で入手されてもよい。

【0031】

この情報取得部６１は、さらに、位置情報取得部６１ａと、種類情報取得部６１ｂと、環境情報取得部６１ｃとを備えている。位置情報取得部６１ａは、後述する位置情報を取得するための位置情報取得手段である。種類情報取得部６１ｂは、後述する種類情報を取得するための種類情報取得手段である。環境情報取得部６１ｃは、後述する環境情報を取得するための環境情報取得手段である。

【0032】

画像認識部６２は、カメラ１０によって撮影された画像に関する画像認識を行う画像認識手段である。

【0033】

この画像認識部６２は、さらに、走行環境特定部６２ａと、標識認識部６２ｂと、地物特定部６２ｃと、領域設定部６２ｄとを備えている。走行環境特定部６２ａは、自車の走行環境を特定する走行環境特定手段である。ここで、「走行環境」とは、自車が走行している周辺の環境、又はユーザに対する運転支援の環境を意味するものであり、例えば、道路環境（例えば地域、道路の種類等）や、ナビゲーション装置による走行経路案内が行われている場合におけるサービス（例えば、一時停止の標識が検出された旨を知らせる一時停止支援モードや、最高速度の標識又は追越し禁止の標識が検出された旨を知らせる高速走行モード等）の環境等を含む概念である。標識認識部６２ｂは、標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、標識を認識する標識認識手段である。ここで、「標識認識部にて認識される標識」としては、認識対象標識と非認識対象標識とに大別される。「認識対象標識」とは、認識の対象として特定された標識を意味し、例えば走行環境特定部６２ａにて特定された走行環境に対応する標識や、操作部２０を介してユーザによって設定された標識等を含む概念である。より具体的には、ナビゲーション装置において、走行環境に応じてサービスが対応付けられている場合、現在の走行環境に対応するサービスを行うための標識が、「認識対象標識」である。例えば、現在の走行環境が、車両が交差点から所定距離以内に位置している状況である場合、この走行環境に対しては一時停止を案内することがサービスとして対応付けられており、この場合における「認識対象標識」は一時停止である。また、「非認識対象標識」とは、認識対象標識以外の標識を意味する。地物特定部６２ｃは、地物の位置を特定する地物特定手段である。ここで、「地物」とは、道路又はその周辺に存在する物であって、後述する認識対象標識以外のものを意味し、例えば、非認識対象標識、信号、横断歩道等を含む概念である（なお、本実施の形態では、地物が非認識対象標識である場合について説明する）。領域設定部６２ｄは、地物特定部６２ｃにて特定された非認識対象標識の位置に基づいて、存在予測領域を設定する領域設定手段である。ここで、「存在予測領域」とは、非認識対象標識の周辺において認識対象標識が存在することが予測される領域を意味する。なお、本実施の形態では、上述したように、地物を非認識対象標識として説明するので、標識認識部６２ｂ及び地物特定部６２ｃは、標識の画像認識機能を兼ね備えるものとする。

【0034】

案内部６３は、標識認識部６２ｂにて認識対象標識が認識された旨を出力手段としてのディスプレイ３０又はスピーカ４０を介してユーザに案内するための制御を行う案内手段である。これらの制御部６０の各構成要素によって実行される処理の詳細については後述する。

【0035】

（構成−標識認識装置−データ記録部）
データ記録部７０は、標識認識装置５０の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記録装置としてのハードディスク（図示省略）を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。

【0036】

また、図１に示すように、このデータ記録部７０は、標識基本情報テーブル７１、標識関連情報テーブル７２、及び環境情報テーブル７３を備えている。

【0037】

標識基本情報テーブル７１は、標識基本情報を格納する標識基本情報格納手段である。ここで、「標識基本情報」は、標識を特定するのに必要な基本情報を意味し、例えば種別データ（例えば、一時停止、最高速度、駐車禁止等の標識の種別を示す情報等）、外枠形状データ（例えば、標識の外枠形状を示す画像等）、記号データ（例えば、標識の外枠の内部における記号を示す画像等）がそれぞれ対応付けられて構成されている。

【0038】

標識関連情報テーブル７２は、標識関連情報を格納する標識関連情報格納手段である。ここで、「標識関連情報」は、認識対象標識と非認識対象標識との関連を示す情報を意味する。図２は、標識関連情報の構成例を示す図である。図２に示すように、標識関連情報は、項目「非認識対象標識の種類」、項目「認識対象標識の種類」、項目「相対的な位置」と、各項目に対応する情報とを、相互に関連付けて構成されている。項目「非認識対象標識の種類」に対応して格納される情報は、非認識対象標識の種類を特定する非認識対象標識種類情報である。項目「認識対象標識の種類」に対応して格納される情報は、認識対象標識の種類を特定する認識対象標識種類情報である（後述する環境情報テーブル７３の項目「認識対象標識の種類」に対応して格納される情報も同様とする）。項目「相対的な位置」に対応して格納される情報は、非認識対象標識に対する認識対象標識の相対的な位置を特定する相対的位置情報である。即ち、道路上に設置される複数の標識は互いに規則性をもって設置されている場合があり、「標識関連情報」はこの規則性に基づいて生成されている。例えば、横断歩道の標識が設置されている場合、その周辺には、一時停止、最高速度、及び／又は、駐車禁止の標識が設置されている可能性があるという種類的な規則性や、一時停止の標識であれば、横断歩道の標識の上下どちらかに、駐車禁止の標識であれば、横断歩道の標識の左右どちらかに設置されているという位置的な規則性などがある。このような規則性は、法令などにより規定されているものや実際に設置されている状況を計測車両などにより調査した結果によるものなど、種々の方法により特定された規則性であればよい。なお、非認識対象標識種類情報と相対的位置情報とを相互に対応させた情報は、位置情報に対応する。また、非認識対象標識種類情報と認識対象標識種類情報と相互に対応させた情報は、種類情報に対応する。

【0039】

環境情報テーブル７３は、環境情報を格納する環境情報格納手段である。ここで、「環境情報」とは、走行環境と認識対象標識の種類とを相互に対応させた情報である。図３は、環境情報の構成例を示す図である。図３に示すように、環境情報は、項目「走行環境」、項目「認識対象標識の種類」と、各項目に対応する情報とを、相互に関連付けて構成されている。項目「走行環境」に対応して格納される情報は、走行環境を特定する走行環境情報である。この環境情報は、上述のように、ナビゲーション装置において走行環境に応じたサービスが行われる場合における、「走行環境」と、これに対応する「認識対象標識」とが相互に対応付けて生成される。

【0040】

（処理）
次に、このように構成される標識認識システム１によって実行される標識認識処理について説明する。図４は、標識認識処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。図５、図６は、存在予測領域のパターンを例示した図である。この標識認識処理は、認識対象標識を画像認識するための処理であり、例えば標識認識システム１への電源投入後に所定周期にて繰り返し実行される。なお、以下の処理の説明において、制御主体を特記しない処理については、制御部６０にて実行されるものとし、情報の取得元や取得経路を特記しない場合については、公知のタイミング及び公知の方法にて、データ記録部７０に予め格納されており、あるいは、操作部２０を介してユーザ等によって入力されるものとする。

【0041】

標識認識処理が起動されると、図４に示すように、認識対象標識の種類を特定するために、制御部６０は、ＳＡ１〜ＳＡ３の処理を行う。

【0042】

まず、画像認識部６２は、カメラ１０によって撮影された画像であって、自車の前方の画像を当該カメラ１０から取得する（ＳＡ１）。

【0043】

次に、走行環境特定部６２ａは、ナビゲーション装置から出力される信号に基づいて、走行環境を特定する（ＳＡ２）。具体的には、自車が走行している道路の地域又は種別を特定する情報を含む信号がナビゲーション装置から出力された場合、当該自車が走行している道路の地域又は種別を走行環境として特定する。あるいは、ナビゲーション装置による走行経路案内が行われている場合におけるサービスを特定する情報を含む信号が当該ナビゲーション装置から出力された場合、当該サービスを走行環境として特定する。図５の例では、自車が走行している道路の種別（例えば、細街路等）を特定する情報を含む信号がナビゲーション装置から出力された場合、走行環境＝細街路として特定される。尚、ナビゲーション装置においては、制御部６０において、図示しない現在位置検出部が検出した車両の現在地と、図示しない地図データベースに格納された情報とに基づいて、自車が走行している道路の地域又は種別を特定する情報を含む信号、及び／又は、ナビゲーション装置による走行経路案内が行われている場合におけるサービスを特定する情報を含む信号を出力する。

【0044】

図４に戻り、環境情報取得部６１ｃは、ＳＡ２にて特定された走行環境に基づいて、環境情報テーブル７３から環境情報を取得し、標識認識部６２ｂは、環境情報取得部６１ｃにて取得された環境情報に基づいて、認識対象標識の種類を特定する（ＳＡ３）。図５の例では、走行環境＝細街路であるので、認識対象標識の種類＝駐車禁止が特定される。

【0045】

図４に戻り、情報取得部６１は、ＳＡ３にて特定された認識対象標識の種類に基づいて、当該認識対象標識に対応する標識基本情報を標識基本情報テーブル７１から取得し、標識認識部６２ｂは、ＳＡ１にて取得された画像と、情報取得部６１にて取得された標識基本情報の外枠形状データとをマッチングすることにより、当該認識対象標識の外枠形状を検出したか否かを判定する（ＳＡ４）。具体的には、ＳＡ１にて取得された画像から、公知の画像処理（例えばハフ変換等）により円形状又は矩形状の輪郭を有する形状が抽出され、当該抽出された形状と、情報取得部６１にて取得された標識基本情報の外枠形状データとのマッチングの度合い（以下、外枠照合度と称する）が閾値より高い場合、認識対象標識の外枠形状が検出されたと判定される。一方、上記円形状又は矩形状の輪郭を有する形状が抽出されず、又は抽出されても上記外枠照合度が閾値より低い場合、認識対象標識の外枠形状が検出されなかったと判定される（なお、後述するＳＢ１の処理についても同様とする）。図５の例では、ＳＡ１にて取得された画像における駐車禁止の外枠と背景とのコントラストがとれないことにより、上記外枠照合度が閾値より低いため、認識対象標識の外枠形状が検出されなかったと判定される。

【0046】

図４に戻り、認識対象標識の外枠形状が検出されたと判定された場合（ＳＡ４、Ｙｅｓ）、ＳＡ１にて取得された画像内に認識対象標識が存在する可能性が高いとして、画像認識部６２は、ＳＡ１にて取得された画像に基づいて、第１の読取領域を設定する（ＳＡ５）。ここで、「第１の読取領域」は、認識対象標識の外枠の内部における記号を読み取るための領域を意味する。具体的には、ＳＡ１にて取得された画像のうち、認識対象標識の外枠によって囲まれた範囲内の領域が、第１の読取領域として設定される。

【0047】

一方、認識対象標識の外枠形状が検出されなかったと判定された場合（ＳＡ４、Ｎｏ）、実際には、ＳＡ１にて取得された画像に当該認識対象標識が存在している可能性があるため、この認識対象標識を確実に認識することが可能となるように、制御部６０は、存在予測領域設定処理を起動する（ＳＡ６）。

【0048】

（処理−存在予測領域設定処理）
次に、存在予測領域設定処理について説明する。図７は、存在予測領域設定処理のフローチャートである。存在予測領域設定処理は、存在予測領域を設定するための処理である。

【0049】

図７に示すように、まず、情報取得部６１は、標識基本情報を標識基本情報テーブル７１から取得し、標識認識部６２ｂは、ＳＡ１にて取得された画像と、情報取得部６１にて取得された標識基本情報の外枠形状データとをマッチングすることにより、非認識対象標識の外枠形状を検出したか否かを判定する（ＳＢ１）。この処理では、標識基本情報の外枠形状データのうち、認識対象標識の種類に対応する外枠形状データ以外の外枠形状データを取得し、当該取得した外枠形状データのそれぞれについて、ＳＡ１にて取得された画像から抽出された外枠形状のうち、外枠照合度が閾値より高い外枠形状があるかを判定する。図５の例では、ＳＡ１にて取得された画像から抽出された外枠形状と、標識基本情報の外枠形状データのうちの略五角形状の輪郭を有する外枠形状との外枠照合度が閾値より高いため、非認識対象標識の外枠形状が検出されたと判定される。

【0050】

図７に戻り、非認識対象標識の外枠形状が検出されなかったと判定された場合（ＳＢ１、Ｎｏ）、非認識対象標識の位置が不明のために、存在予測領域の設定ができないことから、認識対象標識を認識することが困難であるとして、制御部６０は、存在予測領域設定処理を終了し、図４の標識認識処理を終了する。

【0051】

一方、非認識対象標識の外枠形状が検出されたと判定された場合（ＳＢ１、Ｙｅｓ）、画像認識部６２は、ＳＡ１にて取得された画像と、ＳＢ１にて検出された非認識対象標識の外枠形状とに基づいて、第２の読取領域を設定する（ＳＢ２）。ここで、「第２の読取領域」は、非認識対象標識の外枠の内部における記号を読み取るための領域を意味する。具体的には、ＳＡ１にて取得された画像のうち、ＳＢ１にて検出された非認識対象標識の外枠によって囲まれた範囲内の領域が、第２の読取領域に設定される。図５の例では、ＳＢ１にて抽出された略五角形状の外枠によって囲まれた範囲内の領域が、第２の読取領域に設定される。

【0052】

図７に戻り、標識認識部６２ｂは、ＳＢ２にて設定された第２の読取領域とＳＢ１にて取得された標識基本情報の記号データとをマッチングすることにより、非認識対象標識の外枠の内部における記号を検出したか否かを判定する（ＳＢ３）。具体的には、ＳＢ２にて設定された第２の読取領域と、ＳＢ１にて取得された標識基本情報のうちの記号データとのマッチングの度合い（以下、記号照合度と称する）が閾値より高い場合、非認識対象標識の外枠の内部における記号が検出されたと判定される。一方、上記記号照合度が閾値より低い場合、非認識対象標識の外枠の内部における記号が検出されなかったと判定される。図５の例において、ＳＢ２にて設定された第２の読取領域に存在する記号と、ＳＢ１にて取得された標識基本情報の記号データのうちの横断歩道の標識を示す記号との記号照合度が閾値より高い場合には、非認識対象標識の外枠の内部における記号が検出されたと判定される。

【0053】

図７に戻り、非認識対象標識の外枠の内部における記号が検出されなかった場合（ＳＢ３、Ｎｏ）、画像認識部６２は、ＳＢ３の処理に用いられた第２の読取領域以外の他の第２の読取領域があるか否かを判定する（ＳＢ４）。具体的には、ＳＢ１にて複数の非認識対象標識の外枠形状が検出されて、ＳＢ２にて複数の第２の読取領域が設定された場合において、未だＳＢ３の処理にて用いられていない第２の読取領域があった場合に、上記他の第２の読取領域があると判定される。一方、ＳＢ２にて設定された第２の読取領域が単数である場合、又はＳＢ２にて設定された複数の第２の読取領域の全てがＳＢ３の処理に用いられていない場合に、上記他の第２の読取領域がないと判定される。

【0054】

ここで、上記他の第２の読取領域があると判定された場合（ＳＢ４、Ｙｅｓ）、制御部６０は、ＳＢ３に移行し、非認識対象標識の外枠の内部における記号が検出されるまで、ＳＢ３、ＳＢ４の処理を繰り返す。一方、上記他の第２の読取領域がないと判定された場合（ＳＢ４、Ｎｏ）、非認識対象標識の種類が不明のために、仮に存在予測領域が設定されたとしても、認識対象標識を正確に認識することが困難であるとして、制御部６０は、存在予測領域設定処理を終了し、図４の標識認識処理を終了する。

【0055】

また、非認識対象標識の外枠の内部における記号が検出された場合（ＳＢ３、Ｙｅｓ）、制御部６０は、存在予測領域を設定するために、後述するＳＢ５〜ＳＢ７の処理を行う。

【0056】

まず、地物特定部６２ｃは、ＳＢ１、ＳＢ３の検出結果に基づいて非認識対象標識を特定する（ＳＢ５）。ここで、ＳＢ５における「非認識対象標識の特定」とは、非認識対象標識の位置、又は非認識対象標識の位置及び種類を特定することを意味する。図５の例では、ＳＢ１にて検出された非認識対象標識の外枠形状の位置に基づいて、非認識対象標識の位置＝図５の中央の位置が特定され、ＳＢ３にて検出された横断歩道の標識を示す記号に基づいて、非認識対象標識の種類＝横断歩道が特定される。

【0057】

図７に戻り、位置情報取得部６１ａは、ＳＢ４にて特定された非認識対象標識の位置及び種類に基づいて、位置情報を標識関連情報テーブル７２から取得し、領域設定部６２ｄは、位置情報取得部６１ａにて取得された位置情報に基づいて、存在予測領域を特定する（ＳＢ６）。そして、画像認識部６２は、ＳＢ６にて特定された存在予測領域を第１の読取領域として設定し（ＳＢ７）、その後、存在予測領域設定処理を終了する。ここで、この存在予測領域の特定については、例えば、非認識対象標識に対する認識対象標識の相対的な位置に、存在予測領域が特定されてもよい。具体的には、相対的位置情報＝左の位置の場合、非認識対象標識の左の位置に存在予測領域が特定される（なお、相対的位置情報＝右の位置、上の位置、下の位置についても同様とする）。また、相対的位置情報＝左上斜めの位置の場合、非認識対象標識の左上斜めの位置に存在予測領域が特定される（なお、相対的位置情報＝左下斜めの位置、右上斜めの位置、右下斜めの位置についても同様とする）。また、この存在予測領域の大きさについては、例えば、一般的な標識の外枠を包含する所定の大きさ及び所定の形状（図５の例では方形状）として設定される。図５の例では、標識関連情報テーブル７２に格納されている非認識対象標識の種類＝横断歩道に対応する位置情報のうち、ＳＡ３にて特定された認識対象標識の種類に対応する位置情報である、認識対象標識種類情報＝駐車禁止、相対的位置情報＝左の位置、及び右の位置に基づいて、非認識対象標識の左右の位置に存在予測領域Ｓ１が特定される（図５では、存在予測領域Ｓ１の境界線を点線で示す。なお、後述する存在予測領域Ｓ２〜Ｓ６の境界線についても同様とする。）。そして、この存在予測領域Ｓ１が第１の読取領域として設定される。あるいはこれに限られず、例えば、図６に示すように、図５の存在予測領域Ｓ１よりも左右の方向に沿って拡大された存在予測領域Ｓ２が特定され、当該存在予測領域Ｓ２が第１の読取領域として設定されてもよい。

【0058】

図４に戻り、ＳＡ５又はＳＡ６の処理後、標識認識部６２ｂは、ＳＡ５又はＳＢ６にて設定された第１の読取領域とＳＡ４にて取得された標識基本情報の記号データとをマッチングすることにより、認識対象標識の外枠の内部における記号を検出したか否かを判定する（ＳＡ７）。具体的には、ＳＡ５又はＳＢ６にて設定された第１の読取領域と、ＳＡ４にて取得された標識基本情報の記号データとの、記号照合度が閾値より高い場合、認識対象標識の外枠の内部における記号が検出されたと判定される。一方、上記記号照合度が閾値より低い場合、認識対象標識の外枠の内部における記号が検出されなかったと判定される。図５の例では、ＳＢ６にて設定された第１の読取領域に存在する記号と、ＳＡ４にて取得された標識基本情報の記号データのうちの駐車禁止の標識を示す記号との記号照合度が閾値より高いため、認識対象標識の外枠の内部における記号が検出されたと判定される。

【0059】

図４に戻り、認識対象標識の外枠の内部における記号が検出されたと判定された場合（ＳＡ７、Ｙｅｓ）、標識認識部６２ｂは、ＳＡ７の検出結果に基づいて認識対象標識を特定する（ＳＡ８）。図５の例では、ＳＡ７にて検出された駐車禁止の標識を示す記号に基づいて、認識対象標識＝駐車禁止が特定される。これにて標識認識処理を終了する。

【0060】

その後、ＳＡ８にて特定された認識対象標識に基づいて、所定の制御を行う。例えば、案内部６３は、ＳＡ８にて特定された認識対象標識を示すマークを、地図表示データに基づいて描画された地図に重畳して、ディスプレイ３０に表示させる。あるいは、認識対象標識が認識された旨をディスプレイ３０によって表示させたり、又はスピーカ４０によって音声出力させてもよい。

【0061】

一方、認識対象標識の外枠の内部における記号が検出されなかったと判定された場合（ＳＡ７、Ｎｏ）、画像認識部６２は、ＳＡ７の処理に用いられた第１の読取領域以外の他の第１の読取領域があるか否かを判定する（ＳＡ９）。具体的には、ＳＡ４にて複数の認識対象標識の外枠形状が検出されて、ＳＡ５にて複数の第１の読取領域が設定された場合において、未だＳＡ７の処理にて用いられていない第１の読取領域がある場合に、上記他の第１の読取領域があると判定される。一方、ＳＡ５にて設定された第１の読取領域が単数である場合、又はＳＡ５にて設定された複数の第１の読取領域の全てがＳＢ３の処理に用いられている場合に、上記他の第１の読取領域がないと判定される（ＳＢ６にて設定された第１の読取領域についても同様とする）。

【0062】

ここで、上記他の第１の読取領域があると判定された場合に（ＳＡ９、Ｙｅｓ）、制御部６０は、ＳＡ７に移行して、認識対象標識の外枠の内部における記号が検出されるまで、ＳＡ７、ＳＡ９の処理を繰り返す。

【0063】

一方、上記他の第１の読取領域がないと判定された場合（ＳＡ９、Ｎｏ）、例えば、ＳＡ１〜ＳＡ５、ＳＡ７の処理により認識対象標識を認識することができなかった場合に、ＳＡ６にて設定される存在予測領域に基づいてＳＡ７の処理が行えるように、画像認識部６２は、非認識対象標識の外枠形状が検出済みか否かを判定する（ＳＡ１０）。具体的には、すでにＳＢ１の処理がなされている場合、非認識対象標識の外枠形状が検出済みであると判定され、未だＳＢ１の処理がなされていない場合、非認識対象標識の外枠形状が検出済みでないと判定される。

【0064】

ここで、非認識対象標識の外枠形状が検出済みでないと判定された場合（ＳＡ１０、Ｎｏ）、存在予測領域処理を実行するために、制御部６０は、ＳＡ６に移行する。一方、非認識対象標識の外枠形状が検出済みであると判定された場合（ＳＡ１０、Ｙｅｓ）、認識対象標識が認識されなかったとして、制御部６０は、標識認識処理を終了する。

【0065】

また、この他にも、標識認識処理は、任意の認識対象標識を処理対象として処理可能である。図８〜図１１は、存在予測領域のパターンを例示した図である。

【0066】

図８に関して、例えば、一時停止支援モードに関するサービスが行われている場合、図４の標識認識処理では、ＳＡ１において、自車の前方の画像が取得された後、ＳＡ２において、走行環境＝一時停止支援モードであることが特定される。そして、この場合、ＳＡ３において、認識対象標識の種類＝一時停止が特定される。

【0067】

また、ＳＡ４において、ＳＡ１にて取得された画像における一時停止の外枠と背景とのコントラストがとれないことにより、上記外枠照合度が閾値より低いため、認識対象標識の外枠形状が検出されなかったと判定されると、その後ＳＡ６の処理が行われる。

【0068】

また、ＳＡ６の処理では、ＳＢ１において、ＳＡ１にて取得された画像から抽出された外枠形状と、標識基本情報の外枠形状データのうちの略五角形状の輪郭を有する外枠形状との外枠照合度が閾値より高いと判定されると、非認識対象標識の外枠形状が検出されたと判定される。そして、ＳＢ２において、ＳＢ１にて抽出された略五角形状の外枠によって囲まれた範囲内の領域が、第２の読取領域として設定される。

【0069】

また、ＳＢ３において、ＳＢ２にて設定された第２の読取領域に存在する記号と、ＳＢ１にて取得された標識基本情報の記号データのうちの横断歩道の標識を示す記号との記号照合度が閾値より高いと判定されると、非認識対象標識の外枠の内部における記号が検出されたと判定される。その後、図５の例と同様に、ＳＢ５において、非認識対象標識の位置＝図８の中央の位置が特定され、非認識対象標識の種類＝横断歩道が特定される。また、ＳＢ６において、位置情報を標識関連情報テーブル７２に格納されている非認識対象標識の種類＝横断歩道に対応する位置情報のうち、ＳＡ３にて特定された認識対象標識の種類に対応する位置情報である、認識対象標識種類情報＝一時停止、相対的位置情報＝上の位置、及び下の位置に基づいて、非認識対象標識の上下の位置に存在予測領域Ｓ３が特定される。あるいはこれに限られず、例えば、図９に示すように、非認識対象標識の上の位置に第１の補助標識が存在し、且つ当該非認識対象標識の下の位置に第２の補助標識が存在する場合には、非認識対象標識から間隔を隔てた位置であって、当該第１の補助標識よりもさらに上の位置と、当該第２の補助標識よりもさらに下の位置とに、存在予測領域Ｓ４が特定されてもよい（なお、補助標識が非認識対象標識の左の位置又は右の位置にある場合についても同様とする）。そして、ＳＢ７において、この存在予測領域Ｓ３が第１の読取領域として設定される。

【0070】

また、ＳＡ７において、ＳＢ６にて設定された第１の読取領域に存在する記号と、ＳＡ４にて取得された標識基本情報の記号データのうちの一時停止の標識を示す記号との記号照合度が閾値より高いため、認識対象標識の外枠の内部における記号が検出されたと判定される。そして、ＳＡ８において、ＳＡ７にて検出された一時停止の標識を示す記号に基づいて、認識対象標識＝一時停止が特定され、認識対象標識＝一時停止が認識された旨の案内がなされた後に、標識認識処理が終了される。

【0071】

また、図１０に関して、例えば、高速走行モードに関するサービスが行われている場合、図４の標識認識処理では、ＳＡ１において、自車の前方の画像が取得された後、ＳＡ２において、走行環境＝高速走行モードであることが特定される。そして、この場合、ＳＡ３において、認識対象標識の種類＝最高速度、追越し禁止が特定される。

【0072】

また、ＳＡ４において、ＳＡ１にて取得された画像における最高速度の外枠と背景とのコントラストがとれず、また当該画像中に追越し禁止がないことにより、上記外枠照合度が閾値より低いため、認識対象標識の外枠形状が検出されなかったと判定されると、その後ＳＡ６の処理が行われる。

【0073】

また、ＳＡ６の処理では、ＳＢ１において、ＳＡ１にて取得された画像から抽出された外枠形状と、標識基本情報の外枠形状データのうちの略五角形状の輪郭を有する外枠形状との外枠照合度が閾値より高いと判定されると、非認識対象標識の外枠形状が検出されたと判定される。そして、ＳＢ２において、ＳＢ１にて抽出された略五角形状の外枠によって囲まれた範囲内の領域が、第２の読取領域として設定される。

【0074】

また、ＳＢ３において、ＳＢ２にて設定された第２の読取領域に存在する記号と、ＳＢ１にて取得された標識基本情報の記号データのうちの横断歩道の標識を示す記号との記号照合度が閾値より高いと判定されると、非認識対象標識の外枠の内部における記号が検出されたと判定される。その後、ＳＢ５において、非認識対象標識の位置＝図１０の中央の位置が特定され、非認識対象標識の種類＝横断歩道が特定される。また、ＳＢ６において、標識関連情報テーブル７２に格納されている非認識対象標識の種類＝横断歩道に対応する位置情報のうち、ＳＡ３にて特定された認識対象標識の種類に対応する位置情報である、認識対象標識種類情報＝最高速度、相対的位置情報＝左の位置、上の位置、及び左上斜めの位置と、ＳＡ３にて特定された認識対象標識の種類＝追越し禁止の位置が不明であることに基づいて、非認識対象標識の周囲を囲む位置に存在予測領域Ｓ５が特定される。あるいはこれに限られず、例えば、図１１に示すように、上記ＳＡ３にて特定された認識対象標識の種類に対応する位置情報である、認識対象標識種類情報＝最高速度、相対的位置情報＝左の位置、上の位置、及び左上斜めの位置に基づいて、非認識対象標識の左の位置、上の位置、及び左上斜めの位置に、存在予測領域Ｓ６が特定されてもよい。そして、ＳＢ７において、この存在予測領域Ｓ５が第１の読取領域として設定される。

【0075】

また、ＳＡ７において、ＳＢ６にて設定された第１の読取領域とＳＡ４にて取得された標識基本情報の記号データとをマッチングすることにより、認識対象標識の外枠の内部における記号が検出されたか否かが判定される。ここで、この第１の読取領域と標識基本情報の記号データとのマッチングについては、例えば、ＳＡ３にて複数の認識対象標識の種類が特定されている場合において、標識認識部６２ｂは、ＳＡ４にて取得された複数の標識基本情報の記号データと、この第１の読取領域とをそれぞれマッチングしてよい。あるいは、種類情報取得部６１ｂは、ＳＢ５にて特定された非認識対象標識の種類に基づいて、種類情報を取得し、標識認識部６２ｂは、種類情報取得部６１ｂにて取得された種類情報（特に認識対象標識種類情報）に対応する認識対象標識の種類の標識基本情報の記号データと、第１の読取領域とをマッチングしてもよい。これにより、ＳＡ７において、記号を画像認識するためのロジックが複数設けられている場合でも、特定された認識対象標識の種類に応じたロジックを選択して処理することができ、認識対象標識を一層正確に認識することが可能になる。図１０の例では、非認識対象標識の種類＝横断歩道に対応する種類情報が取得され、当該取得された種類情報に対応する認識対象標識の種類（例えば最高速度の標識）の標識基本情報の記号データと、ＳＢ６にて設定された第１の読取領域に存在する記号とがマッチングされる。そして、これらのマッチングの記号照合度が閾値より高いため、認識対象標識の外枠の内部における記号が検出されたと判定される。

【0076】

そして、ＳＡ８において、ＳＡ７にて検出された最高速度の標識を示す記号に基づいて、認識対象標識＝最高速度が特定され、認識対象標識＝最高速度が認識された旨の案内がなされた後に、標識認識処理が終了される。

【0077】

（効果）
このように本実施の形態によれば、標識認識部６２ｂは、認識対象標識の外枠を画像認識することができない場合であっても、領域設定部６２ｄにより設定された存在予測領域の内部における記号を画像認識することで、認識対象標識を認識するので、認識対象標識の外形を認識し難い状況においても、認識対象標識を確実に認識することが可能になり、認識対象標識の認識精度を向上させることができる。また、取得した画像内の領域の全てに対して、標識の内部における記号を画像認識する場合と比較して、処理負荷を低減することができる。

【0078】

また、領域設定部６２ｄは、地物特定部６２ｃにて特定された非認識対象標識の位置及び種類と、位置情報取得部６１ａにて取得された位置情報とに基づいて、存在予測領域を設定するので、存在予測領域を一層正確に設定することが可能になり、認識対象標識の認識精度を一層向上させることができる。

【0079】

また、標識認識部６２ｂは、走行環境特定部６２ａにて特定された走行環境と、環境情報取得部６１ｃにて取得された環境情報とに基づいて、認識対象標識の種類を特定するので、自車の走行環境に応じた認識対象標識を様々な状況に合わせて選択することができ、一層適切な認識対象標識を認識することができる。

【0080】

また、地物特定部６２ｃは、標識認識部６２ｂが非認識対象標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することにより認識した非認識対象標識を、地物として特定し、領域設定部６２ｄは、当該特定された非認識対象標識の位置に基づいて、当該非認識対象標識の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定し、標識認識部６２ｂは、領域設定部６２ｄにて存在予測領域が設定された場合には、当該設定された存在予測領域の内部における記号を画像認識することで、認識対象標識を認識するので、正確に認識された非認識対象標識の位置に基づいて存在予測領域を設定することができ、存在予測領域をさらに一層正確に設定することが可能になる。

【0081】

〔実施の形態に対する変形例〕
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。

【0082】

（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏することがある。例えば、標識認識部６２ｂが従来より認識対象標識を正確に認識できない場合であっても、認識対象標識の認識を従来とは異なる技術により従来と同様に達成できている場合には、本願発明の課題が解決されている。

【0083】

（分散や統合について）
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散や統合して構成できる。例えば、標識認識システム１の各構成要素の一部を端末に配置すると共に、標識認識システム１の各構成要素の他の一部をサーバに配置して、これら端末とサーバを任意のネットワークを介して相互に接続してもよい。また、制御部６０に備えられたＣＰＵがカメラＣＰＵと、ナビＣＰＵとを備えて構成されている場合に、例えば制御部６０の各構成要素の一部をカメラＣＰＵに配置し、制御部６０の各構成要素の他の一部をナビＣＰＵに配置してもよい。

【0084】

（カメラについて）
上記の実施の形態では、カメラ１０は、自車の前方を撮影すると説明したが、自車の前方以外の方向を撮影してもよく、例えば、自車の後方、右方、又は左方を撮影してもよい。あるいは、自車の前方、後方、右方、左方のすべてを撮影してもよい。

【0085】

（標識認識処理について）
上記の実施の形態では、認識対象標識の種類を特定するために、ＳＡ１〜ＳＡ３の処理が行われると説明したが、認識の対象として特定された標識であればよいので、例えば、これらＳＡ１〜ＳＡ３の処理に代えて、操作部２０を介してユーザによって設定された標識の種類が、対象認識標識の種類として特定されてもよい。

【0086】

また、上記の実施の形態では、ＳＡ１〜ＳＡ５、ＳＡ７、ＳＡ８の処理が行われることにより、認識対象標識が特定された場合には、ＳＡ６の処理が行われることなく、標識認識処理が終了すると説明したが、例えば、ＳＡ１〜ＳＡ５、ＳＡ７、ＳＡ８の処理後、ＳＡ６に移行して、ＳＡ６〜ＳＡ１０の処理が行われてもよい。これにより、例えば、ＳＡ１にてカメラ１０にて撮影された画像に基づく認識対象標識の画像認識を行うことができた場合であっても、認識対象標識の外枠及び当該外枠の内部の記号を画像認識することで特定される認識対象標識と、非認識対象標識との位置や種類との関係から特定される認識対象標識との整合性があるか否かを判定し、整合性があると判定された場合にのみ、カメラ１０にて撮影された画像に基づく認識対象標識の画像認識結果を正しいものと判定することにより、認識対象標識の認識精度を一層向上させることができる。

【0087】

（存在予測領域処理について）
上記の実施の形態では、ＳＢ１において、非認識対象標識の外枠形状が検出されたか否かを判定されると説明したが、例えば非認識対象標識以外の地物の外枠形状、あるいは非認識対象標識及び非認識対象標識以外の地物の外枠形状が検出されてもよい。この場合において、例えば、ＳＢ２〜ＳＢ４の処理が省略され、ＳＢ５において、ＳＢ１の検出結果に基づいて非認識対象標識以外の地物が特定される。そして、ＳＢ６において、ＳＢ５にて特定された非認識対象標識以外の地物の位置に基づいて、存在予測領域が特定される。

【0088】

また、上記の実施の形態では、非認識対象標識を特定するために、ＳＢ１〜ＳＢ５の処理が行われると説明したが、例えば、ＳＢ２〜ＳＢ４の処理を省略してもよい。この場合において、ＳＢ５において、ＳＢ１にて検出された非認識対象標識の外枠形状に基づいて、非認識対象標識の位置が特定され、当該特定された非認識対象標識の位置以外の位置に、存在予測領域が設定される（例えば、非認識対象標識の位置が画像の中央の位置である場合には、非認識対象標識の上下の位置、左右の位置、又は左右斜めの位置に、存在予測領域が設定される）。

【0089】

また、上記の実施の形態では、ＳＢ１〜ＳＢ７の処理にて、非認識対象標識＝道路標識とした場合の存在予測領域の設定について説明したが、これに限られない。例えば、標識基本情報として、道路標識の情報に加えて補助標識の情報も含めておく。そして、ＳＢ１〜ＳＢ５において、道路標識に加えて、補助標識も非認識対象標識として特定された場合に、ＳＢ６、ＳＢ７において、道路標識から補助標識の所定形状分だけ間隔を空けた位置に、存在予測領域が設定されて、当該存在予測領域が第１の読取領域として設定される。
（付記）
付記１の標識認識システムは、標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、前記標識を認識する標識認識手段を備える標識認識システムであって、地物の位置を特定する地物特定手段と、前記地物特定手段にて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定手段と、をさらに備え、前記標識認識手段は、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定手段により設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する。
付記２の標識認識システムは、付記１に記載の標識認識システムにおいて、前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の位置とを、相互に対応させるための位置情報を取得する位置情報取得手段を備え、前記地物特定手段は、前記地物の位置及び種類を特定し、前記領域設定手段は、前記地物特定手段にて特定された地物の位置及び種類と、前記位置情報取得手段にて取得された位置情報とに基づいて、前記存在予測領域を設定する。
付記３の標識認識システムは、付記１又は２に記載の標識認識システムにおいて、前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の種類とを、相互に対応させるための種類情報を取得する種類情報取得手段を備え、前記地物特定手段は、前記地物の位置及び種類を特定し、前記標識認識手段は、前記地物特定手段にて特定された地物の種類と、前記種類情報取得手段にて取得された種類情報とに基づいて、前記認識対象標識の種類を特定する。
付記４の標識認識システムは、付記１から３のいずれか一項に記載の標識認識システムにおいて、当該標識認識システムが設置された車両の走行環境と、当該走行環境において当該車両の周辺に存在することが予測される前記認識対象標識の種類とを、相互に対応させるための環境情報を取得する環境情報取得手段と、前記走行環境を特定する走行環境特定手段とを備え、前記標識認識手段は、前記走行環境特定手段にて特定された走行環境と、前記環境情報取得手段にて取得された環境情報とに基づいて、前記認識対象標識の種類を特定する。
付記５の標識認識システムは、付記１から４のいずれか一項に記載の標識認識システムにおいて、前記地物は、認識対象標識以外の標識である非認識対象標識である。
付記６の標識認識システムは、付記５に記載の標識認識システムにおいて、前記地物特定手段は、前記標識認識手段が前記非認識対象標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することにより認識した前記非認識対象標識を、前記地物として特定し、前記領域設定手段は、前記地物特定手段にて特定された前記非認識対象標識の位置に基づいて、当該前記非認識対象標識の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定し、前記標識認識手段は、前記領域設定手段にて前記存在予測領域が設定された場合には、当該設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する。
付記７の標識認識方法は、標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、前記標識を認識する標識認識ステップを含む標識認識方法であって、地物の位置を特定する地物特定ステップと、前記地物特定ステップにおいて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定ステップと、をさらに含み、前記標識認識ステップにおいて、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定ステップにおいて設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する。
付記８の標識認識プログラムは、付記７に記載の方法をコンピュータに実行させる標識認識プログラムである。
（付記の効果）
付記１に記載の標識認識システム、請求項７に記載の標識認識方法、及び請求項８に記載の標識認識プログラムによれば、標識認識手段は、認識対象標識の外枠を画像認識することができない場合には、領域設定手段により設定された存在予測領域の内部における記号を画像認識することで、認識対象標識を認識するので、認識対象標識の外形を認識し難い状況においても、認識対象標識を確実に認識することが可能になり、認識対象標識の認識精度を向上させることができる。
付記２に記載の標識認識システムによれば、領域設定手段は、地物特定手段にて特定された地物の位置及び種類と、位置情報取得手段にて取得された位置情報とに基づいて、存在予測領域を設定するので、存在予測領域を一層正確に設定することが可能になり、認識対象標識の認識精度を一層向上させることができる。
付記３に記載の標識認識システムによれば、標識認識手段は、地物特定手段にて特定された地物の種類と、種類情報取得手段にて取得された種類情報とに基づいて、認識対象標識の種類を特定するので、例えば、記号を画像認識するためのロジックが複数設けられている場合でも、特定された認識対象標識の種類に応じたロジックを選択して処理することができ、認識対象標識を一層正確に認識することが可能になる。
付記４に記載の標識認識システムによれば、標識認識手段は、走行環境特定手段にて特定された走行環境と、環境情報取得手段にて取得された環境情報とに基づいて、認識対象標識の種類を特定するので、自車の走行環境に応じた認識対象標識を様々な状況に合わせて選択することができ、例えば、記号を画像認識するためのロジックが複数設けられている場合でも、特定された認識対象標識の種類に応じたロジックを選択して処理することができ、認識対象標識を一層正確に認識することが可能になる。
付記５に記載の標識認識システムによれば、地物は、認識対象標識以外の標識である非認識対象標識であるので、非認識対象標識以外の地物に比べて、存在予測領域を正確に設定することが可能になり、認識対象標識の認識精度をさらに一層向上させることができる。
付記６に記載の標識認識システムによれば、地物特定手段は、標識認識手段が非認識対象標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することにより認識した非認識対象標識を、地物として特定し、領域設定手段は、地物特定手段としての標識認識手段にて特定された非認識対象標識の位置に基づいて、当該非認識対象標識の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定し、標識認識手段は、領域設定手段にて存在予測領域が設定された場合には、当該設定された存在予測領域の内部における記号を画像認識することで、認識対象標識を認識するので、認識された非認識対象標識の位置に基づいて存在予測領域を設定することができ、存在予測領域をさらに一層正確に設定することが可能になる。

【符号の説明】

【0090】

１ 標識認識システム
１０ カメラ
２０ 操作部
３０ ディスプレイ
４０ スピーカ
５０ 標識認識装置
６０ 制御部
６１ 情報取得部
６１ａ 位置情報取得部
６１ｂ 種類情報取得部
６１ｃ 環境情報取得部
６２ 画像認識部
６２ａ 走行環境特定部
６２ｂ 標識認識部
６２ｃ 地物特定部
６２ｄ 領域設定部
６３ 案内部
７０ データ記録部
７１ 標識基本情報テーブル
７２ 標識関連情報テーブル
７３ 環境情報テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】