ホーム > 特許ランキング > 日立Ａｓｔｅｍｏ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-15
(45)【発行日】2025-01-23
(54)【発明の名称】標識認識装置、および、標識認識方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20250116BHJP
G08G 1/09 20060101ALI20250116BHJP
【ＦＩ】
G06T7/00 650A
G08G1/09 D
【請求項の数】
6
(21)【出願番号】P 2023542187
(86)(22)【出願日】2022-02-07
(86)【国際出願番号】 JP2022004760
(87)【国際公開番号】W WO2023021726
(87)【国際公開日】2023-02-23
【審査請求日】2023-11-08
(31)【優先権主張番号】P 2021133360
(32)【優先日】2021-08-18
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】509186579
【氏名又は名称】日立Ａｓｔｅｍｏ株式会社
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール弁理士法人
(72)【発明者】
【氏名】ツーン ユイビン
(72)【発明者】
【氏名】椎名 雄飛
(72)【発明者】
【氏名】永崎 健
【審査官】佐田 宏史
(56)【参考文献】
【文献】特開２０１５－１９１６１９（ＪＰ，Ａ）
【文献】特開２０１７－１４６７１１（ＪＰ，Ａ）
【文献】特開２０２１－０５６５７５（ＪＰ，Ａ）
【文献】景山 陽一、西田 眞，“情景画像の特徴を考慮した円形道路標識の抽出 明度情報の活用としきい値の自動設定”，画像ラボ，日本，日本工業出版株式会社，2011年05月10日，Vol.22, No.5，pp.8-14
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／０９
Ｇ０６Ｔ １／００，７／００－７／９０
Ｇ０６Ｖ １０／００－１０／９８
(57)【特許請求の範囲】
【請求項1】
画像から所定の種別の標識の候補を認識する標識候補認識部と、前記所定の種別の標識の候補として、第１標識の候補が認識された場合、当該第１標識と、当該第１標識に対応して設置されている第２標識を関連付けるペア標識探索部と、
第１標識に対応して設置されている第２標識が存在する場合、前記第１標識に関連付けた前記第２標識の色情報を抽出する色情報抽出部と、
日時・環境に基づいて前記第２標識の候補の識別用閾値を設定するとともに、前記第１標識の認識時に取得された色情報に基づいて前記第２標識の候補の真偽判定用閾値を設定する閾値決定部と、
を有することを特徴とする標識認識装置。
【請求項2】
請求項１に記載の標識認識装置において、さらに、前記標識候補認識部の認識結果を時系列に記憶する標識候補記憶部を備え、
前記ペア標識探索部で、前記第１標識に対応して設置されている前記第２標識が存在す
るか否か判断し、前記第１標識に対して前記第２標識が関連付けなかった場合には、前記
標識候補記憶部に記憶された認識結果の中から、前記第１標識に関連付ける第２標識を抽
出することを特徴とする標識認識装置。
【請求項3】
請求項１に記載の標識認識装置において、追跡リストに複数の第１標識の情報が登録されている場合は、第２標識に最も近い第１標識をペア標識として関連付けることを特徴とする標識認識装置。
【請求項4】
車載カメラが撮像した画像から所定の種別の標識の候補を認識するステップと、前記所定の種別の標識の候補として、第１標識の候補が認識された場合、当該第１標識と、当該第１標識に対応して設置されている第２標識を関連付けるステップと、
第１標識に対応して設置されている第２標識が存在する場合、前記第１標識に関連付けた前記第２標識の色情報を抽出するステップと、
日時・環境に基づいて前記第２標識の候補の識別用閾値を設定するとともに、前記第１標識の認識時に取得された色情報に基づいて前記第２標識の候補の真偽判定用閾値を設定するステップと、
をコンピュータユニットが実行することを特徴とする標識認識方法。
【請求項5】
請求項４に記載の標識認識方法において、さらに、認識結果を時系列に記憶するステップを備え、
前記第１標識に対応して設置されている前記第２標識が存在するか否か判断し、前記第１標識に対して前記第２標識が関連付けなかった場合には、記憶された認識結果の中から、前記第１標識に関連付ける第２標識を抽出することを特徴とする標識認識方法。
【請求項6】
請求項４に記載の標識認識方法において、追跡リストに複数の第１標識の情報が登録されている場合は、第２標識に最も近い第１標識をペア標識として関連付けることを特徴とする標識認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ステレオカメラ装置などの車載センシング装置で利用される、標識認識装置、および、標識認識方法に関する。
【背景技術】
【0002】
近年、自動運転制御や運転支援制御等の、車外環境に応じた高度な車両制御の実現に向け、車載センシング装置の各種認識機能への要求も高度化している。車載センシング装置の一種であるステレオカメラ装置は、画像に依る視覚的な情報と、画像内の物体の距離情報を同時に検出する装置であるため、自車周辺の様々な環境（歩行者、他車、立体物、路面、路面標識、看板標識など）を詳細に把握でき、自動運転制御や運転支援制御の安全性向上に大きく寄与する。
【0003】
ステレオカメラ装置を搭載した車両のなかには、認識した交通標識を自車の加減速制御等に使用するものがある。また、先進運転支援システムの評価指標であるEuro NCAPにおいても、速度支援システム（ＳＡＳ、Speed Assistance Systems）に関する評価項目が設けられており、その重要度が増している。日本国内においても、ドライバの不注意や誤操作による速度超過を抑制する自動速度制御機能（ＩＳＡ、Intelligent Speed Assistance）の重要性が高まっており、速度制限情報を取得する標識認識機能の認識精度向上が必要になる。さらに、有効区間、時間制限や車型制限などの条件付き速度制限の認識が必要になるため、認識可能な交通標識の拡大が求められている。
【0004】
上記した事情により、車両前方の環境を認識する車載カメラ装置に関する様々な技術が提案されてきた。例えば、規制解除標識（速度制限、追い越し禁止などの規制を解除する標識）の認識性能の向上に着目した従来技術として、特許文献１が挙げられ、同文献の要約には、「規制解除標識の検知精度を向上することができるカメラ装置を提供する。演算処理部（探索部）は、画像から斜線候補を探索する（斜線探索５０４）。演算処理部（選択部）は、検出された斜線候補から本標識に対応する規制の解除を示す規制解除標識の斜線候補を選択する（斜線判定５０５）。演算処理部（規制解除標識識別部）は、選択された規制解除標識の斜線候補の画像から規制解除標識を識別する（識別処理５０６）。」と記載されている。
【先行技術文献】
【特許文献】
【0005】
【文献】国際公開第２０２０／０７１１３２号
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１のカメラ装置は、斜線候補の画像から規制解除標識を識別するものであるため、撮像画像の一部に図１１（ａ）のような画像パターンがある場合、速度制限標識の上方の斜線を規制解除標識として正しく識別できる。
【0007】
しかしながら、特許文献１のカメラ装置では、撮像画像の一部に図１１（ｂ）のような画像パターンがある場合、速度制限標識の上方に延びる支柱の上端の長さ、太さ、角度が、規制解除標識の斜線部と類似しているため、標識上方の支柱を規制解除標識として誤検知してしまう可能性がある。
【0008】
本発明は、上記課題に鑑みてなされたもので、その目的とするところは、規制解除標識のデザインと類似する、支柱、電柱、木の枝などの画像パターンを、非実在の規制解除標識として誤検知することを抑制する、標識認識装置および標識認識方法を提供することである。
【課題を解決するための手段】
【0009】
上記課題を解決するため、本発明の標識認識装置は、画像から所定の種別の標識の候補を認識する標識候補認識部と、前記所定の種別の標識の候補として、第１標識の候補が認識された場合、当該第１標識と、当該第１標識に対応して設置されている第２標識を関連付けるペア標識探索部と、第１標識に対応して設置されている第２標識が存在する場合、前記第１標識に関連付けた前記第２標識の色情報を抽出する色情報抽出部と、該色情報抽出部で抽出した前記第２標識の色情報の信頼度に基づいて、前記第１標識の候補の色情報を抽出する際の閾値を決定する閾値決定部と、を有する標識認識装置とした。
【発明の効果】
【0010】
本発明の標識認識装置および標識認識方法によれば、規制解除標識のデザインと類似する、支柱、電柱、木の枝などの画像パターンを、非実在の規制解除標識として誤検知することを抑制することができる。
【0011】
上記した以外の課題、構成及び効果は以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【0012】
【図1】一実施例のステレオカメラ装置の概略構成を示す機能ブロック図。
【図2】一実施例のステレオカメラ装置の基本処理のフローチャート。
【図3】一実施例の標識認識装置の標識認識処理のフローチャート。
【図4】一実施例の標識認識装置の円形物体抽出処理のフローチャート。
【図5A】速度制限標識の画像パターン
【図5B】速度制限標識のエッジ画像に対する中心推定処理と半径推定処理の説明図。
【図6】一実施例の標識認識装置の有効直線探索処理のフローチャート。
【図8A】日本国内での、ペア標識探索処理のイメージ図。
【図8B】他国での、ペア標識探索処理のイメージ図。
【図9】一実施例の標識認識装置のペア標識探索処理のフローチャート。
【図10A】日本国内での、規制解除標のペア標識の位置を示すイメージ図。
【図10B】他国での、規制解除標のペア標識の位置を示すイメージ図。
【図11】規制解除標識のデザインと類似する対象物を説明する図。
【発明を実施するための形態】
【0013】
以下、本発明の一実施例に係る標識認識装置を、図面を用いて説明する。なお、各図において同じ機能を有する部分には同じ符号を付して繰り返し説明は省略する場合がある。
【0014】
＜ステレオカメラ装置の概略構成＞
図１は、本発明の一実施例に係るステレオカメラ装置１００の概略構成を示す機能ブロック図である。このステレオカメラ装置１００は、自動運転制御や運転支援制御を実行する車両に搭載される車載センシング装置の一種であり、自車前方の撮影対象領域の画像情報に基づいて車外環境（例えば、道路の白線、歩行者、他車、その他の立体物、交通信号機、交通標識、点灯ランプなど）を認識する装置である。また、ステレオカメラ装置１００は、車外環境に応じた自車の制御方針（ブレーキやステアリングなど）を決定し、車載ネットワークＣＡＮ（Controller Area Network）を介して、ＥＣＵ（Electronic Control Unit）に制御方針を出力する装置である。そして、ＥＣＵは、ステレオカメラ装置１００の制御方針に従って、自車の制動系や操舵系を制御することで、自車を安全に減速させたり、自車に障害物を回避させたりする。
図１は、本発明の一実施例に係るステレオカメラ装置１００の概略構成を示す機能ブロック図である。このステレオカメラ装置１００は、自動運転制御や運転支援制御を実行する車両に搭載される車載センシング装置の一種であり、自車前方の撮影対象領域の画像情報に基づいて車外環境（例えば、道路の白線、歩行者、他車、その他の立体物、交通信号機、交通標識、点灯ランプなど）を認識する装置である。また、ステレオカメラ装置１００は、車外環境に応じた自車の制御方針（ブレーキやステアリングなど）を決定し、車載ネットワークＣＡＮ（Controller Area Network）を介して、ＥＣＵ（Electronic Control Unit）に制御方針を出力する装置である。そして、ＥＣＵは、ステレオカメラ装置１００の制御方針に従って、自車の制動系や操舵系を制御することで、自車を安全に減速させたり、自車に障害物を回避させたりする。
【0015】
図１に示すように、本実施例のステレオカメラ装置１００は、カメラ１と標識認識装置２を有する。カメラ１は、左右に横並びに配置した左カメラ１Ｌと右カメラ１Ｒで構成され、自車前方を同期撮像した左右一対の画像（左画像ＰＬ、右画像ＰＲ）を出力する。
【0016】
標識認識装置２は、カメラ１で撮像した画像内の交通標識を認識する。この標識認識装置２は、具体的には、ＣＰＵ（Central Processing Unit）等のプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）等のメモリ等を備える、単一または複数のコンピュータユニットである。標識認識装置２の各機能は、ＲＯＭに記憶されたプログラムをプロセッサが実行することによって実現される。ＲＡＭやＳＳＤは、プログラムによる演算の中間データやカメラ１の画像等のデータを格納する。なお、上記したように、ステレオカメラ装置１００は、交通標識以外の車外環境（道路の白線、歩行者、他車など）も認識可能な装置であるが、本発明はステレオカメラ装置１００の交通標識認識機能に着目したものであるため、本来、環境認識装置とでも称すべき符号２の装置を、本実施例では標識認識装置２と称することとする。
【0017】
この標識認識装置２は、図示するように、画像入力インタフェース２１と、画像処理部２２と、演算処理部２３と、記憶部２４と、ＣＡＮインタフェース２５と、監視処理部２６と、それらを相互接続する内部バス２７を有している。以下、各部を概説する。
【0018】
画像入力インタフェース２１は、カメラ１の撮像素子を制御して、撮像した画像を取り込むインタフェースである。この画像入力インタフェース２１が取り込んだ画像は、内部バス２７を介して、画像処理部２２や演算処理部２３に送信される。
【0019】
画像処理部２２は、左カメラ１Ｌの撮像素子で撮像した左画像ＰＬと、右カメラ１Ｒの撮像素子で撮像した右画像ＰＲを比較し、各画像に対して撮像素子に起因するデバイス固有の偏差補正やノイズ補間などの画像補正を施した後、補正後の左右画像を記憶部２４に記憶する。また、画像処理部２２は、補正後の左右画像間で相互に対応する箇所を抽出した後、対応箇所同士の視差に基づいて、画像上の各画素の距離情報を計算する。そして、計算した距離情報を記憶部２４に記憶する。
【0020】
演算処理部２３は、記憶部２４に記憶した補正後の左右画像と距離情報を使い、自車周辺の環境を知覚するために必要な、各種物体を認識する。ここで認識される各種物体とは、例えば、歩行者、他車、その他の障害物、交通信号機、交通標識、車のテールランプやヘッドライド、などである。これら認識結果や中間的な計算結果の一部が、記憶部２４に記録される。さらに、演算処理部２３は、各種物体の認識結果を用いて自車の制御方針を決定する。
【0021】
記憶部２４は、画像処理部２２や演算処理部２３による処理中または処理後のデータを記憶する。また、記憶部２４には、各種物体を認識するために必要な各種情報が予め登録されている。なお、記憶部２４は、具体的には、上記したＲＡＭやＳＳＤ等のメモリであり、後述する画像バッファ２４ａや識別器２４ｂを備えている。
【0022】
ＣＡＮインタフェース２５は、演算処理部２３で認識した各種物体や、演算処理部２３で決定した車両の制御方針を、車載ネットワークＣＡＮに送信するインタフェースである。車載ネットワークＣＡＮに接続されたＥＣＵは、車載ネットワークＣＡＮを経由して伝えられた物体認識結果や制御方針に基づいて、自車の制動やドライバへの警報などを実行する。
【0023】
監視処理部２６は、上記した各部が異常動作を起こしていないか、データ転送時にエラーが発生していないかなどを監視しており、異常動作を防ぐ仕掛けとなっている。
【0024】
＜ステレオカメラ装置の基本処理＞
ここで、図２のフローチャートを用いて、本実施例のステレオカメラ装置１００による基本処理を説明する。
ここで、図２のフローチャートを用いて、本実施例のステレオカメラ装置１００による基本処理を説明する。
【0025】
まず、ステップＳ１Ｌでは、画像処理部２２は、左カメラ１Ｌに左画像ＰＬを撮像させる。次に、ステップＳ２Ｌでは、画像処理部２２は、撮像した左画像ＰＬに対して、撮像素子が持つ固有の特性を吸収する画像補正等の処理を施した後、補正後の左画像ＰＬを記憶部２４の画像バッファ２４ａに記憶する。
【0026】
また、ステップＳ１Ｌ，Ｓ２Ｌと同期して、ステップＳ１Ｒでは、画像処理部２２は、右カメラ１Ｒに右画像ＰＲを撮像させる。次に、ステップＳ２Ｒでは、画像処理部２２は、撮像した右画像ＰＲに対して、撮像素子が持つ固有の特性を吸収する画像補正等の処理を施した後、補正後の右画像ＰＲを記憶部２４の画像バッファ２４ａに記憶する。
【0027】
ステップＳ３では、画像処理部２２は、画像バッファ２４ａに蓄えた補正後の左画像ＰＬと右画像ＰＲを照合し、左右画像の視差を計算する。左右画像の視差により、対象物体上のある着目点が、左右の画像上の何処と何処に対応するかが明らかとなるので、三角測量の原理によって、対象物までの距離を演算することができる。なお、本ステップで求めた距離情報も、記憶部２４に記憶される。
【0028】
ステップＳ４では、演算処理部２３は、画像バッファ２４ａに記憶された補正後の左右画像と距離情報を用いて、各種物体を認識する。認識対象の物体としては、歩行者、他車、その他の立体物、交通標識、交通信号機、テールランプなどである。本ステップでの各種物体認識には必要に応じて識別器２４ｂを利用する。識別器２４ｂは、例えば認識対象の物体の特徴を機械学習データとして保存・記録したものである。なお、本ステップ中で実行される、標識認識処理（ステップＳ４０）の詳細については後述する。
【0029】
ステップＳ５では、演算処理部２３は、ステップＳ４での各種物体の認識結果と、自車の状態（速度、舵角など）を勘案して、車両制御の方針を決定する。例えば、自車が制限速度を超過している場合であれば、乗員に警告を発したり、自車を制動したりするなどの制御方針を決める。本実施例においては、以下に説明するように、ステップＳ４で認識された標識の情報に基づいて、演算処理部２３が自車の制御を決定する。
【0030】
ステップＳ６では、ＣＡＮインタフェース２５は、ステップＳ４で認識した各種物体や、ステップＳ６で決定した自車の制御方針を、車載ネットワークＣＡＮを通して外部のＥＣＵに出力する。この結果、ＥＣＵは、ステレオカメラ装置１００で決定した制御方針に従い、乗員に警告を発したり、自車を制動したりすることができる。
【0031】
【0032】
まず、ステップＳ４１では、演算処理部２３は、画像バッファ２４ａ内の補正後画像から円形物体を含む画像パターンを抽出する。この処理は、詳細には、エッジ画像生成処理（ステップＳ４１ａ）と、中心推定処理（ステップＳ４１ｂ）と、半径推定処理（ステップＳ４１ｃ）に分けられるため、以下では、図４から図５Ｂを参照しながら、各処理を順に説明する。
【0033】
まず、エッジ画像生成処理（ステップＳ４１ａ）では、演算処理部２３は、画像バッファ２４ａ内の補正後画像のエッジ成分を抽出したエッジ画像ＰＥ１を生成する。例えば、補正後画像の一部に図５Ａのような速度制限標識の画像パターンが撮像されていた場合、本ステップでは、図５Ｂのようなエッジ画像ＰＥ１が生成される。
【0034】
次に、中心推定処理（ステップＳ４１ｂ）では、演算処理部２３は、円形物体の中心を推定する。具体的には、演算処理部２３は、図５Ｂに示すように、エッジ画像ＰＥ１の各エッジから法線方向に線分Ｌｎを引き、その線分Ｌｎの交点が一定数以上重なる点を中心Ｃと推定する。図５Ｂの例では、数字「１１」と数字「０」の間が中心Ｃと推定される。
【0035】
半径推定処理（ステップＳ４１ｃ）では、演算処理部２３は、エッジ画像ＰＥ１のヒストグラムに基づいて円形物体の半径を推定する。例えば、図５Ｂの円形物体の半径を推定する場合であれば、横軸を中心Ｃからの距離とし、縦軸をエッジ数としたヒストグラムを作成する。具体的には、まず、中心Ｃに半径ｒ＝０の円を配置し、この円の半径ｒを徐々に大きくする。そして、この円とエッジが重なった場合、重なったエッジの数を、その距離でのエッジ数としてカウントする。この処理を、半径ｒが所定値（交通標識として妥当な半径）になるまで継続することで、図５Ｂの円形物体のヒストグラムを生成することができる。このようにして生成した、図５Ｂに基づくヒストグラムでは、中心Ｃから第１エッジ群Ｅ１までの距離に相当する横軸位置と、中心Ｃから第２エッジ群Ｅ２までの距離に相当する横軸位置の２箇所に、多数のエッジが存在するため、第１エッジ群Ｅ１と第２エッジ群Ｅ２の双方が略環状であると推測できる。この場合、演算処理部２３は、半径のより大きい、第２エッジ群Ｅ２を円形物体の外径であると推定する。
【0036】
以上のような処理により、演算処理部２３は、画像バッファ２４ａ内の補正後画像から、円形物体とその特徴（中心位置、半径）を抽出することができる。
【0037】
ステップＳ４２では、演算処理部２３は、ステップＳ４１で抽出した円形物体の色情報を取得する。これは、後述するステップＳ４ｂで、規制解除標識の真偽を判定するときに、本標識の色情報を基準にして比較するためである。なお、ステップＳ４２は、後述するステップＳ４３の次に処理しても良いし、ステップＳ４３と並列して処理しても良い。
【0038】
ステップＳ４３では、演算処理部２３は、ステップＳ４１で抽出した円形物体が交通標識候補であるかを識別する。具体的には、演算処理部２３は、ステップＳ４１で抽出した円形物体の位置に相当する、画像バッファ２４ａ内の補正後画像の画像パターンに対して、識別器２４ｂを用いた識別処理を実行する。その結果、ステップＳ４１で抽出した円形物体が交通標識候補か否かが認識され、また、円形物体が交通標識候補であれば、その交通標識の内容（例えば、制限速度）などが認識される。交通標識候補として識別された時の交通標識らしさを表す第一の識別スコアが、この識別処理において出力され、メモリに蓄えられる。本ステップで識別した交通標識候補を、以下では「本標識」と称する。なお、ステップＳ４１で円形物体が抽出されなかった場合は、本ステップを省略すれば良い。
【0039】
ステップＳ４４－４５、４７－４ｂでは、規制解除標識の候補を探索する。
【0040】
まず、ステップＳ４４では、演算処理部２３は、画像バッファ２４ａ内の補正後画像から、規制解除標識の候補となりうる有効直線を探索する。この有効直線探索処理は、詳細には、左右エッジ探索処理（ステップＳ４４ａ）と、直線検知処理（ステップＳ４４ｂ）と、有効直線判定処理（ステップＳ４４ｃ）に分けられるため、以下では、図６から図７Ｃを参照しながら、各処理を順に説明する。
【0041】
まず、左右エッジ探索処理（ステップＳ４４ａ）では、演算処理部２３は、図７Ａに示すように、画像バッファ２４ａ内の補正後画像の画素を１行毎に左から右に走査する。そして、一定距離内に左エッジＥＬと右エッジＥＲを探索できた場合は、それらを左右エッジのペアとして抽出する。このような処理を、補正後画像の全域に施すことで、補正後画像から左右エッジのペアを抽出したエッジ画像ＰＥ２（図７Ｂはエッジ画像の抜粋）を生成することができる。
【0042】
次に、直線検知処理（ステップＳ４４ｂ）では、演算処理部２３は、ステップＳ４４ａで生成したエッジ画像ＰＥ２から直線部分を検知する。図７Ｂに例示するエッジ画像ＰＥ２には、左右エッジのペアが上下に２行以上連続する部分と、１行しか存在しない部分がある。本ステップでは、左右エッジのペアが上下に２行以上連続する部分を直線として検知する。
【0043】
有効直線判定処理（ステップＳ４４ｃ）では、演算処理部２３は、ステップＳ４４ｂで検知した直線が規制解除標識の候補となり得る有効なものかを判定し、候補となり得る有効直線を抽出する。日本国の規制解除標識は、円形標識内の太い青色斜線が目際立つデザインであり（図１１（ａ）の上標識を参照）、諸外国においても、円形標識内の太い斜線が目立つデザインの規制解除標識が多い（例えば、ドイツ、ポーランド、スウェーデン等）。従って、本ステップでは、規制解除標識の斜線部のデザイン上の特徴を考慮して、補正後画像から規制解除標識の候補となり得る直線部を抽出する。
【0044】
ステレオカメラ装置１００を使用する場合、ステップＳ４４ｂで検知した直線部までの距離を演算できるので、演算した距離に規制解除標識が存在すると仮定した場合の、補正後画像上での規制解除標識の斜線部の幅や高さも概算可能である。従って、図７Ｂに例示するエッジペアの幅が狭すぎる場合や広すぎる場合は、そのエッジペアにより形成された直線部を、規制解除標識の候補にはなり得ない無効直線と判定して有効直線から除外することができる。
【0045】
同様に、図７Ｃに例示するように、直線部の高さが、規制解除標識の斜線部の高さとして妥当と考えられる有効範囲の下限に達しない短いものであったり（図７Ｃ（ｂ））、上限を超える長いものであったりした場合には（図７Ｃ（ｃ））、それらの直線部を、規制解除標識の候補にはなり得ない無効直線と判定して有効直線から除外する。一方、直線部の高さが、有効範囲に収まる場合は（図７Ｃ（ａ））、その直線部を有効直線として抽出する。
【0046】
以上で説明したステップＳ４４の処理により、規制解除標識の斜線部とは大きく形態の異なる電柱や支柱の画像パターンを、規制解除標識の候補から除外し、規制解除標識である可能性のある直線部の画像パターンのみを抽出することができる。
【0047】
次に、ステップＳ４５では、演算処理部２３は、ステップＳ４４の処理により、有効直線が抽出されたかを判定する。そして、有効直線が抽出されなかった場合は、ステップＳ４６に進み、有効直線が抽出された場合は、ステップＳ４７に進む。
【0048】
ステップＳ４６では、演算処理部２３は、ステップＳ４３で識別した本標識（交通標識）候補を追跡する。ここで、「追跡」とは、フレームごとまたは所定の時間間隔で得られる画像ごとに取得される、ステップＳ４１で得られるような標識候補の形状情報や位置情報、ステップＳ４２で得られるような色情報を時系列で関連付けてメモリに記憶しておくことをいう。具体的には、ステレオカメラ装置１００が撮像中の交通標識の種別を登録するためのリストである追跡リストＬ１に、ステップＳ４３で識別した本標識候補の種別（例えば、速度制限標識）を登録する。なお、自車が、追跡リストＬ１に登録された本標識候補を通過し、その本標識候補を撮像できなくなった場合には、追跡リストＬ１に登録されていた本標識候補の情報は、認識済リストＬ２に転写されるものとする。
【0049】
一方、ステップＳ４７では、演算処理部２３は、ステップＳ４４で抽出した有効直線の色情報を算出する。例えば、日本国の規制解除標識（図１１（ａ）参照）の候補を探索する場合であれば、演算処理部２３は、有効直線が収まる形状のウィンドウを画像内に配置し、このウィンドウ内の青色スコアを算出する。ここで、青色スコアは、例えば、次の方法で算出する。すなわち、画像の各画素の色が、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の三原色で定義される場合であれば、ウィンドウ内の青色画素の面積を、ウィンドウの全面積で除算することで、青色スコアを算出する。算出された青色スコアはメモリに記憶される。なお、ここでは青色を例にしているが、標識デザインに応じて青以外の色情報を抽出してもよく、総称してこれらの色のスコアを算出することを「色情報を取得」する、という。
【0050】
上記したように、例えば、日本国の規制解除標識は青色斜線が目際立つデザインであるため（図１１（ａ）参照）、規制解除標識を実際に含むウィンドウ内の青色スコアは高くなると考えられる。従って、ウィンドウの青色スコアの高低に着目することで、例えば、白色直線や黒色直線などの明らかに青色以外の有効直線を規制解除標識の候補から除外し、規制解除標識の候補となり得る青色系の有効直線のみを抽出することができる。
【0051】
但し、朝日や夕日に照らされた規制解除標識を撮像した場合や、曇天時や雨天時に規制解除標識を撮像した場合などには、画像内の規制解除標識の色味が弱まることがあるが、そのような規制解除標識を候補から除外しないように、本ステップで青色スコアと比較する閾値は低めに設定している。その結果、本ステップでは、実際の規制解除標識だけでなく、規制解除標識ではない有効直線（例えば支柱、電柱、木の枝など）も、規制解除標識の候補として抽出される可能性があり、本ステップ時点の規制解除標識の候補の信頼性は十分ではない。
【0052】
ステップＳ４８では、規制解除標識候補の識別を行う。これはＳ４２の本標識の識別と同様に行う。具体的には、演算処理部２３は、識別器２４ｂを用いて規制解除標識候補の識別を行う。このとき、規制解除標識らしさを表す第二の識別スコアが、この識別処理において出力され、メモリに蓄えられる。本ステップで識別した規制解除標識候補を、以下では「規制解除標識」と称する。なお、ステップＳ４８は、ステップＳ４７の前に処理しても良いし、ステップＳ４７と並列して処理しても良い。
【0053】
ステップＳ４９では、演算処理部２３は、ステップＳ４２で識別した本標識と、ステップＳ４８で抽出した規制解除標識の候補を追跡する。ここでも、「追跡」はステップＳ４６で述べた通りの意味である。具体的には、ステレオカメラ装置１００で撮像中の標識を登録するためのリストである追跡リストＬ１に、ステップＳ４３で識別した本標識候補の種別（例えば、速度制限標識）と、ステップＳ４８で抽出した規制解除標識（候補）を登録する。なお、自車が標識を通過するなどして、追跡リストＬ１に登録された本標識を撮像できなくなった場合には、追跡リストＬ１に登録されていた本標識の情報は、認識済リストＬ２に転写されるものとする。
【0054】
ステップＳ４ａでは、演算処理部２３は、ステップＳ４８で抽出した規制解除標識の候補とペアになる本標識（例えば、速度制限標識、追い越し禁止）を探索する。本ステップでのペア標識の探索方法は国毎に異なる。例えば、日本国内においては、図８Ａに示すように、規制解除標識の下方に本標識が配置されているため、追跡リストＬ１に同時期に登録されている、規制解除標識と本標識をペア標識として関連付ければ良い。一方、その他の国においては、図８Ｂに示すように、本標識より先に規制解除標識が設置されていることもあるため、認識済リストＬ２に登録された本標識と、追跡リストＬ１に新規登録された規制解除標識をペア標識として関連付ければ良い。何れかの探索方法を利用することにより、国に関わらず規制解除標識とペアになる本標識を探索することができる。
【0055】
ここで、図９のフローチャートを用いて、ステップＳ４ａでのペア標識の探索処理の詳細を説明する。このフローチャートは、ステップＳ４ａａからステップＳ４ａｄの処理と、ステップＳ４ａｆからステップＳ４ａｈの処理に区分される。
【0056】
ステップＳ４ａａからステップＳ４ａｄでは、演算処理部２３は、追跡リストＬ１に基づいてペア標識を探索する。これは、図８Ａに例示したように、本標識と規制解除標識が同じ場所に設置されている国における、ペア標識の探索方法である。
【0057】
まず、ステップＳ４ａｂでは、演算処理部２３は、ステップＳ４９で追跡リストＬ１に登録した追跡情報（標識の設定位置、大きさ、種別、追跡番号等の標識を特定するための情報）に基づいて、規制解除標識とペアになる本標識が存在するか否かを確認する。例えば、図８Ａのように、追跡リストＬ１に規制解除標識と速度制限標識が登録されていれば、これらをペア標識の候補として抽出する。
【0058】
次に、ステップＳ４ａｃでは、演算処理部２３は、規制解除標識とペア標識候補の配置を確認し、両者の設置位置が近ければ、両者をペア標識と判定する。例えば、図１０Ａに示すように、規制解除標識と同じ支柱に一つ目のペア標識候補である速度制限標識が設置されており、規制解除標識から遠い支柱に二つ目のペア標識候補である追い越し禁止標識されている場合であれば、規制解除標識と同じ支柱に設置された速度制限標識をペア標識と判断し、遠方の追い越し禁止標識はペア標識ではないと判断する。なお、規制解除標識と同じ支柱に、複数の本標識が設置されている場合は、それら複数の本標識をペア標識として抽出しても良い。
【0059】
ステップＳ４ａｄでは、演算処理部２３は、ステップ４８ｃで抽出したペア標識に関する情報を記憶部２４に記憶する。
【0060】
ステップＳ４ａｅでは、演算処理部２３は、ペア標識が登録されたかを確認する。そして、ペア標識が登録された場合は、ステップＳ４ａの処理を終了しステップＳ４ｂに進む。一方、ペア標識が未登録の場合は、ステップＳ４ａｆに進む。
【0061】
ステップＳ４ａｆからステップＳ４ａｈでは、演算処理部２３は、追跡リストＬ１と認識済リストＬ２に基づいてペア標識を探索する。これは、図８Ｂに例示したように、本標識と規制解除標識が離れた場所に設置されている国における、ペア標識の探索方法である。
【0062】
まず、ステップＳ４ａｇでは、演算処理部２３は、認識済リストＬ２に登録した認識済情報（標識の設定位置、大きさ、種別、登録番号等の過去に認識した標識情報）に基づいて、追跡リストＬ１に登録された規制解除標識とペアになる本標識が存在するか否か確認する。例えば、図８Ｂのように、認識済リストＬ２に過去に撮像した速度制限標識が登録されていれば、これをペア標識の候補として抽出する。認識済リストＬ２には過去に認識した標識情報が多数登録されている可能性があるため、本ステップでは、直近に登録した本標識をペア標識の候補と判断する。例えば、図１０Ｂに示すように、規制解除標識の手前の支柱に一つ目のペア標識候補である速度制限標識が設置されており、速度制限標識の手前の支柱に二つ目のペア標識候補である追い越し禁止標識が設置されている場合であれば、直近に登録された速度制限標識をペア標識と判断し、それ以前に登録された追い越し禁止標識はペア標識ではないと判断する。
【0063】
なお、図９では、図８Ａの環境に対応したステップＳ４ａａからステップＳ４ａｄの処理と、図８Ｂの環境に対応したステップＳ４ａｆからステップＳ４ａｈの処理の双方を実行したが、ＧＰＳから取得した位置情報等を利用して自車が走行中の国を特定できる場合は、その国の交通法規に応じて、ステップＳ４ａａからステップＳ４ａｄの処理か、ステップＳ４ａｆからステップＳ４ａｈの処理の一方のみを選択して実施する構成としても良い。
【0064】
図９に示したステップＳ４ａの処理を終えると、規制解除標識の設置態様（図８Ａ、図８Ｂ）によらず、規制解除標識のペアとなる本標識を抽出できる。但し、ステップＳ４５では、上記したように、実際には規制解除標識でない有効直線を候補として抽出している可能性もあるので、以降の処理では、ステップＳ４ａで抽出したペア標識（つまりペアとなる本標識）の色情報も参照して、ステップＳ４８で抽出した候補が真に規制解除標識であるかを確認する。当該本標識の色情報はステップＳ４８）にて取得され、メモリに記憶されている。
【0065】
ステップＳ４ｂでは、演算処理部２３は、規制解除標識の候補の真偽判定処理（ステップＳ４ｃ）を実施可能な時間帯かを判定する。後述するように、ステップＳ４ｃでは、ペア標識の色情報を使用するが、ペア標識の色情報は、昼間の撮像画像に基づくものであれば信頼度が高く、夜間の撮像画像に基づくものであれば信頼度が低いものである。そこで、本ステップでは、例えば、ＥＣＵの内蔵タイマーやＧＰＳから取得した時刻情報に基づいて、昼夜の別を判定し、昼間であれば信頼度の高い色情報を取得可能な環境と判断して、ステップＳ４ｃに進み、夜間であれば信頼度の高い色情報の取得が困難な環境と判断して、ステップＳ４ｄに進む。なお、ステップＳ４３で本標識候補が抽出されなかった場合は、ステップＳ４ｃの処理を実行することができないし、また、ステップＳ４８で規制解除標識の候補が抽出されなかった場合は、候補の真偽を判定するステップＳ４ｃの処理がそもそも不要なので、これらの場合も、ステップＳ４ｃを回避してステップＳ４ｃに進む。
【0066】
ステップＳ４ｃでは、演算処理部２３は、ステップＳ４８で抽出した規制解除標識の候補の真偽を判断し、その候補が偽の規制解除標識であれば（例えば、支柱であったなら）、その候補を棄却する。上記したように、ステップＳ４８では、有効直線の青色スコアに基づいて規制解除標識の候補を抽出するが、有色光で照らされた規制解除標識や、曇天や雨天時の規制解除標識を候補から除外しないよう、有効直線の青色スコアと比較する閾値を低めに設定しており、実際には規制解除標識ではない有効直線が候補として抽出されることを許容していた。そこで、本ステップでは、ステップＳ４２で取得した本標識の色スコアを参照して、規制解除標識の候補の真偽判定に利用する閾値を調整することで、外部環境によらず、規制解除標識の候補の真偽を正確に判定できるようにした。
【0067】
例えば、図１１のように、本標識が、標識外周の赤色環の速度制限標識であれば、その赤色環が収まる形状のウィンドウ内の赤色スコアは高い値になると考えられる。しかしながら、この本標識が有色光に照らされている場合、曇天や雨天の場合、晴天の場合、等であれば、本標識（速度制限標識）の赤色スコアが変化すると考えられる。また、その場合、規制解除標識の青色スコアも同程度に変化すると考えられる。
【0068】
従って、本ステップでは、本標識（速度制限標識）の赤色スコアが低い場合には、規制解除標識の候補の真偽を判定するための青色スコアの閾値も低く設定し、反対に、赤色スコアが高い場合には、青色スコアの閾値も高く設定する。つまり、本標識の認識時に取得された色情報（例えば青色スコア（つまり青色である信頼度））を用いて、規制解除標識として認識するための色情報の閾値を決定する。また、本標識の認識時に取得された色情報自体ではなく、本標識のテンプレート画像の色情報に対する本標識の認識時に取得された色情報の変化率に基づいて、規制解除標識として認識するための色情報の閾値を決定してもよい。本標識の色情報、および本標識の色情報の変化率を合わせて、本標識の「信頼度」と称する。
【0069】
このように調整した色情報（例えば青色スコア）の閾値を利用することで、環境によらず、規制解除標識の候補の真偽を正確に判定することができる。
【0070】
最後に、ステップＳ４ｄでは、演算処理部２３は、上記の追跡リストＬ１または認識済リストＬ２を参照して、標識を識別した結果を確定する。すなわち、ステップＳ４５からステップＳ４６に進んだ場合であれば、ステップＳ４３で識別した本標識候補のみを標識として識別結果として確定する。一方、ステップＳ４５からステップＳ４７に進んだ場合であれば、例えば、ステップＳ４３で識別した本標識候補を、ステップＳ４８、Ｓ４ｃで抽出した規制解除標識候補のペア標識として識別する。そして、本ステップで、ペア標識が認識された場合には、続くステップＳ５では、本標識が示す規制をキャンセルするような制御方針が決定される。ここで、「確定する」とは、認識処理結果として、認識された標識から得られる情報を後段の制御処理（図２のＳ５）に出力することを意味する。
【0071】
以上で説明した本実施例のステレオカメラ装置１００によれば、図１１（ａ）に示す規制解除標識を正しく認識できるだけでなく、図１１（ｂ）に示す、規制解除標識の斜線部と角度や太さが類似している支柱の上端部を規制解除標識と誤検知することを抑制できるので、標識検知の信頼性を向上させることができる。
【0072】
なお、前述した実施例では、２つのカメラから構成されるステレオカメラ装置１００を用いて説明したが、カメラは１台でもよいし、３台以上使用してもよい。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【符号の説明】
【0073】
１００…ステレオカメラ装置、１…カメラ、１Ｌ…左カメラ、１Ｒ…右カメラ、２…標識認識装置、２１…画像入力インタフェース、２２…画像処理部、２３…演算処理部、２４…記憶部、２４ａ…画像バッファ、２４ｂ…識別器、２５… ＣＡＮインタフェース、２６…監視処理部、２７…内部バス、ＣＡＮ 車載ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図9】
【図10A】
【図10B】
【図11】