特許 7431108 画像認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-05

(45)【発行日】2024-02-14

(54)【発明の名称】画像認識装置

(51)【国際特許分類】

   G08G 1/09 20060101AFI20240206BHJP

   G06T 7/00 20170101ALI20240206BHJP

【ＦＩ】

G08G1/09 D

G06T7/00 650A

【請求項の数】 3

(21)【出願番号】P 2020096060

(22)【出願日】2020-06-02

(65)【公開番号】P2021189883

(43)【公開日】2021-12-13

【審査請求日】2022-11-07

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】谷川 右京

(72)【発明者】

【氏名】中野 俊亮

(72)【発明者】

【氏名】野村 拓也

(72)【発明者】

【氏名】末久 泰士

【審査官】白石 剛史

(56)【参考文献】

【文献】特開２００７－０３４６９３（ＪＰ，Ａ）

【文献】特開２００７－０７２９４８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／０９

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

自車両の前方を撮影した画像に基づいて交通信号機を検出可能に構成された信号機検出部（３１）と、
前記画像に基づいて、前記交通信号機の正面が前記自車両に向いている度合いを算出するように構成された算出部（３３）と、
前記度合いに基づいて、前記自車両を対象とする交通信号機の識別を行うように構成された、信号機識別部（３４）と、
を備え、
前記信号機検出部は複数の交通信号機を検出可能であり、
前記算出部は、前記複数の交通信号機のそれぞれについて前記度合いを算出し、
前記信号機識別部は、前記複数の交通信号機のうち前記度合いが最も大きい交通信号機を、前記自車両を対象とする交通信号機であると特定し、
しかも、前記信号機識別部は、前記複数の交通信号機の点灯色が異なることを条件として、前記度合いに基づく、前記自車両を対象とする交通信号機の前記識別を行う、画像認識装置。

【請求項2】

前記算出部は、前記度合いを、前記交通信号機における点灯部の形状の、前記交通信号機の正面が前記自車両を向いている状態の前記点灯部の形状への近さに基づいて算出する、請求項１に記載の画像認識装置。

【請求項3】

前記画像に基づいて、前記自車両が走行する自車線に対応する領域である自車線領域を認識するように構成された、領域認識部（３２）を備え、
前記信号機識別部は、前記自車線領域内に存在する交通信号機が０又は複数であることを条件として、前記度合いに基づく、前記自車両を対象とする交通信号機の前記識別を行う、請求項１又は請求項２に記載の画像認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像認識装置に関する。

【背景技術】

【0002】

車載カメラで撮影した画像に基づいて、道路標示、道路標識、又は交通信号機を検出する技術がある。例えば、特許文献１には、道路の上方に並んで設置された道路標識を検出する技術について記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１５６３８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

検出された道路標識等の情報は、自車両への運転支援、例えば、運転者に対する報知、運転制御等に用いられる。本発明者らの検討の結果、自車両を対象としない道路標識等、例えば、自車両が走行する自車線とは異なる他の車線を対象とする道路標識等が認識されることにより、自車両への運転支援が適切に行われない可能性があるという課題が見出された。

【0005】

本開示の一局面は、自車両を対象とする、道路標示、道路標識、又は交通信号機を適切に認識することが可能な画像認識装置を提供する。

【課題を解決するための手段】

【0006】

本開示の一態様は、画像認識装置であって、信号機検出部（３１）と、算出部（３３）と、信号機識別部（３４）と、を備える。信号機検出部は、自車両の前方を撮影した画像に基づいて交通信号機を検出可能に構成される。算出部は、画像に基づいて、交通信号機の正面が自車両に向いている度合いを算出するように構成される。信号機識別部は、度合いに基づいて、自車両を対象とする交通信号機の識別を行うように構成される。

【0007】

本開示の一態様は、画像認識装置であって、標識検出部（４１）と、車線認識部（４２）と、車線特定部（４３）と、合流・分岐識別部（４４）と、判定部（４６）と、を備える。標識検出部は、自車両の前方を撮影した画像に基づいて道路標識を検出可能に構成される。車線認識部は、画像に基づいて、自車両が走行する自車線を少なくとも含む複数の車線を認識可能に構成される。車線特定部は、画像に基づいて、複数の車線のうち道路標識に最も近い車線を特定するように構成される。合流・分岐識別部は、車線特定部によって特定された車線について、自車線に対して合流する車線又は自車線から分岐する車線であるか否かを識別するように構成される。判定部は、道路標識が自車両を対象とするか否かを判定するように構成される。また、判定部は、合流・分岐識別部によって、車線特定部によって特定された車線が、自車線に対して合流する車線又は自車線から分岐する車線であると識別された場合に、道路標識が自車両を対象としないと判定する。

【0008】

本開示の一態様は、画像認識装置であって、標示物検出部（２１）と、画定線認識部（２２）と、対応点特定部（２３）と、推定部（２４）と、を備える。標示物検出部は、自車両の前方を撮影した画像に基づいて標示物を検出可能に構成される。画定線認識部は、画像に基づいて車線を画定する一対の画定線を認識可能に構成される。対応点特定部は、画像に基づいて、標示物の、自車両を基準とする奥行き方向における位置に対応する、一対の画定線上の一対の対応点を特定するように構成される。推定部は、自車両の幅方向において、標示物が一対の対応点の間にある場合に、一対の対応点が属する一対の画定線によって画定される車線が、標示物が対象とする車線であると推定するように構成される。

【0009】

このような構成によれば、自車両を対象とする、道路標示、道路標識、又は交通信号機を適切に認識することが可能な画像認識装置が提供される。

【図面の簡単な説明】

【0010】

【図1】第１実施形態の画像認識装置の構成を示すブロック図である。

【図2】対象車線推定処理を示すフローチャートである。

【図3】ある場面における道路標示の検出結果及び車線の認識結果を示す図である。

【図4】道路標示の座標と画定線の座標との比較方法を説明する図である。

【図5】第２実施形態の画像認識装置の構成を示すブロック図である。

【図6】信号機識別処理を示すフローチャートである。

【図7】自車線領域内に２つの交通信号機が検出された場面を示す図である。

【図8】図７に示す場面における交通信号機の識別結果を示す図である。

【図9】自車線領域が認識できなかった場面を示す図である。

【図10】図９に示す場面における交通信号機の識別結果を示す図である。

【図11】第３実施形態の画像認識装置の構成を示すブロック図である。

【図12】道路標識判定処理を示すフローチャートである。

【図13】自車線から分岐する車線を対象とする道路標識が検出された場面を示す図である。

【図14】図１３に示す場面における、自車両から道路標識までの奥行きを示す図である。

【図15】本道と側道との境界に設置された構造体が検出された場面を示す図である。

【図16】図１５に示す場面における、本道と側道との境界に設置された構造体から道路標識までの距離を示す図である。

【図17】自車両を対象とする道路標識が検出された場面を示す図である。

【図18】図１７に示す場面における、歩道と車道との境界に設置されたガードレールから道路標識までの距離を示す図である。

【図19】片側の車線数が多い道路内の車線の一部が検出できなかった場合において、道路標識に最も近い車線と道路標識との距離を示す図である。

【図20】片側の車線数が多い道路内の車線の一部及び立体物が検出できなかった場合において、道路標識に最も近い車線と道路標識との距離を示す図である。

【発明を実施するための形態】

【0011】

以下、本開示の例示的な実施形態について図面を参照しながら説明する。
［１．第１実施形態］
［１－１．構成］
図１に示す画像認識装置１０１は、自動車などの車両に搭載され、その車両に搭載されている撮像装置１１から入力される画像に基づいて標示物を検出するとともに、検出された標示物が対象とする車線を推定する装置である。以下、画像認識装置１０１が搭載された車両を自車両とする。

【0012】

撮像装置１１は、自車両の例えば中央前方側に搭載され、自車両の前方を所定の時間間隔で撮影するカメラシステムである。撮像装置１１には、単眼カメラが用いられている。撮像装置１１は、撮影した画像（以下、「撮像画像」という。）を画像認識装置１０１に出力する。

【0013】

画像認識装置１０１は、ＣＰＵ、ＲＡＭ及びＲＯＭ等の半導体メモリ、Ｉ／Ｏ、これらの構成を接続するバスラインなどを含むマイクロコンピュータを中心に構成されている。図１に示すように、画像認識装置１０１は、半導体メモリに格納されたプログラムをＣＰＵが実行することにより実現される機能ブロックとして、標示物検出部２１と、画定線認識部２２と、対応点特定部２３と、推定部２４とを備える。

【0014】

標示物検出部２１は、撮像画像に基づいて標示物を検出可能に構成されている。ここでいう「標示物」とは、道路の路面上又は道路の周囲に配置される、交通に関する情報を標示する標示物である。本実施形態では、標示物検出部２１は、路面上に描かれた、特定の車線を対象とする情報を標示する道路標示を標示物として検出する。標示物検出部２１は、機械学習により構築されたモデルに基づいて道路標示を検出する。標示物が検出されると、標示物検出部２１は、撮像画像上において標示物が存在する部分を取り囲む、矩形の検出枠を設定する。

【0015】

また、標示物検出部２１は、併せて、検出された標示物について、自車両の幅方向、自車両の車高方向、及び自車両を基準とする奥行き方向の三方向を軸とする世界座標系における座標を求める。世界座標系における座標は、単眼カメラを利用した移動ステレオの手法を用いて推定される。この手法は、自車両が移動することで得られる異なる位置での二次元の撮像画像間での特徴点の対応付けと、自車両の移動量とに基づいて、三角測量の原理で対象物の三次元位置を推定するものである。

【0016】

画定線認識部２２は、撮像画像に基づいて、道路上の車線を画定する一対の画定線を認識するように構成されている。画定線認識部２２は、機械学習により構築されたモデルに基づいて道路に描かれているラインを検出することにより、一対の画定線を認識する。また、画定線認識部２２は、標示物検出部２１と同様に、認識された一対の画定線について世界座標系における座標を求める。

【0017】

対応点特定部２３は、標示物検出部２１による検出結果及び画定線認識部２２による認識結果に基づいて、奥行き方向における標示物の位置に対応する、一対の画定線上の一対の対応点を特定するように構成されている。一対の対応点の特定方法については後に詳述する。

【0018】

推定部２４は、標示物検出部２１によって検出された標示物が対象とする車線を推定するように構成されている。対象車線の推定方法についても後に詳述する。
［１－２．処理］
次に、画像認識装置１０１が実行する対象車線推定処理について、図２のフローチャートを用いて説明する。対象車線推定処理は、撮像装置１１から撮像画像が入力される度に実行される。

【0019】

まず、Ｓ１０１で、画像認識装置１０１は、撮像画像において上述のとおり標示物の検出処理を行う。例えば、図３に示す撮像画像では、自車線上の道路標示５１と、自車線の右の隣接車線上の道路標示５２とが検出され、道路標示５１，５２のそれぞれを取り囲む検出枠５３，５４が設定されている。

【0020】

続いて、Ｓ１０２で、画像認識装置１０１は、Ｓ１０１の処理で標示物が検出されたか否かを判定する。
画像認識装置１０１は、Ｓ１０２で標示物が検出されなかったと判定した場合には、図２の対象車線推定処理を終了する。

【0021】

一方、画像認識装置１０１は、Ｓ１０２で標示物が検出されたと判定した場合には、Ｓ１０３へ移行し、上述のとおり車線を画定する一対の画定線の認識処理を行う。具体的には、画像認識装置１０１は、自車線を画定する一対の画定線、及び自車線に隣接する左右の隣接車線がある場合には左右の隣接車線のそれぞれを画定する一対の画定線を認識する。例えば、図３に示す撮像画像では、自車線を画定する一対の画定線として、画定線５５ａ，５５ｂが、自車線の右の隣接車線を画定する一対の画定線として、画定線５５ｂ、５５ｃが、認識されている。なお、道路上のラインが薄くなっている等の理由により、一対の画定線のうち片方の画定線のみしか検出できなかった場合には、画像認識装置１０１は、車線幅を仮定してもう片方の画定線を推定することにより一対の画定線を認識する。

【0022】

続いて、Ｓ１０４で、画像認識装置１０１は、自車線を画定する一対の画定線が認識できたか否かを判定する。
画像認識装置１０１は、Ｓ１０４で自車線を画定する一対の画定線が認識できなかったと判定した場合には、Ｓ１０５へ移行し、推定結果をなしとする。

【0023】

一方、画像認識装置１０１は、Ｓ１０４で自車線を画定する一対の画定線が認識できたと判定した場合には、Ｓ１０６へ移行し、検出された標示物について、奥行き方向における標示物の位置に対応する、一対の画定線上の一対の対応点を特定する。具体的には、図４に示すように、自車線を画定する一対の画定線５５ａ，５５ｂのそれぞれを構成する点のうち、奥行き方向において、道路標示５１の検出枠５３内の任意の点、例えば検出枠５３の重心５７と最も近い点を、一対の対応点５８ａ，５８ｂとして特定する。

【0024】

続いて、Ｓ１０７で、画像認識装置１０１は、標示物の座標と一対の対応点の座標とを比較することにより、標示物が対象とする車線を推定する。具体的には、画像認識装置１０１は、自車両の幅方向において、標示物が一対の対応点の間にある場合に、その一対の対応点が属する一対の画定線によって画定される車線が、その標示物が対象とする車線であると推定する。例えば、図４に示す撮像画像では、道路標示５１の重心５７の座標が、自車両の幅方向において、自車線を画定する一対の画定線５５ａ，５５ｂ上の一対の対応点５８ａ，５８ｂの間にあるため、道路標示５１が対象とする車線は自車線であると推定される。

【0025】

その後、画像認識装置１０１は、図２の対象車線推定処理を終了する。
［１－３．効果］
以上詳述した第１実施形態によれば、以下の効果が得られる。

【0026】

（１ａ）画像認識装置１０１は、撮像画像に基づいて、標示物の、自車両を基準とする奥行き方向における位置に対応する、一対の画定線上の一対の対応点を特定する。そして、画像認識装置１０１は、自車両の幅方向において、標示物がその一対の対応点の間にある場合に、その一対の対応点が属する一対の画定線によって画定される車線が、標示物が対象とする車線であると推定する。

【0027】

すなわち、画像認識装置１０１は、二次元座標系である撮像画像上で標示物と一対の画定線との座標を比較するのではなく、三次元座標系である世界座標系で標示物と一対の画定線との座標を比較する。そのため、標示物が対象とする車線を正確に推定することができる。

【0028】

（１ｂ）画像認識装置１０１は、一対の画定線を構成する点のうち、奥行き方向において標示物と最も近い点を一対の対応点として特定する。このような構成によれば、標示物のほぼ真横にある、一対の画定線上の点が一対の対応点として特定されるため、標示物が対象とする車線を正確に推定することができる。

【0029】

なお、第１実施形態では、Ｓ１０１が標示物検出部２１としての処理に相当し、Ｓ１０３が画定線認識部２２としての処理に相当し、Ｓ１０６が対応点特定部２３としての処理に相当し、Ｓ１０７が推定部２４としての処理に相当する。

【0030】

［２．第２実施形態］
［２－１．構成］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

【0031】

図５に示す画像認識装置１０２は、車両に搭載され、その車両に搭載されている撮像装置１１から入力される撮像画像に基づいて交通信号機を検出するとともに、自車両を対象とする交通信号機（以下、「自車両向け」の交通信号機ともいう。）を識別する装置である。

【0032】

画像認識装置１０２は、半導体メモリに格納されたプログラムをＣＰＵが実行することにより実現される機能ブロックとして、信号機検出部３１と、領域認識部３２と、算出部３３と、信号機識別部３４とを備える。

【0033】

信号機検出部３１は、撮像画像に基づいて交通信号機を検出し、その点灯色を識別するように構成されている。具体的には、まず、信号機検出部３１は、機械学習により構築されたモデルに基づいて交通信号機を検出する。交通信号機が検出されると、信号機検出部３１は、撮像画像上において交通信号機が存在する部分を取り囲む、矩形の検出枠を設定する。そして、信号機検出部３１は、交通信号機の点灯している部分（以下、「点灯部」という。）を検出する。点灯部は、検出枠内の領域において、色相、彩度、及び明度が、赤、青、黄色等の点灯色ごとにあらかじめ設定された閾値以上である一定の領域を認識することにより検出される。

【0034】

また、信号機検出部３１は、併せて、検出された交通信号機及び点灯部について、上述の世界座標系における座標を求める。
領域認識部３２は、撮像画像に基づいて、自車線に対応する領域である自車線領域を認識するように構成されている。具体的には、領域認識部３２は、撮像画像において、機械学習により構築されたモデルに基づいて自車線を画定する一対の画定線を認識し、世界座標系における自車線上の空間を自車線領域として求めるように構成されている。自車線領域の求め方の詳細については後述する。

【0035】

算出部３３は、撮像画像に基づいて、信号機検出部３１によって検出された交通信号機の正面が自車両に向いている度合い（以下、「自車両向き度」という。）を算出するように構成されている。自車両向き度の算出方法については後に詳述する。

【0036】

信号機識別部３４は、信号機検出部３１の検出結果、領域認識部３２の認識結果、及び算出部３３の算出結果に基づいて、自車両を対象とする交通信号機の識別を行うように構成されている。自車両を対象とする交通信号機の識別方法についても後に詳述する。

【0037】

［２－２．処理］
次に、画像認識装置１０２が実行する信号機識別処理について、図６のフローチャートを用いて説明する。信号機識別処理は、撮像装置１１から撮像画像が入力される度に実行される。

【0038】

まず、Ｓ２０１で、画像認識装置１０２は、撮像画像において上述のとおり交通信号機の検出処理を行う。例えば、図７に示す撮像画像では、２つの交通信号機６１，６２が検出され、交通信号機６１，６２のそれぞれを取り囲む検出枠６３，６４が設定されている。

【0039】

続いて、Ｓ２０２で、画像認識装置１０２は、Ｓ２０１の処理で交通信号機が検出されたか否かを判定する。
画像認識装置１０２は、Ｓ２０２で交通信号機が検出されなかったと判定した場合には、図６の信号機識別処理を終了する。

【0040】

一方、画像認識装置１０２は、Ｓ２０２で交通信号機が検出されたと判定した場合には、Ｓ２０３へ移行し、複数の交通信号機が検出されたか否かを判定する。
画像認識装置１０２は、複数の交通信号機が検出されなかった、すなわち検出された信号機がただ１つであると判定した場合には、Ｓ２０４へ移行し、その交通信号機が自車両向けであると判定する。

【0041】

一方、画像認識装置１０２は、Ｓ２０３で、複数の交通信号機が検出されたと判定した場合には、Ｓ２０５へ移行し、複数の交通信号機間で点灯色が異なるか否かを判定する。
画像認識装置１０２は、Ｓ２０５で複数の交通信号機間で点灯色が同じであると判定した場合には、Ｓ２０６へ移行し、自車両に最も近い交通信号機が自車両向けであると判定する。点灯色が同じ複数の交通信号機が検出された場合は、主に、片側の車線数が多い道路において同一の動作を行う交通信号機が複数設置されている場合が想定されるため、これらの交通信号機が自車両向けであると画像認識装置１０２は判定する。ただし、自車両の進行方向において交差点が短い距離で連続して存在している場合には、手前側の交差点にある交通信号機と奥側の交差点にある交通信号機とが検出される可能性がある。そのため、世界座標系において奥行き方向に自車両に最も近い交通信号機が自車両向けであると、画像認識装置１０２は判定する。

【0042】

一方、画像認識装置１０２は、Ｓ２０５で複数の交通信号機間で点灯色が異なると判定した場合には、Ｓ２０７へ移行し、自車線領域の認識処理を行う。具体的には、画像認識装置１０２は、図７に示すように、世界座標系において、自車線を画定する一対の画定線６５ａ，６５ｂを認識し、これらの一対の画定線６５ａ，６５ｂを奥行き方向に延長した一対の延長線６６ａ，６６ｂを求める。そして、画像認識装置１０２は、これらの線に挟まれている平面領域上の空間を自車線領域として認識する。

【0043】

続いて、Ｓ２０８で、画像認識装置１０２は、自車線領域を認識できたか否かを判定する。例えば、図９に示す撮像画像では、自車線を画定する一対の画定線が画角外にあり検出されないため、画像認識装置１０２は、自車線領域を認識できなかったと判定する。

【0044】

画像認識装置１０２は、Ｓ２０８で自車線領域を認識できたと判定した場合には、Ｓ２０９へ移行し、自車線領域内にある交通信号機の数が０又は複数であるか否かを判定する。
各交通信号機が自車線領域内にあるか否かの判定は、第１実施形態におけるＳ１０６及びＳ１０７の処理と同様の手法により行われる。具体的には、画像認識装置１０２は、上述の一対の延長線のそれぞれを構成する点のうち、交通信号機の検出枠の重心と奥行き方向において最も近い点を、一対の対応点として特定する。そして、画像認識装置１０３は、自車両の幅方向において、交通信号機の検出枠の重心が一対の対応点の座標の間にあるか否かにより、その交通信号機が自車線領域内にあるか否かを判定する。

【0045】

このように各交通信号機について自車線領域内にあるか否かを判定することにより、自車線領域内にある交通信号機の数を求める。
画像認識装置１０２は、Ｓ２０９で自車線領域内の交通信号機の数が１つであると判定した場合には、Ｓ２１０へ移行し、その交通信号機が自車両向けであると判定する。一方、画像認識装置１０２は、Ｓ２０９で自車線領域内の交通信号機の数が０又は複数であると判定した場合には、Ｓ２１１へ移行する。

【0046】

Ｓ２０８の説明に戻り、画像認識装置１０２は、自車線領域を認識できなかったと判定した場合には、Ｓ２０９をスキップして、Ｓ２１１へ移行する。
Ｓ２１１で、画像認識装置１０２は、自車線領域内にある各交通信号機について、自車両向き度を算出する。具体的には、図８に示すように、各交通信号機の検出枠内の領域において点灯部と点灯部以外の部分とに分ける二値化処理を行うことにより、点灯部を抽出する。そして、点灯部を構成する画素の座標から共分散行列を求め、２つの固有値を算出する。なお、２つの固有値のうち、大きい方を第１固有値、小さい方を第２固有値とする。そして、第１固有値に対する第２固有値の比を自車両向き度として算出する。この比は、点灯部を楕円に近似した場合の、長軸の長さに対する短軸の長さの比を表す。交通信号機の正面が自車両の真正面を向いている場合には、点灯部が真円になるため、上記比が１となる。そして、上記比が１に近いほど点灯部の形状が真円に近く、交通信号機の正面が自車両を向いている度合いが高いと推測される。

【0047】

続いて、Ｓ２１２で、画像認識装置１０２は、複数の交通信号機のうち、自車両向き度が最も大きい交通信号機が自車両向けであると判定する。例えば、図７に示す撮像画像では、右側の交通信号機６１が自車両向けであり、左側の交通信号機６２が、自車両の左側にあるビル６７の奥に隠れている道路上の車両向けである。この場面において、図８に示すように、右側の交通信号機６１の自車両向き度の方が、左側の交通信号機６２の自車両向き度よりも大きい。そのため、右側の交通信号機６１が自車両向けであると正しく判定される。また例えば、図９に示す撮像画像では、左側の交通信号機６８が自車線と交差する道路上の車両向けであり、左側の交通信号機６９が自車両向けである。この場面において、図１０に示すように、右側の交通信号機６９の自車両向き度の方が、左側の交通信号機６８の自車両向き度よりも大きい。そのため、右側の交通信号機６９が自車両向けであると正しく判定される。

【0048】

その後、画像認識装置１０２は、図６の信号機識別処理を終了する。
［２－３．効果］
以上詳述した第２実施形態によれば、以下の効果が得られる。

【0049】

（２ａ）画像認識装置１０２は、撮像画像に基づいて交通信号機の自車両向き度を算出し、自車両向き度に基づいて自車両を対象とする交通信号機を識別するように構成されている。具体的には、画像認識装置１０２は、複数の交通信号機のうち自車両向き度が最も大きい交通信号機を、自車両を対象とする交通信号機であると特定する。

【0050】

交通信号機は、通常、交通信号機が指示しようとする車両に向かい合うように設置されている。そのため、自車両から見て、自車両向けの交通信号機は交通信号機の真正面が向いているように見え、そうでない交通信号機、例えば、自車線がある道路と交差する他の道路にある交通信号機は、傾いて見える。そのため、上記構成のように、交通信号機の正面が自車両に向いている度合いである自車両向き度を用いることにより、自車両を対象とする交通信号機を適切に識別することができる。

【0051】

（２ｂ）画像認識装置１０２は、自車線領域内に存在する交通信号機が０又は複数であることを条件として、上記のような、自車両向き度に基づく自車両を対象とする交通信号機の識別を行う。自車線領域内に存在する交通信号機が０又は複数でなくただ１つである場合には、その交通信号機が自車両向けである可能性が高い。よって、この場合には自車両向き度の算出を行わないようにすることで、信号機識別処理を高速化できる。

【0052】

（２ｃ）画像認識装置１０２は、複数の交通信号機の点灯色が異なることを条件として、上記のような、自車両向き度に基づく自車両を対象とする交通信号機の識別を行う。複数の交通信号機間で点灯色が同じである場合は、主に、片側の車線数が多い道路において同一の動作を行う交通信号機が複数設置されている場合が想定される。そのため、検出された複数の交通信号機が自車両向けである可能性が高い。よって、この場合には自車両向き度の算出を行わないようにすることで、信号機識別処理を高速化できる。

【0053】

なお、第２実施形態では、Ｓ２０１が信号機検出部３１としての処理に相当し、Ｓ２０７が領域認識部３２としての処理に相当し、Ｓ２１１が算出部３３としての処理に相当し、Ｓ２０４、Ｓ２１０、及びＳ２１２が信号機識別部３４としての処理に相当する。

【0054】

［３．第３実施形態］
［３－１．構成］
第３実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

【0055】

図１１に示す画像認識装置１０３は、車両に搭載され、その車両に搭載された撮像装置１１から入力される撮像画像に基づいて道路標識を検出するとともに、検出された道路標識が自車両を対象とするか否かを判定する装置である。

【0056】

画像認識装置１０３は、半導体メモリに格納されたプログラムをＣＰＵが実行することにより実現される機能ブロックとして、標識検出部４１と、車線認識部４２と、車線特定部４３と、合流・分岐識別部４４と、立体物検出部４５と、判定部４６とを備える。

【0057】

標識検出部４１は、撮像画像に基づいて道路標識を検出可能に構成されている。具体的には、標識検出部４１は、機械学習により構築されたモデルに基づいて道路標識を検出し、検出された道路標識について、上述の世界座標系における座標を求める。また、道路標識が検出されると、標識検出部４１は、撮像画像上において道路標識が存在する部分を取り囲む、矩形の検出枠を設定する。

【0058】

車線認識部４２は、撮像画像に基づいて、自車線を少なくとも含む複数の車線を認識可能に構成されている。具体的には、車線認識部４２は、機械学習により構築されたモデルに基づいて、自車線が属する道路に描かれているラインを検出し、ラインによって分けられている複数の車線を認識する。また、車線認識部４２は、認識された複数の車線について、上述の世界座標系における座標を求める。

【0059】

車線特定部４３は、撮像画像に基づいて、車線認識部４２によって認識された複数の車線のうち、標識検出部４１によって検出された道路標識に最も近い車線を特定するように構成されている。道路標識に最も近い車線の特定方法については後に詳述する。

【0060】

合流・分岐識別部４４は、車線特定部４３によって特定された車線について、自車線に対して合流する車線又は自車線から分岐する車線であるか否かを識別するように構成されている。車線の識別方法についても後に詳述する。

【0061】

立体物検出部４５は、車線認識部４２によって認識された複数の車線が属する道路の道路端を表す立体物を検出可能に構成されている。ここでいう立体物としては、縁石、ブロック、柵、遮音壁、ガードレール、中央分離帯等が挙げられる。立体物検出部４５は、機械学習により構築されたモデルに基づいてこれらの立体物を検出し、上述の世界座標系における座標を求める。立体物の検出方法の詳細についても後述する。

【0062】

判定部４６は、標識検出部４１によって検出された道路標識が、自車両を対象とするか否かを判定するように構成されている。判定方法についても後に詳述する。
［３－２．処理］
次に、画像認識装置１０３が実行する道路標識判定処理について、図１２のフローチャートを用いて説明する。道路標識判定処理は、撮像装置１１から撮像画像が入力される度に実行される。

【0063】

まず、Ｓ３０１で、画像認識装置１０３は、撮像画像において上述のとおり道路標識の検出処理を行う。例えば、図１３に示す撮像画像では、道路標識として最高速度を標示する標識７１が検出され、標識７１を取り囲む検出枠７２が設定されている。

【0064】

続いて、Ｓ３０２で、画像認識装置１０３は、Ｓ３０１の処理で道路標識が検出されたか否かを判定する。
画像認識装置１０３は、Ｓ３０２で道路標識が検出されなかったと判定した場合には、図１２の道路標識判定処理を終了する。

【0065】

一方、画像認識装置１０３は、Ｓ３０２で道路標識が検出されたと判定した場合には、Ｓ３０３へ移行し、図１４に示すように、自車両から道路標識までの奥行き方向の距離ｘが所定の閾値以上であるか否かを判定する。距離ｘは、標識７１の検出枠７２の重心の奥行き方向における座標に基づいて算出される。

【0066】

画像認識装置１０３は、距離ｘが所定の閾値未満であると判定した場合には、Ｓ３０４へ移行し、判定不可とする。道路標識が自車両に近すぎる場合、撮像画像の画角外に道路のラインが隠れて検出できないなど、道路標識の周辺環境の認識精度が低いためである。

【0067】

一方、画像認識装置１０３は、Ｓ３０３で距離ｘが閾値以上であると判定した場合には、Ｓ３０５へ移行し、上述のとおり自車線を含む複数の車線の認識処理を行う。例えば、図１３に示す撮像画像では、３つの車線７３～７５が認識されている。

【0068】

また、Ｓ３０５で、画像認識装置１０３は、上述のとおり道路端を表す立体物を検出する。具体的には、画像認識装置１０３は、自車線と略平行に延びるように設置されている立体物のうち、自車線の左側及び右側のそれぞれにおいて最も自車線寄りにあるものを道路端として検出する。例えば、図１３に示す撮像画像では、道路の両端に設置されている２つの遮音壁７６ａ，７６ｂが、立体物として検出されている。なお、奥の方に見える、車線７３と車線７４との境界に設置されている遮音壁７７は、自車両から遠い位置にあるため現段階では立体物として検出されていない。また例えば、図１５に示す撮像画像では、自車線８２が属する道路と、当該道路と並走する側道８３との境界に設置されている構造体８４、及び、対向車線との境界に設置されたブロック８５が立体物として検出されている。

【0069】

続いて、Ｓ３０６で、画像認識装置１０３は、自車両の幅方向において自車両から離れる向きにおける、道路標識と立体物との距離ｙが所定の閾値以下であるか否かを判定する。距離ｙは、例えば図１５に示す撮像画像では、図１６に示すように、自車両から遠ざかる方向における構造体８４から標識８１までの距離である。

【0070】

距離ｙを求めるにあたり、まず、画像認識装置１０３は、第１実施形態におけるＳ１０６の処理と同様の手法により、立体物を構成する点のうち、道路標識の検出枠の重心と奥行き方向において最も近い対応点を一対の対応点として特定する。そして、画像認識装置１０３は、自車両の幅方向における道路標識の検出枠の重心の座標と、自車両の幅方向における一対の対応点の座標とに基づいて、距離ｙを算出する。

【0071】

画像認識装置１０３は、Ｓ３０６で、距離ｙが所定の閾値よりも大きいと判定した場合には、Ｓ３０７へ移行し、検出された道路標識が自車両向けでないと判定する。道路標識が、自車両の幅方向において自車両から離れる向きに立体物からかなり離れている場合には、その道路標識が、自車線が属する道路ではない他の道路、例えば、自車線が属する道路に並走する側道等のために設置されているものである可能性が高い。例えば、図１７に示す撮像画像では、図１８に示すように、自車線が属する道路の道路端に設置されている標識９１は、自車両の幅方向において、車道と歩道との境界に設置されている立体物であるガードレール９２と略同じ位置にある。これに対し、図１５に示す撮像画像では、図１６に示すように、側道８３に設置されている標識８１は、自車線８２が属する道路と側道８３との境界に設置されている立体物である構造体８４よりも、かなり離れた位置にある。そのため、距離ｙが所定の閾値よりも大きく、検出された道路標識が、自車両の幅方向において自車両から離れる向きに立体物からかなり離れている場合には、画像認識装置１０３は、その道路標識が自車両向けでないと判定する。

【0072】

一方、画像認識装置１０３は、Ｓ３０６で距離ｙが所定の閾値以下であると判定した場合には、Ｓ３０８へ移行し、Ｓ３０５で認識された複数の車線のそれぞれについて、車線の種類を識別する。具体的には、各車線について、自車線か、自車線に対して合流する車線又は自車線から分岐する車線か、これら以外の他の車線（例えば、自車線に隣接する隣接車線等）かを認識する。自車線は、自車線を画定する一対の画定線を認識することにより認識される。自車線に対して合流する車線又は自車線から分岐する車線は、例えば、図１３に示すようなゼブラ帯７８の有無、道路形状等に基づいて識別される。他の車線としては、自車線に隣接する隣接車線、その隣接車線に隣接する隣隣接車線等の、自車線から連続して存在する自車線に並走する車線が該当する。例えば、図１３に示す撮像画像では、車線７３が自車線から分岐する車線であり、車線７４が自車線であり、車線７５が隣接車線であると識別される。

【0073】

続いて、Ｓ３０９で、画像認識装置１０３は、複数の車線のうち道路標識に最も近い車線を特定する。具体的には、まず、画像認識装置１０３は、第１実施形態におけるＳ１０６の処理と同様の手法により、各車線の中心線を構成する点のうち、道路標識の検出枠の重心と奥行き方向において最も近い対応点を特定する。そして、画像認識装置１０３は、自車両の幅方向における各対応点の座標と、自車両の幅方向における道路標識の検出枠の重心の座標とを比較することにより、道路標識に最も近い車線を特定する。例えば、図１３に示す撮像画像では、図１４に示すように、車線７３が、標識７１に最も近い車線として特定される。

【0074】

続いて、Ｓ３１０で、画像認識装置１０３は、自車両の幅方向において自車両から離れる向きにおける、道路標識に最も近い車線と道路標識との距離ｚが所定の閾値以下であるか否かを判定する。距離ｚは、距離ｙの算出と同様に、自車両の幅方向における道路標識の検出枠の重心と、道路標識に最も近い車線の中心線の座標とに基づいて算出される。

【0075】

画像認識装置１０３は、Ｓ３１０で、距離ｚが所定の閾値よりも大きいと判定した場合には、Ｓ３０４へ移行し、判定不可とする。例えば、道路標識は検出されたものの、複数の車線又は立体物の、一部又は全部が、撮像画像の画角外（例えば、撮像画像の下側又は左側等）に隠れてしまうことにより、複数の車線及び立体物を上手く検出できない場合がある。このような場合には、図１９に示すように、標識９５が、片側の車線数が多い道路の端に設置されており自車両を対象とするものなのか、図２０に示すように、自車線が属する道路に並走する側道９６に設置されており自車両を対象としないものなのか、判別することができない。よって、道路標識が、道路標識に最も近い車線よりもかなり離れた位置にある場合には、画像認識装置１０３は、その道路標識が自車両向けか否かの判定を行わない。

【0076】

一方、画像認識装置１０３は、Ｓ３１０で、距離ｚが所定の閾値以下であると判定した場合には、Ｓ３１１へ移行し、道路標識に最も近い車線が、自車線に対して合流する車線又は自車線から分岐する車線であるか否かを判定する。

【0077】

画像認識装置１０３は、Ｓ３１１で、道路標識に最も近い車線が、自車線に対して合流する車線又は自車線から分岐する車線であると判定した場合には、Ｓ３０７へ移行し、検出された道路標識が自車両向けではないと判定する。例えば、図１３に示す撮像画像では、標識７１に最も近い車線７３が自車線から分岐する車線であるため、標識７１は、自車両向けではないと正しく判定される。

【0078】

一方、画像認識装置１０３は、Ｓ３１１で、道路標識に最も近い車線が、自車線に対して合流する車線又は自車線から分岐する車線でない、すなわち、自車線、又は隣接車線等の他の車線である、と判定した場合には、Ｓ３１２へ移行し、道路標識が自車両向けであると判定する。

【0079】

その後、画像認識装置１０３は、図１２の道路標識判定処理を終了する。
［３－３．効果］
（３ａ）画像認識装置１０３は、撮像画像に基づいて、複数の車線のうち検出された道路標識に最も近い車線を特定し、道路標識に最も近い車線について、自車線に対して合流する車線又は前記自車線から分岐する車線であるか否かを識別する。そして、画像認識装置１０３は、道路標識に最も近い車線が、自車線に対して合流する車線又は自車線から分岐する車線であると識別された場合に、その道路標識が自車両を対象としないと判定する。

【0080】

このような構成によれば、自車線に対して合流する車線又は自車線から分岐する車線を対象として設置されている道路標識の情報を、自車両への運転支援に使用する情報から適切に除外することができる。

【0081】

（３ｂ）画像認識装置１０３は、検出された道路標識が、道路端を表す立体物から、自車両の幅方向において自車両から離れる向きに所定の距離以上離れている場合には、道路標識に最も近い車線が、自車線に対して合流する車線又は自車線から分岐する車線であると識別されたか否かによらず、検出された道路標識が自車両を対象としないと判定する。

【0082】

このような構成によれば、自車両が走行する道路とは異なる他の道路、例えば、側道等に設置されている道路標識の情報を、自車両への運転支援に使用する情報から適切に除外することができる。

【0083】

（３ｃ）画像認識装置１０３は、検出された道路標識が、道路標識に最も近い車線から、自車両の幅方向において自車両から離れる向きに所定の距離以上離れている場合には、その道路標識が自車両を対象とするか否かの判定を行わない。
検出された道路標識が、道路標識に最も近い車線よりもかなり離れた位置にある場合には、その道路標識の周辺にある複数の車線又は立体物等を適切に検出できていない可能性がある。よって、このような構成によれば、検出された道路標識が自車両を対象とするか否かを誤判定することが抑制される。

【0084】

なお、第３実施形態では、Ｓ３０１が標識検出部４１としての処理に相当し、Ｓ３０５が車線認識部４２及び立体物検出部４５としての処理に相当する。また、Ｓ３０９が車線特定部４３としての処理に相当し、Ｓ３１１が合流・分岐識別部４４としての処理に相当し、Ｓ３０４、Ｓ３０７、及びＳ３１２が判定部４６としての処理に相当する。

【0085】

［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

【0086】

（４ａ）上記第１実施形態では、画像認識装置１０１が、路面上に描かれた、特定の車線を対象とする情報を標示する道路標示を標示物として検出しているが、画像認識装置１０１が検出する標示物はこれに限定されるものではない。例えば、標示物は、道路の周囲、具体的には、道路の上に配置された、特定の車線を対象とする情報を標示する道路標識であってもよい。

【0087】

（４ｂ）上記第２実施形態では、自車両向き度が、抽出された点灯部を楕円に近似した場合の、長軸の長さに対する短軸の長さに基づいて算出されているが、自車両向き度の算出方法はこれに限定されない。例えば、自車両向き度は、点灯部の周囲長と面積とから算出される円形度、点灯部の外接円に対して点灯部が占める面積の割合等に基づいて算出されてもよい。また、自車両向き度は、これらのように、交通信号機における点灯部の形状の、交通信号機の正面が自車両を向いている状態の点灯部の形状への近さに基づいて算出されるのではなく、交通信号機の検出枠に対して点灯部が占める面積の割合等に基づいて算出されてもよい。また、自車両向き度は、点灯部の形状又は交通信号機の検出枠の形状的特徴に基づいて、事例データベースと照合して算出されてもよく、機械学習により構築されたモデルに基づいて算出されてもよい。

【0088】

（４ｃ）上記第２実施形態では、画像認識装置１０２が、複数の交通信号機のうち自車両向き度が最も大きい交通信号機を、自車両を対象とする交通信号機であると特定している。しかし、画像認識装置１０２は、単に、検出された交通信号機の自車両向き度が所定の閾値以上である場合には、その交通信号機が自車両を対象とする交通信号機であると判定してもよい。

【0089】

（４ｄ）上記第１実施形態～第３実施形態では、画像認識装置１０１～１０３が、撮像装置１１から入力される単一の撮像画像ごとに判定結果を出力しているが、所定の時間間隔で撮影された複数の撮像画像ごとの判定結果を多数決処理し、最終的な判定結果を出力してもよい。

【0090】

（４ｅ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。

【0091】

（４ｆ）画像認識装置１０１～１０３に含まれる各部の機能を実現する方法はソフトウェアに限るものではなく、その一部又は全部の機能は、１つ又は複数のハードウェアを用いて実現されてもよい。例えば、上記機能が、ハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路又はアナログ回路、あるいはこれらの組み合わせによって実現されてもよい。

【0092】

（４ｇ）本開示は、上述した画像認識装置１０１～１０３の他、当該画像認識装置１０１～１０３を構成要素とするシステム、当該画像認識装置１０１～１０３としてコンピュータを機能させるためのプログラム、このプログラムを記録した非遷移的実体的記録媒体、画像認識方法など、種々の形態で実現することができる。

【符号の説明】

【0093】

１１…撮像装置、２１…標示物検出部、２２…画定線認識部、２３…対応点特定部、２４…推定部、３１…信号機検出部、３２…領域認識部、３３…算出部、３４…信号機識別部、４１…標識検出部、４２…車線認識部、４３…車線特定部、４４…合流・分岐識別部、４５…立体物検出部、４６…判定部、１０１～１０３…画像認識装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】