特許 6819996 交通信号認識方法および交通信号認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6819996

(24)【登録日】2021年1月6日

(45)【発行日】2021年1月27日

(54)【発明の名称】交通信号認識方法および交通信号認識装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20210114BHJP

   G08G 1/09 20060101ALI20210114BHJP

   G06T 7/00 20170101ALI20210114BHJP

   G06T 7/90 20170101ALI20210114BHJP

【ＦＩ】

   G06T1/00 330A

   G08G1/09 D

   G06T7/00 650Z

   G06T7/90

【請求項の数】9

【全頁数】25

(21)【出願番号】特願2016-203118(P2016-203118)

(22)【出願日】2016年10月14日

(65)【公開番号】特開2018-63680(P2018-63680A)

(43)【公開日】2018年4月19日

【審査請求日】2019年9月26日

【新規性喪失の例外の表示】特許法第３０条第２項適用 Ｕｎｉｖｅｒｓｉｔ▲ｅ▼ ｄｅ Ｔｅｃｈｎｏｌｏｇｉｅ ｄｅ Ｃｏｍｐｉ▲ｅ▼ｇｎｅ（コンピエーニュ工科大学）にて配布されたＵＳＢの中身において、平成２８年６月１５日に発表

【新規性喪失の例外の表示】特許法第３０条第２項適用 （集会名）ＭＥＣＡＴＲＯＮＩＣＳ−ＲＥＭ２０１６、（開催場所）Ｕｎｉｖｅｒｓｉｔ▲ｅ▼ ｄｅ Ｔｅｃｈｎｏｌｏｇｉｅ ｄｅ Ｃｏｍｐｉ▲ｅ▼ｇｎｅ（コンピエーニュ工科大学）、（開催日）平成２８年６月１６日、において発表

【新規性喪失の例外の表示】特許法第３０条第２項適用 掲載ウェブサイトのアドレス（ｈｔｔｐ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ｄｏｃｕｍｅｎｔ／７５４７１２９／）において、平成２８年８月１８日に発表

(73)【特許権者】

【識別番号】504160781

【氏名又は名称】国立大学法人金沢大学

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(72)【発明者】

【氏名】米陀 佳祐

(72)【発明者】

【氏名】菅沼 直樹

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２０１３−１６４８５３（ＪＰ，Ａ）

【文献】 特開２０１６−１４３３２４（ＪＰ，Ａ）

【文献】 特開２０１４−２１５９２５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ９／４０

Ｇ０８Ｇ １／００ −９９／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

道路に設置された信号機の点灯色を交通信号として認識する交通信号認識方法であって、
車両に搭載されたカメラによる撮影によって撮影画像を取得する画像取得ステップと、
前記車両周辺に設置されている複数の信号機の位置および向きを示す地図情報、ならびに前記車両の状態に基づいて、前記複数の信号機の中から、前記車両に対向する第１の信号機を検索する検索ステップと、
前記地図情報、前記車両の状態および前記カメラの状態に基づいて、前記撮影画像の中から、前記第１の信号機を含む領域を第１の関心領域として算出する関心領域算出ステップと、
算出された前記第１の関心領域内の各位置における前記第１の信号機の存在確率を示す事前確率分布を算出する分布算出ステップと、
前記第１の関心領域の画像のコントラストを、前記事前確率分布にしたがって更新することによって、コントラスト更新画像を生成するコントラスト更新ステップと、
前記コントラスト更新画像から特徴点を抽出することによって、前記第１の関心領域内における前記第１の信号機の点灯部分の領域を点灯領域として特定する点灯領域特定ステップと、
特定された前記点灯領域の色に基づいて、前記第１の信号機の点灯色を認識する認識ステップと
を含む交通信号認識方法。

【請求項2】

前記事前確率分布は、前記第１の関心領域の中央に近いほど高い存在確率を示す
請求項１に記載の交通信号認識方法。

【請求項3】

前記コントラスト更新ステップでは、
前記第１の関心領域内の各位置の画素値を、前記事前確率分布によって示される当該位置の存在確率が高いほど、大きな画素値に変更することによって、前記第１の関心領域の画像のコントラストを更新する
請求項１または２に記載の交通信号認識方法。

【請求項4】

前記検索ステップでは、
前記複数の信号機の中から、前記車両に対向する信号機として、さらに第２の信号機を検索し、
前記関心領域算出ステップでは、
前記地図情報、前記車両の状態および前記カメラの状態に基づいて、前記撮影画像の中から、さらに、前記第２の信号機を含む領域を第２の関心領域として算出し、
前記分布算出ステップでは、
認識対象の信号機に対して予め定められた２次元空間内の確率分布を示す第１のテンプレートを、前記第１の関心領域のサイズに調整し、
認識対象外の信号機に対して予め定められた２次元空間内の確率分布を示す第２のテンプレートを、前記第２の関心領域のサイズに調整し、
それぞれサイズ調整された前記第１のテンプレートと前記第２のテンプレートとを、前記第１および第２の関心領域の配置にしたがって加算することによって、前記第１の関心領域内の各位置における確率を示す地図確率分布を算出し、
前記地図確率分布に基づいて前記事前確率分布を算出する
請求項１〜３の何れか１項に記載の交通信号認識方法。

【請求項5】

前記第１のテンプレートは、２次元空間の水平方向の中央に近いほど高い存在確率を示し、前記第２のテンプレートは、２次元空間の水平方向および垂直方向のそれぞれの中央に近いほど低い存在確率を示す
請求項４に記載の交通信号認識方法。

【請求項6】

前記交通信号認識方法は、さらに、
前記認識ステップによって前記第１の信号機の点灯色が認識されたときには、前記第１の関心領域内において、特定された前記点灯領域に近いほど高い存在確率を示す観測確率分布を算出し、前記観測確率分布を前記事前確率分布に加算することによって、事後確率分布を算出する事後分布算出ステップを含み、
前記画像取得ステップによって、前記撮影画像に後続する撮影画像である後続画像がさらに取得されたときには、
前記関心領域算出ステップでは、さらに、
前記後続画像から前記第１の関心領域を再び算出し、
前記分布算出ステップでは、さらに、
再び算出された前記第１の関心領域に対して前記地図確率分布を算出し、
前記地図確率分布に前記事後確率分布を加算することによって、前記事前確率分布を更新し、
前記コントラスト更新ステップでは、さらに、
再び算出された前記第１の関心領域に対する前記コントラスト更新画像の生成を、更新された前記事前確率分布にしたがって行う
請求項４または５に記載の交通信号認識方法。

【請求項7】

前記交通信号認識方法は、さらに、
前記認識ステップにおいて前記第１の信号機の点灯色を認識することができなかったときには、機械学習を利用して前記第１の関心領域の画像から前記第１の信号機の点灯色を認識する再認識ステップを含む
請求項１〜６の何れか１項に記載の交通信号認識方法。

【請求項8】

前記コントラスト更新ステップでは、
色空間を構成する色相、彩度および明度のうちの、彩度および明度のみによって表現される前記第１の関心領域の画像のコントラストを更新する
請求項１〜７の何れか１項に記載の交通信号認識方法。

【請求項9】

道路に設置された信号機の点灯色を交通信号として認識する交通信号認識装置であって、
撮影によって撮影画像を取得する、車両に搭載されたカメラと、
前記車両周辺に設置されている複数の信号機の位置および向きを示す地図情報、ならびに前記車両の状態に基づいて、前記複数の信号機の中から、前記車両に対向する第１の信号機を検索する検索部と、
前記地図情報、前記車両の状態および前記カメラの状態に基づいて、前記撮影画像の中から、前記第１の信号機を含む領域を第１の関心領域として算出する関心領域算出部と、
算出された前記第１の関心領域内の各位置における前記第１の信号機の存在確率を示す事前確率分布を算出する確率分布算出部と、
前記第１の関心領域の画像のコントラストを、前記事前確率分布にしたがって更新することによって、コントラスト更新画像を生成する画像処理部と、
前記コントラスト更新画像から特徴点を抽出することによって、前記第１の関心領域内における前記第１の信号機の点灯部分の領域を点灯領域として特定し、特定された前記点灯領域の色に基づいて、前記第１の信号機の点灯色を認識する信号認識部と
を備える交通信号認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば車両の自動運転のために交通信号を認識する方法および装置に関する。

【背景技術】

【0002】

現在、車両の自動運転に関する研究が企業および大学などにおいて活発に進められている。車両が公道を自動運転するためには、公道に設置されている信号機の点灯色を交通信号として認識する必要がある。また、車載カメラによる撮影によって得られた画像に対して、地図情報を利用して、信号機の位置を含む関心領域を設定し、その関心領域から、交通信号を認識する技術が提案されている（例えば、非特許文献１参照）。このような関心領域を設定することにより、認識の処理が行われる画像領域を限定することができ、認識の処理負担を軽減し、その認識の処理速度を向上することができる。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Ｎ． Ｆａｉｒｆｉｅｌｄ ａｎｄ Ｃ． Ｕｒｍｓｏｎ： Ｔｒａｆｆｉｃ Ｌｉｇｈｔ Ｍａｐｐｉｎｇ ａｎｄ Ｄｅｔｅｃｔｉｏｎ， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１１ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ， ｐ．５４２１−５４２６ （２０１１）

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記非特許文献１の技術を用いても、交通信号の認識精度が低いという問題がある。

【0005】

そこで、本発明は、かかる問題に鑑みてなされたものであって、交通信号の認識精度を向上した交通信号認識方法および交通信号認識装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の一態様に係る交通信号認識方法は、道路に設置された信号機の点灯色を交通信号として認識する交通信号認識方法であって、車両に搭載されたカメラによる撮影によって撮影画像を取得する画像取得ステップと、前記車両周辺に設置されている複数の信号機の位置および向きを示す地図情報、ならびに前記車両の状態に基づいて、前記複数の信号機の中から、前記車両に対向する第１の信号機を検索する検索ステップと、前記地図情報、前記車両の状態および前記カメラの状態に基づいて、前記撮影画像の中から、前記第１の信号機を含む領域を第１の関心領域として算出する関心領域算出ステップと、算出された前記第１の関心領域内の各位置における前記第１の信号機の存在確率を示す事前確率分布を算出する分布算出ステップと、前記第１の関心領域の画像のコントラストを、前記事前確率分布にしたがって更新することによって、コントラスト更新画像を生成するコントラスト更新ステップと、前記コントラスト更新画像から特徴点を抽出することによって、前記第１の関心領域内における前記第１の信号機の点灯部分の領域を点灯領域として特定する点灯領域特定ステップと、特定された前記点灯領域の色に基づいて、前記第１の信号機の点灯色を認識する認識ステップとを含む。

【0007】

また、上記目的を達成するために、本発明の一態様に係る交通信号認識装置は、道路に設置された信号機の点灯色を交通信号として認識する交通信号認識装置であって、撮影によって撮影画像を取得する、車両に搭載されたカメラと、前記車両周辺に設置されている複数の信号機の位置および向きを示す地図情報、ならびに前記車両の状態に基づいて、前記複数の信号機の中から、前記車両に対向する第１の信号機を検索する検索部と、前記地図情報、前記車両の状態および前記カメラの状態に基づいて、前記撮影画像の中から、前記第１の信号機を含む領域を第１の関心領域として算出する関心領域算出部と、算出された前記第１の関心領域内の各位置における前記第１の信号機の存在確率を示す事前確率分布を算出する確率分布算出部と、前記第１の関心領域の画像のコントラストを、前記事前確率分布にしたがって更新することによって、コントラスト更新画像を生成する画像処理部と、前記コントラスト更新画像から特徴点を抽出することによって、前記第１の関心領域内における前記第１の信号機の点灯部分の領域を点灯領域として特定し、特定された前記点灯領域の色に基づいて、前記第１の信号機の点灯色を認識する信号認識部とを備える。

【0008】

このような交通信号認識方法および交通信号認識装置では、第１の関心領域の画像のコントラストが、事前確率分布にしたがって更新されることによって、コントラスト更新画像が生成される。したがって、そのコントラスト更新画像内において、第１の信号機が存在する確率の高い位置と、第１の信号機が存在する確率の低い位置とにおける画素値のコントラストを大きくすることができる。そして、そのコントラスト更新画像に基づいて点灯領域が特定されるため、第１の関心領域に第１の信号機以外の他の信号機が含まれていても、第１の信号機の点灯部分に対応する点灯領域をその第１の関心領域から正確に特定することができる。その結果、第１の信号機の点灯色を適切に認識することができ、交通信号の認識精度を向上することができる。

【0009】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0010】

本発明の交通信号認識方法は、交通信号の認識精度を向上することができる。

【図面の簡単な説明】

【0011】

【図1A】図１Ａは、単眼カメラによる撮影によって得られた信号機の撮影画像の一例を示す図である。

【図1B】図１Ｂは、単眼カメラによる撮影によって得られた信号機の撮影画像の他の例を示す図である。

【図2】図２は、撮影画像に設定されたＲＯＩ内に複数の信号機が存在する例を示す図である。

【図3】図３は、実施の形態における交通信号認識装置の構成の一例を示すブロック図である。

【図4】図４は、実施の形態における交通信号認識方法の一例を示すフローチャートである。

【図5】図５は、実施の形態における、可視信号機および認識対象信号機の検索を説明するための図である。

【図6】図６は、実施の形態におけるＲＯＩの算出を説明するための図である。

【図7】図７は、実施の形態における地図対数オッズ分布の算出を説明するための図である。

【図8】図８は、実施の形態におけるＲＧＢ画像、Ｓチャネル、Ｖチャネル、およびＳＶ画像の一例を示す図である。

【図9】図９は、Ｈｅｓｓｉａｎ行列の行列式の値ｄｅｔ（Ｈ）に応じて分類される特徴点の種類を示す図である。

【図10】図１０は、実施の形態における、Ｈｕｅ値の範囲と信号機の状態との関係を示す図である。

【図11】図１１は、実施の形態におけるＲＧＢ画像、事前対数オッズ分布、観測対数オッズ分布および事後対数オッズ分布の一例を示す図である。

【図12】図１２は、各認識方法による交通信号の認識結果を示す図である。

【図13】図１３は、実施の形態における、典型的な走行シーンでの、ＳＶ画像と、適応型コントラスト改善処理によって得られる改善ＳＶ画像と、事前対数オッズ分布とを示す図である。

【図14】図１４は、実施の形態における交通信号認識方法での、認識対象信号機までの距離に応じた正解率と未認識率とを、他の認識方法と比較して示す図である。

【発明を実施するための形態】

【0012】

（本発明の基礎となった知見）
自動運転を行う車両は、Ｌｉｄａｒ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波、カメラ、ＧＮＳＳ（Global Navigation Satellite System）およびＩＭＵ（Inertial Measurement Unit）などのセンサ情報を統合したシステムを用いて以下の処理をリアルタイムで実施する。

【0013】

（処理１）センサ情報から車両周辺の移動物体、障害物、および道路特徴物（白線、縁石または信号機等）を認識する。

【0014】

（処理２）デジタルの地図情報に示される特徴物と、センサ情報とをマッチングすることにより、地図内の車両の現在位置を高精度に推定する。

【0015】

（処理３）認識した移動物体などを示す物体情報、車両の現在位置、および地図の道路情報を用いて、交通法規に従う安全な走行軌道を最適化する。

【0016】

（処理４）最適化された走行軌道に従い車速及びステアリングを滑らかに制御する。

【0017】

上述の（処理１）において道路特徴物などを確実に認識する方法として、地図情報の活用が挙げられる。白線または信号機などの道路特徴物は一般的に固定された物体であるため、事前に整備された地図情報を参照することで、誤認識及び処理コストの削減が期待できる。

【0018】

信号機は自動車の交差点の走行において重要な道路特徴物である。自動運転の場合では、認識した信号機の状態に従って車両を停止する必要があるため、１００ｍ以上遠方からの信号機の認識が要求される。

【0019】

図１Ａおよび図１Ｂは、単眼カメラによる撮影によって得られた信号機の撮影画像の一例を示す図である。具体的には、図１Ａは、昼間の撮影によって得られた撮影画像を示し、図１Ｂは、夜間の撮影によって得られた撮影画像を示す。

【0020】

なお、被写体および背景などを分かり易くするために、図１Ａおよび図１Ｂは、赤色に点灯する信号機が映し出されたカラーの撮影画像を、白と黒によって表現される画像として示す。また、図１Ａおよび図１Ｂにおいて、信号機の赤色に点灯している点灯部分は、白い円として示されている。

【0021】

画像処理による信号機の認識では、一般的に直射日光、昼夜、および背景などによる誤認識が課題となる。なお、信号機の認識は、信号機の点灯色、すなわち交通信号の認識である。例えば、図１Ａに示す昼間の撮影画像と、図１Ｂに示す夜間の撮影画像とには、赤色に点灯する信号機が映し出されているが、これらの撮影画像は画像全体として大きく異なっている。したがって、単純な画像処理による信号機の認識では、その信号機の点灯色を誤認識してしまうことがある。このような課題に対して、自動運転及び高度運転支援システムの分野において、多くの画像処理による手法が提案されている。例えばその手法は、以下のステップ１〜３の処理を含む。

【0022】

（ステップ１）撮影画像中に含まれる信号機の位置を限定し、関心領域（ＲＯＩ， Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を設定する。

【0023】

（ステップ２）信号機の点灯部分を強調した画像を作成する。つまり、ＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ・Ｂｒｉｇｈｔｎｅｓｓ）またはＬＡＢ画像を用いて点灯部分および点灯色を強調する。

【0024】

（ステップ３）作成した画像に対して閾値判定または機械学習による識別を行い、信号機および点灯色を認識する。

【0025】

これまで、単眼カメラと地図情報とを活用した信号機の認識方法が提案されている。その提案されている認識方法では、地図情報に基づいてＲＯＩを設定するだけでなく、深層学習による識別器を用いることで認識精度の改善を達成した。

【0026】

ここで、自動運転において、認識した信号機の状態（すなわち点灯色）は、走行を予定する交差点の状態を判断するために利用される。したがって、地図情報の信号機は、位置情報を持つだけでなく、各交差点および各停止線などと対応付けられている。そのため、信号機を認識する際には、ＲＯＩごとに対応する信号機を画像中から認識することが重要である。

【0027】

しかし、市街地の道路、特に、近距離に複数の交差点が並ぶ直線道路では、撮影画像のＲＯＩ内に複数の信号機が観測される場合が存在する。

【0028】

図２は、撮影画像に設定されたＲＯＩ内に複数の信号機が存在する例を示す図である。

【0029】

上述の提案されている認識手法では、いずれかの信号機または全ての信号機を認識することが期待できるが、ＲＯＩに対応する１つの信号機のみを認識することは困難である。つまり、ＲＯＩを設定して深層学習による認識器を用いた認識方法であっても、認識精度が十分とは言えない。

【0030】

そこで、本発明の一態様に係る交通信号認識方法および交通信号認識装置では、ＲＯＩ内の各位置において、認識対象の信号機が存在する確率を示す確率分布を定義することで、信号機の認識精度を向上する。

【0031】

以下、本発明の交通信号認識方法および交通信号認識装置における実施の形態について、図面を参照しながら具体的に説明する。

【0032】

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0033】

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

【0034】

（実施の形態）
［装置構成］
図３は、本実施の形態における交通信号認識装置の構成の一例を示すブロック図である。

【0035】

本実施の形態における交通信号認識装置１００は、車両Ｖ１０に搭載された装置であって、カメラ１０１と、車両状態検出部１０２と、地図情報保持部１０３と、信号機検索部１０４と、ＲＯＩ算出部１０５と、確率分布算出部１０６と、画像処理部１０７と、信号認識部１０８とを備える。

【0036】

車両状態検出部１０２は、車両Ｖ１０の状態を検出する。具体的には、車両状態検出部１０２は、ＧＮＳＳおよびＩＮＳ（Inertial Navigation System）システムを搭載し、車両Ｖ１０の位置および姿勢角を例えば１００Ｈｚで取得する。また、車両状態検出部１０２は、三次元Ｌｉｄａｒを搭載し、周辺の三次元点群を１０Ｈｚで計測してもよい。

【0037】

カメラ１０１は、車両Ｖ１０の前方の画像を撮影画像として撮影する。例えば、カメラ１０１は、１２８０×９６０画素の解像度を持つカラーの撮影画像を７．５Ｈｚで撮影する。

【0038】

地図情報保持部１０３は、地図情報を保持している。この地図情報は、信号機ごとに、その信号機の緯度および経度ならびに方角を示している。つまり、この地図情報は、車両Ｖ１０周辺に設置されている複数の信号機の位置および向きを示す。この地図情報には、各信号機の位置だけでなく、方角も示されているため、この地図情報を参照すれば、信号機が双方向型であるかを確認したり、撮影画像中に認識対象信号機があるかを判断することができる。なお、地図情報には、整備コストの観点から、複数の信号機のそれぞれの高精度の情報は設定されていない。

【0039】

信号機検索部１０４、ＲＯＩ算出部１０５、確率分布算出部１０６、画像処理部１０７および信号認識部１０８は、車両状態検出部１０２によって検出される車両Ｖ１０の状態と、カメラ１０１による撮影によって得られた撮影画像と、地図情報保持部１０３に保持されている地図情報とを用いて、信号機の点灯色を交通信号として認識する。

【0040】

［交通信号認識方法の全体の処理］
図４は、本実施の形態における交通信号認識方法の一例を示すフローチャートである。

【0041】

まず、車両Ｖ１０に搭載されたカメラ１０１は、上述のように撮影によって、撮影画像を予め定められた周期ごとに取得し、車両状態検出部１０２は、車両Ｖ１０の現在位置および姿勢角などを車両Ｖ１０の状態として検出する（ステップＳ１１）。

【0042】

次に、信号機検索部１０４は、地図情報保持部１０３に保持されている地図情報を参照しながら、車両状態検出部１０２によって検出された車両Ｖ１０の状態（すなわち現在位置および姿勢角）に基づいて、車両Ｖ１０周辺の信号機を検索する。このとき、車両状態検出部１０２は、地図情報に示される複数の信号機の中から、車両Ｖ１０に対向する可視信号機（Ｖｉｓｉｂｌｅ ＴＳ）と認識対象信号機（Ｔａｒｇｅｔ ＴＳ）とを検索する。複数の認識対象信号機が見つかった場合には、ＲＯＩ算出部１０５、確率分布算出部１０６、画像処理部１０７および信号認識部１０８は、認識対象信号機ｉごとに、以下のステップＳ１３〜Ｓ２１の処理を繰り返し実行する。

【0043】

すなわち、ＲＯＩ算出部１０５は、地図情報、車両の状態およびカメラ１０１の状態に基づいて、撮影画像の中から、認識対象信号機ｉを含む領域をＲＯＩとして算出する（ステップＳ１３）。

【0044】

次に、確率分布算出部１０６は、算出されたＲＯＩ内の各位置における認識対象信号機ｉの存在確率を示す事前確率分布を算出する（ステップＳ１４）。

【0045】

次に、画像処理部１０７は、ＲＯＩの画像であるＲＧＢ画像の色空間を変換することによってＳＶ画像を生成する（ステップＳ１５）。ＳＶ画像は、ＨＳＶ色空間のうちのＳチャネルとＶチャネルからなる画像である。

【0046】

次に、画像処理部１０７は、ＲＯＩのＳＶ画像のコントラストを、事前確率分布にしたがって更新することによって、コントラスト更新画像を生成する（ステップＳ１６）。このコントラストの更新の処理を、以下、適応型コントラスト改善処理といい、コントラスト更新画像を改善ＳＶ画像という。

【0047】

次に、信号認識部１０８は、コントラスト更新画像である改善ＳＶ画像から特徴点を抽出することによって、ＲＯＩ内における認識対象信号機ｉの点灯部分の領域を点灯領域として特定する（ステップＳ１７）。すなわち、信号認識部１０８は、改善ＳＶ画像に対してＳＵＲＦアルゴリズムを適用することによって、その改善ＳＶ画像から認識対象信号機ｉの点灯領域を抽出する。

【0048】

次に、信号認識部１０８は、特定された点灯領域の色に基づいて、認識対象信号機ｉの点灯色を認識する（ステップＳ１８）。この点灯領域の色は、ＲＯＩの点灯領域においてＲＧＢ色空間によって表現される色であってもよく、ＨＳＶ色空間のうちのＨ（Ｈｕｅ）チャネルによって表現される色であってもよい。すなわち、信号認識部１０８は、点灯領域に対してＨｕｅフィルタリングを行うことによって、認識対象信号機ｉの点灯色を認識する。

【0049】

次に、信号認識部１０８は、認識対象信号機ｉの点灯色を認識することができたか否かを判定する（ステップＳ１９）。ここで、認識対象信号機ｉの点灯色を認識することができなかったと判定したときには（ステップＳ１９のＮＯ）、信号認識部１０８は、機械学習を利用してＲＯＩの画像から認識対象信号機ｉの点灯色を認識する（ステップＳ２０）。

【0050】

次に、確率分布算出部１０６は、ステップＳ１４で算出された事前確率分布を更新するための事後確率分布を算出する（ステップＳ２１）。この事後確率分布が算出された後に、再びステップＳ１４において事前確率分布が算出されるときには、この事後確率分布が反映された事前確率分布が算出される。

【0051】

そして、信号認識部１０８は、ステップＳ１２で複数の認識対象信号機が見つかったときには、ステップＳ１３〜Ｓ２１の処理によって各認識対象信号機に対して認識された点灯色を信号状態として出力する（ステップＳ２２）。

【0052】

以下、ステップＳ１２〜Ｓ２１の各処理について詳細に説明する。

【0053】

［可視信号機・認識対象信号機の検索］
図５は、可視信号機および認識対象信号機の検索を説明するための図である。

【0054】

信号機検索部１０４は、車両Ｖ１０の現在位置と信号機との間の距離と姿勢角とに基づいて、車両Ｖ１０の周辺にあって車両Ｖ１０に対向する複数の信号機を、地図情報から検索する。そして、図５に示すように、信号機検索部１０４は、地図情報に示される、車両Ｖ１０と向かい合う複数の信号機の中から、車両Ｖ１０との間の距離がｄｖ［ｍ］以内の信号機を可視信号機として検索する。さらに、信号機検索部１０４は、地図情報に示されるその複数の信号機の中から、車両Ｖ１０との間の距離がｄ_Ｔ［ｍ］以内（ｄｖ＞ｄ_Ｔ）の信号機を認識対象信号機として検索する。なお、これらの閾値ｄｖおよびｄ_Ｔは、カメラ１０１の解像度およびレンズの条件によって設定される。

【0055】

［ＲＯＩの算出］
図６は、ＲＯＩの算出を説明するための図である。

【0056】

ＲＯＩ算出部１０５は、信号機検索部１０４によって検索された各可視光信号機に対して、画像中のＲＯＩを算出する。つまり、ＲＯＩ算出部１０５は、図６に示すように、信号機ＴＳ１に対してＲＯＩ１を算出し、信号機ＴＳ２に対してＲＯＩ２を算出し、信号機ＴＳ３に対してＲＯＩ３を算出し、信号機ＴＳ４に対してＲＯＩ４を算出する。

【0057】

具体的には、ＲＯＩ算出部１０５は、地図情報に示される緯度および経度を用いて、絶対座標系における信号機の位置を、車両座標系の３次元位置Ｘｖ＝［ｘ_ｖ，ｙ_ｖ，ｚ_ｖ］^Ｔに変換する。より具体的には、ＲＯＩ算出部１０５は、信号機の緯度および経度を平面直角座標系の２次元座標Ｘｗ＝［ｘ_ｗ，ｙ_ｗ］^Ｔに変換し、その２次元座標Ｘｗを車両座標系の２次元座標［ｘ_ｖ，ｙ_ｖ］^Ｔに変換する。また、信号機の高さは、地図情報に含まれていないため、ＲＯＩ算出部１０５は、一般的な信号機の高さから、以下の式（１）にしたがって、車両座標系における信号機の高さｚ_ｖを算出する。

【0058】

【数1】

【0059】

式（１）において、ｚ_０は信号機の基準高さであり、φは車両Ｖ１０のピッチ角であり、ｃ_ｚは任意定数である。これにより、ＲＯＩ算出部１０５は、車両座標系における信号機の位置Ｘｖを得る。次に、ＲＯＩ算出部１０５は、カメラ１０１の内部パラメータを用いた以下の式（２）〜（６）にしたがって、車両座標系の位置を撮影画像内（画像座標系）のピクセル位置（ｕ，ｖ）に変換する。

【0060】

【数2】

【0061】

上記式（２）〜（６）において、Ｘｓ＝［ｘ_ｓ，ｙ_ｓ，ｚ_ｓ，１］^Ｔはセンサ座標系における位置であり、Ｒｖｓは車両座標系からセンサ座標系に変換するための同次変換行列であり、ｆｘ、ｆｙ、ｃ_ｘ、ｃ_ｙ、ｐ_１およびｐ_２はそれぞれカメラ１０１の状態を示す内部パラメータである。以上より、画像座標系における信号機のピクセル位置（ｕ，ｖ）が得られる。ＲＯＩ算出部１０５は、この信号機のピクセル位置を中心とする矩形状のＲＯＩを設定する。具体的には、ＲＯＩ算出部１０５は、以下の式（７）および（８）にしたがって、ＲＯＩの幅ｗ_ｒｏｉ及び高さｈ_ｒｏｉを実際の信号機の大きさに基づいて算出する。

【0062】

【数3】

【0063】

上記式（７）および（８）において、ｓ_ｓ［ｍ］は実際の信号機の大きさであり、ｃ_ｒｏｉはＲＯＩの大きさを設定するための任意定数であり、ｃ_ｈは車両のピッチ角の変化を考慮してＲＯＩを拡大するための任意定数である。

【0064】

［事前確率分布の算出］
撮影画像中に設定されたＲＯＩは、信号機が存在する位置を示している。このＲＯＩを用いることで、時刻ｔおよびピクセル位置（ｕ，ｖ）における認識対象信号機ｉの存在確率ｐ_ｔ，ｉ（ｕ，ｖ）が定義される。対数オッズｌ_ｔ，ｉ（ｕ，ｖ）は、以下の式（９）に示すように確率ｐ_ｔ，ｉ（ｕ，ｖ）から算出される。

【0065】

【数4】

【0066】

確率分布算出部１０６は、ＲＯＩ内の各ピクセル位置における認識対象信号機ｉの存在確率を示す確率分布である事前対数オッズ分布Ｌ_ｔ，ｉ^{Ｐｒｉｏｒ}を、以下の式（１０）に示すように算出する。つまり、事前対数オッズ分布Ｌ_ｔ，ｉ^{Ｐｒｉｏｒ}は、前時刻の事後対数オッズ分布Ｌ_{ｔ−１，ｉ}^Ｐｏｓｔと、地図情報から得られる地図対数オッズ分布Ｌ_ｔ，ｉ^Ｍａｐとの線形和として与えられる。

【0067】

【数5】

【0068】

上記式（１０）において、αは崩壊定数であり、地図対数オッズ分布Ｌ_ｔ，ｉ^Ｍａｐは、認識対象信号機ｉと、その他の認識対象信号機および可視信号機との間の位置関係から算出される確率分布（つまり地図確率分布）である。

【0069】

本実施の形態では、このような事前対数オッズ分布Ｌ_ｔ，ｉ^{Ｐｒｉｏｒ}、すなわち事前確率分布は、ＲＯＩの中央に近いほど高い存在確率を示す。

【0070】

図７は、地図対数オッズ分布の算出を説明するための図である。

【0071】

確率分布算出部１０６は、以下のステップ１〜５にしたがって、地図対数オッズ分布Ｌ_ｔ，ｉ^Ｍａｐを算出する。

【0072】

（ステップ１）確率分布算出部１０６は、認識対象信号機ｉのＲＯＩ内における各ピクセル位置における認識対象信号機ｉの存在確率を示す地図対数オッズ分布Ｌ_ｔ，ｉ^Ｍａｐを０に初期化する。

【0073】

（ステップ２）確率分布算出部１０６は、認識対象信号機ｉのＲＯＩをポジティブＲＯＩに分類する。

【0074】

（ステップ３）確率分布算出部１０６は、他の認識対象信号機および可視信号機のそれぞれのＲＯＩをネガティブＲＯＩに分類する。

【0075】

（ステップ４）確率分布算出部１０６は、ポジティブＲＯＩ内の各ピクセル位置における認識対象信号機ｉの存在確率として、固定の確率分布または対数オッズ分布であるポジティブテンプレートを設定する。さらに、確率分布算出部１０６は、ネガティブＲＯＩ内の各ピクセル位置における認識対象信号機ｉの存在確率として、固定の確率分布または対数オッズ分布であるネガティブテンプレートを設定する。

【0076】

（ステップ５）確率分布算出部１０６は、ポジティブテンプレートおよびネガティブテンプレートのそれぞれを、そのテンプレートに対応するＲＯＩの大きさにリサイズする。さらに、確率分布算出部１０６は、ポジティブテンプレートおよびネガティブテンプレートのそれぞれを、そのテンプレートに対応するＲＯＩの位置に配置する。このとき、確率分布算出部１０６は、ポジティブテンプレートの各ピクセル位置の対数オッズを、ステップ１で０に初期化された地図対数オッズ分布Ｌ_ｔ，ｉ^Ｍａｐに加算する。さらに、確率分布算出部１０６は、ポジティブＲＯＩとネガティブＲＯＩとの少なくとも一部に重なる領域がある場合には、その領域内のネガティブテンプレートの対数オッズを地図対数オッズ分布Ｌ_ｔ，ｉ^Ｍａｐに加算する。

【0077】

ここで、ポジティブテンプレートおよびネガティブテンプレートは例えばガウス分布を用いて定義される。ただし、ピッチ角の変動を考慮して、ポジティブテンプレートにおける垂直方向では、対数オッズは一定値である。

【0078】

このように、確率分布算出部１０６は、認識対象の信号機に対して予め定められた２次元空間内の確率分布を示すポジティブテンプレートをポジティブＲＯＩのサイズに調整する。さらに、確率分布算出部１０６は、認識対象外の信号機に対して予め定められた２次元空間内の確率分布を示すネガティブテンプレートをネガティブＲＯＩのサイズに調整する。このポジティブテンプレートは、２次元空間の水平方向の中央に近いほど高い存在確率を示し、ネガティブテンプレートは、２次元空間の水平方向および垂直方向のそれぞれの中央に近いほど低い存在確率を示す。そして、確率分布算出部１０６は、それぞれサイズ調整されたポジティブテンプレートとネガティブテンプレートとを、ポジティブＲＯＩおよびネガティブＲＯＩの配置にしたがって加算する。これにより、確率分布算出部１０６は、ポジティブＲＯＩ内の各位置における認識対象信号機ｉの存在確率を示す地図確率分布を地図対数オッズ分布Ｌ_ｔ，ｉ^Ｍａｐとして算出する。さらに、確率分布算出部１０６は、上記式（１０）に示すように、その地図対数オッズ分布Ｌ_ｔ，ｉ^Ｍａｐに基づいて事前対数オッズ分布Ｌ_ｔ，ｉ^{Ｐｒｉｏｒ}を算出する。

【0079】

［ＳＶ画像の生成と適応型コントラスト改善処理］
画像処理部１０７は、ＲＯＩ内の画像から、認識対象信号機ｉの点灯部分に対応する領域（点灯領域）が正確に検出されやすくするために、その点灯領域を強調した画像（すなわちコントラスト更新画像）を作成する。一般的に、撮影画像に映し出された信号機の点灯部分は彩度および明度が高いため、画像処理部１０７は、この特性を利用してコントラスト更新画像を作成する。

【0080】

例えば、画像処理部１０７は、ＲＯＩのＲＧＢ画像をＨＳＶ画像に変換し、ＨＳＶ画像におけるＳチャネルとＶチャネルとを掛けあわせることによってＳＶ画像を作成する。画像処理部１０７は、このＳＶ画像に対して適応型コントラスト改善処理を行うことによって、コントラスト更新画像（すなわち改善ＳＶ画像）を生成する。

【0081】

図８は、ＲＧＢ画像、Ｓチャネル、Ｖチャネル、およびＳＶ画像の一例を示す図である。なお、被写体および背景などを分かり易くするために、図８の（ａ）は、赤色に点灯する信号機が映し出されたＲＧＢ画像を、白と黒によって表現される画像として示す。また、図８の（ａ）において、信号機の赤色に点灯している点灯部分は、白い円として示されている。

【0082】

画像処理部１０７は、例えば図８の（ａ）に示すＲＧＢ画像を、図８の（ｂ）および（ｃ）に示すＨＳＶ画像のＳチャネルおよびＶチャネルに変換し、そのＳチャネルとＶチャネルとを掛けあわせることによって、図８の（ｄ）に示すＳＶ画像を生成する。

【0083】

図８の（ｄ）に示すＳＶ画像は、画像内で彩度及び明度の高い領域が白く強調された画像である。一般的なシーンでは、ＳＶ画像を直接用いることで認識対象信号機ｉの点灯領域を抽出可能である。しかし、ＳＶ画像全体の明るさによって、その点灯領域が十分に強調されたＳＶ画像が得られない場合がある。そのような場合を防ぐために、ＳＶ画像のコントラストを正規化することが考えられる。

【0084】

しかし、ＳＶ画像のコントラストを正規化することによって、道路周辺の看板または他の点灯物などの特徴物に対応する領域も強調され、交通信号の誤認識を誘発してしまう可能性がある。

【0085】

そこで、本実施の形態では、画像処理部１０７は、確率分布算出部１０６によって算出された事前対数オッズ分布Ｌ_ｔ，ｉ^{Ｐｒｉｏｒ}を調整パラメータとして用いる適応型コントラスト改善処理を行う。つまり、画像処理部１０７は、ＳＶ画像に対して適応型コントラスト改善処理を行うことによって、そのＳＶ画像を、認識対象信号機の点灯部分に対応する領域（点灯領域）がより白く強調された改善ＳＶ画像に変換する。

【0086】

具体的には、画像処理部１０７は、適応型コントラスト改善処理では、以下の式（１１）および（１２）にしたがって、ＳＶ画像のピクセル値を更新する。

【0087】

【数6】

【0088】

上記式（１１）および（１２）において、Ｉ（ｕ，ｖ）は、入力画像であるＳＶ画像のピクセル値であり、Ｉ’（ｕ，ｖ）は更新後のピクセル値である。また、ｇ_{ｔｈｒｅｓｈ}及びＧは任意定数である。したがって、適応型コントラスト改善処理では、事前確率ｐ_ｔ，ｉ^{Ｐｒｉｏｒ}（ｕ，ｖ）がｇ_{ｔｈｒｅｓｈ}より大きいときには、（ｕ，ｖ）の位置にあるピクセルのコントラスト（すなわちピクセル値）を上げ、ｇ_{ｔｈｒｅｓｈ}より小さいときには、その位置にあるピクセルのコントラストを下げる効果がある。したがって、存在確率が高い領域ではピクセルのコントラストが上がり、存在確率が低い領域ではコントラストが下がることによって、認識対象信号機ｉから離れた特徴物は誤認識され難くなる。また、画像処理部１０７は、遠方の信号機の認識精度を改善するため、車両Ｖ１０と認識対象信号機ｉとの間の距離がｄ_ｆａｒ［ｍ］以上の場合は、モルフォロジー演算を適用して、ＳＶ画像における点灯部分に対応する領域をさらに強調してもよい。

【0089】

このように画像処理部１０７は、色空間を構成する色相、彩度および明度のうちの、彩度および明度のみによって表現されるＲＯＩの画像のコントラストを、事前対数オッズ分布Ｌ_ｔ，ｉ^{Ｐｒｉｏｒ}にしたがって更新する。

【0090】

［認識対象信号機の抽出とその状態の認識］
改善ＳＶ画像が得られると、信号認識部１０８は、その改善ＳＶ画像において白く強調された領域を、認識対象信号機ｉの点灯部分が存在する点灯領域としてその改善ＳＶ画像から抽出する。そして、信号認識部１０８は、その点灯領域の画像の色から交通信号を認識する。

【0091】

なお、適応型コントラスト改善処理を用いた交通信号の認識方法では、昼夜を問わず交通信号を認識することができるように、昼夜によって影響を受ける画像内の信号機全体の形状は考慮されない。

【0092】

すなわち、信号認識部１０８は、改善ＳＶ画像内から特徴点を抽出することによって、円形の白く強調された領域（以下、円形領域という）を抽出する。この円形領域が点灯領域に相当する。言い換えれば、信号認識部１０８は、改善ＳＶ画像から特徴点を抽出することによって、ＲＯＩ内における認識対象信号機ｉの点灯部分の領域を点灯領域として特定する。そして、信号認識部１０８は、その点灯領域の色から、認識対象信号機ｉの状態を認識する。点灯領域の色は、ＲＯＩのＨＳＶ色空間によって表される点灯領域の色相であってもよく、ＲＧＢ色空間によって表される点灯領域の色であってもよい。また、認識対象信号機ｉの状態は、認識対象信号機ｉの点灯色、すなわち交通信号である。

【0093】

具体的には、信号認識部１０８は、ＳＵＲＦアルゴリズムを適用して円形領域の特徴点を抽出する。ＳＵＲＦアルゴリズムでは、画像の輝度変化からエッジ等の特徴点の抽出が可能である。

【0094】

図９は、Ｈｅｓｓｉａｎ行列の行列式の値ｄｅｔ（Ｈ）に応じて分類される特徴点の種類を示す図である。

【0095】

図９に示すように、Ｈｅｓｓｉａｎ行列の行列式の値ｄｅｔ（Ｈ）に応じて特徴点の種類を分類することができる。したがって、信号認識部１０８は、ｄｅｔ（Ｈ）が一定値ｃ_ｓｕｒｆ（＞０）以上の特徴点を円形領域として抽出する。

【0096】

ここで、円形領域の半径ｒは、特徴点のスケール値σを用いた以下の式（１３）によって算出することができる。

【0097】

ｒ＝（１．２×２．０σ）／９．０ ・・・（１３）

【0098】

一方、信号機の点灯部分の直径をｄ_ｌ［ｍ］とした場合、距離ｚ_ｓ［ｍ］にある信号機の点灯部分の半径ｒ_ｌは以下の式（１４）に示すとおりである。

【0099】

ｒ_ｌ＝０．５ｆｘｄ_ｌ／ｚ_ｓ ・・・（１４）

【0100】

以上より、信号認識部１０８は、改善ＳＶ画像に複数の円形領域があれば、その複数の円形領域のうち、円形領域の半径ｒがｃ_ｍｉｎｒ_１以上ｃ_ｍａｘｒ_１以下の範囲にある円形領域を抽出する。ただし、ｃ_ｍｉｎ及びｃ_ｍａｘは任意定数である。なお、半径ｒがｃ_ｍｉｎｒ_１以上ｃ_ｍａｘｒ_１以下の範囲にある円形領域が、１つのＲＯＩに対応する改善ＳＶ画像内に複数個存在する場合には、信号認識部１０８は、その複数個の円形領域のうち、最大のｄｅｔ（Ｈ）を持つ円形領域を抽出する。

【0101】

信号認識部１０８は、このように抽出された円形領域を点灯領域として扱い、その点灯領域の色（具体的にはＨｕｅ値）を評価することによって認識対象信号機ｉの状態を認識する。

【0102】

図１０は、Ｈｕｅ値の範囲と信号機の状態との関係を示す図である。

【0103】

信号認識部１０８は、Ｈｕｅ値の複数の範囲と、その複数の範囲のそれぞれに対応する信号機の状態（すなわち点灯色）とを対応付けた例えば図１０に示す表を保持している。そして、信号認識部１０８は、点灯領域内の平均Ｈｕｅ値を算出し、その算出された平均Ｈｕｅ値に対してＨｕｅフィルタリングを適用する。すなわち、信号認識部１０８は、図１０に示す表において、その平均Ｈｕｅ値を含む範囲に対応付けられた状態を、認識対象信号機ｉの状態、すなわち認識対象信号機ｉの点灯色として認識する。これによって、交通信号が認識される。

【0104】

［機械学習による点灯色の認識］
信号認識部１０８は、上述のように適応型コントラスト改善処理の結果である改善ＳＶ画像を利用した交通信号の認識を試みる。しかし、認識対象信号機周辺の日照条件によっては点灯部分が明るく見えないために、その認識が適切に行われない場合がある。そこで、信号認識部１０８は、適応型コントラスト改善処理の結果を利用しても交通信号すなわち点灯色を認識できなかった場合には、機械学習を利用した認識方法によって点灯色を認識する。この機械学習を利用した認識方法では、信号認識部１０８は、ＲＯＩの画像（例えばＲＧＢ画像）から認識対象信号機ｉ全体の形状を見つけ出し、その認識対象信号機ｉ全体に含まれる点灯部分の点灯色を認識する。この機械学習を利用した認識方法は、例えば非特許文献（D. Barnes, W. Maddern and I. Posner: Exploiting 3D Semantic Scene Priors for Online Traffic Light Interpretation, Proceedings of the 2015 IEEE IVS, p.573-578, (2015)）に記載されているアルゴリズムであって、Ｈａａｒ−ｌｉｋｅ特徴量とＡｄａｂｏｏｓｔを用いた識別器を利用する。つまり、そのアルゴリズムでは、ＲＯＩの画像から、認識対象信号機ｉ全体の形状に相当する矩形枠を検出し、その矩形枠内の各点灯部分に対応する領域内のＨｕｅ値に対して二値化処理を行い、Ｈｕｅ値の高い領域の点灯色を認識する。

【0105】

なお、夜間では、撮影画像における信号機の形状が不鮮明となるため、このような機械学習を利用した認識方法によって交通信号を認識することが困難な場合がある。したがって、本実施の形態では、信号認識部１０８は、まず、適応型コントラスト改善処理の結果を利用した認識方法によって交通信号の認識を試み、その結果、交通信号を認識することができなかったときにのみ、機械学習を利用した認識方法によって交通信号を認識する。

【0106】

［事後確率分布の算出］
確率分布算出部１０６は、認識対象信号機ｉの状態が認識された場合、その認識に用いられた事前対数オッズ分布を更新し、事後確率分布である事後対数オッズ分布を算出する。

【0107】

図１１は、ＲＧＢ画像、事前対数オッズ分布、観測対数オッズ分布および事後対数オッズ分布の一例を示す図である。なお、被写体および背景などを分かり易くするために、図１１の（ａ）は、赤色に点灯する認識対象信号機ｉおよび緑色に点灯するその他の信号機が映し出されたカラーの撮影画像を、白と黒によって表現される画像として示す。また、図１１の（ａ）において、各信号機の緑色および赤色に点灯している点灯部分は、白い円として示されている。

【0108】

確率分布算出部１０６は、図１１の（ｃ）に示すように、ＲＯＩのＲＧＢ画像に対して、各ピクセル位置における認識対象信号機ｉの存在確率を示す観測確率分布である観測対数オッズ分布Ｌ_ｔ，ｉ^Ｏｂｓを生成する。この観測対数オッズ分布Ｌ_ｔ，ｉ^Ｏｂｓは、ＲＯＩ内の、点灯色が認識された認識対象信号機ｉ全体に対応する領域に対して、高い対数オッズを示す確率分布である。確率分布算出部１０６は、以下の式（１５）に示すように、その観測対数オッズ分布Ｌ_ｔ，ｉ^Ｏｂｓを、ＲＯＩ内の各ピクセル位置の事前対数オッズを示す事前対数オッズ分布Ｌ_ｔ，ｉ^{Ｐｒｉｏｒ}に加算することで、事後対数オッズ分布Ｌ_ｔ，ｉ^Ｐｏｓｔを算出する。

【0109】

【数7】

【0110】

例えば、確率分布算出部１０６は、図１１の（ａ）に示すＲＧＢ画像のポジティブＲＯＩに対して、図１１の（ｂ）に示す事前対数オッズ分布Ｌ_ｔ，ｉ^{Ｐｒｉｏｒ}を算出する。そして、確率分布算出部１０６は、図１１の（ｃ）に示すように、そのポジティブＲＯＩにおいて認識された認識対象信号機ｉの位置に高い対数オッズを示す観測対数オッズ分布Ｌ_ｔ，ｉ^Ｏｂｓを生成する。次に、確率分布算出部１０６は、観測対数オッズ分布Ｌ_ｔ，ｉ^Ｏｂｓを事前対数オッズ分布Ｌ_ｔ，ｉ^{Ｐｒｉｏｒ}に加算することによって、図１１の（ｄ）に示す事後対数オッズ分布Ｌ_ｔ，ｉ^Ｐｏｓｔを算出する。

【0111】

図１１の（ｄ）に示すように、事後対数オッズ分布Ｌ_ｔ，ｉ^Ｐｏｓｔでは、認識された認識対象信号機ｉの領域の対数オッズまたは確率がその周辺よりも高くなっている。

【0112】

確率分布算出部１０６は、このように算出された事後対数オッズ分布Ｌ_ｔ，ｉ^Ｐｏｓｔを用いて、上述の式（１０）に示すように、次のタイミングにおける事前対数オッズ分布Ｌ_ｔ，ｉ^{Ｐｒｉｏｒ}を算出する。

【0113】

つまり、本実施の形態における交通信号認識方法では、時刻ｔにおいて、認識対象信号機ｉの点灯色が認識されたときには、ＲＯＩ内において、その認識対象信号機ｉに対して特定された点灯領域に近いほど高い存在確率を示す、時刻ｔの観測対数オッズ分布Ｌ_ｔ，ｉ^Ｏｂｓを算出し、その観測対数オッズ分布Ｌ_ｔ，ｉ^Ｏｂｓを時刻ｔの事前対数オッズ分布Ｌ_ｔ，ｉ^{Ｐｒｉｏｒ}に加算することによって、時刻ｔの事後対数オッズ分布Ｌ_ｔ，ｉ^Ｐｏｓｔを算出する。

【0114】

カメラ１０１によって、時刻ｔの撮影画像に後続する時刻（ｔ＋１）の撮影画像である後続画像がさらに取得されたときには、ＲＯＩ算出部１０５は、その後続画像からＲＯＩを再び算出する。確率分布算出部１０６は、再び算出されたＲＯＩに対して時刻（ｔ＋１）の地図対数オッズ分布Ｌ_{ｔ＋１，ｉ}^Ｍａｐを算出し、その地図対数オッズ分布Ｌ_{ｔ＋１，ｉ}^Ｍａｐに時刻ｔの事後対数オッズ分布Ｌ_ｔ，ｉ^Ｐｏｓｔを重み付け加算することによって、時刻ｔの事前対数オッズ分布Ｌ_ｔ，ｉ^{Ｐｒｉｏｒ}を時刻（ｔ＋１）の事前対数オッズ分布Ｌ_{ｔ＋１，ｉ}^{Ｐｒｉｏｒ}に更新する。そして、画像処理部１０７は、再び算出されたＲＯＩに対する改善ＳＶ画像の生成を、その更新された事前対数オッズ分布、つまり時刻（ｔ＋１）の事前対数オッズ分布Ｌ_{ｔ＋１，ｉ}^{Ｐｒｉｏｒ}にしたがって行う。

【0115】

このように事前対数オッズ分布を算出することによって、認識対象信号機ｉが存在するピクセル位置の確率または対数オッズをより適切に高めることができる。その結果、信号認識部１０８による点灯色の認識精度を向上することができる。

【0116】

［評価実験］
以下、本実施の形態における交通信号認識方法による交通信号の認識精度の評価実験について説明する。この評価実験では、交通信号認識装置１００を搭載した車両Ｖ１０を一般道に沿って走行させ、そのときに交通信号認識装置１００によって認識された交通信号を示すデータを収集した。

【0117】

その一般道は７．７［ｋｍ］であり、車両Ｖ１０はその一般道を往復する。このとき車両Ｖ１０は、３８個の信号機が設置された場所を通過する。交通信号認識装置１００のカメラ１０１は、車両Ｖ１０の走行中に撮影によって撮影画像７，９５８枚を取得する。これらの撮影画像は、点灯色が青色の信号機が映し出された４，８３２枚の画像と、点灯色が黄色の信号機が映し出された１１１枚の画像と、点灯色が赤色の信号機が映し出された３，０１５枚の画像とによって構成される。これらの撮影画像から、本実施の形態における機械学習を利用した交通信号認識方法と、本実施の形態における機械学習を利用しない交通信号認識方法との認識精度を評価する。なお、本実施の形態における機械学習を利用した交通信号認識方法と、本実施の形態における機械学習を利用しない交通信号認識方法とをそれぞれ、以下、交通信号認識方法ｍ１およびｍ２という。また、その評価では、基準となる２つの交通信号認識方法（以下、基準認識方法Ｂｍ１および基準認識方法Ｂｍ２という）による認識結果と、本実施の形態における交通信号認識方法ｍ１およびｍ２による認識結果とを比較する。基準認識方法Ｂｍ１では、ＲＧＢ画像をＳＶ画像に変換し、そのＳＶ画像のコントラスを変更することなくそのＳＶ画像から信号機の点灯領域を特定する。基準認識方法Ｂｍ２では、そのＳＶ画像のコントラスを正規化し、正規化されたＳＶ画像から信号機の点灯領域を特定する。

【0118】

ここで、本評価実験における上記各パラメータは、ｄ_Ｔ＝１５０［ｍｍ］、ｄ_Ｖ＝３００［ｍｍ］，ｃ_ｚ＝０．２５，ｃ_ｒｏｉ＝３．０，ｃ_ｈ＝０．１，ｓ_ｓ＝１．２［ｍｍ］，α＝０．７，ｄ_ｌ＝０．４［ｍｍ］，ｃ_ｓｕｒｆ＝２０，０００，ｃ_ｍａｘ＝２．５，ｃ_ｍｉｎ＝０．５，ｇ_{ｔｈｒｅｓｈ}＝０．６５，Ｇ＝１０．０，ｄ_ｆａｒ＝１２０［ｍｍ］である。各パラメータは、カメラ１０１の性能及び経験的に決定された。

【0119】

図１２は、各認識方法による交通信号の認識結果を示す図である。

【0120】

図１２には、本実施の形態における交通信号認識方法ｍ１およびｍ２と、基準認識方法Ｂｍ１およびＢｍ２とのそれぞれの、正解率（ＴＰ：Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ）と、誤認識率（ＦＰ：Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）と、未認識率（ＦＮ：Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ）とが示されている。誤認識率ＦＰには、交通信号の点灯色を間違って認識してしまう誤認識率と、背景の色を点灯色として認識してしまう誤認識率とがある。なお、正解率は、信号機の点灯色を正しく認識した割合であり、未認識率は、信号機の点灯色を認識しなかった割合である。

【0121】

この図１２に示す認識結果から、改善ＳＶ画像を利用した本実施の形態における交通信号認識方法ｍ１およびｍ２の方が、一般的なＳＶ画像を用いる基準認識方法Ｂｍ１およびＢｍ２に比べて、認識精度が向上していることが確認できる。また、本実施の形態における交通信号認識方法ｍ１およびｍ２では、未認識率ＦＮの低減が確認できる。

【0122】

一方、本実施の形態における交通信号認識方法ｍ１およびｍ２では、黄色および赤色において１０［％］以上の点灯色の誤認識が確認された。つまり、黄色と赤色とのそれぞれを、互いに他方の色と間違えて認識してしまう状況が確認された。しかし、本実施の形態における交通信号認識方法ｍ１では、機械学習によって信号機全体の形状を認識するため、信号機全体の形状に対する点灯部分の位置を考慮することで将来的な誤認識の低減が期待できる。

【0123】

図１３は、典型的な走行シーンでの、ＳＶ画像と、適応型コントラスト改善処理によって得られる改善ＳＶ画像と、事前対数オッズ分布とを示す図である。具体的には、図１３は、連続する複数の撮影画像のそれぞれのＲＯＩ内のＲＧＢ画像と、そのＲＧＢ画像に対応するＳＶ画像と、そのＳＶ画像に対して適応型コントラスト改善処理を行うことによって得られた改善ＳＶ画像と、その適応型コントラスト改善処理に用いられる事前対数オッズ分布とを示している。なお、被写体および背景などを分かり易くするために、図１３では、赤色に点灯する認識対象信号機が映し出されたＲＧＢ画像を、白と黒によって表現される画像として示す。

【0124】

通常のＳＶ画像では、認識対象信号機以外の点灯物（他の信号機など）も強調されている。しかし、改善ＳＶ画像では、各ピクセル位置における認識対象信号機の存在確率に応じてコントラストが改善されている。したがって、認識対象信号以外の点灯物が強調されることを抑えることができる。

【0125】

図１４は、本実施の形態における交通信号認識方法ｍ２での、認識対象信号機までの距離に応じた正解率と未認識率とを、基準認識方法Ｂｍ２と比較して示す図である。

【0126】

この図１４に示すように、本実施の形態における交通信号認識方法ｍ２では、認識対象信号機が遠くにあっても、近くにある場合と同様に、その点灯色（緑色および赤色）を見逃すことなく正しく認識することができる。

【0127】

このように、本実施の形態における交通信号認識方法では、多くの信号機が並ぶ状況においても誤認識および未認識の頻度を抑えることができる。

【0128】

［まとめ］
以上のように、本実施の形態における交通信号認識方法は、道路に設置された信号機の点灯色を交通信号として認識する交通信号認識方法であって、車両Ｖ１０に搭載されたカメラ１０１による撮影によって撮影画像を取得する画像取得ステップ（Ｓ１１）と、車両Ｖ１０周辺に設置されている複数の信号機の位置および向きを示す地図情報、ならびに車両Ｖ１０の状態に基づいて、その複数の信号機の中から、車両Ｖ１０に対向する第１の信号機を検索する検索ステップ（Ｓ１２）と、その地図情報、車両Ｖ１０の状態およびカメラの状態に基づいて、撮影画像の中から、第１の信号機を含む領域を第１の関心領域として算出する関心領域算出ステップ（Ｓ１３）と、算出された第１の関心領域内の各位置における第１の信号機の存在確率を示す事前確率分布を算出する分布算出ステップ（Ｓ１４）と、第１の関心領域の画像のコントラストを、その事前確率分布にしたがって更新することによって、コントラスト更新画像を生成するコントラスト更新ステップ（Ｓ１６）と、そのコントラスト更新画像から特徴点を抽出することによって、第１の関心領域内における第１の信号機の点灯部分の領域を点灯領域として特定する点灯領域特定ステップ（Ｓ１７）と、特定された点灯領域の色に基づいて、第１の信号機の点灯色を認識する認識ステップ（Ｓ１８）とを含む。

【0129】

なお、第１の信号機は上述の認識対象信号機であり、関心領域は上述のＲＯＩである。また、事前確率分布は例えば上述の事前対数オッズ分布Ｌ_ｔ，ｉ^{Ｐｒｉｏｒ}であってもよく、地図対数オッズ分布Ｌ_ｔ，ｉ^Ｍａｐであってもよい。

【0130】

これにより、第１の関心領域の画像のコントラストが、事前確率分布にしたがって更新されることによって、コントラスト更新画像が生成される。したがって、そのコントラスト更新画像内において、第１の信号機が存在する確率の高い位置と、第１の信号機が存在する確率の低い位置とにおける画素値のコントラストを大きくすることができる。そして、そのコントラスト更新画像に基づいて点灯領域が特定されるため、第１の関心領域に第１の信号機以外の他の信号機が含まれていても、第１の信号機の点灯部分に対応する点灯領域をその第１の関心領域から正確に特定することができる。その結果、第１の信号機の点灯色を適切に認識することができ、交通信号の認識精度を向上することができる。

【0131】

また、事前確率分布は、第１の関心領域の中央に近いほど高い存在確率を示してもよい。

【0132】

これにより、第１の信号機が中央に配置されるように算出される第１の関心領域に対して、事前確率分布を適切に算出することができる。

【0133】

また、コントラスト更新ステップ（Ｓ１６）では、第１の関心領域内の各位置の画素値を、事前確率分布によって示される当該位置の存在確率が高いほど、大きな画素値に変更することによって、第１の関心領域の画像のコントラストを更新してもよい。

【0134】

これにより、コントラスト更新画像内において、第１の信号機が存在する確率の高い位置と、第１の信号機が存在する確率の低い位置とにおける画素値のコントラストを適切に大きくすることができる。

【0135】

また、検索ステップ（Ｓ１２）では、複数の信号機の中から、車両Ｖ１０に対向する信号機として、さらに第２の信号機を検索し、関心領域算出ステップ（Ｓ１３）では、地図情報、車両Ｖ１０の状態およびカメラ１０１の状態に基づいて、撮影画像の中から、さらに、第２の信号機を含む領域を第２の関心領域として算出し、分布算出ステップ（Ｓ１４）では、認識対象の信号機に対して予め定められた２次元空間内の確率分布を示す第１のテンプレートを、第１の関心領域のサイズに調整し、認識対象外の信号機に対して予め定められた２次元空間内の確率分布を示す第２のテンプレートを、第２の関心領域のサイズに調整し、それぞれサイズ調整された第１のテンプレートと第２のテンプレートとを、第１および第２の関心領域の配置にしたがって加算することによって、第１の関心領域内の各位置における確率を示す地図確率分布を算出し、その地図確率分布に基づいて事前確率分布を算出してもよい。

【0136】

なお、第１および第２の関心領域は、例えば図７に示すように、ポジティブＲＯＩおよびネガティブＲＯＩに相当し、第１および第２のテンプレートはそれぞれ、例えば図７に示すように、ポジティブテンプレートおよびネガティブテンプレートに相当する。

【0137】

これにより、第２の信号機が第１の関心領域に含まれていても、地図情報、車両Ｖ１０の状態およびカメラ１０１の状態に基づいて、第１の信号機の存在確率をより正確に示す事前確率分布を算出することができる。

【0138】

また、前記第１のテンプレートは、２次元空間の水平方向の中央に近いほど高い存在確率を示し、前記第２のテンプレートは、２次元空間の水平方向および垂直方向のそれぞれの中央に近いほど低い存在確率を示してもよい。

【0139】

これにより、図７に示すように、第１の信号機の存在確率をより正確に示す事前確率分布を算出することができる。

【0140】

また、交通信号認識方法は、さらに、認識ステップ（Ｓ１８）によって第１の信号機の点灯色が認識されたときには、第１の関心領域内において、特定された点灯領域に近いほど高い存在確率を示す観測確率分布を算出し、その観測確率分布を事前確率分布に加算することによって、事後確率分布を算出する事後分布算出ステップ（Ｓ２１）を含み、画像取得ステップ（Ｓ１１）によって、上述の撮影画像に後続する撮影画像である後続画像がさらに取得されたときには、関心領域算出ステップ（Ｓ１３）では、さらに、後続画像から第１の関心領域を再び算出し、分布算出ステップ（Ｓ１４）では、さらに、再び算出された前記第１の関心領域に対して前記地図確率分布を算出し、その地図確率分布に事後確率分布を加算することによって、事前確率分布を更新し、コントラスト更新ステップ（Ｓ１６）では、さらに、再び算出された第１の関心領域に対するコントラスト更新画像の生成を、更新された事前確率分布にしたがって行ってもよい。

【0141】

なお、観測確率分布および事後確率分布はそれぞれ、例えば図１１に示す確率対数オッズ分布および事後対数オッズ分布に相当する。

【0142】

これにより、第１の信号機の点灯色が認識された後には、その第１の信号機の点灯部分に対応する点灯領域に近いほど高い存在確率を示す観測確率分布が、事前確率分布に反映される。したがって、事前確率分布によって示される第１の信号機の存在確率には、第１の信号機の過去の認識結果が反映されているため、その事前確率分布は、第１の信号機の存在確率をより正確に示すことができる。その事前確率分布を用いることによって、第１の信号機の点灯色の認識精度をより高めることができる。

【0143】

また、交通信号認識方法は、さらに、認識ステップ（Ｓ１８）において第１の信号機の点灯色を認識することができなかったときには、機械学習を利用して第１の関心領域の画像から第１の信号機の点灯色を認識する再認識ステップ（Ｓ２０）を含んでもよい。

【0144】

これにより、例えば、撮影画像に映し出された信号機の点灯部分が日照条件などによって暗くなっているために、認識ステップ（Ｓ１８）で正しく点灯色を認識することができなくても、機械学習によってその点灯色を認識することができる。

【0145】

また、コントラスト更新ステップでは、色空間を構成する色相、彩度および明度のうちの、彩度および明度のみによって表現される第１の関心領域の画像のコントラストを更新してもよい。

【0146】

これにより、第１の信号機の点灯部分に対応する点灯領域をより強調させたコントラスト更新画像を生成することができ、より正確に点灯領域を特定することができる。

【0147】

なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の交通信号認識装置１００などを実現するソフトウェアは、図４に示すフローチャートに含まれる各ステップをコンピュータに実行させるプログラムである。

【0148】

以上、本発明の一態様に係る交通信号認識方法および交通信号認識装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、本発明の範囲内に含まれてもよい。

【0149】

例えば、上記実施の形態では、矩形状のＲＯＩを算出したが、ＲＯＩの形状は矩形状に限らず他の形状（例えば円形または三角形など）であってもよい。

【0150】

また、上記実施の形態では、特徴点の抽出にＳＵＲＦアルゴリズムを用いたが、ＳＩＦＴ（Scale-Invariant Feature Transform）などの他のアルゴリズムを用いてもよい。

【産業上の利用可能性】

【0151】

本発明の一態様に係る交通信号認識方法は、交通信号の認識精度を向上することができるという効果を奏し、例えば、自動運転のために車両に搭載される交通信号認識装置または自動運転支援装置などに適用することができる。

【符号の説明】

【0152】

１００ 交通信号認識装置
１０１ カメラ
１０２ 車両状態検出部
１０３ 地図情報保持部
１０４ 信号機検索部
１０５ ＲＯＩ算出部
１０６ 確率分布算出部
１０７ 画像処理部
１０８ 信号認識部
Ｖ１０ 車両

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】