6205712 横断歩道検出装置および横断歩道検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6205712

(24)【登録日】2017年9月15日

(45)【発行日】2017年10月4日

(54)【発明の名称】横断歩道検出装置および横断歩道検出方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20170925BHJP

   B60R 21/00 20060101ALI20170925BHJP

   G06T 7/60 20170101ALI20170925BHJP

【ＦＩ】

   G08G1/16 C

   B60R21/00 624C

   B60R21/00 624F

   G06T7/60 200J

【請求項の数】19

【全頁数】19

(21)【出願番号】特願2012-244271(P2012-244271)

(22)【出願日】2012年11月6日

(65)【公開番号】特開2013-210991(P2013-210991A)

(43)【公開日】2013年10月10日

【審査請求日】2015年9月28日

(31)【優先権主張番号】特願2012-46484(P2012-46484)

(32)【優先日】2012年3月2日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100100712

【弁理士】

【氏名又は名称】岩▲崎▼ 幸邦

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】土谷 千加夫

(72)【発明者】

【氏名】田中 慎也

(72)【発明者】

【氏名】古性 裕之

【審査官】 岩田 玲彦

(56)【参考文献】

【文献】 特開２０１１−１９２０７１（ＪＰ，Ａ）

【文献】 特開２００４−１７８６１０（ＪＰ，Ａ）

【文献】 特開２００８−１８０６２２（ＪＰ，Ａ）

【文献】 特開２０１１−０３９７３２（ＪＰ，Ａ）

【文献】 特開２００８−００９８９３（ＪＰ，Ａ）

【文献】 特開２００７−１８８４０７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ ２１／００

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

車両の前方を撮影する撮像手段と、
前記撮像手段が撮影した画像を俯瞰画像に変換する視点変換手段と、
前記俯瞰画像に局所処理領域を設定し、前記局所処理領域を前記俯瞰画像中に走査させる画像走査手段と、
前記局所処理領域内のペイント相当領域の輝度分布の統計値を算出するペイント輝度分布解析手段と、
前記局所処理領域内の路面相当領域の輝度分布の統計値を算出する路面輝度分布解析手段と、
前記ペイント輝度分布解析手段が算出した統計値と前記路面輝度分布解析手段が算出した統計値とを用いて、前記ペイント相当領域と前記路面相当領域との間の輝度の差と前記ペイント相当領域及び前記路面相当領域の輝度分布の和とに基づいて算出される分離度を前記俯瞰画像の各画素について算出する分離度評価手段と、
前記分離度評価手段によって算出された分離度を集計して累積分離度画像を作成する累積分離度画像作成手段と、
前記累積分離度画像に基づいて、横断歩道か否かを判定する横断歩道判定手段と、
を備えたことを特徴とする横断歩道検出装置。

【請求項2】

前記路面輝度分布解析手段は、前記局所処理領域に予め定めた路面相当領域内の画素群の輝度値の平均値と分散とを前記統計値として算出することを特徴とする請求項１に記載の横断歩道検出装置。

【請求項3】

前記路面輝度分布解析手段は、前記局所処理領域に予め定めた路面相当領域の輝度値のインテグラルイメージを作成し、そのインテグラルイメージから輝度値の平均値を算出することを特徴とする請求項２に記載の横断歩道検出装置。

【請求項4】

前記路面輝度分布解析手段は、前記局所処理領域に予め定めた路面相当領域の輝度値の二乗のインテグラルイメージを作成し、その二乗のインテグラルイメージから輝度値の分散を算出することを特徴とする請求項２または請求項３に記載の横断歩道検出装置。

【請求項5】

前記ペイント輝度分布解析手段は、前記局所処理領域に予め定めたペイント相当領域内の画素群の輝度値の平均値と分散とを前記統計値として算出することを特徴とする請求項１乃至請求項４のいずれか１項に記載の横断歩道検出装置。

【請求項6】

前記ペイント輝度分布解析手段は、前記局所処理領域に予め定めたペイント相当領域の輝度値のインテグラルイメージを作成し、そのインテグラルイメージから輝度値の平均値を算出することを特徴とする請求項５に記載の横断歩道検出装置。

【請求項7】

前記ペイント輝度分布解析手段は、前記局所処理領域に予め定めたペイント相当領域の輝度値の二乗のインテグラルイメージを作成し、その二乗のインテグラルイメージから輝度値の分散を算出することを特徴とする請求項５または請求項６に記載の横断歩道検出装置。

【請求項8】

前記路面相当領域の輝度値の平均値及び分散と、前記ペイント相当領域の輝度値の平均値及び分散と、を用いて前記分離度を算出することを特徴とする請求項２乃至請求項７のいずれか１項に記載の横断歩道検出装置。

【請求項9】

前記累積分離度画像からペイント候補領域を設定するペイント候補領域設定手段をさらに備え、
前記横断歩道判定手段は、前記ペイント候補領域設定手段により設定された複数のペイント候補領域から選択された２つの隣接するペイント候補領域間の距離に基づいて、横断歩道か否かを判定することを特徴とする請求項１乃至請求項８のいずれか１項に記載の横断歩道検出装置。

【請求項10】

前記累積分離度画像において、前記分離度を所定の閾値で処理することによって前記分離度を各画素毎に２値化した２値化画像を生成する閾値処理を行う閾値処理手段をさらに備え、
前記ペイント候補領域設定手段は、前記閾値処理手段が生成した２値化画像からペイント候補領域を設定することを特徴とする請求項９に記載の横断歩道検出装置。

【請求項11】

前記横断歩道判定手段は、
前記ペイント候補領域設定手段で設定された複数のペイント候補領域群から選択された２つの隣接するペイント候補領域間の横方向距離に基づいて、横断歩道の判定をすることを特徴とする請求項９または請求項１０に記載の横断歩道検出装置。

【請求項12】

前記累積分離度画像作成手段は、前記分離度評価手段によって算出された分離度を、前記俯瞰画像上に設定された走査線に沿って集計して累積分離度画像を作成することを特徴とする請求項１乃至請求項１１のいずれか１項に記載の横断歩道検出装置。

【請求項13】

前記画像走査手段は、前記局所処理領域のペイント相当領域の幅を順次変更しながら走査することを特徴とする請求項１乃至請求項１２のいずれか１項に記載の横断歩道検出装置。

【請求項14】

前記画像走査手段は、前記俯瞰画像を複数の領域に分割して各領域にそれぞれ走査線を設定し、設定された前記走査線に沿って前記局所処理領域を走査することを特徴とする請求項１乃至請求項１３のいずれか１項に記載の横断歩道検出装置。

【請求項15】

前記画像走査手段は、前記俯瞰画像を少なくとも３つの領域に分割することを特徴とする請求項１４に記載の横断歩道検出装置。

【請求項16】

前記画像走査手段は、前記局所処理領域のペイント相当領域の幅を、道路の規格によって定められた横断歩道の白線幅の最小値と最大値との間で変更することを特徴とする請求項１乃至請求項１５のいずれか１項に記載の横断歩道検出装置。

【請求項17】

前記画像走査手段は、前記局所処理領域のペイント相当領域の幅を、車両の挙動によって変化する範囲で変更することを特徴とする請求項１乃至請求項１６のいずれか１項に記載の横断歩道検出装置。

【請求項18】

前記累積分離度画像作成手段は、前記局所処理領域のペイント相当領域の中央の位置に前記分離度を投票することによって前記累積分離度画像を作成することを特徴とする請求項１乃至請求項１７のいずれか１項に記載の横断歩道検出装置。

【請求項19】

車両前方の画像を撮影する撮像ステップと、
撮影した画像を俯瞰画像に変換する視点変換ステップと、
俯瞰画像に局所処理領域を設定し、設定した局所処理領域を俯瞰画像中に走査させる画像走査ステップと、
前記局所処理領域内の路面相当領域の輝度分布を解析して輝度分布の統計値を算出する路面領域輝度解析ステップと、
前記局所処理領域内のペイント相当領域の輝度分布を解析して輝度分布の統計値を算出するペイント領域輝度解析ステップと、
前記路面相当領域の輝度分布の統計値と前記ペイント相当領域の輝度分布の統計値を用いて、前記路面相当領域と前記ペイント相当領域との間の輝度の差と前記路面相当領域及び前記ペイント相当領域の輝度分布の和とに基づいて算出される分離度を前記俯瞰画像の各画素について算出する分離度算出ステップと、
前記分離度を集計して累積分離度画像を作成する累積分離度画像作成ステップと、
前記累積分離度画像に基づいて、横断歩道か否かを判定する横断歩道判定ステップと、
を備えたことを特徴と横断歩道検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載カメラで車両前方を撮影した画像に基づいて、車両前方の横断歩道を検出する横断歩道検出装置および横断歩道検出方法に関する。

【背景技術】

【0002】

従来の横断歩道検出装置としては、特許文献１に記載の装置が知られている。この装置は、横断歩道を含む画像の特徴として、次の３点の前提を利用して横断歩道を検出している。（１）横断歩道の白いペイントは輝度値が高く、ペイントされていないアスファルト部分は輝度値が低いこと。（２）横断歩道のペイント間の距離Ｌは既知であること。（３）横断歩道は白黒の縦縞の連続なので、注目画素（ｘ，ｙ）から距離Ｌ離れた画素（ｘ＋Ｌ，ｙ）とその半分の距離Ｌ／２離れた画素（ｘ＋Ｌ／２，ｙ）、画素（ｘ−Ｌ／２，ｙ）の輝度値の関係は反転し、その差は大きいこと。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２００８／０６５７０７号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術によれば、建物等の影が路面の横断歩道部分に掛かっている場合、影に覆われている部分は検出が困難であった。即ち、横断歩道を撮影した画像の中で、影と日向が切り替わる領域においては、（１）と（３）の前提が破綻するので、横断歩道を検出できない。つまり、局所領域ごとに日照環境が異なると横断歩道を検出できないという問題点があった。

【0005】

以上の問題点に鑑み、本発明の目的は、建物等の影が路面の横断歩道部分に掛かっている場合でも、正確に横断歩道を検出することができる横断歩道検出装置および横断歩道検出方法を提供することである。

【課題を解決するための手段】

【0006】

上記問題点を解決するために本発明は、車両の前方を撮影した画像を俯瞰画像に変換し俯瞰画像中に設定した局所処理領域を俯瞰画像中に走査する。そして、局所処理領域内のペイント相当領域の輝度分布の統計値を算出し、局所処理領域内の路面相当領域の輝度分布の統計値を算出する。こうして算出したペイント相当領域及び路面相当領域の輝度分布の統計値を用いて、ペイント相当領域と路面相当領域との間の輝度の差とペイント相当領域及び路面相当領域の輝度分布の和とに基づいて算出される分離度を俯瞰画像の各画素について算出する。その後、分離度を所定の閾値で処理することによって２値化画像に変換し、２値化画像からペイント候補領域を設定し、複数のペイント候補領域から選択された２つの隣接するペイント候補領域間の距離に基づいて横断歩道か否かを判定することを要旨とする。

【発明の効果】

【0007】

本発明によれば、俯瞰画像の局所処理領域で日照条件が異なる場合でも、日照条件に影響を受けることなく、正確に横断歩道を検出することができる。

【図面の簡単な説明】

【0008】

【図1】本発明に係る横断歩道検出装置の第１実施形態を説明するシステム構成図である。

【図2】本発明の第１実施形態に係る横断歩道検出装置を適用したシステムのブロック図である。

【図3】本発明の第１実施形態に係る横断歩道検出部の構成を説明するブロック図である。

【図4】本発明の第１実施形態に係る画像走査部を説明する図である。

【図5】本発明の第１実施形態に係るペイント領域輝度分布解析および路面領域輝度分布解析のための横断歩道検出フィルタの例を示す図である。

【図6】路面相当領域の輝度分布例と、ペイント相当領域の輝度分布例を説明する図である。

【図7】白昼の輝度分布例と、夜間の輝度分布例を説明する図である。

【図8】ペイント候補領域の設定方法を説明する図である。

【図9】隣接ペイント間の距離の頻度から横断歩道を判定する方法を説明する図である。

【図10】本発明の第１実施形態に係る横断歩道検出装置による横断歩道検出処理の手順を示すフローチャートである。

【図11】本発明の第２実施形態に係る横断歩道検出部の構成を説明するブロック図である。

【図12】本発明の第２実施形態に係る横断歩道検出装置による横断歩道検出処理の手順を示すフローチャートである。

【図13】本発明の第２実施形態に係るペイント領域輝度分布解析および路面領域輝度分布解析のための横断歩道検出フィルタの例を示す図である。

【図14】本発明の第２実施形態に係る画像走査部を説明する図である。

【図15】本発明の第２実施形態に係る累積分離度画像作成部による処理を説明するための図である。

【発明を実施するための形態】

【0009】

以下、本発明を適用した第１及び第２実施形態について図面を参照して説明する。

【0010】

［第１実施形態］
本発明に係る横断歩道検出装置の実施形態を、図面を参照して詳細に説明する。図１は、本発明の第１実施形態に係る横断歩道検出装置を運転支援システムの横断歩道検出に用いたシステム構成図である。本実施形態では、車載カメラ３は、車両１の前部に取り付けられ、車両１の前方の画像を撮影する。計算機５は、車載カメラ３が撮影した画像に基づいて横断歩道を検出し、車両１と検出した横断歩道との距離に基づいて運転支援システム７が車両の減速や停止の運転支援を行うものとする。

【0011】

車載カメラ３は、車両１の前部に、高さｈ、水平から下向きに角度θの位置・姿勢に取り付けられている。車載カメラ３で車両１の前方領域の画像を撮影し、その画像を車載の計算機５に取り込み、画像中の横断歩道を検出する。その横断歩道の位置を運転支援システム７に転送し、運転支援システム７で運転支援を行う。運転支援システムは、本発明の範囲外なので、詳細な説明は割愛する。

【0012】

図２は、本実施形態におけるシステムのブロック図である。車載カメラ３で撮影された撮影画像は、視点変換部１１へ入力され、視点変換部１１により視点変換した俯瞰画像へ変換される。俯瞰画像は、上空から路面を鉛直下向きに見下ろす仮想カメラの視点から見た画像である。俯瞰画像を作成するために用いる視点変換は公知の技術であり、例えば特開２００８−２１９０６３号公報に記載されている。なお、中間画像として、俯瞰画像を作成することなく、車載カメラ３で撮影された画像上の座標系から、俯瞰画像上の座標系への座標変換を逐一実施してもよい。横断歩道検出部１３は、俯瞰画像から横断歩道位置を検出し、横断歩道位置を運転支援システム７へ出力する。

【0013】

図３は、横断歩道検出部１３の詳細な構成を説明するブロック図である。横断歩道検出部１３は、インテグラルイメージ作成部１５と、画像走査部１７と、ペイント領域輝度解析部１９と、路面領域輝度解析部２１と、分離度評価部２３と、閾値処理部２５と、ペイント候補領域設定部２７と、横断歩道判定部２９とを備えている。

【0014】

インテグラルイメージ作成部１５は、俯瞰画像からインテグラルイメージを作成する。画像走査部１７は、俯瞰画像のインテグラルイメージ中に局所処理領域を設定し、設定した局所処理領域の位置を走査する。ペイント領域輝度解析部１９は、画像走査部１７から与えられた座標（ｘ，ｙ）において、横断歩道検出フィルタを用いて、ペイント相当領域の輝度分布のヒストグラムを作成し、そのヒストグラムからペイント相当領域の輝度値の平均μ１、分散σ１を算出する。

【0015】

路面領域輝度解析部２１は、画像走査部１７から与えられた座標（ｘ，ｙ）において、横断歩道検出フィルタを用いて、路面相当領域の輝度分布のヒストグラムを作成し、そのヒストグラムから路面相当領域の輝度値の平均μ２、分散σ２を算出する。

【0016】

分離度評価部２３は、分離度ｓを計算する。分離度ｓは、ペイント相当領域の平均μ１と路面相当領域の平均μ２が離れており、かつ両者の分散σ１、σ２が小さいほど、言い換えれば、それぞれの相当領域内の輝度が均一であるほど、評価値が高くなる値である。閾値処理部２５は、分離度ｓを画素毎に閾値処理して、横断歩道二値化画像を作成する。

【0017】

ペイント候補領域設定部２７は、横断歩道二値化画像から横断歩道ペイントが画像に対して略縦方向に並んでいる位置をペイント候補領域として設定する。横断歩道判定部２９は、或るペイント候補領域とこれに隣接する別のペイント候補領域との間の横方向距離に基づいて横断歩道であるか否かを判定する。以下、横断歩道検出部１３を構成する各部を更に詳細に説明する。

【0018】

［インテグラルイメージ作成部］
インテグラルイメージ作成部１５では、非特許文献（Violar,Jones:Robust Real-time Object Detection,IJCV2001 ）で報告されている手法で俯瞰画像の輝度値のインテグラルイメージと、俯瞰画像の輝度値の二乗のインテグラルイメージを作成する。これら二つの画像は後段のペイント領域輝度解析部１９および、路面領域輝度解析部２１へ入力され、それぞれで高速にペイント相当領域および路面相当領域の輝度分布を解析するために使用される。

【0019】

［画像走査部］
画像走査部１７は、図４に示すように、俯瞰画像中に局所処理領域３１を設定し、設定した局所処理領域３１の位置を俯瞰画像中で走査することにより、俯瞰画像の全領域を処理可能とするものである。このとき、俯瞰画像の横方向のサイズをｘｘ、縦方向のサイズをｙｙとすると、画像走査部１７は０≦ｘ≦ｘｘ、０≦ｙ≦ｙｙの範囲の座標（ｘ，ｙ）にアクセスする。

【0020】

［ペイント領域輝度解析部］
ペイント領域輝度解析部１９は、画像走査部１７から与えられた座標（ｘ，ｙ）の局所処理領域３１において、図５（ａ）の横断歩道検出フィルタ４０を適用してペイント相当領域の輝度を解析する。即ち、座標（ｘ，ｙ）において、横断歩道検出フィルタ４０の内のペイント相当領域４１の輝度分布のヒストグラムを作成し、そのヒストグラムからペイント相当領域４１の輝度値の平均μ１、分散σ１を算出する。ここでは基本的な手法として、ヒストグラムから輝度の統計量として平均、分散を求める方法を述べたが、インテグラルイメージ作成部１５で作成したインテグラルイメージを用いると、平均μ１、分散σ１を高速に計算することができるという効果がある。

【0021】

その具体的な方法をここで述べる。まず、ペイント相当領域４１の画素数をＮ₁ とする。ペイント相当領域４１の画素をクラス１の画素と呼ぶ。そして、インテグラルイメージ作成部１５で作成した輝度値のインテグラルイメージから、ペイント相当領域４１内の画素の輝度値の合計値αを求める。このとき、平均μ１はμ１＝α／Ｎ₁ で与えられる。次いで、インテグラルイメージ作成部１５で作成した輝度値の二乗のインテグラルイメージからペイント相当領域４１内の画素の輝度値の二乗の合計値βを求める。次いで、ζ＝β／Ｎ₁ とし、η＝μ１×μ１とする。このとき分散σ１はσ１＝ζ−ηで与えられる。この分散σ１の算出方法は統計学の分野で周知の事実であり、一般的な統計学の教科書に記述される、分散Ｖ［ｘ］＝ Ｅ［ｘ＾２］−Ｅ［Ｘ］＾２に基づいている。但し、Ｅは期待値、＾はべき乗を示す。

【0022】

なお、図５（ａ）の横断歩道検出フィルタ４０の形状は、俯瞰画像で横断歩道を局所的に真上から見た場合、局所的な横断歩道は、黒、白、黒の四角形の組み合わせで近似できることを用いている。四角形のサイズ、および縦横比などは、カメラの解像度を考慮して実験的に定めればよい。また、本実施形態では横断歩道を図５（ａ）の黒、白、黒の四角形の組み合わせとした。しかし、図５（ｂ）に示す横断歩道検出フィルタ４４のように、路面相当領域４５を示す黒、ペイント相当領域４６を示す白からなる二つの四角形としてもよい。このとき白黒の順番は多くの場合検出精度に影響を与えないが、使用するカメラの特性に合わせて実験的に定めればよい。

【0023】

次に、横断歩道検出フィルタ４０のサイズについて説明する。図５（ａ）のペイント相当領域４１および、路面相当領域４２、４３は、検出対象となる横断歩道の幅から使用するカメラに応じて横幅の画素数を設定すればよい。特開２００８−２１９０６３号公報に開示されているように、カメラの高さｈと水平からの角度θを用いたモデルを使用して俯瞰画像を作成する場合には、１画素の幅と実空間での長さ（［ｃｍ］などの単位）の対応がつくので、適切な画素数が設定できる。以上が横幅の画素数の設定方法であるが、次に縦幅の画素数の設定方法を述べる。横幅と同じく１画素の幅と実空間の長さの対応がつくので、その情報に基づいて設定すればよい。縦の画素数が少ないほど詳細な検出が可能となるが、その分、横断歩道検出フィルタ４０が小さくなるため処理時間が大きくなるので、使用する計算機のスペックに合わせて設定すればよい。また、縦の画素数が少なくなるほどノイズにも弱くなるので、この２点を考慮して設定すればよい。実験的に縦の画素数が実空間で５ｃｍ〜１０ｃｍ程度であれば、車載用のマイクロコンピュータのスペックを有する計算機５で良好な動作をしていることを確認している。

【0024】

［路面領域輝度解析部］
路面領域輝度解析部２１は、画像走査部１７から与えられた座標（ｘ，ｙ）の局所処理領域３１において、図５の横断歩道検出フィルタ４０を適用して路面相当領域の輝度を解析する。横断歩道検出フィルタ４０の内の路面相当領域４２、４３の二つの小領域を一つの領域とする。この路面相当領域４２，４３の画素数をＮ_２ とし、これらの画素をクラス２の画素と呼ぶ。そしてクラス２のＮ_２ 個の画素に対して輝度分布のヒストグラムを作成し、そのヒストグラムから路面相当領域４２、４３の輝度値の平均μ２、分散σ２を算出する。この平均μ２、分散σ２の計算において、上記のペイント領域輝度解析部１９で述べたようにインテグラルイメージを用いると、高速に平均μ２、分散σ２を計算することができるという効果がある。

【0025】

［分離度評価部］
分離度評価部２３はペイント領域輝度解析部１９で算出したペイント相当領域の輝度分布を示す平均μ１、分散σ１、および路面領域輝度解析部２１で算出した路面相当領域の輝度分布を示す平均μ２、分散σ２を用いて、分離度ｓを算出する。

【0026】

図６は、ペイント相当領域の輝度分布を示す平均μ１、分散σ１、および路面相当領域の輝度分布を示す平均μ２、分散σ２を説明する図である。

【0027】

分離度ｓは、次に示す式（１）によって算出される。

【0028】

分離度ｓ＝クラス間分散／全分散＝σ_B²／σ_T² …（１）
ここでクラス間分散σ_B²、及び全分散σ_T²は、以下の式で算出される。

【0029】

σ_B² ＝｛Ｎ_１ ×（μ１−μ_T）² ＋Ｎ_２×（μ２−μ_T）²｝／（Ｎ_１ ＋Ｎ_２） …（２）
σ_T² ＝σ_B² ＋σ_Ｗ² …（３）
σ_Ｗ² ＝｛Ｎ_１ ×σ１² ＋Ｎ_２×σ２²｝／（Ｎ_１ ＋Ｎ_２） …（４）
但し、Ｎ_１ はペイント相当領域の画素数、Ｎ_２ は路面相当領域の画素数、μ_T は、ペイント相当領域と路面相当領域を合わせた全画素の平均である。

【0030】

ここで、式（２）に示されるクラス間分散σ_B² は、ペイント相当領域４１と、路面相当領域４２，４３との輝度値の差に応じて変化する値であり、各領域の平均μ１、μ２が全画素の平均μ_T から離れているほど大きな値となる。一方、全分散σ_T² は、ペイント相当領域４１および路面相当領域４２，４３の輝度分布の和に応じて変化する値であり、各領域の分散σ１，σ２が小さくなるほど、すなわち各領域の輝度分布が均一であるほど評価値が大きな値となる。

【0031】

以上の計算過程から、次のことが言える。分離度ｓは、ペイント相当領域４１の平均μ１と路面相当領域４２、４３の平均μ２が離れており、かつ両者の分散σ１、σ２が小さいほど、言い換えれば、それぞれの相当領域内の輝度が均一であるほど、評価値が大きくなる。したがって、横断歩道検出フィルタ４０にマッチした形状と輝度パターンを持っている画素（横断歩道相当の画素）で分離度ｓは大きな値をとり、マッチしない路面などの領域では小さくなる。したがって、画像走査部１７で全ての画素を走査し、全ての画素で分離度ｓを評価し、その値を後段の閾値処理部２５で閾値処理することで、横断歩道二値化画像が出力される。

【0032】

また上述したように横断歩道検出フィルタにより、局所処理領域で分離度に基づき横断歩道を検出することで、画像中の日照条件が局所的に異なる場合であっても、横断歩道検出精度が低下することがないという効果が得られる。従来技術においては、画像中の日照条件が局所的に異なる場合に、横断歩道検出の精度が低下していた。しかしながら、図７に示すように分離度で横断歩道を検出することのメリットがもう一つあげられる。

【0033】

図７の実線で示した各領域の輝度分布は図６と同じである。一方、破線で示した輝度分布は、朝、夕など日照量が少ないときのペイント相当領域の輝度分布、路面相当領域の輝度分布を表している。日照量が少ないときには、全体的に暗い画像になるため、輝度分布は輝度値が低い方向へシフトして、輝度の平均μ１，μ２が低下するが、その分散σ１，σ２は、ほとんど変化しない。したがって、日照条件によらずに、ペイント領域は路面領域より高い輝度値を維持するので、後述する閾値処理部で判別のために使用する閾値を可変にする必要がない。この例では日照量が少ないときを挙げたが、日照量が増えた真昼などでも同様の性質を持つことは明らかである。

【0034】

従って、日照条件が変化したとしても、分離度ｓは同様な値が算出されるので、日照条件の変化に対して耐性の高い横断歩道検出を行うことができるという効果がある。また、ペイント領域と路面領域との判別のための閾値を日照条件によって変化させる必要がなく、安定した横断歩道の検出結果を得ることができるという効果がある。

【0035】

［閾値処理部］
閾値処理部２５は、分離度評価部２３から算出された分離度ｓを用いて、画素毎に閾値処理して、横断歩道二値化画像を作成し、横断歩道二値化画像を後段のペイント候補領域設定部２７へ出力する。このときの分離度に対する閾値は実験的に求めればよい。

【0036】

［ペイント候補領域設定部］
次に、ペイント候補領域設定部２７における閾値処理部２５から出力された横断歩道二値化画像に対する処理を説明する。図８（ａ）は視点変換部１１より得られる俯瞰画像である。図８（ｂ）は、俯瞰画像の分離度を閾値処理した結果の二値化画像である。この図８（ｂ）の二値化画像において、分離度が閾値以上の画素には「１」、閾値未満の画素には「０」が入っているとする。このとき、図８（ｂ）の画素の値を画像の垂直方向に積算したものが図８（ｃ）下部の曲線である。横断歩道ペイントが画像に対して略縦方向に並んでいる位置、言い換えれば、ペイント候補領域として設定すべき位置では、この積算値が必ず高くなる。そして、積算値に対して閾値処理を施してペイント候補領域を設定したものが図８（ｄ）である。

【0037】

このように、横断歩道検出の結果を車載の運転支援システムに使うような環境においては、車両は多くの場合に直進中であり、前方の横断歩道のペイントに対して平行に車両が走行する。したがって、分離度の閾値結果を画像中の縦方向に積分することにより、適切にペイント候補領域を設定することができる。

【0038】

尚、本実施形態では画像中の縦方向に積分する方式を用いたが、交差点などの車両の旋回時に対応する場合には別の方式を用いてもよい。例えば分離度の二値化画像をラベル付けし、ラベル毎に縦横の長さから横断歩道のペイント候補群を抽出し、抽出されたペイント群の空間的な配置関係からその領域をペイント候補領域としてもよい。

【0039】

［横断歩道判定部］
次に、図９を参照して、横断歩道判定部２９における処理を説明する。図９（ａ）の破線で示した枠は、上述したペイント候補領域設定部２７で設定されたペイント候補領域の外縁である。これらの領域群から処理対象とする候補領域とその隣の候補領域の横距離を算出する。隣は右でも、左でもよい。あるいは右隣との横距離と左隣との横距離との両者を求めて、平均値をとって最寄の候補領域の横距離としてもよい。

【0040】

次に図９（ｂ）に示すように、横距離の頻度を求め、その最頻値を横断歩道のペイント間隔の推定値Ｅとする。そして、推定値Ｅと、既知の横断歩道のペイント間隔値Ｌとを比較し、推定値Ｅが既知のペイント間隔値Ｌと大きく変わらなければ、横断歩道と判定する。例えば、０．８Ｌ≦Ｅ≦１．２Ｌであれば横断歩道と判定する。推定値Ｅが既知の横断歩道のペイント間隔値Ｌから大きく逸脱する場合は、横断歩道ではないと判定する。例えば、Ｅ＜０．８Ｌ、または、１．２Ｌ＜Ｅであれば、横断歩道ではないと判定する。さらに、横断歩道であると判定した場合、図１の車載カメラ３の取付け高さｈと、車載カメラ３の取付角θ、および俯瞰画像中の横断歩道の位置から、車両１と検出した横断歩道までの距離を算出して、算出した距離を運転支援システム７へ出力する。

【0041】

［横断歩道検出処理］
次に図１０のフローチャートを参照して、横断歩道検出部１３の全体動作を説明する。

【0042】

まず最初に、ステップＳ１０において、インテグラルイメージを作成する。これは、図３のインテグラルイメージ作成部１５で説明した処理を行う。次いで、ステップＳ１２において、画像走査する。図３の画像走査部１７で述べたように、画像を１画素づつアクセスする。本実施形態では画像走査の移動画素をｘ方向、ｙ方向とも１としたが、使用する車載カメラ３の解像度と計算機５の条件に合わせて最適な設定となればよい。

【0043】

次いで、ステップＳ１４において、分離度を評価する。１画素づつペイント領域輝度解析部１９、路面領域輝度解析部２１、分離度評価部２３で述べた処理を行い、画素毎の分離度を算出する。

【0044】

次いで、ステップＳ１６において、画像走査が終了したか否かを判定する。即ち、横断歩道検出フィルタ４０による分離度の算出が全ての画素で終了したかを判定する。この分離度算出は、横断歩道検出フィルタ４０が画像外にはみ出す領域を除く。終了していない場合は、ステップＳ１２に戻り、全ての画素で分離度の算出が終わるまで繰り返す。終了した場合はステップＳ１８に進む。

【0045】

ステップＳ１８では、図３の閾値処理部２５で述べた処理を行う。即ち、画素毎に分離度に対して閾値処理を行って、ペイント相当か路面相当かを判別し、横断歩道２値化画像を出力する。

【0046】

次いで、ステップＳ２０では、ステップＳ１８の分離度に基づく閾値処理の結果、ペイント相当と判定された画素の数をカウントする。ここで画素数が所定値以下なら、車載カメラ３で撮影された画像が、横断歩道を検出していないシーンに相当するものとして、処理を終了する。画素数が所定値を超えていれば、ステップＳ２２へ進む。

【0047】

ステップＳ２２では、図３のペイント候補領域設定部２７で述べた処理を行う。即ち、横断歩道２値化画像にペイント候補領域を設定する。ここでのペイント候補領域が後段の横断歩道判定部２９への出力となる。

【0048】

次いで、ステップＳ２４では、図３の横断歩道判定部２９で述べた処理を行う。即ち、設定された複数のペイント候補領域から選択された２つの隣接するペイント候補領域間の距離に基づいて、横断歩道か否かを判定する。ここで、ペイント候補領域間の横距離の統計量に基づいて横断歩道の判定を行う。さらに、横断歩道であると判定した場合、図１の車載カメラ３の取付け高さｈと、車載カメラ３の取付角θ、および俯瞰画像中の横断歩道の位置から、車両１と検出した横断歩道までの距離を算出して、運転支援システム７へ出力する。

【0049】

［第１実施形態の効果］
以上、詳細に説明したように、本実施形態に係る横断歩道検出装置によれば、俯瞰画像に局所処理領域を設定して走査し、ペイント相当領域と路面相当領域の輝度分布の統計値から分離度を算出して横断歩道を検出する。これにより、俯瞰画像の局所処理領域で日照条件が異なる場合でも、日照条件に影響を受けることなく、正確に横断歩道を検出することができる。

【0050】

また、本実施形態に係る横断歩道検出装置によれば、局所処理領域に予め定めた路面相当領域内の画素群の輝度値の平均値と分散とを統計値として算出する。これにより、路面相当領域における輝度分布の状態を表した数値を利用して良好に横断歩道を検出することができる。

【0051】

さらに、本実施形態に係る横断歩道検出装置によれば、局所処理領域に予め定めたペイント相当領域内の画素群の輝度値の平均値と分散とを統計値として算出する。これにより、ペイント相当領域における輝度分布の状態を表した数値を利用して良好に横断歩道を検出することができる。

【0052】

また、本実施形態に係る横断歩道検出装置によれば、局所処理領域に予め定めた路面相当領域の輝度値のインテグラルイメージを作成し、そのインテグラルイメージから輝度値の平均値を算出する。これにより、高速に輝度値の平均値を算出することができ、計算負荷を大幅に軽減することができる。

【0053】

さらに、本実施形態に係る横断歩道検出装置によれば、局所処理領域に予め定めた路面相当領域の輝度値の二乗のインテグラルイメージを作成し、その二乗のインテグラルイメージから輝度値の分散を算出する。これにより、高速に輝度値の分散を算出することができ、計算負荷を大幅に軽減することができる。

【0054】

また、本実施形態に係る横断歩道検出装置によれば、局所処理領域に予め定めたペイント相当領域の輝度値のインテグラルイメージを作成し、そのインテグラルイメージから輝度値の平均値を算出する。これにより、高速に輝度値の平均値を算出することができ、計算負荷を大幅に軽減することができる。

【0055】

さらに、本実施形態に係る横断歩道検出装置によれば、局所処理領域に予め定めたペイント相当領域の輝度値の二乗のインテグラルイメージを作成し、その二乗のインテグラルイメージから輝度値の分散を算出する。これにより、高速に輝度値の分散を算出することができ、計算負荷を大幅に軽減することができる。

【0056】

また、本実施形態に係る横断歩道検出装置によれば、路面相当領域の輝度値の平均値及び分散と、ペイント相当領域の輝度値の平均値及び分散とを用いて分離度を算出するので、日照条件の変化に対して耐性の高い横断歩道の検出を行うことができる。

【0057】

さらに、本実施形態に係る横断歩道検出装置によれば、複数のペイント候補領域群から選択された２つの隣接するペイント候補領域間の横方向距離の統計量に基づいて横断歩道の判定をする。これにより、横断歩道の規格に基づいた既知の横方向距離と比較して横断歩道か否かを正確に判定することができる。

【0058】

［第２実施形態］
次に、本発明の第２実施形態に係る横断歩道検出装置について説明する。

【0059】

［横断歩道検出装置の構成］
本実施形態に係る横断歩道検出装置の構成は、図２に示す第１実施形態の構成と同一であるが、横断歩道検出部の構成が相違している。

【0060】

図１１は本実施形態に係る横断歩道検出部の構成を示すブロック図であり、図１１に示すように本実施形態に係る横断歩道検出部５０は、図３に示す第１実施形態の構成に累積分離度画像作成部５１を追加したものである。また、画像走査部１７で実行される処理についても第１実施形態と相違している。

【0061】

画像走査部１７は、局所処理領域のペイント相当領域の幅を順次変更しながら走査する。このとき俯瞰画像を複数の領域に分割して各領域にそれぞれ走査線を設定し、この走査線に沿って局所処理領域を走査する。

【0062】

累積分離度画像作成部５１は、分離度評価部２３によって算出された分離度を、俯瞰画像上に設定された走査線に沿って集計して累積分離度画像を作成する。

【0063】

［横断歩道検出処理］
以下、図１２に示すフローチャートを参照して、本実施形態に係る横断歩道検出処理の手順を説明する。図１２に示す横断歩道検出処理では、ステップＳ３０において、インテグラルイメージを作成する。これは、第１実施形態のインテグラルイメージ作成部１５で説明した処理を行う。次いで、ステップＳ３２において、画像走査する。画像走査部１７は横断歩道検出フィルタのペイント相当領域の幅を順次変更しながら局所処理領域に適用して走査する。

【0064】

画像走査部１７は、図１３に示すように横断歩道検出フィルタ４０のペイント相当領域４１の幅を順次変化しながら、図１４に示す俯瞰画像上に設定された走査線に沿って横断歩道検出フィルタ４０を走査する。このとき、画像走査部１７は、ペイント相当領域４１の幅を最小値W_minから最大値W_maxまでの間でステップサイズを１ピクセルにして変化させている。そして、ペイント相当領域４１の幅が異なる横断歩道検出フィルタ４０を繰り返し走査線に沿って走査する。

【0065】

ここで、ペイント相当領域４１の最小値W_minと最大値W_maxは道路の規格によって定められた横断歩道の白線幅の最小値と最大値に対応して設定されている。さらに、車両の挙動によって変化する範囲に対応させて最小値W_minと最大値W_maxを設定してもよい。例えば、図１に示すように車載カメラ３がフロントカメラの場合、車両１のフロントが沈み込むと撮像される白線の幅は細くなり、逆にフロントが浮き上がると白線の幅は太く撮像される。そこで、このような車両の挙動による変化に対応させて最小値W_minと最大値W_maxを設定すれば、車両の挙動による誤差があっても横断歩道の白線を検出することが可能となる。例えば、最小値W_minは白線の幅１０ｃｍに相当するピクセル値に設定し、最大値W_maxは白線の幅５０ｃｍに相当するピクセル値に設定すればよい。尚、路面相当領域４２の幅を変更する必要はない。

【0066】

また、図１４に示す走査線は、俯瞰画像を複数の領域に分割して各領域にそれぞれ設定されている。例えば、図１４では俯瞰画像をＡ、Ｂ、Ｃの３つの領域に分割し、それぞれの領域に走査線を設定し、この走査線に沿って横断歩道検出フィルタを走査する。

【0067】

本実施形態ではペイント相当領域の幅を変更しながら繰り返し横断歩道検出フィルタを走査しているので、俯瞰画像のすべての画素について走査していると処理負荷が過大になる。そこで、処理負荷を低減させるために、本実施形態では複数の領域に設定された走査線上だけを走査するようにして処理負荷を低減させている。

【0068】

したがって、走査線の数は少ないほうがよいが、少なくし過ぎると正確に横断歩道の白線を検出できなくなってしまう。そこで、少なくとも３つの領域に俯瞰画像を分割し、各領域にそれぞれ走査線を設定するようにしている。少なくとも３本の走査線があれば、横断歩道の白線の検出を正確に行うことは可能だからである。

【0069】

次いで、ステップＳ３４において、分離度を評価する。走査線上において１画素ずつペイント領域輝度解析部１９、路面領域輝度解析部２１、分離度評価部２３で述べた処理を行い、画素毎の分離度を算出する。

【0070】

次いで、ステップＳ３６において、画像走査が終了したか否かを判定する。即ち、画像走査部１７は、すべての走査線についてペイント相当領域の幅を変更させながら横断歩道検出フィルタの走査が終了したか否かを判定する。

【0071】

画像走査部１７は、まずペイント相当領域の幅が最小値W_minの横断歩道検出フィルタを走査線上の開始位置ｘ＝０に設定する。その後、横断歩道検出フィルタの位置を１ピクセル単位で走査線に沿って移動させ、俯瞰画像を左端から右端まで走査し終わると、ペイント相当領域の幅を１ピクセル増やして繰り返し横断歩道検出フィルタを走査する。そして、ペイント相当領域の幅が最大値W_maxに達して、横断歩道検出フィルタの位置が俯瞰画像の右端に到達すると、画像走査部１７は横断歩道検出フィルタの走査が終了したと判定してステップＳ３８に進む。

【0072】

ステップＳ３８では、累積分離度画像作成部５１が、分離度評価部２３によって算出された分離度を集計して累積分離度画像を作成する。このとき、ペイント相当領域の幅が異なる横断歩道検出フィルタを用いた場合についてそれぞれ集計して累積分離度画像を作成する。例えば、図１５に示すように、まずペイント相当領域の幅が狭い横断歩道検出フィルタを用いた場合について走査線０〜ｘまでの分離度を取得して累積分離度画像を作成する。同様に、ペイント相当領域の幅が中間の横断歩道検出フィルタを用いた場合について累積分離度画像を作成し、ペイント相当領域の幅が広い横断歩道検出フィルタを用いた場合について累積分離度画像を作成する。ただし、図１５では３つの横断歩道検出フィルタを用いた場合について示しているが、実際にはペイント相当領域の幅を最小値W_minから最大値W_maxまで１ピクセルずつ増やしていった場合のすべてについて累積分離度画像を作成している。

【0073】

また、累積分離度画像を作成する際には、取得した分離度を走査線上のペイント相当領域の中央の位置に投票することによって累積分離度画像を作成する。例えば、路面相当領域の幅が１０画素、ペイント相当領域の幅が１０画素の横断歩道検出フィルタの左端が走査線の「０」の位置に設定されていたとする。この場合の分離度は、路面相当領域の幅の１０画素にペイント相当領域の幅の半分の５画素を加算した位置、すなわち走査線上の「１５」の位置に投票されるようにする。本実施形態では、ペイント相当領域の幅が変化するので、このようにペイント相当領域の中央の位置に投票して累積分離度画像を作成しないと、分離度の投票される位置がペイント相当領域の幅に応じてずれてしまうからである。

【0074】

そして、すべての横断歩道検出フィルタに対して累積分離度画像が作成できたら、次にこれらの累積分離度画像を集計して全体の累積分離度画像を作成する。集計方法としては、図１５に示すようにすべての累積分離度画像を単に加算すればよいが、分離度の大きさに応じて重み付けを行ってから加算してもよい。例えば、分離度の大きさが最大となる累積分離度画像に「１」を、それ以外の累積分離度画像に「０．５」をかけることによって重み付けを行ってから加算してもよい。

【0075】

こうして累積分離度画像が作成されると、次にステップＳ４０において、閾値処理部２５が累積分離度画像に対して閾値処理を行って所定の閾値以上となるピーク（極大値）を検出する。これにより走査線上の各画素についてペイント相当であるか否かを判定し、ペイント相当であると判定された画素の位置を出力する。

【0076】

次いで、ステップＳ４２では、ステップＳ４０の分離度に基づく閾値処理の結果、ペイント相当と判定された画素の数をカウントする。ここで画素数が所定値以下なら、車載カメラ３で撮影された画像が横断歩道を検出していないシーンに相当するものとして、処理を終了する。画素数が所定値を超えていれば、ステップＳ４４へ進む。

【0077】

ステップＳ４４では、ペイント候補領域設定部２７が、閾値処理部２５でペイント相当であると判定された走査線上の画素に対してペイント候補領域を設定する。ここでのペイント候補領域が後段の横断歩道判定部２９への出力となる。

【0078】

次いで、ステップＳ４６では、横断歩道判定部２９が、設定された複数のペイント候補領域から選択された２つの隣接するペイント候補領域間の距離に基づいて、横断歩道か否かを判定する。ここで、ペイント候補領域間の横距離の統計量に基づいて横断歩道の判定を行う。さらに、横断歩道であると判定した場合、図１の車載カメラ３の取付け高さｈと、車載カメラ３の取付角θ、および俯瞰画像中の横断歩道の位置から、車両１と検出した横断歩道までの距離を算出して、運転支援システム７へ出力する。こうして本実施形態に係る横断歩道検出装置による横断歩道検出処理は終了する。

【0079】

［第２実施形態の効果］
以上、詳細に説明したように、本実施形態に係る横断歩道検出装置によれば、分離度評価部によって算出された分離度を、俯瞰画像上に設定された走査線に沿って集計して累積分離度画像を作成する。これにより、横断歩道の白線の位置を累積分離度画像で表すことができるので、横断歩道の白線の位置を容易に認識することができる。

【0080】

また、本実施形態に係る横断歩道検出装置によれば、局所処理領域のペイント相当領域の幅を順次変更しながら走査するので、横断歩道の白線の幅がさまざまに変化した場合でも横断歩道を検出することが可能となる。

【0081】

さらに、本実施形態に係る横断歩道検出装置によれば、俯瞰画像を複数の領域に分割して各領域にそれぞれ走査線を設定し、設定された走査線に沿って局所処理領域を走査する。これにより、俯瞰画像のすべての画素に対して局所処理領域を走査していた場合と比較して処理負荷を軽減することができる。

【0082】

また、本実施形態に係る横断歩道検出装置によれば、俯瞰画像を少なくとも３つの領域に分割するので、処理負荷を最小限に軽減できるとともに横断歩道の白線を検出できない場合が生じることを防止できる。

【0083】

さらに、本実施形態に係る横断歩道検出装置によれば、局所処理領域のペイント相当領域の幅を道路の規格によって定められた横断歩道の白線幅の最小値と最大値との間で変更する。これにより、道路の規格によって定められたさまざまな幅の白線を有する横断歩道を検出することが可能となる。

【0084】

また、本実施形態に係る横断歩道検出装置によれば、局所処理領域のペイント相当領域の幅を車両の挙動によって変化する範囲で変更するので、車両の挙動による誤差があっても横断歩道の白線を検出することが可能となる。

【0085】

さらに、本実施形態に係る横断歩道検出装置によれば、走査線上に設定された局所処理領域のペイント相当領域の中央の位置に分離度を投票することによって累積分離度画像を作成する。これにより、ペイント相当領域の幅を変更しても横断歩道の白線の位置を正確に検出することができる。

【0086】

以上、本発明の横断歩道検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることが可能である。

【符号の説明】

【0087】

１ 車両
３ 車載カメラ
５ 計算機
７ 運転支援システム
１１ 視点変換部
１３、５０ 横断歩道検出部
１５ インテグラルイメージ作成部
１７ 画像走査部
１９ ペイント領域輝度解析部
２１ 路面領域輝度解析部
２３ 分離度評価部
２５ 閾値処理部
２７ ペイント候補領域設定部
２９ 横断歩道判定部
５１ 累積分離度画像作成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】