(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-28
(45)【発行日】2022-12-06
(54)【発明の名称】矢印方向特定装置及び矢印方向特定方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20221129BHJP
G06T 7/70 20170101ALI20221129BHJP
【FI】
G06T7/00 650Z
G06T7/70 B
(21)【出願番号】P 2019089544
(22)【出願日】2019-05-10
【審査請求日】2021-07-20
(73)【特許権者】
【識別番号】000004695
【氏名又は名称】株式会社SOKEN
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110000028
【氏名又は名称】弁理士法人明成国際特許事務所
(72)【発明者】
【氏名】石丸 和寿
(72)【発明者】
【氏名】末久 泰士
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開平09-130516(JP,A)
【文献】特開2017-146711(JP,A)
【文献】特開2009-037375(JP,A)
【文献】韓国登録特許第10-1411893(KR,B1)
【文献】特開2012-168592(JP,A)
【文献】長谷川 貴司 外2名,頂点の位置情報とニューラルネットワークを用いた矢印図形の認識方法,第63回(平成13年後期)全国大会講演論文集(2) 人工知能と認知科学,社団法人情報処理学会,2001年09月26日,pp.2-73~2-74
【文献】加藤 隆広 外4名,道路案内標識中の矢印と文字領域の対応付けに関する実験的検討,画像電子学会誌,日本,画像電子学会,2002年07月25日,第31巻 第4号,pp.542-552
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
CSDB(日本国特許庁)
(57)【特許請求の範囲】
【請求項1】
矢印を表示する標識における前記矢印の方向を特定する矢印方向特定装置(100)であって、
周辺環境を撮像する撮像装置から得られる撮像画像内において、前記標識に表示された前記矢印を特定する標識特定部(12)と、
特定された前記矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記矢印含有領域の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成するヒストグラム生成部(13)と、
前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する方向特定部(14)と、
を備え
、
前記方向特定部は、前記縦方向ヒストグラムにおける前記横方向の変化を、一次線形直線で近似し、該一次線形直線の傾きがプラスの場合には、前記矢印の方向を右向きと特定し、マイナスの場合には、前記矢印の方向を左向きと特定する、
矢印方向特定装置。
【請求項2】
請求項
1に記載の矢印方向特定装置において、
前記方向特定部は、前記縦方向ヒストグラムにおいて、少なくとも左側ピークと右側ピークとを特定し、前記左側ピークと前記右側ピークとを利用して、前記矢印の方向を特定する、
矢印方向特定装置。
【請求項3】
請求項1
または請求項2に記載の矢印方向特定装置において、
前記方向特定部は、前記縦方向ヒストグラムにおいて、少なくとも左側ピークと右側ピークとを特定し、前記左側ピークと前記右側ピークとの比率に基づき、前記矢印の方向を特定する、
矢印方向特定装置。
【請求項4】
矢印を表示する標識における前記矢印の方向を特定する矢印方向特定装置(100)であって、
周辺環境を撮像する撮像装置から得られる撮像画像内において、前記標識に表示された前記矢印を特定する標識特定部(12)と、
特定された前記矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記矢印含有領域の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成するヒストグラム生成部(13)と、
前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する方向特定部(14)と、
を備え、
前記方向特定部は、前記縦方向ヒストグラムにおいて、少なくとも左側ピークと、右側ピークと、前記縦方向ヒストグラムにおける横方向の中央部の合計値の平均値と、を特定し、前記平均値と前記左側ピークとの比である第1比と、前記平均値と前記右側ピークとの比である第2比と、に基づき、前記矢印の方向を特定する、
矢印方向特定装置。
【請求項5】
矢印を表示する標識における前記矢印の方向を特定する矢印方向特定装置(100)であって、
周辺環境を撮像する撮像装置から得られる撮像画像内において、前記標識に表示された前記矢印を特定する標識特定部(12)と、
特定された前記矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記矢印含有領域の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成するヒストグラム生成部(13)と、
前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する方向特定部(14)と、
を備え、
前記標識は、主標識に付随する補助標識であり、
前記標識特定部は、前記撮像画像内において前記主標識を認識し、該認識された前記主標識の位置を基準として、前記補助標識が存在すると推定される補助標識推定領域を前記撮像画像から切り出し、切り出された前記補助標識推定領域を対象として前記縦方向ヒストグラムを生成する、
矢印方向特定装置。
【請求項6】
請求項
5に記載の矢印方向特定装置において、
前記標識特定部は、前記補助標識推定領域を2値化して同じ値の画像を連結し、該連結された連結画像にラベル付けをし、該ラベル付けされた前記連結画像のうち、予め定められた条件に該当する前記連結画像を除去する絞り込み処理を行う、
矢印方向特定装置。
【請求項7】
矢印を表示する標識における前記矢印の方向を特定する矢印方向特定装置(100)であって、
周辺環境を撮像する撮像装置から得られる撮像画像内において、前記標識に表示された前記矢印を特定する標識特定部(12)と、
特定された前記矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記矢印含有領域の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成するヒストグラム生成部(13)と、
前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する方向特定部(14)と、
を備え、
前記ヒストグラム生成部は、前記縦方向ヒストグラムを生成する前に、前記矢印含有領域内において、縦方向に沿った画素位置ごとに横方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記矢印含有領域の縦方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の横方向の合計値を示す横方向ヒストグラムを生成し、前記横方向ヒストグラムにおける最大値を示す縦方向位置を含んだ縦方向における所定範囲の領域を、処理対象として、前記縦方向ヒストグラムを生成する、
矢印方向特定装置。
【請求項8】
矢印を表示する標識における前記矢印の方向を、矢印方向特定装置を用いて特定する矢印方向特定方法であって、
(a)前記矢印方向特定装置において、周辺環境を撮像する撮像装置から得られる撮像画像内において前記標識を特定する工程と、
(b)前記矢印方向特定装置において、前記特定された前記標識内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記標識の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成する工程と、
(c)前記矢印方向特定装置において、前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する工程と、
を備え
、
前記工程(c)は、前記縦方向ヒストグラムにおける前記横方向の変化を、一次線形直線で近似し、該一次線形直線の傾きがプラスの場合には、前記矢印の方向を右向きと特定し、マイナスの場合には、前記矢印の方向を左向きと特定する工程を含む、
矢印方向特定方法。
【請求項9】
矢印を表示する標識における前記矢印の方向を、矢印方向特定装置を用いて特定する矢印方向特定方法であって、
(a)前記矢印方向特定装置において、周辺環境を撮像する撮像装置から得られる撮像画像内において前記標識を特定する工程と、
(b)前記矢印方向特定装置において、前記特定された前記標識内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記標識の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成する工程と、
(c)前記矢印方向特定装置において、前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する工程と、
を備え、
前記工程(c)は、前記縦方向ヒストグラムにおいて、少なくとも左側ピークと、右側ピークと、前記縦方向ヒストグラムにおける横方向の中央部の合計値の平均値と、を特定し、前記平均値と前記左側ピークとの比である第1比と、前記平均値と前記右側ピークとの比である第2比と、に基づき、前記矢印の方向を特定する工程を含む、
矢印方向特定方法。
【請求項10】
矢印を表示する標識における前記矢印の方向を、矢印方向特定装置を用いて特定する矢印方向特定方法であって、
(a)前記矢印方向特定装置において、周辺環境を撮像する撮像装置から得られる撮像画像内において前記標識を特定する工程と、
(b)前記矢印方向特定装置において、前記特定された前記標識内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記標識の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成する工程と、
(c)前記矢印方向特定装置において、前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する工程と、
を備え、
前記標識は、主標識に付随する補助標識であり、
前記工程(a)は、前記撮像画像内において前記主標識を認識し、該認識された前記主標識の位置を基準として、前記補助標識が存在すると推定される補助標識推定領域を前記撮像画像から切り出し、切り出された前記補助標識推定領域を対象として前記縦方向ヒストグラムを生成する工程を含む、
矢印方向特定方法。
【請求項11】
矢印を表示する標識における前記矢印の方向を、矢印方向特定装置を用いて特定する矢印方向特定方法であって、
(a)前記矢印方向特定装置において、周辺環境を撮像する撮像装置から得られる撮像画像内において前記標識を特定する工程と、
(b)前記矢印方向特定装置において、前記特定された前記標識内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記標識の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成する工程と、
(c)前記矢印方向特定装置において、前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する工程と、
を備え、
前記工程(b)は、前記縦方向ヒストグラムを生成する前に、前記矢印含有領域内において、縦方向に沿った画素位置ごとに横方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記矢印含有領域の縦方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の横方向の合計値を示す横方向ヒストグラムを生成し、前記横方向ヒストグラムにおける最大値を示す縦方向位置を含んだ縦方向における所定範囲の領域を、処理対象として、前記縦方向ヒストグラムを生成する工程を含む、
矢印方向特定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、矢印方向特定装置に関する。
【背景技術】
【0002】
従来より、車両の自動運転制御等の目的のため、路上の標識を精度良く識別したいという要請がある。このような標識には、例えば、一方通行の標識や、所定の通行制限区間を示す標識のように、矢印を表示する標識が含まれる。特許文献1には、地図情報に応じて物体の識別器を切り換え、物体が何の標識であるかを識別する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
矢印を表示する標識では、矢印の方向が重要な意味を有する。特許文献1に記載の技術では、矢印を含む標識の種類、言い換えると矢印の方向の示す意味、例えば一方通行である旨や制限区間の開始や終了である旨は、予め地図情報に含まれている。したがって、かかる地図情報に基づき、矢印の方向を特定できる。しかし、特許文献1に記載の技術では、膨大なデータが付加された地図情報を用いるため、矢印の方向を特定する装置に必要な処理能力、消費電力、およびコストが膨大なものとなる。例えば、かかる装置が車両に搭載されて用いられる場合には、処理リソースが限られているため、特許文献1の技術を適用できないおそれもある。そこで、矢印を表示する標識における矢印の方向を簡易に且つ精度良く特定可能な技術が望まれている。
【課題を解決するための手段】
【0005】
本開示は、以下の形態として実現することが可能である。
[形態1]矢印を表示する標識における前記矢印の方向を特定する矢印方向特定装置(100)であって、周辺環境を撮像する撮像装置から得られる撮像画像内において、前記標識に表示された前記矢印を特定する標識特定部(12)と、特定された前記矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記矢印含有領域の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成するヒストグラム生成部(13)と、前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する方向特定部(14)と、を備え、前記方向特定部は、前記縦方向ヒストグラムにおける前記横方向の変化を、一次線形直線で近似し、該一次線形直線の傾きがプラスの場合には、前記矢印の方向を右向きと特定し、マイナスの場合には、前記矢印の方向を左向きと特定する、矢印方向特定装置。
[形態2]矢印を表示する標識における前記矢印の方向を特定する矢印方向特定装置(100)であって、周辺環境を撮像する撮像装置から得られる撮像画像内において、前記標識に表示された前記矢印を特定する標識特定部(12)と、特定された前記矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記矢印含有領域の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成するヒストグラム生成部(13)と、前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する方向特定部(14)と、を備え、前記方向特定部は、前記縦方向ヒストグラムにおいて、少なくとも左側ピークと、右側ピークと、前記縦方向ヒストグラムにおける横方向の中央部の合計値の平均値と、を特定し、前記平均値と前記左側ピークとの比である第1比と、前記平均値と前記右側ピークとの比である第2比と、に基づき、前記矢印の方向を特定する、矢印方向特定装置。
[形態3]矢印を表示する標識における前記矢印の方向を特定する矢印方向特定装置(100)であって、周辺環境を撮像する撮像装置から得られる撮像画像内において、前記標識に表示された前記矢印を特定する標識特定部(12)と、特定された前記矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記矢印含有領域の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成するヒストグラム生成部(13)と、前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する方向特定部(14)と、を備え、前記標識は、主標識に付随する補助標識であり、前記標識特定部は、前記撮像画像内において前記主標識を認識し、該認識された前記主標識の位置を基準として、前記補助標識が存在すると推定される補助標識推定領域を前記撮像画像から切り出し、切り出された前記補助標識推定領域を対象として前記縦方向ヒストグラムを生成する、矢印方向特定装置。
[形態4]矢印を表示する標識における前記矢印の方向を特定する矢印方向特定装置(100)であって、周辺環境を撮像する撮像装置から得られる撮像画像内において、前記標識に表示された前記矢印を特定する標識特定部(12)と、特定された前記矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記矢印含有領域の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成するヒストグラム生成部(13)と、前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する方向特定部(14)と、を備え、前記ヒストグラム生成部は、前記縦方向ヒストグラムを生成する前に、前記矢印含有領域内において、縦方向に沿った画素位置ごとに横方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記矢印含有領域の縦方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の横方向の合計値を示す横方向ヒストグラムを生成し、前記横方向ヒストグラムにおける最大値を示す縦方向位置を含んだ縦方向における所定範囲の領域を、処理対象として、前記縦方向ヒストグラムを生成する、矢印方向特定装置。
【0006】
本開示の一形態によれば、矢印を表示する標識における前記矢印の方向を特定する矢印方向特定装置(100)が提供される。この矢印方向特定装置は、周辺環境を撮像する撮像装置から得られる撮像画像内において、前記標識に表示された前記矢印を特定する標識特定部(12)と、特定された前記矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記矢印含有領域の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成するヒストグラム生成部(13)と、前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する方向特定部(14)と、を備える。
【0007】
この形態の矢印方向特定装置(100)によれば、特定された矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって矢印を表す色と関連する画素値を有する画素の数をカウントし、矢印含有領域の横方向の長さの全体に亘って、画素位置毎のカウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成し、縦方向ヒストグラムを利用して、矢印の方向を特定するので、膨大なデータが付加された地図情報を用いることなく矢印の方向を特定できる。このため、矢印の方向を特定する装置に必要な処理能力、消費電力、およびコストが膨大なものとならず、矢印を表示する標識における矢印の方向を簡易に且つ精度良く特定できる。
【0008】
本開示は、矢印方向特定装置以外の種々の形態で実現することも可能である。例えば、矢印方向特定方法、矢印方向特定装置の制御方法、装置の機能や方法を実現するためのコンピュータプログラム、かかるコンピュータプログラムを記憶した記憶媒体等の形態で実現できる。
【図面の簡単な説明】
【0009】
【
図1】本開示の一実施形態としての矢印方向特定装置の機能構成を示すブロック図である。
【
図2】矢印判定処理の手順を示すフローチャートである。
【
図3】矢印を含む補助標識が付随した最高速度制限の標識の一例を示す説明図である。
【
図4】
図3に示す画像から切り出された候補領域の一例を示す説明図である。
【
図5】補助標識推定領域の切り出し処理の手順を示すフローチャートである。
【
図6】切り出された補助標識推定領域をリサイズ処理して得られた画像を示す説明図である。
【
図7】ヒストグラム作成処理の手順を示すフローチャートである。
【
図8】横方向ヒストグラムの一例を示す説明図である。
【
図9】縦方向ヒストグラムの一例を示す説明図である。
【
図10】縦方向ヒストグラムに特徴量を示した説明図である。
【
図11】第1実施形態における方向特定処理の手順を示すフローチャートである。
【
図12】第2実施形態における方向特定処理の手順を示すフローチャートである。
【
図13】第3実施形態における方向特定処理の手順を示すフローチャートである。
【
図14】矢印を含む主標識の一例を示す説明図である。
【発明を実施するための形態】
【0010】
A.第1実施形態:
A1.装置構成:
図1に示される矢印方向特定装置100は、標識に表された矢印の方向を特定する装置である。本実施形態において、矢印の方向が表わされた標識とは、主標識に付随して用いられる補助標識が該当する。このような補助標識としては、例えば、所定の制限速度が定められていることを示す主標識に対して、かかる制限速度が定められている区間(通行制限区間)を示す補助標識が該当する。具体的には、日本国においては、右向きの矢印の補助標識は、通行制限区間の開始を示し、両方向の矢印の補助標識は、通行制限区間内であることを示し、左向きの矢印の補助標識は、通行制限区間の終了を示す。
【0011】
矢印方向特定装置100は、CPU(Central Processing Unit)10と、メモリ20と、外部インターフェイス(外部I/F)15とを備えるECU(Electronic Control Unit)として構成されている。CPU10とメモリ20は内部バスにより互いに通信可能に接続されている。本実施形態において、矢印方向特定装置100は、図示しない車両に搭載されて用いられる。具体的には、矢印方向特定装置100により特定された矢印の方向に基づき、補助標識の種類、例えば、通行制限区間の開始を示す補助標識であることが特定され、かかる補助標識を示すアイコンが、車両内の表示装置に表示される。かかる表示装置としては、例えば、インストルメントパネル内の液晶パネルや、ヘッドアップディスプレイなどが該当する。このようなアイコンが表示されることにより、運転者は、車両が走行制限区間に入ったことを知ることができる。
【0012】
CPU10は、メモリ20に予め記憶されている制御用プログラムを読み出して実行することにより、取得部11、標識特定部12、ヒストグラム生成部13、方向特定部14として、機能する。
【0013】
取得部11は、車両の周囲を撮像して得られた画像データを取得する。矢印方向特定装置100は、外部インターフェイス15を介して車両内に配置されているネットワーク16に接続されている。このネットワーク16には、車両に搭載されている撮像装置18用の制御装置17も接続されている。取得部11は、制御装置17およびネットワーク16を介して、撮像装置18により得られた画像データを取得する。撮像装置18は、車両のイグニッションがオンして給電されると撮像を開始する。撮像は、例えば、1秒間に24フレーム等のフレームレートで行われる。そして、撮像により得られた各フレーム画像が取得部11により取得される。本実施形態において、ネットワーク16は、CAN(Controller Area Network)により構成されている。なお、CANに代えてLIN(Local Interconnect Network)やEthernet(登録商標)が用いられてもよい。
【0014】
標識特定部12は、取得部11によって取得された画像データに基づき、撮像画像内における標識を特定する。具体的には、標識特定部12は、撮像画像全体に対して、走査窓を少しずつずらしながら領域の画像特徴量を計算し、その画像特徴量が標識の特徴量に似たものを探索して標識を特定する。このような画像特徴量としては、例えば、大きさ、形状、画素値(RGBの値)、エッジの形状などが該当する。標識特定部12は、標識を特定するために、後述するように、主標識認識と、補助標識切り出し処理と、リサイズ処理と、2値化処理とを行う。
【0015】
ヒストグラム生成部13は、標識特定部12により特定された標識内において、矢印の色を示す値を有する画素値の画素数をカウントし、ヒストグラムを生成する。このような矢印の色を示す値としては、例えば、所定の色相、彩度および明度を有する赤色に該当するRGBの値が該当する。なお、かかる画素値は単一の値(RGBの単一の組み合わせ)に限らず、R、G、Bのそれぞれについて所定の範囲を持つ色空間に含まれる任意の画素値であってもよい。ヒストグラムの詳細については、後で説明する。
【0016】
方向特定部14は、ヒストグラム生成部13によって生成されたヒストグラムを用いて、矢印の方向を特定する。具体的な矢印の特定方法については、後述する。
【0017】
A2.矢印判定処理:
図2に示す矢印判定処理は、補助標識の矢印の方向を特定する処理である。矢印判定処理は、矢印方向特定装置100の電源がオンし、取得部11により撮像画像が取得されると開始される。
【0018】
標識特定部12は、主標識を認識する(ステップS100)。前述したように、標識特定部12は、取得部11によって取得された画像データ全体に対して、走査窓を少しずつずらしながら領域の画像特徴量を計算し、その画像特徴量が主標識の特徴量に似たものを探索して主標識を認識する。その結果、例えば、
図3に示されるような速度制限を示す主標識121と、かかる速度制限の区間の開始を示す補助標識122とが含まれる領域Wにおける画像特徴量に基づき、主標識121が認識される。
【0019】
図2に示すように、標識特定部12は、補助標識切り出し処理を行う(ステップS110)。補助標識切り出し処理とは、主標識121の位置を基準として、補助標識が存在すると推定される予め定められた位置および大きさの領域(補助標識推定領域と呼ぶ)を所定の領域として特定して切り出す処理である。当該処理によって、補助標識が存在する領域の絞り込みが可能となる。
【0020】
具体的には、
図5に示すような手順にて補助標識推定領域の切り出し処理が行われる。標識特定部12は、主標識121の下部における所定の位置、大きさおよび形状の領域を、候補領域として切り出す(ステップS111)。本実施形態において、候補領域120の形状は矩形である。例えば、
図3に示すように、領域Wにおいて、ステップS100により特定された主標識121の下部の破線で示す矩形の領域が候補領域120として切り出される。主標識および補助標識の大きさ、また、主標識に対する補助標識の相対的な位置は、予め所定の規定にて定められている。したがって、候補領域として切り出す領域の位置および大きさは、補助標識が含まれるような位置および大きさとなるように、予め実験等により定められて設定されている。
【0021】
図5に示すように、標識特定部12は、候補領域120に対して2値化処理を行う(ステップS112)。具体的には、補助標識の赤色を表す画素値範囲として予め定められた範囲内の画素値を有する画素を白色(数値1)に設定して、かかる範囲に含まれない画素を黒色(数値0)に設定する。このため、
図4に示す候補領域120では、ステップS112によって、主標識の円環部分の領域121aの各画素と、補助標識の矢印部分の領域123の各画素とが、白色(数値1)に設定され、その他の領域の画素が黒色(数値0)に設定される。
【0022】
図5に示すように、標識特定部12は、2値化された画像で白色(数値1)を示す領域を連結して連結画像として、各連結画像にラベル付けを行う処理(ラベリング)を行う(ステップS113)。
図4の例では、領域121aおよび領域123が、連結画像としてそれぞれラベル付けされる。例えば、領域121aの連結画像に対してラベル「1」が、領域123の連結画像に対してラベル「2」がそれぞれ付与される。なお、
図4では、図示の便宜上、領域121aおよび領域123以外の領域についても白色にて表わされている。
【0023】
図5に示すように、標識特定部12は、各ラベルの連結画像において、補助標識の矢印らしくない予め定められた除去条件に該当する除去対象領域があるかどうか判定する(ステップS114)。予め定められた除去条件として、例えば下記条件1~3が挙げられる。
(条件1)長辺/短辺比が小さい。
(条件2)縦または横の長さが短い補助標識の矢印。
(条件3)領域に対して線形回帰を実行し、回帰直線との残差が大きい場合。
【0024】
矢印は長細い形状上の特徴がある。このため、長辺/短辺比が小さいときは正方形に近くなるので、除去条件となる(条件1)。縦または横の長さが短い場合、領域が小さくなりすぎてノイズなのか補助標識の矢印か分かりづらいので除去条件となる(条件2)。また、領域に対して線形回帰を実行した場合に、回帰線との残差が大きい場合も除去条件となる(条件3)。例えば、
図4において、ラベル1が付与された領域121aに対して線形回帰を実行した場合、破線124辺りに図示しない回帰直線が引かれる。また、ラベル2が付与された領域123に対して線形回帰を実行した場合、破線125辺りに図示しない回帰直線が引かれる。この場合、ラベル2が付与された領域123と破線125辺りの回帰直線とは、平行に近い。すなわち、領域123から破線125辺りの回帰直線に垂線を引いた場合、垂線の長さに相当する残差はほとんどない。他方、ラベル1が付与された領域121aに対して線形回帰を実行した場合、破線124辺りに図示しない回帰直線が引かれる。ラベル1が付与された領域121aと破線124辺りの回帰直線とは、平行または略平行でなく、また、領域121aの一部は破線124から大きく離れている。すなわち、領域121aから破線124辺りの回帰直線に垂線を引いた場合、垂線の長さに相当する残差が大きくなるので、ラベル1が付与された領域121aは、除去対象領域である。
【0025】
図5に示すように、各ラベルが付与された連結画像で、上記条件1から条件3までのいずれかに該当する除去対象領域があると判定された場合(ステップS114:Yes)、標識特定部12は、該当除去対象領域を除去する(ステップS115)。他方、各ラベルが付与された連結画像で、上記条件1から条件3までのいずれにも該当する除去対象領域がないと判定された場合(ステップS114:No)、または、上述のステップS115の完了後、標識特定部12は、絞り込まれた連結画像の周辺を補助標識推定領域として切り出す(ステップS116)。
図4の例においては、標識特定部12は、ラベル2が付与された連結画像123の周辺の所定の位置、大きさおよび形状の領域を特定し、かかる領域と同じ位置および大きさの領域を補助標識推定領域126として、撮像画像から切り出す。ステップS116の実行後、
図2に示すステップS120が実行される。なお、補助標識推定領域は、本開示の矢印含有領域の下位概念に相当する。
【0026】
標識特定部12は、ステップS110により切り出された補助標識推定領域126に対してリサイズ処理を行う(ステップS120)。標識特定部12は、リサイズ化された領域を2値化する(ステップS130)。このステップS130では、上述したステップS112における2値化処理と同じ処理が行われる。
図6に示すように、例えば、標識特定部12は、ステップS120において、補助標識推定領域126に対して、縦40ピクセル(pix)、横96ピクセル(pix)にリサイズ化する処理を行う。リサイズ化処理によって、判定対象領域が一定の大きさに正規化されるので、小さすぎる領域や大きすぎる領域が混在することなく、矢印方向の判定精度にばらつきが生じることが回避される。なお、標識特定部12によるリサイズ処理後の大きさは、上述の40pix×96pixに限らず、任意の大きさであってもよい。
図6には、補助標識の矢印に対応する画素が白色の画素として表わされている。かかる矢印の上下に横方向に延びる白線が描かれているが、これら2つの白線については、後述する。ステップS130が実行されることにより、赤系の矢印領域が白色となり、それ以外は黒色となる。当該2値化処理によって、矢印と背景の判別が明瞭となる。
【0027】
図2に示すように、ヒストグラム生成部13は、ステップS130により2値化された領域に対してヒストグラム作成処理を行う(ステップS140)。具体的には、
図7に示すように、ヒストグラム生成部13は、横方向ヒストグラムを作成する(ステップS142)。横方向ヒストグラムとは、補助標識推定領域の縦方向に沿った画素位置ごとに横方向に並んだ画素であって白色(数値1)の画素値を有する画素の数をカウントし、補助標識推定領域の縦方向の長さの全体に亘って、画素位置毎のカウントされた画素の数の横方向の合計値を示すヒストグラムを意味する。なお、白色(数値1)は、矢印の色(赤色)と関連する画素値といえる。例えば、ヒストグラム生成部13は、
図6に示される縦方向に沿った画素位置ごとに横方向に並んだ画素で、白色の値(数値1)を有する画素の数をカウントする。そして、
図6の縦方向の画素位置を横軸にし、各画素位置のカウント数を縦軸にして、
図8に示される横方向ヒストグラムを作成する。
図7に示すように、ヒストグラム生成部13は、縦方向ヒストグラムを生成する前に、横方向ヒストグラムを生成する。
【0028】
図7に示されるように、ヒストグラム生成部13は、横方向ヒストグラムにおける最大値を示す縦方向位置を特定する(ステップS144)。
図8の例では、最大値である約75を示す縦方向位置(約22pix)が特定される。
図7に示すように、ヒストグラム生成部13は、横方向ヒストグラムにおける最大値を示す縦方向位置を含んだ縦方向における所定範囲を特定する(ステップS146)。本実施形態では、最大値を示す縦方向位置を中心として上下に所定の長さの範囲が特定される。
図8の例では、ヒストグラム生成部13は、最大値を示す縦方向位置約22を中心として、上下にそれぞれ10pixの範囲、すなわち、12pix~32pixの範囲を特定する。当該特定された範囲は、
図6においては、横軸と平行の2本の白線、すなわち、12pixの白線と32pixの白線に囲まれた領域に相当し、当該範囲が後述する処理(ステップS148)の対象となる。
【0029】
図7に示すように、ヒストグラム生成部13は、縦方向ヒストグラムを生成する(ステップS148)。縦方向ヒストグラムとは、補助標識推定領域の横方向に沿った画素位置ごとに縦方向に並んだ画素であって白色(数値1)の画素値を有する画素の数をカウントし、補助標識推定領域の横方向の長さの全体に亘って、画素位置毎のカウントされた画素の数の縦方向の合計値を示すヒストグラムを意味する。このとき、ヒストグラム生成部13は、ステップS146により特定された範囲内を処理対象として、縦方向ヒストグラムを生成する。例えば、
図6の2値化画像に基づき、上下2つの白線で囲まれた範囲内における白色の画素の数がカウントされ、
図9に示す縦方向ヒストグラムが生成される。ステップS148の完了後、
図2に示す矢印方向特定処理が実行される(ステップS150)。
【0030】
方向特定部14は、矢印方向特定処理を行う(ステップS150)。具体的には、
図11に示すように、方向特定部14は、データ長による除外判定として、入力データ、すなわち取得部11により取得された画像データの横幅が有効な横幅以下であるか否かを判定する(ステップS151)。本実施形態では、有効な横幅を40pixにしているが、当該値に限らず任意の値でよい。方向特定部14は、入力データの有効な横幅が有効な横幅以下であると判定した場合(ステップS151:Yes)、方向特定の判定を行わない(ステップS152)。例えば、撮像装置18の故障などに起因して撮像画像の大きさが小さくなり、横幅が40pix以下の画像データが取得された場合には、かかる画像データに基づく方向特定の判定は行われない。
【0031】
方向特定部14は、入力データの有効な横幅が有効な横幅以下でないと判定した場合(ステップS151:No)、両方向の矢印であるか否かの判定を行う(ステップS153)。具体的には、方向特定部14は、まず、縦方向ヒストグラムにおけるピーク左の値、ピーク右の値、および中央フラット部の平均値を求める。ここで、ピーク左とは、縦方向ヒストグラムにおける中央フラット部の左側の領域で最もカウント数が大きい位置である。同様にして、ピーク右とは、縦方向ヒストグラムにおける中央フラット部の右側の領域で最もカウント数が大きい位置である。本実施形態においては、中央フラット部とは、
図9および
図10に示すように、縦方向ヒストグラムのうち、縦方向ヒストグラムの作成の対象となった縦方向画素範囲全体における中央寄りの80%の領域におけるカウント値を意味する。補助標識の矢印においては、かかる領域の縦方向の幅(高さ)はほぼ一定であるため、白色画素のカウント値も一定となり、ヒストグラム上では、フラットな領域となる。ピーク左値は、中央フラット部の左側であって全体の10%に当たる領域のうちで、最もカウント数が大きい位置であり、ピーク右値は、中央フラット部の右側であって全体の10%に当たる領域のちで、最もカウント数が大きい位置である。
【0032】
図11に示すように、方向特定部14は、右比>2.0であり、かつ、左比>2.0を満たす否かの判定を行う。右比とは、ピーク右値と中央フラット部の平均値の比(ピーク右値/中央フラット部の平均値)を意味する。左比とは、ピーク左値と中央フラット部の平均値の比(ピーク左値/中央フラット部の平均値)を意味する。ピーク左値およびピーク右値が、それぞれ中央フラット部の平均値に対して2.0より大きい、すなわち、矢印を示すカウント数が両端部分において大きいということは、矢印の先端の三角形部分を両端に有すると判断できる。そこで、方向特定部14は、(右比)>2.0、かつ、(左比)>2.0であると判定した場合に両方向の矢印であると判定し(ステップS153:Yes)、対象標識は両方向矢印であると特定する(ステップS154)。方向特定部14は、(右比)>2.0、かつ、(左比)>2.0でないと判定した場合、両方向の矢印ではないと判定する(ステップS153:No)。
【0033】
両方向の矢印ではないと判定された場合(ステップS153:No)、方向特定部14は、左右比の値が0.7未満か否かの判定を行う(ステップS155)。左右比とは、ピーク左値とピーク右値との比率(ピーク左値/ピーク右値)を意味する。方向特定部14は、左右比の値が0.7未満であると判定した場合(ステップS155:Yes)、対象画像は右方向の矢印であると特定する(ステップS156)。上式で示す左右比の値が、0.7未満であるということは、ピーク右値がピーク左値に対してカウント数が大きいことから、対象画像が右方向の矢印であることが推測される。本実施形態では、片方向矢印の判定の閾値を0.7としているが、他の値でもよい。方向特定部14は、左右比の値が0.7未満でない、すなわち0.7以上であると判定した場合(ステップS155:No)、対象画像は、左方向の矢印、または、両方向の矢印であると特定する(ステップS157)。
【0034】
ステップS152~S157の完了後、
図2に示すように、矢印方向特定(ステップS150)は完了し、処理はステップS100に戻る。
【0035】
以上説明した第1実施形態の矢印方向特定装置100は、周辺環境を撮像する撮像装置から得られる撮像画像内において、標識に表示された矢印を特定する標識特定部12と、特定された矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって矢印を表す色と関連する画素値を有する画素の数をカウントし、矢印含有領域の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成するヒストグラム生成部13と、縦方向ヒストグラムを利用して、矢印の方向を特定する方向特定部14と、を備える。したがって、矢印方向特定装置100によれば、膨大なデータが付加された地図情報を用いることなく矢印の方向を特定できる。このため、矢印の方向を特定する装置に必要な処理能力、消費電力、およびコストが膨大なものとならず、矢印を表示する標識における矢印の方向を簡易に且つ精度良く特定できる。
【0036】
また、本実施形態の矢印方向特定装置100において、方向特定部14は、縦方向ヒストグラムにおいて、少なくとも左側ピークと右側ピークとを特定し、ピーク左値と、ピーク右値との比(ピーク左値/ピーク右値)が、予め定められた閾値よりも小さい場合は、対象画像は右方向矢印であると特定し、他方、当該比の値が予め定められた閾値以上の場合は、対象画像は左方向矢印または両方向矢印であると特定する。このため、矢印を表示する標識における矢印の方向を簡易に特定できる。
【0037】
さらに、本実施形態の矢印方向特定装置100において、方向特定部14は、縦方向ヒストグラムにおいて、少なくとも左側ピークと、右側ピークと、縦方向ヒストグラムにおける横方向の中央部の合計値の平均値と、を特定し、平均値と左側ピークとの比である第1比と、平均値と右側ピークとの比である第2比とが、予め定められた閾値より大きいと判定した場合、対象画像は、両方向の矢印であると特定するので、矢印を表示する標識における矢印が両方向であるか否かを簡易に特定できる。
【0038】
B.第2実施形態:
第2実施形態の矢印方向特定装置100の構成は、第1実施形態の矢印方向特定装置100と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。第2実施形態の矢印方向特定装置100は、矢印方向特定処理(ステップS150)の詳細手順において第1実施形態の矢印方向特定装置100と異なる。矢印判定処理のその他の手順は、第1実施形態と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。
【0039】
図12に示す第2実施形態の矢印方向特定処理は、ステップS166、S167、S168を追加して実行する点において、
図11に示す第1実施形態の矢印方向特定処理と異なる。第2実施形態の矢印方向特定処理におけるその他の手順は、第1実施形態と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。第2実施形態の矢印方向特定装置100は、傾きを用いて方向を特定する点において、第1実施形態の矢印方向特定装置100と異なる。
【0040】
上述のステップS155において、左右比の値が0.7未満でない、すなわち、0.7以上であると判定された場合(ステップS155:No)、方向特定部14は、後述する回帰直線の傾きが0.02以上であるか否かを判定する(ステップS166)。このステップS166の詳細手順について説明する。方向特定部14は、まず、
図9に示される縦方向ヒストグラムを用いて、全データの平均値を求める。方向特定部14は、各データの数値、すなわち各画素値のカウント数から平均値を差し引いて偏差を求める。方向特定部14は、求められた偏差を用いた最小二乗法により、一次線形直線である回帰直線を求め、かかる回帰直線の傾きを求める。すなわち、方向特定部14は、縦方向ヒストグラムにおける横方向の変化を、一次線形直線で近似する。そして、方向特定部14は、求められた傾きが0.02以上であるか否かを判定する。
【0041】
傾きが0.02以上であると判定された場合(ステップS166:Yes)、方向特定部14は、右方向の矢印と特定する(ステップS167)。方向特定部14は、傾きが0.02未満である場合(ステップS166:No)、左方向の矢印または両方向の矢印であると特定する(ステップS168)。回帰直線の傾きが0.02以上である場合、右肩上がりの直線であるので、矢印を示す白色の数値のカウント数が右側に多く、対象画像の右端に矢印を示す三角形部分が存在することが推測される。従ってこの場合、右方向矢印と特定するようにしている。他方、回帰直線の傾きが0.02未満である場合、左肩上がりの直線または水平方向にフラットな直線であるので、矢印を示す白色の数値のカウント数が左側に多く対象画像の左端に矢印を示す三角形部分が存在する場合、或いは、左右の両端に矢印を示す三角形部分が存在する場合が推測される。そこで、この場合、左方向の矢印または両方向の矢印であると特定するようにしている。上述のステップS166における閾値は、0.02に限らず、他の任意の値であってもよい。例えば、閾値を0とした場合、方向特定部14は、回帰直線の傾きがプラスまたはマイナスのいずれかで、矢印の方向を特定してもよい。
【0042】
以上説明した第2実施形態の矢印方向特定装置100は、第1実施形態の矢印方向特定装置100と同様の効果を有する。加えて、第2実施形態の矢印方向特定装置100においては、方向特定部14は、右比かつ左比と、左右比とに加えて、傾きを用いて矢印の方向を特定しているので、矢印を表示する標識における矢印の方向を更に精度良く特定できる。
【0043】
C.第3実施形態:
第3実施形態の矢印方向特定装置100の構成は、第1実施形態の矢印方向特定装置100と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。第3実施形態の矢印方向特定装置100は、矢印方向特定処理(ステップS150)の詳細手順において第1実施形態の矢印方向特定装置100と異なる。矢印判定処理のその他の手順は、第1実施形態と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。
【0044】
図13に示す第3実施形態の矢印方向特定処理は、ステップS153およびS154を省略する点において、
図12に示す第2実施形態の矢印方向特定処理と異なる。第3実施形態の矢印方向特定処理におけるその他の手順は、第2実施形態の矢印方向特定処理と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。第3実施形態の矢印方向特定処理では、ステップS151において、入力データの横幅は有効な横幅以下でないと判定した場合(ステップS151:No)、上述のステップS155が実行され、左右比の値が0.7未満か否かの判定が行われる。
【0045】
以上説明した第3実施形態の矢印方向特定装置100は、第1実施形態および第2実施形態の矢印方向特定装置100と同様の効果を有する。第1実施形態の矢印方向特定装置100に対して、第3実施形態の矢印方向特定装置100においては、方向特定部14は、主に両方向の矢印判定のために行う右比かつ左比を用いた判定処理を省略して、傾きを用いて矢印の方向を特定している。本実施形態においては、方向特定部14は、両方向の矢印判定のための右比かつ左比を用いた判定は行わないので、片側方向特定を重視しており、矢印を表示する標識における矢印の方向を簡易に特定し、片側方向を精度良く特定できる。
【0046】
D.他の実施形態:
(D1)各実施形態では、主標識に対して、矢印が付随的な補助標識を対象としていたが、本開示はこれに限定されない。矢印を示す標識が主標識であってもよい。例えば、
図14に示されるように、一方通行を示す主標識200の矢印を対象としてもよい。
【0047】
(D2)各実施形態において、方向特定部14は、左右比による判定や、傾きによる判定など、複数の特徴量を用いて、矢印の方向特定を行っているが、本開示はこれに限定されない。方向特定部14は、1つの特徴量のみで矢印の方向特定を行ってもよい。例えば、方向特定部14は、左右比のみの判定、または、傾きのみの判定、を行って矢印の方向を行ってもよい。これにより簡易な判定ができる。
【0048】
(D3)各実施形態では、車両に搭載された矢印方向特定装置100を対象としていたが、本開示はこれに限定されない。矢印方向特定装置100は、車両に搭載されていなくてもよい。また、表示装置に矢印が表示されなくてもよい。矢印の方向を音声出力によって案内してもよい。さらに、特定された矢印の方向は、メモリ20に記憶されるだけでもよい。また、矢印方向特定装置100により特定された矢印の方向は、補助標識または主標識の種類の特定に用いられているが、本開示はこれに限定されない。矢印方向特定装置100により特定された矢印の方向は、メモリ20に記憶するために用いられてもよい。
【0049】
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した形態中の技術的特徴に対応する各実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【0050】
12 標識特定部、13 ヒストグラム生成部、14 方向特定部、100 矢印方向特定装置