特許 7405643 標識識別システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-18

(45)【発行日】2023-12-26

(54)【発明の名称】標識識別システム

(51)【国際特許分類】

   G08G 1/09 20060101AFI20231219BHJP

   G06T 7/00 20170101ALI20231219BHJP

   G06T 7/60 20170101ALI20231219BHJP

【ＦＩ】

G08G1/09 D

G06T7/00 650A

G06T7/60 180Z

【請求項の数】 2

(21)【出願番号】P 2020030728

(22)【出願日】2020-02-26

(65)【公開番号】P2021135678

(43)【公開日】2021-09-13

【審査請求日】2022-11-04

(73)【特許権者】

【識別番号】000002967

【氏名又は名称】ダイハツ工業株式会社

(74)【代理人】

【識別番号】100103517

【弁理士】

【氏名又は名称】岡本 寛之

(72)【発明者】

【氏名】野田 憲司

【審査官】宮本 礼子

(56)【参考文献】

【文献】特開２００７－２５７２９９（ＪＰ，Ａ）

【文献】特開２０１７－１０２６６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

車両の前方を撮影するカメラと、
前記カメラが撮影した画像に基づいて特定の道路標識を識別する制御装置と、
を備え、
前記制御装置は、
前記特定の道路標識の形状に基づいて、前記画像から、前記特定の道路標識の候補を抽出する標識抽出処理と、
前記画像から、車線を区画する線を抽出する車線抽出処理と、
前記候補を通る垂線と前記線との交点を抽出する交点抽出処理と、
前記候補の面積を計算する面積抽出処理と、
前記垂線が延びる方向における前記交点の座標と前記面積との相関を示す関数に基づいて、前記垂線が延びる方向における前記交点の座標が、前記面積に対し、自車線側の候補が含まれ対向車線側の候補が除外される特定の範囲内にある候補を選択する選択処理と
を実行することを特徴とする、標識識別システム。

【請求項2】

車両の前方を撮影するカメラと、
前記カメラが撮影した画像に基づいて特定の道路標識を識別する制御装置と、
を備え、
前記制御装置は、
前記特定の道路標識の形状に基づいて、前記画像から、前記特定の道路標識の候補を抽出する標識抽出処理と、
前記画像から、車線を区画する線として、自車線側の線と対向車線側の線とを抽出する車線抽出処理と、
前記候補を通る垂線と、前記自車線側の線または前記対向車線側の線との交点を抽出する交点抽出処理と、
前記候補を通る垂線が前記自車線側の線と交わる場合、前記候補を自車線側の候補として選択し、その後、前記自車線側の候補のうち、交点の座標が前記車両に最も近い候補を選択する選択処理と
を実行することを特徴とする、標識識別システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、標識識別システムに関する。

【背景技術】

【0002】

従来、車両の前方を撮影するカメラが撮影した画像に基づいて一時停止標識を識別する方法が、提案されている（下記特許文献１参照）。

【0003】

この方法では、カメラが撮影した画像から赤色領域を抽出し、抽出した赤色領域がＴ字形状であるか否かを判定することにより、一時停止標識を識別する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－１０６７４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記した特許文献１に記載の方法では、夜間や逆光など、一時停止標識の露光環境により、一時停止標識の色彩を正確に撮影することが困難な場合がある。

【0006】

その場合、識別すべき一時停止標識を、識別できない場合がある。

【0007】

そこで、本発明の目的は、識別すべき特定の道路標識を、より確実に識別できる標識識別システムを提供することにある。

【課題を解決するための手段】

【0008】

本発明は、車両の前方を撮影するカメラと、前記カメラが撮影した画像に基づいて特定の道路標識を識別する制御装置とを備え、前記制御装置は、前記特定の道路標識の形状に基づいて、前記画像から、前記特定の道路標識の候補を抽出する標識抽出処理と、前記画像から、車線を区画する線を抽出する車線抽出処理と、前記候補を通る垂線と前記線との交点を抽出する交点抽出処理と、前記交点の座標に基づいて、自車線側に存在し、かつ、前記車両に最も近い候補を選択する選択処理とを実行する、標識識別システムを含む。

【0009】

このような構成によれば、カメラが撮影した画像から、特定の道路標識の形状に基づいて、特定の道路標識の候補を抽出する。

【0010】

そして、車線を区画する線を抽出し、候補を通る垂線と自車線側の線との交点の座標に基づいて、自車線側に存在し、かつ、車両に最も近い候補、すなわち、識別すべき候補を抽出する。

【0011】

その結果、識別すべき特定の道路標識を、より確実に識別できる。

【0012】

また、標識識別システムは、特定の道路標識の形状が認識できる程度の画像を撮影できる比較的安価なカメラを備えていればよい。

【0013】

そのため、標識識別システムのコスト低減を図ることもできる。

【発明の効果】

【0014】

本発明の標識識別システムによれば、識別すべき特定の道路標識を、より確実に識別できる。

【図面の簡単な説明】

【0015】

【図1】図１は、本発明の一実施形態としての標識識別システムのブロック図である。

【図2】図２は、標識識別システムの動作を説明するためのフローチャートである。

【図3】図３は、図２の標識識別ルーチンを説明するためのフローチャートである。

【図4】図４は、カメラが撮影した画像の一例である。

【図5】図５は、第２の変形例を説明するための説明図である。

【図6】図６は、第３の変形例を説明するための説明図である。

【図7】図７は、第３の変形例における面積とｙ座標との相関を示すグラフである。

【発明を実施するための形態】

【0016】

１．標識識別システムの構成
標識識別システム１は、車両に搭載される。なお、標識識別システム１は、車両に取り付けられるドライブレコーダーであってもよい。標識識別システム１は、特定の道路標識を識別する。特定の道路標識としては、例えば、一時停止標識などの規制標識が挙げられる。

【0017】

図１に示すように、標識識別システム１は、カメラ２と、制御装置３と、必要により、ストレージ４と、報知器５とを備える。

【0018】

（１）カメラ
カメラ２は、車両の前方を撮影する。

【0019】

（２）制御装置
制御装置３は、標識識別システム１の動作を制御する。制御装置３は、有線または無線により、カメラ２、ストレージ４および報知器５と通信可能である。制御装置３は、カメラ２が撮影した画像に基づいて特定の道路標識を識別する。詳しくは、制御装置３は、メインメモリ６と、プロセッサ７とを有する。

【0020】

メインメモリ６は、カメラ２が撮影した画像を記憶する。メインメモリ６としては、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が挙げられる。

【0021】

プロセッサ７は、メインメモリ６に記憶されている画像に基づいて、特定の道路標識を識別する。プロセッサ７としては、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などが挙げられる。プロセッサ７は、特定の道路標識の形状が記憶されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を有してもよい。なお、制御装置３は、特定の道路標識の形状が記憶されたＲＯＭを、プロセッサ７とは独立に有してもよい。

【0022】

なお、制御装置３は、車両の動作を制御するＥＣＵであってもよい。また、制御装置３は、ＥＣＵから独立していてもよい。制御装置３がＥＣＵから独立している場合、制御装置３は、有線または無線により、ＥＣＵと通信可能であってもよい。

【0023】

（３）ストレージ
ストレージ４は、必要により、メインメモリ６に記憶されている画像を記憶する。ストレージ４としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などが挙げられる。

【0024】

（４）報知器
報知器５は、特定の道路標識の接近を、ユーザーに報知する。報知器５は、例えば、スピーカーである。なお、報知器５は、カーナビゲーションシステムであってもよい。報知器５がカーナビゲーションシステムである場合、報知器５は、特定の道路標識の接近を画面に表示してもよい。

【0025】

２．標識識別システムの制御
次に、標識識別システム１の制御について説明する。

【0026】

図２に示すように、標識識別システム１が起動すると、制御装置３は、標識識別ルーチン（Ｓ１）を実行する。制御装置３は、標識識別ルーチン（Ｓ１）により、カメラ２が撮影した画像に基づいて特定の道路標識を識別する。

【0027】

（１）標識識別ルーチン
図３に示すように、標識識別ルーチン（Ｓ１）において、制御装置３は、標識抽出処理（Ｓ１１）と、車線抽出処理（Ｓ１２）と、交点抽出処理（Ｓ１４）と、選択処理（Ｓ１６）とを実行する。

【0028】

なお、以下の説明では、図４に示すように、交差点で一時停止標識（特定の道路標識の一例）を識別する場合を例に挙げて、説明する。車両が交差点に差し掛かる前にカメラ２が撮影した画像Ｉ_(n)には、自車線側の一時停止標識Ｍ１、Ｍ２と、対向車線側の一時停止標識Ｍ３とが移っている。自車線側の一時停止標識Ｍ２は、車両の進行方向において、自車線側の一時停止標識Ｍ１よりも車両から遠くに配置されている。

【0029】

（１－１）標識抽出処理
標識抽出処理（Ｓ１１、図３参照）において、制御装置３は、ＲＯＭに記憶されている一時停止標識の形状（逆三角形状）に基づいて、画像Ｉ_(n)から、一時停止標識の候補を抽出する。

【0030】

詳しくは、制御装置３は、画像Ｉ_(n)の中から、テンプレートマッチングなどの画像処理によって、一時停止標識の形状と類似する形状を、一時停止標識の候補として抽出する。この実施形態では、制御装置３は、自車線側の一時停止標識Ｍ１、Ｍ２と、対向車線側の一時停止標識Ｍ３とを、一時停止標識の候補として抽出する。

【0031】

（１－２）車線抽出処理
また、車線抽出処理（Ｓ１２、図３参照）において、制御装置３は、画像Ｉ_(n)から、車線を区画する線を抽出する。

【0032】

具体的には、制御装置３は、画像Ｉ_(n)の中から、テンプレートマッチングなどの画像処理によって、車線を区画する線Ｌ１、Ｌ２を抽出する。なお、以下の説明において、線Ｌ１を自車線側の線Ｌ１と記載し、線Ｌ２を対向車線側の線Ｌ２と記載する。

【0033】

（１－３）交点抽出処理
図３に示すように、標識抽出処理（Ｓ１１）において、一時停止標識の候補が抽出された場合（Ｓ１３、ＹＥＳ）、制御装置３は、交点抽出処理（Ｓ１４）を実行する。

【0034】

なお、標識抽出処理（Ｓ１１）において、一時停止標識の候補が１つも抽出されなかった場合（Ｓ１３、ＮＯ）、制御装置３は、再度、標識抽出処理（Ｓ１１）を実行する。

【0035】

図４に示すように、交点抽出処理（Ｓ１４）では、制御装置３は、候補Ｍ１を通る垂線Ｌ３と自車線側の線Ｌ１との交点Ｐ１、候補Ｍ２を通る垂線Ｌ４と自車線側の線Ｌ１との交点Ｐ２、および、候補Ｍ３を通る垂線Ｌ５と対向車線側の線Ｌ２との交点Ｐ３を抽出する。

【0036】

なお、「候補を通る垂線」とは、カメラ２が撮影した画像Ｉ_(n)において、左右方向をｘ方向とし、上下方向をｙ方向とした場合に、候補の中心を通り、ｙ方向に延びる線である。

【0037】

（１－４）選択処理
図３に示すように、交点抽出処理（Ｓ１４）において、１以上の交点が抽出された場合（Ｓ１５、ＹＥＳ）、制御装置３は、選択処理（Ｓ１６）を実行する。

【0038】

なお、交点抽出処理（Ｓ１４）において、交点が抽出されなかった場合（Ｓ１５、ＮＯ）、制御装置３は、再度、標識抽出処理（Ｓ１１）を実行する。

【0039】

選択処理（Ｓ１６）では、制御装置３は、交点抽出処理（Ｓ１４）によって抽出された交点Ｐ１、Ｐ２、Ｐ３の座標に基づいて、自車線側に存在し、かつ、車両に最も近い候補を選択する。

【0040】

具体的には、図４に示す画像Ｉ_(n)において、左上方の角を座標（０，０）とし、右方へ向かうにつれてｘ座標の数値が大きくなり、下方へ向かうにつれてｙ座標の数値が大きくなる場合、制御装置３は、交点Ｐ１、交点Ｐ２、交点Ｐ３のうち、ｙ座標が最も大きい交点Ｐ１に対応する候補Ｍ１を、選択する。

【0041】

その後、制御装置３は、標識識別ルーチン（Ｓ１）を終了する。

【0042】

（２）運転者への報知
図２に示すように、標識識別ルーチン（Ｓ１）が終了した後、車両と候補Ｍ１との距離が所定の距離以下となった場合、すなわち、車両が一時停止標識に接近した場合（Ｓ２：ＹＥＳ）、制御装置３は、報知器５により、一時停止標識の接近を、運転者に報知する（Ｓ３）。

【0043】

制御装置３は、車両が停止したこと、すなわち、車両の速度が０ｋｍ／時になったことを条件として（Ｓ４：ＹＥＳ）、報知を停止する（Ｓ５）。

【0044】

３．作用効果
標識識別システム１によれば、図４に示すように、カメラ２が撮影した画像Ｉ_(n)から、一時停止標識の形状に基づいて、一時停止標識の候補Ｍ１、Ｍ２、Ｍ３を抽出する（標識抽出処理（Ｓ１１）、図３参照）。

【0045】

そして、車線を区画する線Ｌ１、Ｌ２を抽出し（車線抽出処理（Ｓ１２）、図３参照）、候補Ｍ１を通る垂線Ｌ３と自車線側の線Ｌ１との交点Ｐ１、候補Ｍ２を通る垂線Ｌ４と自車線側の線Ｌ１との交点Ｐ２、および、候補Ｍ３を通る垂線Ｌ５と対向車線側の線Ｌ２との交点Ｐ３を、画像Ｉ_(n)から抽出する（交点抽出処理（Ｓ１４）、図３参照）。

【0046】

そして、交点Ｐ１、Ｐ２、Ｐ３の座標に基づいて、自車線側に存在し、かつ、車両に最も近い候補、すなわち、識別すべき候補を選択する（選択処理（Ｓ１６）、図３参照）。

【0047】

具体的には、画像Ｉ_(n)の左上方の角を座標（０，０）とし、右方へ向かうにつれてｘ座標の数値が大きくなり、下方へ向かうにつれてｙ座標の数値が大きくなる場合、交点Ｐ１、交点Ｐ２、交点Ｐ３のうち、ｙ座標が最も大きい交点Ｐ１に対応する候補Ｍ１を、選択する。

【0048】

その結果、識別すべき一時停止標識を、より確実に識別できる。

【0049】

また、標識識別システム１は、一時停止標識の形状が認識できる程度の画像を撮影できる比較的安価なカメラ２を備えていればよい。

【0050】

そのため、標識識別システム１のコスト低減を図ることもできる。

【0051】

４．変形例
次に、変形例について説明する。なお、変形例において、上記した実施形態と同様の部材、同様の処理には同じ符号を付し、説明を省略する。

【0052】

（１）選択処理（Ｓ１６）において、制御装置３は、候補Ｍ１、Ｍ２、Ｍ３から、候補を通る垂線が自車線側の線Ｌ１と交わる候補Ｍ１、Ｍ２を選択し、その後、交点のｙ座標が最も大きい候補Ｍ１を選択してもよい。

【0053】

（２）図５に示すように、画像Ｉ_(n)（図４参照）の後に撮影された画像Ｉ_(n+1)において、画像Ｉ_(n)に写っていた一時停止標識Ｍ１がフレームアウトし、対向車線側の一時停止標識Ｍ３だけが写っている場合が想定される。この場合、選択処理（Ｓ１６）において、ｙ座標が最も大きい交点に対応する候補を選択すると、一時停止標識Ｍ３を自車線の標識として誤って識別してしまう。

【0054】

そこで、制御装置３は、対向車線側の線Ｌ２の端点Ｅよりもｙ座標が小さい交点Ｐ３に対応する一時停止標識Ｍ３を、画像Ｉ_(n+1)中の候補から除外してもよい。

【0055】

これにより、自車線の標識を、より正確に識別できる。

【0056】

（３）また、図６に示すように、画像Ｉ_(m)中に、別の車道の一時停止標識Ｍ４が写り込んでいる場合が想定される。この場合、候補Ｍ４を通る垂線Ｌ６と対向車線側の線Ｌ２との交点Ｐ４のｙ座標は、候補Ｍ１を通る垂線Ｌ３と自車線側の線Ｌ１との交点Ｐ１のｙ座標よりも大きくなる。この場合も、選択処理（Ｓ１６）において、ｙ座標が最も大きい交点に対応する候補を選択すると、一時停止標識Ｍ４を自車線の標識として誤って識別してしまう。

【0057】

そこで、制御装置３は、候補Ｍ１、Ｍ４の面積（画素数）を計算し、面積とｙ座標との相関を示す関数Ｆ（図７参照）に基づいて、面積に対してｙ座標が大きすぎる場合（図７のエリアＡ１に該当する場合）、画像Ｉ_(m)中の候補から除外してもよい。

【0058】

これにより、制御装置３は、選択処理（Ｓ１６）において、関数Ｆに基づいて、面積に対してｙ座標が妥当な範囲（図７のエリアＡ１に該当する場合）にある候補Ｍ１を、選択でき、自車線の標識を、より正確に識別できる。

【符号の説明】

【0059】

１ 標識識別システム
２ カメラ
３ 制御装置
Ｉ_(n) 画像
Ｌ１、Ｌ２ 線
Ｌ３～Ｌ５ 垂線
Ｍ１～Ｍ３ 候補
Ｐ１～Ｐ３ 交点
Ｓ１１ 標識抽出処理
Ｓ１２ 車線抽出処理
Ｓ１４ 交点抽出処理
Ｓ１６ 選択処理

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】