特許 7613278 道路情報標示物認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-06

(45)【発行日】2025-01-15

(54)【発明の名称】道路情報標示物認識装置

(51)【国際特許分類】

   G08G 1/09 20060101AFI20250107BHJP

   G06T 7/00 20170101ALI20250107BHJP

   G06T 7/70 20170101ALI20250107BHJP

【ＦＩ】

G08G1/09 D

G06T7/00 650A

G06T7/70 A

【請求項の数】 3

(21)【出願番号】P 2021096644

(22)【出願日】2021-06-09

(65)【公開番号】P2022188532

(43)【公開日】2022-12-21

【審査請求日】2024-01-25

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100187311

【弁理士】

【氏名又は名称】小飛山 悟史

(74)【代理人】

【識別番号】100161425

【弁理士】

【氏名又は名称】大森 鉄平

(72)【発明者】

【氏名】太田 泰稔

【審査官】櫻田 正紀

(56)【参考文献】

【文献】国際公開第２０２０／０９０４２８（ＷＯ，Ａ１）

【文献】特開２０１１－１８５７７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

車両の周囲の少なくとも一部の領域を撮像するカメラと、
前記カメラの撮像範囲の少なくとも一部を検出範囲に含むアクティブセンサと、
前記アクティブセンサにより検出した標示物候補が道路情報標示物であると判定した場合、前記カメラで撮像した画像において当該道路情報標示物に対応する範囲を画像認識して、当該道路情報標示物の道路情報を認識する処理装置と、を備え、
前記処理装置は、
前記アクティブセンサの検出結果から標示物候補を抽出し、
前記標示物候補の形状、位置及び反射率の少なくとも何れかに基づいて、前記標示物候補が道路情報標示物であるか否かを判定し、
前記処理装置は、
前記画像において、左右のレーンマーカーを検出すると共に、前記レーンマーカの検出結果に基づいて、歩道上の範囲を前記道路情報標示物の存在範囲として特定し、
前記アクティブセンサで検出された、車両前方の３次元の点群に関する点群情報において、特定した前記道路情報標示物の前記存在範囲を設定し、前記道路情報標示物の当該存在範囲に位置する前記標示物候補を抽出し、
抽出した前記標示物候補の形状、位置及び反射率の少なくとも何れかに基づいて、前記標示物候補が前記道路情報標示物であるか否かを判定する、道路情報標示物認識装置。

【請求項2】

前記処理装置は、
前記点群情報において同じ種別の複数の前記道路情報標示物が存在すると判定した場合、それらの何れか一つの前記道路情報標示物についての前記画像における対応する範囲を画像認識して、一つの当該道路情報標示物の前記道路情報を認識する、請求項１に記載の道路情報標示物認識装置。

【請求項3】

前記アクティブセンサは、ＬｉＤＡＲである、請求項１又は２に記載の道路情報標示物認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、道路情報標示物認識装置に関する。

【背景技術】

【0002】

道路情報標示物認識装置は、ＴＳＲ[Traffic Sign Recognition]とも呼ばれ、道路情報標示物認識装置に関する技術として、例えば特許文献１に記載された道路標識判断装置が知られている。特許文献１に記載された道路標識判断装置は、撮像部によって撮像された車両の前方の撮像画像に画像認識処理を実行して第１の道路規制標識を検出する画像認識部と、地図データ記憶部から車両の位置での第２の道路規制標識を含む道路リンクを取得する地図情報取得部と、道路リンクが変化する時に、現在の道路リンクで検出された現在の第１の道路規制標識及び第２の道路規制標識の少なくとも一方も利用して、現在の道路リンクでの最終的な道路規制標識を判断する道路標識判断部と、を備える。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１０２８９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、道路情報標示物（例えば標識、看板及び信号機等）については、新設、移設及び取外しがされやすいことから、地図情報においてその情報の鮮度は低いものとなりやすい。そのため、地図情報に基づき道路情報標示物の道路情報を認識する上記技術では、当該認識の精度が悪くなる可能性がある。

【0005】

本発明は、上記実情に鑑みてなされたものであり、道路情報標示物の道路情報を精度よく認識することが可能な道路情報標示物認識装置を提供することを課題とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る道路情報標示物認識装置は、車両の周囲の少なくとも一部の領域を撮像するカメラと、カメラの撮像範囲の少なくとも一部を検出範囲に含むアクティブセンサと、アクティブセンサにより検出した標示物候補が道路情報標示物であると判定した場合、カメラで撮像した画像において当該道路情報標示物に対応する範囲を画像認識して、当該道路情報標示物の道路情報を認識する処理装置と、を備える。

【0007】

この道路情報標示物認識装置では、道路情報標示物に関する情報を含む地図情報を用いずに、カメラとアクティブセンサとを効果的に協働させて、道路情報標示物の道路情報を認識することができる。道路情報標示物が新設、移設及び取外しされた場合でも、それに応じた道路情報の認識が可能になる。したがって、本発明の一態様に係る道路情報標示物認識装置によれば、道路情報標示物の道路情報を精度よく認識することが可能となる。

【0008】

本発明の一態様に係る道路情報標示物認識装置では、処理装置は、アクティブセンサの検出結果から標示物候補を抽出し、標示物候補の形状、位置及び反射率の少なくとも何れかに基づいて、標示物候補が道路情報標示物であるか否かを判定してもよい。この場合、アクティブセンサにより検出した標示物候補が道路情報標示物であるか否かを、標示物候補の形状、位置及び反射率の少なくとも何れかを利用して判定することができる。

【0009】

本発明の一態様に係る道路情報標示物認識装置では、アクティブセンサは、ＬｉＤＡＲであってもよい。この場合、ＬｉＤＡＲをアクティブセンサとして利用して、道路情報標示物の道路情報を精度よく認識することができる。

【発明の効果】

【0010】

本発明によれば、道路情報標示物の道路情報を精度よく認識することが可能な道路情報標示物認識装置を提供することが可能となる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施形態に係る道路情報標示物認識装置の構成を示すブロック図である。

【図2】図２は、実施形態に係る道路情報標示物認識装置により実施される道路情報標示物の道路情報の認識例を示すフローチャートである。

【図3】図３は、カメラで取得した画像の一例を示す図である。

【図4】図４は、ＬｉＤＡＲで取得した点群情報の一例を示す図である。

【図5】図５は、ＬｉＤＡＲで取得した点群情報の一例を示す図である。

【図6】図６は、ＬｉＤＡＲで取得した点群情報の一例を示す図である。

【図7】図７は、カメラで取得した画像の一例を示す図である。

【図8】図８は、変形例に係る道路情報標示物認識装置の構成を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図面を参照して説明する。以下の説明において、同一又は相当要素には同一符号を用い、重複する説明は省略する。

【0013】

図１は、道路情報標示物認識装置１の構成を示すブロック図である。図１に示すように、道路情報標示物認識装置１は、車両１０に搭載される。道路情報標示物認識装置１は、道路情報標示物の道路情報を認識する。車両１０は、特に限定されないが、ここでは完全自動運転を除く、限定的な自動運転機能を有する車両を想定する。

【0014】

道路情報標示物は、例えば標識、看板及び信号機等である。道路情報標示物としては、特に限定されず、道路情報を標示するものであれば、あらゆる標示物を含む。本実施形態が対象とする道路情報標示物は、例えば認識の実効性の観点から、道路標識であって形状が円形の道路標識及び逆三角形の道路標識である。道路情報標示物認識装置１は、カメラ２、ＬｉＤＡＲ［Light Detection and Ranging：ライダー］３、情報処理ＥＣＵ[Electronic Control Unit]４及びＨＭＩ［HumanMachine Interface］５を備える。

【0015】

カメラ２は、車両１０の外部環境を撮像する撮像機器である。カメラ２は、例えば車両１０のフロントガラスの裏側に設けられ、車両１０の前方を撮像する。カメラ２は、車両１０の背面及び側面に設けられていてもよい。カメラ２は、車両前方の画像を取得し、取得した画像を情報処理ＥＣＵ４へ送信する。カメラ２は、単眼カメラであってもよく、ステレオカメラであってもよい。カメラ２としては特に限定されず、種々のカメラを用いることができる。カメラ２は、車両１０の周囲の少なくとも一部の領域を撮像すればよい。

【0016】

ＬｉＤＡＲ３は、光を利用して車両１０の周囲の物体を検出するアクティブセンサである。ＬｉＤＡＲ３は、検出のための光を車両１０の周囲に出力し、車両１０の周囲の物体で反射された光を受信することにより物体を検出する。ここでのＬｉＤＡＲ３は、車両前方に向かって搭載され、車両前方の物体を検出する。ＬｉＤＡＲ３の搭載方向は特に限定されず、車両の後方、車両の左右側方に向かって搭載されていてもよい。物体は、例えば道路情報標示物、構造物及び路上の縁石等である。ＬｉＤＡＲ３は、カメラ２の撮像範囲の少なくとも一部を検出範囲に含む。換言すると、ＬｉＤＡＲ３の検出範囲はカメラ２の撮像範囲を含む、或いは、ＬｉＤＡＲ３の検出範囲はカメラ２の撮像範囲に含まれる。

【0017】

ＬｉＤＡＲ３は、車両前方の３次元の点群に関する点群情報を取得し、取得した当該点群情報を情報処理ＥＣＵ４へ送信する。点群情報は、物体を構成する複数の点（位置データ）を少なくとも含む情報である。点群情報は、その１点単位で３次元距離及び反射率を含む情報である。カメラ２とＬｉＤＡＲ３とは、位置合わせ（キャリブレーション）がなされており、同じ一定周期で且つ同期して、車両前方の画像及び点群情報をそれぞれ取得する。ＬｉＤＡＲ３は、車両前方の点群を一度に取得するフラッシュ型であってもよいし、回転しながら３６０度スキャン動作を行う回転型であってもよい。

【0018】

情報処理ＥＣＵ４は、ＣＰＵ[Central Processing Unit]等のプロセッサ、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等のメモリを有する電子制御ユニットである。情報処理ＥＣＵ４では、例えば、ＲＯＭに記録されているプログラムをＲＡＭにロードし、ＲＡＭにロードしたプログラムをＣＰＵで実行することにより各種の機能を実現する。情報処理ＥＣＵ４は、複数の電子制御ユニットから構成されていてもよい。情報処理ＥＣＵ４は、処理装置を構成する。

【0019】

情報処理ＥＣＵ４は、ＬｉＤＡＲ３の検出結果（点群情報）から標示物候補を抽出する。抽出の手法としては、公知の種々の手法を用いることができる。情報処理ＥＣＵ４は、抽出した標示物候補の形状、位置及び反射率の少なくとも何れかを認識し、標示物候補の形状、位置及び反射率の少なくとも何れかに基づいて、標示物候補が道路情報標示物であるか否かを判定する。情報処理ＥＣＵ４は、標示物候補が道路情報標示物であると判定した場合、カメラ２で撮像した画像において当該道路情報標示物に対応する範囲を画像認識して、当該道路情報標示物の道路情報を認識する。情報処理ＥＣＵ４は、認識した道路情報をＨＭＩ５を介して乗員（運転者を含む）に報知する。情報処理ＥＣＵ４の処理の詳細については、後述する。

【0020】

ＨＭＩ５は、乗員との間で情報の入出力を行うためのインターフェイスである。ＨＭＩ５は、例えば、表示部（ディスプレイ）及びスピーカを有する。ＨＭＩ５は、情報処理ＥＣＵ４からの制御信号に応じて、表示部の画像出力及びスピーカからの音声出力を行う。ＨＭＩ５は、ＨＵＤ［Head Up Display］を備えていてもよい。ＨＭＩ５は、情報処理ＥＣＵ４で認識した道路情報標示物の道路情報を、例えば表示部の画像出力及びスピーカからの音声出力により乗員に報知する。

【0021】

次に、道路情報標示物認識装置１により実施される道路情報の認識の一例について、図２のフローチャートを参照しつつ説明する。

【0022】

道路情報標示物認識装置１では、例えば車両１０の走行を開始した場合に、次の道路情報の認識処理を実行する。すなわち、車両前方の画像Ｇ（図３参照）をカメラ２により取得すると共に、車両前方の点群情報Ｔ（図４参照）をＬｉＤＡＲ３により取得する（ステップＳ１）。図４の点群情報Ｔでは、左右の点群は縁石で反射したものであり、センターラインは白線のために映っていない。図４の点群情報Ｔでは、路面反射した点群は、予め除去されている。

【0023】

続いて、情報処理ＥＣＵ４により、車両前方の画像Ｇにおいて、左右のレーンマーカーを検出すると共に、レーンマーカの検出結果に基づいて、道路情報標示物が存在すると思われる存在範囲（通常、歩道上で車道寄りの範囲）を特定する（ステップＳ２）。情報処理ＥＣＵ４により、点群情報において、特定した道路情報標示物の存在範囲（図５中の点線の範囲Ｗ１）を設定し、道路情報標示物の存在範囲に位置し且つ道路情報標示物と思われる候補である標示物候補の点群を抽出する（ステップＳ３）。図６の例では、標示物候補の点群は、点線の矩形範囲Ｗ２内の点群である。

【0024】

続いて、情報処理ＥＣＵ４により、抽出した標示物候補が道路情報標示物であるか否かを判定する（ステップＳ４）。上記ステップＳ４では、抽出した標示物候補について、その形状及び位置（高さ位置）及び反射率を用いて評価する。例えば情報処理ＥＣＵ４には、複数の道路情報標示物の種別ごとに形状と位置と反射率とを関連付けたデータテーブルが予め記憶されている。上記ステップＳ４では、抽出した標示物候補を当該データテーブルを用いてスコアリング評価を行い、判定することができる。なお、標示物候補の形状は、例えばパターンマッチング等の公知の画像処理を用いて認識することができる。標示物候補の位置は、例えば標示物候補の中心位置、上端位置、下端位置、左端位置及び右端位置の何れかを基準することができる。標示物候補の反射率は、例えば標示物候補を構成する各点群の反射率の最大値、最小値及び平均値の何れかを基準にすることができる。

【0025】

本実施形態の例では、道路情報標示物が速度標識９のため、道路情報標示物の形状が円形で、その直径が一定範囲（数１０ｃｍ～１．５ｍ弱）に収まるように設計されている。また、速度標識９の設置高さは、１ｍ～２ｍ程度の範囲に収まる。速度標識９は、前照灯による標識の視認性を向上させるために表面に目視できない微小なガラスビーズ等が設けられているため、速度標識の反射率は、安定して一定以上である。よって、上記ステップＳ４では、抽出した標示物候補の形状が一定範囲の円形であり、位置が１ｍ～２ｍの範囲にあり、反射率が一定以上であるとして、当該標示物候補は道路情報標示物であると判定される。

【0026】

道路情報標示物がありと判定された場合、情報処理ＥＣＵ４により、車両前方の画像Ｇにおいて道路情報標示物に対応する範囲（図７中の点線の矩形範囲Ｗ３）を切り出す（ステップＳ５でＹＥＳ，ステップＳ６）。車両前方の画像Ｇから切り出した範囲に前処理（傾き補正及び拡大縮小等）を施すと共に画像認識を施し、道路情報標示物の道路情報を認識する（ステップＳ７）。ここでの例では、道路情報標示物が速度標識であって速度規制の値が「６０ｋｍ／ｈ」であることを認識する。上記ステップＳ７において施す前処理及び画像処理の手法は特に限定されず、種々の公知の処理であってもよい。

【0027】

ＨＭＩ５により、認識した道路情報標示物の道路情報を乗員に報知する（ステップＳ８）。上記ステップＳ８の後又は上記ステップＳ５でＮＯの場合、車両１０が停止していなければ上記ステップＳ１の処理に戻る一方、車両１０が停止していれば、画像認識処理を終了する（ステップＳ９）。

【0028】

以上、道路情報標示物認識装置１では、道路情報標示物に関する情報を含む地図情報を用いずに、カメラ２とＬｉＤＡＲ３とを効果的に協働させて、道路情報標示物の道路情報を認識することができる。道路情報標示物が新設、移設及び取外しされた場合でも、それに応じた道路情報の認識が可能になる。したがって、道路情報標示物認識装置１によれば、道路情報標示物の道路情報を精度よく認識することが可能となる。車両１０側に地図情報を用意し、そこに予め道路情報標示物の位置を記録しておく必要性を抑制できる。道路情報標示物の新設、移設及び取外し（消滅）にも、ロバストな認識が可能になる。

【0029】

道路情報標示物認識装置１では、情報処理ＥＣＵ４は、ＬｉＤＡＲ３の検出結果から標示物候補を抽出し、標示物候補の形状、位置及び反射率の少なくとも何れかに基づいて標示物候補が道路情報標示物であるか否かを判定する。この場合、ＬｉＤＡＲ３により検出した標示物候補が道路情報標示物であるか否かを、標示物候補の形状、位置及び反射率の少なくとも何れかを利用して判定することができる。

【0030】

道路情報標示物認識装置１は、アクティブセンサとしてＬｉＤＡＲ３を備える。ここれにより、ＬｉＤＡＲ３をアクティブセンサとして利用して、道路情報標示物の道路情報を精度よく認識することができる。

【0031】

以上、種々の例示的実施形態について説明してきたが、上述した例示的実施形態に限定されることなく、様々な省略、置換、及び変更がなされてもよい。

【0032】

図８は、変形例に係る道路情報標示物認識装置１０１の構成を示すブロック図である。変形例に係る道路情報標示物認識装置１０１は、上述の道路情報標示物認識装置１（図１参照）に対して、ＧＮＳＳ［Global Navigation Satellite System］受信部６、内部センサ７及び地図データベース８を更に備えている。

【0033】

ＧＮＳＳ受信部６は、四個以上のＧＮＳＳ衛星から信号を受信することにより、車両１０の位置（例えば車両１０の緯度及び経度）を測定する衛星測位装置を構成する。ＧＮＳＳ受信部６は、測定した車両１０の位置情報を情報処理ＥＣＵ４へ送信する。内部センサ７は、車速センサ、加速度センサ、及びヨーレートセンサを含んでいる。車速センサは、車両１０の速度を検出する検出器である。加速度センサは、車両１０の加速度を検出する検出器である。ヨーレートセンサは、車両１０の重心の鉛直軸周りのヨーレート（回転角速度）を検出する検出器である。内部センサ７は、検出結果を情報処理ＥＣＵ４へ送信する。

【0034】

地図データベース８は、地図情報を記録するデータベースである。地図データベース８は、例えば、車両１０に搭載されたＨＤＤ［Hard Disk Drive］等の記録装置内に形成されている。地図情報には、例えば道路の位置情報、道路形状の情報（例えばレーン数、レーン幅、曲率情報）、交差点及び分岐点の位置情報等が含まれる。地図データベース８は、車両１０と通信可能なサーバに構成されていてもよい。

【0035】

このような道路情報標示物認識装置１０１の情報処理ＥＣＵ４では、車両前方の画像Ｇにおいて、左右のレーンマーカーの位置をＧＮＳＳ受信部６、内部センサ７及び地図データベース８を用いて補完しながら推定することができる。よって、レーンマーカーが、かすれ等でカメラ２から識別しにくい場合でも、道路情報標示物が存在する場所（道路情報標示物の存在範囲（図５中の点線の範囲Ｗ１））を良好に推定することができ、より安定した動作が期待できる。

【0036】

上記実施形態では、アクティブセンサとしてＬｉＤＡＲ３を用いたが、アクティブセンサは限定されず、その他のアクティブセンサを用いてもよい。上記実施形態では、機械学習による画像認識を用いてもよい。上記実施形態において、例えば速度規制標識としての道路情報標示物の認識では、フォーマットが既知で且つ表示する数値も限られているため、単純なパターンマッチングを用いてもよい。

【0037】

上記実施形態では、画像Ｇ及び点群情報Ｔにおいて道路情報標示物（標示物候補）が１つ存在する例を説明したが、画像Ｇ及び点群情報Ｔに存在する道路情報標示物の数は限定されず、複数であってもよい。なお、画像Ｇ及び点群情報Ｔにおいて異なる種類の複数の道路情報標示物が存在する場合、それぞれについての道路情報を認識して乗員に報知してもよい。他方、画像Ｇ及び点群情報Ｔにおいて同じ種類の複数の道路情報標示物が存在する場合、それらの何れか一つ（例えば最も車両１０に近い何れか一つ）についての道路情報を認識して乗員に報知してもよい。

【符号の説明】

【0038】

１…道路情報標示物認識装置、２…カメラ、３…ＬｉＤＡＲ（アクティブセンサ）、４…情報処理ＥＣＵ（処理装置）、９…速度標識（道路情報標示物）、１０…車両、Ｇ…画像、Ｔ…点群情報。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】