特開 2023-61368 道路標識を識別するためのシステムを含む商用車用のカメラミラーシステムディスプレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023061368

(43)【公開日】2023-05-01

(54)【発明の名称】道路標識を識別するためのシステムを含む商用車用のカメラミラーシステムディスプレイ

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230424BHJP

   H04N 7/18 20060101ALI20230424BHJP

   H04N 23/60 20230101ALI20230424BHJP

   H04N 23/695 20230101ALI20230424BHJP

   B60R 1/20 20220101ALI20230424BHJP

【ＦＩ】

G06T7/00 650A

H04N7/18 J

H04N5/232 290

H04N5/232 990

B60R1/20 100

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022161489

(22)【出願日】2022-10-06

(31)【優先権主張番号】17/504648

(32)【優先日】2021-10-19

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】506139288

【氏名又は名称】ストーンリッジ インコーポレイテッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100195257

【弁理士】

【氏名又は名称】大渕 一志

(72)【発明者】

【氏名】マ、 リャン

(72)【発明者】

【氏名】メン、 イファン

(72)【発明者】

【氏名】クープライダー、 トロイ オティス

【テーマコード（参考）】

5C054

5C122

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC03

5C054FC08

5C054FC14

5C054FE17

5C054HA30

5C122DA14

5C122FH02

5C122FH03

5C122FH11

5C122FH23

5C122GD04

5C122HB01

5L096AA02

5L096BA04

5L096DA01

5L096EA05

5L096FA03

5L096FA06

5L096FA24

5L096FA32

5L096FA64

5L096FA67

5L096GA40

5L096GA55

5L096JA11

(57)【要約】      （修正有）

【課題】商用トラックで使用するカメラミラーシステム（ＣＭＳ）及びそのための自動ビューパンシステムを提供する。
【解決手段】画像内の道路特徴を識別する方法は、コントローラにおいて画像を受信し、コントローラを使用して、画像内の対象領域を識別して、対象領域を赤－緑－青（ＲＧＢ）から単色に変換し、対象領域内においてエッジのセットを検出し、コントローラを使用してエッジのセット内の少なくとも１つのラインを識別する。少なくとも１つのラインは、既知であって期待される道路標識特徴のセットと比較される。少なくとも１つのラインにおける少なくとも１つの第１のラインのセットは、少なくとも第１のラインが既知であって期待される道路標識特徴のセットに一致することに応じて、道路特徴に対応するものとして識別される。
【選択図】図３

【特許請求の範囲】

【請求項1】

画像内の道路特徴を識別するための方法であって、
コントローラにおいて画像を受信するステップと、
前記コントローラを使用して、前記画像内の対象領域を識別し、前記対象領域を赤－緑－青（ＲＧＢ）から単色に変換するステップと、
前記コントローラを使用して、前記対象領域内のエッジのセットを検出し、前記エッジのセット内の少なくとも１つのラインを識別するステップと、
既知であって期待される道路標識特徴のセットの少なくとも１つのラインと識別された少なくとも１つのラインとを比較し、前記少なくとも１つのラインの中の少なくとも１つの第１のラインのセットを、前記少なくとも１つの第１のラインが前記既知であって期待される道路標識特徴のセットと一致することに応じて、道路特徴に対応するものとして識別するステップと
を含む、方法。

【請求項2】

前記既知であって期待される道路標識特徴のセットを識別することは、少なくとも１つのパーキングライン及びレーンラインの期待される幅を含む、請求項１に記載の方法。

【請求項3】

前記少なくとも１つの第１のラインのセットにおける２つのラインを、前記２つのラインが略平行であり、かつ４．５インチ（１１．４３ｃｍ）から６．５インチ（１６．５１ｃｍ）の間で一貫した間隔が空いていることに応じて、レーンラインに対応するものとして識別するステップをさらに含む、請求項２に記載の方法。

【請求項4】

前記ラインの間隔は、前記略平行な２つのラインの間の最短距離の平均である、請求項３に記載の方法。

【請求項5】

前記エッジのセット内の前記ラインのセットを識別することは、ハフ変換による特徴抽出を含む、請求項１に記載の方法。

【請求項6】

前記エッジのセット内の前記ラインのセットを識別することは、前記特徴抽出の出力から背景ノイズをフィルタリングすることをさらに含む、請求項５に記載の方法。

【請求項7】

前記既知であって期待される道路標識特徴のセットは、パーキングライン、レーンライン、及び縁石の既知であって期待される特徴を含む、請求項１に記載の方法。

【請求項8】

前記少なくとも１つのラインにおける少なくとも１つの第２のラインのセットを、前記少なくとも１つの第２のラインのセットにおける全てのラインが前記既知であって期待される道路標識特徴のセットに一致しないことに応じて、トレーラ特徴に対応するものとして識別するステップをさらに含む、請求項１に記載の方法。

【請求項9】

前記少なくとも１つの第２のラインのセットにおけるラインに対応しないエッジをデジタル的に除去してフィルタリングされたエッジ画像を作成し、前記フィルタリングされたエッジ画像をカメラミラーシステム（ＣＭＳ）のトレーラ特徴検出モジュールに提供するステップをさらに含む、請求項８に記載の方法。

【請求項10】

前記トレーラ特徴検出モジュールを使用してトレーラの底部ラインを識別し、前記対象領域内の前記トレーラの底部ラインの位置を少なくとも部分的に使用してトレーラ角度を決定するステップをさらに含む、請求項９に記載の方法。

【請求項11】

トレーラ末端部がＣＭＳビューによって維持されるように、決定されたトレーラ角度に少なくとも部分的に基づいて前記ＣＭＳビューをパンするステップをさらに含む、請求項１０に記載の方法。

【請求項12】

前記コントローラを使用して前記エッジのセット内の少なくとも１つのラインを識別することは、多項式データフィッティングを使用せずに実行される、請求項１に記載の方法。

【請求項13】

前記コントローラを使用して前記対象領域を赤－緑－青（ＲＧＢ）から単色に変換することは、前記対象領域をグレースケールに変換すること、又は前記対象領域から緑チャネルを抽出することを含む、請求項１に記載の方法。

【請求項14】

少なくとも前記第１のラインの色を識別し、かつ識別された色を対応する道路特徴の期待される色と比較することによって、少なくとも２つの対応する道路特徴を区別することをさらに含む、請求項１に記載の方法。

【請求項15】

地面のビューを含む視野を定義する少なくとも１つのカメラと、
プロセッサ及びメモリを含むカメラミラーシステム（ＣＭＳ）コントローラであって、前記メモリは、画像における道路特徴を識別するための画像に基づく検出方法を前記コントローラに実行させるための命令を記憶している、コントローラと
を備え、
前記画像に基づく検出方法は、
前記コントローラにおいて前記少なくとも１つのカメラから画像を受信するステップと、
前記コントローラを使用して、前記画像内の対象領域を識別し、前記対象領域を赤－緑－青（ＲＧＢ）からグレーに変換するステップと、
前記コントローラを使用して、前記対象領域内のエッジのセットを検出し、前記エッジのセット内の少なくとも１つのラインを識別するステップと、
既知であって期待される道路標識特徴のセットの少なくとも１つのラインと識別された少なくとも１つのラインとを比較し、前記少なくとも１つのラインの中の少なくとも１つの第１のラインのセットを、前記少なくとも１つの第１のラインが前記既知であって期待される道路標識特徴のセットと一致することに応じて、道路特徴に対応するものとして識別するステップと
を含む、車両用のカメラミラーシステム。

【請求項16】

前記少なくとも１つのカメラは、クラスＩＩ及びクラスＩＶのビューを定義する、請求項１５に記載のカメラミラーシステム。

【請求項17】

前記少なくとも１つのラインを既知であって期待される道路標識特徴のセットと比較することは、前記少なくとも１つのラインにおける少なくとも１つの第２のラインのセットを、前記少なくとも１つの第２のラインのセットにおける全てのラインが前記既知であって期待される道路標識特徴のセットに一致しないことに応じて、トレーラ特徴に対応するものとして識別することを含む、請求項１６に記載のカメラミラーシステム。

【請求項18】

前記コントローラは、トレーラ特徴検出モジュールをさらに含み、
前記トレーラ特徴検出モジュールは、前記画像における前記少なくとも１つの第２のラインの位置に少なくとも部分的に基づいて、トレーラ角度を決定するように構成される、請求項１７に記載のカメラミラーシステム。

【請求項19】

前記コントローラは、クラスＩＩのビューがトレーラ末端部の少なくとも一部を含むように、決定されたトレーラ角度に少なくとも部分的に基づいて、車両運転者に提示される前記クラスＩＩのビューをパンするようにさらに構成される、請求項１８に記載のカメラミラーシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、商用トラックで使用するためのカメラミラーシステム（ＣＭＳ）及びそのための自動ビューパンシステムに関する。

【背景技術】

【0002】

ミラー交換システム、及びミラーのビューを補完するカメラシステムは、車両の運転者が周囲の環境を見る能力を高めるために商用車に利用されている。カメラミラーシステム（ＣＭＳ）は、１つ以上のカメラを利用して、車両の運転者に強化された視野を提供する。いくつかの例では、ミラー交換システムは、従来のミラーよりも広いビューをカバーし、又は従来のミラーを介して完全には得られないビューを含む。

【0003】

一部のカメラミラーシステムに含まれている機能の１つに、トレーラの後端のビューを維持するためにカメラのビューを自動的又は半自動的にパンする自動パン機能がある。いくつかの実装では、トレーラのエッジの識別は、トレーラのパラメータ及び特徴を監視するために使用され、その後、パラメータ及び特徴は、トレーラのエッジの位置の識別を支援するために使用される。

【0004】

既存のシステムが直面する困難の１つは、トレーラのエッジと、レーンライン、パーキングライン、縁石、又は類似の線形的な道路特徴若しくは標識によって示される視野内の視覚的に類似したラインとを区別することである。

【発明の概要】

【0005】

１つの例示的な実施形態では、画像内の道路特徴を識別するための方法は、コントローラにおいて画像を受信するステップと、前記コントローラを使用して、前記画像内の対象領域を識別し、前記対象領域を赤－緑－青（ＲＧＢ）から単色に変換するステップと、前記コントローラを使用して、前記対象領域内のエッジのセットを検出し、前記エッジのセット内の少なくとも１つのラインを識別するステップと、既知であって期待される道路標識特徴のセットの少なくとも１つのラインと識別された少なくとも１つのラインとを比較し、少なくとも１つの第１のラインが前記既知であって期待される道路標識特徴のセットと一致することに応じて、前記少なくとも１つのラインの中の少なくとも１つの第１のラインのセットを道路特徴に対応するものとして識別するステップとを含む。

【0006】

画像内の道路特徴を識別するための上記の方法の別の例では、前記既知であって期待される道路標識特徴のセットを識別することは、少なくとも１つのパーキングライン及びレーンラインの期待される幅を含む。

【0007】

画像内の道路特徴を識別するための上記のいずれかの方法の別の例は、前記少なくとも１つの第１のラインのセットにおける前記２つのラインが略平行であり、かつ４．５インチ（１１．４３ｃｍ）から６．５インチ（１６．５１ｃｍ）の間で一貫した間隔が空いていることに応じて、レーンラインに対応するものとして識別するステップをさらに含む。

【0008】

画像内の道路特徴を識別するための上記のいずれかの方法の別の例では、前記ラインの間隔は、前記略平行な２つのラインの間の最短距離の平均である。

【0009】

画像内の道路特徴を識別するための上記のいずれかの方法の別の例では、前記エッジのセット内の前記ラインのセットを識別することは、ハフ変換による特徴抽出を含む。

【0010】

画像内の道路特徴を識別するための上記のいずれかの方法の別の例では、前記エッジのセット内の前記ラインのセットを識別することは、前記特徴抽出の出力から背景ノイズをフィルタリングすることをさらに含む。

【0011】

画像内の道路特徴を識別するための上記のいずれかの方法の別の例では、前記既知であって期待される道路標識特徴のセットは、パーキングライン、レーンライン及び縁石の既知であって期待される特徴を含む。

【0012】

画像内の道路特徴を識別するための上記のいずれかの方法の別の例は、少なくとも１つの第２のラインのセットにおける全てのラインが前記既知であって期待される道路標識特徴のセットに一致しないことに応じて、前記少なくとも１つのラインにおける前記少なくとも１つの第２のラインのセットを、トレーラ特徴に対応するものとして識別するステップをさらに含む。

【0013】

画像内の道路特徴を識別するための上記のいずれかの方法の別の例は、前記少なくとも１つの第２のラインのセットにおけるラインに対応しないエッジをデジタル的に除去してフィルタリングされたエッジ画像を作成し、前記フィルタリングされたエッジ画像をカメラミラーシステム（ＣＭＳ）のトレーラ特徴検出モジュールに提供するステップをさらに含む。

【0014】

画像内の道路特徴を識別するための上記のいずれかの方法の別の例は、前記トレーラ特徴検出モジュールを使用してトレーラの底部ラインを識別し、前記対象領域内の前記トレーラの底部ラインの位置を少なくとも部分的に使用してトレーラ角度を決定するステップをさらに含む。

【0015】

画像内の道路特徴を識別するための上記のいずれかの方法の別の例は、トレーラ末端部がＣＭＳビューによって維持されるように、決定されたトレーラ角度に少なくとも部分的に基づいて前記ＣＭＳビューをパンするステップをさらに含む。

【0016】

画像内の道路特徴を識別するための上記のいずれかの方法の別の例では、前記コントローラを使用して前記エッジのセット内の少なくとも１つのラインを識別することは、多項式データフィッティングを使用せずに実行される。

【0017】

画像内の道路特徴を識別するための上記のいずれかの方法の別の例では、前記コントローラを使用して前記対象領域を赤－緑－青（ＲＧＢ）から単色に変換することは、前記対象領域をグレースケールに変換すること、又は前記対象領域から緑チャネルを抽出することを含む。

【0018】

画像内の道路特徴を識別するための上記のいずれかの方法の別の例では、少なくとも前記第１のラインの色を識別し、かつ識別された色を対応する道路特徴の期待される色と比較することによって、少なくとも２つの対応する道路特徴を区別することをさらに含む。
１つの例示的な実施形態において、車両用のカメラミラーシステムは、地面のビューを含む視野を定義する少なくとも１つのカメラと、プロセッサ及びメモリを含むカメラミラーシステム（ＣＭＳ）コントローラであって、前記メモリは、画像における道路特徴を識別するための画像に基づく検出方法を前記コントローラに実行させるための命令を記憶している、コントローラとを含み、画像に基づく検出方法は、前記コントローラにおいて前記少なくとも１つのカメラから画像を受信するステップと、前記コントローラを使用して、前記画像内の対象領域を識別し、前記対象領域を赤－緑－青（ＲＧＢ）からグレーに変換するステップと、前記コントローラを使用して、前記対象領域内のエッジのセットを検出し、前記エッジのセット内の少なくとも１つのラインを識別するステップと、既知であって期待される道路標識特徴のセットの少なくとも１つのラインと識別された少なくとも１つのラインとを比較し、少なくとも１つの第１のラインが前記既知であって期待される道路標識特徴のセットと一致することに応じて、前記少なくとも１つのラインの中の少なくとも１つの第１のラインのセットを道路特徴に対応するものとして識別するステップとを含む。

【0019】

上記の車両用の測定システムの別の例では、前記少なくとも１つのカメラは、クラスＩＩ及びクラスＩＶのビューを定義する。

【0020】

上記のいずれかの車両用の測定システムの別の例では、少なくとも１つのラインを既知であって期待される道路標識特徴のセットと比較することは、少なくとも１つの第２のラインのセットにおける全てのラインが前記既知であって期待される道路標識特徴のセットに一致しないことに応じて、前記少なくとも１つのラインにおける前記少なくとも１つの第２のラインのセットを、トレーラ特徴に対応するものとして識別することを含む。

【0021】

上記のいずれかの車両用の測定システムの別の例では、前記コントローラは、トレーラ特徴検出モジュールをさらに含み、
前記トレーラ特徴検出モジュールは、前記画像における前記少なくとも１つの第２のラインの位置に少なくとも部分的に基づいて、トレーラ角度を決定するように構成される。

【0022】

上記のいずれかの車両用の測定システムの別の例では、前記コントローラは、クラスＩＩのビューがトレーラ末端部の少なくとも一部を含むように、決定されたトレーラ角度に少なくとも部分的に基づいて、車両運転者に提示される前記クラスＩＩのビューをパンするようにさらに構成される。

【0023】

本発明のこれら及びその他の特徴は、以下の明細書及び図面から最もよく理解することができる。

【0024】

本開示は、添付の図面と併せて考慮したとき、以下の詳細な説明を参照することによってさらに理解することができる。

【図面の簡単な説明】

【0025】

【図1A】少なくともクラスＩＩ及びクラスＩＶのビューを提供するために使用されるカメラミラーシステム（ＣＭＳ）を備えた商用トラックの概略正面図である。

【図1B】クラスＩＩ、クラスＩＶ、クラスＶ及びクラスＶＩのビューを提供するカメラミラーシステムを備えた商用トラックの概略上面図である。

【図2】ディスプレイ及び室内カメラを含む車両運転室の概略上部斜視図である。

【図3】道路標識を識別する方法のフローチャートである。

【図4】図４Ａは、レーンラインのある道路を含む部分的なＣＭＳビューを示している。図４Ｂは、画像内のエッジを識別した後の同じ部分的なＣＭＳビューを示している。

【発明を実施するための形態】

【0026】

上述の段落の実施形態、例及び代替物、請求項、又は以下の記載及び図面は、それらの様々な態様又はそれぞれの個別の特徴のいずれかを含めて、独立して、又は任意の組み合わせで採用されてもよい。１つの実施形態に関連して記述された特徴は、そのような特徴に互換性がない場合を除き、全ての実施形態に適用可能である。

【0027】

商用車１０の概略図を図１Ａ及び図１Ｂに示す。車両１０は、トレーラ１４を牽引するための車両運転室又はトラクター１２を含む。本開示では商用トラックが企図されているが、本発明は他の種類の車両にも適用することができる。車両１０には、運転席及び助手席側のカメラアーム１６ａ、１６ｂを車両運転室１２の外側に取り付けたカメラミラーシステム（ＣＭＳ）１５（図２）が組み込まれている。必要に応じて、カメラアーム１６ａ、１６ｂには、それらと一体化した従来のミラーも含まれ得るが、ＣＭＳ１５を使用してミラーを完全に交換することもできる。追加の例では、各側に複数のカメラアームが含まれてよく、各アームは１つ以上のカメラ及び／又はミラーを収容する。

【0028】

各カメラアーム１６ａ、１６ｂは、例えば運転室１２に固定されたベースを含む。旋回アームはベースによって支持されており、それに対して関節接続されてもよい。少なくとも１つの後向きカメラ２０ａ、２０ｂがカメラアーム内にそれぞれ配置されている。外部カメラ２０ａ、２０ｂはそれぞれ、商用トラック業界で法的に規定されたビューであるクラスＩＩ及びクラスＩＶのビュー（図１Ｂ）の少なくとも１つをそれぞれ含む外部視野ＦＯＶ_ＥＸ１、ＦＯＶ_ＥＸ２を提供する。必要に応じて、これらのビューを提供するために、各カメラアーム１６ａ、１６ｂに複数のカメラが使用されてもよい。各アーム１６ａ、１６ｂは、ＣＭＳ１５の様々な特徴を提供するように構成された電子機器を囲むハウジングも提供してもよい。

【0029】

第１及び第２の映像ディスプレイ１８ａ、１８ｂは、Ａピラー１９ａ、１９ｂ上の又はその近くの車両運転室１２内の運転席側及び助手席側のそれぞれに配置され、車両１０のそれぞれの側にクラスＩＩ及びクラスＩＶのビューを表示し、これは車外カメラ２０ａ、２０ｂによって撮影された車両１０に沿った後面側のビューを提供する。

【0030】

クラスＶ及びクラスＶＩのビューの映像も必要な場合、これらのビューを提供するために、車両１０の前面に又はその近くにカメラハウジング１６ｃ及びカメラ２０ｃが配置されてもよい（図１Ｂ）。フロントガラスの上部中央付近の運転室１２内に配置された第３のディスプレイ１８ｃを使用して、車両１０の前方に向かうクラスＶ及びクラスＶＩのビューを運転者に表示することができる。

【0031】

クラスＶＩＩＩのビューの映像が必要な場合、カメラハウジングを車両１０の側面及びと後部に配置して、車両１０のクラスＶＩＩＩゾーンの一部又は全てを含む視野を提供することができる。このような例では、第３のディスプレイ１８ｃは、クラスＶＩＩＩのビューを表示する１つ以上のフレームを含み得る。或いは、第１、第２及び第３のディスプレイ１８ａ、１８ｂ、１８ｃの近くに追加のディスプレイを追加して、クラスＶＩＩＩのビューを提供する専用のディスプレイを提供することもできる。ディスプレイ１８ａ、１８ｂ、１８ｃは、運転席２６に運転者が着席する運転室２２内の運転者領域２４に向いている。

【0032】

いくつかの実装では、ＣＭＳは、クラスＩＩのビュー内のトレーラの末端位置を維持することを目的として、クラスＩＶのビュー内のクラスＩＩのビューをパンする自動パン機能を含んでもよく、それによって車両運転者に拡張された可視性を提供することができる。この機能を提供するために、ＣＭＳには、ＣＭＳビューの画像に基づく分析を使用してトレーラ角度を含むトレーラの特徴を検出する画像特徴検出アルゴリズムのセットが含まれる。トレーラ角度は、クラスＩＶのビュー内で検出されたトレーラの底部ラインに基づいて少なくとも部分的に検出される。パーキングライン、レーンライン、縁石等の所定の道路標識は、画像を横断して多項式データフィッティング等の従来のシステムを使用してトレーラのエッジラインから区別することが困難であり得るＣＭＳビュー内の長いラインを定義する。したがって、レーンライン、パーキングライン、縁石、及びビュー内に配置されたその他の同様の要素は、トレーラ角度検出が道路標識又は特徴をトレーラのエッジとして誤って識別した場合に、大きな角度検出エラーを引き起こし得る。

【0033】

図３は、計算コストの高い多項式データフィッティングを使用せずに、トレーラのエッジラインと道路標識との間で画像内の識別されたラインを区別するＣＭＳによって動作される方法を示している。最初に、この方法は対象領域を識別し、ステップ３１０における「対象領域を切り取る」によって画像から残りの部分を切り取る。対象領域は、任意の従来の方法論を使用して識別されてもよく、画像フィードを潜在的なエッジラインを含む部分に削減する。対象領域において所望の特徴を保持しながら、分析された領域を最小化するように対象領域が選択される。１つの例では、可能な全てのトレーラ角度について、トレーラのエッジが常に対象領域に存在するように領域が選ばれる。画像からノイズを排除し、ノイズによって引き起こされる潜在的なエラーを減らすために、領域は可能な限り小さくされる。

【0034】

切り取りが完了すると、ＣＭＳカメラで撮影された赤－緑－青（ＲＧＢ）の画像がステップ３２０における「ＲＧＢをグレーに変換する」によってグレースケールに変換される。（複数の）画像をグレーに変換すると、各潜在的エッジにおけるコントラストが増加し、対象領域内のエッジを区別するために必要な処理がさらに削減される。別の例では、グレーへの変換ステップを省略し、画像から抽出された単色（例えば緑）に対して、以下に説明するエッジ検出処理を行うことができる。

【0035】

切り取り及びグレーへの変換が完了すると、ステップ３５０における「エッジ検出を実行する」によって、グレー画像に対してエッジ検出アルゴリズムが実行される。エッジ検出アルゴリズムには、画像の輝度が急激に変化し、又は不連続性があるデジタル画像内のポイントを識別することを目的とした様々数学的方法が含まれる。画像の輝度が急激に変化するポイントは、エッジと呼ばれる曲線セグメントのセットに編成される。

【0036】

図４Ａ及び図４Ｂは、グレー画像領域４１０（図４Ａ）からエッジ検出画像４２０（図４Ｂ）への例示的な変換を示している。グレー画像領域４１０は、レーンライン又はパーキングライン等の道路標識４１４を含む路面４１２を含む。道路標識は白のストライプであるが、地理的領域及び路面上の位置によっては同様の黄色のストライプ又はその他の色が生じ得る。道路標識４１４に加えて、路面には多数の凹み、岩、粗いパッチ等が含まれており、これらも画像内に１つ以上のエッジの存在をもたらし得る。エッジ検出を実行した後で、エッジ画像４２０は、道路標識４１４のエッジ４２４、４２６と共に様々道路の粗さから生じるエッジ４２２も含む多数のエッジ４２２、４２４、４２６を含んでいる。

【0037】

道路標識ライン及びトレーラエッジに対応するエッジ４２４、４２６をノイズエッジ検出から分離するために、ＣＭＳはハフ変換を使用して、ステップ３４０における「エッジのラインを見つける」によって検出されたエッジ内のラインを見つける。ハフ変換は、画像分析で使用される特徴抽出技法であり、投票手続きによって所定のクラスの形状内のオブジェクトの不完全なインスタンスを見つけるために使用される。この投票手続きはパラメータ空間で実行され、そこからハフ変換を計算するためのアルゴリズムによって明示的に構築されたいわゆるアキュムレータ空間における極大値としてオブジェクト候補が得られる。ここでは、エッジ画像４２０内のラインを識別するために既知のハフ変換プロセスを使用すると説明されているが、ニューラルネットワークベースのライン識別を含むエッジ画像内のラインを検出するための他の方法論が、システム全体への最小限の変更で代替の実施形態において使用され得ることが理解される。

【0038】

エッジ画像４２０内の各ラインを識別した後で、ＣＭＳはプロセス内の道路標識識別モジュールを使用して、ステップ３５０における「道路標識を識別する」によって、識別されたライン４２４、４２６が道路標識に対応するかどうかを判断する。道路標識識別モジュールは、道路標識の既知の特徴及び期待される特徴を記憶し、記憶された既知の特徴及び期待される特徴を識別されたラインと比較する。道路特徴の既知の特徴及び期待される特徴がＣＭＳによって検出されたラインと一致する場合、ＣＭＳはそのラインが道路特徴に対応していると判断する。一例では、道路標識（例えば、レーンライン及びパーキングライン）により、少なくとも略同じ軌道をたどる２つのエッジラインがもたらされ、これはエッジラインが略平行であると言うことができる。別の例では、道路標識は、標準距離で分離された又は標準距離範囲で分離された２つのラインの存在によって特徴付けられる。例として、レーンラインの幅は５インチ（１２．１７ｃｍ）から６インチ（１５．２４ｃｍ）の間と期待され得る。このような例では、識別モジュールは、その間が４．５インチ（１１．４３ｃｍ）から６．５インチ（１６．５１ｃｍ）離れている隣接する２つのラインを探し、その範囲内のエッジラインのセットをレーンラインに対応するものとして識別し、レーンラインの印刷が不完全であること、既存のレーンラインに重なったパーキングライン、及び同様の現実世界の変動によって生じ得る変動を考慮して、その範囲の各エッジに対して追加の０．５インチが含まれる。

【0039】

同様の範囲は、３．５インチ（８．８９ｃｍ）から４．５インチ（１１．４３ｃｍ）のパーキングライン、５．５インチ（１３．９７ｃｍ）から６．５インチ（１６．５１ｃｍ）の縁石、又はその他の道路標識に対して識別及び使用され得る。別の例では、エッジライン４２４、４２６間の距離は、距離の代わりに画像ピクセルで測定することができる。そのような例の１つでは、パーキングライン及びレーンラインの範囲は１６から２５ピクセルであってもよい。

【0040】

別の例では、識別された道路特徴のそれぞれの色データを利用して、特徴の種類を区別することができる（例えば、対向する交通方向のレーンライン間の分離を示す黄色のラインと、平行する交通方向のレーンライン間の分離を示す白色のラインとを区別することができる）。

【0041】

識別モジュールがエッジライン４２４、４２６が道路標識に対応すると判断した場合、ライン４２４、４２６はステップ３６０における「ノイズをフィルタリングする」によってノイズエッジ４２２と共にフィルタリングされる。ノイズをフィルタリングした後にラインが残っている場合、プロセスは、そのラインがトレーラのラインに対応していると推定し、（複数の）トレーラのラインの位置をＣＭＳ内のトレーラ特徴推定モジュールに提供する。トレーラ特徴推定モジュールは、（複数の）残りのラインがトレーラの末端、トレーラの底部エッジ、又はその他のトレーラの特徴であるかどうかを判断し、ステップ３７０における「トレーラ角度を決定する」によって画像平面におけるライン角度及びラインの世界座標を計算する。ライン角度は、既知のトレーラ角度決定方法に従ってトレーラ角度を決定するために使用される。

【0042】

上記の区別方法を使用することにより、トレーラ角度決定システムは、領域全体の３次多項式データフィッティングへの依存を回避し、トレーラのエッジに垂直又は略垂直な道路特徴の検出を可能にし、それによってトレーラ角度の誤検出の発生を最小限に抑えることができる。

【0043】

例示的な実施形態が開示されているが、当業者であれば、所定の修正が請求項の範囲内に入ることを認識するであろう。そのため、以下の請求項については、その真の範囲及び内容を判断するように検討されるべきである。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【外国語明細書】