特許 7583478 走行車両の路面認識を使用する制御システムおよびそれを用いた方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-06

(45)【発行日】2024-11-14

(54)【発明の名称】走行車両の路面認識を使用する制御システムおよびそれを用いた方法

(51)【国際特許分類】

   G01W 1/00 20060101AFI20241107BHJP

   G01N 21/17 20060101ALI20241107BHJP

   B60W 40/06 20120101ALI20241107BHJP

   B60W 50/14 20200101ALI20241107BHJP

   G06T 7/00 20170101ALI20241107BHJP

【ＦＩ】

G01W1/00 J

G01N21/17 F

B60W40/06

B60W50/14

G06T7/00 650A

【請求項の数】 8

(21)【出願番号】P 2023518505

(86)(22)【出願日】2023-01-16

(65)【公表番号】

(43)【公表日】2024-04-16

(86)【国際出願番号】 KR2023000732

(87)【国際公開番号】W WO2023140579

(87)【国際公開日】2023-07-27

【審査請求日】2023-03-20

(31)【優先権主張番号】10-2022-0006964

(32)【優先日】2022-01-18

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】523101707

【氏名又は名称】エスアールディ・コリア・カンパニー・リミテッド

【氏名又は名称原語表記】ＳＲＤ ＫＯＲＥＡ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】５Ｆ， ３４， ＢＡＥＫＣＨＥＯＮ‐ＧＩＬ， ＧＹＥＯＮＧＳＡＮ‐ＳＩ，ＧＹＥＯＮＧＳＡＮＧＢＵＫ‐ＤＯ ３８６４８， ＲＥＰＵＢＬＩＣ ＯＦ ＫＯＲＥＡ

(74)【代理人】

【識別番号】110001818

【氏名又は名称】弁理士法人Ｒ＆Ｃ

(72)【発明者】

【氏名】シン，ドン・ヘン

(72)【発明者】

【氏名】シン，ミン・スン

【審査官】森口 正治

(56)【参考文献】

【文献】特開２０２０－１０１９２４（ＪＰ，Ａ）

【文献】特開２００２－３１０８９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｗ １／００

Ｇ０１Ｎ ２１／１７

Ｂ６０Ｗ ４０／０６

Ｂ６０Ｗ ５０／１４

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

走行車両の路面認識を用いる制御システムであって、
走行車両「Ａ」のリアルタイムの位置情報と路面画像情報とを含む路面情報「ｄ」を、中央管理サーバー２００に送信する、車載装置１００；および
前記車載装置１００から受信した前記路面情報「ｄ」に基づいてリアルタイムに路面状態を判定し、路面状態情報を前記車載装置１００に送信する、前記中央管理サーバー２００、
を備え、
前記車載装置１００が、
前記走行車両「Ａ」に装着され、前記路面画像情報を連続的に撮影する画像撮像ユニット１１０；
前記画像撮像ユニット１１０が撮像した路面の位置情報をリアルタイムに認識するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ユニット１２０；
前記走行車両「Ａ」のリアルタイムの前記位置情報と前記路面画像情報とをパッケージ化する、データパッケージ化ユニット１３０；
パッケージ化された前記路面情報「ｄ」を前記中央管理サーバー２００に送信し、かつ前記中央管理サーバー２００からリアルタイムの前記路面状態情報を受信する、データ送受信ユニット１４０；および
リアルタイムの前記路面状態情報を可視出力する、表示ユニット１５０、
を備え、
前記中央管理サーバー２００が、
送信されたリアルタイムの前記路面情報「ｄ」に基づいて特徴ベクトルを抽出する、特徴ベクトル抽出ユニット２１０；
前記特徴ベクトル抽出ユニット２１０によって抽出されたリアルタイムの前記特徴ベクトルと、データベース「Ｄ」に格納されている乾いた路面、濡れた路面、凍結路面、または積雪路面の特徴ベクトルと、を抽出して、前記特徴ベクトルの間の類似度を計算することにより、路面状態を判定する、路面状態判定ユニット２２０；および
判定されたリアルタイムの前記路面状態情報を前記車両「Ａ」に送信し、かつ前記走行車両「Ａ」から前記路面情報「ｄ」を受信する通信ユニット２４０、
を備え、
前記路面状態判定ユニット２２０は、
本来の路面画像情報および偏光されている路面画像情報において隣接する２つの領域としてそれぞれサイズ：

【数1】

を有する２つの領域「Ｂ」および「Ｐ」に対する

【数2】

を平均二乗誤差として計算し、かつ、前記凍結路面または前記濡れた路面に重みを割り当てる、システム。

【請求項2】

前記車載装置１００が、
前記中央管理サーバー２００から受信した前記路面状態情報に基づいて、リアルタイムの前記位置情報に基く前記車両「Ａ」の走行情報を制御する、走行制御ユニット１６０、を備える、請求項１に記載のシステム。

【請求項3】

前記路面状態判定ユニット２２０が、１ｍ以下の単位で局所的路面状態を判定し、所定長さＬに対して、蓄積された前記局所的路面状態の妥当性を検証することによって、前記所定長さＬに基づいて路面状態を判定する、請求項１に記載のシステム。

【請求項4】

前記路面状態判定ユニット２２０が、複数の前記車両「Ａ」から受信した前記路面情報「ｄ」の信頼性に基づいて妥当性を検証する、請求項３に記載のシステム。

【請求項5】

前記中央管理サーバー２００が、
判定されたリアルタイムの前記路面状態情報を、画像情報として走行ルートマップ上に表示するために変換する、画像変換ユニット２３０、
をさらに備える、請求項１に記載のシステム。

【請求項6】

走行車両の路面認識を用いた制御方法であって、
車載装置１００によって、走行車両「Ａ」のリアルタイムの位置情報と路面画像情報とを含む路面情報「ｄ」を、中央管理サーバー２００に送信する、路面情報を送信すること（Ｓ１０）；
前記中央管理サーバー２００によって、前記路面情報「ｄ」に基づいてリアルタイムに路面状態を判定する、路面状態を判定すること（Ｓ２０）；
前記中央管理サーバー２００によって、判定された路面状態情報を前記車載装置１００に送信する、路面状態を送信すること（Ｓ３０）、
を含み、
前記路面状態を判定すること（Ｓ２０）が、
前記中央管理サーバー２００によって、受信したリアルタイムの前記路面情報「ｄ」に基づいて特徴ベクトルを抽出すること（Ｓ２１）；
前記中央管理サーバー２００によって、抽出されたリアルタイムの前記特徴ベクトルと、データベース「Ｄ」に格納されている乾いた路面、濡れた路面、凍結路面、または積雪路面の特徴ベクトルとの間の類似度を計算することにより、路面状態を判定すること（Ｓ２２）；および
前記中央管理サーバー２００によって、判定されたリアルタイムの前記路面状態情報を、走行ルートマップ上に画像情報として表示するために変換すること（Ｓ２４）、
を含み、
抽出されたリアルタイムの特徴ベクトルの間の類似度を計算することにより前記路面状態を判定すること（Ｓ２０）が、
本来の路面画像情報および偏光されている路面画像情報において隣接する２つの領域としてそれぞれサイズ：

【数3】

を有する２つの領域「Ｂ」および「Ｐ」に対する

【数4】

を平均二乗誤差として計算すること、および、
前記凍結路面または前記濡れた路面に重みを割り当てること、
を含む、方法。

【請求項7】

前記路面情報を送信すること（Ｓ１０）が、
前記車載装置１００により、前記路面画像情報を連続的に撮像し、前記位置情報を認識すること（Ｓ１１）；および
前記車載装置１００により、前記走行車両「Ａ」のリアルタイムの前記位置情報と前記路面画像情報とをパッケージ化すること（Ｓ１２）；および
前記車載装置１００により、パッケージ化された前記路面情報「ｄ」を前記中央管理サーバー２００に送信すること（Ｓ１３）、
を含む、請求項６に記載の方法。

【請求項8】

前記路面状態を送信すること（Ｓ３０）の後に、前記車載装置１００により、受信した前記路面状態情報に基づいて、リアルタイムの前記位置情報に基づく前記車両「Ａ」の走行情報を制御する、走行を制御すること（Ｓ４０）、
をさらに含む、請求項６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、走行車両の路面認識（例えば、ハイドロプレーニングまたはブラックアイスの認識）を使用する制御システム、およびそれを用いた方法に関し、より詳細には、車載（ｖｅｈｉｃｌｅ－ａｔｔａｃｈｅｄ）装置が、走行車両のリアルタイム位置情報と路面画像情報とを含む路面情報を、中央管理サーバーに送信し、前記中央管理サーバーが路面状態をリアルタイムで判定して、前記車載装置に路面状態情報を送信する、走行車両の路面認識を用いた制御システム、およびそれを用いた方法に関する。

【背景技術】

【0002】

一般に、運転者は地域の天気予報をもとに天候を予測し、安全運転に備えることができる。しかし、近年、地球温暖化に伴う気象条件の急激な変化に伴い、ある特定の地域での夏のゲリラ豪雨や冬の局地的な大雪の頻発など、異常気象が相次いでいる。異常気象による大雨や大雪により、路面に水膜が形成されたり凍結したりすると、タイヤの滑り抵抗が著しく低下し、車両事故の危険性が高まる。

【0003】

また、気温の急激な低下により空気中の水蒸気が凝縮し、路面付近の温度によっては霧や結露が発生することがある。霧は、運転者の目をさえぎって運転の安全性を脅かすだけでなく、路面を濡らし、結露した水分は、気温の低下とともに凍結することで運転の安全性を脅かす可能性がある。

【0004】

特に、トンネルの出入口、橋梁区間、日陰区間、事故多発地帯、連結道路（インターチェンジ（ＩＣ）、ジャンクション（ＪＣＴ）、サービスエリアなど）、分岐路の境界部などでは、気温と路面温度との差が４℃になることがある。そのため、局所的な路面状態の予測には多くの困難が伴う可能性がある。

【0005】

このため、公的機関や地方公共団体、関連する民間団体では、不測の気象条件に対応できる安全な道路環境を構築するために、多大な努力を払っている。例えば、常習的凍結区間を塩水噴射区間に設定して噴射装置を作動させたり、道路の路面状態を表示する可変情報板（ＶＭＳ）を道路上に構築し、気象状況に応じて路面状態をリアルタイムに伝達したりすることが、実施されている。

【0006】

都市部よりも山間部や郊外の方が、常習的凍結区間が多く、慣れない道路を走行することが多い。そのため、運転者は運転中、カーナビゲーション装置（ｖｅｈｉｃｌｅ ｎａｖｉｇａｔｏｒ）に完全に頼ってしまうことがある。そのため、運転者は、道路上に存在する安全標識や可変情報板に対する集中力が低下した状態で運転してしまうことがある。よって、運転者が道路の急カーブの変化に対応できない場合があり、この場合、路面状態に伴う車両スリップによる大事故に直結する可能性がある。

【0007】

韓国公開特許第１０－２００９－００２２１２７号公報（２００９年３月４日公開、以降「関連技術文献１」を指す）には、「移動体通信および無線通信を用いた道路状態モニタリングのためのシステムおよび方法」が、開示されている。

【0008】

関連技術文献１には、経済的で安価なセンサを用いて道路状態を測定することにより、移動体通信や無線通信を利用して、測定された道路状態データを運転者に提供することが、提案されている。しかし、センサを道路の全領域に設置することは不可能であり、そのため、センサは一部の危険な区間を選択的に測定するのみである可能性がある。また、センサは気象状態を測定するものであり、気温との誤差が大きい路面状態を正確に予測することは困難である。

【0009】

一方、「検知装置、検知方法および検知プログラム」という名称の特開２０１８－０２５５２８号公報（２０１８年２月１５日公開、以降「関連技術文献２」を指す）が提案されている。

【0010】

関連技術文献２には、特定の波長域の光を走行車両に入射させ、物体から反射または散乱した反射光の波長を解析することにより、路面を含む対象物の状態を判定することが提案されている。しかし、特定の走行車両を用いて路面状態を認識するため、カメラの状態や入射光の照射角度によっては、路面状態の識別に過大なエラーが生じたり、他の走行車両と路面状態情報をリアルタイムで共有できない場合がある。

【0011】

さらに、関連技術文献では、運転者が路面状態を即座に認識できない可能性があり、運転者が路面状態を認識したとしても、運転者の不注意や局所的な路面状態の変化により安全事故が発生する可能性が、なお存在する。

【先行技術文献】

【特許文献】

【0012】

【文献】韓国公開特許第１０－２００９－００２２１２７号公報

【文献】特開２０１８－０２５５２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0013】

本開示の目的は、複数の走行車両からリアルタイムで提供される複数の路面情報を用いて路面状態を正確に判定し、ハイドロプレーニングまたはブラックアイスを含む路面状態情報を音声情報または視覚情報として表示して運転者に注意を促し、運転者の不注意があっても車両自ら走行情報を制御できるようにする、走行車両の路面認識（例えば、ハイドロプレーニングまたはブラックアイスの認識）を用いる制御システム、およびこれを用いた方法を、提供することである。

【課題を解決するための手段】

【0014】

本開示の１つの実施形態によれば、走行車両の路面認識（例えば、ハイドロプレーニングまたはブラックアイスの認識）を用いる制御システムＣＳは、走行車両「Ａ」のリアルタイム位置情報と路面画像情報とを含む路面情報「ｄ」を、中央管理サーバー２００に送信する、車載装置１００；および、前記車載装置１００から受信した前記路面情報「ｄ」に基づいてリアルタイムに路面状態を判定し、路面状態情報を前記車載装置１００に送信する、前記中央管理サーバー２００、を備え得る。

【0015】

前記車載装置１００は、前記走行車両「Ａ」に装着され、前記路面画像情報を連続的に撮影する画像撮像ユニット１１０；前記画像撮像ユニット１１０が撮像した路面の位置情報をリアルタイムに認識するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ユニット１２０；前記走行車両「Ａ」の前記リアルタイム位置情報と前記路面画像情報とをパッケージ化する、データパッケージ化ユニット１３０；パッケージ化された前記路面情報「ｄ」を前記中央管理サーバー２００に送信し、かつ前記中央管理サーバー２００からリアルタイム路面状態情報を受信するデータ送受信ユニット１４０；および、前記リアルタイム路面状態情報を可視出力する表示ユニット１５０、を備え得る。

【0016】

また、前記車載装置１００は、
前記中央管理サーバー２００から受信した前記路面状態情報に基づき、前記リアルタイム位置情報に基づいて、前記車両「Ａ」の走行情報を制御する、走行制御ユニット１６０、
を備えてもよい。

【0017】

また、前記中央管理サーバー２００は、送信されたリアルタイムの前記路面情報「ｄ」に基づいて特徴ベクトルを抽出する特徴ベクトル抽出ユニット２１０；前記特徴ベクトル抽出ユニット２１０によって抽出されたリアルタイムの前記特徴ベクトルと、データベース「Ｄ」に格納されている乾いた路面、濡れた路面、凍結路面、または積雪路面の特徴ベクトルとを抽出して前記特徴ベクトルの間の類似度を計算することにより、路面状態を判定する路面状態判定ユニット２２０；および、判定されたリアルタイム路面状態情報を、前記車両「Ａ」に送信し、かつ前記走行車両「Ａ」から前記路面情報「ｄ」を受信する、通信ユニット２４０、を備え得る。

【0018】

また、前記路面状態判定ユニット２２０は、１ｍ以下の単位で局所的路面状態を判定し、所定長さＬに対して、蓄積された前記局所的路面状態の妥当性を検証することによって、前記所定長さＬに基づいて路面状態を判定できる。

【0019】

また、前記路面状態判定ユニット２２０は、複数の前記車両「Ａ」から受信した前記路面情報「ｄ」の信頼性に基づいて妥当性を検証することができる。

【0020】

さらに、前記中央管理サーバー２００は、判定された前記リアルタイム路面状態情報を、画像情報として走行ルートマップ上に表示するために変換する、画像変換ユニット２３０を、さらに備え得る。

【0021】

本開示の他の実施形態によれば、走行車両の路面認識を用いた制御方法は、以下のステップ：車載装置１００によって、走行車両「Ａ」のリアルタイム位置情報と路面画像情報とを含む路面情報「ｄ」を、中央管理サーバー２００に送信する、路面情報を送信するステップ（Ｓ１０）；前記中央管理サーバー２００によって、前記路面情報「ｄ」に基づいてリアルタイムに路面状態を判定する、路面状態を判定するステップ（Ｓ２０）；前記中央管理サーバー２００によって、判定された路面状態情報を前記車載装置１００に送信する、路面状態を送信するステップ（Ｓ３０）、を含み得る。

【0022】

さらに、前記路面情報を送信するステップ（Ｓ１０）は、前記車載装置１００により、前記路面画像情報を連続的に撮像し、前記位置情報を認識するステップ（Ｓ１１）；前記車載装置１００により、走行車両「Ａ」の前記リアルタイム位置情報と前記路面画像情報とをパッケージ化するステップ（Ｓ１２）；および、前記車載装置１００により、パッケージ化された前記路面情報「ｄ」を前記中央管理サーバー２００に送信するステップ（Ｓ１３）、を含み得る。

【0023】

さらに、前記路面状態を判定するステップ（Ｓ２０）は、前記中央管理サーバー２００によって、受信したリアルタイムの前記路面情報「ｄ」に基づいて特徴ベクトルを抽出するステップ（Ｓ２１）；前記中央管理サーバー２００によって、抽出されたリアルタイムの前記特徴ベクトルと、データベース「Ｄ」に格納されている乾いた路面、濡れた路面、凍結路面、または積雪路面の特徴ベクトルとの間の類似度を計算することにより、路面状態を判定するステップ（Ｓ２２）；および、前記中央管理サーバー２００によって、判定されたリアルタイム路面状態情報を、走行ルートマップ上に画像情報として表示するために変換するステップ（Ｓ２４）、を含み得る。

【0024】

さらに、前記方法は、前記路面状態を送信するステップ（Ｓ３０）の後に、受信した前記路面状態情報に基づき、前記リアルタイム位置情報に基づいて、前記車載装置１００により、前記車両「Ａ」の走行情報を制御する、走行を制御するステップ（Ｓ４０）、をさらに含み得る。

【発明の効果】

【0025】

以上のように、本開示による走行車両の路面認識（例えば、ハイドロプレーニングまたはブラックアイスの認識）を用いた制御システムＣＳ、およびそれを用いた方法「Ｍ」では、走行車両に取り付けられている車載装置が、リアルタイム位置情報と路面画像情報とを含む路面情報を、中央管理サーバーに送信することができ、これにより、前記中央管理サーバーが、リアルタイムに提供される複数の路面情報を用いて、路面の状態を正確に判定することができる。

【0026】

また、走行車両のリアルタイムの位置情報と路面画像情報とをパッケージ化することで、各場所の路面状態を、誤差なく正確に認識することが可能である。

【0027】

さらに、前記路面状態判定ユニットは、複数の車両から受信した路面情報の信頼性に基づいて局所的な路面状態の妥当性を検証することにより、路面状態の判定に誤差が生じる可能性を低減させることができる。

【0028】

また、前記画像変換ユニットは、判定されたリアルタイム路面状態情報を、画像情報として走行ルートマップ上に表示するために変換し、路面状態情報を運転者に視覚的に提供することで運転者の注意喚起を促し、必要に応じて音声情報を提供することができる。

【0029】

また、前記走行制御ユニットは、送信された路面状態情報に基づき、リアルタイムの位置情報に基づいて、車速、ギア比、走行モードなどの運転情報を独自に制御することができる。これにより、運転の安全性の向上が期待できる。

【0030】

実施形態において、前記路面状態判定ユニットは、温度／湿度情報と路面画像情報とを総合的に考慮することにより、エラーが生じる可能性を大幅に低減でき、より正確な路面状態判定が期待できる。

【図面の簡単な説明】

【0031】

【図1】本開示の１つの実施形態に係る走行車両の路面認識を用いた制御システムの全体構成を示すブロック図である。

【図2】本開示の１つの実施形態に係る走行車両の路面認識を用いた制御システムの全体構成を示すブロック図である。

【図3】本開示の１つの実施形態に係る車載装置の構成を説明するための概念図である。

【図4】本開示の１つの実施形態に係る中央管理サーバーの全体構成を説明するための概念図である。

【図5】本開示の１つの実施形態に係る画像撮像ユニットおよびその画像情報を示す概念図である。

【図6】本開示の１つの実施形態に係る路面状態判定ユニットにより用いられる輝度成分の確率分布を説明するための概念図である。

【図7】本開示の１つの実施形態に係る、走行ルートマップ上に路面状態情報を表示した画像である。

【図8】本開示の他の実施形態に係る走行車両の路面認識を用いた制御方法を、時系列で示すブロック図である。

【発明を実施するための形態】

【0032】

（発明の最良モード）
以下、添付の図面を参照して、本開示の実施形態をより詳細に説明する。本開示の実施形態は、様々な変更が可能であり、本開示の範囲は、以下の実施形態に限定されると解釈されるべきではない。これらの実施形態は、当業者に対して本開示をより完全に説明するために提供される。

【0033】

図１に示すように、本開示による走行車両の路面認識（例えば、ハイドロプレーニングまたはブラックアイスの認識）を用いた制御システムＣＳは、走行車両「Ａ」から取得したリアルタイム位置情報と路面画像情報とを含む路面情報「ｄ」を用いて路面状態を判定し、判定された路面状態情報を前記走行車両「Ａ」に返送し得る。図２に示すように、前記制御システムＣＳは、複数の車両「Ａ」から路面情報「ｄ」を受信し、路面状態を判定し得る。よって、路面状態を正確に判定することができ、複数の走行車両「Ａ」が、路面状態情報を互いに共有することができる。

【0034】

この目的のため、本開示による走行車両の路面認識（例えば、ハイドロプレーニングまたはブラックアイスの認識）を用いた制御システムＣＳは、車載装置１００と中央管理サーバー２００とを備え得る。さらに、前記制御システムＣＳは、複数の車両「Ａ」から受信した累積位置ごとの路面画像情報と、対応する特徴ベクトルとを含むデータベース「Ｄ」、を有し得、前記データベース「Ｄ」は、１つの実施形態による各位置の累積された気温／湿度情報を、含み得る。

【0035】

ここで、前記データベース「Ｄ」、前記車載装置１００、および前記中央管理サーバー２００は、通信ネットワークを介して互いに情報を送受信することができ、装置間を接続するための前記通信ネットワークは、内部ネットワーク、有線／無線インターネット、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）、センサーノードを用いた長距離無線通信（ＬｏＲａ）などを、用い得る。ただし、前記車載装置１００は、車両「Ａ」に取り付けられてリアルタイムに移動する可能性があるため、前記車載装置１００と前記中央管理装置２００とは、移動体通信ネットワークを介して情報の送受信を行うことが好ましい。

【0036】

以下、本開示による走行車両の路面認識（例えば、ハイドロプレーニングまたはブラックアイスの認識）を用いた制御システムＣＳに含まれる各構成要素について、詳細に説明する。

【0037】

前記車載装置１００は、走行車両「Ａ」のリアルタイム位置情報と路面画像情報とを含む路面情報「ｄ」を、前記中央管理サーバー２００に送信する装置であり得、図３に示すように、画像撮像ユニット１１０、ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）ユニット１２０、データパッケージ化ユニット１３０、データ送受信ユニット１４０、および表示ユニット１５０を備える。前記車載装置１００は、別部品として車両に搭載されてもよく、運転者の携帯端末と連携して前記中央管理サーバー２００と通信することができる。

【0038】

本明細書では、本開示の明細書に記載の車載装置１００は、中央処理装置とメモリとを有し、記載の「～ユニット」は、「ハードウェアまたはソフトウェアシステムを変更またはプラグインするように構成されたブロック」、すなわち、ハードウェアまたはソフトウェアにおいて特定の機能を実行するユニットまたはブロック、を示す。

【0039】

前記画像撮像ユニット１１０は、走行車両「Ａ」に取り付けられ、走行ルートに沿って路面画像情報を連続的に撮像することができ、好ましくは、直射日光または反射光の影響を受けにくい特定の領域を撮像するように設定されている。

【0040】

一方、後述する路面状態判定ユニット２２０の好ましい実施形態によれば、前記路面状態判定ユニット２２０は、路面状態情報を予測するために輝度成分分布を用い、よって、純粋な路面画像情報を得るためには、色値および輝度値に影響を与える外的要因を除外する必要があり得る。したがって、前記画像撮像ユニット１１０は、道路上の隣接物体の反射などによる干渉が少ない場所に設置する必要があり得る。また、前記画像撮像ユニット１１０は、外部からの光の干渉または遮光がなく、直射日光に当たらないことが必要であり得る。

【0041】

このため、図５Ａに示すように、できるだけ風通しがよく、直射日光を遮りながら多くの太陽光を吸収するように、前記画像撮像ユニット１１０は、サンシェード１１３を備え得る。前記サンシェード１１３は、走行車両「Ａ」の方向に関係なく直射日光を遮るように、車両のカメラレンズ１１１の前側と左側と右側との３面を覆うことが、好ましい。

【0042】

一方、前記画像撮像ユニット１１０で撮像された路面画像情報には、光による反射光または影が生じ、本来の色、明るさ、および形状と違い、歪みにより、色、明るさ、または形状が異なって認識されることがある。例えば、路面状態の認識は、光の反射、夜間の車両ライト、および屈折などの様々な他の要因に加え、曇りの日だけでなく、晴れの日の雲にも妨げられる可能性がある。そのため、濡れた道路、凍結した道路、積雪した道路などでは、反射または屈折による様々な歪みが発生する可能性があり、これらの誤差を抑制するために、前記レンズ１１１の前側に、偏光フィルタ１１２が、使用され得る。

【0043】

なお、前記偏光フィルタ１１２は水平偏光フィルタであることが好ましく、前記水平偏光フィルタを通過した光から、垂直方向の偏光成分を有する反射光を除去し、眩しさを抑制して対象物のコントラストを向上させることができる。このように、前記偏光フィルタ１１２は、不要な外部反射光を除去して対象物を鮮明にするために用いられ得、または光沢面からの反射光を除去するために用いられ得る。

【0044】

図５Ａに示すように、本開示では、前記偏光フィルタ１１２は、前記画像撮像ユニット１１０の前記レンズ１１１の前側の一方にのみ、設けられ得る。上述した実施形態によれば、図５Ｂに示すように、前記画像撮像ユニット１１０は、前記偏光フィルタ１１２によって偏光されている路面画像情報と、偏光されていない本来の路面画像情報とを同時に撮像することができる。

【0045】

日中は、光の反射により路面の輝度が高くなる可能性があり、雨天時は、近傍の暗い物体の反射光により路面の輝度が実際の輝度より低くなる可能性がある。そこで、本開示では、前記カメラレンズ１１１の前面に設けられた前記偏光フィルタ１１２に基づいて、偏光されている路面画像情報と、偏光されていない本来の路面画像情報とを同時に確保して、外部環境に起因する画像情報の歪みおよび干渉を抑制し、後述の路面状態判定ユニット２２０が、それぞれの情報の輝度成分分布を比較することにより、または多次元小フィールドセグメンテーション（ｍｕｌｔｉ－ｄｉｍｅｎｓｉｏｎａｌ ｓｍａｌｌ ｆｉｅｌｄ ｓｅｇｍｅｎｔａｔｉｏｎ）を通じてモーメント成分を比較することにより、路面状態情報を判定することができる。

【0046】

一方、前記ＧＰＳユニット１２０は、走行車両「Ａ」のＧＰＳ位置情報をリアルタイムに認識し、前記画像撮像ユニット１１０が撮像した路面の位置情報を、連続的に認識することができる。なお、図２に示すように、個々の車両「Ａ」の位置情報を提供するために、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いて、衛星から受信した位置座標を地名に変換して送信する地理情報システムＧＩＳが、必要であり得る。

【0047】

ここで、路面情報「ｄ」として、前記データパッケージ化ユニット１３０は、前記ＧＰＳユニット１２０が認識する走行車両「Ａ」のリアルタイム位置情報と、前記画像撮像ユニット１１０が撮像した路面画像情報とを、一緒にパッケージ化することができる。

【0048】

そして、前記データ送受信ユニット１４０は、パッケージ化された路面情報「ｄ」を前記中央管理サーバー２００に送信し、前記中央管理サーバー２００からリアルタイム路面状態情報を受信することができる。なお、上述したように、前記データ送受信ユニット１４０は、車両「Ａ」の位置が連続的に変化しても、移動体通信ネットワークを利用してリアルタイムに情報を交換することができ、そして、運転者の携帯端末であってもよい。

【0049】

さらに、前記表示ユニット１５０は、リアルタイムの路面状態情報を可視出力することができる。１つの実施形態によれば、図７に示すように、前記表示ユニット１５０は、リアルタイムに判定された路面状態情報に基づいて、走行ルートマップ上に、「積雪路面」、「凍結路面」、「濡れた路面」または「乾いた路面」を、特定の色で表示することができる。また、前記表示ユニット１５０は、路面状態情報を、視覚情報とともに、または視覚情報とは別に音声情報として提供することにより、運転者の注意を喚起することができる。

【0050】

一方、前記中央管理サーバー２００は、前記車載装置１００から受信した路面情報「ｄ」に基づいて、リアルタイムに路面状態を判定し、前記路面状態情報を前記車載装置１００に送信することができる。図４に示すように、前記中央管理サーバー２００は、特徴ベクトル抽出ユニット２１０と、路面状態判定ユニット２２０と、画像変換ユニット２３０と、通信ユニット２４０とを備え得る。また、図２に示すように、前記中央管理サーバー２００は、中央制御局Ｃに配置され、路面状態情報をリアルタイムで監視・管理することができる。

【0051】

前記特徴ベクトル抽出ユニット２１０は、送信されたリアルタイムの前記路面情報「ｄ」に基づいて、特徴ベクトルを抽出することができる。また、前記路面状態判定ユニット２２０は、前記特徴ベクトル抽出ユニット２１０が抽出したリアルタイムの前記特徴ベクトルと、データベース「Ｄ」に格納されている乾いた路面、濡れた路面、凍結路面、または積雪路面の特徴ベクトルとを抽出し、これらの特徴ベクトル間の類似度を計算することにより、路面状態を判定することができる。

【0052】

より詳細には、前記路面状態判定ユニット２２０が比較する路面画像情報の特徴ベクトルは、前記偏光フィルタ１１２を通過した路面画像情報における輝度成分分布と、前記路面画像情報におけるテクスチャを解析するための多次元小フィールドセグメンテーションとに基づき得る。

【0053】

図６は、本開示の実施形態に係る路面状態判定ユニットが用いる輝度成分の確率的分布（または輝度成分分布）を説明するための、概念図である。光の反射や影などの画像歪みが少ない環境を前提として路面画像を解析すると、図６Ａに示すように、同一の路面状態における路面輝度成分の確率的分布が広く分散しない場合がある。

【0054】

一方、異なる路面状態における輝度成分の確率分布を互いに比較すると、図６Ｂに示すように、前記分布に水平方向のシフトが生じる。この性質を利用して、前記輝度成分を特徴ベクトルとして用いて、路面状態が判定され得る。より詳細には、得られた路面画像情報の輝度成分分布と、データベース「Ｄ」に格納されている輝度成分分布との最小の共通性（ｃｏｍｍｏｎａｌｉｔｙ）は、特徴ベクトルとして定義され、輝度成分分布における類似度を得るために、抽出され得る。

【0055】

一方、１つの実施形態において、前記特徴ベクトル抽出ユニット２１０は、局所的な路面の異物や汚れによる誤差の発生を防ぐために、各波長域の特徴ベクトルの平均値を抽出し、前記路面状態判定ユニット２２０は、各波長域の特徴ベクトルの平均値と、前記データベース「Ｄ」に格納された特徴ベクトルによる類似度とを、計算することができる。

【0056】

前記特徴ベクトル抽出ユニット２１０は、路面画像情報における輝度成分分布の統計的なモーメントベクトルを抽出し、さらに、特徴ベクトルとして、すなわち各波長の特徴ベクトルとして、輝度成分分布に対する多次元小フィールドセグメンテーションに基づく低域または高域のモーメントベクトル：

【数1】

を抽出することができる。

【0057】

以降、前記モーメントベクトルは、以下：

【数2】

により表され得る（式中、「ｎ」は、ウェーブレット変換ステップの次数である）。

【0058】

１つの実施形態において、前記特徴ベクトル抽出ユニット２１０は、画像情報をブロック単位で細分化し、Ｄａｕｂｅｃｈｉｅｓウェーブレットフィルタに基づいて画像情報の領域をＭ×Ｍのブロック単位に分割し、局所的にウェーブレット変換を行うことができる。各ブロックＢにおいてｎ段階のウェーブレット変換が行われると仮定すると、サブバンド方向の角度モーメントは、以下のように計算され、空間全体の代表値に正規化されて、サンプルの全ウェーブレットモーメントの特徴ベクトル値として計算され得る。

【数3】

【0059】

また、前記路面状態判定ユニット２２０は、分割されたモーメントベクトルと、前記データベース「Ｄ」に格納されたモーメント特徴ベクトルとの類似度を追加的に計算することで、より正確な路面状態情報を提供することができる。なお、１つの実施形態で得られた特徴ベクトルを、それぞれの成分に対するＬ２距離関数の絶対和（ａｂｓｏｌｕｔｅ ｓｕｍ）として計算し、特徴ベクトル間の類似度を比較することが、好ましい。

【0060】

日中は「乾いた路面」よりも「濡れた路面」または「凍結路面」で反射が多く生じる可能性があり、一方、夜間は「乾いた路面」で反射が多く生じる可能性がある。したがって、偏光されている路面画像情報、および本来の路面画像情報は、近傍の光の反射などに関して異なるアスペクトを示す場合がある。

【0061】

したがって、図５に示すように、前記画像撮像ユニット１１０が、偏光されている路面画像情報と、偏光されていない本来の路面画像情報とを同時に撮像する１つの実施形態において、２つの画像情報について平均二乗誤差ＭＳＥを計算し、この計算に基づいて輝度成分分布の差が比較的大きい場合に「凍結路面」または「濡れた路面」への重みを増加させることができる。

【0062】

１つの実施形態において、ＭＳＥは、本来の路面画像情報および偏光されている路面画像情報において隣接する２つの領域としてそれぞれサイズ：

【数4】

を有する２つの領域「Ｂ」および「Ｐ」に対する輝度の平均二乗誤差として、

【数5】

として計算され得る。それぞれの領域の平均輝度値をＭ_１、Ｍ_２と定義すると、この２つの領域で光の反射などに起因する誤差がどの程度発生するかは、

【数6】

として計算され得る。計算された値が、対応する路面グループについての平均値と比較して、所定の特定値を超える場合、この値は、誤差と認識され得、前記路面状態判定ユニット２２０は、判定を保留し得る。

【0063】

一方、前記路面状態判定ユニット２２０は、１ｍ以下の単位で局所路面状態を判定し、所定長さＬに対して、蓄積された局所路面状態の妥当性を検証することにより、所定長さＬに基づく路面状態を判定することができる。ここで、妥当性の検証において、前記路面状態判定ユニット２２０は、上述したように、本来の路面画像情報および偏光されている路面画像情報を解析して誤差の有無を判定し、妥当性が認められた１ｍ以下の局所画像情報の連続性および定量性に基づいて、所定長さＬの単位において路面状態を導き出すことができる。

【0064】

前記路面状態判定ユニット２２０は、複数の車両「Ａ」から受信した路面情報「ｄ」の信頼性に基づいて、妥当性を検証することができる。例えば、前記路面状態判定ユニット２２０は、位置情報と画像情報とがパッケージ化された路面情報「ｄ」に基づいて、一定距離未満の位置情報に対応する画像情報が設定時間内にＮ回以上蓄積される場合に信頼性を認識することにより、対応する位置情報を妥当な路面状態情報として処理し得る。

【0065】

一方、前記画像変換ユニット２３０は、前記路面状態判定ユニット２２０で判定されたリアルタイム路面状態情報を、走行ルートマップ上に画像情報として表示するために変換し、車両「Ａ」に一体形成された表示ユニットもしくはナビゲーション装置、または他の携帯端末の表示ユニット１５０を通して、前記リアルタイム路面状態情報を、運転者に可視出力し得る。１つの実施形態によれば、図７に示すように、リアルタイムに判定された路面状態情報に基づいて、走行ルートマップ上に「積雪路面」、「凍結路面」、「濡れた路面」または「乾いた路面」が、特定の色で表示され得る。

【0066】

また、前記通信ユニット２４０は、判定されたリアルタイム路面状態情報を車両「Ａ」に送信し、かつ路面情報「ｄ」を走行車両「Ａ」から受信し、路面状態情報および路面情報「ｄ」を、遠距離通信を行うために基地局を介して、送受信し得る。

【0067】

一方、本開示の１つの実施形態において、前記車載装置１００は、前記中央管理サーバー２００から受信する路面状態情報に基づき、リアルタイム位置情報に基づいて、前記車両「Ａ」の走行情報を制御する走行制御ユニット１６０を、含み得る。

【0068】

前記走行制御ユニット１６０は、車両「Ａ」内に配置された電子制御ユニット（ＥＣＵ）またはマイクロコントローラユニット（ＭＣＵ）であり得、前記中央管理サーバー２００から受信する路面状態情報に基づいて、車両「Ａ」の走行情報として車速、ギア比、走行モードなどを、独自に制御する。従って、走行安全性の向上が期待できる。

【0069】

１つの実施形態において、クルーズコントロールを実行する際に、前記走行制御ユニット１６０は、「乾いた路面」の場合には、運転者が設定した走行速度を維持し、「積雪路面」、「凍結路面」、または「濡れた路面」の場合には、路面状態ごとに走行速度を所定の走行速度に自動制御することにより、運転者の一瞬の不注意があっても運転の安全性を確保することができる。

【0070】

一方、本開示による前記中央管理サーバー２００は、路面状態検証ユニット２５０をさらに含み得る。前記路面状態検証ユニット２５０は、温度／湿度情報および路面画像情報を総合的に考慮して判定された路面状態情報を、追加的に検証することができる。

【0071】

また、前記路面状態検証ユニット２５０は、前記車載装置１００から受信した温度／湿度情報、位置情報、および路面画像情報に基づいて、路面情報「ｄ」における温度／湿度情報に、走行車両「Ａ」が提供するリアルタイムの温度／湿度情報を含めることにより、前記路面状態判定ユニット２２０が判定した路面状態情報を、追加的に検証することができる。

【0072】

冬季の路面凍結の主な要因としては、路面の結露水分や温度が考えられる。そこで、前記路面状態検証ユニット２５０は、各走行車両「Ａ」から受信した温度／湿度情報に基づいて露点温度を推定し、リアルタイム温度と前記露点温度とを比較することにより、路面状態情報を追加的に検証することができる。

【0073】

以下、本開示に係る走行車両の路面認識（例えば、ハイドロプレーニングまたはブラックアイスの認識）を用いた制御方法「Ｍ」について説明する。図８に示すように、本開示による走行車両の路面認識を用いた制御方法「Ｍ」は、走行車両「Ａ」から取得したリアルタイム位置情報と路面画像情報とを含む路面情報「ｄ」を用いて路面状態を判定し、判定された路面状態情報を走行車両「Ａ」に返信する方法である。この方法は、路面情報を送信するステップ（Ｓ１０）、路面状態を判定するステップ（Ｓ２０）、および路面状態を送信するステップ（Ｓ３０）を含み得る。

【0074】

前記路面情報を送信するステップ（Ｓ１０）は、車載装置１００によって、走行車両「Ａ」のリアルタイム位置情報と路面画像情報とを含む路面情報「ｄ」を、中央管理サーバー２００に送信するステップである。

【0075】

詳細には、前記車載装置１００の画像撮像ユニット１１０が、走行車両「Ａ」から路面画像情報を連続的に撮像し、同時に、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ユニット１２０が、撮像された路面の位置情報を認識し得る（Ｓ１１）。

【0076】

前記車載装置１００のパッケージ化ユニット１３０が、走行車両「Ａ」のリアルタイム位置情報と路面画像情報とを、互いにマッチングするようにパッケージ化し得（Ｓ１２）、前記車載装置１００のデータ送受信ユニット１４０が、パッケージ化された路面情報「ｄ」を、前記中央管理サーバー２００に送信し得る（Ｓ１３）。

【0077】

一方、前記路面状態を判定するステップ（Ｓ２０）は、中央管理サーバー２００によって、路面認識（ｄ）に基づいて、リアルタイムで路面状態を判定するステップである。

【0078】

より詳細には、前記中央管理サーバー２００の特徴ベクトル抽出ユニット２１０は、前記車載装置１００から受信したリアルタイム路面情報「ｄ」に基づいて、特徴ベクトルを抽出し得る（Ｓ２１）。前記中央管理サーバー２００の路面状態判定ユニット２２０は、抽出されたリアルタイムの前記特徴ベクトルと、データベース「Ｄ」に格納されている乾いた路面、濡れた路面、凍結路面、または積雪路面の特徴ベクトルとを抽出し、特徴ベクトル間の類似度を計算することにより、路面状態を判定し得る（Ｓ２２）。

【0079】

別の実施形態では、前記中央管理サーバー２００の路面状態検証ユニット２５０は、温度／湿度情報と路面画像情報とを総合的に考慮することにより、判定された路面状態情報を、追加的に検証し得る（Ｓ２３）。

【0080】

また、前記路面状態検証ユニット２５０は、前記車載装置１００から受信した温度／湿度情報、位置情報、および路面画像情報に基づいて、路面情報「ｄ」における温度／湿度情報に、走行車両「Ａ」が提供するリアルタイム温度／湿度情報を含めることにより、前記路面状態判定ユニット２２０が判定した路面状態情報を、追加的に検証し得る。

【0081】

さらに、前記中央管理サーバー２００の前記画像変換ユニット２３０は、判定されたリアルタイム路面状態情報を、走行車両「Ａ」に取り付けられている表示ユニットを通じて走行ルートマップ上に画像情報として表示するために変換し得る（Ｓ２４）。

【0082】

前記路面状態を送信するステップ（Ｓ３０）は、前記中央管理サーバー２００の通信ユニット２４０により、判定された路面状態情報を、前記車載装置１００に送信するステップであり、前記車載装置１００の表示ユニット１５０は、リアルタイムに送信された路面状態情報を視覚情報または音声情報として出力する。

【0083】

図７に示すように、前記表示ユニット１５０は、リアルタイムに判定された路面状態情報に基づいて、走行ルートマップ上に「積雪路面」、「凍結路面」、「濡れた路面」または「乾いた路面」を特定の色で表示するか、あるいは道路状態情報を音声情報として提供して運転者に注意喚起を行い得る。

【0084】

さらに、別の実施形態において、前記方法は、路面状態を送信するステップ（Ｓ３０）の後に、受信された路面状態情報に基づいて、前記車載装置１００によって、リアルタイム位置情報に基づいて車両「Ａ」の運転情報を制御する、走行を制御するステップ（Ｓ４０）をさらに含み得る。

【0085】

前記車載装置１００の走行制御ユニット１６０は、車両「Ａ」内に配置された電子制御ユニット（ＥＣＵ）またはマイクロコントローラユニット（ＭＣＵ）であり得、中央管理サーバー２００から受信した路面状態情報に基づいて、車両「Ａ」の走行情報として車速、ギア比、走行モードなどを、独自に制御する。なお、前記走行制御ユニット１６０は、クルーズコントロールを実行して速度を制御することができる。

【0086】

本明細書では、走行車両の路面認識（例えば、ハイドロプレーニングまたはブラックアイスの認識）を用いた制御システム（ＣＳ）、およびそれを用いた方法「Ｍ」に関する本開示の実施形態を中心に、技術内容が図示および説明された。しかし、本開示は、添付の特許請求の範囲に開示された本開示の範囲および趣旨から逸脱することなく、構成要素を追加、変更、削除、または補足することによって、本開示が関係する技術分野の当業者によって様々に修正または変更され得る。これらの修正もまた、本開示の範囲内にあると理解されるべきである。

【0087】

さらに、本開示の実施形態の説明において、本開示に関連する公知の機能または構成についての詳細な説明は、本開示の要旨を不必要に不明瞭にする恐れがあると判断される場合については、その詳細な説明が、省略される。さらに、本明細書で用いる用語は、本開示の実施形態における機能を考慮して定義されるものであり、ユーザまたはオペレータの意図、慣行などによって異なる解釈がなされる可能性がある。したがって、用語は、本明細書全体を通じて、その内容に基づいて定義されるべきである。したがって、上述した本開示の詳細な説明は、本開示を開示された実施形態に限定することを意図するものではなく、添付の特許請求の範囲は、他の実施形態も含むように解釈されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】