特表 2024-540515 音波信号を用いて路面の種類を推定して管理する装置およびその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-31

(54)【発明の名称】音波信号を用いて路面の種類を推定して管理する装置およびその方法

(51)【国際特許分類】

   G01W 1/00 20060101AFI20241024BHJP

   G08G 1/00 20060101ALI20241024BHJP

【ＦＩ】

G01W1/00 J

G08G1/00 J

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024529497

(86)(22)【出願日】2022-11-11

(85)【翻訳文提出日】2024-05-15

(86)【国際出願番号】 KR2022017680

(87)【国際公開番号】W WO2023090758

(87)【国際公開日】2023-05-25

(31)【優先権主張番号】10-2021-0158459

(32)【優先日】2021-11-17

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2021-0158464

(32)【優先日】2021-11-17

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2021-0158479

(32)【優先日】2021-11-17

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0089328

(32)【優先日】2022-07-20

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0089329

(32)【優先日】2022-07-20

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0089330

(32)【優先日】2022-07-20

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0089331

(32)【優先日】2022-07-20

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0133387

(32)【優先日】2022-10-17

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0133397

(32)【優先日】2022-10-17

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0133405

(32)【優先日】2022-10-17

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】524184600

【氏名又は名称】モバホイール インコーポレイテッド

【氏名又は名称原語表記】ＭＯＶＥＡＷＨＥＥＬ， ＩＮＣ．

【住所又は居所原語表記】２０３Ｈｏ， Ｈ－Ｓｉｌ， Ｓｈｉｎｈａｎ Ｓｑｕａｒｅｂｒｉｄｇｅ Ｄａｅｊｅｏｎ Ｓ２， １０ Ｄａｅｈａｋ－ｒｏ １５５ｂｅｏｎ－ｇｉｌ Ｙｕｓｅｏｎｇ－ｇｕ Ｄａｅｊｅｏｎ ３４１３８ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】キム ミンヒョン

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181CC04

5H181CC11

5H181EE11

5H181EE13

5H181MA48

(57)【要約】

様々な実施形態によれば、音波信号を用いた路面を分類する電子装置およびそれを用いた路面分類方法が開示される。また、路面分類によって路面を管理する装置および方法が開示される。一方、路面分類方法を実現するためのインフラを道路上に設置するための方法が開示される。その他の様々な実施形態が可能である。

【特許請求の範囲】

【請求項1】

音波信号を用いて路面を分類する電子装置であって、
音波信号を送受信するように構成された送受信機と、
大気センサと、
前記送受信機および前記大気センサと電気的に接続された少なくとも１つのプロセッサと、を含み、
前記少なくとも１つのプロセッサは、
前記送受信機を用いて、前記電子装置から第１距離だけ離間した対象路面に向かって音波信号を送信し、
前記送受信機を用いて、前記対象路面に対する前記音波信号の反射信号を受信し、
前記大気センサを用いて、前記音波信号に関連する大気情報を取得し、
前記受信した反射信号に対する第１データを取得し、
前記大気情報に基づいて前記第１データを補正することによって、第２データを生成し、
前記第２データに基づいて前記第２データの周波数ドメイン情報に関連する第３データを取得し、
前記第３データおよび路面分類人工ニューラルネットワークに基づいて前記対象路面の種類を判断するように構成され、
前記路面分類人工ニューラルネットワークは、前記第１距離とは異なる第２距離の路面で反射した音波信号に基づいて生成された周波数ドメインデータセットで学習されることを特徴とする電子装置。

【請求項2】

前記第２データは、前記大気情報および前記第１距離に基づいて前記第１データを補正することによって生成されることを特徴とする請求項１に記載の電子装置。

【請求項3】

前記第１距離は、前記音波信号の送信時点および前記反射信号の受信時点に基づいて推定されることを特徴とする請求項１に記載の電子装置。

【請求項4】

前記第３データは、前記第２データを短時間フーリエ変換して取得されることを特徴とする請求項１に記載の電子装置。

【請求項5】

前記少なくとも１つのプロセッサは、
前記判断された対象路面の種類に基づいて、前記対象路面に設けられた路面管理装置を制御する信号を生成するように構成され、
前記路面管理装置は、熱線または食塩水噴射装置を含むことを特徴とする請求項１に記載の電子装置。

【請求項6】

前記少なくとも１つのプロセッサは、
予め設定された気象条件が満たされているかどうかを判断し、
前記予め設定された気象条件を満たす場合、前記路面管理装置を制御する信号を生成し、
第１時点で判断された対象路面の種類が第２時点で変更されたかどうかを確認し、
前記第１時点で前記対象路面の種類と判断された第１クラスと前記第２時点で前記対象路面の種類と判断された第２クラスが異なる場合、第３時点で判断される対象路面の種類に基づいて、前記対象路面に設けられた装置に対する制御信号の生成可否を決定するように構成されることを特徴とする請求項５に記載の電子装置。

【請求項7】

前記対象路面の種類は第１周期ごとに判断され、
前記少なくとも１つのプロセッサは、
前記対象路面の種類が第１クラスと判断される場合、前記対象路面の種類を第２周期ごとに判断するように構成されることを特徴とする請求項１に記載の電子装置。

【請求項8】

前記電子装置は、前記対象路面の温度情報を取得するＩＲセンサまたは前記対象路面の映像情報を取得するビジョンセンサのうちの少なくとも１つをさらに含み、
前記少なくとも１つのプロセッサは、前記温度情報または前記映像情報に基づいて前記対象路面の種類を判断するように構成されることを特徴とする請求項１に記載の電子装置。

【請求項9】

電子装置によって実行される音波信号を用いて路面を分類する方法において、
前記電子装置から第１距離だけ離間した対象路面に向かって音波信号を送信するステップと、
前記対象路面に対する前記音波信号の反射信号を受信するステップと、
前記音波信号に関連する大気情報を取得するステップと、
前記受信した反射信号に対する第１データを取得するステップと、
前記大気情報に基づいて前記第１データを補正することによって、第２データを生成するステップと、
前記第２データに基づいて前記第２データの周波数ドメイン情報に関連する第３データを取得するステップと、
前記第３データおよび路面分類人工ニューラルネットワークに基づいて前記対象路面の種類を判断するステップと、を含み、
前記路面分類人工ニューラルネットワークは、前記第１距離とは異なる第２距離の路面で反射した音波信号に基づいて生成された周波数ドメインデータセットで学習されることを特徴とする、方法。

【請求項10】

前記第２データを生成するステップは、前記大気情報に基づいて補正された前記第１データを前記第１距離に基づいて補正するステップをさらに含むことを特徴とする請求項９に記載の方法。

【請求項11】

前記音波信号の送信時点および前記反射信号の受信時点に基づいて前記第１距離を推定するステップをさらに含むことを特徴とする請求項９に記載の方法。

【請求項12】

前記第３データは、前記第２データを短時間フーリエ変換して取得されることを特徴とする請求項９に記載の方法。

【請求項13】

前記判断された対象路面の種類に基づいて、前記対象路面に設けられた路面管理装置を制御する信号を生成するステップをさらに含み、
前記路面管理装置は、熱線または食塩水噴射装置を含むことを特徴とする請求項９に記載の方法。

【請求項14】

前記路面管理装置を制御する信号を生成するステップは、
予め設定された気象条件が満たされているかどうかを判断するステップと、
前記予め設定された気象条件を満たす場合、第１時点で判断された対象路面の種類が第２時点で変更されたかどうかを確認するステップと、
前記第１時点で前記対象路面の種類と判断された第１クラスと前記第２時点で前記対象路面の種類と判断された第２クラスが互いに異なる場合、第３時点で判断される対象路面の種類に基づいて、前記対象路面に設けられた装置に対する制御信号の生成可否を決定するステップと、を含むことを特徴とする請求項１３に記載の方法。

【請求項15】

前記対象路面の種類を判断するステップは、さらに前記対象路面の温度情報または前記対象路面の映像情報に基づいて前記対象路面の種類を判断するステップを含み、
前記対象路面の種類は第１周期ごとに判断され、
前記対象路面の種類が第１クラスと判断される場合、前記対象路面の種類は第２周期ごとに判断されることを特徴とする請求項９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音波信号を用いて路面の種類を推定する装置およびそれを用いた路面の分類および管理方法に関し、より詳細には、人工ニューラルネットワークを用いて路面に反射した音波信号を分類し、分類された路面の種類に基づいて路面ないし移動体を制御する装置およびそれを用いた路面の管理方法に関する。

【背景技術】

【0002】

一般的に地面上を移動する地上移動体は移動している地面、すなわち路面の摩擦係数に応じて加減速制御を行うことになるので、安定性制御側面と最大運動性能制御側面から路面摩擦係数を正確に推定することが重要である。

【0003】

冬季急増しているブラックアイス事故は、これを認知できない状況で路面摩擦係数の急激な変化によって発生するという点で路面摩擦係数推定技術の必要性がよく表れた例といえる。

【0004】

また、近年商用化されている電気自動車はエネルギー効率を高めるための回生ブレーキ技術が不可欠であるが、回生ブレーキが適用される場合の走行安定性確保のための側面から路面の摩擦係数を予め推定する技術の必要性が拡大している。

【0005】

このような路面状態またはそれに基づく路面摩擦係数を推定するための方法として、従来は、車両の動的情報を利用する方法とセンシング情報を利用する方法が主に用いられてきた。

【0006】

車両の動的情報を利用する方法の場合、車両に搭載された各種センサの測定情報を車両動力学モデルに代入して推定する。このとき、定められたモデリングを外れる状況で正確度が低下する欠点があるだけでなく、路面を過ぎてから測定が可能であるため、路面の摩擦係数を予め推定できない限界がある。

【0007】

また、映像情報のような電磁波センサに基づく方式の場合には路面の摩擦係数を遠隔から推定することができるが、このために高価なセンサ機器とそれに対する信号処理装置が必要であり、センサの装着位置や方向によって結果が変わり得る限界が存在する。

【0008】

一方、音響情報を用いた路面推定技術も活発に議論されているが、従来は、地面とタイヤ間の摩擦音に基づいて路面状態を推定する技術に焦点が合わされており、正確度が不足するだけでなく路面を通過する前には前方の路面状態を確認できない限界がある。

【0009】

したがって、既存の方式では路面状態を予め判断できないか、または判断プロセスが非経済的で不正確であり、上述した問題を効率的に解決できない限界があった。

【発明の概要】

【発明が解決しようとする課題】

【0010】

本開示は、上記の問題を解決するために、音波信号を用いた路面の種類の推定装置およびその方法を提供することを目的とする。

【0011】

また、本開示による路面の種類の推定を通じてリアルタイムで路面を制御して管理する装置およびその方法を提供することを目的とする。

【0012】

一方、本開示で解決しようとする課題は上記の課題に限定されるものではなく、言及されない課題は、本明細書および添付図面から本開示に含まれる開示が属する技術分野において通常の知識を有する者に明確に理解できるであろう。

【課題を解決するための手段】

【0013】

本開示の様々な実施形態によれば、音波信号を用いて路面を分類する電子装置は、音波信号を送受信するように構成された送受信機と、大気センサと、前記送受信機および前記大気センサと電気的に接続された少なくとも１つのプロセッサと、を含み、前記少なくとも１つのプロセッサは、前記送受信機を用いて、前記電子装置から第１距離だけ離間した対象路面に向かって音波信号を送信し、前記送受信機を用いて、前記対象路面に対する前記音波信号の反射信号を受信し、前記大気センサを用いて、前記音波信号に関連する大気情報を取得し、前記受信した反射信号に対する第１データを取得し、前記大気情報に基づいて前記第１データを補正することによって、第２データを生成し、前記第２データに基づいて前記第２データの周波数ドメイン情報に関連する第３データを取得し、前記第３データおよび路面分類人工ニューラルネットワークに基づいて前記対象路面の種類を判断するように構成され、前記路面分類人工ニューラルネットワークは、前記第１距離とは異なる第２距離の路面で反射した音波信号に基づいて生成された周波数ドメインデータセットで学習され得る。

【0014】

本開示の一実施形態によれば、前記第２データは、前記大気情報および前記第１距離に基づいて前記第１データを補正することによって生成してもよい。

【0015】

また、前記第１距離は、前記音波信号の送信時点および前記反射信号の受信時点に基づいて推定してもよい。

【0016】

本開示の一実施形態によれば、前記第３データは、前記第２データをＳＴＦＴ（Ｓｈｏｒｔ－Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）変換して取得してもよい。

【0017】

本開示の一実施形態によれば、前記少なくとも１つのプロセッサは、前記判断された対象路面の種類に基づいて、前記対象路面に設けられた路面管理装置を制御する信号を生成するように構成されてもよい。

【0018】

本開示の様々な実施形態による前記路面管理装置は、熱線または食塩水噴射装置を含んでもよい。

【0019】

本開示の一実施形態によれば、前記少なくとも１つのプロセッサは、予め設定された気象条件が満たされているかどうかを判断し、前記予め設定された気象条件を満たす場合、前記路面管理装置を制御する信号を生成するように構成されてもよい。

【0020】

また、前記少なくとも１つのプロセッサは、第１時点で判断された対象路面の種類が第２時点で変更されたかどうかを確認し、前記第１時点で前記対象路面の種類と判断された第１クラスと前記第２時点で前記対象路面の種類と判断された第２クラスが異なる場合、第３時点で判断される対象路面の種類に基づいて、前記対象路面に設けられた装置に対する制御信号の生成可否を決定するように構成されてもよい。

【0021】

本開示の一実施形態によれば、前記対象路面の種類は第１周期ごとに判断され、前記少なくとも１つのプロセッサは、前記対象路面の種類が第１クラスと判断される場合、前記対象路面の種類を第２周期ごとに判断するように構成されてもよい。

【0022】

本開示の一実施形態によれば、前記電子装置は、前記対象路面の温度情報を取得するＩＲセンサまたは前記対象路面の映像情報を取得するビジョンセンサのうちの少なくとも１つをさらに含み、前記少なくとも１つのプロセッサは、前記温度情報または前記映像情報に基づいて前記路面の種類を判断するように構成されてもよい。

【0023】

本開示の様々な実施形態によれば、電子装置によって実行される音波信号を用いて路面を分類する方法は、前記電子装置から第１距離だけ離間した対象路面に向かって音波信号を送信するステップと、前記対象路面に対する前記音波信号の反射信号を受信するステップと、前記音波信号に関連する大気情報を取得するステップと、前記受信した反射信号に対する第１データを取得するステップと、前記大気情報に基づいて前記第１データを補正することによって、第２データを生成するステップと、前記第２データに基づいて前記第２データの周波数ドメイン情報に関連する第３データを取得するステップと、前記第３データおよび路面分類人工ニューラルネットワークに基づいて前記対象路面の種類を判断するステップと、を含み、前記路面分類人工ニューラルネットワークは、前記第１距離とは異なる第２距離の路面で反射した音波信号に基づいて生成された周波数ドメインデータセットで学習され得る。

【発明の効果】

【0024】

本開示によれば、超音波信号に基づいて路面の種類を迅速かつ正確に分類することによって、分類された路面による路面の制御または車両の制御を通じて未然の事故を防止することができる。

【0025】

また、本開示によれば、路面の分類情報を用いて路面管理を自動的に制御することによって、経済的かつ効率的に路面を管理することができる。

【0026】

また、本開示は、路面に対する情報をリアルタイムで取得することによって、使用者により効果的な交通網情報を提供することができる。

【0027】

一方、本開示の効果は上述の効果に限定されるものではなく、言及されていない効果は、本明細書および添付図面から本開示が属する技術分野において通常の知識を有する者に明確に理解され得る。

【図面の簡単な説明】

【0028】

【図1】本開示の様々な実施形態による路面分類装置のブロック図を示す図である。

【図2】本開示の一実施形態による路面分類装置が道路インフラに設置されて運用されることを示す図である。

【図3】本開示による路面分類装置によって実行される方法を示すフローチャートである。

【図4】本開示の様々な実施形態による路面分類装置から送信される音波信号を時間軸に示した図である。

【図5】本開示の一実施形態による音波信号の送信区間および反射信号の受信区間を示す図である。

【図6】本開示の様々な実施形態による路面分類装置が設けられる対象を示す図である。

【図7】本開示の様々な実施形態による路面分類人工ニューラルネットワークを学習するためのデータセットを取得する方法を例示する図である。

【図8】本開示の様々な実施形態による路面分類装置が受信した反射信号を前処理するプロセスを示すフローチャートである。

【図9】本開示の一実施形態によるマルチモード（ｍｕｌｔｉ－ｍｏｄａｌ）人工ニューラルネットワークを示す図である。

【図10】本開示の一実施形態による路面分類装置が予め決まった制御変更トリガーに基づいて制御動作を変更する動作を示すフローチャートである。

【図11】本開示の一実施形態による路面分類結果が変化するシナリオを例示する図である。

【図12】本開示の様々な実施形態による路面分類装置による路面管理方法を示す図である。

【図13】本開示の一実施形態による路面分類装置が交通情報を収集することを示す図である。

【図14】本開示の一実施形態による路面種類推定装置の構成図である。

【図15】本開示の一実施形態による音波を用いた路面種類推定装置における送信信号および受信信号を説明するための図である。

【図16】本開示の一実施形態による音波を用いた路面種類推定装置における信号変換器を例示的に説明するための図である。

【図17】本開示の一実施形態による音波を用いた路面種類推定装置における人工ニューラルネットワークを説明するための図である。

【図18】コンボリューション実行部の動作を説明するための図である。

【図19】本開示の音波を用いた路面種類推定装置のコンボリューション実行部のコードを説明するための図である。

【図20】本開示の一実施形態による音波のドメイン変換を用いた路面種類推定方法のフローチャートである。

【図21】本開示による音波を用いた路面種類推定方法の一実施形態を示すフローチャートである。

【図22】本開示の一実施形態による大気減衰量が補正された音波を用いた路面種類推定方法を示すフローチャートである。

【図23】本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムを説明するための図である。

【図24】本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムの構成図である。

【図25】本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムにおいて均一な路面の状態を認識することを例示的に説明する図である。

【図26】本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムにおいて不均一な路面の状態を認識することを例示的に説明する図である。

【図27】本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムにおいて音波センサの感知領域がどんなセグメンテーション領域であるかを見つける方法を説明するための図である。

【図28】本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムの人工ニューラルネットワークの一例を説明するための図である。

【図29】本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムのセグメンテーション処理部の一例を説明するための図である。

【図30】本開示によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムにおけるモニタリング方法の一実施形態のフローチャートである。

【図31】図３０の融合分析ステップ３０５０の一実施形態の詳細なフローチャートである。

【図32】本開示の他の実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムの構成図である。

【図33】本開示によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムにおけるモニタリング方法の他の実施形態のフローチャートである。

【図34】本開示の一実施形態による道路の熱線装置の制御システムの動作を説明するための図である。

【図35】本開示の一実施形態による道路の氷結予防装置の制御システムの構成図である。

【図36】本開示の他の実施形態による道路の氷結予防装置の制御システムの構成図である。

【図37a-37c】本開示の一実施形態による道路の氷結予防装置の制御システムで使用される人工知能分析モデルを説明するための図である。

【図38】本開示による道路の氷結予防装置の制御方法の一実施形態のフローチャートである。

【図39】本開示による道路の氷結予防装置が熱線装置である場合、図３８の制御信号生成ステップ３８５０の一実施形態の詳細なフローチャートである。

【図40】本開示による道路の氷結予防装置が食塩水噴射装置である場合、図３８の制御信号生成ステップ３８５０の一実施形態の詳細なフローチャートである。

【図41】本開示の一実施形態による道路インフラセンサ施工構造物を概略的に示す斜視図である。

【図42】本開示の一実施形態による道路インフラセンサ施工構造物を概略的に示す側面図である。

【図43】本開示の一実施形態による音波センサ部を概略的に示す斜視図（ａ）および部分断面斜視図（ｂ）である。

【図44】本開示の一実施形態による音波センサ部を概略的に示す部分側断面図である。

【図45】本開示の他の実施形態による道路インフラセンサ施工構造物を概略的に示す斜視図である。

【図46】本開示の他の実施形態による道路インフラセンサ施工構造物を概略的に示す側面図である。

【図47】本開示の他の実施形態による道路インフラセンサ施工構造物を概略的に示す部分拡大斜視図（ａ）、底面斜視図（ｂ）および部分断面斜視図（ｃ）である。

【図48】本開示の他の実施形態による音波センサ部を概略的に示す部分側断面図である。

【図49】本開示の好ましい実施形態による道路インフラセンサ施工構造物の施工方法を示すフローチャートである。

【発明を実施するための形態】

【0029】

以下、本開示の実施形態について図面を参照しながら詳細に説明する。実施形態を説明するにあたり、本開示が属する技術分野でよく知られており、本開示と直接関連しない技術内容については説明を省略する。これは、不要な説明を省略することにより、本開示の要旨をぼかすことなく、より明確に伝えるためである。

【0030】

同様の理由で添付の図面において、一部の構成要素は誇張、省略または概略的に示されている。また、各構成要素の大きさは実際の大きさを完全に反映するものではない。各図面中の同一または対応する構成要素には同じ参照符号を付した。

【0031】

本開示の利点および特徴、ならびにそれらを達成する方法は、添付の図面と共に詳細に後述される実施形態によって明らかになるであろう。しかし、図面から開示される事項は、様々な実施形態を特定または限定することを意図するものではなく、様々な実施形態の精神および技術範囲に含まれる全ての変更、均等物ないし代替物を含むと理解されるべきである。様々な実施形態について、特定の構造的ないし機能的説明は、単に様々な実施形態による説明のための目的として例示されており、本開示の実施形態は様々な形態で実施することができ、本明細書または出願に明らかに説明された実施形態に限定されると解釈されるべきではない。

【0032】

すなわち、本開示の実施形態は、本開示が完全になるようにし、本開示が属する技術分野において通常の知識を有する者に本開示の範疇を知らせるために提供されるものであり、本開示の発明は請求項の範疇によって定義されるだけである。明細書全体にわたって、同一の参照符号は同一の構成要素を指す。

【0033】

「第１」および／または「第２」などの用語は様々な構成要素を説明するのに使用することができるが、前記構成要素は前記用語によって限定されるべきではない。前記用語は、ある構成要素を他の構成要素から区別する目的でのみ、例えば本開示の概念による権利範囲から逸脱することなく、第１構成要素を第２構成要素と命名することができ、同様に第２構成要素を第１構成要素とも命名することができる。

【0034】

ある構成要素が他の構成要素に「連結されている」または「接続されている」と言及されている場合、他の構成要素に直接連結されているか、または、直接接続されている可能性もあるが、他の構成要素が中間に存在する可能性もあると理解されるべきである。一方、ある構成要素が他の構成要素に「直接連結されている」または「直接接続されている」と言及されている場合、他の構成要素が中間に存在しないことで理解されるべきである。構成要素間の関係を説明する他の表現、すなわち「～間に」と「直接～間に」または「～隣接する」と「～に直接隣接する」なども同様に解釈されるべきである。

【0035】

図面における処理フローチャート図の各ブロックとフローチャート図との組み合わせは、コンピュータプログラム命令によって実行することができる。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに搭載することができるので、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行されるその命令はフローチャートブロックで説明された機能を行う手段を生成することになる。これらのコンピュータプログラム命令は、特定の方式で機能を実現するためにコンピュータまたは他のプログラム可能なデータ処理装置を指向できるコンピュータ利用可能またはコンピュータ読み取り可能メモリに格納することも可能であり、したがって、そのコンピュータ利用可能またはコンピュータ読み取り可能メモリに格納された命令は、フローチャートブロックで説明された機能を行う命令手段を内包する製造品目を生産することも可能であり得る。コンピュータプログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置に搭載されることも可能であるため、コンピュータまたは他のプログラム可能なデータ処理装置上で一連の動作ステップが実行され、コンピュータで実行されるプロセスを生成してコンピュータまたは他のプログラム可能なデータ処理装置を行う命令は、フローチャートブロックで説明された機能を実行するためのステップを提供することも可能であり得る。

【0036】

また、各ブロックは、特定の論理機能を実行するための１つ以上の実行可能な命令を含むモジュール、セグメントまたはコードの一部を表すことができる。また、いくつかの代替実行例では、ブロックで言及された機能が順序外で発生することも可能であることに留意されたい。例えば、相次いで図示されている２つのブロックは実際には実質的に同時に実行されてもよく、またはブロックが時々該当する機能に従って逆順に実行されてもよい。

【0037】

本開示で使用される「～部（ｕｎｉｔ）」という用語は、ソフトウェアまたはフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ，ＦＰＧＡ）または特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）などのハードウェア構成要素を意味する。「～部」は特定の役割を果たすが、ソフトウェアまたはハードウェアに限定される意味ではない。「～部」は、アドレス可能な記憶媒体にあるように構成されてもよく、または１つ以上のプロセッサを再生するように構成されてもよい。したがって、一部の実施形態によれば、「～部」は、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素などの構成要素と、プロセス、関数、属性、プロシーザー、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイおよび変数を含む。構成要素および「～部」の中で提供される機能は、より少ない数の構成要素および「～部」で組み合わせるか、または追加の構成要素と「～部」にさらに分離することができる。さらに、構成要素および「～部」は、デバイスまたはセキュリティマルチメディアカード内の１つまたは複数のＣＰＵを再生するように構成され得る。また、本開示の様々な実施形態によれば、「～部」は１つ以上のプロセッサを含むことができる。

【0038】

以下、添付の図面を参照して本開示の動作原理を詳細に説明する。以下において、本開示を説明する際に関連する公知の機能または構成に対する具体的な説明が本開示の要旨を不必要にぼやけることができると判断される場合には、その詳細な説明を省略する。そして後述する用語は、本開示における機能を考慮して定義された用語であり、これは使用者、オペレータの意図または慣例などに応じて変わり得る。したがって、その定義は、本明細書全体にわたる内容に基づいて行われるべきである。

【0039】

本開示は、音波信号を用いて路面を分類し、それによって路面や車両の運行を管理するシステムに関する。

【0040】

本開示の一実施形態による路面分類装置は、道路インフラまたは移動体などに設置され、路面の種類や状態を判断する装置を含むことができる。

【0041】

本開示のさらに他の実施形態による路面分類装置は、道路インフラまたは移動体などに設置された装置から受信した情報に基づいて路面の種類や状態を判断するサーバー装置を含むことができる。

【0042】

図１は、本開示の様々な実施形態による路面分類装置のブロック図を示す図である。

【0043】

図１を参照すると、本開示の一実施形態による路面分類装置１００は、送受信部１１０、感知部１２０、および制御部１３０を含むことができる。一方、本開示の様々な実施形態による路面分類装置は、上記のハードウェア構成要素に加えて追加の構成要素を含むことができ、図１に示される構成要素に限定されない。図１は、本開示の路面分類装置１００を構成するハードウェア構成要素を例示するためのものであり、本開示のさらに他の実施形態による路面分類装置は、図１に示す構成要素のうち一部を省略して構成されてもよい。

【0044】

送受信部１１０は、音波信号を送受信するように構成されるハードウェア構成要素として、送信機（図示せず）および受信機（図示せず）または送受信機（図示せず）を含むことができる。以下では、送受信部１１０を構成する送信機および受信機のそれぞれについて詳細に説明する。

【0045】

送信機は、音波信号を生成して発射する装置であり、音波信号が路面に向かって発射する方向に配置されてもよい。このとき、発射される音波信号は、高周波の超音波信号を含むことができる。

【0046】

一方、生成される音波信号の周波数は、送信機の種類に応じて固定されてもよく、使用者入力によって設定または可変であってもよい。また、音波信号は、使用者入力、制御部やサーバーの制御、または予め決まった規則に従って単発的に送信されてもよいし、１周期中に１つまたは複数の信号を周期的に送信してもよい。このとき、送信される音波の数や送信周期などは可変であり得る。

【0047】

受信機は、音波信号を受信する装置であり、路面から反射される音波信号を受信するように構成されてもよい。

【0048】

一方、受信機は、反射信号に加えて、隣接する送信機から送出された音波信号を直接受信することもできる。送信機から直接受信された信号は、本開示の路面分類装置を介して判断しようとする路面の分類とは無関係の信号であるため、ノイズと見なすことができ、このようなノイズ信号をクロストーク（ｃｒｏｓｓ－ｔａｌｋ）という。

【0049】

本開示の一実施形態によれば、クロストークの発生を減らすために送信機と受信機を離間して設置することができる。また、本開示のさらに他の実施形態によれば、送信機と受信機との間で発生する可能性がある信号の乱れ（例えば、クロストーク）の発生を減らすために、送信機と受信機との間に吸音材ないし防音材などの構造体をさらに配置してもよい。前記構造体は、音波を減衰または吸収する物理的特性を有する素材または構造で形成されてもよく、そのような物理的特性を実現するように構成された電子装置であってもよい。

【0050】

一方、送信機と受信機は、本開示の路面分類装置内で必ずしも物理的に区別されるべきではなく、一体に一体化された形態、例えば送受信機として実現されてもよい。以下の説明において、送受信機は、送信機、受信機、または送受信機の全てを含む用語であり、送受信機は、送信機と受信機が一体に一体化されたハードウェア装置を意味することができ、物理的に区別される送信機と受信機の両方を含む、またはそれぞれを指すことを意味することもできる。

【0051】

送受信機は、ハードウェア性能に応じた指向角（ａｎｇｌｅ ｏｆ ｖｉｅｗ）範囲内で音波を送信または受信することができる。本開示の様々な実施形態による路面分類装置１００は、路面分類装置が設けられる対象や環境を考慮して指向角の異なる送受信機を使用することができる。例えば、道路インフラに配置される路面分類装置に使用される送受信機の指向角は、車両に設置される路面分類装置に使用される送受信機の指向角より小さくてもよい。

【0052】

路面分類装置内で送信機と受信機とを区別して構成する場合、本開示の様々な実施形態による送信機と受信機は、相互間の指向角を考慮して配置することができる。本開示の一実施形態による受信機は、送信機の指向角範囲外に配置することができ、それによって送信機から発せられる指向角の最外角音波信号が受信機に感知されないこともある。本開示のさらに他の実施形態による受信機は、受信機で感知されるクロストーク信号が基準値以下になるように、送信機の指向角中心を基準として外角側に配置することができる。

【0053】

一方、本開示の様々な実施形態による送受信機は、路面に対する反射波の特定の周波数特性にのみ応答するように設計または配置することができる。

【0054】

感知部１２０は、測定を通じて本開示による路面分類に必要な情報を取得するハードウェア構成要素であり、本開示による感知部１２０は大気センサ、カメラおよび／またはＩＲセンサを含むことができる。

【0055】

本開示の様々な実施形態による感知部１２０は大気センサを含むことができる。大気センサは、大気状態に関する情報を取得するハードウェア装置であり、大気センサが測定または取得する大気情報は、温度、湿度、または気圧のうちの少なくとも１つを含むことができる。また、大気情報は風に関する情報をさらに含むことができる。このとき、風に関する情報は、風速、風量、または風向などの風に関連する物理量を含むことができる。本明細書における大気センサは、温度センサ、湿度センサ、または気圧センサのうちの少なくとも１つを含む装置を意味することができる。また、大気センサは、互いに異なる複数の大気情報をセンシングできる装置を意味することができる。本開示の一実施形態による大気センサは、路面分類装置が配置されている場所の温度、湿度、気圧および／または風速を測定することができる。

【0056】

本開示の様々な実施形態による感知部１２０は、カメラおよび／またはＩＲセンサをさらに含むことができる。カメラは、イメージを取得する装置として路面に対する映像情報を取得することができ、ＩＲセンサは、路面から放出される輻射熱を感知して路面の温度情報を取得することができる。ＩＲセンサが取得する温度情報は路面に対する温度情報であり、大気センサが取得する温度情報は大気に関する温度情報であるため、互いに異なるセンサによって取得される各温度情報が指示する値は異なる場合がある。

【0057】

本開示の感知部１２０によって測定または取得された様々な情報は、路面分類の正確度を向上させるために互いに組み合わせて活用することができる。すなわち、本開示の様々な実施形態による路面分類装置１００によって出力される路面分類結果は、複数の情報に基づいて生成することができ、これに対する具体的な実施形態については後述する。

【0058】

一方、本開示の実施形態によって感知部１２０に含まれるカメラおよび／またはＩＲセンサは例示的なものであり、感知部１２０は上記の大気センサ、カメラまたはＩＲセンサ以外にも路面を分類するのに活用できる情報を取得するための任意の感知装置をさらに含んでもよい。

【0059】

制御部１３０は、本開示の路面分類装置によって実行される方法を行うように構成されたハードウェアであり、論理回路と演算回路とを含む少なくとも１つのプロセッサを含むことができる。制御部１３０は、メモリ（図示せず）から提供されたプログラムおよび／または命令に従ってデータを処理し、処理結果に応じて制御信号を生成することができる。

【0060】

様々な実施形態によれば、制御部１３０は、例えば、制御部１３０に接続された路面分類装置１００の少なくとも１つの他の構成要素（例えば、ハードウェアまたはソフトウェア構成要素）を制御することができ、様々なデータ処理または演算を実行することができる。一実施形態によれば、データ処理または演算の少なくとも一部として、制御部１３０は、他の構成要素（例えば、受信機１２０または感知部１２０）から受信した命令またはデータを揮発性メモリ（図示せず）に格納し、揮発性メモリ（図示せず）に格納された命令またはデータを処理し、結果データを不揮発性メモリ（図示せず）に格納することができる。一例として、受信機１２０を介して取得された信号は、制御部１３０に含まれるアナログデジタルコンバータ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ，ＡＤＣ）回路を介してデジタル信号に変換して処理され得る。また、変換されたデジタル信号は、人工ニューラルネットワークに入力するための入力データで前処理することができる。本開示の受信した信号および／またはデータを処理する具体的な方法については後述する。

【0061】

一実施形態によれば、制御部１３０は、メインプロセッサ（例えば、中央処理装置（ＣＰＵ）またはアプリケーションプロセッサ（ＡＰ））またはそれとは独立的にまたは一緒に動作可能な補助プロセッサ（例えば、グラフィック処理装置（ＧＰＵ）、ニューラルネットワーク処理装置（ＮＰＵ：ｎｅｕｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、画像信号プロセッサ、センサハブプロセッサ、またはコミュニケーションプロセッサ）を含むことができる。例えば、路面分類装置１００がメインプロセッサおよび補助プロセッサを含む場合、補助プロセッサは、メインプロセッサよりも低電力を使用するか、または指定された機能に特化するように構成することができる。補助プロセッサは、メインプロセッサとは別に、またはその一部として実現することができる。

【0062】

本開示の様々な実施形態による路面分類装置は、通信部（図示せず）を含むことができる。前記通信部は、使用者または他の外部機器から入力された命令またはデータを受信するか、または路面分類装置によって生成された命令またはデータを外部に伝送するか、または路面分類装置の他の構成要素から命令またはデータを送信または受信するハードウェア構成要素を意味するものであり、有無線通信モジュールおよび／または入出力インターフェースを含むことができる。本開示の実施形態による路面分類装置は、前記通信部を介して外部電子装置（例えば、路面分類装置の外部に設置される制御器（ｃｏｎｔｒｏｌ ｂｏｘ）や管理サーバー）から情報を受信したり、前記外部電子装置に路面分類装置が取得または生成した情報を送信したりすることができる。一方、前記通信部は、本開示の様々な実施形態による路面分類装置内で制御部１３０とは別に実現することができ、制御部１３０に含まれる回路要素によって実現され、制御部１３０に含まれることができる。すなわち、本開示の様々な実施形態による路面分類装置は、外部電子装置と連動して路面を分類するために必要な情報を提供する装置であり得る。

【0063】

本開示の一実施形態によれば、本開示の路面を分類するための人工ニューラルネットワーク（図示せず）は、路面分類装置において、ソフトウェアオンチップ（ｓｏｆｔｗａｒｅ－ｏｎ－ｃｈｉｐ，ＳＯＣ）ないしマイクロコントローラユニット（ｍｉｃｒｏ ｃｏｎｔｒｏｌｌｅｒ ｕｎｉｔ，ＭＣＵ）として制御部１３０に含まれて提供することができる。または、前記人工ニューラルネットワークは、前記制御部１３０によって動作するソフトウェアの形態で提供され、外部サーバーからの通信または使用者入力によって更新されてもよい。

【0064】

一方、本開示の様々な実施形態による人工ニューラルネットワークは、外部電子装置（例えば、前記制御器または前記サーバー）で実現することができ、この場合、路面分類装置の制御部１３０で音波信号に基づいて生成したデータおよび大気情報などの路面分類に必要なデータが外部電子装置に送信され、外部電子装置は路面分類装置から受信したデータに基づいて路面を分類することができる。

【0065】

本開示のさらに他の実施形態によれば、路面分類装置はサーバー装置であり得る。この場合、路面分類装置は、音波送受信部１１０および感知部１２０を含まなくてもよく、通信部（図示せず）を介して外部電子装置から路面分類に必要なデータを受信し、受信したデータに基づいて制御部１３０を介して路面を分類することができる。また、分類された路面分類結果および／またはそれに関連する制御情報を外部電子装置に送信することができる。

【0066】

図２は、本開示の一実施形態による路面分類装置が道路インフラに設置されて運用されることを示す図である。

【0067】

図２を参照すると、前記路面分類装置１００は、道路インフラ２００で分類しようとする路面２３０に向かうように設置することができる。

【0068】

本開示において、道路インフラ２００は、道路上または道路辺に設置される信号灯、街灯、道路案内標識板、または映像情報処理機器などの支柱型構造物２１０を含む交通設備を総称する用語であり、道路上に路面分類装置を設置することができる構造物を意味し、上記の例に限定されない。本開示の一実施形態によれば、路面分類装置１００が道路インフラ２００に設置されるということは、支柱型構造物２１０の上端部に設置されることを意味することができるが、これらに限定されない。

【0069】

道路インフラ２００は、支柱型構造物２１０に設置される電子機器を制御するための制御器２２０を含むことができる。前記支柱型構造物２１０に設置される前記電子機器は、街灯や信号灯に使用される発光装置、ＣＣＴＶ、交通情報収集カメラ、または本開示の路面分類装置を含むことができる。

【0070】

制御器２２０は、前記支柱型構造物２１０に設けられる電子機器を制御する装置であって、例えば、支柱型構造物が街灯である場合、街灯の作動を制御する街灯制御器であってもよく、支柱型構造物が信号灯である場合、信号灯の信号を制御する交通信号制御器であってもよい。

【0071】

本開示の様々な実施形態による制御器２２０は、本開示の路面分類装置１００の動作を制御することができ、路面分類装置１００から取得した路面分類情報または命令に基づいて道路インフラ２００が位置する路面を制御することができる。

【0072】

本開示の様々な実施形態による制御器２２０は、路面分類装置１００と管理サーバー（図示せず）との間のゲートウェイとして機能することができる。すなわち、制御器２２０は、有無線通信モジュールを含むことができ、管理サーバーに路面分類装置から取得した情報を伝送したり、管理サーバーから路面分類装置または道路を制御するための命令やデータを受信したりすることができる。

【0073】

本開示の様々な実施形態による制御器２２０は、本開示の人工ニューラルネットワークを含むことができ、それによって路面分類装置から取得した情報に基づいて直接路面を分類することができる。この場合、制御器２２０に含まれるプロセッサやメモリの性能が路面分類装置のプロセッサやメモリの性能より優れることがあるので、制御器２２０に提供される人工ニューラルネットワークは路面分類装置１００に提供される人工ニューラルネットワークより性能が優れている。

【0074】

本開示の様々な実施形態による制御器２２０は、路面を管理するために分類された路面に基づいて道路に設置された路面管理装置２５０を制御することができる。

【0075】

本開示の様々な実施形態による路面管理装置２５０は、道路に設置される熱線または食塩水噴射装置などの除雪装置や、あるいは排水施設などを含むことができる。本開示の様々な実施形態による路面管理装置の動作に対する具体的な内容については後述する。

【0076】

以下では、本開示による路面分類装置が路面を分類する方法について詳細に説明する。

【0077】

一般に、異なる物質は異なる音響インピーダンスを有するので、同じ音波入射信号に対する反射信号は物質ごとに変わることになる。したがって、このような物理的特性を利用して、反射信号を分析して物質を区別することができる。特に、音響インピーダンスは周波数特性を有する物理量であるため、反射信号を周波数領域で分析すると、反射面の材質をより精巧に分類することができる。

【0078】

本開示の様々な実施形態による音波反射信号を用いた路面分類方法を実行するために人工ニューラルネットワークを使用することができる。

【0079】

本開示の様々な実施形態による人工ニューラルネットワークのニューラルネットワークモデルは、複数の層またはレイヤーを含むことができる。

【0080】

ニューラルネットワークモデルは、路面分類情報を生成する分類器（ｃｌａｓｓｉｆｉｅｒ）の形態で構成することができる。分類器は多重分類を実行することができる。例えば、ニューラルネットワークモデルは、入力データに対する結果を複数のクラスに分類する多重分類モデルであり得る。

【0081】

本開示の一実施形態によるニューラルネットワークモデルは、入力層、複数の隠れ層および出力層を含む多層パーセプトロン（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）アルゴリズムの深層ニューラルネットワーク（ＤＮＮ；Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含むことができる。

【0082】

本開示のさらに他の実施形態によるニューラルネットワークモデルは、畳み込みニューラルネットワーク（ＣＮＮ；Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含むことができる。ＣＮＮ構造として、ＡｌｅｘＮｅｔ，ＬＥＮＥＴ，ＮＩＮ，ＶＧＧＮｅｔ，ＲｅｓＮｅｔ，ＷｉｄｅＲｅｓｎｅｔ，ＧｏｏｇｌｅＮｅｔ，ＦｒａｃｔａＮｅｔ，ＤｅｎｓｅＮｅｔ，ＦｉｔＮｅｔ，ＲｉｔＲｅｓＮｅｔ，ＨｉｇｈｗａｙＮｅｔ，ＭｏｂｉｌｅＮｅｔ，ＤｅｅｐｌｙＳｕｐｅｒｖｉｓｅｄＮｅｔのうちの少なくとも１つを使用することができる。ニューラルネットワークモデルは、複数のＣＮＮ構造を使用して実現することができる。

【0083】

一例として、ニューラルネットワークモデルは、複数のＶＧＧＮｅｔブロックを含むように実現することができる。より具体的な例として、ニューラルネットワークモデルは、３×３サイズの６４個のフィルターを有するＣＮＮ層、バッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ，ＢＮ）層およびＲｅＬＵ層が順次結合された第１構造、および３×３サイズの１２８個のフィルターを有するＣＮＮ層、ＲｅＬＵ層およびＢＮレイヤーが順次結合された第２ブロックを組み合わせて設けることができる。

【0084】

ニューラルネットワークモデルは、各ＣＮＮブロックに引き続き、最大値プーリング層を含み、終端にはグローバル平均プーリング（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ，ＧＡＰ）層、全結合（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ，ＦＣ）層および活性化層（例えば、シグモイド、ソフトマックスなど）を含むことができる。

【0085】

本開示の様々な実施形態による人工ニューラルネットワークは、音波信号の周波数変換信号から特性を抽出して路面を分類するためのニューラルネットワークモデルを意味するものであり、上記の例に限定されない。

【0086】

本開示の様々な実施形態による路面分類人工ニューラルネットワークは、反射信号の周波数ドメインデータを入力値として学習することができ、学習された人工ニューラルネットワークは、対象信号の周波数ドメインデータを入力値として対象信号が反射した路面を分類することができる。

【0087】

前記周波数ドメインデータは、反射信号のＡＤＣサンプリングを通じて変換されたデジタル信号に対して周波数ドメイン変換を行って取得したデータを意味することができる。

【0088】

本開示の様々な実施形態による周波数ドメイン変換方法として、短時間フーリエ変換（Ｓｈｏｒｔ－Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ，ＳＴＦＴ）、高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ，ＦＦＴ）、ケプストラム（ｃｅｐｓｔｒｕａｍ）変換、ウェーブレット（Ｗａｖｅｌｅｔ）変換、相互相関（ｃｒｏｓｓ－ｃｏｒｒｅｌａｔｉｏｎ）方法、コンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）変換などを利用することができる。上記の周波数ドメイン変換方法は例示的なものであり、列挙された変換方法に限定されず、時間領域での音波信号を周波数領域で分析するための様々な変換または分析方法を利用することができる。

【0089】

本開示の様々な実施形態による周波数ドメインデータの一例として、ＳＴＦＴ変換を通じて取得したスペクトログラムデータが含まれ得る。

【0090】

本開示の様々な実施形態による周波数ドメインデータのさらに他の例として、ｃｒｏｓｓ－ｃｏｒｒｅｌａｔｉｏｎ方法を適用して取得したデータが含まれ得る。この場合、入力データに対するｃｒｏｓｓ－ｃｏｒｒｅｌａｔｉｏｎ合成は、データをコンボリューションレイヤーに入力するステップと対応することができるので、それを用いてＣＮＮベースの学習および分類が可能である。

【0091】

一方、学習のために使用される周波数ドメインデータは、路面分類に必要な情報を一緒にラベル付けすることができる。このとき、ラベル付けされる情報は、路面の種類、および／または大気情報を含むことができる。

【0092】

本開示の一実施形態によれば、路面分類人工ニューラルネットワークを学習させるために、学習データセットは、周波数ドメインデータに各データが取得された路面の種類がラベル付けされたデータセットを含むことができる。

【0093】

本開示の一実施形態による路面分類装置によって分類される路面の種類（クラス）は、アスファルト、セメント、土、氷、大理石、ペイント、スラッシュ（水と氷が混合した状態）、雪、および水などのクラスを含むことができる。列挙されたクラスの種類は例示的なものであり、本開示の様々な実施形態において状況に合わせて分類されるべきクラスの数またはグループが変わり得る。一方、このような直接ラベル付け方式やグループ名を使用する代わりに、第１クラス、第２クラスなど、各入力データを任意の方式でグループ化することができる。このような任意方式のグループ化は、学習データにラベルが含まれていない教師なし方式の人工ニューラルネットワークを利用する場合の分類結果であり得るが、これらに限定されない。

【0094】

図３は、本開示による路面分類装置によって実行される方法を示すフローチャートである。様々な実施形態によれば、図３に示される動作は、示される順序に限定されず、様々な順序で実行され得る。また、様々な実施形態によれば、図３に示す動作よりも多くの動作が実行されてもよく、またはより少ない少なくとも１つの動作が実行されてもよい。図４～図１２は、図３に示す動作を敷衍して説明するための図面として参照することができる。

【0095】

図３を参照すると、本開示の様々な実施形態による路面分類装置は、ステップ３０１で、送信機を使用して分類対象路面に向かって音波信号を送信または発射することができる。ステップ３０１において、音波信号は少なくとも１回送信されてもよく、使用者の入力や予め設定された条件またはサーバーの制御に応じて信号の送信回数や送信周期などが変更されてもよい。音波信号が１つの判断周期内で複数回送信される場合、路面の分類または状態を判断するための複数のデータを取得することができるため、路面分類の正確度を向上させることができる。音波信号を送信する周期および１つの周期内で複数回送信する動作の具体的な実施形態については、図４を参照して後述する。

【0096】

ステップ３０２で、路面分類装置は、受信機を使用して対象路面から反射された信号を受信することができる。前記反射された信号は送信された音波信号に対する反射信号であるため、音波信号と反射信号は互いに対応することができる。複数の音波信号が送信される場合、それに対する反射信号は複数回受信されてもよい。

【0097】

本開示の様々な実施形態による路面分類装置は、音波信号が送信されると、感知部１２０の大気センサを介して大気情報を取得することができる。この場合、大気情報が取得される時点は必ずしも音波信号の送信時点と一致する必要はなくて、一定の時間間隔内に互いに対応関係が存在することを意味する。すなわち、路面分類装置は、１つの音波信号に対応する大気情報を取得したり、複数の音波信号に対応する１つの大気情報を取得したりすることができる。本開示の様々な実施形態による路面分類装置は、発射された音波信号に対応する大気情報に基づいて、音波信号に対応する反射信号を処理することができる。

【0098】

一方、１つの音波信号が送信機から送信されてから路面によって反射された後、その反射信号が受信機で受信されるまでの時間を飛行時間（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ，ＴｏＦ）と定義することができる。特定の気象条件で音波の大気中の伝搬速度を決定することができるので、ＴｏＦおよび大気情報に基づいて路面分類装置と対象路面との距離を測定することができる。逆に、路面分類装置と対象路面との距離を予め知っている場合にはＴｏＦを推定することができる。したがって、本開示の様々な実施形態による路面分類装置は、送信機から送信される音波信号と対応する受信信号を識別することができる。すなわち、送信機から送信される音波信号と対応する受信信号の受信区間を定めて、該当時区間で受信される信号を、送信された音波信号に対する反射信号として決定することができ、その以外の時区間で受信される信号は、ノイズと見なすか、または他の音波信号に対する反射信号と見なすことができる。これを用いてノイズ信号を制御する路面分類装置の制御方法に対する詳細な実施形態については、図５を参照して後述する。

【0099】

ステップ３０３において、路面分類装置１００は、本開示による路面分類人工ニューラルネットワークに入力するためのデータを取得するために、受信した反射信号を制御部によって前処理することができる。本開示において、信号の前処理とは、受信された反射信号に基づいて人工ニューラルネットワークに入力するためのデータを取得するプロセス一切を意味し、ステップ３０３の前処理動作は、アナログ信号をデジタル信号にサンプリングする動作、サンプリングされた信号に対する減衰量補正やＴｏＦ補正、周波数ドメイン変換動作などを含むことができる。本開示の様々な実施形態による路面分類人工ニューラルネットワークに対する入力データを取得するための前処理プロセスについては、図６～図８を参照して詳細に説明する。

【0100】

ステップ３０４において、前処理プロセスによって取得された入力データは路面分類人工ニューラルネットワークに入力することができる。一方、本開示の様々な実施形態による路面分類人工ニューラルネットワークは、路面を分類するために様々な路面に対して取得された複数のデータからなる学習データセットで学習することができる。学習された路面分類人工ニューラルネットワークは、入力データに基づいて結果を出力することができる。

【0101】

本開示の一実施形態による出力結果は、路面の分類クラスのそれぞれに対する確率値に関する情報を含むことができる。人工ニューラルネットワークモデルが路面を複数の種類に分けるように学習された場合、対象路面が複数の路面種類のそれぞれに対し該当する確率を数値で表現して出力することができる。このとき、出力される路面のクラスは、確率が高い順に１つ以上のクラスを出力することができる。

【0102】

本開示のさらに他の実施形態による出力結果は、複数のクラスの中から特定のクラスを決定して出力することができる。この場合、特定のクラスは、該当クラスに対する確率値が閾値以上であるか、または２順位クラスとの確率差が閾値以上である場合であってもよい。

【0103】

一方、本開示の様々な実施形態による路面分類人工ニューラルネットワークの出力結果は、路面の材質または状態に関する情報であり、上述の例に限定されず、人工ニューラルネットワークの設計に従って使用者に必要な形態で出力することができる。

【0104】

ステップ３０５において、路面分類装置は、出力結果に応じて様々な動作を実行することができる。路面分類結果に基づいた制御動作を変更または追加することによって、結果の正確度または路面管理の効率性を向上させることができる。

【0105】

本開示の様々な実施形態によれば、出力結果が直前の出力結果と異なる場合、路面状態の変化が気象状態の変化によるものであるか、出力エラーであるかを区別するために、出力結果による路面制御に先立って直後の出力結果と比較するプロセスを実行することができる。これに関する具体的な実施形態は、図１０および図１１を参照して詳細に説明する。この場合、路面分類装置は、出力結果に応じて音波信号の送信周期または回数を変更することができる。

【0106】

本開示の様々な実施形態によれば、出力結果が特定のクラス（例えば、雪、氷、またはスラッシュ）に関連する場合、路面管理装置を介して路面を制御するようにする命令または信号を生成し、それを送信することができる。出力結果に従って路面を管理する実施形態については、図１２を参照して詳細に説明する。

【0107】

図４は、本開示の様々な実施形態による路面分類装置から送信される音波信号を時間軸に示す図である。

【0108】

図４を参照すると、音波信号は１つの送信周期内で複数回発射することができる。本開示では、路面状態を判断するために１つの送信周期内で送信される音波信号の集合をバースト（ｂｕｒｓｔ）と呼ぶ。

【0109】

１つのバーストに含まれる音波信号の数は、使用者設定または予め決まった規則に従って変更することができる。また、１つのバーストに含まれる音波信号間の間隔は、使用者設定または予め設定された規則に従って変更することができる。バーストに含まれる音波信号間の間隔は一定であってもなくてもよい。また、１つのバーストに含まれる音波信号の強度は同じでも異なってもよい。

【0110】

本開示では、１つのバーストに含まれる音波信号の数、間隔、強度およびバーストの持続時間をバースト構成と呼ぶ。本開示では、異なるバーストはバースト構成が同じでも異なってもよい。各バーストに対するバースト構成は、使用者設定または予め決まった規則に従って変更することができる。

【0111】

本開示の一実施形態によるバーストに含まれる音波信号の数は１つであり得る。

【0112】

本開示のさらに他の実施形態によるバーストに含まれる音波信号の数は複数であり得る。

【0113】

本開示における送信周期とは、路面分類装置が対象路面に対する状態または材質を分類するためのバーストの送信間隔を意味する。バーストが１つの信号からなる場合、すなわち、単一の信号のみを送信する場合、送信周期は、規則的に送信される隣接する音波信号間の時間間隔を意味することができる。図４を参照すると、送信周期は、１つのバースト（ｂｕｒｓｔ １）に含まれる最初信号１ａと次のバースト（ｂｕｒｓｔ ２）に含まれる最初信号２ａとの間の時間間隔に対応することができる。送信周期は、使用者設定または予め決まった規則に従って変更することができる。

【0114】

本開示の様々な実施形態によれば、路面分類の結果または気象条件に従ってバーストに含まれる音波信号の数および／または送信周期を変更することができる。例えば、雪が降ったり気温が０度以下である場合など、特定の気象条件では、路面分類の正確度を向上させるために送信する音波信号の数を増やしたり、送信周期を短く変更したりすることができる。これに関する具体的な実施形態は、図１０および図１１を参照して詳細に説明する。

【0115】

一方、本開示の様々な実施形態によれば、路面分類装置が設置される位置またはオブジェクトに応じて送信周期を変えることができる。これは、路面から反射された受信信号と送信機から送信された信号によって発生するクロストーク信号とを区別するためのものであり、道路インフラに設置される路面分類装置の送信周期は、車両に設置される路面分類装置の送信周期よりも長いことができる。したがって、道路インフラに設置される路面分類装置の判断周期は、車両に設置される路面分類装置の判断周期よりも長くてもよい。

【0116】

本開示の様々な実施形態によれば、路面分類装置は、対象路面または物体に対するＴｏＦを測定または決定することができる。例えば、路面分類装置は、１つまたは複数の音波信号を送信し、これに対する受信信号に基づいて、対象路面または物体に対するＴｏＦを決定することができる。または、路面分類装置と対象路面との距離に基づいてＴｏＦを決定してもよい。

【0117】

本開示の様々な実施形態による路面分類装置は、決定されたＴｏＦに基づいて適切な送信周期とバースト構成を決定し、決定された送信周期とバースト構成で送信することができる。本開示の一実施形態による送信周期は、路面に対するＴｏＦより長く設定されてもよい。本開示の一実施形態によるバーストの持続時間は、送信周期より短く設定されてもよい。

【0118】

本開示の様々な実施形態による路面分類装置によれば、対象路面に対する路面分類結果は、１つのバーストに対応する１つの結果を出力することができる。または、路面分類装置は、１つのバーストに含まれる全ての音波信号に対する分類結果を表示してもよい。１つの結果が出力される場合、その結果は、バーストに含まれる複数の音波信号のそれぞれに対する複数の分類結果に基づいて出力されてもよい。

【0119】

図４を参照すると、第１結果（ｒｅｓｕｌｔ １）は、第１バースト（ｂｕｒｓｔ １）が路面に対して反射された信号に基づいて取得された路面分類結果である。このとき、第１結果は、第１バーストに含まれる各信号１ａ、１ｂ、１ｃ、１ｄの路面分類結果に基づいて取得された結果であり得る。例えば、１ａ、１ｂ、１ｃ、１ｄの結果の最頻値を結果として出力してもよい。または、１ａ、１ｂ、１ｃ、１ｄの結果を合計した平均値に基づいて、第１バーストに対する路面分類結果を出力してもよい。

【0120】

本開示では、隣接したバーストの路面分類結果の間の時間間隔、すなわち第１結果と第２結果との時間間隔を路面分類に対する判断周期と呼ぶことができる。判断周期は送信周期と一致し得る。しかし、判断プロセスの場合、信号を処理する演算によって、その出力時点が不規則である可能性があるため、判断周期は一定でなくてもよく、送信周期と一致しなくてもよい。

【0121】

本開示の様々な実施形態による路面分類装置は、判断周期を変更するために送信周期を変更することができる。または、判断周期は、使用者設定または予め決まった規則に従って変更されてもよい。判断周期を変更する具体的な実施形態については、図１０および図１１を参照して詳細に説明する。

【0122】

図５は、本開示の一実施形態による音波信号の送信区間および反射信号の受信区間を示す図である。

【0123】

図５を参照すると、路面分類装置は送信区間でバーストまたは音波信号を送信することができる。図５では、説明の便宜上、１つの信号を送信する場合を例示したが、本開示はこれに限定されない。すなわち、本開示における路面分類装置が音波信号を送信することは、１つの信号を単発で発射するだけでなく、複数の信号からなるバーストを周期で送信することを含むことが理解される。

【0124】

上述したように、本開示の様々な実施形態による路面分類装置は、送信された音波信号の路面に対するＴｏＦを決定することができるので、１つの送信区間に対して対応する受信区間を予め決定することができる。

【0125】

本開示の様々な実施形態によれば、受信区間の前に受信機で信号が感知されると、路面分類装置はそれをノイズ信号またはクロストーク信号と見なすことができ、これを低減するために路面分類装置の送信機を制御することができる。

【0126】

具体的には、図５を参照すると、受信区間の前に受信される第１信号の強度が第１閾値より大きいか、または受信区間で受信される第２信号の強度と受信区間の前に受信される第１信号の強度との差が第２閾値より小さい場合、それを制御するために送信機に供給される電力を変更することができる。第１閾値および／または第２閾値は予め決定されてもよく、使用者入力または外部装置によって設定されてもよい。

【0127】

例えば、第１信号の強度が第１閾値より大きい場合、クロストークの影響が大きいと判断して送信機の振動を低減するように制御することができる。または、第２信号の強度が第１信号の強度に比べて小さい場合、受信信号に対する外部環境によるノイズが大きいと判断して送信機の振動を増加させるように制御することができる。本開示の一実施形態によれば、前記送信機の振動は、送信機に供給される電力の大きさを調整することによって制御することができる。

【0128】

図６は、本開示の様々な実施形態による路面分類装置が設けられる対象を示す図である。

【0129】

図６を参照すると、本開示の様々な実施形態による路面分類装置１００は、移動体６１０または道路インフラ６２０などに設置されてもよい。このとき、車両などの移動体６１０に設置される路面分類装置１００ａと道路インフラ６２０に設置される路面分類装置１００ｂとは、路面に対する高さが異なるため、送信音波のＴｏＦも互いに異なる。

【0130】

音波は空間を通って伝播するので、波源から距離が離れるほど振幅が減少するだけでなく、空気中で進める場合には媒体による減衰が発生する。したがって、異なるＴｏＦを有する路面に対する反射信号の特性は、同じ状態の路面であっても互いに異なることができる。

【0131】

一方、本開示の路面分類装置は、路面に対する反射信号に基づいて路面を分類するために人工ニューラルネットワークを利用するため、人工ニューラルネットワークを学習させるための多くのデータセットが必要である。

【0132】

図７は、本開示の様々な実施形態による路面分類人工ニューラルネットワークを学習させるためのデータセットを取得する方法を例示する図である。

【0133】

図７を参照すると、本開示の様々な実施形態による路面分類人工ニューラルネットワークを学習させるための学習データセットは、移動型測定機器７００に含まれる送受信機を用いて路面分類（クラス）ごとに様々な路面に対して取得されてもよい。一般に、人工ニューラルネットワークの分類性能を向上させるためには、様々な地形や環境で多くのデータを収集することが重要であるため、このためには移動性の容易な機器を用いてデータを収集することが重要である。

【0134】

本開示の移動型測定機器７００は、自転車、自動車、またはスクーターなどの道路上を移動する機器に搭載されたセンサ装置を意味し、人間や機械装置によって移動可能な機器を含むことができる。

【0135】

一方、移動型測定機器７００が収集する学習データのＴｏＦは、図６の車両のような移動体６１０に設置される路面分類装置１００ａのＴｏＦと同様であり得る。または、移動型測定機器の地面に対する位置は、移動体に設置される路面分類装置の地面に対する位置を考慮して設置されてもよい。この場合、本開示の様々な実施形態による移動型測定機器によって取得された学習データセットで学習された路面分類人工ニューラルネットワークは、移動体に設置される路面分類装置１００ａで反射信号に対する特別な補正なしに直接使用することができる。

【0136】

しかし、図６のように路面分類装置が道路インフラなどの移動体と異なる高さに設置される場合（１００ｂ）、路面分類装置が取得する反射信号を路面分類人工ニューラルネットワークにそのまま入力すると、対象路面に対する分類正確度が低下する可能性がある。

【0137】

図８は、本開示の様々な実施形態による路面分類装置が受信した反射信号を前処理するプロセスを示すフローチャートである。図８の前処理プロセスは、本開示の技術的思想を表すための例示的なものであり、様々な実施形態によれば、図８に示す動作よりも多くの動作を実行するか、またはより少ない少なくとも１つの動作を実行することができる。

【0138】

ステップ８０１において、本開示の様々な実施形態による路面分類装置は、受信された反射信号に基づいて第１データを取得することができる。

【0139】

上述したように、受信機を介して受信された反射信号はアナログ信号であり得るので、本開示の路面分類装置は、制御部１３０に含まれるＡＤＣ回路を介して反射信号をデジタル信号に変換（ｃｏｎｖｅｒｓｉｏｎ）することができる。または、本開示の一実施形態による路面分類装置に含まれる送受信機が路面を介して反射された反射信号をデジタル信号の形態に処理して第１データを取得することができる。

【0140】

ステップ８０２において、本開示の様々な実施形態による路面分類装置は、デジタル信号に変換されたデータに大気補正（ａｔｍｏｓｐｈｅｒｉｃ ｃｏｒｒｅｃｔｉｏｎ）を適用して第２データを取得することができる。

【0141】

音波は大気中で伝播し、媒体の影響で減衰し、減衰量は伝播距離（ｐｒｏｐａｇａｔｉｏｎ ｄｉｓｔａｎｃｅ）と減衰係数によって決定される。一方、減衰係数は、温度、湿度、気圧および音波の振動数に基づいて決定される数値であるため、本開示の様々な実施形態による路面分類装置は、それに基づいて音波の減衰量を計算することができる。

【0142】

本開示の様々な実施形態による路面分類装置は、大気センサを介して取得する温度、湿度、および気圧などの大気情報に基づいて受信する反射信号の減衰量を補正した第２データを生成することができる。

【0143】

一方、大気補正に必要な音波の伝播距離は、使用者によって予め入力されてもよく、ＴｏＦに基づいて取得されてもよい。すなわち、路面分類装置が設置されている位置に応じて、路面に対する距離情報が予め入力されてもよく、または上述したように路面分類装置によって取得されるＴｏＦ情報と大気情報に基づいて路面に対する距離情報が取得されてもよい。

【0144】

ステップ８０３において、本開示の様々な実施形態による路面分類装置は、大気減衰量が補正された第２データに対して距離補正を適用して第３データを取得することができる。

【0145】

上述したように、図６および図７を参照すると、本開示の様々な実施形態による路面分類人工ニューラルネットワークの学習データの基礎となる音波信号は、路面に対してｄ１の距離で反射して取得された信号であり得る。したがって、ｄ１とは異なる高さｄ２に設けられた路面分類装置１００ｂの分類性能を高めるために、ｄ２で取得された音波信号をｄ１で取得された音波信号のように補正することができる。

【0146】

一方、ステップ８０２とステップ８０３は１つの手順で実行することができる。すなわち、本開示の様々な実施形態によれば、ステップ８０１で取得したデジタル信号について、大気情報および距離情報に基づいて大気減衰量と路面に対する距離が補正された音波データを取得することができる。

【0147】

また、本開示の様々な実施形態による路面分類装置の設置位置に応じて、ステップ８０２および／またはステップ８０３の補正手順を省略することができる。

【0148】

ステップ８０４において、本開示の様々な実施形態による路面分類装置は、補正された音波データを周波数領域で分析するために変換（ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を実行して周波数ドメインデータを取得することができる。本開示の様々な実施形態による周波数ドメイン変換方法は上述した通りである。取得された周波数ドメインデータは、本開示の様々な実施形態による路面分類人工ニューラルネットワークへの入力データであり、周波数ドメインデータが路面分類人工ニューラルネットワークに入力されると、路面分類人工ニューラルネットワークは対象路面に対する路面分類結果を出力することができる。

【0149】

本開示の様々な実施形態による路面分類装置は、音波信号以外の追加的な情報に基づいて結果を出力することができる。音波信号に加えてさらに取得できる他の情報は、ビジョンセンサ（カメラ）を介して取得する映像情報、ＩＲセンサを介して取得する路面温度情報、通信部を介して取得する環境情報などを含むことができる。

【0150】

本開示の一実施形態によれば、路面分類装置は、２つ以上の異なる判断基準を組み合わせることができる。

【0151】

音波を通じて確認できる領域は路面の一部の領域に該当することができるので、より広い領域の状態を確認できる映像情報を路面分類結果に補助的に利用することができる。例えば、映像情報を通じて確認される結果と路面分類人工ニューラルネットワークの出力値が一致する場合にのみ有効な路面情報と判断することができる。一方、本開示の様々な実施形態による路面分類装置は、映像情報に対する路面分類結果を取得するための別々のイメージベースの路面分類人工ニューラルネットワークをさらに含むことができる。

【0152】

また、本開示の様々な実施形態によれば、路面分類装置は特定の温度条件を追加して特定の路面状態に対する結果値を検証することができる。例えば、路面温度が０℃より高い場合、大気圧条件で物理的に氷を形成することができないため、該当温度条件で路面分類結果が氷などに分類される場合はエラーに該当すると判断することができる。したがって、感知部のＩＲセンサまたは大気センサを介して取得した路面や大気温度が特定の温度以上であると確認される場合、路面分類結果が指す路面の状態が氷に関連していると出ると、その結果を出力する代わりに追加の動作を行うことができる。または、路面温度が特定の温度以上または以下である場合に、映像情報に対する結果をさらに活用して結果を出力するように構成されてもよい。

【0153】

また、本開示の様々な実施形態によれば、路面分類装置は、気象環境情報をさらに考慮して路面分類結果を出力することができる。例えば、雪や雨が降った場合など、天気に関する気象環境情報を受信した場合、その天気で分類される可能性が高いクラスに対する路面分類結果の順位を調整することができる。

【0154】

一方、上述の映像情報と温度情報は路面の状態を分類するのに有用な情報であるため、路面分類人工ニューラルネットワークは音波信号に基づくデータのみで学習されるのではなく、関連する追加データを一緒に入力して学習性能および分類性能を強化することができる。

【0155】

図９は、本開示の一実施形態によるｍｕｌｔｉ－ｍｏｄａｌ人工ニューラルネットワークを示す図である。

【0156】

図９を参照すると、本開示の様々な実施形態による路面分類人工ニューラルネットワークは、ｍｕｌｔｉ－ｍｏｄａｌ人工ニューラルネットワークを含むことができる。ｍｕｌｔｉ－ｍｏｄａｌ人工ニューラルネットワークは、音波信号に関連する入力データに加えて、イメージ情報、大気情報、または路面温度情報のうち少なくともいずれかを一緒に入力することによって、異なる情報に基づく分類器を介して単一の分類器として機能することができる。このような対応学習により、１つの路面状態に関連する複数の情報を一緒に入力して、より正確な路面分類結果を取得することができる。すなわち、本開示の様々な実施形態による路面分類装置は、複数の情報を組み合わせて路面結果を出力することができる。一方、図９に示す入力データは例示的なものであり、イメージ情報、大気情報および／または路面温度情報の一部のみを活用したり、追加的な情報をさらに活用したりしてもよい。

【0157】

図１０は、本開示の一実施形態による路面分類装置が予め決まった制御変更トリガーに基づいて制御動作を変更する動作を示すフローチャートである。

【0158】

本開示における制御変更トリガー（ｔｒｉｇｇｅｒ）とは、本開示の様々な実施形態による路面分類装置の動作を変更する状況または条件を意味するものであり、使用者によって予め設定されてもよく、外部装置からの命令などによって設定されてもよい。

【0159】

一方、制御変更トリガーによって路面分類装置の制御動作が変更されるとは、バースト構成、送信周期、判断周期、路面分類結果出力方式など、路面分類装置において制御変更トリガーの発生前に設定された方式が変更されることを意味する。

【0160】

制御変更トリガーは、路面分類結果（クラス）の変化ないし特定のクラスの出力、気象条件、時間条件、または地理条件などを含むことができ、上記の例に限定されない。

【0161】

制御変更トリガーの一例として、路面分類結果が変化した場合、路面分類装置の動作が変更されてもよい。

【0162】

図１１は、本開示の一実施形態による路面分類結果が変化するシナリオを例示する図である。

【0163】

図１１を参照すると、本開示の一実施形態による路面分類装置の路面分類結果は、第１時点ｔ１で第１クラスＲ１であり、第２時点ｔ２で第２クラスＲ２に変更することができる。前記第２クラスは、前記第１クラスとは異なるクラスであり得る。

【0164】

本開示の一実施形態によれば、前記第２クラスは氷に関連する路面状態を表すことができ、前記第１クラスは他の路面状態に関連する分類結果であり得る。

【0165】

路面の状態が変更する場合、本開示の様々な実施形態による路面分類装置は制御動作の変更を必要とすることもある。

【0166】

例えば、路面の分類結果が直前の分類結果と異なる場合、路面分類結果にエラーがあることを確認するために、路面分類装置は送信周期を変更してもよく、バースト構成を変更してもよい。すなわち、送信周期をさらに短くして判断回数を増やすか、またはバーストに含まれる音波信号の数を増やして判断回数を増やすことができる。または、送信周期またはバースト構成を直接変更する代わりに、後続の判断に基づいて送信周期またはバースト構成の変更の有無を決定してもよい。

【0167】

図１１を参照して上記例を詳細に説明すると、第２時点の結果が第１時点の結果と異なり（Ｒ１≠Ｒ２）、本開示の一実施形態による路面分類装置は、送信周期を短く変更するように制御することができ、短い時間間隔の間（ｔ３～ｔ６）より多くの結果を取得することができる。一方、該当時間間隔の間（ｔ３～ｔ６）第２クラスへの判断回数が第１クラスへの判断回数より多いので、路面分類装置は第２クラスへの判断が正しいと判断し、再び送信周期を元の状態に変更し、変更された送信周期による時点である第７時点ｔ７で結果を出力することができる。

【0168】

本開示の様々な実施形態により、先行判断が異なる場合、後行判断に基づいて制御動作を変更する例であり、第１時点ｔ１で第１クラスＲ１と判断され、第２時点ｔ２で第１クラスと異なる第２クラスＲ２と判断される場合、直ちに送信周期を変更する代わりに、次の判断時点である第３時点で第３クラスの結果に基づいて第２クラスに対する判断の正確度や送信周期などの変更の有無を決定してもよい。すなわち、第３クラスの結果がＲ２と判断される場合、第２時点で変更されたクラスが正しいと判断し、送信周期を変更しない場合があり、第３クラスの結果がＲ２と判断されない場合、Ｒ２の判断をエラーと判断し、送信周期を変更することができる。

【0169】

一方、各時点における判断結果は、本開示の様々な実施形態による各バーストに対応する判断結果であり得る。

【0170】

本開示の様々な実施形態による路面分類装置は、変更された制御動作における複数の判断の結果に基づいて、路面管理に関連する動作をさらに実行することができる。例えば、変更された特定のクラスの正確度の判断の後、そのクラスに対する判断が正しいと見なされ、変更されたクラスに関連する路面管理動作を実行することができる。路面管理動作に関する詳細については、図１２を参照して説明する。

【0171】

制御変更トリガーの別の例として、気象条件や時間条件が変更された場合、路面分類装置の動作を変更することができる。

【0172】

気象条件の例として、温度が０度以下であるか、または０度以下の温度に予定された場合、本開示の様々な実施形態による路面分類装置は、ブラックアイスの発生の有無を迅速に判断するために送信周期を短くするか、またはバースト内の送信回数を増やすなどで制御動作を変更することができる。気象条件のさらに別の例として、強風や雨天、大雪などの気象環境があり得、そのような気象環境に関する情報は、路面分類装置に含まれる大気センサを介して取得するか、または通信部を介して外部装置から取得してもよい。

【0173】

時間条件の例として、昼より夜にブラックアイスがより簡単に発生する可能性があるので、このような点を考慮して特定の時間に送信周期またはバースト構成を変更することができる。時間条件のさらに別の例として、夏季は冬季よりも路面状態の変化が少ない可能性があるため、電力消耗を減らすために送信周期を長くするか、またはバースト内の送信回数を減らすなどで制御動作を変更することができる。

【0174】

制御変更トリガーのさらに別の例として、地理条件が変更される場合、路面分類装置の動作を変更することができる。路面分類装置が道路インフラに設置されている場合、地理的条件を変更することはできないが、地域的条件ごとに送信周期またはバースト構成を変えることができる。路面分類装置が車両などの移動体に設置される場合、特定の地域に進入する際に、送信周期またはバースト構成を異なるようにすることができる。例えば、ブラックアイスが脆弱区間に進入する場合、路面分類装置が該当情報を受信すると、上述したように制御動作を変更することができる。

【0175】

一方、上述の気象条件、時間条件、または地理条件に関連する制御変更トリガーは、例示的なものであり、これに限定されず、使用者入力またはサーバー装置などの外部電子装置から受信される信号によって設定されてもよい。

【0176】

図１２は、本開示の様々な実施形態による路面分類装置による路面管理方法を示す図である。

【0177】

図１２を参照すると、ステップ１２０１において、路面分類装置は路面の制御に関する情報を取得することができる。本開示の様々な実施形態によれば、路面の制御に関連する情報は、図３のステップ３０４で取得した結果または図１０の制御動作変更によって取得した最終結果を含むことができる。また、路面の制御に関する情報は、路面分類装置が取得する気象情報および／または路面温度情報を含むことができる。

【0178】

ステップ１２０２において、本開示の様々な実施形態による路面分類装置は、取得した情報に基づいて路面制御のための稼動条件を満たすかどうかを判断することができる。

【0179】

例えば、ステップ１２０１で取得した路面分類結果がブラックアイスに関連する場合、すなわち氷に関連したクラスを取得した場合、路面分類装置は、路面の氷状態を解消または防止するために路面に設置された路面管理装置を稼動させるための条件を満足したと判断できる。

【0180】

または、取得した路面分類結果と気象情報を組み合わせて路面制御の稼動条件を判断することができる。例えば、気象情報が特定の条件を満たす場合、氷が発生する危険性が高いと判断し、路面の氷状態を解消または防止するために路面に設置された路面管理装置を稼動させるための条件を満足したと判断できる。

【0181】

路面管理装置を稼動させるための気象情報の例として、以下のような条件を含むことができる。
（１）雪、雨、みぞれ、または霜が降りるか、または降りることが予報された場合
（２）道路の表面温度が０度以下である場合
（３）時間帯が夜明けの場合
（４）温度が急激に下落している場合
（５）強風が吹いている場合

【0182】

前記気象条件のうち少なくとも１つ以上が満足されると、路面分類結果が特定のクラス（例えば、水、スラッシュ、氷）で取得された場合には路面制御が必要であると判断することができる。

【0183】

本開示の様々な実施形態による路面管理装置は、食塩水噴射装置または熱線を含むことができるが、これらに限定されない。

【0184】

ステップ１２０３において、本開示の様々な実施形態による路面分類装置は、取得した情報および判断に基づいて路面制御信号を生成することができる。路面制御信号は、路面に設置された路面管理装置を制御するために必要な信号または命令を含むことができる。

【0185】

本開示の様々な実施形態による路面分類装置は、道路に設置された路面管理装置と連動することができる。路面分類装置が路面管理装置と直接連動している場合、路面分類装置は路面管理装置を制御するための命令信号を生成して路面管理装置に送信することができる。または、路面分類装置が外部サーバーを介して路面管理装置と間接的に連動している場合、路面分類装置は路面管理装置の制御を指示する信号を生成して外部サーバーに送信することができる。

【0186】

一方、路面管理装置が路面制御信号を受信した場合、路面制御信号に基づいて路面を制御する動作を行うことができる。例えば、路面管理装置は、路面制御信号に基づいて食塩水を噴射したり、熱線を稼動させたりすることができる。

【0187】

本開示の路面管理に対する別の実施形態では、路面分類装置は路面の破損の危険性を判断することができる。

【0188】

アスファルトは、特定の重量を超える車両の繰り返し通行により破損する可能性がある。特に、ある冬にアスファルトの間に染み込んだ水が氷に凍る場合、体積が膨張し、このとき、トラックなどの大型車両が通過すると路面が破損する可能性がある。

【0189】

本開示の様々な実施形態に従って道路インフラに設置された路面分類装置は、路面に対するＴｏＦを周期的に感知することができるので、これに基づいて通行車両情報や通行量などの交通情報を測定することができる。

【0190】

図１３は、本開示の一実施形態による路面分類装置が交通情報を収集することを示す図である。

【0191】

図１３を参照すると、路面分類装置は、ＴｏＦの測定に基づいて路面の交通情報を収集することができる。本開示の様々な実施形態による路面分類装置が収集する交通情報は、路面の破損程度または交通量に関する情報を含むことができる。

【0192】

上述したように、路面分類装置は、路面分類装置の設置高さに対する情報を取得することができるので、路面分類装置の設置高さに対応するＴｏＦを基準ＴｏＦとして決定することができる。すなわち、路面から反射する反射信号のＴｏＦを基準ＴｏＦとすることができる。

【0193】

したがって、本開示の一実施形態による路面分類装置は、路面分類装置が取得したＴｏＦが基準ＴｏＦに対応すると識別された場合、路面に車両がないと判断することができる。また、取得したＴｏＦが基準ＴｏＦより短いと識別される場合、路面に車両があると判断することができる。また、取得したＴｏＦに基づいて推定される路面上の物体の大きさ（高さ）に対する情報を取得することができる。

【0194】

ＴｏＦ値が短いほど路面から高い物体があることを意味することができるので、路面分類装置は、ＴｏＦが短い信号に対して大型車両が通過したと判断することができる。大型車両に対する判断基準は、使用者入力または外部装置の信号によって予め設定されてもよい。

【0195】

本開示の様々な実施形態による路面分類装置は、予め決まった時間間隔の間に取得されるＴｏＦ値に基づいて、その時間の間に路面を通過する交通量を推定することができる。また、本開示の路面分類装置が取得する交通量情報は、通行した車両のサイズに関する情報をさらに含むことができる。

【0196】

図１３を参照すると、大型車両が通過している（ａ）のＴｏＦ １は、小型車両が通過している（ｂ）のＴｏＦ ２よりも小さく測定される。

【0197】

本開示の様々な実施形態による路面分類装置は、路面状態情報および／または気象情報を取得することができるので、取得した情報と交通量情報を組み合わせて路面の破損の危険性を判断し、それを外部に知らせることができる。路面状態情報は、路面分類結果および／または路面温度情報を含むことができる。

【0198】

例えば、路面分類結果が氷に関連するクラスであると判断される期間中に大型車両の通行回数に対する情報を測定し、それに関連する情報を使用者または外部装置に提供することができる。外部装置は、道路を管理する機関のサーバー装置を含むことができる。または、路面温度が特定の温度以下に測定されている期間に車両の通行量に関する情報を取得し、それを外部装置に送信することができる。この場合、特定の路面分類結果または特定の気象条件での大型車両の通行量に基づいて路面の破損程度を推定することができる。または、取得した大型車両の通行量情報を外部装置に提供することによって路面の破損の危険性を管理することができる。

【0199】

本開示の様々な実施形態による路面分類装置は、取得した受信信号のＴｏＦに基づいて路面分類に活用するか、または交通量情報を収集するために活用するかを決定することができる。すなわち、取得した受信信号のＴｏＦが基準ＴｏＦと誤差範囲内である場合、これを路面に対する反射信号と判断して路面分類に活用することができ、取得した受信信号のＴｏＦが基準ＴｏＦより短い場合、車両から取得したものであると判断してそれに基づいて交通情報を取得することができる。

【0200】

交通量情報を収集するために、路面分類装置は、音波信号の送信周期を路面分類のための送信周期より短くすることができる。すなわち、音波信号の送信周期は、使用者の必要に応じて様々に設定することができ、取得される信号は目的に応じて様々に処理することができる。

【0201】

一方、本開示の路面分類装置は、路面種類推定装置を含むことができる。以下の路面種類推定装置は、本開示の路面分類装置の様々な実施形態であり、本開示の一実施形態による路面種類推定装置を介して実行される動作は、本開示の様々な実施形態による路面分類装置によって実行できることは明らかである。

【0202】

図１４は、本開示の一実施形態による路面種類推定装置の構成図である。

【0203】

図１４に示すように、本開示の一実施形態による音波を利用した路面種類推定装置は、音波送受信部１４１０、信号変換器１４２０、人工ニューラルネットワーク１４３０、および制御部（ＭＣＵ）１４４０を含むことができる。一方、路面種類推定装置は、大気減衰量補正部（図示せず）と大気情報測定部（図示せず）とをさらに含むことができる。

【0204】

音波送受信部１４１０は、種類を分かろうとする該当路面に音波信号を送信した後、反射された信号を受信することができる。

【0205】

前記音波送受信部１４１０は、前記制御部１４４０の制御に従って送信信号を出力する音波送信機１４１１と、前記送信信号が任意の面に反射して戻ってくる反射信号を受信する音波受信機１４１２と、を含むことができる。

【0206】

信号変換器１４２０は、前記受信した信号の時間ドメイン上の既定領域に対して周波数変換を行い、周波数ドメイン信号（例えば、スペクトログラム）を取得することができる。

【0207】

前記信号変換器１４２０は、ＳＴＦＴ（Ｓｈｏｒｔ－Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）変換器、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）、ケプストラム（ｃｅｐｓｔｒｕａｍ）、またはウェーブレット変換器（Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）を含むことができる。このとき、前記周波数ドメイン信号（スペクトログラム）は２Ｄまたは３Ｄであり得る。

【0208】

前記人工ニューラルネットワーク１４３０は、前記周波数ドメイン信号（スペクトログラム）を入力信号とし、学習された路面分類モデルに基づいて前記入力信号の特性を抽出し、分類して前記路面の種類を推定することができる。

【0209】

一方、前記信号変換器１４２０は、アナログデジタル変換器（ＡＤＣ）を含むことができる。ＡＤＣは、前記受信した信号のアナログ信号をデジタル信号に変換することができる。

【0210】

大気減衰量補正部（図示せず）は、前記デジタル信号の大気中減衰量を計算して補正することができる。

【0211】

前記人工ニューラルネットワーク１４３０は、前記変換された信号または補正されたデジタル信号を入力信号として、学習された路面分類モデルに基づいて前記入力信号に対してコンボリューションを行い、分類して前記路面の種類を推定することができる。

【0212】

一方、前記人工ニューラルネットワーク１４３０では、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅｓ）、線形判別分析（ｄｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ）、ロジスティック回帰分類器（ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ ｃｌａｓｓｉｆｉｅｒｓ）、単純ベイズ分類器（Ｎａｉｖｅ Ｂａｙｅｓ ｃｌａｓｓｉｆｉｅｒ）、サポートベクトルマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、最近傍分類器（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｃｌａｓｓｉｆｉｅｒｓ）、アンサンブル分類器（ｅｎｓｅｍｂｌｅ ｃｌａｓｓｉｆｉｅｒｓ）のうち少なくとも１つ以上を用いて分類および学習することができる。

【0213】

決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅｓ）には、Ｆｉｎｅ ｔｒｅｅ、Ｍｅｄｉｕｍ ｔｒｅｅ、Ｃｏａｒｓｅ ｔｒｅｅ、Ａｌｌ ｔｒｅｅ、Ｏｐｔｉｍｉｚａｂｌｅ ｔｒｅｅが含まれ、線形判別分析（ｄｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ）には、Ｌｉｎｅａｒ ｄｉｓｃｒｉｍｉｎａｎｔ、Ｑｕａｄｒａｔｉｃ ｄｉｓｃｒｉｍｉｎａｎｔ、Ａｌｌ ｄｉｓｃｒｉｍｉｎａｎｔｓ、Ｏｐｔｉｍｉｚａｂｌｅ ｄｉｓｃｒｉｍｉｎａｎｔが含まれ、単純ベイズ分類器（Ｎａｉｖｅ Ｂａｙｅｓ ｃｌａｓｓｉｆｉｅｒ）には、Ｇａｕｓｓｉａｎ Ｎａｉｖｅ Ｂａｙｅｓ、Ｋｅｒｎｅｌ Ｎａｉｖｅ Ｂａｙｅｓ、Ａｌｌ Ｎａｉｖｅ Ｂａｙｅｓ、Ｏｐｔｉｍｉｚａｂｌｅ Ｎａｉｖｅ Ｂａｙｅｓが含まれ、サポートベクトルマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ，ＳＶＭ）には、Ｌｉｎｅａｒ ＳＶＭ、Ｑｕａｄｒａｔｉｃ ＳＶＭ、Ｃｕｂｉｃ ＳＶＭ、Ｆｉｎｅ Ｇａｕｓｓｉａｎ ＳＶＭ、Ｍｅｄｉｕｍ Ｇａｕｓｓｉａｎ ＳＶＭ、Ｃｏａｒｓｅ Ｇａｕｓｓｉａｎ ＳＶＭ、Ａｌｌ ＳＶＭ、Ｏｐｔｉｍｉｚａｂｌｅ ＳＶＭが含まれ、最近傍分類器（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｃｌａｓｓｉｆｉｅｒｓ）には、Ｆｉｎｅ ＫＮＮ、Ｍｅｄｉｕｍ ＫＮＮ、Ｃｏａｒｓｅ ＫＮＮ、Ｃｏｓｉｎｅ ＫＮＮ、Ｃｕｂｉｃ ＫＮＮ、Ｗｅｉｇｈｔｅｄ ＫＮＮ、Ａｌｌ ＫＮＮ、Ｏｐｔｉｍｉｚａｂｌｅ ＫＮＮが含まれ、アンサンブル分類器（ｅｎｓｅｍｂｌｅ ｃｌａｓｓｉｆｉｅｒｓ）には、Ｂｏｏｓｔｅｄ ｔｒｅｅｓ、Ｂａｇｇｅｄ ｔｒｅｅｓ、Ｓｕｂｓｐａｃｅ Ｄｉｓｃｒｉｍｉｎａｎｔ、Ｓｕｂｓｐａｃｅ ＫＮＮ、ＲＵＳＢｏｏｓｔｅｄ ｔｒｅｅｓ、Ａｌｌ Ｅｎｓｅｍｂｌｅｓ、Ｏｐｔｉｍｉｚａｂｌｅ Ｅｎｓｅｍｂｌｅが含まれ得る。

【0214】

前記制御部（ＭＣＵ）１４４０は、前記音波送受信部１４１０、前記信号変換器１４２０、および前記人工ニューラルネットワーク１４３０の動作を制御することができる。

【0215】

前記信号変換器１４２０および前記人工ニューラルネットワーク１４３０は、プログラムで実現されたソフトウェアを構成要素として表現したものである。

【0216】

一方、図面には示されていないが、本開示の様々な実施形態による音波を用いた路面種類推定装置は、前記学習された路面分類モデルと、前記プログラムで実現されたソフトウェアが記憶される記憶装置（メモリ）とを含む。前記記憶装置（メモリ）は、前記制御部（ＭＣＵ）に含まれて構成されてもよい。

【0217】

一方、本開示による音波を用いた路面種類推定装置は、大気中の温度、湿度および気圧を測定できる大気センサ（図示せず）をさらに含むことができる。

【0218】

前記制御部１４４０の制御に応じて、前記温度、湿度および気圧を含む大気情報は、前記大気減衰量補正部で使用されてもよく、または人工ニューラルネットワーク１４３０の入力に伝達されてもよい。

【0219】

図１５は、本開示の一実施形態による音波を利用した路面種類推定装置で送信信号および受信信号を説明するための図である。

【0220】

図１５に示すように、制御部（ＭＣＵ）１４４０は、既定の大きさ（ｖ：ｔｒｉｇｇｅｒ ｖｏｌｔａｇｅ）で予め設定された伝送周期（ｐ：ｔｒａｎｓｍｉｓｓｉｏｎ ｐｅｒｉｏｄ）を有するトリガー信号を音波送受信部１４１０に伝達することができる。

【0221】

そして、前記音波送受信部１４１０の音波送信機１４１１は、特定の周波数、例えば４０ｋＨｚを有する音波信号１５０１を、種類を分かろうとする該当路面に出力することができる。

【0222】

その後、前記音波送受信部１４１０の音波受信機１４１２は、前記路面に反射して戻ってくる反射信号を受信することができる。

【0223】

ここで、前記音波信号１５０１のようなタイムラインに受信される信号１５０２は、前記音波送受信部１４１０が送信した音波信号のクロストーク信号であってもよい。また、前記制御部１４４０は、伝送遅延後に受信した振幅（ａｍｐｌｉｔｕｄｅ）が最も大きい点から既定時間の間の信号１５０３を受信信号として決定することができる。

【0224】

例えば、クロストーク信号の後に受信した信号の振幅が最も大きい時点をｔ＿０とすると、ｔ＿０－ａ［ｍｓ］からｔ＿０＋ｂ［ｍｓ］までの合計（ａ＋ｂ）ｍｓを観察することができ、図１５の受信信号２０３は、ａが０．２であり、ｂが５である。環境や条件に応じて、ａとｂは調整可能な可変数値である。

【0225】

図１５の例では、送信された音波信号が十分に消えるまでの時間である１０ｍｓを１伝送周期とし、音波送受信部１４１０のサンプリング周波数は４０ｋＨｚ音波周波数の２５倍でサンプリングする１ＭＨｚとした。

【0226】

一方、上述したように、伝送周期に応じて複数の受信された信号を感知して路面の状態を感知することもでき、音波を１回送信後に受信された１回の反射信号を処理して路面の状態を感知することもできる。

【0227】

図１６は、本開示の一実施形態による音波を用いた路面種類推定装置における信号変換器を例示的に説明するための図である。

【0228】

図１６では、信号変換器１４２０としてＳＴＦＴ変換器を使用したことを例に説明する。

【0229】

図１６に示すように、ＳＴＦＴ変換器は、図１５で受信した反射信号のうち、前記音波送受信部１４１０が送信した音波信号のクロストーク信号１５０２を除き、伝送遅延後に受信した既定時間の間の信号１５０３、１６０１に対してショートタイムフーリエ変換（Ｓｈｏｒｔ－Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）して２Ｄスペクトログラム１６０２を取得することができる。

【0230】

１周期の間の信号１５０３をフーリエ変換してもよく、多周期の間の受信信号をフーリエ変換してもよい。

【0231】

本開示では、音響インピーダンスと表面粗さ情報などを用いて材質を区別することができる。音響インピーダンスは定数ではなく、音波が振動する周波数ごとにその値が変わることがある。したがって、周波数ドメインでの分析が有用であり得る。タイムドメインの受信信号を周波数ドメイン信号に変換するためのいくつかの方法のうちの１つであるフーリエ変換（Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を使用することができる。また、各時間（サンプリング時間）ごとのＦＦＴを確認するためにショートタイムフーリエ変換（Ｓｈｏｒｔ－Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を使用することができる。

【0232】

また、ショートタイムフーリエ変換（Ｓｈｏｒｔ－Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）だけでなくウェーブレット（Ｗａｖｅｌｅｔ）などを用いて周波数分析が可能であり、本開示の一実施形態では、例示的に、計算量を減らすとともに十分なデータを確保するためにＳＴＦＴを使用することで説明した。

【0233】

ショートタイムフーリエ変換（ＳＴＦＴ）は、既存のフーリエ変換で解決できなかった時間の変化を考慮するために考案された方法である。ＳＴＦＴは、時間とともに変化する長い信号を短い時間単位で分割した後にフーリエ変換を適用することである。

【0234】

ＳＴＦＴは、信号をウインドウ長（Ｗｉｎｄｏｗ ｌｅｎｇｔｈ）に応じて分離するので、フーリエ変換に使用される信号の長さを短縮し、それによって周波数の解像度（Ｒｅｓｏｌｕｔｉｏｎ）を劣化させる可能性がある。一方、ウインドウ長（Ｗｉｎｄｏｗ ｌｅｎｇｔｈ）を増加させて周波数の解像度を向上させる場合、却って時間解像度（Ｒｅｓｏｌｕｔｉｏｎ）を劣化させる可能性がある。このような周波数と時間のトレードオフ（Ｔｒａｄｅ ｏｆｆ）関係による解像度の限界を克服するために、ウェーブレット変換（Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ，ＷＴ）を使用することができる。

【0235】

ＳＴＦＴでＷｉｎｄｏｗ ｌｅｎｇｔｈが決まっていると、ＷＴはＷｉｎｄｏｗ ｌｅｎｇｔｈを変えながら何度もＳＴＦＴをすることである。また、ＳＴＦＴで基本関数として時間的に無限大に拡張するサイン曲線を用いる場合、ウェーブレットは有限期間の間に存在するいくつかの種類の関数がある。ウェーブレット関数として、Ｍｏｒｌｅｔ、Ｄａｕｂｅｃｈｉｅｓ、Ｃｏｉｆｌｅｔｓ、Ｂｉｏｒｔｈｏｇｏｎａｌ、Ｍｅｘｉｃａｎ Ｈａｔ、およびＳｙｍｌｅｔｓなどがある。

【0236】

図１７は、本開示の一実施形態による音波を用いた路面種類推定装置における人工ニューラルネットワークを説明するための図である。

【0237】

図１７に示すように、人工ニューラルネットワークは、入力層１７０１、複数の隠れ層１７０２および出力層１７０３を含む多層パーセプトロン（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）アルゴリズムの深層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含むことができる。また、本開示の様々な実施形態による人工ニューラルネットワークは、コンボリューション実行部（図示せず）をさらに含む多層パーセプトロン（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）アルゴリズムの深層コンボリューションニューラルネットワーク（ＤＣＮＮ：Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含むことができる。

【0238】

前記入力層１７０１は、前記スペクトログラム１７０２のデータを平面化（ｆｌａｔｔｅｎ）して１Ｄで入力することができる。

【0239】

前記入力層１７０１に入力されるデータは、複数の隠れ層１７０２を介して特性抽出および分類することができる。

【0240】

前記出力層１７０３は、学習した路面の各種類に対する確率値を出力することができる。

【0241】

前記人工ニューラルネットワークは、ソフトマックス１７０４を用いて、前記出力層１７０３から出力される確率値のうちで最も高い確率を有する路面の種類を決定して出力することができる。

【0242】

一方、前記人工ニューラルネットワークは、大気情報（温度、湿度、気圧情報）を受け取って前記入力層１７０１の入力としても使用することができる。

【0243】

また、前記人工ニューラルネットワークは、前記路面に送信された音波信号１５０１をフーリエ変換して前記入力層１７０１の入力としても使用ことができる。

【0244】

一方、前記人工ニューラルネットワークがＤＣＮＮである場合、前記コンボリューション実行部は、伝達されたデジタル入力信号に対してコンボリューション演算を複数回進行し、各コンボリューション演算ごとに配置正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）、活性化（ＲｅＬＵ）関数、およびマックスプーリング（ＭａｘｐＰｏｏｌｉｎｇ）関数を実行し、最後のコンボリューション演算でフラット化されたデータを前記転送層に出力することができる。

【0245】

このとき、前記転送層はＣＮＮの入力層１７０１であり、前記コンボリューション実行部のフラット化された出力データを１次元（１Ｄ）で入力されることができ、以降の動作は上記と同様である。

【0246】

図１８は、コンボリューション実行部の動作を説明するための図である。

【0247】

コンボリューション実行部は、入力信号に対して１Ｄコンボリューション演算を複数回（例えば、５回）進め、各コンボリューション演算ごとに配置正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）、活性化（ＲｅＬＵ）関数、およびマックスプーリング（ＭａｘｐＰｏｏｌｉｎｇ）関数を実行することができ、最後のコンボリューション演算の出力はフラット化されたデータであり得る。

【0248】

例示的に図１８を参照すると、入力信号１８０１は、７ｍｓの間の受信信号約７０００個となり、第１コンボリューション実行結果１８０２は、前記入力信号１８０１に１Ｄ ｃｏｎｖ（６４，１６）、ＢＮ、ＲｅＬＵ、およびＭＰ（８）を実行した結果であり、第２コンボリューション実行結果１８０３は、前記第１コンボリューション実行結果１８０２に１Ｄ ｃｏｎｖ（３２，３２）、ＢＮ、ＲｅＬＵ、およびＭＰ（８）を実行した結果であり、第３コンボリューション実行結果１８０４は、前記第２コンボリューション実行結果４０３に１Ｄ ｃｏｎｖ（１６，６４）、ＢＮ、ＲｅＬＵ、およびＭＰ（８）を実行した結果であり、第４コンボリューション実行結果１８０５は、前記第３コンボリューション実行結果１８０４に１Ｄ ｃｏｎｖ（８，１２８）、ＢＮ、およびＲｅＬＵを実行した結果であり、第５コンボリューション実行結果１８０６は、前記第４コンボリューション実行結果１８０５に１Ｄ ｃｏｎｖ（４，２５６８）、ＢＮ、およびＲｅＬＵを実行した結果である。

【0249】

図１９は、本開示の音波を用いた路面種類推定装置のコンボリューション実行部のコードを説明するための図である。

【0250】

図１９は、図１８に示すコンボリューション実行部の一部をソフトウェアで実現したコードである。

【0251】

前記コードは、複数の配置正規化（ＢａｔｃｈＮｏｒｍ）関数、およびマックスプーリング関数（ＭａｘＰｏｏｌ）を含むことができる。

【0252】

本開示の一実施形態による使用可能な一例として、１次元コンボリューション後、１次元配置正規化を行い、その後、マックスプーリングを進行することを一組として４セット分繰り返し、最後は全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を通じて分類しようとする路面の数だけの値を出力し、路面ごとに確率を出力させる。

【0253】

一方、本開示では、１次元（１Ｄ）コンボリューション演算を実行する方法を一例として説明したが、コンボリューション演算は１Ｄだけでなく、２Ｄおよび３Ｄも可能である。

【0254】

図２０は、本開示の一実施形態による音波のドメイン変換を利用した路面種類推定方法のフローチャートである。

【0255】

まず、本開示による音波のドメイン変換を用いた路面種類推定方法を実行するためには、まず学習ステップ２００１が先行して路面分類モデルを生成することができる。

【0256】

学習ステップ２００１では、複数種類の路面に対して音波信号を送信した後、反射された信号を受信し、該当信号を周波数ドメイン信号（例えば、スペクトログラム）に変換し、前記周波数ドメイン信号（スペクトログラム）を前記人工ニューラルネットワークに入力して前記路面分類モデルを学習させ得る。

【0257】

ここで、周波数ドメインの周波数ドメイン信号に変換するためにＳＴＦＴ（Ｓｈｏｒｔ－Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）変換器、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）、ケプストラム（ｃｅｐｓｔｒｕａｍ）、またはウェーブレット変換器（Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）を使用することができる。前記周波数ドメイン信号は２Ｄまたは３Ｄであり得る。

【0258】

その後、制御部の制御に応じて、種類を分かろうとする該当路面に音波信号を送信した後、反射された信号を受信することができる（２００２）。

【0259】

その後、制御部の制御に応じて、前記受信した信号の既定領域に対して信号変換を行って周波数ドメイン信号を取得することができる（２００３）。

【0260】

前記周波数ドメイン信号取得ステップ２００３では、前記受信した信号から、前記送信した音波信号のクロストーク信号を除き、前記音波信号の周期ごとに、伝送遅延後に受信した既定時間の間の信号に対しドメイン変換して前記周波数ドメイン信号を取得することができる。

【0261】

その後、制御部の制御に応じて、前記周波数ドメイン信号を人工ニューラルネットワークの入力信号とし、学習された路面分類モデルに基づいて、前記入力信号の特性を抽出し、分類して前記路面の種類を決定することができる（２００４）。

【0262】

前記人工ニューラルネットワークは、入力層１７０１、複数の隠れ層１７０２および出力層１７０３を含む多層パーセプトロン（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）アルゴリズムの深層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含むことができる。このとき、前記出力層１７０３は、学習した路面の各種類に対する確率値を出力することができ、前記人工ニューラルネットワークは、ソフトマックス（ｓｏｆｔｍａｘ）１７０４を用いて、最も高い確率を有する路面の種類を決定して出力することができる。

【0263】

前記人工ニューラルネットワークは、大気情報（温度、湿度、気圧情報）を受け取り、前記入力層の入力としても使用することができる。

【0264】

また、前記人工ニューラルネットワークは、前記路面に送信された音波信号をフーリエ変換して前記入力層の入力としても使用することができる。

【0265】

図２１は、本開示による音波を用いた路面種類推定方法の一実施形態を示すフローチャートである。

【0266】

まず、本開示による音波を用いた路面種類推定方法を実行するためには、まず学習ステップ２１０１が先行して路面分類モデルを生成することができる。

【0267】

学習ステップ２１０１では、複数種類の路面に対して音波信号を送信した後、反射された信号を受信し、該当信号をデジタル信号に変換し、前記変換されたデジタル信号を人工ニューラルネットワークに入力して複数回のコンボリューション演算を実行して前記路面分類モデルを学習させることができる。

【0268】

その後、制御部の制御に応じて、種類を分かろうとする該当路面に音波信号を送信した後、反射された信号を受信することができる（２１０２）。

【0269】

その後、制御部の制御に応じて、前記受信した信号の既定領域に対してアナログ信号をデジタル信号に変換することができる（２１０３）。

【0270】

前記信号変換ステップ２１０３では、前記受信した信号において、前記送信した音波信号のクロストーク信号を除き、前記音波信号の周期ごとに、伝送遅延後に受信した信号の振幅が最も大きい点を基準として既定時間中の信号に対してデジタル信号に変換することができる。

【0271】

例えば、クロストーク信号の後に受信した信号の振幅が最も大きい時点をｔ＿０とすると、ｔ＿０－ａ［ｍｓ］からｔ＿０＋ｂ［ｍｓ］までの合計（ａ＋ｂ）ｍｓを観察することができ、環境や条件に応じて、ａとｂは可変に調整することができる。

【0272】

その後、制御部の制御に応じて、前記デジタル信号を受け取って前記人工ニューラルネットワークで複数回のコンボリューション演算を実行することができる（２１０４）。

【0273】

前記コンボリューション演算ステップ２１０４では、前記デジタル信号に対してコンボリューション演算を複数回進行し、各コンボリューション演算ごとに配置正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）、活性化（ＲｅＬＵ）関数、およびマックスプーリング（ＭａｘｐＰｏｏｌｉｎｇ）関数を実行することができ、最後のコンボリューション演算の出力はフラット化されたデータである。

【0274】

一方、本開示では、１次元（１Ｄ）コンボリューション演算を実行する方法を一例として説明したが、コンボリューション演算は１Ｄだけでなく、２Ｄおよび３Ｄも可能である。

【0275】

その後、制御部の制御に応じて、前記人工ニューラルネットワークで学習された路面分類モデルに基づいて、前記コンボリューション演算された信号（フラット化されたデータ）の特性を抽出し、分類して前記路面の種類を決定することができる（２１０５）。

【0276】

前記人工ニューラルネットワークは、前記デジタル信号を入力して複数回のコンボリューション演算を実行するコンボリューション実行部、転送層、複数の隠れ層および出力層を含む多層パーセプトロン（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）アルゴリズムの深層コンボリューションニューラルネットワーク（ＤＣＮＮ：Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含むことができる。このとき、前記出力層は、学習した路面の各種類に対する確率値を出力することができ、前記人工ニューラルネットワークは、ソフトマックス（ｓｏｆｔｍａｘ）を用いて、最も高い確率を有する路面の種類を決定して出力することができる。

【0277】

前記人工ニューラルネットワークは、大気情報（温度、湿度、気圧情報）を受け取り、前記コンボリューション実行部の入力としても使用することができる。

【0278】

また、前記人工ニューラルネットワークは、前記路面に送信された音波信号を前記コンボリューション実行部の入力としても使用することができる。

【0279】

図２２は、本開示の一実施形態による大気減衰量が補正された音波を用いた路面種類推定方法を示すフローチャートである。

【0280】

まず、本開示による音波を用いた路面種類推定方法を実行するためには、まず学習ステップ２２０１が先行して路面分類モデルを生成することができる。

【0281】

前記学習ステップ２２０１では、複数種類の路面に対して音波信号を送信した後、反射された信号を受信し、該当信号をデジタル信号に変換し、前記変換されたデジタル信号に対して大気中減衰量を補正した後、周波数ドメイン信号に変換し、前記周波数ドメイン信号をニューラルネットワークに入力して路面分類モデルを学習させることができる。

【0282】

ここで、前記学習ステップ２２０１において、前記周波数ドメイン信号に変換するためにＳＴＦＴ（Ｓｈｏｒｔ－Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）変換器、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）、ケプストラム（ｃｅｐｓｔｒｕａｍ）、またはウェーブレット変換器（Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）を使用することができる。前記周波数ドメイン信号は２Ｄまたは３Ｄであり得る。

【0283】

その後、制御部の制御に応じて、種類を分かろうとする該当路面に音波信号を送信した後、反射された信号を受信することができる（２２０２）。

【0284】

その後、前記制御部の制御に応じて、前記受信された信号の既定領域に対してアナログ信号をデジタル信号に変換することができる（２２０３）。

【0285】

前記信号変換ステップ２２０３では、前記受信した信号において、前記送信された音波信号のクロストーク信号を除き、前記音波信号の周期ごとに、伝送遅延後に受信した信号の振幅が最も大きい点を基準として既定時間中の信号に対してデジタル信号に変換する。

【0286】

例えば、クロストーク信号の後に受信した信号の振幅が最も大きい時点をｔ＿０とすると、ｔ＿０－ａ［ｍｓ］からｔ＿０＋ｂ［ｍｓ］までの合計（ａ＋ｂ）ｍｓを観察することができ、環境や条件に応じて、ａとｂは調整可能である。

【0287】

その後、制御部の制御に応じて、前記デジタル信号の大気中減衰量を計算して補正することができる（２２０４）。

【0288】

前記大気減衰量補正ステップ２２０４では、以下の＜数学式１＞～＜数学式８＞を用いて大気中減衰量を計算してこれを補正することができる。前記大気減衰量補正ステップは、制御部またはプログラムで実現されたソフトウェアである大気減衰量補正部によって実行されてもよい。

【0289】

まず、飽和圧力Ｐｓａｔは、下記の＜数学式１＞を用いて計算することができる。

【0290】

［数学式１］

【0291】

ここで、Ｔｏ１は大気の三重点［Ｋ］であり、Ｔは現在の温度［Ｋ］である。

【0292】

絶対湿度（ｈ）は、下記の＜数学式２＞を用いて計算することができる。

【0293】

［数学式２］

【0294】

ここで、ｈｒｉｎは相対湿度［％］であり、Ｐｓａｔは飽和圧力［単位］であり、Ｐｓは静圧［ａｔｍ］である。

【0295】

一方、大気の７８％を占める窒素の拡張された緩和周波数（ＦｒＮ：ｓｃａｌｅｄ ｒｅｌａｘａｔｉｏｎ ｆｒｅｑｕｅｎｃｙ ｆｏｒ Ｎｉｔｒｏｇｅｎ）は、下記の＜数学式３＞を用いて計算することができる。

【0296】

［数学式３］

【0297】

ここで、Ｔｏは基準温度［Ｋ］であり、Ｔは現在温度［Ｋ］である。

【0298】

一方、大気の２１％を占める酸素の拡張された緩和周波数（ＦｒＯ：ｓｃａｌｅｄ ｒｅｌａｘａｔｉｏｎ ｆｒｅｑｕｅｎｃｙ ｆｏｒ Ｏｘｙｇｅｎ）は、下記の＜数学式４＞を用いて計算することができる。

【0299】

［数学式４］

【0300】

ここで、ｈは絶対湿度である。

【0301】

一方、減衰係数（α：ａｔｔｅｎｕａｔｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔ ［ｎｅｐｅｒｓ／ｍ］］）は、下記の＜数学式５＞を用いて計算することができる。

【0302】

［数学式５］

【0303】

ここで、Ｐｓは静圧であり、Ｆは音波信号（送信音波信号）の周波数であり、Ｔは現在温度［Ｋ］であり、Ｔｏは基準温度［Ｋ］であり、ＦｒＯは酸素の拡張された緩和周波数であり、ＦｒＮは窒素の拡張された緩和周波数である。

【0304】

一方、音波信号の減衰比（Ａ、単位：ｄＢ）は、下記の＜数学式６＞を用いて計算することができる。

【0305】

［数学式６］

【0306】

ここで、αは減衰係数であり、ｄは音波送受信機１００と種類を分かろうとする該当路面との間の距離である。

【0307】

前記ｄは、送信機から送信されて路面に反射して受信機で感知されるまでの所要時間ｔ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）と大気中音速（Ｖａｉｒ）を用いて下記の＜数学式７＞を用いて計算することができる。

【0308】

［数学式７］

【0309】

ここで、ｔは所要時間であり、Ｖａｉｒは大気中音速［ｍ／ｓ］である。

【0310】

一方、大気中音速は、下記の＜数学式８＞を用いて計算することができる。

【0311】

［数学式８］

【0312】

ここで、Ｋｓは物体の等エントロピー的体積膨脹率（ｃｏｅｆｆｉｃｉｅｎｔ ｏｆ ｓｔｉｆｆｎｅｓｓ）であり、ρは物体（大気）の密度である。

【0313】

このとき、空気（大気）を理想気体と仮定すると、Ｋｓ＝γＰであり、γは熱容量比（空気の場合、１．４）であり、Ｐは圧力であり、Ｒは理想気体定数であり、Ｔは絶対温度［Ｋ］である。温度を除くと定数であるため、近似的に表現することもできる。

【0314】

前記大気中音速は、大気の温度、気圧および湿度に応じて補正して減衰補償に利用することもできる。

【0315】

その後、制御部の制御に応じて、前記補正されたデジタル信号の既定領域に対して信号変換を行い、周波数ドメイン信号を取得することができる（２２０５）。

【0316】

前記周波数ドメイン信号取得ステップ２２０５では、前記補正されたデジタル信号から前記送信された音波信号のクロストーク信号を除いて、前記音波信号の周期ごとに、伝送遅延後に受信した既定時間の間の信号に対して信号変換器で周波数変換して前記周波数ドメイン信号を取得することができる。

【0317】

その後、制御部の制御に応じて、前記周波数ドメイン信号をニューラルネットワークの入力信号とし、学習された路面分類モデルに基づいて、前記入力信号の特性を抽出し、分類して前記路面の種類を決定することができる（２２０６）。

【0318】

前記ニューラルネットワークは、入力層、複数の隠れ層および出力層を含む多層パーセプトロン（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）アルゴリズムの深層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含むことができる。このとき、前記出力層は、学習した路面の各種類に対する確率値を出力し、前記ニューラルネットワークは、ソフトマックス（ｓｏｆｔｍａｘ）を用いて、最も高い確率を有する路面の種類を決定して出力することができる。

【0319】

一方、前記ニューラルネットワークの構造は、上記の言及したＤＮＮに限定されない。

【0320】

前記ニューラルネットワークは、大気情報（温度、湿度、気圧情報）を受け取り、前記入力層の入力としても使用することができる。

【0321】

また、前記ニューラルネットワークは、前記路面に送信された音波信号を周波数変換して前記入力層の入力としても使用することができる。

【0322】

一方、前記周波数ドメイン信号取得ステップで周波数ドメイン信号を取得して人工ニューラルネットワークに入力する代わりに、制御部の制御に応じて、大気中減衰量が補正されたデジタル信号を伝達され、前記人工ニューラルネットワークで複数回のコンボリューション演算を行うことができる。

【0323】

前記コンボリューション演算ステップでは、前記大気中減衰量が補正されたデジタル信号に対して１Ｄコンボリューション演算を複数回進行し、各コンボリューション演算ごとに配置正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）、活性化（ＲｅＬＵ）関数、およびマックスプーリング（ＭａｘｐＰｏｏｌｉｎｇ）関数を実行することができ、最後のコンボリューション演算の出力はフラット化されたデータである。

【0324】

その後、制御部の制御に応じて、前記人工ニューラルネットワークで学習された路面分類モデルに基づいて、前記コンボリューション演算された信号（フラット化されたデータ）の特性を抽出し、分類して前記路面の種類を決定することができる。

【0325】

コンボリューションを行う場合、前記人工ニューラルネットワークは、前記デジタル信号を受け取って複数回のコンボリューション演算を行うコンボリューション実行部をさらに含む多層パーセプトロン（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）アルゴリズムの深層コンボリューションニューラルネットワーク（ＤＣＮＮ：Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含むことができる。前記出力層は、学習した路面の各種類に対する確率値を出力でき、前記人工ニューラルネットワークは、ソフトマックス（ｓｏｆｔｍａｘ）を用いて、最も高い確率を有する路面の種類を決定して出力することができる。

【0326】

一方、前記人工ニューラルネットワークの構造は、上記の言及したＤＣＮＮに限定されない。

【0327】

前記人工ニューラルネットワークは、大気情報（温度、湿度、気圧情報）を受け取り、前記コンボリューション実行部の入力としても使用することができる。

【0328】

また、前記人工ニューラルネットワークは、前記路面に送信された音波信号を前記コンボリューション実行部の入力としても使用することができる。

【0329】

以下では、本開示の一実施形態による路面分類装置が道路インフラに設置されて運用される具体的な実施形態についてより詳細に説明する。

【0330】

図２３は、本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムを説明するための図である。図２３は、図２に示す道路インフラの具体的な一実施形態である。

【0331】

図２３に示すように、道路２３００上または近傍に構造物２３０１が位置し、前記構造物２３０１には音波センサ２３１０およびビジョンセンサ２３２０が設けられている。

【0332】

前記音波センサ２３１０は、道路２３００において車両の走行路上に位置し、道路面に垂直になるように前記構造物２３０１に設けられ、前記ビジョンセンサ２３２０は道路の全領域が撮影されるように、前記構造物２３０１に設置することができる。

【0333】

一方、図２３には、前記音波センサ２３１０および前記ビジョンセンサ２３２０から取得したデータを制御部（図示せず）で伝達するための通信部２３５０が示されている。

【0334】

ビジョンセンサ２３２０は、人工ニューラルネットワークの発展と共に産業全分野で人工知能モデルと組み合わせたソリューションが広がっており、物体認識、検出、セグメンテーションの分野における主流技術のうちの１つである。人工知能技術の発展により、人が写真（イメージ）から直観的に対象を認識して領域を区別する方式と同様にビジョンセンサ２３２０が動作できるアルゴリズムが実現されている。

【0335】

一方、音波センサ２３１０を用いた物体の認識は、音波を利用して認識対象表面を打撃後に反射される信号の波形分析により可能であり、反射がなされる対象表面の音響インピーダンスや表面粗さに応じて反射波が決定される原理を利用する。すなわち、音波センサ２３１０は、広い範囲の音波スペクトルを利用すると、外部ノイズに強くなり、路面のブラックアイス認識が可能である。

【0336】

一実施形態は、広い領域に対する直観的認識区分が可能なビジョンセンサの利点と、対象オブジェクトの物性を利用して光源の影響を受けずに正確に対象を認識できる音波センサ技術を融合して広い範囲の路面を正確に認知する方法を開示することを含む。

【0337】

図２４は、本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムの構成図である。

【0338】

図２４に示すように、本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムは、音波センサ２４１０、ビジョンセンサ２４２０、人工ニューラルネットワーク２４３０、セグメンテーション処理部２４４０、および制御部２４７０を含むことができる。

【0339】

前記音波センサ２４１０は、道路状態モニタリングのために予め設定された点に音波信号を送信した後、反射された信号を受信することができる。

【0340】

前記ビジョンセンサ２４２０は、前記予め設定された点を含む道路面の映像を取得することができる。

【0341】

前記人工ニューラルネットワーク２４３０は、前記音波センサ２４１０が取得した反射された信号を入力信号として学習された路面分類モデルに基づいて前記予め設定された点の路面状態を分類することができる。前記路面状態は、乾いた路面（ｄｒｙ）、水（ｗａｔｅｒ）、ブラックアイス（ｉｃｅ）、および雪（ｓｎｏｗ）などを含むことができる。

【0342】

前記セグメンテーション処理部２４４０は、前記ビジョンセンサ２４２０によって取得したイメージを入力信号としてセグメンテーションモデルに基づいて複数の区分されたセグメンテーション領域に分割することができる。

【0343】

前記制御部２４７０は、前記音波センサ２４１０、前記ビジョンセンサ２４２０、前記人工ニューラルネットワーク２４３０および前記セグメンテーション処理部２４４０の動作を制御し、前記人工ニューラルネットワーク２４３０から出力される前記予め設定された点の路面状態、および前記セグメンテーション処理部２４４０から出力される複数のセグメンテーションされた領域を融合して該当道路の路面状態を決定することができる。

【0344】

前記制御部２４７０が該当道路の路面状態を決定するプロセスは、図２７を参照して詳細に説明する。

【0345】

前記制御部２４７０は、音波センサが地面を打撃した点を含むセグメンテーション領域を算出することができる。ただし、本開示によるシステムの設置時点で、音波センサの地面打撃点（感知領域）は路面で常湿氷結区間に設定することが好ましく、該当感知領域の位置はシステムで既に知っていることができる。

【0346】

最終的に、音波センサが地面を打撃した点（感知領域）を含むセグメンテーション領域に波形データの分類クラス（路面の種類）を割り当てたイメージ情報を出力することができる。

【0347】

図２５は、本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムにおいて均一な路面の状態を認識することを例示的に説明する図である。

【0348】

図２５を参照すると、（ａ）はビジョンセンサ２４２０の撮影イメージであり、音波センサ２４１０の感知領域（予め設定された領域）２５００の位置を表示した。（ｂ）は（ａ）の撮影イメージをセグメンテーションしてセグメンテーションされた領域が表示されたことを示した。（ｃ）は学習した路面分類モデル（人工知能モデル）に基づいて路面の種類を分類して前記感知領域２５００の路面状態を感知する。（ｄ）は（ｃ）で感知した領域２５００を含むセグメンテーション領域を（ｂ）のセグメンテーション領域から探して最終的にブラックアイス領域が表示されたイメージを示した。

【0349】

ここで、（ｂ）は道路の全領域が１つのセグメンテーション領域に区分され、音波センサ２４１０を介して路面を感知した感知領域２５００はブラックアイスとして感知されたため、最終的に（ｄ）のような結果を出力することができる。

【0350】

図２６は、本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムにおいて、不均一な路面の状態を認識することを例示的に説明する図である。

【0351】

図２６を参照すると、（ａ）はビジョンセンサ２４２０の撮影イメージであり、音波センサ２４１０の感知領域（予め設定された領域）２６００の位置を表示した。（ｂ）は（ａ）の撮影イメージをセグメンテーションしてセグメンテーションされた領域が表示されたことを示した。（ｃ）は学習した路面分類モデル（人工知能モデル）に基づいて路面の種類を分類して前記感知領域３００の路面状態を感知する。（ｄ）は（ｃ）で感知した領域２６００を含むセグメンテーション領域を（ｂ）のセグメンテーション領域から探して最終的にブラックアイス領域が表示されたイメージを図示した。

【0352】

ここで、（ｂ）は道路が濡れた領域と乾いた領域を含む複数のセグメンテーション領域に区分され、音波センサ２４１０を介して路面を感知した感知領域２６００はブラックアイスとして感知されたため、最終的に（ｄ）のような結果を出力することができる。

【0353】

言い換えれば、本開示は、音波センサによって正確に認識された路面情報がビジョンセンサによって得られた路面映像のどの部分／領域まで該当するかに関する問題についてビジョンセンサを介して信頼度をもって確定することができる技術を含むことができる。

【0354】

本開示では、路面感知アルゴリズムの動作は周期的（分、秒単位）または非同期的な要請によって実行することができ、路面の滑り危険感知は音波センサおよびビジョンセンサを介してデータを取得し、音波センサで取得したデータに基づいて路面の種類（状態）を感知し、ビジョンセンサで確保した映像でイメージセグメンテーションを通じて音波センサの感知部分を含む領域を検出することができる。

【0355】

すなわち、路面でブラックアイスなどの危険が感知される場合、セグメンテーションの結果として領域分割されたイメージで危険情報を結合して管理者（管制サーバー）に路面危険区間に対するお知らせを伝送する形式で活用することができる。

【0356】

図２７は、本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムにおいて、音波センサの感知領域がどのセグメンテーション領域であるかを見つける方法を説明するための図である。

【0357】

制御部は、人工ニューラルネットワークから出力される前記予め設定された点の路面状態と、前記セグメンテーション処理部２４４０から出力される複数のセグメンテーションされた領域とを融合して該当道路の路面状態を決定することができる。

【0358】

前記制御部は、前記各セグメンテーションされた領域の中点の位置を算出し、各セグメンテーションされた領域に含まれる複数の線分（各セグメンテーションされた領域を形成する複数の線分）に対して直線の方程式を計算し、前記各セグメンテーションされた領域について、前記直線の方程式を用いて該当領域の中点と前記複数の線分のそれぞれに対する第１相対的正負関係を判断し、前記各セグメンテーションされた領域について、前記直線の方程式を用いて前記予め設定された点と前記複数の線分のそれぞれに対する第２相対的正負関係を判断し、前記第２相対的正負関係と前記第１相対的正負関係が一致するセグメンテーション領域を、前記予め設定された点が含まれる領域として決定することができる。

【0359】

図２７を参照して詳細に説明すると、入力ＲＧＢイメージがセグメンテーション処理されてから複数の領域に分割されており、そのうちＡ領域とＢ領域が図のように分かれているものとする。

【0360】

Ａ領域の中点は「２７０１」、Ｂ領域の中点は「２７０２」、音波センサの感知領域（予め設定された点）は「２７００」で示した。

【0361】

図２７において、正負関係は、イメージの一番左側上部の点（０，０）を基準として右側と下側が（＋）方向であり、左側と上側が（－）方向であるとする。

【0362】

Ａ領域は五角形に形成され、線分１４、４５、５６、６７、および７１からなる。

【0363】

Ａ領域の中点２７０１とＡ領域の各線分１４、４５、５６、６７、および７１に対する正負関係は、それぞれ（－）、（－）、（－）、（＋）、（＋）になる。

【0364】

Ｂ領域は四角形に形成され、線分１２、２３、３４、および４１からなる。

【0365】

Ｂ領域の中点２７０２とＢ領域の各線分１２、２３、３４、および４１に対する正負関係は、それぞれ（＋）、（－）、（－）、（＋）になる。

【0366】

このとき、音波センサの感知領域（予め設定された点）２７００とＡ領域の各線分１４、４５、５６、６７、および７１に対する正負関係は、それぞれ（＋）、（－）、（－）、（＋）、（＋）となり、Ｂ領域の各線分１２、２３、３４、および４１に対する正負関係は、それぞれ（＋）、（－）、（－）、（＋）となる。

【0367】

したがって、音波センサの感知領域（予め設定された点）２７００はＢ領域に含まれる。

【0368】

図２８は、本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムの人工ニューラルネットワークの一例を説明するための図である。

【0369】

図２８を参照すると、前記人工ニューラルネットワークは、１Ｄ ＣＮＮ（Ｃｏｎｖｅｎｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）またはＡＮＮ（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のいずれかで実現された人工知能モデルで形成することができる。

【0370】

前記人工ニューラルネットワークの入力は音波センサを介して受信された反射波であり、出力は音波センサの予め設定された感知領域の路面の種類であり得る。

【0371】

図２９は、本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムのセグメンテーション処理部の一例を説明するための図である。

【0372】

図２９を参照すると、前記セグメンテーション処理部は、オートエンコーダー（Ａｕｔｏ－Ｅｎｃｏｄｅｒ）またはユーネット（Ｕ－Ｎｅｔ）で実現される畳み込み人工ニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｅｎｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ベースのイメージセグメンテーションモデル（ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｍｏｄｅｌ）で形成することができる。

【0373】

前記セグメンテーション処理部の入力はビジョンセンサを介して取得したＲＧＢイメージであり、出力は該当イメージに区分される領域が表示されるセグメンテーションイメージとなる。

【0374】

図３０は、本開示によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムにおけるモニタリング方法の一実施形態のフローチャートである。

【0375】

まず、道路状態モニタリングのために音波センサが予め設定された点に音波信号を送信した後、反射された信号を受信することができる（３０１０）。

【0376】

その後、前記音波センサが取得した反射された信号を入力信号として学習した路面分類モデルに基づいて、前記予め設定された点の路面状態を分類することができる（３０２０）。

【0377】

一方、前記音波センサが音波を送信した後に反射した信号を受信している間、ビジョンセンサは、前記予め設定された点を含む道路面の映像を取得することができる（３０３０）。

【0378】

その後、前記ビジョンセンサによって取得されたイメージをセグメンテーションモデルに基づいて複数の区分されたセグメンテーション領域に分割することができる（３０４０）。

【0379】

その後、前記予め設定された点の路面状態と前記複数の区分されたセグメンテーションされた領域とを融合して路面の状態を分析することができる（３０５０）。

【0380】

その後、前記融合分析ステップ３０５０の分析に従って該当道路の路面状態を決定することができる（３０６０）。

【0381】

その後、該当道路の路面状態で危険が感知されたか否かを判断することができる（３０７０）。

【0382】

前記危険判断ステップ３０７０の判断結果、該当道路の路面状態で危険が感知されないので、周期的にステップ３０１０およびステップ３０３０に進行することができる。

【0383】

一方、前記危険判断ステップ３０７０の判断結果、該当道路の路面状態で危険が感知されるにつれて、管制サーバーに危険を知らせる信号を伝達することができる（３０８０）。

【0384】

一方、前記危険お知らせステップ３０８０では、前記複数の区分されたセグメンテーションされた領域を含むイメージに危険領域が表示され、前記管制サーバーに伝送することができる。

【0385】

図３１は、図３０の融合分析ステップ３０５０の一実施形態の詳細なフローチャートである。

【0386】

前記融合分析ステップ３０５０は、以下のステップを実行することを含み得る。

【0387】

まず、セグメンテーションされたイメージにおいて、前記各セグメンテーションされた領域の中点の位置を算出する（３０５１）。

【0388】

その後、各セグメンテーションされた領域に含まれる複数の線分（各セグメンテーションされた領域を形成する複数の線分）について直線の方程式を計算する（３０５２）。

【0389】

その後、前記各セグメンテーションされた領域について、前記直線の方程式を用いて該当領域の中点と前記複数の線分のそれぞれに対する第１相対的正負関係を判断する（３０５３）。

【0390】

その後、前記各セグメンテーションされた領域について、前記直線の方程式を用いて前記予め設定された点と前記複数の線分のそれぞれに対する第２相対的正負関係を判断する（３０５４）。

【0391】

その後、前記第２相対的正負関係と前記第１相対的正負関係が一致するセグメンテーション領域を、前記予め設定された点が含まれる領域として決定する（３０５５）。

【0392】

図３２は、本開示のさらに他の実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムの構成図である。

【0393】

図３２に示すように、本開示の一実施形態によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムは、音波センサ３２１０、ビジョンセンサ３２２０、第１特徴抽出部３２８１、第２特徴抽出部３２８２、組合せ人工ニューラルネットワーク（ｊｏｉｎｔ ｃｌａｓｓｉｆｉｅｒ）３２９０、および制御部３２７０を含むことができる。

【0394】

前記音波センサ３２１０は、道路状態モニタリングのために予め設定された点に音波信号を送信した後、反射された信号を受信することができる。

【0395】

前記ビジョンセンサ３２２０は、前記予め設定された点を含む道路面のイメージを取得することができる。

【0396】

前記第１特徴抽出部３２８１は、前記音波センサ３２１０が取得した反射された信号から第１特徴を抽出することができる。

【0397】

前記第２特徴抽出部３２８２は、前記ビジョンセンサ３２２０によって取得されたイメージから第２特徴を抽出することができる。

【0398】

前記組合せ人工ニューラルネットワーク３２９０は、前記第１特徴および第２特徴を入力とし、前記音波センサ３２１０が取得した信号および前記ビジョンセンサ３２２０によって取得されたイメージから抽出された特徴から学習された路面データ組合せ分類モデルに基づいて、該当道路の路面状態を分類することができる。前記路面状態は乾いた路面（ｄｒｙ）、水（ｗａｔｅｒ）、ブラックアイス（ｉｃｅ）、および雪（ｓｎｏｗ）などを含むことができる。

【0399】

前記制御部３２７０は、前記音波センサ３２１０、前記ビジョンセンサ３２２０、前記第１特徴抽出部３２８１、前記第２特徴抽出部３２８２、および前記組合せ人工ニューラルネットワーク３２９０の動作を制御することができる。

【0400】

前記組合せ人工ニューラルネットワーク３２９０において、前記反射された信号から抽出した前記第１特徴および前記イメージから抽出された前記第２特徴は、それぞれ別々の重みを有する分類モデル（データ組合せ分類モデル）によって学習および分類され得る。

【0401】

前記反射された信号から抽出した前記第１特徴および前記イメージから抽出された前記第２特徴の値は、相関関係（Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）を用いてイメージデータと音波データの入力組み合わせで物体（路面種類）分類を学習することができる。また、データの特性を分析して、イメージデータに基づく分類器の重みおよび影響力と、音波データに基づく分類器の重みおよび影響力とを調整して最終意思決定（予測）ができるように訓練することができる。

【0402】

図３３は、本開示によるビジョンセンサと音波センサとを備えた道路状態モニタリングシステムにおけるモニタリング方法の他の実施形態のフローチャートである。

【0403】

まず、道路状態モニタリングのために音波センサが予め設定された点に音波信号を送信した後、反射された信号を受信することができる（３３１０）。

【0404】

その後、前記反射された信号の第１特徴を抽出することができる（３３２０）。

【0405】

一方、前記音波センサが音波を送信した後に反射された信号を受信している間、ビジョンセンサは前記予め設定された点を含む道路面のイメージを取得することができる（３３３０）。

【0406】

その後、前記イメージの第２特徴を抽出することができる（３３４０）。

【0407】

その後、前記反射された信号から抽出した前記第１特徴および前記イメージから抽出された前記第２特徴を組み合わせて学習された分類モデルに基づいて、該当道路の路面状態を分析することができる（３３５０）。

【0408】

ここで、前記反射された信号から抽出した前記第１特徴および前記イメージから抽出された前記第２特徴は、それぞれ別々の重みを有する分類モデルによって学習および分類することができる。

【0409】

その後、前記路面状態分析ステップ３３５０の分析に従って、該当道路の路面状態を決定することができる（３３６０）。

【0410】

その後、該当道路の路面状態で危険が感知されたか否かを判断することができる（３３７０）。

【0411】

前記危険判断ステップ３３７０の判断結果、該当道路の路面状態で危険が感知されないので、周期的にステップ３３１０およびステップ３３３０に進行することができる。

【0412】

一方、前記危険判断ステップ３３７０の判断結果、該当道路の路面状態で危険が感知されるにつれて、管制サーバーに危険を知らせる信号を伝達することができる（３３８０）。

【0413】

一方、前記危険お知らせステップ３３８０では、前記複数の区分されるセグメンテーションされた領域を含むイメージに危険領域が表示され、前記管制サーバーに伝送することができる。

【0414】

以下では、本開示の一実施形態による路面管理装置の一例として、熱線装置または食塩水噴射装置を制御する具体的な実施形態についてより詳細に説明する。

【0415】

図３４は、本開示の一実施形態による道路の熱線装置の制御システムの動作を説明するための図である。図３４は、図２に示す道路インフラの具体的な一実施形態である。

【0416】

図３４に示すように、本開示の一実施形態による道路の熱線装置の制御システムは、道路上に構造物３４０１が位置しており、前記構造物３４０１は音波センサ３４１０および通信部３４２０などを含むことができ、音波センサ３４１０の感知データに基づいて制御サーバー３４４０の制御により氷結予防装置３４００で熱線３４７０を制御する自動制御ボックス３４６０を制御することができる。

【0417】

前記音波センサ３４１０は、道路内の車両の走行路上に位置し、道路面に垂直になるように前記構造物３４０１に設置されてもよいが、これに限定されない。

【0418】

前記構造物３４０１は、街灯のように道路上に音波センサ３４１０を設置できることを意味する。

【0419】

前記音波センサ３４１０は、道路状態感知のために予め設定された点に音波信号を送信した後、反射された信号を受信することができる。

【0420】

一方、前記通信部３４２０は、前記音波センサ３４１０を介して取得したデータを制御サーバー３４４０に伝達することができる。

【0421】

また、前記制御サーバー３４４０は、前記音波センサ３４１０の故障の有無（異常）を感知すると、管理者端末３４５０にお知らせを伝達することができる。

【0422】

氷結予防装置において、熱線方式では、熱線を必要な時間より過度に作動させてアスファルトに火災が発生する問題が発生する可能性があって熱線をどれだけ作動させるべきかが重要である。

【0423】

本開示では、熱線加熱による路面の温度変化を音波センサで感知して氷結予防装置を精密に制御することが可能である。

【0424】

具体的には、様々な温度が適用された路面環境で蓄積された音波センシングデータに基づいて学習された人工知能モデルを生成し、人工知能モデルに基づいて取得した音波センサの波形を分析して路面の温度変化を感知し、熱線装置の動作を自動的に制御することが可能である。

【0425】

例えば、音波センサの波形分析により路面が乾燥しているか凍ったかを把握した後、熱線の稼動を開始し、音波センサ出力上の路面温度が４度以上維持される場合、すなわち温度が水の凍る点以上の場合、熱線の稼動を中止するように構成してもよい。

【0426】

また、本開示によれば、食塩水噴射装置の動作中に食塩水が路面にどれだけ噴射されたかを感知することができる。

【0427】

具体的には、食塩水噴射精度が様々に分布した路面環境で蓄積された音波センシングデータに基づいて学習された人工知能モデルを生成し、人工知能モデルに基づいて取得した音波センサの波形を分析して路面に食塩水が噴射された（分布した）精度（噴射精度）を把握することができる。食塩水が路面に既定範囲以上に分布する場合、食塩水噴射を中断するように構成されてもよい。

【0428】

本開示は、設置／動作中の道路熱線装置または食塩水噴射装置を適時に作動させることができる路面感知および連動制御技術に関するもので、従来の路面表面にセンサなどを装着する温度／湿度センサで路面情報を取得する方式ではなく、音波センサに基づいて路面状態認識および融雪条件を判別して前記熱線装置または食塩水噴射装置の動作を正確に制御することができる。

【0429】

既存の融雪機器モニタリング／制御システムに大きな修正なしにプラグイン（Ｐｌｕｇ－ｉｎ）方式で連動でき、既存の融雪システムよりも正確な路面危険お知らせに基づいて融雪機器の動作効率を高めることができるサービスを提供することができる。

【0430】

融雪実施可否を判断するアルゴリズムは、制御サーバー（サービスサーバー）３４４０内に構築するか、または音波センサ３４１０とともに備えられる制御部（ＭＣＵ）に構築されてもよく、通信部を介して氷結予防装置３４００の自動制御ボックス３４６０に伝達する形態であってもよい。

【0431】

路面状態感知は、音波センサの故障などの理由で音波センサの復旧が必要な時点まで周期的に繰り返して実行される。音波センサ３４１０から反射波（センサ値）を取得した後、通信部を介して制御サーバー３４４０（サービスサーバー）に伝達されると、センサ状態が正常であるとき、前記制御サーバー３４４０では該当反射波をビッグデータベースの人工知能モデルを用いて分析し、現在の融雪作業が必要かどうかを判断し、該当氷結予防装置の稼動の有無を制御する。

【0432】

一方、伝達されたセンサ値を介して音波センサの異常の有無を判断し、センサ状態が異常である場合、氷結予防装置３４００の自動制御ボックス３４６０に作動停止命令を伝達し、管理者端末３４５０に異常発生に対するプッシュアラームを伝送し、管制サーバー（図示せず）には故障による作動停止履歴を伝送する。

【0433】

図３５は、本開示の一実施形態による道路の氷結予防装置の制御システムの構成図である。図３５の制御システムは、本開示の実施形態による路面管理装置の具体的な一例である。

【0434】

図３５に示すように、本開示の一実施形態による道路の氷結予防装置の制御システムは、音波センサ３５１０、制御サーバー３５４０、通信部３５２０、および氷結予防装置３５００を含むことができる。

【0435】

前記音波センサ３５１０は、道路状態感知のために予め設定された点に音波信号を送信した後、反射された信号を受信することができる。

【0436】

前記制御サーバー３５４０は、前記音波センサ３５１０が取得した反射された信号を入力信号として学習された人工知能分析モデルに基づいて、前記予め設定された点の路面状態データを感知し、前記予め設定された点の路面状態データに応じて、前記氷結予防装置３５００の動作の有無を制御する信号を生成することができる。

【0437】

前記路面状態データは、気象状態、路面の種類、路面の温度、および塩分噴射量（噴射精度、分布）などを含むことができる。

【0438】

前記通信部３５２０は、前記音波センサ３５１０が取得した反射された信号を前記制御サーバー３５４０に伝達することができる。

【0439】

前記氷結予防装置３５００は、前記制御サーバー３５４０によって制御され、前記道路の氷結を予防するための動作を実行する。前記氷結予防装置３５００は、熱線装置または食塩水噴射装置のうち少なくとも１つ以上を含むことができる。

【0440】

詳細には、前記制御サーバー３５４０は、気象状態が「雨」または「雪」であり、前記分類された路面の種類が「濡れた道路」または「雪が積もった道路」または「凍った道路」であり、前記感知した路面の温度が４℃未満の場合に前記熱線装置を稼動する制御信号を生成し、前記熱線装置が稼動した後、前記感知した路面の温度が４℃以上である場合に前記熱線装置の動作を停止する制御信号を生成することができる。

【0441】

一方、前記制御サーバー３５４０は、前記気象状態が「雨」または「雪」であり、前記分類された路面の種類が「濡れた道路」または「雪が積もった道路」または「凍った道路」であり、前記感知した路面の温度が４℃未満の場合に前記食塩水噴射装置を稼動する制御信号を生成し、前記食塩水噴射装置が稼動した後、前記感知した食塩水の噴射量が８０％以上である場合に前記食塩水噴射装置の動作を停止する制御信号を生成することができる。

【0442】

一方、前記制御サーバー３５４０は、前記音波センサ３５１０の状態に異常があることが感知されるにつれて、管理者端末３５５０にお知らせメッセージを伝達し、管制サーバー３５８０に前記音波センサ３５１０の状態お知らせ信号を伝達することができる。

【0443】

図３６は、本開示の他の実施形態による道路の氷結予防装置の制御システムの構成図である。

【0444】

図３６に示すように、本開示の一実施形態による道路の氷結予防装置の制御システムは、音波センサ３６１０、制御部３６３０、通信部３６２０、および氷結予防装置３６００を含む。

【0445】

前記音波センサ３６１０は、道路状態感知のために予め設定された点に音波信号を送信した後、反射された信号を受信することができる。

【0446】

前記制御部３６３０は、前記音波センサ３６１０が取得した反射された信号を入力信号として学習された人工知能分析モデルに基づいて前記予め設定された点の路面状態データを感知し、前記予め設定された点の路面状態データにより前記氷結予防装置３６００の動作の有無を制御する信号を生成することができる。

【0447】

前記路面状態データは、気象状態、路面の種類、路面の温度、および塩分噴射量（噴射精度、分布）などを含むことができる。

【0448】

前記通信部３６２０は、前記制御部３６３０が生成した制御信号を前記氷結予防装置３６００で伝達することができる。

【0449】

前記氷結予防装置３６００は、前記制御部３６３０によって制御され、前記道路の氷結を予防するための動作を実行する。前記氷結予防装置３６００は、熱線装置または食塩水噴射装置のうち少なくとも１つ以上を含むことができる。

【0450】

詳細には、前記制御部３６３０は、気象状態が「雨」または「雪」であり、前記分類された路面の種類が「濡れた道路」または「雪が積もった道路」または「凍った道路」であり、前記感知した路面の温度が４℃未満の場合に前記熱線装置を稼動する制御信号を生成し、前記熱線装置が稼動した後、前記感知した路面の温度が４℃以上である場合に前記熱線装置の動作を停止する制御信号を生成することができる。

【0451】

一方、前記制御部３６３０は、前記気象状態が「雨」または「雪」であり、前記分類された路面の種類が「濡れた道路」または「雪が積もった道路」または「凍った道路」であり、前記感知した路面の温度が４℃未満の場合に前記食塩水噴射装置を稼動する制御信号を生成し、前記食塩水噴射装置が稼動した後、前記感知した食塩水の噴射量が８０％以上である場合に前記食塩水噴射装置の動作を停止する制御信号を生成することができる。

【0452】

一方、前記制御部３６３０は、前記音波センサ３６１０の状態に異常があることが感知されると、管理者端末３６５０にお知らせメッセージを伝達し、管制サーバー３６８０に前記音波センサ３６１０の状態お知らせ信号を伝達することができる。

【0453】

図３７ａ～図３７ｃは、本開示の一実施形態による道路の氷結予防装置の制御システムで使用される人工知能分析モデルを説明するための図である。

【0454】

前記人工知能分析モデルは、音波センサが取得した反射された信号に基づいて気象状態を分類する気象状態分類モデル、および音波センサが取得した反射された信号に基づいて路面の種類を分類する路面種類分類モデルを含むことができる。

【0455】

氷結予防装置が熱線装置である場合、前記人工知能分析モデルは、前記音波センサが取得した反射された信号と路面の温度を一緒に学習させ、前記音波センサが取得した反射された信号に基づいて該当する路面の温度を出力する路面温度回帰モデルをさらに含むことができる。

【0456】

前記氷結予防装置が前記食塩水噴射装置である場合、前記人工知能分析モデルは、前記音波センサが取得した反射された信号と路面の温度を一緒に学習させ、前記音波センサが取得した反射された信号に基づいて該当する路面の温度を出力する路面温度回帰モデル、および前記音波センサが取得した反射された信号と食塩水の噴射量（分布精度）を一緒に学習させ、前記音波センサが取得した反射された信号に基づいて該当する食塩水の噴射量（分布精度）を出力する食塩水噴射量回帰モデルをさらに含むことができる。

【0457】

すなわち、本開示による人工知能分析モデルは、基本的に気象状態分類モデル、路面種類分類モデルおよび路面温度回帰モデルを含み、前記氷結予防装置が前記食塩水噴射装置を含む場合、食塩水噴射量回帰モデルをさらに含むことができる。

【0458】

図３７ａは、路面種類分類モデルの構造を示しており、前記路面種類分類モデルは、音波センサの取得信号（反射波）を一定時間にわたって合計Ｔ回サンプリングし、該当する路面の種類情報を一緒に学習して構成する。

【0459】

例えば、１秒間１ｍｓ単位でサンプリングされたデータ１０００個（ｘ１，ｘ２，．．．，ｘ１０００）に該当する路面の種類情報を学習する。

【0460】

図３７ａに示すように、音波センサの取得信号（反射波）を入力して該当する路面の種類を乾いた道路（ｄｒｙ）、濡れた道路（ｗｅｔ）、凍った道路（ｉｃｅｄ）、および雪が積もった道路（ｓｎｏｗ）などのクラスに分類することができる。

【0461】

一方、図面には示されていないが、前記音波センサが取得した反射された信号に基づいて気象状態を分類する気象状態分類モデルもさらに含むことができ、さらに、前記音波センサの取得信号および気象情報を一緒に学習させて構成する。

【0462】

図３７ｂは、熱線装置を制御するために、音波センサが取得した反射された信号に基づいて該当する路面の温度を出力する路面温度回帰モデルを説明するための図であり、図３７ｃは、食塩水制御装置を制御するために、音波センサが取得した反射された信号に基づいて該当する食塩水の分布量（分布精度）（％）を出力する食塩水噴射量回帰モデルを説明するための図である。

【0463】

図３７ｂにおいて、音波センサの取得データＸと路面の温度との関係が２次元（平面）グラフではなく、Ｘは複数の値の集合である超平面（ｈｙｐｅｒｐｌａｎｅ）の概念で形成されるデータセット（ｄａｔａｓｅｔ）である。

【0464】

これに伴い、学習された路面温度回帰モデルは、前記音波センサが取得した反射された信号に基づいて該当する路面の温度を出力する。

【0465】

図３７ｃも図３７ｂと同様に、音波センサの取得データＸと食塩水噴射量（分布精度）との関係が２次元（平面）グラフではなく、Ｘは複数の値の集合である超平面（ｈｙｐｅｒｐｌａｎｅ）の概念で形成されるデータセット（ｄａｔａｓｅｔ）である。

【0466】

これに伴い、学習された食塩水噴射量回帰モデルは、前記音波センサが取得した反射された信号に基づいて該当する食塩水の噴射量（分布精度）を出力する。

【0467】

図３８は、本開示による道路の氷結予防装置の制御方法の一実施形態のフローチャートである。

【0468】

まず、音波センサの測定データを収集する（３８１０）。

【0469】

前記収集したデータに基づいて人工知能分析モデルを生成する（３８２０）。

【0470】

前記人工知能分析モデル生成ステップ３８２０は、前記音波センサが取得した反射された信号に基づいて気象状態を分類する気象状態分類モデルを生成し、前記音波センサが取得した反射された信号に基づいて路面の種類を分類する路面種類分類モデルを生成し、前記音波センサが取得した反射された信号と路面の温度を一緒に学習させ、前記音波センサが取得した反射された信号に基づいて該当する路面の温度を出力する路面温度回帰モデルを生成する。

【0471】

一方、前記氷結予防装置が食塩水噴射装置である場合、前記人工知能分析モデル生成ステップ３８２０は、前記音波センサによって取得した反射された信号と食塩水の噴射量（分布精度）を一緒に学習させ、前記音波センサが取得した反射された信号に基づいて該当する食塩水の噴射量（分布精度）を出力する食塩水噴射量回帰モデルを生成する。

【0472】

すなわち、本開示による人工知能分析モデルは、基本的に気象状態分類モデル、路面種類分類モデルおよび路面温度回帰モデルを生成して含み、前記氷結予防装置が前記食塩水噴射装置を含む場合、食塩水噴射量回帰モデルをさらに生成する。

【0473】

もちろん、前記生成された人工知能分析モデルは、制御サーバーまたは制御部に搭載されなければならない。

【0474】

その後、前記音波センサを用いて道路の状態モニタリングのために予め設定された点に音波信号を送信した後、反射された信号を受信する（３８３０）。

【0475】

その後、前記制御サーバーまたは前記制御部では、伝達された前記音波センサが取得した反射された信号を入力信号として前記人工知能分析モデルに基づいて前記予め設定された点の路面状態データを感知する。

【0476】

前記路面状態データ感知ステップ３８４０は、気象状態、路面の種類、路面の温度、および塩分噴射量（分布精度）などを感知する。

【0477】

その後、前記制御サーバーまたは前記制御部では、前記路面状態データに基づいて前記氷結予防装置の動作の有無を制御する制御信号を生成する（３８５０）。

【0478】

その後、前記制御サーバーまたは前記制御部では、前記音波センサの状態に異常があることが感知されるにつれて、管理者端末にお知らせメッセージを伝達し、管制サーバーに前記音波センサの状態お知らせ信号を伝達する（３８６０）。

【0479】

図３９は、本開示による道路の氷結予防装置が熱線装置である場合、図３８の制御信号生成ステップ３８５０の一実施形態の詳細なフローチャートである。

【0480】

氷結予防装置が熱線装置である場合、前記制御信号生成ステップ３８５０は、まず、感知した気象状態が「雨（ｒａｉｎ）」または「雪（ｓｎｏｗ）」であるかどうかを判断する（３９１０）。

【0481】

前記判断ステップ３９１０の判断結果、気象状態が「雨（ｒａｉｎ）」または「雪（ｓｎｏｗ）」でない場合、ステップ３８４０に進み、路面状態データを感知する。

【0482】

一方、前記判断ステップ３９１０の判断結果、気象状態が「雨」または「雪」である場合、分類された路面の種類が「濡れた道路（ｗｅｔ）」または「雪が積もった道路（ｓｎｏｗ）」または「凍った道路（ｉｃｅｄ）」であるか否かを判断する（３９２０）。

【0483】

前記判断ステップ３９２０の判断結果、気象状態が「雨」または「雪」である場合、分類された路面の種類が「濡れた道路（ｗｅｔ）」または「雪が積もった道路（ｓｎｏｗ）」または「凍った道路（ｉｃｅｄ）」でないと、ステップ３８４０に進み、路面状態データを感知する。

【0484】

一方、前記判断ステップ３９２０の判断結果、気象状態が「雨」または「雪」である場合、分類された路面の種類が「濡れた道路（ｗｅｔ）」または「雪が積もった道路（ｓｎｏｗ）」または「凍った道路（ｉｃｅｄ）」であると、感知した路面の温度が４℃未満であるか否かを判断する（３９３０）。

【0485】

前記判断ステップ３９３０の判断結果、路面の温度が４℃未満でない場合、ステップＳ５４０に進み、路面状態データを感知する。

【0486】

一方、判断ステップ３９３０の判断結果、路面の温度が４℃未満であると、熱線装置を稼動する制御信号を生成する（３９４０）。

【0487】

その後、路面状態データ感知ステップ３９４０に進み、路面状態データを感知する。

【0488】

前記熱線装置が稼動した後、前記感知した路面の温度が４℃以上であるか否かを判断する（３９５０）。

【0489】

前記判断ステップ３９５０の判断結果、路面の温度が４℃以上でない場合、ステップＳ５４０に進み、路面状態データを感知する。

【0490】

一方、前記判断ステップ３９５０の判断結果、路面の温度が４℃以上であると、熱線装置の動作を停止する制御信号を生成する（３９６０）。

【0491】

その後、路面状態データ感知ステップ３８４０に進み、路面状態データを感知する。

【0492】

すなわち、前記気象状態が「雨」または「雪」であり、前記分類された路面の種類が「濡れた道路」または「雪が積もった道路」または「凍った道路」であり、前記感知した路面の温度が４℃未満である場合に、前記熱線装置を稼動し、前記熱線装置が稼動した後に、前記感知した路面の温度が４℃以上である場合に前記熱線装置の動作を停止する。

【0493】

図４０は、本開示による道路の氷結予防装置が食塩水噴射装置である場合、図３８の制御信号生成ステップ３８５０の一実施形態の詳細なフローチャートである。

【0494】

道路の氷結予防装置が食塩水噴射装置である場合、前記制御信号生成ステップ３８５０は、まず、感知した気象状態が「雨（ｒａｉｎ）」または「雪（ｓｎｏｗ）」であるか否かを判断する（４０１０）。

【0495】

前記判断ステップ４０１０の判断結果、気象状態が「雨」または「雪」でない場合、ステップＳ５４０に進み、路面状態データを感知する。

【0496】

一方、前記判断ステップ４０１０の判断結果、気象状態が「雨」または「雪」であると、分類された路面の種類が「濡れた道路（ｗｅｔ）」または「雪が積もった道路（ｓｎｏｗ）」または「凍った道路（ｉｃｅｄ）」であるか否かを判断する（４０２０）。

【0497】

前記判断ステップ４０２０の判断結果、気象状態が「雨」または「雪」である場合、分類された路面の種類が「濡れた道路（ｗｅｔ）」または「雪が積もった道路（ｓｎｏｗ）」または「凍った道路（ｉｃｅｄ）」でないと、ステップ３８４０に進み、路面状態データを感知する。

【0498】

一方、前記判断ステップ４０２０の判断結果、気象状態が「雨」または「雪」である場合、分類された路面の種類が「濡れた道路（ｗｅｔ）」または「雪が積もった道路（ｓｎｏｗ）」または「凍った道路（ｉｃｅｄ）」であると、感知した路面の温度が４℃未満であるか否かを判断する（４０３０）。

【0499】

前記判断ステップ４０３０の判断結果、路面の温度が４℃未満でない場合、ステップ３８４０に進み、路面状態データを感知する。

【0500】

一方、判断ステップ４０３０の判断結果、路面の温度が４℃未満であると、食塩水噴射装置を稼動する制御信号を生成する（４０４０）。

【0501】

その後、路面状態データ感知ステップ３８４０に進み、路面状態データを感知する。

【0502】

前記食塩水噴射装置が稼動した後、食塩水噴射量（噴射精度）が８０％以上であるか否かを判断する（４０５０）。

【0503】

前記判断ステップ４０５０の判断結果、食塩水噴射量（噴射精度）が８０％以上でない場合、ステップ３８４０に進み、路面状態データを感知する。

【0504】

一方、前記判断ステップ４０５０の判断結果、食塩水噴射量（噴射精度）が８０％以上であると、食塩水噴射装置の動作を停止する制御信号を生成する（４０６０）。

【0505】

その後、路面状態データ感知ステップ３８４０に進み、路面状態データを感知する。

【0506】

すなわち、前記気象状態が「雨」または「雪」であり、前記分類された路面の種類が「濡れた道路」または「雪が積もった道路」または「凍った道路」であり、前記感知した路面の温度が４℃未満である場合に、前記食塩水噴射装置を稼動し、前記食塩水噴射装置が稼動した後には、前記感知した食塩水噴射量が８０％以上である場合に前記食塩水噴射装置の動作を停止する。

【0507】

一方、前記食塩水噴射装置の動作を停止させるようにする食塩水噴射量（噴射精度、分布）が８０％以上であると説明したが、これに限定されない。

【0508】

一方、前記食塩水噴射装置の動作を制御するために路面温度回帰モデルおよび食塩水噴射量回帰モデルの両方を併用するものとして例を挙げたが、食塩水噴射量回帰モデルのみを用いて前記食塩水噴射装置の動作を制御することも可能である。

【0509】

上記では道路の氷結予防装置として熱線装置または食塩水噴射装置を含むことを例に挙げたが、本開示がこれに限定されるものではなく、熱線装置および食塩水噴射装置を共に備えるシステムを制御することも可能である。

【0510】

以上、本開示の実施形態による方法は、方法を実現するためのプログラムが記憶されたコンピュータ読み取り可能記録媒体および／または方法を実現するためのコンピュータ読み取り可能記録媒体に記憶されたプログラムによって実現可能であることは言うまでもない。

【0511】

すなわち、本開示の実施形態による方法を実現するための命令語のプログラムが有形的に実現されることによって、コンピュータを介して読み取ることができる記録媒体に含まれて提供され得ることを当業者は容易に理解できるであろう。換言すれば、様々なコンピュータ手段を介して実行することができるプログラム命令の形態で実現され、コンピュータ読み取り可能記録媒体に記録することができる。前記コンピュータ読み取り可能記録媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。

【0512】

本開示の方法をソフトウェアで実現する場合、１つ以上のプログラム（ソフトウェアモジュール）を記憶するコンピュータ読み取り可能記憶媒体を提供することができる。コンピュータ読み取り可能記憶媒体に記憶される１つ以上のプログラムは、電子装置（ｄｅｖｉｃｅ）内の１つ以上のプロセッサによって実行可能に構成される（ｃｏｎｆｉｇｕｒｅｄ ｆｏｒ ｅｘｅｃｕｔｉｏｎ）。１つ以上のプログラムは、電子装置に本開示の請求項または明細書に記載された実施形態による方法を実行させる命令語（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含む。

【0513】

このようなプログラム（ソフトウェアモジュール、ソフトウェア）は、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュ（ｆｌａｓｈ）メモリを含む不揮発性（ｎｏｎ－ｖｏｌａｔｉｌｅ）メモリ、ロム（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的削去可能プログラム可能ＲＯＭ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ディスク記憶装置（ｍａｇｎｅｔｉｃ ｄｉｓｃ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）、コンパクトディスクＲＯＭ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤｓ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃｓ）または他の形態の光記憶装置、磁気カセット（ｍａｇｎｅｔｉｃ ｃａｓｓｅｔｔｅ）に記憶することができる。または、それらの一部または全部の組み合わせからなるメモリに記憶することができる。また、各構成のメモリは複数個含まれてもよい。

【0514】

また、プログラムは、インターネット（Ｉｎｔｅｒｎｅｔ）、イントラネット（Ｉｎｔｒａｎｅｔ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＬＡＮ（Ｗｉｄｅ ＬＡＮ）、またはＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信ネットワーク、またはそれらの組み合わせからなる通信ネットワークを介してアクセス（ａｃｃｅｓｓ）できる付着可能な（ａｔｔａｃｈａｂｌｅ）記憶装置（ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）に記憶することができる。そのような記憶装置は、外部ポートを介して本開示の実施形態を実行する装置に接続することができる。また、通信ネットワーク上の別々の記憶装置が本開示の実施形態を実行する装置に接続することもできる。

【0515】

以下では、本開示の道路インフラを道路に設置する方法について例示的に説明する。より具体的に、以下の説明における構造物は、図２、図２３、および図３４の構造物であり、本開示の構造物の構造および設置方法に関する。

【0516】

以下、本開示の実施形態を示す図４１～図４９を参照して具体的に説明すると、以下の通りである。

【0517】

本開示の一実施形態によれば、本開示の道路インフラセンサ施工構造物の主な構成要素である構造物４１００は、道路または道路の端に立設された垂直フレーム４１１０と、前記垂直フレーム４１１０の上部に前記道路の幅方向に設置される水平フレーム４１２０とを含んで構成され、一例として、「「」字型の街灯や電光掲示板を設置するための「コ」字型の構造物またはハイパスＩＣ構造物であってもよく、道路の上部に水平フレーム４１２０が位置していればどのような構造物でも構わず、後で詳細に説明される音波センサ部４２００が前記水平フレーム４１２０の下部に設置され、道路の上部に位置されてもよい。上述したように、本開示の音波センサ部の位置は例示的なものであり、本開示に記載された位置に限定されない。

【0518】

本開示の一実施形態によれば、本開示の道路インフラセンサ施工構造物の主な構成要素である音波センサ部４２００は、前記構造物４１００の水平フレーム４１２０の下部に設置され、前記道路の上部に位置するように設置され、道路の路面に音波を照射し、前記道路の路面から反射される音波を受信して音波情報を生成することで、受信された音波情報を後述する制御部４３００に伝達して前記制御部４３００で音波情報を周波数に変換して路面の状態を把握することができる。

【0519】

このような、本開示の音波センサ部４２００は、道路の路面に音波信号を発信した後に反射された音波信号を受信し、制御部４３００の制御に従って発信信号を出力する送信機と、前記発信信号が任意の路面に反射して戻ってくる反射信号を受信する受信機と、を含んで構成することができる。

【0520】

本開示の音波センサ部４２００では、前記送信機と受信機が直線状に音波が発信され反射された音波を受信できるように配置されているが、以下で説明される音波センサ４２４０は、送信機と受信機が集積された状態で構成されると表現する。

【0521】

一方、路面の状態を把握するための音波を利用した方式は、一定の角度で送信機と受信機が固定設置されることで道路の路面のうち非常に狭い面積のみ状態が把握されるので、本開示では複数個の音波センサ部４２００で構成される一実施形態と発信され、反射された音波信号を相互に受信できる第１送受信部材４２５０と第２送受信部材４２６０とからなる音波センサ部４２００の他の実施形態を介して従来よりも比較的広い道路の路面状態を把握でき、道路の状態を信頼度高く推定できるようにしている。

【0522】

具体的に、一実施形態の音波センサ部４２００は、前記構造物４１００の水平フレーム４１２０の下部に設置され、前記道路の幅方向に複数個設置されることにより、従来に比べて広い路面の状態を把握でき、路面の状態把握の信頼度を向上させることができる効果を得ることができる。

【0523】

このとき、一実施形態で設けられた複数のセンサ部４２００は、道路の路面に照射され反射される音波の到着時間が全て同じになるように音波の発信時間がそれぞれ設定されることを特徴とするが、これは道路の路面の高さが異なるだけでなく、破損などによる変数などによって反射される音波の到着時間が全て異なることができ、最初の基準となる正常な路面状態の音波の特性が比較的同様に抽出され比較できるように音波の発信時間をそれぞれ設定して到着時間を同じにすることで、路面の状態の把握が早くできるようにするためである。

【0524】

なお、音波の発信時間をそれぞれ設定して到着時間を同じにする理由は、音波の発信時間と到着時間を用いて音波情報を生成する際に、同じ機器の音波センサ部４２００が複数個設置される場合、音波の速度が同じであるため、道路の路面の高さなどによる変数などによって発信時間が全て同じであると、反射される音波の到着時間が全て異なり、それぞれの音波センサ部４２００で生成された音波情報を分析しなければならないが、音波の到着時間のみを有しても容易に音波情報を生成できるようにするために、路面の高さなどによる変数によって音波の到着時間が全て同じになるようにそれぞれの音波センサ部４２００の音波発信時間を調整すると、到着時間が異なる音波情報の差が早く把握され、容易に路面の状態の把握が早くできるためである。

【0525】

一例として、路面の高さに応じた複数の音波センサ部４２００の音波の発信時間をそれぞれ設定して到着時間を同一にすると、路面が一般状態のとき、音波の到着時間が全て同一であり、路面の状態が破損またはブラックアイスなどの状態であるときは、音波の到着時間が予め設定された音波の到着時間と異なり、路面全体の状態が異なることを容易に把握することができるが、複数の音波センサ部４２００のうち一部の音波到着時間が予め設定された音波の到着時間と異なる場合、路面の全体のうち一部の状態が異なることをより早く確認できるようになる。

【0526】

また、一実施形態の複数の音波センサ部４２００は、いずれかの音波センサ部４２００から音波が送信され路面に反射して戻ってくる時間、すなわち、音波飛行周期をｔとしたとき、ｔ／２時間内にｎ個のセンサが路面に音波を順次合計ｎ回以上送信し、残りのｔ／２時間の間反射された音波を受信することで路面情報や交通量情報を定められた周期内にｎ倍以上の総合道路情報をサンプリングすることを特徴とする。

【0527】

すなわち、一実施形態の音波センサ部４２００は、複数の音波センサ部４２００を介してより多くの量の路面情報と交通量情報などの音波情報をサンプリングして生成することによって、向上した信頼度で路面の状態を把握できるようにする効果を実現させる。このとき、後で詳細に説明される他の実施形態の音波センサ部４２００も、音波を介して路面情報や交通量情報などの音波情報をサンプリングして生成することは明らかであろう。

【0528】

また、一実施形態の音波センサ部４２００は、前記構造物４１００の水平フレーム４１２０の下部に上部が結合される結合束４２１０と、前記結合束４２１０の下部に上部が前後および左右方向に回転可能にヒンジ結合される連結棒４２２０と、前記連結棒４２２０の下部の末端に結合される本体４２３０と、前記本体４２３０の下部に設けられた音波センサ４２４０と、を含んで構成される。このとき、前記前後方向は道路の長さ方向を意味し、左右方向は道路の幅方向を意味し、後述する前後および左右方向（横方向）も、このような方向を意味する。

【0529】

前記結合束４２１０は、下部に形成された下部収容溝４２１２と、前記下部収容溝４２１２の内側に設けられたボールベアリングとを含んで構成され、前記連結棒４２２０は、上部の末端に前記結合束４２１０の下部収容溝４２１２の内側に挿入されて結合される上部球体４２２４を含んで構成されるので、前後および左右方向に回転可能にボールヒンジ形態で結合される。

【0530】

このとき、前記下部収容溝４２１２は、前記連結棒４２２０の上部球体４２２４と対応する形状に形成されることは自明であり、前記連結棒４２２０は前記結合束４２１０の下部に上部がボールヒンジ構造に結合されて前後および左右方向に回転可能であり、車両通行および外部の振動によって構造物４１００に振動が発生する場合、揺れが防止される。

【0531】

すなわち、前記連結棒４２２０の下部の末端に結合される本体４２３０と、前記本体４２３０の下部に設けられた音波センサ４２４０とは、前記連結棒４２２０の揺れが防止されることによって共に揺れが防止され、前記音波センサ４２４０で設定された路面に照射される音波を安定して照射できるようにする効果を得ることができる。

【0532】

前記本体４２３０は、一実施形態の音波センサ部４２００と、後で詳細に説明される他の実施形態の音波センサ部４２００において、音波センサ４２４０を安定的に設けて後で詳細に説明される制御部４３００と接続され、前記制御部４３００により制御されるようになる。前記音波センサ４２４０は、上記に説明された通り、送信部と受信部とから構成され、道路の路面に音波を照射した後に反射される音波を受信して音波情報を生成し、前記制御部４３００に生成された音波情報を伝達する。

【0533】

次に、他の実施形態の音波センサ部４２００は、前記構造物４１００の水平フレーム４１２０の下部の一側に設けられ、前記道路の路面に音波を照射または受信する第１送受信部材４２５０と、前記構造物４１００の水平フレーム４１２０の下部の他側に設けられ、前記道路の路面に音波を照射または受信する第２送受信部材４２６０とを含んで構成される。

【0534】

このとき、前記第１送受信部材４２５０は、前記第２送受信部材４２６０で道路に照射され反射された音波を受信できる角度で設けられ、前記第２送受信部材４２６０は、前記第１送受信部材４２５０で道路に照射され反射された音波を受信できる角度で設けられることを特徴とする。

【0535】

すなわち、他の実施形態の音波センサ部４２００は、第１送受信部材４２５０または第２送受信部材４２６０のうちいずれか一方から路面に音波を発信するようにし、反射された音波を第２送受信部材４２６０または第１送受信部材４２５０が受信するようにすることで、第１送受信部材４２５０または第２送受信部材４２６０のうちいずれか一方の音波送信部が故障した場合、他方の音波送信部を用いて道路の路面状態を円滑に把握できる効果を実現させる。

【0536】

また、他の実施形態の音波センサ部４２００は、前記第１送受信部材４２５０と第２送受信部材４２６０のうちいずれか一方の角度を調整し、調整された角度に応じて音波を受信できるように第２送受信部材４２６０または第１送受信部材４２５０を移動できるようにすることで、従来に比べて広い路面の状態を把握できるようにする。

【0537】

より詳細に説明すると、他の実施形態の実施例１として、音波センサ部４２００が設置されるための前記構造物４１００の水平フレーム４１２０は、下部前方に長さ方向に設置される第１レール４１２２と、前記第１レール４１２２に結合され、前記制御部４３００により制御されて前記第１レール４１２２を回転させる回転モータ４１２６と、を含んで構成される。

【0538】

他の実施形態の実施例１の音波センサ部４２００、すなわち、第１送受信部材４２５０と第２送受信部材４２６０は、前記第１レール４１２２の一方側と他方側に設けられ、前記第１レール４１２２の回転に応じて互いに反対方向に移動する結合束４２１０と、前記結合束４２１０の下部に上部が前後および左右方向に回転可能に結合される連結棒４２２０と、前記連結棒４２２０の下部の末端に結合される本体４２３０と、前記本体４２３０の下部に設けられ、前記制御部４３００により制御される駆動モータ４２７０と、前記駆動モータ４２７０の下部に設けられ、前記駆動モータ４２７０により前記道路の幅方向に回転して角度が調整される音波センサ４２４０と、を含んで構成される。

【0539】

すなわち、他の実施形態の実施例１の音波センサ部４２００は、最初に設定された道路の路面区域の音波を受信し、制御部４３００によって第１送受信部材４２５０と第２送受信部材４２６０の角度および道路の幅方向位置を調整することで、最初に設定された道路の路面区域でない他の路面区域の音波を受信できるようにして、従来に比べて広い路面の状態を把握できて路面の状態把握の信頼度を向上させることができる効果が得られる。

【0540】

このとき、前記第１レール４１２２と結合束４２１０の結合関係は、前記第１レール４１２２の一方側と他方側の外周縁にねじ山の方向が異なるように形成され、前記結合束４２１０に前記第１レール４１２２の一方側と他方側とが貫通してねじ結合されることで、前記回転モータ４１２６によって回転される第１レール４１２２に沿って前記結合束４２１０が横方向、すなわち、一方側または他方側方向に移動し、前記第１レール４１２２の両側外周縁に形成されたねじ山に沿って一対の結合束４２１０が互いに反対方向に移動される。

【0541】

また、他の実施形態の実施例２をより詳細に説明すると、音波センサ部４２００が設置されるための前記構造物４１００の水平フレーム４１２０は、下部前方に長さ方向に設置される第１レール４１２２と、下部後方に長さ方向に設置される第２レール４１２４と、前記第１レール４１２２および第２レール４１２４にそれぞれ結合され、後述する制御部４３００によって制御され、前記第１レール４１２２と第２レール４１２４を回転させる回転モータ４１２６と、を含んで構成される。

【0542】

他の実施形態の実施例２の音波センサ部４２００、すなわち、第１送受信部材４２５０と第２送受信部材４２６０は、前記第１レール４１２２または第２レール４１２４のうちいずれか一方にそれぞれ設けられて前記第１レール４１２２または第２レール４１２４の回転に応じて移動する結合束４２１０と、前記結合束４２１０の下部に設けられる本体４２３０と、前記本体４２３０の下部に設けられ、前記制御部４３００によって制御される駆動モータ４２７０と、前記駆動モータ４２７０の下部に設けられ、前記駆動モータ４２７０によって前記道路の幅方向に回転して角度が調整される音波センサ４２４０と、を含んで構成される。

【0543】

すなわち、他の実施形態の実施例２の音波センサ部４２００は、他の実施形態の実施例１と同様に、最初に設定された道路の路面区域の音波を受信し、制御部４３００により第１送受信部材４２５０と第２送受信部材４２６０の角度および道路幅方向位置を調整することで、最初設定された道路の路面区域でない他の路面区域の音波を受信できるようにして、従来に比べて広い路面の状態を把握でき、路面の状態把握の信頼度を向上させることができる効果が得られる。

【0544】

このとき、前記第１レール４１２２と第２レール４１２４および結合束４２１０との結合関係として、前記第１レール４１２２と第２レール４１２４の外周縁にねじ山が形成され、前記結合束４２１０に前記第１レール４１２２と第２レール４１２４が貫通してねじ結合されることで、前記回転モータ４１２６によって回転される第１レール４１２２と第２レール４１２４に沿って前記結合束４２１０が横方向、すなわち、一方側または他方側方向に移動する。

【0545】

また、他の実施形態の実施例１と実施例２の前記駆動モータ４２７０と音波センサ４２４０との結合関係は、作動により左右に回転する駆動モータ４２７０と前記音波センサ４２４０がギアボックス４２８０を介して結合され、後で詳細に説明される制御部４３００によって前記駆動モータ４２７０が制御されることで、音波センサ４２４０の設置された角度が調整される。

【0546】

また、他の実施形態の実施例１と実施例２の第１送受信部材４２５０と第２送受信部材４２６０は、前述した一実施形態の音波センサ部４２００と同様に前記結合束４２１０に前後および左右方向に回転可能にヒンジ結合される連結棒４２２０を含んで構成することができる。

【0547】

より詳細に説明すると、他の実施形態の実施例１と実施例２の前記第１送受信部材４２５０と第２送受信部材４２６０は、前記結合束４２１０の下部に上部が前後および左右方向に回転可能に結合される連結棒４２２０を含んで構成され、前記第１送受信部材４２５０と第２送受信部材４２６０の本体４２３０は、前記連結棒４２２０の下部の末端に結合されることで、一実施形態の音波センサ部４２００の結合束４２１０と連結棒４２２０および本体の構造と同じ構造を有する。このとき、前記結合束４２１０と連結棒４２２０は、先の一実施形態の音波センサ部４２００における構成と同様に構成される。

【0548】

すなわち、他の実施形態の実施例１と実施例２の音波センサ部４２００、すなわち、第１送受信部材４２５０と第２送受信部材４２６０も、前記連結棒４２２０によって構造物４１００に振動が発生する場合、前記連結棒４２２０と本体および音波センサ４２４０の揺れが防止され、より安定的に音波の照射および受信ができるようにする効果が得られる。

【0549】

なお、一実施形態とは異なる実施形態の実施例１と実施例２の本体４２３０は、上部に形成される上部収容溝４２３４と、前記上部収容溝４２３４の内側に設けられたボールベアリングとを含んで構成され、前記連結棒４２２０は、下部の末端に前記本体４２３０の上部収容溝４２３４の内側に挿入して結合される下部球体４２２６を含んで構成することができ、それによって、前記本体４２３０が前記連結棒４２２０に前後および左右方向に回転可能にボールヒンジ状に結合されて揺れを２次に防止することで、より安定的に音波センサ４２４０から音波の発信および受信ができるようにする。

【0550】

また、一実施形態とは異なる実施形態の実施例１と実施例２の連結棒４２２０は、上部外周縁に結合され、中央が貫通するように結合され、前記音波センサ４２４０の上部に位置し、中央が上部に凸の曲面の円形に形成され、下部が開放される一方、内側面に音波の反射が可能な反射層４２２２ａが形成される保護部材４２２２を含んで構成される。

【0551】

すなわち、前記保護部材４２２２は、前記連結棒４２２０が中央を貫通して結合されるが、前記音波センサ４２４０の上部に位置するように結合されることにより、路面から反射された音波の信号が音波センサ４２４０によって直接受信されなくても、前記反射層４２２２ａによって反射され受信されるようにして、できるだけ多くの音波信号を受信できるようにする。

【0552】

これは、通常、可視線（ｌｉｎｅ ｏｆ ｓｉｇｈｔ）方向に直進運動する音波をできるだけ多くの数が受信されるようにすることで、音波による測定信頼度を向上させ、結果として路面の状態の把握の信頼度を向上できるようにする効果が得られる。

【0553】

また、前記保護部材４２２２は、前記音波センサ４２４０の上部を保護して、前記音波センサ４２４０が紫外線または雨水による破損または鳥の排泄物によって音波の受信が妨げられることを最小化することができる。

【0554】

このとき、前記保護部材４２２２が含まれて構成されることにより、前記本体４２３０は上部に設置された複数の補助受信センサ４２３２を含んで構成されるが、前記補助受信センサ４２３２は前記保護部材４２２２の反射層によって反射された音波が前記音波センサ４２４０の上部に位置する本体４２３０によって受信されにくいため、反射された音波をより安定的に受信できるようにする効果を実現する。

【0555】

また、他の実施形態の実施例１と実施例２の回転モータ４１２６は、前記第１レール４１２２と第２レール４１２４にそれぞれ回転ロッドが連結されて結合され、前記水平フレーム４１２０の下部に上部が固定結合される。

【0556】

一方、本開示の一実施形態とは異なる実施形態の音波センサ部４２００は、道路の路面に音波を照射する際、制御部４３００を介して音波の周波数を予め設定された時間ごとに異ならせて照射することを特徴とするが、これは他の周波数によって路面の状態をより詳細に判断できる音波情報を生成できるようにすることで、より信頼度の高い路面の状態を把握できる効果を得ることができる。

【0557】

一例として、本開示の一実施形態とは異なる実施形態の音波センサ部４２００は、通常４０ｋＨｚの音波を路面に照射し、予め設定された時間に達すると、制御部４３００により８０ｋＨｚの音波を路面に照射し、再び予め設定された時間に達すると、制御部４３００により１２０ｋＨｚの音波を路面に照射して、より詳細な路面の状態を判断することができる音波情報を生成できるようにする。

【0558】

すなわち、本開示の一実施形態とは異なる実施形態の音波センサ部４２００は、道路の路面に音波を照射する際、音波の周波数を予め設定された時間ごとに異なるように照射するが、予め設定されたｎ回にわたって照射することにより、路面の状態をより詳細に判断することで、路面の状態把握の信頼度をさらに向上させることができる効果を実現する。

【0559】

本開示の道路インフラセンサ施工構造物の主な構成要素である制御部４３００は、前記構造物４１００の垂直フレーム４１１０に設けられ、前記音波センサ部４２００から音波情報を伝達されて中央管理サーバーに送信するものであり、具体的には前記音波センサ４２４０から伝達された音波情報から音波信号の特性を抽出し、分類して前記路面の状態を把握した後、路面の状態を推定し、推定された路面の状態を中央管理サーバーに送信することにより、路面の現在の状態による事故を未然に防止できる措置が取れるようにする。

【0560】

このような本開示の制御部４３００は、上述した音波センサ４２４０を制御するだけでなく、回転モータ４１２６および駆動モータ４２７０を予め設定された入力値で自動制御するか、または中央管理サーバーの入力情報によって制御する。

【0561】

また、本開示の制御部４３００は、音波センサ４２４０から伝達された音波情報のドメイン上の既定領域に対して周波数変換を行って周波数ドメイン信号を取得する信号変換器と、前記周波数ドメイン信号を入力信号として学習された路面分類モデルに基づいて前記入力信号の特性を抽出し、分類して路面の状態を推定する人工ニューラルネットワークなどを含んで構成することができ、それらを制御する。

【0562】

すなわち、本開示の制御部４３００は、配電盤または端子箱に含まれて一緒に構造物４１００の垂直フレーム４１１０に設置されることができ、中央管理サーバーに音波情報を送信できるように有線または無線の通信部を含んで構成することができる。

【0563】

以上のような本開示の道路インフラセンサ施工構造物を施工する方法について、以下に具体的に説明する。

【0564】

本開示の道路インフラセンサ施工構造物の施工方法は、道路に構造物４１００を設置する構造物設置ステップ４Ｓ１０と、前記構造物４１００に音波センサ部４２００を設置するセンサ設置ステップ４Ｓ２０と、前記構造物４１００に制御部４３００を設置する端子箱設置ステップ４Ｓ３０と、を含んで構成される。

【0565】

前記構造物設置ステップ４Ｓ１０は、道路または道路の端に垂直フレーム４１１０を立設し、前記垂直フレーム４１１０の上部に道路の幅方向に前記水平フレーム４１２０を結合して前記垂直フレーム４１１０と水平フレーム４１２０とを含む構造物４１００を設置する。

【0566】

このとき、前記構造物４１００が図４１～図４４に示す街灯のような「「」字型の場合、上記と同様の方法で設置し、図４５～図４８に示す広告看板構造物のような「コ」字型の場合、一対の垂直フレーム４１１０を立設し、前記一対の垂直フレーム４１１０の上部を連結する水平フレーム４１２０を設ける。

【0567】

また、前述の他の実施形態の音波センサ部４２００が設置される場合、前記水平フレーム４１２０の下部に第１レール４１２２と第２レール４１２４が設けられていることは明らかであろう。

【0568】

一方、本開示の構造物設置ステップ４９１０は、街灯や電光掲示板構造物などの構造物４１００が既に設けられている場合、先行して実施されたことであるので省略することができる。

【0569】

前記センサ設置ステップ４９２０は、前記構造物設置ステップ４９１０以降、道路の路面に音波を照射した後に反射される音波を受信して音波情報を生成する音波センサ部４２００を前記構造物４１００の水平フレーム４１２０に設置することで、上述した結合束４２１０を前記水平フレーム４１２０の下部に設置する。

【0570】

このとき、前記結合束４２１０は、一実施形態の音波センサ部４２００が設置される場合、水平フレーム４１２０の下部に固定結合され、他の実施形態の音波センサ部４２００が設置される場合、水平フレーム４１２０の下部に設置された第１レール４１２２と第２レール４１２４にそれぞれ移動可能に設けられる。

【0571】

前記結合束４２１０は、一実施形態の音波センサ部４２００が設置される場合、下部に結合される連結棒４２２０と、前記連結棒４２２０の外周縁に設置される保護部材４２２２と、前記連結棒４２２０の下部に結合される本体４２３０と、前記本体４２３０の上部に結合される複数の補助受信センサ４２３２と、前記本体４２３０の下部に結合される音波センサ４２４０と、を含むか、または他の実施形態の音波センサ部４２００が設置される場合、下部に結合される連結棒４２２０と、前記連結棒４２２０の外周縁に設置される保護部材４２２２と、前記連結棒４２２０の下部に結合される本体４２３０と、前記本体４２３０の上部に結合される複数の補助受信センサ４２３２と、前記本体４２３０の下部に結合される駆動モータ４２７０と、前記駆動モータ４２７０の下部に結合される音波センサ４２４０と、から構成される音波センサ部４２００が既に結合されている状態である。

【0572】

前記端子箱設置ステップ４９３０は、前記センサ設置ステップ４９２０以降、前記構造物４１００の垂直フレーム４１１０に前記音波センサ部４２００と接続され、中央管理サーバーと有線または無線に接続される制御部４３００を設置することで、前記制御部４３００によって音波センサ部４２００を制御できるように電気的に接続される。

【0573】

このとき、前記端子箱設置ステップ４９３０は、一実施形態の音波センサ部４２００が設けられている場合、複数の音波センサ部４２００に反射されて受信される音波の到着時間が全て同じになるように音波発信時間をそれぞれ設定するか、または他の実施形態の音波センサ部４２００が設けられている場合、最初に設置される第１送受信部材４２５０と第２送受信部材４２６０が相互に発信された音波を受信できるように構成する初期発信設定ステップをさらに含んで構成される。

【0574】

その結果、本開示の道路インフラセンサシステム施工構造物およびその施工方法は、音波によって接触することなく路面の状態を円滑に把握できるだけでなく、従来に比べて広い測定範囲による路面の状態把握に応じた路面の状態推定の信頼度を向上させることができ、直進性を有する音波の特性上、小さな外乱にも受信が難しい問題を反射層４２２２ａが形成された保護部材４２２２を介して多くの音波が受信されるようにすることにより、音波による測定信頼度を高めることができ、車両の通行または外乱による構造物４１００の振動発生時のボールヒンジ構造を通じて音波センサ部４２００の揺れを最小化するとともに構造物４１００の振動によって発生する固有周波数が保護部材４２２２を介して受信されることを最小化することにより、測定誤差を最小化してより高い測定信頼度を向上させることができる効果を得ることができる。

【0575】

上記の本開示の具体的な実施形態では、開示に含まれる構成要素は、提示された具体的な実施形態に従って単数または複数として表されている。ただし、単数または複数の表現は、説明の便宜のために提示した状況に適合するように選択されたものであり、本開示が単数または複数の構成要素に限定されるものではなく、複数で表される構成要素であっても単数で構成されるか、または単数で表される構成要素であっても複数で構成されることができる。

【0576】

一方、本明細書と図面に開示された本開示の実施形態は、本開示の技術内容を容易に説明し、本開示の理解を助けるために特定の例を提示したものに過ぎず、本開示の範囲を限定しようとするものではない。すなわち、本開示の技術的思想に基づく他の変形例が実施可能であることは、本開示の属する技術分野において通常の知識を有する者にとって明らかである。また、本明細書に開示された各実施形態は、必要に応じて互いに組み合わせて運用することができる。例えば、本開示の一実施形態とは異なる一実施形態の一部を互いに組み合わせて本明細書に記載されていない実施形態の形態で実施することができる。

【0577】

一方、本開示の方法を説明する面では、説明の順序は必ずしも実行の順序と対応しているわけではなく、前後関係を変更したり、並列に実行したりすることができる。

【0578】

または、本開示の方法を説明する図面は、本開示の本質を損なわない範囲内で一部の構成要素が省略され、一部の構成要素のみを含むことができる。

【0579】

また、本開示の方法は、開示の本質を損なわない範囲内で、各実施形態に含まれる内容の一部または全部を組み合わせて実行することもできる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37a】

【図37b】

【図37c】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【国際調査報告】