知財求人 - 知財ポータルサイト「IP Force」
▶ フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．の特許一覧 ▶ インテル・ドイチュラント・ゲーエムベーハーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023041051
(43)【公開日】2023-03-23
(54)【発明の名称】路面の状態を検出するための装置および方法
(51)【国際特許分類】
G01W 1/00 20060101AFI20230315BHJP
G01N 21/17 20060101ALI20230315BHJP
【ＦＩ】
G01W1/00 J
G01N21/17 F
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022143927
(22)【出願日】2022-09-09
(31)【優先権主張番号】10 2021 210 047.3
(32)【優先日】2021-09-10
(33)【優先権主張国・地域又は機関】DE
(31)【優先権主張番号】10 2022 201 522.3
(32)【優先日】2022-02-14
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】500242786
【氏名又は名称】フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．
(71)【出願人】
【識別番号】522360116
【氏名又は名称】インテル・ドイチュラント・ゲーエムベーハー
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ディートリヒ・ドゥムラー
(72)【発明者】
【氏名】フランツ・ヴェンニンガー
(72)【発明者】
【氏名】ヴォルフガング・ゲルナー
(72)【発明者】
【氏名】ハラルド・ゴスナー
【テーマコード（参考）】
2G059
【Ｆターム（参考）】
2G059AA05
2G059BB20
2G059EE01
2G059EE05
2G059EE11
2G059FF01
2G059KK04
2G059PP04
(57)【要約】 （修正有）
【課題】路面の状態を検出するための信頼できる堅牢な概念を提供すること。
【解決手段】装置(100)は、入力インターフェース(110)、画像分割器(120)、パラメータ計算器(130)、および分類器(140)を備える。入力インターフェース(110)は、記録情報(150)を取得するように構成されている。画像分割器(120)は、記録情報(150)を複数のウィンドウ(123、126、129)に分割するように構成されている。パラメータ計算器(130)は、ウィンドウ(123、126、129)ごとに少なくとも2つのパラメータを計算するように構成されている。分類器(140)は、ウィンドウ(123、126、129)の状態(160、170)を入力値として検出することと、状態(160、170)を出力値(160、170)として出力することとを行う。
【選択図】図１
【解決手段】装置(100)は、入力インターフェース(110)、画像分割器(120)、パラメータ計算器(130)、および分類器(140)を備える。入力インターフェース(110)は、記録情報(150)を取得するように構成されている。画像分割器(120)は、記録情報(150)を複数のウィンドウ(123、126、129)に分割するように構成されている。パラメータ計算器(130)は、ウィンドウ(123、126、129)ごとに少なくとも2つのパラメータを計算するように構成されている。分類器(140)は、ウィンドウ(123、126、129)の状態(160、170)を入力値として検出することと、状態(160、170)を出力値(160、170)として出力することとを行う。
【選択図】図１
【特許請求の範囲】
【請求項1】
路面(210)の状態(160、170)を検出するための装置(100)であって、
路面の記録情報(150、220)を取得するための入力インターフェース(110)と、
前記記録情報を複数のウィンドウ(123、126、129、226、229)に分割するための画像分割器(120)であって、各ウィンドウが複数の画像要素(135)を備え、各画像要素が少なくとも2つの異なる情報を備える、画像分割器と、
前記ウィンドウ内の各画像要素の少なくとも前記2つの異なる情報を使用することによって、ウィンドウごとに少なくとも2つのパラメータを計算するためのパラメータ計算器(130)と、
前記ウィンドウの前記少なくとも2つのパラメータのタプル(143)に基づいて前記ウィンドウを分類するための分類器(140)であって、前記ウィンドウの前記少なくとも2つのパラメータの前記タプルに基づいて、前記ウィンドウの状態を入力値として検出することと、前記ウィンドウの前記状態(160、170)を出力値(160、170)として出力することとを行うように構成される、前記分類器と、
を備える、装置。
路面の記録情報(150、220)を取得するための入力インターフェース(110)と、
前記記録情報を複数のウィンドウ(123、126、129、226、229)に分割するための画像分割器(120)であって、各ウィンドウが複数の画像要素(135)を備え、各画像要素が少なくとも2つの異なる情報を備える、画像分割器と、
前記ウィンドウ内の各画像要素の少なくとも前記2つの異なる情報を使用することによって、ウィンドウごとに少なくとも2つのパラメータを計算するためのパラメータ計算器(130)と、
前記ウィンドウの前記少なくとも2つのパラメータのタプル(143)に基づいて前記ウィンドウを分類するための分類器(140)であって、前記ウィンドウの前記少なくとも2つのパラメータの前記タプルに基づいて、前記ウィンドウの状態を入力値として検出することと、前記ウィンドウの前記状態(160、170)を出力値(160、170)として出力することとを行うように構成される、前記分類器と、
を備える、装置。
【請求項2】
前記入力インターフェース(110)が、センサから前記記録情報(150、220)を取得するか、またはいくつかのセンサ記録を取得し、前記取得したセンサ記録から前記記録情報(150、220)を組み立てるように構成され、
前記路面(210)の前記記録情報(150、220)が、画像要素(135)ごとに、以下のセンサ記録のグループ、すなわち、
水が第1の吸収率を有する第1の光学帯域幅を有する、前記路面(210)の第1のセンサ記録と、
水が前記第1の吸収率よりも高い第2の吸収率を有する第2の光学帯域幅を有する前記路面(210)の第2のセンサ記録と、
第1の偏光角を有する第1の偏光フィルタを有する第3のセンサ記録と、
第2の偏光角を有する第2の偏光フィルタを有する第4のセンサ記録であって、前記2つの偏光フィルタは、それらの偏光角が異なっている、第4のセンサ記録と、
から少なくとも2つのセンサ記録を備える、請求項1に記載の装置(100)。
前記路面(210)の前記記録情報(150、220)が、画像要素(135)ごとに、以下のセンサ記録のグループ、すなわち、
水が第1の吸収率を有する第1の光学帯域幅を有する、前記路面(210)の第1のセンサ記録と、
水が前記第1の吸収率よりも高い第2の吸収率を有する第2の光学帯域幅を有する前記路面(210)の第2のセンサ記録と、
第1の偏光角を有する第1の偏光フィルタを有する第3のセンサ記録と、
第2の偏光角を有する第2の偏光フィルタを有する第4のセンサ記録であって、前記2つの偏光フィルタは、それらの偏光角が異なっている、第4のセンサ記録と、
から少なくとも2つのセンサ記録を備える、請求項1に記載の装置(100)。
【請求項3】
前記第1の光学帯域幅が、400nmから900nmの間のスペクトル範囲から選択される帯域幅を含み、前記第2の光学帯域幅が、900nmから1200nmの間のスペクトル範囲から選択される帯域幅を含む、請求項2に記載の装置(100)。
【請求項4】
前記第1の光学帯域幅が半値帯域幅において820nmから870nmの間の値を備え、前記第2の光学帯域幅が半値帯域幅において920nmから970nmの間の値を備える、請求項2または3に記載の装置(100)。
【請求項5】
前記第1の偏光フィルタの前記偏光角および前記第2の偏光フィルタの前記偏光角が、互いに対して90°シフトするように寸法決めされる、請求項2から4のいずれか一項に記載の装置(100)。
【請求項6】
前記分類器(140)が、複数の可能なタプル(143)の入力タプル(143)ごとに、複数の異なる状態情報(160、170)の関連付けられる状態情報(160、170)を記憶するメモリ(145)を備え、前記複数の異なる状態情報(160、170)が、たとえば、乾いている状態、濡れている状態、雪状態、黒い氷状態を備える、請求項1から5のいずれか一項に記載の装置(100)。
【請求項7】
前記分類器(140)が、前記タプル(143)の前記少なくとも2つのパラメータを既存の入力タプル(143)の値に丸め、次いで、前記既存の入力タプル(143)を使用することによって前記メモリにアクセスするか、前記分類器(140)が、前記ウィンドウ(123、126、129、226、229)の前記タプル(143)に基づいて、基準に従って前記ウィンドウ(123、126、129、226、229)の前記タプル(143)に最も近い入力タプル(143)を選択するように構成され、次いで、前記選択されたタプル(143)を用いて前記メモリ(145)にアクセスし、前記ウィンドウ(123、126、129、226、229)の前記状態を取得するように構成され、前記基準が、たとえば、前記既存の入力タプル(143)に対する、前記ウィンドウ(123、126、129、226、229)の前記タプル(143)の前記少なくとも2つのパラメータの最小の追加二乗偏差である、請求項6に記載の装置(100)。
【請求項8】
前記分類器(140)が、各タプル(143)に基づいて各ウィンドウ(123、126、129、226、229)の状態(160、170)を検出し、前記路面(210)の前記記録情報(150、220)の各ウィンドウ(123、126、129、226、229)の前記状態(160、170)を出力値(160、170)として出力するために、前記複数のウィンドウ(123、126、129、226、229)の各々に個別のタプル(143)を使用するように構成されている、請求項1から7のいずれか一項に記載の装置(100)。
【請求項9】
前記分類器(140)が、隣接するウィンドウ(123、126、129、226、229)の状態(160、170)を使用することによって、いくつかの隣接するウィンドウ(123、126、129、226、229)の連続領域をブロックごとに分類するように構成される、請求項8に記載の装置(100)。
【請求項10】
前記パラメータ計算器(130)が、吸収コントラストパラメータ、偏光コントラストパラメータ、および反射強度パラメータのグループから少なくとも2つのパラメータを計算するように構成されている、請求項1から9のいずれか一項に記載の装置(100)。
【請求項11】
前記パラメータ計算器(130)が、前記吸収コントラストパラメータを、前記吸収コントラストパラメータの前記値が以下の式の結果の±20%以内の数を備えるように計算するように構成されており、
上式で、
abscontrastが前記結果であり、
nが前記ウィンドウ(123、126、129、226、229)内の画像要素番号であり、
iが前記ウィンドウ(123、126、129、226、229)内の画像要素のインデックスであり、
I850(i)が前記ウィンドウ(123、126、129、226、229)内のi番目の画像要素(135)の前記第1のセンサ記録の強度値であり、
I950(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の前記第2のセンサ記録の強度値である、請求項1から10のいずれか一項に記載の装置(100)。
【数1】
abscontrastが前記結果であり、
nが前記ウィンドウ(123、126、129、226、229)内の画像要素番号であり、
iが前記ウィンドウ(123、126、129、226、229)内の画像要素のインデックスであり、
I850(i)が前記ウィンドウ(123、126、129、226、229)内のi番目の画像要素(135)の前記第1のセンサ記録の強度値であり、
I950(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の前記第2のセンサ記録の強度値である、請求項1から10のいずれか一項に記載の装置(100)。
【請求項12】
前記パラメータ計算器(130)が、前記偏光コントラストパラメータの前記値が、以下の式の結果の±20%以内の数値となるように、前記偏光コントラストパラメータを計算するように構成されており、
上式で、
polcontrastが前記結果であり、
nが前記ウィンドウ(123、126、129、226、229)内の画像要素番号であり、
iが前記ウィンドウ(123、126、129、226、229)内の画像要素のインデックスであり、
Ipol1(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の前記第3のセンサ記録の強度値であり、
Ipol2(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の前記第4のセンサ記録の強度値である、請求項1から11のいずれか一項に記載の装置(100)。
【数2】
polcontrastが前記結果であり、
nが前記ウィンドウ(123、126、129、226、229)内の画像要素番号であり、
iが前記ウィンドウ(123、126、129、226、229)内の画像要素のインデックスであり、
Ipol1(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の前記第3のセンサ記録の強度値であり、
Ipol2(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の前記第4のセンサ記録の強度値である、請求項1から11のいずれか一項に記載の装置(100)。
【請求項13】
前記パラメータ計算器(130)が、前記反射強度パラメータの前記値が以下の式の結果の±20%以内の数値になるように前記反射強度パラメータを計算するように構成されており、
上式で、
refmeanが前記結果であり、
nが前記ウィンドウ(123、126、129、226、229)内の画像要素番号であり、
iが前記ウィンドウ(123、126、129、226、229)内の画像要素のインデックスであり、
Ipol1(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の前記第3のセンサ記録の強度値であり、
Ipol2(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の前記第4のセンサ記録の強度値であり、
I850(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の前記第1のセンサ記録の強度値である、請求項1から12のいずれか一項に記載の装置(100)。
【数3】
refmeanが前記結果であり、
nが前記ウィンドウ(123、126、129、226、229)内の画像要素番号であり、
iが前記ウィンドウ(123、126、129、226、229)内の画像要素のインデックスであり、
Ipol1(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の前記第3のセンサ記録の強度値であり、
Ipol2(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の前記第4のセンサ記録の強度値であり、
I850(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の前記第1のセンサ記録の強度値である、請求項1から12のいずれか一項に記載の装置(100)。
【請求項14】
前記画像分割器(120)が、前記記録情報(150、220)を複数の重複しないウィンドウ(123、126、129、226、229)に分割するように構成されている、請求項1から13のいずれか一項に記載の装置(100)。
【請求項15】
前記画像分割器(120)が、前記記録情報(150、220)を、位置依存のウィンドウサイズを有する複数のウィンドウ(123、126、129、226、229)に分割するように構成されており、近い路面部分を表す前記ウィンドウ(123、126、129、226、229)が、遠い路面部分を表す前記ウィンドウよりも大きい、請求項1から14のいずれか一項に記載の装置(100)。
【請求項16】
前記パラメータ計算器(130)が、前記パラメータの計算の前に、前記記録情報(150、220)の個々のウィンドウ(123、126、129、226、229)に角度補正を適用するように構成されており、前記ウィンドウ(123、126、129、226、229)の各画像要素(135)が、前記路面(210)に対する前記入射光の角度に応じて補正され、近い路面部分を表す前記ウィンドウ(123、126、129、226、229)の補正は、遠い路面部分を表すウィンドウの補正とは異なる、請求項1から15のいずれか一項に記載の装置(100)。
【請求項17】
前記分類器(140)が、前記路面(210)に対する入射光の角度に応じて各タプル(143)を状態(160、170)に関連付けるように構成されている、請求項1から16のいずれか一項に記載の装置(100)。
【請求項18】
請求項1から17のいずれか一項に記載の装置(100)と、インターフェースとを有する輸送手段であって、前記インターフェースが、運転者に前記輸送手段を通知し、および/または前記装置が水の固体状態を検出した場合に前記輸送手段の制御に影響を与えるように構成されている、輸送手段。
【請求項19】
路面(210)の状態(160、170)を検出するための方法であって、
前記路面(210)の記録情報(150、220)を取得するステップと、
前記記録情報(150、220)を複数のウィンドウ(123、126、129、226、229)に分割するステップであって、各ウィンドウ(123、126、129、226、229)が複数の画像要素(135)を備え、各要素(135)が少なくとも2つの異なる情報を備える、ステップと、
前記ウィンドウ(123、126、129、226、229)内の各画像要素の前記少なくとも2つの異なる情報を使用することによって、ウィンドウ(123、126、129、226、229)ごとに少なくとも2つのパラメータを計算するステップと、
前記ウィンドウ(123、126、129、226、229)の前記少なくとも2つのパラメータのタプル(143)に基づいて、前記ウィンドウ(123、126、129、226、229)の状態(160、170)を取得するために、前記ウィンドウ(123、126、129、226、229)の前記少なくとも2つのパラメータの前記タプル(143)に基づいて前記ウィンドウ(123、126、129、226、229)を分類するステップと、
を備える方法。
前記路面(210)の記録情報(150、220)を取得するステップと、
前記記録情報(150、220)を複数のウィンドウ(123、126、129、226、229)に分割するステップであって、各ウィンドウ(123、126、129、226、229)が複数の画像要素(135)を備え、各要素(135)が少なくとも2つの異なる情報を備える、ステップと、
前記ウィンドウ(123、126、129、226、229)内の各画像要素の前記少なくとも2つの異なる情報を使用することによって、ウィンドウ(123、126、129、226、229)ごとに少なくとも2つのパラメータを計算するステップと、
前記ウィンドウ(123、126、129、226、229)の前記少なくとも2つのパラメータのタプル(143)に基づいて、前記ウィンドウ(123、126、129、226、229)の状態(160、170)を取得するために、前記ウィンドウ(123、126、129、226、229)の前記少なくとも2つのパラメータの前記タプル(143)に基づいて前記ウィンドウ(123、126、129、226、229)を分類するステップと、
を備える方法。
【請求項20】
コンピュータまたはプロセッサ上で実行される場合に、請求項19に記載の方法を実行するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、路面の状態を検出するための装置および方法に関する。
【背景技術】
【0002】
安全運転には道路状況の検出が欠かせない。最新の車両は、光学センサなどのセンサを利用して、道路状況の一般的なリスクを推定する。
【0003】
たとえば、車両の前方の状況がカメラで記録される。たとえば、赤、緑、青(RGB)の画像においては、路面の濡れている場所と汚れた場所を区別するのは、どちらも暗いだけであるため困難である。水は透明であるが、様々な効果によって光線の経路が変化するため、RGB画像において水は簡単に見える。現在のオブジェクト検出方法は、歩行者などのオブジェクトを検出するために、RGBデータを使用する。しかしながら、水たまりなどの、単純な形状と、反射や透明度などの複雑な光学的挙動とを有するオブジェクトは、検出が困難である。日光、背景、および地下などの環境変数は、天候に起因する蓄積または堆積物の外観を大幅に変化させ、検出をさらに複雑にする。
【0004】
RGBカメラまたはRGB画像センサは、吸収および/または偏光などの様々な効果を決定することができない。したがって、ローカリゼーションおよび分類方法の結果は、各ケースに大きく依存し、信頼性が低くなる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的は、路面の状態を検出するための信頼できる堅牢な概念を提供することである。
【0006】
この目的は、請求項1に記載の装置、請求項19に記載の方法、または請求項20に記載のコンピュータプログラムによって解決される。
【課題を解決するための手段】
【0007】
本発明の実施形態は、路面の状態を検出するための装置を提供する。この装置は、入力インターフェース、画像分割器、パラメータ計算器、および分類器を備える。
【0008】
入力インターフェースは、カメラ記録などの路面の記録情報を取得するように構成されている。
【0009】
パラメータ計算器は、ウィンドウ内の各画像要素の少なくとも2つの異なる情報を使用することによって、ウィンドウごとに少なくとも2つのパラメータを計算するように構成されている。
【0010】
分類器は、ウィンドウの少なくとも2つのパラメータのタプルに基づいてウィンドウを分類するように構成されている。分類器は、ウィンドウの少なくとも2つのパラメータのタプルに基づいて、ウィンドウの状態を入力値として検出することと、ウィンドウの状態を出力値として出力することとを行うように構成されている。
【0011】
言い換えれば、本発明の装置は、ウィンドウごとの、または基本的な分類を使用する。この基本的な分類は、特に路面のスペクトル吸収および/または反射光の偏光の評価による、センサ記録からの路面の光学特性の抽出に基づいている。
【0012】
ウィンドウごとの分類の場合、画像要素エラーは局所的な影響しか持たないため、基本的またはウィンドウごとの分類により、画像要素エラーに対する装置の回復力が高まる。
【0013】
ウィンドウごとの分類により、ウィンドウごとの評価が可能になる。分類の品質は、ウィンドウと分類の結果との比較を通じて決定され得る。
【0014】
加えて、路面の状態を検出するための現在の画像検出と比較して、本発明の画像センサは、減少した計算労力を使用する。
【0015】
このように、画像センサは、路面の状態の信頼できる堅牢な検出を提供すると同時に、単純なウィンドウごとの評価を提供する。
【0016】
実施形態では、入力インターフェースは、センサから出力情報を取得するか、またはいくつかのセンサ記録を取得し、取得したセンサ記録から記録情報を組み立てるように構成されている。路面の記録情報は、画像要素ごとに、少なくとも4つのセンサ記録のグループから少なくとも2つのセンサ記録を備える。
【0017】
センサ記録のグループは、水が第1の吸収率を有する第1の光学帯域幅を有する路面の第1のセンサ記録を備える。
【0018】
センサ記録のグループは、水が第1の吸収率よりも高い第2の吸収率を有する第2の光学帯域幅を有する路面の第2のセンサ記録を備える。
【0019】
センサ記録のグループは、第1の偏光角を有する第1の偏光フィルタを有する第3のセンサ記録を含む。
【0020】
センサ記録のグループは、第1の偏光角とは異なる第2の偏光角を有する第2の偏光フィルタを有する第4のセンサ記録をさらに備える。
【0021】
路面の記録情報は、画像要素ごとに少なくとも2つのセンサ記録を備える。
【0022】
吸収情報により、記録において特定の吸収特性を持つ特定の材料をより簡単に見つけることが可能になる。
【0023】
たとえば、水が異なる吸収率を有する異なる光学帯域幅を有する第1および第2のセンサ記録を使用することにより、路面上の水の検出が可能になる。
【0024】
偏光フィルタを使用したセンサ記録により、表面で反射された光線を分析することが可能になる。たとえば、液体の水の反射は、主に水平方向の光の高い偏光比を示すが、氷の結晶は光線を散乱させ、波の回転を引き起こす。氷の結晶は、わずかにシフトした方向でより強く散乱された偏光をもたらす。
【0025】
たとえば、異なる偏光角を持つ偏光フィルタを使用したセンサ記録を使用することにより、水、雪、黒い氷を区別することが可能になる。
【0026】
実施形態では、第1の光学帯域幅は、400nmから900nmの間のスペクトル範囲から選択される帯域幅を備える。同時に、第2の光学帯域幅は、900nmから1200nmの間のスペクトル範囲から選択される帯域幅を備える。
【0027】
第1の光学帯域幅および第2の光学帯域幅の上述の選択により、水を含む領域における記録間の最適な強度差が可能になる。
【0028】
実施形態では、第1の光学帯域幅は半値帯域幅において820nmから870nmの間の値を備え、第2の光学帯域幅は半値帯域幅において920nmから970nmの間の値を備える。
【0029】
第1の光学帯域幅と第2の光学帯域幅の最適な選択により、水を含む領域における記録間の可能な最大の強度差が可能になる。
【0030】
実施形態では、第1の偏光フィルタの偏光角および第2の偏光フィルタの偏光角は、互いに対して90°シフトするように寸法決めされる。
【0031】
均等に分散された偏光角は、表面で反射された光線に関する最大量の情報を提供する。2つの偏光フィルタは、光線の偏光面に関する十分な情報を提供する。
【0032】
実施形態では、分類器は、複数の可能なタプルの入力タプルごとに、複数の異なる状態情報の関連付けられる状態情報を記憶するメモリを備える。複数の異なる状態情報は、たとえば、乾いている状態、濡れている状態、雪状態、黒い氷状態を備える。
【0033】
「濡れている」、「乾いている」、「雪」、「黒い氷」などの可能な状態の状態情報を記憶し、状態情報を入力タプルと比較する分類器を使用すると、画像検出などの現在の方法とは対照的に、必要な計算量が減少する。
【0034】
実施形態では、分類器は、タプルの少なくとも2つのパラメータを既存の入力タプルの値に丸め、次いで、ウィンドウの状態を取得するために、既存の入力タプルを使用することによってストレージにアクセスするように構成されている。
【0035】
他の実施形態では、分類器は、ウィンドウのタプルに基づいて、基準に従ってウィンドウのタプルに最も近い入力タプルを選択するように構成されている。たとえば、基準は、既存の入力タプルに対する、ウィンドウのタプルの少なくとも2つのパラメータの最小の追加二乗偏差である。次いで、分類器は、選択されたタプルを用いてメモリにアクセスし、ウィンドウの状態を取得するように構成されている。
【0036】
分類器のメモリは、可能な状態のすべての状態情報を備えることができない。タプルの少なくとも2つのパラメータが分類器のメモリ内で見つからない場合、分類器は比較の前にパラメータをわずかに変更することがある。したがって、タプルの変更されたパラメータはストレージにおいて見つけることができる。これにより、ウィンドウの状態は引き続き検出可能である。
【0037】
実施形態では、分類器は、各タプルに基づいて各ウィンドウの状態を検出し、路面の記録情報の各ウィンドウの状態を出力値として出力するために、複数のウィンドウの各々に個別のタプルを使用するように構成されている。これにより、ウィンドウごと、つまり基本的な分類が行われる。
【0038】
ウィンドウごとの分類により、画像要素エラーに対する装置の回復力が高まる。ウィンドウの画像要素は、ウィンドウの状態にのみ影響を与える可能性がある。画像要素または画像要素エラーの影響は、ウィンドウに限定される。
【0039】
ウィンドウごとの分類により、ウィンドウごとの評価も可能になる。分類の品質は、ウィンドウと分類の結果との比較によって決定され得る。
【0040】
実施形態では、分類器は、隣接するウィンドウの状態を使用することによって、いくつかの隣接するウィンドウの連続領域をブロックごとに分類するように構成されている。
【0041】
次に、隣接する複数のウィンドウから作成される連続領域が定義される。連続領域の境界の決定は、運転状況における様々な危険を回避するために非常に役立つ。
【0042】
実施形態では、パラメータ計算器は、吸収コントラストパラメータ、偏光コントラストパラメータ、および反射強度パラメータのグループから少なくとも2つのパラメータを計算するように構成されている。
【0043】
たとえば、吸収コントラストパラメータは、吸収コントラストパラメータの値が以下の式の結果の±20%以内の数を備えるように計算される。
【0044】
【数1】
【0045】
上式で、
abscontrastは結果であり、
nはウィンドウ内の画像要素番号であり、
iはウィンドウ内の画像要素のインデックスであり、
I850(i)はウィンドウ内のi番目の画像要素の第1のセンサ記録の強度値であり、
I950(i)はウィンドウ内のi番目の画像要素の第2のセンサ記録の強度値である。
abscontrastは結果であり、
nはウィンドウ内の画像要素番号であり、
iはウィンドウ内の画像要素のインデックスであり、
I850(i)はウィンドウ内のi番目の画像要素の第1のセンサ記録の強度値であり、
I950(i)はウィンドウ内のi番目の画像要素の第2のセンサ記録の強度値である。
【0046】
たとえば、偏光コントラストパラメータは、偏光コントラストパラメータの値が以下の式の結果の±20%以内の数を備えるように計算される。
【0047】
【数2】
【0048】
上式で、
polcontrastは結果であり、
nはウィンドウ内の画像要素番号であり、
iはウィンドウ内の画像要素のインデックスであり、
Ipol1(i)はウィンドウ内のi番目の画像要素の第3のセンサ記録の強度値であり、
Ipol2(i)はウィンドウ内のi番目の画像要素の第4のセンサ記録の強度値である。
polcontrastは結果であり、
nはウィンドウ内の画像要素番号であり、
iはウィンドウ内の画像要素のインデックスであり、
Ipol1(i)はウィンドウ内のi番目の画像要素の第3のセンサ記録の強度値であり、
Ipol2(i)はウィンドウ内のi番目の画像要素の第4のセンサ記録の強度値である。
【0049】
たとえば、反射強度パラメータは、反射強度パラメータの値が以下の式の結果の±20%以内の数値を備えるように計算される。
【0050】
【数3】
【0051】
上式で、
refmeanは結果であり、
nはウィンドウ内の画像要素番号であり、
iはウィンドウ内の画像要素のインデックスであり、
Ipol1(i)はウィンドウ内のi番目の画像要素の第3のセンサ記録の強度値であり、
Ipol2(i)はウィンドウ内のi番目の画像要素の第4のセンサ記録の強度値であり、
I850(i)はウィンドウ内のi番目の画像要素の第1のセンサ記録の強度値である。
refmeanは結果であり、
nはウィンドウ内の画像要素番号であり、
iはウィンドウ内の画像要素のインデックスであり、
Ipol1(i)はウィンドウ内のi番目の画像要素の第3のセンサ記録の強度値であり、
Ipol2(i)はウィンドウ内のi番目の画像要素の第4のセンサ記録の強度値であり、
I850(i)はウィンドウ内のi番目の画像要素の第1のセンサ記録の強度値である。
【0052】
実施形態では、画像分割器は、記録情報を複数の重複しないウィンドウに分割するように構成されている。
【0053】
重複しないウィンドウの数は、重複する可能性のあるウィンドウの数よりも大幅に少なくなる。ウィンドウの数を重複しないウィンドウの数に減らすと、計算の労力が節約される。
【0054】
実施形態では、画像分割器は、記録情報を、位置依存のウィンドウサイズを有する複数のウィンドウに分割するように構成されており、近い路面部分を表すウィンドウは、遠い路面部分を表すウィンドウよりも大きい。
【0055】
位置依存または動的ウィンドウサイズの場合、ウィンドウサイズはウィンドウの位置に基づいて自動的に制御される。最適なウィンドウサイズにより、可能性のある画像要素エラーに対するウィンドウの回復力が高まる。ウィンドウ内の画像要素の数が多いと、エラーのある画像要素を無視することが可能になる。同時に、最適な画像ウィンドウサイズにより、状態の誤った解釈の可能性が減少する。遠くのオブジェクトは画像内で小さく、近くのオブジェクトよりも簡単に背景と混ざり合うことができる。
【0056】
実施形態では、パラメータ計算器は、パラメータの計算の前に、記録情報の個々のウィンドウに角度補正を適用するように構成されている。ウィンドウの各画像要素は、路面に対する入射光の角度に応じて補正される。近い路面部分を表すウィンドウの補正は、遠い路面部分を表すウィンドウの補正とは異なる。
【0057】
道路に対するカメラの角度は、画像内の知られているウィンドウ位置を用いて決定され得る。たとえば、カメラの開口角が22°の場合、画像の上端のピクセルは路面に対して1°未満で傾斜し、下端では約22°傾斜している。これは、反射挙動に大きな違いをもたらす。角度補正により、これらの差を最小限に抑えることができる。
【0058】
実施形態では、分類器は、路面に対する入射光の角度に応じて各タプルを状態に関連付けるように構成されている。
【0059】
道路に対するカメラの角度は、画像内の知られているウィンドウ位置を用いて決定され得る。たとえば、カメラの開口角が22°の場合、画像の上端のピクセルは路面に対して1°未満で傾斜し、下端では約22°傾斜している。これは、反射挙動に大きな違いをもたらす。はるかに多くのトレーニングデータを利用することにより、この角度情報を組み込むことで、より正確な分類につながる可能性がある。
【0060】
本発明の実施形態は、装置およびインターフェースを備えた輸送手段または車両を提供する。インターフェースは、運転者に輸送手段を通知するように、および/または装置が水の固体状態を検出した場合に輸送手段の制御に影響を与えるように構成されている。
【0061】
輸送手段の装置は、実際の危険性または牽引力喪失の実際のリスクを導き出すために、濡れている領域、水たまり、および氷または雪の層の予防的なローカリゼーションおよび検出を通じて安全な運転を可能にする。実際に牽引力が喪失する前の予防的なリスク検出により、システムは、インターフェースを介してドライバーに通知すること、または輸送手段の制御に影響を与えることが可能になる。
【0062】
本発明によるさらなる実施形態は、対応する方法またはコンピュータプログラムを提供する。
【0063】
本発明の実施形態は、水特有の光学特性を組み込むことによって、路面上の水および氷を検出するための装置および方法を提供する。
【0064】
続いて、添付の図面を参照して、本発明による実施形態をより詳細に説明する。
【図面の簡単な説明】
【0065】
【図1】入力インターフェース、画像分割器、パラメータ計算器、および分類器を有する装置の実施形態の概略図を示す図である。
【図2】路面と、路面の記録情報を表すフレームとを示し、2つのウィンドウが異なるサイズを有する、概略的な斜視図である。
【図3】各ドットがウィンドウを表し、x、y、z座標がウィンドウの3つのパラメータ、すなわち吸収コントラストパラメータ、偏光コントラストパラメータ、および反射強度パラメータを表す三次元図である。
【発明を実施するための形態】
【0066】
図1は、路面の状態を検出するための装置100の実施形態の概略図を示している。装置は、入力インターフェース110、画像分割器120、パラメータ計算器130、および分類器140を備える。
【0067】
入力インターフェース110は、路面の記録情報150を取得することと、それを画像分割器120に転送することとを行うように構成されている。
【0068】
画像分割器120は、記録情報150を複数のウィンドウに分割し、ウィンドウ、たとえばウィンドウ123、126および129をパラメータ計算器130に転送する。
【0069】
あらかじめ定められたウィンドウサイズに加えて、画像分割器120はまた、動的ウィンドウサイズを使用し得る。動的ウィンドウサイズの場合、ウィンドウサイズは画像内のウィンドウ位置に応じて自動的に制御される。動的ウィンドウサイズの例を図2に示す。
【0070】
各ウィンドウは複数の画像要素135を備え、各画像要素135は少なくとも2つの異なる情報を備える。
【0071】
パラメータ計算器130は、ウィンドウごとに1つのタプル143を作成するように構成され、タプルは少なくとも2つのパラメータを備える。少なくとも2つのパラメータは、各画像要素の少なくとも2つの異なる情報を使用することによって計算される。タプル143は分類器140に転送される。
【0072】
分類器140は、異なる可能な状態情報を有するメモリ145および/またはデータベース145を含む。分類器140は、各タプル143を、メモリ145および/またはデータベース145に記憶された複数の状態情報と比較して、この比較に基づいて記録情報150のウィンドウ126または129の状態160を検出するように構成されている。
【0073】
【0074】
記録情報150全体の状態170は、個々のウィンドウの状態160から組み立てられる。ここで、分類器140は、同じ状態のいくつかの隣接するウィンドウを相互に分類し得る。
【0075】
図2は、グリッドパターンを有する路面210の概略的な斜視図200を示している。グリッドパターンの各ボックスは、1m×1mの道路の正方形の領域を表している。図2は、路面の記録情報220を表すフレーム220をさらに示している。記録情報220は、図1の記録情報150と同様である。記録情報220は、異なるウィンドウサイズを有する2つのウィンドウ226および229を備える。
【0076】
図1の記録情報150と同様に、記録情報220は、入力インターフェース110を介して画像分割器120に転送される。画像分割器は、記録220を複数のウィンドウに分割するように構成されている。記録された画像、またはフレーム220内の記録情報は、ウィンドウの助けを借りて分析される。
【0077】
ここで、ウィンドウ226または229などのウィンドウが、記録された画像または記録された画像の一部を分析するために選択される。ウィンドウのサイズは、x方向とy方向のピクセル数または画像要素nx×nyを使用して記述される。ピクセル数が多いほど、平均化による個々のピクセルのエラーまたは誤解を防ぐことができるが、これにより、パラメータの計算および/または分類などの動作を十分に高速に実行できるようにするために必要な計算能力が増加する。しかしながら、選択したウィンドウが識別されるオブジェクトよりもかなり大きい場合、オブジェクトは平均化によって背景と混合される。
【0078】
たとえば8×4、8×8、16×16、32×32のあらかじめ定められたウィンドウサイズに加えて、図1の画像分割器120は、動的ウィンドウサイズを使用し得る。動的ウィンドウサイズの場合、ウィンドウサイズは画像内のウィンドウ位置に応じて自動的に制御される。
【0079】
図2は、異なるサイズの2つの画像226および229を示している。画像の上部領域におけるウィンドウ226は、画像の下部領域におけるウィンドウ229よりかなり小さい。ウィンドウ226、229のサイズは、画像位置依存または動的な方法で決定される。カメラに対する表面積の距離は、画像位置の高さ、またはy座標によって変化する。遠方の表面領域は、画像内で近方の表面領域よりも小さく、画像の上部領域に位置している。したがって、画像の上部領域における最適なウィンドウサイズは、画像の下部領域における最適なウィンドウサイズよりも小さくなる。動的なウィンドウサイズは、離れた部分またはウィンドウに必要な精度を保証し、より近いオブジェクトの良好な平均化を可能にする。
【0080】
センサの記録は、選択されたウィンドウまたは動的ウィンドウを使用して、ピクセルごとまたは画像要素ごとにスキャンされ、部分画像またはウィンドウからのデータが処理される。ウィンドウ内のピクセル数は、式n=nx・nyを用いて計算される。動的ウィンドウサイズの場合、ウィンドウのピクセル数はウィンドウの位置に応じて動的に定義される。
【0081】
各ウィンドウは、n個の画像要素などの複数の画像要素を含み、各画像要素は、少なくとも2つの異なる情報を備える。少なくとも2つの異なる情報を使用することによって、図1のパラメータ計算器130などのパラメータ計算器は、ウィンドウごとに、吸収コントラストパラメータ、偏光コントラストパラメータ、および反射強度パラメータのグループから少なくとも2つのパラメータを作成する。たとえば、パラメータ計算器は、少なくとも2つのパラメータの値が以下の式の結果の±20%以内になるように、少なくとも2つのパラメータを計算し得る。
【0082】
【数4】
【0083】
【数5】
【0084】
【数6】
【0085】
上式で、
abscontrastは吸収コントラストパラメータであり、
polcontrastは偏光コントラストパラメータであり、
refmeanは反射強度パラメータであり、
nはウィンドウ内の画像要素番号であり、
iはウィンドウ内の画像要素のインデックスであり、
I850(i)はウィンドウ内のi番目の画像要素の第1のセンサ記録の強度値であり、
I950(i)はウィンドウ内のi番目の画像要素の第2のセンサ記録の強度値であり、
Ipol1(i)はウィンドウ内のi番目の画像要素の第3のセンサ記録の強度値であり、
Ipol2(i)はウィンドウ内のi番目の画像要素の第4のセンサ記録の強度値である。
abscontrastは吸収コントラストパラメータであり、
polcontrastは偏光コントラストパラメータであり、
refmeanは反射強度パラメータであり、
nはウィンドウ内の画像要素番号であり、
iはウィンドウ内の画像要素のインデックスであり、
I850(i)はウィンドウ内のi番目の画像要素の第1のセンサ記録の強度値であり、
I950(i)はウィンドウ内のi番目の画像要素の第2のセンサ記録の強度値であり、
Ipol1(i)はウィンドウ内のi番目の画像要素の第3のセンサ記録の強度値であり、
Ipol2(i)はウィンドウ内のi番目の画像要素の第4のセンサ記録の強度値である。
【0086】
【0087】
図3は、図2のウィンドウ226および229と同様に、各ドットがウィンドウを表す三次元図、または3Dプロット300である。3D図内のドットのx、y、z座標はウィンドウの3つのパラメータ、すなわち吸収コントラストパラメータ、偏光コントラストパラメータ、および反射強度パラメータを表している。
【0088】
3D図300は、異なる状態の異なる路面を表すいくつかのウィンドウから作成された。たとえば、分類器のデータベース内の状態ファイルは、3D図300を用いて視覚化され得る。ウィンドウのパラメータ、および関連付けられる状態は、分類器のメモリまたはデータベースに記憶される。3D図300において、状態「氷」、「濡れている」、「乾いている」、および「雪」は、色または異なる陰影を用いて表される。
【0089】
分類器は、この3D図300に新しいウィンドウまたは新しいドットを追加し、新しいドットの位置または領域に基づいてウィンドウの状態を検出する。
【0090】
同じ道路状態の領域を測定すると、同じ領域に位置するタプルが得られることがすぐに明らかになる。これにより、計測学的な分離、すなわち状態の分類が可能になる。明らかな雲、または明確に分離された領域が明らかになった場合、実際に状態を計測学的な方法で互いに分離することができる。特定の利点は、この方法が、たとえば、第1に一般的なオブジェクトを検索し、次いで、それらをアンカでマークして、さらなるステップにおいてマークするか、それらにラベルを付けるが、ウィンドウ全体に関係なく個々のウィンドウを評価する、多段畳み込みニューラルネットワークのオブジェクト検出方法に基づいていないことである。これにより、邪魔になるオブジェクトなどの干渉に対して本発明の概念が非常に堅牢になるだけでなく、本発明の概念が非常に理解しやすく、したがってその機能に関して検証するのも非常に容易になる。
【0091】
検出の質は、データの数によって異なる。追加のデータを使用すると、状態をより細かく使用することができる。これは、他のカメラまたはフィルタで記録された実際のデータ、または既存のカメラ画像から様々な方法で抽出された情報である可能性がある。
【0092】
さらに、分類器は、ウィンドウの位置、またはカメラまでの距離も考慮する場合がある。画像内の知られているウィンドウ位置を使用して、道路に対するカメラの角度が決定され得る。たとえば、本実施形態におけるカメラの開口角は22°である。したがって、画像の上端のピクセルは路面に対して1°未満で傾斜し、下端のピクセルは約22°傾斜しており、反射挙動に大きな違いをもたらす。この情報を組み込むと、より正確な分類につながる可能性があるが、より多くのトレーニングデータが必要になる。
【0093】
いくつかの態様はデバイスのコンテキスト内で説明されているが、前記態様は、デバイスのブロックまたは構造コンポーネントも対応する方法ステップとして、または方法ステップの機能として理解されるように、対応する方法の説明も表すことが理解される。それとの類推により、方法ステップのコンテキスト内で、または方法ステップとして説明された態様はまた、対応するブロック、あるいは対応するデバイスの詳細または機能の説明を表す。方法ステップの一部またはすべては、ハードウェアデバイスによって(またはハードウェアデバイスを使用して)実行され得る。いくつかの実施形態では、最も重要な方法ステップの一部またはいくつかは、そのようなデバイスによって実行され得る。
【0094】
特定の実装形態の要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアにおいて実装され得る。実装形態は、たとえば、フロッピーディスク、DVD、ブルーレイディスク、CD、ROM、PROM、EPROM、EEPROMまたはフラッシュメモリ、ハードディスク、あるいは、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働し得る、または協働する、電子的に読取り可能な制御信号が記憶されている任意の他の磁気または光学メモリなどのデジタルストレージ媒体を使用しながら実施されてもよい。これが、デジタルストレージ媒体がコンピュータ可読であり得る理由である。
【0095】
したがって、本発明によるいくつかの実施形態は、本明細書に記載の方法のうちのいずれかが実行されるようにプログラム可能なコンピュータシステムと協働できる電子的に読取り可能な制御信号を備えるデータキャリアを備える。
【0096】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装されてよく、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに、方法のうちのいずれかを実行するために有効である。
【0097】
プログラムコードはまた、たとえば、機械可読媒体に記憶され得る。
【0098】
他の実施形態は、本明細書に記載の方法のうちのいずれかを実行するためのコンピュータプログラムを含み、前記コンピュータプログラムは、機械可読キャリアに記憶される。
【0099】
言い換えれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法のうちのいずれかを実行するためのプログラムコードを有するコンピュータプログラムである。
【0100】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のいずれかを実行するためのコンピュータプログラムが記録されるデータキャリア(またはデジタル記憶媒体またはコンピュータ可読媒体)である。
【0101】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちのいずれかを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスはたとえば、データ通信リンクを介して、たとえばインターネットを介して送信されるように構成され得る。
【0102】
さらなる実施形態は、本明細書に記載の方法のうちのいずれかを実行するように構成または適合された、たとえばコンピュータまたはプログラマブルロジックデバイスなどの処理ユニットを含む。
【0103】
さらなる実施形態は、本明細書に記載の方法のうちのいずれかを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【0104】
本発明によるさらなる実施形態は、本明細書に記載の方法のうちの少なくとも1つを実行するためのコンピュータプログラムを受信機に送信するように構成されたデバイスまたはシステムを含む。送信は、たとえば、電子的または光学的であり得る。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイス、または同様のデバイスであり得る。デバイスまたはシステムは、たとえば、コンピュータプログラムを受信機に送信するためのファイルサーバを含み得る。
【0105】
いくつかの実施形態では、本明細書に記載の方法の機能の一部またはすべてを実行するために、プログラマブルロジックデバイス(たとえば、フィールドプログラマブルゲートアレイ、FPGA)が使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちのいずれかを実行するために、マイクロプロセッサと協働し得る。一般に、方法は、いくつかの実施形態では、任意のハードウェアデバイスによって実行される。前記ハードウェアデバイスは、コンピュータプロセッサ(CPU)などの任意の普遍的に適用可能なハードウェアであってもよく、またはASICなどの方法に固有のハードウェアであってもよい。
【0106】
上述の実施形態は、本発明の原理の例示を表しているにすぎない。他の当業者は、本明細書に記載された構成および詳細の修正および変形を理解するであろうことが理解される。これが、本発明が、実施形態の説明および議論によって本明細書に提示された特定の詳細によってではなく、以下の特許請求の範囲によってのみ限定されることが意図される理由である。
【符号の説明】
【0107】
100 装置
110 入力インターフェース
120 画像分割器
123 ウィンドウ
126 ウィンドウ
129 ウィンドウ
130 パラメータ計算器
135 画像要素
140 分類器
143 タプル
145 メモリ
145 データベース
150 記録情報
160 状態
170 状態
200 斜視図
210 路面
220 記録情報
220 フレーム
226 ウィンドウ
229 ウィンドウ
300 3D図
110 入力インターフェース
120 画像分割器
123 ウィンドウ
126 ウィンドウ
129 ウィンドウ
130 パラメータ計算器
135 画像要素
140 分類器
143 タプル
145 メモリ
145 データベース
150 記録情報
160 状態
170 状態
200 斜視図
210 路面
220 記録情報
220 フレーム
226 ウィンドウ
229 ウィンドウ
300 3D図
【図1】
【図2】
【図3】
【手続補正書】
【提出日】2023-02-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
路面(210)の状態(160、170)を検出するための装置(100)であって、
路面の記録情報(150、220)を取得するための入力インターフェース(110)と、
前記記録情報を複数のウィンドウ(123、126、129、226、229)に分割するための画像分割器(120)であって、各ウィンドウが複数の画像要素(135)を備え、各画像要素が少なくとも2つの異なる情報を備える、画像分割器と、
前記ウィンドウ内の各画像要素の少なくとも前記2つの異なる情報を使用することによって、ウィンドウごとに少なくとも2つのパラメータを計算するためのパラメータ計算器(130)と、
前記ウィンドウの前記少なくとも2つのパラメータのタプル(143)に基づいて前記ウィンドウを分類するための分類器(140)であって、前記ウィンドウの前記少なくとも2つのパラメータの前記タプルに基づいて、前記ウィンドウの状態を入力値として検出することと、前記ウィンドウの前記状態(160、170)を出力値(160、170)として出力することとを行うように構成される、前記分類器と、
を備える、装置。
路面の記録情報(150、220)を取得するための入力インターフェース(110)と、
前記記録情報を複数のウィンドウ(123、126、129、226、229)に分割するための画像分割器(120)であって、各ウィンドウが複数の画像要素(135)を備え、各画像要素が少なくとも2つの異なる情報を備える、画像分割器と、
前記ウィンドウ内の各画像要素の少なくとも前記2つの異なる情報を使用することによって、ウィンドウごとに少なくとも2つのパラメータを計算するためのパラメータ計算器(130)と、
前記ウィンドウの前記少なくとも2つのパラメータのタプル(143)に基づいて前記ウィンドウを分類するための分類器(140)であって、前記ウィンドウの前記少なくとも2つのパラメータの前記タプルに基づいて、前記ウィンドウの状態を入力値として検出することと、前記ウィンドウの前記状態(160、170)を出力値(160、170)として出力することとを行うように構成される、前記分類器と、
を備える、装置。
【請求項2】
前記入力インターフェース(110)が、センサから前記記録情報(150、220)を取得するか、またはいくつかのセンサ記録を取得し、前記取得したセンサ記録から前記記録情報(150、220)を組み立てるように構成され、
前記路面(210)の前記記録情報(150、220)が、画像要素(135)ごとに、以下のセンサ記録のグループ、すなわち、
水が第1の吸収率を有する第1の光学帯域幅を有する、前記路面(210)の第1のセンサ記録と、
水が前記第1の吸収率よりも高い第2の吸収率を有する第2の光学帯域幅を有する前記路面(210)の第2のセンサ記録と、
第1の偏光角を有する第1の偏光フィルタを有する第3のセンサ記録と、
第2の偏光角を有する第2の偏光フィルタを有する第4のセンサ記録であって、前記2つの偏光フィルタは、それらの偏光角が異なっている、第4のセンサ記録と、
から少なくとも2つのセンサ記録を備える、請求項1に記載の装置(100)。
前記路面(210)の前記記録情報(150、220)が、画像要素(135)ごとに、以下のセンサ記録のグループ、すなわち、
水が第1の吸収率を有する第1の光学帯域幅を有する、前記路面(210)の第1のセンサ記録と、
水が前記第1の吸収率よりも高い第2の吸収率を有する第2の光学帯域幅を有する前記路面(210)の第2のセンサ記録と、
第1の偏光角を有する第1の偏光フィルタを有する第3のセンサ記録と、
第2の偏光角を有する第2の偏光フィルタを有する第4のセンサ記録であって、前記2つの偏光フィルタは、それらの偏光角が異なっている、第4のセンサ記録と、
から少なくとも2つのセンサ記録を備える、請求項1に記載の装置(100)。
【請求項3】
前記第1の光学帯域幅が、400nmから900nmの間のスペクトル範囲から選択される帯域幅を含み、前記第2の光学帯域幅が、900nmから1200nmの間のスペクトル範囲から選択される帯域幅を含む、請求項2に記載の装置(100)。
【請求項4】
前記第1の光学帯域幅が半値帯域幅において820nmから870nmの間の値を備え、前記第2の光学帯域幅が半値帯域幅において920nmから970nmの間の値を備える、請求項2に記載の装置(100)。
【請求項5】
前記第1の偏光フィルタの前記偏光角および前記第2の偏光フィルタの前記偏光角が、互いに対して90°シフトするように寸法決めされる、請求項2に記載の装置(100)。
【請求項6】
前記分類器(140)が、複数の可能なタプル(143)の入力タプル(143)ごとに、複数の異なる状態情報(160、170)の関連付けられる状態情報(160、170)を記憶するメモリ(145)を備え、前記複数の異なる状態情報(160、170)が、たとえば、乾いている状態、濡れている状態、雪状態、黒い氷状態を備える、請求項1に記載の装置(100)。
【請求項7】
前記分類器(140)が、前記タプル(143)の前記少なくとも2つのパラメータを既存の入力タプル(143)の値に丸め、次いで、前記既存の入力タプル(143)を使用することによって前記メモリにアクセスするか、前記分類器(140)が、前記ウィンドウ(123、126、129、226、229)の前記タプル(143)に基づいて、基準に従って前記ウィンドウ(123、126、129、226、229)の前記タプル(143)に最も近い入力タプル(143)を選択するように構成され、次いで、前記選択されたタプル(143)を用いて前記メモリ(145)にアクセスし、前記ウィンドウ(123、126、129、226、229)の前記状態を取得するように構成され、前記基準が、たとえば、前記既存の入力タプル(143)に対する、前記ウィンドウ(123、126、129、226、229)の前記タプル(143)の前記少なくとも2つのパラメータの最小の追加二乗偏差である、請求項6に記載の装置(100)。
【請求項8】
前記分類器(140)が、各タプル(143)に基づいて各ウィンドウ(123、126、129、226、229)の状態(160、170)を検出し、前記路面(210)の前記記録情報(150、220)の各ウィンドウ(123、126、129、226、229)の前記状態(160、170)を出力値(160、170)として出力するために、前記複数のウィンドウ(123、126、129、226、229)の各々に個別のタプル(143)を使用するように構成されている、請求項1に記載の装置(100)。
【請求項9】
前記分類器(140)が、隣接するウィンドウ(123、126、129、226、229)の状態(160、170)を使用することによって、いくつかの隣接するウィンドウ(123、126、129、226、229)の連続領域をブロックごとに分類するように構成される、請求項8に記載の装置(100)。
【請求項10】
前記パラメータ計算器(130)が、吸収コントラストパラメータ、偏光コントラストパラメータ、および反射強度パラメータのグループから少なくとも2つのパラメータを計算するように構成されている、請求項1に記載の装置(100)。
【請求項11】
前記パラメータ計算器(130)が、吸収コントラストパラメータを、前記吸収コントラストパラメータの前記値が以下の式の結果の±20%以内の数を備えるように計算するように構成されており、
上式で、
abscontrastが前記結果であり、
nが前記ウィンドウ(123、126、129、226、229)内の画像要素番号であり、
iが前記ウィンドウ(123、126、129、226、229)内の画像要素のインデックスであり、
I850(i)が前記ウィンドウ(123、126、129、226、229)内のi番目の画像要素(135)の第1のセンサ記録の強度値であり、
I950(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の第2のセンサ記録の強度値である、請求項1に記載の装置(100)。
【数1】
abscontrastが前記結果であり、
nが前記ウィンドウ(123、126、129、226、229)内の画像要素番号であり、
iが前記ウィンドウ(123、126、129、226、229)内の画像要素のインデックスであり、
I850(i)が前記ウィンドウ(123、126、129、226、229)内のi番目の画像要素(135)の第1のセンサ記録の強度値であり、
I950(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の第2のセンサ記録の強度値である、請求項1に記載の装置(100)。
【請求項12】
前記パラメータ計算器(130)が、偏光コントラストパラメータの前記値が、以下の式の結果の±20%以内の数値となるように、前記偏光コントラストパラメータを計算するように構成されており、
上式で、
polcontrastが前記結果であり、
nが前記ウィンドウ(123、126、129、226、229)内の画像要素番号であり、
iが前記ウィンドウ(123、126、129、226、229)内の画像要素のインデックスであり、
Ipol1(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の第3のセンサ記録の強度値であり、
Ipol2(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の第4のセンサ記録の強度値である、請求項1に記載の装置(100)。
【数2】
polcontrastが前記結果であり、
nが前記ウィンドウ(123、126、129、226、229)内の画像要素番号であり、
iが前記ウィンドウ(123、126、129、226、229)内の画像要素のインデックスであり、
Ipol1(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の第3のセンサ記録の強度値であり、
Ipol2(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の第4のセンサ記録の強度値である、請求項1に記載の装置(100)。
【請求項13】
前記パラメータ計算器(130)が、反射強度パラメータの前記値が以下の式の結果の±20%以内の数値になるように前記反射強度パラメータを計算するように構成されており、
上式で、
refmeanが前記結果であり、
nが前記ウィンドウ(123、126、129、226、229)内の画像要素番号であり、
iが前記ウィンドウ(123、126、129、226、229)内の画像要素のインデックスであり、
Ipol1(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の第3のセンサ記録の強度値であり、
Ipol2(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の第4のセンサ記録の強度値であり、
I850(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の第1のセンサ記録の強度値である、請求項1に記載の装置(100)。
【数3】
refmeanが前記結果であり、
nが前記ウィンドウ(123、126、129、226、229)内の画像要素番号であり、
iが前記ウィンドウ(123、126、129、226、229)内の画像要素のインデックスであり、
Ipol1(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の第3のセンサ記録の強度値であり、
Ipol2(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の第4のセンサ記録の強度値であり、
I850(i)が前記ウィンドウ(123、126、129、226、229)内の前記i番目の画像要素(135)の第1のセンサ記録の強度値である、請求項1に記載の装置(100)。
【請求項14】
前記画像分割器(120)が、前記記録情報(150、220)を複数の重複しないウィンドウ(123、126、129、226、229)に分割するように構成されている、請求項1に記載の装置(100)。
【請求項15】
前記画像分割器(120)が、前記記録情報(150、220)を、位置依存のウィンドウサイズを有する複数のウィンドウ(123、126、129、226、229)に分割するように構成されており、近い路面部分を表す前記ウィンドウ(123、126、129、226、229)が、遠い路面部分を表す前記ウィンドウよりも大きい、請求項1に記載の装置(100)。
【請求項16】
前記パラメータ計算器(130)が、前記パラメータの計算の前に、前記記録情報(150、220)の個々のウィンドウ(123、126、129、226、229)に角度補正を適用するように構成されており、前記ウィンドウ(123、126、129、226、229)の各画像要素(135)が、前記路面(210)に対する入射光の角度に応じて補正され、近い路面部分を表す前記ウィンドウ(123、126、129、226、229)の補正は、遠い路面部分を表すウィンドウの補正とは異なる、請求項1に記載の装置(100)。
【請求項17】
前記分類器(140)が、前記路面(210)に対する入射光の角度に応じて各タプル(143)を状態(160、170)に関連付けるように構成されている、請求項1に記載の装置(100)。
【請求項18】
請求項1に記載の装置(100)と、インターフェースとを有する輸送手段であって、前記インターフェースが、運転者に前記輸送手段を通知し、および/または前記装置が水の固体状態を検出した場合に前記輸送手段の制御に影響を与えるように構成されている、輸送手段。
【請求項19】
路面(210)の状態(160、170)を検出するための方法であって、
前記路面(210)の記録情報(150、220)を取得するステップと、
前記記録情報(150、220)を複数のウィンドウ(123、126、129、226、229)に分割するステップであって、各ウィンドウ(123、126、129、226、229)が複数の画像要素(135)を備え、各要素(135)が少なくとも2つの異なる情報を備える、ステップと、
前記ウィンドウ(123、126、129、226、229)内の各画像要素の前記少なくとも2つの異なる情報を使用することによって、ウィンドウ(123、126、129、226、229)ごとに少なくとも2つのパラメータを計算するステップと、
前記ウィンドウ(123、126、129、226、229)の前記少なくとも2つのパラメータのタプル(143)に基づいて、前記ウィンドウ(123、126、129、226、229)の状態(160、170)を取得するために、前記ウィンドウ(123、126、129、226、229)の前記少なくとも2つのパラメータの前記タプル(143)に基づいて前記ウィンドウ(123、126、129、226、229)を分類するステップと、
を備える方法。
前記路面(210)の記録情報(150、220)を取得するステップと、
前記記録情報(150、220)を複数のウィンドウ(123、126、129、226、229)に分割するステップであって、各ウィンドウ(123、126、129、226、229)が複数の画像要素(135)を備え、各要素(135)が少なくとも2つの異なる情報を備える、ステップと、
前記ウィンドウ(123、126、129、226、229)内の各画像要素の前記少なくとも2つの異なる情報を使用することによって、ウィンドウ(123、126、129、226、229)ごとに少なくとも2つのパラメータを計算するステップと、
前記ウィンドウ(123、126、129、226、229)の前記少なくとも2つのパラメータのタプル(143)に基づいて、前記ウィンドウ(123、126、129、226、229)の状態(160、170)を取得するために、前記ウィンドウ(123、126、129、226、229)の前記少なくとも2つのパラメータの前記タプル(143)に基づいて前記ウィンドウ(123、126、129、226、229)を分類するステップと、
を備える方法。
【請求項20】
コンピュータまたはプロセッサ上で実行される場合に、請求項19に記載の方法を実行するためのコンピュータプログラム。
【外国語明細書】