知財求人 - 知財ポータルサイト「IP Force」
▶ フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．の特許一覧
特許7433265表面における水を検出するための装置、および表面における水を検出するための方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-08
(45)【発行日】2024-02-19
(54)【発明の名称】表面における水を検出するための装置、および表面における水を検出するための方法
(51)【国際特許分類】
G01N 21/3554 20140101AFI20240209BHJP
G01N 21/21 20060101ALI20240209BHJP
G01N 21/27 20060101ALI20240209BHJP
【ＦＩ】
G01N21/3554
G01N21/21 Z
G01N21/27 A
【請求項の数】
19
【外国語出願】
(21)【出願番号】P 2021040290
(22)【出願日】2021-03-12
(65)【公開番号】P2021148790
(43)【公開日】2021-09-27
【審査請求日】2021-05-11
(31)【優先権主張番号】10 2020 203 293.9
(32)【優先日】2020-03-13
(33)【優先権主張国・地域又は機関】DE
【前置審査】
(73)【特許権者】
【識別番号】500242786
【氏名又は名称】フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ディートリヒ・ドゥムラー
(72)【発明者】
【氏名】ハラルド・ゴスナー
(72)【発明者】
【氏名】ヴォルフガング・ゲルナー
【審査官】▲高▼場 正光
(56)【参考文献】
【文献】特開２０１８－０２５５２８（ＪＰ，Ａ）
【文献】特開２００９－２５７９１９（ＪＰ，Ａ）
【文献】特開２０１８－１２８２６５（ＪＰ，Ａ）
【文献】特開２０１３－１４８５０５（ＪＰ，Ａ）
【文献】特開昭５９－１８８５４５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／００４９４０５（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／６１
Ｇ０１Ｊ ３／００ － Ｇ０１Ｊ ４／０４
(57)【特許請求の範囲】
【請求項1】
表面（１５０）における水（５２０、６１０ａ、６１０ｂ、７６０、９１０）を特定するための装置（１００、２００）であって、前記水が第１の吸収率をその幅内で有する第１の光学帯域幅を有する前記表面の第１の画像（１４３）と、前記水が前記第１の吸収率より大きい第２の吸収率をその幅内で有する第２の光学帯域幅を有する前記表面の第２の画像（１４６）とを生成するための、第１の光学バンドパスフィルタ及び第２の光学バンドパスフィルタを備える光学センサ（１１０、１０００）と、
前記表面が前記水と比較して低減または排除される組合せ画像（１３０、５３０）を生成するために前記第１の画像（１４３）と前記第２の画像（１４６）とを組み合わせ、前記組合せ画像の画素において前記水を検出するための処理装置（１２０）と、
第１の偏光角を有する第１の偏光フィルタ（２５３、１０１１ｂ、１０１２ｂ、１０１３ｂ）で第３の画像（２６３、２６６、２６９）を前記処理装置（１２０）に提供し、第２の偏光角を有する第２の偏光フィルタ（２５３、１０１１ｂ、１２１２ｂ、１０１３ｂ）で第４の画像（２６３、２６６、２６９）を前記処理装置（１２０）に提供するように構成される追加の光学センサ（２１０）であって、２つの前記偏光フィルタはそれらの偏光角に関して互いと異なる、追加の光学センサと
を備え、
前記処理装置は、前記組合せ画像において前記第３の画像（２６３、２６６、２６９）および前記第４の画像（２６３、２６６、２６９）を使用しながら前記水の集合状態を特定するように構成され、
前記処理装置（１２０）は、
前記組合せ画像において、または、前記組合せ画像から導かれる畳み込まれた画像において、水を含む領域を検出し、
水を含む前記領域において前記第３の画像および前記第４の画像からピクチャ素子を評価し、
水を含む前記領域が、液体の水または氷のいずれを有するかという前記水の集合状態を特定するように
構成され、
前記処理装置は、
前記第３の画像および前記第４の画像の前記ピクチャ素子を評価するときに前記第３の画像および前記第４の画像の正規化強度値を生成し、
前記正規化強度値を生成するとき、前記第３の画像および前記第４の画像の前記ピクチャ素子の値の合計との前記ピクチャ素子の値の比較を使用し、
前記水の前記集合状態を特定するように
構成され、
前記処理装置は、
前記第３の画像および前記第４の画像の前記正規化強度値が、前記第３の画像の前記正規化強度値と前記第４の画像の前記正規化強度値との平均値の±１０％を含む範囲内にあるとき、前記水の集合状態を氷として特定し、または、
前記第３の画像および前記第４の画像の前記正規化強度値からの正規化強度値が、前記第３の画像の前記正規化強度値と前記第４の画像の前記正規化強度値との平均値の１．５倍より大きいとき、前記水の前記集合状態を液体の水として特定するように
構成される、装置（１００、２００）。
【請求項2】
前記第１の光学帯域幅は、４００ｎｍから９００ｎｍの間のスペクトル範囲から選択される帯域幅を含み、前記第２の光学帯域幅は、９００ｎｍから１２００ｎｍの間のスペクトル範囲から選択される帯域幅を含む、請求項１に記載の装置（１００、２００）。
【請求項3】
半幅における前記第１の光学帯域幅は、８２０ｎｍから８７０ｎｍの間の範囲にある値を有し、半幅における前記第２の光学帯域幅は、９２０ｎｍから９７０ｎｍの間の範囲にある値を有する、請求項１または２に記載の装置（１００、２００）。
【請求項4】
前記光学センサ（１１０、１０００）は、水平に偏光された光線を低減または排除するように構成される鉛直偏光フィルタ（１１５）を備える、請求項１から３のいずれか一項に記載の装置（１００、２００）。
【請求項5】
前記光学センサ（１１０、１０００）は、シリコンに基づく画像センサ、単色センサ、またはＣＭＯＳセンサを備える、請求項１から４のいずれか一項に記載の装置（１００、２００）。
【請求項6】
前記光学センサ（１１０、１０００）は、第１の光学帯域幅を有する前記第１の光学バンドパスフィルタ（１３３、１３６、２３３、Ｆ１、Ｆ２、Ｆ３、Ｆ４）を備える第１の個別センサ（１２３、１２６、１０２０）と、第２の光学帯域幅を有する前記第２の光学バンドパスフィルタ（１３３、１３６、Ｆ１、Ｆ２、Ｆ３、Ｆ４）を備える第２の個別センサ（１２３、１２６、２４３、１０２０）とを備え、前記光学センサ（１１０、１０００）は、前記第１の個別センサを用いての前記第１の画像（１４３）と、前記第２の個別センサ（１２３、１２６、２４３、１０２０）を用いての前記第２の画像（１４６）とを生成するように構成されるか、または、
前記光学センサ（１１０、１０００）は、交換可能な光学バンドパスフィルタを備える第３の個別センサを備え、前記交換可能な光学バンドパスフィルタは、前記第１の光学帯域幅を有する前記第１の光学バンドパスフィルタ（１３３、１３６、２３３、Ｆ１、Ｆ２、Ｆ３、Ｆ４）と、前記第２の光学帯域幅を有する前記第２の光学バンドパスフィルタ（１３３、１３６、２３３、Ｆ１、Ｆ２、Ｆ３、Ｆ４）とを含み、前記光学センサ（１１０、１０００）は、前記第１の光学バンドパスフィルタ（１３３、１３６、２３３、Ｆ１、Ｆ２、Ｆ３、Ｆ４）を備える前記第３の個別センサを用いての前記第１の画像（１４３）と、前記第２の光学バンドパスフィルタ（１３３、１３６、２３３、Ｆ１、Ｆ２、Ｆ３、Ｆ４）を備える前記第３の個別センサを用いての前記第２の画像（１４６）とを連続して生成するように構成されるか、または、
前記光学センサ（１１０、１０００）は、フィルタ層（２３３、１０１０）を備える第４の個別センサを備え、前記フィルタ層は、前記第４の個別センサによって生成される画像の画素を、行方向の様態、列方向の様態、または格子方向の様態で第１のグループおよび第２のグループへと分割するように構成され、前記第１の光学帯域幅を有する前記第１の光学バンドパスフィルタ（１３３、１３６、２３３、Ｆ１、Ｆ２、Ｆ３、Ｆ４）は、第１のグループの前記画素が前記第１の光学帯域幅を有する前記第１の画像（１４３）を生成するように前記第１のグループの前記画素の上方に配置され、前記第２の光学帯域幅を有する前記第２の光学バンドパスフィルタ（１３３、１３６、Ｆ１、Ｆ２、Ｆ３、Ｆ４）は、第２のグループの前記画素が前記第２の光学帯域幅を有する前記第２の画像（１４６）を生成するように前記第２のグループの前記画素の上方に配置される、請求項１から５のいずれか一項に記載の装置（１００、２００）。
【請求項7】
前記追加の光学センサは、偏光フィルタ層（２５３）を備える個別のセンサを備え、前記偏光フィルタ層は、前記個別のセンサによって生成される画像のピクチャ素子を、行ごとの様態、列ごとの様態、または格子の様態で第３のグループおよび第４のグループへと分割するように構成され、前記第１の偏光フィルタは、前記第３のグループの前記ピクチャ素子が前記第１の偏光角を伴う前記第３の画像を生成するように前記第３のグループの前記ピクチャ素子の上方に配置され、前記第２の偏光フィルタは、前記第４のグループの前記ピクチャ素子が前記第２の偏光角を伴う前記第４の画像を生成するように前記第４のグループの前記ピクチャ素子の上方に配置される、請求項１から６のいずれか一項に記載の装置（１００、２００）。
【請求項8】
前記光学センサ（１１０、１０００）および前記追加の光学センサは、フィルタ層（１０１０）を備える個別のセンサ（１０２０）において構成され、前記フィルタ層（１０１０）は、前記個別のセンサによって生成される画像のピクチャ素子を、行ごとの様態、列ごとの様態、または格子の様態で第１のグループ、第２のグループ、第３のグループ、および第４のグループへと分割するように構成され、前記第１の光学帯域幅を有する前記第１の光学バンドパスフィルタ（Ｆ１）は、前記第１のグループの前記画素が前記第１の光学帯域幅を有する前記第１の画像（１４３）を生成するように前記第１のグループの前記画素の上方に配置され、
前記第２の光学帯域幅を有する前記第２の光学バンドパスフィルタ（Ｆ２）は、前記第２のグループの前記画素が前記第２の光学帯域幅を有する前記第２の画像（１４６）を生成するように前記第２のグループの前記画素の上方に配置され、
前記第１の偏光フィルタ（Ｆ３）は、前記第３のグループの前記ピクチャ素子が前記第１の偏光角を伴う前記第３の画像を生成するように前記第３のグループの前記ピクチャ素子の上方に配置され、
前記第２の偏光フィルタ（Ｆ４）は、前記第４のグループの前記ピクチャ素子が前記第２の偏光角を伴う前記第４の画像を生成するように前記第４のグループの前記ピクチャ素子の上方に配置される、請求項１から５のいずれか一項に記載の装置（１００、２００）。
【請求項9】
前記処理装置（１２０）は、前記第１の画像（１４３）と前記第２の画像（１４６）とを組み合わせるとき、画素ごとの商の計算、画素ごとの差の計算、画素ごとの正規化差の計算、または、１と商との間の差の計算を使用するように構成される、請求項１から８のいずれか一項に記載の装置（１００、２００）。
【請求項10】
前記処理装置（１２０）は、畳み込まれた画像を生成するように構成され、前記処理装置（１２０）は、ピクセルウインドウを使用することで、前記組合せ画像を画素ごとまたはブロックごとに画素で走査し、前記ピクセルウインドウの前記画素の値の加重平均を計算し、前記加重平均から畳み込まれた画像を生成するように構成され、前記畳み込まれた画像における前記加重平均の位置は、前記組合せ画像における前記ピクセルウインドウの位置に合致する、請求項１から９のいずれか一項に記載の装置（１００、２００）。
【請求項11】
前記処理装置（１２０）は、前記組合せ画像の個別の画素の値、または、前記組合せ画像から導かれる畳み込まれた画像の個別の画素の値を閾値と比較するように構成され、前記閾値と特定の関係を有する値を伴う前記画素は、水であるとして検出される、または、水を検出するための特徴検出を実施するように構成される、請求項１から１０のいずれか一項に記載の装置（１００、２００）。
【請求項12】
前記偏光フィルタ同士の前記偏光角が互いから９０°だけずれるように配置される、請求項１から１１のいずれか一項に記載の装置（１００、２００）。
【請求項13】
周囲温度値を前記処理装置（１２０）に提供するように構成される温度センサ（２３０）を備え、前記周囲温度値を用いて、前記処理装置（１２０）は前記水の集合状態を評価することができる、請求項１から１２のいずれか一項に記載の装置（１００、２００）。
【請求項14】
前記処理装置（１２０）は、前記第１の画像（１４３）および前記第２の画像（１４６）からの情報を含む状態値のセットを感知し、人工知能要素またはニューラルネットワークを使用しながら可変閾値を前記セットの関数として提供し、
前記可変閾値を使用しながら、前記組合せ画像における水、または、前記組合せ画像における前記水の集合状態を特定するように
構成される、請求項１から１３のいずれか一項に記載の装置（１００、２００）。
【請求項15】
前記処理装置（１２０）は、前記第３の画像および前記第４の画像からの情報を含む状態値のセットを感知し、人工知能要素またはニューラルネットワークを使用しながら可変閾値を前記セットの関数として提供し、
前記可変閾値を使用しながら、前記組合せ画像における水、または、前記組合せ画像における前記水の集合状態を特定するように
構成される、請求項１から１４のいずれか一項に記載の装置（１００、２００）。
【請求項16】
前記第１の光学帯域幅（λ１）に関してフィルタリングを行う第１の吸収フィルタ層（１１０１ａ、１１０３ａ）を有し、前記第１の偏光フィルタ（１１０１ｂ、１１０２ｂ）を有する第１の感光領域（１１０１）と、異なる前記第２の光学帯域幅（λ２）に関してフィルタリングを行う第２の吸収フィルタ層（１１０２ａ）を有し、前記第１の偏光フィルタ（１１０１ｂ、１１０２ｂ）を有する第２の感光領域（１１０２）と、
前記第１の光学帯域幅（λ１）に関してフィルタリングを行う第３の吸収フィルタ層（１１０１ａ、１１０３ａ）を有し、前記第２の偏光フィルタ（１１０３ｂ）を有する第３の感光領域（１１０３）と、を備え、
前記第１の感光領域（１１０１）、前記第２の感光領域（１１０２）、前記第３の感光領域（１１０３）が互いに隣接して配置されて同じ光を感知するように構成され、
前記光学センサ（１１０、１０００）は、前記第１の光学帯域幅（λ１）を有する前記表面の前記第１の画像（Ｘ０１）と、前記第２の光学帯域幅（λ２）を有する前記表面の前記第２の画像（Ｘ０２）とを生成するように構成され、
前記追加の光学センサは、前記第１の偏光フィルタ（１１０１ａ、１１０３ａ）を伴う前記第３の画像（Ｘ０１）を提供し、前記第２の偏光フィルタ（１１０２ａ）を伴う前記第４の画像（Ｘ０３）を提供するように構成され、
前記第１の画像（Ｘ０１）は前記第３の画像（Ｘ０１）と同じ画像であり、
前記処理装置（１２０）は、前記第１の画像（Ｘ０１）および前記第２の画像から差（Ｘ０１－Ｘ０２）を決定し、前記差が前記第１の偏光フィルタ（１１０１ｂ、１１０２ｂ）によって減衰され、前記第１の偏光フィルタ（１１０１ｂ、１１０２ｂ）を使用しながら前記組合せ画像を計算するように構成され、
前記処理装置（１２０）は、前記第３の画像および前記第４の画像からさらなる差（Ｘ０１－Ｘ０３）を決定するように構成され、前記さらなる差が前記第１の吸収フィルタ層（１１０１ａ、１１０３ａ）によって減衰され、水を含む領域を評価するために偏光差（ΔＸφ）を使用するように、第１の吸収フィルタ層（１１０１ａ、１１０３ａ）を使用しながら前記偏光差（ΔＸφ）を計算するように構成される、請求項１から１４のいずれか一項に記載の装置（１００、２００）。
【請求項17】
請求項１から１６のいずれか一項に記載の装置（１００、２００）とインターフェース（３１０）とを備える移動の手段（３００）であって、前記インターフェース（３１０）は、前記装置（１００、２００）が前記水の固体状態を検出する場合、前記移動の手段（３００）の運転者（３２０）に警告し、および／または、前記移動の手段（３００）の制御に影響を与えるように構成される、移動の手段（３００）。
【請求項18】
水を含む領域における水の液体集合状態または固体集合状態を区別する方法であって、前記水が第１の吸収率をその幅内で有する第１の光学帯域幅を有する表面の第１の画像（１４３）を取得し、前記水が前記第１の吸収率より大きい第２の吸収率をその幅内で有する第２の光学帯域幅を有する表面の第２の画像（１４６）を、第１の光学バンドパスフィルタ及び第２の光学バンドフィルタを備える光学センサ（１１０、１０００）で取得するステップと、
前記表面が前記水と比較して低減または排除される組合せ画像を取得するために、前記第１の画像（１４３）と前記第２の画像（１４６）とを組み合わせるステップと、
前記水を前記組合せ画像の画素において検出するステップと、
第１の偏光角を有する第１の偏光フィルタ（２５３、１０１１ｂ、１０１２ｂ、１０１３ｂ）で第３の画像（２６３、２６６、２６９）を取得し、第２の偏光角を有する第２の偏光フィルタ（２５３、１０１１ｂ、１０１２ｂ、１０１３ｂ）で第４の画像（２６３、２６６、２６９）を取得するステップであって、２つの前記偏光フィルタはそれらの偏光角に関して互いと異なる、ステップと、
前記第３の画像および前記第４の画像の水を含む前記領域のピクチャ素子を評価するステップと、
前記ピクチャ素子の前記評価に基づいて前記水の集合状態を特定するステップと
を含み、
前記組合せ画像において、または、前記組合せ画像から導かれる畳み込まれた画像において、水を含む領域を検出し、
水を含む前記領域において前記第３の画像および前記第４の画像からピクチャ素子を評価し、
水を含む前記領域が、液体の水または氷のいずれを有するかという前記水の集合状態を特定し、
前記第３の画像および前記第４の画像の前記ピクチャ素子を評価するときに前記第３の画像および前記第４の画像の正規化強度値を生成し、
前記正規化強度値を生成するとき、前記第３の画像および前記第４の画像の前記ピクチャ素子の値の合計との前記ピクチャ素子の値の比較を使用し、
前記第３の画像および前記第４の画像の前記正規化強度値が、前記第３の画像の前記正規化強度値と前記第４の画像の前記正規化強度値との平均値の±１０％を含む範囲内にあるとき、前記水の集合状態を氷として特定し、または、
前記第３の画像および前記第４の画像の前記正規化強度値からの正規化強度値が、前記第３の画像の前記正規化強度値と前記第４の画像の前記正規化強度値との平均値の１．５倍より大きいとき、前記水の前記集合状態を液体の水として特定する、方法。
【請求項19】
請求項１８に記載の方法を実施するためのコンピュータプログラムであって、コンピュータ上で実行されるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、表面における水を特定するための装置と、表面における水を特定するための方法とに関する。
【背景技術】
【0002】
道路状態の特定は安全な運転のために必須である。現代の自動車は、温度センサおよび制御センサの助けで道路状態の大まかな危険を推定している。異なる主要な特徴および結果を用いながら道路における水の集積の能動的な特定を行うことについてのいくつかの原理が提案されている。
【0003】
ＲＧＢ像において、濡れた場所と汚れた場所とを区別することは、例えば両方ともより暗いだけであるため、困難である。水は透明であるが、水は、光線の経路を変えるいくつかの効果により、ＲＧＢ像において容易に視認可能である。コンピュータビジョンアルゴリズムまたは物体検出アルゴリズムが、例えば水溜りなどの異常を道路において位置特定するために、ＲＧＢ像に適用され得る。この反射方法の利点には、共通の画像センサが使用でき、この方法を低コストの解決策にしているという事実と、位置特定および分類が可能であるという事実とがある。ＲＧＢカメラを使用する一方で、偏光および吸収などの様々な効果は決定できず、そのため位置特定および分類の方法の結果はそれぞれの場合に大きく依存し、信頼できない。
【0004】
別の方法は、表面の後方散乱特性を測定することを記載している。表面の後方散乱の現象は表面の粗さに大きく依存している。水および氷は、アスファルトなどの通常の道路材料より滑らかである。光線の水平方向で偏光された部分の大部分は水または氷の表面によって反射されるが、光線の鉛直方向の部分は水表面を通過し、地面および／または氷晶において散乱させられる。環境のこれらの後方散乱の性質を測定するために偏光フィルタを使用することは、分類評価のための基準点を提供する。後方散乱の性質を測定することは、単純な偏光フィルタを備える一般的な画像センサを使用することを可能とするため、安価な解決策である。また、この解決策は、例えば、水および氷などの滑らかな領域を確実に位置特定することを可能にする。しかしながら、水と氷との間の区別は、分かっている光源または偏光された光源のみで可能である。さらに、この方法は、外部からの光および／または表面下の変化など、外部の影響を受けやすい。
【0005】
提案されている次の方法は、水のスペクトル吸収の測定である。水は、認識可能な吸収特性を有し、可視光の範囲内においてより、赤外線スペクトル内においてはるかに多くのエネルギーを吸収する。近赤外線（ＮＩＲ）範囲内で、水は特異的な吸収ピークを示す。これらの吸収ピークのうちの一部は、水が結晶を形成し始めるかまたは凍結し始めるとき、相当の推移を呈する。例えばスペクトル感度の増加のために、ＩＩＩ－Ｖ群からの特定の半導体に基づく画像センサなどの特定の画像センサを使用することで、ＮＩＲ範囲内のこれらのピークを測定することができ、水、氷、および雪の間で区別するための単純な方法を提供する。この方法の利点は、例えば水、氷、雪、および乾燥した土の間で、例えば信頼できる分類である。この解決策の欠点は、例えば高価なハードウェア、低い解像度、および不十分な位置特定である。
【発明の概要】
【発明が解決しようとする課題】
【0006】
そのため、本発明の目的は、表面における水の信頼できる特定のための概念を提供することである。
【課題を解決するための手段】
【0007】
この目的は、請求項１において請求されているような装置によって、請求項２０において請求されているような方法によって、または、請求項２１において請求されているようなコンピュータプログラムによって達成される。
【0008】
本発明の実施形態は、光学センサおよび処理装置を備える、表面における水を特定するための装置を提供する。
【0009】
光学センサは、水が第１の吸収率をその幅内で有する第１の光学帯域幅を有する表面の第１の画像と、水が第１の吸収率より大きい第２の吸収率をその幅内で有する第２の光学帯域幅を有する表面の第２の画像とを提供するように構成される。
【0010】
処理装置は、表面が水と比較して低減または排除される組合せ画像を生成するために、第１の画像と第２の画像とを組み合わせるように構成される。
【0011】
また、処理装置は、組合せ画像において水を検出するように構成される。
【0012】
本発明の例は、例えば物理的性質の測定において、環境および／または照明などの外部の影響因子の効果を低減するように、相対的な測定が絶対的な測定に対して好ましいとされることを見出したことに基づかれている。この場合、例えば吸収といった物理的パラメータが、例えばいくつかの光学フィルタを用いて実施されたいくつかの測定から抽出される。
【0013】
したがって、装置は、表面における水の信頼できる特定を提供する。
【0014】
水の吸収特性を利用するために、装置は、大きい水吸収率を有するスペクトル範囲と小さい水吸収率を有するスペクトル範囲とのためのそれぞれのバンドパスフィルタを備える光学センサを使用することで、同じ表面の２つのピクチャを撮る。
【0015】
他の材料は特定のスペクトル範囲内で一定の吸収率を呈し、水だけが差を作り出すことになる。表面下または照明における変化などの外部の影響因子は、両方のピクチャに等しく影響を与えることになる。
【0016】
背景を低減または排除するために、実施形態では、処理装置は、組合せ画像を提供するために、画像を画素ごとで組み合わせるように構成される。組合せ画像は一種の水のヒートマップであり、画素は水または氷の肯定的な可能性を示す。これは「信頼性」と称されてもよい。
【0017】
続いて、結果生じた組合せ画像における水の検出がなおも行われる。例えば、水は閾値を使用しながら検出され、閾値を上回る特定の強度を有する画素が水として特定される。
【0018】
装置は、例えば道路などの表面における液体または固体の水を検出するように構成される。
【0019】
実施形態では、第１の光学帯域幅は、４００ｎｍから９００ｎｍの間のスペクトル範囲から選択され、第２の光学帯域幅は、９００ｎｍから１２００ｎｍの間のスペクトル範囲から選択される。ＣＭＯＳセンサまたはシリコンに基づく画像センサが、最大で約１０００ｎｍまで、または、理論的には最大で約１１０２ｎｍまで感知できる。約９００ｎｍから約１０００ｎｍの間の比較的広いスペクトル範囲が好ましいとされる。
【0020】
水のすべての集合状態が、４００ｎｍから９００ｎｍの間のスペクトル範囲と比較して、９００ｎｍから１２００ｎｍの間のスペクトル範囲内で吸収率の増加を呈し、アスファルトなどの一般的な道路材料の吸収率は、４００ｎｍから１２００ｎｍの間の全体のスペクトル範囲内において無視できるままであり、約９８０ｎｍにある。
【0021】
第１の光学帯域幅および第２の光学帯域幅の前述の選択が、ピクチャ同士の間での水を含む領域において、画素強度における差を提供する。
【0022】
実施形態では、第１の光学帯域幅は、半幅において、８２０ｎｍから８７０ｎｍの間、８４０ｎｍから８８０ｎｍの間、または８５０ｎｍから８９０ｎｍの間の範囲にある値を有し、第２の光学帯域幅は、半幅において、９２０ｎｍから９７０ｎｍの間、９４０ｎｍから９８０ｎｍの間、または９５０ｎｍから９９０ｎｍの間の範囲にある値を有する。
【0023】
第１の光学帯域幅および第２の光学帯域幅の最適な選択は、ピクチャ同士の間での水を含む領域において、画素強度における最大限可能な差を提供する。
【0024】
実施形態では、光学センサは、水平に偏光された光線を低減または排除するように構成される鉛直偏光フィルタを有する。
【0025】
水表面から反射される光線の入射角がブルースター角に近い限り、水表面から反射される光線は主に水平に偏光され、水を通過する光線は主に鉛直に偏光される。水を通過しない光線は水の吸収によって影響されない。鉛直偏光フィルタは、水平に偏光された光線を低減または排除する。ブルースター角の近傍において、水平に偏光された光のほとんどが鏡面反射を受けるため、鉛直偏光フィルタは鏡面反射を除去するために使用され得る。
【0026】
実施形態では、光学センサは、単色センサ、ＣＭＯＳセンサ、または低コストのシリコンセンサを備える。これらの特性は相互に排他的ではない。単色センサは、フィルタ層を備えない、または、領域全体を覆うフィルタ層を備える。単色センサは、フィルタが外部に搭載されるときに使用される。フィルタが異なる被覆の形態で適用されるとすぐに、センサはもはや単色ではなくなる。
【0027】
一般的に安価なシリコンに基づく画像センサは、ＣＭＯＳセンサと称される。実際、ＣＭＯＳは１種類だけの設計である。実施形態では、ＣＭＯＳまたはＣＣＤなどのすべての種類の設計が使用され得る。しかしながら、ＩＩＩ－Ｖ族の半金属に基づかれる高価なＣＭＯＳセンサもある。実施形態では、低コストのシリコンセンサが使用され、これは、より高価な種類より低い感度を有する。１１００ｎｍより大きい波長範囲内で感知できる特定のＩＩＩ－Ｖ族の半導体センサは必要ではない。
【0028】
本発明の例は、低コストの一般的なＣＭＯＳ画像センサ、または、ベイヤーフィルタを伴わないより複雑でない単色画像センサを特徴とする。
【0029】
実施形態では、光学センサは、第１の帯域幅を有する第１の光学バンドパスフィルタを備える第１の個別センサと、第２の帯域幅を有する第２の光学バンドパスフィルタを備える第２の個別センサとを備え、光学センサは、第１の個別センサを用いての第１の画像と、第２の個別センサを用いての第２の画像とを同時に生成するように構成される。
【0030】
さらなる実施形態では、光学センサは、交換可能な光学バンドパスフィルタを有する第３の個別センサを備え、交換可能な光学バンドパスフィルタは、第１の帯域幅を有する第１の光学バンドパスフィルタと、第２の帯域幅を有する第２の光学バンドパスフィルタとを備え、光学センサは、第１の光学バンドパスフィルタを備える第３の個別センサを用いての第１の画像と、第２の光学バンドパスフィルタを備える第３の個別センサを用いての第２の画像とを連続して生成するように構成される。
【0031】
実施形態では、光学センサは、フィルタ層を備える第４の個別センサを備え、フィルタ層は、第４の個別センサによって生成される画像の画素を、行方向の様態、列方向の様態、または格子方向の様態で２つのグループへと分割するように構成され、第１の帯域幅を有する第１の光学バンドパスフィルタは、第１のグループの画素が第１の光学帯域幅を有する第１の画像を生成するように第１のグループの画素の上方に配置され、第２の帯域幅を有する第２の光学バンドパスフィルタは、第２のグループの画素が第２の光学帯域幅を有する第２の画像を生成するように第２のグループの画素の上方に配置される。
【0032】
装置の光学センサは、できる限り同じ表面が第１の画像と第２の画像とにおいて画像化されるように、第１の帯域幅を有する第１の画像と、第２の帯域幅を有する第２の画像とをできるだけ同時に提供するように構成される。実施形態では、これらの要件は、いくつかのバンドパスフィルタを備えるいくつかの個別のセンサによって、交換可能な光学バンドパスフィルタを備える個別のセンサによって、または、フィルタ層を備える個別のセンサによって満たされる。
【0033】
実施形態では、処理装置は、第１の画像と第２の画像とを組み合わせるとき、画素ごとの商の計算、画素ごとの差の計算、画素ごとの正規化差の計算、または、１と商の計算との間の差の計算を使用するように構成される。
【0034】
装置の処理装置は、組合せ画像を生成するために前述した計算のいずれかを使用しながら、画素ごとに基づいてピクチャを組み合わせるように構成される。組合せ画像は一種の水のヒートマップである。組合せ画像の各々の画素は、その画素における水または氷についての肯定的な可能性の値を表す。これは「信頼性」と称されてもよい。単純な商の場合、これは、画素において乾いた表面の信頼性を反対に表すことができる。
【0035】
代替の実施形態では、個別のピクチャはもはや能動的に組み合わされないが、未加工データが、未加工データに基づいて決定を行う訓練されたモデルに直接的に渡される。
【0036】
実施形態では、処理装置は折り重ね画像を提供するように構成される。処理装置は、ピクセルウインドウを使用することで、組合せ画像を画素ごとに基づいてかまたはブロックごとに基づいて画素で走査し、ピクセルウインドウの画素の値の加重平均を計算し、加重平均から折り重ね画像を作り出すように構成され、折り重ね画像における加重平均の位置は組合せ画像におけるピクセルウインドウの位置に対応する。このステップは信号対雑音比（ＳＮＲ）を増加させ、信号は吸収差であり、雑音はすべての残りを含む。
【0037】
水の吸収率は大体で次の数式となる。
【0038】
【数1】
【0039】
これは、１ｍｍの深さを有する水膜および２５５の画素彩度についての吸収率を意味し、良くても２．０・１０－３・２５５＝０．５１が吸収される。
【0040】
測定可能となる吸収効果について、隣接する画素同士もピクセルウインドウに組み込まれる。ピクセルウインドウがより大きくなると、吸収効果はより大きく増幅され、それによって、結果生じる折り重ね画像または水のヒートマップもより不鮮明になる。例えば、水溜りが単一の画素だけから成る場合、または、少なすぎる画素から成る場合、水溜りは特定されない。
【0041】
実施形態では、処理装置は、組合せ画像、または、組合せ画像から導かれる折り重ね画像の個別の画素の値を閾値と比較するように構成される。閾値に対して特定の関係を呈する値を有する画素は、水として検出される。閾値の決定は、水の検出のための最も単純な解決策のうちの１つである。例えば、より良い結果は「特徴検出」によって達成され得る。
【0042】
組合せ画像または折り重ね画像は一種の水のヒートマップであり、画素は水または氷の出現の可能性を表す。
【0043】
水の位置特定または特定の間、組合せ画像の値は、画素ごとに閾値と比較される。つまり、最終的な決定は、画素ごとに基づいて閾値で行われ得るか、または、さらには「特徴抽出」を介して、つまり、例えばニューラルネットワークを使用しながら隣接領域の特定を介して行われてもよい。
【0044】
実施形態では、装置は、情報を処理装置に提供するように構成される追加のセンサを備える。処理装置は、組合せ画像における情報を使用しながら水の集合状態を検出するように構成される。
【0045】
追加のセンサを備える装置は、静止摩擦を失う実際の危機または危険を推定するために、濡れた領域、水溜り、および氷または雪の形成の予防的な位置特定および特定を可能にし、これは、安全な運転、および将来の先進運転支援システム（ＡＤＡＳ）または自律運転車両にとって重要な特徴である。実際の静止摩擦を失う前のわずか０．５秒間の予防的な危険の検出によって、ＡＤＡＳは、パニックになる誤った決定、または、先制してエアバッグを展開させる誤った決定を運転者が行うことを防止することができ、したがって、致命傷を防ぐことができる。
【0046】
吸収の測定だけでは雪および曇った氷を検出することはできない。このために、後方散乱方法は位置特定を提供し、吸収の測定が確認として使用される。したがって、センサは、ただ単に集合状態の情報を提供するだけではない。
【0047】
実施形態では、追加のセンサは追加の光学センサを備える。追加の光学センサは、第１の偏光角を有する第１の偏光フィルタで第３の画像を提供し、第２の偏光角を有する第２の偏光フィルタで第４の画像を提供するように構成され、２つの偏光フィルタはそれらの偏光角に関して互いと異なる。さらに、追加の光学センサは、第３の画像および第４の画像を処理装置に提供するように構成される。
【0048】
吸収の測定と後方散乱の測定との組合せは、水または氷の存在を画素ごとに基づいて評価するための信頼できる特徴を提供する。
【0049】
液体の水の反射の偏光の特徴の分析は、氷晶が光線を散乱させ、波の回転を引き起こす間、主に水平の配向での光の大きな偏光比を示している。氷晶は、若干推移した配向を伴うより散乱した偏光を生じさせる。
【0050】
偏光の性質における差は、水と氷との間の差異を作ることを可能にする。
【0051】
画像の異なる偏光面は、後方散乱の性質、つまり、偏光楕円の位相、長軸、および短軸を抽出することを可能にする。偏光面の角度のずれはここでは関係がなく、任意に選択できる。
【0052】
実施形態では、追加の光学センサは、偏光フィルタ層を備える個別のセンサを有する。
【0053】
偏光フィルタ層は、個別のセンサによって生成されるピクチャのピクチャ素子を、行ごとの様態、列ごとの様態、または格子の様態で２つのグループへと分割するように構成される。第１のグループのピクチャ素子の上方において、第１の偏光フィルタは、第１のグループのピクチャ素子が第１の偏光角を伴う第３の画像を生成するように配置される。第２の偏光フィルタは、第２のグループのピクチャ素子が第２の偏光角を伴う第４の画像を生成するように第２のグループのピクチャ素子の上方に配置される。
【0054】
偏光フィルタ層を備える追加の光学センサは、第１の偏光フィルタを伴う第３の画像の作成と、第２の偏光フィルタを伴う第４の画像の作成とをできるだけ同時に行うように構成され、そのため、できる限り同じ表面がピクチャにおいて画像化される。
【0055】
実施形態では、偏光フィルタ同士の偏光角が互いから９０°だけずれるように配置される。０°および９０°の偏光角を有する２つの偏光フィルタは十分である。互いから６０°だけずれた偏光角を有する３つの偏光フィルタは、より高い正確性を提供する。
【0056】
偏光面の均一な分布は、偏光楕円の長軸および短軸を詳細に抽出させることができ、したがって、水と氷との間を区別することをより容易にする。
【0057】
実施形態では、処理装置は、組合せ画像において、または、組合せ画像から導かれる折り重ね画像において、水を含む領域を検出するように構成される。さらに、処理装置は、水を含む領域において第３の画像および第４の画像からピクチャ素子を評価するように、ならびに、水の集合状態を検出するように、つまり、水を含む領域が水、液体の水、または氷のどれを有するかを検出するように構成される。
【0058】
吸収の測定と後方散乱の測定との組合せは、水または氷の存在を画素ごとに基づいて評価するための信頼できる特徴を提供する。水を含む領域は吸収の測定によって検出され、領域における水の集合状態は、後方散乱の測定を使用することによって評価される。
【0059】
実施形態では、処理装置は、第３の画像および第４の画像のピクチャ素子を評価するときに第３の画像および第４の画像の正規化強度値を生成するように構成される。
【0060】
さらに、処理装置は、正規化強度値を生成するとき、水の集合状態を検出するために、第３の画像および第４の画像のピクチャ素子の値の合計とのピクチャ素子の値の比較を使用するように構成される。
【0061】
処理装置は、第３の画像および第４の画像の正規化強度値が、第３の画像の正規化強度値と第４の画像の正規化強度値との平均値の±１０％を含む範囲内にあるとき、水の集合状態を氷であるとして検出するように、または、第３の画像および第４の画像の正規化強度値からの正規化強度値が、第３のピクチャの正規化強度値と第４のピクチャの正規化強度値との平均値の１．５倍より大きいとき、水の集合状態を液体の水であるとして検出するように構成される。
【0062】
３つの画像が、画素ごとに基づいて、３つの画像の平均値へと正規化され、互いと比較される。自動化できる単純な閾値の決定は、次のようにまとめることができる。
【0063】
氷表面は大きな散乱を呈し、そのためすべての３つの画像のピクチャ素子は同様の正規化強度値を有することになる。すべての３つの画像のピクチャ素子が同じ領域に同様の正規化強度値を有する場合、その領域のピクチャ素子は氷であるとして特定されることになる。
【0064】
液体の水の反射は、主に水平の配向での光の大きな偏光比を示している。画像の１つの領域における正規化強度が同じ領域における他の画像の強度よりはるかに大きい場合、その領域のピクチャ素子は水であるとして特定されることになる。
【0065】
実施形態では、装置は、周囲温度値を処理装置に提供するように構成される温度センサを備え、これは、処理装置に水の集合状態を評価させることができる。
【0066】
追加の温度センサが、さらなる複雑性を低減させることができる。周囲温度が水の氷点よりはるかに高いかまたははるかに低い場合、水を含む領域は、周囲温度に応じて水または氷であるとして特定されることになる。
【0067】
実施形態では、処理装置は、第１の画像および第２の画像からの情報を含む状態値のセットを感知し、人工知能要素またはニューラルネットワークを使用しながら可変閾値をセットの関数として提供するように構成される。ニューラルネットワークは、画素ごとに基づいてより良好な閾値を見つけ出すために、または、「特徴検出」の変形として、完全なピクチャにおいて隣接の形を特定するために、使用できる。
【0068】
また、処理装置は、可変閾値を使用しながら、組合せ画像における水、または、組合せ画像における水の集合状態を検出するように構成される。
【0069】
人工知能要素またはニューラルネットワークを使用しながら第１の画像および第２の画像からの情報の関数として作り出された可変閾値は、異なる環境の状況において、より良好な特定速さを生み出すことになる。
【0070】
実施形態では、処理装置は、第３の画像および第４の画像からの情報を含む状態値のセットを感知し、人工知能要素またはニューラルネットワークを使用しながら可変閾値をセットの関数として提供するように構成される。
【0071】
また、処理装置は、可変閾値を使用しながら、組合せ画像における水、または、組合せ画像における水の集合状態を検出するように構成される。
【0072】
人工知能要素またはニューラルネットワークを使用しながら第３の画像および第４の画像からの情報の関数として作り出された可変閾値は、異なる環境の状況において、より良好な特定速さを生み出すことになる。
【0073】
本発明の実施形態は、装置とインターフェースとを備える移動の手段を提供する。
【0074】
装置は、情報を処理装置に提供するように構成される追加のセンサを備える。
【0075】
装置の処理装置は、組合せ画像における情報を使用しながら水の集合状態を検出するように構成される。
【0076】
インターフェースは、装置が水の固体状態を検出する場合、移動の手段の運転者に警告し、および／または、移動の手段の制御に影響を与えるように構成される。
【0077】
移動の手段の装置は、静止摩擦を失う実際の危機または危険を推定するために、濡れた領域、水溜り、および氷または雪の形成の予防的な位置特定および特定によって、安全な運転を可能にする。実際に静止摩擦を失う前に予防的な危険の検出によって、ＡＤＡＳは、運転者に警告することができる、または、インターフェースを介して移動の手段の制御に影響を与えることができる。
【0078】
本発明によるさらなる実施形態は、対応する方法を提供する。
【0079】
本発明による実施形態は、ＣＭＯＳ画像センサを使用しながら道路における水および氷の危険の予防的な特定を呈することになる。
【0080】
本発明による実施形態は、添付の図を参照して後でより詳細に説明されることになる。示されている概略的な図に関して、示された機能ブロックが、本発明の装置の要素または特徴および本発明の方法の対応する方法ステップの両方として理解されるべきであることと、本発明の方法の対応する方法ステップもそこから導かれ得ることとは、指摘されるものである。
【図面の簡単な説明】
【0081】
【図1】光学センサと処理装置とを備える装置の実施形態の概略図である。
【図2】光学センサと、追加の光学センサと、処理装置とを備える装置の実施形態の概略図である。
【図3a】装置とインターフェースとを備える移動の手段の実施形態の概略図である。
【図3b】装置を備える移動の手段の実施形態の概略図である。
【図4a】４００ｎｍから１０００ｎｍの間のスペクトル範囲内での水の吸収特性の図である。
【図4b】４００ｎｍから１２００ｎｍの間のスペクトル範囲内での水の吸収特性の図である。
【図5】装置の処理装置によって実施される吸収の測定の評価方法の概略図である。
【図6a】水を含む表面にわたるフィルタなしでの画像の図である。
【図6b】水を含む表面にわたる組合せ画像の図である。
【図7a】水を一部通過し、水表面から一部反射される非偏光の光線の図である。
【図7b】異なる入射角で垂直および平行に偏光された光線の反射係数の図である。
【図7c】鉛直および平行に偏光され、異なる入射角において水表面から反射される光線の反射係数率
【数2】
【図8a】２つの偏光面によって定められる３つの可及的な偏光楕円の図である。
【図8b】３つの偏光面によって定められる偏光楕円の図である。
【図8c】大きな水平に偏光された部分を伴う液体の水の偏光楕円の図である。
【図8d】均一な偏光の断片を伴う固体の水の偏光楕円の図である。
【図8e】配向に変更のない液体の水の偏光楕円の図である。
【図8f】配向に変更のある固体の水の偏光楕円の図である。
【図9a】水を伴う表面にわたる第１の偏光フィルタによる画像の図である。
【図9b】水を伴う表面にわたる第２の偏光フィルタによる画像の図である。
【図9c】水を伴う表面にわたる第３の偏光フィルタによる画像の図である。
【図9d】水を伴う表面にわたるフィルタなしでの画像の図である。
【図10】光学センサとフィルタ層とを備える光学センサの図である。
【図11】３つの異なるカメラまたは感光領域を伴う実施を示す図である。
【発明を実施するための形態】
【0082】
本発明の実施形態が以下で図面を参照して詳細に説明される前に、同じ機能または同じ効果を有する同一の要素、物体、および／または構造には、異なる図において同じ符号または同様の符号が提供されることは指摘しておかねばならず、それによって、異なる実施形態において提供されているこれらの要素の記載は、置き換え可能または相互に適用可能である。
【0083】
図１は、光学センサ１１０と、光学センサに連結される処理装置１２０とを備える、表面１５０における水を特定するための装置１００の実施形態の概略的な描写を示している。処理装置１２０の出力は装置１００の出力である。
【0084】
光学センサ１１０は、鉛直偏光フィルタ１１５と、第１の光学バンドパスフィルタ１３３を備える第１の個別センサ１２３と、第２の光学バンドパスフィルタ１３６を備える第２の個別センサ１２６とを備える。鉛直偏光フィルタ１１５は必要とされない。
【0085】
第１の光学バンドパスフィルタは、水が第１の吸収率をその幅内で有する第１の帯域幅を有する。第２の光学バンドパスフィルタは、水が第１の吸収率より大きい第２の吸収率をその幅内で有する第２の帯域幅を有する。
【0086】
装置は、表面１５０における水を検出するように構成される。光線１６０が、後でさらに検討されているように、水を一部通過し、水表面から一部反射される。
【0087】
鉛直偏光フィルタ１１５は、水表面から鏡面の様態で反射される水平に偏光された光線を低減または排除するように構成されている。
【0088】
非低減光線は、第１の光学バンドパスフィルタ１３３を備える第１の個別センサ１２３、または、第２の光学バンドパスフィルタ１３６を備える第２の個別センサ１２６のいずれかに到達することになる。
【0089】
光学センサ１１０は、できる限り同じ表面１５０が第１の画像と第２の画像とにおいて画像化されるように、第１の個別センサ１２３を用いての第１の画像１４３と、第２の個別センサを用いての第２の画像１４６とをできるだけ同時に生成するように構成される。さらに、センサは、第１の画像および第２の画像を処理装置に提供するように構成されている。
【0090】
処理装置は、後でさらに検討されているように、第１の画像と第２の画像との組合せとして組合せ画像１３０を提供し、組合せ画像において水を検出または位置特定するように構成されている。水１４０を含む検出された領域は、処理装置の出力または装置の出力である。
【0091】
図２は、光学センサ１１０と、追加の光学センサ２１０と、光学センサ１１０および追加の光学センサ２１０に連結された処理装置１２０とを用いての表面１５０における水の集合状態を特定するための装置２００の実施形態の概略的な描写を示している。処理装置１２０の出力は装置２００の出力である。
【0092】
処理装置は、任意選択の追加の温度センサ２３０に連結されている。
【0093】
光学センサ１１０は、フィルタ層２３３を備える個別のセンサ１２３を備える。正面図２３３Ｆにおいて示されているように、フィルタ層は、行ごとの様態、列ごとの様態、または格子の様態で２つのグループへと分割されている。第１の帯域幅を有する第１の光学バンドパスフィルタは第１のグループに位置させられ、第２の帯域幅を有する第２の光学バンドパスフィルタは第２のグループに位置させられている。
【0094】
第１の光学バンドパスフィルタは、水が第１の吸収率をその幅内で有する第１の帯域幅を有し、第２の光学バンドパスフィルタは、水が第１の吸収率より大きい第２の吸収率をその幅内で有する第２の帯域幅を有する。
【0095】
追加の光学センサ２１０は、偏光フィルタ層２５３を備える個別のセンサ２４３を備える。フィルタ層２３３と同様に、偏光フィルタ層２５３は、行ごとの様態、列ごとの様態、または格子の様態で３つのグループへと分割されている。第１の偏光角を有する第１の偏光フィルタは第１のグループに位置させられ、第２の偏光角を有する第２の偏光フィルタは第２のグループに位置させられ、第３の偏光角を有する第３の偏光フィルタは第３のグループに位置させられている。
【0096】
装置２００は、表面１５０における水の集合状態を検出するように構成されている。
【0097】
光学センサ１１０は、第１の帯域幅を有する第１の画像１４３と、第２の帯域幅を有する第２の画像１４６とを生成するように構成されている。
【0098】
追加の光学センサ２１０は、第１の偏光フィルタを伴う第３の画像２６３と、第２の偏光フィルタを伴う第４の画像２６６と、第３の偏光フィルタを伴う第５の画像２６９とを生成するように構成されている。
【0099】
光学センサ１１０および追加の光学センサ２１０は、第１の画像１４３、第２の画像１４６、第３の画像２６３、第４の画像２６６、および第５の画像２６９を処理装置１２０に提供するように構成されている。
【0100】
任意選択の温度センサ２３０は、周囲温度値を処理装置に提供するように構成されている。周囲温度が水の氷点より十分に高いかまたは十分に低い場合、水を含む領域は、周囲温度に応じて水または氷として特定されることになる。
【0101】
処理装置１２０は、第１の画像および第２の画像に基づいて吸収の測定を評価２８０し、表面１５０における水を検出するように構成されている。さらに、処理装置１２０は、第３の画像、第４の画像、および第５の画像を使用しながら後方散乱の測定を評価２９０し、水を含む領域における水の集合状態を検出するように構成されている。吸収の測定の評価方法２８０と後方散乱の測定の評価方法２９０の性質とは後でさらに説明されている。
【0102】
水を含む領域の検出された集合状態２４０は、処理装置の出力または装置の出力である。
【0103】
図３ａは、装置２００と装置に連結されたインターフェース３１０とを備える移動の手段３００の実施形態の概略的な描写を示している。
【0104】
図２に説明されているように、装置２００は、表面１５０における水を含む領域において集合状態を検出するように構成されている。
【0105】
インターフェース３１０は、装置が水の固体状態を検出する場合、移動の手段の運転者３２０に警告し、および／または、移動の手段の制御に先制して影響を与えるように構成される。
【0106】
移動の手段３００の装置２００は、道路における濡れた領域、水溜り、および氷または雪の形成を先制して特定および位置特定し、周囲温度が水の氷点に近いときに集合状態を分類することによって、安全な運転を可能にする。静止摩擦を失うことの実際の危険または危機の推定は、将来の先進運転支援システム（ＡＤＡＳ）または自律運転車両にとって重要な特徴である。
【0107】
代替で、図３ｂは、装置２００を備える移動の手段３００の実施形態の概略的な描写を示している。１．４０ｍのカメラ高さにおいて画像センサを備える装置２００は、５ｍから１００ｍまでの前方を見ることができる。例えば、装置が１００ｍの前方を見ようとする場合、入射角３３０は約８９°となる。
【0108】
図４ａは、４００ｎｍから１０００ｎｍの間のスペクトル範囲内での水の吸収特性４１０の図４００を示している。９００ｎｍから１０００ｎｍの間のスペクトル範囲が大きな吸収率を有し、ウインドウ４２０によって強調されている。
【0109】
図４ｂは、４００ｎｍから１２００ｎｍの間のスペクトル範囲内での水の吸収特性４１０の図４５０を示している。９００ｎｍから１２００ｎｍの間のスペクトル範囲が２つの吸収ピークを有している。装置２００は９００ｎｍから１０００ｎｍの間の波長範囲内で感知できる。１１００ｎｍより大きい波長範囲において感知できる特定のＩＩＩ－Ｖ族の半導体画像センサは必要ではない。
【0110】
図１において説明されているように、装置１００は水の吸収特性を利用する。装置１００の光学センサ１１０は、大きい水吸収率を有するスペクトル範囲と小さい水吸収率を有するスペクトル範囲とのためのそれぞれのバンドパスフィルタ１３３、１３６を用いて同じ表面１５０にわたる２つのピクチャ１４３、１４６を撮る。第１の画像１４３および第２の画像１４６における水を含む領域は異なって画像化される。
【0111】
アスファルトなどの他の環境の材料が、例えば、４００ｎｍから１２００ｎｍの間のスペクトル範囲内で一定の吸収率を呈するため、変化する背景または照明などの外部の影響因子は、例えば、両方のピクチャに等しく影響を与えることになる。
【0112】
背景を低減または排除するために、または、水を含む領域を強調するために、装置１００の処理装置１２０はピクチャ１４３、１４６を互いと組み合わせるように構成されている。第１の光学バンドパスフィルタ１３３の第１の光学帯域幅および第２の光学バンドパスフィルタ１３６の第２の光学帯域幅を最適に選択することで、ピクチャ同士の間での水を含む領域において、画素強度における最大限可能な差が提供される。
【0113】
水の吸収ピークは約９８０ｎｍにおいてであり、そのため第１のバンドパスフィルタは９００～１０００ｎｍの間の波長範囲内で使用される。第２のバンドパスフィルタは、４００～９００ｎｍの間の波長範囲内で実際には自由に選択可能である。
【0114】
最適な選択において、第１の光学帯域幅は、例えば半幅において、８２０ｎｍから８７０ｎｍの間、８４０ｎｍから８８０ｎｍの間、または８５０ｎｍから８９０ｎｍの間の範囲にある値を有することができ、第２の光学帯域幅は、例えば半幅において、９２０ｎｍから９７０ｎｍの間、９４０ｎｍから９８０ｎｍの間、または９５０ｎｍから９９０ｎｍの間の範囲にある値を有することができる。
【0115】
【0116】
開始点として、水溜りを伴う道路など、水５２０で一部覆われている表面５１０が示されている。
【0117】
第１のステップとして、装置２００の光学センサ１１０は、水５２０が第１の吸収率をその幅内で有する第１の光学帯域幅を有する第１の画像１４３と、水が第１の吸収率より大きい第２の吸収率をその幅内で有する第２の光学帯域幅を有する第２の画像１４６とを生成する。
【0118】
異なる吸収率のため、水５２０を含む領域は第１の画像１４３および第２の画像１４６において異なって画像化される。第２の画像１４６では、水５２０を含む領域は相当に暗くなる。
【0119】
第２のステップとして、装置２００の処理装置１２０は、組合せ画像５３０を第１の画像１４３および第２の画像１４６から生成する。この場合、画素ごとの商の計算が画素ごとの組合せにおいて使用される。組合せの他の方法には、画素ごとの差の計算、画素ごとの正規化差の計算、または、１と商の計算との間の差の計算がある。
【0120】
組合せ画像、または画素ごとの商の計算の結果は、一種のヒートマップであり、そのため商の値が１．０からより大きく逸脱すると、水または氷が検出されることがより起こりやすくなる。
【0121】
第３のステップとして、装置２００の処理装置１２０は、水を含む領域を検出または位置特定する。水を含む領域を位置特定または検出することは、画素ごとに基づいて閾値で、または、「特徴抽出」、つまり、隣接領域の特定を介して、最終的な決定として実施され得る。水１４０を含む検出された領域は、装置２００の評価方法２８０の出力である。
【0122】
ここで、水の吸収率は大体で次の数式となることは留意されるべきである。
【0123】
【数3】
【0124】
つまり、２５５の画素彩度を伴う水の１ｍｍの深さの膜で、吸収は良くても２．０・１０－３・２５５＝０．５１としかならない。
【0125】
測定可能である吸収効果について、隣接する画素同士もピクセルウインドウに組み込まれる。ピクセルウインドウがより大きくなると、吸収効果がより大きく増幅され、それによって、結果生じる折り重ね画像または水のヒートマップもより不鮮明になる。例えば、水溜りが単一の画素だけから成る場合、または、少なすぎる画素から成る場合、水溜りは特定されない。
【0126】
さらに、単純な差の計算と単純な商の計算との間の差は、以下の例においてより詳細に説明される。
【0127】
開始点として、水膜によって覆われている明るい領域と暗い領域とを有する表面が選択される。水が無視できるほどの少ししか吸収しないスペクトル範囲内で、例えば２００といった測定値が明るい領域について取得され、例えば５０といった測定値が暗い領域について取得される。水が顕著な度合いまで吸収するスペクトル範囲内で、例えば０．８・２００＝１６０といった読取りが明るい領域について得られ、例えば０．８・５０＝４０といった読取りが暗い領域について得られる。
【0128】
差は、明るい領域については４０となり、暗い領域については１０となり、これは、明るい領域により多くの水が存在するという誤った結論をもたらしてしまう。
【0129】
しかしながら、商は、両方の領域について０．８の値をもたらす。乾いた領域は、商の計算の場合に１．０の値に対応する。
【0130】
例えば、差の画素ごとの正規化も、例えば次の数式のように可能である。
【0131】
【数4】
【0132】
この場合、この数式は、単純に１ － 商となる。値ｉ１（ｘ， ｙ）およびｉ２（ｘ， ｙ）は、位置ｘ， ｙにおける第１の画像および第２の画像の個別の画素強度値を表している。
【0133】
【0134】
図６ｂは、組合せ画像または折り重ね画像を示している。組合せ画像は、９００ｎｍから１０００ｎｍの間のスペクトル範囲を伴う第１の画像１４３と、８００ｎｍから９００ｎｍの間のスペクトル範囲を伴う第２の画像１４６との間の画素ごとの商の計算によって生成されている。縮小したピクチャを生成することができるようにするために、画素は５ｘ５のピクセルウインドウを通じて平均化される。
【0135】
例では、以下のバンドパスフィルタが使用されている。
・ ４００：１のコントラストを伴う４００～４２００ｎｍの鉛直偏光フィルタを伴う８５０ｎｍのＣＷＬおよび５０ｎｍのＦＷＨＭのバンドパスフィルタ。
・ ４００：１のコントラストを伴う４００～２２００ｎｍの鉛直偏光フィルタを伴う９５０ｎｍのＣＷＬおよび５０ｎｍのＦＷＨＭのバンドパスフィルタ。
・ ４００：１のコントラストを伴う４００～４２００ｎｍの鉛直偏光フィルタを伴う８５０ｎｍのＣＷＬおよび５０ｎｍのＦＷＨＭのバンドパスフィルタ。
・ ４００：１のコントラストを伴う４００～２２００ｎｍの鉛直偏光フィルタを伴う９５０ｎｍのＣＷＬおよび５０ｎｍのＦＷＨＭのバンドパスフィルタ。
【0136】
組合せ画像は単純な閾値で評価されている。閾値決定は、例えば、以下の関数を使用しながら定められ得る。
ｍａｘ（ｒｏｕｎｄ（ｉ（ｘ， ｙ）－０．４）， １．０）
ｍａｘ（ｒｏｕｎｄ（ｉ（ｘ， ｙ）－０．４）， １．０）
【0137】
乾いた領域または乳白色の氷の領域は、ピクチャにおいて明るいかまたは白くなり、０．９より大きい値を有する。０．９未満の値は、ピクチャにおいて暗いかまたは黒色であり、水として特定される。透明／濡れた氷の吸収は水のように振る舞う。
【0138】
光は乳白色の氷もしくは雪を通過できない、または、乳白色の氷もしくは雪は吸収率において効果を有していない。
【0139】
組合せ画像に水６１０ｂを含む領域は、はっきりと見ることができる。さらに、水表面における木の反射は、吸収の測定における効果をほとんど有していない。組合せ画像は、水体において反射される表面下の材料、光、または変化する環境などの変化する外部の影響についての測定を是正する。
【0140】
透明な氷は水のように振る舞う。
【0141】
この吸収測定方法は、分かっていない光源に対処するように構成されている。唯一の要件は、光源が近赤外線（ＮＩＲ）の範囲内、つまり、１０００ｎｍ未満の十分なエネルギーを有することである。太陽光ではまったく問題はなく、夜では、例えばハロゲンランプなどの車のヘッドライトは十分である。
【0142】
水の吸収ピークは約９８０ｎｍであり、そのため第１のバンドパスフィルタは９００～１０００ｎｍの間の波長範囲内で使用される。
【0143】
第２のバンドパスフィルタは、４００～９００ｎｍの間の波長範囲内で実際には自由に選択可能である。実施形態では、第２のバンドパスフィルタは、８００～９００ｎｍの間の波長範囲内にある。
【0144】
したがって、簡単に言えば、２つの色が比較される。しかしながら、使用される光学バンドパスフィルタ１３３、１３６は、可視範囲内で使用されない。例えばＣＭＯＳセンサといった使用される光学センサ１１０は、ベイヤーフィルタを有さず、したがって単色である。三色の赤、緑、青（Ｒ－Ｇ－Ｂ）は、約６００～７００ｎｍ、約５００～６００ｎｍ、約４００～５００ｎｍの波長範囲内でのバンドパスフィルタにすぎない。
【0145】
図７は、装置１００によって検出される水７６０の反射特性を示している。水のすべての形態は相当の鏡面反射を呈し、これは偏光の効果をもたらす。
【0146】
図７ａは、水７６０を一部通過し、水表面から一部反射される非偏光の光線７１０の図である。
【0147】
図７ｂは、垂直（ＴＥ）７５３および平行（ＴＭ）７５６に偏光され、異なる入射角７４０において水表面から反射される光線の反射係数の図を示している。水表面に対して垂直の入射角は０°の値を有する。さらに、水についておおよそ５３°のブルースター角７５０も図７ｂに記されている。ブルースター角７５０であれば、反射した光線は１００％水平に偏光される。反射した光線の入射角７４０はブルースター角７５０に近い限り、反射した光線７３０は１００％水平に偏光されることになる。
【0148】
図７ｃは、鉛直および平行に偏光され、異なる入射角７４０において水表面から反射される光線の次の数式の反射係数率の図を示している。
【0149】
【数5】
【0150】
偏光率は、ブルースター角７５０において、つまり、約５３°において、最大値を有する。
【0151】
図７ａでは、水表面から反射した光線７３０は主に水平に偏光されており、通過する光線７２０は主に鉛直に偏光されている。
【0152】
通過した光線７２０だけが水の吸収によって影響される。鏡面の様態で反射される水平に偏光された光線７３０は、吸収の測定と関係ない、または、吸収の測定と干渉すらしない。鏡面の様態で反射される水平に偏光された光線７３０の低減または排除は、図１における鉛直偏光フィルタ１１５などの鉛直偏光フィルタで可能である。
【0153】
図７ｂに示されているように、鉛直偏光フィルタは、反射した光線７３０が１００％水平に偏光されるため、反射した光線の入射角７４０がブルースター角７５０に近い限り有利なままである。入射角がブルースター角から離れるにつれて、偏光フィルタの効果は小さくなる。
【0154】
例えば図３における移動の手段３００といった移動の手段の画像センサが、１．４０ｍのカメラ高さにおいて１００ｍ前方を見ようとしている場合、入射角は約８９°になる。
【0155】
以下において、後方散乱の測定が説明されている。後方散乱の測定の評価２９０は、第３、第４、および第５の画像を使用しながら装置２００の処理装置１２０によって実施され、３つの画像はそれらの偏光面に関して互いと異なる。
【0156】
画像の偏光角は偏光楕円として表すことができる。図８ａは、３つの可能な解決策８３０、８４０、８５０が常にあるため、偏光楕円が２つの偏光面８１０、８２０に基づいて明確に決定できないことを示している。２つの偏光面の助けで、起こり得る結果を達成するモデルを訓練することがなおも可能である。
【0157】
図８ｂは、偏光楕円８９０を定める３つの偏光面８６０、８７０、８８０を示している。３つの偏光面８６０、８７０、８８０は均等に分配されており、偏光面の角度のずれはここでは関係しない。
【0158】
図８ｃおよび図８ｄは、図２における装置２００の処理装置１２０によって実施される後方散乱特性の評価２９０または分類を示している。後方散乱特性の評価２９０では、偏光楕円の長軸と短軸との間の関係は重要である。ここで、０°および９０°の２つの偏光フィルタはほとんどの場合において十分である。第３のフィルタは増加した正確性を許容する。楕円の傾斜は周囲の光に強く依存し、そのため使用するのが困難である。
【0159】
【0160】
氷晶は光線を散乱させ、偏光楕円を回転させる。その結果、若干推移した配向を伴うより散乱した偏光となる。図８ｄは、均一な偏光の成分を伴う固体の水の偏光楕円を示している。
【0161】
偏光楕円の回転は照明に依存する。均質な照明であれば、偏光楕円の回転も均質であり、特徴として使用できる。
【0162】
【0163】
図９は、３つの例示の描写と１つの未加工のピクチャとによる後方散乱の測定のための例示の状況を示している。図９ｄは、元々の表面、つまり、フィルタなしでのピクチャを示している。図９ｄは、乾いた領域９２０と、水を含む領域９１０と、２つの氷の表面９３０とを伴う道路表面を示している。
【0164】
図９ａ、図９ｂ、図９ｃは、それぞれ第３の画像、第４の画像、および第５の画像を示しており、第３の画像は偏光面に関して互いと異なっている。図９ａ～図９ｃは疑似色の描写である。ここで、偏光フィルタからのピクチャは、効果をより鮮明にするためにＲ（＋６０°）、Ｇ（０°）、Ｂ（－６０°）において配置されている。ここで、白色（Ｒ≒Ｇ≒Ｂ）は氷であり、緑色（Ｒ＜Ｇ＞Ｂ）は水であり、紫色（Ｒ＞Ｇ＜Ｂ）は乾いている。
【0165】
以下の偏光フィルタが例において使用されている。
・ ０°（水平）において４００：１のコントラストを伴う４００～２２００ｎｍの偏光フィルタ。
・ ６０°において４００：１のコントラストを伴う４００～２２００ｎｍの偏光フィルタ。
・ １２０°において４００：１のコントラストを伴う４００～２２００ｎｍの偏光フィルタ。
・ ０°（水平）において４００：１のコントラストを伴う４００～２２００ｎｍの偏光フィルタ。
・ ６０°において４００：１のコントラストを伴う４００～２２００ｎｍの偏光フィルタ。
・ １２０°において４００：１のコントラストを伴う４００～２２００ｎｍの偏光フィルタ。
【0166】
後方散乱の測定は吸収の測定から独立している。ここで、撮られた３つのピクチャは、画素ごとに基づいて３つのピクチャの平均に正規化され、互いと比較される。正規化では、次の数式が使用される。
【0167】
【数6】
【0168】
ここで、ｐ１Ｎは、第１の画像の正規化された画素を表しており、ｐ１、ｐ２、およびｐ３は、第３、第４、および第５の画像の個別のピクチャ素子の値を表している。
【0169】
この場合における単純な閾値の決定は、例えば、ｐ０≫ｐ６０およびｐ０≫ｐ１２０の場合に水であり、ｐ０≒ｐ６０≒ｐ１２０の場合に乳白色の氷／雪であり、ｐ０＞ｐ６０≒ｐ１２０の場合に透明な氷である。値ｐ０、ｐ６０、およびｐ１２０は、第３、第４、および第５の画像の個々のピクチャ素子を表している。
【0170】
第１の手法では、個別の方法のヒートマップが単に組み合わされる。後方散乱の方法は、表面散乱を測定し、滑らかな物体を水と解釈する。吸収の方法はこれを無視する。
【0171】
吸収率が大きく、後方散乱の測定が散乱または滑らかな表面をほとんど確認しない場合のみ、目前にあるものは液体の水である。
【0172】
透明な氷の場合、論理は異なる。吸収率が大きく、つまり、水が存在し、後方散乱の測定が大きな散乱を示すとき、目前にあるものは透明な氷である。
【0173】
不透明な氷／雪は、吸収によっては良好に検出できないが、吸収を呈さないが非常に大きな散乱を呈するため、後方散乱によってより一層容易に検出される。
【0174】
吸収の方法は、隣接の画素を評価するためのアルゴリズムと、周囲のすべてを考慮するための訓練された決定モデルとを使用して向上させることができる。異なる場合を網羅するために、モデルはここでは機械学習を用いて訓練される。３２ｘ３２の画素の大きさの画像部分について、認識率は９８％であり、実地試験データと相互検証されたとき、なおも非常に良好な８５％であった。形をも評価するニューラルネットワークを使用し、実地試験データによる学習を訓練するとき、９５％超が再び達成される。
【0175】
図１０は、フィルタ層１０１０を備える画像センサ１０２０を備える光学センサ１０００の実施形態の概略的な描写を示している。フィルタ層１０１０は画像センサ１０２０の上方に位置させられている。画像センサは画素１０３０へと分割されている。
【0176】
フィルタ層は、画素ごとに基づいて４つの異なるフィルタグループＦ１、Ｆ２、Ｆ３、Ｆ４へと均等に分割されている。例えば、フィルタグループＦ１およびＦ２はバンドパスフィルタを備えてもよく、フィルタグループＦ３およびＦ４は偏光フィルタを備えてもよい。
【0177】
光線１０４０がフィルタ層１０１０に到達する。画像センサ１０２０の画素１０３０は、フィルタ層１０１０の異なるフィルタグループＦ１、Ｆ２、Ｆ３、Ｆ４から濾過された光線を受けることになる。個別のセンサによって生成される画像は、フィルタグループＦ１、Ｆ２、Ｆ３、Ｆ４によって４つの画像１０６０、１０７０、１０８０、１０９０へと分割され、画像は処理装置に提供される。
【0178】
光学センサ１０００は、装置２００におけるセンサ１１０および２１０を置き換えてもよい。
【0179】
一部の態様が装置の文脈の中で記載されているが、前記態様は対応する方法の記載も表しており、そのため、ブロックまたは装置の構造の構成要素は、対応する方法ステップとして、または、方法ステップの特徴として理解されるものでもあることは理解される。それと類似して、方法ステップとの関連で、または、方法ステップとして記載されている態様は、対応するブロックまたは対応する装置の詳細もしくは特徴も表している。方法ステップの一部または全部は、ハードウェア装置によって（または、ハードウェア装置を使用する間に）実施されてもよい。一部の実施形態では、最も重要な方法ステップの一部またはいくつかは、このような装置によって実施されてもよい。
【0180】
図１１は、３つの異なるカメラまたは感光領域を伴う実施を示している。第１のカメラ１１０１、第２のカメラ１１０２、および第３のカメラ１１０３は、Ｘｉによって示された同じ光を感知するために、互いと隣り合って配置されている。第１のカメラ１１０１は２つのフィルタ層１１０１ａおよび１１０１ｂを有する。第２のカメラ１１０２は２つのフィルタ層１１０２ａおよび１１０２ｂを有し、第３のカメラ１１０３は２つのフィルタ層１１０３ａおよび１１０３ｂを有する。フィルタまたはフィルタ層１１０１ａおよび１１０３ａは同一であり、第１の波長λ１に関して濾過する。フィルタ層１１０２ａまたはフィルタ１１０２ａは、異なる波長λ２に関して濾過する。さらに、フィルタまたはフィルタ層１１０１ｂ、１１０２ｂ、および１１０３ｂは偏光フィルタであり、それらのうちの要素１１０１ｂおよび１１０２ｂは同一であり、第１の偏光φ１に関して濾過し、要素１１０３ｂは第２の偏光φ２に関して濾過する。各々のカメラおよび／または感光領域１１０１、１１０２、１１０３の結果は符号１１０４において描写されている。偏光（φ１、φ２）と吸収（λ１およびλ２）との異なる組合せを各々備える３つの画像が製作されている。
【0181】
評価方法について、ΔＸφおよびΔＸλが、方程式１１０５のブロックの左側において括弧に存在するように必要とされる。４つのカメラ／フィルタのシステムでは、大きさが直接的に得られる。図１１に示されたここでの３つのカメラのシステムでは、大きさΔＸφおよびΔＸλが、λ１（）によって描写された第１の吸収フィルタによって、および／または、φ１（）によって描写された第１の偏光フィルタによって減衰されるため、大きさは、方程式１１０５のブロックにおける左側に示されているようなさらなるフィルタによって追加的に減衰される。しかしながら、２つのフィルタλ１（）およびφ１（）は分かっているため、方程式１１０５の左側における式は、元の反応ΔＸφおよびΔＸλに戻って計算される。
【0182】
配置が、３つの専用のカメラを備えるのか、３つの領域（画素）および／または１つの画素あたり３つの領域１１０２、１１０２、１１０３を有する１つのチップを備えるのかは関係ないことは、留意されるものである。
【0183】
図１１における好ましい実施形態では、以下が使用される。
φ１＝０°（水平に偏光される）
φ２＝９０°（鉛直に偏光される）
λ１＝８５０ｎｍ（バンドパス５０ｎｍ ＦＷＨＭ）
λ２＝９５０ｎｍ（バンドパス５０ｎｍ ＦＷＨＭ）
φ１＝０°（水平に偏光される）
φ２＝９０°（鉛直に偏光される）
λ１＝８５０ｎｍ（バンドパス５０ｎｍ ＦＷＨＭ）
λ２＝９５０ｎｍ（バンドパス５０ｎｍ ＦＷＨＭ）
【0184】
したがって、好ましい装置は、第１の光学帯域幅（λ１）を有する表面の第１の画像（Ｘ０１）と、第２の光学帯域幅（λ２）を有する表面の第２の画像（Ｘ０２）とを生成するため感光領域（１１０１、１１０２、１１０３）を有する光学センサを備える。さらに、追加の光学センサは、第１の偏光フィルタを有する第３の画像（Ｘ０１）と、第２の偏光フィルタを有する第４の画像（Ｘ０３）とを処理装置に提供するように構成される。また、処理装置は、第１の画像および第３の画像から差（Ｘ０１－Ｘ０２）を決定し、第１の偏光フィルタを使用しながら組合せ画像を計算するように構成される。さらに、処理装置は、第３の画像および第４の画像からさらなる差（Ｘ０１－Ｘ０３）を決定するように構成され、水を含む領域を評価するために偏光差（ΔＸλ）を使用するように、第１の吸収フィルタを使用しながら偏光差（ΔＸλ）を計算するように構成される。
【0185】
本出願の目的のために言及された第１の画像は、記載された３つのカメラ／要素の解決策の場合、第３の画像と同じ画像である。しかしながら、第２の画像と第４の画像とは、異なる感光領域１１０２および１１０３の異なる画像である。また、組合せ画像が単純な差によって必ずしも得られず、可及的に図１１の実施形態におけるようなフィルタを使用しながら差を処理することで得られることは、留意されるものである。
【0186】
具体的な実施の要件に応じて、本発明の実施形態はハードウェアまたはソフトウェアにおいて実施できる。実施は、それぞれの方法を実施するような方法でプログラム可能なコンピュータシステムと相互作用できるかまたは実際に相互作用できる、例えば、フロッピーディスク、ＤＶＤ、ブルーレイディスク、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ハードディスク、または、電子的に読取り可能な制御信号が保存される任意の他の磁気もしくは光学の保存媒体といったデジタル保存媒体を使用して実施できる。そのため、デジタル保存媒体はコンピュータ読取可能であり得る。
【0187】
したがって、本発明による一部の実施形態は、本明細書に記載されている方法のいずれかが実施されるようにプログラム可能なコンピュータシステムと相互作用することができる電子的に読取可能な制御信号を有する保存媒体を備える。
【0188】
概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施でき、プログラムコードは、コンピュータプログラム製品がコンピュータにおいて動いているときに方法のうちのいずれかを実施するように動作する。
【0189】
例えば、プログラムコードは機械読取り可能な媒体に保存されてもよい。
【0190】
他の実施形態は、本明細書に記載されている方法のいずれかを実施するためのコンピュータプログラムを含み、コンピュータプログラムは機械読取り可能な媒体で保存される。
【0191】
したがって、別の言い方をすれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるとき、本明細書に記載されている方法のいずれかを実施するためのプログラムコードを含むコンピュータプログラムである。
【0192】
したがって、本発明による方法の他の実施形態は、本明細書に記載されている方法のいずれかを実施するためのコンピュータプログラムが記録されているデータ記憶媒体（またはデジタル保存媒体もしくはコンピュータ読取可能媒体）である。
【0193】
したがって、本発明による方法の他の実施形態は、本明細書に記載されている方法のいずれかを実施するためのコンピュータプログラムを表す信号のデータストリームまたはデータシーケンスである。信号のデータストリームまたはデータシーケンスは、例えば、インターネットにおいてなど、データ通信リンクにおいて伝送されるように構成されてもよい。
【0194】
他の実施形態は、本明細書に記載された方法のうちのいずれかを実施するように構成または適合される、コンピュータまたはプログラム可能論理装置などの処理装置を備える。
【0195】
さらなる実施形態は、本明細書に記載の方法のいずれかを実施するためのコンピュータプログラムがインストールされているコンピュータを備える。
【0196】
本発明による他の実施形態は、本明細書に記載されている方法のうちの少なくとも１つを実施するためのコンピュータプログラムを受信装置に送信するように構成される装置またはシステムを備える。送信は、例えば電子的または光学的であり得る。受信装置は、例えばコンピュータ、モバイル装置、保存装置、または同様の装置であり得る。装置またはシステムは、例えば、コンピュータプログラムを受信装置に送信するためのファイルサーバを備え得る。
【0197】
一部の実施形態では、プログラム可能論理装置（例えば、フィールドプログラマブルゲートアレイ、ＦＰＧＡ）が、本明細書に記載された方法の機能の一部または全部を実施するために使用されてもよい。一部の実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載された方法のいずれかを実施するためにマイクロプロセッサと相互作用できる。概して、一部の実施形態では、方法は任意のハードウェア装置の一部で実施される。これは、コンピュータ処理装置（ＣＰＵ）などの汎用ハードウェア、または、ＡＳＩＣなどの方法に特定のハードウェアであり得る。
【0198】
先に記載されている実施形態は、本発明の原理の単なる例示である。本明細書に記載されている配置および詳細の改良および変形が当業者に明らかとなることは理解されるものである。そのため、本発明が、本明細書における実施形態の記載および説明によって提示されている具体的な詳細によってではなく、請求項の保護の範囲のみによって限定されることが意図されている。
【0199】
（参考文献）
A. L. Rankin, L. H. Matthies, and P. Bellutta (2011), "Daytime water- detection based on sky reflections", in Robotics and Automation (ICRA 2011 IEEE International Conference on. IEEE, 2011, pp. 5329-5336
C. V. Nguyen, M. Milford, R. Mahony (2017): "3[) tracking of water hazards with polarized stereo cameras", 2017 IEEE International Conference on Robotics and Automaton (ICRA) Singapore, May 29 - June 3, 2017
V. Vikari, T. Varpula, and M. Kantanen (2009), "Road-condition recognition using 24-GHz automotive radar", IEEE Transactions on Intelligent Transportation Systems, vol. 10, no. 4, pp. 639-648, 2009
J. Casselgren, S. Rosendahl, M. Sjodahl, P. Jonsson (2015), "Road condition analysis using NIR illumination and compensating for surrounding light", in Optics and Lasers in Engineering 77(2016) pp 175-182
A near-infrared optoelectronic approach to detection of road conditions L. Colace, F.Santoni,G.Assanto, NooEL-Nonlinear Optics and OptoElectronics Lab, University ‘‘Roma Tre’’, Via della Vasca Navale 84, 00146 Rome, Italy
3D tracking of water hazards with polarized stereo cameras
Chuong V. Nguyen1, Michael Milford2 and Robert Mahony
A Lane Detection Vision Module for Driver Assistance
A. L. Rankin, L. H. Matthies, and P. Bellutta (2011), "Daytime water- detection based on sky reflections", in Robotics and Automation (ICRA 2011 IEEE International Conference on. IEEE, 2011, pp. 5329-5336
C. V. Nguyen, M. Milford, R. Mahony (2017): "3[) tracking of water hazards with polarized stereo cameras", 2017 IEEE International Conference on Robotics and Automaton (ICRA) Singapore, May 29 - June 3, 2017
V. Vikari, T. Varpula, and M. Kantanen (2009), "Road-condition recognition using 24-GHz automotive radar", IEEE Transactions on Intelligent Transportation Systems, vol. 10, no. 4, pp. 639-648, 2009
J. Casselgren, S. Rosendahl, M. Sjodahl, P. Jonsson (2015), "Road condition analysis using NIR illumination and compensating for surrounding light", in Optics and Lasers in Engineering 77(2016) pp 175-182
A near-infrared optoelectronic approach to detection of road conditions L. Colace, F.Santoni,G.Assanto, NooEL-Nonlinear Optics and OptoElectronics Lab, University ‘‘Roma Tre’’, Via della Vasca Navale 84, 00146 Rome, Italy
3D tracking of water hazards with polarized stereo cameras
Chuong V. Nguyen1, Michael Milford2 and Robert Mahony
A Lane Detection Vision Module for Driver Assistance
Author(s): Macek, Kristijan; Williams, Brian; Kolski, Sascha; Siegwart, Roland
Daytime Water Detection Based on Color Variation
Arturo Rankin and Larry Matthies
Daytime Water Detection Based on Sky Reflections
Arturo L. Rankin, Larry H. Matthies, and Paolo Bellutta
Detecting water hazards for autonomous off-road navigation
Larry Matthies*, Paolo Bellutta, Mike McHenry
Ice detection on a road by analyzing tire to road friction ultrasonic noise
D. Gailius, S. Jacenas
Ice formation detection on road surfaces using infrared thermometry
Mats Riehm,Torbjorn Gustavsson, Jorgen Bogren, Per-Erik Jansson
Wet Area and Puddle Detection for Advanced Driver Assistance Systems
(ADAS) Using a Stereo Camera
Jisu Kim, Jeonghyun Baek, Hyukdoo Choi, and Euntai Kim*
MULTISPECTRAL IMAGING OF ICE
Dennis Gregoris, Simon Yu and Frank Teti
Near field ice detection using infrared based optical imaging technology
Hazem Abdel-Moati, Jonathan Morris, Yousheng Zeng, Martin Wesley Corie II, Victor Garas Yanni
New System for Detecting Road Ice Formation
Amedeo Troiano, Eros Pasero, Member, IEEE, and Luca Mesin
Selection of optimal combinations of band-pass filters for ice detection by hyperspectral imaging
Shigeki Nakauchi, Ken Nishino, and Takuya Yamashita
A Sensor for the Optical Detection of Dangerous Road Condition
Armando Piccardi and Lorenzo Colace
Polarization-Based Water Hazards Detection for
Autonomous Off-road Navigation
Bin Xie, Huadong Pan, Zhiyu Xiang, Jilin Liu
Road condition analysis using NIR illumination and compensating for surrounding light
Johan Casselgren , SaraRosendahl , MikaelSjodahl , PatrikJonsson
Self-Supervised Segmentation of River Scenes
Supreeth Achar, Bharath Sankaran, Stephen Nuske, Sebastian Scherer and Sanjiv Singh.
A. L. Rankin, L. H. Matthies, and P. Bellutta (2011), "Daytime water- detection based on sky reflections", in Robotics and Automation (ICRA 2011 IEEE International Conference on. IEEE, 2011, pp. 5329-5336
C. V. Nguyen, M. Milford, R. Mahony (2017): "3[) tracking of water hazards with polarized stereo cameras", 2017 IEEE International Conference on Robotics and Automaton (ICRA) Singapore, May 29 - June 3, 2017
V. Vikari, T. Varpula, and M. Kantanen (2009), "Road-condition recognition using 24-GHz automotive radar", IEEE Transactions on Intelligent Transportation Systems, vol. 10, no. 4, pp. 639-648, 2009
J. Casselgren, S. Rosendahl, M. Sjodahl, P. Jonsson (2015), "Road condition analysis using NIR illumination and compensating for surrounding light", in Optics and Lasers in Engineering 77(2016) pp 175-182
A near-infrared optoelectronic approach to detection of road conditions L. Colace, F.Santoni,G.Assanto, NooEL-Nonlinear Optics and OptoElectronics Lab, University ‘‘Roma Tre’’, Via della Vasca Navale 84, 00146 Rome, Italy
3D tracking of water hazards with polarized stereo cameras
Chuong V. Nguyen1, Michael Milford2 and Robert Mahony
A Lane Detection Vision Module for Driver Assistance
A. L. Rankin, L. H. Matthies, and P. Bellutta (2011), "Daytime water- detection based on sky reflections", in Robotics and Automation (ICRA 2011 IEEE International Conference on. IEEE, 2011, pp. 5329-5336
C. V. Nguyen, M. Milford, R. Mahony (2017): "3[) tracking of water hazards with polarized stereo cameras", 2017 IEEE International Conference on Robotics and Automaton (ICRA) Singapore, May 29 - June 3, 2017
V. Vikari, T. Varpula, and M. Kantanen (2009), "Road-condition recognition using 24-GHz automotive radar", IEEE Transactions on Intelligent Transportation Systems, vol. 10, no. 4, pp. 639-648, 2009
J. Casselgren, S. Rosendahl, M. Sjodahl, P. Jonsson (2015), "Road condition analysis using NIR illumination and compensating for surrounding light", in Optics and Lasers in Engineering 77(2016) pp 175-182
A near-infrared optoelectronic approach to detection of road conditions L. Colace, F.Santoni,G.Assanto, NooEL-Nonlinear Optics and OptoElectronics Lab, University ‘‘Roma Tre’’, Via della Vasca Navale 84, 00146 Rome, Italy
3D tracking of water hazards with polarized stereo cameras
Chuong V. Nguyen1, Michael Milford2 and Robert Mahony
A Lane Detection Vision Module for Driver Assistance
Author(s): Macek, Kristijan; Williams, Brian; Kolski, Sascha; Siegwart, Roland
Daytime Water Detection Based on Color Variation
Arturo Rankin and Larry Matthies
Daytime Water Detection Based on Sky Reflections
Arturo L. Rankin, Larry H. Matthies, and Paolo Bellutta
Detecting water hazards for autonomous off-road navigation
Larry Matthies*, Paolo Bellutta, Mike McHenry
Ice detection on a road by analyzing tire to road friction ultrasonic noise
D. Gailius, S. Jacenas
Ice formation detection on road surfaces using infrared thermometry
Mats Riehm,Torbjorn Gustavsson, Jorgen Bogren, Per-Erik Jansson
Wet Area and Puddle Detection for Advanced Driver Assistance Systems
(ADAS) Using a Stereo Camera
Jisu Kim, Jeonghyun Baek, Hyukdoo Choi, and Euntai Kim*
MULTISPECTRAL IMAGING OF ICE
Dennis Gregoris, Simon Yu and Frank Teti
Near field ice detection using infrared based optical imaging technology
Hazem Abdel-Moati, Jonathan Morris, Yousheng Zeng, Martin Wesley Corie II, Victor Garas Yanni
New System for Detecting Road Ice Formation
Amedeo Troiano, Eros Pasero, Member, IEEE, and Luca Mesin
Selection of optimal combinations of band-pass filters for ice detection by hyperspectral imaging
Shigeki Nakauchi, Ken Nishino, and Takuya Yamashita
A Sensor for the Optical Detection of Dangerous Road Condition
Armando Piccardi and Lorenzo Colace
Polarization-Based Water Hazards Detection for
Autonomous Off-road Navigation
Bin Xie, Huadong Pan, Zhiyu Xiang, Jilin Liu
Road condition analysis using NIR illumination and compensating for surrounding light
Johan Casselgren , SaraRosendahl , MikaelSjodahl , PatrikJonsson
Self-Supervised Segmentation of River Scenes
Supreeth Achar, Bharath Sankaran, Stephen Nuske, Sebastian Scherer and Sanjiv Singh.
【符号の説明】
【0200】
１００ 装置
１１０ 光学センサ
１１５ 鉛直偏光フィルタ
１２０ 処理装置
１２３ 第１の個別センサ
１２６ 第２の個別センサ
１３０ 組合せ画像
１３３ 第１の光学バンドパスフィルタ
１３６ 第２の光学バンドパスフィルタ
１４０ 水
１４３ 第１の画像、ピクチャ
１４６ 第２の画像、ピクチャ
１５０ 表面
１６０ 光線
２００ 装置
２１０ 追加の光学センサ
２３０ 温度センサ
２３３ フィルタ層
２３３Ｆ フィルタ層の正面図
２４０ 集合状態
２４３ 個別のセンサ
２５３ 偏光フィルタ層
２６３ 第３の画像
２６６ 第４の画像
２６９ 第５の画像
２８０ 吸収の測定の評価方法
２９０ 後方散乱の測定の評価方法
３００ 移動の手段
３１０ インターフェース
３２０ 運転者
３３０ 入射角
４１０ 水の吸収特性
４２０ ウインドウ
５３０ 組合せ画像
６１０ａ、６１０ｂ 水
７１０ 光線
７２０ 通過した光線
７３０ 反射した光線、水平に偏光された光線
７４０ 入射角
７５０ ブルースター角
７６０ 水
８１０、８２０、８６０、８７０ 偏光面
８３０、８４０、８５０ 解決策
８９０ 偏光楕円
９１０ 水を含む領域
９２０ 乾いた領域
９３０ 氷の表面
１０００ 光学センサ
１０１０ フィルタ層
１０２０ 画像センサ
１０３０ 画素
１０４０ 光線
１０６０、１０７０、１０８０、１０９０ 画像
１１０１ 第１のカメラ
１１０１ａ、１１０１ｂ フィルタ層
１１０２ 第２のカメラ
１１０２ａ、１１０２ｂ フィルタ層
１１０３ 第３のカメラ
１１０３ａ、１１０３ｂ フィルタ層
１１０５ 方程式
Ｆ１、Ｆ２、Ｆ３、Ｆ４ フィルタグループ
Ｘｉ 光
λ１ 第１の波長、第１の光学帯域幅
λ２ 波長、第２の光学帯域幅
φ１ 第１の偏光
φ２ 第２の偏光
１１０ 光学センサ
１１５ 鉛直偏光フィルタ
１２０ 処理装置
１２３ 第１の個別センサ
１２６ 第２の個別センサ
１３０ 組合せ画像
１３３ 第１の光学バンドパスフィルタ
１３６ 第２の光学バンドパスフィルタ
１４０ 水
１４３ 第１の画像、ピクチャ
１４６ 第２の画像、ピクチャ
１５０ 表面
１６０ 光線
２００ 装置
２１０ 追加の光学センサ
２３０ 温度センサ
２３３ フィルタ層
２３３Ｆ フィルタ層の正面図
２４０ 集合状態
２４３ 個別のセンサ
２５３ 偏光フィルタ層
２６３ 第３の画像
２６６ 第４の画像
２６９ 第５の画像
２８０ 吸収の測定の評価方法
２９０ 後方散乱の測定の評価方法
３００ 移動の手段
３１０ インターフェース
３２０ 運転者
３３０ 入射角
４１０ 水の吸収特性
４２０ ウインドウ
５３０ 組合せ画像
６１０ａ、６１０ｂ 水
７１０ 光線
７２０ 通過した光線
７３０ 反射した光線、水平に偏光された光線
７４０ 入射角
７５０ ブルースター角
７６０ 水
８１０、８２０、８６０、８７０ 偏光面
８３０、８４０、８５０ 解決策
８９０ 偏光楕円
９１０ 水を含む領域
９２０ 乾いた領域
９３０ 氷の表面
１０００ 光学センサ
１０１０ フィルタ層
１０２０ 画像センサ
１０３０ 画素
１０４０ 光線
１０６０、１０７０、１０８０、１０９０ 画像
１１０１ 第１のカメラ
１１０１ａ、１１０１ｂ フィルタ層
１１０２ 第２のカメラ
１１０２ａ、１１０２ｂ フィルタ層
１１０３ 第３のカメラ
１１０３ａ、１１０３ｂ フィルタ層
１１０５ 方程式
Ｆ１、Ｆ２、Ｆ３、Ｆ４ フィルタグループ
Ｘｉ 光
λ１ 第１の波長、第１の光学帯域幅
λ２ 波長、第２の光学帯域幅
φ１ 第１の偏光
φ２ 第２の偏光
【図1】
【図2】
【図3a】
【図3b】
【図4a】
【図4b】
【図5】
【図6a】
【図6b】
【図7a】
【図7b】
【図7c】
【図8a】
【図8b】
【図8c】
【図8d】
【図8e】
【図8f】
【図9a】
【図9b】
【図9c】
【図9d】
【図10】
【図11】