知財求人 - 知財ポータルサイト「IP Force」
▶ フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．の特許一覧
特開2023-41050画像センサ、画像センサを動作させるための方法、画像センサを製造するための方法、および画像センサを有する固定デバイスまたは車両またはドローン
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023041050
(43)【公開日】2023-03-23
(54)【発明の名称】画像センサ、画像センサを動作させるための方法、画像センサを製造するための方法、および画像センサを有する固定デバイスまたは車両またはドローン
(51)【国際特許分類】
H04N 23/54 20230101AFI20230315BHJP
G01W 1/00 20060101ALI20230315BHJP
G01V 8/10 20060101ALI20230315BHJP
G01N 21/17 20060101ALI20230315BHJP
G01N 21/3554 20140101ALI20230315BHJP
G08G 1/00 20060101ALI20230315BHJP
G08G 5/00 20060101ALI20230315BHJP
G08G 1/16 20060101ALI20230315BHJP
H04N 23/55 20230101ALI20230315BHJP
H04N 23/57 20230101ALI20230315BHJP
G01N 21/21 20060101ALN20230315BHJP
【ＦＩ】
H04N5/225 300
G01W1/00 J
G01V8/10 S
G01N21/17 F
G01N21/3554
G08G1/00 J
G08G5/00 A
G08G1/16 A
H04N5/225 400
H04N5/225 700
G01N21/21 Z
【審査請求】有
【請求項の数】23
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022143926
(22)【出願日】2022-09-09
(31)【優先権主張番号】10 2021 210 050.3
(32)【優先日】2021-09-10
(33)【優先権主張国・地域又は機関】DE
(31)【優先権主張番号】10 2022 201 523.1
(32)【優先日】2022-02-14
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】500242786
【氏名又は名称】フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ディートリヒ・ドゥムラー
(72)【発明者】
【氏名】フランツ・ヴェンニンガー
(72)【発明者】
【氏名】クリストフ・クッター
【テーマコード（参考）】
2G059
2G105
5C122
5H181
【Ｆターム（参考）】
2G059AA05
2G059BB20
2G059EE01
2G059EE05
2G059EE11
2G059FF01
2G059HH01
2G059HH02
2G059JJ02
2G059JJ19
2G059KK04
2G105AA01
2G105BB17
2G105EE06
2G105FF12
2G105GG03
2G105HH05
2G105JJ05
2G105KK06
5C122DA14
5C122EA01
5C122FB16
5C122FB17
5C122FC06
5C122FC11
5C122FH11
5C122FK19
5C122FK35
5C122GC14
5C122GC38
5C122GE06
5C122GE11
5C122GE22
5C122HA88
5C122HB10
5H181AA01
5H181AA26
5H181BB04
5H181BB13
5H181CC04
5H181FF13
5H181FF27
5H181FF32
5H181LL01
5H181LL08
5H181MC16
5H181MC19
(57)【要約】 （修正有）
【課題】路面上の危険物のより良好に検出する画像センサ、固定デバイス、ドローン及び方法を提供する。
【解決手段】画像センサ（１００）において、画像要素（１２０）は、空間的に並んで配置される複数のフィルタ要素（１３０）を備える。複数のフィルタ要素（１３０）は、少なくとも１つのカラーフィルタ（１３３）およびフィルタグループからの少なくとも１つの追加フィルタ（１３６）を備える。フィルタグループは、第１の光学帯域幅を有する第１の吸収フィルタ、第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ、第１の偏光特性を有する第１の偏光フィルタ、第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタおよび吸収効果または偏光効果のないフィルタ要素を含む。
【選択図】図１
【解決手段】画像センサ（１００）において、画像要素（１２０）は、空間的に並んで配置される複数のフィルタ要素（１３０）を備える。複数のフィルタ要素（１３０）は、少なくとも１つのカラーフィルタ（１３３）およびフィルタグループからの少なくとも１つの追加フィルタ（１３６）を備える。フィルタグループは、第１の光学帯域幅を有する第１の吸収フィルタ、第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ、第１の偏光特性を有する第１の偏光フィルタ、第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタおよび吸収効果または偏光効果のないフィルタ要素を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１の方向（１１３、２１３）および前記第１の方向（１１３、２１３）に直交する第２の方向（１１６）に格子形状の様式で配置される多数の画像要素（１２０）を備える画像センサ構造（１００）
を備え、
前記多数の画像要素（１２０）のうちの画像要素（１２０）が、空間的に並んで配置される複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）を備え、
前記複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）が、少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）およびフィルタグループからの少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）を備え、
前記フィルタグループが、第１の光学帯域幅を有する第１の吸収フィルタ（１３６、２５３、２５６）、前記第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ（１３６、２５３、２５６）、第１の偏光特性を有する第１の偏光フィルタ（１３６、２６３、２６６）、前記第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタ（１３６、２６３、２６６）、および吸収効果または偏光効果のないフィルタ要素（１３６）を含む、画像センサ（１００、４１０、６５０、７２０）。
を備え、
前記多数の画像要素（１２０）のうちの画像要素（１２０）が、空間的に並んで配置される複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）を備え、
前記複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）が、少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）およびフィルタグループからの少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）を備え、
前記フィルタグループが、第１の光学帯域幅を有する第１の吸収フィルタ（１３６、２５３、２５６）、前記第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ（１３６、２５３、２５６）、第１の偏光特性を有する第１の偏光フィルタ（１３６、２６３、２６６）、前記第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタ（１３６、２６３、２６６）、および吸収効果または偏光効果のないフィルタ要素（１３６）を含む、画像センサ（１００、４１０、６５０、７２０）。
【請求項2】
前記複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）が、赤緑青のカラーフィルタ（１３３、２４２、２４４、２４６）、第１の光学帯域幅を有する第１の吸収フィルタ（１３６、２５３、２５６）、前記第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ（１３６、２５３、２５６）、第１の偏光特性を有する第１の偏光フィルタ（１３６、２６３、２６６）、および前記第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタ（１３６、２６３、２６６）を含む、請求項１に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項3】
前記第１の光学帯域幅が、４００ｎｍと９００ｎｍの間のスペクトル範囲から選択される帯域幅を含み、前記第２の光学帯域幅が、９００ｎｍと１２００ｎｍの間のスペクトル範囲から選択される帯域幅を含む、請求項１または２に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項4】
前記第１の光学帯域幅が、電力半値幅において８２０ｎｍと８７０ｎｍの間の値を含み、前記第２の光学帯域幅が、電力半値幅において９２０ｎｍと９７０ｎｍの間の値を含む、請求項１から３のいずれか一項に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項5】
前記第１の偏光フィルタ（１３６、２６３、２６６）の前記偏光特性と前記第２の偏光フィルタの前記偏光特性（１３６、２６３、２６６）が、互いに対して９０°だけシフトされるように構成される、請求項１から４のいずれか一項に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項6】
少なくとも１つのさらなる追加吸収フィルタ（１３６、２５３、２５６）および／または偏光フィルタ（１３６、２６３、２６６）を備える、請求項１から５のいずれか一項に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項7】
前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が前記第１の方向（１１３、２１３）に並んで配置される、請求項１から６のいずれか一項に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項8】
前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が、前記第１の方向（１１３、２１３）に２本の線で配置される、請求項１から７のいずれか一項に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項9】
前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）が第１のスタック（２３０）に属し、前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が第２のスタック（２２０）に属する、請求項１から８のいずれか一項に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項10】
前記第１のスタック（２３０）と前記第２のスタック（２２０）が前記第１の方向（１１３、２１３）に並んで２本の線で配置される、請求項９に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項11】
前記画像要素（１２０）中の１つの個々のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）に関連する各画像センサ部が、各画像要素（１２０）について選択的に読み出すことができる、請求項１から１０のいずれか一項に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項12】
吸収効果または偏光効果のない前記フィルタ要素（１３６）が、光学的全域通過フィルタとして、または、フィルタ層中の開口もしくは孔として構成される、請求項１から１０のいずれか一項に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項13】
車両（６００）であって、
前記車両の運転方向（６７０）で路面（３１０、４３０、４６０）に向けられ、前記路面（３１０、４３０、４６０）に対して上向きに延在する車両の前側と、
請求項１から１２のいずれか一項に記載の画像センサ（１００、４１０、６５０、７２０）であって、前記車両の前側の上方区域中に前記運転方向（６７０）に向けられて前記車両の前側に取り付けられる、画像センサ（１００、４１０、６５０、７２０）と、
を備える、車両（６００）。
前記車両の運転方向（６７０）で路面（３１０、４３０、４６０）に向けられ、前記路面（３１０、４３０、４６０）に対して上向きに延在する車両の前側と、
請求項１から１２のいずれか一項に記載の画像センサ（１００、４１０、６５０、７２０）であって、前記車両の前側の上方区域中に前記運転方向（６７０）に向けられて前記車両の前側に取り付けられる、画像センサ（１００、４１０、６５０、７２０）と、
を備える、車両（６００）。
【請求項14】
前記画像センサ（１００、４１０、６５０、７２０）が、画像要素構造（１００）の前記第１の方向（１１３、２１３）が前記運転方向（６７０）に対して横に配置され、前記画像要素構造（１００）の前記第２の方向（１１６）が前記運転方向（６７０）に対して縦に配置されるように配置され、
前記画像センサ（１００、４１０、６５０、７２０）の前記画像要素（１２０）の前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記画像要素（１２０）の前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が、前記第１の方向（１１３、２１３）に並んで配置される、請求項１３に記載の車両（６００）。
前記画像センサ（１００、４１０、６５０、７２０）の前記画像要素（１２０）の前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記画像要素（１２０）の前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が、前記第１の方向（１１３、２１３）に並んで配置される、請求項１３に記載の車両（６００）。
【請求項15】
車両（６００）の運転方向（６７０）で路面（３１０、４３０、４６０）に向けられ、前記路面（３１０、４３０、４６０）に対して上向きに延在する前側と、
請求項１から１２のいずれか一項に記載の画像センサ（１００、４１０、６５０、７２０）であって、前記前側の上方区域中に前記運転方向（６７０）に向けられて前記前側に取り付けられる、画像センサ（１００、４１０、６５０、７２０）と、
を備える、固定デバイス（７５０）。
請求項１から１２のいずれか一項に記載の画像センサ（１００、４１０、６５０、７２０）であって、前記前側の上方区域中に前記運転方向（６７０）に向けられて前記前側に取り付けられる、画像センサ（１００、４１０、６５０、７２０）と、
を備える、固定デバイス（７５０）。
【請求項16】
前記画像センサ（１００、４１０、６５０、７２０）が、画像要素構造（１００）の前記第１の方向（１１３、２１３）が前記運転方向（６７０）に対して横に配置され、前記画像要素構造（１００）の前記第２の方向（１１６）が前記運転方向（６７０）に対して縦に配置されるように配置され、
前記画像センサ（１００、４１０、６５０、７２０）の前記画像要素（１２０）の前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記画像要素（１２０）の前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が、前記第１の方向（１１３）に並んで配置される、請求項１５に記載の固定デバイス（７５０）。
前記画像センサ（１００、４１０、６５０、７２０）の前記画像要素（１２０）の前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記画像要素（１２０）の前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が、前記第１の方向（１１３）に並んで配置される、請求項１５に記載の固定デバイス（７５０）。
【請求項17】
後側、プロセッサ（７４０）、およびディスプレイ（７３０）を備え、
前記後側が、前記前側に対して反対で平行であり、
前記プロセッサ（７４０）が、前記画像センサ（１００、４１０、６５０、７２０）のセンサ記録（３４０、４６０）に基づいて前記路面（３１０、４３０、４６０）の状態を推定するように構成され、
前記ディスプレイ（７３０）が前記固定デバイス（７５０）の前記後側に取り付けられて前記運転方向（６７０）と反対の方向に向けられ、
前記ディスプレイ（７３０）が、運転手に前記路面（３１０、４３０、４６０）の前記状態について通知する、または運転手に前記路面（３１０、４３０、４６０）の危険状態について通知するように構成される、請求項１５または１６に記載の固定デバイス（７５０）。
前記後側が、前記前側に対して反対で平行であり、
前記プロセッサ（７４０）が、前記画像センサ（１００、４１０、６５０、７２０）のセンサ記録（３４０、４６０）に基づいて前記路面（３１０、４３０、４６０）の状態を推定するように構成され、
前記ディスプレイ（７３０）が前記固定デバイス（７５０）の前記後側に取り付けられて前記運転方向（６７０）と反対の方向に向けられ、
前記ディスプレイ（７３０）が、運転手に前記路面（３１０、４３０、４６０）の前記状態について通知する、または運転手に前記路面（３１０、４３０、４６０）の危険状態について通知するように構成される、請求項１５または１６に記載の固定デバイス（７５０）。
【請求項18】
リモートサーバに前記路面（３１０、４３０、４６０）の状態について通知する、またはリモートサーバに前記路面（３１０、４３０、４６０）の危険状態について通知するように構成されるインターフェースを備える、請求項１５から１７のいずれか一項に記載の固定デバイス。
【請求項19】
請求項１から１２のいずれか一項に記載の画像センサ（１００、４１０、６５０、７２０）を有するドローン（７１０）であって、前記画像センサ（１００、４１０、６５０、７２０）が、路面（３１０、４３０、４６０）の運転方向（６７０）に向けられるように構成される、ドローン（７１０）。
【請求項20】
前記画像センサ（１００、４１０、６５０、７２０）が、画像要素構造（１００）の前記第１の方向（１１３、２１３）が前記運転方向（６７０）に対して横に配置され、前記画像要素構造（１００）の前記第２の方向（１１６）が前記運転方向（６７０）に対して縦に配置されるように配置され、
前記画像センサ（１００、４１０、６５０、７２０）の前記画像要素（１２０）の前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記画像要素（１２０）の前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が、前記第１の方向（１１３、２１３）に並んで配置される、請求項１９に記載のドローン（７１０）。
前記画像センサ（１００、４１０、６５０、７２０）の前記画像要素（１２０）の前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記画像要素（１２０）の前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が、前記第１の方向（１１３、２１３）に並んで配置される、請求項１９に記載のドローン（７１０）。
【請求項21】
リモートサーバに前記路面（３１０、４３０、４６０）の状態について通知する、またはリモートサーバに前記路面（３１０、４３０、４６０）の危険状態について通知するように構成されるインターフェースを備える、請求項１９または２０に記載のドローン（７１０）。
【請求項22】
第１の方向（１１３、２１３）および前記第１の方向（１１３、２１３）に直交する第２の方向（１１６）に格子形状の様式で配置される多数の画像要素（１２０）を備える画像要素構造（１００）を有する画像センサ（１００、４１０、６５０、７２０）を動作させるための方法であって、前記多数の画像要素（１２０）のうちの画像要素（１２０）が、空間的に並んで配置される複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）を備え、前記複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）が、少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）およびフィルタグループからの少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）を備え、前記フィルタグループが、第１の光学帯域幅を有する第１の吸収フィルタ（１３６、２５３、２５６）、前記第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ（１３６、２５３、２５６）、第１の偏光特性を有する第１の偏光フィルタ（１３６、２６３、２６６）、前記第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタ（１３６、２６３、２６６）、および吸収効果または偏光効果のないフィルタ要素（１３６）を含み、
前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）に関連する感光区域を読み出すステップと、
前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）に関連するさらなる感光区域を読み出すステップと、
を含む、方法。
前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）に関連する感光区域を読み出すステップと、
前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）に関連するさらなる感光区域を読み出すステップと、
を含む、方法。
【請求項23】
第１の方向（１１３、２１３）および前記第１の方向（１１３、２１３）に直交する第２の方向（１１６）に格子形状の様式で配置される多数の画像要素（１２０）を備える画像要素構造（１００）を有する画像センサ（１００、４１０、６５０、７２０）を製造するための方法であって、
各画像要素（１２０）が空間的に並んで配置される複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）を備えるように前記多数の画像要素（１２０）のうちの前記画像要素（１２０）を構成するステップを含み、前記複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）が、少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）およびフィルタグループからの少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）を備え、前記フィルタグループが、第１の光学帯域幅を有する第１の吸収フィルタ（１３６、２５３、２５６）、前記第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ（１３６、２５３、２５６）、第１の偏光特性を有する第１の偏光フィルタ（１３６、２６３、２６６）、前記第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタ（１３６、２６３、２６６）、および吸収効果または偏光効果のないフィルタ要素（１３６）を含む、方法。
各画像要素（１２０）が空間的に並んで配置される複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）を備えるように前記多数の画像要素（１２０）のうちの前記画像要素（１２０）を構成するステップを含み、前記複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）が、少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）およびフィルタグループからの少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）を備え、前記フィルタグループが、第１の光学帯域幅を有する第１の吸収フィルタ（１３６、２５３、２５６）、前記第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ（１３６、２５３、２５６）、第１の偏光特性を有する第１の偏光フィルタ（１３６、２６３、２６６）、前記第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタ（１３６、２６３、２６６）、および吸収効果または偏光効果のないフィルタ要素（１３６）を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、格子形状の様式で配置される画像要素を有し、複数のフィルタ要素を備える画像センサに関する。
【背景技術】
【0002】
道路状況を検出するのは、安全な運転のため必須なことである。現在の車両は、光学センサなどといったセンサを用いて、道路状況の一般的な危険性を推定する。
【0003】
たとえば、車両の前の状態はカメラで記録される。たとえば、赤緑青の画像（ＲＢＧ画像）上では、路面上の濡れた点を汚れた点から区別するのは、両方が単に暗いために、困難である。水は透明であるが、ＲＧＢ画像中の水は、光のビームの経路を替えるという異なる効果に起因して容易に見てわかる。物体検出のための一般的な方法は、歩行者などの物体を検出するためにＲＧＢデータを使用する。単純な形状で、強い反射または透過などといった複雑な光学的挙動を示す水たまりなどの物体は、検出が難しい。日光、背景、および地下などの環境変数によって、天候が引き起こした貯留または付着の見え方が著しく代わり、このことが検出をさらに複雑にする。
【0004】
ＲＧＢカメラまたはＲＧＢ画像センサは、吸収および／または偏光などといった異なる効果を決定することができない。したがって定位および分類方法の結果は、各々の場合に強く依存し、信頼性がない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、本発明の目的は、路面上の危険物のより良好な検出を可能にする、小型装置を提供することである。
【課題を解決するための手段】
【0006】
この目的は、請求項１に記載の画像センサ、請求項１３に記載の車両、請求項１５に記載の固定デバイス、請求項１９に記載のドローン、請求項２２に記載の画像センサを動作させるための方法、請求項２３に記載の画像センサを製造するための方法によって解決される。
【0007】
本発明の実施形態は、画像要素構造を有する画像センサを提供する。画像要素構造は、第１の方向および第１の方向に直交する第２の方向に、格子形状の様式で配置される複数の画像要素を備える。
【0008】
複数の画像要素のうちの１つの画像要素が、空間的に並んで配置される複数のフィルタ要素を備える。複数のフィルタ要素は、少なくとも１つのカラーフィルタおよびフィルタグループからの少なくとも１つの追加フィルタを備える。
【0009】
フィルタグループは、第１の光学帯域幅を有する第１の吸収フィルタ、第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ、第１の偏光特性を有する偏光フィルタ、第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタ、および吸収効果または偏光効果のないフィルタ要素を含む。
【0010】
格子形状の様式で配置される画像要素を有する画像センサでは、画像要素が少なくとも１つのカラーフィルタおよび少なくとも１つの追加フィルタを備えるが、さらなるフィルタによって古典的なカメラセンサが拡張される。色情報に加えて、本発明の画像センサは、たとえば、水の出現の区別を容易にする、吸収情報および／または偏光情報などといった追加情報を提供する。
【0011】
カラーフィルタは、色に限定された様式で光をフィルタ処理するように構成され、したがって、画像センサが色情報を検出することが可能になる。しばしば、３つのカラーフィルタが使用される。というのは、赤、緑、および青といった色などの３つの基本色からすべての色を混合することができるためである。たとえば、吸収効果または偏光効果のないフィルタ要素を、費用を節約するために、これらの３つのカラーフィルタからの１つのカラーフィルタと交換することができる。
【0012】
吸収情報によって、センサ記録中である種の吸収特性を有する特定の材料をより容易に見出すことが可能になり、偏光フィルタでのセンサ記録によって、表面上で反射した光ビームを分析することが可能になる。
【0013】
追加のフィルタ要素を有する本発明の画像センサは、古典的な画像センサと同じくらい小型のままである。というのは、追加のフィルタ要素による画像センサのフィルタ要素の拡張は、画像センサの表面および／または解像度に影響するだけであるためである。
【0014】
追加のフィルタ要素を用いて、本発明の画像センサは、路面上の危険物の検出を改善することが可能になる、小型の解決策を提供する。
【0015】
実施形態では、複数のフィルタ要素は、ＲＧＢカラーフィルタ、ならびに、第１の光学帯域幅を有する第１の吸収フィルタ、第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ、第１の偏光特性を有する第１の偏光フィルタ、および第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタを含むいくつかの異なる追加フィルタを含む。
【0016】
ＲＧＢカラーフィルタならびに２つの異なる吸収フィルタおよび２つの異なる偏光フィルタなどのいくつかの異なる追加フィルタを有する画像センサは、古典的な画像センサまたは１つのカラーフィルタおよび１つの追加フィルタだけを含む画像センサより多くの情報を提供する。
【0017】
たとえば、水が異なる吸収率を有する異なる光学帯域幅を有する２つの吸収フィルタを使用することによって、路面上の水の検出が可能になる。
【0018】
他方で、クロロフィルまたは窒素が異なる吸収率を有する異なる光学帯域幅を有する２つの吸収フィルタを使用することによって、植物および／または有機材料もしくは物体の検出が可能になる。
【0019】
たとえば、異なる偏光角度を有する偏光フィルタを使用することによって、水、雪、およびブラックアイスの間の区別が可能になる。液体の水の反射は、大部分が水平配向を有する高い偏光率の光を示す一方で、氷の結晶は、光ビームを散乱して、波の回転をもたらす。氷の結晶によって、わずかにシフトした配向を有する、より強く散乱した偏光がもたらされる。
【0020】
実施形態では、第１の光学帯域幅は、４００ｎｍと９００ｎｍの間のスペクトル範囲から選択される帯域幅を含む。同時に、第２の光学帯域幅は、９００ｎｍと１２００ｎｍの間のスペクトル範囲から選択される帯域幅を含む。
【0021】
第１の光学帯域幅および第２の光学帯域幅の上述の選択によって、記録間で、水を有する区域中の最適な強度差が可能になる。
【0022】
実施形態では、第１の光学帯域幅は、電力半値幅において８２０ｎｍと８７０ｎｍの間の値を含み、第２の光学帯域幅は、電力半値幅において９２０ｎｍと９７０ｎｍの間の値を含む。
【0023】
第１の光学帯域幅および第２の光学帯域幅の最適な選択によって、記録間で、水を有する区域中の可能な最大強度差が可能になる。
【0024】
実施形態では、第１の偏光フィルタの偏光角度および第２の偏光フィルタの偏光角度は、互いに対して９０°だけシフトされるように寸法決定される。
【0025】
均等に分布した偏光特性、または偏光フィルタの偏光角度によって、表面で反射した光ビームについて、最大量の情報が提供される。２つの偏光フィルタによって、光ビームの偏光面についての十分な情報が提供される。
【0026】
実施形態では、画像センサが、少なくとも１つのさらなる追加吸収フィルタおよび／または偏光フィルタを備える。
【0027】
さらなる追加吸収フィルタによって、有機材料もしくは植物などといったさらなる材料を検出することが可能になり、および／または、さらなる追加偏光フィルタによって、表面で反射される光ビームの偏光のさらに正確な決定が可能になる。
【0028】
実施形態では、画像要素のうちの少なくとも１つのカラーフィルタおよび画像要素のうちの少なくとも１つの追加フィルタが、第１の方向に並んで配置される。
【0029】
運転方向に向けられるカメラの画像センサは、歪んだおよび／もしくは圧縮した様式のフラット角で道路を記録する、またはキャプチャする。垂直軸は水平軸よりも強く圧縮されるために、垂直方向の解像度はより価値が高い。第１の方向に並んで配置されるフィルタ要素は、最大の垂直解像度をもたらし、そこでは、各画像要素は、ただ１本の線を有する。
【0030】
実施形態では、少なくとも１つのカラーフィルタおよび少なくとも１つの追加フィルタが、第１の方向に２本の線に配置される。
【0031】
運転方向に向けられるカメラの画像センサは、歪んだおよび／または圧縮した様式のフラット角で道路を記録する。垂直軸は水平軸よりも強く圧縮されるために、垂直方向の解像度は、水平方向の解像度より価値が高い。画像要素のフィルタ要素の数が予め規定された数より多い場合、たとえば、画像要素のフィルタ要素は、第１の方向に２本の線で配置する場合がある。したがって、可能な最大の垂直解像度が選択的に実現され、ここで、画像要素のフィルタ要素は、路面の同じ部分を依然として記録することができる。
【0032】
実施形態では、少なくとも１つのカラーフィルタが第１のスタックに属し、少なくとも１つの追加フィルタが第２のスタックに属する。
【0033】
したがって、情報を処理するステップが簡略化される。第１のスタック中のフィルタ要素は、古典的なカメラセンサと同様に色情報を検出する。したがって、色情報は、知られている方法で処理することができ、第２のスタックの新しい追加フィルタ要素だけが新しい画像処理方法を必要とする。
【0034】
実施形態では、第１のスタックおよび第２のスタックが、第１の方向に並んで２本の線に配置される。
【0035】
この配置によって、可能な最大の垂直解像度を用いた、簡略化した情報処理が可能になる。
【0036】
実施形態では、画像要素中の１つの個々のフィルタ要素に関連する各画像センサ部は、各画像要素について選択的に読み出すことができる。
【0037】
本発明の画像センサは、追加フィルタ要素によって、古典的なカメラセンサを拡張する。画像要素中の個々のフィルタ要素に関連する各画像センサ部は、選択的に読み出すことができる。したがって、本発明の画像センサは、異なる情報を分離することができる。
【0038】
吸収効果または偏光効果のない画像要素は、光学的全域通過フィルタとして、または、フィルタ層中の開口もしくは孔として構成される。
【0039】
光学的全域通過フィルタ、開口、または孔は、吸収効果または偏光効果なしのフィルタ要素を設けるための最も経済的な解決策である。
【0040】
本発明によるさらなる実施形態は、路面の運転方向に配置される本発明の画像センサを有する車両、固定デバイス、またはドローンを提供する。ここで、画像センサの第１の方向が運転方向に対して横に配置され、画像センサの第２の方向が運転方向に対して縦に配置されるように、画像センサが配置される。車両、固定デバイス、またはドローンは、リモートサーバまたは運転手に、路面の状態または危険状態について知らせるように構成される。
【0041】
本発明によるさらなる実施形態は、画像センサを動作させるため、および／または画像センサを製造するための対応する方法を提供する。
【0042】
本発明による実施形態は、路面上の水についての知覚が増加することで、交通における危険物を検出するためのカメラまたはカメラの画像センサを提供する。
【0043】
本発明による実施形態は、後で添付図面を参照してより詳細に記載される。
【図面の簡単な説明】
【0044】
【図1】格子形状の様式で配置される画像要素を有し、空間的に並んで配置される複数のフィルタ要素を備える画像センサの実施形態を示す概略図である。
【図2】カラーフィルタ、異なる光学帯域幅を有する２つの吸収フィルタ、および異なる偏光特性を有する２つの偏光フィルタを有する画像要素のうちの複数のフィルタ要素の実施形態を示す概略図である。
【図3】格子パターンを有する路面、および路面のセンサ記録を表すフレームを示す概略透視図である。
【図4a】開口角／アパーチャ角αを有し、フラット角φで、点線によって示される路面をキャプチャする、運転方向に向けられるカメラの概略図である。
【図5】観測角φの関数としての、ｘ軸およびｙ軸の歪みの特性線を示す図である。
【図6】本発明の画像センサを有する車両の実施形態を示す概略図である。
【図7a】ドローンの実施形態を示す概略図である。
【図7b】固定デバイスの実施形態を示す概略図である。
【発明を実施するための形態】
【0045】
図１は、第１の方向１１３および第１の方向１１３に直交する第２の方向１１６に格子状の様式で配置される多数の画像要素１２０を有する画像センサ１００の実施形態の概略図を示す。
【0046】
多数の画像要素１２０の各画像要素１２０が、空間的に並んで配置される複数のフィルタ要素１３０を備える。複数のフィルタ要素１３０は、少なくとも１つのカラーフィルタ１３３および少なくとも１つの追加フィルタ１３６を備える。
【0047】
カラーフィルタ１３３は、色に限定された様式で光をフィルタ処理するように構成され、したがって、そのことによって画像センサ１００が色情報を検出することが可能になる。最も一般的に使用されるカラーフィルタの１つはＲＧＢカラーフィルタである。この場合、赤、緑、および青といった色が検出される。
【0048】
たとえば、追加フィルタ１３６は、吸収フィルタ、偏光フィルタ、および／または、吸収効果または偏光効果のないフィルタ要素を備えることができる。吸収情報によって、センサ記録中である種の吸収特性を有する特定の材料をより容易に見出すことが可能になり、偏光フィルタを用いたセンサ記録によって、表面上で反射した光ビームを分析することが可能になる。
【0049】
たとえば、吸収効果または偏光効果のないフィルタ要素を、ＲＧＢカラーフィルタ中のカラーフィルタと交換することができる。交換されるカラーフィルタの色情報は、他のカラーフィルタを用いて計算することができる。というのは、赤、緑、および青といった色などの３つの基本色から他のすべての色を混合することができるためである。
【0050】
画像要素中の個々のフィルタ要素に関連する各画像センサ部は、選択的に読み出すことができる。したがって、色情報に加えて、本発明の画像センサは、吸収情報および／または偏光情報などといった追加情報を別個に検出することができる。
【0051】
追加情報によって、路面上の危険物の検出を簡略化することができる。可能なさらなる追加フィルタ要素は、図２に示されることになる。
【0052】
図２は、図１中の画像要素１２０などといった画像要素の複数のフィルタ要素２００の実施形態の概略図である。図１に示されるように、複数のフィルタ要素２００は、少なくとも１つのカラーフィルタおよび少なくとも１つの追加フィルタを備える。
【0053】
複数のフィルタ要素２００は、赤フィルタ２４６、青フィルタ２４４、および２つの緑フィルタ２４２を備えるＲＧＢカラーフィルタを備える。
【0054】
古典的なカメラセンサと同様に、画像要素のＲＧＢカラーフィルタは、色情報を検出するように構成される。こうして、色情報は、知られている方法で処理することができる。
【0055】
複数のフィルタ要素２００が、８５０ｎｍの帯域幅または８２０ｎｍと８７０ｎｍの間の電力半値幅を有する第１の吸収フィルタ２５３、９５０ｎｍの帯域幅または９２０ｎｍと９７０ｎｍの間の電力半値幅を有する第２の吸収フィルタ２５６、垂直配向を有する第１の偏光フィルタ２６３、および水平配向を有する第２の偏光フィルタ２６６を含むさらなる追加フィルタを備える。
【0056】
第１の吸収フィルタ２５３および第２の吸収フィルタ２５６の帯域幅は、水の吸収特性を利用し、それによって、水の出現の検出を簡略化するように選択される。こうして、第１の吸収フィルタ２５３および第２の吸収フィルタ２５６は、水を有する区域における異なった強度値を提供する。
【0057】
任意選択で、カメラまたはカメラの画像センサは、さらなるフィルタによって補うことができる。クロロフィルまたは窒素が異なる吸収率を有する異なる光学帯域幅を有する追加の吸収フィルタを使用して、植物および／または有機材料もしくは物体の検出することが可能である。クロロフィルの特に強い吸収が、４５０ｎｍおよび６５０ｎｍの帯域幅を有する吸収フィルタで検知される。窒素の検出には、７４０ｎｍ、８２０ｎｍ、および８６０ｎｍの帯域幅を有する吸収フィルタが必要である。窒素は、有機材料、物体中、または植物中に見出すことができる。
【0058】
偏光フィルタによって、表面で反射した光ビームを分析し、その結果、異なる水の出現を区別することが可能になる。たとえば、大部分が水平配向を有する高い偏光率は液体の水を示す一方で、わずかにシフトした配向を有する、より強く散乱した偏光は氷を示す。
【0059】
４５°の偏光角度を有する追加偏光フィルタの使用によって、偏光をさらに正確に決定することが可能になる。
【0060】
カラーフィルタ２４２、２４４、２４６は、第１のスタック２３０に属し、追加フィルタ２５３、２５６、２６３、２６６は、第２のスタック２２０に属する。第１のスタック２３０および第２のスタック２２０のフィルタ要素は、第１の方向２１３に並んで２本の線に配置される。
【0061】
画像センサのフィルタ要素は、最大の垂直解像度を達成するため、第１の方向に並んで１本の線または２本の線に配置される。図３で説明されるように、垂直方向の解像度は、水平方向の解像度より価値が高い。
【0062】
【0063】
図３は、フレーム３３０を示す。フレーム内の画像情報は、図１中の画像センサ１００のセンサ記録３４０などといったセンサ記録３４０を表す。センサ記録３４０は、センサ記録３４０の道路部分またはボックス３２０が歪んでいることを示す。
【0064】
センサ記録３４０中の路面３１０の平面が歪んで圧縮されるのが、明瞭に見ることができる。垂直軸は水平軸よりも強く圧縮され、したがって、垂直方向の解像度は、水平方向の解像度より価値が高い。
【0065】
【0066】
図４ａは、運転方向に向けられて、アパーチャ角αを有し、路面を記録し、フラット角φで、点線４３０によって図示される、カメラ４１０の概略図を示す。φ＝９０°の角度で、カメラ４１０またはカメラ４１０の見る方向が、路面に平行である。画像センサ４１０またはカメラ４２０の見る方向が路面に対して垂直である（φ＝０°）場合、カメラは、路面から距離Ｌに、２・ｒｙ（０）の長さを有する、歪んでいない道路部分を見る。
【0067】
角度φが０°より大きく９０°より小さい（０°＜φ＜９０°）場合、図３中のセンサ記録３４０などといったセンサ記録は、より長い道路部分、すなわち、２・ｒｙ（φ）の長さを有する道路部分を示す。図４は、センサ記録の垂直軸の歪みが、路面に対するカメラの見る方向の角度に依存することを示す。
【0068】
【0069】
センサ記録４５０は、垂直軸および水平軸の歪みの程度（ｇまたはｇ（φ））が、センサ記録４５０中に示される垂直長ｒｙ（φ）と水平長ｒｘの間の比率であることを示す。
【0070】
路面に対してカメラが見る方向の角度の関数としての、ｘ軸およびｙ軸の歪みの程度は、以下の式で計算して図に図示することができる。
【0071】
【数1】
【0072】
図５は、観測角φの関数としての、ｘ軸およびｙ軸の歪みの特性線を有する図を示す。
【0073】
図５は、カメラの角度がますますフラットになる（φ～０、カメラが路面に平行となる）と、ｙ軸がｘ軸よりはるかに圧縮されると解釈することができる。圧縮が高すぎる場合、記録した画像中の物体が、１画素より小さく縮小され、これはその後もはや図示されず、物体はもはや検出することができない。この効果は、可能な最大の垂直解像度を有する本発明の画像センサおよび急なカメラ角度によって最小化される。
【0074】
カメラの角度をできるだけ急に保つため、図６に示されるように、カメラは、車両中の可能な限り最も高い点に取り付けられる。
【0075】
【0076】
たとえば、約１４００ｍｍの設置高および５０ｍの所望の最小範囲において、道路に対するカメラの角度は、約８８．４°であり、カメラから５０ｍ離れた区域について、約１：３５の軸比率に対応する。これは、垂直方向の解像度が水平方向の解像度のたった１／３５であり、垂直方向の解像度は、したがってより価値が高いことを意味する。フィルタモザイクまたは複数のフィルタ要素は、したがって、可能な最大の垂直解像度を確かにするために、平坦な構造で延在する。可能なフィルタ要素構造は、１本の線（１ＸＮ）または２本の線（２ＸＮ）に配置されるフィルタ要素である。
【0077】
【0078】
図７ａは、画像センサ７２０を有するドローン７１０を示す。
【0079】
ここで、本発明の画像センサ７２０は、路面の運転方向に向けることができる。画像センサ７２０は、画像センサの第１の方向が運転方向に対して横に配置され、画像センサの第２の方向が運転方向に対して縦に配置されるように配置される。ドローンは、リモートサーバに路面の状態または危険状態について知らせるように構成される。
【0080】
図７ｂは、画像センサ７２０、ディスプレイ７３０、およびプロセッサ７４０を有する固定デバイス７５０を示す。
【0081】
本発明の画像センサ７２０は、路面の運転方向に向けることができる。画像センサ７２０は、画像センサ７２０の第１の方向が運転方向に対して横に配置され、画像センサ７２０の第２の方向が運転方向に対して縦に配置されるように配置される。
【0082】
プロセッサ７４０は、画像センサ７２０のセンサ記録に基づいて路面の状態を推定し、ディスプレイ７３０を用いて運転手に路面の状態または危険状態について知らせるように構成される。
【0083】
加えてまたは代わりに、デバイス７５０は、リモートサーバに、路面の状態または危険状態を知らせるように構成することができる。
【0084】
デバイスの文脈内で、いくつかの態様を記載してきたが、前記態様は対応する方法の記載をやはり表しており、その結果、デバイスのブロックまたは構造構成要素は、対応する方法ステップとして、または方法ステップの特徴としてやはり理解するべきである。それとのアナロジーによって、方法ステップの文脈内で、または方法ステップとして記載している態様は、対応するデバイスの対応するブロックまたは詳細または特徴の記載をやはり表している。方法ステップの一部または全部は、ハードウェアデバイスによって（または、ハードウェアデバイスを使用して）実施することができる。いくつかの実施形態では、最も重要な方法ステップの一部またはいくつかは、そのようなデバイスによって実施することができる。
【0085】
具体的な実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装することができる。実装は、それぞれの方法が実施されるようにプログラム可能なコンピュータシステムと協働することができるまたは協働する、たとえば、フロッピーディスク、ＤＶＤ、ブルーレイディスク、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭもしくはフラッシュメモリ、ハードディスクまたはその上に記憶される電気的に読み出し可能な制御信号を有する任意の他の磁気もしくは光学メモリといった、デジタル記憶媒体を使用して行うことができる。これが、デジタル記憶媒体がコンピュータ可読であってよい理由である。
【0086】
本発明によるいくつかの実施形態は、こうして、本明細書に記載される方法のいずれかが実施されるよう、プログラム可能なコンピュータシステムと協働することが可能な、電気的に読み出し可能な制御信号を含むデータキャリアを含む。
【0087】
一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で走るときに方法のいずれかを実施する効果がある。
【0088】
たとえば、プログラムコードは、機械可読キャリア上に記憶することもできる。
【0089】
他の実施形態は、本明細書に記載される方法のいずれかを実施するためのコンピュータプログラムを含み、前記コンピュータプログラムは、機械可読キャリア上に記憶される。
【0090】
言い換えると、したがって本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で走るとき、本明細書に記載される方法のいずれかを実施するためのプログラムコードを有するコンピュータプログラムである。
【0091】
したがって本発明の方法のさらなる実施形態は、本明細書に記載される方法のいずれかを実施するためのコンピュータプログラムが記録されるデータキャリア（または、デジタル記憶媒体もしくはコンピュータ可読媒体）である。
【0092】
したがって本発明の方法のさらなる実施形態は、本明細書に記載される方法のいずれかを実施するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは一連の信号は、データ通信リンクを介して、たとえばインターネットを介してたとえば送信されるように構成することができる。
【0093】
さらなる実施形態は、本明細書に記載される方法のいずれかを実施するように構成または適合される、たとえばコンピュータまたはプログラム可能論理デバイスといった処理ユニットを含む。
【0094】
さらなる実施形態は、本明細書に記載される方法のいずれかを実施するためのコンピュータプログラムがインストールされるコンピュータを含む。
【0095】
本発明によるさらなる実施形態は、本明細書に記載される方法の少なくとも１つを実施するためのコンピュータプログラムを受信機に送信するように構成されるデバイスまたはシステムを含む。送信は、たとえば電気的または光学的であってよい。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイス、または同様のデバイスであってよい。デバイスまたはシステムは、たとえば、コンピュータプログラムを受信機に送信するためのファイルサーバを含むことができる。
【0096】
いくつかの実施形態では、プログラム可能論理デバイス（たとえば、フィールドプログラム可能ゲートアレイ、ＦＰＧＡ）を、本明細書に記載される方法の機能性の一部または全部を実施するために使用することができる。いくつかの実施形態では、フィールドプログラム可能ゲートアレイがマイクロプロセッサと協働して、本明細書に記載される方法のいずれかを実施することができる。一般的に、方法は、いくつかの実施形態では任意のハードウェアデバイスによって実施される。前記ハードウェアデバイスは、コンピュータプロセッサ（ＣＰＵ）などの任意の普遍的に入手可能なハードウェアであってよく、または、ＡＳＩＣなどといった方法に特有のハードウェアであってよい。
【0097】
上述の実施形態は、単に、本発明の原理の説明となっている。他の当業者なら、本明細書に記載される配置構成および詳細の変更形態および変形形態を了解することが理解される。これが、実施形態の記載および議論によって本明細書に呈示されてきた具体的な詳細によってではなく、むしろ、添付の特許請求の範囲によってのみ本発明が限定されることが意図される理由である。
【符号の説明】
【0098】
１００ 画像センサ構造、画像センサ、画像要素構造
１１３ 第１の方向
１１６ 第２の方向
１２０ 画像要素
１３０ フィルタ要素
１３３ フィルタ要素、カラーフィルタ
１３６ フィルタ要素、追加フィルタ、第１の吸収フィルタ、第２の吸収フィルタ、第１の偏光フィルタ、第２の偏光フィルタ、画像要素
２００ フィルタ要素
２１３ 第１の方向
２２０ 第２のスタック
２３０ 第１のスタック
２４２ フィルタ要素、カラーフィルタ、緑フィルタ
２４４ フィルタ要素、カラーフィルタ、青フィルタ
２４６ フィルタ要素、カラーフィルタ、赤フィルタ
２５３ フィルタ要素、追加フィルタ、第１の吸収フィルタ、第２の吸収フィルタ
２５６ フィルタ要素、追加フィルタ、第１の吸収フィルタ、第２の吸収フィルタ
２６３ フィルタ要素、追加フィルタ、第１の偏光フィルタ、第２の偏光フィルタ
２６６ フィルタ要素、追加フィルタ、第１の偏光フィルタ、第２の偏光フィルタ
３００ 概略透視図
３１０ 路面
３２０ ボックス
３３０ フレーム
３４０ センサ記録
４１０ 画像センサ、カメラ
４２０ カメラ
４３０ 路面、点線
４５０ センサ記録
４６０ 路面、センサ記録
６００ 車両
６１０ 側面図
６２０ 前面図
６５０ 画像センサ
６７０ 運転方向
７１０ ドローン
７２０ 画像センサ
７３０ ディスプレイ
７４０ プロセッサ
７５０ 固定デバイス
１１３ 第１の方向
１１６ 第２の方向
１２０ 画像要素
１３０ フィルタ要素
１３３ フィルタ要素、カラーフィルタ
１３６ フィルタ要素、追加フィルタ、第１の吸収フィルタ、第２の吸収フィルタ、第１の偏光フィルタ、第２の偏光フィルタ、画像要素
２００ フィルタ要素
２１３ 第１の方向
２２０ 第２のスタック
２３０ 第１のスタック
２４２ フィルタ要素、カラーフィルタ、緑フィルタ
２４４ フィルタ要素、カラーフィルタ、青フィルタ
２４６ フィルタ要素、カラーフィルタ、赤フィルタ
２５３ フィルタ要素、追加フィルタ、第１の吸収フィルタ、第２の吸収フィルタ
２５６ フィルタ要素、追加フィルタ、第１の吸収フィルタ、第２の吸収フィルタ
２６３ フィルタ要素、追加フィルタ、第１の偏光フィルタ、第２の偏光フィルタ
２６６ フィルタ要素、追加フィルタ、第１の偏光フィルタ、第２の偏光フィルタ
３００ 概略透視図
３１０ 路面
３２０ ボックス
３３０ フレーム
３４０ センサ記録
４１０ 画像センサ、カメラ
４２０ カメラ
４３０ 路面、点線
４５０ センサ記録
４６０ 路面、センサ記録
６００ 車両
６１０ 側面図
６２０ 前面図
６５０ 画像センサ
６７０ 運転方向
７１０ ドローン
７２０ 画像センサ
７３０ ディスプレイ
７４０ プロセッサ
７５０ 固定デバイス
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図5】
【図6】
【図7a】
【図7b】
【手続補正書】
【提出日】2023-02-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第１の方向（１１３、２１３）および前記第１の方向（１１３、２１３）に直交する第２の方向（１１６）に格子形状の様式で配置される多数の画像要素（１２０）を備える画像センサ構造（１００）
を備え、
前記多数の画像要素（１２０）のうちの画像要素（１２０）が、空間的に並んで配置される複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）を備え、
前記複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）が、少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）およびフィルタグループからの少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）を備え、
前記フィルタグループが、第１の光学帯域幅を有する第１の吸収フィルタ（１３６、２５３、２５６）、前記第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ（１３６、２５３、２５６）、第１の偏光特性を有する第１の偏光フィルタ（１３６、２６３、２６６）、前記第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタ（１３６、２６３、２６６）、および吸収効果または偏光効果のないフィルタ要素（１３６）を含む、画像センサ（１００、４１０、６５０、７２０）。
を備え、
前記多数の画像要素（１２０）のうちの画像要素（１２０）が、空間的に並んで配置される複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）を備え、
前記複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）が、少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）およびフィルタグループからの少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）を備え、
前記フィルタグループが、第１の光学帯域幅を有する第１の吸収フィルタ（１３６、２５３、２５６）、前記第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ（１３６、２５３、２５６）、第１の偏光特性を有する第１の偏光フィルタ（１３６、２６３、２６６）、前記第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタ（１３６、２６３、２６６）、および吸収効果または偏光効果のないフィルタ要素（１３６）を含む、画像センサ（１００、４１０、６５０、７２０）。
【請求項2】
前記複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）が、赤緑青のカラーフィルタ（１３３、２４２、２４４、２４６）、第１の光学帯域幅を有する第１の吸収フィルタ（１３６、２５３、２５６）、前記第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ（１３６、２５３、２５６）、第１の偏光特性を有する第１の偏光フィルタ（１３６、２６３、２６６）、および前記第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタ（１３６、２６３、２６６）を含む、請求項１に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項3】
前記第１の光学帯域幅が、４００ｎｍと９００ｎｍの間のスペクトル範囲から選択される帯域幅を含み、前記第２の光学帯域幅が、９００ｎｍと１２００ｎｍの間のスペクトル範囲から選択される帯域幅を含む、請求項１に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項4】
前記第１の光学帯域幅が、電力半値幅において８２０ｎｍと８７０ｎｍの間の値を含み、前記第２の光学帯域幅が、電力半値幅において９２０ｎｍと９７０ｎｍの間の値を含む、請求項１に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項5】
前記第１の偏光フィルタ（１３６、２６３、２６６）の前記偏光特性と前記第２の偏光フィルタの前記偏光特性（１３６、２６３、２６６）が、互いに対して９０°だけシフトされるように構成される、請求項１に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項6】
少なくとも１つのさらなる追加吸収フィルタ（１３６、２５３、２５６）および／または偏光フィルタ（１３６、２６３、２６６）を備える、請求項１に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項7】
前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が前記第１の方向（１１３、２１３）に並んで配置される、請求項１に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項8】
前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が、前記第１の方向（１１３、２１３）に２本の線で配置される、請求項１に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項9】
前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）が第１のスタック（２３０）に属し、前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が第２のスタック（２２０）に属する、請求項１に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項10】
前記第１のスタック（２３０）と前記第２のスタック（２２０）が前記第１の方向（１１３、２１３）に並んで２本の線で配置される、請求項９に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項11】
前記画像要素（１２０）中の１つの個々のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）に関連する各画像センサ部が、各画像要素（１２０）について選択的に読み出すことができる、請求項１に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項12】
吸収効果または偏光効果のない前記フィルタ要素（１３６）が、光学的全域通過フィルタとして、または、フィルタ層中の開口もしくは孔として構成される、請求項１に記載の画像センサ（１００、４１０、６５０、７２０）。
【請求項13】
車両（６００）であって、
前記車両の運転方向（６７０）で路面（３１０、４３０、４６０）に向けられ、前記路面（３１０、４３０、４６０）に対して上向きに延在する車両の前側と、
請求項１に記載の画像センサ（１００、４１０、６５０、７２０）であって、前記車両の前側の上方区域中に前記運転方向（６７０）に向けられて前記車両の前側に取り付けられる、画像センサ（１００、４１０、６５０、７２０）と、
を備える、車両（６００）。
前記車両の運転方向（６７０）で路面（３１０、４３０、４６０）に向けられ、前記路面（３１０、４３０、４６０）に対して上向きに延在する車両の前側と、
請求項１に記載の画像センサ（１００、４１０、６５０、７２０）であって、前記車両の前側の上方区域中に前記運転方向（６７０）に向けられて前記車両の前側に取り付けられる、画像センサ（１００、４１０、６５０、７２０）と、
を備える、車両（６００）。
【請求項14】
前記画像センサ（１００、４１０、６５０、７２０）が、画像要素構造（１００）の前記第１の方向（１１３、２１３）が前記運転方向（６７０）に対して横に配置され、前記画像要素構造（１００）の前記第２の方向（１１６）が前記運転方向（６７０）に対して縦に配置されるように配置され、
前記画像センサ（１００、４１０、６５０、７２０）の前記画像要素（１２０）の前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記画像要素（１２０）の前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が、前記第１の方向（１１３、２１３）に並んで配置される、請求項１３に記載の車両（６００）。
前記画像センサ（１００、４１０、６５０、７２０）の前記画像要素（１２０）の前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記画像要素（１２０）の前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が、前記第１の方向（１１３、２１３）に並んで配置される、請求項１３に記載の車両（６００）。
【請求項15】
車両（６００）の運転方向（６７０）で路面（３１０、４３０、４６０）に向けられ、前記路面（３１０、４３０、４６０）に対して上向きに延在する前側と、
請求項１に記載の画像センサ（１００、４１０、６５０、７２０）であって、前記前側の上方区域中に前記運転方向（６７０）に向けられて前記前側に取り付けられる、画像センサ（１００、４１０、６５０、７２０）と、
を備える、固定デバイス（７５０）。
請求項１に記載の画像センサ（１００、４１０、６５０、７２０）であって、前記前側の上方区域中に前記運転方向（６７０）に向けられて前記前側に取り付けられる、画像センサ（１００、４１０、６５０、７２０）と、
を備える、固定デバイス（７５０）。
【請求項16】
前記画像センサ（１００、４１０、６５０、７２０）が、画像要素構造（１００）の前記第１の方向（１１３、２１３）が前記運転方向（６７０）に対して横に配置され、前記画像要素構造（１００）の前記第２の方向（１１６）が前記運転方向（６７０）に対して縦に配置されるように配置され、
前記画像センサ（１００、４１０、６５０、７２０）の前記画像要素（１２０）の前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記画像要素（１２０）の前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が、前記第１の方向（１１３）に並んで配置される、請求項１５に記載の固定デバイス（７５０）。
前記画像センサ（１００、４１０、６５０、７２０）の前記画像要素（１２０）の前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記画像要素（１２０）の前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が、前記第１の方向（１１３）に並んで配置される、請求項１５に記載の固定デバイス（７５０）。
【請求項17】
後側、プロセッサ（７４０）、およびディスプレイ（７３０）を備え、
前記後側が、前記前側に対して反対で平行であり、
前記プロセッサ（７４０）が、前記画像センサ（１００、４１０、６５０、７２０）のセンサ記録（３４０、４６０）に基づいて前記路面（３１０、４３０、４６０）の状態を推定するように構成され、
前記ディスプレイ（７３０）が前記固定デバイス（７５０）の前記後側に取り付けられて前記運転方向（６７０）と反対の方向に向けられ、
前記ディスプレイ（７３０）が、運転手に前記路面（３１０、４３０、４６０）の前記状態について通知する、または運転手に前記路面（３１０、４３０、４６０）の危険状態について通知するように構成される、請求項１５に記載の固定デバイス（７５０）。
前記後側が、前記前側に対して反対で平行であり、
前記プロセッサ（７４０）が、前記画像センサ（１００、４１０、６５０、７２０）のセンサ記録（３４０、４６０）に基づいて前記路面（３１０、４３０、４６０）の状態を推定するように構成され、
前記ディスプレイ（７３０）が前記固定デバイス（７５０）の前記後側に取り付けられて前記運転方向（６７０）と反対の方向に向けられ、
前記ディスプレイ（７３０）が、運転手に前記路面（３１０、４３０、４６０）の前記状態について通知する、または運転手に前記路面（３１０、４３０、４６０）の危険状態について通知するように構成される、請求項１５に記載の固定デバイス（７５０）。
【請求項18】
リモートサーバに前記路面（３１０、４３０、４６０）の状態について通知する、またはリモートサーバに前記路面（３１０、４３０、４６０）の危険状態について通知するように構成されるインターフェースを備える、請求項１５に記載の固定デバイス。
【請求項19】
請求項１に記載の画像センサ（１００、４１０、６５０、７２０）を有するドローン（７１０）であって、前記画像センサ（１００、４１０、６５０、７２０）が、路面（３１０、４３０、４６０）の運転方向（６７０）に向けられるように構成される、ドローン（７１０）。
【請求項20】
前記画像センサ（１００、４１０、６５０、７２０）が、画像要素構造（１００）の前記第１の方向（１１３、２１３）が前記運転方向（６７０）に対して横に配置され、前記画像要素構造（１００）の前記第２の方向（１１６）が前記運転方向（６７０）に対して縦に配置されるように配置され、
前記画像センサ（１００、４１０、６５０、７２０）の前記画像要素（１２０）の前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記画像要素（１２０）の前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が、前記第１の方向（１１３、２１３）に並んで配置される、請求項１９に記載のドローン（７１０）。
前記画像センサ（１００、４１０、６５０、７２０）の前記画像要素（１２０）の前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）および前記画像要素（１２０）の前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）が、前記第１の方向（１１３、２１３）に並んで配置される、請求項１９に記載のドローン（７１０）。
【請求項21】
リモートサーバに前記路面（３１０、４３０、４６０）の状態について通知する、またはリモートサーバに前記路面（３１０、４３０、４６０）の危険状態について通知するように構成されるインターフェースを備える、請求項１９に記載のドローン（７１０）。
【請求項22】
第１の方向（１１３、２１３）および前記第１の方向（１１３、２１３）に直交する第２の方向（１１６）に格子形状の様式で配置される多数の画像要素（１２０）を備える画像要素構造（１００）を有する画像センサ（１００、４１０、６５０、７２０）を動作させるための方法であって、前記多数の画像要素（１２０）のうちの画像要素（１２０）が、空間的に並んで配置される複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）を備え、前記複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）が、少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）およびフィルタグループからの少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）を備え、前記フィルタグループが、第１の光学帯域幅を有する第１の吸収フィルタ（１３６、２５３、２５６）、前記第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ（１３６、２５３、２５６）、第１の偏光特性を有する第１の偏光フィルタ（１３６、２６３、２６６）、前記第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタ（１３６、２６３、２６６）、および吸収効果または偏光効果のないフィルタ要素（１３６）を含み、
前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）に関連する感光区域を読み出すステップと、
前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）に関連するさらなる感光区域を読み出すステップと、
を含む、方法。
前記少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）に関連する感光区域を読み出すステップと、
前記少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）に関連するさらなる感光区域を読み出すステップと、
を含む、方法。
【請求項23】
第１の方向（１１３、２１３）および前記第１の方向（１１３、２１３）に直交する第２の方向（１１６）に格子形状の様式で配置される多数の画像要素（１２０）を備える画像要素構造（１００）を有する画像センサ（１００、４１０、６５０、７２０）を製造するための方法であって、
各画像要素（１２０）が空間的に並んで配置される複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）を備えるように前記多数の画像要素（１２０）のうちの前記画像要素（１２０）を構成するステップを含み、前記複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）が、少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）およびフィルタグループからの少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）を備え、前記フィルタグループが、第１の光学帯域幅を有する第１の吸収フィルタ（１３６、２５３、２５６）、前記第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ（１３６、２５３、２５６）、第１の偏光特性を有する第１の偏光フィルタ（１３６、２６３、２６６）、前記第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタ（１３６、２６３、２６６）、および吸収効果または偏光効果のないフィルタ要素（１３６）を含む、方法。
各画像要素（１２０）が空間的に並んで配置される複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）を備えるように前記多数の画像要素（１２０）のうちの前記画像要素（１２０）を構成するステップを含み、前記複数のフィルタ要素（１３０、１３３、１３６、２４２、２４４、２４６、２５３、２５６、２６３、２６６）が、少なくとも１つのカラーフィルタ（１３３、２４２、２４４、２４６）およびフィルタグループからの少なくとも１つの追加フィルタ（１３６、２５３、２５６、２６３、２６６）を備え、前記フィルタグループが、第１の光学帯域幅を有する第１の吸収フィルタ（１３６、２５３、２５６）、前記第１の光学帯域幅とは異なる第２の光学帯域幅を有する第２の吸収フィルタ（１３６、２５３、２５６）、第１の偏光特性を有する第１の偏光フィルタ（１３６、２６３、２６６）、前記第１の偏光特性とは異なる第２の偏光特性を有する第２の偏光フィルタ（１３６、２６３、２６６）、および吸収効果または偏光効果のないフィルタ要素（１３６）を含む、方法。
【外国語明細書】