特表 2021-534624 カメラ監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2021-534624(P2021-534624A)

(43)【公表日】2021年12月9日

(54)【発明の名称】カメラ監視システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20211112BHJP

   G08G 1/16 20060101ALI20211112BHJP

【ＦＩ】

   H04N7/18 J

   G08G1/16 C

【審査請求】有

【予備審査請求】未請求

【全頁数】18

(21)【出願番号】特願2021-506531(P2021-506531)

(86)(22)【出願日】2019年7月18日

(85)【翻訳文提出日】2021年3月31日

(86)【国際出願番号】EP2019069420

(87)【国際公開番号】WO2020030406

(87)【国際公開日】20200213

(31)【優先権主張番号】102018119024.7

(32)【優先日】2018年8月6日

(33)【優先権主張国】DE

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ

(71)【出願人】

【識別番号】597007363

【氏名又は名称】クノル−ブレムゼ ジステーメ フューア ヌッツファールツォイゲ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｋｎｏｒｒ−Ｂｒｅｍｓｅ Ｓｙｓｔｅｍｅ ｆｕｅｒ Ｎｕｔｚｆａｈｒｚｅｕｇｅ ＧｍｂＨ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ヴィクトル ティハニー

(72)【発明者】

【氏名】フーバ ネーメト

(72)【発明者】

【氏名】レヴェンテ バログ

(72)【発明者】

【氏名】アダム セルロシ

(72)【発明者】

【氏名】バラージュ ガル

【テーマコード（参考）】

5C054

5H181

【Ｆターム（参考）】

5C054CC05

5C054FC12

5C054FE09

5C054FE18

5C054HA30

5H181AA01

5H181AA21

5H181CC04

5H181CC24

5H181FF32

5H181LL01

5H181LL02

5H181LL04

5H181LL09

(57)【要約】

車両の側方領域に対するカメラ監視システムは、車両の少なくとも一方の側で、第１の地表領域（２１０）および第２の地表領域（２２０）に対し画像データを同時にキャプチャするための画像キャプチャユニット（１１０）、および第１の地表領域（２１０）に対する画像データと第２の地表領域（２２０）に対する画像データとを分離して、独立した表示を可能にするように構成された画像評価ユニット（１２０）を含む。

【特許請求の範囲】

【請求項1】

車両の側方領域に対するカメラ監視システムにおいて、
前記車両の少なくとも一方の側で、第１の地表領域（２１０）および第２の地表領域（２２０）に対し画像データを同時にキャプチャするための画像キャプチャユニット（１１０）と、
前記第１の地表領域（２１０）に対する画像データと、前記第２の地表領域（２２０）に対する画像データとを分離して、独立した表示を可能にするように構成された画像評価ユニット（１２０）と
が設けられている
ことを特徴とするカメラ監視システム。

【請求項2】

前記第１の地表領域（２１０）は以下のように定義されている、すなわち、
前記車両の運動方向に垂直に延在し、かつ車両運転者のポジション（１５）から４ｍだけ後方にずらされた第１の線（２１１）から出発して、前記第１の地表領域（２１０）は、側方で車両周縁部（１６、１７）に平行に後方に向かって可変の幅を伴って拡がっており、該可変の幅は、前記第１の線（２１１）から２６ｍの距離までは、直線的に１ｍから５ｍの幅へと増加し、次いで一定に維持され、
前記第２の地表領域（２２０）は以下のように定義されている、すなわち、
前記車両の運動方向に垂直に延在し、かつ車両運転者のポジション（１５）から１．５ｍだけ後方にずらされた第２の線（２２１）から出発して、前記第２の地表領域（２１０）は、側方で車両周縁部（１６、１７）に平行に２３．５ｍの長さまで後方に向かって可変の幅を伴って拡がっており、該可変の幅は、前記第２の線（２２１）から８．５ｍの距離までは、直線的に４．５ｍから１５ｍの幅へと増加し、次いで一定に維持される、
請求項１記載のカメラ監視システム。

【請求項3】

前記画像キャプチャユニット（１１０）は、以下のカメラユニット（１２１、１２２、１２３、１２４）すなわち、
同乗者側（１６）において前記車両の前方コーナー領域に取り付けられているときに、前記車両の前方の前方領域（２４０）、前記第１の地表領域（２１０）、前記第２の地表領域（２２０）および第３の地表領域（２３０）を同時にキャプチャするための、魚眼対物レンズを備えた第１のカメラユニット（１２１）と、
前記車両の同乗者側（１６）において画像データをキャプチャするための第２のカメラユニット（１２２）と、
前記車両の運転者側（１７）において画像データをキャプチャするための第３のカメラユニット（１２３）と、
前記運転者側において前記車両の前方コーナー領域に取り付けられているときに、前記前方領域（２４０）、前記第１の地表領域（２１０）、前記第２の地表領域（２２０）および第３の地表領域（２３０）を同時にキャプチャするための、魚眼対物レンズを備えた第４のカメラユニット（１２４）と、
のうちの少なくとも１つを有する、
請求項１または２記載のカメラ監視システム。

【請求項4】

前記画像評価ユニット（１２０）は、キャプチャされた前記画像データにおける歪みを、特に前記魚眼対物レンズを用いた撮影における歪みを、補償するように構成されている、
請求項３記載のカメラ監視システム。

【請求項5】

前記第３の地表領域（２３０）は以下のように定義されている、すなわち、
前記車両の運動方向に垂直に車両運転者のポジション（１５）を通過して延在する第３の線（２３１）から出発して、前記第３の地表領域（２３０）は、車両周縁部（１６、１７）に平行に２ｍの幅で、１．７５ｍだけ後方にかつ１ｍだけ前方に拡がっており、
前記前方領域（２４０）は以下のように定義されている、すなわち、
前方の車両境界（２４１）から出発して、前記前方領域（２４０）は、前記運転者キャビン（１０）の全幅にわたり車両長手方向において少なくとも２ｍまで、かつ側方で２ｍにわたり前記同乗者側（１７）を越えて拡がっている、
請求項３または４記載のカメラ監視システム。

【請求項6】

前記第１の地表領域（２１０）を表示するための第１のセクションおよび前記第２の地表領域（２２０）を表示するための第２のセクションを少なくとも備えた、少なくとも１つのディスプレイユニット（１３１）が設けられている、
請求項１から５までのいずれか１項記載のカメラ監視システム。

【請求項7】

前記画像評価ユニット（１２０）は、キャプチャされた前記画像データにおいて以下の周囲情報すなわち、
車線マーク（２０）、
物体、
他の車両
道路周縁
のうちの少なくとも１つを確認して供給するように構成されている、
請求項１から６までのいずれか１項記載のカメラ監視システム。

【請求項8】

請求項１から７までのいずれか１項記載のカメラ監視システムが設けられていることを特徴とする実用車両。

【請求項9】

運転者アシストシステムまたは車両の自律走行を支援する方法において、
請求項１から７までのいずれか１項記載のカメラ監視システムによりキャプチャされた画像データを評価し、
該評価に基づき、前記車両の周囲情報を検出し、ただし該周囲情報は、以下のうちの少なくとも１つを含み、すなわち検出された車線マーク、検出された車線周縁、検出された他の車両、前記車両の周囲において検出された物体のうちの少なくとも１つを含み、
前記周囲情報を供給する
ことを特徴とする方法。

【請求項10】

ソフトウェアが格納されているコンピュータプログラム製品であって、
前記ソフトウェアは、該ソフトウェアがデータ処理ユニットにおいて実行されると、請求項９記載の方法を実施するように構成されている、
コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラ監視システム、および運転者アシストシステムまたは自律走行を支援する方法、特に実用車両における通常のミラーを置き換えるためのカメラ装置に関する。

【0002】

ビデオセンサ技術および視覚表示の可能性の絶えざる向上によって、車両内で間接的な視覚表示を行う公知の機器の置き換えが次第に可能になってきている。つまり慣用のミラーの代わりに、カメラ監視システムまたはカメラ表示システムが次第に使われるようになってきており、これらのシステムによってミラーが置き換えられ、たとえばズームまたはディスプレイ上でのオーバラップ表示といった付加的な機能を含め、いっそう高い視覚的品質が実現される。カメラ監視システムのさらなる利点は、使用されるカメラが比較的小さく、したがって空気抵抗が小さくなる、という点にある。さもなくば使用されるバックミラーは、その大きさゆえに強く風が当たる平面となり、したがって燃料消費を著しく高める原因となる。

【0003】

公知のカメラ監視システムについては、たとえば米国特許出願公開第２０１７／２７４８２７号明細書および米国特許出願公開第２０１４／１３２７７０号明細書に記載されている。これらの文献に記載されているシステムによれば、たしかにカメラによるミラーの置き換えが可能になるけれども、後方周囲の信頼性のある把握を維持するために車両間通信が使用され、またはそれぞれ異なる領域（前方領域、後方領域）を同時にカバーできるようにするために機械的な継手が必要とされる。これらのシステムは、実用車両分野においてはまったく使用できず、または制限付きでしか使用できない。それというのも実用車両の場合には通例、運転者による視覚的チェックを行うことができないからである。

【0004】

したがって、周囲の把握において高度な柔軟性および安全性をもたらし、それにより特に実用車両においてバックミラーを置き換え可能にするカメラ監視システムに対する需要が存在する。

【0005】

これらの問題点のうちの少なくとも一部は、請求項１記載のカメラ監視システム、請求項８記載の実用車両、および請求項９記載の方法によって解決される。従属請求項には、独立請求項の保護対象のさらなる有利な実施形態が規定されている。

【0006】

本発明は、車両、特に実用車両、の側方領域に対するカメラ監視システムに関する。このカメラ監視システムは以下を含む。すなわち、
車両の少なくとも一方の側で、第１の地表領域および第２の地表領域に対し画像データを同時にキャプチャするための画像キャプチャユニットと、
第１の地表領域に対する画像データと第２の地表領域に対する画像データとを分離して、独立した表示を可能にするように構成された画像評価ユニット。

【0007】

このカメラ監視システムは特に、実用車両において既存のバックミラーを置き換えるのに適したカメラ表示システムである。したがってこのシステムは側方の画像キャプチャのために、側方および後方の車両周囲をグラフィックでキャプチャするように設計されている。自明のとおり、実施例は実用車両などの特別な車両における適用に限定されるものではない。このカメラ監視システムを、任意の車両のために使用することができる。

【0008】

第１の地表領域を以下のように定義することができる。すなわちこの領域は、実用車両の運動方向に垂直に延在し、かつ車両運転者のポジション（またはその目の位置）から４ｍだけ後方にずらされた第１の線から出発して、側方で車両周縁部（運転者側または同乗者側）に平行に後方に向かって可変の幅を伴って拡がっており、その際にこの可変の幅は、第１の線から後方に向かって２６ｍの距離までは、直線的に１ｍから５ｍの幅へと増加し、次いで一定に維持される。

【0009】

第２の地表領域を以下のように定義することができる。すなわちこの領域は、実用車両の運動方向に垂直に延在し、かつ車両運転者のポジション（またはその目の位置）から１．５ｍだけ後方にずらされた第２の線から出発して、側方で車両周縁部（運転者側または同乗者側）に平行に２３．５ｍの長さまで後方に向かって可変の幅を伴って拡がっており、その際にこの可変の幅は、第２の線から８．５ｍの距離までは、直線的に４．５ｍから１５ｍの幅へと増加し、次いで一定に維持される。

【0010】

第１および第２の地表領域を、車両から両側に拡がるものとすることができ、その際にキャプチャユニットは通例、一方の側だけをキャプチャすることになる。用語「前」または「前方」および「後方」は、車両の通常の走行方向を指すものであり、すなわち「前」または「前方」は、車両の通常の前進走行の方向にある。

【0011】

オプションとして、画像キャプチャユニットは、以下のカメラユニットのうちの少なくとも１つを含む。すなわち、
同乗者側において実用車両の前方コーナー領域に取り付けられているときに、この実用車両の前方の前方領域、第１の地表領域、第２の地表領域および第３の地表領域を同時にキャプチャするための、広角対物レンズまたは魚眼対物レンズを備えた第１のカメラユニットと、
実用車両の同乗者側において画像データをキャプチャするための第２のカメラユニットと、
実用車両の運転者側において画像データをキャプチャするための第３のカメラユニットと、
運転者側において実用車両の前方コーナー領域に取り付けられているときに、前方領域、第１の地表領域、第２の地表領域および第３の地表領域を同時にキャプチャするための、広角対物レンズまたは魚眼対物レンズを備えた第４のカメラユニット。

【0012】

第２のカメラユニットおよび第３のカメラユニットはたとえば、車両の運転者側もしくは同乗者側において（後方）側方領域の画像データ（たとえば慣用のバックミラーの視野領域）をキャプチャするように、構成されている。

【0013】

第３の地表領域を以下のように定義することができる。すなわちこの領域は、実用車両の運動方向に垂直に車両運転者のポジション（またはその目の位置）を通過して推移する第３の線から出発して、車両周縁部（運転者側または同乗者側）に平行に２ｍの幅で、１．７５ｍだけ後方にかつ１ｍだけ前方に拡がっている。したがって第３の地表領域は実質的に、例示的な実用車両の運転者キャビンの横に位置する。

【0014】

前方領域を以下のように定義することができる。すなわちこの領域は、前方の車両境界から出発して、車両長手方向において少なくとも２ｍまで車両境界の前方に拡がっている。しかも前方領域を、運転者キャビンの全幅にわたって拡がり、かつ側方で２ｍにわたり同乗者側を越えて拡がるものとすることができる。

【0015】

自明のとおり、キャプチャユニットは、定義された領域（地表領域および前方領域）を少なくともキャプチャするけれども、これに加えさらに別の領域も一緒にキャプチャすることができる。つまり定義された領域は、少なくともキャプチャされる最小領域を表すものとする。

【0016】

使用される対物レンズに起因する歪みを補償する目的で、第１のカメラユニットおよび／または第４のカメラユニットからの画像データの画像変換を実施するように、画像処理ユニットを構成することができる。これにより冗長性が達成され、その理由は、第１のカメラユニットは（さらに第４のカメラユニットも）、後方に配向された車両側方領域もキャプチャし、この領域は同様に第２のカメラユニットによって（さらに第３のカメラユニットによっても）キャプチャされることによる。画像変換により、キャプチャされた複数の画像を比較することができるようになる。

【0017】

オプションとして、カメラ監視システムは、第１の地表領域を表示するための第１のセクションおよび第２の地表領域を表示するための第２のセクションを少なくとも備えた、少なくとも１つのディスプレイユニットを含む。第３の地表領域および／または前方領域も、ディスプレイユニットの固有のセクションに表示させることができる。同様に、複数のディスプレイユニットを設けることも可能である。したがってたとえば、車両の各側を独立して監視する目的で、同乗者側と運転者側とのために別個のディスプレイを設けることができる。

【0018】

オプションとして画像評価ユニットは、キャプチャされた画像データにおいて以下の周囲情報すなわち
車線マーク、
物体（たとえば木、歩道、自転車専用道路、歩行者など）、
他の車両、
道路周縁
のうちの少なくとも１つを確認（または識別または同定）して、相応の結果を供給するように構成されている。

【0019】

このようにすることでたとえば、レーン追従または運転者アシストシステムまたは自律走行をサポートできるようになる。特にこのために、第１のカメラユニットおよび／または第４のカメラユニットを使用することができ、これらのカメラユニットの両方を、たとえば垂直方向に下方に向けて（車線を指すように）配向することができ、したがってこれらのカメラユニットは、たとえさらなる車両または他の物体が比較的近い周囲に存在し、水平方向の視線を遮っているとしても、上述の周囲情報を明確にキャプチャすることができる。

【0020】

本発明は、これまで述べてきたカメラ監視システムを有する車両、特に実用車両、にも関する。

【0021】

本発明は、運転者アシストシステムまたは車両の自律走行を支援する方法にも関する。この方法は、
これまで述べてきたカメラ監視システムによりキャプチャされた画像データを評価するステップ、
この評価に基づき、車両の周囲情報を検出するステップ、ただしこの周囲情報は、以下のうちの少なくとも１つを含み、すなわち検出された車線マーク、検出された車線周縁、検出された他の車両、車両の周囲において検出された物体のうちの少なくとも１つを含み、
これらの周囲情報を供給するステップ
を含む。

【0022】

供給された周囲情報を、特にレーン追従または方向決定のために使用することができる。

【0023】

この方法または少なくともその一部を、同様に命令の形態でソフトウェアとしてまたはコンピュータプログラム製品において、実装または格納することができ、この場合、格納された命令は、上述の方法がプロセッサにおいて実行されたときに、この方法によるステップを実施することができる。したがって本発明は、ソフトウェアコード（ソフトウェア命令）が格納されているコンピュータプログラム製品にも関し、このソフトウェアコードは、これが処理ユニットにより実行されると、上述の方法のうちの１つを実施するように構成されている。処理ユニットを、任意の形態のコンピュータまたは制御ユニットとすることができ、これはソフトウェアコードを実行可能なそれ相応のマイクロプロセッサを有する。

【0024】

種々の実施例に関する以下の詳細な説明および添付の図面から、本発明の実施例の理解が深められるが、それらの実施例は、それらにより本開示が特定の実施形態に限定されると解されるべきではなく、説明および理解のために用いられるにすぎない。

【図面の簡単な説明】

【0025】

【図1】本発明の１つの実施例によるカメラ監視システムを示す図である。

【図2】さらなる実施例によるカメラ監視システムのさらなる詳細について示す図である。

【図3A】実施例に従いキャプチャユニットにより同時にキャプチャされる地表領域を具体的に示す図である。

【図3B】実施例に従いキャプチャユニットにより同時にキャプチャされる地表領域を具体的に示す図である。

【図4A】実施例に従いキャプチャユニットにより同時にキャプチャされるさらなる地表領域を具体的に示す図である。

【図4B】実施例に従いキャプチャユニットにより同時にキャプチャされるさらなる地表領域を具体的に示す図である。

【図5A】図３Ａ、図３Ｂによる地表領域に対する表示を示す図である。

【図5B】図３Ａ、図３Ｂによる地表領域に対する表示を示す図である。

【図6A】図４Ａ、図４Ｂによる地表領域に関する例示的な表示を示す図である。

【図6B】図４Ａ、図４Ｂによる地表領域に関する例示的な表示を示す図である。

【0026】

図１には、本発明の１つの実施例によるカメラ監視システムが示されている。このシステムは、たとえば既存のミラー装置を置き換える目的で、特に実用車両において適用するのに適しているけれども、他の車両のためにも適している。カメラ監視システムは、例示的な実用車両１０の少なくとも一方の側で（特に同乗者側で）、第１の地表領域２１０に対する画像データと第２の地表領域２２０に対する画像データとを同時にキャプチャするための、画像キャプチャユニット１１０を含む。画像キャプチャユニット１１０は、たとえば適切に取り付けられたカメラであって、このカメラは１つの撮影で両方の地表領域２１０、２２０を同時にキャプチャする。これに加えカメラ監視システムは、第１の地表領域２１０に対する画像データと、第２の地表領域２２０に対する画像データとを分離して、独立した表示を可能にするように構成された、画像評価ユニット１２０を含む。

【0027】

オプションとしてカメラ監視システムは、画像キャプチャユニット１１０によりキャプチャされた撮影像をグラフィック表示するために、少なくとも１つのディスプレイユニット１３１を含む。ただしディスプレイユニット１３１は、必ずしもカメラ監視システムの一部分でなくてよい。既存のディスプレイをこのために使用することも可能である。

【0028】

たとえば、第１の地表領域２１０をディスプレイユニット１３１の第１のセクションに表示し、第２の地表領域２２０を別のセクションに表示することができる。画像キャプチャユニット１１０は、最も簡単な実施例の場合、カメラを動かす必要なく複数の領域を同時にキャプチャ可能な相応の対物レンズ（たとえば広角対物レンズ）を備えたカメラである。ディスプレイユニット１３１において同時に別個の表示を行えるようにする目的で、複数の領域が画像処理ユニット１２０によって分離される。とはいえ地表領域２１０、２２０をディスプレイ上で、ただし切り替えにより相前後して表示させることもできる。

【0029】

図２には、カメラ監視システムに関するさらなる実施例が示されており、このシステムは、画像キャプチャユニット１１０がたとえば第１のカメラユニット１２１、第２のカメラユニット１２２、第３のカメラユニット１２３および第４のカメラユニット１２４を有する点で、図１に示したシステムとは相違している。

【0030】

第１のカメラユニット１２１および第２のカメラユニット１２２はたとえば、（たとえば同乗者側１６において）運転者キャビンの前方コーナー領域もしくは側方領域に取り付けられて、実用車両の側方領域もしくは後方領域を互いに独立してキャプチャするように、構成されている。特に第１のカメラユニット１２１は、実用車両のすぐ前および横の地表領域および運転者キャビン後方の側方領域もキャプチャする。このことを達成するために、第１のカメラユニット１２１は相応の広角対物レンズたとえば魚眼対物レンズを含むことができる。第２のカメラユニット１２２は、例示的な実用車両の側方および後方の領域（第１および第２の地表領域２１０、２２０）をキャプチャする。この目的で、相応の広角対物レンズを設けることができる。

【0031】

これに加え運転者側１７には、第３のカメラユニット１２３および第４のカメラユニット１２４が設けられており、これらは運転者キャビン１０の一方のコーナー領域に取り付け可能である。第３のカメラユニット１２３を、第２のカメラユニット１２２と同様にまたは同一に構成することができ、このユニットは運転者側１７において運転者キャビン１０の横または後方の側方領域をキャプチャすることができる。第４のカメラユニット１２４を、第１のカメラユニット１２１と同様にまたは同一に構成することができ、このユニットは実用車両にじかに隣接する地表領域をキャプチャすることができる。このことを達成するために、第４のカメラユニット１２４も相応の広角対物レンズたとえば魚眼対物レンズを含むことができる。

【0032】

このことによりもたらされる利点とは、これによりそれぞれ異なるセンサ領域および特に車両周囲の地表領域が並列にキャプチャされる、ということである。つまりたとえば第１のカメラユニット１２１および第２のカメラユニット１２２は、側方で実用車両の横もしくは後方において第１および第２の地表領域２１０、２２０を並列にキャプチャすることができる。このような冗長性ゆえに実施例は、同乗者側では運転者による視覚的点検が一般に不可能である実用車両に特に適している。

【0033】

よって、本発明の実施例は、たとえば実用車両のバックミラーといった慣用のミラー装置を置き換えるために特に適しており、その際に付加的な機能がもたらされる。

【0034】

図３Ａ、図３Ｂ、図４Ａおよび図４Ｂには、実施例に従いたとえばカメラユニット１２１、１２２、１２３、１２４により側方領域として同時にキャプチャされる地表領域が具体的に示されている。ここでは、および以下では、すべての長さ表記は±１０％または±５％までの許容差があると解される。しかも以下の地表領域は、少なくともキャプチャされる最小領域である。自明のとおり、カメラユニットはこれらに加えさらなる領域をキャプチャすることになる。

【0035】

図３Ａおよび図３Ｂには、第１の地表領域２１０および第２の地表領域２２０が具体的に示されており、これらの領域は実施例に従い、第２および第３のカメラユニット１２２、１２３によりそれらの個々の側で同時にキャプチャされる。

【0036】

図３Ａには、車両の両側に拡がる第１の地表領域２１０が示されており、この領域を以下のように定義することができる。すなわち、この領域は、実用車両の運動方向に垂直に延在し、かつ車両運転者のポジション１５（またはその目の位置）から４ｍだけ後方にずらされた第１の線２１１から出発し、可変の幅を伴って側方で両方の車両周縁部１６、１７に平行に後方に向かって拡がっている。可変の幅は、後方に向かって第１の線２１１から２６ｍの距離までは、直線的に１ｍから５ｍの幅へと増加し、その後、一定に維持される。したがって第１の地表領域２１０は約５ｍの最大幅を含み、その際にこの最大幅は、運転者ポジションから出発して約３０ｍの距離で達成される。

【0037】

図３Ｂには、車両の両側に拡がる第２の地表領域２２０が示されており、この領域を以下のように定義することができる。すなわち、第２の地表領域２２０は、実用車両の運動方向に垂直に延在し、かつ車両運転者のポジション１５（またはその目の位置）から１．５ｍだけ後方にずらされた第２の線２２１から出発し、可変の幅を伴って側方で車両周縁部１６、１７に平行に、２３．５ｍの長さまで後方に向かって拡がっている。可変の幅は、第２の線２２１から８．５ｍの距離までは、直線的に４．５ｍから１５ｍの幅へと増加し、その後、後方に向かって一定に維持される。したがってこの領域は、約４．５ｍから１５ｍの最大幅まで拡幅し、この最大幅は、運転者ポジションから約１０ｍの距離において達成される。

【0038】

かくして図３Ａによる第１の地表領域２１０は、実質的に後方に向かう視野領域を表すのに対し、図３Ｂによる第２の地表領域２２０は側方視野領域を表し、この領域はたとえばレーン変更のために、一例として車両の横の隣り合うレーンのうちの１つに車両が存在しているのか否かを識別する目的で、重要である。第２のカメラユニット１２２は（さらに運転者側１７の第３のカメラユニット１２３も同様に）、まずは第１の地表領域２１０を、さらに同時に第２の地表領域２２０を、キャプチャするために用いられる。

【0039】

図４、図４Ｂには、第３の地表領域２３０および前方領域２４０が具体的に示されており、これらの領域は実施例によれば、まずは同乗者側１６において第１のカメラユニット１２１によって（さらに運転者側１７において第４のカメラユニット１２４によっても同様に）同時にキャプチャされる。

【0040】

図４Ａには第３の地表領域２３０が具体的に示されており、この領域は、実用車両の運動方向に対し垂直に運転者のポジション１５を通過して推移する第３の線２３１から、１．７５ｍだけ後方に、かつ約１ｍだけ前方に拡がっている。第３の地表領域２３０の幅は、右側車両周縁部１６から測定して約２ｍである。これと同じようにまたは類似して、第３の地表領域２３０が運転者側１７について定義される。

【0041】

図４Ｂには、例示的にやはり第１のカメラユニット１２１によりキャプチャされる第４の地表領域２４０（前方領域）が示されている。第４の地表領域２４０は、運転者キャビン１０の前面２４１から出発して、車幅全体にわたり約２ｍの距離まで前方に向かって、かつ２ｍまで同乗者側の車両周縁部１６を越えて拡がっている。オプションとして第４の地表領域２４０は、（運転者の視点から見て）前方右側コーナーにおいて約２ｍの曲率半径で丸みが付けられている。このように第３の地表領域２３０および第４の地表領域２４０は特に、（自家用自動車とは異なり）実用車両の車両運転者にとって見通しにくいまたはまったく見通せない領域を対象としている。

【0042】

カメラ監視システムの冗長性を達成する目的で、第１のカメラユニット１２１はたとえば、この第１のカメラユニット１２１が第３の地表領域２３０、第４の地表領域２４０、第１の地表領域２１０および第２の地表領域２２０をキャプチャできるように、たとえば同乗者側１６において運転者キャビン１０の上方コーナー領域に取り付けられる。すべての地表領域を可能なかぎり現実に近くグラフィック表示できるようにする目的でたとえば、第１の地表領域２１０および第２の地表領域２２０の（例示的な魚眼対物レンズを備えた）第１のカメラユニット１２１による撮影を、第１のカメラユニット１２１の魚眼対物レンズにより生じる可能性のある歪みを取り除くために、相応に処理もしくは変換することができる。

【0043】

運転者側においても、第４のカメラユニット１２４は有利には広角カメラまたは魚眼カメラであり、このカメラはやはり、相応の変換後、第１および第２の地表領域２１０、２２０をキャプチャして、運転者に可能なかぎり歪みなくグラフィック表示するのに適した画像データをキャプチャする。この目的で第４のカメラユニット１２４を、やはり実用車両の運転者キャビン１０の上方コーナー領域に取り付けることができ、したがってこのカメラユニットは、第３の地表領域２３０および（運転者キャビン前方の）第４の地表領域２４０をキャプチャすることができるだけでなく、後方に向けられた第１の地表領域２１０および第２の地表領域２２０もキャプチャすることができる。

【0044】

車両にすでに設けられている特別なディスプレイのために画像を整合する目的で、参照テーブル（いわゆる「ルックアップテーブル」）を使用して歪み除去を行うこともできる。

【0045】

かくして実施例によれば運転者は、車両左側においても車両右側においても発生した出来事について常にチェックし続けることができる。カメラユニットによる良好なカバーを保証する目的で、たとえば高解像度および広角対物レンズを有するカメラユニットを使用することができる。慣用のミラー装置と比べてかかるカメラシステムは、複数のカメラ画像を別個に１つのディスプレイのそれぞれ異なるセクションに表示させることができることから、極めて高度な柔軟性をもたらす。それぞれ異なる地表領域を別個に表示する目的で、たとえば１つのディスプレイを分割することができる。

【0046】

図５Ａおよび図５Ｂには例示的に、運転者側でキャプチャされた画像（左側）を対応するディスプレイユニット１３１にどのようにして表示させることができるかが示されている。図５Ａの場合には例示的に第１の地表領域２１０が強調されており、この領域はたとえばディスプレイユニット１３１の上方領域に表示される。図５Ｂには第２の地表領域２２０が示されており、この領域はたとえばディスプレイユニット１３１において下方領域に表示される。

【0047】

図６Ａには例示的に、同乗者側１６の第１のカメラユニット１２１によりキャプチャされるような、第３の地表領域２３０のキャプチャされた画像が示されている。図６Ｂには、たとえば第１のカメラユニット１２１により同乗者側１６からキャプチャされるような前方領域２４０が例示的に示されている。キャプチャされた両方の領域２３０、２４０を、第１の地表領域２１０および第２の地表領域２２０（図５Ａ、図５Ｂ参照）と同じような手法でグラフィック表示させることができる。

【0048】

第１のカメラユニット１２１（および同様に第４のカメラユニット１２４）はたとえば魚眼対物レンズを含み、たとえば同乗者側１６において、車両キャビンのコーナー領域に配置されている。このようにすれば、第３の地表領域２３０も前方領域２４０もキャプチャすることができる。第１および第３のカメラユニット１２１、１２４は、これらの領域に対し垂直に下方に向けて配向されており、魚眼対物レンズに基づき水平方向の領域（すなわち第１および第２の地表領域２１０、２２０）もキャプチャすることができる。キャプチャされた画像の歪み除去（画像変換）後も依然として多くの細部を識別できるようにする目的で、これらの魚眼カメラ１２１、１２４が可能なかぎり高い解像度を有すると有利である。したがって第１のカメラユニット１２１および／または第４のカメラユニット１２４は、たとえば第２のカメラユニット１２２および／または第３のカメラユニット１２３よりも高い解像度を有することができる。

【0049】

図示されている車線マーク（たとえば図６Ｂ参照）を、既述のカメラユニット１２１、１２２、１２３、１２４のいずれによってもキャプチャまたは検出することができる。定義された地表領域に基づき、車線マーク２０または他の物体をカメラ監視システムによってほぼ常に検出することができる。前方に向けてまたは真後ろに向けて配向された慣用のシステムとは異なり、本発明の実施例の場合には視野が（たとえば車両など）他の物体によって妨げられる可能性がない。特に魚眼カメラ（第１または第４のカメラユニット１２１、１２４）は、これらのカメラがすべての側に向けて地表領域をキャプチャすることから、車線マーク２０および／または車両周囲の物体を検出するのに適している。ただし車線マーク２０または車両付近の車線上の他の構造物を、後方に向けて配向された第２および／または第３のカメラユニット１２２、１２３を使用して識別し、継続的に追跡することができる。

【0050】

よって、付加的なアルゴリズムを介して、車線マーク２０または車両周囲における物体の検出を担う目的で、運転者アシストシステムまたは自律走行においても、実施例を適用することができる。

【0051】

本発明の実施例は特に以下の保護対象にも関する。

【0052】

実用車両のためのカメラ監視システムであって、このシステムは後方に向けて配向された少なくとも１つの広角カメラ１２２、１２３を含み、このカメラは第１の地表領域２１０および第２の地表領域２２０をカバーする。

【0053】

さらなる有利な実施形態によれば、カメラ監視システムは後方に向けて配向された少なくとも２つの広角カメラ１２２、１２３を含み、これらを車両の右側および左側に取り付けることができる。

【0054】

さらなる有利な実施形態によれば、カメラ監視システムは下方に向けて配向された少なくとも１つの魚眼カメラ１２１を含み、前方領域２４０および第３の地表領域２３０をキャプチャするために、このカメラを同乗者側１６に取り付けることができる。

【0055】

さらなる有利な実施形態によれば、カメラ監視システムは、同乗者側１６と同様のさらなる機能を提供するために、運転者キャビン１０の運転者側１７において下方に向けて配向された付加的な魚眼カメラ１２４を含む。このようにすれば運転者側１７においても、第１の地表領域２１０および第２の地表領域２２０をキャプチャすることができる。

【0056】

さらなる有利な実施形態によれば、カメラ監視システムにより、たとえば後方に向けて配向された広角カメラ１２２、１２３によって、キャプチャされる画像を、車線マーク２０の検出のために、かつ／または物体検出のために、使用することができる。

【0057】

さらなる有利な実施形態によれば、車線マーク２０を識別するために、かつ／または物体を検出するために、下方に向けて配向された魚眼カメラ１２１、１２４を使用することができる。

【0058】

したがって実施例は、カメラ監視システムを使用する方法も含む。この方法またはこの方法のステップをコンピュータ実装されたものとすることもでき、すなわちこれを命令によって実現することができ、それらの命令は記憶媒体に格納されており、プロセッサにおいて実行されたときに、この方法のステップを実施することができる。それらの命令は一般に、（プロセッサを備えた）制御ユニット内またはその周辺の様々な媒体に様々な手法で格納可能な１つまたは複数の命令を含み、それらの命令は、それらが読み込まれて制御ユニットにより実行されると、本発明による方法を実施するために必要とされる関数、機能および演算を制御ユニットに実行させるようにする。

【0059】

明細書、特許請求の範囲および図面に開示されている本発明の特徴は、単独でも任意の組み合わせでも、本発明を実現するために重要なものとなり得る。

【符号の説明】

【0060】

１０ 運転者キャビン
１５ 運転者ポジション（目のポジション）
１６ 同乗者側（同乗者側における車両周縁部）
１７ 運転者側
２０ 車線マーク
１１０ 画像キャプチャユニット
１２０ 画像処理ユニット
１２１、１２２、．．． カメラユニット
１３１ ディスプレイユニット
２１０、２２０、．．． 地表領域
２１１、２２１、．．． 前方基準線（第１の線、第２の線、．．．）
２４１ 前方の車両周縁部／車両境界

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【国際調査報告】