特表2024-509777環境物体のリアルタイム画像及びリアルタイム割り当てを生成するための光学アセンブリ、及びそのようなアセンブリを備える車両
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-05
(54)【発明の名称】環境物体のリアルタイム画像及びリアルタイム割り当てを生成するための光学アセンブリ、及びそのようなアセンブリを備える車両
(51)【国際特許分類】
H04N 23/90 20230101AFI20240227BHJP
H04N 23/45 20230101ALI20240227BHJP
G03B 19/07 20210101ALI20240227BHJP
G03B 37/04 20210101ALI20240227BHJP
G03B 37/00 20210101ALI20240227BHJP
G03B 15/00 20210101ALI20240227BHJP
G03B 17/56 20210101ALI20240227BHJP
G03B 30/00 20210101ALI20240227BHJP
【ＦＩ】
H04N23/90
H04N23/45
G03B19/07
G03B37/04
G03B37/00 A
G03B15/00 H
G03B15/00 W
G03B15/00 V
G03B17/56 A
G03B30/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023551186
(86)(22)【出願日】2022-02-22
(85)【翻訳文提出日】2023-10-20
(86)【国際出願番号】 EP2022054305
(87)【国際公開番号】W WO2022179998
(87)【国際公開日】2022-09-01
(31)【優先権主張番号】102021201678.2
(32)【優先日】2021-02-23
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】523115690
【氏名又は名称】トリプルアイ ゲーエムベーハー
(74)【代理人】
【識別番号】100154612
【弁理士】
【氏名又は名称】今井 秀樹
(72)【発明者】
【氏名】シック イェンス
【テーマコード（参考）】
2H054
2H059
2H105
5C122
【Ｆターム（参考）】
2H054BB05
2H054BB07
2H059BA11
2H105AA02
2H105AA30
5C122DA14
5C122EA59
5C122EA67
5C122FA02
5C122FA18
5C122FB01
5C122FC05
5C122GD12
5C122GE11
(57)【要約】
光学アセンブリ（２）は、環境物体のリアルタイム画像及びリアルタイム割り当てを生成するために使用される。光学アセンブリは、それぞれがカメラ信号接続を介して相互接続されたカメラを有する複数のカメラグループ（３～８）を有し、これらカメラの入射瞳中心は、カメラが配置されるカメラ配置面を規定する。カメラグループ（３～８）は、順にグループ信号接続を介して相互接続される。カメラグループ（３～８）のいずれかにおけるカメラの隣接する画像取得方向（１８ｉ
ｊ）は、５°～２５°の範囲にある互いに個別のカメラ角度（α）を想定している。カメラグループ（３～８）の１つにおけるカメラの画像取得方向（１８ｉ
ｊ）の方向平均値（１９ｉ）は、隣接するカメラグループ（３～８）におけるカメラの画像取得方向（１８ｉ
ｊ）の方向角度値（１９ｉ＋１）に対してグループカメラ角度（γ）を仮定し、その角度は３０°～１００°の範囲にある。この結果、環境物体のリアルタイム検出の信頼性が向上し、リアルタイム割り当てが改善された光学アセンブリが得られ、特に自律走行を可能にする画像取得の実践によく適合し得る。
【特許請求の範囲】
【請求項1】
環境物体のリアルタイム画像及びリアルタイム割り当てを生成するための光学アセンブリ（２）であって、複数のカメラグループ（３～８）を有し、前記カメラグループ（３～８）はそれぞれ、カメラ信号接続を介して相互接続された少なくとも２台のカメラ（１１～１３）を有し、前記カメラ（１１～１３）の入射瞳中心（ＥＰＺ）が、前記カメラ（１１～１３）が配置されるカメラ配置面（ＡＥ）を画定し、
前記カメラグループ（３～８）は、グループ信号接続（２１）を介して順に相互接続され、
前記カメラグループ（３～８）の１つにおける前記カメラ（１１～１３）の隣接する画像取得方向（１８）は、互いに対して５°～２５°の範囲にある個別のカメラ角度（α）を想定し、
前記カメラグループ（３～８）の１つにおける前記カメラ（１１～１３）の前記画像取得方向（１８）の方向平均値（１９）が、隣接するカメラグループ（３～８）における前記カメラ（１１～１３）の前記画像取得方向（１８）の方向平均値（１９）に対して、３０°～１００°の範囲にあるグループカメラ角度（γ）を想定している、光学アセンブリ（２）。
【請求項2】
個々の入射瞳中心（ＥＰＺ）が非正三角形の角に位置する、前記カメラグループ（３～８）の１つにおける３台のカメラ（１１～１３）を備えることを特徴とする、請求項１に記載の光学アセンブリ。
【請求項3】
１つのカメラグループ（３～８）における２台のカメラ（１１，１２；１１，１３；１２，１３）の入射瞳中心（ＥＰＺ）間の接続線（ベースライン，Ｂ）の長さが、５ｃｍ～３０ｃｍの範囲であることを特徴とする、請求項１又は２に記載の光学アセンブリ。
【請求項4】
異なるカメラグループ（３～８）のカメラ（１１ｉ～１３ｉ，１１ｊ～１３ｊ）間のベースライン（Ｂｉ，ｊ）の長さが、０．５ｍ～３ｍの範囲であることを特徴とする、請求項１乃至３のいずれか一項に記載の光学アセンブリ。
【請求項5】
少なくとも３つのカメラグループ（３～８）を備えることを特徴とする、請求項１乃至４のいずれか一項に記載の光学アセンブリ。
【請求項6】
少なくとも６つのカメラグループ（３～８）を備えることを特徴とする、請求項５に記載の光学アセンブリ。
【請求項7】
カメラグループ（３～８）の前記カメラ（１１～１３）を取り付けるためのグループ取付体（１０）を備え、前記グループ取付体（１０）は、前記カメラグループ（３～８）の前記カメラ（１１～１３）を互いに固定された相対位置及び向きで支持するように構成されていることを特徴とする、請求項１乃至６のいずれか一項に記載の光学アセンブリ。
【請求項8】
前記グループ取付体（１０）は、追加のカメラを取付けるための用意された保持レセプタクル（１４，１５）を有し、前記カメラグループ（３～８）は、取付けるカメラを少なくとも１台追加して拡張できることを特徴とする、請求項７に記載の光学アセンブリ。
【請求項9】
環境物体のリアルタイム画像及びリアルタイム割り当てを生成するための光学アセンブリ（２）であって、カメラ信号接続を介して互いにリンクされ、魚眼カメラとして設計された複数のカメラ（１１～１３）を有する、光学アセンブリ。
【請求項10】
前記カメラ（１１～１３）の少なくとも１台が、ＲＧＢセンサ（２５）及びＩＲセンサ（２６）を備えたデュアルカメラとして設計されていることを特徴とする、請求項１乃至９のいずれか一項に記載の光学アセンブリ。
【請求項11】
前記カメラ（１１～１３）の少なくとも１台が、近距離光学系（３２）及び遠距離光学系（３３）を備えたハイブリッドカメラとして設計されていることを特徴とする、請求項１乃至１０のいずれか一項に記載の光学アセンブリ。
【請求項12】
環境物体のリアルタイム画像化及びリアルタイム割り当てのために前記カメラデータを処理するための少なくとも１つのデータ処理ユニットを含むデータ処理モジュールシステム（３６；４８）を備え、前記データ処理モジュールシステム（３６；４８）は、前記カメラグループ（３～８）の１つに正確に割り当てられ、それのデータを処理する少なくとも１つのデータ処理グループモジュール（３７，３８，３９，．．．；３７Ｒ，３８Ｒ，３９Ｒ，．．．；３７’，３７，４９，３８，．．．；３７Ｒ’，３７Ｒ，４９Ｒ，３８Ｒ，．．．）を備え、それぞれの場合に、全ての前記カメラグループ（３～８）に割り当てられる少なくとも１つのデータ処理メインモジュール（４２；４２Ｒ）を有することを特徴とする、請求項１乃至１１のいずれか一項に記載の光学アセンブリ。
【請求項13】
－ 前記カメラグループ（３～８）の１つにおける一部として少なくとも１台の追加の冗長カメラ（Ｒｉ；Ｒ３
Ｈ）、及び／又は－ 少なくとも１つの冗長データ処理グループモジュール（３７Ｒ，３８Ｒ，３９Ｒ，．．．；４９Ｒ）、及び／又は
－ 少なくとも１つの冗長データ処理メインモジュール（４２Ｒ）を備えることを特徴とする、請求項１乃至１１のいずれか一項に記載の光学アセンブリ。
【請求項14】
請求項１乃至１３のいずれか一項に記載の光学アセンブリ（２）を備える車両（１；１７）であって、前記車両（１；１７）が停止しているときに、車両起立面（ｘｙ）を画定する地上側シャーシ部品（１ａ）を有するシャーシを備える車両（１；１７）において、前記光学アセンブリ（２）の前記カメラグループ（３～８）が、前記車両起立面（ｘｙ）から少なくとも５０ｃｍの距離に取り付けられていることを特徴とする、車両（１；１７）。
【請求項15】
カメラグループ（３～８）における前記カメラ（１１～１３）間の前記ベースライン（Ｂ）は、前記車両起立面（ｘｙ）に対して１０°～８０°の範囲の角度で延びることを特徴とする、請求項１４に記載の車両。
【発明の詳細な説明】
【技術分野】
【0001】
本特許出願は、ドイツ特許出願ＤＥ １０ ２０２１ ２０１ ６７８．２の優先権を主張し、その内容は参照により本明細書に組み込まれる。
【0002】
本発明は、環境物体のリアルタイム画像及びリアルタイム割り当てを生成するための光学アセンブリに関する。本発明はさらに、そのような光学アセンブリを備える車両に関する。
【背景技術】
【0003】
上述のタイプの光学アセンブリ及びそれを備える車両は、特許文献１から知られている。特許文献２は、車両を自律的に駐車するための方法と、その方法を実施するための運転支援システムを開示している。特許文献３は、サラウンドビュー画像を生成するための画像処理システムを開示している。特許文献４は、環境において車両の位置を特定するための方法、及び対応する運転支援システムを開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】ＷＯ ２０１３／０２０８７２ Ａ１
【特許文献2】ＤＥ １０ ２０１７ １１５ ８１０ Ａ１
【特許文献3】ＵＳ ２０１６／０３０１８６３ Ａ１
【特許文献4】ＤＥ １０ ２０１８ １３２ ６７６ Ａ１
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的は、環境物体、特に環境シーンのリアルタイム検出と、それらのリアルタイム割り当ての安全性が改善され、特に自律走行を保証するための画像取得の実践にうまく適合するような方法で、上述のタイプの光学アセンブリをさらに具現化することである。
【課題を解決するための手段】
【0006】
この目的は、本発明によれば、請求項１に記載の特徴を有する光学アセンブリによって達成される。
【0007】
本発明によれば、それぞれが少なくとも２台、特に少なくとも３台の信号リンクされたカメラを備えた複数のカメラグループを設けることにより、特に自律走行の準備のための、環境物体のリアルタイム画像化及びリアルタイム割り当ての可能性が著しく向上することが認識されている。その割り当てにより、カメラグループの１つ内の異なるカメラ、及び／又は異なるカメラグループの異なるカメラが、実際に同じ物体及び／又は同じ物体シグネチャを撮像することが保証される。カメラグループ内でちょうど２台のカメラが使用されている場合、リアルタイム割り当てに使用される三角測量は、２つのカメラグループを用いて、例えば、カメラグループの１つにおける２台のカメラの撮影データを第２のカメラグループのカメラの撮影データとリンクし、三角測量中にそれらを評価することで実施することができる。
【0008】
カメラ間の位置ずれに起因する風景物体のシグネチャ間の位置ずれは、この光学アセンブリを使用する空間画像取得方法の助けを借りて、正確に検出及び補償することができる。画像取得（撮像）方向は、それぞれのカメラの光軸とすることができる。
【0009】
隣接するカメラグループの画像取得方向の方向平均値間のグループカメラ角度を３０°～１００°とすることで、可能な限り少数のカメラグループを用いて光学アセンブリによる良好な環境のカバーが可能になる。特に、これによりカメラ信号の信号処理に必要な労力が軽減される。カメラグループのカメラは、大きな口径又は大きな画角を有することができる。それぞれのカメラの水平開口角は最大１８０°であり、さらに大きくすることも可能である。カメラの開口角は１７５°より小さく、１６０°より小さく、１４０°より小さくすることもできる。一般に、水平開口角は９０°より大きい。それぞれのカメラの垂直開口角は９０°より大きくすることができる。この垂直開口角は、通常１８０°より小さい：それぞれのカメラは、その光軸が水平面に対して垂直開口角の半分に相当する角度をなすように規則的に位置合わせされる。カメラグループのカメラは魚眼カメラとして設計することができる。
【0010】
カメラグループの正確に１つにおけるカメラの画像取得方向間の単一カメラ角度は、１０°～２０°の範囲とすることができ、特に１５°の範囲とすることができる。これにより、特にそれぞれのカメラグループの周囲の至近距離において、風景物体の適切な空間割り当てが保証される。それぞれの単一カメラ角度範囲は、それぞれの場合のすべてのカメラグループのすべてのカメラだけでなく、それぞれのカメラグループのすべてのカメラの隣接する画像取得方向の単一カメラ角度にも適用できる。そのため、単一カメラ角度範囲操作は、カメラグループの１つにおけるすべてのカメラに対して、及び／又はすべてのカメラグループのすべてのカメラに対して実行できる。
【0011】
グループカメラ角度は４５°～７５°の範囲とすることができ、特に６０°の範囲とすることができる。特に魚眼カメラを使用する場合、大きなグループカメラ角度を使用することができる。グループカメラ角度条件は、互いに隣接する光学アセンブリのすべてのカメラグループについて満たすことができる。
【0012】
３台以上のカメラ、例えば４台のカメラが１つのカメラグループに属する場合、カメラグループのこれら４台のカメラのうち３台は、それぞれのカメラグループのカメラ配置面を規定し、同じカメラグループの４番目のカメラはこの配置平面の外側に配置することができる。
【0013】
光学アセンブリは、環境物体のリアルタイム画像化とリアルタイム割り当てを保証する信号処理部品を有する。この目的のために、光学アセンブリは、対応する強力なデータ処理モジュールシステム、特にリアルタイム対応プロセッサ及びリアルタイム対応信号接続を含む。光学アセンブリの待ち時間は、２００ｍｓであってもよいし、例えば１５０ｍｓ，１００ｍｓ又は５０ｍｓとより小さくてもよい。光アセンブリのフレームレートは、１０（１０ｆｐｓ，フレーム／秒）であってもよい。より高いフレームレート、例えば１５，２０，２５、あるいはさらに高いフレームレートも実現可能である。
【0014】
請求項２によるカメラグループの１つにおけるカメラの配置は、実際に証明されている。なぜなら、撮像における望ましくない共振効果及び／又は望ましくない誤割り当て、すなわち、実際には異なる物体に属する物体シグネチャの、特に同じ物体への誤った割り当てが回避されるからである。入射瞳中心が角に位置する三角形は、２つ又は３つの異なる辺の長さを有することができる。
【0015】
請求項３に記載のベースラインの長さ範囲により、例えば３０ｃｍ又は５０ｃｍの下限値からそれぞれのカメラグループの至近距離を良好に捕捉することができる。そして、カメラグループに近接する物体も確実に検出して割り当てることができる。
【0016】
一般に、ベースラインの長さの少なくとも３倍の距離にある物体を確実に検出し、割り当てることができる。例えば、ベースラインの長さが１０ｃｍの場合、物体が確実に検出され、割り当てられるための最小物体距離は３０ｃｍである。
【0017】
所与のベースラインの長さに対して、検出可能で割り当て可能な最大物体距離と、検出可能で割り当て可能な最小物体距離の比は、通常２０倍である。検出可能で割り当て可能な最小物体距離が３０ｃｍの場合、検出可能で割り当て可能な最大物体距離は６ｍとなる。
【0018】
カメラグループ内の２台のカメラの入射瞳中心間のベースラインの長さは、１０ｃｍ～２０ｃｍの範囲内、又は１０ｃｍ～１５ｃｍの範囲内とすることもできる。それぞれのカメラグループに存在するすべてのカメラペアのベースラインの長さは、そのような範囲にすることができる。
【0019】
請求項４による、異なる、特に隣接するカメラグループのカメラ間のベースライン長さは、平均距離範囲の安全なカバーを可能にし、その下限は、個々のカメラグループによってカバーされ得る近距離の上限と重なり得る。異なるカメラグループのカメラ間のベースライン長さは、１ｍ～２ｍの間の範囲であってもよい。光学アセンブリの全ての隣接するカメラグループにおけるカメラ間のベースラインの長さは、そのような範囲であってもよい。異なるカメラグループにおけるカメラ間のベースラインの長さは、物体の信頼できる検出及び割り当てのための物体距離範囲が、一方では正確にカメラグループの１つを介して、他方では異なるカメラグループのカメラを介して、互いに隣接又は重複するように、１つの同じカメラグループのカメラ間のベースラインの長さに応じて選択することができる。カメラグループの正確に１つにおけるカメラ間の例示的なベースラインの長さが１０ｃｍであり、その結果、確実に検出及び割り当て可能な最大物体距離が６ｍである場合、異なるカメラグループのカメラ間のベースラインの長さは、例えば、２ｍとすることができる。これにより、異なるカメラグループのカメラに対する確実に検出及び割り当て可能な最小物体距離が順番に６ｍとなる。したがってこの場合、それぞれのカメラグループ（内部；Ｉｎｔｒａ）と異なるカメラグループ（相互；Ｉｎｔｅｒ）の確実に検出及び割り当て可能な物体検出の距離範囲は、互いに隣接することになる。
【0020】
このように、いずれの場合もカメラグループの１つを使用して近距離の対象物をカバーし、少なくとも２つのカメラグループの相互作用を使用して遠距離の対象物をカバーすることができる。ここで、近距離と遠距離は互いに直接隣接するか、又は重なり合うことができる。
【0021】
請求項５又は６に記載のカメラグループの数は、光学アセンブリの水平及び／又は垂直の総カバー範囲を最適化することが証明されている。特に、水平方向の総カバー範囲は、光学アセンブリの水平方向の環境全体が捕捉されるように、３６０°とすることができる。垂直方向の総カバー範囲は、使用するカメラの目的に応じて１８０°又はそれ以上とすることができ、例えば魚眼カメラを使用する場合には、２２０°とすることができる。光学アセンブリが、例えば自動車に搭載される場合、１００°の垂直方向の総カバー範囲を使用することができる（垂直方向下方から水平より１０°上まで）。水平方向及び／又は垂直方向の総カバー範囲は、いくつかの立体角部分に分割することができる。
【0022】
請求項７に記載のグループ取付体は、それぞれのカメラグループのカメラの有利な位置及び姿勢安定性をもたらす。
【0023】
請求項８に記載のグループ取付体により、それぞれの画像化及び割り当て要件に適合できるカメラグループが得られる。例えば、グループ取付体は、追加のカメラを取付けるための、１つの用意された保持レセプタクル、２つの用意されたレセプタクル、又は３つ以上の用意された保持レセプタクルを有することができる。それぞれの保持レセプタクルは、取り付けられるカメラの対応する関連ホルダと相補的になるように設計することができる。
【0024】
冒頭で述べた目的は、請求項９に記載の特徴を有する光学アセンブリによっても達成される。
【0025】
魚眼カメラは、魚眼レンズを搭載したカメラである。このような魚眼レンズの開口部（絞り）又は画像角度は３１０°まで可能である。通常、魚眼レンズの画像角度は画像対角で少なくとも１８０°である。魚眼レンズの焦点距離は４ｍｍ～２０ｍｍの範囲とすることができる。一般的な焦点距離、は４．５ｍｍ又は８～１０ｍｍの範囲である。魚眼レンズの結像機能は、角度に忠実であってもよいし、等距離であってもよいし、面積に忠実であってもよいし、又は正投影であってもよい。魚眼レンズはまた、非基本結像関数の形でパラメトリック結像を有することもある。
【0026】
上記で説明した光学アセンブリの特徴は、実施形態に応じて互いに組み合わせることもできる。
【0027】
魚眼カメラを使用することで、必要な立体角部分をカバーするため、又は必要な水平方向及び／又は垂直方向の全範囲をカバーするために光学アセンブリに必要なカメラの数を有利に少なくすることができる。
【0028】
請求項１０に記載のデュアルカメラは、光学アセンブリの可能性を広げる。デュアルカメラは、一方ではＲＧＢセンサ用に、他方ではＩＲセンサ用に、別個であるが空間的に近接するカメラ光学系を有することができる。一方のＲＧＢカメラ光学系の光軸と、他方のＩＲカメラ光学系の光軸との間の距離は、３５ｍｍより小さくてもよい。デュアルカメラの２つのセンサ及び／又は２つのカメラ光学系は、共通のキャリアに搭載することができる。デュアルカメラの画像情報の読み出しは、例えば、ＲＧＢセンサの１ラインに続いてＩＲセンサの１ラインが読み出されるようにつなぎ合わせることができる。ＩＲセンサに加えて、ＩＲ光源を使用することもでき、この光源を使用して、特に、捕捉されるシーンのテクスチャ化されたＩＲ照明を行うことができる。異なる検出波長範囲のセンサにより、環境物体の検出と割り当ての精度が向上する。
【0029】
請求項１１に記載のハイブリッドカメラは、光学アセンブリの可能性の拡張にもつながる。ハイブリッドカメラは、より広い距離範囲をカバーすることができ、これにより、光学アセンブリの安全性が確実に向上する。近距離光学系は魚眼光学系として構成することができる。遠距離光学系は望遠光学系として構成することができる。ハイブリッドカメラの２つの光学系は、共通のキャリアに取り付けることができる。近距離光学系は、特に請求項１０に記載されているように、ＲＧＢセンサとＩＲセンサを備えたデュアルカメラで構成することができる。したがって、遠距離光学系もＲＧＢセンサとＩＲセンサを備えたデュアルカメラで構成することができる。
【0030】
請求項１２に記載のデータ処理モジュールシステムは、環境物体の効率的なリアルタイム検出及びリアルタイム割り当てを保証する。データ処理モジュールシステムを、それぞれの場合にカメラグループに個別に割り当てられたグループモジュールと、すべてのカメラグループに割り当てられたメインモジュールとに分割することにより、グループモジュールレベルでの非常に高速な初期検出及び割り当てを可能にする処理構成が可能になる。ここで、選択された側面の検証、特にグループモジュールレベルでの疑わしい割り当ての検証は、メインモジュールレベルでも引き続き行われ得る。データ処理グループモジュール間には、異なるカメラグループ間の信号接続があってもよく、異なるカメラグループからのカメラデータに基づいてグループレベルでリアルタイム割り当てを可能にすることができる。したがって、相互のベースライン評価をグループレベルで実行できる。メインモジュールは、メインモジュールの正しい動作を保証するために、コプロセッサ又は監視プロセッサを有してもよい。ＭＩＰＩ／ＣＳＩ規格に従って、グループモジュール間でシリアルデータ転送を行うことができる。ハイブリッドカメラを使用する場合、一方では近距離光学系、他方では遠距離光学系が、独自のデータ処理グループモジュールと信号接続をすることができる。複数のデータ処理グループモジュールを１つの同じカメラグループに割り当てることもできる。これは、１つのカメラグループ内で複数の異なるカメラタイプ、例えば、次の３つのカメラタイプ（シングルカメラ、デュアルカメラ、ハイブリッドカメラ）のうち少なくとも２つが使用されている場合に、特に当てはまる。
【0031】
請求項１３に記載の少なくとも１つの冗長部品（コンポーネント）は、光学アセンブリのフェールセーフ性を高める。障害冗長性、機能冗長性、及び形状（フォーム）冗長性も提供できる。
【0032】
機能冗長性の場合、同じものを測定する同じ技術を備えた複数の測定システムが存在する。冗長部品は、技術的には基本部品と同じように設計される。この例として、カメラグループの１つのグループにおける本来の目的のカメラと全く同じ方法で設計された追加の冗長カメラが挙げられる。
【0033】
形状冗長性の場合、異なる技術の測定システムが同じものを測定する。このような形状冗長性の例として、可視光に感度のあるカメラ（例えばＲＧＢカメラ）と、赤外光に感度のあるカメラを使用した対象物の検出が挙げられる。異なる測定システムは、特に画像化と画像化された物体の割り当てに使用される。
【0034】
フェールセーフ冗長性の場合、２つの測定値間に矛盾が検出されると、障害が通知され、光学アセンブリが装備されている車両が安全な状態に停止する。
【0035】
フェイル動作冗長性の場合、２つの等しい測定値への投票（多数決）により少なくとも３つの測定値間の矛盾が検出されると、車両の実行された動作の継続に関する警告が出される。アセンブリの構成部品が故障した場合、このような多数決を継続できるように、障害が発生した構成部品の代替構成部品又は冗長構成部品が利用可能でなければならない。
【0036】
少なくとも２台のデュアルカメラ、場合によっては３台又は４台のデュアルカメラを備え、それぞれがＲＧＢセンサとＩＲセンサを備えたカメラグループは、一方では複数のＲＧＢセンサに関して機能的に冗長な配置を表し、他方では複数のＩＲセンサに関してそれとは独立した配置を表す。少なくとも１つのＲＧＢセンサと１つのＩＲセンサの組み合わせは、形状冗長である。
【0037】
それぞれの冗長構成部品によって取得又は処理されたデータは、交換される構成部品が選択されたときにのみ使用することができる。あるいは、冗長構成部品のこれらのデータは、画像化及び割り当ての精度を上げるため、及び／又は画像化及び割り当ての速度を上げるために、通常動作で使用することができる。
【0038】
請求項１４に記載の車両の利点は、光学アセンブリに関して上記で既に説明したものに対応する。車両は、道路車両、鉄道車両又は航空機であってもよい。光学アセンブリが航空機に実装される場合、環境物体のリアルタイム画像化及びリアルタイム割り当てを使用して、特に離陸又は着陸手順を監視することができる。可能な限り大きな立体角をカバーするために、異なるカメラグループにおけるカメラのベースラインネットワーキングを、十二面体、二十面体、又は球面もしくはその断面に対する別の表面近似の方法で行うことができる。
【0039】
車両配置面に対して正確に水平でも正確に垂直でもない、請求項１５に記載の斜めのベースラインは、画像化における望ましくない共振、又は環境物体の望ましくない誤割り当てを回避する。
【0040】
本発明の実施形態例を、図面を参照して以下でより詳細に説明する。
【図面の簡単な説明】
【0041】
【図1】環境物体のリアルタイム画像及びリアルタイム割り当てを生成するための光学アセンブリを備えた、乗用車として設計された車両を上方から見た概略斜視図である。
【図2】光学アセンブリの２つのカメラグループであり、これらのカメラグループは、それぞれのカメラグループ取付体の取付け側から見た斜視図である。
【図3】２つのカメラグループのカメラを取付けるための、図２による２つのグループ取付体のレセプタクルオプションの概略図であり、図示されたバージョンにおいてカメラの取付けに使用されている保持レセプタクルが強調表示され、使用されるカメラの一部については、これらのカメラの入射瞳中心間の接続線（ベースライン）も示されている。
【図4】ゴルフカートとして構成された車両の別の実施形態を示す図であって、図２によるグループ取付体を備えたカメラグループを使用して、環境物体のリアルタイム画像及びリアルタイム割り当てを生成するための光学アセンブリのさらなる実施形態を備えている。
【図8】ＲＧＢセンサとＩＲセンサを備えるデュアルカメラとして構成されたカメラグループの１つにおけるカメラを示す図である。
【図9】近距離光学系と遠距離光学系を備えたハイブリッドカメラとして構成されたカメラグループの１つにおけるカメラを示す図である。
【発明を実施するための形態】
【0042】
図１は、現在の環境シーンのリアルタイム画像及び環境物体のリアルタイム割り当てを生成するための光学アセンブリ２を備えた車両１の概略斜視図である。光学アセンブリ２は、車両１が運転者の介入なしに自律的に移動することを可能にする。
【0043】
図１に示す車両１は乗用車である。道路車両の別の実施形態、例えばトラック、又は鉄道車両、又は航空車両、例えば旅客機又は貨物機、又はヘリコプター、特にドローンも、対応する車両の例である。
【0044】
以下では、位置関係を示すためにデカルトｘｙｚ座標系を用いる。図１の斜視図において、ｘ軸は車両１の進行方向に延びる。ｘ軸とｙ軸は、平坦な水平面、すなわち水平面上で、車両の立ち上がり面に平行な平面に広がる。ｚ軸は、ｘｙ平面に垂直上向きに延びる。
【0045】
車両１は、地上側のシャーシ構成要素として車輪１ａを備えたシャーシを有し、これら車輪１ａは、車両１が静止しているときの車両の起立面、すなわちｘｙ平面を規定する。
【0046】
光学アセンブリ２は、複数のカメラグループ３，４，５，６，７，及び８を有し、これらのカメラグループ３，４，５，６，７，８は、車両の泥除けウイングの上端の高さを通る、車体周方向のベルトレベルとほぼ同じ高さで車両１のフレームに取り付けられている。図１では、カメラグループ３～７が見えている。図１では隠れているカメラグループ８も概略的に示されている。
【0047】
２つのカメラグループ３及び４は、車両前部で、フロントマッドウィング、フロントリッド及び車両前部が隣接する２つの前部車体コーナー領域にそれぞれ取り付けられている。２つのカメラグループ５及び８は、２つの側面車両ドアのそれぞれの間のＢピラーの下端の領域に取り付けられている。２つのカメラグループ６，７は、それぞれ、リヤマッドウイング、ラゲージルームリッド及び車両リヤサイドが隣接する後部車体コーナー領域に取り付けられている。カメラグループ３～８は、車両起立面ｘｙから少なくとも５０ｃｍの距離に取り付けられている。
【0048】
２つのカメラグループ３及び４は、車両１の進行方向ｘに対して２つの前方カメラグループを構成し、カメラグループ６及び７は、２つの後方カメラグループを構成する。また、２つのカメラグループ５及び８は、車両１の進行方向ｘに対して２つの側方（横方向）カメラグループを構成する。カメラグループ３，４，６及び７のコーナー側の配置により、これらのカメラグループは同時に横方向のカメラグループの機能を有するので、カメラグループ３，８及び７は車両１の左側カメラグループとも呼ばれ、カメラグループ４，５及び６は右側カメラグループとも呼ばれる。
【0049】
各カメラグループは、データ処理ユニット９（図２参照）の形態のカメラ信号接続を介して互いにリンクされた少なくとも３台のカメラを有する。
【0050】
図２は、光学アセンブリ２の２つのカメラグループ７及び８をより詳細に示している。図２の描画平面はｘｚ平面に平行であり、図２の視線方向はそれぞれのカメラグループ７及び８の取り付け側を指している。カメラグループ３～８は基本的に同様に構成されているので、以下では主にカメラグループ７を例に挙げて説明すれば十分である。カメラグループ７は、カメラアセンブリ７のカメラ１１７，１２７，１３７を取り付けるためのグループ取付体１０を有する。
【0051】
それぞれのカメラアセンブリ３～８のカメラ１１～１３は、以下ではそれぞれインデックス（添字）ｉ、すなわち、それぞれのカメラグループ３～８の参照番号で指定し、それぞれのカメラ１１～１３のそれぞれのカメラグループ３～８への割り当てを明確にする。
【0052】
グループ取付体１０は、それぞれのカメラグループ３～８のカメラ１１～１３を、互いの一定の相対位置及び相対姿勢で支持するように構成されている。グループ取付体１０は、カメラ１１～１３用のレセプタクル（受け皿）に加えて、追加のカメラを取付けるための保持レセプタクル（受け皿）１４７，１５７も有する。したがって、それぞれのカメラグループ３～８は、取り付けられる少なくとも１台の追加カメラによって後付け及び拡張することができる。図示の実施形態例では、カメラグループ３～８のそれぞれは、正確に３つの設置されたカメラ１１～１３と、正確に２つの追加の用意された保持レセプタクルとを有するため、それぞれのカメラグループ３～８は、これらの用意されたカメラ保持レセプタクルの割り当てに応じて、２台のカメラ、３台のカメラ、４台のカメラ、又は５台のカメラを装備することができる。グループ取付体１０の実施形態によっては、３台から例えば１０台のカメラを備えたカメラグループとすることが可能である。
【0053】
図３は、選択されたカメラ、すなわちカメラグループ７のカメラ１３７、及びカメラグループ８のカメラ１１８，１２８，１３８に対する、これらのカメラ１１～１３の入射瞳中心ＥＰＺ間の接続線を示している。これらは、ベースラインとも呼ばれる。カメラグループｉのカメラ１１ｉ，１２ｉ，１３ｉの入射瞳中心ＥＰＺは、カメラグループ３～８のいずれかのカメラ１１ｉ～１３ｉが配置されるカメラ配置面ＡＥ（図３の右側参照）を定義する。図３の右側のカメラグループに対して示されるカメラ配置面ＡＥは、ｘｚ平面に平行である必要はなく、通常もそうではない。カメラ配置面ＡＥと車両座標ｘｙｚの主平面ｘｙ，ｘｚ，ｙｚのいずれかとのなす角度は、通常、１０°から８０°の範囲である。
【0054】
カメラグループ３～８の２台のカメラ１１，１２；１１，１３；１２，１３の入射瞳中心ＥＰＺ間のベースラインＢの長さは、５ｃｍ～３０ｃｍの範囲である。カメラグループ３～８の実施形態に応じて、これらのベースラインＢの長さは、１０ｃｍ～２０ｃｍの範囲、又は１０ｃｍ～１５ｃｍの範囲とすることもできる。
【0055】
さらに、図３では、２つのカメラグループ７，８のカメラ１１～１３間のグループ間ベースラインＢｉ，ｊが強調表示されている。これらのグループ間ベースラインＢｉ，ｊの長さは、０．５ｍ～３ｍの範囲にある。グループ間ベースラインＢｉ，ｊのこの長さは、それぞれの隣接するカメラグループ３～８間の距離に相当する。グループ間ベースラインＢｉ，ｊの長さは、カメラグループ３～８の配置に応じて、１ｍ～２ｍの範囲とすることもできる。
【0056】
例えば、カメラグループ８のカメラ１１８，１２８とカメラグループのカメラ１３７との間のベースラインＢｉ，ｊの長さは、０．５ｍ～３ｍの範囲内であり、例えば１ｍ～２ｍの範囲としてもよい。
【0057】
カメラグループ３～８のうちの１つにおけるカメラ１１～１３の入射瞳中心ＥＰＺは、非正三角形１６の角に位置している。それぞれの三角形１６は、２つ又は３つの異なる辺の長さ、すなわち、異なる長さの２つ又は３つのベースライン（基線）Ｂを有することができる。
【0058】
カメラグループ３～８のカメラ１１～１３間のベースラインＢは、車両配置面ｘｙに対して１０°～８０°の範囲内の角度で延びており、つまり、正確に水平方向にも鉛直方向にも延びていない。
【0059】
図３では、カメラのペア１２８，１３８について、関連するベースラインＢと車両の立面ｘｙとの間の角度δが描かれている。この角度δは約７０°であり、すなわち１０°と８０°の間である。
【0060】
カメラグループ３～８は、それぞれのデータ処理ユニット９の間のグループ信号接続を介して順番に互いに接続される。カメラ信号接続もこのグループ信号接続も、実際には図２には示されていない。
【0061】
データ処理ユニット９を介した信号処理に関する限り、それぞれのカメラグループ３～８のカメラ１１～１３のうちの１台、例えばカメラ１１をマスターカメラとして定義し、他のカメラ１２，１３をスレーブカメラとして定義することができる。
【0062】
データ処理ユニット９ｉを介した信号処理に関する限り、カメラグループ３～８の１つをマスターカメラグループとして定義し、他をスレーブカメラグループとして定義することができる。
【0063】
【0064】
【0065】
カメラグループ３～８は、図４による車両１７のルーフ領域に配置されており、カメラグループ３～８の「前」、「後」、「左側」、及び「右側」の方向への割り当ては、図１による車両１に関連して上記で説明したとおりである。
【0066】
【0067】
図５及び図６において、カメラ１１～１３のそれぞれの画像取得方向１８は、１８ｉ
ｊの形式で二重のインデックスを付けてされて示されている。インデックスｉは、それぞれのカメラグループ３～８への画像取得方向１８の割り当てを表し、インデックスｊは、このカメラグループ３～８のそれぞれのカメラ１１～１３への割り当てを表す。
【0068】
カメラグループｉの１つにおけるカメラ１１～１３の隣接する画像取得方向１８ｉ
１１～１８ｉ
１３は、互いに対して単一のカメラ角度αを有し、このカメラ角度αは、５°～２５°の範囲内であり、例えば１５°である。
【0069】
通常、カメラグループｉ（ｉ＝３～８）のそれぞれは、画像取得方向１８ｉ
１１～１８ｉ
１３にわたって、通常３０°の総画像取得角度βをカバーする。
【0070】
カメラグループｉの１つにおけるカメラ１１～１３の画像取得方向１８ｉ
１１～１８ｉ
１３には、それぞれ方向平均値１９を割り当てることができる。カメラグループ３について、そのような方向平均値１９３の方向が、図５及び図６に破線で示されている。このそれぞれの方向平均値１９３は、画像取得方向１８３
１１～１８３
１３の平均値である。
【0071】
隣接するカメラグループｉ，ｊにおけるカメラ１１～１３の画像取得方向の方向平均値１９ｉ，１９ｊは、互いに対するグループカメラ角度γ（図５参照）を想定しており、それは３０°～１００°の範囲内であり、図５及び図６による実施形態では約６０°である。
【0072】
図示されていない光学アセンブリ２の実施形態では、６つ未満のカメラグループ、例えば３つのカメラグループ、４つのカメラグループ、又は５つのカメラグループもあり得る。また、６つ以上のカメラグループも可能である。
【0073】
カメラグループは、図１～図６によるカメラグループ３～８の配置の場合と同様に、３６０°の水平方向合計カバー範囲（極座標の方位角）が達成可能となるように配置できる。カメラグループの配置は、１８０°の垂直方向合計カバー範囲（極座標の極角）を達成するようにも配置できる。通常、これは陸上車両には要求されないため、図１～図６によるカメラグループ３～８の配置では、この全部の垂直方向カバー範囲は達成されない。カメラグループの配置の場合、特に航空機の場合、９０°よりも大きく、１２０°よりも大きく、１５０°よりも大きく、特に１８０°である垂直方向合計カバー範囲を達成することができる。カメラグループのカメラは、特に魚眼カメラとして構成することができる。
【0074】
【0075】
図７は、それぞれ３台のカメラ１１～１３を含む２つのグループ７，８を示している。一方のグループ７と他方のグループ８はそれぞれ、カメラグループ７，８の関連するカメラによって撮影された画像データを処理及び評価するための関連するデータ処理ユニット９７，９８を有する。２つのデータ処理ユニット９７，９８は、信号線２１を介して互いに信号接続されている。
【0076】
空間シーンを取得するために、グループ７のカメラ１１７～１３７は、例えば、この空間シーンの３Ｄ取得が可能になるように、相互に接続することができる。この空間画像取得の追加の冗長性を生成するために、例えば、さらなるグループ８のカメラ１１８の画像取得結果を使用することができ、この画像取得結果は、グループ８のデータ処理ユニット９８及び信号線２１を介して、グループ７のデータ処理ユニット９７に利用可能となる。この信号線２１は、カメラグループ７及び８の間のグループ信号接続を表す。グループ７のカメラ１１７～１３７までのカメラ１１８の空間距離により、空間風景を画像化する際の視野角が大きく異なるため、空間画像取得の冗長性が向上する。
【0077】
正確に１つのグループ７，８のカメラを使用する空間画像取得は、内部（イントラ）画像取得とも呼ばれる。少なくとも２つのグループのカメラが関与する空間画像取得は、相互（インター）画像取得とも呼ばれる。
【0078】
物体が検出され、割り当てられると、三角測量を使って物体の距離を決定することができる。例えば、三角測量は、カメラ１２８，１３８，カメラ１３８，１１８，カメラ１１８，１２８のステレオ配置で独立に行うことができる。これら３つの配置の三角測量点はそれぞれのケースで一致しなければならない。
【0079】
グループ７，８のようなカメラグループは、三角形の形、例えば二等辺三角形の形に配置することができる。６台のカメラを六角形に配置することも可能である。
【0080】
それぞれのグループ７，８によってカバーされるカメラの至近距離は、例えば、８０ｃｍから２．５ｍの範囲とすることができる。それぞれの他のグループの少なくとも１台のカメラを追加することによって、至近距離の限界を超えた長距離も画像取得装置で撮像することができる。このような遠距離は、その下限についてカメラの近距離と重なり、例えば５０ｍ、１００ｍ又は２００ｍの上限を有する。
【0081】
各カメラ１１～１３は、ＣＣＤ又はＣＭＯＳチップであるセンサチップを有する。そのセンサチップは２次元ピクセルアレイとして構成される。各ピクセルは長方形又は正方形であり、センサチップ平面内の通常のピクセル拡張範囲は、１μｍから２０μｍの範囲内である。このような典型的なピクセル拡張は、２μｍから１０μｍの間の範囲、特に３μｍと５μｍの間の範囲であってもよい。カメラ光学系のレンズ焦点距離とピクセル拡張との間の比は、１００～１，０００の間の範囲内であってもよい。特に、この比率は５００～７００の間の範囲内にある。カメラは、ピクセル拡張よりも優れた解像度能力を提供できる。例えば、達成可能な解像度とピクセル拡張との間の比率は、０．１～０．５の範囲とすることができる。
【0082】
物体距離のそれぞれの上限値の範囲では、１％から５％の範囲の距離誤差を許容することができる。例えば、物体距離の上限（ベースライン内のみの使用）が６ｍの場合、距離誤差は１５ｍｍとなる。物体距離の上限（ベースライン間の排他的使用）が１２０ｍの場合、例えば、３ｍの範囲の距離誤差となる。
【0083】
図８は、例えば、図３又は図７による（単一の）カメラ１１７の代わりに使用できるカメラ１１～１３のうちの１つの実施形態を示している。カメラ１１７は、ＲＧＢセンサ２５とＩＲセンサ２６を備えたデュアルカメラとして構成されている。ＲＧＢセンサ２５は、可視光波長域の色情報を取得するように設計されている。ＲＧＢセンサ２５の代わりに、可視波長域用のモノクロセンサを使用することもできる。ＩＲセンサ２６は、可視波長域を超える赤外線波長に感度を有する。センサ２５及び／又は２６は、ＣＣＤセンサ又はＣＭＯＳセンサとして構成することができる。センサ２５及び／又は２６は、センサピクセルが行と列に配置されたアレイセンサとして構成される。
【0084】
２つのセンサ２５，２６は共通のキャリア２７に取り付けられている。２つのセンサ２５，２６はそれぞれ、カメラ光学系２８（ＲＧＢセンサ２５用）及びカメラ光学系２９（ＩＲセンサ２６用）を備えている。２つのカメラ光学系２８，２９は互いに離れているが、空間的には互いに近接して配置されている。図８において破線で示される２つのカメラ光学系２８，２９の光軸間の距離ｄＯＡは、最大でも３５ｍｍである。この距離ｄＯＡは、２０ｍｍ～３０ｍｍの間の範囲とすることができ、また、それより小さくてもよく、例えば、１０ｍｍ～２０ｍｍの間の範囲、５ｍｍ～１５ｍｍの間の範囲であってもよい。距離ｄＯＡが小さいと、カメラ光学系２８，２９の画像オフセットが無視できるほど小さくなる。これにより、センサ２５，２６の取得データの評価が容易になる。図示しない代替実施形態では、デュアルカメラ１１７は、両方のセンサ２５，２６対して共通のカメラ光学系を有する。
【0085】
デュアルカメラ１１７は、センサ２５，２６上のデータをデータ処理モジュールシステムに読み出すための２つの信号出力３０Ａ，３０Ｂを有しており、これについては特に以下で詳しく説明する。信号出力３０Ａ，３０Ｂは、パラレル信号出力である。
【0086】
さらに、デュアルカメラ１１７又は光学アセンブリ２は、一般に、カメラ１１～１３に割り当てられた検出対象物をＩＲ光で照明するＩＲ光源３１を備えることができる。ＩＲ光源３１によるこのＩＲ照明は、ＩＲテクスチャリングを生成するための照明であってもよい。このＩＲテクスチャリングは、規則的なパターンを有しないように構成されてもよい。このＩＲ照明は、環境物体の検出及び割り当て、又は対応する物体の特徴又は物体の署名（シグネチャ）の検出及び割り当てを容易にする。
【0087】
ＩＲ（赤外線）光源３１は、レーザであってもよい。ＩＲ光源は、環境対象物の短時間露光を提供することができる。それぞれのカメラ１１～１３又は光学アセンブリ２は一般に、特定の波長範囲を選択するための狭帯域フィルタを備えることができる。これは、センサ２５又は２６に到達する撮像光を事前にフィルタリングするために使用することができる。狭帯域ＩＲフィルタが使用される場合、熱源を除く周囲光を効果的にフィルタすることができる。
【0088】
代替的又は追加的に、対応するプレフィルタは、特にＩＲ光源３１のパルス周波数に同期したシャッターの助けを借りて、時間的に実行することもできる。
【0089】
別個のセンサ２５，２６を備えた図８に示すタイプのカメラ１１７のデュアルカメラの代わりに、図面には示していないが、ＲＧＢＩＲセンサを使用することもできる。このＲＧＢＩＲセンサは、３段階の撮影シーケンスで動作させることができる。長い露光時間で、ＲＧＢ成分を捕捉することができる。第１の短時間露光ステップの過程で、第１のＩＲ露光成分を取り込み、第２の短時間露光ステップの過程で、第２のＩＲ露光成分を取り込むことができる。両方のＩＲ露光成分は互いに減算することができる。
【0090】
対応するＲＧＢＩＲセンサは基本的に、ｗｗｗ．ｆｒａｍｏｓ．ｃｏｍで入手可能な技術パンフレット「ＲＧＢ＋ＩＲ Ｔｅｃｈｎｏｌｏｇｙ」から知ることができる。
【0091】
このタイプのＲＧＢＩＲセンサでは、可視波長（ＲＧＢ、赤緑青）と赤外波長（ＩＲ）の両方を１つのセンサーアレイで正確に測定できる。
【0092】
このようなＲＧＢＩＲセンサは次のように動作させることができる。ある時点ｔ１で、ＲＧＢ信号が、例えば１０ｍｓの露光時間中に読み込まれる。別の時点ｔ２で、ＩＲ信号が１ｍｓ未満の期間中にＩＲ露光と同時に読み込まれる。さらなる時点ｔ３で、追加のＩＲ露光なしでＩＲ信号が読み込まれる。時点ｔ２及びｔ３における画像の差は、中間期間における物体の動きを除けば、専らＩＲ露光の影響を表すため、昼光又は太陽光の成分は除去される。ＲＧＢ時点ｔ１は、時点ｔ２とｔ３にあるか、その間にあるべきである。
【0093】
カメラ１１７のタイプのデュアルカメラのＩＲセンサ、又はＲＧＢＩＲセンサのＩＲセンサ部分は、２つの電荷メモリを有することができる。このような２つの電荷メモリを有するＩＲセンサを用いて、ｔ２及びｔ３の時点の画像に関連して上記で説明したことに対応するＩＲ差分画像が、このようなＩＲセンサで一方が取得した直後に他方が取得した２つの電荷の電荷差から既に得ることができる。
【0094】
２つのセンサ２５，２６のデータ読み出しは、例えば、ＲＧＢセンサ２５の１ラインが読み出され、続いてＩＲセンサ２６の１ラインが読み出されるように、ステッチ（つなぎ合わせ）方式で行うことができる。このようにして、ＲＧＢ及びＩＲ情報を候補物体点に割り当てることができる。
【0095】
あるいは、両方のセンサ２５，２６を順次読み出すことも可能である。
【0096】
図９は、例えば（単一）カメラ１１８の代わりに使用できるハイブリッドカメラとしてのカメラ１１～１３のうちの１つの実施形態を示している。このハイブリッドカメラ１１は、近距離光学系３２と遠距離光学系３３を有する。近距離光学系３２は魚眼レンズとすることができる。遠距離光学系３３は望遠光学系として構成することができる。
【0097】
近距離光学系３２は、図８を参照して上記で説明したデュアルカメラ１１７のタイプの近距離デュアルカメラの一部である。遠距離光学系３３は、図８のデュアルカメラ１１７に対応する基本構造を有する、同じくデュアル長距離カメラの一部である。したがって、図９において、図８に対応する構成要素には同一の符号を付してある。ハイブリッドカメラ１１８の２つの距離光学系３２，３３はそれぞれ、それらに割り当てられたキャリア２７を有する。２つのキャリア２７は、剛性接続部品３４によって互いに強固に接続されている。剛性接続部品３４は、距離光学系３２，３３の２つのキャリア２７間に望ましくない変位が生じないことを保証する。
【0098】
近距離光学系３２と遠距離光学系３３との間の横方向距離ｄＮＦは、５０ｍｍより小さく、２５ｍｍより小さく、２０ｍｍより小さく、１５ｍｍより小さく、又は１０ｍｍより小さくすることができる。２つの距離光学系３２，３３間のこの距離は、特に非常に小さいため、近距離光学系３２と遠距離光学系３３の間の画像オフセットは、光学アセンブリ２内のデータ評価において重要でない。
【0099】
【0100】
遠距離光学系３３は、５０ｍから３００ｍの距離範囲、特に８０ｍから１５０ｍの距離範囲、例えば１００ｍの距離範囲にある物体を検出するように設計することができる。
【0101】
遠距離光学系３３は、このより広い距離範囲において、より高い距離分解能を提供する。遠距離光学系３３が高解像度を提供する距離範囲は、近距離光学系３２が高解像度を提供する距離範囲にすぐ隣接するか、又は重複している。
【0102】
遠距離光学系３３の少なくとも１つの光軸と水平線に対する垂直角度は、近距離光学系３２の少なくとも１つの光軸の水平線に対する対応する角度よりも小さくてもよい。
【0103】
近距離光学系３２及び／又は遠距離光学系３３の代わりに、また一般に、カメラ光学系２８及び２９のタイプの固定焦点距離カメラ光学系の代わりに、焦点距離範囲で予め設定可能な焦点距離を有するズーム光学系を使用することができる。このようなズーム光学系の焦点距離は、アクチュエータによって予め設定することができる。このようなアクチュエータは、光学アセンブリ２の中央制御／調節ユニットと信号接続することができ、この中央制御／調節ユニットは、データ処理モジュールシステムと信号接続することができる。
【0104】
このようなズームカメラは、異なるズーム位置に対して固有のキャリブレーションを提供できる。
【0105】
このタイプのズーム光学系は、特に光学アセンブリ２のロボット用途に使用できる。
【0106】
図１０は、例えば図７と同様の図において、上述のカメラグループ３～８の代わりに使用可能な２つのカメラグループ７，８の例を示している。４つの単一カメラ１１７，１２７，１３７，Ｒ７，及び１１８，１２８，１３８，Ｒ８も、図１０の上部でそれぞれ概略的なカメラグループ７，８として、再び概略的に組み合わされている。
【0107】
したがって、それぞれのカメラグループ７，８は、それぞれ４つの単一カメラを有する。カメラグループ７の第４のカメラＲ７及びカメラグループ８のＲ８は、追加の冗長カメラである。これは、それぞれのカメラグループ７，８のフェールセーフを確保するために使用でき、これは名目上、例えば３つの機能する単一カメラ（フェール動作状態）を必要とする。
【0108】
図１０は、２つのカメラグループ７，８の１つにおける個々のカメラ間の内部ベースラインＢと、異なるカメラグループ７，８の選択されたカメラ間の相互ベースラインＢｉ，ｊを再度示している。現在の物体の割り当てに使用されているベースラインは、太線で強調表示される。２つの冗長カメラＲ７，Ｒ８は、このベースラインの使用例では考慮されていないため、この障害のない状態でのデータ処理には参加しない。
【0109】
図１１は、図１及び図４に対応するであり、車両１の光学アセンブリ２の構成要素としての６つのカメラグループ３～８の例示的な配置を示している。個々のカメラグループ３～８の各々は、既に上で説明したように、近距離をカバーすることができる。カメラグループ３～８の１つが遠距離光学系３３を備えている限り、このカメラグループも個別に遠距離をカバーすることができる。２つの（特に隣接する）カメラグループ、例えばカメラグループ７と８の相互作用により、既に上で説明したように、相互ベースラインＢｉ，ｊを使用して遠距離評価が可能になる。
【0110】
光学ベースのカメラに加えて、光学アセンブリは、少なくとも１つのライダーセンサ（ＬＩＤＡＲセンサ）を有してもよく、これは物体の検出及び割り当てのための追加のエラー冗長性を提供する。このようなライダーセンサを使用した測定は、光学アセンブリ２で実行される光学的物体距離測定に加えて、フォームの冗長性をもたらす。ライダー測定では、光パルスを測定して時間オフセットを測定し、光速を乗算して距離信号に変換することができる。代替的又は追加的に、送信光強度波と受信光強度波との間の位相をライダー測定で決定することができ、これは次に時間オフセットに変換され、最終的に光速を利用して距離値に変換される。
【0111】
図１２は、光学アセンブリ２のデータ処理モジュールシステム３６の詳細を示している。図１２では、例えば図１１に示すように、車両１上の配置におけるカメラグループ３（前方左）、カメラグループ４（前方右）、カメラグループ５（中央右）の例を用いて、合計３つのカメラグループが示されている。
【0112】
【0113】
データ処理モジュールシステム３６は、環境物体、物体特徴、又は物体シグネチャのリアルタイム画像化及びリアルタイム割り当てのために、カメラグループ３～８の単一カメラのカメラデータを処理するための少なくとも１つのデータ処理ユニットを有する。
【0114】
データ処理モジュールシステム３６は、ノードとも呼ばれるデータ処理グループモジュールを有し、カメラグループ３～８に割り当てられている。データ処理グループモジュール３７と３７Ｒは、カメラグループ３に割り当てられている。データ処理グループモジュール３８，３８Ｒは、カメラグループ４に割り当てられている。データ処理グループモジュール３９，３９Ｒは、カメラグループ５に割り当てられている。グループモジュール３７Ｒ，３８Ｒ，３９Ｒは、冗長データ処理グループモジュールであり、グループモジュール３７，３８，３９が故障した場合にのみ交換するために使用されるか、通常動作において、カメラグループ３～５の割り当てられたカメラの信号データを処理して、画像化及び割り当て精度及び／又は割り当て速度を向上させる。
【0115】
データ処理グループモジュール３７～３９，３７Ｒ～３９Ｒは、同じ構造を有するため、以下では、グループモジュール３７の例を用いて、グループモジュールのうちの基本的に１つについて説明すれば十分である。データ処理グループモジュール３７は、合計６つの信号入力４０１～４０６を有し、これらは組み合わされて多極信号入力４０を形成する。信号入力４０１～４０３は、カメラグループ３のカメラ１１３～１３３の信号出力３５Ａに接続されている。信号入力４０４は、カメラグループ３の冗長カメラＲ３の信号出力３５Ａに接続されている。信号入力４０５及び４０６は、カメラグループ４のデータ処理グループモジュール３８の信号出力４１１，４１２と信号接続されている。
【0116】
グループモジュール３７の信号入力４０１及び４０２は、このグループモジュール３７の対応する信号出力４１１，４１２と信号接続されている。
【0117】
異なるグループモジュール間の信号接続を介して、この場合、カメラグループ４のデータ処理グループモジュール３８の信号出力４１１，４１２とカメラグループ３のデータ処理グループモジュール３７の信号入力４０５及び４０６を介したグループモジュール３７と３８の間の信号接続を介して、データ処理モジュールシステム３６によって、データ処理グループモジュール３７，３８，．．．のレベルで相互ベースライン間評価を実行することができる。これから説明するデータ処理モジュールシステム３６のメインモジュールの統合は、このためには必要ない。
【0118】
カメラグループ５のグループモジュール３９の信号出力４１１，４１２は、対応する信号接続を介して、カメラグループ４のグループモジュール３８の信号入力４０５，４０６とも信号接続されている。
【0119】
異なるカメラグループに割り当てられたグループモジュールの信号出力４１ｉと信号入力４０ｉの間のこの直接接続を介して、グループレベルでの高速ベースライン間計算が可能である。追加のベースライン間計算も、データ処理メインモジュール４２，４２Ｒのレベルで可能である。
【0120】
ここで、図１２に示す実施形態と同様に、２台のカメラ、例えばカメラグループ４のカメラ１１４，１２４の信号出力をカメラグループ３のグループモジュール３７の信号入力にルーティングしたり、又は、より多くの又はより少ないカメラのデータをグループレベルでグループ間にて直接交換したりすることができる。グループモジュールレベルでの信号接続により、隣接するカメラグループ割り当てのリング、又はカメラグループ間のネットワークを作成することも可能である。このようなネットワーキングは、光学アセンブリ２が航空分野で使用される場合に特に有用であり得る。
【0121】
追加の冗長データ処理グループモジュール３７Ｒ，３８Ｒ及び３９Ｒ（これらは、故障の場合にグループモジュール３７，３８及び３９を順次置き換えることができ、あるいは画像化及び割り当ての精度を向上させるために、及び／又は画像化及び割り当て速度を向上させるために使用できる）は、グループモジュール３７～３９と同様に構築されている。
【0122】
例えば、冗長データ処理グループモジュール３７Ｒの信号入力４０１～４０４は、カメラ１１３，１２３，１３３及びＲ３の信号出力３５Ｂと信号接続されている。それぞれの場合、カメラ１１ｉ，１２ｉ，１３ｉ，Ｒｉの１つは、２つの信号出力３５Ａ，３５Ｂを介して、１つのグループモジュール及び１つの冗長グループモジュールを供給する。あるいは、例えば、２つの信号出力３５Ａ／Ｂをそれぞれ備えた３台のカメラの代わりに、それぞれ１つの信号出力３５を備えた６台のカメラを使用することもできる。
【0123】
冗長データ処理グループモジュール３７Ｒの信号入力４０５及び４０６は、隣接するカメラグループ４の冗長データ処理グループモジュール３８３の信号出力４１１，４１２と信号接続されている。冗長データ処理グループモジュール３７Ｒの信号出力４１１，４１２は、さらに別の、図示しない冗長データ処理基本モジュールの信号入力４０５，４０６と信号接続されている。
【0124】
データ処理基本モジュール３７の信号出力４１１，４１２は、図示しない別のデータ処理基本モジュールの信号入力４０５，４０６と信号接続されている。
【0125】
この信号相互接続により、カメラグループ３，４，５，．．．の１つにおけるそれぞれのカメラ１１ｉが、別のカメラグループ３，４，５，．．．のカメラの取得データと共に相互データ処理に使用できることが保証される。
【0126】
それぞれのデータ処理グループモジュール、例えばデータ処理グループモジュール３７及び冗長データ処理グループモジュール３７Ｒは、それぞれ正確にカメラグループの１つ、この場合はカメラグループ３に割り当てられる。
【0127】
データ処理グループモジュール３７～３９，．．．及び冗長データ処理グループモジュール３７Ｒ～３９Ｒ，．．．は、データ処理モジュールシステム３６の第１の高速信号処理レベルを提供する。
【0128】
グループモジュール３７～３９，．．．又は３７Ｒ～３９Ｒ，．．．のこの高速データ処理グループレベルでは、例えば点群形式の物体画像のキャプチャ及び割り当てが、リアルタイムで行われる。したがって、このグループモジュールレベルでは、どの重要な物体が存在するか、これらの物体がカメラグループからどれだけの距離にあるか、これらの物体がカメラグループに対して相対的に移動しているかどうか、移動している場合はどのような速度で移動しているかが明らかになる。
【0129】
データ処理モジュールシステム３６は、さらにデータ処理メインレベルを含む。後者は、すべてのカメラグループ３～５，．．．に割り当てられるデータ処理メインモジュール４２を指している。データ処理メインモジュール４２は、イーサネット信号接続であってもよい信号接続４３ｉを介して、グループモジュール３７～３９，．．．，３７Ｒ～３９Ｒ，．．．と信号接続されている。
【0130】
カメラ１１ｉ～１３ｉ，Ｒｉとグループモジュール３７～３９，．．．；３７Ｒ～３９Ｒ，．．．との間、及びこれらのグループモジュール３７～３９，．．．；３７Ｒ～３９Ｒ，．．．とデータ処理メインモジュール４２との間のデータ通信は、ＭＥＰＩ／ＣＳＩインターフェース規格に従って行うことができる。
【0131】
データ処理メインモジュール４２は、メインプロセッサ４４とコプロセッサ４５を有する。メインプロセッサ４４は、コプロセッサ４５によって検証及び監視される。メインプロセッサ４４は、それぞれの通信インターフェース４６を介して、すべてのグループモジュール３７～３９，．．．；３７Ｒ～３９Ｒ，．．．の結果を読み出す。メインプロセッサ４４は、これらの異なるグループモジュール３７～３９，．．．の結果を比較し、及び該当する場合には、接続された冗長グループモジュール３７Ｒ～３９Ｒの結果を比較し、特にカメラグループ３～５，．．．の視野の重複領域において、この方法で追加の障害セキュリティが提供されるようにする。さらに、メインプロセッサ４４は、グループモジュールレベルからのデータの取得と処理の結果からの制御信号を、一方では光学アセンブリ２に転送し、他方ではそれを備えたユニット、例えば車両１に転送する。
【0132】
さらに、データ処理のメインレベルには、冗長データ処理メインモジュール４２Ｒも設けられており、この冗長データ処理メインモジュール４２Ｒは、データ処理メインモジュール４２と同様に構成されており、グループモジュール３７～３９，．．．，３７Ｒ～３９Ｒ，．．．と対応的に相互接続されている。冗長データ処理メインモジュール４２Ｒは、例えば、データ処理メインモジュール４２のコプロセッサ４５が、データ処理メインモジュール４２のメインプロセッサ４４の結果が信頼できないと判断した場合、又はデータ処理メインモジュール４２が他の理由でシャットダウンした場合に使用される。冗長データ処理メインモジュール４２Ｒによるデータ処理メインモジュール４２の純粋な故障交換に代わるものとして、この冗長データ処理メインモジュール４２Ｒは、画像化及び割り当て精度を向上させるため、及び／又は画像化及び割り当て速度を向上させるために、通常動作でも使用することができ、それによってデータ処理メインモジュール４２と並行して動作する。
【0133】
上記で説明したように、特に隣接するカメラグループ３～８のカバー範囲の重複は、データ処理モジュールシステム３６内で、重複する取得データの比較と、内部ベースライン及び相互ベースラインの検出の比較を可能にする。例えば、対応する４つの異なる内部ベースライン及び相互ベースラインによる１つの同じ対象物の取得についての最大４回の重複比較を、それによって実行することができ、これにより、対応するエラーの冗長性が得られる。この付加的なエラー冗長性は、エラー耐性に関して要求される認証作業の低減につながる。
【0134】
特に隣接するカメラグループ３～８のカバー範囲の対応する重複領域は、最小の予想される関連物体サイズと最大の予想される関連物体サイズとの間でさらに評価することができる。これらのサイズ範囲は、光学アセンブリの用途に応じて予め定めることができる。例えば、車両に使用される場合、最小のサイズは５ｃｍの典型的な寸法を有し、最大の物体サイズは１０ｍの典型的な寸法を有する。
【0135】
ある物体の高さ範囲内での物体の点分布の比較ができる。これは、物体が垂直方向に延びた棒状要素の形態で近似されるスティクセル（Ｓｔｉｘｅｌ）表現で行うことができる。
【0136】
異なるカメラグループ間の重複領域で取得され割り当てられた物体データの比較は、各３Ｄデータポイントの周りの不確実領域内で行うことができる。不確実領域のサイズは、アプリケーションに応じて指定できる。割り当てられた物体候補内、又は取得及び割り当ての結果得られた対応する点群内の隣接するデータ点の最小数も、アプリケーションに応じて指定できる。カバレッジが重複する異なるカメラグループのベースライン内の重複（相互／内部）、又はカメラグループ内の相互ベースライン検出と、重複するカバレッジ内の、このカメラグループと隣接するカメラグループ間の内部ベースライン検出との比較もまた読み出すことができる。このような重複比較中に物体候補の検証が行われない限り、その物体は破棄されるか、保守的で安全なアプローチの意味で既存の物体と見なされる。あるカバレッジ（範囲内）で候補値がまったく検出されない場合、つまり、カメラ範囲内に異常に物体がないことが判明した場合、この異常に物体のない領域は、安全アプローチの意味で障害物と解釈することができる。
【0137】
データ処理メインモジュール４２では、隣接するカメラグループのデータ処理グループモジュール３７～３９の検出と割り当ての後に得られるいくつか、例えば２つ、３つ又は４つの点群を互いにチェックすることができる。この結果、さらに機能的に冗長な段階（ステージ）が生じる。
【0138】
別の形式冗長ステージが、グループモジュールのレベル又はメインモジュールのレベルにおいて、２つの異なる動作をするプロセッサから生じる。
【0139】
【0140】
図１３によるデータ処理モジュールシステム４８では、カメラグループ８（中央左、図１１参照）、３（前方左）、及び４（前方右）が例として示されている。カメラグループ８に割り当てられているグループモジュールは、図１３では３７’，３７Ｒ’とラベル付けされており、カメラグループ３のグループモジュール３７及び３７Ｒに対応している。
【0141】
図１３による実施形態では、互いに対向するカメラグループ３及び４のデュアルカメラＲ３及び１１４が、図９を参照して上記で説明したハイブリッドカメラに対応するハイブリッドカメラＲ３
Ｈ，１１５
Ｈに置き換えられる。
【0142】
追加のハイブリッドデータ処理グループモジュール、すなわちハイブリッドグループモジュール４９及び冗長ハイブリッドグループモジュール４９Ｒは、その構造が図１２に関連して上記したデータ処理グループモジュールに原理的に対応しており、これらのハイブリッドカメラＲ３
Ｈ，１１５
Ｈの遠距離光学系３３の信号出力３５Ａ，３５Ｂを処理するために使用される。ハイブリッドグループモジュール４９の信号入力４０２は、ハイブリッドカメラＲ３
Ｈの遠距離光学系３３の信号出力３５Ａと信号接続されている。信号入力４０４は、ハイブリッドカメラ１１５
Ｈの遠距離光学系の信号出力３５Ａと信号接続されている。ハイブリッドグループモジュール４９の信号入力４０１は、カメラグループ４のグループモジュール３８の信号出力４１２と信号接続されている。ハイブリッドグループモジュール４９の信号出力４１１は、カメラグループ３のグループモジュール３７の信号入力４０４と信号接続されている。ハイブリッドグループモジュール４９の信号出力４１２は、カメラグループ３のグループモジュール３７の信号入力４０５と信号接続されている。
【0143】
冗長ハイブリッドグループモジュール４９Ｒの配線は対応するものであるが、図１３には明示されていない。
【0144】
ハイブリッドグループモジュール４９のこの信号相互接続は、上記で説明したように、ベースライン間及びベースライン内のカメラペアの取得及び評価のために、カメラグループ３及び４のハイブリッドカメラＲ３
Ｈ及び１１５
Ｈの対応する統合をもたらす。この場合、遠距離光学系３３の取得データが追加的に考慮、比較され、フェールセーフ性を高めるために使用される。
【0145】
図１３による実施形態では、１台の冗長カメラ、すなわちカメラＲ３
Ｈがハイブリッドカメラとして構成される。もちろん、これは、他のカメラの１台が故障した場合だけでなく、その冗長カメラが実際にデータの取得と評価に永続的に使用される場合にのみ意味がある。冗長カメラの代わりに、通常動作カメラ、例えばカメラグループ３のカメラ１１３～１３３のうちの１台をハイブリッドカメラとして構成することもできる。
【符号の説明】
【0146】
１ 車両
１ａ 車輪
２ 光学アセンブリ
３、４、５、６、７、８ カメラグループ
９ データ処理ユニット
１０ グループ取付体
１１、１２、１３ カメラ
１４、１５ 保持レセプタクル
１６ 非正三角形
１７ 車両
１８ 画像取得方向
１９ 方向平均値
２１ 信号線
２５ ＲＧＢセンサ
２６ ＩＲセンサ
２７ キャリア
２８、２９ カメラ光学系
３０ 信号出力
３１ ＩＲ光源
３２ 近距離光学系
３３ 遠距離光学系
３４ 剛性接続部品
３５ 信号出力
３６ データ処理モジュールシステム
３７、３８、３９、４９ データ処理グループモジュール
４０ 多極信号入力
４２ データ処理メインモジュール
４３ 信号接続
４４ メインプロセッサ
４５ コプロセッサ
４６ 通信インターフェース
４８ データ処理モジュールシステム
ＡＥ カメラ配置面
Ｂ ベースライン
ＥＰＺ 入射瞳中心
ｘｙ 車両起立面
α カメラ角度
β 総画像取得角度
γ グループカメラ角度
δ 角度
１ａ 車輪
２ 光学アセンブリ
３、４、５、６、７、８ カメラグループ
９ データ処理ユニット
１０ グループ取付体
１１、１２、１３ カメラ
１４、１５ 保持レセプタクル
１６ 非正三角形
１７ 車両
１８ 画像取得方向
１９ 方向平均値
２１ 信号線
２５ ＲＧＢセンサ
２６ ＩＲセンサ
２７ キャリア
２８、２９ カメラ光学系
３０ 信号出力
３１ ＩＲ光源
３２ 近距離光学系
３３ 遠距離光学系
３４ 剛性接続部品
３５ 信号出力
３６ データ処理モジュールシステム
３７、３８、３９、４９ データ処理グループモジュール
４０ 多極信号入力
４２ データ処理メインモジュール
４３ 信号接続
４４ メインプロセッサ
４５ コプロセッサ
４６ 通信インターフェース
４８ データ処理モジュールシステム
ＡＥ カメラ配置面
Ｂ ベースライン
ＥＰＺ 入射瞳中心
ｘｙ 車両起立面
α カメラ角度
β 総画像取得角度
γ グループカメラ角度
δ 角度
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【国際調査報告】